画像処理装置および方法、並びにプログラム
【課題】より簡単かつ迅速に診断のための診察用動画像を得ることができるようにする。
【解決手段】観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４は、任意の医用画像から、注目すべき観察位置や、それらの観察位置の観察すべき順序などを得るための各辞書を生成する。診察用動画像生成部２５は、生成された各辞書を用いて、入力された医用画像から、観察位置を検出するとともに、それらの観察位置を観察すべき順序と観察パラメータを特定する。そして、診察用動画像生成部２５は、各観察位置が、特定された順序および観察パラメータで表示される診察用動画像を生成する。本発明は、画像処理装置に適用することができる。
【解決手段】観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４は、任意の医用画像から、注目すべき観察位置や、それらの観察位置の観察すべき順序などを得るための各辞書を生成する。診察用動画像生成部２５は、生成された各辞書を用いて、入力された医用画像から、観察位置を検出するとともに、それらの観察位置を観察すべき順序と観察パラメータを特定する。そして、診察用動画像生成部２５は、各観察位置が、特定された順序および観察パラメータで表示される診察用動画像を生成する。本発明は、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、より簡単かつ迅速に診断のための病理画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、医師などが顕微鏡等で得られた病理画像を観察し、病理診断を行なう場合があり、このような病理画像を用いて診断を行なうのに有用な技術が提案されている。
【０００３】
そのような技術としては、例えばユーザの操作入力に応じて、顕微鏡で撮像された顕微鏡画像を用いて、スクリーニング（移動観察）動画像、ズーミング動画像、およびフォーカシング動画像を生成する技術が提案されている（例えば、特許文献１参照）。この技術では、過去の操作入力の履歴や現在の操作入力に応じた動画像が生成可能である。
【０００４】
また、指導医の観察ログに基づいて、試料の観察された領域を観察に必要な解像度で撮像し、撮像により得られた画像を関係付けて記録することで、病理診断学の教材用の画像を生成する方法も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２２８１８５号公報
【０００６】
【特許文献２】特開２００５−２６６７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した技術では、診断のための病理画像を生成することで、病理診断をより効率的に行なうことができるようになるが、そのような病理画像を得るには、煩雑な操作が必要であった。
【０００８】
例えば、特許文献１に記載の技術では、診断用の病理画像として、スクリーニング動画像等を得るには、ユーザは操作入力をする必要があった。特に、新規の顕微鏡画像に対しては、ユーザが手動で多くの操作入力をする必要があり、スクリーニング動画像等が得られるまでに時間がかかってしまう。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、より簡単かつ迅速に診断のための病理画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、処理対象の医用画像から、第１の特徴量を抽出する第１の特徴量抽出手段と、予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出する位置検出手段と、前記医用画像上の前記観察位置から、第２の特徴量を抽出する第２の特徴量抽出手段と、予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定する観察順序特定手段と、前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する画像生成手段とを備える。
【００１１】
画像処理装置には、前記医用画像上の前記観察位置から、第３の特徴量を抽出する第３の特徴量抽出手段と、予め統計学習により生成された、第３の特徴量から画像上の観察位置の観察条件を特定するための観察条件生成辞書と、前記医用画像上の前記観察位置の前記第３の特徴量とに基づいて、前記医用画像上の前記観察位置ごとに前記観察条件を特定する観察条件特定手段とをさらに設け、前記画像生成手段には、前記観察位置が、特定された前記観察条件で表示されるように、前記観察画像を生成させることができる。
【００１２】
前記観察条件は、前記観察位置の表示倍率、または前記観察位置を継続して表示する表示時間とすることができる。
【００１３】
前記観察画像を、前記観察位置が前記観察順序で順番に表示される動画像とし、前記動画像の最初または最後の少なくとも何れかにおいて、前記医用画像全体が表示されるようにすることができる。
【００１４】
前記観察画像を、前記観察位置が前記観察順序で順番に表示される動画像とし、前記動画像において、１つの前記観察位置が表示された後、前記医用画像全体が表示されてから、次の前記観察位置が表示されるようにすることができる。
【００１５】
前記観察画像を、前記観察画像の一部の領域に継続して前記医用画像全体が表示されている状態で、前記観察位置が前記観察順序で順番に表示される動画像とすることができる。
【００１６】
本発明の一側面の画像処理方法またはプログラムは、処理対象の医用画像から、第１の特徴量を抽出し、予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出し、前記医用画像上の前記観察位置から、第２の特徴量を抽出し、予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定し、前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成するステップを含む。
【００１７】
本発明の一側面においては、処理対象の医用画像から、第１の特徴量が抽出され、予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置が検出され、前記医用画像上の前記観察位置から、第２の特徴量が抽出され、予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序が特定され、前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像が生成される。
【発明の効果】
【００１８】
本発明の一側面によれば、より簡単かつ迅速に診断のための病理画像を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】画像処理装置の一実施の形態の構成例を示す図である。
【図２】観察位置検出辞書生成部の構成例を示す図である。
【図３】観察パラメータ生成辞書生成部の構成例を示す図である。
【図４】観察順序生成辞書生成部の構成例を示す図である。
【図５】診察用動画像生成部の構成例を示す図である。
【図６】観察ログの生成について説明する図である。
【図７】観察ログの生成について説明する図である。
【図８】観察位置検出辞書の学習処理を説明するフローチャートである。
【図９】観察位置検出辞書の学習について説明する図である。
【図１０】観察パラメータ生成辞書の学習処理を説明するフローチャートである。
【図１１】観察パラメータ生成辞書の学習について説明する図である。
【図１２】観察順序生成辞書の学習処理を説明するフローチャートである。
【図１３】観察順序生成辞書の学習について説明する図である。
【図１４】動画像生成処理を説明するフローチャートである。
【図１５】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２１】
〈第１の実施の形態〉
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。この画像処理装置１１は、例えば顕微鏡等で撮像された医用画像から、医師等が病理診断に用いる診察用動画像を生成して再生するものである。
【００２２】
なお、医用画像は、一般的な医用画像であれば、どのようなものであってもよいが、以下では、医用画像が病理診断用の画像である場合を例として説明を続ける。また、医用画像は、２次元の画像データに限らず、ＣＴ（Computed Tomography）やＭＲＩ（Magnatic Resonance Image）などの３次元の画像データとすることも可能である。
【００２３】
画像処理装置１１は、取得部２１、観察位置検出辞書生成部２２、観察パラメータ生成辞書生成部２３、観察順序生成辞書生成部２４、診察用動画像生成部２５、記録部２６、表示制御部２７、および表示部２８から構成される。
【００２４】
取得部２１は、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４で行なわれる学習処理に用いられる、学習用医用画像および観察ログを取得し、記録する。例えば、学習用医用画像は、記録部２６から取得される。また、取得部２１は、必要に応じて、学習用医用画像および観察ログを、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４に供給する。
【００２５】
ここで、観察ログは、熟練医師等が病理画像ビューアなどを用いて学習用医用画像を表示させ、表示倍率等を変化させながら、その学習用医用画像の各領域を観察したときの観察のログである。より詳細には、取得部２１は、学習用医用画像の表示時に、１秒ごとに観察のログを取得し、その結果得られたログを加工して、観察ログとする。
【００２６】
観察位置検出辞書生成部２２は、取得部２１からの学習用医用画像および観察ログを用いて統計学習を行い、任意の病理診断用の医用画像から、その医用画像上における注目して観察すべき領域の位置を検出するための観察位置検出辞書を生成する。
【００２７】
例えば、医用画像上で注目して観察すべき領域とは、腫瘍などの診断に必要な部位、つまり医師により診断されるべき注目部位とされる。以下、観察位置検出辞書により検出される、注目して観察すべき領域の位置、および学習用医用画像において熟練医師等が注目して観察した領域の位置を観察位置とも称する。
【００２８】
観察パラメータ生成辞書生成部２３は、取得部２１からの学習用医用画像および観察ログを用いて統計学習を行い、病理診断用の医用画像上の各観察位置を観察するときに設定すべき、各種のパラメータを特定するための観察パラメータ生成辞書を生成する。
【００２９】
例えば、各観察位置を観察するときの各種のパラメータは、表示倍率、観察位置の観察時間（表示時間）などの観察条件とされる。以下、観察パラメータ生成辞書を用いて得られるこれらの観察条件を示すパラメータを、観察パラメータと称する。
【００３０】
観察順序生成辞書生成部２４は、取得部２１からの学習用医用画像および観察ログを用いて統計学習を行い、病理診断用の医用画像上の各観察位置を観察すべき順序を特定するための観察順序生成辞書を生成する。
【００３１】
診察用動画像生成部２５は、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４で生成された各辞書を取得して保持するとともに、それらの辞書を用いて、入力された医用画像から診察用動画像を生成して記録部２６に供給する。
【００３２】
記録部２６は、診察用動画像生成部２５から供給された診察用動画像を記録するとともに、診察用動画像を表示制御部２７や取得部２１に供給する。表示制御部２７は、記録部２６から供給された診察用動画像を表示部２８に供給し、診察用動画像の再生を制御する。表示部２８は、例えば液晶ディスプレイなどからなり、表示制御部２７の制御にしたがって診察用動画像を表示する。
【００３３】
［観察位置検出辞書生成部の構成例］
次に、図１の観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４、および診察用動画像生成部２５のより詳細な構成例について説明する。
【００３４】
図２は、観察位置検出辞書生成部２２の構成例を示す図である。
【００３５】
観察位置検出辞書生成部２２は、周辺画像生成部５１、特徴量抽出部５２、学習部５３、および辞書生成部５４から構成される。
【００３６】
周辺画像生成部５１は、取得部２１から学習用医用画像と観察ログを取得して、学習用医用画像の一部の領域を周辺画像として切り出して、特徴量抽出部５２に供給する。このとき、観察ログに基づいて、周辺画像の切り出しが行なわれる。
【００３７】
特徴量抽出部５２は、周辺画像生成部５１から供給された複数の周辺画像について、それらの周辺画像から予め定められた特徴の特徴量を抽出し、学習部５３に供給する。学習部５３は、特徴量抽出部５２から供給された特徴量に基づいて統計学習を行い、その学習結果を辞書生成部５４に供給する。辞書生成部５４は、学習部５３からの学習結果に基づいて観察位置検出辞書を生成し、診察用動画像生成部２５に供給する。
【００３８】
［観察パラメータ生成辞書生成部の構成例］
図３は、観察パラメータ生成辞書生成部２３の構成例を示す図である。観察パラメータ生成辞書生成部２３は、周辺画像生成部８１、特徴量抽出部８２、学習部８３、および辞書生成部８４から構成される。
【００３９】
なお、これらの周辺画像生成部８１乃至辞書生成部８４は、学習のアルゴリズムや抽出する特徴量が異なるだけで、基本的に図２の周辺画像生成部５１乃至辞書生成部５４と同様であるので、その説明は省略する。
【００４０】
但し、学習部８３では、周辺画像から抽出された特徴量と、取得部２１から供給された観察ログとが用いられて統計学習が行なわれる。また、辞書生成部８４で生成された観察パラメータ生成辞書は、診察用動画像生成部２５に供給される。
【００４１】
［観察順序生成辞書生成部の構成例］
図４は、観察順序生成辞書生成部２４の構成例を示す図である。観察順序生成辞書生成部２４は、周辺画像生成部１１１、特徴量抽出部１１２、学習部１１３、および辞書生成部１１４から構成される。
【００４２】
なお、これらの周辺画像生成部１１１乃至辞書生成部１１４は、学習のアルゴリズムや抽出する特徴量が異なるだけで、基本的に図２の周辺画像生成部５１乃至辞書生成部５４と同様であるので、その説明は省略する。
【００４３】
但し、学習部１１３では、周辺画像から抽出された特徴量と、取得部２１から供給された観察ログとが用いられて統計学習が行なわれる。また、辞書生成部１１４で生成された観察順序生成辞書は、診察用動画像生成部２５に供給される。
【００４４】
なお、周辺画像生成部５１、周辺画像生成部８１、および周辺画像生成部１１１で生成される周辺画像は、同じ大きさであってもよいし、異なる大きさでもよい。
【００４５】
［診察用動画像生成部の構成例］
さらに、図５は、診察用動画像生成部２５の構成例を示す図である。
【００４６】
診察用動画像生成部２５は、観察位置検出辞書保持部１４１、観察パラメータ生成辞書保持部１４２、観察順序生成辞書保持部１４３、観察位置検出部１４４、観察パラメータ生成部１４５、観察順序情報生成部１４６、および動画像生成部１４７から構成される。
【００４７】
観察位置検出辞書保持部１４１乃至観察順序生成辞書保持部１４３は、それぞれ観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４から供給された観察位置検出辞書、観察パラメータ生成辞書、および観察順序生成辞書を保持する。
【００４８】
観察位置検出部１４４は、観察位置検出辞書保持部１４１に記録されている観察位置検出辞書を用いて、供給された医用画像から観察位置を検出し、その検出結果と医用画像を観察パラメータ生成部１４５、観察順序情報生成部１４６、および動画像生成部１４７に供給する。また、観察位置検出部１４４は特徴量抽出部１６１を備えており、特徴量抽出部１６１は、観察位置の検出時において、医用画像から観察位置の検出に用いられる特徴量を抽出する。
【００４９】
観察パラメータ生成部１４５は、観察位置検出部１４４から供給された検出結果および医用画像と、観察パラメータ生成辞書保持部１４２に保持されている観察パラメータ生成辞書とに基づいて、医用画像上の観察位置ごとに観察パラメータを生成し、動画像生成部１４７に供給する。
【００５０】
また、観察パラメータ生成部１４５は特徴量抽出部１６２を備えており、特徴量抽出部１６２は、観察パラメータの生成時において、観察位置検出部１４４から供給された医用画像から、観察パラメータの生成に用いる特徴量を抽出する。
【００５１】
観察順序情報生成部１４６は、観察位置検出部１４４から供給された検出結果および医用画像と、観察順序生成辞書保持部１４３に保持されている観察順序生成辞書とに基づいて、医用画像上の観察位置の観察順序を示す観察順序情報を生成し、動画像生成部１４７に供給する。
【００５２】
また、観察順序情報生成部１４６は特徴量抽出部１６３を備えており、特徴量抽出部１６３は、観察順序情報の生成時において、観察位置検出部１４４から供給された医用画像から、観察順序情報の生成に用いる特徴量を抽出する。
【００５３】
動画像生成部１４７は、観察位置検出部１４４からの観察位置の検出結果と医用画像、観察パラメータ生成部１４５から観察パラメータ、および観察順序情報生成部１４６からの観察順序情報に基づいて、診察用動画像を生成し、記録部２６に供給する。
【００５４】
［観察ログの生成について］
ところで、熟練医師等が画像処理装置１１を操作し、病理診断のための病理画像として、学習用医用画像の表示を指示すると、表示制御部２７は、記録部２６から学習用医用画像を取得して表示部２８に供給し、表示させる。このとき、表示制御部２７は、熟練医師等の操作に応じて、学習用医用画像の一部の領域を拡大して表示させたり、所定の領域から他の領域までスクロール表示を行なったりする。
【００５５】
これにより、例えば表示部２８には、図６の左側に示す学習用医用画像が表示される。図６の例では、表示部２８の表示画面の図中、右下に設けられた領域ＲＡ１１には、表示対象となっている学習用医用画像全体が表示されており、その学習用医用画像の一部の領域が表示部２８の表示画面全体に表示されている。すなわち、表示部２８の表示画面全体には、領域ＲＡ１１内の学習用医用画像上における領域ＲＢ１１の画像が、拡大表示されている。
【００５６】
熟練医師等は、表示部２８に表示された学習用医用画像の各領域を観察することで、病理診断を行なう。例えば、熟練医師等は、癌の発見や癌の進行度合いを診断する。
【００５７】
このように、熟練医師等が、学習用医用画像の各領域を所定の表示倍率で拡大、縮小させて観察すると、取得部２１は、表示されている学習用医用画像を記録部２６から取得するとともに、その学習用医用画像の観察のログを１秒ごとに記録する。
【００５８】
これにより、例えば図６の右側に示す毎秒ごとのログＬＧ１１が得られる。ログＬＧ１１では、各時刻における熟練医師の観察位置と表示倍率とからなるデータが、図中、縦方向に時刻順に並べられている。
【００５９】
ここで、観察位置は、学習用医用画像上の表示部２８に表示されている領域の中心位置であり、観察位置は、学習用医用画像の所定の位置を原点とするＸＹ座標系のＸ座標とＹ座標により表される。また、表示倍率とは、学習用医用画像の観察位置を表示するときの表示倍率（拡大倍率）である。
【００６０】
図６の例では、｛Ｘ座標，Ｙ座標，表示倍率｝からなるデータが、各時刻のログのデータとして、図中、縦方向に並べられている。したがって、例えばログＬＧ１１の図中、一番上側にあるデータ｛３３０，４５６，１０｝から、熟練医師等が、Ｘ座標「３３０」およびＹ座標「４５６」により定まる学習用医用画像上の位置を、１０倍の表示倍率で拡大表示させて観察していたことが分かる。
【００６１】
熟練医師等による学習用医用画像の観察が終了すると、取得部２１は、得られた毎秒ごとのログから観察ログを生成し、学習用の観察ログとして記録する。
【００６２】
例えば取得部２１は、図７に示すように、各時刻のＸ座標，Ｙ座標，および表示倍率が含まれる毎秒ごとのログＬＧ１１から、学習用医用画像の各観察位置のＸ座標，Ｙ座標，観察時間，および表示倍率が含まれる観察ログＯＬＧ１１を生成する。
【００６３】
なお、観察ログＯＬＧ１１では、熟練医師等により観察された、学習用医用画像上の各観察位置の｛Ｘ座標，Ｙ座標，観察時間，表示倍率｝からなるデータが、ログのデータとして図中、縦方向に時刻順に並べられている。
【００６４】
例えば、ログＬＧ１１の図７中、上から３つのデータは｛３３０，４５６，１０｝であり、同じデータとなっている。したがって、これらのデータから、熟練医師等が、Ｘ座標「３３０」およびＹ座標「４５６」により定まる学習用医用画像上の領域を、表示倍率１０倍で３秒間、観察していたことが分かる。
【００６５】
そこで、取得部２１は、これらのデータから、観察ログＯＬＧ１１の図中、一番上側のデータ｛３３０，４５６，３，１０｝を生成する。ここで、観察時間「３」は、このデータで特定される学習用医用画像上の領域が、継続して３秒間観察されたことを示している。つまり、観察時間は、学習用医用画像の領域が継続して表示された時間を示している。
【００６６】
このようにして観察ログを生成すると、取得部２１は、取得した学習用医用画像と観察ログとを対応付けて記録する。
【００６７】
なお、観察ログの生成にあたり、熟練医師等が実際には病理診断を行なっていなかったときのログは、反映されないようにしてもよい。
【００６８】
例えば、熟練医師等が学習用医用画像を用いた病理診断を行なうときに、何らかの要因により、一旦診断を中断したとする。この場合、診断が中断されてから、診断が再開されるまでの間は、実際には熟練医師等による診断はされていないのにも関わらず、ログが記録されてしまい、その間表示されていた観察位置の観察時間が必要以上に長くなってしまう。
【００６９】
そこで、例えば画像処理装置１１に、画像処理装置１１の操作を行なう熟練医師等の視線方向を検出するセンサを設ければ、熟練医師等が実際に病理診断を行っているか否かを検出することができる。例えば、熟練医師等の視線が、明らかに表示部２８の方向から大きく外れている場合、病理診断が行なわれていないとされる。
【００７０】
このように、病理診断が行なわれていないと判定された場合、取得部２１は、熟練医師等の視線方向が表示部２８の方向であると検出されるまで、学習用医用画像の毎秒ごとのログの記録を抑制する。これにより、より正確な観察ログを得ることができる。
【００７１】
［観察位置検出辞書の学習処理の説明］
取得部２１により、充分な数の学習用医用画像と観察ログが得られると、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４は、これらの学習用医用画像と観察ログを用いて学習を行い、各辞書を生成する。
【００７２】
以下、これらの辞書の生成について説明する。
【００７３】
まず、図８のフローチャートを参照して、観察位置検出辞書生成部２２による観察位置検出辞書の学習処理について説明する。
【００７４】
ステップＳ１１において、周辺画像生成部５１は、取得部２１から供給された学習用医用画像および観察ログに基づいて、学習用医用画像上の観察位置および非観察位置の周辺画像を切り出して、特徴量抽出部５２に供給する。
【００７５】
例えば、図９に示す学習用医用画像が供給され、観察ログにより５つの観察位置Ｐ１１乃至観察位置Ｐ１５が特定されたとする。この場合、周辺画像生成部５１は、これらの観察位置Ｐ１１乃至観察位置Ｐ１５を中心とする、矩形状の領域のそれぞれを切り出して、観察位置を含む周辺画像ＰＤ１１乃至周辺画像ＰＤ１５とする。
【００７６】
また、周辺画像生成部５１は、学習用医用画像上の観察位置とは異なるいくつかの位置を非観察位置とし、それらの非観察位置を中心とする、矩形状の領域のそれぞれを切り出して、非観察位置の周辺画像とする。なお、非観察位置は、周辺画像生成部５１により無作為に定められる。
【００７７】
以上のようにして得られた観察位置の周辺画像ＰＤ１１乃至周辺画像ＰＤ１５は、熟練医師等が病理診断のときに注目した部位の画像である。すなわち、病理診断時に、一定の時間以上継続して表示され続けた部位である。逆に、非観察位置の周辺画像は、熟練医師等が特に注目しなかった部位の画像である。
【００７８】
周辺画像生成部５１は、図中、右側に示すように周辺画像ＰＤ１１乃至周辺画像ＰＤ１５をポジティブデータとして特徴量抽出部５２に供給し、非観察位置の周辺画像をネガティブデータとして特徴量抽出部５２に供給する。例えば、ポジティブデータであるか、ネガティブデータであるかの区別は、それらの何れのデータであるかを示すラベルを周辺画像に付加することで行なわれる。
【００７９】
なお、学習用医用画像から、周辺画像として切り出される領域の大きさは、予め定められた大きさとされてもよいし、その大きさが変えられながら観察位置検出辞書の統計学習が行なわれ、その過程で最適な大きさが定められるようにしてもよい。
【００８０】
図８のフローチャートの説明に戻り、周辺画像生成部５１は、複数の学習用医用画像から周辺画像を生成すると、それらの周辺画像を特徴量抽出部５２に供給し、処理はステップＳ１２に進む。
【００８１】
ステップＳ１２において、特徴量抽出部５２は、周辺画像生成部５１から供給された各周辺画像から特徴量を抽出し、各周辺画像に付加されたラベルとともに学習部５３に供給する。例えば、特徴量抽出部５２は、周辺画像上の任意の２つの画素の組を画素ペアとし、それらの画素の輝度値の差分を特徴量として求める。特徴量抽出部５２は、周辺画像上のいくつかの異なる画素ペアについて、上述した特徴量を求め、学習部５３に供給する。
【００８２】
ステップＳ１３において、学習部５３は、特徴量抽出部５２から供給された特徴量に基づいて、Boosting等の統計学習を行い、その学習結果を辞書生成部５４に供給する。
【００８３】
例えば、観察位置らしさを表す関数Ｇ（ｘ）が、複数の弱識別器ｇ（ｘ）を線形結合、すなわち重み付き加算して得られる関数であるとする。ここで、弱識別器ｇ（ｘ）は、特定の画素ペアの特徴量が所定の閾値ｔｈｇ以上であれば「１」を出力し、特徴量が閾値ｔｈｇ未満であれば「０」を出力する関数である。また、関数Ｇ（ｘ）に、画像から抽出された特徴量を代入して得られる値が大きいほど、その画像の領域は観察位置らしいものとする。
【００８４】
このような場合、学習部５３は、ポジティブデータから得られた特徴量と、ネガティブデータから得られた特徴量とを用いて、いくつかの弱識別器ｇ（ｘ）を組み合わせながら、最も高精度に観察位置を検出できる関数Ｇ（ｘ）を統計学習により求める。換言すれば、統計学習では、観察位置の検出に最適な画素ペアの組み合わせ（弱識別器ｇ（ｘ）の組み合わせ）、各弱識別器ｇ（ｘ）の閾値ｔｈｇ、および線形結合に用いられる重みが求められることになる。
【００８５】
ステップＳ１４において、辞書生成部５４は、学習部５３から供給された統計学習の結果に基づいて、観察位置検出辞書を生成し、診察用動画像生成部２５の観察位置検出辞書保持部１４１に供給して保持させる。
【００８６】
例えば、辞書生成部５４は、統計学習により求められた関数Ｇ（ｘ）を構成する各弱識別器ｇ（ｘ）、それらの弱識別器の閾値ｔｈｇ、および線形結合に用いる各弱識別器の重みを観察位置検出辞書とする。このようにして観察位置検出辞書が生成されると、観察位置検出辞書の学習処理は終了する。
【００８７】
このように、熟練医師の観察ログと学習用医用画像とを用いて、統計学習により予め観察位置検出辞書を生成しておけば、任意の医用画像から、熟練医師等が注目すると思われる観察位置を高精度に検出することができる。
【００８８】
［観察パラメータ生成辞書の学習処理の説明］
次に、図１０のフローチャートを参照して、観察パラメータ生成辞書生成部２３による観察パラメータ生成辞書の学習処理について説明する。
【００８９】
ステップＳ４１において、周辺画像生成部８１は、取得部２１から供給された学習用医用画像および観察ログに基づいて、学習用医用画像上の観察位置の周辺画像を切り出して、特徴量抽出部８２に供給する。すなわち、ステップＳ４１では、図８のステップＳ１１における観察位置の周辺画像の切り出しと同様の処理が行われる。
【００９０】
ステップＳ４２において、特徴量抽出部８２は、周辺画像生成部８１から供給された各周辺画像から特徴量を抽出し、学習部８３に供給する。例えば、周辺画像の画素の輝度値の分布を示すヒストグラムや、HOG（Histograms of Oriented Gradients）などが特徴量として求められる。
【００９１】
ステップＳ４３において、学習部８３は、特徴量抽出部８２から供給された各周辺画像の特徴量と、取得部２１から供給された観察ログとに基づいて、Gradient Boosting等の統計学習を行なう。つまり、観察ログから得られる各観察パラメータが教師データとされて、統計学習が行なわれる。
【００９２】
例えば、観察パラメータとしての観察時間を得るための観察パラメータ生成辞書を得ようとする場合、学習部８３は、図１１に示すように、各周辺画像、より詳細には周辺画像から抽出された特徴量と、周辺画像に含まれる観察位置の観察時間とを対応付ける。例えば、複数の周辺画像からなる周辺画像群ＰＧ１１乃至周辺画像群ＰＧ１５は、それぞれ観察時間が５秒、６秒、７秒、２０秒、および２１秒である観察位置を含む周辺画像の集合である。
【００９３】
そして学習部８３は、各周辺画像の特徴量ｘと観察時間ｙに基づいて次式（１）を計算し、損失関数Ｌ（ｙ，Ｆ（ｘ））が最小となる関数Ｆ（ｘ）を求める。
【００９４】
【数１】
【００９５】
ここで、関数Ｆ（ｘ）は、観察位置を含む任意の画像から抽出された特徴量ｘから、観察パラメータ（ここでは観察時間ｙ）を得るための関数である。また、式（１）において、Ｅｘ，ｙ（Ｌ（ｙ，Ｆ（ｘ）））は、損失関数Ｌ（ｙ，Ｆ（ｘ））の期待値である。この統計学習は、損失関数を最少とする関数Ｆ’を推定する問題として定式化されている。
【００９６】
学習部８３は、観察パラメータごとに統計学習を行なうと、その学習結果を辞書生成部８４に供給する。
【００９７】
ステップＳ４４において、辞書生成部８４は、学習部８３から供給された学習結果に基づいて、各観察パラメータの観察パラメータ生成辞書を生成し、診察用動画像生成部２５の観察パラメータ生成辞書保持部１４２に供給して保持させる。
【００９８】
例えば、辞書生成部８４は、上述した関数Ｆ（ｘ）を観察パラメータとしての観察時間の観察パラメータ生成辞書とする。このようにして観察パラメータ生成辞書が生成されると、観察パラメータ生成辞書の学習処理は終了する。
【００９９】
このように、熟練医師の観察ログと学習用医用画像とを用いて、統計学習により予め観察パラメータ生成辞書を生成しておけば、任意の医用画像の各観察位置を、熟練医師等がどのような観察パラメータで観察するかを、高精度に推定することができる。
【０１００】
［観察順序生成辞書の学習処理の説明］
さらに、図１２のフローチャートを参照して、観察順序生成辞書生成部２４による観察順序生成辞書の学習処理について説明する。
【０１０１】
ステップＳ７１において、周辺画像生成部１１１は、取得部２１から供給された学習用医用画像および観察ログに基づいて、学習用医用画像上の観察位置の周辺画像を切り出して、特徴量抽出部１１２に供給する。すなわち、ステップＳ７１では、図８のステップＳ１１における観察位置の周辺画像の切り出しと同様の処理が行われる。
【０１０２】
ステップＳ７２において、特徴量抽出部１１２は、周辺画像生成部１１１から供給された各周辺画像から特徴量を抽出し、学習部１１３に供給する。例えば、周辺画像の画素の輝度値の分布を示すヒストグラムや、HOGなどが特徴量として求められる。
【０１０３】
ステップＳ７３において、学習部１１３は、特徴量抽出部１１２から供給された各周辺画像の特徴量と、取得部２１から供給された観察ログとに基づいて、Rank Boost等の統計学習を行なう。つまり、観察ログから得られる観察位置の観察順序が教師データとされて、統計学習が行なわれる。
【０１０４】
例えば、図１３に示すように、学習用医用画像ＭＰ１１乃至学習用医用画像ＭＰ１３から、周辺画像が切り出されたとする。
【０１０５】
図１３の例では、学習用医用画像ＭＰ１１からは、観察位置Ｐ３１乃至観察位置Ｐ３４を中心とする周辺画像ＰＤ３１乃至周辺画像ＰＤ３４が切り出されている。また、学習用医用画像ＭＰ１２からは、観察位置Ｐ４１乃至観察位置Ｐ４５を中心とする周辺画像ＰＤ４１乃至周辺画像ＰＤ４５が切り出され、学習用医用画像ＭＰ１３からは、観察位置Ｐ５１乃至観察位置Ｐ５５を中心とする周辺画像ＰＤ５１乃至周辺画像ＰＤ５５が切り出されている。
【０１０６】
このような場合、学習部１１３は観察ログに基づいて、学習用医用画像ごとに、それらの学習用医用画像から切り出された周辺画像を、観察された順番に並び替える。観察ログでは、各観察位置に関する情報が時系列に並べられているので、それらの観察位置を含む周辺画像の観察順序（表示順序）は、観察ログを参照することで特定することができる。
【０１０７】
例えば、学習用医用画像ＭＰ１１上において、観察位置Ｐ３１乃至観察位置Ｐ３４の順に熟練医師による観察が行なわれたとすると、学習部１１３は、学習用医用画像ＭＰ１１から切り出された周辺画像を、周辺画像ＰＤ３１乃至周辺画像ＰＤ３４の順番に並べる。
【０１０８】
同様にして、学習部１１３は観察ログを参照して、学習用医用画像ＭＰ１２から切り出された周辺画像を、周辺画像ＰＤ４１乃至周辺画像ＰＤ４５の順番に並べる。また、学習部１１３は、学習用医用画像ＭＰ１３から切り出された周辺画像も、周辺画像ＰＤ５１乃至周辺画像ＰＤ５５の順番に並べる。
【０１０９】
より詳細には、学習部１１３は、学習用医用画像ごとに、その学習用医用画像から切り出された周辺画像の特徴量を昇順または降順に並べ替えることになる。
【０１１０】
学習部１１３は、特徴量の並び替えを行なうと、各周辺画像の特徴量ｘに基づいて次式（２）で示される損失関数rlossD(H)が最小となるスコア関数Ｈ（ｘ）を求める。
【０１１１】
【数２】
【０１１２】
なお、式（２）において、［［Ｈ（ｘ１）≦Ｈ（ｘ０）］］は、Ｈ（ｘ１）≦Ｈ（ｘ０）が満たされる場合に「１」を出力し、Ｈ（ｘ１）≦Ｈ（ｘ０）が満たされない場合、「０」を出力する演算子である。また、式（２）におけるＤ（ｘ０，ｘ１）は、重みを示している。
【０１１３】
さらに、スコア関数Ｈ（ｘ）は、次式（３）に示されるように、重みαｔを用いて弱識別器ｈｔ（ｘ）を線形結合することで得られる関数であり、このスコア関数Ｈ（ｘ）の値は、病理診断時に注目すべき度合いを示している。
【０１１４】
【数３】
【０１１５】
式（３）における弱識別器ｈｔ（ｘ）は、周辺画像の特徴量ｘが所定の閾値ｔｈｏ以上である場合に「１」を出力し、特徴量ｘが閾値ｔｈｏ未満である場合に「０」を出力する関数である。より詳細には、弱識別器ｈｔ（ｘ）に代入される特徴量ｘは、例えば特徴量として周辺画像から抽出された輝度値のヒストグラムを構成する１つのビンの頻度値などとされ、ヒストグラムを構成するビンのうちの所定のＴ個のビンについて、弱識別器が設定される。
【０１１６】
学習部１１３は、１つの学習用医用画像から抽出された周辺画像ごとに、スコア関数Ｈ（ｘ）を算出し、それらのスコア関数Ｈ（ｘ）を上述した式（２）に代入することで、損失関数rlossD(H)を算出する。
【０１１７】
すなわち、１つの学習用医用画像から抽出された周辺画像から、任意の２つの周辺画像をペアとする場合に、全部でＫ通りのペアができるものとすると、学習部１１３は、Ｋ個の各ペアについて、演算子［［］］の演算を行う。例えば、周辺画像ＰＤｘ０と周辺画像ＰＤｘ１のペアであり、周辺画像ＰＤｘ０の観察順序がより早いのであれば、周辺画像ＰＤｘ０のスコア関数Ｈ（ｘ０）と周辺画像ＰＤｘ１のスコア関数Ｈ（ｘ１）から、［［Ｈ（ｘ１）≦Ｈ（ｘ０）］］の演算が行なわれる。
【０１１８】
学習部１１３は、周辺画像の全ての取り得るペアについて、演算子［［］］の演算を行なうと、それらの演算結果に重みＤ（ｘ０，ｘ１）を乗算して線形結合し、損失関数rlossD(H)の値を算出する。このようにして、学習部１１３は、スコア関数Ｈ（ｘ）を構成する弱識別器ｈｔ（ｘ）の組み合わせ、重みαｔ、および弱識別器の閾値ｔｈｏを変化させながら、損失関数の値を算出し、損失関数が最小となるスコア関数Ｈ（ｘ）を求める。
【０１１９】
このようにして行なわれるRank Boostは、候補を順位付けするスコア関数Ｈ（ｘ）をBoostingにより学習する手法である。学習部１１３は、統計学習が行なわれると、その学習結果を辞書生成部１１４に供給し、処理はステップＳ７４に進む。
【０１２０】
ステップＳ７４において、辞書生成部１１４は、学習部１１３から供給された学習結果に基づいて、観察順序生成辞書を生成し、診察用動画像生成部２５の観察順序生成辞書保持部１４３に供給して保持させる。
【０１２１】
例えば、辞書生成部１１４は、上述したスコア関数Ｈ（ｘ）を構成する各弱識別器ｈｔ（ｘ）の組み合わせ、各弱識別器の閾値ｔｈｏ、および重みαｔを、観察順序生成辞書とする。このようにして観察順序生成辞書が生成されると、観察順序生成辞書の学習処理は終了する。
【０１２２】
このように、熟練医師の観察ログと学習用医用画像とを用いて、統計学習により予め観察順序生成辞書を生成しておけば、任意の医用画像の各観察位置を、熟練医師等がどのような順序で観察するかを、高精度に推定することができる。
【０１２３】
なお、観察順序生成辞書の学習時において、学習用医用画像から抽出された各周辺画像は、観察された順番に並べられるが、この順番は、学習用医用画像を用いて病理診断を行なった熟練医師等にとって注目度合いの高い順番である。
【０１２４】
例えば、注目度合いの高い順番とは、観察位置の部位としての腫瘍の癌進行度が高い順番などであり、この順番は病理診断の対象となる病変等によってある程度決まってくる。
【０１２５】
ところが、病理診断時に、医師によって各部位に対する注目度合いの判断基準が異なる場合がある。例えば、癌の診断を行なう場合に、腫瘍の進行度が高い順に各腫瘍を観察していく医師と、悪性の腫瘍であるかがあいまいなものから順番に観察していく医師とがいることがある。
【０１２６】
そのような場合、医師ごとに、その医師が病理診断に用いた学習用医用画像のみを用いて学習を行い、各医師の観察順序生成辞書を生成すれば、より高精度に観察位置の注目度合いによる順序付けを行なうことができるようになる。
【０１２７】
例えば、所定の医師が新規の医用画像を用いて病理診断を行なおうとする場合、過去にその医師が病理診断に用いた学習用医用画像から得られた観察順序生成辞書を用いれば、より高精度に各観察位置の観察順序を推定することができるようになる。すなわち、今回新たに診断対象となる医用画像について、その医用画像から検出された各観察位置を、その医師が観察するであろう順番に並び替えることができる。
【０１２８】
［動画像生成処理の説明］
以上のようにして、各辞書が生成されると、診察用動画像の生成が可能となる。画像処理装置１１の診察用動画像生成部２５は、医用画像が入力されて医師等により診察用動画像の生成が指示されると、動画像生成処理を開始して診察用動画像を生成する。以下、図１４のフローチャートを参照して、診察用動画像生成部２５による動画像生成処理について説明する。
【０１２９】
ステップＳ１０１において、観察位置検出部１４４の特徴量抽出部１６１は、供給された医用画像から特徴量を抽出する。例えば、特徴量抽出部１６１は、医用画像上の所定の大きさの領域を検出用画像とし、検出用画像の位置を変化させながら、検出用画像ごとに、その検出用画像上の特定の画素ペアの輝度値の差分を特徴量として抽出する。
【０１３０】
ステップＳ１０２において、観察位置検出部１４４は、特徴量抽出部１６１により抽出された特徴量と、観察位置検出辞書保持部１４１に保持されている観察位置検出辞書とに基づいて、医用画像から観察位置を検出する。
【０１３１】
例えば、観察位置検出部１４４は、各検出用画像について、その検出用画像から抽出された特徴量ｘを、観察位置検出辞書から得られる関数Ｇ（ｘ）に代入し、得られた関数Ｇ（ｘ）の値が０より大きければ、その検出用画像の中心位置が観察位置であるとする。
【０１３２】
観察位置検出部１４４は、医用画像から観察位置を検出すると、検出された観察位置を示す情報および医用画像を、観察パラメータ生成部１４５、観察順序情報生成部１４６、および動画像生成部１４７に供給する。また、観察位置検出部１４４は、各観察位置について算出された、観察位置らしさを表す関数Ｇ（ｘ）の値を、動画像生成部１４７に供給する。
【０１３３】
ステップＳ１０３において、観察パラメータ生成部１４５の特徴量抽出部１６２は、観察位置検出部１４４から供給された観察位置を示す情報と医用画像に基づいて、医用画像から特徴量を抽出する。例えば、特徴量抽出部１６２は、医用画像上の各観察位置について、観察位置を含む所定の領域内の画素の輝度値の分布を示すヒストグラムなどを特徴量として抽出する。
【０１３４】
ステップＳ１０４において、観察パラメータ生成部１４５は、特徴量抽出部１６２により抽出された特徴量と、観察パラメータ生成辞書保持部１４２に保持されている観察パラメータ生成辞書とに基づいて、観察パラメータを生成する。
【０１３５】
例えば、観察パラメータ生成部１４５は、各観察位置の特徴量ｘを、観察パラメータ生成辞書として取得した関数Ｆ（ｘ）に代入し、得られた関数Ｆ（ｘ）の値により定まる値を観察パラメータとする。
【０１３６】
すなわち、例えば関数Ｆ（ｘ）の出力値の取り得る値の範囲は、予めいくつかの範囲に分割されており、それらの分割された範囲に対して、観察パラメータの値が対応付けられている。観察パラメータ生成部１４５は、特徴量を代入して得られた関数Ｆ（ｘ）の出力値が、予め分割されたどの範囲内の値であるかを特定し、特定された範囲に対応付けられた値を、観察パラメータの値とする。
【０１３７】
観察パラメータ生成部１４５は、このようにして得られた各観察パラメータを、動画像生成部１４７に供給する。
【０１３８】
ステップＳ１０５において、観察順序情報生成部１４６の特徴量抽出部１６３は、観察位置検出部１４４から供給された観察位置を示す情報と医用画像に基づいて、医用画像から特徴量を抽出する。例えば、特徴量抽出部１６３は、医用画像上の各観察位置について、観察位置を含む所定の領域内の画素の輝度値の分布を示すヒストグラムなどを特徴量として抽出する。
【０１３９】
ステップＳ１０６において、観察順序情報生成部１４６は、特徴量抽出部１６３により抽出された特徴量と、観察順序生成辞書保持部１４３に保持されている観察順序生成辞書とに基づいて、観察順序情報を生成する。
【０１４０】
例えば、観察順序情報生成部１４６は、各観察位置の特徴量ｘを、観察順序生成辞書から得られるスコア関数Ｈ（ｘ）に代入し、スコア関数Ｈ（ｘ）の値を求める。そして、観察順序情報生成部１４６は、各観察位置をスコア関数Ｈ（ｘ）の値が高い順に並べ、その順番を観察位置の観察順序とする。
【０１４１】
観察順序情報生成部１４６は、このようにして得られた観察順序を示す観察順序情報を、動画像生成部１４７に供給する。
【０１４２】
ステップＳ１０７において、動画像生成部１４７は、観察位置検出部１４４から供給された観察位置を示す情報、医用画像、および関数Ｇ（ｘ）の値と、観察パラメータ生成部１４５からの観察パラメータ、および観察順序情報生成部１４６からの観察順序情報とに基づいて、診察用動画像を生成する。
【０１４３】
例えば、図１３に示した学習用医用画像ＭＰ１１と同じ画像が、医用画像（以下、医用画像ＭＰ１１とも称することとする）として入力され、観察順序情報により示される各観察位置の観察すべき順番が観察位置Ｐ３１乃至観察位置Ｐ３４であったとする。
【０１４４】
このような場合、例えば動画像生成部１４７は、まず医用画像ＭＰ１１全体が表示され、その後、観察位置Ｐ３１乃至観察位置Ｐ３４を含む領域が順番に表示され、最後に医用画像ＭＰ１１全体が再び表示される画像を生成して、診察用動画像とする。
【０１４５】
すなわち、この診察用動画像の再生時には、再生開始後、医用画像ＭＰ１１全体が表示されると、次に最初の観察位置Ｐ３１を含む領域が、その観察位置Ｐ３１の観察パラメータで表示される。例えば、医用画像ＭＰ１１上の観察位置Ｐ３１を中心とする領域が、観察パラメータとしての表示倍率（拡大倍率）で、観察パラメータとしての観察時間だけ継続して表示される。
【０１４６】
そして、次に、観察位置Ｐ３１から観察位置Ｐ３２までの間の領域がスクロール表示されて、観察位置Ｐ３２を中心とする領域が、その観察位置Ｐ３２の観察パラメータで表示される。つまり、診察用動画像上の中心に表示される医用画像ＭＰ１１の位置が、観察位置Ｐ３１から観察位置Ｐ３２まで移動されながら、医用画像ＭＰ１１の各位置を含む領域が表示される。
【０１４７】
このとき、観察位置Ｐ３１と観察位置Ｐ３２とで、観察パラメータとしての表示倍率が異なる場合がある。そのような場合には、観察位置Ｐ３１から観察位置Ｐ３２までのスクロール表示が終了してから表示倍率が変更されてもよいし、スクロール表示中に連続的に表示倍率が変化するようにしてもよい。つまり、診察用動画像上の中心に観察位置Ｐ３２が表示されたときに、観察位置Ｐ３２を含む領域が、その観察位置Ｐ３２の観察パラメータで表示されていればよい。
【０１４８】
観察位置Ｐ３２を含む領域が表示されると、その後、同様にして適宜、観察位置間のスクロール表示が行なわれながら、観察位置Ｐ３３を含む領域と、観察位置Ｐ３４を含む領域とが、それらの観察位置の観察パラメータで順番に表示されていく。そして、観察位置Ｐ３４を含む領域が表示された後、再度、医用画像ＭＰ１１全体が表示されると、診察用動画像の再生は終了する。
【０１４９】
このように、診察用動画像では、各観察位置の注目度合いや観察すべき部位の大きさ等に応じて、表示倍率や観察順序などが変化する。例えば、観察位置としての重度な腫瘍は、高拡大率でズームされて、ゆっくりとスクロール表示が行なわれ、腫瘍領域が大きい場合は、その腫瘍全体が表示されるように低拡大率で表示される。
【０１５０】
また、特に、診察用動画像として表示される観察位置のうち、観察位置らしさを表す関数Ｇ（ｘ）が予め定めた閾値以上である観察位置については、その観察位置が表示されるときに、他の観察位置の表示時と異なる表示形式等で表示されるように診察用動画像が生成される。具体的には、例えば関数Ｇ（ｘ）が閾値以上である観察位置の領域が表示される場合には、診察用動画像を囲む枠が表示されたり、診察用動画像が点滅表示されたりする。また、そのような観察位置の領域の表示時に、特定の表示形式での表示とともに警告音が発せられるようにしてもよい。
【０１５１】
関数Ｇ（ｘ）の値は、観察位置らしさ、つまり注目すべき度合いの高さを示している。例えば、より進行度の高い腫瘍などの部位が、より注目すべき度合いの高い部位となる。そこで、動画像生成部１４７は、関数Ｇ（ｘ）の値が所定の閾値以上である観察位置を、より注目すべき部位が表示される観察位置であるとして、診察用動画像において、そのような観察位置を他の観察位置と異なる表示形式で表示する。これにより、診察用動画像を観察する医師等の注意を引くことができる。
【０１５２】
なお、診察用動画像の再生時に、１つの観察位置を含む領域が診察用動画像として表示されている状態で、医師等の画像処理装置１１に対する操作が行なわれると、その操作に応じて、次の観察位置を含む領域が表示されたり、前の観察位置を含む領域が表示されたりしてもよい。つまり、医師等の指示によって、１つ前または後の観察位置の表示が行なわれるようにしてもよい。
【０１５３】
診察用動画像が生成されると、動画像生成部１４７は、生成した診察用動画像を記録部２６に供給して記録させ、動画像生成処理は終了する。また、記録部２６に記録された診察用動画像は、適宜、表示制御部２７により読み出されて再生される。
【０１５４】
以上のようにして、診察用動画像生成部２５は、予め学習により生成された各辞書を用いて、処理対象の医用画像から、観察すべき位置や観察パラメータ、観察順序などを特定し、それらの観察位置等に基づいて医用画像から診察用動画像を生成する。
【０１５５】
これにより、より簡単かつ迅速に診断のための病理画像を得ることができる。すなわち、診察用動画像生成部２５に保持された各辞書を用いれば、医師等に煩雑な入力操作をさせることなく、新規に入力された任意の医用画像について、熟練医師等がその医用画像を用いて病理診断をするとしたら行なうであろう画面操作を、シミュレートすることができる。
【０１５６】
そして、そのシミュレートの結果として、熟練医師等が注目すると推定される各観察位置が、熟練医師等が観察すると推定される順番で表示される診察用動画像を得ることができる。つまり、これから医用画像を用いた病理診断を行なおうとする医師等からすれば、対象となる医用画像を入力し、診察用動画像の生成を指示するだけで、特定部位の拡大，縮小やスクロール等の熟練医師による診断時の画面操作が自動的に行なわれることになる。
【０１５７】
したがって、このようにして生成された診察用動画像を再生すれば、腫瘍などの診断に必要な部位が、より効率的および効果的に表示されるので、医師等は、より効率よく診断を行なうことができ、診断時間の短縮を図ることができる。しかも、診察用動画像では、各観察位置の部位だけでなく、医用画像全体も表示されるので、辞書を用いた画像認識による観察位置の抽出にもれがあった場合でも、医師による観察すべき位置の見落としを防止することができる。
【０１５８】
また、このようにして得られる診察用動画像は、実際の病理診断だけでなく、学習用教材など他の用途にも用いることができる。例えば、指導医の観察ログを用いた学習により辞書を生成しておけば、その辞書を用いて生成された診察用動画像を、熟練度の低い医師の学習教材として利用できる。
【０１５９】
なお、以上においては、観察パラメータの例として、表示倍率と観察時間について説明したが、その他、観察位置の表示向き（角度）や、観察位置間のスクロール速度などが観察パラメータとされてもよい。また、上述した各観察位置の表示順序や表示倍率などは、医師等により設定できるようにしてもよい。
【０１６０】
〈変形例１〉
さらに、診察用動画像は、各観察位置が辞書により特定された観察順序で表示されるものであれば、どのようなものであってもよい。
【０１６１】
例えば、各観察位置が辞書により特定された観察パラメータで表示される場合に、１つの観察位置の表示が終了した後、一度、医用画像全体が表示されてから、次の観察位置が表示されるようにしてもよい。
【０１６２】
具体的には、例えば医用画像として、上述した医用画像ＭＰ１１が入力され、観察順序情報により示される各観察位置の観察すべき順番が観察位置Ｐ３１乃至観察位置Ｐ３４であったとする。
【０１６３】
このような場合、例えば動画像生成部１４７は、観察位置の表示と、その次の観察位置の表示との間に医用画像ＭＰ１１全体が表示される診察用動画像を生成する。
【０１６４】
すなわち、この診察用動画像の再生時には、まず医用画像ＭＰ１１全体が表示されてから、観察位置Ｐ３１を含む領域が表示される。そして、その後、観察位置Ｐ３２を含む領域、医用画像ＭＰ１１全体、観察位置Ｐ３３を含む領域、医用画像ＭＰ１１全体、観察位置Ｐ３４を含む領域、および医用画像ＭＰ１１全体の順番で表示が行なわれる。
【０１６５】
〈変形例２〉
また、上述した図６の領域ＲＡ１１のように、診察用動画像上に常に医用画像全体が表示される領域が設けられてもよい。
【０１６６】
具体的には、例えば医用画像として、上述した医用画像ＭＰ１１が入力され、観察順序情報により示される各観察位置の観察すべき順番が観察位置Ｐ３１乃至観察位置Ｐ３４であったとする。
【０１６７】
このような場合、例えば動画像生成部１４７は、画面の一部の領域に医用画像ＭＰ１１全体が表示されたままの状態で、画面全体に観察位置Ｐ３１乃至観察位置Ｐ３４を含む領域が、それらの観察位置の観察パラメータで順番に表示される診察用動画像を生成する。
【０１６８】
なお、以上において説明した診察用動画像は、観察位置を含む領域の画像が、１つのフレームを構成する画像とされる動画像であるが、各観察位置を含む領域の静止画像が、観察順序で並べられた（順序付けられた）、静止画像群を生成するようにしてもよい。例えば、この静止画像群は、診察用動画像を構成する各フレームの画像を、フレーム順に並べて得られる画像群などとされてもよい。このような静止画像群を用いても、診断時における熟練医師の画面操作をシミュレートすることができる。
【０１６９】
また、診察用動画像の生成時において、医師等が、３分や１分など、制限時間や再生時間を設定できるようにしてもよい。そのような場合、例えば動画像生成部１４７は、設定された再生時間の動画像を診察用動画像として生成する。
【０１７０】
具体的には、動画像生成部１４７は、診察用動画像での各観察位置の表示時間の合計が、設定された再生時間となるように、観察パラメータとして得られた各観察位置の観察時間を、それらの観察時間の比率を保ったまま変化させる。これにより、各観察位置が表示される時間の長さの比を維持したまま、指定された時間内で再生される診察用動画像を得ることができる。
【０１７１】
さらに、診察用動画像の再生時間が、指定された時間内となるように、関数Ｇ（ｘ）の値が低いいくつかの観察位置が間引かれるようにしてもよい。すなわち、この場合、注目度合いの低い順番に、所定数の観察位置が選択され、選択されたそれらの観察位置が表示されない（除外された）診察用動画像が生成されることになる。
【０１７２】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１７３】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１７４】
コンピュータにおいて、CPU５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１７５】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０１７６】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７７】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１７８】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１７９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１８１】
１１ 画像処理装置， ２１ 取得部， ２２ 観察位置検出辞書生成部， ２３ 観察パラメータ生成辞書生成部， ２４ 観察順序生成辞書生成部， ２５ 診察用動画像生成部， １４１ 観察位置検出辞書保持部， １４２ 観察パラメータ生成辞書保持部， １４３ 観察順序生成辞書保持部， １４４ 観察位置検出部， １４５ 観察パラメータ生成部， １４６ 観察順序情報生成部， １４７ 動画像生成部
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、より簡単かつ迅速に診断のための病理画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、医師などが顕微鏡等で得られた病理画像を観察し、病理診断を行なう場合があり、このような病理画像を用いて診断を行なうのに有用な技術が提案されている。
【０００３】
そのような技術としては、例えばユーザの操作入力に応じて、顕微鏡で撮像された顕微鏡画像を用いて、スクリーニング（移動観察）動画像、ズーミング動画像、およびフォーカシング動画像を生成する技術が提案されている（例えば、特許文献１参照）。この技術では、過去の操作入力の履歴や現在の操作入力に応じた動画像が生成可能である。
【０００４】
また、指導医の観察ログに基づいて、試料の観察された領域を観察に必要な解像度で撮像し、撮像により得られた画像を関係付けて記録することで、病理診断学の教材用の画像を生成する方法も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２２８１８５号公報
【０００６】
【特許文献２】特開２００５−２６６７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した技術では、診断のための病理画像を生成することで、病理診断をより効率的に行なうことができるようになるが、そのような病理画像を得るには、煩雑な操作が必要であった。
【０００８】
例えば、特許文献１に記載の技術では、診断用の病理画像として、スクリーニング動画像等を得るには、ユーザは操作入力をする必要があった。特に、新規の顕微鏡画像に対しては、ユーザが手動で多くの操作入力をする必要があり、スクリーニング動画像等が得られるまでに時間がかかってしまう。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、より簡単かつ迅速に診断のための病理画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面の画像処理装置は、処理対象の医用画像から、第１の特徴量を抽出する第１の特徴量抽出手段と、予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出する位置検出手段と、前記医用画像上の前記観察位置から、第２の特徴量を抽出する第２の特徴量抽出手段と、予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定する観察順序特定手段と、前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する画像生成手段とを備える。
【００１１】
画像処理装置には、前記医用画像上の前記観察位置から、第３の特徴量を抽出する第３の特徴量抽出手段と、予め統計学習により生成された、第３の特徴量から画像上の観察位置の観察条件を特定するための観察条件生成辞書と、前記医用画像上の前記観察位置の前記第３の特徴量とに基づいて、前記医用画像上の前記観察位置ごとに前記観察条件を特定する観察条件特定手段とをさらに設け、前記画像生成手段には、前記観察位置が、特定された前記観察条件で表示されるように、前記観察画像を生成させることができる。
【００１２】
前記観察条件は、前記観察位置の表示倍率、または前記観察位置を継続して表示する表示時間とすることができる。
【００１３】
前記観察画像を、前記観察位置が前記観察順序で順番に表示される動画像とし、前記動画像の最初または最後の少なくとも何れかにおいて、前記医用画像全体が表示されるようにすることができる。
【００１４】
前記観察画像を、前記観察位置が前記観察順序で順番に表示される動画像とし、前記動画像において、１つの前記観察位置が表示された後、前記医用画像全体が表示されてから、次の前記観察位置が表示されるようにすることができる。
【００１５】
前記観察画像を、前記観察画像の一部の領域に継続して前記医用画像全体が表示されている状態で、前記観察位置が前記観察順序で順番に表示される動画像とすることができる。
【００１６】
本発明の一側面の画像処理方法またはプログラムは、処理対象の医用画像から、第１の特徴量を抽出し、予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出し、前記医用画像上の前記観察位置から、第２の特徴量を抽出し、予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定し、前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成するステップを含む。
【００１７】
本発明の一側面においては、処理対象の医用画像から、第１の特徴量が抽出され、予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置が検出され、前記医用画像上の前記観察位置から、第２の特徴量が抽出され、予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序が特定され、前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像が生成される。
【発明の効果】
【００１８】
本発明の一側面によれば、より簡単かつ迅速に診断のための病理画像を得ることができる。
【図面の簡単な説明】
【００１９】
【図１】画像処理装置の一実施の形態の構成例を示す図である。
【図２】観察位置検出辞書生成部の構成例を示す図である。
【図３】観察パラメータ生成辞書生成部の構成例を示す図である。
【図４】観察順序生成辞書生成部の構成例を示す図である。
【図５】診察用動画像生成部の構成例を示す図である。
【図６】観察ログの生成について説明する図である。
【図７】観察ログの生成について説明する図である。
【図８】観察位置検出辞書の学習処理を説明するフローチャートである。
【図９】観察位置検出辞書の学習について説明する図である。
【図１０】観察パラメータ生成辞書の学習処理を説明するフローチャートである。
【図１１】観察パラメータ生成辞書の学習について説明する図である。
【図１２】観察順序生成辞書の学習処理を説明するフローチャートである。
【図１３】観察順序生成辞書の学習について説明する図である。
【図１４】動画像生成処理を説明するフローチャートである。
【図１５】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２１】
〈第１の実施の形態〉
［画像処理装置の構成例］
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。この画像処理装置１１は、例えば顕微鏡等で撮像された医用画像から、医師等が病理診断に用いる診察用動画像を生成して再生するものである。
【００２２】
なお、医用画像は、一般的な医用画像であれば、どのようなものであってもよいが、以下では、医用画像が病理診断用の画像である場合を例として説明を続ける。また、医用画像は、２次元の画像データに限らず、ＣＴ（Computed Tomography）やＭＲＩ（Magnatic Resonance Image）などの３次元の画像データとすることも可能である。
【００２３】
画像処理装置１１は、取得部２１、観察位置検出辞書生成部２２、観察パラメータ生成辞書生成部２３、観察順序生成辞書生成部２４、診察用動画像生成部２５、記録部２６、表示制御部２７、および表示部２８から構成される。
【００２４】
取得部２１は、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４で行なわれる学習処理に用いられる、学習用医用画像および観察ログを取得し、記録する。例えば、学習用医用画像は、記録部２６から取得される。また、取得部２１は、必要に応じて、学習用医用画像および観察ログを、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４に供給する。
【００２５】
ここで、観察ログは、熟練医師等が病理画像ビューアなどを用いて学習用医用画像を表示させ、表示倍率等を変化させながら、その学習用医用画像の各領域を観察したときの観察のログである。より詳細には、取得部２１は、学習用医用画像の表示時に、１秒ごとに観察のログを取得し、その結果得られたログを加工して、観察ログとする。
【００２６】
観察位置検出辞書生成部２２は、取得部２１からの学習用医用画像および観察ログを用いて統計学習を行い、任意の病理診断用の医用画像から、その医用画像上における注目して観察すべき領域の位置を検出するための観察位置検出辞書を生成する。
【００２７】
例えば、医用画像上で注目して観察すべき領域とは、腫瘍などの診断に必要な部位、つまり医師により診断されるべき注目部位とされる。以下、観察位置検出辞書により検出される、注目して観察すべき領域の位置、および学習用医用画像において熟練医師等が注目して観察した領域の位置を観察位置とも称する。
【００２８】
観察パラメータ生成辞書生成部２３は、取得部２１からの学習用医用画像および観察ログを用いて統計学習を行い、病理診断用の医用画像上の各観察位置を観察するときに設定すべき、各種のパラメータを特定するための観察パラメータ生成辞書を生成する。
【００２９】
例えば、各観察位置を観察するときの各種のパラメータは、表示倍率、観察位置の観察時間（表示時間）などの観察条件とされる。以下、観察パラメータ生成辞書を用いて得られるこれらの観察条件を示すパラメータを、観察パラメータと称する。
【００３０】
観察順序生成辞書生成部２４は、取得部２１からの学習用医用画像および観察ログを用いて統計学習を行い、病理診断用の医用画像上の各観察位置を観察すべき順序を特定するための観察順序生成辞書を生成する。
【００３１】
診察用動画像生成部２５は、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４で生成された各辞書を取得して保持するとともに、それらの辞書を用いて、入力された医用画像から診察用動画像を生成して記録部２６に供給する。
【００３２】
記録部２６は、診察用動画像生成部２５から供給された診察用動画像を記録するとともに、診察用動画像を表示制御部２７や取得部２１に供給する。表示制御部２７は、記録部２６から供給された診察用動画像を表示部２８に供給し、診察用動画像の再生を制御する。表示部２８は、例えば液晶ディスプレイなどからなり、表示制御部２７の制御にしたがって診察用動画像を表示する。
【００３３】
［観察位置検出辞書生成部の構成例］
次に、図１の観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４、および診察用動画像生成部２５のより詳細な構成例について説明する。
【００３４】
図２は、観察位置検出辞書生成部２２の構成例を示す図である。
【００３５】
観察位置検出辞書生成部２２は、周辺画像生成部５１、特徴量抽出部５２、学習部５３、および辞書生成部５４から構成される。
【００３６】
周辺画像生成部５１は、取得部２１から学習用医用画像と観察ログを取得して、学習用医用画像の一部の領域を周辺画像として切り出して、特徴量抽出部５２に供給する。このとき、観察ログに基づいて、周辺画像の切り出しが行なわれる。
【００３７】
特徴量抽出部５２は、周辺画像生成部５１から供給された複数の周辺画像について、それらの周辺画像から予め定められた特徴の特徴量を抽出し、学習部５３に供給する。学習部５３は、特徴量抽出部５２から供給された特徴量に基づいて統計学習を行い、その学習結果を辞書生成部５４に供給する。辞書生成部５４は、学習部５３からの学習結果に基づいて観察位置検出辞書を生成し、診察用動画像生成部２５に供給する。
【００３８】
［観察パラメータ生成辞書生成部の構成例］
図３は、観察パラメータ生成辞書生成部２３の構成例を示す図である。観察パラメータ生成辞書生成部２３は、周辺画像生成部８１、特徴量抽出部８２、学習部８３、および辞書生成部８４から構成される。
【００３９】
なお、これらの周辺画像生成部８１乃至辞書生成部８４は、学習のアルゴリズムや抽出する特徴量が異なるだけで、基本的に図２の周辺画像生成部５１乃至辞書生成部５４と同様であるので、その説明は省略する。
【００４０】
但し、学習部８３では、周辺画像から抽出された特徴量と、取得部２１から供給された観察ログとが用いられて統計学習が行なわれる。また、辞書生成部８４で生成された観察パラメータ生成辞書は、診察用動画像生成部２５に供給される。
【００４１】
［観察順序生成辞書生成部の構成例］
図４は、観察順序生成辞書生成部２４の構成例を示す図である。観察順序生成辞書生成部２４は、周辺画像生成部１１１、特徴量抽出部１１２、学習部１１３、および辞書生成部１１４から構成される。
【００４２】
なお、これらの周辺画像生成部１１１乃至辞書生成部１１４は、学習のアルゴリズムや抽出する特徴量が異なるだけで、基本的に図２の周辺画像生成部５１乃至辞書生成部５４と同様であるので、その説明は省略する。
【００４３】
但し、学習部１１３では、周辺画像から抽出された特徴量と、取得部２１から供給された観察ログとが用いられて統計学習が行なわれる。また、辞書生成部１１４で生成された観察順序生成辞書は、診察用動画像生成部２５に供給される。
【００４４】
なお、周辺画像生成部５１、周辺画像生成部８１、および周辺画像生成部１１１で生成される周辺画像は、同じ大きさであってもよいし、異なる大きさでもよい。
【００４５】
［診察用動画像生成部の構成例］
さらに、図５は、診察用動画像生成部２５の構成例を示す図である。
【００４６】
診察用動画像生成部２５は、観察位置検出辞書保持部１４１、観察パラメータ生成辞書保持部１４２、観察順序生成辞書保持部１４３、観察位置検出部１４４、観察パラメータ生成部１４５、観察順序情報生成部１４６、および動画像生成部１４７から構成される。
【００４７】
観察位置検出辞書保持部１４１乃至観察順序生成辞書保持部１４３は、それぞれ観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４から供給された観察位置検出辞書、観察パラメータ生成辞書、および観察順序生成辞書を保持する。
【００４８】
観察位置検出部１４４は、観察位置検出辞書保持部１４１に記録されている観察位置検出辞書を用いて、供給された医用画像から観察位置を検出し、その検出結果と医用画像を観察パラメータ生成部１４５、観察順序情報生成部１４６、および動画像生成部１４７に供給する。また、観察位置検出部１４４は特徴量抽出部１６１を備えており、特徴量抽出部１６１は、観察位置の検出時において、医用画像から観察位置の検出に用いられる特徴量を抽出する。
【００４９】
観察パラメータ生成部１４５は、観察位置検出部１４４から供給された検出結果および医用画像と、観察パラメータ生成辞書保持部１４２に保持されている観察パラメータ生成辞書とに基づいて、医用画像上の観察位置ごとに観察パラメータを生成し、動画像生成部１４７に供給する。
【００５０】
また、観察パラメータ生成部１４５は特徴量抽出部１６２を備えており、特徴量抽出部１６２は、観察パラメータの生成時において、観察位置検出部１４４から供給された医用画像から、観察パラメータの生成に用いる特徴量を抽出する。
【００５１】
観察順序情報生成部１４６は、観察位置検出部１４４から供給された検出結果および医用画像と、観察順序生成辞書保持部１４３に保持されている観察順序生成辞書とに基づいて、医用画像上の観察位置の観察順序を示す観察順序情報を生成し、動画像生成部１４７に供給する。
【００５２】
また、観察順序情報生成部１４６は特徴量抽出部１６３を備えており、特徴量抽出部１６３は、観察順序情報の生成時において、観察位置検出部１４４から供給された医用画像から、観察順序情報の生成に用いる特徴量を抽出する。
【００５３】
動画像生成部１４７は、観察位置検出部１４４からの観察位置の検出結果と医用画像、観察パラメータ生成部１４５から観察パラメータ、および観察順序情報生成部１４６からの観察順序情報に基づいて、診察用動画像を生成し、記録部２６に供給する。
【００５４】
［観察ログの生成について］
ところで、熟練医師等が画像処理装置１１を操作し、病理診断のための病理画像として、学習用医用画像の表示を指示すると、表示制御部２７は、記録部２６から学習用医用画像を取得して表示部２８に供給し、表示させる。このとき、表示制御部２７は、熟練医師等の操作に応じて、学習用医用画像の一部の領域を拡大して表示させたり、所定の領域から他の領域までスクロール表示を行なったりする。
【００５５】
これにより、例えば表示部２８には、図６の左側に示す学習用医用画像が表示される。図６の例では、表示部２８の表示画面の図中、右下に設けられた領域ＲＡ１１には、表示対象となっている学習用医用画像全体が表示されており、その学習用医用画像の一部の領域が表示部２８の表示画面全体に表示されている。すなわち、表示部２８の表示画面全体には、領域ＲＡ１１内の学習用医用画像上における領域ＲＢ１１の画像が、拡大表示されている。
【００５６】
熟練医師等は、表示部２８に表示された学習用医用画像の各領域を観察することで、病理診断を行なう。例えば、熟練医師等は、癌の発見や癌の進行度合いを診断する。
【００５７】
このように、熟練医師等が、学習用医用画像の各領域を所定の表示倍率で拡大、縮小させて観察すると、取得部２１は、表示されている学習用医用画像を記録部２６から取得するとともに、その学習用医用画像の観察のログを１秒ごとに記録する。
【００５８】
これにより、例えば図６の右側に示す毎秒ごとのログＬＧ１１が得られる。ログＬＧ１１では、各時刻における熟練医師の観察位置と表示倍率とからなるデータが、図中、縦方向に時刻順に並べられている。
【００５９】
ここで、観察位置は、学習用医用画像上の表示部２８に表示されている領域の中心位置であり、観察位置は、学習用医用画像の所定の位置を原点とするＸＹ座標系のＸ座標とＹ座標により表される。また、表示倍率とは、学習用医用画像の観察位置を表示するときの表示倍率（拡大倍率）である。
【００６０】
図６の例では、｛Ｘ座標，Ｙ座標，表示倍率｝からなるデータが、各時刻のログのデータとして、図中、縦方向に並べられている。したがって、例えばログＬＧ１１の図中、一番上側にあるデータ｛３３０，４５６，１０｝から、熟練医師等が、Ｘ座標「３３０」およびＹ座標「４５６」により定まる学習用医用画像上の位置を、１０倍の表示倍率で拡大表示させて観察していたことが分かる。
【００６１】
熟練医師等による学習用医用画像の観察が終了すると、取得部２１は、得られた毎秒ごとのログから観察ログを生成し、学習用の観察ログとして記録する。
【００６２】
例えば取得部２１は、図７に示すように、各時刻のＸ座標，Ｙ座標，および表示倍率が含まれる毎秒ごとのログＬＧ１１から、学習用医用画像の各観察位置のＸ座標，Ｙ座標，観察時間，および表示倍率が含まれる観察ログＯＬＧ１１を生成する。
【００６３】
なお、観察ログＯＬＧ１１では、熟練医師等により観察された、学習用医用画像上の各観察位置の｛Ｘ座標，Ｙ座標，観察時間，表示倍率｝からなるデータが、ログのデータとして図中、縦方向に時刻順に並べられている。
【００６４】
例えば、ログＬＧ１１の図７中、上から３つのデータは｛３３０，４５６，１０｝であり、同じデータとなっている。したがって、これらのデータから、熟練医師等が、Ｘ座標「３３０」およびＹ座標「４５６」により定まる学習用医用画像上の領域を、表示倍率１０倍で３秒間、観察していたことが分かる。
【００６５】
そこで、取得部２１は、これらのデータから、観察ログＯＬＧ１１の図中、一番上側のデータ｛３３０，４５６，３，１０｝を生成する。ここで、観察時間「３」は、このデータで特定される学習用医用画像上の領域が、継続して３秒間観察されたことを示している。つまり、観察時間は、学習用医用画像の領域が継続して表示された時間を示している。
【００６６】
このようにして観察ログを生成すると、取得部２１は、取得した学習用医用画像と観察ログとを対応付けて記録する。
【００６７】
なお、観察ログの生成にあたり、熟練医師等が実際には病理診断を行なっていなかったときのログは、反映されないようにしてもよい。
【００６８】
例えば、熟練医師等が学習用医用画像を用いた病理診断を行なうときに、何らかの要因により、一旦診断を中断したとする。この場合、診断が中断されてから、診断が再開されるまでの間は、実際には熟練医師等による診断はされていないのにも関わらず、ログが記録されてしまい、その間表示されていた観察位置の観察時間が必要以上に長くなってしまう。
【００６９】
そこで、例えば画像処理装置１１に、画像処理装置１１の操作を行なう熟練医師等の視線方向を検出するセンサを設ければ、熟練医師等が実際に病理診断を行っているか否かを検出することができる。例えば、熟練医師等の視線が、明らかに表示部２８の方向から大きく外れている場合、病理診断が行なわれていないとされる。
【００７０】
このように、病理診断が行なわれていないと判定された場合、取得部２１は、熟練医師等の視線方向が表示部２８の方向であると検出されるまで、学習用医用画像の毎秒ごとのログの記録を抑制する。これにより、より正確な観察ログを得ることができる。
【００７１】
［観察位置検出辞書の学習処理の説明］
取得部２１により、充分な数の学習用医用画像と観察ログが得られると、観察位置検出辞書生成部２２乃至観察順序生成辞書生成部２４は、これらの学習用医用画像と観察ログを用いて学習を行い、各辞書を生成する。
【００７２】
以下、これらの辞書の生成について説明する。
【００７３】
まず、図８のフローチャートを参照して、観察位置検出辞書生成部２２による観察位置検出辞書の学習処理について説明する。
【００７４】
ステップＳ１１において、周辺画像生成部５１は、取得部２１から供給された学習用医用画像および観察ログに基づいて、学習用医用画像上の観察位置および非観察位置の周辺画像を切り出して、特徴量抽出部５２に供給する。
【００７５】
例えば、図９に示す学習用医用画像が供給され、観察ログにより５つの観察位置Ｐ１１乃至観察位置Ｐ１５が特定されたとする。この場合、周辺画像生成部５１は、これらの観察位置Ｐ１１乃至観察位置Ｐ１５を中心とする、矩形状の領域のそれぞれを切り出して、観察位置を含む周辺画像ＰＤ１１乃至周辺画像ＰＤ１５とする。
【００７６】
また、周辺画像生成部５１は、学習用医用画像上の観察位置とは異なるいくつかの位置を非観察位置とし、それらの非観察位置を中心とする、矩形状の領域のそれぞれを切り出して、非観察位置の周辺画像とする。なお、非観察位置は、周辺画像生成部５１により無作為に定められる。
【００７７】
以上のようにして得られた観察位置の周辺画像ＰＤ１１乃至周辺画像ＰＤ１５は、熟練医師等が病理診断のときに注目した部位の画像である。すなわち、病理診断時に、一定の時間以上継続して表示され続けた部位である。逆に、非観察位置の周辺画像は、熟練医師等が特に注目しなかった部位の画像である。
【００７８】
周辺画像生成部５１は、図中、右側に示すように周辺画像ＰＤ１１乃至周辺画像ＰＤ１５をポジティブデータとして特徴量抽出部５２に供給し、非観察位置の周辺画像をネガティブデータとして特徴量抽出部５２に供給する。例えば、ポジティブデータであるか、ネガティブデータであるかの区別は、それらの何れのデータであるかを示すラベルを周辺画像に付加することで行なわれる。
【００７９】
なお、学習用医用画像から、周辺画像として切り出される領域の大きさは、予め定められた大きさとされてもよいし、その大きさが変えられながら観察位置検出辞書の統計学習が行なわれ、その過程で最適な大きさが定められるようにしてもよい。
【００８０】
図８のフローチャートの説明に戻り、周辺画像生成部５１は、複数の学習用医用画像から周辺画像を生成すると、それらの周辺画像を特徴量抽出部５２に供給し、処理はステップＳ１２に進む。
【００８１】
ステップＳ１２において、特徴量抽出部５２は、周辺画像生成部５１から供給された各周辺画像から特徴量を抽出し、各周辺画像に付加されたラベルとともに学習部５３に供給する。例えば、特徴量抽出部５２は、周辺画像上の任意の２つの画素の組を画素ペアとし、それらの画素の輝度値の差分を特徴量として求める。特徴量抽出部５２は、周辺画像上のいくつかの異なる画素ペアについて、上述した特徴量を求め、学習部５３に供給する。
【００８２】
ステップＳ１３において、学習部５３は、特徴量抽出部５２から供給された特徴量に基づいて、Boosting等の統計学習を行い、その学習結果を辞書生成部５４に供給する。
【００８３】
例えば、観察位置らしさを表す関数Ｇ（ｘ）が、複数の弱識別器ｇ（ｘ）を線形結合、すなわち重み付き加算して得られる関数であるとする。ここで、弱識別器ｇ（ｘ）は、特定の画素ペアの特徴量が所定の閾値ｔｈｇ以上であれば「１」を出力し、特徴量が閾値ｔｈｇ未満であれば「０」を出力する関数である。また、関数Ｇ（ｘ）に、画像から抽出された特徴量を代入して得られる値が大きいほど、その画像の領域は観察位置らしいものとする。
【００８４】
このような場合、学習部５３は、ポジティブデータから得られた特徴量と、ネガティブデータから得られた特徴量とを用いて、いくつかの弱識別器ｇ（ｘ）を組み合わせながら、最も高精度に観察位置を検出できる関数Ｇ（ｘ）を統計学習により求める。換言すれば、統計学習では、観察位置の検出に最適な画素ペアの組み合わせ（弱識別器ｇ（ｘ）の組み合わせ）、各弱識別器ｇ（ｘ）の閾値ｔｈｇ、および線形結合に用いられる重みが求められることになる。
【００８５】
ステップＳ１４において、辞書生成部５４は、学習部５３から供給された統計学習の結果に基づいて、観察位置検出辞書を生成し、診察用動画像生成部２５の観察位置検出辞書保持部１４１に供給して保持させる。
【００８６】
例えば、辞書生成部５４は、統計学習により求められた関数Ｇ（ｘ）を構成する各弱識別器ｇ（ｘ）、それらの弱識別器の閾値ｔｈｇ、および線形結合に用いる各弱識別器の重みを観察位置検出辞書とする。このようにして観察位置検出辞書が生成されると、観察位置検出辞書の学習処理は終了する。
【００８７】
このように、熟練医師の観察ログと学習用医用画像とを用いて、統計学習により予め観察位置検出辞書を生成しておけば、任意の医用画像から、熟練医師等が注目すると思われる観察位置を高精度に検出することができる。
【００８８】
［観察パラメータ生成辞書の学習処理の説明］
次に、図１０のフローチャートを参照して、観察パラメータ生成辞書生成部２３による観察パラメータ生成辞書の学習処理について説明する。
【００８９】
ステップＳ４１において、周辺画像生成部８１は、取得部２１から供給された学習用医用画像および観察ログに基づいて、学習用医用画像上の観察位置の周辺画像を切り出して、特徴量抽出部８２に供給する。すなわち、ステップＳ４１では、図８のステップＳ１１における観察位置の周辺画像の切り出しと同様の処理が行われる。
【００９０】
ステップＳ４２において、特徴量抽出部８２は、周辺画像生成部８１から供給された各周辺画像から特徴量を抽出し、学習部８３に供給する。例えば、周辺画像の画素の輝度値の分布を示すヒストグラムや、HOG（Histograms of Oriented Gradients）などが特徴量として求められる。
【００９１】
ステップＳ４３において、学習部８３は、特徴量抽出部８２から供給された各周辺画像の特徴量と、取得部２１から供給された観察ログとに基づいて、Gradient Boosting等の統計学習を行なう。つまり、観察ログから得られる各観察パラメータが教師データとされて、統計学習が行なわれる。
【００９２】
例えば、観察パラメータとしての観察時間を得るための観察パラメータ生成辞書を得ようとする場合、学習部８３は、図１１に示すように、各周辺画像、より詳細には周辺画像から抽出された特徴量と、周辺画像に含まれる観察位置の観察時間とを対応付ける。例えば、複数の周辺画像からなる周辺画像群ＰＧ１１乃至周辺画像群ＰＧ１５は、それぞれ観察時間が５秒、６秒、７秒、２０秒、および２１秒である観察位置を含む周辺画像の集合である。
【００９３】
そして学習部８３は、各周辺画像の特徴量ｘと観察時間ｙに基づいて次式（１）を計算し、損失関数Ｌ（ｙ，Ｆ（ｘ））が最小となる関数Ｆ（ｘ）を求める。
【００９４】
【数１】
【００９５】
ここで、関数Ｆ（ｘ）は、観察位置を含む任意の画像から抽出された特徴量ｘから、観察パラメータ（ここでは観察時間ｙ）を得るための関数である。また、式（１）において、Ｅｘ，ｙ（Ｌ（ｙ，Ｆ（ｘ）））は、損失関数Ｌ（ｙ，Ｆ（ｘ））の期待値である。この統計学習は、損失関数を最少とする関数Ｆ’を推定する問題として定式化されている。
【００９６】
学習部８３は、観察パラメータごとに統計学習を行なうと、その学習結果を辞書生成部８４に供給する。
【００９７】
ステップＳ４４において、辞書生成部８４は、学習部８３から供給された学習結果に基づいて、各観察パラメータの観察パラメータ生成辞書を生成し、診察用動画像生成部２５の観察パラメータ生成辞書保持部１４２に供給して保持させる。
【００９８】
例えば、辞書生成部８４は、上述した関数Ｆ（ｘ）を観察パラメータとしての観察時間の観察パラメータ生成辞書とする。このようにして観察パラメータ生成辞書が生成されると、観察パラメータ生成辞書の学習処理は終了する。
【００９９】
このように、熟練医師の観察ログと学習用医用画像とを用いて、統計学習により予め観察パラメータ生成辞書を生成しておけば、任意の医用画像の各観察位置を、熟練医師等がどのような観察パラメータで観察するかを、高精度に推定することができる。
【０１００】
［観察順序生成辞書の学習処理の説明］
さらに、図１２のフローチャートを参照して、観察順序生成辞書生成部２４による観察順序生成辞書の学習処理について説明する。
【０１０１】
ステップＳ７１において、周辺画像生成部１１１は、取得部２１から供給された学習用医用画像および観察ログに基づいて、学習用医用画像上の観察位置の周辺画像を切り出して、特徴量抽出部１１２に供給する。すなわち、ステップＳ７１では、図８のステップＳ１１における観察位置の周辺画像の切り出しと同様の処理が行われる。
【０１０２】
ステップＳ７２において、特徴量抽出部１１２は、周辺画像生成部１１１から供給された各周辺画像から特徴量を抽出し、学習部１１３に供給する。例えば、周辺画像の画素の輝度値の分布を示すヒストグラムや、HOGなどが特徴量として求められる。
【０１０３】
ステップＳ７３において、学習部１１３は、特徴量抽出部１１２から供給された各周辺画像の特徴量と、取得部２１から供給された観察ログとに基づいて、Rank Boost等の統計学習を行なう。つまり、観察ログから得られる観察位置の観察順序が教師データとされて、統計学習が行なわれる。
【０１０４】
例えば、図１３に示すように、学習用医用画像ＭＰ１１乃至学習用医用画像ＭＰ１３から、周辺画像が切り出されたとする。
【０１０５】
図１３の例では、学習用医用画像ＭＰ１１からは、観察位置Ｐ３１乃至観察位置Ｐ３４を中心とする周辺画像ＰＤ３１乃至周辺画像ＰＤ３４が切り出されている。また、学習用医用画像ＭＰ１２からは、観察位置Ｐ４１乃至観察位置Ｐ４５を中心とする周辺画像ＰＤ４１乃至周辺画像ＰＤ４５が切り出され、学習用医用画像ＭＰ１３からは、観察位置Ｐ５１乃至観察位置Ｐ５５を中心とする周辺画像ＰＤ５１乃至周辺画像ＰＤ５５が切り出されている。
【０１０６】
このような場合、学習部１１３は観察ログに基づいて、学習用医用画像ごとに、それらの学習用医用画像から切り出された周辺画像を、観察された順番に並び替える。観察ログでは、各観察位置に関する情報が時系列に並べられているので、それらの観察位置を含む周辺画像の観察順序（表示順序）は、観察ログを参照することで特定することができる。
【０１０７】
例えば、学習用医用画像ＭＰ１１上において、観察位置Ｐ３１乃至観察位置Ｐ３４の順に熟練医師による観察が行なわれたとすると、学習部１１３は、学習用医用画像ＭＰ１１から切り出された周辺画像を、周辺画像ＰＤ３１乃至周辺画像ＰＤ３４の順番に並べる。
【０１０８】
同様にして、学習部１１３は観察ログを参照して、学習用医用画像ＭＰ１２から切り出された周辺画像を、周辺画像ＰＤ４１乃至周辺画像ＰＤ４５の順番に並べる。また、学習部１１３は、学習用医用画像ＭＰ１３から切り出された周辺画像も、周辺画像ＰＤ５１乃至周辺画像ＰＤ５５の順番に並べる。
【０１０９】
より詳細には、学習部１１３は、学習用医用画像ごとに、その学習用医用画像から切り出された周辺画像の特徴量を昇順または降順に並べ替えることになる。
【０１１０】
学習部１１３は、特徴量の並び替えを行なうと、各周辺画像の特徴量ｘに基づいて次式（２）で示される損失関数rlossD(H)が最小となるスコア関数Ｈ（ｘ）を求める。
【０１１１】
【数２】
【０１１２】
なお、式（２）において、［［Ｈ（ｘ１）≦Ｈ（ｘ０）］］は、Ｈ（ｘ１）≦Ｈ（ｘ０）が満たされる場合に「１」を出力し、Ｈ（ｘ１）≦Ｈ（ｘ０）が満たされない場合、「０」を出力する演算子である。また、式（２）におけるＤ（ｘ０，ｘ１）は、重みを示している。
【０１１３】
さらに、スコア関数Ｈ（ｘ）は、次式（３）に示されるように、重みαｔを用いて弱識別器ｈｔ（ｘ）を線形結合することで得られる関数であり、このスコア関数Ｈ（ｘ）の値は、病理診断時に注目すべき度合いを示している。
【０１１４】
【数３】
【０１１５】
式（３）における弱識別器ｈｔ（ｘ）は、周辺画像の特徴量ｘが所定の閾値ｔｈｏ以上である場合に「１」を出力し、特徴量ｘが閾値ｔｈｏ未満である場合に「０」を出力する関数である。より詳細には、弱識別器ｈｔ（ｘ）に代入される特徴量ｘは、例えば特徴量として周辺画像から抽出された輝度値のヒストグラムを構成する１つのビンの頻度値などとされ、ヒストグラムを構成するビンのうちの所定のＴ個のビンについて、弱識別器が設定される。
【０１１６】
学習部１１３は、１つの学習用医用画像から抽出された周辺画像ごとに、スコア関数Ｈ（ｘ）を算出し、それらのスコア関数Ｈ（ｘ）を上述した式（２）に代入することで、損失関数rlossD(H)を算出する。
【０１１７】
すなわち、１つの学習用医用画像から抽出された周辺画像から、任意の２つの周辺画像をペアとする場合に、全部でＫ通りのペアができるものとすると、学習部１１３は、Ｋ個の各ペアについて、演算子［［］］の演算を行う。例えば、周辺画像ＰＤｘ０と周辺画像ＰＤｘ１のペアであり、周辺画像ＰＤｘ０の観察順序がより早いのであれば、周辺画像ＰＤｘ０のスコア関数Ｈ（ｘ０）と周辺画像ＰＤｘ１のスコア関数Ｈ（ｘ１）から、［［Ｈ（ｘ１）≦Ｈ（ｘ０）］］の演算が行なわれる。
【０１１８】
学習部１１３は、周辺画像の全ての取り得るペアについて、演算子［［］］の演算を行なうと、それらの演算結果に重みＤ（ｘ０，ｘ１）を乗算して線形結合し、損失関数rlossD(H)の値を算出する。このようにして、学習部１１３は、スコア関数Ｈ（ｘ）を構成する弱識別器ｈｔ（ｘ）の組み合わせ、重みαｔ、および弱識別器の閾値ｔｈｏを変化させながら、損失関数の値を算出し、損失関数が最小となるスコア関数Ｈ（ｘ）を求める。
【０１１９】
このようにして行なわれるRank Boostは、候補を順位付けするスコア関数Ｈ（ｘ）をBoostingにより学習する手法である。学習部１１３は、統計学習が行なわれると、その学習結果を辞書生成部１１４に供給し、処理はステップＳ７４に進む。
【０１２０】
ステップＳ７４において、辞書生成部１１４は、学習部１１３から供給された学習結果に基づいて、観察順序生成辞書を生成し、診察用動画像生成部２５の観察順序生成辞書保持部１４３に供給して保持させる。
【０１２１】
例えば、辞書生成部１１４は、上述したスコア関数Ｈ（ｘ）を構成する各弱識別器ｈｔ（ｘ）の組み合わせ、各弱識別器の閾値ｔｈｏ、および重みαｔを、観察順序生成辞書とする。このようにして観察順序生成辞書が生成されると、観察順序生成辞書の学習処理は終了する。
【０１２２】
このように、熟練医師の観察ログと学習用医用画像とを用いて、統計学習により予め観察順序生成辞書を生成しておけば、任意の医用画像の各観察位置を、熟練医師等がどのような順序で観察するかを、高精度に推定することができる。
【０１２３】
なお、観察順序生成辞書の学習時において、学習用医用画像から抽出された各周辺画像は、観察された順番に並べられるが、この順番は、学習用医用画像を用いて病理診断を行なった熟練医師等にとって注目度合いの高い順番である。
【０１２４】
例えば、注目度合いの高い順番とは、観察位置の部位としての腫瘍の癌進行度が高い順番などであり、この順番は病理診断の対象となる病変等によってある程度決まってくる。
【０１２５】
ところが、病理診断時に、医師によって各部位に対する注目度合いの判断基準が異なる場合がある。例えば、癌の診断を行なう場合に、腫瘍の進行度が高い順に各腫瘍を観察していく医師と、悪性の腫瘍であるかがあいまいなものから順番に観察していく医師とがいることがある。
【０１２６】
そのような場合、医師ごとに、その医師が病理診断に用いた学習用医用画像のみを用いて学習を行い、各医師の観察順序生成辞書を生成すれば、より高精度に観察位置の注目度合いによる順序付けを行なうことができるようになる。
【０１２７】
例えば、所定の医師が新規の医用画像を用いて病理診断を行なおうとする場合、過去にその医師が病理診断に用いた学習用医用画像から得られた観察順序生成辞書を用いれば、より高精度に各観察位置の観察順序を推定することができるようになる。すなわち、今回新たに診断対象となる医用画像について、その医用画像から検出された各観察位置を、その医師が観察するであろう順番に並び替えることができる。
【０１２８】
［動画像生成処理の説明］
以上のようにして、各辞書が生成されると、診察用動画像の生成が可能となる。画像処理装置１１の診察用動画像生成部２５は、医用画像が入力されて医師等により診察用動画像の生成が指示されると、動画像生成処理を開始して診察用動画像を生成する。以下、図１４のフローチャートを参照して、診察用動画像生成部２５による動画像生成処理について説明する。
【０１２９】
ステップＳ１０１において、観察位置検出部１４４の特徴量抽出部１６１は、供給された医用画像から特徴量を抽出する。例えば、特徴量抽出部１６１は、医用画像上の所定の大きさの領域を検出用画像とし、検出用画像の位置を変化させながら、検出用画像ごとに、その検出用画像上の特定の画素ペアの輝度値の差分を特徴量として抽出する。
【０１３０】
ステップＳ１０２において、観察位置検出部１４４は、特徴量抽出部１６１により抽出された特徴量と、観察位置検出辞書保持部１４１に保持されている観察位置検出辞書とに基づいて、医用画像から観察位置を検出する。
【０１３１】
例えば、観察位置検出部１４４は、各検出用画像について、その検出用画像から抽出された特徴量ｘを、観察位置検出辞書から得られる関数Ｇ（ｘ）に代入し、得られた関数Ｇ（ｘ）の値が０より大きければ、その検出用画像の中心位置が観察位置であるとする。
【０１３２】
観察位置検出部１４４は、医用画像から観察位置を検出すると、検出された観察位置を示す情報および医用画像を、観察パラメータ生成部１４５、観察順序情報生成部１４６、および動画像生成部１４７に供給する。また、観察位置検出部１４４は、各観察位置について算出された、観察位置らしさを表す関数Ｇ（ｘ）の値を、動画像生成部１４７に供給する。
【０１３３】
ステップＳ１０３において、観察パラメータ生成部１４５の特徴量抽出部１６２は、観察位置検出部１４４から供給された観察位置を示す情報と医用画像に基づいて、医用画像から特徴量を抽出する。例えば、特徴量抽出部１６２は、医用画像上の各観察位置について、観察位置を含む所定の領域内の画素の輝度値の分布を示すヒストグラムなどを特徴量として抽出する。
【０１３４】
ステップＳ１０４において、観察パラメータ生成部１４５は、特徴量抽出部１６２により抽出された特徴量と、観察パラメータ生成辞書保持部１４２に保持されている観察パラメータ生成辞書とに基づいて、観察パラメータを生成する。
【０１３５】
例えば、観察パラメータ生成部１４５は、各観察位置の特徴量ｘを、観察パラメータ生成辞書として取得した関数Ｆ（ｘ）に代入し、得られた関数Ｆ（ｘ）の値により定まる値を観察パラメータとする。
【０１３６】
すなわち、例えば関数Ｆ（ｘ）の出力値の取り得る値の範囲は、予めいくつかの範囲に分割されており、それらの分割された範囲に対して、観察パラメータの値が対応付けられている。観察パラメータ生成部１４５は、特徴量を代入して得られた関数Ｆ（ｘ）の出力値が、予め分割されたどの範囲内の値であるかを特定し、特定された範囲に対応付けられた値を、観察パラメータの値とする。
【０１３７】
観察パラメータ生成部１４５は、このようにして得られた各観察パラメータを、動画像生成部１４７に供給する。
【０１３８】
ステップＳ１０５において、観察順序情報生成部１４６の特徴量抽出部１６３は、観察位置検出部１４４から供給された観察位置を示す情報と医用画像に基づいて、医用画像から特徴量を抽出する。例えば、特徴量抽出部１６３は、医用画像上の各観察位置について、観察位置を含む所定の領域内の画素の輝度値の分布を示すヒストグラムなどを特徴量として抽出する。
【０１３９】
ステップＳ１０６において、観察順序情報生成部１４６は、特徴量抽出部１６３により抽出された特徴量と、観察順序生成辞書保持部１４３に保持されている観察順序生成辞書とに基づいて、観察順序情報を生成する。
【０１４０】
例えば、観察順序情報生成部１４６は、各観察位置の特徴量ｘを、観察順序生成辞書から得られるスコア関数Ｈ（ｘ）に代入し、スコア関数Ｈ（ｘ）の値を求める。そして、観察順序情報生成部１４６は、各観察位置をスコア関数Ｈ（ｘ）の値が高い順に並べ、その順番を観察位置の観察順序とする。
【０１４１】
観察順序情報生成部１４６は、このようにして得られた観察順序を示す観察順序情報を、動画像生成部１４７に供給する。
【０１４２】
ステップＳ１０７において、動画像生成部１４７は、観察位置検出部１４４から供給された観察位置を示す情報、医用画像、および関数Ｇ（ｘ）の値と、観察パラメータ生成部１４５からの観察パラメータ、および観察順序情報生成部１４６からの観察順序情報とに基づいて、診察用動画像を生成する。
【０１４３】
例えば、図１３に示した学習用医用画像ＭＰ１１と同じ画像が、医用画像（以下、医用画像ＭＰ１１とも称することとする）として入力され、観察順序情報により示される各観察位置の観察すべき順番が観察位置Ｐ３１乃至観察位置Ｐ３４であったとする。
【０１４４】
このような場合、例えば動画像生成部１４７は、まず医用画像ＭＰ１１全体が表示され、その後、観察位置Ｐ３１乃至観察位置Ｐ３４を含む領域が順番に表示され、最後に医用画像ＭＰ１１全体が再び表示される画像を生成して、診察用動画像とする。
【０１４５】
すなわち、この診察用動画像の再生時には、再生開始後、医用画像ＭＰ１１全体が表示されると、次に最初の観察位置Ｐ３１を含む領域が、その観察位置Ｐ３１の観察パラメータで表示される。例えば、医用画像ＭＰ１１上の観察位置Ｐ３１を中心とする領域が、観察パラメータとしての表示倍率（拡大倍率）で、観察パラメータとしての観察時間だけ継続して表示される。
【０１４６】
そして、次に、観察位置Ｐ３１から観察位置Ｐ３２までの間の領域がスクロール表示されて、観察位置Ｐ３２を中心とする領域が、その観察位置Ｐ３２の観察パラメータで表示される。つまり、診察用動画像上の中心に表示される医用画像ＭＰ１１の位置が、観察位置Ｐ３１から観察位置Ｐ３２まで移動されながら、医用画像ＭＰ１１の各位置を含む領域が表示される。
【０１４７】
このとき、観察位置Ｐ３１と観察位置Ｐ３２とで、観察パラメータとしての表示倍率が異なる場合がある。そのような場合には、観察位置Ｐ３１から観察位置Ｐ３２までのスクロール表示が終了してから表示倍率が変更されてもよいし、スクロール表示中に連続的に表示倍率が変化するようにしてもよい。つまり、診察用動画像上の中心に観察位置Ｐ３２が表示されたときに、観察位置Ｐ３２を含む領域が、その観察位置Ｐ３２の観察パラメータで表示されていればよい。
【０１４８】
観察位置Ｐ３２を含む領域が表示されると、その後、同様にして適宜、観察位置間のスクロール表示が行なわれながら、観察位置Ｐ３３を含む領域と、観察位置Ｐ３４を含む領域とが、それらの観察位置の観察パラメータで順番に表示されていく。そして、観察位置Ｐ３４を含む領域が表示された後、再度、医用画像ＭＰ１１全体が表示されると、診察用動画像の再生は終了する。
【０１４９】
このように、診察用動画像では、各観察位置の注目度合いや観察すべき部位の大きさ等に応じて、表示倍率や観察順序などが変化する。例えば、観察位置としての重度な腫瘍は、高拡大率でズームされて、ゆっくりとスクロール表示が行なわれ、腫瘍領域が大きい場合は、その腫瘍全体が表示されるように低拡大率で表示される。
【０１５０】
また、特に、診察用動画像として表示される観察位置のうち、観察位置らしさを表す関数Ｇ（ｘ）が予め定めた閾値以上である観察位置については、その観察位置が表示されるときに、他の観察位置の表示時と異なる表示形式等で表示されるように診察用動画像が生成される。具体的には、例えば関数Ｇ（ｘ）が閾値以上である観察位置の領域が表示される場合には、診察用動画像を囲む枠が表示されたり、診察用動画像が点滅表示されたりする。また、そのような観察位置の領域の表示時に、特定の表示形式での表示とともに警告音が発せられるようにしてもよい。
【０１５１】
関数Ｇ（ｘ）の値は、観察位置らしさ、つまり注目すべき度合いの高さを示している。例えば、より進行度の高い腫瘍などの部位が、より注目すべき度合いの高い部位となる。そこで、動画像生成部１４７は、関数Ｇ（ｘ）の値が所定の閾値以上である観察位置を、より注目すべき部位が表示される観察位置であるとして、診察用動画像において、そのような観察位置を他の観察位置と異なる表示形式で表示する。これにより、診察用動画像を観察する医師等の注意を引くことができる。
【０１５２】
なお、診察用動画像の再生時に、１つの観察位置を含む領域が診察用動画像として表示されている状態で、医師等の画像処理装置１１に対する操作が行なわれると、その操作に応じて、次の観察位置を含む領域が表示されたり、前の観察位置を含む領域が表示されたりしてもよい。つまり、医師等の指示によって、１つ前または後の観察位置の表示が行なわれるようにしてもよい。
【０１５３】
診察用動画像が生成されると、動画像生成部１４７は、生成した診察用動画像を記録部２６に供給して記録させ、動画像生成処理は終了する。また、記録部２６に記録された診察用動画像は、適宜、表示制御部２７により読み出されて再生される。
【０１５４】
以上のようにして、診察用動画像生成部２５は、予め学習により生成された各辞書を用いて、処理対象の医用画像から、観察すべき位置や観察パラメータ、観察順序などを特定し、それらの観察位置等に基づいて医用画像から診察用動画像を生成する。
【０１５５】
これにより、より簡単かつ迅速に診断のための病理画像を得ることができる。すなわち、診察用動画像生成部２５に保持された各辞書を用いれば、医師等に煩雑な入力操作をさせることなく、新規に入力された任意の医用画像について、熟練医師等がその医用画像を用いて病理診断をするとしたら行なうであろう画面操作を、シミュレートすることができる。
【０１５６】
そして、そのシミュレートの結果として、熟練医師等が注目すると推定される各観察位置が、熟練医師等が観察すると推定される順番で表示される診察用動画像を得ることができる。つまり、これから医用画像を用いた病理診断を行なおうとする医師等からすれば、対象となる医用画像を入力し、診察用動画像の生成を指示するだけで、特定部位の拡大，縮小やスクロール等の熟練医師による診断時の画面操作が自動的に行なわれることになる。
【０１５７】
したがって、このようにして生成された診察用動画像を再生すれば、腫瘍などの診断に必要な部位が、より効率的および効果的に表示されるので、医師等は、より効率よく診断を行なうことができ、診断時間の短縮を図ることができる。しかも、診察用動画像では、各観察位置の部位だけでなく、医用画像全体も表示されるので、辞書を用いた画像認識による観察位置の抽出にもれがあった場合でも、医師による観察すべき位置の見落としを防止することができる。
【０１５８】
また、このようにして得られる診察用動画像は、実際の病理診断だけでなく、学習用教材など他の用途にも用いることができる。例えば、指導医の観察ログを用いた学習により辞書を生成しておけば、その辞書を用いて生成された診察用動画像を、熟練度の低い医師の学習教材として利用できる。
【０１５９】
なお、以上においては、観察パラメータの例として、表示倍率と観察時間について説明したが、その他、観察位置の表示向き（角度）や、観察位置間のスクロール速度などが観察パラメータとされてもよい。また、上述した各観察位置の表示順序や表示倍率などは、医師等により設定できるようにしてもよい。
【０１６０】
〈変形例１〉
さらに、診察用動画像は、各観察位置が辞書により特定された観察順序で表示されるものであれば、どのようなものであってもよい。
【０１６１】
例えば、各観察位置が辞書により特定された観察パラメータで表示される場合に、１つの観察位置の表示が終了した後、一度、医用画像全体が表示されてから、次の観察位置が表示されるようにしてもよい。
【０１６２】
具体的には、例えば医用画像として、上述した医用画像ＭＰ１１が入力され、観察順序情報により示される各観察位置の観察すべき順番が観察位置Ｐ３１乃至観察位置Ｐ３４であったとする。
【０１６３】
このような場合、例えば動画像生成部１４７は、観察位置の表示と、その次の観察位置の表示との間に医用画像ＭＰ１１全体が表示される診察用動画像を生成する。
【０１６４】
すなわち、この診察用動画像の再生時には、まず医用画像ＭＰ１１全体が表示されてから、観察位置Ｐ３１を含む領域が表示される。そして、その後、観察位置Ｐ３２を含む領域、医用画像ＭＰ１１全体、観察位置Ｐ３３を含む領域、医用画像ＭＰ１１全体、観察位置Ｐ３４を含む領域、および医用画像ＭＰ１１全体の順番で表示が行なわれる。
【０１６５】
〈変形例２〉
また、上述した図６の領域ＲＡ１１のように、診察用動画像上に常に医用画像全体が表示される領域が設けられてもよい。
【０１６６】
具体的には、例えば医用画像として、上述した医用画像ＭＰ１１が入力され、観察順序情報により示される各観察位置の観察すべき順番が観察位置Ｐ３１乃至観察位置Ｐ３４であったとする。
【０１６７】
このような場合、例えば動画像生成部１４７は、画面の一部の領域に医用画像ＭＰ１１全体が表示されたままの状態で、画面全体に観察位置Ｐ３１乃至観察位置Ｐ３４を含む領域が、それらの観察位置の観察パラメータで順番に表示される診察用動画像を生成する。
【０１６８】
なお、以上において説明した診察用動画像は、観察位置を含む領域の画像が、１つのフレームを構成する画像とされる動画像であるが、各観察位置を含む領域の静止画像が、観察順序で並べられた（順序付けられた）、静止画像群を生成するようにしてもよい。例えば、この静止画像群は、診察用動画像を構成する各フレームの画像を、フレーム順に並べて得られる画像群などとされてもよい。このような静止画像群を用いても、診断時における熟練医師の画面操作をシミュレートすることができる。
【０１６９】
また、診察用動画像の生成時において、医師等が、３分や１分など、制限時間や再生時間を設定できるようにしてもよい。そのような場合、例えば動画像生成部１４７は、設定された再生時間の動画像を診察用動画像として生成する。
【０１７０】
具体的には、動画像生成部１４７は、診察用動画像での各観察位置の表示時間の合計が、設定された再生時間となるように、観察パラメータとして得られた各観察位置の観察時間を、それらの観察時間の比率を保ったまま変化させる。これにより、各観察位置が表示される時間の長さの比を維持したまま、指定された時間内で再生される診察用動画像を得ることができる。
【０１７１】
さらに、診察用動画像の再生時間が、指定された時間内となるように、関数Ｇ（ｘ）の値が低いいくつかの観察位置が間引かれるようにしてもよい。すなわち、この場合、注目度合いの低い順番に、所定数の観察位置が選択され、選択されたそれらの観察位置が表示されない（除外された）診察用動画像が生成されることになる。
【０１７２】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１７３】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１７４】
コンピュータにおいて、CPU５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１７５】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、キーボード、マウス、マイクロホンなどよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクや不揮発性のメモリなどよりなる記録部５０８、ネットワークインターフェースなどよりなる通信部５０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１を駆動するドライブ５１０が接続されている。
【０１７６】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７７】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１７８】
そして、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１７９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１８１】
１１ 画像処理装置， ２１ 取得部， ２２ 観察位置検出辞書生成部， ２３ 観察パラメータ生成辞書生成部， ２４ 観察順序生成辞書生成部， ２５ 診察用動画像生成部， １４１ 観察位置検出辞書保持部， １４２ 観察パラメータ生成辞書保持部， １４３ 観察順序生成辞書保持部， １４４ 観察位置検出部， １４５ 観察パラメータ生成部， １４６ 観察順序情報生成部， １４７ 動画像生成部
【特許請求の範囲】
【請求項１】
処理対象の医用画像から、第１の特徴量を抽出する第１の特徴量抽出手段と、
予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出する位置検出手段と、
前記医用画像上の前記観察位置から、第２の特徴量を抽出する第２の特徴量抽出手段と、
予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定する観察順序特定手段と、
前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する画像生成手段と
を備える画像処理装置。
【請求項２】
前記医用画像上の前記観察位置から、第３の特徴量を抽出する第３の特徴量抽出手段と、
予め統計学習により生成された、第３の特徴量から画像上の観察位置の観察条件を特定するための観察条件生成辞書と、前記医用画像上の前記観察位置の前記第３の特徴量とに基づいて、前記医用画像上の前記観察位置ごとに前記観察条件を特定する観察条件特定手段と
をさらに備え、
前記画像生成手段は、前記観察位置が、特定された前記観察条件で表示されるように、前記観察画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記観察条件は、前記観察位置の表示倍率、または前記観察位置を継続して表示する表示時間である
請求項２に記載の画像処理装置。
【請求項４】
前記観察画像は、前記観察位置が前記観察順序で順番に表示される動画像であり、前記動画像の最初または最後の少なくとも何れかにおいて、前記医用画像全体が表示される
請求項１に記載の画像処理装置。
【請求項５】
前記観察画像は、前記観察位置が前記観察順序で順番に表示される動画像であり、前記動画像において、１つの前記観察位置が表示された後、前記医用画像全体が表示されてから、次の前記観察位置が表示される
請求項１に記載の画像処理装置。
【請求項６】
前記観察画像は、前記観察画像の一部の領域に継続して前記医用画像全体が表示されている状態で、前記観察位置が前記観察順序で順番に表示される動画像である
請求項１に記載の画像処理装置。
【請求項７】
処理対象の医用画像から、第１の特徴量を抽出する第１の特徴量抽出手段と、
予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出する位置検出手段と、
前記医用画像上の前記観察位置から、第２の特徴量を抽出する第２の特徴量抽出手段と、
予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定する観察順序特定手段と、
前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する画像生成手段と
を備える画像処理装置の画像処理方法であって、
前記第１の特徴量抽出手段が前記医用画像から前記第１の特徴量を抽出し、
前記位置検出手段が、前記観察位置を検出し、
前記第２の特徴量抽出手段が、前記観察位置から前記第２の特徴量を抽出し、
前記観察順序特定手段が、前記順序生成辞書と前記第２の特徴量とに基づいて、前記観察順序を特定し、
前記画像生成手段が、前記観察画像を生成する
ステップを含む画像処理方法。
【請求項８】
処理対象の医用画像から、第１の特徴量を抽出し、
予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出し、
前記医用画像上の前記観察位置から、第２の特徴量を抽出し、
予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定し、
前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
処理対象の医用画像から、第１の特徴量を抽出する第１の特徴量抽出手段と、
予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出する位置検出手段と、
前記医用画像上の前記観察位置から、第２の特徴量を抽出する第２の特徴量抽出手段と、
予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定する観察順序特定手段と、
前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する画像生成手段と
を備える画像処理装置。
【請求項２】
前記医用画像上の前記観察位置から、第３の特徴量を抽出する第３の特徴量抽出手段と、
予め統計学習により生成された、第３の特徴量から画像上の観察位置の観察条件を特定するための観察条件生成辞書と、前記医用画像上の前記観察位置の前記第３の特徴量とに基づいて、前記医用画像上の前記観察位置ごとに前記観察条件を特定する観察条件特定手段と
をさらに備え、
前記画像生成手段は、前記観察位置が、特定された前記観察条件で表示されるように、前記観察画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記観察条件は、前記観察位置の表示倍率、または前記観察位置を継続して表示する表示時間である
請求項２に記載の画像処理装置。
【請求項４】
前記観察画像は、前記観察位置が前記観察順序で順番に表示される動画像であり、前記動画像の最初または最後の少なくとも何れかにおいて、前記医用画像全体が表示される
請求項１に記載の画像処理装置。
【請求項５】
前記観察画像は、前記観察位置が前記観察順序で順番に表示される動画像であり、前記動画像において、１つの前記観察位置が表示された後、前記医用画像全体が表示されてから、次の前記観察位置が表示される
請求項１に記載の画像処理装置。
【請求項６】
前記観察画像は、前記観察画像の一部の領域に継続して前記医用画像全体が表示されている状態で、前記観察位置が前記観察順序で順番に表示される動画像である
請求項１に記載の画像処理装置。
【請求項７】
処理対象の医用画像から、第１の特徴量を抽出する第１の特徴量抽出手段と、
予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出する位置検出手段と、
前記医用画像上の前記観察位置から、第２の特徴量を抽出する第２の特徴量抽出手段と、
予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定する観察順序特定手段と、
前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する画像生成手段と
を備える画像処理装置の画像処理方法であって、
前記第１の特徴量抽出手段が前記医用画像から前記第１の特徴量を抽出し、
前記位置検出手段が、前記観察位置を検出し、
前記第２の特徴量抽出手段が、前記観察位置から前記第２の特徴量を抽出し、
前記観察順序特定手段が、前記順序生成辞書と前記第２の特徴量とに基づいて、前記観察順序を特定し、
前記画像生成手段が、前記観察画像を生成する
ステップを含む画像処理方法。
【請求項８】
処理対象の医用画像から、第１の特徴量を抽出し、
予め統計学習により生成された、第１の特徴量から画像上の注目すべき位置である観察位置を検出するための位置検出辞書と、前記医用画像から抽出された前記第１の特徴量とに基づいて、前記医用画像から前記観察位置を検出し、
前記医用画像上の前記観察位置から、第２の特徴量を抽出し、
予め統計学習により生成された、第２の特徴量から画像上の各観察位置を観察すべき順序を特定するための順序生成辞書と、前記医用画像上の前記観察位置のそれぞれの前記第２の特徴量とに基づいて、前記医用画像上の前記観察位置を観察すべき観察順序を特定し、
前記医用画像、検出された前記観察位置、および特定された前記観察順序に基づいて、前記医用画像上の前記観察位置を、前記観察順序で表示するための観察画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１２−１５５４５５（Ｐ２０１２−１５５４５５Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１２９５２（Ｐ２０１１−１２９５２）
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]