類似画像提示装置及びプログラム
【課題】病変中に複数種類もしくは複数の進行度・重症度が混在した場合でも、類似した画像を提示する。
【解決手段】類似画像提示装置は、病変分類部１５により分類された病変であって局所画像特徴抽出部１２により抽出された各々の局所画像特徴とトピック変数との相関係数を局所画像特徴−トピック変数相関保存部１６から取得して、取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定部１７と、診断画像と、前記診断画像について予め算出されたトピック変数の生起確率の期待値と、を対応付けて記憶する画像保存部１８と、期待値推定部１７により推定されたトピック変数の生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示する類似画像提示部２０と、を備えている。
【解決手段】類似画像提示装置は、病変分類部１５により分類された病変であって局所画像特徴抽出部１２により抽出された各々の局所画像特徴とトピック変数との相関係数を局所画像特徴−トピック変数相関保存部１６から取得して、取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定部１７と、診断画像と、前記診断画像について予め算出されたトピック変数の生起確率の期待値と、を対応付けて記憶する画像保存部１８と、期待値推定部１７により推定されたトピック変数の生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示する類似画像提示部２０と、を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似画像提示装置及びプログラムに関する。
【背景技術】
【０００２】
近年、ＣＴ（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）といった医療装置の普及により、容易にデジタル化された診断画像が取得できるようになっている。また、病院では、日々取得される大量の診断画像を電子的にファイリングして、容易に保管でき、診断画像を複数の医師で共有することが可能になっている。
【０００３】
これらの医療画像には、通常、画像を読影してその画像所見や診断結果を示した読影レポートが紐付けられているため、多量の症例のデータベースとして利用可能である。そこで、これらの大量に蓄積された症例を医療診断に役立てようという試みがなされている。そのひとつに、診断しようとしている画像と類似した画像に紐付けられた症例を検索し、検索された症例に記された診断結果を参考にして診断の精度を高めようという試みがある。
【０００４】
類似した医療画像を検索するために、非特許文献１の技術は、あらかじめ病名のラベルがつけられた病変部位画像を用意し、病名を識別する決定木を作成する。検索のためのキー画像はこの決定木に入力され、識別されたリーフに属する画像を検索結果として出力する。これにより、同じ病名の過去症例を検索することはできる。
【０００５】
しかしながら、同じ病名でも、進行度や重症度が似た画像を検索したい場合があるが、進行度や重傷度の違いをあらかじめラベル付けすることは困難である。そこで、非特許文献２では、同じ病名の病変画像から抽出した画像特徴の集合を混合ガウス分布により教師なしでサブクラスに分割することにより、進行度や重症度の異なる画像特徴への分類を試みている。
【０００６】
非特許文献２の技術では、まず、キー画像を決定木により病名を識別し、識別された病変のラベルが付与された画像群から病変に応じた特徴量を用いて類似した画像を検索している。病変に応じた特徴量は、サブクラス内の分散を小さく、サブクラス間の分散を大きくするように選択され、従ってサブクラス間の分離度を大きくする特徴となっており、それにより進行度や重症度に応じた類似検索が期待できる。
【０００７】
これらの非特許文献１及び２の技術は、病変領域全体から特徴量を抽出しているため、病変領域全体が同じ進行度や重症度であれば、特徴空間中のサブクラスとして表現することができる。
【非特許文献１】Chi-Ren Shyu他“ASSERT: A Physician-in-the-Loop Content-Based Retrieval System for HRCT Image Databases”, Computer Vision and Image Understanding, Vol.75, No.1, 1999, pp.111-132
【非特許文献２】JG Dy他 “The custumized-queries approach to image retrieval”, IEEE Transactions on Pattern Recognition and Machine Intelligence, Vol.25, 2003, pp.373-378
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、病変中に複数種類もしくは複数の進行度・重症度が混在した場合でも、類似した画像を提示することができる類似画像提示装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１の発明である類似画像提示装置は、診断対象画像から病変部位を抽出する病変部位抽出手段と、前記病変部位抽出手段により抽出された病変部位を局所画像に分割し、各局所画像の特徴である局所画像特徴を抽出する局所画像特徴抽出手段と、前記局所画像特徴抽出手段により抽出された局所画像特徴を量子化して量子化データを出力する量子化手段と、量子化手段により出力された量子化データに基づいて病変を分類する病変分類手段と、病変の種類毎に、局所画像特徴と病変の進行度又は重症度を示すトピック変数との相関係数を記憶する記憶手段と、前記病変分類手段により分類された病変であって前記局所画像特徴抽出手段により抽出された各々の局所画像特徴とトピック変数との相関係数を前記記憶手段から取得して、取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定手段と、診断画像と、前記診断画像について予め算出されたトピック生起確率の期待値と、を対応付けて記憶する画像記憶手段と、前記画像記憶手段に記憶された診断画像のうち、前記期待値推定手段により推定されたトピック生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示する提示手段と、を備えている。
【００１０】
請求項２の発明は、請求項１に記載の類似画像提示装置であって、前記画像記憶手段は、前記診断画像についての診断結果を示す診断結果データを前記診断画像に対応付けて更に記憶し、前記提示手段は、前記診断画像と共に前記診断画像に対応する診断結果データに基づく情報を更に提示する。
【００１１】
請求項３の発明である類似画像提示プログラムは、コンピュータを、診断対象画像から病変部位を抽出する病変部位抽出手段と、前記病変部位抽出手段により抽出された病変部位を局所画像に分割し、各局所画像の特徴である局所画像特徴を抽出する局所画像特徴抽出手段と、前記局所画像特徴抽出手段により抽出された局所画像特徴を量子化して量子化データを出力する量子化手段と、量子化手段により出力された量子化データに基づいて病変を分類する病変分類手段と、病変の種類毎に、局所画像特徴と病変の進行度又は重症度を示すトピック変数との相関係数を記憶する記憶手段と、前記病変分類手段により分類された病変であって前記局所画像特徴抽出手段により抽出された各々の局所画像特徴とトピック変数との相関係数を前記記憶手段から取得して、取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定手段と、診断画像と、前記診断画像について予め算出されたトピック生起確率の期待値と、を対応付けて記憶する画像記憶手段と、前記画像記憶手段に記憶された診断画像のうち、前記期待値推定手段により推定されたトピック生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示手段に提示させる制御を行う制御手段と、して機能させる。
【発明の効果】
【００１２】
請求項１及び３の発明によれば、診断対象画像に病変の進行度又は重症度の異なる領域が混合された場合であっても、類似した画像を提示することができる。
【００１３】
請求項２の発明によれば、診断対象画像に病変の進行度又は重症度の異なる領域が混合された場合であっても、診断対象画像に類似する画像の診断結果を提示することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【００１５】
［構成］
図１は、本発明の実施の形態に係る類似画像提示装置の構成を示すブロック図である。類似画像提示装置は、ユーザの提示した症例画像を検索のキー画像とし、キー画像と類似した過去の症例画像を検索して提示する。
【００１６】
類似画像提示装置は、キー画像から病変部位を抽出する病変部位抽出部１１、局所画像の画像特徴を抽出する局所画像特徴抽出部１２、量子化コードブックを作成して保存する量子化コードブック生成・保存部１３、局所画像特徴を量子化する局所画像特徴量子化部１４、を備えている。
【００１７】
また、類似画像提示装置は、病変を分類する病変分類部１５と、局所画像特徴とトピック変数との相関係数を記憶する局所画像特徴−トピック変数相関保存部１６と、病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定部１７と、を備えている。
【００１８】
さらに、類似画像提示装置は、画像と共にトピック変数の生起確率の期待値及びレポートデータを保存する画像保存部１８と、特徴量を比較する特徴量比較部１９と、検索された類似画像を提示する類似画像提示部２０と、を備えている。
【００１９】
ここで、局所画像特徴−トピック変数相関保存部１６は、病変の種類毎にあらかじめ学習された、局所画像特徴とトピック変数間の相関を保存する。トピック変数とは、ひとつの種類の病変において、さらにその進行度や重症度といったサブクラスを表すものである。
【００２０】
図２は、局所画像特徴−トピック変数相関保存部１６の内部構成を示す図である。本実施形態では、病気の進行速度にそれぞれ対応する３つのトピック変数Ａ、Ｂ、Ｃが用いられる。同図に示すように、病変毎に、複数の局所画像特徴と各トピック変数との相関係数が保存されている。局所画像特徴とトピック変数とは予め複数の病変画像を後述のように学習することにより対応付けられる。
【００２１】
ここで、トピック変数は、上述のようにサブクラスを表すものであるが、進行度や重症度などはラベル付けが困難である。そこで、サブクラスは、教師付学習でなく、教師なし学習により取得される。また、本実施形態では、サブクラスを病変部位の特徴量から学習するために、次の生成モデルを考える。
【００２２】
図３は、トピック変数による生成モデルを示す模式図である。この例では、病気の進行度に対応する３つのトピックＡ，Ｂ，Ｃが存在し、ある病変領域に対してそれぞれＰＡ，ＰＢ，ＰＣの確率で各トピック変数が生起する確率が与えられ、その確率に従い各局所領域に対してトピック変数が生起する。
【００２３】
各トピック変数はその局所領域に対してある確率で特定の局所特徴を生成する。例えば図３では、生起したトピック変数がＡの場合は進行度Ａの局所特徴が生成される確率が高くなっている。なお、トピック変数が局所特徴を生成する確率は病変画像を与えて学習することによって決まるが、この学習については後述する。
【００２４】
また、画像保存部１８には、診断画像、トピック生起確率の期待値、レポートデータが記憶されている。
【００２５】
図４は、画像保存部１８の構成を示す図である。画像保存部１８には、過去に撮影された診断画像（病変がある場合はその領域）、その診断画像に対して予め算出されたトピック生起確率の期待値、その診断画像に対するレポートデータが記憶されている。
【００２６】
診断画像は例えば医用画像と通信の標準規格であるＤＩＣＯＭ（Digital Imaging and Communication in Medicine）フォーマットのファイルであり、そのヘッダ中には患者ＩＤ、検査日時等の情報が保存されている。トピック生起確率の期待値は、診断画像を検索するための使用されるものであり、予め算出されている。レポートデータは、各々の診断画像について、医師がどのように診断してどこにどのような病変が存在するかという所見と、その結果推測される病名と、を示すものである。
【００２７】
［学習］
トピック変数が局所特徴を生成する確率は次のような病変画像を与えて学習することによって決まる。トピック変数自体は観測できない隠れ変数であるが、病変画像に対して各トピック変数が生起した確率の期待値を計算することができる。その期待値は、図２でいえば、病変Ａ，Ｂ，Ｃの面積に相当すると考えられる。従って、トピック変数の生起確率の期待値を病変画像の特徴量として用いることにより、進行度や重症度の異なる領域が混合された病変においても、類似した画像が検索出来るようになる。
【００２８】
生成モデルの具体的な形としては、例えばD.Blei, A.Ng, M.Jordan, “Latent Dirichlet Allocation”, Journal of Machine Learning Research 3 (2003) pp.993-1022にあるようなLatent Dirichlet Allocationモデル（ＬＤＡモデル）が考えられる。
【００２９】
図５は、ＬＤＡモデルを説明するための図である。ここで、モデルにはDirichlet分布のパラメータα、各トピックから局所特徴を生成する確率βがある。αとβは、学習により計算されるパラメータである。具体的には、αはDirichlet分布を示し、βはｊ番目のトピックからｉ番目のワードができる確率Ｐ（Ｗｉ｜topic j）を示す。
【００３０】
なお、ＬＤＡモデルは統計的言語処理で広く使用されるものであり、本発明では単語Ｗが局所画像特徴に対応する。なお、Ｎ個の単語Ｗは１ＤＯＣとなり、Ｍ個のＤＯＣで学習する。Ｚはトピック変数である。θは１つのＤＯＣにどれくらいの確率でトピックが生起されるかを示している。
【００３１】
各トピックの生起確率はDirichlet分布を事前確率とした多項分布と仮定する。ひとつの病変領域に対して、各トピックの生起確率が決まり、その確率に基づいて、各局所領域に対してトピックが生起し、そのトピックから局所特徴が独立に生成される。これらのα及びβは複数の病変領域を与えることにより学習される。複数の病変領域に対して尤度が次式により定義できる。
【００３２】
【数１】
【００３３】
ここで、Ｎは、局所画像特徴抽出部１２により分割された領域数を示す。ｋは、トピック数であり、本実施形態では進行度の種類（３種類）を示す。Ｖは、k-meansのクラスタ数を示す。
【００３４】
学習においては、上記式により定義される尤度を最大にすることにより、パラメータα、βが決定される。最大化の方法については、変分ベイズ法や、モンテカルロ法といった手法が知られている。一方、学習されたパラメータα、βを用いて、入力された病変画像に対する各トピックの生起確率の期待値を計算することができる。計算された生起確率の期待値は、病変領域の特徴量として用いられる。
【００３５】
［類似画像提示処理］
以上のように構成された類似画像提示装置は、検索キーとして、ユーザにより現在診断を下そうとしているキー画像が入力されると、次のような処理を行う。
【００３６】
病変部位抽出部１１は、キー画像から病変部位を抽出する。病変部位抽出部１１は、例えば、キー画像の所定範囲の輝度の領域を病変部位としてもよいし、病変部のない正常な画像とキー画像とを比較して、輝度の差分が一定以上の領域を病変部位として抽出してもよい。また、ユーザがマウス等のポインティングデバイスを用いて病変部位を指定することも可能である。
【００３７】
局所画像特徴抽出部１２は、病変部位抽出部１１で抽出された病変部位を一定サイズの局所領域に分割し、各局所領域の画像（局所画像）に対して画像特徴を計算する。画像特徴としては、局所領域の各画素の輝度値を成分とするベクトル量や、局所領域の各画素において計算されたＳｏｂｅｌフィルタ結果を領域内でヒストグラム化したエッジ特徴や、輝度レベル共起行列を用いたテクスチャ特徴などが考えられる。
【００３８】
量子化コードブック生成・保存部１３は、図示しないデータベース中の局所画像特徴の集合をk-meansクラスタなどによりクラスタリングし、各クラスタの中心値を保存する。局所画像特徴量子化部１４は、量子化コードブック生成・保存部１３に保存されている量子化コードブックに基づいて、局所画像特徴抽出部１２で抽出された局所画像特徴を量子化する。例えば、局所画像特徴量子化部１４は、局所画像特徴に最も近いクラスタを求め、そのクラスタに割り当てられているクラスタ番号を量子化結果として出力する。
【００３９】
病変分類部１５は、病変領域中の局所画像特徴量子化部１４により量子化された局所画像特徴（クラスタ番号）のヒストグラムを算出し、そのヒストグラムを用いて病変を分類する。病変の分類手法は特に限定されるものではないが、病変分類部１５は、例えば、サポートベクタマシン等の様々な識別器を用いて病変を分類することができる。そのため、病変分類部１５は、予め病変画像とその診断結果を教師データとして学習しておくとよい。
【００４０】
期待値推定部１７は、病変分類部１５での分類結果に応じて、局所画像特徴−トピック変数相関保存部１６に保存された局所画像特徴とトピック変数間の相関係数を取得する。例えば、期待値推定部１７は、病変分類部１５で病変１が分類された場合、病変１についての局所画像特徴及びそれに対応するトピック変数の相関係数を取得する。
【００４１】
次に、期待値推定部１７は、取得した相関を用いて、局所画像特徴抽出部１２で抽出された全部の局所画像特徴とトピック変数との相関係数を取得し、取得した相関係数に基づいてトピック変数の生起確率の期待値を推定する。
例えば、期待値推定部１７は、与えられた局所特徴に対して（１）式を最大化することにより求められる。推定されたトピックの生起確率の期待値を成分とするベクトルは、検索のための特徴量として用いられる。
【００４２】
特徴量比較部１９は、キー画像中の病変部位に対して期待値推定部１７により推定されたトピックの生起確率の期待値と、画像保存部２０に記憶された各診断画像に対応付けられたトピックの生起確率の期待値とを比較し、画像保存部１８に記憶されているトピックの生起確率の期待値の中から、推定されたトピックの生起確率の期待値に最も近似するトピックの生起確率の期待値を選択する。
【００４３】
類似画像提示部２０は、例えばディスプレイで構成され、画像保存部１８に記憶されている診断画像のうち、特徴量比較部１９で選択されたトピックの生起確率の期待値に対応付けられた診断画像を類似画像として表示すると共に、この診断画像に付帯情報として対応付けられたレポートデータに基づく医師の所見及び病名を表示する。
【００４４】
図６は、トピックの生起確率の期待値に対応する診断画像を提示する一例を示す図である。類似画像提示部２０には、同図に示すように、トピック確率が（１，０，０）、（０，１，０）、（０，０，１）、（0.2，0.3，0.5）にそれぞれ対応する診断画像が提示される。
【００４５】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。例えば、トピックの生起確率の期待値は、上述した式から求められる値に限定されるものではなく、各々のトピック変数の示す状態になる確率の期待値が分かればよい。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態に係る類似画像提示装置の構成を示すブロック図である。
【図２】局所画像特徴−トピック変数相関保存部１６の内部構成を示す図である。
【図３】トピック変数による生成モデルを示す模式図である。
【図４】画像保存部の構成を示す図である。
【図５】ＬＤＡモデルを説明するための図である。
【図６】トピックの生起確率の期待値に対応する診断画像を提示する一例を示す図である。
【符号の説明】
【００４７】
１１ 病変部位抽出部
１２ 局所画像特徴抽出部
１３ 量子化コードブック生成・保存部
１４ 局所画像特徴量子化部
１５ 病変分類部
１６ 局所画像特徴−トピック変数相関保存部
１７ 期待値推定部
１８ 画像保存部
１９ 特徴量比較部
２０ 類似画像提示部
【技術分野】
【０００１】
本発明は、類似画像提示装置及びプログラムに関する。
【背景技術】
【０００２】
近年、ＣＴ（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）といった医療装置の普及により、容易にデジタル化された診断画像が取得できるようになっている。また、病院では、日々取得される大量の診断画像を電子的にファイリングして、容易に保管でき、診断画像を複数の医師で共有することが可能になっている。
【０００３】
これらの医療画像には、通常、画像を読影してその画像所見や診断結果を示した読影レポートが紐付けられているため、多量の症例のデータベースとして利用可能である。そこで、これらの大量に蓄積された症例を医療診断に役立てようという試みがなされている。そのひとつに、診断しようとしている画像と類似した画像に紐付けられた症例を検索し、検索された症例に記された診断結果を参考にして診断の精度を高めようという試みがある。
【０００４】
類似した医療画像を検索するために、非特許文献１の技術は、あらかじめ病名のラベルがつけられた病変部位画像を用意し、病名を識別する決定木を作成する。検索のためのキー画像はこの決定木に入力され、識別されたリーフに属する画像を検索結果として出力する。これにより、同じ病名の過去症例を検索することはできる。
【０００５】
しかしながら、同じ病名でも、進行度や重症度が似た画像を検索したい場合があるが、進行度や重傷度の違いをあらかじめラベル付けすることは困難である。そこで、非特許文献２では、同じ病名の病変画像から抽出した画像特徴の集合を混合ガウス分布により教師なしでサブクラスに分割することにより、進行度や重症度の異なる画像特徴への分類を試みている。
【０００６】
非特許文献２の技術では、まず、キー画像を決定木により病名を識別し、識別された病変のラベルが付与された画像群から病変に応じた特徴量を用いて類似した画像を検索している。病変に応じた特徴量は、サブクラス内の分散を小さく、サブクラス間の分散を大きくするように選択され、従ってサブクラス間の分離度を大きくする特徴となっており、それにより進行度や重症度に応じた類似検索が期待できる。
【０００７】
これらの非特許文献１及び２の技術は、病変領域全体から特徴量を抽出しているため、病変領域全体が同じ進行度や重症度であれば、特徴空間中のサブクラスとして表現することができる。
【非特許文献１】Chi-Ren Shyu他“ASSERT: A Physician-in-the-Loop Content-Based Retrieval System for HRCT Image Databases”, Computer Vision and Image Understanding, Vol.75, No.1, 1999, pp.111-132
【非特許文献２】JG Dy他 “The custumized-queries approach to image retrieval”, IEEE Transactions on Pattern Recognition and Machine Intelligence, Vol.25, 2003, pp.373-378
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、病変中に複数種類もしくは複数の進行度・重症度が混在した場合でも、類似した画像を提示することができる類似画像提示装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１の発明である類似画像提示装置は、診断対象画像から病変部位を抽出する病変部位抽出手段と、前記病変部位抽出手段により抽出された病変部位を局所画像に分割し、各局所画像の特徴である局所画像特徴を抽出する局所画像特徴抽出手段と、前記局所画像特徴抽出手段により抽出された局所画像特徴を量子化して量子化データを出力する量子化手段と、量子化手段により出力された量子化データに基づいて病変を分類する病変分類手段と、病変の種類毎に、局所画像特徴と病変の進行度又は重症度を示すトピック変数との相関係数を記憶する記憶手段と、前記病変分類手段により分類された病変であって前記局所画像特徴抽出手段により抽出された各々の局所画像特徴とトピック変数との相関係数を前記記憶手段から取得して、取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定手段と、診断画像と、前記診断画像について予め算出されたトピック生起確率の期待値と、を対応付けて記憶する画像記憶手段と、前記画像記憶手段に記憶された診断画像のうち、前記期待値推定手段により推定されたトピック生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示する提示手段と、を備えている。
【００１０】
請求項２の発明は、請求項１に記載の類似画像提示装置であって、前記画像記憶手段は、前記診断画像についての診断結果を示す診断結果データを前記診断画像に対応付けて更に記憶し、前記提示手段は、前記診断画像と共に前記診断画像に対応する診断結果データに基づく情報を更に提示する。
【００１１】
請求項３の発明である類似画像提示プログラムは、コンピュータを、診断対象画像から病変部位を抽出する病変部位抽出手段と、前記病変部位抽出手段により抽出された病変部位を局所画像に分割し、各局所画像の特徴である局所画像特徴を抽出する局所画像特徴抽出手段と、前記局所画像特徴抽出手段により抽出された局所画像特徴を量子化して量子化データを出力する量子化手段と、量子化手段により出力された量子化データに基づいて病変を分類する病変分類手段と、病変の種類毎に、局所画像特徴と病変の進行度又は重症度を示すトピック変数との相関係数を記憶する記憶手段と、前記病変分類手段により分類された病変であって前記局所画像特徴抽出手段により抽出された各々の局所画像特徴とトピック変数との相関係数を前記記憶手段から取得して、取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定手段と、診断画像と、前記診断画像について予め算出されたトピック生起確率の期待値と、を対応付けて記憶する画像記憶手段と、前記画像記憶手段に記憶された診断画像のうち、前記期待値推定手段により推定されたトピック生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示手段に提示させる制御を行う制御手段と、して機能させる。
【発明の効果】
【００１２】
請求項１及び３の発明によれば、診断対象画像に病変の進行度又は重症度の異なる領域が混合された場合であっても、類似した画像を提示することができる。
【００１３】
請求項２の発明によれば、診断対象画像に病変の進行度又は重症度の異なる領域が混合された場合であっても、診断対象画像に類似する画像の診断結果を提示することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。
【００１５】
［構成］
図１は、本発明の実施の形態に係る類似画像提示装置の構成を示すブロック図である。類似画像提示装置は、ユーザの提示した症例画像を検索のキー画像とし、キー画像と類似した過去の症例画像を検索して提示する。
【００１６】
類似画像提示装置は、キー画像から病変部位を抽出する病変部位抽出部１１、局所画像の画像特徴を抽出する局所画像特徴抽出部１２、量子化コードブックを作成して保存する量子化コードブック生成・保存部１３、局所画像特徴を量子化する局所画像特徴量子化部１４、を備えている。
【００１７】
また、類似画像提示装置は、病変を分類する病変分類部１５と、局所画像特徴とトピック変数との相関係数を記憶する局所画像特徴−トピック変数相関保存部１６と、病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定部１７と、を備えている。
【００１８】
さらに、類似画像提示装置は、画像と共にトピック変数の生起確率の期待値及びレポートデータを保存する画像保存部１８と、特徴量を比較する特徴量比較部１９と、検索された類似画像を提示する類似画像提示部２０と、を備えている。
【００１９】
ここで、局所画像特徴−トピック変数相関保存部１６は、病変の種類毎にあらかじめ学習された、局所画像特徴とトピック変数間の相関を保存する。トピック変数とは、ひとつの種類の病変において、さらにその進行度や重症度といったサブクラスを表すものである。
【００２０】
図２は、局所画像特徴−トピック変数相関保存部１６の内部構成を示す図である。本実施形態では、病気の進行速度にそれぞれ対応する３つのトピック変数Ａ、Ｂ、Ｃが用いられる。同図に示すように、病変毎に、複数の局所画像特徴と各トピック変数との相関係数が保存されている。局所画像特徴とトピック変数とは予め複数の病変画像を後述のように学習することにより対応付けられる。
【００２１】
ここで、トピック変数は、上述のようにサブクラスを表すものであるが、進行度や重症度などはラベル付けが困難である。そこで、サブクラスは、教師付学習でなく、教師なし学習により取得される。また、本実施形態では、サブクラスを病変部位の特徴量から学習するために、次の生成モデルを考える。
【００２２】
図３は、トピック変数による生成モデルを示す模式図である。この例では、病気の進行度に対応する３つのトピックＡ，Ｂ，Ｃが存在し、ある病変領域に対してそれぞれＰＡ，ＰＢ，ＰＣの確率で各トピック変数が生起する確率が与えられ、その確率に従い各局所領域に対してトピック変数が生起する。
【００２３】
各トピック変数はその局所領域に対してある確率で特定の局所特徴を生成する。例えば図３では、生起したトピック変数がＡの場合は進行度Ａの局所特徴が生成される確率が高くなっている。なお、トピック変数が局所特徴を生成する確率は病変画像を与えて学習することによって決まるが、この学習については後述する。
【００２４】
また、画像保存部１８には、診断画像、トピック生起確率の期待値、レポートデータが記憶されている。
【００２５】
図４は、画像保存部１８の構成を示す図である。画像保存部１８には、過去に撮影された診断画像（病変がある場合はその領域）、その診断画像に対して予め算出されたトピック生起確率の期待値、その診断画像に対するレポートデータが記憶されている。
【００２６】
診断画像は例えば医用画像と通信の標準規格であるＤＩＣＯＭ（Digital Imaging and Communication in Medicine）フォーマットのファイルであり、そのヘッダ中には患者ＩＤ、検査日時等の情報が保存されている。トピック生起確率の期待値は、診断画像を検索するための使用されるものであり、予め算出されている。レポートデータは、各々の診断画像について、医師がどのように診断してどこにどのような病変が存在するかという所見と、その結果推測される病名と、を示すものである。
【００２７】
［学習］
トピック変数が局所特徴を生成する確率は次のような病変画像を与えて学習することによって決まる。トピック変数自体は観測できない隠れ変数であるが、病変画像に対して各トピック変数が生起した確率の期待値を計算することができる。その期待値は、図２でいえば、病変Ａ，Ｂ，Ｃの面積に相当すると考えられる。従って、トピック変数の生起確率の期待値を病変画像の特徴量として用いることにより、進行度や重症度の異なる領域が混合された病変においても、類似した画像が検索出来るようになる。
【００２８】
生成モデルの具体的な形としては、例えばD.Blei, A.Ng, M.Jordan, “Latent Dirichlet Allocation”, Journal of Machine Learning Research 3 (2003) pp.993-1022にあるようなLatent Dirichlet Allocationモデル（ＬＤＡモデル）が考えられる。
【００２９】
図５は、ＬＤＡモデルを説明するための図である。ここで、モデルにはDirichlet分布のパラメータα、各トピックから局所特徴を生成する確率βがある。αとβは、学習により計算されるパラメータである。具体的には、αはDirichlet分布を示し、βはｊ番目のトピックからｉ番目のワードができる確率Ｐ（Ｗｉ｜topic j）を示す。
【００３０】
なお、ＬＤＡモデルは統計的言語処理で広く使用されるものであり、本発明では単語Ｗが局所画像特徴に対応する。なお、Ｎ個の単語Ｗは１ＤＯＣとなり、Ｍ個のＤＯＣで学習する。Ｚはトピック変数である。θは１つのＤＯＣにどれくらいの確率でトピックが生起されるかを示している。
【００３１】
各トピックの生起確率はDirichlet分布を事前確率とした多項分布と仮定する。ひとつの病変領域に対して、各トピックの生起確率が決まり、その確率に基づいて、各局所領域に対してトピックが生起し、そのトピックから局所特徴が独立に生成される。これらのα及びβは複数の病変領域を与えることにより学習される。複数の病変領域に対して尤度が次式により定義できる。
【００３２】
【数１】
【００３３】
ここで、Ｎは、局所画像特徴抽出部１２により分割された領域数を示す。ｋは、トピック数であり、本実施形態では進行度の種類（３種類）を示す。Ｖは、k-meansのクラスタ数を示す。
【００３４】
学習においては、上記式により定義される尤度を最大にすることにより、パラメータα、βが決定される。最大化の方法については、変分ベイズ法や、モンテカルロ法といった手法が知られている。一方、学習されたパラメータα、βを用いて、入力された病変画像に対する各トピックの生起確率の期待値を計算することができる。計算された生起確率の期待値は、病変領域の特徴量として用いられる。
【００３５】
［類似画像提示処理］
以上のように構成された類似画像提示装置は、検索キーとして、ユーザにより現在診断を下そうとしているキー画像が入力されると、次のような処理を行う。
【００３６】
病変部位抽出部１１は、キー画像から病変部位を抽出する。病変部位抽出部１１は、例えば、キー画像の所定範囲の輝度の領域を病変部位としてもよいし、病変部のない正常な画像とキー画像とを比較して、輝度の差分が一定以上の領域を病変部位として抽出してもよい。また、ユーザがマウス等のポインティングデバイスを用いて病変部位を指定することも可能である。
【００３７】
局所画像特徴抽出部１２は、病変部位抽出部１１で抽出された病変部位を一定サイズの局所領域に分割し、各局所領域の画像（局所画像）に対して画像特徴を計算する。画像特徴としては、局所領域の各画素の輝度値を成分とするベクトル量や、局所領域の各画素において計算されたＳｏｂｅｌフィルタ結果を領域内でヒストグラム化したエッジ特徴や、輝度レベル共起行列を用いたテクスチャ特徴などが考えられる。
【００３８】
量子化コードブック生成・保存部１３は、図示しないデータベース中の局所画像特徴の集合をk-meansクラスタなどによりクラスタリングし、各クラスタの中心値を保存する。局所画像特徴量子化部１４は、量子化コードブック生成・保存部１３に保存されている量子化コードブックに基づいて、局所画像特徴抽出部１２で抽出された局所画像特徴を量子化する。例えば、局所画像特徴量子化部１４は、局所画像特徴に最も近いクラスタを求め、そのクラスタに割り当てられているクラスタ番号を量子化結果として出力する。
【００３９】
病変分類部１５は、病変領域中の局所画像特徴量子化部１４により量子化された局所画像特徴（クラスタ番号）のヒストグラムを算出し、そのヒストグラムを用いて病変を分類する。病変の分類手法は特に限定されるものではないが、病変分類部１５は、例えば、サポートベクタマシン等の様々な識別器を用いて病変を分類することができる。そのため、病変分類部１５は、予め病変画像とその診断結果を教師データとして学習しておくとよい。
【００４０】
期待値推定部１７は、病変分類部１５での分類結果に応じて、局所画像特徴−トピック変数相関保存部１６に保存された局所画像特徴とトピック変数間の相関係数を取得する。例えば、期待値推定部１７は、病変分類部１５で病変１が分類された場合、病変１についての局所画像特徴及びそれに対応するトピック変数の相関係数を取得する。
【００４１】
次に、期待値推定部１７は、取得した相関を用いて、局所画像特徴抽出部１２で抽出された全部の局所画像特徴とトピック変数との相関係数を取得し、取得した相関係数に基づいてトピック変数の生起確率の期待値を推定する。
例えば、期待値推定部１７は、与えられた局所特徴に対して（１）式を最大化することにより求められる。推定されたトピックの生起確率の期待値を成分とするベクトルは、検索のための特徴量として用いられる。
【００４２】
特徴量比較部１９は、キー画像中の病変部位に対して期待値推定部１７により推定されたトピックの生起確率の期待値と、画像保存部２０に記憶された各診断画像に対応付けられたトピックの生起確率の期待値とを比較し、画像保存部１８に記憶されているトピックの生起確率の期待値の中から、推定されたトピックの生起確率の期待値に最も近似するトピックの生起確率の期待値を選択する。
【００４３】
類似画像提示部２０は、例えばディスプレイで構成され、画像保存部１８に記憶されている診断画像のうち、特徴量比較部１９で選択されたトピックの生起確率の期待値に対応付けられた診断画像を類似画像として表示すると共に、この診断画像に付帯情報として対応付けられたレポートデータに基づく医師の所見及び病名を表示する。
【００４４】
図６は、トピックの生起確率の期待値に対応する診断画像を提示する一例を示す図である。類似画像提示部２０には、同図に示すように、トピック確率が（１，０，０）、（０，１，０）、（０，０，１）、（0.2，0.3，0.5）にそれぞれ対応する診断画像が提示される。
【００４５】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。例えば、トピックの生起確率の期待値は、上述した式から求められる値に限定されるものではなく、各々のトピック変数の示す状態になる確率の期待値が分かればよい。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施の形態に係る類似画像提示装置の構成を示すブロック図である。
【図２】局所画像特徴−トピック変数相関保存部１６の内部構成を示す図である。
【図３】トピック変数による生成モデルを示す模式図である。
【図４】画像保存部の構成を示す図である。
【図５】ＬＤＡモデルを説明するための図である。
【図６】トピックの生起確率の期待値に対応する診断画像を提示する一例を示す図である。
【符号の説明】
【００４７】
１１ 病変部位抽出部
１２ 局所画像特徴抽出部
１３ 量子化コードブック生成・保存部
１４ 局所画像特徴量子化部
１５ 病変分類部
１６ 局所画像特徴−トピック変数相関保存部
１７ 期待値推定部
１８ 画像保存部
１９ 特徴量比較部
２０ 類似画像提示部
【特許請求の範囲】
【請求項１】
診断対象画像から病変部位を抽出する病変部位抽出手段と、
前記病変部位抽出手段により抽出された病変部位を局所画像に分割し、各局所画像の特徴である局所画像特徴を抽出する局所画像特徴抽出手段と、
前記局所画像特徴抽出手段により抽出された局所画像特徴を量子化して量子化データを出力する量子化手段と、
量子化手段により出力された量子化データに基づいて病変を分類する病変分類手段と、
病変の種類毎に、局所画像特徴と病変の進行度又は重症度を示すトピック変数との相関係数を記憶する記憶手段と、
前記病変分類手段により分類された病変であって前記局所画像特徴抽出手段により抽出された各々の局所画像特徴とトピック変数との相関係数を前記記憶手段から取得して、取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定手段と、
診断画像と、前記診断画像について予め算出されたトピック生起確率の期待値と、を対応付けて記憶する画像記憶手段と、
前記画像記憶手段に記憶された診断画像のうち、前記期待値推定手段により推定されたトピック生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示する提示手段と、
を備えた類似画像提示装置。
【請求項２】
前記画像記憶手段は、前記診断画像についての診断結果を示す診断結果データを前記診断画像に対応付けて更に記憶し、
前記提示手段は、前記診断画像と共に前記診断画像に対応する診断結果データに基づく情報を更に提示する
請求項１に記載の類似画像提示装置。
【請求項３】
コンピュータを、
診断対象画像から病変部位を抽出する病変部位抽出手段と、
前記病変部位抽出手段により抽出された病変部位を局所画像に分割し、各局所画像の特徴である局所画像特徴を抽出する局所画像特徴抽出手段と、
前記局所画像特徴抽出手段により抽出された局所画像特徴を量子化して量子化データを出力する量子化手段と、
量子化手段により出力された量子化データに基づいて病変を分類する病変分類手段と、
病変の種類毎に、局所画像特徴と病変の進行度又は重症度を示すトピック変数との相関係数を記憶する記憶手段と、
前記病変分類手段により分類された病変であって前記局所画像特徴抽出手段により抽出された各々の局所画像特徴とトピック変数との相関係数を前記記憶手段から取得して、取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定手段と、
診断画像と、前記診断画像について予め算出されたトピック生起確率の期待値と、を対応付けて記憶する画像記憶手段と、
前記画像記憶手段に記憶された診断画像のうち、前記期待値推定手段により推定されたトピック生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示手段に提示させる制御を行う制御手段と、
して機能させるための類似画像提示プログラム。
【請求項１】
診断対象画像から病変部位を抽出する病変部位抽出手段と、
前記病変部位抽出手段により抽出された病変部位を局所画像に分割し、各局所画像の特徴である局所画像特徴を抽出する局所画像特徴抽出手段と、
前記局所画像特徴抽出手段により抽出された局所画像特徴を量子化して量子化データを出力する量子化手段と、
量子化手段により出力された量子化データに基づいて病変を分類する病変分類手段と、
病変の種類毎に、局所画像特徴と病変の進行度又は重症度を示すトピック変数との相関係数を記憶する記憶手段と、
前記病変分類手段により分類された病変であって前記局所画像特徴抽出手段により抽出された各々の局所画像特徴とトピック変数との相関係数を前記記憶手段から取得して、取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定手段と、
診断画像と、前記診断画像について予め算出されたトピック生起確率の期待値と、を対応付けて記憶する画像記憶手段と、
前記画像記憶手段に記憶された診断画像のうち、前記期待値推定手段により推定されたトピック生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示する提示手段と、
を備えた類似画像提示装置。
【請求項２】
前記画像記憶手段は、前記診断画像についての診断結果を示す診断結果データを前記診断画像に対応付けて更に記憶し、
前記提示手段は、前記診断画像と共に前記診断画像に対応する診断結果データに基づく情報を更に提示する
請求項１に記載の類似画像提示装置。
【請求項３】
コンピュータを、
診断対象画像から病変部位を抽出する病変部位抽出手段と、
前記病変部位抽出手段により抽出された病変部位を局所画像に分割し、各局所画像の特徴である局所画像特徴を抽出する局所画像特徴抽出手段と、
前記局所画像特徴抽出手段により抽出された局所画像特徴を量子化して量子化データを出力する量子化手段と、
量子化手段により出力された量子化データに基づいて病変を分類する病変分類手段と、
病変の種類毎に、局所画像特徴と病変の進行度又は重症度を示すトピック変数との相関係数を記憶する記憶手段と、
前記病変分類手段により分類された病変であって前記局所画像特徴抽出手段により抽出された各々の局所画像特徴とトピック変数との相関係数を前記記憶手段から取得して、取得した相関係数を用いて病変中の局所特徴を生成したトピック変数の生起確率の期待値を推定する期待値推定手段と、
診断画像と、前記診断画像について予め算出されたトピック生起確率の期待値と、を対応付けて記憶する画像記憶手段と、
前記画像記憶手段に記憶された診断画像のうち、前記期待値推定手段により推定されたトピック生起確率の期待値に最も近似するトピック生起確率の期待値に対応する診断画像を類似画像として提示手段に提示させる制御を行う制御手段と、
して機能させるための類似画像提示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１０−７９３９８（Ｐ２０１０−７９３９８Ａ）
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願番号】特願２００８−２４４２５３（Ｐ２００８−２４４２５３）
【出願日】平成２０年９月２４日（２００８．９．２４）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２２年４月８日（２０１０．４．８）
【国際特許分類】
【出願日】平成２０年９月２４日（２００８．９．２４）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]