類似画像検索装置および方法並びにプログラム
【課題】診断対象となる複数の画像上で同一被写体部分を囲む関心領域をそれぞれ設定し、それら関心領域の画像の特徴に基づいて、複数の画像に類似した過去の症例に係る類似画像を検索する際に、関心領域の設定をより簡便にし、オペレータへの負担を軽減する。
【解決手段】複数の画像間で位置合せをして当該画像間の対応位置関係を取得し、上記複数の画像のうち１つの画像上で関心領域の指定を受け付け、指定された関心領域に対応する他の画像上の領域を他の画像上の関心領域として当該画像間の対応位置関係に基づいて決定し、上記複数の画像に対する特徴量であって関心領域の画像の特徴量を含むものを算出する。一方、データベース内の画像に対して同様の特徴量を取得し、上記入力された複数の画像に係る特徴量とデータベース内の画像に係る特徴量とを比較して、データベースから上記複数の画像にそれぞれ類似する画像を検索する。
【解決手段】複数の画像間で位置合せをして当該画像間の対応位置関係を取得し、上記複数の画像のうち１つの画像上で関心領域の指定を受け付け、指定された関心領域に対応する他の画像上の領域を他の画像上の関心領域として当該画像間の対応位置関係に基づいて決定し、上記複数の画像に対する特徴量であって関心領域の画像の特徴量を含むものを算出する。一方、データベース内の画像に対して同様の特徴量を取得し、上記入力された複数の画像に係る特徴量とデータベース内の画像に係る特徴量とを比較して、データベースから上記複数の画像にそれぞれ類似する画像を検索する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理対象の画像と類似している画像を検索する類似画像検索装置および方法並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
従来、被写体のＸ線画像やＣＴ画像等を読影してその被写体を診断する画像診断が種々の分野で行われている。画像診断では、読影者の経験が浅かったり経験があっても診断対象が珍しい症例であったりすると、適正な診断が難しい場合がある。このような問題を解消するには、例えば、過去の症例の中で診断対象の画像に類似した画像の症例を参照しながら診断することが有効であると考えられる。
【０００３】
そこで、診断対象の画像に類似した画像の過去の症例を参照しながら診断できるように、過去に診断された画像とそのときの診断結果や所見等が含まれる診断レポートとが多数保存されている症例データベースの中から、診断対象の画像に類似した画像とその診断レポートを検索し、その検索結果を表示する方法が本出願人により提案されている（特許文献１，２）。
【特許文献１】特開２００５−０６５７２８号公報
【特許文献２】特開２００４−００５３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、最近では、同じ被写体の同一部分を含む複数の画像を同時に読影することにより診断の信頼性を向上させるという考え方がある。例えば、撮影に用いられた撮影装置（撮影モダリティ）が同一で時系列的に異なる複数の画像を同時に読影することにより、症状の今後の変化の予測等を行うことが考えられる。また、例えば、撮影モダリティが異なる複数の画像を同時に読影することにより、症状の絞込み等を行うことも考えられる。後者の例として、特開２００３−０００５７５号公報において、マンモグラム（乳房の放射線画像）と超音波画像（エコー）からなる撮影モダリティが異なる２種類の画像を用いて腫瘍の良悪性の判断を行う方法が開示されている。
【０００５】
そこで、上記の、診断対象となる画像に類似した過去の症例に係る画像を検索してその検索結果を表示する方法において、診断対象となる画像を同じ被写体を撮影して得られた複数の画像とし、これら複数の画像にそれぞれ類似した画像を検索することが考えられる。さらに、この場合、診断対象となる各画像上に病変と疑わしき同一の被写体部分が存在する場合には、そのような部分を囲む領域をそれぞれ関心領域として設定し、それら関心領域の画像の特徴量を算出し、少なくともこの特徴量に基づいて診断対象となる画像に類似する画像を検索することが考えられる。
【０００６】
しかしながら、診断対象となる複数の画像の各々について同一の被写体部分を囲む関心領域をそれぞれ設定する作業は非常に煩雑である。
【０００７】
本発明は、上記事情に鑑み、診断対象となる複数の画像上で同一被写体部分を囲む関心領域をそれぞれ設定し、それら関心領域の画像の特徴に基づいて、診断対象となる複数の画像に類似した過去の症例に係る類似画像を検索する際に、関心領域の設定をより簡便にし、オペレータへの負担を軽減することが可能な類似画像検索装置および方法並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の類似画像検索装置は、被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベースと、前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せ手段と、前記第１の画像上で関心領域の指定を受け付ける関心領域指定手段と、前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定手段と、前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得手段と、前記画像データベースに記憶されている前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索手段と、該検索手段による検索結果を表す検索結果情報を出力する出力手段とを備えたことを特徴とするものである。
【０００９】
本発明の類似画像検索装置において、前記第１および第２の撮影装置で撮影して得られた画像を、複数の解剖学的構造物を含む被写体を該第１および第２の撮影装置で撮影して得られた画像とし、前記位置合せ手段を、前記第１の撮影装置を用いて被写体を撮影して得られた複数の解剖学的構造物を該第１の撮影装置で撮影した際に画像上に表れる標準的な濃度値を用いて表した、第１の標準濃度分布モデル画像を記憶する第１のモデル画像記憶手段と、前記第２の撮影装置を用いて被写体を撮影した得られた複数の解剖学的構造物を該第２の撮影装置で撮影した際に画像上に表れる標準的な濃度値を用いて表した、第２の標準濃度分布モデル画像を記憶する第２のモデル画像記憶手段と、前記第１の標準濃度分布モデル画像と前記第１の画像との間で対応する解剖学的構造物を位置合せして得られる第１の対応位置を取得する第１の位置合せ手段と、前記第２の標準濃度分布モデル画像と前記第２の画像との間で対応する解剖学的構造物を位置合せして得られる第２の対応位置を取得する第２の位置合せ手段と、前記第１の画像と前記第２の画像との間で対応する解剖学的構造物の対応位置を、前記第１の標準濃度分布モデル画像と前記第２の標準濃度分布モデル画像間の対応する解剖学的構造物の対応位置と、前記第１の対応位置と、前記第２の対応位置とから求める対応位置取得手段とを備えたものすることもできる。
【００１０】
本発明の類似画像検索方法は、被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力ステップと、前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せステップと、前記第１の画像上で関心領域の指定を受け付ける関心領域指定ステップと、前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定ステップと、前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得ステップと、前記被写体と同種の被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベース中の前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得ステップと、前記第１の特徴量取得ステップにより取得された特徴量と、前記第２の特徴量取得ステップにより取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索ステップと、該検索ステップによる検索結果を表す検索結果情報を出力する出力ステップとを有することを特徴とするものである。
【００１１】
本発明のプログラムは、コンピュータを、被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベースと、前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せ手段と、
前記第１の画像上で関心領域の指定を受け付ける関心領域指定手段と、前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定手段と、前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得手段と、前記画像データベースに記憶されている前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索手段と、該検索手段による検索結果を表す検索結果情報を出力する出力手段として機能させることにより、該コンピュータを類似画像検索装置として機能させることを特徴とするものである。
【００１２】
画像データベースは単一のデータベースである必要はなく、複数のデータベースであってもよい。例えば、単一の施設内に存在する複数のデータベースからなるものであってもよいし、ネットワークを介して接続可能な複数の異なる施設に散在する複数のデータベースであってもよい。すなわち、各施設に存在するデータベース内の画像や診断データを共有化して利用する形態を含むものである。
【００１３】
また、画像データベースに記憶されている画像は、同一の場所に記憶されている必要はなく、異なる場所に散在して記憶されていてもよい。
【００１４】
出力手段により出力される検索結果情報とは、検索された画像そのものや検索された画像を特定するデータファイル名等を意味するものである。
【００１５】
ここで、特徴量とは、例えば、画像中に表れている陰影の、形状、大きさ、濃淡パターン特性、位置、方向、数や、画像全体の濃淡パターン特性、構造物（肺、心臓など）の形状や大きさなどを表す指標値のほか、検出された異常陰影の悪性度合い等を判断するために用いられる指標値（例えば、腫瘤陰影の場合には、円形度、輪郭のエッジ情報、領域の濃度ヒストグラム情報など；特開平９-１６７２３８号公報参照）など、画像データに基づいて類似性を判定することが可能な種々のものを意味するものであり、画像上の関心領域の画像中に表れている陰影の、形状、大きさ、濃淡パターン特性等を表す指標値を含むものである。
【００１６】
また、本発明の類似画像検索装置を、画像データベースに記憶されている画像に関連する診断データを記憶している診断データベースをさらに備え、検索手段が、検索された類似画像に関連する診断データを診断データベースの中からさらに検索し、出力手段が、検索された診断データを、関連する類似画像とともに検索結果情報として出力するものとすることもできる。
【００１７】
なお、診断データとは、疾患名、診断情報、確定診断情報、治療方針、所見、担当医師名、撮影日時、経過観察情報など、診断に関する種々のデータが記録されたものである。
【００１８】
なお、第１の撮影装置と第２の撮影装置は、種類が異なる撮影装置であってもよいし、種類が同一である撮影装置であってもよい。特に後者の場合には、検索対象として入力される第１および第２の画像は時系列画像であってもよい。
【発明の効果】
【００１９】
本発明の類似画像検索装置および方法によれば、同じ被写体を表す複数の画像の入力を受け付け、これら複数の画像間で位置合せをして当該画像間の対応位置関係を取得し、これら複数の画像のうち１つの画像上で関心領域の指定を受け付け、この指定された関心領域に対応する他の画像上の領域を他の画像上の関心領域として、当該画像間の対応位置関係に基づいて決定し、入力された複数の画像に対する特徴量であって関心領域の画像の特徴量を含むものを算出し、一方、データベースに記憶されている画像に対して同様の特徴量を取得し、上記入力された複数の画像に係る特徴量とデータベースに記憶されている画像に係る特徴量とを比較して、データベースに記憶されている画像の中から、前記入力された複数の画像にそれぞれ類似する画像を検索し、その検索結果を出力するようにしているので、診断対象となるいずれかの画像上で関心領域を一度指定するだけで、他の画像上にも対応する関心領域を設定することができ、診断対象となる複数の画像上で同一被写体部分を囲む関心領域をそれぞれ設定し、それら関心領域の画像の特徴に基づいて、診断対象となる複数の画像に類似した過去の症例に係る類似画像を検索する際に、関心領域の設定をより簡便にし、オペレータへの負担を軽減することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して、本発明の実施形態について説明する。
【００２１】
図１は、本発明の実施形態による類似画像検索システムの構成を示すブロック図である。この類似画像検索システムは、同じ被写体である同一患者の同一部位を種類の異なる撮影装置で撮影して得られた、撮影モダリティが異なる複数の医用画像のセットが検索対象として入力されると、撮影モダリティがこの画像のセットと同じであって画像等の特徴が類似する類似画像セットとその類似画像セットに関連する診断データとをデータベースから検索し、その検索結果を出力するものである。なお、ここでは、画像データは画像を表すものであり、以下、特に画像と画像データの区別をせずに説明を行う。
【００２２】
本実施形態による類似画像検索システムは、過去の症例に係る、同じ被写体を表す撮影モダリティが異なる複数の画像を含む症例画像セットと当該症例画像セットに関連する診断データとを多数記憶する症例データベース１０と、同じ被写体を表す撮影モダリティが異なる複数の画像Ｓ１，Ｓ２の入力を検索対象として受け付ける画像入力部（画像入力手段）２０と、画像Ｓ１，Ｓ２の間で互いに被写体を位置合せして画像間の対応位置関係Ｂ１２を取得する画像位置合せ部（位置合せ手段）３０と、画像Ｓ１またはＳ２の一方の画像上で関心領域（ＲＯＩ）を指定する関心領域指定部（関心領域指定手段）４０と、上記一方の画像上の関心領域に対応する他方の画像上の領域をこの他方の画像上の関心領域として、対応位置関係Ｂ１２に基づいて決定する対応関心領域決定部（対応関心領域決定手段）５０と、画像Ｓ１，Ｓ２の画像全体および関心領域の画像に対する特徴量を算出して取得する第１の特徴量取得部（第１の特徴量取得手段）６０と、症例画像セットを構成する画像のうち撮影モダリティが画像Ｓ１，Ｓ２と同じである画像に対する特徴量を取得する第２の特徴量取得部（第２の特徴量取得手段）７０と、画像Ｓ１，Ｓ２からなる画像セットＳＳに係る特徴量と症例画像セットに係る特徴量とを比較して、両画像セット間の総合的な類似度ＬＴを算出する類似度算出部（類似度算出手段）８０と、症例データベース１０から上記総合的な類似度ＬＴが高い順に上位所定数に含まれる症例画像セットとその診断データを検索する検索部（検索手段）９０と、検索部９０による検索結果を表す検索結果情報を出力する出力部（出力手段）１００と、出力部１００により出力された検索結果情報をモニタ画面上に表示する表示部１１０とを備える。
【００２３】
症例データベース１０は、同じ被写体を表す撮影モダリティが異なる複数の画像を含む症例画像セットを多数記憶する画像データベース１１と、各症例画像セットに関連する診断データを記憶している診断データベース１２から構成されている。
【００２４】
画像データベース１１には、同じ被写体をＣＴ撮影装置、ＭＲＩ撮影装置、ＰＥＴ撮影装置、Ｘ線撮影装置等により撮影して得られた、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、単純Ｘ線画像等からなる一連の画像であって過去に診断されたものである症例画像セットが被写体毎や診断毎に多数記憶されている。なお、これら症例画像セットを構成する画像には、過去の診断時に行われた処理によって得られた処理結果情報が添付されている。この処理結果情報には、その画像に対して算出された種々の特徴量や画像上で設定された関心領域の位置の情報、その関心領域の画像に対して算出された特徴量等が含まれる。
【００２５】
また、診断データベース１２には、画像データベース１１に記憶されている各症例画像セットに関連する診断データが、各症例画像セットと関連付けられた状態で記憶されている。この診断データには、疾患名、診断情報、確定診断情報、治療方針、所見、担当医師名、撮影日時、経過観察情報等、診断に関する種々のデータが含まれる。なお、この診断データベース１２を構築する際には、診断データ、特に診断情報や確定診断情報を手動で登録して診断データベースに記憶させるようにしてもよいし、ＰＡＣＳや電子カルテのデータを自動的に収集する形態で記憶させるようにしてもよい。
【００２６】
画像入力部２０は、検索対象の画像となる、同じ被写体を表す撮影モダリティが異なる複数の画像Ｓ１，Ｓ２の入力を受け付けるものであり、ここでは一例として、同一患者の同一部位を表すＣＴ画像Ｓ１とＭＲＩ画像Ｓ２の入力を受け付けるものとする。
【００２７】
画像位置合せ部３０は、図２に示すように、ＣＴ撮影装置で撮影して得られた画像の標準的な濃度分布を表すＣＴ用標準濃度分布モデル画像Ｍ１（第１の標準濃度分布モデル画像）を記憶する第１の標準濃度分布モデル画像記憶部３１と、ＭＲＩ撮影装置で撮影して得られた画像の標準的な濃度分布を表すＭＲＩ用標準濃度分布モデル画像Ｍ２（第２の標準濃度分布モデル画像）を記憶する第２の標準濃度分布モデル画像記憶部３２と、ＣＴ用標準濃度分布モデル画像Ｍ１とＭＲＩ用標準濃度分布モデル画像Ｍ２間で、対応する解剖学的構造物の対応位置ＢＭ１２を記憶するモデル画像間対応位置記憶部３３と、ＣＴ画像Ｓ１とＣＴ用標準濃度分布モデル画像Ｍ１との間で、対応する解剖学的構造物を位置合せして第１の対応位置ＢＳ１を取得する第１の位置合せ部３４と、ＭＲＩ画像Ｓ２とＭＲＩ用標準濃度分布モデル画像Ｍ２間で、対応する解剖学的構造物を位置合せして第２の対応位置ＢＳ２を取得する第２の位置合せ部３５と、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２間の解剖学的構造物の対応位置Ｂ１２を、ＣＴ用標準濃度分布モデル画像Ｍ１とＭＲＩ用標準濃度分布モデル画像Ｍ２間の対応位置ＢＭ１２と第１の対応位置ＢＳ１と第２の対応位置ＢＳ２とから求める対応位置取得部３６とから構成される。
【００２８】
ＣＴ画像Ｓ１、ＭＲＩ画像Ｓ２、ＣＴ用標準濃度分布モデル画像Ｍ１、ＭＲＩ用標準濃度分布モデル画像Ｍ２は、多数のボクセルデータからなるボリュームデータであり、ボクセルデータごとに濃度値の情報を保持し、骨や臓器などの解剖学的構造物がボクセルデータの濃淡で表わされる。
【００２９】
標準濃度分布モデル画像は、過去撮影された多数のＣＴ画像やＭＲＩ画像に基づいて、健常者が標準的な体型で内臓などの組織が標準的な大きさや位置に存在する解剖学的な構造物を、標準的な濃度値の分布で表したモデル画像である。撮影されたモダリティによって各画像に現れる濃度値も異なるため、ＣＴ撮影装置で撮影した際に画像上に表れる標準的な濃度値で表したＣＴ用標準濃度分布モデル画像Ｍ１と、ＭＲＩ撮影装置で撮影した際に画像上に表れる標準的な濃度値で表したＭＲＩ用標準濃度分布モデル画像Ｍ２を用意する。
【００３０】
これらの標準濃度分布モデル画像は、過去撮影された多数の画像から、各臓器の平均的な位置や濃度値を取得することが可能である。また、標準濃度分布モデル画像に含まれる各ボクセルデータがどの解剖学的構造物（骨、内臓、脂肪など）に属するかがわかるように生成されたモデル画像が好ましい。例えば、ＣＴ用標準度分布モデル画像Ｍ１（CT_Model）に座標値（ｘ，ｙ，ｚ）を与えると、下式(1)、(2)に表すように濃度値や組織名がわかるように第１の標準濃度分布モデル画像記憶部３１に記憶する。
【００３１】
濃度値 CT_Model_intensity(x,y,z) ＝ 100 (1)
組織名 CT_Model_tissue(x,y,z) ＝ 肝臓 (2)
同様に、ＭＲＩ用標準濃度分布モデル画像Ｍ２（MRI_Model）に座標値（ｘ，ｙ，ｚ）を与えると、下式(3)、(4)に表すように濃度値や組織名がわかるように第２の標準濃度分布モデル画像記憶部３２に記憶する。
【００３２】
濃度値 MRI_Model_intensity(x',y',z') ＝ 80 (3)
組織名 MRI_Model_tissue(x',y',z') ＝ 肝臓 (4)
モデル画像間対応位置記憶部３３には、予めＣＴ用標準濃度分布モデル画像Ｍ１とＭＲＩ用標準濃度分布モデル画像Ｍ２の解剖学的構造物の対応位置ＢＭ１２を、各ボクセルデータごとに対応させて記憶する。つまり、下式(5)で表されるような関係を予め求めておく。
【００３３】
CT_Model(x,y,z) ＝ MRI_Model(x',y',z') (5)
この対応位置は手動で求めておいてもよい。
【００３４】
ここで、画像位置合せ部３０による位置合せ方法について説明する。
【００３５】
まず、第１の位置合せ部３４で、ＣＴ画像S1とＣＴ用標準濃度分布モデル画像Ｍ１との位置合せを行い、第１の対応位置ＢＳ１を取得する。同一の撮影モダリティで撮影された画像は、画像上に写った臓器や組織などの解剖学的構造物の濃度分布が似ているため、異なる撮影モダリティで撮影された画像の位置合せよりも精度のよい位置合せができる。
【００３６】
例えば、ＣＴ画像Ｓ１の画素値に基づいて体表を認識して、第１の標準度分布モデル画像記憶部３１に記憶されているＣＴ用標準濃度分布モデル画像Ｍ１の体表の形状が略一致するように、ワーピングなどの手法を用いて位置合せを行い、第１の対応位置ＢＳ１を取得する。
【００３７】
このようにして、ＣＴ画像Ｓ１（CT_Data）とＣＴ用標準濃度分布モデル画像Ｍ１との間については、下式(6)のような第１の対応位置ＢＳ１が得られる。
【００３８】
CT_Model(x1,y1,z1) ＝ CT_Data(x,y,z) (6)
同様にして、第２の位置合せ部３５で、ＭＲＩ画像Ｓ２（MRI_Data）と第２の標準濃度分布モデル画像記憶部３２に記憶されているＭＲＩ用標準濃度分布モデル画像Ｍ２とを位置合せして、下式(7)のような第２の対応位置ＢＳ２を得る。
【００３９】
MRI_Model(x2,y2,z2) ＝ MRI_Data(x',y',z') (7)
対応位置取得部３６は、上式(5),(6),(7)からＣＴ画像Ｓ１の座標値（ｘ，ｙ，ｚ）と対応するＭＲＩ画像Ｓ２の座標値（ｘ'，ｙ'，ｚ'）を得ることができる。これを全てのボクセルデータについて求めることにより、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２の位置合せを行い、これらの画像間の対応位置関係Ｂ１２を得る。
【００４０】
関心領域指定部４０は、検索対象のＣＴ画像Ｓ１またはＭＲＩ画像Ｓ２上で関心領域を指定するものであり、オペレータが、表示部１１０のモニタ画面上に表示された画像を見ながらその画像上で、例えば病変と疑われるような部分を、マウス等の不図示の位置指示手段を用いて指定する。
【００４１】
対応関心領域決定部５０は、関心領域指定部４０によりＣＴ画像Ｓ１またはＭＲＩ画像の一方の画像上で関心領域が指定されると、その一方の画像上の関心領域に対応する他方の画像上の領域をその他方の画像上の関心領域として、画像位置合せ部３０により取得されたＣＴ画像Ｓ１とＭＲＩ画像Ｓ２間の対応位置関係Ｂ１２に基づいて決定するものであり、例えば、ＣＴ画像Ｓ１上に関心領域Ｒ１が指定された場合には、この関心領域Ｒ１に相当する被写体部分と同じ被写体部分を表すＭＲＩ画像Ｓ２上の領域が自動的に関心領域Ｒ２として決定される。
【００４２】
一般的に、オペレータは、診断対象の画像の中で病変と疑われる部分を見つけた場合には、その部分を関心領域として指定し、その関心領域の画像の特徴量を用いて類似度を算出させたいと考える場合が想定され、診断対象となる画像が複数ある場合には、それら複数の画像上の同じ被写体部分をそれぞれ関心領域として設定することが考えられる。このような場合、上述のように１回の指定だけで複数の画像上の同じ被写体部分がそれぞれ関心領域として設定されれば、オペレータへの負担が軽減される。
【００４３】
第１の特徴量取得部６０は、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２に対する特徴量Ｃ１を算出して取得するものであり、この特徴量としては、例えば、画像中に表れている陰影の、形状、大きさ、濃淡パターン特性、位置、方向、数や、画像全体の濃淡パターン特性、構造物（肺、心臓など）の形状や大きさなどを表す指標値等が挙げられる。なお、ＣＴ画像Ｓ１上に関心領域Ｒ１が設定されている場合や、ＭＲＩ画像Ｓ２上に関心領域Ｒ２が設定されている場合には、それら関心領域の画像中に表れている陰影の、形状、大きさ、濃淡パターン特性等を表す指標値も特徴量として算出する。
【００４４】
第２の特徴量取得部７０は、症例画像セットを構成する画像のうち撮影モダリティがＣＴ画像Ｓ１、ＭＲＩ画像Ｓ２と同じである画像、すなわち、撮影モダリティが「ＣＴ撮影装置」「ＭＲＩ撮影装置」である画像に対する特徴量Ｃ２を取得するものであり、症例画像セットを構成する画像に添付された処理結果情報の中に、その画像に対して既に算出された種々の特徴量や画像上で設定された関心領域の画像に対して算出された特徴量等が含まれているときには、それらの特徴量を読み込んで取得し、このような特徴量が含まれていないときには、新たに特徴量を算出して取得するものである。
【００４５】
類似度算出部８０は、第１の特徴量取得部６０により取得された特徴量、すなわち、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２からなる画像セットＳＳに係る特徴量Ｃ１と、第２の特徴量取得部７０により取得された特徴量、すなわち、症例画像セットに係る特徴量Ｃ２とを比較して、両画像セット間の総合的な類似度ＬＴを算出するものであり、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２からなる画像セットＳＳと症例画像セットとの間で撮影モダリティが同じである画像同士の組合せ毎に、当該組合せを構成する両画像における特徴量を互いに比較して当該両画像間の類似度Ｌ１，Ｌ２を算出するモダリティ別類似度算出部（撮影装置別類似度算出手段）８１と、上記組合せ毎に算出された類似度Ｌ１，Ｌ２からなる複数の類似度を用いて、総合的な類似度ＬＴを算出する総合類似度算出部（総合類似度算出手段）８２から構成されている。
【００４６】
モダリティ別類似度算出部８１は、具体的には、画像セットＳＳと症例画像セットとの間において、撮影モダリティが「ＣＴ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出し、また、撮影モダリティが「ＭＲＩ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出するものである。ここで、類似度の算出方法としては公知である種々の方法が考えられるが、例えば、２つの画像について取得された各特徴量群を多次元の特徴量空間上の点で表し、この２点間のユークリッド距離が小さいほど類似度が高くなり、逆にこの距離が大きいほど類似度が小さくなるような所定の式により類似度を算出する方法が考えられる。
【００４７】
また、総合類似度算出部８２は、例えば、モダリティ別類似度算出部８１により算出された類似度Ｌ１とＬ２を所定の重み係数を用いて加算したり、積をとったりすることにより、画像セットＳＳと症例画像セットとの間の総合的な類似度ＬＴを算出するものである。
【００４８】
検索部９０は、画像データベース１１に記憶されている多数の症例画像セットのうち上記総合的な類似度ＬＴが高い順に上位所定数に含まれる症例画像セットを類似画像セットＬＳとして画像データベース１１の中から検索するとともに、その類似画像セットに関連する診断データを診断データベース１２の中から検索するものである。なお、ここでは、検索部９０は、総合的な類似度ＬＴが高い順に上位４つに含まれる症例画像セットを類似画像セットＬＳとして検索するものとする。
【００４９】
次に、以上のように構成された本実施形態の類似画像検索システムの作用について説明する。図３は、本実施形態による類似画像検索システムにおける処理フローを示す図である。
【００５０】
まず、画像入力部２０が、診断対象となる、ある被写体のＣＴ画像Ｓ１と同じ被写体のＭＲＩ画像Ｓ２の入力を受け付け、表示部１１０がこれらのＣＴ画像Ｓ１とＭＲＩ画像Ｓ２をモニタ画面上に表示する（ステップＳＴ１）。
【００５１】
図４は、診断対象となる、ある被写体の胸部のＣＴ画像Ｓ１と同じ被写体の胸部のＭＲＩ画像Ｓ２を示したものである。ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２の左肺部分には腫瘤陰影と疑われる円形の陰影Ｑが表れている。
【００５２】
そして、画像位置合せ部３０が、上述の処理により、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２の間でその被写体の位置合せを行ってＣＴ画像Ｓ１，ＭＲＩ画像Ｓ２間の対応位置関係Ｂ１２を取得する（ステップＳＴ２）。
【００５３】
ここで、オペレータが、表示部１１０のモニタ画面上に表示されているＣＴ画像Ｓ１またはＭＲＩ画像Ｓ２の一方の画像に対し、病変部と疑われる領域を指定すると、関心領域指定部４０が、その指定された領域をその一方の画像上の関心領域として設定し（ステップＳＴ３）、対応関心領域決定部５０が、対応位置関係Ｂ１２に基づいて、その一方の画像上で指定された領域に対応する他方の画像上の領域をその他方の画像上の関心領域として決定する（ステップＳＴ４）。
【００５４】
図５は、オペレータが、ＣＴ画像Ｓ１またはＭＲＩ画像Ｓ２の一方の画像上で病変部と疑われる陰影Ｑを囲む領域を関心領域として指定し、他方の画像上にも対応する領域が関心領域として指定された様子を示したものであり、ＣＴ画像Ｓ１上に関心領域Ｒ１、ＭＲＩ画像Ｓ２上に関心領域Ｒ２がそれぞれ設定されている。
【００５５】
ここで、オペレータが、画面上に設けられた「類似画像検索ボタン」をクリックすると、第１の特徴量取得部６０が、ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２に対する特徴量と関心領域Ｒ１の画像および関心領域Ｒ２の画像に対する特徴量とを含む特徴量Ｃ１を算出して取得する（ステップＳＴ５）。
【００５６】
第１の特徴量取得部６０により、ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２からなる画像セットＳＳに係る特徴量が取得されると、第２の特徴量取得部７０が、画像データベース１１に記憶されている症例画像セット毎に、症例画像セットを構成する画像のうち撮影モダリティがＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２と同じである画像、すなわち、撮影モダリティが「ＣＴ撮影装置」「ＭＲＩ撮影装置」である画像を特定し、これらの画像に添付された処理結果情報の中に、その画像に対して既に算出された種々の特徴量や画像上で設定された関心領域の画像に対して算出された特徴量等が含まれているときには、それらの特徴量を読み込んで取得し、このような特徴量が含まれていないとき、あるいは取得したい特徴量が足りないときには必要な特徴量を新たに算出して、症例画像セットの特徴量Ｃ２を取得する（ステップＳＴ６）。
【００５７】
ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２からなる画像セットＳＳに係る特徴量Ｃ１と、画像データベース１１に記憶されている各症例画像セットに係る特徴量Ｃ２が取得されると、モダリティ別類似度算出部８１は、画像セットＳＳと各症例画像セットとの間において、撮影モダリティが「ＣＴ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出し、また、撮影モダリティが「ＭＲＩ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出する（ステップＳＴ７）。そして、総合類似度算出部８２は、各症例画像セットについて、モダリティ別類似度算出部８１により算出された類似度Ｌ１とＬ２を、所定の重み係数を用いて加算することにより、画像セットＳＳと症例画像セットとの間の総合的な類似度ＬＴを算出する（ステップＳＴ８）。
【００５８】
各症例画像セットに対する総合的な類似度ＬＴが算出されると、検索部９０は、画像データベース１１に記憶されている多数の症例画像セットのうち上記総合的な類似度ＬＴが高い順に上位４つに含まれる症例画像セットを類似画像セットＬＳとして画像データベース１１の中から検索するとともに、その類似画像セットＬＳに関連する診断データを診断データベース１２の中から検索する（ステップＳＴ９）。そして、出力部１００が、その検索結果を表す検索結果情報、例えば、その類似画像セットＬＳとそれに関連する診断データとを表すデータファイル名やその類似画像セットＬＳの画像データや診断データそのものを出力し（ステップＳＴ１０）、表示部１１０が、その類似画像セットＬＳの画像データとそれに関連する診断データとを表すデータファイル名をモニタ画面上に表示したり、その画像データが表す画像や診断データが表す診断情報等をモニタ画面上に表示したりする。
【００５９】
図６は、類似画像検索が行われた後の表示部１１０のモニタ画面の例を示すものである。モニタ画面上には、左上部にＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２、右上部に検索された４つの類似画像セットＬＳのサムネイル画像、左下部に類似画像セットＬＳのうち選択された１つの類似画像セットＬＳ１の拡大画像、右下部には拡大画像である類似画像セットのうち選択された画像に関連する診断データ（診断レポート）ＲＰＭ１がそれぞれ表示されている。
【００６０】
オペレータは、所望のサムネイル画像をクリックすることで、その画像の拡大画像を更新して表示させることができ、また、拡大表示された類似画像セットのうちいずれかの画像をクリックすると、その画像に対する診断レポートを更新して表示させることができる。
【００６１】
このように、本実施形態の類似画像検索システムによれば、同じ被写体を表す複数の画像Ｓ１，Ｓ２の入力を受け付け、これら複数の画像Ｓ１，Ｓ２間で位置合せをして当該画像間の対応位置関係Ｂ１２を取得し、これら複数の画像Ｓ１、Ｓ２のうち１つの画像上で関心領域の指定を受け付け、この指定された関心領域に対応する他の画像上の領域を他の画像上の関心領域として、当該画像間の対応位置関係Ｂ１２に基づいて決定し、入力された複数の画像Ｓ１，Ｓ２に対する特徴量であって関心領域の画像の特徴量を含むものを算出し、一方、画像データベース１１に記憶されている画像に対して同様の特徴量を取得し、上記入力された複数の画像Ｓ１，Ｓ２に係る特徴量と画像データベースに記憶されている画像に係る特徴量とを比較して、画像データベース１１に記憶されている画像の中から、入力された複数の画像Ｓ１，Ｓ２にそれぞれ類似する画像を検索し、その検索結果を出力するようにしているので、診断対象となるいずれかの画像上で関心領域を一度指定するだけで、他の画像上にも対応する関心領域を設定することができ、診断対象となる複数の画像Ｓ１，Ｓ２上で同一被写体部分を囲む関心領域Ｒ１，Ｒ２をそれぞれ設定し、それら関心領域Ｒ１，Ｒ２の画像の特徴に基づいて、診断対象となる複数の画像Ｓ１，Ｓ２に類似した過去の症例に係る類似画像を検索する際に、関心領域の設定をより簡便にし、オペレータへの負担を軽減することが可能となる。
【００６２】
また、本実施形態によれば、診断対象となる複数の画像Ｓ１，Ｓ２に類似した類似画像だけでなく、その類似画像に関連する診断データをも出力するようにしているので、医師等のオペレータが画像の読影時に診断に迷ったときに有効な診断支援情報を提供することができる。
【００６３】
なお、本実施形態では、検索対象となる複数の画像を、撮影モダリティが異なる複数の画像とし、これら複数の画像を、「ＣＴ撮影装置（単純）」と「ＭＲＩ撮影装置」の２種類の画像として説明したが、撮影モダリティが「ＣＴ撮影装置（単純）」、「ＣＴ撮影装置（造影剤入り）」、「ＭＲＩ撮影装置」、「ＲＩ撮影装置」、「ＰＥＴ撮影装置」など３種類以上の場合であっても同様に類似画像検索を行うことができる。この場合、すべての撮影モダリティの画像を検索対象として検索してもよいし、そのうちの２種類以上の撮影モダリティの画像を検索対象として選択するようにしてもよい。また、検索して得られた類似画像セットＬＳについては、検索に用いた撮影モダリティの画像のみを画面に表示するようにしてもよいし、類似画像セットＬＳを構成するすべての画像を画面に表示するようにしてもよい。
【００６４】
また、検索対象となる複数の画像は、経過観察のために時間をおいて取得された同じ撮影モダリティの画像（時系列画像）であってもよい。このようにすれば、同じ被写体に対して多数（例えば１０〜２０程度）の時系列画像が存在し、それらすべての画像について関心領域を設定し、その関心領域の画像の特徴に基づいてそれらすべての画像に対する類似画像をそれぞれ検索するような場合であっても、そのうちの１つの画像上で関心領域を設定すればよく、非常に効率がよい。
【００６５】
また、本実施形態では、第１の特徴量取得部６０および第２の特徴量取得部７０は、予め決められた所定の種類の特徴量を取得することを想定しているが、例えば、複数の特徴量の種類のうち幾つかの種類を選択するための選択手段を備えるようにし、その選択手段により選択された種類の特徴量のみを取得するようにしてもよい。
【００６６】
また、本実施形態では、診断対象となる複数の画像に類似する画像を画像セット単位で検索するようにしているが、この複数の画像に類似する画像を別々に検索するようにしてもよい。すなわち、ＣＴ画像Ｓ１に類似する画像とＭＲＩ画像Ｓ２に類似する画像とを別々に検索するようにしてもよい。
【図面の簡単な説明】
【００６７】
【図１】本実施形態による類似画像検索システムの構成図
【図２】画像位置合せ部３０の構成図
【図３】本実施形態による類似画像検索システムにおける処理フローを示す図
【図４】診断対象かつ検索対象となる、同じ被写体を表す撮影モダリティが異なる画像を示す図
【図５】検索対象となる２つの画像上で関心領域がそれぞれ設定された様子を示す図
【図６】検索結果の表示例を示す図
【符号の説明】
【００６８】
１０ 症例データベース
１１ 画像データベース
１２ 診断データベース
２０ 画像入力部
３０ 画像位置合せ部
３１ 第１の標準濃度分布モデル画像記憶部
３２ 第２の標準濃度分布モデル画像記憶部
３３ モデル画像間対応位置記憶部
３４ 第１の位置合せ部
３５ 第２の位置合せ部
３６ 対応位置取得部
４０ 関心領域指定部
５０ 対応関心領域決定部
６０ 第１の特徴量取得部
７０ 第２の特徴量取得部
８０ 類似度算出部
８１ モダリティ別類似度算出部
８２ 総合類似度算出部
９０ 検索部
１００ 出力部
１１０ 表示部
【技術分野】
【０００１】
本発明は、処理対象の画像と類似している画像を検索する類似画像検索装置および方法並びにそのためのプログラムに関するものである。
【背景技術】
【０００２】
従来、被写体のＸ線画像やＣＴ画像等を読影してその被写体を診断する画像診断が種々の分野で行われている。画像診断では、読影者の経験が浅かったり経験があっても診断対象が珍しい症例であったりすると、適正な診断が難しい場合がある。このような問題を解消するには、例えば、過去の症例の中で診断対象の画像に類似した画像の症例を参照しながら診断することが有効であると考えられる。
【０００３】
そこで、診断対象の画像に類似した画像の過去の症例を参照しながら診断できるように、過去に診断された画像とそのときの診断結果や所見等が含まれる診断レポートとが多数保存されている症例データベースの中から、診断対象の画像に類似した画像とその診断レポートを検索し、その検索結果を表示する方法が本出願人により提案されている（特許文献１，２）。
【特許文献１】特開２００５−０６５７２８号公報
【特許文献２】特開２００４−００５３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、最近では、同じ被写体の同一部分を含む複数の画像を同時に読影することにより診断の信頼性を向上させるという考え方がある。例えば、撮影に用いられた撮影装置（撮影モダリティ）が同一で時系列的に異なる複数の画像を同時に読影することにより、症状の今後の変化の予測等を行うことが考えられる。また、例えば、撮影モダリティが異なる複数の画像を同時に読影することにより、症状の絞込み等を行うことも考えられる。後者の例として、特開２００３−０００５７５号公報において、マンモグラム（乳房の放射線画像）と超音波画像（エコー）からなる撮影モダリティが異なる２種類の画像を用いて腫瘍の良悪性の判断を行う方法が開示されている。
【０００５】
そこで、上記の、診断対象となる画像に類似した過去の症例に係る画像を検索してその検索結果を表示する方法において、診断対象となる画像を同じ被写体を撮影して得られた複数の画像とし、これら複数の画像にそれぞれ類似した画像を検索することが考えられる。さらに、この場合、診断対象となる各画像上に病変と疑わしき同一の被写体部分が存在する場合には、そのような部分を囲む領域をそれぞれ関心領域として設定し、それら関心領域の画像の特徴量を算出し、少なくともこの特徴量に基づいて診断対象となる画像に類似する画像を検索することが考えられる。
【０００６】
しかしながら、診断対象となる複数の画像の各々について同一の被写体部分を囲む関心領域をそれぞれ設定する作業は非常に煩雑である。
【０００７】
本発明は、上記事情に鑑み、診断対象となる複数の画像上で同一被写体部分を囲む関心領域をそれぞれ設定し、それら関心領域の画像の特徴に基づいて、診断対象となる複数の画像に類似した過去の症例に係る類似画像を検索する際に、関心領域の設定をより簡便にし、オペレータへの負担を軽減することが可能な類似画像検索装置および方法並びにそのためのプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明の類似画像検索装置は、被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベースと、前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せ手段と、前記第１の画像上で関心領域の指定を受け付ける関心領域指定手段と、前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定手段と、前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得手段と、前記画像データベースに記憶されている前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索手段と、該検索手段による検索結果を表す検索結果情報を出力する出力手段とを備えたことを特徴とするものである。
【０００９】
本発明の類似画像検索装置において、前記第１および第２の撮影装置で撮影して得られた画像を、複数の解剖学的構造物を含む被写体を該第１および第２の撮影装置で撮影して得られた画像とし、前記位置合せ手段を、前記第１の撮影装置を用いて被写体を撮影して得られた複数の解剖学的構造物を該第１の撮影装置で撮影した際に画像上に表れる標準的な濃度値を用いて表した、第１の標準濃度分布モデル画像を記憶する第１のモデル画像記憶手段と、前記第２の撮影装置を用いて被写体を撮影した得られた複数の解剖学的構造物を該第２の撮影装置で撮影した際に画像上に表れる標準的な濃度値を用いて表した、第２の標準濃度分布モデル画像を記憶する第２のモデル画像記憶手段と、前記第１の標準濃度分布モデル画像と前記第１の画像との間で対応する解剖学的構造物を位置合せして得られる第１の対応位置を取得する第１の位置合せ手段と、前記第２の標準濃度分布モデル画像と前記第２の画像との間で対応する解剖学的構造物を位置合せして得られる第２の対応位置を取得する第２の位置合せ手段と、前記第１の画像と前記第２の画像との間で対応する解剖学的構造物の対応位置を、前記第１の標準濃度分布モデル画像と前記第２の標準濃度分布モデル画像間の対応する解剖学的構造物の対応位置と、前記第１の対応位置と、前記第２の対応位置とから求める対応位置取得手段とを備えたものすることもできる。
【００１０】
本発明の類似画像検索方法は、被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力ステップと、前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せステップと、前記第１の画像上で関心領域の指定を受け付ける関心領域指定ステップと、前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定ステップと、前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得ステップと、前記被写体と同種の被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベース中の前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得ステップと、前記第１の特徴量取得ステップにより取得された特徴量と、前記第２の特徴量取得ステップにより取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索ステップと、該検索ステップによる検索結果を表す検索結果情報を出力する出力ステップとを有することを特徴とするものである。
【００１１】
本発明のプログラムは、コンピュータを、被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベースと、前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せ手段と、
前記第１の画像上で関心領域の指定を受け付ける関心領域指定手段と、前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定手段と、前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得手段と、前記画像データベースに記憶されている前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索手段と、該検索手段による検索結果を表す検索結果情報を出力する出力手段として機能させることにより、該コンピュータを類似画像検索装置として機能させることを特徴とするものである。
【００１２】
画像データベースは単一のデータベースである必要はなく、複数のデータベースであってもよい。例えば、単一の施設内に存在する複数のデータベースからなるものであってもよいし、ネットワークを介して接続可能な複数の異なる施設に散在する複数のデータベースであってもよい。すなわち、各施設に存在するデータベース内の画像や診断データを共有化して利用する形態を含むものである。
【００１３】
また、画像データベースに記憶されている画像は、同一の場所に記憶されている必要はなく、異なる場所に散在して記憶されていてもよい。
【００１４】
出力手段により出力される検索結果情報とは、検索された画像そのものや検索された画像を特定するデータファイル名等を意味するものである。
【００１５】
ここで、特徴量とは、例えば、画像中に表れている陰影の、形状、大きさ、濃淡パターン特性、位置、方向、数や、画像全体の濃淡パターン特性、構造物（肺、心臓など）の形状や大きさなどを表す指標値のほか、検出された異常陰影の悪性度合い等を判断するために用いられる指標値（例えば、腫瘤陰影の場合には、円形度、輪郭のエッジ情報、領域の濃度ヒストグラム情報など；特開平９-１６７２３８号公報参照）など、画像データに基づいて類似性を判定することが可能な種々のものを意味するものであり、画像上の関心領域の画像中に表れている陰影の、形状、大きさ、濃淡パターン特性等を表す指標値を含むものである。
【００１６】
また、本発明の類似画像検索装置を、画像データベースに記憶されている画像に関連する診断データを記憶している診断データベースをさらに備え、検索手段が、検索された類似画像に関連する診断データを診断データベースの中からさらに検索し、出力手段が、検索された診断データを、関連する類似画像とともに検索結果情報として出力するものとすることもできる。
【００１７】
なお、診断データとは、疾患名、診断情報、確定診断情報、治療方針、所見、担当医師名、撮影日時、経過観察情報など、診断に関する種々のデータが記録されたものである。
【００１８】
なお、第１の撮影装置と第２の撮影装置は、種類が異なる撮影装置であってもよいし、種類が同一である撮影装置であってもよい。特に後者の場合には、検索対象として入力される第１および第２の画像は時系列画像であってもよい。
【発明の効果】
【００１９】
本発明の類似画像検索装置および方法によれば、同じ被写体を表す複数の画像の入力を受け付け、これら複数の画像間で位置合せをして当該画像間の対応位置関係を取得し、これら複数の画像のうち１つの画像上で関心領域の指定を受け付け、この指定された関心領域に対応する他の画像上の領域を他の画像上の関心領域として、当該画像間の対応位置関係に基づいて決定し、入力された複数の画像に対する特徴量であって関心領域の画像の特徴量を含むものを算出し、一方、データベースに記憶されている画像に対して同様の特徴量を取得し、上記入力された複数の画像に係る特徴量とデータベースに記憶されている画像に係る特徴量とを比較して、データベースに記憶されている画像の中から、前記入力された複数の画像にそれぞれ類似する画像を検索し、その検索結果を出力するようにしているので、診断対象となるいずれかの画像上で関心領域を一度指定するだけで、他の画像上にも対応する関心領域を設定することができ、診断対象となる複数の画像上で同一被写体部分を囲む関心領域をそれぞれ設定し、それら関心領域の画像の特徴に基づいて、診断対象となる複数の画像に類似した過去の症例に係る類似画像を検索する際に、関心領域の設定をより簡便にし、オペレータへの負担を軽減することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照して、本発明の実施形態について説明する。
【００２１】
図１は、本発明の実施形態による類似画像検索システムの構成を示すブロック図である。この類似画像検索システムは、同じ被写体である同一患者の同一部位を種類の異なる撮影装置で撮影して得られた、撮影モダリティが異なる複数の医用画像のセットが検索対象として入力されると、撮影モダリティがこの画像のセットと同じであって画像等の特徴が類似する類似画像セットとその類似画像セットに関連する診断データとをデータベースから検索し、その検索結果を出力するものである。なお、ここでは、画像データは画像を表すものであり、以下、特に画像と画像データの区別をせずに説明を行う。
【００２２】
本実施形態による類似画像検索システムは、過去の症例に係る、同じ被写体を表す撮影モダリティが異なる複数の画像を含む症例画像セットと当該症例画像セットに関連する診断データとを多数記憶する症例データベース１０と、同じ被写体を表す撮影モダリティが異なる複数の画像Ｓ１，Ｓ２の入力を検索対象として受け付ける画像入力部（画像入力手段）２０と、画像Ｓ１，Ｓ２の間で互いに被写体を位置合せして画像間の対応位置関係Ｂ１２を取得する画像位置合せ部（位置合せ手段）３０と、画像Ｓ１またはＳ２の一方の画像上で関心領域（ＲＯＩ）を指定する関心領域指定部（関心領域指定手段）４０と、上記一方の画像上の関心領域に対応する他方の画像上の領域をこの他方の画像上の関心領域として、対応位置関係Ｂ１２に基づいて決定する対応関心領域決定部（対応関心領域決定手段）５０と、画像Ｓ１，Ｓ２の画像全体および関心領域の画像に対する特徴量を算出して取得する第１の特徴量取得部（第１の特徴量取得手段）６０と、症例画像セットを構成する画像のうち撮影モダリティが画像Ｓ１，Ｓ２と同じである画像に対する特徴量を取得する第２の特徴量取得部（第２の特徴量取得手段）７０と、画像Ｓ１，Ｓ２からなる画像セットＳＳに係る特徴量と症例画像セットに係る特徴量とを比較して、両画像セット間の総合的な類似度ＬＴを算出する類似度算出部（類似度算出手段）８０と、症例データベース１０から上記総合的な類似度ＬＴが高い順に上位所定数に含まれる症例画像セットとその診断データを検索する検索部（検索手段）９０と、検索部９０による検索結果を表す検索結果情報を出力する出力部（出力手段）１００と、出力部１００により出力された検索結果情報をモニタ画面上に表示する表示部１１０とを備える。
【００２３】
症例データベース１０は、同じ被写体を表す撮影モダリティが異なる複数の画像を含む症例画像セットを多数記憶する画像データベース１１と、各症例画像セットに関連する診断データを記憶している診断データベース１２から構成されている。
【００２４】
画像データベース１１には、同じ被写体をＣＴ撮影装置、ＭＲＩ撮影装置、ＰＥＴ撮影装置、Ｘ線撮影装置等により撮影して得られた、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、単純Ｘ線画像等からなる一連の画像であって過去に診断されたものである症例画像セットが被写体毎や診断毎に多数記憶されている。なお、これら症例画像セットを構成する画像には、過去の診断時に行われた処理によって得られた処理結果情報が添付されている。この処理結果情報には、その画像に対して算出された種々の特徴量や画像上で設定された関心領域の位置の情報、その関心領域の画像に対して算出された特徴量等が含まれる。
【００２５】
また、診断データベース１２には、画像データベース１１に記憶されている各症例画像セットに関連する診断データが、各症例画像セットと関連付けられた状態で記憶されている。この診断データには、疾患名、診断情報、確定診断情報、治療方針、所見、担当医師名、撮影日時、経過観察情報等、診断に関する種々のデータが含まれる。なお、この診断データベース１２を構築する際には、診断データ、特に診断情報や確定診断情報を手動で登録して診断データベースに記憶させるようにしてもよいし、ＰＡＣＳや電子カルテのデータを自動的に収集する形態で記憶させるようにしてもよい。
【００２６】
画像入力部２０は、検索対象の画像となる、同じ被写体を表す撮影モダリティが異なる複数の画像Ｓ１，Ｓ２の入力を受け付けるものであり、ここでは一例として、同一患者の同一部位を表すＣＴ画像Ｓ１とＭＲＩ画像Ｓ２の入力を受け付けるものとする。
【００２７】
画像位置合せ部３０は、図２に示すように、ＣＴ撮影装置で撮影して得られた画像の標準的な濃度分布を表すＣＴ用標準濃度分布モデル画像Ｍ１（第１の標準濃度分布モデル画像）を記憶する第１の標準濃度分布モデル画像記憶部３１と、ＭＲＩ撮影装置で撮影して得られた画像の標準的な濃度分布を表すＭＲＩ用標準濃度分布モデル画像Ｍ２（第２の標準濃度分布モデル画像）を記憶する第２の標準濃度分布モデル画像記憶部３２と、ＣＴ用標準濃度分布モデル画像Ｍ１とＭＲＩ用標準濃度分布モデル画像Ｍ２間で、対応する解剖学的構造物の対応位置ＢＭ１２を記憶するモデル画像間対応位置記憶部３３と、ＣＴ画像Ｓ１とＣＴ用標準濃度分布モデル画像Ｍ１との間で、対応する解剖学的構造物を位置合せして第１の対応位置ＢＳ１を取得する第１の位置合せ部３４と、ＭＲＩ画像Ｓ２とＭＲＩ用標準濃度分布モデル画像Ｍ２間で、対応する解剖学的構造物を位置合せして第２の対応位置ＢＳ２を取得する第２の位置合せ部３５と、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２間の解剖学的構造物の対応位置Ｂ１２を、ＣＴ用標準濃度分布モデル画像Ｍ１とＭＲＩ用標準濃度分布モデル画像Ｍ２間の対応位置ＢＭ１２と第１の対応位置ＢＳ１と第２の対応位置ＢＳ２とから求める対応位置取得部３６とから構成される。
【００２８】
ＣＴ画像Ｓ１、ＭＲＩ画像Ｓ２、ＣＴ用標準濃度分布モデル画像Ｍ１、ＭＲＩ用標準濃度分布モデル画像Ｍ２は、多数のボクセルデータからなるボリュームデータであり、ボクセルデータごとに濃度値の情報を保持し、骨や臓器などの解剖学的構造物がボクセルデータの濃淡で表わされる。
【００２９】
標準濃度分布モデル画像は、過去撮影された多数のＣＴ画像やＭＲＩ画像に基づいて、健常者が標準的な体型で内臓などの組織が標準的な大きさや位置に存在する解剖学的な構造物を、標準的な濃度値の分布で表したモデル画像である。撮影されたモダリティによって各画像に現れる濃度値も異なるため、ＣＴ撮影装置で撮影した際に画像上に表れる標準的な濃度値で表したＣＴ用標準濃度分布モデル画像Ｍ１と、ＭＲＩ撮影装置で撮影した際に画像上に表れる標準的な濃度値で表したＭＲＩ用標準濃度分布モデル画像Ｍ２を用意する。
【００３０】
これらの標準濃度分布モデル画像は、過去撮影された多数の画像から、各臓器の平均的な位置や濃度値を取得することが可能である。また、標準濃度分布モデル画像に含まれる各ボクセルデータがどの解剖学的構造物（骨、内臓、脂肪など）に属するかがわかるように生成されたモデル画像が好ましい。例えば、ＣＴ用標準度分布モデル画像Ｍ１（CT_Model）に座標値（ｘ，ｙ，ｚ）を与えると、下式(1)、(2)に表すように濃度値や組織名がわかるように第１の標準濃度分布モデル画像記憶部３１に記憶する。
【００３１】
濃度値 CT_Model_intensity(x,y,z) ＝ 100 (1)
組織名 CT_Model_tissue(x,y,z) ＝ 肝臓 (2)
同様に、ＭＲＩ用標準濃度分布モデル画像Ｍ２（MRI_Model）に座標値（ｘ，ｙ，ｚ）を与えると、下式(3)、(4)に表すように濃度値や組織名がわかるように第２の標準濃度分布モデル画像記憶部３２に記憶する。
【００３２】
濃度値 MRI_Model_intensity(x',y',z') ＝ 80 (3)
組織名 MRI_Model_tissue(x',y',z') ＝ 肝臓 (4)
モデル画像間対応位置記憶部３３には、予めＣＴ用標準濃度分布モデル画像Ｍ１とＭＲＩ用標準濃度分布モデル画像Ｍ２の解剖学的構造物の対応位置ＢＭ１２を、各ボクセルデータごとに対応させて記憶する。つまり、下式(5)で表されるような関係を予め求めておく。
【００３３】
CT_Model(x,y,z) ＝ MRI_Model(x',y',z') (5)
この対応位置は手動で求めておいてもよい。
【００３４】
ここで、画像位置合せ部３０による位置合せ方法について説明する。
【００３５】
まず、第１の位置合せ部３４で、ＣＴ画像S1とＣＴ用標準濃度分布モデル画像Ｍ１との位置合せを行い、第１の対応位置ＢＳ１を取得する。同一の撮影モダリティで撮影された画像は、画像上に写った臓器や組織などの解剖学的構造物の濃度分布が似ているため、異なる撮影モダリティで撮影された画像の位置合せよりも精度のよい位置合せができる。
【００３６】
例えば、ＣＴ画像Ｓ１の画素値に基づいて体表を認識して、第１の標準度分布モデル画像記憶部３１に記憶されているＣＴ用標準濃度分布モデル画像Ｍ１の体表の形状が略一致するように、ワーピングなどの手法を用いて位置合せを行い、第１の対応位置ＢＳ１を取得する。
【００３７】
このようにして、ＣＴ画像Ｓ１（CT_Data）とＣＴ用標準濃度分布モデル画像Ｍ１との間については、下式(6)のような第１の対応位置ＢＳ１が得られる。
【００３８】
CT_Model(x1,y1,z1) ＝ CT_Data(x,y,z) (6)
同様にして、第２の位置合せ部３５で、ＭＲＩ画像Ｓ２（MRI_Data）と第２の標準濃度分布モデル画像記憶部３２に記憶されているＭＲＩ用標準濃度分布モデル画像Ｍ２とを位置合せして、下式(7)のような第２の対応位置ＢＳ２を得る。
【００３９】
MRI_Model(x2,y2,z2) ＝ MRI_Data(x',y',z') (7)
対応位置取得部３６は、上式(5),(6),(7)からＣＴ画像Ｓ１の座標値（ｘ，ｙ，ｚ）と対応するＭＲＩ画像Ｓ２の座標値（ｘ'，ｙ'，ｚ'）を得ることができる。これを全てのボクセルデータについて求めることにより、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２の位置合せを行い、これらの画像間の対応位置関係Ｂ１２を得る。
【００４０】
関心領域指定部４０は、検索対象のＣＴ画像Ｓ１またはＭＲＩ画像Ｓ２上で関心領域を指定するものであり、オペレータが、表示部１１０のモニタ画面上に表示された画像を見ながらその画像上で、例えば病変と疑われるような部分を、マウス等の不図示の位置指示手段を用いて指定する。
【００４１】
対応関心領域決定部５０は、関心領域指定部４０によりＣＴ画像Ｓ１またはＭＲＩ画像の一方の画像上で関心領域が指定されると、その一方の画像上の関心領域に対応する他方の画像上の領域をその他方の画像上の関心領域として、画像位置合せ部３０により取得されたＣＴ画像Ｓ１とＭＲＩ画像Ｓ２間の対応位置関係Ｂ１２に基づいて決定するものであり、例えば、ＣＴ画像Ｓ１上に関心領域Ｒ１が指定された場合には、この関心領域Ｒ１に相当する被写体部分と同じ被写体部分を表すＭＲＩ画像Ｓ２上の領域が自動的に関心領域Ｒ２として決定される。
【００４２】
一般的に、オペレータは、診断対象の画像の中で病変と疑われる部分を見つけた場合には、その部分を関心領域として指定し、その関心領域の画像の特徴量を用いて類似度を算出させたいと考える場合が想定され、診断対象となる画像が複数ある場合には、それら複数の画像上の同じ被写体部分をそれぞれ関心領域として設定することが考えられる。このような場合、上述のように１回の指定だけで複数の画像上の同じ被写体部分がそれぞれ関心領域として設定されれば、オペレータへの負担が軽減される。
【００４３】
第１の特徴量取得部６０は、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２に対する特徴量Ｃ１を算出して取得するものであり、この特徴量としては、例えば、画像中に表れている陰影の、形状、大きさ、濃淡パターン特性、位置、方向、数や、画像全体の濃淡パターン特性、構造物（肺、心臓など）の形状や大きさなどを表す指標値等が挙げられる。なお、ＣＴ画像Ｓ１上に関心領域Ｒ１が設定されている場合や、ＭＲＩ画像Ｓ２上に関心領域Ｒ２が設定されている場合には、それら関心領域の画像中に表れている陰影の、形状、大きさ、濃淡パターン特性等を表す指標値も特徴量として算出する。
【００４４】
第２の特徴量取得部７０は、症例画像セットを構成する画像のうち撮影モダリティがＣＴ画像Ｓ１、ＭＲＩ画像Ｓ２と同じである画像、すなわち、撮影モダリティが「ＣＴ撮影装置」「ＭＲＩ撮影装置」である画像に対する特徴量Ｃ２を取得するものであり、症例画像セットを構成する画像に添付された処理結果情報の中に、その画像に対して既に算出された種々の特徴量や画像上で設定された関心領域の画像に対して算出された特徴量等が含まれているときには、それらの特徴量を読み込んで取得し、このような特徴量が含まれていないときには、新たに特徴量を算出して取得するものである。
【００４５】
類似度算出部８０は、第１の特徴量取得部６０により取得された特徴量、すなわち、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２からなる画像セットＳＳに係る特徴量Ｃ１と、第２の特徴量取得部７０により取得された特徴量、すなわち、症例画像セットに係る特徴量Ｃ２とを比較して、両画像セット間の総合的な類似度ＬＴを算出するものであり、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２からなる画像セットＳＳと症例画像セットとの間で撮影モダリティが同じである画像同士の組合せ毎に、当該組合せを構成する両画像における特徴量を互いに比較して当該両画像間の類似度Ｌ１，Ｌ２を算出するモダリティ別類似度算出部（撮影装置別類似度算出手段）８１と、上記組合せ毎に算出された類似度Ｌ１，Ｌ２からなる複数の類似度を用いて、総合的な類似度ＬＴを算出する総合類似度算出部（総合類似度算出手段）８２から構成されている。
【００４６】
モダリティ別類似度算出部８１は、具体的には、画像セットＳＳと症例画像セットとの間において、撮影モダリティが「ＣＴ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出し、また、撮影モダリティが「ＭＲＩ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出するものである。ここで、類似度の算出方法としては公知である種々の方法が考えられるが、例えば、２つの画像について取得された各特徴量群を多次元の特徴量空間上の点で表し、この２点間のユークリッド距離が小さいほど類似度が高くなり、逆にこの距離が大きいほど類似度が小さくなるような所定の式により類似度を算出する方法が考えられる。
【００４７】
また、総合類似度算出部８２は、例えば、モダリティ別類似度算出部８１により算出された類似度Ｌ１とＬ２を所定の重み係数を用いて加算したり、積をとったりすることにより、画像セットＳＳと症例画像セットとの間の総合的な類似度ＬＴを算出するものである。
【００４８】
検索部９０は、画像データベース１１に記憶されている多数の症例画像セットのうち上記総合的な類似度ＬＴが高い順に上位所定数に含まれる症例画像セットを類似画像セットＬＳとして画像データベース１１の中から検索するとともに、その類似画像セットに関連する診断データを診断データベース１２の中から検索するものである。なお、ここでは、検索部９０は、総合的な類似度ＬＴが高い順に上位４つに含まれる症例画像セットを類似画像セットＬＳとして検索するものとする。
【００４９】
次に、以上のように構成された本実施形態の類似画像検索システムの作用について説明する。図３は、本実施形態による類似画像検索システムにおける処理フローを示す図である。
【００５０】
まず、画像入力部２０が、診断対象となる、ある被写体のＣＴ画像Ｓ１と同じ被写体のＭＲＩ画像Ｓ２の入力を受け付け、表示部１１０がこれらのＣＴ画像Ｓ１とＭＲＩ画像Ｓ２をモニタ画面上に表示する（ステップＳＴ１）。
【００５１】
図４は、診断対象となる、ある被写体の胸部のＣＴ画像Ｓ１と同じ被写体の胸部のＭＲＩ画像Ｓ２を示したものである。ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２の左肺部分には腫瘤陰影と疑われる円形の陰影Ｑが表れている。
【００５２】
そして、画像位置合せ部３０が、上述の処理により、ＣＴ画像Ｓ１とＭＲＩ画像Ｓ２の間でその被写体の位置合せを行ってＣＴ画像Ｓ１，ＭＲＩ画像Ｓ２間の対応位置関係Ｂ１２を取得する（ステップＳＴ２）。
【００５３】
ここで、オペレータが、表示部１１０のモニタ画面上に表示されているＣＴ画像Ｓ１またはＭＲＩ画像Ｓ２の一方の画像に対し、病変部と疑われる領域を指定すると、関心領域指定部４０が、その指定された領域をその一方の画像上の関心領域として設定し（ステップＳＴ３）、対応関心領域決定部５０が、対応位置関係Ｂ１２に基づいて、その一方の画像上で指定された領域に対応する他方の画像上の領域をその他方の画像上の関心領域として決定する（ステップＳＴ４）。
【００５４】
図５は、オペレータが、ＣＴ画像Ｓ１またはＭＲＩ画像Ｓ２の一方の画像上で病変部と疑われる陰影Ｑを囲む領域を関心領域として指定し、他方の画像上にも対応する領域が関心領域として指定された様子を示したものであり、ＣＴ画像Ｓ１上に関心領域Ｒ１、ＭＲＩ画像Ｓ２上に関心領域Ｒ２がそれぞれ設定されている。
【００５５】
ここで、オペレータが、画面上に設けられた「類似画像検索ボタン」をクリックすると、第１の特徴量取得部６０が、ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２に対する特徴量と関心領域Ｒ１の画像および関心領域Ｒ２の画像に対する特徴量とを含む特徴量Ｃ１を算出して取得する（ステップＳＴ５）。
【００５６】
第１の特徴量取得部６０により、ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２からなる画像セットＳＳに係る特徴量が取得されると、第２の特徴量取得部７０が、画像データベース１１に記憶されている症例画像セット毎に、症例画像セットを構成する画像のうち撮影モダリティがＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２と同じである画像、すなわち、撮影モダリティが「ＣＴ撮影装置」「ＭＲＩ撮影装置」である画像を特定し、これらの画像に添付された処理結果情報の中に、その画像に対して既に算出された種々の特徴量や画像上で設定された関心領域の画像に対して算出された特徴量等が含まれているときには、それらの特徴量を読み込んで取得し、このような特徴量が含まれていないとき、あるいは取得したい特徴量が足りないときには必要な特徴量を新たに算出して、症例画像セットの特徴量Ｃ２を取得する（ステップＳＴ６）。
【００５７】
ＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２からなる画像セットＳＳに係る特徴量Ｃ１と、画像データベース１１に記憶されている各症例画像セットに係る特徴量Ｃ２が取得されると、モダリティ別類似度算出部８１は、画像セットＳＳと各症例画像セットとの間において、撮影モダリティが「ＣＴ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出し、また、撮影モダリティが「ＭＲＩ撮影装置」である画像同士の組合せに対して、この組合せを構成する両画像について取得された特徴量同士を比較して、この組合せに対する類似度Ｌ１を算出する（ステップＳＴ７）。そして、総合類似度算出部８２は、各症例画像セットについて、モダリティ別類似度算出部８１により算出された類似度Ｌ１とＬ２を、所定の重み係数を用いて加算することにより、画像セットＳＳと症例画像セットとの間の総合的な類似度ＬＴを算出する（ステップＳＴ８）。
【００５８】
各症例画像セットに対する総合的な類似度ＬＴが算出されると、検索部９０は、画像データベース１１に記憶されている多数の症例画像セットのうち上記総合的な類似度ＬＴが高い順に上位４つに含まれる症例画像セットを類似画像セットＬＳとして画像データベース１１の中から検索するとともに、その類似画像セットＬＳに関連する診断データを診断データベース１２の中から検索する（ステップＳＴ９）。そして、出力部１００が、その検索結果を表す検索結果情報、例えば、その類似画像セットＬＳとそれに関連する診断データとを表すデータファイル名やその類似画像セットＬＳの画像データや診断データそのものを出力し（ステップＳＴ１０）、表示部１１０が、その類似画像セットＬＳの画像データとそれに関連する診断データとを表すデータファイル名をモニタ画面上に表示したり、その画像データが表す画像や診断データが表す診断情報等をモニタ画面上に表示したりする。
【００５９】
図６は、類似画像検索が行われた後の表示部１１０のモニタ画面の例を示すものである。モニタ画面上には、左上部にＣＴ画像Ｓ１およびＭＲＩ画像Ｓ２、右上部に検索された４つの類似画像セットＬＳのサムネイル画像、左下部に類似画像セットＬＳのうち選択された１つの類似画像セットＬＳ１の拡大画像、右下部には拡大画像である類似画像セットのうち選択された画像に関連する診断データ（診断レポート）ＲＰＭ１がそれぞれ表示されている。
【００６０】
オペレータは、所望のサムネイル画像をクリックすることで、その画像の拡大画像を更新して表示させることができ、また、拡大表示された類似画像セットのうちいずれかの画像をクリックすると、その画像に対する診断レポートを更新して表示させることができる。
【００６１】
このように、本実施形態の類似画像検索システムによれば、同じ被写体を表す複数の画像Ｓ１，Ｓ２の入力を受け付け、これら複数の画像Ｓ１，Ｓ２間で位置合せをして当該画像間の対応位置関係Ｂ１２を取得し、これら複数の画像Ｓ１、Ｓ２のうち１つの画像上で関心領域の指定を受け付け、この指定された関心領域に対応する他の画像上の領域を他の画像上の関心領域として、当該画像間の対応位置関係Ｂ１２に基づいて決定し、入力された複数の画像Ｓ１，Ｓ２に対する特徴量であって関心領域の画像の特徴量を含むものを算出し、一方、画像データベース１１に記憶されている画像に対して同様の特徴量を取得し、上記入力された複数の画像Ｓ１，Ｓ２に係る特徴量と画像データベースに記憶されている画像に係る特徴量とを比較して、画像データベース１１に記憶されている画像の中から、入力された複数の画像Ｓ１，Ｓ２にそれぞれ類似する画像を検索し、その検索結果を出力するようにしているので、診断対象となるいずれかの画像上で関心領域を一度指定するだけで、他の画像上にも対応する関心領域を設定することができ、診断対象となる複数の画像Ｓ１，Ｓ２上で同一被写体部分を囲む関心領域Ｒ１，Ｒ２をそれぞれ設定し、それら関心領域Ｒ１，Ｒ２の画像の特徴に基づいて、診断対象となる複数の画像Ｓ１，Ｓ２に類似した過去の症例に係る類似画像を検索する際に、関心領域の設定をより簡便にし、オペレータへの負担を軽減することが可能となる。
【００６２】
また、本実施形態によれば、診断対象となる複数の画像Ｓ１，Ｓ２に類似した類似画像だけでなく、その類似画像に関連する診断データをも出力するようにしているので、医師等のオペレータが画像の読影時に診断に迷ったときに有効な診断支援情報を提供することができる。
【００６３】
なお、本実施形態では、検索対象となる複数の画像を、撮影モダリティが異なる複数の画像とし、これら複数の画像を、「ＣＴ撮影装置（単純）」と「ＭＲＩ撮影装置」の２種類の画像として説明したが、撮影モダリティが「ＣＴ撮影装置（単純）」、「ＣＴ撮影装置（造影剤入り）」、「ＭＲＩ撮影装置」、「ＲＩ撮影装置」、「ＰＥＴ撮影装置」など３種類以上の場合であっても同様に類似画像検索を行うことができる。この場合、すべての撮影モダリティの画像を検索対象として検索してもよいし、そのうちの２種類以上の撮影モダリティの画像を検索対象として選択するようにしてもよい。また、検索して得られた類似画像セットＬＳについては、検索に用いた撮影モダリティの画像のみを画面に表示するようにしてもよいし、類似画像セットＬＳを構成するすべての画像を画面に表示するようにしてもよい。
【００６４】
また、検索対象となる複数の画像は、経過観察のために時間をおいて取得された同じ撮影モダリティの画像（時系列画像）であってもよい。このようにすれば、同じ被写体に対して多数（例えば１０〜２０程度）の時系列画像が存在し、それらすべての画像について関心領域を設定し、その関心領域の画像の特徴に基づいてそれらすべての画像に対する類似画像をそれぞれ検索するような場合であっても、そのうちの１つの画像上で関心領域を設定すればよく、非常に効率がよい。
【００６５】
また、本実施形態では、第１の特徴量取得部６０および第２の特徴量取得部７０は、予め決められた所定の種類の特徴量を取得することを想定しているが、例えば、複数の特徴量の種類のうち幾つかの種類を選択するための選択手段を備えるようにし、その選択手段により選択された種類の特徴量のみを取得するようにしてもよい。
【００６６】
また、本実施形態では、診断対象となる複数の画像に類似する画像を画像セット単位で検索するようにしているが、この複数の画像に類似する画像を別々に検索するようにしてもよい。すなわち、ＣＴ画像Ｓ１に類似する画像とＭＲＩ画像Ｓ２に類似する画像とを別々に検索するようにしてもよい。
【図面の簡単な説明】
【００６７】
【図１】本実施形態による類似画像検索システムの構成図
【図２】画像位置合せ部３０の構成図
【図３】本実施形態による類似画像検索システムにおける処理フローを示す図
【図４】診断対象かつ検索対象となる、同じ被写体を表す撮影モダリティが異なる画像を示す図
【図５】検索対象となる２つの画像上で関心領域がそれぞれ設定された様子を示す図
【図６】検索結果の表示例を示す図
【符号の説明】
【００６８】
１０ 症例データベース
１１ 画像データベース
１２ 診断データベース
２０ 画像入力部
３０ 画像位置合せ部
３１ 第１の標準濃度分布モデル画像記憶部
３２ 第２の標準濃度分布モデル画像記憶部
３３ モデル画像間対応位置記憶部
３４ 第１の位置合せ部
３５ 第２の位置合せ部
３６ 対応位置取得部
４０ 関心領域指定部
５０ 対応関心領域決定部
６０ 第１の特徴量取得部
７０ 第２の特徴量取得部
８０ 類似度算出部
８１ モダリティ別類似度算出部
８２ 総合類似度算出部
９０ 検索部
１００ 出力部
１１０ 表示部
【特許請求の範囲】
【請求項１】
被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベースと、
前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、
前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せ手段と、
前記第１の画像上で関心領域の指定を受け付ける関心領域指定手段と、
前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定手段と、
前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得手段と、
前記画像データベースに記憶されている前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、
前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索手段と、
該検索手段による検索結果を表す検索結果情報を出力する出力手段とを備えたことを特徴とする類似画像検索装置。
【請求項２】
前記第１および第２の撮影装置で撮影して得られた画像が、複数の解剖学的構造物を含む被写体を該第１および第２の撮影装置で撮影して得られた画像であり、
前記位置合せ手段が、
前記第１の撮影装置を用いて被写体を撮影して得られた複数の解剖学的構造物を該第１の撮影装置で撮影した際に画像上に表れる標準的な濃度値を用いて表した、第１の標準濃度分布モデル画像を記憶する第１のモデル画像記憶手段と、
前記第２の撮影装置を用いて被写体を撮影した得られた複数の解剖学的構造物を該第２の撮影装置で撮影した際に画像上に表れる標準的な濃度値を用いて表した、第２の標準濃度分布モデル画像を記憶する第２のモデル画像記憶手段と、
前記第１の標準濃度分布モデル画像と前記第１の画像との間で対応する解剖学的構造物を位置合せして得られる第１の対応位置を取得する第１の位置合せ手段と、
前記第２の標準濃度分布モデル画像と前記第２の画像との間で対応する解剖学的構造物を位置合せして得られる第２の対応位置を取得する第２の位置合せ手段と、
前記第１の画像と前記第２の画像との間で対応する解剖学的構造物の対応位置を、前記第１の標準濃度分布モデル画像と前記第２の標準濃度分布モデル画像間の対応する解剖学的構造物の対応位置と、前記第１の対応位置と、前記第２の対応位置とから求める対応位置取得手段とを備えたものであることを特徴とする請求項１記載の類似画像検索装置。
【請求項３】
前記画像データベースに記憶されている画像に関連する診断データを記憶している診断データベースをさらに備え、
前記検索手段が、検索された類似画像に関連する診断データを前記診断データベースの中からさらに検索するものであり、
前記出力手段が、検索された診断データを、関連する類似画像とともに検索結果情報として出力するものであることを特徴とする請求項１または２記載の類似画像検索装置。
【請求項４】
被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力ステップと、
前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せステップと、
前記第１の画像上で関心領域の指定を受け付ける関心領域指定ステップと、
前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定ステップと、
前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得ステップと、
前記被写体と同種の被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベース中の前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得ステップと、
前記第１の特徴量取得ステップにより取得された特徴量と、前記第２の特徴量取得ステップにより取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索ステップと、
該検索ステップによる検索結果を表す検索結果情報を出力する出力ステップとを有することを特徴とする類似画像検索方法。
【請求項５】
コンピュータを、
被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベースと、
前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、
前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せ手段と、
前記第１の画像上で関心領域の指定を受け付ける関心領域指定手段と、
前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定手段と、
前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得手段と、
前記画像データベースに記憶されている前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、
前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索手段と、
該検索手段による検索結果を表す検索結果情報を出力する出力手段として機能させることにより、該コンピュータを類似画像検索装置として機能させることを特徴とするプログラム。
【請求項１】
被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベースと、
前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、
前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せ手段と、
前記第１の画像上で関心領域の指定を受け付ける関心領域指定手段と、
前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定手段と、
前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得手段と、
前記画像データベースに記憶されている前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、
前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索手段と、
該検索手段による検索結果を表す検索結果情報を出力する出力手段とを備えたことを特徴とする類似画像検索装置。
【請求項２】
前記第１および第２の撮影装置で撮影して得られた画像が、複数の解剖学的構造物を含む被写体を該第１および第２の撮影装置で撮影して得られた画像であり、
前記位置合せ手段が、
前記第１の撮影装置を用いて被写体を撮影して得られた複数の解剖学的構造物を該第１の撮影装置で撮影した際に画像上に表れる標準的な濃度値を用いて表した、第１の標準濃度分布モデル画像を記憶する第１のモデル画像記憶手段と、
前記第２の撮影装置を用いて被写体を撮影した得られた複数の解剖学的構造物を該第２の撮影装置で撮影した際に画像上に表れる標準的な濃度値を用いて表した、第２の標準濃度分布モデル画像を記憶する第２のモデル画像記憶手段と、
前記第１の標準濃度分布モデル画像と前記第１の画像との間で対応する解剖学的構造物を位置合せして得られる第１の対応位置を取得する第１の位置合せ手段と、
前記第２の標準濃度分布モデル画像と前記第２の画像との間で対応する解剖学的構造物を位置合せして得られる第２の対応位置を取得する第２の位置合せ手段と、
前記第１の画像と前記第２の画像との間で対応する解剖学的構造物の対応位置を、前記第１の標準濃度分布モデル画像と前記第２の標準濃度分布モデル画像間の対応する解剖学的構造物の対応位置と、前記第１の対応位置と、前記第２の対応位置とから求める対応位置取得手段とを備えたものであることを特徴とする請求項１記載の類似画像検索装置。
【請求項３】
前記画像データベースに記憶されている画像に関連する診断データを記憶している診断データベースをさらに備え、
前記検索手段が、検索された類似画像に関連する診断データを前記診断データベースの中からさらに検索するものであり、
前記出力手段が、検索された診断データを、関連する類似画像とともに検索結果情報として出力するものであることを特徴とする請求項１または２記載の類似画像検索装置。
【請求項４】
被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力ステップと、
前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せステップと、
前記第１の画像上で関心領域の指定を受け付ける関心領域指定ステップと、
前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定ステップと、
前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得ステップと、
前記被写体と同種の被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベース中の前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得ステップと、
前記第１の特徴量取得ステップにより取得された特徴量と、前記第２の特徴量取得ステップにより取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索ステップと、
該検索ステップによる検索結果を表す検索結果情報を出力する出力ステップとを有することを特徴とする類似画像検索方法。
【請求項５】
コンピュータを、
被写体を第１の撮影装置で撮影して得られた画像と、前記被写体と同種の被写体を第２の撮影装置で撮影して得られた画像とを多数記憶する画像データベースと、
前記被写体と同種の被写体を前記第１の撮影装置で撮影して得られた第１の画像と該第１の画像と同一の被写体を前記第２の撮影装置で撮影して得られた第２の画像の入力を、検索対象として受け付ける画像入力手段と、
前記第１および第２の画像間で被写体を位置合せして該画像間の対応位置関係を取得する位置合せ手段と、
前記第１の画像上で関心領域の指定を受け付ける関心領域指定手段と、
前記第１の画像上で指定された関心領域に対応する前記第２の画像上の領域を該第２の画像上の関心領域として、該画像間の前記対応位置関係に基づいて決定する対応関心領域決定手段と、
前記第１および第２の画像に対する特徴量であって該画像上の関心領域の画像の特徴量を含むものを算出して取得する前記第１の特徴量取得手段と、
前記画像データベースに記憶されている前記第１および第２の撮影装置で撮影して得られた画像に対する特徴量を取得する第２の特徴量取得手段と、
前記第１の特徴量取得手段により取得された特徴量と、前記第２の特徴量取得手段により取得された特徴量とを比較して、前記画像データベースに記憶されている画像の中から、前記第１の画像に類似する前記第１の撮影装置で撮影して得られた画像と、前記第２の画像に類似する前記第２の撮影装置で撮影して得られた画像とを検索する検索手段と、
該検索手段による検索結果を表す検索結果情報を出力する出力手段として機能させることにより、該コンピュータを類似画像検索装置として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００７−２７５２１６（Ｐ２００７−２７５２１６Ａ）
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願番号】特願２００６−１０３９５２（Ｐ２００６−１０３９５２）
【出願日】平成１８年４月５日（２００６．４．５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成１９年１０月２５日（２００７．１０．２５）
【国際特許分類】
【出願日】平成１８年４月５日（２００６．４．５）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]