症例検索装置、方法およびプログラム
【課題】症例検索で疾患が網羅的にリストアップされるようにする。
【解決手段】症例画像がそもそも症例テーブルに登録されていないような疾患分類についても、それに対応する典型特徴量を疾患テーブルに登録しておき、任意のクエリー画像の特徴量に類似する症例画像の特徴量に対応する疾患分類および典型特徴量に対応する疾患分類をそれぞれ症例テーブルおよび疾患テーブルから検索し、クエリー画像に関係する疾患分類を網羅的に検索できる。
【解決手段】症例画像がそもそも症例テーブルに登録されていないような疾患分類についても、それに対応する典型特徴量を疾患テーブルに登録しておき、任意のクエリー画像の特徴量に類似する症例画像の特徴量に対応する疾患分類および典型特徴量に対応する疾患分類をそれぞれ症例テーブルおよび疾患テーブルから検索し、クエリー画像に関係する疾患分類を網羅的に検索できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、診断対象画像から抽出した特徴量に基づいてその診断対象画像と関係する症例を検索する技術に関する。
【背景技術】
【０００２】
特許文献１は、画像データ入力手段が、被写体画像中に設定されたＲＯＩの画像データＰ′を入力し、検索手段が、入力されたＲＯＩ画像データＰ′と画像の特性が類似している部分を有する類似画像データとその類似画像データに関連する診断データを症例データベースから検索して読み込む。検索手段は、選択手段により選択された類似判定項目について類似性を判定して検索を行う。出力手段が、検索手段による検索結果を表す検索結果情報を表示手段に出力し表示手段が検索結果をモニタに表示させる。
【０００３】
特許文献２は、電子化された医学書を格納したデータベースの検索システムの一例である。一般に電子医学書とは、医学書を電子化することによりコンピュータ上で閲覧できるようにされているコンテンツである。症例データベースの各症例データには、関連する電子医学書の情報を参照できるハイパーリンクなどのデータを対応づけることがある。
【０００４】
特許文献３および４は、階層化された医用データベースの一例である。
【０００５】
特許文献５は、医用情報を分類してデータベースに登録する一例である。
【０００６】
特許文献６は注目領域の位置情報をもとに病変領域を抽出する技術の一例である。
【０００７】
特許文献７は典型的な形状、色、大きさなどの特徴量をもつ病変部の画像データなどを含む症例情報に基づいてカプセル内視鏡の制御コマンドを生成する。症例情報は、過去の診断によって培われた膨大なデータの中から、代表的なデータを選出したものであるとする。
【０００８】
特許文献８によると、参照画像準備支援装置は、複数枚の医用画像を保管するデータベースと、検査すべき検査医用画像を入力する画像収集装置と、検査医用画像および複数枚の医用画像の各画像について異常の種類を検出し、検査医用画像と同じ異常の種類の医用画像を選択し、選択された医用画像を検査医用画像と共に表示するワークステーションとを具備し、オペレータが介在することなく読影の参照にすべき過去の画像や典型的な症例画像を準備し、読影に備えることができるとする。
【０００９】
非特許文献１は関心領域中の画像特徴量の算出技術の一例である。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００４−５３６４号公報
【特許文献２】特開２００４−１１８５６６号公報
【特許文献３】特開２００７−１０５４６１号公報
【特許文献４】特開２００４−１８５３３０号公報
【特許文献５】特開２００４−３３４６４７号公報
【特許文献６】特開２００８−２４５７１９号公報
【特許文献７】特開２００８−２３７６３９号公報
【特許文献８】特開２００１−１８７０４４号公報
【非特許文献】
【００１１】
【非特許文献１】クーツ、エドワーズ、テイラー、「動的見えモデル」、第５回計算機視覚欧州会議報、ドイツ、シュプリンガー、１９９８年、第２巻４８４−４９８頁（T. F. Coootes, G. J. Edwards, C. J. Taylor “Active Appearance Models”, In Proc. 5th European Conference on Computer Vision, Springer）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
症例ＤＢに多くの症例がまだ登録されていない場合や、多く登録されていても珍しくて画像がない疾患など、症例ＤＢに画像がない疾患が存在する場合、網羅的に存在すべき疾患が類似画像検索でリストアップされないという問題が生じる。類似画像検索の結果を参考に診断を行う場合、疾患に抜けがあると、検索結果から抜けた疾患がある可能性を検討せずに診断結果を出してしまうことにつながる。本発明は、症例検索で疾患が網羅的にリストアップされることを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係る症例検索装置は、クエリー画像を入力するクエリー画像入力部と、クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、症例画像と症例画像の特徴量と疾患分類とを対応づけて記憶する第１のテーブルと、第１のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と疾患分類に対応する典型特徴量とを記憶する第２のテーブルと、クエリー画像特徴量算出部の算出したクエリー画像の特徴量と第１のテーブルの特徴量とを比較することで、クエリー画像の特徴量に類似する第１のテーブルの特徴量である第１の類似特徴量を検索するとともに、クエリー画像の特徴量と第２のテーブルの典型特徴量とを比較することで、クエリー画像の特徴量に類似する第２のテーブルの典型特徴量である第２の類似特徴量を検索する検索部と、第１のテーブルにおいて第１の類似特徴量に対応する症例画像および疾患分類を出力する第１の出力部と、第２のテーブルにおいて第２の類似特徴量に対応する画像無し疾患分類を出力する第２の出力部と、を備える。
【００１４】
好ましくは、症例画像を入力して入力された症例画像の特徴量を算出する算出部と、症例画像と算出部の算出した症例画像の特徴量と症例画像の疾患分類とを対応づけて第１のテーブルに登録する第１の登録部と、を備える。
【００１５】
好ましくは、画像無し疾患分類と典型特徴量とを入力して第２のテーブルに登録する第２の登録部を備える。
【００１６】
好ましくは、症例画像の登録されていない疾患分類を検出する画像無し疾患分類検出部を備え、第２の登録部は、画像無し疾患分類検出部の検出した症例画像の登録されていない疾患分類に対応する典型特徴量を入力し、入力した典型特徴量と疾患分類とを対応づけて第２のテーブルに登録する。
【００１７】
好ましくは、画像無し疾患分類検出部は、症例画像が登録されていないことが検出された疾患分類を示すフラグを疾患分類と対応づけて登録する。
【００１８】
好ましくは、画像無し疾患分類検出部は、第１の登録部により第１のテーブルの症例画像が追加または削除されるごとに症例画像に対応するフラグを更新する。
【００１９】
好ましくは、検索部は、操作装置から入力された選択指示に応じ、クエリー画像の特徴量と第１のテーブルの特徴量とを比較することで、クエリー画像の特徴量に類似する第１のテーブルの特徴量である第１の類似特徴量を検索する第１の検索パターンおよび／またはクエリー画像の特徴量と第２のテーブルの典型特徴量とを比較することで、クエリー画像の特徴量に類似する第２のテーブルの特徴量である第２の類似特徴量を検索する第２の検索パターンを実施する。
【００２０】
好ましくは、検索部は、所定の電子医学書データベースの症例画像の特徴量とクエリー画像の特徴量とを比較することで、クエリー画像の特徴量に類似する電子医学書データベースの症例画像の特徴量である第３の類似特徴量を検索し、第１の出力部は、電子医学書データベースにおいて第３の類似特徴量に対応する症例画像および疾患分類を出力し、第２の出力部は、電子医学書データベースにおいて第３の類似特徴量に対応する疾患分類を出力する。
【００２１】
第１の出力部は、操作装置への指示に応じて、症例画像の出力を開始または停止する。
【００２２】
本発明に係る症例検索方法は、コンピュータが、クエリー画像を入力するステップと、入力したクエリー画像の特徴量を算出するステップと、症例画像と症例画像の特徴量と疾患分類とを対応づけて第１のテーブルに記憶するステップと、第１のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と疾患分類に対応する典型特徴量とを第２のテーブルに記憶するステップと、算出したクエリー画像の特徴量と第１のテーブルの特徴量とを比較することで、クエリー画像の特徴量に類似する第１のテーブルの特徴量である第１の類似特徴量を検索するとともに、クエリー画像の特徴量と第２のテーブルの典型特徴量とを比較することで、クエリー画像の特徴量に類似する第２のテーブルの典型特徴量である第２の類似特徴量を検索するステップと、第１のテーブルにおいて第１の類似特徴量に対応する症例画像および疾患分類を出力するステップと、第２のテーブルにおいて第２の類似特徴量に対応する画像無し疾患分類を出力するステップと、を実行する。
【００２３】
この症例検索方法をコンピュータに実行させるための症例検索プログラムも本発明に含まれる。
【発明の効果】
【００２４】
本発明によると、症例画像がない疾患分類でも、それに対応する典型特徴量に基づいてクエリー画像に関係するの疾患分類を検索でき、疾患分類の検索範囲と結果提示範囲が網羅的になる。
【図面の簡単な説明】
【００２５】
【図１】症例画像検索システムの概略構成図
【図２】症例テーブルの一例を示す図
【図３】疾患テーブルの一例を示す図
【図４】症例ＤＢの分類構造の一例を示す図
【図５】検索結果の出力例を示す図
【発明を実施するための形態】
【００２６】
図１は本発明の好ましい実施形態に係る症例画像検索システム１００の概略構成図である。このシステムは、検索系１０１および登録系１０２からなる。検索系１０１は、特徴量計算部１、類似検索部２、画像有無判定部３、画像表示部４、疾患表示部５、症例データベース（ＤＢ）１０を含む。登録系１０２は、症例登録部７、特徴量計算部８、画像無し疾患登録部９、症例データベース（ＤＢ）１０、フラグ制御部１１を含む。
【００２７】
症例画像検索システム１００は、コンピュータ（ＣＰＵ，ＲＡＭ，ＲＯＭなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの）で構成することができる。各ブロックは１つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータやロジック回路で構成し、かつそれらをネットワークやシステムバスなどのデータ通信手段で接続することでこのシステムを構成してもよい。また、特徴量計算部１、類似検索部２、画像有無判定部３、症例登録部７、特徴量計算部８、画像無し疾患登録部９、フラグ制御部１１はコンピュータおよび当該コンピュータで実行されるプログラムモジュール（ＲＯＭなどのコンピュータ読取可能な記録媒体に格納）で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。画像表示部４、疾患表示部５は表示ディスプレイ、症例ＤＢ１０はハードディスクなどの大容量記憶媒体で構成できる。
【００２８】
症例ＤＢ１０は、症例テーブルと疾患分類テーブルを格納している。図２は症例テーブルの情報、図３は疾患分類テーブルの情報の一例を示す。図では症例テーブルと疾患分類テーブルは別々に示されているが、両者は同一のテーブルに併合されていてもよい。
【００２９】
症例テーブルには、検索対象画像となる症例画像と各症例画像に対応する付随情報が格納されている。ここで、症例画像は、対応する付随情報に含まれる疾患分類情報に従い、疾患別（例えば特許文献５と同様、ＩＣＤ１０に対応した病名コード別）や所見（病変の性状）別に分類されて症例ＤＢ１０に格納されている。
【００３０】
症例ＤＢ１０には、疾患分類別に統計情報、疾患情報、電子医学書の医学情報（特定の疾患に対しては間違えられやすい疾患の疾患情報や当該疾患に関する症例画像など）がハイパーリンクなどでリンクされている。リンク情報は付随情報に含めることができる。１つの症例画像にリンクする医学情報は１つでも複数でもよい。電子医学書は症例ＤＢ１０に蓄積されていてもよいし症例ＤＢ１０とは別のデータベース（例えば特許文献２参照）に蓄積されてもよい。
【００３１】
付随情報には症例情報を含めることができる。症例情報には、画像診断名、病理診断名、所見（浸潤影、腫瘤、蜂窩肺など）、「ＣＲ」や「ＣＴ」などの撮像モダリティ情報、患者の氏名、年令、性別等の患者に関する個人情報を示す患者関連情報、登録者（担当医師名）、症例カンファレンスのあった年月日、撮像部位を示す撮像部位情報、読影医が作成した診断レポート等のテキストベースの診断情報が含まれる。
【００３２】
また、疾患別の統計情報には、例えば、下記の情報が含まれる。
・代表症例における類似度（疾患内の最高類似度）
・平均類似度
・症例ＤＢ内の該当疾患の総登録件数
・代表症例に近い症例(症例パターン)の登録件数
・症例パターンにおける特徴…主な症状
・症例パターンにおける患者の特徴…平均年齢、病歴、喫煙歴など
・全国／地域別罹患率
・その他
症例テーブルには、特徴量計算部８により各症例画像の部位から抽出された特徴量（第２の特徴量）が格納されている。ただし、症例画像自体が症例ＤＢ１０に蓄積されていれば、事後的にその症例画像を特徴量計算部８などで解析することで第２の特徴量を得ることができるから、症例ＤＢ１０に第２の特徴量を登録することが本願発明の実施にあたって常に必ず必要なのではない。症例画像は症例登録部７から特徴量計算部８に入力される。特徴量計算部８の特徴量の計算方式は、特徴量計算部１と同様である。
【００３３】
症例登録部７は、症例テーブルの情報を登録する。症例登録部７は、所望の医用撮像装置から症例画像を入力する。症例登録部７によって症例テーブルに登録される症例画像は、クエリー画像と同様に各種の医用撮像装置（ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、Ｘ線装置、ＵＳ装置、内視鏡、マンモグラフィ装置、顕微鏡用カメラなど）から得られる。また、症例登録部７によって症例テーブルに登録される付随情報は、医用撮像装置、操作装置、ネットワーク経由で接続した情報端末などから入力することができる。
【００３４】
図３に例示するように、疾患テーブルは画像無し疾患登録部９の入力した特徴量と付随情報とを対応づけて格納する。この付随情報は疾患分類を含む。また、疾患テーブルは、症例テーブルの中でどの症例画像とも対応づけられていない疾患分類または症例テーブルの中で少なくとも１つの症例画像と対応づけられている疾患分類を示す画像有無フラグを含む。
【００３５】
図２に例示するような症例テーブルでは、疾患分類「分類Ｂ」および「分類Ｄ」はどの症例画像とも対応づけられていない。そのため、疾患テーブルには、「分類Ｂ」および「分類Ｄ」に対応する画像有無フラグ「無し」が格納されている。あるいは、当該症例テーブルでは、疾患分類「分類Ａ」、「分類Ｃ」および「分類Ｅ」は何らかの症例画像と対応づけられている。そのため、「分類Ａ」、「分類Ｃ」および「分類Ｅ」に対応する画像有無フラグ「あり」が格納されている。
【００３６】
フラグ制御部１１は、症例登録部７による所望の疾患分類に対応する症例画像の症例テーブルへの登録や症例テーブルからの削除があったことに連動して、疾患テーブルの画像有無フラグの内容を更新する。
【００３７】
疾患テーブルは、画像有無フラグ「無し」の疾患分類に、当該疾患分類における症例画像の典型特徴量を対応づけて格納している。この典型特徴量は、画像無し疾患登録部９から入力される。この典型特徴量は、類似検索部２がクエリー画像の第１の特徴量と比較する第２の特徴量に含まれる。なお、疾患テーブルは、画像有無フラグ「あり」の疾患分類に、当該疾患分類における症例画像の典型特徴量を対応づけて格納してもよい。画像有無フラグが「あり」であっても、症例画像の削除により「無し」に変化する場合もあるからである。
【００３８】
図３では画像有無フラグ「あり」に対応する「分類Ａ」、「分類Ｃ」および「分類Ｅ」の各々に対応する典型特徴量、画像有無フラグ「無し」に対応する疾患分類「分類Ｂ」および「分類Ｄ」の各々に対応する典型特徴量の双方が格納されているが、画像有無フラグ「あり」に対応する「分類Ａ」、「分類Ｃ」および「分類Ｅ」の各々に対応する典型特徴量はなくてもよい。
【００３９】
また、典型特徴量に疾患分類以外の付随情報、例えば電子医学書へのリンク情報を対応づけてもよい。疾患テーブルは、症例テーブルに症例画像が登録されていない疾患分類に関する情報を提供するために用いられる。ただし、症例テーブルだけでなく電子医学書のデータベースに症例画像が登録されていない疾患分類に関する特徴量を格納してもよい。すなわち、疾患テーブルは症例画像のない電子医学書にも応用できる。
【００４０】
典型特徴量は、単なる数値であり、患者の個人情報を含まないから、他の病院や研究施設による公開の制限の程度が低く、症例画像よりも入手が容易と考えられる。
【００４１】
症例テーブルおよび疾患テーブルに含まれる個々の付随情報の個々の疾患分類は、ディレクトリ、フォルダ、パーティションのように症例ＤＢ１０に設けられた論理的な格納単位に対応する。この論理的な格納単位は、階層構造（ツリー構造）をとることができる（図４参照）。
【００４２】
各疾患分類に対応するデータセットを物理的な格納単位に格納することで分類してもよい。物理的な格納単位ごとに個別の論理的な格納単位を設けることもできる。例えば、症例ＤＢ１０とは別の物理的あるいは論理的な格納単位に、電子医学書のデータベースを構築し、その中では、症例ＤＢ１０とは異なる階層構造を構築できる。
【００４３】
症例登録部７による症例テーブルへのデータ登録のタイミング、疾患登録部９による疾患テーブルへの典型特徴量と付随情報の登録を行うタイミングは任意である。例えば、フラグ制御部１１は、まず疾患テーブルの各疾患分類に対応する画像有無フラグを全て「無し」のデフォルト値に設定しておき、その後、症例登録部７による症例テーブルへのデータ登録を許可する。これに応じてユーザは、所望の症例画像と付随情報を症例登録部７にて登録する。この登録は、ユーザの指示に基づいて行われるが、登録すべきデータのソースは任意である。症例登録部７による症例テーブルへの症例画像と付随情報の登録の開始から所定時間が経過したが、依然としてある疾患分類に対応する画像有無フラグが「無し」の場合、疾患登録部９により疾患テーブルへ当該疾患分類に対応する典型症例および付随情報の登録を開始する。
【００４４】
あるいは、先に疾患登録部９により、網羅的な疾患分類と典型特徴量の疾患テーブルへの登録を行い、それらに対応する画像有無フラグはデフォルト値「無し」を登録する。その後順次症例登録部７による症例テーブルへのデータ登録を行い、症例テーブルへ登録された症例画像に対応する疾患分類の画像有無フラグをデフォルト値「無し」から「あり」に更新してもよい。
【００４５】
疾患テーブルへのデータ登録の開始は、全自動でも半自動でもよい。例えば、フラグ制御部１１は、定期的（例えば１週間おき、１月おきなど）に各疾患分類に対応する症例画像の登録数を症例ＤＢ１０から検出し、登録数が零の疾患分類が検出された場合、当該疾患分類の症例画像が零であり典型特徴量の収集が望ましい旨の警告を表示メッセージやビープ音などで出力する。それに応じて、画像無し疾患登録部９は、ユーザが操作装置で指定した任意のソースから、典型特徴量を取得して、当該疾患分類と取得された典型特徴量を対応づけて疾患テーブルへに格納する。典型特徴量に対応づけて登録する付随情報のソースは任意であり、操作装置、記録媒体読取装置、ネットワーク上のサーバなどが挙げられる。
【００４６】
症例登録部７が新規の症例画像と付随情報をそれまでに全く登録実績のなかった疾患分類に登録した場合、フラグ制御部１１は当該疾患分類に対応する画像有無フラグを「無し」から「あり」に更新する。疾患登録部９が新規の典型特徴量をそれまでに全く登録実績のなかった疾患分類に登録した場合、フラグ制御部１１は当該疾患分類に対応する画像有無フラグを「無し」のままとする。症例登録部７がユーザからの指示に応じて症例テーブルから所望の症例画像と付随情報の削除を行ってもよいが、もしある疾患分類に対応する症例画像を全て削除した場合は、フラグ制御部１１は当該疾患分類に対応する画像有無フラグを「あり」から「無し」に更新する。ある特定の疾患分類に対応する画像有無フラグが「あり」から「無し」に更新されたことに応じ、疾患登録部９による当該疾患分類に対応するデータ登録が開始されるか、開始を促す警告を出力してユーザの意思を確認し、指示があればデータ登録を開始してもよい。
【００４７】
疾患登録部９へ登録する典型特徴量データのソースは任意であり、操作装置、ネットワーク経由で接続した情報端末、ＣＤＲＯＭやＤＶＤその他の記憶媒体読取装置、あるいは電子医学書のデータベース（ただし、症例画像がなく特徴量だけが格納されているレコードの全部または一部を対象とする）などからデータを入力して登録することができる。また、ある疾患分類に対応する典型特徴量とは、当該疾患分類に対応する画像の標準的な特徴量であるが、何をもって典型特徴量とするかは任意である。例えば、学会や他の病院で収集されたある疾患分類に対応する画像の特徴量を統計処理（サンプルの単純平均、加重平均、中央値など）した値を当該疾患分類に対応する典型特徴量とする。あるいは、集めた画像サンプルから手動操作により典型的な画像を選択し、当該画像から特徴量計算部８によって抽出した特徴量をそのまま当該疾患分類に対応する典型特徴量とする。
【００４８】
特徴量計算部１は、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、Ｘ線画像（ＣＲ画像含む）、ＵＳ（超音波）画像、内視鏡画像、マンモグラフィ、病理画像などの診断対象画像（クエリー画像）を入力する。特徴量計算部１は、これらのクエリー画像と、クエリー画像のサイズや撮像日時といった付帯情報や症例情報を入力することもできる。特徴量計算部１および医療用画像診断装置の間の通信プロトコルおよびクエリー画像および付帯情報のフォーマットは、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）のような所定の規格に従っている。
【００４９】
特徴量計算部１は、入力されたクエリー画像を解析し、症例ＤＢ１０に蓄積された症例画像または疾患分類の検索に必要な特徴量（第１の特徴量）を作成する。
【００５０】
特徴量計算部１によって算出される特徴量は画像データの平均、分散、最大値、最小値、輝度ヒストグラムといった画素値に関する特徴量や、関心領域の位置、輪郭の円形度やモーメント、断面の半径、体積、面積など形状に関する特徴量の他、非特許文献１の手法によって得られる、ＲＯＩ（関心領域）の病変部の形状情報やテクスチャ情報でもよい。あるいは、症例ＤＢ１０に一旦登録された情報を所定の数式（例えば主成分分析、独立成分分析）で処理した値を特徴量としてもよい。要するに、公知の手法で得られた画像の輪郭・画素値、位置情報などを特徴量とすることができる。
【００５１】
また、特徴量の計算の前処理として画像の病変領域を特定し、その病変領域を対象とした特徴量の計算を行ってもよい。病変領域の特定の例としては、特許文献６のような注目領域の位置情報をもとに領域を抽出する手法などがある。
【００５２】
また、病変領域の特定は必ずしも全自動でなくてもよく、ユーザによる操作装置の指定した領域近傍の特徴量（画素値に関する特徴量あるいは輪郭など形状に関する特徴量）を利用した画像処理技術で半自動的に抽出してもよい。このように、病変部位に特化した特徴量を用いることで、着目した病変部位と類似する症例画像の検索を行える。
【００５３】
類似検索部２は、特徴量計算部１の算出した第１の特徴量と症例ＤＢ１０に蓄積された症例テーブルの特徴量および疾患テーブルの特徴量（第２の特徴量）とを比較し、両者の類似度を算出する。第２の特徴量はクエリー画像と同じ手法に従って予め作成および蓄積されている。
【００５４】
類似検索部２は、操作装置からの選択に従い、第１の特徴量と症例テーブルの第２の特徴量との間の類似度を算出するか（パターン１）、第１の特徴量と疾患テーブルの第２の特徴量との間の類似度を算出するか（パターン２）、第１の特徴量と症例テーブルの第２の特徴量との間の類似度を算出するとともに第１の特徴量と疾患テーブルの第２の特徴量との間の類似度を算出する（パターン３）、第１の特徴量と症例テーブルの第２の特徴量、疾患テーブルの第２の特徴量および電子医学書のデータベースの症例画像から抽出ないし当該データベースに登録されている特徴量との間の類似度を算出する（パターン４）のいずれかを実行してもよい。パターン１は症例画像の検索が必要で画像のない典型症例の検索が不要な場合、パターン２は症例画像の検索が不要で画像のない典型症例の検索が必要な場合、パターン３は症例画像および典型症例の検索が必要な場合、パターン４は医学書の症例画像も検索したい場合に選択すればよい。
【００５５】
類似度の算出方法としては公知のもの、例えば特徴量の値の差分、特徴量空間（重み付き空間も可）上の最小２乗法などが採用できる。説明の便宜上、類似度Ｓは以下の数式で定義する。ただし、本願発明の実施のために、類似度Ｓの算出基準がこの定義に限定されるわけではない。
【００５６】
【数１】
【００５７】
特徴量ｍｉ(i＝1,2,…,n)は登録済みの症例画像の注目領域の特徴量、Ｍｉ(i＝1,2,…,n)は診断画像の注目領域から抽出された特徴量である。ｗｉ(i＝1,2,…,n)は、疾患別に予め定義された各特徴量に対する重み付け係数である。ｍｉ、Ｍｉ、ｗｉの添え字ｉは特徴量空間上の座標軸を示す。双方の特徴量が近いほど類似度Ｓの値が小さくなり、双方の特徴量が遠いほど類似度Ｓの値が大きくなる。
【００５８】
類似検索部２は、症例ＤＢ１０に蓄積された全ての症例画像あるいは予め操作装置から指定された付随検索項目に対応する症例画像のうち、クエリー画像の特徴量情報との類似度Ｓが所定の閾値よりも高い第２の特徴量（類似特徴量）を特定する。付随検索項目はユーザが任意に指定できる情報であり、例えば、撮像部位（胸部、乳房など）、解剖学的位置情報（肝臓右葉、肺Ｓ１など）、撮像モダリティ情報、患者関連情報、画像診断名、病理診断名、所見（浸潤影、腫瘤、蜂窩肺など）、撮像モダリティ情報、担当医師名など、症例ＤＢ１０の付随情報とマッチングによる症例画像の絞り込みが可能な情報が挙げられる。
【００５９】
画像有無判定部３は、症例テーブルにおいて類似検索部２の特定した類似特徴量に対応する症例画像である類似画像を画像表示部４に出力するとともに、その類似画像に対応する付随情報（疾患分類など）を疾患表示部５に出力する。
【００６０】
あるいは、症例類似検索部２の特定した類似特徴量に対応する付随情報に含まれる画像有無フラグを参照し、画像有無フラグが「あり」を示していれば、症例テーブルから特定された類似特徴量に対応する症例画像である類似画像を画像表示部４に出力するとともに、その類似特徴量に対応する付随情報を疾患表示部５に出力してもよい。
【００６１】
画像表示部４および疾患表示部５は、同一の表示装置で構成してもよいが、その表示領域は区別されている。
【００６２】
疾患表示部５は、付随情報に含まれる疾患情報、例えば症例情報（画像診断名、病理診断名、所見など）や、当該症例情報によってリンクされた電子医学書に含まれる医学情報（電子医学書における病名、病原体、症状、患部ごとの分類など）などを表示する。表示項目をキーボードやマウスなどの操作装置で選択できてもよい。
【００６３】
疾患表示部５は、映像表示手段以外の出力手段に代替できる。例えば出力手段をネットワークＩ／Ｆとし、所望の通信端末（パソコン、携帯電話、ＰＤＡなど）に情報を出力してもよい。あるいは映像表示手段とともに、印刷手段によって情報を出力してもよい。また、音声出力手段からの合成音声の出力などによって情報を出力してもよい。
【００６４】
画像有無判定部３は、類似検索部２の特定した類似特徴量に対応する付随情報に含まれる画像有無フラグを参照し、画像有無フラグが「無し」を示していれば、疾患テーブルから特定された類似特徴量に対応する付随情報を疾患表示部５に出力する。
【００６５】
すなわち、類似画像が存在する場合に限って画像表示部４に類似画像が表示される一方、疾患表示部５には、類似画像が検索されたか否かにかかわらず、付随情報が表示される（ただし、パターン１が選択された場合を除く）。
【００６６】
図５は画像表示部４が表示した類似特徴量に対応する類似画像とその付随情報（疾患分類）、および疾患表示部５が表示した類似特徴量に対応する付随情報（疾患分類）の一例を示す。これは、類似検索部２による類似症例検索の結果画面として出力される。症例画像がある疾患分類に関しては類似画像と疾患分類（画像診断名、病理診断名、所見など）、症例画像がない疾患分類に関しては疾患分類だけが表示される。
【００６７】
操作装置からの指示に応じ、類似画像の表示／非表示を切り替えてもよい。類似画像の非表示が指示されれば、類似画像の有無にかかわらず疾患名だけが表示される。
【００６８】
また、付随情報に含まれる疾患名以外の情報、例えば医学情報へのリンクを表示し、そのリンクを指定することで対応する医学情報を表示してもよい。
【００６９】
以上のように、症例画像がそもそも症例テーブルに登録されていないような疾患分類についても、それに対応する典型特徴量を疾患テーブルに登録しておき、任意のクエリー画像の特徴量に類似する症例画像の特徴量に対応する疾患分類および典型特徴量に対応する疾患分類をそれぞれ症例テーブルおよび疾患テーブルから検索し、クエリー画像に関係する疾患分類を網羅的に検索できる。
【符号の説明】
【００７０】
１：特徴量計算部、２：類似検索部、３：画像有無判定部、４：画像表示部、５：疾患表示部、７：症例登録部、８：特徴量計算部、９：画像無し疾患登録部、１０：症例データベース、１１：フラグ制御部
【技術分野】
【０００１】
本発明は、診断対象画像から抽出した特徴量に基づいてその診断対象画像と関係する症例を検索する技術に関する。
【背景技術】
【０００２】
特許文献１は、画像データ入力手段が、被写体画像中に設定されたＲＯＩの画像データＰ′を入力し、検索手段が、入力されたＲＯＩ画像データＰ′と画像の特性が類似している部分を有する類似画像データとその類似画像データに関連する診断データを症例データベースから検索して読み込む。検索手段は、選択手段により選択された類似判定項目について類似性を判定して検索を行う。出力手段が、検索手段による検索結果を表す検索結果情報を表示手段に出力し表示手段が検索結果をモニタに表示させる。
【０００３】
特許文献２は、電子化された医学書を格納したデータベースの検索システムの一例である。一般に電子医学書とは、医学書を電子化することによりコンピュータ上で閲覧できるようにされているコンテンツである。症例データベースの各症例データには、関連する電子医学書の情報を参照できるハイパーリンクなどのデータを対応づけることがある。
【０００４】
特許文献３および４は、階層化された医用データベースの一例である。
【０００５】
特許文献５は、医用情報を分類してデータベースに登録する一例である。
【０００６】
特許文献６は注目領域の位置情報をもとに病変領域を抽出する技術の一例である。
【０００７】
特許文献７は典型的な形状、色、大きさなどの特徴量をもつ病変部の画像データなどを含む症例情報に基づいてカプセル内視鏡の制御コマンドを生成する。症例情報は、過去の診断によって培われた膨大なデータの中から、代表的なデータを選出したものであるとする。
【０００８】
特許文献８によると、参照画像準備支援装置は、複数枚の医用画像を保管するデータベースと、検査すべき検査医用画像を入力する画像収集装置と、検査医用画像および複数枚の医用画像の各画像について異常の種類を検出し、検査医用画像と同じ異常の種類の医用画像を選択し、選択された医用画像を検査医用画像と共に表示するワークステーションとを具備し、オペレータが介在することなく読影の参照にすべき過去の画像や典型的な症例画像を準備し、読影に備えることができるとする。
【０００９】
非特許文献１は関心領域中の画像特徴量の算出技術の一例である。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００４−５３６４号公報
【特許文献２】特開２００４−１１８５６６号公報
【特許文献３】特開２００７−１０５４６１号公報
【特許文献４】特開２００４−１８５３３０号公報
【特許文献５】特開２００４−３３４６４７号公報
【特許文献６】特開２００８−２４５７１９号公報
【特許文献７】特開２００８−２３７６３９号公報
【特許文献８】特開２００１−１８７０４４号公報
【非特許文献】
【００１１】
【非特許文献１】クーツ、エドワーズ、テイラー、「動的見えモデル」、第５回計算機視覚欧州会議報、ドイツ、シュプリンガー、１９９８年、第２巻４８４−４９８頁（T. F. Coootes, G. J. Edwards, C. J. Taylor “Active Appearance Models”, In Proc. 5th European Conference on Computer Vision, Springer）
【発明の概要】
【発明が解決しようとする課題】
【００１２】
症例ＤＢに多くの症例がまだ登録されていない場合や、多く登録されていても珍しくて画像がない疾患など、症例ＤＢに画像がない疾患が存在する場合、網羅的に存在すべき疾患が類似画像検索でリストアップされないという問題が生じる。類似画像検索の結果を参考に診断を行う場合、疾患に抜けがあると、検索結果から抜けた疾患がある可能性を検討せずに診断結果を出してしまうことにつながる。本発明は、症例検索で疾患が網羅的にリストアップされることを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係る症例検索装置は、クエリー画像を入力するクエリー画像入力部と、クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、症例画像と症例画像の特徴量と疾患分類とを対応づけて記憶する第１のテーブルと、第１のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と疾患分類に対応する典型特徴量とを記憶する第２のテーブルと、クエリー画像特徴量算出部の算出したクエリー画像の特徴量と第１のテーブルの特徴量とを比較することで、クエリー画像の特徴量に類似する第１のテーブルの特徴量である第１の類似特徴量を検索するとともに、クエリー画像の特徴量と第２のテーブルの典型特徴量とを比較することで、クエリー画像の特徴量に類似する第２のテーブルの典型特徴量である第２の類似特徴量を検索する検索部と、第１のテーブルにおいて第１の類似特徴量に対応する症例画像および疾患分類を出力する第１の出力部と、第２のテーブルにおいて第２の類似特徴量に対応する画像無し疾患分類を出力する第２の出力部と、を備える。
【００１４】
好ましくは、症例画像を入力して入力された症例画像の特徴量を算出する算出部と、症例画像と算出部の算出した症例画像の特徴量と症例画像の疾患分類とを対応づけて第１のテーブルに登録する第１の登録部と、を備える。
【００１５】
好ましくは、画像無し疾患分類と典型特徴量とを入力して第２のテーブルに登録する第２の登録部を備える。
【００１６】
好ましくは、症例画像の登録されていない疾患分類を検出する画像無し疾患分類検出部を備え、第２の登録部は、画像無し疾患分類検出部の検出した症例画像の登録されていない疾患分類に対応する典型特徴量を入力し、入力した典型特徴量と疾患分類とを対応づけて第２のテーブルに登録する。
【００１７】
好ましくは、画像無し疾患分類検出部は、症例画像が登録されていないことが検出された疾患分類を示すフラグを疾患分類と対応づけて登録する。
【００１８】
好ましくは、画像無し疾患分類検出部は、第１の登録部により第１のテーブルの症例画像が追加または削除されるごとに症例画像に対応するフラグを更新する。
【００１９】
好ましくは、検索部は、操作装置から入力された選択指示に応じ、クエリー画像の特徴量と第１のテーブルの特徴量とを比較することで、クエリー画像の特徴量に類似する第１のテーブルの特徴量である第１の類似特徴量を検索する第１の検索パターンおよび／またはクエリー画像の特徴量と第２のテーブルの典型特徴量とを比較することで、クエリー画像の特徴量に類似する第２のテーブルの特徴量である第２の類似特徴量を検索する第２の検索パターンを実施する。
【００２０】
好ましくは、検索部は、所定の電子医学書データベースの症例画像の特徴量とクエリー画像の特徴量とを比較することで、クエリー画像の特徴量に類似する電子医学書データベースの症例画像の特徴量である第３の類似特徴量を検索し、第１の出力部は、電子医学書データベースにおいて第３の類似特徴量に対応する症例画像および疾患分類を出力し、第２の出力部は、電子医学書データベースにおいて第３の類似特徴量に対応する疾患分類を出力する。
【００２１】
第１の出力部は、操作装置への指示に応じて、症例画像の出力を開始または停止する。
【００２２】
本発明に係る症例検索方法は、コンピュータが、クエリー画像を入力するステップと、入力したクエリー画像の特徴量を算出するステップと、症例画像と症例画像の特徴量と疾患分類とを対応づけて第１のテーブルに記憶するステップと、第１のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と疾患分類に対応する典型特徴量とを第２のテーブルに記憶するステップと、算出したクエリー画像の特徴量と第１のテーブルの特徴量とを比較することで、クエリー画像の特徴量に類似する第１のテーブルの特徴量である第１の類似特徴量を検索するとともに、クエリー画像の特徴量と第２のテーブルの典型特徴量とを比較することで、クエリー画像の特徴量に類似する第２のテーブルの典型特徴量である第２の類似特徴量を検索するステップと、第１のテーブルにおいて第１の類似特徴量に対応する症例画像および疾患分類を出力するステップと、第２のテーブルにおいて第２の類似特徴量に対応する画像無し疾患分類を出力するステップと、を実行する。
【００２３】
この症例検索方法をコンピュータに実行させるための症例検索プログラムも本発明に含まれる。
【発明の効果】
【００２４】
本発明によると、症例画像がない疾患分類でも、それに対応する典型特徴量に基づいてクエリー画像に関係するの疾患分類を検索でき、疾患分類の検索範囲と結果提示範囲が網羅的になる。
【図面の簡単な説明】
【００２５】
【図１】症例画像検索システムの概略構成図
【図２】症例テーブルの一例を示す図
【図３】疾患テーブルの一例を示す図
【図４】症例ＤＢの分類構造の一例を示す図
【図５】検索結果の出力例を示す図
【発明を実施するための形態】
【００２６】
図１は本発明の好ましい実施形態に係る症例画像検索システム１００の概略構成図である。このシステムは、検索系１０１および登録系１０２からなる。検索系１０１は、特徴量計算部１、類似検索部２、画像有無判定部３、画像表示部４、疾患表示部５、症例データベース（ＤＢ）１０を含む。登録系１０２は、症例登録部７、特徴量計算部８、画像無し疾患登録部９、症例データベース（ＤＢ）１０、フラグ制御部１１を含む。
【００２７】
症例画像検索システム１００は、コンピュータ（ＣＰＵ，ＲＡＭ，ＲＯＭなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの）で構成することができる。各ブロックは１つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータやロジック回路で構成し、かつそれらをネットワークやシステムバスなどのデータ通信手段で接続することでこのシステムを構成してもよい。また、特徴量計算部１、類似検索部２、画像有無判定部３、症例登録部７、特徴量計算部８、画像無し疾患登録部９、フラグ制御部１１はコンピュータおよび当該コンピュータで実行されるプログラムモジュール（ＲＯＭなどのコンピュータ読取可能な記録媒体に格納）で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。画像表示部４、疾患表示部５は表示ディスプレイ、症例ＤＢ１０はハードディスクなどの大容量記憶媒体で構成できる。
【００２８】
症例ＤＢ１０は、症例テーブルと疾患分類テーブルを格納している。図２は症例テーブルの情報、図３は疾患分類テーブルの情報の一例を示す。図では症例テーブルと疾患分類テーブルは別々に示されているが、両者は同一のテーブルに併合されていてもよい。
【００２９】
症例テーブルには、検索対象画像となる症例画像と各症例画像に対応する付随情報が格納されている。ここで、症例画像は、対応する付随情報に含まれる疾患分類情報に従い、疾患別（例えば特許文献５と同様、ＩＣＤ１０に対応した病名コード別）や所見（病変の性状）別に分類されて症例ＤＢ１０に格納されている。
【００３０】
症例ＤＢ１０には、疾患分類別に統計情報、疾患情報、電子医学書の医学情報（特定の疾患に対しては間違えられやすい疾患の疾患情報や当該疾患に関する症例画像など）がハイパーリンクなどでリンクされている。リンク情報は付随情報に含めることができる。１つの症例画像にリンクする医学情報は１つでも複数でもよい。電子医学書は症例ＤＢ１０に蓄積されていてもよいし症例ＤＢ１０とは別のデータベース（例えば特許文献２参照）に蓄積されてもよい。
【００３１】
付随情報には症例情報を含めることができる。症例情報には、画像診断名、病理診断名、所見（浸潤影、腫瘤、蜂窩肺など）、「ＣＲ」や「ＣＴ」などの撮像モダリティ情報、患者の氏名、年令、性別等の患者に関する個人情報を示す患者関連情報、登録者（担当医師名）、症例カンファレンスのあった年月日、撮像部位を示す撮像部位情報、読影医が作成した診断レポート等のテキストベースの診断情報が含まれる。
【００３２】
また、疾患別の統計情報には、例えば、下記の情報が含まれる。
・代表症例における類似度（疾患内の最高類似度）
・平均類似度
・症例ＤＢ内の該当疾患の総登録件数
・代表症例に近い症例(症例パターン)の登録件数
・症例パターンにおける特徴…主な症状
・症例パターンにおける患者の特徴…平均年齢、病歴、喫煙歴など
・全国／地域別罹患率
・その他
症例テーブルには、特徴量計算部８により各症例画像の部位から抽出された特徴量（第２の特徴量）が格納されている。ただし、症例画像自体が症例ＤＢ１０に蓄積されていれば、事後的にその症例画像を特徴量計算部８などで解析することで第２の特徴量を得ることができるから、症例ＤＢ１０に第２の特徴量を登録することが本願発明の実施にあたって常に必ず必要なのではない。症例画像は症例登録部７から特徴量計算部８に入力される。特徴量計算部８の特徴量の計算方式は、特徴量計算部１と同様である。
【００３３】
症例登録部７は、症例テーブルの情報を登録する。症例登録部７は、所望の医用撮像装置から症例画像を入力する。症例登録部７によって症例テーブルに登録される症例画像は、クエリー画像と同様に各種の医用撮像装置（ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、Ｘ線装置、ＵＳ装置、内視鏡、マンモグラフィ装置、顕微鏡用カメラなど）から得られる。また、症例登録部７によって症例テーブルに登録される付随情報は、医用撮像装置、操作装置、ネットワーク経由で接続した情報端末などから入力することができる。
【００３４】
図３に例示するように、疾患テーブルは画像無し疾患登録部９の入力した特徴量と付随情報とを対応づけて格納する。この付随情報は疾患分類を含む。また、疾患テーブルは、症例テーブルの中でどの症例画像とも対応づけられていない疾患分類または症例テーブルの中で少なくとも１つの症例画像と対応づけられている疾患分類を示す画像有無フラグを含む。
【００３５】
図２に例示するような症例テーブルでは、疾患分類「分類Ｂ」および「分類Ｄ」はどの症例画像とも対応づけられていない。そのため、疾患テーブルには、「分類Ｂ」および「分類Ｄ」に対応する画像有無フラグ「無し」が格納されている。あるいは、当該症例テーブルでは、疾患分類「分類Ａ」、「分類Ｃ」および「分類Ｅ」は何らかの症例画像と対応づけられている。そのため、「分類Ａ」、「分類Ｃ」および「分類Ｅ」に対応する画像有無フラグ「あり」が格納されている。
【００３６】
フラグ制御部１１は、症例登録部７による所望の疾患分類に対応する症例画像の症例テーブルへの登録や症例テーブルからの削除があったことに連動して、疾患テーブルの画像有無フラグの内容を更新する。
【００３７】
疾患テーブルは、画像有無フラグ「無し」の疾患分類に、当該疾患分類における症例画像の典型特徴量を対応づけて格納している。この典型特徴量は、画像無し疾患登録部９から入力される。この典型特徴量は、類似検索部２がクエリー画像の第１の特徴量と比較する第２の特徴量に含まれる。なお、疾患テーブルは、画像有無フラグ「あり」の疾患分類に、当該疾患分類における症例画像の典型特徴量を対応づけて格納してもよい。画像有無フラグが「あり」であっても、症例画像の削除により「無し」に変化する場合もあるからである。
【００３８】
図３では画像有無フラグ「あり」に対応する「分類Ａ」、「分類Ｃ」および「分類Ｅ」の各々に対応する典型特徴量、画像有無フラグ「無し」に対応する疾患分類「分類Ｂ」および「分類Ｄ」の各々に対応する典型特徴量の双方が格納されているが、画像有無フラグ「あり」に対応する「分類Ａ」、「分類Ｃ」および「分類Ｅ」の各々に対応する典型特徴量はなくてもよい。
【００３９】
また、典型特徴量に疾患分類以外の付随情報、例えば電子医学書へのリンク情報を対応づけてもよい。疾患テーブルは、症例テーブルに症例画像が登録されていない疾患分類に関する情報を提供するために用いられる。ただし、症例テーブルだけでなく電子医学書のデータベースに症例画像が登録されていない疾患分類に関する特徴量を格納してもよい。すなわち、疾患テーブルは症例画像のない電子医学書にも応用できる。
【００４０】
典型特徴量は、単なる数値であり、患者の個人情報を含まないから、他の病院や研究施設による公開の制限の程度が低く、症例画像よりも入手が容易と考えられる。
【００４１】
症例テーブルおよび疾患テーブルに含まれる個々の付随情報の個々の疾患分類は、ディレクトリ、フォルダ、パーティションのように症例ＤＢ１０に設けられた論理的な格納単位に対応する。この論理的な格納単位は、階層構造（ツリー構造）をとることができる（図４参照）。
【００４２】
各疾患分類に対応するデータセットを物理的な格納単位に格納することで分類してもよい。物理的な格納単位ごとに個別の論理的な格納単位を設けることもできる。例えば、症例ＤＢ１０とは別の物理的あるいは論理的な格納単位に、電子医学書のデータベースを構築し、その中では、症例ＤＢ１０とは異なる階層構造を構築できる。
【００４３】
症例登録部７による症例テーブルへのデータ登録のタイミング、疾患登録部９による疾患テーブルへの典型特徴量と付随情報の登録を行うタイミングは任意である。例えば、フラグ制御部１１は、まず疾患テーブルの各疾患分類に対応する画像有無フラグを全て「無し」のデフォルト値に設定しておき、その後、症例登録部７による症例テーブルへのデータ登録を許可する。これに応じてユーザは、所望の症例画像と付随情報を症例登録部７にて登録する。この登録は、ユーザの指示に基づいて行われるが、登録すべきデータのソースは任意である。症例登録部７による症例テーブルへの症例画像と付随情報の登録の開始から所定時間が経過したが、依然としてある疾患分類に対応する画像有無フラグが「無し」の場合、疾患登録部９により疾患テーブルへ当該疾患分類に対応する典型症例および付随情報の登録を開始する。
【００４４】
あるいは、先に疾患登録部９により、網羅的な疾患分類と典型特徴量の疾患テーブルへの登録を行い、それらに対応する画像有無フラグはデフォルト値「無し」を登録する。その後順次症例登録部７による症例テーブルへのデータ登録を行い、症例テーブルへ登録された症例画像に対応する疾患分類の画像有無フラグをデフォルト値「無し」から「あり」に更新してもよい。
【００４５】
疾患テーブルへのデータ登録の開始は、全自動でも半自動でもよい。例えば、フラグ制御部１１は、定期的（例えば１週間おき、１月おきなど）に各疾患分類に対応する症例画像の登録数を症例ＤＢ１０から検出し、登録数が零の疾患分類が検出された場合、当該疾患分類の症例画像が零であり典型特徴量の収集が望ましい旨の警告を表示メッセージやビープ音などで出力する。それに応じて、画像無し疾患登録部９は、ユーザが操作装置で指定した任意のソースから、典型特徴量を取得して、当該疾患分類と取得された典型特徴量を対応づけて疾患テーブルへに格納する。典型特徴量に対応づけて登録する付随情報のソースは任意であり、操作装置、記録媒体読取装置、ネットワーク上のサーバなどが挙げられる。
【００４６】
症例登録部７が新規の症例画像と付随情報をそれまでに全く登録実績のなかった疾患分類に登録した場合、フラグ制御部１１は当該疾患分類に対応する画像有無フラグを「無し」から「あり」に更新する。疾患登録部９が新規の典型特徴量をそれまでに全く登録実績のなかった疾患分類に登録した場合、フラグ制御部１１は当該疾患分類に対応する画像有無フラグを「無し」のままとする。症例登録部７がユーザからの指示に応じて症例テーブルから所望の症例画像と付随情報の削除を行ってもよいが、もしある疾患分類に対応する症例画像を全て削除した場合は、フラグ制御部１１は当該疾患分類に対応する画像有無フラグを「あり」から「無し」に更新する。ある特定の疾患分類に対応する画像有無フラグが「あり」から「無し」に更新されたことに応じ、疾患登録部９による当該疾患分類に対応するデータ登録が開始されるか、開始を促す警告を出力してユーザの意思を確認し、指示があればデータ登録を開始してもよい。
【００４７】
疾患登録部９へ登録する典型特徴量データのソースは任意であり、操作装置、ネットワーク経由で接続した情報端末、ＣＤＲＯＭやＤＶＤその他の記憶媒体読取装置、あるいは電子医学書のデータベース（ただし、症例画像がなく特徴量だけが格納されているレコードの全部または一部を対象とする）などからデータを入力して登録することができる。また、ある疾患分類に対応する典型特徴量とは、当該疾患分類に対応する画像の標準的な特徴量であるが、何をもって典型特徴量とするかは任意である。例えば、学会や他の病院で収集されたある疾患分類に対応する画像の特徴量を統計処理（サンプルの単純平均、加重平均、中央値など）した値を当該疾患分類に対応する典型特徴量とする。あるいは、集めた画像サンプルから手動操作により典型的な画像を選択し、当該画像から特徴量計算部８によって抽出した特徴量をそのまま当該疾患分類に対応する典型特徴量とする。
【００４８】
特徴量計算部１は、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、Ｘ線画像（ＣＲ画像含む）、ＵＳ（超音波）画像、内視鏡画像、マンモグラフィ、病理画像などの診断対象画像（クエリー画像）を入力する。特徴量計算部１は、これらのクエリー画像と、クエリー画像のサイズや撮像日時といった付帯情報や症例情報を入力することもできる。特徴量計算部１および医療用画像診断装置の間の通信プロトコルおよびクエリー画像および付帯情報のフォーマットは、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）のような所定の規格に従っている。
【００４９】
特徴量計算部１は、入力されたクエリー画像を解析し、症例ＤＢ１０に蓄積された症例画像または疾患分類の検索に必要な特徴量（第１の特徴量）を作成する。
【００５０】
特徴量計算部１によって算出される特徴量は画像データの平均、分散、最大値、最小値、輝度ヒストグラムといった画素値に関する特徴量や、関心領域の位置、輪郭の円形度やモーメント、断面の半径、体積、面積など形状に関する特徴量の他、非特許文献１の手法によって得られる、ＲＯＩ（関心領域）の病変部の形状情報やテクスチャ情報でもよい。あるいは、症例ＤＢ１０に一旦登録された情報を所定の数式（例えば主成分分析、独立成分分析）で処理した値を特徴量としてもよい。要するに、公知の手法で得られた画像の輪郭・画素値、位置情報などを特徴量とすることができる。
【００５１】
また、特徴量の計算の前処理として画像の病変領域を特定し、その病変領域を対象とした特徴量の計算を行ってもよい。病変領域の特定の例としては、特許文献６のような注目領域の位置情報をもとに領域を抽出する手法などがある。
【００５２】
また、病変領域の特定は必ずしも全自動でなくてもよく、ユーザによる操作装置の指定した領域近傍の特徴量（画素値に関する特徴量あるいは輪郭など形状に関する特徴量）を利用した画像処理技術で半自動的に抽出してもよい。このように、病変部位に特化した特徴量を用いることで、着目した病変部位と類似する症例画像の検索を行える。
【００５３】
類似検索部２は、特徴量計算部１の算出した第１の特徴量と症例ＤＢ１０に蓄積された症例テーブルの特徴量および疾患テーブルの特徴量（第２の特徴量）とを比較し、両者の類似度を算出する。第２の特徴量はクエリー画像と同じ手法に従って予め作成および蓄積されている。
【００５４】
類似検索部２は、操作装置からの選択に従い、第１の特徴量と症例テーブルの第２の特徴量との間の類似度を算出するか（パターン１）、第１の特徴量と疾患テーブルの第２の特徴量との間の類似度を算出するか（パターン２）、第１の特徴量と症例テーブルの第２の特徴量との間の類似度を算出するとともに第１の特徴量と疾患テーブルの第２の特徴量との間の類似度を算出する（パターン３）、第１の特徴量と症例テーブルの第２の特徴量、疾患テーブルの第２の特徴量および電子医学書のデータベースの症例画像から抽出ないし当該データベースに登録されている特徴量との間の類似度を算出する（パターン４）のいずれかを実行してもよい。パターン１は症例画像の検索が必要で画像のない典型症例の検索が不要な場合、パターン２は症例画像の検索が不要で画像のない典型症例の検索が必要な場合、パターン３は症例画像および典型症例の検索が必要な場合、パターン４は医学書の症例画像も検索したい場合に選択すればよい。
【００５５】
類似度の算出方法としては公知のもの、例えば特徴量の値の差分、特徴量空間（重み付き空間も可）上の最小２乗法などが採用できる。説明の便宜上、類似度Ｓは以下の数式で定義する。ただし、本願発明の実施のために、類似度Ｓの算出基準がこの定義に限定されるわけではない。
【００５６】
【数１】
【００５７】
特徴量ｍｉ(i＝1,2,…,n)は登録済みの症例画像の注目領域の特徴量、Ｍｉ(i＝1,2,…,n)は診断画像の注目領域から抽出された特徴量である。ｗｉ(i＝1,2,…,n)は、疾患別に予め定義された各特徴量に対する重み付け係数である。ｍｉ、Ｍｉ、ｗｉの添え字ｉは特徴量空間上の座標軸を示す。双方の特徴量が近いほど類似度Ｓの値が小さくなり、双方の特徴量が遠いほど類似度Ｓの値が大きくなる。
【００５８】
類似検索部２は、症例ＤＢ１０に蓄積された全ての症例画像あるいは予め操作装置から指定された付随検索項目に対応する症例画像のうち、クエリー画像の特徴量情報との類似度Ｓが所定の閾値よりも高い第２の特徴量（類似特徴量）を特定する。付随検索項目はユーザが任意に指定できる情報であり、例えば、撮像部位（胸部、乳房など）、解剖学的位置情報（肝臓右葉、肺Ｓ１など）、撮像モダリティ情報、患者関連情報、画像診断名、病理診断名、所見（浸潤影、腫瘤、蜂窩肺など）、撮像モダリティ情報、担当医師名など、症例ＤＢ１０の付随情報とマッチングによる症例画像の絞り込みが可能な情報が挙げられる。
【００５９】
画像有無判定部３は、症例テーブルにおいて類似検索部２の特定した類似特徴量に対応する症例画像である類似画像を画像表示部４に出力するとともに、その類似画像に対応する付随情報（疾患分類など）を疾患表示部５に出力する。
【００６０】
あるいは、症例類似検索部２の特定した類似特徴量に対応する付随情報に含まれる画像有無フラグを参照し、画像有無フラグが「あり」を示していれば、症例テーブルから特定された類似特徴量に対応する症例画像である類似画像を画像表示部４に出力するとともに、その類似特徴量に対応する付随情報を疾患表示部５に出力してもよい。
【００６１】
画像表示部４および疾患表示部５は、同一の表示装置で構成してもよいが、その表示領域は区別されている。
【００６２】
疾患表示部５は、付随情報に含まれる疾患情報、例えば症例情報（画像診断名、病理診断名、所見など）や、当該症例情報によってリンクされた電子医学書に含まれる医学情報（電子医学書における病名、病原体、症状、患部ごとの分類など）などを表示する。表示項目をキーボードやマウスなどの操作装置で選択できてもよい。
【００６３】
疾患表示部５は、映像表示手段以外の出力手段に代替できる。例えば出力手段をネットワークＩ／Ｆとし、所望の通信端末（パソコン、携帯電話、ＰＤＡなど）に情報を出力してもよい。あるいは映像表示手段とともに、印刷手段によって情報を出力してもよい。また、音声出力手段からの合成音声の出力などによって情報を出力してもよい。
【００６４】
画像有無判定部３は、類似検索部２の特定した類似特徴量に対応する付随情報に含まれる画像有無フラグを参照し、画像有無フラグが「無し」を示していれば、疾患テーブルから特定された類似特徴量に対応する付随情報を疾患表示部５に出力する。
【００６５】
すなわち、類似画像が存在する場合に限って画像表示部４に類似画像が表示される一方、疾患表示部５には、類似画像が検索されたか否かにかかわらず、付随情報が表示される（ただし、パターン１が選択された場合を除く）。
【００６６】
図５は画像表示部４が表示した類似特徴量に対応する類似画像とその付随情報（疾患分類）、および疾患表示部５が表示した類似特徴量に対応する付随情報（疾患分類）の一例を示す。これは、類似検索部２による類似症例検索の結果画面として出力される。症例画像がある疾患分類に関しては類似画像と疾患分類（画像診断名、病理診断名、所見など）、症例画像がない疾患分類に関しては疾患分類だけが表示される。
【００６７】
操作装置からの指示に応じ、類似画像の表示／非表示を切り替えてもよい。類似画像の非表示が指示されれば、類似画像の有無にかかわらず疾患名だけが表示される。
【００６８】
また、付随情報に含まれる疾患名以外の情報、例えば医学情報へのリンクを表示し、そのリンクを指定することで対応する医学情報を表示してもよい。
【００６９】
以上のように、症例画像がそもそも症例テーブルに登録されていないような疾患分類についても、それに対応する典型特徴量を疾患テーブルに登録しておき、任意のクエリー画像の特徴量に類似する症例画像の特徴量に対応する疾患分類および典型特徴量に対応する疾患分類をそれぞれ症例テーブルおよび疾患テーブルから検索し、クエリー画像に関係する疾患分類を網羅的に検索できる。
【符号の説明】
【００７０】
１：特徴量計算部、２：類似検索部、３：画像有無判定部、４：画像表示部、５：疾患表示部、７：症例登録部、８：特徴量計算部、９：画像無し疾患登録部、１０：症例データベース、１１：フラグ制御部
【特許請求の範囲】
【請求項１】
クエリー画像を入力するクエリー画像入力部と、
前記クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、
症例画像と前記症例画像の特徴量と疾患分類とを対応づけて記憶する第１のテーブルと、
前記第１のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と前記疾患分類に対応する典型特徴量とを記憶する第２のテーブルと、
前記クエリー画像特徴量算出部の算出したクエリー画像の特徴量と前記第１のテーブルの特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第１のテーブルの特徴量である第１の類似特徴量を検索するとともに、前記クエリー画像の特徴量と前記第２のテーブルの典型特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第２のテーブルの典型特徴量である第２の類似特徴量を検索する検索部と、
前記第１のテーブルにおいて前記第１の類似特徴量に対応する症例画像および疾患分類を出力する第１の出力部と、
前記第２のテーブルにおいて前記第２の類似特徴量に対応する画像無し疾患分類を出力する第２の出力部と、
を備える症例検索装置。
【請求項２】
前記症例画像を入力して入力された症例画像の特徴量を算出する算出部と、
前記症例画像と前記算出部の算出した前記症例画像の特徴量と前記症例画像の疾患分類とを対応づけて前記第１のテーブルに登録する第１の登録部と、
を備える請求項１に記載の症例検索装置。
【請求項３】
前記画像無し疾患分類と前記典型特徴量とを入力して前記第２のテーブルに登録する第２の登録部を備える請求項２に記載の症例検索装置。
【請求項４】
症例画像の登録されていない疾患分類を検出する画像無し疾患分類検出部を備え、
前記第２の登録部は、前記画像無し疾患分類検出部の検出した症例画像の登録されていない疾患分類に対応する典型特徴量を入力し、前記入力した典型特徴量と前記疾患分類とを対応づけて前記第２のテーブルに登録する請求項３に記載の症例検索装置。
【請求項５】
前記画像無し疾患分類検出部は、前記症例画像が登録されていないことが検出された疾患分類を示すフラグを前記疾患分類と対応づけて登録する請求項４に記載の症例検索装置。
【請求項６】
前記画像無し疾患分類検出部は、前記第１の登録部により前記第１のテーブルの症例画像が追加または削除されるごとに前記症例画像に対応するフラグを更新する請求項５に記載の症例検索装置。
【請求項７】
前記検索部は、操作装置から入力された選択指示に応じ、前記クエリー画像の特徴量と前記第１のテーブルの特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第１のテーブルの特徴量である第１の類似特徴量を検索する第１の検索パターンおよび／または前記クエリー画像の特徴量と前記第２のテーブルの典型特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第２のテーブルの特徴量である第２の類似特徴量を検索する第２の検索パターンを実施する請求項１〜６のいずれかに記載の症例検索装置。
【請求項８】
前記検索部は、所定の電子医学書データベースの症例画像の特徴量と前記クエリー画像の特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記電子医学書データベースの症例画像の特徴量である第３の類似特徴量を検索し、
前記第１の出力部は、前記電子医学書データベースにおいて前記第３の類似特徴量に対応する症例画像および疾患分類を出力し、
前記第２の出力部は、前記電子医学書データベースにおいて前記第３の類似特徴量に対応する疾患分類を出力する請求項１〜７のいずれかに記載の症例検索装置。
【請求項９】
前記第１の出力部は、操作装置への指示に応じて、前記症例画像の出力を開始または停止する請求項１〜８のいずれかに記載の症例検索装置。
【請求項１０】
コンピュータが、
クエリー画像を入力するステップと、
前記入力したクエリー画像の特徴量を算出するステップと、
症例画像と前記症例画像の特徴量と疾患分類とを対応づけて第１のテーブルに記憶するステップと、
前記第１のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と前記疾患分類に対応する典型特徴量とを第２のテーブルに記憶するステップと、
前記算出したクエリー画像の特徴量と前記第１のテーブルの特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第１のテーブルの特徴量である第１の類似特徴量を検索するとともに、前記クエリー画像の特徴量と前記第２のテーブルの典型特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第２のテーブルの典型特徴量である第２の類似特徴量を検索するステップと、
前記第１のテーブルにおいて前記第１の類似特徴量に対応する症例画像および疾患分類を出力するステップと、
前記第２のテーブルにおいて前記第２の類似特徴量に対応する画像無し疾患分類を出力するステップと、
を実行する症例検索方法。
【請求項１１】
請求項１０に記載の症例検索方法をコンピュータに実行させるための症例検索プログラム。
【請求項１】
クエリー画像を入力するクエリー画像入力部と、
前記クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、
症例画像と前記症例画像の特徴量と疾患分類とを対応づけて記憶する第１のテーブルと、
前記第１のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と前記疾患分類に対応する典型特徴量とを記憶する第２のテーブルと、
前記クエリー画像特徴量算出部の算出したクエリー画像の特徴量と前記第１のテーブルの特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第１のテーブルの特徴量である第１の類似特徴量を検索するとともに、前記クエリー画像の特徴量と前記第２のテーブルの典型特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第２のテーブルの典型特徴量である第２の類似特徴量を検索する検索部と、
前記第１のテーブルにおいて前記第１の類似特徴量に対応する症例画像および疾患分類を出力する第１の出力部と、
前記第２のテーブルにおいて前記第２の類似特徴量に対応する画像無し疾患分類を出力する第２の出力部と、
を備える症例検索装置。
【請求項２】
前記症例画像を入力して入力された症例画像の特徴量を算出する算出部と、
前記症例画像と前記算出部の算出した前記症例画像の特徴量と前記症例画像の疾患分類とを対応づけて前記第１のテーブルに登録する第１の登録部と、
を備える請求項１に記載の症例検索装置。
【請求項３】
前記画像無し疾患分類と前記典型特徴量とを入力して前記第２のテーブルに登録する第２の登録部を備える請求項２に記載の症例検索装置。
【請求項４】
症例画像の登録されていない疾患分類を検出する画像無し疾患分類検出部を備え、
前記第２の登録部は、前記画像無し疾患分類検出部の検出した症例画像の登録されていない疾患分類に対応する典型特徴量を入力し、前記入力した典型特徴量と前記疾患分類とを対応づけて前記第２のテーブルに登録する請求項３に記載の症例検索装置。
【請求項５】
前記画像無し疾患分類検出部は、前記症例画像が登録されていないことが検出された疾患分類を示すフラグを前記疾患分類と対応づけて登録する請求項４に記載の症例検索装置。
【請求項６】
前記画像無し疾患分類検出部は、前記第１の登録部により前記第１のテーブルの症例画像が追加または削除されるごとに前記症例画像に対応するフラグを更新する請求項５に記載の症例検索装置。
【請求項７】
前記検索部は、操作装置から入力された選択指示に応じ、前記クエリー画像の特徴量と前記第１のテーブルの特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第１のテーブルの特徴量である第１の類似特徴量を検索する第１の検索パターンおよび／または前記クエリー画像の特徴量と前記第２のテーブルの典型特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第２のテーブルの特徴量である第２の類似特徴量を検索する第２の検索パターンを実施する請求項１〜６のいずれかに記載の症例検索装置。
【請求項８】
前記検索部は、所定の電子医学書データベースの症例画像の特徴量と前記クエリー画像の特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記電子医学書データベースの症例画像の特徴量である第３の類似特徴量を検索し、
前記第１の出力部は、前記電子医学書データベースにおいて前記第３の類似特徴量に対応する症例画像および疾患分類を出力し、
前記第２の出力部は、前記電子医学書データベースにおいて前記第３の類似特徴量に対応する疾患分類を出力する請求項１〜７のいずれかに記載の症例検索装置。
【請求項９】
前記第１の出力部は、操作装置への指示に応じて、前記症例画像の出力を開始または停止する請求項１〜８のいずれかに記載の症例検索装置。
【請求項１０】
コンピュータが、
クエリー画像を入力するステップと、
前記入力したクエリー画像の特徴量を算出するステップと、
症例画像と前記症例画像の特徴量と疾患分類とを対応づけて第１のテーブルに記憶するステップと、
前記第１のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と前記疾患分類に対応する典型特徴量とを第２のテーブルに記憶するステップと、
前記算出したクエリー画像の特徴量と前記第１のテーブルの特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第１のテーブルの特徴量である第１の類似特徴量を検索するとともに、前記クエリー画像の特徴量と前記第２のテーブルの典型特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第２のテーブルの典型特徴量である第２の類似特徴量を検索するステップと、
前記第１のテーブルにおいて前記第１の類似特徴量に対応する症例画像および疾患分類を出力するステップと、
前記第２のテーブルにおいて前記第２の類似特徴量に対応する画像無し疾患分類を出力するステップと、
を実行する症例検索方法。
【請求項１１】
請求項１０に記載の症例検索方法をコンピュータに実行させるための症例検索プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１１８５４０（Ｐ２０１１−１１８５４０Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７３７３８（Ｐ２００９−２７３７３８）
【出願日】平成２１年１２月１日（２００９．１２．１）
【出願人】（５９０００２３８９）静岡県 (173)
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月１日（２００９．１２．１）
【出願人】（５９０００２３８９）静岡県 (173)
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]