症例画像検索装置、方法およびプログラム
【課題】類似画像検索結果の妥当性をユーザが判断するため、類似と判断したポイントをユーザが理解可能な形式で表現する。
【解決手段】本発明に係る症例画像検索装置は、クエリー画像を入力するクエリー画像入力部と、クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、症例画像と症例画像の特徴量とを対応づけて記憶するデータベースと、クエリー画像特徴量算出部の算出したクエリー画像の特徴量とデータベースの特徴量とを比較することで、クエリー画像に類似する症例画像である類似画像を検索する検索部と、検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力する所見情報出力部と、を備える。
【解決手段】本発明に係る症例画像検索装置は、クエリー画像を入力するクエリー画像入力部と、クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、症例画像と症例画像の特徴量とを対応づけて記憶するデータベースと、クエリー画像特徴量算出部の算出したクエリー画像の特徴量とデータベースの特徴量とを比較することで、クエリー画像に類似する症例画像である類似画像を検索する検索部と、検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力する所見情報出力部と、を備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、診断対象画像から抽出した特徴量に基づいてその診断対象画像と関係する症例を検索する技術に関する。
【背景技術】
【0002】
特許文献1は、画像データ入力手段が、被写体画像中に設定されたROIの画像データP′を入力し、検索手段が、入力されたROI画像データP′と画像の特性が類似している部分を有する類似画像データとその類似画像データに関連する診断データを症例データベースから検索して読み込む。検索手段は、選択手段により選択された類似判定項目について類似性を判定して検索を行う。出力手段が、検索手段による検索結果を表す検索結果情報を表示手段に出力し表示手段が検索結果をモニタに表示させる。
【0003】
特許文献2は、電子化された医学書を格納したデータベースの検索システムの一例である。一般に電子医学書とは、医学書を電子化することによりコンピュータ上で閲覧できるようにされているコンテンツである。症例データベースの各症例データには、関連する電子医学書の情報を参照できるハイパーリンクなどのデータを対応づけることがある。
【0004】
特許文献3および4は、階層化された医用データベースの一例である。
【0005】
特許文献5は、医用情報を分類してデータベースに登録する一例である。
【0006】
特許文献6は注目領域の位置情報をもとに病変領域を抽出する技術の一例である。
【0007】
特許文献7によると、医用画像撮影装置によって取得した被検体の画像データセットを読み込み、その画像データセットから濃度情報を算出する対象となる対象臓器を抽出する。次に、対象臓器の任意の断面像を作成し、断面像における対象臓器領域内の任意の回転中心、又は領域を基準として径方向に連続する濃度情報(プロファイル)を算出する。算出された濃度情報が、特異量(正常の濃度情報とどれだけ異なっているかを表す指標)を算出し、その特異量の分布を示す特異量マップを作成・表示する。濃度プロファイルにおいて、異常部位付近では、濃度プロファイルが正規形状とは異なる形状を示す。この形状変化や濃度勾配の急激な変化に基づいて、濃度値の差異を操作者に提示することで、操作者は効率的に異常部位の有無や位置を把握することが可能となる。
【0008】
特許文献8によると、医用画像に含まれる関心領域の特徴量と医療情報とが、互いに関連付けられて格納される医療情報格納手段と、医療情報を提供するために参照される参照医用画像が入力される画像入力手段と、参照医用画像に含まれる関心領域を抽出する関心領域抽出手段と、関心領域を計測して特徴量を算出する特徴量算出手段と、特徴量算出手段が算出した特徴量に基づいて医療情報格納手段を検索し、医療情報を抽出する医療情報検索手段と、医療情報検索手段が抽出した医療情報を出力する処理結果出力手段と、を備える。特徴量は、被検体の肺野領域の体積に占める低濃度吸収値領域の体積の割合である。また、医療情報は、患者又は健康診断の受診者向けのコメントである。
【0009】
特許文献9によると、断層像のテクスチャー情報を用いて陰影の正常異常を判別するものであり、正常異常の判別方法の一つとして、原画像と補間画像とのそれぞれのテクスチャー情報に基づいて正常異常の判別を行なうようにした。これ以外にも、原画像と補間画像との間の濃度テクスチャー情報、又は原画像と補間画像との間の陰影形状の相似度に基づいて、正常異常の判別を行なう。
【0010】
特許文献10では、注目領域が肺野に現れる腫瘍や肺結節などの異常陰影である場合、異常陰影は形態、大きさ、辺縁や領域内の濃度に特徴が表れる。また、各異常陰影が現れた解剖学的な位置もその異常陰影の特徴であると考えられる。そこで、注目領域を解析して、形態の特徴、大きさの特徴、注目領域内の濃度の特徴、注目領域の辺縁部の濃度の特徴、解剖学的な位置などを求める。異常陰影は、濃度によってPure GGO(スリガラス影)、Mixed GGO(スリガラス影と高濃度)、Solid(高濃度)に分けられる。抽出手段によって抽出された注目領域内の平均値、偏差、最大値、最小値を特徴量として、既存の非線形判別手法、設計判別手法などを用いて判別することができる。さらに、濃度値から、異常陰影の領域内に石灰化有無や空洞有無でわけることができる。石灰化は、注目領域内の濃度の最大値が一定のしきい値(例えば、目安CT値500)以上の場合は、石灰化が存在するものと判定する。空洞は、注目領域内の濃度の最小値が一定のしきい値(例えば、目安CT値500)以下の場合に空洞が存在すると判定する。また、所見を読影レポートに自動入力するために、特徴量と所見とを一致させている。
【0011】
非特許文献1は関心領域中の画像特徴量の算出技術の一例である。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開2004−5364号公報
【特許文献2】特開2004−118566号公報
【特許文献3】特開2007−105461号公報
【特許文献4】特開2004−185330号公報
【特許文献5】特開2004−334647号公報
【特許文献6】特開2008−245719号公報
【特許文献7】特開2007−275141号公報
【特許文献8】特開2008−142532号公報
【特許文献9】特開2006−14967号公報
【特許文献10】特開2007−305107号公報
【非特許文献】
【0013】
【非特許文献1】クーツ、エドワーズ、テイラー、「動的見えモデル」、第5回計算機視覚欧州会議報、ドイツ、シュプリンガー、1998年、第2巻484−498頁(T. F. Coootes, G. J. Edwards, C. J. Taylor “Active Appearance Models”, In Proc. 5th European Conference on Computer Vision, Springer)
【発明の概要】
【発明が解決しようとする課題】
【0014】
従来技術の類似画像検索システムにて類似画像を表示したときに、何をポイントに類似性を判断したのかがユーザである画像診断医には分からない。例えば図11に示すような画像I1をクエリー画像とし、クエリー画像および症例画像の平均濃度値を特徴量とした類似画像検索、すなわちクエリー画像との間で平均濃度が近い症例画像を検索し、類似画像I2が検索結果として出力されたとする。この検索結果では、単に画像が表示されるだけで、双方の何の特徴が似かよっているのかがユーザに示されない。
【0015】
本発明は、類似画像検索結果の妥当性をユーザが判断するため、類似と判断したポイントをユーザが理解可能な形式で表現することを目的とする。
【課題を解決するための手段】
【0016】
本発明は、クエリー画像を入力するクエリー画像入力部と、クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、症例画像と症例画像の特徴量とを対応づけて記憶するデータベースと、クエリー画像特徴量算出部の算出したクエリー画像の特徴量とデータベースの特徴量とを比較することで、クエリー画像に類似する症例画像である類似画像を検索する検索部と、検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力する所見情報出力部と、を備える症例画像検索装置を提供する。
【0017】
ここで、所見情報出力部は、類似画像が特定の所見を特徴づけるか否かを判別する判別器を有し、判別器が類似画像が特定の所見を特徴づけると判別したことに応じ、特定の所見を示す所見情報を類似画像に対応づけて所定の出力装置に出力する。
【0018】
所見情報出力部は、判別器により、類似画像が特定の所見を特徴づける程度を示すスコアを算出し、スコアに応じて判別を行う。
【0019】
所見情報出力部は、複数の類似画像のうち最も高いスコアに対応する類似画像に特定の所見を示す所見情報を対応づけて所定の出力装置に出力する。
【0020】
所見情報出力部は、類似画像が特定の所見を特徴づけるか否かを判別する判別器を特徴量の種類ごとに有し、判別器により類似画像のスコアを特徴量の種類ごとに算出し、類似画像に対応する特徴量の種類ごとのスコアのうち最も高いスコアを算出した判別器は類似画像が特定の所見を特徴づけると判別する。
【0021】
スコアをZとすると、Z=α×(100−P)+β×Q(ここで、Pはクエリー画像と類似画像の類似度の差、Qは特定の所見に対応する典型画像と類似画像の類似度の差、αおよびβは重み、類似度は特徴量空間上の距離)により算出される。
【0022】
所見情報出力部は、類似検索部が検索した類似画像の特徴量をパラメータとした各所見の出現確率を示す確率分布曲線に基づき、類似画像の特徴量において最も高い出現確率を示す所見を特定し、特定された所見を示す所見情報を出力する。
【0023】
検索部が出力した類似画像に対応する特徴量と各所見に対応する特徴量の分布範囲とを比較し、類似画像の特徴量が属する分布範囲に対応する所見を特定し、特定された所見を示す情報を出力する。
【0024】
クエリー画像および症例画像はびまん性肺疾患のCT画像であり、クエリー画像および類似画像の特徴量は、CT画像の平均濃度値を含み、類似画像の特徴量が属する分布範囲に対応する所見は、−200以上の平均濃度値範囲に対応するコンソリデーション、−800超〜−200未満の平均濃度値範囲に対応するGGO(Ground Glass Opacity;すりガラス陰影)、−800以下の平均濃度値範囲に対応する正常肺を含む。
【0025】
所見情報出力部は、所定の記録媒体に格納された、類似画像の注目領域の位置に対応する所見情報、形状に対応する所見情報、大きさに対応する所見情報、濃度値に対応する所見情報、および注目領域内外の濃度差に対応する所見情報を規定するテーブルを参照することで類似画像の検索に寄与した特徴量に対応する所見情報を特定し、特定された所見情報を所定の出力装置に出力する。
【0026】
類似画像の注目領域の位置は肺野内の解剖学的な位置を含む。
【0027】
本発明は、コンピュータが、クエリー画像を入力するステップと、入力したクエリー画像の特徴量を算出するステップと、症例画像と症例画像の特徴量とを対応づけて記憶するデータベースの特徴量と算出したクエリー画像の特徴量とを比較することで、クエリー画像に類似する症例画像である類似画像を検索するステップと、検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力するステップと、を実行する症例画像検索方法を提供する。
【0028】
この症例画像検索方法をコンピュータに実行させるための症例画像検索プログラムも本発明に含まれる。
【発明の効果】
【0029】
本発明によると、クエリー画像に類似する画像として検索された類似画像に所見情報が対応づけられて出力されるため、どういうポイントで類似画像の類似性が判断されたかがよく分かる。
【図面の簡単な説明】
【0030】
【図1】症例画像検索システムの概略構成図
【図2】クエリー画像の一例を示す図
【図3】類似画像(コンソリデーション、GGOおよび正常肺)の一例を示す図
【図4】CT画像の濃度値に対応するコンソリデーション、GGOおよび正常肺の判別データの一例を示す図
【図5】寄与特徴量同定部に設けられた各所見に対応する判別器のブロック図
【図6】類似画像X、Y、Zの一例を示す図
【図7】各判別器の算出した、クエリー画像の所見A、B、Cに対応するスコア、類似画像の所見A、B、Cに対応するスコア、および各類似画像X、Y、Zの各所見A、B、Cに対応する寄与度の一例を示す図
【図8】所見情報の表示例を示す図
【図9】特徴量−所見テーブルの一例を示す図
【図10】類似画像の各特徴量に対応する各所見の表示例を示す図
【図11】従来の類似画像検索の出力例を示す図
【発明を実施するための形態】
【0031】
図1は本発明の好ましい実施形態に係る症例画像検索システム100の概略構成図である。このシステムは、特徴量計算部1、類似検索部2、寄与特徴量同定部3、変換部4、特徴量/所見変換DB5、表示部6、症例登録部7、特徴量計算部8、症例データベース(DB)10を含む。
【0032】
症例画像検索システム100は、コンピュータ(CPU,RAM,ROMなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの)で構成することができる。各ブロックは1つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータやロジック回路で構成し、かつそれらをネットワークやシステムバスなどのデータ通信手段で接続することでこのシステムを構成してもよい。また、特徴量計算部1、類似検索部2、寄与特徴量同定部3、変換部4、症例登録部7、特徴量計算部8はコンピュータおよび当該コンピュータで実行されるプログラムモジュール(ROMなどのコンピュータ読取可能な記録媒体に格納)で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。表示部6は表示ディスプレイ、特徴量/所見変換DB5および症例DB10はハードディスクなどの大容量記憶媒体で構成できる。
【0033】
症例DB10は、検索対象画像となる症例画像と各症例画像に対応する付随情報を格納している。ここで、症例画像は、対応する付随情報に含まれる疾患分類情報に従い、疾患別(例えば特許文献5と同様、ICD10に対応した病名コード別)や所見(病変の性状)別に分類されて症例DB10に格納されている。
【0034】
症例DB10には、疾患分類別に統計情報、疾患情報、電子医学書の医学情報(特定の疾患に対しては間違えられやすい疾患の疾患情報や当該疾患に関する症例画像など)がハイパーリンクなどでリンクされている。リンク情報は付随情報に含めることができる。1つの症例画像にリンクする医学情報は1つでも複数でもよい。電子医学書は症例DB10に蓄積されていてもよいし症例DB10とは別のデータベース(例えば特許文献2参照)に蓄積されてもよい。
【0035】
付随情報には症例情報を含めることができる。症例情報には、画像診断名、病理診断名、所見(浸潤影、腫瘤、蜂窩肺など)、「CR」や「CT」などの撮像モダリティ情報、患者の氏名、年令、性別等の患者に関する個人情報を示す患者関連情報、登録者(担当医師名)、症例カンファレンスのあった年月日、撮像部位を示す撮像部位情報、読影医が作成した診断レポート等のテキストベースの診断情報が含まれる。
【0036】
また、疾患別の統計情報には、例えば、下記の情報が含まれる。
・代表症例における類似度(疾患内の最高類似度)
・平均類似度
・症例DB内の該当疾患の総登録件数
・代表症例に近い症例(症例パターン)の登録件数
・症例パターンにおける特徴…主な症状
・症例パターンにおける患者の特徴…平均年齢、病歴、喫煙歴など
・全国/地域別罹患率
・その他
症例DB10には、特徴量計算部8により各症例画像の部位から抽出された特徴量(第2の特徴量)が格納されている。ただし、症例画像自体が症例DB10に蓄積されていれば、事後的にその症例画像を特徴量計算部8などで解析することで第2の特徴量を得ることができるから、症例DB10に第2の特徴量を登録することが本願発明の実施にあたって常に必ず必要なのではない。症例画像は症例登録部7から特徴量計算部8に入力される。特徴量計算部8の特徴量の計算方式は、特徴量計算部1と同様である。
【0037】
症例登録部7は、症例DB10の情報を登録する。症例登録部7は、所望の医用撮像装置から症例画像を入力する。症例登録部7によって症例DB10に登録される症例画像は、クエリー画像と同様に各種の医用撮像装置(CT装置、MRI装置、PET装置、X線装置、US装置、内視鏡、マンモグラフィ装置、顕微鏡用カメラなど)から得られる。また、症例登録部7によって症例DB10に登録される付随情報は、医用撮像装置、操作装置、ネットワーク経由で接続した情報端末などから入力することができる。
【0038】
症例DB10に含まれる個々の付随情報の個々の疾患分類は、ディレクトリ、フォルダ、パーティションのように症例DB10に設けられた論理的な格納単位に対応する。この論理的な格納単位は、階層構造(ツリー構造)をとることができる。
【0039】
各疾患分類に対応するデータセットを物理的な格納単位に格納することで分類してもよい。物理的な格納単位ごとに個別の論理的な格納単位を設けることもできる。例えば、症例DB10とは別の物理的あるいは論理的な格納単位に、電子医学書のデータベースを構築し、その中では、症例DB10とは異なる階層構造を構築できる。
【0040】
症例登録部7による症例DB10へのデータ登録のタイミングは任意である。また、登録すべきデータのソースは任意であり、操作装置、ネットワーク経由で接続した情報端末、CDROMやDVDその他の記憶媒体読取装置、あるいは電子医学書のデータベース(ただし、症例画像がなく特徴量だけが格納されているレコードの全部または一部を対象とする)などからデータを入力して登録することができる。
【0041】
特徴量計算部1は、CT画像、MRI画像、PET画像、X線画像(CR画像含む)、US(超音波)画像、内視鏡画像、マンモグラフィ、病理画像などの診断対象画像(クエリー画像)を入力する。例えばCT画像は個々のピクセルのCT値を輝度に変えたデジタル画像であるが、このCT画像をクエリー画像として入力することができる。特徴量計算部1は、これらのクエリー画像と、クエリー画像のサイズや撮像日時といった付帯情報や症例情報を入力することもできる。特徴量計算部1および医療用画像診断装置の間の通信プロトコルおよびクエリー画像および付帯情報のフォーマットは、DICOM(Digital Imaging and Communication in Medicine)のような所定の規格に従っている。
【0042】
特徴量計算部1は、入力されたクエリー画像を解析し、症例DB10に蓄積された症例画像または疾患分類の検索に必要な特徴量(第1の特徴量)を作成する。
【0043】
特徴量計算部1によって算出される特徴量は画像データの平均、分散、最大値、最小値、輝度ヒストグラム、関心領域を構成する画素の画素値(以下、濃度値と呼称)といった画素値に関する特徴量や、関心領域の位置、関心領域の輪郭の円形度やモーメントなど形状に関する特徴量や、関心領域や断面の半径、体積、面積など大きさに関する特徴量の他、非特許文献2などの手法によって得られるROI(関心領域)の病変部の形状情報やテクスチャ情報でもよい。
【0044】
あるいは、症例DB10に一旦登録された情報を所定の数式(例えば主成分分析、独立成分分析)で処理した値を特徴量としてもよい。要するに、公知の手法で得られた画像の輪郭・画素値、位置情報などを特徴量とすることができる。
【0045】
また、特徴量の計算の前処理として画像の病変領域を特定し、その病変領域を対象とした特徴量の計算を行ってもよい。病変領域の特定の例としては、特許文献6のような注目領域の位置情報をもとに領域を抽出する手法などがある。
【0046】
また、病変領域の特定は必ずしも全自動でなくてもよく、ユーザによる操作装置の指定した領域近傍の特徴量(画素値に関する特徴量あるいは輪郭など形状に関する特徴量)を利用した画像処理技術で半自動的に抽出してもよい。このように、病変部位に特化した特徴量を用いることで、着目した病変部位と類似する症例画像の検索を行える。どの種類の特徴量を使用して症例画像を検索するかは、特徴量計算部1に撮像モダリティ情報ごとに予め設定されている。例えば、「CT」には濃度値が設定され、CT画像の特徴量として濃度値が計算される。
【0047】
特徴量計算部1は、算出した特徴量の種類を寄与特徴量同定部3に通知する。算出した特徴量の種類とは、画素値に関する特徴量、形状に関する特徴量、大きさに関する特徴量が挙げられる。
【0048】
類似検索部2は、特徴量計算部1の算出した第1の特徴量と症例DB10に蓄積された特徴量(第2の特徴量)とを比較し、両者の類似度を算出する。第2の特徴量はクエリー画像と同じ手法に従って予め作成および蓄積されている。
【0049】
類似度の算出方法としては公知のもの、例えば特徴量の値の差分、特徴量空間(重み付き空間も可)上の最小2乗法などが採用できる。説明の便宜上、類似度Sは以下の数式で定義する。ただし、本願発明の実施のために、類似度Sの算出基準がこの定義に限定されるわけではない。
【0050】
【数1】
【0051】
特徴量mi(i=1,2,…,n)は登録済みの症例画像の注目領域の特徴量、Mi(i=1,2,…,n)は診断画像の注目領域から抽出された特徴量である。wi(i=1,2,…,n)は、疾患別に予め定義された各特徴量に対する重み付け係数である。mi、Mi、wiの添え字iは特徴量空間上の座標軸を示す。双方の特徴量が近いほど類似度Sの値が小さくなり、双方の特徴量が遠いほど類似度Sの値が大きくなる。
【0052】
類似検索部2は、症例DB10に蓄積された全ての症例画像あるいは予め操作装置から指定された付随検索項目に対応する症例画像のうち、クエリー画像の特徴量情報との類似度Sが所定の閾値よりも高い第2の特徴量(類似特徴量)を特定する。付随検索項目はユーザが任意に指定できる情報であり、例えば、撮像部位(胸部、乳房など)、解剖学的位置情報(肝臓右葉、肺S1など)、撮像モダリティ情報、患者関連情報、画像診断名、病理診断名、所見(浸潤影、腫瘤、蜂窩肺など)、撮像モダリティ情報、担当医師名など、症例DB10の付随情報とマッチングによる症例画像の絞り込みが可能な情報が挙げられる。
【0053】
類似検索部2は、症例DB10において類似検索部2の特定した類似特徴量に対応する症例画像である類似画像と、その類似画像に対応する付随情報(疾患分類など)を表示部6に出力する。
【0054】
表示部6は、類似画像、後述する所見情報、付随情報に含まれる疾患情報、例えば症例情報(画像診断名、病理診断名、所見など)や、当該症例情報によってリンクされた電子医学書に含まれる医学情報(電子医学書における病名、病原体、症状、患部ごとの分類など)などを表示する。表示項目をキーボードやマウスなどの操作装置で選択できてもよい。
【0055】
表示部6は、映像表示手段以外の出力手段に代替できる。例えば出力手段をネットワークI/Fとし、所望の通信端末(パソコン、携帯電話、PDAなど)に情報を出力してもよい。あるいは映像表示手段とともに、印刷手段によって情報を出力してもよい。また、音声出力手段からの合成音声の出力などによって情報を出力してもよい。
【0056】
操作装置からの指示に応じ、類似画像の表示/非表示を切り替えてもよい。類似画像の非表示が指示されれば、疾患名だけが表示される。
【0057】
また、付随情報に含まれる疾患名以外の情報、例えば医学情報へのリンクを表示し、そのリンクを指定することで対応する医学情報を表示してもよい。
【0058】
寄与特徴量同定部3は、類似検索部2が類似画像の検索に寄与した特徴量の種類(キー特徴量)を、特徴量計算部1が通知してきた特徴量の種類に従って同定する。例えば、寄与特徴量同定部3は、特徴量計算部1が「濃度値」を通知してくればキー特徴量は濃度値と同定する。あるいは、特徴量計算部1が「関心領域の形状」を通知してくればキー特徴量は関心領域の形状と同定する。複数の特徴量の種類が通知された場合は、その中から類似画像の検索に寄与した特徴量の種類を判別する。この処理は後述する。
【0059】
変換部4は、特徴量/所見変換DB5に蓄積された、寄与特徴量同定部3が同定した特徴量の種類に対応する判別データと、類似画像に対応する当該種類の特徴量とを比較することで、類似画像に対応する所見を特定する。
【0060】
特徴量/所見変換DB5は、特徴量の種類に対応する判別データを格納した不揮発性記憶媒体(ハードディスクユニットなど)を有している。判別データは、当該種類の特徴量の分布に対応した所見を示している。
【0061】
例えば、図2に示すようなCT画像をクエリー画像として類似検索部2に入力して、図3のような類似画像を得たとする。
【0062】
特徴量の種類「濃度値」に対応する判別データの単純な一例としては、注目領域内の平均濃度値の範囲に1:1に対応する所見を規定することが挙げられる。すなわち、特徴量/所見変換DB5は、−200以上の平均濃度値範囲R1に対応する所見は「コンソリデーション」、−800超〜−200未満の平均濃度値範囲R2に対応する所見は「GGO(Ground Glass Opacity;すりガラス陰影)」、−800以下の平均濃度値範囲R3に対応する所見は「正常肺」であることを規定する判別データを格納している。
【0063】
この場合、変換部4は、類似検索部2が出力した類似画像に対応する特徴量に含まれる注目領域内の平均濃度値と特徴量/所見変換DB5の当該判別データとを比較し、類似画像の平均濃度値に対応する所見を特定して、特定された所見を表示部6に出力する。
【0064】
なお、寄与特徴量同定部3に設けられた「コンソリデーション」の判別器3A、「GGO」の判別器3B、「正常肺」の判別器3Cが、それぞれ、類似画像の平均濃度値がR1、R2、R3に属するか否かを判定した上で、その結果”Yes”または”No”を変換部4に出力し、変換部4は”Yes”の結果を出力した判別器に対応する所見情報(「コンソリデーション」、「GGO」、または「正常肺」)を表示部6に出力してもよい。
【0065】
特徴量の種類「濃度値」に対応するより精緻な判別データの一例としては、特徴量に対応した各所見の出現確率を示す確率分布曲線が挙げられる。すなわち、図4に示すような、特徴量の種類「濃度値」に対応する判別データは、濃度値=20近傍を平均値に取る「コンソリデーション」の確率分布曲線f1、濃度値=−580近傍を平均値に取る「GGO」の濃度値の確率分布曲線f2、濃度値=−930近傍を平均値に取る「正常肺」の濃度値の確率分布曲線f3を有しており、f1、f2、f3はそれぞれコンソリデーション、GGO、正常肺の所見に対応する。横軸は注目領域内の平均濃度値、縦軸は当該濃度値に対応する所見(コンソリデーション、GGOまたは正常肺)の出現する確からしさを表す。f1、f2、f3は、CT画像の平均濃度値のサンプルをもとに統計学的手法に従って作成されて特徴量/所見変換部5に格納されている。なお図4のf1、f2、f3は正規分布であるが、統計的解析の結果それ以外の分布に従う可能性もあり、必ずしも正規分布となることを意味するのではない。
【0066】
まず、変換部4は、類似検索部2が出力した類似画像に対応する特徴量と特徴量/所見変換DB5に蓄積された各所見に対応する確率分布曲線とに基づき、各所見の出現確率を特定する。例えば、ある類似画像に対応する注目領域内の平均濃度値が20の場合を考える。変換部4は、f1、f2、f3から、濃度値=20に対応する「コンソリデーション」、「GGO」および「正常肺」の出現確率p1〜p3、すなわち55%、略0%、略0%を特定する。
【0067】
変換部4は、特定した出現確率のうち最も高い出現確率に対応する所見を、類似画像の検索のポイントとなった所見(ポイント所見R)と特定する。そして、変換部4は、ポイント所見Rを表示部6に出力する。異なる所見に同一の出現確率が複数存在する場合、その旨を表示部6に出力する。あるいはその場合はポイント所見を出力しないことも考えられる。
【0068】
表示部6は、類似画像とポイント所見とを対応づけて表示する。表示部6は、映像表示手段以外の出力手段に代替できる。例えば出力手段をネットワークI/Fとし、所望の通信端末(パソコン、携帯電話、PDAなど)に情報を出力してもよい。あるいは映像表示手段とともに、印刷手段によって情報を出力してもよい。あるいはメディアライタによりCDROMやフレキシブルディスクのような記録媒体に情報を出力してもよい。また、音声出力手段からの合成音声の出力などによって情報を出力してもよい。
【0069】
上記では1次元の特徴量から単一の所見を特定しているが、多次元(2次元以上)の特徴量から単一の所見を特定してもよい。例えば、特徴量が濃度値および形状に関する値の2次元のパラメータを含んでいる場合、特徴量/所見変換DB5には上記のように「コンソリデーション」、「GGO」および「正常肺」の各所見の濃度値に対応した出現頻度を示す確率分布曲線f1〜f3と、「蜂窩肺」の所見の形状に関する値に対応した出現頻度を示す確率分布曲線f4(図示せず)を格納しておく。変換部4は、特徴量に含まれる濃度値から、「コンソリデーション」、「GGO」および「正常肺」の各所見に対応する出現確率p1〜p3を特定するとともに、特徴量に含まれる形状に関する値から「蜂窩肺」の所見に対応する出現確率p4を特定する。変換部4は、特定した出現確率p1〜p4のうち最も高い出現確率に対応する所見を、ポイント所見Rと特定し、これを表示部6に出力する。要するに多次元の特徴量であっても、その特徴量の各次元の要素に対応する特定の所見(1つでも複数でも可)の出現確率(スコア)を特定する判別器を用意しておき、各判別器の出力した各所見の出現確率を比較して、最も高い出現確率の所見をポイント所見とすればよい。
【0070】
例えば、図5に示すように、寄与特徴量同定部3に、びまん性肺疾患の所見A「コンソリデーションのみ」、所見B「空洞を伴ったコンソリデーション」、所見C「気管支を含んだコンソリデーション」の各々に対応する3つの判別器3A、3B、3Cを設ける。なお、その他の所見D、E・・があれば、それに対応する判別器3D、3E・・を設けることもできる。
【0071】
判別器3A、3B、3Cは、それぞれ、特徴量計算部1が算出したクエリー画像の特徴量から、クエリー画像が所見A、B、Cに該当する確からしさを表すスコアを算出するとともに、類似検索部2が検索した類似画像に対応する特徴量から、類似画像が所見A、B、Cに該当する確からしさを表すスコアを算出する。ここでは類似画像はX、Y、Zの3つとする(図6参照)。ただし、判別器3A、3B、3Cは、図示したものよりも多いあるいは少ない類似画像からスコアを算出することができる。
【0072】
スコアの算出は、例えば、予め判別器3A、3B、3Cの不揮発性記録媒体(ROMなど)に記憶された所見A、B、Cを示す典型的な類似画像の特徴量とクエリー画像の特徴量の間で算出した類似度γ、所見A、B、Cを示す典型的な症例画像の特徴量と類似画像の特徴量の間で算出した類似度δに基づいて行うことができる。これらの類似度γ・δの算出方法は上述のSと同様である。
【0073】
次に判別器3A、3B、3Cは、所見A、B、Cの各々に対応するクエリー画像のスコアと類似画像のスコアとに基づいて、各類似画像の各所見A、B、Cに対応する寄与度を算出する。
【0074】
例えば、まず判別器3A、3B、3Cは、それぞれ、所見A、B、Cの各々に対応するクエリー画像のスコアRA、RB、RC(まとめてRと称する)と類似画像X、Y、ZのスコアQA、QB、QC(まとめてQと称する)との差PA、PB、PC(まとめてPと称する)を算出する。次に判別器3A、3B、3Cは、所見の各々に対応する類似画像の寄与度Zを、Z=α×(100−P)+β×Qにより算出する。なお例えばR=γ、Q=δで計算する。
【0075】
つまり、所見Aに対応する寄与度ZA=α×(100−PA)+β×QA、所見Bに対応する寄与度ZB=α×(100−PB)+β×QB、所見Cに対応する寄与度ZC=α×(100−PC)+β×QCである。
【0076】
ここで、1−Pは数値順を反転するために使用される。1−Pは、両スコアの差が小さい(クエリー画像と類似画像の特徴量が近い)ことを表す。また、Qは、類似画像が典型症例画像によく類似していることを表す。αおよびβは重みであり、α+β=1であるが、寄与度を決めるに当たって1−PまたはQのいずれを重視するかによりαおよびβは決定される。双方とも重視する場合はα=β=0.5とする。
【0077】
図7は、判別器3A、3B、3Cの算出した、クエリー画像の所見A、B、Cに対応するスコア、類似画像の所見A、B、Cに対応するスコア、および各類似画像X、Y、Zの各所見A〜Cに対応する寄与度の一例を示す。
【0078】
変換部4は、寄与特徴量同定部3が算出した各所見に対応する寄与度のうち最も大きい値に対応する所見である寄与所見を類似画像ごとに特定する。図7の例では、所見Aに対応する類似画像Xの寄与度、所見Bに対応する類似画像Yの寄与度、所見Cに対応する類似画像Zの寄与度が最も高いので、類似画像Xに対応する寄与所見は所見A、類似画像Yに対応する寄与所見は所見B、類似画像Zに対応する寄与所見は所見Cと特定する。
【0079】
変換部4は、寄与所見に対応する所見情報を特徴量/所見変換DB5から取得し、寄与所見ごとに取得した所見情報を当該寄与所見に対応する類似画像と対応づけて表示部6に出力する。特徴量/所見変換DB5には、所見A、B、Cごとの所見情報、例えば「コンソリデーションのみ」、「空洞を伴ったコンソリデーション」、「気管支を含んだコンソリデーション」という文字情報が蓄積されているとすると、類似画像Xには「コンソリデーションのみ」、類似画像Yには「空洞を伴ったコンソリデーション」、類似画像Zには「気管支を含んだコンソリデーション」という文字情報が対応づけられる。
【0080】
所見情報は文字情報、アイコン、表、グラフのような視覚的に認識できる映像情報でもよいし、聴覚的に認識できる音声情報、あるいはそれらの組み合わせでもよい。また、所見情報そのものを表示する代わりに、所見情報を表示するためのハイパーリンクを表示してもよい。
【0081】
表示部6は、変換部4から入力された各類似画像と各所見情報とを対応づけて表示する。例えば図8のように、各類似画像の近傍に「類似特徴」という見出しを設け、その見出しに続けて、各類似画像に対応する所見情報を表示する。その他、各類似画像に対応する付随情報、例えば、症例番号、分類、画像診断名などを表示してもよい。
【0082】
以上のように、クエリー画像に類似する症例画像として検索された類似画像ごとに、その類似画像がクエリー画像と似ていると判断された特徴量に対応する所見を所見情報として出力するから、ユーザは、類似画像検索のポイントを容易に理解できるし、検索結果の妥当性を判断できる。
【0083】
<第2実施形態>
上述のように、同一の画像から抽出された多次元(2次元以上)の特徴量に基づいて種類の異なる複数の所見を特定してもよい。例えば、特徴量/所見変換DB5は、肺野結節の画像の注目領域の形態に関する所見(類円形、分葉状、多角形、星型、スピクラ、鋸歯状、不整形)に対応する特徴量(円形度、2次モーメントなどで表現)、大きさに関する所見(小、中、大)に対応する特徴量(面積、長径、短径などで表現)、濃度値に関する所見(Pure GGO(スリガラス影)、Mixed GGO(スリガラス影と高濃度)、Solid(高濃度))に対応する特徴量(濃度値の平均値、偏差、最大値、最小値などで表現)、注目領域の辺縁部の濃度に関する所見(明瞭、不明瞭)に対応する特徴量(濃度差などで表現)、解剖学的な位置に関する所見(肺葉分類(右上、中、下葉、左上、下葉))に対応する特徴量(肺野内座標などで表現)を規定した特徴量−所見テーブル(図9参照)を不揮発性記憶媒体に記憶しておく。
【0084】
変換部4は、類似検索部2から出力された類似画像の特徴量に対応する所見を特定する。この所見と特徴量の関係は、特許文献10と同様にして定めることができる。また、寄与特徴量同定部3による各類似画像の各所見に対応する寄与度の計算は、第1実施形態と同様クエリー画像の特徴量と類似画像の特徴量とに基づいて行うことができる。ただしここでは、各所見に対応する寄与度は、当該所見に関係する特徴量のみを用いて算出する。
【0085】
例えば、寄与特徴量同定部3は、類円形、分葉状など形状に関する所見の寄与度を、クエリー画像および類似画像の円形度および2次モーメントに基づいて計算する。あるいは、大きさに関する所見の寄与度を、クエリー画像および類似画像の面積、長径および短径に基づいて計算する。あるいは、濃度値に関する所見の寄与度を、クエリー画像および類似画像の濃度の平均値などに基づいて計算する。あるいは注目領域の辺縁部の濃度に関する所見の寄与度を、クエリー画像および類似画像の注目領域の内外の辺縁部の濃度差に基づいて計算する。あるいは解剖学的な位置に関する所見の寄与度を、クエリー画像および類似画像の肺野内座標に基づいて計算する。
【0086】
表示部6は、各類似画像と、変換部4によって特定された当該類似画像の各特徴量に対応する各所見とを表示する。表示の仕方は任意であるが、例えば、類似画像の特長として、まず形状から位置までの5つの所見の分類のうち、寄与度が所定の閾値より高いものを表示し、その中でどの所見の寄与度が最も高いかも表示する(図10参照)。この閾値は所見ごとに設けることができる。このため、同じ類似画像が複数の所見に対して寄与度が高い旨が表示されることもあるし、またどのような所見にも寄与度が高くない類似画像、単一の所見だけに寄与度が高い類似画像もありうる。
【0087】
このように、類似画像から抽出された様々な種類の特徴量に対応した所見を出力し、ユーザは、類似画像検索のポイントを容易に理解できるし、検索結果の妥当性を判断できる。
【符号の説明】
【0088】
1:特徴量計算部、2:類似検索部、3:寄与特徴量同定部、4:変換部、5:特徴量/所見変換DB、7:症例登録部、8:特徴量計算部、10:症例DB
【技術分野】
【0001】
本発明は、診断対象画像から抽出した特徴量に基づいてその診断対象画像と関係する症例を検索する技術に関する。
【背景技術】
【0002】
特許文献1は、画像データ入力手段が、被写体画像中に設定されたROIの画像データP′を入力し、検索手段が、入力されたROI画像データP′と画像の特性が類似している部分を有する類似画像データとその類似画像データに関連する診断データを症例データベースから検索して読み込む。検索手段は、選択手段により選択された類似判定項目について類似性を判定して検索を行う。出力手段が、検索手段による検索結果を表す検索結果情報を表示手段に出力し表示手段が検索結果をモニタに表示させる。
【0003】
特許文献2は、電子化された医学書を格納したデータベースの検索システムの一例である。一般に電子医学書とは、医学書を電子化することによりコンピュータ上で閲覧できるようにされているコンテンツである。症例データベースの各症例データには、関連する電子医学書の情報を参照できるハイパーリンクなどのデータを対応づけることがある。
【0004】
特許文献3および4は、階層化された医用データベースの一例である。
【0005】
特許文献5は、医用情報を分類してデータベースに登録する一例である。
【0006】
特許文献6は注目領域の位置情報をもとに病変領域を抽出する技術の一例である。
【0007】
特許文献7によると、医用画像撮影装置によって取得した被検体の画像データセットを読み込み、その画像データセットから濃度情報を算出する対象となる対象臓器を抽出する。次に、対象臓器の任意の断面像を作成し、断面像における対象臓器領域内の任意の回転中心、又は領域を基準として径方向に連続する濃度情報(プロファイル)を算出する。算出された濃度情報が、特異量(正常の濃度情報とどれだけ異なっているかを表す指標)を算出し、その特異量の分布を示す特異量マップを作成・表示する。濃度プロファイルにおいて、異常部位付近では、濃度プロファイルが正規形状とは異なる形状を示す。この形状変化や濃度勾配の急激な変化に基づいて、濃度値の差異を操作者に提示することで、操作者は効率的に異常部位の有無や位置を把握することが可能となる。
【0008】
特許文献8によると、医用画像に含まれる関心領域の特徴量と医療情報とが、互いに関連付けられて格納される医療情報格納手段と、医療情報を提供するために参照される参照医用画像が入力される画像入力手段と、参照医用画像に含まれる関心領域を抽出する関心領域抽出手段と、関心領域を計測して特徴量を算出する特徴量算出手段と、特徴量算出手段が算出した特徴量に基づいて医療情報格納手段を検索し、医療情報を抽出する医療情報検索手段と、医療情報検索手段が抽出した医療情報を出力する処理結果出力手段と、を備える。特徴量は、被検体の肺野領域の体積に占める低濃度吸収値領域の体積の割合である。また、医療情報は、患者又は健康診断の受診者向けのコメントである。
【0009】
特許文献9によると、断層像のテクスチャー情報を用いて陰影の正常異常を判別するものであり、正常異常の判別方法の一つとして、原画像と補間画像とのそれぞれのテクスチャー情報に基づいて正常異常の判別を行なうようにした。これ以外にも、原画像と補間画像との間の濃度テクスチャー情報、又は原画像と補間画像との間の陰影形状の相似度に基づいて、正常異常の判別を行なう。
【0010】
特許文献10では、注目領域が肺野に現れる腫瘍や肺結節などの異常陰影である場合、異常陰影は形態、大きさ、辺縁や領域内の濃度に特徴が表れる。また、各異常陰影が現れた解剖学的な位置もその異常陰影の特徴であると考えられる。そこで、注目領域を解析して、形態の特徴、大きさの特徴、注目領域内の濃度の特徴、注目領域の辺縁部の濃度の特徴、解剖学的な位置などを求める。異常陰影は、濃度によってPure GGO(スリガラス影)、Mixed GGO(スリガラス影と高濃度)、Solid(高濃度)に分けられる。抽出手段によって抽出された注目領域内の平均値、偏差、最大値、最小値を特徴量として、既存の非線形判別手法、設計判別手法などを用いて判別することができる。さらに、濃度値から、異常陰影の領域内に石灰化有無や空洞有無でわけることができる。石灰化は、注目領域内の濃度の最大値が一定のしきい値(例えば、目安CT値500)以上の場合は、石灰化が存在するものと判定する。空洞は、注目領域内の濃度の最小値が一定のしきい値(例えば、目安CT値500)以下の場合に空洞が存在すると判定する。また、所見を読影レポートに自動入力するために、特徴量と所見とを一致させている。
【0011】
非特許文献1は関心領域中の画像特徴量の算出技術の一例である。
【先行技術文献】
【特許文献】
【0012】
【特許文献1】特開2004−5364号公報
【特許文献2】特開2004−118566号公報
【特許文献3】特開2007−105461号公報
【特許文献4】特開2004−185330号公報
【特許文献5】特開2004−334647号公報
【特許文献6】特開2008−245719号公報
【特許文献7】特開2007−275141号公報
【特許文献8】特開2008−142532号公報
【特許文献9】特開2006−14967号公報
【特許文献10】特開2007−305107号公報
【非特許文献】
【0013】
【非特許文献1】クーツ、エドワーズ、テイラー、「動的見えモデル」、第5回計算機視覚欧州会議報、ドイツ、シュプリンガー、1998年、第2巻484−498頁(T. F. Coootes, G. J. Edwards, C. J. Taylor “Active Appearance Models”, In Proc. 5th European Conference on Computer Vision, Springer)
【発明の概要】
【発明が解決しようとする課題】
【0014】
従来技術の類似画像検索システムにて類似画像を表示したときに、何をポイントに類似性を判断したのかがユーザである画像診断医には分からない。例えば図11に示すような画像I1をクエリー画像とし、クエリー画像および症例画像の平均濃度値を特徴量とした類似画像検索、すなわちクエリー画像との間で平均濃度が近い症例画像を検索し、類似画像I2が検索結果として出力されたとする。この検索結果では、単に画像が表示されるだけで、双方の何の特徴が似かよっているのかがユーザに示されない。
【0015】
本発明は、類似画像検索結果の妥当性をユーザが判断するため、類似と判断したポイントをユーザが理解可能な形式で表現することを目的とする。
【課題を解決するための手段】
【0016】
本発明は、クエリー画像を入力するクエリー画像入力部と、クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、症例画像と症例画像の特徴量とを対応づけて記憶するデータベースと、クエリー画像特徴量算出部の算出したクエリー画像の特徴量とデータベースの特徴量とを比較することで、クエリー画像に類似する症例画像である類似画像を検索する検索部と、検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力する所見情報出力部と、を備える症例画像検索装置を提供する。
【0017】
ここで、所見情報出力部は、類似画像が特定の所見を特徴づけるか否かを判別する判別器を有し、判別器が類似画像が特定の所見を特徴づけると判別したことに応じ、特定の所見を示す所見情報を類似画像に対応づけて所定の出力装置に出力する。
【0018】
所見情報出力部は、判別器により、類似画像が特定の所見を特徴づける程度を示すスコアを算出し、スコアに応じて判別を行う。
【0019】
所見情報出力部は、複数の類似画像のうち最も高いスコアに対応する類似画像に特定の所見を示す所見情報を対応づけて所定の出力装置に出力する。
【0020】
所見情報出力部は、類似画像が特定の所見を特徴づけるか否かを判別する判別器を特徴量の種類ごとに有し、判別器により類似画像のスコアを特徴量の種類ごとに算出し、類似画像に対応する特徴量の種類ごとのスコアのうち最も高いスコアを算出した判別器は類似画像が特定の所見を特徴づけると判別する。
【0021】
スコアをZとすると、Z=α×(100−P)+β×Q(ここで、Pはクエリー画像と類似画像の類似度の差、Qは特定の所見に対応する典型画像と類似画像の類似度の差、αおよびβは重み、類似度は特徴量空間上の距離)により算出される。
【0022】
所見情報出力部は、類似検索部が検索した類似画像の特徴量をパラメータとした各所見の出現確率を示す確率分布曲線に基づき、類似画像の特徴量において最も高い出現確率を示す所見を特定し、特定された所見を示す所見情報を出力する。
【0023】
検索部が出力した類似画像に対応する特徴量と各所見に対応する特徴量の分布範囲とを比較し、類似画像の特徴量が属する分布範囲に対応する所見を特定し、特定された所見を示す情報を出力する。
【0024】
クエリー画像および症例画像はびまん性肺疾患のCT画像であり、クエリー画像および類似画像の特徴量は、CT画像の平均濃度値を含み、類似画像の特徴量が属する分布範囲に対応する所見は、−200以上の平均濃度値範囲に対応するコンソリデーション、−800超〜−200未満の平均濃度値範囲に対応するGGO(Ground Glass Opacity;すりガラス陰影)、−800以下の平均濃度値範囲に対応する正常肺を含む。
【0025】
所見情報出力部は、所定の記録媒体に格納された、類似画像の注目領域の位置に対応する所見情報、形状に対応する所見情報、大きさに対応する所見情報、濃度値に対応する所見情報、および注目領域内外の濃度差に対応する所見情報を規定するテーブルを参照することで類似画像の検索に寄与した特徴量に対応する所見情報を特定し、特定された所見情報を所定の出力装置に出力する。
【0026】
類似画像の注目領域の位置は肺野内の解剖学的な位置を含む。
【0027】
本発明は、コンピュータが、クエリー画像を入力するステップと、入力したクエリー画像の特徴量を算出するステップと、症例画像と症例画像の特徴量とを対応づけて記憶するデータベースの特徴量と算出したクエリー画像の特徴量とを比較することで、クエリー画像に類似する症例画像である類似画像を検索するステップと、検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力するステップと、を実行する症例画像検索方法を提供する。
【0028】
この症例画像検索方法をコンピュータに実行させるための症例画像検索プログラムも本発明に含まれる。
【発明の効果】
【0029】
本発明によると、クエリー画像に類似する画像として検索された類似画像に所見情報が対応づけられて出力されるため、どういうポイントで類似画像の類似性が判断されたかがよく分かる。
【図面の簡単な説明】
【0030】
【図1】症例画像検索システムの概略構成図
【図2】クエリー画像の一例を示す図
【図3】類似画像(コンソリデーション、GGOおよび正常肺)の一例を示す図
【図4】CT画像の濃度値に対応するコンソリデーション、GGOおよび正常肺の判別データの一例を示す図
【図5】寄与特徴量同定部に設けられた各所見に対応する判別器のブロック図
【図6】類似画像X、Y、Zの一例を示す図
【図7】各判別器の算出した、クエリー画像の所見A、B、Cに対応するスコア、類似画像の所見A、B、Cに対応するスコア、および各類似画像X、Y、Zの各所見A、B、Cに対応する寄与度の一例を示す図
【図8】所見情報の表示例を示す図
【図9】特徴量−所見テーブルの一例を示す図
【図10】類似画像の各特徴量に対応する各所見の表示例を示す図
【図11】従来の類似画像検索の出力例を示す図
【発明を実施するための形態】
【0031】
図1は本発明の好ましい実施形態に係る症例画像検索システム100の概略構成図である。このシステムは、特徴量計算部1、類似検索部2、寄与特徴量同定部3、変換部4、特徴量/所見変換DB5、表示部6、症例登録部7、特徴量計算部8、症例データベース(DB)10を含む。
【0032】
症例画像検索システム100は、コンピュータ(CPU,RAM,ROMなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの)で構成することができる。各ブロックは1つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータやロジック回路で構成し、かつそれらをネットワークやシステムバスなどのデータ通信手段で接続することでこのシステムを構成してもよい。また、特徴量計算部1、類似検索部2、寄与特徴量同定部3、変換部4、症例登録部7、特徴量計算部8はコンピュータおよび当該コンピュータで実行されるプログラムモジュール(ROMなどのコンピュータ読取可能な記録媒体に格納)で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。表示部6は表示ディスプレイ、特徴量/所見変換DB5および症例DB10はハードディスクなどの大容量記憶媒体で構成できる。
【0033】
症例DB10は、検索対象画像となる症例画像と各症例画像に対応する付随情報を格納している。ここで、症例画像は、対応する付随情報に含まれる疾患分類情報に従い、疾患別(例えば特許文献5と同様、ICD10に対応した病名コード別)や所見(病変の性状)別に分類されて症例DB10に格納されている。
【0034】
症例DB10には、疾患分類別に統計情報、疾患情報、電子医学書の医学情報(特定の疾患に対しては間違えられやすい疾患の疾患情報や当該疾患に関する症例画像など)がハイパーリンクなどでリンクされている。リンク情報は付随情報に含めることができる。1つの症例画像にリンクする医学情報は1つでも複数でもよい。電子医学書は症例DB10に蓄積されていてもよいし症例DB10とは別のデータベース(例えば特許文献2参照)に蓄積されてもよい。
【0035】
付随情報には症例情報を含めることができる。症例情報には、画像診断名、病理診断名、所見(浸潤影、腫瘤、蜂窩肺など)、「CR」や「CT」などの撮像モダリティ情報、患者の氏名、年令、性別等の患者に関する個人情報を示す患者関連情報、登録者(担当医師名)、症例カンファレンスのあった年月日、撮像部位を示す撮像部位情報、読影医が作成した診断レポート等のテキストベースの診断情報が含まれる。
【0036】
また、疾患別の統計情報には、例えば、下記の情報が含まれる。
・代表症例における類似度(疾患内の最高類似度)
・平均類似度
・症例DB内の該当疾患の総登録件数
・代表症例に近い症例(症例パターン)の登録件数
・症例パターンにおける特徴…主な症状
・症例パターンにおける患者の特徴…平均年齢、病歴、喫煙歴など
・全国/地域別罹患率
・その他
症例DB10には、特徴量計算部8により各症例画像の部位から抽出された特徴量(第2の特徴量)が格納されている。ただし、症例画像自体が症例DB10に蓄積されていれば、事後的にその症例画像を特徴量計算部8などで解析することで第2の特徴量を得ることができるから、症例DB10に第2の特徴量を登録することが本願発明の実施にあたって常に必ず必要なのではない。症例画像は症例登録部7から特徴量計算部8に入力される。特徴量計算部8の特徴量の計算方式は、特徴量計算部1と同様である。
【0037】
症例登録部7は、症例DB10の情報を登録する。症例登録部7は、所望の医用撮像装置から症例画像を入力する。症例登録部7によって症例DB10に登録される症例画像は、クエリー画像と同様に各種の医用撮像装置(CT装置、MRI装置、PET装置、X線装置、US装置、内視鏡、マンモグラフィ装置、顕微鏡用カメラなど)から得られる。また、症例登録部7によって症例DB10に登録される付随情報は、医用撮像装置、操作装置、ネットワーク経由で接続した情報端末などから入力することができる。
【0038】
症例DB10に含まれる個々の付随情報の個々の疾患分類は、ディレクトリ、フォルダ、パーティションのように症例DB10に設けられた論理的な格納単位に対応する。この論理的な格納単位は、階層構造(ツリー構造)をとることができる。
【0039】
各疾患分類に対応するデータセットを物理的な格納単位に格納することで分類してもよい。物理的な格納単位ごとに個別の論理的な格納単位を設けることもできる。例えば、症例DB10とは別の物理的あるいは論理的な格納単位に、電子医学書のデータベースを構築し、その中では、症例DB10とは異なる階層構造を構築できる。
【0040】
症例登録部7による症例DB10へのデータ登録のタイミングは任意である。また、登録すべきデータのソースは任意であり、操作装置、ネットワーク経由で接続した情報端末、CDROMやDVDその他の記憶媒体読取装置、あるいは電子医学書のデータベース(ただし、症例画像がなく特徴量だけが格納されているレコードの全部または一部を対象とする)などからデータを入力して登録することができる。
【0041】
特徴量計算部1は、CT画像、MRI画像、PET画像、X線画像(CR画像含む)、US(超音波)画像、内視鏡画像、マンモグラフィ、病理画像などの診断対象画像(クエリー画像)を入力する。例えばCT画像は個々のピクセルのCT値を輝度に変えたデジタル画像であるが、このCT画像をクエリー画像として入力することができる。特徴量計算部1は、これらのクエリー画像と、クエリー画像のサイズや撮像日時といった付帯情報や症例情報を入力することもできる。特徴量計算部1および医療用画像診断装置の間の通信プロトコルおよびクエリー画像および付帯情報のフォーマットは、DICOM(Digital Imaging and Communication in Medicine)のような所定の規格に従っている。
【0042】
特徴量計算部1は、入力されたクエリー画像を解析し、症例DB10に蓄積された症例画像または疾患分類の検索に必要な特徴量(第1の特徴量)を作成する。
【0043】
特徴量計算部1によって算出される特徴量は画像データの平均、分散、最大値、最小値、輝度ヒストグラム、関心領域を構成する画素の画素値(以下、濃度値と呼称)といった画素値に関する特徴量や、関心領域の位置、関心領域の輪郭の円形度やモーメントなど形状に関する特徴量や、関心領域や断面の半径、体積、面積など大きさに関する特徴量の他、非特許文献2などの手法によって得られるROI(関心領域)の病変部の形状情報やテクスチャ情報でもよい。
【0044】
あるいは、症例DB10に一旦登録された情報を所定の数式(例えば主成分分析、独立成分分析)で処理した値を特徴量としてもよい。要するに、公知の手法で得られた画像の輪郭・画素値、位置情報などを特徴量とすることができる。
【0045】
また、特徴量の計算の前処理として画像の病変領域を特定し、その病変領域を対象とした特徴量の計算を行ってもよい。病変領域の特定の例としては、特許文献6のような注目領域の位置情報をもとに領域を抽出する手法などがある。
【0046】
また、病変領域の特定は必ずしも全自動でなくてもよく、ユーザによる操作装置の指定した領域近傍の特徴量(画素値に関する特徴量あるいは輪郭など形状に関する特徴量)を利用した画像処理技術で半自動的に抽出してもよい。このように、病変部位に特化した特徴量を用いることで、着目した病変部位と類似する症例画像の検索を行える。どの種類の特徴量を使用して症例画像を検索するかは、特徴量計算部1に撮像モダリティ情報ごとに予め設定されている。例えば、「CT」には濃度値が設定され、CT画像の特徴量として濃度値が計算される。
【0047】
特徴量計算部1は、算出した特徴量の種類を寄与特徴量同定部3に通知する。算出した特徴量の種類とは、画素値に関する特徴量、形状に関する特徴量、大きさに関する特徴量が挙げられる。
【0048】
類似検索部2は、特徴量計算部1の算出した第1の特徴量と症例DB10に蓄積された特徴量(第2の特徴量)とを比較し、両者の類似度を算出する。第2の特徴量はクエリー画像と同じ手法に従って予め作成および蓄積されている。
【0049】
類似度の算出方法としては公知のもの、例えば特徴量の値の差分、特徴量空間(重み付き空間も可)上の最小2乗法などが採用できる。説明の便宜上、類似度Sは以下の数式で定義する。ただし、本願発明の実施のために、類似度Sの算出基準がこの定義に限定されるわけではない。
【0050】
【数1】
【0051】
特徴量mi(i=1,2,…,n)は登録済みの症例画像の注目領域の特徴量、Mi(i=1,2,…,n)は診断画像の注目領域から抽出された特徴量である。wi(i=1,2,…,n)は、疾患別に予め定義された各特徴量に対する重み付け係数である。mi、Mi、wiの添え字iは特徴量空間上の座標軸を示す。双方の特徴量が近いほど類似度Sの値が小さくなり、双方の特徴量が遠いほど類似度Sの値が大きくなる。
【0052】
類似検索部2は、症例DB10に蓄積された全ての症例画像あるいは予め操作装置から指定された付随検索項目に対応する症例画像のうち、クエリー画像の特徴量情報との類似度Sが所定の閾値よりも高い第2の特徴量(類似特徴量)を特定する。付随検索項目はユーザが任意に指定できる情報であり、例えば、撮像部位(胸部、乳房など)、解剖学的位置情報(肝臓右葉、肺S1など)、撮像モダリティ情報、患者関連情報、画像診断名、病理診断名、所見(浸潤影、腫瘤、蜂窩肺など)、撮像モダリティ情報、担当医師名など、症例DB10の付随情報とマッチングによる症例画像の絞り込みが可能な情報が挙げられる。
【0053】
類似検索部2は、症例DB10において類似検索部2の特定した類似特徴量に対応する症例画像である類似画像と、その類似画像に対応する付随情報(疾患分類など)を表示部6に出力する。
【0054】
表示部6は、類似画像、後述する所見情報、付随情報に含まれる疾患情報、例えば症例情報(画像診断名、病理診断名、所見など)や、当該症例情報によってリンクされた電子医学書に含まれる医学情報(電子医学書における病名、病原体、症状、患部ごとの分類など)などを表示する。表示項目をキーボードやマウスなどの操作装置で選択できてもよい。
【0055】
表示部6は、映像表示手段以外の出力手段に代替できる。例えば出力手段をネットワークI/Fとし、所望の通信端末(パソコン、携帯電話、PDAなど)に情報を出力してもよい。あるいは映像表示手段とともに、印刷手段によって情報を出力してもよい。また、音声出力手段からの合成音声の出力などによって情報を出力してもよい。
【0056】
操作装置からの指示に応じ、類似画像の表示/非表示を切り替えてもよい。類似画像の非表示が指示されれば、疾患名だけが表示される。
【0057】
また、付随情報に含まれる疾患名以外の情報、例えば医学情報へのリンクを表示し、そのリンクを指定することで対応する医学情報を表示してもよい。
【0058】
寄与特徴量同定部3は、類似検索部2が類似画像の検索に寄与した特徴量の種類(キー特徴量)を、特徴量計算部1が通知してきた特徴量の種類に従って同定する。例えば、寄与特徴量同定部3は、特徴量計算部1が「濃度値」を通知してくればキー特徴量は濃度値と同定する。あるいは、特徴量計算部1が「関心領域の形状」を通知してくればキー特徴量は関心領域の形状と同定する。複数の特徴量の種類が通知された場合は、その中から類似画像の検索に寄与した特徴量の種類を判別する。この処理は後述する。
【0059】
変換部4は、特徴量/所見変換DB5に蓄積された、寄与特徴量同定部3が同定した特徴量の種類に対応する判別データと、類似画像に対応する当該種類の特徴量とを比較することで、類似画像に対応する所見を特定する。
【0060】
特徴量/所見変換DB5は、特徴量の種類に対応する判別データを格納した不揮発性記憶媒体(ハードディスクユニットなど)を有している。判別データは、当該種類の特徴量の分布に対応した所見を示している。
【0061】
例えば、図2に示すようなCT画像をクエリー画像として類似検索部2に入力して、図3のような類似画像を得たとする。
【0062】
特徴量の種類「濃度値」に対応する判別データの単純な一例としては、注目領域内の平均濃度値の範囲に1:1に対応する所見を規定することが挙げられる。すなわち、特徴量/所見変換DB5は、−200以上の平均濃度値範囲R1に対応する所見は「コンソリデーション」、−800超〜−200未満の平均濃度値範囲R2に対応する所見は「GGO(Ground Glass Opacity;すりガラス陰影)」、−800以下の平均濃度値範囲R3に対応する所見は「正常肺」であることを規定する判別データを格納している。
【0063】
この場合、変換部4は、類似検索部2が出力した類似画像に対応する特徴量に含まれる注目領域内の平均濃度値と特徴量/所見変換DB5の当該判別データとを比較し、類似画像の平均濃度値に対応する所見を特定して、特定された所見を表示部6に出力する。
【0064】
なお、寄与特徴量同定部3に設けられた「コンソリデーション」の判別器3A、「GGO」の判別器3B、「正常肺」の判別器3Cが、それぞれ、類似画像の平均濃度値がR1、R2、R3に属するか否かを判定した上で、その結果”Yes”または”No”を変換部4に出力し、変換部4は”Yes”の結果を出力した判別器に対応する所見情報(「コンソリデーション」、「GGO」、または「正常肺」)を表示部6に出力してもよい。
【0065】
特徴量の種類「濃度値」に対応するより精緻な判別データの一例としては、特徴量に対応した各所見の出現確率を示す確率分布曲線が挙げられる。すなわち、図4に示すような、特徴量の種類「濃度値」に対応する判別データは、濃度値=20近傍を平均値に取る「コンソリデーション」の確率分布曲線f1、濃度値=−580近傍を平均値に取る「GGO」の濃度値の確率分布曲線f2、濃度値=−930近傍を平均値に取る「正常肺」の濃度値の確率分布曲線f3を有しており、f1、f2、f3はそれぞれコンソリデーション、GGO、正常肺の所見に対応する。横軸は注目領域内の平均濃度値、縦軸は当該濃度値に対応する所見(コンソリデーション、GGOまたは正常肺)の出現する確からしさを表す。f1、f2、f3は、CT画像の平均濃度値のサンプルをもとに統計学的手法に従って作成されて特徴量/所見変換部5に格納されている。なお図4のf1、f2、f3は正規分布であるが、統計的解析の結果それ以外の分布に従う可能性もあり、必ずしも正規分布となることを意味するのではない。
【0066】
まず、変換部4は、類似検索部2が出力した類似画像に対応する特徴量と特徴量/所見変換DB5に蓄積された各所見に対応する確率分布曲線とに基づき、各所見の出現確率を特定する。例えば、ある類似画像に対応する注目領域内の平均濃度値が20の場合を考える。変換部4は、f1、f2、f3から、濃度値=20に対応する「コンソリデーション」、「GGO」および「正常肺」の出現確率p1〜p3、すなわち55%、略0%、略0%を特定する。
【0067】
変換部4は、特定した出現確率のうち最も高い出現確率に対応する所見を、類似画像の検索のポイントとなった所見(ポイント所見R)と特定する。そして、変換部4は、ポイント所見Rを表示部6に出力する。異なる所見に同一の出現確率が複数存在する場合、その旨を表示部6に出力する。あるいはその場合はポイント所見を出力しないことも考えられる。
【0068】
表示部6は、類似画像とポイント所見とを対応づけて表示する。表示部6は、映像表示手段以外の出力手段に代替できる。例えば出力手段をネットワークI/Fとし、所望の通信端末(パソコン、携帯電話、PDAなど)に情報を出力してもよい。あるいは映像表示手段とともに、印刷手段によって情報を出力してもよい。あるいはメディアライタによりCDROMやフレキシブルディスクのような記録媒体に情報を出力してもよい。また、音声出力手段からの合成音声の出力などによって情報を出力してもよい。
【0069】
上記では1次元の特徴量から単一の所見を特定しているが、多次元(2次元以上)の特徴量から単一の所見を特定してもよい。例えば、特徴量が濃度値および形状に関する値の2次元のパラメータを含んでいる場合、特徴量/所見変換DB5には上記のように「コンソリデーション」、「GGO」および「正常肺」の各所見の濃度値に対応した出現頻度を示す確率分布曲線f1〜f3と、「蜂窩肺」の所見の形状に関する値に対応した出現頻度を示す確率分布曲線f4(図示せず)を格納しておく。変換部4は、特徴量に含まれる濃度値から、「コンソリデーション」、「GGO」および「正常肺」の各所見に対応する出現確率p1〜p3を特定するとともに、特徴量に含まれる形状に関する値から「蜂窩肺」の所見に対応する出現確率p4を特定する。変換部4は、特定した出現確率p1〜p4のうち最も高い出現確率に対応する所見を、ポイント所見Rと特定し、これを表示部6に出力する。要するに多次元の特徴量であっても、その特徴量の各次元の要素に対応する特定の所見(1つでも複数でも可)の出現確率(スコア)を特定する判別器を用意しておき、各判別器の出力した各所見の出現確率を比較して、最も高い出現確率の所見をポイント所見とすればよい。
【0070】
例えば、図5に示すように、寄与特徴量同定部3に、びまん性肺疾患の所見A「コンソリデーションのみ」、所見B「空洞を伴ったコンソリデーション」、所見C「気管支を含んだコンソリデーション」の各々に対応する3つの判別器3A、3B、3Cを設ける。なお、その他の所見D、E・・があれば、それに対応する判別器3D、3E・・を設けることもできる。
【0071】
判別器3A、3B、3Cは、それぞれ、特徴量計算部1が算出したクエリー画像の特徴量から、クエリー画像が所見A、B、Cに該当する確からしさを表すスコアを算出するとともに、類似検索部2が検索した類似画像に対応する特徴量から、類似画像が所見A、B、Cに該当する確からしさを表すスコアを算出する。ここでは類似画像はX、Y、Zの3つとする(図6参照)。ただし、判別器3A、3B、3Cは、図示したものよりも多いあるいは少ない類似画像からスコアを算出することができる。
【0072】
スコアの算出は、例えば、予め判別器3A、3B、3Cの不揮発性記録媒体(ROMなど)に記憶された所見A、B、Cを示す典型的な類似画像の特徴量とクエリー画像の特徴量の間で算出した類似度γ、所見A、B、Cを示す典型的な症例画像の特徴量と類似画像の特徴量の間で算出した類似度δに基づいて行うことができる。これらの類似度γ・δの算出方法は上述のSと同様である。
【0073】
次に判別器3A、3B、3Cは、所見A、B、Cの各々に対応するクエリー画像のスコアと類似画像のスコアとに基づいて、各類似画像の各所見A、B、Cに対応する寄与度を算出する。
【0074】
例えば、まず判別器3A、3B、3Cは、それぞれ、所見A、B、Cの各々に対応するクエリー画像のスコアRA、RB、RC(まとめてRと称する)と類似画像X、Y、ZのスコアQA、QB、QC(まとめてQと称する)との差PA、PB、PC(まとめてPと称する)を算出する。次に判別器3A、3B、3Cは、所見の各々に対応する類似画像の寄与度Zを、Z=α×(100−P)+β×Qにより算出する。なお例えばR=γ、Q=δで計算する。
【0075】
つまり、所見Aに対応する寄与度ZA=α×(100−PA)+β×QA、所見Bに対応する寄与度ZB=α×(100−PB)+β×QB、所見Cに対応する寄与度ZC=α×(100−PC)+β×QCである。
【0076】
ここで、1−Pは数値順を反転するために使用される。1−Pは、両スコアの差が小さい(クエリー画像と類似画像の特徴量が近い)ことを表す。また、Qは、類似画像が典型症例画像によく類似していることを表す。αおよびβは重みであり、α+β=1であるが、寄与度を決めるに当たって1−PまたはQのいずれを重視するかによりαおよびβは決定される。双方とも重視する場合はα=β=0.5とする。
【0077】
図7は、判別器3A、3B、3Cの算出した、クエリー画像の所見A、B、Cに対応するスコア、類似画像の所見A、B、Cに対応するスコア、および各類似画像X、Y、Zの各所見A〜Cに対応する寄与度の一例を示す。
【0078】
変換部4は、寄与特徴量同定部3が算出した各所見に対応する寄与度のうち最も大きい値に対応する所見である寄与所見を類似画像ごとに特定する。図7の例では、所見Aに対応する類似画像Xの寄与度、所見Bに対応する類似画像Yの寄与度、所見Cに対応する類似画像Zの寄与度が最も高いので、類似画像Xに対応する寄与所見は所見A、類似画像Yに対応する寄与所見は所見B、類似画像Zに対応する寄与所見は所見Cと特定する。
【0079】
変換部4は、寄与所見に対応する所見情報を特徴量/所見変換DB5から取得し、寄与所見ごとに取得した所見情報を当該寄与所見に対応する類似画像と対応づけて表示部6に出力する。特徴量/所見変換DB5には、所見A、B、Cごとの所見情報、例えば「コンソリデーションのみ」、「空洞を伴ったコンソリデーション」、「気管支を含んだコンソリデーション」という文字情報が蓄積されているとすると、類似画像Xには「コンソリデーションのみ」、類似画像Yには「空洞を伴ったコンソリデーション」、類似画像Zには「気管支を含んだコンソリデーション」という文字情報が対応づけられる。
【0080】
所見情報は文字情報、アイコン、表、グラフのような視覚的に認識できる映像情報でもよいし、聴覚的に認識できる音声情報、あるいはそれらの組み合わせでもよい。また、所見情報そのものを表示する代わりに、所見情報を表示するためのハイパーリンクを表示してもよい。
【0081】
表示部6は、変換部4から入力された各類似画像と各所見情報とを対応づけて表示する。例えば図8のように、各類似画像の近傍に「類似特徴」という見出しを設け、その見出しに続けて、各類似画像に対応する所見情報を表示する。その他、各類似画像に対応する付随情報、例えば、症例番号、分類、画像診断名などを表示してもよい。
【0082】
以上のように、クエリー画像に類似する症例画像として検索された類似画像ごとに、その類似画像がクエリー画像と似ていると判断された特徴量に対応する所見を所見情報として出力するから、ユーザは、類似画像検索のポイントを容易に理解できるし、検索結果の妥当性を判断できる。
【0083】
<第2実施形態>
上述のように、同一の画像から抽出された多次元(2次元以上)の特徴量に基づいて種類の異なる複数の所見を特定してもよい。例えば、特徴量/所見変換DB5は、肺野結節の画像の注目領域の形態に関する所見(類円形、分葉状、多角形、星型、スピクラ、鋸歯状、不整形)に対応する特徴量(円形度、2次モーメントなどで表現)、大きさに関する所見(小、中、大)に対応する特徴量(面積、長径、短径などで表現)、濃度値に関する所見(Pure GGO(スリガラス影)、Mixed GGO(スリガラス影と高濃度)、Solid(高濃度))に対応する特徴量(濃度値の平均値、偏差、最大値、最小値などで表現)、注目領域の辺縁部の濃度に関する所見(明瞭、不明瞭)に対応する特徴量(濃度差などで表現)、解剖学的な位置に関する所見(肺葉分類(右上、中、下葉、左上、下葉))に対応する特徴量(肺野内座標などで表現)を規定した特徴量−所見テーブル(図9参照)を不揮発性記憶媒体に記憶しておく。
【0084】
変換部4は、類似検索部2から出力された類似画像の特徴量に対応する所見を特定する。この所見と特徴量の関係は、特許文献10と同様にして定めることができる。また、寄与特徴量同定部3による各類似画像の各所見に対応する寄与度の計算は、第1実施形態と同様クエリー画像の特徴量と類似画像の特徴量とに基づいて行うことができる。ただしここでは、各所見に対応する寄与度は、当該所見に関係する特徴量のみを用いて算出する。
【0085】
例えば、寄与特徴量同定部3は、類円形、分葉状など形状に関する所見の寄与度を、クエリー画像および類似画像の円形度および2次モーメントに基づいて計算する。あるいは、大きさに関する所見の寄与度を、クエリー画像および類似画像の面積、長径および短径に基づいて計算する。あるいは、濃度値に関する所見の寄与度を、クエリー画像および類似画像の濃度の平均値などに基づいて計算する。あるいは注目領域の辺縁部の濃度に関する所見の寄与度を、クエリー画像および類似画像の注目領域の内外の辺縁部の濃度差に基づいて計算する。あるいは解剖学的な位置に関する所見の寄与度を、クエリー画像および類似画像の肺野内座標に基づいて計算する。
【0086】
表示部6は、各類似画像と、変換部4によって特定された当該類似画像の各特徴量に対応する各所見とを表示する。表示の仕方は任意であるが、例えば、類似画像の特長として、まず形状から位置までの5つの所見の分類のうち、寄与度が所定の閾値より高いものを表示し、その中でどの所見の寄与度が最も高いかも表示する(図10参照)。この閾値は所見ごとに設けることができる。このため、同じ類似画像が複数の所見に対して寄与度が高い旨が表示されることもあるし、またどのような所見にも寄与度が高くない類似画像、単一の所見だけに寄与度が高い類似画像もありうる。
【0087】
このように、類似画像から抽出された様々な種類の特徴量に対応した所見を出力し、ユーザは、類似画像検索のポイントを容易に理解できるし、検索結果の妥当性を判断できる。
【符号の説明】
【0088】
1:特徴量計算部、2:類似検索部、3:寄与特徴量同定部、4:変換部、5:特徴量/所見変換DB、7:症例登録部、8:特徴量計算部、10:症例DB
【特許請求の範囲】
【請求項1】
クエリー画像を入力するクエリー画像入力部と、
前記クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、
症例画像と前記症例画像の特徴量とを対応づけて記憶するデータベースと、
前記クエリー画像特徴量算出部の算出したクエリー画像の特徴量と前記データベースの特徴量とを比較することで、前記クエリー画像に類似する症例画像である類似画像を検索する検索部と、
前記検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を前記類似画像と対応づけて所定の出力装置に出力する所見情報出力部と、
を備える症例画像検索装置。
【請求項2】
前記所見情報出力部は、前記類似画像が特定の所見を特徴づけるか否かを判別する判別器を有し、前記判別器が前記類似画像が特定の所見を特徴づけると判別したことに応じ、前記特定の所見を示す所見情報を前記類似画像に対応づけて所定の出力装置に出力する請求項1に記載の症例画像検索装置。
【請求項3】
前記所見情報出力部は、前記判別器により、前記類似画像が特定の所見を特徴づける程度を示すスコアを算出し、前記スコアに応じて前記判別を行う請求項2に記載の症例画像検索装置。
【請求項4】
前記所見情報出力部は、複数の類似画像のうち最も高いスコアに対応する類似画像に前記特定の所見を示す所見情報を対応づけて所定の出力装置に出力する請求項3に記載の症例画像検索装置。
【請求項5】
前記所見情報出力部は、前記類似画像が特定の所見を特徴づけるか否かを判別する判別器を特徴量の種類ごとに有し、前記判別器により前記類似画像のスコアを特徴量の種類ごとに算出し、前記類似画像に対応する特徴量の種類ごとのスコアのうち最も高いスコアを算出した判別器は前記類似画像が特定の所見を特徴づけると判別する請求項3に記載の症例画像検索装置。
【請求項6】
前記スコアをZとすると、Z=α×(100−P)+β×Q(ここで、Pはクエリー画像と類似画像の類似度の差、Qは前記特定の所見に対応する典型画像と類似画像の類似度の差、αおよびβは重み、類似度は特徴量空間上の距離)により算出される請求項3〜5のいずれかに記載の症例画像検索装置。
【請求項7】
前記所見情報出力部は、前記類似検索部が検索した類似画像の特徴量をパラメータとした各所見の出現確率を示す確率分布曲線に基づき、前記類似画像の特徴量において最も高い出現確率を示す所見を特定し、前記特定された所見を示す所見情報を出力する請求項1に記載の症例画像検索装置。
【請求項8】
前記検索部が出力した類似画像に対応する特徴量と各所見に対応する特徴量の分布範囲とを比較し、前記類似画像の特徴量が属する分布範囲に対応する所見を特定し、前記特定された所見を示す情報を出力する請求項1に記載の症例画像検索装置。
【請求項9】
前記クエリー画像および前記症例画像はびまん性肺疾患のCT画像であり、
前記クエリー画像および前記類似画像の特徴量は、前記CT画像の平均濃度値を含み、
前記類似画像の特徴量が属する分布範囲に対応する所見は、−200以上の平均濃度値範囲に対応するコンソリデーション、−800超〜−200未満の平均濃度値範囲に対応するGGO(Ground Glass Opacity;すりガラス陰影)、−800以下の平均濃度値範囲に対応する正常肺を含む請求項8に記載の症例画像検索装置。
【請求項10】
所見情報出力部は、所定の記録媒体に格納された、前記類似画像の注目領域の位置に対応する所見情報、形状に対応する所見情報、大きさに対応する所見情報、濃度値に対応する所見情報、および注目領域内外の濃度差に対応する所見情報を規定するテーブルを参照することで前記類似画像の検索に寄与した特徴量に対応する所見情報を特定し、前記特定された所見情報を所定の出力装置に出力する請求項1に記載の症例画像検索装置。
【請求項11】
前記類似画像の注目領域の位置は肺野内の解剖学的な位置を含む請求項10に記載の症例画像検索装置。
【請求項12】
コンピュータが、
クエリー画像を入力するステップと、
前記入力したクエリー画像の特徴量を算出するステップと、
症例画像と前記症例画像の特徴量とを対応づけて記憶するデータベースの特徴量と前記算出したクエリー画像の特徴量とを比較することで、前記クエリー画像に類似する症例画像である類似画像を検索するステップと、
前記検索した類似画像の検索に寄与した特徴量に対応する所見情報を前記類似画像と対応づけて所定の出力装置に出力するステップと、
を実行する症例画像検索方法。
【請求項13】
請求項12に記載の症例画像検索方法をコンピュータに実行させるための症例画像検索プログラム。
【請求項1】
クエリー画像を入力するクエリー画像入力部と、
前記クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、
症例画像と前記症例画像の特徴量とを対応づけて記憶するデータベースと、
前記クエリー画像特徴量算出部の算出したクエリー画像の特徴量と前記データベースの特徴量とを比較することで、前記クエリー画像に類似する症例画像である類似画像を検索する検索部と、
前記検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を前記類似画像と対応づけて所定の出力装置に出力する所見情報出力部と、
を備える症例画像検索装置。
【請求項2】
前記所見情報出力部は、前記類似画像が特定の所見を特徴づけるか否かを判別する判別器を有し、前記判別器が前記類似画像が特定の所見を特徴づけると判別したことに応じ、前記特定の所見を示す所見情報を前記類似画像に対応づけて所定の出力装置に出力する請求項1に記載の症例画像検索装置。
【請求項3】
前記所見情報出力部は、前記判別器により、前記類似画像が特定の所見を特徴づける程度を示すスコアを算出し、前記スコアに応じて前記判別を行う請求項2に記載の症例画像検索装置。
【請求項4】
前記所見情報出力部は、複数の類似画像のうち最も高いスコアに対応する類似画像に前記特定の所見を示す所見情報を対応づけて所定の出力装置に出力する請求項3に記載の症例画像検索装置。
【請求項5】
前記所見情報出力部は、前記類似画像が特定の所見を特徴づけるか否かを判別する判別器を特徴量の種類ごとに有し、前記判別器により前記類似画像のスコアを特徴量の種類ごとに算出し、前記類似画像に対応する特徴量の種類ごとのスコアのうち最も高いスコアを算出した判別器は前記類似画像が特定の所見を特徴づけると判別する請求項3に記載の症例画像検索装置。
【請求項6】
前記スコアをZとすると、Z=α×(100−P)+β×Q(ここで、Pはクエリー画像と類似画像の類似度の差、Qは前記特定の所見に対応する典型画像と類似画像の類似度の差、αおよびβは重み、類似度は特徴量空間上の距離)により算出される請求項3〜5のいずれかに記載の症例画像検索装置。
【請求項7】
前記所見情報出力部は、前記類似検索部が検索した類似画像の特徴量をパラメータとした各所見の出現確率を示す確率分布曲線に基づき、前記類似画像の特徴量において最も高い出現確率を示す所見を特定し、前記特定された所見を示す所見情報を出力する請求項1に記載の症例画像検索装置。
【請求項8】
前記検索部が出力した類似画像に対応する特徴量と各所見に対応する特徴量の分布範囲とを比較し、前記類似画像の特徴量が属する分布範囲に対応する所見を特定し、前記特定された所見を示す情報を出力する請求項1に記載の症例画像検索装置。
【請求項9】
前記クエリー画像および前記症例画像はびまん性肺疾患のCT画像であり、
前記クエリー画像および前記類似画像の特徴量は、前記CT画像の平均濃度値を含み、
前記類似画像の特徴量が属する分布範囲に対応する所見は、−200以上の平均濃度値範囲に対応するコンソリデーション、−800超〜−200未満の平均濃度値範囲に対応するGGO(Ground Glass Opacity;すりガラス陰影)、−800以下の平均濃度値範囲に対応する正常肺を含む請求項8に記載の症例画像検索装置。
【請求項10】
所見情報出力部は、所定の記録媒体に格納された、前記類似画像の注目領域の位置に対応する所見情報、形状に対応する所見情報、大きさに対応する所見情報、濃度値に対応する所見情報、および注目領域内外の濃度差に対応する所見情報を規定するテーブルを参照することで前記類似画像の検索に寄与した特徴量に対応する所見情報を特定し、前記特定された所見情報を所定の出力装置に出力する請求項1に記載の症例画像検索装置。
【請求項11】
前記類似画像の注目領域の位置は肺野内の解剖学的な位置を含む請求項10に記載の症例画像検索装置。
【請求項12】
コンピュータが、
クエリー画像を入力するステップと、
前記入力したクエリー画像の特徴量を算出するステップと、
症例画像と前記症例画像の特徴量とを対応づけて記憶するデータベースの特徴量と前記算出したクエリー画像の特徴量とを比較することで、前記クエリー画像に類似する症例画像である類似画像を検索するステップと、
前記検索した類似画像の検索に寄与した特徴量に対応する所見情報を前記類似画像と対応づけて所定の出力装置に出力するステップと、
を実行する症例画像検索方法。
【請求項13】
請求項12に記載の症例画像検索方法をコンピュータに実行させるための症例画像検索プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2011−118543(P2011−118543A)
【公開日】平成23年6月16日(2011.6.16)
【国際特許分類】
【出願番号】特願2009−273754(P2009−273754)
【出願日】平成21年12月1日(2009.12.1)
【出願人】(590002389)静岡県 (173)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
【公開日】平成23年6月16日(2011.6.16)
【国際特許分類】
【出願日】平成21年12月1日(2009.12.1)
【出願人】(590002389)静岡県 (173)
【出願人】(306037311)富士フイルム株式会社 (25,513)
【Fターム(参考)】
[ Back to top ]