類似画像検索装置、及び類似画像検索プログラム
【課題】蓄積された知識を活用して精度良く類似画像を抽出する。
【解決手段】類似画像検索装置１０は、複数の画像毎に、該画像に関して記述されたテキスト情報を関連づけて格納し、格納された複数の画像の中から、指定された検索キー画像について抽出された画像特徴と類似の画像特徴を有する画像からなる候補画像群を検索し、候補画像群の各画像に関連づけて格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴の中から、所定の選択条件を満足するテキスト特徴を選択し、選択されたテキスト特徴に基づいて、候補画像群および検索キー画像のそれぞれの画像特徴を変換し、変換された画像特徴に基づいて、候補画像群の中から、検索キー画像と類似する画像特徴を有する画像からなる類似画像群を検索する。
【解決手段】類似画像検索装置１０は、複数の画像毎に、該画像に関して記述されたテキスト情報を関連づけて格納し、格納された複数の画像の中から、指定された検索キー画像について抽出された画像特徴と類似の画像特徴を有する画像からなる候補画像群を検索し、候補画像群の各画像に関連づけて格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴の中から、所定の選択条件を満足するテキスト特徴を選択し、選択されたテキスト特徴に基づいて、候補画像群および検索キー画像のそれぞれの画像特徴を変換し、変換された画像特徴に基づいて、候補画像群の中から、検索キー画像と類似する画像特徴を有する画像からなる類似画像群を検索する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似画像検索装置、及び類似画像検索プログラムに関する。
【背景技術】
【０００２】
近年のＣＴやＭＲＩといった医療装置の普及により、容易にデジタル化された診断画像が取得できるようになり、これらの診断画像をデジタルデータとして保管することで、管理や複数の医師間での共有が容易となった。また、保管する診断画像には、医師による画像所見や診断結果が記述された診断レポートが紐付けられて管理されることが多く、これらの診断画像と診断レポートからなる症例データベースを医療に役立てようという試みがなされてきている。
【０００３】
そうした試みのひとつに、患者の診断画像と類似した症例をデータベースから検索し、検索された症例に記された診断結果を参考にして診断の精度を高めるというものがある。類似した診断画像を検索する技術として、下記の特許文献１では、症例画像毎に病変部位の形状、大きさ、濃度勾配等の画像特徴を保存しておき、新たに診断画像が入力されると、その診断画像についての画像特徴と保存された画像特徴との類似度に基づいて、類似の診断画像を検索し提示することを行っている。
【特許文献１】特開２００１−１５５０１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、実際には、病気の種類、進行度等に応じて医師の判断基準は異なる上、病変の見た目からだけでは疾病の判断がつきにくい。そのため、従来の技術のように共通の画像特徴で画一的に類似画像を検索することだけでは、類似の症例に関する診断画像を十分な精度で検索することができなかった。
【０００５】
本発明の目的は、蓄積された知識を活用して精度良く類似画像を抽出することができる類似画像検索装置及び類似画像検索プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に記載の類似画像検索装置の発明は、複数の画像毎に、該画像に関して記述したテキスト情報を関連づけて格納する格納手段と、前記格納手段に格納された複数の画像の中から、指定された検索キー画像について抽出された画像特徴と類似の画像特徴を有する画像からなる候補画像群を検索する手段と、前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴の中から、所定の選択条件を満足するテキスト特徴を選択するテキスト特徴選択手段と、前記テキスト特徴選択手段により選択されたテキスト特徴に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する画像特徴変換手段と、前記画像特徴変換手段により変換された画像特徴に基づいて、前記候補画像群の中から、前記検索キー画像と類似する画像特徴を有する画像からなる類似画像群を検索する類似画像検索手段と、を含むことを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の類似画像検索装置において、前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴毎に、予め取り得る状態値が定められたテキスト特徴変数を対応づけて設定する手段と、前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報に基づいて、前記各テキスト特徴変数の状態値を取得する状態値取得手段と、をさらに含み、前記テキスト特徴選択手段は、前記状態値取得手段により取得された状態値の分散が大きいテキスト特徴変数に対応するテキスト特徴を選択する、ことを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１又は２に記載の類似画像検索装置において、前記格納手段に格納された各画像から画像特徴を抽出するとともに、当該画像特徴を複数の画像特徴クラスタに分類する手段と、前記画像特徴クラスタ毎に分類された画像特徴を有する画像に関連づけて前記格納手段に格納されたテキスト情報に前記各テキスト特徴が記述される確率により表される、前記各画像特徴クラスタと前記各テキスト特徴との共起確率をそれぞれ記憶する記憶手段と、前記テキスト特徴選択手段により選択されたテキスト特徴について前記記憶手段に記憶される画像特徴クラスタの共起確率に基づいて画像特徴クラスタを選択する画像特徴クラスタ選択手段と、をさらに含み、前記画像特徴変換手段は、前記画像特徴クラスタ選択手段により選択された画像特徴クラスタのクラスタ中心に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する、ことを特徴とする。
【０００９】
請求項４に記載の発明は、請求項３に記載の類似画像検索装置において、前記画像特徴は、ベクトルデータであり、前記画像特徴変換手段は、前記各画像の画像特徴たるベクトルデータを、前記画像特徴クラスタのクラスタ中心のベクトルデータからの前記各画像のベクトルデータへの距離に基づいて変換する、ことを特徴とする。
【００１０】
請求項５に記載の発明は、請求項１乃至４のいずれかに記載の類似画像検索装置において、前記類似画像検索手段により検索された類似画像群を候補画像群として、前記テキスト特徴変数選択手段によるテキスト特徴変数の選択と、前記画像特徴変換手段による画像特徴の変換と、前記類似画像検索手段による画像の検索とを所定の終了条件を満たすまで再帰的に実行する、ことを特徴とする。
【００１１】
請求項６に記載の発明は、請求項５に記載の類似画像検索装置において、前記所定の終了条件は、前記類似画像検索手段により抽出される類似画像群の要素数が閾値以下である、ことを特徴とする。
【００１２】
請求項７に記載の発明は、請求項１乃至６のいずれかに記載の類似画像検索装置において、前記画像は、患者の患部を撮像した診断画像であり、前記テキスト情報は、前記診断画像についての医師の診断レポートである、ことを特徴とする。
【００１３】
請求項８に記載の類似画像検索プログラムの発明は、複数の画像毎に、該画像に関して記述したテキスト情報を関連づけて格納する格納手段、前記格納手段に格納された複数の画像の中から、指定された検索キー画像について抽出された画像特徴と類似の画像特徴を有する画像からなる候補画像群を検索する手段、前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴の中から、所定の選択条件を満足するテキスト特徴を選択するテキスト特徴選択手段、前記テキスト特徴選択手段により選択されたテキスト特徴に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する画像特徴変換手段、及び、前記画像特徴変換手段により変換された画像特徴に基づいて、前記候補画像群の中から、前記検索キー画像と類似する画像特徴を有する画像からなる類似画像群を検索する類似画像検索手段、としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１４】
請求項１に記載の発明によれば、蓄積された画像から抽出された画像特徴と、蓄積されたテキスト情報（知識）から抽出されたテキスト特徴とを共に用いることで、蓄積された知識を活用して精度良く類似画像を抽出することができる。
【００１５】
請求項２に記載の発明によれば、状態値の分散が大きいテキスト特徴変数に対応したテキスト特徴を選択し、選択したテキスト特徴に基づいて画像特徴を変換することで、蓄積された知識を活用して精度良く類似画像を抽出することができる。
【００１６】
請求項３に記載の発明によれば、蓄積された画像を画像特徴に応じてクラスタリングし、選択されたテキスト特徴に対応した画像特徴クラスタに基づいて画像特徴を変換することで、蓄積された知識を活用して精度良く類似画像を抽出することができる。
【００１７】
請求項４に記載の発明によれば、画像特徴クラスタのクラスタ中心からのベクトルデータに基づいて変換した画像特徴ベクトルを用いることで、テキスト特徴の情報を反映した画像特徴が類似する画像を抽出することができる。
【００１８】
請求項５に記載の発明によれば、検索された類似画像群を用いて再帰的に類似画像群の検索を繰り返すことで、蓄積された知識を活用して精度良く類似画像を抽出することができる。
【００１９】
請求項６に記載の発明によれば、検索された類似画像群の要素が所定数以下になるまで類似画像群の抽出を再帰的に繰り返すことで、精度良く類似画像を抽出することができる。
【００２０】
請求項７に記載の発明によれば、医師の知識を反映させた画像特徴を用いて類似画像を抽出することができる。
【００２１】
請求項８に記載の発明によれば、蓄積された画像から抽出された画像特徴と、蓄積されたテキスト情報（知識）から抽出されたテキスト特徴とを共に用いることで、蓄積された知識を活用して精度良く類似画像を抽出するようにコンピュータを機能させることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。
【００２３】
本実施形態に係る類似画像検索装置は、ＣＴやＭＲＩ等の医療機器により患者の患部を撮像した診断画像を検索キー画像とし、過去の診断画像の中からその検索キー画像と類似した診断画像を検索して表示する装置である。
【００２４】
図１には、本実施形態に係る類似画像検索装置１０の機能ブロック図を示す。図１に示されるように、類似画像検索装置１０は、画像管理部２０、データ格納部２２、画像特徴抽出部２４、テキスト特徴抽出部２６、１次候補画像検索部２８、画像特徴変換部３０、２次候補画像検索部３２、判定部３４、および表示部３６を有する。上記の各機能は、コンピュータシステムたる類似画像検索装置１０がコンピュータプログラムに従って動作することにより実現されるものとしてよい。また、コンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等のコンピュータが読み取り可能なあらゆる形態の情報記録媒体に格納され、類似画像検索装置１０に接続された図示しない媒体読み取り装置により類似画像検索装置１０に読み込まれることとしてもよい。また、コンピュータプログラムは、ネットワークを介して類似画像検索装置１０にダウンロードされることとしても構わない。
【００２５】
画像管理部２０は、過去に取得された診断画像、それらの診断画像についての診断レポートとともに、診断画像や診断レポートを解析して得られた解析データをデータ格納部２２に格納して管理する。
【００２６】
診断画像は、例えば、医用画像の標準的なフォーマットであるＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ ＣＯｍｍｕｎｉｃａｔｉｏｎ ｉｎ Ｍｅｄｉｃｉｎｅ）形式のデータとしてよく、そのデータのヘッダには、患者のＩＤ、検査日時等の情報が格納される。
【００２７】
診断レポートは、診断画像に基づいてその診断画像に存在する病変部位に関する医師の診断と、その診断結果から推測される病名等が記述されたテキストデータである。
【００２８】
解析データは、後述する画像特徴抽出部２４やテキスト特徴抽出部２６による情報処理の結果に基づいて、画像管理部２０により生成されるデータである。解析データには、例えば、診断画像毎の病変部位の領域情報や、診断画像から抽出された画像特徴量等が含まれるほか、以下に説明するデータテーブルが含まれる。
【００２９】
画像管理部２０は、データ格納部２２に格納された診断画像と、診断画像に関連づけられた診断レポートとに基づいて、図２及び図３に示されるデータテーブルを生成し、生成したデータテーブルをデータ格納部２２に格納する。
【００３０】
図２には、テキスト特徴テーブルの一例を示す。テキスト特徴テーブルは、データ格納部２２に格納された過去の診断レポートから抽出された病変部位を示すキーワード（テキスト特徴）に基づいて生成される。
【００３１】
図２に示されるように、本実施形態のテキスト特徴テーブルは、「胸壁に接する」等の病変の位置関係に関する記述や、「すりガラス状陰影」、「石灰化陰影」、「血管連結型陰影」等の病変の形状に関する記述をそれぞれテキスト特徴として抽出し、それらのテキスト特徴に対してそれぞれ変数を設定するとともに、各変数に対してその変数が取りうる状態値を記憶したデータテーブルである。
【００３２】
位置関係に関するテキスト特徴に対応する変数（テキスト特徴変数）は、そのテキスト特徴が診断レポート中に存在するか否かの２つの状態値を有する。一方で、病変の形状に関するテキスト特徴に対応する変数（テキスト特徴変数）は、特定の形状の病変が発見されたという記述があるか、発見されなかったという記述があるか、もしくは記述が存在しないかの３つの状態値を有する。テキスト特徴テーブルは、以上の解析をデータ格納部２２に格納されたすべての診断レポートについて行うことにより生成される。
【００３３】
図３には、テキスト−画像特徴対応テーブルの一例を示す。テキスト−画像特徴対応テーブルは、診断レポートから得られたテキスト特徴と、診断画像から得られた画像特徴ベクトルとの関連を表すデータテーブルである。
【００３４】
テキスト−画像特徴対応テーブルは、テキスト特徴が診断レポートにテキスト特徴が存在するか否かに基づく離散的な量であるのに対して、画像特徴ベクトルが診断画像から抽出される連続量であるため、両特徴量を対応づけるために生成される。そこで、本実施形態では、データ格納部２２に格納される複数の診断画像から得られた画像特徴ベクトルをｋ−Ｍｅａｎクラスタリング等の公知のクラスタリング手法を用いて予め定められた数のクラスタ（以下、画像特徴クラスタ）に分類し、各画像特徴ベクトルを画像特徴クラスタの中心値（クラスタ中心）を用いて離散化する。各診断画像の画像特徴ベクトルは、クラスタ中心への距離が最も近い画像特徴クラスタに分類される。なお、画像特徴クラスタのクラスタ中心は、その画像特徴クラスタに分類された画像特徴ベクトルの代表値として保存される。
【００３５】
そして、テキスト−画像特徴対応テーブルにおいて、画像特徴とテキスト特徴との関連は、画像特徴クラスタとテキスト特徴との共起確率として表される。画像特徴クラスタとテキスト特徴との共起確率とは、ある画像特徴クラスタに分類された画像特徴を有する診断画像について、あるテキスト特徴を有する診断レポートが関連づけられている確率を示したものである。
【００３６】
図３に示されたテキスト−画像特徴対応テーブルにおいて、ＩＦ１、ＩＦ２、・・・はクラスタリングされた画像特徴クラスタを表すラベル（分類）であり、ＣＦ１、ＣＦ２、・・・は、その画像特徴クラスタに属する画像特徴ベクトルの平均（クラスタ中心）である。そして、テキスト−画像特徴対応テーブルの３列目以降に格納されるデータは、クラスタリングされた各画像特徴クラスタと、テキスト特徴ＴＦ１、ＴＦ２、…とのそれぞれの共起確率である。
【００３７】
データ格納部２２は、ハードディスク等の大容量記憶装置を含み構成され、上述した、過去に診断を行った診断画像、及びその診断画像に関する診断レポートとともに、診断画像や診断レポートを解析して得られた解析データを格納する。
【００３８】
画像特徴抽出部２４は、診断画像について画像特徴を抽出する部位を特定するとともに、特定された部位から画像特徴を抽出する。特定される部位は、例えば、診断画像のうち特定の輝度の領域や、基準となる健康状態の診断画像との差分が閾値以上の領域としてもよいし、類似画像検索装置１０の利用者がマウス等の入力デバイスを用いて直接指定することとしてもよい。
【００３９】
次に、画像特徴抽出部２４は、抽出された部位から画像特徴量を算出する。算出される画像特徴量としては、病変部位の面積、形状の複雑度、楕円近似度、病変部位の位置、濃度的な特徴量（濃度ヒストグラム、濃度平均値、濃度標準偏差等）や、テクスチャ的な特徴量（エネルギー、エントロピー等）等の各種の特徴量を用いることとしてよい。これらの特徴量は、公知の画像処理の手法により算出することとしてよい。そして、診断画像の画像特徴である画像特徴ベクトルは、上記算出された特徴量をベクトルの成分として生成される。
【００４０】
テキスト特徴抽出部２６は、診断レポートから特定のキーワードを含む記述をテキスト特徴として抽出する。テキスト特徴抽出部２６は、例えば「右上肺にすりガラス状の陰影が見られる」、「左肺に腫瘤は見られない」等の予め定められた病変部位を指し示す記述を、テキスト特徴として抽出することとしてよい。
【００４１】
以上が過去に取得された診断画像及び診断レポートに基づいて解析データを生成する処理である。次に、指定された診断画像を検索キーとして、その検索キーの診断画像（以下、検索キー画像）について病状が類似と推察される類似画像群を、データ格納部２２に格納された診断画像から抽出する処理を行う機能ブロックについて説明する。
【００４２】
１次候補画像検索部２８は、検索キー画像から抽出された画像特徴ベクトルに基づいて、検索キー画像の類似画像をデータ格納部２２に格納された過去の診断画像の中から検索する。具体的には、１次候補画像検索部２８は、画像特徴抽出部２４により抽出された検索キー画像の画像特徴ベクトルと、データ格納部２２に格納された各診断画像の画像特徴ベクトルとを比較し、ベクトルデータの類似度が所定の閾値より大きい画像特徴ベクトルを複数選択して取得する。二つの画像特徴ベクトルの類似度としては、例えば二つの画像特徴ベクトルのユークリッド距離の逆数として求めることとしてよい。そして、１次候補画像検索部２８は、取得した画像特徴ベクトルを図示しない一次記憶部（作業用メモリ）に保存しておくとともに、取得した画像特徴ベクトルを有する類似画像群（以下、１次候補画像群とする）に対応する診断レポートもデータ格納部２２から取得し一次記憶部に保存しておく。
【００４３】
テキスト特徴抽出部２６は、１次候補画像検索部２８により検索された１次候補画像群の各画像について関連づけられた診断レポートからテキスト特徴を抽出するとともに、図２に示されるテキスト特徴テーブルの各テキスト特徴の状態値を取得する。テキスト特徴抽出部２６は、取得した各テキスト特徴の状態値を画像特徴変換部３０に出力する。
【００４４】
画像特徴変換部３０は、１次候補画像検索部２８により検索された１次候補画像群から検索キー画像の類似画像をさらに絞り込むために、画像特徴抽出部２４により抽出された各診断画像の画像特徴ベクトルを、診断レポートの情報を用いて変換する。以下、画像特徴ベクトルの変換処理について説明する。
【００４５】
まず、画像特徴変換部３０は、テキスト特徴抽出部２６から入力された各テキスト特徴の状態値に基づいて、これらのテキスト特徴のうち、診断レポートを区別するために有効なテキスト特徴を選択する。診断レポートを区別するために有効なテキスト特徴を選択する上で、画像特徴変換部３０はテキスト特徴変数ｉについて一次記憶部に保存されたすべての診断レポートに対するエントロピーＨｉを、以下の式（１）により算出する。
【００４６】
【数１】
【００４７】
ここで、Ωｉはテキスト特徴変数ｉが取りうるすべての状態であり、Ｎは一次記憶部に保存されたレポートの数、Ｎ（ｘ）は保存されたレポート中の状態ｘが出現した診断レポートの数である。
【００４８】
テキスト特徴について算出されたエントロピーが高いということは、そのテキスト特徴に対する記述が、１次候補画像群に関連づけて抽出された診断レポート群（以下、１次診断レポート群とする）の中で多様であることを意味している。したがって、エントロピーが高いテキスト特徴ほど１次診断レポート群の各要素を区別するために有効な特徴となるため、画像特徴変換部３０は、予め定められた値以上のエントロピーを有するテキスト特徴を選択することとしている。なお、診断レポートには、医師が疾病を判別する観点から注目した画像特徴について記述されているため、選択されたテキスト特徴には、医師の専門的な知識が反映されているといえる。
【００４９】
画像特徴変換部３０は、上記選択されたテキスト特徴に基づいて、これを検索キー画像と１次候補画像検索部２８によって取得された１次候補画像群とのそれぞれの画像特徴を新たな特徴量データに変換した上で比較する。そこで、画像特徴変換部３０は、上記選択されたテキスト特徴と、データ格納部２２に格納されたテキスト−画像特徴対応テーブルの情報を用いて、画像特徴の変換処理を行う。
【００５０】
画像特徴変換部３０は、上記選択されたテキスト特徴に対し、テキスト−画像特徴対応テーブルからそのテキスト特徴との共起確率が大きい画像特徴クラスタを選択するとともに、選択した画像特徴クラスタのクラスタ中心（代表特徴ベクトル）を取得する。ここで、Ｎ個の代表特徴ベクトルｙ１，ｙ２，…，ｙＮが取得されたとすると、新たな画像特徴ベクトルｚは、以下の式（２）に示されるように、画像特徴ベクトルｘに対して、取得されたＮ個の代表特徴ベクトルからの距離を要素とするＮ次元のベクトルとして算出される。
【００５１】
【数２】
【００５２】
この新たな画像特徴ベクトルへの変換処理は、検索キー画像および一次記憶部に記憶された１次候補画像群のすべての画像特徴ベクトルに対して行われる。この画像特徴変換部３０により変換された画像特徴ベクトルは、選択されたテキスト特徴を反映したものであるため、単に画像の類似度を反映するものではなく、診断レポートの情報を加味した疾病の区別を容易にするような特徴量データとなっている。
【００５３】
２次候補画像検索部３２は、画像特徴変換部３０により変換された画像特徴ベクトルに基づいて、検索キー画像と一次記憶部に記憶された１次候補画像群のすべての画像の類似度を算出する。そして、２次候補画像検索部３２は、算出された類似度が所定の閾値以上の画像を検索して、検索された画像を検索キー画像の類似画像群（以下、２次候補画像群）とする。
【００５４】
ここで、図４には、１次候補画像検索部２８により検索された１次候補画像群１１０と、２次候補画像検索部３２により検索された２次候補画像群１２０との関係を説明する図を示す。図４に示されるように、１次候補画像検索部２８により検索された１次候補画像群１１０は、検索キー画像１００から距離の近い画像となるため、画像特徴空間においては点線で示した範囲に含まれる検索キー画像１００を中心とする超球面内に分布する。一方で、２次候補画像特徴は、選択された画像特徴クラスタのクラスタ中心からの距離を基準とする特徴であるため、画像特徴クラスタのクラスタ中心１３０からの距離が検索キー画像１００と近い画像（図４において二つの実曲線に挟まれる画像）が類似画像（２次候補画像群１２０）として選択される。このように、２次候補画像検索部３２では画像特徴の類似度のみに基づいて検索された１次候補画像群に比べて、診断レポートの情報に基づいて変換した画像特徴を用いて画像を検索するものである。
【００５５】
判定部３４は、２次候補画像検索部３２により検索された２次候補画像群が所定の終了条件を満足するか否かを判定する。所定の終了条件とは、例えば２次候補画像群の要素数が、所定の閾値以下であることとしてよい。そして、判定部３４により所定の終了条件を満足すると判定された場合には、２次候補画像群を検索キー画像の類似画像群として表示部３６に表示する。また、判定部３４により所定の終了条件が満足されていないと判定された場合には、検索された２次候補画像群を候補画像群として上記説明した２次検索を再帰的に実行することとしてもよい。
【００５６】
表示部３６は、ディスプレイを含み構成され、検索キー画像の類似画像として検索された類似画像群をディスプレイに表示する。
【００５７】
次に、図５及び図６に示されるフロー図を参照しつつ、本実施形態に係る類似画像検索装置１０により行われる類似画像検索の事前処理及び類似画像検索処理の流れを説明する。
【００５８】
まず、図５を参照しつつ、類似画像検索の事前処理を説明する。類似画像検索の事前処理とは、データ格納部２２に格納された過去の診断画像及び診断レポートからテーブルデータ等の解析データを生成し、生成した解析データをデータ格納部２２に格納するまでの処理である。
【００５９】
類似画像検索装置１０は、データ格納部２２に蓄積された過去の診断レポートから病変部位等に関して記述したテキスト特徴を抽出する（Ｓ１０１）。類似画像検索装置１０は、抽出したテキスト特徴に基づいて、各テキスト特徴に対応するテキスト特徴変数を設定するとともに、設定したテキスト特徴変数が取りうる状態値を診断レポートから取得して、図２に示すようなテキスト特徴テーブルを生成する（Ｓ１０２）。
【００６０】
類似画像検索装置１０は、データ格納部２２に蓄積された過去の診断画像から病変部位等を表した部位の画像特徴を抽出する（Ｓ１０３）。類似画像検索装置１０は、抽出した画像特徴に基づいて、各画像特徴をクラスタリングして複数の画像特徴クラスタを生成するととともに（Ｓ１０４）、各画像特徴クラスタに対応した診断レポートにテキスト特徴テーブルに格納される各テキスト特徴が含まれる確率を求めて、図３に示すようなテキスト−画像特徴テーブルを生成する（Ｓ１０５）。そして、類似画像検索装置１０は、生成した各診断画像の画像特徴ベクトル、テキスト特徴テーブル、テキスト−画像特徴テーブルをデータ格納部２２に格納して（Ｓ１０６）、事前処理を終了する。
【００６１】
次に、図６を参照しつつ、類似画像検索処理を説明する。類似画像検索処理とは、利用者により指定された診断画像を検索キー画像として、その検索キー画像に類似する症例の診断画像をデータ格納部２２に蓄積された診断画像から検索する処理である。
【００６２】
類似画像検索装置１０は、指定された検索キー画像から画像特徴ベクトルを抽出し（Ｓ２０１）、蓄積された診断画像から、抽出した画像特徴ベクトルと類似する画像特徴ベクトルを有する画像からなる１次候補画像群を検索する（Ｓ２０２）。
【００６３】
類似画像検索装置１０は、１次候補画像群に関連づけられた診断レポート群から、テキスト特徴テーブルに格納された各テキスト特徴変数の状態値を取得し、取得した状態値から各テキスト特徴変数のエントロピーを算出する。そして、類似画像検索装置１０は、算出されたエントロピーが大きいテキスト特徴変数に対応するテキスト特徴を選択する（Ｓ２０３）。
【００６４】
類似画像検索装置１０は、テキスト−画像特徴テーブルから、選択したテキスト特徴との共起確率が高い画像特徴クラスタを抽出し、抽出した画像特徴クラスタのクラスタ中心との距離に基づいて、１次候補画像群及び検索キー画像の各画像特徴ベクトルを変換する（Ｓ２０４）。そして、類似画像検索装置１０は、１次候補画像群の中から、検索キー画像と変換後の画像特徴ベクトルが類似する画像群（２次候補画像群）を検索する（Ｓ２０５）。
【００６５】
類似画像検索装置１０は、検索された２次候補画像群の要素数が所定の閾値以下であるか否かを判断し（Ｓ２０６）、所定の閾値以下でないと判断する場合には（Ｓ２０６：Ｎ）、２次候補画像群を候補画像としてＳ２０３以降の処理を再帰的に繰り返し、所定の閾値以下であると判断する場合には（Ｓ２０６：Ｙ）、２次候補画像群を検索キー画像の類似画像群としてディスプレイに表示して（Ｓ２０７）、処理を終了する。
【００６６】
以上説明した本実施形態に係る類似画像検索装置１０によれば、画像特徴として類似した１次候補画像からさらに医師の観点を反映した特徴量で類似した画像を検索することで、蓄積された知識を活用した類似画像の検索を実現している。
【００６７】
なお、本発明は上記の実施形態に限定されるものではない。
【００６８】
上記の実施形態では、本発明に係る類似画像検索装置１０を症例データベースに格納された診断画像及び診断レポートに基づく類似画像を検索する技術に適用することとしたが、画像に関連づけてテキストデータが格納されたデータベースから類似画像を検索する他のシステムにも広く適用可能であるのはもちろんのことである。
【図面の簡単な説明】
【００６９】
【図１】本実施形態に係る類似画像検索装置の機能ブロック図である。
【図２】テキスト特徴テーブルの一例を示す図である。
【図３】テキスト−画像特徴テーブルの一例を示す図である。
【図４】１次候補画像群と２次候補画像群との関係を説明する図である。
【図５】類似画像検索の事前処理のフロー図である。
【図６】類似画像検索処理のフロー図である。
【符号の説明】
【００７０】
１０ 類似画像抽出装置、２０ 画像管理部、２２ データ格納部、２４ 画像特徴抽出部、２６ テキスト特徴抽出部、２８ １次候補画像検索部、３０ 画像特徴変換部、３２ ２次候補画像検索部、３４ 判定部、３６ 表示部、１００ 検索キー画像、１１０ １次候補画像群、１２０ ２次候補画像群、１３０ クラスタ中心。
【技術分野】
【０００１】
本発明は、類似画像検索装置、及び類似画像検索プログラムに関する。
【背景技術】
【０００２】
近年のＣＴやＭＲＩといった医療装置の普及により、容易にデジタル化された診断画像が取得できるようになり、これらの診断画像をデジタルデータとして保管することで、管理や複数の医師間での共有が容易となった。また、保管する診断画像には、医師による画像所見や診断結果が記述された診断レポートが紐付けられて管理されることが多く、これらの診断画像と診断レポートからなる症例データベースを医療に役立てようという試みがなされてきている。
【０００３】
そうした試みのひとつに、患者の診断画像と類似した症例をデータベースから検索し、検索された症例に記された診断結果を参考にして診断の精度を高めるというものがある。類似した診断画像を検索する技術として、下記の特許文献１では、症例画像毎に病変部位の形状、大きさ、濃度勾配等の画像特徴を保存しておき、新たに診断画像が入力されると、その診断画像についての画像特徴と保存された画像特徴との類似度に基づいて、類似の診断画像を検索し提示することを行っている。
【特許文献１】特開２００１−１５５０１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、実際には、病気の種類、進行度等に応じて医師の判断基準は異なる上、病変の見た目からだけでは疾病の判断がつきにくい。そのため、従来の技術のように共通の画像特徴で画一的に類似画像を検索することだけでは、類似の症例に関する診断画像を十分な精度で検索することができなかった。
【０００５】
本発明の目的は、蓄積された知識を活用して精度良く類似画像を抽出することができる類似画像検索装置及び類似画像検索プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に記載の類似画像検索装置の発明は、複数の画像毎に、該画像に関して記述したテキスト情報を関連づけて格納する格納手段と、前記格納手段に格納された複数の画像の中から、指定された検索キー画像について抽出された画像特徴と類似の画像特徴を有する画像からなる候補画像群を検索する手段と、前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴の中から、所定の選択条件を満足するテキスト特徴を選択するテキスト特徴選択手段と、前記テキスト特徴選択手段により選択されたテキスト特徴に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する画像特徴変換手段と、前記画像特徴変換手段により変換された画像特徴に基づいて、前記候補画像群の中から、前記検索キー画像と類似する画像特徴を有する画像からなる類似画像群を検索する類似画像検索手段と、を含むことを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の類似画像検索装置において、前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴毎に、予め取り得る状態値が定められたテキスト特徴変数を対応づけて設定する手段と、前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報に基づいて、前記各テキスト特徴変数の状態値を取得する状態値取得手段と、をさらに含み、前記テキスト特徴選択手段は、前記状態値取得手段により取得された状態値の分散が大きいテキスト特徴変数に対応するテキスト特徴を選択する、ことを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１又は２に記載の類似画像検索装置において、前記格納手段に格納された各画像から画像特徴を抽出するとともに、当該画像特徴を複数の画像特徴クラスタに分類する手段と、前記画像特徴クラスタ毎に分類された画像特徴を有する画像に関連づけて前記格納手段に格納されたテキスト情報に前記各テキスト特徴が記述される確率により表される、前記各画像特徴クラスタと前記各テキスト特徴との共起確率をそれぞれ記憶する記憶手段と、前記テキスト特徴選択手段により選択されたテキスト特徴について前記記憶手段に記憶される画像特徴クラスタの共起確率に基づいて画像特徴クラスタを選択する画像特徴クラスタ選択手段と、をさらに含み、前記画像特徴変換手段は、前記画像特徴クラスタ選択手段により選択された画像特徴クラスタのクラスタ中心に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する、ことを特徴とする。
【０００９】
請求項４に記載の発明は、請求項３に記載の類似画像検索装置において、前記画像特徴は、ベクトルデータであり、前記画像特徴変換手段は、前記各画像の画像特徴たるベクトルデータを、前記画像特徴クラスタのクラスタ中心のベクトルデータからの前記各画像のベクトルデータへの距離に基づいて変換する、ことを特徴とする。
【００１０】
請求項５に記載の発明は、請求項１乃至４のいずれかに記載の類似画像検索装置において、前記類似画像検索手段により検索された類似画像群を候補画像群として、前記テキスト特徴変数選択手段によるテキスト特徴変数の選択と、前記画像特徴変換手段による画像特徴の変換と、前記類似画像検索手段による画像の検索とを所定の終了条件を満たすまで再帰的に実行する、ことを特徴とする。
【００１１】
請求項６に記載の発明は、請求項５に記載の類似画像検索装置において、前記所定の終了条件は、前記類似画像検索手段により抽出される類似画像群の要素数が閾値以下である、ことを特徴とする。
【００１２】
請求項７に記載の発明は、請求項１乃至６のいずれかに記載の類似画像検索装置において、前記画像は、患者の患部を撮像した診断画像であり、前記テキスト情報は、前記診断画像についての医師の診断レポートである、ことを特徴とする。
【００１３】
請求項８に記載の類似画像検索プログラムの発明は、複数の画像毎に、該画像に関して記述したテキスト情報を関連づけて格納する格納手段、前記格納手段に格納された複数の画像の中から、指定された検索キー画像について抽出された画像特徴と類似の画像特徴を有する画像からなる候補画像群を検索する手段、前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴の中から、所定の選択条件を満足するテキスト特徴を選択するテキスト特徴選択手段、前記テキスト特徴選択手段により選択されたテキスト特徴に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する画像特徴変換手段、及び、前記画像特徴変換手段により変換された画像特徴に基づいて、前記候補画像群の中から、前記検索キー画像と類似する画像特徴を有する画像からなる類似画像群を検索する類似画像検索手段、としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１４】
請求項１に記載の発明によれば、蓄積された画像から抽出された画像特徴と、蓄積されたテキスト情報（知識）から抽出されたテキスト特徴とを共に用いることで、蓄積された知識を活用して精度良く類似画像を抽出することができる。
【００１５】
請求項２に記載の発明によれば、状態値の分散が大きいテキスト特徴変数に対応したテキスト特徴を選択し、選択したテキスト特徴に基づいて画像特徴を変換することで、蓄積された知識を活用して精度良く類似画像を抽出することができる。
【００１６】
請求項３に記載の発明によれば、蓄積された画像を画像特徴に応じてクラスタリングし、選択されたテキスト特徴に対応した画像特徴クラスタに基づいて画像特徴を変換することで、蓄積された知識を活用して精度良く類似画像を抽出することができる。
【００１７】
請求項４に記載の発明によれば、画像特徴クラスタのクラスタ中心からのベクトルデータに基づいて変換した画像特徴ベクトルを用いることで、テキスト特徴の情報を反映した画像特徴が類似する画像を抽出することができる。
【００１８】
請求項５に記載の発明によれば、検索された類似画像群を用いて再帰的に類似画像群の検索を繰り返すことで、蓄積された知識を活用して精度良く類似画像を抽出することができる。
【００１９】
請求項６に記載の発明によれば、検索された類似画像群の要素が所定数以下になるまで類似画像群の抽出を再帰的に繰り返すことで、精度良く類似画像を抽出することができる。
【００２０】
請求項７に記載の発明によれば、医師の知識を反映させた画像特徴を用いて類似画像を抽出することができる。
【００２１】
請求項８に記載の発明によれば、蓄積された画像から抽出された画像特徴と、蓄積されたテキスト情報（知識）から抽出されたテキスト特徴とを共に用いることで、蓄積された知識を活用して精度良く類似画像を抽出するようにコンピュータを機能させることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。
【００２３】
本実施形態に係る類似画像検索装置は、ＣＴやＭＲＩ等の医療機器により患者の患部を撮像した診断画像を検索キー画像とし、過去の診断画像の中からその検索キー画像と類似した診断画像を検索して表示する装置である。
【００２４】
図１には、本実施形態に係る類似画像検索装置１０の機能ブロック図を示す。図１に示されるように、類似画像検索装置１０は、画像管理部２０、データ格納部２２、画像特徴抽出部２４、テキスト特徴抽出部２６、１次候補画像検索部２８、画像特徴変換部３０、２次候補画像検索部３２、判定部３４、および表示部３６を有する。上記の各機能は、コンピュータシステムたる類似画像検索装置１０がコンピュータプログラムに従って動作することにより実現されるものとしてよい。また、コンピュータプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等のコンピュータが読み取り可能なあらゆる形態の情報記録媒体に格納され、類似画像検索装置１０に接続された図示しない媒体読み取り装置により類似画像検索装置１０に読み込まれることとしてもよい。また、コンピュータプログラムは、ネットワークを介して類似画像検索装置１０にダウンロードされることとしても構わない。
【００２５】
画像管理部２０は、過去に取得された診断画像、それらの診断画像についての診断レポートとともに、診断画像や診断レポートを解析して得られた解析データをデータ格納部２２に格納して管理する。
【００２６】
診断画像は、例えば、医用画像の標準的なフォーマットであるＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ ＣＯｍｍｕｎｉｃａｔｉｏｎ ｉｎ Ｍｅｄｉｃｉｎｅ）形式のデータとしてよく、そのデータのヘッダには、患者のＩＤ、検査日時等の情報が格納される。
【００２７】
診断レポートは、診断画像に基づいてその診断画像に存在する病変部位に関する医師の診断と、その診断結果から推測される病名等が記述されたテキストデータである。
【００２８】
解析データは、後述する画像特徴抽出部２４やテキスト特徴抽出部２６による情報処理の結果に基づいて、画像管理部２０により生成されるデータである。解析データには、例えば、診断画像毎の病変部位の領域情報や、診断画像から抽出された画像特徴量等が含まれるほか、以下に説明するデータテーブルが含まれる。
【００２９】
画像管理部２０は、データ格納部２２に格納された診断画像と、診断画像に関連づけられた診断レポートとに基づいて、図２及び図３に示されるデータテーブルを生成し、生成したデータテーブルをデータ格納部２２に格納する。
【００３０】
図２には、テキスト特徴テーブルの一例を示す。テキスト特徴テーブルは、データ格納部２２に格納された過去の診断レポートから抽出された病変部位を示すキーワード（テキスト特徴）に基づいて生成される。
【００３１】
図２に示されるように、本実施形態のテキスト特徴テーブルは、「胸壁に接する」等の病変の位置関係に関する記述や、「すりガラス状陰影」、「石灰化陰影」、「血管連結型陰影」等の病変の形状に関する記述をそれぞれテキスト特徴として抽出し、それらのテキスト特徴に対してそれぞれ変数を設定するとともに、各変数に対してその変数が取りうる状態値を記憶したデータテーブルである。
【００３２】
位置関係に関するテキスト特徴に対応する変数（テキスト特徴変数）は、そのテキスト特徴が診断レポート中に存在するか否かの２つの状態値を有する。一方で、病変の形状に関するテキスト特徴に対応する変数（テキスト特徴変数）は、特定の形状の病変が発見されたという記述があるか、発見されなかったという記述があるか、もしくは記述が存在しないかの３つの状態値を有する。テキスト特徴テーブルは、以上の解析をデータ格納部２２に格納されたすべての診断レポートについて行うことにより生成される。
【００３３】
図３には、テキスト−画像特徴対応テーブルの一例を示す。テキスト−画像特徴対応テーブルは、診断レポートから得られたテキスト特徴と、診断画像から得られた画像特徴ベクトルとの関連を表すデータテーブルである。
【００３４】
テキスト−画像特徴対応テーブルは、テキスト特徴が診断レポートにテキスト特徴が存在するか否かに基づく離散的な量であるのに対して、画像特徴ベクトルが診断画像から抽出される連続量であるため、両特徴量を対応づけるために生成される。そこで、本実施形態では、データ格納部２２に格納される複数の診断画像から得られた画像特徴ベクトルをｋ−Ｍｅａｎクラスタリング等の公知のクラスタリング手法を用いて予め定められた数のクラスタ（以下、画像特徴クラスタ）に分類し、各画像特徴ベクトルを画像特徴クラスタの中心値（クラスタ中心）を用いて離散化する。各診断画像の画像特徴ベクトルは、クラスタ中心への距離が最も近い画像特徴クラスタに分類される。なお、画像特徴クラスタのクラスタ中心は、その画像特徴クラスタに分類された画像特徴ベクトルの代表値として保存される。
【００３５】
そして、テキスト−画像特徴対応テーブルにおいて、画像特徴とテキスト特徴との関連は、画像特徴クラスタとテキスト特徴との共起確率として表される。画像特徴クラスタとテキスト特徴との共起確率とは、ある画像特徴クラスタに分類された画像特徴を有する診断画像について、あるテキスト特徴を有する診断レポートが関連づけられている確率を示したものである。
【００３６】
図３に示されたテキスト−画像特徴対応テーブルにおいて、ＩＦ１、ＩＦ２、・・・はクラスタリングされた画像特徴クラスタを表すラベル（分類）であり、ＣＦ１、ＣＦ２、・・・は、その画像特徴クラスタに属する画像特徴ベクトルの平均（クラスタ中心）である。そして、テキスト−画像特徴対応テーブルの３列目以降に格納されるデータは、クラスタリングされた各画像特徴クラスタと、テキスト特徴ＴＦ１、ＴＦ２、…とのそれぞれの共起確率である。
【００３７】
データ格納部２２は、ハードディスク等の大容量記憶装置を含み構成され、上述した、過去に診断を行った診断画像、及びその診断画像に関する診断レポートとともに、診断画像や診断レポートを解析して得られた解析データを格納する。
【００３８】
画像特徴抽出部２４は、診断画像について画像特徴を抽出する部位を特定するとともに、特定された部位から画像特徴を抽出する。特定される部位は、例えば、診断画像のうち特定の輝度の領域や、基準となる健康状態の診断画像との差分が閾値以上の領域としてもよいし、類似画像検索装置１０の利用者がマウス等の入力デバイスを用いて直接指定することとしてもよい。
【００３９】
次に、画像特徴抽出部２４は、抽出された部位から画像特徴量を算出する。算出される画像特徴量としては、病変部位の面積、形状の複雑度、楕円近似度、病変部位の位置、濃度的な特徴量（濃度ヒストグラム、濃度平均値、濃度標準偏差等）や、テクスチャ的な特徴量（エネルギー、エントロピー等）等の各種の特徴量を用いることとしてよい。これらの特徴量は、公知の画像処理の手法により算出することとしてよい。そして、診断画像の画像特徴である画像特徴ベクトルは、上記算出された特徴量をベクトルの成分として生成される。
【００４０】
テキスト特徴抽出部２６は、診断レポートから特定のキーワードを含む記述をテキスト特徴として抽出する。テキスト特徴抽出部２６は、例えば「右上肺にすりガラス状の陰影が見られる」、「左肺に腫瘤は見られない」等の予め定められた病変部位を指し示す記述を、テキスト特徴として抽出することとしてよい。
【００４１】
以上が過去に取得された診断画像及び診断レポートに基づいて解析データを生成する処理である。次に、指定された診断画像を検索キーとして、その検索キーの診断画像（以下、検索キー画像）について病状が類似と推察される類似画像群を、データ格納部２２に格納された診断画像から抽出する処理を行う機能ブロックについて説明する。
【００４２】
１次候補画像検索部２８は、検索キー画像から抽出された画像特徴ベクトルに基づいて、検索キー画像の類似画像をデータ格納部２２に格納された過去の診断画像の中から検索する。具体的には、１次候補画像検索部２８は、画像特徴抽出部２４により抽出された検索キー画像の画像特徴ベクトルと、データ格納部２２に格納された各診断画像の画像特徴ベクトルとを比較し、ベクトルデータの類似度が所定の閾値より大きい画像特徴ベクトルを複数選択して取得する。二つの画像特徴ベクトルの類似度としては、例えば二つの画像特徴ベクトルのユークリッド距離の逆数として求めることとしてよい。そして、１次候補画像検索部２８は、取得した画像特徴ベクトルを図示しない一次記憶部（作業用メモリ）に保存しておくとともに、取得した画像特徴ベクトルを有する類似画像群（以下、１次候補画像群とする）に対応する診断レポートもデータ格納部２２から取得し一次記憶部に保存しておく。
【００４３】
テキスト特徴抽出部２６は、１次候補画像検索部２８により検索された１次候補画像群の各画像について関連づけられた診断レポートからテキスト特徴を抽出するとともに、図２に示されるテキスト特徴テーブルの各テキスト特徴の状態値を取得する。テキスト特徴抽出部２６は、取得した各テキスト特徴の状態値を画像特徴変換部３０に出力する。
【００４４】
画像特徴変換部３０は、１次候補画像検索部２８により検索された１次候補画像群から検索キー画像の類似画像をさらに絞り込むために、画像特徴抽出部２４により抽出された各診断画像の画像特徴ベクトルを、診断レポートの情報を用いて変換する。以下、画像特徴ベクトルの変換処理について説明する。
【００４５】
まず、画像特徴変換部３０は、テキスト特徴抽出部２６から入力された各テキスト特徴の状態値に基づいて、これらのテキスト特徴のうち、診断レポートを区別するために有効なテキスト特徴を選択する。診断レポートを区別するために有効なテキスト特徴を選択する上で、画像特徴変換部３０はテキスト特徴変数ｉについて一次記憶部に保存されたすべての診断レポートに対するエントロピーＨｉを、以下の式（１）により算出する。
【００４６】
【数１】
【００４７】
ここで、Ωｉはテキスト特徴変数ｉが取りうるすべての状態であり、Ｎは一次記憶部に保存されたレポートの数、Ｎ（ｘ）は保存されたレポート中の状態ｘが出現した診断レポートの数である。
【００４８】
テキスト特徴について算出されたエントロピーが高いということは、そのテキスト特徴に対する記述が、１次候補画像群に関連づけて抽出された診断レポート群（以下、１次診断レポート群とする）の中で多様であることを意味している。したがって、エントロピーが高いテキスト特徴ほど１次診断レポート群の各要素を区別するために有効な特徴となるため、画像特徴変換部３０は、予め定められた値以上のエントロピーを有するテキスト特徴を選択することとしている。なお、診断レポートには、医師が疾病を判別する観点から注目した画像特徴について記述されているため、選択されたテキスト特徴には、医師の専門的な知識が反映されているといえる。
【００４９】
画像特徴変換部３０は、上記選択されたテキスト特徴に基づいて、これを検索キー画像と１次候補画像検索部２８によって取得された１次候補画像群とのそれぞれの画像特徴を新たな特徴量データに変換した上で比較する。そこで、画像特徴変換部３０は、上記選択されたテキスト特徴と、データ格納部２２に格納されたテキスト−画像特徴対応テーブルの情報を用いて、画像特徴の変換処理を行う。
【００５０】
画像特徴変換部３０は、上記選択されたテキスト特徴に対し、テキスト−画像特徴対応テーブルからそのテキスト特徴との共起確率が大きい画像特徴クラスタを選択するとともに、選択した画像特徴クラスタのクラスタ中心（代表特徴ベクトル）を取得する。ここで、Ｎ個の代表特徴ベクトルｙ１，ｙ２，…，ｙＮが取得されたとすると、新たな画像特徴ベクトルｚは、以下の式（２）に示されるように、画像特徴ベクトルｘに対して、取得されたＮ個の代表特徴ベクトルからの距離を要素とするＮ次元のベクトルとして算出される。
【００５１】
【数２】
【００５２】
この新たな画像特徴ベクトルへの変換処理は、検索キー画像および一次記憶部に記憶された１次候補画像群のすべての画像特徴ベクトルに対して行われる。この画像特徴変換部３０により変換された画像特徴ベクトルは、選択されたテキスト特徴を反映したものであるため、単に画像の類似度を反映するものではなく、診断レポートの情報を加味した疾病の区別を容易にするような特徴量データとなっている。
【００５３】
２次候補画像検索部３２は、画像特徴変換部３０により変換された画像特徴ベクトルに基づいて、検索キー画像と一次記憶部に記憶された１次候補画像群のすべての画像の類似度を算出する。そして、２次候補画像検索部３２は、算出された類似度が所定の閾値以上の画像を検索して、検索された画像を検索キー画像の類似画像群（以下、２次候補画像群）とする。
【００５４】
ここで、図４には、１次候補画像検索部２８により検索された１次候補画像群１１０と、２次候補画像検索部３２により検索された２次候補画像群１２０との関係を説明する図を示す。図４に示されるように、１次候補画像検索部２８により検索された１次候補画像群１１０は、検索キー画像１００から距離の近い画像となるため、画像特徴空間においては点線で示した範囲に含まれる検索キー画像１００を中心とする超球面内に分布する。一方で、２次候補画像特徴は、選択された画像特徴クラスタのクラスタ中心からの距離を基準とする特徴であるため、画像特徴クラスタのクラスタ中心１３０からの距離が検索キー画像１００と近い画像（図４において二つの実曲線に挟まれる画像）が類似画像（２次候補画像群１２０）として選択される。このように、２次候補画像検索部３２では画像特徴の類似度のみに基づいて検索された１次候補画像群に比べて、診断レポートの情報に基づいて変換した画像特徴を用いて画像を検索するものである。
【００５５】
判定部３４は、２次候補画像検索部３２により検索された２次候補画像群が所定の終了条件を満足するか否かを判定する。所定の終了条件とは、例えば２次候補画像群の要素数が、所定の閾値以下であることとしてよい。そして、判定部３４により所定の終了条件を満足すると判定された場合には、２次候補画像群を検索キー画像の類似画像群として表示部３６に表示する。また、判定部３４により所定の終了条件が満足されていないと判定された場合には、検索された２次候補画像群を候補画像群として上記説明した２次検索を再帰的に実行することとしてもよい。
【００５６】
表示部３６は、ディスプレイを含み構成され、検索キー画像の類似画像として検索された類似画像群をディスプレイに表示する。
【００５７】
次に、図５及び図６に示されるフロー図を参照しつつ、本実施形態に係る類似画像検索装置１０により行われる類似画像検索の事前処理及び類似画像検索処理の流れを説明する。
【００５８】
まず、図５を参照しつつ、類似画像検索の事前処理を説明する。類似画像検索の事前処理とは、データ格納部２２に格納された過去の診断画像及び診断レポートからテーブルデータ等の解析データを生成し、生成した解析データをデータ格納部２２に格納するまでの処理である。
【００５９】
類似画像検索装置１０は、データ格納部２２に蓄積された過去の診断レポートから病変部位等に関して記述したテキスト特徴を抽出する（Ｓ１０１）。類似画像検索装置１０は、抽出したテキスト特徴に基づいて、各テキスト特徴に対応するテキスト特徴変数を設定するとともに、設定したテキスト特徴変数が取りうる状態値を診断レポートから取得して、図２に示すようなテキスト特徴テーブルを生成する（Ｓ１０２）。
【００６０】
類似画像検索装置１０は、データ格納部２２に蓄積された過去の診断画像から病変部位等を表した部位の画像特徴を抽出する（Ｓ１０３）。類似画像検索装置１０は、抽出した画像特徴に基づいて、各画像特徴をクラスタリングして複数の画像特徴クラスタを生成するととともに（Ｓ１０４）、各画像特徴クラスタに対応した診断レポートにテキスト特徴テーブルに格納される各テキスト特徴が含まれる確率を求めて、図３に示すようなテキスト−画像特徴テーブルを生成する（Ｓ１０５）。そして、類似画像検索装置１０は、生成した各診断画像の画像特徴ベクトル、テキスト特徴テーブル、テキスト−画像特徴テーブルをデータ格納部２２に格納して（Ｓ１０６）、事前処理を終了する。
【００６１】
次に、図６を参照しつつ、類似画像検索処理を説明する。類似画像検索処理とは、利用者により指定された診断画像を検索キー画像として、その検索キー画像に類似する症例の診断画像をデータ格納部２２に蓄積された診断画像から検索する処理である。
【００６２】
類似画像検索装置１０は、指定された検索キー画像から画像特徴ベクトルを抽出し（Ｓ２０１）、蓄積された診断画像から、抽出した画像特徴ベクトルと類似する画像特徴ベクトルを有する画像からなる１次候補画像群を検索する（Ｓ２０２）。
【００６３】
類似画像検索装置１０は、１次候補画像群に関連づけられた診断レポート群から、テキスト特徴テーブルに格納された各テキスト特徴変数の状態値を取得し、取得した状態値から各テキスト特徴変数のエントロピーを算出する。そして、類似画像検索装置１０は、算出されたエントロピーが大きいテキスト特徴変数に対応するテキスト特徴を選択する（Ｓ２０３）。
【００６４】
類似画像検索装置１０は、テキスト−画像特徴テーブルから、選択したテキスト特徴との共起確率が高い画像特徴クラスタを抽出し、抽出した画像特徴クラスタのクラスタ中心との距離に基づいて、１次候補画像群及び検索キー画像の各画像特徴ベクトルを変換する（Ｓ２０４）。そして、類似画像検索装置１０は、１次候補画像群の中から、検索キー画像と変換後の画像特徴ベクトルが類似する画像群（２次候補画像群）を検索する（Ｓ２０５）。
【００６５】
類似画像検索装置１０は、検索された２次候補画像群の要素数が所定の閾値以下であるか否かを判断し（Ｓ２０６）、所定の閾値以下でないと判断する場合には（Ｓ２０６：Ｎ）、２次候補画像群を候補画像としてＳ２０３以降の処理を再帰的に繰り返し、所定の閾値以下であると判断する場合には（Ｓ２０６：Ｙ）、２次候補画像群を検索キー画像の類似画像群としてディスプレイに表示して（Ｓ２０７）、処理を終了する。
【００６６】
以上説明した本実施形態に係る類似画像検索装置１０によれば、画像特徴として類似した１次候補画像からさらに医師の観点を反映した特徴量で類似した画像を検索することで、蓄積された知識を活用した類似画像の検索を実現している。
【００６７】
なお、本発明は上記の実施形態に限定されるものではない。
【００６８】
上記の実施形態では、本発明に係る類似画像検索装置１０を症例データベースに格納された診断画像及び診断レポートに基づく類似画像を検索する技術に適用することとしたが、画像に関連づけてテキストデータが格納されたデータベースから類似画像を検索する他のシステムにも広く適用可能であるのはもちろんのことである。
【図面の簡単な説明】
【００６９】
【図１】本実施形態に係る類似画像検索装置の機能ブロック図である。
【図２】テキスト特徴テーブルの一例を示す図である。
【図３】テキスト−画像特徴テーブルの一例を示す図である。
【図４】１次候補画像群と２次候補画像群との関係を説明する図である。
【図５】類似画像検索の事前処理のフロー図である。
【図６】類似画像検索処理のフロー図である。
【符号の説明】
【００７０】
１０ 類似画像抽出装置、２０ 画像管理部、２２ データ格納部、２４ 画像特徴抽出部、２６ テキスト特徴抽出部、２８ １次候補画像検索部、３０ 画像特徴変換部、３２ ２次候補画像検索部、３４ 判定部、３６ 表示部、１００ 検索キー画像、１１０ １次候補画像群、１２０ ２次候補画像群、１３０ クラスタ中心。
【特許請求の範囲】
【請求項１】
複数の画像毎に、該画像に関して記述したテキスト情報を関連づけて格納する格納手段と、
前記格納手段に格納された複数の画像の中から、指定された検索キー画像について抽出された画像特徴と類似の画像特徴を有する画像からなる候補画像群を検索する手段と、
前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴の中から、所定の選択条件を満足するテキスト特徴を選択するテキスト特徴選択手段と、
前記テキスト特徴選択手段により選択されたテキスト特徴に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する画像特徴変換手段と、
前記画像特徴変換手段により変換された画像特徴に基づいて、前記候補画像群の中から、前記検索キー画像と類似する画像特徴を有する画像からなる類似画像群を検索する類似画像検索手段と、
を含むことを特徴とする類似画像検索装置。
【請求項２】
前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴毎に、予め取り得る状態値が定められたテキスト特徴変数を対応づけて設定する手段と、
前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報に基づいて、前記各テキスト特徴変数の状態値を取得する状態値取得手段と、をさらに含み、
前記テキスト特徴選択手段は、前記状態値取得手段により取得された状態値の分散が大きいテキスト特徴変数に対応するテキスト特徴を選択する、
ことを特徴とする請求項１に記載の類似画像検索装置。
【請求項３】
前記格納手段に格納された各画像から画像特徴を抽出するとともに、当該画像特徴を複数の画像特徴クラスタに分類する手段と、
前記画像特徴クラスタ毎に分類された画像特徴を有する画像に関連づけて前記格納手段に格納されたテキスト情報に前記各テキスト特徴が記述される確率により表される、前記各画像特徴クラスタと前記各テキスト特徴との共起確率をそれぞれ記憶する記憶手段と、
前記テキスト特徴選択手段により選択されたテキスト特徴について前記記憶手段に記憶される画像特徴クラスタの共起確率に基づいて画像特徴クラスタを選択する画像特徴クラスタ選択手段と、をさらに含み、
前記画像特徴変換手段は、前記画像特徴クラスタ選択手段により選択された画像特徴クラスタのクラスタ中心に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する、
ことを特徴とする請求項１又は２に記載の類似画像検索装置。
【請求項４】
前記画像特徴は、ベクトルデータであり、
前記画像特徴変換手段は、前記各画像の画像特徴たるベクトルデータを、前記画像特徴クラスタのクラスタ中心のベクトルデータからの前記各画像のベクトルデータへの距離に基づいて変換する、
ことを特徴とする請求項３に記載の類似画像検索装置。
【請求項５】
前記類似画像検索手段により検索された類似画像群を候補画像群として、前記テキスト特徴変数選択手段によるテキスト特徴変数の選択と、前記画像特徴変換手段による画像特徴の変換と、前記類似画像検索手段による画像の検索とを所定の終了条件を満たすまで再帰的に実行する、
ことを特徴とする請求項１乃至４のいずれかに記載の類似画像検索装置。
【請求項６】
前記所定の終了条件は、前記類似画像検索手段により抽出される類似画像群の要素数が閾値以下である、
ことを特徴とする請求項５に記載の類似画像検索装置。
【請求項７】
前記画像は、患者の患部を撮像した診断画像であり、
前記テキスト情報は、前記診断画像についての医師の診断レポートである、
ことを特徴とする請求項１乃至６のいずれかに記載の類似画像検索装置。
【請求項８】
複数の画像毎に、該画像に関して記述したテキスト情報を関連づけて格納する格納手段、
前記格納手段に格納された複数の画像の中から、指定された検索キー画像について抽出された画像特徴と類似の画像特徴を有する画像からなる候補画像群を検索する手段、
前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴の中から、所定の選択条件を満足するテキスト特徴を選択するテキスト特徴選択手段、
前記テキスト特徴選択手段により選択されたテキスト特徴に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する画像特徴変換手段、及び、
前記画像特徴変換手段により変換された画像特徴に基づいて、前記候補画像群の中から、前記検索キー画像と類似する画像特徴を有する画像からなる類似画像群を検索する類似画像検索手段、
としてコンピュータを機能させることを特徴とする類似画像検索プログラム。
【請求項１】
複数の画像毎に、該画像に関して記述したテキスト情報を関連づけて格納する格納手段と、
前記格納手段に格納された複数の画像の中から、指定された検索キー画像について抽出された画像特徴と類似の画像特徴を有する画像からなる候補画像群を検索する手段と、
前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴の中から、所定の選択条件を満足するテキスト特徴を選択するテキスト特徴選択手段と、
前記テキスト特徴選択手段により選択されたテキスト特徴に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する画像特徴変換手段と、
前記画像特徴変換手段により変換された画像特徴に基づいて、前記候補画像群の中から、前記検索キー画像と類似する画像特徴を有する画像からなる類似画像群を検索する類似画像検索手段と、
を含むことを特徴とする類似画像検索装置。
【請求項２】
前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴毎に、予め取り得る状態値が定められたテキスト特徴変数を対応づけて設定する手段と、
前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報に基づいて、前記各テキスト特徴変数の状態値を取得する状態値取得手段と、をさらに含み、
前記テキスト特徴選択手段は、前記状態値取得手段により取得された状態値の分散が大きいテキスト特徴変数に対応するテキスト特徴を選択する、
ことを特徴とする請求項１に記載の類似画像検索装置。
【請求項３】
前記格納手段に格納された各画像から画像特徴を抽出するとともに、当該画像特徴を複数の画像特徴クラスタに分類する手段と、
前記画像特徴クラスタ毎に分類された画像特徴を有する画像に関連づけて前記格納手段に格納されたテキスト情報に前記各テキスト特徴が記述される確率により表される、前記各画像特徴クラスタと前記各テキスト特徴との共起確率をそれぞれ記憶する記憶手段と、
前記テキスト特徴選択手段により選択されたテキスト特徴について前記記憶手段に記憶される画像特徴クラスタの共起確率に基づいて画像特徴クラスタを選択する画像特徴クラスタ選択手段と、をさらに含み、
前記画像特徴変換手段は、前記画像特徴クラスタ選択手段により選択された画像特徴クラスタのクラスタ中心に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する、
ことを特徴とする請求項１又は２に記載の類似画像検索装置。
【請求項４】
前記画像特徴は、ベクトルデータであり、
前記画像特徴変換手段は、前記各画像の画像特徴たるベクトルデータを、前記画像特徴クラスタのクラスタ中心のベクトルデータからの前記各画像のベクトルデータへの距離に基づいて変換する、
ことを特徴とする請求項３に記載の類似画像検索装置。
【請求項５】
前記類似画像検索手段により検索された類似画像群を候補画像群として、前記テキスト特徴変数選択手段によるテキスト特徴変数の選択と、前記画像特徴変換手段による画像特徴の変換と、前記類似画像検索手段による画像の検索とを所定の終了条件を満たすまで再帰的に実行する、
ことを特徴とする請求項１乃至４のいずれかに記載の類似画像検索装置。
【請求項６】
前記所定の終了条件は、前記類似画像検索手段により抽出される類似画像群の要素数が閾値以下である、
ことを特徴とする請求項５に記載の類似画像検索装置。
【請求項７】
前記画像は、患者の患部を撮像した診断画像であり、
前記テキスト情報は、前記診断画像についての医師の診断レポートである、
ことを特徴とする請求項１乃至６のいずれかに記載の類似画像検索装置。
【請求項８】
複数の画像毎に、該画像に関して記述したテキスト情報を関連づけて格納する格納手段、
前記格納手段に格納された複数の画像の中から、指定された検索キー画像について抽出された画像特徴と類似の画像特徴を有する画像からなる候補画像群を検索する手段、
前記候補画像群の各画像に関連づけて前記格納手段に格納されたテキスト情報からテキスト特徴を抽出するとともに、当該抽出されたテキスト特徴の中から、所定の選択条件を満足するテキスト特徴を選択するテキスト特徴選択手段、
前記テキスト特徴選択手段により選択されたテキスト特徴に基づいて、前記候補画像群および前記検索キー画像のそれぞれの画像特徴を変換する画像特徴変換手段、及び、
前記画像特徴変換手段により変換された画像特徴に基づいて、前記候補画像群の中から、前記検索キー画像と類似する画像特徴を有する画像からなる類似画像群を検索する類似画像検索手段、
としてコンピュータを機能させることを特徴とする類似画像検索プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００９−９３５６３（Ｐ２００９−９３５６３Ａ）
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【出願番号】特願２００７−２６５８４２（Ｐ２００７−２６５８４２）
【出願日】平成１９年１０月１１日（２００７．１０．１１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２１年４月３０日（２００９．４．３０）
【国際特許分類】
【出願日】平成１９年１０月１１日（２００７．１０．１１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]