医用画像検索
医用画像のための方法およびシステムが記載される。システムの一実施は、医用画像を取得するように構成された画像取得サブシステムと、取得した各医用画像を解析し、その解析に基づいて、取得した各医用画像に1つ以上の記述子を関連付けるように構成された画像分析サブシステムと、取得した医用画像および関連付けられた記述子を格納するように構成されたデータベースと、記述子を用いて、データベースを検索するように構成されたクエリツールとを備える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は医用画像に関する。
【背景技術】
【0002】
医療関係者は、医用画像を生成するために、様々な医用画像技術、例えば超音波、MRI(核磁気共鳴映像法)、X線を日常的に用いている。医師または医療施設は、対応する患者の現在の治療のため、および情報目的で利用するための資源としての双方に用いられる医用画像のデータストアを蓄積し得る。
【0003】
IVUS(血管内超音波)画像は、血管内部の画像を生成するための典型的な医用画像技術である。血管の血管内超音波(IVUS)断面画像を生成するための従来技術では、超音波ビームを360度の走査角度で連続して掃引する。カテーテル端に位置する単一要素トランスデューサは、血管の内側で回転することができる。単一要素トランスデューサを可撓性を有する駆動軸に取り付けるか、または回転鏡を用いることができる。いずれの場合も、超音波ビームは、血管内のほぼすべての角度位置に指向される。これに代えて、複数の小さなトランスデューサ素子をカテーテル先端の周囲に円筒状に取り付けて、超音波ビームを電子的に操作して断面スキャンを形成してもよい。
【0004】
超音波ビームと組織または血液との相互作用は、トランスデューサによって検出されるエコー信号を生じさせる。エコー信号は、そのエコー信号が相互作用する生体媒質に基づいて、減衰、反射/屈折、および/または散乱を生じ得る。超音波が二種類の媒質間の境界を越えて進む場合、波の一部は界面で反射され、一方、残りの波は第2の媒質を通って伝播する。反射音響強度と、第2媒質を通過し続ける強度との比は、媒質間における音響インピーダンスの差に関連している。画像処理プロセッサは、各角度位置に対応する半径方向の線を描出し、その角度位置に対して受信したエコーに基づいて、前記線上の画素に輝度値を割り当てる。IVUSシステムは、上述したエコー信号を、例えば標準ビデオフォーマットの超音波映像として表示することができる電子信号に変換するための変換回路を備える。
【0005】
IVUS画像は、一旦形成されると、データベースに格納することができ、その後、様々な従来の画像検索技術のうちのいずれか一つを用いて、データベースから取り出すことができる。キーワードに基づいた画像検索として知られている一技術は、ユーザクエリからのキーワードを、手動で生成されて画像に関連付けられた注釈に一致させることによって画像を検索する。コンテンツベースの画像検索として知られる別の技術は、画像に関連付けられた注釈ではなく、画像の内容に基づいて画像を検索する。例えば、コンテンツベースの画像検索を用いると、ユーザは、特定の色の組み合わせを有する画像を探すことができる。
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明は医用画像に関する。
【課題を解決するための手段】
【0007】
一般に、一態様において、本発明はコンピュータによって実施される方法を特徴とする。該方法は、脈管内画像を受信する工程と、各脈管内画像を解析し、その解析に基づいて、各脈管内画像に1つ以上の記述子を関連付ける工程と、脈管内画像および関連付けられた記述子を検索可能なデータストアに格納する工程とを含む。各記述子は脈管内画像の特徴に関連する。
【0008】
本発明の実施は、以下の特徴の1つ以上を備え得る。記述子は、テキスト記述子であってもよい。この場合、テキストは特徴を記述する。別の実施において、記述子は記号または符号であってもよい。この場合、記号または符号は特徴の記述にマップされる。各脈管内画像の解析には、脈管内画像のスペクトル特性を、一連の記述子にマップされた一連の既知のスペクトル特性と比較することを含み得る。前記特徴は、病理学的特徴、例えば組織タイプであってもよい。脈管内画像および記述子は、DICOM(Dig ital Imaging and Communications in Medicine:医用におけるデジタル画像および通信に関する標準規格)フォーマットで格納することができる。脈管内画像はIVUS(血管内超音波)画像であってもよい。
【0009】
前記方法は、記述子に基づいてデータストアの検索を行う工程をさらに含み得る。前記方法は、取得した脈管内画像を受信する工程と、取得した脈管内画像を解析し、その解析に基づいて、取得した脈管内画像に1つ以上の記述子を関連付ける工程と、取得した脈管内画像に関連付けられた1つ以上の記述子に基づいて、データストアの検索を行う工程とをさらに含むことができる。
【0010】
別の態様においては、概して、本発明はコンピュータによって実施される別の方法を特徴とする。該方法は、取得した脈管内画像を受信する工程と、取得した脈管内画像を解析する工程と、その解析に基づいて、取得した脈管内画像に1つ以上の記述子を関連付ける工程とを含む。脈管内画像の集合の検索が行われ、前記集合から1つ以上の脈管内画像が取り出される。取り出された脈管内画像の各々は、取得した脈管内画像の記述子と合致する少なくとも1つの記述子に関連付けられている。前記検索は、取得した脈管内画像に関連付けられた1つ以上の記述子に基づいている。各記述子は取得した脈管内画像の特徴に関連する。
【0011】
本発明の実施は、以下の特徴の1つ以上を備え得る。記述子は、テキスト記述子であってもよい。この場合、テキストは特徴を記述する。別の実施において、記述子は記号または符号であってもよい。この場合、記号または符号は特徴の記述にマップされる。取得した脈管内画像の解析は、取得した脈管内画像のスペクトル特性を、一連の記述子にマップされた一連の既知のスペクトル特性と比較することを含み得る。前記記述子に関係する特徴は、病理学的特徴、例えば組織タイプであってもよい。
【0012】
別の態様においては、概して、本発明は画像システムを特徴とする。該システムは、画像取得サブシステム、画像解析サブシステム、データベース、およびクエリツールを備える。画像取得サブシステムは、医用画像を取得するように構成されている。画像解析サブシステムは、取得した各医用画像を解析し、その解析に基づいて、取得した各医用画像に1つ以上の記述子を関連付けるように構成されている。データベースは、取得した医用画像および関連付けられた記述子を格納するように構成されている。クエリツールは、記述子を用いて、データベースを検索するように構成されている。各記述子は取得した医用画像の特徴に関連する。
【0013】
本発明の実施は、以下の特徴の1つ以上を備え得る。記述子は、テキスト記述子であってもよい。この場合、テキストは特徴を記述する。別の実施において、記述子は記号または符号であってもよい。この場合、記号または符号は特徴の記述にマップされる。画像解析サブシステムは、取得した医用画像のスペクトル特性を、対応する一連の記述子にマップされた一連の既知のスペクトル特性と比較するように構成され得る。記述子に関連する特徴は、病理学的特徴、例えば組織タイプであってもよい。医用画像は血管内超音波画像であってもよい。取得した医用画像および関連付けられた記述子は、DICOM(医用におけるデジタル画像および通信に関する標準規格)フォーマットで格納することができる。
【0014】
別の態様においては、概して、本発明はコンピュータによって実施される別の方法を特徴とする。該方法は、取得した脈管内画像を受信する工程と、取得した脈管内画像を解析して、前記画像の特徴を識別する工程とを含む。解析によって特徴が識別されない場合、脈管内画像の集合のコンテンツベースの検索が行われる。そうでなければ、解析によって特徴が識別された場合には、識別された特徴に対応するテキスト記述子が、取得した脈管内画像に関連付けられ、脈管内画像の集合のテキストベースの検索が行われる。テキストベースの検索が画像を返答しない場合、脈管内画像の集合のコンテンツベースの検索が行われる。各脈管内画像には、1つ以上のテキスト記述子が関連付けられている。前記テキストベースの検索は、取得した脈管内画像の1つ以上のテキスト記述子に基づく。
【0015】
実施は、以下の特徴の1つ以上を備え得る。たとえテキストベースの検索が画像を返答しないとしても、脈管内画像の集合のコンテンツベースの検索が行われ得る。一実施においては、脈管内画像の集合のコンテンツベースの検索は下記工程を含む。取得した画像のスペクトル解析が行われる。画像の集合中の各画像のスペクトル解析が行われる。取得した画像のスペクトル解析は、画像の集合中の各画像のスペクトル解析と比較される。取得した解析のスペクトル解析との類似性の所定の閾値に合致するスペクトル解析を有する画像の集合から画像が取り出される。
【0016】
本発明の実施は、以下の効果の1つ以上を実現し得る。医用画像のデータストアは、所望の検索基準に合致する画像について、効率的かつ徹底的に検索され得る。前記検索基準は、一連の記述子に基づいていてもよく、またはソース画像に基づいて生成してもよい。例えば、医師は、予め取得した画像のデータストアを迅速に検索して、取得したソース画像に合致するまたは類似する病理学的特徴を有する画像を見つけることができる。ソース画像の自動解析に基づいて検索クエリを自動的に生成してもよく、これにより、手入力の介入を制限することができる。画像中に存在する病理学的特徴に従って、その画像を特徴付けることができる。これにより、医師による画像の診断がより容易になる。
【0017】
本発明の一以上の実施形態の詳細は、添付の図面および以下の説明に述べられる。本発明の他の特徴、目的および効果は、本発明の説明および図面、並びに特許請求の範囲から明白になるであろう。
【発明を実施するための最良の形態】
【0018】
様々な図面における同様の参照符号は類似の要素を示す。
医用画像のデータストアを形成および/または検索するための方法およびシステムについて説明する。データストア、例えばデータベースは、一連の医用画像(例えば、脈管内画像)を含み、各医用画像はその画像に関連付けられた1つ以上の対応する記述子を有する。1つ以上の記述子を用いてデータベースの検索を行って、一致する記述子に関連付けられた医用画像を見つけ出すことができる。前記検索は、任意のテキスト記述子に基づいてもよく、または類似する画像が検索されるべきソース画像に関連付けられた記述子に基づいてもよい。
【0019】
一実施において、医用画像は、血管内超音波法、すなわちIVUSを用いて得られた脈管内画像である。図1は、脈管内画像を検索するために用いることができるシステム例を示す。別の実施において、脈管内画像は、他の医用画像技術、例えばMRI(核磁気共鳴映像法)を用いて得ることができる。
【0020】
図示される実施において、IVUS画像システム100は、画像取得サブシステム110、画像解析サブシステム120、画像データベース130、およびクエリツール140を備える。画像取得サブシステム110は、IVUS技術、例えば上述したような従来のIVUS技術を用いて、画像を取得する。
【0021】
画像解析サブシステム120は、取得した画像に対して記述子を生成する。一実施において、前記記述子はテキスト記述子である。その場合、所与の画像に対するテキスト記述子に含まれるテキストは、画像中に存在する特徴を記述し得る。例えば、図2は取得した画像200を示し、図3は取得した画像200に対して生成されたテキスト記述子310,320,330,340を示す。この例において、テキスト記述子によって記述された特徴は、血管に見られる異なる組織タイプに対応する病理学的特徴である。これらの組織タイプは、血液310、ソフトプラーク320、壊死組織330および石灰化組織340を含む。
【0022】
他のタイプの記述子を用いることができ、テキスト記述子は単に例として挙げたに過ぎない。記述子は検索可能であり、例えば、検索可能なデータベース内において検索することができる。また、記述子は、対応する特徴の記述に関連する。したがって、記述子の他の形態が可能である。例えば、記述子は記号または符号(例えば数字コード)であり得る。この場合、記号または符号は特徴の記述を表現するものである。例えば、記号は視覚的に記述して、特徴の固有な説明を提供する。別の例として、数字コードは、特徴のテキスト形式の記述にマップされ得る。例示を目的として、本願に記載する方法およびシステムは、テキスト記述子を用いるものとして説明されている。しかしながら、上述したように記述子の他の形態を用いることができる。また、下記の記載は、例示のみを目的として、テキスト記述子を用いて説明されているが、本発明をこれに限定するものではない。
【0023】
図1を再度参照すると、テキスト記述子は、自動的に、すなわち手入力の介入なく、生成される。画像解析サブシステム120は、画像を解析し、その解析に基づいてテキスト記述子を生成する。一実施において、画像を解析するため、例えば、画像中に存在する特徴を識別するために、画像認識技術が用いられる。例えば、図4を参照すると、画像を受信または取得し(工程402)、その画像を解析して画像中に存在する特徴を識別する(工程404)。この実施において、前記特徴は、先ず、画像のスペクトル特性を識別し、次に、識別されたスペクトル特性を、スペクトル特性を特徴にマップする情報と比較することにより識別される。
【0024】
上述したように、画像は、超音波振動子によって受信される音響信号(すなわちエコー)に基づいて生成される。画像のスペクトル解析を行って、画像のスペクトル特性を識別することができる。音響信号は電気信号に変換され、電気信号は次いでデジタル化される。図8Aを参照すると、前記デジタル信号にフーリエ変換を適用すると、デジタル信号は、周波数820およびスペクトル振幅830の関数として表すことができる。所与の周波数範囲850に対するデジタル信号を表す曲線810の下方の領域840は、その周波数範囲に対するエネルギー含量を表す。所与の周波数範囲に対するエネルギー含量は、組織タイプごとに異なり、従って、各組織タイプに対する「スペクトルシグネチャ」として用いることができる。それにより、スペクトルシグネチャを用いて、所与の画像中に存在する組織タイプを識別することができる。
【0025】
図8Bおよび図8Cに示したように、異なる組織タイプは異なるスペクトルシグネチャを有する。図示される例において、組織タイプAは、45〜50メガヘルツの周波数範囲について、組織タイプBよりもはるかに高いエネルギー含量を有する。したがって、所与の信号について、45〜50メガヘルツの周波数範囲中のエネルギー含量が特定の閾値より高い場合、その信号は組織タイプAに一致すると判定される。
【0026】
一実施において、血管内の超音波振動子の複数の角度位置に対応する(すなわち複数の半径方向線に沿った)複数のデジタル信号が解析される。半径方向の線に沿って検出される組織タイプは、隣接する半径方向の線に沿って検出される組織タイプに対応する傾向にあり、画像化されている血管の断面中に存在する組織タイプの表示を共に提供する。例えば、図5に示したように、複数の半径方向の線に沿って検出された異なる組織タイプは共に、画像に示されている血管の断面に存在する組織タイプの視覚的表示を提供する。一実施において、半径方向の線は、そのデジタル化表示において、約2000個のサンプルから成る。サンプリングレートおよび組織における超音波の速度(例えば1500m/秒)に応じて、各サンプルは特定の半径方向距離を関連付けられ得る。半径方向の線、例えば図5に示す半径方向線500に沿って、特定の組織タイプ、例えばソフトプラークの局所領域は、半径方向の線を構成する完全な2000個のサンプル列内における部分列に置き換えることができる。部分列中のサンプルを用いてスペクトルを見出すことができ、対応するスペクトル振幅対周波数のグラフは、部分列中のあるサンプル(例えば中央のサンプル)に対応する距離に関連付けることができる。
【0027】
別の実施において、デジタル信号に異なる変換を適用することができる。フーリエ変換は、例示のために上述したものである。例えば、前記変換は、問題に特有の変換、すなわち特定のクラスのデータに特化した変換であってもよい。問題に特有の変換の一例は、フィッシャーの線形判別式である。
【0028】
一実施において、スペクトル特性を特徴にマップする情報は、参照テーブルに格納される。マッピングは合致に基づき得る。ここで合致とは、直接合致、最も近い合致、または所定範囲内における合致(すなわち参照値から特定の量だけプラスまたはマイナス(+/−)であるスペクトル特性は合致しているとみなされる)のいずれかである。参照テーブルはまた、各特徴に対応する1つ以上のテキスト記述子を含むことができる。これに代えて、テキスト記述子は、第1参照テーブルの特徴をテキスト記述子にマップする第2参照テーブルに格納されてもよい。1つ以上のテキスト記述子は、識別された特徴に基づいて、画像に関連付けられる(工程406)。
【0029】
参照テーブルは、生成の目的のために、システム100の展開および使用に先立って行われるシステム較正プロセスの間に構成され得る。参照テーブルは、一連の既知の特徴を含む画像の代表サンプルを調べて、その特徴に対応するスペクトル特性を識別することにより構成され得る。一実施において、システムを較正するために用いられる画像は、システム100の一部として提供され得る。すなわち、較正画像は、ユーザが自分のデータベース130に追加する他の画像に加えて、システムのユーザによって検索され得る画像の「参照ライブラリ」を形成することができる。
【0030】
所与の画像に対するテキスト記述子の生成に加えて、画像解析サブシステム120はまた、識別された様々な特徴を特徴付けるために、任意で画像に視覚的標示を追加することができる(工程408)。例えば、図5に示すように、異なる特徴に対応する画像の各部分は、異なる色または模様で表される。例えば、石灰化領域340はクロスハッチングで示されている。異なる特徴のこの視覚的な特徴付けは、ユーザによる画像診断をより容易にすることができる。任意で、追加情報、例えばユーザによって提供される情報を画像に追加することができる。
【0031】
画像および関連するテキスト記述子は画像データベース130に格納される(工程410)。一実施において、画像およびテキスト記述子はDICOMフォーマットで格納される。医用におけるデジタル画像および通信に関する標準規格(Digital Imaging and Communications in Medicine)の頭字語であるDICOMは、医用画像データの格納および伝送に関してACR−NEMA(米国放射線学会−米国電機工業会)によって作成された規格である。代表的なDICOMファイルは、標準化フィールド並びに自由形式フィールドを備えたヘッダと、画像データ本体とを含む。取得した画像はファイルの本体に含まれ、関連するテキスト記述子はファイルヘッダーに含まれ得る。ファイルヘッダーはまた、テキスト記述子に加えて、他のコンテクスト情報、例えば画像が取得された日時に対応するタイムスタンプおよび患者識別コードを含むことができる。
【0032】
クエリツール140は、ユーザが画像データベース130を検索することを可能にする。一実施において、検索は、クエリツール140に1つ以上の検索語を提供することによって開始される。例えば、医師は、「患者Xの血管は、昨年検査したときにはどのように見えたか」を知りたいことがある。医師は、患者の氏名、日付範囲、および捜している組織タイプまたは血管のタイプについて記述するテキスト記述子を含む検索クエリを用いることができる。医師は、「患者Xの血管は、昨年診た他の人と比較してどうであるか?」を知りたいことがある。この例において、検索クエリは、日付範囲、および組織タイプまたは血管のタイプについて記述するテキスト記述子を含むことができ、患者Xに関する画像は除外することができる。そのような問合せは、1つ以上の検索フィールド(例えば、患者の氏名、患者のID、日付範囲、血管のタイプ)に検索語を入力することにより行うことができる。これに代えて、より高度な検索技術を使用して、単に医師が検索フィールドに上述したような質問、すなわち、「患者Xの血管のタイプは、昨年診た他の人と比較してどうであるか?」を入力することにより、比較可能な画像を取り出すために、適切な検索クエリを自動的に生成するようにしてもよい。
【0033】
別の実施において、検索は、まずソース画像を取得し、次にソース画像に類似する画像を検索することによって開始され得る。図6に示したように、画像が取得され(工程610)、解析される(工程620)。その解析に基づいて、その取得した画像に1つ以上のテキスト記述子が関連付けられる(工程630)。次に、取得した画像に関連付けられたテキスト記述子に基づいて、画像データベース130の検索が行われる(工程640)。画像データベース130から画像が取り出される(工程650)。取り出された画像の各々は、取得した画像のテキスト記述子のうちの1つと合致する、少なくとも1つの関連するテキスト記述子を有する。
【0034】
別の実施において、システム100は、テキストベースの検索(すなわち、テキスト記述子を用いた検索)に加えて、またはその代わりに、コンテンツベースの検索を行うように構成され得る。この実施において、図7を参照すると、画像を取得し(工程710)、その画像を解析して、画像中に存在する特徴を識別する(工程720)。特徴が識別されない(すなわち、参照テーブルに含まれる特徴に対応する特徴がない)場合(決定工程725の「No」の分枝)、次に、下記でより詳細に説明するような、コンテンツベースの検索が行われる(工程760)。1つ以上の特徴が識別される場合(決定工程725の「Yes」の分枝)には、識別された特徴に対応する1つ以上のテキスト記述子が、取得した画像に関連付けられる(工程730)。次に、取得した画像に関連付けられたテキスト記述子に基づいて、画像データベース130の検索が行われる(工程740)。テキスト記述子に基づいて合致する画像が見つかった場合(決定工程745の「Yes」の分枝)、合致する画像が画像データベース130から取り出される(工程750)。
【0035】
1つ以上のテキスト記述子に基づいて、合致する画像が見つからない場合(決定工程745の「No」の分枝)、クエリツールは、今度はテキスト記述子に代えて、画像のコンテンツベースの検索を行う(工程760)。コンテンツベースの検索は、従来のコンテンツベースの画像検索技術を用いて行うことができる。例えば、解析工程から、取得した画像の1つ以上のスペクトルシグネチャを識別することができる。次に、データベース130に含まれる各画像を解析して、前記画像の対応するスペクトルシグネチャを判定することができる。データベース130内の画像のスペクトルシグネチャは、取得した画像のスペクトルシグネチャと比較され得る。スペクトルシグネチャが合致する(すなわち、所定の閾値内で類似する)場合、その画像は合致画像として取り出される(工程750)。コンテンツベースの検索は、テキスト記述子に基づいた検索ほど効率的ではない。なぜならば、テキスト記述子に基づいた検索では取得した画像のみを解析するのに対し、コンテンツベースの検索では、データベース130中の各画像を解析しなければならないためである。しかしながら、コンテンツベースの検索は、クエリツールが、画像解析サブシステム120によって用いられる参照テーブルに含まれていない特徴を備えた画像を見つけ出すことを可能にする。
【0036】
別の実施において、テキスト記述子に基づいて画像が見つかった場合でも、参照テーブルに含まれていない合致する特徴を有する他の画像を得るために、コンテンツベースの第2の検索を行うことができる。
【0037】
同様に、決定工程725を再度参照すると、特徴が識別されず、従って、テキスト記述子が画像に関連付けられない場合には、次に、上述したようなコンテンツベースの検索を行うことができ(工程760)、合致する画像が見つかった場合(決定工程765の「Yes」の分枝)には、それらの画像が取り出される(工程750)。
【0038】
サブシステムとは、本願で用いられる場合において、機能をカプセル化するハードウェアであってもよく、またはファームウェアであってもよく、またはソフトウェアアプリケーションであってもよい。サブシステムは、1つ以上の機能を実行することができ、ハードウェア、ファームウェアまたはソフトウェアは、本願に記載された2つ以上のサブシステムの機能を実行することができる。同様に、本願に記載された単一のサブシステムの機能を実行するために、2つ以上のハードウェア、ファームウェアおよび/またはソフトウェアを用いることができる。
【0039】
本明細書に記載されたサブシステムの一部またはすべての機能操作は、本明細書に開示された構造的手段およびその構造的均等物を含む、デジタル電子回路、またはコンピュータソフトウェア、ファームウェアもしくはハードウェア、またはそれらの組み合わせにおいて実行され得る。記載したプロセスは、1つ以上のコンピュータプログラム製品として実行され得る。コンピュータプログラム製品とは、すなわち、例えばプログラム可能なプロセッサ、コンピュータ、複数のコンピュータ群のようなデータ処理装置によって実行するため、またはそれらの装置の動作を制御するために、例えば機械可読記憶装置、または伝播信号のような情報担体において明確に具体化された1つ以上のコンピュータプログラムである。
【0040】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている)は、コンパイラ型言語またはインタープリタ型言語を含む、任意の形態のプログラミング言語で記述され得る。また、コンピュータプログラムは、独立プログラムとして、またはモジュール、コンポーネント、サブルーチンまたはコンピュータ環境での使用に適した他のユニットとしての形態を含め、任意の形態で配備され得る。コンピュータプログラムは、必ずしもファイルに対応しない。プログラムは、他のプログラムまたはデータを保持するファイルの一部、問題のプログラムに専用の単一ファイル、または複数の統合ファイル(例えば、1つ以上のモジュール、サブプログラムまたはコードの一部を格納するファイル)に格納され得る。コンピュータプログラムは、1台のコンピュータ上、あるいは一箇所に位置するか、または複数箇所に分散され、かつ通信ネットワークによって相互に接続された複数のコンピュータ上において実行されるように配備され得る。
【0041】
本発明の方法の工程を含む、本明細書に記載したプロセスおよび論理フローは、1つ以上のコンピュータプログラムを実行して、入力データに基づいて動作し、出力を生成することによって、本発明の機能を実施する1つ以上のプログラム可能なプロセッサによって、(少なくとも部分的に)行うことができる。プロセスおよび論理フローはまた、例えば、FPGA(フィールド・プログラマブル・ゲート・アレイ)またはASIC(特定用途向け集積回路)のような特殊目的論理回路によって実行可能であり、また本発明の装置はそのような特殊目的論理回路として実施することができる。
【0042】
コンピュータプログラムの実行に適したプロセッサとしては、例として、汎用マイクロプロセッサおよび特殊目的マイクロプロセッサの双方、ならびに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサが挙げられる。一般に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリ、あるいはそれらの双方から、命令およびデータを受信する。コンピュータの必須構成要素は、命令を実行するためのプロセッサと、命令およびデータを格納するための1つ以上の記憶装置である。一般に、コンピュータはまた、例えば磁気ディスク、光磁気ディスク、もしくは光ディスクのような、データを格納するための1つ以上の大容量記憶装置を備えるか、またはそれらの大容量記憶装置からのデータを受信するように、またはそれらの大容量記憶装置にデータを転送するように、あるいはそれらの双方を行うように作動可能に接続されるであろう。コンピュータプログラム命令およびデータを具体化するのに適した情報担体としては、例として、例えばEPROM、EEPROM、フラッシュメモリ装置のような半導体記憶装置;例えば内蔵ハードディスク、リムーバブルディスクのような磁気ディスク;光磁気ディスク;ならびにCD−ROMディスクおよびDVD−ROMディスクを含む、あらゆる形態の不揮発性メモリが挙げられる。プロセッサおよびメモリは、特殊目的論理回路によって補われてもよいし、または特殊目的論理回路内に組み込まれてもよい。
【0043】
ユーザとのインタラクションを提供するために、本発明は、ユーザに情報を示すための表示装置、例えばCRT(陰極線管)またはLCD(液晶ディスプレイ)モニタと、ユーザがコンピュータに入力を与えることができる、キーボードや、例えばマウスまたはトラックボールなどの指示装置とを有するコンピュータ上において実施することができる。同様に、ユーザとのインタラクションを提供するために、他の種類の装置を用いることができる。例えば、ユーザに提供されるフィードバックは、例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバックのような任意の形態の感覚フィードバックであり得る。また、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受信することができる。
【0044】
本発明は、例えばデータサーバーとして、バックエンドコンポーネントを備えるか、または、例えばアプリケーションサーバーのようなミドルウェアコンポーネントを備えるか、または、例えばユーザが本発明の実施にあたりインタラクションが可能なグラフィカルユーザインタフェースもしくはウェブブラウザを有するクライアントコンピュータのようなフロントエンドコンポーネントを備えるか、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを備えるコンピュータシステムにおいて実行することができる。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信、例えば通信ネットワークによって相互に接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)、および例えばインターネットのような広域ネットワーク(「WAN」)が挙げられる。コンピュータシステムは、クライアントおよびサーバを備えることができる。クライアントおよびサーバは、一般に、互いから離隔されており、一般的には通信ネットワークを介して相互に作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で作動し、互いにクライアント−サーバ関係を有するコンピュータプログラムによって発生する。
【0045】
本発明の多数の実施形態について説明してきたが、本発明の主旨および範囲から逸脱することなく、様々な改変がなされてもよいことが理解されるだろう。例えば、超音波画像の他に、他の画像技術、例えばMRI(核磁気共鳴映像)技術を用いて画像を取得することができる。図4、図6および図7に示した論理フローは、所望の結果を達成するために、示した特定の順序、または順番を必ずしも要せず、本発明の工程は異なる順序で行うことができる。従って、他の実施形態は以下の特許請求の範囲に包含される。
【図面の簡単な説明】
【0046】
【図1】医用画像の検索可能なデータストアを備えるシステムの一実施形態を示す図。
【図2】IVUS画像を示す図。
【図3】IVUS画像に対するテキスト記述子を示す図。
【図4】画像および関連するテキスト記述子をデータストアに格納する方法を示すフローチャート。
【図5】標示が付けられたIVUS画像を示す図。
【図6】画像を取得し、データストアを検索するプロセスを示すフローチャート。
【図7】画像を取得し、データストアを検索するための別のプロセスを示すフローチャート。
【図8A】画像のスペクトル特性を示すグラフ。
【図8B】画像のスペクトル特性を示すグラフ。
【図8C】画像のスペクトル特性を示すグラフ。
【技術分野】
【0001】
本発明は医用画像に関する。
【背景技術】
【0002】
医療関係者は、医用画像を生成するために、様々な医用画像技術、例えば超音波、MRI(核磁気共鳴映像法)、X線を日常的に用いている。医師または医療施設は、対応する患者の現在の治療のため、および情報目的で利用するための資源としての双方に用いられる医用画像のデータストアを蓄積し得る。
【0003】
IVUS(血管内超音波)画像は、血管内部の画像を生成するための典型的な医用画像技術である。血管の血管内超音波(IVUS)断面画像を生成するための従来技術では、超音波ビームを360度の走査角度で連続して掃引する。カテーテル端に位置する単一要素トランスデューサは、血管の内側で回転することができる。単一要素トランスデューサを可撓性を有する駆動軸に取り付けるか、または回転鏡を用いることができる。いずれの場合も、超音波ビームは、血管内のほぼすべての角度位置に指向される。これに代えて、複数の小さなトランスデューサ素子をカテーテル先端の周囲に円筒状に取り付けて、超音波ビームを電子的に操作して断面スキャンを形成してもよい。
【0004】
超音波ビームと組織または血液との相互作用は、トランスデューサによって検出されるエコー信号を生じさせる。エコー信号は、そのエコー信号が相互作用する生体媒質に基づいて、減衰、反射/屈折、および/または散乱を生じ得る。超音波が二種類の媒質間の境界を越えて進む場合、波の一部は界面で反射され、一方、残りの波は第2の媒質を通って伝播する。反射音響強度と、第2媒質を通過し続ける強度との比は、媒質間における音響インピーダンスの差に関連している。画像処理プロセッサは、各角度位置に対応する半径方向の線を描出し、その角度位置に対して受信したエコーに基づいて、前記線上の画素に輝度値を割り当てる。IVUSシステムは、上述したエコー信号を、例えば標準ビデオフォーマットの超音波映像として表示することができる電子信号に変換するための変換回路を備える。
【0005】
IVUS画像は、一旦形成されると、データベースに格納することができ、その後、様々な従来の画像検索技術のうちのいずれか一つを用いて、データベースから取り出すことができる。キーワードに基づいた画像検索として知られている一技術は、ユーザクエリからのキーワードを、手動で生成されて画像に関連付けられた注釈に一致させることによって画像を検索する。コンテンツベースの画像検索として知られる別の技術は、画像に関連付けられた注釈ではなく、画像の内容に基づいて画像を検索する。例えば、コンテンツベースの画像検索を用いると、ユーザは、特定の色の組み合わせを有する画像を探すことができる。
【発明の開示】
【発明が解決しようとする課題】
【0006】
本発明は医用画像に関する。
【課題を解決するための手段】
【0007】
一般に、一態様において、本発明はコンピュータによって実施される方法を特徴とする。該方法は、脈管内画像を受信する工程と、各脈管内画像を解析し、その解析に基づいて、各脈管内画像に1つ以上の記述子を関連付ける工程と、脈管内画像および関連付けられた記述子を検索可能なデータストアに格納する工程とを含む。各記述子は脈管内画像の特徴に関連する。
【0008】
本発明の実施は、以下の特徴の1つ以上を備え得る。記述子は、テキスト記述子であってもよい。この場合、テキストは特徴を記述する。別の実施において、記述子は記号または符号であってもよい。この場合、記号または符号は特徴の記述にマップされる。各脈管内画像の解析には、脈管内画像のスペクトル特性を、一連の記述子にマップされた一連の既知のスペクトル特性と比較することを含み得る。前記特徴は、病理学的特徴、例えば組織タイプであってもよい。脈管内画像および記述子は、DICOM(Dig ital Imaging and Communications in Medicine:医用におけるデジタル画像および通信に関する標準規格)フォーマットで格納することができる。脈管内画像はIVUS(血管内超音波)画像であってもよい。
【0009】
前記方法は、記述子に基づいてデータストアの検索を行う工程をさらに含み得る。前記方法は、取得した脈管内画像を受信する工程と、取得した脈管内画像を解析し、その解析に基づいて、取得した脈管内画像に1つ以上の記述子を関連付ける工程と、取得した脈管内画像に関連付けられた1つ以上の記述子に基づいて、データストアの検索を行う工程とをさらに含むことができる。
【0010】
別の態様においては、概して、本発明はコンピュータによって実施される別の方法を特徴とする。該方法は、取得した脈管内画像を受信する工程と、取得した脈管内画像を解析する工程と、その解析に基づいて、取得した脈管内画像に1つ以上の記述子を関連付ける工程とを含む。脈管内画像の集合の検索が行われ、前記集合から1つ以上の脈管内画像が取り出される。取り出された脈管内画像の各々は、取得した脈管内画像の記述子と合致する少なくとも1つの記述子に関連付けられている。前記検索は、取得した脈管内画像に関連付けられた1つ以上の記述子に基づいている。各記述子は取得した脈管内画像の特徴に関連する。
【0011】
本発明の実施は、以下の特徴の1つ以上を備え得る。記述子は、テキスト記述子であってもよい。この場合、テキストは特徴を記述する。別の実施において、記述子は記号または符号であってもよい。この場合、記号または符号は特徴の記述にマップされる。取得した脈管内画像の解析は、取得した脈管内画像のスペクトル特性を、一連の記述子にマップされた一連の既知のスペクトル特性と比較することを含み得る。前記記述子に関係する特徴は、病理学的特徴、例えば組織タイプであってもよい。
【0012】
別の態様においては、概して、本発明は画像システムを特徴とする。該システムは、画像取得サブシステム、画像解析サブシステム、データベース、およびクエリツールを備える。画像取得サブシステムは、医用画像を取得するように構成されている。画像解析サブシステムは、取得した各医用画像を解析し、その解析に基づいて、取得した各医用画像に1つ以上の記述子を関連付けるように構成されている。データベースは、取得した医用画像および関連付けられた記述子を格納するように構成されている。クエリツールは、記述子を用いて、データベースを検索するように構成されている。各記述子は取得した医用画像の特徴に関連する。
【0013】
本発明の実施は、以下の特徴の1つ以上を備え得る。記述子は、テキスト記述子であってもよい。この場合、テキストは特徴を記述する。別の実施において、記述子は記号または符号であってもよい。この場合、記号または符号は特徴の記述にマップされる。画像解析サブシステムは、取得した医用画像のスペクトル特性を、対応する一連の記述子にマップされた一連の既知のスペクトル特性と比較するように構成され得る。記述子に関連する特徴は、病理学的特徴、例えば組織タイプであってもよい。医用画像は血管内超音波画像であってもよい。取得した医用画像および関連付けられた記述子は、DICOM(医用におけるデジタル画像および通信に関する標準規格)フォーマットで格納することができる。
【0014】
別の態様においては、概して、本発明はコンピュータによって実施される別の方法を特徴とする。該方法は、取得した脈管内画像を受信する工程と、取得した脈管内画像を解析して、前記画像の特徴を識別する工程とを含む。解析によって特徴が識別されない場合、脈管内画像の集合のコンテンツベースの検索が行われる。そうでなければ、解析によって特徴が識別された場合には、識別された特徴に対応するテキスト記述子が、取得した脈管内画像に関連付けられ、脈管内画像の集合のテキストベースの検索が行われる。テキストベースの検索が画像を返答しない場合、脈管内画像の集合のコンテンツベースの検索が行われる。各脈管内画像には、1つ以上のテキスト記述子が関連付けられている。前記テキストベースの検索は、取得した脈管内画像の1つ以上のテキスト記述子に基づく。
【0015】
実施は、以下の特徴の1つ以上を備え得る。たとえテキストベースの検索が画像を返答しないとしても、脈管内画像の集合のコンテンツベースの検索が行われ得る。一実施においては、脈管内画像の集合のコンテンツベースの検索は下記工程を含む。取得した画像のスペクトル解析が行われる。画像の集合中の各画像のスペクトル解析が行われる。取得した画像のスペクトル解析は、画像の集合中の各画像のスペクトル解析と比較される。取得した解析のスペクトル解析との類似性の所定の閾値に合致するスペクトル解析を有する画像の集合から画像が取り出される。
【0016】
本発明の実施は、以下の効果の1つ以上を実現し得る。医用画像のデータストアは、所望の検索基準に合致する画像について、効率的かつ徹底的に検索され得る。前記検索基準は、一連の記述子に基づいていてもよく、またはソース画像に基づいて生成してもよい。例えば、医師は、予め取得した画像のデータストアを迅速に検索して、取得したソース画像に合致するまたは類似する病理学的特徴を有する画像を見つけることができる。ソース画像の自動解析に基づいて検索クエリを自動的に生成してもよく、これにより、手入力の介入を制限することができる。画像中に存在する病理学的特徴に従って、その画像を特徴付けることができる。これにより、医師による画像の診断がより容易になる。
【0017】
本発明の一以上の実施形態の詳細は、添付の図面および以下の説明に述べられる。本発明の他の特徴、目的および効果は、本発明の説明および図面、並びに特許請求の範囲から明白になるであろう。
【発明を実施するための最良の形態】
【0018】
様々な図面における同様の参照符号は類似の要素を示す。
医用画像のデータストアを形成および/または検索するための方法およびシステムについて説明する。データストア、例えばデータベースは、一連の医用画像(例えば、脈管内画像)を含み、各医用画像はその画像に関連付けられた1つ以上の対応する記述子を有する。1つ以上の記述子を用いてデータベースの検索を行って、一致する記述子に関連付けられた医用画像を見つけ出すことができる。前記検索は、任意のテキスト記述子に基づいてもよく、または類似する画像が検索されるべきソース画像に関連付けられた記述子に基づいてもよい。
【0019】
一実施において、医用画像は、血管内超音波法、すなわちIVUSを用いて得られた脈管内画像である。図1は、脈管内画像を検索するために用いることができるシステム例を示す。別の実施において、脈管内画像は、他の医用画像技術、例えばMRI(核磁気共鳴映像法)を用いて得ることができる。
【0020】
図示される実施において、IVUS画像システム100は、画像取得サブシステム110、画像解析サブシステム120、画像データベース130、およびクエリツール140を備える。画像取得サブシステム110は、IVUS技術、例えば上述したような従来のIVUS技術を用いて、画像を取得する。
【0021】
画像解析サブシステム120は、取得した画像に対して記述子を生成する。一実施において、前記記述子はテキスト記述子である。その場合、所与の画像に対するテキスト記述子に含まれるテキストは、画像中に存在する特徴を記述し得る。例えば、図2は取得した画像200を示し、図3は取得した画像200に対して生成されたテキスト記述子310,320,330,340を示す。この例において、テキスト記述子によって記述された特徴は、血管に見られる異なる組織タイプに対応する病理学的特徴である。これらの組織タイプは、血液310、ソフトプラーク320、壊死組織330および石灰化組織340を含む。
【0022】
他のタイプの記述子を用いることができ、テキスト記述子は単に例として挙げたに過ぎない。記述子は検索可能であり、例えば、検索可能なデータベース内において検索することができる。また、記述子は、対応する特徴の記述に関連する。したがって、記述子の他の形態が可能である。例えば、記述子は記号または符号(例えば数字コード)であり得る。この場合、記号または符号は特徴の記述を表現するものである。例えば、記号は視覚的に記述して、特徴の固有な説明を提供する。別の例として、数字コードは、特徴のテキスト形式の記述にマップされ得る。例示を目的として、本願に記載する方法およびシステムは、テキスト記述子を用いるものとして説明されている。しかしながら、上述したように記述子の他の形態を用いることができる。また、下記の記載は、例示のみを目的として、テキスト記述子を用いて説明されているが、本発明をこれに限定するものではない。
【0023】
図1を再度参照すると、テキスト記述子は、自動的に、すなわち手入力の介入なく、生成される。画像解析サブシステム120は、画像を解析し、その解析に基づいてテキスト記述子を生成する。一実施において、画像を解析するため、例えば、画像中に存在する特徴を識別するために、画像認識技術が用いられる。例えば、図4を参照すると、画像を受信または取得し(工程402)、その画像を解析して画像中に存在する特徴を識別する(工程404)。この実施において、前記特徴は、先ず、画像のスペクトル特性を識別し、次に、識別されたスペクトル特性を、スペクトル特性を特徴にマップする情報と比較することにより識別される。
【0024】
上述したように、画像は、超音波振動子によって受信される音響信号(すなわちエコー)に基づいて生成される。画像のスペクトル解析を行って、画像のスペクトル特性を識別することができる。音響信号は電気信号に変換され、電気信号は次いでデジタル化される。図8Aを参照すると、前記デジタル信号にフーリエ変換を適用すると、デジタル信号は、周波数820およびスペクトル振幅830の関数として表すことができる。所与の周波数範囲850に対するデジタル信号を表す曲線810の下方の領域840は、その周波数範囲に対するエネルギー含量を表す。所与の周波数範囲に対するエネルギー含量は、組織タイプごとに異なり、従って、各組織タイプに対する「スペクトルシグネチャ」として用いることができる。それにより、スペクトルシグネチャを用いて、所与の画像中に存在する組織タイプを識別することができる。
【0025】
図8Bおよび図8Cに示したように、異なる組織タイプは異なるスペクトルシグネチャを有する。図示される例において、組織タイプAは、45〜50メガヘルツの周波数範囲について、組織タイプBよりもはるかに高いエネルギー含量を有する。したがって、所与の信号について、45〜50メガヘルツの周波数範囲中のエネルギー含量が特定の閾値より高い場合、その信号は組織タイプAに一致すると判定される。
【0026】
一実施において、血管内の超音波振動子の複数の角度位置に対応する(すなわち複数の半径方向線に沿った)複数のデジタル信号が解析される。半径方向の線に沿って検出される組織タイプは、隣接する半径方向の線に沿って検出される組織タイプに対応する傾向にあり、画像化されている血管の断面中に存在する組織タイプの表示を共に提供する。例えば、図5に示したように、複数の半径方向の線に沿って検出された異なる組織タイプは共に、画像に示されている血管の断面に存在する組織タイプの視覚的表示を提供する。一実施において、半径方向の線は、そのデジタル化表示において、約2000個のサンプルから成る。サンプリングレートおよび組織における超音波の速度(例えば1500m/秒)に応じて、各サンプルは特定の半径方向距離を関連付けられ得る。半径方向の線、例えば図5に示す半径方向線500に沿って、特定の組織タイプ、例えばソフトプラークの局所領域は、半径方向の線を構成する完全な2000個のサンプル列内における部分列に置き換えることができる。部分列中のサンプルを用いてスペクトルを見出すことができ、対応するスペクトル振幅対周波数のグラフは、部分列中のあるサンプル(例えば中央のサンプル)に対応する距離に関連付けることができる。
【0027】
別の実施において、デジタル信号に異なる変換を適用することができる。フーリエ変換は、例示のために上述したものである。例えば、前記変換は、問題に特有の変換、すなわち特定のクラスのデータに特化した変換であってもよい。問題に特有の変換の一例は、フィッシャーの線形判別式である。
【0028】
一実施において、スペクトル特性を特徴にマップする情報は、参照テーブルに格納される。マッピングは合致に基づき得る。ここで合致とは、直接合致、最も近い合致、または所定範囲内における合致(すなわち参照値から特定の量だけプラスまたはマイナス(+/−)であるスペクトル特性は合致しているとみなされる)のいずれかである。参照テーブルはまた、各特徴に対応する1つ以上のテキスト記述子を含むことができる。これに代えて、テキスト記述子は、第1参照テーブルの特徴をテキスト記述子にマップする第2参照テーブルに格納されてもよい。1つ以上のテキスト記述子は、識別された特徴に基づいて、画像に関連付けられる(工程406)。
【0029】
参照テーブルは、生成の目的のために、システム100の展開および使用に先立って行われるシステム較正プロセスの間に構成され得る。参照テーブルは、一連の既知の特徴を含む画像の代表サンプルを調べて、その特徴に対応するスペクトル特性を識別することにより構成され得る。一実施において、システムを較正するために用いられる画像は、システム100の一部として提供され得る。すなわち、較正画像は、ユーザが自分のデータベース130に追加する他の画像に加えて、システムのユーザによって検索され得る画像の「参照ライブラリ」を形成することができる。
【0030】
所与の画像に対するテキスト記述子の生成に加えて、画像解析サブシステム120はまた、識別された様々な特徴を特徴付けるために、任意で画像に視覚的標示を追加することができる(工程408)。例えば、図5に示すように、異なる特徴に対応する画像の各部分は、異なる色または模様で表される。例えば、石灰化領域340はクロスハッチングで示されている。異なる特徴のこの視覚的な特徴付けは、ユーザによる画像診断をより容易にすることができる。任意で、追加情報、例えばユーザによって提供される情報を画像に追加することができる。
【0031】
画像および関連するテキスト記述子は画像データベース130に格納される(工程410)。一実施において、画像およびテキスト記述子はDICOMフォーマットで格納される。医用におけるデジタル画像および通信に関する標準規格(Digital Imaging and Communications in Medicine)の頭字語であるDICOMは、医用画像データの格納および伝送に関してACR−NEMA(米国放射線学会−米国電機工業会)によって作成された規格である。代表的なDICOMファイルは、標準化フィールド並びに自由形式フィールドを備えたヘッダと、画像データ本体とを含む。取得した画像はファイルの本体に含まれ、関連するテキスト記述子はファイルヘッダーに含まれ得る。ファイルヘッダーはまた、テキスト記述子に加えて、他のコンテクスト情報、例えば画像が取得された日時に対応するタイムスタンプおよび患者識別コードを含むことができる。
【0032】
クエリツール140は、ユーザが画像データベース130を検索することを可能にする。一実施において、検索は、クエリツール140に1つ以上の検索語を提供することによって開始される。例えば、医師は、「患者Xの血管は、昨年検査したときにはどのように見えたか」を知りたいことがある。医師は、患者の氏名、日付範囲、および捜している組織タイプまたは血管のタイプについて記述するテキスト記述子を含む検索クエリを用いることができる。医師は、「患者Xの血管は、昨年診た他の人と比較してどうであるか?」を知りたいことがある。この例において、検索クエリは、日付範囲、および組織タイプまたは血管のタイプについて記述するテキスト記述子を含むことができ、患者Xに関する画像は除外することができる。そのような問合せは、1つ以上の検索フィールド(例えば、患者の氏名、患者のID、日付範囲、血管のタイプ)に検索語を入力することにより行うことができる。これに代えて、より高度な検索技術を使用して、単に医師が検索フィールドに上述したような質問、すなわち、「患者Xの血管のタイプは、昨年診た他の人と比較してどうであるか?」を入力することにより、比較可能な画像を取り出すために、適切な検索クエリを自動的に生成するようにしてもよい。
【0033】
別の実施において、検索は、まずソース画像を取得し、次にソース画像に類似する画像を検索することによって開始され得る。図6に示したように、画像が取得され(工程610)、解析される(工程620)。その解析に基づいて、その取得した画像に1つ以上のテキスト記述子が関連付けられる(工程630)。次に、取得した画像に関連付けられたテキスト記述子に基づいて、画像データベース130の検索が行われる(工程640)。画像データベース130から画像が取り出される(工程650)。取り出された画像の各々は、取得した画像のテキスト記述子のうちの1つと合致する、少なくとも1つの関連するテキスト記述子を有する。
【0034】
別の実施において、システム100は、テキストベースの検索(すなわち、テキスト記述子を用いた検索)に加えて、またはその代わりに、コンテンツベースの検索を行うように構成され得る。この実施において、図7を参照すると、画像を取得し(工程710)、その画像を解析して、画像中に存在する特徴を識別する(工程720)。特徴が識別されない(すなわち、参照テーブルに含まれる特徴に対応する特徴がない)場合(決定工程725の「No」の分枝)、次に、下記でより詳細に説明するような、コンテンツベースの検索が行われる(工程760)。1つ以上の特徴が識別される場合(決定工程725の「Yes」の分枝)には、識別された特徴に対応する1つ以上のテキスト記述子が、取得した画像に関連付けられる(工程730)。次に、取得した画像に関連付けられたテキスト記述子に基づいて、画像データベース130の検索が行われる(工程740)。テキスト記述子に基づいて合致する画像が見つかった場合(決定工程745の「Yes」の分枝)、合致する画像が画像データベース130から取り出される(工程750)。
【0035】
1つ以上のテキスト記述子に基づいて、合致する画像が見つからない場合(決定工程745の「No」の分枝)、クエリツールは、今度はテキスト記述子に代えて、画像のコンテンツベースの検索を行う(工程760)。コンテンツベースの検索は、従来のコンテンツベースの画像検索技術を用いて行うことができる。例えば、解析工程から、取得した画像の1つ以上のスペクトルシグネチャを識別することができる。次に、データベース130に含まれる各画像を解析して、前記画像の対応するスペクトルシグネチャを判定することができる。データベース130内の画像のスペクトルシグネチャは、取得した画像のスペクトルシグネチャと比較され得る。スペクトルシグネチャが合致する(すなわち、所定の閾値内で類似する)場合、その画像は合致画像として取り出される(工程750)。コンテンツベースの検索は、テキスト記述子に基づいた検索ほど効率的ではない。なぜならば、テキスト記述子に基づいた検索では取得した画像のみを解析するのに対し、コンテンツベースの検索では、データベース130中の各画像を解析しなければならないためである。しかしながら、コンテンツベースの検索は、クエリツールが、画像解析サブシステム120によって用いられる参照テーブルに含まれていない特徴を備えた画像を見つけ出すことを可能にする。
【0036】
別の実施において、テキスト記述子に基づいて画像が見つかった場合でも、参照テーブルに含まれていない合致する特徴を有する他の画像を得るために、コンテンツベースの第2の検索を行うことができる。
【0037】
同様に、決定工程725を再度参照すると、特徴が識別されず、従って、テキスト記述子が画像に関連付けられない場合には、次に、上述したようなコンテンツベースの検索を行うことができ(工程760)、合致する画像が見つかった場合(決定工程765の「Yes」の分枝)には、それらの画像が取り出される(工程750)。
【0038】
サブシステムとは、本願で用いられる場合において、機能をカプセル化するハードウェアであってもよく、またはファームウェアであってもよく、またはソフトウェアアプリケーションであってもよい。サブシステムは、1つ以上の機能を実行することができ、ハードウェア、ファームウェアまたはソフトウェアは、本願に記載された2つ以上のサブシステムの機能を実行することができる。同様に、本願に記載された単一のサブシステムの機能を実行するために、2つ以上のハードウェア、ファームウェアおよび/またはソフトウェアを用いることができる。
【0039】
本明細書に記載されたサブシステムの一部またはすべての機能操作は、本明細書に開示された構造的手段およびその構造的均等物を含む、デジタル電子回路、またはコンピュータソフトウェア、ファームウェアもしくはハードウェア、またはそれらの組み合わせにおいて実行され得る。記載したプロセスは、1つ以上のコンピュータプログラム製品として実行され得る。コンピュータプログラム製品とは、すなわち、例えばプログラム可能なプロセッサ、コンピュータ、複数のコンピュータ群のようなデータ処理装置によって実行するため、またはそれらの装置の動作を制御するために、例えば機械可読記憶装置、または伝播信号のような情報担体において明確に具体化された1つ以上のコンピュータプログラムである。
【0040】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている)は、コンパイラ型言語またはインタープリタ型言語を含む、任意の形態のプログラミング言語で記述され得る。また、コンピュータプログラムは、独立プログラムとして、またはモジュール、コンポーネント、サブルーチンまたはコンピュータ環境での使用に適した他のユニットとしての形態を含め、任意の形態で配備され得る。コンピュータプログラムは、必ずしもファイルに対応しない。プログラムは、他のプログラムまたはデータを保持するファイルの一部、問題のプログラムに専用の単一ファイル、または複数の統合ファイル(例えば、1つ以上のモジュール、サブプログラムまたはコードの一部を格納するファイル)に格納され得る。コンピュータプログラムは、1台のコンピュータ上、あるいは一箇所に位置するか、または複数箇所に分散され、かつ通信ネットワークによって相互に接続された複数のコンピュータ上において実行されるように配備され得る。
【0041】
本発明の方法の工程を含む、本明細書に記載したプロセスおよび論理フローは、1つ以上のコンピュータプログラムを実行して、入力データに基づいて動作し、出力を生成することによって、本発明の機能を実施する1つ以上のプログラム可能なプロセッサによって、(少なくとも部分的に)行うことができる。プロセスおよび論理フローはまた、例えば、FPGA(フィールド・プログラマブル・ゲート・アレイ)またはASIC(特定用途向け集積回路)のような特殊目的論理回路によって実行可能であり、また本発明の装置はそのような特殊目的論理回路として実施することができる。
【0042】
コンピュータプログラムの実行に適したプロセッサとしては、例として、汎用マイクロプロセッサおよび特殊目的マイクロプロセッサの双方、ならびに任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサが挙げられる。一般に、プロセッサは、読み出し専用メモリまたはランダムアクセスメモリ、あるいはそれらの双方から、命令およびデータを受信する。コンピュータの必須構成要素は、命令を実行するためのプロセッサと、命令およびデータを格納するための1つ以上の記憶装置である。一般に、コンピュータはまた、例えば磁気ディスク、光磁気ディスク、もしくは光ディスクのような、データを格納するための1つ以上の大容量記憶装置を備えるか、またはそれらの大容量記憶装置からのデータを受信するように、またはそれらの大容量記憶装置にデータを転送するように、あるいはそれらの双方を行うように作動可能に接続されるであろう。コンピュータプログラム命令およびデータを具体化するのに適した情報担体としては、例として、例えばEPROM、EEPROM、フラッシュメモリ装置のような半導体記憶装置;例えば内蔵ハードディスク、リムーバブルディスクのような磁気ディスク;光磁気ディスク;ならびにCD−ROMディスクおよびDVD−ROMディスクを含む、あらゆる形態の不揮発性メモリが挙げられる。プロセッサおよびメモリは、特殊目的論理回路によって補われてもよいし、または特殊目的論理回路内に組み込まれてもよい。
【0043】
ユーザとのインタラクションを提供するために、本発明は、ユーザに情報を示すための表示装置、例えばCRT(陰極線管)またはLCD(液晶ディスプレイ)モニタと、ユーザがコンピュータに入力を与えることができる、キーボードや、例えばマウスまたはトラックボールなどの指示装置とを有するコンピュータ上において実施することができる。同様に、ユーザとのインタラクションを提供するために、他の種類の装置を用いることができる。例えば、ユーザに提供されるフィードバックは、例えば視覚フィードバック、聴覚フィードバック、または触覚フィードバックのような任意の形態の感覚フィードバックであり得る。また、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受信することができる。
【0044】
本発明は、例えばデータサーバーとして、バックエンドコンポーネントを備えるか、または、例えばアプリケーションサーバーのようなミドルウェアコンポーネントを備えるか、または、例えばユーザが本発明の実施にあたりインタラクションが可能なグラフィカルユーザインタフェースもしくはウェブブラウザを有するクライアントコンピュータのようなフロントエンドコンポーネントを備えるか、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組み合わせを備えるコンピュータシステムにおいて実行することができる。システムのコンポーネントは、任意の形態または媒体のデジタルデータ通信、例えば通信ネットワークによって相互に接続され得る。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)、および例えばインターネットのような広域ネットワーク(「WAN」)が挙げられる。コンピュータシステムは、クライアントおよびサーバを備えることができる。クライアントおよびサーバは、一般に、互いから離隔されており、一般的には通信ネットワークを介して相互に作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で作動し、互いにクライアント−サーバ関係を有するコンピュータプログラムによって発生する。
【0045】
本発明の多数の実施形態について説明してきたが、本発明の主旨および範囲から逸脱することなく、様々な改変がなされてもよいことが理解されるだろう。例えば、超音波画像の他に、他の画像技術、例えばMRI(核磁気共鳴映像)技術を用いて画像を取得することができる。図4、図6および図7に示した論理フローは、所望の結果を達成するために、示した特定の順序、または順番を必ずしも要せず、本発明の工程は異なる順序で行うことができる。従って、他の実施形態は以下の特許請求の範囲に包含される。
【図面の簡単な説明】
【0046】
【図1】医用画像の検索可能なデータストアを備えるシステムの一実施形態を示す図。
【図2】IVUS画像を示す図。
【図3】IVUS画像に対するテキスト記述子を示す図。
【図4】画像および関連するテキスト記述子をデータストアに格納する方法を示すフローチャート。
【図5】標示が付けられたIVUS画像を示す図。
【図6】画像を取得し、データストアを検索するプロセスを示すフローチャート。
【図7】画像を取得し、データストアを検索するための別のプロセスを示すフローチャート。
【図8A】画像のスペクトル特性を示すグラフ。
【図8B】画像のスペクトル特性を示すグラフ。
【図8C】画像のスペクトル特性を示すグラフ。
【特許請求の範囲】
【請求項1】
複数の脈管内画像を受信する工程と、
各脈管内画像を解析し、その解析に基づいて、各々が脈管内画像の特徴に関連する1つ以上の記述子を、各脈管内画像に関連付ける工程と、
前記脈管内画像および関連付けられた記述子を検索可能なデータストアに格納する工程と
を含む、コンピュータによって実施される方法。
【請求項2】
前記1つ以上の記述子はテキスト記述子からなり、各テキスト記述子は、前記関連する特徴を記述するテキストを含む、請求項1に記載のコンピュータによって実施される方法。
【請求項3】
前記1つ以上の記述子は記号記述子からなり、各記号記述子は、前記関連する特徴の視覚的な記述を提供するか、または前記関連する特徴のテキスト形式の記述にマップされる、請求項1に記載のコンピュータによって実施される方法。
【請求項4】
各脈管内画像を解析する工程は、脈管内画像のスペクトル特性を、一連のテキスト記述子にマップされた一連の既知のスペクトル特性と比較することを含む、請求項1に記載のコンピュータによって実施される方法。
【請求項5】
前記特徴は病理学的特徴である、請求項1に記載のコンピュータによって実施される方法。
【請求項6】
前記病理学的特徴は組織タイプである、請求項5に記載のコンピュータによって実施される方法。
【請求項7】
前記脈管内画像および記述子は、DICOM(医用におけるデジタル画像および通信に関する標準規格)フォーマットで格納される、請求項1に記載のコンピュータによって実施される方法。
【請求項8】
前記脈管内画像はIVUS(血管内超音波)画像である、請求項1に記載のコンピュータによって実施される方法。
【請求項9】
1つ以上の記述子に基づいてデータストアの検索を行う工程をさらに含む、請求項1に記載のコンピュータによって実施される方法。
【請求項10】
脈管内画像を取得する工程と、
取得した脈管内画像を解析し、その解析に基づいて、取得した脈管内画像に1つ以上の記述子を関連付ける工程と、
取得した脈管内画像に関連付けられた1つ以上の記述子に基づいて、データストアの検索を行う工程と
をさらに含む、請求項1に記載のコンピュータによって実施される方法。
【請求項11】
取得した脈管内画像を受信する工程と、
取得した脈管内画像を解析し、その解析に基づいて、各々が取得した脈管内画像の特徴に関連する1つ以上の記述子を、取得した脈管内画像に関連付ける工程と、
脈管内画像の集合の検索を行う工程であって、各脈管内画像は1つ以上の記述子に関連付けられており、前記検索は、取得した脈管内画像の1つ以上の記述子に基づいている、工程と、
前記集合から1つ以上の脈管内画像を取り出す工程であって、取り出された脈管内画像の各々は、取得した脈管内画像の記述子に合致する少なくとも1つの記述子に関連付けられている、工程と
を備えるコンピュータによって実施される方法。
【請求項12】
前記1つ以上の記述子はテキスト記述子からなり、各テキスト記述子は関連する特徴を記述するテキストを含む、請求項11に記載のコンピュータによって実施される方法。
【請求項13】
前記1つ以上の記述子は記号記述子からなり、各記号記述子は、関連する特徴の視覚的な記述を提供するか、または関連する特徴のテキスト形式の記述にマップされる、請求項11に記載のコンピュータによって実施される方法。
【請求項14】
取得した脈管内画像を解析する工程は、取得した脈管内画像のスペクトル特性を、一連の記述子にマップされた一連の既知のスペクトル特性と比較することを含む、請求項11に記載のコンピュータによって実施される方法。
【請求項15】
前記特徴は病理学的特徴である、請求項11に記載のコンピュータによって実施される方法。
【請求項16】
前記病理学的特徴は組織タイプである、請求項15に記載のコンピュータによって実施される方法。
【請求項17】
前記脈管内画像はIVUS(血管内超音波)画像である、請求項11に記載のコンピュータによって実施される方法。
【請求項18】
医用画像を取得するように構成された画像取得サブシステムと、
取得した各医用画像を解析し、その解析に基づいて、取得した各医用画像に1つ以上の記述子を関連付けるように構成された画像解析サブシステムであって、各記述子は取得した医用画像の特徴に関連している、画像解析サブシステムと、
取得した医用画像および関連付けられた記述子を格納するように構成されたデータベースと、
1つ以上の記述子を用いて、データベースを検索するように構成されたクエリツールと
を備える画像システム。
【請求項19】
前記1つ以上の記述子はテキスト記述子からなり、各テキスト記述子は関連する特徴を記述するテキストを含む、請求項18に記載のシステム。
【請求項20】
前記1つ以上の記述子は記号記述子からなり、各記号記述子は、関連する特徴の視覚的な記述を提供するか、または関連する特徴のテキスト形式の記述にマップされる、請求項18に記載のシステム。
【請求項21】
前記取得した各医用画像を解析するように構成された画像解析サブシステムは、取得した医用画像のスペクトル特性を、対応する一連のテキスト記述子にマップされた一連の既知のスペクトル特性と比較するように構成された画像解析サブシステムからなる、請求項18に記載のシステム。
【請求項22】
前記特徴は病理学的特徴である、請求項18に記載のシステム。
【請求項23】
前記医用画像は血管内超音波画像である、請求項18に記載のシステム。
【請求項24】
取得した医用画像および関連付けられたテキスト記述子は、DICOM(医用におけるデジタル画像および通信に関する標準規格)フォーマットで保存される、請求項18に記載のシステム。
【請求項25】
取得した脈管内画像を受信する工程と、
取得した脈管内画像を解析して、前記画像の特徴を識別する工程と、
前記解析によって特徴が識別された場合には、
その識別された特徴に対応するテキスト記述子を、取得した脈管内画像に関連付ける工程と、
脈管内画像の集合のテキストベースの検索を行う工程であって、各脈管内画像には1つ以上のテキスト記述子が関連付けられており、前記テキストベースの検索は、取得した脈管内画像の1つ以上のテキスト記述子に基づいている、工程と、
テキストベースの検索が画像を返答しない場合には、脈管内画像の集合のコンテンツベースの検索を行う工程と、
解析によって特徴が識別されない場合には、
脈管内画像の集合のコンテンツベースの検索を行う工程と
を含む、コンピュータによって実施される方法。
【請求項26】
前記脈管内画像はIVUS(血管内超音波)画像である、請求項25に記載のコンピュータによって実施される方法。
【請求項27】
たとえテキストベースの検索が画像を返答しない場合であっても、脈管内画像の集合のコンテンツベースの検索を行う工程をさらに含む、請求項25に記載のコンピュータによって実施される方法。
【請求項28】
脈管内画像の集合のコンテンツベースの検索が、
取得した画像のスペクトル解析を行う工程と、
画像の集合中の各画像のスペクトル解析を行う工程と、
取得した画像のスペクトル解析を、画像の集合中の画像の各々のスペクトル解析と比較する工程と、
取得した解析のスペクトル解析との類似性の所定の閾値に合致するスペクトル解析を有する画像の集合から画像を取り出す工程と
を含む、請求項25に記載のコンピュータによって実施される方法。
【請求項1】
複数の脈管内画像を受信する工程と、
各脈管内画像を解析し、その解析に基づいて、各々が脈管内画像の特徴に関連する1つ以上の記述子を、各脈管内画像に関連付ける工程と、
前記脈管内画像および関連付けられた記述子を検索可能なデータストアに格納する工程と
を含む、コンピュータによって実施される方法。
【請求項2】
前記1つ以上の記述子はテキスト記述子からなり、各テキスト記述子は、前記関連する特徴を記述するテキストを含む、請求項1に記載のコンピュータによって実施される方法。
【請求項3】
前記1つ以上の記述子は記号記述子からなり、各記号記述子は、前記関連する特徴の視覚的な記述を提供するか、または前記関連する特徴のテキスト形式の記述にマップされる、請求項1に記載のコンピュータによって実施される方法。
【請求項4】
各脈管内画像を解析する工程は、脈管内画像のスペクトル特性を、一連のテキスト記述子にマップされた一連の既知のスペクトル特性と比較することを含む、請求項1に記載のコンピュータによって実施される方法。
【請求項5】
前記特徴は病理学的特徴である、請求項1に記載のコンピュータによって実施される方法。
【請求項6】
前記病理学的特徴は組織タイプである、請求項5に記載のコンピュータによって実施される方法。
【請求項7】
前記脈管内画像および記述子は、DICOM(医用におけるデジタル画像および通信に関する標準規格)フォーマットで格納される、請求項1に記載のコンピュータによって実施される方法。
【請求項8】
前記脈管内画像はIVUS(血管内超音波)画像である、請求項1に記載のコンピュータによって実施される方法。
【請求項9】
1つ以上の記述子に基づいてデータストアの検索を行う工程をさらに含む、請求項1に記載のコンピュータによって実施される方法。
【請求項10】
脈管内画像を取得する工程と、
取得した脈管内画像を解析し、その解析に基づいて、取得した脈管内画像に1つ以上の記述子を関連付ける工程と、
取得した脈管内画像に関連付けられた1つ以上の記述子に基づいて、データストアの検索を行う工程と
をさらに含む、請求項1に記載のコンピュータによって実施される方法。
【請求項11】
取得した脈管内画像を受信する工程と、
取得した脈管内画像を解析し、その解析に基づいて、各々が取得した脈管内画像の特徴に関連する1つ以上の記述子を、取得した脈管内画像に関連付ける工程と、
脈管内画像の集合の検索を行う工程であって、各脈管内画像は1つ以上の記述子に関連付けられており、前記検索は、取得した脈管内画像の1つ以上の記述子に基づいている、工程と、
前記集合から1つ以上の脈管内画像を取り出す工程であって、取り出された脈管内画像の各々は、取得した脈管内画像の記述子に合致する少なくとも1つの記述子に関連付けられている、工程と
を備えるコンピュータによって実施される方法。
【請求項12】
前記1つ以上の記述子はテキスト記述子からなり、各テキスト記述子は関連する特徴を記述するテキストを含む、請求項11に記載のコンピュータによって実施される方法。
【請求項13】
前記1つ以上の記述子は記号記述子からなり、各記号記述子は、関連する特徴の視覚的な記述を提供するか、または関連する特徴のテキスト形式の記述にマップされる、請求項11に記載のコンピュータによって実施される方法。
【請求項14】
取得した脈管内画像を解析する工程は、取得した脈管内画像のスペクトル特性を、一連の記述子にマップされた一連の既知のスペクトル特性と比較することを含む、請求項11に記載のコンピュータによって実施される方法。
【請求項15】
前記特徴は病理学的特徴である、請求項11に記載のコンピュータによって実施される方法。
【請求項16】
前記病理学的特徴は組織タイプである、請求項15に記載のコンピュータによって実施される方法。
【請求項17】
前記脈管内画像はIVUS(血管内超音波)画像である、請求項11に記載のコンピュータによって実施される方法。
【請求項18】
医用画像を取得するように構成された画像取得サブシステムと、
取得した各医用画像を解析し、その解析に基づいて、取得した各医用画像に1つ以上の記述子を関連付けるように構成された画像解析サブシステムであって、各記述子は取得した医用画像の特徴に関連している、画像解析サブシステムと、
取得した医用画像および関連付けられた記述子を格納するように構成されたデータベースと、
1つ以上の記述子を用いて、データベースを検索するように構成されたクエリツールと
を備える画像システム。
【請求項19】
前記1つ以上の記述子はテキスト記述子からなり、各テキスト記述子は関連する特徴を記述するテキストを含む、請求項18に記載のシステム。
【請求項20】
前記1つ以上の記述子は記号記述子からなり、各記号記述子は、関連する特徴の視覚的な記述を提供するか、または関連する特徴のテキスト形式の記述にマップされる、請求項18に記載のシステム。
【請求項21】
前記取得した各医用画像を解析するように構成された画像解析サブシステムは、取得した医用画像のスペクトル特性を、対応する一連のテキスト記述子にマップされた一連の既知のスペクトル特性と比較するように構成された画像解析サブシステムからなる、請求項18に記載のシステム。
【請求項22】
前記特徴は病理学的特徴である、請求項18に記載のシステム。
【請求項23】
前記医用画像は血管内超音波画像である、請求項18に記載のシステム。
【請求項24】
取得した医用画像および関連付けられたテキスト記述子は、DICOM(医用におけるデジタル画像および通信に関する標準規格)フォーマットで保存される、請求項18に記載のシステム。
【請求項25】
取得した脈管内画像を受信する工程と、
取得した脈管内画像を解析して、前記画像の特徴を識別する工程と、
前記解析によって特徴が識別された場合には、
その識別された特徴に対応するテキスト記述子を、取得した脈管内画像に関連付ける工程と、
脈管内画像の集合のテキストベースの検索を行う工程であって、各脈管内画像には1つ以上のテキスト記述子が関連付けられており、前記テキストベースの検索は、取得した脈管内画像の1つ以上のテキスト記述子に基づいている、工程と、
テキストベースの検索が画像を返答しない場合には、脈管内画像の集合のコンテンツベースの検索を行う工程と、
解析によって特徴が識別されない場合には、
脈管内画像の集合のコンテンツベースの検索を行う工程と
を含む、コンピュータによって実施される方法。
【請求項26】
前記脈管内画像はIVUS(血管内超音波)画像である、請求項25に記載のコンピュータによって実施される方法。
【請求項27】
たとえテキストベースの検索が画像を返答しない場合であっても、脈管内画像の集合のコンテンツベースの検索を行う工程をさらに含む、請求項25に記載のコンピュータによって実施される方法。
【請求項28】
脈管内画像の集合のコンテンツベースの検索が、
取得した画像のスペクトル解析を行う工程と、
画像の集合中の各画像のスペクトル解析を行う工程と、
取得した画像のスペクトル解析を、画像の集合中の画像の各々のスペクトル解析と比較する工程と、
取得した解析のスペクトル解析との類似性の所定の閾値に合致するスペクトル解析を有する画像の集合から画像を取り出す工程と
を含む、請求項25に記載のコンピュータによって実施される方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図8C】
【公表番号】特表2009−523059(P2009−523059A)
【公表日】平成21年6月18日(2009.6.18)
【国際特許分類】
【出願番号】特願2008−550482(P2008−550482)
【出願日】平成19年1月9日(2007.1.9)
【国際出願番号】PCT/US2007/060294
【国際公開番号】WO2007/082218
【国際公開日】平成19年7月19日(2007.7.19)
【出願人】(506192652)ボストン サイエンティフィック サイムド,インコーポレイテッド (172)
【氏名又は名称原語表記】BOSTON SCIENTIFIC SCIMED,INC.
【Fターム(参考)】
【公表日】平成21年6月18日(2009.6.18)
【国際特許分類】
【出願日】平成19年1月9日(2007.1.9)
【国際出願番号】PCT/US2007/060294
【国際公開番号】WO2007/082218
【国際公開日】平成19年7月19日(2007.7.19)
【出願人】(506192652)ボストン サイエンティフィック サイムド,インコーポレイテッド (172)
【氏名又は名称原語表記】BOSTON SCIENTIFIC SCIMED,INC.
【Fターム(参考)】
[ Back to top ]