内視鏡からの映像を用いるコンピュータ支援解析
映像からの画像フレームを解析及び強調すること、並びに検査中にリアルタイムに画像フレーム内の任意の病変を検出及び解析することを含む、内視鏡による検査中に臓器の映像データのコンピュータ支援解析を与える方法。オプションで、その画像データを用いて、臓器の3次元再構成を作成することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は包括的には医療用画像形成に関し、より具体的には、患者の結腸のような、対象とする臓器の3次元(3D)再構成画像をオプションで含む、標準的な内視鏡からの映像を迅速かつ安価に解析する自動画像処理システムを用いる、結腸直腸癌のような疾患用の画像処理及びコンピュータ支援診断に関する。本発明は、検査を大きく長引かせることなく、即座のセカンドオピニオンを提供するために、結腸鏡検査法のような、検査中に既に使用されている従来の内視鏡からの映像データを利用して、リアルタイムに使用されることになる。
【0002】
本出願は、参照により本明細書に援用される、2006年8月21日に出願された米国仮特許出願第60/839275号に対する優先権を主張する。
【背景技術】
【0003】
本発明は結腸直腸癌との関連で開示されているが、数多くの他の医療分野にも適用することができる。結腸直腸癌は、合衆国において、癌関連で2番目に多い死因である。毎年130,000人以上の人々が結腸癌と診断されており、年間に約55,000人が、この疾患に起因して死亡する。結腸癌は、早期発見を通して予防し、治療することができるので、患者が生存するには、早期の診断が極めて重要である(参照により本明細書に援用される、American Cancer Society, Cancer Facts and Figures, 2004)。内視鏡を用いてポリープを検診することは、直腸結腸ポリープの早期発見及び除去にとって現在の最も適している予防方法である。そのようなポリープが結腸の中に残っていると、それらのポリープは悪性病変になる可能性が高い(参照により本明細書に援用されるHofstad, B., Vatn, M.H., Andersen, S.N., Huitfeldt, H.S. et al., Growth of colorectal polyps: redetection and evaluation of unresected polyps for a period of three years, Gut 39(3): 449-456. 1996)。隆起型のポリープが存在しない、平坦な病変の場合、結腸粘膜表面がざらざらしており、非特異性の溝と呼ばれる、複数の小さなエリアに仕切られる。結腸内面の細胞パターン(ピットパターン)の変化は、腺腫又は腫瘍の最も早期の兆候である可能性がある(全て参照により本明細書に援用されるMuehldorfer, S.M., Muenzenmayer, C, Mayinger, B., Faller, G. et al., Optical tissue recognition based on color texture by magnifying endoscopy in patients with Barrett's esophagus, Gastrointestinal Endoscopy 57: AB 179, 2003)。結腸粘膜表面のこれらの組織構造変化を測定するように、病変を定量的に発見するために、ピットパターンを用いることができる。ピットパターンを用いると、特異性は低いが、その相対的に高い感度が疑わしい領域を強調することができ、それによって他のセンサによってさらなる検査を行うことができるようになる。テクスチャベースのピットパターン解析は、組織タイプ及び疾患重症度を特定することができる。画像ベースのポリープ再構成は、内視鏡からの映像及びコンピュータビジョンアルゴリズムを用いて、3次元画像に変換することができる多数の視野を合成することによって、隆起型のポリープの3次元形状及びサイズを提供することができる。オプションでは、いくつかの画像処理アルゴリズム及び強調技法を用いて、画像品質を向上させることができる。
【0004】
結腸鏡検査法の必要をなくすために、種々の非侵襲性の走査技法が提案されているが、これらの走査技法が、ポリープ又は病変が存在している可能性を明らかにする場合には、後のいずれかの時点において、結腸鏡検査法が実行されなければならない。さらに、結腸鏡医は、走査後に時間が経ってから、患者の結腸内の実際のポリープ又は病変(走査において示された)の場所を特定しなければならないが、それは非常に難しい可能性がある。また、走査は結腸の内側表面の色又はテクスチャについての情報を提供しないが、この情報は、特に平坦な病変の場合に、血管構造及びピットパターンについての診断情報を提供することになる。平坦な病変は結腸壁から外側に突出せず、結果として、結腸壁の中に切り込むことによって除去されなければならず、それによって、出血、感染、及び他の副作用を被る危険性がさらに高くなるので、平坦な病変の偽陽性を回避することが極めて望ましい。また、走査は、ポリープ又は病変と、結腸内の残留便又は他の物質とを区別することができないことがある。
【0005】
経済的にするために、結腸鏡検査法は効率的に実行されなければならないので、結腸鏡医は大腸の内側表面の比較的大きなエリアを迅速に走査しなければならない。したがって、病変又はポリープが見落とされることがあるという危険性がある。
【0006】
結腸鏡検査中に病変又はポリープが見つけられる場合には、内視鏡が既に病変又はポリープの場所にあり、大部分の内視鏡が、切断器具を導入する手段を備えているので、後の手順においてポリープ又は病変を特定し直す必要はない。したがって、最初に検出された時点、又は同じ結腸鏡検査中の後の時点のいずれにおいても、検出された同じ結腸鏡検査中にポリープ又は病変を切除することができる。
【発明の概要】
【発明が解決しようとする課題】
【0007】
ポリープ及び病変を発見及び解析する際の結腸鏡医の技量は、個々の結腸鏡医の訓練及び経験による。したがって、結腸鏡検査法における発見及び解析を標準化するために、結腸鏡医に潜在的なポリープ又は病変があることを警告するか、又は見つけられた任意のポリープ又は病変の診断を確認するか若しくは調べるために、結腸鏡検査中にリアルタイムに独立したエキスパート解析を提供することが望ましい。また、追加の高額のハードウエアの購入を必要とすることなく、安価且つ容易に利用可能であるように、そのようなエキスパート知識を提供することが望ましい。
【課題を解決するための手段】
【0008】
本発明は、映像データを解析することであって、低品質の画像フレームを捨てて、映像データから満足のいく画像フレームを与える、解析すること、画像フレームを強調すること、並びに画像フレーム内の任意の病変を検出及び診断することを含み、解析するステップ、強調するステップ、並びに検出及び診断するステップは検査中にリアルタイムに実行される、内視鏡による検査中に臓器の映像データからコンピュータ支援診断を提供する方法である。オプションでは、その画像フレームを用いて、その臓器の3次元モデルを再構成することができる。
【0009】
結腸鏡検査法に適用されるとき、本発明は、大腸の結腸鏡検査中に、内視鏡の映像データからコンピュータ支援診断を提供する方法であり、当該方法は、映像データを解析することであって、低品質の画像フレームを捨てて、映像データから満足のいく画像フレームを与える、解析すること、画像フレームを強調すること、並びに画像フレーム内の任意のポリープを検出及び診断することを含み、解析するステップ、強調するステップ、並びに検出及び診断するステップは全て、内視鏡からの映像データを受信するように動作可能に接続されるコンピュータ上で動作するソフトウエアによって、結腸鏡検査中にリアルタイムに実行される。
【0010】
解析するステップは、グリント検出及び除去、並びに焦点解析を含むことが好ましい。強調するステップは、コントラスト強調、超解像及び映像安定化を含むことが好ましい。検出及び診断するステップは、色較正、色解析、テクスチャ解析及び特徴部検出を含むことが好ましい。テクスチャ解析は、血管及びピットパターンを解析することを含むことができる。オプションでは、この方法は、画像フレームから3次元において大腸を再構成することであって、再構成されたモデルを形成する、再構成すること、及び、再構成されたモデルから、上記結腸内の任意のポリープの3次元形状及びサイズ情報を再生することも含む。再構成するステップは、魚眼歪み補正、形状較正、画像に基づくモデル化、及び3次元データスティッチングを含むことが好ましい。
【図面の簡単な説明】
【0011】
【図1】コンピュータ支援診断システムのアルゴリズムフローチャートである。
【図2】図1の映像品質解析モジュールのアルゴリズムフローチャートである。
【図3】図1の映像品質強調モジュールのアルゴリズムフローチャートである。
【図4】図2のグリント検出及び除去モジュールのアルゴリズムフローチャートである。
【図5A】グリント検出及び除去の結果を示す一連の図のうちの、元の画像フレームを示す図である。
【図5B】グリント検出及び除去の結果を示す一連の図のうちの、画像からグリントが除去された図である。
【図6】ぼやけ検出のアルゴリズムフローチャートである。
【図7A】ぼやけ検出の結果を示す一連の図のうちの、元の画像フレームを示す図である。
【図7B】ぼやけ検出の結果を示す一連の図のうちの、ぼやけ検出の結果を示す図である(画像上に重なる黒いブロックがぼやけエリアの場所を指示する)。
【図8A】コントラスト強調の結果を示す一連の図のうちの、元の画像フレームを示す図である。
【図8B】コントラスト強調の結果を示す一連の図のうちの、コントラストが強調されている図である。
【図9A】超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。
【図9B】超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。
【図9C】超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。
【図9D】超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。
【図9E】超解像再構成の結果を示す一連の図のうちの、再構成された、より高い解像度の画像を示す図である。
【図10】映像安定化のアルゴリズムフローチャートである。
【図11A】映像安定化の結果を示す一連の図のうちの、1つの結腸鏡映像の動きフィールドを示す図である(丸印を伴う曲線は、揺れがある元の映像の動きフィールドを表し、四角印を伴う曲線は、安定化した映像の動きフィールドを表す)。
【図11B】映像安定化の結果を示す一連の図のうちの、別の結腸鏡映像の動きフィールドを示す図である(丸印を伴う曲線は、揺れがある元の映像の動きフィールドを表し、四角印を伴う曲線は、安定化した映像の動きフィールドを表す)。
【図12】3D結腸モデル化及び再構成のアルゴリズムフローチャートである。
【図13A】歪み補正の結果を示す一連の図のうちの、グリッドターゲットの元の画像を示す図である。
【図13B】歪み補正の結果を示す一連の図のうちの、補正されたグリッドターゲットを示す図である。
【図13C】歪み補正の結果を示す一連の図のうちの、結腸の元の画像を示す図である。
【図13D】歪み補正の結果を示す一連の図のうちの、補正された結腸画像を示す図である。
【図14A】3Dポリープ再構成の結果を示す一連の図のうちの、1つの結腸鏡映像フレームを示す図である。
【図14B】3Dポリープ再構成の結果を示す一連の図のうちの、別の結腸鏡映像フレームを示す図である。
【図14C】3Dポリープ再構成の結果を示す一連の図のうちの、再構成された3Dポリープモデルを示す図である。
【図14D】3Dポリープ再構成の結果を示す一連の図のうちの、テクスチャマッピングによる3Dポリープ視覚化を示す図である。
【図15】Kudoピットパターンの分類パターンを示す図である。
【図16】色解析のアルゴリズムフローチャートである。
【図17】テクスチャ解析のアルゴリズムフローチャートである。
【図18A】ピットパターン抽出及び特定の結果を示す一連の図のうちの、元の画像を示す図である。
【図18B】ピットパターン抽出及び特定の結果を示す一連の図のうちの、画像強調結果を示す図である。
【図18C】数字はピットサイズを示し、矢印を付けられた切れた円は丸みを帯びたピット形状を表し、「+」は細長いピット形状を表し、この例では、アルゴリズムが、組織をグランドトゥルースに一致するKudo IVピットとして特定する、ピットパターン抽出及び特定の結果を示す一連の図のうちの、自動化されたアルゴリズムからの統計的情報を示す図である。
【発明を実施するための形態】
【0012】
1.自動画像品質評価のシステムフレームワーク
本発明は、複雑な、マルチセンサ、マルチデータ及びマルチアルゴリズムの画像処理システムである。その設計は、現象学(特徴)ベースの処理に基づいて構築されるモジュラ及びオープンアーキテクチャを提供する。特徴セットは、疾患を評価するために結腸鏡医によって用いられる同じ特徴を含む(ポリープサイズ、ピットパターン等)。画像ベースのポリープ再構成アルゴリズムは、いくつかのステップ:歪み補正、画像に基づくモデル化、3Dデータスティッチング及び再構成を特徴として含む。テクスチャベースのピットパターン解析は、形態学的演算子を用いてテクスチャパターンを抽出し、その後、統計モデル及び機械学習アルゴリズムを用いて、ピットの色及びテクスチャ情報に従って疾患重症度を分類する。3Dポリープ形状及びピットパターンを解析することによって、結腸鏡医に、巨視的に視診するための診断情報が提供される。また、そのオープンアーキテクチャは、他の巨視的な様式(OCT:光コヒーレンストモグラフィ、FTIR:フーリエ変換赤外線及び共焦点顕微鏡法等)からの付加的な特徴をシームレスに統合して、さらに正確な診断情報を提供することができるようにする(全て参照により本明細書に援用される、Maroulis, D.E., Iakovidis, D.K., Karkanis, S.A., and Karras, D.A., CoLD: A versatile detection system for colorectal lesions in endoscopy video-frames, Compute Methods Programs Biomed. 70(2): 151-166. 2003; Buchsbaum, P.E. and Morris, MJ., Method for making monolithic patterning dichroic filter detector arrays for spectroscopic imaging, Ocean Optics, Inc., US Patent# 6,638,668 Barrie, J.D., Aitchison, K.A., Rossano, G.S., and Abraham, M.H., Patterning of multilayer dielectric optical coatings for multispectral CCDs, Thin Solid Films 270: 6-9, 1995)。本発明のシステムはまた、結腸鏡医のための視覚化及び仮想ナビゲーションも可能にし、これは、バーチャルリアリティ技法及び磁気センサによって果たされ、それによって、絶対空間の場所及び向きが提供される。
【0013】
本発明において説明されるシステムは、デジタル内視鏡から入手されるRGB(赤−緑−青色空間)映像から開始する。一連のアルゴリズムを用いて、画像処理が実行され(全て参照により本明細書に援用される、Pascale, D., A Review of RGB Color Spaces, 5700 Hector Desloges, Montreal (Quebec), Canada, the Babel Color Company. 2003; Wolf, S., Color Correction Matrix for Digital Still and Video Imaging Systems, NTIA Technical Memorandum TM-04.-406. 2003)、これは2つのモジュールによって果たされる。第1のモジュールは映像品質解析モジュールであり、低品質の画像フレームを捨てて、それらの画像フレームを映像から削除することを目的とする。第2のモジュールは、映像品質強調モジュールであり、画像品質を向上させ、画像アーティファクトを低減することを目的とする。フレームワーク全体が図1に示される。
【0014】
2.映像品質解析及び強調
映像品質解析及び強調は、グリント除去アルゴリズム、ぼやけ検出アルゴリズム、コントラスト強調アルゴリズム、超解像再構成アルゴリズム、及び映像安定化アルゴリズムを含む。そのフレームワークが図2及び図3に示される。
【0015】
2.1グリント除去アルゴリズム
本発明人らは、子宮頸癌CAD用に本発明人らが設計した同じグリント除去アルゴリズムを組み込む(Lange H.; Automatic glare removal in reflectance imagery of the uterine cervix; SPIE Medical Imaging 2005; SPIE Proc. 5747, 2005)。この方法は、RGB画像から、良好なグリント対背景比を与え、その画像におけるグリント領域を見つけて、それらの領域の推定される画像特徴を復元することによってグリント領域を除去する、グリント特徴信号を抽出することである。本発明人らは、グリント特徴信号としてG(緑)画像成分を選択した。なぜなら、その成分は、高いグリント対背景比を与え、計算が簡単だからである。グリント領域は、飽和した領域、又はコントラストが高い小さな領域のいずれかとして検出される。飽和した領域は、適応的なしきい値処理法を用いて検出される。コントラストが高い小さな明るい領域は、種々のサイズ及びしきい値を用いる、形態学的なトップハットフィルタを用いて検出される。グリント領域の全範囲は、形態学的な制約流域セグメンテーションアルゴリズム(constraint watershed segmentation algorithm)に、一定拡張(constant dilation)を加えたものを用いて近似される。画像特徴(R、G、B)は最初に、ラプラスの方程式に基づいて、周囲の領域から補間される。その後、補間された領域強度関数に、その補間された領域強度と当該領域からの生の強度データとの間の誤差関数に基づくスケーリングされた強度関数と、検出された2値グリント領域に基づく信号とを加えることによって、強度画像特徴が復元される。グリント検出及び除去アルゴリズムは、3つの連続した処理ステップ、(1)グリント特徴抽出、(2)グリント領域検出、並びに(3)グリント領域除去及び画像特徴再構成から成る。図4は、グリント検出及び除去アルゴリズムのアルゴリズムフローチャートを示し、図5A及び図5Bにおいて、グリント検出及び除去アルゴリズムの結果を見ることができる。
【0016】
2.2ぼやけ検出アルゴリズム
ぼやけ検出アルゴリズムは、正規化画像電力スペクトル法を利用し(参照により本明細書に援用される、Gu J. and Li W., Automatic Image Quality Assessment for Cervical Imagery, SPIE Medical Imaging 2006; SPIE Proc. 6146, 2006)、この方法は、以下のステップとして記述することができる。
【0017】
1.画像を複数の重なり合わないブロックに分割する。
【0018】
2.ブロック毎に、周波数情報に基づいて局所的な見本を計算する。
【0019】
3.ステップ2から得られた局所的な見本から全体的な統計値を計算する。
【0020】
4.全体的な統計値から画像がぼやけているか否かを判定する。
局所的な見本は画像電力スペクトルによって計算され、その後、0成分によって正規化される。その後、この2D画像電力スペクトルが1D図に変換される。各周波数帯内のエネルギー特性を解析するために、各ラジアル値に従って、極座標積分が用いられる。電力スペクトルは3つの部分に区分され、低周波数エリアはぼやけに対して変化しない構造情報を表すものと見なされ、高周波数エリアは、詳細な情報を表すものと見なされ、よりぼやけの影響を受けやすい。これらの2つの積分間の比を解析することによって、ぼやけの程度を計算することができる(雑音スペクトルは、しきい値によって予め除去されている)。各小ブロックのぼやけの程度が判定された後に、全体として、全体的な測定値の判定を行うことができる。これは、画像全体の中で占められるぼやけたブロックの数のパーセンテージを用いることによって行うことができる。さらに、画像中央の品質の方がより重要であるので、中央にあるブロックと、周辺にあるブロックとの間で異なる重みが与えられる。このため、ぼやけたブロックの範囲が或るしきい値よりも小さい場合には、その画像は満足のいくほど鮮明であると見なされ、そうでない場合には、エラーメッセージがポップアップし、操作者にぼやけた画像としてフィードバックされる。図6は、そのアルゴリズムフローチャートであり、図7A及び図7Bにおいて、ぼやけ検出の結果を見ることができる。
【0021】
2.3コントラスト強調
コントラスト強調のために用いられるのが好ましい方法は、適応的ヒストグラム等化である。適応的ヒストグラム等化は、強度画像内の値を変換することによって、画像のコントラストを高める(参照により本明細書に援用される、Zuiderveld, K-, Contrast limited adaptive histogram equalization, Princeton, NJ: Academic Press, Graphics gems IV, ed. Heckbert, P., 1994)。全体的ヒストグラム等化とは異なり、適応的ヒストグラム等化は、画像全体ではなく、小さなデータ領域(窓)において作用する。出力領域のヒストグラムが、指定されたヒストグラムと概ね一致するように、各窓のコントラストが高められる。その後、人為的に引き起こされる境界を除去するために、双線形補間を用いて、隣接する窓が合成される。画像内に存在することがある雑音を増幅するのを避けるために、コントラスト、特に均質なエリア内のコントラストを制限することができる。図8A及び図8Bにおいて、コントラスト強調の結果を見ることができる。
【0022】
2.4超解像度再構成
超解像は、同じ物体の多数のフレームを用いて、より高い解像度の画像を達成する技法である(全て参照により本明細書に援用される、Kim, S.P., Bose, N.K., and Valensuela, H.M., Recursive reconstruction of high resolution image from noisy undersampled multiframes, IEEE Transaction on Acoustics, Speech, and Signal Processing 38(6): 1031-1027, 1990; Irani, M. and Peleg, S., Improving resolution by image registration, CVGIP:GM 53 : 231 -239, 1991)。超解像は、フレームが互いから数分の1ピクセルだけシフトされるときに機能する。超解像アルゴリズムは、より小さな元のフレーム内の情報を含む、より大きな画像を生成することができ、最初に、画像サブピクセル位置合わせを利用して、いくつかの低解像度画像間の対応を確立し、その後、サブピクセル補間アルゴリズムを用いて、より高い解像度の画像を再構成する。図9A、図9B、図9C、図9D及び図9Eは、超解像度再構成の結果を示す。
【0023】
2.5映像安定化
映像安定化は、カメラの望ましくない振動又は小刻みな揺れに起因する画像の動きを除去することによって、補償された映像シーケンスを生成する方法である。好ましい映像安定化アルゴリズムは、図10に示されるように、動き推定(ME)ブロック、動き平滑(MS)ブロック、及び動き補正(MC)ブロックから成る。MEブロックは、フレーム間の動きを推定し、局所動き推定器と全体動き判断ユニットとに分割されることができる。局所動き推定器は、典型的なブロックベース又は勾配ベースの方法を用いて、連続するフレーム間で推定される高密度オプティカルフロー情報を返す。その後、全体動き判断ユニットが、所与のオプティカルフロー情報によって示される動きを最もよく特徴付ける適切なグローバル変換を決定する。全体動きパラメータはMSに送られ、MSでは多くの場合に、望ましくないカメラの動きを除去するが意図的なカメラの動きを保持するように、動きパラメータがフィルタリングされる。最後に、MCが、フィルタリングされたグローバル変換情報を用いて、現在のフレームをワーピングし、安定化した映像シーケンスを生成する。図11A及び図11Bは、映像安定化の結果を示す。
【0024】
3.3次元結腸モデル化及び再構成
3D結腸モデルは、視覚化、並びに外科手術計画及び訓練の際に外科医を支援する、結腸鏡検査法におけるコンピュータ支援診断(CAD)システムの好ましい構成要素である。それゆえ、内視鏡映像(又は画像)から3D結腸モデルを構成する能力は、結腸鏡検査法のためのCADシステムにおいて好ましい。結腸内の静的な局在化した3D解剖構造をモデル化するために、数学的な定式化及びアルゴリズムが開発されており、これらは厳密な検査及び正確な寸法決定のために多数の新たな視点から描画することができる(全て参照により本明細書に援用される、Mori, K., Deguchi, D., Sugiyama, J., Suenaga, Y. et al., Tracking of a bronchoscope using epipolar geometry analysis and intensity- based image registration of real and virtual endoscopic images, Med. Image Anal. 6(3): 321-336. 2002; Lyon, R. and Hubel, P., Eyeing the camera: into the next century, 349-355. IS&T/TSID 10th Color Imaging Conference, Scottsdale, AZ, 2002; Zhang, X. and Payandeh, S., Toward Application of Image Tracking in Laparoscopic Surgery, in International Conference on Pattern Recognition, Proc. of International Conference on Pattern Recognition 364-367. ICPR2000, 2000)。この能力は、外科医が、或る異常な組織成長に気づき、より厳密な検査及び正確な寸法決定を望むときのシナリオにおいて有用である。
【0025】
本発明のモデル化システムは映像からの画像だけを使用し、画像に基づいてモデル化するために、十分に確立されているコンピュータビジョンパラダイムに従う。画像から顕著な特徴が抽出され、連続追跡及び個別照合によって、多数の画像にわたって、その対応が確立される。これらの特徴対応を用いて、カメラの動きを推測する。カメラの動きパラメータによって、標準的な立体構成になるように画像を調整し、これらの画像においてピクセルの動き(相違)を推測することができるようにする。その後、推測された相違を用いて、3D表面深度を再生する。画像内に記録されるテクスチャ情報と共に、推測された3D深度によって3Dモデルを構成することができるようになり、その構造情報及び外観情報はいずれも、多数の新たな視点から描画することができる。より正確には、そのモデル化システムは、以下の構成要素を含む。
【0026】
1.較正:これは、固有のカメラパラメータを推定すると共に、画像歪み(たとえば、レンズ収差)があれば、これを補正するオフライン方法である。
【0027】
2.特徴選択:このステップは、映像解析を確実にするために、特有且つ不変の結腸特徴を特定する。
【0028】
3.特徴照合:このステップは、多数の画像又は映像フレームにわたって画像特徴を照合し、これらの特徴の対応を確立する。
【0029】
4.カメラ動き推測:このステップは、照合された画像特徴を用いて、隣接する画像又は映像フレーム間のカメラの動きを推測する。
【0030】
5.画像調整:このステップは、2つの画像からの対応するエピポーラ線が位置合わせされ、画像走査線として重ねられるように、画像ピクセルを配置し直すことである。このステップによって、カメラの動きに関係なく、標準的な立体照合(stereo matching)技法を適用することができるようになる。
【0031】
6.立体照合:このステップは、2つの調整された画像間の相違(画像の動き)を計算して、3D深度を推測することができるようにすることである。
【0032】
7.モデル構成:このステップは、ピクセル相違から3D深度を推測し、構造及び外観の両方の情報を取り込む3Dモデルを構成することである。
【0033】
8:モデル描画:この最後のステップは、任意の新たな視点からコンピュータモデルを描画することを目的とする。
図12は、3D結腸モデル化及び再構成のアルゴリズムフローチャートを示す。図13A、図13B、図13C及び図13Dは歪み補正結果を示し、図14A、図14B、図14C及び図14Dは3Dポリープ再構成の結果を示す。
【0034】
内視鏡映像から3次元ポリープモデルを作成することによって、3つの目標を達成することができるようになる。第一に、そのモデルによって、臨床医が、結腸鏡検査の挿入段階において(モデル上の)エリアをマークし、引き抜き時にこれらのエリアを処置することができるようになる。第二に、監視を必要とする高リスクの患者の場合に、複数の検査にわたって患者の臨床状態を登録し、それによって変化を検出することができるようにするフレームワークを提供する。第三に、3D再構成後に、本発明のシステムはポリープの物理的なサイズを定量的に計算することができ、結腸鏡医に、診断を下すための統計的な判定基準を与えることができる。
【0035】
4.ピットパターン解析
平坦な病変及び窪んだ病変のための処置判断は、「ピットパターン」としても知られている、リーベルキューン陰窩の管腔表面構造を含む、巨視的な形態学的外観の詳細な検査に基づく。ピットパターン解析は、下にある組織構造、及び垂直方向への粘膜下侵襲の深度の両方の場合に、或る程度の陽性適中率を提供することができる。好ましいシステムは、Kudo組織分類法を利用し、この方法は、組織学的な巨視的形態及びサイズに従って、7つのタイプのピットパターンを記述する(全て参照により本明細書に援用される、Kudo, S., Hirota, S., Nakajima, T., Hosobe, S., Kusaka, H., Kobayashi, T. et al., Colorectal tumours and pit pattern, Journal of Clinical Pathology. 47(10): 880-885. 1994. Kudo, S., Rubio, C.A., Teixeira, C.R., Kashida, H., and Kogure, E., Pit pattern in colorectal neoplasia: endoscopic magnifying view, Endoscopy 33(4): 367-373. 2001. Kudo, S., Tamura, S., Nakajima, T., Yamano, H., Kusaka, H., and Watanabe, H., Diagnosis of colorectal tumorous lesions by magnifying endoscopy, Gastrointestinal Endoscopy. 44(1): 8-14. 1996)。これらのピットパターンは、表面パターンを、その下にある組織構造に関連付けるために、病理組織と相互に関連している。病変を、基本的な臨床グループに分類することができる。Kudo陰窩グループI/IIは、非腫瘍性、非侵襲パターンを構成する。グループIIIL/IIIS/IV/VIは腫瘍性であるが、非侵襲性の病変を表す。グループVNは、侵襲性を伴う腫瘍を表す。詳細な特徴が以下に述べられており、外観及び写真の例を図15において見ることができる。
【0036】
・正常な粘膜のタイプIピットパターンは、規則的なサイズ及び配列を有する丸みを帯びたピットから成る。
【0037】
・良性の過形成性ポリープのタイプIIピットパターンはタイプIよりも大きく、相対的に大きな星形又はたまねぎ形のピットから成る。
【0038】
・タイプIIILピットパターンは、タイプIよりも大きな管状の、又は丸みを帯びたピットから構成され、ポリープ状の腺腫に関連付けられる。
【0039】
・タイプIIISピットパターンは、タイプIよりも小さい、管状又は丸みを帯びたピットから構成され、多くの場合に高悪性度の異形成である窪んだ病変に関連付けられる。
【0040】
・タイプIVピットパターンは、腺腫性病変に関連付けられる、分枝又は回状パターンである。
【0041】
・タイプVピットパターンはVI及びVNに分けられる。タイプVI(不規則)は、形状、サイズ及び配列が不規則であるピットを有する。タイプVN(非構造)は、ピットパターンの不在を示す。
【0042】
ピットパターン解析モジュールは、高倍率内視鏡画像から開始し、テクスチャパターンを抽出するために、最初に形態学的演算子が実行される(参照により本明細書に援用される、Chen, C.H., Pau, L.F., and Wang, P.S.P., Segmentation Tools In Mathematical Morphology, Handbook of Pattern Recognition and Computer Vision, in Handbook of Pattern Recognition and Computer Vision, pp. 443-456. World Scientific Publishing Co., 1989)。その後、統計モデル及び機械学習アルゴリズムを利用して(参照により本明細書に援用される、Sonka, M., Image Processing Analysis and Machine Vision, in 1998)、ピットの色及びテクスチャ情報に従って疾患重症度を分類する(全て参照により本明細書に援用される、Lin, H.-C, Wang, L.-L., and Yang, S.-N., Extracting periodicity of a regular texture based on autocorrelation functions, Patter Recognition Letters 18(5): 433-443, ELSVIER Science Direct. 1997; Argenti, F., Alparone, L., and Benelli, G., Fast algorithms for texture analysis using co-occurrence matrices, in Radar and Signal Processing, IEE Proceedings F, 137: 443-448. [6], 1990)。トレーニングの目的を果たすために、注釈を付された多数の参照画像が使用され、それゆえ、種々の種類への可能性に基づいて、試験画像をこれらの参照画像に対してクラスタ化することができる(全て参照により本明細書に援用される、Magoulas, G.D., Plagianakos, V.P., and Vrahatis, M.N., Neural network-based colonoscopic diagnosis using on-line learning and differential evolution, Applied Soft Computing 4(4): 369-379, 2004; Liu, Y., Collins, R.T., and Tsin, Y., A computational model for periodic pattern perception based on frieze and wallpaper groups, Liu, Y., Collins, R.T., and Tsin, Y.,Pattern Analysis andMachine Intelligence, IEEE Transactions on 26(3): 354-371, 2004; Liu, Y., Lazar, N., Rothfus, W.E., Dellaert, F., Moore, S., Scheider, J., and Kanade, T., Semantic Based Biomedical Image Indexing and Retrival, Trends in Advances in Content-Based Image and Video Retrival, eds. Shapiro, D., Kriegel, and Veltkamp, 2004; Zhang, J., Collins, R., and Liu, Y., Representation and matching of articulated shapes, in Computer Vision and Pattern Recognition, 2: II-342-II-349. IEEE Conference on Computer Vision and Pattern Recognition CVPR 2004, 2004
)。トレーニング特徴は、ピットサイズ、ピット形状、及びピット密度を含む。図16は、色解析のアルゴリズムフローチャートを示す。図17は、テクスチャ解析のアルゴリズムフローチャートを示す。そして、図18は、ピットパターン抽出及び特定の結果を示す。
【0043】
本発明は、本明細書で説明される最良の形態との関連で開示されてきたが、特許請求の範囲によって画策されるような、本発明の精神及び範囲内に入る他の実施形態も可能であることは理解されたい。したがって、特許請求の範囲において具体的かつ明示的に述べられる場合を除いて、本発明では、いかなる限定を意味するべきでもなく、また推測されるべきでもない。
【産業上の利用可能性】
【0044】
本発明は、臓器の検査中に内視鏡からの映像データを利用することができるときにはいつでも、そして特に、潜在的に癌性の領域を診断する必要があり、それらの領域の動画が入手することができるときに用いることができる。
【技術分野】
【0001】
本発明は包括的には医療用画像形成に関し、より具体的には、患者の結腸のような、対象とする臓器の3次元(3D)再構成画像をオプションで含む、標準的な内視鏡からの映像を迅速かつ安価に解析する自動画像処理システムを用いる、結腸直腸癌のような疾患用の画像処理及びコンピュータ支援診断に関する。本発明は、検査を大きく長引かせることなく、即座のセカンドオピニオンを提供するために、結腸鏡検査法のような、検査中に既に使用されている従来の内視鏡からの映像データを利用して、リアルタイムに使用されることになる。
【0002】
本出願は、参照により本明細書に援用される、2006年8月21日に出願された米国仮特許出願第60/839275号に対する優先権を主張する。
【背景技術】
【0003】
本発明は結腸直腸癌との関連で開示されているが、数多くの他の医療分野にも適用することができる。結腸直腸癌は、合衆国において、癌関連で2番目に多い死因である。毎年130,000人以上の人々が結腸癌と診断されており、年間に約55,000人が、この疾患に起因して死亡する。結腸癌は、早期発見を通して予防し、治療することができるので、患者が生存するには、早期の診断が極めて重要である(参照により本明細書に援用される、American Cancer Society, Cancer Facts and Figures, 2004)。内視鏡を用いてポリープを検診することは、直腸結腸ポリープの早期発見及び除去にとって現在の最も適している予防方法である。そのようなポリープが結腸の中に残っていると、それらのポリープは悪性病変になる可能性が高い(参照により本明細書に援用されるHofstad, B., Vatn, M.H., Andersen, S.N., Huitfeldt, H.S. et al., Growth of colorectal polyps: redetection and evaluation of unresected polyps for a period of three years, Gut 39(3): 449-456. 1996)。隆起型のポリープが存在しない、平坦な病変の場合、結腸粘膜表面がざらざらしており、非特異性の溝と呼ばれる、複数の小さなエリアに仕切られる。結腸内面の細胞パターン(ピットパターン)の変化は、腺腫又は腫瘍の最も早期の兆候である可能性がある(全て参照により本明細書に援用されるMuehldorfer, S.M., Muenzenmayer, C, Mayinger, B., Faller, G. et al., Optical tissue recognition based on color texture by magnifying endoscopy in patients with Barrett's esophagus, Gastrointestinal Endoscopy 57: AB 179, 2003)。結腸粘膜表面のこれらの組織構造変化を測定するように、病変を定量的に発見するために、ピットパターンを用いることができる。ピットパターンを用いると、特異性は低いが、その相対的に高い感度が疑わしい領域を強調することができ、それによって他のセンサによってさらなる検査を行うことができるようになる。テクスチャベースのピットパターン解析は、組織タイプ及び疾患重症度を特定することができる。画像ベースのポリープ再構成は、内視鏡からの映像及びコンピュータビジョンアルゴリズムを用いて、3次元画像に変換することができる多数の視野を合成することによって、隆起型のポリープの3次元形状及びサイズを提供することができる。オプションでは、いくつかの画像処理アルゴリズム及び強調技法を用いて、画像品質を向上させることができる。
【0004】
結腸鏡検査法の必要をなくすために、種々の非侵襲性の走査技法が提案されているが、これらの走査技法が、ポリープ又は病変が存在している可能性を明らかにする場合には、後のいずれかの時点において、結腸鏡検査法が実行されなければならない。さらに、結腸鏡医は、走査後に時間が経ってから、患者の結腸内の実際のポリープ又は病変(走査において示された)の場所を特定しなければならないが、それは非常に難しい可能性がある。また、走査は結腸の内側表面の色又はテクスチャについての情報を提供しないが、この情報は、特に平坦な病変の場合に、血管構造及びピットパターンについての診断情報を提供することになる。平坦な病変は結腸壁から外側に突出せず、結果として、結腸壁の中に切り込むことによって除去されなければならず、それによって、出血、感染、及び他の副作用を被る危険性がさらに高くなるので、平坦な病変の偽陽性を回避することが極めて望ましい。また、走査は、ポリープ又は病変と、結腸内の残留便又は他の物質とを区別することができないことがある。
【0005】
経済的にするために、結腸鏡検査法は効率的に実行されなければならないので、結腸鏡医は大腸の内側表面の比較的大きなエリアを迅速に走査しなければならない。したがって、病変又はポリープが見落とされることがあるという危険性がある。
【0006】
結腸鏡検査中に病変又はポリープが見つけられる場合には、内視鏡が既に病変又はポリープの場所にあり、大部分の内視鏡が、切断器具を導入する手段を備えているので、後の手順においてポリープ又は病変を特定し直す必要はない。したがって、最初に検出された時点、又は同じ結腸鏡検査中の後の時点のいずれにおいても、検出された同じ結腸鏡検査中にポリープ又は病変を切除することができる。
【発明の概要】
【発明が解決しようとする課題】
【0007】
ポリープ及び病変を発見及び解析する際の結腸鏡医の技量は、個々の結腸鏡医の訓練及び経験による。したがって、結腸鏡検査法における発見及び解析を標準化するために、結腸鏡医に潜在的なポリープ又は病変があることを警告するか、又は見つけられた任意のポリープ又は病変の診断を確認するか若しくは調べるために、結腸鏡検査中にリアルタイムに独立したエキスパート解析を提供することが望ましい。また、追加の高額のハードウエアの購入を必要とすることなく、安価且つ容易に利用可能であるように、そのようなエキスパート知識を提供することが望ましい。
【課題を解決するための手段】
【0008】
本発明は、映像データを解析することであって、低品質の画像フレームを捨てて、映像データから満足のいく画像フレームを与える、解析すること、画像フレームを強調すること、並びに画像フレーム内の任意の病変を検出及び診断することを含み、解析するステップ、強調するステップ、並びに検出及び診断するステップは検査中にリアルタイムに実行される、内視鏡による検査中に臓器の映像データからコンピュータ支援診断を提供する方法である。オプションでは、その画像フレームを用いて、その臓器の3次元モデルを再構成することができる。
【0009】
結腸鏡検査法に適用されるとき、本発明は、大腸の結腸鏡検査中に、内視鏡の映像データからコンピュータ支援診断を提供する方法であり、当該方法は、映像データを解析することであって、低品質の画像フレームを捨てて、映像データから満足のいく画像フレームを与える、解析すること、画像フレームを強調すること、並びに画像フレーム内の任意のポリープを検出及び診断することを含み、解析するステップ、強調するステップ、並びに検出及び診断するステップは全て、内視鏡からの映像データを受信するように動作可能に接続されるコンピュータ上で動作するソフトウエアによって、結腸鏡検査中にリアルタイムに実行される。
【0010】
解析するステップは、グリント検出及び除去、並びに焦点解析を含むことが好ましい。強調するステップは、コントラスト強調、超解像及び映像安定化を含むことが好ましい。検出及び診断するステップは、色較正、色解析、テクスチャ解析及び特徴部検出を含むことが好ましい。テクスチャ解析は、血管及びピットパターンを解析することを含むことができる。オプションでは、この方法は、画像フレームから3次元において大腸を再構成することであって、再構成されたモデルを形成する、再構成すること、及び、再構成されたモデルから、上記結腸内の任意のポリープの3次元形状及びサイズ情報を再生することも含む。再構成するステップは、魚眼歪み補正、形状較正、画像に基づくモデル化、及び3次元データスティッチングを含むことが好ましい。
【図面の簡単な説明】
【0011】
【図1】コンピュータ支援診断システムのアルゴリズムフローチャートである。
【図2】図1の映像品質解析モジュールのアルゴリズムフローチャートである。
【図3】図1の映像品質強調モジュールのアルゴリズムフローチャートである。
【図4】図2のグリント検出及び除去モジュールのアルゴリズムフローチャートである。
【図5A】グリント検出及び除去の結果を示す一連の図のうちの、元の画像フレームを示す図である。
【図5B】グリント検出及び除去の結果を示す一連の図のうちの、画像からグリントが除去された図である。
【図6】ぼやけ検出のアルゴリズムフローチャートである。
【図7A】ぼやけ検出の結果を示す一連の図のうちの、元の画像フレームを示す図である。
【図7B】ぼやけ検出の結果を示す一連の図のうちの、ぼやけ検出の結果を示す図である(画像上に重なる黒いブロックがぼやけエリアの場所を指示する)。
【図8A】コントラスト強調の結果を示す一連の図のうちの、元の画像フレームを示す図である。
【図8B】コントラスト強調の結果を示す一連の図のうちの、コントラストが強調されている図である。
【図9A】超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。
【図9B】超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。
【図9C】超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。
【図9D】超解像再構成の結果を示す一連の図のうちの、低解像度の画像のフレームを示す図である。
【図9E】超解像再構成の結果を示す一連の図のうちの、再構成された、より高い解像度の画像を示す図である。
【図10】映像安定化のアルゴリズムフローチャートである。
【図11A】映像安定化の結果を示す一連の図のうちの、1つの結腸鏡映像の動きフィールドを示す図である(丸印を伴う曲線は、揺れがある元の映像の動きフィールドを表し、四角印を伴う曲線は、安定化した映像の動きフィールドを表す)。
【図11B】映像安定化の結果を示す一連の図のうちの、別の結腸鏡映像の動きフィールドを示す図である(丸印を伴う曲線は、揺れがある元の映像の動きフィールドを表し、四角印を伴う曲線は、安定化した映像の動きフィールドを表す)。
【図12】3D結腸モデル化及び再構成のアルゴリズムフローチャートである。
【図13A】歪み補正の結果を示す一連の図のうちの、グリッドターゲットの元の画像を示す図である。
【図13B】歪み補正の結果を示す一連の図のうちの、補正されたグリッドターゲットを示す図である。
【図13C】歪み補正の結果を示す一連の図のうちの、結腸の元の画像を示す図である。
【図13D】歪み補正の結果を示す一連の図のうちの、補正された結腸画像を示す図である。
【図14A】3Dポリープ再構成の結果を示す一連の図のうちの、1つの結腸鏡映像フレームを示す図である。
【図14B】3Dポリープ再構成の結果を示す一連の図のうちの、別の結腸鏡映像フレームを示す図である。
【図14C】3Dポリープ再構成の結果を示す一連の図のうちの、再構成された3Dポリープモデルを示す図である。
【図14D】3Dポリープ再構成の結果を示す一連の図のうちの、テクスチャマッピングによる3Dポリープ視覚化を示す図である。
【図15】Kudoピットパターンの分類パターンを示す図である。
【図16】色解析のアルゴリズムフローチャートである。
【図17】テクスチャ解析のアルゴリズムフローチャートである。
【図18A】ピットパターン抽出及び特定の結果を示す一連の図のうちの、元の画像を示す図である。
【図18B】ピットパターン抽出及び特定の結果を示す一連の図のうちの、画像強調結果を示す図である。
【図18C】数字はピットサイズを示し、矢印を付けられた切れた円は丸みを帯びたピット形状を表し、「+」は細長いピット形状を表し、この例では、アルゴリズムが、組織をグランドトゥルースに一致するKudo IVピットとして特定する、ピットパターン抽出及び特定の結果を示す一連の図のうちの、自動化されたアルゴリズムからの統計的情報を示す図である。
【発明を実施するための形態】
【0012】
1.自動画像品質評価のシステムフレームワーク
本発明は、複雑な、マルチセンサ、マルチデータ及びマルチアルゴリズムの画像処理システムである。その設計は、現象学(特徴)ベースの処理に基づいて構築されるモジュラ及びオープンアーキテクチャを提供する。特徴セットは、疾患を評価するために結腸鏡医によって用いられる同じ特徴を含む(ポリープサイズ、ピットパターン等)。画像ベースのポリープ再構成アルゴリズムは、いくつかのステップ:歪み補正、画像に基づくモデル化、3Dデータスティッチング及び再構成を特徴として含む。テクスチャベースのピットパターン解析は、形態学的演算子を用いてテクスチャパターンを抽出し、その後、統計モデル及び機械学習アルゴリズムを用いて、ピットの色及びテクスチャ情報に従って疾患重症度を分類する。3Dポリープ形状及びピットパターンを解析することによって、結腸鏡医に、巨視的に視診するための診断情報が提供される。また、そのオープンアーキテクチャは、他の巨視的な様式(OCT:光コヒーレンストモグラフィ、FTIR:フーリエ変換赤外線及び共焦点顕微鏡法等)からの付加的な特徴をシームレスに統合して、さらに正確な診断情報を提供することができるようにする(全て参照により本明細書に援用される、Maroulis, D.E., Iakovidis, D.K., Karkanis, S.A., and Karras, D.A., CoLD: A versatile detection system for colorectal lesions in endoscopy video-frames, Compute Methods Programs Biomed. 70(2): 151-166. 2003; Buchsbaum, P.E. and Morris, MJ., Method for making monolithic patterning dichroic filter detector arrays for spectroscopic imaging, Ocean Optics, Inc., US Patent# 6,638,668 Barrie, J.D., Aitchison, K.A., Rossano, G.S., and Abraham, M.H., Patterning of multilayer dielectric optical coatings for multispectral CCDs, Thin Solid Films 270: 6-9, 1995)。本発明のシステムはまた、結腸鏡医のための視覚化及び仮想ナビゲーションも可能にし、これは、バーチャルリアリティ技法及び磁気センサによって果たされ、それによって、絶対空間の場所及び向きが提供される。
【0013】
本発明において説明されるシステムは、デジタル内視鏡から入手されるRGB(赤−緑−青色空間)映像から開始する。一連のアルゴリズムを用いて、画像処理が実行され(全て参照により本明細書に援用される、Pascale, D., A Review of RGB Color Spaces, 5700 Hector Desloges, Montreal (Quebec), Canada, the Babel Color Company. 2003; Wolf, S., Color Correction Matrix for Digital Still and Video Imaging Systems, NTIA Technical Memorandum TM-04.-406. 2003)、これは2つのモジュールによって果たされる。第1のモジュールは映像品質解析モジュールであり、低品質の画像フレームを捨てて、それらの画像フレームを映像から削除することを目的とする。第2のモジュールは、映像品質強調モジュールであり、画像品質を向上させ、画像アーティファクトを低減することを目的とする。フレームワーク全体が図1に示される。
【0014】
2.映像品質解析及び強調
映像品質解析及び強調は、グリント除去アルゴリズム、ぼやけ検出アルゴリズム、コントラスト強調アルゴリズム、超解像再構成アルゴリズム、及び映像安定化アルゴリズムを含む。そのフレームワークが図2及び図3に示される。
【0015】
2.1グリント除去アルゴリズム
本発明人らは、子宮頸癌CAD用に本発明人らが設計した同じグリント除去アルゴリズムを組み込む(Lange H.; Automatic glare removal in reflectance imagery of the uterine cervix; SPIE Medical Imaging 2005; SPIE Proc. 5747, 2005)。この方法は、RGB画像から、良好なグリント対背景比を与え、その画像におけるグリント領域を見つけて、それらの領域の推定される画像特徴を復元することによってグリント領域を除去する、グリント特徴信号を抽出することである。本発明人らは、グリント特徴信号としてG(緑)画像成分を選択した。なぜなら、その成分は、高いグリント対背景比を与え、計算が簡単だからである。グリント領域は、飽和した領域、又はコントラストが高い小さな領域のいずれかとして検出される。飽和した領域は、適応的なしきい値処理法を用いて検出される。コントラストが高い小さな明るい領域は、種々のサイズ及びしきい値を用いる、形態学的なトップハットフィルタを用いて検出される。グリント領域の全範囲は、形態学的な制約流域セグメンテーションアルゴリズム(constraint watershed segmentation algorithm)に、一定拡張(constant dilation)を加えたものを用いて近似される。画像特徴(R、G、B)は最初に、ラプラスの方程式に基づいて、周囲の領域から補間される。その後、補間された領域強度関数に、その補間された領域強度と当該領域からの生の強度データとの間の誤差関数に基づくスケーリングされた強度関数と、検出された2値グリント領域に基づく信号とを加えることによって、強度画像特徴が復元される。グリント検出及び除去アルゴリズムは、3つの連続した処理ステップ、(1)グリント特徴抽出、(2)グリント領域検出、並びに(3)グリント領域除去及び画像特徴再構成から成る。図4は、グリント検出及び除去アルゴリズムのアルゴリズムフローチャートを示し、図5A及び図5Bにおいて、グリント検出及び除去アルゴリズムの結果を見ることができる。
【0016】
2.2ぼやけ検出アルゴリズム
ぼやけ検出アルゴリズムは、正規化画像電力スペクトル法を利用し(参照により本明細書に援用される、Gu J. and Li W., Automatic Image Quality Assessment for Cervical Imagery, SPIE Medical Imaging 2006; SPIE Proc. 6146, 2006)、この方法は、以下のステップとして記述することができる。
【0017】
1.画像を複数の重なり合わないブロックに分割する。
【0018】
2.ブロック毎に、周波数情報に基づいて局所的な見本を計算する。
【0019】
3.ステップ2から得られた局所的な見本から全体的な統計値を計算する。
【0020】
4.全体的な統計値から画像がぼやけているか否かを判定する。
局所的な見本は画像電力スペクトルによって計算され、その後、0成分によって正規化される。その後、この2D画像電力スペクトルが1D図に変換される。各周波数帯内のエネルギー特性を解析するために、各ラジアル値に従って、極座標積分が用いられる。電力スペクトルは3つの部分に区分され、低周波数エリアはぼやけに対して変化しない構造情報を表すものと見なされ、高周波数エリアは、詳細な情報を表すものと見なされ、よりぼやけの影響を受けやすい。これらの2つの積分間の比を解析することによって、ぼやけの程度を計算することができる(雑音スペクトルは、しきい値によって予め除去されている)。各小ブロックのぼやけの程度が判定された後に、全体として、全体的な測定値の判定を行うことができる。これは、画像全体の中で占められるぼやけたブロックの数のパーセンテージを用いることによって行うことができる。さらに、画像中央の品質の方がより重要であるので、中央にあるブロックと、周辺にあるブロックとの間で異なる重みが与えられる。このため、ぼやけたブロックの範囲が或るしきい値よりも小さい場合には、その画像は満足のいくほど鮮明であると見なされ、そうでない場合には、エラーメッセージがポップアップし、操作者にぼやけた画像としてフィードバックされる。図6は、そのアルゴリズムフローチャートであり、図7A及び図7Bにおいて、ぼやけ検出の結果を見ることができる。
【0021】
2.3コントラスト強調
コントラスト強調のために用いられるのが好ましい方法は、適応的ヒストグラム等化である。適応的ヒストグラム等化は、強度画像内の値を変換することによって、画像のコントラストを高める(参照により本明細書に援用される、Zuiderveld, K-, Contrast limited adaptive histogram equalization, Princeton, NJ: Academic Press, Graphics gems IV, ed. Heckbert, P., 1994)。全体的ヒストグラム等化とは異なり、適応的ヒストグラム等化は、画像全体ではなく、小さなデータ領域(窓)において作用する。出力領域のヒストグラムが、指定されたヒストグラムと概ね一致するように、各窓のコントラストが高められる。その後、人為的に引き起こされる境界を除去するために、双線形補間を用いて、隣接する窓が合成される。画像内に存在することがある雑音を増幅するのを避けるために、コントラスト、特に均質なエリア内のコントラストを制限することができる。図8A及び図8Bにおいて、コントラスト強調の結果を見ることができる。
【0022】
2.4超解像度再構成
超解像は、同じ物体の多数のフレームを用いて、より高い解像度の画像を達成する技法である(全て参照により本明細書に援用される、Kim, S.P., Bose, N.K., and Valensuela, H.M., Recursive reconstruction of high resolution image from noisy undersampled multiframes, IEEE Transaction on Acoustics, Speech, and Signal Processing 38(6): 1031-1027, 1990; Irani, M. and Peleg, S., Improving resolution by image registration, CVGIP:GM 53 : 231 -239, 1991)。超解像は、フレームが互いから数分の1ピクセルだけシフトされるときに機能する。超解像アルゴリズムは、より小さな元のフレーム内の情報を含む、より大きな画像を生成することができ、最初に、画像サブピクセル位置合わせを利用して、いくつかの低解像度画像間の対応を確立し、その後、サブピクセル補間アルゴリズムを用いて、より高い解像度の画像を再構成する。図9A、図9B、図9C、図9D及び図9Eは、超解像度再構成の結果を示す。
【0023】
2.5映像安定化
映像安定化は、カメラの望ましくない振動又は小刻みな揺れに起因する画像の動きを除去することによって、補償された映像シーケンスを生成する方法である。好ましい映像安定化アルゴリズムは、図10に示されるように、動き推定(ME)ブロック、動き平滑(MS)ブロック、及び動き補正(MC)ブロックから成る。MEブロックは、フレーム間の動きを推定し、局所動き推定器と全体動き判断ユニットとに分割されることができる。局所動き推定器は、典型的なブロックベース又は勾配ベースの方法を用いて、連続するフレーム間で推定される高密度オプティカルフロー情報を返す。その後、全体動き判断ユニットが、所与のオプティカルフロー情報によって示される動きを最もよく特徴付ける適切なグローバル変換を決定する。全体動きパラメータはMSに送られ、MSでは多くの場合に、望ましくないカメラの動きを除去するが意図的なカメラの動きを保持するように、動きパラメータがフィルタリングされる。最後に、MCが、フィルタリングされたグローバル変換情報を用いて、現在のフレームをワーピングし、安定化した映像シーケンスを生成する。図11A及び図11Bは、映像安定化の結果を示す。
【0024】
3.3次元結腸モデル化及び再構成
3D結腸モデルは、視覚化、並びに外科手術計画及び訓練の際に外科医を支援する、結腸鏡検査法におけるコンピュータ支援診断(CAD)システムの好ましい構成要素である。それゆえ、内視鏡映像(又は画像)から3D結腸モデルを構成する能力は、結腸鏡検査法のためのCADシステムにおいて好ましい。結腸内の静的な局在化した3D解剖構造をモデル化するために、数学的な定式化及びアルゴリズムが開発されており、これらは厳密な検査及び正確な寸法決定のために多数の新たな視点から描画することができる(全て参照により本明細書に援用される、Mori, K., Deguchi, D., Sugiyama, J., Suenaga, Y. et al., Tracking of a bronchoscope using epipolar geometry analysis and intensity- based image registration of real and virtual endoscopic images, Med. Image Anal. 6(3): 321-336. 2002; Lyon, R. and Hubel, P., Eyeing the camera: into the next century, 349-355. IS&T/TSID 10th Color Imaging Conference, Scottsdale, AZ, 2002; Zhang, X. and Payandeh, S., Toward Application of Image Tracking in Laparoscopic Surgery, in International Conference on Pattern Recognition, Proc. of International Conference on Pattern Recognition 364-367. ICPR2000, 2000)。この能力は、外科医が、或る異常な組織成長に気づき、より厳密な検査及び正確な寸法決定を望むときのシナリオにおいて有用である。
【0025】
本発明のモデル化システムは映像からの画像だけを使用し、画像に基づいてモデル化するために、十分に確立されているコンピュータビジョンパラダイムに従う。画像から顕著な特徴が抽出され、連続追跡及び個別照合によって、多数の画像にわたって、その対応が確立される。これらの特徴対応を用いて、カメラの動きを推測する。カメラの動きパラメータによって、標準的な立体構成になるように画像を調整し、これらの画像においてピクセルの動き(相違)を推測することができるようにする。その後、推測された相違を用いて、3D表面深度を再生する。画像内に記録されるテクスチャ情報と共に、推測された3D深度によって3Dモデルを構成することができるようになり、その構造情報及び外観情報はいずれも、多数の新たな視点から描画することができる。より正確には、そのモデル化システムは、以下の構成要素を含む。
【0026】
1.較正:これは、固有のカメラパラメータを推定すると共に、画像歪み(たとえば、レンズ収差)があれば、これを補正するオフライン方法である。
【0027】
2.特徴選択:このステップは、映像解析を確実にするために、特有且つ不変の結腸特徴を特定する。
【0028】
3.特徴照合:このステップは、多数の画像又は映像フレームにわたって画像特徴を照合し、これらの特徴の対応を確立する。
【0029】
4.カメラ動き推測:このステップは、照合された画像特徴を用いて、隣接する画像又は映像フレーム間のカメラの動きを推測する。
【0030】
5.画像調整:このステップは、2つの画像からの対応するエピポーラ線が位置合わせされ、画像走査線として重ねられるように、画像ピクセルを配置し直すことである。このステップによって、カメラの動きに関係なく、標準的な立体照合(stereo matching)技法を適用することができるようになる。
【0031】
6.立体照合:このステップは、2つの調整された画像間の相違(画像の動き)を計算して、3D深度を推測することができるようにすることである。
【0032】
7.モデル構成:このステップは、ピクセル相違から3D深度を推測し、構造及び外観の両方の情報を取り込む3Dモデルを構成することである。
【0033】
8:モデル描画:この最後のステップは、任意の新たな視点からコンピュータモデルを描画することを目的とする。
図12は、3D結腸モデル化及び再構成のアルゴリズムフローチャートを示す。図13A、図13B、図13C及び図13Dは歪み補正結果を示し、図14A、図14B、図14C及び図14Dは3Dポリープ再構成の結果を示す。
【0034】
内視鏡映像から3次元ポリープモデルを作成することによって、3つの目標を達成することができるようになる。第一に、そのモデルによって、臨床医が、結腸鏡検査の挿入段階において(モデル上の)エリアをマークし、引き抜き時にこれらのエリアを処置することができるようになる。第二に、監視を必要とする高リスクの患者の場合に、複数の検査にわたって患者の臨床状態を登録し、それによって変化を検出することができるようにするフレームワークを提供する。第三に、3D再構成後に、本発明のシステムはポリープの物理的なサイズを定量的に計算することができ、結腸鏡医に、診断を下すための統計的な判定基準を与えることができる。
【0035】
4.ピットパターン解析
平坦な病変及び窪んだ病変のための処置判断は、「ピットパターン」としても知られている、リーベルキューン陰窩の管腔表面構造を含む、巨視的な形態学的外観の詳細な検査に基づく。ピットパターン解析は、下にある組織構造、及び垂直方向への粘膜下侵襲の深度の両方の場合に、或る程度の陽性適中率を提供することができる。好ましいシステムは、Kudo組織分類法を利用し、この方法は、組織学的な巨視的形態及びサイズに従って、7つのタイプのピットパターンを記述する(全て参照により本明細書に援用される、Kudo, S., Hirota, S., Nakajima, T., Hosobe, S., Kusaka, H., Kobayashi, T. et al., Colorectal tumours and pit pattern, Journal of Clinical Pathology. 47(10): 880-885. 1994. Kudo, S., Rubio, C.A., Teixeira, C.R., Kashida, H., and Kogure, E., Pit pattern in colorectal neoplasia: endoscopic magnifying view, Endoscopy 33(4): 367-373. 2001. Kudo, S., Tamura, S., Nakajima, T., Yamano, H., Kusaka, H., and Watanabe, H., Diagnosis of colorectal tumorous lesions by magnifying endoscopy, Gastrointestinal Endoscopy. 44(1): 8-14. 1996)。これらのピットパターンは、表面パターンを、その下にある組織構造に関連付けるために、病理組織と相互に関連している。病変を、基本的な臨床グループに分類することができる。Kudo陰窩グループI/IIは、非腫瘍性、非侵襲パターンを構成する。グループIIIL/IIIS/IV/VIは腫瘍性であるが、非侵襲性の病変を表す。グループVNは、侵襲性を伴う腫瘍を表す。詳細な特徴が以下に述べられており、外観及び写真の例を図15において見ることができる。
【0036】
・正常な粘膜のタイプIピットパターンは、規則的なサイズ及び配列を有する丸みを帯びたピットから成る。
【0037】
・良性の過形成性ポリープのタイプIIピットパターンはタイプIよりも大きく、相対的に大きな星形又はたまねぎ形のピットから成る。
【0038】
・タイプIIILピットパターンは、タイプIよりも大きな管状の、又は丸みを帯びたピットから構成され、ポリープ状の腺腫に関連付けられる。
【0039】
・タイプIIISピットパターンは、タイプIよりも小さい、管状又は丸みを帯びたピットから構成され、多くの場合に高悪性度の異形成である窪んだ病変に関連付けられる。
【0040】
・タイプIVピットパターンは、腺腫性病変に関連付けられる、分枝又は回状パターンである。
【0041】
・タイプVピットパターンはVI及びVNに分けられる。タイプVI(不規則)は、形状、サイズ及び配列が不規則であるピットを有する。タイプVN(非構造)は、ピットパターンの不在を示す。
【0042】
ピットパターン解析モジュールは、高倍率内視鏡画像から開始し、テクスチャパターンを抽出するために、最初に形態学的演算子が実行される(参照により本明細書に援用される、Chen, C.H., Pau, L.F., and Wang, P.S.P., Segmentation Tools In Mathematical Morphology, Handbook of Pattern Recognition and Computer Vision, in Handbook of Pattern Recognition and Computer Vision, pp. 443-456. World Scientific Publishing Co., 1989)。その後、統計モデル及び機械学習アルゴリズムを利用して(参照により本明細書に援用される、Sonka, M., Image Processing Analysis and Machine Vision, in 1998)、ピットの色及びテクスチャ情報に従って疾患重症度を分類する(全て参照により本明細書に援用される、Lin, H.-C, Wang, L.-L., and Yang, S.-N., Extracting periodicity of a regular texture based on autocorrelation functions, Patter Recognition Letters 18(5): 433-443, ELSVIER Science Direct. 1997; Argenti, F., Alparone, L., and Benelli, G., Fast algorithms for texture analysis using co-occurrence matrices, in Radar and Signal Processing, IEE Proceedings F, 137: 443-448. [6], 1990)。トレーニングの目的を果たすために、注釈を付された多数の参照画像が使用され、それゆえ、種々の種類への可能性に基づいて、試験画像をこれらの参照画像に対してクラスタ化することができる(全て参照により本明細書に援用される、Magoulas, G.D., Plagianakos, V.P., and Vrahatis, M.N., Neural network-based colonoscopic diagnosis using on-line learning and differential evolution, Applied Soft Computing 4(4): 369-379, 2004; Liu, Y., Collins, R.T., and Tsin, Y., A computational model for periodic pattern perception based on frieze and wallpaper groups, Liu, Y., Collins, R.T., and Tsin, Y.,Pattern Analysis andMachine Intelligence, IEEE Transactions on 26(3): 354-371, 2004; Liu, Y., Lazar, N., Rothfus, W.E., Dellaert, F., Moore, S., Scheider, J., and Kanade, T., Semantic Based Biomedical Image Indexing and Retrival, Trends in Advances in Content-Based Image and Video Retrival, eds. Shapiro, D., Kriegel, and Veltkamp, 2004; Zhang, J., Collins, R., and Liu, Y., Representation and matching of articulated shapes, in Computer Vision and Pattern Recognition, 2: II-342-II-349. IEEE Conference on Computer Vision and Pattern Recognition CVPR 2004, 2004
)。トレーニング特徴は、ピットサイズ、ピット形状、及びピット密度を含む。図16は、色解析のアルゴリズムフローチャートを示す。図17は、テクスチャ解析のアルゴリズムフローチャートを示す。そして、図18は、ピットパターン抽出及び特定の結果を示す。
【0043】
本発明は、本明細書で説明される最良の形態との関連で開示されてきたが、特許請求の範囲によって画策されるような、本発明の精神及び範囲内に入る他の実施形態も可能であることは理解されたい。したがって、特許請求の範囲において具体的かつ明示的に述べられる場合を除いて、本発明では、いかなる限定を意味するべきでもなく、また推測されるべきでもない。
【産業上の利用可能性】
【0044】
本発明は、臓器の検査中に内視鏡からの映像データを利用することができるときにはいつでも、そして特に、潜在的に癌性の領域を診断する必要があり、それらの領域の動画が入手することができるときに用いることができる。
【特許請求の範囲】
【請求項1】
内視鏡による検査(examination)中に臓器の映像データからコンピュータ支援診断を与える方法であって、
前記映像データを解析することであって、低品質の画像フレームを捨てて、前記映像データから満足のいく画像フレームを与える、解析すること、
前記満足のいく画像フレームを強調すること、並びに
前記満足のいく画像フレームにおいて任意の病変(lesions)を検出及び診断することを含み、
前記解析するステップ、前記強調するステップ、並びに前記検出及び診断するステップは、前記検査中にリアルタイムに実行される、方法。
【請求項2】
前記強調するステップは、
前記満足のいく画像フレームからグリント(glint)を除去すること、
ぼやけを検出し、十分に鮮明でない、品質が劣っている画像フレームを捨てること、
前記満足のいく画像フレーム内のコントラストを高めること、
前記満足のいく画像フレームに超解像(super resolution)を適用すること、及び
前記満足のいく画像フレームに映像安定化を与えること、
を含む、請求項1に記載の方法。
【請求項3】
前記検出及び診断するステップは、色較正、色解析、テクスチャ解析及び特徴検出を含む、請求項1に記載の方法。
【請求項4】
前記方法は、前記満足のいく画像フレームから3次元において前記臓器の静止画像を再構成することをさらに含み、該再構成することは、前記検査中にリアルタイムに実行される、請求項1に記載の方法。
【請求項5】
前記再構成するステップは、再構成されたモデルを形成するための、魚眼歪み補正、形状較正(geometry callibration)、画像に基づくモデル化、及び3次元データスティッチング(stitching)を含み、
前記検出及び診断するステップは、前記再構成されたモデルから、前記臓器内の任意の病変の3次元形状及びサイズ情報を再生することをさらに含む、請求項4に記載の方法。
【請求項6】
前記検出及び診断することは、血管の解析を含む、請求項1に記載の方法。
【請求項7】
前記検出及び診断することは、ピットパターンの解析を含む、請求項1に記載の方法。
【請求項8】
前記解析するステップ、前記強調するステップ、並びに前記検出及び診断するステップは、前記内視鏡に動作可能に接続されるコンピュータ上にある自動画像処理システムを用いて実行される、請求項1に記載の方法。
【請求項9】
大腸の結腸鏡検査中に内視鏡の映像データからコンピュータ支援診断を与える方法であって、
前記映像データを解析することであって、品質が劣っている画像フレームを捨てて、前記映像データから満足のいく画像フレームを与える、解析すること、
前記満足のいく画像フレームを強調すること、並びに
前記満足のいく画像フレームにおいて任意のポリープを検出及び診断すること、
を含み、
前記解析するステップ、前記強調するステップ、並びに前記検出及び診断するステップは全て、前記内視鏡からの映像データを受信するために動作可能に接続されるコンピュータ上で動作するソフトウエアによって、前記結腸鏡検査中にリアルタイムに実行される、方法。
【請求項10】
前記解析するステップは、グリント検出及び除去と、焦点解析とを含む、請求項9に記載の方法。
【請求項11】
前記強調するステップは、コントラスト強調、超解像及び映像安定化を含む、請求項9に記載の方法。
【請求項12】
前記検出及び診断するステップは、色較正、色解析、テクスチャ解析及び特徴検出を含む、請求項9に記載の方法。
【請求項13】
前記テクスチャ解析は、血管及びピットパターンを解析することを含む、請求項12に記載の方法。
【請求項14】
前記方法は、前記満足のいく画像フレームから3次元において前記大腸の静止画像を再構成することであって、再構成されたモデルを形成する、再構成することをさらに含み、該再構成することは、前記結腸鏡検査中にリアルタイムに実行され、
前記検出及び診断するステップは、前記再構成されたモデルから、前記結腸内の任意のポリープの3次元形状及びサイズ情報を再生することをさらに含む、請求項9に記載の方法。
【請求項15】
前記再構成するステップは、魚眼歪み補正、形状較正、画像に基づくモデル化、及び3次元データスティッチングを含む、請求項14に記載の方法。
【請求項16】
内視鏡による検査中に臓器の映像データからコンピュータ支援診断を与える方法であって、
前記映像データを解析することであって、品質が劣っている画像フレームを捨てて、前記映像データから満足のいく画像フレームを与える、解析すること、
前記満足のいく画像フレームからグリントを除去すること、
ぼやけを検出し、十分に鮮明でない、品質が劣っている画像フレームを捨てること、
前記満足のいく画像フレームのコントラストを強調すること、
前記満足のいく画像フレームに超解像を適用すること、
前記満足のいく画像フレームに映像安定化を与えること、並びに
前記満足のいく画像フレームにおいて任意の病変を検出及び診断すること、
を含み、
前記検出及び診断するステップは、前記内視鏡に動作可能に接続されるコンピュータ上にある自動画像処理システムを用いて、前記検査中にリアルタイムに実行される、方法。
【請求項17】
前記方法は、前記満足のいく画像フレームから3次元において前記臓器の静止画像を再構成することであって、再構成されたモデルを形成する、再構成すること、及び
前記再構成されたモデルから前記臓器内の任意の病変の3次元形状及びサイズ情報を再生すること、
をさらに含み、
前記再構成するステップは、前記検査中にリアルタイムに実行される、請求項16に記載の方法。
【請求項1】
内視鏡による検査(examination)中に臓器の映像データからコンピュータ支援診断を与える方法であって、
前記映像データを解析することであって、低品質の画像フレームを捨てて、前記映像データから満足のいく画像フレームを与える、解析すること、
前記満足のいく画像フレームを強調すること、並びに
前記満足のいく画像フレームにおいて任意の病変(lesions)を検出及び診断することを含み、
前記解析するステップ、前記強調するステップ、並びに前記検出及び診断するステップは、前記検査中にリアルタイムに実行される、方法。
【請求項2】
前記強調するステップは、
前記満足のいく画像フレームからグリント(glint)を除去すること、
ぼやけを検出し、十分に鮮明でない、品質が劣っている画像フレームを捨てること、
前記満足のいく画像フレーム内のコントラストを高めること、
前記満足のいく画像フレームに超解像(super resolution)を適用すること、及び
前記満足のいく画像フレームに映像安定化を与えること、
を含む、請求項1に記載の方法。
【請求項3】
前記検出及び診断するステップは、色較正、色解析、テクスチャ解析及び特徴検出を含む、請求項1に記載の方法。
【請求項4】
前記方法は、前記満足のいく画像フレームから3次元において前記臓器の静止画像を再構成することをさらに含み、該再構成することは、前記検査中にリアルタイムに実行される、請求項1に記載の方法。
【請求項5】
前記再構成するステップは、再構成されたモデルを形成するための、魚眼歪み補正、形状較正(geometry callibration)、画像に基づくモデル化、及び3次元データスティッチング(stitching)を含み、
前記検出及び診断するステップは、前記再構成されたモデルから、前記臓器内の任意の病変の3次元形状及びサイズ情報を再生することをさらに含む、請求項4に記載の方法。
【請求項6】
前記検出及び診断することは、血管の解析を含む、請求項1に記載の方法。
【請求項7】
前記検出及び診断することは、ピットパターンの解析を含む、請求項1に記載の方法。
【請求項8】
前記解析するステップ、前記強調するステップ、並びに前記検出及び診断するステップは、前記内視鏡に動作可能に接続されるコンピュータ上にある自動画像処理システムを用いて実行される、請求項1に記載の方法。
【請求項9】
大腸の結腸鏡検査中に内視鏡の映像データからコンピュータ支援診断を与える方法であって、
前記映像データを解析することであって、品質が劣っている画像フレームを捨てて、前記映像データから満足のいく画像フレームを与える、解析すること、
前記満足のいく画像フレームを強調すること、並びに
前記満足のいく画像フレームにおいて任意のポリープを検出及び診断すること、
を含み、
前記解析するステップ、前記強調するステップ、並びに前記検出及び診断するステップは全て、前記内視鏡からの映像データを受信するために動作可能に接続されるコンピュータ上で動作するソフトウエアによって、前記結腸鏡検査中にリアルタイムに実行される、方法。
【請求項10】
前記解析するステップは、グリント検出及び除去と、焦点解析とを含む、請求項9に記載の方法。
【請求項11】
前記強調するステップは、コントラスト強調、超解像及び映像安定化を含む、請求項9に記載の方法。
【請求項12】
前記検出及び診断するステップは、色較正、色解析、テクスチャ解析及び特徴検出を含む、請求項9に記載の方法。
【請求項13】
前記テクスチャ解析は、血管及びピットパターンを解析することを含む、請求項12に記載の方法。
【請求項14】
前記方法は、前記満足のいく画像フレームから3次元において前記大腸の静止画像を再構成することであって、再構成されたモデルを形成する、再構成することをさらに含み、該再構成することは、前記結腸鏡検査中にリアルタイムに実行され、
前記検出及び診断するステップは、前記再構成されたモデルから、前記結腸内の任意のポリープの3次元形状及びサイズ情報を再生することをさらに含む、請求項9に記載の方法。
【請求項15】
前記再構成するステップは、魚眼歪み補正、形状較正、画像に基づくモデル化、及び3次元データスティッチングを含む、請求項14に記載の方法。
【請求項16】
内視鏡による検査中に臓器の映像データからコンピュータ支援診断を与える方法であって、
前記映像データを解析することであって、品質が劣っている画像フレームを捨てて、前記映像データから満足のいく画像フレームを与える、解析すること、
前記満足のいく画像フレームからグリントを除去すること、
ぼやけを検出し、十分に鮮明でない、品質が劣っている画像フレームを捨てること、
前記満足のいく画像フレームのコントラストを強調すること、
前記満足のいく画像フレームに超解像を適用すること、
前記満足のいく画像フレームに映像安定化を与えること、並びに
前記満足のいく画像フレームにおいて任意の病変を検出及び診断すること、
を含み、
前記検出及び診断するステップは、前記内視鏡に動作可能に接続されるコンピュータ上にある自動画像処理システムを用いて、前記検査中にリアルタイムに実行される、方法。
【請求項17】
前記方法は、前記満足のいく画像フレームから3次元において前記臓器の静止画像を再構成することであって、再構成されたモデルを形成する、再構成すること、及び
前記再構成されたモデルから前記臓器内の任意の病変の3次元形状及びサイズ情報を再生すること、
をさらに含み、
前記再構成するステップは、前記検査中にリアルタイムに実行される、請求項16に記載の方法。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図10】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図14A】
【図14B】
【図14C】
【図14D】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図18C】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図9C】
【図9D】
【図9E】
【図10】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図14A】
【図14B】
【図14C】
【図14D】
【図15】
【図16】
【図17】
【図18A】
【図18B】
【図18C】
【公表番号】特表2010−512173(P2010−512173A)
【公表日】平成22年4月22日(2010.4.22)
【国際特許分類】
【出願番号】特願2009−525622(P2009−525622)
【出願日】平成19年8月21日(2007.8.21)
【国際出願番号】PCT/US2007/018600
【国際公開番号】WO2008/024419
【国際公開日】平成20年2月28日(2008.2.28)
【出願人】(509050236)エスティーアイ・メディカル・システムズ・エルエルシー (9)
【Fターム(参考)】
【公表日】平成22年4月22日(2010.4.22)
【国際特許分類】
【出願日】平成19年8月21日(2007.8.21)
【国際出願番号】PCT/US2007/018600
【国際公開番号】WO2008/024419
【国際公開日】平成20年2月28日(2008.2.28)
【出願人】(509050236)エスティーアイ・メディカル・システムズ・エルエルシー (9)
【Fターム(参考)】
[ Back to top ]