医療用撮像兼ナビゲーションシステム
【課題】医療における体内侵入型の撮像及びナビゲーションを行う方法及びシステムを改善する。
【解決手段】表示装置及びデータベースに結合したプロセッサ、医療位置決めシステム（ＭＰＳ）、二次元撮像システム、及び被検査器官のモニター・インタフェースを具えた医療用撮像兼ナビゲーションシステムにおいて、前記ＭＰＳが、撮像ＭＰＳセンサ、及び画像検出器を具えた二次元撮像システムを具えて、前記ＭＰＳを前記プロセッサに結合して、前記ＭＰＳセンサを前記画像検出器に固着して、前記二次元撮像システムを前記プロセッサに結合して、前記画像検出器を撮像カテーテルに固着する。
【解決手段】表示装置及びデータベースに結合したプロセッサ、医療位置決めシステム（ＭＰＳ）、二次元撮像システム、及び被検査器官のモニター・インタフェースを具えた医療用撮像兼ナビゲーションシステムにおいて、前記ＭＰＳが、撮像ＭＰＳセンサ、及び画像検出器を具えた二次元撮像システムを具えて、前記ＭＰＳを前記プロセッサに結合して、前記ＭＰＳセンサを前記画像検出器に固着して、前記二次元撮像システムを前記プロセッサに結合して、前記画像検出器を撮像カテーテルに固着する。
【発明の詳細な説明】
【技術分野】
【０００１】
[クロスリファレンス情報]
本願は、2001年2月13日出願の出願番号09/782,528の一部継続出願であり、出願番号09/782,528は、1999年5月18日出願の出願番号09/314,474の一部継続出願である。
【０００２】
本発明は一般に、医療の診断及び手術の、システム及び方法に関するものであり、特に、医療用の三次元撮像及びナビゲーションの、方法及びシステムに関するものである。
【背景技術】
【０００３】
二次元及び三次元画像を取得して表示する方法及びシステムは、従来技術において既知である。三次元撮像は、現代の診断、治療、及び手術の方法を強化する。
【０００４】
二次元撮像システムは、体内の二次元のスライス（薄片）を処理して、静的あるいは動的な形態でディスプレイ（表示装置）上に表現する。慣例の二次元超音波撮像システムは、超音波トランスデューサ、画像捕捉モジュール、及び画像処理装置を具えている。
【０００５】
超音波トランスデューサは、検査すべき生体組織に非常に近接して配置する。超音波トランスデューサは、電気信号を超音波に変換して、この超音波を検査すべき組織に指向させる。この超音波は部分的に吸収され、分散され、屈折され、そして反射される。超音波トランスデューサは、この超音波反射を検出する。超音波トランスデューサは、反射された超音波を電気信号に変換して、この電気信号を画像処理装置に供給する。
【０００６】
画像処理装置は、受信した電気信号を処理して、これにより、検査する組織のスライスの二次元画像を複数生成する。画像捕捉モジュールは、各二次元画像を捕捉して、これらの各々をディスプレイまたはプリンタに供給することができる。
【０００７】
【特許文献１】米国特許第5,152,290号明細書
【０００８】
Freelandに交付された米国特許5,152,290、発明の名称"Method for recording ultrasound images to diagnose heart and coronary artery disease"は、冠状動脈疾患のような心臓疾患を診断するために、心臓の二次元超音波画像を捕捉して表示する方法に指向したものである。Freelandによって開示されている方法は、運動のピーク後に心電図（ＥＣＧ）信号を検出する手順、心臓の二次元画像を検出する手順、及び選択した画像を記憶する手順を具え、各手順は、画像を取得した時点のＥＣＧ（electrocardiogram）の読み取り、及び４画像のグループ表示によって行う。このシステムは、少なくとも１心拍当たり８画像の割合で、二次元画像の列を取得して記録する。
【０００９】
【特許文献２】米国特許第5,690,113号明細書
【００１０】
Silwa, Jr.他に交付された米国特許5,690,113、発明の名称"Method and apparatus for two-dimentional ultrasonic imaging"は、固定走査線を有する、ハンドヘルド（手持ち型）の単一素子のトランスデューサ・プローブを用いて二次元超音波画像を生成する方法に指向したものである。このシステムは、患者の体の二次元超音波画像の表示を行う。このシステムは、二次元超音波画像を検出して、同時に、超音波トランスデューサの空間的位置及び向きを特定する。このシステムは、単一走査線の撮像が可能な超音波トランスデューサ付きのプローブ、及びこの超音波トランスデューサの空間的位置及び向きを追跡する手段を具えている。この走査線は、可動のトランスデューサに対して、向き及び空間的な位置が固定されている。このシステムはさらに、トランスデューサが移動すると共に、各走査線の空間的位置及び向きを計算する演算手段を具えている。これにより、走査線が、完成した画像を表示する。あるいはまた、電磁的発信器及び受信センサが、自由空間内の各走査線の空間的な向き及び位置を特定することができる。
【００１１】
通常の三次元超音波撮像システムは、慣例の二次元超音波撮像システム、位置及び向きの検出システム、画像処理システム、及び表示システムを具えている。こうしたシステムは、肝臓、腎臓、胆嚢、胸部、眼、脳、等のような内部器官の三次元撮像を行う。
【００１２】
位置及び向きの検出システムは、超音波トランスデューサの位置及び向きを提供する。トランスデューサの位置及び向きから、捕捉した各二次元画像の位置及び向きを特定する。
【００１３】
画像処理システムは、捕捉した二次元画像を、各画像の位置及び向きに従って処理することによって、被検査器官の三次元画像を再構成する。最後に、表示システムは、被検査器官の三次元画像を受け取って、これを表示する。
【００１４】
【特許文献３】米国特許第5,787,889号明細書
【００１５】
Edwards他に交付されている米国特許5,787,889、発明の名称"Ultrasound imaging with real time 3D image reconstruction and visualization"は、三次元超音波画像の生成及び視覚化に指向したものである。Edwardsによって開示されている方法は、次の手順：即ち、データの取得、ボリューム（画像構成用の立方体、直方体）の再構成、及び画像の可視化の各手順を具えている。このシステムは、システムに含まれる医療用二次元超音波撮像システムによって、三次元超音波画像の完成及び視覚化を行う。オペレータ（操作者、手術者）は、再構成した三次元画像に対して、画像を回転させて異なる観察角及び平面図にするような、種々の可視化作業（タスク）を実行することができる。
【００１６】
当業者には既知である他の種類の三次元撮像システムは、心臓または肺の動画像を生成すべく動作する。このシステムは、慣例の二次元超音波撮像システム、ＥＣＧモニター、位置及び向きの検出システム、画像プロセッサ（処理装置）、及び表示システムを具えている。ＥＣＧモニターは心臓のタイミング信号を検出する。ＥＣＧタイミング信号は、ＥＣＧタイミング信号中の選択した点を表現する二次元画像の記録を同期させるか、あるいはトリガするために用いる。超音波トランスデューサは、あらゆる所定瞬時（例えばＥＣＧタイミング信号上の選択した時点）における心臓の二次元超音波画像を検出する。各二次元画像は、心臓の特定の活動状態に応じて、心臓の特定のスライスを表現する。各二次元画像の位置及び向きは、トランスデューサの位置及び向きから直接決まる。
【００１７】
画像プロセッサは、捕捉した二次元画像のうちの同じ活動状態のものから、心臓の三次元画像を再構成する。最後に、表示システムは、再構成した一連の画像を表示して、これにより心臓の三次元動画像を提供する。
【００１８】
【特許文献４】米国特許第5,924,989号明細書
【００１９】
Polzに交付されている米国特許5,924,989、発明の名称"Method and device for capturing diagnostically acceptable three-dimensional ultrasound image data records"は、心臓の三次元画像列を生成する方法及びシステムに指向したものである。このシステムは、超音波心臓検査器（エコー心電計）と組み合わせた超音波撮像システムを具えている。このシステムは、二次元超音波画像を検出して、各画像を、この画像の位置及び向きと共に、そして、この画像を取得した時点で超音波心臓検査器が提供する心臓のサイクルの位置と共に記憶する。このシステムは、特別なアルゴリズムを利用して、同じ心臓のサイクルの位置を有するすべての二次元画像から三次元画像を再構成して、再構成した一連の三次元画を表示する。
【００２０】
【特許文献５】米国特許第5,830,145号明細書
【００２１】
Tenhoffに交付されている米国特許5,830,145、発明の名称"Enhanced Accuracy of Three-Dimensional Intraluminal Ultrasound (ILUS) Image Reconstruction"は、体内の器官を撮像するシステム及び方法に指向したものである。以下、Tenhoffのシステムについて、図１３Ａ及び１３Ｂを参照して説明する。
【００２２】
図１３Ａは、器官の三次元画像を表示するシステムを図式的に示す図であり、システム全体を１０で参照し、このシステムは従来技術において既知である。図１３Ｂは、図１３Ａのシステムのカテーテルの撮像端の、患者の動脈の内部における軌跡を図式的に示す図である。
【００２３】
図１３Ａに示すように、システム１０は、カテーテル１２、自動引戻し（プルバック）装置１４、処理システム１６、胸部ハーネス１８、及びカテーテル追跡システム（図示せず）を具えている。カテーテル１２の連結端はハンドル２０を具えている。処理システム１６は、制御コンソール（操作卓）、超音波トランシーバ（送受信器）、及びディスプレイを具えている。カテーテル１２は、その末端に位置するカテーテル撮像端を具えている。カテーテル撮像システムは、管腔内超音波（ＩＬＵＳ）トランスデューサ（図示せず）である。カテーテル追跡システムは、カテーテル１２に装着した少なくとも１つの追跡トランスデューサ（図示せず）を具え、この追跡トランスデューサは通常、カテーテル撮像端に隣接している。カテーテル追跡システムはさらに、胸部ハーネス１８内に位置する複数の基準フレーム・トランスデューサを具えている。各追跡トランスデューサ、及び各基準フレーム・トランスデューサは、超音波トランスデューサである。これらの基準フレーム・トランスデューサは、大域的な（グローバル）座標系の原点を規定する。この特許の他の実施例では、カテーテル撮像システムが光コヒーレンス（可干渉性）断層撮影（トモグラフィー）（ＯＣＴ：optical coherence tomography）システムである。
【００２４】
ハンドル２０は自動引戻し装置１４に結合する。基準フレーム・トランスデューサは、ワイヤ（結線）２４によって処理システム１６に結合する。追跡トランスデューサは、ワイヤ２６によって処理システム１６に結合する。カテーテル撮像システムは、ワイヤ２８によって処理システム１６に結合する。自動引戻し装置１４は、ワイヤ３０によって処理システム１６に結合する。
【００２５】
オペレータ（図示せず）は、カテーテル１２を、大腿部の動脈を通して患者２２の体内に入れて、カテーテル１２を対象領域（例えば冠状動脈）内に位置決めする。カテーテル撮像システムは、カテーテル撮像端が対象領域内に位置する際に、カテーテル撮像端を取り巻く領域の複数の二次元画像（例えば、ＩＬＵＳトランスデューサの場合にはエコーグラフ画像（超音波図））を提供する。
【００２６】
カテーテル撮像システムは、自動引戻し装置１４を随意的に使用して、引戻しシーケンス（手順）によって運用する。引戻し中に得られたエコーグラフのデータ組は、ディスプレイ上に表示すべき画像を生成するために必要な入力を提供する。カテーテル撮像端の引戻し中に、処理システム１６は、位置（Ｘ,Ｙ,Ｚ）、及びデータを記録した各期間の時間を記録する。
【００２７】
画像毎の、カテーテル撮像端の角度は、１つ以上の追跡トランスデューサの座標を用いることによって特定する。引戻し中に、一対のトランスデューサによって、カテーテル撮像端の位置を見定める。近接した間隔の一対のトランスデューサが、その位置にあるカテーテル撮像端によって規定される曲線に対する接線を計算するための線を規定する。この接線は、追跡トランスデューサの位置によって決まる２つ以上の点によって規定される線によって計算する。
【００２８】
この特許の他の実施例では、引戻し中に単一のマーカー・トランスデューサを用いて、カテーテル撮像端の位置を見定める。この場合には、接線は、引戻し中のマーカー・トランスデューサの連続する２つの位置を通る線によって計算する。
【００２９】
処理システム１６は、カテーテルの引戻し行程中に取得した各エコーグラフ画像の座標（Ｘ,Ｙ,Ｚ）を、前記時間データと組み合わせて用いて、三次元画像を再構成する。各三次元画像は、カテーテル引戻し軌跡の周囲のエコーグラフ画像を集積することによって再構成する。
【００３０】
さらに図１３Ｂに示すように、処理システム１６（図１３Ａ）は、引戻し中の、カテーテル１２の撮像端の軌跡５０を生成して、前記大域的座標系の原点を基準にして軌跡５０を表示する。軌跡５０は、点５２、５４、５６、５８、６０、６２、６４、６６、及び６８のような、大域的座標系の複数の点によって規定される。点５２、５４、５６、５８、６０、６２、６４、６６、及び６８の各々が、引戻し中のカテーテルの撮像端の異なる位置に対応する。
【００３１】
しかし、引戻しシーケンス中には、動脈は、位置７０、７２、及び７４のような異なる位置に絶えず移動して、前記大域的座標系の原点に対する動脈の位置及び向きが変化する。このためカテーテル１２の軌跡は、動脈内のカテーテルの真の軌跡を表わすものではなく、軌跡５０は実質的に不正確なものである。
【００３２】
光コヒーレンス断層撮影（ＯＣＴ）は、組織を非常に高解像度で光学的に走査する方法の一般名称である。ＯＣＴは、後方反射した赤外線の強度を測定して、超音波のような現在の他の臨床撮像技術の５〜２５倍高い撮影解像度を生み出す。
【００３３】
【特許文献６】米国特許第6,134,003号明細書
【特許文献７】米国特許第6,175,669号明細書
【特許文献８】米国特許第5,994,690号明細書
【００３４】
Tearney他に交付されている米国特許6,134,003、発明の名称"Method and apparatus for performing optical measurements using a fiber optic imaging guidewire, catheter or endoscope"、Colston他に交付されている米国特許6,175,669、発明の名称"Optical coherence domain reflectometry guidewire"、及びKulkarni他に交付されている米国特許5,994,690、発明の名称"Image enhancement in optical coherence tomography using deconvolution"はすべて、ＯＣＴ撮像技術を用いる方法及びシステムに指向したものである。
【００３５】
【特許文献９】米国特許第5,935,075号明細書
【００３６】
血管内のプラークは断裂しがちであり、致命的なの血管閉塞を生じさせ得る。これらのプラークは、管の他の内部構造とは異なる温度を示すことが多く、従って、管の内層の温度マップによって検出し、結果的に治療することができる。血管内の温度マップを作成する方法及びシステムは従来技術において既知であり、慣例では赤外線技術にもとづき、光ファイバを使用し、光ファイバを血管内に挿入して、「高温」のプラークを検出する。この技法は、サーモグラフィー（温度記録法）と称される。Casscell他に交付されている米国特許5,935,075、発明の名称"Detecting Thermal Discrepancies in Vessel Walls"は、血管内の光放射を分析して、「高温」のプラークを検出しようとするシステムに指向したものである。
【発明の開示】
【発明が解決しようとする課題】
【００３７】
本発明の目的は、医療における（体内）侵入型のプローブ測定を行う新規の方法及びシステムを提供することにある。従って本発明によれば、医療用撮像兼ナビゲーションシステムが提供される。このシステムは、プロセッサ、表示装置、データベース、医療用位置決めシステム（ＭＰＳ：medical positioning system）、二次元撮像システム、被検査器官のモニター・インタフェース、及び画像重畳（スーパーインポーズ）プロセッサを具えている。
【課題を解決するための手段】
【００３８】
ＭＰＳは、トランスデューサＭＰＳセンサ、及び手術ツールＭＰＳセンサを具えている。二次元撮像システムは撮像トランスデューサを具えている。プロセッサは、表示装置、データベース、ＭＰＳ、二次元撮像システム、被検査器官のモニター・インタフェース、及び画像重畳プロセッサに結合する。被検査器官のモニター・インターフェースはさらに、器官モニターに結合する。手術ツールＭＰＳセンサは手術ツールに固着する。トランスデューサＭＰＳセンサは撮像トランスデューサに固着する。器官モニターは、被検査器官に関連する器官タイミング信号を監視する。このシステムは、複数の二次元画像から、各二次元画像の位置及び向き、及び各二次元画像の、被検査器官のタイミング信号中の位置に従って、複数の三次元画像を再構成する。すべてのＭＰＳセンサが同じＭＰＳシステムに属するので、このシステムは、検出した各二次元画像の同じ座標系内の、手術ツールの位置及び向きを提供する。
【００３９】
本発明の他の要点によれば、医療用撮像兼ナビゲーションシステムが提供される。このシステムは、プロセッサ、表示装置、データベース、ＭＰＳ，被検査器官のモニター・インタフェース、及び画像重畳プロセッサを具えている。このプロセッサは、表示装置、データベース、ＭＰＳ、被検査器官のモニター・インタフェース、及び画像重畳プロセッサに結合する。被検査器官のモニター・インタフェースは器官モニターに結合する。ＭＰＳは、手術ツールに固着した手術ツールＭＰＳセンサを具えている。器官モニターは、被検査器官に関連する器官タイミング信号を監視する。このシステムは、事前に記憶している画像上で動作すべく適応させる。
【００４０】
本発明のさらなる要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、画像検出器を用いて、被検査器官の二次元画像を複数検出する手順と、この画像検出器の位置及び向きを検出する手順とを具えている。この方法はさらに、各二次元画像を、画像検出器の位置及び向き、及び検出した器官タイミング信号に関連付けて、これらの二次元画像から複数の三次元画像を再構成する手順を具えている。この方法はさらに、リアルタイムで読み取った器官タイミング信号に応じて、前記三次元画像のうちの１つを選択して、選択した三次元画像を表示する手順を具えている。
【００４１】
本発明の他の要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している三次元画像のうちの１つを選択する手順とを具えている。この方法はさらに、手術ツールの位置及び向きを検出する手順と、前記選択した三次元画像上に手術ツールの表現を重畳する手順と、この重畳した三次元画像を表示する手順とを具えている。
【００４２】
本発明のさらなる要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、ユーザの視点の位置及び向きを検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している三次元画像のうちの１つを選択する手順とを具えている。この方法はさらに、前記検出した視点の位置及び向きに応じて、前記選択した三次元画像をレンダリング（表示用の二次元画像化）する手順と、前記選択した三次元画像を表示する手順とを具えている。
【００４３】
本発明の他の要点によれば、動きのある被検査器官の画像列を表示する方法及びシステムが提供される。画像列中の各画像が、所定座標系内の、この画像の位置および向きに関連付けられている。この方法は、被検査器官の器官タイミング信号を検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している二次元画像のうちの１つを選択する手順と、選択した二次元画像を表示する手順とを具えている。このシステムは、二次元撮像及び表示の環境に適応させる。
【００４４】
本発明のさらなる要点によれば、医療用撮像兼ナビゲーションシステムが提供される。このシステムは、表示装置、データベース、医療用位置決めシステム（ＭＰＳ）、二次元撮像システム、被検査器官のモニター・インターフェース、及び画像重畳プロセッサを具えている。
【００４５】
ＭＰＳは、トランスデューサＭＰＳセンサ、及び手術ツールＭＰＳセンサを具えている。二次元撮像システムは撮像トランスデューサを具えている。前記プロセッサは、表示装置、データベース、ＭＰＳ、二次元撮像システム、被検査器官のモニター・インタフェース、及び画像重畳プロセッサに結合する。被検査器官のモニター・インタフェースはさらに、器官モニターに結合する。手術ツールＭＰＳセンサは手術ツールに固着する。トランスデューサＭＰＳセンサは撮像トランスデューサに固着する。器官モニターは、被検査器官に関連する器官タイミング信号を監視する。このシステムは、検出した複数の二次元画像から、各二次元画像の位置及び向き、及び各二次元画像の、被検査器官のタイミング信号中の位置に従って、複数の三次元画像を再構成する。すべてのＭＰＳセンサが同じＭＰＳシステムに属するので、このシステムは、検出した各二次元画像の同じ座標系内の、手術ツールの位置及び向きを提供する。
【００４６】
本発明の他の要点によれば、医療用撮像兼ナビゲーションシステムが提供される。このシステムは、プロセッサ、表示装置、データベース、ＭＰＳ、被検査器官のモニター・インタフェース、及び画像重畳プロセッサを具えている。前記プロセッサは、表示装置、データベース、ＭＰＳ、被検査器官のモニター・インタフェース、及び画像重畳プロセッサに結合する。被検査器官のモニター・インタフェースは、器官モニターに結合する。ＭＰＳは、手術ツールに固着した手術ツールＭＰＳセンサを具えている。器官モニターは、被検査器官に関連する器官タイミング信号を監視する。このシステムは、事前に記憶している画像上で動作すべく適応させる。
【００４７】
本発明のさらなる要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、画像検出器を用いて被検査器官の二次元画像を複数検出する手順と、この画像検出器の位置及び向きを検出する手順とを具えている。この方法はさらに、各二次元画像を、画像検出器の位置及び向き、及び検出した器官タイミング信号に関連付ける手順と、これらの二次元画像から複数の三次元画像を再構成する手順とを具えている。この方法はさらに、リアルタイムで読み取った器官タイミング信号に応じて、前記三次元画像のうちの１つを選択する手順と、選択した三次元画像を表示する手順とを具えている。
【００４８】
本発明の他の要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している三次元画像のうちの１つを選択する手順とを具えている。この方法はさらに、手術ツールの位置及び向きを検出する手順と、この手術ツールの表現を、前記選択した三次元画像上に重畳する手順と、重畳した三次元画像を表示する手順とを具えている。
【００４９】
本発明のさらなる要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、ユーザの視点の位置及び向きを検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している三次元画像のうちの１つを選択する手順とを具えている。この方法はさらに、前記選択した三次元画像を、前記視点の位置及び向きに応じてレンダリングする手順と、前記選択した三次元画像を表示する手順とを具えている。
【００５０】
本発明の他の要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この画像列中の各画像は、所定座標系内の、この画像の位置及び向きに関連付けられている。この方法は、被検査器官の器官タイミング信号を検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している二次元画像のうちの１つを選択する手順と、選択した二次元画像を表示する手順とを具えている。この方法は、二次元撮像、及び表示の環境に適応させる。
【００５１】
本発明のさらなる要点によれば、医療用撮像兼ナビゲーションシステムが提供される。この医療用撮像兼ナビゲーションシステムは、プロセッサ、ＭＰＳ、二次元撮像システム、及び被検査器官のモニター・インタフェースを具えている。ＭＰＳは撮像ＭＰＳセンサを具え、二次元撮像システムは画像検出器を具えている。前記プロセッサは、表示装置、被検査器官のモニター・インタフェース、データベース、及びＭＰＳに結合する。被検査器官のモニター・インタフェースはさらに、器官モニターに結合する。撮像ＭＰＳは画像検出器に固着する。二次元撮像システムは前記プロセッサに結合する。画像検出器は撮像カテーテルに固着する。画像検出器は、光コヒーレンス断層撮影検出器、超音波検出器、磁気共鳴画像検出器、サーモグラフィ検出器、等である。
【００５２】
画像検出器は被検査器官の二次元画像を検出する。器官モニターは、被検査器官に関連する器官タイミング信号を監視する。撮像ＭＰＳセンサは、画像検出器の位置及び向きを表わす情報をＭＰＳに提供する。前記プロセッサは、検出した二次元画像の各々を、それぞれの画像の位置及び向きの情報、及び器官タイミング信号に関連付けて、これらの二次元画像によって被検査器官の三次元画像を再構成する。
【００５３】
本発明の他の要点によれば、医療用撮像兼ナビゲーションシステムが提供される。この医療用撮像兼ナビゲーションシステムは、プロセッサ、ＭＰＳ、及び被検査器官のモニター・インタフェースを具えている。ＭＰＳはカテーテルのＭＰＳセンサを具えている。このプロセッサは、表示装置、ＭＰＳ、被検査器官のモニター・インタフェース、及びデータベースに結合する。被検査器官のモニター・インタフェースは器官モニターに結合する。カテーテルのＭＰＳセンサは手術ツールに固着して、手術ツールは手術カテーテルに固着する。
【００５４】
器官モニターは、被検査器官に関連する器官タイミング信号を監視する。カテーテルのＭＰＳセンサは、手術ツールの位置及び向きを表わす情報をＭＰＳに提供する。前記プロセッサは、二次元画像に関連する位置及び向きの情報、及びリアルタイムで読み取った器官タイミング信号によって、被検査器官の三次元画像を再構成する。前記プロセッサは、手術ツールのそれぞれの位置及び向きに従って、手術ツールの表現、及び画像検出器の軌跡の表現を、再構成した三次元画像上に重畳する。
【００５５】
本発明のさらなる要点によれば、グラフィカル・ユーザ・インタフェースが提供される。このグラフィカル・ユーザ・インタフェースは複数のウィンドウを具え、各ウィンドウが被検査器官の画像を提供する。これらの画像は、器官タイミング信号に応じて選択する。これらの画像は、被検査器官外部の三次元画像、被検査器官内部の三次元画像、被検査器官の履歴的な二次元画像、患者の体の、被検査器官を含む部分のリアルタイム二次元画像、等とすることができる。例えば、外部の三次元画像の投影像、手術ツールの表現、及び撮像カテーテルの軌跡の表現を、リアルタイムの二次元画像上に重畳する。さらに、手術ツールの表現、及び軌跡の表現を、内部の三次元画像上に重畳する。患者のＥＣＧも表示して、オペレータは、被検査器官の三次元画像の擬似ビデオを、時間的に前進方向または後退方向に再生するか、あるいは、ＥＣＧ中で選択した時点の画像を再生することができる。
【００５６】
本発明の他の要点によれば、被検査器官の閉塞領域を表示する方法が提供される。この方法は、被検査器官の複数の閉塞値を、選択した閉塞値と比較する手順と、この比較の結果により閉塞領域を特定する手順と、閉塞領域の表現を生成する手順とを具えている。オペレータが閉塞のしきい値を選択して、被検査器官において、選択した閉塞のしきい値よりも閉塞値が大きい閉塞領域を、被検査器官の三次元画像上に重畳する。
【００５７】
本発明のさらなる要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、画像検出器を用いることによって、被検査器官の二次元画像を複数検出する手順とを具えている。この方法はさらに、被検査器官の二次元画像をリアルタイムで検出する手順と、画像検出器の位置及び向きを検出する手順と、手術ツールの位置及び向きを検出する手順とを具えている。
【００５８】
この方法はさらに、各二次元画像を、画像検出器の位置及び向き、及び検出した器官タイミング信号に関連付ける手順と、これらの二次元画像から複数の三次元画像を再構成する手順とを具えている。この方法はさらに、リアルタイムで読み取った器官タイミング信号に応じて、前記三次元画像のうちの１つを選択する手順と、選択した三次元画像を表示する手順とを具えている。前記器官タイミング信号は、器官タイミング信号のサイクルを規定する。各三次元画像は、選択した二次元画像から再構成し、選択した二次元画像は、器官タイミング信号のサイクル中で選択した位置に対応する。前記プロセッサは、再構成した被検査器官の三次元画像の投影像、及び手術ツールの表現を、リアルタイムで検出した被検査器官の二次元画像上に重畳する。
【００５９】
本発明の他の要点によれば、画像を再構成する方法が提供される。この方法は、選択した活動状態以外の活動状態に属する補助的な二次元画像の平行移動先の座標を特定する手順と、この補助的な二次元画像を、この平行移動した座標によって、選択した活動状態に関連付ける手順とを具えている。プロセッサが、選択した活動状態以外の活動状態に属する補助二次元画像、並びに、選択した活動状態に属する二次元画像から、三次元画像を再構成する。これにより、選択した活動状態に属する画像のみを使用した場合よりもずっと細密な画像を得ることができる。
本発明は、以下の図面を参照した実施例の詳細な説明より、一層明らかになる。
【発明を実施するための最良の形態】
【００６０】
［実施例１］
以下、本発明の実施例について図面を参照して説明する。
本発明は、器官の動き、及びカテーテルのような侵入型のツールに同期して、動きのある器官の三次元画像を構成して表示する方法及びシステムを提供することによって、従来技術の欠点を克服するものである。実施例によれば、三次元画像、及び侵入型のツールの表現のすべてが１つの座標系内に存在し、複数の座標系を登録する必要がない。
【００６１】
本発明の１つの要点によれば、侵入型の手術を最小にするための、擬似リアルタイムの撮像システムが提供される。このシステムは、二次元画像取得システム、基本的には位置及び向きの検出システムである医療用位置決めシステム（ＭＰＳ）、特定器官のモニター、及び画像処理システムを具えている。位置及び向きの検出システムは、少なくとも３つのセンサを具えている。第１センサは、二次元画像取得システムの画像検出器上に装着する。第２センサは、最小侵入型手術ツール上に装着する。第３センサは基準用で、患者の体に装着する。本発明の方法のすべての手順中に、第３センサを患者の体に装着することによって、画像検出器のセンサ及び手術ツールのセンサの両方、並びに本発明のシステムのさらなるモジュールに装着した追加的なセンサが常に、１つの座標系内に留まることが保証される。
【００６２】
このシステムは、器官のサイクルの周波数よりも速い速度（レート）で、好適には器官のサイクルの周波数の自然数倍に等しい速度で、二次元画像を取得する。このシステムは、画像検出器によって検出した各二次元画像を、この二次元画像を検出した位置及び向き、及び器官モニターによって検出した器官のタイミング信号の読み取り値に関連付けて記録する。なお、このシステムは、検出した器官が周期的な挙動によって特徴付けられ、そして、１サイクル中の読み取り値が、その後のサイクル中に検出されやすい、という仮定の下で動作する。
【００６３】
この撮像システムは、記録している二次元画像のうち、同じ器官タイミング信号（の異なるサイクル）のすべての読み取り値から三次元画像を再構成する。再構成した三次元画像が十分な情報を含む際には、このシステムは、器官タイミング信号のリアルタイムの読み取りに同期して、これら一連の三次元画像を表示して、これにより、被検査器官のリアルタイムの可視化を行う。同時に、このシステムは、追加的な二次元画像の取得、及び既存の三次元画像の更新及び吟味を継続する。従って、表示される一連の三次元画像の品質が常に改善される。
【００６４】
この時点で、医師は最小侵入型の手術ツールを患者の体内に挿入することができる。このシステムは、手術ツールに装着したＭＰＳ検出器の位置及び向きを検出して、このツールの表現を、現在表示中の三次元画像上に重畳する。
【００６５】
このシステムは、患者に装着したＭＰＳ検出器を用いて、患者の動きを検出する。これらの動きによって、検出した器官の座標系が、上述したように二次元画像を取得して三次元画像を再構成した座標系に対して移動する。このシステムは、患者のＭＰＳの読み取り値を利用して、取得したすべての二次元画像を、被検査器官の位置によって規定される移動座標系内に置くこと、及び手術ツールを同じ移動座標系内で位置決め及び方向付けすることの両方を行う。
【００６６】
本発明の他の要点によれば、このシステムは、手術ツールを取り除くことによって、単なる擬似リアルタイム撮像システムとして使用することができ、診断目的に使用する。本発明のさらなる要点によれば、このシステムは、ＭＰＳセンサを装着した半透明の立体視ゴーグルを用いて、三次元画像列を表示する。このシステムは、ゴーグルＭＰＳセンサを用いて、ゴーグルの位置及び向きを患者の座標系内に設定する。これにより、このシステムは、医師が器官の箇所と同じ位置にいるように医師に知覚させる三次元画像列の可視化を行う。
【００６７】
以下は、画像取得、再生、及び最小侵入型の手術を行うシステム及び方法の例である。まず図１を参照して説明する。図１は、本発明の実施例により構成され、動作する多機能三次元撮像システムの図式的な図であり、システム全体を参照番号１００で参照する。図１を参照して説明する実施例では、システム１００が、心臓の三次元画像列を生成して、この画像列をリアルタイムで、心臓の動きと同期して再生するように、システム１００を適応させる。
【００６８】
三次元撮像システム１００は、主コンピュータ１０２、二次元画像取得装置１０４、ＥＣＧモニター１０６、医療用位置決めシステム１０８、フレーム・グラバー（メモリ）１１０、ディジタル三次元画像再構成器（Ｄ３ＤＲ：digital three-dimensional image reconstructor）１１２、適応型ボリューム・データベース（ＡＶＤＢ：adaptive volumetric database）１１４、画像重畳プロセッサ１１６、手術ツール１２０、複数のＭＰＳセンサ１６２1、１６２2、及び１６２N、及びディスプレイ（表示装置）１３０を具えている。
【００６９】
二次元画像取得装置１０４は、患者の体内の領域の二次元画像を提供する。二次元画像取得装置１０４は、超音波型、管内超音波型、Ｘ線型、コンピュータ断層撮影型、核磁気共鳴型、ポジトロン放出断層撮影型、単光子放出断層撮影型、等の、従来技術において既知のあらゆる種類のものとすることができる。
【００７０】
二次元画像取得装置１０４は画像トランスデューサ１１８を具えている。ＥＣＧモニターは、検査手順中あるいは手術手順中に、複数のＥＣＧ電極１２８を用いることによって心臓の電気的タイミング信号を連続的に検出する。
【００７１】
主コンピュータ１０２は、ＥＣＧモニター１０６、ＭＰＳシステム１０８、フレーム・グラバー１１０、Ｄ３ＤＲ １１２、画像重畳プロセッサ１１６、ＡＶＤＢ １１４、及びディスプレイ１３０に結合する。二次元画像取得装置１０４は、フレーム・グラバー１１０に結合する。ＭＰＳシステム１０８は、ＭＰＳ発信器（図示せず）、及びＭＰＳセンサ１６２1、１６２2、及び１６２Nを具えている。
【００７２】
さらに図２Ｃを参照して説明する。図２Ｃは、本発明の他の実施例により構成され、動作するＭＰＳシステム１０８を詳細に示す図である。ＭＰＳシステム１０８は、位置及び向きのプロセッサ１５０、発信器インタフェース１５２、複数のルックアップ・テーブル（早見表）・ユニット１５４1、１５４2、及び１５４3、複数のディジタル−アナログ変換器（ＤＡＣ：digital-to-analog converter）１５６1、１５６2、及び１５６3、増幅器１５８、発信器１６０、複数のＭＰＳセンサ１６２1、１６２2、１６２3、及び１６２N、複数のアナログ−ディジタル変換器（ＡＤＣ）１６４1、１６４2、１６４3、及び１６４N、及びセンサ・インタフェース１６６を具えている。
【００７３】
発信器インタフェース１５２は、位置及び向きのプロセッサ１５０、及びルックアップ・テーブル・ユニット１５４1、１５４2、及び１５４3に結合する。ＤＡＣユニット１５６1、１５６2、及び１５６3はそれぞれ、ルックアップ・テーブル・ユニット１５４1、１５４2、及び１５４3に結合し、そして増幅器１５８に結合する。増幅器１５８はさらに、発信器１６０に結合する。発信器１６０はＴＸでも表わす。ＭＰＳセンサ１６２1、１６２2、１６３3、及び１６２Nはさらに、それぞれＲＸ1、ＲＸ2、ＲＸ3、及びＲＸNとも表わす。
【００７４】
アナログ−ディジタル変換器（ＡＤＣ）１６４1、１６４2、１６４3、及び１６４Nはそれぞれ、センサ１６２1、１６２2、１６２3、及び１６２Nに結合し、そしてセンサ・インタフェース１６６に結合する。センサ・インタフェース１６６はさらに、位置及び向きのプロセッサ１５０に結合する。
【００７５】
各ルックアップ・テーブル・ユニット１５４1、１５４2、及び１５４3は、周期的な数字の列を生成して、この数字の列をそれぞれＤＡＣユニット１５６1、１５６2、及び１５６3に供給して、これらのＤＡＣユニットは、この数字の列をそれぞれのアナログ信号に変換する。各アナログ信号は異なる空間軸に関係する。本実施例では、ルックアップ・テーブル１５４1及びＤＡＣユニット１５６1がＸ軸についての信号を発生し、ルックアップ・テーブル１５４2及びＤＡＣユニット１５６2がＹ軸についての信号を発生し、ルックアップ・テーブル１５４3及びＤＡＣユニット１５６3がＺ軸についての信号を発生する。
【００７６】
ＤＡＣユニット１５６1、１５６2、及び１５６3は、それぞれのアナログ信号を増幅器１５８に供給して、増幅器１５８はこのアナログ信号を増幅して、増幅した信号を発信器１６０に供給する。発信器１６０は多軸の電磁界を供給し、この電磁界は、ＭＰＳセンサ１６２1、１６２2、１６２3、及び１６２Nによって検出することができる。各ＭＰＳセンサ１６２1、１６２2、１６２3、及び１６２Nは、それぞれの電気的アナログ信号を発生して、これらの電気信号を、それぞれのＭＰＳセンサに結合されているＡＤＣユニット１６４1、１６４2、１６４3、及び１６４Nに供給する。各ＡＤＣユニット１６４1、１６４2、１６４3、及び１６４Nは、これらのアナログ信号をディジタル化し、数字の列に変換し、そしてセンサ・インタフェース１６６に供給して、センサ・インタフェース１６６は、この数字の列を位置及び向きのプロセッサ１５０に供給する。
【００７７】
位置及び向きのプロセッサ１５０は、受け取った数字の列を分析して、これにより、各ＭＰＳセンサ１６２1、１６２2、１６２3、及び１６２Nの位置及び向きを特定する。位置及び向きのプロセッサ１５０はさらに、歪みの事象を特定して、これにより、ルックアップ・テーブル１５４1、１５４2、及び１５４3を更新する。
【００７８】
図１に戻って説明する。画像トランスデューサ１１８は複数の二次元画像を検出して、各二次元画像は被検査器官（即ち心臓）のスライスを表現する。これらの二次元画像の各々が、異なる空間的位置及び向きを有する。
【００７９】
フレーム・グラバー１１０は、検出した各二次元画像を保持して、この二次元画像を主コンピュータ１０２に供給する。ＭＰＳシステム１０８は、手術ツール１２０の位置及び向きに関するデータを、ＭＰＳセンサ１６２1経由で受け取って処理し、そして画像トランスデューサ１１８の位置及び向きに関するデータを、ＭＰＳセンサ１６２2経由で受け取って処理する。
【００８０】
ＭＰＳシステム１０８はさらに、患者の体の位置及び向きに関するデータを、ＭＰＳセンサ１６２N経由で受け取って処理する。患者が動く場合には、ＭＰＳセンサ１６２Nを基準として用いる。ＭＰＳセンサ１６２Nは一般に、患者の体の検査領域（参照番号１４０）に取り付ける。なお、ＭＰＳシステム１０８は、さらなる基準として用いるための追加的なＭＰＳセンサを具えることができ、これにより、システム１００の性能が向上する。しかし、基準点を割り当てる他の方法を用いることができ、これは例えば、すべてのＭＰＳセンサ間で最初に参照し合って、手順全体にわたって患者を拘束すること、取得した画像を分析して、トランスデューサ用のＭＰＳセンサ以外のＭＰＳセンサ毎に、これらの画像内の反復的な視点あるいは部分を識別すること、等である。
【００８１】
ＭＰＳシステム１０８は、ＭＰＳ発信器を用いて所定の電磁界を発生する。各ＭＰＳセンサ１６２1、１６２2、及び１６２Nは、コイルのような電磁界検出素子を具えて、ＭＰＳシステム１０８が発生する電磁界を検出する。
【００８２】
ＭＰＳシステム１０８は、検出した電磁界を処理して、ＭＰＳセンサ１６２1、１６２2、及び１６２Nの三次元的な位置及び向きの識別結果を提供する。従って、ＭＰＳシステム１０８は、画像トランスデューサ１１８、手術ツール１２０、及び患者の体上で選択した点の位置及び向きを特定すべく動作する。
【００８３】
捕捉した各二次元画像の位置及び向きは、画像トランスデューサ１１８の位置及び向きから直接導出する。従ってＭＰＳシステム１０８は、ＭＰＳセンサ１６２2の位置及び向きを特定することによって、画像トランスデューサ１１８によって捕捉した各二次元画像の位置及び向きを特定することができる。
【００８４】
ＥＣＧモニター１０６は、検査する心臓の電気的タイミング信号（ＥＣＧ−心電図）を取得して表現することができる。なお、ＥＣＧは心臓のタイミング信号であり、ＥＣＧサイクルを有し、心臓の特定領域を通る電流の伝播を表現する。ＥＣＧサイクル（または心臓のサイクル）の持続時間は、２回連続する心臓収縮の時間間隔によって定義される。ＥＣＧは、少なくとも２つのＥＣＧ電極を用いることによって検出され、これらの電極は、患者の体の選択した領域（例えば腕部、脚部、胸部、腹部、等）上に配置する。
【００８５】
ＥＣＧ電極１２８は、心臓からの電気信号を連続的に取得して、この信号をＥＣＧモニター１０６に供給する。ＥＣＧモニター１０６は、受信した電気信号を増幅して、心臓の電気的挙動を時間の関数として辿るグラフ線を作成して、このデータをディジタル・フォーマットにして主コンピュータ１０２に供給する。
【００８６】
主コンピュータ１０２は、各二次元画像、それぞれの二次元画像の三次元的な位置及び向き、及び、二次元画像を捕捉した時点における心臓の器官タイミング信号を受け取る。主コンピュータ１０２はさらに、手術ツール１２０の三次元的な位置及び向きを受け取ることができる。主コンピュータ１０２は、検出した各二次元画像を、前記位置及び向き、及び心臓のタイミング信号に関連付ける。
【００８７】
手術ツール１２０が被検査器官内に位置する際には、二次元画像が、この器官の一部分のスライス表現を含み得る。主コンピュータ１０２は、手術ツール１２０に取り付けたＭＰＳセンサ１６２1の位置及び向きを受け取って、手術ツール１２０のＭＰＳセンサ１６２1を取り付けた部分が実質的に剛性である場合には、手術ツール１２０の他の部分の位置及び向きを外挿（補外）することができる。従って、主コンピュータ１０２は、手術ツール１２０のＭＰＳセンサ１６２1を取り付けた部分が、取得した二次元画像の領域内に位置するか否かを特定することができる。主コンピュータ１０２は、三次元画像を更新しつつ、二次元画像が属するこうした領域を除外することができる。
【００８８】
Ｄ３ＤＲ １１２は、捕捉した二次元画像のうち同じ活動サイクルを有するもの（例えば心臓のタイミング・サイクルの所定時点毎）、及び各二次元画像に関連する三次元的な位置及び向きのデータから、三次元画像を再構成する。
【００８９】
ＡＶＤＢ １１４は、再構成した被検査器官の三次元画像を、この画像に関連する活動状態、及びこの画像の座標系の位置及び向きと共に保有する。検出したＥＣＧのシーケンスはさらに、三次元画像を同期再生するために使用し、これらの画像に関連する活動状態が、リアルタイムで検出した被検査器官の活動状態にほぼ等しい際には、すべての三次元画像を表示する。
【００９０】
手術ツール１２０を心臓内に挿入した場合には、画像重畳プロセッサ１１６が、手術ツール１２０の三次元的な位置及び向きを、再構成した三次元画像に加えることができる。あるいはまた、主コンピュータ１０２が、再構成した三次元画像の座標系内で、手術ツール１２０の形状を外挿することができる。
【００９１】
ディスプレイ１３０は、被検査器官の三次元動画像を、この器官に同期させて提供し、この三次元動画像は、この器官の擬似リアルタイムのシミュレーション（模擬）と考えることができる。なお、主コンピュータ１０２は、表示の基準座標系を、次のいずれかに定めることができる：
・患者の座標系。患者の体が静止し、被検査器官および手術ツールが動く場合。
・被検査器官の座標系。被検査器官が静止し、手術ツール、及び患者の体の他の部分が動く場合。なお、この観察座標系は、被検査器官が速い動きを示す場合に、極めて有用であり得る。
・手術ツールの座標系。手術ツールが静止し、被検査器官、並びに患者の体の他の部分が動く場合。
【００９２】
次に図２Ａ及び図２Ｂを参照して説明する。図２Ａは、本発明のさらなる実施例により構成され、動作する、体内放射方向超音波撮像システムの透視図であり、システム全体を参照番号１７０で参照する。図２Ｂは、検査する管の内壁の、複数の、放射方向の二次元画像の透視図であり、総括的に参照番号１９０で参照する。
【００９３】
システム１７０は、体内放射方向画像トランスデューサ１７２、手術ツール（即ち、通常は最小侵入型手術装置）１７４、ＭＰＳセンサ１７６及び１７８、装着カテーテル１８０、及び拡張カテーテル１８２を具えている。なお、体内放射方向超音波撮像システム１７０は、管内超音波システム（ＩＶＵＳ）のような代わりの超音波システム、あるいは他の種類の二次元撮像システムに置き換えることができ、管内超音波システムについては、以下で、図１２を参照してさらに詳細に説明する。
【００９４】
放射方向画像トランスデューサ１７２は装着カテーテル１８０に装着し、装着カテーテル１８０をさらに、拡張カテーテル１８２内に挿入する。ＭＰＳセンサ１７６は装着カテーテル１８０の先端に位置し、かつ放射方向画像トランスデューサ１７２に隣接する。装着カテーテル１８０は、拡張カテーテル１８２内に挿入する。ＭＰＳセンサ１７８は、手術ツール１７４の先端に近接した位置にある。さらに手術ツール１７４を、拡張カテーテル１８２内に挿入する。
【００９５】
放射方向画像トランスデューサ１７２は、被検査器官の異なる領域の、複数の二次元画像（例えば図２Ｂの二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、及び１９０Ｆ）を検出する。ＭＰＳシステム１０８（図１）は、センサ１７６を用いて、放射方向画像トランスデューサ１７２の位置及び向きを検出する。ＭＰＳシステム１０８（図１）はさらに、センサ１７８を用いて、手術ツール１７４の位置及び向きを検出する。二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、及び１９０Ｆ（図２Ｂ）は、トランスデューサ１７２の位置及び向きから直接導出する。
【００９６】
図２Ｂに示すように、各二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、及び１９０Ｆは、被検査器官内及びその近傍の検査領域の、異なる周辺部分を二次元で表現したものである。放射方向画像トランスデューサ１７２は、検出した二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、及び１９０Ｆを、二次元画像取得装置１０４（図１）に供給する。システム１００は、各二次元画像を、これらの二次元画像の位置及び向きに関連付ける。
【００９７】
次に図３を参照して説明する。図３は、所定座標系内の二次元画像を図式的に示す図であり、二次元画像全体を参照番号１９０、座標系全体を参照番号１８６で参照する。図３は主に、座標系１８６内の二次元画像１９０の「位置」及び「向き」とは何かを図示するために用いる。
【００９８】
各二次元画像１９０の位置及び向きは、座標系１８６（Ｘ、Ｙ、及びＺ）内で定める。システム１００は、捕捉した各二次元画像内で選択した点を定め、この点は、この画像用の基準点として使用する。図３に示す例では、画像の中心を、この画像の基準位置として定める。この点から、この画像の平面と垂直に伸びる単位ベクトルが、この画像の向きを定める。
【００９９】
検出した各二次元画像１９０は、特定の位置（Ｘ'、Ｙ'、及びＺ'）、及び特定の向き（角α、β、及びχ）で撮像したものである。ベクトル１９２は、画像１９０の選択点１９４から伸びる。この点の座標Ｘ'、Ｙ'及びＺ'が、座標系１８６内の画像１９０の三次元的な位置を定める。従って角α、β、及びχは、ベクトル１９２と、軸Ｘ、Ｙ、及びＺの各々とがなす角である。従って、ベクトル１９２が、座標系１８６内の画像１９０の、特定の三次元的な向きを定める。
【０１００】
次に図４を参照して説明する。図４は、複数の二次元画像の透視図、及び器官タイミング信号の図であり、これらの二次元画像を総括的に参照番号１９０で参照し、この器官タイミング信号全体を参照番号１８８で参照する。図４に示す例では、器官タイミング信号はＥＣＧ信号である。
【０１０１】
ＥＣＧ信号は、二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、１９０Ｆ、１９０Ｇ、１９０Ｈ、１９０Ｉ、１９０Ｊ、１９０Ｋ、１９０Ｌ、１９０Ｍ、１９０Ｎ、１９０Ｏ、１９０Ｐ、１９０Ｑ、１９０Ｒ、及び１９０Ｓの検出手順を同期させるために用いることができ、これらの各画像は、器官タイミング信号中の所定位置で撮像したものである。二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、１９０Ｆ、１９０Ｇ、１９０Ｈ、１９０Ｉ、１９０Ｊ、１９０Ｋ、１９０Ｌ、１９０Ｍ、１９０Ｎ、１９０Ｏ、１９０Ｐ、１９０Ｑ、１９０Ｒ、及び１９０Ｓはそれそれ、所定の時点ｔ0、ｔ1、ｔ2、ｔ3、ｔ4、ｔ5、ｔ6、ｔ7、ｔ8、ｔ9、ｔ10、ｔ11、ｔ12、ｔ13、ｔ14、ｔ15、ｔ16、ｔ17、及びｔ18で検出したものである。Ｔは、ＥＣＧ信号１８８のサイクル時間（例えば、時点ｔ0とｔ8との時間間隔）を表わす。各点ｐ0、ｐ1、ｐ2、ｐ3、ｐ4、ｐ5、ｐ6、ｐ7、ｐ8、ｐ9、ｐ10、ｐ11、ｐ12、ｐ13、ｐ14、ｐ15、ｐ16、ｐ17、及びｐ18は、ＥＣＧタイミング信号上の特定位置を表わし、心臓の特定の活動状態に関連する。
【０１０２】
この例では、二次元画像を、ＥＣＧサイクル当たり８画像の割合で連続的に検出し、心臓の各サイクルの所定点で検出する。各点ｐ0、ｐ1、ｐ2、ｐ3、ｐ4、ｐ5、ｐ6、及びｐ7は、１番目のＥＣＧサイクル上の特定点を表わし、各点ｐ8、ｐ9、ｐ10、ｐ11、ｐ12、ｐ13、ｐ14、及びｐ15は、２番目のＥＣＧサイクル上の特定点を表わす、等である。点ｐ8及びｐ16は、ＥＣＧタイミング信号上で点ｐ0と同じ特定位置にあり、従って同じ活動状態に関連する。点ｐ9及びｐ17は、ＥＣＧタイミング信号上で点ｐ1と同じ特定位置にあり、従って同じ活動状態に関連する。点ｐ10及びｐ18は、ＥＣＧタイミング信号上で点ｐ2と同じ特定位置にあり、従って同じ活動状態に関連する。このように、検出した二次元画像の各々が、心臓の特定の活動状態に関連する。
【０１０３】
次に図５Ａ、図５Ｂ、図５Ｃ、及び図５Ｄを参照して説明する。図５Ａは、本発明の他の実施例による、複数の三次元ボリューム（画像構成用の立方体、直方体）を図式的に示す図であり、これらのボリュームは総括的に参照番号２００で参照する。図５Ｂは、画像再構成の後段における、図５Ａの三次元ボリュームの一部を図式的に示す図である。図５Ｃは、図５Ａの三次元ボリュームから選択したものを図式的に示す図であり、画像更新の手順を実行中である。図５Ｄは、外部オブジェクト情報を含む二次元画像を図式的に示す図である。
【０１０４】
図５Ａを参照すれば、各三次元ボリューム２００が、器官タイミング・サイクル中の特定位置のうち選択したものに関連し、従って、それぞれの活動状態に関連する。この例では、三次元ボリューム２００Ａ、２００Ｂ、２００Ｃ、及び２００Ｄがそれぞれ、器官タイミング信号の位置Ｔ、1/4Ｔ、2/4Ｔ、及び3/4Ｔに関連する。
【０１０５】
各三次元ボリューム２００Ａ、２００Ｂ、２００Ｃ、及び２００Ｄは、器官タイミング信号のサイクル中で選択した位置についての、従ってそれぞれの活動状態についての三次元画像をを再構成するために使用する。主コンピュータ１０２（図１）は、画像の、ＥＣＧ信号上のタイミング位置（即ち、特定の活動状態）に従って、二次元画像の並べ替え（ソート）を行う。
【０１０６】
この例では、ボリューム２００Ａは二次元画像１９０Ａ、１９０Ｉ、及び１９０Ｑ（図４）を含み、これらはそれぞれ時点ｔ0、ｔ8、及びｔ16で検出したものである。これらの画像の、器官タイミング信号のサイクル中の位置はＴである。ボリューム２００Ｂは二次元画像１９０Ｃ、１９０Ｋ、及び１９０Ｓ（図４）を含み、これらはそれぞれ時点ｔ2、ｔ10、及びｔ18で検出したものである。これらの画像の、器官タイミング信号のサイクル中の位置は1/4Ｔである。ボリューム２００Ｃは二次元画像１９０Ｅ及び１９０Ｍ（図４）を含み、これらはそれぞれ時点ｔ4及びｔ12で検出したものである。器官タイミング信号のサイクル中の位置は1/2Ｔである。ボリューム２００Ｄは二次元画像１９０Ｇ及び１９０Ｏ（図４）を含み、これらはそれぞれ時点ｔ6及びｔ14で検出したものである。器官タイミング信号のサイクル中の位置は3/4Ｔである。
【０１０７】
この時点では、ボリューム２００Ａは、このボリューム内に格納されている二次元画像に関する情報を含みつつ、ボリューム２００Ａの一部は値０のままである、というのは、この部分に関係する二次元画像がないからである。Ｄ３ＤＲ １１２は、三次元ボリューム２００Ａの内容を分析して、これらの値０の部分のいくつかについて、例えば外挿によって値を特定しようとする。図５Ｂに示すように、Ｄ３ＤＲ １１２（図１）は、三次元ボリューム２００Ａ内に画像３３０Ａを再構成する。同様に、Ｄ３ＤＲ １１２は、三次元ボリューム２００Ｃ内に画像３３０Ｃを再構成する。
【０１０８】
システム１００（図１）は、三次元画像３３０Ａをリアルタイムで更新する。主コンピュータ１０２（図１）は、二次元画像を、この二次元画像の位置及び向き、及び器官の活動状態と共に、連続的に受け取る。主コンピュータ１０２（図１）は、これらの各二次元画像を、同じ活動状態に関連する三次元ボリュームと共に、Ｄ３ＤＲ １１２（図１）に供給する。Ｄ３ＤＲ １１２は、新たな二次元画像の値に従って三次元ボリュームを更新する。
【０１０９】
上記更新の手順は、多くの方法で実行することができる。本発明の１つの要点によれば、選択した三次元画素（ボクセル）における新しい値が、古い値を置き換える。本発明の他の要点によれば、更新したボクセル値は、旧ボクセル値（即ち、三次元ボリュームに既存の値）と、新規に取得した値（即ち、二次元画像から受け取った値）との（線形またはその他の）結合を含む。なお、システム１００は、ポリゴン（多角形）表現またはボクセル表現のいずれをも用いて動作することができる。
【０１１０】
本発明のさらなる要点によれば、三次元ボリューム内の各ボクセルが種々の属性を具え、これらの属性は例えば、ボクセルの現在値が取得した画像から提供されたものであるか、あるいは、外挿によって三次元画像を再構成する過程（プロセス）中に計算したものであるか、ということである。この場合には、計算値よりも新規に取得した値の方が好ましい。図５Ｃに示すように、Ｄ３ＤＲ １１２が新たな二次元画像１９０Ｙを受け取って、この二次元画像は、ｔ＝Ｔにおける器官の活動状態に関連する。Ｄ３ＤＲ １１２は、三次元ボリューム２００Ａ及びその中の画像３３０Ａのそれぞれを更新する。
【０１１１】
手術ツール１２０（図１）を被検査器官内に挿入する場合には、システム１００は、二次元画像中の、手術ツール１２０の表現を含む断片を除外する。主コンピュータ１０２（図１）は、（例えば、これらの断片に０（ヌル）の値を導入することによって）これらの断片を除外することによって、二次元画像を修正する。Ｄ３ＤＲ １１２は、修正した二次元画像を分析して、各三次元ボリューム内の各部分は更新しない。
【０１１２】
システム１００は、手術ツール１７４（図２Ａ）のような外部物体が存在する場合でも、検査物体の三次元画像列をリアルタイムで更新する能力を具えている。本発明の一実施例によれば、主コンピュータ１０２は、取得した画像の位置及び向き、及び手術ツール１７４の位置及び向きにより、取得した画像が表現するスライスに手術ツールが含まれるか否かを特定することができる。図５Ｄに示すように、二次元画像１９０Ｚが、手術ツール１２０の一部分の表現である小区分（セクション）１９８を含み、小区分１９８は、ＭＰＳセンサ１６２1の位置及び向きから決まる。二次元画像１９０Ｚ及び区分１９８が区分１９９を規定し、これは、二次元画像１９０Ｚから区分１９８を除外したものである。図５Ｄを参照して説明した三次元画像列をリアルタイムで更新する手順によれば、システム１００は、各三次元画像に対して、区分１９９のみの更新を行う。従って、患者の体から手術ツールを除去した際には、再構成した三次元画像内に手術ツールの軌跡が残らない。
【０１１３】
なお、各ＥＣＧサイクルは、拡張期と称する弛緩の期間、及びこれに続く収縮期と称する収縮の期間から成る。ＥＣＧサイクルの継続時間は、２回連続する心臓収縮の時間間隔によって定義される。さらなる実施例によれば、ＥＣＧサイクルを均等にＮ分割して、ここにＮは、最終的な画像列の三次元画像の数である。
【０１１４】
次に図６を参照して説明する。図６は、本発明のさらなる実施例により動作する、三次元撮像システム１００の動作方法を図式的に示す図である。手順２３０では、被検査器官のタイミング信号を検出する。この検出は、被検査器官に応じて選択した医療モニター（監視）装置によって実行する。例えば、被検査器官が心臓の血管であれば、医療モニター装置はＥＣＧモニターである。被検査器官が肺であれば、医療モニター装置は呼吸数モニターである。まぶた、目、等を検査するために、特別な装置を構成することがあり得る。例えば、ＭＰＳセンサをまぶたに取り付けて、まぶたの動きを検出することができる。図１に示すように、ＥＣＧモニター１０６が、ＥＣＧ電極１２８を通して器官タイミング信号を検出する。
【０１１５】
手順２３２では、被検査器官の二次元画像を複数検出する。図１に示すように、二次元画像取得装置１０４が、画像トランスデューサ１１８を通して、被検査器官の二次元画像を複数検出する。
【０１１６】
手順２３４では、画像検出器の三次元的な位置及び向きを検出する。図１に示すように、ＭＰＳシステム１０８が、画像検出器に装着したＭＰＳセンサ１６２2を用いて、画像検出器の三次元的な位置及び向きを検出する。
【０１１７】
手順２３６では、検出した各二次元画像を、この二次元画像の位置及び向きの情報、及びこの二次元画像を撮像した時点の器官タイミング信号に関連付ける。図１に示すように、主コンピュータ１０２が、ＥＣＧ信号、取得した二次元画像、及び各二次元画像の位置及び向きを受け取る。主コンピュータ１０２は、検出した各二次元画像を、この二次元画像の位置及び向きの情報、及び器官タイミング信号に関連付ける。
【０１１８】
手順２３８では、手術ツール２３８の位置及び向きを検出する。図１に示すように、ＭＰＳシステム１０８が、ＭＰＳセンサ１６２1を介して手術ツール１２０の位置及び向きを検出する。
【０１１９】
手順２４０では、二次元画像中の手術ツールを表現する部分を除外することによって、この二次元画像を修正する。なお、手術ツールと交わらない平面内に位置する二次元画像は、手術ツールを表現する画像を何ら含まず、従って変化しないままで残る。図１〜図５Ｄに示すように、主コンピュータ１０２は、取得した二次元画像の一部、即ち二次元画像１９０Ｚのように、手術ツール１２０の画像表現を含み得るものを推定する。主コンピュータ１０２は、検出した手術ツール１２０の位置及び向きに従ってこの推定を実行する。主コンピュータ１０２は、ＭＰＳセンサ１６２1が取得する情報、及び手術ツール１２０の物理的な寸法を表わす情報に従って、手術ツール１２０が占める三次元空間を特定する。主コンピュータ１０２は、取得した二次元画像（例えば図５Ｄの１９０Ｚ）と、この三次元空間とが交叉する交差領域（例えば図５Ｄに示す部分１９８）を計算する。主コンピュータ１０２は、例えばこの交差領域の値を０（ヌル）値に変更することによって、この交差領域を除外する。手術ツール１２０の画像を二次元画像から除外することは、手術ツール１２０の画像のような人工物のない被検査器官の三次元画像を再構成するために必要である。
【０１２０】
手順２４２では、三次元画像を再構成する。この再構成は３つの手順を含む。１番目の手順では、それぞれの二次元画像の、器官タイミング信号中のタイミング位置（即ち活動状態）に従って、二次元画像を並べ替えてグループにする。図１に示すように、主コンピュータ１０２は、器官タイミング信号のサイクル中における画像のタイミング位置に従って、二次元画像を並べ替える。
【０１２１】
２番目の手順では、（三次元マトリクスのような）三次元仮想ボリューム内で選択したすべての二次元画像を、それぞれの二次元画像の位置及び向きに従って配置する。図１に示すように、主コンピュータ１０２は、適応型ボリューム・データベース１１４内の三次元仮想ボリューム２００（図５Ａ）のうち選択したものの中に、各二次元画像を格納する。
【０１２２】
３番目の手順では、三次元仮想ボリューム内の欠落部分を、例えば補間によって補充する。図１に示すように、Ｄ３ＤＲ １１２が、各三次元仮想ボリューム２００（図５Ｂ）内に格納している二次元画像から、この三次元仮想ボリューム内に三次元画像を再構成する。
【０１２３】
手順２４４では、手順２３０で検出した器官タイミング信号に応じて、三次元画像を選択する。図１及び図４に示すように、ＥＣＧモニター１０６が、ＥＣＧ電極１２８を介して、被検査器官の器官タイミング信号１８８を検出する。主コンピュータ１０２が、リアルタイムで検出した器官タイミング信号に応じて三次元画像を選択する。選択した三次元画像は、実時間で検出した器官タイミング信号のサイクル中の位置のように、器官タイミング信号のサイクル中の位置に関連したものでなければならない。
【０１２４】
手順２４６では、手術ツールの表現を、選択した三次元画像に追加する。図１に示すように、ＭＰＳセンサ１６２1が、手術ツール１２０の位置及び向きを検出する。画像重畳プロセッサ１１６が、手術ツール１２０の表現（例えばシンボル）を、選択した三次元画像に追加する。画像重畳プロセッサ１１６は、手順２３８でＭＰＳセンサ１６２1が検出した、手術ツール１２０の位置及び向きに従って、手術ツール１２０の表現を追加する。手術ツールの位置と向き、及び取得した画像の位置と向きのすべてを、同じＭＰＳシステムを用いて検出するので、これらの位置及び向きのすべてが１つの座標系内に存在し、従って、これらを互いに関係付ける必要はない。
【０１２５】
手順２４８では、前記選択した三次元画像を表示する。図１及び図８に示すように、ディスプレイ１３０が、前記選択した画像を、リアルタイムで検出した器官タイミング信号のサイクルに従って順番に表示する。例えばオペレータは、リアルタイムで検出した患者の心拍（心臓鼓動）に対応させて、患者の心臓のビデオを見ると同時に、聴診器を通してこの心拍を聴くことができる。
【０１２６】
次に図７Ａ及び図７Ｂを参照して説明する。図７Ａは、本発明の他の実施例により構成され、動作するリアルタイム三次元表示の再生システムを図式的に示す図であり、システム全体を参照番号２７０で参照する。図７Ｂは、患者の心臓の三次元画像を表示する、図７Ａのゴーグルを図式的に示す図である。
【０１２７】
図７Ａに示すように、システム２７０は、画像重畳プロセッサ２７２、適応型ボリューム・データベース（ＡＶＤＢ）２７４、ＥＣＧモニター２７８、ディスプレイ２８４、同期プロセッサ２８６、医療用位置決めシステム（ＭＰＳ）２８８、拡張カテーテル２８０、及び複数のＭＰＳセンサ２９４、２９６、及び２９８を具えている。ディスプレイ２８４は、レンダラ（レンダリング装置）２７６及びゴーグル２８２を含む。手術ツール２９０は、拡張カテーテル２８０内に挿入する。
【０１２８】
画像重畳プロセッサ２７２は、ＡＶＤＢ ２７４、レンダラ２７６、及びＭＰＳシステム２８８に結合する。レンダラ２７６はさらに、ＡＶＤＢ ２７４及びゴーグル２８２に結合する。ＭＰＳシステム２８８はさらに、拡張カテーテル２８０、レンダラ２７６、及びＭＰＳセンサ２９４、２９６、及び２９８に結合する。同期プロセッサ２８６は、ＡＶＤＢ ２７４及びＥＣＧモニター２７８に結合する。
【０１２９】
ＥＣＧモニター２７８は、被検査器官の器官タイミング信号を検出して、この信号を同期プロセッサ２８６に供給する。検出した器官タイミング信号は、一連の三次元画像を、検査する心臓の動きに同期させる。
【０１３０】
同期プロセッサ２８６は、ＥＣＧ信号を分析して、ＥＣＧ信号における活動状態を特定する。同期プロセッサ２８６は、ＡＶＤＢ２７４に検索コマンドを提供して、現在検出した活動状態に応じた画像記録を検索する。
【０１３１】
ＡＶＤＢ ２７４は、被検査器官の三次元画像列を、この器官に関連する活動状態、及びこの器官の座標系の位置及び向きと共に含む。なお、この三次元画像列は、システム１００を用いるか、あるいは三次元画像を取得するための他の何らかのシステム（例えばＭＲＩ（magnetic resonance imaging：磁気共鳴映像）、Ｘ線、等）を用いて取得することができる。
【０１３２】
ＡＶＤＢ ２７４は、受け取った検索コマンドに従って、器官の特定の活動状態に関連する、器官の三次元画像を選択する。この三次元画像は、器官タイミング信号に同期させて、レンダリングして、その通りに再生することができる。被検査器官が心臓である例では、医師は、ＥＣＧ信号にリアルタイムで同期した画像列を提供される。医師は、自分の聴診器を使用して心拍を聴きながら、同時に、心臓の動画像表現を見ることができる。
【０１３３】
レンダラ２７６は、手術ツール２９０を基準座標として、被検査器官を基準座標にして、あるいは患者の体を基準座標にして、三次元画像をレンダリングすることができる。選択した基準座標は、静止の基準座標系を定義し、この座標系では、他のすべての物体が移動し得る。
【０１３４】
例えば、手術ツール２９０の座標を基準座標として選択した場合には、レンダラ２７６は、手術ツールが静止して、これに対して心臓が動くように、三次元画像をレンダリングする。従って、医師が手術ツール２９０を被検査器官に対して動かす際には、医師は、手術ツール２９０の表現に対して被検査器官が動くことによって被検査器官が動きを示す間に、手術ツール２９０の静止表現を観測する。
【０１３５】
逆に、被検査器官の座標を基準として選択する場合には、レンダラ２７６は、被検査器官が静止して、手術ツール２９０がこの被検査器官に対して動くように、三次元画像をレンダリングする。従って、医師が手術ツール２９０を被検査器官に対して動かす際には、医師は、被検査器官に対して手術ツール２９０の表現が動くことによって手術ツール２９０が動きを示す間に、被検査器官の静止表現を観測する。
【０１３６】
ＭＰＳシステム２８８は、ＭＰＳ発信器（図示せず）、及びＭＰＳセンサ２９４、２９６、及び２９８を具えている。ＭＰＳシステム２８８は、これに装着したセンサ２９４を用いて、手術ツール２９０の位置及び向きを測定する。ＭＰＳシステム２８８は、ゴーグル２８２に装着したＭＰＳセンサ２９６（図７Ｂ）を用いて、ユーザの視点の位置及び向きを検出する。ＭＰＳシステム２８８は、患者の体に装着したＭＰＳセンサ２９８を用いて、患者の体の位置及び向きを測定する。
【０１３７】
画像重畳プロセッサ２７２は、前記選択した心臓の三次元画像を、ＡＶＤＢ ２７４から受け取る。画像重畳プロセッサ２７２はさらに、手術ツール２９０の位置及び向きに関するパラメータ、及び患者の体上の基準点の位置及び向きに関するパラメータを、ＭＰＳシステム２８８から受け取る。
【０１３８】
画像重畳プロセッサ２７２は、前記基準点の位置及び向きを用いて、三次元画像の座標系を手術ツール２９０の座標系に合わせる。画像重畳プロセッサ２７２は、手術ツール２９０の表現を心臓の三次元画像に追加して、この画像をレンダラ２７６に供給する。
【０１３９】
レンダラ２７６は、ゴーグル２８２の位置及び向きに関するパラメータ、及び患者の体の基準点の位置及び向きに関するパラメータを、ＭＰＳシステム２８８から受け取る。レンダラ２７６は、これらのパラメータを用いて観察面を決定して、前記三次元画像をこの観察面に対してレンダリングする。レンダラ２７６は、このレンダリングした画像をゴーグル２８２に供給する。
【０１４０】
ゴーグル２８２（図７Ｂ）は透視型であり、従って半透明であることが好ましく、医師が実際に、患者の体とゴーグルのスクリーンに投影される画像とを同時に見ることができる。システム２７０（図７Ａ）は、患者の体の位置及び向き、及びゴーグル２８２の位置及び向きにより、患者の体上の投影面を決定する。システム２７０は、ゴーグル２８２を用いて三次元画像列を表示して、これにより、医師が実際にゴーグル２８２を通して見れば、この三次元画像が患者の体内にあるように知覚する。
【０１４１】
次に図８を参照して説明する。図８は、本発明のさらなる実施例による、周期的な三次元画像列の透視図である。この画像列を画像毎にユーザに提示して、動画像のように錯視させる。中間的に提供する三次元画像は、器官タイミング信号のサイクル中の、リアルタイムの検出を行なった特定位置に応じて選択する。
【０１４２】
図７Ａに示すように、ＡＶＤＢ ２７４は三次元画像を、例えば心臓の各サイクル当たり８画像の割合で連続的に選択する。同期プロセッサ２８６は、器官タイミング信号のサイクル中の、現在検出を行った特定位置に応じて、ＡＶＤＢ ２７４に検索コマンドを提供する。ＡＶＤＢ ２７４は、心臓のタイミング信号（図４）中の選択点ｔ0＝０、ｔ1＝1/8Ｔ、ｔ2＝2/8Ｔ、ｔ3＝3/8Ｔ、及びｔ7＝7/8Ｔに応じて、それぞれ三次元画像３３０Ａ、３３０Ｂ、３３０Ｃ、３３０Ｄ、及び３３０Ｈを検索する。上述したように、各三次元画像３３０は、心臓の特定の活動状態に関連する。従って、画像３３０Ａ、３３０Ｂ、３３０Ｃ、３３０Ｄ、及び３３０Ｈを周期的に再生することによって、（即ち、心臓の周期的な動きの反復的な性質によって、）器官の動きを擬似現実的に図示することができる。
【０１４３】
次に図９を参照して説明する。図９は、本発明の他の実施例により動作する画像重畳プロセスを図式的に示す図である。システム２７０（図７Ａ）は、図３３０Ａのような選択した各画像中に、現在使用中の手術ツール３２８の表現を導入する。この表現は、最小の表現（例えばカーソルを形成する）にすることも、手術ツールの擬似現実的視覚化を提供する巧妙な表現にすることもできる。
【０１４４】
三次元画像３３０Ａの位置及び向きは、座標系３２６（Ｘ,Ｙ,Ｚ）内で定める。同様に、ＭＰＳセンサ３１８の位置及び向き、従って手術ツール３２８の位置及び向きも、座標系３２６（Ｘ,Ｙ,Ｚ）内で定める。従って、手術ツール３２８のリアルタイム表現を、三次元画像３３０Ａに追加することができる。図７Ａに示すように、画像重畳プロセッサ２７２が、手術ツール３２８の表現を、選択した三次元画像３３０Ａに追加して、三次元画像３３０Ａは、三次元ボリューム２００Ａ内に再構成したものである。なお、手術ツール３２８は、鉗子、レーザーカッター、ブラシ、カテーテル、ステント、バルーン、ペースメーカー電極、液剤調剤装置、ニューロン電極、物質収集装置、手術搬送ツール（例えば、遺伝子、薬剤、装置等を搬送する）、等のような慣例のツールである。例えば、装置搬送ツールは、永久ステント、着脱可能ステントのような医療装置を患者の体に搬送するための医療ツールとすることができる。
【０１４５】
本発明は、医師が、心臓のような活動的な対象物を、医師が使用中の手術ツールのリアルタイム表現付きで取り扱うことを可能にする。次に図１０を参照して説明する。図１０は、本発明のさらなる実施例により動作する、システム２７０の動作方法を図式的に示す図である。手順３００では、被検査器官の器官タイミング信号を検出する。本発明によれば、システム１００（図１）は、被検査器官に応じて選択した医療モニター装置を具えている。こうした装置は、器官の時間依存性の信号を検出し、この信号は器官の動きに関連する。図７Ａに示すように、ＥＣＧモニター２７８は心臓のタイミング信号を検出する。
【０１４６】
手順３０２では、器官タイミング信号中で選択した時点に関連する、器官（例えば心臓）の三次元画像を選択する。図７Ａに示すように、ＡＶＤＢ ２７４は器官の三次元画像を選択する。
【０１４７】
手順３０４では、手術ツールの位置及び向きを検出する。手術ツールの位置及び向きの検出は、磁界、超音波三角測量または超音波放射、不活性センサ、センサ、即ち死亡判定センサ、等のような、従来技術において既知の方法によって実行することができる。図７Ａに示すように、ＭＰＳシステム２８８は、手術ツール２９０に装着したセンサ２９４を用いて、手術ツール２９０の位置及び向きを検出する。
【０１４８】
手順３０６では、手術ツール２９０の位置及び向きの表現を、選択した三次元画像上に重畳する。図７Ａに示すように、画像重畳プロセッサ２７２が、手術ツール２９０の位置及び向きに関するパラメータを、選択した三次元画像上に重畳する。
【０１４９】
手順３０８では、ユーザの視点の位置及び向きを検出する。ユーザの視点の位置及び向きは、ゴーグル２８２の位置及び向きから導出する。ゴーグル２８２の位置及び向きのパラメータが、ユーザの観察面を決定する。システム２７０は、ゴーグル２８２のＬＣＤ素子毎の（即ち片目毎の）、２つの観察面を決定することができる。図７Ａに示すように、ＭＰＳシステム２８８が、ゴーグル２８２に装着したセンサ２９６を用いて、ゴーグル２８２の位置及び向きを検出する。なお、２つ以上の表示装置（即ち２つ以上のゴーグル）をシステムに導入して、各ゴーグルに異なるＭＰＳセンサを装着することができる。
【０１５０】
手順３１０では、ユーザの視点の位置及び向きに応じて、選択した三次元画像をレンダリングする。図７Ａに示すように、レンダラ２７６が、視点の位置及び向きに応じて、選択した三次元画像をレンダリングする。
【０１５１】
手順３１２では、レンダリングした三次元画像列（即ち三次元動画像）を表示する。被検査器官の三次元動画像は、モノスコープ、ステレオスコープ（立体視）、ホログラフィー、（例えば、ビデオモニター、ゴーグル、ホログラフィー生成器、等）のような、あらゆる種類のディスプレイに表示することができる。図７Ａに示すように、ゴーグル２８２はレンダリングした三次元画像列を表示する。
【０１５２】
次に図１１を参照して説明する。図１１は、本発明の他の実施例により構成され、動作する、管内撮像兼手術システムを図式的に示す図であり、システム全体を参照番号３５０で参照する。管内撮像兼手術システム３５０は、管内超音波システム（ＩＶＵＳ）トランスデューサ３５２、手術ツール（即ち、通常は最小侵入型手術装置）３５４、ＭＰＳセンサ３５６、及び３５８、装着カテーテル３６０、及び拡張カテーテル３６２を具えている。ＩＶＵＳトランスデューサ３５２はカテーテル３６０に装着する。なお、本実施例には、回転音響ミラーを具えたもののような他のＩＶＵＳ装置も適用可能である。
【０１５３】
ＩＶＵＳトランスデューサ３５２は超音波を発生して、この超音波を管状の器官（図示せず）の内壁に指向させて、参照番号３６４の表面に行き渡らせる。表面３６４は、この表面に指向された超音波の一部を反射する。ＩＶＵＳトランスデューサ３５２は、これらの反射超音波を検出して、これを表わす信号を、ＩＶＵＳトランスデューサ３５２に結合した画像処理システム（図示せず）に供給する。慣例の画像処理システムは、すべての二次元画像から、各二次元画像の位置及び向きに従って、単一の三次元画像を再構成する。本発明によれば、この画像処理システムが複数の三次元画像を再構成して、各三次元画像が、器官タイミング信号のタイミング・サイクル中の異なる位置についてのものである。
【０１５４】
なお、ＩＶＵＳは、診断中、治療中、及び研究の遂行中に、冠状動脈の内部を撮像するために使用する。このシステムは、冠状動脈（及び他の血管）の概括的及び詳細な知見を提供する。慣例のＩＶＵＳ検出器は、例えば、Boston Scientific Scimed社製造のUltra-Cross systemか、あるいはJomed USA社製造のIn-Vision system （別称Endosonics）であり、両社共、米国カリフォルニア州サンディエゴに存在する。これらのシステムは主に、冠状動脈の画像をスライスにするために使用する。
【０１５５】
本発明は、慣例のＩＶＵＳ素子と独自の小型ＭＰＳセンサとの組み合わせを用いて、血管の量的モデルを作成するための新規の構造を提供する。こうした組み合わせは案内型（Guided）ＩＶＵＳまたはＧＩＶＵＳと称され、これについては以下に説明する。本発明のさらなる実施例によれば、ＥＣＧ信号を用いて、ＧＩＶＵＳ画像列を視覚的に安定化することができる。ＥＣＧ信号サイクル中で選択した時点によって、この瞬間における血管内の局所的な血圧が決まり、この血圧によって、サイクル中のこの時点における血管の瞬間的な直径が決まる。従って、血管の視覚的な直径は画像処理によって人工的に調整することができ、これにより、手術手順中の血管を静止画像で表示することができる。
【０１５６】
概して、本発明の新規のＧＩＶＵＳシステムは、医師をナビゲートする「３Ｄ（三次元）ロードマップ」を作成する。こうしたロードマップを作成するために他の方法も用いることができ、このロードマップは、前記ボリューム・データベースに格納して、本発明の方法により、例えば３Ｄ ＡＮＧＩＯ（血管造影検査装置、血管撮像装置）、リアルタイムＭＲＩ、等のように再生することができる。
【０１５７】
次に図１２を参照して説明する。図１２は、本発明のさらなる実施例により構成され、動作する多機能二次元撮像システムを図式的に示す図であり、システム全体を参照番号４００で参照する。図１２に示す例では、システム４００を、心臓の二次元画像を生成して、この画像列を、心臓の動きに同期してリアルタイムで再生すべく適応させている。
【０１５８】
二次元撮像システム４００は、主コンピュータ４０２、二次元画像取得装置４０４、ＥＣＧモニター４０６、医療用位置決めシステム（ＭＰＳ）４０８、フレーム・グラバー４１０、画像データベース４１４、画像重畳プロセッサ４１６、手術ツール４２０、複数のＭＰＳセンサ４３２1、４３２2、及び４３２N、及びディスプレイ４３０を具えている。
【０１５９】
二次元画像取得装置４０４は、画像トランスデューサ４１８を具えている。ＥＣＧモニター４０６は、検査あるいは手術中に、複数のＥＣＧ電極４２８を用いることによって、心臓の電気的タイミング信号を連続的に検出する。
【０１６０】
主コンピュータ４０２は、ＥＣＧモニター４０６、ＭＰＳシステム４０８、フレーム・グラバー４１０、画像重畳プロセッサ４１６、及びディスプレイ４３０に結合する。二次元画像取得装置４０４はフレーム・グラバー４１０に結合する。ＭＰＳシステム４０８は、ＭＰＳ発信器（図示せず）、及びＭＰＳセンサ４３２1、４３２2、及び４３２Nに結合する。
【０１６１】
システム４００は、被検査器官の二次元画像列を取得して、手術ツール４２０の投影表現を重畳させて再生することに指向したものである。トランスデューサ４１８は、被検査器官の二次元画像を複数検出して、これらの二次元画像を二次元画像取得装置４０４に供給して、二次元画像取得装置４０４はさらに、これらの二次元画像をフレーム・グラバー４１０に転送する。フレーム・グラバー４１０は、検出した各二次元画像を保持して、この二次元画像を主コンピュータ４０２に供給し、主コンピュータ４０２は、これらの二次元画像を、ＲＣＧモニター４０６から受信した器官タイミング信号と共に、画像データベース４１４に記憶する。これらの画像は、被検査器官の選択した平面の周期的な二次元画像列を作成するために、いつでも使用することができる。システム４００は、上述した手順と同様の手順を用いて、この画像列を、被検査器官のタイミング信号のリアルタイムの読み取り値と同期させることができる。
【０１６２】
図１２に示す例は、ＭＰＳセンサ４３２2及びＭＰＳシステム４０８を具えて、ＭＰＳセンサ４３２2は、取得画像毎にトランスデューサ４１８の位置及び向きを検出し、ＭＰＳシステム４０８は、すべての取得画像が同一平面内に存在するか否かを特定する。同一平面内に存在しない場合には、ＭＰＳシステム４０８はユーザに対して、所定平面からの偏りを、視覚的方法、聴覚的方法、あるいは機械的方法（例えば、振動による方法、等の）のいずれかの方法で示すことができる。なお、本発明のさらなる実施例によるシステム４００をより簡単にしたものは、前記トランスデューサに取り付けたＭＰＳセンサを具えていない。
【０１６３】
ＭＰＳセンサ４３２1は、手術ツール４２０の位置及び向きを検出する。ＭＰＳシステム４０８は、手術ツール４２０の位置及び向きを検出して、この情報を主コンピュータ４０２に提供して、主コンピュータ４０２はこの情報を画像重畳プロセッサ４１６に提供する。画像重畳プロセッサ４１６は、空間内における手術ツール４２０の表現を決定して、この表現を検出画像の平面に投影した投影像を導出して、この投影像を各画像上にリアルタイムで重畳する。ディスプレイ４３０は、この重畳を行った画像列をユーザに対して表示する。
【０１６４】
画像重畳プロセッサ４１６は、手術ツールの位置のような追加的な情報を、前記重畳を行った画像列の、観察面の上方または下方に追加することができる。例えば、手術ツールのうち、観察面の一方の側に位置する部分は赤色を用いて示し、観察面の他方の側に位置する部分は青色を用いて示し、観察面上に位置する部分は赤色を用いて示す。なお、二次元システム４００は、図１のシステムよりも少ない視覚情報を提供し、システム４００が必要とする処理能力（パワー）及び記憶領域ははるかに小さく、従って、大幅に低いコストで製造することができる。
【０１６５】
次に図１４を参照して説明する。図１４は患者のＥＣＧを図式的に示す図であり、全体を参照番号４４２で参照する。ＥＣＧ４４２は、複数の心臓サイクル４４４、４４６、及び４４８の各々における活動状態Ｔ1、Ｔ2、及びＴ3のような複数の活動状態（例えばＥＣＧサイクルの位相）を含む。出願人は、例えば図１３Ｂの位置７０、７２、及び７４のような位置の変化は患者の心拍によるものであり、そしてこのことが、軌跡５０が不正確になる理由であることを見出している。従って、各心臓サイクル４４４、４４６、及び４４８中において、異なる活動状態では動脈の位置及び向きが異なる。
【０１６６】
例えば、各心臓サイクル４４４、４４６、及び４４８の活動状態Ｔ1では、動脈の位置及び向きは、図１３Ｂの位置７０における動脈の画像で表わされる。各心臓サイクル４４４、４４６、及び４４８の活動状態Ｔ2では、動脈の位置及び向きは、位置７２における動脈の画像で表わされる。各心臓サイクル４４４、４４６、及び４４８の活動状態Ｔ3では、動脈の位置及び向きは、位置７４における動脈の画像で表わされる。従って、図１３Ｂの点５２、５４、５６、５８、６０、６２、６４、６６、及び６８の各々が、カテーテル１２（図１３Ａ）の撮像チップ（端）の位置及び向きに対応し、心臓サイクルの異なる活動状態では、動脈の位置及び向きが異なる。
【０１６７】
例えば、点５２は心臓サイクル４４４中の活動状態Ｔ1に対応し、このことは、カテーテル１２の撮像チップが点５２にある際には、患者２２の心臓３２が活動状態Ｔ1にある、ということを意味する。点５４は心臓サイクル４４４中の活動状態Ｔ2に対応し、このことは、カテーテル１２の撮像チップが点５４にある際には、患者２２の心臓３２が活動状態Ｔ2にある、ということを意味する。点５６は心臓サイクル４４４中の活動状態Ｔ3に対応し、このことは、カテーテル１２の撮像チップが点５６にある際には、患者２２の心臓３２が活動状態Ｔ3にある、ということを意味する。点５８は心臓サイクル４４６の活動状態Ｔ1に対応する。点６０は心臓サイクル４４６の活動状態Ｔ2に対応する。点６２は心臓サイクル４４６の活動状態Ｔ3に対応する。点６４は心臓サイクル４４８の活動状態Ｔ1に対応する。点６６は心臓サイクル４４８の活動状態Ｔ2に対応する。点６８は心臓サイクル４４８の活動状態Ｔ3に対応する。
【０１６８】
本発明の他の要点によれば、位置および向きの測定値、並びに取得した画像を、取得あるいは測定時の、被検査器官の活動状態に対応させて処理する。例えば、本発明のこの要点によるシステムでは、撮像システムが、撮像カテーテルの軌跡を被検査器官の三次元画像上に重畳させて表示し、この三次元画像は、被検査器官内部の撮像カテーテルの、現在の位置及び向きによって決まる活動状態に対応する。このシステムは、撮像カテーテルが被検査器官の内部で追従する経路を記録し、この経路は前進方向も後退方向もあり得る。このシステムはさらに、この経路を、監視（モニター）している被検査器官の活動状態、及び撮像カテーテルの瞬時的な位置及び向きと共に記録する。
【０１６９】
次に図１５Ａ及び図１５Ｂを参照して説明する。図１５Ａは、本発明の他の実施例により構成され、動作するシステムを図式的に示す図であり、システム全体を参照番号４５０で参照する。図１５Ｂは、図１５Ａのシステムにおける撮像カテーテルのチップの軌跡を図式的に示す図である。
【０１７０】
図１５Ａに示すように、システム４５０は、撮像カテーテル４５２、撮像システム４５４、ＭＰＳ４５６、発信器４５８、体用ＭＰＳセンサ４９０、プロセッサ４６０、複数のＥＣＧ電極（図示せず）、ＥＣＧモニター４６４、及びディスプレイ４６６を具えている。撮像カテーテル４５２は、撮像ＭＰＳセンサ４６８、及び画像検出器４７０を具えて、これらは共に、撮像カテーテル４５２のチップ４７２に位置する。
【０１７１】
図１５Ａに示す例では、画像検出器４７０が光コヒーレンス断層撮影（ＯＣＴ：optical coherence tomography）用撮像素子である。なお画像検出器４７０は、上述のＩＶＵＳトランスデューサまたは他の種類の超音波トランスデューサ、磁気共鳴撮像（ＭＲＩ）素子、サーモグラフィー装置、等に置き換えることができる。
【０１７２】
撮像システム４５４は、画像検出器４７０が検出する画像を表現する信号を発生する。ＭＰＳ４５６、プロセッサ４６０、ＥＣＧモニター４６４、及びディスプレイ４６６はそれぞれ、図１のＭＰＳ１０８、主コンピュータ１０２、ＥＣＧモニター１０６、及びディスプレイ１３０と同様のものである。ディスプレイ４６６は、二次元ディスプレイ、適切な両眼鏡で見るオート・ステレオスコープ（自動立体視）ディスプレイ、両目用ゴーグル、等である。ＭＰＳ４５６の位置及び向きのプロセッサは、グローバル（大域的）座標系の原点を規定する。ＥＣＧモニター４６４を専用の器官モニターで置き換えて、腸、まぶた、目、脳、肝臓、肺、腎臓、等のような、心臓以外の器官の器官タイミング信号を監視（モニター）することができる。撮像ＭＰＳセンサ４６８は、撮像カテーテル４５２のチップ４７２の位置及び向き、従って画像検出器４７０の位置及び向きを測定する。
【０１７３】
撮像カテーテル４５２は被検査器官４７４内に配置し、本実施例では、例えば動脈内に配置する。なお被検査器官は、食道、静脈、気管支、輸尿管、等のような、動脈以外の器官もあり得る。
【０１７４】
ＥＣＧ電極は、患者４６２の体、及びＥＣＧモニター４６４に取り付ける。体用ＭＰＳセンサ４９０は、患者４６２の体、及びＭＰＳ４５６に取り付ける。プロセッサ４６０は、撮像システム４５４、ＭＰＳ４５６、ＥＣＧモニター４６４、及びディスプレイ４６６に結合する。ＭＰＳ４５６はさらに、撮像ＭＰＳセンサ４６８及び発信器４５８に取り付ける。撮像システム４５４はさらに、画像検出器４７０に結合する。
【０１７５】
ＭＰＳ４５６はＭＰＳセンサ毎に、ＭＰＳセンサの、前記グローバル座標系の原点に対する座標を測定する。測定した座標は、３つの直線変位パラメータ及び３つの角度パラメータを含む。ＭＰＳ４５６は、前記測定した座標を表わす座標データをプロセッサ４６０に供給する。
【０１７６】
ＭＰＳ４５６は、体用ＭＰＳセンサ４９０を用いて患者の位置及び向きを検出し、この位置及び向きは、操作中に患者が動く場合に基準の役目をする。オペレータ（図示せず）は、撮像カテーテル４５２を手動で、被検査器官４７４に挿入し、あるいは被検査器官４７４から引き出し、その向きをそれぞれ矢印４７６及び４７８で表わす。
【０１７７】
次に、本発明の一実施例による走査プロセスについて説明する。本実施例は、画像データ、及び位置と向きのデータを、器官の活動に対応させて処理することによって、従来技術の欠点を克服する。
【０１７８】
オペレータは、撮像カテーテル４５２を被検査器官４７４に挿入して、被検査器官４７４内で撮像カテーテル４５２を、向き４７６及び４７８に動かす。画像検出器４７０は、被検査器官４７４の、撮像カテーテル４５２のチップ４７２を取り巻く領域の二次元画像を複数検出して、それぞれの二次元画像の画像信号を撮像システム４５４に供給する。撮像システム４５４は受信した画像信号を分析して、前記二次元画像のディジタル表現を作成して、これらのディジタル表現を画像データとしてプロセッサ４６０に供給する。
【０１７９】
ＭＰＳ４５６は、撮像カテーテル４５２が被検査器官４７４内を移動する間に、ＭＰＳセンサ４６８から受信した信号を用いて、撮像カテーテル４５２の位置及び向き、従って検出した各二次元画像の位置及び向きを測定する。なお、撮像ＭＰＳセンサ４６８の測定値は、撮像カテーテル４５２の移動の向き４７６及び４７８には無関係である。
【０１８０】
ＥＣＧ電極は患者４６２のＥＣＧを検出して、検出したＥＣＧを表わすＥＣＧ信号をＥＣＧモニター４６４に供給する。ＥＣＧモニター４６４は、受信したＥＣＧ信号を分析することによってＥＣＧデータを生成して、このＥＣＧデータをプロセッサ４６０に供給する。
【０１８１】
プロセッサ４６０は、二次元画像、それぞれの位置及び向きのデータ、及びそれぞれのＥＣＧデータを処理して、各二次元画像を、それぞれの位置及び向きのデータ、及びそれぞれのＥＣＧ信号に関連付ける。プロセッサ４６０は、それぞれの二次元画像の位置及び向きのデータ、及びそれぞれの二次元画像のＥＣＧタイミングに従って、各二次元画像を並べ替えて、選択した活動状態に関係する二次元画像から三次元画像を再構成して、選択した活動状態に関係する位置及び向きのデータからカテーテルの軌跡を計算する、等を行う。そしてプロセッサ４６０は、これらの二次元画像を、適応型ボリューム・データベース１１４（図１）のようなデータベースに記憶する。
【０１８２】
例えば図１４を参照すれば、プロセッサ４６０は、ＥＣＧ信号４４２のあらゆるサイクルにおける活動状態Ｔ1中に検出したすべての二次元画像（即ち、時点５１２、５１８、及び５２４で取得した画像）どうしの関連付けを行う。同様に、プロセッサ４６０は、ＥＣＧ信号４４２のあらゆるサイクルにおける活動状態Ｔ2中に検出したすべての二次元画像（即ち、時点５１４、５２０、及び５２６で取得した画像）どうしの関連付けを行って、さらに、ＥＣＧ信号４４２のあらゆるサイクルにおける活動状態Ｔ3中に検出したすべての二次元画像（即ち、時点５１６、５２２、及び５２８で取得した画像）どうしの関連付けを行う。
【０１８３】
プロセッサ４６０は、所定の活動状態Ｔiに関連するすべての二次元画像から三次元画像を再構成する。図１５Ｂに示すように、プロセッサ４６０は、被検査器官４７４の活動状態Ｔ1（図１４）における画像である三次元画像５００を再構成し、そして被検査器官４７４の活動状態Ｔ2における画像である三次元画像５０２を再構成する。同様にプロセッサ４６０は、被検査器官４７４の活動状態Ｔ3における画像である三次元画像５０４を再構成する。
【０１８４】
プロセッサ４６０は、活動状態Ｔ1に関連する時点５１２、５１８、及び５２４から軌跡５０６を計算する。同様にプロセッサ４６０は、活動状態Ｔ2に関連する時点５１４、５２０、及び５２６から軌跡５０８を計算して、さらに、活動状態Ｔ3に関連する時点５１６、５２２、及び５２８から軌跡５１０を計算する。
【０１８５】
プロセッサ４６０は、計算した各軌跡と再構成した三次元画像のうちの１つとを関連付け、これらの軌跡及び三次元画像は、器官の所定の活動状態に関係する。図１５Ｂを参照すれば、プロセッサ４６０は、軌跡５０６と再構成した三次元画像５００とを関連付け、これらは活動状態Ｔ1に関係する。同様に、プロセッサ４６０は、軌跡５０８と再構成した三次元画像５０２とを関連付け、これらは活動状態Ｔ2に関係し、さらに軌跡５１０と再構成した三次元画像５０４とを関連付け、これらは活動状態Ｔ3に関係する。
【０１８６】
軌跡を計算するために用いる点５１２、５１４、５１６、５１８、５２０、５２２、５２４、５２６、及び５２８は、それぞれの点において二次元画像を取得した点でもあるので、プロセッサ４６０は、計算した各軌跡を、それぞれの軌跡に対応する再構成した三次元画像上に重畳することができる。例えばプロセッサ４６０は、軌跡５０６を三次元画像５００上に重畳して、軌跡５０８を三次元画像５０２上に重畳して、軌跡５１０を三次元画像５０４上に重畳する。
【０１８７】
なお、点５１２、５１４、５１６、５１８、５２０、５２２、５２４、５２６、及び５２８は、図１３Ｂの点５２、５４、５６、５８、６０、６２、６４、６６、及び６８が表わす状況と同様の状況を表わす。しかし、本発明によれば、プロセッサ４６０が各三次元画像を再構成し、そして撮像カテーテルのチップの座標に対応する各軌跡を計算して、この座標は、再構成した三次元画像の活動状態と同じ活動状態に属する。
【０１８８】
なお、プロセッサ４６０は、ＭＰＳ４５６から受け取ったデータにより、走査プロセス中の撮像カテーテル４５２の進行速度を監視（モニター）する。なお、三次元ボリュームを十分な画像データで満たすためには、画像検出器４７０の進行毎に所定数の二次元画像が必要である。一部の画像検出器は、所定期間中に多数の画像を検出することしかできない。従ってプロセッサ４６０は、カテーテル４５２の画像検出器４７０の進行速度が所定しきい値以下であることを検出して、これにより、被検査ボリュームのどの所定部分についても、画像検出器４７０が十分な二次元画像を検出していることを判定する。プロセッサ４６０が、画像検出器４７０の進行速度が所定しきい値を超えていることを検出した場合には、プロセッサ４６０が警報信号を発生して、走査が許容外であること、あるいは走査を部分的にやり直すか、または走査全体をやり直すべきであることをオペレータに通知する。そしてオペレータは走査プロセスをやり直す。この警報信号の種類は、オーディオ、視覚、触覚、等である。
【０１８９】
以下において「手術手順」とは、切開を行うこと、組織の試料（サンプル）を収集すること、体液の試料を収集すること、器官内に化学物質を導入すること、手術ツールまたは手術装置を導入することのように、患者の器官に対する生体内（器内）の操作のことを称する。
【０１９０】
次に図１６Ａ、図１６Ｂ、図１６Ｃ、及び図１６Ｄを参照して説明する。図１６Ａは、図１５Ａのシステムをさらに手術手順に適応させたものを図式的に示す図である。図１６Ｂは、本発明のさらなる実施例により構成され、動作するグラフィカル（図形表示）・ユーザ・インタフェース（ＧＵＩ：graphical user interface）を図式的に示す図であり、ＧＵＩ全体を参照番号７３０で参照する。図１６Ｃは、本発明の他の実施例により構成され、動作するＧＵＩを図式的に示す図であり、ＧＵＩ全体を参照番号７６０で参照する。図１６Ｄは、器官の動きに依存する三次元画像列を再構成して、撮像システム、ＭＰＳ、及びＥＣＧモニターから受信した信号を処理することによって、追加的な視覚データをこの三次元画像列上に重畳するプロセスを図式的に示す図である。この追加的な視覚データは、被検査器官内の手術用具の位置、被検査器官内のカテーテルの軌跡、等を含むことができる。
【０１９１】
図１６Ａに示すように、システム４５０はさらに、手術カテーテル４８０、ガイダンス（案内）・ユニット４８２、及びリアルタイム撮像システム４８４を含む。手術カテーテル４８０はさらに、手術ツール４８６、及び手術ツール４８６の先端にカテーテルＭＰＳセンサ４８８を具えている。手術ツール４８６は、手術カテーテル４８０に装着可能で交換可能な多種の手術装置のうちの１つである。なお手術ツール４８６は、鉗子、レーザーカッター、ブラシ、カテーテル、ステント、バルーン、ペースメーカー電極、切除カテーテル、電気生理学的マッピング（地図作成）装置、液剤調剤装置、ニューロン電極、物質収集装置、手術搬送ツール（例えば、遺伝子、薬剤、装置等を搬送する）、内視鏡、撮像装置、等のような慣例のツール、あるいはこれらの組み合わせである。例えば、装置搬送ツールは、永久ステント、着脱可能ステントのような医療装置を患者４６２の体に搬送するための医療ツールとすることができる。カテーテルＭＰＳセンサ４８８はＭＰＳ４５６に結合する。
【０１９２】
ガイダンス・ユニット４８２は手術カテーテル４８０に結合する。ガイダンス・ユニット４８２は、被検査器官内で手術ツールの空間的なナビゲーションを行うための装置である。リアルタイム撮像システム４８４は、患者４６２の体の被検査器官を含む部分のリアルタイム画像を連続的に提供する撮像システムである。リアルタイム撮像システム４８４は、Ｘ線テーブル（検査台）、透視検査装置、超音波システム、ＭＲＩシステム、等である。本実施例では、リアルタイム撮像システム４８４は、患者４６２の体の下に位置しても上に位置してもよく、そしてプロセッサ４６０に結合する。
【０１９３】
オペレータが被検査器官４７４（図１５Ａ）の走査を完了して、プロセッサ４６０が被検査器官４７４の三次元画像を生成すると、撮像カテーテル４５２を被検査器官４７４から除去することができる。そして手術カテーテル４８０を被検査器官内に挿入して、被検査器官４７４に対する手術手順を実行する。
【０１９４】
システム４５０は、記憶している三次元画像を、記憶している患者の器官タイミング信号に同期して再生するか、あるいは任意の速度で順に再生することができる。システム４５０は手術手順中に使用することもでき、この場合には、システム４５０が、記憶している三次元画像を、患者のリアルタイムの器官タイミング信号に同期して再生する。システム４５０は、再生する三次元画像列中に追加的な情報を導入することができる。この追加的な情報は、手術ツールの表現、走査プロセス中に計算した手術ツールの軌跡、リアルタイムの撮像データ、等を含むことができる。
【０１９５】
手術手順中には、ＭＰＳ４５６が、カテーテルＭＰＳセンサ４８８から受信した信号により、手術ツール４８６のリアルタイムの位置及び向きを測定して、ＭＰＳ４５６は、この位置及び向きを表わす座標データをプロセッサ４６０に供給する。リアルタイム撮像システム４８４は、患者４６２の体のリアルタイム画像を取得して、リアルタイム画像データをプロセッサ４６０に供給する。ＥＣＧモニター４６４は、患者４６２の心臓の活動状態を検出して、リアルタイムＥＣＧデータをプロセッサ４６０に供給する。プロセッサ４６０は、手術手順中にリアルタイムで検出した患者４６２の心臓の活動状態に応じて、被検査器官４７４の三次元画像を、ボリューム・データベース１１４（図１）のようなデータベースから選択する。
【０１９６】
プロセッサ４６０は、リアルタイムで検出した患者４６２の心臓の活動状態に応じて、走査プロセス中に計算した軌跡から１つの軌跡を選択する。プロセッサ４６０は、この選択した軌跡を、選択した三次元画像上に重畳する。一旦、手術ツールのＭＰＳセンサの座標系と、予め記憶している三次元画像列の座標系とを合わせると、プロセッサ４６０は、この三次元画像列上に手術ツールの表現を追加することができる。
【０１９７】
なお、プロセッサ４６０はさらに、手術ツールの位置に従って、軌跡の視覚表現を変更することができる。例えばプロセッサ４６０は、軌跡の、手術ツールのチップの位置より後方の部分を選択した一色にして、これにより、手術カテーテルのそれまでの経路を示すことができる。同様に、プロセッサ４６０は、軌跡の、手術ツールのチップの位置より前方の部分を異なる色にして、これにより、医師が手術カテーテルを進めるべき理論的な経路を示す。
【０１９８】
ディスプレイ４６６は、プロセッサ４６０から受信したビデオ信号によりグラフィカル・ユーザ・インタフェース（ＧＵＩ）を表示する。このＧＵＩは、患者の被検査器官に関係する医療情報を含み、これにより、ユーザと被検査器官とのかかわり合いを促進することができる。ＧＵＩは、異なる視点からの被検査器官の画像、あるいは異なる種類の検出器によって検出した被検査器官の画像を表示するための、異なるウィンドウ（表示窓）を含むことができる。これに加えて、ＧＵＩは、器官タイミング信号を表わす情報、及び器官の異なる活動状態に対応する、被検査器官の異なる画像を見るための手段を含むことができる。ＧＵＩは、手術ツールのリアルタイムの位置及び向き、手術ツールの過去及び将来の軌跡、等のような、補助的な情報を含むことができる。
【０１９９】
図１６Ｂに示す実施例では、ＧＵＩ ７３０がウィンドウ７３２及び７３４を含む。ウィンドウ７３２は、再構成した被検査器官外部の三次元ナビゲーション画像７３６を含む。なお、この外部の三次元画像は半透明に再構成することができ、即ち、近い方の壁面を透明にして、これにより遠い方の壁面が近い方の壁面を通して見えるようにする。
【０２００】
本実施例では、被検査器官が患者４６２の下行大動脈７４４である。ウィンドウ７３２はさらに、手術ツールの表現７３８を含み、これは手術ツール４８６と同様に、外部の三次元ナビゲーション画像７３６上に重畳する。
【０２０１】
外部の三次元ナビゲーション画像７３６は、下行大動脈７４４のリアルタイム三次元画像列であり、リアルタイムで検出した患者４６２の心臓の活動状態に対応する。プロセッサ４６０は、ＭＰＳ４５６から受け取ったリアルタイム座標データに従って、リアルタイムの、手術ツール４８６の表現７３８を、外部の三次元ナビゲーション画像７３６上に重畳する。これにより、表現７３８は、手術ツール４８６の、下行大動脈７４４内の現在の位置及び向きを示す。
【０２０２】
本発明の他の実施例によれば、プロセッサ４６０が、リアルタイムで検出した器官の活動状態に応じて、被検査器官の三次元画像を選択して、選択した三次元画像の投影をリアルタイム二次元ナビゲーション画像上に重畳する。図１６Ｂに示す例では、ＧＵＩ７３４が、患者の体の手術中の領域のリアルタイム二次元ナビゲーション画像７５８を含む。この例では、この領域は、患者４６２の心臓７４０、及び上行大動脈７４２、下行大動脈７４４、上行大静脈７４６、肺静脈７４８、腹大動脈７５０、及び下行大静脈７５２のような、心臓７４０につながる静脈及び動脈を含む。
【０２０３】
プロセッサ４６０は、再構成した三次元画像７３６の投影７５４を、リアルタイム撮像システム４８４によって取得したリアルタイム二次元ナビゲーション画像７５８上に重畳して、これにより、組み合わせの二次元画像を作成してウィンドウ７３４内に表示する。プロセッサ４６０はさらに、手術ツール４８６の表現７５６を、リアルタイム二次元ナビゲーション画像７５８上に重畳する。表現７５６は、下行大動脈７４４内の手術ツール４８６の現在の位置及び向きを示す。プロセッサ４６０は、リアルタイムで検出した患者４６２の心臓の活動状態に応じて、投影７５４をリアルタイムで選択して、これにより、リアルタイム二次元ナビゲーション画像７５８の視覚的な動きに追従する。
【０２０４】
なお、リアルタイム撮像システム４８４の、グローバル座標系の原点に対する位置は、発信器４５８に対して固定の所定位置に定めるか、あるいはリアルタイム撮像システム４８４に結合したＭＰＳセンサによって測定するかのいずれかとする。
【０２０５】
プロセッサ４６０は、走査プロセス（図１５Ａ）中に取得したＭＰＳ座標データに従って、二次元画像７５４を、リアルタイム二次元画像７５８中の下行大動脈７４４の実際位置上に重畳する。このようにしてオペレータは、患者４６２の体の強調表示部分（即ちウィンドウ７３４内の投影７５４）にある手術カテーテル４８０の瞬時的な位置及び向きを観測することによって、ガイダンス・ユニット４８２の助けを借りて下行大動脈７４４内の手術カテーテル４８０のナビゲーションを行うことができる。
【０２０６】
ＧＵＩ ７６０はウィンドウ７６２及び７６４を含む。ウィンドウ７６２は、患者４６２の他の被検査器官外部の、再構成した三次元ナビゲーション画像７６６を含む。この場合には、被検査器官は、患者４６２の心臓の、左冠状動脈主幹部及び左前下行冠状動脈（ＬＭ＆ＬＡＤartery：left main & left anterior descending artery）７６６である。ウィンドウ７６２はさらに手術ツールの表現７６８を含み、これは、手術ツール４８６と同様に外部の三次元ナビゲーション画像情に重畳する。
【０２０７】
ウィンドウ７６４は、心臓７７０のリアルタイム二次元ナビゲーション画像７７２を含む。心臓７７０はＬＭ＆ＬＡＤ冠状動脈７７６を具えている。プロセッサ４６０は、再構成した三次元画像７６６の投影７７４を、リアルタイム二次元ナビゲーション画像７７２上に重畳する。プロセッサ４６０はさらに、手術ツール４８６の表現７７８を、リアルタイム二次元ナビゲーション画像７７２上に重畳する。表現７７８は、ＬＭ＆ＬＡＤ冠状動脈７７６内の手術ツール４８６の現在の位置及び向きを示す。
【０２０８】
グラフィック（図形）表現のプロセスがこれに続き、このプロセスでは、プロセッサ４６０が、手術ツールの軌跡、手術ツールの表現、等のような補助的な情報を含む三次元画像を生成する。プロセッサ４６０は、検出した画像データ、ＭＰＳの座標データ、器官のタイミングデータ、等のような異なるデータを処理することによって、三次元画像を生成する。
【０２０９】
図１６Ｄに示すように、プロセッサ４６０は、ＭＰＳの座標データ５５２に従って、複数の二次元画像５５４から被検査器官４７４の三次元画像５０２を再構成し、これらのデータ及び画像のすべてが、ＥＣＧデータ５５６のサイクル中で選択した活動状態に関係する。プロセッサ４６０は、Ｔ2の活動状態に属するすべての二次元画像から三次元画像５０２を再構成する。これに加えて、プロセッサ４６０は、点５１４、５２０、及び５２６から撮像カテーテルのチップの軌跡５５８を作成して、この軌跡は活動状態Ｔ2に対応する。
【０２１０】
システム４５０は、記憶しているＥＣＧデータ、あるいは所定の時間間隔に従って、再構成した画像列、あるいはその元になる取得した二次元画像の選択したサイクルを再生することができる。システム４５０は、再構成した画像列、あるいはその元になる取得した二次元画像の選択したサイクルを、リアルタイムで検出したＥＣＧデータに同期して再生することもできる。
【０２１１】
なお、手術ツールは被検査器官内をリアルタイムで移動するので、その意味では、器官タイミング信号に対して同期する必要はない。しかし、プロセッサ４６０が、画像を取得した座標系を、手術ツールのＭＰＳセンサの座標系と共に記録するか、あるいは、画像取得プロセス及び手術手順用の再生のために、同じ座標系を使用しなければならない。
【０２１２】
次に図１７を参照して説明する。図１７は、本発明のさらなる実施例により構成され、動作する、被検査器官内部の三次元ナビゲーション画像を図式的に示す図であり、図全体を参照番号６００で参照する。内部の三次元ナビゲーション画像６００は、被検査器官４７４（図１５Ａ）のような被検査器官の内壁画像６０２を含み、これは、オペレータが被検査器官の内部に位置するように見える画像である。内部の三次元ナビゲーション画像６００はさらに、手術ツール４８６（図１６Ａ）のような手術ツールの、手術中の現在位置の表現６０４を含む。内部の三次元ナビゲーション画像６００はさらに、手術ツールの現在位置より後方から見た手術カテーテルの表現６０６を含む。内部の三次元ナビゲーション画像６００はさらに、手術ツールの現在位置から見た、撮像カテーテル４５２（図１５Ａ）のような撮像カテーテルの、手術ツールの現在位置に続く将来の軌跡の表現６０８を含む。
【０２１３】
内壁画像６０２は、被検査器官の、画像検出器４７０を取り巻く部分の画像である。軌跡の表現６０８は、図１５Ａの走査プロセス中に、撮像カテーテルのチップが、被検査器官内を進行した軌跡を表現する。軌跡の表現６０８は、被検査器官内で手術カテーテルが追従する理論的な前方経路、即ちオペレータが被検査器官内で手術ツールを前進させるべき経路を表示する。
【０２１４】
次に図１８を参照して説明する。図１８は、本発明の他の実施例により構成され、動作する被検査器官・ＥＣＧ同時表示のディスプレイを図式的に示す図であり、ディスプレイ全体を参照番号６３０で参照する。ＥＣＧ同時表示のディスプレイ６３０は、ＥＣＧタイミング信号６３２、前進ボタン６３４、後退ボタン６３６、静止（フリーズ）ボタン６３８、及び被検査器官４７４（図１５Ａ）のような被検査器官外部の三次元画像６４０を含む。
【０２１５】
外部の三次元画像６４０はウィンドウ６４２内に表示され、この画像はＥＣＧタイミング信号６３２中の活動状態６４４に対応する。オペレータが前進ボタン６３４を押すと、被検査器官外部の三次元画像列がウィンドウ６４２内に表示される。ウィンドウ６４２内に表示される外部の三次元画像の各々が、ＥＣＧタイミング信号６３２中のそれぞれの活動状態に対応し、タイミング信号６３２が矢印６４６で表わす向きに前進するように表示される。
【０２１６】
オペレータが後退ボタン６３６を押すと、被検査器官外部の三次元画像列が順次、ウィンドウ６４２内に表示される。ウィンドウ６４２内に表示される外部の三次元画像の各々が、ＥＣＧタイミング信号６３２中のそれぞれの活動状態に対応し、タイミング信号６３２が矢印６４８で表わす向きに後退するように表示される。
【０２１７】
オペレータが静止ボタン６３８を押すと、選択した活動状態６５０に対応する被検査器官外部の三次元画像がウィンドウ６４２内に表示される。このようにして、ウィンドウ６４２内の被検査器官外部の三次元画像が、活動状態６５０で静止状態に留まり、その間に、医師が被検査器官の三次元画像を検査することができる。
【０２１８】
ウィンドウ６４２内に表示される外部の二次元画像の各々は、システム４５０（図１５Ａ）が走査プロセス中に取得したものである。こうしてオペレータは、被検査器官外部の三次元画像を、患者の心臓が鼓動するようにアニメーション（動画）化して見ることができ、これは時間が進むように見ることも、時間が後戻りするように見ることもできる。あるいはまた、オペレータは、選択した時点で静止ボタン６３８を押すことによって、患者の心臓サイクル中で選択した活動状態に対応する、被検査器官外部の三次元画像を見ることができる。なお、基準リアルタイム画像のような他の画像列（即ち、透視検査画像等のように、ナビゲーション中のロードマップ（道案内図）の役割をするもの）も、静止させることができる。
【０２１９】
次に図１９Ａ及び図１９Ｂを参照して説明する。図１９Ａは、本発明のさらなる実施例により構成され、動作するＧＵＩを図式的に示す図であり、ＧＵＩ全体を参照番号６７０で参照する。図１９Ｂは、本発明の他の実施例により構成され、動作するＧＵＩを図式的に示す図であり、ＧＵＩ全体を参照番号７００で参照する。
【０２２０】
図１９Ａに示すように、ＧＵＩ ６７０は、被検査器官の横断面図６７２、水平目盛（水平ルーラー）６７４、垂直目盛（垂直ルーラー）６７６、複数の垂直ガイド６７８1、６７８2、６７８3、６７８4、６７８5、６７８6、及び複数の水平ガイド６８０1、６８０2、６８０3、６８０4、６８０5、６８０6を含む。横断面図６７２はプラーク６８２の画像を含む。オペレータは、垂直ガイド６７８1、６７８2、６７８3、６７８4、６７８5、６７８6の位置、及び水平ガイド６８０1、６８０2、６８０3、６８０4、６８０5、６８０6の位置を、それぞれ水平目盛６７４上及び垂直目盛６７６上で読み取ることによって、直径、面積、閉塞の％比率、等のような被検査器官の幾何学的パラメータを測定する。オペレータはプラーク６８２の大きさも測定する。あるいはまた、幾何学的パラメータをＧＵＩ ６７０上に書き出すことができる。さらにまた、これらの幾何学的パラメータをスピーカによって報知することができる。
【０２２１】
図１９Ｂに示すように、ＧＵＩ ７００は、被検査器官の縦断面図７０２、水平目盛７０４、垂直目盛７０６、複数の水平ガイド７０８1、７０８2、７０８3、７０８4、７０８5、７０８6、及び複数の垂直ガイド７１０1、７１０2、７１０3、７１０4、７１０5、６８０6を含む。縦断面図７０２はプラーク７１２を含む。オペレータは、垂直ガイド７０８1、７０８2、７０８3、７０８4、７０８5、７０８6の位置、及び水平ガイド７１０1、７１０2、７１０3、７１０4、７１０5、７１０6の位置を、それぞれ水平目盛７０４上及び垂直目盛７０６上で読み取ることによって、直径、面積、閉塞の％比率、等のような被検査器官の幾何学的パラメータを測定する。オペレータはプラーク７１２の大きさも測定する。あるいはまた、幾何学的パラメータをＧＵＩ ７００上に書き出すことができる。さらにまた、幾何学的パラメータをスピーカによって報知することができる。
【０２２２】
次に図２０を参照して説明する。図２０は、本発明のさらなる実施例により構成され、動作するＧＵＩを図式的に示す図であり、ＧＵＩ全体を参照番号７８０で参照する。ＧＵＩ ７８０は、ウィンドウ７８２、７８４、７８６、及び７８８、ＥＣＧタイミング信号７９０、前進ボタン７９２、後退ボタン７９４、及び静止ボタン７９６を含む。ＧＵＩ ７８０は量的モデルを提供し、ユーザはこのモデルによって、患者の体内におけるナビゲーション・プロセスの現実的な概念を獲得する。
【０２２３】
ウィンドウ７８２は、図１６Ｂのウィンドウ７３２と同様である。ウィンドウ７８４は、図１７の被検査器官の内部画像６００と同様の画像を含む。
【０２２４】
ウィンドウ７８６は、画像検出器が被検査器官の内部に位置する間の、履歴的な被検査器官の二次元画像を含む。ウィンドウ７８８は図１６Ｂのウィンドウ７３４と同様である。ＥＣＧタイミング信号７９０は、図１８のＥＣＧタイミング信号６３２と同様である。前進ボタン７９２、後退ボタン７９４、及び静止ボタン７９６はそれぞれ、図１８の前進ボタン６３４、後退ボタン６３６、及び静止ボタン６３８と同様である。
【０２２５】
次に図２１を参照して説明する。図２１は、本発明の他の実施例により構成され、動作する、図１６Ａのシステムにおける手術ツールのチップの位置及び向きに従って修正した軌跡を図式的に示す図である。手術中には、オペレータは手術ツール４８６（図１６Ａ）を順次、点５１２、５８０、５２４に置く。点５１２及び５２４は軌跡５０６上に位置し、軌跡５０６は、プロセッサ４６０が走査プロセス中に、撮像カテーテル４５２（図１５Ａ）のチップ４７２の軌跡に従って作成したものである。軌跡５０６は、点５１２、５１８、及び５２４によって規定され、点５８０は軌跡５０６上に位置しない。プロセッサ４６０は、軌跡５０６に対する修正を行って、点５１２、５８０、及び５２４によって規定される修正軌跡５８２を作成し、従ってディスプレイ４６６は修正軌跡５８２を、外部の三次元ナビゲーション画像５００上に重畳させて表示する。
【０２２６】
次に図２２を参照して説明する。図２２は、本発明のさらなる実施例により構成され、動作する、図１５Ａのシステム４５０を動作させる方法を図式的に示す図である。手順８２０では、被検査器官の器官タイミング信号を検出する。図１５Ａに示すように、ＥＣＧモニター４６４が、ＥＣＧタイミング信号４４２（図１４）のような、患者４６２の心臓の活動状態を検出する。
【０２２７】
手順８２２では、被検査器官の二次元画像を複数、画像検出器によって検出する。図１５Ａに示すように、画像検出器４７０は、被検査器官４７４の二次元画像５５４（図１６Ｄ）を検出する。この画像検出器は、超音波検出器、ＯＣＴ検出器、ＭＲＩ装置、サーモグラフィー装置、等とすることができる。
【０２２８】
手順８２４では、画像検出器の位置及び向きを検出する。図１５Ａに示すように、撮像ＭＰＳセンサ４８６が画像検出器４７０の位置及び向きを検出する。
【０２２９】
各二次元画像は、画像検出器の位置及び向きの検出値、及びそれぞれの器官タイミング信号の読み取り値に関連する。図１５Ａ及び図１６Ｄに示すように、プロセッサ４６０は、各二次元画像５５４を、画像検出器４７０のぞれぞれのＭＰＳ座標データ５５２、及びＥＣＧタイミング信号５５６のそれぞれの活動状態に関連付ける。
【０２３０】
手順８２８では、前記二次元画像から複数の三次元画像を再構成する。再構成した三次元画像の各々が、器官タイミング信号中で選択した位置に対応する。図１４、図１５Ａ、及び図１５Ｂに示すように、プロセッサ４６０は、外部の三次元ナビゲーション画像５００、５０２、及び５０４を再構成して、これらはそれぞれ、活動状態Ｔ1、Ｔ2、及びＴ3に対応する。患者４６２の心臓が例えば活動状態Ｔ2にある際には、プロセッサ４６０は外部の三次元ナビゲーション画像５０２を選択する（手順８３０）。
【０２３１】
手順８３２では、手術ツールの位置及び向きを検出する。図１６Ａに示すように、カテーテルＭＰＳセンサ４８８が手術ツール４８６の位置及び向きを検出して、プロセッサ４６０が、検出した位置及び向きに従って、手術ツール４８６の表現を、選択した三次元画像上に重畳する（手順８３４）。
【０２３２】
手順８３６では、リアルタイム画像を検出する。図１６Ａに示すように、リアルタイム撮像システム４８４が、患者４６２の体の、被検査器官４７４を含む部分のリアルタイム画像を検出する。
【０２３３】
手順８３８では、選択した三次元画像の投影を、検出したリアルタイム画像上に重畳する。図１６Ｂに示すように、プロセッサ４６０は、再構成した三次元画像７３６の投影リアルタイム二次元ナビゲーション画像７５８上に重畳する。なお、この手順の結果として、実際に患者の体内のナビゲーションを行うような、非常に現実的な概念をユーザに提供する量的モデルができる。
【０２３４】
手順８４０では、画像を重畳した結果を表示する。図１６Ａ及び図１６Ｂに示すように、手術ツール４８６の表現７５６をリアルタイム二次元ナビゲーション画像７５８上に重畳したもの、及び再構成した三次元画像７３６をリアルタイム二次元ナビゲーション画像７５８上に重畳したものを、ディスプレイ４６６に表示する。
【０２３５】
本発明の他の要点によれば、システム４５０は、被検査器官の再構成した三次元画像を、閉塞領域にマーク（目印）を付けて表示する。さらに、オペレータはシステム４５０に、被検査器官の、閉塞が選択した限度以上である領域のみにマークを付けるように指示することができる。
【０２３６】
次に図２３Ａ、２３Ｂ、及び２３Ｃを参照して説明する。図２３Ａは、複数の閉塞領域を有する動脈の図であり、動脈全体を参照番号８５０で参照する。図２３Ｂは、図２３Ａの動脈８５０の選択領域の断面図である。図２３Ｃは、図２３Ｂの動脈を、本発明の他の実施例により構成され、動作するグラフィカル・ユーザ・インタフェース（ＧＵＩ）で表現したものを図式的に示す図であり、ＧＵＩ全体を参照番号８６０で参照する。
【０２３７】
動脈８５０は、プラーク８５２、８５４、及び８５６を有する。なお、プラーク８５２、８５４、及び８５６は、一箇所に固定でも動的でもあり得る。プラーク８５２、８５４、及び８５６はそれぞれ、動脈８５０の７５％、６０％、８０％を閉塞している。図２３Ｂの斜線を付けた領域は、動脈８５０内のプラーク８５２による阻害を表わし、内腔８５８が血流用の開口部として残されている。
【０２３８】
プロセッサ４６０は、プラークの種類、プラーク密度、等のようなパラメータを考慮に入れる複数の方法によって、閉塞の％比率を測定することができる。次式は、こうした方法の簡単な例である。
【数１】
ここに、％BLOCKEDは閉塞の％比率を表わし、ＳLUMENは内腔８５８の断面積を表わし、ＳARTERYは動脈８５０の内部の総断面積である。
【０２３９】
ＧＵＩ ８６０は、グラフィック・ウィンドウ（図形表示窓）８６２を含む。グラフィック・ウィンドウ８６２は、動脈８５０の再構成した三次元画像８６４、及び比率選択ウィンドウ８６６を含む。比率選択ウィンドウ８６６は、増減（グラデーション）バー８７４、ポインタ（指針）８７６、及び数値ボックス８７８を含む。オペレータは、マウス、ディジタル・タブレット（座標指示入力盤）とスタイラス（入力ペン）、等のような指示装置を用いて、ポインタ８７６を増減バー８７４上でドラッグする（引きずる）ことによって、閉塞の％比率のしきい値を設定することができる。あるいはまた、オペレータは、選択した閉塞の％比率のしきい値を、キーボード、マイクロホン、等のようなユーザ・インタフェースによって、数値ボックス８７８内に入力することができる。図２３Ｂに示す例では、数値ボックス８７８内に選択した比率の数値７０％が示されてある。
【０２４０】
次にシステム４５０は、再構成した三次元画像上の、選択した閉塞の％比率以上に閉塞した領域のみにマークを付ける。図２３Ｂに示す例では、再構成した三次元画像８６４内で、動脈８５０の、７０％以上閉塞した領域のみにマークを付けてある。７０％を超えるプラーク８５２及び８５６はそれぞれ、再構成した三次元画像８６４上のマークを付けた領域８６８及び８７０で表わす。マークを付けた領域８６８及び８７０は、異なる色合いにすること、斜線を付けること、アニメーション（動画）化すること、等によって、再構成した三次元画像８６４の残りの部分との区別を付ける。
【０２４１】
なお、システム４５０は、ユーザが自分の医学的知識及び経験によって、例えばプラーク部分がシステムの表示と異なるはずであることを検出した場合には、ユーザがスクリーン上のマークを手動で修正することを可能にする。例えば、ウィンドウ７８６（図２０）内に表示された画像がプラーク８５２に関する追加的な情報を提供し、この情報により、プラーク８５２による閉塞がスクリーン上に示されているよりも少ないことをユーザが検出した場合には、ユーザはこれをもとに、スクリーン上のプラーク８５２にマークを付けることができる。さらになお、システム４５０は、内腔の種々の層（即ち、媒質、外膜、最内の各層）を、ＧＵＩ ８６０内に異なる色で表示することができる。
【０２４２】
次に図２４を参照して説明する。図２４は、本発明のさらなる実施例により動作する図２３Ｃのグラフィカル・ユーザ・インタフェースが動作する方法を図式的に示す図である。手順９００では、閉塞の値を受け取る。図２３Ｃに示すように、オペレータが選択ウィンドウ８６６によって閉塞のしきい値７０％を設定して、プロセッサ４６０はこの選択した閉塞のしきい値を受け取る。
【０２４３】
手順９０２では、被検査器官について複数の閉塞の値を測定する。図２３Ａに示すように、プロセッサ４６０は、プラーク８５２、８５４、及び８５６がそれぞれ、動脈８５０の７５％、６０％、８０％を阻害している。
【０２４４】
手順９０４では、前記測定した閉塞の値を、前記選択した閉塞のしきい値と比較する。図２３Ａ及び図２３Ｃに示すように、プロセッサ４６０は、プラーク８５２、８５４、及び８５６のそれぞれの閉塞の値７５％、６０％、及び８０％を、前記選択した閉塞のしきい値７０％と比較する。
【０２４５】
手順９０６では、上記比較の結果により、少なくとも１つの閉塞領域を特定する。図２３Ａ及び図２３Ｃに示すように、プロセッサ４６０は、プラーク８６８及び８７０が、表示すべき閉塞領域であるものと判定する。これは、プラーク８６８及び８７０の閉塞の％比率（それぞれ７５％及び８０％）は前記選択したしきい値７０％よりも大きいが、プラーク８５４の閉塞の％比率（即ち６０％）は７０％未満だからである。図２３Ｃに示すように、プラーク８５２及び８５６はそれぞれ、再構成した三次元画像８６４内でマークを付けた領域８６８及び８７０として表現する（手順９０８）。
【０２４６】
本発明の他の要点によれば、被検査器官の選択した活動状態における三次元画像を、被検査器官の他の活動状態中に検出した被検査器官の二次元画像から再構成する。三次元画像を再構成するために、より多くの二次元画像が利用可能なので、プロセッサ４６０は、被検査器官のこの活動状態におけるより詳細な三次元画像を再構成することができる。なお、本発明のこの要点は、変形を無視できる器官、及び変形が既知である器官に適用可能である。
【０２４７】
この場合には、被検査器官は、動脈、気管支、食道、等のように、器官タイミング信号のすべての活動状態において、その幾何学的形状がほぼ一定に保たれ、管の位置及び向きのみが変化する管である。プロセッサ４６０は、異なる活動状態で検出した管の二次元画像を、選択した活動状態で検出した二次元画像に組み入れて、組み入れた二次元画像の座標（即ち位置及び向き）を、選択した活動状態で検出した座標に変更する。
【０２４８】
次に図２５Ａ、図２５Ｂ、及び図２５Ｃを参照して説明する。図２５Ａは、３つの異なる活動状態における管の画像を図式的に示す図であり、管全体をそれぞれ、参照番号９５０、９５２、及び９５４で参照する。図２５Ｂは、本発明の他の実施例により、１つの活動状態で取得した二次元画像のうちの１つを他の活動状態に平行移動する様子を図式的に示す図である。図２５Ｃは、図２５Ａの１つの活動状態における管の画像を、図２５Ｂの実施例によって、他の２つの活動状態で検出した管の二次元画像から再構成したものを図式的に示す図である。図２５Ｄは、図２５Ａの他の活動状態における管の画像を、図２５Ｂの実施例によって、これ以外の２つの活動状態で検出した管の二次元画像から再構成したものを図式的に示す図である。
【０２４９】
図２５Ａに示すように、被検査器官４７４（図１５Ａ）の三次元画像９５０は、活動状態Ｔ1中に検出した二次元画像９５６1、９５６2、９５６3、及び９５６4から再構成する。活動状態Ｔ1中の撮像カテーテル４５２の経路を軌跡９５８で表わす。被検査器官４７４の三次元画像９５２は、活動状態Ｔ2中に検出した二次元画像９６０1、９６０2、９６０3、及び９６０4から再構成する。活動状態Ｔ2中の撮像カテーテル４５２の経路を軌跡９６２で表わす。被検査器官４７４の三次元画像９５４は、活動状態Ｔ3中に検出した二次元画像９６４1、９６４2、９６４3、９６４4、及び９６４5から再構成する。活動状態Ｔ3中の撮像カテーテル４５２の経路を軌跡９６６で表わす。
【０２５０】
二次元画像９５６1、９５６2、９５６3、及び９５６4の座標は、それぞれ点９６８1、９６８2、９６８3、及び９６８4で表わす。二次元画像９６０1、９６０2、９６０3、及び９６０4の座標は、それぞれ点９７０1、９７０2、９７０3、及び９７０4で表わす。二次元画像９６４1、９６４2、９６４3、９６４4、及び９６４5の座標は、それぞれ点９７２1、９７２2、９７２3、９７２4、及び９７２5で表わす。
【０２５１】
なお、プロセッサ４６０は、被検査器官４７４の異なる活動状態中に、撮像カテーテルが被検査器官４７４の内部で辿るものと想定される経路の、異なる軌跡９５８、９６２、及び９６６の各々を計算する。さもなければ、軌跡９５８、９６２、及び９６６は同じ走査プロセスに属し、そして同じ期間中に通る軌跡である。従って、軌跡９５８、９６２、及び９６６のそれぞれの始点を表わす点９６８1、９７０1、及び９７２1は、同じ時点に属する。同様に、軌跡９５８、９６２、及び９６６のそれぞれの終点を表わす点９６８4、９７０4、及び９７２5は、他の時点に属する。従って、１つの活動状態に属し、かつ１つの軌跡上の特定位置に存在する二次元画像は、他の軌跡上の対応する位置に平行移動することができ、そして他の活動状態に平行移動することができ、上記対応する位置への平行移動は、軌跡の始点から二次元画像までの距離の、軌跡の全長に対する比率が、移動元の軌跡と移動先の軌跡とで同じになるように行う。
【０２５２】
図２５Ｂに示すように、二次元画像９６０2は活動状態Ｔ2で取得したものであり、この二次元画像に関連する座標は点９７０2で表わされる。プロセッサ４６０は、軌跡９５８上の画像９６０2を移動した座標を特定し、ここでプロセッサ４６０は、これらの座標は撮像ＭＰＳセンサ４６８によって検出したものであり、かつこの画像は活動状態Ｔ1中に取得したものである、という仮定の下で動作する。
【０２５３】
本実施例では、プロセッサ４６０がこれらの新たな座標を特定し、ここでは、動脈の長さの変化が、すべての活動状態を通して小さい、ということを利用する。ここで、点９７０1から点９７０2までの距離（即ち軌跡９６２の始点からの距離）の、軌跡９６２の全長（即ち、点９７０1から点９７０4まで）に対する比率がｂに等しいものとする。プロセッサ４６０は、移動先の軌跡９５８上で、点９６８1からの距離の、軌跡９５８の全長に対する比率がｂとなる位置を、平行移動先の座標として特定し、これを軌跡９５８上の点９７０2Tで表わす。そしてプロセッサ４６０は、点９７０2Tで表わされる平行移動先の座標を用いることによって、活動状態Ｔ2の二次元画像９６０2を用いて、活動状態Ｔ1に関連する三次元画像を再構成することができる。
【０２５４】
図２５Ｃに示すように、プロセッサ４６０は次の方法で、被検査器官４７４の活動状態Ｔ1における三次元画像９７４を再構成する。プロセッサ４６０は、二次元画像９６０2を活動状態Ｔ2から活動状態Ｔ1に平行移動して、上記のように平行移動した二次元画像９６０2Tとする。
【０２５５】
プロセッサ４６０は、点９７２2が軌跡９６６上で、軌跡の始点から点９７２2までの距離の、軌跡の全長に対する比率がｃである位置に存在することを特定する。プロセッサ４６０は、軌跡９５８上に点９７２2Tで表わす座標を、点９７２2を平行移動先の座標として特定し、このことは、軌跡９５８の始点から点９７２2Tまでの距離の、軌跡９５８の全長に対する比率を同じｃにすることによって行う。そしてプロセッサ４６０は、二次元画像９６４2を活動状態Ｔ3から活動状態Ｔ1に平行移動して、平行移動した二次元画像９６４2Tとする。
【０２５６】
プロセッサ４６０は、点９７２3が軌跡９６６上で、軌跡の始点から点９７２3までの距離の、軌跡の全長に対する比率がｄである位置に存在することを特定する。プロセッサ４６０は、軌跡９５８上に点９７２3Tで表わされる座標を、点９７２3を平行移動先の座標として特定し、このことは、軌跡９５８の始点から点９７２3T距離の、軌跡９５８の全長に対する比率を同じｄにすることによって行う。そしてプロセッサ４６０は、二次元画像９６４3を活動状態Ｔ3から活動状態Ｔ1に平行移動して、平行移動した二次元画像９６４3Tにする。同様にプロセッサ４６０は、平行移動した二次元画像９６４1T、９６０1T、９６０3T、９６４4T、９６４5T、及び９６０4Tのそれぞれの座標である、点９７２1T、点９７０1T、点９７０3T、点９７２4T、点９７２5T、及び点９７０4Tで表わされる平行移動先の座標を特定する。
【０２５７】
このようにして、プロセッサ４６０は、画像９６４1T、９６０1T、９５６1、９６０2T、９６４2T、９５６2、９６４3T、９６０3T、９５６3、９６４4T、９５６4、９６４5T、及び９６０4Tから、三次元画像９５０を再構成することになり、これらの平行移動した二次元画像は、元の二次元画像９５６1、９５６2、９５６3、及び９５６4（図２５Ａ）よりも実質的に多数である。従ってプロセッサ４６０は、三次元画像９５０よりも実質的により詳細な三次元画像９７４を再構成することができる。
【０２５８】
図２５Ｄに示すように、プロセッサ４６０は、活動状態Ｔ2における三次元画像９７６を、元の二次元画像９６０1、９６０2、９６０3、９６０4、及び活動状態Ｔ1及びＴ3に属する追加的な二次元画像から再構成する。これらの追加的な二次元画像の一部は、参照番号９５６1、９５６2、９５６3、及び９５６4を付けたものであり、これらは活動状態Ｔ1からＴ2に平行移動して、それぞれ平行移動した二次元画像９５６1T、９５６2T、９５６3T、及び９５６4Tとしたものである。平行移動した二次元画像９５６1T、９５６2T、９５６3T、及び９５６4Tはそれぞれ、９６８1T、９６８2T、９６８3T、及び９６８4Tで表わされる平行移動先の座標を有する。他の追加的な二次元画像は参照番号９６４1、９６４2、９６４3、９６４4、及び９５６5を付けたものであり、これらは活動状態Ｔ3からＴ2に平行移動して、それぞれ平行移動した二次元画像９６４1T、９６４2T、９６４3T、９６４4T、及び９５６5Tとしたものである。平行移動した二次元画像９６４1T、９６４2T、９６４3T、９６４4T、及び９５６5Tはそれぞれ、９７２1T、９７２2T、９７２3T、９７２4T、及び９７２5Tで表わされる平行移動先の座標を有する。
【０２５９】
なお、三次元画像９７６は実質的に多数の二次元画像から再構成したものであるので、三次元画像９７６は、１つの活動状態のみに属する二次元画像から再構成した三次元画像９５２よりも実質的により細密である。さらになお、プロセッサ４６０は、活動状態毎に細密な三次元画像を、再構成を行う活動状態に属する二次元画像に加えて、他のすべての活動状態に属するすべての二次元画像から再構成することができる。
【０２６０】
次に図２６を参照して説明する。図２６は、本発明のさらなる実施例により動作する、三次元画像を再構成する方法を図式的に示す図である。手順１０００では、活動状態を選択する。図１４、図１５Ａ、図２５Ａ、及び図２５Ｃに示すように、プロセッサ４６０が活動状態Ｔ1を選択して、この活動状態について三次元画像９７４を再構成することになる。
【０２６１】
手順１００２では、前記選択した活動状態以外の活動状態に属する補助的な二次元画像の平行移動先の座標を、これらの補助的な二次元画像の元の座標、及び前記選択した活動状態に関連する軌跡の座標によって特定する。図２５Ｂに示すように、プロセッサ４６０は、活動状態Ｔ2に属する二次元画像９６０2の平行移動先である、点９７０2Tで表わされる座標を特定する。この平行移動先の座標は、点９７０2で表わされる二次元画像９６０2の元の座標、及び軌跡９５８（即ち、点９６８1、９６８2、９６８3、及び９６８4で表わされる座標）により特定する。
【０２６２】
手順１００４では、前記補助的な二次元画像を、前記平行移動先の座標によって、前記選択した活動状態に関連付ける。図２５Ｂに示すように、プロセッサ４６０は、二次元画像９６０2を活動状態Ｔ1に関連付けて、平行移動先の座標９７０2Tにある平行移動した二次元画像９６０2Tとする。この時点では、この方法は、前記選択した活動状態以外の活動状態における補助的な二次元画像を、前記選択した活動状態に関連付けるまで、手順１００２に繰返し戻る。図２５Ｃに示すように、活動状態Ｔ2の属する二次元画像９６０1、９６０3、９６０4、及び活動状態Ｔ3に属する二次元画像９６４1、９６４2、９６４3、９６４4、９６４5を、活動状態Ｔ1に関連付けて、平行移動した二次元画像９６０1T、９６０3T、９６０4T、９６４1T、９６４2T、９６４3T、９６４4T、及び９６４5Tとする。これらの平行移動した二次元画像の前記平行移動先の座標はそれぞれ、点９７０1T、９７０3T、９７０4T、９７２1T、９７２2T、９７２3T、９７２4T、及び９７２5Tで表わされる。
【０２６３】
手順１００６では、三次元画像を再構成する。図２５Ｃに示すように、プロセッサ４６０は三次元画像９７４を、二次元画像９５６1、９５６2、９５６3、９５６4、及び補助的な二次元画像９６０1、９６０2、９６０3、９６０4、９６４1、９６４2、９６４3、９６４4、９６４5から再構成する。
【０２６４】
次に図２７Ａ及び図２７Ｂを参照して説明する。図２７Ａは、複数の枝を含む管の部分を図式的に示す図であり、この部分全体を参照番号１０３０で参照する。管１０３０は、動脈、静脈、気管支、等の、複数の分岐を具えた部分である。図２７Ｂは、本発明の他の実施例により構成され、動作するグラフィカル・ユーザ・インタフェース（ＧＵＩ）を図式的に示す図であり、ＧＵＩ全体を参照番号１０６０で参照する。
【０２６５】
図２７Ａに示すように、管１０３０は、側枝１０３２、１０３４、１０３６、及び２つの主枝１０３８、１０４０を含む。側枝１０３２、１０３４、及び１０３６はそれぞれ、管１０３０の分岐領域１０４２、１０４４、及び１０４６から出るように分岐する。
【０２６６】
図２７Ｂに示すように、ＧＵＩ １０６０はウィンドウ１０６２を含む。ウィンドウ１０６２は、管１０３０の三次元画像１０６４を含む。三次元画像１０６４は、主部１０６６、枝１０６８及び１０７０、複数の開口部１０７２、１０７４、及び１０７６、複数のマーク（目印）１０７８、１０８０、及び１０８２、軌跡１０８４、及び手術ツールの表現１０８６を含む。主部１０６６は管１０３０を表現する。枝１０６８及び１０７０はそれぞれ、主枝１０３８及び１０４０を表現する。
【０２６７】
プロセッサ４６０（図１５Ａ）は、オペレータが撮像カテーテル４５２のような撮像カテーテルを用いて管１０３０及び主枝１０３８、１０４０を走査する走査プロセス中に、三次元画像１０６４を再構成する。撮像カテーテルが、領域１０４２、１０４４、及び１０４６を通過しながら管１０３０の内部を移動する間に、画像検出器４７０のような、画像カテーテルの画像検出器が、分岐領域１０４２、１０４４、及び１０４６を、管１０３０壁にある複数の開口部として検出する。
【０２６８】
ＧＵＩ １０６０は、分岐領域１０４２、１０４４、及び１０４６をそれぞれ、開口部１０７２、１０７４、及び１０７６として表示する。ＧＵＩ １０６０はさらに、それぞれの開口部１０７２、１０７４、及び１０７６の付近の、それぞれマーク１０７８、１０８０、及び１０８２を、それぞれ分岐領域１０４２、１０４４、及び１０４６の指標として表示する。各マーク１０７８、１０８０、及び１０８２は、ポリゴン（多角形）、閉曲線、開曲線、終端付きの直線、無終端の直線、色分け、アニメーション（動画）、等にすることができる。
【０２６９】
軌跡１０８４は、走査プロセス中に撮像カテーテルが追従してきた経路のうちの１つを示す。表現１０８６は、管１０３０の内部における、手術ツール４８６（図１６Ａ）のような手術ツールの位置及び向きを表わす。ＧＵＩ １０６０を用いることによって、オペレータは手術手順中に、管１０３０を通る手術ツールのナビゲーションを行って、管１０３０の側枝を選択する。なお、システム４５０は、再構成した被検査器官のモデルによって、内部モデル、リアルタイムで取得した画像上に重畳した量的モデル、等のような種々の表現を導出することができる。
【０２７０】
本発明が、以上において説明及び図示した特定事項に限定されないことは、当業者にとって明らかである。本発明の範囲は請求項のみによって規定される。
【図面の簡単な説明】
【０２７１】
【図１】本発明の実施例により構成され、動作する、多機能三次元撮像システムを図式的に示す図である。
【図２Ａ】本発明の他の実施例により構成され、動作する、体内放射方向超音波撮像システムの透視図である。
【図２Ｂ】検査する管の壁面の、複数の、放射方向の二次元画像の透視図である。
【図２Ｃ】図１のＭＰＳシステムの詳細を図式的に示す図であり、本発明のさらなる実施例により構成され、動作する。
【図３】所定座標系内の二次元画像を図式的に示す図である。
【図４】複数の二次元画像の透視図、及び器官タイミング信号の図である。
【図５Ａ】本発明の他の実施例による複数の三次元ボリュームを図式的に示す図である。
【図５Ｂ】画像再構成の後段における、図５Ａの三次元画像の一部を図式的に示す図である。
【図５Ｃ】図５Ａの三次元画像を選択して図式的に示す図であり、画像更新の手順を実行中である。
【図５Ｄ】外部オブジェクトの情報を含む二次元画像を図式的に示す図である。
【図６】本発明のさらなる実施例により動作する、図１の三次元撮像システムの動作方法を図式的に示す図である。
【図７Ａ】本発明の他の実施例により構成され、動作する、リアルタイム三次元表示再生システムを図式的に示す図である。
【図７Ｂ】患者の熱の三次元画像を表示する、図７Ａのゴーグルを図式的に示す図である。
【図８】本発明のさらなる実施例による、周期的な三次元画像列の透視図である。
【図９】本発明の他の実施例により動作する、画像重畳プロセスを図式的に示す図である。
【図１０】本発明のさらなる実施例により動作する、図７Ａのシステムが動作する方法を図式的に示す図である。
【図１１】本発明の他の実施例により構成され、動作する、管内撮像兼手術システムの透視図である。
【図１２】本発明のさらなる実施例により構成され、動作する、多機能二次元撮像システムを図式的に示す図である。
【図１３Ａ】従来技術において既知である、器官の三次元画像を表示するシステムを図式的に示す図である。
【図１３Ｂ】患者の動脈内部における、図１３Ａのシステムのカテーテルの撮像端の軌跡を図式的に示す図である。
【図１４】患者のＥＣＧを図式的に示す図である。
【図１５Ａ】本発明の他の実施例により構成され、動作するシステムを図式的に示す図である。
【図１５Ｂ】図１４のＥＣＧの異なる活動状態のそれぞれにおける、図１５Ａのシステムの撮像カテーテルの先端の軌跡を図式的に示す図である。
【図１６Ａ】さらに手術手順に適応させた、図１５Ａのシステムを図式的に示す図である。
【図１６Ｂ】本発明のさらなる実施例により構成され、動作するグラフィカル・ユーザ・インタフェース（ＧＵＩ）を図式的に示す図である。
【図１６Ｃ】本発明の他の実施例により構成され、動作するグラフィカル・ユーザ・インタフェースを図式的に示す図である。
【図１６Ｄ】器官の動きに依存する三次元画像を再構成して、追加的な視覚データをこの三次元画像上に重畳するプロセスを図式的に示す図である。
【図１７】本発明のさらなる実施例により構成され、動作する、被検査器官内部の三次元ナビゲーション画像を図式的に示す図である。
【図１８】本発明の他の実施例により構成され、動作する、被検査器官とＥＣＧの同時表示のディスプレイを図式的に示す図である。
【図１９Ａ】本発明のさらなる実施例により構成され、動作するＧＵＩを図式的に示す図である。
【図１９Ｂ】本発明の他の実施例により構成され、動作するＧＵＩを図式的に示す図である。
【図２０】本発明のさらなる実施例により構成され、動作するＧＵＩを図式的に示す図である。
【図２１】本発明の他の実施例による、図１６Ａのシステムにおける手術ツールの先端の位置及び向きに従って修正した軌跡を図式的に示す図である。
【図２２】本発明のさらなる実施例による、図１５Ａのシステムの動作方法を図式的に示す図である。
【図２３Ａ】複数の閉塞領域を有する動脈を図式的に示す図である。
【図２３Ｂ】図２３Ａの動脈の選択領域の断面図である。
【図２３Ｃ】図２３Ｂの動脈を、本発明の他の実施例により動作するＧＵＩで表現したものを図式的に示す図である。
【図２４】本発明のさらなる実施例により動作する図２３ＣのＧＵＩが動作する方法を図式的に示す図である。
【図２５Ａ】３つの異なる活動状態における管の画像を図式的に示す図である。
【図２５Ｂ】本発明の他の実施例により、１つの活動状態において取得した二次元画像のうちの１つを他の状態に平行移動する様子を図式的に示す図である。
【図２５Ｃ】図２５Ａの１つの活動状態における管の画像を図式的に示す図であり、他の２つの活動状態において検出した管の画像から、図２５Ｂの実施例に従って再構成したものである。
【図２５Ｄ】図２５Ａの他の活動状態における管の画像を図式的に示す図であり、他の２つの活動状態において検出した管の画像から、図２５Ｂの実施例に従って再構成したものである。
【図２６】本発明のさらなる実施例により動作する、三次元画像を再構成する方法を図式的に示す図である。
【図２７Ａ】複数の枝を含む管の部分を図式的に示す図である。
【図２７Ｂ】本発明の他の実施例により構成され、動作するＧＵＩを図式的に示す図である。
【符号の説明】
【０２７２】
１０ システム
１２ カテーテル
１４ 引戻し装置
１６ 処理システム
１８ 胸部ハーネス
２０ ハンドル
２２ 患者
２４ ワイヤ
２６ ワイヤ
２８ ワイヤ
３０ ワイヤ
１００ 三次元撮像システム
１０２ 主コンピュータ
１０４ 二次元画像取得装置
１０６ ＥＣＧモニター
１０８ 医療用位置決めシステム
１１０ フレーム・グラバー
１１２ ディジタル三次元画像再構成器
１１４ 適応型立体データベース
１１６ 画像重畳プロセッサ
１１８ 画像トランスデューサ
１２０ 手術ツール
１２８ ＥＣＧ電極
１３０ ディスプレイ
１４０ 検査領域
１５０ 位置及び向きのプロセッサ
１５２ 発信器インタフェース
１５４ ルックアップ・テーブル・ユニット
１５６ ディジタル−アナログ変換器
１５８ 増幅器
１６０ 発信器
１６２ ＭＰＳセンサ
１６４ アナログ−ディジタル変換器
１６６ センサ・インタフェース
１７０ 体内放射方向超音波撮像システム
１７２ 体内放射方向画像トランスデューサ
１７４ 手術ツール
１７６ ＭＰＳセンサ
１７８ ＭＰＳセンサ
１８０ 装着カテーテル
１８２ 拡張カテーテル
１８６ 座標系
１８８ 器官タイミング信号
１９０ 二次元画像
１９２ ベクトル
１９４ 選択点
１９８ 小区分
１９９ 区分
２００ 三次元ボリューム
２７０ リアルタイム三次元表示再生システム
２７２ 画像重畳プロセッサ
２７４ 適応型ボリューム・データベース
２７６ レンダラ
２７８ ＥＣＧモニター
２８０ 拡張カテーテル
２８２ ゴーグル
２８４ ディスプレイ
２８６ 同期プロセッサ
２８８ 医療用位置決めシステム
２９０ 手術ツール
２９４ ＭＰＳセンサ
２９６ ＭＰＳセンサ
２９８ ＭＰＳセンサ
３１８ ＭＰＳセンサ
３２６ 座標系
３２８ 手術ツール
３３０ 三次元画像
３５０ 管内撮像兼手術システム
３５２ 管内超音波システム（ＩＶＵＳ）トランスデューサ
３５４ 手術ツール
３５６ ＭＰＳセンサ
３５８ ＭＰＳセンサ
３６０ 装着カテーテル
３６２ 拡張カテーテル
３６４ 表面
４００ 二次元撮像システム
４０２ 主コンピュータ
４０４ 二次元画像取得装置
４０６ ＥＣＧモニター
４０８ 医療位置決めシステム（ＭＰＳ）
４１０ フレーム・グラバー
４１４ 画像データベース
４１６ 画像重畳プロセッサ
４１８ 画像トランスデューサ
４２０ 手術ツール
４２８ ＥＣＧ電極
４３０ ディスプレイ
４３２ ＭＰＳセンサ
４４２ ＥＣＧ信号
４４４ 心臓サイクル
４４６ 心臓サイクル
４４８ 心臓サイクル
４５０ システム
４５２ 撮像カテーテル
４５４ 撮像システム
４５６ ＭＰＳ
４５８ 発信器
４６０ プロセッサ
４６２ 患者
４６４ ＥＣＧモニター
４６６ ディスプレイ
４６８ 撮像ＭＰＳセンサ
４７０ 画像検出器
４７２ チップ
４７４ 被検査器官
４８０ 手術カテーテル
４８２ ガイダンス・ユニット
４８４ リアルタイム撮像システム
４８６ 手術ツール
４８８ カテーテルＭＰＳセンサ
４９０ 体用ＭＰＳセンサ
５００ 三次元画像
５０２ 三次元画像
５０４ 三次元画像
５０６ 軌跡
５０８ 軌跡
５１０ 軌跡
５５２ ＭＰＳ座標データ
５５４ 二次元画像
５５６ ＥＣＧデータ
５５８ 軌跡
５８２ 修正軌跡
６００ 三次元ナビゲーション画像
６０２ 内壁画像
６０４ 手術ツールの表現
６０６ 手術カテーテルの表現
６０８ 撮像カテーテルの将来の軌跡
６３０ 被検査器官・ＥＣＧ同時表示ディスプレイ
６３２ ＥＣＧタイミング信号
６３４ 前進ボタン
６３６ 後退ボタン
６３８ 静止ボタン
６４０ 被検査器官外部三次元画像
６４２ ウィンドウ
６４４ 活動状態
６５０ 活動状態
６７０ ＧＵＩ
６７２ 被検査器官横断面図
６７４ 水平目盛
６７６ 垂直目盛
６７８ 垂直ガイド
６８０ 水平ガイド
６８２ プラーク
７００ ＧＵＩ
７０２ 被検査器官縦断面図
７０４ 水平目盛
７０６ 垂直目盛
７０８ 垂直ガイド
７１０ 水平ガイド
７１２ プラーク
７３０ グラフィカル・ユーザ・インタフェース
７３２ ウィンドウ
７３４ ウィンドウ
７３６ 三次元ナビゲーション画像
７３８ 手術ツールの表現
７４０ 心臓
７４２ 上行大動脈
７４４ 下行大動脈
７４６ 上行大静脈
７４８ 肺静脈
７５０ 腹大動脈
７５２ 下行大動脈
７５４ 投影
７５６ 手術ツールの表現
７５８ リアルタイム二次元ナビゲーション画像
７６０ グラフィカル・ユーザ・インタフェース
７６２ ウィンドウ
７６４ ウィンドウ
７６６ 左冠状動脈主幹部及び左前下行冠状動脈
７６８ 手術ツールの表現
７７０ 心臓
７７２ 二次元ナビゲーション画像
７７４ 投影
７７６ 左冠状動脈主幹部及び左前下行冠状動脈
７７８ 手術ツールの表現
７８０ ＧＵＩ
７８２ ウィンドウ
７８４ ウィンドウ
７８６ ウィンドウ
７８８ ウィンドウ
７９０ ＥＣＧタイミング信号
７９２ 前進ボタン
７９４ 後退ボタン
７９６ 静止ボタン
８５０ 動脈
８５２ プラーク
８５４ プラーク
８５６ プラーク
８５８ 内腔
８６０ ＧＵＩ
８６２ グラフィック・ウィンドウ
８６４ 三次元画像
８６６ 比率選択ウィンドウ
８７４ 増減バー
８７６ ポインタ
８７８ 数値ボックス
９５０ 管の三次元画像
９５２ 管の三次元画像
９５４ 管の三次元画像
９５６ 二次元画像
９５８ 軌跡
９６０ 二次元画像
９６２ 軌跡
９６４ 二次元画像
９６６ 軌跡
９７４ 三次元画像
１０３０ 管
１０３２ 側枝
１０３４ 側枝
１０３６ 側枝
１０３８ 主枝
１０４０ 主枝
１０４２ 分岐領域
１０４４ 分岐領域
１０４６ 分岐領域
１０６０ ＧＵＩ
１０６２ ウィンドウ
１０６４ 三次元画像
１０６６ 主部
１０６８ 枝
１０７０ 枝
１０７２ 開口部
１０７４ 開口部
１０７６ 開口部
１０７８ マーク
１０８０ マーク
１０８２ マーク
１０８４ 軌跡
１０８６ 手術ツールの表現
【技術分野】
【０００１】
[クロスリファレンス情報]
本願は、2001年2月13日出願の出願番号09/782,528の一部継続出願であり、出願番号09/782,528は、1999年5月18日出願の出願番号09/314,474の一部継続出願である。
【０００２】
本発明は一般に、医療の診断及び手術の、システム及び方法に関するものであり、特に、医療用の三次元撮像及びナビゲーションの、方法及びシステムに関するものである。
【背景技術】
【０００３】
二次元及び三次元画像を取得して表示する方法及びシステムは、従来技術において既知である。三次元撮像は、現代の診断、治療、及び手術の方法を強化する。
【０００４】
二次元撮像システムは、体内の二次元のスライス（薄片）を処理して、静的あるいは動的な形態でディスプレイ（表示装置）上に表現する。慣例の二次元超音波撮像システムは、超音波トランスデューサ、画像捕捉モジュール、及び画像処理装置を具えている。
【０００５】
超音波トランスデューサは、検査すべき生体組織に非常に近接して配置する。超音波トランスデューサは、電気信号を超音波に変換して、この超音波を検査すべき組織に指向させる。この超音波は部分的に吸収され、分散され、屈折され、そして反射される。超音波トランスデューサは、この超音波反射を検出する。超音波トランスデューサは、反射された超音波を電気信号に変換して、この電気信号を画像処理装置に供給する。
【０００６】
画像処理装置は、受信した電気信号を処理して、これにより、検査する組織のスライスの二次元画像を複数生成する。画像捕捉モジュールは、各二次元画像を捕捉して、これらの各々をディスプレイまたはプリンタに供給することができる。
【０００７】
【特許文献１】米国特許第5,152,290号明細書
【０００８】
Freelandに交付された米国特許5,152,290、発明の名称"Method for recording ultrasound images to diagnose heart and coronary artery disease"は、冠状動脈疾患のような心臓疾患を診断するために、心臓の二次元超音波画像を捕捉して表示する方法に指向したものである。Freelandによって開示されている方法は、運動のピーク後に心電図（ＥＣＧ）信号を検出する手順、心臓の二次元画像を検出する手順、及び選択した画像を記憶する手順を具え、各手順は、画像を取得した時点のＥＣＧ（electrocardiogram）の読み取り、及び４画像のグループ表示によって行う。このシステムは、少なくとも１心拍当たり８画像の割合で、二次元画像の列を取得して記録する。
【０００９】
【特許文献２】米国特許第5,690,113号明細書
【００１０】
Silwa, Jr.他に交付された米国特許5,690,113、発明の名称"Method and apparatus for two-dimentional ultrasonic imaging"は、固定走査線を有する、ハンドヘルド（手持ち型）の単一素子のトランスデューサ・プローブを用いて二次元超音波画像を生成する方法に指向したものである。このシステムは、患者の体の二次元超音波画像の表示を行う。このシステムは、二次元超音波画像を検出して、同時に、超音波トランスデューサの空間的位置及び向きを特定する。このシステムは、単一走査線の撮像が可能な超音波トランスデューサ付きのプローブ、及びこの超音波トランスデューサの空間的位置及び向きを追跡する手段を具えている。この走査線は、可動のトランスデューサに対して、向き及び空間的な位置が固定されている。このシステムはさらに、トランスデューサが移動すると共に、各走査線の空間的位置及び向きを計算する演算手段を具えている。これにより、走査線が、完成した画像を表示する。あるいはまた、電磁的発信器及び受信センサが、自由空間内の各走査線の空間的な向き及び位置を特定することができる。
【００１１】
通常の三次元超音波撮像システムは、慣例の二次元超音波撮像システム、位置及び向きの検出システム、画像処理システム、及び表示システムを具えている。こうしたシステムは、肝臓、腎臓、胆嚢、胸部、眼、脳、等のような内部器官の三次元撮像を行う。
【００１２】
位置及び向きの検出システムは、超音波トランスデューサの位置及び向きを提供する。トランスデューサの位置及び向きから、捕捉した各二次元画像の位置及び向きを特定する。
【００１３】
画像処理システムは、捕捉した二次元画像を、各画像の位置及び向きに従って処理することによって、被検査器官の三次元画像を再構成する。最後に、表示システムは、被検査器官の三次元画像を受け取って、これを表示する。
【００１４】
【特許文献３】米国特許第5,787,889号明細書
【００１５】
Edwards他に交付されている米国特許5,787,889、発明の名称"Ultrasound imaging with real time 3D image reconstruction and visualization"は、三次元超音波画像の生成及び視覚化に指向したものである。Edwardsによって開示されている方法は、次の手順：即ち、データの取得、ボリューム（画像構成用の立方体、直方体）の再構成、及び画像の可視化の各手順を具えている。このシステムは、システムに含まれる医療用二次元超音波撮像システムによって、三次元超音波画像の完成及び視覚化を行う。オペレータ（操作者、手術者）は、再構成した三次元画像に対して、画像を回転させて異なる観察角及び平面図にするような、種々の可視化作業（タスク）を実行することができる。
【００１６】
当業者には既知である他の種類の三次元撮像システムは、心臓または肺の動画像を生成すべく動作する。このシステムは、慣例の二次元超音波撮像システム、ＥＣＧモニター、位置及び向きの検出システム、画像プロセッサ（処理装置）、及び表示システムを具えている。ＥＣＧモニターは心臓のタイミング信号を検出する。ＥＣＧタイミング信号は、ＥＣＧタイミング信号中の選択した点を表現する二次元画像の記録を同期させるか、あるいはトリガするために用いる。超音波トランスデューサは、あらゆる所定瞬時（例えばＥＣＧタイミング信号上の選択した時点）における心臓の二次元超音波画像を検出する。各二次元画像は、心臓の特定の活動状態に応じて、心臓の特定のスライスを表現する。各二次元画像の位置及び向きは、トランスデューサの位置及び向きから直接決まる。
【００１７】
画像プロセッサは、捕捉した二次元画像のうちの同じ活動状態のものから、心臓の三次元画像を再構成する。最後に、表示システムは、再構成した一連の画像を表示して、これにより心臓の三次元動画像を提供する。
【００１８】
【特許文献４】米国特許第5,924,989号明細書
【００１９】
Polzに交付されている米国特許5,924,989、発明の名称"Method and device for capturing diagnostically acceptable three-dimensional ultrasound image data records"は、心臓の三次元画像列を生成する方法及びシステムに指向したものである。このシステムは、超音波心臓検査器（エコー心電計）と組み合わせた超音波撮像システムを具えている。このシステムは、二次元超音波画像を検出して、各画像を、この画像の位置及び向きと共に、そして、この画像を取得した時点で超音波心臓検査器が提供する心臓のサイクルの位置と共に記憶する。このシステムは、特別なアルゴリズムを利用して、同じ心臓のサイクルの位置を有するすべての二次元画像から三次元画像を再構成して、再構成した一連の三次元画を表示する。
【００２０】
【特許文献５】米国特許第5,830,145号明細書
【００２１】
Tenhoffに交付されている米国特許5,830,145、発明の名称"Enhanced Accuracy of Three-Dimensional Intraluminal Ultrasound (ILUS) Image Reconstruction"は、体内の器官を撮像するシステム及び方法に指向したものである。以下、Tenhoffのシステムについて、図１３Ａ及び１３Ｂを参照して説明する。
【００２２】
図１３Ａは、器官の三次元画像を表示するシステムを図式的に示す図であり、システム全体を１０で参照し、このシステムは従来技術において既知である。図１３Ｂは、図１３Ａのシステムのカテーテルの撮像端の、患者の動脈の内部における軌跡を図式的に示す図である。
【００２３】
図１３Ａに示すように、システム１０は、カテーテル１２、自動引戻し（プルバック）装置１４、処理システム１６、胸部ハーネス１８、及びカテーテル追跡システム（図示せず）を具えている。カテーテル１２の連結端はハンドル２０を具えている。処理システム１６は、制御コンソール（操作卓）、超音波トランシーバ（送受信器）、及びディスプレイを具えている。カテーテル１２は、その末端に位置するカテーテル撮像端を具えている。カテーテル撮像システムは、管腔内超音波（ＩＬＵＳ）トランスデューサ（図示せず）である。カテーテル追跡システムは、カテーテル１２に装着した少なくとも１つの追跡トランスデューサ（図示せず）を具え、この追跡トランスデューサは通常、カテーテル撮像端に隣接している。カテーテル追跡システムはさらに、胸部ハーネス１８内に位置する複数の基準フレーム・トランスデューサを具えている。各追跡トランスデューサ、及び各基準フレーム・トランスデューサは、超音波トランスデューサである。これらの基準フレーム・トランスデューサは、大域的な（グローバル）座標系の原点を規定する。この特許の他の実施例では、カテーテル撮像システムが光コヒーレンス（可干渉性）断層撮影（トモグラフィー）（ＯＣＴ：optical coherence tomography）システムである。
【００２４】
ハンドル２０は自動引戻し装置１４に結合する。基準フレーム・トランスデューサは、ワイヤ（結線）２４によって処理システム１６に結合する。追跡トランスデューサは、ワイヤ２６によって処理システム１６に結合する。カテーテル撮像システムは、ワイヤ２８によって処理システム１６に結合する。自動引戻し装置１４は、ワイヤ３０によって処理システム１６に結合する。
【００２５】
オペレータ（図示せず）は、カテーテル１２を、大腿部の動脈を通して患者２２の体内に入れて、カテーテル１２を対象領域（例えば冠状動脈）内に位置決めする。カテーテル撮像システムは、カテーテル撮像端が対象領域内に位置する際に、カテーテル撮像端を取り巻く領域の複数の二次元画像（例えば、ＩＬＵＳトランスデューサの場合にはエコーグラフ画像（超音波図））を提供する。
【００２６】
カテーテル撮像システムは、自動引戻し装置１４を随意的に使用して、引戻しシーケンス（手順）によって運用する。引戻し中に得られたエコーグラフのデータ組は、ディスプレイ上に表示すべき画像を生成するために必要な入力を提供する。カテーテル撮像端の引戻し中に、処理システム１６は、位置（Ｘ,Ｙ,Ｚ）、及びデータを記録した各期間の時間を記録する。
【００２７】
画像毎の、カテーテル撮像端の角度は、１つ以上の追跡トランスデューサの座標を用いることによって特定する。引戻し中に、一対のトランスデューサによって、カテーテル撮像端の位置を見定める。近接した間隔の一対のトランスデューサが、その位置にあるカテーテル撮像端によって規定される曲線に対する接線を計算するための線を規定する。この接線は、追跡トランスデューサの位置によって決まる２つ以上の点によって規定される線によって計算する。
【００２８】
この特許の他の実施例では、引戻し中に単一のマーカー・トランスデューサを用いて、カテーテル撮像端の位置を見定める。この場合には、接線は、引戻し中のマーカー・トランスデューサの連続する２つの位置を通る線によって計算する。
【００２９】
処理システム１６は、カテーテルの引戻し行程中に取得した各エコーグラフ画像の座標（Ｘ,Ｙ,Ｚ）を、前記時間データと組み合わせて用いて、三次元画像を再構成する。各三次元画像は、カテーテル引戻し軌跡の周囲のエコーグラフ画像を集積することによって再構成する。
【００３０】
さらに図１３Ｂに示すように、処理システム１６（図１３Ａ）は、引戻し中の、カテーテル１２の撮像端の軌跡５０を生成して、前記大域的座標系の原点を基準にして軌跡５０を表示する。軌跡５０は、点５２、５４、５６、５８、６０、６２、６４、６６、及び６８のような、大域的座標系の複数の点によって規定される。点５２、５４、５６、５８、６０、６２、６４、６６、及び６８の各々が、引戻し中のカテーテルの撮像端の異なる位置に対応する。
【００３１】
しかし、引戻しシーケンス中には、動脈は、位置７０、７２、及び７４のような異なる位置に絶えず移動して、前記大域的座標系の原点に対する動脈の位置及び向きが変化する。このためカテーテル１２の軌跡は、動脈内のカテーテルの真の軌跡を表わすものではなく、軌跡５０は実質的に不正確なものである。
【００３２】
光コヒーレンス断層撮影（ＯＣＴ）は、組織を非常に高解像度で光学的に走査する方法の一般名称である。ＯＣＴは、後方反射した赤外線の強度を測定して、超音波のような現在の他の臨床撮像技術の５〜２５倍高い撮影解像度を生み出す。
【００３３】
【特許文献６】米国特許第6,134,003号明細書
【特許文献７】米国特許第6,175,669号明細書
【特許文献８】米国特許第5,994,690号明細書
【００３４】
Tearney他に交付されている米国特許6,134,003、発明の名称"Method and apparatus for performing optical measurements using a fiber optic imaging guidewire, catheter or endoscope"、Colston他に交付されている米国特許6,175,669、発明の名称"Optical coherence domain reflectometry guidewire"、及びKulkarni他に交付されている米国特許5,994,690、発明の名称"Image enhancement in optical coherence tomography using deconvolution"はすべて、ＯＣＴ撮像技術を用いる方法及びシステムに指向したものである。
【００３５】
【特許文献９】米国特許第5,935,075号明細書
【００３６】
血管内のプラークは断裂しがちであり、致命的なの血管閉塞を生じさせ得る。これらのプラークは、管の他の内部構造とは異なる温度を示すことが多く、従って、管の内層の温度マップによって検出し、結果的に治療することができる。血管内の温度マップを作成する方法及びシステムは従来技術において既知であり、慣例では赤外線技術にもとづき、光ファイバを使用し、光ファイバを血管内に挿入して、「高温」のプラークを検出する。この技法は、サーモグラフィー（温度記録法）と称される。Casscell他に交付されている米国特許5,935,075、発明の名称"Detecting Thermal Discrepancies in Vessel Walls"は、血管内の光放射を分析して、「高温」のプラークを検出しようとするシステムに指向したものである。
【発明の開示】
【発明が解決しようとする課題】
【００３７】
本発明の目的は、医療における（体内）侵入型のプローブ測定を行う新規の方法及びシステムを提供することにある。従って本発明によれば、医療用撮像兼ナビゲーションシステムが提供される。このシステムは、プロセッサ、表示装置、データベース、医療用位置決めシステム（ＭＰＳ：medical positioning system）、二次元撮像システム、被検査器官のモニター・インタフェース、及び画像重畳（スーパーインポーズ）プロセッサを具えている。
【課題を解決するための手段】
【００３８】
ＭＰＳは、トランスデューサＭＰＳセンサ、及び手術ツールＭＰＳセンサを具えている。二次元撮像システムは撮像トランスデューサを具えている。プロセッサは、表示装置、データベース、ＭＰＳ、二次元撮像システム、被検査器官のモニター・インタフェース、及び画像重畳プロセッサに結合する。被検査器官のモニター・インターフェースはさらに、器官モニターに結合する。手術ツールＭＰＳセンサは手術ツールに固着する。トランスデューサＭＰＳセンサは撮像トランスデューサに固着する。器官モニターは、被検査器官に関連する器官タイミング信号を監視する。このシステムは、複数の二次元画像から、各二次元画像の位置及び向き、及び各二次元画像の、被検査器官のタイミング信号中の位置に従って、複数の三次元画像を再構成する。すべてのＭＰＳセンサが同じＭＰＳシステムに属するので、このシステムは、検出した各二次元画像の同じ座標系内の、手術ツールの位置及び向きを提供する。
【００３９】
本発明の他の要点によれば、医療用撮像兼ナビゲーションシステムが提供される。このシステムは、プロセッサ、表示装置、データベース、ＭＰＳ，被検査器官のモニター・インタフェース、及び画像重畳プロセッサを具えている。このプロセッサは、表示装置、データベース、ＭＰＳ、被検査器官のモニター・インタフェース、及び画像重畳プロセッサに結合する。被検査器官のモニター・インタフェースは器官モニターに結合する。ＭＰＳは、手術ツールに固着した手術ツールＭＰＳセンサを具えている。器官モニターは、被検査器官に関連する器官タイミング信号を監視する。このシステムは、事前に記憶している画像上で動作すべく適応させる。
【００４０】
本発明のさらなる要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、画像検出器を用いて、被検査器官の二次元画像を複数検出する手順と、この画像検出器の位置及び向きを検出する手順とを具えている。この方法はさらに、各二次元画像を、画像検出器の位置及び向き、及び検出した器官タイミング信号に関連付けて、これらの二次元画像から複数の三次元画像を再構成する手順を具えている。この方法はさらに、リアルタイムで読み取った器官タイミング信号に応じて、前記三次元画像のうちの１つを選択して、選択した三次元画像を表示する手順を具えている。
【００４１】
本発明の他の要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している三次元画像のうちの１つを選択する手順とを具えている。この方法はさらに、手術ツールの位置及び向きを検出する手順と、前記選択した三次元画像上に手術ツールの表現を重畳する手順と、この重畳した三次元画像を表示する手順とを具えている。
【００４２】
本発明のさらなる要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、ユーザの視点の位置及び向きを検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している三次元画像のうちの１つを選択する手順とを具えている。この方法はさらに、前記検出した視点の位置及び向きに応じて、前記選択した三次元画像をレンダリング（表示用の二次元画像化）する手順と、前記選択した三次元画像を表示する手順とを具えている。
【００４３】
本発明の他の要点によれば、動きのある被検査器官の画像列を表示する方法及びシステムが提供される。画像列中の各画像が、所定座標系内の、この画像の位置および向きに関連付けられている。この方法は、被検査器官の器官タイミング信号を検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している二次元画像のうちの１つを選択する手順と、選択した二次元画像を表示する手順とを具えている。このシステムは、二次元撮像及び表示の環境に適応させる。
【００４４】
本発明のさらなる要点によれば、医療用撮像兼ナビゲーションシステムが提供される。このシステムは、表示装置、データベース、医療用位置決めシステム（ＭＰＳ）、二次元撮像システム、被検査器官のモニター・インターフェース、及び画像重畳プロセッサを具えている。
【００４５】
ＭＰＳは、トランスデューサＭＰＳセンサ、及び手術ツールＭＰＳセンサを具えている。二次元撮像システムは撮像トランスデューサを具えている。前記プロセッサは、表示装置、データベース、ＭＰＳ、二次元撮像システム、被検査器官のモニター・インタフェース、及び画像重畳プロセッサに結合する。被検査器官のモニター・インタフェースはさらに、器官モニターに結合する。手術ツールＭＰＳセンサは手術ツールに固着する。トランスデューサＭＰＳセンサは撮像トランスデューサに固着する。器官モニターは、被検査器官に関連する器官タイミング信号を監視する。このシステムは、検出した複数の二次元画像から、各二次元画像の位置及び向き、及び各二次元画像の、被検査器官のタイミング信号中の位置に従って、複数の三次元画像を再構成する。すべてのＭＰＳセンサが同じＭＰＳシステムに属するので、このシステムは、検出した各二次元画像の同じ座標系内の、手術ツールの位置及び向きを提供する。
【００４６】
本発明の他の要点によれば、医療用撮像兼ナビゲーションシステムが提供される。このシステムは、プロセッサ、表示装置、データベース、ＭＰＳ、被検査器官のモニター・インタフェース、及び画像重畳プロセッサを具えている。前記プロセッサは、表示装置、データベース、ＭＰＳ、被検査器官のモニター・インタフェース、及び画像重畳プロセッサに結合する。被検査器官のモニター・インタフェースは、器官モニターに結合する。ＭＰＳは、手術ツールに固着した手術ツールＭＰＳセンサを具えている。器官モニターは、被検査器官に関連する器官タイミング信号を監視する。このシステムは、事前に記憶している画像上で動作すべく適応させる。
【００４７】
本発明のさらなる要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、画像検出器を用いて被検査器官の二次元画像を複数検出する手順と、この画像検出器の位置及び向きを検出する手順とを具えている。この方法はさらに、各二次元画像を、画像検出器の位置及び向き、及び検出した器官タイミング信号に関連付ける手順と、これらの二次元画像から複数の三次元画像を再構成する手順とを具えている。この方法はさらに、リアルタイムで読み取った器官タイミング信号に応じて、前記三次元画像のうちの１つを選択する手順と、選択した三次元画像を表示する手順とを具えている。
【００４８】
本発明の他の要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している三次元画像のうちの１つを選択する手順とを具えている。この方法はさらに、手術ツールの位置及び向きを検出する手順と、この手術ツールの表現を、前記選択した三次元画像上に重畳する手順と、重畳した三次元画像を表示する手順とを具えている。
【００４９】
本発明のさらなる要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、ユーザの視点の位置及び向きを検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している三次元画像のうちの１つを選択する手順とを具えている。この方法はさらに、前記選択した三次元画像を、前記視点の位置及び向きに応じてレンダリングする手順と、前記選択した三次元画像を表示する手順とを具えている。
【００５０】
本発明の他の要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この画像列中の各画像は、所定座標系内の、この画像の位置及び向きに関連付けられている。この方法は、被検査器官の器官タイミング信号を検出する手順と、リアルタイムで読み取った器官タイミング信号に応じて、事前に記憶している二次元画像のうちの１つを選択する手順と、選択した二次元画像を表示する手順とを具えている。この方法は、二次元撮像、及び表示の環境に適応させる。
【００５１】
本発明のさらなる要点によれば、医療用撮像兼ナビゲーションシステムが提供される。この医療用撮像兼ナビゲーションシステムは、プロセッサ、ＭＰＳ、二次元撮像システム、及び被検査器官のモニター・インタフェースを具えている。ＭＰＳは撮像ＭＰＳセンサを具え、二次元撮像システムは画像検出器を具えている。前記プロセッサは、表示装置、被検査器官のモニター・インタフェース、データベース、及びＭＰＳに結合する。被検査器官のモニター・インタフェースはさらに、器官モニターに結合する。撮像ＭＰＳは画像検出器に固着する。二次元撮像システムは前記プロセッサに結合する。画像検出器は撮像カテーテルに固着する。画像検出器は、光コヒーレンス断層撮影検出器、超音波検出器、磁気共鳴画像検出器、サーモグラフィ検出器、等である。
【００５２】
画像検出器は被検査器官の二次元画像を検出する。器官モニターは、被検査器官に関連する器官タイミング信号を監視する。撮像ＭＰＳセンサは、画像検出器の位置及び向きを表わす情報をＭＰＳに提供する。前記プロセッサは、検出した二次元画像の各々を、それぞれの画像の位置及び向きの情報、及び器官タイミング信号に関連付けて、これらの二次元画像によって被検査器官の三次元画像を再構成する。
【００５３】
本発明の他の要点によれば、医療用撮像兼ナビゲーションシステムが提供される。この医療用撮像兼ナビゲーションシステムは、プロセッサ、ＭＰＳ、及び被検査器官のモニター・インタフェースを具えている。ＭＰＳはカテーテルのＭＰＳセンサを具えている。このプロセッサは、表示装置、ＭＰＳ、被検査器官のモニター・インタフェース、及びデータベースに結合する。被検査器官のモニター・インタフェースは器官モニターに結合する。カテーテルのＭＰＳセンサは手術ツールに固着して、手術ツールは手術カテーテルに固着する。
【００５４】
器官モニターは、被検査器官に関連する器官タイミング信号を監視する。カテーテルのＭＰＳセンサは、手術ツールの位置及び向きを表わす情報をＭＰＳに提供する。前記プロセッサは、二次元画像に関連する位置及び向きの情報、及びリアルタイムで読み取った器官タイミング信号によって、被検査器官の三次元画像を再構成する。前記プロセッサは、手術ツールのそれぞれの位置及び向きに従って、手術ツールの表現、及び画像検出器の軌跡の表現を、再構成した三次元画像上に重畳する。
【００５５】
本発明のさらなる要点によれば、グラフィカル・ユーザ・インタフェースが提供される。このグラフィカル・ユーザ・インタフェースは複数のウィンドウを具え、各ウィンドウが被検査器官の画像を提供する。これらの画像は、器官タイミング信号に応じて選択する。これらの画像は、被検査器官外部の三次元画像、被検査器官内部の三次元画像、被検査器官の履歴的な二次元画像、患者の体の、被検査器官を含む部分のリアルタイム二次元画像、等とすることができる。例えば、外部の三次元画像の投影像、手術ツールの表現、及び撮像カテーテルの軌跡の表現を、リアルタイムの二次元画像上に重畳する。さらに、手術ツールの表現、及び軌跡の表現を、内部の三次元画像上に重畳する。患者のＥＣＧも表示して、オペレータは、被検査器官の三次元画像の擬似ビデオを、時間的に前進方向または後退方向に再生するか、あるいは、ＥＣＧ中で選択した時点の画像を再生することができる。
【００５６】
本発明の他の要点によれば、被検査器官の閉塞領域を表示する方法が提供される。この方法は、被検査器官の複数の閉塞値を、選択した閉塞値と比較する手順と、この比較の結果により閉塞領域を特定する手順と、閉塞領域の表現を生成する手順とを具えている。オペレータが閉塞のしきい値を選択して、被検査器官において、選択した閉塞のしきい値よりも閉塞値が大きい閉塞領域を、被検査器官の三次元画像上に重畳する。
【００５７】
本発明のさらなる要点によれば、動きのある被検査器官の画像列を表示する方法が提供される。この方法は、被検査器官の器官タイミング信号を検出する手順と、画像検出器を用いることによって、被検査器官の二次元画像を複数検出する手順とを具えている。この方法はさらに、被検査器官の二次元画像をリアルタイムで検出する手順と、画像検出器の位置及び向きを検出する手順と、手術ツールの位置及び向きを検出する手順とを具えている。
【００５８】
この方法はさらに、各二次元画像を、画像検出器の位置及び向き、及び検出した器官タイミング信号に関連付ける手順と、これらの二次元画像から複数の三次元画像を再構成する手順とを具えている。この方法はさらに、リアルタイムで読み取った器官タイミング信号に応じて、前記三次元画像のうちの１つを選択する手順と、選択した三次元画像を表示する手順とを具えている。前記器官タイミング信号は、器官タイミング信号のサイクルを規定する。各三次元画像は、選択した二次元画像から再構成し、選択した二次元画像は、器官タイミング信号のサイクル中で選択した位置に対応する。前記プロセッサは、再構成した被検査器官の三次元画像の投影像、及び手術ツールの表現を、リアルタイムで検出した被検査器官の二次元画像上に重畳する。
【００５９】
本発明の他の要点によれば、画像を再構成する方法が提供される。この方法は、選択した活動状態以外の活動状態に属する補助的な二次元画像の平行移動先の座標を特定する手順と、この補助的な二次元画像を、この平行移動した座標によって、選択した活動状態に関連付ける手順とを具えている。プロセッサが、選択した活動状態以外の活動状態に属する補助二次元画像、並びに、選択した活動状態に属する二次元画像から、三次元画像を再構成する。これにより、選択した活動状態に属する画像のみを使用した場合よりもずっと細密な画像を得ることができる。
本発明は、以下の図面を参照した実施例の詳細な説明より、一層明らかになる。
【発明を実施するための最良の形態】
【００６０】
［実施例１］
以下、本発明の実施例について図面を参照して説明する。
本発明は、器官の動き、及びカテーテルのような侵入型のツールに同期して、動きのある器官の三次元画像を構成して表示する方法及びシステムを提供することによって、従来技術の欠点を克服するものである。実施例によれば、三次元画像、及び侵入型のツールの表現のすべてが１つの座標系内に存在し、複数の座標系を登録する必要がない。
【００６１】
本発明の１つの要点によれば、侵入型の手術を最小にするための、擬似リアルタイムの撮像システムが提供される。このシステムは、二次元画像取得システム、基本的には位置及び向きの検出システムである医療用位置決めシステム（ＭＰＳ）、特定器官のモニター、及び画像処理システムを具えている。位置及び向きの検出システムは、少なくとも３つのセンサを具えている。第１センサは、二次元画像取得システムの画像検出器上に装着する。第２センサは、最小侵入型手術ツール上に装着する。第３センサは基準用で、患者の体に装着する。本発明の方法のすべての手順中に、第３センサを患者の体に装着することによって、画像検出器のセンサ及び手術ツールのセンサの両方、並びに本発明のシステムのさらなるモジュールに装着した追加的なセンサが常に、１つの座標系内に留まることが保証される。
【００６２】
このシステムは、器官のサイクルの周波数よりも速い速度（レート）で、好適には器官のサイクルの周波数の自然数倍に等しい速度で、二次元画像を取得する。このシステムは、画像検出器によって検出した各二次元画像を、この二次元画像を検出した位置及び向き、及び器官モニターによって検出した器官のタイミング信号の読み取り値に関連付けて記録する。なお、このシステムは、検出した器官が周期的な挙動によって特徴付けられ、そして、１サイクル中の読み取り値が、その後のサイクル中に検出されやすい、という仮定の下で動作する。
【００６３】
この撮像システムは、記録している二次元画像のうち、同じ器官タイミング信号（の異なるサイクル）のすべての読み取り値から三次元画像を再構成する。再構成した三次元画像が十分な情報を含む際には、このシステムは、器官タイミング信号のリアルタイムの読み取りに同期して、これら一連の三次元画像を表示して、これにより、被検査器官のリアルタイムの可視化を行う。同時に、このシステムは、追加的な二次元画像の取得、及び既存の三次元画像の更新及び吟味を継続する。従って、表示される一連の三次元画像の品質が常に改善される。
【００６４】
この時点で、医師は最小侵入型の手術ツールを患者の体内に挿入することができる。このシステムは、手術ツールに装着したＭＰＳ検出器の位置及び向きを検出して、このツールの表現を、現在表示中の三次元画像上に重畳する。
【００６５】
このシステムは、患者に装着したＭＰＳ検出器を用いて、患者の動きを検出する。これらの動きによって、検出した器官の座標系が、上述したように二次元画像を取得して三次元画像を再構成した座標系に対して移動する。このシステムは、患者のＭＰＳの読み取り値を利用して、取得したすべての二次元画像を、被検査器官の位置によって規定される移動座標系内に置くこと、及び手術ツールを同じ移動座標系内で位置決め及び方向付けすることの両方を行う。
【００６６】
本発明の他の要点によれば、このシステムは、手術ツールを取り除くことによって、単なる擬似リアルタイム撮像システムとして使用することができ、診断目的に使用する。本発明のさらなる要点によれば、このシステムは、ＭＰＳセンサを装着した半透明の立体視ゴーグルを用いて、三次元画像列を表示する。このシステムは、ゴーグルＭＰＳセンサを用いて、ゴーグルの位置及び向きを患者の座標系内に設定する。これにより、このシステムは、医師が器官の箇所と同じ位置にいるように医師に知覚させる三次元画像列の可視化を行う。
【００６７】
以下は、画像取得、再生、及び最小侵入型の手術を行うシステム及び方法の例である。まず図１を参照して説明する。図１は、本発明の実施例により構成され、動作する多機能三次元撮像システムの図式的な図であり、システム全体を参照番号１００で参照する。図１を参照して説明する実施例では、システム１００が、心臓の三次元画像列を生成して、この画像列をリアルタイムで、心臓の動きと同期して再生するように、システム１００を適応させる。
【００６８】
三次元撮像システム１００は、主コンピュータ１０２、二次元画像取得装置１０４、ＥＣＧモニター１０６、医療用位置決めシステム１０８、フレーム・グラバー（メモリ）１１０、ディジタル三次元画像再構成器（Ｄ３ＤＲ：digital three-dimensional image reconstructor）１１２、適応型ボリューム・データベース（ＡＶＤＢ：adaptive volumetric database）１１４、画像重畳プロセッサ１１６、手術ツール１２０、複数のＭＰＳセンサ１６２1、１６２2、及び１６２N、及びディスプレイ（表示装置）１３０を具えている。
【００６９】
二次元画像取得装置１０４は、患者の体内の領域の二次元画像を提供する。二次元画像取得装置１０４は、超音波型、管内超音波型、Ｘ線型、コンピュータ断層撮影型、核磁気共鳴型、ポジトロン放出断層撮影型、単光子放出断層撮影型、等の、従来技術において既知のあらゆる種類のものとすることができる。
【００７０】
二次元画像取得装置１０４は画像トランスデューサ１１８を具えている。ＥＣＧモニターは、検査手順中あるいは手術手順中に、複数のＥＣＧ電極１２８を用いることによって心臓の電気的タイミング信号を連続的に検出する。
【００７１】
主コンピュータ１０２は、ＥＣＧモニター１０６、ＭＰＳシステム１０８、フレーム・グラバー１１０、Ｄ３ＤＲ １１２、画像重畳プロセッサ１１６、ＡＶＤＢ １１４、及びディスプレイ１３０に結合する。二次元画像取得装置１０４は、フレーム・グラバー１１０に結合する。ＭＰＳシステム１０８は、ＭＰＳ発信器（図示せず）、及びＭＰＳセンサ１６２1、１６２2、及び１６２Nを具えている。
【００７２】
さらに図２Ｃを参照して説明する。図２Ｃは、本発明の他の実施例により構成され、動作するＭＰＳシステム１０８を詳細に示す図である。ＭＰＳシステム１０８は、位置及び向きのプロセッサ１５０、発信器インタフェース１５２、複数のルックアップ・テーブル（早見表）・ユニット１５４1、１５４2、及び１５４3、複数のディジタル−アナログ変換器（ＤＡＣ：digital-to-analog converter）１５６1、１５６2、及び１５６3、増幅器１５８、発信器１６０、複数のＭＰＳセンサ１６２1、１６２2、１６２3、及び１６２N、複数のアナログ−ディジタル変換器（ＡＤＣ）１６４1、１６４2、１６４3、及び１６４N、及びセンサ・インタフェース１６６を具えている。
【００７３】
発信器インタフェース１５２は、位置及び向きのプロセッサ１５０、及びルックアップ・テーブル・ユニット１５４1、１５４2、及び１５４3に結合する。ＤＡＣユニット１５６1、１５６2、及び１５６3はそれぞれ、ルックアップ・テーブル・ユニット１５４1、１５４2、及び１５４3に結合し、そして増幅器１５８に結合する。増幅器１５８はさらに、発信器１６０に結合する。発信器１６０はＴＸでも表わす。ＭＰＳセンサ１６２1、１６２2、１６３3、及び１６２Nはさらに、それぞれＲＸ1、ＲＸ2、ＲＸ3、及びＲＸNとも表わす。
【００７４】
アナログ−ディジタル変換器（ＡＤＣ）１６４1、１６４2、１６４3、及び１６４Nはそれぞれ、センサ１６２1、１６２2、１６２3、及び１６２Nに結合し、そしてセンサ・インタフェース１６６に結合する。センサ・インタフェース１６６はさらに、位置及び向きのプロセッサ１５０に結合する。
【００７５】
各ルックアップ・テーブル・ユニット１５４1、１５４2、及び１５４3は、周期的な数字の列を生成して、この数字の列をそれぞれＤＡＣユニット１５６1、１５６2、及び１５６3に供給して、これらのＤＡＣユニットは、この数字の列をそれぞれのアナログ信号に変換する。各アナログ信号は異なる空間軸に関係する。本実施例では、ルックアップ・テーブル１５４1及びＤＡＣユニット１５６1がＸ軸についての信号を発生し、ルックアップ・テーブル１５４2及びＤＡＣユニット１５６2がＹ軸についての信号を発生し、ルックアップ・テーブル１５４3及びＤＡＣユニット１５６3がＺ軸についての信号を発生する。
【００７６】
ＤＡＣユニット１５６1、１５６2、及び１５６3は、それぞれのアナログ信号を増幅器１５８に供給して、増幅器１５８はこのアナログ信号を増幅して、増幅した信号を発信器１６０に供給する。発信器１６０は多軸の電磁界を供給し、この電磁界は、ＭＰＳセンサ１６２1、１６２2、１６２3、及び１６２Nによって検出することができる。各ＭＰＳセンサ１６２1、１６２2、１６２3、及び１６２Nは、それぞれの電気的アナログ信号を発生して、これらの電気信号を、それぞれのＭＰＳセンサに結合されているＡＤＣユニット１６４1、１６４2、１６４3、及び１６４Nに供給する。各ＡＤＣユニット１６４1、１６４2、１６４3、及び１６４Nは、これらのアナログ信号をディジタル化し、数字の列に変換し、そしてセンサ・インタフェース１６６に供給して、センサ・インタフェース１６６は、この数字の列を位置及び向きのプロセッサ１５０に供給する。
【００７７】
位置及び向きのプロセッサ１５０は、受け取った数字の列を分析して、これにより、各ＭＰＳセンサ１６２1、１６２2、１６２3、及び１６２Nの位置及び向きを特定する。位置及び向きのプロセッサ１５０はさらに、歪みの事象を特定して、これにより、ルックアップ・テーブル１５４1、１５４2、及び１５４3を更新する。
【００７８】
図１に戻って説明する。画像トランスデューサ１１８は複数の二次元画像を検出して、各二次元画像は被検査器官（即ち心臓）のスライスを表現する。これらの二次元画像の各々が、異なる空間的位置及び向きを有する。
【００７９】
フレーム・グラバー１１０は、検出した各二次元画像を保持して、この二次元画像を主コンピュータ１０２に供給する。ＭＰＳシステム１０８は、手術ツール１２０の位置及び向きに関するデータを、ＭＰＳセンサ１６２1経由で受け取って処理し、そして画像トランスデューサ１１８の位置及び向きに関するデータを、ＭＰＳセンサ１６２2経由で受け取って処理する。
【００８０】
ＭＰＳシステム１０８はさらに、患者の体の位置及び向きに関するデータを、ＭＰＳセンサ１６２N経由で受け取って処理する。患者が動く場合には、ＭＰＳセンサ１６２Nを基準として用いる。ＭＰＳセンサ１６２Nは一般に、患者の体の検査領域（参照番号１４０）に取り付ける。なお、ＭＰＳシステム１０８は、さらなる基準として用いるための追加的なＭＰＳセンサを具えることができ、これにより、システム１００の性能が向上する。しかし、基準点を割り当てる他の方法を用いることができ、これは例えば、すべてのＭＰＳセンサ間で最初に参照し合って、手順全体にわたって患者を拘束すること、取得した画像を分析して、トランスデューサ用のＭＰＳセンサ以外のＭＰＳセンサ毎に、これらの画像内の反復的な視点あるいは部分を識別すること、等である。
【００８１】
ＭＰＳシステム１０８は、ＭＰＳ発信器を用いて所定の電磁界を発生する。各ＭＰＳセンサ１６２1、１６２2、及び１６２Nは、コイルのような電磁界検出素子を具えて、ＭＰＳシステム１０８が発生する電磁界を検出する。
【００８２】
ＭＰＳシステム１０８は、検出した電磁界を処理して、ＭＰＳセンサ１６２1、１６２2、及び１６２Nの三次元的な位置及び向きの識別結果を提供する。従って、ＭＰＳシステム１０８は、画像トランスデューサ１１８、手術ツール１２０、及び患者の体上で選択した点の位置及び向きを特定すべく動作する。
【００８３】
捕捉した各二次元画像の位置及び向きは、画像トランスデューサ１１８の位置及び向きから直接導出する。従ってＭＰＳシステム１０８は、ＭＰＳセンサ１６２2の位置及び向きを特定することによって、画像トランスデューサ１１８によって捕捉した各二次元画像の位置及び向きを特定することができる。
【００８４】
ＥＣＧモニター１０６は、検査する心臓の電気的タイミング信号（ＥＣＧ−心電図）を取得して表現することができる。なお、ＥＣＧは心臓のタイミング信号であり、ＥＣＧサイクルを有し、心臓の特定領域を通る電流の伝播を表現する。ＥＣＧサイクル（または心臓のサイクル）の持続時間は、２回連続する心臓収縮の時間間隔によって定義される。ＥＣＧは、少なくとも２つのＥＣＧ電極を用いることによって検出され、これらの電極は、患者の体の選択した領域（例えば腕部、脚部、胸部、腹部、等）上に配置する。
【００８５】
ＥＣＧ電極１２８は、心臓からの電気信号を連続的に取得して、この信号をＥＣＧモニター１０６に供給する。ＥＣＧモニター１０６は、受信した電気信号を増幅して、心臓の電気的挙動を時間の関数として辿るグラフ線を作成して、このデータをディジタル・フォーマットにして主コンピュータ１０２に供給する。
【００８６】
主コンピュータ１０２は、各二次元画像、それぞれの二次元画像の三次元的な位置及び向き、及び、二次元画像を捕捉した時点における心臓の器官タイミング信号を受け取る。主コンピュータ１０２はさらに、手術ツール１２０の三次元的な位置及び向きを受け取ることができる。主コンピュータ１０２は、検出した各二次元画像を、前記位置及び向き、及び心臓のタイミング信号に関連付ける。
【００８７】
手術ツール１２０が被検査器官内に位置する際には、二次元画像が、この器官の一部分のスライス表現を含み得る。主コンピュータ１０２は、手術ツール１２０に取り付けたＭＰＳセンサ１６２1の位置及び向きを受け取って、手術ツール１２０のＭＰＳセンサ１６２1を取り付けた部分が実質的に剛性である場合には、手術ツール１２０の他の部分の位置及び向きを外挿（補外）することができる。従って、主コンピュータ１０２は、手術ツール１２０のＭＰＳセンサ１６２1を取り付けた部分が、取得した二次元画像の領域内に位置するか否かを特定することができる。主コンピュータ１０２は、三次元画像を更新しつつ、二次元画像が属するこうした領域を除外することができる。
【００８８】
Ｄ３ＤＲ １１２は、捕捉した二次元画像のうち同じ活動サイクルを有するもの（例えば心臓のタイミング・サイクルの所定時点毎）、及び各二次元画像に関連する三次元的な位置及び向きのデータから、三次元画像を再構成する。
【００８９】
ＡＶＤＢ １１４は、再構成した被検査器官の三次元画像を、この画像に関連する活動状態、及びこの画像の座標系の位置及び向きと共に保有する。検出したＥＣＧのシーケンスはさらに、三次元画像を同期再生するために使用し、これらの画像に関連する活動状態が、リアルタイムで検出した被検査器官の活動状態にほぼ等しい際には、すべての三次元画像を表示する。
【００９０】
手術ツール１２０を心臓内に挿入した場合には、画像重畳プロセッサ１１６が、手術ツール１２０の三次元的な位置及び向きを、再構成した三次元画像に加えることができる。あるいはまた、主コンピュータ１０２が、再構成した三次元画像の座標系内で、手術ツール１２０の形状を外挿することができる。
【００９１】
ディスプレイ１３０は、被検査器官の三次元動画像を、この器官に同期させて提供し、この三次元動画像は、この器官の擬似リアルタイムのシミュレーション（模擬）と考えることができる。なお、主コンピュータ１０２は、表示の基準座標系を、次のいずれかに定めることができる：
・患者の座標系。患者の体が静止し、被検査器官および手術ツールが動く場合。
・被検査器官の座標系。被検査器官が静止し、手術ツール、及び患者の体の他の部分が動く場合。なお、この観察座標系は、被検査器官が速い動きを示す場合に、極めて有用であり得る。
・手術ツールの座標系。手術ツールが静止し、被検査器官、並びに患者の体の他の部分が動く場合。
【００９２】
次に図２Ａ及び図２Ｂを参照して説明する。図２Ａは、本発明のさらなる実施例により構成され、動作する、体内放射方向超音波撮像システムの透視図であり、システム全体を参照番号１７０で参照する。図２Ｂは、検査する管の内壁の、複数の、放射方向の二次元画像の透視図であり、総括的に参照番号１９０で参照する。
【００９３】
システム１７０は、体内放射方向画像トランスデューサ１７２、手術ツール（即ち、通常は最小侵入型手術装置）１７４、ＭＰＳセンサ１７６及び１７８、装着カテーテル１８０、及び拡張カテーテル１８２を具えている。なお、体内放射方向超音波撮像システム１７０は、管内超音波システム（ＩＶＵＳ）のような代わりの超音波システム、あるいは他の種類の二次元撮像システムに置き換えることができ、管内超音波システムについては、以下で、図１２を参照してさらに詳細に説明する。
【００９４】
放射方向画像トランスデューサ１７２は装着カテーテル１８０に装着し、装着カテーテル１８０をさらに、拡張カテーテル１８２内に挿入する。ＭＰＳセンサ１７６は装着カテーテル１８０の先端に位置し、かつ放射方向画像トランスデューサ１７２に隣接する。装着カテーテル１８０は、拡張カテーテル１８２内に挿入する。ＭＰＳセンサ１７８は、手術ツール１７４の先端に近接した位置にある。さらに手術ツール１７４を、拡張カテーテル１８２内に挿入する。
【００９５】
放射方向画像トランスデューサ１７２は、被検査器官の異なる領域の、複数の二次元画像（例えば図２Ｂの二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、及び１９０Ｆ）を検出する。ＭＰＳシステム１０８（図１）は、センサ１７６を用いて、放射方向画像トランスデューサ１７２の位置及び向きを検出する。ＭＰＳシステム１０８（図１）はさらに、センサ１７８を用いて、手術ツール１７４の位置及び向きを検出する。二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、及び１９０Ｆ（図２Ｂ）は、トランスデューサ１７２の位置及び向きから直接導出する。
【００９６】
図２Ｂに示すように、各二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、及び１９０Ｆは、被検査器官内及びその近傍の検査領域の、異なる周辺部分を二次元で表現したものである。放射方向画像トランスデューサ１７２は、検出した二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、及び１９０Ｆを、二次元画像取得装置１０４（図１）に供給する。システム１００は、各二次元画像を、これらの二次元画像の位置及び向きに関連付ける。
【００９７】
次に図３を参照して説明する。図３は、所定座標系内の二次元画像を図式的に示す図であり、二次元画像全体を参照番号１９０、座標系全体を参照番号１８６で参照する。図３は主に、座標系１８６内の二次元画像１９０の「位置」及び「向き」とは何かを図示するために用いる。
【００９８】
各二次元画像１９０の位置及び向きは、座標系１８６（Ｘ、Ｙ、及びＺ）内で定める。システム１００は、捕捉した各二次元画像内で選択した点を定め、この点は、この画像用の基準点として使用する。図３に示す例では、画像の中心を、この画像の基準位置として定める。この点から、この画像の平面と垂直に伸びる単位ベクトルが、この画像の向きを定める。
【００９９】
検出した各二次元画像１９０は、特定の位置（Ｘ'、Ｙ'、及びＺ'）、及び特定の向き（角α、β、及びχ）で撮像したものである。ベクトル１９２は、画像１９０の選択点１９４から伸びる。この点の座標Ｘ'、Ｙ'及びＺ'が、座標系１８６内の画像１９０の三次元的な位置を定める。従って角α、β、及びχは、ベクトル１９２と、軸Ｘ、Ｙ、及びＺの各々とがなす角である。従って、ベクトル１９２が、座標系１８６内の画像１９０の、特定の三次元的な向きを定める。
【０１００】
次に図４を参照して説明する。図４は、複数の二次元画像の透視図、及び器官タイミング信号の図であり、これらの二次元画像を総括的に参照番号１９０で参照し、この器官タイミング信号全体を参照番号１８８で参照する。図４に示す例では、器官タイミング信号はＥＣＧ信号である。
【０１０１】
ＥＣＧ信号は、二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、１９０Ｆ、１９０Ｇ、１９０Ｈ、１９０Ｉ、１９０Ｊ、１９０Ｋ、１９０Ｌ、１９０Ｍ、１９０Ｎ、１９０Ｏ、１９０Ｐ、１９０Ｑ、１９０Ｒ、及び１９０Ｓの検出手順を同期させるために用いることができ、これらの各画像は、器官タイミング信号中の所定位置で撮像したものである。二次元画像１９０Ａ、１９０Ｂ、１９０Ｃ、１９０Ｄ、１９０Ｅ、１９０Ｆ、１９０Ｇ、１９０Ｈ、１９０Ｉ、１９０Ｊ、１９０Ｋ、１９０Ｌ、１９０Ｍ、１９０Ｎ、１９０Ｏ、１９０Ｐ、１９０Ｑ、１９０Ｒ、及び１９０Ｓはそれそれ、所定の時点ｔ0、ｔ1、ｔ2、ｔ3、ｔ4、ｔ5、ｔ6、ｔ7、ｔ8、ｔ9、ｔ10、ｔ11、ｔ12、ｔ13、ｔ14、ｔ15、ｔ16、ｔ17、及びｔ18で検出したものである。Ｔは、ＥＣＧ信号１８８のサイクル時間（例えば、時点ｔ0とｔ8との時間間隔）を表わす。各点ｐ0、ｐ1、ｐ2、ｐ3、ｐ4、ｐ5、ｐ6、ｐ7、ｐ8、ｐ9、ｐ10、ｐ11、ｐ12、ｐ13、ｐ14、ｐ15、ｐ16、ｐ17、及びｐ18は、ＥＣＧタイミング信号上の特定位置を表わし、心臓の特定の活動状態に関連する。
【０１０２】
この例では、二次元画像を、ＥＣＧサイクル当たり８画像の割合で連続的に検出し、心臓の各サイクルの所定点で検出する。各点ｐ0、ｐ1、ｐ2、ｐ3、ｐ4、ｐ5、ｐ6、及びｐ7は、１番目のＥＣＧサイクル上の特定点を表わし、各点ｐ8、ｐ9、ｐ10、ｐ11、ｐ12、ｐ13、ｐ14、及びｐ15は、２番目のＥＣＧサイクル上の特定点を表わす、等である。点ｐ8及びｐ16は、ＥＣＧタイミング信号上で点ｐ0と同じ特定位置にあり、従って同じ活動状態に関連する。点ｐ9及びｐ17は、ＥＣＧタイミング信号上で点ｐ1と同じ特定位置にあり、従って同じ活動状態に関連する。点ｐ10及びｐ18は、ＥＣＧタイミング信号上で点ｐ2と同じ特定位置にあり、従って同じ活動状態に関連する。このように、検出した二次元画像の各々が、心臓の特定の活動状態に関連する。
【０１０３】
次に図５Ａ、図５Ｂ、図５Ｃ、及び図５Ｄを参照して説明する。図５Ａは、本発明の他の実施例による、複数の三次元ボリューム（画像構成用の立方体、直方体）を図式的に示す図であり、これらのボリュームは総括的に参照番号２００で参照する。図５Ｂは、画像再構成の後段における、図５Ａの三次元ボリュームの一部を図式的に示す図である。図５Ｃは、図５Ａの三次元ボリュームから選択したものを図式的に示す図であり、画像更新の手順を実行中である。図５Ｄは、外部オブジェクト情報を含む二次元画像を図式的に示す図である。
【０１０４】
図５Ａを参照すれば、各三次元ボリューム２００が、器官タイミング・サイクル中の特定位置のうち選択したものに関連し、従って、それぞれの活動状態に関連する。この例では、三次元ボリューム２００Ａ、２００Ｂ、２００Ｃ、及び２００Ｄがそれぞれ、器官タイミング信号の位置Ｔ、1/4Ｔ、2/4Ｔ、及び3/4Ｔに関連する。
【０１０５】
各三次元ボリューム２００Ａ、２００Ｂ、２００Ｃ、及び２００Ｄは、器官タイミング信号のサイクル中で選択した位置についての、従ってそれぞれの活動状態についての三次元画像をを再構成するために使用する。主コンピュータ１０２（図１）は、画像の、ＥＣＧ信号上のタイミング位置（即ち、特定の活動状態）に従って、二次元画像の並べ替え（ソート）を行う。
【０１０６】
この例では、ボリューム２００Ａは二次元画像１９０Ａ、１９０Ｉ、及び１９０Ｑ（図４）を含み、これらはそれぞれ時点ｔ0、ｔ8、及びｔ16で検出したものである。これらの画像の、器官タイミング信号のサイクル中の位置はＴである。ボリューム２００Ｂは二次元画像１９０Ｃ、１９０Ｋ、及び１９０Ｓ（図４）を含み、これらはそれぞれ時点ｔ2、ｔ10、及びｔ18で検出したものである。これらの画像の、器官タイミング信号のサイクル中の位置は1/4Ｔである。ボリューム２００Ｃは二次元画像１９０Ｅ及び１９０Ｍ（図４）を含み、これらはそれぞれ時点ｔ4及びｔ12で検出したものである。器官タイミング信号のサイクル中の位置は1/2Ｔである。ボリューム２００Ｄは二次元画像１９０Ｇ及び１９０Ｏ（図４）を含み、これらはそれぞれ時点ｔ6及びｔ14で検出したものである。器官タイミング信号のサイクル中の位置は3/4Ｔである。
【０１０７】
この時点では、ボリューム２００Ａは、このボリューム内に格納されている二次元画像に関する情報を含みつつ、ボリューム２００Ａの一部は値０のままである、というのは、この部分に関係する二次元画像がないからである。Ｄ３ＤＲ １１２は、三次元ボリューム２００Ａの内容を分析して、これらの値０の部分のいくつかについて、例えば外挿によって値を特定しようとする。図５Ｂに示すように、Ｄ３ＤＲ １１２（図１）は、三次元ボリューム２００Ａ内に画像３３０Ａを再構成する。同様に、Ｄ３ＤＲ １１２は、三次元ボリューム２００Ｃ内に画像３３０Ｃを再構成する。
【０１０８】
システム１００（図１）は、三次元画像３３０Ａをリアルタイムで更新する。主コンピュータ１０２（図１）は、二次元画像を、この二次元画像の位置及び向き、及び器官の活動状態と共に、連続的に受け取る。主コンピュータ１０２（図１）は、これらの各二次元画像を、同じ活動状態に関連する三次元ボリュームと共に、Ｄ３ＤＲ １１２（図１）に供給する。Ｄ３ＤＲ １１２は、新たな二次元画像の値に従って三次元ボリュームを更新する。
【０１０９】
上記更新の手順は、多くの方法で実行することができる。本発明の１つの要点によれば、選択した三次元画素（ボクセル）における新しい値が、古い値を置き換える。本発明の他の要点によれば、更新したボクセル値は、旧ボクセル値（即ち、三次元ボリュームに既存の値）と、新規に取得した値（即ち、二次元画像から受け取った値）との（線形またはその他の）結合を含む。なお、システム１００は、ポリゴン（多角形）表現またはボクセル表現のいずれをも用いて動作することができる。
【０１１０】
本発明のさらなる要点によれば、三次元ボリューム内の各ボクセルが種々の属性を具え、これらの属性は例えば、ボクセルの現在値が取得した画像から提供されたものであるか、あるいは、外挿によって三次元画像を再構成する過程（プロセス）中に計算したものであるか、ということである。この場合には、計算値よりも新規に取得した値の方が好ましい。図５Ｃに示すように、Ｄ３ＤＲ １１２が新たな二次元画像１９０Ｙを受け取って、この二次元画像は、ｔ＝Ｔにおける器官の活動状態に関連する。Ｄ３ＤＲ １１２は、三次元ボリューム２００Ａ及びその中の画像３３０Ａのそれぞれを更新する。
【０１１１】
手術ツール１２０（図１）を被検査器官内に挿入する場合には、システム１００は、二次元画像中の、手術ツール１２０の表現を含む断片を除外する。主コンピュータ１０２（図１）は、（例えば、これらの断片に０（ヌル）の値を導入することによって）これらの断片を除外することによって、二次元画像を修正する。Ｄ３ＤＲ １１２は、修正した二次元画像を分析して、各三次元ボリューム内の各部分は更新しない。
【０１１２】
システム１００は、手術ツール１７４（図２Ａ）のような外部物体が存在する場合でも、検査物体の三次元画像列をリアルタイムで更新する能力を具えている。本発明の一実施例によれば、主コンピュータ１０２は、取得した画像の位置及び向き、及び手術ツール１７４の位置及び向きにより、取得した画像が表現するスライスに手術ツールが含まれるか否かを特定することができる。図５Ｄに示すように、二次元画像１９０Ｚが、手術ツール１２０の一部分の表現である小区分（セクション）１９８を含み、小区分１９８は、ＭＰＳセンサ１６２1の位置及び向きから決まる。二次元画像１９０Ｚ及び区分１９８が区分１９９を規定し、これは、二次元画像１９０Ｚから区分１９８を除外したものである。図５Ｄを参照して説明した三次元画像列をリアルタイムで更新する手順によれば、システム１００は、各三次元画像に対して、区分１９９のみの更新を行う。従って、患者の体から手術ツールを除去した際には、再構成した三次元画像内に手術ツールの軌跡が残らない。
【０１１３】
なお、各ＥＣＧサイクルは、拡張期と称する弛緩の期間、及びこれに続く収縮期と称する収縮の期間から成る。ＥＣＧサイクルの継続時間は、２回連続する心臓収縮の時間間隔によって定義される。さらなる実施例によれば、ＥＣＧサイクルを均等にＮ分割して、ここにＮは、最終的な画像列の三次元画像の数である。
【０１１４】
次に図６を参照して説明する。図６は、本発明のさらなる実施例により動作する、三次元撮像システム１００の動作方法を図式的に示す図である。手順２３０では、被検査器官のタイミング信号を検出する。この検出は、被検査器官に応じて選択した医療モニター（監視）装置によって実行する。例えば、被検査器官が心臓の血管であれば、医療モニター装置はＥＣＧモニターである。被検査器官が肺であれば、医療モニター装置は呼吸数モニターである。まぶた、目、等を検査するために、特別な装置を構成することがあり得る。例えば、ＭＰＳセンサをまぶたに取り付けて、まぶたの動きを検出することができる。図１に示すように、ＥＣＧモニター１０６が、ＥＣＧ電極１２８を通して器官タイミング信号を検出する。
【０１１５】
手順２３２では、被検査器官の二次元画像を複数検出する。図１に示すように、二次元画像取得装置１０４が、画像トランスデューサ１１８を通して、被検査器官の二次元画像を複数検出する。
【０１１６】
手順２３４では、画像検出器の三次元的な位置及び向きを検出する。図１に示すように、ＭＰＳシステム１０８が、画像検出器に装着したＭＰＳセンサ１６２2を用いて、画像検出器の三次元的な位置及び向きを検出する。
【０１１７】
手順２３６では、検出した各二次元画像を、この二次元画像の位置及び向きの情報、及びこの二次元画像を撮像した時点の器官タイミング信号に関連付ける。図１に示すように、主コンピュータ１０２が、ＥＣＧ信号、取得した二次元画像、及び各二次元画像の位置及び向きを受け取る。主コンピュータ１０２は、検出した各二次元画像を、この二次元画像の位置及び向きの情報、及び器官タイミング信号に関連付ける。
【０１１８】
手順２３８では、手術ツール２３８の位置及び向きを検出する。図１に示すように、ＭＰＳシステム１０８が、ＭＰＳセンサ１６２1を介して手術ツール１２０の位置及び向きを検出する。
【０１１９】
手順２４０では、二次元画像中の手術ツールを表現する部分を除外することによって、この二次元画像を修正する。なお、手術ツールと交わらない平面内に位置する二次元画像は、手術ツールを表現する画像を何ら含まず、従って変化しないままで残る。図１〜図５Ｄに示すように、主コンピュータ１０２は、取得した二次元画像の一部、即ち二次元画像１９０Ｚのように、手術ツール１２０の画像表現を含み得るものを推定する。主コンピュータ１０２は、検出した手術ツール１２０の位置及び向きに従ってこの推定を実行する。主コンピュータ１０２は、ＭＰＳセンサ１６２1が取得する情報、及び手術ツール１２０の物理的な寸法を表わす情報に従って、手術ツール１２０が占める三次元空間を特定する。主コンピュータ１０２は、取得した二次元画像（例えば図５Ｄの１９０Ｚ）と、この三次元空間とが交叉する交差領域（例えば図５Ｄに示す部分１９８）を計算する。主コンピュータ１０２は、例えばこの交差領域の値を０（ヌル）値に変更することによって、この交差領域を除外する。手術ツール１２０の画像を二次元画像から除外することは、手術ツール１２０の画像のような人工物のない被検査器官の三次元画像を再構成するために必要である。
【０１２０】
手順２４２では、三次元画像を再構成する。この再構成は３つの手順を含む。１番目の手順では、それぞれの二次元画像の、器官タイミング信号中のタイミング位置（即ち活動状態）に従って、二次元画像を並べ替えてグループにする。図１に示すように、主コンピュータ１０２は、器官タイミング信号のサイクル中における画像のタイミング位置に従って、二次元画像を並べ替える。
【０１２１】
２番目の手順では、（三次元マトリクスのような）三次元仮想ボリューム内で選択したすべての二次元画像を、それぞれの二次元画像の位置及び向きに従って配置する。図１に示すように、主コンピュータ１０２は、適応型ボリューム・データベース１１４内の三次元仮想ボリューム２００（図５Ａ）のうち選択したものの中に、各二次元画像を格納する。
【０１２２】
３番目の手順では、三次元仮想ボリューム内の欠落部分を、例えば補間によって補充する。図１に示すように、Ｄ３ＤＲ １１２が、各三次元仮想ボリューム２００（図５Ｂ）内に格納している二次元画像から、この三次元仮想ボリューム内に三次元画像を再構成する。
【０１２３】
手順２４４では、手順２３０で検出した器官タイミング信号に応じて、三次元画像を選択する。図１及び図４に示すように、ＥＣＧモニター１０６が、ＥＣＧ電極１２８を介して、被検査器官の器官タイミング信号１８８を検出する。主コンピュータ１０２が、リアルタイムで検出した器官タイミング信号に応じて三次元画像を選択する。選択した三次元画像は、実時間で検出した器官タイミング信号のサイクル中の位置のように、器官タイミング信号のサイクル中の位置に関連したものでなければならない。
【０１２４】
手順２４６では、手術ツールの表現を、選択した三次元画像に追加する。図１に示すように、ＭＰＳセンサ１６２1が、手術ツール１２０の位置及び向きを検出する。画像重畳プロセッサ１１６が、手術ツール１２０の表現（例えばシンボル）を、選択した三次元画像に追加する。画像重畳プロセッサ１１６は、手順２３８でＭＰＳセンサ１６２1が検出した、手術ツール１２０の位置及び向きに従って、手術ツール１２０の表現を追加する。手術ツールの位置と向き、及び取得した画像の位置と向きのすべてを、同じＭＰＳシステムを用いて検出するので、これらの位置及び向きのすべてが１つの座標系内に存在し、従って、これらを互いに関係付ける必要はない。
【０１２５】
手順２４８では、前記選択した三次元画像を表示する。図１及び図８に示すように、ディスプレイ１３０が、前記選択した画像を、リアルタイムで検出した器官タイミング信号のサイクルに従って順番に表示する。例えばオペレータは、リアルタイムで検出した患者の心拍（心臓鼓動）に対応させて、患者の心臓のビデオを見ると同時に、聴診器を通してこの心拍を聴くことができる。
【０１２６】
次に図７Ａ及び図７Ｂを参照して説明する。図７Ａは、本発明の他の実施例により構成され、動作するリアルタイム三次元表示の再生システムを図式的に示す図であり、システム全体を参照番号２７０で参照する。図７Ｂは、患者の心臓の三次元画像を表示する、図７Ａのゴーグルを図式的に示す図である。
【０１２７】
図７Ａに示すように、システム２７０は、画像重畳プロセッサ２７２、適応型ボリューム・データベース（ＡＶＤＢ）２７４、ＥＣＧモニター２７８、ディスプレイ２８４、同期プロセッサ２８６、医療用位置決めシステム（ＭＰＳ）２８８、拡張カテーテル２８０、及び複数のＭＰＳセンサ２９４、２９６、及び２９８を具えている。ディスプレイ２８４は、レンダラ（レンダリング装置）２７６及びゴーグル２８２を含む。手術ツール２９０は、拡張カテーテル２８０内に挿入する。
【０１２８】
画像重畳プロセッサ２７２は、ＡＶＤＢ ２７４、レンダラ２７６、及びＭＰＳシステム２８８に結合する。レンダラ２７６はさらに、ＡＶＤＢ ２７４及びゴーグル２８２に結合する。ＭＰＳシステム２８８はさらに、拡張カテーテル２８０、レンダラ２７６、及びＭＰＳセンサ２９４、２９６、及び２９８に結合する。同期プロセッサ２８６は、ＡＶＤＢ ２７４及びＥＣＧモニター２７８に結合する。
【０１２９】
ＥＣＧモニター２７８は、被検査器官の器官タイミング信号を検出して、この信号を同期プロセッサ２８６に供給する。検出した器官タイミング信号は、一連の三次元画像を、検査する心臓の動きに同期させる。
【０１３０】
同期プロセッサ２８６は、ＥＣＧ信号を分析して、ＥＣＧ信号における活動状態を特定する。同期プロセッサ２８６は、ＡＶＤＢ２７４に検索コマンドを提供して、現在検出した活動状態に応じた画像記録を検索する。
【０１３１】
ＡＶＤＢ ２７４は、被検査器官の三次元画像列を、この器官に関連する活動状態、及びこの器官の座標系の位置及び向きと共に含む。なお、この三次元画像列は、システム１００を用いるか、あるいは三次元画像を取得するための他の何らかのシステム（例えばＭＲＩ（magnetic resonance imaging：磁気共鳴映像）、Ｘ線、等）を用いて取得することができる。
【０１３２】
ＡＶＤＢ ２７４は、受け取った検索コマンドに従って、器官の特定の活動状態に関連する、器官の三次元画像を選択する。この三次元画像は、器官タイミング信号に同期させて、レンダリングして、その通りに再生することができる。被検査器官が心臓である例では、医師は、ＥＣＧ信号にリアルタイムで同期した画像列を提供される。医師は、自分の聴診器を使用して心拍を聴きながら、同時に、心臓の動画像表現を見ることができる。
【０１３３】
レンダラ２７６は、手術ツール２９０を基準座標として、被検査器官を基準座標にして、あるいは患者の体を基準座標にして、三次元画像をレンダリングすることができる。選択した基準座標は、静止の基準座標系を定義し、この座標系では、他のすべての物体が移動し得る。
【０１３４】
例えば、手術ツール２９０の座標を基準座標として選択した場合には、レンダラ２７６は、手術ツールが静止して、これに対して心臓が動くように、三次元画像をレンダリングする。従って、医師が手術ツール２９０を被検査器官に対して動かす際には、医師は、手術ツール２９０の表現に対して被検査器官が動くことによって被検査器官が動きを示す間に、手術ツール２９０の静止表現を観測する。
【０１３５】
逆に、被検査器官の座標を基準として選択する場合には、レンダラ２７６は、被検査器官が静止して、手術ツール２９０がこの被検査器官に対して動くように、三次元画像をレンダリングする。従って、医師が手術ツール２９０を被検査器官に対して動かす際には、医師は、被検査器官に対して手術ツール２９０の表現が動くことによって手術ツール２９０が動きを示す間に、被検査器官の静止表現を観測する。
【０１３６】
ＭＰＳシステム２８８は、ＭＰＳ発信器（図示せず）、及びＭＰＳセンサ２９４、２９６、及び２９８を具えている。ＭＰＳシステム２８８は、これに装着したセンサ２９４を用いて、手術ツール２９０の位置及び向きを測定する。ＭＰＳシステム２８８は、ゴーグル２８２に装着したＭＰＳセンサ２９６（図７Ｂ）を用いて、ユーザの視点の位置及び向きを検出する。ＭＰＳシステム２８８は、患者の体に装着したＭＰＳセンサ２９８を用いて、患者の体の位置及び向きを測定する。
【０１３７】
画像重畳プロセッサ２７２は、前記選択した心臓の三次元画像を、ＡＶＤＢ ２７４から受け取る。画像重畳プロセッサ２７２はさらに、手術ツール２９０の位置及び向きに関するパラメータ、及び患者の体上の基準点の位置及び向きに関するパラメータを、ＭＰＳシステム２８８から受け取る。
【０１３８】
画像重畳プロセッサ２７２は、前記基準点の位置及び向きを用いて、三次元画像の座標系を手術ツール２９０の座標系に合わせる。画像重畳プロセッサ２７２は、手術ツール２９０の表現を心臓の三次元画像に追加して、この画像をレンダラ２７６に供給する。
【０１３９】
レンダラ２７６は、ゴーグル２８２の位置及び向きに関するパラメータ、及び患者の体の基準点の位置及び向きに関するパラメータを、ＭＰＳシステム２８８から受け取る。レンダラ２７６は、これらのパラメータを用いて観察面を決定して、前記三次元画像をこの観察面に対してレンダリングする。レンダラ２７６は、このレンダリングした画像をゴーグル２８２に供給する。
【０１４０】
ゴーグル２８２（図７Ｂ）は透視型であり、従って半透明であることが好ましく、医師が実際に、患者の体とゴーグルのスクリーンに投影される画像とを同時に見ることができる。システム２７０（図７Ａ）は、患者の体の位置及び向き、及びゴーグル２８２の位置及び向きにより、患者の体上の投影面を決定する。システム２７０は、ゴーグル２８２を用いて三次元画像列を表示して、これにより、医師が実際にゴーグル２８２を通して見れば、この三次元画像が患者の体内にあるように知覚する。
【０１４１】
次に図８を参照して説明する。図８は、本発明のさらなる実施例による、周期的な三次元画像列の透視図である。この画像列を画像毎にユーザに提示して、動画像のように錯視させる。中間的に提供する三次元画像は、器官タイミング信号のサイクル中の、リアルタイムの検出を行なった特定位置に応じて選択する。
【０１４２】
図７Ａに示すように、ＡＶＤＢ ２７４は三次元画像を、例えば心臓の各サイクル当たり８画像の割合で連続的に選択する。同期プロセッサ２８６は、器官タイミング信号のサイクル中の、現在検出を行った特定位置に応じて、ＡＶＤＢ ２７４に検索コマンドを提供する。ＡＶＤＢ ２７４は、心臓のタイミング信号（図４）中の選択点ｔ0＝０、ｔ1＝1/8Ｔ、ｔ2＝2/8Ｔ、ｔ3＝3/8Ｔ、及びｔ7＝7/8Ｔに応じて、それぞれ三次元画像３３０Ａ、３３０Ｂ、３３０Ｃ、３３０Ｄ、及び３３０Ｈを検索する。上述したように、各三次元画像３３０は、心臓の特定の活動状態に関連する。従って、画像３３０Ａ、３３０Ｂ、３３０Ｃ、３３０Ｄ、及び３３０Ｈを周期的に再生することによって、（即ち、心臓の周期的な動きの反復的な性質によって、）器官の動きを擬似現実的に図示することができる。
【０１４３】
次に図９を参照して説明する。図９は、本発明の他の実施例により動作する画像重畳プロセスを図式的に示す図である。システム２７０（図７Ａ）は、図３３０Ａのような選択した各画像中に、現在使用中の手術ツール３２８の表現を導入する。この表現は、最小の表現（例えばカーソルを形成する）にすることも、手術ツールの擬似現実的視覚化を提供する巧妙な表現にすることもできる。
【０１４４】
三次元画像３３０Ａの位置及び向きは、座標系３２６（Ｘ,Ｙ,Ｚ）内で定める。同様に、ＭＰＳセンサ３１８の位置及び向き、従って手術ツール３２８の位置及び向きも、座標系３２６（Ｘ,Ｙ,Ｚ）内で定める。従って、手術ツール３２８のリアルタイム表現を、三次元画像３３０Ａに追加することができる。図７Ａに示すように、画像重畳プロセッサ２７２が、手術ツール３２８の表現を、選択した三次元画像３３０Ａに追加して、三次元画像３３０Ａは、三次元ボリューム２００Ａ内に再構成したものである。なお、手術ツール３２８は、鉗子、レーザーカッター、ブラシ、カテーテル、ステント、バルーン、ペースメーカー電極、液剤調剤装置、ニューロン電極、物質収集装置、手術搬送ツール（例えば、遺伝子、薬剤、装置等を搬送する）、等のような慣例のツールである。例えば、装置搬送ツールは、永久ステント、着脱可能ステントのような医療装置を患者の体に搬送するための医療ツールとすることができる。
【０１４５】
本発明は、医師が、心臓のような活動的な対象物を、医師が使用中の手術ツールのリアルタイム表現付きで取り扱うことを可能にする。次に図１０を参照して説明する。図１０は、本発明のさらなる実施例により動作する、システム２７０の動作方法を図式的に示す図である。手順３００では、被検査器官の器官タイミング信号を検出する。本発明によれば、システム１００（図１）は、被検査器官に応じて選択した医療モニター装置を具えている。こうした装置は、器官の時間依存性の信号を検出し、この信号は器官の動きに関連する。図７Ａに示すように、ＥＣＧモニター２７８は心臓のタイミング信号を検出する。
【０１４６】
手順３０２では、器官タイミング信号中で選択した時点に関連する、器官（例えば心臓）の三次元画像を選択する。図７Ａに示すように、ＡＶＤＢ ２７４は器官の三次元画像を選択する。
【０１４７】
手順３０４では、手術ツールの位置及び向きを検出する。手術ツールの位置及び向きの検出は、磁界、超音波三角測量または超音波放射、不活性センサ、センサ、即ち死亡判定センサ、等のような、従来技術において既知の方法によって実行することができる。図７Ａに示すように、ＭＰＳシステム２８８は、手術ツール２９０に装着したセンサ２９４を用いて、手術ツール２９０の位置及び向きを検出する。
【０１４８】
手順３０６では、手術ツール２９０の位置及び向きの表現を、選択した三次元画像上に重畳する。図７Ａに示すように、画像重畳プロセッサ２７２が、手術ツール２９０の位置及び向きに関するパラメータを、選択した三次元画像上に重畳する。
【０１４９】
手順３０８では、ユーザの視点の位置及び向きを検出する。ユーザの視点の位置及び向きは、ゴーグル２８２の位置及び向きから導出する。ゴーグル２８２の位置及び向きのパラメータが、ユーザの観察面を決定する。システム２７０は、ゴーグル２８２のＬＣＤ素子毎の（即ち片目毎の）、２つの観察面を決定することができる。図７Ａに示すように、ＭＰＳシステム２８８が、ゴーグル２８２に装着したセンサ２９６を用いて、ゴーグル２８２の位置及び向きを検出する。なお、２つ以上の表示装置（即ち２つ以上のゴーグル）をシステムに導入して、各ゴーグルに異なるＭＰＳセンサを装着することができる。
【０１５０】
手順３１０では、ユーザの視点の位置及び向きに応じて、選択した三次元画像をレンダリングする。図７Ａに示すように、レンダラ２７６が、視点の位置及び向きに応じて、選択した三次元画像をレンダリングする。
【０１５１】
手順３１２では、レンダリングした三次元画像列（即ち三次元動画像）を表示する。被検査器官の三次元動画像は、モノスコープ、ステレオスコープ（立体視）、ホログラフィー、（例えば、ビデオモニター、ゴーグル、ホログラフィー生成器、等）のような、あらゆる種類のディスプレイに表示することができる。図７Ａに示すように、ゴーグル２８２はレンダリングした三次元画像列を表示する。
【０１５２】
次に図１１を参照して説明する。図１１は、本発明の他の実施例により構成され、動作する、管内撮像兼手術システムを図式的に示す図であり、システム全体を参照番号３５０で参照する。管内撮像兼手術システム３５０は、管内超音波システム（ＩＶＵＳ）トランスデューサ３５２、手術ツール（即ち、通常は最小侵入型手術装置）３５４、ＭＰＳセンサ３５６、及び３５８、装着カテーテル３６０、及び拡張カテーテル３６２を具えている。ＩＶＵＳトランスデューサ３５２はカテーテル３６０に装着する。なお、本実施例には、回転音響ミラーを具えたもののような他のＩＶＵＳ装置も適用可能である。
【０１５３】
ＩＶＵＳトランスデューサ３５２は超音波を発生して、この超音波を管状の器官（図示せず）の内壁に指向させて、参照番号３６４の表面に行き渡らせる。表面３６４は、この表面に指向された超音波の一部を反射する。ＩＶＵＳトランスデューサ３５２は、これらの反射超音波を検出して、これを表わす信号を、ＩＶＵＳトランスデューサ３５２に結合した画像処理システム（図示せず）に供給する。慣例の画像処理システムは、すべての二次元画像から、各二次元画像の位置及び向きに従って、単一の三次元画像を再構成する。本発明によれば、この画像処理システムが複数の三次元画像を再構成して、各三次元画像が、器官タイミング信号のタイミング・サイクル中の異なる位置についてのものである。
【０１５４】
なお、ＩＶＵＳは、診断中、治療中、及び研究の遂行中に、冠状動脈の内部を撮像するために使用する。このシステムは、冠状動脈（及び他の血管）の概括的及び詳細な知見を提供する。慣例のＩＶＵＳ検出器は、例えば、Boston Scientific Scimed社製造のUltra-Cross systemか、あるいはJomed USA社製造のIn-Vision system （別称Endosonics）であり、両社共、米国カリフォルニア州サンディエゴに存在する。これらのシステムは主に、冠状動脈の画像をスライスにするために使用する。
【０１５５】
本発明は、慣例のＩＶＵＳ素子と独自の小型ＭＰＳセンサとの組み合わせを用いて、血管の量的モデルを作成するための新規の構造を提供する。こうした組み合わせは案内型（Guided）ＩＶＵＳまたはＧＩＶＵＳと称され、これについては以下に説明する。本発明のさらなる実施例によれば、ＥＣＧ信号を用いて、ＧＩＶＵＳ画像列を視覚的に安定化することができる。ＥＣＧ信号サイクル中で選択した時点によって、この瞬間における血管内の局所的な血圧が決まり、この血圧によって、サイクル中のこの時点における血管の瞬間的な直径が決まる。従って、血管の視覚的な直径は画像処理によって人工的に調整することができ、これにより、手術手順中の血管を静止画像で表示することができる。
【０１５６】
概して、本発明の新規のＧＩＶＵＳシステムは、医師をナビゲートする「３Ｄ（三次元）ロードマップ」を作成する。こうしたロードマップを作成するために他の方法も用いることができ、このロードマップは、前記ボリューム・データベースに格納して、本発明の方法により、例えば３Ｄ ＡＮＧＩＯ（血管造影検査装置、血管撮像装置）、リアルタイムＭＲＩ、等のように再生することができる。
【０１５７】
次に図１２を参照して説明する。図１２は、本発明のさらなる実施例により構成され、動作する多機能二次元撮像システムを図式的に示す図であり、システム全体を参照番号４００で参照する。図１２に示す例では、システム４００を、心臓の二次元画像を生成して、この画像列を、心臓の動きに同期してリアルタイムで再生すべく適応させている。
【０１５８】
二次元撮像システム４００は、主コンピュータ４０２、二次元画像取得装置４０４、ＥＣＧモニター４０６、医療用位置決めシステム（ＭＰＳ）４０８、フレーム・グラバー４１０、画像データベース４１４、画像重畳プロセッサ４１６、手術ツール４２０、複数のＭＰＳセンサ４３２1、４３２2、及び４３２N、及びディスプレイ４３０を具えている。
【０１５９】
二次元画像取得装置４０４は、画像トランスデューサ４１８を具えている。ＥＣＧモニター４０６は、検査あるいは手術中に、複数のＥＣＧ電極４２８を用いることによって、心臓の電気的タイミング信号を連続的に検出する。
【０１６０】
主コンピュータ４０２は、ＥＣＧモニター４０６、ＭＰＳシステム４０８、フレーム・グラバー４１０、画像重畳プロセッサ４１６、及びディスプレイ４３０に結合する。二次元画像取得装置４０４はフレーム・グラバー４１０に結合する。ＭＰＳシステム４０８は、ＭＰＳ発信器（図示せず）、及びＭＰＳセンサ４３２1、４３２2、及び４３２Nに結合する。
【０１６１】
システム４００は、被検査器官の二次元画像列を取得して、手術ツール４２０の投影表現を重畳させて再生することに指向したものである。トランスデューサ４１８は、被検査器官の二次元画像を複数検出して、これらの二次元画像を二次元画像取得装置４０４に供給して、二次元画像取得装置４０４はさらに、これらの二次元画像をフレーム・グラバー４１０に転送する。フレーム・グラバー４１０は、検出した各二次元画像を保持して、この二次元画像を主コンピュータ４０２に供給し、主コンピュータ４０２は、これらの二次元画像を、ＲＣＧモニター４０６から受信した器官タイミング信号と共に、画像データベース４１４に記憶する。これらの画像は、被検査器官の選択した平面の周期的な二次元画像列を作成するために、いつでも使用することができる。システム４００は、上述した手順と同様の手順を用いて、この画像列を、被検査器官のタイミング信号のリアルタイムの読み取り値と同期させることができる。
【０１６２】
図１２に示す例は、ＭＰＳセンサ４３２2及びＭＰＳシステム４０８を具えて、ＭＰＳセンサ４３２2は、取得画像毎にトランスデューサ４１８の位置及び向きを検出し、ＭＰＳシステム４０８は、すべての取得画像が同一平面内に存在するか否かを特定する。同一平面内に存在しない場合には、ＭＰＳシステム４０８はユーザに対して、所定平面からの偏りを、視覚的方法、聴覚的方法、あるいは機械的方法（例えば、振動による方法、等の）のいずれかの方法で示すことができる。なお、本発明のさらなる実施例によるシステム４００をより簡単にしたものは、前記トランスデューサに取り付けたＭＰＳセンサを具えていない。
【０１６３】
ＭＰＳセンサ４３２1は、手術ツール４２０の位置及び向きを検出する。ＭＰＳシステム４０８は、手術ツール４２０の位置及び向きを検出して、この情報を主コンピュータ４０２に提供して、主コンピュータ４０２はこの情報を画像重畳プロセッサ４１６に提供する。画像重畳プロセッサ４１６は、空間内における手術ツール４２０の表現を決定して、この表現を検出画像の平面に投影した投影像を導出して、この投影像を各画像上にリアルタイムで重畳する。ディスプレイ４３０は、この重畳を行った画像列をユーザに対して表示する。
【０１６４】
画像重畳プロセッサ４１６は、手術ツールの位置のような追加的な情報を、前記重畳を行った画像列の、観察面の上方または下方に追加することができる。例えば、手術ツールのうち、観察面の一方の側に位置する部分は赤色を用いて示し、観察面の他方の側に位置する部分は青色を用いて示し、観察面上に位置する部分は赤色を用いて示す。なお、二次元システム４００は、図１のシステムよりも少ない視覚情報を提供し、システム４００が必要とする処理能力（パワー）及び記憶領域ははるかに小さく、従って、大幅に低いコストで製造することができる。
【０１６５】
次に図１４を参照して説明する。図１４は患者のＥＣＧを図式的に示す図であり、全体を参照番号４４２で参照する。ＥＣＧ４４２は、複数の心臓サイクル４４４、４４６、及び４４８の各々における活動状態Ｔ1、Ｔ2、及びＴ3のような複数の活動状態（例えばＥＣＧサイクルの位相）を含む。出願人は、例えば図１３Ｂの位置７０、７２、及び７４のような位置の変化は患者の心拍によるものであり、そしてこのことが、軌跡５０が不正確になる理由であることを見出している。従って、各心臓サイクル４４４、４４６、及び４４８中において、異なる活動状態では動脈の位置及び向きが異なる。
【０１６６】
例えば、各心臓サイクル４４４、４４６、及び４４８の活動状態Ｔ1では、動脈の位置及び向きは、図１３Ｂの位置７０における動脈の画像で表わされる。各心臓サイクル４４４、４４６、及び４４８の活動状態Ｔ2では、動脈の位置及び向きは、位置７２における動脈の画像で表わされる。各心臓サイクル４４４、４４６、及び４４８の活動状態Ｔ3では、動脈の位置及び向きは、位置７４における動脈の画像で表わされる。従って、図１３Ｂの点５２、５４、５６、５８、６０、６２、６４、６６、及び６８の各々が、カテーテル１２（図１３Ａ）の撮像チップ（端）の位置及び向きに対応し、心臓サイクルの異なる活動状態では、動脈の位置及び向きが異なる。
【０１６７】
例えば、点５２は心臓サイクル４４４中の活動状態Ｔ1に対応し、このことは、カテーテル１２の撮像チップが点５２にある際には、患者２２の心臓３２が活動状態Ｔ1にある、ということを意味する。点５４は心臓サイクル４４４中の活動状態Ｔ2に対応し、このことは、カテーテル１２の撮像チップが点５４にある際には、患者２２の心臓３２が活動状態Ｔ2にある、ということを意味する。点５６は心臓サイクル４４４中の活動状態Ｔ3に対応し、このことは、カテーテル１２の撮像チップが点５６にある際には、患者２２の心臓３２が活動状態Ｔ3にある、ということを意味する。点５８は心臓サイクル４４６の活動状態Ｔ1に対応する。点６０は心臓サイクル４４６の活動状態Ｔ2に対応する。点６２は心臓サイクル４４６の活動状態Ｔ3に対応する。点６４は心臓サイクル４４８の活動状態Ｔ1に対応する。点６６は心臓サイクル４４８の活動状態Ｔ2に対応する。点６８は心臓サイクル４４８の活動状態Ｔ3に対応する。
【０１６８】
本発明の他の要点によれば、位置および向きの測定値、並びに取得した画像を、取得あるいは測定時の、被検査器官の活動状態に対応させて処理する。例えば、本発明のこの要点によるシステムでは、撮像システムが、撮像カテーテルの軌跡を被検査器官の三次元画像上に重畳させて表示し、この三次元画像は、被検査器官内部の撮像カテーテルの、現在の位置及び向きによって決まる活動状態に対応する。このシステムは、撮像カテーテルが被検査器官の内部で追従する経路を記録し、この経路は前進方向も後退方向もあり得る。このシステムはさらに、この経路を、監視（モニター）している被検査器官の活動状態、及び撮像カテーテルの瞬時的な位置及び向きと共に記録する。
【０１６９】
次に図１５Ａ及び図１５Ｂを参照して説明する。図１５Ａは、本発明の他の実施例により構成され、動作するシステムを図式的に示す図であり、システム全体を参照番号４５０で参照する。図１５Ｂは、図１５Ａのシステムにおける撮像カテーテルのチップの軌跡を図式的に示す図である。
【０１７０】
図１５Ａに示すように、システム４５０は、撮像カテーテル４５２、撮像システム４５４、ＭＰＳ４５６、発信器４５８、体用ＭＰＳセンサ４９０、プロセッサ４６０、複数のＥＣＧ電極（図示せず）、ＥＣＧモニター４６４、及びディスプレイ４６６を具えている。撮像カテーテル４５２は、撮像ＭＰＳセンサ４６８、及び画像検出器４７０を具えて、これらは共に、撮像カテーテル４５２のチップ４７２に位置する。
【０１７１】
図１５Ａに示す例では、画像検出器４７０が光コヒーレンス断層撮影（ＯＣＴ：optical coherence tomography）用撮像素子である。なお画像検出器４７０は、上述のＩＶＵＳトランスデューサまたは他の種類の超音波トランスデューサ、磁気共鳴撮像（ＭＲＩ）素子、サーモグラフィー装置、等に置き換えることができる。
【０１７２】
撮像システム４５４は、画像検出器４７０が検出する画像を表現する信号を発生する。ＭＰＳ４５６、プロセッサ４６０、ＥＣＧモニター４６４、及びディスプレイ４６６はそれぞれ、図１のＭＰＳ１０８、主コンピュータ１０２、ＥＣＧモニター１０６、及びディスプレイ１３０と同様のものである。ディスプレイ４６６は、二次元ディスプレイ、適切な両眼鏡で見るオート・ステレオスコープ（自動立体視）ディスプレイ、両目用ゴーグル、等である。ＭＰＳ４５６の位置及び向きのプロセッサは、グローバル（大域的）座標系の原点を規定する。ＥＣＧモニター４６４を専用の器官モニターで置き換えて、腸、まぶた、目、脳、肝臓、肺、腎臓、等のような、心臓以外の器官の器官タイミング信号を監視（モニター）することができる。撮像ＭＰＳセンサ４６８は、撮像カテーテル４５２のチップ４７２の位置及び向き、従って画像検出器４７０の位置及び向きを測定する。
【０１７３】
撮像カテーテル４５２は被検査器官４７４内に配置し、本実施例では、例えば動脈内に配置する。なお被検査器官は、食道、静脈、気管支、輸尿管、等のような、動脈以外の器官もあり得る。
【０１７４】
ＥＣＧ電極は、患者４６２の体、及びＥＣＧモニター４６４に取り付ける。体用ＭＰＳセンサ４９０は、患者４６２の体、及びＭＰＳ４５６に取り付ける。プロセッサ４６０は、撮像システム４５４、ＭＰＳ４５６、ＥＣＧモニター４６４、及びディスプレイ４６６に結合する。ＭＰＳ４５６はさらに、撮像ＭＰＳセンサ４６８及び発信器４５８に取り付ける。撮像システム４５４はさらに、画像検出器４７０に結合する。
【０１７５】
ＭＰＳ４５６はＭＰＳセンサ毎に、ＭＰＳセンサの、前記グローバル座標系の原点に対する座標を測定する。測定した座標は、３つの直線変位パラメータ及び３つの角度パラメータを含む。ＭＰＳ４５６は、前記測定した座標を表わす座標データをプロセッサ４６０に供給する。
【０１７６】
ＭＰＳ４５６は、体用ＭＰＳセンサ４９０を用いて患者の位置及び向きを検出し、この位置及び向きは、操作中に患者が動く場合に基準の役目をする。オペレータ（図示せず）は、撮像カテーテル４５２を手動で、被検査器官４７４に挿入し、あるいは被検査器官４７４から引き出し、その向きをそれぞれ矢印４７６及び４７８で表わす。
【０１７７】
次に、本発明の一実施例による走査プロセスについて説明する。本実施例は、画像データ、及び位置と向きのデータを、器官の活動に対応させて処理することによって、従来技術の欠点を克服する。
【０１７８】
オペレータは、撮像カテーテル４５２を被検査器官４７４に挿入して、被検査器官４７４内で撮像カテーテル４５２を、向き４７６及び４７８に動かす。画像検出器４７０は、被検査器官４７４の、撮像カテーテル４５２のチップ４７２を取り巻く領域の二次元画像を複数検出して、それぞれの二次元画像の画像信号を撮像システム４５４に供給する。撮像システム４５４は受信した画像信号を分析して、前記二次元画像のディジタル表現を作成して、これらのディジタル表現を画像データとしてプロセッサ４６０に供給する。
【０１７９】
ＭＰＳ４５６は、撮像カテーテル４５２が被検査器官４７４内を移動する間に、ＭＰＳセンサ４６８から受信した信号を用いて、撮像カテーテル４５２の位置及び向き、従って検出した各二次元画像の位置及び向きを測定する。なお、撮像ＭＰＳセンサ４６８の測定値は、撮像カテーテル４５２の移動の向き４７６及び４７８には無関係である。
【０１８０】
ＥＣＧ電極は患者４６２のＥＣＧを検出して、検出したＥＣＧを表わすＥＣＧ信号をＥＣＧモニター４６４に供給する。ＥＣＧモニター４６４は、受信したＥＣＧ信号を分析することによってＥＣＧデータを生成して、このＥＣＧデータをプロセッサ４６０に供給する。
【０１８１】
プロセッサ４６０は、二次元画像、それぞれの位置及び向きのデータ、及びそれぞれのＥＣＧデータを処理して、各二次元画像を、それぞれの位置及び向きのデータ、及びそれぞれのＥＣＧ信号に関連付ける。プロセッサ４６０は、それぞれの二次元画像の位置及び向きのデータ、及びそれぞれの二次元画像のＥＣＧタイミングに従って、各二次元画像を並べ替えて、選択した活動状態に関係する二次元画像から三次元画像を再構成して、選択した活動状態に関係する位置及び向きのデータからカテーテルの軌跡を計算する、等を行う。そしてプロセッサ４６０は、これらの二次元画像を、適応型ボリューム・データベース１１４（図１）のようなデータベースに記憶する。
【０１８２】
例えば図１４を参照すれば、プロセッサ４６０は、ＥＣＧ信号４４２のあらゆるサイクルにおける活動状態Ｔ1中に検出したすべての二次元画像（即ち、時点５１２、５１８、及び５２４で取得した画像）どうしの関連付けを行う。同様に、プロセッサ４６０は、ＥＣＧ信号４４２のあらゆるサイクルにおける活動状態Ｔ2中に検出したすべての二次元画像（即ち、時点５１４、５２０、及び５２６で取得した画像）どうしの関連付けを行って、さらに、ＥＣＧ信号４４２のあらゆるサイクルにおける活動状態Ｔ3中に検出したすべての二次元画像（即ち、時点５１６、５２２、及び５２８で取得した画像）どうしの関連付けを行う。
【０１８３】
プロセッサ４６０は、所定の活動状態Ｔiに関連するすべての二次元画像から三次元画像を再構成する。図１５Ｂに示すように、プロセッサ４６０は、被検査器官４７４の活動状態Ｔ1（図１４）における画像である三次元画像５００を再構成し、そして被検査器官４７４の活動状態Ｔ2における画像である三次元画像５０２を再構成する。同様にプロセッサ４６０は、被検査器官４７４の活動状態Ｔ3における画像である三次元画像５０４を再構成する。
【０１８４】
プロセッサ４６０は、活動状態Ｔ1に関連する時点５１２、５１８、及び５２４から軌跡５０６を計算する。同様にプロセッサ４６０は、活動状態Ｔ2に関連する時点５１４、５２０、及び５２６から軌跡５０８を計算して、さらに、活動状態Ｔ3に関連する時点５１６、５２２、及び５２８から軌跡５１０を計算する。
【０１８５】
プロセッサ４６０は、計算した各軌跡と再構成した三次元画像のうちの１つとを関連付け、これらの軌跡及び三次元画像は、器官の所定の活動状態に関係する。図１５Ｂを参照すれば、プロセッサ４６０は、軌跡５０６と再構成した三次元画像５００とを関連付け、これらは活動状態Ｔ1に関係する。同様に、プロセッサ４６０は、軌跡５０８と再構成した三次元画像５０２とを関連付け、これらは活動状態Ｔ2に関係し、さらに軌跡５１０と再構成した三次元画像５０４とを関連付け、これらは活動状態Ｔ3に関係する。
【０１８６】
軌跡を計算するために用いる点５１２、５１４、５１６、５１８、５２０、５２２、５２４、５２６、及び５２８は、それぞれの点において二次元画像を取得した点でもあるので、プロセッサ４６０は、計算した各軌跡を、それぞれの軌跡に対応する再構成した三次元画像上に重畳することができる。例えばプロセッサ４６０は、軌跡５０６を三次元画像５００上に重畳して、軌跡５０８を三次元画像５０２上に重畳して、軌跡５１０を三次元画像５０４上に重畳する。
【０１８７】
なお、点５１２、５１４、５１６、５１８、５２０、５２２、５２４、５２６、及び５２８は、図１３Ｂの点５２、５４、５６、５８、６０、６２、６４、６６、及び６８が表わす状況と同様の状況を表わす。しかし、本発明によれば、プロセッサ４６０が各三次元画像を再構成し、そして撮像カテーテルのチップの座標に対応する各軌跡を計算して、この座標は、再構成した三次元画像の活動状態と同じ活動状態に属する。
【０１８８】
なお、プロセッサ４６０は、ＭＰＳ４５６から受け取ったデータにより、走査プロセス中の撮像カテーテル４５２の進行速度を監視（モニター）する。なお、三次元ボリュームを十分な画像データで満たすためには、画像検出器４７０の進行毎に所定数の二次元画像が必要である。一部の画像検出器は、所定期間中に多数の画像を検出することしかできない。従ってプロセッサ４６０は、カテーテル４５２の画像検出器４７０の進行速度が所定しきい値以下であることを検出して、これにより、被検査ボリュームのどの所定部分についても、画像検出器４７０が十分な二次元画像を検出していることを判定する。プロセッサ４６０が、画像検出器４７０の進行速度が所定しきい値を超えていることを検出した場合には、プロセッサ４６０が警報信号を発生して、走査が許容外であること、あるいは走査を部分的にやり直すか、または走査全体をやり直すべきであることをオペレータに通知する。そしてオペレータは走査プロセスをやり直す。この警報信号の種類は、オーディオ、視覚、触覚、等である。
【０１８９】
以下において「手術手順」とは、切開を行うこと、組織の試料（サンプル）を収集すること、体液の試料を収集すること、器官内に化学物質を導入すること、手術ツールまたは手術装置を導入することのように、患者の器官に対する生体内（器内）の操作のことを称する。
【０１９０】
次に図１６Ａ、図１６Ｂ、図１６Ｃ、及び図１６Ｄを参照して説明する。図１６Ａは、図１５Ａのシステムをさらに手術手順に適応させたものを図式的に示す図である。図１６Ｂは、本発明のさらなる実施例により構成され、動作するグラフィカル（図形表示）・ユーザ・インタフェース（ＧＵＩ：graphical user interface）を図式的に示す図であり、ＧＵＩ全体を参照番号７３０で参照する。図１６Ｃは、本発明の他の実施例により構成され、動作するＧＵＩを図式的に示す図であり、ＧＵＩ全体を参照番号７６０で参照する。図１６Ｄは、器官の動きに依存する三次元画像列を再構成して、撮像システム、ＭＰＳ、及びＥＣＧモニターから受信した信号を処理することによって、追加的な視覚データをこの三次元画像列上に重畳するプロセスを図式的に示す図である。この追加的な視覚データは、被検査器官内の手術用具の位置、被検査器官内のカテーテルの軌跡、等を含むことができる。
【０１９１】
図１６Ａに示すように、システム４５０はさらに、手術カテーテル４８０、ガイダンス（案内）・ユニット４８２、及びリアルタイム撮像システム４８４を含む。手術カテーテル４８０はさらに、手術ツール４８６、及び手術ツール４８６の先端にカテーテルＭＰＳセンサ４８８を具えている。手術ツール４８６は、手術カテーテル４８０に装着可能で交換可能な多種の手術装置のうちの１つである。なお手術ツール４８６は、鉗子、レーザーカッター、ブラシ、カテーテル、ステント、バルーン、ペースメーカー電極、切除カテーテル、電気生理学的マッピング（地図作成）装置、液剤調剤装置、ニューロン電極、物質収集装置、手術搬送ツール（例えば、遺伝子、薬剤、装置等を搬送する）、内視鏡、撮像装置、等のような慣例のツール、あるいはこれらの組み合わせである。例えば、装置搬送ツールは、永久ステント、着脱可能ステントのような医療装置を患者４６２の体に搬送するための医療ツールとすることができる。カテーテルＭＰＳセンサ４８８はＭＰＳ４５６に結合する。
【０１９２】
ガイダンス・ユニット４８２は手術カテーテル４８０に結合する。ガイダンス・ユニット４８２は、被検査器官内で手術ツールの空間的なナビゲーションを行うための装置である。リアルタイム撮像システム４８４は、患者４６２の体の被検査器官を含む部分のリアルタイム画像を連続的に提供する撮像システムである。リアルタイム撮像システム４８４は、Ｘ線テーブル（検査台）、透視検査装置、超音波システム、ＭＲＩシステム、等である。本実施例では、リアルタイム撮像システム４８４は、患者４６２の体の下に位置しても上に位置してもよく、そしてプロセッサ４６０に結合する。
【０１９３】
オペレータが被検査器官４７４（図１５Ａ）の走査を完了して、プロセッサ４６０が被検査器官４７４の三次元画像を生成すると、撮像カテーテル４５２を被検査器官４７４から除去することができる。そして手術カテーテル４８０を被検査器官内に挿入して、被検査器官４７４に対する手術手順を実行する。
【０１９４】
システム４５０は、記憶している三次元画像を、記憶している患者の器官タイミング信号に同期して再生するか、あるいは任意の速度で順に再生することができる。システム４５０は手術手順中に使用することもでき、この場合には、システム４５０が、記憶している三次元画像を、患者のリアルタイムの器官タイミング信号に同期して再生する。システム４５０は、再生する三次元画像列中に追加的な情報を導入することができる。この追加的な情報は、手術ツールの表現、走査プロセス中に計算した手術ツールの軌跡、リアルタイムの撮像データ、等を含むことができる。
【０１９５】
手術手順中には、ＭＰＳ４５６が、カテーテルＭＰＳセンサ４８８から受信した信号により、手術ツール４８６のリアルタイムの位置及び向きを測定して、ＭＰＳ４５６は、この位置及び向きを表わす座標データをプロセッサ４６０に供給する。リアルタイム撮像システム４８４は、患者４６２の体のリアルタイム画像を取得して、リアルタイム画像データをプロセッサ４６０に供給する。ＥＣＧモニター４６４は、患者４６２の心臓の活動状態を検出して、リアルタイムＥＣＧデータをプロセッサ４６０に供給する。プロセッサ４６０は、手術手順中にリアルタイムで検出した患者４６２の心臓の活動状態に応じて、被検査器官４７４の三次元画像を、ボリューム・データベース１１４（図１）のようなデータベースから選択する。
【０１９６】
プロセッサ４６０は、リアルタイムで検出した患者４６２の心臓の活動状態に応じて、走査プロセス中に計算した軌跡から１つの軌跡を選択する。プロセッサ４６０は、この選択した軌跡を、選択した三次元画像上に重畳する。一旦、手術ツールのＭＰＳセンサの座標系と、予め記憶している三次元画像列の座標系とを合わせると、プロセッサ４６０は、この三次元画像列上に手術ツールの表現を追加することができる。
【０１９７】
なお、プロセッサ４６０はさらに、手術ツールの位置に従って、軌跡の視覚表現を変更することができる。例えばプロセッサ４６０は、軌跡の、手術ツールのチップの位置より後方の部分を選択した一色にして、これにより、手術カテーテルのそれまでの経路を示すことができる。同様に、プロセッサ４６０は、軌跡の、手術ツールのチップの位置より前方の部分を異なる色にして、これにより、医師が手術カテーテルを進めるべき理論的な経路を示す。
【０１９８】
ディスプレイ４６６は、プロセッサ４６０から受信したビデオ信号によりグラフィカル・ユーザ・インタフェース（ＧＵＩ）を表示する。このＧＵＩは、患者の被検査器官に関係する医療情報を含み、これにより、ユーザと被検査器官とのかかわり合いを促進することができる。ＧＵＩは、異なる視点からの被検査器官の画像、あるいは異なる種類の検出器によって検出した被検査器官の画像を表示するための、異なるウィンドウ（表示窓）を含むことができる。これに加えて、ＧＵＩは、器官タイミング信号を表わす情報、及び器官の異なる活動状態に対応する、被検査器官の異なる画像を見るための手段を含むことができる。ＧＵＩは、手術ツールのリアルタイムの位置及び向き、手術ツールの過去及び将来の軌跡、等のような、補助的な情報を含むことができる。
【０１９９】
図１６Ｂに示す実施例では、ＧＵＩ ７３０がウィンドウ７３２及び７３４を含む。ウィンドウ７３２は、再構成した被検査器官外部の三次元ナビゲーション画像７３６を含む。なお、この外部の三次元画像は半透明に再構成することができ、即ち、近い方の壁面を透明にして、これにより遠い方の壁面が近い方の壁面を通して見えるようにする。
【０２００】
本実施例では、被検査器官が患者４６２の下行大動脈７４４である。ウィンドウ７３２はさらに、手術ツールの表現７３８を含み、これは手術ツール４８６と同様に、外部の三次元ナビゲーション画像７３６上に重畳する。
【０２０１】
外部の三次元ナビゲーション画像７３６は、下行大動脈７４４のリアルタイム三次元画像列であり、リアルタイムで検出した患者４６２の心臓の活動状態に対応する。プロセッサ４６０は、ＭＰＳ４５６から受け取ったリアルタイム座標データに従って、リアルタイムの、手術ツール４８６の表現７３８を、外部の三次元ナビゲーション画像７３６上に重畳する。これにより、表現７３８は、手術ツール４８６の、下行大動脈７４４内の現在の位置及び向きを示す。
【０２０２】
本発明の他の実施例によれば、プロセッサ４６０が、リアルタイムで検出した器官の活動状態に応じて、被検査器官の三次元画像を選択して、選択した三次元画像の投影をリアルタイム二次元ナビゲーション画像上に重畳する。図１６Ｂに示す例では、ＧＵＩ７３４が、患者の体の手術中の領域のリアルタイム二次元ナビゲーション画像７５８を含む。この例では、この領域は、患者４６２の心臓７４０、及び上行大動脈７４２、下行大動脈７４４、上行大静脈７４６、肺静脈７４８、腹大動脈７５０、及び下行大静脈７５２のような、心臓７４０につながる静脈及び動脈を含む。
【０２０３】
プロセッサ４６０は、再構成した三次元画像７３６の投影７５４を、リアルタイム撮像システム４８４によって取得したリアルタイム二次元ナビゲーション画像７５８上に重畳して、これにより、組み合わせの二次元画像を作成してウィンドウ７３４内に表示する。プロセッサ４６０はさらに、手術ツール４８６の表現７５６を、リアルタイム二次元ナビゲーション画像７５８上に重畳する。表現７５６は、下行大動脈７４４内の手術ツール４８６の現在の位置及び向きを示す。プロセッサ４６０は、リアルタイムで検出した患者４６２の心臓の活動状態に応じて、投影７５４をリアルタイムで選択して、これにより、リアルタイム二次元ナビゲーション画像７５８の視覚的な動きに追従する。
【０２０４】
なお、リアルタイム撮像システム４８４の、グローバル座標系の原点に対する位置は、発信器４５８に対して固定の所定位置に定めるか、あるいはリアルタイム撮像システム４８４に結合したＭＰＳセンサによって測定するかのいずれかとする。
【０２０５】
プロセッサ４６０は、走査プロセス（図１５Ａ）中に取得したＭＰＳ座標データに従って、二次元画像７５４を、リアルタイム二次元画像７５８中の下行大動脈７４４の実際位置上に重畳する。このようにしてオペレータは、患者４６２の体の強調表示部分（即ちウィンドウ７３４内の投影７５４）にある手術カテーテル４８０の瞬時的な位置及び向きを観測することによって、ガイダンス・ユニット４８２の助けを借りて下行大動脈７４４内の手術カテーテル４８０のナビゲーションを行うことができる。
【０２０６】
ＧＵＩ ７６０はウィンドウ７６２及び７６４を含む。ウィンドウ７６２は、患者４６２の他の被検査器官外部の、再構成した三次元ナビゲーション画像７６６を含む。この場合には、被検査器官は、患者４６２の心臓の、左冠状動脈主幹部及び左前下行冠状動脈（ＬＭ＆ＬＡＤartery：left main & left anterior descending artery）７６６である。ウィンドウ７６２はさらに手術ツールの表現７６８を含み、これは、手術ツール４８６と同様に外部の三次元ナビゲーション画像情に重畳する。
【０２０７】
ウィンドウ７６４は、心臓７７０のリアルタイム二次元ナビゲーション画像７７２を含む。心臓７７０はＬＭ＆ＬＡＤ冠状動脈７７６を具えている。プロセッサ４６０は、再構成した三次元画像７６６の投影７７４を、リアルタイム二次元ナビゲーション画像７７２上に重畳する。プロセッサ４６０はさらに、手術ツール４８６の表現７７８を、リアルタイム二次元ナビゲーション画像７７２上に重畳する。表現７７８は、ＬＭ＆ＬＡＤ冠状動脈７７６内の手術ツール４８６の現在の位置及び向きを示す。
【０２０８】
グラフィック（図形）表現のプロセスがこれに続き、このプロセスでは、プロセッサ４６０が、手術ツールの軌跡、手術ツールの表現、等のような補助的な情報を含む三次元画像を生成する。プロセッサ４６０は、検出した画像データ、ＭＰＳの座標データ、器官のタイミングデータ、等のような異なるデータを処理することによって、三次元画像を生成する。
【０２０９】
図１６Ｄに示すように、プロセッサ４６０は、ＭＰＳの座標データ５５２に従って、複数の二次元画像５５４から被検査器官４７４の三次元画像５０２を再構成し、これらのデータ及び画像のすべてが、ＥＣＧデータ５５６のサイクル中で選択した活動状態に関係する。プロセッサ４６０は、Ｔ2の活動状態に属するすべての二次元画像から三次元画像５０２を再構成する。これに加えて、プロセッサ４６０は、点５１４、５２０、及び５２６から撮像カテーテルのチップの軌跡５５８を作成して、この軌跡は活動状態Ｔ2に対応する。
【０２１０】
システム４５０は、記憶しているＥＣＧデータ、あるいは所定の時間間隔に従って、再構成した画像列、あるいはその元になる取得した二次元画像の選択したサイクルを再生することができる。システム４５０は、再構成した画像列、あるいはその元になる取得した二次元画像の選択したサイクルを、リアルタイムで検出したＥＣＧデータに同期して再生することもできる。
【０２１１】
なお、手術ツールは被検査器官内をリアルタイムで移動するので、その意味では、器官タイミング信号に対して同期する必要はない。しかし、プロセッサ４６０が、画像を取得した座標系を、手術ツールのＭＰＳセンサの座標系と共に記録するか、あるいは、画像取得プロセス及び手術手順用の再生のために、同じ座標系を使用しなければならない。
【０２１２】
次に図１７を参照して説明する。図１７は、本発明のさらなる実施例により構成され、動作する、被検査器官内部の三次元ナビゲーション画像を図式的に示す図であり、図全体を参照番号６００で参照する。内部の三次元ナビゲーション画像６００は、被検査器官４７４（図１５Ａ）のような被検査器官の内壁画像６０２を含み、これは、オペレータが被検査器官の内部に位置するように見える画像である。内部の三次元ナビゲーション画像６００はさらに、手術ツール４８６（図１６Ａ）のような手術ツールの、手術中の現在位置の表現６０４を含む。内部の三次元ナビゲーション画像６００はさらに、手術ツールの現在位置より後方から見た手術カテーテルの表現６０６を含む。内部の三次元ナビゲーション画像６００はさらに、手術ツールの現在位置から見た、撮像カテーテル４５２（図１５Ａ）のような撮像カテーテルの、手術ツールの現在位置に続く将来の軌跡の表現６０８を含む。
【０２１３】
内壁画像６０２は、被検査器官の、画像検出器４７０を取り巻く部分の画像である。軌跡の表現６０８は、図１５Ａの走査プロセス中に、撮像カテーテルのチップが、被検査器官内を進行した軌跡を表現する。軌跡の表現６０８は、被検査器官内で手術カテーテルが追従する理論的な前方経路、即ちオペレータが被検査器官内で手術ツールを前進させるべき経路を表示する。
【０２１４】
次に図１８を参照して説明する。図１８は、本発明の他の実施例により構成され、動作する被検査器官・ＥＣＧ同時表示のディスプレイを図式的に示す図であり、ディスプレイ全体を参照番号６３０で参照する。ＥＣＧ同時表示のディスプレイ６３０は、ＥＣＧタイミング信号６３２、前進ボタン６３４、後退ボタン６３６、静止（フリーズ）ボタン６３８、及び被検査器官４７４（図１５Ａ）のような被検査器官外部の三次元画像６４０を含む。
【０２１５】
外部の三次元画像６４０はウィンドウ６４２内に表示され、この画像はＥＣＧタイミング信号６３２中の活動状態６４４に対応する。オペレータが前進ボタン６３４を押すと、被検査器官外部の三次元画像列がウィンドウ６４２内に表示される。ウィンドウ６４２内に表示される外部の三次元画像の各々が、ＥＣＧタイミング信号６３２中のそれぞれの活動状態に対応し、タイミング信号６３２が矢印６４６で表わす向きに前進するように表示される。
【０２１６】
オペレータが後退ボタン６３６を押すと、被検査器官外部の三次元画像列が順次、ウィンドウ６４２内に表示される。ウィンドウ６４２内に表示される外部の三次元画像の各々が、ＥＣＧタイミング信号６３２中のそれぞれの活動状態に対応し、タイミング信号６３２が矢印６４８で表わす向きに後退するように表示される。
【０２１７】
オペレータが静止ボタン６３８を押すと、選択した活動状態６５０に対応する被検査器官外部の三次元画像がウィンドウ６４２内に表示される。このようにして、ウィンドウ６４２内の被検査器官外部の三次元画像が、活動状態６５０で静止状態に留まり、その間に、医師が被検査器官の三次元画像を検査することができる。
【０２１８】
ウィンドウ６４２内に表示される外部の二次元画像の各々は、システム４５０（図１５Ａ）が走査プロセス中に取得したものである。こうしてオペレータは、被検査器官外部の三次元画像を、患者の心臓が鼓動するようにアニメーション（動画）化して見ることができ、これは時間が進むように見ることも、時間が後戻りするように見ることもできる。あるいはまた、オペレータは、選択した時点で静止ボタン６３８を押すことによって、患者の心臓サイクル中で選択した活動状態に対応する、被検査器官外部の三次元画像を見ることができる。なお、基準リアルタイム画像のような他の画像列（即ち、透視検査画像等のように、ナビゲーション中のロードマップ（道案内図）の役割をするもの）も、静止させることができる。
【０２１９】
次に図１９Ａ及び図１９Ｂを参照して説明する。図１９Ａは、本発明のさらなる実施例により構成され、動作するＧＵＩを図式的に示す図であり、ＧＵＩ全体を参照番号６７０で参照する。図１９Ｂは、本発明の他の実施例により構成され、動作するＧＵＩを図式的に示す図であり、ＧＵＩ全体を参照番号７００で参照する。
【０２２０】
図１９Ａに示すように、ＧＵＩ ６７０は、被検査器官の横断面図６７２、水平目盛（水平ルーラー）６７４、垂直目盛（垂直ルーラー）６７６、複数の垂直ガイド６７８1、６７８2、６７８3、６７８4、６７８5、６７８6、及び複数の水平ガイド６８０1、６８０2、６８０3、６８０4、６８０5、６８０6を含む。横断面図６７２はプラーク６８２の画像を含む。オペレータは、垂直ガイド６７８1、６７８2、６７８3、６７８4、６７８5、６７８6の位置、及び水平ガイド６８０1、６８０2、６８０3、６８０4、６８０5、６８０6の位置を、それぞれ水平目盛６７４上及び垂直目盛６７６上で読み取ることによって、直径、面積、閉塞の％比率、等のような被検査器官の幾何学的パラメータを測定する。オペレータはプラーク６８２の大きさも測定する。あるいはまた、幾何学的パラメータをＧＵＩ ６７０上に書き出すことができる。さらにまた、これらの幾何学的パラメータをスピーカによって報知することができる。
【０２２１】
図１９Ｂに示すように、ＧＵＩ ７００は、被検査器官の縦断面図７０２、水平目盛７０４、垂直目盛７０６、複数の水平ガイド７０８1、７０８2、７０８3、７０８4、７０８5、７０８6、及び複数の垂直ガイド７１０1、７１０2、７１０3、７１０4、７１０5、６８０6を含む。縦断面図７０２はプラーク７１２を含む。オペレータは、垂直ガイド７０８1、７０８2、７０８3、７０８4、７０８5、７０８6の位置、及び水平ガイド７１０1、７１０2、７１０3、７１０4、７１０5、７１０6の位置を、それぞれ水平目盛７０４上及び垂直目盛７０６上で読み取ることによって、直径、面積、閉塞の％比率、等のような被検査器官の幾何学的パラメータを測定する。オペレータはプラーク７１２の大きさも測定する。あるいはまた、幾何学的パラメータをＧＵＩ ７００上に書き出すことができる。さらにまた、幾何学的パラメータをスピーカによって報知することができる。
【０２２２】
次に図２０を参照して説明する。図２０は、本発明のさらなる実施例により構成され、動作するＧＵＩを図式的に示す図であり、ＧＵＩ全体を参照番号７８０で参照する。ＧＵＩ ７８０は、ウィンドウ７８２、７８４、７８６、及び７８８、ＥＣＧタイミング信号７９０、前進ボタン７９２、後退ボタン７９４、及び静止ボタン７９６を含む。ＧＵＩ ７８０は量的モデルを提供し、ユーザはこのモデルによって、患者の体内におけるナビゲーション・プロセスの現実的な概念を獲得する。
【０２２３】
ウィンドウ７８２は、図１６Ｂのウィンドウ７３２と同様である。ウィンドウ７８４は、図１７の被検査器官の内部画像６００と同様の画像を含む。
【０２２４】
ウィンドウ７８６は、画像検出器が被検査器官の内部に位置する間の、履歴的な被検査器官の二次元画像を含む。ウィンドウ７８８は図１６Ｂのウィンドウ７３４と同様である。ＥＣＧタイミング信号７９０は、図１８のＥＣＧタイミング信号６３２と同様である。前進ボタン７９２、後退ボタン７９４、及び静止ボタン７９６はそれぞれ、図１８の前進ボタン６３４、後退ボタン６３６、及び静止ボタン６３８と同様である。
【０２２５】
次に図２１を参照して説明する。図２１は、本発明の他の実施例により構成され、動作する、図１６Ａのシステムにおける手術ツールのチップの位置及び向きに従って修正した軌跡を図式的に示す図である。手術中には、オペレータは手術ツール４８６（図１６Ａ）を順次、点５１２、５８０、５２４に置く。点５１２及び５２４は軌跡５０６上に位置し、軌跡５０６は、プロセッサ４６０が走査プロセス中に、撮像カテーテル４５２（図１５Ａ）のチップ４７２の軌跡に従って作成したものである。軌跡５０６は、点５１２、５１８、及び５２４によって規定され、点５８０は軌跡５０６上に位置しない。プロセッサ４６０は、軌跡５０６に対する修正を行って、点５１２、５８０、及び５２４によって規定される修正軌跡５８２を作成し、従ってディスプレイ４６６は修正軌跡５８２を、外部の三次元ナビゲーション画像５００上に重畳させて表示する。
【０２２６】
次に図２２を参照して説明する。図２２は、本発明のさらなる実施例により構成され、動作する、図１５Ａのシステム４５０を動作させる方法を図式的に示す図である。手順８２０では、被検査器官の器官タイミング信号を検出する。図１５Ａに示すように、ＥＣＧモニター４６４が、ＥＣＧタイミング信号４４２（図１４）のような、患者４６２の心臓の活動状態を検出する。
【０２２７】
手順８２２では、被検査器官の二次元画像を複数、画像検出器によって検出する。図１５Ａに示すように、画像検出器４７０は、被検査器官４７４の二次元画像５５４（図１６Ｄ）を検出する。この画像検出器は、超音波検出器、ＯＣＴ検出器、ＭＲＩ装置、サーモグラフィー装置、等とすることができる。
【０２２８】
手順８２４では、画像検出器の位置及び向きを検出する。図１５Ａに示すように、撮像ＭＰＳセンサ４８６が画像検出器４７０の位置及び向きを検出する。
【０２２９】
各二次元画像は、画像検出器の位置及び向きの検出値、及びそれぞれの器官タイミング信号の読み取り値に関連する。図１５Ａ及び図１６Ｄに示すように、プロセッサ４６０は、各二次元画像５５４を、画像検出器４７０のぞれぞれのＭＰＳ座標データ５５２、及びＥＣＧタイミング信号５５６のそれぞれの活動状態に関連付ける。
【０２３０】
手順８２８では、前記二次元画像から複数の三次元画像を再構成する。再構成した三次元画像の各々が、器官タイミング信号中で選択した位置に対応する。図１４、図１５Ａ、及び図１５Ｂに示すように、プロセッサ４６０は、外部の三次元ナビゲーション画像５００、５０２、及び５０４を再構成して、これらはそれぞれ、活動状態Ｔ1、Ｔ2、及びＴ3に対応する。患者４６２の心臓が例えば活動状態Ｔ2にある際には、プロセッサ４６０は外部の三次元ナビゲーション画像５０２を選択する（手順８３０）。
【０２３１】
手順８３２では、手術ツールの位置及び向きを検出する。図１６Ａに示すように、カテーテルＭＰＳセンサ４８８が手術ツール４８６の位置及び向きを検出して、プロセッサ４６０が、検出した位置及び向きに従って、手術ツール４８６の表現を、選択した三次元画像上に重畳する（手順８３４）。
【０２３２】
手順８３６では、リアルタイム画像を検出する。図１６Ａに示すように、リアルタイム撮像システム４８４が、患者４６２の体の、被検査器官４７４を含む部分のリアルタイム画像を検出する。
【０２３３】
手順８３８では、選択した三次元画像の投影を、検出したリアルタイム画像上に重畳する。図１６Ｂに示すように、プロセッサ４６０は、再構成した三次元画像７３６の投影リアルタイム二次元ナビゲーション画像７５８上に重畳する。なお、この手順の結果として、実際に患者の体内のナビゲーションを行うような、非常に現実的な概念をユーザに提供する量的モデルができる。
【０２３４】
手順８４０では、画像を重畳した結果を表示する。図１６Ａ及び図１６Ｂに示すように、手術ツール４８６の表現７５６をリアルタイム二次元ナビゲーション画像７５８上に重畳したもの、及び再構成した三次元画像７３６をリアルタイム二次元ナビゲーション画像７５８上に重畳したものを、ディスプレイ４６６に表示する。
【０２３５】
本発明の他の要点によれば、システム４５０は、被検査器官の再構成した三次元画像を、閉塞領域にマーク（目印）を付けて表示する。さらに、オペレータはシステム４５０に、被検査器官の、閉塞が選択した限度以上である領域のみにマークを付けるように指示することができる。
【０２３６】
次に図２３Ａ、２３Ｂ、及び２３Ｃを参照して説明する。図２３Ａは、複数の閉塞領域を有する動脈の図であり、動脈全体を参照番号８５０で参照する。図２３Ｂは、図２３Ａの動脈８５０の選択領域の断面図である。図２３Ｃは、図２３Ｂの動脈を、本発明の他の実施例により構成され、動作するグラフィカル・ユーザ・インタフェース（ＧＵＩ）で表現したものを図式的に示す図であり、ＧＵＩ全体を参照番号８６０で参照する。
【０２３７】
動脈８５０は、プラーク８５２、８５４、及び８５６を有する。なお、プラーク８５２、８５４、及び８５６は、一箇所に固定でも動的でもあり得る。プラーク８５２、８５４、及び８５６はそれぞれ、動脈８５０の７５％、６０％、８０％を閉塞している。図２３Ｂの斜線を付けた領域は、動脈８５０内のプラーク８５２による阻害を表わし、内腔８５８が血流用の開口部として残されている。
【０２３８】
プロセッサ４６０は、プラークの種類、プラーク密度、等のようなパラメータを考慮に入れる複数の方法によって、閉塞の％比率を測定することができる。次式は、こうした方法の簡単な例である。
【数１】
ここに、％BLOCKEDは閉塞の％比率を表わし、ＳLUMENは内腔８５８の断面積を表わし、ＳARTERYは動脈８５０の内部の総断面積である。
【０２３９】
ＧＵＩ ８６０は、グラフィック・ウィンドウ（図形表示窓）８６２を含む。グラフィック・ウィンドウ８６２は、動脈８５０の再構成した三次元画像８６４、及び比率選択ウィンドウ８６６を含む。比率選択ウィンドウ８６６は、増減（グラデーション）バー８７４、ポインタ（指針）８７６、及び数値ボックス８７８を含む。オペレータは、マウス、ディジタル・タブレット（座標指示入力盤）とスタイラス（入力ペン）、等のような指示装置を用いて、ポインタ８７６を増減バー８７４上でドラッグする（引きずる）ことによって、閉塞の％比率のしきい値を設定することができる。あるいはまた、オペレータは、選択した閉塞の％比率のしきい値を、キーボード、マイクロホン、等のようなユーザ・インタフェースによって、数値ボックス８７８内に入力することができる。図２３Ｂに示す例では、数値ボックス８７８内に選択した比率の数値７０％が示されてある。
【０２４０】
次にシステム４５０は、再構成した三次元画像上の、選択した閉塞の％比率以上に閉塞した領域のみにマークを付ける。図２３Ｂに示す例では、再構成した三次元画像８６４内で、動脈８５０の、７０％以上閉塞した領域のみにマークを付けてある。７０％を超えるプラーク８５２及び８５６はそれぞれ、再構成した三次元画像８６４上のマークを付けた領域８６８及び８７０で表わす。マークを付けた領域８６８及び８７０は、異なる色合いにすること、斜線を付けること、アニメーション（動画）化すること、等によって、再構成した三次元画像８６４の残りの部分との区別を付ける。
【０２４１】
なお、システム４５０は、ユーザが自分の医学的知識及び経験によって、例えばプラーク部分がシステムの表示と異なるはずであることを検出した場合には、ユーザがスクリーン上のマークを手動で修正することを可能にする。例えば、ウィンドウ７８６（図２０）内に表示された画像がプラーク８５２に関する追加的な情報を提供し、この情報により、プラーク８５２による閉塞がスクリーン上に示されているよりも少ないことをユーザが検出した場合には、ユーザはこれをもとに、スクリーン上のプラーク８５２にマークを付けることができる。さらになお、システム４５０は、内腔の種々の層（即ち、媒質、外膜、最内の各層）を、ＧＵＩ ８６０内に異なる色で表示することができる。
【０２４２】
次に図２４を参照して説明する。図２４は、本発明のさらなる実施例により動作する図２３Ｃのグラフィカル・ユーザ・インタフェースが動作する方法を図式的に示す図である。手順９００では、閉塞の値を受け取る。図２３Ｃに示すように、オペレータが選択ウィンドウ８６６によって閉塞のしきい値７０％を設定して、プロセッサ４６０はこの選択した閉塞のしきい値を受け取る。
【０２４３】
手順９０２では、被検査器官について複数の閉塞の値を測定する。図２３Ａに示すように、プロセッサ４６０は、プラーク８５２、８５４、及び８５６がそれぞれ、動脈８５０の７５％、６０％、８０％を阻害している。
【０２４４】
手順９０４では、前記測定した閉塞の値を、前記選択した閉塞のしきい値と比較する。図２３Ａ及び図２３Ｃに示すように、プロセッサ４６０は、プラーク８５２、８５４、及び８５６のそれぞれの閉塞の値７５％、６０％、及び８０％を、前記選択した閉塞のしきい値７０％と比較する。
【０２４５】
手順９０６では、上記比較の結果により、少なくとも１つの閉塞領域を特定する。図２３Ａ及び図２３Ｃに示すように、プロセッサ４６０は、プラーク８６８及び８７０が、表示すべき閉塞領域であるものと判定する。これは、プラーク８６８及び８７０の閉塞の％比率（それぞれ７５％及び８０％）は前記選択したしきい値７０％よりも大きいが、プラーク８５４の閉塞の％比率（即ち６０％）は７０％未満だからである。図２３Ｃに示すように、プラーク８５２及び８５６はそれぞれ、再構成した三次元画像８６４内でマークを付けた領域８６８及び８７０として表現する（手順９０８）。
【０２４６】
本発明の他の要点によれば、被検査器官の選択した活動状態における三次元画像を、被検査器官の他の活動状態中に検出した被検査器官の二次元画像から再構成する。三次元画像を再構成するために、より多くの二次元画像が利用可能なので、プロセッサ４６０は、被検査器官のこの活動状態におけるより詳細な三次元画像を再構成することができる。なお、本発明のこの要点は、変形を無視できる器官、及び変形が既知である器官に適用可能である。
【０２４７】
この場合には、被検査器官は、動脈、気管支、食道、等のように、器官タイミング信号のすべての活動状態において、その幾何学的形状がほぼ一定に保たれ、管の位置及び向きのみが変化する管である。プロセッサ４６０は、異なる活動状態で検出した管の二次元画像を、選択した活動状態で検出した二次元画像に組み入れて、組み入れた二次元画像の座標（即ち位置及び向き）を、選択した活動状態で検出した座標に変更する。
【０２４８】
次に図２５Ａ、図２５Ｂ、及び図２５Ｃを参照して説明する。図２５Ａは、３つの異なる活動状態における管の画像を図式的に示す図であり、管全体をそれぞれ、参照番号９５０、９５２、及び９５４で参照する。図２５Ｂは、本発明の他の実施例により、１つの活動状態で取得した二次元画像のうちの１つを他の活動状態に平行移動する様子を図式的に示す図である。図２５Ｃは、図２５Ａの１つの活動状態における管の画像を、図２５Ｂの実施例によって、他の２つの活動状態で検出した管の二次元画像から再構成したものを図式的に示す図である。図２５Ｄは、図２５Ａの他の活動状態における管の画像を、図２５Ｂの実施例によって、これ以外の２つの活動状態で検出した管の二次元画像から再構成したものを図式的に示す図である。
【０２４９】
図２５Ａに示すように、被検査器官４７４（図１５Ａ）の三次元画像９５０は、活動状態Ｔ1中に検出した二次元画像９５６1、９５６2、９５６3、及び９５６4から再構成する。活動状態Ｔ1中の撮像カテーテル４５２の経路を軌跡９５８で表わす。被検査器官４７４の三次元画像９５２は、活動状態Ｔ2中に検出した二次元画像９６０1、９６０2、９６０3、及び９６０4から再構成する。活動状態Ｔ2中の撮像カテーテル４５２の経路を軌跡９６２で表わす。被検査器官４７４の三次元画像９５４は、活動状態Ｔ3中に検出した二次元画像９６４1、９６４2、９６４3、９６４4、及び９６４5から再構成する。活動状態Ｔ3中の撮像カテーテル４５２の経路を軌跡９６６で表わす。
【０２５０】
二次元画像９５６1、９５６2、９５６3、及び９５６4の座標は、それぞれ点９６８1、９６８2、９６８3、及び９６８4で表わす。二次元画像９６０1、９６０2、９６０3、及び９６０4の座標は、それぞれ点９７０1、９７０2、９７０3、及び９７０4で表わす。二次元画像９６４1、９６４2、９６４3、９６４4、及び９６４5の座標は、それぞれ点９７２1、９７２2、９７２3、９７２4、及び９７２5で表わす。
【０２５１】
なお、プロセッサ４６０は、被検査器官４７４の異なる活動状態中に、撮像カテーテルが被検査器官４７４の内部で辿るものと想定される経路の、異なる軌跡９５８、９６２、及び９６６の各々を計算する。さもなければ、軌跡９５８、９６２、及び９６６は同じ走査プロセスに属し、そして同じ期間中に通る軌跡である。従って、軌跡９５８、９６２、及び９６６のそれぞれの始点を表わす点９６８1、９７０1、及び９７２1は、同じ時点に属する。同様に、軌跡９５８、９６２、及び９６６のそれぞれの終点を表わす点９６８4、９７０4、及び９７２5は、他の時点に属する。従って、１つの活動状態に属し、かつ１つの軌跡上の特定位置に存在する二次元画像は、他の軌跡上の対応する位置に平行移動することができ、そして他の活動状態に平行移動することができ、上記対応する位置への平行移動は、軌跡の始点から二次元画像までの距離の、軌跡の全長に対する比率が、移動元の軌跡と移動先の軌跡とで同じになるように行う。
【０２５２】
図２５Ｂに示すように、二次元画像９６０2は活動状態Ｔ2で取得したものであり、この二次元画像に関連する座標は点９７０2で表わされる。プロセッサ４６０は、軌跡９５８上の画像９６０2を移動した座標を特定し、ここでプロセッサ４６０は、これらの座標は撮像ＭＰＳセンサ４６８によって検出したものであり、かつこの画像は活動状態Ｔ1中に取得したものである、という仮定の下で動作する。
【０２５３】
本実施例では、プロセッサ４６０がこれらの新たな座標を特定し、ここでは、動脈の長さの変化が、すべての活動状態を通して小さい、ということを利用する。ここで、点９７０1から点９７０2までの距離（即ち軌跡９６２の始点からの距離）の、軌跡９６２の全長（即ち、点９７０1から点９７０4まで）に対する比率がｂに等しいものとする。プロセッサ４６０は、移動先の軌跡９５８上で、点９６８1からの距離の、軌跡９５８の全長に対する比率がｂとなる位置を、平行移動先の座標として特定し、これを軌跡９５８上の点９７０2Tで表わす。そしてプロセッサ４６０は、点９７０2Tで表わされる平行移動先の座標を用いることによって、活動状態Ｔ2の二次元画像９６０2を用いて、活動状態Ｔ1に関連する三次元画像を再構成することができる。
【０２５４】
図２５Ｃに示すように、プロセッサ４６０は次の方法で、被検査器官４７４の活動状態Ｔ1における三次元画像９７４を再構成する。プロセッサ４６０は、二次元画像９６０2を活動状態Ｔ2から活動状態Ｔ1に平行移動して、上記のように平行移動した二次元画像９６０2Tとする。
【０２５５】
プロセッサ４６０は、点９７２2が軌跡９６６上で、軌跡の始点から点９７２2までの距離の、軌跡の全長に対する比率がｃである位置に存在することを特定する。プロセッサ４６０は、軌跡９５８上に点９７２2Tで表わす座標を、点９７２2を平行移動先の座標として特定し、このことは、軌跡９５８の始点から点９７２2Tまでの距離の、軌跡９５８の全長に対する比率を同じｃにすることによって行う。そしてプロセッサ４６０は、二次元画像９６４2を活動状態Ｔ3から活動状態Ｔ1に平行移動して、平行移動した二次元画像９６４2Tとする。
【０２５６】
プロセッサ４６０は、点９７２3が軌跡９６６上で、軌跡の始点から点９７２3までの距離の、軌跡の全長に対する比率がｄである位置に存在することを特定する。プロセッサ４６０は、軌跡９５８上に点９７２3Tで表わされる座標を、点９７２3を平行移動先の座標として特定し、このことは、軌跡９５８の始点から点９７２3T距離の、軌跡９５８の全長に対する比率を同じｄにすることによって行う。そしてプロセッサ４６０は、二次元画像９６４3を活動状態Ｔ3から活動状態Ｔ1に平行移動して、平行移動した二次元画像９６４3Tにする。同様にプロセッサ４６０は、平行移動した二次元画像９６４1T、９６０1T、９６０3T、９６４4T、９６４5T、及び９６０4Tのそれぞれの座標である、点９７２1T、点９７０1T、点９７０3T、点９７２4T、点９７２5T、及び点９７０4Tで表わされる平行移動先の座標を特定する。
【０２５７】
このようにして、プロセッサ４６０は、画像９６４1T、９６０1T、９５６1、９６０2T、９６４2T、９５６2、９６４3T、９６０3T、９５６3、９６４4T、９５６4、９６４5T、及び９６０4Tから、三次元画像９５０を再構成することになり、これらの平行移動した二次元画像は、元の二次元画像９５６1、９５６2、９５６3、及び９５６4（図２５Ａ）よりも実質的に多数である。従ってプロセッサ４６０は、三次元画像９５０よりも実質的により詳細な三次元画像９７４を再構成することができる。
【０２５８】
図２５Ｄに示すように、プロセッサ４６０は、活動状態Ｔ2における三次元画像９７６を、元の二次元画像９６０1、９６０2、９６０3、９６０4、及び活動状態Ｔ1及びＴ3に属する追加的な二次元画像から再構成する。これらの追加的な二次元画像の一部は、参照番号９５６1、９５６2、９５６3、及び９５６4を付けたものであり、これらは活動状態Ｔ1からＴ2に平行移動して、それぞれ平行移動した二次元画像９５６1T、９５６2T、９５６3T、及び９５６4Tとしたものである。平行移動した二次元画像９５６1T、９５６2T、９５６3T、及び９５６4Tはそれぞれ、９６８1T、９６８2T、９６８3T、及び９６８4Tで表わされる平行移動先の座標を有する。他の追加的な二次元画像は参照番号９６４1、９６４2、９６４3、９６４4、及び９５６5を付けたものであり、これらは活動状態Ｔ3からＴ2に平行移動して、それぞれ平行移動した二次元画像９６４1T、９６４2T、９６４3T、９６４4T、及び９５６5Tとしたものである。平行移動した二次元画像９６４1T、９６４2T、９６４3T、９６４4T、及び９５６5Tはそれぞれ、９７２1T、９７２2T、９７２3T、９７２4T、及び９７２5Tで表わされる平行移動先の座標を有する。
【０２５９】
なお、三次元画像９７６は実質的に多数の二次元画像から再構成したものであるので、三次元画像９７６は、１つの活動状態のみに属する二次元画像から再構成した三次元画像９５２よりも実質的により細密である。さらになお、プロセッサ４６０は、活動状態毎に細密な三次元画像を、再構成を行う活動状態に属する二次元画像に加えて、他のすべての活動状態に属するすべての二次元画像から再構成することができる。
【０２６０】
次に図２６を参照して説明する。図２６は、本発明のさらなる実施例により動作する、三次元画像を再構成する方法を図式的に示す図である。手順１０００では、活動状態を選択する。図１４、図１５Ａ、図２５Ａ、及び図２５Ｃに示すように、プロセッサ４６０が活動状態Ｔ1を選択して、この活動状態について三次元画像９７４を再構成することになる。
【０２６１】
手順１００２では、前記選択した活動状態以外の活動状態に属する補助的な二次元画像の平行移動先の座標を、これらの補助的な二次元画像の元の座標、及び前記選択した活動状態に関連する軌跡の座標によって特定する。図２５Ｂに示すように、プロセッサ４６０は、活動状態Ｔ2に属する二次元画像９６０2の平行移動先である、点９７０2Tで表わされる座標を特定する。この平行移動先の座標は、点９７０2で表わされる二次元画像９６０2の元の座標、及び軌跡９５８（即ち、点９６８1、９６８2、９６８3、及び９６８4で表わされる座標）により特定する。
【０２６２】
手順１００４では、前記補助的な二次元画像を、前記平行移動先の座標によって、前記選択した活動状態に関連付ける。図２５Ｂに示すように、プロセッサ４６０は、二次元画像９６０2を活動状態Ｔ1に関連付けて、平行移動先の座標９７０2Tにある平行移動した二次元画像９６０2Tとする。この時点では、この方法は、前記選択した活動状態以外の活動状態における補助的な二次元画像を、前記選択した活動状態に関連付けるまで、手順１００２に繰返し戻る。図２５Ｃに示すように、活動状態Ｔ2の属する二次元画像９６０1、９６０3、９６０4、及び活動状態Ｔ3に属する二次元画像９６４1、９６４2、９６４3、９６４4、９６４5を、活動状態Ｔ1に関連付けて、平行移動した二次元画像９６０1T、９６０3T、９６０4T、９６４1T、９６４2T、９６４3T、９６４4T、及び９６４5Tとする。これらの平行移動した二次元画像の前記平行移動先の座標はそれぞれ、点９７０1T、９７０3T、９７０4T、９７２1T、９７２2T、９７２3T、９７２4T、及び９７２5Tで表わされる。
【０２６３】
手順１００６では、三次元画像を再構成する。図２５Ｃに示すように、プロセッサ４６０は三次元画像９７４を、二次元画像９５６1、９５６2、９５６3、９５６4、及び補助的な二次元画像９６０1、９６０2、９６０3、９６０4、９６４1、９６４2、９６４3、９６４4、９６４5から再構成する。
【０２６４】
次に図２７Ａ及び図２７Ｂを参照して説明する。図２７Ａは、複数の枝を含む管の部分を図式的に示す図であり、この部分全体を参照番号１０３０で参照する。管１０３０は、動脈、静脈、気管支、等の、複数の分岐を具えた部分である。図２７Ｂは、本発明の他の実施例により構成され、動作するグラフィカル・ユーザ・インタフェース（ＧＵＩ）を図式的に示す図であり、ＧＵＩ全体を参照番号１０６０で参照する。
【０２６５】
図２７Ａに示すように、管１０３０は、側枝１０３２、１０３４、１０３６、及び２つの主枝１０３８、１０４０を含む。側枝１０３２、１０３４、及び１０３６はそれぞれ、管１０３０の分岐領域１０４２、１０４４、及び１０４６から出るように分岐する。
【０２６６】
図２７Ｂに示すように、ＧＵＩ １０６０はウィンドウ１０６２を含む。ウィンドウ１０６２は、管１０３０の三次元画像１０６４を含む。三次元画像１０６４は、主部１０６６、枝１０６８及び１０７０、複数の開口部１０７２、１０７４、及び１０７６、複数のマーク（目印）１０７８、１０８０、及び１０８２、軌跡１０８４、及び手術ツールの表現１０８６を含む。主部１０６６は管１０３０を表現する。枝１０６８及び１０７０はそれぞれ、主枝１０３８及び１０４０を表現する。
【０２６７】
プロセッサ４６０（図１５Ａ）は、オペレータが撮像カテーテル４５２のような撮像カテーテルを用いて管１０３０及び主枝１０３８、１０４０を走査する走査プロセス中に、三次元画像１０６４を再構成する。撮像カテーテルが、領域１０４２、１０４４、及び１０４６を通過しながら管１０３０の内部を移動する間に、画像検出器４７０のような、画像カテーテルの画像検出器が、分岐領域１０４２、１０４４、及び１０４６を、管１０３０壁にある複数の開口部として検出する。
【０２６８】
ＧＵＩ １０６０は、分岐領域１０４２、１０４４、及び１０４６をそれぞれ、開口部１０７２、１０７４、及び１０７６として表示する。ＧＵＩ １０６０はさらに、それぞれの開口部１０７２、１０７４、及び１０７６の付近の、それぞれマーク１０７８、１０８０、及び１０８２を、それぞれ分岐領域１０４２、１０４４、及び１０４６の指標として表示する。各マーク１０７８、１０８０、及び１０８２は、ポリゴン（多角形）、閉曲線、開曲線、終端付きの直線、無終端の直線、色分け、アニメーション（動画）、等にすることができる。
【０２６９】
軌跡１０８４は、走査プロセス中に撮像カテーテルが追従してきた経路のうちの１つを示す。表現１０８６は、管１０３０の内部における、手術ツール４８６（図１６Ａ）のような手術ツールの位置及び向きを表わす。ＧＵＩ １０６０を用いることによって、オペレータは手術手順中に、管１０３０を通る手術ツールのナビゲーションを行って、管１０３０の側枝を選択する。なお、システム４５０は、再構成した被検査器官のモデルによって、内部モデル、リアルタイムで取得した画像上に重畳した量的モデル、等のような種々の表現を導出することができる。
【０２７０】
本発明が、以上において説明及び図示した特定事項に限定されないことは、当業者にとって明らかである。本発明の範囲は請求項のみによって規定される。
【図面の簡単な説明】
【０２７１】
【図１】本発明の実施例により構成され、動作する、多機能三次元撮像システムを図式的に示す図である。
【図２Ａ】本発明の他の実施例により構成され、動作する、体内放射方向超音波撮像システムの透視図である。
【図２Ｂ】検査する管の壁面の、複数の、放射方向の二次元画像の透視図である。
【図２Ｃ】図１のＭＰＳシステムの詳細を図式的に示す図であり、本発明のさらなる実施例により構成され、動作する。
【図３】所定座標系内の二次元画像を図式的に示す図である。
【図４】複数の二次元画像の透視図、及び器官タイミング信号の図である。
【図５Ａ】本発明の他の実施例による複数の三次元ボリュームを図式的に示す図である。
【図５Ｂ】画像再構成の後段における、図５Ａの三次元画像の一部を図式的に示す図である。
【図５Ｃ】図５Ａの三次元画像を選択して図式的に示す図であり、画像更新の手順を実行中である。
【図５Ｄ】外部オブジェクトの情報を含む二次元画像を図式的に示す図である。
【図６】本発明のさらなる実施例により動作する、図１の三次元撮像システムの動作方法を図式的に示す図である。
【図７Ａ】本発明の他の実施例により構成され、動作する、リアルタイム三次元表示再生システムを図式的に示す図である。
【図７Ｂ】患者の熱の三次元画像を表示する、図７Ａのゴーグルを図式的に示す図である。
【図８】本発明のさらなる実施例による、周期的な三次元画像列の透視図である。
【図９】本発明の他の実施例により動作する、画像重畳プロセスを図式的に示す図である。
【図１０】本発明のさらなる実施例により動作する、図７Ａのシステムが動作する方法を図式的に示す図である。
【図１１】本発明の他の実施例により構成され、動作する、管内撮像兼手術システムの透視図である。
【図１２】本発明のさらなる実施例により構成され、動作する、多機能二次元撮像システムを図式的に示す図である。
【図１３Ａ】従来技術において既知である、器官の三次元画像を表示するシステムを図式的に示す図である。
【図１３Ｂ】患者の動脈内部における、図１３Ａのシステムのカテーテルの撮像端の軌跡を図式的に示す図である。
【図１４】患者のＥＣＧを図式的に示す図である。
【図１５Ａ】本発明の他の実施例により構成され、動作するシステムを図式的に示す図である。
【図１５Ｂ】図１４のＥＣＧの異なる活動状態のそれぞれにおける、図１５Ａのシステムの撮像カテーテルの先端の軌跡を図式的に示す図である。
【図１６Ａ】さらに手術手順に適応させた、図１５Ａのシステムを図式的に示す図である。
【図１６Ｂ】本発明のさらなる実施例により構成され、動作するグラフィカル・ユーザ・インタフェース（ＧＵＩ）を図式的に示す図である。
【図１６Ｃ】本発明の他の実施例により構成され、動作するグラフィカル・ユーザ・インタフェースを図式的に示す図である。
【図１６Ｄ】器官の動きに依存する三次元画像を再構成して、追加的な視覚データをこの三次元画像上に重畳するプロセスを図式的に示す図である。
【図１７】本発明のさらなる実施例により構成され、動作する、被検査器官内部の三次元ナビゲーション画像を図式的に示す図である。
【図１８】本発明の他の実施例により構成され、動作する、被検査器官とＥＣＧの同時表示のディスプレイを図式的に示す図である。
【図１９Ａ】本発明のさらなる実施例により構成され、動作するＧＵＩを図式的に示す図である。
【図１９Ｂ】本発明の他の実施例により構成され、動作するＧＵＩを図式的に示す図である。
【図２０】本発明のさらなる実施例により構成され、動作するＧＵＩを図式的に示す図である。
【図２１】本発明の他の実施例による、図１６Ａのシステムにおける手術ツールの先端の位置及び向きに従って修正した軌跡を図式的に示す図である。
【図２２】本発明のさらなる実施例による、図１５Ａのシステムの動作方法を図式的に示す図である。
【図２３Ａ】複数の閉塞領域を有する動脈を図式的に示す図である。
【図２３Ｂ】図２３Ａの動脈の選択領域の断面図である。
【図２３Ｃ】図２３Ｂの動脈を、本発明の他の実施例により動作するＧＵＩで表現したものを図式的に示す図である。
【図２４】本発明のさらなる実施例により動作する図２３ＣのＧＵＩが動作する方法を図式的に示す図である。
【図２５Ａ】３つの異なる活動状態における管の画像を図式的に示す図である。
【図２５Ｂ】本発明の他の実施例により、１つの活動状態において取得した二次元画像のうちの１つを他の状態に平行移動する様子を図式的に示す図である。
【図２５Ｃ】図２５Ａの１つの活動状態における管の画像を図式的に示す図であり、他の２つの活動状態において検出した管の画像から、図２５Ｂの実施例に従って再構成したものである。
【図２５Ｄ】図２５Ａの他の活動状態における管の画像を図式的に示す図であり、他の２つの活動状態において検出した管の画像から、図２５Ｂの実施例に従って再構成したものである。
【図２６】本発明のさらなる実施例により動作する、三次元画像を再構成する方法を図式的に示す図である。
【図２７Ａ】複数の枝を含む管の部分を図式的に示す図である。
【図２７Ｂ】本発明の他の実施例により構成され、動作するＧＵＩを図式的に示す図である。
【符号の説明】
【０２７２】
１０ システム
１２ カテーテル
１４ 引戻し装置
１６ 処理システム
１８ 胸部ハーネス
２０ ハンドル
２２ 患者
２４ ワイヤ
２６ ワイヤ
２８ ワイヤ
３０ ワイヤ
１００ 三次元撮像システム
１０２ 主コンピュータ
１０４ 二次元画像取得装置
１０６ ＥＣＧモニター
１０８ 医療用位置決めシステム
１１０ フレーム・グラバー
１１２ ディジタル三次元画像再構成器
１１４ 適応型立体データベース
１１６ 画像重畳プロセッサ
１１８ 画像トランスデューサ
１２０ 手術ツール
１２８ ＥＣＧ電極
１３０ ディスプレイ
１４０ 検査領域
１５０ 位置及び向きのプロセッサ
１５２ 発信器インタフェース
１５４ ルックアップ・テーブル・ユニット
１５６ ディジタル−アナログ変換器
１５８ 増幅器
１６０ 発信器
１６２ ＭＰＳセンサ
１６４ アナログ−ディジタル変換器
１６６ センサ・インタフェース
１７０ 体内放射方向超音波撮像システム
１７２ 体内放射方向画像トランスデューサ
１７４ 手術ツール
１７６ ＭＰＳセンサ
１７８ ＭＰＳセンサ
１８０ 装着カテーテル
１８２ 拡張カテーテル
１８６ 座標系
１８８ 器官タイミング信号
１９０ 二次元画像
１９２ ベクトル
１９４ 選択点
１９８ 小区分
１９９ 区分
２００ 三次元ボリューム
２７０ リアルタイム三次元表示再生システム
２７２ 画像重畳プロセッサ
２７４ 適応型ボリューム・データベース
２７６ レンダラ
２７８ ＥＣＧモニター
２８０ 拡張カテーテル
２８２ ゴーグル
２８４ ディスプレイ
２８６ 同期プロセッサ
２８８ 医療用位置決めシステム
２９０ 手術ツール
２９４ ＭＰＳセンサ
２９６ ＭＰＳセンサ
２９８ ＭＰＳセンサ
３１８ ＭＰＳセンサ
３２６ 座標系
３２８ 手術ツール
３３０ 三次元画像
３５０ 管内撮像兼手術システム
３５２ 管内超音波システム（ＩＶＵＳ）トランスデューサ
３５４ 手術ツール
３５６ ＭＰＳセンサ
３５８ ＭＰＳセンサ
３６０ 装着カテーテル
３６２ 拡張カテーテル
３６４ 表面
４００ 二次元撮像システム
４０２ 主コンピュータ
４０４ 二次元画像取得装置
４０６ ＥＣＧモニター
４０８ 医療位置決めシステム（ＭＰＳ）
４１０ フレーム・グラバー
４１４ 画像データベース
４１６ 画像重畳プロセッサ
４１８ 画像トランスデューサ
４２０ 手術ツール
４２８ ＥＣＧ電極
４３０ ディスプレイ
４３２ ＭＰＳセンサ
４４２ ＥＣＧ信号
４４４ 心臓サイクル
４４６ 心臓サイクル
４４８ 心臓サイクル
４５０ システム
４５２ 撮像カテーテル
４５４ 撮像システム
４５６ ＭＰＳ
４５８ 発信器
４６０ プロセッサ
４６２ 患者
４６４ ＥＣＧモニター
４６６ ディスプレイ
４６８ 撮像ＭＰＳセンサ
４７０ 画像検出器
４７２ チップ
４７４ 被検査器官
４８０ 手術カテーテル
４８２ ガイダンス・ユニット
４８４ リアルタイム撮像システム
４８６ 手術ツール
４８８ カテーテルＭＰＳセンサ
４９０ 体用ＭＰＳセンサ
５００ 三次元画像
５０２ 三次元画像
５０４ 三次元画像
５０６ 軌跡
５０８ 軌跡
５１０ 軌跡
５５２ ＭＰＳ座標データ
５５４ 二次元画像
５５６ ＥＣＧデータ
５５８ 軌跡
５８２ 修正軌跡
６００ 三次元ナビゲーション画像
６０２ 内壁画像
６０４ 手術ツールの表現
６０６ 手術カテーテルの表現
６０８ 撮像カテーテルの将来の軌跡
６３０ 被検査器官・ＥＣＧ同時表示ディスプレイ
６３２ ＥＣＧタイミング信号
６３４ 前進ボタン
６３６ 後退ボタン
６３８ 静止ボタン
６４０ 被検査器官外部三次元画像
６４２ ウィンドウ
６４４ 活動状態
６５０ 活動状態
６７０ ＧＵＩ
６７２ 被検査器官横断面図
６７４ 水平目盛
６７６ 垂直目盛
６７８ 垂直ガイド
６８０ 水平ガイド
６８２ プラーク
７００ ＧＵＩ
７０２ 被検査器官縦断面図
７０４ 水平目盛
７０６ 垂直目盛
７０８ 垂直ガイド
７１０ 水平ガイド
７１２ プラーク
７３０ グラフィカル・ユーザ・インタフェース
７３２ ウィンドウ
７３４ ウィンドウ
７３６ 三次元ナビゲーション画像
７３８ 手術ツールの表現
７４０ 心臓
７４２ 上行大動脈
７４４ 下行大動脈
７４６ 上行大静脈
７４８ 肺静脈
７５０ 腹大動脈
７５２ 下行大動脈
７５４ 投影
７５６ 手術ツールの表現
７５８ リアルタイム二次元ナビゲーション画像
７６０ グラフィカル・ユーザ・インタフェース
７６２ ウィンドウ
７６４ ウィンドウ
７６６ 左冠状動脈主幹部及び左前下行冠状動脈
７６８ 手術ツールの表現
７７０ 心臓
７７２ 二次元ナビゲーション画像
７７４ 投影
７７６ 左冠状動脈主幹部及び左前下行冠状動脈
７７８ 手術ツールの表現
７８０ ＧＵＩ
７８２ ウィンドウ
７８４ ウィンドウ
７８６ ウィンドウ
７８８ ウィンドウ
７９０ ＥＣＧタイミング信号
７９２ 前進ボタン
７９４ 後退ボタン
７９６ 静止ボタン
８５０ 動脈
８５２ プラーク
８５４ プラーク
８５６ プラーク
８５８ 内腔
８６０ ＧＵＩ
８６２ グラフィック・ウィンドウ
８６４ 三次元画像
８６６ 比率選択ウィンドウ
８７４ 増減バー
８７６ ポインタ
８７８ 数値ボックス
９５０ 管の三次元画像
９５２ 管の三次元画像
９５４ 管の三次元画像
９５６ 二次元画像
９５８ 軌跡
９６０ 二次元画像
９６２ 軌跡
９６４ 二次元画像
９６６ 軌跡
９７４ 三次元画像
１０３０ 管
１０３２ 側枝
１０３４ 側枝
１０３６ 側枝
１０３８ 主枝
１０４０ 主枝
１０４２ 分岐領域
１０４４ 分岐領域
１０４６ 分岐領域
１０６０ ＧＵＩ
１０６２ ウィンドウ
１０６４ 三次元画像
１０６６ 主部
１０６８ 枝
１０７０ 枝
１０７２ 開口部
１０７４ 開口部
１０７６ 開口部
１０７８ マーク
１０８０ マーク
１０８２ マーク
１０８４ 軌跡
１０８６ 手術ツールの表現
【特許請求の範囲】
【請求項１】
表示装置及びデータベースに結合したプロセッサと；
前記プロセッサに結合されて、画像検出器に固着した撮像ＭＰＳセンサを具えた医療用位置決めシステム（ＭＰＳ）と；
前記プロセッサに結合されて、撮像カテーテルに固着した前記画像検出器を具えた二次元撮像システムと；
前記プロセッサ、及び被検査器官に関連する器官タイミング信号を監視する器官モニターに結合した被検査器官のモニター・インタフェースと
を具えていることを特徴とする医療用撮像兼ナビゲーションシステム。
【請求項２】
前記プロセッサが、
前記画像検出器によって取得した複数の二次元画像を、前記二次元撮像システムから受け取り；
前記撮像ＭＰＳセンサによって前記二次元画像毎に検出した、前記画像検出器に関連する位置及び向きの情報を、前記医療用位置決めシステムから受け取り；
前記器官モニターによって前記二次元画像毎に検出した器官タイミング信号を、前記被検査器官のモニター・インタフェースから受け取る
ことを特徴とする請求項１に記載のシステム。
【請求項３】
前記プロセッサが、前記各二次元画像を、この前記二次元画像に関係する前記画像検出器の位置及び向きの情報、及びこの二次元画像に関係する前記検出した器官タイミング信号に関連付けることを特徴とする請求項２に記載のシステム。
【請求項４】
前記プロセッサが、前記二次元画像、前記画像検出器に関連する位置及び向きの情報、及び前記検出した器官タイミング信号を、前記データベースに記憶することを特徴とする請求項２に記載のシステム。
【請求項５】
前記プロセッサが、前記二次元画像のうちの少なくとも１つを選択し、前記表示装置が、前記選択した二次元画像の視覚表現を表示することを特徴とする請求項３に記載のシステム。
【請求項６】
前記視覚表現が、前記画像検出器の位置及び向きの情報、及び前記選択した各二次元画像に関連する前記検出した器官タイミング信号に従って、前記選択した二次元画像から再構成した三次元画像であることを特徴とする請求項５に記載のシステム。
【請求項７】
前記再構成した三次元画像が、前記被検査器官の量的モデルであることを特徴とする請求項６に記載のシステム。
【請求項８】
前記プロセッサが、前記再構成した三次元画像の手動での修正を可能にすることを特徴とする請求項６に記載のシステム。
【請求項９】
前記再構成した三次元画像が半透明であることを特徴とする請求項６に記載のシステム。
【請求項１０】
前記視覚表現が二次元の表現であることを特徴とする請求項５に記載のシステム。
【請求項１１】
前記選択した各二次元画像に関係する前記検出した器官タイミング信号が、リアルタイムで検出した器官タイミング信号にほぼ等しいことを特徴とする請求項５に記載のシステム。
【請求項１２】
前記プロセッサが、前記被検査器官内の前記撮像カテーテルの少なくとも１つの軌跡を、前記検出した器官タイミング信号中の特定の活動状態に関係する位置及び向きの情報に従って計算することを特徴とする請求項５に記載のシステム。
【請求項１３】
前記プロセッサが、前記検出した器官タイミング信号の活動状態毎に、この活動状態に関係する前記少なくとも１つの軌跡を、この活動状態に関係する前記視覚表現上に重畳することを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記プロセッサが、リアルタイムで検出した器官タイミング信号に応じて、前記計算した少なくとも１つの軌跡を選択し、
前記プロセッサが、前記計算した少なくとも１つの軌跡の表現を、前記視覚表現上に重畳し、
前記表示装置が、前記重畳の結果を表示する
ことを特徴とする請求項１２に記載のシステム。
【請求項１５】
前記プロセッサが、リアルタイムで検出した手術カテーテルの位置及び向きに応じて、前記計算した少なくとも１つの軌跡の一部分を選択することを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記手術カテーテルが、インターベンション型カテーテル及び手術ツールを具えていることを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記手術ツールを、
鉗子；
レーザーカッター；
ブラシ；
カテーテル；
ステント；
バルーン；
ペースメーカー電極；
液剤調剤装置；
ニューロン電極；
物質収集装置；
手術搬送ツール；
内視鏡；
遺伝子搬送ツール；
薬剤搬送ツール；
装置搬送ツール；
切除カテーテル；
電気生理学的マッピング装置；
撮像装置；及び、
以上の品目の組み合わせ
から成るリストから選択したことを特徴とする請求項１６に記載のシステム。
【請求項１８】
レンダラが、前記視覚表現を、基準座標に従ってレンダリングすることを特徴とする請求項５に記載のシステム。
【請求項１９】
前記基準座標を
画像検出器の座標；
被検査器官の座標；
患者の体の座標
から成るリストから選択したことを特徴とする請求項１７に記載のシステム。
【請求項２０】
前記データベースがボリューム・データベースであることを特徴とする請求項１に記載のシステム。
【請求項２１】
前記プロセッサが、前記被検査器官内の前記撮像カテーテルの進行速度が所定値よりも大きいことを検出した際に、警報信号を発生することを特徴とする請求項１に記載のシステム。
【請求項２２】
前記警報信号を、
オーディオ信号；
映像信号；
触覚信号
から成るリストから選択したことを特徴とする請求項２０に記載のシステム。
【請求項２３】
前記画像検出器を、
サーモグラフィー撮像素子；
光コヒーレンス断層撮影用撮像素子；
管内超音波トランスデューサ；
心臓内超音波トランスデューサ；
内視鏡に取り付けたあらゆる超音波トランスデューサ；
磁気共鳴撮像素子
から成るリストから選択したことを特徴とする請求項１に記載のシステム。
【請求項２４】
前記医療用位置決めシステムがさらに、患者の体に装着する体用ＭＰＳセンサを具えていることを特徴とする請求項１に記載のシステム。
【請求項２５】
前記表示装置を、
二次元ディスプレイ；
自動立体ディスプレイ；
ゴーグル
から成るリストから選択したことを特徴とする請求項１に記載のシステム。
【請求項２６】
前記ゴーグルが半透明であることを特徴とする請求項２４に記載のシステム。
【請求項２７】
前記医療用位置決めシステムがさらに、ゴーグルＭＰＳセンサを具え、
前記表示装置が、前記ゴーグルＭＰＳセンサに取り付けた半透明ゴーグルを具え、
前記プロセッサが、前記ゴーグルＭＰＳセンサから受け取った位置及び向きの情報に応じて、前記視覚表現用の観察面を選択する
ことを特徴とする請求項５に記載のシステム。
【請求項２８】
前記ゴーグルＭＰＳセンサの位置及び向きを、前記医療用位置決めシステムの座標系内の値で提供することを特徴とする請求項２６に記載のシステム。
【請求項２９】
前記二次元撮像システムを、
超音波型；
サーモグラフィー型；
光コヒーレンス断層撮影型；
管内超音波型；
Ｘ線型；
核磁気共鳴型；
コンピュータ断層撮影型；
ポジトロン放出断層撮影型；
単光子放出断層撮影型
から成るリストから選択したことを特徴とする請求項１に記載のシステム。
【請求項１】
表示装置及びデータベースに結合したプロセッサと；
前記プロセッサに結合されて、画像検出器に固着した撮像ＭＰＳセンサを具えた医療用位置決めシステム（ＭＰＳ）と；
前記プロセッサに結合されて、撮像カテーテルに固着した前記画像検出器を具えた二次元撮像システムと；
前記プロセッサ、及び被検査器官に関連する器官タイミング信号を監視する器官モニターに結合した被検査器官のモニター・インタフェースと
を具えていることを特徴とする医療用撮像兼ナビゲーションシステム。
【請求項２】
前記プロセッサが、
前記画像検出器によって取得した複数の二次元画像を、前記二次元撮像システムから受け取り；
前記撮像ＭＰＳセンサによって前記二次元画像毎に検出した、前記画像検出器に関連する位置及び向きの情報を、前記医療用位置決めシステムから受け取り；
前記器官モニターによって前記二次元画像毎に検出した器官タイミング信号を、前記被検査器官のモニター・インタフェースから受け取る
ことを特徴とする請求項１に記載のシステム。
【請求項３】
前記プロセッサが、前記各二次元画像を、この前記二次元画像に関係する前記画像検出器の位置及び向きの情報、及びこの二次元画像に関係する前記検出した器官タイミング信号に関連付けることを特徴とする請求項２に記載のシステム。
【請求項４】
前記プロセッサが、前記二次元画像、前記画像検出器に関連する位置及び向きの情報、及び前記検出した器官タイミング信号を、前記データベースに記憶することを特徴とする請求項２に記載のシステム。
【請求項５】
前記プロセッサが、前記二次元画像のうちの少なくとも１つを選択し、前記表示装置が、前記選択した二次元画像の視覚表現を表示することを特徴とする請求項３に記載のシステム。
【請求項６】
前記視覚表現が、前記画像検出器の位置及び向きの情報、及び前記選択した各二次元画像に関連する前記検出した器官タイミング信号に従って、前記選択した二次元画像から再構成した三次元画像であることを特徴とする請求項５に記載のシステム。
【請求項７】
前記再構成した三次元画像が、前記被検査器官の量的モデルであることを特徴とする請求項６に記載のシステム。
【請求項８】
前記プロセッサが、前記再構成した三次元画像の手動での修正を可能にすることを特徴とする請求項６に記載のシステム。
【請求項９】
前記再構成した三次元画像が半透明であることを特徴とする請求項６に記載のシステム。
【請求項１０】
前記視覚表現が二次元の表現であることを特徴とする請求項５に記載のシステム。
【請求項１１】
前記選択した各二次元画像に関係する前記検出した器官タイミング信号が、リアルタイムで検出した器官タイミング信号にほぼ等しいことを特徴とする請求項５に記載のシステム。
【請求項１２】
前記プロセッサが、前記被検査器官内の前記撮像カテーテルの少なくとも１つの軌跡を、前記検出した器官タイミング信号中の特定の活動状態に関係する位置及び向きの情報に従って計算することを特徴とする請求項５に記載のシステム。
【請求項１３】
前記プロセッサが、前記検出した器官タイミング信号の活動状態毎に、この活動状態に関係する前記少なくとも１つの軌跡を、この活動状態に関係する前記視覚表現上に重畳することを特徴とする請求項１２に記載のシステム。
【請求項１４】
前記プロセッサが、リアルタイムで検出した器官タイミング信号に応じて、前記計算した少なくとも１つの軌跡を選択し、
前記プロセッサが、前記計算した少なくとも１つの軌跡の表現を、前記視覚表現上に重畳し、
前記表示装置が、前記重畳の結果を表示する
ことを特徴とする請求項１２に記載のシステム。
【請求項１５】
前記プロセッサが、リアルタイムで検出した手術カテーテルの位置及び向きに応じて、前記計算した少なくとも１つの軌跡の一部分を選択することを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記手術カテーテルが、インターベンション型カテーテル及び手術ツールを具えていることを特徴とする請求項１５に記載のシステム。
【請求項１７】
前記手術ツールを、
鉗子；
レーザーカッター；
ブラシ；
カテーテル；
ステント；
バルーン；
ペースメーカー電極；
液剤調剤装置；
ニューロン電極；
物質収集装置；
手術搬送ツール；
内視鏡；
遺伝子搬送ツール；
薬剤搬送ツール；
装置搬送ツール；
切除カテーテル；
電気生理学的マッピング装置；
撮像装置；及び、
以上の品目の組み合わせ
から成るリストから選択したことを特徴とする請求項１６に記載のシステム。
【請求項１８】
レンダラが、前記視覚表現を、基準座標に従ってレンダリングすることを特徴とする請求項５に記載のシステム。
【請求項１９】
前記基準座標を
画像検出器の座標；
被検査器官の座標；
患者の体の座標
から成るリストから選択したことを特徴とする請求項１７に記載のシステム。
【請求項２０】
前記データベースがボリューム・データベースであることを特徴とする請求項１に記載のシステム。
【請求項２１】
前記プロセッサが、前記被検査器官内の前記撮像カテーテルの進行速度が所定値よりも大きいことを検出した際に、警報信号を発生することを特徴とする請求項１に記載のシステム。
【請求項２２】
前記警報信号を、
オーディオ信号；
映像信号；
触覚信号
から成るリストから選択したことを特徴とする請求項２０に記載のシステム。
【請求項２３】
前記画像検出器を、
サーモグラフィー撮像素子；
光コヒーレンス断層撮影用撮像素子；
管内超音波トランスデューサ；
心臓内超音波トランスデューサ；
内視鏡に取り付けたあらゆる超音波トランスデューサ；
磁気共鳴撮像素子
から成るリストから選択したことを特徴とする請求項１に記載のシステム。
【請求項２４】
前記医療用位置決めシステムがさらに、患者の体に装着する体用ＭＰＳセンサを具えていることを特徴とする請求項１に記載のシステム。
【請求項２５】
前記表示装置を、
二次元ディスプレイ；
自動立体ディスプレイ；
ゴーグル
から成るリストから選択したことを特徴とする請求項１に記載のシステム。
【請求項２６】
前記ゴーグルが半透明であることを特徴とする請求項２４に記載のシステム。
【請求項２７】
前記医療用位置決めシステムがさらに、ゴーグルＭＰＳセンサを具え、
前記表示装置が、前記ゴーグルＭＰＳセンサに取り付けた半透明ゴーグルを具え、
前記プロセッサが、前記ゴーグルＭＰＳセンサから受け取った位置及び向きの情報に応じて、前記視覚表現用の観察面を選択する
ことを特徴とする請求項５に記載のシステム。
【請求項２８】
前記ゴーグルＭＰＳセンサの位置及び向きを、前記医療用位置決めシステムの座標系内の値で提供することを特徴とする請求項２６に記載のシステム。
【請求項２９】
前記二次元撮像システムを、
超音波型；
サーモグラフィー型；
光コヒーレンス断層撮影型；
管内超音波型；
Ｘ線型；
核磁気共鳴型；
コンピュータ断層撮影型；
ポジトロン放出断層撮影型；
単光子放出断層撮影型
から成るリストから選択したことを特徴とする請求項１に記載のシステム。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図１６Ｂ】
【図１６Ｃ】
【図１６Ｄ】
【図１７】
【図１８】
【図１９Ａ】
【図１９Ｂ】
【図２０】
【図２１】
【図２２】
【図２３Ａ】
【図２３Ｂ】
【図２３Ｃ】
【図２４】
【図２５Ａ】
【図２５Ｂ】
【図２５Ｃ】
【図２５Ｄ】
【図２６】
【図２７Ａ】
【図２７Ｂ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４】
【図１５Ａ】
【図１５Ｂ】
【図１６Ａ】
【図１６Ｂ】
【図１６Ｃ】
【図１６Ｄ】
【図１７】
【図１８】
【図１９Ａ】
【図１９Ｂ】
【図２０】
【図２１】
【図２２】
【図２３Ａ】
【図２３Ｂ】
【図２３Ｃ】
【図２４】
【図２５Ａ】
【図２５Ｂ】
【図２５Ｃ】
【図２５Ｄ】
【図２６】
【図２７Ａ】
【図２７Ｂ】
【公開番号】特開２００９−１８１８４（Ｐ２００９−１８１８４Ａ）
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願番号】特願２００８−２３３９２７（Ｐ２００８−２３３９２７）
【出願日】平成２０年９月１１日（２００８．９．１１）
【分割の表示】特願２００２−５６３８１３（Ｐ２００２−５６３８１３）の分割
【原出願日】平成１４年２月１２日（２００２．２．１２）
【出願人】（５０１４４８３１４）メディガイド リミテッド (13)
【Ｆターム（参考）】
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願日】平成２０年９月１１日（２００８．９．１１）
【分割の表示】特願２００２−５６３８１３（Ｐ２００２−５６３８１３）の分割
【原出願日】平成１４年２月１２日（２００２．２．１２）
【出願人】（５０１４４８３１４）メディガイド リミテッド (13)
【Ｆターム（参考）】
[ Back to top ]