術中ターゲティングのシステムおよび方法
本発明のいくつかの実施形態の方法は、ユーザが、患者の体内の表面下標的部位に医療器具を誘導するのを支援する方法である。この方法は、１つまたは２つ以上の術中画像を生成する。本方法は、画像上の標的部位を示す。本方法は、基準座標系中の標的部位の３Ｄ座標を決定する。本方法は、（１）基準座標系中の器具の位置を追跡し、（２）表示装置上に、基準座標系中のツールに関する位置から見えるような視野を投影し、（３）表示された視野上に、位置に対応する標的部位の印を投影する。いくつかの実施形態では、視野は、器具の位置からだけでなく、基準座標系中における器具の既知の方向性からの視界である。印を観察することによって、ユーザは、印が表示された視野内に所定の状態で置かれるか保持されるように、器具を移動させることによって、標的部位に向けて器具を誘導することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
【背景技術】
【０００２】
近年、医学界は、外科的処置の侵襲性を最小限に抑えることにますます的を絞っている。イメージング技術と計測化の進歩は、非常に小さな切開による低侵襲手術を用いた処置を可能にした。より小さな切開は、健康な組織の損傷を最小限に抑え、患者の苦痛を低減し、患者の回復を早めるので、この分野における進歩は、従来の開放処置に比べて病的状態が低減されることによって促進されている。小型ＣＣＤカメラおよびそれに関連する超小型電子技術の導入は、内視鏡検査の適用を、特別な場合のための生検から十分に低侵襲性の外科切開および吸引にまで拡張している。
低侵襲性の内視鏡手術は、術中および術後の合併症が低減されやすく、苦痛がより少なく、また患者の回復がより早いという利点がある。しかしながら、狭い視野、方向性の欠如、および血液および邪魔な組織の存在が合わさって、ビデオ内視鏡検査では、一般に方向性が失われ、その実施が困難である。現在の３次元（ｖｏｌｕｍｅｔｒｉｃ）外科ナビゲーション技術では、低侵襲性処置のためのより良好な照射線量および方向性が保証されているが、最近の外科ナビゲーション技術を柔組織内視鏡検査に有効に利用するには、依然として、（１）体内において可撓性のある内視鏡の６つの自由度（ＤＯＦ）をすべて正確に追跡すること、および（２）介入性処置の間の組織変形および標的の動きを補償すること、という２つの困難が障害となっている。
【０００３】
例えば、内視鏡を使用する場合、外科医の視界はカメラの狭い視野に限定されており、レンズは、血液または曇りによって遮られることが多く、その結果、外科医が方向を見失ってしまう。さらに、内視鏡は、可視表面しか表示することができず、そのため、不透明な組織の下に位置する腫瘍、血管、および他の解剖学的構造を視覚化すること（例えば、胃腸内視鏡検査による膵臓腺がんのターゲティング、または肝臓中の塊などの腸周辺構造をサンプリングするための粘膜下組織の病変のターゲティング、あるいは気管支中の管腔下の病変のターゲティング）は困難な場合が多い。
【０００４】
最近、画像誘導治療（ＩＧＴ）システムが導入されている。これらのシステムは、従来の内視鏡検査を補完するもので、主に、神経外科、鼻腔外科、および脊髄外科で使用されており、骨またはマーカーに基づいた位置合わせにより、手術前画像を用いて適切な標的精度を提供できる（典型的には１〜３ｍｍ）。ＩＧＴは、器具を方向付け、特定の解剖学的構造を標的とする外科医の能力を向上させるが、柔組織では、術中の組織が移動および変形するため、これらのシステムはターゲティング精度が十分ではない。さらに、内視鏡は３次元（３Ｄ）環境の映像表示を提供するので、従来の純粋に２次元（２Ｄ）のＩＧＴ画像を内視鏡映像と相関させることは困難である。術中３Ｄ超音波イメージングから得られた情報をビデオ内視鏡検査と相関させることで、低侵襲性ＩＧＴ処置における位置確認およびターゲティング精度を大幅に改善することができる。
【０００５】
１９９０年代中頃まで、イメージガイダンスの最も一般的な用途は、外科用の軌道装置（ｓｕｒｇｉｃａｌ ｔｒａｊｅｃｔｏｒｙ ｄｅｖｉｃｅ）および基準系が使用される定位生検用であった。従来のフレームに基づいた立体配列法は、患者の頭骨にねじ止めされたフレームに取り付けられた１組の基準マーカーを参照して、頭蓋内の解剖学的構造を定義している。これらの基準点は、術前の断層撮影（ＭＲＩまたはＣＴ）画像上で測定される。
【０００６】
軌道強化装置（ｔｒａｊｅｃｔｏｒｙ−ｅｎｆｏｒｃｅｍｅｎｔ ｄｅｖｉｃｅ）は基準系の上に置かれ、術前データから得られた事前の計算に基づいて、標的病変に生検ツールを誘導するために使用されている。機械的なフレームを使用することで、位置確認の高い精度が可能になったが、患者の不快感が引き起こされ、外科手術の柔軟性が制限され、外科医が、病変への生検ツールの接近を視覚化することができなかった。
【０００７】
フレームの必要性を完全になくす、画像誘導技術が徐々に出現してきている。第１のフレームなしの定位システムは、関節ロボットアームを使用して、手術室内で患者の解剖学的構造を用いて術前イメージングの位置合わせを行っている。これに続いて、音響装置を使用して、操作環境中の器具を追跡している。音響装置は、最終的には、移動体に取り付けられたカメラおよび赤外線ダイオード（またはリフレクタ）を用いて、その位置および方向性を正確に追跡する光学追跡システムに取って代わられた。これらのシステムは、患者の外部に置かれたマーカーを使用して、手術室内で患者の解剖学的構造を用いて術前イメージングの位置合わせを行っている。このような術中ナビゲーション技術は、術前のＣＴまたはＭＲ画像を用いて、手術中に局所的な情報を提供する。さらに、システムはすべて、手術器具の場所に関するフィードバックを行うことにより、２Ｄの手術前データに比べて、術中の位置確認を向上させる。
【０００８】
最近まで、３次元外科ナビゲーションは、実時間３Ｄ画像を生成するのに必要な計算能力の不足によって制限されていた。様々な３次元撮像手段の用途は進歩し、内科医が、治療を計画および実行するために、３Ｄで疾病の程度を視覚化し定量化することが可能になった。システムは、現在では、術前３Ｄデータを、ビデオカメラ、超音波プローブ、外科用顕微鏡、および内視鏡からの術中２Ｄデータ画像と、実時間で融合させることができる。これらのシステムは、主に、術前データに直接アクセスすることが外科手術作業の実行に大きな役割を果たす、神経外科、鼻腔外科、および脊髄外科で使用されている。これは、外科手術中に組織が移動および変形するため、これらのＩＧＴ処置は、術前に獲得した画像に対してそれらの空間的位置合わせを失う傾向があるという事実にもかかわらずある。
【発明の開示】
【０００９】
本発明のいくつかの実施形態の方法は、ユーザが、患者の体内の表面下標的部位に医療器具を誘導するのを支援する。この方法は、１つまたは２つ以上の術中画像を生成する。本方法は、画像上の標的部位を示す。本方法は、基準座標系中の標的部位の３Ｄ座標を決定する。本方法は、
（１）基準座標系中の器具の位置を追跡し、
（２）表示装置上に、基準座標系中のツールに関する位置から見えるような視野を投影し、
（３）表示された視野上に、位置に対応する標的部位の印を投影する。
いくつかの実施形態では、視野は、器具の位置からだけでなく、基準座標系中における器具の既知の方向性からの視界である。印を観察することによって、ユーザは、印が表示された視野内に所定の状態で置かれるか保持されるように、器具を移動させることによって、標的部位に向けて器具を誘導することができる。
【００１０】
いくつかの実施形態では、方法は、患者の超音波画像を生成するための超音波源を用いて術中画像を生成する。これらの実施形態のいくつかでは、画像上に示される空間的標的部位の３Ｄ座標は、画像上の空間的標的部位の２Ｄ座標および超音波源の位置から決定される。
【００１１】
いくつかの実施形態では、医療器具は内視鏡であって、表示装置上に投影される視野は、内視鏡から見た画像でありえる。表示装置上に投影される視野は、規定の視野を有する医療器具の末口の位置および方向性から見た視野でありえる。表示装置上に投影される視野は、医療器具の末口位置で見た標的とは異なる、器具の軸線に沿った位置から見た視野でありえる。
【００１２】
示される空間的標的部位は、体積、エリア、または点でありえる。いくつかの実施形態では、印は、示される空間的特徴の境界または標的部位内の点の位置を画定する幾何パターンに構成される。印の間の間隔は、標的部位の位置からの器具の距離を示すことができる。
【００１３】
個々の印のサイズまたは形状は、標的部位の位置からの器具の距離を示すことができる。個々の印のサイズまたは形状は、ツールの方向性を示すことができる。例えば、印は、第１に示された空間的特徴と共に、表示画像上の外科手術軌道（ｓｕｒｇｉｃａｌ ｔｒａｊｅｃｔｏｒｙ）を画定する第２の空間的特徴を各画像上に提供することができる。患者の表面領域において、器具は、示された空間的特徴と共に表示画像上の外科手術軌道を画定する入口点を示すことができる。表示画像上の外科手術軌道は、第１の組が第１に示された空間的特徴に対応し、第２の組が第２の空間的特徴または示された入口点に対応する、２組の印で示されることができる。表示画像上の外科手術軌道は、その末端領域で第１の空間的特徴および第２の空間的特徴もしくは示された入口点によって画定される幾何学的物体で示されることができる。
【００１４】
いくつかの実施形態は、医療器具を患者の体内の標的部位に誘導するシステムを提供する。このシステムは、３次元座標系中の患者の標的部位をその上で画定することができる１つまたは２つ以上の術中画像を生成するための撮像装置を含む。このシステムはまた、基準座標系中の医療器具および撮像装置の位置を追跡するための追跡システムを含む。このシステムはさらに、それによってユーザがそのような画像上の空間的標的部位を示すことができるインジケータを含む。システムはまた、表示装置、ならびに追跡システム、表示装置、およびインジケータに動作可能に接続されたコンピュータを含む。
【００１５】
最後に、このシステムは、コンピュータ可読コードを含み、これは、コンピュータが、
（ｉ）前記インジケータを用いて、ユーザによって示された標的部位の空間的情報を前記画像上に記録し、
（ｉｉ）前記画像上に示された空間的標的部位から、基準座標系中の空間的標的部位の３Ｄ座標を決定し、
（ｉｉｉ）基準座標系中の器具の位置を追跡し、
（ｉｖ）基準座標系中のツールに対する既知の位置から見える視野を表示装置上に投影し、
（ｖ）所定の位置に対応する空間的標的部位の印を、表示された視野上に投影する、
ように案内する。
いくつかの実施形態では、視野は、器具の位置からだけではなく、基準座標系中の器具の既知の方向性からの視野でもある。印を観察することにより、ユーザは、印が表示された視野内に所定の状態で置かれるまたは保持されるように器具を移動させることによって、器具を標的部位に向けて誘導することができる。
【００１６】
いくつかの実施形態では、撮像装置は、任意の位置からそれぞれ患者の標的部位のデジタル化画像を生成することが可能な超音波撮像装置である。さらに、いくつかの実施形態では、追跡装置は、２つの位置で撮像装置の位置を記録するように操作可能な追跡装置である。また、いくつかの実施形態では、医療器具は内視鏡であって、表示装置上に投影される視野は、内視鏡から見た画像である。
【００１７】
本発明のいくつかの実施形態は、ユーザが医療器具を患者の体内の標的部位に誘導することを支援するために設計されたシステムにおいて、機械可読コードを提供する。システムは、
（ａ）３次元座標系中の患者の標的部位をその上で画定することができる１つまたは２つ以上の術中画像を生成するための撮像装置と、
（ｂ）基準座標系中の医療器具および撮像装置の位置を追跡するための追跡システムと、
（ｃ）そのような画像上の空間的標的部位をユーザがそれによって示すことができるインジケータと、
（ｄ）表示装置と、
（ｅ）追跡システム、表示装置、およびインジケータに動作可能に接続されたコンピュータと、
を含む。
【００１８】
コードは、
（ｉ）インジケータを用いて、ユーザによって示された標的部位の空間的情報を画像上に記録する命令セットと、
（ｉｉ）前記画像上に示された空間的標的部位から、基準座標系中の空間的標的部位の３Ｄ座標を決定する命令セットと、
（ｉｉｉ）基準座標系中の器具の位置を追跡する命令セットと、
（ｉｖ）前記基準座標系中のツールの既知の位置から見える視野を表示装置上に投影する命令セットと、
（ｖ）既知の位置に対する示された空間的標的部位を示すための印を、表示された視野上に投影する命令セットと、
を含む。
いくつかの実施形態では、視野は、器具の位置からだけではなく、基準座標系中の器具の既知の方向性からの視野でもある。印を観察することにより、ユーザは、印が表示された視野内に所定の状態で置かれるまたは保持されるように器具を移動させることによって、器具を標的部位に向けて誘導することができる。
【００１９】
いくつかの実施形態は、ユーザが医療器具を患者の体内の表面下標的部位に誘導することを支援する方法を提供する。本方法は、
（１）患者の術中画像上の空間的標的部位を示し、
（２）基準座標系中の標的部位の３次元座標を決定し、
（３）基準座標系中の器具の位置を決定し、
（４）表示装置上に、基準座標系中の器具に関する所定の位置から見た視野を投影し、
（５）視野上に、所定の位置に対応する空間的標的部位の印を投影する。
【００２０】
（図面の簡単な説明）
本発明の新規な特徴は、添付の特許請求の範囲に記載される。しかしながら、説明目的のため、本発明のいくつかの実施形態は次の図面に記載される。
図１および２は、本発明のいくつかの実施形態のシステムの手術の代表的なフローチャートである。
図３および４は、本発明のいくつかの実施形態のシステムの代表的なユーザインタフェースディスプレイである。
図５および６は、システムの１つの態様に従った代表的な操作設定の構成である。
【発明を実施するための最良の形態】
【００２１】
以下の説明において、説明目的のため多くの詳細を述べる。しかしながら、当業者であれば、本発明がこれらの特定の詳細を使用することなく実施されてもよいことを理解するであろう。他の例では、周知の構造および装置を、不要な詳細によって本発明の説明が不明瞭にならないように、ブロック図の形態で示す。
【００２２】
図１は、本発明のいくつかの実施形態のプロセス１００を示す。このプロセスは患者の体内における所望の位置に医療器具を誘導する。この図に示すように、プロセス１００は、最初に（ステップ１０５において）標的部位の１つまたは２つ以上の術中画像を獲得する。次に、プロセス１００は（ステップ１１０において）、術中画像、患者の標的部位、および手術器具を、共通の座標系内に位置合わせする。
【００２３】
患者、術中画像に関与するイメージングソース、および手術ツールはすべて（登録において）同じ基準系内に置かれなければならない。これは、様々な方法によって行うことができ、そのうちの３つを次に記載する。第１に、壁取付け式の追跡装置を使用して、患者、イメージングソース、および手術ツール（例えば、内視鏡）を追跡することができる。第２に、ツールの位置だけを追跡することができる。そのようなアプローチでは、ツールの先端点で身体上の基準点またはイメージングソースの位置に触れることによって、ツールを、患者およびイメージングソースの位置合わせ点に置くことができる。その後、患者が動いた場合、ツール対患者の接点によって装置を位置合わせすることができる。すなわち、既知の座標から画像が作成されれば、画像ソースの位置をさらに追跡する必要がなくなる。
【００２４】
第３に、患者および画像ソースは、患者の上または画像中の基準点によって、あるいは患者に対する既知の座標で撮像装置を置くことによって、位置合わせ点に置かれる。患者およびツールは、ツールに対する基準点の位置を検出することによって、例えば、ツール上で患者の基準点位置を検出する検出器を使用することによって、位置合わせ点に置かれる。あるいは、患者および内視鏡ツールは、内視鏡中の基準点を撮像し、撮像した位置と内視鏡の位置を一致させることによって、位置合わせ点に置くことができる。
【００２５】
ステップ１１０の位置合わせ操作の後、プロセス１００は（ステップ１１５において）患者の標的部位に対する手術器具の位置を追跡する。いくつかの実施形態では、ナビゲーションのための内視鏡の追跡を１つの実施に統合するために、磁気追跡システムが使用される。システムは、磁気変換器を内視鏡チップの動作チャンネル内に提供し、最適な感知量がセンサの位置範囲を含むように磁界発生器を配置する。６つの自由度（６つのＤＯＦ）を規定する１つの実施において、金属に対する感度を持たない小型化された磁気追跡システムを使用することができる。追跡システムは、較正治具を用いて較正されてもよい。較正対象は、透視変換を逆マッピングすることによって、均一な格子点から非均一な格子点に修正され、その結果、較正対象の点密度は、内視鏡画像全体にわたってほぼ等しくなる。較正治具は防水され、水中環境で作動するように設計されている。適切であれば、治具が操作環境に類似した屈折特性を備えた液体に浸されている間に、較正が行われる。
【００２６】
一実施形態では、超音波較正システムを、３次元超音波データを正確に再構成するのに使用することができる。光学追跡システムは、超音波プローブに付けられる追跡装置の位置および方向性を測定するのに使用される。超音波プローブの内部および外部パラメータの空間較正が実行される。これらのパラメータは、超音波映像を内視鏡の視野の座標フレームに変換するのに使用される。別の実施形態では、磁気追跡システムは超音波プローブに使用される。１つのみの追跡システムを、内視鏡と超音波プローブの両方に使用することで、環境中の障害が低減され、視線追跡の必要性が回避される。
【００２７】
別の実施形態では、プローブの追跡は光学追跡システムを使用して行われる。３Ｄプローブの較正は、強度に基づいた位置合わせを用いる２Ｄ超音波プローブ較正に類似したやり方で行われる。強度に基づいた位置合わせは全自動であって、セグメント化または特徴の識別を必要としない。典型的な２Ｄの場合では、獲得したイメージは、映像生成および捕捉プロセスのスケーリングに従う。この変換および追跡用超音波較正装置の既知の位置（キャリブレーションファントム）は、超音波撮像ボリュームと超音波プローブの追跡装置との関係を決定するのに使用される。較正が成功すると、変化しない幾何学形状が必要とされる。キャリブレーションファントムは、変形なしに再配置および処理に耐えるように設計される。ファントムに付けられたクイックリリースクランプは、較正プロセスの間、超音波プローブを保持する。
【００２８】
次に、内視鏡映像と動的超音波画像との空間的相関が行われる。各追跡システム、内視鏡、および超音波機械の内部の処理は、各装置の実時間入力と出力との間に独自の時間遅延を引き起こす。出力データストリームは同期されず、異なる間隔でリフレッシュされる。さらに、ナビゲーションシステムがこれらの出力を獲得して処理するのにかかる時間は、ストリームに依存する。したがって、呼吸および他の動作による動きをこれらの独立した待ち時間と組み合わせて、撮像を実際に獲得しているときとは異なる動的な装置の位置を実時間表示させることができる。
【００２９】
いくつかの実施形態では、空間的相関を行うためにコンピュータが使用される。コンピュータは、より大きな画像ボリュームを扱うことができ、物理的な撮像ボリュームのサイズを増大させ、画像解像度をより高くする（２５６＿２５６＿６４の代わりに５１２＿５１２＿５１２まで）ことができる。コンピュータはまた、より高速の３Ｄ再構成およびマージ、ならびにより高いフレーム率でのより高品質のパースペクティブボリュームレンダリングを提供する。コンピュータは、追跡およびデータストリームのタイムスタンプを記録し、バッファリングし、次に、追跡された装置の位置および方向性を、画像データのタイムスタンプと一致するように補間する。
【００３０】
必要な時間オフセットを決定する際、超音波プローブを、キャリブレーションファントムのステップ面全体にわたって移動させて、追跡システムと画像データストリームの両方に一時的な階段関数を作成する。相対的な遅れは、各データストリーム中で観察された階段関数のタイムスタンプを比較することによって決定される。内視鏡の待ち時間は、同じファントムを使用して同様に決定される。いくつかの実施形態では、超音波システムが再構成される場合は常にこれが行われる。しかしながら、内視鏡の待ち時間は、内視鏡のエレクトロニクスが変更されない限り再計算する必要はない。患者は超音波プローブによって撮像され、内視鏡は、外科医のための基準系となる。重要な情報は、内視鏡映像に対する超音波データの動的な関係に含まれており、これは、両方の装置の較正および追跡によって理解される。
【００３１】
次に図１に戻ると、プロセスは（ステップ１２０において）表示装置に患者の標的部位の１つまたは２つ以上の画像を示す。次に、プロセスは（ステップ１２５において）、患者の標的部位の画像上における、患者の標的部位の空間的特徴に関するユーザの指示を受取る。その後、プロセスは（ステップ１３０において）、患者の標的部位の空間的特徴に対する手術器具の位置および方向性に関連する印を、画像上に投影する。
【００３２】
図１に示す手順は、目に見える内視鏡画像を越えた動きで、病変を動的に追跡し標的にする。標的が識別されると、超音波ボリューム内の標的を囲む部分領域は、ボリュームの追跡された方向性と共に基準として格納される。前のボリューム中の標的位置で中心にある、連続して獲得された各超音波ボリュームの部分領域は、基準標的部分領域の方向性を用いて再度サンプリングされる。基準部分領域に対する再度サンプリングされた部分領域の３次元の相互相関は、標的の新たな場所を見つけるのに使用される。この動的な追跡は、時間をかけて個々の標的を追跡し、システムが標的ナビゲーションデータを表示している場合、データは実時間で変化して、内視鏡に対する標的の更新された場所に追随する。
【００３３】
血管構造は、強く、よく区別されたドップラー信号を返す。動的な超音波データは、強度に基づいた不透明度フィルタを使用して実時間で描画されて、非血管性の構造を透明にしてもよい。これは、セグメント化のために計算上必要な変形可能な幾何モデルを必要とすることなく、血管構造を有効に分離するので、システムは、動きおよび変形に実時間で追随することができる。
【００３４】
図１に示す手順は、外科医などのユーザが、選択された標的地点または領域を、術中超音波画像（１つまたは２つ以上の３Ｄ超音波画像）上にマーク付けすることを可能にする。その後、指定された標的地点または領域は外科手術中に外科医に対して表示されて、標的部位に対するツールの位置および方向性を誘導する。いくつかの実施形態では、標的エリアは、（１）患者の標的エリアを表すフィールドを表示することによって、および（２）患者に対するツールの追跡された位置を用いて、表示フィールドにおけるその位置がマーク付けした標的位置に対するツールの相対位置を示す１つまたは２つ以上の印をフィールドに重ね合わせることによって、ユーザに対して表示される。さらに、いくつかの実施形態では、ツールは、標的部位にアクセスするための軌道の位置および方向性を示すために、患者の上にレーザービームを方向付けるレーザポインタを備える。ユーザは、ツールをレーザービームに合わせることによって、この軌道に追随することができる。
【００３５】
ツールが内視鏡である実施形態では、表示された画像は内視鏡で見られる画像であって、印はこの画像上に表示される。印は、ツールが適切に向けられたときに印が等しいサイズになるように、例えば矢印である印の中央点として、ならびに矢印の伸び具合によってその位置からの標的に達するためのツールの方向性として、標的位置を示してもよい。あるいは、印は中に入るための表面点を示してもよく、矢印の伸びは、その表面点から標的に達するための、ツールの方向性と軌道を示してもよい。
【００３６】
いくつかの実施形態では、外科医が、３次元的に再構成された医用画像を重ねられた、患者の解剖学的構造の局所的エリアの外科用内視鏡による視野を視覚化することが可能になる。この３次元ナビゲーションシステムを使用して、外科医は、外科用内視鏡によって手術部位を視覚化しながら、３次元的に再構成された術前ＭＲＩまたはＣＴ画像を介して、患者の解剖学的構造の内部層を調査する。内視鏡の位置および方向性を与えられ、カメラの特性を与えられて、内視鏡によって得られた光学画像と一致する、パースペクティブボリュームレンダリングした画像が描画される。このシステムは、外科医が仮想的に外科手術部位の中およびその周りを飛び回って、代わりとなるアプローチを視覚化し、かつ質的に最良のものを決定することを可能にする。３次元的に再構成された画像は、強度に基づいたフィルタリングおよび直接のパースペクティブボリュームレンダリングを用いて生成され、これは、従来は必要だった高コントラスト画像のセグメント化を不要にする。術中内視鏡画像と一致された、実時間で３Ｄ描画された再構成の放射線画像は、低侵襲性の内視鏡手術における新たな可能性を提供する。血管構造に衝撃を与えることが、内視鏡的処置における最大の危険として残っているので、この新技術は、一般に２Ｄ再構成画像を表示する従来の画像誘導システムを越える顕著な改善を示す。
【００３７】
手術中、および超音波画像を使用する実施形態に関して、ユーザは、標的領域または部位に対応するマーキングを画像上に作成する。このマーキングは、点、線、またはエリアであってもよい。このマーキングから、および患者の座標系中におけるツールの位置を追跡することにより、システムは、超音波画像から識別した標的の位置を示す視覚情報をユーザに提供するように機能する。
【００３８】
図１のプロセス１００を使用するナビゲーションシステムは、３つの別個のモードで作動する。第１のモードは標的識別モードである。外科医が１つまたは２つ以上の対象とする標的領域を見つけ、ターゲティングのためにそれらをマークすることを可能にするために、撮像された超音波ボリュームが表示される。システムは、標的の精密な２Ｄ位置決めのために、インタラクティブな３次元レンダリング、ならびに３つまでのユーザが位置決定可能な直交横断面を示す。
【００３９】
第２のモードにおいて、内視鏡は基準系の位置および方向性を設定するために使用される。これらのパラメータに基づいて、かつ内視鏡の光学特性を用いて、システムは、内視鏡映像に標的のナビゲーションデータを重ねる。これによって、外科医が、内視鏡の視野の可視範囲を越えて対象とする領域を標的とすることが可能になる。表示データは、内視鏡の先端に対する標的領域の方向およびそこまでの距離、ならびにこのデータにおけるエラーの潜在的な範囲を含む。
【００４０】
第３のモードは、内視鏡が正しい位置に置かれた後、実際の介入性処置（生検または切除など）を実行するのに使用される。撮像されたインタラクティブな超音波ボリュームおよび横断面は、各画像上に投影された内視鏡の位置およびその先端による軌道と共に表示される。内視鏡ニードル自体もまた、超音波ディスプレイにおいて目に見える。
【００４１】
ナビゲーションシステムは、内視鏡の先端から放射する単一の固定した２Ｄ超音波面に限定されることなく、介入ツールを病変の中心に配置することを可能にする。（その２Ｄ視野の能力は、超音波横断面を任意に内視鏡に合わせることにより複写することができる。）内視鏡追跡システムの第１の実施では、生検を行うために、磁気センサは動作チャンネルから取り除かれる必要があり、ナビゲーション表示は、その除去の直前に観察された、格納された位置を使用する。別の実施形態では、センサは、較正で適所に配置されるニードルアセンブリに統合される。
【００４２】
ナビゲーションシステムは、内視鏡の位置および方向性の実時間データを提供し、超音波システムは動画像データを提供する。先端位置データは、画像ボリューム中での内視鏡の先端の場所を計算するのに使用され、プローブの方向性データは、レンダリングカメラの位置および方向性を決定するのに使用される。外科医のフィードバックは、ナビゲーションシステムを改善し精密化するために使用される。処置の持続時間および結果は、ナビゲーションおよび画像強化した内視鏡の助けなしにファントム上で実行された、従来の生検処置のものと比較される。
【００４３】
標的が識別されると、いくつかの実施形態は、ボリュームの追跡された方向性と共に、超音波ボリューム中の標的を囲む部分領域を基準として格納する。その後、これらの実施形態は、基準標的部分領域の方向性を使用して、前のボリューム中の標的位置に中心がある、連続して獲得された各超音波ボリュームの部分領域を再度サンプリングする。
【００４４】
いくつかの実施形態は、再度サンプリングされた部分領域と基準部分領域との３次元の相互相関を使用して、標的の新しい場所を見つける。この動的な追跡は、時間をかけて個々の標的を追跡し、システムが標的ナビゲーションデータを表示している場合、データは実時間で変化して、内視鏡に対する標的の更新された場所に追随する。
【００４５】
図２は、本発明のいくつかの実施形態のプロセス２００を示す。図１のプロセス１００と同様に、プロセス２００は患者の体内の所望位置に医療器具を誘導する。図２に示すように、プロセス２００は、最初に（ステップ２０５において）所定の方向性から患者の標的部位の１つまたは２つ以上の２Ｄまたは３Ｄ術中画像を獲得する。次に、プロセスは（ステップ２１０において）患者の標的部位に対する手術器具の位置を追跡する。
【００４６】
プロセスはその後（ステップ２１５において）患者の部位、患者の標的部位、および手術器具の術中画像を、共通の３Ｄ基準座標系内に位置合わせする。次に、プロセスは（ステップ２２０において）表示装置上に患者の標的部位の画像を描画する。プロセスはさらに（ステップ２２５において）画像上で患者の標的部位の空間的特徴（形状および位置）を指定する。その後、そのプロセスは（ステップ２３０において）手術器具の位置および方向性を標的の特徴に対して相関させる。プロセスは（ステップ２３５において）、標的の空間的特徴に対する手術器具の位置および方向性に関連する印（例えば、３次元形状、点、および／または線）を術中画像上に投影する。
【００４７】
図３および図４は、図１および図２に示したプロセスを使用する撮像システムのための代表的なユーザインタフェースを示す。図３は、超音波で機能強化した内視鏡検査のための代表的なユーザインタフェース（ＵＩ）を示す。左側のパネルは、ターゲティングベクトルおよび距離測定値を重ね合わせた内視鏡画像を示す。右側のパネルは、獲得した３Ｄ超音波ボリュームによって再フォーマットされた横断面を示す。図４は、超音波で機能強化した内視鏡検査のための別のＵＩを示す。左側のパネルは、ドップラー撮像によって獲得した仮想ツールの追跡および視覚化ならびに血管系を含む内視鏡画像を示す。右下のパネルは、ボリュームレンダリングした３Ｄ超音波を示す。
【００４８】
図３および図４のＵＩは、超音波データのインタラクティブレンダリングを支援して、ユーザが、超音波画像ボリュームにおいて対象とする所望の領域を発見しマークすることを可能にする。ＵＩは、ユーザが、対象とする標的領域を発見してマークすることを可能にする。血管構造に衝撃を与えることは、内視鏡的処置における重大な危険である。内視鏡画像中で表面組織の後ろにある血管を視覚化することは、血管構造を回避する（反ターゲティング）助けとなるだろう。
【００４９】
図５および図６はそれぞれ、本発明のいくつかの実施形態に従った代表的な外科手術の構成を示す。これらのシステムは、次のことを可能にする。
５００ｍｍ以上の可撓性の内視鏡を１．８ｍｍの位置精度および１°の方向性精度で追跡する。
ほぼ実時間でのナビゲーションのために、外部の３Ｄ超音波画像を獲得し、それらを処理する。
あらゆる再フォーマットされた３Ｄ超音波横断面画像上で、動的に標的を識別できるようにする。
任意に、強度に基づいた不透明度フィルタを用いて描画された動的なドップラー超音波データを、内視鏡画像上に重ねる。
呼吸を止めている間、５ｍｍの精密化された標的精度で、１０ｍｍの全体的な粗い標的精度を提供する。
【００５０】
図５のシステムでは、映像ソース５００（例えば、顕微鏡またはビデオカメラ）が、映像信号５０１を生成するのに使用される。後述するいくつかの実施形態では、映像ソース５００は内視鏡システムである。術中イメージングシステム５０２（例えば、超音波システム）は、術中イメージングデータストリーム１０３を捕捉する。情報は、超音波ディスプレイ５０４上に表示される。
【００５１】
追跡可能な術中イメージングプローブ５０５も、１つまたは２つ以上の追跡可能な手術ツール５０６中に配置される。他のツールは、追跡可能な内視鏡５０７またはあらゆる術中映像ソースを含む。追跡装置５０８は、追跡データストリーム５１０を通信する追跡ワイヤ５０９を有する。ナビゲーションインタフェース５１２を備えたナビゲーションシステム５１１が提供されて、ユーザが、術中ビデオ画像５１３（透視図）を用いて作業を行うことが可能になる。映像ソースがなければこれは削除され得る。
【００５２】
第１のターゲティングマーカー５１４（視野外の標的を指す）ならびに第２のターゲティングマーカー５１５（視野内の標的を指す）を使用することができる。術中画像５１６および病変標的の画像５１７は、正射像５１９（外部の視界）として手術ツールまたは映像ソース５１８（例えば、内視鏡）の仮想表示で示される。さらに、あらゆる任意の３Ｄ形状（解剖学的表現またはツール表現）の画像のオーバレイ５２０も示すことができる。
【００５３】
図６は、別の代表的な手術の設定を示す。図６では、いくつかの赤外線映像カメラが患者の画像を捕らえる。超音波プローブは、患者の体内における超音波センサの位置を決める。その後、内視鏡などの手術ツールが患者の体内で配置される。赤外線映像カメラは、センサの位置をコンピュータに報告し、コンピュータは次に、３Ｄ画像の再構成を生成するワークステーションに収集した情報を転送する。ワークステーションも、データを登録し、操作し、スクリーン上に患者データを視覚化する。ワークステーションはまた、患者の２Ｄ画像を捕捉する超音波機械からデータを受取る。
【００５４】
使用中の可撓性の内視鏡の幾何学形状は絶えず変化するので、内視鏡の先端の視野は、内視鏡の他のある部分に付けられた追跡装置の位置に直接依存しない。これにより、直接の光学的または機械的追跡が排除されるが、これらのシステムは、有用かつ正確である一方、制約されない視線または突出した機械的リンク機構が必要とされるので、体内にある可撓性の装置を追跡する場合に使用することができない。
【００５５】
追跡された内視鏡映像を利用するために、撮像システムの６つの外部パラメータ（位置および方向性）および５つの内部パラメータ（焦点距離、光学的中心座標、アスペクト比、およびレンズの歪み係数）が、内視鏡の先端の姿勢およびその光学特性を決定するために求められる。あらゆる所定の構成に対するこれらのパラメータの値は当初は未知である。
【００５６】
磁気変換器は、内視鏡の先端で動作チャンネルに挿入されて、最適な感知量がセンサの位置範囲を含むように磁界発生器を配置する。この時、金属に対する感度を持たない６つのＤＯＦの小型化された磁気追跡システムが使用されるが、最近の開発により近い将来には改善されたシステムが約束される。
【００５７】
獲得した超音波画像を正しくボリュームデータセットに挿入するために、画像中の各ピクセルの世界座標が決定されなければならない。これは、超音波プローブの精密な追跡ならびに超音波画像の較正を必要とする。現在の較正技術は、３Ｄ超音波システムを使用するたびにそれに先立って実行するには、手間と時間がかかりすぎる。
【００５８】
超音波データを追跡する場合、対象とする領域はプローブ自体から大幅に遠い場合がある。したがって、撮像される領域を発見するのにプローブの方向性が投影される場合、追跡エラーがあればそれが拡大される。
【００５９】
超音波再構成機関の利点の１つは、あらゆる既存の超音波システム構成に適合させることができる点である。この融通性を活用するために、多様なタイプおよびサイズの超音波プローブに対する単純で信頼性のある追跡センサの搭載能力が使用されるが、これは、追跡センサおよび超音波プローブが、較正後に互いに対して固定の位置を維持することが必要なためである。外科医はまた、プローブを、追跡システムおよびそのプローブアタッチメントとは独立に使用したいと考えることがある。
【００６０】
超音波画像から正確なボリュームを再構成するためには、６つの外部パラメータ（位置および方向性）および縮尺などの任意の必要な内部パラメータを精密に評価する必要がある。追跡センサが超音波プローブに搭載されるか、または、イメージング深さあるいは操作頻度などの関連する超音波撮像パラメータのうちのいずれかが修正されるたびに、較正手順が実行されなければならないため、較正手順は、正確なだけでなく単純かつ迅速でなければならない。光学追跡システムは、超音波プローブに付けられる追跡装置の位置および方向性を測定するのに使用される。システムを臨床環境で使用するのに実用的なものにするために、超音波プローブの内部および外部のパラメータの空間的較正が行われる。その後、これらのパラメータは、超音波画像を内視鏡の視野の座標フレームに適切に変換するために使用される。
【００６１】
最初の解決策は、超音波プローブに磁気追跡を使用することである。他の解決策は、光学追跡システムを使用してプローブを追跡することである。追跡装置および対応する万能の取付け金具が配置される。典型的な２Ｄの場合では、獲得したイメージは、映像生成および捕捉プロセスのスケーリングに従う。映像出力は使用されないが、３次元超音波データは直接アクセスされるので、これは問題にならない。３Ｄプローブの内部パラメータは、メーカーによって較正されているので修正されない。組織を模倣する材料の２００＿２００＿２００ｍｍのファントムは、統合ＣＴ可視追跡装置と共に使用される。ファントムの中の３次元すべてに沿って、直径２０ｍｍの、および修正済の音響インピーダンスを備えたＣＴコントラスト材料を含むシリンダおよび立方体が分配される。ファントムは、超音波プローブを用いて撮像されるが、超音波ボリュームと以前に獲得された基準ＣＴ３次元画像との変換は、強度に基づいた厳密な位置決め（２つの画像の強度が値ではなく構造において類似していることが求められる）を使用して計算される。この変換およびファントムの追跡装置の既知の位置は、超音波診断ボリュームと超音波プローブの追跡装置との関係を決定するのに使用される。較正が成功すると、変化しない幾何学形状が必要とされる。ファントムは、変形なしに再配置および処理に耐えるように設計される。ファントムに付けられたクイックリリースクランプは、較正プロセスの間、超音波プローブを保持する。
【００６２】
超音波映像ボリュームにおいて対象となる所望の領域を発見しマークするために、インタフェースは、超音波データのインタラクティブレンダリングを支援する。インタラクティブなナビゲーションシステムは、ユーザが対象となる標的領域を発見しマークする方法を必要とする。呼吸および他の動きは、あらゆる標的の元の場所がシフトする原因となる。標的が動的に追跡されなければ、ナビゲーション情報は時間が経つにつれて質が低下する。超音波の下での通常の生検針の可視性は悪く、血管構造に衝撃を与えることは、内視鏡的処置における重大な危険である。内視鏡画像中で表面組織の後ろにある血管を視覚化することは、それを回避する（反ターゲティング）助けとなると考えられるが、セグメント化は困難で、集中的な計算を要するタスクである。上記のことに対処するため、ナビゲーションシステムは３つの別個のモードで作動する。
【００６３】
第１のモードは標的識別モードである。外科医が１つまたは２つ以上の対象とする標的領域を見つけ、ターゲティングのためにそれらをマークすることを可能にするために、撮像された超音波ボリュームが表示される。システムは、標的の精密な２Ｄ位置決めのために、インタラクティブな３次元レンダリング、ならびに３つまでのユーザが位置決定可能な直交横断面を示す。
【００６４】
第２のモードにおいて、内視鏡は基準系の位置および方向性を設定するために使用される。これらのパラメータに基づいて、かつ内視鏡の光学特性を用いて、システムは、内視鏡映像に標的のナビゲーションデータを重ねる。これによって、外科医が、内視鏡の視野の可視範囲を越えて対象とする領域を標的とすることが可能になる。表示データは、内視鏡の先端に対する標的領域の方向およびそこまでの距離、ならびにこのデータにおけるエラーの潜在的な範囲を含む。
【００６５】
第３のモードは、内視鏡が正しい位置に置かれた後、実際の生検を実行するのに使用される。撮像されたインタラクティブな超音波ボリュームおよび横断面は、各画像上に投影された内視鏡の位置およびその先端による軌道と共に表示される。内視鏡ニードル自体もまた、超音波ディスプレイにおいて目に見える。
【００６６】
このことは、この場合そうであるように、内視鏡の先端から放射する単一の固定した２Ｄ超音波面に限定されることなく、生検針を病変の中心に配置することを支援する。（ただし、その２Ｄ視野の能力は、超音波横断面を任意に内視鏡に合わせることにより複写される。）可撓性のある内視鏡の追跡システムの第１の実施では、生検を行うために、磁気センサは動作チャンネルから取り除かれる必要があり、ナビゲーション表示は、その除去の直前に観察された、格納された位置を使用する。しかしながら、最終的には、センサは較正で適所に配置されるニードルアセンブリに統合される。
【００６７】
標的が識別されると、超音波ボリューム内の標的を囲む部分領域は、ボリュームの追跡された方向性と共に基準として格納される。前のボリューム中の標的位置で中心にある、連続して獲得された各超音波ボリュームの部分領域は、基準標的部分領域の方向性を用いて再度サンプリングされる。基準部分領域に対する再度サンプリングされた部分領域の３次元の相互相関は、標的の新たな場所を見つけるのに使用される。
【００６８】
この動的な追跡は、時間をかけて個々の標的を追跡し、システムが標的ナビゲーションデータを表示している場合、データは実時間で変化して、内視鏡に対する標的の更新された場所に追随する。
【００６９】
血管構造は、強く、よく区別されたドップラー信号を返す。動的な超音波データは、強度に基づいた不透明度フィルタを使用して実時間で描画されて、非血管性の構造を透明にしてもよい。これは、セグメント化のために計算上必要な変形可能な幾何モデルを必要とすることなく、血管構造を有効に分離するので、システムは、動きおよび変形に実時間で追随することができる。遅延が顕著な場合、標的が動くとナビゲーション精度が低下する。実際の生検が実行されるときなど、最適な精度が必要な場合、一時的に動きのない呼吸の停止が必要なことがある。
【００７０】
レンズの歪み補償は、実時間のデータ表示に対して実行されるので、重ねられたナビゲーション表示は下にある内視鏡映像に正確にマッピングする。
【００７１】
超音波マシン自体のディスプレイ上であるが恐らくは異なる空間的場所でだが、新しい超音波ボリュームはその全体で次に最も新しいボリュームに取って代わる。これは、誤解を招きやすい古いデータ、データの期限切れ、制限のないイメージングボリューム、および保持レンダリングデータなどの問題の多いエリアを回避する。代わりに、１つがナビゲーションおよび表示に使用されると同時に他方が更新される、単純なピンポンバッファの対が使用されてもよい。このアプローチの別の利益は、低減された計算の複雑さが、より良好なインタラクティブ性能およびより小さなメモリの設置面積に寄与する点である。
【００７２】
すべてのファントムは、ファントムに関連した試験に対して予測されるシステム誤差の少なくとも４０分の１の許容差で製造される。この不精確度は、仕様に対する顕著な影響なしに総体的なシステム誤差に含められることができるほど十分に小さい。
【００７３】
コンピュータ化された対象物認識および監視は、レーザターゲティングシステムおよび内部の解剖学的マーカーを使用して、超音波からの手術領域の画像を対象物の３Ｄ画像上に重ねるために使用される。３Ｄ画像は、高解像度のＭＲおよびＣＴ画像、ならびにボリューム獲得技術で得られた術中超音波の両方から、ワークステーション内で作成される。システムは、最大の柔軟性および精度を持つ外科医のためのインタラクティブかつ３Ｄの誘導システムを可能にする。これらの技術により、誘導なしの手術と同じツールおよび基本的な処置で、ただしフレームに基づいた定位によって精度が得られ外傷が最小限に抑えられて、手術が実行される。
【００７４】
システムの代表的な手術が、その特徴を説明するために以下に記載される。切除が計画される深部の内部軸にある脳の病変の場合を考える。術前画像を得る前に、患者に４つのマーカーが置かれる。これらは、皮膚に付着された、パントペック（ｐａｎｔｏｐｅｑｕｅ）を充填した球体に包まれた小さな（２ｍｍ以下）発光ダイオードでありえる。パントペックは、オイルベースのヨウ素を含むＸ線造影剤あって、最近まで脊髄撮像に使用されていた。ヨウ素がＣＴ画像上で目に見えるようになる一方、オイルベースはＭＲＩ検査において目に見えるようになる。
【００７５】
病変および重要な周囲の解剖学的構造のイメージング特性（すなわち、石灰化があるか否か、それがガドリニウムで亢進するか否かなど）に応じて、ＣＴまたはＭＲスキャンのいずれか、もしくは両方が実行される。典型的には、高解像度のコントラストが向上したＭＲ画像およびＭＲ血管造影が得られる。画像データは、（病院のコンピュータネットワークを介して）ワークステーションに転送され、ボリュームが描画され、（複数の撮像手段が行われた場合には）融合される。
【００７６】
画像データはセグメント化されて、適切な解剖学的構造上のコンテクストで、選択された内部軸および外部軸の構造ならびに基準点の詳細な視覚化が可能になる。基準マーカー、脳、血管系、および頭皮表面のセグメント化は、全自動である。しかしながら、そのような病変を囲む不規則な解剖学的構造は、現在は、自動的なセグメント化アルゴリズムには予測不能に過ぎるため、病変のセグメント化は、一部のみが自動である。
【００７７】
手術室では、患者は通常の方法で位置付けられる。光学追跡システムは、患者の頭の上方で、その側部に配置される。クロマキー技術は、点滅するマーカーを自動的に識別して、患者の物理的な解剖学的構造を３Ｄ画像データセットに対して自動的かつ連続的に位置合わせし、重ね合わせることを可能にする。クロマキーは、３Ｄ空間中で、既知の周波数を備えた発光する対象物（例えば、患者の頭部に付けられた点滅する発光ダイオード）を独自に検出することを可能にする映像特殊効果技術である。ダイオードマーカーもまた、定位の空間において追跡するために、従来の超音波プローブおよび手術ツール（例えば、プローブ、メス）に加えることができる。クロマキー技術を使用して、マーカーは自動的に認識され、位置合わせされた３Ｄ画像のディスプレイに重ねられる。
【００７８】
超音波プローブ上で３つのマーカーが三角形を形成することによって、それが外科的部位をスキャンする際に動きを追跡することが可能になり、したがってシステムに３次元超音波映像が適用される。患者の解剖学的構造を、術中超音波画像を用いて連続的に術中位置合わせすることは、外科手術中に脳組織が移動および変形するため、非常に重要である。術中に獲得された３Ｄ超音波画像は、次いで、術前ＣＴまたはＭＲ画像の両方の手段で目に見える解剖学的特徴、例えば血管構造および病変を用いて、それらの画像と融合される。さらに、外科装置に表示された画像から伸びる外挿ラインは、計画されたアプローチの軌道を示す。ツールを移動させることは、自動的に、表示された潜在的な軌道の変化につながり、ツール上のＬＥＤの場所によって、ツールの精密な深度および場所の決定が可能になり、それによって、手術部位の深度および場所の精密な決定が可能になる。したがって、このシステムは、直接的かつインタラクティブなタスクに対する低侵襲性のアプローチの計画を単純化するだけでなく、超音波画像を用いて術中画像を更新および位置合わせすることによって、従来のシステムよりも精密である。
【００７９】
さらに、ビデオカメラに基づいた対象物認識システム、レーザターゲティングシステムによって提供される情報は、外科的部位の位置確認をさらに支援し、したがって、再度位置合わせが必要とされるエリアの位置確認によって、位置合わせおよび画像重ね合わせの性能および精度が向上される。この情報は、アプローチに適応して（および所望であればそれと重ねられて）、ワークステーションがコンテクスト内で手術フィールドの実時間３Ｄ画像を自動的に表示することを可能にする。３Ｄ再フォーマットは、ボリューム表示技術を使用し、透明度の瞬間的な変化を可能にする。この技術で、深いならびに表面的な構造がコンテクスト内で見えるようになり、それにより術中誘導が大幅に向上される。
【００８０】
システムソフトウェアは、ユーザインタフェースに対する強化を扱うものと、画像操作および位置合わせのためのアルゴリズムに焦点を合わせたものという、２つの態様を有する。これらのアルゴリズムは、画像セグメント化、３次元の視覚化、画像の融合、および画像の重ね合わせのための手段から成る。一実施形態では、システムは次のものを提供する。
ｉ）手術室での使用を容易にする「ユーザフレンドリーな」インタフェース。
ｉｉ）ワークステーションシステム上でのインタラクティブな画像解析および操作ルーチン（例えば、任意の切断、画像のセグメント化、画像の拡大、および変換）。
ｉｉｉ）光学追跡システム（符号化されたダイオードポインタを備える）とコンピュータのワークステーションとのシームレスなインタフェース。
ｉｖ）ビデオカメラと、光学追跡システム追尾システムおよびワークステーションを備えたレーザターゲティングシステムとのシームレスなインタフェース。
ｖ）試験対象物の表面に置かれたダイオードマーカーを用いて、（ｉｖ）からのビデオ画像を（ｉｉｉ）からの３Ｄデータに重ね合わせる。対象物中におけるポインタの誘導の精度を試験する。
ｖｉ）３Ｄ超音波画像を得るために、超音波プローブを光学追跡システムおよびワークステーションに含める。
ｖｉｉ）超音波プローブ上に置かれたダイオードマーカーを用いて、（ｖｉ）からの３Ｄ超音波画像を（ｉｉｉ）からの３ＤのＭＲ／ＣＴ画像に融合させる。
ｖｉｉｉ）それらの走査後に試験対象物を変形させる。
対象とする領域の直線的変位を使用して、３Ｄ超音波画像の変形を修正するために、試験対象物中におけるポインタの誘導の精度を試験する。試験が進行するに従って試験対象物の複雑性が増大する。
【００８１】
上述した医療システムは多数の利点を有する。例えば、これらのシステムは、内視鏡検査における術中の方向合わせおよび照射線量を向上させ、したがって、外科手術の精度を向上させ、回復期を早めさせて、それにより全体的なコストを削減する。超音波で機能強化した内視鏡検査（ＵＳＥＥ）は、内視鏡画像を越えて、隠れている標的（例えば、管腔周辺の病変）の位置確認を改善する。単一の内視鏡画像上で、これらのシステムのいくつかは、術中超音波画像から計算された指向性の情報およびターゲティング情報を動的に重ね合わせる。磁気追跡および３Ｄ超音波技術は、正確な内視鏡ターゲティングのための、動的な３Ｄ／映像較正および位置合わせアルゴリズムと組み合わせて使用される。ＵＳＥＥで、臨床医は、現在の内視鏡手術に関するのと同じツールおよび基本的処置を使用するが、正確な生検の確率が向上し、異常を完全に切除する可能性が増加する。これらのシステムは、正確な軟組織ナビゲーションを可能にする。システムはまた、術中３Ｄ撮像データの有効な較正と、ビデオ内視鏡画像との有効な相関を提供する。
【００８２】
これらのシステムのいくつかは、外部３Ｄ超音波画像を獲得し、それらをほぼ実時間でナビゲーションのために処理する。これらのシステムは、あらゆる再フォーマットされた３Ｄ超音波横断面上での動的な標的識別を可能にする。処置中に組織が移動または変形すると、システムは、自動的に標的の動きを追跡することができる。これらのシステムは、方向ベクトルの形態で標的の場所を内視鏡画像上に動的にマッピングし、標的までの距離など定量化可能なデータを表示することができる。任意に、システムは、動的な３Ｄ超音波画像上にターゲティング情報を提供することができる。システムは、超音波画像中に、また任意に内視鏡画像中にも、追跡された手術ツールの位置および方向性を仮想的に視覚化することができる。これらのシステムはまた、強度に基づいた不透明度フィルタを用いて描画された動的なドップラー超音波データを、内視鏡画像上に重ねることができる。
【００８３】
本発明を特定の実施例に関して記載してきたが、これらは説明目的のみのものであって制限目的として解釈されるべきではない。本発明は、デジタル電子回路構成の中で、もしくはコンピュータのハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせの中で実施されてもよい。本発明の装置は、コンピュータプロセッサで実行するために機械可読の記憶装置内で明確に具体化されたコンピュータプログラム製品に導入されてもよく、本発明の方法ステップは、入力データを操作し出力を生成することによって、本発明の機能を実施するプログラムを実行するコンピュータプロセッサによって実施されてもよい。適切なプロセッサは、一例として、汎用および特定目的のマイクロプロセッサの両方を含む。コンピュータプログラム命令を明確に具体化するのに好適な記憶装置は、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリなどの半導体記憶装置、磁気ディスク（固定のもの、フロッピー、および取外し可能なもの）、テープなどの他の磁気媒体、ＣＤ−ＲＯＭディスクなどの光学媒体、および磁気光学デバイスなどの、すべての形態の不揮発性メモリを含むが、これらに限定されない。上述のいずれも、特別に設計された特定用途向け集積回路（ＡＳＩＣ）または適切にプログラムされたフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって補完されるか、あるいはそこに組み込まれてもよい。
【００８４】
上述の開示、および説明目的でそこに開示された特定の変形および修正から、本発明の概念を、記載されたものとは異なる形態で具体化することができることが、当業者には明白であろうと考えられ、また、本発明はそのようなさらなる変形をも含むことが理解されるであろう。本発明の好ましい形態が図面に示され、そこに記載されているものの、好ましい形態の変形は当業者には明白であろうと考えられるため、本発明は、それら特定の形態に限定されるものと解釈されるべきでない。したがって、本発明の範囲は、特許請求の範囲およびそれらの等価物によって定義される。
【図面の簡単な説明】
【００８５】
【図１】本発明のいくつかの実施形態のシステムの手術の代表的なフローチャートである。
【図２】本発明のいくつかの実施形態のシステムの手術の代表的なフローチャートである。
【図３】本発明のいくつかの実施形態のシステムの代表的なユーザインタフェースディスプレイである。
【図４】本発明のいくつかの実施形態のシステムの代表的なユーザインタフェースディスプレイである。
【図５】システムの１つの態様に従った代表的な操作設定の構成である。
【図６】システムの１つの態様に従った代表的な操作設定の構成である。
【符号の説明】
【００８６】
５００ 映像ソース
５０２ 術中イメージングシステム
５０４ 超音波ディスプレイ
５０５ 術中イメージングプローブ
５０６ 手術ツール
５０７ 内視鏡
５０８ 追跡装置
５１１ ナビゲーションシステム
５１３ 術中ビデオ画像
５１４，５１５ ターゲティングマーカー
【技術分野】
【０００１】
【背景技術】
【０００２】
近年、医学界は、外科的処置の侵襲性を最小限に抑えることにますます的を絞っている。イメージング技術と計測化の進歩は、非常に小さな切開による低侵襲手術を用いた処置を可能にした。より小さな切開は、健康な組織の損傷を最小限に抑え、患者の苦痛を低減し、患者の回復を早めるので、この分野における進歩は、従来の開放処置に比べて病的状態が低減されることによって促進されている。小型ＣＣＤカメラおよびそれに関連する超小型電子技術の導入は、内視鏡検査の適用を、特別な場合のための生検から十分に低侵襲性の外科切開および吸引にまで拡張している。
低侵襲性の内視鏡手術は、術中および術後の合併症が低減されやすく、苦痛がより少なく、また患者の回復がより早いという利点がある。しかしながら、狭い視野、方向性の欠如、および血液および邪魔な組織の存在が合わさって、ビデオ内視鏡検査では、一般に方向性が失われ、その実施が困難である。現在の３次元（ｖｏｌｕｍｅｔｒｉｃ）外科ナビゲーション技術では、低侵襲性処置のためのより良好な照射線量および方向性が保証されているが、最近の外科ナビゲーション技術を柔組織内視鏡検査に有効に利用するには、依然として、（１）体内において可撓性のある内視鏡の６つの自由度（ＤＯＦ）をすべて正確に追跡すること、および（２）介入性処置の間の組織変形および標的の動きを補償すること、という２つの困難が障害となっている。
【０００３】
例えば、内視鏡を使用する場合、外科医の視界はカメラの狭い視野に限定されており、レンズは、血液または曇りによって遮られることが多く、その結果、外科医が方向を見失ってしまう。さらに、内視鏡は、可視表面しか表示することができず、そのため、不透明な組織の下に位置する腫瘍、血管、および他の解剖学的構造を視覚化すること（例えば、胃腸内視鏡検査による膵臓腺がんのターゲティング、または肝臓中の塊などの腸周辺構造をサンプリングするための粘膜下組織の病変のターゲティング、あるいは気管支中の管腔下の病変のターゲティング）は困難な場合が多い。
【０００４】
最近、画像誘導治療（ＩＧＴ）システムが導入されている。これらのシステムは、従来の内視鏡検査を補完するもので、主に、神経外科、鼻腔外科、および脊髄外科で使用されており、骨またはマーカーに基づいた位置合わせにより、手術前画像を用いて適切な標的精度を提供できる（典型的には１〜３ｍｍ）。ＩＧＴは、器具を方向付け、特定の解剖学的構造を標的とする外科医の能力を向上させるが、柔組織では、術中の組織が移動および変形するため、これらのシステムはターゲティング精度が十分ではない。さらに、内視鏡は３次元（３Ｄ）環境の映像表示を提供するので、従来の純粋に２次元（２Ｄ）のＩＧＴ画像を内視鏡映像と相関させることは困難である。術中３Ｄ超音波イメージングから得られた情報をビデオ内視鏡検査と相関させることで、低侵襲性ＩＧＴ処置における位置確認およびターゲティング精度を大幅に改善することができる。
【０００５】
１９９０年代中頃まで、イメージガイダンスの最も一般的な用途は、外科用の軌道装置（ｓｕｒｇｉｃａｌ ｔｒａｊｅｃｔｏｒｙ ｄｅｖｉｃｅ）および基準系が使用される定位生検用であった。従来のフレームに基づいた立体配列法は、患者の頭骨にねじ止めされたフレームに取り付けられた１組の基準マーカーを参照して、頭蓋内の解剖学的構造を定義している。これらの基準点は、術前の断層撮影（ＭＲＩまたはＣＴ）画像上で測定される。
【０００６】
軌道強化装置（ｔｒａｊｅｃｔｏｒｙ−ｅｎｆｏｒｃｅｍｅｎｔ ｄｅｖｉｃｅ）は基準系の上に置かれ、術前データから得られた事前の計算に基づいて、標的病変に生検ツールを誘導するために使用されている。機械的なフレームを使用することで、位置確認の高い精度が可能になったが、患者の不快感が引き起こされ、外科手術の柔軟性が制限され、外科医が、病変への生検ツールの接近を視覚化することができなかった。
【０００７】
フレームの必要性を完全になくす、画像誘導技術が徐々に出現してきている。第１のフレームなしの定位システムは、関節ロボットアームを使用して、手術室内で患者の解剖学的構造を用いて術前イメージングの位置合わせを行っている。これに続いて、音響装置を使用して、操作環境中の器具を追跡している。音響装置は、最終的には、移動体に取り付けられたカメラおよび赤外線ダイオード（またはリフレクタ）を用いて、その位置および方向性を正確に追跡する光学追跡システムに取って代わられた。これらのシステムは、患者の外部に置かれたマーカーを使用して、手術室内で患者の解剖学的構造を用いて術前イメージングの位置合わせを行っている。このような術中ナビゲーション技術は、術前のＣＴまたはＭＲ画像を用いて、手術中に局所的な情報を提供する。さらに、システムはすべて、手術器具の場所に関するフィードバックを行うことにより、２Ｄの手術前データに比べて、術中の位置確認を向上させる。
【０００８】
最近まで、３次元外科ナビゲーションは、実時間３Ｄ画像を生成するのに必要な計算能力の不足によって制限されていた。様々な３次元撮像手段の用途は進歩し、内科医が、治療を計画および実行するために、３Ｄで疾病の程度を視覚化し定量化することが可能になった。システムは、現在では、術前３Ｄデータを、ビデオカメラ、超音波プローブ、外科用顕微鏡、および内視鏡からの術中２Ｄデータ画像と、実時間で融合させることができる。これらのシステムは、主に、術前データに直接アクセスすることが外科手術作業の実行に大きな役割を果たす、神経外科、鼻腔外科、および脊髄外科で使用されている。これは、外科手術中に組織が移動および変形するため、これらのＩＧＴ処置は、術前に獲得した画像に対してそれらの空間的位置合わせを失う傾向があるという事実にもかかわらずある。
【発明の開示】
【０００９】
本発明のいくつかの実施形態の方法は、ユーザが、患者の体内の表面下標的部位に医療器具を誘導するのを支援する。この方法は、１つまたは２つ以上の術中画像を生成する。本方法は、画像上の標的部位を示す。本方法は、基準座標系中の標的部位の３Ｄ座標を決定する。本方法は、
（１）基準座標系中の器具の位置を追跡し、
（２）表示装置上に、基準座標系中のツールに関する位置から見えるような視野を投影し、
（３）表示された視野上に、位置に対応する標的部位の印を投影する。
いくつかの実施形態では、視野は、器具の位置からだけでなく、基準座標系中における器具の既知の方向性からの視界である。印を観察することによって、ユーザは、印が表示された視野内に所定の状態で置かれるか保持されるように、器具を移動させることによって、標的部位に向けて器具を誘導することができる。
【００１０】
いくつかの実施形態では、方法は、患者の超音波画像を生成するための超音波源を用いて術中画像を生成する。これらの実施形態のいくつかでは、画像上に示される空間的標的部位の３Ｄ座標は、画像上の空間的標的部位の２Ｄ座標および超音波源の位置から決定される。
【００１１】
いくつかの実施形態では、医療器具は内視鏡であって、表示装置上に投影される視野は、内視鏡から見た画像でありえる。表示装置上に投影される視野は、規定の視野を有する医療器具の末口の位置および方向性から見た視野でありえる。表示装置上に投影される視野は、医療器具の末口位置で見た標的とは異なる、器具の軸線に沿った位置から見た視野でありえる。
【００１２】
示される空間的標的部位は、体積、エリア、または点でありえる。いくつかの実施形態では、印は、示される空間的特徴の境界または標的部位内の点の位置を画定する幾何パターンに構成される。印の間の間隔は、標的部位の位置からの器具の距離を示すことができる。
【００１３】
個々の印のサイズまたは形状は、標的部位の位置からの器具の距離を示すことができる。個々の印のサイズまたは形状は、ツールの方向性を示すことができる。例えば、印は、第１に示された空間的特徴と共に、表示画像上の外科手術軌道（ｓｕｒｇｉｃａｌ ｔｒａｊｅｃｔｏｒｙ）を画定する第２の空間的特徴を各画像上に提供することができる。患者の表面領域において、器具は、示された空間的特徴と共に表示画像上の外科手術軌道を画定する入口点を示すことができる。表示画像上の外科手術軌道は、第１の組が第１に示された空間的特徴に対応し、第２の組が第２の空間的特徴または示された入口点に対応する、２組の印で示されることができる。表示画像上の外科手術軌道は、その末端領域で第１の空間的特徴および第２の空間的特徴もしくは示された入口点によって画定される幾何学的物体で示されることができる。
【００１４】
いくつかの実施形態は、医療器具を患者の体内の標的部位に誘導するシステムを提供する。このシステムは、３次元座標系中の患者の標的部位をその上で画定することができる１つまたは２つ以上の術中画像を生成するための撮像装置を含む。このシステムはまた、基準座標系中の医療器具および撮像装置の位置を追跡するための追跡システムを含む。このシステムはさらに、それによってユーザがそのような画像上の空間的標的部位を示すことができるインジケータを含む。システムはまた、表示装置、ならびに追跡システム、表示装置、およびインジケータに動作可能に接続されたコンピュータを含む。
【００１５】
最後に、このシステムは、コンピュータ可読コードを含み、これは、コンピュータが、
（ｉ）前記インジケータを用いて、ユーザによって示された標的部位の空間的情報を前記画像上に記録し、
（ｉｉ）前記画像上に示された空間的標的部位から、基準座標系中の空間的標的部位の３Ｄ座標を決定し、
（ｉｉｉ）基準座標系中の器具の位置を追跡し、
（ｉｖ）基準座標系中のツールに対する既知の位置から見える視野を表示装置上に投影し、
（ｖ）所定の位置に対応する空間的標的部位の印を、表示された視野上に投影する、
ように案内する。
いくつかの実施形態では、視野は、器具の位置からだけではなく、基準座標系中の器具の既知の方向性からの視野でもある。印を観察することにより、ユーザは、印が表示された視野内に所定の状態で置かれるまたは保持されるように器具を移動させることによって、器具を標的部位に向けて誘導することができる。
【００１６】
いくつかの実施形態では、撮像装置は、任意の位置からそれぞれ患者の標的部位のデジタル化画像を生成することが可能な超音波撮像装置である。さらに、いくつかの実施形態では、追跡装置は、２つの位置で撮像装置の位置を記録するように操作可能な追跡装置である。また、いくつかの実施形態では、医療器具は内視鏡であって、表示装置上に投影される視野は、内視鏡から見た画像である。
【００１７】
本発明のいくつかの実施形態は、ユーザが医療器具を患者の体内の標的部位に誘導することを支援するために設計されたシステムにおいて、機械可読コードを提供する。システムは、
（ａ）３次元座標系中の患者の標的部位をその上で画定することができる１つまたは２つ以上の術中画像を生成するための撮像装置と、
（ｂ）基準座標系中の医療器具および撮像装置の位置を追跡するための追跡システムと、
（ｃ）そのような画像上の空間的標的部位をユーザがそれによって示すことができるインジケータと、
（ｄ）表示装置と、
（ｅ）追跡システム、表示装置、およびインジケータに動作可能に接続されたコンピュータと、
を含む。
【００１８】
コードは、
（ｉ）インジケータを用いて、ユーザによって示された標的部位の空間的情報を画像上に記録する命令セットと、
（ｉｉ）前記画像上に示された空間的標的部位から、基準座標系中の空間的標的部位の３Ｄ座標を決定する命令セットと、
（ｉｉｉ）基準座標系中の器具の位置を追跡する命令セットと、
（ｉｖ）前記基準座標系中のツールの既知の位置から見える視野を表示装置上に投影する命令セットと、
（ｖ）既知の位置に対する示された空間的標的部位を示すための印を、表示された視野上に投影する命令セットと、
を含む。
いくつかの実施形態では、視野は、器具の位置からだけではなく、基準座標系中の器具の既知の方向性からの視野でもある。印を観察することにより、ユーザは、印が表示された視野内に所定の状態で置かれるまたは保持されるように器具を移動させることによって、器具を標的部位に向けて誘導することができる。
【００１９】
いくつかの実施形態は、ユーザが医療器具を患者の体内の表面下標的部位に誘導することを支援する方法を提供する。本方法は、
（１）患者の術中画像上の空間的標的部位を示し、
（２）基準座標系中の標的部位の３次元座標を決定し、
（３）基準座標系中の器具の位置を決定し、
（４）表示装置上に、基準座標系中の器具に関する所定の位置から見た視野を投影し、
（５）視野上に、所定の位置に対応する空間的標的部位の印を投影する。
【００２０】
（図面の簡単な説明）
本発明の新規な特徴は、添付の特許請求の範囲に記載される。しかしながら、説明目的のため、本発明のいくつかの実施形態は次の図面に記載される。
図１および２は、本発明のいくつかの実施形態のシステムの手術の代表的なフローチャートである。
図３および４は、本発明のいくつかの実施形態のシステムの代表的なユーザインタフェースディスプレイである。
図５および６は、システムの１つの態様に従った代表的な操作設定の構成である。
【発明を実施するための最良の形態】
【００２１】
以下の説明において、説明目的のため多くの詳細を述べる。しかしながら、当業者であれば、本発明がこれらの特定の詳細を使用することなく実施されてもよいことを理解するであろう。他の例では、周知の構造および装置を、不要な詳細によって本発明の説明が不明瞭にならないように、ブロック図の形態で示す。
【００２２】
図１は、本発明のいくつかの実施形態のプロセス１００を示す。このプロセスは患者の体内における所望の位置に医療器具を誘導する。この図に示すように、プロセス１００は、最初に（ステップ１０５において）標的部位の１つまたは２つ以上の術中画像を獲得する。次に、プロセス１００は（ステップ１１０において）、術中画像、患者の標的部位、および手術器具を、共通の座標系内に位置合わせする。
【００２３】
患者、術中画像に関与するイメージングソース、および手術ツールはすべて（登録において）同じ基準系内に置かれなければならない。これは、様々な方法によって行うことができ、そのうちの３つを次に記載する。第１に、壁取付け式の追跡装置を使用して、患者、イメージングソース、および手術ツール（例えば、内視鏡）を追跡することができる。第２に、ツールの位置だけを追跡することができる。そのようなアプローチでは、ツールの先端点で身体上の基準点またはイメージングソースの位置に触れることによって、ツールを、患者およびイメージングソースの位置合わせ点に置くことができる。その後、患者が動いた場合、ツール対患者の接点によって装置を位置合わせすることができる。すなわち、既知の座標から画像が作成されれば、画像ソースの位置をさらに追跡する必要がなくなる。
【００２４】
第３に、患者および画像ソースは、患者の上または画像中の基準点によって、あるいは患者に対する既知の座標で撮像装置を置くことによって、位置合わせ点に置かれる。患者およびツールは、ツールに対する基準点の位置を検出することによって、例えば、ツール上で患者の基準点位置を検出する検出器を使用することによって、位置合わせ点に置かれる。あるいは、患者および内視鏡ツールは、内視鏡中の基準点を撮像し、撮像した位置と内視鏡の位置を一致させることによって、位置合わせ点に置くことができる。
【００２５】
ステップ１１０の位置合わせ操作の後、プロセス１００は（ステップ１１５において）患者の標的部位に対する手術器具の位置を追跡する。いくつかの実施形態では、ナビゲーションのための内視鏡の追跡を１つの実施に統合するために、磁気追跡システムが使用される。システムは、磁気変換器を内視鏡チップの動作チャンネル内に提供し、最適な感知量がセンサの位置範囲を含むように磁界発生器を配置する。６つの自由度（６つのＤＯＦ）を規定する１つの実施において、金属に対する感度を持たない小型化された磁気追跡システムを使用することができる。追跡システムは、較正治具を用いて較正されてもよい。較正対象は、透視変換を逆マッピングすることによって、均一な格子点から非均一な格子点に修正され、その結果、較正対象の点密度は、内視鏡画像全体にわたってほぼ等しくなる。較正治具は防水され、水中環境で作動するように設計されている。適切であれば、治具が操作環境に類似した屈折特性を備えた液体に浸されている間に、較正が行われる。
【００２６】
一実施形態では、超音波較正システムを、３次元超音波データを正確に再構成するのに使用することができる。光学追跡システムは、超音波プローブに付けられる追跡装置の位置および方向性を測定するのに使用される。超音波プローブの内部および外部パラメータの空間較正が実行される。これらのパラメータは、超音波映像を内視鏡の視野の座標フレームに変換するのに使用される。別の実施形態では、磁気追跡システムは超音波プローブに使用される。１つのみの追跡システムを、内視鏡と超音波プローブの両方に使用することで、環境中の障害が低減され、視線追跡の必要性が回避される。
【００２７】
別の実施形態では、プローブの追跡は光学追跡システムを使用して行われる。３Ｄプローブの較正は、強度に基づいた位置合わせを用いる２Ｄ超音波プローブ較正に類似したやり方で行われる。強度に基づいた位置合わせは全自動であって、セグメント化または特徴の識別を必要としない。典型的な２Ｄの場合では、獲得したイメージは、映像生成および捕捉プロセスのスケーリングに従う。この変換および追跡用超音波較正装置の既知の位置（キャリブレーションファントム）は、超音波撮像ボリュームと超音波プローブの追跡装置との関係を決定するのに使用される。較正が成功すると、変化しない幾何学形状が必要とされる。キャリブレーションファントムは、変形なしに再配置および処理に耐えるように設計される。ファントムに付けられたクイックリリースクランプは、較正プロセスの間、超音波プローブを保持する。
【００２８】
次に、内視鏡映像と動的超音波画像との空間的相関が行われる。各追跡システム、内視鏡、および超音波機械の内部の処理は、各装置の実時間入力と出力との間に独自の時間遅延を引き起こす。出力データストリームは同期されず、異なる間隔でリフレッシュされる。さらに、ナビゲーションシステムがこれらの出力を獲得して処理するのにかかる時間は、ストリームに依存する。したがって、呼吸および他の動作による動きをこれらの独立した待ち時間と組み合わせて、撮像を実際に獲得しているときとは異なる動的な装置の位置を実時間表示させることができる。
【００２９】
いくつかの実施形態では、空間的相関を行うためにコンピュータが使用される。コンピュータは、より大きな画像ボリュームを扱うことができ、物理的な撮像ボリュームのサイズを増大させ、画像解像度をより高くする（２５６＿２５６＿６４の代わりに５１２＿５１２＿５１２まで）ことができる。コンピュータはまた、より高速の３Ｄ再構成およびマージ、ならびにより高いフレーム率でのより高品質のパースペクティブボリュームレンダリングを提供する。コンピュータは、追跡およびデータストリームのタイムスタンプを記録し、バッファリングし、次に、追跡された装置の位置および方向性を、画像データのタイムスタンプと一致するように補間する。
【００３０】
必要な時間オフセットを決定する際、超音波プローブを、キャリブレーションファントムのステップ面全体にわたって移動させて、追跡システムと画像データストリームの両方に一時的な階段関数を作成する。相対的な遅れは、各データストリーム中で観察された階段関数のタイムスタンプを比較することによって決定される。内視鏡の待ち時間は、同じファントムを使用して同様に決定される。いくつかの実施形態では、超音波システムが再構成される場合は常にこれが行われる。しかしながら、内視鏡の待ち時間は、内視鏡のエレクトロニクスが変更されない限り再計算する必要はない。患者は超音波プローブによって撮像され、内視鏡は、外科医のための基準系となる。重要な情報は、内視鏡映像に対する超音波データの動的な関係に含まれており、これは、両方の装置の較正および追跡によって理解される。
【００３１】
次に図１に戻ると、プロセスは（ステップ１２０において）表示装置に患者の標的部位の１つまたは２つ以上の画像を示す。次に、プロセスは（ステップ１２５において）、患者の標的部位の画像上における、患者の標的部位の空間的特徴に関するユーザの指示を受取る。その後、プロセスは（ステップ１３０において）、患者の標的部位の空間的特徴に対する手術器具の位置および方向性に関連する印を、画像上に投影する。
【００３２】
図１に示す手順は、目に見える内視鏡画像を越えた動きで、病変を動的に追跡し標的にする。標的が識別されると、超音波ボリューム内の標的を囲む部分領域は、ボリュームの追跡された方向性と共に基準として格納される。前のボリューム中の標的位置で中心にある、連続して獲得された各超音波ボリュームの部分領域は、基準標的部分領域の方向性を用いて再度サンプリングされる。基準部分領域に対する再度サンプリングされた部分領域の３次元の相互相関は、標的の新たな場所を見つけるのに使用される。この動的な追跡は、時間をかけて個々の標的を追跡し、システムが標的ナビゲーションデータを表示している場合、データは実時間で変化して、内視鏡に対する標的の更新された場所に追随する。
【００３３】
血管構造は、強く、よく区別されたドップラー信号を返す。動的な超音波データは、強度に基づいた不透明度フィルタを使用して実時間で描画されて、非血管性の構造を透明にしてもよい。これは、セグメント化のために計算上必要な変形可能な幾何モデルを必要とすることなく、血管構造を有効に分離するので、システムは、動きおよび変形に実時間で追随することができる。
【００３４】
図１に示す手順は、外科医などのユーザが、選択された標的地点または領域を、術中超音波画像（１つまたは２つ以上の３Ｄ超音波画像）上にマーク付けすることを可能にする。その後、指定された標的地点または領域は外科手術中に外科医に対して表示されて、標的部位に対するツールの位置および方向性を誘導する。いくつかの実施形態では、標的エリアは、（１）患者の標的エリアを表すフィールドを表示することによって、および（２）患者に対するツールの追跡された位置を用いて、表示フィールドにおけるその位置がマーク付けした標的位置に対するツールの相対位置を示す１つまたは２つ以上の印をフィールドに重ね合わせることによって、ユーザに対して表示される。さらに、いくつかの実施形態では、ツールは、標的部位にアクセスするための軌道の位置および方向性を示すために、患者の上にレーザービームを方向付けるレーザポインタを備える。ユーザは、ツールをレーザービームに合わせることによって、この軌道に追随することができる。
【００３５】
ツールが内視鏡である実施形態では、表示された画像は内視鏡で見られる画像であって、印はこの画像上に表示される。印は、ツールが適切に向けられたときに印が等しいサイズになるように、例えば矢印である印の中央点として、ならびに矢印の伸び具合によってその位置からの標的に達するためのツールの方向性として、標的位置を示してもよい。あるいは、印は中に入るための表面点を示してもよく、矢印の伸びは、その表面点から標的に達するための、ツールの方向性と軌道を示してもよい。
【００３６】
いくつかの実施形態では、外科医が、３次元的に再構成された医用画像を重ねられた、患者の解剖学的構造の局所的エリアの外科用内視鏡による視野を視覚化することが可能になる。この３次元ナビゲーションシステムを使用して、外科医は、外科用内視鏡によって手術部位を視覚化しながら、３次元的に再構成された術前ＭＲＩまたはＣＴ画像を介して、患者の解剖学的構造の内部層を調査する。内視鏡の位置および方向性を与えられ、カメラの特性を与えられて、内視鏡によって得られた光学画像と一致する、パースペクティブボリュームレンダリングした画像が描画される。このシステムは、外科医が仮想的に外科手術部位の中およびその周りを飛び回って、代わりとなるアプローチを視覚化し、かつ質的に最良のものを決定することを可能にする。３次元的に再構成された画像は、強度に基づいたフィルタリングおよび直接のパースペクティブボリュームレンダリングを用いて生成され、これは、従来は必要だった高コントラスト画像のセグメント化を不要にする。術中内視鏡画像と一致された、実時間で３Ｄ描画された再構成の放射線画像は、低侵襲性の内視鏡手術における新たな可能性を提供する。血管構造に衝撃を与えることが、内視鏡的処置における最大の危険として残っているので、この新技術は、一般に２Ｄ再構成画像を表示する従来の画像誘導システムを越える顕著な改善を示す。
【００３７】
手術中、および超音波画像を使用する実施形態に関して、ユーザは、標的領域または部位に対応するマーキングを画像上に作成する。このマーキングは、点、線、またはエリアであってもよい。このマーキングから、および患者の座標系中におけるツールの位置を追跡することにより、システムは、超音波画像から識別した標的の位置を示す視覚情報をユーザに提供するように機能する。
【００３８】
図１のプロセス１００を使用するナビゲーションシステムは、３つの別個のモードで作動する。第１のモードは標的識別モードである。外科医が１つまたは２つ以上の対象とする標的領域を見つけ、ターゲティングのためにそれらをマークすることを可能にするために、撮像された超音波ボリュームが表示される。システムは、標的の精密な２Ｄ位置決めのために、インタラクティブな３次元レンダリング、ならびに３つまでのユーザが位置決定可能な直交横断面を示す。
【００３９】
第２のモードにおいて、内視鏡は基準系の位置および方向性を設定するために使用される。これらのパラメータに基づいて、かつ内視鏡の光学特性を用いて、システムは、内視鏡映像に標的のナビゲーションデータを重ねる。これによって、外科医が、内視鏡の視野の可視範囲を越えて対象とする領域を標的とすることが可能になる。表示データは、内視鏡の先端に対する標的領域の方向およびそこまでの距離、ならびにこのデータにおけるエラーの潜在的な範囲を含む。
【００４０】
第３のモードは、内視鏡が正しい位置に置かれた後、実際の介入性処置（生検または切除など）を実行するのに使用される。撮像されたインタラクティブな超音波ボリュームおよび横断面は、各画像上に投影された内視鏡の位置およびその先端による軌道と共に表示される。内視鏡ニードル自体もまた、超音波ディスプレイにおいて目に見える。
【００４１】
ナビゲーションシステムは、内視鏡の先端から放射する単一の固定した２Ｄ超音波面に限定されることなく、介入ツールを病変の中心に配置することを可能にする。（その２Ｄ視野の能力は、超音波横断面を任意に内視鏡に合わせることにより複写することができる。）内視鏡追跡システムの第１の実施では、生検を行うために、磁気センサは動作チャンネルから取り除かれる必要があり、ナビゲーション表示は、その除去の直前に観察された、格納された位置を使用する。別の実施形態では、センサは、較正で適所に配置されるニードルアセンブリに統合される。
【００４２】
ナビゲーションシステムは、内視鏡の位置および方向性の実時間データを提供し、超音波システムは動画像データを提供する。先端位置データは、画像ボリューム中での内視鏡の先端の場所を計算するのに使用され、プローブの方向性データは、レンダリングカメラの位置および方向性を決定するのに使用される。外科医のフィードバックは、ナビゲーションシステムを改善し精密化するために使用される。処置の持続時間および結果は、ナビゲーションおよび画像強化した内視鏡の助けなしにファントム上で実行された、従来の生検処置のものと比較される。
【００４３】
標的が識別されると、いくつかの実施形態は、ボリュームの追跡された方向性と共に、超音波ボリューム中の標的を囲む部分領域を基準として格納する。その後、これらの実施形態は、基準標的部分領域の方向性を使用して、前のボリューム中の標的位置に中心がある、連続して獲得された各超音波ボリュームの部分領域を再度サンプリングする。
【００４４】
いくつかの実施形態は、再度サンプリングされた部分領域と基準部分領域との３次元の相互相関を使用して、標的の新しい場所を見つける。この動的な追跡は、時間をかけて個々の標的を追跡し、システムが標的ナビゲーションデータを表示している場合、データは実時間で変化して、内視鏡に対する標的の更新された場所に追随する。
【００４５】
図２は、本発明のいくつかの実施形態のプロセス２００を示す。図１のプロセス１００と同様に、プロセス２００は患者の体内の所望位置に医療器具を誘導する。図２に示すように、プロセス２００は、最初に（ステップ２０５において）所定の方向性から患者の標的部位の１つまたは２つ以上の２Ｄまたは３Ｄ術中画像を獲得する。次に、プロセスは（ステップ２１０において）患者の標的部位に対する手術器具の位置を追跡する。
【００４６】
プロセスはその後（ステップ２１５において）患者の部位、患者の標的部位、および手術器具の術中画像を、共通の３Ｄ基準座標系内に位置合わせする。次に、プロセスは（ステップ２２０において）表示装置上に患者の標的部位の画像を描画する。プロセスはさらに（ステップ２２５において）画像上で患者の標的部位の空間的特徴（形状および位置）を指定する。その後、そのプロセスは（ステップ２３０において）手術器具の位置および方向性を標的の特徴に対して相関させる。プロセスは（ステップ２３５において）、標的の空間的特徴に対する手術器具の位置および方向性に関連する印（例えば、３次元形状、点、および／または線）を術中画像上に投影する。
【００４７】
図３および図４は、図１および図２に示したプロセスを使用する撮像システムのための代表的なユーザインタフェースを示す。図３は、超音波で機能強化した内視鏡検査のための代表的なユーザインタフェース（ＵＩ）を示す。左側のパネルは、ターゲティングベクトルおよび距離測定値を重ね合わせた内視鏡画像を示す。右側のパネルは、獲得した３Ｄ超音波ボリュームによって再フォーマットされた横断面を示す。図４は、超音波で機能強化した内視鏡検査のための別のＵＩを示す。左側のパネルは、ドップラー撮像によって獲得した仮想ツールの追跡および視覚化ならびに血管系を含む内視鏡画像を示す。右下のパネルは、ボリュームレンダリングした３Ｄ超音波を示す。
【００４８】
図３および図４のＵＩは、超音波データのインタラクティブレンダリングを支援して、ユーザが、超音波画像ボリュームにおいて対象とする所望の領域を発見しマークすることを可能にする。ＵＩは、ユーザが、対象とする標的領域を発見してマークすることを可能にする。血管構造に衝撃を与えることは、内視鏡的処置における重大な危険である。内視鏡画像中で表面組織の後ろにある血管を視覚化することは、血管構造を回避する（反ターゲティング）助けとなるだろう。
【００４９】
図５および図６はそれぞれ、本発明のいくつかの実施形態に従った代表的な外科手術の構成を示す。これらのシステムは、次のことを可能にする。
５００ｍｍ以上の可撓性の内視鏡を１．８ｍｍの位置精度および１°の方向性精度で追跡する。
ほぼ実時間でのナビゲーションのために、外部の３Ｄ超音波画像を獲得し、それらを処理する。
あらゆる再フォーマットされた３Ｄ超音波横断面画像上で、動的に標的を識別できるようにする。
任意に、強度に基づいた不透明度フィルタを用いて描画された動的なドップラー超音波データを、内視鏡画像上に重ねる。
呼吸を止めている間、５ｍｍの精密化された標的精度で、１０ｍｍの全体的な粗い標的精度を提供する。
【００５０】
図５のシステムでは、映像ソース５００（例えば、顕微鏡またはビデオカメラ）が、映像信号５０１を生成するのに使用される。後述するいくつかの実施形態では、映像ソース５００は内視鏡システムである。術中イメージングシステム５０２（例えば、超音波システム）は、術中イメージングデータストリーム１０３を捕捉する。情報は、超音波ディスプレイ５０４上に表示される。
【００５１】
追跡可能な術中イメージングプローブ５０５も、１つまたは２つ以上の追跡可能な手術ツール５０６中に配置される。他のツールは、追跡可能な内視鏡５０７またはあらゆる術中映像ソースを含む。追跡装置５０８は、追跡データストリーム５１０を通信する追跡ワイヤ５０９を有する。ナビゲーションインタフェース５１２を備えたナビゲーションシステム５１１が提供されて、ユーザが、術中ビデオ画像５１３（透視図）を用いて作業を行うことが可能になる。映像ソースがなければこれは削除され得る。
【００５２】
第１のターゲティングマーカー５１４（視野外の標的を指す）ならびに第２のターゲティングマーカー５１５（視野内の標的を指す）を使用することができる。術中画像５１６および病変標的の画像５１７は、正射像５１９（外部の視界）として手術ツールまたは映像ソース５１８（例えば、内視鏡）の仮想表示で示される。さらに、あらゆる任意の３Ｄ形状（解剖学的表現またはツール表現）の画像のオーバレイ５２０も示すことができる。
【００５３】
図６は、別の代表的な手術の設定を示す。図６では、いくつかの赤外線映像カメラが患者の画像を捕らえる。超音波プローブは、患者の体内における超音波センサの位置を決める。その後、内視鏡などの手術ツールが患者の体内で配置される。赤外線映像カメラは、センサの位置をコンピュータに報告し、コンピュータは次に、３Ｄ画像の再構成を生成するワークステーションに収集した情報を転送する。ワークステーションも、データを登録し、操作し、スクリーン上に患者データを視覚化する。ワークステーションはまた、患者の２Ｄ画像を捕捉する超音波機械からデータを受取る。
【００５４】
使用中の可撓性の内視鏡の幾何学形状は絶えず変化するので、内視鏡の先端の視野は、内視鏡の他のある部分に付けられた追跡装置の位置に直接依存しない。これにより、直接の光学的または機械的追跡が排除されるが、これらのシステムは、有用かつ正確である一方、制約されない視線または突出した機械的リンク機構が必要とされるので、体内にある可撓性の装置を追跡する場合に使用することができない。
【００５５】
追跡された内視鏡映像を利用するために、撮像システムの６つの外部パラメータ（位置および方向性）および５つの内部パラメータ（焦点距離、光学的中心座標、アスペクト比、およびレンズの歪み係数）が、内視鏡の先端の姿勢およびその光学特性を決定するために求められる。あらゆる所定の構成に対するこれらのパラメータの値は当初は未知である。
【００５６】
磁気変換器は、内視鏡の先端で動作チャンネルに挿入されて、最適な感知量がセンサの位置範囲を含むように磁界発生器を配置する。この時、金属に対する感度を持たない６つのＤＯＦの小型化された磁気追跡システムが使用されるが、最近の開発により近い将来には改善されたシステムが約束される。
【００５７】
獲得した超音波画像を正しくボリュームデータセットに挿入するために、画像中の各ピクセルの世界座標が決定されなければならない。これは、超音波プローブの精密な追跡ならびに超音波画像の較正を必要とする。現在の較正技術は、３Ｄ超音波システムを使用するたびにそれに先立って実行するには、手間と時間がかかりすぎる。
【００５８】
超音波データを追跡する場合、対象とする領域はプローブ自体から大幅に遠い場合がある。したがって、撮像される領域を発見するのにプローブの方向性が投影される場合、追跡エラーがあればそれが拡大される。
【００５９】
超音波再構成機関の利点の１つは、あらゆる既存の超音波システム構成に適合させることができる点である。この融通性を活用するために、多様なタイプおよびサイズの超音波プローブに対する単純で信頼性のある追跡センサの搭載能力が使用されるが、これは、追跡センサおよび超音波プローブが、較正後に互いに対して固定の位置を維持することが必要なためである。外科医はまた、プローブを、追跡システムおよびそのプローブアタッチメントとは独立に使用したいと考えることがある。
【００６０】
超音波画像から正確なボリュームを再構成するためには、６つの外部パラメータ（位置および方向性）および縮尺などの任意の必要な内部パラメータを精密に評価する必要がある。追跡センサが超音波プローブに搭載されるか、または、イメージング深さあるいは操作頻度などの関連する超音波撮像パラメータのうちのいずれかが修正されるたびに、較正手順が実行されなければならないため、較正手順は、正確なだけでなく単純かつ迅速でなければならない。光学追跡システムは、超音波プローブに付けられる追跡装置の位置および方向性を測定するのに使用される。システムを臨床環境で使用するのに実用的なものにするために、超音波プローブの内部および外部のパラメータの空間的較正が行われる。その後、これらのパラメータは、超音波画像を内視鏡の視野の座標フレームに適切に変換するために使用される。
【００６１】
最初の解決策は、超音波プローブに磁気追跡を使用することである。他の解決策は、光学追跡システムを使用してプローブを追跡することである。追跡装置および対応する万能の取付け金具が配置される。典型的な２Ｄの場合では、獲得したイメージは、映像生成および捕捉プロセスのスケーリングに従う。映像出力は使用されないが、３次元超音波データは直接アクセスされるので、これは問題にならない。３Ｄプローブの内部パラメータは、メーカーによって較正されているので修正されない。組織を模倣する材料の２００＿２００＿２００ｍｍのファントムは、統合ＣＴ可視追跡装置と共に使用される。ファントムの中の３次元すべてに沿って、直径２０ｍｍの、および修正済の音響インピーダンスを備えたＣＴコントラスト材料を含むシリンダおよび立方体が分配される。ファントムは、超音波プローブを用いて撮像されるが、超音波ボリュームと以前に獲得された基準ＣＴ３次元画像との変換は、強度に基づいた厳密な位置決め（２つの画像の強度が値ではなく構造において類似していることが求められる）を使用して計算される。この変換およびファントムの追跡装置の既知の位置は、超音波診断ボリュームと超音波プローブの追跡装置との関係を決定するのに使用される。較正が成功すると、変化しない幾何学形状が必要とされる。ファントムは、変形なしに再配置および処理に耐えるように設計される。ファントムに付けられたクイックリリースクランプは、較正プロセスの間、超音波プローブを保持する。
【００６２】
超音波映像ボリュームにおいて対象となる所望の領域を発見しマークするために、インタフェースは、超音波データのインタラクティブレンダリングを支援する。インタラクティブなナビゲーションシステムは、ユーザが対象となる標的領域を発見しマークする方法を必要とする。呼吸および他の動きは、あらゆる標的の元の場所がシフトする原因となる。標的が動的に追跡されなければ、ナビゲーション情報は時間が経つにつれて質が低下する。超音波の下での通常の生検針の可視性は悪く、血管構造に衝撃を与えることは、内視鏡的処置における重大な危険である。内視鏡画像中で表面組織の後ろにある血管を視覚化することは、それを回避する（反ターゲティング）助けとなると考えられるが、セグメント化は困難で、集中的な計算を要するタスクである。上記のことに対処するため、ナビゲーションシステムは３つの別個のモードで作動する。
【００６３】
第１のモードは標的識別モードである。外科医が１つまたは２つ以上の対象とする標的領域を見つけ、ターゲティングのためにそれらをマークすることを可能にするために、撮像された超音波ボリュームが表示される。システムは、標的の精密な２Ｄ位置決めのために、インタラクティブな３次元レンダリング、ならびに３つまでのユーザが位置決定可能な直交横断面を示す。
【００６４】
第２のモードにおいて、内視鏡は基準系の位置および方向性を設定するために使用される。これらのパラメータに基づいて、かつ内視鏡の光学特性を用いて、システムは、内視鏡映像に標的のナビゲーションデータを重ねる。これによって、外科医が、内視鏡の視野の可視範囲を越えて対象とする領域を標的とすることが可能になる。表示データは、内視鏡の先端に対する標的領域の方向およびそこまでの距離、ならびにこのデータにおけるエラーの潜在的な範囲を含む。
【００６５】
第３のモードは、内視鏡が正しい位置に置かれた後、実際の生検を実行するのに使用される。撮像されたインタラクティブな超音波ボリュームおよび横断面は、各画像上に投影された内視鏡の位置およびその先端による軌道と共に表示される。内視鏡ニードル自体もまた、超音波ディスプレイにおいて目に見える。
【００６６】
このことは、この場合そうであるように、内視鏡の先端から放射する単一の固定した２Ｄ超音波面に限定されることなく、生検針を病変の中心に配置することを支援する。（ただし、その２Ｄ視野の能力は、超音波横断面を任意に内視鏡に合わせることにより複写される。）可撓性のある内視鏡の追跡システムの第１の実施では、生検を行うために、磁気センサは動作チャンネルから取り除かれる必要があり、ナビゲーション表示は、その除去の直前に観察された、格納された位置を使用する。しかしながら、最終的には、センサは較正で適所に配置されるニードルアセンブリに統合される。
【００６７】
標的が識別されると、超音波ボリューム内の標的を囲む部分領域は、ボリュームの追跡された方向性と共に基準として格納される。前のボリューム中の標的位置で中心にある、連続して獲得された各超音波ボリュームの部分領域は、基準標的部分領域の方向性を用いて再度サンプリングされる。基準部分領域に対する再度サンプリングされた部分領域の３次元の相互相関は、標的の新たな場所を見つけるのに使用される。
【００６８】
この動的な追跡は、時間をかけて個々の標的を追跡し、システムが標的ナビゲーションデータを表示している場合、データは実時間で変化して、内視鏡に対する標的の更新された場所に追随する。
【００６９】
血管構造は、強く、よく区別されたドップラー信号を返す。動的な超音波データは、強度に基づいた不透明度フィルタを使用して実時間で描画されて、非血管性の構造を透明にしてもよい。これは、セグメント化のために計算上必要な変形可能な幾何モデルを必要とすることなく、血管構造を有効に分離するので、システムは、動きおよび変形に実時間で追随することができる。遅延が顕著な場合、標的が動くとナビゲーション精度が低下する。実際の生検が実行されるときなど、最適な精度が必要な場合、一時的に動きのない呼吸の停止が必要なことがある。
【００７０】
レンズの歪み補償は、実時間のデータ表示に対して実行されるので、重ねられたナビゲーション表示は下にある内視鏡映像に正確にマッピングする。
【００７１】
超音波マシン自体のディスプレイ上であるが恐らくは異なる空間的場所でだが、新しい超音波ボリュームはその全体で次に最も新しいボリュームに取って代わる。これは、誤解を招きやすい古いデータ、データの期限切れ、制限のないイメージングボリューム、および保持レンダリングデータなどの問題の多いエリアを回避する。代わりに、１つがナビゲーションおよび表示に使用されると同時に他方が更新される、単純なピンポンバッファの対が使用されてもよい。このアプローチの別の利益は、低減された計算の複雑さが、より良好なインタラクティブ性能およびより小さなメモリの設置面積に寄与する点である。
【００７２】
すべてのファントムは、ファントムに関連した試験に対して予測されるシステム誤差の少なくとも４０分の１の許容差で製造される。この不精確度は、仕様に対する顕著な影響なしに総体的なシステム誤差に含められることができるほど十分に小さい。
【００７３】
コンピュータ化された対象物認識および監視は、レーザターゲティングシステムおよび内部の解剖学的マーカーを使用して、超音波からの手術領域の画像を対象物の３Ｄ画像上に重ねるために使用される。３Ｄ画像は、高解像度のＭＲおよびＣＴ画像、ならびにボリューム獲得技術で得られた術中超音波の両方から、ワークステーション内で作成される。システムは、最大の柔軟性および精度を持つ外科医のためのインタラクティブかつ３Ｄの誘導システムを可能にする。これらの技術により、誘導なしの手術と同じツールおよび基本的な処置で、ただしフレームに基づいた定位によって精度が得られ外傷が最小限に抑えられて、手術が実行される。
【００７４】
システムの代表的な手術が、その特徴を説明するために以下に記載される。切除が計画される深部の内部軸にある脳の病変の場合を考える。術前画像を得る前に、患者に４つのマーカーが置かれる。これらは、皮膚に付着された、パントペック（ｐａｎｔｏｐｅｑｕｅ）を充填した球体に包まれた小さな（２ｍｍ以下）発光ダイオードでありえる。パントペックは、オイルベースのヨウ素を含むＸ線造影剤あって、最近まで脊髄撮像に使用されていた。ヨウ素がＣＴ画像上で目に見えるようになる一方、オイルベースはＭＲＩ検査において目に見えるようになる。
【００７５】
病変および重要な周囲の解剖学的構造のイメージング特性（すなわち、石灰化があるか否か、それがガドリニウムで亢進するか否かなど）に応じて、ＣＴまたはＭＲスキャンのいずれか、もしくは両方が実行される。典型的には、高解像度のコントラストが向上したＭＲ画像およびＭＲ血管造影が得られる。画像データは、（病院のコンピュータネットワークを介して）ワークステーションに転送され、ボリュームが描画され、（複数の撮像手段が行われた場合には）融合される。
【００７６】
画像データはセグメント化されて、適切な解剖学的構造上のコンテクストで、選択された内部軸および外部軸の構造ならびに基準点の詳細な視覚化が可能になる。基準マーカー、脳、血管系、および頭皮表面のセグメント化は、全自動である。しかしながら、そのような病変を囲む不規則な解剖学的構造は、現在は、自動的なセグメント化アルゴリズムには予測不能に過ぎるため、病変のセグメント化は、一部のみが自動である。
【００７７】
手術室では、患者は通常の方法で位置付けられる。光学追跡システムは、患者の頭の上方で、その側部に配置される。クロマキー技術は、点滅するマーカーを自動的に識別して、患者の物理的な解剖学的構造を３Ｄ画像データセットに対して自動的かつ連続的に位置合わせし、重ね合わせることを可能にする。クロマキーは、３Ｄ空間中で、既知の周波数を備えた発光する対象物（例えば、患者の頭部に付けられた点滅する発光ダイオード）を独自に検出することを可能にする映像特殊効果技術である。ダイオードマーカーもまた、定位の空間において追跡するために、従来の超音波プローブおよび手術ツール（例えば、プローブ、メス）に加えることができる。クロマキー技術を使用して、マーカーは自動的に認識され、位置合わせされた３Ｄ画像のディスプレイに重ねられる。
【００７８】
超音波プローブ上で３つのマーカーが三角形を形成することによって、それが外科的部位をスキャンする際に動きを追跡することが可能になり、したがってシステムに３次元超音波映像が適用される。患者の解剖学的構造を、術中超音波画像を用いて連続的に術中位置合わせすることは、外科手術中に脳組織が移動および変形するため、非常に重要である。術中に獲得された３Ｄ超音波画像は、次いで、術前ＣＴまたはＭＲ画像の両方の手段で目に見える解剖学的特徴、例えば血管構造および病変を用いて、それらの画像と融合される。さらに、外科装置に表示された画像から伸びる外挿ラインは、計画されたアプローチの軌道を示す。ツールを移動させることは、自動的に、表示された潜在的な軌道の変化につながり、ツール上のＬＥＤの場所によって、ツールの精密な深度および場所の決定が可能になり、それによって、手術部位の深度および場所の精密な決定が可能になる。したがって、このシステムは、直接的かつインタラクティブなタスクに対する低侵襲性のアプローチの計画を単純化するだけでなく、超音波画像を用いて術中画像を更新および位置合わせすることによって、従来のシステムよりも精密である。
【００７９】
さらに、ビデオカメラに基づいた対象物認識システム、レーザターゲティングシステムによって提供される情報は、外科的部位の位置確認をさらに支援し、したがって、再度位置合わせが必要とされるエリアの位置確認によって、位置合わせおよび画像重ね合わせの性能および精度が向上される。この情報は、アプローチに適応して（および所望であればそれと重ねられて）、ワークステーションがコンテクスト内で手術フィールドの実時間３Ｄ画像を自動的に表示することを可能にする。３Ｄ再フォーマットは、ボリューム表示技術を使用し、透明度の瞬間的な変化を可能にする。この技術で、深いならびに表面的な構造がコンテクスト内で見えるようになり、それにより術中誘導が大幅に向上される。
【００８０】
システムソフトウェアは、ユーザインタフェースに対する強化を扱うものと、画像操作および位置合わせのためのアルゴリズムに焦点を合わせたものという、２つの態様を有する。これらのアルゴリズムは、画像セグメント化、３次元の視覚化、画像の融合、および画像の重ね合わせのための手段から成る。一実施形態では、システムは次のものを提供する。
ｉ）手術室での使用を容易にする「ユーザフレンドリーな」インタフェース。
ｉｉ）ワークステーションシステム上でのインタラクティブな画像解析および操作ルーチン（例えば、任意の切断、画像のセグメント化、画像の拡大、および変換）。
ｉｉｉ）光学追跡システム（符号化されたダイオードポインタを備える）とコンピュータのワークステーションとのシームレスなインタフェース。
ｉｖ）ビデオカメラと、光学追跡システム追尾システムおよびワークステーションを備えたレーザターゲティングシステムとのシームレスなインタフェース。
ｖ）試験対象物の表面に置かれたダイオードマーカーを用いて、（ｉｖ）からのビデオ画像を（ｉｉｉ）からの３Ｄデータに重ね合わせる。対象物中におけるポインタの誘導の精度を試験する。
ｖｉ）３Ｄ超音波画像を得るために、超音波プローブを光学追跡システムおよびワークステーションに含める。
ｖｉｉ）超音波プローブ上に置かれたダイオードマーカーを用いて、（ｖｉ）からの３Ｄ超音波画像を（ｉｉｉ）からの３ＤのＭＲ／ＣＴ画像に融合させる。
ｖｉｉｉ）それらの走査後に試験対象物を変形させる。
対象とする領域の直線的変位を使用して、３Ｄ超音波画像の変形を修正するために、試験対象物中におけるポインタの誘導の精度を試験する。試験が進行するに従って試験対象物の複雑性が増大する。
【００８１】
上述した医療システムは多数の利点を有する。例えば、これらのシステムは、内視鏡検査における術中の方向合わせおよび照射線量を向上させ、したがって、外科手術の精度を向上させ、回復期を早めさせて、それにより全体的なコストを削減する。超音波で機能強化した内視鏡検査（ＵＳＥＥ）は、内視鏡画像を越えて、隠れている標的（例えば、管腔周辺の病変）の位置確認を改善する。単一の内視鏡画像上で、これらのシステムのいくつかは、術中超音波画像から計算された指向性の情報およびターゲティング情報を動的に重ね合わせる。磁気追跡および３Ｄ超音波技術は、正確な内視鏡ターゲティングのための、動的な３Ｄ／映像較正および位置合わせアルゴリズムと組み合わせて使用される。ＵＳＥＥで、臨床医は、現在の内視鏡手術に関するのと同じツールおよび基本的処置を使用するが、正確な生検の確率が向上し、異常を完全に切除する可能性が増加する。これらのシステムは、正確な軟組織ナビゲーションを可能にする。システムはまた、術中３Ｄ撮像データの有効な較正と、ビデオ内視鏡画像との有効な相関を提供する。
【００８２】
これらのシステムのいくつかは、外部３Ｄ超音波画像を獲得し、それらをほぼ実時間でナビゲーションのために処理する。これらのシステムは、あらゆる再フォーマットされた３Ｄ超音波横断面上での動的な標的識別を可能にする。処置中に組織が移動または変形すると、システムは、自動的に標的の動きを追跡することができる。これらのシステムは、方向ベクトルの形態で標的の場所を内視鏡画像上に動的にマッピングし、標的までの距離など定量化可能なデータを表示することができる。任意に、システムは、動的な３Ｄ超音波画像上にターゲティング情報を提供することができる。システムは、超音波画像中に、また任意に内視鏡画像中にも、追跡された手術ツールの位置および方向性を仮想的に視覚化することができる。これらのシステムはまた、強度に基づいた不透明度フィルタを用いて描画された動的なドップラー超音波データを、内視鏡画像上に重ねることができる。
【００８３】
本発明を特定の実施例に関して記載してきたが、これらは説明目的のみのものであって制限目的として解釈されるべきではない。本発明は、デジタル電子回路構成の中で、もしくはコンピュータのハードウェア、ファームウェア、ソフトウェア、またはそれらの組み合わせの中で実施されてもよい。本発明の装置は、コンピュータプロセッサで実行するために機械可読の記憶装置内で明確に具体化されたコンピュータプログラム製品に導入されてもよく、本発明の方法ステップは、入力データを操作し出力を生成することによって、本発明の機能を実施するプログラムを実行するコンピュータプロセッサによって実施されてもよい。適切なプロセッサは、一例として、汎用および特定目的のマイクロプロセッサの両方を含む。コンピュータプログラム命令を明確に具体化するのに好適な記憶装置は、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリなどの半導体記憶装置、磁気ディスク（固定のもの、フロッピー、および取外し可能なもの）、テープなどの他の磁気媒体、ＣＤ−ＲＯＭディスクなどの光学媒体、および磁気光学デバイスなどの、すべての形態の不揮発性メモリを含むが、これらに限定されない。上述のいずれも、特別に設計された特定用途向け集積回路（ＡＳＩＣ）または適切にプログラムされたフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって補完されるか、あるいはそこに組み込まれてもよい。
【００８４】
上述の開示、および説明目的でそこに開示された特定の変形および修正から、本発明の概念を、記載されたものとは異なる形態で具体化することができることが、当業者には明白であろうと考えられ、また、本発明はそのようなさらなる変形をも含むことが理解されるであろう。本発明の好ましい形態が図面に示され、そこに記載されているものの、好ましい形態の変形は当業者には明白であろうと考えられるため、本発明は、それら特定の形態に限定されるものと解釈されるべきでない。したがって、本発明の範囲は、特許請求の範囲およびそれらの等価物によって定義される。
【図面の簡単な説明】
【００８５】
【図１】本発明のいくつかの実施形態のシステムの手術の代表的なフローチャートである。
【図２】本発明のいくつかの実施形態のシステムの手術の代表的なフローチャートである。
【図３】本発明のいくつかの実施形態のシステムの代表的なユーザインタフェースディスプレイである。
【図４】本発明のいくつかの実施形態のシステムの代表的なユーザインタフェースディスプレイである。
【図５】システムの１つの態様に従った代表的な操作設定の構成である。
【図６】システムの１つの態様に従った代表的な操作設定の構成である。
【符号の説明】
【００８６】
５００ 映像ソース
５０２ 術中イメージングシステム
５０４ 超音波ディスプレイ
５０５ 術中イメージングプローブ
５０６ 手術ツール
５０７ 内視鏡
５０８ 追跡装置
５１１ ナビゲーションシステム
５１３ 術中ビデオ画像
５１４，５１５ ターゲティングマーカー
【特許請求の範囲】
【請求項１】
医療器具を患者の体内の標的部位に誘導する方法であって、
前記患者の手術中に少なくとも１つの画像を捕捉すること、
捕捉した前記画像上の標的部位の指示をユーザから受取ること、
前記指示に基づいて、基準座標系中の前記患者の標的部位の座標を決定すること、
前記基準座標系中の前記器具の位置を決定すること、
前記基準座標系中の前記器具の視点から表示装置上に視野を投影すること、
前記視野上に、前記器具の位置に対する前記標的部位の位置を指定する印を投影すること、
を含む方法。
【請求項２】
前記視野が前記器具で捕捉した画像を含む、請求項１に記載の方法。
【請求項３】
前記医療器具が内視鏡であって、前記表示装置上に投影される前記視野が前記内視鏡によって見られる画像である、請求項１に記載の方法。
【請求項４】
前記表示装置上に投影される前記視野が、規定の視野を有する前記医療器具の末口の位置および方向性から見たものである、請求項１に記載の方法。
【請求項５】
前記表示装置上に投影される前記視野が、前記医療器具の末口位置で見た前記標的とは異なる、前記器具の軸線に沿った位置から見たものである、請求項１に記載の方法。
【請求項６】
前記標的部位が点として指定され、前記印が前記標的部位内の点の位置を示す幾何パターンに構成される、請求項１に記載の方法。
【請求項７】
前記標的部位が前記患者の体内の空間的領域である、請求項１に記載の方法。
【請求項８】
前記空間的領域がエリアを有し、前記印が示される前記エリアの境界を画定する幾何パターンに構成される、請求項７に記載の方法。
【請求項９】
前記空間的領域が体積を有し、前記印が示される前記体積の境界を画定する幾何パターンに構成される、請求項７に記載の方法。
【請求項１０】
前記座標を決定することが、前記基準座標系中の前記標的部位の３次元座標を決定することである、請求項１に記載の方法。
【請求項１１】
前記器具および前記標的部位の前記位置が少なくとも２組の印によって指定される、請求項１に記載の方法。
【請求項１２】
印の間の間隔が前記標的部位からの前記器具の距離を示す、請求項１１に記載の方法。
【請求項１３】
個々の前記印のサイズが前記標的部位からの前記器具の距離を示す、請求項１１に記載の方法。
【請求項１４】
個々の前記印の形状が前記標的部位からの前記器具の距離を示す、請求項１１に記載の方法。
【請求項１５】
前記印のサイズが前記器具の方向性を示す、請求項１１に記載の方法。
【請求項１６】
前記印の形状が前記器具の方向性を示す、請求項１１に記載の方法。
【請求項１７】
前記示すことが、前記第１に示された標的部位と共に、前記表示画像上の外科手術軌道を画定する第２の標的部位を各画像上で示すことを含む、請求項１に記載の方法。
【請求項１８】
前記器具を使用して、前記示された標的部位と共に前記表示画像上の外科手術軌道を画定する、患者の表面領域上の入口点を示すことをさらに含む、請求項１に記載の方法。
【請求項１９】
前記表示画像上の前記外科手術軌道が、１組が前記第１に示された標的部位に対応し、第２の組が前記第２の標的部位による２組の印で示される、請求項１１または１２に記載の方法。
【請求項２０】
前記表示画像上の前記外科手術軌道が、その末端領域で前記第１に示された標的部位および前記第２の標的部位もしくは示された入口点によって画定される幾何学的物体で示される、請求項１１または１２に記載の方法。
【請求項２１】
前記印が前記表示された視野内に所定の状態で置かれるまたは保持されるように前記器具を移動させることにより、前記器具を前記標的部位に向けて移動させることをさらに含む、請求項１に記載の方法。
【請求項２２】
前記器具の方向性を決定することをさらに含む、請求項１に記載の方法。
【請求項２３】
ユーザが医療器具を患者の体内の標的部位に誘導することを支援するために設計されたシステムであって、前記システムは、
（ａ）手術中に患者の画像を生成するための撮像装置と、
（ｂ）基準座標系中の前記医療器具および前記撮像装置の位置を追跡するための追跡システムと、
（ｃ）ユーザが前記画像上の標的部位を示すことを可能にするためのインジケータと、
（ｄ）表示装置と、
（ｅ）前記追跡システム、前記表示装置、および前記インジケータに動作可能に接続されたコンピュータと、
（ｆ）コンピュータ可読コードと、
を備え、前記コードが、前記コンピュータの動作を制御するのに使用されたときに、
（ｉ）前記インジケータを用いて、前記ユーザによって示された標的部位の空間的情報を前記画像上に記録するステップと、
（ｉｉ）前記画像上に示された前記標的部位の前記空間的情報から、基準座標系中の前記標的部位の３Ｄ座標を決定するステップと、
（ｉｉｉ）前記基準座標系中の前記器具の位置を追跡するステップと、
（ｉｖ）前記基準座標系中の前記ツールの既知の位置から見える視野を表示装置上に投影するステップと、
（ｖ）前記既知の位置に対する前記標的部位の前記空間的情報をその状態が示す印を、前記表示された視野上に投影するステップと、
を実行するように動作可能なシステム。
【請求項２４】
前記印の状態が、前記既知の位置に対してだけでなく前記ツールの既知の方向性に対する前記標的部位の前記空間的情報を示す、請求項２３に記載のシステム。
【請求項２５】
前記ユーザが、前記印の状態を観察することにより、前記印が前記表示された視野内に所定の状態で置かれるまたは保持されるように前記器具を移動させることで、前記器具を前記標的部位に向けて誘導することができる、請求項２３に記載のシステム。
【請求項２６】
ユーザが医療器具を患者の体内の標的部位に誘導することを支援するために設計されたコンピュータプログラムを格納するコンピュータ可読媒体であって、前記コンピュータプログラムが、
前記患者の手術中に少なくとも１つの画像を捕捉する命令セットと、
捕捉した前記画像上の標的部位の指示をユーザから受取る命令セットと、
前記指示に基づいて、基準座標系中の前記患者の標的部位の座標を決定する命令セットと、
前記基準座標系中の前記器具の位置を決定する命令セットと、
前記基準座標系中の前記器具の視点から前記表示装置上に視野を投影する命令セットと、
前記視野上に、前記器具の位置に対する前記標的部位の位置を指定する印を投影する命令セットと、
を含むコンピュータ可読媒体。
【請求項１】
医療器具を患者の体内の標的部位に誘導する方法であって、
前記患者の手術中に少なくとも１つの画像を捕捉すること、
捕捉した前記画像上の標的部位の指示をユーザから受取ること、
前記指示に基づいて、基準座標系中の前記患者の標的部位の座標を決定すること、
前記基準座標系中の前記器具の位置を決定すること、
前記基準座標系中の前記器具の視点から表示装置上に視野を投影すること、
前記視野上に、前記器具の位置に対する前記標的部位の位置を指定する印を投影すること、
を含む方法。
【請求項２】
前記視野が前記器具で捕捉した画像を含む、請求項１に記載の方法。
【請求項３】
前記医療器具が内視鏡であって、前記表示装置上に投影される前記視野が前記内視鏡によって見られる画像である、請求項１に記載の方法。
【請求項４】
前記表示装置上に投影される前記視野が、規定の視野を有する前記医療器具の末口の位置および方向性から見たものである、請求項１に記載の方法。
【請求項５】
前記表示装置上に投影される前記視野が、前記医療器具の末口位置で見た前記標的とは異なる、前記器具の軸線に沿った位置から見たものである、請求項１に記載の方法。
【請求項６】
前記標的部位が点として指定され、前記印が前記標的部位内の点の位置を示す幾何パターンに構成される、請求項１に記載の方法。
【請求項７】
前記標的部位が前記患者の体内の空間的領域である、請求項１に記載の方法。
【請求項８】
前記空間的領域がエリアを有し、前記印が示される前記エリアの境界を画定する幾何パターンに構成される、請求項７に記載の方法。
【請求項９】
前記空間的領域が体積を有し、前記印が示される前記体積の境界を画定する幾何パターンに構成される、請求項７に記載の方法。
【請求項１０】
前記座標を決定することが、前記基準座標系中の前記標的部位の３次元座標を決定することである、請求項１に記載の方法。
【請求項１１】
前記器具および前記標的部位の前記位置が少なくとも２組の印によって指定される、請求項１に記載の方法。
【請求項１２】
印の間の間隔が前記標的部位からの前記器具の距離を示す、請求項１１に記載の方法。
【請求項１３】
個々の前記印のサイズが前記標的部位からの前記器具の距離を示す、請求項１１に記載の方法。
【請求項１４】
個々の前記印の形状が前記標的部位からの前記器具の距離を示す、請求項１１に記載の方法。
【請求項１５】
前記印のサイズが前記器具の方向性を示す、請求項１１に記載の方法。
【請求項１６】
前記印の形状が前記器具の方向性を示す、請求項１１に記載の方法。
【請求項１７】
前記示すことが、前記第１に示された標的部位と共に、前記表示画像上の外科手術軌道を画定する第２の標的部位を各画像上で示すことを含む、請求項１に記載の方法。
【請求項１８】
前記器具を使用して、前記示された標的部位と共に前記表示画像上の外科手術軌道を画定する、患者の表面領域上の入口点を示すことをさらに含む、請求項１に記載の方法。
【請求項１９】
前記表示画像上の前記外科手術軌道が、１組が前記第１に示された標的部位に対応し、第２の組が前記第２の標的部位による２組の印で示される、請求項１１または１２に記載の方法。
【請求項２０】
前記表示画像上の前記外科手術軌道が、その末端領域で前記第１に示された標的部位および前記第２の標的部位もしくは示された入口点によって画定される幾何学的物体で示される、請求項１１または１２に記載の方法。
【請求項２１】
前記印が前記表示された視野内に所定の状態で置かれるまたは保持されるように前記器具を移動させることにより、前記器具を前記標的部位に向けて移動させることをさらに含む、請求項１に記載の方法。
【請求項２２】
前記器具の方向性を決定することをさらに含む、請求項１に記載の方法。
【請求項２３】
ユーザが医療器具を患者の体内の標的部位に誘導することを支援するために設計されたシステムであって、前記システムは、
（ａ）手術中に患者の画像を生成するための撮像装置と、
（ｂ）基準座標系中の前記医療器具および前記撮像装置の位置を追跡するための追跡システムと、
（ｃ）ユーザが前記画像上の標的部位を示すことを可能にするためのインジケータと、
（ｄ）表示装置と、
（ｅ）前記追跡システム、前記表示装置、および前記インジケータに動作可能に接続されたコンピュータと、
（ｆ）コンピュータ可読コードと、
を備え、前記コードが、前記コンピュータの動作を制御するのに使用されたときに、
（ｉ）前記インジケータを用いて、前記ユーザによって示された標的部位の空間的情報を前記画像上に記録するステップと、
（ｉｉ）前記画像上に示された前記標的部位の前記空間的情報から、基準座標系中の前記標的部位の３Ｄ座標を決定するステップと、
（ｉｉｉ）前記基準座標系中の前記器具の位置を追跡するステップと、
（ｉｖ）前記基準座標系中の前記ツールの既知の位置から見える視野を表示装置上に投影するステップと、
（ｖ）前記既知の位置に対する前記標的部位の前記空間的情報をその状態が示す印を、前記表示された視野上に投影するステップと、
を実行するように動作可能なシステム。
【請求項２４】
前記印の状態が、前記既知の位置に対してだけでなく前記ツールの既知の方向性に対する前記標的部位の前記空間的情報を示す、請求項２３に記載のシステム。
【請求項２５】
前記ユーザが、前記印の状態を観察することにより、前記印が前記表示された視野内に所定の状態で置かれるまたは保持されるように前記器具を移動させることで、前記器具を前記標的部位に向けて誘導することができる、請求項２３に記載のシステム。
【請求項２６】
ユーザが医療器具を患者の体内の標的部位に誘導することを支援するために設計されたコンピュータプログラムを格納するコンピュータ可読媒体であって、前記コンピュータプログラムが、
前記患者の手術中に少なくとも１つの画像を捕捉する命令セットと、
捕捉した前記画像上の標的部位の指示をユーザから受取る命令セットと、
前記指示に基づいて、基準座標系中の前記患者の標的部位の座標を決定する命令セットと、
前記基準座標系中の前記器具の位置を決定する命令セットと、
前記基準座標系中の前記器具の視点から前記表示装置上に視野を投影する命令セットと、
前記視野上に、前記器具の位置に対する前記標的部位の位置を指定する印を投影する命令セットと、
を含むコンピュータ可読媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公表番号】特表２００７−５３１５５３（Ｐ２００７−５３１５５３Ａ）
【公表日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願番号】特願２００６−５３６８１８（Ｐ２００６−５３６８１８）
【出願日】平成１６年１０月２１日（２００４．１０．２１）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０３５０２４
【国際公開番号】ＷＯ２００５／０４３３１９
【国際公開日】平成１７年５月１２日（２００５．５．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０６１３８０６３）ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニヴァーシティ (2)
【出願人】（３０６０４７７４５）
【Ｆターム（参考）】
【公表日】平成１９年１１月８日（２００７．１１．８）
【国際特許分類】
【出願日】平成１６年１０月２１日（２００４．１０．２１）
【国際出願番号】ＰＣＴ／ＵＳ２００４／０３５０２４
【国際公開番号】ＷＯ２００５／０４３３１９
【国際公開日】平成１７年５月１２日（２００５．５．１２）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５０６１３８０６３）ザ ボード オブ トラスティーズ オブ ザ リーランド スタンフォード ジュニア ユニヴァーシティ (2)
【出願人】（３０６０４７７４５）
【Ｆターム（参考）】
[ Back to top ]