外科的介入のための臨床上重要な解剖学的標識点の視覚的追跡／アノテーション
外科的介入のための視覚的追跡／アノテーションシステムが、注目の手術領域の画像ストリームおよび注目の手術領域に近接する外科器具の画像ストリームを取得し、取得された画像をユーザに対して表示するように構成された画像取得表示システムと、外科器具を注目の手術領域に対して追跡するように構成された追跡システムと、画像取得表示システムおよび追跡システムと通信するデータ記憶システムと、データ記憶システム、画像取得表示システム、および追跡システムと通信するデータ処理システムとを含む。データ処理システムは、ユーザからの入力信号に応答して、ユーザに対して表示される画像にアノテートするように構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２００９年１０月３０日に出願された米国特許仮出願第６１／２５６，５３１号の優先権を主張するものであり、その内容を参照により本明細書に組み込む。
【０００２】
本発明は、米国保健社会福祉省、ＮＩＨによって授与された助成番号１Ｒ０１ ＥＢ ００７９６９−０１およびＮＳＦによって授与された助成番号ＥＥＣ−９７３１４７８の政府支援と共になされた。米国政府は、本発明におけるある種の権利を有する。
【０００３】
本発明の現在特許請求されている実施形態の分野は、外科的処置中に情報を取得し表示するシステムおよび方法に関し、より詳細には、外科器具の視覚的追跡および表示された情報のアノテーションを含む、情報を取得し表示するシステムおよび方法に関する。
【背景技術】
【０００４】
現在、外科医は、小さい組織領域で手術するために、いくつかの術中診断、手術、および／または処置デバイス、たとえば腹腔鏡下超音波および／またはＲＦ切除デバイスを使用する。外科医は、ビデオフィードを介して、解剖学的構造に対してデバイスの位置を観察する。診断器具の場合、外科医は、この位置と撮像結果に留意し、時間の経過につれてこの位置を解剖学的構造と共に追跡しなければならない。外科医は、時間の経過につれて、介入または検査のために特定の解剖学的構造を再訪したいと望むことがある。外科医が、特定の領域に関連付けられた以前の診断画像の位置または内容について思い出せない、または確信がもてない場合、診断デバイスを手術野に再導入しなければならない可能性があり、これは時間がかかる。手術デバイスの場合、外科医は、すでに処置済みの領域をいくつかの可視の標識点（ｌａｎｄｍａｒｋ）に対してマッピングしなければならない。これは、処置が目標組織の内側であり、組織の外観を変えないとき困難である。位置を外すこと、余分に処置した位置、または誤った処置位置は、回避すべきである。外科医は、いくつかの解剖学的領域を選んで検査または処置することがあり、これらの領域は、たとえば１０個の標識点で点在する可能性がある。これは、すでに厄介な低侵襲手技において外科医の認知的負荷を増す。さらに、解剖学的構造は、自然に、または介入それ自体により変形または変色することがあり、それにより関連の標識点および関連の術中情報を追跡することがますます困難になる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
たとえば硝子体網膜手術の場合、網膜を眼内撮像プローブで調べることは非常にまれであった。しかし、新しいリアルタイム術中撮像モダリティ（グリン（ＧＲＩＮ）レンズ内視鏡、分光法、超音波、光干渉断層法（ＯＣＴ））の発見と共に、互換のプローブおよび多機能器具、新しい外科技術が可能となり得る。これらの新しい技術は、組織を非常に近距離かつ非常に小さい容積で撮像する。得られるデータは点在しており、顕微鏡視界内で対応する解剖学的位置を用いて複数のスキャンまたは画像を追跡することを外科医に要求するものであり、これは、すでに厄介な外科作業に著しい認知的負荷を加える。これは、外科的処置により変わる解剖学的構造、出血、生物マーカ、視野内の膨化や固有の変化、照明方法および／または照明方向、ならびに眼内液状態でより困難なものになり得る。
【０００６】
したがって、外科的介入のための改善された視覚的追跡／アノテーションシステムおよび方法が依然として求められている。
【課題を解決するための手段】
【０００７】
本発明のいくつかの実施形態による外科的介入のための視覚的追跡／アノテーションシステムは、注目の手術領域の画像ストリームおよび注目の手術領域に近接する外科器具の画像ストリームを取得し、取得された画像をユーザに対して表示するように配置された画像取得表示システムと、外科器具を注目の手術領域に対して追跡するように構成された追跡システムと、画像取得表示システムおよび追跡システムと通信するデータ記憶システムと、データ記憶システム、画像取得表示システム、および追跡システムと通信するデータ処理システムとを有する。データ処理システムは、ユーザからの入力信号に応答して、ユーザに対して表示される画像にアノテートするように構成される。
【０００８】
本発明のいくつかの実施形態による外科的介入のための視覚的追跡／アノテーション方法は、注目の手術領域の画像および注目の手術領域に近接する外科器具の画像を取得するステップと、外科器具を注目の手術領域に対して追跡するステップと、注目の手術領域および外科器具を表示するステップとを含む。表示するステップは、ユーザからの入力信号に応答して追加されるアノテーションを含む。
【０００９】
本発明のいくつかの実施形態によるコンピュータ可読媒体は、外科的介入のための視覚的追跡／アノテーションのためのソフトウェアの非一時記憶を含み、ソフトウェアは、コンピュータシステムによって実行されたとき、注目の手術領域の画像データおよび注目の手術領域に近接する外科器具の画像データを処理し、注目の手術領域の画像および外科器具の画像を提供すること、画像データを処理し、外科器具を注目の手術領域に対して追跡すること、画像データおよびユーザからの入力信号を処理し、画像にアノテートすること、および注目の手術領域および外科器具の画像をアノテーションと共に表示することを含む。
【発明の効果】
【００１０】
本発明によれば、データ処理システムは、ユーザからの入力信号に応答して、ユーザに対して表示される画像にアノテートするように構成したので、組織上に投射されるレーザ光を使用し、視覚的追跡を容易にすることができ又はユーザ対話性を改善することができ、また、器具の本体に対するセンサの位置が既知であるため、そのセンサ位置を器具追跡を介して追跡することができる。
【図面の簡単な説明】
【００１１】
他の目的および利点は、説明、図面、および実施例の考察から明らかになろう。
【００１２】
【図１】本発明の一実施形態による外科的介入のための視覚的追跡／アノテーションシステムの概略図である。
【図２】本発明の一実施形態による外科的介入のための視覚的追跡／アノテーションシステムに関する表示画像の一例の図である。
【図３】本発明の一実施形態による外科器具の一実施形態の図である。
【図４】本発明の一実施形態による一体型光ファイバＯＣＴプローブ付き顕微手術用ピックのＣＡＤ側面図（左上）、実際のプロトタイプの写真（左下）、およびそのプロトタイプを使用したあるサンプルのＡスキャンデータ（右）である。
【図５】左側は本発明の一実施形態による外科システムの概略図である。右側は、軸方向ＯＣＴスキャンデータである。
【図６】本発明の一実施形態による外科器具の概略図である。
【図７】本発明の一実施形態による外科器具および手持ち式ロボットを含む外科システムの図である。
【図８】本発明の一実施形態による外科システムの概略図である。
【発明を実施するための形態】
【００１３】
以下、本発明のいくつかの実施形態について詳細に論じる。実施形態について述べる際には、わかりやすいように特定の術語が使用される。しかし、本発明は、そのように選択された特定の術語に限定されないものとする。本発明の広い概念から逸脱することなしに、他の均等な構成要素を使用することができ、他の方法を開発することができることを、当業者なら理解するであろう。本明細書のどこで引用される参照もすべて、参照により、それぞれが個々に組み込まれているかのように組み込まれる。
【００１４】
本発明のいくつかの実施形態は、手術中に収集される外科関連データを、オーバーレイアノテーション（ａｎｎｏｔａｔｉｏｎ：注釈）が付加されたビデオとして表示するためのシステムおよび方法を対象とする。術中の撮像および／または処置情報を、術中ビデオ内の対応する解剖学的標識点の位置に位置登録し、そのビデオ内で時間の経過につれて様々な表現で追跡および可視化することができる。さらに、外部器具追跡システムおよび／またはロボットをも本発明のいくつかの実施形態に従って含めることができる。この場合、それらをビデオシステムに位置登録する必要があり得る。本発明のいくつかの実施形態によるシステムは、手術ビデオの視野内で見える任意の器具と共に使用することができる。単純な場合には、器具は、関心領域をペイントするために使用され、次いでその関心領域が後続のビデオ内で追跡されるポインティングデバイスとすることができる（テレストレーション）。より複雑な場合には、器具は、超音波、分光法プローブ、酸素化（ｏｘｙｇｅｎａｔｉｏｎ）センサ、光干渉断層法、共焦点顕微鏡検査、内視鏡、ＧＲＩＮ内視鏡、神経機能測定、自発蛍光、または介入的処置デバイス、たとえばＲＦ肝切除レーザ、電気刺激、冷凍切除など、任意の術中診断および／または撮像デバイスとすることができる。これらのデバイスからの情報は、その情報が収集された位置、または処置の場合にはその情報が適用された位置にリンクさせることができる。この情報は、たとえばリアルタイム手術ビデオフィードと同じ画面内でピクチャ・イン・ピクチャとして、または別個の画面上で表示することができる。
【００１５】
個々のアノテーションは、セットに追加することも、外科医が除去することもできる。アノテーションは、それらの時間的性質、それらの関連付けられた解剖学的構造が見えるかどうか（器具からの閉塞）、手技による変形、またはある量の自然の変化に応じて、いくつかの状態を有することができる。これらの状態は、色、強度、視認性、またはテキスト形式アノテーションで表すことができる。アノテーションそれ自体は、点、線、領域、体積、テキスト形式アノテーション、器具の形状に対応する画像、または撮像領域もしくは容積の形状という形態にあることができる。これらのアノテーションは、標識点、組織タイプ（術中撮像それ自体からの調査中または処置中の組織の、基礎となる特性）、またはデバイスタイプに基づいて、特別なものか、それともコンテキスト的なものか、固有の関係を生み出すことができる。本発明のいくつかの実施形態では、複数のデバイスからの情報に、同じビデオ上でアノテートすることができる。
【００１６】
本発明のいくつかの実施形態は、ペダル、コンピュータマウス、タッチスクリーン、音声認識入力など、ユーザインターフェースを含むことができ、または使用中の器具上のセンサ活動レベルにリンクさせることができる。いくつかの実施形態では、ビデオ内の器具のジェスチャ認識を含めることができる。さらに、本発明の一実施形態によれば、ビデオ内の器具位置追跡により、システムは、単純なセンサから、より豊富な情報を提供することができる。本発明の一実施形態は、システムがＡスキャンとビデオ器具追跡モジュールからの対応するポーズ推定とからＢスキャン画像を作成する術中ＯＣＴを含むことができる。さらに、実施形態は、そのような手法を、たとえば容積Ｃスキャンのような情報表現に拡張することができる。
【００１７】
本発明のいくつかの態様は、それだけには限らないが以下を含む。すなわち、
１．アノテーションが、画像ストリーム（ビデオ）にわたって解剖学的構造に対して取得される。発明者らは、解剖学的構造（すなわち臓器）上の位置に、センサストリームデータでアノテートする。
２．「情報融合」：センサデータは、ビデオまたは空間的に追跡されるポーズシーケンスにわたって、解剖学的構造に対して相関することができる時系列データである。関心領域の上を移動するセンサ位置を追跡することができ、この時間同期された器具位置を、器具センサデータストリームと組み合わせ、ビデオシーケンスにわたって画像を作成することができる。たとえば、Ａスキャンは、Ｂスキャンおよび／またはＭスキャンデータに変換される。
３．アノテーションの見直しは、ユーザがアノテーションと対話することを必要とすることができる。単純な対話は、「アクティブな」アノテーションを、追跡される器具または他の入力（音声、ペダルなど）でポイントすることによって選択することを必要とすることができる。より複雑な対話は、器具がアノテーションそれ自体内のどこにあるか示すことができる。
４．センサストリームを、複数のビデオ画像シーケンスにわたって相関することができる。
【００１８】
図１は、本発明の一実施形態による外科的介入のための視覚的追跡／アノテーションシステム１０の概略図を提供する。視覚的追跡／アノテーションシステム１０は、注目の手術領域の画像ストリームおよび注目の手術領域に近接する外科器具の画像ストリームを取得し、取得された画像をユーザに対して表示するように配置された画像取得表示システム１２を含む。画像取得表示システム１２は、それだけには限らないが、たとえば手術顕微鏡、ならびに内視鏡および／またはビデオカメラなど、光学構成要素を含むことができる。また、画像取得表示システム１２は、それだけには限らないがビデオディスプレイまたはヘッドマウントディスプレイなど、１つまたは複数のディスプレイを含むことができる。視覚的追跡／アノテーションシステム１０はまた、外科器具を注目の手術領域に対して追跡するように構成された追跡システム１４と、画像取得表示システム１２および追跡システム１４と通信するデータ記憶システム１６と、データ記憶システム１６、画像取得表示システム１２、および追跡システム１４と通信するデータ処理システム１８とを含む。データ処理システム１８は、たとえば、特定の応用例に望ましいようにローカルのもの、クラスタ化されたもの、および／または分散されたものとすることができる１つまたは複数のパーソナルコンピュータのプロセッサを含むことができる。追跡システム１４は、本発明のいくつかの実施形態においてコンピュータに実装することができ、従来使用可能な画像認識および追跡アルゴリズムを使用することができる。いくつかの実施形態では、追跡システムは、データ処理システム１８に実装することができ、または、他の実施形態では別個のシステムとすることができる。データ記憶システム１６は、特定の応用例に従って、多種多様な使用可能なデータ記憶装置の１つまたは複数から選択することができる。データ処理システム１８は、ユーザからの入力信号に応答して、ユーザに対して表示される画像にアノテートするように構成される。
【００１９】
また、視覚的追跡／アノテーションシステム１０は、本発明のいくつかの実施形態によれば、データ処理システムと通信し、入力信号を提供するユーザ入力デバイス２０を含むことができる。入力デバイス２０は、本発明のいくつかの実施形態によれば、それだけには限らないが１つまたは複数のペダル、キーパッド、スイッチ、マイクロフォン、視標追跡システム、または外科器具とすることができる。
【００２０】
本発明のいくつかの実施形態では、データ処理システム１８は、外科器具の位置または形跡（ｔｒａｃｋ）の少なくとも１つを含めるように、ユーザに対して表示される画像にアノテートするように構成することができる。図２は、本発明の一実施形態による、Ａ、Ｂ、Ｃのラベルが付けられた３つのＯＣＴ経路でアノテートされた画像の一例を示す。また、図２は、外科器具をユーザが配置したことに応答して表示されたＯＣＴ Ｍモードデータのピクチャ・イン・ピクチャを示す。これは、本発明の様々な実施形態に含めることができる多種多様な、可能なアノテーションの一例にすぎない。本発明の広い概念は、この特定の例に限定されない。いくつかの実施形態では、データ処理システム１８は、外科器具の位置に対応する、データ記憶システムからの情報を表示するように、ユーザに対して表示される画像にアノテートするように構成することができる。たとえば、図２におけるＭモードデータは、ＯＣＴデバイスを用いてスキャンすることによって取り込まれており、そのＯＣＴデバイスが、以前にスキャンされた経路の上に配置されたとき表示されるようにデータ記憶システム１６から呼び出されたものである。
【００２１】
本発明のいくつかの実施形態では、ユーザ入力デバイス２０は、追跡システムによって追跡するのに適した外科器具とすることができる。この外科器具は、注目の手術領域の局所的な位置に関するデータストリームを提供するように構成および配置されたセンサシステムを含むことができ、外科器具によって取得されたデータを、後で取り出すために保存することができるように、データ記憶システムと通信することができる。本発明のいくつかの実施形態では、センサシステムは、光センサシステム、超音波センサシステム、または力覚システムのうちの少なくとも１つを含むことができる。
【００２２】
本発明のいくつかの実施形態による外科器具は、単一の器具に一体化された同時撮像および外科的介入機能を可能にすることができる。光センサに対する器具の位置合わせは、本発明の一実施形態によれば、光センサの視野内に見える器具の基準部分によって行うことができる。さらに、本発明の他の実施形態によれば、撮像容積の増大、複数の撮像方向、解像度の向上のために、または同時マルチモーダル撮像機能のための他のタイプの撮像を実現するために、複数の撮像プローブを器具に一体化することができる。複数の撮像ポイントプローブ（マルチコアファイバまたはマルチファイバ束）は、いくつかの実施形態では、光センサに対する器具先端の位置合わせを改善することができる。
【００２３】
本発明の一実施形態による外科器具１００が図３に示されている。そのような外科器具は、本発明のいくつかの実施形態によれば、ユーザ入力デバイス２０として使用することができる。外科器具１００は、近位端１０４および遠位端１０６を有する手術器具１０２と、少なくとも一部分が手術器具１０２に取り付けられた光センサとを含む。図３では、直接見えない光ファイバが、手術器具１０２内の管腔に沿って通り、手術器具１０２に取り付けられる。光ファイバは、保護ケーブル１０８内に封入され、保護ケーブル１０８は、この例では標準的なファイバカプラを有する。図４でより明確にわかるように、手術器具１０２は、手術器具１０２の基準部分１１２を形成するのに適した一部分を有する。光センサ１１４（図５参照）は、手術器具１０２の基準部分１１２に対して固定された端部１１６を有し、その結果、使用中に手術器具１０２の遠位端１０６に近接する、または遠位端１０６と接触する組織１１８と共に手術器具１０２の基準部分１１２を検出することができる。
【００２４】
図３の例では、外科器具１００は、ファイバカプラ１１０を介して光センサの残りの部分に接続させることができる光センサの一部分と共に示されている。図５の例では、光センサ１１４は、光干渉断層法（ＯＣＴ）システムである。他の実施形態では、本発明の広い概念の中で、複数のＯＣＴまたは他のタイプの光センサを外科器具１００内に含めることができる。さらに、図３ないし図５の例に示されているように光センサ１１４の大部分を器具の外に設けることが多数の応用例にとって有利となり得るが、本発明の広い概念は、１つまたは複数のセンサ全体が手術器具内に含まれる実施形態をも含む。図５の実施形態における光干渉断層法システムは、光センサ１１４の固定された端部１１６を提供するシングルモード光ファイバを含み、このシングルモード光ファイバは、光を手術器具１０２の基準部分１１２と、手術器具１０２の遠位端１０６に近接する、または遠位端１０６と接触する組織１１８とに向けて送り、手術器具１０２の基準部分１１２および組織１１８から反射されて戻る光を検出し、組織１１８の選択された部分に対する手術器具１０２の遠位端１０６の相対距離に関する情報をもたらすように構成される。「反射されて戻る」という用語は、光が反射されて戻る限り、鏡面反射ならびに散乱などを含むように広い意味を有するものとする。さらに、「光」という用語は、可視光も、赤外（ＩＲ）光および紫外光など人に見えない光も含むように広い意味を有するものとする。本発明のいくつかの実施形態では、ＯＣＴシステムは、たとえばＩＲ光源を利用し、可視光より著しく深い、組織内への侵入度を実現することができる。本発明のいくつかの実施形態は、たとえばＯＣＴシステム内に広帯域光源を含むことができる（図６参照）。しかし、本発明の一般的な概念は、光センサ１１４に使用される特定のタイプの光源に限定されない。周波数領域ＯＣＴ検出システムが本発明のいくつかの特定の応用例に適していることが判明しているが、本発明の一般的な概念は、時間領域ＯＣＴシステムの使用を排除しない。さらに、光センサのいくつかの実施形態は、光源なしで、その代わりに周囲光源または外部光源に依存することができる。
【００２５】
代替として、または光センサ１１４として示されているＯＣＴシステムに加えて、光センサ１１４は、ビジュアルイメージングシステムとすることも、それを含むこともできる。たとえば、光学イメージングシステムは、光ファイバまたは光ファイバの束を含み、手術器具１０２の基準部分１１２と、手術器具１０２の遠位端１０６に近接する、または遠位端１０６と接触する組織１１８とを同時に撮像することができる。いくつかの実施形態では、手術器具１０２は、たとえば眼の手術で使用するのに適したピックとすることができる。しかし、本発明の一般的な概念は、特定のタイプの手術器具に限定されない。それだけには限らないがピック、鉗子、ナイフ、光配信デバイス、はさみ、注射器、硝子体切除器具、または他の顕微手術器具など、手術器具１０２に適した広範なタイプの手術器具を想像することができる。外科器具は、図５の外科システム２００によって示されているもの、または図７に示されている手持ち式ロボット３００など、ロボットシステムに組み込まれるように適合することができる。本発明の一実施形態では、組織上に投射されるレーザ光を使用し、視覚的追跡を容易にする、またはユーザ対話性を改善することができる。いくつかの実施形態では、器具の本体に対するセンサの位置が既知であり、その結果、そのセンサ位置を器具追跡を介して追跡することができる。
【００２６】
図８は、本発明の一実施形態による視覚的追跡／アノテーションシステムを含むことができる外科システム４００の概略図である。外科システム４００は、外科器具４０２と、外科器具４０２と通信するデータプロセッサ４０４と、データプロセッサ４０４と通信し、外科的処置中に情報を外科医に対して表示するように構成された表示システム４０６とを含む。本発明のいくつかの実施形態によれば、外科器具４０２は、たとえば上述の外科器具１００とすることができる。図８の例では、外科器具４０２は、ＯＣＴ ＰＣ４０８など、専用データプロセッサを有する。しかし、本発明の広い概念は、図８に示されている特定のアーキテクチャだけに限定されない。たとえば、データプロセッサは、ＯＣＴシステム用、ならびに外科システム４００の他の部分用の処理を実施することができる。外科システム４００はまた、ロボットシステム４１０を含む。ロボットシステム４１０は、たとえば専用データプロセッサ４１２を有することができ、または、たとえばＯＣＴプロセッサと共に単一の多目的プロセッサに含めることができる。データプロセッサ４０４は、１つまたは複数の遠隔プロセッサを含めて、１つまたは複数のデータプロセッサを包含するように広く考えるべきである。外科システム４００は、表示システム４０６の一例としてビデオディスプレイを例示している。しかし、本発明の一般的な概念は、この特定の例に限定されない。ディスプレイは、情報を伝える機能を果たすヘッドマウントディスプレイ、触覚もしくはオーディオデバイス、および／または情報を外科医に提供する手段とすることができ、またはそれらを含むことができる。ロボットシステム４００は、それだけには限らないが、たとえば安定型（ｓｔｅａｄｙ−ｈａｎｄ）ロボットシステムまたは手持ち式ロボットシステムとすることができる。本発明のいくつかの実施形態では、データプロセッサ４０４は、組織に対する外科器具の遠位端の相対位置の値に基づいて、警告信号またはフィードバック応答信号のうちの少なくとも１つを送るように構成することができる。本発明のいくつかの実施形態では、データプロセッサ４０４は、組織からの外科器具の遠位端の相対距離または器具の位置のうちの少なくとも１つの値に基づいて、ロボットシステムがフィードバック応答をもたらすように、フィードバック応答信号をロボットシステムに送るように構成することができる。
【実施例】
【００２７】
以下は、本発明のいくつかの実施形態による視覚的追跡／アノテーションシステムの使用の２つの例である。これらの例は、例示のために提供されており、本発明の広い範囲を規定するものではない。
【００２８】
硝子体網膜手術
− 外科医がＯＣＴプローブを注目領域近くに移動する。
− フットペダルが押されている間（または音声コマンド始動）、外科医は、プローブを注目領域にわたって掃引する。
− スキャンの位置が、視覚的および／または外部器具追跡を介して、組織に対して追跡され、ビデオフィードに投影される。時間同期されたセンサデータストリームがこの経路に関連付けられる。
− この点から、タグ付けされた解剖学的領域が追跡され、それに応じてアノテートされる。
− 外科医は、別のスキャンを作成すること、または既存のスキャンを再調査することを選ぶことができる。
− 外科医は、声で「スキャン３番」を見直すことを要求することも、外科器具でその上をホバリングすることもできる。
【００２９】
本明細書で示され論じられている実施形態は、発明者らに知られている本発明を成し使用するための最良の方法を当業者に教示するためのものにすぎないものとする。本発明の実施形態について述べる際には、わかりやすいように特定の術語が使用される。しかし、本発明は、そのように選択された特定の術語に限定されないものとする。当業者には上記の教示に照らして理解されるように、本発明の上述の実施形態は、本発明から逸脱することなしに修正または変更することができる。したがって、特許請求の範囲、およびそれらの均等物の範囲内で、具体的に記載されているものとは別の方法で本発明を実施することができることを理解されたい。
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２００９年１０月３０日に出願された米国特許仮出願第６１／２５６，５３１号の優先権を主張するものであり、その内容を参照により本明細書に組み込む。
【０００２】
本発明は、米国保健社会福祉省、ＮＩＨによって授与された助成番号１Ｒ０１ ＥＢ ００７９６９−０１およびＮＳＦによって授与された助成番号ＥＥＣ−９７３１４７８の政府支援と共になされた。米国政府は、本発明におけるある種の権利を有する。
【０００３】
本発明の現在特許請求されている実施形態の分野は、外科的処置中に情報を取得し表示するシステムおよび方法に関し、より詳細には、外科器具の視覚的追跡および表示された情報のアノテーションを含む、情報を取得し表示するシステムおよび方法に関する。
【背景技術】
【０００４】
現在、外科医は、小さい組織領域で手術するために、いくつかの術中診断、手術、および／または処置デバイス、たとえば腹腔鏡下超音波および／またはＲＦ切除デバイスを使用する。外科医は、ビデオフィードを介して、解剖学的構造に対してデバイスの位置を観察する。診断器具の場合、外科医は、この位置と撮像結果に留意し、時間の経過につれてこの位置を解剖学的構造と共に追跡しなければならない。外科医は、時間の経過につれて、介入または検査のために特定の解剖学的構造を再訪したいと望むことがある。外科医が、特定の領域に関連付けられた以前の診断画像の位置または内容について思い出せない、または確信がもてない場合、診断デバイスを手術野に再導入しなければならない可能性があり、これは時間がかかる。手術デバイスの場合、外科医は、すでに処置済みの領域をいくつかの可視の標識点（ｌａｎｄｍａｒｋ）に対してマッピングしなければならない。これは、処置が目標組織の内側であり、組織の外観を変えないとき困難である。位置を外すこと、余分に処置した位置、または誤った処置位置は、回避すべきである。外科医は、いくつかの解剖学的領域を選んで検査または処置することがあり、これらの領域は、たとえば１０個の標識点で点在する可能性がある。これは、すでに厄介な低侵襲手技において外科医の認知的負荷を増す。さらに、解剖学的構造は、自然に、または介入それ自体により変形または変色することがあり、それにより関連の標識点および関連の術中情報を追跡することがますます困難になる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
たとえば硝子体網膜手術の場合、網膜を眼内撮像プローブで調べることは非常にまれであった。しかし、新しいリアルタイム術中撮像モダリティ（グリン（ＧＲＩＮ）レンズ内視鏡、分光法、超音波、光干渉断層法（ＯＣＴ））の発見と共に、互換のプローブおよび多機能器具、新しい外科技術が可能となり得る。これらの新しい技術は、組織を非常に近距離かつ非常に小さい容積で撮像する。得られるデータは点在しており、顕微鏡視界内で対応する解剖学的位置を用いて複数のスキャンまたは画像を追跡することを外科医に要求するものであり、これは、すでに厄介な外科作業に著しい認知的負荷を加える。これは、外科的処置により変わる解剖学的構造、出血、生物マーカ、視野内の膨化や固有の変化、照明方法および／または照明方向、ならびに眼内液状態でより困難なものになり得る。
【０００６】
したがって、外科的介入のための改善された視覚的追跡／アノテーションシステムおよび方法が依然として求められている。
【課題を解決するための手段】
【０００７】
本発明のいくつかの実施形態による外科的介入のための視覚的追跡／アノテーションシステムは、注目の手術領域の画像ストリームおよび注目の手術領域に近接する外科器具の画像ストリームを取得し、取得された画像をユーザに対して表示するように配置された画像取得表示システムと、外科器具を注目の手術領域に対して追跡するように構成された追跡システムと、画像取得表示システムおよび追跡システムと通信するデータ記憶システムと、データ記憶システム、画像取得表示システム、および追跡システムと通信するデータ処理システムとを有する。データ処理システムは、ユーザからの入力信号に応答して、ユーザに対して表示される画像にアノテートするように構成される。
【０００８】
本発明のいくつかの実施形態による外科的介入のための視覚的追跡／アノテーション方法は、注目の手術領域の画像および注目の手術領域に近接する外科器具の画像を取得するステップと、外科器具を注目の手術領域に対して追跡するステップと、注目の手術領域および外科器具を表示するステップとを含む。表示するステップは、ユーザからの入力信号に応答して追加されるアノテーションを含む。
【０００９】
本発明のいくつかの実施形態によるコンピュータ可読媒体は、外科的介入のための視覚的追跡／アノテーションのためのソフトウェアの非一時記憶を含み、ソフトウェアは、コンピュータシステムによって実行されたとき、注目の手術領域の画像データおよび注目の手術領域に近接する外科器具の画像データを処理し、注目の手術領域の画像および外科器具の画像を提供すること、画像データを処理し、外科器具を注目の手術領域に対して追跡すること、画像データおよびユーザからの入力信号を処理し、画像にアノテートすること、および注目の手術領域および外科器具の画像をアノテーションと共に表示することを含む。
【発明の効果】
【００１０】
本発明によれば、データ処理システムは、ユーザからの入力信号に応答して、ユーザに対して表示される画像にアノテートするように構成したので、組織上に投射されるレーザ光を使用し、視覚的追跡を容易にすることができ又はユーザ対話性を改善することができ、また、器具の本体に対するセンサの位置が既知であるため、そのセンサ位置を器具追跡を介して追跡することができる。
【図面の簡単な説明】
【００１１】
他の目的および利点は、説明、図面、および実施例の考察から明らかになろう。
【００１２】
【図１】本発明の一実施形態による外科的介入のための視覚的追跡／アノテーションシステムの概略図である。
【図２】本発明の一実施形態による外科的介入のための視覚的追跡／アノテーションシステムに関する表示画像の一例の図である。
【図３】本発明の一実施形態による外科器具の一実施形態の図である。
【図４】本発明の一実施形態による一体型光ファイバＯＣＴプローブ付き顕微手術用ピックのＣＡＤ側面図（左上）、実際のプロトタイプの写真（左下）、およびそのプロトタイプを使用したあるサンプルのＡスキャンデータ（右）である。
【図５】左側は本発明の一実施形態による外科システムの概略図である。右側は、軸方向ＯＣＴスキャンデータである。
【図６】本発明の一実施形態による外科器具の概略図である。
【図７】本発明の一実施形態による外科器具および手持ち式ロボットを含む外科システムの図である。
【図８】本発明の一実施形態による外科システムの概略図である。
【発明を実施するための形態】
【００１３】
以下、本発明のいくつかの実施形態について詳細に論じる。実施形態について述べる際には、わかりやすいように特定の術語が使用される。しかし、本発明は、そのように選択された特定の術語に限定されないものとする。本発明の広い概念から逸脱することなしに、他の均等な構成要素を使用することができ、他の方法を開発することができることを、当業者なら理解するであろう。本明細書のどこで引用される参照もすべて、参照により、それぞれが個々に組み込まれているかのように組み込まれる。
【００１４】
本発明のいくつかの実施形態は、手術中に収集される外科関連データを、オーバーレイアノテーション（ａｎｎｏｔａｔｉｏｎ：注釈）が付加されたビデオとして表示するためのシステムおよび方法を対象とする。術中の撮像および／または処置情報を、術中ビデオ内の対応する解剖学的標識点の位置に位置登録し、そのビデオ内で時間の経過につれて様々な表現で追跡および可視化することができる。さらに、外部器具追跡システムおよび／またはロボットをも本発明のいくつかの実施形態に従って含めることができる。この場合、それらをビデオシステムに位置登録する必要があり得る。本発明のいくつかの実施形態によるシステムは、手術ビデオの視野内で見える任意の器具と共に使用することができる。単純な場合には、器具は、関心領域をペイントするために使用され、次いでその関心領域が後続のビデオ内で追跡されるポインティングデバイスとすることができる（テレストレーション）。より複雑な場合には、器具は、超音波、分光法プローブ、酸素化（ｏｘｙｇｅｎａｔｉｏｎ）センサ、光干渉断層法、共焦点顕微鏡検査、内視鏡、ＧＲＩＮ内視鏡、神経機能測定、自発蛍光、または介入的処置デバイス、たとえばＲＦ肝切除レーザ、電気刺激、冷凍切除など、任意の術中診断および／または撮像デバイスとすることができる。これらのデバイスからの情報は、その情報が収集された位置、または処置の場合にはその情報が適用された位置にリンクさせることができる。この情報は、たとえばリアルタイム手術ビデオフィードと同じ画面内でピクチャ・イン・ピクチャとして、または別個の画面上で表示することができる。
【００１５】
個々のアノテーションは、セットに追加することも、外科医が除去することもできる。アノテーションは、それらの時間的性質、それらの関連付けられた解剖学的構造が見えるかどうか（器具からの閉塞）、手技による変形、またはある量の自然の変化に応じて、いくつかの状態を有することができる。これらの状態は、色、強度、視認性、またはテキスト形式アノテーションで表すことができる。アノテーションそれ自体は、点、線、領域、体積、テキスト形式アノテーション、器具の形状に対応する画像、または撮像領域もしくは容積の形状という形態にあることができる。これらのアノテーションは、標識点、組織タイプ（術中撮像それ自体からの調査中または処置中の組織の、基礎となる特性）、またはデバイスタイプに基づいて、特別なものか、それともコンテキスト的なものか、固有の関係を生み出すことができる。本発明のいくつかの実施形態では、複数のデバイスからの情報に、同じビデオ上でアノテートすることができる。
【００１６】
本発明のいくつかの実施形態は、ペダル、コンピュータマウス、タッチスクリーン、音声認識入力など、ユーザインターフェースを含むことができ、または使用中の器具上のセンサ活動レベルにリンクさせることができる。いくつかの実施形態では、ビデオ内の器具のジェスチャ認識を含めることができる。さらに、本発明の一実施形態によれば、ビデオ内の器具位置追跡により、システムは、単純なセンサから、より豊富な情報を提供することができる。本発明の一実施形態は、システムがＡスキャンとビデオ器具追跡モジュールからの対応するポーズ推定とからＢスキャン画像を作成する術中ＯＣＴを含むことができる。さらに、実施形態は、そのような手法を、たとえば容積Ｃスキャンのような情報表現に拡張することができる。
【００１７】
本発明のいくつかの態様は、それだけには限らないが以下を含む。すなわち、
１．アノテーションが、画像ストリーム（ビデオ）にわたって解剖学的構造に対して取得される。発明者らは、解剖学的構造（すなわち臓器）上の位置に、センサストリームデータでアノテートする。
２．「情報融合」：センサデータは、ビデオまたは空間的に追跡されるポーズシーケンスにわたって、解剖学的構造に対して相関することができる時系列データである。関心領域の上を移動するセンサ位置を追跡することができ、この時間同期された器具位置を、器具センサデータストリームと組み合わせ、ビデオシーケンスにわたって画像を作成することができる。たとえば、Ａスキャンは、Ｂスキャンおよび／またはＭスキャンデータに変換される。
３．アノテーションの見直しは、ユーザがアノテーションと対話することを必要とすることができる。単純な対話は、「アクティブな」アノテーションを、追跡される器具または他の入力（音声、ペダルなど）でポイントすることによって選択することを必要とすることができる。より複雑な対話は、器具がアノテーションそれ自体内のどこにあるか示すことができる。
４．センサストリームを、複数のビデオ画像シーケンスにわたって相関することができる。
【００１８】
図１は、本発明の一実施形態による外科的介入のための視覚的追跡／アノテーションシステム１０の概略図を提供する。視覚的追跡／アノテーションシステム１０は、注目の手術領域の画像ストリームおよび注目の手術領域に近接する外科器具の画像ストリームを取得し、取得された画像をユーザに対して表示するように配置された画像取得表示システム１２を含む。画像取得表示システム１２は、それだけには限らないが、たとえば手術顕微鏡、ならびに内視鏡および／またはビデオカメラなど、光学構成要素を含むことができる。また、画像取得表示システム１２は、それだけには限らないがビデオディスプレイまたはヘッドマウントディスプレイなど、１つまたは複数のディスプレイを含むことができる。視覚的追跡／アノテーションシステム１０はまた、外科器具を注目の手術領域に対して追跡するように構成された追跡システム１４と、画像取得表示システム１２および追跡システム１４と通信するデータ記憶システム１６と、データ記憶システム１６、画像取得表示システム１２、および追跡システム１４と通信するデータ処理システム１８とを含む。データ処理システム１８は、たとえば、特定の応用例に望ましいようにローカルのもの、クラスタ化されたもの、および／または分散されたものとすることができる１つまたは複数のパーソナルコンピュータのプロセッサを含むことができる。追跡システム１４は、本発明のいくつかの実施形態においてコンピュータに実装することができ、従来使用可能な画像認識および追跡アルゴリズムを使用することができる。いくつかの実施形態では、追跡システムは、データ処理システム１８に実装することができ、または、他の実施形態では別個のシステムとすることができる。データ記憶システム１６は、特定の応用例に従って、多種多様な使用可能なデータ記憶装置の１つまたは複数から選択することができる。データ処理システム１８は、ユーザからの入力信号に応答して、ユーザに対して表示される画像にアノテートするように構成される。
【００１９】
また、視覚的追跡／アノテーションシステム１０は、本発明のいくつかの実施形態によれば、データ処理システムと通信し、入力信号を提供するユーザ入力デバイス２０を含むことができる。入力デバイス２０は、本発明のいくつかの実施形態によれば、それだけには限らないが１つまたは複数のペダル、キーパッド、スイッチ、マイクロフォン、視標追跡システム、または外科器具とすることができる。
【００２０】
本発明のいくつかの実施形態では、データ処理システム１８は、外科器具の位置または形跡（ｔｒａｃｋ）の少なくとも１つを含めるように、ユーザに対して表示される画像にアノテートするように構成することができる。図２は、本発明の一実施形態による、Ａ、Ｂ、Ｃのラベルが付けられた３つのＯＣＴ経路でアノテートされた画像の一例を示す。また、図２は、外科器具をユーザが配置したことに応答して表示されたＯＣＴ Ｍモードデータのピクチャ・イン・ピクチャを示す。これは、本発明の様々な実施形態に含めることができる多種多様な、可能なアノテーションの一例にすぎない。本発明の広い概念は、この特定の例に限定されない。いくつかの実施形態では、データ処理システム１８は、外科器具の位置に対応する、データ記憶システムからの情報を表示するように、ユーザに対して表示される画像にアノテートするように構成することができる。たとえば、図２におけるＭモードデータは、ＯＣＴデバイスを用いてスキャンすることによって取り込まれており、そのＯＣＴデバイスが、以前にスキャンされた経路の上に配置されたとき表示されるようにデータ記憶システム１６から呼び出されたものである。
【００２１】
本発明のいくつかの実施形態では、ユーザ入力デバイス２０は、追跡システムによって追跡するのに適した外科器具とすることができる。この外科器具は、注目の手術領域の局所的な位置に関するデータストリームを提供するように構成および配置されたセンサシステムを含むことができ、外科器具によって取得されたデータを、後で取り出すために保存することができるように、データ記憶システムと通信することができる。本発明のいくつかの実施形態では、センサシステムは、光センサシステム、超音波センサシステム、または力覚システムのうちの少なくとも１つを含むことができる。
【００２２】
本発明のいくつかの実施形態による外科器具は、単一の器具に一体化された同時撮像および外科的介入機能を可能にすることができる。光センサに対する器具の位置合わせは、本発明の一実施形態によれば、光センサの視野内に見える器具の基準部分によって行うことができる。さらに、本発明の他の実施形態によれば、撮像容積の増大、複数の撮像方向、解像度の向上のために、または同時マルチモーダル撮像機能のための他のタイプの撮像を実現するために、複数の撮像プローブを器具に一体化することができる。複数の撮像ポイントプローブ（マルチコアファイバまたはマルチファイバ束）は、いくつかの実施形態では、光センサに対する器具先端の位置合わせを改善することができる。
【００２３】
本発明の一実施形態による外科器具１００が図３に示されている。そのような外科器具は、本発明のいくつかの実施形態によれば、ユーザ入力デバイス２０として使用することができる。外科器具１００は、近位端１０４および遠位端１０６を有する手術器具１０２と、少なくとも一部分が手術器具１０２に取り付けられた光センサとを含む。図３では、直接見えない光ファイバが、手術器具１０２内の管腔に沿って通り、手術器具１０２に取り付けられる。光ファイバは、保護ケーブル１０８内に封入され、保護ケーブル１０８は、この例では標準的なファイバカプラを有する。図４でより明確にわかるように、手術器具１０２は、手術器具１０２の基準部分１１２を形成するのに適した一部分を有する。光センサ１１４（図５参照）は、手術器具１０２の基準部分１１２に対して固定された端部１１６を有し、その結果、使用中に手術器具１０２の遠位端１０６に近接する、または遠位端１０６と接触する組織１１８と共に手術器具１０２の基準部分１１２を検出することができる。
【００２４】
図３の例では、外科器具１００は、ファイバカプラ１１０を介して光センサの残りの部分に接続させることができる光センサの一部分と共に示されている。図５の例では、光センサ１１４は、光干渉断層法（ＯＣＴ）システムである。他の実施形態では、本発明の広い概念の中で、複数のＯＣＴまたは他のタイプの光センサを外科器具１００内に含めることができる。さらに、図３ないし図５の例に示されているように光センサ１１４の大部分を器具の外に設けることが多数の応用例にとって有利となり得るが、本発明の広い概念は、１つまたは複数のセンサ全体が手術器具内に含まれる実施形態をも含む。図５の実施形態における光干渉断層法システムは、光センサ１１４の固定された端部１１６を提供するシングルモード光ファイバを含み、このシングルモード光ファイバは、光を手術器具１０２の基準部分１１２と、手術器具１０２の遠位端１０６に近接する、または遠位端１０６と接触する組織１１８とに向けて送り、手術器具１０２の基準部分１１２および組織１１８から反射されて戻る光を検出し、組織１１８の選択された部分に対する手術器具１０２の遠位端１０６の相対距離に関する情報をもたらすように構成される。「反射されて戻る」という用語は、光が反射されて戻る限り、鏡面反射ならびに散乱などを含むように広い意味を有するものとする。さらに、「光」という用語は、可視光も、赤外（ＩＲ）光および紫外光など人に見えない光も含むように広い意味を有するものとする。本発明のいくつかの実施形態では、ＯＣＴシステムは、たとえばＩＲ光源を利用し、可視光より著しく深い、組織内への侵入度を実現することができる。本発明のいくつかの実施形態は、たとえばＯＣＴシステム内に広帯域光源を含むことができる（図６参照）。しかし、本発明の一般的な概念は、光センサ１１４に使用される特定のタイプの光源に限定されない。周波数領域ＯＣＴ検出システムが本発明のいくつかの特定の応用例に適していることが判明しているが、本発明の一般的な概念は、時間領域ＯＣＴシステムの使用を排除しない。さらに、光センサのいくつかの実施形態は、光源なしで、その代わりに周囲光源または外部光源に依存することができる。
【００２５】
代替として、または光センサ１１４として示されているＯＣＴシステムに加えて、光センサ１１４は、ビジュアルイメージングシステムとすることも、それを含むこともできる。たとえば、光学イメージングシステムは、光ファイバまたは光ファイバの束を含み、手術器具１０２の基準部分１１２と、手術器具１０２の遠位端１０６に近接する、または遠位端１０６と接触する組織１１８とを同時に撮像することができる。いくつかの実施形態では、手術器具１０２は、たとえば眼の手術で使用するのに適したピックとすることができる。しかし、本発明の一般的な概念は、特定のタイプの手術器具に限定されない。それだけには限らないがピック、鉗子、ナイフ、光配信デバイス、はさみ、注射器、硝子体切除器具、または他の顕微手術器具など、手術器具１０２に適した広範なタイプの手術器具を想像することができる。外科器具は、図５の外科システム２００によって示されているもの、または図７に示されている手持ち式ロボット３００など、ロボットシステムに組み込まれるように適合することができる。本発明の一実施形態では、組織上に投射されるレーザ光を使用し、視覚的追跡を容易にする、またはユーザ対話性を改善することができる。いくつかの実施形態では、器具の本体に対するセンサの位置が既知であり、その結果、そのセンサ位置を器具追跡を介して追跡することができる。
【００２６】
図８は、本発明の一実施形態による視覚的追跡／アノテーションシステムを含むことができる外科システム４００の概略図である。外科システム４００は、外科器具４０２と、外科器具４０２と通信するデータプロセッサ４０４と、データプロセッサ４０４と通信し、外科的処置中に情報を外科医に対して表示するように構成された表示システム４０６とを含む。本発明のいくつかの実施形態によれば、外科器具４０２は、たとえば上述の外科器具１００とすることができる。図８の例では、外科器具４０２は、ＯＣＴ ＰＣ４０８など、専用データプロセッサを有する。しかし、本発明の広い概念は、図８に示されている特定のアーキテクチャだけに限定されない。たとえば、データプロセッサは、ＯＣＴシステム用、ならびに外科システム４００の他の部分用の処理を実施することができる。外科システム４００はまた、ロボットシステム４１０を含む。ロボットシステム４１０は、たとえば専用データプロセッサ４１２を有することができ、または、たとえばＯＣＴプロセッサと共に単一の多目的プロセッサに含めることができる。データプロセッサ４０４は、１つまたは複数の遠隔プロセッサを含めて、１つまたは複数のデータプロセッサを包含するように広く考えるべきである。外科システム４００は、表示システム４０６の一例としてビデオディスプレイを例示している。しかし、本発明の一般的な概念は、この特定の例に限定されない。ディスプレイは、情報を伝える機能を果たすヘッドマウントディスプレイ、触覚もしくはオーディオデバイス、および／または情報を外科医に提供する手段とすることができ、またはそれらを含むことができる。ロボットシステム４００は、それだけには限らないが、たとえば安定型（ｓｔｅａｄｙ−ｈａｎｄ）ロボットシステムまたは手持ち式ロボットシステムとすることができる。本発明のいくつかの実施形態では、データプロセッサ４０４は、組織に対する外科器具の遠位端の相対位置の値に基づいて、警告信号またはフィードバック応答信号のうちの少なくとも１つを送るように構成することができる。本発明のいくつかの実施形態では、データプロセッサ４０４は、組織からの外科器具の遠位端の相対距離または器具の位置のうちの少なくとも１つの値に基づいて、ロボットシステムがフィードバック応答をもたらすように、フィードバック応答信号をロボットシステムに送るように構成することができる。
【実施例】
【００２７】
以下は、本発明のいくつかの実施形態による視覚的追跡／アノテーションシステムの使用の２つの例である。これらの例は、例示のために提供されており、本発明の広い範囲を規定するものではない。
【００２８】
硝子体網膜手術
− 外科医がＯＣＴプローブを注目領域近くに移動する。
− フットペダルが押されている間（または音声コマンド始動）、外科医は、プローブを注目領域にわたって掃引する。
− スキャンの位置が、視覚的および／または外部器具追跡を介して、組織に対して追跡され、ビデオフィードに投影される。時間同期されたセンサデータストリームがこの経路に関連付けられる。
− この点から、タグ付けされた解剖学的領域が追跡され、それに応じてアノテートされる。
− 外科医は、別のスキャンを作成すること、または既存のスキャンを再調査することを選ぶことができる。
− 外科医は、声で「スキャン３番」を見直すことを要求することも、外科器具でその上をホバリングすることもできる。
【００２９】
本明細書で示され論じられている実施形態は、発明者らに知られている本発明を成し使用するための最良の方法を当業者に教示するためのものにすぎないものとする。本発明の実施形態について述べる際には、わかりやすいように特定の術語が使用される。しかし、本発明は、そのように選択された特定の術語に限定されないものとする。当業者には上記の教示に照らして理解されるように、本発明の上述の実施形態は、本発明から逸脱することなしに修正または変更することができる。したがって、特許請求の範囲、およびそれらの均等物の範囲内で、具体的に記載されているものとは別の方法で本発明を実施することができることを理解されたい。
【特許請求の範囲】
【請求項１】
外科的介入のための視覚的追跡／アノテーションシステムであって、
注目の手術領域の画像ストリームおよび前記注目の手術領域に近接する外科器具の画像ストリームを取得し、取得された画像をユーザに対して表示するように配置された画像取得表示システムと、
前記外科器具を前記注目の手術領域に対して追跡するように構成された追跡システムと、
前記画像取得表示システムおよび前記追跡システムと通信するデータ記憶システムと、
前記データ記憶システム、前記画像取得表示システム、および前記追跡システムと通信するデータ処理システムと
を具え、
前記データ処理システムが、前記ユーザからの入力信号に応答して、前記ユーザに対して表示される画像にアノテートするように構成されていることを特徴とするシステム。
【請求項２】
前記データ処理システムと通信し、前記入力信号を提供するユーザ入力デバイスをさらに具えたことを特徴とする請求項１記載の視覚的追跡／アノテーションシステム。
【請求項３】
前記入力デバイスは、ペダル、キーパッド、マイクロフォン、視標追跡システム、スイッチ、または外科器具を含むことを特徴とする請求項２記載の視覚的追跡／アノテーションシステム。
【請求項４】
前記データ処理システムは、前記注目の手術領域に対する前記外科器具の位置または形跡の少なくとも１つを含めるように、前記ユーザに対して表示される画像にアノテートするように構成されたことを特徴とする請求項１記載の視覚的追跡／アノテーションシステム。
【請求項５】
前記データ処理システムは、前記ユーザに対して表示される画像にアノテートし、後で取り出すためにアノテーションを記憶させ、前記外科器具の位置に対応する、前記データ記憶システムから取り出された情報を表示させるように構成されたことを特徴とする請求項１記載の視覚的追跡／アノテーションシステム。
【請求項６】
前記追跡システムによって追跡するのに適した外科器具をさらに具えたことを特徴とする請求項１記載の視覚的追跡／アノテーションシステム。
【請求項７】
前記外科器具は、前記注目の手術領域の局所的な部分に関するデータを収集するように構成および配置されたセンサシステムを具え、
前記外科器具は、前記外科器具によって取得されたデータを、後で取り出すために保存することができるように、前記データ記憶システムと通信することを特徴とする請求項６記載の視覚的追跡／アノテーションシステム。
【請求項８】
前記センサシステムは、光センサシステム、超音波センサシステム、または力覚システムのうちの少なくとも１つであることを特徴とする請求項７記載の視覚的追跡／アノテーションシステム。
【請求項９】
前記センサシステムは、光干渉断層法システムであることを特徴とする請求項７記載の視覚的追跡／アノテーションシステム。
【請求項１０】
前記外科器具は、
近位端および遠位端を有する手術器具と、
少なくとも一部分が手術器具に取り付けられた光センサと
を具え、
前記手術器具が、前記手術器具の基準部分を提供するのに適した一部分を有し、
前記光センサが、前記手術器具の前記基準部分に対して固定された端部を有し、その結果、使用中に前記手術器具の前記遠位端に近接する、または前記遠位端と接触する組織と共に前記手術器具の前記基準部分を検出することができることを特徴とする請求項６記載の視覚的追跡／アノテーションシステム。
【請求項１１】
前記光センサは、ビジュアルイメージングシステムを含むことを特徴とする請求項１０記載の視覚的追跡／アノテーションシステム。
【請求項１２】
前記ビジュアルイメージングシステムは、光ファイバを具え、前記ビジュアルイメージングシステムは、前記手術器具の前記基準部分と、前記手術器具の前記遠位端に近接する又は前記遠位端と接触する前記組織とを同時に撮像するように構成されていることを特徴とする請求項１１記載の視覚的追跡／アノテーションシステム。
【請求項１３】
前記光センサは、光干渉断層法システムを含むことを特徴とする請求項１０記載の視覚的追跡／アノテーションシステム。
【請求項１４】
前記光干渉断層法システムは、前記光センサの前記固定された端部を提供する光ファイバを備え、前記光ファイバは、前記手術器具の前記基準部分と、前記手術器具の前記遠位端に近接する又は前記遠位端と接触する前記組織とに向けて光を送り、前記手術器具の前記基準部分および前記組織から反射されて戻る光を検出し、前記組織の選択された部分に対する前記手術器具の前記遠位端の相対距離に関する情報を提供するように配置されたことを特徴とする請求項１３記載の視覚的追跡／アノテーションシステム。
【請求項１５】
前記手術器具は、眼の手術で使用するのに適したピックであることを特徴とする請求項１４記載の視覚的追跡／アノテーションシステム。
【請求項１６】
前記手術器具は、ピック、鉗子、ナイフ、光配信デバイス、はさみ、注射器、または硝子体切除器具のうちの少なくとも１つであることを特徴とする請求項１４記載の視覚的追跡／アノテーションシステム。
【請求項１７】
前記手術器具の前記遠位端は、手で手術を行うために外科医によって保持されるように適合されていることを特徴とする請求項１５記載の視覚的追跡／アノテーションシステム。
【請求項１８】
前記手術器具の前記遠位端は、ロボット手術またはロボットによって補助される手術のうちの少なくとも１つのためにロボットシステムに取り付けられるように適合されていることを特徴とする請求項１５記載の視覚的追跡／アノテーションシステム。
【請求項１９】
外科的介入のための視覚的追跡／アノテーション方法であって、
注目の手術領域の画像および前記注目の手術領域に近接する外科器具の画像を取得するステップと、
前記外科器具を前記注目の手術領域に対して追跡するステップと、
前記注目の手術領域および前記外科器具を表示するステップと
を具え、
前記表示するステップは、前記ユーザからの入力信号に応答して追加されるアノテーションを含むことを特徴とする方法。
【請求項２０】
前記アノテーションは、前記外科器具の位置または形跡の少なくとも１つを含むことを特徴とする請求項１９記載の視覚的追跡／アノテーション方法。
【請求項２１】
前記アノテーションは、前記外科器具の位置に対応する、データ記憶システムから取り出された情報を含むことを特徴とする請求項１９記載の視覚的追跡／アノテーション方法。
【請求項２２】
外科的介入のための視覚的追跡／アノテーションのためのソフトウェアの非一時記憶を含むコンピュータ可読媒体であって、前記ソフトウェアは、コンピュータシステムによって実行されたとき、
注目の手術領域の画像データおよび前記注目の手術領域に近接する外科器具の画像データを処理し、前記注目の手術領域の画像および前記外科器具の画像を提供すること、
前記画像データを処理し、前記外科器具を前記注目の手術領域に対して追跡すること、
前記画像データおよびユーザからの入力信号を処理し、前記画像にアノテートすること、
前記注目の手術領域および前記外科器具の画像を前記アノテーションと共に表示すること
とを具えたことを特徴とするコンピュータ可読媒体。
【請求項２３】
前記アノテーションは、前記外科器具の位置または形跡の少なくとも１つを含むことを特徴とする請求項２２記載のコンピュータ可読媒体。
【請求項２４】
前記アノテーションは、前記外科器具の位置に対応する、データ記憶システムから取り出された情報を含むことを特徴とする請求項２２記載のコンピュータ可読媒体。
【請求項１】
外科的介入のための視覚的追跡／アノテーションシステムであって、
注目の手術領域の画像ストリームおよび前記注目の手術領域に近接する外科器具の画像ストリームを取得し、取得された画像をユーザに対して表示するように配置された画像取得表示システムと、
前記外科器具を前記注目の手術領域に対して追跡するように構成された追跡システムと、
前記画像取得表示システムおよび前記追跡システムと通信するデータ記憶システムと、
前記データ記憶システム、前記画像取得表示システム、および前記追跡システムと通信するデータ処理システムと
を具え、
前記データ処理システムが、前記ユーザからの入力信号に応答して、前記ユーザに対して表示される画像にアノテートするように構成されていることを特徴とするシステム。
【請求項２】
前記データ処理システムと通信し、前記入力信号を提供するユーザ入力デバイスをさらに具えたことを特徴とする請求項１記載の視覚的追跡／アノテーションシステム。
【請求項３】
前記入力デバイスは、ペダル、キーパッド、マイクロフォン、視標追跡システム、スイッチ、または外科器具を含むことを特徴とする請求項２記載の視覚的追跡／アノテーションシステム。
【請求項４】
前記データ処理システムは、前記注目の手術領域に対する前記外科器具の位置または形跡の少なくとも１つを含めるように、前記ユーザに対して表示される画像にアノテートするように構成されたことを特徴とする請求項１記載の視覚的追跡／アノテーションシステム。
【請求項５】
前記データ処理システムは、前記ユーザに対して表示される画像にアノテートし、後で取り出すためにアノテーションを記憶させ、前記外科器具の位置に対応する、前記データ記憶システムから取り出された情報を表示させるように構成されたことを特徴とする請求項１記載の視覚的追跡／アノテーションシステム。
【請求項６】
前記追跡システムによって追跡するのに適した外科器具をさらに具えたことを特徴とする請求項１記載の視覚的追跡／アノテーションシステム。
【請求項７】
前記外科器具は、前記注目の手術領域の局所的な部分に関するデータを収集するように構成および配置されたセンサシステムを具え、
前記外科器具は、前記外科器具によって取得されたデータを、後で取り出すために保存することができるように、前記データ記憶システムと通信することを特徴とする請求項６記載の視覚的追跡／アノテーションシステム。
【請求項８】
前記センサシステムは、光センサシステム、超音波センサシステム、または力覚システムのうちの少なくとも１つであることを特徴とする請求項７記載の視覚的追跡／アノテーションシステム。
【請求項９】
前記センサシステムは、光干渉断層法システムであることを特徴とする請求項７記載の視覚的追跡／アノテーションシステム。
【請求項１０】
前記外科器具は、
近位端および遠位端を有する手術器具と、
少なくとも一部分が手術器具に取り付けられた光センサと
を具え、
前記手術器具が、前記手術器具の基準部分を提供するのに適した一部分を有し、
前記光センサが、前記手術器具の前記基準部分に対して固定された端部を有し、その結果、使用中に前記手術器具の前記遠位端に近接する、または前記遠位端と接触する組織と共に前記手術器具の前記基準部分を検出することができることを特徴とする請求項６記載の視覚的追跡／アノテーションシステム。
【請求項１１】
前記光センサは、ビジュアルイメージングシステムを含むことを特徴とする請求項１０記載の視覚的追跡／アノテーションシステム。
【請求項１２】
前記ビジュアルイメージングシステムは、光ファイバを具え、前記ビジュアルイメージングシステムは、前記手術器具の前記基準部分と、前記手術器具の前記遠位端に近接する又は前記遠位端と接触する前記組織とを同時に撮像するように構成されていることを特徴とする請求項１１記載の視覚的追跡／アノテーションシステム。
【請求項１３】
前記光センサは、光干渉断層法システムを含むことを特徴とする請求項１０記載の視覚的追跡／アノテーションシステム。
【請求項１４】
前記光干渉断層法システムは、前記光センサの前記固定された端部を提供する光ファイバを備え、前記光ファイバは、前記手術器具の前記基準部分と、前記手術器具の前記遠位端に近接する又は前記遠位端と接触する前記組織とに向けて光を送り、前記手術器具の前記基準部分および前記組織から反射されて戻る光を検出し、前記組織の選択された部分に対する前記手術器具の前記遠位端の相対距離に関する情報を提供するように配置されたことを特徴とする請求項１３記載の視覚的追跡／アノテーションシステム。
【請求項１５】
前記手術器具は、眼の手術で使用するのに適したピックであることを特徴とする請求項１４記載の視覚的追跡／アノテーションシステム。
【請求項１６】
前記手術器具は、ピック、鉗子、ナイフ、光配信デバイス、はさみ、注射器、または硝子体切除器具のうちの少なくとも１つであることを特徴とする請求項１４記載の視覚的追跡／アノテーションシステム。
【請求項１７】
前記手術器具の前記遠位端は、手で手術を行うために外科医によって保持されるように適合されていることを特徴とする請求項１５記載の視覚的追跡／アノテーションシステム。
【請求項１８】
前記手術器具の前記遠位端は、ロボット手術またはロボットによって補助される手術のうちの少なくとも１つのためにロボットシステムに取り付けられるように適合されていることを特徴とする請求項１５記載の視覚的追跡／アノテーションシステム。
【請求項１９】
外科的介入のための視覚的追跡／アノテーション方法であって、
注目の手術領域の画像および前記注目の手術領域に近接する外科器具の画像を取得するステップと、
前記外科器具を前記注目の手術領域に対して追跡するステップと、
前記注目の手術領域および前記外科器具を表示するステップと
を具え、
前記表示するステップは、前記ユーザからの入力信号に応答して追加されるアノテーションを含むことを特徴とする方法。
【請求項２０】
前記アノテーションは、前記外科器具の位置または形跡の少なくとも１つを含むことを特徴とする請求項１９記載の視覚的追跡／アノテーション方法。
【請求項２１】
前記アノテーションは、前記外科器具の位置に対応する、データ記憶システムから取り出された情報を含むことを特徴とする請求項１９記載の視覚的追跡／アノテーション方法。
【請求項２２】
外科的介入のための視覚的追跡／アノテーションのためのソフトウェアの非一時記憶を含むコンピュータ可読媒体であって、前記ソフトウェアは、コンピュータシステムによって実行されたとき、
注目の手術領域の画像データおよび前記注目の手術領域に近接する外科器具の画像データを処理し、前記注目の手術領域の画像および前記外科器具の画像を提供すること、
前記画像データを処理し、前記外科器具を前記注目の手術領域に対して追跡すること、
前記画像データおよびユーザからの入力信号を処理し、前記画像にアノテートすること、
前記注目の手術領域および前記外科器具の画像を前記アノテーションと共に表示すること
とを具えたことを特徴とするコンピュータ可読媒体。
【請求項２３】
前記アノテーションは、前記外科器具の位置または形跡の少なくとも１つを含むことを特徴とする請求項２２記載のコンピュータ可読媒体。
【請求項２４】
前記アノテーションは、前記外科器具の位置に対応する、データ記憶システムから取り出された情報を含むことを特徴とする請求項２２記載のコンピュータ可読媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２０１３−５０９２７３（Ｐ２０１３−５０９２７３Ａ）
【公表日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願番号】特願２０１２−５３７１７１（Ｐ２０１２−５３７１７１）
【出願日】平成２２年１１月１日（２０１０．１１．１）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５４９８８
【国際公開番号】ＷＯ２０１１／０５３９２１
【国際公開日】平成２３年５月５日（２０１１．５．５）
【出願人】（３９８０７６２２７）ザ・ジョンズ・ホプキンス・ユニバーシティー (35)
【公表日】平成２５年３月１４日（２０１３．３．１４）
【国際特許分類】
【出願日】平成２２年１１月１日（２０１０．１１．１）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５４９８８
【国際公開番号】ＷＯ２０１１／０５３９２１
【国際公開日】平成２３年５月５日（２０１１．５．５）
【出願人】（３９８０７６２２７）ザ・ジョンズ・ホプキンス・ユニバーシティー (35)
[ Back to top ]