臨床画像上に強調された画像化データを表示するための方法および装置
本発明の１つの実施形態において、装置は表示デバイスを含む。該表示デバイスは、体腔から可視電磁（ＥＭ）スペクトルで捕捉される組織の不飽和化された画像、および該不飽和化された画像と組み合わされた第１の色を強調した画像を表示する。該第１の色を強調した画像は、可視電磁スペクトル外の体腔から捕捉された第１のデータを表す。該不飽和化された画像と該第１の色を強調した画像との間の相対輝度は、改良された情報内容を提供するために、可視電磁スペクトル内で捕捉された組織よりも第１のデータを強調するように設定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、概して、医療用画像を表示することに関する。
【背景技術】
【０００２】
低侵襲医療技術は、診断または外科的処置の間に損傷を受ける無関係な組織の量を低減し、それによって患者の回復時間、不快症状、および有害な副作用を低減することを目的とする。標準的な手術に対する入院期間の平均もまた、低侵襲手術技術を使用することによって著しく短縮されるかもしれない。したがって、低侵襲技術の採用の増加は、何百万もの入院日数および、病院での居住費用だけで年間何百万ドルもの金銭を削減することができる。患者の回復時間、患者の不快症状、外科的副作用、および仕事から離れている時間もまた、低侵襲手術によって低減され得る。
【０００３】
手術部位を調べるために、照明手段付きの内視鏡カメラが該手術部位の色画像を捕捉するために患者の体内へ挿入され得る。該手術部位の色画像は、モニタまたはディスプレイ上で外科医に示され得る。
【０００４】
該手術部位の付加的な画像情報は、ピクチャーインピクチャー（ＰＩＰ）ディスプレイの使用によって、外科医に同時に表示され得る。該付加的な画像情報は、手術結果を改善するために外科医にとって有用であることができる。しかしながら、ＰＩＰディスプレイのより小さい画像は、詳細な情報の望ましいレベルを示すには小さすぎる場合がある。さらに、分離された画像枠のために、外科医は頭の中で２つの分離された画像または画像化法を一緒に結合しており、それは疲弊させ得る。代替的に、付加的な画像情報は、表示デバイス上に表示される該色画像と該代替の付加的画像とを交互に切り替えることによって、全画面表示で示され得る。しかしながら、画像を交互に切り替えることは時間を要し、結果として手術の効率を悪くさせ得る。さらに、外科医は交互観察方式の間に、白色光観察に切り替え戻しそこない、必要以上に切除し、または、誤って主要組織を損傷させるかもしれない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
より効率的でより安全な低侵襲手術を提供することが望ましい。
【課題を解決するための手段】
【０００６】
本発明の実施形態は、以下の特許請求の範囲によって要約される。
【０００７】
本特許または出願書類は、少なくとも１つのカラーで作成された図面を含む。カラー図面を含めた本特許または特許出願広報のコピーは、要請および必要手数料の支払いに応答して、受理官庁によって提供される。
【図面の簡単な説明】
【０００８】
【図１】図１は、低侵襲手術に対する画像診断システムのブロック図である。
【図２】図２は、本発明の実施形態の態様の絵図である。
【図３】図３は、本発明の実施形態に対する画像化方法の要素を示すフローチャートである。
【図４Ａ】図４Ａは、手術部位の可視白色光色画像の捕捉を示すカラーの図である。
【図４Ｂ】図４Ｂは、図４Ａの可視白色光色画像の、白黒またはグレースケールの彩度を減じた画像への不飽和化を示す、非カラーの図である。
【図５Ａ】図５Ａは、該非可視スペクトル内のデータ捕捉、および該手術部位内の特徴的な組織特徴の画像形成を示す白黒図である。
【図５Ｂ】図５Ｂは、色を強調した画像を形成するための、図５Ａの特徴的な組織特徴の着色を示す図である。
【図６】図６は、臨床画像と組み合わされた（例、上に重ね合わせられた）図５Ｂの色を強調した画像と合わせた、混合画像の表示を示す図である。
【図７】図７は、該混合画像内の成分画像の輝度、または該成分画像間の相対輝度を調整するための、ユーザインターフェースを示す図である。
【図８】図８は、該手術部位の色画像の不飽和化のレベルを、彩度を減じた画像へと調整するために使用され得る、ユーザインターフェースを示す図である。
【発明を実施するための形態】
【０００９】
異なる図中の類似する参照番号は、同一のまたは類似する要素と関連するが、異なる構成を有し得る。
【００１０】
（詳細な説明）
この詳細な説明は、本発明の実例である代表的な実施について述べており、したがって説明的であり限定的でない。本発明は、特許請求の範囲によってのみ限定される。図中において、本発明の実施形態をより鮮明に示すために、幾つかの要素は省略されている。
【００１１】
（序論）
本発明の実施形態は、組織の反射白色光画像と、別々にまたは同時に取得された同じ手術部位内の組織の強調された画像との、同時表示の臨床的有用性を改良することを目的とする。該組織の強調された画像は、近赤外線（ＮＩＲ）蛍光、可視光蛍光、マルチスペクトル画像、蛍光寿命測定、または空間的変動を伴う臨床情報を含む非可視光特性のラスター走査等の、しかしそれらに限定されない、技術によって捕捉され得る。加えて、該強調された画像は、組織インピーダンス、癌の点検出、または該臨床白色光画像上の特定の細胞型といった測定可能な組織パラメータの異なる型の点測定を重ね合わせることによって構築された画像であり得る。
【００１２】
一般的に、本発明の１つの実施形態において、可視、白色光または色臨床画像が、外科医または臨床医に反射白色光画像の代わりに表示されるグレースケールもしくは黒／白画像へと不飽和化される、表示の方法が開示される。不飽和化は、赤緑青の三原色をグレーへ近づけ、その結果、画像から色を除去する。臨床画像に関する強調された情報は、１つ以上の強調画像化技術を使用して捕捉され、可視スペクトルで１つ以上の色によって、該不飽和化白色光画像と位置合わせをして表される。強調された情報は、通常は肉眼では視認されないが、可視スペクトルで表されるとき、疑似着色される。強調された画像を着色するための疑似色（強調色ともいう）の例は、強調された画像における強調された画像化技術によって検出される非可視電磁スペクトルの１つ以上の信号の型を表すように使用され得る、緑、青、および紫であるが、これに限定されない。強調された画像のカラー版は、不飽和化白色光画像と位置合わせされ、臨床画像と混合され、重ねられ、またはその上にかぶせられる（代替的に、組み合わされるという）。混合画像におけるこれら２つの画像の組み合わせは、臨床的に関連する情報量を増大させるため、また手術中に手術部位の色を強調した画像内において低信号レベルの検出性を改良するために、外科医に示される。
【００１３】
臨床画像が不飽和化されるとき、該画像内の色情報は除去されるが、詳細はほとんど失われない。不飽和化臨床画像は、生体構造、組織ランドマーク、および手術器具を識別するのに十分であり、その安全な操作を可能にする。さらに不飽和化臨床画像においては、白色光臨床画像の色表示による干渉に起因して、強調された画像のコントラストを失うことはない。不飽和化臨床画像の上に重ねられた色を強調した画像は、患者への損傷の危険性を低減し、手術効率を改良するために、手術部位に関する改良された情報内容を提供する。
【００１４】
色を強調した画像は、該組織の可視画像よりも該組織に関する非可視情報からの強調された情報を強調するように、所定の相対輝度で不飽和化臨床画像の上に重ねられ得る。代替的に、２つの画像の相対輝度の連続的な変動が変えられ得るように、２つの画像の混合を可能にするためにスライド式の操作装置等のユーザインターフェースデバイスが提供されてもよい。この混合方式による相対輝度の調整は、ユーザが強調された画像化情報を実行される作業の臨床的要件に合わせるために重ね合わせ輝度を調整することを可能にする。例えば、細く薄い線を検出するときは、ユーザは相対輝度を、強調画像により強く重み付けすることができる。強調画像内で明るく光っている大きな塊を切除するときは、例えば、相対輝度は不飽和化白色光画像により強く重み付けされ得る。
【００１５】
（画像化システム）
次に図１を参照すると、低侵襲手術に対する画像化システム１００のブロック図が示されている。画像化システム１００は、内視鏡カメラ１０１、視覚制御カート（ｖｉｓｉｏｎ ｃｏｎｔｒｏｌ ｃａｒｔ）１０２、および図示されるよう一緒に結合された外科医療用操作コンソール（ｓｕｒｇｅｏｎ ｃｏｎｓｏｌｅ）１０４を含む。
【００１６】
内視鏡カメラ１０１は、患者の手術部位内で動かされ得るように、患者側の遠隔操作機のロボットアーム１１１に取り外し可能に結合する機械的インターフェースを含む。内視鏡カメラ１０１は、患者の体腔内の手術部位２１０の上に、そこでデジタル画像を捕捉するために、ロボットアーム１１１に支持される。
【００１７】
視覚制御カート１０２は、照明器１１２、画像プロセッサ１１４、コアプロセッサ１１６、およびモニタ１１８を含む。内視鏡カメラ１０１は、可視光（ＶＬ）を受信するように照明器１１２に結合され、カラーカメラまたはスペクトルカメラでの捕捉に対して組織を視認できるよう照明するために、その先端から該可視光を手術部位の中へと送る。内視鏡カメラ１０１はまた、非可視電磁放射線（ＮＶＥ）を受信するように照明器１１２に結合され、センサまたはスペクトルカメラでの捕捉に対して材料を励起して、組織が蛍光を発するように、その先端から該非可視電磁放射線を手術部位の中へと送る。内視鏡カメラ１０１は、可視光（ＶＬ）に応答して手術部位の組織の色可視画像（ＶＩ）の１つ以上のフレームを捕捉し、それらを画像プロセッサ１１４内に結合する。内視鏡カメラ１０１はさらに、非可視電磁放射線（ＮＶＥ）に応答して手術部位の組織から非可視空間的符号化データの１つ以上のフレームを捕捉し、該データを画像プロセッサ１１４内に結合する。立体画像生成のために、内視鏡カメラ１０１は手術部位の左右の画像を同時に捕捉する立体カメラである。内視鏡カメラ１０１およびそのセンサが光学非可視画像（例、近赤外線、紫外線）を捕捉するために使用され得るのに対し、他の画像化デバイスおよび技術は、分光分析データ、ラマン散乱値、インピーダンスデータ、２光子蛍光、超音波、ガンマ線、および／またはＸ線画像といった、だがそれらに限定されない、他の非可視スペクトルデータを捕捉するために使用されることができ、そのデータは可視スペクトルの画像として表され、彩度を減じた画像と組み合わされ得る。加えて、全体画像の全部または一部分を覆う光が捕捉され、臨床的に関連する２次元（２Ｄ）画像を形成するために解析され得る。これらの２次元画像は、組織が様々な臨床的に関連するマーカによって増大され得る光と組織との相互作用に関連する、偏光、散乱、および他の類似の特徴等から抽出された特性を捕捉することができる。強調画像は、一連の可視画像で算出された画像であり得る。例えば一連の画像は、後に２Ｄ画像として表され得る血流を算出するために、使用され得る。
【００１８】
照明器１１２は、コアプロセッサ１１６から受信され得る制御信号１２６に応答して、可視光（ＶＬ）、可視電磁放射スペクトルで生成される光、および非可視電磁放射線（ＮＶＥ）を生成することができる。照明器１１２は、制御信号に応答して、非可視スペクトルデータの捕捉および強調画像のフレーム形成と同期して、色可視画像（ＶＩ）のフレームを捕捉するために、可視光（ＶＬ）および非可視電磁放射線（ＮＶＥ）を同時に生成することができる。代替的に、照明器１１２は、制御信号に応答して、非可視スペクトルデータの捕捉および強調画像のフレーム形成とは同期せずに、色可視画像（ＶＩ）のフレームを捕捉するために、可視光（ＶＬ）と非可視電磁放射線（ＮＶＥ）との生成を交互に行うことができる。
【００１９】
可視光（ＶＬ）および非可視電磁放射線（ＮＶＥ）は、１つ以上の光ファイバーまたは光ファイバーの束によって、内視鏡カメラ１０１内へと結合され得る。同様に、可視組織のフルカラーの可視画像（ＶＩ）は手術部位で捕捉され、光ファイバーによって画像プロセッサ１１４へと結合され、または、センサで捕捉され、ワイヤケーブルによって該画像プロセッサへと結合され得る。手術部位の組織の非可視スペクトルデータもまた、光ファイバーによって画像プロセッサ１１４へと結合され、または、センサで捕捉され、ワイヤケーブルによって該画像プロセッサへと結合され得る。１つ以上のセンサで捕捉された電磁放射線は、可視赤、緑、青ＥＭスペクトル、および非可視ＥＭスペクトル（例、近赤外線）へとビニングされ得る。
【００２０】
画像プロセッサ１１４は、捕捉された画像を処理するための１つ以上のプロセッサＰ１２０と、１つ以上の画像データのフレームを記憶するための１つ以上の記憶装置（例、メモリ）Ｍ１２２とを含む。立体画像生成のために、画像プロセッサ１１４は、左右の捕捉画像を処理するためのプロセッサ対Ｐ１２０と、左右の画像フレームを記憶するための記憶装置対（例、メモリ）Ｍ１２２とを含んでもよい。
【００２１】
強調された表示方式において、画像プロセッサ１１４の１つ以上のプロセッサＰ１２０は、本明細書中に開示された画像処理および表示方法を実行するために、各デジタル画像データのフレームの画素操作を実行することができる。画像プロセッサ１１４は、コアプロセッサ１１６からの命令１２５を受信し、外科医療用操作コンソール１０４のディスプレイ１４０および／または視覚制御カート１０２のモニタ１１８上の表示に対して、画像１２４をコアプロセッサ１１６に結合する。代替的に、コアプロセッサ１１６は、本明細書中に開示された画像処理および表示方法を実行するために、デジタル画像を受信し各デジタル画像データのフレームの画素操作を実行してもよい。
【００２２】
外科医療用操作コンソール１０４は、デジタル制御および画像情報の高速伝達のために、光ファイバーケーブル１２９によってコアプロセッサ１１６に結合され得る。外科医療用操作コンソール１０４は、外科医に対して左右立体画像を表示するために立体表示デバイス１４０を含むことができる。立体表示デバイス１４０は、本明細書中に開示された表示方法に従って、左右混合画像を表示することができる。
【００２３】
低侵襲手術システムに関するさらなる情報は、例えば、Ｄａｖｉｄ Ｑ．Ｌａｒｋｉｎらによって２００７年６月１３日に出願された「ＭＩＮＩＭＡＬＬＹ ＩＮＶＡＳＩＶＥ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ」と題された米国特許出願第１１／７６２，１６５号、および、Ｔｉｅｒｎｅｙらによって２００１年１２月１８日に発行された「ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＴＯＯＬＳ，ＤＡＴＡ ＡＲＣＨＩＴＥＣＴＵＲＥ，ＡＮＤ ＵＳＥ」と題された米国特許第６，３３１，１８１号、において見出してもよく、そのいずれも本明細書中に参照により援用される。
【００２４】
（非可視特徴的な組織特徴の照明）
次に図２を参照すると、本発明の実施形態の態様の絵図が示されている。内視鏡１０１は、手術部位２１０内へと可視光（ＶＬ）および非可視電磁放射線（ＮＶＥ）を送り、放射するために、１つ以上の光ファイバー２０１Ａ〜２０１Ｂを含むことができる。内視鏡１０１は、例えばカメラといった、可視スペクトルの電磁放射線を捕捉するためのセンサ２０２Ａを含むことができる。センサ２０２Ａは、可視立体色画像を捕捉するために立体カラーカメラであることができる。内視鏡１０１はさらに、非可視スペクトルの電磁放射線、または通常は肉眼では視認できない他の型の情報（例、超音波）を捕捉するために、別のセンサ２０２Ｂを含んでもよい。例えば、センサ２０２Ｂは、手術部位のＮＩＲ強調画像を捕捉するための近赤外線（ＮＩＲ）検出器であることができる。代替的に、内視鏡１０１は、患者の体外の外部センサ／カメラへと可視光および非可視スペクトルデータを送り返すための電線管であり得る。
【００２５】
手術部位２１０は、可視光によって照明されると白色または色画像を反射することができる組織２１２を含む。手術部位２１０はまた、可視電磁スペクトルの光によって照明されると肉眼で視認できない特徴的な組織特徴２１３、２１４を有する。
【００２６】
様々な非可視特徴的な組織特徴２１３、２１４は、蛍光、放射、トレース、または反射材料（総称して、バイオマーカという）を伴って、または伴わないで、非可視電磁放射線（ＮＶＥ）によって照明され得る。幾つかの場合において、非可視特徴的な組織特徴は、可視光カメラまたはセンサによって捕捉され得るように、可視光または電磁放射線（ＶＬ）もしくは非可視電磁放射線（ＮＶＥ）によって励起され得る蛍光、放射、トレース、または反射材料もしくは化合物（総称して、バイオマーカという）で生化学的に標識され得る。他の場合において、幾つかの非可視特徴的な組織特徴は、蛍光、放射、トレース、マークまたは反射材料／化合物（総称して、バイオマーカという）で生化学的に区別され、非可視電磁放射線（ＮＶＥ）の波長で放射するように非可視電磁放射線（ＮＶＥ）によって励起され、該波長に敏感なセンサで捕捉され得る。
【００２７】
反射白色光で視認できない組織は、様々な方法で画像形成され得る。例えば、反射白色光で視認できない組織は、液体を注入し、または蛍光、放射、トレース材料、染料または化合物（総称して、バイオマーカという）で患者の組織に標識し、電磁放射線で照明する、または電磁放射線に曝露することによって、画像形成され得る。バイオマーカ内の蛍光色素分子（ｆｌｕｏｒｐｈｏｒｅ）は、励起波長に関するＥＭ放射線を吸収し、放射波長に関するＥＭ放射線を再放射するように、分子を標識する。蛍光材料または化合物（バイオマーカ）の１つの例は、近赤外線（ＮＩＲ）電磁放射線によって励起されると、可視波長で光子または電磁放射線を放射するように蛍光する、インドシアニングリーン（ＩＣＧ）である。関心の組織を標識するために使用され得る、望ましい励起波長で励起し、望ましい放射波長で放射する様々な蛍光化合物がある。使用され得る典型的な蛍光色素分子、放射体、トレーサー、マーカ、等（総称して、バイオマーカという）は、本明細書の最後の表内に記載される。
【００２８】
反射白色光で視認できない組織はまた、陽電子放出断層撮影（ＰＥＴ）において使用される放射性医薬品または放射性追跡子といった、特定の組織型に結合し自発的にＥＭ放射線を放射する材料、染料、または化合物（総称して、バイオマーカという）を注入することによって、画像化され得る。
【００２９】
可視ＥＭスペクトル外の他の画像化源２１１（例、Ｘ線、超音波）は、可視組織の臨床画像と一緒に組み合わせるために、バイオマーカとともに、またはなしで、幾つかの非可視特徴的な組織特徴２１４（例、骨組織）を照明し、強調画像を捕捉するように使用され得る。例えば、骨組織はバイオマーカなしで手術中に手術部位内で、Ｘ線で捕捉され得る。別の例として、手術部位内の表面下組織は、蛍光、放射、トレース、マーキングまたは反射材料／化合物（総称して、バイオマーカという）の添加なしで、超音波で捕捉され得る。
【００３０】
可視組織２１２は、可視光、人間の目で知覚可能な電磁放射スペクトル（ＶＬ）の可視部内の電磁放射線、によって照明される。該照明は、広スペクトルであり得る、または赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色のうちの１つ以上を含む幾つかの別個の狭スペクトル色の混合であり得る、白色光で形成され得る。電磁放射スペクトルの可視部は、波長約４００ナノメートル（ｎｍ）から７００ｎｍの範囲である。可視光によって励起可能な、蛍光、放射、トレース、マーキングまたは反射材料または化合物（総称して、バイオマーカという）で標識された特徴的な組織特徴は、可視電磁放射スペクトルで蛍光を発するかまたは放射すると、カメラまたは可視光センサで捕捉され得る。
【００３１】
特徴的な組織特徴２１３、２１４は、反射白色光で視認されず、また標識され、人間の肉眼では知覚できない電磁放射スペクトルの下方または上方非可視部内の可視ＥＭスペクトル外の電磁放射線によって照明され得る。電磁放射スペクトルの下方および上方非可視部は、電磁放射スペクトルの可視部外に存在する。電磁放射スペクトルの上方非可視部は、波長約４００ナノメートル（ｎｍ）から１０分の１オングストローム（Ａ）の範囲で、ガンマ線、Ｘ線、および紫外電磁放射線を含む。電磁放射スペクトルの下方非可視部は、波長約６００ナノメートル（ｎｍ）から１０メートル（ｍ）の範囲で、赤外線（近赤外線、熱赤外線、遠赤外線）、マイクロ波、および電波を含む。近赤外ＥＭ放射線は、波長約６００ナノメートルから１２００ナノメートルの範囲であり、バイオマーカで標識された表面下の組織特徴または構造がより容易に画像化され得るように、多くの生物組織がこれらの波長において可視スペクトルよりも透過的であるので、時として好ましくなり得る。
【００３２】
非可視電磁放射線によって励起された蛍光または反射材料および化合物によって、反射白色光で視認できない組織は蛍光を発し、非可視電磁放射スペクトルのＥＭ放射線を放射することができる。非可視電磁放射線に敏感なセンサは、可視スペクトルの表示のために強調画像の構築を可能にする非可視電磁スペクトルのＥＭ放射線を捕捉することができる。代替的に、非可視電磁放射線によって励起された蛍光または反射材料もしくは化合物が、可視電磁スペクトルの幾らかのＥＭ放射線を放射できる場合、可視光スペクトルに敏感なセンサまたはカメラによって捕捉され得る。いずれにしても、非可視スペクトルの手術部位からの非可視情報は捕捉され、デジタル画像中において可視スペクトルで表される。
【００３３】
本発明の実施形態は通常、電磁スペクトルの可視部内で捕捉された組織の画像を不飽和化し、該電磁スペクトルの非可視部内で捕捉された組織の画像を、着色によって該電磁スペクトルの可視部へと動かし、表示デバイス上の表示のための混合画像を形成するために、該彩色画像を該彩度を減じた画像の上へ重ね、または組み合わせる。
【００３４】
例えば、可視電磁スペクトルの光で照明されカラーカメラによって捕捉された可視組織の画像２１２は、グレースケール、黒／白、またはモノクロ画像２１２’へと不飽和化（色を低減）される。可視組織画像２１２の各画素内の赤、緑、青色データは、グレースケールまたは黒／白へと等しく低減され得る。
【００３５】
可視スペクトル画像内で視認できない、非可視特徴的な組織特徴２１３は、非可視電磁照明によって照明され、センサで捕捉され得る。捕捉されたデータは、強調画像を形成し続いて第１の色を強調した画像を形成するために第１の可視色で着色することによって、強調され得る。例えば、可視スペクトルで視認できない特徴的な組織特徴２１３は、緑色を強調した画像２１３’を形成するために緑色で着色されることによって、可視電磁スペクトル内へと動かされ得る。可視スペクトルで視認できない非可視特徴的な組織特徴２１４は、非可視電磁照明によって照明され、センサで捕捉され得る。捕捉されたデータは次に、強調画像を形成し、続いて第２の色を強調した画像を形成するために第２の可視色といった第２の可視色で着色することによって、強調され得る。例えば、非可視特徴的な組織特徴２１４は、青色を強調した画像２１４’を形成するために青色で着色することによって、可視電磁スペクトルへと動かされ得る。緑色を強調した画像２１３’および青色を強調した画像２１４’は、手術部位２１０の混合画像２５０を形成するために、グレースケールまたは黒白画像２１２’上へ重ねられ得る。
【００３６】
様々な非可視組織２１３、２１４が、表面組織の下に見出される表面下組織であるのに対し、可視組織２１２は表面組織であり得る。その結果、表面下組織の画像は捕捉されたときに、淡く、広がっているかもしれない。相対輝度または不飽和化レベルの調整は、淡い画像を補正するために使用され得る。
【００３７】
（表示方法）
次に図３を参照すると、フローチャートは強調表示方式における画像化方法の要素を示す。異なる型の捕捉された強調画像で、図３に示された１つ以上の要素は、画像化方法の実行において任意である。処理は、処理ブロック３００から開始し処理ブロック３０２へ進む。
【００３８】
処理ブロック３０２において、励起可能な物質は、上方または下方非可視電磁スペクトルのどちらかの内の電磁（ＥＭ）放射線によって励起され得る患者の体内へ導入され得る。あるいは、該導入された物質は、外部励起なしに、ガンマ線等のＥＭ放射線を自発的に放射することができる。処理は次に処理ブロック３０４へ進むことができる。
【００３９】
処理ブロック３０４において、該患者の体内の手術部位は、白色光等の、可視光または可視電磁スペクトルの電磁放射線で照明される。処理は次に処理ブロック３０６へ進む。
【００４０】
処理ブロック３０６において、該手術部位の色臨床画像は、該可視電磁放射線に応答して、カラーＣＭＯＳ（相補形金属酸化膜半導体）カメラ等のセンサによって該患者の体内で捕捉される。図４ＡはカラーＣＭＯＳカメラで捕捉された色臨床画像４００Ａを示す。色臨床画像４００は、色可視組織４０２、１対の可視ロボット手術道具４０４Ａ〜４０４Ｂ、および可視電磁スペクトルの光を反射する可視手術針と縫合糸４０６、を含む。処理は次に処理ブロック３０８へ進む。
【００４１】
処理ブロック３０８において、該患者体内の該手術部位は、上方および下方非可視電磁スペクトルの非可視電磁放射線で照明され、またはそれに曝露され得る。該患者の体は、二者択一的にまたは同時に、該電磁スペクトル上の可視電磁放射線および非可視電磁放射線の両方によって照明され、またはそれらに曝露され得る。処理は次に処理ブロック３１０へ進むことができる。
【００４２】
処理ブロック３１０において、該患者の体に伴う手術部位の強調画像を形成するためのデータは、該非可視電磁放射線に応答してセンサで捕捉され得る。該捕捉されたデータは、非可視スペクトルデータということができる。該手術部位の可視画像および非可視スペクトルデータは、二者択一的にまたは同時に捕捉され得る。例えば、可視画像のフレームおよび強調画像の形成のためのデータは、該手術部位内で二者択一的に捕捉され得る。処理は次に処理ブロック３１１へ進む。
【００４３】
処理ブロック３１１において、該手術部位の強調画像は、該非可視スペクトルデータに応答して形成される。図５Ａは、患者の体内でのデータ捕捉から形成された、該手術部位の強調画像５００Ａを示す。強調画像５００Ａはまだ着色される必要がある。強調画像５００Ａは、該組織表面下の血管といった特徴的な組織特徴５０２、または、他のマークされた、励起された、もしくは自発的に放射している組織を含む。処理は次に処理ブロック３１２へ進むことができる。
【００４４】
処理ブロック３１２において、色臨床画像４００Ａは所定のレベルの不飽和化で彩度を減じた画像へと不飽和化される（黒白へと色を低減される）。不飽和化（色の低減）のレベルは変更され得る。図４Ｂは、図４Ａの色臨床画像４００Ａの色から低減された色を伴う、不飽和化臨床画像４００Ｂを示す。可視組織４０２’、可視手術道具４０４Ａ’〜４０４Ｂ’、および可視手術針と縫合糸４０６’は、黒白またはグレースケールへと色低減される。処理は次に処理ブロック３１４へ進む。
【００４５】
処理ブロック３１４において、先に形成された該強調画像は、色を強調した画像を形成するために１つの色で着色される。図５Ｂは色を強調した画像５００Ｂを示す。色を強調した画像５００Ｂ内の特徴的な組織特徴５０２は、緑色で着色される。処理は次に処理ブロック３１６へ進む。
【００４６】
処理ブロック３１６において、彩度を減じた画像４００Ｂおよび色を強調した画像５００Ｂの輝度は第１の相対輝度レベルに設定される。該彩度を減じた画像の輝度および該色を強調した画像の輝度は、第１の相対輝度レベルを提供するために独立して設定され得る。処理は次に処理ブロック３１８へ進む。
【００４７】
処理ブロック３１８において、該色を強調した画像は混合画像を形成するために、該彩度を減じた画像と組み合わされる（例、上に重ね合わされる）。該混合画像は、該色臨床画像単独の情報内容を上回る付加報内容を有する。該色は、該混合画像内の該色を強調した画像の情報を強調する。
【００４８】
図６は、混合画像６００を示す。混合画像６００は、彩度を減じた画像４００Ｂの不飽和化された組織特徴４０２’、道具４０４Ａ’〜４０４Ｂ’、および手術針と縫合糸４０６’、と組み合わせられた、色を強調した画像５００Ｂの着色された特徴的な組織特徴５０２’を含む。
【００４９】
色を強調した画像５００Ｂは、混合画像６００内へ一緒に組み合わせられるように、彩度を減じた画像４００Ｂに位置合わせされ得る。空間的位置合わせは、色を強調した画像５００Ｂと彩度を減じた画像４００Ｂとを一緒に組み合わせるように実行され得る。座標変換は、該画像が空間的位置合わせを提供するために異なるフレームサイズまたは方位を有する場合、該異なるデータソース間で計算され得る。色を強調した画像５００Ｂおよび彩度を減じた画像４００Ｂが同期していない場合、一時的な位置合わせもまた、それらを一緒に組み合わせるために実行され得る。時間に関して同期していない画像フレームは、色を強調した画像５００Ｂおよび彩度を減じた画像４００Ｂのフレームを時間に関して適切に組み合わせるために、同期され得る。該画像情報を一緒に組み合わせた後、処理は次に処理ブロック３２０へ進むことができる。
【００５０】
処理ブロック３２０において、混合画像６００は外科医療用操作コンソール１０４の立体視ビュアー１４０、および／または、異なるモニタまたは表示デバイス（例、モニタ１８１）等の表示デバイス上に表示される。処理は次に処理ブロック３２２へ進むことができる。
【００５１】
処理ブロック３２２において、彩度を減じた画像４００Ｂおよび色を強調した画像５００Ｂの輝度はそれぞれ、該表示デバイス上に表示された混合画像内の情報内容を変化させるために、混合画像６００内で相対輝度のレベルまで調整され得る。ソフトウェアおよび／または物理的なユーザインターフェースは、彩度を減じた画像４００Ｂおよび色を強調した画像５００Ｂのそれぞれの輝度、またはそれらの間の相対輝度を調整するために、使用され得る。
【００５２】
１つ以上の処理は、該手術が終了するかまたは色を強調した画像５００Ｂがもはや必要とされなくなるまで、該表示デバイス上に混合画像６００を継続的に表示するために、各フレームに対して何度も繰り返されてもよい。この場合、該画像化システムの表示方式は、強調画像なしで手術部位の色臨床画像４００Ａを表示するために、標準方式に切り替え戻され得る。該強調表示方式処理は次に処理ブロック３９９へ進むことができる。
【００５３】
処理ブロック３９９において処理は、該手術が完結するかまたは該処理がそれ以上繰り返されないと、終了することができる。
【００５４】
交互表示方法は、蛍光画像についてより具体的に記載され得る。交互表示方法は、可視光によって照明された手術部位の可視色画像を取得するステップと、該手術部位の該可視色画像を可視グレー画像へと不飽和化するステップと、蛍光を発する組織が可視色内に現れる該手術部位内の、蛍光を発する組織の蛍光画像を取得するステップと、該可視蛍光画像と該グレー画像との組み合わせを含む表示可能な画像を形成するステップと、を含むことができる。
【００５５】
（ユーザインターフェース）
前述のように、ソフトウェアおよび／または物理的なユーザインターフェースは、彩度を減じた画像と色を強調した画像とを一緒に組み合わせ表示するための強調表示方式を支持するために、使用され得る。
【００５６】
該強調表示方式は、例えば、外科医療用操作コンソール１０４の左右マスタグリップおよび／または足踏みペダルでのスイッチの選択といった、制御信号を生成するユーザインターフェーススイッチの所定の手順選択によって、選択的に外科医療用操作コンソールに入力され得る。代替的に、強調表示方式を選択的に入力するための制御信号を生成するために使用され得るマスタマウス方式（ｍａｓｔｅｒｓ−ａｓ−ｍｉｃｅ ｍｏｄｅ）でのマスタグリップによって、メニューリスト内のメニュー項目が選択されてもよい。例えば、参照により本明細書中に援用されるＰａｕｌ Ｍｏｈｒらによって２００９年３月９日に出願された「ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ ＦＯＲ ＥＬＥＣＴＲＯＳＵＲＧＩＣＡＬ ＴＯＯＬＳ ＩＮ ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題された出願第１２／４００，７３８号内で述べられる、マスタグリップスイッチは、該画像化システムの強調表示方式を駆動するために使用され得る。該手術部位の色画像の標準表示方式に戻すための制御信号を生成するためにユーザインターフェーススイッチの２回目の所定の手順選択を入力することによって、該強調表示方式は選択的に終了され得る。
【００５７】
該強調表示方式において、ユーザインターフェースはその機能を選択的に制御するために提供され得る。強調表示方式における制御可能な機能の幾つかは、色を強調した画像と彩度を減じた画像との間の相対輝度、および／または彩度を減じた画像の不飽和化レベルを含む。
【００５８】
次に図７を参照すると、強調表示方式のためのユーザインターフェース７０１を含んで、ディスプレイ７００が示される。ユーザインターフェース７０１は、該画像化システムがどの表示方式（標準または強調）であるのかをユーザに示す強調表示アイコン７０２を含むことができる。ユーザインターフェースはさらに、彩度を減じた画像と色を強調した画像との間の相対輝度を調整するための混合スライダスイッチ７０４を含むことができる。図７において、スライダスイッチ７０４は、ディスプレイ７００内で色を強調した画像が彩度を減じた画像よりも強調されるように、より少ない白色光を示すよう調整される。代替的に、１対のスライダスイッチ７０６〜７０７は、色を強調した画像の輝度と彩度を減じた画像の輝度とをそれぞれの間の望ましい相対輝度を取得するように別々に調整するために、ユーザインターフェース内に提供され得る。該輝度調整デバイスは、黒／白画像またはグレー画像内でどれくらいの白色光が形成されるのかに応答して、彩度を減じた画像の処理を制御する制御信号を生成することができる。代替的に、該輝度調整デバイスは、画像捕捉中に該手術部位を照明するために生成される白色光の輝度レベルを調整するように、照明器１１２を制御する制御信号を生成することができる。
【００５９】
次に図８を参照すると、ユーザインターフェース７０１に類似し、アイコン７０２および相対輝度セレクタ７０４を含むユーザインターフェース８０１を含んで、ディスプレイ８００が示される。ユーザインターフェース８０１はさらに、図７を参照して述べられた相対輝度に対する調整（例、スライダ７０４）に加えて、色画像の不飽和化に対するユーザインターフェース調整を含む。
【００６０】
ユーザインターフェース８０１は、彩度を減じた画像４０２’の不飽和化レベルを調整するためのスライダスイッチ８０４Ａを含むことができる。不飽和化調整デバイスは、彩度を減じた画像を形成するために各画素内の赤、緑、青（ＲＧＢ）情報を低減することによってどれくらいの色が可視色画像から除去されるのかに応答して、可視色画像の、彩度を減じた画像への処理を制御する制御信号を生成することができる。スライダスイッチ８０４Ａは、図８内のディスプレイ８００が、幾つかのしかしフルカラーよりは少ない色で、彩度を減じた画像４０２’を表示するように、設定される。スライダスイッチ８０４Ａの代わりに、上下押しボタンスイッチ８０４Ｂが、彩度を減じた画像４０２’における不飽和化レベルを調整するために使用され得る。代替的に、回転つまみ８０４Ｃが、彩度を減じた画像４０２’における不飽和化レベルを調整するために使用され得る。
【００６１】
いずれにせよ、体腔から可視電磁（ＥＭ）スペクトル内で捕捉された組織の彩度を減じた画像と、該彩度を減じた画像と組み合わせられた第１の色を強調した画像とを表示することができる、表示デバイスが開示される。該第１の色を強調した画像は、可視電磁スペクトル外で体腔から捕捉されたデータを表す。該彩度を減じた画像と該第１の色を強調した画像との間の相対輝度は、ユーザに対し改良された情報内容を提供するために、可視電磁（ＥＭ）スペクトル内で捕捉された組織よりも該捕捉されたデータを強調するように設定され得る。
【００６２】
（結論）
本開示された方法は、ユーザが手術道具と組織との不慮の接触を避けることができるように、該白色光画像の十分な臨床的詳細を提供し、該強調画像化情報を該白色画像内の詳細から区別することを容易にする方法で、該強調画像内で得られる情報の詳細を提供し、外科医が解剖学的構造において迷うことを防ぐために十分なランドマークを提供する。
【００６３】
本発明の実施形態の１つ以上の要素は、１つ以上のタスクがプロセッサ等の機械によって自動的に実行され得るように、ソフトウェア内に実装され得る。ソフトウェア内に実装されるとき、本発明の実施形態の要素は本質的に、本明細書中に開示された方法の１つ以上のタスクを実行するための、プログラム命令またはコードセグメントである。たとえば機械読み取り可能媒体は、機械によって実行されると、彩度を減じた画像を形成するために患者内の可視電磁（ＥＭ）スペクトル内で捕捉された手術部位の組織の色画像内の色を低減すること、該手術部位内で捕捉された非可視特徴的な組織特徴を色を強調した画像において視認できるようにすること、および、少なくとも１つの表示デバイス上での表示のための組み合わせ画像を形成するために、該色を強調した画像と該彩度を減じた画像とを一緒に組み合せること、を含む操作を、該機械に自動的に実行させる命令を、その上に記憶しておくことができる。
【００６４】
該プログラム命令またはコードセグメントは、図１に示されるプロセッサ１２０またはコアプロセッサ１１６等のプロセッサによる実行のために、プロセッサ読み取り可能媒体内に記憶されてもよい。該プロセッサ読み取り可能媒体は、例えば図１に示されるメモリ１２２等の、情報を記憶することができる任意の媒体を含むことができる。プロセッサ読み取り可能媒体の例は、電子回路、半導体記憶装置、ＲＯＭ、フラッシュメモリ、記憶の消去が可能なＲＯＭ（ＥＲＯＭ）、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、等である。該プログラム命令またはコードセグメントは、インターネットやイントラネット等といったコンピュータネットワークを介してダウンロードされ得る。
【００６５】
本明細書は多くの詳細を含むが、これらは本開示の、または特許請求の範囲の、範囲の限界として解釈されるべきではなく、むしろ、本開示の特定の実施に固有の特性の説明として解釈されるべきである。本明細書中に別々の実施に関連して記載された特定の特性はまた、単一の実施内での組み合わせにおいて実施されることもできる。反対に、単一の実施に関連して記載された様々な特性もまた、複数の実施内で、別々にまたは部分的に組み合わせて実施されてもよい。さらに、特性が特定の組み合わせで行うように上述され、また最初にそのように特許請求され得るとしても、特許請求された組み合わせからの１つ以上の特性は、幾つかの場合において、該組み合わせから除外されることができ、該特許請求された組み合わせは、部分組み合わせまたは部分組み合わせの変化を対象にすることができる。請求された発明は、後述の特許請求の範囲によってのみ限定される。
【００６６】
【表１−１】
【００６７】
【表１−２】
【００６８】
【表１−３】
【００６９】
【表１−４】
【００７０】
【表１−５】
【００７１】
【表１−６】
【００７２】
【表１−７】
【００７３】
【表１−８】
【００７４】
【表１−９】
【００７５】
【表１−１０】
【００７６】
【表１−１１】
【００７７】
【表１−１２】
【００７８】
【表１−１３】
【技術分野】
【０００１】
本発明の実施形態は、概して、医療用画像を表示することに関する。
【背景技術】
【０００２】
低侵襲医療技術は、診断または外科的処置の間に損傷を受ける無関係な組織の量を低減し、それによって患者の回復時間、不快症状、および有害な副作用を低減することを目的とする。標準的な手術に対する入院期間の平均もまた、低侵襲手術技術を使用することによって著しく短縮されるかもしれない。したがって、低侵襲技術の採用の増加は、何百万もの入院日数および、病院での居住費用だけで年間何百万ドルもの金銭を削減することができる。患者の回復時間、患者の不快症状、外科的副作用、および仕事から離れている時間もまた、低侵襲手術によって低減され得る。
【０００３】
手術部位を調べるために、照明手段付きの内視鏡カメラが該手術部位の色画像を捕捉するために患者の体内へ挿入され得る。該手術部位の色画像は、モニタまたはディスプレイ上で外科医に示され得る。
【０００４】
該手術部位の付加的な画像情報は、ピクチャーインピクチャー（ＰＩＰ）ディスプレイの使用によって、外科医に同時に表示され得る。該付加的な画像情報は、手術結果を改善するために外科医にとって有用であることができる。しかしながら、ＰＩＰディスプレイのより小さい画像は、詳細な情報の望ましいレベルを示すには小さすぎる場合がある。さらに、分離された画像枠のために、外科医は頭の中で２つの分離された画像または画像化法を一緒に結合しており、それは疲弊させ得る。代替的に、付加的な画像情報は、表示デバイス上に表示される該色画像と該代替の付加的画像とを交互に切り替えることによって、全画面表示で示され得る。しかしながら、画像を交互に切り替えることは時間を要し、結果として手術の効率を悪くさせ得る。さらに、外科医は交互観察方式の間に、白色光観察に切り替え戻しそこない、必要以上に切除し、または、誤って主要組織を損傷させるかもしれない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
より効率的でより安全な低侵襲手術を提供することが望ましい。
【課題を解決するための手段】
【０００６】
本発明の実施形態は、以下の特許請求の範囲によって要約される。
【０００７】
本特許または出願書類は、少なくとも１つのカラーで作成された図面を含む。カラー図面を含めた本特許または特許出願広報のコピーは、要請および必要手数料の支払いに応答して、受理官庁によって提供される。
【図面の簡単な説明】
【０００８】
【図１】図１は、低侵襲手術に対する画像診断システムのブロック図である。
【図２】図２は、本発明の実施形態の態様の絵図である。
【図３】図３は、本発明の実施形態に対する画像化方法の要素を示すフローチャートである。
【図４Ａ】図４Ａは、手術部位の可視白色光色画像の捕捉を示すカラーの図である。
【図４Ｂ】図４Ｂは、図４Ａの可視白色光色画像の、白黒またはグレースケールの彩度を減じた画像への不飽和化を示す、非カラーの図である。
【図５Ａ】図５Ａは、該非可視スペクトル内のデータ捕捉、および該手術部位内の特徴的な組織特徴の画像形成を示す白黒図である。
【図５Ｂ】図５Ｂは、色を強調した画像を形成するための、図５Ａの特徴的な組織特徴の着色を示す図である。
【図６】図６は、臨床画像と組み合わされた（例、上に重ね合わせられた）図５Ｂの色を強調した画像と合わせた、混合画像の表示を示す図である。
【図７】図７は、該混合画像内の成分画像の輝度、または該成分画像間の相対輝度を調整するための、ユーザインターフェースを示す図である。
【図８】図８は、該手術部位の色画像の不飽和化のレベルを、彩度を減じた画像へと調整するために使用され得る、ユーザインターフェースを示す図である。
【発明を実施するための形態】
【０００９】
異なる図中の類似する参照番号は、同一のまたは類似する要素と関連するが、異なる構成を有し得る。
【００１０】
（詳細な説明）
この詳細な説明は、本発明の実例である代表的な実施について述べており、したがって説明的であり限定的でない。本発明は、特許請求の範囲によってのみ限定される。図中において、本発明の実施形態をより鮮明に示すために、幾つかの要素は省略されている。
【００１１】
（序論）
本発明の実施形態は、組織の反射白色光画像と、別々にまたは同時に取得された同じ手術部位内の組織の強調された画像との、同時表示の臨床的有用性を改良することを目的とする。該組織の強調された画像は、近赤外線（ＮＩＲ）蛍光、可視光蛍光、マルチスペクトル画像、蛍光寿命測定、または空間的変動を伴う臨床情報を含む非可視光特性のラスター走査等の、しかしそれらに限定されない、技術によって捕捉され得る。加えて、該強調された画像は、組織インピーダンス、癌の点検出、または該臨床白色光画像上の特定の細胞型といった測定可能な組織パラメータの異なる型の点測定を重ね合わせることによって構築された画像であり得る。
【００１２】
一般的に、本発明の１つの実施形態において、可視、白色光または色臨床画像が、外科医または臨床医に反射白色光画像の代わりに表示されるグレースケールもしくは黒／白画像へと不飽和化される、表示の方法が開示される。不飽和化は、赤緑青の三原色をグレーへ近づけ、その結果、画像から色を除去する。臨床画像に関する強調された情報は、１つ以上の強調画像化技術を使用して捕捉され、可視スペクトルで１つ以上の色によって、該不飽和化白色光画像と位置合わせをして表される。強調された情報は、通常は肉眼では視認されないが、可視スペクトルで表されるとき、疑似着色される。強調された画像を着色するための疑似色（強調色ともいう）の例は、強調された画像における強調された画像化技術によって検出される非可視電磁スペクトルの１つ以上の信号の型を表すように使用され得る、緑、青、および紫であるが、これに限定されない。強調された画像のカラー版は、不飽和化白色光画像と位置合わせされ、臨床画像と混合され、重ねられ、またはその上にかぶせられる（代替的に、組み合わされるという）。混合画像におけるこれら２つの画像の組み合わせは、臨床的に関連する情報量を増大させるため、また手術中に手術部位の色を強調した画像内において低信号レベルの検出性を改良するために、外科医に示される。
【００１３】
臨床画像が不飽和化されるとき、該画像内の色情報は除去されるが、詳細はほとんど失われない。不飽和化臨床画像は、生体構造、組織ランドマーク、および手術器具を識別するのに十分であり、その安全な操作を可能にする。さらに不飽和化臨床画像においては、白色光臨床画像の色表示による干渉に起因して、強調された画像のコントラストを失うことはない。不飽和化臨床画像の上に重ねられた色を強調した画像は、患者への損傷の危険性を低減し、手術効率を改良するために、手術部位に関する改良された情報内容を提供する。
【００１４】
色を強調した画像は、該組織の可視画像よりも該組織に関する非可視情報からの強調された情報を強調するように、所定の相対輝度で不飽和化臨床画像の上に重ねられ得る。代替的に、２つの画像の相対輝度の連続的な変動が変えられ得るように、２つの画像の混合を可能にするためにスライド式の操作装置等のユーザインターフェースデバイスが提供されてもよい。この混合方式による相対輝度の調整は、ユーザが強調された画像化情報を実行される作業の臨床的要件に合わせるために重ね合わせ輝度を調整することを可能にする。例えば、細く薄い線を検出するときは、ユーザは相対輝度を、強調画像により強く重み付けすることができる。強調画像内で明るく光っている大きな塊を切除するときは、例えば、相対輝度は不飽和化白色光画像により強く重み付けされ得る。
【００１５】
（画像化システム）
次に図１を参照すると、低侵襲手術に対する画像化システム１００のブロック図が示されている。画像化システム１００は、内視鏡カメラ１０１、視覚制御カート（ｖｉｓｉｏｎ ｃｏｎｔｒｏｌ ｃａｒｔ）１０２、および図示されるよう一緒に結合された外科医療用操作コンソール（ｓｕｒｇｅｏｎ ｃｏｎｓｏｌｅ）１０４を含む。
【００１６】
内視鏡カメラ１０１は、患者の手術部位内で動かされ得るように、患者側の遠隔操作機のロボットアーム１１１に取り外し可能に結合する機械的インターフェースを含む。内視鏡カメラ１０１は、患者の体腔内の手術部位２１０の上に、そこでデジタル画像を捕捉するために、ロボットアーム１１１に支持される。
【００１７】
視覚制御カート１０２は、照明器１１２、画像プロセッサ１１４、コアプロセッサ１１６、およびモニタ１１８を含む。内視鏡カメラ１０１は、可視光（ＶＬ）を受信するように照明器１１２に結合され、カラーカメラまたはスペクトルカメラでの捕捉に対して組織を視認できるよう照明するために、その先端から該可視光を手術部位の中へと送る。内視鏡カメラ１０１はまた、非可視電磁放射線（ＮＶＥ）を受信するように照明器１１２に結合され、センサまたはスペクトルカメラでの捕捉に対して材料を励起して、組織が蛍光を発するように、その先端から該非可視電磁放射線を手術部位の中へと送る。内視鏡カメラ１０１は、可視光（ＶＬ）に応答して手術部位の組織の色可視画像（ＶＩ）の１つ以上のフレームを捕捉し、それらを画像プロセッサ１１４内に結合する。内視鏡カメラ１０１はさらに、非可視電磁放射線（ＮＶＥ）に応答して手術部位の組織から非可視空間的符号化データの１つ以上のフレームを捕捉し、該データを画像プロセッサ１１４内に結合する。立体画像生成のために、内視鏡カメラ１０１は手術部位の左右の画像を同時に捕捉する立体カメラである。内視鏡カメラ１０１およびそのセンサが光学非可視画像（例、近赤外線、紫外線）を捕捉するために使用され得るのに対し、他の画像化デバイスおよび技術は、分光分析データ、ラマン散乱値、インピーダンスデータ、２光子蛍光、超音波、ガンマ線、および／またはＸ線画像といった、だがそれらに限定されない、他の非可視スペクトルデータを捕捉するために使用されることができ、そのデータは可視スペクトルの画像として表され、彩度を減じた画像と組み合わされ得る。加えて、全体画像の全部または一部分を覆う光が捕捉され、臨床的に関連する２次元（２Ｄ）画像を形成するために解析され得る。これらの２次元画像は、組織が様々な臨床的に関連するマーカによって増大され得る光と組織との相互作用に関連する、偏光、散乱、および他の類似の特徴等から抽出された特性を捕捉することができる。強調画像は、一連の可視画像で算出された画像であり得る。例えば一連の画像は、後に２Ｄ画像として表され得る血流を算出するために、使用され得る。
【００１８】
照明器１１２は、コアプロセッサ１１６から受信され得る制御信号１２６に応答して、可視光（ＶＬ）、可視電磁放射スペクトルで生成される光、および非可視電磁放射線（ＮＶＥ）を生成することができる。照明器１１２は、制御信号に応答して、非可視スペクトルデータの捕捉および強調画像のフレーム形成と同期して、色可視画像（ＶＩ）のフレームを捕捉するために、可視光（ＶＬ）および非可視電磁放射線（ＮＶＥ）を同時に生成することができる。代替的に、照明器１１２は、制御信号に応答して、非可視スペクトルデータの捕捉および強調画像のフレーム形成とは同期せずに、色可視画像（ＶＩ）のフレームを捕捉するために、可視光（ＶＬ）と非可視電磁放射線（ＮＶＥ）との生成を交互に行うことができる。
【００１９】
可視光（ＶＬ）および非可視電磁放射線（ＮＶＥ）は、１つ以上の光ファイバーまたは光ファイバーの束によって、内視鏡カメラ１０１内へと結合され得る。同様に、可視組織のフルカラーの可視画像（ＶＩ）は手術部位で捕捉され、光ファイバーによって画像プロセッサ１１４へと結合され、または、センサで捕捉され、ワイヤケーブルによって該画像プロセッサへと結合され得る。手術部位の組織の非可視スペクトルデータもまた、光ファイバーによって画像プロセッサ１１４へと結合され、または、センサで捕捉され、ワイヤケーブルによって該画像プロセッサへと結合され得る。１つ以上のセンサで捕捉された電磁放射線は、可視赤、緑、青ＥＭスペクトル、および非可視ＥＭスペクトル（例、近赤外線）へとビニングされ得る。
【００２０】
画像プロセッサ１１４は、捕捉された画像を処理するための１つ以上のプロセッサＰ１２０と、１つ以上の画像データのフレームを記憶するための１つ以上の記憶装置（例、メモリ）Ｍ１２２とを含む。立体画像生成のために、画像プロセッサ１１４は、左右の捕捉画像を処理するためのプロセッサ対Ｐ１２０と、左右の画像フレームを記憶するための記憶装置対（例、メモリ）Ｍ１２２とを含んでもよい。
【００２１】
強調された表示方式において、画像プロセッサ１１４の１つ以上のプロセッサＰ１２０は、本明細書中に開示された画像処理および表示方法を実行するために、各デジタル画像データのフレームの画素操作を実行することができる。画像プロセッサ１１４は、コアプロセッサ１１６からの命令１２５を受信し、外科医療用操作コンソール１０４のディスプレイ１４０および／または視覚制御カート１０２のモニタ１１８上の表示に対して、画像１２４をコアプロセッサ１１６に結合する。代替的に、コアプロセッサ１１６は、本明細書中に開示された画像処理および表示方法を実行するために、デジタル画像を受信し各デジタル画像データのフレームの画素操作を実行してもよい。
【００２２】
外科医療用操作コンソール１０４は、デジタル制御および画像情報の高速伝達のために、光ファイバーケーブル１２９によってコアプロセッサ１１６に結合され得る。外科医療用操作コンソール１０４は、外科医に対して左右立体画像を表示するために立体表示デバイス１４０を含むことができる。立体表示デバイス１４０は、本明細書中に開示された表示方法に従って、左右混合画像を表示することができる。
【００２３】
低侵襲手術システムに関するさらなる情報は、例えば、Ｄａｖｉｄ Ｑ．Ｌａｒｋｉｎらによって２００７年６月１３日に出願された「ＭＩＮＩＭＡＬＬＹ ＩＮＶＡＳＩＶＥ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ」と題された米国特許出願第１１／７６２，１６５号、および、Ｔｉｅｒｎｅｙらによって２００１年１２月１８日に発行された「ＳＵＲＧＩＣＡＬ ＲＯＢＯＴＩＣ ＴＯＯＬＳ，ＤＡＴＡ ＡＲＣＨＩＴＥＣＴＵＲＥ，ＡＮＤ ＵＳＥ」と題された米国特許第６，３３１，１８１号、において見出してもよく、そのいずれも本明細書中に参照により援用される。
【００２４】
（非可視特徴的な組織特徴の照明）
次に図２を参照すると、本発明の実施形態の態様の絵図が示されている。内視鏡１０１は、手術部位２１０内へと可視光（ＶＬ）および非可視電磁放射線（ＮＶＥ）を送り、放射するために、１つ以上の光ファイバー２０１Ａ〜２０１Ｂを含むことができる。内視鏡１０１は、例えばカメラといった、可視スペクトルの電磁放射線を捕捉するためのセンサ２０２Ａを含むことができる。センサ２０２Ａは、可視立体色画像を捕捉するために立体カラーカメラであることができる。内視鏡１０１はさらに、非可視スペクトルの電磁放射線、または通常は肉眼では視認できない他の型の情報（例、超音波）を捕捉するために、別のセンサ２０２Ｂを含んでもよい。例えば、センサ２０２Ｂは、手術部位のＮＩＲ強調画像を捕捉するための近赤外線（ＮＩＲ）検出器であることができる。代替的に、内視鏡１０１は、患者の体外の外部センサ／カメラへと可視光および非可視スペクトルデータを送り返すための電線管であり得る。
【００２５】
手術部位２１０は、可視光によって照明されると白色または色画像を反射することができる組織２１２を含む。手術部位２１０はまた、可視電磁スペクトルの光によって照明されると肉眼で視認できない特徴的な組織特徴２１３、２１４を有する。
【００２６】
様々な非可視特徴的な組織特徴２１３、２１４は、蛍光、放射、トレース、または反射材料（総称して、バイオマーカという）を伴って、または伴わないで、非可視電磁放射線（ＮＶＥ）によって照明され得る。幾つかの場合において、非可視特徴的な組織特徴は、可視光カメラまたはセンサによって捕捉され得るように、可視光または電磁放射線（ＶＬ）もしくは非可視電磁放射線（ＮＶＥ）によって励起され得る蛍光、放射、トレース、または反射材料もしくは化合物（総称して、バイオマーカという）で生化学的に標識され得る。他の場合において、幾つかの非可視特徴的な組織特徴は、蛍光、放射、トレース、マークまたは反射材料／化合物（総称して、バイオマーカという）で生化学的に区別され、非可視電磁放射線（ＮＶＥ）の波長で放射するように非可視電磁放射線（ＮＶＥ）によって励起され、該波長に敏感なセンサで捕捉され得る。
【００２７】
反射白色光で視認できない組織は、様々な方法で画像形成され得る。例えば、反射白色光で視認できない組織は、液体を注入し、または蛍光、放射、トレース材料、染料または化合物（総称して、バイオマーカという）で患者の組織に標識し、電磁放射線で照明する、または電磁放射線に曝露することによって、画像形成され得る。バイオマーカ内の蛍光色素分子（ｆｌｕｏｒｐｈｏｒｅ）は、励起波長に関するＥＭ放射線を吸収し、放射波長に関するＥＭ放射線を再放射するように、分子を標識する。蛍光材料または化合物（バイオマーカ）の１つの例は、近赤外線（ＮＩＲ）電磁放射線によって励起されると、可視波長で光子または電磁放射線を放射するように蛍光する、インドシアニングリーン（ＩＣＧ）である。関心の組織を標識するために使用され得る、望ましい励起波長で励起し、望ましい放射波長で放射する様々な蛍光化合物がある。使用され得る典型的な蛍光色素分子、放射体、トレーサー、マーカ、等（総称して、バイオマーカという）は、本明細書の最後の表内に記載される。
【００２８】
反射白色光で視認できない組織はまた、陽電子放出断層撮影（ＰＥＴ）において使用される放射性医薬品または放射性追跡子といった、特定の組織型に結合し自発的にＥＭ放射線を放射する材料、染料、または化合物（総称して、バイオマーカという）を注入することによって、画像化され得る。
【００２９】
可視ＥＭスペクトル外の他の画像化源２１１（例、Ｘ線、超音波）は、可視組織の臨床画像と一緒に組み合わせるために、バイオマーカとともに、またはなしで、幾つかの非可視特徴的な組織特徴２１４（例、骨組織）を照明し、強調画像を捕捉するように使用され得る。例えば、骨組織はバイオマーカなしで手術中に手術部位内で、Ｘ線で捕捉され得る。別の例として、手術部位内の表面下組織は、蛍光、放射、トレース、マーキングまたは反射材料／化合物（総称して、バイオマーカという）の添加なしで、超音波で捕捉され得る。
【００３０】
可視組織２１２は、可視光、人間の目で知覚可能な電磁放射スペクトル（ＶＬ）の可視部内の電磁放射線、によって照明される。該照明は、広スペクトルであり得る、または赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色のうちの１つ以上を含む幾つかの別個の狭スペクトル色の混合であり得る、白色光で形成され得る。電磁放射スペクトルの可視部は、波長約４００ナノメートル（ｎｍ）から７００ｎｍの範囲である。可視光によって励起可能な、蛍光、放射、トレース、マーキングまたは反射材料または化合物（総称して、バイオマーカという）で標識された特徴的な組織特徴は、可視電磁放射スペクトルで蛍光を発するかまたは放射すると、カメラまたは可視光センサで捕捉され得る。
【００３１】
特徴的な組織特徴２１３、２１４は、反射白色光で視認されず、また標識され、人間の肉眼では知覚できない電磁放射スペクトルの下方または上方非可視部内の可視ＥＭスペクトル外の電磁放射線によって照明され得る。電磁放射スペクトルの下方および上方非可視部は、電磁放射スペクトルの可視部外に存在する。電磁放射スペクトルの上方非可視部は、波長約４００ナノメートル（ｎｍ）から１０分の１オングストローム（Ａ）の範囲で、ガンマ線、Ｘ線、および紫外電磁放射線を含む。電磁放射スペクトルの下方非可視部は、波長約６００ナノメートル（ｎｍ）から１０メートル（ｍ）の範囲で、赤外線（近赤外線、熱赤外線、遠赤外線）、マイクロ波、および電波を含む。近赤外ＥＭ放射線は、波長約６００ナノメートルから１２００ナノメートルの範囲であり、バイオマーカで標識された表面下の組織特徴または構造がより容易に画像化され得るように、多くの生物組織がこれらの波長において可視スペクトルよりも透過的であるので、時として好ましくなり得る。
【００３２】
非可視電磁放射線によって励起された蛍光または反射材料および化合物によって、反射白色光で視認できない組織は蛍光を発し、非可視電磁放射スペクトルのＥＭ放射線を放射することができる。非可視電磁放射線に敏感なセンサは、可視スペクトルの表示のために強調画像の構築を可能にする非可視電磁スペクトルのＥＭ放射線を捕捉することができる。代替的に、非可視電磁放射線によって励起された蛍光または反射材料もしくは化合物が、可視電磁スペクトルの幾らかのＥＭ放射線を放射できる場合、可視光スペクトルに敏感なセンサまたはカメラによって捕捉され得る。いずれにしても、非可視スペクトルの手術部位からの非可視情報は捕捉され、デジタル画像中において可視スペクトルで表される。
【００３３】
本発明の実施形態は通常、電磁スペクトルの可視部内で捕捉された組織の画像を不飽和化し、該電磁スペクトルの非可視部内で捕捉された組織の画像を、着色によって該電磁スペクトルの可視部へと動かし、表示デバイス上の表示のための混合画像を形成するために、該彩色画像を該彩度を減じた画像の上へ重ね、または組み合わせる。
【００３４】
例えば、可視電磁スペクトルの光で照明されカラーカメラによって捕捉された可視組織の画像２１２は、グレースケール、黒／白、またはモノクロ画像２１２’へと不飽和化（色を低減）される。可視組織画像２１２の各画素内の赤、緑、青色データは、グレースケールまたは黒／白へと等しく低減され得る。
【００３５】
可視スペクトル画像内で視認できない、非可視特徴的な組織特徴２１３は、非可視電磁照明によって照明され、センサで捕捉され得る。捕捉されたデータは、強調画像を形成し続いて第１の色を強調した画像を形成するために第１の可視色で着色することによって、強調され得る。例えば、可視スペクトルで視認できない特徴的な組織特徴２１３は、緑色を強調した画像２１３’を形成するために緑色で着色されることによって、可視電磁スペクトル内へと動かされ得る。可視スペクトルで視認できない非可視特徴的な組織特徴２１４は、非可視電磁照明によって照明され、センサで捕捉され得る。捕捉されたデータは次に、強調画像を形成し、続いて第２の色を強調した画像を形成するために第２の可視色といった第２の可視色で着色することによって、強調され得る。例えば、非可視特徴的な組織特徴２１４は、青色を強調した画像２１４’を形成するために青色で着色することによって、可視電磁スペクトルへと動かされ得る。緑色を強調した画像２１３’および青色を強調した画像２１４’は、手術部位２１０の混合画像２５０を形成するために、グレースケールまたは黒白画像２１２’上へ重ねられ得る。
【００３６】
様々な非可視組織２１３、２１４が、表面組織の下に見出される表面下組織であるのに対し、可視組織２１２は表面組織であり得る。その結果、表面下組織の画像は捕捉されたときに、淡く、広がっているかもしれない。相対輝度または不飽和化レベルの調整は、淡い画像を補正するために使用され得る。
【００３７】
（表示方法）
次に図３を参照すると、フローチャートは強調表示方式における画像化方法の要素を示す。異なる型の捕捉された強調画像で、図３に示された１つ以上の要素は、画像化方法の実行において任意である。処理は、処理ブロック３００から開始し処理ブロック３０２へ進む。
【００３８】
処理ブロック３０２において、励起可能な物質は、上方または下方非可視電磁スペクトルのどちらかの内の電磁（ＥＭ）放射線によって励起され得る患者の体内へ導入され得る。あるいは、該導入された物質は、外部励起なしに、ガンマ線等のＥＭ放射線を自発的に放射することができる。処理は次に処理ブロック３０４へ進むことができる。
【００３９】
処理ブロック３０４において、該患者の体内の手術部位は、白色光等の、可視光または可視電磁スペクトルの電磁放射線で照明される。処理は次に処理ブロック３０６へ進む。
【００４０】
処理ブロック３０６において、該手術部位の色臨床画像は、該可視電磁放射線に応答して、カラーＣＭＯＳ（相補形金属酸化膜半導体）カメラ等のセンサによって該患者の体内で捕捉される。図４ＡはカラーＣＭＯＳカメラで捕捉された色臨床画像４００Ａを示す。色臨床画像４００は、色可視組織４０２、１対の可視ロボット手術道具４０４Ａ〜４０４Ｂ、および可視電磁スペクトルの光を反射する可視手術針と縫合糸４０６、を含む。処理は次に処理ブロック３０８へ進む。
【００４１】
処理ブロック３０８において、該患者体内の該手術部位は、上方および下方非可視電磁スペクトルの非可視電磁放射線で照明され、またはそれに曝露され得る。該患者の体は、二者択一的にまたは同時に、該電磁スペクトル上の可視電磁放射線および非可視電磁放射線の両方によって照明され、またはそれらに曝露され得る。処理は次に処理ブロック３１０へ進むことができる。
【００４２】
処理ブロック３１０において、該患者の体に伴う手術部位の強調画像を形成するためのデータは、該非可視電磁放射線に応答してセンサで捕捉され得る。該捕捉されたデータは、非可視スペクトルデータということができる。該手術部位の可視画像および非可視スペクトルデータは、二者択一的にまたは同時に捕捉され得る。例えば、可視画像のフレームおよび強調画像の形成のためのデータは、該手術部位内で二者択一的に捕捉され得る。処理は次に処理ブロック３１１へ進む。
【００４３】
処理ブロック３１１において、該手術部位の強調画像は、該非可視スペクトルデータに応答して形成される。図５Ａは、患者の体内でのデータ捕捉から形成された、該手術部位の強調画像５００Ａを示す。強調画像５００Ａはまだ着色される必要がある。強調画像５００Ａは、該組織表面下の血管といった特徴的な組織特徴５０２、または、他のマークされた、励起された、もしくは自発的に放射している組織を含む。処理は次に処理ブロック３１２へ進むことができる。
【００４４】
処理ブロック３１２において、色臨床画像４００Ａは所定のレベルの不飽和化で彩度を減じた画像へと不飽和化される（黒白へと色を低減される）。不飽和化（色の低減）のレベルは変更され得る。図４Ｂは、図４Ａの色臨床画像４００Ａの色から低減された色を伴う、不飽和化臨床画像４００Ｂを示す。可視組織４０２’、可視手術道具４０４Ａ’〜４０４Ｂ’、および可視手術針と縫合糸４０６’は、黒白またはグレースケールへと色低減される。処理は次に処理ブロック３１４へ進む。
【００４５】
処理ブロック３１４において、先に形成された該強調画像は、色を強調した画像を形成するために１つの色で着色される。図５Ｂは色を強調した画像５００Ｂを示す。色を強調した画像５００Ｂ内の特徴的な組織特徴５０２は、緑色で着色される。処理は次に処理ブロック３１６へ進む。
【００４６】
処理ブロック３１６において、彩度を減じた画像４００Ｂおよび色を強調した画像５００Ｂの輝度は第１の相対輝度レベルに設定される。該彩度を減じた画像の輝度および該色を強調した画像の輝度は、第１の相対輝度レベルを提供するために独立して設定され得る。処理は次に処理ブロック３１８へ進む。
【００４７】
処理ブロック３１８において、該色を強調した画像は混合画像を形成するために、該彩度を減じた画像と組み合わされる（例、上に重ね合わされる）。該混合画像は、該色臨床画像単独の情報内容を上回る付加報内容を有する。該色は、該混合画像内の該色を強調した画像の情報を強調する。
【００４８】
図６は、混合画像６００を示す。混合画像６００は、彩度を減じた画像４００Ｂの不飽和化された組織特徴４０２’、道具４０４Ａ’〜４０４Ｂ’、および手術針と縫合糸４０６’、と組み合わせられた、色を強調した画像５００Ｂの着色された特徴的な組織特徴５０２’を含む。
【００４９】
色を強調した画像５００Ｂは、混合画像６００内へ一緒に組み合わせられるように、彩度を減じた画像４００Ｂに位置合わせされ得る。空間的位置合わせは、色を強調した画像５００Ｂと彩度を減じた画像４００Ｂとを一緒に組み合わせるように実行され得る。座標変換は、該画像が空間的位置合わせを提供するために異なるフレームサイズまたは方位を有する場合、該異なるデータソース間で計算され得る。色を強調した画像５００Ｂおよび彩度を減じた画像４００Ｂが同期していない場合、一時的な位置合わせもまた、それらを一緒に組み合わせるために実行され得る。時間に関して同期していない画像フレームは、色を強調した画像５００Ｂおよび彩度を減じた画像４００Ｂのフレームを時間に関して適切に組み合わせるために、同期され得る。該画像情報を一緒に組み合わせた後、処理は次に処理ブロック３２０へ進むことができる。
【００５０】
処理ブロック３２０において、混合画像６００は外科医療用操作コンソール１０４の立体視ビュアー１４０、および／または、異なるモニタまたは表示デバイス（例、モニタ１８１）等の表示デバイス上に表示される。処理は次に処理ブロック３２２へ進むことができる。
【００５１】
処理ブロック３２２において、彩度を減じた画像４００Ｂおよび色を強調した画像５００Ｂの輝度はそれぞれ、該表示デバイス上に表示された混合画像内の情報内容を変化させるために、混合画像６００内で相対輝度のレベルまで調整され得る。ソフトウェアおよび／または物理的なユーザインターフェースは、彩度を減じた画像４００Ｂおよび色を強調した画像５００Ｂのそれぞれの輝度、またはそれらの間の相対輝度を調整するために、使用され得る。
【００５２】
１つ以上の処理は、該手術が終了するかまたは色を強調した画像５００Ｂがもはや必要とされなくなるまで、該表示デバイス上に混合画像６００を継続的に表示するために、各フレームに対して何度も繰り返されてもよい。この場合、該画像化システムの表示方式は、強調画像なしで手術部位の色臨床画像４００Ａを表示するために、標準方式に切り替え戻され得る。該強調表示方式処理は次に処理ブロック３９９へ進むことができる。
【００５３】
処理ブロック３９９において処理は、該手術が完結するかまたは該処理がそれ以上繰り返されないと、終了することができる。
【００５４】
交互表示方法は、蛍光画像についてより具体的に記載され得る。交互表示方法は、可視光によって照明された手術部位の可視色画像を取得するステップと、該手術部位の該可視色画像を可視グレー画像へと不飽和化するステップと、蛍光を発する組織が可視色内に現れる該手術部位内の、蛍光を発する組織の蛍光画像を取得するステップと、該可視蛍光画像と該グレー画像との組み合わせを含む表示可能な画像を形成するステップと、を含むことができる。
【００５５】
（ユーザインターフェース）
前述のように、ソフトウェアおよび／または物理的なユーザインターフェースは、彩度を減じた画像と色を強調した画像とを一緒に組み合わせ表示するための強調表示方式を支持するために、使用され得る。
【００５６】
該強調表示方式は、例えば、外科医療用操作コンソール１０４の左右マスタグリップおよび／または足踏みペダルでのスイッチの選択といった、制御信号を生成するユーザインターフェーススイッチの所定の手順選択によって、選択的に外科医療用操作コンソールに入力され得る。代替的に、強調表示方式を選択的に入力するための制御信号を生成するために使用され得るマスタマウス方式（ｍａｓｔｅｒｓ−ａｓ−ｍｉｃｅ ｍｏｄｅ）でのマスタグリップによって、メニューリスト内のメニュー項目が選択されてもよい。例えば、参照により本明細書中に援用されるＰａｕｌ Ｍｏｈｒらによって２００９年３月９日に出願された「ＵＳＥＲ ＩＮＴＥＲＦＡＣＥＳ ＦＯＲ ＥＬＥＣＴＲＯＳＵＲＧＩＣＡＬ ＴＯＯＬＳ ＩＮ ＲＯＢＯＴＩＣ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題された出願第１２／４００，７３８号内で述べられる、マスタグリップスイッチは、該画像化システムの強調表示方式を駆動するために使用され得る。該手術部位の色画像の標準表示方式に戻すための制御信号を生成するためにユーザインターフェーススイッチの２回目の所定の手順選択を入力することによって、該強調表示方式は選択的に終了され得る。
【００５７】
該強調表示方式において、ユーザインターフェースはその機能を選択的に制御するために提供され得る。強調表示方式における制御可能な機能の幾つかは、色を強調した画像と彩度を減じた画像との間の相対輝度、および／または彩度を減じた画像の不飽和化レベルを含む。
【００５８】
次に図７を参照すると、強調表示方式のためのユーザインターフェース７０１を含んで、ディスプレイ７００が示される。ユーザインターフェース７０１は、該画像化システムがどの表示方式（標準または強調）であるのかをユーザに示す強調表示アイコン７０２を含むことができる。ユーザインターフェースはさらに、彩度を減じた画像と色を強調した画像との間の相対輝度を調整するための混合スライダスイッチ７０４を含むことができる。図７において、スライダスイッチ７０４は、ディスプレイ７００内で色を強調した画像が彩度を減じた画像よりも強調されるように、より少ない白色光を示すよう調整される。代替的に、１対のスライダスイッチ７０６〜７０７は、色を強調した画像の輝度と彩度を減じた画像の輝度とをそれぞれの間の望ましい相対輝度を取得するように別々に調整するために、ユーザインターフェース内に提供され得る。該輝度調整デバイスは、黒／白画像またはグレー画像内でどれくらいの白色光が形成されるのかに応答して、彩度を減じた画像の処理を制御する制御信号を生成することができる。代替的に、該輝度調整デバイスは、画像捕捉中に該手術部位を照明するために生成される白色光の輝度レベルを調整するように、照明器１１２を制御する制御信号を生成することができる。
【００５９】
次に図８を参照すると、ユーザインターフェース７０１に類似し、アイコン７０２および相対輝度セレクタ７０４を含むユーザインターフェース８０１を含んで、ディスプレイ８００が示される。ユーザインターフェース８０１はさらに、図７を参照して述べられた相対輝度に対する調整（例、スライダ７０４）に加えて、色画像の不飽和化に対するユーザインターフェース調整を含む。
【００６０】
ユーザインターフェース８０１は、彩度を減じた画像４０２’の不飽和化レベルを調整するためのスライダスイッチ８０４Ａを含むことができる。不飽和化調整デバイスは、彩度を減じた画像を形成するために各画素内の赤、緑、青（ＲＧＢ）情報を低減することによってどれくらいの色が可視色画像から除去されるのかに応答して、可視色画像の、彩度を減じた画像への処理を制御する制御信号を生成することができる。スライダスイッチ８０４Ａは、図８内のディスプレイ８００が、幾つかのしかしフルカラーよりは少ない色で、彩度を減じた画像４０２’を表示するように、設定される。スライダスイッチ８０４Ａの代わりに、上下押しボタンスイッチ８０４Ｂが、彩度を減じた画像４０２’における不飽和化レベルを調整するために使用され得る。代替的に、回転つまみ８０４Ｃが、彩度を減じた画像４０２’における不飽和化レベルを調整するために使用され得る。
【００６１】
いずれにせよ、体腔から可視電磁（ＥＭ）スペクトル内で捕捉された組織の彩度を減じた画像と、該彩度を減じた画像と組み合わせられた第１の色を強調した画像とを表示することができる、表示デバイスが開示される。該第１の色を強調した画像は、可視電磁スペクトル外で体腔から捕捉されたデータを表す。該彩度を減じた画像と該第１の色を強調した画像との間の相対輝度は、ユーザに対し改良された情報内容を提供するために、可視電磁（ＥＭ）スペクトル内で捕捉された組織よりも該捕捉されたデータを強調するように設定され得る。
【００６２】
（結論）
本開示された方法は、ユーザが手術道具と組織との不慮の接触を避けることができるように、該白色光画像の十分な臨床的詳細を提供し、該強調画像化情報を該白色画像内の詳細から区別することを容易にする方法で、該強調画像内で得られる情報の詳細を提供し、外科医が解剖学的構造において迷うことを防ぐために十分なランドマークを提供する。
【００６３】
本発明の実施形態の１つ以上の要素は、１つ以上のタスクがプロセッサ等の機械によって自動的に実行され得るように、ソフトウェア内に実装され得る。ソフトウェア内に実装されるとき、本発明の実施形態の要素は本質的に、本明細書中に開示された方法の１つ以上のタスクを実行するための、プログラム命令またはコードセグメントである。たとえば機械読み取り可能媒体は、機械によって実行されると、彩度を減じた画像を形成するために患者内の可視電磁（ＥＭ）スペクトル内で捕捉された手術部位の組織の色画像内の色を低減すること、該手術部位内で捕捉された非可視特徴的な組織特徴を色を強調した画像において視認できるようにすること、および、少なくとも１つの表示デバイス上での表示のための組み合わせ画像を形成するために、該色を強調した画像と該彩度を減じた画像とを一緒に組み合せること、を含む操作を、該機械に自動的に実行させる命令を、その上に記憶しておくことができる。
【００６４】
該プログラム命令またはコードセグメントは、図１に示されるプロセッサ１２０またはコアプロセッサ１１６等のプロセッサによる実行のために、プロセッサ読み取り可能媒体内に記憶されてもよい。該プロセッサ読み取り可能媒体は、例えば図１に示されるメモリ１２２等の、情報を記憶することができる任意の媒体を含むことができる。プロセッサ読み取り可能媒体の例は、電子回路、半導体記憶装置、ＲＯＭ、フラッシュメモリ、記憶の消去が可能なＲＯＭ（ＥＲＯＭ）、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、等である。該プログラム命令またはコードセグメントは、インターネットやイントラネット等といったコンピュータネットワークを介してダウンロードされ得る。
【００６５】
本明細書は多くの詳細を含むが、これらは本開示の、または特許請求の範囲の、範囲の限界として解釈されるべきではなく、むしろ、本開示の特定の実施に固有の特性の説明として解釈されるべきである。本明細書中に別々の実施に関連して記載された特定の特性はまた、単一の実施内での組み合わせにおいて実施されることもできる。反対に、単一の実施に関連して記載された様々な特性もまた、複数の実施内で、別々にまたは部分的に組み合わせて実施されてもよい。さらに、特性が特定の組み合わせで行うように上述され、また最初にそのように特許請求され得るとしても、特許請求された組み合わせからの１つ以上の特性は、幾つかの場合において、該組み合わせから除外されることができ、該特許請求された組み合わせは、部分組み合わせまたは部分組み合わせの変化を対象にすることができる。請求された発明は、後述の特許請求の範囲によってのみ限定される。
【００６６】
【表１−１】
【００６７】
【表１−２】
【００６８】
【表１−３】
【００６９】
【表１−４】
【００７０】
【表１−５】
【００７１】
【表１−６】
【００７２】
【表１−７】
【００７３】
【表１−８】
【００７４】
【表１−９】
【００７５】
【表１−１０】
【００７６】
【表１−１１】
【００７７】
【表１−１２】
【００７８】
【表１−１３】
【特許請求の範囲】
【請求項１】
低侵襲手術システムのための方法であって、
該方法は、
患者内の手術部位から可視電磁（ＥＭ）スペクトルで捕捉された組織の可視色画像を、彩度を減じた画像へと不飽和化することと、
色を強調した画像を形成するために、該可視電磁（ＥＭ）スペクトル外の該手術部位から捕捉されたデータを表す強調画像を可視色で着色することと
表示デバイス上での表示のための該手術部位の混合画像を形成するように、該色を強調した画像および該彩度を減じた画像を一緒に組み合わせることと
を含む、方法。
【請求項２】
前記可視電磁（ＥＭ）スペクトル外の電磁放射線によって励起され得るバイオマーカを前記患者内に導入することと、
該患者内の手術部位を、該可視電磁（ＥＭ）スペクトル内の可視光で照射することと、
該可視光に応答して、該患者内の手術部位の可視色画像を捕捉することと、
該患者内への該バイオマーカの導入に応答して、該手術部位からデータを捕捉することと
をさらに含む、請求項１に記載の方法。
【請求項３】
データを捕捉することの前に、前記バイオマーカを励起するために、前記患者内の手術部位を前記可視電磁（ＥＭ）スペクトル外の電磁放射線に曝露することをさらに含み、
該データが、該バイオマーカの励起にさらに応答して、該手術部位から捕捉される、請求項２に記載の方法。
【請求項４】
前記患者内に導入される前記バイオマーカが、インドシアニングリーンであり、
前記可視電磁（ＥＭ）スペクトル外の前記電磁放射線が近赤外線（ＮＩＲ）であることにより、該インドシアニングリーンを励起して、蛍光を発し、電磁放射線を放出する、請求項３に記載の方法。
【請求項５】
組み合わせことの前に、前記色を強調した画像と前記彩度を減じた画像との間の第１の相対輝度を設定することをさらに含む、請求項１に記載の方法。
【請求項６】
前記相対輝度が所定のレベルであり、
前記可視色画像の不飽和化が、所定のレベルの不飽和化である、請求項４に記載の方法。
【請求項７】
前記色を強調した画像と前記彩度を減じた画像との間の相対輝度の設定を、前記混合画像内の情報内容を変化させるために、第２の相対輝度まで変化させることをさらに含む、請求項６に記載の方法。
【請求項８】
前記彩度を減じた画像内の情報内容を変化させるために、前記不飽和化のレベルを、前記手術部位の可視色画像を不飽和化するように変化させることをさらに含む、請求項６に記載の方法。
【請求項９】
前記手術部位の前記可視色画像が、全ての色を除去するように完全に不飽和化され、該不飽和化された画像が白黒画像である、請求項８に記載の方法。
【請求項１０】
前記強調画像が、近赤外線（ＮＩＲ）蛍光画像、可視光蛍光画像、または空間的変動を伴う臨床情報を含む前記手術部位のスペクトル特性のラスター走査のうちの１つである、請求項１に記載の方法。
【請求項１１】
前記強調画像が、測定可能な組織パラメータの点測定から形成される、請求項１に記載の方法。
【請求項１２】
前記測定可能な組織パラメータが、組織インピーダンス、癌細胞の点検出、または所定の細胞型の点検出である、請求項１１に記載の方法。
【請求項１３】
前記色を強調した画像と前記不飽和化された画像とを組み合わせることが、該色を強調した画像と該不飽和化された画像との時間的位置合わせおよび空間的位置合わせを含む、請求項１に記載の方法。
【請求項１４】
表示デバイスを含む装置であって、
該表示デバイスは、
体腔から、該可視電磁（ＥＭ）スペクトル内で捕捉される組織の不飽和化された画像と、
該不飽和化された画像と組み合わされた第１の色を強調した画像であって、該第１の色を強調した画像は、該可視電磁スペクトル外の該体腔から捕捉された第１のデータを表す、第１の色を強調した画像と
を表示し、
該不飽和化された画像と該第１の色を強調した画像との間の相対輝度が、改良された情報内容を提供するように、該可視電磁（ＥＭ）スペクトル内で捕捉された該組織に対して該第１のデータを強調するように設定される、装置。
【請求項１５】
前記表示デバイスが、
前記第１の色を強調した画像および前記不飽和化された画像と組み合わされた第２の色を強調した画像をさらに表示し、該第２の色を強調した画像は、前記可視電磁スペクトル外の前記体腔から捕捉された第２のデータを表し、該第２の色を強調した画像は、該第１の色を強調した画像と異なる色を有し、
該不飽和化された画像と該第２の色を強調した画像との間の相対輝度が、該可視電磁（ＥＭ）スペクトル内で捕捉された組織よりも該第２のデータを強調するように設定される、請求項１４に記載の装置。
【請求項１６】
前記表示デバイス上に表示される、前記不飽和化された画像と前記第１の色を強調した画像との間の相対輝度を調整するユーザが選択可能なデバイスを含むユーザインターフェースをさらに含む、請求項１４に記載の装置。
【請求項１７】
前記表示デバイス上に表示された前記不飽和化された画像の輝度を調整する第１のユーザが選択可能なデバイスと、該表示デバイス上に表示された第２の疑似色画像の輝度を調整する第２のユーザが選択可能なデバイスとを含むユーザインターフェースをさらに備えている、請求項１４に記載の装置。
【請求項１８】
前記組織の不飽和化された画像が、前記可視電磁スペクトル内の波長の範囲に敏感なセンサで捕捉され、
前記第１の色を強調した画像によって表されるデータが、該可視電磁スペクトル外の波長の範囲に敏感なセンサで捕捉される、請求項１４に記載の装置。
【請求項１９】
前記不飽和化された画像の一部分が、前記体腔内の手術道具の不飽和化された画像を含む、請求項１４に記載の装置。
【請求項２０】
前記第１の色を強調した画像によって表されるデータが、組織内へ導入されるバイオマーカに応答して捕捉される、請求項１４に記載の装置。
【請求項２１】
前記バイオマーカがインドシアニングリーン（ＩＣＧ）である、請求項２０に記載の装置。
【請求項２２】
前記第１の色を強調した画像によって表されるデータが、表面組織下の骨組織のＸ線で捕捉される、請求項１４に記載の装置。
【請求項２３】
機械によって実行されると該機械に動作を実行させる命令を記憶した機械読み取り可能媒体であって、該動作は、
不飽和化された画像を形成するために、患者内の可視電磁（ＥＭ）スペクトル内の手術部位内の組織の捕捉された色画像において色を低減することと、
色を強調した画像において可視である該手術部位内で捕捉された非可視特徴的な組織特徴を形成することと、
該色を強調した画像と該不飽和化された画像とを一緒に組み合わせて、少なくとも１つの表示デバイス上の表示のための組み合わせ画像を形成することと
を含む、機械読み取り可能媒体。
【請求項２３】
前記手術部位の非可視特徴的な組織特徴が、前記可視電磁（ＥＭ）スペクトル外で捕捉される、請求項２２に記載の機械読み取り可能媒体。
【請求項２４】
前記手術部位の非可視特徴的な組織特徴が、疑似色によって、不飽和化された画像内に捕捉された前記組織の上で可視化される、請求項２２に記載の機械読み取り可能媒体。
【請求項２５】
可視光で照明された手術部位の可視色画像を取得することと、
該手術部位の可視色画像を、可視濃淡画像へと不飽和化することと、
該手術部位内の蛍光を発する組織の蛍光画像を取得することであって、該蛍光を発する組織が可視色で現れる、ことと、
該可視蛍光画像と該可視濃淡画像との組み合わせを含む表示可能な画像を生成することと
を含む、方法。
【請求項２６】
前記不飽和化することが、
前記可視濃淡画像を形成するために、前記可視色画像から全ての色を実質的に除去することを含む、請求項２５に記載の方法。
【請求項２７】
前記蛍光画像の取得が、
前記手術部位を、前記可視電磁スペクトル外の電磁放射線に曝露することを含む、請求項２５に記載の方法。
【請求項２８】
前記蛍光画像内の蛍光を発する組織を前記可視色で着色することをさらに含む、請求項２５に記載の方法。
【請求項２９】
表示デバイス上に前記表示可能な画像を表示することと、
前記可視濃淡画像および前記蛍光画像のうちの１つまたは両方の輝度のレベルを調整することと
をさらに含む、請求項２５に記載の方法。
【請求項３０】
表示デバイス上に前記表示可能な画像を表示することと、
前記可視色画像の不飽和化のレベルを調整することと
をさらに含む、請求項２５に記載の方法。
【請求項１】
低侵襲手術システムのための方法であって、
該方法は、
患者内の手術部位から可視電磁（ＥＭ）スペクトルで捕捉された組織の可視色画像を、彩度を減じた画像へと不飽和化することと、
色を強調した画像を形成するために、該可視電磁（ＥＭ）スペクトル外の該手術部位から捕捉されたデータを表す強調画像を可視色で着色することと
表示デバイス上での表示のための該手術部位の混合画像を形成するように、該色を強調した画像および該彩度を減じた画像を一緒に組み合わせることと
を含む、方法。
【請求項２】
前記可視電磁（ＥＭ）スペクトル外の電磁放射線によって励起され得るバイオマーカを前記患者内に導入することと、
該患者内の手術部位を、該可視電磁（ＥＭ）スペクトル内の可視光で照射することと、
該可視光に応答して、該患者内の手術部位の可視色画像を捕捉することと、
該患者内への該バイオマーカの導入に応答して、該手術部位からデータを捕捉することと
をさらに含む、請求項１に記載の方法。
【請求項３】
データを捕捉することの前に、前記バイオマーカを励起するために、前記患者内の手術部位を前記可視電磁（ＥＭ）スペクトル外の電磁放射線に曝露することをさらに含み、
該データが、該バイオマーカの励起にさらに応答して、該手術部位から捕捉される、請求項２に記載の方法。
【請求項４】
前記患者内に導入される前記バイオマーカが、インドシアニングリーンであり、
前記可視電磁（ＥＭ）スペクトル外の前記電磁放射線が近赤外線（ＮＩＲ）であることにより、該インドシアニングリーンを励起して、蛍光を発し、電磁放射線を放出する、請求項３に記載の方法。
【請求項５】
組み合わせことの前に、前記色を強調した画像と前記彩度を減じた画像との間の第１の相対輝度を設定することをさらに含む、請求項１に記載の方法。
【請求項６】
前記相対輝度が所定のレベルであり、
前記可視色画像の不飽和化が、所定のレベルの不飽和化である、請求項４に記載の方法。
【請求項７】
前記色を強調した画像と前記彩度を減じた画像との間の相対輝度の設定を、前記混合画像内の情報内容を変化させるために、第２の相対輝度まで変化させることをさらに含む、請求項６に記載の方法。
【請求項８】
前記彩度を減じた画像内の情報内容を変化させるために、前記不飽和化のレベルを、前記手術部位の可視色画像を不飽和化するように変化させることをさらに含む、請求項６に記載の方法。
【請求項９】
前記手術部位の前記可視色画像が、全ての色を除去するように完全に不飽和化され、該不飽和化された画像が白黒画像である、請求項８に記載の方法。
【請求項１０】
前記強調画像が、近赤外線（ＮＩＲ）蛍光画像、可視光蛍光画像、または空間的変動を伴う臨床情報を含む前記手術部位のスペクトル特性のラスター走査のうちの１つである、請求項１に記載の方法。
【請求項１１】
前記強調画像が、測定可能な組織パラメータの点測定から形成される、請求項１に記載の方法。
【請求項１２】
前記測定可能な組織パラメータが、組織インピーダンス、癌細胞の点検出、または所定の細胞型の点検出である、請求項１１に記載の方法。
【請求項１３】
前記色を強調した画像と前記不飽和化された画像とを組み合わせることが、該色を強調した画像と該不飽和化された画像との時間的位置合わせおよび空間的位置合わせを含む、請求項１に記載の方法。
【請求項１４】
表示デバイスを含む装置であって、
該表示デバイスは、
体腔から、該可視電磁（ＥＭ）スペクトル内で捕捉される組織の不飽和化された画像と、
該不飽和化された画像と組み合わされた第１の色を強調した画像であって、該第１の色を強調した画像は、該可視電磁スペクトル外の該体腔から捕捉された第１のデータを表す、第１の色を強調した画像と
を表示し、
該不飽和化された画像と該第１の色を強調した画像との間の相対輝度が、改良された情報内容を提供するように、該可視電磁（ＥＭ）スペクトル内で捕捉された該組織に対して該第１のデータを強調するように設定される、装置。
【請求項１５】
前記表示デバイスが、
前記第１の色を強調した画像および前記不飽和化された画像と組み合わされた第２の色を強調した画像をさらに表示し、該第２の色を強調した画像は、前記可視電磁スペクトル外の前記体腔から捕捉された第２のデータを表し、該第２の色を強調した画像は、該第１の色を強調した画像と異なる色を有し、
該不飽和化された画像と該第２の色を強調した画像との間の相対輝度が、該可視電磁（ＥＭ）スペクトル内で捕捉された組織よりも該第２のデータを強調するように設定される、請求項１４に記載の装置。
【請求項１６】
前記表示デバイス上に表示される、前記不飽和化された画像と前記第１の色を強調した画像との間の相対輝度を調整するユーザが選択可能なデバイスを含むユーザインターフェースをさらに含む、請求項１４に記載の装置。
【請求項１７】
前記表示デバイス上に表示された前記不飽和化された画像の輝度を調整する第１のユーザが選択可能なデバイスと、該表示デバイス上に表示された第２の疑似色画像の輝度を調整する第２のユーザが選択可能なデバイスとを含むユーザインターフェースをさらに備えている、請求項１４に記載の装置。
【請求項１８】
前記組織の不飽和化された画像が、前記可視電磁スペクトル内の波長の範囲に敏感なセンサで捕捉され、
前記第１の色を強調した画像によって表されるデータが、該可視電磁スペクトル外の波長の範囲に敏感なセンサで捕捉される、請求項１４に記載の装置。
【請求項１９】
前記不飽和化された画像の一部分が、前記体腔内の手術道具の不飽和化された画像を含む、請求項１４に記載の装置。
【請求項２０】
前記第１の色を強調した画像によって表されるデータが、組織内へ導入されるバイオマーカに応答して捕捉される、請求項１４に記載の装置。
【請求項２１】
前記バイオマーカがインドシアニングリーン（ＩＣＧ）である、請求項２０に記載の装置。
【請求項２２】
前記第１の色を強調した画像によって表されるデータが、表面組織下の骨組織のＸ線で捕捉される、請求項１４に記載の装置。
【請求項２３】
機械によって実行されると該機械に動作を実行させる命令を記憶した機械読み取り可能媒体であって、該動作は、
不飽和化された画像を形成するために、患者内の可視電磁（ＥＭ）スペクトル内の手術部位内の組織の捕捉された色画像において色を低減することと、
色を強調した画像において可視である該手術部位内で捕捉された非可視特徴的な組織特徴を形成することと、
該色を強調した画像と該不飽和化された画像とを一緒に組み合わせて、少なくとも１つの表示デバイス上の表示のための組み合わせ画像を形成することと
を含む、機械読み取り可能媒体。
【請求項２３】
前記手術部位の非可視特徴的な組織特徴が、前記可視電磁（ＥＭ）スペクトル外で捕捉される、請求項２２に記載の機械読み取り可能媒体。
【請求項２４】
前記手術部位の非可視特徴的な組織特徴が、疑似色によって、不飽和化された画像内に捕捉された前記組織の上で可視化される、請求項２２に記載の機械読み取り可能媒体。
【請求項２５】
可視光で照明された手術部位の可視色画像を取得することと、
該手術部位の可視色画像を、可視濃淡画像へと不飽和化することと、
該手術部位内の蛍光を発する組織の蛍光画像を取得することであって、該蛍光を発する組織が可視色で現れる、ことと、
該可視蛍光画像と該可視濃淡画像との組み合わせを含む表示可能な画像を生成することと
を含む、方法。
【請求項２６】
前記不飽和化することが、
前記可視濃淡画像を形成するために、前記可視色画像から全ての色を実質的に除去することを含む、請求項２５に記載の方法。
【請求項２７】
前記蛍光画像の取得が、
前記手術部位を、前記可視電磁スペクトル外の電磁放射線に曝露することを含む、請求項２５に記載の方法。
【請求項２８】
前記蛍光画像内の蛍光を発する組織を前記可視色で着色することをさらに含む、請求項２５に記載の方法。
【請求項２９】
表示デバイス上に前記表示可能な画像を表示することと、
前記可視濃淡画像および前記蛍光画像のうちの１つまたは両方の輝度のレベルを調整することと
をさらに含む、請求項２５に記載の方法。
【請求項３０】
表示デバイス上に前記表示可能な画像を表示することと、
前記可視色画像の不飽和化のレベルを調整することと
をさらに含む、請求項２５に記載の方法。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【公表番号】特表２０１３−５０７１８２（Ｐ２０１３−５０７１８２Ａ）
【公表日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願番号】特願２０１２−５３３２２０（Ｐ２０１２−５３３２２０）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５０９８０
【国際公開番号】ＷＯ２０１１／０４３９８２
【国際公開日】平成２３年４月１４日（２０１１．４．１４）
【出願人】（５１０２５３９９６）インテュイティブ サージカル オペレーションズ， インコーポレイテッド (32)
【Ｆターム（参考）】
【公表日】平成２５年３月４日（２０１３．３．４）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５０９８０
【国際公開番号】ＷＯ２０１１／０４３９８２
【国際公開日】平成２３年４月１４日（２０１１．４．１４）
【出願人】（５１０２５３９９６）インテュイティブ サージカル オペレーションズ， インコーポレイテッド (32)
【Ｆターム（参考）】
[ Back to top ]