3次元テレストレーションを提供する医療ロボットシステム
【課題】解剖学的構造の3D画像上に3Dテレストレーションを提供する医療ロボットシステムおよび方法を提供すること。
【解決手段】医療ロボットシステムは、指導外科医から解剖学的構造の立体画像の対のうちの1つに関連する2Dテレストレーショングラフィック入力を受信することと、不一致マップを使用して立体画像の対のもう一方における対応する2Dテレストレーショングラフィック入力を決定することと、テレストレーショングラフィック入力をぞれぞれの立体画像の対のうちの1つにブレンドすることと、テレストレーショングラフィック入力の3Dビューが解剖学的構造の3Dビューに対するオーバレイとして手術をする外科医に表示され得るように、ブレンドされた結果を3Dディスプレイに提供することとによって、解剖学的構造の3Dビューの上に3Dテレストレーションを提供する。
【解決手段】医療ロボットシステムは、指導外科医から解剖学的構造の立体画像の対のうちの1つに関連する2Dテレストレーショングラフィック入力を受信することと、不一致マップを使用して立体画像の対のもう一方における対応する2Dテレストレーショングラフィック入力を決定することと、テレストレーショングラフィック入力をぞれぞれの立体画像の対のうちの1つにブレンドすることと、テレストレーショングラフィック入力の3Dビューが解剖学的構造の3Dビューに対するオーバレイとして手術をする外科医に表示され得るように、ブレンドされた結果を3Dディスプレイに提供することとによって、解剖学的構造の3Dビューの上に3Dテレストレーションを提供する。
【発明の詳細な説明】
【技術分野】
【0001】
(連邦委託研究または開発に関する記述)
本発明は、National Institues of Healthによって授与された契約第1 R41 EB004177−01号の下における政府支援によってなされた。政府は、本発明において所定の権利を有する。
【0002】
(技術分野)
本発明は、一般に、侵襲最小ロボット手術システムに関し、より詳細には、3次元テレストレーションを提供する医療ロボットシステムに関する。
【背景技術】
【0003】
腹腔鏡検査法および胸腔鏡検査法のような侵襲最小外科的方法は、劇的に、病的状態を減らし得、看護の鋭敏さを減らし得、回復時間を早め得、かつより多くの満足した患者につながり得る。従来の腹腔鏡検査法および胸腔鏡検査法を行う外科医は、しかしながら、急な学習曲線に直面し、開手術(open surgery)と比較して彼らの器用さの劇的な減少とともに、手術現場を見て触れられることの深刻な低下に対処しなければならない。
【0004】
外科的テレロボットは、高忠実度3次元(3D)ビジョンおよび工具シャフトの端にある直観(intuitive)間接手首を外科医に与え得、それによって外科的分野における対象物を感知および操作する外科医の能力を根本的に改良する。テレロボットは、外科医の手の動作を減らすこともでき、より正確な操作のために震えを除去することもできる。これらの進歩は、外科医が、従来不可能であったような全内視鏡冠動脈バイパス手術および全内視鏡根治的前立腺切除術のような困難な処置の速い採用を達成することを可能にする。
【0005】
様々な種類の外科的処置に対する基準の手法としての侵襲最小手術(MIS)の出現は、外科研修医のためのおよび外科開業医のための腹腔鏡検査法の技術習得の重要性を増加させた。現行の外科的トレーニングモデルは、進歩したMISにおける十分な経験を提供せず、複雑なMIS処置に対する学習曲線は、未経験の外科医に対する更なる複雑性につながり得る。
【0006】
進歩した腹腔鏡検査法における、外科研修医レジデントの挑戦は、MIS処置が更に複雑になるとともに、より困難になった。侵襲最小外科的教育は、外科的操作および視覚化スキルの新しいセットの発展を必要とする。この必要性に応ずるために、現行のゴールドスタンダードは、専用のレジデンシー後のMISフェローシップである。無生命の実験室およびシミュレーショントレーニングのようないくつかのストラテジーも、初期のトレーニングの間における進歩した腹腔鏡検査法の手術に対するレジデントの関与を増加させるために、異なる成功率によって発展された。
【0007】
より大きな挑戦は、進歩した侵襲最小手術を行うことに関心を抱いている既に開業している外科医に直面する。より少ない侵襲手法に向かう外科的看護の基準における進行中のシフトとともに、MIS処置に対する患者の強い要求は、動機付けを提供する。しかしながら、これらの外科医にとって、彼らのオープンまたは基本的なMISスキルを進歩したMIS処置に変えることはしばしば困難であり、不満足な外科的結果および増加した複雑さにつながる。
【0008】
開業医のための現行のトレーニングパラダイムは、無生物または動物の実験室において非常に限定されたハンドオン経験を備える処置特定短コースに集中していた。そのようなストラテジーは、適切な知識および経験ベースを広めることに対してかなり乏しく、本質的に、人間の実際の手術における経験を提供しない。生徒は、多数の初期処置において、彼らの外科的指導者の存在を頻繁に必要とする。少なくとも1つの研究は、共通の腹腔鏡検査法のトレーニングコースが、外科医を熟練させることに対して不十分であり、かつ訪問指導者による単一の監督セッションが十分であり得ないことを示した。
【0009】
従来の指導は、経験のある外科医の物理的存在を要求する。多数の新しい処置に対して、非常に少ない外科医が、一症例を監督または指導するための十分な経験を習得している。これは、その小グループの外科医に対する要求を増加させる。一症例を指導するために移動することは、指導者の実践および個人の人生から時間をとり、かつ学んでいる外科医および患者によって負担される費用を有する。
【0010】
テレストレーション(telestration)(「テレイラストレーション(tele−illustration)」を省略)は、効果的習得ツールとして示された。ここにおいて、指導者は、生徒の2次元外科的ビュー(view)にオーバレイされた図示を生成することができる。外科研修医が実権を握ったままであり得る一方、テレストレーションは、言語通信より更に明示的になり得、かつ機械的表示よりあまり不便にならない事がある指導の方法を提供する。テレストレーションは、指導者が、明瞭および有用なビジュアルキューを、同じ部屋またはある距離にわたって存在する、学んでいる外科医に提供することを可能にする。テレストレーションは、ロボット手術トレーニング機会のアクセス性を改良し、かつロボット補助手術に対する採用率を増加させる可能性を有す。
【0011】
ロボット外科的システムの一例は、Intuitive Surgical,Inc.,Sunnyvale,Californiaのda Vinci(登録商標)Surgical Systemである。da Vinci(登録商標) Surgical Systemは、僧帽弁修復、GERD病の治療のためのNissen Fundoplication、肥満に対するガスティックバイパス手術、前立腺の除去のための根治的前立腺切除術(da Vinci(登録商標)前立腺切除術)、食道手術、重症筋無力症のための胸腺切除、および双心室(biVentricular)再同期のための心外膜ペースメーカリードのような様々な種類の外科的処置のために使用され得る。
【0012】
da Vinci(登録商標) Surgical Systemのユニークな特徴は、手術を行っている外科医に対して優れたテレプレゼンスを提供するその3次元ディスプレイである。da Vinci(登録商標) Sugical Systemは、3次元シーンの錯覚を生成するために2つ陰極線管、一連のミラーおよび対物レンズを使用して右および左のステレオ画像を外科医に提供する。
【0013】
実の双眼3Dラパロスコピック環境における生徒へのテレストレーションは、いくつかの決定的な方法において、従来の2D腹腔鏡検査法の視覚化に対する多大な改良を表す。2D操作画像を3D精神解剖学的モデルに変えることを必要とする学習曲線は、MIS初心者および経験豊かな外科医等に対して重大な挑戦をもたらす。3次元における本来の立体視覚化を回復することが、一般に、外科的精度を大きく強化する一方、そのようなイメージングが患者の成功の結果に対して絶対的に重大である、多数の特定状況がある。血管茎の制御、神経スペアリング(nerve−sparing)解剖、微小血管吻合、ならびに心臓解剖および吻合のような技術的手技は、それぞれの解剖構造の各局面の詳細な理解を必要とする。
【0014】
そのような3次元ディスプレイにおけるテレストレーティングに対する一課題は、しかしながら、タッチスクリーンを用いる指導者が、2次元(2D)画像においてのみテレストレートできることである。それによって、指導者は、手術をする外科医がフットペダルに触れることを必要とするか、またはテレストレーションを見るために3Dビューから2Dビューにスイッチするための他のスイッチイングデバイスを必要とする。これは、外科医にテレストレーションの便益を与えるが、処置の流れを妨げ、かつ3Dビジョンの便益を除去する。
【0015】
指導者からの通信を効率的に理解し、それらを3Dの手術現場に適用するために、被訓練者は、指導者の図を見るために、低下した2Dディスプレイにスイッチするための彼のまたは彼女の流れを中断することなく、3Dにおけるそれらの通信を知覚できるべきである。モードを2Dにスイッチすることを被訓練者に要求することより、むしろ、手術中に被訓練者の3Dディスプレイに生で指導者のテレストレーションを生じさせることが、指導者と被訓練者間のより頻繁および即興の通信を奨励する。3Dテレストレーションを提供するための1つの選択は、指導者に3D入力デバイスおよびステレオディスプレイを使用させることである。しかしながら、含まれるコストおよびロジスティクスは、解決策の魅力およびスケーラビリティを激しく制限する。
【発明の開示】
【発明が解決しようとする課題】
【0016】
従って、本発明の一目的は、指導外科医のために3D入力デバイスおよびステレオディスプレイを必要としない解剖学的構造の3D画像上にテレストレートする方法を提供することである。
【0017】
本発明の他の目的は、実質的にリアルタイムにて動作し、かつ侵襲最小外科的処置においてローカルおよびリモートに指導するために適した解剖学的構造の3D画像上にテレストレートする方法を提供することである。
【0018】
本発明の更なる他の目的は、カメラに対して相対的に動いている解剖学的構造の3D画像上にテレストレートする方法を提供することである。
【0019】
本発明の更なる他の目的は、解剖学的構造の3D画像上に3Dテレストレーションを提供する医療ロボットシステムである。
【課題を解決するための手段】
【0020】
これらのおよび更なる目的は、本発明の様々な局面によって達成される。手短に述べると、一局面は、解剖学的構造の立体画像の対のうちの1つに関連するテレストレーショングラフィック入力を受信することと、テレストレーショングラフィック入力の3Dビューが解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定することとを包含する、解剖学的構造の3D画像においてテレストレートする方法である。
【0021】
他の局面は、解剖学的構造の立体画像の一対に関連するテレストレーショングラフィック入力を受信するように構成され、かつテレストレーショングラフィック入力の3Dビューが解剖学的構造の3Dビューに対するオーバレイとして表示され得るように、立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成される外科医コンソールを備える、3Dテレストレーションを提供する医療ロボットシステムである。
【0022】
他の局面は、侵襲最小外科的処置の間に患者の解剖学的構造の立体画像の対をキャプチャするために患者の体に挿入可能である立体カメラアセンブリ;立体カメラアセンブリによってキャプチャされた立体画像の対の右または左のビューを受信するように構成された受信器と、受信された右または左のビューを2次元で表示するためのディスプレイと、エキスパートコンソールのオペレータによる2次元で表示された右または左のビューの上のテレストレーショングラフィック入力の生成を容易するように構成されるテレストレーションデバイスと、テレストレーショングラフィック入力を送信するように構成される送信器とを有するエキスパートコンソール;および、立体カメラアセンブリによってキャプチャされた立体画像の対を受信するように構成される第1の受信器と、エキスパートコンソールの送信器によって送信されたテレストレーショングラフィック入力を受信するように構成される第2の受信器とを有する外科医コンソールであって、立体画像の受信された対から不一致マップを生成するように構成され、かつテレストレーショングラフィック入力の3Dビューが解剖学的構造の3Dビューに対するオーバレイとして表示され得るように、不一致マップを使用して立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成される、外科医コンソールとを備える、3Dテレストレーションを提供する医療ロボットシステムである。
【0023】
本発明はさらに、以下の手段を提供する。
【0024】
(項目1)
解剖学的構造の3次元画像においてテレストレートする方法であって、
解剖学的構造の立体画像の対のうちの1つに関連するテレストレーショングラフィック入力を受信することと、
該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定することと
を包含する、方法。
【0025】
(項目2)
上記解剖学的構造が、患者の体の外側である、項目1に記載の方法。
【0026】
(項目3)
上記解剖学的構造が、患者の体内の肉体部分である、項目1に記載の方法。
【0027】
(項目4)
ある場所から上記テレストレーショングラフィック入力を受信する前に該場所に上記立体画像の対のうちの上記1つに対する情報を送信することをさらに包含する、項目3に記載の方法。
【0028】
(項目5)
上記場所が、エキスパート外科医によって動作されるコンピュータである、項目4に記載の方法。
【0029】
(項目6)
上記立体画像の対のうちの上記1つに対する情報を上記場所に送信する前に、該立体画像の対に対する該情報を受信することをさらに包含する、項目4に記載の方法。
【0030】
(項目7)
上記立体画像の対に対する上記情報が、上記患者の上記体内に挿入された立体内視鏡から受信される、項目6に記載の方法。
【0031】
(項目8)
上記立体画像の対が、対応する右および左のカメラビューを含む、項目7に記載の方法。
【0032】
(項目9)
上記立体画像の対に対する上記受信された情報から不一致マップを生成することをさらに包含する、項目6に記載の方法。
【0033】
(項目10)
上記立体画像の対の上記もう一方における上記対応するテレストレーショングラフィック入力を決定することが、上記不一致マップを使用する、項目9に記載の方法。
【0034】
(項目11)
上記立体画像の対のうちの上記1つに対する情報を上記場所に送信した後、時間的に後の立体画像の対に対する情報を受信することと、
該立体画像の対に対する上記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させることと、
該解剖学的構造の該動きを追跡するために、上記テレストレーショングラフィック入力の上記3次元ビューを位置づけることと
をさらに包含する、項目6に記載の方法。
【0035】
(項目12)
上記立体画像の対に対する上記情報と上記時間的に後の立体画像の対に対する上記情報との上記相関を使用して信頼測定を決定することと、
該信頼測定の大きさに比例する明るさを用いて、上記テレストレーショングラフィック入力を表示することと
を包含する、項目11に記載の方法。
【0036】
(項目13)
上記テレストレーショングラフィック入力の上記3次元ビューを、上記解剖学的構造の3次元ビューに対する非破壊グラフィックオーバレイとして表示することをさらに包含する、項目1に記載の方法。
【0037】
(項目14)
上記テレストレーショングラフィック入力の上記3次元ビューを上記表示することは、該テレストレーショングラフィック入力の該3次元ビューが時間の経過とともに衰退するように実行される、項目13に記載の方法。
【0038】
(項目15)
3次元テレストレーションを提供する医療ロボットシステムであって、該医療ロボットシステムは、外科医コンソールであって、解剖学的構造の立体画像の対に関連するテレストレーショングラフィック入力を受信するように構成されており、かつ該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている外科医コンソールを備える、医療ロボットシステム。
【0039】
(項目16)
上記解剖学的構造が、患者の体の外側である、項目15に記載の医療ロボットシステム。
【0040】
(項目17)
上記解剖学的構造が、患者の体内の肉体部分である、項目15に記載の医療ロボットシステム。
【0041】
(項目18)
ある場所から上記テレストレーショングラフィック入力を受信する前に該場所に上記立体画像の対のうちの上記1つに対する情報を送信する手段をさらに備える、項目17に記載の医療ロボットシステム。
【0042】
(項目19)
上記場所が、エキスパート外科医によって動作されるコンソールである、項目18に記載の医療ロボットシステム。
【0043】
(項目20)
上記外科医コンソールが、上記立体画像の対のうちの上記1つに対する情報を上記場所に送信する前に、該立体画像の対に対する該情報を受信するようにさらに構成される、項目18に記載の医療ロボットシステム。
【0044】
(項目21)
上記立体画像の対に対する上記情報が、上記外科医コンソールによって上記患者の上記体内に挿入された立体内視鏡から受信される、項目20に記載の医療ロボットシステム。
【0045】
(項目22)
上記立体画像の対が、上記立体内視鏡の対応する右および左のカメラビューを含む、項目21に記載の医療ロボットシステム。
【0046】
(項目23)
上記外科医コンソールが、上記解剖学的構造の上記立体画像の対に対する上記受信された情報から不一致マップを生成するようにさらに構成される、項目20に記載の医療ロボットシステム。
【0047】
(項目24)
上記外科医コンソールが、上記立体画像の対の上記もう一方における上記対応するテレストレーショングラフィック入力を決定するために、上記不一致マップを使用するようにさらに構成される、項目23に記載の医療ロボットシステム。
【0048】
(項目25)
上記外科医コンソールが、上記立体画像の対のうちの上記1つに対する情報を上記場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する上記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させるようにさらに構成されており、かつ該解剖学的構造の該動きを追跡するために、上記テレストレーショングラフィック入力の上記3次元ビューを位置づけるようにさらに構成されている、項目20に記載医療ロボットシステム。
【0049】
(項目26)
上記外科医コンソールが、上記立体画像の対に対する上記情報と上記時間的に後の立体画像の対に対する情報との上記相関を使用して信頼測定を決定するようにさらに構成されており、該信頼測定の大きさに比例する明るさを用いて上記テレストレーショングラフィック入力を表示するようにさらに構成されている、項目25に記載の医療ロボットシステム。
【0050】
(項目27)
上記外科医コンソールは、3次元ディスプレイを含んでおり、かつ上記テレストレーショングラフィック入力の上記3次元ビューを、該3次元ディスプレイにおいて、上記解剖学的構造の3次元ビューに対するグラフィックオーバレイとして表示するようにさらに構成されている、項目15に記載の医療ロボットシステム。
【0051】
(項目28)
上記外科医コンソールが、上記テレストレーショングラフィック入力の上記3次元ビューが時間の経過とともに衰退するように、該テレストレーショングラフィック入力の該3次元ビューを表示するようにさらに構成されている、項目27に記載の医療ロボットシステム。
【0052】
(項目29)
3次元テレストレーションを提供する医療ロボットシステムであって、
侵襲最小外科的処置の間に患者の解剖学的構造の立体画像の対をキャプチャするために該患者の体に挿入可能である立体カメラアセンブリと、
該立体カメラアセンブリによってキャプチャされた該立体画像の対の右または左のビューを受信するように構成された受信器と、該受信された右または左のビューを2次元で表示するためのディスプレイと、エキスパートコンソールのオペレータによる該2次元で表示された右または左のビューの上のテレストレーショングラフィック入力の生成を容易するように構成されたテレストレーションデバイスと、該テレストレーショングラフィック入力を送信するように構成された送信器とを有するエキスパートコンソールと、
該立体カメラアセンブリによってキャプチャされた該立体画像の対を受信するように構成された第1の受信器と、該エキスパートコンソールの該送信器によって送信された該テレストレーショングラフィック入力を受信するように構成された第2の受信器とを有する外科医コンソールであって、該立体画像の受信された対から不一致マップを生成するように構成されており、かつ該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該不一致マップを使用して該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている、外科医コンソールと
を備える、医療ロボットシステム。
【0053】
(項目30)
上記外科医コンソールが、上記立体画像の対のうちの上記1つに対する情報をある場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する上記解剖学的構造の動きを決定するために該立体画像の対に対する該情報を該時間的に後の立体画像の対の情報と相関させるように構成されており、かつ該解剖学的構造の該動きを追跡するために上記テレストレーショングラフィック入力の上記3次元ビューを位置づけるようにさらに構成されている、項目29に記載の医療ロボットシステム。
【発明の効果】
【0054】
本発明により、指導外科医のために3D入力デバイスおよびステレオディスプレイを必要としない解剖学的構造の3D画像上にテレストレートする方法が提供され得る。
【0055】
また、本発明により、実質的にリアルタイムにて動作し、かつ侵襲最小外科的処置においてローカルおよびリモートに指導するために適した解剖学的構造の3D画像上にテレストレートする方法が提供され得る。
【0056】
また、本発明により、カメラに対して相対的に動いている解剖学的構造の3D画像上にテレストレートする方法が提供され得る。
【0057】
また、本発明により、解剖学的構造の3D画像上に3Dテレストレーションを提供する医療ロボットシステムが提供され得る。
【発明を実施するための最良の形態】
【0058】
本発明の更なる目的、特徴および利点は、その好ましい実施形態の添付の図面を考慮すべき以下の説明から明らかになるであろう。
【0059】
図1は、例として、3次元テレストレーションを提供する医療ロボットシステム100を示す。この例においては、手術をする外科医(S)は、患者(P)に侵襲最小外科的処置を行っている。更に、侵襲最小外科的処置におけるエキスパートであるか、または少なくともより経験がある指導外科医(M)は、処置のときに手術をする外科医(S)に指導またはアドバイスをする。患者(P)サイトに位置する一人以上のアシスタント(A)も、処置のときに手術をする患者(S)を補助し得る。
【0060】
システム100は、手術をする外科医(S)によって操作される外科医マスター制御ステーション151(明細書中において「外科医コンソール」とも呼ばれる)、3つのスレーブロボットメカニズム121〜123を有するスレーブカート120、および指導外科医(M)によって操作される指導者マスター制御ステーション131(明細書中において「指導者コンソール」とも呼ばれる)を含む。指導者マスター制御ステーション131は、点から成る曲線によって外科医マスター制御ステーション151から離れて示される。なぜなら、指導者マスター制御ステーション131は、外科医マスター制御ステーション151に対してローカル(すなわち、手術室環境内)であり、または外科医マスター制御ステーション151からリモート(すなわち、手術室環境からリモート)のいずれかになり得るからである。
【0061】
スレーブロボットメカニズム121〜123の遠位端に結合される手術関連デバイス(手術関連デバイス167のような)が、患者(P)に侵襲最小外科的処置を実行するために患者(P)内の切開(切開166のような)を介して挿入され得、かつ手術をする外科医(S)によってマスター制御ステーション151において操作され得るように、スレーブカート120は、患者(P)に沿って配置される。スレーブロボットメカニズム121〜123の各々は、好ましくは、リンケージであって、互いに結合され、かつ従来の様式においてモータ制御された継手を介して操作されているリンケージを含む。
【0062】
1つのスレーブカート120のみが本例において使用されるものとして示されるが、必要に応じて追加のスレーブカートも使用され得る。更に、カート120において、3つのスレーブロボットメカニズム121〜123が示されるが、必要に応じて1つのスレーブカートに対してより多く、またはより少ないスレーブロボットメカニズムが使用され得る。スレーブカート120のようなスレーブカートの追加の詳細は、本明細書中に参考に援用される、同一出願人に係る米国特許第6,837,883号の「Arm Cart for Telerobotic Surgical System」において見出され得る。
【0063】
立体内視鏡は、好ましくは、スレーブロボットメカニズムの遠位端に結合される手術関連デバイスの1つである。他の手術関連デバイスは、クランプ、捕捉器具(grasper)、はさみ、ホッチキス、および持針器のような、侵襲最小外科的処置を実行するための操作可能エンドエフェクタを備える様々な工具になり得る。
【0064】
一度に使用される手術関連デバイスの数、結果的に、システム100におけるスレーブロボットメカニズムの数は、一般に、診断用または外科的処置、ならびに他の要因との手術室内における空間制限による。処置の間に使用される1つ以上の手術関連デバイスを変更する必要がある場合、複数のアシスタント(A)のうちの1つは、もう必要ではない手術関連デバイスをそのスレーブロボットメカニズムの遠位端から除去し得、かつ手術室内の一盛りのそのようなデバイスからの他の手術関連デバイスと置き換え得る。代替的に、ロボットメカニズムは、手術をする外科医(S)の複数のマスター入力デバイスのうちの1つを使用して工具交換を実行するために、手術をする外科医(S)に提供され得る。
【0065】
侵襲最小外科的処置における外科医のコラボレーションおよび/または指導を容易にするために、参加する外科医の各々は、手術部位を見るための関連ディスプレイおよび他の参加する外科医と通信するためのマイクロホンおよびイアホンセットのような通信手段を有する。この場合における立体内視鏡の使用は、手術部位のリアルタイム、3次元画像の生成および表示を可能にする。
【0066】
より詳細には、3Dディスプレイ152は、外科医マスター制御ステーション151に結合または統合され、3Dディスプレイ132および2Dタッチスクリーン135は、指導者マスター制御ステーション131に結合または統合され、かつ2Dディスプレイ142は、ビジョンカート141上に提供される。その結合または統合は、手術をする外科医(S)、指導外科医(M)、および一人以上のアシスタント(A)が、侵襲最小外科的処置の間、手術部位を見ることが可能であるようになされる。
【0067】
参加者の各々に提供される通信手段は、従来のオーディオシステムの一部として、個々のマイクロホンおよびイアホン(またはスピーカ)構成要素、または代替的に、手術をする外科医(S)の頭の上に配置されて示されるヘッドホンセット153のような個々のヘッドホンセットを含み得る。好ましくは、二重オーディオ通信システム(マイクロホンおよびスピーカの対)は、各外科医のマスター制御ステーションに組み入れられる。代替的に、ヘッドセットのユーザに最大の快適および自由な動きを提供するためにワイヤレス通信を使用するもの、あるいはそれぞれのマスター制御ステーションまたはスレーブカートにワイヤを通じて接続され得、次いで、手術をする外科医(S)、指導外科医(M)および一人以上のアシスタント(A)の間の音声通信のためにライン110およびライン112を通じて一緒に接続されるものも含む、ヘッドセットが使用され得る。
【0068】
図2は、簡略化した例として、外科医コンソールまたはマスター制御ステーション151の正面斜視図を示す。外科医コンソール151に含まれるものは、右および左の眼窩223および224を有する3Dディスプレイ152である。ここにおいて、眼窩は、外科医コンソール151の前に着席している外科医がその眼窩を通して下を見て、それによってそこで見られた手術部位がそのような位置にあるという感覚を外科医に与えるように位置される。右および左のマスター入力デバイス203および204も含まれる。ここにおいて、マスター入力デバイスは、外科医が3Dディスプレイ152を通じて見られるように手術部位における関連器具を直接操作しているとう感覚を外科医が有するように、外科医コンソール151の凹所領域210内に位置される。プロセッサ240は、処理能力を提供するために外科医コンソール151に結合または統合される。テレストレーションをターンオンおよびターンオフするため、テレストレーションを隠し表示して後でリコールするため、または3Dディスプレイ151において3Dと2Dビュー間をスイッチするためのようなスイッチング能力を提供するために、フットペダル231も外科医コンソール151に含まれる。代替的に、そのようなスイッチング能力は、テレストレーションデバイス、入力デバイス、または制御コンソールディスプレイ上のボタンを使用してインプリメントされ得るか、または音声入力によってインプリメントされ得る。
【0069】
外科医マスター制御ステーション151のようなマスター制御ステーションの追加の詳細は、本明細書中に参考に援用される、同一出願人に係る米国特許第6,714,839号の「Master Having Redundant Degrees of Freedom」および同一出願人に係る米国特許第6,659,939号の「Cooperative Minimally Invasiive Telesurgical System」において見出され得る。指導者マスター制御ステーション131は、外科医コンソール151に類似して構成され得るか、または代替的に、単に、手術部位(例えば、外科医マスター制御ステーション151から提供されるように)の2Dビューイングのための取り付けられたタッチスクリーンおよびデジタルペンを備える従来のパーソナルコンピュータ、およびそこに見られる解剖学的構造におけるテレストレーションになり得る。
【0070】
侵襲最小外科的処置を実行するために、手術をする外科医(S)は、右および左のマスター入力デバイス203および204のうちの1つまたは両方を操作し得る。それによって、スレーブロボットメカニズム123のような関連スレーブロボットメカニズムは、手術をする外科医(S)が彼または彼女の3Dディスプレイ152を通じて手術部位を見る間、患者(P)の体内にある切開166のような侵襲最小切開を介して外科的デバイス167のようなそれぞれの手術関連デバイスを操作する。
【0071】
好ましくは、手術をする外科医(S)が関連する手術関連デバイスを直接制御しているという強い認識力を有するように、マスター入力デバイスは、手術をする外科医(S)に、テレプレゼンス、またはマスター入力デバイスがそれらに関連する手術関連デバイスと統合しているという知覚を提供するために、それらの関連する手術関連デバイスと同じ自由度において移動可能になる。このために、位置、力、および触覚フィードバックセンサは、好ましくは、位置、力、および触覚感覚をデバイス(またはそれらのスレーブロボットメカニズム)からそれらの関連するマスター入力デバイスに送信し戻すように使用される。それは、手術をする外科医(S)が、マスター入力デバイスを動作するとともに、彼または彼女の手によってそのように感じ得るようにである。
【0072】
前述したように、テレプレゼンス経験を更に拡張するために、マスター制御ステーション151の3Dディスプレイ152上に表示される手術部位の3D画像(およびそこに見られる解剖学的構造)は、手術をする外科医(S)が手術部位を実際に下に直接向いて見ていると感じるように適応される。このために、手術をする外科医(S)によって操作される手術関連デバイスの画像は、観測点(すなわち、内視鏡またはビューイングカメラ)が画像の視点からではない場合もあり得るにも関らず、彼または彼女の手が位置している場所に実質的に配置されるように見える。
【0073】
医療ロボットシステム100および3Dディスプレイ152のようなテレプレゼンスシステムおよび3Dディスプレイの追加の詳細は、本発明の譲受人によって排他的にライセンスされ、本明細書中に参考に援用される米国特許第5,808,665号の「Endoscopic Surgical Instrument and Method for Use」、および本明細書中に参考に援用され、同一出願人に係る米国特許第6,424,885号の「Camera Referenced Control in a Minimally Invasibe Surgical Apparatus」において見出され得る。
【0074】
図3は、一例として、3Dテレストレーションを提供する医療ロボットシステムの一部のブロック図を示す。この例において、手術をする外科医(S)が患者(P)に沿ってローカルに配置(すなわち、手術室内にて)される一方、指導外科医(M)は、リモートに配置(すなわち、手術室内ではない)されると仮定される。
【0075】
患者内における手術部位に挿入された立体内視鏡(スレーブロボットメカニズム122に結合される手術関連デバイスのような)によってキャプチャされた右(R)および左(L)のカメラビュー(または立体画像の対)の情報は、外科医コンピュータ302(マスター制御ステーション151のプロセッサ240のような)によって立体内視鏡301から受信される。同時に、立体画像の各対のうちの1つのカメラビュー(例えば、右のカメラビューのような)は、映像通信インターフェース306および316を介してエキスパートまたは指導者コンピュータ312(指導者マスター制御ステーション131に結合されまたは統合されるプロセッサのような)に送信される。そのような目的のために適した映像通信インターフェースの例としては、Pleasanton,CaliforniaのPolycom Inc.によって配布されるPolycom VS4000またはVSX 7000eが挙げられる。手術部位における解剖学的構造のうちの1つのカメラビューを送信するためのそれらの使用に追加して、映像通信インターフェース306および316は、それぞれが外科医コンピュータ302およびエキスパートコンピュータ312を動作する手術をする外科医とエキスパート外科医との間のオーディオを通信するためにも使用され得る。
【0076】
外科医コンピュータ302は、立体画像の対に対する受信された情報を処理し、それらを手術をする外科医(S)による3次元ビューイングのために3Dディスプレイ303(マスター制御ステーション151の3Dディスプレイ152のような)に提供する。手術をする外科医(S)は、次いで、スレーブロボットメカニズム305(スレーブカート120のスレーブロボットメカニズム121および123のような)、結果的にはそれらの取り付けられた手術関連デバイスを駆動するようにマスター操作器304(右および左のマスター入力デバイス203および204)を操作する。
【0077】
その間、エキスパートコンピュータ312は、受信されたカメラビューを処理し、それを指導外科医(M)による2次元ビューイングのためにタッチスクリーン313(指導者マスター制御ステーション131に結合されるタッチスクリーン135のような)に提供する。そのような目的のために適したタッチスクリーンの一例は、Vancouver,WashingtonのWacom Technology Corp.によって配布されるWacom Cintiq 15Xである。指導者外科医(M)は、次いで、デジタルペン(指導者マスター制御ステーション131に結合されるデジタルペン136のような)を使用してタッチスクリーン313の表面にテレストレーショングラフィックを描き得る。テレストレーショングラフィックは、典型的に、手書きの線、円、矢印等になり得る。
【0078】
指導外科医(M)がテレストレーショングラフィック入力の情報を描く一方、エキスパートコンピュータ312は、次いで、例えば、TCP/IP接続を介して部分的にリアルタイムに外科医コンピュータ302にテレストレーショングラフィック入力の情報を自動的に送信し得る。あるいは、エキスパートコンピュータ312は、例えば、タッチスクリーン313またはそのデジタルペン上の適切なボタンまたはスイッチをクリックすることによって、指導外科医(M)が送信が行われるべきであること示した後にだけTCP/IP接続を介してテレストレーショングラフィック入力の全体を送信し得る。
【0079】
外科医コンピュータ302は、次いで、エキスパートコンピュータ312から受信されたテレストレーショングラフィック入力を処理する。それは、テレストレーショングラフィック入力の3Dビューが、図6を参照して説明される方法に従い、3Dディスプレイ303内のテレストレーショングラフィック入力に対応する解剖学的構造の3Dビューに対するオーバレイとして表示され得るようにである。本明細書中に説明されるように、それぞれのタスクを実行するように外科医コンピュータ302およびエキスパートコンピュータ312にそれぞれ構成されるモジュールについての追加の詳細は、図4および図5を参照して更に下述される。
【0080】
図4は、一例として、3Dテレストレーション能力を外科医コンピュータ302に提供するモジュールおよび外科医コンピュータ302のこれらのモジュールと相互作用するハードウェア構成要素のブロック図を示す。図5は、一例として、テレストレーショングラフィック入力を生成し、それをそのようなグラフィック入力の3Dテレストレーションのために外科医コンピュータ302に送信する能力を指導者またはエキスパートコンピュータ312に提供するモジュール、およびエキスパートコンピュータ312のこれらのモジュールと相互作用するハードウェア構成要素のブロック図を示す。
【0081】
初めに図4を参照すると、カナダのMatrox Electronic Systems Ltd.によって配布されるMatrox Orionフレームグラバーボードのような画像取得モジュール401は、内視鏡カメラからの左および右のNTSC信号においてのように、立体内視鏡301からの立体画像の対の情報をキャプチャする。更に、その情報を画像取得モジュール401によってキャプチャされる、対応する右および左のカメラビュー(またはフレーム)を使用して不一致マップを定期的に生成または更新する画像相関モジュール402に提供する。
【0082】
画像取得モジュール401の出力は、タッチスクリーン412上に2Dにて表示される、Wacom Cintiq 15Xのようなローカルタッチスクリーン412に立体画像の対のうちの選択された1つのために情報を提供するローカルユーザインターフェース411にも提供され得る。ローカルエキスパートまたは指導外科医は、次いで、レンダリングユニット404に提供されるテレストレーショングラフィックユニットを生成するために、デジタルペンを使用してタッチスクリーン412上にてテレストレートし得る。
【0083】
画像取得モジュール401の出力は、立体画像のキャプチャされた対をレンダリングユニット404によって生成される3Dテレストレーショングラフィックユニットと組み合わせ、その組み合わせを手術をする外科医(S)による3次元ビューイングのために3Dディスプレイ303に提供するグラフィックオーバレイモジュール405にも提供される。レンダリングユニット404は、ローカルユーザインターフェース411を介してローカル指導者から、またはテレストレーショングラフィック受信ユニット403を介してリモート指導者のいずれかから、立体画像の対のうちの1つに関連する2Dテレストレーショングラフィック入力を受信し得る。
【0084】
図5を参照すると、Matrox Orionフレームグラバーのような画像取得モジュール501は、内視鏡カメラからの右のNTSC信号においてのように、映像通信インターフェース316によって受信される立体画像の対のうちの選択された1つの情報をキャプチャする。更に、その情報をタッチスクリーン313上の2Dに表示されるように、Wacom Cintiq 15Xのようなタッチスクリーン313に、リモートユーザインターフェース502を介して提供する。
【0085】
エキスパートまたは指導外科医は、次いで、リモートユーザインターフェース502を介してテレストレーショングラフィック送信ユニット503に提供されるテレストレーショングラフィック入力を生成するために、デジタルペンを使用してタッチスクリーン313上にテレストレートし得る。テレストレーショングラフィック送信ユニットは、次いで、TCP/IPを通じてリアルタイムにて自動的にまたはユーザコマンドによって、外科医コンピュータ302内のテレストレーショングラフィック受信ユニット403に、テレストレーショングラフィック入力をメタデータ(選択されたグラフィック言語形式であり得る)として送信する。
【0086】
図6は、立体内視鏡301から受信された立体画像の対の情報において動作する外科医コンピュータ302内のモジュールによって一般的に実行される解剖学的構造の3D画像上にテレストレートするための方法のフロー図を示す。テレストレーションはリモート指導者外科医(すなわち、手術室環境からリモートである)によって実行されることがこの例の目的に対して仮定されるが、この方法が、テレストレーションがローカル指導者外科医(すなわち、手術室環境内において)によって実行される場合に対しても同様に適用可能であることが理解される。
【0087】
方法を実行する前、立体内視鏡301は、好ましくは、その内因性および外因性パラメータの両方に対して完全に較正される。それは、光学的ひずみが除去され、結果の透視画像は、アライメントへと直されるようにである。より詳細には、図9における例に示されるように、この様式において立体内視鏡301を較正することは、左および右のカメラビュー画像における相関点の間の不一致が水平のエピポーラ(epipolar)線に沿ってあり、誤った一致に対してより少ないチャンスを備える1次元サーチを可能にし、それによって、解像度および正確度を改良する。この非リアルタイムカメラ較正は、一般に、California Institute of Technology(Caltech)のウェブサイトからダウンロード可能であるCamera Calibration Toolbox for Matlab(登録商標)を用いてのように、従来技術を使用して実行される。
【0088】
601において、画像取得モジュール401は、立体内視鏡301から立体画像の対の情報を連続して受信する。同時に、映像通信ユニット306は、リモートエキスパートタッチスクリーン313への送信のために、立体内視鏡301から立体画像の対のうちの選択された1つ(例えば、立体内視鏡301内の右および左のカメラのうちの1つに対応する)のみに対する情報を連続して受信し得る。
【0089】
602において、画像取得モジュール401は、601にて受信された情報から右および左のカメラビュー(すなわち、右および左の2Dフレーム)のセットをキャプチャまたは取得する。更に、画像取得モジュール401は、そのカメラビューを、好ましくは、リアルタイム動作に対して十分に速く、かつ侵襲最小外科的処置に適した手術部位の3Dビューを提供するために十分に正確である画像相関アルゴリズムを使用して右および左のカメラビューから不一致マップを構成する画像相関モジュール402に提供する。そのような画像相関アルゴリズムの一例は、本明細書中に参考に援用される、Douglas P.Hartに公布されMassachusetts Institute of Technologyに譲渡された米国特許第6,108,458号の「Sparse Array Image Correlation」に説明される。
【0090】
603において、レンダリングユニット404は、第一に、リモート指導者またはローカル指導者から受信されるテレストレーショングラフィック入力の3Dビューをレンダリングする。グラフィックオーバレイモジュール405は、次いで、601にて受信されたステレオ画像の対によって提供されたように、手術部位の3Dビューの上にテレストレーショングラフィック入力のレンダリングされた3Dビューをオーバレイする。最後に、グラフィックオーバレイモジュール405は、オーバレイされた3Dテレストレーショングラフィック入力を手術部位の3Dビューに提供する。それは、3Dディスプレイ303が、それらを手術をする外科医(S)に表示し得るようにである。
【0091】
604において、立体内視鏡301から立体画像の対の情報を連続して受信する画像取得モジュール401は、前にキャプチャされたものの時間的に後に受信される情報から右および左のカメラビュー(すなわち、右および左の2Dフレーム)の他のセットをキャプチャまたは取得する。
【0092】
605において、後に受信された情報の右および左のフレームは、適切な画像相関アルゴリズムを使用してそれらの前にキャプチャされた対応物と相関される(すなわち、時間t+1にてキャプチャされる右のフレームは、時間t+0にて前にキャプチャされた右のフレームと相関され、時間t+1にてキャプチャされる左のフレームは、時間t+0にて前にキャプチャされた左のフレームと相関される)。このように、右および左のフレームをそれらの前にキャプチャされた対応物と相関させることによって、手術部位にあり、カメラビュー内の解剖学的構造の動きは決定され得る。更に、テレストレーショングラフィック入力の3Dポジションは、それが描かれたものの上で、解剖学的構造の追跡動きに従って動かされ得る。更に、信頼測定は相関値のように計算され得、表示されたテレストレーショングラフィック入力の明るさは、信頼測定の大きさに比例し得る。
【0093】
606において、ロールオーバカウンタはインクリメントされ、607において、カウンタはロールオーバしたか否かをチェックされる。ロールオーバをしていない場合、この方法は、内側ループ603〜607を繰り返すためにループバックする。ロールオーバした場合、この方法は、外側ループ602〜607を繰り返すためにループバックする。このようにして、602における不一致マップの生成は、604〜605にて実行された解剖学追跡と比較して低頻度にて実行され得る。例えば、ロールオーバカウンタのためのクロック周波数およびロールオーバ値を適切に選択することによって、内側ループ603〜607は、30Hzの周波数において実行され得る。その一方、外側ループ602〜607は、1Hzのレートのように、より低頻度に実行される。ロールオーバカウンタがこの目的のために使用されるように説明されるが、同じまたは類似した機能を達成するための他の従来技術が代わりに使用され得、それらは本発明の範囲内にあるように十分に考えられる。
【0094】
図7は、一例として、図6を参照して説明される方法の機能603を実行するときにレンダリングユニット404およびグラフィックオーバレイモジュール405によって実行されるタスクを詳しく述べるフロー図を示す。立体画像の対の右のカメラビューが、ビューイングおよびテレストレーションのためにリモート指導外科医に送信されたことがこの例において仮定されるが、明細書中に説明される以下および他の方法は、代わりに左のビューが送信される場合に対しても同様に適用可能である。
【0095】
701において、レンダリングユニット404は、テレストレーショングラフィック受信ユニット403を通じてリモート指導外科医から、立体画像の対の右のカメラビューに対応するテレストレーショングラフィック入力のための情報を受信する。受信された情報が、好ましくは、テレストレーショングラフィック入力を選択されたグラフィック言語に規定するので、レンダリングユニット404は、受信された情報を不一致マップと一致するように必要に応じて変換する。
【0096】
好ましくは、テレストレーショングラフィック入力の深さは、右のカメラビューに位置する解剖学的構造と同じである。従って、右のカメラビューに対応する受信されたテレストレーショングラフィック入力の位置から、テレストレーショングラフィック入力の深さは、不一致マップを使用して容易に決定可能である。なぜなら、不一致マップは、立体内視鏡301のための較正処理の間、非リアルタイムにおいて決定され得る深さマップに直接関連するからである。
【0097】
702において、レンダリングユニット404は、次いで、右のカメラビュー内の受信されたテレストレーショングラフィック入力位置に対応する左のカメラビュー内のテレストレーショングラフィック入力位置を決定する。これは、右および左のカメラビューのために前に生成された不一致マップを使用することによって行われる。より詳細に、右のカメラビューに対応する受信されたテレストレーショングラフィック入力の選択された点に対して、不一致値は読み取られる。読み取られない場合、これらの点の場所における不一致マップから決定される。それらの点に対する左のカメラビュー内の対応する場所は、次いで、不一致値によって右のカメラビュー内の場所を調節することによって決定される。
【0098】
703において、グラフィックオーバレイモジュール405は、右のカメラビューに対して位置されたテレストレーショングラフィック入力を右のカメラビューの上にオーバレイするか、または右のカメラビューとブレンドする。更に、左のカメラビューに対して位置されたテレストレーショングラフィック入力を左のカメラビューの上にオーバレイするか、または左のカメラビューとブレンドする。好ましくは、両方のオーバレイは、内在するカメラビュー情報が保存されるように、非破棄様式において実行される。グラフィックオーバレイモジュール405は、次いで、オーバレイされた3Dテレストレーショングラフィック入力を備える立体の右および左のカメラビュー情報を3Dディスプレイ303に提供する。それは、手術をする外科医(S)が、3D解剖学的構造上に適切に位置される3Dテレストレーショングラフィック入力で手術部位を見得るようにである。必要に応じて、情報は、3Dテレストレーショングラフィック入力がリアルタイムに手によって描かれたように現れるか、または一度に全体において現れるかのどちらかの方法において、3Dディスプレイ303に提供され得る。更に、必要に応じて、情報は、3Dテレストレーショングラフィック入力が1つの端からもう一方の端まで徐々に消えるか、または全ての点を一緒に衰退させるかのどちらかによって、ある期間の後に衰退するような方法において、3Dディスプレイ303に提供され得る。更に、前述されたように、信頼測定は相関値のように計算され得、表示されたテレストレーショングラフィック入力の明るさは、信頼測定の大きさに比例し得る。
【0099】
図8は、一例として、図6を参照して説明される方法の解剖学的構造追跡機能605を実行するときにレンダリングユニット404およびグラフィックオーバレイモジュール405によって実行されるタスクを詳しく述べるフロー図を示す。801において、レンダリングユニット404は、画像相関モジュール402に、(a)画像取得モジュール401によって、最も最近キャプチャされた右のカメラビューをその直前にキャプチャされた右のカメラビューと相関させ、(b)画像取得モジュール401によって、最も最近キャプチャされた左のカメラビューをその直前にキャプチャされた左のカメラビューと相関させることによってフレーム−フレーム(F/F)画像相関を実行する。このF/F画像相関を実行することによって、立体内視鏡の3D空間内の新しい位置が、テレストレーショングラフィック入力が上にオーバレイされる解剖学的構造のために決定される。
【0100】
仮に、立体内視鏡301に対して相対的であったとしても、手術部位において見られる解剖学的構造はゆっくりと動くことだけを期待されているため、801にて実行されるF/F画像相関は、不一致マップを構成するために602にて実行される画像相関より速く実行され得る。なぜなら、画像相関が実行される領域が減少され得るからである。領域のこの減少は、特に有用である。なぜなら、右および左のカメラビューにおける識別特性の位置が、水平のエピポーラ線に沿うそれらの不一致値によってのみ異なることが期待される不一致マップ決定とは違って、解剖学追跡目的のためには、垂直および深さの動きを考慮することも有用であるからである。
【0101】
802において、レンダリングユニット404は、次いで、最も最近のキャプチャされた右および左のカメラビュー内のテレストレーショングラフィック入力の位置を更新する。それによって、テレストレーショングラフィック入力が上にオーバレイされる解剖学的構造の動きを追跡する。特に、解剖学的構造およびテレストレーショングラフィック入力の共有された(すなわち、オーバレイされた)点の各々のために、テレストレーショングラフィック入力点は、F/F画像相関を通じて決定されたように、右および左の両方のカメラビューにおけるその対応する解剖学的構造点の新しい位置に移動される。
【0102】
本発明の様々な局面が好ましい実施形態に対して説明されたが、本発明に、添付の特許請求の範囲の全範囲内の完全な保護が与えられることが理解される。
【0103】
医療ロボットシステムは、指導外科医から解剖学的構造の立体画像の対のうちの1つに関連する2Dテレストレーショングラフィック入力を受信することと、不一致マップを使用して立体画像の対のもう一方における対応する2Dテレストレーショングラフィック入力を決定することと、テレストレーショングラフィック入力をぞれぞれの立体画像の対のうちの1つにブレンドすることと、テレストレーショングラフィック入力の3Dビューが解剖学的構造の3Dビューに対するオーバレイとして手術をする外科医に表示され得るように、ブレンドされた結果を3Dディスプレイに提供することとによって、解剖学的構造の3Dビューの上に3Dテレストレーションを提供する。
【0104】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【図面の簡単な説明】
【0105】
【図1】本発明の局面を使用して、3Dテレストレーションを提供する医療ロボットシステムを備える手術室の平面図を示す。
【図2】本発明の局面を使用するように構成されるプロセッサを含むマスター制御ステーションの正面斜視図を示す。
【図3】本発明の局面を使用して、3Dテレストレーションを提供する医療ロボットシステムのブロック図を示す。
【図4】本発明の局面を使用して、外科医コンピュータ内のモジュールおよび外科医コンピュータに結合された構成要素のブロック図を示す。
【図5】本発明の局面を実施するために有用である、エキスパートコンピュータ内のモジュールおよびエキスパートコンピュータに結合された構成要素のブロック図を示す。
【図6】本発明の局面を使用して、解剖学的構造の3D画像上にテレストレートする方法のフロー図を示す。
【図7】本発明の局面を使用して、3D解剖学的構造の上に3Dテレストレーショングラフィック入力をオーバレイする方法のフロー図を示す。
【図8】本発明の局面を使用して、解剖追跡および追跡された解剖学的構造の上の3Dテレストレーションのための方法のフロー図を示す。
【図9】本発明の局面を実施するために有用である、3D座標フレームにおける点の立体画像の対に対するエピポーラジオメトリの一例を示す。
【符号の説明】
【0106】
100 医療ロボットシステム
120 スレーブカート
131 指導者マスター制御ステーション
132、152 3Dディスプレイ
135 2Dタッチスクリーン
136 デジタルペン
141 ビジョンカート
142 2Dディスプレイ
151 外科医マスター制御ステーション
153 ヘッドホンセット
166 切開
167 手術関連デバイス
【技術分野】
【0001】
(連邦委託研究または開発に関する記述)
本発明は、National Institues of Healthによって授与された契約第1 R41 EB004177−01号の下における政府支援によってなされた。政府は、本発明において所定の権利を有する。
【0002】
(技術分野)
本発明は、一般に、侵襲最小ロボット手術システムに関し、より詳細には、3次元テレストレーションを提供する医療ロボットシステムに関する。
【背景技術】
【0003】
腹腔鏡検査法および胸腔鏡検査法のような侵襲最小外科的方法は、劇的に、病的状態を減らし得、看護の鋭敏さを減らし得、回復時間を早め得、かつより多くの満足した患者につながり得る。従来の腹腔鏡検査法および胸腔鏡検査法を行う外科医は、しかしながら、急な学習曲線に直面し、開手術(open surgery)と比較して彼らの器用さの劇的な減少とともに、手術現場を見て触れられることの深刻な低下に対処しなければならない。
【0004】
外科的テレロボットは、高忠実度3次元(3D)ビジョンおよび工具シャフトの端にある直観(intuitive)間接手首を外科医に与え得、それによって外科的分野における対象物を感知および操作する外科医の能力を根本的に改良する。テレロボットは、外科医の手の動作を減らすこともでき、より正確な操作のために震えを除去することもできる。これらの進歩は、外科医が、従来不可能であったような全内視鏡冠動脈バイパス手術および全内視鏡根治的前立腺切除術のような困難な処置の速い採用を達成することを可能にする。
【0005】
様々な種類の外科的処置に対する基準の手法としての侵襲最小手術(MIS)の出現は、外科研修医のためのおよび外科開業医のための腹腔鏡検査法の技術習得の重要性を増加させた。現行の外科的トレーニングモデルは、進歩したMISにおける十分な経験を提供せず、複雑なMIS処置に対する学習曲線は、未経験の外科医に対する更なる複雑性につながり得る。
【0006】
進歩した腹腔鏡検査法における、外科研修医レジデントの挑戦は、MIS処置が更に複雑になるとともに、より困難になった。侵襲最小外科的教育は、外科的操作および視覚化スキルの新しいセットの発展を必要とする。この必要性に応ずるために、現行のゴールドスタンダードは、専用のレジデンシー後のMISフェローシップである。無生命の実験室およびシミュレーショントレーニングのようないくつかのストラテジーも、初期のトレーニングの間における進歩した腹腔鏡検査法の手術に対するレジデントの関与を増加させるために、異なる成功率によって発展された。
【0007】
より大きな挑戦は、進歩した侵襲最小手術を行うことに関心を抱いている既に開業している外科医に直面する。より少ない侵襲手法に向かう外科的看護の基準における進行中のシフトとともに、MIS処置に対する患者の強い要求は、動機付けを提供する。しかしながら、これらの外科医にとって、彼らのオープンまたは基本的なMISスキルを進歩したMIS処置に変えることはしばしば困難であり、不満足な外科的結果および増加した複雑さにつながる。
【0008】
開業医のための現行のトレーニングパラダイムは、無生物または動物の実験室において非常に限定されたハンドオン経験を備える処置特定短コースに集中していた。そのようなストラテジーは、適切な知識および経験ベースを広めることに対してかなり乏しく、本質的に、人間の実際の手術における経験を提供しない。生徒は、多数の初期処置において、彼らの外科的指導者の存在を頻繁に必要とする。少なくとも1つの研究は、共通の腹腔鏡検査法のトレーニングコースが、外科医を熟練させることに対して不十分であり、かつ訪問指導者による単一の監督セッションが十分であり得ないことを示した。
【0009】
従来の指導は、経験のある外科医の物理的存在を要求する。多数の新しい処置に対して、非常に少ない外科医が、一症例を監督または指導するための十分な経験を習得している。これは、その小グループの外科医に対する要求を増加させる。一症例を指導するために移動することは、指導者の実践および個人の人生から時間をとり、かつ学んでいる外科医および患者によって負担される費用を有する。
【0010】
テレストレーション(telestration)(「テレイラストレーション(tele−illustration)」を省略)は、効果的習得ツールとして示された。ここにおいて、指導者は、生徒の2次元外科的ビュー(view)にオーバレイされた図示を生成することができる。外科研修医が実権を握ったままであり得る一方、テレストレーションは、言語通信より更に明示的になり得、かつ機械的表示よりあまり不便にならない事がある指導の方法を提供する。テレストレーションは、指導者が、明瞭および有用なビジュアルキューを、同じ部屋またはある距離にわたって存在する、学んでいる外科医に提供することを可能にする。テレストレーションは、ロボット手術トレーニング機会のアクセス性を改良し、かつロボット補助手術に対する採用率を増加させる可能性を有す。
【0011】
ロボット外科的システムの一例は、Intuitive Surgical,Inc.,Sunnyvale,Californiaのda Vinci(登録商標)Surgical Systemである。da Vinci(登録商標) Surgical Systemは、僧帽弁修復、GERD病の治療のためのNissen Fundoplication、肥満に対するガスティックバイパス手術、前立腺の除去のための根治的前立腺切除術(da Vinci(登録商標)前立腺切除術)、食道手術、重症筋無力症のための胸腺切除、および双心室(biVentricular)再同期のための心外膜ペースメーカリードのような様々な種類の外科的処置のために使用され得る。
【0012】
da Vinci(登録商標) Surgical Systemのユニークな特徴は、手術を行っている外科医に対して優れたテレプレゼンスを提供するその3次元ディスプレイである。da Vinci(登録商標) Sugical Systemは、3次元シーンの錯覚を生成するために2つ陰極線管、一連のミラーおよび対物レンズを使用して右および左のステレオ画像を外科医に提供する。
【0013】
実の双眼3Dラパロスコピック環境における生徒へのテレストレーションは、いくつかの決定的な方法において、従来の2D腹腔鏡検査法の視覚化に対する多大な改良を表す。2D操作画像を3D精神解剖学的モデルに変えることを必要とする学習曲線は、MIS初心者および経験豊かな外科医等に対して重大な挑戦をもたらす。3次元における本来の立体視覚化を回復することが、一般に、外科的精度を大きく強化する一方、そのようなイメージングが患者の成功の結果に対して絶対的に重大である、多数の特定状況がある。血管茎の制御、神経スペアリング(nerve−sparing)解剖、微小血管吻合、ならびに心臓解剖および吻合のような技術的手技は、それぞれの解剖構造の各局面の詳細な理解を必要とする。
【0014】
そのような3次元ディスプレイにおけるテレストレーティングに対する一課題は、しかしながら、タッチスクリーンを用いる指導者が、2次元(2D)画像においてのみテレストレートできることである。それによって、指導者は、手術をする外科医がフットペダルに触れることを必要とするか、またはテレストレーションを見るために3Dビューから2Dビューにスイッチするための他のスイッチイングデバイスを必要とする。これは、外科医にテレストレーションの便益を与えるが、処置の流れを妨げ、かつ3Dビジョンの便益を除去する。
【0015】
指導者からの通信を効率的に理解し、それらを3Dの手術現場に適用するために、被訓練者は、指導者の図を見るために、低下した2Dディスプレイにスイッチするための彼のまたは彼女の流れを中断することなく、3Dにおけるそれらの通信を知覚できるべきである。モードを2Dにスイッチすることを被訓練者に要求することより、むしろ、手術中に被訓練者の3Dディスプレイに生で指導者のテレストレーションを生じさせることが、指導者と被訓練者間のより頻繁および即興の通信を奨励する。3Dテレストレーションを提供するための1つの選択は、指導者に3D入力デバイスおよびステレオディスプレイを使用させることである。しかしながら、含まれるコストおよびロジスティクスは、解決策の魅力およびスケーラビリティを激しく制限する。
【発明の開示】
【発明が解決しようとする課題】
【0016】
従って、本発明の一目的は、指導外科医のために3D入力デバイスおよびステレオディスプレイを必要としない解剖学的構造の3D画像上にテレストレートする方法を提供することである。
【0017】
本発明の他の目的は、実質的にリアルタイムにて動作し、かつ侵襲最小外科的処置においてローカルおよびリモートに指導するために適した解剖学的構造の3D画像上にテレストレートする方法を提供することである。
【0018】
本発明の更なる他の目的は、カメラに対して相対的に動いている解剖学的構造の3D画像上にテレストレートする方法を提供することである。
【0019】
本発明の更なる他の目的は、解剖学的構造の3D画像上に3Dテレストレーションを提供する医療ロボットシステムである。
【課題を解決するための手段】
【0020】
これらのおよび更なる目的は、本発明の様々な局面によって達成される。手短に述べると、一局面は、解剖学的構造の立体画像の対のうちの1つに関連するテレストレーショングラフィック入力を受信することと、テレストレーショングラフィック入力の3Dビューが解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定することとを包含する、解剖学的構造の3D画像においてテレストレートする方法である。
【0021】
他の局面は、解剖学的構造の立体画像の一対に関連するテレストレーショングラフィック入力を受信するように構成され、かつテレストレーショングラフィック入力の3Dビューが解剖学的構造の3Dビューに対するオーバレイとして表示され得るように、立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成される外科医コンソールを備える、3Dテレストレーションを提供する医療ロボットシステムである。
【0022】
他の局面は、侵襲最小外科的処置の間に患者の解剖学的構造の立体画像の対をキャプチャするために患者の体に挿入可能である立体カメラアセンブリ;立体カメラアセンブリによってキャプチャされた立体画像の対の右または左のビューを受信するように構成された受信器と、受信された右または左のビューを2次元で表示するためのディスプレイと、エキスパートコンソールのオペレータによる2次元で表示された右または左のビューの上のテレストレーショングラフィック入力の生成を容易するように構成されるテレストレーションデバイスと、テレストレーショングラフィック入力を送信するように構成される送信器とを有するエキスパートコンソール;および、立体カメラアセンブリによってキャプチャされた立体画像の対を受信するように構成される第1の受信器と、エキスパートコンソールの送信器によって送信されたテレストレーショングラフィック入力を受信するように構成される第2の受信器とを有する外科医コンソールであって、立体画像の受信された対から不一致マップを生成するように構成され、かつテレストレーショングラフィック入力の3Dビューが解剖学的構造の3Dビューに対するオーバレイとして表示され得るように、不一致マップを使用して立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成される、外科医コンソールとを備える、3Dテレストレーションを提供する医療ロボットシステムである。
【0023】
本発明はさらに、以下の手段を提供する。
【0024】
(項目1)
解剖学的構造の3次元画像においてテレストレートする方法であって、
解剖学的構造の立体画像の対のうちの1つに関連するテレストレーショングラフィック入力を受信することと、
該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定することと
を包含する、方法。
【0025】
(項目2)
上記解剖学的構造が、患者の体の外側である、項目1に記載の方法。
【0026】
(項目3)
上記解剖学的構造が、患者の体内の肉体部分である、項目1に記載の方法。
【0027】
(項目4)
ある場所から上記テレストレーショングラフィック入力を受信する前に該場所に上記立体画像の対のうちの上記1つに対する情報を送信することをさらに包含する、項目3に記載の方法。
【0028】
(項目5)
上記場所が、エキスパート外科医によって動作されるコンピュータである、項目4に記載の方法。
【0029】
(項目6)
上記立体画像の対のうちの上記1つに対する情報を上記場所に送信する前に、該立体画像の対に対する該情報を受信することをさらに包含する、項目4に記載の方法。
【0030】
(項目7)
上記立体画像の対に対する上記情報が、上記患者の上記体内に挿入された立体内視鏡から受信される、項目6に記載の方法。
【0031】
(項目8)
上記立体画像の対が、対応する右および左のカメラビューを含む、項目7に記載の方法。
【0032】
(項目9)
上記立体画像の対に対する上記受信された情報から不一致マップを生成することをさらに包含する、項目6に記載の方法。
【0033】
(項目10)
上記立体画像の対の上記もう一方における上記対応するテレストレーショングラフィック入力を決定することが、上記不一致マップを使用する、項目9に記載の方法。
【0034】
(項目11)
上記立体画像の対のうちの上記1つに対する情報を上記場所に送信した後、時間的に後の立体画像の対に対する情報を受信することと、
該立体画像の対に対する上記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させることと、
該解剖学的構造の該動きを追跡するために、上記テレストレーショングラフィック入力の上記3次元ビューを位置づけることと
をさらに包含する、項目6に記載の方法。
【0035】
(項目12)
上記立体画像の対に対する上記情報と上記時間的に後の立体画像の対に対する上記情報との上記相関を使用して信頼測定を決定することと、
該信頼測定の大きさに比例する明るさを用いて、上記テレストレーショングラフィック入力を表示することと
を包含する、項目11に記載の方法。
【0036】
(項目13)
上記テレストレーショングラフィック入力の上記3次元ビューを、上記解剖学的構造の3次元ビューに対する非破壊グラフィックオーバレイとして表示することをさらに包含する、項目1に記載の方法。
【0037】
(項目14)
上記テレストレーショングラフィック入力の上記3次元ビューを上記表示することは、該テレストレーショングラフィック入力の該3次元ビューが時間の経過とともに衰退するように実行される、項目13に記載の方法。
【0038】
(項目15)
3次元テレストレーションを提供する医療ロボットシステムであって、該医療ロボットシステムは、外科医コンソールであって、解剖学的構造の立体画像の対に関連するテレストレーショングラフィック入力を受信するように構成されており、かつ該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている外科医コンソールを備える、医療ロボットシステム。
【0039】
(項目16)
上記解剖学的構造が、患者の体の外側である、項目15に記載の医療ロボットシステム。
【0040】
(項目17)
上記解剖学的構造が、患者の体内の肉体部分である、項目15に記載の医療ロボットシステム。
【0041】
(項目18)
ある場所から上記テレストレーショングラフィック入力を受信する前に該場所に上記立体画像の対のうちの上記1つに対する情報を送信する手段をさらに備える、項目17に記載の医療ロボットシステム。
【0042】
(項目19)
上記場所が、エキスパート外科医によって動作されるコンソールである、項目18に記載の医療ロボットシステム。
【0043】
(項目20)
上記外科医コンソールが、上記立体画像の対のうちの上記1つに対する情報を上記場所に送信する前に、該立体画像の対に対する該情報を受信するようにさらに構成される、項目18に記載の医療ロボットシステム。
【0044】
(項目21)
上記立体画像の対に対する上記情報が、上記外科医コンソールによって上記患者の上記体内に挿入された立体内視鏡から受信される、項目20に記載の医療ロボットシステム。
【0045】
(項目22)
上記立体画像の対が、上記立体内視鏡の対応する右および左のカメラビューを含む、項目21に記載の医療ロボットシステム。
【0046】
(項目23)
上記外科医コンソールが、上記解剖学的構造の上記立体画像の対に対する上記受信された情報から不一致マップを生成するようにさらに構成される、項目20に記載の医療ロボットシステム。
【0047】
(項目24)
上記外科医コンソールが、上記立体画像の対の上記もう一方における上記対応するテレストレーショングラフィック入力を決定するために、上記不一致マップを使用するようにさらに構成される、項目23に記載の医療ロボットシステム。
【0048】
(項目25)
上記外科医コンソールが、上記立体画像の対のうちの上記1つに対する情報を上記場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する上記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させるようにさらに構成されており、かつ該解剖学的構造の該動きを追跡するために、上記テレストレーショングラフィック入力の上記3次元ビューを位置づけるようにさらに構成されている、項目20に記載医療ロボットシステム。
【0049】
(項目26)
上記外科医コンソールが、上記立体画像の対に対する上記情報と上記時間的に後の立体画像の対に対する情報との上記相関を使用して信頼測定を決定するようにさらに構成されており、該信頼測定の大きさに比例する明るさを用いて上記テレストレーショングラフィック入力を表示するようにさらに構成されている、項目25に記載の医療ロボットシステム。
【0050】
(項目27)
上記外科医コンソールは、3次元ディスプレイを含んでおり、かつ上記テレストレーショングラフィック入力の上記3次元ビューを、該3次元ディスプレイにおいて、上記解剖学的構造の3次元ビューに対するグラフィックオーバレイとして表示するようにさらに構成されている、項目15に記載の医療ロボットシステム。
【0051】
(項目28)
上記外科医コンソールが、上記テレストレーショングラフィック入力の上記3次元ビューが時間の経過とともに衰退するように、該テレストレーショングラフィック入力の該3次元ビューを表示するようにさらに構成されている、項目27に記載の医療ロボットシステム。
【0052】
(項目29)
3次元テレストレーションを提供する医療ロボットシステムであって、
侵襲最小外科的処置の間に患者の解剖学的構造の立体画像の対をキャプチャするために該患者の体に挿入可能である立体カメラアセンブリと、
該立体カメラアセンブリによってキャプチャされた該立体画像の対の右または左のビューを受信するように構成された受信器と、該受信された右または左のビューを2次元で表示するためのディスプレイと、エキスパートコンソールのオペレータによる該2次元で表示された右または左のビューの上のテレストレーショングラフィック入力の生成を容易するように構成されたテレストレーションデバイスと、該テレストレーショングラフィック入力を送信するように構成された送信器とを有するエキスパートコンソールと、
該立体カメラアセンブリによってキャプチャされた該立体画像の対を受信するように構成された第1の受信器と、該エキスパートコンソールの該送信器によって送信された該テレストレーショングラフィック入力を受信するように構成された第2の受信器とを有する外科医コンソールであって、該立体画像の受信された対から不一致マップを生成するように構成されており、かつ該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該不一致マップを使用して該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている、外科医コンソールと
を備える、医療ロボットシステム。
【0053】
(項目30)
上記外科医コンソールが、上記立体画像の対のうちの上記1つに対する情報をある場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する上記解剖学的構造の動きを決定するために該立体画像の対に対する該情報を該時間的に後の立体画像の対の情報と相関させるように構成されており、かつ該解剖学的構造の該動きを追跡するために上記テレストレーショングラフィック入力の上記3次元ビューを位置づけるようにさらに構成されている、項目29に記載の医療ロボットシステム。
【発明の効果】
【0054】
本発明により、指導外科医のために3D入力デバイスおよびステレオディスプレイを必要としない解剖学的構造の3D画像上にテレストレートする方法が提供され得る。
【0055】
また、本発明により、実質的にリアルタイムにて動作し、かつ侵襲最小外科的処置においてローカルおよびリモートに指導するために適した解剖学的構造の3D画像上にテレストレートする方法が提供され得る。
【0056】
また、本発明により、カメラに対して相対的に動いている解剖学的構造の3D画像上にテレストレートする方法が提供され得る。
【0057】
また、本発明により、解剖学的構造の3D画像上に3Dテレストレーションを提供する医療ロボットシステムが提供され得る。
【発明を実施するための最良の形態】
【0058】
本発明の更なる目的、特徴および利点は、その好ましい実施形態の添付の図面を考慮すべき以下の説明から明らかになるであろう。
【0059】
図1は、例として、3次元テレストレーションを提供する医療ロボットシステム100を示す。この例においては、手術をする外科医(S)は、患者(P)に侵襲最小外科的処置を行っている。更に、侵襲最小外科的処置におけるエキスパートであるか、または少なくともより経験がある指導外科医(M)は、処置のときに手術をする外科医(S)に指導またはアドバイスをする。患者(P)サイトに位置する一人以上のアシスタント(A)も、処置のときに手術をする患者(S)を補助し得る。
【0060】
システム100は、手術をする外科医(S)によって操作される外科医マスター制御ステーション151(明細書中において「外科医コンソール」とも呼ばれる)、3つのスレーブロボットメカニズム121〜123を有するスレーブカート120、および指導外科医(M)によって操作される指導者マスター制御ステーション131(明細書中において「指導者コンソール」とも呼ばれる)を含む。指導者マスター制御ステーション131は、点から成る曲線によって外科医マスター制御ステーション151から離れて示される。なぜなら、指導者マスター制御ステーション131は、外科医マスター制御ステーション151に対してローカル(すなわち、手術室環境内)であり、または外科医マスター制御ステーション151からリモート(すなわち、手術室環境からリモート)のいずれかになり得るからである。
【0061】
スレーブロボットメカニズム121〜123の遠位端に結合される手術関連デバイス(手術関連デバイス167のような)が、患者(P)に侵襲最小外科的処置を実行するために患者(P)内の切開(切開166のような)を介して挿入され得、かつ手術をする外科医(S)によってマスター制御ステーション151において操作され得るように、スレーブカート120は、患者(P)に沿って配置される。スレーブロボットメカニズム121〜123の各々は、好ましくは、リンケージであって、互いに結合され、かつ従来の様式においてモータ制御された継手を介して操作されているリンケージを含む。
【0062】
1つのスレーブカート120のみが本例において使用されるものとして示されるが、必要に応じて追加のスレーブカートも使用され得る。更に、カート120において、3つのスレーブロボットメカニズム121〜123が示されるが、必要に応じて1つのスレーブカートに対してより多く、またはより少ないスレーブロボットメカニズムが使用され得る。スレーブカート120のようなスレーブカートの追加の詳細は、本明細書中に参考に援用される、同一出願人に係る米国特許第6,837,883号の「Arm Cart for Telerobotic Surgical System」において見出され得る。
【0063】
立体内視鏡は、好ましくは、スレーブロボットメカニズムの遠位端に結合される手術関連デバイスの1つである。他の手術関連デバイスは、クランプ、捕捉器具(grasper)、はさみ、ホッチキス、および持針器のような、侵襲最小外科的処置を実行するための操作可能エンドエフェクタを備える様々な工具になり得る。
【0064】
一度に使用される手術関連デバイスの数、結果的に、システム100におけるスレーブロボットメカニズムの数は、一般に、診断用または外科的処置、ならびに他の要因との手術室内における空間制限による。処置の間に使用される1つ以上の手術関連デバイスを変更する必要がある場合、複数のアシスタント(A)のうちの1つは、もう必要ではない手術関連デバイスをそのスレーブロボットメカニズムの遠位端から除去し得、かつ手術室内の一盛りのそのようなデバイスからの他の手術関連デバイスと置き換え得る。代替的に、ロボットメカニズムは、手術をする外科医(S)の複数のマスター入力デバイスのうちの1つを使用して工具交換を実行するために、手術をする外科医(S)に提供され得る。
【0065】
侵襲最小外科的処置における外科医のコラボレーションおよび/または指導を容易にするために、参加する外科医の各々は、手術部位を見るための関連ディスプレイおよび他の参加する外科医と通信するためのマイクロホンおよびイアホンセットのような通信手段を有する。この場合における立体内視鏡の使用は、手術部位のリアルタイム、3次元画像の生成および表示を可能にする。
【0066】
より詳細には、3Dディスプレイ152は、外科医マスター制御ステーション151に結合または統合され、3Dディスプレイ132および2Dタッチスクリーン135は、指導者マスター制御ステーション131に結合または統合され、かつ2Dディスプレイ142は、ビジョンカート141上に提供される。その結合または統合は、手術をする外科医(S)、指導外科医(M)、および一人以上のアシスタント(A)が、侵襲最小外科的処置の間、手術部位を見ることが可能であるようになされる。
【0067】
参加者の各々に提供される通信手段は、従来のオーディオシステムの一部として、個々のマイクロホンおよびイアホン(またはスピーカ)構成要素、または代替的に、手術をする外科医(S)の頭の上に配置されて示されるヘッドホンセット153のような個々のヘッドホンセットを含み得る。好ましくは、二重オーディオ通信システム(マイクロホンおよびスピーカの対)は、各外科医のマスター制御ステーションに組み入れられる。代替的に、ヘッドセットのユーザに最大の快適および自由な動きを提供するためにワイヤレス通信を使用するもの、あるいはそれぞれのマスター制御ステーションまたはスレーブカートにワイヤを通じて接続され得、次いで、手術をする外科医(S)、指導外科医(M)および一人以上のアシスタント(A)の間の音声通信のためにライン110およびライン112を通じて一緒に接続されるものも含む、ヘッドセットが使用され得る。
【0068】
図2は、簡略化した例として、外科医コンソールまたはマスター制御ステーション151の正面斜視図を示す。外科医コンソール151に含まれるものは、右および左の眼窩223および224を有する3Dディスプレイ152である。ここにおいて、眼窩は、外科医コンソール151の前に着席している外科医がその眼窩を通して下を見て、それによってそこで見られた手術部位がそのような位置にあるという感覚を外科医に与えるように位置される。右および左のマスター入力デバイス203および204も含まれる。ここにおいて、マスター入力デバイスは、外科医が3Dディスプレイ152を通じて見られるように手術部位における関連器具を直接操作しているとう感覚を外科医が有するように、外科医コンソール151の凹所領域210内に位置される。プロセッサ240は、処理能力を提供するために外科医コンソール151に結合または統合される。テレストレーションをターンオンおよびターンオフするため、テレストレーションを隠し表示して後でリコールするため、または3Dディスプレイ151において3Dと2Dビュー間をスイッチするためのようなスイッチング能力を提供するために、フットペダル231も外科医コンソール151に含まれる。代替的に、そのようなスイッチング能力は、テレストレーションデバイス、入力デバイス、または制御コンソールディスプレイ上のボタンを使用してインプリメントされ得るか、または音声入力によってインプリメントされ得る。
【0069】
外科医マスター制御ステーション151のようなマスター制御ステーションの追加の詳細は、本明細書中に参考に援用される、同一出願人に係る米国特許第6,714,839号の「Master Having Redundant Degrees of Freedom」および同一出願人に係る米国特許第6,659,939号の「Cooperative Minimally Invasiive Telesurgical System」において見出され得る。指導者マスター制御ステーション131は、外科医コンソール151に類似して構成され得るか、または代替的に、単に、手術部位(例えば、外科医マスター制御ステーション151から提供されるように)の2Dビューイングのための取り付けられたタッチスクリーンおよびデジタルペンを備える従来のパーソナルコンピュータ、およびそこに見られる解剖学的構造におけるテレストレーションになり得る。
【0070】
侵襲最小外科的処置を実行するために、手術をする外科医(S)は、右および左のマスター入力デバイス203および204のうちの1つまたは両方を操作し得る。それによって、スレーブロボットメカニズム123のような関連スレーブロボットメカニズムは、手術をする外科医(S)が彼または彼女の3Dディスプレイ152を通じて手術部位を見る間、患者(P)の体内にある切開166のような侵襲最小切開を介して外科的デバイス167のようなそれぞれの手術関連デバイスを操作する。
【0071】
好ましくは、手術をする外科医(S)が関連する手術関連デバイスを直接制御しているという強い認識力を有するように、マスター入力デバイスは、手術をする外科医(S)に、テレプレゼンス、またはマスター入力デバイスがそれらに関連する手術関連デバイスと統合しているという知覚を提供するために、それらの関連する手術関連デバイスと同じ自由度において移動可能になる。このために、位置、力、および触覚フィードバックセンサは、好ましくは、位置、力、および触覚感覚をデバイス(またはそれらのスレーブロボットメカニズム)からそれらの関連するマスター入力デバイスに送信し戻すように使用される。それは、手術をする外科医(S)が、マスター入力デバイスを動作するとともに、彼または彼女の手によってそのように感じ得るようにである。
【0072】
前述したように、テレプレゼンス経験を更に拡張するために、マスター制御ステーション151の3Dディスプレイ152上に表示される手術部位の3D画像(およびそこに見られる解剖学的構造)は、手術をする外科医(S)が手術部位を実際に下に直接向いて見ていると感じるように適応される。このために、手術をする外科医(S)によって操作される手術関連デバイスの画像は、観測点(すなわち、内視鏡またはビューイングカメラ)が画像の視点からではない場合もあり得るにも関らず、彼または彼女の手が位置している場所に実質的に配置されるように見える。
【0073】
医療ロボットシステム100および3Dディスプレイ152のようなテレプレゼンスシステムおよび3Dディスプレイの追加の詳細は、本発明の譲受人によって排他的にライセンスされ、本明細書中に参考に援用される米国特許第5,808,665号の「Endoscopic Surgical Instrument and Method for Use」、および本明細書中に参考に援用され、同一出願人に係る米国特許第6,424,885号の「Camera Referenced Control in a Minimally Invasibe Surgical Apparatus」において見出され得る。
【0074】
図3は、一例として、3Dテレストレーションを提供する医療ロボットシステムの一部のブロック図を示す。この例において、手術をする外科医(S)が患者(P)に沿ってローカルに配置(すなわち、手術室内にて)される一方、指導外科医(M)は、リモートに配置(すなわち、手術室内ではない)されると仮定される。
【0075】
患者内における手術部位に挿入された立体内視鏡(スレーブロボットメカニズム122に結合される手術関連デバイスのような)によってキャプチャされた右(R)および左(L)のカメラビュー(または立体画像の対)の情報は、外科医コンピュータ302(マスター制御ステーション151のプロセッサ240のような)によって立体内視鏡301から受信される。同時に、立体画像の各対のうちの1つのカメラビュー(例えば、右のカメラビューのような)は、映像通信インターフェース306および316を介してエキスパートまたは指導者コンピュータ312(指導者マスター制御ステーション131に結合されまたは統合されるプロセッサのような)に送信される。そのような目的のために適した映像通信インターフェースの例としては、Pleasanton,CaliforniaのPolycom Inc.によって配布されるPolycom VS4000またはVSX 7000eが挙げられる。手術部位における解剖学的構造のうちの1つのカメラビューを送信するためのそれらの使用に追加して、映像通信インターフェース306および316は、それぞれが外科医コンピュータ302およびエキスパートコンピュータ312を動作する手術をする外科医とエキスパート外科医との間のオーディオを通信するためにも使用され得る。
【0076】
外科医コンピュータ302は、立体画像の対に対する受信された情報を処理し、それらを手術をする外科医(S)による3次元ビューイングのために3Dディスプレイ303(マスター制御ステーション151の3Dディスプレイ152のような)に提供する。手術をする外科医(S)は、次いで、スレーブロボットメカニズム305(スレーブカート120のスレーブロボットメカニズム121および123のような)、結果的にはそれらの取り付けられた手術関連デバイスを駆動するようにマスター操作器304(右および左のマスター入力デバイス203および204)を操作する。
【0077】
その間、エキスパートコンピュータ312は、受信されたカメラビューを処理し、それを指導外科医(M)による2次元ビューイングのためにタッチスクリーン313(指導者マスター制御ステーション131に結合されるタッチスクリーン135のような)に提供する。そのような目的のために適したタッチスクリーンの一例は、Vancouver,WashingtonのWacom Technology Corp.によって配布されるWacom Cintiq 15Xである。指導者外科医(M)は、次いで、デジタルペン(指導者マスター制御ステーション131に結合されるデジタルペン136のような)を使用してタッチスクリーン313の表面にテレストレーショングラフィックを描き得る。テレストレーショングラフィックは、典型的に、手書きの線、円、矢印等になり得る。
【0078】
指導外科医(M)がテレストレーショングラフィック入力の情報を描く一方、エキスパートコンピュータ312は、次いで、例えば、TCP/IP接続を介して部分的にリアルタイムに外科医コンピュータ302にテレストレーショングラフィック入力の情報を自動的に送信し得る。あるいは、エキスパートコンピュータ312は、例えば、タッチスクリーン313またはそのデジタルペン上の適切なボタンまたはスイッチをクリックすることによって、指導外科医(M)が送信が行われるべきであること示した後にだけTCP/IP接続を介してテレストレーショングラフィック入力の全体を送信し得る。
【0079】
外科医コンピュータ302は、次いで、エキスパートコンピュータ312から受信されたテレストレーショングラフィック入力を処理する。それは、テレストレーショングラフィック入力の3Dビューが、図6を参照して説明される方法に従い、3Dディスプレイ303内のテレストレーショングラフィック入力に対応する解剖学的構造の3Dビューに対するオーバレイとして表示され得るようにである。本明細書中に説明されるように、それぞれのタスクを実行するように外科医コンピュータ302およびエキスパートコンピュータ312にそれぞれ構成されるモジュールについての追加の詳細は、図4および図5を参照して更に下述される。
【0080】
図4は、一例として、3Dテレストレーション能力を外科医コンピュータ302に提供するモジュールおよび外科医コンピュータ302のこれらのモジュールと相互作用するハードウェア構成要素のブロック図を示す。図5は、一例として、テレストレーショングラフィック入力を生成し、それをそのようなグラフィック入力の3Dテレストレーションのために外科医コンピュータ302に送信する能力を指導者またはエキスパートコンピュータ312に提供するモジュール、およびエキスパートコンピュータ312のこれらのモジュールと相互作用するハードウェア構成要素のブロック図を示す。
【0081】
初めに図4を参照すると、カナダのMatrox Electronic Systems Ltd.によって配布されるMatrox Orionフレームグラバーボードのような画像取得モジュール401は、内視鏡カメラからの左および右のNTSC信号においてのように、立体内視鏡301からの立体画像の対の情報をキャプチャする。更に、その情報を画像取得モジュール401によってキャプチャされる、対応する右および左のカメラビュー(またはフレーム)を使用して不一致マップを定期的に生成または更新する画像相関モジュール402に提供する。
【0082】
画像取得モジュール401の出力は、タッチスクリーン412上に2Dにて表示される、Wacom Cintiq 15Xのようなローカルタッチスクリーン412に立体画像の対のうちの選択された1つのために情報を提供するローカルユーザインターフェース411にも提供され得る。ローカルエキスパートまたは指導外科医は、次いで、レンダリングユニット404に提供されるテレストレーショングラフィックユニットを生成するために、デジタルペンを使用してタッチスクリーン412上にてテレストレートし得る。
【0083】
画像取得モジュール401の出力は、立体画像のキャプチャされた対をレンダリングユニット404によって生成される3Dテレストレーショングラフィックユニットと組み合わせ、その組み合わせを手術をする外科医(S)による3次元ビューイングのために3Dディスプレイ303に提供するグラフィックオーバレイモジュール405にも提供される。レンダリングユニット404は、ローカルユーザインターフェース411を介してローカル指導者から、またはテレストレーショングラフィック受信ユニット403を介してリモート指導者のいずれかから、立体画像の対のうちの1つに関連する2Dテレストレーショングラフィック入力を受信し得る。
【0084】
図5を参照すると、Matrox Orionフレームグラバーのような画像取得モジュール501は、内視鏡カメラからの右のNTSC信号においてのように、映像通信インターフェース316によって受信される立体画像の対のうちの選択された1つの情報をキャプチャする。更に、その情報をタッチスクリーン313上の2Dに表示されるように、Wacom Cintiq 15Xのようなタッチスクリーン313に、リモートユーザインターフェース502を介して提供する。
【0085】
エキスパートまたは指導外科医は、次いで、リモートユーザインターフェース502を介してテレストレーショングラフィック送信ユニット503に提供されるテレストレーショングラフィック入力を生成するために、デジタルペンを使用してタッチスクリーン313上にテレストレートし得る。テレストレーショングラフィック送信ユニットは、次いで、TCP/IPを通じてリアルタイムにて自動的にまたはユーザコマンドによって、外科医コンピュータ302内のテレストレーショングラフィック受信ユニット403に、テレストレーショングラフィック入力をメタデータ(選択されたグラフィック言語形式であり得る)として送信する。
【0086】
図6は、立体内視鏡301から受信された立体画像の対の情報において動作する外科医コンピュータ302内のモジュールによって一般的に実行される解剖学的構造の3D画像上にテレストレートするための方法のフロー図を示す。テレストレーションはリモート指導者外科医(すなわち、手術室環境からリモートである)によって実行されることがこの例の目的に対して仮定されるが、この方法が、テレストレーションがローカル指導者外科医(すなわち、手術室環境内において)によって実行される場合に対しても同様に適用可能であることが理解される。
【0087】
方法を実行する前、立体内視鏡301は、好ましくは、その内因性および外因性パラメータの両方に対して完全に較正される。それは、光学的ひずみが除去され、結果の透視画像は、アライメントへと直されるようにである。より詳細には、図9における例に示されるように、この様式において立体内視鏡301を較正することは、左および右のカメラビュー画像における相関点の間の不一致が水平のエピポーラ(epipolar)線に沿ってあり、誤った一致に対してより少ないチャンスを備える1次元サーチを可能にし、それによって、解像度および正確度を改良する。この非リアルタイムカメラ較正は、一般に、California Institute of Technology(Caltech)のウェブサイトからダウンロード可能であるCamera Calibration Toolbox for Matlab(登録商標)を用いてのように、従来技術を使用して実行される。
【0088】
601において、画像取得モジュール401は、立体内視鏡301から立体画像の対の情報を連続して受信する。同時に、映像通信ユニット306は、リモートエキスパートタッチスクリーン313への送信のために、立体内視鏡301から立体画像の対のうちの選択された1つ(例えば、立体内視鏡301内の右および左のカメラのうちの1つに対応する)のみに対する情報を連続して受信し得る。
【0089】
602において、画像取得モジュール401は、601にて受信された情報から右および左のカメラビュー(すなわち、右および左の2Dフレーム)のセットをキャプチャまたは取得する。更に、画像取得モジュール401は、そのカメラビューを、好ましくは、リアルタイム動作に対して十分に速く、かつ侵襲最小外科的処置に適した手術部位の3Dビューを提供するために十分に正確である画像相関アルゴリズムを使用して右および左のカメラビューから不一致マップを構成する画像相関モジュール402に提供する。そのような画像相関アルゴリズムの一例は、本明細書中に参考に援用される、Douglas P.Hartに公布されMassachusetts Institute of Technologyに譲渡された米国特許第6,108,458号の「Sparse Array Image Correlation」に説明される。
【0090】
603において、レンダリングユニット404は、第一に、リモート指導者またはローカル指導者から受信されるテレストレーショングラフィック入力の3Dビューをレンダリングする。グラフィックオーバレイモジュール405は、次いで、601にて受信されたステレオ画像の対によって提供されたように、手術部位の3Dビューの上にテレストレーショングラフィック入力のレンダリングされた3Dビューをオーバレイする。最後に、グラフィックオーバレイモジュール405は、オーバレイされた3Dテレストレーショングラフィック入力を手術部位の3Dビューに提供する。それは、3Dディスプレイ303が、それらを手術をする外科医(S)に表示し得るようにである。
【0091】
604において、立体内視鏡301から立体画像の対の情報を連続して受信する画像取得モジュール401は、前にキャプチャされたものの時間的に後に受信される情報から右および左のカメラビュー(すなわち、右および左の2Dフレーム)の他のセットをキャプチャまたは取得する。
【0092】
605において、後に受信された情報の右および左のフレームは、適切な画像相関アルゴリズムを使用してそれらの前にキャプチャされた対応物と相関される(すなわち、時間t+1にてキャプチャされる右のフレームは、時間t+0にて前にキャプチャされた右のフレームと相関され、時間t+1にてキャプチャされる左のフレームは、時間t+0にて前にキャプチャされた左のフレームと相関される)。このように、右および左のフレームをそれらの前にキャプチャされた対応物と相関させることによって、手術部位にあり、カメラビュー内の解剖学的構造の動きは決定され得る。更に、テレストレーショングラフィック入力の3Dポジションは、それが描かれたものの上で、解剖学的構造の追跡動きに従って動かされ得る。更に、信頼測定は相関値のように計算され得、表示されたテレストレーショングラフィック入力の明るさは、信頼測定の大きさに比例し得る。
【0093】
606において、ロールオーバカウンタはインクリメントされ、607において、カウンタはロールオーバしたか否かをチェックされる。ロールオーバをしていない場合、この方法は、内側ループ603〜607を繰り返すためにループバックする。ロールオーバした場合、この方法は、外側ループ602〜607を繰り返すためにループバックする。このようにして、602における不一致マップの生成は、604〜605にて実行された解剖学追跡と比較して低頻度にて実行され得る。例えば、ロールオーバカウンタのためのクロック周波数およびロールオーバ値を適切に選択することによって、内側ループ603〜607は、30Hzの周波数において実行され得る。その一方、外側ループ602〜607は、1Hzのレートのように、より低頻度に実行される。ロールオーバカウンタがこの目的のために使用されるように説明されるが、同じまたは類似した機能を達成するための他の従来技術が代わりに使用され得、それらは本発明の範囲内にあるように十分に考えられる。
【0094】
図7は、一例として、図6を参照して説明される方法の機能603を実行するときにレンダリングユニット404およびグラフィックオーバレイモジュール405によって実行されるタスクを詳しく述べるフロー図を示す。立体画像の対の右のカメラビューが、ビューイングおよびテレストレーションのためにリモート指導外科医に送信されたことがこの例において仮定されるが、明細書中に説明される以下および他の方法は、代わりに左のビューが送信される場合に対しても同様に適用可能である。
【0095】
701において、レンダリングユニット404は、テレストレーショングラフィック受信ユニット403を通じてリモート指導外科医から、立体画像の対の右のカメラビューに対応するテレストレーショングラフィック入力のための情報を受信する。受信された情報が、好ましくは、テレストレーショングラフィック入力を選択されたグラフィック言語に規定するので、レンダリングユニット404は、受信された情報を不一致マップと一致するように必要に応じて変換する。
【0096】
好ましくは、テレストレーショングラフィック入力の深さは、右のカメラビューに位置する解剖学的構造と同じである。従って、右のカメラビューに対応する受信されたテレストレーショングラフィック入力の位置から、テレストレーショングラフィック入力の深さは、不一致マップを使用して容易に決定可能である。なぜなら、不一致マップは、立体内視鏡301のための較正処理の間、非リアルタイムにおいて決定され得る深さマップに直接関連するからである。
【0097】
702において、レンダリングユニット404は、次いで、右のカメラビュー内の受信されたテレストレーショングラフィック入力位置に対応する左のカメラビュー内のテレストレーショングラフィック入力位置を決定する。これは、右および左のカメラビューのために前に生成された不一致マップを使用することによって行われる。より詳細に、右のカメラビューに対応する受信されたテレストレーショングラフィック入力の選択された点に対して、不一致値は読み取られる。読み取られない場合、これらの点の場所における不一致マップから決定される。それらの点に対する左のカメラビュー内の対応する場所は、次いで、不一致値によって右のカメラビュー内の場所を調節することによって決定される。
【0098】
703において、グラフィックオーバレイモジュール405は、右のカメラビューに対して位置されたテレストレーショングラフィック入力を右のカメラビューの上にオーバレイするか、または右のカメラビューとブレンドする。更に、左のカメラビューに対して位置されたテレストレーショングラフィック入力を左のカメラビューの上にオーバレイするか、または左のカメラビューとブレンドする。好ましくは、両方のオーバレイは、内在するカメラビュー情報が保存されるように、非破棄様式において実行される。グラフィックオーバレイモジュール405は、次いで、オーバレイされた3Dテレストレーショングラフィック入力を備える立体の右および左のカメラビュー情報を3Dディスプレイ303に提供する。それは、手術をする外科医(S)が、3D解剖学的構造上に適切に位置される3Dテレストレーショングラフィック入力で手術部位を見得るようにである。必要に応じて、情報は、3Dテレストレーショングラフィック入力がリアルタイムに手によって描かれたように現れるか、または一度に全体において現れるかのどちらかの方法において、3Dディスプレイ303に提供され得る。更に、必要に応じて、情報は、3Dテレストレーショングラフィック入力が1つの端からもう一方の端まで徐々に消えるか、または全ての点を一緒に衰退させるかのどちらかによって、ある期間の後に衰退するような方法において、3Dディスプレイ303に提供され得る。更に、前述されたように、信頼測定は相関値のように計算され得、表示されたテレストレーショングラフィック入力の明るさは、信頼測定の大きさに比例し得る。
【0099】
図8は、一例として、図6を参照して説明される方法の解剖学的構造追跡機能605を実行するときにレンダリングユニット404およびグラフィックオーバレイモジュール405によって実行されるタスクを詳しく述べるフロー図を示す。801において、レンダリングユニット404は、画像相関モジュール402に、(a)画像取得モジュール401によって、最も最近キャプチャされた右のカメラビューをその直前にキャプチャされた右のカメラビューと相関させ、(b)画像取得モジュール401によって、最も最近キャプチャされた左のカメラビューをその直前にキャプチャされた左のカメラビューと相関させることによってフレーム−フレーム(F/F)画像相関を実行する。このF/F画像相関を実行することによって、立体内視鏡の3D空間内の新しい位置が、テレストレーショングラフィック入力が上にオーバレイされる解剖学的構造のために決定される。
【0100】
仮に、立体内視鏡301に対して相対的であったとしても、手術部位において見られる解剖学的構造はゆっくりと動くことだけを期待されているため、801にて実行されるF/F画像相関は、不一致マップを構成するために602にて実行される画像相関より速く実行され得る。なぜなら、画像相関が実行される領域が減少され得るからである。領域のこの減少は、特に有用である。なぜなら、右および左のカメラビューにおける識別特性の位置が、水平のエピポーラ線に沿うそれらの不一致値によってのみ異なることが期待される不一致マップ決定とは違って、解剖学追跡目的のためには、垂直および深さの動きを考慮することも有用であるからである。
【0101】
802において、レンダリングユニット404は、次いで、最も最近のキャプチャされた右および左のカメラビュー内のテレストレーショングラフィック入力の位置を更新する。それによって、テレストレーショングラフィック入力が上にオーバレイされる解剖学的構造の動きを追跡する。特に、解剖学的構造およびテレストレーショングラフィック入力の共有された(すなわち、オーバレイされた)点の各々のために、テレストレーショングラフィック入力点は、F/F画像相関を通じて決定されたように、右および左の両方のカメラビューにおけるその対応する解剖学的構造点の新しい位置に移動される。
【0102】
本発明の様々な局面が好ましい実施形態に対して説明されたが、本発明に、添付の特許請求の範囲の全範囲内の完全な保護が与えられることが理解される。
【0103】
医療ロボットシステムは、指導外科医から解剖学的構造の立体画像の対のうちの1つに関連する2Dテレストレーショングラフィック入力を受信することと、不一致マップを使用して立体画像の対のもう一方における対応する2Dテレストレーショングラフィック入力を決定することと、テレストレーショングラフィック入力をぞれぞれの立体画像の対のうちの1つにブレンドすることと、テレストレーショングラフィック入力の3Dビューが解剖学的構造の3Dビューに対するオーバレイとして手術をする外科医に表示され得るように、ブレンドされた結果を3Dディスプレイに提供することとによって、解剖学的構造の3Dビューの上に3Dテレストレーションを提供する。
【0104】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【図面の簡単な説明】
【0105】
【図1】本発明の局面を使用して、3Dテレストレーションを提供する医療ロボットシステムを備える手術室の平面図を示す。
【図2】本発明の局面を使用するように構成されるプロセッサを含むマスター制御ステーションの正面斜視図を示す。
【図3】本発明の局面を使用して、3Dテレストレーションを提供する医療ロボットシステムのブロック図を示す。
【図4】本発明の局面を使用して、外科医コンピュータ内のモジュールおよび外科医コンピュータに結合された構成要素のブロック図を示す。
【図5】本発明の局面を実施するために有用である、エキスパートコンピュータ内のモジュールおよびエキスパートコンピュータに結合された構成要素のブロック図を示す。
【図6】本発明の局面を使用して、解剖学的構造の3D画像上にテレストレートする方法のフロー図を示す。
【図7】本発明の局面を使用して、3D解剖学的構造の上に3Dテレストレーショングラフィック入力をオーバレイする方法のフロー図を示す。
【図8】本発明の局面を使用して、解剖追跡および追跡された解剖学的構造の上の3Dテレストレーションのための方法のフロー図を示す。
【図9】本発明の局面を実施するために有用である、3D座標フレームにおける点の立体画像の対に対するエピポーラジオメトリの一例を示す。
【符号の説明】
【0106】
100 医療ロボットシステム
120 スレーブカート
131 指導者マスター制御ステーション
132、152 3Dディスプレイ
135 2Dタッチスクリーン
136 デジタルペン
141 ビジョンカート
142 2Dディスプレイ
151 外科医マスター制御ステーション
153 ヘッドホンセット
166 切開
167 手術関連デバイス
【特許請求の範囲】
【請求項1】
解剖学的構造の3次元画像においてテレストレートする方法であって、
解剖学的構造の立体画像の対のうちの1つに関連するテレストレーショングラフィック入力を受信することと、
該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定することと
を包含する、方法。
【請求項2】
前記解剖学的構造が、患者の体の外側である、請求項1に記載の方法。
【請求項3】
前記解剖学的構造が、患者の体内の肉体部分である、請求項1に記載の方法。
【請求項4】
ある場所から前記テレストレーショングラフィック入力を受信する前に該場所に前記立体画像の対のうちの前記1つに対する情報を送信することをさらに包含する、請求項3に記載の方法。
【請求項5】
前記場所が、エキスパート外科医によって動作されるコンピュータである、請求項4に記載の方法。
【請求項6】
前記立体画像の対のうちの前記1つに対する情報を前記場所に送信する前に、該立体画像の対に対する該情報を受信することをさらに包含する、請求項4に記載の方法。
【請求項7】
前記立体画像の対に対する前記情報が、前記患者の前記体内に挿入された立体内視鏡から受信される、請求項6に記載の方法。
【請求項8】
前記立体画像の対が、対応する右および左のカメラビューを含む、請求項7に記載の方法。
【請求項9】
前記立体画像の対に対する前記受信された情報から不一致マップを生成することをさらに包含する、請求項6に記載の方法。
【請求項10】
前記立体画像の対の前記もう一方における前記対応するテレストレーショングラフィック入力を決定することが、前記不一致マップを使用する、請求項9に記載の方法。
【請求項11】
前記立体画像の対のうちの前記1つに対する情報を前記場所に送信した後、時間的に後の立体画像の対に対する情報を受信することと、
該立体画像の対に対する前記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させることと、
該解剖学的構造の該動きを追跡するために、前記テレストレーショングラフィック入力の前記3次元ビューを位置づけることと
をさらに包含する、請求項6に記載の方法。
【請求項12】
前記立体画像の対に対する前記情報と前記時間的に後の立体画像の対に対する前記情報との前記相関を使用して信頼測定を決定することと、
該信頼測定の大きさに比例する明るさを用いて、前記テレストレーショングラフィック入力を表示することと
を包含する、請求項11に記載の方法。
【請求項13】
前記テレストレーショングラフィック入力の前記3次元ビューを、前記解剖学的構造の3次元ビューに対する非破壊グラフィックオーバレイとして表示することをさらに包含する、請求項1に記載の方法。
【請求項14】
前記テレストレーショングラフィック入力の前記3次元ビューを前記表示することは、該テレストレーショングラフィック入力の該3次元ビューが時間の経過とともに衰退するように実行される、請求項13に記載の方法。
【請求項15】
3次元テレストレーションを提供する医療ロボットシステムであって、該医療ロボットシステムは、外科医コンソールであって、解剖学的構造の立体画像の対に関連するテレストレーショングラフィック入力を受信するように構成されており、かつ該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている外科医コンソールを備える、医療ロボットシステム。
【請求項16】
前記解剖学的構造が、患者の体の外側である、請求項15に記載の医療ロボットシステム。
【請求項17】
前記解剖学的構造が、患者の体内の肉体部分である、請求項15に記載の医療ロボットシステム。
【請求項18】
ある場所から前記テレストレーショングラフィック入力を受信する前に該場所に前記立体画像の対のうちの前記1つに対する情報を送信する手段をさらに備える、請求項17に記載の医療ロボットシステム。
【請求項19】
前記場所が、エキスパート外科医によって動作されるコンソールである、請求項18に記載の医療ロボットシステム。
【請求項20】
前記外科医コンソールが、前記立体画像の対のうちの前記1つに対する情報を前記場所に送信する前に、該立体画像の対に対する該情報を受信するようにさらに構成される、請求項18に記載の医療ロボットシステム。
【請求項21】
前記立体画像の対に対する前記情報が、前記外科医コンソールによって前記患者の前記体内に挿入された立体内視鏡から受信される、請求項20に記載の医療ロボットシステム。
【請求項22】
前記立体画像の対が、前記立体内視鏡の対応する右および左のカメラビューを含む、請求項21に記載の医療ロボットシステム。
【請求項23】
前記外科医コンソールが、前記解剖学的構造の前記立体画像の対に対する前記受信された情報から不一致マップを生成するようにさらに構成される、請求項20に記載の医療ロボットシステム。
【請求項24】
前記外科医コンソールが、前記立体画像の対の前記もう一方における前記対応するテレストレーショングラフィック入力を決定するために、前記不一致マップを使用するようにさらに構成される、請求項23に記載の医療ロボットシステム。
【請求項25】
前記外科医コンソールが、前記立体画像の対のうちの前記1つに対する情報を前記場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する前記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させるようにさらに構成されており、かつ該解剖学的構造の該動きを追跡するために、前記テレストレーショングラフィック入力の前記3次元ビューを位置づけるようにさらに構成されている、請求項20に記載医療ロボットシステム。
【請求項26】
前記外科医コンソールが、前記立体画像の対に対する前記情報と前記時間的に後の立体画像の対に対する情報との前記相関を使用して信頼測定を決定するようにさらに構成されており、該信頼測定の大きさに比例する明るさを用いて前記テレストレーショングラフィック入力を表示するようにさらに構成されている、請求項25に記載の医療ロボットシステム。
【請求項27】
前記外科医コンソールは、3次元ディスプレイを含んでおり、かつ前記テレストレーショングラフィック入力の前記3次元ビューを、該3次元ディスプレイにおいて、前記解剖学的構造の3次元ビューに対するグラフィックオーバレイとして表示するようにさらに構成されている、請求項15に記載の医療ロボットシステム。
【請求項28】
前記外科医コンソールが、前記テレストレーショングラフィック入力の前記3次元ビューが時間の経過とともに衰退するように、該テレストレーショングラフィック入力の該3次元ビューを表示するようにさらに構成されている、請求項27に記載の医療ロボットシステム。
【請求項29】
3次元テレストレーションを提供する医療ロボットシステムであって、
侵襲最小外科的処置の間に患者の解剖学的構造の立体画像の対をキャプチャするために該患者の体に挿入可能である立体カメラアセンブリと、
該立体カメラアセンブリによってキャプチャされた該立体画像の対の右または左のビューを受信するように構成された受信器と、該受信された右または左のビューを2次元で表示するためのディスプレイと、エキスパートコンソールのオペレータによる該2次元で表示された右または左のビューの上のテレストレーショングラフィック入力の生成を容易するように構成されたテレストレーションデバイスと、該テレストレーショングラフィック入力を送信するように構成された送信器とを有するエキスパートコンソールと、
該立体カメラアセンブリによってキャプチャされた該立体画像の対を受信するように構成された第1の受信器と、該エキスパートコンソールの該送信器によって送信された該テレストレーショングラフィック入力を受信するように構成された第2の受信器とを有する外科医コンソールであって、該立体画像の受信された対から不一致マップを生成するように構成されており、かつ該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該不一致マップを使用して該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている、外科医コンソールと
を備える、医療ロボットシステム。
【請求項30】
前記外科医コンソールが、前記立体画像の対のうちの前記1つに対する情報をある場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する前記解剖学的構造の動きを決定するために該立体画像の対に対する該情報を該時間的に後の立体画像の対の情報と相関させるように構成されており、かつ該解剖学的構造の該動きを追跡するために前記テレストレーショングラフィック入力の前記3次元ビューを位置づけるようにさらに構成されている、請求項29に記載の医療ロボットシステム。
【請求項1】
解剖学的構造の3次元画像においてテレストレートする方法であって、
解剖学的構造の立体画像の対のうちの1つに関連するテレストレーショングラフィック入力を受信することと、
該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定することと
を包含する、方法。
【請求項2】
前記解剖学的構造が、患者の体の外側である、請求項1に記載の方法。
【請求項3】
前記解剖学的構造が、患者の体内の肉体部分である、請求項1に記載の方法。
【請求項4】
ある場所から前記テレストレーショングラフィック入力を受信する前に該場所に前記立体画像の対のうちの前記1つに対する情報を送信することをさらに包含する、請求項3に記載の方法。
【請求項5】
前記場所が、エキスパート外科医によって動作されるコンピュータである、請求項4に記載の方法。
【請求項6】
前記立体画像の対のうちの前記1つに対する情報を前記場所に送信する前に、該立体画像の対に対する該情報を受信することをさらに包含する、請求項4に記載の方法。
【請求項7】
前記立体画像の対に対する前記情報が、前記患者の前記体内に挿入された立体内視鏡から受信される、請求項6に記載の方法。
【請求項8】
前記立体画像の対が、対応する右および左のカメラビューを含む、請求項7に記載の方法。
【請求項9】
前記立体画像の対に対する前記受信された情報から不一致マップを生成することをさらに包含する、請求項6に記載の方法。
【請求項10】
前記立体画像の対の前記もう一方における前記対応するテレストレーショングラフィック入力を決定することが、前記不一致マップを使用する、請求項9に記載の方法。
【請求項11】
前記立体画像の対のうちの前記1つに対する情報を前記場所に送信した後、時間的に後の立体画像の対に対する情報を受信することと、
該立体画像の対に対する前記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させることと、
該解剖学的構造の該動きを追跡するために、前記テレストレーショングラフィック入力の前記3次元ビューを位置づけることと
をさらに包含する、請求項6に記載の方法。
【請求項12】
前記立体画像の対に対する前記情報と前記時間的に後の立体画像の対に対する前記情報との前記相関を使用して信頼測定を決定することと、
該信頼測定の大きさに比例する明るさを用いて、前記テレストレーショングラフィック入力を表示することと
を包含する、請求項11に記載の方法。
【請求項13】
前記テレストレーショングラフィック入力の前記3次元ビューを、前記解剖学的構造の3次元ビューに対する非破壊グラフィックオーバレイとして表示することをさらに包含する、請求項1に記載の方法。
【請求項14】
前記テレストレーショングラフィック入力の前記3次元ビューを前記表示することは、該テレストレーショングラフィック入力の該3次元ビューが時間の経過とともに衰退するように実行される、請求項13に記載の方法。
【請求項15】
3次元テレストレーションを提供する医療ロボットシステムであって、該医療ロボットシステムは、外科医コンソールであって、解剖学的構造の立体画像の対に関連するテレストレーショングラフィック入力を受信するように構成されており、かつ該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている外科医コンソールを備える、医療ロボットシステム。
【請求項16】
前記解剖学的構造が、患者の体の外側である、請求項15に記載の医療ロボットシステム。
【請求項17】
前記解剖学的構造が、患者の体内の肉体部分である、請求項15に記載の医療ロボットシステム。
【請求項18】
ある場所から前記テレストレーショングラフィック入力を受信する前に該場所に前記立体画像の対のうちの前記1つに対する情報を送信する手段をさらに備える、請求項17に記載の医療ロボットシステム。
【請求項19】
前記場所が、エキスパート外科医によって動作されるコンソールである、請求項18に記載の医療ロボットシステム。
【請求項20】
前記外科医コンソールが、前記立体画像の対のうちの前記1つに対する情報を前記場所に送信する前に、該立体画像の対に対する該情報を受信するようにさらに構成される、請求項18に記載の医療ロボットシステム。
【請求項21】
前記立体画像の対に対する前記情報が、前記外科医コンソールによって前記患者の前記体内に挿入された立体内視鏡から受信される、請求項20に記載の医療ロボットシステム。
【請求項22】
前記立体画像の対が、前記立体内視鏡の対応する右および左のカメラビューを含む、請求項21に記載の医療ロボットシステム。
【請求項23】
前記外科医コンソールが、前記解剖学的構造の前記立体画像の対に対する前記受信された情報から不一致マップを生成するようにさらに構成される、請求項20に記載の医療ロボットシステム。
【請求項24】
前記外科医コンソールが、前記立体画像の対の前記もう一方における前記対応するテレストレーショングラフィック入力を決定するために、前記不一致マップを使用するようにさらに構成される、請求項23に記載の医療ロボットシステム。
【請求項25】
前記外科医コンソールが、前記立体画像の対のうちの前記1つに対する情報を前記場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する前記解剖学的構造の動きを決定するために、該立体画像の対に対する該情報を該時間的に後の立体画像の対の該情報と相関させるようにさらに構成されており、かつ該解剖学的構造の該動きを追跡するために、前記テレストレーショングラフィック入力の前記3次元ビューを位置づけるようにさらに構成されている、請求項20に記載医療ロボットシステム。
【請求項26】
前記外科医コンソールが、前記立体画像の対に対する前記情報と前記時間的に後の立体画像の対に対する情報との前記相関を使用して信頼測定を決定するようにさらに構成されており、該信頼測定の大きさに比例する明るさを用いて前記テレストレーショングラフィック入力を表示するようにさらに構成されている、請求項25に記載の医療ロボットシステム。
【請求項27】
前記外科医コンソールは、3次元ディスプレイを含んでおり、かつ前記テレストレーショングラフィック入力の前記3次元ビューを、該3次元ディスプレイにおいて、前記解剖学的構造の3次元ビューに対するグラフィックオーバレイとして表示するようにさらに構成されている、請求項15に記載の医療ロボットシステム。
【請求項28】
前記外科医コンソールが、前記テレストレーショングラフィック入力の前記3次元ビューが時間の経過とともに衰退するように、該テレストレーショングラフィック入力の該3次元ビューを表示するようにさらに構成されている、請求項27に記載の医療ロボットシステム。
【請求項29】
3次元テレストレーションを提供する医療ロボットシステムであって、
侵襲最小外科的処置の間に患者の解剖学的構造の立体画像の対をキャプチャするために該患者の体に挿入可能である立体カメラアセンブリと、
該立体カメラアセンブリによってキャプチャされた該立体画像の対の右または左のビューを受信するように構成された受信器と、該受信された右または左のビューを2次元で表示するためのディスプレイと、エキスパートコンソールのオペレータによる該2次元で表示された右または左のビューの上のテレストレーショングラフィック入力の生成を容易するように構成されたテレストレーションデバイスと、該テレストレーショングラフィック入力を送信するように構成された送信器とを有するエキスパートコンソールと、
該立体カメラアセンブリによってキャプチャされた該立体画像の対を受信するように構成された第1の受信器と、該エキスパートコンソールの該送信器によって送信された該テレストレーショングラフィック入力を受信するように構成された第2の受信器とを有する外科医コンソールであって、該立体画像の受信された対から不一致マップを生成するように構成されており、かつ該テレストレーショングラフィック入力の3次元ビューが該解剖学的構造の3次元ビューに対するオーバレイとして表示され得るように、該不一致マップを使用して該立体画像の対のもう一方における対応するテレストレーショングラフィック入力を決定するように構成されている、外科医コンソールと
を備える、医療ロボットシステム。
【請求項30】
前記外科医コンソールが、前記立体画像の対のうちの前記1つに対する情報をある場所に送信した後、時間的に後の立体画像の対に対する情報を受信するようにさらに構成されており、該立体画像の対に対する前記解剖学的構造の動きを決定するために該立体画像の対に対する該情報を該時間的に後の立体画像の対の情報と相関させるように構成されており、かつ該解剖学的構造の該動きを追跡するために前記テレストレーショングラフィック入力の前記3次元ビューを位置づけるようにさらに構成されている、請求項29に記載の医療ロボットシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【公開番号】特開2007−181670(P2007−181670A)
【公開日】平成19年7月19日(2007.7.19)
【国際特許分類】
【出願番号】特願2006−335952(P2006−335952)
【出願日】平成18年12月13日(2006.12.13)
【出願人】(506410453)インテュイティブ サージカル インコーポレイテッド (32)
【Fターム(参考)】
【公開日】平成19年7月19日(2007.7.19)
【国際特許分類】
【出願日】平成18年12月13日(2006.12.13)
【出願人】(506410453)インテュイティブ サージカル インコーポレイテッド (32)
【Fターム(参考)】
[ Back to top ]