説明

手術用撮像システム及び手術用ロボット

【課題】どのような作業環境であっても、手術者の動きに応じて精度良く所望の位置に撮像手段を駆動制御可能な手術用撮像システム及び手術用ロボットを提供する。
【解決手段】体腔内を撮像する撮像手段23と、撮像手段23によって撮像された像が表示される像表示手段11と、を備える手術用撮像システム1であって、撮像手段23の駆動位置を制御する撮像位置制御手段22と、手術者14に装着されるマーカ11bの位置を検出するマーカ検出手段12と、を備え、マーカ検出手段13aによって検出されたマーカ11bの移動量及び移動方向に基づいて撮像手段23の駆動量及び駆動方向が決定され、撮像位置制御手段22が、決定された前記駆動量及び駆動方向に基づいて撮像手段23の駆動位置を制御する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、手術用撮像システム及び手術用ロボットに関する。
【背景技術】
【0002】
患者への痛みを低減したり、手術後の手術痕を目立ちにくいものとしたりすることを目的として、低侵襲外科手術が広く行われている。低侵襲外科手術においては、例えば内視鏡、手術用マニピュレータ(例えば鉗子)が手術者等によって使用される。具体的には、手術者等が、患者の体表面に設けられた挿入孔から内視鏡及び手術用マニピュレータ等を挿入して駆動させ、手術者が手術を行うようになっている。
【0003】
具体的には、体腔内に挿入した内視鏡によって体腔内を手術者が観察しながら、手術者が手術用マニピュレータを操作して手術を行うようになっている。このような技術に関連して、例えば特許文献1には、磁気センサを用い、手術者の頭の動きに応じてスコープ(内視鏡)の位置を制御する手術用マニピュレータシステムが記載されている。また、例えば特許文献2には、先端部が湾曲可能な体腔内観察装置が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平8−71072号公報
【特許文献2】特開平10−309258号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1に記載の技術においては、前記のように、磁気センサを用いて頭部の動作を検出している。しかしながら、この技術においては、例えば核磁気共鳴画像装置(MRI)等の磁場を発生する装置の付近においては、磁場の乱れから正確な内視鏡の駆動制御が行えないことがある。
【0006】
また、手術には通常金属製の器具が用いられるため、このような金属製の器具によって頭部付近の磁場に乱れが生じることがある。そのため、このような磁場の乱れによって、やはり正確な内視鏡の駆動制御が行えないことがある。
【0007】
さらに、磁気センサの信号送信部と信号受信部との間に障害物(磁気遮蔽物)が存在すると、磁気の乱れが生じたり、信号受信部が磁気信号を正確に受信できなかったりすることがある。その結果、やはり正確な内視鏡の駆動制御が行えないことがある。
【0008】
また、磁気センサを用いた場合、測定値のゼロ点が長期間使用による意図しない移動、即ちゼロ点ドリフトが生じうるという課題がある。
【0009】
即ち、従来の技術においては、磁場、遮蔽物、金属物の存在等の作業環境に拠って磁場の乱れが生じ、精度の良い内視鏡の駆動制御を行えないことがある。また、このような環境で駆動制御を行う場合には、較正を多数行わなければならないことがあり、手術が煩雑になることがある。
【0010】
また、特許文献2に記載の技術においては、体腔内に挿入される内視鏡の先端部の駆動方向が限定的であるため、体腔内の所望の位置を観察できないことがある。
【0011】
本発明は前記課題に鑑みて為されたものであって、その目的は、どのような作業環境であっても、手術者の動きに応じて精度良く所望の位置に撮像手段を駆動制御可能な手術用撮像システム及び手術用ロボットを提供することにある。
【課題を解決するための手段】
【0012】
本発明者らは前記課題を解決するべく鋭意検討した結果、手術者の動きをマーカによって検出することにより前記課題を解決できることを見出し、本発明を完成させた。
【0013】
即ち、本発明の要旨は、体腔内を撮像する撮像手段と、前記撮像手段によって撮像された像が表示される像表示手段と、を備える手術用撮像システムであって、前記撮像手段の駆動位置を制御する撮像位置制御手段と、手術者に装着されるマーカの位置を検出するマーカ検出手段と、を備え、該マーカ検出手段によって検出されたマーカの移動量及び移動方向に基づいて前記撮像手段の駆動量及び駆動方向が決定され、前記撮像位置制御手段が、決定された前記駆動量及び駆動方向に基づいて前記撮像手段の駆動位置を制御することを特徴とする、手術用撮像システムに関する(請求項1)。
【0014】
このような手術用撮像システムに拠れば、磁場や遮蔽物等の影響を受けずに、撮像手段(例えば内視鏡)の体腔内での駆動制御を正確に行うことができる。
【0015】
また、この時、前記マーカ検出手段は、光学系検出手段である(請求項2)。このような構成に拠れば、より簡易に手術者の動きを検知することができる。
【0016】
この時、前記光学系検出手段は、前記マーカの3次元位置を検出する立体カメラである(請求項3)。このような構成に拠れば、手術者の立体的な動きを確実に検出することができる。
【0017】
さらにこの時、前記マーカ検出手段は複数備えられている(請求項4)。このような構成に拠れば、より確実に精度良く撮像手段の駆動を制御することができる。
【0018】
さらに、本実施形態に係る手術用撮像システムは、前記撮像手段を駆動させる駆動モードのオン及びオフを制御する撮像切替トリガを備え、前記駆動モードがオンの状態で、前記撮像位置制御手段による前記撮像手段の駆動が行われ、前記駆動モードがオフの状態で、前記撮像位置制御手段による前記撮像手段の駆動が停止されるものである(請求項5)。
【0019】
このような構成に拠れば、駆動モードをオフにしているときには撮像手段が駆動せず、像表示手段に表示される像が静止画になる。そのため、手術者が例えばマニピュレータ操作等をすることによってマーカが意図せず移動したとしても、表示される画像は静止画のままとすることができ、安定した手術を行うことができる。
【0020】
また、前記像表示手段が、前記手術者の頭部に装着されるヘッドマウントディスプレイである(請求項6)。このような構成に拠れば、体腔内をより肉眼に近い状態で観察することができる。
【0021】
さらに、前記マーカが複数個設けられている(請求項7)。このような構成に拠れば、より確実に手術者の動作を検出することができる。
【0022】
そして、前記撮像手段は、前記撮像手段が、手術用マニピュレータと一体となって構成されている(請求項8)。このような構成に拠れば、撮像手段と手術用マニピュレータとを一体に構成できるため、装置の簡素化を図ることができる。
【0023】
また、本発明の別の要旨は、前記の手術用撮像システムが適用されている手術用ロボットに関する(請求項9)。本実施形態に係る手術用ロボットに拠れば、従来よりも容易に撮像手段(例えば内視鏡)等を用いた手術が可能となる。
【発明の効果】
【0024】
本発明に拠れば、どのような作業環境であっても、手術者の動きに応じて精度良く所望の位置に撮像手段を駆動制御可能な手術用撮像システム及び手術用ロボットを提供することができる。
【図面の簡単な説明】
【0025】
【図1】本実施形態に係る手術用撮像システムの全体構成を示す図である。
【図2】本実施形態に係る手術用撮像システムに適用可能な、マーカを備えるヘッドマウントディスプレイの斜視図である。
【図3】ヘッドマウントディスプレイを装着した手術者の3つの動作を示す図である。
【図4】本実施形態に係る手術用撮像システムの運転時のフローチャートである。
【図5】本実施形態に係る手術用撮像システムを適用して測定した、横方向の位置分解能を示すグラフである。
【発明を実施するための形態】
【0026】
以下、図面を適宜参照しながら、具体的な形態を挙げて本発明を実施するための形態(本実施形態)を説明する。ただし、本実施形態は以下の内容に何ら限定されるものではなく、その要旨を逸脱しない範囲で任意に変更して実施可能である。
【0027】
なお、本明細書において「内視鏡の駆動」とは、特に指定しない限り、内視鏡の撮像機能の駆動を表すものではなく、内視鏡そのものの物理的な移動を表すものとする。また、図1において、図示の都合上、マスタ側システム10に手術者14が、スレーブ側システム20に患者26が含まれて示されている。さらに、以下で説明する各機能、各手段、各部については、公知のハードウェア(Central Processing Unit(CPU)等)やソフトウェア、物理的な制御機構によって実現可能である。
【0028】
[1.構成]
図1に示すように、本実施形態に係る手術用撮像システム1は、マスタ側システム10とスレーブ側システム20とからなる。マスタ側システム10とスレーブ側システム20とは、有線又は無線の形態で相互に接続されている(詳細は後記する。)。そして、手術用撮像システム1はこのような構成を有することにより、マスタ側システム10での操作によって、スレーブ側システム20での動作が行われるようになっている。それとともに、スレーブ側システム20で得られた結果(撮像された像等)がマスタ側システム10に送信されるようになっている。
【0029】
はじめに、マスタ側システム10について説明する。
【0030】
マスタ側システム10は、図1に示すように、手術者14の頭部に装着されたヘッドマウントディスプレイ(HMD)11(像表示手段)と、立体カメラ12(マーカ検出手段)と、立体カメラ12に接続されているマスタ側装置13と、マスタ側装置13に接続されているフットスイッチSW(撮像切替トリガ)と、により構成される。
【0031】
HMD11は、前記のように、手術者14の頭部に装着されるものである。このように、像表示手段としてHMDを用いることにより、手術者14の頭部の動きと手術者14の視界の移動をより確実に同期することができる。即ち、手術用撮像システム1においては視線の移動に伴う頭部の動きが無いため、頭部の動きと視線の向きとが一致していると考えることができる。
【0032】
HMD11の拡大斜視図を図2に示す。図1及び図2に示すように、HMD11は、後記する内視鏡23(撮像手段)により撮影された像がカラーで表示される像表示部11aと、立体カメラ12により検出されるマーカ11bと、を備えるものである。そして、HMD11は、公知の任意のヘッドマウントディスプレイに対してマーカ11bが装着されることにより構成されるものである。即ち、HMD11を介して、マーカ11bが手術者14に装着されるようになっている。そして、HMD11(より具体的には像表示部11a)が、内視鏡23によって撮像された像が表示される像表示手段として機能する。
【0033】
HMD11には、4つのマーカ11bが備えられ、本実施形態においてはそれぞれ異なる色のマーカ(例えば、青、赤、黄及び緑等)が備えられている。そして、これらのマーカ11bは、背景の色と重複しない、或いは類似しない色のものを用いることが好ましい。
【0034】
また、マーカの個数は特に制限されず、1個のみであってもよいし、複数個であってもよい。ただし、手術者14の動作をより正確に把握する観点から、マーカ11bの個数は3個以上とすることが好ましい。
【0035】
さらに、マーカ11bの形状や大きさも、マーカ検出手段が検出できる限り特に制限されない。ただし、マーカ11bの形状としては、球状が好ましい。さらに、マーカ11bの大きさとしては、画像のピクセルサイズよりも大きなものとすることが好ましい。
【0036】
HMD11に備えられるマーカ11bの位置は、図1及び図2に示すように、手術者14の頭頂部と左右の頭側部と前頭部との4箇所である。このように、頭部全体を覆いつつ、マーカ11b同士にある程度の間隔を設けることにより、手術者14の頭部の動きをより正確に把握することができるようになる。なお、マーカ11bの設置場所はHMD11本体に限られず、手術者14の身体(例えば上半身の複数の箇所等)に直接設ける(固定する)ようにしてもよい。
【0037】
ここで、HMD11の動作、即ち、手術者14の動作と、内視鏡23の駆動との関係について、図3を参照ながら説明する。なお、図3に示す「前後左右」とは、手術者14から見た「前後左右」を表す。
【0038】
本実施形態においては、図3(a)においては、手術者14が頭部を右方向に向けたとき、内視鏡23も右方向に駆動し、HMD11に表示される像も右方向に移動するようになっている。一方、手術者14が頭部を左方向に向けたとき、内視鏡23も左方向に駆動し、HMD11に表示される像も左方向に移動するようになっている。即ち、手術者13の視線の方向に、内視鏡23が駆動するようになっている。そして、これらの回転量が、内視鏡23の駆動量に相当することになる。
【0039】
また、図3(a)に示す場合の他、図3(b)に示すように、手術者14の身体全体の位置を右方向に移動した場合にも内視鏡23は右方向に、身体全体を左方向に移動した場合にも内視鏡23は左方向に駆動するようになっている。この場合には、身体全体の移動量が、内視鏡23の駆動量に相当するものとなる。なお、本実施形態における内視鏡23は、その先端部が屈曲機構を有していないため、前記のように駆動する。従って、屈曲機構を有する内視鏡を用いた場合には、図3(b)に示すような手術者の左右並進に伴って、内視鏡の向きを変えずに内視鏡の左右併進が行われるようにすることができる。
【0040】
さらに、図3(c)に示すように、頭部を前方向に傾けた場合には、内視鏡23は下方向に駆動してHMD11に表示される像も下方向に移動する。一方、頭部を後ろ方向に傾けた場合には、内視鏡23は上方向に駆動してHMD11に表示される像も上方向に移動する。
【0041】
このような図3(a)〜(c)に示すように、頭部のみの回転(移動)や、身体全体の移動に拠って、内視鏡23の駆動量及び駆動方向を制御することができるようになっている。
【0042】
なお、図示はしていないが、手術者14が身体全体を前方向に移動させることにより、内視鏡23が前方向に移動して、HMD11に表示される像の大きさが大きくなる(即ち像が拡大される)。一方、手術者14が身体全体を後方向に移動させることにより、内視鏡23が後方向に移動して、HMD11に表示される像の大きさが小さくなる(即ち像が縮小される)。
【0043】
以上説明したように、直観的な方法に拠って内視鏡23の駆動が制御されるため、手術中のような極めて緊迫した状況下、内視鏡23の操作の煩雑さを低減させることができる。
【0044】
図1を参照しながら再び説明する。立体カメラ12(マーカ検出手段)は、手術者14に装着されているマーカ11bの位置を検出するものである。本実施形態においては、手術者14が装着しているHMD11に備えられたマーカ11bを立体カメラ12が検出するようになっている。そして、立体カメラ12がマーカ11bの3次元位置を検出することにより、手術者14の動作を把握することができる。
【0045】
また、本実施形態においては、フェイルセイフ(Fail Safe)の観点から、図示していないが立体カメラ12は複数台設置されている。このように、立体カメラ12を複数台設置することにより、より正確に手術者14の動作を把握することができる。また、例えば1台の立体カメラ12と手術者14との間に意図しない遮蔽物が生じた場合でも、他の立体カメラ12によって手術者14の動きを追跡できるようにすることができる。
【0046】
立体カメラ12の具体的な構成は特に制限されず、任意の立体カメラを適用することが可能である。また、マーカ検出手段として、本実施形態においては立体カメラを用いているが、他の光学系検出手段(例えば複数台の2次元カメラ等)や、さらに別の検出手段を用いてもよい。このようにマーカ検出手段を構成しても、立体カメラを用いた場合と同様の効果が得られる。
【0047】
マスタ側装置13は、立体カメラ12に接続されているものである。具体的には、マスタ側装置13は、画像解析部13aと、信号送信部13bと、信号受信部13cと、信号変換部13dと、演算部(図示しない。)とを備えてなる。そして、マスタ側装置13の画像解析部13aが、前記のように立体カメラ12に接続されている。さらに、マスタ側装置13の信号変換部13dは、HMD11に接続されている。
【0048】
画像解析部13aは、立体カメラ12によって検出されたマーカ11bの移動量を計測するものである。そして、計測された移動量に基づいて、演算部が内視鏡23の駆動量を演算するようになっている。
【0049】
マーカ11bの具体的な移動量の決定方法としては、立体カメラ12により撮影された像中のマーカ11bの位置を所定時間追跡することにより、当該時間に移動したマーカ11bの移動量を計測するようになっている。より具体的には、例えば、時刻t0で座標(X1,Y1,Z1)の位置にあったマーカ11bが、時刻t0+Δtで座標(X2,Y2,Z2)の位置に移動した場合、座標(X1,Y1,Z1)から座標(X2,Y2,Z2)までの距離が移動量となる。そして、座標(X1,Y1,Z1)から座標(X2,Y2,Z2)への方向が移動方向となる。
【0050】
そして、このような移動量の計測をそれぞれのマーカ11bについて行い、それぞれのマーカ11bの移動量を画像解析部13aが決定するようになっている。そして、決定された移動量及び移動方向に基づいて、演算部が内視鏡23の駆動量及び駆動方向を決定するようになっている。そして、後記するフィルタ処理も、演算部が行うようになっている。
【0051】
なお、本実施形態においては、マーカ11bの移動量と内視鏡23の駆動量とが同じ量になるように設定している。ただし、これらの関係は必ずしも同じ量に設定する必要は無く、内視鏡23の急激な駆動を回避する観点から、マーカ11bの移動量5に対して、内視鏡23が1駆動するように設定してもよい。
【0052】
信号送信部13bは、演算部により決定された内視鏡23の駆動量及び駆動方向を、後記するスレーブ側システム20に備えられる信号受信部21aに信号として送信するものである。
【0053】
信号送信部13bは、フットスイッチSWに接続されている。フットスイッチSWは、撮像位置制御手段22による内視鏡23の駆動のオン及びオフ、換言すれば内視鏡23を駆動させる駆動モードのオン及びオフを制御するものである。即ち、フットスイッチSWがオンの状態で内視鏡23の駆動が行われるようになっている。一方、フットスイッチSWがオフの状態では内視鏡23の駆動は行われない(停止する)ようになっている。このようなフットスイッチSWを備えることで、手術中、手術者14が自身の意図しない動きをした場合であっても、内視鏡23が意図しない方向に駆動することを防止することができる。
【0054】
フットスイッチSWは、通常はオフ状態になっているものであり、手術者14が押下するとオン状態に切り替わる。そして、手術者14が足を外すと再びオフ状態に切り替わるようになっている。即ち、本実施形態においては、手術者14がフットスイッチSWを押下し続けている間のみ、内視鏡23が駆動するようになっている。内視鏡を用いた通常の手術中においては、手術者14は両手でマニピュレータ24を操作している。そのため、撮像切替トリガとしてフットスイッチSWを用いることで、手術者14のマニピュレータ24の操作を阻害することを防止することができる。
【0055】
信号受信部13cは、内視鏡23により撮像された体腔内の様子についての信号を、後記する信号送信部21cから受信するものである。また、信号変換部13dは、信号受信部13cで受信した信号を、HMD11に表示させる形式に変換するものである。このようにして受信した信号が変換され、内視鏡23によって撮像されたカラー画像(映像)がHMD11に表示されるようになっている。
【0056】
次に、スレーブ側システム20について説明する。
【0057】
スレーブ側システムは、スレーブ側装置21と、撮像位置制御手段22と、内視鏡23と、マニピュレータ24(手術用マニピュレータ)と、支持台25と、を備えてなる。
【0058】
スレーブ側装置21は、信号受信部21aと、画像処理部21bと、信号送信部21cと、を備えてなる。信号受信部21aは信号送信部13bからの内視鏡23の駆動量及び駆動方向に関する信号を受信するものである。そして、信号受信部21aは、後記する撮像位置制御手段22に接続されている。
【0059】
画像処理部21bは、内視鏡23により撮影された像を送信可能な信号に変換するものである。そして、画像処理部21bによって変換された信号は、信号送信部21cに送信される。また、信号送信部21cは、画像処理部21bから送信された信号を、前記した信号受信部13cに送信するものである。そして、このようにして、スレーブ側装置21からの信号がマスタ側装置13に送信される。
【0060】
撮像位置制御手段22は、信号受信部21aに接続され、内視鏡23の駆動量及び駆動方向を制御するものである。即ち、撮像位置制御手段22は、前記した演算部により計算された駆動量及び駆動方向に基づいて、内視鏡23の駆動位置制御を行うものである。
【0061】
本実施形態における撮像位置制御手段22は、空気圧を利用したピストン方式の装置によって、駆動量及び駆動方向を制御するように構成されている。撮像位置制御手段22は、手術者14に装着されたマーカ11bに追従して、3方向(挿入口を回転中心とした左右方向、上下方向及び前後方向)に内視鏡23を駆動させることが可能となっている。即ち、撮像位置制御手段22は、従来の内視鏡視野内における3次元空間内の任意の位置を内視鏡23が撮影可能になるように構成されている。
【0062】
マニピュレータ24は、所謂鉗子と呼称されるものである。本実施形態においては2つのマニピュレータ24が備えられ、患者26の体表面に設けられた挿入孔26aから体腔内に挿入されるようになっている。マニピュレータ24は図示しない電気信号線によって手術者14の手に装着された遠隔操作手段と接続されている。そのため、マニピュレータ24は、手術者14の手の動きに追従して、その先端部を駆動させることができるようになっている。
【0063】
本実施形態におけるマニピュレータ24は、空気圧によって駆動するように構成されている。即ち、本実施形態に係るマニピュレータ24は、空気圧揺動アクチュエータと空気圧シリンダと(いずれも図示しない。)を備えるものである。マニピュレータ24がこのような構成を有することにより、マニピュレータ24が並進、上下、前後方向に移動可能になっている。
【0064】
支持台25は、内視鏡23及びマニピュレータ24等を一体的に支持するものであり、患者26を取り囲むように設置される。ただし、内視鏡23は、任意の方向に駆動可能に支持台25に支持されている。また、支持台25は例えばアルミニウム合金等の軽量で剛性の高い金属により構成される。
【0065】
以上の構成を有する手術用撮像システム1に拠れば、HMD11に装着されたマーカ11bにより、手術者14の頭部の動きを正確に把握することができる。即ち、手術者14の頭部の動きを検出することにより、手術者14の視線を検出することができる。従って、手術者14の視線に基づいて内視鏡23の方向を制御することにより、内視鏡23により撮像される体腔内の部位を制御することができる。そして、内視鏡23により撮像された当該部位をHMD11に表示させることができる。その結果、手術者14は手術中に内視鏡23の操作から開放され、容易に所望の位置に内視鏡23を駆動させて体腔内の様子を観察することができる。
【0066】
[2.制御方法]
次に、手術用撮像システム1における内視鏡23の駆動制御について、図4及び図5を参照しながら説明する。
【0067】
手術用撮像システム1を起動すると、立体カメラ12により撮影されるHMD11を装着した手術者14が立体カメラ12により撮影される。立体カメラ12は、図1に示すように2台の2次元カメラ(即ち、左目カメラ及び右目カメラ)によって構成されているため、それぞれの2次元カメラにより撮影された手術者14が、図示しないモニタに一緒に表示されるようになっている。なお、この時、内視鏡23にも電力が供給され、現時点で内視鏡23により撮影されている像が、HMD11に表示されている。
【0068】
モニタには、前記のようにマーカ11bを装着した手術者14が表示されている。そして、モニタに表示されたマーカ11bのうち、追跡するマーカ11bをモニタの画面上にて指定する(ステップS101)。このとき、追跡するマーカ11bの数は任意に変更可能であるが、より正確な駆動を行う観点から3つ以上のマーカ11bを指定するものとする。また、モニタ上には2台の2次元カメラにより撮影された2つの画面が表示されており、それぞれの画面で、対応する同一のマーカ11bを指定するものとする。
【0069】
ステップS101で指定されたマーカ11bについて、画像解析部13aは、色情報ヒストグラムを用いて追跡する(ステップS102,S103)。この追跡は、左目カメラと右目カメラとで撮影された像の両方について行われる。具体的な追跡方法としては、本実施形態においては色情報のヒストグラムが利用される。
【0070】
この追跡時、例えば手術者14が立体カメラ12からフレームアウトしたり、立体カメラ12と手術者14との間に遮蔽物が出現したりしてマーカ11bを追跡できなくなることがある(ステップS104のYes方向)。このような場合には、指定されたマーカ11bが再度追跡可能になるまで、ステップS102及びステップS103が繰り返される。
【0071】
指定されたマーカ11bが全て追跡可能であると画像解析部13aが判断した場合(ステップS104のNo方向)、画像解析部13aは指定されたマーカ11bの3次元位置を、左目画面及び右目画面(即ち左右画面)の位置に基づいて計算する(ステップS105)。具体的には、手術者14が頭部を上下方向に移動することに伴うマーカ11bの軌跡に基づいて、手術者14の頭部の位置及び回転中心並びに手術者14の姿勢等が計算される(ステップS106)。
【0072】
以上のようにして初期設定が完了し、待機状態になる。次に、ステップS106が終了した後の、手術用撮像システム1運転時の制御について説明する。
【0073】
前記待機状態において、手術者14が頭部の位置をずらしたり回転させたりした場合、画像解析部13aは指定したマーカ11bの並進量及び回転量に基づいて、頭部の並進量及び回転量を計算する(ステップS107)。そして、図示しない演算部が、計算された並進量及び回転量(即ち、移動量及び移動方向)に基づいて、内視鏡23の駆動量及び駆動方向を計算する。
【0074】
そして、演算部において計算された駆動量及び駆動方向(即ち、撮像位置制御手段22に送信される動作指令値)に対して、フィルタ処理が行われる(ステップS108)。具体的には、前記動作指令値に対して、高周波成分をカットするローパスフィルタの適用と、所定の閾値以下の微小な動作指令値のカットとの2つの処理が行われる。動作指令値に対してこのような処理が行われることにより、内視鏡23の駆動が滑らかなものになる。
【0075】
そして、フットスイッチSWが押下されている状態(オンになっている状態、ステップS109のYes方向)になると、信号送信部13bはスレーブ側システム20の信号受信部21aに対して、内視鏡23の駆動量及び駆動方向(動作指令値)を送信する(ステップS110)。すると、内視鏡23は、演算部により計算された駆動量及び駆動方向に基づいて駆動される。そして、手術者14がフットスイッチSWから足を外すことにより、フットスイッチSWが押下されていない状態(オフになっている、ステップS109のNo方向)になると、内視鏡23の駆動は停止する。
【0076】
その後、手術者14による手術が終了する等して、内視鏡23の操作が不要になった場合には、例えばシステム停止ボタンを押下すると(ステップS111のYes方向)、手術用撮像システム1が終了する。
【0077】
このようにして、手術者14の頭部の動作に追従して、内視鏡23の駆動が制御される。
【0078】
[3.適用用途]
本実施形態に係る手術用撮像システムは、任意の用途に適用することができる。例えば、スレーブ側システム20を構成する内視鏡23及びマニピュレータ23を一体に保持した手術用ロボット等に適用可能である。
【0079】
[4.効果]
本実施形態に係る手術用撮像システムは磁気センサを用いていないため、周辺環境の影響を受けにくいという利点がる。そのため、本実施形態に係る手術用撮像システムに拠れば、どのような作業環境であっても、精度良く所望の位置に撮像手段を駆動制御可能となる。特に、MRI等の強磁場を発生させる場所や、手術器具等の金属物が大量に存在する場所であっても、内視鏡駆動位置の精度低下を生じることなく、所望の位置に内視鏡を駆動させることができる。
【0080】
特に、従来の磁気センサを用いた方式の場合、前記課題のほかにも、磁場送信部と受信部との距離に制限があるという課題がある。即ち、これらの間の距離が長くなればなるほど、精度が低下するという課題がある。具体的には、距離の3乗に比例して磁場量が減少することが知られており、その結果、これらをできるだけ近い距離に設置しなければならないという課題がある。
【0081】
しかしながら、本実施形態に係る手術用撮像システムに拠れば、そのような制限が無い。即ち、例えば距離が長い場合であっても、立体カメラ12に望遠レンズを取り付けたり、立体カメラ12の解像度を増加させたりすれば、マーカ11bの位置を正確に検出することができる。その結果、距離が長い場合であっても、内視鏡23の駆動を精度良く行うことができる。
【0082】
さらに、磁気センサを用いた場合とは異なり、本実施形態に係る手術用撮像システムにおいてはマーカ11bの数を任意に増加させることができる。そして、マーカ11bの数が増加すればするほど、検出精度は高いものとすることができる。さらに、マーカ11bを任意に増加させた場合でも、ハードウェアの変更は少なくて済み、極めて容易に検出精度を増加させることができる。また、マーカ11bは通常は安価であるため、安価に検出精度を増加させることもできる。
【0083】
また、本実施形態に係る手術用撮像システムに拠れば、仮に立体カメラ12とマーカ11bとの間に遮蔽物が存在してもソフトウェア上で当該遮蔽物の存在を補正することができる。従って、このような遮蔽物が存在しても、存在しない場合と同等の操作及び精度で内視鏡23が駆動可能となる。また、必要に応じて市販のカメラを増設することにより、やはり同等の精度で内視鏡23の駆動が可能となる。
【0084】
さらに、従来は、患者に対して手術を行う手術者と、内視鏡操作を行う助手と、の少なくとも2人が手術時に従事していた。そのため、内視鏡の方向が、手術者の意図と異なる方向に向くことがあり、手術の高効率化の妨げとなっていた。
【0085】
このような課題を解決するために、手術者自身が内視鏡の操作を行うことが考えられた。具体的には、マニピュレータを用いた手術中に手術者がフットペダルを押下してモード切替を行い、手術者が手動で内視鏡の位置を制御する技術もあった。しかしながら、この技術に拠っては、マニピュレータの操作と内視鏡の駆動制御とを同時かつ同期して行うことができなかった。
【0086】
しかしながら、本実施形態に係る手術用撮像システムに拠れば、内視鏡操作を手術者自身が行うことができる。そのため、従来要していた助手が不要となる。また、マニピュレータの操作(手術)を行いながら内視鏡の向きを手術者14の意図するように制御することもできる。従って、従来よりも効率よく内視鏡を操作することができ、手術時間の短縮等の手術の高効率化が図れる。
【0087】
さらに、本実施形態に係る手術用撮像システムに拠れば、手術者14が所望するように、内視鏡23を上下前後左右の任意の方向に駆動させることができる。従って、手術者14の視界の向きに応じて自動的に内視鏡が駆動するため、直観的な操作が可能になる。
【0088】
ここで、本実施形態に係る手術用システムを適用した場合の、内視鏡23の分解能について図5を参照して説明する。図5は本発明者らの検討によって得られたグラフである。即ち、図5は、マーカ11bを装着した手術者14が立体カメラ12に対して頭部を横方向に動作(図3(b)に示す動作)させた際の、マーカ11bの位置を画像認識で取得した実験結果である。
【0089】
図5に示す実験の際には、立体カメラ12として、左右方向の包括角度が84.9°、上下方向の包括角度が68.9°、解像度が320ピクセル×240ピクセル、基線長(2つのカメラ間の距離)が300mmの3次元カメラを用いた。そして、立体カメラ12から0.5m離れた位置に手術者14を配置した場合に得られた結果である。
【0090】
図5に示すように、本実施形態に係る手術用撮像システムに拠れば、位置分解能が1mm程度であり、高い位置分解能(駆動精度)を有することがわかる。また、本発明者らの検討によると、図示はしないが、HMD11の位置に対する内視鏡23の追従性(即ち同期性)も極めて優れていることを示すグラフも得られている。
【0091】
[5.変更例]
以上、具体的な実施形態を挙げて本実施形態を説明したが、本実施形態は前記の内容に何ら制限されるものではなく、本発明の要旨を損なわない範囲で任意に変更して実施可能である。
【0092】
例えば、本実施形態においては、支持台25に内視鏡23とマニピュレータ24とを一体に固定しているが、内視鏡23とマニピュレータ24とを一体に構成し、一体に構成された内視鏡23及びマニピュレータ24を支持台25に固定するようにしてもよい。このように構成することにより、患者26の体表面に形成する挿入孔26aの数を減らすことができる。そのため、よりいっそうの低侵襲外科手術が可能となる。
【0093】
またこの場合、例えばマニピュレータ24の先端部を空気圧揺動アクチュエータと空気圧シリンダとによって構成することにより、内視鏡によるフェイルセイフを高めることができる。即ち、マニピュレータに内視鏡を取り付けた場合、内視鏡が臓器に接触した場合に空気圧アクチュエータの差圧から当該接触を検出することができる。そして、このような場合には、内視鏡のそれ以上の駆動を停止させ、内視鏡による臓器の損傷をより確実に防止することができる。
【0094】
さらに、本実施形態においては、マスタ側装置13とスレーブ側装置21とに、それぞれ信号送信部13b,21c及び信号受信部13c,21aが設けられているが、これらをまとめてそれぞれ信号送受信部とし、マスタ側装置13の信号送受信部とスレーブ側装置21の信号送受信部とで通信させるようにしてもよい。
【0095】
また、図1に示す実施形態においては立体カメラ12と手術者14とが比較的に近い位置に存在するように示しているが、例えば部屋の4隅に手術者14を捕捉できるように2次元カメラを設置し、当該部屋内の任意の場所で手術者14が手術を行うようにすることもできる。
【0096】
さらに、マスタ側システム10とスレーブ側システム20とは必ずしも近い位置にある必要は無く、例えば遠隔地医療等、それぞれのシステムが離れた位置にある場合でも、本実施形態に係る手術用撮像システムが適用可能である。
【0097】
また、本実施形態においては、マーカ11bはHMD11に装着させているが、手術者14の頭部(例えば耳等)に直接装着するようにしてもよい。また、例えば手術者14の肩等に装着する等、マーカ11bの装着位置は何ら限定されるものではない。従って、手術者14に装着されて手術者の視線を推定できる部位である限り、あらゆる部位にマーカ11bを装着可能である。
【0098】
さらに、本実施形態においては、フットスイッチSWが押下されているときに内視鏡23が駆動するようにしているが、このようなスイッチを設けずに、例えば手術者14が素早く2回頭部を動かした場合に内視鏡23が駆動されるモードになるように設定し、さらに2回動かした場合に内視鏡23が駆動しないモードになるように設定してもよい。このような場合、頭部を素早く2回動かす動作が撮像切替トリガとなる。
【0099】
また、撮像切替トリガとして、手術者等の声を用いてもよい。即ち、手術者が「切り替え」と発声することにより内視鏡23が駆動するモードとなり、「止め」と発声することにより内視鏡23が停止するモードになるようにしてもよい。
【0100】
さらに、マーカ11bの移動速度が所定の速度よりも速い(若しくは低い)場合には手術者14の意図する移動ではないとみなし、このような場合には内視鏡23を駆動させないように制御してもよい。
【0101】
また、図1に示す実施形態において、各手段は有線で接続されていてもよく、無線で接続されていてもよい。また、有線と無線とを適宜組み合わせて接続されていてもよい。
【符号の説明】
【0102】
1 手術用撮像システム
10 マスタ側システム
11 ヘッドマウントディスプレイ(HMD、像表示手段)
11a 像表示部
11b マーカ
12 立体カメラ(マーカ検出手段)
13 マスタ側装置
13a 画像解析部
13b 信号送信部
13c 信号受信部
13d 信号変換部
14 手術者
20 スレーブ側システム
21 スレーブ側装置
21a 信号受信部
21b 画像処理部
21c 信号送信部
22 撮像位置制御手段
23 内視鏡(撮像手段)
24 マニピュレータ
25 支持台
26 患者
26a 挿入孔
SW フットスイッチ(撮像切替トリガ)

【特許請求の範囲】
【請求項1】
体腔内を撮像する撮像手段と、
前記撮像手段によって撮像された像が表示される像表示手段と、
を備える手術用撮像システムであって、
前記撮像手段の駆動位置を制御する撮像位置制御手段と、
手術者に装着されるマーカの位置を検出するマーカ検出手段と、
を備え、
該マーカ検出手段によって検出されたマーカの移動量及び移動方向に基づいて、前記撮像手段の駆動量及び駆動方向が決定され、
前記撮像位置制御手段が、決定された前記駆動量及び駆動方向に基づいて前記撮像手段の駆動位置を制御する
ことを特徴とする、手術用撮像システム。
【請求項2】
前記マーカ検出手段は、光学系検出手段である
ことを特徴とする、請求項1に記載の手術用撮像システム。
【請求項3】
前記光学系検出手段は、前記マーカの3次元位置を検出する立体カメラである
ことを特徴とする、請求項2に記載の手術用撮像システム。
【請求項4】
前記マーカ検出手段は複数備えられている
ことを特徴とする、請求項1〜3の何れか1項に記載の手術用撮像システム。
【請求項5】
前記撮像手段を駆動させる駆動モードのオン及びオフを制御する撮像切替トリガを備え、
前記駆動モードがオンの状態で、前記撮像位置制御手段による前記撮像手段の駆動が行われ、
前記駆動モードがオフの状態で、前記撮像位置制御手段による前記撮像手段の駆動が停止される
ことを特徴とする、請求項1〜4の何れか1項に記載の手術用撮像システム。
【請求項6】
前記像表示手段が、前記手術者の頭部に装着されるヘッドマウントディスプレイである
ことを特徴とする、請求項1〜5の何れか1項に記載の手術用撮像システム。
【請求項7】
前記マーカが複数個設けられている
ことを特徴とする、請求項1〜6の何れか1項に記載の手術用撮像システム。
【請求項8】
前記撮像手段が、手術用マニピュレータと一体となって構成されている
ことを特徴とする、請求項1〜7の何れか1項に記載の手術用撮像システム。
【請求項9】
請求項1〜8の何れか1項に記載の手術用撮像システムが適用される
ことを特徴とする、手術用ロボット。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−223363(P2012−223363A)
【公開日】平成24年11月15日(2012.11.15)
【国際特許分類】
【出願番号】特願2011−93557(P2011−93557)
【出願日】平成23年4月20日(2011.4.20)
【国等の委託研究の成果に係る記載事項】(出願人による申告)平成21年度、独立行政法人科学技術振興機構、戦略的創造研究推進事業(CREST) 「手術ロボットの開発」 産業技術力強化法第19条の適用を受ける特許出願
【出願人】(304021417)国立大学法人東京工業大学 (1,821)
【Fターム(参考)】