操作入力装置およびマニピュレータシステム
【課題】操作者が操作部を正常に操作できない状態となったときにそれを迅速に検知し、表示物の意図しない動きを防ぐ。
【解決手段】ディスプレイ４と、操作者Ｂの頭部Ｃに装着される頭部装着部５と、操作者Ｂの操作によりディスプレイ４上に表示された表示物２に対する操作信号が入力される操作部６と、頭部装着部５と操作部６との相対位置を検出する相対位置検出手段８，１２と、該相対位置検出手段８，１２によって検出された相対位置に基づいて、操作部６に入力された操作信号に従って表示物２の動作を制御する第１の制御モードと、操作部６に入力された操作信号に対して制限をかけて表示物２の動作を制御する第２の制御モードとを切り替えて表示物２を制御する制御部７とを備える操作入力装置１を提供する。
【解決手段】ディスプレイ４と、操作者Ｂの頭部Ｃに装着される頭部装着部５と、操作者Ｂの操作によりディスプレイ４上に表示された表示物２に対する操作信号が入力される操作部６と、頭部装着部５と操作部６との相対位置を検出する相対位置検出手段８，１２と、該相対位置検出手段８，１２によって検出された相対位置に基づいて、操作部６に入力された操作信号に従って表示物２の動作を制御する第１の制御モードと、操作部６に入力された操作信号に対して制限をかけて表示物２の動作を制御する第２の制御モードとを切り替えて表示物２を制御する制御部７とを備える操作入力装置１を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作入力装置およびマニピュレータシステムに関するものである。
【背景技術】
【０００２】
従来、外界の異常を検知したときに、視界が遮断されている装着者に対して視野を開放したり異常を知らせたりする頭部装着型映像表示装置（ＨＭＤ；Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が知られている（例えば、特許文献１および２参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−３０４６４６号公報
【特許文献２】特開平９−１４９３３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１および２では、装着者がＨＭＤに表示されている機器等の表示物を手元の操作部で操作する場合に、装着者に異常が発生したときなどの機器等の制御について考慮されていない。すなわち、装着者が何らかの事情により突然体勢を変えたり操作部を手放したりして操作部が装着者によって正しく操作されない状態となったときに、操作対象である機器等が意図しない動きをしてしまう可能性があるという問題がある。また、装着者が不注意などにより操作部に対して傾いた姿勢で操作部を操作すると、ＨＭＤ上の操作対象である機器等と操作部の操作方向との上下左右方向が一致しなくなるので、機器等を意図しない方向に操作してしまう可能性があるという問題がある。
【０００５】
本発明は、上述した事情に鑑みてなされたものであって、操作者が操作部を正常に操作できない状態となったときにそれを迅速に検知し、表示物の意図しない動きを防ぐことができる操作入力装置およびマニピュレータシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、ディスプレイと、操作者の頭部に装着される頭部装着部と、前記操作者の操作により前記ディスプレイ上に表示された表示物に対する操作信号が入力される操作部と、前記頭部装着部と前記操作部との相対位置を検出する相対位置検出手段と、該相対位置検出手段によって検出された相対位置に基づいて、前記操作部に入力された操作信号に従って前記表示物の動作を制御する第１の制御モードと、前記操作部に入力された操作信号に対して制限をかけて前記表示物の動作を制御する第２の制御モードとを切り替えて前記表示物を制御する制御部とを備える操作入力装置を提供する。
【０００７】
本発明によれば、頭部装着部を装着した操作者は、第１の制御モードにおいて、ディスプレイを見ながら該ディスプレイ上の表示物を手元の操作部で任意に操作することができる。この場合に、何らかの事情で操作者または操作部が移動すると、相対位置検出手段により検出される相対位置が変化して制御部が第２の制御モードに切り替える。これにより、操作者が操作部を正常に操作できない状態となったときにそれを迅速に検知するとともに、操作部に入力された操作信号に対して表示物の動作を制限して、操作部の不慮の操作による表示物の意図しない動きを防ぐことができる。
【０００８】
上記発明においては、前記制御部は、前記頭部装着部および前記操作部との相対位置が所定の範囲から外れたときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、所定の範囲として、操作者による表示物の通常の操作状態において配される範囲を設定しておけば、操作者および操作部が通常の操作状態でなくなったことをより精度よく検知して操作部による表示物の操作を制限することができる。
【０００９】
また、上記発明においては、前記相対位置検出手段が、前記操作部または前記頭部装着部の一方に設けられた指標と、前記操作部または前記頭部装着部の他方に設けられ前記指標を撮影する撮影部とを備え、前記制御部が、前記撮影部によって撮影された画像内における前記指標の位置に基づいて、前記第１の制御モードと前記第２の制御モードとを切り替えてもよい。
このようにすることで、頭部装着部と操作部との相対位置を簡便な構成で検出することができる。
【００１０】
また、上記発明においては、前記相対位置検出手段が、前記頭部装着部および前記操作部にそれぞれ設けられ、その空間座標系における変位情報を検出する空間センサを備え、前記制御部は、前記空間センサにより得られた前記頭部装着部と前記操作部との相対位置が所定の範囲から外れたときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、頭部装着部と操作部との相対位置を簡便な構成で検出することができる。
【００１１】
また、上記発明においては、前記相対位置検出手段が、前記頭部装着部および前記操作部にそれぞれ設けられ、その空間座標系における変位情報を検出する空間センサを備え、前記制御部は、少なくとも一方の前記空間センサにより検出された変位情報が所定の閾値より大きいときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
【００１２】
このようにすることで、頭部装着部または操作部の移動によりこれらの相対位置がずれたことを簡便な構成で検知することができる。さらに、指標および撮影部と組み合わせて用いた場合には、指標および撮影部もしくは空間センサが正常に作動しない状況となったときでも、操作者が通常の操作状態にあるか否かを正確に検知して表示物を適切に制御することができる。
【００１３】
また、上記発明においては、前記頭部装着部と前記操作部との相対角度を検出する相対角度検出手段を備え、前記制御部は、前記相対角度検出手段により検出された相対角度が所定の閾値より大きいときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、頭部装着部と操作部との相対姿勢が検出され、両者の相対移動をより高い精度で検知することができる。
【００１４】
また、上記発明においては、前記操作部に設けられ、該操作部と前記操作者の手との接触の有無を検出する接触センサを備え、前記制御部は、前記接触センサにより前記操作部と前記操作者の手との接触が検出されないときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、操作部が操作者の手に適切に保持されていないときには操作部による表示物の操作を制限することができる。
【００１５】
また、上記発明においては、前記頭部装着部に設けられ、該頭部装着装置と前記操作者の頭部との接触の有無を検出する接触センサを備え、前記制御部は、前記接触センサにより前記頭部装着部と前記操作者の頭部との接触が検出されないときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、頭部装着部が操作者の頭部に適切に装着されていないときには操作部による表示物の操作を制限することができる。
【００１６】
また、上記発明においては、前記操作者の視線を検出する視線検出手段を備え、前記制御部は、前記視線検出手段により検出された視線が前記操作者の正面方向からからずれた方向であるときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、操作者が正面に配置されたディスプレイからそれた方向を見ているときには、操作部による表示物の操作を制限することができる。
【００１７】
また、上記発明においては、前記操作者による操作により前記制御部に対して前記第２の制御モードから前記第１の制御モードへの切り替えを許可する許可手段を備え、前記制御部は、前記第１の制御モードから前記第２の制御モードに切り替えた後、前記許可手段によって許可されたときに前記第１の制御モードに切り替えてもよい。
このようにすることで、第２の制御モードに切り替わった後、操作者が通常の操作状態に戻ってから任意のタイミングで表示物の動作に対する制限を解除することができる。
【００１８】
また、本発明は、上記いずれかに記載の操作入力装置と、前記表示物であるマニピュレータと、前記ディスプレイに表示する前記表示物の映像を取得する観察装置とを備えるマニピュレータシステムを提供する。
【発明の効果】
【００１９】
本発明によれば、操作者が操作部を正常に操作できない状態となったときにそれを迅速に検知し、表示物の意図しない動きを防ぐことができるという効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る操作入力装置およびマニピュレータシステムの全体構成図である。
【図２】図１の操作入力装置およびマニピュレータシステムの機能ブロック図である。
【図３】（ａ）操作者の通常の操作状態と、（ｂ）そのときに撮影部によって撮影される画像とを示す図である。
【図４】（ａ）操作者の不適切な操作状態と、（ｂ）そのときに撮影部によって撮影される画像とを示す図である。
【図５】図１の操作入力装置の動作を説明するフローチャートである。
【図６】図１の操作入力装置によるマニピュレータの制御方法の変形例を説明する図である。
【図７】本発明の第２の実施形態に係る操作入力装置の全体構成図である。
【図８】図７の操作入力装置およびマニピュレータシステムの機能ブロック図である。
【図９】図１および図７の操作入力装置の変形例であり、別置き型のディスプレイを用いた場合の構成を示す図である。
【発明を実施するための形態】
【００２１】
本発明の第１の実施形態に係る操作入力装置１およびマニピュレータシステム１００について、図１〜図６を参照して以下に説明する。
本実施形態に係るマニピュレータシステム１００は、外科手術に用いられるものであり、図１に示されるように、患者Ａの体内に挿入されるマニピュレータ（表示物）２と、該マニピュレータ２の映像を撮影する内視鏡（観察装置）３と、本実施形態に係る操作入力装置１とを備えている。
【００２２】
マニピュレータ２は、モータ２ａによってその姿勢や位置や作動状態をそれぞれ変化させることができるようになっている。また、内視鏡３もモータ３ａによって、その姿勢や位置や作動状態を変化させることができるようになっている。
【００２３】
操作入力装置１は、内視鏡３により取得された患者Ａの体内におけるマニピュレータ２の映像を表示する表示部（ディスプレイ）４を備え、操作者Ｂの頭部Ｃに装着されるＨＭＤ（頭部装着部）５と、操作者Ｂによって操作される操作部６と、操作部６の操作によりマニピュレータ２を作動させる制御部７とを備えている。
【００２４】
ＨＭＤ５は、操作者Ｂの頭部Ｃに装着された状態で、表示部４を操作者Ｂの眼前に配置するように構成されている。ＨＭＤ５は、図２に示されるように、操作者Ｂの頭部Ｃに装着された状態で、操作者Ｂの頭部Ｃの前方を撮影可能な視野を有するＣＣＤのような撮影部（相対位置検出手段）８と、該撮影部８により撮影した画像信号を無線送信する送受信部９とを備えている。
【００２５】
操作部６は、操作者Ｂが手に保持して操作することにより、マニピュレータ２および内視鏡３の操作信号が入力されるようになっている。このときに、通常の操作状態において操作者Ｂは、図３（ａ）に示されるように、自身の胴体に対して正面方向に操作部６を配置し、顔を操作部６の方向に向けた姿勢で操作部６を操作する。これにより、操作者Ｂが表示部４に視線を向けるとその視線の延長線上に操作部６が配置され、内視鏡３に対するマニピュレータ２の位置・姿勢と、内視鏡３の映像が表示される表示部４に対する操作部６の位置・姿勢とが一致した状態となり、マニピュレータ２を操作者Ｂの意図した方向に操作することができる。
【００２６】
また、操作部６は、押下されることにより制御部７に対してマニピュレータ２の作動を許可する許可信号を出力する許可ボタン１０（許可手段）を備えている。許可ボタン１０は、例えば、図示しないカバーなどにより覆われ、操作者Ｂの操作によりカバーが外されないと押下されないようになっている。
操作部６に入力されたマニピュレータ２および内視鏡３の操作信号ならびにマニピュレータ２の作動の許可信号は、送信部１１により無線送信される。
【００２７】
また、操作部６には、ＬＥＤ（相対位置検出手段、指標）１２が固定されている。操作者Ｂが通常の操作状態にあるときには、図３（ｂ）に示されるように、撮影部８により撮影された画像Ｄの中央付近にＬＥＤ１２が存在する。一方、図４（ａ）に示されるように、操作者Ｂが顔の向きを変えたり操作部６を落下させたりするなどして通常の操作状態でなくなり、ＨＭＤ５と操作部６との相対位置が移動すると、図４（ｂ）に示されるように、画像Ｄ内のＬＥＤ１２が中央付近から外側に移動する、あるいは、画像Ｄ内からＬＥＤ１２が消える。
【００２８】
制御部７は、内視鏡３により取得された画像信号が入力されることにより、これを処理してＨＭＤ５に送信する送受信部１３を備え、ＨＭＤ５に設けられた表示部４に撮影された内視鏡映像を表示させるようになっている。
また、制御部７は、操作部６およびＨＭＤ５から無線送信されてきた操作信号および画像信号を、送受信部１３を介して受信し、受信した操作信号および画像信号に基づいてマニピュレータ２または内視鏡３のモータ２ａ，３ａを作動させ、マニピュレータ２または内視鏡３を移動させあるいは作動状態を変化させる制御信号を生成する。
【００２９】
具体的には、制御部７は、撮影部８により取得された画像Ｄ内からＬＥＤ１２を抽出し、所定の領域Ｅ内にＬＥＤ１２が存在すれば第１の制御モードによりマニピュレータ２を制御し、所定の領域Ｅ内にＬＥＤ１２が存在しなければ第２の制御モードによりマニピュレータ２を制御する。
【００３０】
ここで、第１の制御モードは、操作部６から送信されてきたマニピュレータ２の操作信号に従ってマニピュレータ２の制御信号を生成する制御モードである。第２の制御モードは、操作部６から送信されてきたマニピュレータ２の操作信号に依らずにマニピュレータ２を強制停止させる制御モードである。
制御部７は、第１の制御モードから第２の制御モードに切り替えた後、画像Ｄ内においてＬＥＤ１２が所定の領域Ｅ内に配置された状態で操作部６から許可信号を受信したときに、第１の制御モードに復帰するようになっている。
【００３１】
このように構成された操作入力装置１およびマニピュレータシステム１００の作用について、図５のフローチャートを参照して以下に説明する。
本実施形態に係るマニピュレータシステム１００を用いて外科手術を行うには、操作者Ｂは、ＨＭＤ５を頭部Ｃに装着し、手に保持した操作部６を正面に配置して操作部６に顔を向ける。これにより、表示部４に表示された内視鏡映像を見ながら操作部６によって内視鏡３およびマニピュレータ２を任意に操作することができる（ステップＳ１）。
【００３２】
操作者Ｂが内視鏡３およびマニピュレータ２の操作の途中で体勢を変えたり手から操作部６を落下させたりして、画像Ｄ内のＬＥＤ１２の位置が所定の領域Ｅ内から外れる（ステップＳ２）と、操作入力装置１は、操作者Ｂが通常の操作状態でなくなったことを検知し、第２の制御モードに切り替えてマニピュレータ２を強制停止させる（ステップＳ３）。マニピュレータ２は、操作者Ｂが再び通常の操作状態に戻って（ステップＳ４）許可ボタン１０を押下する（ステップＳ５）まで停止した状態に維持される。
【００３３】
このように、本実施形態によれば、操作者Ｂの顔と操作部６とが正対した状態でなくなったときに、それがＨＭＤ５と操作部６との相対位置から迅速にかつ高い精度で検知されてマニピュレータ２の動作が停止させられる。これにより、例えば、操作者Ｂが操作部６以外方向を向いた状態で操作部６を意図しない方向に操作してしまったり、操作部６が手元から落下して床などに接触した際に操作されてしまったりしても、操作部６の不慮の操作によってマニピュレータ２が意図しない動作をすることを未然に回避することができるという利点がある。特に、本実施形態のように、操作部６がリンク等により動作範囲を制限されていなかったり、表示部４が環境に固定されたものでなかったりする場合に、上述の利点は顕著である。
【００３４】
また、マニピュレータ２が一旦強制停止させられた後の第１の制御モードへの復帰が操作者Ｂによって任意のタイミングで行われる。これにより、操作者Ｂが通常の操作状態に戻ったと同時にマニピュレータ２が動き出してしまうことなく、操作者Ｂが落ち着いて正確にマニピュレータ２の操作を再開することができる。
【００３５】
なお、上記実施形態においては、第２の制御モードにおいてマニピュレータ２が強制停止させられることとしたが、これに代えて、操作部６から送信されてきたマニピュレータ２の操作信号に従いつつ十分に緩めた動作速度でマニピュレータ２を動作させることとしてもよく、表示部４に警告を表示したり警告音を鳴らしたりして操作者Ｂに対して通常の操作状態にないことを報知することとしてもよい。
このようにしても、操作者Ｂが意図しない方向に操作部６を操作してしまってもマニピュレータ２が突発的に動いてしまうことを防止したり、操作者Ｂに対して注意を喚起したりして、マニピュレータ２の意図しない動作を防止することができる。
【００３６】
また、上記実施形態においては、マニピュレータ２の動作を、第１の制御モードと第２の制御モードの２段階で切り替えて制御することしたが、これに代えて、３段階以上で切り替えて制御することとしてもよい。
例えば、図６に示されるように、撮影部８により撮影される画像Ｄ内に２以上の領域（図示する例では２つの領域Ｅ，Ｆ）を設定し、ＬＥＤ１２の位置が領域Ｆから外れたときに第２の制御モードに切り替え、ＬＥＤ１２の位置がさらに領域Ｅから外れたときに第３の制御モードに切り替えることとしてもよい。
【００３７】
この場合、第２の制御モードにおいては、例えば、マニピュレータ２の動作速度を遅くする、あるいは、表示部４に警告を表示したりブザーを鳴らしたりするなどして操作者Ｂに対して通常の操作状態にないことを報知する。第３の制御モードにおいては、上述した実施形態における第２の制御モードと同様にマニピュレータ２を強制停止させる。
このようにすることで、操作者Ｂの小さな身動きなどによって頻繁にマニピュレータ２が強制停止させられて手術の進行が不要に妨げられるのを防止することができる。
【００３８】
また、上記実施形態においては、撮影部８をＨＭＤ５に設けＬＥＤ１２を操作部６に設けたが、これに代えて、撮影部８を操作部６に設けＬＥＤ１２をＨＭＤ５に設けてもよい。
このようにしても、操作者Ｂの頭部Ｃと操作部６との相対位置を検出することができる。
【００３９】
次に、本発明の第２の実施形態に係る操作入力装置１およびマニピュレータシステム１００について、図７〜図８を参照して以下に説明する。
なお、本実施形態においては第１の実施形態と異なる点について主に説明し、第１の実施形態と共通の構成については同一の符号を付してその説明を省略する。
本実施形態に係る操作入力装置１は、図７に示されるように、ＨＭＤ５および操作部６にそれぞれ設けられた加速度センサ（相対位置検出手段）１４，２４および接触センサ１５，２５と、ＨＭＤ５に設けられた視線センサ１６とを備えている点において第１の実施形態と異なる。
【００４０】
加速度センサ１４，２４は、異なる３方向の加速度を検出する。
ＨＭＤ５に設けられた接触センサ１５は、操作者ＢがＨＭＤ５を正しく装着したときに操作者Ｂの頭部Ｃと接触する位置に配置され、操作部６に設けられた接触センサ２５は、操作者Ｂが操作部６を正しく保持したときに操作者Ｂの手と接触する位置に配置されている。
視線センサ１６は、操作者Ｂの視線を検出する。
各センサ１４，１５，１６，２４，２５により検出された加速度、接触の有無および視線の情報は、図８に示されるように、送受信部９または送信部１１によって制御部７に送信される。
【００４１】
制御部７は、少なくとも一方の加速度センサ１４，２４により検出された加速度の大きさが所定の閾値より大きいときに、第２の制御モードに切り替える。これにより、操作者Ｂが振り向いたり操作部６を落下させたりすると、そのときのＨＭＤ５または操作部６のすばやい動きが検知されてマニピュレータ２が強制停止させられる。
【００４２】
また、制御部７は、操作部６の操作が開始されてから各加速度センサ１４，２４により検出された加速度を各方向について２階積分して変位を算出し、算出した変位を積算することにより、現時刻における操作部６に対するＨＭＤ５の３次元空間における相対位置を検出する。
制御部７は、撮影部８の画像ＤにおいてＬＥＤ１２が所定の領域Ｅ内に存在せず、かつ、加速度センサ１４，２４によって検出された加速度から検出したＨＭＤ５と操作部６との相対位置が、操作者Ｂの通常の操作状態において配される所定の範囲から外れたときに、第１の制御モードから第２の制御モードに切り替える。
【００４３】
また、制御部７は、操作部６の操作が開始されてから、各接触センサ１５，２５により操作者Ｂの頭部Ｃまたは手との接触状態が検出されなくなったときに、第１の制御モードから第２の制御モードに切り替える。これにより、ＨＭＤ５の位置がずれて操作者Ｂが表示部４を正常に観察できなくなったこと、または、操作部６が操作者Ｂの手から離れたことが迅速に検知されてマニピュレータ２が強制停止させられる。
【００４４】
また、制御部７は、視線センサ１６により検出された視線の、操作者Ｂの正面方向に対する角度が閾値より大きくなったときに、第１の制御モードから第２の制御モードに切り替える。これにより、操作者Ｂの視線が表示部４の方向からそれると、それが検知されてマニピュレータ２が強制停止させられる。
【００４５】
このように構成されたマニピュレータシステム１００の作用について以下に説明する。
本実施形態に係るマニピュレータシステム１００を用いて外科手術を行うには、第１の実施形態と同様に操作者ＢがＨＭＤ５を装着し操作部６を手に保持して内視鏡３とマニピュレータ２とを操作する。外界で異常が発生するなどして操作者Ｂが操作部６を手放したりＨＭＤ５を頭部Ｃから外したり、あるいは、周囲の人から話しかけられて操作者Ｂが振り向いたりすると、マニピュレータ２が強制停止させられる。マニピュレータ２は、操作者Ｂが通常の操作状態に戻って許可ボタン１０を押下するまでの間、停止し続ける。
【００４６】
このようにしても、第１の実施形態と同様に、操作者Ｂが操作部６を正常に操作できない状態になったときにそれが迅速に検知され、操作部６の不慮の操作によってマニピュレータ２が意図しない動作をしてしまうことを未然に回避することができる。
【００４７】
また、ＨＭＤ５と操作部６との相対位置を、撮影部８とＬＥＤ１２ならびに加速度センサ１４，２４によって２重に検出することにより、例えば、ＨＭＤ５と操作部６との間に物体が介入して撮影部８に対してＬＥＤ１２が隠され、撮影部８の画像ＤからＬＥＤ１２が突然消えるなど、撮影部８とＬＥＤ１２あるいは加速度センサ１４，２４の一方が正常に動作しない状況となっても、ＨＭＤ５と操作部６との相対位置が正確に検出される。これにより、操作者Ｂが操作部６を通常通り操作しているにもかかわらずマニピュレータ２が不要に停止させられるなどの不都合を防止して適切にマニピュレータ２を制御することができる。
【００４８】
なお、上記実施形態においては、加速度センサ１４，２４に代えて、ジャイロセンサ（相対角度検出手段）を採用してもよい。ジャイロセンサは、異なる３方向の角速度を検出する。
この場合、制御部７は、少なくとも一方のジャイロセンサにより検出された角速度が所定の閾値より大きいときに第２の制御モードに切り替える。また、制御部７は、各ジャイロセンサにより検出された角速度を各方向について１階積分して回転角度を算出し、算出した回転角度を積算することにより、現時刻におけるＨＭＤ５と操作部６との相対姿勢を検出する。
【００４９】
そして、制御部７は、撮影部８の画像ＤにおいてＬＥＤ１２が所定の領域Ｅ内に存在せず、かつ、ジャイロセンサにより検出された角速度から算出した操作部６とＨＭＤ５との相対姿勢が所定の姿勢からずれていたときに、第１の制御モードから第２の制御モードに切り替える。
このようにしても、ＨＭＤ５または操作部６のすばやい動きを迅速に検知できるとともに、ＨＭＤ５と操作部６とが適切な位置関係にあるか否かを正確に検知することができる。
【００５０】
また、上述した第１および第２の実施形態においては、ＨＭＤ５を例示して表示部４が頭部装着部と一体で設けられていることとしたが、これに代えて、図９に示されるように頭部装着部とは別置き型のディスプレイ１７を採用してもよい。また、頭部装着部として、別置き型の３Ｄ表示装置に対する３Ｄメガネを採用してもよい。第２の実施形態における各センサ１４，１５，１６，２４，２５は適宜操作者Ｂの頭部Ｃまたは操作部６に設けることができる。
このようにしても、操作者Ｂが急に体勢を変えたり操作部６を手放したりして操作部６を正常に操作できない状態となったときに、それを迅速に検知してマニピュレータ２の意図しない動作を防ぐことができる。
【符号の説明】
【００５１】
１ 操作入力装置
２ マニピュレータ（表示物）
２ａ，３ａ モータ
３ 内視鏡（観察装置）
４ 表示部（ディスプレイ）
５ ＨＭＤ（頭部装着部）
６ 操作部
７ 制御部
８ 撮影部（相対位置検出手段）
９，１３ 送受信部
１０ 許可ボタン（許可手段）
１１ 送信部
１２ ＬＥＤ（相対位置検出手段、指標）
１４，２４ 加速度センサ（相対位置検出手段）
１５，２５ 接触センサ
１６ 視線センサ
１７ ディスプレイ
１００ マニピュレータシステム
Ａ 患者
Ｂ 操作者
Ｃ 操作者の頭部
【技術分野】
【０００１】
本発明は、操作入力装置およびマニピュレータシステムに関するものである。
【背景技術】
【０００２】
従来、外界の異常を検知したときに、視界が遮断されている装着者に対して視野を開放したり異常を知らせたりする頭部装着型映像表示装置（ＨＭＤ；Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が知られている（例えば、特許文献１および２参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−３０４６４６号公報
【特許文献２】特開平９−１４９３３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１および２では、装着者がＨＭＤに表示されている機器等の表示物を手元の操作部で操作する場合に、装着者に異常が発生したときなどの機器等の制御について考慮されていない。すなわち、装着者が何らかの事情により突然体勢を変えたり操作部を手放したりして操作部が装着者によって正しく操作されない状態となったときに、操作対象である機器等が意図しない動きをしてしまう可能性があるという問題がある。また、装着者が不注意などにより操作部に対して傾いた姿勢で操作部を操作すると、ＨＭＤ上の操作対象である機器等と操作部の操作方向との上下左右方向が一致しなくなるので、機器等を意図しない方向に操作してしまう可能性があるという問題がある。
【０００５】
本発明は、上述した事情に鑑みてなされたものであって、操作者が操作部を正常に操作できない状態となったときにそれを迅速に検知し、表示物の意図しない動きを防ぐことができる操作入力装置およびマニピュレータシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、ディスプレイと、操作者の頭部に装着される頭部装着部と、前記操作者の操作により前記ディスプレイ上に表示された表示物に対する操作信号が入力される操作部と、前記頭部装着部と前記操作部との相対位置を検出する相対位置検出手段と、該相対位置検出手段によって検出された相対位置に基づいて、前記操作部に入力された操作信号に従って前記表示物の動作を制御する第１の制御モードと、前記操作部に入力された操作信号に対して制限をかけて前記表示物の動作を制御する第２の制御モードとを切り替えて前記表示物を制御する制御部とを備える操作入力装置を提供する。
【０００７】
本発明によれば、頭部装着部を装着した操作者は、第１の制御モードにおいて、ディスプレイを見ながら該ディスプレイ上の表示物を手元の操作部で任意に操作することができる。この場合に、何らかの事情で操作者または操作部が移動すると、相対位置検出手段により検出される相対位置が変化して制御部が第２の制御モードに切り替える。これにより、操作者が操作部を正常に操作できない状態となったときにそれを迅速に検知するとともに、操作部に入力された操作信号に対して表示物の動作を制限して、操作部の不慮の操作による表示物の意図しない動きを防ぐことができる。
【０００８】
上記発明においては、前記制御部は、前記頭部装着部および前記操作部との相対位置が所定の範囲から外れたときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、所定の範囲として、操作者による表示物の通常の操作状態において配される範囲を設定しておけば、操作者および操作部が通常の操作状態でなくなったことをより精度よく検知して操作部による表示物の操作を制限することができる。
【０００９】
また、上記発明においては、前記相対位置検出手段が、前記操作部または前記頭部装着部の一方に設けられた指標と、前記操作部または前記頭部装着部の他方に設けられ前記指標を撮影する撮影部とを備え、前記制御部が、前記撮影部によって撮影された画像内における前記指標の位置に基づいて、前記第１の制御モードと前記第２の制御モードとを切り替えてもよい。
このようにすることで、頭部装着部と操作部との相対位置を簡便な構成で検出することができる。
【００１０】
また、上記発明においては、前記相対位置検出手段が、前記頭部装着部および前記操作部にそれぞれ設けられ、その空間座標系における変位情報を検出する空間センサを備え、前記制御部は、前記空間センサにより得られた前記頭部装着部と前記操作部との相対位置が所定の範囲から外れたときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、頭部装着部と操作部との相対位置を簡便な構成で検出することができる。
【００１１】
また、上記発明においては、前記相対位置検出手段が、前記頭部装着部および前記操作部にそれぞれ設けられ、その空間座標系における変位情報を検出する空間センサを備え、前記制御部は、少なくとも一方の前記空間センサにより検出された変位情報が所定の閾値より大きいときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
【００１２】
このようにすることで、頭部装着部または操作部の移動によりこれらの相対位置がずれたことを簡便な構成で検知することができる。さらに、指標および撮影部と組み合わせて用いた場合には、指標および撮影部もしくは空間センサが正常に作動しない状況となったときでも、操作者が通常の操作状態にあるか否かを正確に検知して表示物を適切に制御することができる。
【００１３】
また、上記発明においては、前記頭部装着部と前記操作部との相対角度を検出する相対角度検出手段を備え、前記制御部は、前記相対角度検出手段により検出された相対角度が所定の閾値より大きいときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、頭部装着部と操作部との相対姿勢が検出され、両者の相対移動をより高い精度で検知することができる。
【００１４】
また、上記発明においては、前記操作部に設けられ、該操作部と前記操作者の手との接触の有無を検出する接触センサを備え、前記制御部は、前記接触センサにより前記操作部と前記操作者の手との接触が検出されないときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、操作部が操作者の手に適切に保持されていないときには操作部による表示物の操作を制限することができる。
【００１５】
また、上記発明においては、前記頭部装着部に設けられ、該頭部装着装置と前記操作者の頭部との接触の有無を検出する接触センサを備え、前記制御部は、前記接触センサにより前記頭部装着部と前記操作者の頭部との接触が検出されないときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、頭部装着部が操作者の頭部に適切に装着されていないときには操作部による表示物の操作を制限することができる。
【００１６】
また、上記発明においては、前記操作者の視線を検出する視線検出手段を備え、前記制御部は、前記視線検出手段により検出された視線が前記操作者の正面方向からからずれた方向であるときに、前記第１の制御モードから前記第２の制御モードに切り替えてもよい。
このようにすることで、操作者が正面に配置されたディスプレイからそれた方向を見ているときには、操作部による表示物の操作を制限することができる。
【００１７】
また、上記発明においては、前記操作者による操作により前記制御部に対して前記第２の制御モードから前記第１の制御モードへの切り替えを許可する許可手段を備え、前記制御部は、前記第１の制御モードから前記第２の制御モードに切り替えた後、前記許可手段によって許可されたときに前記第１の制御モードに切り替えてもよい。
このようにすることで、第２の制御モードに切り替わった後、操作者が通常の操作状態に戻ってから任意のタイミングで表示物の動作に対する制限を解除することができる。
【００１８】
また、本発明は、上記いずれかに記載の操作入力装置と、前記表示物であるマニピュレータと、前記ディスプレイに表示する前記表示物の映像を取得する観察装置とを備えるマニピュレータシステムを提供する。
【発明の効果】
【００１９】
本発明によれば、操作者が操作部を正常に操作できない状態となったときにそれを迅速に検知し、表示物の意図しない動きを防ぐことができるという効果を奏する。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る操作入力装置およびマニピュレータシステムの全体構成図である。
【図２】図１の操作入力装置およびマニピュレータシステムの機能ブロック図である。
【図３】（ａ）操作者の通常の操作状態と、（ｂ）そのときに撮影部によって撮影される画像とを示す図である。
【図４】（ａ）操作者の不適切な操作状態と、（ｂ）そのときに撮影部によって撮影される画像とを示す図である。
【図５】図１の操作入力装置の動作を説明するフローチャートである。
【図６】図１の操作入力装置によるマニピュレータの制御方法の変形例を説明する図である。
【図７】本発明の第２の実施形態に係る操作入力装置の全体構成図である。
【図８】図７の操作入力装置およびマニピュレータシステムの機能ブロック図である。
【図９】図１および図７の操作入力装置の変形例であり、別置き型のディスプレイを用いた場合の構成を示す図である。
【発明を実施するための形態】
【００２１】
本発明の第１の実施形態に係る操作入力装置１およびマニピュレータシステム１００について、図１〜図６を参照して以下に説明する。
本実施形態に係るマニピュレータシステム１００は、外科手術に用いられるものであり、図１に示されるように、患者Ａの体内に挿入されるマニピュレータ（表示物）２と、該マニピュレータ２の映像を撮影する内視鏡（観察装置）３と、本実施形態に係る操作入力装置１とを備えている。
【００２２】
マニピュレータ２は、モータ２ａによってその姿勢や位置や作動状態をそれぞれ変化させることができるようになっている。また、内視鏡３もモータ３ａによって、その姿勢や位置や作動状態を変化させることができるようになっている。
【００２３】
操作入力装置１は、内視鏡３により取得された患者Ａの体内におけるマニピュレータ２の映像を表示する表示部（ディスプレイ）４を備え、操作者Ｂの頭部Ｃに装着されるＨＭＤ（頭部装着部）５と、操作者Ｂによって操作される操作部６と、操作部６の操作によりマニピュレータ２を作動させる制御部７とを備えている。
【００２４】
ＨＭＤ５は、操作者Ｂの頭部Ｃに装着された状態で、表示部４を操作者Ｂの眼前に配置するように構成されている。ＨＭＤ５は、図２に示されるように、操作者Ｂの頭部Ｃに装着された状態で、操作者Ｂの頭部Ｃの前方を撮影可能な視野を有するＣＣＤのような撮影部（相対位置検出手段）８と、該撮影部８により撮影した画像信号を無線送信する送受信部９とを備えている。
【００２５】
操作部６は、操作者Ｂが手に保持して操作することにより、マニピュレータ２および内視鏡３の操作信号が入力されるようになっている。このときに、通常の操作状態において操作者Ｂは、図３（ａ）に示されるように、自身の胴体に対して正面方向に操作部６を配置し、顔を操作部６の方向に向けた姿勢で操作部６を操作する。これにより、操作者Ｂが表示部４に視線を向けるとその視線の延長線上に操作部６が配置され、内視鏡３に対するマニピュレータ２の位置・姿勢と、内視鏡３の映像が表示される表示部４に対する操作部６の位置・姿勢とが一致した状態となり、マニピュレータ２を操作者Ｂの意図した方向に操作することができる。
【００２６】
また、操作部６は、押下されることにより制御部７に対してマニピュレータ２の作動を許可する許可信号を出力する許可ボタン１０（許可手段）を備えている。許可ボタン１０は、例えば、図示しないカバーなどにより覆われ、操作者Ｂの操作によりカバーが外されないと押下されないようになっている。
操作部６に入力されたマニピュレータ２および内視鏡３の操作信号ならびにマニピュレータ２の作動の許可信号は、送信部１１により無線送信される。
【００２７】
また、操作部６には、ＬＥＤ（相対位置検出手段、指標）１２が固定されている。操作者Ｂが通常の操作状態にあるときには、図３（ｂ）に示されるように、撮影部８により撮影された画像Ｄの中央付近にＬＥＤ１２が存在する。一方、図４（ａ）に示されるように、操作者Ｂが顔の向きを変えたり操作部６を落下させたりするなどして通常の操作状態でなくなり、ＨＭＤ５と操作部６との相対位置が移動すると、図４（ｂ）に示されるように、画像Ｄ内のＬＥＤ１２が中央付近から外側に移動する、あるいは、画像Ｄ内からＬＥＤ１２が消える。
【００２８】
制御部７は、内視鏡３により取得された画像信号が入力されることにより、これを処理してＨＭＤ５に送信する送受信部１３を備え、ＨＭＤ５に設けられた表示部４に撮影された内視鏡映像を表示させるようになっている。
また、制御部７は、操作部６およびＨＭＤ５から無線送信されてきた操作信号および画像信号を、送受信部１３を介して受信し、受信した操作信号および画像信号に基づいてマニピュレータ２または内視鏡３のモータ２ａ，３ａを作動させ、マニピュレータ２または内視鏡３を移動させあるいは作動状態を変化させる制御信号を生成する。
【００２９】
具体的には、制御部７は、撮影部８により取得された画像Ｄ内からＬＥＤ１２を抽出し、所定の領域Ｅ内にＬＥＤ１２が存在すれば第１の制御モードによりマニピュレータ２を制御し、所定の領域Ｅ内にＬＥＤ１２が存在しなければ第２の制御モードによりマニピュレータ２を制御する。
【００３０】
ここで、第１の制御モードは、操作部６から送信されてきたマニピュレータ２の操作信号に従ってマニピュレータ２の制御信号を生成する制御モードである。第２の制御モードは、操作部６から送信されてきたマニピュレータ２の操作信号に依らずにマニピュレータ２を強制停止させる制御モードである。
制御部７は、第１の制御モードから第２の制御モードに切り替えた後、画像Ｄ内においてＬＥＤ１２が所定の領域Ｅ内に配置された状態で操作部６から許可信号を受信したときに、第１の制御モードに復帰するようになっている。
【００３１】
このように構成された操作入力装置１およびマニピュレータシステム１００の作用について、図５のフローチャートを参照して以下に説明する。
本実施形態に係るマニピュレータシステム１００を用いて外科手術を行うには、操作者Ｂは、ＨＭＤ５を頭部Ｃに装着し、手に保持した操作部６を正面に配置して操作部６に顔を向ける。これにより、表示部４に表示された内視鏡映像を見ながら操作部６によって内視鏡３およびマニピュレータ２を任意に操作することができる（ステップＳ１）。
【００３２】
操作者Ｂが内視鏡３およびマニピュレータ２の操作の途中で体勢を変えたり手から操作部６を落下させたりして、画像Ｄ内のＬＥＤ１２の位置が所定の領域Ｅ内から外れる（ステップＳ２）と、操作入力装置１は、操作者Ｂが通常の操作状態でなくなったことを検知し、第２の制御モードに切り替えてマニピュレータ２を強制停止させる（ステップＳ３）。マニピュレータ２は、操作者Ｂが再び通常の操作状態に戻って（ステップＳ４）許可ボタン１０を押下する（ステップＳ５）まで停止した状態に維持される。
【００３３】
このように、本実施形態によれば、操作者Ｂの顔と操作部６とが正対した状態でなくなったときに、それがＨＭＤ５と操作部６との相対位置から迅速にかつ高い精度で検知されてマニピュレータ２の動作が停止させられる。これにより、例えば、操作者Ｂが操作部６以外方向を向いた状態で操作部６を意図しない方向に操作してしまったり、操作部６が手元から落下して床などに接触した際に操作されてしまったりしても、操作部６の不慮の操作によってマニピュレータ２が意図しない動作をすることを未然に回避することができるという利点がある。特に、本実施形態のように、操作部６がリンク等により動作範囲を制限されていなかったり、表示部４が環境に固定されたものでなかったりする場合に、上述の利点は顕著である。
【００３４】
また、マニピュレータ２が一旦強制停止させられた後の第１の制御モードへの復帰が操作者Ｂによって任意のタイミングで行われる。これにより、操作者Ｂが通常の操作状態に戻ったと同時にマニピュレータ２が動き出してしまうことなく、操作者Ｂが落ち着いて正確にマニピュレータ２の操作を再開することができる。
【００３５】
なお、上記実施形態においては、第２の制御モードにおいてマニピュレータ２が強制停止させられることとしたが、これに代えて、操作部６から送信されてきたマニピュレータ２の操作信号に従いつつ十分に緩めた動作速度でマニピュレータ２を動作させることとしてもよく、表示部４に警告を表示したり警告音を鳴らしたりして操作者Ｂに対して通常の操作状態にないことを報知することとしてもよい。
このようにしても、操作者Ｂが意図しない方向に操作部６を操作してしまってもマニピュレータ２が突発的に動いてしまうことを防止したり、操作者Ｂに対して注意を喚起したりして、マニピュレータ２の意図しない動作を防止することができる。
【００３６】
また、上記実施形態においては、マニピュレータ２の動作を、第１の制御モードと第２の制御モードの２段階で切り替えて制御することしたが、これに代えて、３段階以上で切り替えて制御することとしてもよい。
例えば、図６に示されるように、撮影部８により撮影される画像Ｄ内に２以上の領域（図示する例では２つの領域Ｅ，Ｆ）を設定し、ＬＥＤ１２の位置が領域Ｆから外れたときに第２の制御モードに切り替え、ＬＥＤ１２の位置がさらに領域Ｅから外れたときに第３の制御モードに切り替えることとしてもよい。
【００３７】
この場合、第２の制御モードにおいては、例えば、マニピュレータ２の動作速度を遅くする、あるいは、表示部４に警告を表示したりブザーを鳴らしたりするなどして操作者Ｂに対して通常の操作状態にないことを報知する。第３の制御モードにおいては、上述した実施形態における第２の制御モードと同様にマニピュレータ２を強制停止させる。
このようにすることで、操作者Ｂの小さな身動きなどによって頻繁にマニピュレータ２が強制停止させられて手術の進行が不要に妨げられるのを防止することができる。
【００３８】
また、上記実施形態においては、撮影部８をＨＭＤ５に設けＬＥＤ１２を操作部６に設けたが、これに代えて、撮影部８を操作部６に設けＬＥＤ１２をＨＭＤ５に設けてもよい。
このようにしても、操作者Ｂの頭部Ｃと操作部６との相対位置を検出することができる。
【００３９】
次に、本発明の第２の実施形態に係る操作入力装置１およびマニピュレータシステム１００について、図７〜図８を参照して以下に説明する。
なお、本実施形態においては第１の実施形態と異なる点について主に説明し、第１の実施形態と共通の構成については同一の符号を付してその説明を省略する。
本実施形態に係る操作入力装置１は、図７に示されるように、ＨＭＤ５および操作部６にそれぞれ設けられた加速度センサ（相対位置検出手段）１４，２４および接触センサ１５，２５と、ＨＭＤ５に設けられた視線センサ１６とを備えている点において第１の実施形態と異なる。
【００４０】
加速度センサ１４，２４は、異なる３方向の加速度を検出する。
ＨＭＤ５に設けられた接触センサ１５は、操作者ＢがＨＭＤ５を正しく装着したときに操作者Ｂの頭部Ｃと接触する位置に配置され、操作部６に設けられた接触センサ２５は、操作者Ｂが操作部６を正しく保持したときに操作者Ｂの手と接触する位置に配置されている。
視線センサ１６は、操作者Ｂの視線を検出する。
各センサ１４，１５，１６，２４，２５により検出された加速度、接触の有無および視線の情報は、図８に示されるように、送受信部９または送信部１１によって制御部７に送信される。
【００４１】
制御部７は、少なくとも一方の加速度センサ１４，２４により検出された加速度の大きさが所定の閾値より大きいときに、第２の制御モードに切り替える。これにより、操作者Ｂが振り向いたり操作部６を落下させたりすると、そのときのＨＭＤ５または操作部６のすばやい動きが検知されてマニピュレータ２が強制停止させられる。
【００４２】
また、制御部７は、操作部６の操作が開始されてから各加速度センサ１４，２４により検出された加速度を各方向について２階積分して変位を算出し、算出した変位を積算することにより、現時刻における操作部６に対するＨＭＤ５の３次元空間における相対位置を検出する。
制御部７は、撮影部８の画像ＤにおいてＬＥＤ１２が所定の領域Ｅ内に存在せず、かつ、加速度センサ１４，２４によって検出された加速度から検出したＨＭＤ５と操作部６との相対位置が、操作者Ｂの通常の操作状態において配される所定の範囲から外れたときに、第１の制御モードから第２の制御モードに切り替える。
【００４３】
また、制御部７は、操作部６の操作が開始されてから、各接触センサ１５，２５により操作者Ｂの頭部Ｃまたは手との接触状態が検出されなくなったときに、第１の制御モードから第２の制御モードに切り替える。これにより、ＨＭＤ５の位置がずれて操作者Ｂが表示部４を正常に観察できなくなったこと、または、操作部６が操作者Ｂの手から離れたことが迅速に検知されてマニピュレータ２が強制停止させられる。
【００４４】
また、制御部７は、視線センサ１６により検出された視線の、操作者Ｂの正面方向に対する角度が閾値より大きくなったときに、第１の制御モードから第２の制御モードに切り替える。これにより、操作者Ｂの視線が表示部４の方向からそれると、それが検知されてマニピュレータ２が強制停止させられる。
【００４５】
このように構成されたマニピュレータシステム１００の作用について以下に説明する。
本実施形態に係るマニピュレータシステム１００を用いて外科手術を行うには、第１の実施形態と同様に操作者ＢがＨＭＤ５を装着し操作部６を手に保持して内視鏡３とマニピュレータ２とを操作する。外界で異常が発生するなどして操作者Ｂが操作部６を手放したりＨＭＤ５を頭部Ｃから外したり、あるいは、周囲の人から話しかけられて操作者Ｂが振り向いたりすると、マニピュレータ２が強制停止させられる。マニピュレータ２は、操作者Ｂが通常の操作状態に戻って許可ボタン１０を押下するまでの間、停止し続ける。
【００４６】
このようにしても、第１の実施形態と同様に、操作者Ｂが操作部６を正常に操作できない状態になったときにそれが迅速に検知され、操作部６の不慮の操作によってマニピュレータ２が意図しない動作をしてしまうことを未然に回避することができる。
【００４７】
また、ＨＭＤ５と操作部６との相対位置を、撮影部８とＬＥＤ１２ならびに加速度センサ１４，２４によって２重に検出することにより、例えば、ＨＭＤ５と操作部６との間に物体が介入して撮影部８に対してＬＥＤ１２が隠され、撮影部８の画像ＤからＬＥＤ１２が突然消えるなど、撮影部８とＬＥＤ１２あるいは加速度センサ１４，２４の一方が正常に動作しない状況となっても、ＨＭＤ５と操作部６との相対位置が正確に検出される。これにより、操作者Ｂが操作部６を通常通り操作しているにもかかわらずマニピュレータ２が不要に停止させられるなどの不都合を防止して適切にマニピュレータ２を制御することができる。
【００４８】
なお、上記実施形態においては、加速度センサ１４，２４に代えて、ジャイロセンサ（相対角度検出手段）を採用してもよい。ジャイロセンサは、異なる３方向の角速度を検出する。
この場合、制御部７は、少なくとも一方のジャイロセンサにより検出された角速度が所定の閾値より大きいときに第２の制御モードに切り替える。また、制御部７は、各ジャイロセンサにより検出された角速度を各方向について１階積分して回転角度を算出し、算出した回転角度を積算することにより、現時刻におけるＨＭＤ５と操作部６との相対姿勢を検出する。
【００４９】
そして、制御部７は、撮影部８の画像ＤにおいてＬＥＤ１２が所定の領域Ｅ内に存在せず、かつ、ジャイロセンサにより検出された角速度から算出した操作部６とＨＭＤ５との相対姿勢が所定の姿勢からずれていたときに、第１の制御モードから第２の制御モードに切り替える。
このようにしても、ＨＭＤ５または操作部６のすばやい動きを迅速に検知できるとともに、ＨＭＤ５と操作部６とが適切な位置関係にあるか否かを正確に検知することができる。
【００５０】
また、上述した第１および第２の実施形態においては、ＨＭＤ５を例示して表示部４が頭部装着部と一体で設けられていることとしたが、これに代えて、図９に示されるように頭部装着部とは別置き型のディスプレイ１７を採用してもよい。また、頭部装着部として、別置き型の３Ｄ表示装置に対する３Ｄメガネを採用してもよい。第２の実施形態における各センサ１４，１５，１６，２４，２５は適宜操作者Ｂの頭部Ｃまたは操作部６に設けることができる。
このようにしても、操作者Ｂが急に体勢を変えたり操作部６を手放したりして操作部６を正常に操作できない状態となったときに、それを迅速に検知してマニピュレータ２の意図しない動作を防ぐことができる。
【符号の説明】
【００５１】
１ 操作入力装置
２ マニピュレータ（表示物）
２ａ，３ａ モータ
３ 内視鏡（観察装置）
４ 表示部（ディスプレイ）
５ ＨＭＤ（頭部装着部）
６ 操作部
７ 制御部
８ 撮影部（相対位置検出手段）
９，１３ 送受信部
１０ 許可ボタン（許可手段）
１１ 送信部
１２ ＬＥＤ（相対位置検出手段、指標）
１４，２４ 加速度センサ（相対位置検出手段）
１５，２５ 接触センサ
１６ 視線センサ
１７ ディスプレイ
１００ マニピュレータシステム
Ａ 患者
Ｂ 操作者
Ｃ 操作者の頭部
【特許請求の範囲】
【請求項１】
ディスプレイと、
操作者の頭部に装着される頭部装着部と、
前記操作者の操作により前記ディスプレイ上に表示された表示物に対する操作信号が入力される操作部と、
前記頭部装着部と前記操作部との相対位置を検出する相対位置検出手段と、
該相対位置検出手段によって検出された相対位置に基づいて、前記操作部に入力された操作信号に従って前記表示物の動作を制御する第１の制御モードと、前記操作部に入力された操作信号に対して制限をかけて前記表示物の動作を制御する第２の制御モードの少なくとも２つの制御モードを切り替えて前記表示物を制御する制御部とを備える操作入力装置。
【請求項２】
前記制御部は、前記頭部装着部および前記操作部との相対位置が所定の範囲から外れたときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項３】
前記相対位置検出手段が、前記操作部または前記頭部装着部の一方に設けられた指標と、前記操作部または前記頭部装着部の他方に設けられ前記指標を撮影する撮影部とを備え、
前記制御部が、前記撮影部によって撮影された画像内における前記指標の位置に基づいて、前記第１の制御モードと前記第２の制御モードとを切り替える請求項１に記載の操作入力装置。
【請求項４】
前記相対位置検出手段が、前記頭部装着部および前記操作部にそれぞれ設けられ、その空間座標系における変位情報を検出する空間センサを備え、
前記制御部は、前記空間センサにより得られた前記頭部装着部と前記操作部との相対位置が所定の範囲から外れたときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１または請求項３に記載の操作入力装置。
【請求項５】
前記相対位置検出手段が、前記頭部装着部および前記操作部にそれぞれ設けられ、その空間座標系における変位情報を検出する空間センサを備え、
前記制御部は、少なくとも一方の前記空間センサにより検出された変位情報が所定の閾値より大きいときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１または請求項３に記載の操作入力装置。
【請求項６】
前記頭部装着部と前記操作部との相対角度を検出する相対角度検出手段を備え、
前記制御部は、前記相対角度検出手段により検出された相対角度が所定の閾値より大きいときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項７】
前記操作部に設けられ、該操作部と前記操作者の手との接触の有無を検出する接触センサを備え、
前記制御部は、前記接触センサにより前記操作部と前記操作者の手との接触が検出されないときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項８】
前記頭部装着部に設けられ、該頭部装着装置と前記操作者の頭部との接触の有無を検出する接触センサを備え、
前記制御部は、前記接触センサにより前記頭部装着部と前記操作者の頭部との接触が検出されないときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項９】
前記操作者の視線を検出する視線検出手段を備え、
前記制御部は、前記視線検出手段により検出された視線が、正面方向からずれたときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項１０】
前記操作者による操作により前記制御部に対して前記第２の制御モードから前記第１の制御モードへの切り替えを許可する許可手段を備え、
前記制御部は、前記第１の制御モードから前記第２の制御モードに切り替えた後、前記許可手段によって許可されたときに前記第１の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項１１】
請求項１から請求項１０のいずれかに記載の操作入力装置と、
前記表示物であるマニピュレータと、
前記ディスプレイに表示する前記表示物の映像を取得する観察装置とを備えるマニピュレータシステム。
【請求項１】
ディスプレイと、
操作者の頭部に装着される頭部装着部と、
前記操作者の操作により前記ディスプレイ上に表示された表示物に対する操作信号が入力される操作部と、
前記頭部装着部と前記操作部との相対位置を検出する相対位置検出手段と、
該相対位置検出手段によって検出された相対位置に基づいて、前記操作部に入力された操作信号に従って前記表示物の動作を制御する第１の制御モードと、前記操作部に入力された操作信号に対して制限をかけて前記表示物の動作を制御する第２の制御モードの少なくとも２つの制御モードを切り替えて前記表示物を制御する制御部とを備える操作入力装置。
【請求項２】
前記制御部は、前記頭部装着部および前記操作部との相対位置が所定の範囲から外れたときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項３】
前記相対位置検出手段が、前記操作部または前記頭部装着部の一方に設けられた指標と、前記操作部または前記頭部装着部の他方に設けられ前記指標を撮影する撮影部とを備え、
前記制御部が、前記撮影部によって撮影された画像内における前記指標の位置に基づいて、前記第１の制御モードと前記第２の制御モードとを切り替える請求項１に記載の操作入力装置。
【請求項４】
前記相対位置検出手段が、前記頭部装着部および前記操作部にそれぞれ設けられ、その空間座標系における変位情報を検出する空間センサを備え、
前記制御部は、前記空間センサにより得られた前記頭部装着部と前記操作部との相対位置が所定の範囲から外れたときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１または請求項３に記載の操作入力装置。
【請求項５】
前記相対位置検出手段が、前記頭部装着部および前記操作部にそれぞれ設けられ、その空間座標系における変位情報を検出する空間センサを備え、
前記制御部は、少なくとも一方の前記空間センサにより検出された変位情報が所定の閾値より大きいときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１または請求項３に記載の操作入力装置。
【請求項６】
前記頭部装着部と前記操作部との相対角度を検出する相対角度検出手段を備え、
前記制御部は、前記相対角度検出手段により検出された相対角度が所定の閾値より大きいときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項７】
前記操作部に設けられ、該操作部と前記操作者の手との接触の有無を検出する接触センサを備え、
前記制御部は、前記接触センサにより前記操作部と前記操作者の手との接触が検出されないときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項８】
前記頭部装着部に設けられ、該頭部装着装置と前記操作者の頭部との接触の有無を検出する接触センサを備え、
前記制御部は、前記接触センサにより前記頭部装着部と前記操作者の頭部との接触が検出されないときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項９】
前記操作者の視線を検出する視線検出手段を備え、
前記制御部は、前記視線検出手段により検出された視線が、正面方向からずれたときに、前記第１の制御モードから前記第２の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項１０】
前記操作者による操作により前記制御部に対して前記第２の制御モードから前記第１の制御モードへの切り替えを許可する許可手段を備え、
前記制御部は、前記第１の制御モードから前記第２の制御モードに切り替えた後、前記許可手段によって許可されたときに前記第１の制御モードに切り替える請求項１に記載の操作入力装置。
【請求項１１】
請求項１から請求項１０のいずれかに記載の操作入力装置と、
前記表示物であるマニピュレータと、
前記ディスプレイに表示する前記表示物の映像を取得する観察装置とを備えるマニピュレータシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２０６１８０（Ｐ２０１１−２０６１８０Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７５３７８（Ｐ２０１０−７５３７８）
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月２９日（２０１０．３．２９）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]