ロボット環境間力作用状態呈示装置
【課題】 拘束状態におけるスレーブロボットと環境との間の力の作用状態を推定かつ表示する。
【解決手段】 予測モデルによりスレーブロボットの予測された運動予測画像と、モニタ用カメラにより、ロボットにより力が作用される環境が撮影して得られた実画像とを重ねてモニタに表示する。スレーブロボット側から出力された、スレーブロボットの手先が環境から受ける力の絶対値が、所定の閾値以上か否かを判断し、所定の閾値以上と判断された場合には、スレーブロボットの手先は環境に拘束された拘束状態にあると判断して、予測運動画像内における、スレーブロボットの手先の環境内へのめり込み量を算出し、このめり込み量に基づいて、スレーブロボットの手先が環境に加える所定時間後の接触力及びモーメントを予測する。そして、予測された接触力及びモーメントに基づいて、予測力矢印ＦＡ及び予測モーメント矢印ＭＡを、運動予測画像に代えて、実画像に重ねてモニタで、呈示する。
【解決手段】 予測モデルによりスレーブロボットの予測された運動予測画像と、モニタ用カメラにより、ロボットにより力が作用される環境が撮影して得られた実画像とを重ねてモニタに表示する。スレーブロボット側から出力された、スレーブロボットの手先が環境から受ける力の絶対値が、所定の閾値以上か否かを判断し、所定の閾値以上と判断された場合には、スレーブロボットの手先は環境に拘束された拘束状態にあると判断して、予測運動画像内における、スレーブロボットの手先の環境内へのめり込み量を算出し、このめり込み量に基づいて、スレーブロボットの手先が環境に加える所定時間後の接触力及びモーメントを予測する。そして、予測された接触力及びモーメントに基づいて、予測力矢印ＦＡ及び予測モーメント矢印ＭＡを、運動予測画像に代えて、実画像に重ねてモニタで、呈示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置にかかり、特に、遠隔作業ロボットに動作指令値を通信回線を介して送信し、ロボットから、該ロボットの環境に作用するための部位の位置・姿勢情報を通信回線を介して受信するロボット環境間力作用状態呈示装置に関する。
【背景技術】
【０００２】
近年のインターネット等の高速・広域通信網の急速な発展と普及により、ネットワーク経由で様々な近ロボットシステムやインターフェースを連携させることのできるネットワーク・ロボティクス技術が注目を集めている。これに伴い、人が指令塔として作業に介入できるネットワークテレオペレーションシステムは、従来のような極限作業等の特殊分野だけでなく、絵や音といったマルチメディア情報に加えてロボットによる物理的相互作用を取り入れることでネットワーク情報に付加価値を与え、遠隔診療や福祉、遠隔体験・遠隔コミュニケーション、家庭用やホビー用途など、より身近な分野への応用が期待されるようになってきた。
【０００３】
このような身近な応用領域においては、操作性や安定性・安全性に対する配慮とともに、環境やロボットシステムを限定せずに使用できる汎用性や、家庭やオフィスといった身近な環境から誰でも気軽に扱うことのできる簡便性を加味したシステム設計が必要となってくる。従って、作業内容や環境を限定することなく、遠隔側にロボットと作業監視用のカメラ原稿受付システムを設置して、カメラ映像を見ながら簡便かつ汎用的に使用できる実画像ネットワークテレオペレーションシステムを構築することが求められる。
【０００４】
一般に、ネットワークテレオペレーションシステムでは、通信経路に存在する時間遅れがロボットシステムの制御系の安定性を害する原因となることが知られており、現在まで様々な補償法が提案されてきている。代表的なアプローチとしては、制御システムを受動性を満たすように構成しパワー伝達の観点から安定性を補償する手法や、制御系を時刻の関数としてではなくイベントに基づいて構成するイベントベース手法、ロバスト安定化補償器を構成しＨ∞制御理論に基づいて安定性を補償する手法等が挙げられる。
【０００５】
しかし、それと同時に、通信遅れは人間の操作（制御）ループにも悪影響を及ぼし、作業画像や操作情報の遅れは操作性や臨場感の低下を招くだけでなく、最悪の場合にはオペレータの操作そのものを不安定化してしまう要因ともなる。
【０００６】
これらを防止するための手段の一つとして、遠隔作業ロボットの挙動を予測的にオペレータに呈示して遅れの影響を軽減する「予測ディスプレイ（予測呈示）」の手法が知られている。予測ディスプレイの最も基本的な手法の一つは「重ね合わせ型」である。この手法では、オペレータ側にスレーブロボットロボットの動力学モデルを予め構築して配置し、オペレータの操作履歴を利用して遅れのない理想的な状態でのスレーブロボットロボットの挙動を計算し、遠隔側から送られた実画像にそれを重ね合わせて予測的な呈示を行う。オペレータはスレーブロボットの運動を事前に把握しながら操作できるため、操作性が改善される。
【０００７】
しかし、一般に、この手法は基本的に自由状態での予測を想定したもので、ロボットが環境に拘束された状態（拘束状態）での予測については考慮されておらず、接触力等に関する予測情報は得られない。
【０００８】
そのため、近年では「仮想環境モデル介在型」のアプローチがとられることが多い。この手法では、スレーブロボットのモデルに加えて作業環境のモデルもオペレータ側に予め構築される。オペレータは仮想環境内で作業を遂行し、力情報は環境の動力学モデルを元に生成してオペレータへのフィードバックを行う。
【０００９】
しかし、この場合、作業環境のモデルが正確に構築されていることを前提としており、実際の環境との間に食い違いがあると所望の動作が期待できない。ところが、完全な環境の動力学モデルの構築は非常に困難で多大な労力を要し、環境が変わる度にモデルを構築し直さなければならない。モデル化誤差にロバストな制御手法やオンラインでのモデル修正法等も提案されてきているが、簡単な幾何学的誤差の検討が行われている段階で、複雑な環境や動力学的誤差の扱いなどが問題となる。そのため、身近な環境で汎用的かつ簡便に使用するには、仮想環境モデル介在型のシステムは現状では課題が多いと考えられる。また、対象が生体であったりしてモデル化が困難な場合や、遠隔診断や遠隔体験・コミュニケーションなど実画像そのものに意味のある場合などにも、仮想環境モデル介在型のシステムは利用できない。
【００１０】
ところで、オペレータが、ロボットの動作指令を、ジョイスティックを介して入力し、入力された動作指令に基づいて、ロボットの動作状態を予測し、これを表示し、表示されたロボットの動作状態が意図したものでない場合には、再度ロボットの動作指令を、ジョイスティックを介して入力し、表示されたロボットの動作状態が意図したものである場合に始めてオペレータは送信指示を入力し、これにより、ロボットの動作指令がロボットに到達するロボットの遠隔操作装置が提案されている（特許文献１参照）。この特許文献１には更に、ロボットの実際の動作状態を撮影するテレビカメラを備え、テレビカメラにより撮影されたロボットの実際の動作状態と、ジョイスティックを介して入力された動作指令に基づいて予測されたロボットの動作状態と、を重ねて表示し、両者の誤差をオペレータに認識できるようにすることが開示されている。
【００１１】
しかしながら、本特許文献１においても、ロボットが環境に拘束された状態（拘束状態）での予測については考慮されておらず力については実測値を表示するのみであり、接触力等に関する予測情報は得られない。また、文献中の仮想ビームの手法では少なくとも環境の幾何学形状が既知である必要がある。
【特許文献１】特開平08-108387号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は、遠隔操作ロボットにおける上記問題を解決すべく成されたもので、環境モデルを用いずに拘束状態でのロボットと環境との間の力の作用状態を推定かつ呈示することの可能なロボット環境間力作用状態呈示装置の提供を目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために請求項１に記載の発明は、環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、速度指令ベクトルを通信回線を介して送信する送信手段と、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記速度指令ベクトルの履歴と前記通信回線を介して受信された力の情報及び遠隔作業ロボットの予測モデルに基づき、現時刻の速度指令ベクトルが遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく、前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢とのずれ量を算出する算出手段と、前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、前記推定された力の作用状態を呈示する呈示手段と、を備えている。
【００１４】
即ち、本発明は、環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示する。
【００１５】
ここで、遠隔作業ロボットは、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置を表す位置情報及び該検出された力の情報を送信する機能を有する。
【００１６】
本発明の送信手段は、遠隔作業ロボットへの動作指令値として、速度指令ベクトルを通信回線を介して送信する。
【００１７】
この速度指令ベクトルは、送信手段が送信したときから、通信回線を介して情報を通信することにより生ずる遅れ時間遅れて遠隔作業ロボットに到達する。そして、遠隔作業ロボットは、この速度指令ベクトルに従って動作する。
【００１８】
遠隔作業ロボットは、外力に対する柔軟性を有しながら速度指令ベクトルに従って動作しつつ、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢の情報及び該検出された力の情報を送信する。
【００１９】
受信手段は、遠隔作業ロボットから送信された、遠隔作業ロボットの部位の位置・姿勢情報及び検出された力の情報を、通信回線を介して受信する。
【００２０】
判断手段は、受信手段により受信された力の情報に基づいて、遠隔作業ロボットが環境に拘束されたか否かを判断する。例えば、受信手段により受信された力の情報に基づいて、遠隔作業ロボットにより検出された力が所定の閾値以上か否かを判断することにより、遠隔作業ロボットが環境に拘束されたか否かを判断するようにしてもよい。
【００２１】
算出手段は、判断手段により遠隔作業ロボットが環境に拘束されたと判断された場合、速度指令ベクトルの履歴と通信回線を介して受信された力の情報及び遠隔作業ロボットの予測モデルに基づき、現時刻の速度指令ベクトルが遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における遠隔作業ロボットの部位の状態を予測する第1の位置・姿勢と、受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づき、通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢とのずれ量を算出する。
【００２２】
ここで、ずれ量を説明する。ずれ量は、現時刻の速度指令ベクトルが遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における遠隔作業ロボットの部位の状態を予測する第1の位置・姿勢と、遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢とのずれ量である。
【００２３】
第1の位置・姿勢は、速度指令ベクトルと通信回線を介して受信された力の情報及び遠隔作業ロボットのモデルとに基づく予測位置・姿勢である。従って、環境モデルを用いずに、通信時間だけ遅れた力の情報とロボットモデルから、操作側で一方的に推定した位置である。
【００２４】
これに対し、第２の位置は、実際の遠隔作業ロボットと環境との相互作用によって決定され、受信手段により受信された位置・姿勢情報に基づくものである。即ち、遠隔作業ロボットにより検出された実際の位置・姿勢である。従って、第１の位置・姿勢（予測位置・姿勢）の算出に際して、力の情報は実際の接触よりも通信遅れ分だけタイミングが遅れたものが用いられることになる。
【００２５】
そのため、判断手段により遠隔作業ロボットが環境に拘束されたと判断された場合、第１の位置・姿勢は第２の位置・姿勢に比較して、力情報の伝達が遅れる時間分だけずれが生じる。
【００２６】
このずれの量は、往復の通信遅れ時間とその間に指令した速度指令ベクトルの履歴によって決定され、遠隔作業ロボットが環境に拘束された場合には速度指令ベクトルに比例する力を環境に与えるように制御系を構成しておけば、通信遅れ時間後に生じるロボット環境間の接触力がこのずれ量に反映されるため、このずれ量が大きくなればなるほど、環境と遠隔作業ロボットの部位との間に作用する力が大きくなる。そこで、このずれ量から、遠隔作業ロボットの部位と環境との間に作用する力の作用状態を推定することができる。
【００２７】
そこで、推定手段は、算出手段により算出されたずれ量に基づいて、遠隔作業ロボットの部位と環境との間に作用する現在時刻から上記遅れ時間後の力の作用状態を推定し、呈示手段は、推定された力の作用状態を呈示する。
【００２８】
このように本発明は、遠隔作業ロボットが環境に拘束されたと判断された場合、遠隔作業ロボットの部位の通信遅れ時間後の第１の位置・姿勢（予測位置・姿勢）と、遅れ時間分遅れて伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量に基づいて、該部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、推定された力の作用状態を呈示するので、拘束状態における遠隔作業ロボットと環境との間の力の作用状態を推定かつ呈示することができる。
【００２９】
請求項２記載の発明は、環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、位置及び姿勢を通信回線を介して送信する送信手段と、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記位置及び姿勢の指令値に基づき、現時刻の指令値が遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における前記遠隔作業ロボットの前記部位の状態を予測する第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく，前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する算出手段と、前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、前記推定された力の作用状態を呈示する呈示手段と、を備えている。
【００３０】
即ち、本発明は、環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示する。
【００３１】
ここで、遠隔作業ロボットは、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する機能を有する。
【００３２】
本発明の送信手段は、遠隔作業ロボットへの動作指令値として、位置及び姿勢を通信回線を介して送信する。
【００３３】
この位置及び姿勢は、送信手段が送信したときから、通信回線を介して情報を通信することにより生ずる遅れ時間遅れて遠隔作業ロボットに到達する。そして、遠隔作業ロボットは、この位置及び姿勢の指令値に従って動作する。
【００３４】
遠隔作業ロボットは、外力に対する柔軟性を有しながら位置及び姿勢の指令値に従って動作しつつ、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する。
【００３５】
受信手段は、遠隔作業ロボットから送信された、遠隔作業ロボットの部位の位置・姿勢情報及び検出された力の情報を、通信回線を介して受信する。
【００３６】
判断手段は、受信手段により受信された力の情報に基づいて、遠隔作業ロボットが環境に拘束されたか否かを判断する。例えば、受信手段により受信された力の情報に基づいて、遠隔作業ロボットにより検出された力が所定の閾値以上か否かを判断することにより、遠隔作業ロボットが環境に拘束されたか否かを判断するようにしてもよい。
【００３７】
算出手段は、判断手段により遠隔作業ロボットが環境に拘束されたと判断された場合、前記位置及び姿勢の指令値に基づき、現時刻の指令値が遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく，前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する。
【００３８】
ここで、ずれ量を説明する。ずれ量は、現時刻の指令値が遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量である。
【００３９】
第１の位置・姿勢は、上記位置及び姿勢の指令値に基づいて推定される。従って、環境を考慮せずに、一方的に推定した位置・姿勢である。
【００４０】
これに対し、第２の位置・姿勢は、受信手段により受信された位置・姿勢情報に基づくものである。即ち、遠隔作業ロボットにより検出された実際の位置・姿勢である。従って、実際には、外力に対する柔軟性を実現する制御により環境に遠隔作業ロボットの部位が拘束され、遠隔作業ロボットに指令された目標となる位置・姿勢に到達していないことがある。
【００４１】
従って、判断手段により遠隔作業ロボットが環境に拘束されたと判断された場合、第１の位置・姿勢と第２の位置・姿勢とがずれることが生ずる。
【００４２】
このずれ量が大きくなればなるほど、環境と遠隔作業ロボットの部位との間に作用する力が大きくなる。そこで、このずれ量から、遠隔作業ロボットの部位と環境との間に作用する力の作用状態を推定することができる。
【００４３】
そこで、推定手段は、算出手段により算出されたずれ量に基づいて、遠隔作業ロボットの部位と環境との間に作用する現在時刻から上記遅れ時間後の力の作用状態を推定し、呈示手段は、推定された力の作用状態を呈示する。
【００４４】
このように本発明は、遠隔作業ロボットが環境に拘束されたと判断された場合、遠隔作業ロボットの部位の現在時刻における第１の位置・姿勢と、現在時刻よりも所定の遅れ時間遅れた時刻における前記部位の第２の位置・姿勢と、のずれ量に基づいて、該部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、推定された力の作用状態を呈示するので、拘束状態における遠隔作業ロボットと環境との間の力の作用状態を推定かつ呈示することができる。
【００４５】
請求項３記載の発明は、環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、所定情報を通信回線を介して送信する送信手段と、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記遠隔作業ロボットの前記部位の通信遅れ時間後の第１の位置・姿勢（予測位置・姿勢）と、前記受信手段により遅れて受信された位置・姿勢情報に基づく、実際の遠隔作業ロボットの前記部位の第２の位置と、のずれ量を算出する算出手段と、前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、前記推定された力の作用状態を呈示する呈示手段と、を備え、前記送信手段は、速度指令ベクトルを送信する第１のモードと、位置及び姿勢の指令値を送信する第２のモードと、を有し、前記算出手段は、前記速度指令ベクトルと前記通信回線を介して受信された受信された力の情報及び及び遠隔作業ロボットの予測モデルに基づき，通信遅れ時間後の前記遠隔作業ロボットの前記部位の状態を予測する第１の位置・姿勢を用いる第１のモードと、前記位置及び姿勢の指令値に基づき，通信遅れ時間後の前記遠隔作業ロボットの前記部位の状態を予測する第1の位置・姿勢を用いる第２のモードと、を有し、前記第１のモード及び第２のモードを切り替える切り替え手段を備えている。
【００４６】
即ち、本発明にかかるロボット環境間力作用状態呈示装置は、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、所定情報を通信回線を介して送信する送信手段と、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記遠隔作業ロボットの前記部位の通信遅れ時間後の状態を予測する第１の位置・姿勢と、前記受信手段により遅れて受信された位置・姿勢情報に基づく、実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する算出手段と、前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、前記推定された力の作用状態を呈示する呈示手段と、を備えている。
【００４７】
このように本発明は、遠隔作業ロボットが環境に拘束されたと判断された場合、通信遅れ時間後の遠隔作業ロボットの状態を予測する第１の位置・姿勢と、通信回線により遅れて伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量に基づいて、該部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、推定された力の作用状態を呈示するので、拘束状態における遠隔作業ロボットと環境との間の力の作用状態を推定かつ呈示することができる。
【００４８】
そして、本発明の送信手段は、速度指令ベクトルを送信する第１のモードと、位置及び姿勢の指令値を送信する第２のモードと、を有し、算出手段は、速度指令ベクトルと通信回線を介して受信された力の情報及びロボットモデルとに基づく遠隔作業ロボットの前記部位の第１の位置・姿勢（予測位置・姿勢）を用いる第１のモードと、位置及び姿勢の指令値に基づく遠隔作業ロボットの部位の第１の位置・姿勢（予測位置・姿勢）を用いる第２のモードと、を有し、第１のモード及び第２のモードを切り替える切り替え手段を備えている。
【００４９】
遠隔作業ロボットを大きく動作させる場合、又は、遠隔作業ロボットの微調整させる場合など、状況に応じて適切なモードを選択することができ、操作者の使い勝手を向上させることができる。
【００５０】
上記請求項１及び請求項３のおける算出手段は、請求項４のように、遠隔作業ロボットが環境に拘束された場合には速度指令ベクトルに比例する力を環境に与えるように制御系を構成しておき、速度指令ベクトルの履歴を蓄積し、遅れ時間の２倍の時間積分することにより、前記ずれ量を算出する。
【００５１】
ここで、請求項５のように、受信手段は、遠隔作業ロボットとの間に力が作用する環境を撮影する撮影手段からの環境の撮影情報を受信し、呈示手段は、受信手段により受信された撮影情報に基づいて、環境を更に呈示する。この場合、請求項６のように、呈示手段は、判断手段により遠隔作業ロボットが環境に拘束されたと判断されない場合には、少なくとも第１の位置・姿勢を含む遠隔作業ロボットの所定領域と環境とを対応させて、例えば、重ねて呈示し、判断手段により遠隔作業ロボットが環境に拘束されたと判断された場合、力の作用状態と環境とを対応させて、例えば、重ねて呈示するようにしてもよい。
【００５２】
また、請求項７のように、撮影手段は、環境に対して固定された第１の撮影手段及び遠隔作業ロボットに対して固定された第２の撮影手段の少なくとも一方を備えるようにしてもよい。この場合、請求項８のように、撮影手段が第１の撮影手段及び第２の撮影手段を備え、呈示手段は、第１の撮影手段及び第２の撮影手段からの双方の撮影情報に基づいて、環境を呈示するようにしてもよい。
【００５３】
なお、請求項９のように、力の作用状態は、力の方向とモーメントの少なくとも一方である。
【００５４】
また、請求項１０のように、力を加えることにより遠隔作業ロボットの動作を指令するための指令手段と、前記推定手段により推定された力の作用状態に基づいて、該力の作用状態とは逆の作用状態（反力）を前記指令手段に物理的に作用させて呈示する作用手段と、を備えるようにしてもよい。
【００５５】
この場合、送信手段は、指令手段により指令された動作に基づいて、速度指令ベクトル又は位置及び姿勢を送信する。
【００５６】
なお、以下の遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法も提案される。
【００５７】
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、速度指令ベクトルを通信回線を介して送信し、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信し、前記受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断し、前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記速度指令ベクトルと前記通信回線を介して受信された力の情報及び遠隔作業ロボットのモデルとに基づき、通信遅れ時間後の前記遠隔作業ロボットの前記部位の状態を予測する第１の位置・姿勢と、前記遅れて受信された位置・姿勢情報に基づく、実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出し、前記算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、前記推定された力の作用状態を呈示する遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法である。
【００５８】
また、以下の遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法も提案される。
【００５９】
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、位置及び姿勢を通信回線を介して送信し、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信し、前記受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断し、前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記位置及び姿勢の指令値に基づき通信遅れ時間後の前記遠隔作業ロボットの前記部位の状態を予測する第１の位置・姿勢と、遅れて受信された位置・姿勢情報に基づく、実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出し、前記算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、前記推定された力の作用状態を呈示する遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法である。
【００６０】
更に、次の遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法も提案される。
【００６１】
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットの指令された動作として、所定情報を通信回線を介して送信し、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信し、前記受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断し、前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記遠隔作業ロボットの前記部位の通信遅れ時間後の状態を予測する第１の位置・姿勢と、遅れて受信された位置・姿勢情報に基づく、実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出し、前記算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、前記推定された力の作用状態を呈示する遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法であって、前記送信の際は、速度指令ベクトルを送信する第１のモードと、位置及び姿勢の指令値を送信する第２のモードと、を有し、前記算出の際は、前記速度指令ベクトルと前記通信回線を介して受信された力の情報及びロボットモデルとに基づく遠隔作業ロボットの前記部位の第１の位置・姿勢（予測位置・姿勢）を用いる第１のモードと、前記位置及び姿勢の指令値に基づく遠隔作業ロボットの部位の第１の位置・姿勢（予測位置・姿勢）を用いる第２のモードと、を有し、前記第１のモード及び第２のモードを切り替えることを特徴とするロボット環境間力作用状態呈示方法である。
【００６２】
なお、上記ロボット環境間力作用状態呈示方法の発明では、更に、次のようにしてもよい。
【００６３】
まず、上記１番目及び３番目のロボット環境間力作用状態呈示方法では、速度指令ベクトルを遅れ時間の２倍の時間積分することにより、ずれ量を算出するようにしてもよい。
【００６４】
遠隔作業ロボットとの間に力が作用する環境を撮影する撮影手段からの環境の撮影情報を受信し、前記受信された撮影情報に基づいて、環境を更に呈示する。この場合、遠隔作業ロボットが環境に拘束されたと判断されない場合には、少なくとも第１の位置・姿勢を含む遠隔作業ロボットの所定領域と環境とを重ねて呈示し、遠隔作業ロボットが環境に拘束されたと判断された場合、力の作用状態と環境とを重ねて呈示するようにしてもよい。
【００６５】
また、撮影手段は、環境に対して固定された第１の撮影手段及び遠隔作業ロボットに対して固定された第２の撮影手段の少なくとも一方を備えるようにしてもよい。この場合、撮影手段が第１の撮影手段及び第２の撮影手段を備え、第１の撮影手段及び第２の撮影手段からの双方の撮影情報に基づいて、環境を呈示するようにしてもよい。
【００６６】
なお、力の作用状態は、力の方向とモーメントの少なくとも一方である。
【００６７】
また、力を加えることにより遠隔作業ロボットの動作を指令するための指令手段に対し、前記推定された力の作用状態に基づいて、該力の作用状態とは逆の作用状態（反力）を前記指令手段に直接物理的に作用させるようにして呈示してもよい。
【発明の効果】
【００６８】
以上説明したように本発明によれば、遠隔作業ロボットが環境に拘束されたと判断された場合、遠隔作業ロボットの部位の通信遅れ時間後の状態を予測する第１の位置・姿勢と、通信によって遅れて伝達される実際の遠隔作業ロボットの部位の第２の位置・姿勢と、のずれ量に基づいて、該部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、推定された力の作用状態を呈示するので、環境モデルを用いずに拘束状態における遠隔作業ロボットと環境との間の力の作用状態を推定かつ呈示することができる、という効果がある。
【発明を実施するための最良の形態】
【００６９】
以下、図面を参照して、本発明の実施の形態の一例を詳細に説明する。
[第１の実施の形態]
図１及び図２に示すように、ロボット遠隔操作システムは、遠隔配置されたスレーブロボット１２Ａ、スレーブロボットコントローラ１２、及びモニタ用カメラ２０と、本実施の形態にかかるロボット環境間力作用状態呈示装置としてのロボット遠隔制御装置１４と、を備えている。ロボット遠隔制御装置１４は、詳細は後述する指令手段としてのジョイスティックマスタ１６、モニタ１８、及び予測情報呈示システム２４を備えている。
【００７０】
オペレータは、遠隔側のスレーブロボット１２Ａの作業状況（動作状態）等を、モニタ用カメラ２０により撮影して得られた撮影情報に基づいてモニタ１８の画面で監視しながら、ジョイスティックマスタ１６を操作して目標指令を生成する。生成された指令値は、インターネットなどの遅れを伴う通信経路２２を介して遅れて、スレーブロボットコントローラ１２に伝達される。スレーブロボット１２Ａはオペレータからの指令値に基づいて、外力に対する柔軟性を伴って速度制御される。
【００７１】
しかし、上記のように人間の操作ループに入り込んだ遅れはシステムに悪影響を及ぼし、画像遅延や操作情報の遅れによって操作性の低下を招くだけでなく、最悪の場合にはオペレータの操作そのものを不安定化してしまう要因となる。そのため、本実施の形態では、スレーブロボット１２Ａの運動学的・動力学的モデルを構築し、オペレータ側に配置することにより予測情報の生成を行うものとする。
【００７２】
図２に示すように、図２の紙面に向い、図２における通信回線２２の位置を挟んで左側はオペレータ側、右側は遠隔側を表している。オペレータ側には、予測情報呈示システム２４を備え、予測情報呈示システム２４は、スレーブロボット１２Ａの予測モデル２６と、スレーブロボット１２Ａ側から遅れて伝達された作業映像に予測情報を対応して、本実施の形態では重ね合わせて（スーパーインポーズして）、モニタ１８を介してオペレータに呈示を行う予測画像生成器２８と、を備えている。
【００７３】
図３には、ロボット遠隔操作システムのブロック図が示されている。図３に示すように、ジョイスティックマスタ１６は、スレーブロボット１２Ａの動作を指令するためオペレータにより加わった力を、後述するばね定数行列Ｋで除して、ジョイスティックマスタ１６の変位量δｘmを求める除算器１６ａと、求められたジョイスティックマスタ１６の変位量δｘmに速度指令ゲインＡを乗算して、速度指令値ｖsdを求める乗算器１６ｂと、を備えている。乗算器１６ｂは予測モデル２６に直接接続されると共に、乗算器１６ｂの出力（速度指令値ｖsd）は、通信回線２２を介してスレーブロボットコントローラ１２に送信される。
【００７４】
上記のように、オペレータがスレーブロボット１２Ａの動作を指令するため、ジョイスティックマスタ１６を操作、即ち、操作力を加えたとする。
【００７５】
fhをオペレータがジョイスティックマスタ１６に加える操作力/モーメントを表すベクトル、δxmをジョイスティックマスタ１６の中立点からの変位を表すベクトル、Ｋを調整可能なばね定数行列とすると、ジョイスティックマスタ１６の特性は、
【００７６】
【数１】
【００７７】
のように表される。オペレータの操作によって生じた変位δxmは、速度指令ゲインＡにより定数倍され、速度指令値(速度指令ベクトル)ｖsdに変換され、スレーブロボット１２Ａ側に送信される。
【００７８】
ここで、スレーブロボット１２Ａとしては、様々なロボットシステムを適用可能であるが、本実施の形態では、多関節マニピュレータを用いる。一般化座標系で表したスレーブロボットの手先位置・姿勢に対する速度指令値vsdは次式のように表される。
【００７９】
【数２】
【００８０】
マスタスレーブロボット間の通信遅れをＴ[ｓ] (遅れ時間)と仮定すると、速度指令値はvsd (t-T) のように遅れてスレーブロボット１２Ａ側に伝達される。本システムでは、スレーブロボットの速度vs(t) は、次式のようなダンピング制御則に基づいて決定するものとし、スレーブロボットには外力に対する柔軟性を持たせている。
【００８１】
【数３】
【００８２】
ここで、feはスレーブロボットの手先（部位）が環境に加える接触力/モーメントを表すベクトルである。Ｂはスレーブロボットの外力に対する応答を規定するためのアドミッタンス行列である。
【００８３】
式(1)(2)(3) より、非拘束時にはfe= 0 となるため、スレーブロボットは速度指令値vsdの通りに運動する。また、スレーブロボットが一旦環境に拘束されると、vs=０となり、オペレータの操作力ｆhとスレーブロボット１２Ａの手先が環境に加える接触力feは次式の関係を満たす。
【００８４】
【数４】
【００８５】
作業に応じてＫ、Ａ、Ｂを適宜調整することで、操作力と接触力の比例関係を適切に設計することが可能である。さらに、ロボットの座標系やアドミッタンス行列を作業に応じて適切に設計することで、半自律的にオペレータの作業支援を行う特性をもたせることも可能である。
【００８６】
また、図３に示すように、スレーブロボットコントローラ１２は、スレーブロボット１２Ａの手先（部位）が環境に加える接触力をfeとすると、スレーブロボット１２Ａの手先が環境から受ける接触力（-fe）と、上記のアドミッタンス係数Ｂとを乗算する乗算器１２ａと、乗算器１６ｂからの出力である速度指令値ｖsdと、乗算器１２ａの出力とを加算する加算器１２ｂと、後述するＫｐ乗算器１２ｇの出力と、加算器１２Ｂの出力とを加算する加算器１２ｃと、スレーブロボット速度サーボ１２ｄと、を備えている。
【００８７】
また、スレーブロボットコントローラ１２は、乗算器１６ｂからの出力である速度指令値ｖsdを積分する積分器１２ｅと、積分器１２ｅの出力からスレーブロボット速度サーボ１２ｄの出力を減算する減算器１２ｆと、減算器１２ｆの出力に、所定の補償定数であるＫｐを乗算する乗算器１２ｇと、を備えている。なお、これらの素子は、予測モデル２６と実際のスレーブロボット１２Ａの挙動を一致させるための付加的な補償要素である。
【００８８】
一方、予測モデル２６は、スレーブロボット１２Ａの手先が環境から受ける接触力（-fe）と上記のアドミッタンス係数Ｂとを乗算する乗算器２６ａと、乗算器２６ａの出力と乗算器１６ｂからの出力である速度指令値ｖsdとを加算する加算器２６ｂと、加算器２６ｂの出力を積分する積分器２６ｃと、を備えている。
【００８９】
このように、本実施の形態では、環境のモデルを持たず、スレーブロボット１２Ａの仮想モデルのみを構築し、オペレータ側に配置している。
【００９０】
スレーブロボット１２Ａの手先の予測される速度をvmodelとすると、速度vmodelは、
【００９１】
【数５】
【００９２】
ここで、通常の重ね合わせ型の場合には、スレーブロボット１２Ａの手先が環境に拘束される拘束状態では、予測呈示は想定しないのが普通である。しかし、本実施の形態では、スレーブロボット１２Ａ側で検出された接触力を図２、図３に示すように、ロボットの予測モデル２６に伝達する形をとっている。予測モデル２６はオペレータ側に置かれており、スレーブロボットの接触力/モーメントfe は通信時間分だけ遅れて伝達されるため、予測モデル２６への入力はvsd(t) 及びfe(t- T) となる。
【００９３】
予測呈示画像生成システム２４では、この式(5) を用いて運動予測画像が三次元グラフィックスとして生成され、モニタ１８で、スレーブロボット側の実画像に重ね合わせてオペレータに呈示される。
【００９４】
ところで、前述のような構成で通常の運動予測画像の重ね合わせのみを行った場合にシステムがどのような挙動を示すのかを調べるため、グラフィックシミュレータを構築し、通信遅れ存在下でのシステムの挙動の確認を行った。図４、図５は、拘束状態でのスレーブロボットの実際の状態と予測された状態を示す。図４、図５中、ワイヤフレームで表示されているものが、予測モデル２６から計算されたスレーブロボット１２Ａの運動予測画像ＰＧである。その他の部分はスレーブロボット側から通信経路を介して送られてきた実画像（モニタ用カメラ２０による画像）であり、予測画像ＰＧと実画像とをスーパーインポーズしてモニタ１８で呈示を行った。
【００９５】
この実験の結果、スレーブロボット１２Ａの手先が環境ＥＮＶに拘束されていない自由状態では、オペレータの入力履歴を利用して、図４(a)、図５(a)に示すように、実画像に遅れなくリアルタイムに運動予測画像を呈示することができた、即ち、通信遅れによる操作性の劣化を抑えることができることを確認できた。
【００９６】
しかし、スレーブロボット１２Ａの手先が環境ＥＮＶに拘束された拘束状態においては、通信遅れが存在すると、図４(b)、図５(b)に示すように、スレーブロボット１２Ａの運動予測画像ＰＧが環境ＥＮＶ内へあたかもめり込んだような状態で拘束されてしまう現象が生じることがわかった。これは次の理由による。
【００９７】
即ち、システムはロボットの予測モデル２６のみで環境モデルを持たないため、伝達される力情報でしか拘束状況を判断できない。しかし、接触情報は通信経路を介して遅れて伝達されるため、実際のスレーブロボットが環境ＥＮＶに拘束されたとしても、運動予測画像ＰＧであるスレーブロボットは運動を続けてしまう。そして、運動予測画像ＰＧであるスレーブロボットは、遅れて伝達された力情報により拘束され停止するが、既に運動予測画像中におけるスレーブロボットとオペレータに呈示される実画像内のスレーブロボットの位置・姿勢には誤差が生じているため、運動予測画像ＰＧであるスレーブロボットはあたかも環境にめり込んだような状態で拘束されてしまう。
【００９８】
このような現象は、本来であればあまり望ましくないが、本実施の形態ではこれを「めり込み現象」と呼び、逆に拘束状態における予測呈示に積極的に利用することを考えた。
【００９９】
以下、システムの拘束状態での挙動を調べ「めり込み現象」についての解析を行う。
【０１００】
ここでは、簡単のため、まずシステムの1 次元モデルで記述を行う。モニタ１８の画面内で、実画像として遅れてオペレータに呈示される見かけのスレーブロボットの運動速度vappは、次のように表される。
【０１０１】
【数６】
【０１０２】
そのため、マスタスレーブロボット系全体の特性は式(3)、式(5)、式(6)により規定されることになる。これらを、時間の関数をラプラス変換して得られるs-領域で表すと、実際のスレーブロボット１２Ａの手先の速度Ｖs（ｓ）、予測モデルにおけるスレーブロボット１２Ａの手先の速度Ｖmodel、遅延画像上での見かけのスレーブロボットの手先の速度Ｖapp(s)は、それぞれ、
【０１０３】
【数７】
【０１０４】
となる。
【０１０５】
ここで、初期状態を零とし、実際のスレーブロボット１２Ａの手先の位置/姿勢Ｘs、予測モデルにおけるスレーブロボット１２Ａの手先の位置/姿勢Ｘmodel、遅延画像上での見かけのスレーブロボットの手先の手先の位置/姿勢Ｘappは、それぞれ、
【０１０６】
【数８】
【０１０７】
となる。
【０１０８】
そして、環境に対するめり込み量（ずれ量）Ｄは、予測モデルにおけるスレーブロボットの手先の位置/姿勢Ｘmodelとオペレータに呈示される見かけのスレーブロボットの手先位置/姿勢Ｘappとの間の誤差であると考えられるため、以下のように計算できる。
【０１０９】
【数９】
【０１１０】
一方、s-領域ではなく、時間領域（t 領域）では、めり込み量d(t)は、
【０１１１】
【数１０】
【０１１２】
となる。この結果より、誤差量（めり込み量d(t)）は速度指令値vsd の２Ｔ秒間（遅れ時間の２倍の時間）の積分値となることがわかる。
【０１１３】
ここで、式(3) を使って式(14) をスレーブロボット１２Ａの拘束力との関係に書き直すと、
【０１１４】
【数１１】
【０１１５】
となる。
【０１１６】
以上の解析は３次元空間にもそのまま適用できる。拘束超平面に対して垂直な、めり込み量の法線方向成分
【０１１７】
【数１２】
【０１１８】
を考えれば、式(15)は、
【０１１９】
【数１３】
【０１２０】
もしくは、
【０１２１】
【数１４】
【０１２２】
のように表される。スレーブロボットが完全に環境に拘束された状態
【０１２３】
【数１５】
【０１２４】
では、式(3) より、
【０１２５】
【数１６】
【０１２６】
となり、オペレータからの指令値が定常となれば、式(16)(18)より、
【０１２７】
【数１７】
【０１２８】
の関係式が得られ、Ｔ秒後の拘束力とめり込み量とが比例関係にあることが分かる。つまり、めり込み量を用いると、この式によってスレーブロボットがＴ秒後に発生する力やモーメント（力の作用状態）を予測できることを示している。
【０１２９】
また、スレーブロボットを拘束させたままの状態でオペレータが指令値を変化させ、力feが変化するような過渡的な状態まで考えると、拘束されている間は式(17) の第１項は第２項に比べて小さいと仮定すれば、めり込み量は近似的に、
【０１３０】
【数１８】
【０１３１】
と表せる。ここで、定常状態と同じ式(19) を用いて予測を行ったとすると、力の予測値
【０１３２】
【数１９】
【０１３３】
は、式(20) を(19) に代入して、
【０１３４】
【数２０】
【０１３５】
となり、２Ｔ秒間の力予測値の移動平均を算出していることになる。これは、力が平滑化されて予測されることを意味しており、通信遅れに比べ高い周波数領域の特性は鈍化してしまうが、オペレータの操作帯域が平滑化の接点周波数以下であれば、過渡的な状態についても式(19) を用いて力の予測が可能であることを示している。このように、めり込み量を利用することにより拘束状態での予測呈示が可能となる。
【０１３６】
次に、拘束状態での予測情報を効果的にオペレータに呈示する方法について説明する。
【０１３７】
上記のように、拘束状態で生じるめり込みの量には、オペレータの入力履歴を反映した力やモーメントの予測情報が含まれ、オペレータ側に配置したロボットの予測モデルに基づいて予測情報を生成すれば、自由状態、拘束状態を問わず連続的に予測情報の呈示が可能であることがわかった。
【０１３８】
ここでは、この結果を踏まえ、めり込み量をうまく利用して拘束状態での力/モーメントの予測情報をオペレータに効果的に呈示する方法について考える。
【０１３９】
本システムの予測画像生成器２８では、自由状態においては予測モデルに基づいて生成したスレーブロボットの運動予測画像を実画像に重ねあわせて呈示を行っている。しかし、拘束状態でそのまま同様の表示を行ったのでは図４(b)、図５(b) のように、運動予測画像ＰＧのみが環境ＥＮＶにめり込んだ状態となり、実際のロボットの状態と全く異なる状態で実画像に重ね合わされてしまうため、作業を行う際の視認性が低下してしまうことが考えられる。
【０１４０】
そのため、スレーブロボット側から伝送された力情報fe(t−Ｔ) がある閾値を超え、実際のスレーブロボットが環境へ接触したと判断した場合には、予測画像生成器２８では、運動予測画像の代わりに、力/モーメントの予測情報を、図６、図７に示すように、「予測力矢印」及び「予測モーメント矢印」という二種類の「予測支援矢印」(力の作用状態)として視覚化し、オペレータに直感的に呈示する。
【０１４１】
以下、これらの予測支援矢印について説明する。
【０１４２】
「予測力矢印」
拘束状態における力と運動の並進成分に関する予測情報を視覚化するため、本実施の形態では「予測力矢印」と呼ばれる矢印を定義し、実画像に重ね合わせて呈示を行う。
【０１４３】
予測力矢印は、図６のように、実画像内の実際のスレーブロボットの手先から予測モデルにおけるスレーブロボットモデルＰＧの手先の方向へと伸びる、位置めり込み量（めり込み量の並進成分）に相当する矢印で、拘束状態では、運動予測画像を表示する代わりに図７に示されるように、矢印のみがオペレータに呈示される。
【０１４４】
予測力矢印ＦＡの拘束面に対する法線方向成分は、解析結果からわかるようにスレーブロボット１２ＡがＴ秒後に発生する拘束力を予測的に呈示するフォースディスプレイとしての役割を担う。それと同時に、予測力矢印の接線方向成分は、ロボットの非拘束方向への運動を予測的に呈示する役割を果たす。オペレータの操作は矢印先端（予測モデルにおけるスレーブロボットの手先に対応）の動きに遅れ無く反映され、実画像内のロボットはそれに追従する（牽引される）ように動作を行う。そのため、オペレータは拘束状態においても接触力と運動を同時に予測的に認識しながら操作することが可能となる。矢印の先端は、方向を三次元的に認識しやすくするために円錐形状とし、さらに支援矢印の変化が分かりやすいよう、その大きさによって呈示の色を変化させる。
「予測モーメント矢印」
上記予測力矢印と同様に、回転成分に関する予測情報を視角化するため「予測モーメント矢印」を定義し、図７に示すように、拘束状態において運動予測画像の代わりにオペレータに呈示する。
【０１４５】
予測モーメント矢印ＭＡは、実画像内の実際のスレーブロボットの手先姿勢に対する予測モデルにおけるスレーブロボットの手先姿勢の誤差を表し、姿勢めり込み量に相当する円弧状の回転矢印で、力の場合と同様に回転力に関する予測呈示の機能を担っている。
【０１４６】
一般には、作業内容やカメラ配置などに応じて、X-Y-Z固定角、オイラー角、等価回転軸や等価回転角など、様々な表記法の中から適したものを選択して使用することが可能である(図８(a)、図８(b))。なお、図８(a)は、Ｘ-Ｙ-Ｚ空間において矢印を表示した例を示し、図８(b)は、等価回転軸空間おいて矢印を表示した例を示した図である。
【０１４７】
なお、矢印先端の形状や色変化については、円錐形状とし、その大きさによって呈示の色を変化させる等、予測力矢印と同様である。
【０１４８】
これら二つの予測支援矢印ＦＡ、ＭＡにより、拘束状態においても予測情報をオペレータに呈示することができるため、通信遅れ存在下での操作性の向上を図ることが可能となる。尚、予測支援矢印の生成にあたっては、図３に一点鎖線で示すように、実画像を撮影した時点でのスレーブロボットの手先の位置・姿勢の情報を画像データとともに送信し、予測画像生成器２８で利用している。また、実用面を考えて、めり込み量を定数倍して予測支援矢印の表示スケールを調整する機能を持たせている。
【０１４９】
次に、予測画像生成器２４の処理を、図９に示した処理プログラムを参照して説明する。
【０１５０】
予測画像生成器２４の図示しないスタートボタンがオン等されると、ステップ１０２で、予測モデル２６により予測された運動予測画像と、モニタ用カメラ２０により環境が撮影して得られた実画像とを重ねてモニタ１８に表示する。
【０１５１】
ステップ１０４（判断手段）で、スレーブロボットコントローラ１２から出力された、スレーブロボット１２Ａの手先が環境から受ける力（-ｆe）の絶対値が、所定の閾値ｆth以上か否かを判断し、所定の閾値ｆth未満の場合には、スレーブロボット１２Ａの手先は自由状態にあると判断して、ステップ１０２に戻る。
【０１５２】
一方、スレーブロボット１２Ａの手先が環境から受ける力（-ｆe）の絶対値が、所定の閾値ｆth以上と判断された場合には、スレーブロボット１２Ａの手先は環境に拘束された拘束状態にあると判断して、ステップ１０６（算出手段）で、上記めり込み量を、上記式(16)から算出する。
【０１５３】
ステップ１０８（推定手段）で、スレーブロボット１２Ａの手先が環境に加える接触力及びモーメントを、上記式(19)から予測する。
【０１５４】
ステップ１１０で、図７に示すように、予測された接触力及びモーメントに基づいて、予測力矢印ＦＡ及び予測モーメント矢印ＭＡを、運度予測画像に代えて、実画像に重ねてモニタ１８で表示し、ステップ１０４に戻る。
【０１５５】
以上説明したように本実施の形態では、通信遅れが存在して操作情報（ジョイスティックマスタ側からスレーブロボット側への操作指令）や応答情報（スレーブロボット側からジョイスティックマスタ側への制御結果）が双方向に遅れて伝達されてしまう状況下でも、スレーブロボットの応答を予測的に計算し、遠隔ロボットの作業状況を映し出すモニタ用の動画像に重ね合わせる（スーパーインポーズする）形で操作者にリアルタイムに呈示している。
【０１５６】
そして、自由状態（非拘束状態）ではスレーブロボットの運動を、拘束状態（ロボットが環境に拘束された状態）では力と運動の応答を、環境モデルを用いることなく、実際のロボットが動作する前に予測的に操作者に呈示することができる。そのため、操作者は遅れに惑わされることなくロボットを円滑に遠隔操作することができ、通信遅れによる情報遅延が操作に与える影響を大幅に低減できる。
【０１５７】
また、本実施の形態では、環境モデルを用いず、ロボットの予測モデルのみ用いているため、汎用的かつ簡便な設置・運用が可能である。
【０１５８】
また、対象が生体の場合など、環境のモデル化が困難な場合や実画像そのものに意味のある場合（実画像を見ながら操作を行う必要がある場合）などにも有効に利用できる。
【０１５９】
スレーブロボットの予測モデルはそれを提供する側で十分な精度で構築しておくことが可能であるため、ロボットと一緒にその予測モデルを提供する形をとる事により、様々なロボットシステムの中からユーザが必要なものを選択して自由に配置して使用できるようになるため、インターネットなどの通信網を利用して遠隔体験や遠隔福祉、遠隔コミュニケーションなどの身近な領域へと遠隔操作システムの応用分野の拡大を図ることができる。
【０１６０】
次に、本実施の形態の具体的実験結果を説明する。
【０１６１】
上記実施の形態の有効性を確認するため、テレマニピュレーションシステムを構築して遠隔操作実験を行った。図１０にロボット遠隔操作システムの実験装置の構成を示す概略図を示す。
【０１６２】
操作側では、オペレータは入力デバイスとして力フィードバック型のジョイスティック（Microsoft Sidewinder Force Feedback2）１６を操作し、スレーブロボット１２Ａへの指令値(速度指令ベクトル)を生成した。
【０１６３】
モニタ１８の画面には、遅れて伝達されたスレーブロボット側のモニタ用カメラ２０の映像に対し、自由状態ではスレーブロボットの運動予測画像を、拘束状態では予測支援矢印を、図１３のように、それぞれ重ね合わせて操作支援画像を呈示した。その際、スレーブロボットの運動予測画像及び予測支援矢印は、OpenGLライブラリを用いて三次元グラフィックスで表現し、カメラ画像とのキャリブレーションを行った上で画像処理によって重ね合わせを行った。
【０１６４】
今回の実験では、スレーブロボット１２Ａとして平面３リンクマニピュレータを使用した。マニピュレータの各関節はＤＣサーボモータによって駆動し、手首部に搭載した６軸の力/トルクセンサにより環境との間の接触力を測定して制御に使用した。
【０１６５】
マスタスレーブロボット間の通信については、様々な通信遅れの条件下でシステムの特性を検討できるようここでは共有メモリボードを用いて行い、遅れはプログラムで仮想的に生成し、遅れ時間を任意に設定できるようにした。
【０１６６】
また、通信データ量を減らすため、カメラ画像は予測支援矢印付近の注視点領域を考慮に入れた圧縮処理を行ってオペレータに伝達した。
【０１６７】
今回の実験では、まず、予測支援矢印の動作確認を行い（実験１）、部品の組み付け作業（実験２）とＬ字型壁面の倣い作業（実験３）との二種類の遠隔作業を行ってシステムの有効性を確認した。尚、制御パラメータは、位置成分についてはA = 2.0、B =0.006、K = 200、姿勢成分についてはA = 0.2、B = 1.0、K = 0.3と設定した。
[実験１：予測支援矢印の動作確認]
予測力矢印が解析した通りに正確に機能するかを確認するため、スレーブロボットの手先を壁面に押し付け、予測力矢印を見ながら速度指令値を変化させることで、環境への接触力を変化させた。
【０１６８】
図１１(a)〜図１１(c)は、片道あたりの通信遅れT = 0.38[s]の条件での力の予測値と実際の接触力との関係を示す図であり、図１１(a)は、速度指令ベクトルを、図１１(b)は、実際の位置を、図１１(c)は、力の予測値と実際の接触力との関係を示す図である（グラフは比較のため通信遅れ分シフトしてある）。
【０１６９】
開始３秒付近でスレーブロボット１２Ａの手先が壁面に接触し拘束状態となったが、オペレータの指令に応じて接触力が変動する様子が予測できていることがわかる。次に、スレーブロボット１２Ａの手先を環境に拘束した状態で姿勢の速度指令値を変化させて環境にモーメントを加え、予測モーメント矢印の動作確認を行った。同様に予測が想定どおりに行われていることが確認できた（図１２）。
[実験２：組み付け作業]
遠隔作業の例として、片道あたりの通信遅れ、T = 0.18[s]、 T =0.28[s]、 T = 0.38[s] の各条件下で、図１３のようにスレーブ先端のT字型の部品を環境の窪みに挿入する作業を行った。図１３は、作業中オペレータに呈示された操作画面を示しており、(a)は自由状態、(b)は拘束状態での呈示の様子を示している。図１３(b) で手先付近に表示されている矢印が予測力支援矢印及び予測モーメント矢印である。オペレータからの操作指令は、ジョイスティックマスタの左右・前後・ひねりの３自由度をそれぞれ図のx軸（並進）、 y軸（並進）、 α軸（回転）に対応するように設定した。また、図１５に示すように部品先端部にはRCCのような半自律的な特性を持つように式(3) を構成する座標系及び制御パラメータを設定して実験を行った。点P は設定した回転中心である。
【０１７０】
図１４は、T = 0.38[s] の場合について、y軸方向（拘束方向）とα軸周りに関する実験時のスレーブの応答を示したものである。図１４(a)、図１４(c) は、各々、作業中のy軸方向の手先位置と接触力の変化を示す。図１４(b)、図１４(d) は、各々、α 軸周りの手先姿勢とモーメントの変化の様子を示している。作業過程は図１５のようであった。オペレータの操作によって、部品は約11 秒時点で環境に接触し、数秒後に挿入が完了した。往復の通信遅れがあるにもかかわらず、オペレータは予測力矢印と予測モーメント矢印の支援を受けてスレーブの挙動を予測的に認識でき、スレーブの半自律的な特性の助けも借りながら、容易に作業を行うことが可能であった。
【０１７１】
[実験３：Ｌ字型壁面の倣い作業]
次に、ペン型のエンドエフェクタを使用して図１６(a)、図１６(b)のようなＬ字壁面の倣い作業を行った。図１６(a)、図１６(b)は、実験中オペレータに実際に呈示された画面の様子である。この作業の目的は、予測支援矢印の助けを借りながら、拘束面に垂直な方向に対して力を加えながら連続的にL字壁面を倣うことである。この実験ではペン型のエンドエフェクタ（環境とは点接触）の先端に制御則(3)の座標系の回転中心を設定して、環境からはモーメントが働かないようにし、エンドエフェクタの接触姿勢はオペレータが自由に操作できるように設定した。通信遅れは実験２と同様T = 0.18[s]、 T = 0.28[s]、 T = 0.38[s]で行った。
【０１７２】
図１７は、T = 0.18[s] における作業中の予測接触矢印の軌跡を示す。破線はペン型エンドエフェクタの先端の軌跡を、実線で描かれた線分及び矢印は予測力矢印の表示軌跡を表している。予測矢印の軌跡は0.5 秒毎に描画し、見難くなるためそれらの一部のみ矢印形状で示した。これらの結果から、通信遅れが存在するにもかかわらず、オペレータの操作により壁面の倣い作業が連続的に行われたことがわかる。特に図中に円で囲んだ部分に着目すると、オペレータが予測支援矢印の支援を受けながら、連続的に拘束方向を変化させている様子が確認できる。予測支援矢印は拘束面に対する法線方向の接触力と接線方向のすべり運動を同時に予測呈示しているため、オペレータは前もって状況を認識して適切な入力を効果的に生成することができ、手法の有効性が確認できた。
【０１７３】
次に、上記実施の形態及び上記実験におけるモニタ用カメラ２０について説明する。
【０１７４】
モニタ用カメラ２０の画像および支援画像の視点は、作業内容や使用環境に合わせて、ロボット外から俯瞰的に観測を行う「固定座標系」や、ロボットの手先などに取り付けてロボットの運動とともに刻々と視点を変化させながら環境に対して相対運動を行う「移動座標系」など、座標変換により適切なものを使用することができる（図１８、図１９）。
【０１７５】
俯瞰的な視点では作業環境も含めた全体像がつかみやすく、手先カメラなどの移動カメラ視点では環境との間の相対的な運動が把握しやすい。このため、両方の視点で支援表示を行い、操作者が適宜必要な視点の情報を見ながら操作できるシステムを構築するのが望ましい。支援画像には、指令を与える際のロボットの参照座標系を重ねて表示しておくことで、方向の把握を容易にすることができる（図１８、図１９）。
【０１７６】
次に、モニタ用カメラ２０による画像と、運動予測画像とのキャリブレーションについて説明する。
【０１７７】
モニタ用カメラ２０で撮影される実作業空間（環境）の実画像に運動予測画像や予測支援矢印を正確に重ね合わせて呈示する必要がある。しかし、手動でこれらの位置合わせを行うのは困難であるため、なるべく簡単に正確な重ね合わせを行えることが望ましい。ただし、三次元測定器やステレオカメラを用いたのではシステムが複雑になるため、身近で簡便に使用することを考え、安価で入手も容易な市販の雲台付き監視カメラを用いて、マーカを利用した画像計測によって、単眼カメラシステムでも容易に実作業空間と予測モデル空間の位置合わせが可能な簡易キャリブレーション手法の開発を行った。以下に開発した手法の特長を示す。尚、今回はパン・チルト・ズーム機能を搭載したCanon 製単眼監視用カメラを用いた。
【０１７８】
開発した手法では、図２０(a)のような円状マーカを環境（スレーブロボット）に設置し、キャリブレーションを行う際には、マーカの中心がカメラの撮影領域の中心と一致するように予め調整を行った。このような二つの条件により、どの方向から撮影した場合でも、カメラの視線に垂直な平面内にマーカの直径成分が常に現れるため、カメラとロボットとの間の座標変換を簡単化することができ、単眼でも図２１のような手順でカメラの画角やマーカ円の直径、静止画像内での傾きや比率から座標変換パラメータを順に分離して計測可能となる。また、それと同時に推定パラメータを減らすことで精度の悪化を防ぐ効果もある。尚、使用するカメラのパラメータは予め調べられているものとする。
【０１７９】
作業や環境が変わりカメラとロボットの位置関係が変更された場合には、以下の半自動キャリブレーション作業を行う。
【０１８０】
キャリブレーションを行う際には、まず、図２０(a)のように円状マーカの中心を撮影領域の中心と合わせるようにカメラの方向を調整する。そして、作成した画像解析プログラムを利用して、簡単な画像処理とオペレータによる数回の画面クリック（図２０(b)：画像取り込み、図２０(c)：長軸成分の自動検出、図２０(d)：画像回転による長軸成分の確認・確定、図２０(e)：距離L と回転角ψ（図２１(e)参照）の自動算出、図２０(f)：マーカの基準点の入力 回転角φとθの自動算出）によってマーカとカメラの位置関係を導き出す。
【０１８１】
オペレータには上記図２０(d)、図２０(f)の一部において補佐的に介入をさせ、人間の持つ高い判断能力を利用して、画像処理の簡単化とパラメータ算出精度の向上を図っている。
【０１８２】
図２２は実際に多自由度汎用マニピュレータPA10 にマーカを取り付け、それをズームアップしてキャリブレーションを行った結果である。実際のマーカの画像にOpenGL で作成したマーカモデルが正確に重なっている様子がわかる。また、その状態でカメラのズーム倍率を変化させたり、パン角・チルト角を変更したりした場合でも、それをモデルの描画に反映させることにより、実際のロボットにモデル（ワイヤーフレーム表示）が正確に重なることが確認できる（図２３(a)、図２３(b)）。
【０１８３】
次に、他の実験について説明する。
【０１８４】
ユーザの要求に応じて自由度の多いスレーブロボットや入力装置を用いた場合でも汎用的に利用できることを確認した実験について説明する。
【０１８５】
まず、今回の実験に用いた多自由度ネットワークオペレーションシステムについて説明する。
【０１８６】
汎用マスタ入力デバイス
多自由度の指令情報をなるべく直感的な操作で生成できるよう卓上型汎用マスタ入力デバイス１６Ｂを設計・製作した（図２４）。本実験装置は６自由度を有し、手先に取り付けられた６軸力覚センサの力情報を用いてインピーダンス制御される。本体は小型化し、オフィスの机の上などに簡単に設置できるような設計とした。今回の実験ではグリップ先端の位置・姿勢の変位をスレーブロボットへの速度指令値とするような多自由度ジョイスティックとして用いた。
【０１８７】
実験用スレーブロボット
スレーブロボット１２Ｂとしては６自由度汎用マニピュレータPA10 を用いた（図２５）。マスタと同様、手首部には６軸力覚センサが取り付けられており、ダンピング制御により外力に対して手先に柔軟な特性を持たせた。
【０１８８】
カメラシステム
俯瞰画像を撮影する雲台付カメラに加え、スレーブロボットの手先には、移動カメラシステムとして、ロボットと共に運動する手先カメラ２０Ｂを取り付けた（図２６）。なお、一方は、先端に物をつかむことができるハンドを取り付けたものであり（図２６(a)）、他方は、ロボット先端に円柱状のツールがついたものであり（図２６(b)）、本実施の形態では何れでもよい。
【０１８９】
通信システム
通信頻度に限界があることからくる予測モデルにおけるスレーブロボットと実際のスレーブロボットとの運動のズレをバッファリングによって補償し、インターネットを介した遠隔操作実験の環境を整えた。ここでの通信にはＬＡＮ環境を用いており、様々な通信条件で実験が出来るよう、遅れはコンピュータで模擬した。
【０１９０】
上記のように６自由度のように、システムの多自由度化に伴い、オペレータに呈示する支援情報が増加するため、三次元情報を直感的に呈示する方法が必要となる。自由状態では、前述のキャリブレーションによって予測モデルにおけるスレーブロボットを実画像に正確に重ね合わせることで多自由度の場合でも問題なく運動の予測支援が行える。
【０１９１】
しかし、拘束状態においては支援矢印によって呈示しなければならない力やモーメントの情報が増加してしまうため、効果的な表示が行えるよう、その表示法について検討を行った。並進力に関しては、例えば、三次元ベクトルとして立体的に表示をする方法や各座標軸成分に分けて表示する方法、モーメントに関しては、オイラー角などの各回転軸成分に分けて回転矢印を表示する方法や、等価回転軸とその軸周りの回転矢印の組として表示する方法などが代表的なものとして考えられる。
【０１９２】
例として、図２７(a)に、力を三次元ベクトルで、モーメントを等価回転軸と回転矢印で呈示した場合を、図２７(b)に、力とモーメントを各軸成分に分けて表示した場合を示す。なお、図２８には、スレーブロボットに配置したモニタ用カメラからの画像を表示している。
【０１９３】
検討の結果、三次元ベクトルや等価回転軸での表現は、対象物に加える力やモーメントを直感的にイメージしやすい反面、各軸方向の成分の把握ができず、力やモーメントの作用線の微妙な方向の変化が認識しづらいという欠点があることが分かった。また、各軸成分で表示した場合には、その逆で各々の作用線の方向はわかり易いが、トータルでどのような力やモーメントが働いているかを直感的にイメージしづらく、また、表示される矢印の数が多くなってしまい、実画像に重ねて表示すると見づらくなることが分かった。そこで、図２７(a)のような合成矢印を実画像上に重ねて表示し、さらに、図２７(b)のような各軸矢印を同時に表示させることにより、両者の欠点を補うことができた。
【０１９４】
次に、モニタ用カメラ２０Ｂを、スレーブロボット１２Ａにとりつけた場合の移動座標系について説明する。
【０１９５】
多自由度化に伴う空間情報の増加により、定点カメラ（モニタ用カメラ２０Ｂ）からの俯瞰画像だけでは細かい状況が認識し難い場合もあり、手先カメラなどのロボットと共に運動する移動カメラシステムを設置したいという要求も出てくる。ここでは、移動カメラなどの移動座標系においても効果的な予測呈示が行えるよう手法の拡張を行う。固定座標系のみに基づいて設計すると、ロボット上に固定された移動座標系に対して制御系を記述し直す必要がある。そこで、指令値の生成部に座標変換行列を挿入して移動座標系に変換してスレーブロボットに伝達し、スレーブロボットの制御系も、運動と力の座標系をそれぞれ内部で変換することで移動座標系に構成し直す。座標変換によりめり込み量の解析には変更を生じないため、移動座標系を用いても同様に力の予測が可能である。更に、移動座標系での使用に合わせて、呈示法もそれに適したものに拡張する必要がある。
【０１９６】
手先カメラは、ロボットの動きと連動して基準座標系に対して視点・視線を時々刻々と変化させていくため、この映像の上にロボットの予測モデルにおけるスレーブロボットを重ねて表示するためには、画像を撮影した時点のカメラ座標系から見た予測モデルにおけるスレーブロボットの相対的な運動を算出して逐次描画しなければならない。
【０１９７】
そこで、自由状態においてはスレーブロボット側から画像取り込み時のロボットの手先位置姿勢の情報を送信させ、その情報を基にカメラの座標系を算出し、その座標系から見た運動予測画像を実画像に重ねて相対的に表示することにした(図２８)。また、拘束状態においては、同様にしてカメラ座標系を算出し、ロボット手先に手先座標系で表した支援矢印を描くことにした(図２７)。
【０１９８】
そして、予測呈示の効果を検討するため、いくつかの作業実験を行った。ここでは、平面に描かれた折れ線上をほぼ一定の接触力で倣うという作業目的を与えた拘束状態での作業実験の結果を示す。
【０１９９】
今回は、スレーブロボットの手先は環境と点接触をするものとし、オペレータには並進力の呈示だけを行って並進力の呈示の仕方による操作性の違いを比較した。実験はCase1：支援矢印を全く表示しない。Case2：実画像に重ねて合成成分を、画像外に各軸成分を表示(図２９(a))、Case3：実画像上に作業平面に平行な成分を表示し、奥行き成分をその矢印の色で表示。
【０２００】
更に画像外に奥行き成分を棒グラフで表示(図２９(b))して作業に合わせた改良を行った物の３パターンで行った。オペレータ側とスレーブロボット側の間の情報伝達は、実際のインターネット回線を使用した。
【０２０１】
今回は、ＬＡＮの環境での通信を行い、通信遅れは片道0.6 秒で大幅な変動はないものとした。実験は４人の被験者に対して行った。図３０(a)〜図３０(c)に被験者の倣い作業の軌跡を示す。また、図３１に示す表にはCase1 を1 とした時の作業に要した時間（４人の平均値）を示した。
【０２０２】
これらの結果より、Case1 とその他二つを比較すると、支援矢印を表示することで目標軌跡との誤差も小さくなり作業時間も短くなっていることから、作業精度や作業効率が明らかに向上していることが見て取れる。また、Case2とCase3 を比較すると、Case3 の方が明らかに作業しやすい印象があり、全体的に見て作業時間が短く精度も向上する傾向にあることが分かった。
【０２０３】
提案する予測呈示手法では、力支援矢印のうち、拘束面に垂直な方向成分が予測接触力を表し、接線方向成分が拘束面に平行なすべり運動を表していることから、Case3 では平面への接触力とすべり運動の情報が分離され、それらを同時にうまく調整できたことが要因であると考えられる。
【０２０４】
以上より、予測呈示を行うことによって操作性を向上させることが可能である。作業の情報がある程度分かっていれば、それに応じて表示法を工夫することで、より適した支援が行えることが分かった。また、手先カメラなどの移動カメラシステムを用いると、ロボットの動きと連動して視点が変化していくため、環境との相対関係がつかみ易く、あたかも移動体を操縦しているかのような感覚で操作できる利点があることも分かった。
[第２の実施の形態]
次に、本発明の第２の実施の形態を説明する。本実施の形態は、前述した第１の実施の形態と同様の構成を有するので、同一の部分には同一の符号を付してその説明を省力し、異なる部分を説明する。なお、詳細は後述するが、第１の実施の形態は、上記のように、スレーブロボット１２Ａの指令された動作として、速度指令ベクトルを送信するようにしているが、本実施の形態では、位置及び姿勢の指令値を送信するものである点で大きく相違する。
【０２０５】
図３２に示すように、本実施の形態では、ジョイスティックマスタでもよいが、これに代えて、マスタマニピュレータ６６を備えている。マスタマニピュレータ６６は、スレーブロボット１２Ａの動作を指令するためオペレータにより加わった力を、スレーブロボット１２Ａの位置及び姿勢ｘmに変換して出力する。
【０２０６】
マスタマニピュレータ６６からのスレーブロボット１２Ａの位置及び姿勢ｘmは、直接予測モデル５６に出力されると共に、通信回線２２を介して、スレーブロボットコントローラ６０に出力される。
【０２０７】
スレーブロボットコントローラ６０は、マスタマニピュレータ６６からのスレーブロボット１２Ａの位置及び姿勢ｘmから後述するスレーブロボット速度サーボ６０ｅの出力を減算する減算器６０ａと、減算器６０ａの出力に、後述する比例ゲインＫxを乗算する乗算器６０ｂと、スレーブロボット１２Ａの手先が環境から受ける接触力（-fe）と上記のアドミッタンス係数Ｂとを乗算する乗算器６０ｃと、乗算器６０ｂ及び乗算器６０ｃの出力を加算する加算器６０ｄと、加算器６０ｄの出力を積分するスレーブロボット速度サーボ６０ｅと、を備えている。
【０２０８】
そして、予測モデル５６は、マスタマニピュレータ６６からのスレーブロボット１２Ａの位置及び姿勢ｘmから、後述する積分器５６ｃの出力を減算する減算器５６ａと、減算器５６ａの出力に比例ゲインＫxを乗算する乗算器５６ｂと、乗算器５６ｂの出力を積分して予測画像生成器２８に出力する積分器５６ｃと、を備えている。
【０２０９】
上記のように、マスタマニピュレータ６６は、スレーブロボット１２Ａの動作を指令するためオペレータにより操作がなされると、マスタマニピュレータ６６における位置・姿勢を計測し、スレーブロボットの指令値を生成することとする。その際、一般には次式のようにマスタスレーブロボット間での適当なスケール変換を行う。
【０２１０】
【数２１】
【０２１１】
ここで、は運動の変換を行うためのスケーリング行列である。
【０２１２】
スレーブロボット１２Ａの速度は例えば次式のようなダンピング制御を拡張した制御則によって決定し、外力に対する力制御系を構成する。
【０２１３】
【数２２】
【０２１４】
ここで、Ｔは通信時間遅れ、Ｋxは自由状態においてマスタスレーブロボット間の運動を一致させるための比例ゲイン、Ｂはスレーブロボットの外力に対する逃げを規定するアドミッタンス行列である。
【０２１５】
スレーブロボット１２Ａの手先が完全に環境に拘束された場合には、
【０２１６】
【数２３】
【０２１７】
より、
【０２１８】
【数２４】
【０２１９】
が成り立ち、
【０２２０】
【数２５】
【０２２１】
のように操作者の指令入力とスレーブロボットとの間の位置・姿勢のずれが、環境への接触力と比例関係になる。これらの関係はＫxとＢの値を調整することで規定でき、スレーブロボットに所望の特性をもたせることができる。
【０２２２】
また、速度指令モードと同様、力制御に用いる座標系やアドミッタンス行列を適切に設計することで、スレーブロボットには作業に合わせ合わせた自律的な特性を持たせることも可能である。
【０２２３】
なお、環境との間の法線方向の接触力及びスレーブロボットの拘束位置・姿勢が定常になるまでの過渡的な応答は、指令値ｘsdを入力として環境の動特性を含む形で決まるが、Ｋx、Ｂを適切に設計すれば容易に系を安定化できるため振動せず速やかに定常状態に向かうように特性を規定できる。一般には、力制御においては剛性の高い環境に対してはロボットの逃げの効果を大きく、剛性の低い柔らかい環境に対してはロボット側を硬くして当たるのが良いとされており、Ｂの値をレバーなどの付加的な操作器で調整できるようにしても良い。
【０２２４】
予測モデルにおけるスレーブロボットは、位置・姿勢の指令値ｘsd (t)をそのまま描画用いても良いし、スレーブロボットの運動特性をモデル化して指令値ｘsd (t)に対する応答をモデルとして表示しても良い。
【０２２５】
スレーブロボットの運動特性を含めた形のモデルを使用すると、特に自由状態において動特性による応答遅れを踏まえた形でスレーブロボットの応答を操作者に予測的に把握させることができる。速度指令モードの上記第１の実施の形態では、スレーブロボットのモデルに外力に対する逃げの項（力制御に関する項）を含め、遠隔側から遅れて伝達された環境との接触力を入力することで、モデルと見かけのロボットの間にズレを作り出し予測呈示が行なわれた。これは、一般に速度指令モードでは、位置・姿勢に無関係に、力と速度との関係から拘束状態が決まるため、力が伝達されるタイミングの違いによってモデルと実際のスレーブロボットの間の拘束位置・姿勢にズレを生じさせることが可能であるためである。
【０２２６】
しかし、位置指令モードにおける本実施の形態では、位置・姿勢と力との関係から最終的な拘束状態が決まるため、力情報を予測モデルに伝達してしまうと、応答のタイミングがずれるだけで、予測モデルにおけるスレーブロボットと実際のスレーブロボットの位置・姿勢は定常状態では一致してしまう。そのため、本実施の形態では、例えば、
【０２２７】
【数２６】
【０２２８】
即ち、操作者が入力した指令値（目標値）をモデルとして表示する場合や、もしくは、
【０２２９】
【数２７】
【０２３０】
即ち、スレーブロボットの運動特性も含める場合の一例等のようにスレーブロボットの力制御項を含まない形のモデルを用いている。このようにすることで、モデルの位置・姿勢ｘmodelと実際のスレーブロボット（遅延画像上での見かけのスレーブロボット）の位置・姿勢の間には、拘束方向に対しては環境との間に作用する外力に相当するずれを、非拘束方向には運動のズレを生じさせることができる。速度指令モードと同様に、スレーブロボットの予測モデルには操作者の操作履歴が遅れなく反映され、それに基づいて実際のスレーブロボットの拘束状態が決定されるため、前述のズレを予測支援矢印として表示することで操作者に対してスレーブロボットの拘束状態の予測を促すことができる。
【０２３１】
なお、予測支援矢印は速度指令モードと同様、過渡状態では非拘束方向への運動の予測値を含むが、スレーブロボットが完全に拘束されれば、純粋にスレーブロボットが発生する力・モーメントを示すことになる。
【０２３２】
予測支援矢印を用いた手法では、操作者は矢印の先端を自由にリアルタイムに操作できるため、拘束状態を実画面で確認しながら、拘束力を調整することも容易である。速度指令モード・位置指令モードともに、その操作感はあたかもロボットの先端に取り付けられた輪ゴム（ワイヤーバンド）を引っ張ってロボットを誘導するような形となる。（拘束方向にワイヤを伸ばせば拘束力が増し、非拘束方向成分を与えればロボットはすべり運動をする、というイメージとなる（図３３）。
[第３の実施の形態]
次に、本発明の第３の実施の形態を説明する。本実施の形態は、前述した第１の実施の形態及び第２の実施の形態と同様の構成を有するので、同一の部分には同一の符号を付してその説明を省力し、異なる部分を説明する。なお、詳細は後述するが、第１の実施の形態は、上記のように、スレーブロボット１２Ａの指令された動作として、速度指令ベクトルを送信し、第２の実施の形態では、位置及び姿勢を送信するものであるが、本実施の形態では、速度指令ベクトルを送信するのか、位置及び姿勢を送信するのかをオペレータが選択可能にした点で大きく相違する。
【０２３３】
図３４に示すように、本実施の形態のマスタ操作デバイスは、速度指令モードマスタ制御系１６及び位置指令モードマスタ制御系６６を備え、選択デバイス７０により選択可能に構成されている。なお、速度指令モードマスタ制御系１６は、第１の実施の形態におけるジョイスティックマスタ１６（図３参照）と同様の構成であり、位置指令モードマスタ制御系６６は、第２の実施の形態におけるマスタマニピュレータ６６（図３２参照）と同様の構成である。
【０２３４】
また、本実施の形態のスレーブロボットは、速度指令モードスレーブロボット制御系１２及び位置指令モードスレーブロボット制御系６０を備え、選択デバイス７０により選択可能に構成されている。なお、速度指令モードスレーブロボット制御系１２は、第１の実施の形態におけるスレーブロボットコントローラ１２（図３参照）と同様の構成であり、位置指令モードスレーブロボット制御系６０は、第２の実施の形態におけるスレーブロボットコントローラ６０（図３２参照）と同様の構成である。
【０２３５】
そして、本実施の形態における予測モデルは、速度指令モードロボットモデル２６及び位置指令モードロボットモデル５６を備え、選択デバイス７０により選択可能に構成されている。なお、速度指令モードロボットモデル２６は、第１の実施の形態における予測モデル２６（図３参照）と同様の構成であり、位置指令モードロボットモデル５６は、第２の実施の形態における予測モデル５６（図３２参照）と同様の構成である。
【０２３６】
オペレータは、作業内容や作業局面に合わせて、速度指令モードか位置指令モードかを適宜選択して作業支援に利用する。
[第４の実施の形態]
次に、本発明の第４の実施の形態を説明する。本実施の形態は、前述した第１の実施の形態〜第３の実施の形態の各々に適用可能であるが、以下、第１の実施の形態に適用した場合を説明する。
【０２３７】
本実施の形態では、拘束状態において、予測支援矢印の逆向きの力・モーメントをマスタ（ジョイスティックマスタ）１６にフィードバックし、物理的に力として操作者に情報を知覚させるものである。
【０２３８】
このため、本実施の形態では、図３５に示すように、マスタにバネによるセンタリング特性を持たせる代わりに、予測画像生成器２８から、予測支援矢印の逆向きの力・モーメントをマスタ（ジョイスティックマスタ）１６にフィードバックするように構成されている。
【０２３９】
通常、遅れて伝達された力をそのまま操作者にフィードバックすると操作ループに遅れが入り込み操作が不安定になりやすいことが知られるが、予測支援矢印はスレーブロボットの予測的な応答を反映したもので、操作者はこの呈示情報を見ながら常に操作を行うため、これに基づいてフィードバックする力覚情報を生成することで制御ループを不安定化するような位相の遅れが発生せず、安定な力フィードバックが可能である。
【０２４０】
予測支援矢印は運動と力の両方の予測情報を有しているため、スレーブロボットが環境に拘束を受けながら運動している間はその両方の予測情報を知覚でき、スレーブロボットが完全に拘束されて停止した準定常状態では、ロボットが環境に加える力覚情報が正確に伝えられることになる。
[変形例]
次に、種々の変形例を説明する。
【０２４１】
前述した第１の実施の形態における、速度指令モードにおいて、スレーブロボット１２Ａの手先近傍に配置したモニタ用カメラ２０（移動カメラ視点）を用いる場合には、支援画像だけでなく、指令値についても合わせて逐次座標変換を行うことにより、モニタ画面に写っているロボットの手先座標系を基準とした相対指令値として入力することができるという利点がある。この場合には、現在の画面の状態を基準として、画面のロボット視点に対して、左右、上下、前後、回転といったように相対的に動作指示を与えられるため、環境に対するロボットの位置・姿勢を微調整したい時などにも非常に有効である。
【０２４２】
前述した第１の実施の形態のおける、速度指令モードにおいては、スレーブロボットの相対的な運動を指令するためロボット位置の微調整を行う場合などに有効である。しかし、自由度が高くなると、操作時の各自由度の指令値の分離が難しくなるため、スイッチ等により必要な自由度のみに限定して指令を入力できるようにすることで、操作精度を向上と操作の負担軽減を実現できる。
【０２４３】
また、予測支援矢印は三次元的な情報呈示手段であるため、予測力矢印及び予測モーメント矢印の表示法を状況に応じて切り換えできるのが望ましい。スイッチ等による選択式にすれば、各軸分離表示や合成ベクトル表示、回転矢印の等価回転軸・等価回転角度表示などを適宜切り換えて使用できる。また、スイッチでの切り換えにより、実際のスレーブロボットの手先や立体マーカなどをグラフィックで立体表示したものを、実画像に追加で重ね描きしてもよい。それにより、予測支援矢印などの三次元情報をスレーブロボットや立体マーカと対比して捕らえることができ、情報の奥行き感・方向感を増大させることが可能となる。
【０２４４】
更に、雲台やズーム機能付きのカメラを使用する場合には、モニタ画像の視点やズーム倍率をオペレータ側で変更することも可能である。
【０２４５】
また、前述した種々の実施の形態では、遅延画像内のスレーブロボットの手先を基点として予測支援矢印を描いている。そのため、スレーブロボットの動作周波数帯域に比べて通信遅れが大きい場合には、遅延画像からではスレーブロボットの状態把握が難しくなることがある。その場合には、速度指令モードにおいては速度指令のゲインを落とすことで、位置指令モードにおいてはマスタに粘性等を追加することで、操作周波数帯域を下げるようにする。
【０２４６】
更に、移動カメラ視点は通信を介して移動ロボットの遠隔操作を行う際の支援にも応用が可能である。移動カメラ視点では、常にロボットを起点としてその後の相対的な運動を呈示するため、マニピュレータタイプのロボットだけでなく、移動ロボットなどの相対的な移動指令を基本とするタイプのロボットともマッチングが良い。
【０２４７】
例えば、超音波や光などを利用した測距センサから得た壁面との間の距離情報からポテンシャル場を生成し、壁面から離れる方向に仮想的な反力を発生させることで、制御系内部でロボットと環境と間の物理的な拘束力と同等の扱いができることから、障害物回避を行いながら走行する移動ロボットの遠隔操作に対する予測呈示システムとして、効果的に応用することが可能である。
【０２４８】
一般に、移動ロボットの場合には指令が移動速度及び旋回速度となるため、速度指令モードを用いるのが都合が良い。また、支援情報だけでなく指令値についても前述のように座標変換によって移動カメラ座標系で入力できるようにすることで、あたかも移動ロボット上で操縦しているかのような相対的な指令入力が行える。
【０２４９】
移動ロボットでは一般に走行距離が長くなるとデッドレコニングの誤差が蓄積し、自己位置の認識にズレが生じてしまうという問題があるため、操作履歴を使用して移動ロボットの運動予測モデルの計算を行う際には注意が必要であるが、本手法では、ロボットを起点として往復の通信遅れ分だけの積算でロボットの未来の位置を生成するため、移動ロボットの速度が極端に速くなければ、予測に関して問題は生じない。
【図面の簡単な説明】
【０２５０】
【図１】ロボット遠隔操作システムを示す概略図である。
【図２】ロボット遠隔操作システムの構成図である。
【図３】ロボット遠隔操作システムのブロック図である。
【図４】(a)は、非拘束状態でのスレーブロボットの実際の状態と予測された状態を示し、(b)は、拘束状態でのスレーブロボットの実際の状態と予測された状態を示す図である。
【図５】(a)は、非拘束状態でのスレーブロボットの実際の状態と予測された状態を示し、(b)は、拘束状態でのスレーブロボットの実際の状態と予測された状態を示す他の図である。
【図６】実画像内の実際のスレーブロボットの手先からスレーブロボットの予測モデルの手先の方向へと伸びる、位置めり込み量（めり込み量の並進成分）に相当する矢印で、拘束状態では、運動予測モデルを表示した図である。
【図７】実画像内の実際のスレーブロボットの手先から矢印のみを表示した図である。
【図８】(a)は、Ｘ-Ｙ-Ｚ空間において矢印を表示した例を示し、(b)は、等価回転軸空間おいて矢印を表示した例を示した図である。
【図９】予測画像生成器の処理プログラムを示したフローチャートである。
【図１０】ロボット遠隔操作システムの実験装置の構成を示す概略図である。
【図１１】(a)〜(c)は、力の予測値と実際の接触力との関係を示す図であり、(a)は、速度指令ベクトルを、(b)は、実際の位置（ｙ軸上）を、(c)は、力の予測値と実際の接触力との関係を示す図である。
【図１２】(a)〜(c)は、力の予測値と実際の接触力との関係を示す図であり、(a)は、速度指令ベクトルを、(b)は、実際の位置（回転角）を、(c)は、力の予測値と実際の接触力との関係を示す図である。
【図１３】作業中オペレータに呈示される操作画面を示す図である。
【図１４】T = 0.38[s] における実験結果であり、(a)、(c) は、各々、作業中の手先位置とｙ軸方向の接触力を示し、(b)、(d) は、各々、手先姿勢と回転軸（α 軸）周りのモーメントを示す図である。
【図１５】作業過程を示す図である。
【図１６】オペレータに呈示されるモニタの予測呈示画像を示す図である。
【図１７】T = 0.18[s] における作業中の予測接触矢印の軌跡を示す図である。
【図１８】固定座標系での予測呈示例を示す図である。
【図１９】(a)は、移動カメラシステムを示し、(b)は、非拘束状態における予測呈示例を示し、(c)は、拘束状態における予測呈示例を示す図である。
【図２０】半自動キャリブレーションの作用の様子を説明する説明図である。
【図２１】マーカの基準点の入力から回転角φとθを自動算出する原理を説明する説明図である。
【図２２】実際に多自由度汎用マニピュレータPA10 にマーカを取り付け、それをズームアップしてキャリブレーションを行った結果を示す図である。
【図２３】実際のロボットにモデル（ワイヤーフレーム表示）が正確に重なることが確認できたことを示す図である。
【図２４】卓上型汎用マスタ入力デバイスを示す図である。
【図２５】実験用スレーブロボットスレーブロボットとしての６自由度汎用マニピュレータPA10を示す図である。
【図２６】６自由度汎用マニピュレータPA10に取り付け手先カメラを示した図であり、(a)は、先端に物をつかむことができるハンドを取り付けたものを、(b)は、ロボット先端に円柱状のツールがついたものを示している。
【図２７】(a)は、力を三次元ベクトルで、モーメントを等価回転軸と回転矢印で呈示し、(b)は、力とモーメントを各軸成分に分けて表示した場合を示す図である。
【図２８】運動予測モデルを示した図である。
【図２９】(a)は、実画像に重ねて合成成分を、画像外に各軸成分を表示した例を示し、(b)は、実画像上に作業平面に平行な成分を表示し、奥行き成分をその矢印の色で表示。更に画像外に奥行き成分を棒グラフで表示した図である。
【図３０】被験者の倣い作業の軌跡を示す図である。
【図３１】実験結果を示す表である。
【図３２】第２の実施の形態にかかるロボット遠隔操作システムの構成図である。
【図３３】速度指令モード・位置指令モードがともに、その操作感はあたかもロボットの先端に取り付けられた輪ゴム（ワイヤーバンド）を引っ張ってロボットを誘導するような形となることを説明する説明図である。
【図３４】第３の実施の形態にかかるロボット遠隔操作システムの構成図である。
【図３５】第４の実施の形態にかかるロボット遠隔操作システムの構成図である。
【符号の説明】
【０２５１】
１２ スレーブロボットコントローラ
１２Ａ スレーブロボット
１４ ロボット遠隔制御装置
１６ ジョイスティックマスタ
１８ モニタ
２０ モニタ用カメラ
２４ 予測情報呈示システム
２６ 予測モデル
２８ 予測画像生成器
１６ａ 除算器
１６ｂ 乗算器
１２ａ 乗算器
１２ｂ 加算器
１２ｃ 加算器
１２ｄ スレーブロボット速度サーボ
１２ｅ 積分器
１２ｆ 減算器
１２ｇ 乗算器
２６ａ 乗算器
２６ｂ 加算器
２６ｃ 積分器
６６ マスタマニピュレータ
６０ａ 減算器
６０ｂ 乗算器
６０ｃ 乗算器
６０ｄ 加算器
６０ｅ スレーブロボット速度サーボ
５６ａ 減算器
５６ｂ 乗算器
５６ｃ 積分器
１６ 速度指令モードマスタ制御系
６６ 位置指令モードマスタ制御系
１２ 速度指令モードスレーブロボット制御系
６０ 位置指令モードスレーブロボット制御系
２６ 速度指令モードロボットモデル
５６ 位置指令モードロボットモデル
７０ 選択デバイス
【技術分野】
【０００１】
本発明は、ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置にかかり、特に、遠隔作業ロボットに動作指令値を通信回線を介して送信し、ロボットから、該ロボットの環境に作用するための部位の位置・姿勢情報を通信回線を介して受信するロボット環境間力作用状態呈示装置に関する。
【背景技術】
【０００２】
近年のインターネット等の高速・広域通信網の急速な発展と普及により、ネットワーク経由で様々な近ロボットシステムやインターフェースを連携させることのできるネットワーク・ロボティクス技術が注目を集めている。これに伴い、人が指令塔として作業に介入できるネットワークテレオペレーションシステムは、従来のような極限作業等の特殊分野だけでなく、絵や音といったマルチメディア情報に加えてロボットによる物理的相互作用を取り入れることでネットワーク情報に付加価値を与え、遠隔診療や福祉、遠隔体験・遠隔コミュニケーション、家庭用やホビー用途など、より身近な分野への応用が期待されるようになってきた。
【０００３】
このような身近な応用領域においては、操作性や安定性・安全性に対する配慮とともに、環境やロボットシステムを限定せずに使用できる汎用性や、家庭やオフィスといった身近な環境から誰でも気軽に扱うことのできる簡便性を加味したシステム設計が必要となってくる。従って、作業内容や環境を限定することなく、遠隔側にロボットと作業監視用のカメラ原稿受付システムを設置して、カメラ映像を見ながら簡便かつ汎用的に使用できる実画像ネットワークテレオペレーションシステムを構築することが求められる。
【０００４】
一般に、ネットワークテレオペレーションシステムでは、通信経路に存在する時間遅れがロボットシステムの制御系の安定性を害する原因となることが知られており、現在まで様々な補償法が提案されてきている。代表的なアプローチとしては、制御システムを受動性を満たすように構成しパワー伝達の観点から安定性を補償する手法や、制御系を時刻の関数としてではなくイベントに基づいて構成するイベントベース手法、ロバスト安定化補償器を構成しＨ∞制御理論に基づいて安定性を補償する手法等が挙げられる。
【０００５】
しかし、それと同時に、通信遅れは人間の操作（制御）ループにも悪影響を及ぼし、作業画像や操作情報の遅れは操作性や臨場感の低下を招くだけでなく、最悪の場合にはオペレータの操作そのものを不安定化してしまう要因ともなる。
【０００６】
これらを防止するための手段の一つとして、遠隔作業ロボットの挙動を予測的にオペレータに呈示して遅れの影響を軽減する「予測ディスプレイ（予測呈示）」の手法が知られている。予測ディスプレイの最も基本的な手法の一つは「重ね合わせ型」である。この手法では、オペレータ側にスレーブロボットロボットの動力学モデルを予め構築して配置し、オペレータの操作履歴を利用して遅れのない理想的な状態でのスレーブロボットロボットの挙動を計算し、遠隔側から送られた実画像にそれを重ね合わせて予測的な呈示を行う。オペレータはスレーブロボットの運動を事前に把握しながら操作できるため、操作性が改善される。
【０００７】
しかし、一般に、この手法は基本的に自由状態での予測を想定したもので、ロボットが環境に拘束された状態（拘束状態）での予測については考慮されておらず、接触力等に関する予測情報は得られない。
【０００８】
そのため、近年では「仮想環境モデル介在型」のアプローチがとられることが多い。この手法では、スレーブロボットのモデルに加えて作業環境のモデルもオペレータ側に予め構築される。オペレータは仮想環境内で作業を遂行し、力情報は環境の動力学モデルを元に生成してオペレータへのフィードバックを行う。
【０００９】
しかし、この場合、作業環境のモデルが正確に構築されていることを前提としており、実際の環境との間に食い違いがあると所望の動作が期待できない。ところが、完全な環境の動力学モデルの構築は非常に困難で多大な労力を要し、環境が変わる度にモデルを構築し直さなければならない。モデル化誤差にロバストな制御手法やオンラインでのモデル修正法等も提案されてきているが、簡単な幾何学的誤差の検討が行われている段階で、複雑な環境や動力学的誤差の扱いなどが問題となる。そのため、身近な環境で汎用的かつ簡便に使用するには、仮想環境モデル介在型のシステムは現状では課題が多いと考えられる。また、対象が生体であったりしてモデル化が困難な場合や、遠隔診断や遠隔体験・コミュニケーションなど実画像そのものに意味のある場合などにも、仮想環境モデル介在型のシステムは利用できない。
【００１０】
ところで、オペレータが、ロボットの動作指令を、ジョイスティックを介して入力し、入力された動作指令に基づいて、ロボットの動作状態を予測し、これを表示し、表示されたロボットの動作状態が意図したものでない場合には、再度ロボットの動作指令を、ジョイスティックを介して入力し、表示されたロボットの動作状態が意図したものである場合に始めてオペレータは送信指示を入力し、これにより、ロボットの動作指令がロボットに到達するロボットの遠隔操作装置が提案されている（特許文献１参照）。この特許文献１には更に、ロボットの実際の動作状態を撮影するテレビカメラを備え、テレビカメラにより撮影されたロボットの実際の動作状態と、ジョイスティックを介して入力された動作指令に基づいて予測されたロボットの動作状態と、を重ねて表示し、両者の誤差をオペレータに認識できるようにすることが開示されている。
【００１１】
しかしながら、本特許文献１においても、ロボットが環境に拘束された状態（拘束状態）での予測については考慮されておらず力については実測値を表示するのみであり、接触力等に関する予測情報は得られない。また、文献中の仮想ビームの手法では少なくとも環境の幾何学形状が既知である必要がある。
【特許文献１】特開平08-108387号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明は、遠隔操作ロボットにおける上記問題を解決すべく成されたもので、環境モデルを用いずに拘束状態でのロボットと環境との間の力の作用状態を推定かつ呈示することの可能なロボット環境間力作用状態呈示装置の提供を目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために請求項１に記載の発明は、環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、速度指令ベクトルを通信回線を介して送信する送信手段と、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記速度指令ベクトルの履歴と前記通信回線を介して受信された力の情報及び遠隔作業ロボットの予測モデルに基づき、現時刻の速度指令ベクトルが遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく、前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢とのずれ量を算出する算出手段と、前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、前記推定された力の作用状態を呈示する呈示手段と、を備えている。
【００１４】
即ち、本発明は、環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示する。
【００１５】
ここで、遠隔作業ロボットは、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置を表す位置情報及び該検出された力の情報を送信する機能を有する。
【００１６】
本発明の送信手段は、遠隔作業ロボットへの動作指令値として、速度指令ベクトルを通信回線を介して送信する。
【００１７】
この速度指令ベクトルは、送信手段が送信したときから、通信回線を介して情報を通信することにより生ずる遅れ時間遅れて遠隔作業ロボットに到達する。そして、遠隔作業ロボットは、この速度指令ベクトルに従って動作する。
【００１８】
遠隔作業ロボットは、外力に対する柔軟性を有しながら速度指令ベクトルに従って動作しつつ、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢の情報及び該検出された力の情報を送信する。
【００１９】
受信手段は、遠隔作業ロボットから送信された、遠隔作業ロボットの部位の位置・姿勢情報及び検出された力の情報を、通信回線を介して受信する。
【００２０】
判断手段は、受信手段により受信された力の情報に基づいて、遠隔作業ロボットが環境に拘束されたか否かを判断する。例えば、受信手段により受信された力の情報に基づいて、遠隔作業ロボットにより検出された力が所定の閾値以上か否かを判断することにより、遠隔作業ロボットが環境に拘束されたか否かを判断するようにしてもよい。
【００２１】
算出手段は、判断手段により遠隔作業ロボットが環境に拘束されたと判断された場合、速度指令ベクトルの履歴と通信回線を介して受信された力の情報及び遠隔作業ロボットの予測モデルに基づき、現時刻の速度指令ベクトルが遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における遠隔作業ロボットの部位の状態を予測する第1の位置・姿勢と、受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づき、通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢とのずれ量を算出する。
【００２２】
ここで、ずれ量を説明する。ずれ量は、現時刻の速度指令ベクトルが遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における遠隔作業ロボットの部位の状態を予測する第1の位置・姿勢と、遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢とのずれ量である。
【００２３】
第1の位置・姿勢は、速度指令ベクトルと通信回線を介して受信された力の情報及び遠隔作業ロボットのモデルとに基づく予測位置・姿勢である。従って、環境モデルを用いずに、通信時間だけ遅れた力の情報とロボットモデルから、操作側で一方的に推定した位置である。
【００２４】
これに対し、第２の位置は、実際の遠隔作業ロボットと環境との相互作用によって決定され、受信手段により受信された位置・姿勢情報に基づくものである。即ち、遠隔作業ロボットにより検出された実際の位置・姿勢である。従って、第１の位置・姿勢（予測位置・姿勢）の算出に際して、力の情報は実際の接触よりも通信遅れ分だけタイミングが遅れたものが用いられることになる。
【００２５】
そのため、判断手段により遠隔作業ロボットが環境に拘束されたと判断された場合、第１の位置・姿勢は第２の位置・姿勢に比較して、力情報の伝達が遅れる時間分だけずれが生じる。
【００２６】
このずれの量は、往復の通信遅れ時間とその間に指令した速度指令ベクトルの履歴によって決定され、遠隔作業ロボットが環境に拘束された場合には速度指令ベクトルに比例する力を環境に与えるように制御系を構成しておけば、通信遅れ時間後に生じるロボット環境間の接触力がこのずれ量に反映されるため、このずれ量が大きくなればなるほど、環境と遠隔作業ロボットの部位との間に作用する力が大きくなる。そこで、このずれ量から、遠隔作業ロボットの部位と環境との間に作用する力の作用状態を推定することができる。
【００２７】
そこで、推定手段は、算出手段により算出されたずれ量に基づいて、遠隔作業ロボットの部位と環境との間に作用する現在時刻から上記遅れ時間後の力の作用状態を推定し、呈示手段は、推定された力の作用状態を呈示する。
【００２８】
このように本発明は、遠隔作業ロボットが環境に拘束されたと判断された場合、遠隔作業ロボットの部位の通信遅れ時間後の第１の位置・姿勢（予測位置・姿勢）と、遅れ時間分遅れて伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量に基づいて、該部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、推定された力の作用状態を呈示するので、拘束状態における遠隔作業ロボットと環境との間の力の作用状態を推定かつ呈示することができる。
【００２９】
請求項２記載の発明は、環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、位置及び姿勢を通信回線を介して送信する送信手段と、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記位置及び姿勢の指令値に基づき、現時刻の指令値が遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における前記遠隔作業ロボットの前記部位の状態を予測する第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく，前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する算出手段と、前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、前記推定された力の作用状態を呈示する呈示手段と、を備えている。
【００３０】
即ち、本発明は、環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示する。
【００３１】
ここで、遠隔作業ロボットは、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する機能を有する。
【００３２】
本発明の送信手段は、遠隔作業ロボットへの動作指令値として、位置及び姿勢を通信回線を介して送信する。
【００３３】
この位置及び姿勢は、送信手段が送信したときから、通信回線を介して情報を通信することにより生ずる遅れ時間遅れて遠隔作業ロボットに到達する。そして、遠隔作業ロボットは、この位置及び姿勢の指令値に従って動作する。
【００３４】
遠隔作業ロボットは、外力に対する柔軟性を有しながら位置及び姿勢の指令値に従って動作しつつ、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する。
【００３５】
受信手段は、遠隔作業ロボットから送信された、遠隔作業ロボットの部位の位置・姿勢情報及び検出された力の情報を、通信回線を介して受信する。
【００３６】
判断手段は、受信手段により受信された力の情報に基づいて、遠隔作業ロボットが環境に拘束されたか否かを判断する。例えば、受信手段により受信された力の情報に基づいて、遠隔作業ロボットにより検出された力が所定の閾値以上か否かを判断することにより、遠隔作業ロボットが環境に拘束されたか否かを判断するようにしてもよい。
【００３７】
算出手段は、判断手段により遠隔作業ロボットが環境に拘束されたと判断された場合、前記位置及び姿勢の指令値に基づき、現時刻の指令値が遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく，前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する。
【００３８】
ここで、ずれ量を説明する。ずれ量は、現時刻の指令値が遠隔作業ロボットに到達するであろう通信遅れ時間後の時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量である。
【００３９】
第１の位置・姿勢は、上記位置及び姿勢の指令値に基づいて推定される。従って、環境を考慮せずに、一方的に推定した位置・姿勢である。
【００４０】
これに対し、第２の位置・姿勢は、受信手段により受信された位置・姿勢情報に基づくものである。即ち、遠隔作業ロボットにより検出された実際の位置・姿勢である。従って、実際には、外力に対する柔軟性を実現する制御により環境に遠隔作業ロボットの部位が拘束され、遠隔作業ロボットに指令された目標となる位置・姿勢に到達していないことがある。
【００４１】
従って、判断手段により遠隔作業ロボットが環境に拘束されたと判断された場合、第１の位置・姿勢と第２の位置・姿勢とがずれることが生ずる。
【００４２】
このずれ量が大きくなればなるほど、環境と遠隔作業ロボットの部位との間に作用する力が大きくなる。そこで、このずれ量から、遠隔作業ロボットの部位と環境との間に作用する力の作用状態を推定することができる。
【００４３】
そこで、推定手段は、算出手段により算出されたずれ量に基づいて、遠隔作業ロボットの部位と環境との間に作用する現在時刻から上記遅れ時間後の力の作用状態を推定し、呈示手段は、推定された力の作用状態を呈示する。
【００４４】
このように本発明は、遠隔作業ロボットが環境に拘束されたと判断された場合、遠隔作業ロボットの部位の現在時刻における第１の位置・姿勢と、現在時刻よりも所定の遅れ時間遅れた時刻における前記部位の第２の位置・姿勢と、のずれ量に基づいて、該部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、推定された力の作用状態を呈示するので、拘束状態における遠隔作業ロボットと環境との間の力の作用状態を推定かつ呈示することができる。
【００４５】
請求項３記載の発明は、環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、所定情報を通信回線を介して送信する送信手段と、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記遠隔作業ロボットの前記部位の通信遅れ時間後の第１の位置・姿勢（予測位置・姿勢）と、前記受信手段により遅れて受信された位置・姿勢情報に基づく、実際の遠隔作業ロボットの前記部位の第２の位置と、のずれ量を算出する算出手段と、前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、前記推定された力の作用状態を呈示する呈示手段と、を備え、前記送信手段は、速度指令ベクトルを送信する第１のモードと、位置及び姿勢の指令値を送信する第２のモードと、を有し、前記算出手段は、前記速度指令ベクトルと前記通信回線を介して受信された受信された力の情報及び及び遠隔作業ロボットの予測モデルに基づき，通信遅れ時間後の前記遠隔作業ロボットの前記部位の状態を予測する第１の位置・姿勢を用いる第１のモードと、前記位置及び姿勢の指令値に基づき，通信遅れ時間後の前記遠隔作業ロボットの前記部位の状態を予測する第1の位置・姿勢を用いる第２のモードと、を有し、前記第１のモード及び第２のモードを切り替える切り替え手段を備えている。
【００４６】
即ち、本発明にかかるロボット環境間力作用状態呈示装置は、環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、所定情報を通信回線を介して送信する送信手段と、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記遠隔作業ロボットの前記部位の通信遅れ時間後の状態を予測する第１の位置・姿勢と、前記受信手段により遅れて受信された位置・姿勢情報に基づく、実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する算出手段と、前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、前記推定された力の作用状態を呈示する呈示手段と、を備えている。
【００４７】
このように本発明は、遠隔作業ロボットが環境に拘束されたと判断された場合、通信遅れ時間後の遠隔作業ロボットの状態を予測する第１の位置・姿勢と、通信回線により遅れて伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量に基づいて、該部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、推定された力の作用状態を呈示するので、拘束状態における遠隔作業ロボットと環境との間の力の作用状態を推定かつ呈示することができる。
【００４８】
そして、本発明の送信手段は、速度指令ベクトルを送信する第１のモードと、位置及び姿勢の指令値を送信する第２のモードと、を有し、算出手段は、速度指令ベクトルと通信回線を介して受信された力の情報及びロボットモデルとに基づく遠隔作業ロボットの前記部位の第１の位置・姿勢（予測位置・姿勢）を用いる第１のモードと、位置及び姿勢の指令値に基づく遠隔作業ロボットの部位の第１の位置・姿勢（予測位置・姿勢）を用いる第２のモードと、を有し、第１のモード及び第２のモードを切り替える切り替え手段を備えている。
【００４９】
遠隔作業ロボットを大きく動作させる場合、又は、遠隔作業ロボットの微調整させる場合など、状況に応じて適切なモードを選択することができ、操作者の使い勝手を向上させることができる。
【００５０】
上記請求項１及び請求項３のおける算出手段は、請求項４のように、遠隔作業ロボットが環境に拘束された場合には速度指令ベクトルに比例する力を環境に与えるように制御系を構成しておき、速度指令ベクトルの履歴を蓄積し、遅れ時間の２倍の時間積分することにより、前記ずれ量を算出する。
【００５１】
ここで、請求項５のように、受信手段は、遠隔作業ロボットとの間に力が作用する環境を撮影する撮影手段からの環境の撮影情報を受信し、呈示手段は、受信手段により受信された撮影情報に基づいて、環境を更に呈示する。この場合、請求項６のように、呈示手段は、判断手段により遠隔作業ロボットが環境に拘束されたと判断されない場合には、少なくとも第１の位置・姿勢を含む遠隔作業ロボットの所定領域と環境とを対応させて、例えば、重ねて呈示し、判断手段により遠隔作業ロボットが環境に拘束されたと判断された場合、力の作用状態と環境とを対応させて、例えば、重ねて呈示するようにしてもよい。
【００５２】
また、請求項７のように、撮影手段は、環境に対して固定された第１の撮影手段及び遠隔作業ロボットに対して固定された第２の撮影手段の少なくとも一方を備えるようにしてもよい。この場合、請求項８のように、撮影手段が第１の撮影手段及び第２の撮影手段を備え、呈示手段は、第１の撮影手段及び第２の撮影手段からの双方の撮影情報に基づいて、環境を呈示するようにしてもよい。
【００５３】
なお、請求項９のように、力の作用状態は、力の方向とモーメントの少なくとも一方である。
【００５４】
また、請求項１０のように、力を加えることにより遠隔作業ロボットの動作を指令するための指令手段と、前記推定手段により推定された力の作用状態に基づいて、該力の作用状態とは逆の作用状態（反力）を前記指令手段に物理的に作用させて呈示する作用手段と、を備えるようにしてもよい。
【００５５】
この場合、送信手段は、指令手段により指令された動作に基づいて、速度指令ベクトル又は位置及び姿勢を送信する。
【００５６】
なお、以下の遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法も提案される。
【００５７】
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、速度指令ベクトルを通信回線を介して送信し、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信し、前記受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断し、前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記速度指令ベクトルと前記通信回線を介して受信された力の情報及び遠隔作業ロボットのモデルとに基づき、通信遅れ時間後の前記遠隔作業ロボットの前記部位の状態を予測する第１の位置・姿勢と、前記遅れて受信された位置・姿勢情報に基づく、実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出し、前記算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、前記推定された力の作用状態を呈示する遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法である。
【００５８】
また、以下の遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法も提案される。
【００５９】
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、位置及び姿勢を通信回線を介して送信し、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信し、前記受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断し、前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記位置及び姿勢の指令値に基づき通信遅れ時間後の前記遠隔作業ロボットの前記部位の状態を予測する第１の位置・姿勢と、遅れて受信された位置・姿勢情報に基づく、実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出し、前記算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、前記推定された力の作用状態を呈示する遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法である。
【００６０】
更に、次の遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法も提案される。
【００６１】
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットの指令された動作として、所定情報を通信回線を介して送信し、前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信し、前記受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断し、前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記遠隔作業ロボットの前記部位の通信遅れ時間後の状態を予測する第１の位置・姿勢と、遅れて受信された位置・姿勢情報に基づく、実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出し、前記算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、前記推定された力の作用状態を呈示する遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示法であって、前記送信の際は、速度指令ベクトルを送信する第１のモードと、位置及び姿勢の指令値を送信する第２のモードと、を有し、前記算出の際は、前記速度指令ベクトルと前記通信回線を介して受信された力の情報及びロボットモデルとに基づく遠隔作業ロボットの前記部位の第１の位置・姿勢（予測位置・姿勢）を用いる第１のモードと、前記位置及び姿勢の指令値に基づく遠隔作業ロボットの部位の第１の位置・姿勢（予測位置・姿勢）を用いる第２のモードと、を有し、前記第１のモード及び第２のモードを切り替えることを特徴とするロボット環境間力作用状態呈示方法である。
【００６２】
なお、上記ロボット環境間力作用状態呈示方法の発明では、更に、次のようにしてもよい。
【００６３】
まず、上記１番目及び３番目のロボット環境間力作用状態呈示方法では、速度指令ベクトルを遅れ時間の２倍の時間積分することにより、ずれ量を算出するようにしてもよい。
【００６４】
遠隔作業ロボットとの間に力が作用する環境を撮影する撮影手段からの環境の撮影情報を受信し、前記受信された撮影情報に基づいて、環境を更に呈示する。この場合、遠隔作業ロボットが環境に拘束されたと判断されない場合には、少なくとも第１の位置・姿勢を含む遠隔作業ロボットの所定領域と環境とを重ねて呈示し、遠隔作業ロボットが環境に拘束されたと判断された場合、力の作用状態と環境とを重ねて呈示するようにしてもよい。
【００６５】
また、撮影手段は、環境に対して固定された第１の撮影手段及び遠隔作業ロボットに対して固定された第２の撮影手段の少なくとも一方を備えるようにしてもよい。この場合、撮影手段が第１の撮影手段及び第２の撮影手段を備え、第１の撮影手段及び第２の撮影手段からの双方の撮影情報に基づいて、環境を呈示するようにしてもよい。
【００６６】
なお、力の作用状態は、力の方向とモーメントの少なくとも一方である。
【００６７】
また、力を加えることにより遠隔作業ロボットの動作を指令するための指令手段に対し、前記推定された力の作用状態に基づいて、該力の作用状態とは逆の作用状態（反力）を前記指令手段に直接物理的に作用させるようにして呈示してもよい。
【発明の効果】
【００６８】
以上説明したように本発明によれば、遠隔作業ロボットが環境に拘束されたと判断された場合、遠隔作業ロボットの部位の通信遅れ時間後の状態を予測する第１の位置・姿勢と、通信によって遅れて伝達される実際の遠隔作業ロボットの部位の第２の位置・姿勢と、のずれ量に基づいて、該部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定し、推定された力の作用状態を呈示するので、環境モデルを用いずに拘束状態における遠隔作業ロボットと環境との間の力の作用状態を推定かつ呈示することができる、という効果がある。
【発明を実施するための最良の形態】
【００６９】
以下、図面を参照して、本発明の実施の形態の一例を詳細に説明する。
[第１の実施の形態]
図１及び図２に示すように、ロボット遠隔操作システムは、遠隔配置されたスレーブロボット１２Ａ、スレーブロボットコントローラ１２、及びモニタ用カメラ２０と、本実施の形態にかかるロボット環境間力作用状態呈示装置としてのロボット遠隔制御装置１４と、を備えている。ロボット遠隔制御装置１４は、詳細は後述する指令手段としてのジョイスティックマスタ１６、モニタ１８、及び予測情報呈示システム２４を備えている。
【００７０】
オペレータは、遠隔側のスレーブロボット１２Ａの作業状況（動作状態）等を、モニタ用カメラ２０により撮影して得られた撮影情報に基づいてモニタ１８の画面で監視しながら、ジョイスティックマスタ１６を操作して目標指令を生成する。生成された指令値は、インターネットなどの遅れを伴う通信経路２２を介して遅れて、スレーブロボットコントローラ１２に伝達される。スレーブロボット１２Ａはオペレータからの指令値に基づいて、外力に対する柔軟性を伴って速度制御される。
【００７１】
しかし、上記のように人間の操作ループに入り込んだ遅れはシステムに悪影響を及ぼし、画像遅延や操作情報の遅れによって操作性の低下を招くだけでなく、最悪の場合にはオペレータの操作そのものを不安定化してしまう要因となる。そのため、本実施の形態では、スレーブロボット１２Ａの運動学的・動力学的モデルを構築し、オペレータ側に配置することにより予測情報の生成を行うものとする。
【００７２】
図２に示すように、図２の紙面に向い、図２における通信回線２２の位置を挟んで左側はオペレータ側、右側は遠隔側を表している。オペレータ側には、予測情報呈示システム２４を備え、予測情報呈示システム２４は、スレーブロボット１２Ａの予測モデル２６と、スレーブロボット１２Ａ側から遅れて伝達された作業映像に予測情報を対応して、本実施の形態では重ね合わせて（スーパーインポーズして）、モニタ１８を介してオペレータに呈示を行う予測画像生成器２８と、を備えている。
【００７３】
図３には、ロボット遠隔操作システムのブロック図が示されている。図３に示すように、ジョイスティックマスタ１６は、スレーブロボット１２Ａの動作を指令するためオペレータにより加わった力を、後述するばね定数行列Ｋで除して、ジョイスティックマスタ１６の変位量δｘmを求める除算器１６ａと、求められたジョイスティックマスタ１６の変位量δｘmに速度指令ゲインＡを乗算して、速度指令値ｖsdを求める乗算器１６ｂと、を備えている。乗算器１６ｂは予測モデル２６に直接接続されると共に、乗算器１６ｂの出力（速度指令値ｖsd）は、通信回線２２を介してスレーブロボットコントローラ１２に送信される。
【００７４】
上記のように、オペレータがスレーブロボット１２Ａの動作を指令するため、ジョイスティックマスタ１６を操作、即ち、操作力を加えたとする。
【００７５】
fhをオペレータがジョイスティックマスタ１６に加える操作力/モーメントを表すベクトル、δxmをジョイスティックマスタ１６の中立点からの変位を表すベクトル、Ｋを調整可能なばね定数行列とすると、ジョイスティックマスタ１６の特性は、
【００７６】
【数１】
【００７７】
のように表される。オペレータの操作によって生じた変位δxmは、速度指令ゲインＡにより定数倍され、速度指令値(速度指令ベクトル)ｖsdに変換され、スレーブロボット１２Ａ側に送信される。
【００７８】
ここで、スレーブロボット１２Ａとしては、様々なロボットシステムを適用可能であるが、本実施の形態では、多関節マニピュレータを用いる。一般化座標系で表したスレーブロボットの手先位置・姿勢に対する速度指令値vsdは次式のように表される。
【００７９】
【数２】
【００８０】
マスタスレーブロボット間の通信遅れをＴ[ｓ] (遅れ時間)と仮定すると、速度指令値はvsd (t-T) のように遅れてスレーブロボット１２Ａ側に伝達される。本システムでは、スレーブロボットの速度vs(t) は、次式のようなダンピング制御則に基づいて決定するものとし、スレーブロボットには外力に対する柔軟性を持たせている。
【００８１】
【数３】
【００８２】
ここで、feはスレーブロボットの手先（部位）が環境に加える接触力/モーメントを表すベクトルである。Ｂはスレーブロボットの外力に対する応答を規定するためのアドミッタンス行列である。
【００８３】
式(1)(2)(3) より、非拘束時にはfe= 0 となるため、スレーブロボットは速度指令値vsdの通りに運動する。また、スレーブロボットが一旦環境に拘束されると、vs=０となり、オペレータの操作力ｆhとスレーブロボット１２Ａの手先が環境に加える接触力feは次式の関係を満たす。
【００８４】
【数４】
【００８５】
作業に応じてＫ、Ａ、Ｂを適宜調整することで、操作力と接触力の比例関係を適切に設計することが可能である。さらに、ロボットの座標系やアドミッタンス行列を作業に応じて適切に設計することで、半自律的にオペレータの作業支援を行う特性をもたせることも可能である。
【００８６】
また、図３に示すように、スレーブロボットコントローラ１２は、スレーブロボット１２Ａの手先（部位）が環境に加える接触力をfeとすると、スレーブロボット１２Ａの手先が環境から受ける接触力（-fe）と、上記のアドミッタンス係数Ｂとを乗算する乗算器１２ａと、乗算器１６ｂからの出力である速度指令値ｖsdと、乗算器１２ａの出力とを加算する加算器１２ｂと、後述するＫｐ乗算器１２ｇの出力と、加算器１２Ｂの出力とを加算する加算器１２ｃと、スレーブロボット速度サーボ１２ｄと、を備えている。
【００８７】
また、スレーブロボットコントローラ１２は、乗算器１６ｂからの出力である速度指令値ｖsdを積分する積分器１２ｅと、積分器１２ｅの出力からスレーブロボット速度サーボ１２ｄの出力を減算する減算器１２ｆと、減算器１２ｆの出力に、所定の補償定数であるＫｐを乗算する乗算器１２ｇと、を備えている。なお、これらの素子は、予測モデル２６と実際のスレーブロボット１２Ａの挙動を一致させるための付加的な補償要素である。
【００８８】
一方、予測モデル２６は、スレーブロボット１２Ａの手先が環境から受ける接触力（-fe）と上記のアドミッタンス係数Ｂとを乗算する乗算器２６ａと、乗算器２６ａの出力と乗算器１６ｂからの出力である速度指令値ｖsdとを加算する加算器２６ｂと、加算器２６ｂの出力を積分する積分器２６ｃと、を備えている。
【００８９】
このように、本実施の形態では、環境のモデルを持たず、スレーブロボット１２Ａの仮想モデルのみを構築し、オペレータ側に配置している。
【００９０】
スレーブロボット１２Ａの手先の予測される速度をvmodelとすると、速度vmodelは、
【００９１】
【数５】
【００９２】
ここで、通常の重ね合わせ型の場合には、スレーブロボット１２Ａの手先が環境に拘束される拘束状態では、予測呈示は想定しないのが普通である。しかし、本実施の形態では、スレーブロボット１２Ａ側で検出された接触力を図２、図３に示すように、ロボットの予測モデル２６に伝達する形をとっている。予測モデル２６はオペレータ側に置かれており、スレーブロボットの接触力/モーメントfe は通信時間分だけ遅れて伝達されるため、予測モデル２６への入力はvsd(t) 及びfe(t- T) となる。
【００９３】
予測呈示画像生成システム２４では、この式(5) を用いて運動予測画像が三次元グラフィックスとして生成され、モニタ１８で、スレーブロボット側の実画像に重ね合わせてオペレータに呈示される。
【００９４】
ところで、前述のような構成で通常の運動予測画像の重ね合わせのみを行った場合にシステムがどのような挙動を示すのかを調べるため、グラフィックシミュレータを構築し、通信遅れ存在下でのシステムの挙動の確認を行った。図４、図５は、拘束状態でのスレーブロボットの実際の状態と予測された状態を示す。図４、図５中、ワイヤフレームで表示されているものが、予測モデル２６から計算されたスレーブロボット１２Ａの運動予測画像ＰＧである。その他の部分はスレーブロボット側から通信経路を介して送られてきた実画像（モニタ用カメラ２０による画像）であり、予測画像ＰＧと実画像とをスーパーインポーズしてモニタ１８で呈示を行った。
【００９５】
この実験の結果、スレーブロボット１２Ａの手先が環境ＥＮＶに拘束されていない自由状態では、オペレータの入力履歴を利用して、図４(a)、図５(a)に示すように、実画像に遅れなくリアルタイムに運動予測画像を呈示することができた、即ち、通信遅れによる操作性の劣化を抑えることができることを確認できた。
【００９６】
しかし、スレーブロボット１２Ａの手先が環境ＥＮＶに拘束された拘束状態においては、通信遅れが存在すると、図４(b)、図５(b)に示すように、スレーブロボット１２Ａの運動予測画像ＰＧが環境ＥＮＶ内へあたかもめり込んだような状態で拘束されてしまう現象が生じることがわかった。これは次の理由による。
【００９７】
即ち、システムはロボットの予測モデル２６のみで環境モデルを持たないため、伝達される力情報でしか拘束状況を判断できない。しかし、接触情報は通信経路を介して遅れて伝達されるため、実際のスレーブロボットが環境ＥＮＶに拘束されたとしても、運動予測画像ＰＧであるスレーブロボットは運動を続けてしまう。そして、運動予測画像ＰＧであるスレーブロボットは、遅れて伝達された力情報により拘束され停止するが、既に運動予測画像中におけるスレーブロボットとオペレータに呈示される実画像内のスレーブロボットの位置・姿勢には誤差が生じているため、運動予測画像ＰＧであるスレーブロボットはあたかも環境にめり込んだような状態で拘束されてしまう。
【００９８】
このような現象は、本来であればあまり望ましくないが、本実施の形態ではこれを「めり込み現象」と呼び、逆に拘束状態における予測呈示に積極的に利用することを考えた。
【００９９】
以下、システムの拘束状態での挙動を調べ「めり込み現象」についての解析を行う。
【０１００】
ここでは、簡単のため、まずシステムの1 次元モデルで記述を行う。モニタ１８の画面内で、実画像として遅れてオペレータに呈示される見かけのスレーブロボットの運動速度vappは、次のように表される。
【０１０１】
【数６】
【０１０２】
そのため、マスタスレーブロボット系全体の特性は式(3)、式(5)、式(6)により規定されることになる。これらを、時間の関数をラプラス変換して得られるs-領域で表すと、実際のスレーブロボット１２Ａの手先の速度Ｖs（ｓ）、予測モデルにおけるスレーブロボット１２Ａの手先の速度Ｖmodel、遅延画像上での見かけのスレーブロボットの手先の速度Ｖapp(s)は、それぞれ、
【０１０３】
【数７】
【０１０４】
となる。
【０１０５】
ここで、初期状態を零とし、実際のスレーブロボット１２Ａの手先の位置/姿勢Ｘs、予測モデルにおけるスレーブロボット１２Ａの手先の位置/姿勢Ｘmodel、遅延画像上での見かけのスレーブロボットの手先の手先の位置/姿勢Ｘappは、それぞれ、
【０１０６】
【数８】
【０１０７】
となる。
【０１０８】
そして、環境に対するめり込み量（ずれ量）Ｄは、予測モデルにおけるスレーブロボットの手先の位置/姿勢Ｘmodelとオペレータに呈示される見かけのスレーブロボットの手先位置/姿勢Ｘappとの間の誤差であると考えられるため、以下のように計算できる。
【０１０９】
【数９】
【０１１０】
一方、s-領域ではなく、時間領域（t 領域）では、めり込み量d(t)は、
【０１１１】
【数１０】
【０１１２】
となる。この結果より、誤差量（めり込み量d(t)）は速度指令値vsd の２Ｔ秒間（遅れ時間の２倍の時間）の積分値となることがわかる。
【０１１３】
ここで、式(3) を使って式(14) をスレーブロボット１２Ａの拘束力との関係に書き直すと、
【０１１４】
【数１１】
【０１１５】
となる。
【０１１６】
以上の解析は３次元空間にもそのまま適用できる。拘束超平面に対して垂直な、めり込み量の法線方向成分
【０１１７】
【数１２】
【０１１８】
を考えれば、式(15)は、
【０１１９】
【数１３】
【０１２０】
もしくは、
【０１２１】
【数１４】
【０１２２】
のように表される。スレーブロボットが完全に環境に拘束された状態
【０１２３】
【数１５】
【０１２４】
では、式(3) より、
【０１２５】
【数１６】
【０１２６】
となり、オペレータからの指令値が定常となれば、式(16)(18)より、
【０１２７】
【数１７】
【０１２８】
の関係式が得られ、Ｔ秒後の拘束力とめり込み量とが比例関係にあることが分かる。つまり、めり込み量を用いると、この式によってスレーブロボットがＴ秒後に発生する力やモーメント（力の作用状態）を予測できることを示している。
【０１２９】
また、スレーブロボットを拘束させたままの状態でオペレータが指令値を変化させ、力feが変化するような過渡的な状態まで考えると、拘束されている間は式(17) の第１項は第２項に比べて小さいと仮定すれば、めり込み量は近似的に、
【０１３０】
【数１８】
【０１３１】
と表せる。ここで、定常状態と同じ式(19) を用いて予測を行ったとすると、力の予測値
【０１３２】
【数１９】
【０１３３】
は、式(20) を(19) に代入して、
【０１３４】
【数２０】
【０１３５】
となり、２Ｔ秒間の力予測値の移動平均を算出していることになる。これは、力が平滑化されて予測されることを意味しており、通信遅れに比べ高い周波数領域の特性は鈍化してしまうが、オペレータの操作帯域が平滑化の接点周波数以下であれば、過渡的な状態についても式(19) を用いて力の予測が可能であることを示している。このように、めり込み量を利用することにより拘束状態での予測呈示が可能となる。
【０１３６】
次に、拘束状態での予測情報を効果的にオペレータに呈示する方法について説明する。
【０１３７】
上記のように、拘束状態で生じるめり込みの量には、オペレータの入力履歴を反映した力やモーメントの予測情報が含まれ、オペレータ側に配置したロボットの予測モデルに基づいて予測情報を生成すれば、自由状態、拘束状態を問わず連続的に予測情報の呈示が可能であることがわかった。
【０１３８】
ここでは、この結果を踏まえ、めり込み量をうまく利用して拘束状態での力/モーメントの予測情報をオペレータに効果的に呈示する方法について考える。
【０１３９】
本システムの予測画像生成器２８では、自由状態においては予測モデルに基づいて生成したスレーブロボットの運動予測画像を実画像に重ねあわせて呈示を行っている。しかし、拘束状態でそのまま同様の表示を行ったのでは図４(b)、図５(b) のように、運動予測画像ＰＧのみが環境ＥＮＶにめり込んだ状態となり、実際のロボットの状態と全く異なる状態で実画像に重ね合わされてしまうため、作業を行う際の視認性が低下してしまうことが考えられる。
【０１４０】
そのため、スレーブロボット側から伝送された力情報fe(t−Ｔ) がある閾値を超え、実際のスレーブロボットが環境へ接触したと判断した場合には、予測画像生成器２８では、運動予測画像の代わりに、力/モーメントの予測情報を、図６、図７に示すように、「予測力矢印」及び「予測モーメント矢印」という二種類の「予測支援矢印」(力の作用状態)として視覚化し、オペレータに直感的に呈示する。
【０１４１】
以下、これらの予測支援矢印について説明する。
【０１４２】
「予測力矢印」
拘束状態における力と運動の並進成分に関する予測情報を視覚化するため、本実施の形態では「予測力矢印」と呼ばれる矢印を定義し、実画像に重ね合わせて呈示を行う。
【０１４３】
予測力矢印は、図６のように、実画像内の実際のスレーブロボットの手先から予測モデルにおけるスレーブロボットモデルＰＧの手先の方向へと伸びる、位置めり込み量（めり込み量の並進成分）に相当する矢印で、拘束状態では、運動予測画像を表示する代わりに図７に示されるように、矢印のみがオペレータに呈示される。
【０１４４】
予測力矢印ＦＡの拘束面に対する法線方向成分は、解析結果からわかるようにスレーブロボット１２ＡがＴ秒後に発生する拘束力を予測的に呈示するフォースディスプレイとしての役割を担う。それと同時に、予測力矢印の接線方向成分は、ロボットの非拘束方向への運動を予測的に呈示する役割を果たす。オペレータの操作は矢印先端（予測モデルにおけるスレーブロボットの手先に対応）の動きに遅れ無く反映され、実画像内のロボットはそれに追従する（牽引される）ように動作を行う。そのため、オペレータは拘束状態においても接触力と運動を同時に予測的に認識しながら操作することが可能となる。矢印の先端は、方向を三次元的に認識しやすくするために円錐形状とし、さらに支援矢印の変化が分かりやすいよう、その大きさによって呈示の色を変化させる。
「予測モーメント矢印」
上記予測力矢印と同様に、回転成分に関する予測情報を視角化するため「予測モーメント矢印」を定義し、図７に示すように、拘束状態において運動予測画像の代わりにオペレータに呈示する。
【０１４５】
予測モーメント矢印ＭＡは、実画像内の実際のスレーブロボットの手先姿勢に対する予測モデルにおけるスレーブロボットの手先姿勢の誤差を表し、姿勢めり込み量に相当する円弧状の回転矢印で、力の場合と同様に回転力に関する予測呈示の機能を担っている。
【０１４６】
一般には、作業内容やカメラ配置などに応じて、X-Y-Z固定角、オイラー角、等価回転軸や等価回転角など、様々な表記法の中から適したものを選択して使用することが可能である(図８(a)、図８(b))。なお、図８(a)は、Ｘ-Ｙ-Ｚ空間において矢印を表示した例を示し、図８(b)は、等価回転軸空間おいて矢印を表示した例を示した図である。
【０１４７】
なお、矢印先端の形状や色変化については、円錐形状とし、その大きさによって呈示の色を変化させる等、予測力矢印と同様である。
【０１４８】
これら二つの予測支援矢印ＦＡ、ＭＡにより、拘束状態においても予測情報をオペレータに呈示することができるため、通信遅れ存在下での操作性の向上を図ることが可能となる。尚、予測支援矢印の生成にあたっては、図３に一点鎖線で示すように、実画像を撮影した時点でのスレーブロボットの手先の位置・姿勢の情報を画像データとともに送信し、予測画像生成器２８で利用している。また、実用面を考えて、めり込み量を定数倍して予測支援矢印の表示スケールを調整する機能を持たせている。
【０１４９】
次に、予測画像生成器２４の処理を、図９に示した処理プログラムを参照して説明する。
【０１５０】
予測画像生成器２４の図示しないスタートボタンがオン等されると、ステップ１０２で、予測モデル２６により予測された運動予測画像と、モニタ用カメラ２０により環境が撮影して得られた実画像とを重ねてモニタ１８に表示する。
【０１５１】
ステップ１０４（判断手段）で、スレーブロボットコントローラ１２から出力された、スレーブロボット１２Ａの手先が環境から受ける力（-ｆe）の絶対値が、所定の閾値ｆth以上か否かを判断し、所定の閾値ｆth未満の場合には、スレーブロボット１２Ａの手先は自由状態にあると判断して、ステップ１０２に戻る。
【０１５２】
一方、スレーブロボット１２Ａの手先が環境から受ける力（-ｆe）の絶対値が、所定の閾値ｆth以上と判断された場合には、スレーブロボット１２Ａの手先は環境に拘束された拘束状態にあると判断して、ステップ１０６（算出手段）で、上記めり込み量を、上記式(16)から算出する。
【０１５３】
ステップ１０８（推定手段）で、スレーブロボット１２Ａの手先が環境に加える接触力及びモーメントを、上記式(19)から予測する。
【０１５４】
ステップ１１０で、図７に示すように、予測された接触力及びモーメントに基づいて、予測力矢印ＦＡ及び予測モーメント矢印ＭＡを、運度予測画像に代えて、実画像に重ねてモニタ１８で表示し、ステップ１０４に戻る。
【０１５５】
以上説明したように本実施の形態では、通信遅れが存在して操作情報（ジョイスティックマスタ側からスレーブロボット側への操作指令）や応答情報（スレーブロボット側からジョイスティックマスタ側への制御結果）が双方向に遅れて伝達されてしまう状況下でも、スレーブロボットの応答を予測的に計算し、遠隔ロボットの作業状況を映し出すモニタ用の動画像に重ね合わせる（スーパーインポーズする）形で操作者にリアルタイムに呈示している。
【０１５６】
そして、自由状態（非拘束状態）ではスレーブロボットの運動を、拘束状態（ロボットが環境に拘束された状態）では力と運動の応答を、環境モデルを用いることなく、実際のロボットが動作する前に予測的に操作者に呈示することができる。そのため、操作者は遅れに惑わされることなくロボットを円滑に遠隔操作することができ、通信遅れによる情報遅延が操作に与える影響を大幅に低減できる。
【０１５７】
また、本実施の形態では、環境モデルを用いず、ロボットの予測モデルのみ用いているため、汎用的かつ簡便な設置・運用が可能である。
【０１５８】
また、対象が生体の場合など、環境のモデル化が困難な場合や実画像そのものに意味のある場合（実画像を見ながら操作を行う必要がある場合）などにも有効に利用できる。
【０１５９】
スレーブロボットの予測モデルはそれを提供する側で十分な精度で構築しておくことが可能であるため、ロボットと一緒にその予測モデルを提供する形をとる事により、様々なロボットシステムの中からユーザが必要なものを選択して自由に配置して使用できるようになるため、インターネットなどの通信網を利用して遠隔体験や遠隔福祉、遠隔コミュニケーションなどの身近な領域へと遠隔操作システムの応用分野の拡大を図ることができる。
【０１６０】
次に、本実施の形態の具体的実験結果を説明する。
【０１６１】
上記実施の形態の有効性を確認するため、テレマニピュレーションシステムを構築して遠隔操作実験を行った。図１０にロボット遠隔操作システムの実験装置の構成を示す概略図を示す。
【０１６２】
操作側では、オペレータは入力デバイスとして力フィードバック型のジョイスティック（Microsoft Sidewinder Force Feedback2）１６を操作し、スレーブロボット１２Ａへの指令値(速度指令ベクトル)を生成した。
【０１６３】
モニタ１８の画面には、遅れて伝達されたスレーブロボット側のモニタ用カメラ２０の映像に対し、自由状態ではスレーブロボットの運動予測画像を、拘束状態では予測支援矢印を、図１３のように、それぞれ重ね合わせて操作支援画像を呈示した。その際、スレーブロボットの運動予測画像及び予測支援矢印は、OpenGLライブラリを用いて三次元グラフィックスで表現し、カメラ画像とのキャリブレーションを行った上で画像処理によって重ね合わせを行った。
【０１６４】
今回の実験では、スレーブロボット１２Ａとして平面３リンクマニピュレータを使用した。マニピュレータの各関節はＤＣサーボモータによって駆動し、手首部に搭載した６軸の力/トルクセンサにより環境との間の接触力を測定して制御に使用した。
【０１６５】
マスタスレーブロボット間の通信については、様々な通信遅れの条件下でシステムの特性を検討できるようここでは共有メモリボードを用いて行い、遅れはプログラムで仮想的に生成し、遅れ時間を任意に設定できるようにした。
【０１６６】
また、通信データ量を減らすため、カメラ画像は予測支援矢印付近の注視点領域を考慮に入れた圧縮処理を行ってオペレータに伝達した。
【０１６７】
今回の実験では、まず、予測支援矢印の動作確認を行い（実験１）、部品の組み付け作業（実験２）とＬ字型壁面の倣い作業（実験３）との二種類の遠隔作業を行ってシステムの有効性を確認した。尚、制御パラメータは、位置成分についてはA = 2.0、B =0.006、K = 200、姿勢成分についてはA = 0.2、B = 1.0、K = 0.3と設定した。
[実験１：予測支援矢印の動作確認]
予測力矢印が解析した通りに正確に機能するかを確認するため、スレーブロボットの手先を壁面に押し付け、予測力矢印を見ながら速度指令値を変化させることで、環境への接触力を変化させた。
【０１６８】
図１１(a)〜図１１(c)は、片道あたりの通信遅れT = 0.38[s]の条件での力の予測値と実際の接触力との関係を示す図であり、図１１(a)は、速度指令ベクトルを、図１１(b)は、実際の位置を、図１１(c)は、力の予測値と実際の接触力との関係を示す図である（グラフは比較のため通信遅れ分シフトしてある）。
【０１６９】
開始３秒付近でスレーブロボット１２Ａの手先が壁面に接触し拘束状態となったが、オペレータの指令に応じて接触力が変動する様子が予測できていることがわかる。次に、スレーブロボット１２Ａの手先を環境に拘束した状態で姿勢の速度指令値を変化させて環境にモーメントを加え、予測モーメント矢印の動作確認を行った。同様に予測が想定どおりに行われていることが確認できた（図１２）。
[実験２：組み付け作業]
遠隔作業の例として、片道あたりの通信遅れ、T = 0.18[s]、 T =0.28[s]、 T = 0.38[s] の各条件下で、図１３のようにスレーブ先端のT字型の部品を環境の窪みに挿入する作業を行った。図１３は、作業中オペレータに呈示された操作画面を示しており、(a)は自由状態、(b)は拘束状態での呈示の様子を示している。図１３(b) で手先付近に表示されている矢印が予測力支援矢印及び予測モーメント矢印である。オペレータからの操作指令は、ジョイスティックマスタの左右・前後・ひねりの３自由度をそれぞれ図のx軸（並進）、 y軸（並進）、 α軸（回転）に対応するように設定した。また、図１５に示すように部品先端部にはRCCのような半自律的な特性を持つように式(3) を構成する座標系及び制御パラメータを設定して実験を行った。点P は設定した回転中心である。
【０１７０】
図１４は、T = 0.38[s] の場合について、y軸方向（拘束方向）とα軸周りに関する実験時のスレーブの応答を示したものである。図１４(a)、図１４(c) は、各々、作業中のy軸方向の手先位置と接触力の変化を示す。図１４(b)、図１４(d) は、各々、α 軸周りの手先姿勢とモーメントの変化の様子を示している。作業過程は図１５のようであった。オペレータの操作によって、部品は約11 秒時点で環境に接触し、数秒後に挿入が完了した。往復の通信遅れがあるにもかかわらず、オペレータは予測力矢印と予測モーメント矢印の支援を受けてスレーブの挙動を予測的に認識でき、スレーブの半自律的な特性の助けも借りながら、容易に作業を行うことが可能であった。
【０１７１】
[実験３：Ｌ字型壁面の倣い作業]
次に、ペン型のエンドエフェクタを使用して図１６(a)、図１６(b)のようなＬ字壁面の倣い作業を行った。図１６(a)、図１６(b)は、実験中オペレータに実際に呈示された画面の様子である。この作業の目的は、予測支援矢印の助けを借りながら、拘束面に垂直な方向に対して力を加えながら連続的にL字壁面を倣うことである。この実験ではペン型のエンドエフェクタ（環境とは点接触）の先端に制御則(3)の座標系の回転中心を設定して、環境からはモーメントが働かないようにし、エンドエフェクタの接触姿勢はオペレータが自由に操作できるように設定した。通信遅れは実験２と同様T = 0.18[s]、 T = 0.28[s]、 T = 0.38[s]で行った。
【０１７２】
図１７は、T = 0.18[s] における作業中の予測接触矢印の軌跡を示す。破線はペン型エンドエフェクタの先端の軌跡を、実線で描かれた線分及び矢印は予測力矢印の表示軌跡を表している。予測矢印の軌跡は0.5 秒毎に描画し、見難くなるためそれらの一部のみ矢印形状で示した。これらの結果から、通信遅れが存在するにもかかわらず、オペレータの操作により壁面の倣い作業が連続的に行われたことがわかる。特に図中に円で囲んだ部分に着目すると、オペレータが予測支援矢印の支援を受けながら、連続的に拘束方向を変化させている様子が確認できる。予測支援矢印は拘束面に対する法線方向の接触力と接線方向のすべり運動を同時に予測呈示しているため、オペレータは前もって状況を認識して適切な入力を効果的に生成することができ、手法の有効性が確認できた。
【０１７３】
次に、上記実施の形態及び上記実験におけるモニタ用カメラ２０について説明する。
【０１７４】
モニタ用カメラ２０の画像および支援画像の視点は、作業内容や使用環境に合わせて、ロボット外から俯瞰的に観測を行う「固定座標系」や、ロボットの手先などに取り付けてロボットの運動とともに刻々と視点を変化させながら環境に対して相対運動を行う「移動座標系」など、座標変換により適切なものを使用することができる（図１８、図１９）。
【０１７５】
俯瞰的な視点では作業環境も含めた全体像がつかみやすく、手先カメラなどの移動カメラ視点では環境との間の相対的な運動が把握しやすい。このため、両方の視点で支援表示を行い、操作者が適宜必要な視点の情報を見ながら操作できるシステムを構築するのが望ましい。支援画像には、指令を与える際のロボットの参照座標系を重ねて表示しておくことで、方向の把握を容易にすることができる（図１８、図１９）。
【０１７６】
次に、モニタ用カメラ２０による画像と、運動予測画像とのキャリブレーションについて説明する。
【０１７７】
モニタ用カメラ２０で撮影される実作業空間（環境）の実画像に運動予測画像や予測支援矢印を正確に重ね合わせて呈示する必要がある。しかし、手動でこれらの位置合わせを行うのは困難であるため、なるべく簡単に正確な重ね合わせを行えることが望ましい。ただし、三次元測定器やステレオカメラを用いたのではシステムが複雑になるため、身近で簡便に使用することを考え、安価で入手も容易な市販の雲台付き監視カメラを用いて、マーカを利用した画像計測によって、単眼カメラシステムでも容易に実作業空間と予測モデル空間の位置合わせが可能な簡易キャリブレーション手法の開発を行った。以下に開発した手法の特長を示す。尚、今回はパン・チルト・ズーム機能を搭載したCanon 製単眼監視用カメラを用いた。
【０１７８】
開発した手法では、図２０(a)のような円状マーカを環境（スレーブロボット）に設置し、キャリブレーションを行う際には、マーカの中心がカメラの撮影領域の中心と一致するように予め調整を行った。このような二つの条件により、どの方向から撮影した場合でも、カメラの視線に垂直な平面内にマーカの直径成分が常に現れるため、カメラとロボットとの間の座標変換を簡単化することができ、単眼でも図２１のような手順でカメラの画角やマーカ円の直径、静止画像内での傾きや比率から座標変換パラメータを順に分離して計測可能となる。また、それと同時に推定パラメータを減らすことで精度の悪化を防ぐ効果もある。尚、使用するカメラのパラメータは予め調べられているものとする。
【０１７９】
作業や環境が変わりカメラとロボットの位置関係が変更された場合には、以下の半自動キャリブレーション作業を行う。
【０１８０】
キャリブレーションを行う際には、まず、図２０(a)のように円状マーカの中心を撮影領域の中心と合わせるようにカメラの方向を調整する。そして、作成した画像解析プログラムを利用して、簡単な画像処理とオペレータによる数回の画面クリック（図２０(b)：画像取り込み、図２０(c)：長軸成分の自動検出、図２０(d)：画像回転による長軸成分の確認・確定、図２０(e)：距離L と回転角ψ（図２１(e)参照）の自動算出、図２０(f)：マーカの基準点の入力 回転角φとθの自動算出）によってマーカとカメラの位置関係を導き出す。
【０１８１】
オペレータには上記図２０(d)、図２０(f)の一部において補佐的に介入をさせ、人間の持つ高い判断能力を利用して、画像処理の簡単化とパラメータ算出精度の向上を図っている。
【０１８２】
図２２は実際に多自由度汎用マニピュレータPA10 にマーカを取り付け、それをズームアップしてキャリブレーションを行った結果である。実際のマーカの画像にOpenGL で作成したマーカモデルが正確に重なっている様子がわかる。また、その状態でカメラのズーム倍率を変化させたり、パン角・チルト角を変更したりした場合でも、それをモデルの描画に反映させることにより、実際のロボットにモデル（ワイヤーフレーム表示）が正確に重なることが確認できる（図２３(a)、図２３(b)）。
【０１８３】
次に、他の実験について説明する。
【０１８４】
ユーザの要求に応じて自由度の多いスレーブロボットや入力装置を用いた場合でも汎用的に利用できることを確認した実験について説明する。
【０１８５】
まず、今回の実験に用いた多自由度ネットワークオペレーションシステムについて説明する。
【０１８６】
汎用マスタ入力デバイス
多自由度の指令情報をなるべく直感的な操作で生成できるよう卓上型汎用マスタ入力デバイス１６Ｂを設計・製作した（図２４）。本実験装置は６自由度を有し、手先に取り付けられた６軸力覚センサの力情報を用いてインピーダンス制御される。本体は小型化し、オフィスの机の上などに簡単に設置できるような設計とした。今回の実験ではグリップ先端の位置・姿勢の変位をスレーブロボットへの速度指令値とするような多自由度ジョイスティックとして用いた。
【０１８７】
実験用スレーブロボット
スレーブロボット１２Ｂとしては６自由度汎用マニピュレータPA10 を用いた（図２５）。マスタと同様、手首部には６軸力覚センサが取り付けられており、ダンピング制御により外力に対して手先に柔軟な特性を持たせた。
【０１８８】
カメラシステム
俯瞰画像を撮影する雲台付カメラに加え、スレーブロボットの手先には、移動カメラシステムとして、ロボットと共に運動する手先カメラ２０Ｂを取り付けた（図２６）。なお、一方は、先端に物をつかむことができるハンドを取り付けたものであり（図２６(a)）、他方は、ロボット先端に円柱状のツールがついたものであり（図２６(b)）、本実施の形態では何れでもよい。
【０１８９】
通信システム
通信頻度に限界があることからくる予測モデルにおけるスレーブロボットと実際のスレーブロボットとの運動のズレをバッファリングによって補償し、インターネットを介した遠隔操作実験の環境を整えた。ここでの通信にはＬＡＮ環境を用いており、様々な通信条件で実験が出来るよう、遅れはコンピュータで模擬した。
【０１９０】
上記のように６自由度のように、システムの多自由度化に伴い、オペレータに呈示する支援情報が増加するため、三次元情報を直感的に呈示する方法が必要となる。自由状態では、前述のキャリブレーションによって予測モデルにおけるスレーブロボットを実画像に正確に重ね合わせることで多自由度の場合でも問題なく運動の予測支援が行える。
【０１９１】
しかし、拘束状態においては支援矢印によって呈示しなければならない力やモーメントの情報が増加してしまうため、効果的な表示が行えるよう、その表示法について検討を行った。並進力に関しては、例えば、三次元ベクトルとして立体的に表示をする方法や各座標軸成分に分けて表示する方法、モーメントに関しては、オイラー角などの各回転軸成分に分けて回転矢印を表示する方法や、等価回転軸とその軸周りの回転矢印の組として表示する方法などが代表的なものとして考えられる。
【０１９２】
例として、図２７(a)に、力を三次元ベクトルで、モーメントを等価回転軸と回転矢印で呈示した場合を、図２７(b)に、力とモーメントを各軸成分に分けて表示した場合を示す。なお、図２８には、スレーブロボットに配置したモニタ用カメラからの画像を表示している。
【０１９３】
検討の結果、三次元ベクトルや等価回転軸での表現は、対象物に加える力やモーメントを直感的にイメージしやすい反面、各軸方向の成分の把握ができず、力やモーメントの作用線の微妙な方向の変化が認識しづらいという欠点があることが分かった。また、各軸成分で表示した場合には、その逆で各々の作用線の方向はわかり易いが、トータルでどのような力やモーメントが働いているかを直感的にイメージしづらく、また、表示される矢印の数が多くなってしまい、実画像に重ねて表示すると見づらくなることが分かった。そこで、図２７(a)のような合成矢印を実画像上に重ねて表示し、さらに、図２７(b)のような各軸矢印を同時に表示させることにより、両者の欠点を補うことができた。
【０１９４】
次に、モニタ用カメラ２０Ｂを、スレーブロボット１２Ａにとりつけた場合の移動座標系について説明する。
【０１９５】
多自由度化に伴う空間情報の増加により、定点カメラ（モニタ用カメラ２０Ｂ）からの俯瞰画像だけでは細かい状況が認識し難い場合もあり、手先カメラなどのロボットと共に運動する移動カメラシステムを設置したいという要求も出てくる。ここでは、移動カメラなどの移動座標系においても効果的な予測呈示が行えるよう手法の拡張を行う。固定座標系のみに基づいて設計すると、ロボット上に固定された移動座標系に対して制御系を記述し直す必要がある。そこで、指令値の生成部に座標変換行列を挿入して移動座標系に変換してスレーブロボットに伝達し、スレーブロボットの制御系も、運動と力の座標系をそれぞれ内部で変換することで移動座標系に構成し直す。座標変換によりめり込み量の解析には変更を生じないため、移動座標系を用いても同様に力の予測が可能である。更に、移動座標系での使用に合わせて、呈示法もそれに適したものに拡張する必要がある。
【０１９６】
手先カメラは、ロボットの動きと連動して基準座標系に対して視点・視線を時々刻々と変化させていくため、この映像の上にロボットの予測モデルにおけるスレーブロボットを重ねて表示するためには、画像を撮影した時点のカメラ座標系から見た予測モデルにおけるスレーブロボットの相対的な運動を算出して逐次描画しなければならない。
【０１９７】
そこで、自由状態においてはスレーブロボット側から画像取り込み時のロボットの手先位置姿勢の情報を送信させ、その情報を基にカメラの座標系を算出し、その座標系から見た運動予測画像を実画像に重ねて相対的に表示することにした(図２８)。また、拘束状態においては、同様にしてカメラ座標系を算出し、ロボット手先に手先座標系で表した支援矢印を描くことにした(図２７)。
【０１９８】
そして、予測呈示の効果を検討するため、いくつかの作業実験を行った。ここでは、平面に描かれた折れ線上をほぼ一定の接触力で倣うという作業目的を与えた拘束状態での作業実験の結果を示す。
【０１９９】
今回は、スレーブロボットの手先は環境と点接触をするものとし、オペレータには並進力の呈示だけを行って並進力の呈示の仕方による操作性の違いを比較した。実験はCase1：支援矢印を全く表示しない。Case2：実画像に重ねて合成成分を、画像外に各軸成分を表示(図２９(a))、Case3：実画像上に作業平面に平行な成分を表示し、奥行き成分をその矢印の色で表示。
【０２００】
更に画像外に奥行き成分を棒グラフで表示(図２９(b))して作業に合わせた改良を行った物の３パターンで行った。オペレータ側とスレーブロボット側の間の情報伝達は、実際のインターネット回線を使用した。
【０２０１】
今回は、ＬＡＮの環境での通信を行い、通信遅れは片道0.6 秒で大幅な変動はないものとした。実験は４人の被験者に対して行った。図３０(a)〜図３０(c)に被験者の倣い作業の軌跡を示す。また、図３１に示す表にはCase1 を1 とした時の作業に要した時間（４人の平均値）を示した。
【０２０２】
これらの結果より、Case1 とその他二つを比較すると、支援矢印を表示することで目標軌跡との誤差も小さくなり作業時間も短くなっていることから、作業精度や作業効率が明らかに向上していることが見て取れる。また、Case2とCase3 を比較すると、Case3 の方が明らかに作業しやすい印象があり、全体的に見て作業時間が短く精度も向上する傾向にあることが分かった。
【０２０３】
提案する予測呈示手法では、力支援矢印のうち、拘束面に垂直な方向成分が予測接触力を表し、接線方向成分が拘束面に平行なすべり運動を表していることから、Case3 では平面への接触力とすべり運動の情報が分離され、それらを同時にうまく調整できたことが要因であると考えられる。
【０２０４】
以上より、予測呈示を行うことによって操作性を向上させることが可能である。作業の情報がある程度分かっていれば、それに応じて表示法を工夫することで、より適した支援が行えることが分かった。また、手先カメラなどの移動カメラシステムを用いると、ロボットの動きと連動して視点が変化していくため、環境との相対関係がつかみ易く、あたかも移動体を操縦しているかのような感覚で操作できる利点があることも分かった。
[第２の実施の形態]
次に、本発明の第２の実施の形態を説明する。本実施の形態は、前述した第１の実施の形態と同様の構成を有するので、同一の部分には同一の符号を付してその説明を省力し、異なる部分を説明する。なお、詳細は後述するが、第１の実施の形態は、上記のように、スレーブロボット１２Ａの指令された動作として、速度指令ベクトルを送信するようにしているが、本実施の形態では、位置及び姿勢の指令値を送信するものである点で大きく相違する。
【０２０５】
図３２に示すように、本実施の形態では、ジョイスティックマスタでもよいが、これに代えて、マスタマニピュレータ６６を備えている。マスタマニピュレータ６６は、スレーブロボット１２Ａの動作を指令するためオペレータにより加わった力を、スレーブロボット１２Ａの位置及び姿勢ｘmに変換して出力する。
【０２０６】
マスタマニピュレータ６６からのスレーブロボット１２Ａの位置及び姿勢ｘmは、直接予測モデル５６に出力されると共に、通信回線２２を介して、スレーブロボットコントローラ６０に出力される。
【０２０７】
スレーブロボットコントローラ６０は、マスタマニピュレータ６６からのスレーブロボット１２Ａの位置及び姿勢ｘmから後述するスレーブロボット速度サーボ６０ｅの出力を減算する減算器６０ａと、減算器６０ａの出力に、後述する比例ゲインＫxを乗算する乗算器６０ｂと、スレーブロボット１２Ａの手先が環境から受ける接触力（-fe）と上記のアドミッタンス係数Ｂとを乗算する乗算器６０ｃと、乗算器６０ｂ及び乗算器６０ｃの出力を加算する加算器６０ｄと、加算器６０ｄの出力を積分するスレーブロボット速度サーボ６０ｅと、を備えている。
【０２０８】
そして、予測モデル５６は、マスタマニピュレータ６６からのスレーブロボット１２Ａの位置及び姿勢ｘmから、後述する積分器５６ｃの出力を減算する減算器５６ａと、減算器５６ａの出力に比例ゲインＫxを乗算する乗算器５６ｂと、乗算器５６ｂの出力を積分して予測画像生成器２８に出力する積分器５６ｃと、を備えている。
【０２０９】
上記のように、マスタマニピュレータ６６は、スレーブロボット１２Ａの動作を指令するためオペレータにより操作がなされると、マスタマニピュレータ６６における位置・姿勢を計測し、スレーブロボットの指令値を生成することとする。その際、一般には次式のようにマスタスレーブロボット間での適当なスケール変換を行う。
【０２１０】
【数２１】
【０２１１】
ここで、は運動の変換を行うためのスケーリング行列である。
【０２１２】
スレーブロボット１２Ａの速度は例えば次式のようなダンピング制御を拡張した制御則によって決定し、外力に対する力制御系を構成する。
【０２１３】
【数２２】
【０２１４】
ここで、Ｔは通信時間遅れ、Ｋxは自由状態においてマスタスレーブロボット間の運動を一致させるための比例ゲイン、Ｂはスレーブロボットの外力に対する逃げを規定するアドミッタンス行列である。
【０２１５】
スレーブロボット１２Ａの手先が完全に環境に拘束された場合には、
【０２１６】
【数２３】
【０２１７】
より、
【０２１８】
【数２４】
【０２１９】
が成り立ち、
【０２２０】
【数２５】
【０２２１】
のように操作者の指令入力とスレーブロボットとの間の位置・姿勢のずれが、環境への接触力と比例関係になる。これらの関係はＫxとＢの値を調整することで規定でき、スレーブロボットに所望の特性をもたせることができる。
【０２２２】
また、速度指令モードと同様、力制御に用いる座標系やアドミッタンス行列を適切に設計することで、スレーブロボットには作業に合わせ合わせた自律的な特性を持たせることも可能である。
【０２２３】
なお、環境との間の法線方向の接触力及びスレーブロボットの拘束位置・姿勢が定常になるまでの過渡的な応答は、指令値ｘsdを入力として環境の動特性を含む形で決まるが、Ｋx、Ｂを適切に設計すれば容易に系を安定化できるため振動せず速やかに定常状態に向かうように特性を規定できる。一般には、力制御においては剛性の高い環境に対してはロボットの逃げの効果を大きく、剛性の低い柔らかい環境に対してはロボット側を硬くして当たるのが良いとされており、Ｂの値をレバーなどの付加的な操作器で調整できるようにしても良い。
【０２２４】
予測モデルにおけるスレーブロボットは、位置・姿勢の指令値ｘsd (t)をそのまま描画用いても良いし、スレーブロボットの運動特性をモデル化して指令値ｘsd (t)に対する応答をモデルとして表示しても良い。
【０２２５】
スレーブロボットの運動特性を含めた形のモデルを使用すると、特に自由状態において動特性による応答遅れを踏まえた形でスレーブロボットの応答を操作者に予測的に把握させることができる。速度指令モードの上記第１の実施の形態では、スレーブロボットのモデルに外力に対する逃げの項（力制御に関する項）を含め、遠隔側から遅れて伝達された環境との接触力を入力することで、モデルと見かけのロボットの間にズレを作り出し予測呈示が行なわれた。これは、一般に速度指令モードでは、位置・姿勢に無関係に、力と速度との関係から拘束状態が決まるため、力が伝達されるタイミングの違いによってモデルと実際のスレーブロボットの間の拘束位置・姿勢にズレを生じさせることが可能であるためである。
【０２２６】
しかし、位置指令モードにおける本実施の形態では、位置・姿勢と力との関係から最終的な拘束状態が決まるため、力情報を予測モデルに伝達してしまうと、応答のタイミングがずれるだけで、予測モデルにおけるスレーブロボットと実際のスレーブロボットの位置・姿勢は定常状態では一致してしまう。そのため、本実施の形態では、例えば、
【０２２７】
【数２６】
【０２２８】
即ち、操作者が入力した指令値（目標値）をモデルとして表示する場合や、もしくは、
【０２２９】
【数２７】
【０２３０】
即ち、スレーブロボットの運動特性も含める場合の一例等のようにスレーブロボットの力制御項を含まない形のモデルを用いている。このようにすることで、モデルの位置・姿勢ｘmodelと実際のスレーブロボット（遅延画像上での見かけのスレーブロボット）の位置・姿勢の間には、拘束方向に対しては環境との間に作用する外力に相当するずれを、非拘束方向には運動のズレを生じさせることができる。速度指令モードと同様に、スレーブロボットの予測モデルには操作者の操作履歴が遅れなく反映され、それに基づいて実際のスレーブロボットの拘束状態が決定されるため、前述のズレを予測支援矢印として表示することで操作者に対してスレーブロボットの拘束状態の予測を促すことができる。
【０２３１】
なお、予測支援矢印は速度指令モードと同様、過渡状態では非拘束方向への運動の予測値を含むが、スレーブロボットが完全に拘束されれば、純粋にスレーブロボットが発生する力・モーメントを示すことになる。
【０２３２】
予測支援矢印を用いた手法では、操作者は矢印の先端を自由にリアルタイムに操作できるため、拘束状態を実画面で確認しながら、拘束力を調整することも容易である。速度指令モード・位置指令モードともに、その操作感はあたかもロボットの先端に取り付けられた輪ゴム（ワイヤーバンド）を引っ張ってロボットを誘導するような形となる。（拘束方向にワイヤを伸ばせば拘束力が増し、非拘束方向成分を与えればロボットはすべり運動をする、というイメージとなる（図３３）。
[第３の実施の形態]
次に、本発明の第３の実施の形態を説明する。本実施の形態は、前述した第１の実施の形態及び第２の実施の形態と同様の構成を有するので、同一の部分には同一の符号を付してその説明を省力し、異なる部分を説明する。なお、詳細は後述するが、第１の実施の形態は、上記のように、スレーブロボット１２Ａの指令された動作として、速度指令ベクトルを送信し、第２の実施の形態では、位置及び姿勢を送信するものであるが、本実施の形態では、速度指令ベクトルを送信するのか、位置及び姿勢を送信するのかをオペレータが選択可能にした点で大きく相違する。
【０２３３】
図３４に示すように、本実施の形態のマスタ操作デバイスは、速度指令モードマスタ制御系１６及び位置指令モードマスタ制御系６６を備え、選択デバイス７０により選択可能に構成されている。なお、速度指令モードマスタ制御系１６は、第１の実施の形態におけるジョイスティックマスタ１６（図３参照）と同様の構成であり、位置指令モードマスタ制御系６６は、第２の実施の形態におけるマスタマニピュレータ６６（図３２参照）と同様の構成である。
【０２３４】
また、本実施の形態のスレーブロボットは、速度指令モードスレーブロボット制御系１２及び位置指令モードスレーブロボット制御系６０を備え、選択デバイス７０により選択可能に構成されている。なお、速度指令モードスレーブロボット制御系１２は、第１の実施の形態におけるスレーブロボットコントローラ１２（図３参照）と同様の構成であり、位置指令モードスレーブロボット制御系６０は、第２の実施の形態におけるスレーブロボットコントローラ６０（図３２参照）と同様の構成である。
【０２３５】
そして、本実施の形態における予測モデルは、速度指令モードロボットモデル２６及び位置指令モードロボットモデル５６を備え、選択デバイス７０により選択可能に構成されている。なお、速度指令モードロボットモデル２６は、第１の実施の形態における予測モデル２６（図３参照）と同様の構成であり、位置指令モードロボットモデル５６は、第２の実施の形態における予測モデル５６（図３２参照）と同様の構成である。
【０２３６】
オペレータは、作業内容や作業局面に合わせて、速度指令モードか位置指令モードかを適宜選択して作業支援に利用する。
[第４の実施の形態]
次に、本発明の第４の実施の形態を説明する。本実施の形態は、前述した第１の実施の形態〜第３の実施の形態の各々に適用可能であるが、以下、第１の実施の形態に適用した場合を説明する。
【０２３７】
本実施の形態では、拘束状態において、予測支援矢印の逆向きの力・モーメントをマスタ（ジョイスティックマスタ）１６にフィードバックし、物理的に力として操作者に情報を知覚させるものである。
【０２３８】
このため、本実施の形態では、図３５に示すように、マスタにバネによるセンタリング特性を持たせる代わりに、予測画像生成器２８から、予測支援矢印の逆向きの力・モーメントをマスタ（ジョイスティックマスタ）１６にフィードバックするように構成されている。
【０２３９】
通常、遅れて伝達された力をそのまま操作者にフィードバックすると操作ループに遅れが入り込み操作が不安定になりやすいことが知られるが、予測支援矢印はスレーブロボットの予測的な応答を反映したもので、操作者はこの呈示情報を見ながら常に操作を行うため、これに基づいてフィードバックする力覚情報を生成することで制御ループを不安定化するような位相の遅れが発生せず、安定な力フィードバックが可能である。
【０２４０】
予測支援矢印は運動と力の両方の予測情報を有しているため、スレーブロボットが環境に拘束を受けながら運動している間はその両方の予測情報を知覚でき、スレーブロボットが完全に拘束されて停止した準定常状態では、ロボットが環境に加える力覚情報が正確に伝えられることになる。
[変形例]
次に、種々の変形例を説明する。
【０２４１】
前述した第１の実施の形態における、速度指令モードにおいて、スレーブロボット１２Ａの手先近傍に配置したモニタ用カメラ２０（移動カメラ視点）を用いる場合には、支援画像だけでなく、指令値についても合わせて逐次座標変換を行うことにより、モニタ画面に写っているロボットの手先座標系を基準とした相対指令値として入力することができるという利点がある。この場合には、現在の画面の状態を基準として、画面のロボット視点に対して、左右、上下、前後、回転といったように相対的に動作指示を与えられるため、環境に対するロボットの位置・姿勢を微調整したい時などにも非常に有効である。
【０２４２】
前述した第１の実施の形態のおける、速度指令モードにおいては、スレーブロボットの相対的な運動を指令するためロボット位置の微調整を行う場合などに有効である。しかし、自由度が高くなると、操作時の各自由度の指令値の分離が難しくなるため、スイッチ等により必要な自由度のみに限定して指令を入力できるようにすることで、操作精度を向上と操作の負担軽減を実現できる。
【０２４３】
また、予測支援矢印は三次元的な情報呈示手段であるため、予測力矢印及び予測モーメント矢印の表示法を状況に応じて切り換えできるのが望ましい。スイッチ等による選択式にすれば、各軸分離表示や合成ベクトル表示、回転矢印の等価回転軸・等価回転角度表示などを適宜切り換えて使用できる。また、スイッチでの切り換えにより、実際のスレーブロボットの手先や立体マーカなどをグラフィックで立体表示したものを、実画像に追加で重ね描きしてもよい。それにより、予測支援矢印などの三次元情報をスレーブロボットや立体マーカと対比して捕らえることができ、情報の奥行き感・方向感を増大させることが可能となる。
【０２４４】
更に、雲台やズーム機能付きのカメラを使用する場合には、モニタ画像の視点やズーム倍率をオペレータ側で変更することも可能である。
【０２４５】
また、前述した種々の実施の形態では、遅延画像内のスレーブロボットの手先を基点として予測支援矢印を描いている。そのため、スレーブロボットの動作周波数帯域に比べて通信遅れが大きい場合には、遅延画像からではスレーブロボットの状態把握が難しくなることがある。その場合には、速度指令モードにおいては速度指令のゲインを落とすことで、位置指令モードにおいてはマスタに粘性等を追加することで、操作周波数帯域を下げるようにする。
【０２４６】
更に、移動カメラ視点は通信を介して移動ロボットの遠隔操作を行う際の支援にも応用が可能である。移動カメラ視点では、常にロボットを起点としてその後の相対的な運動を呈示するため、マニピュレータタイプのロボットだけでなく、移動ロボットなどの相対的な移動指令を基本とするタイプのロボットともマッチングが良い。
【０２４７】
例えば、超音波や光などを利用した測距センサから得た壁面との間の距離情報からポテンシャル場を生成し、壁面から離れる方向に仮想的な反力を発生させることで、制御系内部でロボットと環境と間の物理的な拘束力と同等の扱いができることから、障害物回避を行いながら走行する移動ロボットの遠隔操作に対する予測呈示システムとして、効果的に応用することが可能である。
【０２４８】
一般に、移動ロボットの場合には指令が移動速度及び旋回速度となるため、速度指令モードを用いるのが都合が良い。また、支援情報だけでなく指令値についても前述のように座標変換によって移動カメラ座標系で入力できるようにすることで、あたかも移動ロボット上で操縦しているかのような相対的な指令入力が行える。
【０２４９】
移動ロボットでは一般に走行距離が長くなるとデッドレコニングの誤差が蓄積し、自己位置の認識にズレが生じてしまうという問題があるため、操作履歴を使用して移動ロボットの運動予測モデルの計算を行う際には注意が必要であるが、本手法では、ロボットを起点として往復の通信遅れ分だけの積算でロボットの未来の位置を生成するため、移動ロボットの速度が極端に速くなければ、予測に関して問題は生じない。
【図面の簡単な説明】
【０２５０】
【図１】ロボット遠隔操作システムを示す概略図である。
【図２】ロボット遠隔操作システムの構成図である。
【図３】ロボット遠隔操作システムのブロック図である。
【図４】(a)は、非拘束状態でのスレーブロボットの実際の状態と予測された状態を示し、(b)は、拘束状態でのスレーブロボットの実際の状態と予測された状態を示す図である。
【図５】(a)は、非拘束状態でのスレーブロボットの実際の状態と予測された状態を示し、(b)は、拘束状態でのスレーブロボットの実際の状態と予測された状態を示す他の図である。
【図６】実画像内の実際のスレーブロボットの手先からスレーブロボットの予測モデルの手先の方向へと伸びる、位置めり込み量（めり込み量の並進成分）に相当する矢印で、拘束状態では、運動予測モデルを表示した図である。
【図７】実画像内の実際のスレーブロボットの手先から矢印のみを表示した図である。
【図８】(a)は、Ｘ-Ｙ-Ｚ空間において矢印を表示した例を示し、(b)は、等価回転軸空間おいて矢印を表示した例を示した図である。
【図９】予測画像生成器の処理プログラムを示したフローチャートである。
【図１０】ロボット遠隔操作システムの実験装置の構成を示す概略図である。
【図１１】(a)〜(c)は、力の予測値と実際の接触力との関係を示す図であり、(a)は、速度指令ベクトルを、(b)は、実際の位置（ｙ軸上）を、(c)は、力の予測値と実際の接触力との関係を示す図である。
【図１２】(a)〜(c)は、力の予測値と実際の接触力との関係を示す図であり、(a)は、速度指令ベクトルを、(b)は、実際の位置（回転角）を、(c)は、力の予測値と実際の接触力との関係を示す図である。
【図１３】作業中オペレータに呈示される操作画面を示す図である。
【図１４】T = 0.38[s] における実験結果であり、(a)、(c) は、各々、作業中の手先位置とｙ軸方向の接触力を示し、(b)、(d) は、各々、手先姿勢と回転軸（α 軸）周りのモーメントを示す図である。
【図１５】作業過程を示す図である。
【図１６】オペレータに呈示されるモニタの予測呈示画像を示す図である。
【図１７】T = 0.18[s] における作業中の予測接触矢印の軌跡を示す図である。
【図１８】固定座標系での予測呈示例を示す図である。
【図１９】(a)は、移動カメラシステムを示し、(b)は、非拘束状態における予測呈示例を示し、(c)は、拘束状態における予測呈示例を示す図である。
【図２０】半自動キャリブレーションの作用の様子を説明する説明図である。
【図２１】マーカの基準点の入力から回転角φとθを自動算出する原理を説明する説明図である。
【図２２】実際に多自由度汎用マニピュレータPA10 にマーカを取り付け、それをズームアップしてキャリブレーションを行った結果を示す図である。
【図２３】実際のロボットにモデル（ワイヤーフレーム表示）が正確に重なることが確認できたことを示す図である。
【図２４】卓上型汎用マスタ入力デバイスを示す図である。
【図２５】実験用スレーブロボットスレーブロボットとしての６自由度汎用マニピュレータPA10を示す図である。
【図２６】６自由度汎用マニピュレータPA10に取り付け手先カメラを示した図であり、(a)は、先端に物をつかむことができるハンドを取り付けたものを、(b)は、ロボット先端に円柱状のツールがついたものを示している。
【図２７】(a)は、力を三次元ベクトルで、モーメントを等価回転軸と回転矢印で呈示し、(b)は、力とモーメントを各軸成分に分けて表示した場合を示す図である。
【図２８】運動予測モデルを示した図である。
【図２９】(a)は、実画像に重ねて合成成分を、画像外に各軸成分を表示した例を示し、(b)は、実画像上に作業平面に平行な成分を表示し、奥行き成分をその矢印の色で表示。更に画像外に奥行き成分を棒グラフで表示した図である。
【図３０】被験者の倣い作業の軌跡を示す図である。
【図３１】実験結果を示す表である。
【図３２】第２の実施の形態にかかるロボット遠隔操作システムの構成図である。
【図３３】速度指令モード・位置指令モードがともに、その操作感はあたかもロボットの先端に取り付けられた輪ゴム（ワイヤーバンド）を引っ張ってロボットを誘導するような形となることを説明する説明図である。
【図３４】第３の実施の形態にかかるロボット遠隔操作システムの構成図である。
【図３５】第４の実施の形態にかかるロボット遠隔操作システムの構成図である。
【符号の説明】
【０２５１】
１２ スレーブロボットコントローラ
１２Ａ スレーブロボット
１４ ロボット遠隔制御装置
１６ ジョイスティックマスタ
１８ モニタ
２０ モニタ用カメラ
２４ 予測情報呈示システム
２６ 予測モデル
２８ 予測画像生成器
１６ａ 除算器
１６ｂ 乗算器
１２ａ 乗算器
１２ｂ 加算器
１２ｃ 加算器
１２ｄ スレーブロボット速度サーボ
１２ｅ 積分器
１２ｆ 減算器
１２ｇ 乗算器
２６ａ 乗算器
２６ｂ 加算器
２６ｃ 積分器
６６ マスタマニピュレータ
６０ａ 減算器
６０ｂ 乗算器
６０ｃ 乗算器
６０ｄ 加算器
６０ｅ スレーブロボット速度サーボ
５６ａ 減算器
５６ｂ 乗算器
５６ｃ 積分器
１６ 速度指令モードマスタ制御系
６６ 位置指令モードマスタ制御系
１２ 速度指令モードスレーブロボット制御系
６０ 位置指令モードスレーブロボット制御系
２６ 速度指令モードロボットモデル
５６ 位置指令モードロボットモデル
７０ 選択デバイス
【特許請求の範囲】
【請求項１】
環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、速度指令ベクトルを通信回線を介して送信する送信手段と、
前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、
前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、
前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記速度指令ベクトルの履歴と前記通信回線を介して受信された力の情報及び遠隔作業ロボットの予測モデルに基づき、通信遅れ時間後に速度指令ベクトルが遠隔作業ロボットに到達するであろう時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく、前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する算出手段と、
前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、
前記推定された力の作用状態を呈示する呈示手段と、
を備えたロボット環境間力作用状態呈示装置。
【請求項２】
環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、位置及び姿勢を通信回線を介して送信する送信手段と、
前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、
前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、
前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記位置及び姿勢の指令値に基づき、通信遅れ時間後に該指令値が遠隔作業ロボットに到達するであろう時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく、前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する算出手段と、
前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、
前記推定された力の作用状態を呈示する呈示手段と、
を備えたロボット環境間力作用状態呈示装置。
【請求項３】
環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、所定情報を通信回線を介して送信する送信手段と、
前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、
前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、
前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、通信遅れ時間後に前記所定情報が遠隔作業ロボットに到達するであろう時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく、前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する算出手段と、
前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、
前記推定された力の作用状態を呈示する呈示手段と、
を備え、
前記送信手段は、速度指令ベクトルを送信する第１のモードと、位置及び姿勢を送信する第２のモードと、を有し、
前記算出手段は、前記速度指令ベクトルの履歴と前記通信回線を介して受信された力の情報及び遠隔作業ロボットの予測モデルに基づき、通信遅れ時間後に速度指令ベクトルが遠隔作業ロボットに到達するであろう時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢を用いる第１のモードと、前記位置及び姿勢の指令値に基づき、通信遅れ時間後に指令値が遠隔作業ロボットに到達するであろう時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢を用いる第２のモードと、を有し、
前記第１のモード及び第２のモードを切り替える切り替え手段を備えた
ことを特徴とするロボット環境間力作用状態呈示装置。
【請求項４】
前記算出手段は、前記速度ベクトルを前記遅れ時間の２倍の時間積分することにより、前記ずれ量を算出することを特徴とする請求項１又は請求項３記載のロボット環境間力作用状態呈示装置
【請求項５】
前記受信手段は、前記環境を撮影する撮影手段からの環境の撮影情報を受信し、
前記呈示手段は、前記受信手段により受信された撮影情報に基づいて、前記環境を更に呈示する請求項１乃至請求項４の何れか１項に記載のロボット環境間力作用状態呈示装置。
【請求項６】
前記呈示手段は、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断されない場合には、少なくとも前記第１の位置を含む前記遠隔作業ロボットの所定領域と前記環境とを対応して呈示し、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記力の作用状態と前記環境とを対応して呈示する請求項５記載のロボット環境間力作用状態呈示装置。
【請求項７】
前記撮影手段は、前記環境に対して固定された第１の撮影手段及び前記遠隔作業ロボットに対して固定された第２の撮影手段の少なくとも一方を備えている請求項５又は請求項６の何れか１項に記載のロボット環境間力作用状態呈示装置。
【請求項８】
前記撮影手段が前記第１の撮影手段及び前記第２の撮影手段を備えており、
前記呈示手段は、前記第１の撮影手段及び前記第２の撮影手段からの双方の撮影情報に基づいて、前記環境を呈示する請求項７記載のロボット環境間力作用状態呈示装置。
【請求項９】
前記力の作用状態は、力の方向とモーメントの少なくとも一方である請求項１乃至請求項８の何れか１項に記載のロボット環境間力作用状態呈示装置。
【請求項１０】
力を加えることにより前記遠隔作業ロボットの動作を指令するための指令手段と、
前記推定手段により推定された力の作用状態に基づいて、該力の作用状態とは逆の作用状態を前記指令手段に作用させる作用手段と、
を備えた請求項１乃至請求項９の何れか１項に記載のロボット環境間力作用状態呈示装置。
【請求項１】
環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、速度指令ベクトルを通信回線を介して送信する送信手段と、
前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、
前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、
前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記速度指令ベクトルの履歴と前記通信回線を介して受信された力の情報及び遠隔作業ロボットの予測モデルに基づき、通信遅れ時間後に速度指令ベクトルが遠隔作業ロボットに到達するであろう時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく、前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する算出手段と、
前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、
前記推定された力の作用状態を呈示する呈示手段と、
を備えたロボット環境間力作用状態呈示装置。
【請求項２】
環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、位置及び姿勢を通信回線を介して送信する送信手段と、
前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、
前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、
前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記位置及び姿勢の指令値に基づき、通信遅れ時間後に該指令値が遠隔作業ロボットに到達するであろう時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく、前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する算出手段と、
前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、
前記推定された力の作用状態を呈示する呈示手段と、
を備えたロボット環境間力作用状態呈示装置。
【請求項３】
環境モデルを用いずに遠隔作業ロボットと環境との間の力の作用状態を呈示するロボット環境間力作用状態呈示装置であって、
環境との間に作用する力を検出すると共に、環境に作用するための部位の位置・姿勢を表す位置・姿勢情報及び該検出された力の情報を送信する遠隔作業ロボットへの動作指令値として、所定情報を通信回線を介して送信する送信手段と、
前記部位の位置・姿勢情報及び前記検出された力の情報を、通信回線を介して受信する受信手段と、
前記受信手段により受信された力の情報に基づいて、前記遠隔作業ロボットが環境に拘束されたか否かを判断する判断手段と、
前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、通信遅れ時間後に前記所定情報が遠隔作業ロボットに到達するであろう時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢と、前記受信手段により受信された遠隔作業ロボットの位置・姿勢情報に基づく、前記通信回線を介して情報を通信することにより生ずる遅れ時間だけ遅れて操作側に伝達された実際の遠隔作業ロボットの前記部位の第２の位置・姿勢と、のずれ量を算出する算出手段と、
前記算出手段により算出されたずれ量に基づいて、前記部位と環境との間に作用する現在時刻から前記遅れ時間後の力の作用状態を推定する推定手段と、
前記推定された力の作用状態を呈示する呈示手段と、
を備え、
前記送信手段は、速度指令ベクトルを送信する第１のモードと、位置及び姿勢を送信する第２のモードと、を有し、
前記算出手段は、前記速度指令ベクトルの履歴と前記通信回線を介して受信された力の情報及び遠隔作業ロボットの予測モデルに基づき、通信遅れ時間後に速度指令ベクトルが遠隔作業ロボットに到達するであろう時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢を用いる第１のモードと、前記位置及び姿勢の指令値に基づき、通信遅れ時間後に指令値が遠隔作業ロボットに到達するであろう時刻における前記遠隔作業ロボットの前記部位の状態を予測した第1の位置・姿勢を用いる第２のモードと、を有し、
前記第１のモード及び第２のモードを切り替える切り替え手段を備えた
ことを特徴とするロボット環境間力作用状態呈示装置。
【請求項４】
前記算出手段は、前記速度ベクトルを前記遅れ時間の２倍の時間積分することにより、前記ずれ量を算出することを特徴とする請求項１又は請求項３記載のロボット環境間力作用状態呈示装置
【請求項５】
前記受信手段は、前記環境を撮影する撮影手段からの環境の撮影情報を受信し、
前記呈示手段は、前記受信手段により受信された撮影情報に基づいて、前記環境を更に呈示する請求項１乃至請求項４の何れか１項に記載のロボット環境間力作用状態呈示装置。
【請求項６】
前記呈示手段は、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断されない場合には、少なくとも前記第１の位置を含む前記遠隔作業ロボットの所定領域と前記環境とを対応して呈示し、前記判断手段により前記遠隔作業ロボットが環境に拘束されたと判断された場合、前記力の作用状態と前記環境とを対応して呈示する請求項５記載のロボット環境間力作用状態呈示装置。
【請求項７】
前記撮影手段は、前記環境に対して固定された第１の撮影手段及び前記遠隔作業ロボットに対して固定された第２の撮影手段の少なくとも一方を備えている請求項５又は請求項６の何れか１項に記載のロボット環境間力作用状態呈示装置。
【請求項８】
前記撮影手段が前記第１の撮影手段及び前記第２の撮影手段を備えており、
前記呈示手段は、前記第１の撮影手段及び前記第２の撮影手段からの双方の撮影情報に基づいて、前記環境を呈示する請求項７記載のロボット環境間力作用状態呈示装置。
【請求項９】
前記力の作用状態は、力の方向とモーメントの少なくとも一方である請求項１乃至請求項８の何れか１項に記載のロボット環境間力作用状態呈示装置。
【請求項１０】
力を加えることにより前記遠隔作業ロボットの動作を指令するための指令手段と、
前記推定手段により推定された力の作用状態に基づいて、該力の作用状態とは逆の作用状態を前記指令手段に作用させる作用手段と、
を備えた請求項１乃至請求項９の何れか１項に記載のロボット環境間力作用状態呈示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【公開番号】特開２００６−９７７（Ｐ２００６−９７７Ａ）
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願番号】特願２００４−１８０２７０（Ｐ２００４−１８０２７０）
【出願日】平成１６年６月１７日（２００４．６．１７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００４年３月８日 ロボティクスシンポジア運営委員会 第９回ロボティクスシンポジア実行委員会発行の「第９回 ロボティクスシンポジア予稿集」に発表
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願日】平成１６年６月１７日（２００４．６．１７）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り ２００４年３月８日 ロボティクスシンポジア運営委員会 第９回ロボティクスシンポジア実行委員会発行の「第９回 ロボティクスシンポジア予稿集」に発表
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
[ Back to top ]