遠隔操作支援装置
【課題】対象物の位置や姿勢が事前に判らない場合においても、対象物の動作シーケンスを指示して、最適な動作シーケンスを決定する。
【解決手段】三次元測定機で測定した点群データに基づいて対象物を三次元認識し、当該対象物の形状と位置と姿勢と４を特定する三次元認識部と、特定した対象物の位置と形状と姿勢とが反映された対象物モデル表現を生成する対象物モデル表現部と、生成した対象物モデル表現を表示する表示部と、外部からの指示情報に基づいて、前記表示部で表示されている対象物モデルからロボットで操作する操作対象モデルを特定し、さらに当該操作対象モデルのロボットによる動作シーケンスを生成するロボット動作シーケンス指示部と、指示した動作シーケンスに基づいて前記ロボットの最適な動作シーケンスを決定し、決定した動作シーケンスを前記表示部に出力するロボット動作シーケンス決定部を備えている。
【解決手段】三次元測定機で測定した点群データに基づいて対象物を三次元認識し、当該対象物の形状と位置と姿勢と４を特定する三次元認識部と、特定した対象物の位置と形状と姿勢とが反映された対象物モデル表現を生成する対象物モデル表現部と、生成した対象物モデル表現を表示する表示部と、外部からの指示情報に基づいて、前記表示部で表示されている対象物モデルからロボットで操作する操作対象モデルを特定し、さらに当該操作対象モデルのロボットによる動作シーケンスを生成するロボット動作シーケンス指示部と、指示した動作シーケンスに基づいて前記ロボットの最適な動作シーケンスを決定し、決定した動作シーケンスを前記表示部に出力するロボット動作シーケンス決定部を備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は遠隔操作支援装置に関し、特に、原子力設備の原子炉内などのように人間が容易に立ち入ることができない環境下に配置された作業用ロボットを遠隔操作する方法に適用して好適なものである。
【背景技術】
【０００２】
ロボットは、自動車製造や電気・電子機器製造を中心とした製造業において、広く利用されている。しかし、こうした製造用のロボットは、予め、決められた連続作業、例えば、同一部品の把持、移動、組立を主とした用途に限定されて利用されている。
一方、原子力発電所等の人間が立ち入ることができない環境では、形状や大きさの異なる部品の組立作業等を行うために、熟練者が、複数のカメラ映像を利用して、部品の位置及び姿勢を把握しながら、ロボットを遠隔操作しているのが現状である。
【０００３】
一方、定期的に行われる同一作業であっても、前回存在しなかった障害物が存在したり、保守対象である装置の一部が壊れているなど予期せぬ状況の発生にも対処できるようにするために、例えば、特許文献１には、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして記憶し、カメラが捉えた映像と環境モデルから得られる位置決めに関する情報を図形化して表示した画像とを合成した合成画像を表示することで、手動操作を誘導できるようにする方法が開示されている。
【特許文献１】特開２００３−３１１６６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された従来例の方法では、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして用意する必要があるため、遠隔操作される対象の配置が事前に判っている必要があるだけでなく、対象物が環境モデルに登録された所定の位置に存在していることが前提となっており、遠隔操作される対象の状態が操作時にも同様に保たれている必要がある。
【０００５】
このため、特許文献１に開示された従来例の方法では、対象物の位置が初期の位置と異なっていたり、操作時に対象物の位置が変わったりすると、対象物の遠隔操作ができなくなる上に、対象物自体が新しいものである場合や対象物を移動させる動作シーケンスが決定されていない場合には適用することができないという未解決の課題がある。
そこで、本発明は上記従来例の未解決の課題に着目してなされたものであり、対象物の位置や姿勢が事前に判らない場合においても、対象物の動作シーケンスを指示して、最適な動作シーケンスを決定することが可能な遠隔操作支援装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に係る遠隔操作支援装置は、三次元測定機で測定した点群データに基づいて対象物を三次元認識し、当該対象物の形状と位置と姿勢とを特定する三次元認識部と、該三次元認識部で特定した対象物の形状と位置と姿勢とが反映された対象物モデル表現を生成する対象物モデル表現部と、該対象物モデル表現部で生成した対象物モデル表現を表示する表示部と、外部からの指示情報に基づいて、前記表示部で表示されている対象物モデルからロボットで操作する操作対象モデルを特定し、さらに当該操作対象モデルのロボットによる動作シーケンスを生成するロボット動作シーケンス指示部と、該ロボット動作シーケンス指示部で指示した動作シーケンスに基づいて障害物を回避する前記ロボットの動作シーケンスを決定し、決定した動作シーケンスを前記表示部に出力するロボット動作シーケンス決定部とを備えたことを特徴としている。
【０００７】
また、請求項２に係る遠隔操作支援装置は、請求項１に係る発明において、前記ロボット動作シーケンス決定部は、前記三次元認識部で認識した対象物の形状と位置と姿勢とに基づいて前記生成された動作シーケンスの移動軌跡上の障害物を探索し、探索した障害物を回避する動作シーケンスを決定するように構成されていることを特徴としている。
また、請求項３に係る遠隔操作支援装置は、請求項１又は２に係る発明において、ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するロボットモデル表現部と、三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を前記表示部の同一画面上に三次元的に表示させる三次元画像生成部とを備えることを特徴としている。
【０００８】
また、請求項４に係る遠隔操作支援装置は、請求項１乃至３のいずれか１項に係る発明において、前記三次元認識部で認識された前記対象物モデル表現上の対象物座標系における点を、基準座標系の三次元座標に変換する対象物座標変換部と、前記ロボットの各軸の状態を観測することにより得られた前記ロボットモデル表現上のロボット座標系における点を、前記基準座標系の三次元座標に変換するロボット座標変換部と、基準座標系における前記対象物モデル表現上の点の三次元座標および前記ロボットモデル表現上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定する近接状態判定部とを備え、ロボット動作シーケンス決定部は、前記近接状態判定部の判定結果に基づき障害物を回避する動作シーケンスを決定することを特徴としている。
【発明の効果】
【０００９】
本発明によれば、対象物の現在の状態即ち位置及び姿勢が反映された三次元的なモデルを生成し、そのモデルを表示部の同一画面上に表示させることが可能となる。このため、表示部に表示されたモデルに基づいてロボットで操作する操作対象モデルを特定し、オペレータが指示した動作シーケンスに基づいてロボットの動作シーケンスを決定するので、熟練者を要することなく、最適な動作シーケンスを決定することができるという効果が得られる。
【００１０】
また、ロボット動作シーケンス決定部で、三次元認識部で認識した三次元データに基づいて指示された動作シーケンスの移動軌跡上の障害物を探索し、探索した障害物を回避する動作シーケンスを決定することにより、オペレータが障害物を回避する複雑な動作シーケンスを指示する必要がなく、熟練者でなくともロボットの遠隔操作を容易に行うことができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態に係る遠隔操作支援装置について図面を参照しながら説明する。
図１は、本発明の第１実施形態に係る遠隔操作支援装置の概略構成を示すシステム構成図である。
図１において、保守や点検などの作業が行われる三次元空間の作業エリアには、対象物１１を操作するロボット１２およびロボット１２にて操作される対象物１１が配置されている。なお、対象物１１およびロボット１２が配置されている作業エリアは、放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所に設置することができる。また、ロボット１２とは、マニュピュレータなどを含めた遠隔操作で使用される機械装置全般を言う。
【００１２】
ここで、ロボット１２には、対象物１１を把持するグリッパを設け、そのグリッパを三次元空間の任意の位置に移動させたり、任意の方向に回転させたりするアームに連結されている。そして、アームは関節点を介して互いに連結され、各アームはＸ軸、Ｙ軸およびＺ軸を中心として回転自在に構成されている。そして、各アームには軸を設定し、各軸には三次元座標系を設定し、各軸の状態を観測することで、各アームの位置を特定することができる。
【００１３】
一方、ロボット１２にオペレータが指令を出すエリアには、ロボット１２の遠隔操作を支援する遠隔操作支援装置２１が設置されている。
なお、作業環境に設定される三次元座標系を基準座標系、ロボットに設定されるロボット基準の三次元座標系をロボット座標系、それぞれの対象物に設定される対象物基準の三次元座標系を対象物座標系として、以下説明する。
【００１４】
ここで、遠隔操作支援装置２１には、三次元認識部２１ａ、対象物モデル表現部２１ｂ、ロボットモデル表現部２１ｃ、ロボット動作シーケンス指示部２１ｄ、ロボット動作シーケンス決定部２１ｅ、対象物座標変換部２１ｆ、ロボット座標変換部２１ｇ、近接状態判定部２１ｈ、三次元画像生成部２１ｉおよびロボット制御部２１ｊが設けられるとともに、対象物１１の形状を三次元的に測定するレーザスキャナ１３、対象物１１の形状、位置および姿勢を認識するための情報である対象物情報が格納された三次元認識データベース１６、ロボット１２の各軸の状態を検出する状態検出部１９、対象物１１やロボット１２の現在の状態などを表示する表示部としての表示装置２２、環境データ格納部２３、対象物座標格納部２４、ロボット座標格納部２５、対象物変換行列格納部２６およびロボット変換行列格納部２７が接続されている。以下、各部について詳細に説明する。
【００１５】
三次元認識部２１ａは、レーザスキャナ１３を操作してレーザ光にて対象物１１を走査することにより、対象物１１上の点群データを読込み、点群データを基準座標系の三次元座標に変換し、環境データＰ１として環境データ格納部２３に格納する。環境データ格納部２３に格納された環境データＰ１に基づき、三次元認識データベース１６に格納された対象物情報を参照し、対象物１１の特徴点等から対象物１１の形状、位置及び姿勢を特定する。特定された対象物１１の基準座標系における特徴点の三次元座標と、三次元認識データベース１６に格納されている対象物１１の特徴点における対象物座標系の三次元座標と、を用いて対象物１１を対象物座標系から基準座標系へ変換する座標変換行列を算出する。そして、算出した座標変換行列を対象物変換行列格納部２６に格納する。なお、三次元認識データベース１６には、対象物座標系による対象物モデル表現や、対象物座標系による対象物モデル表現上の点の三次元座標等が、対象物情報として格納されている。
【００１６】
三次元認識部２１ａにより算出された座標変換行列は、回転変換要素と並行移動要素からなる４×４の変換行列に対応させることができ、例えば、三次元認識データベース１６に格納されている対象物座標系に予め配置された対象物１１の対象物モデル表現を基準座標系の対象物１１の位置や姿勢に合わせることができる。図２は、三次元認識部２１ａによって求められた変換行列を用いた対象物上の点の変換結果を示す図である。図２において、対象物変換行列格納部２６に格納される変換行列には、回転変換要素Ｒ００〜Ｒ２２と並行移動要素ＴＸ、ＴＹ、ＴＺを設定することができる。そして、三次元認識データベース１６に格納されている対象物１１の対象物座標系における三次元座標に変換行列を乗算することで、対象物１１を基準座標系の三次元座標に変換することができる。
【００１７】
対象物モデル表現部２１ｂは、三次元認識部２１ａで特定した対象物１１の形状と位置と姿勢、対象物変換行列格納部２６に格納されている変換行列、三次元認識データベース１６に格納されている対象物情報を用いて、対象物１１の形状と位置と姿勢とが反映された対象物モデル表現を生成し、生成した対象物モデル表現の画像情報を表示装置２２に送出する。なお、対象物モデル表現には、例えば、コンピュータグラフィクスにて一般的に使用されるサーフィスモデルなどを用いることができる。
【００１８】
ロボットモデル表現部２１ｃは、ロボット状態検出部１９で検出したロボット１２の各軸の状態検出データに基づいてロボット１２の動作状態が反映されたロボットモデル表現を生成する。
具体的には、ロボットモデル表現を生成するために必要なアームなどのロボット１２の構成要素の寸法を遠隔操作支援装置２１に予め登録しておき、ロボット１２の各軸の状態を状態検出部１９で取得し、ロボット１２の各軸１、２、・・・ごとに各軸座標系の変換行列を求め、ロボット変換行列格納部２７に格納する。さらに、ロボット１２の移動しない台座等の３点以上の三次元座標をレーザスキャナ１３で計測し、その計測点の基準座標系における三次元座標とロボット座標系における三次元座標とを用いて座標変換行列を算出し、ロボット座標系と基準座標系との変換行列もロボット変換行列格納部２７に格納する。なお、ロボット１２の各軸の状態検出部１９としては、ロボット１２の各軸の角度を用いることができ、定期的にロボット１２の各軸の現在の軸角度を読み出し、各軸座標系の変換行列（軸１の変換行列、軸２の変換行列、・・・、先端の変換行列）に変換して保存することができる。そして、ロボット１２の状態検出部１９の状態検出データおよびロボット１２の構成要素寸法に基づいて、ロボット１２の実際の動きが反映されたロボット１２と同様な形状を構築することにより、ロボット１２の動作状態が反映されたロボット座標系におけるロボットモデル表現と基準座標系におけるロボットモデル表現とを生成する。
【００１９】
図３は、遠隔操作支援装置に適用されるロボット座標系の一例を示す図である。
図３において、ロボット１２の三次元座標系は、ロボット１２の各軸１、２、・・・ごとに設けることができる。例えば、ロボット１２の基準座標系であるロボット座標系はＸ０・Ｙ０・Ｚ０座標系、軸１の座標系はＸ１・Ｙ１・Ｚ１座標系、軸２の座標系はＸ２・Ｙ２・Ｚ２座標系、・・・、先端の座標系はＸ５・Ｙ５・Ｚ５座標系とすることができる。そして、ロボット１２の各軸間の距離ｄ１、ｄ２、・・・を設定することができる。なお、ロボットモデル表現には、例えば、コンピュータグラフィクスにて一般的に使用されるサーフィスモデルなどを用いることができる。
【００２０】
ロボット動作シーケンス指示部２１ｄは、マウス、キーボード等の図示しないデータ入力部２４を使用して入力される指示情報に基づいて、後述する三次元画像生成手段２１ｉにより表示装置２２に表示されている対象物１１からロボット１２で操作する操作対象モデルを特定し、特定した操作対象モデルの動作シーケンスを生成する。
図４は、ロボット動作シーケンス指示部２１ｄの動作シーケンス指示処理のフローチャートである。この動作シーケンス指示処理は、先ず、ステップＳ１１で、対象物モデル表現部２１ｂで生成した対象物モデル表現の表示情報を後述する三次元画像生成手段２１ｉにて表示装置２２に出力して、三次元認識された全ての対象物モデル表現を表示装置２２に表示する。
【００２１】
次いで、ステップＳ１２に移行して、例えばマウスのドラッグアンドドロップ操作において、カーソルが合わせられドラッグ操作がなされた対象物モデル表現を操作対象となる対象物モデル表現と特定し、ドロップ操作によって移動が完了した対象物モデル表現の位置を操作対象物モデル表現の移動位置と特定する旨のガイダンス情報を表示装置２２に出力する。
【００２２】
次いで、ステップＳ１３に移行して、操作対象モデル表現が特定されたか否かを判定する。この判定は、例えばマウスによってカーソルが所望の対象物モデル表現の表示位置に合わされ、当該対象物モデル表現がドラッグされた場合には、当該対象物モデルが操作対象物モデル表現として特定されたと判定する。
このステップＳ１３の判定結果が、操作対象モデル表現が特定されていない場合にはステップＳ１２に戻り、操作対象モデル表現が特定されている場合にはステップＳ１４に移行して、操作対象物モデル表現の移動位置が入力されたか否かを判定する。この判定は、例えばマウスによってドラッグ操作された操作対象物モデル表現がドロップ操作された場合には、操作対象物モデル表現の移動位置が入力されたと判定する。
【００２３】
前記ステップＳ１４の判定結果が、移動位置が入力されていない場合には前記ステップＳ１２に戻り、移動位置が入力されているときにはステップＳ１５に移行する。ステップＳ１５では、操作対象物モデル表現がステップＳ１１にて表示されていた位置に基づき始点位置を、操作対象物モデル表現がステップＳ１４にて入力された移動位置に基づき終点位置を求め、求めた始点位置および終点位置から操作対象物モデル表現の移動軌跡を生成する。例えば、ロボット１２のグリッパによる対象物の把持位置が既定されている場合には、ステップＳ１１にて表示されていた操作対象物モデル表現上の把持位置を始点位置とし、ステップＳ１４にて入力された移動位置にある操作対象物モデル表現上の把持位置を終点位置として求め、その始点位置および終点位置を結ぶ直線を移動軌跡として生成する。また、操作対象物モデルの把持位置は、マウスによるカーソルが合わせられ、クリックされた位置を把持位置と設定できるようにしても良い。なお、生成する移動軌跡は直線に限定されず、例えば円弧や円弧と直線の組合せとしても良いし、操作対象物モデル表現の移動位置を特定するためのドラッグ操作の軌跡をそのまま移動軌跡として生成しても良い。
【００２４】
次いで、ステップＳ１６に移行し、例えば矢印でなる移動軌跡表示情報を操作画面の表示情報に書込み、次いでステップＳ１７に移行して、操作画面の表示情報を表示装置２２に出力してから処理を終了する。
ロボット動作シーケンス決定部２１ｅは、ロボット動作シーケンス指示部２１ｄで指示された操作対象モデルの動作シーケンスに基づいて操作対象モデルを障害物の回避動作を行いながら移動させる最適な動作シーケンスを決定する。
【００２５】
図５は、ロボット動作シーケンス決定部２１ｅの動作シーケンス決定処理のフローチャートである。この動作シーケンス決定処理は、先ず、ステップＳ２１で、前述した動作シーケンス指示処理で生成した移動軌跡の点データを読み込む。
次いで、ステップＳ２４に移行して、読み込んだ移動軌跡の始点位置を最初のチェック位置に設定し、次いでステップＳ２５に移行して、後述する近接状態判定部２１ｈの判定結果が、チェック位置において対象物が近接状態であるか否かを判定し、近接状態であるときには、ステップＳ２６に移行して、現在チェック位置の下方向に障害物が存在するか否かを判定し、下方向に障害物が存在する場合にはステップＳ２７に移行して、作業環境の最高高さ位置に到達しているか否かを判定し、最高高さ位置に達していないときにはステップＳ２８に移行して、現在チェック位置より上側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
【００２６】
また、前記ステップＳ２６の判定結果が、下方向に障害物が存在しない場合であるとき及び前記ステップＳ２７の判定結果が、最高高さ位置に達した場合であるときには、ステップＳ２９に移行する。このステップＳ２９では、現在チェック位置の上方向に障害物が存在するか否かを判定し、上方向に障害物が存在する場合には、ステップＳ３０に移行して、作業環境の最低高さ位置に到達したか否かを判定し、最低高さ位置に到達していない場合にはステップＳ３１に移行して、現在のチェック位置の下側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
【００２７】
さらに、前記ステップＳ２９の判定結果が、上方向に障害物が存在する場合であるとき及びステップＳ３０の判定結果が最低高さ位置に到達した場合であるときにはステップＳ３２に移行する。このステップＳ３２では、現在チェック位置の左方向に障害物が存在するか否かを判定し、左方向に障害物が存在する場合にはステップＳ３３に移行して、現在チェック位置の右側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
【００２８】
また、前記ステップＳ３２の判定結果が、左方向に障害物が存在しない場合にはステップＳ３４に移行して、現在チェック位置の左側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
さらに、前記ステップＳ２５の判定結果が、近接状態ではないときには、ステップＳ３５に移行し、現在のチェック位置が実移動軌跡上であるか否かを判定し、実移動軌跡上ではないときにはステップＳ３６に移行する。このステップＳ３６では、現在チェック位置の下方向に障害物が存在するか否かを判定し、下方向に障害物が存在する場合にはステップＳ３７に移行して、現在チェック位置から実移動軌跡と平行な直線上の終点側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
【００２９】
また、前記ステップＳ３６の判定結果が、下方向に障害物が存在しない場合にはステップＳ３８に移行して、現在チェック位置の上方向に障害物が存在するか否かを判定し、上方向に障害物が存在する場合には前記ステップＳ３７に移行し、上方向に障害物が存在しない場合にはステップＳ３９に移行する。
このステップＳ３９では、現在チェック位置の右方向に障害物が存在するか否かを判定し、右方向に障害物が存在する場合には前記ステップＳ３７に移行し、右方向に障害物が存在しない場合にはステップＳ４０に移行する。
【００３０】
このステップＳ４０では、現在チェック位置の左方向に障害物が存在するか否かを判定し、左方向に障害物が存在する場合には前記ステップＳ３７に移行し、左方向に障害物が存在しない場合にはステップＳ４１に移行し、現在チェック位置から実移動軌跡への垂線の実移動軌跡に近い側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
【００３１】
また、前記ステップＳ３５の判定結果が、現在チェック位置が実移動軌跡上であるときには、ステップＳ４２に移行して、現在チェック位置より終点よりに仮チェック位置を設定してからステップＳ４３に移行する。
ステップＳ４３では、ステップＳ２８、Ｓ３１、Ｓ３３、Ｓ３４、Ｓ３７、Ｓ４１及びＳ４２で設定した仮チェック位置をチェック位置に設定してからステップＳ４４に移行し、設定されたチェック位置が終点位置であるか否かを判定し、終点位置ではないときには前記ステップＳ２５に戻り、終点位置であるときにはステップＳ４５に移行して、設定されたチェック位置を結んで動作シーケンスを決定してＲＡＭ等のメモリに記憶し、決定された動作シーケンスの表示情報を操作画面の画像情報に書込んで表示装置２２に表示してから動作シーケンス決定処理を終了する。
【００３２】
対象物座標変換部２１ｆは、三次元認識データベース１６に格納されている対象物モデル上の対象物座標系における各点の三次元座標を、対象物変換行列格納部２６に格納されている座標変換行列を用いることにより、基準座標系の三次元座標に変換し、対象物座標格納部２４に格納する。たとえば、対象物座標格納部２４は、対象物１１上の各点についての基準座標系の三次元座標Ａ２、Ｂ２、Ｃ２、・・・が格納されることとなる。
【００３３】
ロボット座標変換部２１ｇは、ロボットモデル表現部２１ｃにて生成されたロボットモデル上のロボット座標系における各点の三次元座標を、ロボット変換行列格納部２５に格納された変換行列を用いて、基準座標系の三次元座標に変換し、ロボット座標格納部２５に格納する。例えば、ロボット座標格納部２５には、ロボット１２上の各点についての基準座標系の三次元座標Ａ１、Ｂ１、Ｃ１、Ｄ１、・・・が格納されることとなる。
【００３４】
例えば、図３における軸１の座標系の点ｃは、以下の（１）式にて基準座標系の三次元座標に変換することができる。
［点ｃの基準座標系の三次元座標］＝（ロボット１２のロボット座標系の変換行列）×（軸１の座標系の変換行列）×（軸１上の点ｃの座標） ・・・（１）
また、例えば、軸２の座標系の点ｂは、以下の（２）式にて基準座標系の三次元座標に変換することができる。
【００３５】
［点ｂの基準座標系の三次元座標］＝（ロボット１２のロボット座標系の変換行列）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸２上の点ｂの座標）
・・・（２）
また、例えば、先端の座標系の点ａは、以下の（３）式にて基準座標系の三次元座標に変換することができる。
【００３６】
［点ａの基準座標系の三次元座標］＝（ロボット１２のロボット座標系の変換行列）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸３の座標系の変換行列）×（軸４の座標系の変換行列）×（先端の座標系の変換行列）×（軸５上の点ａの座標） ・・・（３）
近接状態判定部２１ｈは、対象物１１の基準座標系における三次元座標およびロボット１２の基準座標系における三次元座標に基づいて、対象物１１とロボット１２との近接状態を判定することができる。
【００３７】
図６は、本発明の一実施形態に係るロボットと対象物との近接状態の判定処理を示すフローチャートである。近接状態判定部２１ｈは、ロボット１２上の点の三次元座標をロボット座標格納部２５から取得するとともに（ステップＳ５１）、対象物１１上の点の三次元座標を対象物座標格納部２４から取得する（ステップＳ５２）。そして、近接状態判定部２１ｈは、ロボット１２上の座標点と対象物１１上の座標点とのすべての組み合わせについて、ロボット１２上の座標点と対象物１１上の座標点との間の距離を算出し（ステップＳ５３）、ロボット１２上の座標点と対象物１１上の座標点との間の距離が最小距離Ｌｓより小さいか否かを判断する（ステップＳ５４）。なお、最小距離Ｌｓの初期値は、充分大きな値が与えられているものとする。
【００３８】
そして、ロボット１２上の座標点と対象物１１上の座標点との間の距離が最小距離Ｌｓより小さいときにはその距離を新たな最小距離Ｌｓとして記憶し、さらに係る場合の座標点の位置を記憶し（ステップＳ５５）、次いで座標点のすべての組み合わせをチェックしたか否かを判定し（ステップＳ５６）、ロボット１２上の座標点と対象物１１上の座標点との間の距離が最小距離Ｌｓより大きいときには直接座標点のすべての組み合わせをチェックしたか否かを判定する（ステップＳ５６）。
【００３９】
そして、チェックしていない座標点の組み合わせが存在するときには前記ステップＳ５１に戻り、座標点のすべての組み合わせのチェックを完了したときには記憶されている最小距離Ｌｓが予め設定された近接判定閾値Ｌｔｈ以下であるか否かを判定する（ステップＳ５７）。
この判定結果が、Ｌｓ＞Ｌｔｈであるときには、ロボット１２が対象物１１に近接していないと判断し（ステップＳ５８）、Ｌｓ≦Ｌｔｈであるときには、最短対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置するかどうかを判断する（ステップＳ５９）。
【００４０】
そして、近接状態判定部２１ｈは、対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置しない場合、ロボット１２が対象物１１と衝突する可能性があると判断し（ステップＳ６０）、対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置する場合、ロボット１２が対象物１１に近接していると判断する（ステップＳ６１）。
【００４１】
なお、ロボット１２と対象物１１とが接近または衝突する可能性があると近接状態判定部２１ｈにて判断された場合、遠隔操作支援装置２１は、対象物１１とロボット１２との近接状態を表示装置３６に表示させることもできる。
三次元画像生成部２１ｉは、対象物モデル表現部２１ｂにて基準座標系における対象物モデル表現およびロボットモデル表現部２１ｃにて基準座標系におけるロボットモデル表現が生成されると、三次元空間の指定された視点から見た対象物モデル表現およびロボットモデル表現を三次元的に示す二次元画像を生成し、表示装置２２の同一画面上に重ねて表示させる。なお、対象物モデル表現およびロボットモデル表現を表示装置２２に表示させる場合、ＯｐｅｎＧＬなどのグラフィックスソフトウェアを利用することで、任意の視点から見た対象物モデル表現およびロボットモデル表現を同一画面上に重ねて表示させることができる。
【００４２】
この三次元画像生成部２１ｉは、図７に示す画像生成処理を実行する。この画像生成処理は、先ず、ステップＳ１で、前記対象物モデル表現部２１ｂで認識した最初の対象物モデル表現データを読込み、次いでステップＳ２に移行して、読込んだ対象物モデル表現データを表示装置２２に表示する操作表示画面の表示情報に書込む表示データ書込処理を行い、次いでステップＳ３に移行して、表示データ書込処理を行なっていない対象物モデル表現が存在するか否かを判定し、表示データ書込処理を行なっていない対象物モデル表現が存在する場合には、ステップＳ４に移行して、該当する対象物モデル表現の１つを読込んでから前記ステップＳ２に移行し、表示データ書込処理を行なっていない対象物モデル表現が存在しない場合には、ステップＳ５に移行して、操作表示画面の表示情報を表示装置２２に出力してからステップＳ８に移行する。
【００４３】
ステップＳ８では、ロボットモデル表現部２１ｃで生成した基準座標系におけるロボットモデル表現を操作表示画面の表示情報に書込む表示データ書込処理を行ない、次いでステップＳ９に移行して、操作表示画面の表示情報を表示装置２２に出力してから処理を終了する。
また、ロボット制御部２１ｊは、図８に示すロボット制御処理を実行する。このロボット実行処理は、先ずステップＳ７１で、前述した動作シーケンス決定処理で決定された動作シーケンスの基準座標系における三次元座標値をロボット１２のロボット座標系の座標値に変換するための変換行列を生成する。この変換行列は、予め算出されたロボット１２のロボット座標系を基準座標系に位置合わせするための変換行列の逆行列である。この逆行列を算出することで、基準座標系の座標値をロボット１２のロボット座標系に位置合わせする変換行列を生成できる。
【００４４】
次いで、ステップＳ７２に移行して、前述した動作シーケンス決定処理で設定された動作シーケンスの各チェック位置の基準座標系における三次元座標値を読込み、次いでステップＳ７３に移行して、読込んだ各チェック位置の三次元座標値にステップＳ７１で算出した変換行列を乗算することにより、ロボット１２のロボット座標系の座標値を算出してからステップＳ７４に移行する。
【００４５】
このステップＳ７４では、上記ステップＳ７３で変換したロボット１２のロボット座標系における三次元座標値に基づいて動作シーケンスに沿った操作指令をロボット１２に送信してからロボット制御処理を終了する。
なお、三次元認識部２１ａ、対象物モデル表現部２１ｂ、ロボットモデル表現部２１ｃ、ロボット動作シーケンス指定部２１ｄ、ロボット動作シーケンス決定部２１ｅ、対象物座標変換部２１ｆ、ロボット座標変換部２１ｇ、近接状態判定部２１ｈ、三次元画像生成手段２１ｉおよびロボット制御部２１ｊは、これらで実行される処理を遂行させる命令が記述されたプログラムをコンピュータに実行させることにより実現することができる。
【００４６】
そして、このプログラムをＣＤ−ＲＯＭなどの記憶媒体に記憶しておけば、遠隔操作支援装置２１のコンピュータに記憶媒体を装着し、そのプログラムをコンピュータにインストールすることにより、三次元認識部２１ａ、対象物モデル表現部２１ｂ、ロボットモデル表現部２１ｃ、ロボット動作シーケンス指定部２１ｄ、ロボット動作シーケンス決定部２１ｅ、対象物座標変換部２１ｆ、ロボット座標変換部２１ｇ、近接状態判定部２１ｈ、三次元画像生成手段２１ｉおよびロボット制御部２１ｊで行われる処理を実現することができる。
【００４７】
また、三次元認識部２１ａ、対象物モデル表現部２１ｂ、ロボットモデル表現部２１ｃ、ロボット動作シーケンス指定部２１ｄ、ロボット動作シーケンス決定部２１ｅ、対象物座標変換部２１ｆ、ロボット座標変換部２１ｇ、近接状態判定部２１ｈ、三次元画像生成手段２１ｉおよびロボット制御部２１ｊで行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させる場合、スタンドアロン型コンピュータで実行させるようにしてもよく、ネットワークに接続された複数のコンピュータに分散処理させるようにしてもよい。
【００４８】
次に、上記実施形態の動作を説明する。
先ず、オペレータは、遠隔操作支援装置２１の電源を投入することにより、三次元認識部２１ａで、レーザスキャナ１３を作動させて、レーザ光で対象物１１を走査することにより、対象物１１上の点群データを読込み、この点群データを三次元計測処理して対象物三次元環境データを生成し、生成した三次元環境データを環境データ格納部２３に格納するとともに、生成した三次元環境データと三次元認識データベース１６に格納された対象物情報を参照して、対象物１１の形状、位置および姿勢を特定する。
【００４９】
そして、対象物モデル表現部２１ｂで、三次元認識部２１ａで認識された各対象物１１のモデル表現が生成される。
一方、ロボットモデル表現部２１ｃでは、ロボット１２の状態検出部１９の状態検出データに基づいて、ロボット１２の実際の動きが反映されたロボット１２と同様な形状を構築することにより、ロボット１２の動作状態が反映されたロボットモデル表現が生成される。
【００５０】
そして、三次元画像生成部２１ｉは、対象物モデル表現およびロボットモデル表現が生成されると、三次元空間の指定された視点から見た対象物モデル表現およびロボットモデル表現を三次元的に示す二次元画像を生成し、表示装置２２の同一画面上に重ねて表示させる。
このため、表示装置２２には、三次元画像生成部２１ｉによって、図９〜図１２に示す環境画像を表示する。
【００５１】
すなわち、図９は、本発明の一実施形態に係る環境データの表示例を示す図である。
図９において、図１のレーザスキャナ１３にて計測された環境データ１７が遠隔操作支援装置２１にて取得され、その環境データが表示装置２２に表示される。
図１０は本発明の一実施形態に係る環境データおよび対象物のモデル表現の表示例を示す図である。
【００５２】
図１０において、対象物１１の形状、位置および姿勢が反映された対象物モデル表現１８が遠隔操作支援装置２１にて生成されると、その対象物モデル表現１８が環境データ１７に重なるようにして表示装置２２に表示される。
図１１は、本発明の一実施形態に係る環境データ１７、対象物のモデル表現１８およびロボットのモデル表現２０の表示例を示す図である。
【００５３】
図１１において、対象物１１の形状、位置および姿勢が反映された対象物モデル表現１８およびロボット１２の実際の動きが反映されたロボットモデル表現２０が遠隔操作支援装置２１にて生成されると、それらの対象物モデル表現１８およびロボットモデル表現２０が環境データ１７に重なるようにして表示装置２２に表示される。
図１２は、本発明の一実施形態に係るグリッパを視点とした対象物のモデル表現の表示例を示す図である。
【００５４】
図１２において、対象物モデル表現１８およびロボットモデル表現２０を三次元的に示す画像の視点を任意に切り替えることにより、例えば、ロボット１２のグリッパを視点とした画像が表示装置２２に表示される。
また、ロボット１２の動作シーケンスを指示したい場合には、ロボット動作シーケンス指示部２１ｄを起動して、図４に示す動作シーケンス指示処理を実行する。この動作シーケンス指示処理では、図１３に示すように、例えばロボット操作環境に配置された複数の対象物１１すなわち棒状部材１１ａとこの棒状部材１１ａの右側に配置された円筒部材１１ｂとこの円筒部材１１ｂの右側に配置された棒状部材１１ａを装着する穴部１１ｃを有する棒状部材被装着部材１１ｄとが、三次元画像生成部２１ｉによって表示装置２２に、操作画面として表示される（ステップＳ１１）。
【００５５】
この状態で、対象物モデル表現をマウスのドラッグアンドドロップ操作を行うことで、操作対象モデルを特定し、特定された操作対象モデルの移動位置を指示する旨のガイダンス情報が例えば画面下側に表示され（ステップＳ１２）、これに基づいて例えばマウスを操作して、カーソルを操作対象物としての棒状部材１１ａの所望位置に移動させ、この状態でマウスをドラッグ状態としてカーソルを棒状部材被装着部材１１ｄの穴部１１ｃに移動させてドロップすることにより、操作対象モデル表現の移動開始位置と移動終了位置が確定する（ステップＳ１３，ステップＳ１４）。操作対象モデル表現の移動開始位置と移動終了位置とから、それぞれロボット１２のアーム先端の始点座標と終点座標を求め、さらに、アーム先端の移動軌跡を生成する（ステップＳ１５）。生成された移動軌跡は、表示装置２２の操作画面に棒状部材１１ａの移動軌跡１５として表示されて、ロボット動作シーケンスが指示される（ステップＳ１６，ステップＳ１７）。このとき、ロボット１２のアーム先端の始点座標から終点座標までの移動軌跡データがＲＡＭ等の記憶部に記憶される。
【００５６】
このロボット動作シーケンス指示部２１ｄによるロボット動作シーケンスの指示が完了すると、ロボット動作シーケンス決定部２１ｅが起動され、図５の動作シーケンス決定処理が実行される。この動作シーケンス決定処理では、先ず、ロボット動作シーケンス指示部２１ｄで生成された移動軌跡１５の移動軌跡データを読み込む（ステップＳ２１）。
この状態で、先ず、移動軌跡の始点位置を最初のチェック位置に設定し（ステップＳ２４）、次いで近接状態判定部２１ｈの判定結果が近接状態であるか否かを判定する（ステップＳ２５）。このとき、円筒部材１１ｂに達する迄の間では、対象物が存在しないので、近接状態判定部２１ｈで算出されるロボット１２の座標点と対象物１１の座標点間の最小距離Ｌｓが近接判定閾値Ｌｔｈより大きな値となることにより、図６の近接状態判定処理で、ステップＳ５７からステップＳ５８に移行して、ロボット１２が対象物に近接していないと判断される。
【００５７】
このため、ステップＳ２５からステップＳ３５に移行し、実移動軌跡上をチェック位置が終点側に移動することにより、ステップＳ４２に移行して、現在チェック位置より指定地終点側位置に仮チェック位置を設定し、次いで、ステップＳ４３に移行して、仮チェック位置をチェック位置に設定してから前記ステップＳ２５に戻ることを繰り返すことにより、終点側に向けてチェック位置が順次移動される。
【００５８】
そして、チェック位置が円筒部材１１ｂに近づくことにより、近接状態判定部２１ｈで算出されるロボット１２の座標点と対象物１１の座標点間の最小距離Ｌｓが小さくなり、Ｌｓ≦Ｌｔｈとなると、図６の近接状態判定処理でステップＳ５７からステップＳ５９に移行し、ロボット１２側の最小距離Ｌｓとなった位置が先端であるか否かによって、対象物に近接していると判断したり、対象物と衝突したりすると判断される。
【００５９】
何れにしても、実際にロボット１２が移動しているわけではないので、対象物に近接又は衝突と判断されたときにはステップＳ２５からステップＳ２６に移行して、障害物回避処理が行なわれる。
この障害物回避処理では、先ず、棒状部材１１ａを把持したロボット１２のチェック位置が実移動軌跡１７上を移動していたので、棒状部材１１ａを把持したロボット１２が障害物となる円筒部材１１ｂに近接したときに、上下方向には障害物が存在せず、しかも左右方向にも障害物が存在しないので、ステップＳ２６、ステップＳ２９及びステップＳ３２を経てステップＳ３４に移行し、現在のチック位置の左側に所定距離離れた仮チック位置を設定する。そして、仮チェック位置がチェック位置に更新される（ステップＳ４３）。
【００６０】
この新たなチェック位置では、図１４に示すように、棒状部材１１ａを把持したロボット１２が円筒部材１１ｂから離間することになり、近接状態判定部２１ｈで算出される最小距離Ｌｓが近接判定用閾値Ｌｔｈより大きくなる。
このため、図５の動作シーケンス決定処理では、ステップＳ２５からステップＳ３５に移行し、実移動軌跡１７から外れているので、ステップＳ３６に移行し、下方向には障害物が存在しないので、ステップＳ３８に移行し、上方向にも障害物が存在しないので、ステップＳ３９に移行し、前回の処理で右方向に円筒部材１１ｂが存在するので、ステップＳ３７に移行して、現在のチェック位置から実移動軌跡１７に平行な直線上の終点側に仮チェック位置を設定する。
【００６１】
その後、円筒部材１１ｂには近接しないが右側に円筒部材１１ｂが存在することにより、実移動軌跡１７と平行な直線上を終点側にチェック位置が順次移動し、右側に円筒部材１１ｂが存在しない状態となると、左側にも障害物が存在しないので、ステップＳ３９からステップＳ４０に移行して、現在のチェック位置から実移動軌跡１７への垂線上に所定距離離れた仮チェック位置を設定する。
【００６２】
この仮チェック位置がチェック位置に設定されると、この状態では実移動軌跡１７上に復帰しているので、以後、回りに障害物が存在しないことにより、実移動軌跡１７上をチック位置が順次移動して、チェック位置が最終位置に達すると、ステップＳ４４からステップＳ４５に移行して、設定されたチェック位置を結んで動作シーケンスを決定してＲＡＭ等のメモリに記憶し、次いでステップＳ４５に移行して、決定された動作シーケンスの表示情報を操作画面の画像情報に書込んで表示装置２２に表示してから動作シーケンス決定処理を終了する。このため、表示装置２２に図１４に示すように、決定されたロボット動作シーケンスが表示される。
【００６３】
このようにロボット動作シーケンス決定部２１でロボット動作シーケンスが決定されると、このロボット動作シーケンスがロボット制御部２１ｊに入力されることにより、このロボット制御部２１ｊで、図８のロボット制御処理を実行する。
なお、図５の動作シーケンス決定処理で、棒状部材１１ａを把持したロボット１２が下側の障害物に近接する状態となった場合には、現在のチェック位置より上方側に所定距離離れた位置に仮チェック位置が設定され、同様に、上側の障害物に近接する状態となった場合には、現在のチェック位置より下方側に所定距離離れた位置に仮チェック位置が設定される。このため、下方又は上方に障害物が存在する場合には、その逆方向すなわち上方又は下方にチェック位置が移動する障害物回避処理が行なわれ、最高高さ位置又は最低高さ位置に到達した場合には、左右方向の回避処理が行なわれる。
【００６４】
このようにロボット動作シーケンス決定部２１ｅでロボット動作シーケンスが決定されると、このロボット動作シーケンスがロボット制御部２１ｊに入力されることにより、このロボット制御部２１ｊで、図８のロボット制御処理を実行する。
このロボット制御処理では、動作シーケンス決定処理で決定された各チェック位置の位置座標を読込み、これにロボット１２の三次元座標系の座標値に変換するための逆行列を乗算することにより、ロボット１２の三次元座標値に変換し、変換した各チェック位置の三次元座標値に基づいてロボット１２を駆動制御することにより、棒状部材１１ａを円筒部材１１ｂを避けながら棒状部材被装着部材１１ｄの穴部１１ｃに装着することができる。
【００６５】
このように、上記実施形態によると、ロボット動作シーケンス指示部２１ｄで、オペレータが表示装置２２に表示された対象物を表示した操作画面を見ながらマウスを操作して、操作対象物とその動作シーケンスを指示することにより、ロボット動作シーケンス決定部２１ｅで、操作対象物を、障害物を避けながら目的位置に移動させるロボット動作シーケンスを決定することができる。このため、熟練を要することなく、ロボット動作シーケンスを決定して、操作対象物を目的位置に正確に移動させることができる。
【００６６】
また、対象物モデル表現およびロボットモデル表現を三次元的に示す画像が表示装置２２上に表示されると、遠隔操作しやすいように視点を切り替えながら、ロボット１２を操作することができる。
これにより、対象物１１およびロボット１２の現在の状態がそれぞれ反映された三次元的な対象物モデル表現およびロボットモデル表現を生成し、その対象物モデル表現１８およびロボットモデル表現２０を同一画面上に三次元的に表示させることが可能となる。このため、対象物１１の位置や姿勢が変化する場合においても、対象物１１およびロボット１２の現在の状態を精度よく表示させることが可能となるとともに、対象物１１およびロボット１２を三次元的にモデル化することにより、複数のカメラを設置することなく、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、ロボット１２による対象物１１の遠隔操作を円滑に行うことが可能となる。
【図面の簡単な説明】
【００６７】
【図１】本発明の第１実施形態に係る遠隔操作支援装置の概略構成および処理の流れを示すブロック図である。
【図２】本発明の一実施形態に係る変換行列を用いた対象物上の点の変換結果を示す図である。
【図３】本発明の一実施形態に係る遠隔操作支援装置に適用されるロボット座標系の一例を示す図である。
【図４】ロボット動作シーケンス指示部で実行する動作シーケンス指示処理手順の一例を示すフローチャートである。
【図５】ロボット動作シーケンス決定部で実行する動作シーケンス決定処理手順の一例を示すフローチャートである。
【図６】本発明の一実施形態に係るロボットと対象物との近接状態の判定方法を示すフローチャートである。
【図７】三次元画像生成部で実行する画像生成処理手順の一例を示すフローチャートである。
【図８】ロボット制御部で実行するロボット制御処理手順の一例を示すフローチャートである。
【図９】本発明の一実施形態に係る環境データの表示例を示す図である。
【図１０】本発明の一実施形態に係る環境データおよび対象物のモデル表現の表示例を示す図である。
【図１１】本発明の一実施形態に係る環境データ、対象物のモデル表現およびロボットのモデル表現の表示例を示す図である。
【図１２】本発明の一実施形態に係るグリッパを視点とした対象物のモデル表現の表示例を示す図である。
【図１３】動作シーケンス指示例を示す図である。
【図１４】動作シーケンス決定例を示す図である。
【符号の説明】
【００６８】
１１ 対象物
１２ ロボット
１３ レーザスキャナ
１５ 移動軌跡
１６ 三次元認識データベース
１７ 実移動軌跡
１８ 対象物のモデル表現
１９ 各軸の状態検出部
２０ ロボットのモデル表現
２１、３５ 遠隔操作支援装置
２１ａ 三次元認識部
２１ｂ 対象物モデル表現部
２１ｃ ロボットモデル表現部
２１ｄ ロボット動作シーケンス指示部
２１ｅ ロボット動作シーケンス決定部
２１ｆ 対象物座標変換部
２１ｇ ロボット座標変換部
２１ｈ 近接状態判定部
２１ｉ 三次元画像生成部
２１ｊ ロボット制御部
２２ 表示装置
２３ 環境データ格納部
２４ 対象物座標格納部
２５ ロボット座標格納部
２６ 対象物変換行列格納部
２７ ロボット変換行列格納部
【技術分野】
【０００１】
本発明は遠隔操作支援装置に関し、特に、原子力設備の原子炉内などのように人間が容易に立ち入ることができない環境下に配置された作業用ロボットを遠隔操作する方法に適用して好適なものである。
【背景技術】
【０００２】
ロボットは、自動車製造や電気・電子機器製造を中心とした製造業において、広く利用されている。しかし、こうした製造用のロボットは、予め、決められた連続作業、例えば、同一部品の把持、移動、組立を主とした用途に限定されて利用されている。
一方、原子力発電所等の人間が立ち入ることができない環境では、形状や大きさの異なる部品の組立作業等を行うために、熟練者が、複数のカメラ映像を利用して、部品の位置及び姿勢を把握しながら、ロボットを遠隔操作しているのが現状である。
【０００３】
一方、定期的に行われる同一作業であっても、前回存在しなかった障害物が存在したり、保守対象である装置の一部が壊れているなど予期せぬ状況の発生にも対処できるようにするために、例えば、特許文献１には、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして記憶し、カメラが捉えた映像と環境モデルから得られる位置決めに関する情報を図形化して表示した画像とを合成した合成画像を表示することで、手動操作を誘導できるようにする方法が開示されている。
【特許文献１】特開２００３−３１１６６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された従来例の方法では、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして用意する必要があるため、遠隔操作される対象の配置が事前に判っている必要があるだけでなく、対象物が環境モデルに登録された所定の位置に存在していることが前提となっており、遠隔操作される対象の状態が操作時にも同様に保たれている必要がある。
【０００５】
このため、特許文献１に開示された従来例の方法では、対象物の位置が初期の位置と異なっていたり、操作時に対象物の位置が変わったりすると、対象物の遠隔操作ができなくなる上に、対象物自体が新しいものである場合や対象物を移動させる動作シーケンスが決定されていない場合には適用することができないという未解決の課題がある。
そこで、本発明は上記従来例の未解決の課題に着目してなされたものであり、対象物の位置や姿勢が事前に判らない場合においても、対象物の動作シーケンスを指示して、最適な動作シーケンスを決定することが可能な遠隔操作支援装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に係る遠隔操作支援装置は、三次元測定機で測定した点群データに基づいて対象物を三次元認識し、当該対象物の形状と位置と姿勢とを特定する三次元認識部と、該三次元認識部で特定した対象物の形状と位置と姿勢とが反映された対象物モデル表現を生成する対象物モデル表現部と、該対象物モデル表現部で生成した対象物モデル表現を表示する表示部と、外部からの指示情報に基づいて、前記表示部で表示されている対象物モデルからロボットで操作する操作対象モデルを特定し、さらに当該操作対象モデルのロボットによる動作シーケンスを生成するロボット動作シーケンス指示部と、該ロボット動作シーケンス指示部で指示した動作シーケンスに基づいて障害物を回避する前記ロボットの動作シーケンスを決定し、決定した動作シーケンスを前記表示部に出力するロボット動作シーケンス決定部とを備えたことを特徴としている。
【０００７】
また、請求項２に係る遠隔操作支援装置は、請求項１に係る発明において、前記ロボット動作シーケンス決定部は、前記三次元認識部で認識した対象物の形状と位置と姿勢とに基づいて前記生成された動作シーケンスの移動軌跡上の障害物を探索し、探索した障害物を回避する動作シーケンスを決定するように構成されていることを特徴としている。
また、請求項３に係る遠隔操作支援装置は、請求項１又は２に係る発明において、ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するロボットモデル表現部と、三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を前記表示部の同一画面上に三次元的に表示させる三次元画像生成部とを備えることを特徴としている。
【０００８】
また、請求項４に係る遠隔操作支援装置は、請求項１乃至３のいずれか１項に係る発明において、前記三次元認識部で認識された前記対象物モデル表現上の対象物座標系における点を、基準座標系の三次元座標に変換する対象物座標変換部と、前記ロボットの各軸の状態を観測することにより得られた前記ロボットモデル表現上のロボット座標系における点を、前記基準座標系の三次元座標に変換するロボット座標変換部と、基準座標系における前記対象物モデル表現上の点の三次元座標および前記ロボットモデル表現上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定する近接状態判定部とを備え、ロボット動作シーケンス決定部は、前記近接状態判定部の判定結果に基づき障害物を回避する動作シーケンスを決定することを特徴としている。
【発明の効果】
【０００９】
本発明によれば、対象物の現在の状態即ち位置及び姿勢が反映された三次元的なモデルを生成し、そのモデルを表示部の同一画面上に表示させることが可能となる。このため、表示部に表示されたモデルに基づいてロボットで操作する操作対象モデルを特定し、オペレータが指示した動作シーケンスに基づいてロボットの動作シーケンスを決定するので、熟練者を要することなく、最適な動作シーケンスを決定することができるという効果が得られる。
【００１０】
また、ロボット動作シーケンス決定部で、三次元認識部で認識した三次元データに基づいて指示された動作シーケンスの移動軌跡上の障害物を探索し、探索した障害物を回避する動作シーケンスを決定することにより、オペレータが障害物を回避する複雑な動作シーケンスを指示する必要がなく、熟練者でなくともロボットの遠隔操作を容易に行うことができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態に係る遠隔操作支援装置について図面を参照しながら説明する。
図１は、本発明の第１実施形態に係る遠隔操作支援装置の概略構成を示すシステム構成図である。
図１において、保守や点検などの作業が行われる三次元空間の作業エリアには、対象物１１を操作するロボット１２およびロボット１２にて操作される対象物１１が配置されている。なお、対象物１１およびロボット１２が配置されている作業エリアは、放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所に設置することができる。また、ロボット１２とは、マニュピュレータなどを含めた遠隔操作で使用される機械装置全般を言う。
【００１２】
ここで、ロボット１２には、対象物１１を把持するグリッパを設け、そのグリッパを三次元空間の任意の位置に移動させたり、任意の方向に回転させたりするアームに連結されている。そして、アームは関節点を介して互いに連結され、各アームはＸ軸、Ｙ軸およびＺ軸を中心として回転自在に構成されている。そして、各アームには軸を設定し、各軸には三次元座標系を設定し、各軸の状態を観測することで、各アームの位置を特定することができる。
【００１３】
一方、ロボット１２にオペレータが指令を出すエリアには、ロボット１２の遠隔操作を支援する遠隔操作支援装置２１が設置されている。
なお、作業環境に設定される三次元座標系を基準座標系、ロボットに設定されるロボット基準の三次元座標系をロボット座標系、それぞれの対象物に設定される対象物基準の三次元座標系を対象物座標系として、以下説明する。
【００１４】
ここで、遠隔操作支援装置２１には、三次元認識部２１ａ、対象物モデル表現部２１ｂ、ロボットモデル表現部２１ｃ、ロボット動作シーケンス指示部２１ｄ、ロボット動作シーケンス決定部２１ｅ、対象物座標変換部２１ｆ、ロボット座標変換部２１ｇ、近接状態判定部２１ｈ、三次元画像生成部２１ｉおよびロボット制御部２１ｊが設けられるとともに、対象物１１の形状を三次元的に測定するレーザスキャナ１３、対象物１１の形状、位置および姿勢を認識するための情報である対象物情報が格納された三次元認識データベース１６、ロボット１２の各軸の状態を検出する状態検出部１９、対象物１１やロボット１２の現在の状態などを表示する表示部としての表示装置２２、環境データ格納部２３、対象物座標格納部２４、ロボット座標格納部２５、対象物変換行列格納部２６およびロボット変換行列格納部２７が接続されている。以下、各部について詳細に説明する。
【００１５】
三次元認識部２１ａは、レーザスキャナ１３を操作してレーザ光にて対象物１１を走査することにより、対象物１１上の点群データを読込み、点群データを基準座標系の三次元座標に変換し、環境データＰ１として環境データ格納部２３に格納する。環境データ格納部２３に格納された環境データＰ１に基づき、三次元認識データベース１６に格納された対象物情報を参照し、対象物１１の特徴点等から対象物１１の形状、位置及び姿勢を特定する。特定された対象物１１の基準座標系における特徴点の三次元座標と、三次元認識データベース１６に格納されている対象物１１の特徴点における対象物座標系の三次元座標と、を用いて対象物１１を対象物座標系から基準座標系へ変換する座標変換行列を算出する。そして、算出した座標変換行列を対象物変換行列格納部２６に格納する。なお、三次元認識データベース１６には、対象物座標系による対象物モデル表現や、対象物座標系による対象物モデル表現上の点の三次元座標等が、対象物情報として格納されている。
【００１６】
三次元認識部２１ａにより算出された座標変換行列は、回転変換要素と並行移動要素からなる４×４の変換行列に対応させることができ、例えば、三次元認識データベース１６に格納されている対象物座標系に予め配置された対象物１１の対象物モデル表現を基準座標系の対象物１１の位置や姿勢に合わせることができる。図２は、三次元認識部２１ａによって求められた変換行列を用いた対象物上の点の変換結果を示す図である。図２において、対象物変換行列格納部２６に格納される変換行列には、回転変換要素Ｒ００〜Ｒ２２と並行移動要素ＴＸ、ＴＹ、ＴＺを設定することができる。そして、三次元認識データベース１６に格納されている対象物１１の対象物座標系における三次元座標に変換行列を乗算することで、対象物１１を基準座標系の三次元座標に変換することができる。
【００１７】
対象物モデル表現部２１ｂは、三次元認識部２１ａで特定した対象物１１の形状と位置と姿勢、対象物変換行列格納部２６に格納されている変換行列、三次元認識データベース１６に格納されている対象物情報を用いて、対象物１１の形状と位置と姿勢とが反映された対象物モデル表現を生成し、生成した対象物モデル表現の画像情報を表示装置２２に送出する。なお、対象物モデル表現には、例えば、コンピュータグラフィクスにて一般的に使用されるサーフィスモデルなどを用いることができる。
【００１８】
ロボットモデル表現部２１ｃは、ロボット状態検出部１９で検出したロボット１２の各軸の状態検出データに基づいてロボット１２の動作状態が反映されたロボットモデル表現を生成する。
具体的には、ロボットモデル表現を生成するために必要なアームなどのロボット１２の構成要素の寸法を遠隔操作支援装置２１に予め登録しておき、ロボット１２の各軸の状態を状態検出部１９で取得し、ロボット１２の各軸１、２、・・・ごとに各軸座標系の変換行列を求め、ロボット変換行列格納部２７に格納する。さらに、ロボット１２の移動しない台座等の３点以上の三次元座標をレーザスキャナ１３で計測し、その計測点の基準座標系における三次元座標とロボット座標系における三次元座標とを用いて座標変換行列を算出し、ロボット座標系と基準座標系との変換行列もロボット変換行列格納部２７に格納する。なお、ロボット１２の各軸の状態検出部１９としては、ロボット１２の各軸の角度を用いることができ、定期的にロボット１２の各軸の現在の軸角度を読み出し、各軸座標系の変換行列（軸１の変換行列、軸２の変換行列、・・・、先端の変換行列）に変換して保存することができる。そして、ロボット１２の状態検出部１９の状態検出データおよびロボット１２の構成要素寸法に基づいて、ロボット１２の実際の動きが反映されたロボット１２と同様な形状を構築することにより、ロボット１２の動作状態が反映されたロボット座標系におけるロボットモデル表現と基準座標系におけるロボットモデル表現とを生成する。
【００１９】
図３は、遠隔操作支援装置に適用されるロボット座標系の一例を示す図である。
図３において、ロボット１２の三次元座標系は、ロボット１２の各軸１、２、・・・ごとに設けることができる。例えば、ロボット１２の基準座標系であるロボット座標系はＸ０・Ｙ０・Ｚ０座標系、軸１の座標系はＸ１・Ｙ１・Ｚ１座標系、軸２の座標系はＸ２・Ｙ２・Ｚ２座標系、・・・、先端の座標系はＸ５・Ｙ５・Ｚ５座標系とすることができる。そして、ロボット１２の各軸間の距離ｄ１、ｄ２、・・・を設定することができる。なお、ロボットモデル表現には、例えば、コンピュータグラフィクスにて一般的に使用されるサーフィスモデルなどを用いることができる。
【００２０】
ロボット動作シーケンス指示部２１ｄは、マウス、キーボード等の図示しないデータ入力部２４を使用して入力される指示情報に基づいて、後述する三次元画像生成手段２１ｉにより表示装置２２に表示されている対象物１１からロボット１２で操作する操作対象モデルを特定し、特定した操作対象モデルの動作シーケンスを生成する。
図４は、ロボット動作シーケンス指示部２１ｄの動作シーケンス指示処理のフローチャートである。この動作シーケンス指示処理は、先ず、ステップＳ１１で、対象物モデル表現部２１ｂで生成した対象物モデル表現の表示情報を後述する三次元画像生成手段２１ｉにて表示装置２２に出力して、三次元認識された全ての対象物モデル表現を表示装置２２に表示する。
【００２１】
次いで、ステップＳ１２に移行して、例えばマウスのドラッグアンドドロップ操作において、カーソルが合わせられドラッグ操作がなされた対象物モデル表現を操作対象となる対象物モデル表現と特定し、ドロップ操作によって移動が完了した対象物モデル表現の位置を操作対象物モデル表現の移動位置と特定する旨のガイダンス情報を表示装置２２に出力する。
【００２２】
次いで、ステップＳ１３に移行して、操作対象モデル表現が特定されたか否かを判定する。この判定は、例えばマウスによってカーソルが所望の対象物モデル表現の表示位置に合わされ、当該対象物モデル表現がドラッグされた場合には、当該対象物モデルが操作対象物モデル表現として特定されたと判定する。
このステップＳ１３の判定結果が、操作対象モデル表現が特定されていない場合にはステップＳ１２に戻り、操作対象モデル表現が特定されている場合にはステップＳ１４に移行して、操作対象物モデル表現の移動位置が入力されたか否かを判定する。この判定は、例えばマウスによってドラッグ操作された操作対象物モデル表現がドロップ操作された場合には、操作対象物モデル表現の移動位置が入力されたと判定する。
【００２３】
前記ステップＳ１４の判定結果が、移動位置が入力されていない場合には前記ステップＳ１２に戻り、移動位置が入力されているときにはステップＳ１５に移行する。ステップＳ１５では、操作対象物モデル表現がステップＳ１１にて表示されていた位置に基づき始点位置を、操作対象物モデル表現がステップＳ１４にて入力された移動位置に基づき終点位置を求め、求めた始点位置および終点位置から操作対象物モデル表現の移動軌跡を生成する。例えば、ロボット１２のグリッパによる対象物の把持位置が既定されている場合には、ステップＳ１１にて表示されていた操作対象物モデル表現上の把持位置を始点位置とし、ステップＳ１４にて入力された移動位置にある操作対象物モデル表現上の把持位置を終点位置として求め、その始点位置および終点位置を結ぶ直線を移動軌跡として生成する。また、操作対象物モデルの把持位置は、マウスによるカーソルが合わせられ、クリックされた位置を把持位置と設定できるようにしても良い。なお、生成する移動軌跡は直線に限定されず、例えば円弧や円弧と直線の組合せとしても良いし、操作対象物モデル表現の移動位置を特定するためのドラッグ操作の軌跡をそのまま移動軌跡として生成しても良い。
【００２４】
次いで、ステップＳ１６に移行し、例えば矢印でなる移動軌跡表示情報を操作画面の表示情報に書込み、次いでステップＳ１７に移行して、操作画面の表示情報を表示装置２２に出力してから処理を終了する。
ロボット動作シーケンス決定部２１ｅは、ロボット動作シーケンス指示部２１ｄで指示された操作対象モデルの動作シーケンスに基づいて操作対象モデルを障害物の回避動作を行いながら移動させる最適な動作シーケンスを決定する。
【００２５】
図５は、ロボット動作シーケンス決定部２１ｅの動作シーケンス決定処理のフローチャートである。この動作シーケンス決定処理は、先ず、ステップＳ２１で、前述した動作シーケンス指示処理で生成した移動軌跡の点データを読み込む。
次いで、ステップＳ２４に移行して、読み込んだ移動軌跡の始点位置を最初のチェック位置に設定し、次いでステップＳ２５に移行して、後述する近接状態判定部２１ｈの判定結果が、チェック位置において対象物が近接状態であるか否かを判定し、近接状態であるときには、ステップＳ２６に移行して、現在チェック位置の下方向に障害物が存在するか否かを判定し、下方向に障害物が存在する場合にはステップＳ２７に移行して、作業環境の最高高さ位置に到達しているか否かを判定し、最高高さ位置に達していないときにはステップＳ２８に移行して、現在チェック位置より上側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
【００２６】
また、前記ステップＳ２６の判定結果が、下方向に障害物が存在しない場合であるとき及び前記ステップＳ２７の判定結果が、最高高さ位置に達した場合であるときには、ステップＳ２９に移行する。このステップＳ２９では、現在チェック位置の上方向に障害物が存在するか否かを判定し、上方向に障害物が存在する場合には、ステップＳ３０に移行して、作業環境の最低高さ位置に到達したか否かを判定し、最低高さ位置に到達していない場合にはステップＳ３１に移行して、現在のチェック位置の下側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
【００２７】
さらに、前記ステップＳ２９の判定結果が、上方向に障害物が存在する場合であるとき及びステップＳ３０の判定結果が最低高さ位置に到達した場合であるときにはステップＳ３２に移行する。このステップＳ３２では、現在チェック位置の左方向に障害物が存在するか否かを判定し、左方向に障害物が存在する場合にはステップＳ３３に移行して、現在チェック位置の右側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
【００２８】
また、前記ステップＳ３２の判定結果が、左方向に障害物が存在しない場合にはステップＳ３４に移行して、現在チェック位置の左側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
さらに、前記ステップＳ２５の判定結果が、近接状態ではないときには、ステップＳ３５に移行し、現在のチェック位置が実移動軌跡上であるか否かを判定し、実移動軌跡上ではないときにはステップＳ３６に移行する。このステップＳ３６では、現在チェック位置の下方向に障害物が存在するか否かを判定し、下方向に障害物が存在する場合にはステップＳ３７に移行して、現在チェック位置から実移動軌跡と平行な直線上の終点側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
【００２９】
また、前記ステップＳ３６の判定結果が、下方向に障害物が存在しない場合にはステップＳ３８に移行して、現在チェック位置の上方向に障害物が存在するか否かを判定し、上方向に障害物が存在する場合には前記ステップＳ３７に移行し、上方向に障害物が存在しない場合にはステップＳ３９に移行する。
このステップＳ３９では、現在チェック位置の右方向に障害物が存在するか否かを判定し、右方向に障害物が存在する場合には前記ステップＳ３７に移行し、右方向に障害物が存在しない場合にはステップＳ４０に移行する。
【００３０】
このステップＳ４０では、現在チェック位置の左方向に障害物が存在するか否かを判定し、左方向に障害物が存在する場合には前記ステップＳ３７に移行し、左方向に障害物が存在しない場合にはステップＳ４１に移行し、現在チェック位置から実移動軌跡への垂線の実移動軌跡に近い側に仮チェック位置を設定してから後述するステップＳ４３に移行する。
【００３１】
また、前記ステップＳ３５の判定結果が、現在チェック位置が実移動軌跡上であるときには、ステップＳ４２に移行して、現在チェック位置より終点よりに仮チェック位置を設定してからステップＳ４３に移行する。
ステップＳ４３では、ステップＳ２８、Ｓ３１、Ｓ３３、Ｓ３４、Ｓ３７、Ｓ４１及びＳ４２で設定した仮チェック位置をチェック位置に設定してからステップＳ４４に移行し、設定されたチェック位置が終点位置であるか否かを判定し、終点位置ではないときには前記ステップＳ２５に戻り、終点位置であるときにはステップＳ４５に移行して、設定されたチェック位置を結んで動作シーケンスを決定してＲＡＭ等のメモリに記憶し、決定された動作シーケンスの表示情報を操作画面の画像情報に書込んで表示装置２２に表示してから動作シーケンス決定処理を終了する。
【００３２】
対象物座標変換部２１ｆは、三次元認識データベース１６に格納されている対象物モデル上の対象物座標系における各点の三次元座標を、対象物変換行列格納部２６に格納されている座標変換行列を用いることにより、基準座標系の三次元座標に変換し、対象物座標格納部２４に格納する。たとえば、対象物座標格納部２４は、対象物１１上の各点についての基準座標系の三次元座標Ａ２、Ｂ２、Ｃ２、・・・が格納されることとなる。
【００３３】
ロボット座標変換部２１ｇは、ロボットモデル表現部２１ｃにて生成されたロボットモデル上のロボット座標系における各点の三次元座標を、ロボット変換行列格納部２５に格納された変換行列を用いて、基準座標系の三次元座標に変換し、ロボット座標格納部２５に格納する。例えば、ロボット座標格納部２５には、ロボット１２上の各点についての基準座標系の三次元座標Ａ１、Ｂ１、Ｃ１、Ｄ１、・・・が格納されることとなる。
【００３４】
例えば、図３における軸１の座標系の点ｃは、以下の（１）式にて基準座標系の三次元座標に変換することができる。
［点ｃの基準座標系の三次元座標］＝（ロボット１２のロボット座標系の変換行列）×（軸１の座標系の変換行列）×（軸１上の点ｃの座標） ・・・（１）
また、例えば、軸２の座標系の点ｂは、以下の（２）式にて基準座標系の三次元座標に変換することができる。
【００３５】
［点ｂの基準座標系の三次元座標］＝（ロボット１２のロボット座標系の変換行列）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸２上の点ｂの座標）
・・・（２）
また、例えば、先端の座標系の点ａは、以下の（３）式にて基準座標系の三次元座標に変換することができる。
【００３６】
［点ａの基準座標系の三次元座標］＝（ロボット１２のロボット座標系の変換行列）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸３の座標系の変換行列）×（軸４の座標系の変換行列）×（先端の座標系の変換行列）×（軸５上の点ａの座標） ・・・（３）
近接状態判定部２１ｈは、対象物１１の基準座標系における三次元座標およびロボット１２の基準座標系における三次元座標に基づいて、対象物１１とロボット１２との近接状態を判定することができる。
【００３７】
図６は、本発明の一実施形態に係るロボットと対象物との近接状態の判定処理を示すフローチャートである。近接状態判定部２１ｈは、ロボット１２上の点の三次元座標をロボット座標格納部２５から取得するとともに（ステップＳ５１）、対象物１１上の点の三次元座標を対象物座標格納部２４から取得する（ステップＳ５２）。そして、近接状態判定部２１ｈは、ロボット１２上の座標点と対象物１１上の座標点とのすべての組み合わせについて、ロボット１２上の座標点と対象物１１上の座標点との間の距離を算出し（ステップＳ５３）、ロボット１２上の座標点と対象物１１上の座標点との間の距離が最小距離Ｌｓより小さいか否かを判断する（ステップＳ５４）。なお、最小距離Ｌｓの初期値は、充分大きな値が与えられているものとする。
【００３８】
そして、ロボット１２上の座標点と対象物１１上の座標点との間の距離が最小距離Ｌｓより小さいときにはその距離を新たな最小距離Ｌｓとして記憶し、さらに係る場合の座標点の位置を記憶し（ステップＳ５５）、次いで座標点のすべての組み合わせをチェックしたか否かを判定し（ステップＳ５６）、ロボット１２上の座標点と対象物１１上の座標点との間の距離が最小距離Ｌｓより大きいときには直接座標点のすべての組み合わせをチェックしたか否かを判定する（ステップＳ５６）。
【００３９】
そして、チェックしていない座標点の組み合わせが存在するときには前記ステップＳ５１に戻り、座標点のすべての組み合わせのチェックを完了したときには記憶されている最小距離Ｌｓが予め設定された近接判定閾値Ｌｔｈ以下であるか否かを判定する（ステップＳ５７）。
この判定結果が、Ｌｓ＞Ｌｔｈであるときには、ロボット１２が対象物１１に近接していないと判断し（ステップＳ５８）、Ｌｓ≦Ｌｔｈであるときには、最短対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置するかどうかを判断する（ステップＳ５９）。
【００４０】
そして、近接状態判定部２１ｈは、対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置しない場合、ロボット１２が対象物１１と衝突する可能性があると判断し（ステップＳ６０）、対象物１１上の座標点との間で最小の距離となるロボット１２上の座標点が先端に位置する場合、ロボット１２が対象物１１に近接していると判断する（ステップＳ６１）。
【００４１】
なお、ロボット１２と対象物１１とが接近または衝突する可能性があると近接状態判定部２１ｈにて判断された場合、遠隔操作支援装置２１は、対象物１１とロボット１２との近接状態を表示装置３６に表示させることもできる。
三次元画像生成部２１ｉは、対象物モデル表現部２１ｂにて基準座標系における対象物モデル表現およびロボットモデル表現部２１ｃにて基準座標系におけるロボットモデル表現が生成されると、三次元空間の指定された視点から見た対象物モデル表現およびロボットモデル表現を三次元的に示す二次元画像を生成し、表示装置２２の同一画面上に重ねて表示させる。なお、対象物モデル表現およびロボットモデル表現を表示装置２２に表示させる場合、ＯｐｅｎＧＬなどのグラフィックスソフトウェアを利用することで、任意の視点から見た対象物モデル表現およびロボットモデル表現を同一画面上に重ねて表示させることができる。
【００４２】
この三次元画像生成部２１ｉは、図７に示す画像生成処理を実行する。この画像生成処理は、先ず、ステップＳ１で、前記対象物モデル表現部２１ｂで認識した最初の対象物モデル表現データを読込み、次いでステップＳ２に移行して、読込んだ対象物モデル表現データを表示装置２２に表示する操作表示画面の表示情報に書込む表示データ書込処理を行い、次いでステップＳ３に移行して、表示データ書込処理を行なっていない対象物モデル表現が存在するか否かを判定し、表示データ書込処理を行なっていない対象物モデル表現が存在する場合には、ステップＳ４に移行して、該当する対象物モデル表現の１つを読込んでから前記ステップＳ２に移行し、表示データ書込処理を行なっていない対象物モデル表現が存在しない場合には、ステップＳ５に移行して、操作表示画面の表示情報を表示装置２２に出力してからステップＳ８に移行する。
【００４３】
ステップＳ８では、ロボットモデル表現部２１ｃで生成した基準座標系におけるロボットモデル表現を操作表示画面の表示情報に書込む表示データ書込処理を行ない、次いでステップＳ９に移行して、操作表示画面の表示情報を表示装置２２に出力してから処理を終了する。
また、ロボット制御部２１ｊは、図８に示すロボット制御処理を実行する。このロボット実行処理は、先ずステップＳ７１で、前述した動作シーケンス決定処理で決定された動作シーケンスの基準座標系における三次元座標値をロボット１２のロボット座標系の座標値に変換するための変換行列を生成する。この変換行列は、予め算出されたロボット１２のロボット座標系を基準座標系に位置合わせするための変換行列の逆行列である。この逆行列を算出することで、基準座標系の座標値をロボット１２のロボット座標系に位置合わせする変換行列を生成できる。
【００４４】
次いで、ステップＳ７２に移行して、前述した動作シーケンス決定処理で設定された動作シーケンスの各チェック位置の基準座標系における三次元座標値を読込み、次いでステップＳ７３に移行して、読込んだ各チェック位置の三次元座標値にステップＳ７１で算出した変換行列を乗算することにより、ロボット１２のロボット座標系の座標値を算出してからステップＳ７４に移行する。
【００４５】
このステップＳ７４では、上記ステップＳ７３で変換したロボット１２のロボット座標系における三次元座標値に基づいて動作シーケンスに沿った操作指令をロボット１２に送信してからロボット制御処理を終了する。
なお、三次元認識部２１ａ、対象物モデル表現部２１ｂ、ロボットモデル表現部２１ｃ、ロボット動作シーケンス指定部２１ｄ、ロボット動作シーケンス決定部２１ｅ、対象物座標変換部２１ｆ、ロボット座標変換部２１ｇ、近接状態判定部２１ｈ、三次元画像生成手段２１ｉおよびロボット制御部２１ｊは、これらで実行される処理を遂行させる命令が記述されたプログラムをコンピュータに実行させることにより実現することができる。
【００４６】
そして、このプログラムをＣＤ−ＲＯＭなどの記憶媒体に記憶しておけば、遠隔操作支援装置２１のコンピュータに記憶媒体を装着し、そのプログラムをコンピュータにインストールすることにより、三次元認識部２１ａ、対象物モデル表現部２１ｂ、ロボットモデル表現部２１ｃ、ロボット動作シーケンス指定部２１ｄ、ロボット動作シーケンス決定部２１ｅ、対象物座標変換部２１ｆ、ロボット座標変換部２１ｇ、近接状態判定部２１ｈ、三次元画像生成手段２１ｉおよびロボット制御部２１ｊで行われる処理を実現することができる。
【００４７】
また、三次元認識部２１ａ、対象物モデル表現部２１ｂ、ロボットモデル表現部２１ｃ、ロボット動作シーケンス指定部２１ｄ、ロボット動作シーケンス決定部２１ｅ、対象物座標変換部２１ｆ、ロボット座標変換部２１ｇ、近接状態判定部２１ｈ、三次元画像生成手段２１ｉおよびロボット制御部２１ｊで行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させる場合、スタンドアロン型コンピュータで実行させるようにしてもよく、ネットワークに接続された複数のコンピュータに分散処理させるようにしてもよい。
【００４８】
次に、上記実施形態の動作を説明する。
先ず、オペレータは、遠隔操作支援装置２１の電源を投入することにより、三次元認識部２１ａで、レーザスキャナ１３を作動させて、レーザ光で対象物１１を走査することにより、対象物１１上の点群データを読込み、この点群データを三次元計測処理して対象物三次元環境データを生成し、生成した三次元環境データを環境データ格納部２３に格納するとともに、生成した三次元環境データと三次元認識データベース１６に格納された対象物情報を参照して、対象物１１の形状、位置および姿勢を特定する。
【００４９】
そして、対象物モデル表現部２１ｂで、三次元認識部２１ａで認識された各対象物１１のモデル表現が生成される。
一方、ロボットモデル表現部２１ｃでは、ロボット１２の状態検出部１９の状態検出データに基づいて、ロボット１２の実際の動きが反映されたロボット１２と同様な形状を構築することにより、ロボット１２の動作状態が反映されたロボットモデル表現が生成される。
【００５０】
そして、三次元画像生成部２１ｉは、対象物モデル表現およびロボットモデル表現が生成されると、三次元空間の指定された視点から見た対象物モデル表現およびロボットモデル表現を三次元的に示す二次元画像を生成し、表示装置２２の同一画面上に重ねて表示させる。
このため、表示装置２２には、三次元画像生成部２１ｉによって、図９〜図１２に示す環境画像を表示する。
【００５１】
すなわち、図９は、本発明の一実施形態に係る環境データの表示例を示す図である。
図９において、図１のレーザスキャナ１３にて計測された環境データ１７が遠隔操作支援装置２１にて取得され、その環境データが表示装置２２に表示される。
図１０は本発明の一実施形態に係る環境データおよび対象物のモデル表現の表示例を示す図である。
【００５２】
図１０において、対象物１１の形状、位置および姿勢が反映された対象物モデル表現１８が遠隔操作支援装置２１にて生成されると、その対象物モデル表現１８が環境データ１７に重なるようにして表示装置２２に表示される。
図１１は、本発明の一実施形態に係る環境データ１７、対象物のモデル表現１８およびロボットのモデル表現２０の表示例を示す図である。
【００５３】
図１１において、対象物１１の形状、位置および姿勢が反映された対象物モデル表現１８およびロボット１２の実際の動きが反映されたロボットモデル表現２０が遠隔操作支援装置２１にて生成されると、それらの対象物モデル表現１８およびロボットモデル表現２０が環境データ１７に重なるようにして表示装置２２に表示される。
図１２は、本発明の一実施形態に係るグリッパを視点とした対象物のモデル表現の表示例を示す図である。
【００５４】
図１２において、対象物モデル表現１８およびロボットモデル表現２０を三次元的に示す画像の視点を任意に切り替えることにより、例えば、ロボット１２のグリッパを視点とした画像が表示装置２２に表示される。
また、ロボット１２の動作シーケンスを指示したい場合には、ロボット動作シーケンス指示部２１ｄを起動して、図４に示す動作シーケンス指示処理を実行する。この動作シーケンス指示処理では、図１３に示すように、例えばロボット操作環境に配置された複数の対象物１１すなわち棒状部材１１ａとこの棒状部材１１ａの右側に配置された円筒部材１１ｂとこの円筒部材１１ｂの右側に配置された棒状部材１１ａを装着する穴部１１ｃを有する棒状部材被装着部材１１ｄとが、三次元画像生成部２１ｉによって表示装置２２に、操作画面として表示される（ステップＳ１１）。
【００５５】
この状態で、対象物モデル表現をマウスのドラッグアンドドロップ操作を行うことで、操作対象モデルを特定し、特定された操作対象モデルの移動位置を指示する旨のガイダンス情報が例えば画面下側に表示され（ステップＳ１２）、これに基づいて例えばマウスを操作して、カーソルを操作対象物としての棒状部材１１ａの所望位置に移動させ、この状態でマウスをドラッグ状態としてカーソルを棒状部材被装着部材１１ｄの穴部１１ｃに移動させてドロップすることにより、操作対象モデル表現の移動開始位置と移動終了位置が確定する（ステップＳ１３，ステップＳ１４）。操作対象モデル表現の移動開始位置と移動終了位置とから、それぞれロボット１２のアーム先端の始点座標と終点座標を求め、さらに、アーム先端の移動軌跡を生成する（ステップＳ１５）。生成された移動軌跡は、表示装置２２の操作画面に棒状部材１１ａの移動軌跡１５として表示されて、ロボット動作シーケンスが指示される（ステップＳ１６，ステップＳ１７）。このとき、ロボット１２のアーム先端の始点座標から終点座標までの移動軌跡データがＲＡＭ等の記憶部に記憶される。
【００５６】
このロボット動作シーケンス指示部２１ｄによるロボット動作シーケンスの指示が完了すると、ロボット動作シーケンス決定部２１ｅが起動され、図５の動作シーケンス決定処理が実行される。この動作シーケンス決定処理では、先ず、ロボット動作シーケンス指示部２１ｄで生成された移動軌跡１５の移動軌跡データを読み込む（ステップＳ２１）。
この状態で、先ず、移動軌跡の始点位置を最初のチェック位置に設定し（ステップＳ２４）、次いで近接状態判定部２１ｈの判定結果が近接状態であるか否かを判定する（ステップＳ２５）。このとき、円筒部材１１ｂに達する迄の間では、対象物が存在しないので、近接状態判定部２１ｈで算出されるロボット１２の座標点と対象物１１の座標点間の最小距離Ｌｓが近接判定閾値Ｌｔｈより大きな値となることにより、図６の近接状態判定処理で、ステップＳ５７からステップＳ５８に移行して、ロボット１２が対象物に近接していないと判断される。
【００５７】
このため、ステップＳ２５からステップＳ３５に移行し、実移動軌跡上をチェック位置が終点側に移動することにより、ステップＳ４２に移行して、現在チェック位置より指定地終点側位置に仮チェック位置を設定し、次いで、ステップＳ４３に移行して、仮チェック位置をチェック位置に設定してから前記ステップＳ２５に戻ることを繰り返すことにより、終点側に向けてチェック位置が順次移動される。
【００５８】
そして、チェック位置が円筒部材１１ｂに近づくことにより、近接状態判定部２１ｈで算出されるロボット１２の座標点と対象物１１の座標点間の最小距離Ｌｓが小さくなり、Ｌｓ≦Ｌｔｈとなると、図６の近接状態判定処理でステップＳ５７からステップＳ５９に移行し、ロボット１２側の最小距離Ｌｓとなった位置が先端であるか否かによって、対象物に近接していると判断したり、対象物と衝突したりすると判断される。
【００５９】
何れにしても、実際にロボット１２が移動しているわけではないので、対象物に近接又は衝突と判断されたときにはステップＳ２５からステップＳ２６に移行して、障害物回避処理が行なわれる。
この障害物回避処理では、先ず、棒状部材１１ａを把持したロボット１２のチェック位置が実移動軌跡１７上を移動していたので、棒状部材１１ａを把持したロボット１２が障害物となる円筒部材１１ｂに近接したときに、上下方向には障害物が存在せず、しかも左右方向にも障害物が存在しないので、ステップＳ２６、ステップＳ２９及びステップＳ３２を経てステップＳ３４に移行し、現在のチック位置の左側に所定距離離れた仮チック位置を設定する。そして、仮チェック位置がチェック位置に更新される（ステップＳ４３）。
【００６０】
この新たなチェック位置では、図１４に示すように、棒状部材１１ａを把持したロボット１２が円筒部材１１ｂから離間することになり、近接状態判定部２１ｈで算出される最小距離Ｌｓが近接判定用閾値Ｌｔｈより大きくなる。
このため、図５の動作シーケンス決定処理では、ステップＳ２５からステップＳ３５に移行し、実移動軌跡１７から外れているので、ステップＳ３６に移行し、下方向には障害物が存在しないので、ステップＳ３８に移行し、上方向にも障害物が存在しないので、ステップＳ３９に移行し、前回の処理で右方向に円筒部材１１ｂが存在するので、ステップＳ３７に移行して、現在のチェック位置から実移動軌跡１７に平行な直線上の終点側に仮チェック位置を設定する。
【００６１】
その後、円筒部材１１ｂには近接しないが右側に円筒部材１１ｂが存在することにより、実移動軌跡１７と平行な直線上を終点側にチェック位置が順次移動し、右側に円筒部材１１ｂが存在しない状態となると、左側にも障害物が存在しないので、ステップＳ３９からステップＳ４０に移行して、現在のチェック位置から実移動軌跡１７への垂線上に所定距離離れた仮チェック位置を設定する。
【００６２】
この仮チェック位置がチェック位置に設定されると、この状態では実移動軌跡１７上に復帰しているので、以後、回りに障害物が存在しないことにより、実移動軌跡１７上をチック位置が順次移動して、チェック位置が最終位置に達すると、ステップＳ４４からステップＳ４５に移行して、設定されたチェック位置を結んで動作シーケンスを決定してＲＡＭ等のメモリに記憶し、次いでステップＳ４５に移行して、決定された動作シーケンスの表示情報を操作画面の画像情報に書込んで表示装置２２に表示してから動作シーケンス決定処理を終了する。このため、表示装置２２に図１４に示すように、決定されたロボット動作シーケンスが表示される。
【００６３】
このようにロボット動作シーケンス決定部２１でロボット動作シーケンスが決定されると、このロボット動作シーケンスがロボット制御部２１ｊに入力されることにより、このロボット制御部２１ｊで、図８のロボット制御処理を実行する。
なお、図５の動作シーケンス決定処理で、棒状部材１１ａを把持したロボット１２が下側の障害物に近接する状態となった場合には、現在のチェック位置より上方側に所定距離離れた位置に仮チェック位置が設定され、同様に、上側の障害物に近接する状態となった場合には、現在のチェック位置より下方側に所定距離離れた位置に仮チェック位置が設定される。このため、下方又は上方に障害物が存在する場合には、その逆方向すなわち上方又は下方にチェック位置が移動する障害物回避処理が行なわれ、最高高さ位置又は最低高さ位置に到達した場合には、左右方向の回避処理が行なわれる。
【００６４】
このようにロボット動作シーケンス決定部２１ｅでロボット動作シーケンスが決定されると、このロボット動作シーケンスがロボット制御部２１ｊに入力されることにより、このロボット制御部２１ｊで、図８のロボット制御処理を実行する。
このロボット制御処理では、動作シーケンス決定処理で決定された各チェック位置の位置座標を読込み、これにロボット１２の三次元座標系の座標値に変換するための逆行列を乗算することにより、ロボット１２の三次元座標値に変換し、変換した各チェック位置の三次元座標値に基づいてロボット１２を駆動制御することにより、棒状部材１１ａを円筒部材１１ｂを避けながら棒状部材被装着部材１１ｄの穴部１１ｃに装着することができる。
【００６５】
このように、上記実施形態によると、ロボット動作シーケンス指示部２１ｄで、オペレータが表示装置２２に表示された対象物を表示した操作画面を見ながらマウスを操作して、操作対象物とその動作シーケンスを指示することにより、ロボット動作シーケンス決定部２１ｅで、操作対象物を、障害物を避けながら目的位置に移動させるロボット動作シーケンスを決定することができる。このため、熟練を要することなく、ロボット動作シーケンスを決定して、操作対象物を目的位置に正確に移動させることができる。
【００６６】
また、対象物モデル表現およびロボットモデル表現を三次元的に示す画像が表示装置２２上に表示されると、遠隔操作しやすいように視点を切り替えながら、ロボット１２を操作することができる。
これにより、対象物１１およびロボット１２の現在の状態がそれぞれ反映された三次元的な対象物モデル表現およびロボットモデル表現を生成し、その対象物モデル表現１８およびロボットモデル表現２０を同一画面上に三次元的に表示させることが可能となる。このため、対象物１１の位置や姿勢が変化する場合においても、対象物１１およびロボット１２の現在の状態を精度よく表示させることが可能となるとともに、対象物１１およびロボット１２を三次元的にモデル化することにより、複数のカメラを設置することなく、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、ロボット１２による対象物１１の遠隔操作を円滑に行うことが可能となる。
【図面の簡単な説明】
【００６７】
【図１】本発明の第１実施形態に係る遠隔操作支援装置の概略構成および処理の流れを示すブロック図である。
【図２】本発明の一実施形態に係る変換行列を用いた対象物上の点の変換結果を示す図である。
【図３】本発明の一実施形態に係る遠隔操作支援装置に適用されるロボット座標系の一例を示す図である。
【図４】ロボット動作シーケンス指示部で実行する動作シーケンス指示処理手順の一例を示すフローチャートである。
【図５】ロボット動作シーケンス決定部で実行する動作シーケンス決定処理手順の一例を示すフローチャートである。
【図６】本発明の一実施形態に係るロボットと対象物との近接状態の判定方法を示すフローチャートである。
【図７】三次元画像生成部で実行する画像生成処理手順の一例を示すフローチャートである。
【図８】ロボット制御部で実行するロボット制御処理手順の一例を示すフローチャートである。
【図９】本発明の一実施形態に係る環境データの表示例を示す図である。
【図１０】本発明の一実施形態に係る環境データおよび対象物のモデル表現の表示例を示す図である。
【図１１】本発明の一実施形態に係る環境データ、対象物のモデル表現およびロボットのモデル表現の表示例を示す図である。
【図１２】本発明の一実施形態に係るグリッパを視点とした対象物のモデル表現の表示例を示す図である。
【図１３】動作シーケンス指示例を示す図である。
【図１４】動作シーケンス決定例を示す図である。
【符号の説明】
【００６８】
１１ 対象物
１２ ロボット
１３ レーザスキャナ
１５ 移動軌跡
１６ 三次元認識データベース
１７ 実移動軌跡
１８ 対象物のモデル表現
１９ 各軸の状態検出部
２０ ロボットのモデル表現
２１、３５ 遠隔操作支援装置
２１ａ 三次元認識部
２１ｂ 対象物モデル表現部
２１ｃ ロボットモデル表現部
２１ｄ ロボット動作シーケンス指示部
２１ｅ ロボット動作シーケンス決定部
２１ｆ 対象物座標変換部
２１ｇ ロボット座標変換部
２１ｈ 近接状態判定部
２１ｉ 三次元画像生成部
２１ｊ ロボット制御部
２２ 表示装置
２３ 環境データ格納部
２４ 対象物座標格納部
２５ ロボット座標格納部
２６ 対象物変換行列格納部
２７ ロボット変換行列格納部
【特許請求の範囲】
【請求項１】
三次元測定機で測定した点群データに基づいて対象物を三次元認識し、当該対象物の形状と位置と姿勢とを特定する三次元認識部と、
該三次元認識部で特定した対象物の形状と位置と姿勢とが反映された対象物モデル表現を生成する対象物モデル表現部と、
該対象物モデル表現部で生成した対象物モデル表現を表示する表示部と、
外部からの指示情報に基づいて、前記表示部で表示されている対象物モデルからロボットで操作する操作対象モデルを特定し、さらに当該操作対象モデルのロボットによる動作シーケンスを生成するロボット動作シーケンス指示部と、
該ロボット動作シーケンス指示部で指示した動作シーケンスに基づいて障害物を回避する前記ロボットの動作シーケンスを決定し、決定した動作シーケンスを前記表示部に出力するロボット動作シーケンス決定部とを備えたことを特徴とする遠隔操作支援装置。
【請求項２】
前記ロボット動作シーケンス決定部は、前記三次元認識部で認識した対象物の形状と位置と姿勢とに基づいて前記生成された動作シーケンスの移動軌跡上の障害物を探索し、探索した障害物を回避する動作シーケンスを決定するように構成されていることを特徴とする請求項１に記載の遠隔操作支援装置。
【請求項３】
ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するロボットモデル表現部と、
三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を前記表示部の同一画面上に三次元的に表示させる三次元画像生成部とを備えることを特徴とする請求項１又は２に記載の遠隔操作支援装置。
【請求項４】
前記三次元認識部で認識された前記対象物モデル表現上の対象物座標系における点を、基準座標系の三次元座標に変換する対象物座標変換部と、
前記ロボットの各軸の状態を観測することにより得られた前記ロボットモデル表現上のロボット座標系における点を、前記基準座標系の三次元座標に変換するロボット座標変換部と、
基準座標系における前記対象物モデル表現上の点の三次元座標および前記ロボットモデル表現上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定する近接状態判定部とを備え、
ロボット動作シーケンス決定部は、前記近接状態判定部の判定結果に基づき障害物を回避する動作シーケンスを決定することを特徴とする請求項１乃至３のいずれか１項に記載の遠隔操作支援装置。
【請求項１】
三次元測定機で測定した点群データに基づいて対象物を三次元認識し、当該対象物の形状と位置と姿勢とを特定する三次元認識部と、
該三次元認識部で特定した対象物の形状と位置と姿勢とが反映された対象物モデル表現を生成する対象物モデル表現部と、
該対象物モデル表現部で生成した対象物モデル表現を表示する表示部と、
外部からの指示情報に基づいて、前記表示部で表示されている対象物モデルからロボットで操作する操作対象モデルを特定し、さらに当該操作対象モデルのロボットによる動作シーケンスを生成するロボット動作シーケンス指示部と、
該ロボット動作シーケンス指示部で指示した動作シーケンスに基づいて障害物を回避する前記ロボットの動作シーケンスを決定し、決定した動作シーケンスを前記表示部に出力するロボット動作シーケンス決定部とを備えたことを特徴とする遠隔操作支援装置。
【請求項２】
前記ロボット動作シーケンス決定部は、前記三次元認識部で認識した対象物の形状と位置と姿勢とに基づいて前記生成された動作シーケンスの移動軌跡上の障害物を探索し、探索した障害物を回避する動作シーケンスを決定するように構成されていることを特徴とする請求項１に記載の遠隔操作支援装置。
【請求項３】
ロボットの各軸の状態に基づいて前記ロボットの動作状態が反映されたロボットモデル表現を生成するロボットモデル表現部と、
三次元空間の指定された視点から見た前記対象物モデル表現および前記ロボットモデル表現を前記表示部の同一画面上に三次元的に表示させる三次元画像生成部とを備えることを特徴とする請求項１又は２に記載の遠隔操作支援装置。
【請求項４】
前記三次元認識部で認識された前記対象物モデル表現上の対象物座標系における点を、基準座標系の三次元座標に変換する対象物座標変換部と、
前記ロボットの各軸の状態を観測することにより得られた前記ロボットモデル表現上のロボット座標系における点を、前記基準座標系の三次元座標に変換するロボット座標変換部と、
基準座標系における前記対象物モデル表現上の点の三次元座標および前記ロボットモデル表現上の点の三次元座標に基づいて、前記対象物と前記ロボットとの近接状態を判定する近接状態判定部とを備え、
ロボット動作シーケンス決定部は、前記近接状態判定部の判定結果に基づき障害物を回避する動作シーケンスを決定することを特徴とする請求項１乃至３のいずれか１項に記載の遠隔操作支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−９４７７７（Ｐ２０１０−９４７７７Ａ）
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願番号】特願２００８−２６７８１６（Ｐ２００８−２６７８１６）
【出願日】平成２０年１０月１６日（２００８．１０．１６）
【出願人】（５９１０８３２４４）富士電機システムズ株式会社 (1,717)
【Ｆターム（参考）】
【公開日】平成２２年４月３０日（２０１０．４．３０）
【国際特許分類】
【出願日】平成２０年１０月１６日（２００８．１０．１６）
【出願人】（５９１０８３２４４）富士電機システムズ株式会社 (1,717)
【Ｆターム（参考）】
[ Back to top ]