遠隔操作支援装置および遠隔操作支援プログラム
【課題】対象物の位置や姿勢が事前に判らない場合においても、任意の方向から対象物を確認することを可能としつつ、対象物の遠隔操作を支援できるようにする。
【解決手段】環境データ取得手段２１ａは、レーザスキャナ１４にて計測された対象物１１上の点群データを環境データ１５として取得し、対象物モデル表現手段２１ｂは、対象物１１についての環境データ１５に基づいて三次元認識処理１７を行うことにより、対象物１１の形状および姿勢が反映された対象物モデル表現１８を生成し、マニピュレータモデル表現手段２１ｃは、マニピュレータ１２の各軸の状態１９に基づいてマニピュレータ１２の動作状態が反映されたマニピュレータモデル表現２０を生成し、三次元画像生成手段２１ｄは、三次元空間の指定された視点から見た対象物モデル表現１８およびマニピュレータモデル表現２０を同一画面上に三次元的に表示させる。
【解決手段】環境データ取得手段２１ａは、レーザスキャナ１４にて計測された対象物１１上の点群データを環境データ１５として取得し、対象物モデル表現手段２１ｂは、対象物１１についての環境データ１５に基づいて三次元認識処理１７を行うことにより、対象物１１の形状および姿勢が反映された対象物モデル表現１８を生成し、マニピュレータモデル表現手段２１ｃは、マニピュレータ１２の各軸の状態１９に基づいてマニピュレータ１２の動作状態が反映されたマニピュレータモデル表現２０を生成し、三次元画像生成手段２１ｄは、三次元空間の指定された視点から見た対象物モデル表現１８およびマニピュレータモデル表現２０を同一画面上に三次元的に表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は遠隔操作支援装置および遠隔操作支援プログラムに関し、特に、原子力設備の原子炉内などのように人間が容易に立ち入ることができない環境下に配置された作業用ロボットを遠隔操作する方法に適用して好適なものである。
【背景技術】
【０００２】
放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所では、そのような環境下に配置された作業用ロボットを遠隔操作することで、保守や点検などの作業が一般的に行われている。
ここで、保守や点検において実施される作業が既知である場合、あるいは定期的な保守における作業の内容が毎回同一である場合には、ロボットの動作を予めプログラミングしておくことで、人間が操作することなく自動運転で作業を行わせることができる。
【０００３】
一方、定期的に行われる同一作業であっても、前回存在しなかった障害物が存在したり、保守対象である装置の一部が壊れているなど予期せぬ状況の発生にも対処できるようにするために、例えば、特許文献１には、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして記憶し、カメラが捉えた映像と環境モデルから得られる位置決めに関する情報を図形化して表示した画像とを合成した合成画像を表示することで、手動操作を誘導できるようにする方法が開示されている。
【特許文献１】特開２００３−３１１６６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された方法では、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして用意する必要があるため、遠隔操作される対象の配置が事前に判っている必要があるだけでなく、対象物が環境モデルに登録された所定の位置に存在していることが前提となっており、遠隔操作される対象の状態が操作時にも同様に保たれている必要がある。
【０００５】
このため、特許文献１に開示された方法では、対象物の位置が初期の位置と異なっていたり、操作時に対象物の位置が変わったりすると、対象物の遠隔操作ができなくなる上に、予め設定された視点のみからの合成画像しか表示することができず、任意の方向から対象物を確認することができないという問題があった。
そこで、本発明の目的は、対象物の位置や姿勢が事前に判らない場合においても、任意の方向から対象物や作業環境を確認することを可能としつつ、対象物の遠隔操作を支援することが可能な遠隔操作支援装置および遠隔操作支援プログラムを提供することである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、請求項１記載の遠隔操作支援装置によれば、レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得する環境データ取得手段と、前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成する対象物モデル表現手段と、マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するマニピュレータモデル表現手段と、三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させる三次元画像生成手段とを備えることを特徴とする。
【０００７】
また、請求項２記載の遠隔操作支援装置によれば、前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するカメラ座標系変換手段をさらに備え、前記三次元画像生成手段は、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする。
【０００８】
また、請求項３記載の遠隔操作支援プログラムによれば、レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得するステップと、前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成するステップと、マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するステップと、三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする。
【０００９】
また、請求項４記載の遠隔操作支援プログラムによれば、前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するステップをさらに備え、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする。
【発明の効果】
【００１０】
以上説明したように、本発明によれば、対象物およびマニピュレータの現在の状態が反映された三次元的なモデルを生成し、そのモデルをレーザスキャナやステレオカメラによる環境データとともに同一画面上に三次元的に表示させることが可能となる。このため、対象物の位置や姿勢が変化する場合においても、対象物およびマニピュレータの現在の状態を作業環境とともに精度よく表示させることが可能となるとともに、対象物およびマニピュレータを三次元的にモデル化することにより、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、対象物の遠隔操作を円滑に行うことが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態に係る遠隔操作支援装置について図面を参照しながら説明する。
図１は、本発明の一実施形態に係る遠隔操作支援装置の概略構成を示すブロック図である。
図１において、保守や点検などの作業が行われる作業エリアには、対象物１１を操作するマニピュレータ１２およびマニピュレータ１２にて操作される対象物１１が配置されている。なお、対象物１１およびマニピュレータ１２は、放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所に設置することができる。また、マニピュレータ１２とは、作業用ロボットなどを含めた遠隔操作で使用される機械装置全般を言う。
【００１２】
ここで、マニピュレータ１２には、対象物１１を把持するグリッパを設け、そのグリッパを三次元空間の任意の位置に移動させたり、任意の方向に回転させたりするアームに連結することができる。そして、アームは関節点を介して互いに連結され、各アームはＸ軸、Ｙ軸およびＺ軸を中心として回転自在に構成することができる。そして、各アームには軸を設定し、各軸には三次元座標系を設定し、各軸の状態を観測することで、各アームの位置を特定することができる。また、マニピュレータ１２には、対象物１１の周辺の環境を立体的に撮影するステレオカメラ１３がグリッパの近傍に取り付けられている。
【００１３】
一方、マニピュレータ１２に人間が指令を出すエリアには、マニピュレータ１２の遠隔操作を支援する遠隔操作支援装置１５が設置されている。
ここで、遠隔操作支援装置１５には、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５ｅが設けられるとともに、対象物１１の形状を計測するレーザスキャナ１４および対象物１１やマニピュレータ１２の現在の状態などを表示する表示装置１６が接続されている。
【００１４】
環境データ取得手段１５ａは、レーザスキャナ１４にて計測された対象物１１上の点群データを環境データＰ１として取得したり、ステレオカメラ１３による計測データを環境データＰ３として取得したりすることができる。対象物モデル表現手段１５ｂは、対象物１１についての環境データ１５に基づいて三次元認識処理を行うことにより、対象物１１の形状および姿勢が反映された対象物モデル表現を生成することができる。マニピュレータモデル表現手段１５ｃは、マニピュレータ１２の各軸の状態に基づいてマニピュレータ１２の動作状態が反映されたマニピュレータモデル表現を生成することができる。カメラ座標系変換手段１５ｄは、ステレオカメラ１３とレーザスキャナ１４との間でキャリブレーションを実施することで、ステレオカメラ１３の座標系をレーザスキャナ１４の座標系に変換することができる。三次元画像生成手段１５ｅは、三次元空間の指定された視点から見た対象物モデル表現およびマニピュレータモデル表現を、レーザスキャナ１４およびステレオカメラ１３による環境データとともに同一画面上に三次元的に表示させることができる。
【００１５】
なお、対象物モデル表現およびマニピュレータモデル表現には、例えば、コンピュータグラフィクスにて一般的に使用されるサーフィスモデルなどを用いることができる。
また、遠隔操作支援装置１５には、マニピュレータ環境データ格納手段１７、ステレオカメラ環境データ格納手段１８、マニピュレータキャリブレーション結果格納手段１９、ステレオカメラキャリブレーション結果格納手段２０、対象物変換行列格納手段２１およびマニピュレータ変換行列格納手段２２が接続されている。
マニピュレータ座標格納手段１７は、マニピュレータ座標系の各点についてレーザスキャナ座標系における三次元座標Ａ１、Ｂ１、Ｃ１、Ｄ１、・・・を格納することができる。ステレオカメラ環境データ格納手段１８は、ステレオカメラ座標系の座標値についてレーザスキャナ座標系における三次元座標Ａ２、Ｂ２、Ｃ２、・・・を格納することができる。
【００１６】
マニピュレータキャリブレーション結果格納手段１９は、マニピュレータ１２のキャリブレーション結果を格納することができる。なお、マニピュレータ１２のキャリブレーション結果とは、マニピュレータ座標系の座標値をレーザスキャナ座標系に変換する剛体変換行列を言う。ここで、レーザスキャナ１４にてマニピュレータ１２上の３箇所以上の点に対応するレーザスキャナ座標値を測定することにより、レーザスキャナ１４とマニピュレータ１２とのキャリブレーション（関係決め）を実施することができる。具体的には、マニピュレータ１２上の測定点が３点であれば、レーザスキャナ座標系とマニピュレータ座標系との間の回転関係を表現する３×３行列と平行移動関係を表現する３次元ベクトルから構成される４×４の剛体変換行列を算出することができる。そして、レーザスキャナ１４とマニピュレータ１２とのキャリブレーションを予め実施し、マニピュレータ１２のキャリブレーション結果をマニピュレータキャリブレーション結果格納手段１９に事前に登録することができる。
【００１７】
ステレオカメラキャリブレーション結果格納手段２０は、ステレオカメラ１３のキャリブレーション結果を格納することができる。なお、ステレオカメラ１３のキャリブレーション結果とは、ステレオカメラ座標系の座標値をレーザスキャナ座標系に変換する剛体変換行列を言う。そして、マニピュレータ１２の各軸の角度とマニピュレータ１２のキャリブレーション結果を用いることで、ステレオカメラ１３のキャリブレーション結果を算出することができる。
【００１８】
対象物変換行列格納手段２１は、対象物１１上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。なお、対象物１１の三次元認識処理による認識結果は、回転変換要素と並行移動要素からなる４×４の変換行列に対応させることができ、基本座標系に予め配置された対象物１１を基準座標系の対象物１１の位置や姿勢に合わせることができる。そして、対象物１１の基本座標系に変換行列を乗算することで、対象物１１の基準座標系に変換することができる。
【００１９】
マニピュレータ変換行列格納手段２２は、マニピュレータ１２上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。なお、マニピュレータ変換行列格納手段２２に格納される変換行列は、マニピュレータ１２の各軸１、２、・・・ごとに設けることができ、マニピュレータのアームから定期的に現在の軸角度を読み出し、各軸座標系の変換行列（軸１の変換行列、軸２の変換行列、・・・、先端の変換行列）に変換して保存することができる。そして、マニピュレータ１２上の指定された点の三次元座標系に変換行列を乗算することで、基準座標系の三次元座標に変換することができる。
【００２０】
そして、レーザスキャナ１４は、レーザ光にて対象物１１を走査することにより、三次元計測処理を行う。そして、環境データ取得手段１５ａは、レーザスキャナ１４にて三次元計測処理が行われると、対象物１１上の点群データを環境データＰ１として取得し、遠隔操作支援装置１５に保存する。
そして、対象物モデル表現手段１５ｂは、三次元認識データベースを参照しながら、対象物１１についての環境データＰ１に基づいて三次元認識処理を行うことで、対象物１１の形状および姿勢が反映された対象物モデル表現を生成する。ここで、三次元認識データベースには、マニピュレータ１２にて操作される複数の対象物１１についてのスピンイメージを格納することができる。そして、対象物１１についての環境データＰ１に基づいて三次元認識処理を行う場合、対象物１１の点群データについての法線ベクトルを設定し、レーザスキャナ１４にて計測された点群データについてのスピンイメージと、三次元認識データベースに格納されたスピンイメージとを照合することができる。なお、スピンイメージを用いた三次元認識処理については、特開２００６−１３９７１３号公報に詳細に記載されている。
【００２１】
このスピンイメージを用いた三次元認識処理では、対象物１１の三次元認識を行うために、対象物１１全体の点群データを計測する必要がなく、レーザスキャナ１４による一方向からの計測で済ませることができるので、計算量を減らすことができる。
また、対象物モデル表現手段１５ｂは、対象物１１についての環境データＰ１に基づいて三次元認識処理を行うことで、対象物１１の変換行列を算出し、対象物変換行列格納手段２１に格納することができる。
また、ステレオカメラ１３は、対象物１１の周辺環境を複数の視点から撮影することにより、対象物１１の周辺環境についての立体的な計測を行う。そして、環境データ取得手段１５ａは、ステレオカメラ１３による計測データを環境データＰ３として取得し、遠隔操作支援装置１５に保存する。
【００２２】
さらに、マニピュレータ１２は、マニピュレータ１２の各軸の状態Ｐ２を検出し、遠隔操作支援装置１５に送る。そして、マニピュレータモデル表現手段１５ｃは、マニピュレータ１２の各軸の状態Ｐ２に基づいて、マニピュレータ１２の実際の動きが反映されたマニピュレータ１２と同様な形状を構築することにより、マニピュレータ１２の動作状態が反映されたマニピュレータモデル表現を生成する。なお、マニピュレータモデル表現を生成するために必要なアームなどのマニピュレータ１２の構成要素の寸法は遠隔操作支援装置１５に予め登録することができる。また、マニピュレータ１２の各軸の状態Ｐ２は、マニピュレータ１２の各軸の角度を用いることができ、マニピュレータ１２の各軸の角度を検出するために角度センサを各軸ごとに設けることができる。
【００２３】
また、マニピュレータモデル表現手段１５ｃは、マニピュレータ１２の各軸の状態Ｐ２を取得すると、マニピュレータ１２の各軸座標系の変換行列に変換して、マニピュレータ変換行列格納手段２２に格納することができる。
そして、カメラ座標系変換手段１５ｄは、マニピュレータ１２の各軸ごとの変換行列とマニピュレータ１２のキャリブレーション結果を用いることで、ステレオカメラ１３のキャリブレーション結果を算出し、ステレオカメラキャリブレーション結果格納手段２０に登録する。そして、ステレオカメラ１３のキャリブレーション結果を用いて、ステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換することで、ステレオカメラ座標系の座標値についてのレーザスキャナ座標系における三次元座標Ａ２、Ｂ２、Ｃ２、・・・を求め、ステレオカメラ環境データ格納手段１８に格納する。
【００２４】
そして、三次元画像生成手段１５ｅは、三次元空間の指定された視点から見た対象物モデル表現およびマニピュレータモデル表現を三次元的に示す二次元画像を生成し、レーザスキャナ１４による環境データＰ１およびレーザスキャナ座標系に変換されたステレオカメラ１３による環境データＰ３とともに、表示装置１６の同一画面上に重ねて表示させることができる。なお、対象物モデル表現およびマニピュレータモデル表現を表示装置１６に表示させる場合、Ｏｏｅｎ ＧＬなどのグラフィックスソフトウェアを利用することで、任意の視点から見た対象物モデル表現およびマニピュレータモデル表現を同一画面上に重ねて表示させることができる。
【００２５】
そして、オペレータは、対象物モデル表現およびマニピュレータモデル表現を三次元的に示す画像が環境データＰ１、Ｐ３とともに表示装置１６上に表示されると、遠隔操作しやすいように視点を切り替えながら、マニピュレータ１２を操作することができる。
これにより、対象物１１およびマニピュレータ１２の現在の状態が反映された三次元的なモデルを生成し、そのモデルをレーザスキャナ１４やステレオカメラ１３による環境データＰ１、Ｐ３とともに同一画面上に三次元的に表示させることが可能となる。このため、対象物１１の位置や姿勢が変化したり、対象物１１の近傍に障害物が存在したりする場合においても、対象物１１およびマニピュレータ１２の現在の状態を作業環境とともに精度よく表示させることが可能となるとともに、対象物１１およびマニピュレータ１２を三次元的にモデル化することにより、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、対象物１１の遠隔操作を円滑に行うことが可能となる。
【００２６】
なお、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５ｅは、これらの手段で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させることにより実現することができる。
そして、このプログラムをＣＤ−ＲＯＭなどの記憶媒体に記憶しておけば、遠隔操作支援装置１５のコンピュータに記憶媒体を装着し、そのプログラムをコンピュータにインストールすることにより、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５で行われる処理を実現することができる。
【００２７】
また、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させる場合、スタンドアロン型コンピュータで実行させるようにしてもよく、ネットワークに接続された複数のコンピュータに分散処理させるようにしてもよい。
【００２８】
図２は、本発明の一実施形態に係る遠隔操作支援装置に適用されるマニピュレータ座標系およびステレオカメラ座標系の一例を示す図である。
図２において、マニピュレータ１２の三次元座標系は、マニピュレータ１２の各軸１、２、・・・ごとに設けることができる。例えば、マニピュレータ１２の基準座標系はＸ０・Ｙ０・Ｚ０座標系、軸１の座標系はＸ１・Ｙ１・Ｚ１座標系、軸２の座標系はＸ２・Ｙ２・Ｚ２座標系、軸３の座標系はＸ３・Ｙ３・Ｚ３座標系、軸４の座標系はＸ４・Ｙ４・Ｚ４座標系とし、マニピュレータ１２に取り付けられたステレオカメラ１３の座標系はＸ５・Ｙ５・Ｚ５座標系とすることができる。そして、マニピュレータ１２の各軸間の距離ｄ１、ｄ２、ｄ３、ｄ４を設定することができる。
【００２９】
そして、例えば、軸１の座標系の点は、以下の（１）式にてレーザスキャナ座標系の座標値に変換することができる。
（マニピュレータ１２のキャリブレーション結果）×（軸１の座標系の変換行列）×（軸１上の点座標） ・・・（１）
また、例えば、ステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換する変換行列は、以下の（２）式にて与えることができる。
（マニピュレータ１２のキャリブレーション結果）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸３の座標系の変換行列）×（軸４の座標系の変換行列）×（ステレオカメラ座標系の変換行列） ・・・（２）
【００３０】
図３は、本発明の一実施形態に係るステレオカメラによる環境データの位置変換方法を示すフローチャートである。なお、図３の環境データの位置変換方法では、マニピュレータ１２の４個の軸があるものとして説明する。
図３において、図１のカメラ座標系変換手段１５ｄは、マニピュレータ１２のキャリブレーション結果をマニピュレータキャリブレーション結果格納手段１９から読み出す（ステップＳ１）。また、カメラ座標系変換手段１５ｄは、マニピュレータ１２の軸角度とアーム長ｄ１〜ｄ４を読み出し（ステップＳ２）、マニピュレータ１２の軸数分だけ前軸の変換行列と現軸の変換行列とを順次乗算し（ステップＳ３、Ｓ５）、その乗算結果を保持する（ステップＳ４）。
【００３１】
そして、マニピュレータ１２の軸４の座標系をステレオカメラ座標系に合致させるための移動量を算出し（ステップＳ６）、マニピュレータ１２のキャリブレーション結果とマニピュレータ１２の軸数分の変換行列とが乗算された乗算結果に、マニピュレータ１２の軸４の移動量を加算することで、ステレオカメラ１３のキャリブレーション結果を算出する（ステップＳ７）。
【００３２】
次に、カメラ座標系変換手段１５ｄは、ステレオカメラ１３による環境データＰ３と色情報とを読み出し（ステップＳ８）、ステレオカメラ１３のキャリブレーション結果とステレオカメラ１３による環境データＰ３とを乗算することで、ステレオカメラ１３による環境データＰ３におけるステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換する（ステップＳ９）。そして、レーザスキャナ座標系に変換されたステレオカメラ１３による環境データＰ３に色情報を付加し（ステップＳ１０）、ステレオカメラ環境データ格納手段１８に保存する（ステップＳ１１）。そして、ステップＳ９〜Ｓ１１の処理を環境データＰ３の個数分だけ繰り返したかどうかを判断し（ステップＳ１２）、環境データＰ３の個数分だけ繰り返してない場合にはステップＳ９〜Ｓ１１の処理を繰り返す。
【００３３】
図４（ａ）は、本発明の一実施形態に係るレーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図、図４（ｂ）は、本発明の一実施形態に係るステレオカメラによる環境データ、レーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図である。
図４（ａ）において、対象物１１の形状および姿勢が反映された対象物モデル表現およびマニピュレータ１２の実際の動きが反映されたマニピュレータモデル表現が、レーザスキャナ１４による環境データＰ１とともに表示装置１６に表示されている。
また、図４（ｂ）において、対象物１１の形状および姿勢が反映された対象物モデル表現およびマニピュレータ１２の実際の動きが反映されたマニピュレータモデル表現が、レーザスキャナ１４による環境データＰ１およびレーザスキャナ座標系に変換されたステレオカメラ１３による環境データＰ３とともに表示装置１６に表示されている。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態に係る遠隔操作支援装置の概略構成を示すブロック図である。
【図２】本発明の一実施形態に係る遠隔操作支援装置に適用されるマニピュレータ座標系およびステレオカメラ座標系の一例を示す図である。
【図３】本発明の一実施形態に係るステレオカメラによる環境データの位置変換方法を示すフローチャートである。
【図４】図４（ａ）は、本発明の一実施形態に係るレーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図、図４（ｂ）は、本発明の一実施形態に係るステレオカメラによる環境データ、レーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図である。
【符号の説明】
【００３５】
１１ 対象物
１２ マニピュレータ
１３ ステレオカメラ
１４ レーザスキャナ
１５ 遠隔操作支援装置
１５ａ 環境データ取得手段
１５ｂ 対象物モデル表現手段
１５ｃ マニピュレータモデル表現手段
１５ｄ カメラ座標系変換手段
１５ｅ 三次元画像生成手段
１６ 表示装置
１７ マニピュレータ環境データ格納手段
１８ ステレオカメラ環境データ格納手段
１９ マニピュレータキャリブレーション結果格納手段
２０ ステレオカメラキャリブレーション結果格納手段
２１ 対象物変換行列格納手段
２２ マニピュレータ変換行列格納手段
【技術分野】
【０００１】
本発明は遠隔操作支援装置および遠隔操作支援プログラムに関し、特に、原子力設備の原子炉内などのように人間が容易に立ち入ることができない環境下に配置された作業用ロボットを遠隔操作する方法に適用して好適なものである。
【背景技術】
【０００２】
放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所では、そのような環境下に配置された作業用ロボットを遠隔操作することで、保守や点検などの作業が一般的に行われている。
ここで、保守や点検において実施される作業が既知である場合、あるいは定期的な保守における作業の内容が毎回同一である場合には、ロボットの動作を予めプログラミングしておくことで、人間が操作することなく自動運転で作業を行わせることができる。
【０００３】
一方、定期的に行われる同一作業であっても、前回存在しなかった障害物が存在したり、保守対象である装置の一部が壊れているなど予期せぬ状況の発生にも対処できるようにするために、例えば、特許文献１には、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして記憶し、カメラが捉えた映像と環境モデルから得られる位置決めに関する情報を図形化して表示した画像とを合成した合成画像を表示することで、手動操作を誘導できるようにする方法が開示されている。
【特許文献１】特開２００３−３１１６６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された方法では、作業環境中の物体の位置姿勢やロボットの操作に必要な位置決めに関する情報を環境モデルとして用意する必要があるため、遠隔操作される対象の配置が事前に判っている必要があるだけでなく、対象物が環境モデルに登録された所定の位置に存在していることが前提となっており、遠隔操作される対象の状態が操作時にも同様に保たれている必要がある。
【０００５】
このため、特許文献１に開示された方法では、対象物の位置が初期の位置と異なっていたり、操作時に対象物の位置が変わったりすると、対象物の遠隔操作ができなくなる上に、予め設定された視点のみからの合成画像しか表示することができず、任意の方向から対象物を確認することができないという問題があった。
そこで、本発明の目的は、対象物の位置や姿勢が事前に判らない場合においても、任意の方向から対象物や作業環境を確認することを可能としつつ、対象物の遠隔操作を支援することが可能な遠隔操作支援装置および遠隔操作支援プログラムを提供することである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、請求項１記載の遠隔操作支援装置によれば、レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得する環境データ取得手段と、前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成する対象物モデル表現手段と、マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するマニピュレータモデル表現手段と、三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させる三次元画像生成手段とを備えることを特徴とする。
【０００７】
また、請求項２記載の遠隔操作支援装置によれば、前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するカメラ座標系変換手段をさらに備え、前記三次元画像生成手段は、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする。
【０００８】
また、請求項３記載の遠隔操作支援プログラムによれば、レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得するステップと、前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成するステップと、マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するステップと、三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする。
【０００９】
また、請求項４記載の遠隔操作支援プログラムによれば、前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するステップをさらに備え、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする。
【発明の効果】
【００１０】
以上説明したように、本発明によれば、対象物およびマニピュレータの現在の状態が反映された三次元的なモデルを生成し、そのモデルをレーザスキャナやステレオカメラによる環境データとともに同一画面上に三次元的に表示させることが可能となる。このため、対象物の位置や姿勢が変化する場合においても、対象物およびマニピュレータの現在の状態を作業環境とともに精度よく表示させることが可能となるとともに、対象物およびマニピュレータを三次元的にモデル化することにより、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、対象物の遠隔操作を円滑に行うことが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態に係る遠隔操作支援装置について図面を参照しながら説明する。
図１は、本発明の一実施形態に係る遠隔操作支援装置の概略構成を示すブロック図である。
図１において、保守や点検などの作業が行われる作業エリアには、対象物１１を操作するマニピュレータ１２およびマニピュレータ１２にて操作される対象物１１が配置されている。なお、対象物１１およびマニピュレータ１２は、放射線環境下や宇宙環境下などの人間が容易に立ち入ることができない場所に設置することができる。また、マニピュレータ１２とは、作業用ロボットなどを含めた遠隔操作で使用される機械装置全般を言う。
【００１２】
ここで、マニピュレータ１２には、対象物１１を把持するグリッパを設け、そのグリッパを三次元空間の任意の位置に移動させたり、任意の方向に回転させたりするアームに連結することができる。そして、アームは関節点を介して互いに連結され、各アームはＸ軸、Ｙ軸およびＺ軸を中心として回転自在に構成することができる。そして、各アームには軸を設定し、各軸には三次元座標系を設定し、各軸の状態を観測することで、各アームの位置を特定することができる。また、マニピュレータ１２には、対象物１１の周辺の環境を立体的に撮影するステレオカメラ１３がグリッパの近傍に取り付けられている。
【００１３】
一方、マニピュレータ１２に人間が指令を出すエリアには、マニピュレータ１２の遠隔操作を支援する遠隔操作支援装置１５が設置されている。
ここで、遠隔操作支援装置１５には、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５ｅが設けられるとともに、対象物１１の形状を計測するレーザスキャナ１４および対象物１１やマニピュレータ１２の現在の状態などを表示する表示装置１６が接続されている。
【００１４】
環境データ取得手段１５ａは、レーザスキャナ１４にて計測された対象物１１上の点群データを環境データＰ１として取得したり、ステレオカメラ１３による計測データを環境データＰ３として取得したりすることができる。対象物モデル表現手段１５ｂは、対象物１１についての環境データ１５に基づいて三次元認識処理を行うことにより、対象物１１の形状および姿勢が反映された対象物モデル表現を生成することができる。マニピュレータモデル表現手段１５ｃは、マニピュレータ１２の各軸の状態に基づいてマニピュレータ１２の動作状態が反映されたマニピュレータモデル表現を生成することができる。カメラ座標系変換手段１５ｄは、ステレオカメラ１３とレーザスキャナ１４との間でキャリブレーションを実施することで、ステレオカメラ１３の座標系をレーザスキャナ１４の座標系に変換することができる。三次元画像生成手段１５ｅは、三次元空間の指定された視点から見た対象物モデル表現およびマニピュレータモデル表現を、レーザスキャナ１４およびステレオカメラ１３による環境データとともに同一画面上に三次元的に表示させることができる。
【００１５】
なお、対象物モデル表現およびマニピュレータモデル表現には、例えば、コンピュータグラフィクスにて一般的に使用されるサーフィスモデルなどを用いることができる。
また、遠隔操作支援装置１５には、マニピュレータ環境データ格納手段１７、ステレオカメラ環境データ格納手段１８、マニピュレータキャリブレーション結果格納手段１９、ステレオカメラキャリブレーション結果格納手段２０、対象物変換行列格納手段２１およびマニピュレータ変換行列格納手段２２が接続されている。
マニピュレータ座標格納手段１７は、マニピュレータ座標系の各点についてレーザスキャナ座標系における三次元座標Ａ１、Ｂ１、Ｃ１、Ｄ１、・・・を格納することができる。ステレオカメラ環境データ格納手段１８は、ステレオカメラ座標系の座標値についてレーザスキャナ座標系における三次元座標Ａ２、Ｂ２、Ｃ２、・・・を格納することができる。
【００１６】
マニピュレータキャリブレーション結果格納手段１９は、マニピュレータ１２のキャリブレーション結果を格納することができる。なお、マニピュレータ１２のキャリブレーション結果とは、マニピュレータ座標系の座標値をレーザスキャナ座標系に変換する剛体変換行列を言う。ここで、レーザスキャナ１４にてマニピュレータ１２上の３箇所以上の点に対応するレーザスキャナ座標値を測定することにより、レーザスキャナ１４とマニピュレータ１２とのキャリブレーション（関係決め）を実施することができる。具体的には、マニピュレータ１２上の測定点が３点であれば、レーザスキャナ座標系とマニピュレータ座標系との間の回転関係を表現する３×３行列と平行移動関係を表現する３次元ベクトルから構成される４×４の剛体変換行列を算出することができる。そして、レーザスキャナ１４とマニピュレータ１２とのキャリブレーションを予め実施し、マニピュレータ１２のキャリブレーション結果をマニピュレータキャリブレーション結果格納手段１９に事前に登録することができる。
【００１７】
ステレオカメラキャリブレーション結果格納手段２０は、ステレオカメラ１３のキャリブレーション結果を格納することができる。なお、ステレオカメラ１３のキャリブレーション結果とは、ステレオカメラ座標系の座標値をレーザスキャナ座標系に変換する剛体変換行列を言う。そして、マニピュレータ１２の各軸の角度とマニピュレータ１２のキャリブレーション結果を用いることで、ステレオカメラ１３のキャリブレーション結果を算出することができる。
【００１８】
対象物変換行列格納手段２１は、対象物１１上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。なお、対象物１１の三次元認識処理による認識結果は、回転変換要素と並行移動要素からなる４×４の変換行列に対応させることができ、基本座標系に予め配置された対象物１１を基準座標系の対象物１１の位置や姿勢に合わせることができる。そして、対象物１１の基本座標系に変換行列を乗算することで、対象物１１の基準座標系に変換することができる。
【００１９】
マニピュレータ変換行列格納手段２２は、マニピュレータ１２上の点を基準座標系の三次元座標に変換する変換行列を格納することができる。なお、マニピュレータ変換行列格納手段２２に格納される変換行列は、マニピュレータ１２の各軸１、２、・・・ごとに設けることができ、マニピュレータのアームから定期的に現在の軸角度を読み出し、各軸座標系の変換行列（軸１の変換行列、軸２の変換行列、・・・、先端の変換行列）に変換して保存することができる。そして、マニピュレータ１２上の指定された点の三次元座標系に変換行列を乗算することで、基準座標系の三次元座標に変換することができる。
【００２０】
そして、レーザスキャナ１４は、レーザ光にて対象物１１を走査することにより、三次元計測処理を行う。そして、環境データ取得手段１５ａは、レーザスキャナ１４にて三次元計測処理が行われると、対象物１１上の点群データを環境データＰ１として取得し、遠隔操作支援装置１５に保存する。
そして、対象物モデル表現手段１５ｂは、三次元認識データベースを参照しながら、対象物１１についての環境データＰ１に基づいて三次元認識処理を行うことで、対象物１１の形状および姿勢が反映された対象物モデル表現を生成する。ここで、三次元認識データベースには、マニピュレータ１２にて操作される複数の対象物１１についてのスピンイメージを格納することができる。そして、対象物１１についての環境データＰ１に基づいて三次元認識処理を行う場合、対象物１１の点群データについての法線ベクトルを設定し、レーザスキャナ１４にて計測された点群データについてのスピンイメージと、三次元認識データベースに格納されたスピンイメージとを照合することができる。なお、スピンイメージを用いた三次元認識処理については、特開２００６−１３９７１３号公報に詳細に記載されている。
【００２１】
このスピンイメージを用いた三次元認識処理では、対象物１１の三次元認識を行うために、対象物１１全体の点群データを計測する必要がなく、レーザスキャナ１４による一方向からの計測で済ませることができるので、計算量を減らすことができる。
また、対象物モデル表現手段１５ｂは、対象物１１についての環境データＰ１に基づいて三次元認識処理を行うことで、対象物１１の変換行列を算出し、対象物変換行列格納手段２１に格納することができる。
また、ステレオカメラ１３は、対象物１１の周辺環境を複数の視点から撮影することにより、対象物１１の周辺環境についての立体的な計測を行う。そして、環境データ取得手段１５ａは、ステレオカメラ１３による計測データを環境データＰ３として取得し、遠隔操作支援装置１５に保存する。
【００２２】
さらに、マニピュレータ１２は、マニピュレータ１２の各軸の状態Ｐ２を検出し、遠隔操作支援装置１５に送る。そして、マニピュレータモデル表現手段１５ｃは、マニピュレータ１２の各軸の状態Ｐ２に基づいて、マニピュレータ１２の実際の動きが反映されたマニピュレータ１２と同様な形状を構築することにより、マニピュレータ１２の動作状態が反映されたマニピュレータモデル表現を生成する。なお、マニピュレータモデル表現を生成するために必要なアームなどのマニピュレータ１２の構成要素の寸法は遠隔操作支援装置１５に予め登録することができる。また、マニピュレータ１２の各軸の状態Ｐ２は、マニピュレータ１２の各軸の角度を用いることができ、マニピュレータ１２の各軸の角度を検出するために角度センサを各軸ごとに設けることができる。
【００２３】
また、マニピュレータモデル表現手段１５ｃは、マニピュレータ１２の各軸の状態Ｐ２を取得すると、マニピュレータ１２の各軸座標系の変換行列に変換して、マニピュレータ変換行列格納手段２２に格納することができる。
そして、カメラ座標系変換手段１５ｄは、マニピュレータ１２の各軸ごとの変換行列とマニピュレータ１２のキャリブレーション結果を用いることで、ステレオカメラ１３のキャリブレーション結果を算出し、ステレオカメラキャリブレーション結果格納手段２０に登録する。そして、ステレオカメラ１３のキャリブレーション結果を用いて、ステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換することで、ステレオカメラ座標系の座標値についてのレーザスキャナ座標系における三次元座標Ａ２、Ｂ２、Ｃ２、・・・を求め、ステレオカメラ環境データ格納手段１８に格納する。
【００２４】
そして、三次元画像生成手段１５ｅは、三次元空間の指定された視点から見た対象物モデル表現およびマニピュレータモデル表現を三次元的に示す二次元画像を生成し、レーザスキャナ１４による環境データＰ１およびレーザスキャナ座標系に変換されたステレオカメラ１３による環境データＰ３とともに、表示装置１６の同一画面上に重ねて表示させることができる。なお、対象物モデル表現およびマニピュレータモデル表現を表示装置１６に表示させる場合、Ｏｏｅｎ ＧＬなどのグラフィックスソフトウェアを利用することで、任意の視点から見た対象物モデル表現およびマニピュレータモデル表現を同一画面上に重ねて表示させることができる。
【００２５】
そして、オペレータは、対象物モデル表現およびマニピュレータモデル表現を三次元的に示す画像が環境データＰ１、Ｐ３とともに表示装置１６上に表示されると、遠隔操作しやすいように視点を切り替えながら、マニピュレータ１２を操作することができる。
これにより、対象物１１およびマニピュレータ１２の現在の状態が反映された三次元的なモデルを生成し、そのモデルをレーザスキャナ１４やステレオカメラ１３による環境データＰ１、Ｐ３とともに同一画面上に三次元的に表示させることが可能となる。このため、対象物１１の位置や姿勢が変化したり、対象物１１の近傍に障害物が存在したりする場合においても、対象物１１およびマニピュレータ１２の現在の状態を作業環境とともに精度よく表示させることが可能となるとともに、対象物１１およびマニピュレータ１２を三次元的にモデル化することにより、任意の視点からの画像に切り替えることが可能となり、人間が容易に立ち入ることができない放射線環境下や宇宙環境下などであっても、対象物１１の遠隔操作を円滑に行うことが可能となる。
【００２６】
なお、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５ｅは、これらの手段で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させることにより実現することができる。
そして、このプログラムをＣＤ−ＲＯＭなどの記憶媒体に記憶しておけば、遠隔操作支援装置１５のコンピュータに記憶媒体を装着し、そのプログラムをコンピュータにインストールすることにより、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５で行われる処理を実現することができる。
【００２７】
また、環境データ取得手段１５ａ、対象物モデル表現手段１５ｂ、マニピュレータモデル表現手段１５ｃ、カメラ座標系変換手段１５ｄおよび三次元画像生成手段１５で行われる処理を遂行させる命令が記述されたプログラムをコンピュータに実行させる場合、スタンドアロン型コンピュータで実行させるようにしてもよく、ネットワークに接続された複数のコンピュータに分散処理させるようにしてもよい。
【００２８】
図２は、本発明の一実施形態に係る遠隔操作支援装置に適用されるマニピュレータ座標系およびステレオカメラ座標系の一例を示す図である。
図２において、マニピュレータ１２の三次元座標系は、マニピュレータ１２の各軸１、２、・・・ごとに設けることができる。例えば、マニピュレータ１２の基準座標系はＸ０・Ｙ０・Ｚ０座標系、軸１の座標系はＸ１・Ｙ１・Ｚ１座標系、軸２の座標系はＸ２・Ｙ２・Ｚ２座標系、軸３の座標系はＸ３・Ｙ３・Ｚ３座標系、軸４の座標系はＸ４・Ｙ４・Ｚ４座標系とし、マニピュレータ１２に取り付けられたステレオカメラ１３の座標系はＸ５・Ｙ５・Ｚ５座標系とすることができる。そして、マニピュレータ１２の各軸間の距離ｄ１、ｄ２、ｄ３、ｄ４を設定することができる。
【００２９】
そして、例えば、軸１の座標系の点は、以下の（１）式にてレーザスキャナ座標系の座標値に変換することができる。
（マニピュレータ１２のキャリブレーション結果）×（軸１の座標系の変換行列）×（軸１上の点座標） ・・・（１）
また、例えば、ステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換する変換行列は、以下の（２）式にて与えることができる。
（マニピュレータ１２のキャリブレーション結果）×（軸１の座標系の変換行列）×（軸２の座標系の変換行列）×（軸３の座標系の変換行列）×（軸４の座標系の変換行列）×（ステレオカメラ座標系の変換行列） ・・・（２）
【００３０】
図３は、本発明の一実施形態に係るステレオカメラによる環境データの位置変換方法を示すフローチャートである。なお、図３の環境データの位置変換方法では、マニピュレータ１２の４個の軸があるものとして説明する。
図３において、図１のカメラ座標系変換手段１５ｄは、マニピュレータ１２のキャリブレーション結果をマニピュレータキャリブレーション結果格納手段１９から読み出す（ステップＳ１）。また、カメラ座標系変換手段１５ｄは、マニピュレータ１２の軸角度とアーム長ｄ１〜ｄ４を読み出し（ステップＳ２）、マニピュレータ１２の軸数分だけ前軸の変換行列と現軸の変換行列とを順次乗算し（ステップＳ３、Ｓ５）、その乗算結果を保持する（ステップＳ４）。
【００３１】
そして、マニピュレータ１２の軸４の座標系をステレオカメラ座標系に合致させるための移動量を算出し（ステップＳ６）、マニピュレータ１２のキャリブレーション結果とマニピュレータ１２の軸数分の変換行列とが乗算された乗算結果に、マニピュレータ１２の軸４の移動量を加算することで、ステレオカメラ１３のキャリブレーション結果を算出する（ステップＳ７）。
【００３２】
次に、カメラ座標系変換手段１５ｄは、ステレオカメラ１３による環境データＰ３と色情報とを読み出し（ステップＳ８）、ステレオカメラ１３のキャリブレーション結果とステレオカメラ１３による環境データＰ３とを乗算することで、ステレオカメラ１３による環境データＰ３におけるステレオカメラ座標系の座標値をレーザスキャナ座標系の座標値に変換する（ステップＳ９）。そして、レーザスキャナ座標系に変換されたステレオカメラ１３による環境データＰ３に色情報を付加し（ステップＳ１０）、ステレオカメラ環境データ格納手段１８に保存する（ステップＳ１１）。そして、ステップＳ９〜Ｓ１１の処理を環境データＰ３の個数分だけ繰り返したかどうかを判断し（ステップＳ１２）、環境データＰ３の個数分だけ繰り返してない場合にはステップＳ９〜Ｓ１１の処理を繰り返す。
【００３３】
図４（ａ）は、本発明の一実施形態に係るレーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図、図４（ｂ）は、本発明の一実施形態に係るステレオカメラによる環境データ、レーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図である。
図４（ａ）において、対象物１１の形状および姿勢が反映された対象物モデル表現およびマニピュレータ１２の実際の動きが反映されたマニピュレータモデル表現が、レーザスキャナ１４による環境データＰ１とともに表示装置１６に表示されている。
また、図４（ｂ）において、対象物１１の形状および姿勢が反映された対象物モデル表現およびマニピュレータ１２の実際の動きが反映されたマニピュレータモデル表現が、レーザスキャナ１４による環境データＰ１およびレーザスキャナ座標系に変換されたステレオカメラ１３による環境データＰ３とともに表示装置１６に表示されている。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態に係る遠隔操作支援装置の概略構成を示すブロック図である。
【図２】本発明の一実施形態に係る遠隔操作支援装置に適用されるマニピュレータ座標系およびステレオカメラ座標系の一例を示す図である。
【図３】本発明の一実施形態に係るステレオカメラによる環境データの位置変換方法を示すフローチャートである。
【図４】図４（ａ）は、本発明の一実施形態に係るレーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図、図４（ｂ）は、本発明の一実施形態に係るステレオカメラによる環境データ、レーザスキャナによる環境データ、対象物のモデル表現およびマニピュレータのモデル表現の表示例を示す図である。
【符号の説明】
【００３５】
１１ 対象物
１２ マニピュレータ
１３ ステレオカメラ
１４ レーザスキャナ
１５ 遠隔操作支援装置
１５ａ 環境データ取得手段
１５ｂ 対象物モデル表現手段
１５ｃ マニピュレータモデル表現手段
１５ｄ カメラ座標系変換手段
１５ｅ 三次元画像生成手段
１６ 表示装置
１７ マニピュレータ環境データ格納手段
１８ ステレオカメラ環境データ格納手段
１９ マニピュレータキャリブレーション結果格納手段
２０ ステレオカメラキャリブレーション結果格納手段
２１ 対象物変換行列格納手段
２２ マニピュレータ変換行列格納手段
【特許請求の範囲】
【請求項１】
レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得する環境データ取得手段と、
前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成する対象物モデル表現手段と、
マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するマニピュレータモデル表現手段と、
三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させる三次元画像生成手段とを備えることを特徴とする遠隔操作支援装置。
【請求項２】
前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するカメラ座標系変換手段をさらに備え、
前記三次元画像生成手段は、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする請求項１記載の遠隔操作支援装置。
【請求項３】
レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得するステップと、
前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成するステップと、
マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するステップと、
三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする遠隔操作支援プログラム。
【請求項４】
前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するステップをさらに備え、
前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする請求項３記載の遠隔操作支援プログラム。
【請求項１】
レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得する環境データ取得手段と、
前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成する対象物モデル表現手段と、
マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するマニピュレータモデル表現手段と、
三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させる三次元画像生成手段とを備えることを特徴とする遠隔操作支援装置。
【請求項２】
前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するカメラ座標系変換手段をさらに備え、
前記三次元画像生成手段は、前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする請求項１記載の遠隔操作支援装置。
【請求項３】
レーザスキャナによる計測データおよびステレオカメラによる計測データを環境データとして取得するステップと、
前記レーザスキャナによる対象物の形状の計測データに基づいて三次元認識処理を行うことにより、前記対象物の形状および姿勢が反映された対象物モデル表現を生成するステップと、
マニピュレータの各軸の状態に基づいて前記マニピュレータの動作状態が反映されたマニピュレータモデル表現を生成するステップと、
三次元空間の指定された視点から見た前記対象物モデル表現および前記マニピュレータモデル表現を前記環境データとともに同一画面上に三次元的に表示させるステップとをコンピュータに実行させることを特徴とする遠隔操作支援プログラム。
【請求項４】
前記ステレオカメラの座標系を前記レーザスキャナの座標系に変換するステップをさらに備え、
前記レーザスキャナの座標系に変換された前記ステレオカメラの計測データを前記レーザスキャナの計測データとともに表示させることを特徴とする請求項３記載の遠隔操作支援プログラム。
【図１】
【図３】
【図２】
【図４】
【図３】
【図２】
【図４】
【公開番号】特開２００９−１２１０６（Ｐ２００９−１２１０６Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００７−１７５２４０（Ｐ２００７−１７５２４０）
【出願日】平成１９年７月３日（２００７．７．３）
【出願人】（５９１０８３２４４）富士電機システムズ株式会社 (1,717)
【Ｆターム（参考）】
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願日】平成１９年７月３日（２００７．７．３）
【出願人】（５９１０８３２４４）富士電機システムズ株式会社 (1,717)
【Ｆターム（参考）】
[ Back to top ]