３次元視覚センサ
【課題】３次元視覚センサから出力される座標や回転角度がロボットの制御に適合するものになるように、３次元モデルのモデル座標系を変更する。
【解決手段】３次元認識のために作成された３次元モデルおよびその基準の姿勢を示すモデル座標系を透視変換して両者の関係を表す投影画像を生成し、投影画像を含む作業画面を立ち上げる。この画面の作業領域２０４，２０５では、投影画像中の原点Ｏの座標やＸ，Ｙ，Ｚの各軸の回転角度ＲＴｘ，ＲＴｙ，ＲＴｚを表示して、これらの値を変更する操作を受け付ける。変更操作が行われると、投影画像の表示もこれに応じて変化する。また、変更後に画面下のＯＫボタン２０８が操作されると、作業領域２０４，２０５に表示されている座標や回転角度が確定されて、これらの値に基づきモデル座標系が変更される。３次元モデルの各構成点の座標も、変更後のモデル座標系による座標に変換される。
【解決手段】３次元認識のために作成された３次元モデルおよびその基準の姿勢を示すモデル座標系を透視変換して両者の関係を表す投影画像を生成し、投影画像を含む作業画面を立ち上げる。この画面の作業領域２０４，２０５では、投影画像中の原点Ｏの座標やＸ，Ｙ，Ｚの各軸の回転角度ＲＴｘ，ＲＴｙ，ＲＴｚを表示して、これらの値を変更する操作を受け付ける。変更操作が行われると、投影画像の表示もこれに応じて変化する。また、変更後に画面下のＯＫボタン２０８が操作されると、作業領域２０４，２０５に表示されている座標や回転角度が確定されて、これらの値に基づきモデル座標系が変更される。３次元モデルの各構成点の座標も、変更後のモデル座標系による座標に変換される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ計測により認識対象物を表す複数の３次元座標を取得し、これらの３次元座標をあらかじめ登録された認識対象物の３次元モデルと照合することにより、認識対象物の位置および姿勢を認識し、その認識結果を出力する３次元視覚センサに関する。
【背景技術】
【０００２】
工場のピッキングシステムでは、ロボットに把持させる対象のワークの位置や姿勢をステレオ計測により認識し、その認識結果に基づきロボットのアームの動作を制御する。この制御を実現するには、あらかじめ、キャリブレーションによりステレオカメラの計測対象空間の３次元座標系を特定すると共に、ワークの実物モデルやＣＡＤデータなどを用いて、ワークのモデルの３次元形状を表す３次元モデルを作成する。この３次元モデルは、一般に、モデル内の一点を原点とする３次元座標系（以下、「モデル座標系」という。）による３次元座標の集合として表され、この集合に対する各座標軸の設定方向によって、ワークの基準の姿勢が表現される。
【０００３】
３次元認識処理では、あらかじめ特定された計測用のパラメータに基づき、認識対象物のステレオ画像から抽出された複数の特徴点の３次元座標を算出した後に、これらの特徴点の分布に対し、３次元モデルをその位置や姿勢を変更しながら照合する。そして、両者の一致度が最も高くなったときにモデル座標系の原点に対応づけられた座標を認識対象物の位置として認識する。また、一致度が最も高くなったときにモデル座標系の各座標軸に対応づけられた方向について、それぞれ計測用の座標系の対応する座標軸に対する回転角度を算出し、これらの回転角度を認識対象物の姿勢として認識する。
【０００４】
さらに、上記の認識結果に基づきロボットの動作を制御するには、認識結果を示す座標や回転角度を、ロボットを基準に設定されたワールド座標系の座標や回転角度に変換する必要がある（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１７１０１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のピッキングシステムにおいて、ロボットにより安定してワークが把持されるようにするには、アームの先端部の目標位置を表す座標や、目標位置に向かうアームの方向を示す角度をロボットに与える必要がある。これらの座標や角度は、ワークを安定して把持できることを条件に現場の担当者により定められるが、３次元モデルにより認識される位置や姿勢はこの条件に適合していない場合が多い。特に、ＣＡＤデータを用いて３次元モデルを作成する場合には、ＣＡＤデータで定められている座標系の定義がそのままモデル座標系に反映されることが多いため、ロボットの制御に適合しないモデル座標系が設定される可能性が高くなる。
【０００７】
出願人は、近年、汎用の視覚センサを開発しているが、この種の視覚センサをピッキングシステムに導入する場合に、上記のようにロボット制御に適合しない認識処理が行われると、ロボットのコントローラにおいて、３次元視覚センサから入力した座標や回転角度をロボットの制御に適した座標や角度に変換する処理が必要となる。この結果、ロボットコントローラの演算の負担が増えてロボットの制御に時間がかかり、ピッキングを高速化するのが困難になる。
【０００８】
本発明は、上記の問題に着目し、簡単な設定操作によって、３次元視覚センサから出力される座標や回転角度がロボットの制御に適合するものになるように、３次元モデルのモデル座標系を変更することを、課題とする。
【課題を解決するための手段】
【０００９】
本発明が適用される３次元視覚センサは、認識対象物のモデルの３次元形状を示す複数の点がそれぞれ当該モデル中の一点を原点とするモデル座標系の３次元座標により表された３次元モデルが登録される登録手段と、認識対象物を撮像するステレオカメラと、ステレオカメラにより生成されたステレオ画像を用いて、認識対象物を表す複数の特徴点につき、あらかじめ定めた計測用の３次元座標系における３次元座標を求める３次元計測手段と、３次元計測手段が取得した３次元座標の集合を前記３次元モデルと照合することにより、モデル座標系の原点に対応する３次元座標と、モデル座標系が示す３次元モデルの基準の姿勢に対する認識対象物の回転角度とを認識する認識手段と、認識手段により認識された３次元座標および回転角度を出力する出力手段とを具備する。
【００１０】
本発明による３次元視覚センサは、さらに計測用の３次元座標系に対するモデル座標系の位置および姿勢を定めて前記３次元モデルを配置し、この３次元モデルおよびモデル座標系を所定の方向から透視変換して２次元の投影画像を生成する透視変換手段と、透視変換処理により生成された投影画像をモニタに表示する表示手段と、表示手段により表示された投影画像中のモデル座標系の位置または姿勢を変更する操作入力を受け付ける受付手段と、前記操作入力に基づき、モデル座標系の位置または姿勢と３次元モデルを構成する各３次元座標とを変更し、変更後の３次元モデルを前記認識手段の照合処理に使用される３次元モデルとして登録手段に登録するモデル修正手段とを、具備する。
【００１１】
上記の構成によれば、ユーザは、３次元モデルおよびモデル座標系の投影画像の表示により、モデル座標系の原点の位置や各座標軸の方向がロボットの制御に適合しているかどうかを確認することができる。ここで、いずれかが適合していないと判断した場合には、ユーザは、その不適合な箇所を変更する操作入力を行う。
【００１２】
上記の操作入力は一度に限らず、変更後のモデル座標系がロボットの制御に適した状態になるまで、何度でも実行することができる。よって、ユーザは、たとえばモデル座標系の原点をロボットアームの先端部の目標位置に変更し、ロボットに対するワークの最適な姿勢が基準の姿勢となるように、各座標軸の方向を変更することができる。
この操作入力に基づき、モデル座標系および３次元モデルを構成する各３次元座標が変更され、認識処理のための３次元モデルとして登録されるので、３次元視覚センサから出力される座標や角度を、ロボットの制御に適したものにすることができる。
【００１３】
上記の３次元視覚センサの好ましい実施態様では、表示手段は、前記投影画像が表示されるモニタに、この投影画像中のモデル座標系の原点への対応点の３次元座標として、モデル修正手段により変更される前のモデル座標系における前記対応点の３次元座標を表示し、投影画像中のモデル座標系が示す姿勢として、投影画像中のモデル座標系の各座標軸に対応する方向がモデル修正手段により変更される前のモデル座標系の各座標軸に対してなす回転角度を表示する。また、受付手段は、モニタに表示された３次元座標または回転角度を変更する操作を受け付ける。
【００１４】
上記の態様によれば、投影画像中の原点の位置や各座標軸が示す方向を、現段階でのモデル座標系を用いた具体的な数値により表示し、これらの数値をユーザに変更させるので、モデル座標系や３次元モデルの各座標を容易に変更することが可能になる。
【発明の効果】
【００１５】
本発明によれば、３次元モデルに対するモデル座標系の設定を確認しながら、このモデル座標系をロボットの制御に適合するものに容易に修正することが可能になる。よって、３次元視覚センサから出力される座標や角度もロボットの制御に適したものとなり、ロボットに対する制御を高速化することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】３次元視覚センサが導入されたピッキングシステムの構成を示す図である。
【図２】３次元視覚センサの電気構成を示すブロック図である。
【図３】ワークの認識に用いられる３次元モデルの構成を模式的に示す図である。
【図４】モデル座標系の修正のための作業画面の例を示す図である。
【図５】モデル座標系の座標軸の方向を変更する操作が行われたときの作業画面の例を示す図である。
【図６】モデル座標系の原点の位置を変更する操作が行われたときの作業画面の例を示す図である。
【図７】３次元モデルの修正に関する処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１７】
図１は、３次元視覚センサが導入されたピッキングシステムの例を、図２は３次元視覚センサの構成を、それぞれ示す。
この実施例のピッキングシステムは、トレイ４の上にバラ積みされたワークＷを１つずつ取り出して別の場所に移動させる作業を行うためのもので、ワークＷを認識するための３次元視覚センサ１００のほか、実際の作業を行う多関節ロボット３や、図示しないロボットコントローラなどが含まれる。
【００１８】
３次元視覚センサ１００は、ステレオカメラ１と認識処理装置２とにより構成される。
ステレオカメラ１は、３台のカメラＣ０，Ｃ１，Ｃ２により構成される。これらのうち中央のカメラＣ０は、光軸を鉛直方向に向けた状態（すなわち正面視を行う状態）にして配備され、左右のカメラＣ１，Ｃ２は、光軸を斜めにして配備される。
【００１９】
認識処理装置２は、専用のプログラムが格納されたパーソナルコンピュータである。この認識処理装置２では、各カメラＣ０，Ｃ１，Ｃ２が生成した画像を取り込んで、ワークＷの輪郭線を対象とする３次元計測を実行した後に、この計測により復元された３次元情報をあらかじめ登録された３次元モデルと照合することにより、ワークＷの位置および姿勢を認識する。そして、認識したワークＷの位置を表す３次元座標、および３次元モデルに対するワークＷの回転角度（Ｘ，Ｙ，Ｚの各軸毎に表される。）をロボットコントローラに出力する。ロボットコントローラは、この情報に基づき、ロボット３のアーム３０やハンド部３１の動作を制御して、先端の爪部３２，３２をワークＷの把持に適した位置に把持に適した姿勢で配置し、爪部３２，３２にワークＷを把持させる。
【００２０】
図２によれば、認識処理装置２には、各カメラＣ０，Ｃ１，Ｃ２に対応する画像入力部２０，２１，２２、カメラ駆動部２３、ＣＰＵ２４、メモリ２５、入力部２６、表示部２７、通信インターフェース２８などが含まれる。
【００２１】
カメラ駆動部２３は、ＣＰＵ２４からの指令に応じて、各カメラＣ０，Ｃ１，Ｃ２を同時に駆動する。各カメラＣ０，Ｃ１，Ｃ２により生成された画像は、それぞれ画像入力部２０，２１，２２を介してメモリ２５に入力され、ＣＰＵ２４により上記した認識処理が実行される。
【００２２】
表示部２７は液晶ディスプレイなどのモニタ装置であり、入力部２６には、キーボードやマウスが含まれる。これらは、キャリブレーション処理や３次元モデルの登録処理の際に、設定のための情報を入力したり、作業を支援するための情報を表示する目的に使用される。
通信インターフェース２８は、ロボットコントローラとの通信に用いられる。
【００２３】
メモリ２５は、ＲＯＭ，ＲＡＭ，およびハードディスクなどの大容量メモリを含むもので、キャリブレーション処理、３次元モデルの作成、およびワークＷの３次元認識処理のためのプログラムや設定データが格納されている。また、キャリブレーション処理で算出された３次元計測用のパラメータや３次元モデルも、メモリ２５内の専用のエリアに登録される。
【００２４】
ＣＰＵ２４は、メモリ２５内のプログラムに基づき、３次元計測用のパラメータの算出および登録を行った後に、ワークＷの３次元モデルの作成および登録処理を実行する。この２種類の設定処理を実行することによって、ワークＷに対する３次元計測および認識処理が可能な状態になる。
【００２５】
また、この実施例の認識処理装置２では、ワークＷのＣＡＤデータを利用して、ワークＷの輪郭形状を示す３次元モデルを作成するとともに、この３次元モデルのデータ構成をロボットの制御に適した内容に修正する機能が設けられている。以下、この３次元モデルの修正機能について詳細に説明する。
【００２６】
図３は、ワークＷの３次元モデルを、ＸＹ平面、ＹＺ平面、ＸＺ平面のそれぞれに直交する方向から観察した状態を模式的に示す。
この３次元モデルは、ＣＡＤデータが示すモデル内の一点Ｏを原点とするモデル座標系により、輪郭線の各構成点の座標を表現したものである。具体的に、この実施例のワークＷは薄型であり、厚み部分の中心位置に原点Ｏが設定される。また、面積が一番広い面の長手方向にＸ軸が、短手方向にＹ軸が、それぞれ設定され、ＸＹ平面の法線の方向にＺ軸が設定されている。
【００２７】
上記のモデル座標系の設定は、元データのＣＡＤデータに基づいて設定されたものであるが、この実施例のロボット３にワークＷを把持させる目的に必ずしも適しているとは限らない。そこで、この実施例では、表示部２７に、モデル座標系の設定を変更するための作業画面を表示して、ユーザによる設定変更操作に応じて、原点Ｏの位置や、各座標軸の方向を変更するようにしている。
【００２８】
図４〜６は、モデル座標系の設定変更のための作業画面の例を示す。
この作業画面の右手には、３つの画像表示領域２０１，２０２，２０３が設けられて、これらの領域内に、それぞれ３次元モデルおよびモデル座標系の投影画像が表示される。これらのうち、面積の大きい画像表示領域２０１では、マウスによる視線方向の変更操作を受け付けて、投影画像の姿勢を種々に変更することができる。
【００２９】
画像表示領域２０１の下方に並べて配置された画像表示領域２０２，２０３には、それぞれＺ軸方向に対向する方向からの透視変換による画像と、Ｘ軸方向に対向する方向からの透視変換による画像とが表示される。画像表示領域２０２，２０３における透視変換の方向は固定されている（ただし、ユーザにより選択は可能である。）ため、モデル座標系の座標軸が変更されると、これに追随して画像表示領域２０２，２０３内の投影画像の姿勢が変動する。
【００３０】
画面の左手には、モデル座標系の設定パラメータを変更するための２つの作業領域２０４，２０５が、上下に並べて設けられている。作業領域２０４では、モデル座標系の原点Ｏが「検出点」と表現されて、この検出点のＸ，Ｙ，Ｚの座標毎に、設定値変更用のスライダ２０６や数値表示ボックス２０７が設けられる。
【００３１】
もう一方の作業領域２０５では、３次元モデルの基準姿勢を表すモデル座標系のＸ，Ｙ，Ｚ軸の方向が、それぞれ回転角度ＲＴｘ，ＲＴｙ，ＲＴｚにより表示される。これらの角度ＲＴｘ，ＲＴｙ，ＲＴｚについても、それぞれ設定値変更用のスライダ２０６や数値表示ボックス２０７が設けられる。
【００３２】
このほか、この実施例の作業画面には、原点Ｏの座標や回転角度ＲＴｘ，ＲＴｙ，ＲＴｚの設定値を確定するためのＯＫボタン２０８、モデル座標系の設定値の変更を破棄するためのキャンセルボタン２０９、透視変換の視点を初期状態に戻すことを指示する視点変更ボタン２１０などが設けられる。
【００３３】
この実施例では、ＯＫボタン２０８が操作されるまでは、ＣＡＤデータに基づき設定されたモデル座標系を有効に設定する。また各作業領域２０４，２０５のスライダ２０６の位置や表示ボックス２０７内の数値は、現在有効なモデル座標系に基づいて設定される。
【００３４】
具体的に、作業領域２０４では、各画像領域２０１，２０２，２０３に表示されている原点Ｏの位置が、現在のモデル座標系のＸ，Ｙ，Ｚ座標により表現される。したがって、この作業領域２０４内に表示されている座標（Ｘ，Ｙ，Ｚ）が（０，０，０）であれば、原点Ｏは変更されていないことになる。
作業領域２０５では、ＣＡＤデータに基づき設定されたモデル座標系のＸ，Ｙ，Ｚ軸の方向をそれぞれ０度として、これらの方向に対して投影画像中のＸ，Ｙ，Ｚ軸が示す方向の回転角度をＲＴｘ，ＲＴｙ、ＲＴｚとする。したがって、ＲＴｘ，ＲＴｙ，ＲＴｚがそれぞれ０度のときは、モデル座標系の軸方向は変更されていないことになる。
【００３５】
図７は、上記の作業画面によりモデル座標系の設定を変更する処理の手順を示す。以下、この図７および図４〜６を参照して、モデル座標系の設定を変更する作業や、この作業に応じてＣＰＵ２４により実行される処理を説明する。
【００３６】
なお、前提として、この実施例では、ロボット３の爪部３２，３２が開いた状態になっているときの爪部３２，３２間の空間内の一点Ｐ（図１に示す。）を基準点として、ワークＷを把持する直前の基準点Ｐの位置に原点Ｏを変更するものとする。また、アーム部３０を延ばしたときの長さ方向がＺ軸の正方向に対向し、爪部３２，３２が並ぶ方向がＹ軸方向に対応するように、各軸方向を変更するものとする。
【００３７】
図７の処理は、ＣＡＤデータを用いて３次元モデルが作成されたことに応じて開始される。まず、ＣＰＵ２４は、モデル座標系のＸ，Ｙ，Ｚ軸を計測用の３次元座標系に所定の姿勢で仮想配置して、３通りの方向からの透視変換処理を実行し（ＳＴ１）、この処理により生成された投影画像を含む作業画面を立ち上げる（ＳＴ２）。図４は、この立ち上げ直後の画面を示すもので、各画像表示領域２０１，２０２，２０３には、ＣＡＤデータに基づき設定されたままのモデル座標系が表示されている。作業領域２０４，２０５内の各スライダ２０６や数値表示ボックス２０７の表示も全て０である。
【００３８】
この画面において、ユーザは、原点ＯのＸ，Ｙ，Ｚ座標や各座標軸の回転角度ＲＴｘ，ＲＴｙ，ＲＴｚを、それぞれスライダ２０６の操作または数値表示ボックス２０７への数値入力により、自由に変更する。また、必要に応じて、画像表示領域２０１内の投影画像を、異なる視線方向から投影したものに変更することもできる。
【００３９】
原点Ｏの座標が変更された場合（ＳＴ４が「ＹＥＳ」）には、ＣＰＵ２４は、各画像表示領域２０１，２０２，２０３の投影画像における変更後の原点Ｏの位置を算出し、その算出結果に応じて各投影画像中の原点Ｏの表示位置を更新する（ＳＴ５）。これにより、原点Ｏは、操作により変更された位置に表示される状態となる。
【００４０】
Ｘ，Ｙ，Ｚのいずれかの座標軸の回転角度が変更された場合には、ＳＴ６が「ＹＥＳ」となってＳＴ７に進む。このＳＴ７において、ＣＰＵ２４は、角度変更の対象となった座標軸を変更された回転角度で回転させた状態で透視変換処理を実行し、その結果に応じて画像表示領域２０１内の座標軸の表示を更新する。また、画像表示領域２０２，２０３内の投影画像についても、上記の回転角度により回転した後の座標軸を含む平面が正面視画像になるように、表示を更新する。これらの処理により、回転角度を変更する操作に応じて、該当する座標軸が回転した状態を表示することができる。
【００４１】
図５は、図４の画面が表示された後に、Ｘ軸まわりの回転角度ＲＴｘが変更されたことに伴って変化した画面の例を示す。この例では、画像表示領域２０１内の投影画像がユーザの操作に応じて変更されると共に、ＲＴｘの値に応じたモデル座標系の回転によりＹ軸およびＺ軸の方向が変更されている。また画像表示領域２０１内の投影画像も、それぞれ変更後のＹＸ平面およびＹＺ平面に直交する方向から透視変換を行った結果を表すものに変更されている。
【００４２】
図６は、図５の画面が表示された後に、さらに原点Ｏの位置が変更されたことにより変化した画面の例を示す。この実施例では、Ｙ座標およびＺ座標が変更されたことに伴い、画像表示領域２０１，２０２内の原点Ｏや各座標軸の表示位置が変更されている。
【００４３】
図７に参照を戻して説明を続ける。上記した方法により、ユーザが作業画面上のモデル座標系をロボット３の制御に適した状態になるように変更して、ＯＫボタン２０８を操作すると、ＳＴ３およびＳＴ８が「ＹＥＳ」となる。これらの「ＹＥＳ」判定に応じて、ＣＰＵ２４は、その段階で各作業領域２０４，２０５の各入力ボックス２０７に表示されている設定値を確定し、これらの設定値に基づいて原点ＯおよびＸ，Ｙ，Ｚ軸の方向を変更する（ＳＴ９）。さらに、ＣＰＵ２４は、３次元モデルの各輪郭構成点の座標を、変更後のモデル座標系による座標に変換する（ＳＴ１０）。そして、座標変換後の３次元モデルをメモリ２５に登録し（ＳＴ１１）、処理を終了する。
なお、座標変換後の３次元モデルの登録に伴い、元の３次元モデルは消去されるが、これに限らず、元の３次元モデルを無効化した状態で保存しておいてもよい。
【００４４】
なお、図４に示した初期状態の作業画面でＯＫボタン２０８が操作された場合には、ＳＴ９，１０，１１はスキップされて、処理終了となる。また、図７には示していないが、作業の途中でキャンセルボタン２０９が操作された場合には、各入力ボックス２０７内の設定値は破棄されて、初期状態の作業画面に戻る。
【００４５】
上記の処理によれば、ユーザは、モデル座標系の原点Ｏの位置や各座標軸の方向を確認しながら、これらがロボット３にワークＷを把持させるのに必要な条件を満たす状態になるように変更する作業を容易に行うことができる。また、この変更操作は、現在のモデル座標系におけるＸ，Ｙ，Ｚ座標や各座標軸に対する回転角度ＲＴｘ，ＲＴｙ，ＲＴｚを用いて行われるので、変更の内容を容易に投影画像に反映させることができる。また、変更した内容を確定する操作（ＯＫボタン２０８の操作）が行われた場合には、その時点で作業領域２０４，２０５に表示されている各数値を用いて、速やかにモデル座標系を変更することが可能になる。
【００４６】
上記の変更後の３次元モデルが登録された３次元視覚センサ１００によれば、ワークＷに対するロボット３のアーム３０の方向やアーム３０を延ばす位置を一意に特定できる情報が出力されるので、ロボットコントローラは、これらを用いて速やかにロボット３を制御することができる。さらに、この３次元視覚センサ１００に、計測用の３次元座標系による座標をワールド座標系の座標に変換するための変換パラメータを登録しておけば、ロボットコントローラにおいて、３次元視覚センサ１００から入力された情報を変換する必要がなくなり、ロボットコントローラにおける演算の負担をより一層軽減することが可能になる。
【００４７】
なお、上記の作業画面の画像表示領域２０１には、様々な視線方向からの投影画像を表示することができるが、最初の表示では、実際のワークＷの画像と比較できるように、カメラＣ０，Ｃ１，Ｃ２のいずれかの撮像面に対する投影画像を表示するのが望ましい。また、このようにカメラの撮像面に対して透視変換処理を行うのであれば、まず各カメラＣ０，Ｃ１，Ｃ２によりワークＷの実物モデルを撮像して３次元モデルによる認識処理を行い、その認識結果に基づき、実物モデルに３次元モデルを重ねあわせた画像を対象にした透視変換処理を行うようにしてもよい。このようにすれば、ユーザは実物モデルの投影画像を参照して、モデル座標系の原点や座標軸の方向を容易に定めることが可能になる。
【００４８】
また、図４〜６の例では、３次元モデルに設定されている輪郭構成点の全てを表示するようにしたが、透視変換の方向に基づき、その方向からの視認が可能な輪郭構成点のみに限定して表示を行うようにしてもよい。また、上記の実施例ではＣＡＤデータを用いて作成された３次元モデルを対象に、そのモデル座標系を修正しているが、ワークＷの実物モデルのステレオ計測結果を用いて作成された３次元モデルに関しても、そのモデル座標系がロボットの制御に適していない場合には、上記と同様の処理によりモデル座標系を変更することが可能になる。
【００４９】
つぎに、上記の実施例では、３次元モデルをモデル座標系とともに表示して、ユーザの操作に応じてモデル座標系の設定を変更するようにしたが、モデル座標系の設定の変更はこの方法に限定されるものではない。以下に、考えられる方法を２つ紹介する。
【００５０】
（１）コンピュータグラフィックスの利用
コンピュータグラフィックスによりロボット３の作業空間のシミュレーション画面を立ち上げて、ロボット３によるピッキング動作をシミュレーションし、爪部３２，３２によりワークＷを把持するのに最適な対象位置やワークＷの最適な姿勢を特定する。そして、この特定結果に基づいてモデル座標系の原点や座標軸を変更し、３次元モデルの各構成点の座標を変更後のモデル座標系による座標に変換する。
【００５１】
（２）ステレオ計測の利用
ロボット３の作業空間において、ワークＷをロボット３が最適な位置関係をもって把持した状態を設定して、カメラＣ０，Ｃ１，Ｃ２を用いたステレオ計測を実施し、アーム部３０の方向や爪部３２，３２の位置および並び方向を計測する。また、ワークＷに対しても３次元計測を実行して、計測結果を初期状態の３次元モデルにより照合し、原点Ｏに対応する座標やＸ，Ｙ，Ｚの各座標軸の方向を特定する。そして、原点Ｏへの対応点と爪部３２，３２の計測位置から割り出される基準点Ｐとの間の距離や、アーム部３０の方向に対するＺ軸の回転角度、爪部３２，３２の並び方向に対するＹ軸の回転角度を導出し、これらの値に基づき、３次元モデル中の原点Ｏの座標や、Ｙ，Ｚの各座標軸の方向を変更する。また、ＹＺ平面に直交する方向をＸ軸方向に設定する。
【符号の説明】
【００５２】
１００ ３次元視覚センサ
Ｃ０，Ｃ１，Ｃ２ カメラ
１ ステレオカメラ
２ 認識処理装置
２４ ＣＰＵ
２５ メモリ
２６ 入力部
２７ 表示部
２０１，２０２，２０３ 画像表示領域
２０６ スライダ
２０７ 数値表示ボックス
【技術分野】
【０００１】
本発明は、ステレオ計測により認識対象物を表す複数の３次元座標を取得し、これらの３次元座標をあらかじめ登録された認識対象物の３次元モデルと照合することにより、認識対象物の位置および姿勢を認識し、その認識結果を出力する３次元視覚センサに関する。
【背景技術】
【０００２】
工場のピッキングシステムでは、ロボットに把持させる対象のワークの位置や姿勢をステレオ計測により認識し、その認識結果に基づきロボットのアームの動作を制御する。この制御を実現するには、あらかじめ、キャリブレーションによりステレオカメラの計測対象空間の３次元座標系を特定すると共に、ワークの実物モデルやＣＡＤデータなどを用いて、ワークのモデルの３次元形状を表す３次元モデルを作成する。この３次元モデルは、一般に、モデル内の一点を原点とする３次元座標系（以下、「モデル座標系」という。）による３次元座標の集合として表され、この集合に対する各座標軸の設定方向によって、ワークの基準の姿勢が表現される。
【０００３】
３次元認識処理では、あらかじめ特定された計測用のパラメータに基づき、認識対象物のステレオ画像から抽出された複数の特徴点の３次元座標を算出した後に、これらの特徴点の分布に対し、３次元モデルをその位置や姿勢を変更しながら照合する。そして、両者の一致度が最も高くなったときにモデル座標系の原点に対応づけられた座標を認識対象物の位置として認識する。また、一致度が最も高くなったときにモデル座標系の各座標軸に対応づけられた方向について、それぞれ計測用の座標系の対応する座標軸に対する回転角度を算出し、これらの回転角度を認識対象物の姿勢として認識する。
【０００４】
さらに、上記の認識結果に基づきロボットの動作を制御するには、認識結果を示す座標や回転角度を、ロボットを基準に設定されたワールド座標系の座標や回転角度に変換する必要がある（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１７１０１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のピッキングシステムにおいて、ロボットにより安定してワークが把持されるようにするには、アームの先端部の目標位置を表す座標や、目標位置に向かうアームの方向を示す角度をロボットに与える必要がある。これらの座標や角度は、ワークを安定して把持できることを条件に現場の担当者により定められるが、３次元モデルにより認識される位置や姿勢はこの条件に適合していない場合が多い。特に、ＣＡＤデータを用いて３次元モデルを作成する場合には、ＣＡＤデータで定められている座標系の定義がそのままモデル座標系に反映されることが多いため、ロボットの制御に適合しないモデル座標系が設定される可能性が高くなる。
【０００７】
出願人は、近年、汎用の視覚センサを開発しているが、この種の視覚センサをピッキングシステムに導入する場合に、上記のようにロボット制御に適合しない認識処理が行われると、ロボットのコントローラにおいて、３次元視覚センサから入力した座標や回転角度をロボットの制御に適した座標や角度に変換する処理が必要となる。この結果、ロボットコントローラの演算の負担が増えてロボットの制御に時間がかかり、ピッキングを高速化するのが困難になる。
【０００８】
本発明は、上記の問題に着目し、簡単な設定操作によって、３次元視覚センサから出力される座標や回転角度がロボットの制御に適合するものになるように、３次元モデルのモデル座標系を変更することを、課題とする。
【課題を解決するための手段】
【０００９】
本発明が適用される３次元視覚センサは、認識対象物のモデルの３次元形状を示す複数の点がそれぞれ当該モデル中の一点を原点とするモデル座標系の３次元座標により表された３次元モデルが登録される登録手段と、認識対象物を撮像するステレオカメラと、ステレオカメラにより生成されたステレオ画像を用いて、認識対象物を表す複数の特徴点につき、あらかじめ定めた計測用の３次元座標系における３次元座標を求める３次元計測手段と、３次元計測手段が取得した３次元座標の集合を前記３次元モデルと照合することにより、モデル座標系の原点に対応する３次元座標と、モデル座標系が示す３次元モデルの基準の姿勢に対する認識対象物の回転角度とを認識する認識手段と、認識手段により認識された３次元座標および回転角度を出力する出力手段とを具備する。
【００１０】
本発明による３次元視覚センサは、さらに計測用の３次元座標系に対するモデル座標系の位置および姿勢を定めて前記３次元モデルを配置し、この３次元モデルおよびモデル座標系を所定の方向から透視変換して２次元の投影画像を生成する透視変換手段と、透視変換処理により生成された投影画像をモニタに表示する表示手段と、表示手段により表示された投影画像中のモデル座標系の位置または姿勢を変更する操作入力を受け付ける受付手段と、前記操作入力に基づき、モデル座標系の位置または姿勢と３次元モデルを構成する各３次元座標とを変更し、変更後の３次元モデルを前記認識手段の照合処理に使用される３次元モデルとして登録手段に登録するモデル修正手段とを、具備する。
【００１１】
上記の構成によれば、ユーザは、３次元モデルおよびモデル座標系の投影画像の表示により、モデル座標系の原点の位置や各座標軸の方向がロボットの制御に適合しているかどうかを確認することができる。ここで、いずれかが適合していないと判断した場合には、ユーザは、その不適合な箇所を変更する操作入力を行う。
【００１２】
上記の操作入力は一度に限らず、変更後のモデル座標系がロボットの制御に適した状態になるまで、何度でも実行することができる。よって、ユーザは、たとえばモデル座標系の原点をロボットアームの先端部の目標位置に変更し、ロボットに対するワークの最適な姿勢が基準の姿勢となるように、各座標軸の方向を変更することができる。
この操作入力に基づき、モデル座標系および３次元モデルを構成する各３次元座標が変更され、認識処理のための３次元モデルとして登録されるので、３次元視覚センサから出力される座標や角度を、ロボットの制御に適したものにすることができる。
【００１３】
上記の３次元視覚センサの好ましい実施態様では、表示手段は、前記投影画像が表示されるモニタに、この投影画像中のモデル座標系の原点への対応点の３次元座標として、モデル修正手段により変更される前のモデル座標系における前記対応点の３次元座標を表示し、投影画像中のモデル座標系が示す姿勢として、投影画像中のモデル座標系の各座標軸に対応する方向がモデル修正手段により変更される前のモデル座標系の各座標軸に対してなす回転角度を表示する。また、受付手段は、モニタに表示された３次元座標または回転角度を変更する操作を受け付ける。
【００１４】
上記の態様によれば、投影画像中の原点の位置や各座標軸が示す方向を、現段階でのモデル座標系を用いた具体的な数値により表示し、これらの数値をユーザに変更させるので、モデル座標系や３次元モデルの各座標を容易に変更することが可能になる。
【発明の効果】
【００１５】
本発明によれば、３次元モデルに対するモデル座標系の設定を確認しながら、このモデル座標系をロボットの制御に適合するものに容易に修正することが可能になる。よって、３次元視覚センサから出力される座標や角度もロボットの制御に適したものとなり、ロボットに対する制御を高速化することが可能になる。
【図面の簡単な説明】
【００１６】
【図１】３次元視覚センサが導入されたピッキングシステムの構成を示す図である。
【図２】３次元視覚センサの電気構成を示すブロック図である。
【図３】ワークの認識に用いられる３次元モデルの構成を模式的に示す図である。
【図４】モデル座標系の修正のための作業画面の例を示す図である。
【図５】モデル座標系の座標軸の方向を変更する操作が行われたときの作業画面の例を示す図である。
【図６】モデル座標系の原点の位置を変更する操作が行われたときの作業画面の例を示す図である。
【図７】３次元モデルの修正に関する処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１７】
図１は、３次元視覚センサが導入されたピッキングシステムの例を、図２は３次元視覚センサの構成を、それぞれ示す。
この実施例のピッキングシステムは、トレイ４の上にバラ積みされたワークＷを１つずつ取り出して別の場所に移動させる作業を行うためのもので、ワークＷを認識するための３次元視覚センサ１００のほか、実際の作業を行う多関節ロボット３や、図示しないロボットコントローラなどが含まれる。
【００１８】
３次元視覚センサ１００は、ステレオカメラ１と認識処理装置２とにより構成される。
ステレオカメラ１は、３台のカメラＣ０，Ｃ１，Ｃ２により構成される。これらのうち中央のカメラＣ０は、光軸を鉛直方向に向けた状態（すなわち正面視を行う状態）にして配備され、左右のカメラＣ１，Ｃ２は、光軸を斜めにして配備される。
【００１９】
認識処理装置２は、専用のプログラムが格納されたパーソナルコンピュータである。この認識処理装置２では、各カメラＣ０，Ｃ１，Ｃ２が生成した画像を取り込んで、ワークＷの輪郭線を対象とする３次元計測を実行した後に、この計測により復元された３次元情報をあらかじめ登録された３次元モデルと照合することにより、ワークＷの位置および姿勢を認識する。そして、認識したワークＷの位置を表す３次元座標、および３次元モデルに対するワークＷの回転角度（Ｘ，Ｙ，Ｚの各軸毎に表される。）をロボットコントローラに出力する。ロボットコントローラは、この情報に基づき、ロボット３のアーム３０やハンド部３１の動作を制御して、先端の爪部３２，３２をワークＷの把持に適した位置に把持に適した姿勢で配置し、爪部３２，３２にワークＷを把持させる。
【００２０】
図２によれば、認識処理装置２には、各カメラＣ０，Ｃ１，Ｃ２に対応する画像入力部２０，２１，２２、カメラ駆動部２３、ＣＰＵ２４、メモリ２５、入力部２６、表示部２７、通信インターフェース２８などが含まれる。
【００２１】
カメラ駆動部２３は、ＣＰＵ２４からの指令に応じて、各カメラＣ０，Ｃ１，Ｃ２を同時に駆動する。各カメラＣ０，Ｃ１，Ｃ２により生成された画像は、それぞれ画像入力部２０，２１，２２を介してメモリ２５に入力され、ＣＰＵ２４により上記した認識処理が実行される。
【００２２】
表示部２７は液晶ディスプレイなどのモニタ装置であり、入力部２６には、キーボードやマウスが含まれる。これらは、キャリブレーション処理や３次元モデルの登録処理の際に、設定のための情報を入力したり、作業を支援するための情報を表示する目的に使用される。
通信インターフェース２８は、ロボットコントローラとの通信に用いられる。
【００２３】
メモリ２５は、ＲＯＭ，ＲＡＭ，およびハードディスクなどの大容量メモリを含むもので、キャリブレーション処理、３次元モデルの作成、およびワークＷの３次元認識処理のためのプログラムや設定データが格納されている。また、キャリブレーション処理で算出された３次元計測用のパラメータや３次元モデルも、メモリ２５内の専用のエリアに登録される。
【００２４】
ＣＰＵ２４は、メモリ２５内のプログラムに基づき、３次元計測用のパラメータの算出および登録を行った後に、ワークＷの３次元モデルの作成および登録処理を実行する。この２種類の設定処理を実行することによって、ワークＷに対する３次元計測および認識処理が可能な状態になる。
【００２５】
また、この実施例の認識処理装置２では、ワークＷのＣＡＤデータを利用して、ワークＷの輪郭形状を示す３次元モデルを作成するとともに、この３次元モデルのデータ構成をロボットの制御に適した内容に修正する機能が設けられている。以下、この３次元モデルの修正機能について詳細に説明する。
【００２６】
図３は、ワークＷの３次元モデルを、ＸＹ平面、ＹＺ平面、ＸＺ平面のそれぞれに直交する方向から観察した状態を模式的に示す。
この３次元モデルは、ＣＡＤデータが示すモデル内の一点Ｏを原点とするモデル座標系により、輪郭線の各構成点の座標を表現したものである。具体的に、この実施例のワークＷは薄型であり、厚み部分の中心位置に原点Ｏが設定される。また、面積が一番広い面の長手方向にＸ軸が、短手方向にＹ軸が、それぞれ設定され、ＸＹ平面の法線の方向にＺ軸が設定されている。
【００２７】
上記のモデル座標系の設定は、元データのＣＡＤデータに基づいて設定されたものであるが、この実施例のロボット３にワークＷを把持させる目的に必ずしも適しているとは限らない。そこで、この実施例では、表示部２７に、モデル座標系の設定を変更するための作業画面を表示して、ユーザによる設定変更操作に応じて、原点Ｏの位置や、各座標軸の方向を変更するようにしている。
【００２８】
図４〜６は、モデル座標系の設定変更のための作業画面の例を示す。
この作業画面の右手には、３つの画像表示領域２０１，２０２，２０３が設けられて、これらの領域内に、それぞれ３次元モデルおよびモデル座標系の投影画像が表示される。これらのうち、面積の大きい画像表示領域２０１では、マウスによる視線方向の変更操作を受け付けて、投影画像の姿勢を種々に変更することができる。
【００２９】
画像表示領域２０１の下方に並べて配置された画像表示領域２０２，２０３には、それぞれＺ軸方向に対向する方向からの透視変換による画像と、Ｘ軸方向に対向する方向からの透視変換による画像とが表示される。画像表示領域２０２，２０３における透視変換の方向は固定されている（ただし、ユーザにより選択は可能である。）ため、モデル座標系の座標軸が変更されると、これに追随して画像表示領域２０２，２０３内の投影画像の姿勢が変動する。
【００３０】
画面の左手には、モデル座標系の設定パラメータを変更するための２つの作業領域２０４，２０５が、上下に並べて設けられている。作業領域２０４では、モデル座標系の原点Ｏが「検出点」と表現されて、この検出点のＸ，Ｙ，Ｚの座標毎に、設定値変更用のスライダ２０６や数値表示ボックス２０７が設けられる。
【００３１】
もう一方の作業領域２０５では、３次元モデルの基準姿勢を表すモデル座標系のＸ，Ｙ，Ｚ軸の方向が、それぞれ回転角度ＲＴｘ，ＲＴｙ，ＲＴｚにより表示される。これらの角度ＲＴｘ，ＲＴｙ，ＲＴｚについても、それぞれ設定値変更用のスライダ２０６や数値表示ボックス２０７が設けられる。
【００３２】
このほか、この実施例の作業画面には、原点Ｏの座標や回転角度ＲＴｘ，ＲＴｙ，ＲＴｚの設定値を確定するためのＯＫボタン２０８、モデル座標系の設定値の変更を破棄するためのキャンセルボタン２０９、透視変換の視点を初期状態に戻すことを指示する視点変更ボタン２１０などが設けられる。
【００３３】
この実施例では、ＯＫボタン２０８が操作されるまでは、ＣＡＤデータに基づき設定されたモデル座標系を有効に設定する。また各作業領域２０４，２０５のスライダ２０６の位置や表示ボックス２０７内の数値は、現在有効なモデル座標系に基づいて設定される。
【００３４】
具体的に、作業領域２０４では、各画像領域２０１，２０２，２０３に表示されている原点Ｏの位置が、現在のモデル座標系のＸ，Ｙ，Ｚ座標により表現される。したがって、この作業領域２０４内に表示されている座標（Ｘ，Ｙ，Ｚ）が（０，０，０）であれば、原点Ｏは変更されていないことになる。
作業領域２０５では、ＣＡＤデータに基づき設定されたモデル座標系のＸ，Ｙ，Ｚ軸の方向をそれぞれ０度として、これらの方向に対して投影画像中のＸ，Ｙ，Ｚ軸が示す方向の回転角度をＲＴｘ，ＲＴｙ、ＲＴｚとする。したがって、ＲＴｘ，ＲＴｙ，ＲＴｚがそれぞれ０度のときは、モデル座標系の軸方向は変更されていないことになる。
【００３５】
図７は、上記の作業画面によりモデル座標系の設定を変更する処理の手順を示す。以下、この図７および図４〜６を参照して、モデル座標系の設定を変更する作業や、この作業に応じてＣＰＵ２４により実行される処理を説明する。
【００３６】
なお、前提として、この実施例では、ロボット３の爪部３２，３２が開いた状態になっているときの爪部３２，３２間の空間内の一点Ｐ（図１に示す。）を基準点として、ワークＷを把持する直前の基準点Ｐの位置に原点Ｏを変更するものとする。また、アーム部３０を延ばしたときの長さ方向がＺ軸の正方向に対向し、爪部３２，３２が並ぶ方向がＹ軸方向に対応するように、各軸方向を変更するものとする。
【００３７】
図７の処理は、ＣＡＤデータを用いて３次元モデルが作成されたことに応じて開始される。まず、ＣＰＵ２４は、モデル座標系のＸ，Ｙ，Ｚ軸を計測用の３次元座標系に所定の姿勢で仮想配置して、３通りの方向からの透視変換処理を実行し（ＳＴ１）、この処理により生成された投影画像を含む作業画面を立ち上げる（ＳＴ２）。図４は、この立ち上げ直後の画面を示すもので、各画像表示領域２０１，２０２，２０３には、ＣＡＤデータに基づき設定されたままのモデル座標系が表示されている。作業領域２０４，２０５内の各スライダ２０６や数値表示ボックス２０７の表示も全て０である。
【００３８】
この画面において、ユーザは、原点ＯのＸ，Ｙ，Ｚ座標や各座標軸の回転角度ＲＴｘ，ＲＴｙ，ＲＴｚを、それぞれスライダ２０６の操作または数値表示ボックス２０７への数値入力により、自由に変更する。また、必要に応じて、画像表示領域２０１内の投影画像を、異なる視線方向から投影したものに変更することもできる。
【００３９】
原点Ｏの座標が変更された場合（ＳＴ４が「ＹＥＳ」）には、ＣＰＵ２４は、各画像表示領域２０１，２０２，２０３の投影画像における変更後の原点Ｏの位置を算出し、その算出結果に応じて各投影画像中の原点Ｏの表示位置を更新する（ＳＴ５）。これにより、原点Ｏは、操作により変更された位置に表示される状態となる。
【００４０】
Ｘ，Ｙ，Ｚのいずれかの座標軸の回転角度が変更された場合には、ＳＴ６が「ＹＥＳ」となってＳＴ７に進む。このＳＴ７において、ＣＰＵ２４は、角度変更の対象となった座標軸を変更された回転角度で回転させた状態で透視変換処理を実行し、その結果に応じて画像表示領域２０１内の座標軸の表示を更新する。また、画像表示領域２０２，２０３内の投影画像についても、上記の回転角度により回転した後の座標軸を含む平面が正面視画像になるように、表示を更新する。これらの処理により、回転角度を変更する操作に応じて、該当する座標軸が回転した状態を表示することができる。
【００４１】
図５は、図４の画面が表示された後に、Ｘ軸まわりの回転角度ＲＴｘが変更されたことに伴って変化した画面の例を示す。この例では、画像表示領域２０１内の投影画像がユーザの操作に応じて変更されると共に、ＲＴｘの値に応じたモデル座標系の回転によりＹ軸およびＺ軸の方向が変更されている。また画像表示領域２０１内の投影画像も、それぞれ変更後のＹＸ平面およびＹＺ平面に直交する方向から透視変換を行った結果を表すものに変更されている。
【００４２】
図６は、図５の画面が表示された後に、さらに原点Ｏの位置が変更されたことにより変化した画面の例を示す。この実施例では、Ｙ座標およびＺ座標が変更されたことに伴い、画像表示領域２０１，２０２内の原点Ｏや各座標軸の表示位置が変更されている。
【００４３】
図７に参照を戻して説明を続ける。上記した方法により、ユーザが作業画面上のモデル座標系をロボット３の制御に適した状態になるように変更して、ＯＫボタン２０８を操作すると、ＳＴ３およびＳＴ８が「ＹＥＳ」となる。これらの「ＹＥＳ」判定に応じて、ＣＰＵ２４は、その段階で各作業領域２０４，２０５の各入力ボックス２０７に表示されている設定値を確定し、これらの設定値に基づいて原点ＯおよびＸ，Ｙ，Ｚ軸の方向を変更する（ＳＴ９）。さらに、ＣＰＵ２４は、３次元モデルの各輪郭構成点の座標を、変更後のモデル座標系による座標に変換する（ＳＴ１０）。そして、座標変換後の３次元モデルをメモリ２５に登録し（ＳＴ１１）、処理を終了する。
なお、座標変換後の３次元モデルの登録に伴い、元の３次元モデルは消去されるが、これに限らず、元の３次元モデルを無効化した状態で保存しておいてもよい。
【００４４】
なお、図４に示した初期状態の作業画面でＯＫボタン２０８が操作された場合には、ＳＴ９，１０，１１はスキップされて、処理終了となる。また、図７には示していないが、作業の途中でキャンセルボタン２０９が操作された場合には、各入力ボックス２０７内の設定値は破棄されて、初期状態の作業画面に戻る。
【００４５】
上記の処理によれば、ユーザは、モデル座標系の原点Ｏの位置や各座標軸の方向を確認しながら、これらがロボット３にワークＷを把持させるのに必要な条件を満たす状態になるように変更する作業を容易に行うことができる。また、この変更操作は、現在のモデル座標系におけるＸ，Ｙ，Ｚ座標や各座標軸に対する回転角度ＲＴｘ，ＲＴｙ，ＲＴｚを用いて行われるので、変更の内容を容易に投影画像に反映させることができる。また、変更した内容を確定する操作（ＯＫボタン２０８の操作）が行われた場合には、その時点で作業領域２０４，２０５に表示されている各数値を用いて、速やかにモデル座標系を変更することが可能になる。
【００４６】
上記の変更後の３次元モデルが登録された３次元視覚センサ１００によれば、ワークＷに対するロボット３のアーム３０の方向やアーム３０を延ばす位置を一意に特定できる情報が出力されるので、ロボットコントローラは、これらを用いて速やかにロボット３を制御することができる。さらに、この３次元視覚センサ１００に、計測用の３次元座標系による座標をワールド座標系の座標に変換するための変換パラメータを登録しておけば、ロボットコントローラにおいて、３次元視覚センサ１００から入力された情報を変換する必要がなくなり、ロボットコントローラにおける演算の負担をより一層軽減することが可能になる。
【００４７】
なお、上記の作業画面の画像表示領域２０１には、様々な視線方向からの投影画像を表示することができるが、最初の表示では、実際のワークＷの画像と比較できるように、カメラＣ０，Ｃ１，Ｃ２のいずれかの撮像面に対する投影画像を表示するのが望ましい。また、このようにカメラの撮像面に対して透視変換処理を行うのであれば、まず各カメラＣ０，Ｃ１，Ｃ２によりワークＷの実物モデルを撮像して３次元モデルによる認識処理を行い、その認識結果に基づき、実物モデルに３次元モデルを重ねあわせた画像を対象にした透視変換処理を行うようにしてもよい。このようにすれば、ユーザは実物モデルの投影画像を参照して、モデル座標系の原点や座標軸の方向を容易に定めることが可能になる。
【００４８】
また、図４〜６の例では、３次元モデルに設定されている輪郭構成点の全てを表示するようにしたが、透視変換の方向に基づき、その方向からの視認が可能な輪郭構成点のみに限定して表示を行うようにしてもよい。また、上記の実施例ではＣＡＤデータを用いて作成された３次元モデルを対象に、そのモデル座標系を修正しているが、ワークＷの実物モデルのステレオ計測結果を用いて作成された３次元モデルに関しても、そのモデル座標系がロボットの制御に適していない場合には、上記と同様の処理によりモデル座標系を変更することが可能になる。
【００４９】
つぎに、上記の実施例では、３次元モデルをモデル座標系とともに表示して、ユーザの操作に応じてモデル座標系の設定を変更するようにしたが、モデル座標系の設定の変更はこの方法に限定されるものではない。以下に、考えられる方法を２つ紹介する。
【００５０】
（１）コンピュータグラフィックスの利用
コンピュータグラフィックスによりロボット３の作業空間のシミュレーション画面を立ち上げて、ロボット３によるピッキング動作をシミュレーションし、爪部３２，３２によりワークＷを把持するのに最適な対象位置やワークＷの最適な姿勢を特定する。そして、この特定結果に基づいてモデル座標系の原点や座標軸を変更し、３次元モデルの各構成点の座標を変更後のモデル座標系による座標に変換する。
【００５１】
（２）ステレオ計測の利用
ロボット３の作業空間において、ワークＷをロボット３が最適な位置関係をもって把持した状態を設定して、カメラＣ０，Ｃ１，Ｃ２を用いたステレオ計測を実施し、アーム部３０の方向や爪部３２，３２の位置および並び方向を計測する。また、ワークＷに対しても３次元計測を実行して、計測結果を初期状態の３次元モデルにより照合し、原点Ｏに対応する座標やＸ，Ｙ，Ｚの各座標軸の方向を特定する。そして、原点Ｏへの対応点と爪部３２，３２の計測位置から割り出される基準点Ｐとの間の距離や、アーム部３０の方向に対するＺ軸の回転角度、爪部３２，３２の並び方向に対するＹ軸の回転角度を導出し、これらの値に基づき、３次元モデル中の原点Ｏの座標や、Ｙ，Ｚの各座標軸の方向を変更する。また、ＹＺ平面に直交する方向をＸ軸方向に設定する。
【符号の説明】
【００５２】
１００ ３次元視覚センサ
Ｃ０，Ｃ１，Ｃ２ カメラ
１ ステレオカメラ
２ 認識処理装置
２４ ＣＰＵ
２５ メモリ
２６ 入力部
２７ 表示部
２０１，２０２，２０３ 画像表示領域
２０６ スライダ
２０７ 数値表示ボックス
【特許請求の範囲】
【請求項１】
認識対象物のモデルの３次元形状を示す複数の点がそれぞれ当該モデル中の一点を原点とするモデル座標系の３次元座標により表された３次元モデルが登録される登録手段と、認識対象物を撮像するステレオカメラと、ステレオカメラにより生成されたステレオ画像を用いて、前記認識対象物を表す複数の特徴点につき、あらかじめ定めた計測用の３次元座標系における３次元座標を求める３次元計測手段と、３次元計測手段が取得した３次元座標の集合を前記３次元モデルと照合することにより、前記モデル座標系の原点に対応する３次元座標と、前記モデル座標系が示す３次元モデルの基準の姿勢に対する認識対象物の回転角度とを認識する認識手段と、認識手段により認識された３次元座標および回転角度を出力する出力手段とを具備する３次元視覚センサにおいて、
前記計測用の３次元座標系に対する前記モデル座標系の位置および姿勢を定めて前記３次元モデルを配置し、この３次元モデルおよびモデル座標系を所定の方向から透視変換して２次元の投影画像を生成する透視変換手段と、
前記透視変換処理により生成された投影画像をモニタに表示する表示手段と、
前記表示手段により表示された投影画像中のモデル座標系の位置または姿勢を変更する操作入力を受け付ける受付手段と、
前記操作入力に応じてモデル座標系の投影画像の表示を変更する表示変更手段と、
前記操作入力に基づき、前記モデル座標系の位置または姿勢と３次元モデルを構成する各３次元座標とを変更し、変更後の３次元モデルを前記認識手段の照合処理に使用される３次元モデルとして前記登録手段に登録するモデル修正手段とを、具備することを特徴とする３次元視覚センサ。
【請求項２】
前記表示手段は、前記投影画像が表示されたモニタに、この投影画像中の前記モデル座標系の原点への対応点の３次元座標として、前記モデル修正手段により変更される前の前記モデル座標系における前記対応点の３次元座標を表示し、前記投影画像中のモデル座標系が示す姿勢として、前記投影画像中のモデル座標系の各座標軸に対応する方向が前記モデル修正手段により変更される前の前記モデル座標系の各座標軸に対してなす回転角度を表示し、
前記受付手段は、前記モニタに表示された３次元座標または回転角度を変更する操作を受け付ける、請求項１に記載された３次元視覚センサ。
【請求項１】
認識対象物のモデルの３次元形状を示す複数の点がそれぞれ当該モデル中の一点を原点とするモデル座標系の３次元座標により表された３次元モデルが登録される登録手段と、認識対象物を撮像するステレオカメラと、ステレオカメラにより生成されたステレオ画像を用いて、前記認識対象物を表す複数の特徴点につき、あらかじめ定めた計測用の３次元座標系における３次元座標を求める３次元計測手段と、３次元計測手段が取得した３次元座標の集合を前記３次元モデルと照合することにより、前記モデル座標系の原点に対応する３次元座標と、前記モデル座標系が示す３次元モデルの基準の姿勢に対する認識対象物の回転角度とを認識する認識手段と、認識手段により認識された３次元座標および回転角度を出力する出力手段とを具備する３次元視覚センサにおいて、
前記計測用の３次元座標系に対する前記モデル座標系の位置および姿勢を定めて前記３次元モデルを配置し、この３次元モデルおよびモデル座標系を所定の方向から透視変換して２次元の投影画像を生成する透視変換手段と、
前記透視変換処理により生成された投影画像をモニタに表示する表示手段と、
前記表示手段により表示された投影画像中のモデル座標系の位置または姿勢を変更する操作入力を受け付ける受付手段と、
前記操作入力に応じてモデル座標系の投影画像の表示を変更する表示変更手段と、
前記操作入力に基づき、前記モデル座標系の位置または姿勢と３次元モデルを構成する各３次元座標とを変更し、変更後の３次元モデルを前記認識手段の照合処理に使用される３次元モデルとして前記登録手段に登録するモデル修正手段とを、具備することを特徴とする３次元視覚センサ。
【請求項２】
前記表示手段は、前記投影画像が表示されたモニタに、この投影画像中の前記モデル座標系の原点への対応点の３次元座標として、前記モデル修正手段により変更される前の前記モデル座標系における前記対応点の３次元座標を表示し、前記投影画像中のモデル座標系が示す姿勢として、前記投影画像中のモデル座標系の各座標軸に対応する方向が前記モデル修正手段により変更される前の前記モデル座標系の各座標軸に対してなす回転角度を表示し、
前記受付手段は、前記モニタに表示された３次元座標または回転角度を変更する操作を受け付ける、請求項１に記載された３次元視覚センサ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１１２４００（Ｐ２０１１−１１２４００Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６６７７６（Ｐ２００９−２６６７７６）
【出願日】平成２１年１１月２４日（２００９．１１．２４）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２４日（２００９．１１．２４）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]