物品の３次元位置姿勢の認識装置及び認識方法
【課題】製造現場で使われる汎用的な組み込み装置でも実施できるような、少ない計算コストで物品の３次元位置姿勢を認識できる認識装置及び認識方法の提供。
【解決手段】カメラ２０で複数の物品２２がバラ積みされた領域全体の２次元画像を取得し、レンジセンサ１８でカメラ２０と略同じ領域の３次元情報を取得する。取得した３次元情報から、取り出すべき物品が存在するであろう空間を対象空間として大まかに限定し、該対象空間に基づいて２次元画像処理で物品を探索するための探索条件を設定し、該探索条件に基づいて物品の画像上での２次元位置情報を取得する。次に該２次元位置情報を用いて、物品の３次元位置姿勢の認識に使用する３次元点データを選定し、カメラ２０の焦点から該物品に向かう３次元空間上の視線を計算し、該３次元点データと視線とに基づいて物品の３次元の位置姿勢を計算する。
【解決手段】カメラ２０で複数の物品２２がバラ積みされた領域全体の２次元画像を取得し、レンジセンサ１８でカメラ２０と略同じ領域の３次元情報を取得する。取得した３次元情報から、取り出すべき物品が存在するであろう空間を対象空間として大まかに限定し、該対象空間に基づいて２次元画像処理で物品を探索するための探索条件を設定し、該探索条件に基づいて物品の画像上での２次元位置情報を取得する。次に該２次元位置情報を用いて、物品の３次元位置姿勢の認識に使用する３次元点データを選定し、カメラ２０の焦点から該物品に向かう３次元空間上の視線を計算し、該３次元点データと視線とに基づいて物品の３次元の位置姿勢を計算する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物品をロボットで取り出す際等に使用される、物品の３次元位置姿勢を認識する認識装置及び認識方法に関する。
【背景技術】
【０００２】
ロボットを用いて物品の取り出しを行ういくつかのロボットシステムでは、情報処理装置又はロボット制御装置に接続されたカメラや３次元視覚センサを用いて物品に関する情報を取得し、物品を取り出すロボットの動作の補正や物品の検査に利用している。
【０００３】
３次元視覚センサとしては、例えば被計測対象物までの距離を計測可能な様々なレンジセンサが公知となっている。いくつかのレンジセンサは、比較的広い範囲の３次元情報を取得できる。これらのレンジセンサは、カメラなどの撮像装置では得られない物品の３次元形状に関する情報を、距離画像や高さマップといった形式で取得することができる。
【０００４】
スポット光走査型３次元視覚センサを開示する特許文献１には、「３次元視覚センサは、投光方向を２次元的なランダムスキャン制御により高速で自由に変えることの出来るスポット光投射手段と１次元位置検出機能を有する位置検出型の検出器（ＰＳＤ；Position Sensing Detector の略称。以下、この略称を使用する。）を利用した光学式変位センサに相当する手段を組み合わせて計測系を構成することにより、被計測対象物の遠近、大きさ、形状や必要とする３次元位置情報に応じた自在な計測をより効率的に行えるようにしたものである」と記載されている。
【０００５】
また物品形状獲得方法を開示する特許文献２には、「測定対象物品Ｗにスリット光Ｉを照射するスリット光源２と前記スリット光Ｉの画像を撮影するカメラ３とからなる位置検出器１を用いて該位置検出器１のキャブリレーションと物品形状の獲得とを行うに当たって、前記測定対象物品Ｗの座標系を前記カメラ３による画像上の座標系に変換する透視変換式におけるカメラパラメータと、前記測定対象物品Ｗに照射されたスリット光Ｉの平面式におけるスリット光パラメータと、前記測定対象物品Ｗの形状を表現する形状表現式におけるモデルパラメータとを前記位置検出器１を所定回数移動させることにより決定するようにして、スリット光・カメラキャブリレーションと、測定対象物品Ｗの形状データの獲得とをロボットの座標系に対して一括して自動的に行い得るようにしている」と記載されている。
【０００６】
また物品形状測定装置を開示する特許文献３には、「プロジェクタ２により照射パターンが測定物体に照射され、カメラ８により照射パターンの測定物体１での反射撮像パターンが撮像され、形状演算部１３により、反射パターンに基づき測定物体１の表面形状が演算され、信頼度演算部１４により、照射パターンの光量下限値をＰｌｂ、光量上限値をＰｕｂ、照射パターンの光量をＩａとして、測定物体の測定信頼度を示すコントラスト比が、Ｉａ／（Ｐｕｂ−Ｐｌｂ）により演算され、データ出力手段により表面形状データとコントラスト比データとが出力され、多重反射の影響を受ける測定物体１の形状測定データの信頼性を、各種のパターン投影法に広く適確に対応して高精度に検出し撮像画像の画素ごとに適確に把握可能になる」と記載されている。
【０００７】
さらに特許文献４には、レーザパルスを道路の幅方向に走査する走査手段と、上記走査手段がレーザパルスを道路の幅方向に走査したときの、このレーザパルスの反射光を検出する反射光検出手段と、上記走査手段がレーザパルスで道路を幅方向に走査した照射タイミングと、上記反射光検出手段が道路の幅方向に走査したレーザパルスの反射光を検出した検出タイミングと、の時間差を用いて、上記走査手段によるレーザパルスの走査ライン上に位置する物体の高さ、および幅を取得し、この物体の種類を判別する判別手段と、を備えた物体判別装置において、上記判別手段は、道路の側部に設定した所定幅の歩行者検知領域内において検出された物体の高さ、および幅が、それぞれ予め定められた範囲内であれば、この物体を歩行者であると判別する物体判別装置が開示されている。
【０００８】
一方、レンジセンサ（距離センサ）を用いて物品の位置姿勢を認識する方法も幾つか開示されている。例えば、物体認識装置およびロボット装置を開示する特許文献５には、「本発明の物体認識装置によれば、スピンイメージなどの特徴量ベースの高速な位置決めを行うことで、対象物体の三次元形状データ（モデル）と、距離センサから得られる距離データ（シーン）を照合して、対象物体の三次元的な位置姿勢を迅速に認識することができる」と記載されている。
【０００９】
３次元視覚センサを開示する特許文献６には、「センサ本体部１１０は、ロボット４０の手先部に取り付けられた投光器１３０とビデオカメラ３０で構成される。投光器１３０は、作業空間５０内に置かれた対象物Ｗの面上にスリット光１３１を投射し、ビデオカメラ３０か反射光を受光して画像処理装置２で解析し、スリット光１３１のあった面を求める。次に、ビデオカメラ３０による通常撮影で画像を取得し、キャリブレーションデータを使って計測点Ｑを通る視線を求める」と記載されている。
【００１０】
さらに、画像から物品の位置を検出する手法がいくつか開示されている。例えば、放射線画像の位置合せ方法を開示する特許文献７には、「Ｘ線画像４ａにテンプレート領域８、８′を、Ｘ線画像４ｂに基準領域９、９′を設定する。ここで、相関法を用いてテンプレート領域８、８′を基準領域９、９′に合せるテンプレートマッチングを行なう」と記載されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平７−２７０１３７号公報
【特許文献２】特開平９−１９６６３６号公報
【特許文献３】特開２００５−６２０６３号公報
【特許文献４】特開２００４−２７２８４１号公報
【特許文献５】特開２００９−１２８１９１号公報
【特許文献６】特開２００４−１４４５５７号公報
【特許文献７】特開平６−１６５０３６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
レンジセンサ（距離センサ）を用いて物品の位置姿勢を認識する典型的な手法として、特許文献５に記載されているような、レンジセンサから得られた３次元情報と物品の３次元形状データをマッチングさせる方法がある。従来提案されている認識方法は、一般的に計算コストが非常に高く、高い処理能力を持つプロセッサと大容量のメモリを必要とする。実用的なレベルの短い時間でこのような認識処理を行うのは非常に困難というのが実情である。さらに、ロボットで適切な取り出し作業を行うには相応の精度で物品を認識する必要があるが、このためにはレンジセンサから得られる３次元情報の空間密度が高くなければならない。ところが、３次元情報の空間密度を高めようとすると、レンジセンサの計測時間が延びることになり、さらに物品の３次元形状データとのマッチング処理の計算コストも増大し、実用的な取り出しを実現することができなかった。
【００１３】
また、特許文献４に記載されるような、レーザパルスの飛行時間から３次元情報を求める方式のセンサは、概してその規模が大きく、実用的な価格でセンサを提供できなくなるという課題がある。このような理由から、現時点では、レンジセンサは製造現場、特にロボットでの対象物取り出し分野では実用化されていない。
【００１４】
一方で、特許文献６に記載されているような、３次元のセンサと２次元のセンサを組み合わせる方法は、レンジセンサの利用を想定した方法ではないが、上記のような認識処理に比べれば、比較的少ない計算コスト・メモリ量で物品の３次元位置姿勢の認識を可能にするものである。しかし、特許文献６に示された手法は、３次元情報を処理する計算コストは低減されるものの、特許文献７に記載されているような２次元画像を用いてセンサの計測範囲内から物品を見つけ出す処理が必要になるため、後者の処理の計算コストが増加することがあった。
【００１５】
特許文献７には、２次元画像から高さや傾きの異なる対象物の２次元位置を認識する方法が開示されていると解されるが、テンプレートを様々なサイズに拡大・縮小しながらテンプレートマッチングを行う必要があるため、処理に時間がかかり、やはり実用的な取り出しを実現することは難しかった。
【００１６】
そこで本発明は、上記の問題点を解消しつつ、製造現場で使われる汎用的な組み込み装置でも実施できるような、少ない計算コストで物品の３次元位置姿勢を認識できる認識装置及び認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本願第１の発明は、同種の複数物品がバラ積みされた領域全体の２次元画像を取得するカメラと、前記カメラと略同じ範囲の３次元情報を取得するレンジセンサと、前記カメラにより取得された２次元画像及び前記レンジセンサにより取得された３次元情報の処理を行う情報処理装置と、を備え、前記情報処理装置は、前記３次元情報に基づいて、前記２次元画像上で物品の像を探索する領域を探索条件として設定する探索条件設定部と、設定された探索条件内で前記２次元画像の画像処理を行って物品の像を検出し、前記２次元画像上での物品の２次元位置情報を取得する２次元位置取得部と、取得された２次元位置情報に基づいて、前記カメラから物品へ向かう３次元空間上の視線を求める視線計算部と、取得された２次元位置情報又は求められた視線に基づいて、前記３次元情報から、該物品の３次元位置姿勢の認識に使用する第１の３次元点データを選定する３次元点データ選定部と、選定された第１の３次元点データ及び前記視線に基づいて、物品の３次元の位置及び姿勢の一方又は双方を計算する３次元位置姿勢計算部と、を有する、物品の３次元位置姿勢の認識装置を提供する。
【００１８】
第２の発明は、第１の発明において、前記レンジセンサは、少なくとも１つのカメラと、パターン光を投影する装置とから構成され、前記レンジセンサのカメラのうちの１つを２次元画像取得用のカメラとして兼用することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００１９】
第３の発明は、第１の発明において、前記レンジセンサは、複数のカメラと、パターン光を投影する装置とから構成され、該パターン光は前記複数のカメラにより取得された画像間で同一の被計測対象物同士を対応付けるためのみに用いられることを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２０】
第４の発明は、第１の発明において、前記レンジセンサは、少なくとも１つのカメラと、パターン光を投影する装置とから構成され、該パターン光の光源として赤外光を使用することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２１】
第５の発明は、第１の発明において、前記探索条件設定部は、前記レンジセンサにより取得された３次元情報から、高さの値が予め定めた値より大きい第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２２】
第６の発明は、第５の発明において、前記探索条件設定部はさらに、前記予め定めた値によって定まる高さの値又は前記選定された第２の３次元点データが含まれる空間の高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２３】
第７の発明は、第１の発明において、前記探索条件設定部は、前記レンジセンサにより取得された３次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２４】
第８の発明は、第７の発明において、前記探索条件設定部はさらに、選定された前記第２の３次元点データの高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２５】
第９の発明は、同種の複数物品がバラ積みされた領域全体の２次元画像をカメラにより取得するステップと、前記カメラと略同じ範囲の３次元情報をレンジセンサにより取得するステップと、前記３次元情報に基づいて、前記２次元画像上で物品の像を探索する領域を探索条件として設定するステップと、設定された探索条件内で前記２次元画像の画像処理を行って物品の像を検出し、前記２次元画像上での物品の２次元位置情報を取得するステップと、前記２次元位置情報に基づいて、前記カメラから物品へ向かう３次元空間上の視線を求めるステップと、取得された２次元位置情報又は求められた視線に基づいて、前記３次元情報から、該物品の３次元位置姿勢の認識に使用する第１の３次元点データを選定するステップと、選定された第１の３次元点データと前記視線に基づいて、物品の３次元の位置及び姿勢の一方又は双方を計算するステップと、を含む、物品の３次元位置姿勢の認識方法を提供する。
【００２６】
第１０の発明は、第９の発明において、前記探索条件を設定するステップは、前記レンジセンサにより取得された３次元情報から高さの値が予め定めた値より大きい第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、物品の３次元位置姿勢の認識方法を提供する。
【００２７】
第１１の発明は、第１０の発明において、前記探索条件を設定するステップはさらに、前記予め定めた値によって定まる高さの値又は前記選定された３次元点データが含まれる空間の高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、物品の３次元位置姿勢の認識方法を提供する。
【００２８】
第１２の発明は、第９の発明において、前記探索条件を設定するステップは、前記レンジセンサにより取得された３次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、物品の３次元位置姿勢の認識方法を提供する。
【００２９】
第１３の発明は、第１２の発明において、前記探索条件を設定するステップはさらに、選定された第２の３次元点データの高さの値に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、物品の３次元位置姿勢の認識方法を提供する。
【発明の効果】
【００３０】
本発明によれば、３次元情報を元に物品の２次元位置を検出する探索条件を設定し、設定された探索条件内で検出された物品の２次元位置情報に基づいて、３次元空間上の物品の位置姿勢を計算するための３次元点データを選定することにより、２次元画像の処理、３次元情報の処理が共に少ない計算コストで行え、物品の３次元位置姿勢を求めることができるようになる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る認識装置を含むロボットシステムの概略構成を示す図である。
【図２】本発明に係る認識方法の処理を説明するフローチャートである。
【図３】カメラで取得された、物品を含む２次元画像の一例を示す図である。
【図４】図２のＡ−Ａ’線に沿った断面図である。
【図５】カメラが取得した２次元画像のうち探索領域に相当する部分を白色で、他を黒色で表示した例を示す図である。
【図６】カメラの焦点から物品に向かう視線を算出する例を説明する図である。
【発明を実施するための形態】
【００３２】
図１は、本願発明の好適な実施形態に係る認識装置を含むロボットシステム１０の概略構成を示す図である。ロボットシステム１０は、ロボット１２と、ロボット１２を制御するロボット制御装置１４と、ロボット制御装置１４に接続された情報処理装置１６と、情報処理装置１６に接続されたレンジセンサ１８及びカメラ２０とを有し、複数の同種の物品２２がバラ積みされた箱２４から該物品２２を取り出すために使用される。
【００３３】
ロボット１２は、ロボットアーム２６等の可動部と、ロボットアーム２６の先端に取り付けられたロボットハンド２８等の物品把持部とを有し、ロボットハンド２８は箱１４内の物品２２を把持できるように構成されている。
【００３４】
レンジセンサ１８は、箱２４内の物品２２の３次元情報を取得することができ、カメラ２０は、箱２４内の物品２２の２次元画像を撮像することができる。得られた３次元情報及び２次元画像は、画像処理機能を備えた情報処理装置１６に送られて処理される。なおレンジセンサ１８及びカメラ２０は、レンジセンサ１８の計測範囲及びカメラ２０の視野が、物品２２を入れる箱２４が占有する範囲と略同じになるように設置されることが望ましい。なお図示例では、レンジセンサ１８及びカメラ２０はいずれも専用の架台３０に固定されているが、レンジセンサ１８及びカメラ２０の一方又は双方をロボット１２の先端部に取り付けてもよい。
【００３５】
情報処理装置１６とロボット制御装置１４とは通信ケーブル等の通信手段によって互いに接続されており、互いに通信できるようになっている。なお図示例では情報処理装置１６は、ロボット制御装置１４と別の構成要素として図示されているが、情報処理装置１６はロボット制御装置１４に内蔵されてもよい。
【００３６】
レンジセンサ１８としては種々の方式のものが利用可能であり、例えば、レーザスリット光を走査する方式、レーザスポット光で物品を走査する方式、プロジェクタ等の装置を用いて既知のパターン光を物品に投影する方式、光が投光器から出射されてから物品表面で反射し受光器に入射するまでの飛行時間を利用する方式等が挙げられる。パターン光を物品に投影する方式では、高圧水銀灯に代表される放電管光源や、レーザダイオードやＬＥＤに代表される固体光源等の任意の光源を利用できるが、例えば赤外光源などの非可視光を使用することで、外来光や外乱光に影響され難い計測を実現できる。
【００３７】
レンジセンサ１８の構成要素にカメラが含まれる場合は、そのカメラを、上述の２次元画像を取得するカメラ２０として兼用することもできる。例えば、カメラ２台とプロジェクタ１台とでレンジセンサを構成し、２台のカメラの一方を用いて２次元画像を取得することができる。なお一般的にプロジェクタはカメラに比べて寿命が短いため、これを長期間使用する場合は定期的なプロジェクタの交換が避けられないが、２台のカメラを用いてレンジセンサを構成し、プロジェクタから投影されるパターン光を、２台のカメラにより取得された画像間で同一の被計測対象物同士を対応付けるためだけに用いることで、プロジェクタのキャリブレーションが不要になり、プロジェクタの交換が容易に実施できるようになる。
【００３８】
通常、レンジセンサは、取得した３次元情報を距離画像又は３次元マップといった形で表現する。距離画像とは、計測した範囲の３次元情報を画像の形で表現したものであり、画像の各画素の明るさや色が、その位置の高さ又はレンジセンサからの距離を表すようにすることが多い。一方、高さマップとは、計測した範囲の３次元情報を、計測された３次元点の座標値（ｘ，ｙ，ｚ）の集合として表現したものである。本願発明では、これらのような表現形式に依らず、レンジセンサで取得した情報を「３次元情報」と称し、また３次元情報を構成する少なくとも１つの要素、すなわち距離画像における各画素や３次元マップにおける３次元点を「３次元点データ」と称するものとする。
【００３９】
次に、本願発明における物品の３次元位置姿勢の認識の手順について、図２のフローチャート及び関連する図面を参照しつつ説明する。
先ず、カメラ２０で複数の物品がバラ積みされた領域全体の２次元画像を取得し（ステップＳ１）、次にレンジセンサ１８でカメラ２０と略同じ領域の３次元情報を取得する（ステップＳ２）。但し、２次元画像の取得と３次元情報の取得はどちらを先に行ってもよく、換言すればステップＳ１とＳ２の順序は入れ替えてもよい。
【００４０】
図３は、カメラ２０で取得された２次元画像の一例を示す図であり、図４は、図２中のＡ−Ａ’線に沿った断面図である。なお、図４中の黒丸３２は、レンジセンサ１８で計測された３次元点データを図示したものである。
【００４１】
次に、レンジセンサ１８で取得した３次元情報から、取り出すべき物品が存在するであろう空間を、対象空間として大まかに限定する（ステップＳ３）。一般的に、物品がバラ積みされている場合は上にある物品から取り出していくので、取得した３次元情報において高さが高い、又はカメラに近い部分を限定することが好ましい。
【００４２】
対象空間の限定としては、以下のような方法が挙げられる。例えば、取得した３次元情報から予め定めた値よりも高い（またはカメラに近い）位置にある３次元点データを探し、その近傍の空間を対象空間として限定する。或いは、予め定めた値よりも高い（又はカメラに近い）３次元点データを複数選定し、それらの近傍空間の論理和（ＯＲ）を求めて対象空間としてもよい。或いは、取得した３次元情報に含まれる３次元点データの高さ（又はカメラからの距離）の平均値又は中央値を求め、該平均値又は中央値に近い領域を対象空間として限定してもよい。或いは、取得した３次元情報からある程度以上の面積を持つ平面、曲面又はこれらの組み合わせを検出し、検出された該平面、曲面又はこれらの組み合わせを囲む空間を対象空間として限定してもよい。さらに或いは、物品の３次元位置姿勢の認識とロボットによる物品の取り出しが繰り返し行われている場合は、前回の認識で認識された物品の最も高い高さ、又は物品の高さの平均値若しくは中央値に近い領域を、対象空間として限定してもよい。
【００４３】
次に、限定した対象空間に基づいて、２次元画像処理で物品を探索するための探索条件を設定する（ステップＳ４）。ここで探索条件とは、カメラ２０によって得られた２次元画像上で物品を検出する領域や、検出すべき物品の２次元画像上での見た目の大きさの範囲等を指す。
【００４４】
上述の探索条件をより詳細に説明する。任意の３次元点を、カメラのキャリブレーションデータに基づいてカメラの受光面に投影することで、その３次元点が２次元画像のどこに結像するかを計算することができる。このような手法自体は、Ｔｓａｉ等の非特許文献（An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision, Proc. Computer Vision and Pattern Recognition '86, pp.364-374, 1986）等により周知である。例えば、本願発明では、ステップＳ３で限定された空間内の３次元点データを、カメラ２０のキャリブレーションデータに基づいてカメラ２０の受光面に投影することで、その空間にある物品が写り得る２次元画像上の領域を限定することができる。
【００４５】
一例として、図４のような３次元点データ３２が得られた場合に、箱２４内部の３次元情報から頂点（局所的に高さが高くなっている場所の極大点）を検出し、検出した頂点の高さに近い領域を限定した場合の、限定された空間に対応する２次元画像の範囲３４を白色で、それ以外の範囲３６を黒色で表示した画像を図５に示す。この白色領域３４を、２次元画像処理により物品の像を探索する探索条件として設定する。
【００４６】
なお２次元画像上での物品の見た目の大きさは、カメラから物品までの距離の逆数に比例するので、例えば、限定された空間に含まれる３次元点データの高さの値（又はカメラからの距離）の最大値及び最小値と、２次元画像処理で使うテンプレートを教示した時の物品の高さ（又はカメラからの距離）から、その空間にある物品が２次元画像上に写るであろう大きさの範囲を探索条件として設定することができる。
【００４７】
或いは、限定された空間に対応する２次元画像の範囲を複数の小領域に分割し、小領域毎に異なる大きさの範囲を探索条件として設定することもできる。さらに或いは、物品の３次元位置姿勢の認識とロボットによる物品の取り出しとが繰り返し行われている場合は、前回の認識で認識された物品の高さの平均値又は中央値に基づいて求めた大きさの範囲を探索条件として設定してもよい。
【００４８】
次に、設定された探索条件に基づいて、２次元画像処理を行って物品の像を検出し（ステップＳ５）、物品の画像上での２次元位置情報（例えばＸ−Ｙ座標）を取得する（ステップＳ６）。ここでは、公知のテンプレートマッチングのような任意の２次元画像処理技法を利用することができる。物品に表裏の区別があって画像上での見た目が異なる場合や、形状の異なる複数種類の物品がある場合には、それらに合わせて複数のテンプレートを用意してマッチングを行うようにしてもよい。
【００４９】
次に、取得した２次元位置情報を用いて、物品の３次元位置姿勢の認識に使用する第１の３次元点データ（の集合）を選定する（ステップＳ７）。例えば図６に示すように、３次元情報に含まれる各３次元点データ３２を、カメラ２０のキャリブレーションデータに基づいてカメラ２０の受光面３８に投影し、受光面３８に投影された投影点３２’が２次元画像処理で検出した物品に対応するテンプレート４０内に投影されれば、その３次元点データは２次元画像処理で検出した物品上にあると判断することができる。
【００５０】
またはカメラ２０のキャリブレーションデータに基づいて、２次元画像処理で検出した物品に対応するテンプレートの境界線上の複数の点と、カメラ２０の焦点とを通る３次元空間上の複数の直線を算出し、３次元情報に含まれる各３次元点データのうち、算出された該複数の直線から形成される錐体の内側にある３次元点データを、物品の３次元位置姿勢の認識に使用する３次元点データとして選定してもよい。
【００５１】
次に、ステップＳ６で取得した２次元位置情報とカメラ２０のキャリブレーションデータとに基づいて、カメラ２０のレンズ中心から該物品の２次元位置に対応する３次元位置に向かう３次元空間上の視線を計算する（ステップＳ８）。
【００５２】
最後に、選定された物品の第１の３次元点データと、ステップＳ８で求めた視線とに基づいて、物品の３次元の位置及び姿勢の一方又は双方を計算する（ステップＳ９）。例えば、選定された物品上の３次元点データに平面を当てはめて近似平面を計算し、求めた近似平面と該視線との交点を計算して、その交点を物品を代表する３次元位置とすることができる。その場合、物品の傾きには、近似平面の法線方向の情報が利用でき、また、物品の向き（法線周りの回転角度）には、２次元画像上で検出されたテンプレートの向きが利用できる。また平面に限らず、物品の形状が何らかの関数で表せる場合は、前記選定された物品上の３次元点データに該関数の当てはめを行うことで物品の３次元位置姿勢を求めてもよい。
【００５３】
或いは、物品の形状が、３次元ＣＡＤデータ等の３次元形状として与えられている場合は、前記物品上にあるものとして選定された３次元点データと、物品の３次元形状のマッチングを行ってもよい。この場合、３次元ＣＡＤデータとのマッチングであっても、マッチング対象となる３次元情報が限定されているため、視野全体からマッチングする位置姿勢を探すことに比べれば格段に少ない処理時間でマッチングを行うことができる。
【００５４】
以上述べたように、本願発明では、以下のような方法で物品の３次元位置姿勢を認識することができる。
（１）はじめに、カメラで複数の物品がバラ積みされた領域全体の２次元画像を取得し、さらにレンジセンサでカメラと略同じ領域から３次元情報を取得する。
（２）次に、レンジセンサで取得した３次元情報から、取り出すべき物品が存在するであろう空間を大まかに限定する。一般的に、物品がバラ積みされている場合、上にある物品から取り出していくので、例えば、３次元情報において高さの値が大きい空間を限定する。
（３）次に、限定した空間に基づいて、２次元画像処理で物品を探索する探索条件を設定する。ここで探索条件とは、２次元画像上で物品を検出する領域や、検出すべき物品の画像上での見た目の大きさの範囲等を指す。例えば、限定された空間内の点をカメラのキャリブレーションデータに基づいてカメラの受光面に投影することで、限定した空間に対応する２次元画像の領域に探索範囲を限定したり、限定した空間内の点とカメラとの距離から、物品が２次元画像に映る大きさの範囲を限定したりすることができる。
（４）次に、設定された探索条件に基づいて２次元画像処理を行い、物品の画像上での２次元位置情報を得る。ここでは、周知のテンプレートマッチングのような２次元画像処理技法を利用することができる。予め探索条件が限定されているので、極短時間で処理を完了することができる。
（５）次に、２次元位置情報を用いて物品の３次元位置姿勢の認識に使用する３次元情報を選定する。例えば、３次元領域内の各点をカメラのキャリブレーションデータに基づいてカメラの受光面に投影し、それが２次元画像処理で検出したテンプレート領域内に投影されれば、その３次元点は２次元画像処理で検出した物品上の３次元点である、とみなすことができる。
（６）最後に、前記２次元位置情報とカメラのキャリブレーションデータに基づいて、カメラの焦点から該物品に向かう３次元空間上の視線を計算し、該視線と、物品上にあるものとして選定された前記３次元点データに基づいて、物品の３次元空間上の位置、姿勢又はその双方を計算する。
【符号の説明】
【００５５】
１０ ロボットシステム
１２ ロボット
１４ ロボット制御装置
１６ 情報処理装置
１８ レンジセンサ
２０ カメラ
２２ 物品
２４ 箱
【技術分野】
【０００１】
本発明は、物品をロボットで取り出す際等に使用される、物品の３次元位置姿勢を認識する認識装置及び認識方法に関する。
【背景技術】
【０００２】
ロボットを用いて物品の取り出しを行ういくつかのロボットシステムでは、情報処理装置又はロボット制御装置に接続されたカメラや３次元視覚センサを用いて物品に関する情報を取得し、物品を取り出すロボットの動作の補正や物品の検査に利用している。
【０００３】
３次元視覚センサとしては、例えば被計測対象物までの距離を計測可能な様々なレンジセンサが公知となっている。いくつかのレンジセンサは、比較的広い範囲の３次元情報を取得できる。これらのレンジセンサは、カメラなどの撮像装置では得られない物品の３次元形状に関する情報を、距離画像や高さマップといった形式で取得することができる。
【０００４】
スポット光走査型３次元視覚センサを開示する特許文献１には、「３次元視覚センサは、投光方向を２次元的なランダムスキャン制御により高速で自由に変えることの出来るスポット光投射手段と１次元位置検出機能を有する位置検出型の検出器（ＰＳＤ；Position Sensing Detector の略称。以下、この略称を使用する。）を利用した光学式変位センサに相当する手段を組み合わせて計測系を構成することにより、被計測対象物の遠近、大きさ、形状や必要とする３次元位置情報に応じた自在な計測をより効率的に行えるようにしたものである」と記載されている。
【０００５】
また物品形状獲得方法を開示する特許文献２には、「測定対象物品Ｗにスリット光Ｉを照射するスリット光源２と前記スリット光Ｉの画像を撮影するカメラ３とからなる位置検出器１を用いて該位置検出器１のキャブリレーションと物品形状の獲得とを行うに当たって、前記測定対象物品Ｗの座標系を前記カメラ３による画像上の座標系に変換する透視変換式におけるカメラパラメータと、前記測定対象物品Ｗに照射されたスリット光Ｉの平面式におけるスリット光パラメータと、前記測定対象物品Ｗの形状を表現する形状表現式におけるモデルパラメータとを前記位置検出器１を所定回数移動させることにより決定するようにして、スリット光・カメラキャブリレーションと、測定対象物品Ｗの形状データの獲得とをロボットの座標系に対して一括して自動的に行い得るようにしている」と記載されている。
【０００６】
また物品形状測定装置を開示する特許文献３には、「プロジェクタ２により照射パターンが測定物体に照射され、カメラ８により照射パターンの測定物体１での反射撮像パターンが撮像され、形状演算部１３により、反射パターンに基づき測定物体１の表面形状が演算され、信頼度演算部１４により、照射パターンの光量下限値をＰｌｂ、光量上限値をＰｕｂ、照射パターンの光量をＩａとして、測定物体の測定信頼度を示すコントラスト比が、Ｉａ／（Ｐｕｂ−Ｐｌｂ）により演算され、データ出力手段により表面形状データとコントラスト比データとが出力され、多重反射の影響を受ける測定物体１の形状測定データの信頼性を、各種のパターン投影法に広く適確に対応して高精度に検出し撮像画像の画素ごとに適確に把握可能になる」と記載されている。
【０００７】
さらに特許文献４には、レーザパルスを道路の幅方向に走査する走査手段と、上記走査手段がレーザパルスを道路の幅方向に走査したときの、このレーザパルスの反射光を検出する反射光検出手段と、上記走査手段がレーザパルスで道路を幅方向に走査した照射タイミングと、上記反射光検出手段が道路の幅方向に走査したレーザパルスの反射光を検出した検出タイミングと、の時間差を用いて、上記走査手段によるレーザパルスの走査ライン上に位置する物体の高さ、および幅を取得し、この物体の種類を判別する判別手段と、を備えた物体判別装置において、上記判別手段は、道路の側部に設定した所定幅の歩行者検知領域内において検出された物体の高さ、および幅が、それぞれ予め定められた範囲内であれば、この物体を歩行者であると判別する物体判別装置が開示されている。
【０００８】
一方、レンジセンサ（距離センサ）を用いて物品の位置姿勢を認識する方法も幾つか開示されている。例えば、物体認識装置およびロボット装置を開示する特許文献５には、「本発明の物体認識装置によれば、スピンイメージなどの特徴量ベースの高速な位置決めを行うことで、対象物体の三次元形状データ（モデル）と、距離センサから得られる距離データ（シーン）を照合して、対象物体の三次元的な位置姿勢を迅速に認識することができる」と記載されている。
【０００９】
３次元視覚センサを開示する特許文献６には、「センサ本体部１１０は、ロボット４０の手先部に取り付けられた投光器１３０とビデオカメラ３０で構成される。投光器１３０は、作業空間５０内に置かれた対象物Ｗの面上にスリット光１３１を投射し、ビデオカメラ３０か反射光を受光して画像処理装置２で解析し、スリット光１３１のあった面を求める。次に、ビデオカメラ３０による通常撮影で画像を取得し、キャリブレーションデータを使って計測点Ｑを通る視線を求める」と記載されている。
【００１０】
さらに、画像から物品の位置を検出する手法がいくつか開示されている。例えば、放射線画像の位置合せ方法を開示する特許文献７には、「Ｘ線画像４ａにテンプレート領域８、８′を、Ｘ線画像４ｂに基準領域９、９′を設定する。ここで、相関法を用いてテンプレート領域８、８′を基準領域９、９′に合せるテンプレートマッチングを行なう」と記載されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平７−２７０１３７号公報
【特許文献２】特開平９−１９６６３６号公報
【特許文献３】特開２００５−６２０６３号公報
【特許文献４】特開２００４−２７２８４１号公報
【特許文献５】特開２００９−１２８１９１号公報
【特許文献６】特開２００４−１４４５５７号公報
【特許文献７】特開平６−１６５０３６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
レンジセンサ（距離センサ）を用いて物品の位置姿勢を認識する典型的な手法として、特許文献５に記載されているような、レンジセンサから得られた３次元情報と物品の３次元形状データをマッチングさせる方法がある。従来提案されている認識方法は、一般的に計算コストが非常に高く、高い処理能力を持つプロセッサと大容量のメモリを必要とする。実用的なレベルの短い時間でこのような認識処理を行うのは非常に困難というのが実情である。さらに、ロボットで適切な取り出し作業を行うには相応の精度で物品を認識する必要があるが、このためにはレンジセンサから得られる３次元情報の空間密度が高くなければならない。ところが、３次元情報の空間密度を高めようとすると、レンジセンサの計測時間が延びることになり、さらに物品の３次元形状データとのマッチング処理の計算コストも増大し、実用的な取り出しを実現することができなかった。
【００１３】
また、特許文献４に記載されるような、レーザパルスの飛行時間から３次元情報を求める方式のセンサは、概してその規模が大きく、実用的な価格でセンサを提供できなくなるという課題がある。このような理由から、現時点では、レンジセンサは製造現場、特にロボットでの対象物取り出し分野では実用化されていない。
【００１４】
一方で、特許文献６に記載されているような、３次元のセンサと２次元のセンサを組み合わせる方法は、レンジセンサの利用を想定した方法ではないが、上記のような認識処理に比べれば、比較的少ない計算コスト・メモリ量で物品の３次元位置姿勢の認識を可能にするものである。しかし、特許文献６に示された手法は、３次元情報を処理する計算コストは低減されるものの、特許文献７に記載されているような２次元画像を用いてセンサの計測範囲内から物品を見つけ出す処理が必要になるため、後者の処理の計算コストが増加することがあった。
【００１５】
特許文献７には、２次元画像から高さや傾きの異なる対象物の２次元位置を認識する方法が開示されていると解されるが、テンプレートを様々なサイズに拡大・縮小しながらテンプレートマッチングを行う必要があるため、処理に時間がかかり、やはり実用的な取り出しを実現することは難しかった。
【００１６】
そこで本発明は、上記の問題点を解消しつつ、製造現場で使われる汎用的な組み込み装置でも実施できるような、少ない計算コストで物品の３次元位置姿勢を認識できる認識装置及び認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本願第１の発明は、同種の複数物品がバラ積みされた領域全体の２次元画像を取得するカメラと、前記カメラと略同じ範囲の３次元情報を取得するレンジセンサと、前記カメラにより取得された２次元画像及び前記レンジセンサにより取得された３次元情報の処理を行う情報処理装置と、を備え、前記情報処理装置は、前記３次元情報に基づいて、前記２次元画像上で物品の像を探索する領域を探索条件として設定する探索条件設定部と、設定された探索条件内で前記２次元画像の画像処理を行って物品の像を検出し、前記２次元画像上での物品の２次元位置情報を取得する２次元位置取得部と、取得された２次元位置情報に基づいて、前記カメラから物品へ向かう３次元空間上の視線を求める視線計算部と、取得された２次元位置情報又は求められた視線に基づいて、前記３次元情報から、該物品の３次元位置姿勢の認識に使用する第１の３次元点データを選定する３次元点データ選定部と、選定された第１の３次元点データ及び前記視線に基づいて、物品の３次元の位置及び姿勢の一方又は双方を計算する３次元位置姿勢計算部と、を有する、物品の３次元位置姿勢の認識装置を提供する。
【００１８】
第２の発明は、第１の発明において、前記レンジセンサは、少なくとも１つのカメラと、パターン光を投影する装置とから構成され、前記レンジセンサのカメラのうちの１つを２次元画像取得用のカメラとして兼用することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００１９】
第３の発明は、第１の発明において、前記レンジセンサは、複数のカメラと、パターン光を投影する装置とから構成され、該パターン光は前記複数のカメラにより取得された画像間で同一の被計測対象物同士を対応付けるためのみに用いられることを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２０】
第４の発明は、第１の発明において、前記レンジセンサは、少なくとも１つのカメラと、パターン光を投影する装置とから構成され、該パターン光の光源として赤外光を使用することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２１】
第５の発明は、第１の発明において、前記探索条件設定部は、前記レンジセンサにより取得された３次元情報から、高さの値が予め定めた値より大きい第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２２】
第６の発明は、第５の発明において、前記探索条件設定部はさらに、前記予め定めた値によって定まる高さの値又は前記選定された第２の３次元点データが含まれる空間の高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２３】
第７の発明は、第１の発明において、前記探索条件設定部は、前記レンジセンサにより取得された３次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２４】
第８の発明は、第７の発明において、前記探索条件設定部はさらに、選定された前記第２の３次元点データの高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、物品の３次元位置姿勢の認識装置を提供する。
【００２５】
第９の発明は、同種の複数物品がバラ積みされた領域全体の２次元画像をカメラにより取得するステップと、前記カメラと略同じ範囲の３次元情報をレンジセンサにより取得するステップと、前記３次元情報に基づいて、前記２次元画像上で物品の像を探索する領域を探索条件として設定するステップと、設定された探索条件内で前記２次元画像の画像処理を行って物品の像を検出し、前記２次元画像上での物品の２次元位置情報を取得するステップと、前記２次元位置情報に基づいて、前記カメラから物品へ向かう３次元空間上の視線を求めるステップと、取得された２次元位置情報又は求められた視線に基づいて、前記３次元情報から、該物品の３次元位置姿勢の認識に使用する第１の３次元点データを選定するステップと、選定された第１の３次元点データと前記視線に基づいて、物品の３次元の位置及び姿勢の一方又は双方を計算するステップと、を含む、物品の３次元位置姿勢の認識方法を提供する。
【００２６】
第１０の発明は、第９の発明において、前記探索条件を設定するステップは、前記レンジセンサにより取得された３次元情報から高さの値が予め定めた値より大きい第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、物品の３次元位置姿勢の認識方法を提供する。
【００２７】
第１１の発明は、第１０の発明において、前記探索条件を設定するステップはさらに、前記予め定めた値によって定まる高さの値又は前記選定された３次元点データが含まれる空間の高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、物品の３次元位置姿勢の認識方法を提供する。
【００２８】
第１２の発明は、第９の発明において、前記探索条件を設定するステップは、前記レンジセンサにより取得された３次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、物品の３次元位置姿勢の認識方法を提供する。
【００２９】
第１３の発明は、第１２の発明において、前記探索条件を設定するステップはさらに、選定された第２の３次元点データの高さの値に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、物品の３次元位置姿勢の認識方法を提供する。
【発明の効果】
【００３０】
本発明によれば、３次元情報を元に物品の２次元位置を検出する探索条件を設定し、設定された探索条件内で検出された物品の２次元位置情報に基づいて、３次元空間上の物品の位置姿勢を計算するための３次元点データを選定することにより、２次元画像の処理、３次元情報の処理が共に少ない計算コストで行え、物品の３次元位置姿勢を求めることができるようになる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態に係る認識装置を含むロボットシステムの概略構成を示す図である。
【図２】本発明に係る認識方法の処理を説明するフローチャートである。
【図３】カメラで取得された、物品を含む２次元画像の一例を示す図である。
【図４】図２のＡ−Ａ’線に沿った断面図である。
【図５】カメラが取得した２次元画像のうち探索領域に相当する部分を白色で、他を黒色で表示した例を示す図である。
【図６】カメラの焦点から物品に向かう視線を算出する例を説明する図である。
【発明を実施するための形態】
【００３２】
図１は、本願発明の好適な実施形態に係る認識装置を含むロボットシステム１０の概略構成を示す図である。ロボットシステム１０は、ロボット１２と、ロボット１２を制御するロボット制御装置１４と、ロボット制御装置１４に接続された情報処理装置１６と、情報処理装置１６に接続されたレンジセンサ１８及びカメラ２０とを有し、複数の同種の物品２２がバラ積みされた箱２４から該物品２２を取り出すために使用される。
【００３３】
ロボット１２は、ロボットアーム２６等の可動部と、ロボットアーム２６の先端に取り付けられたロボットハンド２８等の物品把持部とを有し、ロボットハンド２８は箱１４内の物品２２を把持できるように構成されている。
【００３４】
レンジセンサ１８は、箱２４内の物品２２の３次元情報を取得することができ、カメラ２０は、箱２４内の物品２２の２次元画像を撮像することができる。得られた３次元情報及び２次元画像は、画像処理機能を備えた情報処理装置１６に送られて処理される。なおレンジセンサ１８及びカメラ２０は、レンジセンサ１８の計測範囲及びカメラ２０の視野が、物品２２を入れる箱２４が占有する範囲と略同じになるように設置されることが望ましい。なお図示例では、レンジセンサ１８及びカメラ２０はいずれも専用の架台３０に固定されているが、レンジセンサ１８及びカメラ２０の一方又は双方をロボット１２の先端部に取り付けてもよい。
【００３５】
情報処理装置１６とロボット制御装置１４とは通信ケーブル等の通信手段によって互いに接続されており、互いに通信できるようになっている。なお図示例では情報処理装置１６は、ロボット制御装置１４と別の構成要素として図示されているが、情報処理装置１６はロボット制御装置１４に内蔵されてもよい。
【００３６】
レンジセンサ１８としては種々の方式のものが利用可能であり、例えば、レーザスリット光を走査する方式、レーザスポット光で物品を走査する方式、プロジェクタ等の装置を用いて既知のパターン光を物品に投影する方式、光が投光器から出射されてから物品表面で反射し受光器に入射するまでの飛行時間を利用する方式等が挙げられる。パターン光を物品に投影する方式では、高圧水銀灯に代表される放電管光源や、レーザダイオードやＬＥＤに代表される固体光源等の任意の光源を利用できるが、例えば赤外光源などの非可視光を使用することで、外来光や外乱光に影響され難い計測を実現できる。
【００３７】
レンジセンサ１８の構成要素にカメラが含まれる場合は、そのカメラを、上述の２次元画像を取得するカメラ２０として兼用することもできる。例えば、カメラ２台とプロジェクタ１台とでレンジセンサを構成し、２台のカメラの一方を用いて２次元画像を取得することができる。なお一般的にプロジェクタはカメラに比べて寿命が短いため、これを長期間使用する場合は定期的なプロジェクタの交換が避けられないが、２台のカメラを用いてレンジセンサを構成し、プロジェクタから投影されるパターン光を、２台のカメラにより取得された画像間で同一の被計測対象物同士を対応付けるためだけに用いることで、プロジェクタのキャリブレーションが不要になり、プロジェクタの交換が容易に実施できるようになる。
【００３８】
通常、レンジセンサは、取得した３次元情報を距離画像又は３次元マップといった形で表現する。距離画像とは、計測した範囲の３次元情報を画像の形で表現したものであり、画像の各画素の明るさや色が、その位置の高さ又はレンジセンサからの距離を表すようにすることが多い。一方、高さマップとは、計測した範囲の３次元情報を、計測された３次元点の座標値（ｘ，ｙ，ｚ）の集合として表現したものである。本願発明では、これらのような表現形式に依らず、レンジセンサで取得した情報を「３次元情報」と称し、また３次元情報を構成する少なくとも１つの要素、すなわち距離画像における各画素や３次元マップにおける３次元点を「３次元点データ」と称するものとする。
【００３９】
次に、本願発明における物品の３次元位置姿勢の認識の手順について、図２のフローチャート及び関連する図面を参照しつつ説明する。
先ず、カメラ２０で複数の物品がバラ積みされた領域全体の２次元画像を取得し（ステップＳ１）、次にレンジセンサ１８でカメラ２０と略同じ領域の３次元情報を取得する（ステップＳ２）。但し、２次元画像の取得と３次元情報の取得はどちらを先に行ってもよく、換言すればステップＳ１とＳ２の順序は入れ替えてもよい。
【００４０】
図３は、カメラ２０で取得された２次元画像の一例を示す図であり、図４は、図２中のＡ−Ａ’線に沿った断面図である。なお、図４中の黒丸３２は、レンジセンサ１８で計測された３次元点データを図示したものである。
【００４１】
次に、レンジセンサ１８で取得した３次元情報から、取り出すべき物品が存在するであろう空間を、対象空間として大まかに限定する（ステップＳ３）。一般的に、物品がバラ積みされている場合は上にある物品から取り出していくので、取得した３次元情報において高さが高い、又はカメラに近い部分を限定することが好ましい。
【００４２】
対象空間の限定としては、以下のような方法が挙げられる。例えば、取得した３次元情報から予め定めた値よりも高い（またはカメラに近い）位置にある３次元点データを探し、その近傍の空間を対象空間として限定する。或いは、予め定めた値よりも高い（又はカメラに近い）３次元点データを複数選定し、それらの近傍空間の論理和（ＯＲ）を求めて対象空間としてもよい。或いは、取得した３次元情報に含まれる３次元点データの高さ（又はカメラからの距離）の平均値又は中央値を求め、該平均値又は中央値に近い領域を対象空間として限定してもよい。或いは、取得した３次元情報からある程度以上の面積を持つ平面、曲面又はこれらの組み合わせを検出し、検出された該平面、曲面又はこれらの組み合わせを囲む空間を対象空間として限定してもよい。さらに或いは、物品の３次元位置姿勢の認識とロボットによる物品の取り出しが繰り返し行われている場合は、前回の認識で認識された物品の最も高い高さ、又は物品の高さの平均値若しくは中央値に近い領域を、対象空間として限定してもよい。
【００４３】
次に、限定した対象空間に基づいて、２次元画像処理で物品を探索するための探索条件を設定する（ステップＳ４）。ここで探索条件とは、カメラ２０によって得られた２次元画像上で物品を検出する領域や、検出すべき物品の２次元画像上での見た目の大きさの範囲等を指す。
【００４４】
上述の探索条件をより詳細に説明する。任意の３次元点を、カメラのキャリブレーションデータに基づいてカメラの受光面に投影することで、その３次元点が２次元画像のどこに結像するかを計算することができる。このような手法自体は、Ｔｓａｉ等の非特許文献（An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision, Proc. Computer Vision and Pattern Recognition '86, pp.364-374, 1986）等により周知である。例えば、本願発明では、ステップＳ３で限定された空間内の３次元点データを、カメラ２０のキャリブレーションデータに基づいてカメラ２０の受光面に投影することで、その空間にある物品が写り得る２次元画像上の領域を限定することができる。
【００４５】
一例として、図４のような３次元点データ３２が得られた場合に、箱２４内部の３次元情報から頂点（局所的に高さが高くなっている場所の極大点）を検出し、検出した頂点の高さに近い領域を限定した場合の、限定された空間に対応する２次元画像の範囲３４を白色で、それ以外の範囲３６を黒色で表示した画像を図５に示す。この白色領域３４を、２次元画像処理により物品の像を探索する探索条件として設定する。
【００４６】
なお２次元画像上での物品の見た目の大きさは、カメラから物品までの距離の逆数に比例するので、例えば、限定された空間に含まれる３次元点データの高さの値（又はカメラからの距離）の最大値及び最小値と、２次元画像処理で使うテンプレートを教示した時の物品の高さ（又はカメラからの距離）から、その空間にある物品が２次元画像上に写るであろう大きさの範囲を探索条件として設定することができる。
【００４７】
或いは、限定された空間に対応する２次元画像の範囲を複数の小領域に分割し、小領域毎に異なる大きさの範囲を探索条件として設定することもできる。さらに或いは、物品の３次元位置姿勢の認識とロボットによる物品の取り出しとが繰り返し行われている場合は、前回の認識で認識された物品の高さの平均値又は中央値に基づいて求めた大きさの範囲を探索条件として設定してもよい。
【００４８】
次に、設定された探索条件に基づいて、２次元画像処理を行って物品の像を検出し（ステップＳ５）、物品の画像上での２次元位置情報（例えばＸ−Ｙ座標）を取得する（ステップＳ６）。ここでは、公知のテンプレートマッチングのような任意の２次元画像処理技法を利用することができる。物品に表裏の区別があって画像上での見た目が異なる場合や、形状の異なる複数種類の物品がある場合には、それらに合わせて複数のテンプレートを用意してマッチングを行うようにしてもよい。
【００４９】
次に、取得した２次元位置情報を用いて、物品の３次元位置姿勢の認識に使用する第１の３次元点データ（の集合）を選定する（ステップＳ７）。例えば図６に示すように、３次元情報に含まれる各３次元点データ３２を、カメラ２０のキャリブレーションデータに基づいてカメラ２０の受光面３８に投影し、受光面３８に投影された投影点３２’が２次元画像処理で検出した物品に対応するテンプレート４０内に投影されれば、その３次元点データは２次元画像処理で検出した物品上にあると判断することができる。
【００５０】
またはカメラ２０のキャリブレーションデータに基づいて、２次元画像処理で検出した物品に対応するテンプレートの境界線上の複数の点と、カメラ２０の焦点とを通る３次元空間上の複数の直線を算出し、３次元情報に含まれる各３次元点データのうち、算出された該複数の直線から形成される錐体の内側にある３次元点データを、物品の３次元位置姿勢の認識に使用する３次元点データとして選定してもよい。
【００５１】
次に、ステップＳ６で取得した２次元位置情報とカメラ２０のキャリブレーションデータとに基づいて、カメラ２０のレンズ中心から該物品の２次元位置に対応する３次元位置に向かう３次元空間上の視線を計算する（ステップＳ８）。
【００５２】
最後に、選定された物品の第１の３次元点データと、ステップＳ８で求めた視線とに基づいて、物品の３次元の位置及び姿勢の一方又は双方を計算する（ステップＳ９）。例えば、選定された物品上の３次元点データに平面を当てはめて近似平面を計算し、求めた近似平面と該視線との交点を計算して、その交点を物品を代表する３次元位置とすることができる。その場合、物品の傾きには、近似平面の法線方向の情報が利用でき、また、物品の向き（法線周りの回転角度）には、２次元画像上で検出されたテンプレートの向きが利用できる。また平面に限らず、物品の形状が何らかの関数で表せる場合は、前記選定された物品上の３次元点データに該関数の当てはめを行うことで物品の３次元位置姿勢を求めてもよい。
【００５３】
或いは、物品の形状が、３次元ＣＡＤデータ等の３次元形状として与えられている場合は、前記物品上にあるものとして選定された３次元点データと、物品の３次元形状のマッチングを行ってもよい。この場合、３次元ＣＡＤデータとのマッチングであっても、マッチング対象となる３次元情報が限定されているため、視野全体からマッチングする位置姿勢を探すことに比べれば格段に少ない処理時間でマッチングを行うことができる。
【００５４】
以上述べたように、本願発明では、以下のような方法で物品の３次元位置姿勢を認識することができる。
（１）はじめに、カメラで複数の物品がバラ積みされた領域全体の２次元画像を取得し、さらにレンジセンサでカメラと略同じ領域から３次元情報を取得する。
（２）次に、レンジセンサで取得した３次元情報から、取り出すべき物品が存在するであろう空間を大まかに限定する。一般的に、物品がバラ積みされている場合、上にある物品から取り出していくので、例えば、３次元情報において高さの値が大きい空間を限定する。
（３）次に、限定した空間に基づいて、２次元画像処理で物品を探索する探索条件を設定する。ここで探索条件とは、２次元画像上で物品を検出する領域や、検出すべき物品の画像上での見た目の大きさの範囲等を指す。例えば、限定された空間内の点をカメラのキャリブレーションデータに基づいてカメラの受光面に投影することで、限定した空間に対応する２次元画像の領域に探索範囲を限定したり、限定した空間内の点とカメラとの距離から、物品が２次元画像に映る大きさの範囲を限定したりすることができる。
（４）次に、設定された探索条件に基づいて２次元画像処理を行い、物品の画像上での２次元位置情報を得る。ここでは、周知のテンプレートマッチングのような２次元画像処理技法を利用することができる。予め探索条件が限定されているので、極短時間で処理を完了することができる。
（５）次に、２次元位置情報を用いて物品の３次元位置姿勢の認識に使用する３次元情報を選定する。例えば、３次元領域内の各点をカメラのキャリブレーションデータに基づいてカメラの受光面に投影し、それが２次元画像処理で検出したテンプレート領域内に投影されれば、その３次元点は２次元画像処理で検出した物品上の３次元点である、とみなすことができる。
（６）最後に、前記２次元位置情報とカメラのキャリブレーションデータに基づいて、カメラの焦点から該物品に向かう３次元空間上の視線を計算し、該視線と、物品上にあるものとして選定された前記３次元点データに基づいて、物品の３次元空間上の位置、姿勢又はその双方を計算する。
【符号の説明】
【００５５】
１０ ロボットシステム
１２ ロボット
１４ ロボット制御装置
１６ 情報処理装置
１８ レンジセンサ
２０ カメラ
２２ 物品
２４ 箱
【特許請求の範囲】
【請求項１】
同種の複数物品がバラ積みされた領域全体の２次元画像を取得するカメラと、
前記カメラと略同じ範囲の３次元情報を取得するレンジセンサと、
前記カメラにより取得された２次元画像及び前記レンジセンサにより取得された３次元情報の処理を行う情報処理装置と、を備え、
前記情報処理装置は、
前記３次元情報に基づいて、前記２次元画像上で物品の像を探索する領域を探索条件として設定する探索条件設定部と、
設定された探索条件内で前記２次元画像の画像処理を行って物品の像を検出し、前記２次元画像上での物品の２次元位置情報を取得する２次元位置取得部と、
取得された２次元位置情報に基づいて、前記カメラから物品へ向かう３次元空間上の視線を求める視線計算部と、
取得された２次元位置情報又は求められた視線に基づいて、前記３次元情報から、該物品の３次元位置姿勢の認識に使用する第１の３次元点データを選定する３次元点データ選定部と、
選定された第１の３次元点データ及び前記視線に基づいて、物品の３次元の位置及び姿勢の一方又は双方を計算する３次元位置姿勢計算部と、
を有する、物品の３次元位置姿勢の認識装置。
【請求項２】
前記レンジセンサは、少なくとも１つのカメラと、パターン光を投影する装置とから構成され、前記レンジセンサのカメラのうちの１つを２次元画像取得用のカメラとして兼用することを特徴とする、請求項１に記載の物品の３次元位置姿勢の認識装置。
【請求項３】
前記レンジセンサは、複数のカメラと、パターン光を投影する装置とから構成され、該パターン光は前記複数のカメラにより取得された画像間で同一の被計測対象物同士を対応付けるためのみに用いられることを特徴とする、請求項１に記載の物品の３次元位置姿勢の認識装置。
【請求項４】
前記レンジセンサは、少なくとも１つのカメラと、パターン光を投影する装置とから構成され、該パターン光の光源として赤外光を使用することを特徴とする、請求項１に記載の物品の３次元位置姿勢の認識装置。
【請求項５】
前記探索条件設定部は、前記レンジセンサにより取得された３次元情報から、高さの値が予め定めた値より大きい第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、請求項１に記載の物品の３次元位置姿勢の認識装置。
【請求項６】
前記探索条件設定部はさらに、前記予め定めた値によって定まる高さの値又は前記選定された第２の３次元点データが含まれる空間の高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、請求項５に記載の物品の３次元位置姿勢の認識装置。
【請求項７】
前記探索条件設定部は、前記レンジセンサにより取得された３次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、請求項１に記載の物品の３次元位置姿勢の認識装置。
【請求項８】
前記探索条件設定部はさらに、選定された前記第２の３次元点データの高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、請求項７に記載の物品の３次元位置姿勢の認識装置。
【請求項９】
同種の複数物品がバラ積みされた領域全体の２次元画像をカメラにより取得するステップと、
前記カメラと略同じ範囲の３次元情報をレンジセンサにより取得するステップと、
前記３次元情報に基づいて、前記２次元画像上で物品の像を探索する領域を探索条件として設定するステップと、
設定された探索条件内で前記２次元画像の画像処理を行って物品の像を検出し、前記２次元画像上での物品の２次元位置情報を取得するステップと、
前記２次元位置情報に基づいて、前記カメラから物品へ向かう３次元空間上の視線を求めるステップと、
取得された２次元位置情報又は求められた視線に基づいて、前記３次元情報から、該物品の３次元位置姿勢の認識に使用する第１の３次元点データを選定するステップと、
選定された第１の３次元点データと前記視線に基づいて、物品の３次元の位置及び姿勢の一方又は双方を計算するステップと、
を含む、物品の３次元位置姿勢の認識方法。
【請求項１０】
前記探索条件を設定するステップは、前記レンジセンサにより取得された３次元情報から高さの値が予め定めた値より大きい第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、請求項９に記載の物品の３次元位置姿勢の認識方法。
【請求項１１】
前記探索条件を設定するステップはさらに、前記予め定めた値によって定まる高さの値又は前記選定された３次元点データが含まれる空間の高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、請求項１０に記載の物品の３次元位置姿勢の認識方法。
【請求項１２】
前記探索条件を設定するステップは、前記レンジセンサにより取得された３次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、請求項９に記載の物品の３次元位置姿勢の認識方法。
【請求項１３】
前記探索条件を設定するステップはさらに、選定された第２の３次元点データの高さの値に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、請求項１２に記載の物品の３次元位置姿勢の認識方法。
【請求項１】
同種の複数物品がバラ積みされた領域全体の２次元画像を取得するカメラと、
前記カメラと略同じ範囲の３次元情報を取得するレンジセンサと、
前記カメラにより取得された２次元画像及び前記レンジセンサにより取得された３次元情報の処理を行う情報処理装置と、を備え、
前記情報処理装置は、
前記３次元情報に基づいて、前記２次元画像上で物品の像を探索する領域を探索条件として設定する探索条件設定部と、
設定された探索条件内で前記２次元画像の画像処理を行って物品の像を検出し、前記２次元画像上での物品の２次元位置情報を取得する２次元位置取得部と、
取得された２次元位置情報に基づいて、前記カメラから物品へ向かう３次元空間上の視線を求める視線計算部と、
取得された２次元位置情報又は求められた視線に基づいて、前記３次元情報から、該物品の３次元位置姿勢の認識に使用する第１の３次元点データを選定する３次元点データ選定部と、
選定された第１の３次元点データ及び前記視線に基づいて、物品の３次元の位置及び姿勢の一方又は双方を計算する３次元位置姿勢計算部と、
を有する、物品の３次元位置姿勢の認識装置。
【請求項２】
前記レンジセンサは、少なくとも１つのカメラと、パターン光を投影する装置とから構成され、前記レンジセンサのカメラのうちの１つを２次元画像取得用のカメラとして兼用することを特徴とする、請求項１に記載の物品の３次元位置姿勢の認識装置。
【請求項３】
前記レンジセンサは、複数のカメラと、パターン光を投影する装置とから構成され、該パターン光は前記複数のカメラにより取得された画像間で同一の被計測対象物同士を対応付けるためのみに用いられることを特徴とする、請求項１に記載の物品の３次元位置姿勢の認識装置。
【請求項４】
前記レンジセンサは、少なくとも１つのカメラと、パターン光を投影する装置とから構成され、該パターン光の光源として赤外光を使用することを特徴とする、請求項１に記載の物品の３次元位置姿勢の認識装置。
【請求項５】
前記探索条件設定部は、前記レンジセンサにより取得された３次元情報から、高さの値が予め定めた値より大きい第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、請求項１に記載の物品の３次元位置姿勢の認識装置。
【請求項６】
前記探索条件設定部はさらに、前記予め定めた値によって定まる高さの値又は前記選定された第２の３次元点データが含まれる空間の高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、請求項５に記載の物品の３次元位置姿勢の認識装置。
【請求項７】
前記探索条件設定部は、前記レンジセンサにより取得された３次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定することを特徴とする、請求項１に記載の物品の３次元位置姿勢の認識装置。
【請求項８】
前記探索条件設定部はさらに、選定された前記第２の３次元点データの高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定することを特徴とする、請求項７に記載の物品の３次元位置姿勢の認識装置。
【請求項９】
同種の複数物品がバラ積みされた領域全体の２次元画像をカメラにより取得するステップと、
前記カメラと略同じ範囲の３次元情報をレンジセンサにより取得するステップと、
前記３次元情報に基づいて、前記２次元画像上で物品の像を探索する領域を探索条件として設定するステップと、
設定された探索条件内で前記２次元画像の画像処理を行って物品の像を検出し、前記２次元画像上での物品の２次元位置情報を取得するステップと、
前記２次元位置情報に基づいて、前記カメラから物品へ向かう３次元空間上の視線を求めるステップと、
取得された２次元位置情報又は求められた視線に基づいて、前記３次元情報から、該物品の３次元位置姿勢の認識に使用する第１の３次元点データを選定するステップと、
選定された第１の３次元点データと前記視線に基づいて、物品の３次元の位置及び姿勢の一方又は双方を計算するステップと、
を含む、物品の３次元位置姿勢の認識方法。
【請求項１０】
前記探索条件を設定するステップは、前記レンジセンサにより取得された３次元情報から高さの値が予め定めた値より大きい第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、請求項９に記載の物品の３次元位置姿勢の認識方法。
【請求項１１】
前記探索条件を設定するステップはさらに、前記予め定めた値によって定まる高さの値又は前記選定された３次元点データが含まれる空間の高さの値の範囲に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、請求項１０に記載の物品の３次元位置姿勢の認識方法。
【請求項１２】
前記探索条件を設定するステップは、前記レンジセンサにより取得された３次元情報から平面、曲面又はこれらの組み合わせを抽出し、抽出された平面、曲面又はこれらの組み合わせに対応する第２の３次元点データを選定し、該第２の３次元点データが含まれる空間に対応する、前記カメラによって取得された２次元画像上の領域を求め、２次元画像上で物品を探索する範囲を該領域内に限定する処理を含むことを特徴とする、請求項９に記載の物品の３次元位置姿勢の認識方法。
【請求項１３】
前記探索条件を設定するステップはさらに、選定された第２の３次元点データの高さの値に基づいて、２次元画像上で探索する物品の見た目の大きさの範囲を限定する処理を含むことを特徴とする、請求項１２に記載の物品の３次元位置姿勢の認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−１０１０４５（Ｐ２０１３−１０１０４５Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４４７６１（Ｐ２０１１−２４４７６１）
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（３９０００８２３５）ファナック株式会社 (1,110)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月８日（２０１１．１１．８）
【出願人】（３９０００８２３５）ファナック株式会社 (1,110)
【Ｆターム（参考）】
[ Back to top ]