画像処理装置及び画像処理プログラム
【課題】 対象物の姿勢推定を高精度に行うことができる画像処理装置及び画像処理プログラムを提供する。
【解決手段】 物体の姿勢を推定する場合、物体の撮像画像から物体の輪郭の特徴量を抽出し、その輪郭の特徴量をデータベースとして記憶されている複数の特徴量データと照合して、各特徴量データに対する輪郭の特徴量の類似度を算出する。続いて、各特徴量データに対する輪郭の特徴量の類似度を、緯度・経度の２次元類似度マップとして表示する。続いて、各類似度を経度方向に対して累積した経度ヒストグラムと、各類似度を緯度方向に対して類似度を累積した緯度ヒストグラムとを作成する。続いて、各ヒストグラムについて閾値よりも大きい類似度総和ピークを抽出し、候補領域を選定する。そして、候補領域内に存在する視点に対応する特徴量データに対する輪郭の特徴量の類似度を最大類似度とする。
【解決手段】 物体の姿勢を推定する場合、物体の撮像画像から物体の輪郭の特徴量を抽出し、その輪郭の特徴量をデータベースとして記憶されている複数の特徴量データと照合して、各特徴量データに対する輪郭の特徴量の類似度を算出する。続いて、各特徴量データに対する輪郭の特徴量の類似度を、緯度・経度の２次元類似度マップとして表示する。続いて、各類似度を経度方向に対して累積した経度ヒストグラムと、各類似度を緯度方向に対して類似度を累積した緯度ヒストグラムとを作成する。続いて、各ヒストグラムについて閾値よりも大きい類似度総和ピークを抽出し、候補領域を選定する。そして、候補領域内に存在する視点に対応する特徴量データに対する輪郭の特徴量の類似度を最大類似度とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の撮像画像を用いて対象物の姿勢を推定する画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来の画像処理装置としては、例えば非特許文献１に記載されているように、物体の撮像画像から物体の輪郭を抽出し、この輪郭の同一勾配点を利用した特徴量を生成し、この特徴量を予め登録されている複数の特徴量データと照合（マッチング）して、各特徴量データに対する抽出した特徴量の類似度を求めるものが知られている。
【非特許文献１】Amit Sethi,et al.”’Curve and Surface Duals and the Recognition ofCurved 3D Objects from their Silhouettes”’, International Journal of ComputerVision,vol.58,no.1,pp.73-86,June 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術においては、各特徴量データに対する抽出した特徴量の類似度に基づいて物体の姿勢を推定する場合に、単純に特徴量データに対する抽出した特徴量が最大となる類似度を選択すると、ノイズ等によって突発的に類似度が高くなった異常値が物体の姿勢推定に用いられることがある。この場合には、姿勢推定が不安定になり、推定精度が悪化する可能性がある。
【０００４】
本発明の目的は、対象物の姿勢推定を高精度に行うことができる画像処理装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００５】
本発明は、対象物の撮像画像を用いて対象物の姿勢を推定する画像処理装置であって、対象物における複数の姿勢の特徴量データを予め記憶する記憶手段と、対象物の撮像画像から対象物の姿勢の特徴量を抽出する特徴量抽出手段と、記憶手段に記憶された各特徴量データに対する特徴量抽出手段で抽出した特徴量の類似度をそれぞれ求める類似度算出手段と、類似度算出手段で求めた各類似度を対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成するヒストグラム作成手段と、第１ヒストグラムに基づいて、特徴量データに対する抽出した特徴量の最大類似度を求め、対象物の姿勢を推定する推定手段とを備えることを特徴とするものである。
【０００６】
このような画像処理装置においては、まず対象物の撮像画像から対象物の姿勢の特徴量を抽出し、各特徴量データに対する抽出した特徴量（抽出特徴量）の類似度をそれぞれ求める。そして、これらの類似度を対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成し、この第１ヒストグラムに基づいて、特徴量データに対する抽出特徴量の最大類似度を求める。ここで、第１ヒストグラムに存在する類似度総和のピークが１つだけあれば、そのピークに対応する特徴量データに対する抽出特徴量の類似度を最大類似度とする。しかし、第１ヒストグラムに類似度総和のピークが２つ以上存在する場合には、ノイズ等によって突発的に類似度が高くなった異常値が存在していると考えられる。この場合には、各ピークとなる棒グラフの類似度総和の値（ピーク値）や、各ピークとなる棒グラフに隣接する他の棒グラフの類似度総和の値等を考慮して、正常と推定される何れか１つのピークに対応する特徴量データを選び、その特徴量データに対する抽出特徴量の類似度を最大類似度とする。これにより、ノイズ等に起因して突発的に類似度が高くなった異常値が除外され、特徴量データに対する抽出特徴量の適切な最大類似度が得られる。その結果、対象物の姿勢を精度良く推定することができる。
【０００７】
好ましくは、ヒストグラム作成手段は、類似度算出手段で求めた各類似度を２つの姿勢方向の他方の姿勢方向に対して累積した第２ヒストグラムを更に作成し、推定手段は、第１ヒストグラム及び第２ヒストグラムに基づいて最大類似度を求める。
【０００８】
この場合には、第１ヒストグラムに存在する類似度総和のピークと第２ヒストグラムに存在する類似度総和のピークとを組み合わせることで、特徴量データに対する抽出特徴量の適切な最大類似度が安定して得られる。これにより、対象物の姿勢を更に精度良く推定することができる。
【０００９】
このとき、好ましくは、推定手段は、第１ヒストグラムにおける類似度総和のピーク値が第１所定値以上であると共に第２ヒストグラムにおける類似度総和のピーク値が第２所定値以上となるような候補領域を選定し、当該候補領域から最大類似度を求める。
【００１０】
この場合には、第１ヒストグラムにおける類似度総和のピーク値及び第２ヒストグラムにおける類似度総和のピーク値を用いて、特徴量データに対する抽出特徴量の適切な最大類似度を容易に且つ確実に求めることができる。
【００１１】
また、好ましくは、特徴量抽出手段で抽出した特徴量と記憶手段に記憶された各特徴量データとを照合させる時の回転成分をそれぞれ求める回転成分算出手段と、回転成分算出手段で求めた各回転成分のうち対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求める回転差分算出手段とを更に備え、推定手段は、更に回転成分の差分に基づいて最大類似度を求める。
【００１２】
各特徴量データに対する抽出特徴量の類似度を求める際には、抽出特徴量を各特徴量データに対して回転させて、両者を照合させる。このとき、特徴量データに対する抽出特徴量の最大類似度が正常値であれば、当該特徴量データに対する回転成分と対象物の姿勢取得位置が隣接する他の特徴量データに対する回転成分との差分は小さい。しかし、ノイズ等によって突発的に類似度が高くなった異常値を最大類似度とした場合には、当該特徴量データに対する回転成分と対象物の姿勢取得位置が隣接する他の特徴量データに対する回転成分との差分が大きくなる。そこで、対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求め、上記のヒストグラムと回転成分の差分とに基づいて、特徴量データに対する抽出特徴量の最大類似度を求めることにより、適切な最大類似度が安定して得られるようになる。これにより、対象物の姿勢を更に精度良く推定することができる。
【００１３】
また、本発明は、対象物の撮像画像を用いて対象物の姿勢を推定する画像処理をコンピュータに実行させる画像処理プログラムであって、対象物の撮像画像から対象物の姿勢の特徴量を抽出する特徴量抽出ステップと、メモリに予め記憶されている対象物における複数の姿勢の特徴量データに対する特徴量抽出ステップで抽出した特徴量の類似度をそれぞれ求める類似度算出ステップと、類似度算出ステップで求めた各類似度を対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成するヒストグラム作成ステップと、第１ヒストグラムに基づいて、特徴量データに対する抽出した特徴量の最大類似度を求め、対象物の姿勢を推定する推定ステップとをコンピュータに実行させることを特徴とするものである。
【００１４】
このような画像処理プログラムの実行においては、まず対象物の撮像画像から対象物の姿勢の特徴量を抽出し、各特徴量データに対する抽出した特徴量（抽出特徴量）の類似度をそれぞれ求める。そして、これらの類似度を対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成し、この第１ヒストグラムに基づいて、特徴量データに対する抽出特徴量の最大類似度を求める。ここで、第１ヒストグラムに存在する類似度総和のピークが１つだけあれば、そのピークに対応する特徴量データに対する抽出特徴量の類似度を最大類似度とする。しかし、第１ヒストグラムに類似度総和のピークが２つ以上存在する場合には、ノイズ等によって突発的に類似度が高くなった異常値が存在していると考えられる。この場合には、各ピークとなる棒グラフの類似度総和の値（ピーク値）や、各ピークとなる棒グラフに隣接する他の棒グラフの類似度総和の値等を考慮して、正常と推定される何れか１つのピークに対応する特徴量データを選び、その特徴量データに対する抽出特徴量の類似度を最大類似度とする。これにより、ノイズ等に起因して突発的に類似度が高くなった異常値が除外され、特徴量データに対する抽出特徴量の適切な最大類似度が得られる。その結果、対象物の姿勢を精度良く推定することができる。
【００１５】
好ましくは、ヒストグラム作成ステップでは、類似度算出ステップで求めた各類似度を２つの姿勢方向の他方の姿勢方向に対して累積した第２ヒストグラムを更に作成し、推定ステップでは、第１ヒストグラム及び第２ヒストグラムに基づいて最大類似度を求める。
【００１６】
この場合には、第１ヒストグラムに存在する類似度総和のピークと第２ヒストグラムに存在する類似度総和のピークとを組み合わせることで、特徴量データに対する抽出特徴量の適切な最大類似度が安定して得られる。これにより、対象物の姿勢を更に精度良く推定することができる。
【００１７】
このとき、好ましくは、推定ステップでは、第１ヒストグラムにおける類似度総和のピーク値が第１所定値以上であると共に第２ヒストグラムにおける類似度総和のピーク値が第２所定値以上となるような候補領域を選定し、当該候補領域から最大類似度を求める。
【００１８】
この場合には、第１ヒストグラムにおける類似度総和のピーク値及び第２ヒストグラムにおける類似度総和のピーク値を用いて、特徴量データに対する抽出特徴量の適切な最大類似度を容易に且つ確実に求めることができる。
【００１９】
また、好ましくは、特徴量抽出ステップで抽出した特徴量とメモリに記憶された各特徴量データとを照合させる時の回転成分をそれぞれ求める回転成分算出ステップと、回転成分算出ステップで求めた各回転成分のうち対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求める回転差分算出ステップとを更にコンピュータに実行させ、推定ステップでは、更に回転成分の差分に基づいて最大類似度を求める。
【００２０】
各特徴量データに対する抽出特徴量の類似度を求める際には、抽出特徴量を各特徴量データに対して回転させて、両者を照合させる。このとき、特徴量データに対する抽出特徴量の最大類似度が正常値であれば、当該特徴量データに対する回転成分と対象物の姿勢取得位置が隣接する他の特徴量データに対する回転成分との差分は小さい。しかし、ノイズ等によって突発的に類似度が高くなった異常値を最大類似度とした場合には、当該特徴量データに対する回転成分と対象物の姿勢取得位置が隣接する他の特徴量データに対する回転成分との差分が大きくなる。そこで、対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求め、上記のヒストグラムと回転成分の差分とに基づいて、特徴量データに対する抽出特徴量の最大類似度を求めることにより、適切な最大類似度が安定して得られるようになる。これにより、対象物の姿勢を更に精度良く推定することができる。
【発明の効果】
【００２１】
本発明によれば、対象物の撮像画像を用いて対象物の姿勢を推定する際に、対象物の誤認識を抑制し、対象物の姿勢推定を高精度に行うことができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明に係わる画像処理装置及び画像処理プログラムの好適な実施形態について、図面を参照して詳細に説明する。
【００２３】
図１は、本発明に係わる画像処理装置の一実施形態の概略構成を示すブロック図である。本実施形態の画像処理装置１は、例えば急須やマグカップ等の取っ手付き容器を把持するロボットに適用されるものである。
【００２４】
同図において、画像処理装置１は、認識対象物体を撮像するカメラ２Ａ，２Ｂと、これらのカメラ２Ａ，２Ｂによる撮像画像を入力し、所定の画像処理を行い、物体の姿勢を推定する画像処理部３と、この画像処理部３の処理結果を表示するモニタ部４と、画像処理部３による画像処理に使用されるデータベースを蓄積記憶するデータ格納部５とを備えている。画像処理部３の処理結果は、把持制御処理部６にも送られる。把持制御処理部６は、画像処理部３で推定された物体の姿勢に基づいて、物体を把持するように制御する。
【００２５】
カメラ２Ａ，２Ｂは、例えばＣＣＤカメラであり、異なる２つの視点から物体を撮像するようにロボットの両眼部（図示せず）に設けられている。
【００２６】
画像処理部３は、物体認識処理に特化した専用のハードウェアとして構成されていても良いし、或いはＣＰＵ、メモリ（記憶媒体）、入力部及び出力部を有するパーソナルコンピュータ等の汎用コンピュータを用い、この汎用コンピュータにソフトウェアとしての画像処理プログラムを実行させても良い。このとき、画像処理プログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、画像処理プログラムは、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであっても良い。
【００２７】
図２は、画像処理部３による処理手順の概略を示すフローチャートである。同図において、まずカメラ２Ａ，２Ｂによる撮像画像を取得する（手順１１）。カメラ２Ａ，２Ｂによる撮像画像の一例を図３に示す。図３（ａ）は、ロボットの左眼部に配置されたカメラ２Ａによる撮像画像（左画像とする）を示し、図３（ｂ）は、ロボットの右眼部に配置されたカメラ２Ｂによる撮像画像（右画像とする）を示している。
【００２８】
続いて、手順１１で取得した左画像及び右画像について、濃度値が一様とみなせる物体毎の領域に分割する（手順１２）。例えば図３に示す画像では、枠で囲まれた領域Ｒが認識対象物体を含む領域となる。
【００２９】
また、手順１２の領域分割処理と並行して、２次元の左画像及び右画像から３次元画像を復元する（手順１３）。この３次元画像の復元は、例えば両眼視差の考え方を利用して、ある点の左画像及び右画像での位置座標とカメラ２Ａ，２Ｂ間の距離とから当該点の奥行きを計算することにより行う。
【００３０】
続いて、手順１２で領域分割された２次元画像と手順１３で復元された３次元画像とに基づいて、エッジ検出等により領域Ｒ内に存在する物体の輪郭を抽出する（手順１４）。例えば図３（ａ）に示す左画像における物体の輪郭Ｂは、図４に示すようなものとなる。
【００３１】
続いて、手順１４で得られた物体の輪郭Ｂの特徴量を抽出する（手順１５）。輪郭Ｂの特徴量としては、輪郭Ｂの位置、回転及び大きさに対して不変な不変量を用いる。この不変量としては、図５に示すように、輪郭Ｂにおける１つの勾配（接線の傾き）Ｈから他の勾配Ｈまでの距離ｄ１〜ｉが挙げられる。例えば図５に示すような角度の勾配度では、不変量の次元数は３次元となる。
【００３２】
続いて、手順１５で得られた物体の輪郭Ｂの特徴量を、データ格納部５にデータベースとして記憶されている複数の特徴量データと照合（マッチング）することにより、各特徴量データに対する輪郭Ｂの特徴量の類似度をそれぞれ算出する（手順１６）。
【００３３】
特徴量データは、図６に示すように、認識対象物体７を複数の視点（姿勢取得位置）Ｗから見た時の物体７の姿勢に関するデータである。それらの視点Ｗは、物体７を取り囲むように想定した仮想球面Ｖ上に設定されている。物体７の姿勢の特徴量データは、例えばレンジファインダによって物体７の３次元形状として取得される。
【００３４】
このような類似度の算出時には、輪郭Ｂの特徴量を各特徴量データに対して照合させるための回転成分（後述）が求められる。なお、マッチング手法としては、例えば類似性を精度良く判定できるＤＰ（Dynamic Programming）マッチング等が採用される。
【００３５】
続いて、左画像及び右画像のうち、特徴量データに対する輪郭Ｂの特徴量の類似度が高い方の画像を基準画像として選択する（手順１７）。続いて、選択された基準画像における物体の輪郭Ｂについて、特徴量データに対する輪郭Ｂの特徴量の最大類似度を算出する（手順１８）。この最大類似度算出処理については、後で詳述する。そして、その最大類似度となる特徴量データに対応する輪郭の形状を物体の初期姿勢位置に設定する（手順１９）。
【００３６】
続いて、まず基準画像のみを用いて、物体の姿勢を粗推定する（手順２０）。この単眼姿勢推定処理としては、例えば輪郭ＢのＤＴ（Distance Transforms）画像を作成し、このＤＴ画像を３次元の輪郭形状データとＤＴマッチングすることにより行う。続いて、その単眼姿勢推定の妥当性を判断する（手順２１）。この妥当性は、例えば手順２０の姿勢推定によって得られた輪郭と手順１３の３次元復元によって得られた輪郭とを重ね合わせた時の重なり程度から判断する。
【００３７】
このとき、姿勢推定が正しいと判定されたときは、引き続き左画像及び右画像の両方を用いて、物体の姿勢を詳細に推定する（手順２２）。この複眼姿勢推定処理は、手順２０の単眼姿勢推定処理と同様の手法で行う。続いて、その複眼姿勢推定の妥当性を判断する（手順２３）。この時の妥当性の判断手法は、手順２１と同様である。そして、姿勢推定が正しいと判定されたときは、その推定結果を把持制御処理部６に送出すると共にモニタ部４に表示させる（手順２４）。
【００３８】
一方、手順２１，２３において姿勢推定が正しくないと判断されたときは、特徴量データに対する輪郭Ｂの特徴量の類似度が次に高くなるような他の特徴量データを選択し、その特徴量データに対応する輪郭の形状を新たな物体の初期姿勢位置に設定する（手順２５）。そして、上記の手順２０〜２４を再度実行する。
【００３９】
図７は、図２に示す手順１８の最大類似度算出処理の詳細を示すフローチャートである。同図において、まず図２に示す手順１６で算出された各特徴量データに対する輪郭Ｂの特徴量（不変量）の類似度を２次元マップとして表示する（手順３１）。
【００４０】
具体的には、図６に示すように、複数の視点Ｗを決めるための仮想球面Ｖについて緯度及び経度を設定する。これらの緯度及び経度は、認識対象物体７の直交する２つの姿勢方向を示す指標となるものである。そして、ここで用いられる２次元マップは、図８に示すように、横軸を経度、縦軸を緯度としたグラフからなるものである。図８では、図６に示す複数の視点Ｗの位置を２次元的に表している。つまり、図６に示すまばらな３次元上の視点Ｗを、補間を用いて２次元上の視点として均一化している。このような２次元マップ化を実施することで、計算処理を容易にすることができる。
【００４１】
そして、各特徴量データに対する輪郭Ｂの特徴量の類似度を、図８に示すグラフにおいて特徴量データに対応する視点の位置にそれぞれ展開して、類似度マップを作成する。この類似度マップの一例を図９に示す。図９に示す類似度マップでは、類似度が高くなるほど白くなるように表示される。
【００４２】
続いて、類似度マップの各類似度を経度方向に対して累積した経度ヒストグラムを作成すると共に、類似度マップの各類似度を緯度方向に対して類似度を累積した緯度ヒストグラムを作成する（手順３２）。図９に示す類似度マップに対しては、図１０に示すような経度ヒストグラム及び緯度ヒストグラムが得られる。これらのヒストグラムでは、横軸の階級が経度または緯度、縦軸の度数が類似度総和となっている。
【００４３】
続いて、１つの視点に対応する特徴量データに対する輪郭Ｂの特徴量の回転成分と当該視点に隣接する複数（例えば８箇所）の視点に対応する各特徴量データに対する輪郭Ｂの特徴量の回転成分との差分を求める（手順３３）。この処理は、全ての視点について実施する。
【００４４】
そして、各視点について求めた回転成分の差分を、図８に示すグラフにおいて対応する視点の位置にそれぞれ展開して、回転成分差マップを作成する（手順３４）。この回転成分差マップの一例を図１１に示す。図１１に示す回転成分差マップでは、回転成分の差分が大きくなるほど白くなるように表示される。
【００４５】
続いて、手順３２で作成した経度ヒストグラム及び緯度ヒストグラムについて、予め設定された閾値よりも大きい値をもった類似度総和のピークをそれぞれ抽出し、類似度マップにおいて最大類似度となる可能性のある候補領域を選定する（手順３５）。
【００４６】
例えば図１０に示すものでは、経度ヒストグラムにおいて閾値よりも大きい値をもった類似度総和のピークが２つある。このため、経度ヒストグラムにおいて２つのピークとなる各棒グラフの経度と緯度ヒストグラムにおいてピークとなる棒グラフの緯度とが交差する点に最も近い視点を含むような候補領域Ｓ１，Ｓ２を決定する。
【００４７】
そして、手順３５で得られた視点の候補領域が複数存在するかどうかを判断し（手順３６）、候補領域が複数存在するときは、複数の候補領域から最適と考えられる１つの候補領域を選択する（手順３７）。
【００４８】
特徴量データに対する輪郭Ｂの特徴量の類似度が正常の最大類似度となる場合には、対応する視点の位置が近い他の特徴量データに対する輪郭Ｂの特徴量の類似度も高くなる傾向にあるが、特徴量データに対する輪郭Ｂの特徴量の類似度がノイズや外乱等により突発的に高くなる場合には、対応する視点の位置が近い他の特徴量データに対する輪郭Ｂの特徴量の類似度が低くなることが多い。そこで、ヒストグラムにおける類似度総和のピーク値と、このピークとなる棒グラフに対して経度が近い他の棒グラフの類似度総和とを考慮して、１つの候補領域を選択する。
【００４９】
例えば図１０に示すものでは、経度ヒストグラムにおいて候補領域Ｓ１内の類似度総和のピーク値が候補領域Ｓ２内の類似度総和のピーク値よりも高いことに加え、候補領域Ｓ１内でピークとなる棒グラフに近い他の棒グラフの類似度総和が比較的高いにも拘わらず、候補領域Ｓ２内でピークとなる棒グラフに近い他の棒グラフの類似度総和は下がっている。このため、候補領域Ｓ２内に存在する類似度総和のピークは突発的に生じたものと考えられ、候補領域Ｓ１が選択される。
【００５０】
続いて、手順３４で作成した回転成分差マップを用いて、選択された候補領域の妥当性を判断する（手順３８）。
【００５１】
特徴量データに対する輪郭Ｂの特徴量の類似度が正常の最大類似度となる場合には、当該特徴量データに対する輪郭Ｂの特徴量の回転成分と対応する視点の位置が近い他の特徴量データに対する輪郭Ｂの特徴量の回転成分との差分が小さくなる傾向にある。しかし、特徴量データに対する輪郭Ｂの特徴量の類似度がノイズや外乱等により突発的に高くなる場合には、当該特徴量データに対する輪郭Ｂの特徴量の回転成分と対応する視点の位置が近い他の特徴量データに対する輪郭Ｂの特徴量の回転成分との差分が大きくなることが多い。従って、そのような回転成分の差分から候補領域の妥当性を判断することができる。
【００５２】
例えば図１１に示す回転成分差マップでは、選択された候補領域Ｓ１が比較的黒くなっている。つまり、候補領域Ｓ１内では、回転成分の差分が小さくなっている。従って、選択された候補領域Ｓ１は正しいと判断される。
【００５３】
そして、候補領域が正しく選択されたと判断されると、緯度・経度が当該候補領域内に存在するような視点を抽出し、この視点に対応する特徴量データに対する輪郭Ｂの特徴量の類似度を最大類似度とする（手順３９）。
【００５４】
以上において、データ格納部５は、対象物における複数の姿勢の特徴量データを予め記憶する記憶手段を構成する。画像処理部３の手順１１〜１５（図２参照）は、対象物の撮像画像から対象物の姿勢の特徴量を抽出する特徴量抽出手段（特徴量抽出ステップ）を構成する。画像処理部３の手順１６（図２参照）は、記憶手段に記憶された各特徴量データに対する特徴量抽出手段で抽出した特徴量の類似度をそれぞれ求める類似度算出手段（類似度算出ステップ）を構成する。画像処理部３の手順３１，３２（図７参照）は、類似度算出手段で求めた各類似度を対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成するヒストグラム作成手段（ヒストグラム作成ステップ）を構成する。画像処理部３の手順３５〜３９（図７参照）及び手順１９〜２５（図２参照）は、第１ヒストグラムに基づいて、特徴量データに対する抽出した特徴量の最大類似度を求め、対象物の姿勢を推定する推定手段（推定ステップ）を構成する。
【００５５】
また、画像処理部３の手順１６（図２参照）は、特徴量抽出手段で抽出した特徴量と記憶手段に記憶された各特徴量データとを照合させる時の回転成分をそれぞれ求める回転成分算出手段（回転成分算出ステップ）を構成する。画像処理部３の手順３３，３４（図７参照）は、回転成分算出手段で求めた各回転成分のうち対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求める回転差分算出手段（回転差分算出ステップ）を構成する。
【００５６】
以上のように本実施形態にあっては、各特徴量データに対する輪郭Ｂの特徴量の類似度を２次元的に表す類似度マップを作成し、この類似度マップの類似度を経度方向及び緯度方向に対して累積した２つのヒストグラムを作成し、各ヒストグラムに存在するピークを抽出して、最大類似度となる可能性の最も高い１つの候補領域を選定する。また、１つの視点に対応する特徴量データに対する輪郭Ｂの特徴量の回転成分と当該視点に隣接する複数の視点に対応する各特徴量データに対する輪郭Ｂの特徴量の回転成分との差分を求め、この回転成分の差分を考慮して、選定した候補領域の妥当性を判断する。そして、その結果に基づいて、特徴量データに対する輪郭Ｂの特徴量の最大類似度を決定する。
【００５７】
従って、ノイズや外乱等により類似度が突発的に高くなった異常値が除外されるため、特徴量データに対する輪郭Ｂの特徴量の適切な最大類似度を求めることができる。これにより、その後の処理において物体の初期姿勢位置を高精度に設定できるため、結果的に物体の姿勢推定の推定精度を向上させることが可能となる。
【００５８】
なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態では、輪郭Ｂの各勾配Ｈ間の距離に関するパラメータを物体の特徴量として用いたが、特徴量としては、輪郭Ｂの位置、回転及び大きさに対して不変な不変量であれば、特にこれには限られず、例えば曲率、色情報、ヒストグラム等を用いても良い。
【００５９】
また、上記実施形態は、物体を把持するロボットに適用されるものであるが、本発明の画像処理装置及び画像処理プログラムは、物体を認識して物体の姿勢を推定する他の装置やシステム等にも適用可能である。
【図面の簡単な説明】
【００６０】
【図１】本発明に係わる画像処理装置の一実施形態の概略構成を示すブロック図である。
【図２】図１に示す画像処理部による処理手順の概略を示すフローチャートである。
【図３】図１に示す２つのカメラで撮像して得られた左画像及び右画像の一例を示す図である。
【図４】図３（ａ）に示す左画像から抽出された物体の輪郭を示す図である。
【図５】物体の特徴量として物体の輪郭の不変量を抽出する様子を示す概念図である。
【図６】物体の複数の姿勢に関する特徴量データを取得するための複数の視点を示す概念図である。
【図７】図２に示す最大類似度算出処理の詳細を示すフローチャートである。
【図８】図６に示す複数の視点の位置を２次元的に表した概念図である。
【図９】図７に示す最大類似度算出処理によって得られる類似度マップの一例を示す図である。
【図１０】図９に示す類似度マップから作成される経度ヒストグラム及び緯度ヒストグラムの一例を示す図である。
【図１１】図７に示す最大類似度算出処理によって得られる回転成分差マップの一例を示す図である。
【符号の説明】
【００６１】
１…画像処理装置、２Ａ，２Ｂ…カメラ、３…画像処理部（特徴量抽出手段、類似度算出手段、ヒストグラム作成手段、推定手段、回転成分算出手段、回転差分算出手段）、５…データ格納部（記憶手段）。
【技術分野】
【０００１】
本発明は、対象物の撮像画像を用いて対象物の姿勢を推定する画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来の画像処理装置としては、例えば非特許文献１に記載されているように、物体の撮像画像から物体の輪郭を抽出し、この輪郭の同一勾配点を利用した特徴量を生成し、この特徴量を予め登録されている複数の特徴量データと照合（マッチング）して、各特徴量データに対する抽出した特徴量の類似度を求めるものが知られている。
【非特許文献１】Amit Sethi,et al.”’Curve and Surface Duals and the Recognition ofCurved 3D Objects from their Silhouettes”’, International Journal of ComputerVision,vol.58,no.1,pp.73-86,June 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術においては、各特徴量データに対する抽出した特徴量の類似度に基づいて物体の姿勢を推定する場合に、単純に特徴量データに対する抽出した特徴量が最大となる類似度を選択すると、ノイズ等によって突発的に類似度が高くなった異常値が物体の姿勢推定に用いられることがある。この場合には、姿勢推定が不安定になり、推定精度が悪化する可能性がある。
【０００４】
本発明の目的は、対象物の姿勢推定を高精度に行うことができる画像処理装置及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００５】
本発明は、対象物の撮像画像を用いて対象物の姿勢を推定する画像処理装置であって、対象物における複数の姿勢の特徴量データを予め記憶する記憶手段と、対象物の撮像画像から対象物の姿勢の特徴量を抽出する特徴量抽出手段と、記憶手段に記憶された各特徴量データに対する特徴量抽出手段で抽出した特徴量の類似度をそれぞれ求める類似度算出手段と、類似度算出手段で求めた各類似度を対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成するヒストグラム作成手段と、第１ヒストグラムに基づいて、特徴量データに対する抽出した特徴量の最大類似度を求め、対象物の姿勢を推定する推定手段とを備えることを特徴とするものである。
【０００６】
このような画像処理装置においては、まず対象物の撮像画像から対象物の姿勢の特徴量を抽出し、各特徴量データに対する抽出した特徴量（抽出特徴量）の類似度をそれぞれ求める。そして、これらの類似度を対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成し、この第１ヒストグラムに基づいて、特徴量データに対する抽出特徴量の最大類似度を求める。ここで、第１ヒストグラムに存在する類似度総和のピークが１つだけあれば、そのピークに対応する特徴量データに対する抽出特徴量の類似度を最大類似度とする。しかし、第１ヒストグラムに類似度総和のピークが２つ以上存在する場合には、ノイズ等によって突発的に類似度が高くなった異常値が存在していると考えられる。この場合には、各ピークとなる棒グラフの類似度総和の値（ピーク値）や、各ピークとなる棒グラフに隣接する他の棒グラフの類似度総和の値等を考慮して、正常と推定される何れか１つのピークに対応する特徴量データを選び、その特徴量データに対する抽出特徴量の類似度を最大類似度とする。これにより、ノイズ等に起因して突発的に類似度が高くなった異常値が除外され、特徴量データに対する抽出特徴量の適切な最大類似度が得られる。その結果、対象物の姿勢を精度良く推定することができる。
【０００７】
好ましくは、ヒストグラム作成手段は、類似度算出手段で求めた各類似度を２つの姿勢方向の他方の姿勢方向に対して累積した第２ヒストグラムを更に作成し、推定手段は、第１ヒストグラム及び第２ヒストグラムに基づいて最大類似度を求める。
【０００８】
この場合には、第１ヒストグラムに存在する類似度総和のピークと第２ヒストグラムに存在する類似度総和のピークとを組み合わせることで、特徴量データに対する抽出特徴量の適切な最大類似度が安定して得られる。これにより、対象物の姿勢を更に精度良く推定することができる。
【０００９】
このとき、好ましくは、推定手段は、第１ヒストグラムにおける類似度総和のピーク値が第１所定値以上であると共に第２ヒストグラムにおける類似度総和のピーク値が第２所定値以上となるような候補領域を選定し、当該候補領域から最大類似度を求める。
【００１０】
この場合には、第１ヒストグラムにおける類似度総和のピーク値及び第２ヒストグラムにおける類似度総和のピーク値を用いて、特徴量データに対する抽出特徴量の適切な最大類似度を容易に且つ確実に求めることができる。
【００１１】
また、好ましくは、特徴量抽出手段で抽出した特徴量と記憶手段に記憶された各特徴量データとを照合させる時の回転成分をそれぞれ求める回転成分算出手段と、回転成分算出手段で求めた各回転成分のうち対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求める回転差分算出手段とを更に備え、推定手段は、更に回転成分の差分に基づいて最大類似度を求める。
【００１２】
各特徴量データに対する抽出特徴量の類似度を求める際には、抽出特徴量を各特徴量データに対して回転させて、両者を照合させる。このとき、特徴量データに対する抽出特徴量の最大類似度が正常値であれば、当該特徴量データに対する回転成分と対象物の姿勢取得位置が隣接する他の特徴量データに対する回転成分との差分は小さい。しかし、ノイズ等によって突発的に類似度が高くなった異常値を最大類似度とした場合には、当該特徴量データに対する回転成分と対象物の姿勢取得位置が隣接する他の特徴量データに対する回転成分との差分が大きくなる。そこで、対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求め、上記のヒストグラムと回転成分の差分とに基づいて、特徴量データに対する抽出特徴量の最大類似度を求めることにより、適切な最大類似度が安定して得られるようになる。これにより、対象物の姿勢を更に精度良く推定することができる。
【００１３】
また、本発明は、対象物の撮像画像を用いて対象物の姿勢を推定する画像処理をコンピュータに実行させる画像処理プログラムであって、対象物の撮像画像から対象物の姿勢の特徴量を抽出する特徴量抽出ステップと、メモリに予め記憶されている対象物における複数の姿勢の特徴量データに対する特徴量抽出ステップで抽出した特徴量の類似度をそれぞれ求める類似度算出ステップと、類似度算出ステップで求めた各類似度を対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成するヒストグラム作成ステップと、第１ヒストグラムに基づいて、特徴量データに対する抽出した特徴量の最大類似度を求め、対象物の姿勢を推定する推定ステップとをコンピュータに実行させることを特徴とするものである。
【００１４】
このような画像処理プログラムの実行においては、まず対象物の撮像画像から対象物の姿勢の特徴量を抽出し、各特徴量データに対する抽出した特徴量（抽出特徴量）の類似度をそれぞれ求める。そして、これらの類似度を対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成し、この第１ヒストグラムに基づいて、特徴量データに対する抽出特徴量の最大類似度を求める。ここで、第１ヒストグラムに存在する類似度総和のピークが１つだけあれば、そのピークに対応する特徴量データに対する抽出特徴量の類似度を最大類似度とする。しかし、第１ヒストグラムに類似度総和のピークが２つ以上存在する場合には、ノイズ等によって突発的に類似度が高くなった異常値が存在していると考えられる。この場合には、各ピークとなる棒グラフの類似度総和の値（ピーク値）や、各ピークとなる棒グラフに隣接する他の棒グラフの類似度総和の値等を考慮して、正常と推定される何れか１つのピークに対応する特徴量データを選び、その特徴量データに対する抽出特徴量の類似度を最大類似度とする。これにより、ノイズ等に起因して突発的に類似度が高くなった異常値が除外され、特徴量データに対する抽出特徴量の適切な最大類似度が得られる。その結果、対象物の姿勢を精度良く推定することができる。
【００１５】
好ましくは、ヒストグラム作成ステップでは、類似度算出ステップで求めた各類似度を２つの姿勢方向の他方の姿勢方向に対して累積した第２ヒストグラムを更に作成し、推定ステップでは、第１ヒストグラム及び第２ヒストグラムに基づいて最大類似度を求める。
【００１６】
この場合には、第１ヒストグラムに存在する類似度総和のピークと第２ヒストグラムに存在する類似度総和のピークとを組み合わせることで、特徴量データに対する抽出特徴量の適切な最大類似度が安定して得られる。これにより、対象物の姿勢を更に精度良く推定することができる。
【００１７】
このとき、好ましくは、推定ステップでは、第１ヒストグラムにおける類似度総和のピーク値が第１所定値以上であると共に第２ヒストグラムにおける類似度総和のピーク値が第２所定値以上となるような候補領域を選定し、当該候補領域から最大類似度を求める。
【００１８】
この場合には、第１ヒストグラムにおける類似度総和のピーク値及び第２ヒストグラムにおける類似度総和のピーク値を用いて、特徴量データに対する抽出特徴量の適切な最大類似度を容易に且つ確実に求めることができる。
【００１９】
また、好ましくは、特徴量抽出ステップで抽出した特徴量とメモリに記憶された各特徴量データとを照合させる時の回転成分をそれぞれ求める回転成分算出ステップと、回転成分算出ステップで求めた各回転成分のうち対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求める回転差分算出ステップとを更にコンピュータに実行させ、推定ステップでは、更に回転成分の差分に基づいて最大類似度を求める。
【００２０】
各特徴量データに対する抽出特徴量の類似度を求める際には、抽出特徴量を各特徴量データに対して回転させて、両者を照合させる。このとき、特徴量データに対する抽出特徴量の最大類似度が正常値であれば、当該特徴量データに対する回転成分と対象物の姿勢取得位置が隣接する他の特徴量データに対する回転成分との差分は小さい。しかし、ノイズ等によって突発的に類似度が高くなった異常値を最大類似度とした場合には、当該特徴量データに対する回転成分と対象物の姿勢取得位置が隣接する他の特徴量データに対する回転成分との差分が大きくなる。そこで、対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求め、上記のヒストグラムと回転成分の差分とに基づいて、特徴量データに対する抽出特徴量の最大類似度を求めることにより、適切な最大類似度が安定して得られるようになる。これにより、対象物の姿勢を更に精度良く推定することができる。
【発明の効果】
【００２１】
本発明によれば、対象物の撮像画像を用いて対象物の姿勢を推定する際に、対象物の誤認識を抑制し、対象物の姿勢推定を高精度に行うことができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明に係わる画像処理装置及び画像処理プログラムの好適な実施形態について、図面を参照して詳細に説明する。
【００２３】
図１は、本発明に係わる画像処理装置の一実施形態の概略構成を示すブロック図である。本実施形態の画像処理装置１は、例えば急須やマグカップ等の取っ手付き容器を把持するロボットに適用されるものである。
【００２４】
同図において、画像処理装置１は、認識対象物体を撮像するカメラ２Ａ，２Ｂと、これらのカメラ２Ａ，２Ｂによる撮像画像を入力し、所定の画像処理を行い、物体の姿勢を推定する画像処理部３と、この画像処理部３の処理結果を表示するモニタ部４と、画像処理部３による画像処理に使用されるデータベースを蓄積記憶するデータ格納部５とを備えている。画像処理部３の処理結果は、把持制御処理部６にも送られる。把持制御処理部６は、画像処理部３で推定された物体の姿勢に基づいて、物体を把持するように制御する。
【００２５】
カメラ２Ａ，２Ｂは、例えばＣＣＤカメラであり、異なる２つの視点から物体を撮像するようにロボットの両眼部（図示せず）に設けられている。
【００２６】
画像処理部３は、物体認識処理に特化した専用のハードウェアとして構成されていても良いし、或いはＣＰＵ、メモリ（記憶媒体）、入力部及び出力部を有するパーソナルコンピュータ等の汎用コンピュータを用い、この汎用コンピュータにソフトウェアとしての画像処理プログラムを実行させても良い。このとき、画像処理プログラムは、例えばＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ等の記憶媒体または半導体メモリによって提供される。また、画像処理プログラムは、搬送波に重畳されたコンピュータデータ信号としてネットワークを介して提供されるものであっても良い。
【００２７】
図２は、画像処理部３による処理手順の概略を示すフローチャートである。同図において、まずカメラ２Ａ，２Ｂによる撮像画像を取得する（手順１１）。カメラ２Ａ，２Ｂによる撮像画像の一例を図３に示す。図３（ａ）は、ロボットの左眼部に配置されたカメラ２Ａによる撮像画像（左画像とする）を示し、図３（ｂ）は、ロボットの右眼部に配置されたカメラ２Ｂによる撮像画像（右画像とする）を示している。
【００２８】
続いて、手順１１で取得した左画像及び右画像について、濃度値が一様とみなせる物体毎の領域に分割する（手順１２）。例えば図３に示す画像では、枠で囲まれた領域Ｒが認識対象物体を含む領域となる。
【００２９】
また、手順１２の領域分割処理と並行して、２次元の左画像及び右画像から３次元画像を復元する（手順１３）。この３次元画像の復元は、例えば両眼視差の考え方を利用して、ある点の左画像及び右画像での位置座標とカメラ２Ａ，２Ｂ間の距離とから当該点の奥行きを計算することにより行う。
【００３０】
続いて、手順１２で領域分割された２次元画像と手順１３で復元された３次元画像とに基づいて、エッジ検出等により領域Ｒ内に存在する物体の輪郭を抽出する（手順１４）。例えば図３（ａ）に示す左画像における物体の輪郭Ｂは、図４に示すようなものとなる。
【００３１】
続いて、手順１４で得られた物体の輪郭Ｂの特徴量を抽出する（手順１５）。輪郭Ｂの特徴量としては、輪郭Ｂの位置、回転及び大きさに対して不変な不変量を用いる。この不変量としては、図５に示すように、輪郭Ｂにおける１つの勾配（接線の傾き）Ｈから他の勾配Ｈまでの距離ｄ１〜ｉが挙げられる。例えば図５に示すような角度の勾配度では、不変量の次元数は３次元となる。
【００３２】
続いて、手順１５で得られた物体の輪郭Ｂの特徴量を、データ格納部５にデータベースとして記憶されている複数の特徴量データと照合（マッチング）することにより、各特徴量データに対する輪郭Ｂの特徴量の類似度をそれぞれ算出する（手順１６）。
【００３３】
特徴量データは、図６に示すように、認識対象物体７を複数の視点（姿勢取得位置）Ｗから見た時の物体７の姿勢に関するデータである。それらの視点Ｗは、物体７を取り囲むように想定した仮想球面Ｖ上に設定されている。物体７の姿勢の特徴量データは、例えばレンジファインダによって物体７の３次元形状として取得される。
【００３４】
このような類似度の算出時には、輪郭Ｂの特徴量を各特徴量データに対して照合させるための回転成分（後述）が求められる。なお、マッチング手法としては、例えば類似性を精度良く判定できるＤＰ（Dynamic Programming）マッチング等が採用される。
【００３５】
続いて、左画像及び右画像のうち、特徴量データに対する輪郭Ｂの特徴量の類似度が高い方の画像を基準画像として選択する（手順１７）。続いて、選択された基準画像における物体の輪郭Ｂについて、特徴量データに対する輪郭Ｂの特徴量の最大類似度を算出する（手順１８）。この最大類似度算出処理については、後で詳述する。そして、その最大類似度となる特徴量データに対応する輪郭の形状を物体の初期姿勢位置に設定する（手順１９）。
【００３６】
続いて、まず基準画像のみを用いて、物体の姿勢を粗推定する（手順２０）。この単眼姿勢推定処理としては、例えば輪郭ＢのＤＴ（Distance Transforms）画像を作成し、このＤＴ画像を３次元の輪郭形状データとＤＴマッチングすることにより行う。続いて、その単眼姿勢推定の妥当性を判断する（手順２１）。この妥当性は、例えば手順２０の姿勢推定によって得られた輪郭と手順１３の３次元復元によって得られた輪郭とを重ね合わせた時の重なり程度から判断する。
【００３７】
このとき、姿勢推定が正しいと判定されたときは、引き続き左画像及び右画像の両方を用いて、物体の姿勢を詳細に推定する（手順２２）。この複眼姿勢推定処理は、手順２０の単眼姿勢推定処理と同様の手法で行う。続いて、その複眼姿勢推定の妥当性を判断する（手順２３）。この時の妥当性の判断手法は、手順２１と同様である。そして、姿勢推定が正しいと判定されたときは、その推定結果を把持制御処理部６に送出すると共にモニタ部４に表示させる（手順２４）。
【００３８】
一方、手順２１，２３において姿勢推定が正しくないと判断されたときは、特徴量データに対する輪郭Ｂの特徴量の類似度が次に高くなるような他の特徴量データを選択し、その特徴量データに対応する輪郭の形状を新たな物体の初期姿勢位置に設定する（手順２５）。そして、上記の手順２０〜２４を再度実行する。
【００３９】
図７は、図２に示す手順１８の最大類似度算出処理の詳細を示すフローチャートである。同図において、まず図２に示す手順１６で算出された各特徴量データに対する輪郭Ｂの特徴量（不変量）の類似度を２次元マップとして表示する（手順３１）。
【００４０】
具体的には、図６に示すように、複数の視点Ｗを決めるための仮想球面Ｖについて緯度及び経度を設定する。これらの緯度及び経度は、認識対象物体７の直交する２つの姿勢方向を示す指標となるものである。そして、ここで用いられる２次元マップは、図８に示すように、横軸を経度、縦軸を緯度としたグラフからなるものである。図８では、図６に示す複数の視点Ｗの位置を２次元的に表している。つまり、図６に示すまばらな３次元上の視点Ｗを、補間を用いて２次元上の視点として均一化している。このような２次元マップ化を実施することで、計算処理を容易にすることができる。
【００４１】
そして、各特徴量データに対する輪郭Ｂの特徴量の類似度を、図８に示すグラフにおいて特徴量データに対応する視点の位置にそれぞれ展開して、類似度マップを作成する。この類似度マップの一例を図９に示す。図９に示す類似度マップでは、類似度が高くなるほど白くなるように表示される。
【００４２】
続いて、類似度マップの各類似度を経度方向に対して累積した経度ヒストグラムを作成すると共に、類似度マップの各類似度を緯度方向に対して類似度を累積した緯度ヒストグラムを作成する（手順３２）。図９に示す類似度マップに対しては、図１０に示すような経度ヒストグラム及び緯度ヒストグラムが得られる。これらのヒストグラムでは、横軸の階級が経度または緯度、縦軸の度数が類似度総和となっている。
【００４３】
続いて、１つの視点に対応する特徴量データに対する輪郭Ｂの特徴量の回転成分と当該視点に隣接する複数（例えば８箇所）の視点に対応する各特徴量データに対する輪郭Ｂの特徴量の回転成分との差分を求める（手順３３）。この処理は、全ての視点について実施する。
【００４４】
そして、各視点について求めた回転成分の差分を、図８に示すグラフにおいて対応する視点の位置にそれぞれ展開して、回転成分差マップを作成する（手順３４）。この回転成分差マップの一例を図１１に示す。図１１に示す回転成分差マップでは、回転成分の差分が大きくなるほど白くなるように表示される。
【００４５】
続いて、手順３２で作成した経度ヒストグラム及び緯度ヒストグラムについて、予め設定された閾値よりも大きい値をもった類似度総和のピークをそれぞれ抽出し、類似度マップにおいて最大類似度となる可能性のある候補領域を選定する（手順３５）。
【００４６】
例えば図１０に示すものでは、経度ヒストグラムにおいて閾値よりも大きい値をもった類似度総和のピークが２つある。このため、経度ヒストグラムにおいて２つのピークとなる各棒グラフの経度と緯度ヒストグラムにおいてピークとなる棒グラフの緯度とが交差する点に最も近い視点を含むような候補領域Ｓ１，Ｓ２を決定する。
【００４７】
そして、手順３５で得られた視点の候補領域が複数存在するかどうかを判断し（手順３６）、候補領域が複数存在するときは、複数の候補領域から最適と考えられる１つの候補領域を選択する（手順３７）。
【００４８】
特徴量データに対する輪郭Ｂの特徴量の類似度が正常の最大類似度となる場合には、対応する視点の位置が近い他の特徴量データに対する輪郭Ｂの特徴量の類似度も高くなる傾向にあるが、特徴量データに対する輪郭Ｂの特徴量の類似度がノイズや外乱等により突発的に高くなる場合には、対応する視点の位置が近い他の特徴量データに対する輪郭Ｂの特徴量の類似度が低くなることが多い。そこで、ヒストグラムにおける類似度総和のピーク値と、このピークとなる棒グラフに対して経度が近い他の棒グラフの類似度総和とを考慮して、１つの候補領域を選択する。
【００４９】
例えば図１０に示すものでは、経度ヒストグラムにおいて候補領域Ｓ１内の類似度総和のピーク値が候補領域Ｓ２内の類似度総和のピーク値よりも高いことに加え、候補領域Ｓ１内でピークとなる棒グラフに近い他の棒グラフの類似度総和が比較的高いにも拘わらず、候補領域Ｓ２内でピークとなる棒グラフに近い他の棒グラフの類似度総和は下がっている。このため、候補領域Ｓ２内に存在する類似度総和のピークは突発的に生じたものと考えられ、候補領域Ｓ１が選択される。
【００５０】
続いて、手順３４で作成した回転成分差マップを用いて、選択された候補領域の妥当性を判断する（手順３８）。
【００５１】
特徴量データに対する輪郭Ｂの特徴量の類似度が正常の最大類似度となる場合には、当該特徴量データに対する輪郭Ｂの特徴量の回転成分と対応する視点の位置が近い他の特徴量データに対する輪郭Ｂの特徴量の回転成分との差分が小さくなる傾向にある。しかし、特徴量データに対する輪郭Ｂの特徴量の類似度がノイズや外乱等により突発的に高くなる場合には、当該特徴量データに対する輪郭Ｂの特徴量の回転成分と対応する視点の位置が近い他の特徴量データに対する輪郭Ｂの特徴量の回転成分との差分が大きくなることが多い。従って、そのような回転成分の差分から候補領域の妥当性を判断することができる。
【００５２】
例えば図１１に示す回転成分差マップでは、選択された候補領域Ｓ１が比較的黒くなっている。つまり、候補領域Ｓ１内では、回転成分の差分が小さくなっている。従って、選択された候補領域Ｓ１は正しいと判断される。
【００５３】
そして、候補領域が正しく選択されたと判断されると、緯度・経度が当該候補領域内に存在するような視点を抽出し、この視点に対応する特徴量データに対する輪郭Ｂの特徴量の類似度を最大類似度とする（手順３９）。
【００５４】
以上において、データ格納部５は、対象物における複数の姿勢の特徴量データを予め記憶する記憶手段を構成する。画像処理部３の手順１１〜１５（図２参照）は、対象物の撮像画像から対象物の姿勢の特徴量を抽出する特徴量抽出手段（特徴量抽出ステップ）を構成する。画像処理部３の手順１６（図２参照）は、記憶手段に記憶された各特徴量データに対する特徴量抽出手段で抽出した特徴量の類似度をそれぞれ求める類似度算出手段（類似度算出ステップ）を構成する。画像処理部３の手順３１，３２（図７参照）は、類似度算出手段で求めた各類似度を対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成するヒストグラム作成手段（ヒストグラム作成ステップ）を構成する。画像処理部３の手順３５〜３９（図７参照）及び手順１９〜２５（図２参照）は、第１ヒストグラムに基づいて、特徴量データに対する抽出した特徴量の最大類似度を求め、対象物の姿勢を推定する推定手段（推定ステップ）を構成する。
【００５５】
また、画像処理部３の手順１６（図２参照）は、特徴量抽出手段で抽出した特徴量と記憶手段に記憶された各特徴量データとを照合させる時の回転成分をそれぞれ求める回転成分算出手段（回転成分算出ステップ）を構成する。画像処理部３の手順３３，３４（図７参照）は、回転成分算出手段で求めた各回転成分のうち対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求める回転差分算出手段（回転差分算出ステップ）を構成する。
【００５６】
以上のように本実施形態にあっては、各特徴量データに対する輪郭Ｂの特徴量の類似度を２次元的に表す類似度マップを作成し、この類似度マップの類似度を経度方向及び緯度方向に対して累積した２つのヒストグラムを作成し、各ヒストグラムに存在するピークを抽出して、最大類似度となる可能性の最も高い１つの候補領域を選定する。また、１つの視点に対応する特徴量データに対する輪郭Ｂの特徴量の回転成分と当該視点に隣接する複数の視点に対応する各特徴量データに対する輪郭Ｂの特徴量の回転成分との差分を求め、この回転成分の差分を考慮して、選定した候補領域の妥当性を判断する。そして、その結果に基づいて、特徴量データに対する輪郭Ｂの特徴量の最大類似度を決定する。
【００５７】
従って、ノイズや外乱等により類似度が突発的に高くなった異常値が除外されるため、特徴量データに対する輪郭Ｂの特徴量の適切な最大類似度を求めることができる。これにより、その後の処理において物体の初期姿勢位置を高精度に設定できるため、結果的に物体の姿勢推定の推定精度を向上させることが可能となる。
【００５８】
なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態では、輪郭Ｂの各勾配Ｈ間の距離に関するパラメータを物体の特徴量として用いたが、特徴量としては、輪郭Ｂの位置、回転及び大きさに対して不変な不変量であれば、特にこれには限られず、例えば曲率、色情報、ヒストグラム等を用いても良い。
【００５９】
また、上記実施形態は、物体を把持するロボットに適用されるものであるが、本発明の画像処理装置及び画像処理プログラムは、物体を認識して物体の姿勢を推定する他の装置やシステム等にも適用可能である。
【図面の簡単な説明】
【００６０】
【図１】本発明に係わる画像処理装置の一実施形態の概略構成を示すブロック図である。
【図２】図１に示す画像処理部による処理手順の概略を示すフローチャートである。
【図３】図１に示す２つのカメラで撮像して得られた左画像及び右画像の一例を示す図である。
【図４】図３（ａ）に示す左画像から抽出された物体の輪郭を示す図である。
【図５】物体の特徴量として物体の輪郭の不変量を抽出する様子を示す概念図である。
【図６】物体の複数の姿勢に関する特徴量データを取得するための複数の視点を示す概念図である。
【図７】図２に示す最大類似度算出処理の詳細を示すフローチャートである。
【図８】図６に示す複数の視点の位置を２次元的に表した概念図である。
【図９】図７に示す最大類似度算出処理によって得られる類似度マップの一例を示す図である。
【図１０】図９に示す類似度マップから作成される経度ヒストグラム及び緯度ヒストグラムの一例を示す図である。
【図１１】図７に示す最大類似度算出処理によって得られる回転成分差マップの一例を示す図である。
【符号の説明】
【００６１】
１…画像処理装置、２Ａ，２Ｂ…カメラ、３…画像処理部（特徴量抽出手段、類似度算出手段、ヒストグラム作成手段、推定手段、回転成分算出手段、回転差分算出手段）、５…データ格納部（記憶手段）。
【特許請求の範囲】
【請求項１】
対象物の撮像画像を用いて前記対象物の姿勢を推定する画像処理装置であって、
前記対象物における複数の姿勢の特徴量データを予め記憶する記憶手段と、
前記対象物の撮像画像から前記対象物の姿勢の特徴量を抽出する特徴量抽出手段と、
前記記憶手段に記憶された各特徴量データに対する前記特徴量抽出手段で抽出した特徴量の類似度をそれぞれ求める類似度算出手段と、
前記類似度算出手段で求めた各類似度を前記対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成するヒストグラム作成手段と、
前記第１ヒストグラムに基づいて、前記特徴量データに対する前記抽出した特徴量の最大類似度を求め、前記対象物の姿勢を推定する推定手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記ヒストグラム作成手段は、前記類似度算出手段で求めた各類似度を前記２つの姿勢方向の他方の姿勢方向に対して累積した第２ヒストグラムを更に作成し、
前記推定手段は、前記第１ヒストグラム及び前記第２ヒストグラムに基づいて前記最大類似度を求めることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記推定手段は、前記第１ヒストグラムにおける類似度総和のピーク値が第１所定値以上であると共に前記第２ヒストグラムにおける類似度総和のピーク値が第２所定値以上となるような候補領域を選定し、当該候補領域から前記最大類似度を求めることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記特徴量抽出手段で抽出した特徴量と前記記憶手段に記憶された各特徴量データとを照合させる時の回転成分をそれぞれ求める回転成分算出手段と、
前記回転成分算出手段で求めた各回転成分のうち前記対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求める回転差分算出手段とを更に備え、
前記推定手段は、更に前記回転成分の差分に基づいて前記最大類似度を求めることを特徴とする請求項１〜３のいずれか一項記載の画像処理装置。
【請求項５】
対象物の撮像画像を用いて前記対象物の姿勢を推定する画像処理をコンピュータに実行させる画像処理プログラムであって、
前記対象物の撮像画像から前記対象物の姿勢の特徴量を抽出する特徴量抽出ステップと、
予めメモリに記憶されている前記対象物における複数の姿勢の特徴量データに対する前記特徴量抽出ステップで抽出した特徴量の類似度をそれぞれ求める類似度算出ステップと、
前記類似度算出ステップで求めた各類似度を前記対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成するヒストグラム作成ステップと、
前記第１ヒストグラムに基づいて、前記特徴量データに対する前記抽出した特徴量の最大類似度を求め、前記対象物の姿勢を推定する推定ステップとを前記コンピュータに実行させることを特徴とする画像処理プログラム。
【請求項６】
前記ヒストグラム作成ステップでは、前記類似度算出ステップで求めた各類似度を前記２つの姿勢方向の他方の姿勢方向に対して累積した第２ヒストグラムを更に作成し、
前記推定ステップでは、前記第１ヒストグラム及び前記第２ヒストグラムに基づいて前記最大類似度を求めることを特徴とする請求項５記載の画像処理プログラム。
【請求項７】
前記推定ステップでは、前記第１ヒストグラムにおける類似度総和のピーク値が第１所定値以上であると共に前記第２ヒストグラムにおける類似度総和のピーク値が第２所定値以上となるような候補領域を選定し、当該候補領域から前記最大類似度を求めることを特徴とする請求項６記載の画像処理プログラム。
【請求項８】
前記特徴量抽出ステップで抽出した特徴量と前記メモリに記憶された各特徴量データとを照合させる時の回転成分をそれぞれ求める回転成分算出ステップと、
前記回転成分算出ステップで求めた各回転成分のうち前記対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求める回転差分算出ステップとを更に前記コンピュータに実行させ、
前記推定ステップでは、更に前記回転成分の差分に基づいて前記最大類似度を求めることを特徴とする請求項５〜７のいずれか一項記載の画像処理プログラム。
【請求項１】
対象物の撮像画像を用いて前記対象物の姿勢を推定する画像処理装置であって、
前記対象物における複数の姿勢の特徴量データを予め記憶する記憶手段と、
前記対象物の撮像画像から前記対象物の姿勢の特徴量を抽出する特徴量抽出手段と、
前記記憶手段に記憶された各特徴量データに対する前記特徴量抽出手段で抽出した特徴量の類似度をそれぞれ求める類似度算出手段と、
前記類似度算出手段で求めた各類似度を前記対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成するヒストグラム作成手段と、
前記第１ヒストグラムに基づいて、前記特徴量データに対する前記抽出した特徴量の最大類似度を求め、前記対象物の姿勢を推定する推定手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記ヒストグラム作成手段は、前記類似度算出手段で求めた各類似度を前記２つの姿勢方向の他方の姿勢方向に対して累積した第２ヒストグラムを更に作成し、
前記推定手段は、前記第１ヒストグラム及び前記第２ヒストグラムに基づいて前記最大類似度を求めることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記推定手段は、前記第１ヒストグラムにおける類似度総和のピーク値が第１所定値以上であると共に前記第２ヒストグラムにおける類似度総和のピーク値が第２所定値以上となるような候補領域を選定し、当該候補領域から前記最大類似度を求めることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記特徴量抽出手段で抽出した特徴量と前記記憶手段に記憶された各特徴量データとを照合させる時の回転成分をそれぞれ求める回転成分算出手段と、
前記回転成分算出手段で求めた各回転成分のうち前記対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求める回転差分算出手段とを更に備え、
前記推定手段は、更に前記回転成分の差分に基づいて前記最大類似度を求めることを特徴とする請求項１〜３のいずれか一項記載の画像処理装置。
【請求項５】
対象物の撮像画像を用いて前記対象物の姿勢を推定する画像処理をコンピュータに実行させる画像処理プログラムであって、
前記対象物の撮像画像から前記対象物の姿勢の特徴量を抽出する特徴量抽出ステップと、
予めメモリに記憶されている前記対象物における複数の姿勢の特徴量データに対する前記特徴量抽出ステップで抽出した特徴量の類似度をそれぞれ求める類似度算出ステップと、
前記類似度算出ステップで求めた各類似度を前記対象物の直交する２つの姿勢方向のうち何れか一方の姿勢方向に対して累積した第１ヒストグラムを作成するヒストグラム作成ステップと、
前記第１ヒストグラムに基づいて、前記特徴量データに対する前記抽出した特徴量の最大類似度を求め、前記対象物の姿勢を推定する推定ステップとを前記コンピュータに実行させることを特徴とする画像処理プログラム。
【請求項６】
前記ヒストグラム作成ステップでは、前記類似度算出ステップで求めた各類似度を前記２つの姿勢方向の他方の姿勢方向に対して累積した第２ヒストグラムを更に作成し、
前記推定ステップでは、前記第１ヒストグラム及び前記第２ヒストグラムに基づいて前記最大類似度を求めることを特徴とする請求項５記載の画像処理プログラム。
【請求項７】
前記推定ステップでは、前記第１ヒストグラムにおける類似度総和のピーク値が第１所定値以上であると共に前記第２ヒストグラムにおける類似度総和のピーク値が第２所定値以上となるような候補領域を選定し、当該候補領域から前記最大類似度を求めることを特徴とする請求項６記載の画像処理プログラム。
【請求項８】
前記特徴量抽出ステップで抽出した特徴量と前記メモリに記憶された各特徴量データとを照合させる時の回転成分をそれぞれ求める回転成分算出ステップと、
前記回転成分算出ステップで求めた各回転成分のうち前記対象物の姿勢取得位置が互いに隣り合う複数の特徴量データに対する回転成分の差分をそれぞれ求める回転差分算出ステップとを更に前記コンピュータに実行させ、
前記推定ステップでは、更に前記回転成分の差分に基づいて前記最大類似度を求めることを特徴とする請求項５〜７のいずれか一項記載の画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−３７９８（Ｐ２００８−３７９８Ａ）
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願番号】特願２００６−１７１７３６（Ｐ２００６−１７１７３６）
【出願日】平成１８年６月２１日（２００６．６．２１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成２０年１月１０日（２００８．１．１０）
【国際特許分類】
【出願日】平成１８年６月２１日（２００６．６．２１）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]