形状認識装置、形状認識方法、および、そのプログラム
【課題】単純な形状に限らず認識対象物を的確に抽出する。
【解決手段】形状認識装置１２０は、軸を有する３次元モデル１２２を示す３次元モデル情報を保持するモデル保持部２１０と、認識対象物１１２の３次元形状を示す認識対象情報を取得する認識対象情報取得部２３０と、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部２３４と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部２３６とを備える。
【解決手段】形状認識装置１２０は、軸を有する３次元モデル１２２を示す３次元モデル情報を保持するモデル保持部２１０と、認識対象物１１２の３次元形状を示す認識対象情報を取得する認識対象情報取得部２３０と、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部２３４と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部２３６とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意の認識対象物の位置および姿勢を認識可能な形状認識装置、形状認識方法、および、そのプログラムに関する。
【背景技術】
【０００２】
規則的に載置された複数の認識対象物を自律的に認識し、その認識した認識対象物を産業用のロボットに１つずつピッキング処理させるピッキングシステムが普及している。また、近年では、認識対象物が規則的に載置されていない場合であっても、認識対象物の位置や姿勢を特定し、その位置や姿勢に合わせて認識対象物をピッキングすることができるようになってきた。
【０００３】
例えば、特定の形状（円柱形状や円錐形状）の３次元モデルを予め保持し、２次元カメラによる任意の投影像から３次元モデルに相当する認識対象物の画像特徴（特徴量）を抽出すると共に、保持していた３次元モデルの３次元位置および姿勢を修正し、その認識対象物と３次元モデルとの特徴量を比較して、一致する程度を判定する技術が公開されている（例えば、特許文献１）。また、投影像の明度を変換し特定色相を強調した画像から画像特徴を抽出し特徴量とする技術（例えば、特許文献２）や、スリット光を認識対象物に照射し、スリット光の投影パターンに基づいて輪郭線を抽出して特徴量とする技術（例えば、特許文献３）、円柱形状部を有する物体の輪郭に相当する平行な１対の線分を抽出して特徴量とする技術（例えば、特許文献４）も知られている。
【０００４】
また、認識対象物の表面にスリット光を投影し、そのスリット像との２次元空間周波数スペクトルと、既知の標準物体の２次元空間周波数スペクトルとの類似度によって認識対象物体の形状を認識する技術も開示されている（例えば、特許文献５）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−１７８４２６号公報
【特許文献２】特開平１１−０５１６１１号公報
【特許文献３】特開平１０−１６０４６４号公報
【特許文献４】特開平０１−０７８１０６号公報
【特許文献５】特開昭６０−１９１３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した特許文献１〜５に基づく技術は、認識対象物の形状が、円柱形状や円錐形状といった非常に単純な形状に限定されている。したがって、特許文献１〜５に基づく技術では、認識対象物が丸みを帯びた形状ではなかったり、明確な直線やエッジを持たない場合や、その表面に凹凸が形成されている場合には、認識対象物を的確に認識することができなかった。
【０００７】
ピッキングシステムにおける形状認識では、上述した単純な形状に限らず、様々な形状の認識対象物を認識できることが望まれる。このような様々な形状を画一的に捉えるため、本願発明者は、例えば、認識対象物の形状の偏りにより生じる長手軸によって形状を特徴付けることを試みた。
【０００８】
しかし、長手軸を有する認識対象物とその３次元モデルとは、パターンマッチングが収束する収束点（認識対象物と３次元モデルとの一致度が最大となる点）として、長手軸が等しいが互いに対称的に配される２つの姿勢があり、そのうちの正しい姿勢にパターンマッチングが収束すれば、的確な認識結果を得ることができるが、誤った姿勢にパターンマッチングが収束すると、認識対象物と３次元モデルとが同一であるにも拘わらず異なっていると誤判定されたり、同一と見なせる閾値に到達せず、無駄に処理時間を費やしてしまうおそれがある。
【０００９】
本発明は、このような課題に鑑み、単純な形状に限らず認識対象物を的確に抽出可能な形状認識装置、形状認識方法、および、そのプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の形状認識装置は、軸を有する３次元モデルを示す３次元モデル情報を保持するモデル保持部と、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部とを備えることを特徴とする。
【００１１】
形状認識装置は、認識対象情報と３次元モデル情報とに基づいて、認識対象物の１または複数の軸を特定する軸特定部をさらに備え、姿勢候補情報生成部は、軸特定部で特定された１または複数の軸毎に２つの姿勢候補を示す姿勢候補情報を生成してもよい。
【００１２】
上記課題を解決するために、本発明の他の形状認識装置は、１または複数の回転角度において、回転前と回転後の形状が高い一致度を得る３次元モデルを示す３次元モデル情報を保持するモデル保持部と、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルの角度分回転した軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部とを備えることを特徴とする。
【００１３】
形状認識装置は、認識対象情報と３次元モデル情報とに基づいて、認識対象物の１または複数の形状認識装置は、軸を特定する軸特定部をさらに備え、姿勢候補情報生成部は、軸特定部で特定された１または複数の軸に沿って軸と同数の姿勢候補を示す姿勢候補情報を生成してもよい。
【００１４】
認識対象物特定部はＩＣＰを用いて認識対象物の位置および姿勢を特定してもよい。
【００１５】
上記課題を解決するために、本発明の形状認識方法は、軸を有する３次元モデルを示す３次元モデル情報を予め保持し、認識対象物の３次元形状を示す認識対象情報を取得し、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成し、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定することを特徴とする。
【００１６】
上記課題を解決するために、本発明の他の形状認識方法は、１または複数回転角度において、回転前と回転後の形状が高い一致度を得る３次元モデルを示す３次元モデル情報を予め保持し、認識対象物の３次元形状を示す認識対象情報を取得し、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルの角度分回転した軸と同数の姿勢候補を示す姿勢候補情報を生成し、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定することを特徴とする。
【００１７】
上記課題を解決するために、コンピュータを、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と、軸を有する３次元モデルを示す３次元モデル情報とに基づいて、認識対象物または３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部として機能させるためのプログラムが提供される。
【００１８】
また、上記課題を解決するために、コンピュータを、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と、それぞれが成す角度が等しい複数の軸を有する３次元モデルを示す３次元モデル情報とに基づいて、認識対象物または３次元モデルの角度分回転した軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部として機能させるためのプログラムが提供される。
【発明の効果】
【００１９】
本発明によれば、単純な形状に限らず認識対象物を的確に抽出可能となる。
【図面の簡単な説明】
【００２０】
【図１】ピッキングシステムの概略的な接続関係を示した説明図である。
【図２】２段階のパターンマッチングの概要を説明するための説明図である。
【図３】第１の実施形態における形状認識装置の概略的な構成を示した機能ブロック図である
【図４】長手軸を有する３次元モデルを例示した説明図である。
【図５】中央制御部の処理動作を説明するための説明図である。
【図６】形状認識方法の処理の流れを示したフローチャートである。
【図７】認識対象物の特定処理を説明するための説明図である。
【図８】第２の実施形態における形状認識装置の概略的な構成を示した機能ブロック図である。
【図９】回転を施す事で一致度が高くなる認識対象物を説明するための説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２２】
（第１の実施形態：ピッキングシステム１００）
図１は、ピッキングシステム１００の概略的な接続関係を示した説明図である。ピッキングシステム１００は、３次元形状測定装置１１０と、形状認識装置１２０と、ロボット制御装置１３０と、ロボット１４０とを含んで構成される。
【００２３】
３次元形状測定装置１１０は、例えば、レーザースキャナ方式の３次元距離センサで構成され、不規則に積み上げられ乱雑に重なっている複数の認識対象物（ワーク）１１２の測定面（表面）における複数の検出点の３次元座標を検出する。具体的に、３次元形状測定装置１１０としての３次元距離センサは、測定面上の複数の検出点の、３次元形状測定装置１１０からの距離を示すＺ軸座標と、検出方向に垂直な面（ＸＹ平面）上におけるＸ、Ｙ軸座標とを合わせて３次元座標とし、複数の検出点すべての３次元座標を示す情報である認識対象情報を生成する。こうして生成された認識対象情報は、形状認識装置１２０に送信される。ここでは、認識対象情報として、認識対象物上の複数の検出点における３次元座標を送信しているが、かかる場合に限られず、認識対象物の３次元形状を表す様々な情報を送信することができる。また、３次元形状測定装置１１０として、３次元距離センサを挙げているが、３次元形状が把握可能な既存の様々なセンサを採用することが可能である。
【００２４】
形状認識装置１２０は、３次元形状測定装置１１０から受信した認識対象情報に基づいて認識対象物１１２を抽出し、パターンマッチング等により、その認識対象物１１２が３次元モデル１２２で示される所望する認識対象物１１２であることを認識し、その認識対象物１１２の位置や姿勢を特定する。
【００２５】
ロボット制御装置１３０は、そのようにして認識された１の認識対象物１１２の位置や姿勢を示す情報を形状認識装置１２０から受信して、ロボット１４０に認識対象物１１２をピッキングさせる制御指令を発する。ロボット１４０は、その制御指令を受けて、指示された１の認識対象物１１２を、吸着式バンド１４２を通じてピッキングする。このようなピッキングシステム１００によって、例えば、不規則に積み上げられた認識対象物１１２を所定の位置に整列させる作業を自動化することができる。
【００２６】
このようなピッキングシステム１００における形状認識では、円柱形状や円錐形状といった単純な形状に限らず、様々な形状の認識対象物１１２を認識できることが望まれる。しかし、形状の異なるすべての認識対象物１１２を画一的に処理するのは困難である。そこで、本願発明者は、このような様々な形状を画一的に捉えるため、認識対象物１１２の形状の偏りにより生じる長手軸によって形状を特徴付け得ることに着目した。球体の様に完全に対称な認識対象物を除き、一般的な認識対象物１１２は長手軸（長手方向）を有する。長手軸は、認識対象物１１２の外面の任意の２つの点間の直線距離が最大となる直線に沿った軸を言う。
【００２７】
しかし、長手軸を特定しても、その長手軸を有する認識対象物１１２が長手軸方向に対して完全に点対称（順方向と逆方向に向けた形状が完全に一致する）ではない場合は、順方向と逆方向の２つの異なる姿勢が存在し、その２つの姿勢候補のいずれが真の姿勢であるかは、やはりパターンマッチングの結果を待たなければ分からない。このように２つの姿勢候補が存在するのは、認識対象物１１２と３次元モデル１２２との長手軸が合っていると、それが誤った姿勢であってもパターンマッチングの一致度が高くなることに起因する。
【００２８】
ここで、パターンマッチングにおける、長手軸方向のマッチング誤差と、短手軸（長手軸に垂直な軸）方向のマッチング誤差がもたらす影響に着目すると、短手軸方向のマッチング誤差は、姿勢収束時にさほど大きな影響を与えないが、長手軸方向のマッチング誤差は大きく影響を与え、誤った収束点（姿勢）に一度収束し始めると、真の収束点に方向転換することができなくなる。したがって、パターンマッチングの初期値や収束方向によって、誤った姿勢にパターンマッチングが収束してしまうと、認識対象物１１２と３次元モデル１２２とが同一であるにも拘わらず異なっていると誤判定されたり、同一と見なせる閾値に到達せず、無駄に処理時間を費やしてしまうおそれがある。
【００２９】
そこで、本願発明者は、認識対象物１１２と３次元モデル１２２とのパターンマッチングの収束点が複数想定される場合、認識対象物１１２または３次元モデル１２２に関し、収束し得る複数の姿勢候補を予め生成して、その複数の姿勢候補それぞれをパターンマッチングに用いることとした。
【００３０】
例えば、認識対象物１１２が長手軸を有する場合、一致度の高くなる極値点（収束点）は２つ存在することとなるので、形状認識装置１２０は、３次元形状測定装置１１０に取得された認識対象物１１２の姿勢そのものと、その認識対象物１１２を単純にＺ軸周りに１８０°回転した姿勢の２つの姿勢候補を準備し、認識対象物１１２の２つの姿勢候補と３次元モデル１２２とのパターンマッチングを実行して認識対象物１１２の位置および姿勢を特定する。あるいは、形状認識装置１２０は、３次元モデル１２２の姿勢と、３次元モデル１２２を単純に１８０°回転した姿勢の２つの姿勢候補を準備し、３次元モデル１２２の２つの姿勢候補と認識対象物１１２とのパターンマッチングを実行して認識対象物１１２の位置および姿勢を特定する。
【００３１】
かかる構成により、パターンマッチングにおいて、２つの姿勢候補のうちの、少なくとも一方の姿勢候補が真の収束点に到達するので、他方の姿勢候補が収束不能や誤判定に陥ったとしても、そのことが結果に影響することなく、一方の姿勢候補により的確に認識対象物１１２の位置および姿勢を特定することが可能となる。
【００３２】
しかし、上述した、最初から２つの姿勢候補を準備するパターンマッチングにおいては、パターンマッチング全工程に亘り、姿勢候補とのパターンマッチングを並行して２回行わなければならないので、処理負荷が重くなってしまう。また、一部のマッチング手法では収束点探索の仕方が単純ではないため両候補とも誤った姿勢に収束することもある。そこで、本願発明者は、さらに、パターンマッチングを２段階に分けて処理負荷を軽減した。即ち、１段階目において、認識対象物１１２と３次元モデル１２２とのパターンマッチングの結果が収束し得る軸を特定し、特定した軸に対して互いに逆向きに揃えた２つの姿勢候補を生成し、２段階目において、その姿勢候補を用いてパターンマッチングを厳密に行う。ただし、軸を有する３次元モデルが長手軸の方向に完全に対称である場合は、２つの候補姿勢（順方向、逆方向）のどちらも真であるため、候補姿勢を作る必要はない。
【００３３】
図２は、２段階のパターンマッチングの概要を説明するための説明図である。例えば、図２（ａ）のように、長手軸を有する「鍵」をイメージした認識対象物１１２と３次元モデル１２２とがあるとする。ここでは、理解を容易にするため、認識対象物１１２の長手軸が、３次元モデル１２２の長手軸を図２（ａ）中時計回りに２７０°回転した状態となっており、長手軸回りのスピン角度は考慮しないものとする。パターンマッチングでは、まず、３次元モデル１２２を基準として、両者の一致度が高くなる方向（図２（ｂ）中一致度の軌跡に沿った矢印で示す。）に、認識対象物１１２を回転する。そして、一致度が極値に落ち着くと、その点をパターンマッチングの収束点としている。
【００３４】
このとき、パターンマッチングの初期値が、図２（ｂ）における認識対象物１１２の回転角度が１８０°以上に相当する姿勢であれば、３次元モデル１２２と一致する正しい姿勢（２７０°）にパターンマッチングが収束し、的確な認識結果を得ることができる。しかし、パターンマッチングの初期値が、認識対象物１１２の回転角度が１８０°未満に相当する姿勢であれば、誤った姿勢（９０°）にパターンマッチングが収束することとなってしまう。
【００３５】
ここでは、正しい姿勢（２７０°）と誤った姿勢（９０°）のいずれに収束するかは不明であるが、正しい姿勢（２７０°）と誤った姿勢（９０°）とが互いに１８０°回転した姿勢であることは推測することができる。したがって、１段階目において、パターンマッチングが収束すると予想される軸を抽出し、２段階目において、その抽出した軸に沿って対称的に配置された（１８０°回転した）２つの姿勢について厳密なパターンマッチングを行うことで、正しいマッチング姿勢を得る。
【００３６】
例えば、図２（ｃ）に示すように、（１）認識対象物１１２を０°からＺ軸を中心に時計回りに回転し、その一致度が１つ目の極値（９０°）になる前の所定の閾値に達した時点で、一旦パターンマッチングを停止する。図２（ｃ）の例では、認識対象物１１２が８０°回転した時点で所定の閾値に達したとする。そして、８０°に回転した認識対象物１１２を２段階目の姿勢候補とすると共に、さらに１８０°回転した（２６０°回転した）認識対象物１１２も姿勢候補とする。続いて、（２）認識対象物１１２の２つの姿勢候補（８０°、２６０°）に基づいて、厳密なパターンマッチングを並行して行う。
【００３７】
すると、２つの姿勢候補は、それぞれ９０°と２７０°において極値を示すが、そのうち一致度が高い２７０°の姿勢が認識対象物１１２の真の姿勢であると判断される。ここでは、１つの長手軸に対して２つの姿勢候補があるので、そのいずれもパターンマッチングを行うことで、誤った姿勢にのみパターンマッチングが収束するのを回避している。
【００３８】
また、その２つの姿勢の関係、例えば、軸に沿って対称的な関係にあることは把握されているので、軸の特定に関しては、いずれか一方の姿勢の軸を用いればよく、そのときに厳密なパターンマッチングを要さない。即ち、１段階目では、厳密なパターンマッチング（極値探索）を行うまでもなく、緩い閾値で一方のみの軸を抽出すればよいこととなる。
【００３９】
ここでは、少なくとも一方の姿勢候補に関して、最適な収束点（極値）が導出されるので、他方の収束点を導出するまでもなく、パターンマッチングが完了する。したがって、認識対象物１１２の位置と姿勢とが的確に導出される。また、軸を抽出するまでのパターンマッチングを２つの極値それぞれについて実行せず、いずれか一方でのみ行うので、処理負荷の軽減を図ることができる。以上が本実施形態のパターンマッチングの概要である。以下では、軸を有する認識対象物１１２を的確に抽出可能な形状認識装置１２０の具体的な構成を示し、その後、具体的な処理の流れ（形状認識方法）を詳述する。
【００４０】
（形状認識装置１２０）
図３は、形状認識装置１２０の概略的な構成を示した機能ブロック図である。形状認識装置１２０は、モデル保持部２１０と、データバッファ２１２と、中央制御部２１４とを含んで構成される。形状認識装置１２０は、認識対象物１１２の１または複数の軸に対して、軸毎に２つの姿勢候補を生成するが、ここでは、理解を容易にするため、１軸（長手軸）に対する２つの姿勢を挙げて説明する。しかし、１軸に限定されないことは言うまでもない。
【００４１】
モデル保持部２１０は、ＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ(Hard Disk Drive)等で構成され、認識対象物１１２に対応する３次元モデル１２２、特に長手軸を有する３次元モデル１２２を示す３次元モデル情報を保持する。
【００４２】
図４は、長手軸を有する３次元モデルを例示した説明図である。例えば、図４（ａ）は円柱形状、図４（ｂ）はコーン形状、図４（ｃ）は径の異なる円柱を結合した形状、図４（ｄ）は直方体形状、図４（ｅ）は、斜柱体形状を示し、いずれも形状が偏ることにより図４中、上下方向に長手軸２５０を有することが共通している。また、他にも、建築物の柱、ポスト、電話ブース、電柱等、長手軸２５０を有する様々な認識対象物１１２を想定している。
【００４３】
データバッファ２１２は、ＳＲＡＭ、ＤＲＡＭ等で構成され、３次元形状測定装置１１０から受信した認識対象情報を一時的に保持する。
【００４４】
中央制御部２１４は、中央処理装置（ＣＰＵ）や信号処理装置（ＤＳＰ：Digital Signal Processor）、プログラム等が格納されたＲＯＭやメモリ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、形状認識装置１２０全体を管理および制御する。また、本実施形態において、中央制御部２１４は、認識対象情報取得部２３０と、軸特定部２３２と、姿勢候補情報生成部２３４と、認識対象物特定部２３６としても機能する。
【００４５】
認識対象情報取得部２３０は、３次元形状測定装置１１０から任意の認識対象物１１２の３次元形状を示す認識対象情報を取得し、データバッファ２１２に保持させる。
【００４６】
軸特定部２３２は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２の１または複数の軸を特定する。かかる軸特定部２３２による軸の特定は、図２（ｃ）を用いて説明した２段階のパターンマッチングの１段階目に当たる。したがって、軸特定部２３２は、認識対象物１１２と３次元モデル１２２との厳密なパターンマッチングを行わず、パターンマッチングが収束し得る軸のみを特定する。
【００４７】
ここで、軸特定部２３２は、認識対象物１１２と３次元モデル１２２とのパターンマッチング（軸特定）において、いずれか一方を基準とし、他方の位置や姿勢を変更することとなるが、いずれを基準とするかは限定されない。本実施形態では、３次元モデル１２２の方が認識対象物１１２より情報量が多いので、計算負荷を軽減すべく、３次元モデル１２２を基準として認識対象物１１２の位置や姿勢を変更することとする。
【００４８】
尚、かかる軸特定には、ＩＣＰ（Iterative Closest Points）やＰＣＡ（Principal Component Analysis）等、様々な手法を用いることができるが、ここでは、その一例としてＩＣＰを用いる。ＩＣＰは、６自由度ある３次元モデル１２２の位置や姿勢を、認識対象物１１２と３次元モデル１２２とを特定するためのそれぞれの対応点間の距離の合計（ノルム）が閾値以下になるまで共役勾配法等を利用して反復的に更新する手法である。ＰＣＡは、入力されたデータが空間内でどのように主軸を有しているかを調べる手法（主軸成分解析）である。ＩＣＰは、例えば、ＰＣＡ等と異なり、認識対象物１１２と３次元モデル１２２との点群同士のマッチングを利用するので、認識対象物１１２が重なること等による認識対象物１１２の部分的な欠落に強いため、ロバスト性に優れ、比較的高精度に認識対象物１１２の位置や姿勢を特定することが可能となる。
【００４９】
軸特定部２３２は、図２（ｃ）を用いて説明したように、厳密なパターンマッチングを行わず、姿勢候補を生成するための大凡の軸を抽出することを目的としている。したがって、パターンマッチング手法としてＩＣＰを用いる場合、軸特定部２３２は、パターンマッチング完了の判断材料であるノルムに対する閾値を緩め、ある程度の一致度を得ることができれば、それ以上の認識対象物１１２の位置や姿勢の変更を止め、そのときの認識対象物１１２の位置や姿勢によって軸（ここでは長手軸）を特定する。
【００５０】
図５は、中央制御部２１４の処理動作を説明するための説明図である。例えば、図５（ａ）に示すように、軸特定部２３２は、認識対象物１１２の位置や姿勢を変更して、３次元モデル１２２とある程度の一致度を得ると、その認識対象物１１２の位置や姿勢によって長手軸２５０を特定する。また、図５（ｂ）のように、軸特定部２３２は、認識対象物１１２の位置や姿勢を変更し、収束した結果、認識対象物１１２の姿勢が誤った姿勢になったとしても、３次元モデル１２２とある程度の一致度を得ると、図５（ａ）同様、その認識対象物１１２の位置や姿勢によって長手軸２５０を特定する。軸特定部２３２は、正誤の姿勢に共通する長手軸２５０を特定することを目的としており、１段階目における、図５（ａ）と図５（ｂ）のような姿勢の正誤の影響は受けない。
【００５１】
また、軸特定部２３２では、パターンマッチングの閾値が緩く設定されているので、形状の厳密な一致は問われず、仮に他の認識対象物１１２によって覆われ、認識対象物１１２の一部が認識されていない場合であっても容易に軸を特定することができる。
【００５２】
姿勢候補情報生成部２３４は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２または３次元モデル１２２の、特定された１または複数の軸毎に、軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する。ここでは、１の長手軸２５０に対して、極値が２つ存在することと、その２つの極値は、認識対象物１１２を対称的に配置した２つの姿勢で生じることが予め把握されている。したがって、姿勢候補情報生成部２３４は、特定された軸を用いて、極値に近い２つの姿勢候補を生成することができる。例えば、上述した図５（ａ）のように、認識対象物１１２の長手軸２５０を特定した場合、図５（ｃ）に示すように、その長手軸２５０に沿って、対称的な２つの認識対象物１１２ａ、１１２ｂを生成する。かかる２つの認識対象物１１２ａ、１１２ｂが姿勢候補となる。
【００５３】
認識対象物特定部２３６は、姿勢候補情報生成部２３４が生成した、認識対象物１１２の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデル１２２の姿勢候補情報とに基づいて認識対象物１１２の厳密な位置および姿勢を特定する。このとき、姿勢候補を基準として３次元モデル１２２の姿勢候補を変位させた場合、３次元モデル１２２の移動量および回転量が認識対象物１１２の位置および姿勢となり、３次元モデル１２２を基準として認識対象物１１２の姿勢候補を変位させた場合、認識対象物１１２の移動量および回転量の符号を反転した量が認識対象物１１２の位置および姿勢となる。認識対象物特定部２３６で用いられるパターンマッチング手法も、様々なパターンマッチング手法を用いることが可能であるが、その一例としてＩＣＰを用いる。
【００５４】
認識対象物特定部２３６は、例えば、認識対象物１１２の２つの姿勢候補それぞれと３次元モデルとを並行してパターンマッチングするため、少なくとも一方の姿勢候補に関しては長手方向の姿勢がほぼ一致した状態でパターンマッチングを開始でき、追加処理は短手軸方向の姿勢を収束させる処理のみとなる。したがって、図５（ｄ）に示したように、認識対象物１１２に重なりや計測の欠損が無い場合、少なくとも一方の姿勢候補（認識対象物１１２ａ）に関し、その極値が収束点と判定されるので、他方の姿勢候補（認識対象物１１２ｂ）の極値を判定するまでもなく、パターンマッチングが完了する。このとき他方の姿勢候補に関しては、一致度が所定の閾値以上にならないので、自動的に破棄される。したがって、認識対象物１１２の位置と姿勢とが的確に特定される。また、重なりや計測点の欠損がある場合は、より一致度の高いものを選び出す。
【００５５】
以上、説明した形状認識装置１２０では、対称的な２つの姿勢について並行してパターンマッチングを行うことにより、いずれか一方で正しい結果を得ることが可能となり、誤った姿勢にのみ収束することなく、的確に認識対象物１１２の位置や姿勢を特定することが可能となる。また、軸を特定するまでのパターンマッチングを２つの極値それぞれで行わず、いずれか一方でのみ行うので、処理負荷の軽減を図ることができる。
【００５６】
さらに、本実施形態では、パターンマッチング手法として、ＩＣＰを用いているので、直線や円形部がない様々な形状を有する認識対象物１１２に対しても位置や姿勢を特定できる。ＩＣＰでは、認識対象物１１２の一部が隠されていた場合においてもロバスト性が高いので有効な結果を得ることが可能となる。
【００５７】
また、コンピュータによって形状認識装置１２０として機能するプログラムや、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【００５８】
（形状認識方法）
また、形状認識装置１２０を用いた形状認識方法も提供される。以下、このような形状認識方法を詳細に説明する。図６は、形状認識方法の処理の流れを示したフローチャートである。特に、図６（ａ）は形状認識方法の全体的な処理の流れを、図６（ｂ）はＩＣＰに関するサブルーチンを示している。ここで、モデル保持部２１０は３次元モデル情報を予め保持している。
【００５９】
認識対象情報取得部２３０は、３次元形状測定装置１１０から、任意の認識対象物１１２の３次元形状を示す認識対象情報を取得する（Ｓ３００）。そして、軸特定部２３２は、認識対象情報と３次元モデル情報とに基づいて、ＩＣＰによるパターンマッチングを行い、緩い閾値によって認識対象物１１２の１または複数の軸（長手軸）を特定する（Ｓ３０２）。
【００６０】
図６（ｂ）を用いて軸特定部２３２によるＩＣＰの処理の流れを簡単に説明する。３次元形状測定装置１１０から取得された認識対象情報には、認識対象物１１２の測定面における配列された複数の検出点に関する３次元座標（３次元点群データ）が示されている。３次元点群データの点の数は、認識対象物１１２の大きさと、パターンマッチングの要求精度に応じて決定される。軸特定部２３２が参照するＩＣＰエンジンは、ＩＣＰの繰り返し処理を行う前に、このような認識対象情報中の３次元点群データに対し、床や支柱、コンテナ等の明らかな背景計測点があれば、それを除外する（Ｓ３５０）。
【００６１】
ＩＣＰエンジンは、初期姿勢を用意し、それに回転や並行移動変換などの姿勢変更処理を施す（Ｓ３５２）。姿勢変更処理は認識対象物１１２に対して施すことも可能であるし、３次元モデル１２２側に対して施すことも可能である。例えば、点数の少ないほうを動かして、計算処理を少なくしてもよい。続いて、姿勢変更処理後の認識対象物１１２と３次元モデル１２２との間でそれぞれ対応する点を求め（Ｓ３５４：ペアリング）、対応点間の距離合計（ノルム）を計算する（Ｓ３５６）。このノルムが小さいほうが形状の一致度合いが高いといえる。一致度合いが高かった姿勢を取り出し（Ｓ３５８）、一致度が閾値以下（ノルムが閾値以上）の間（Ｓ３６０におけるＮＯ）、それを初期姿勢に置き換えて、上記処理を繰り返す。このように、一致度が閾値を超える（ノルムが閾値以下になる）まで（Ｓ３６０におけるＹＥＳ）共役勾配法等を利用して反復的に更新し、パターンマッチングを遂行する。ノルムの取り方（メトリック）としては、例えば、Ｌ１ノルムやＬ２ノルム等があり、用途に応じて適した取り方を採用する。こうして導出された位置および姿勢は、最終的に、形状認識装置１２０の座標系からロボット１４０の座標系に変換される。
【００６２】
このような軸特定部２３２によるＩＣＰを用いた、パターンマッチング（軸特定）では、おおよその軸方向さえ特定すればよいので、パターンマッチングを終了する閾値を緩く設定することができる。例えば、軸を３０度ずらした時に得られる一致度を閾値として設定しても、正しい動作を望む事ができる。また、軸特定部２３２では、認識対象物１１２が他の認識対象物１１２によって覆われ、認識対象物１１２の一部が認識されていない場合であっても軸を特定することができる。
【００６３】
図７は、認識対象物１１２の特定処理を説明するための説明図である。ＩＰＣでは、３次元モデル１２２の長手軸が短手軸の２倍以上の長さであれば、長手軸の５０％以下が隠れていても短手軸と誤認されることはない。したがって、図７のように認識対象物１１２ｃが他の認識対象物１１２ｄ、１１２ｅに覆われていても、長手軸を有する２つの領域（図中、領域１と領域２）を認識することができる。ここでは、２つの領域が一時的に独立して把握されるが、その２つの領域にパターンマッチングする３次元モデル１２２が同一となるので、結果的に１つの３次元モデル１２２を通じて２つの領域が同一の認識対象物１１２ｃの部位であると判定される。このように、ＩＣＰを用いることで、認識対象物１１２が傾いている場合、重なり合っている場合、異物が混入した場合であっても安定して認識対象物１１２を抽出することが可能となる。
【００６４】
姿勢候補情報生成部２３４は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２または３次元モデル１２２の、軸特定部２３２で導出された軸毎に、軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する（Ｓ３０４）。
【００６５】
認識対象物特定部２３６は、認識対象物１１２の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデル１２２の姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する（Ｓ３０６）。認識対象物特定部２３６においても、パターンマッチングとしてＩＣＰを用いることができる。ＩＣＰに関しては図６（ｂ）を用いて既に説明したので、ここでは、その詳細な説明を省略する。ただし、認識対象物特定部２３６では、厳密なパターンマッチングを目的としているので、ノルムの閾値も厳しく、一致度が最大値に収束したところ（極値）でパターンマッチングの成否を判断する。かかる極値から、２つの姿勢候補のうちいずれの一致度が高いか、または、一致度が所定の閾値に至らず、認識対象物１１２と３次元モデル１２２とは異なると判断される。
【００６６】
このような形状認識方法においても、対称的な２つの姿勢に対して並行してパターンマッチングを行うことにより、いずれか一方で正しい結果を得ることが可能となり、誤った姿勢にのみ収束することなく、的確に認識対象物１１２の位置や姿勢を特定することが可能となる。また、軸を特定するまでのパターンマッチングを２つの極値それぞれで行わず、いずれか一方でのみ行うので、処理負荷の軽減を図ることができる。
【００６７】
（第２の実施形態：形状認識装置４２０）
第１の実施形態では、軸特定部２３２が認識対象物１１２の１または複数の軸を特定し、その軸に沿って対称的に配置された２つの姿勢候補に基づいて、認識対象物特定部２３６が認識対象物１１２の位置と姿勢とを特定していた。しかし、認識対象物１１２における複数の軸が、軸同士が成す角を等しくしている場合、１つの軸に対して２つの姿勢を生成しても、長手軸のように２つの姿勢のいずれも一致度が高くなることはなく、２つの姿勢の生成の必要性に乏しい。その代わり、軸を合わせるように認識対象物１１２を適宜回転すると、やはり一致度が高くなる。したがって、第２の実施形態では、２つの姿勢を生成する代わりに、複数の軸を合わせるように回転した姿勢を生成する例を述べる。
【００６８】
図８は、第２の実施形態における形状認識装置４２０の概略的な構成を示した機能ブロック図である。形状認識装置４２０は、モデル保持部２１０と、データバッファ２１２と、中央制御部４１４とを含んで構成され、中央制御部４１４は、認識対象情報取得部２３０と、軸特定部２３２と、姿勢候補情報生成部４３４と、認識対象物特定部４３６としても機能する。第１の実施形態における構成要素として既に述べたモデル保持部２１０と、データバッファ２１２と、認識対象情報取得部２３０、軸特定部２３２とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する、中央制御部４１４の姿勢候補情報生成部４３４および認識対象物特定部４３６を主に説明する。
【００６９】
姿勢候補情報生成部４３４は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２または３次元モデル１２２の、軸特定部２３２で導出された１または複数の軸に沿って、軸同士が成す角の角度分回転した際、一致度が高くなった数と同数の姿勢候補を示す姿勢候補情報を生成する。
【００７０】
図９は、回転を施す事で一致度が高くなる認識対象物１１２を説明するための説明図である。例えば、図９（ａ）の認識対象物１１２は、３つの軸４５０がそれぞれ成す角を１２０°として形成されている。かかる認識対象物１１２は、その回転によって極値を３つ有すこととなる。したがって、姿勢候補情報生成部４３４は、例えば、軸特定部２３２で導出された３つの軸に沿って１２０°分回転した、３つの姿勢候補を示す姿勢候補情報を生成する。同様に、図９（ｂ）の認識対象物１１２は成す角が等しい放射状の４つの軸を有し、図９（ｃ）の認識対象物１１２は成す角が等しい放射状の６つの軸を有し、それぞれ４つおよび６つの姿勢候補を示す姿勢候補情報を生成する。認識対象物１１２の対称性が高い場合は、幾つかの回転角度において、回転前と回転後の形状が完全に一致する事もある。この場合はどちらの回転角度に収束しても正しい答えであるので、候補姿勢のどちらかを省略してもいい。
【００７１】
認識対象物特定部４３６は、認識対象物１１２の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデル１２２の姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する。
【００７２】
当該形状認識装置４２０においても、第１の実施形態の形状認識装置１２０同様、極値が高くなることが想定される複数の姿勢に対して並行してパターンマッチングを行うことにより、いずれか１つで正しい結果を得ることが可能となり、誤った姿勢に収束することなく、的確に認識対象物１１２の位置や姿勢を特定することが可能となる。
【００７３】
また、形状認識装置４２０を用いて、図６同様、形状認識を行う形状認識方法や、コンピュータによって形状認識装置４２０として機能するプログラム、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【００７４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７５】
なお、本明細書の形状認識方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７６】
本発明は、任意の認識対象物の位置および姿勢を認識可能な形状認識装置、形状認識方法、および、そのプログラムに利用することができる。
【符号の説明】
【００７７】
１００ …ピッキングシステム
１１２ …認識対象物
１２０、４２０ …形状認識装置
１２２ …３次元モデル
２１０ …モデル保持部
２３０ …認識対象情報取得部
２３２ …軸特定部
２３４、４３４ …姿勢候補情報生成部
２３６、４３６ …認識対象物特定部
【技術分野】
【０００１】
本発明は、任意の認識対象物の位置および姿勢を認識可能な形状認識装置、形状認識方法、および、そのプログラムに関する。
【背景技術】
【０００２】
規則的に載置された複数の認識対象物を自律的に認識し、その認識した認識対象物を産業用のロボットに１つずつピッキング処理させるピッキングシステムが普及している。また、近年では、認識対象物が規則的に載置されていない場合であっても、認識対象物の位置や姿勢を特定し、その位置や姿勢に合わせて認識対象物をピッキングすることができるようになってきた。
【０００３】
例えば、特定の形状（円柱形状や円錐形状）の３次元モデルを予め保持し、２次元カメラによる任意の投影像から３次元モデルに相当する認識対象物の画像特徴（特徴量）を抽出すると共に、保持していた３次元モデルの３次元位置および姿勢を修正し、その認識対象物と３次元モデルとの特徴量を比較して、一致する程度を判定する技術が公開されている（例えば、特許文献１）。また、投影像の明度を変換し特定色相を強調した画像から画像特徴を抽出し特徴量とする技術（例えば、特許文献２）や、スリット光を認識対象物に照射し、スリット光の投影パターンに基づいて輪郭線を抽出して特徴量とする技術（例えば、特許文献３）、円柱形状部を有する物体の輪郭に相当する平行な１対の線分を抽出して特徴量とする技術（例えば、特許文献４）も知られている。
【０００４】
また、認識対象物の表面にスリット光を投影し、そのスリット像との２次元空間周波数スペクトルと、既知の標準物体の２次元空間周波数スペクトルとの類似度によって認識対象物体の形状を認識する技術も開示されている（例えば、特許文献５）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０９−１７８４２６号公報
【特許文献２】特開平１１−０５１６１１号公報
【特許文献３】特開平１０−１６０４６４号公報
【特許文献４】特開平０１−０７８１０６号公報
【特許文献５】特開昭６０−１９１３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した特許文献１〜５に基づく技術は、認識対象物の形状が、円柱形状や円錐形状といった非常に単純な形状に限定されている。したがって、特許文献１〜５に基づく技術では、認識対象物が丸みを帯びた形状ではなかったり、明確な直線やエッジを持たない場合や、その表面に凹凸が形成されている場合には、認識対象物を的確に認識することができなかった。
【０００７】
ピッキングシステムにおける形状認識では、上述した単純な形状に限らず、様々な形状の認識対象物を認識できることが望まれる。このような様々な形状を画一的に捉えるため、本願発明者は、例えば、認識対象物の形状の偏りにより生じる長手軸によって形状を特徴付けることを試みた。
【０００８】
しかし、長手軸を有する認識対象物とその３次元モデルとは、パターンマッチングが収束する収束点（認識対象物と３次元モデルとの一致度が最大となる点）として、長手軸が等しいが互いに対称的に配される２つの姿勢があり、そのうちの正しい姿勢にパターンマッチングが収束すれば、的確な認識結果を得ることができるが、誤った姿勢にパターンマッチングが収束すると、認識対象物と３次元モデルとが同一であるにも拘わらず異なっていると誤判定されたり、同一と見なせる閾値に到達せず、無駄に処理時間を費やしてしまうおそれがある。
【０００９】
本発明は、このような課題に鑑み、単純な形状に限らず認識対象物を的確に抽出可能な形状認識装置、形状認識方法、および、そのプログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の形状認識装置は、軸を有する３次元モデルを示す３次元モデル情報を保持するモデル保持部と、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部とを備えることを特徴とする。
【００１１】
形状認識装置は、認識対象情報と３次元モデル情報とに基づいて、認識対象物の１または複数の軸を特定する軸特定部をさらに備え、姿勢候補情報生成部は、軸特定部で特定された１または複数の軸毎に２つの姿勢候補を示す姿勢候補情報を生成してもよい。
【００１２】
上記課題を解決するために、本発明の他の形状認識装置は、１または複数の回転角度において、回転前と回転後の形状が高い一致度を得る３次元モデルを示す３次元モデル情報を保持するモデル保持部と、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルの角度分回転した軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部とを備えることを特徴とする。
【００１３】
形状認識装置は、認識対象情報と３次元モデル情報とに基づいて、認識対象物の１または複数の形状認識装置は、軸を特定する軸特定部をさらに備え、姿勢候補情報生成部は、軸特定部で特定された１または複数の軸に沿って軸と同数の姿勢候補を示す姿勢候補情報を生成してもよい。
【００１４】
認識対象物特定部はＩＣＰを用いて認識対象物の位置および姿勢を特定してもよい。
【００１５】
上記課題を解決するために、本発明の形状認識方法は、軸を有する３次元モデルを示す３次元モデル情報を予め保持し、認識対象物の３次元形状を示す認識対象情報を取得し、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成し、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定することを特徴とする。
【００１６】
上記課題を解決するために、本発明の他の形状認識方法は、１または複数回転角度において、回転前と回転後の形状が高い一致度を得る３次元モデルを示す３次元モデル情報を予め保持し、認識対象物の３次元形状を示す認識対象情報を取得し、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルの角度分回転した軸と同数の姿勢候補を示す姿勢候補情報を生成し、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定することを特徴とする。
【００１７】
上記課題を解決するために、コンピュータを、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と、軸を有する３次元モデルを示す３次元モデル情報とに基づいて、認識対象物または３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部として機能させるためのプログラムが提供される。
【００１８】
また、上記課題を解決するために、コンピュータを、認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と、それぞれが成す角度が等しい複数の軸を有する３次元モデルを示す３次元モデル情報とに基づいて、認識対象物または３次元モデルの角度分回転した軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する認識対象物特定部として機能させるためのプログラムが提供される。
【発明の効果】
【００１９】
本発明によれば、単純な形状に限らず認識対象物を的確に抽出可能となる。
【図面の簡単な説明】
【００２０】
【図１】ピッキングシステムの概略的な接続関係を示した説明図である。
【図２】２段階のパターンマッチングの概要を説明するための説明図である。
【図３】第１の実施形態における形状認識装置の概略的な構成を示した機能ブロック図である
【図４】長手軸を有する３次元モデルを例示した説明図である。
【図５】中央制御部の処理動作を説明するための説明図である。
【図６】形状認識方法の処理の流れを示したフローチャートである。
【図７】認識対象物の特定処理を説明するための説明図である。
【図８】第２の実施形態における形状認識装置の概略的な構成を示した機能ブロック図である。
【図９】回転を施す事で一致度が高くなる認識対象物を説明するための説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２２】
（第１の実施形態：ピッキングシステム１００）
図１は、ピッキングシステム１００の概略的な接続関係を示した説明図である。ピッキングシステム１００は、３次元形状測定装置１１０と、形状認識装置１２０と、ロボット制御装置１３０と、ロボット１４０とを含んで構成される。
【００２３】
３次元形状測定装置１１０は、例えば、レーザースキャナ方式の３次元距離センサで構成され、不規則に積み上げられ乱雑に重なっている複数の認識対象物（ワーク）１１２の測定面（表面）における複数の検出点の３次元座標を検出する。具体的に、３次元形状測定装置１１０としての３次元距離センサは、測定面上の複数の検出点の、３次元形状測定装置１１０からの距離を示すＺ軸座標と、検出方向に垂直な面（ＸＹ平面）上におけるＸ、Ｙ軸座標とを合わせて３次元座標とし、複数の検出点すべての３次元座標を示す情報である認識対象情報を生成する。こうして生成された認識対象情報は、形状認識装置１２０に送信される。ここでは、認識対象情報として、認識対象物上の複数の検出点における３次元座標を送信しているが、かかる場合に限られず、認識対象物の３次元形状を表す様々な情報を送信することができる。また、３次元形状測定装置１１０として、３次元距離センサを挙げているが、３次元形状が把握可能な既存の様々なセンサを採用することが可能である。
【００２４】
形状認識装置１２０は、３次元形状測定装置１１０から受信した認識対象情報に基づいて認識対象物１１２を抽出し、パターンマッチング等により、その認識対象物１１２が３次元モデル１２２で示される所望する認識対象物１１２であることを認識し、その認識対象物１１２の位置や姿勢を特定する。
【００２５】
ロボット制御装置１３０は、そのようにして認識された１の認識対象物１１２の位置や姿勢を示す情報を形状認識装置１２０から受信して、ロボット１４０に認識対象物１１２をピッキングさせる制御指令を発する。ロボット１４０は、その制御指令を受けて、指示された１の認識対象物１１２を、吸着式バンド１４２を通じてピッキングする。このようなピッキングシステム１００によって、例えば、不規則に積み上げられた認識対象物１１２を所定の位置に整列させる作業を自動化することができる。
【００２６】
このようなピッキングシステム１００における形状認識では、円柱形状や円錐形状といった単純な形状に限らず、様々な形状の認識対象物１１２を認識できることが望まれる。しかし、形状の異なるすべての認識対象物１１２を画一的に処理するのは困難である。そこで、本願発明者は、このような様々な形状を画一的に捉えるため、認識対象物１１２の形状の偏りにより生じる長手軸によって形状を特徴付け得ることに着目した。球体の様に完全に対称な認識対象物を除き、一般的な認識対象物１１２は長手軸（長手方向）を有する。長手軸は、認識対象物１１２の外面の任意の２つの点間の直線距離が最大となる直線に沿った軸を言う。
【００２７】
しかし、長手軸を特定しても、その長手軸を有する認識対象物１１２が長手軸方向に対して完全に点対称（順方向と逆方向に向けた形状が完全に一致する）ではない場合は、順方向と逆方向の２つの異なる姿勢が存在し、その２つの姿勢候補のいずれが真の姿勢であるかは、やはりパターンマッチングの結果を待たなければ分からない。このように２つの姿勢候補が存在するのは、認識対象物１１２と３次元モデル１２２との長手軸が合っていると、それが誤った姿勢であってもパターンマッチングの一致度が高くなることに起因する。
【００２８】
ここで、パターンマッチングにおける、長手軸方向のマッチング誤差と、短手軸（長手軸に垂直な軸）方向のマッチング誤差がもたらす影響に着目すると、短手軸方向のマッチング誤差は、姿勢収束時にさほど大きな影響を与えないが、長手軸方向のマッチング誤差は大きく影響を与え、誤った収束点（姿勢）に一度収束し始めると、真の収束点に方向転換することができなくなる。したがって、パターンマッチングの初期値や収束方向によって、誤った姿勢にパターンマッチングが収束してしまうと、認識対象物１１２と３次元モデル１２２とが同一であるにも拘わらず異なっていると誤判定されたり、同一と見なせる閾値に到達せず、無駄に処理時間を費やしてしまうおそれがある。
【００２９】
そこで、本願発明者は、認識対象物１１２と３次元モデル１２２とのパターンマッチングの収束点が複数想定される場合、認識対象物１１２または３次元モデル１２２に関し、収束し得る複数の姿勢候補を予め生成して、その複数の姿勢候補それぞれをパターンマッチングに用いることとした。
【００３０】
例えば、認識対象物１１２が長手軸を有する場合、一致度の高くなる極値点（収束点）は２つ存在することとなるので、形状認識装置１２０は、３次元形状測定装置１１０に取得された認識対象物１１２の姿勢そのものと、その認識対象物１１２を単純にＺ軸周りに１８０°回転した姿勢の２つの姿勢候補を準備し、認識対象物１１２の２つの姿勢候補と３次元モデル１２２とのパターンマッチングを実行して認識対象物１１２の位置および姿勢を特定する。あるいは、形状認識装置１２０は、３次元モデル１２２の姿勢と、３次元モデル１２２を単純に１８０°回転した姿勢の２つの姿勢候補を準備し、３次元モデル１２２の２つの姿勢候補と認識対象物１１２とのパターンマッチングを実行して認識対象物１１２の位置および姿勢を特定する。
【００３１】
かかる構成により、パターンマッチングにおいて、２つの姿勢候補のうちの、少なくとも一方の姿勢候補が真の収束点に到達するので、他方の姿勢候補が収束不能や誤判定に陥ったとしても、そのことが結果に影響することなく、一方の姿勢候補により的確に認識対象物１１２の位置および姿勢を特定することが可能となる。
【００３２】
しかし、上述した、最初から２つの姿勢候補を準備するパターンマッチングにおいては、パターンマッチング全工程に亘り、姿勢候補とのパターンマッチングを並行して２回行わなければならないので、処理負荷が重くなってしまう。また、一部のマッチング手法では収束点探索の仕方が単純ではないため両候補とも誤った姿勢に収束することもある。そこで、本願発明者は、さらに、パターンマッチングを２段階に分けて処理負荷を軽減した。即ち、１段階目において、認識対象物１１２と３次元モデル１２２とのパターンマッチングの結果が収束し得る軸を特定し、特定した軸に対して互いに逆向きに揃えた２つの姿勢候補を生成し、２段階目において、その姿勢候補を用いてパターンマッチングを厳密に行う。ただし、軸を有する３次元モデルが長手軸の方向に完全に対称である場合は、２つの候補姿勢（順方向、逆方向）のどちらも真であるため、候補姿勢を作る必要はない。
【００３３】
図２は、２段階のパターンマッチングの概要を説明するための説明図である。例えば、図２（ａ）のように、長手軸を有する「鍵」をイメージした認識対象物１１２と３次元モデル１２２とがあるとする。ここでは、理解を容易にするため、認識対象物１１２の長手軸が、３次元モデル１２２の長手軸を図２（ａ）中時計回りに２７０°回転した状態となっており、長手軸回りのスピン角度は考慮しないものとする。パターンマッチングでは、まず、３次元モデル１２２を基準として、両者の一致度が高くなる方向（図２（ｂ）中一致度の軌跡に沿った矢印で示す。）に、認識対象物１１２を回転する。そして、一致度が極値に落ち着くと、その点をパターンマッチングの収束点としている。
【００３４】
このとき、パターンマッチングの初期値が、図２（ｂ）における認識対象物１１２の回転角度が１８０°以上に相当する姿勢であれば、３次元モデル１２２と一致する正しい姿勢（２７０°）にパターンマッチングが収束し、的確な認識結果を得ることができる。しかし、パターンマッチングの初期値が、認識対象物１１２の回転角度が１８０°未満に相当する姿勢であれば、誤った姿勢（９０°）にパターンマッチングが収束することとなってしまう。
【００３５】
ここでは、正しい姿勢（２７０°）と誤った姿勢（９０°）のいずれに収束するかは不明であるが、正しい姿勢（２７０°）と誤った姿勢（９０°）とが互いに１８０°回転した姿勢であることは推測することができる。したがって、１段階目において、パターンマッチングが収束すると予想される軸を抽出し、２段階目において、その抽出した軸に沿って対称的に配置された（１８０°回転した）２つの姿勢について厳密なパターンマッチングを行うことで、正しいマッチング姿勢を得る。
【００３６】
例えば、図２（ｃ）に示すように、（１）認識対象物１１２を０°からＺ軸を中心に時計回りに回転し、その一致度が１つ目の極値（９０°）になる前の所定の閾値に達した時点で、一旦パターンマッチングを停止する。図２（ｃ）の例では、認識対象物１１２が８０°回転した時点で所定の閾値に達したとする。そして、８０°に回転した認識対象物１１２を２段階目の姿勢候補とすると共に、さらに１８０°回転した（２６０°回転した）認識対象物１１２も姿勢候補とする。続いて、（２）認識対象物１１２の２つの姿勢候補（８０°、２６０°）に基づいて、厳密なパターンマッチングを並行して行う。
【００３７】
すると、２つの姿勢候補は、それぞれ９０°と２７０°において極値を示すが、そのうち一致度が高い２７０°の姿勢が認識対象物１１２の真の姿勢であると判断される。ここでは、１つの長手軸に対して２つの姿勢候補があるので、そのいずれもパターンマッチングを行うことで、誤った姿勢にのみパターンマッチングが収束するのを回避している。
【００３８】
また、その２つの姿勢の関係、例えば、軸に沿って対称的な関係にあることは把握されているので、軸の特定に関しては、いずれか一方の姿勢の軸を用いればよく、そのときに厳密なパターンマッチングを要さない。即ち、１段階目では、厳密なパターンマッチング（極値探索）を行うまでもなく、緩い閾値で一方のみの軸を抽出すればよいこととなる。
【００３９】
ここでは、少なくとも一方の姿勢候補に関して、最適な収束点（極値）が導出されるので、他方の収束点を導出するまでもなく、パターンマッチングが完了する。したがって、認識対象物１１２の位置と姿勢とが的確に導出される。また、軸を抽出するまでのパターンマッチングを２つの極値それぞれについて実行せず、いずれか一方でのみ行うので、処理負荷の軽減を図ることができる。以上が本実施形態のパターンマッチングの概要である。以下では、軸を有する認識対象物１１２を的確に抽出可能な形状認識装置１２０の具体的な構成を示し、その後、具体的な処理の流れ（形状認識方法）を詳述する。
【００４０】
（形状認識装置１２０）
図３は、形状認識装置１２０の概略的な構成を示した機能ブロック図である。形状認識装置１２０は、モデル保持部２１０と、データバッファ２１２と、中央制御部２１４とを含んで構成される。形状認識装置１２０は、認識対象物１１２の１または複数の軸に対して、軸毎に２つの姿勢候補を生成するが、ここでは、理解を容易にするため、１軸（長手軸）に対する２つの姿勢を挙げて説明する。しかし、１軸に限定されないことは言うまでもない。
【００４１】
モデル保持部２１０は、ＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ(Hard Disk Drive)等で構成され、認識対象物１１２に対応する３次元モデル１２２、特に長手軸を有する３次元モデル１２２を示す３次元モデル情報を保持する。
【００４２】
図４は、長手軸を有する３次元モデルを例示した説明図である。例えば、図４（ａ）は円柱形状、図４（ｂ）はコーン形状、図４（ｃ）は径の異なる円柱を結合した形状、図４（ｄ）は直方体形状、図４（ｅ）は、斜柱体形状を示し、いずれも形状が偏ることにより図４中、上下方向に長手軸２５０を有することが共通している。また、他にも、建築物の柱、ポスト、電話ブース、電柱等、長手軸２５０を有する様々な認識対象物１１２を想定している。
【００４３】
データバッファ２１２は、ＳＲＡＭ、ＤＲＡＭ等で構成され、３次元形状測定装置１１０から受信した認識対象情報を一時的に保持する。
【００４４】
中央制御部２１４は、中央処理装置（ＣＰＵ）や信号処理装置（ＤＳＰ：Digital Signal Processor）、プログラム等が格納されたＲＯＭやメモリ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、形状認識装置１２０全体を管理および制御する。また、本実施形態において、中央制御部２１４は、認識対象情報取得部２３０と、軸特定部２３２と、姿勢候補情報生成部２３４と、認識対象物特定部２３６としても機能する。
【００４５】
認識対象情報取得部２３０は、３次元形状測定装置１１０から任意の認識対象物１１２の３次元形状を示す認識対象情報を取得し、データバッファ２１２に保持させる。
【００４６】
軸特定部２３２は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２の１または複数の軸を特定する。かかる軸特定部２３２による軸の特定は、図２（ｃ）を用いて説明した２段階のパターンマッチングの１段階目に当たる。したがって、軸特定部２３２は、認識対象物１１２と３次元モデル１２２との厳密なパターンマッチングを行わず、パターンマッチングが収束し得る軸のみを特定する。
【００４７】
ここで、軸特定部２３２は、認識対象物１１２と３次元モデル１２２とのパターンマッチング（軸特定）において、いずれか一方を基準とし、他方の位置や姿勢を変更することとなるが、いずれを基準とするかは限定されない。本実施形態では、３次元モデル１２２の方が認識対象物１１２より情報量が多いので、計算負荷を軽減すべく、３次元モデル１２２を基準として認識対象物１１２の位置や姿勢を変更することとする。
【００４８】
尚、かかる軸特定には、ＩＣＰ（Iterative Closest Points）やＰＣＡ（Principal Component Analysis）等、様々な手法を用いることができるが、ここでは、その一例としてＩＣＰを用いる。ＩＣＰは、６自由度ある３次元モデル１２２の位置や姿勢を、認識対象物１１２と３次元モデル１２２とを特定するためのそれぞれの対応点間の距離の合計（ノルム）が閾値以下になるまで共役勾配法等を利用して反復的に更新する手法である。ＰＣＡは、入力されたデータが空間内でどのように主軸を有しているかを調べる手法（主軸成分解析）である。ＩＣＰは、例えば、ＰＣＡ等と異なり、認識対象物１１２と３次元モデル１２２との点群同士のマッチングを利用するので、認識対象物１１２が重なること等による認識対象物１１２の部分的な欠落に強いため、ロバスト性に優れ、比較的高精度に認識対象物１１２の位置や姿勢を特定することが可能となる。
【００４９】
軸特定部２３２は、図２（ｃ）を用いて説明したように、厳密なパターンマッチングを行わず、姿勢候補を生成するための大凡の軸を抽出することを目的としている。したがって、パターンマッチング手法としてＩＣＰを用いる場合、軸特定部２３２は、パターンマッチング完了の判断材料であるノルムに対する閾値を緩め、ある程度の一致度を得ることができれば、それ以上の認識対象物１１２の位置や姿勢の変更を止め、そのときの認識対象物１１２の位置や姿勢によって軸（ここでは長手軸）を特定する。
【００５０】
図５は、中央制御部２１４の処理動作を説明するための説明図である。例えば、図５（ａ）に示すように、軸特定部２３２は、認識対象物１１２の位置や姿勢を変更して、３次元モデル１２２とある程度の一致度を得ると、その認識対象物１１２の位置や姿勢によって長手軸２５０を特定する。また、図５（ｂ）のように、軸特定部２３２は、認識対象物１１２の位置や姿勢を変更し、収束した結果、認識対象物１１２の姿勢が誤った姿勢になったとしても、３次元モデル１２２とある程度の一致度を得ると、図５（ａ）同様、その認識対象物１１２の位置や姿勢によって長手軸２５０を特定する。軸特定部２３２は、正誤の姿勢に共通する長手軸２５０を特定することを目的としており、１段階目における、図５（ａ）と図５（ｂ）のような姿勢の正誤の影響は受けない。
【００５１】
また、軸特定部２３２では、パターンマッチングの閾値が緩く設定されているので、形状の厳密な一致は問われず、仮に他の認識対象物１１２によって覆われ、認識対象物１１２の一部が認識されていない場合であっても容易に軸を特定することができる。
【００５２】
姿勢候補情報生成部２３４は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２または３次元モデル１２２の、特定された１または複数の軸毎に、軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する。ここでは、１の長手軸２５０に対して、極値が２つ存在することと、その２つの極値は、認識対象物１１２を対称的に配置した２つの姿勢で生じることが予め把握されている。したがって、姿勢候補情報生成部２３４は、特定された軸を用いて、極値に近い２つの姿勢候補を生成することができる。例えば、上述した図５（ａ）のように、認識対象物１１２の長手軸２５０を特定した場合、図５（ｃ）に示すように、その長手軸２５０に沿って、対称的な２つの認識対象物１１２ａ、１１２ｂを生成する。かかる２つの認識対象物１１２ａ、１１２ｂが姿勢候補となる。
【００５３】
認識対象物特定部２３６は、姿勢候補情報生成部２３４が生成した、認識対象物１１２の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデル１２２の姿勢候補情報とに基づいて認識対象物１１２の厳密な位置および姿勢を特定する。このとき、姿勢候補を基準として３次元モデル１２２の姿勢候補を変位させた場合、３次元モデル１２２の移動量および回転量が認識対象物１１２の位置および姿勢となり、３次元モデル１２２を基準として認識対象物１１２の姿勢候補を変位させた場合、認識対象物１１２の移動量および回転量の符号を反転した量が認識対象物１１２の位置および姿勢となる。認識対象物特定部２３６で用いられるパターンマッチング手法も、様々なパターンマッチング手法を用いることが可能であるが、その一例としてＩＣＰを用いる。
【００５４】
認識対象物特定部２３６は、例えば、認識対象物１１２の２つの姿勢候補それぞれと３次元モデルとを並行してパターンマッチングするため、少なくとも一方の姿勢候補に関しては長手方向の姿勢がほぼ一致した状態でパターンマッチングを開始でき、追加処理は短手軸方向の姿勢を収束させる処理のみとなる。したがって、図５（ｄ）に示したように、認識対象物１１２に重なりや計測の欠損が無い場合、少なくとも一方の姿勢候補（認識対象物１１２ａ）に関し、その極値が収束点と判定されるので、他方の姿勢候補（認識対象物１１２ｂ）の極値を判定するまでもなく、パターンマッチングが完了する。このとき他方の姿勢候補に関しては、一致度が所定の閾値以上にならないので、自動的に破棄される。したがって、認識対象物１１２の位置と姿勢とが的確に特定される。また、重なりや計測点の欠損がある場合は、より一致度の高いものを選び出す。
【００５５】
以上、説明した形状認識装置１２０では、対称的な２つの姿勢について並行してパターンマッチングを行うことにより、いずれか一方で正しい結果を得ることが可能となり、誤った姿勢にのみ収束することなく、的確に認識対象物１１２の位置や姿勢を特定することが可能となる。また、軸を特定するまでのパターンマッチングを２つの極値それぞれで行わず、いずれか一方でのみ行うので、処理負荷の軽減を図ることができる。
【００５６】
さらに、本実施形態では、パターンマッチング手法として、ＩＣＰを用いているので、直線や円形部がない様々な形状を有する認識対象物１１２に対しても位置や姿勢を特定できる。ＩＣＰでは、認識対象物１１２の一部が隠されていた場合においてもロバスト性が高いので有効な結果を得ることが可能となる。
【００５７】
また、コンピュータによって形状認識装置１２０として機能するプログラムや、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【００５８】
（形状認識方法）
また、形状認識装置１２０を用いた形状認識方法も提供される。以下、このような形状認識方法を詳細に説明する。図６は、形状認識方法の処理の流れを示したフローチャートである。特に、図６（ａ）は形状認識方法の全体的な処理の流れを、図６（ｂ）はＩＣＰに関するサブルーチンを示している。ここで、モデル保持部２１０は３次元モデル情報を予め保持している。
【００５９】
認識対象情報取得部２３０は、３次元形状測定装置１１０から、任意の認識対象物１１２の３次元形状を示す認識対象情報を取得する（Ｓ３００）。そして、軸特定部２３２は、認識対象情報と３次元モデル情報とに基づいて、ＩＣＰによるパターンマッチングを行い、緩い閾値によって認識対象物１１２の１または複数の軸（長手軸）を特定する（Ｓ３０２）。
【００６０】
図６（ｂ）を用いて軸特定部２３２によるＩＣＰの処理の流れを簡単に説明する。３次元形状測定装置１１０から取得された認識対象情報には、認識対象物１１２の測定面における配列された複数の検出点に関する３次元座標（３次元点群データ）が示されている。３次元点群データの点の数は、認識対象物１１２の大きさと、パターンマッチングの要求精度に応じて決定される。軸特定部２３２が参照するＩＣＰエンジンは、ＩＣＰの繰り返し処理を行う前に、このような認識対象情報中の３次元点群データに対し、床や支柱、コンテナ等の明らかな背景計測点があれば、それを除外する（Ｓ３５０）。
【００６１】
ＩＣＰエンジンは、初期姿勢を用意し、それに回転や並行移動変換などの姿勢変更処理を施す（Ｓ３５２）。姿勢変更処理は認識対象物１１２に対して施すことも可能であるし、３次元モデル１２２側に対して施すことも可能である。例えば、点数の少ないほうを動かして、計算処理を少なくしてもよい。続いて、姿勢変更処理後の認識対象物１１２と３次元モデル１２２との間でそれぞれ対応する点を求め（Ｓ３５４：ペアリング）、対応点間の距離合計（ノルム）を計算する（Ｓ３５６）。このノルムが小さいほうが形状の一致度合いが高いといえる。一致度合いが高かった姿勢を取り出し（Ｓ３５８）、一致度が閾値以下（ノルムが閾値以上）の間（Ｓ３６０におけるＮＯ）、それを初期姿勢に置き換えて、上記処理を繰り返す。このように、一致度が閾値を超える（ノルムが閾値以下になる）まで（Ｓ３６０におけるＹＥＳ）共役勾配法等を利用して反復的に更新し、パターンマッチングを遂行する。ノルムの取り方（メトリック）としては、例えば、Ｌ１ノルムやＬ２ノルム等があり、用途に応じて適した取り方を採用する。こうして導出された位置および姿勢は、最終的に、形状認識装置１２０の座標系からロボット１４０の座標系に変換される。
【００６２】
このような軸特定部２３２によるＩＣＰを用いた、パターンマッチング（軸特定）では、おおよその軸方向さえ特定すればよいので、パターンマッチングを終了する閾値を緩く設定することができる。例えば、軸を３０度ずらした時に得られる一致度を閾値として設定しても、正しい動作を望む事ができる。また、軸特定部２３２では、認識対象物１１２が他の認識対象物１１２によって覆われ、認識対象物１１２の一部が認識されていない場合であっても軸を特定することができる。
【００６３】
図７は、認識対象物１１２の特定処理を説明するための説明図である。ＩＰＣでは、３次元モデル１２２の長手軸が短手軸の２倍以上の長さであれば、長手軸の５０％以下が隠れていても短手軸と誤認されることはない。したがって、図７のように認識対象物１１２ｃが他の認識対象物１１２ｄ、１１２ｅに覆われていても、長手軸を有する２つの領域（図中、領域１と領域２）を認識することができる。ここでは、２つの領域が一時的に独立して把握されるが、その２つの領域にパターンマッチングする３次元モデル１２２が同一となるので、結果的に１つの３次元モデル１２２を通じて２つの領域が同一の認識対象物１１２ｃの部位であると判定される。このように、ＩＣＰを用いることで、認識対象物１１２が傾いている場合、重なり合っている場合、異物が混入した場合であっても安定して認識対象物１１２を抽出することが可能となる。
【００６４】
姿勢候補情報生成部２３４は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２または３次元モデル１２２の、軸特定部２３２で導出された軸毎に、軸に沿って対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する（Ｓ３０４）。
【００６５】
認識対象物特定部２３６は、認識対象物１１２の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデル１２２の姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する（Ｓ３０６）。認識対象物特定部２３６においても、パターンマッチングとしてＩＣＰを用いることができる。ＩＣＰに関しては図６（ｂ）を用いて既に説明したので、ここでは、その詳細な説明を省略する。ただし、認識対象物特定部２３６では、厳密なパターンマッチングを目的としているので、ノルムの閾値も厳しく、一致度が最大値に収束したところ（極値）でパターンマッチングの成否を判断する。かかる極値から、２つの姿勢候補のうちいずれの一致度が高いか、または、一致度が所定の閾値に至らず、認識対象物１１２と３次元モデル１２２とは異なると判断される。
【００６６】
このような形状認識方法においても、対称的な２つの姿勢に対して並行してパターンマッチングを行うことにより、いずれか一方で正しい結果を得ることが可能となり、誤った姿勢にのみ収束することなく、的確に認識対象物１１２の位置や姿勢を特定することが可能となる。また、軸を特定するまでのパターンマッチングを２つの極値それぞれで行わず、いずれか一方でのみ行うので、処理負荷の軽減を図ることができる。
【００６７】
（第２の実施形態：形状認識装置４２０）
第１の実施形態では、軸特定部２３２が認識対象物１１２の１または複数の軸を特定し、その軸に沿って対称的に配置された２つの姿勢候補に基づいて、認識対象物特定部２３６が認識対象物１１２の位置と姿勢とを特定していた。しかし、認識対象物１１２における複数の軸が、軸同士が成す角を等しくしている場合、１つの軸に対して２つの姿勢を生成しても、長手軸のように２つの姿勢のいずれも一致度が高くなることはなく、２つの姿勢の生成の必要性に乏しい。その代わり、軸を合わせるように認識対象物１１２を適宜回転すると、やはり一致度が高くなる。したがって、第２の実施形態では、２つの姿勢を生成する代わりに、複数の軸を合わせるように回転した姿勢を生成する例を述べる。
【００６８】
図８は、第２の実施形態における形状認識装置４２０の概略的な構成を示した機能ブロック図である。形状認識装置４２０は、モデル保持部２１０と、データバッファ２１２と、中央制御部４１４とを含んで構成され、中央制御部４１４は、認識対象情報取得部２３０と、軸特定部２３２と、姿勢候補情報生成部４３４と、認識対象物特定部４３６としても機能する。第１の実施形態における構成要素として既に述べたモデル保持部２１０と、データバッファ２１２と、認識対象情報取得部２３０、軸特定部２３２とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する、中央制御部４１４の姿勢候補情報生成部４３４および認識対象物特定部４３６を主に説明する。
【００６９】
姿勢候補情報生成部４３４は、認識対象情報と３次元モデル情報とに基づいて、認識対象物１１２または３次元モデル１２２の、軸特定部２３２で導出された１または複数の軸に沿って、軸同士が成す角の角度分回転した際、一致度が高くなった数と同数の姿勢候補を示す姿勢候補情報を生成する。
【００７０】
図９は、回転を施す事で一致度が高くなる認識対象物１１２を説明するための説明図である。例えば、図９（ａ）の認識対象物１１２は、３つの軸４５０がそれぞれ成す角を１２０°として形成されている。かかる認識対象物１１２は、その回転によって極値を３つ有すこととなる。したがって、姿勢候補情報生成部４３４は、例えば、軸特定部２３２で導出された３つの軸に沿って１２０°分回転した、３つの姿勢候補を示す姿勢候補情報を生成する。同様に、図９（ｂ）の認識対象物１１２は成す角が等しい放射状の４つの軸を有し、図９（ｃ）の認識対象物１１２は成す角が等しい放射状の６つの軸を有し、それぞれ４つおよび６つの姿勢候補を示す姿勢候補情報を生成する。認識対象物１１２の対称性が高い場合は、幾つかの回転角度において、回転前と回転後の形状が完全に一致する事もある。この場合はどちらの回転角度に収束しても正しい答えであるので、候補姿勢のどちらかを省略してもいい。
【００７１】
認識対象物特定部４３６は、認識対象物１１２の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデル１２２の姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する。
【００７２】
当該形状認識装置４２０においても、第１の実施形態の形状認識装置１２０同様、極値が高くなることが想定される複数の姿勢に対して並行してパターンマッチングを行うことにより、いずれか１つで正しい結果を得ることが可能となり、誤った姿勢に収束することなく、的確に認識対象物１１２の位置や姿勢を特定することが可能となる。
【００７３】
また、形状認識装置４２０を用いて、図６同様、形状認識を行う形状認識方法や、コンピュータによって形状認識装置４２０として機能するプログラム、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【００７４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７５】
なお、本明細書の形状認識方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７６】
本発明は、任意の認識対象物の位置および姿勢を認識可能な形状認識装置、形状認識方法、および、そのプログラムに利用することができる。
【符号の説明】
【００７７】
１００ …ピッキングシステム
１１２ …認識対象物
１２０、４２０ …形状認識装置
１２２ …３次元モデル
２１０ …モデル保持部
２３０ …認識対象情報取得部
２３２ …軸特定部
２３４、４３４ …姿勢候補情報生成部
２３６、４３６ …認識対象物特定部
【特許請求の範囲】
【請求項１】
軸を有する３次元モデルを示す３次元モデル情報を保持するモデル保持部と、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
を備えることを特徴とする形状認識装置。
【請求項２】
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物の１または複数の軸を特定する軸特定部をさらに備え、
前記姿勢候補情報生成部は、前記軸特定部で特定された前記１または複数の軸毎に２つの姿勢候補を示す姿勢候補情報を生成することを特徴とする請求項１に記載の形状認識装置。
【請求項３】
１または複数の回転角度において、回転前と回転後の形状が高い一致度を得る３次元モデルを示す３次元モデル情報を保持するモデル保持部と、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルの前記角度分回転した該軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
を備えることを特徴とする形状認識装置。
【請求項４】
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物の１または複数の軸を特定する軸特定部をさらに備え、
前記姿勢候補情報生成部は、前記軸特定部で特定された前記１または複数の軸に沿って該軸と同数の姿勢候補を示す姿勢候補情報を生成することを特徴とする請求項３に記載の形状認識装置。
【請求項５】
前記認識対象物特定部はＩＣＰを用いて前記認識対象物の位置および姿勢を特定することを特徴とする請求項１から４のいずれか１項に記載の形状認識装置。
【請求項６】
軸を有する３次元モデルを示す３次元モデル情報を予め保持し、
認識対象物の３次元形状を示す認識対象情報を取得し、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成し、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定することを特徴とする形状認識方法。
【請求項７】
１または複数の回転角度において、回転前と回転後の形状が高い一致度を得る３次元モデルを示す３次元モデル情報を予め保持し、
認識対象物の３次元形状を示す認識対象情報を取得し、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルの前記角度分回転した該軸と同数の姿勢候補を示す姿勢候補情報を生成し、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定することを特徴とする形状認識方法。
【請求項８】
コンピュータを、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と、軸を有する３次元モデルを示す３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
して機能させるためのプログラム。
【請求項９】
コンピュータを、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と、１または複数の回転角度において、回転前と回転後の形状が高い一致度を得る３次元モデルを示す３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルの前記角度分回転した該軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
して機能させるためのプログラム。
【請求項１】
軸を有する３次元モデルを示す３次元モデル情報を保持するモデル保持部と、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
を備えることを特徴とする形状認識装置。
【請求項２】
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物の１または複数の軸を特定する軸特定部をさらに備え、
前記姿勢候補情報生成部は、前記軸特定部で特定された前記１または複数の軸毎に２つの姿勢候補を示す姿勢候補情報を生成することを特徴とする請求項１に記載の形状認識装置。
【請求項３】
１または複数の回転角度において、回転前と回転後の形状が高い一致度を得る３次元モデルを示す３次元モデル情報を保持するモデル保持部と、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルの前記角度分回転した該軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
を備えることを特徴とする形状認識装置。
【請求項４】
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物の１または複数の軸を特定する軸特定部をさらに備え、
前記姿勢候補情報生成部は、前記軸特定部で特定された前記１または複数の軸に沿って該軸と同数の姿勢候補を示す姿勢候補情報を生成することを特徴とする請求項３に記載の形状認識装置。
【請求項５】
前記認識対象物特定部はＩＣＰを用いて前記認識対象物の位置および姿勢を特定することを特徴とする請求項１から４のいずれか１項に記載の形状認識装置。
【請求項６】
軸を有する３次元モデルを示す３次元モデル情報を予め保持し、
認識対象物の３次元形状を示す認識対象情報を取得し、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成し、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定することを特徴とする形状認識方法。
【請求項７】
１または複数の回転角度において、回転前と回転後の形状が高い一致度を得る３次元モデルを示す３次元モデル情報を予め保持し、
認識対象物の３次元形状を示す認識対象情報を取得し、
前記認識対象情報と前記３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルの前記角度分回転した該軸と同数の姿勢候補を示す姿勢候補情報を生成し、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定することを特徴とする形状認識方法。
【請求項８】
コンピュータを、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と、軸を有する３次元モデルを示す３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
して機能させるためのプログラム。
【請求項９】
コンピュータを、
認識対象物の３次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と、１または複数の回転角度において、回転前と回転後の形状が高い一致度を得る３次元モデルを示す３次元モデル情報とに基づいて、前記認識対象物または前記３次元モデルの前記角度分回転した該軸と同数の姿勢候補を示す姿勢候補情報を生成する姿勢候補情報生成部と、
前記認識対象物の姿勢候補情報と前記３次元モデル情報とに基づいて、または、前記認識対象情報と前記３次元モデルの姿勢候補情報とに基づいて前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
して機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１６３４５０（Ｐ２０１２−１６３４５０Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２４３５２（Ｐ２０１１−２４３５２）
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（０００００００９９）株式会社ＩＨＩ (5,014)
【Ｆターム（参考）】
[ Back to top ]