説明

形状認識装置、形状認識方法、および、そのプログラム

【課題】コネクタ等の固定部にケーブル等の可変部を加えた3次元モデルを通じて認識対象物を的確に抽出する。
【解決手段】形状認識装置120は、固定部と内部自由度を有する可変部とを含み長手軸を有する3次元モデル122を示す3次元モデル情報を保持するモデル保持部210と、認識対象物112の3次元形状を示す認識対象情報を取得する認識対象情報取得部230と、認識対象情報と3次元モデル情報とに基づき、長手軸に対して対称な2つの候補姿勢をつくり、認識対象物と、可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして認識対象物の位置および姿勢を特定する認識対象物特定部234とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、任意の認識対象物の位置および姿勢を認識可能な形状認識装置、形状認識方法、および、そのプログラムに関する。
【背景技術】
【0002】
ファクトリーオートメーションにおけるアセンブリ処理では、ケーブルを用いて複数の電子機器同士の接続作業も実行される。このようなケーブルの接続作業を、産業用のロボットを用いて行うことを試みる場合、ロボットは、ケーブル終端のコネクタやその付近のケーブルを自律的に認識し、そのコネクタの位置や姿勢を特定して把持(ピッキング)しなければならない。
【0003】
しかし、現行の技術では、ケーブルを除く、単純な形状や特別な着色を施したコネクタ単体しか、その形状を認識することができない。また、コネクタが単純な形状や特別な着色で構成されていたとしても、ケーブルが不規則に収容され、コネクタの一部をケーブルが覆ってしまっていたり、環境光により着色した色を正しく認識できない場合、コネクタを的確に特定することができなかった。さらに、通常、ケーブルには様々な模様が示されており、その模様(テクスチャ)をケーブルやコネクタのエッジと誤認識することもあった。このようにコネクタを的確に認識できないと、コネクタが未接続の状態となったり、誤った接続位置にコネクタを誤接続してしまうおそれがある。
【0004】
コネクタの未接続や誤接続を防止する技術としては、例えば、コネクタ付きケーブルのコネクタ部分にRF−IDタグを内蔵させ、対応するジャック部品に読み取り回路を配置することで、コネクタ付きケーブルとジャック部品との接続管理を行う技術が開示されている(例えば、特許文献1)。また、コネクタ付きケーブルのうち、ケーブルの任意の点に設けられた加圧スイッチを押止することで、コネクタまたはケーブルの所定の部分が発光する技術も知られている(例えば、特許文献2)。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−349184号公報
【特許文献2】特開2006−228482号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかし、特許文献1の技術は、コネクタの接続関係を事後的に確認する技術であり、特許文献2の技術は、任意のケーブルを人が認識する技術であり、コネクタやケーブルの形状認識には応用できず、また、両技術は、コネクタやケーブルの加工を前提とし、既存のコネクタやケーブルには適用できなかった。
【0007】
また、従来の技術では、コネクタを単体で認識せざるを得ず、コネクタから延長されるケーブルは物理的に切り離せないので形状認識の弊害となることもあり、コネクタの認識精度を高めることができなかった。
【0008】
本発明は、このような課題に鑑み、コネクタ等の固定部にケーブル等の可変部を加えた3次元モデルを通じて認識対象物を的確に抽出可能な形状認識装置、形状認識方法、および、そのプログラムを提供することを目的としている。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本発明の形状認識装置は、固定部と内部自由度を有する可変部とを含み長手軸を有する3次元モデルを示す3次元モデル情報を保持するモデル保持部と、認識対象物の3次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と3次元モデル情報とに基づき、長手軸に対して対称な2つの候補姿勢を作り、認識対象物と、可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして認識対象物の位置および姿勢を特定する認識対象物特定部とを備えることを特徴とする。
【0010】
形状認識装置は、認識対象物の可変部の候補となる部位が延長されている場合に、可変部の候補となる部位の固定部側端部の部位を切り出す端部切出部をさらに備えてもよい。
【0011】
端部切出部は、可変部の延長方向に垂直な断面の任意の2つの点間の直線距離の最大値に基づいて決定される円によって2つに分断される部位を切り出してもよい。
【0012】
認識対象物特定部は、認識対象物における3次元モデルの固定部にマッチングする部位を特定し、その特定した部位の位置および姿勢を用いて、認識対象物と、可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして認識対象物の位置および姿勢を特定してもよい。
【0013】
上記課題を解決するために、本発明の形状認識方法は、固定部と内部自由度を有する可変部とを含み長手軸を有する3次元モデルを示す3次元モデル情報を予め保持し、認識対象物の3次元形状を示す認識対象情報を取得し、認識対象情報と3次元モデル情報とに基づき、長手軸に対して対称な2つの候補姿勢を作り、認識対象物と、可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして認識対象物の位置および姿勢を特定することを特徴とする。
【0014】
また、上記課題を解決するために、コンピュータを、認識対象物の3次元形状を示す認識対象情報を取得する認識対象情報取得部と、認識対象情報と、固定部と内部自由度を有する可変部とを含み長手軸を有する3次元モデルを示す3次元モデル情報とに基づき、長手軸に対して対称な2つの候補姿勢を作り、認識対象物と、可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして認識対象物の位置および姿勢を特定する認識対象物特定部として機能させるためのプログラムが提供される。
【発明の効果】
【0015】
本発明によれば、コネクタ等の固定部にケーブル等の可変部を加えた3次元モデルを通じて認識対象物を的確に抽出することが可能となる。
【図面の簡単な説明】
【0016】
【図1】ピッキングシステムの概略的な接続関係を示した説明図である。
【図2】認識対象物のパターンマッチングの概要を説明するための説明図である。
【図3】形状認識装置の概略的な構成を示した機能ブロック図である
【図4】固定部と可変部とを一体形成した3次元モデルを例示した説明図である。
【図5】端部切出部の動作を説明するための説明図である。
【図6】端部切出部の具体的な切り出し動作の一例を説明するための説明図である。
【図7】形状認識方法の処理の流れを示したフローチャートである。
【発明を実施するための形態】
【0017】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【0018】
(ピッキングシステム100)
図1は、ピッキングシステム100の概略的な接続関係を示した説明図である。ピッキングシステム100は、3次元形状測定装置110と、形状認識装置120と、ロボット制御装置130と、ロボット140とを含んで構成される。本実施形態が対象とする認識対象物112は、モデル自体の変化を伴わない固定部のみからなるものに加え、固定部と内部自由度を有する可変部とが一体形成されたものに及ぶ。かかる内部自由度は、通常のパターンマッチングで用いられる固定部の外観そのもののスピン等ではなく、固定部に対する内部での相対的な変化を言う。ここでは、その理解を容易にするため、コネクタ(固定部)とコネクタから延長されるケーブル(可変部)とが一体形成された認識対象物112を用いて説明するが、認識対象物112がコネクタやケーブルに限定されないのは言うまでもない。このようなピッキングシステム100における形状認識では、認識対象物112は球のような完全に全方向に対し対称なものを除き、一般的に形状の偏りにより、長手軸(長手方向)を有する。長手軸とは形状の広がりが大きい方向に沿った軸の事を言う。
【0019】
3次元形状測定装置110は、例えば、レーザースキャナ方式の3次元距離センサで構成され、可変部としてのケーブルが不規則に折り曲げられた(とぐろを巻いた)状態で乱雑に収容されている1または複数の認識対象物(ワーク:ここではコネクタおよびケーブル)112の測定面(表面)における複数の検出点の3次元座標を検出する。
【0020】
具体的に、3次元形状測定装置110としての3次元距離センサは、測定面上の複数の検出点の、3次元形状測定装置110からの距離を示すZ軸座標と、検出方向に垂直な面(XY平面)上におけるX、Y軸座標とを合わせて3次元座標とし、複数の検出点全ての3次元座標を示す情報である認識対象情報を生成する。こうして生成された認識対象情報は、形状認識装置120に送信される。ここでは、認識対象情報として、認識対象物上の複数の検出点における3次元座標を送信しているが、かかる場合に限られず、認識対象物の3次元形状を表す様々な情報を送信することができる。また、3次元形状測定装置110として、3次元距離センサを挙げているが、3次元形状が把握可能な既存の様々なセンサを採用することが可能である。
【0021】
形状認識装置120は、3次元形状測定装置110から受信した認識対象情報に基づいて認識対象物112を抽出し、パターンマッチング等により、その認識対象物112が3次元モデル122で示される所望する認識対象物112であることを認識し、その認識対象物112の位置や姿勢を特定する。
【0022】
ロボット制御装置130は、そのようにして認識された1の認識対象物112の位置や姿勢を示す情報を形状認識装置120から受信して、ロボット140に認識対象物112をピッキングさせる制御指令を発する。ロボット140は、その制御指令を受けて、不規則に収容された複数の認識対象物112から、指示された1の認識対象物112、例えば、コネクタやその付近のケーブルを、吸着式バンド142を通じてピッキングする。
【0023】
従来のピッキングシステムでは、コネクタを単体で認識せざるを得ず、コネクタから延長されるケーブルは物理的に切り離せないので形状認識の弊害となることもあり、コネクタの認識精度を高めることができなかった。本実施形態では、コネクタにおけるケーブルとの接続位置やケーブルの形状も、コネクタを特徴付ける要素として用いることで、コネクタの位置や姿勢を高精度で特定する。
【0024】
ただし、ケーブル等の可変部はフレキシブルに変化するので、延長されるケーブル全てに関してパターンマッチングを実行しようとすると、計算量が膨大になってしまい、結局マッチング不能となる問題が生じ得る。ここでは、その可変部の変化範囲(自由度)を制限することで、可変部の変化範囲をパターンマッチングのパラメータに取り込むことも目的としている。
【0025】
図2は、認識対象物112のパターンマッチングの概要を説明するための説明図である。特に図2(a)は、認識対象物112がコネクタ単体であった場合、図2(b)は、認識対象物112としてコネクタとケーブルの一部を用いた場合、図2(c)は、図2(b)の場合に、さらにケーブルを変化範囲内で変化させてパターンマッチングを行った場合を示している。
【0026】
例えば、対称性があり長手軸を有する円柱形状のコネクタのみをイメージした認識対象物112と3次元モデル122とがあるとする。ただし、図2では認識対象物112および3次元モデル122が側面視で表されているので形状が矩形となっている。ここでは、理解を容易にするため、平行移動変換は既に行われており、認識対象物112であるコネクタの長手軸が、3次元モデル122の長手軸を図2(a)中時計回りに270°回転した状態(図2(a)における回転角度0°の状態)となっており、長手軸回りのスピン角度は考慮しないものとする。
【0027】
パターンマッチングでは、まず、3次元モデル122を基準として、認識対象物112と3次元モデル122との一致度が高くなる方向(図2(a)中一致度の軌跡に沿った矢印で示す。)に、認識対象物112を回転する。そして、一致度が極値に落ち着くと、その点をパターンマッチングの収束点としている。
【0028】
図2(a)では、認識対象物112が90°の姿勢になった場合と、270°の姿勢になった場合の2つの姿勢で一致度が高い収束点(極値)を得ることができる。そのうち、270°の姿勢が正しい姿勢であり、90°の姿勢は誤った姿勢である。ここでは、一致度を評価することで正しい姿勢を抽出することができる。
【0029】
図2(b)では、コネクタにケーブルの一部を加えた3次元モデル122と、それに相当する認識対象物112とのパターンマッチングを示している。ここでは、パターンマッチングの要素として、コネクタにおけるケーブルとの接続位置やケーブルの形状が含まれているので、より厳密にパターンマッチングが遂行され、極値となる2つの姿勢のうち少なくとも誤った姿勢(90°)の一致度が低くなる。また、正しい姿勢(270°)においては、認識対象物112のケーブルの姿勢によっては一致度が高まり、誤った姿勢(90°)との差分が大きくなるので、図2(a)と比べて、認識対象物112の位置や姿勢をより特定し易くなる。長手軸を有する認識対象物では、長手軸方向に、順方向、逆方向に揃った場合に一致度が高くなる。順方向、逆方向、どちらかが見つかった時に、それと逆向きの候補姿勢をつくり、2つの最終マッチング結果を比較すると、誤った姿勢を得るのを避ける事ができる。
【0030】
さらに、図2(c)では、コネクタにケーブルの一部を加えた3次元モデル122と、それに相当する認識対象物112とをパターンマッチングするのみならず、3次元モデル122のケーブル114部分を既知の折り曲げ範囲(変化範囲)で変化させ、認識対象物112に合わせ込んでいる。パターンマッチングの際、正しい姿勢(270°)以外では、ケーブルを折り曲げても一致度はあまり高まらないが、正しい姿勢(270°)に近づくと、ケーブルの折り曲げ変化によって一致度が顕著に向上する。こうして、正しい姿勢(270°)と誤った姿勢(90°)との差分がさらに大きくなるので、認識対象物112の位置や姿勢をさらに特定し易くなる。
【0031】
本実施形態の形状認識装置120は、3次元モデル122として固定部と可変部とを一体的に形成し、パターンマッチングすることで認識対象物112を的確に特定することが可能となる。以下では、形状認識装置120の具体的な構成を示し、その後、具体的な処理の流れ(形状認識方法)を詳述する。
【0032】
(形状認識装置120)
図3は、形状認識装置120の概略的な構成を示した機能ブロック図である。形状認識装置120は、モデル保持部210と、データバッファ212と、中央制御部214とを含んで構成される。
【0033】
モデル保持部210は、ROM、不揮発性RAM、フラッシュメモリ、HDD(Hard Disk Drive)等で構成され、認識対象物112に対応する3次元モデル122を示す3次元モデル情報を保持する。本実施形態において、モデル保持部210は、固定部のみを有する3次元モデルを示す3次元モデル情報に加え、固定部と可変部とを一体形成した3次元モデル122を示す3次元モデル情報を保持する。
【0034】
図4は、固定部と可変部とを一体形成した3次元モデル122を例示した説明図である。例えば、図4(a)では、フレキシブルな要素を有さないコネクタ250を固定部とし、矢印の変化範囲で円弧状に折り曲げ可能なケーブル252を可変部としている。また、図4(b)の如く、コネクタ250には、コネクタ250をプラグとした場合の接続先であるレセプタクルへのロック機構254が設けられていることもあり、コネクタ250をレセプタクルに接続後、そのロック機構254を矢印の方向に回転させて脱落を防止している。かかるロック機構254も固定部に対して所定の回転範囲(変化範囲)を有する可変部として扱うことができる。
【0035】
固定部に対する可変部の他の例としては、コネクタ(固定部)の他のラッチ機構(可変部)やスライドバー(可変部)、コネクタ(固定部)の蓋(可変部)の有無、その蓋の紛失防止用チェーン等の拘束部材(可変部)、電子機器(固定部)におけるボリューム、スイッチ、レセプタクルのロック機構(可変部)等、様々な認識対象物112を想定することができる。
【0036】
データバッファ212は、SRAM、DRAM等で構成され、3次元形状測定装置110から受信した認識対象情報を一時的に保持する。
【0037】
中央制御部214は、中央処理装置(CPU)や信号処理装置(DSP:Digital Signal Processor)、プログラム等が格納されたROMやメモリ、ワークエリアとしてのRAM等を含む半導体集積回路により、形状認識装置120全体を管理および制御する。また、本実施形態において、中央制御部214は、認識対象情報取得部230と、端部切出部232と、認識対象物特定部234としても機能する。
【0038】
認識対象情報取得部230は、3次元形状測定装置110から任意の認識対象物112の3次元形状を示す認識対象情報を取得し、データバッファ212に保持させる。
【0039】
端部切出部232は、認識対象物112の可変部の候補となる部位が延長されている場合に、可変部の候補となる部位の固定部側端部の部位(ラベル)を可変部として切り出す。ここで、ラベルは、連続かつスムーズに繋がる曲面を示す。本来、一連のラベルを特定した場合、そのラベル全てを可変部とすべきところ、ここでは、端部切出部232が、敢えて、その一連のラベルを分割し、固定部側端部の部位を示すラベルのみを可変部としている。
【0040】
図5は、端部切出部232の動作を説明するための説明図である。ここでも、固定部としてコネクタ250を、可変部としてケーブル252を例に挙げている。ケーブル252の終端にはコネクタ250が接続されており、ケーブル252同士の重なりや潜り込みが少ない場合、図5(a)のように、一連のケーブル252としてみなされる部位(ラベル)が長く判断されることがある。しかし、ケーブル252のラベルが大きいと、可変部としての変化範囲も大きくなり計算が膨大となる。そこで、本実施形態では、認識対象物112と、図5(b)に示す、固定部と可変部とを一体形成した3次元モデル122とパターンマッチングを実行するために、端部切出部232は、必要な可変部の部位、ここでは、図5(c)のように、ケーブル252のコネクタ250(固定部)側端部の部位のみを切り出し、他を排除する。
【0041】
こうすることで、変化範囲の大きいケーブルのラベルを、パターンマッチングの前段で候補から除外できる。また、3次元モデル122としても同等の大きさの可変部252を準備することで、パターンマッチングをより的確に行うことが可能となる。かかる構成により、計算処理の高速化やロバスト化を図ることができる。
【0042】
可変部の候補となる部位を切り出す一例として、端部切出部232は、可変部の延長方向に垂直な断面の任意の2つの点間の直線距離の最大値に基づいて決定される円によって2つに分断される部位(3つに分断されない部位)を端部とみなして切り出す。
【0043】
図6は、端部切出部232の具体的な切り出し動作の一例を説明するための説明図である。端部切出部232は、まず、図6(a)に示す切出位置を決定するための指標となる円256を設定する。かかる円256の半径は、可変部の延長方向に垂直な断面の任意の2つの点間の直線距離の最大値以上とする。ここで、可変部の延長方向に垂直な断面は、例えば、可変部が円柱形状で示される場合、その延長方向に垂直な断面(円)であり、任意の2つの点間の直線距離の最大値は、可変部が円柱形状で示される場合、その面(円)の直径となる。即ち、端部切出部232は、半径が、可変部の短手方向の幅以上となる円256を設定している。
【0044】
そして、端部切出部232は、図6(a)のように、可変部としてのケーブル252を示すラベルの任意の点258を中心として円256を形成する。図6(a)の例では、円256によってケーブル252のラベルが(1)、(2)、(3)の3つに分断される。端部切出部232は、このようにケーブル252のラベルを3つに分断する円256の中心の点258をケーブルの端部とは判定しない。
【0045】
端部切出部232は、任意の点258をシフトして、例えば、図6(b)に示す円256を形成する。図6(b)の例では、円256によってケーブル252のラベルが(1)、(2)の2つにしか分断されない。端部切出部232は、このようにケーブル252のラベルが3つに分断されない円256の中心の点258をケーブルの端部と判定する。ここでは、説明の便宜上、ケーブル252のあらゆる点258で端部であるか否か判定しているように記載したが、実際は、計算負荷軽減のため、固定部であるコネクタ250に近い部位から円256を順次形成し、分断される領域が2つから3つに変化した位置に基づいて切り出し範囲を決定している。しかし、端部の切り出し方法は、かかる場合に限られず、様々な既存の方法を採用することができる。
【0046】
認識対象物特定部234は、認識対象情報と3次元モデル情報とに基づき、認識対象物112と、可変部の内部自由度を変化させた3次元モデル122とをパターンマッチングして認識対象物112の位置および姿勢を特定する。
【0047】
ここで、認識対象物特定部234は、認識対象物112と3次元モデル122とのパターンマッチング(軸特定)において、いずれか一方を基準とし、他方の位置や姿勢を変更することとなるが、いずれを基準とするかは限定されない。本実施形態では、3次元モデル122の方が認識対象物112より情報量が多いので、計算負荷を軽減すべく、3次元モデル122を基準として認識対象物112の位置や姿勢を変更することとする。
【0048】
尚、かかる軸特定には、ICP(Iterative Closest Points)やPCA(Principal Component Analysis)等、様々な手法を用いることができるが、ここでは、その一例としてICPを用いる。ICPは、6自由度ある3次元モデル122の位置や姿勢を、認識対象物112と3次元モデル122とを特定するためのそれぞれの対応点間の距離の合計(ノルム)が閾値以下になるまで共役勾配法等を利用して反復的に更新する手法である。PCAは、入力されたデータが空間内においてどのように長手軸を持つかを調べる手法(主軸成分解析)である。
【0049】
ICPは、例えば、PCA等と異なり、認識対象物112と3次元モデル122との点群同士のマッチングを目的としているので、認識対象物112が重なること等による認識対象物112の部分的な欠落に強いため、ロバスト性に優れ、比較的高精度に認識対象物112の位置や姿勢を特定することが可能となる。
【0050】
また、上述したように、認識対象物特定部234は、認識対象物112の可変部の内部自由度を、想定される変化範囲内で変化させつつ3次元モデル122とのパターンマッチングを遂行する。かかる内部自由度は、図4を用いて説明したように、折り曲げや可変部のみの回転等を含む。さらにケーブル等可変部の剛性モデルを加味することも可能である。このような可変部の変化範囲は、変化パラメータとして3次元モデル122と共にモデル保持部210に保持される。認識対象物特定部234は、3次元モデル122の後述する3次元点群データの各対応点の位置を変化させることで変化パラメータを収束させている。
【0051】
このように、3次元モデル122の可変部の内部自由度を、変化範囲内で変化させつつ認識対象物112とのパターンマッチングを行うことにより、可変部の変化も加味することができるので、一致度を格段に高めることができる。また、規則性を有する等、変化範囲を限定できる部位のみを可変部として用いることで、計算負荷の増大を抑制することができ、適切な計算負荷の下、認識対象物112の的確な位置および姿勢を特定することが可能となる。
【0052】
また、このようなマッチングによって得られたケーブル252等の折り曲げ角度は、ケーブル252等の延長方向の推定にも利用することが可能である。例えば、可変部の3次元モデル122としてフレキシブルな弾性管(例えばゴムホース)を登録しておき、さらに、そのモデルの節点と、その節点での接線の角度等をパラメータとして設定しておく。そうすると、その角度を調整することで3次元モデル122の折り曲げ度合いを変化させることができるので、弾性管の大まかな方向のみならず、要所での角度もマッチングさせて、弾性管のうねり姿勢等の認識も可能となる。
【0053】
また、認識対象物特定部234は、認識対象物112が長手軸を有する場合、まず、その長手軸を特定し、その長手軸に沿って対称的(互いに逆向き)に配置した2つの姿勢候補を生成し、その2つの候補姿勢のいずれに関しても3次元モデル122とのパターンマッチングを行って、認識対象物112の位置や姿勢を特定するとしてもよい。
【0054】
図2を用いて説明したように、長手軸を有する、コネクタや、コネクタとケーブルが一体形成された認識対象物112は、パターンマッチングにおいて2つ以上の極値を有する場合が多い。この場合に、認識対象物112と3次元モデル122との長手軸が合っていると、それが誤った姿勢であってもパターンマッチングの一致度が高くなる。
【0055】
そこで、認識対象物特定部234は、パターンマッチングを2段階に分け、1段階目において、認識対象物112と3次元モデル122とのパターンマッチングの結果が収束し得る軸のみを特定し、特定した軸を基準とした2つの姿勢候補を生成し、2段階目において、その姿勢候補を用いてパターンマッチングを厳密に行う。具体的に、認識対象物特定部234は、認識対象物112を0°からZ軸を中心に時計回りに回転し、その一致度が1つ目の極値(90°)になる前の所定の閾値に達した時点で、一旦パターンマッチングを停止する。そして、認識対象物特定部234は、停止したときの認識対象物112を2段階目の姿勢候補とすると共に、さらに180°回転した認識対象物112も姿勢候補とする。続いて、認識対象物112の2つの姿勢候補に基づいて、厳密なパターンマッチングを並行して行う。
【0056】
このような2つの姿勢候補は、図2の例では、それぞれ90°と270°において極値を示すが、そのうち一致度が高い270°の姿勢が認識対象物112の真の姿勢であると判断される。ここでは、1つの長手軸に対して2つの姿勢候補があるので、そのいずれもパターンマッチングを行うことで、誤った姿勢にのみパターンマッチングが収束するのを回避している。
【0057】
また、その2つの姿勢の関係、例えば、軸に沿って対称的(互いに逆向き)な関係にあることは把握されているので、軸の特定に関しては、いずれか一方の姿勢の軸を用いればよく、そのときに厳密なパターンマッチングを要さない。即ち、1段階目では、厳密なパターンマッチングと比較して緩い閾値で一方のみの軸を抽出すればよいこととなる。
【0058】
ここでは、少なくとも一方の姿勢候補に関して、最適な収束点(極値)が導出されるので、他方の収束点を導出するまでもなく、パターンマッチングが完了する。したがって、認識対象物112の位置と姿勢とが的確に導出される。また、軸を抽出するまでのパターンマッチングを2つの極値それぞれについて実行せず、いずれか一方でのみ行うので、処理負荷の軽減を図ることができる。
【0059】
さらに、認識対象物特定部234は、認識対象物112における3次元モデル122の固定部にのみマッチングする部位を特定し、その特定した部位の位置および姿勢を用いて、認識対象物112と可変部の内部自由度を変化させた3次元モデル122とを厳密にパターンマッチングして認識対象物112の位置および姿勢を特定するとしてもよい。
【0060】
例えば、可変部としてのケーブル252があまりにもフレキシブルな場合、上述したコネクタ250とケーブル252とを一体形成した3次元モデル122のパターンマッチングのみでは、収束点を得ることが難しい場合がある。その場合、固定部であるコネクタ250のみの3次元モデルを独立して用い、コネクタ250のみのパターンマッチングを遂行して、コネクタ250の例えば長手軸のみを推定し、その長手軸に沿った姿勢を開始姿勢としてコネクタ250とケーブル252とを一体形成した3次元モデル122とのパターンマッチングを行うことで、認識対象物112の位置および姿勢を特定する。
【0061】
ここでは、形状が歪みにくい固定部のパターンマッチングを事前に行うことで、コネクタ250とケーブル252とを一体形成した3次元モデル122の大凡の姿勢を推定することができ、可変部の変化範囲を限定することが可能となるので、処理負荷を軽減すると共に、認識対象物112の位置および姿勢を迅速に特定することが可能となる。
【0062】
以上、説明した形状認識装置120では、固定部単体では対称性によってその姿勢を特定できない場合であっても、固定部における可変部との接続位置や可変部の形状を、固定部を特徴付ける要素として用いているので、認識対象物112の位置や姿勢を高精度で特定することが可能となる。さらに、固定部に可変部を加えた3次元モデル122と、それに相当する認識対象物112とをパターンマッチングするのみならず、フレキシブルな可変部を既知の変化範囲で変化させることで、位置および姿勢をより高精度に特定することが可能となる。
【0063】
さらに、本実施形態では、パターンマッチング手法として、ICPを用いているので、様々な形状を有する認識対象物112に対しても位置や姿勢を特定できる。ICPでは、認識対象物112の一部が隠されていた場合においてもロバスト性が高いので有効な結果を得ることが可能となる。したがって、可変部としてのケーブルの一部を他の物体が覆ったとしても、ケーブルの進行方向を把握でき、ケーブルがとぐろ状に重なっていたとしても各ケーブルの先を推定することができる。
【0064】
また、コンピュータによって形状認識装置120として機能するプログラムや、当該プログラムを記憶した記憶媒体も提供される。さらに、当該プログラムは、記憶媒体から読み取られてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【0065】
(形状認識方法)
また、形状認識装置120を用いた形状認識方法も提供される。以下、このような形状認識方法を詳細に説明する。図7は、形状認識方法の処理の流れを示したフローチャートである。特に、図7(a)は形状認識方法の全体的な処理の流れを、図7(b)はICPに関するサブルーチンを示している。ここで、モデル保持部210は3次元モデル情報を予め保持している。
【0066】
本実施形態における固定部と可変部とを一体形成した3次元モデル122を用いたパターンマッチングは、固定部が対称性を有し、その方向を一義的に求めることができない場合や、固定部に接続されている可変部がフレキシブルに変化し、そのフレキシブルな変化部をピッキングしたい場合等に用いると効果的である。これに対して、固定部の形状が特徴的であり、可変部を特定する必要がない場合、固定部のみによる3次元モデル122によってパターンマッチングを実行することもできる。
【0067】
認識対象情報取得部230は、3次元形状測定装置110から、任意の認識対象物112の3次元形状を示す認識対象情報を取得する(S300)。そして、端部切出部232は、認識対象物112の可変部のラベルの大きさが所定の閾値より大きいか否か、即ち、可変部の候補となる部位が延長されているか否かを判定し(S302)、可変部のラベルの大きさが所定の閾値より大きい場合(S302におけるYES)、可変部の候補となる部位の固定部側端部の部位(ラベル)を切り出す(S304)。このとき、可変部のラベルの大きさが所定の閾値以下であれば(S302におけるNO)、そのまま認識対象物112の特定ステップS306に移行する。
【0068】
認識対象物特定部234は、認識対象情報と3次元モデル情報とに基づいて、ICPによるパターンマッチングを行う(S306)。
【0069】
図7(b)を用いて認識対象物特定部234によるICPの処理の流れを簡単に説明する。3次元形状測定装置110から取得された認識対象情報には、認識対象物112の測定面における配列された複数の検出点に関する3次元座標(3次元点群データ)が示されている。3次元点群データの点の数は、認識対象物112の大きさと、パターンマッチングの要求精度に応じて決定される。ICPエンジンは、ICPの繰り返し処理を行う前に、このような認識対象情報中の3次元点群データに対し、床や支柱、コンテナ等の明らかな背景計測点があれば、それを除外する(S350)。
【0070】
ICPエンジンは、初期姿勢を用意し、それに回転や並行移動変換などの姿勢変更処理を施す(S352)。姿勢変更処理は認識対象物112に対して施すことも可能であるし、3次元モデル122側に対して施すことも可能である。例えば、点数の少ないほうを動かして、計算処理を少なくしてもよい。続いて、姿勢変更処理後の認識対象物112と3次元モデル122との間でそれぞれ対応する点を求め(S354:ペアリング)、対応点間の距離合計(ノルム)を計算する(S356)。このノルムが小さいほうが形状の一致度合いが高いといえる。一致度合いが高かった姿勢を取り出し(S358)、一致度が閾値以下(ノルムが閾値以上)の間(S360におけるNO)、それを初期姿勢に置き換えて、上記処理を繰り返す。このように、一致度が閾値を超える(ノルムが閾値以下になる)まで(S360におけるYES)共役勾配法等を利用して反復的に更新し、パターンマッチングを遂行する。
【0071】
ノルムの取り方(メトリック)としては、例えば、L1ノルムやL2ノルム等があり、用途に応じて適した取り方を採用する。また、このとき、3次元モデル122の可変部に相当する変化パラメータを予め定められた変化範囲内で変化させつつ対応点間の距離を導出する。これは、ICPでの収束パラメータの次元を増やしたことに相当する。このように、3次元モデル122の可変部の内部自由度を変化させつつ認識対象物112とのパターンマッチングを行うことにより、可変部の変化も加味することができるので、一致度を格段に高めることができる。また、規則性を有する等、変化範囲を限定できる部位のみを可変部として用いることで、計算負荷の増大を抑制することができ、適切な計算負荷の下、認識対象物112の的確な位置および姿勢を特定することが可能となる。
【0072】
こうして導出された位置および姿勢は、最終的に、形状認識装置120の座標系からロボット140の座標系に変換される。
【0073】
このような形状認識方法においても、固定部単体では対称性によって、長手軸に対して順方向か逆方向かを特定できない場合であっても、固定部における可変部との接続位置や可変部の形状を、固定部を特徴付ける要素として用いているので、認識対象物112の位置や姿勢を高精度で特定することが可能となる。さらに、固定部に可変部を加えた3次元モデル122と、それに相当する認識対象物112とをパターンマッチングするのみならず、フレキシブルな可変部を既知の変化範囲で変化させることで、位置および姿勢をより高精度に特定することが可能となる。
【0074】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【0075】
なお、本明細書の形状認識方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【0076】
本発明は、任意の認識対象物の位置および姿勢を認識可能な形状認識装置、形状認識方法、および、そのプログラムに利用することができる。
【符号の説明】
【0077】
100 …ピッキングシステム
112 …認識対象物
120 …形状認識装置
122 …3次元モデル
210 …モデル保持部
230 …認識対象情報取得部
232 …端部切出部
234 …認識対象物特定部
250 …コネクタ
252 …ケーブル

【特許請求の範囲】
【請求項1】
固定部と内部自由度を有する可変部とを含み長手軸を有する3次元モデルを示す3次元モデル情報を保持するモデル保持部と、
認識対象物の3次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と前記3次元モデル情報とに基づき、前記長手軸に対して対称な2つの候補姿勢をつくり、前記認識対象物と、前記可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
を備えることを特徴とする形状認識装置。
【請求項2】
前記認識対象物の前記可変部の候補となる部位が延長されている場合に、該可変部の候補となる部位の前記固定部側端部の部位を切り出す端部切出部をさらに備えることを特徴とする請求項1の形状認識装置。
【請求項3】
前記端部切出部は、前記可変部の延長方向に垂直な断面の任意の2つの点間の直線距離の最大値に基づいて決定される円によって2つに分断される部位を切り出すことを特徴とする請求項2に記載の形状認識装置。
【請求項4】
前記認識対象物特定部は、前記認識対象物における前記3次元モデルの固定部にマッチングする部位を特定し、その特定した部位の位置および姿勢を用いて、前記認識対象物と、前記可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして前記認識対象物の位置および姿勢を特定することを特徴とする請求項1から3のいずれか1項に記載の形状認識装置。
【請求項5】
固定部と内部自由度を有する可変部とを含み長手軸を有する3次元モデルを示す3次元モデル情報を予め保持し、
認識対象物の3次元形状を示す認識対象情報を取得し、
前記認識対象情報と前記3次元モデル情報とに基づき、前記長手軸に対して対称な2つの候補姿勢をつくり、前記認識対象物と、前記可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして前記認識対象物の位置および姿勢を特定することを特徴とする形状認識方法。
【請求項6】
コンピュータを、
認識対象物の3次元形状を示す認識対象情報を取得する認識対象情報取得部と、
前記認識対象情報と、固定部と内部自由度を有する可変部とを含むみ長手軸を有する3次元モデルを示す3次元モデル情報とに基づき、前記長手軸に対して対称な2つの候補姿勢をつくり、前記認識対象物と、前記可変部の内部自由度を変化させた3次元モデルとをパターンマッチングして前記認識対象物の位置および姿勢を特定する認識対象物特定部と、
して機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2012−163451(P2012−163451A)
【公開日】平成24年8月30日(2012.8.30)
【国際特許分類】
【出願番号】特願2011−24353(P2011−24353)
【出願日】平成23年2月7日(2011.2.7)
【出願人】(000000099)株式会社IHI (5,014)
【Fターム(参考)】