物体の姿勢を求める方法及びシステム
【課題】ネジ及びボルトのような、鏡面反射性で、実質的に円筒形でネジ山を有する物体の姿勢を求める。
【解決手段】物体の姿勢が、物体の画像の組をカメラにより取得することによって求められ、この物体は、この物体の局所領域が実質的に球状に見えるように表面上に配置されたネジ山を有し、カメラは、各組に関して異なる視点にあり、各組における各画像は、シーンが異なる方向から照明されている間に取得される。各画像から特徴の組が抽出され、特徴は、カメラに向かう法線を有する表面上の点に対応する。パラメトリック直線が、各画像に関して点に当てはめられ、この直線は、カメラの中心と、物体の軸とを結合する平面上にある。次に、幾何学的制約が直線に適用され、物体の姿勢が求められる。
【解決手段】物体の姿勢が、物体の画像の組をカメラにより取得することによって求められ、この物体は、この物体の局所領域が実質的に球状に見えるように表面上に配置されたネジ山を有し、カメラは、各組に関して異なる視点にあり、各組における各画像は、シーンが異なる方向から照明されている間に取得される。各画像から特徴の組が抽出され、特徴は、カメラに向かう法線を有する表面上の点に対応する。パラメトリック直線が、各画像に関して点に当てはめられ、この直線は、カメラの中心と、物体の軸とを結合する平面上にある。次に、幾何学的制約が直線に適用され、物体の姿勢が求められる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には物体の姿勢を求めることに関し、特に、ネジ及びボルトのような、鏡面反射性で、実質的に円筒形でネジ山を有する物体に関する。
【背景技術】
【０００２】
コンピュータービジョンのシステム及び方法は、産業用ロボットによって行われるような組み立て作業を自動化するために頻繁に用いられている。しかし、多くの産業環境に多く見られる、小型で光沢のある、すなわち鏡面反射性の物体は依然として、コンピュータービジョンの応用に大きな課題を呈する。鏡状の透明又は半透明の表面を有する物体は、ノイズ源として扱われることの多い材料特性を有し、従来の技法はこのノイズを低減しようと試みている。これは、鏡面反射性が高いか、又は高い半透明性を有する物体は、これらの材料特性を抑制することが難しいため、従来のコンピュータービジョン技法では処理できないことを意味する。
【０００３】
コンピュータービジョンは、ビンピッキング（ｂｉｎ ｐｉｃｋｉｎｇ）に用いられてきた。ビンピッキングでは、主な問題は、物体の姿勢及び同一物体のビンにおいて物体の姿勢を求めることである。本明細書中で定義されるとき、６Ｄの姿勢は、物体の３Ｄの位置及び３Ｄの向きである。コンピュータービジョンシステムの開発は、産業用部品の金属表面の鏡面反射、及び多くの同一物体から成る雑然としたビンにおける遮蔽のために課題となっている。
【０００４】
モデルに基づく姿勢推定は、３Ｄモデル−２Ｄ画像の対応関係を決定する。残念ながら、３Ｄ−２Ｄの点の対応関係は、テクスチャのない表面を有する産業用部品の場合、得ることが難しい。この状況は、ビンにおいて複数の同一物体が互いに重なっており、遮蔽が起こる可能性がある場合に特に厳しい。
【０００５】
物体の輪郭は、物体の形状及び姿勢に関する豊富な情報を提供する。様々な輪郭マッチング方法が知られている。しかしながら、鏡面反射物体の場合、雑然としたビンにおいて輪郭情報を得るのは難しい。なぜなら、それらの物体は、画像中で自身の外観を持たず、それどころか周囲の環境を反射するからである。
【０００６】
姿勢推定問題にはレンジセンサーが広く用いられている。レンジデータは、ケーブルのような可撓性のある産業用部品の物体の位置及び形状を生成及び検証するために用いることができる。しかしながら、鏡面反射が存在する場合、レンジセンサーは、正確な奥行きマップを作成することができず、カメラに基づく解決策に比べてより高価となる。
【０００７】
アクティブ照明パターンは、コンピュータービジョン方法の大きな助けとなることができる。例えば、変化する照明条件で観測されるパッチの輝度を用いて、表面パッチの向きを推定することができ、それらを３Ｄモデルと照合する。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、鏡面反射は一般に、マシーンビジョン方法ではノイズ源として扱われてきた。ほとんどの方法は、鏡面反射を特定し、ノイズとして除去する。
【０００９】
鏡面反射性の高い鏡状の表面に対する１つの画像不変な方法は、湾曲のない領域では面法線が変化しないという事実を利用する。ほとんどの産業用物体の場合、これは、あまり実用的な特徴ではない。なぜなら、物体は通常、いくつかの平面及びいくつかの角から成り、これらの物体に関する特徴的な情報は、それらの角及び接合部にあるからである。
【課題を解決するための手段】
【００１０】
本発明の実施の形態は、２Ｄ画像から３Ｄ物体及びそれらの６Ｄ姿勢を特定する方法及びシステムを提供する。この方法及びシステムは、コンピュータービジョン支援によるロボット組み立てに用いることができる。具体的には、それらの物体は、鏡面反射性が高い、すなわち鏡状である。
【００１１】
照明源が移動すると、鏡面ハイライトは、表面の曲率に反比例する距離を移動する。これにより、本発明では、これらの領域を抽出し、これらの領域を物体の特徴として用いることができる。
【００１２】
本発明では、マルチフラッシュカメラ（ＭＦＣ：Ｍｕｌｔｉ Ｆｌａｓｈ Ｃａｍｅｒａ）を、移動する照明源として用いる。本発明では、複数の視点から画像を取得すると、物体を三角測量し、その６Ｄ姿勢を得ることができる。把持アームを有するロボットシステムにおいて、本発明では、雑然としたビン内の光沢のあるネジ又はボルトの自動検出及び姿勢推定を行い、０．５ｍｍ未満の位置誤差及び０．８°未満の向き誤差を達成することができる。
【００１３】
例示的な応用において、物体は、雑然としたビンにおける小型の金属ネジである。ネジは、多くの製造工程において用いられる物体の最も基本的な種類を成す。毎年、ネジ山のあるネジが、あらゆる他の機械部品よりも多く生産されている。
【００１４】
従来の組み立てラインでは、ネジは、部品ホルダーに既知の姿勢で配置され、ロボットグリッパーがこれらのネジを操作する。この動作は、部品供給機のような、ネジの種類毎に特別に設計されたハードウェアを必要とするか、又は手作業で行われる。
【００１５】
大多数のネジは金属製で光沢があるため、従来のマシーンビジョン方法では容易に処理することができない。さらに、ビンにおけるネジの姿勢推定は、雑然さ及び遮蔽のために、非常に困難な問題である。本発明の方法によれば、物体の鏡面反射特徴を、雑然としたビンの画像から抽出することができる。本発明では、複数の画像中の同一のネジから得た特徴を照合することによってネジの姿勢を推定する。この照合は、ビン全体が、様々な姿勢の同一のネジの多くのインスタンスを含むため、特に難しい。この問題を解決するために、本発明では、１本の直線で交わる３つの平面の依存性からランク２制約を用いて、姿勢推定のための対応関係及び三角測量を確立する。
【発明の効果】
【００１６】
本発明は、鏡面反射物体の姿勢を求めるために用いることができる。鏡面反射性の高い物体における曲率の高い領域は、照明源の位置にほとんど無関係の鏡面反射を生じ、鏡面反射は、物体の検出及び姿勢推定のための独特な特徴として使用することができる。
【００１７】
本発明では、安価なマルチフラッシュカメラを用いて、そのような鏡面反射特徴を確実に検出する。本発明では、ネジを例示的な部品として用い、三角測量を用いた姿勢推定のための２つのビューに基づく方法及び３つのビューに基づく方法を開発する。この方法は、産業用ロボットに実施され、３Ｄの姿勢推定のために非常に高い位置及び角度の精度を有する。
【００１８】
本発明では、鏡面反射をノイズとして扱わず、むしろ、鏡面反射物体を検出及び認識し、鏡面反射物体と相互作用する能力を高めることができ、そして実際に高める特徴として扱う。鏡面反射物体上の曲率の高い領域では、これは、マシーンビジョン作業を確実に行うために用いることができる、非常に一貫性がありロバストな特徴となる。
【００１９】
物体における曲率の高い領域は、広い角度範囲にわたる法線を有するため、これらの領域は、照明位置に関係なく、ほとんど常に鏡面反射を生成する。これらの鏡面反射の検出は、物体の表面上の曲率の非常に高い領域を示すように機能する。
【００２０】
マルチフラッシュカメラの使用は、これらの鏡面反射特徴の検出及び抽出を支援する。これらの曲率の高い領域は、産業用物体に独特なシグネチャを与え、このシグネチャは、物体の検出、認識、及び姿勢推定に用いることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態による、物体の姿勢を求めるシステムの概略図である。
【図２】本発明の実施の形態による、物体の姿勢を求める方法のフロー図である。
【図３】本発明の実施の形態による、円筒形の物体から反射された直線の分析の概略図である。
【図４Ａ】曲率の高い領域における鏡面ハイライトを比較する概略図である。
【図４Ｂ】曲率の低い領域における鏡面ハイライトを比較する概略図である。
【図４Ｃ】本発明の実施の形態による、局所的に球状の反射領域を有するボルトの概略図である。
【図４Ｄ】本発明の実施の形態による、ネジ山の一部の断面図である。
【図５】本発明の実施の形態による、カメラの投影中心及びネジの軸を結合する平面上の検出された鏡面反射線分の概略図である。
【発明を実施するための形態】
【００２２】
システムの概略
図１は、本発明の実施形態による、物体の姿勢を求めるシステム１００及び方法２００を示す。特に、物体は、同一のネジのビン１０５に配置された金属製のネジ又はボルト１０２である。例えば、ビンは、約２００個の２５ｍｍのＭ４ネジを含む（ＩＳＯ６８−１及びＩＳＯ２６１を参照）。
【００２３】
本発明では、マルチフラッシュカメラ１２０が取り付けられた６軸の産業用ロボットアーム１１０を用いる。ＭＦＣは、レンズの周囲に配置された複数の点光源を有し、シーンを各光源で照明しながら画像を取得する（参照により本明細書中に援用する米国特許第７，７３８，７２５号を参照）。
【００２４】
ＭＦＣは、市松格子パターンを用いて内部校正及び外部校正の双方をされる。グリッパー−カメラの校正は、ロボットアームがグリッパーを用いて物体と相互作用すると共に物体を把持することができるように行われる。
【００２５】
図２は、方法２００のステップを示す。この方法は、当該技術分野において知られているような、メモリ及び入出力インターフェースを含むプロセッサにおいて行うことができる。本発明では、Ｎ個の照明源及び複数の視点の各々に関してビンの画像を取得し（２１０）、鏡面反射特徴を抽出する（２２０）。図２は、本発明の方法２００の概略を示す。
【００２６】
本発明では、複数の視点の画像にわたって、同一のネジに対応する直線を特定し（２３０）、ネジの３Ｄ軸を再構成すること（２５０）によってネジの姿勢を推定する。次に、グリッパーが、推定された姿勢を用いてネジを把持し（２４０）、以後の組み立て作業を行う。
【００２７】
鏡面反射特徴の抽出
反射分析
図３は、本発明による、カメラ１２０及び光源３０１の分析を概略的に示す。点Ｐが、任意の一次元曲線Ｃ上に配置される。点Ｐにおける接触円の半径をｒとする。すると、Ｐにおける曲率Ｋは、次のように表される。
【００２８】
【数１】
【００２９】
点Ｐにおけるε球近傍を考える。εが十分に小さい場合、本発明における分析の目的のため、この近傍の曲率は一定であるとみなす。本発明では、接触円Ｏの中心を原点とし、Ｙ軸がＰを通り、Ｘ軸がＴに直交する２次元座標軸を考える。この「ε球」は曲線Ｃと、Ａ及びＢにおいて交わり、次の式が成り立つ。
【００３０】
【数２】
【００３１】
ここで、Ｙ軸上のカメラからＡに向かう光線を考える。カメラ中心は（０，ｙ０）上にあり、ｙ０≫εとする。これは、カメラ中心から到来する光線が、図３に示すようにＹ軸３０２に平行であると考えられることを意味する。この光線は、Ａにおける法線と角度θを成し、この法線から角度θで反射される。
【００３２】
対称的な分析は、点Ｂに関しても成り立つ。これは、光源が［−２θ ２θ］の円錐内の任意の場所に配置されれば、カメラは、このε近傍から鏡面反射を受け取ることを示す。固定円錐［−２θ ２θ］の場合、遠くにあるカメラの仮定を用いることによって、ε近傍の大きさは、点の曲率ε＝（２／ｋ）ｓｉｎ（θ／２）に反比例する。
【００３３】
曲率が大きくなるほど、点の小近傍内で反射が見えるようになる（図４Ａを参照）。対照的に、湾曲がほとんど平坦である場合、すなわち、曲率がゼロに近い場合、点の近傍内で反射は見えなくなる（図４Ｂを参照）。以下では、この事実を利用し、物体の曲率の高い領域上の特徴点を検出する方法を説明する。この分析は、鏡状の反射を仮定する。鏡面反射ローブを考えると、この光線の円錐は、さらに２σだけ増やすことができ、ここで、σは鏡面反射ローブの幅である。
【００３４】
この分析は、２次元表面Ｓに拡張することができる。主曲率は、所与の点において様々な方向に沿って測定した曲率の最小値及び最大値として定義される。表面のガウス曲率Ｋは、次式で表される主曲率の積である。
【００３５】
【数３】
【００３６】
同様に、２次元表面の場合、反射は、点のガウス曲率が大きくなるほど、点のより小さな近傍内で見えるようになる。小近傍内で反射を観測するには、両方の主曲率が大きくなければならない。例えば、半径の小さな球は、その球上の全ての点で、その両方の主曲率が大きな（ｋ１＝ｋ２＝１／ｒ）表面である。したがって、反射が小近傍内で見える。対照的に、円筒形の物体上の点のガウス曲率は、表面が１つの方向にしか曲がらないため、ゼロである。したがって、反射が直近傍内で見えない場合がある。
【００３７】
ＭＦＣに基づく特徴抽出
特徴抽出工程は、両方の方向に、すなわち両方の主曲率に沿って曲がり、法線がカメラに向かう、ガウス曲率が大きい鏡面反射面上の点を決定する。２番目の要件は制約のように見えるが、実際に、曲率の高い領域は、面法線の大きな集合にわたる。これらの特徴は、後述する３Ｄ再構成及び姿勢推定に十分な情報を提供する。
【００３８】
ＭＦＣは、カメラの周囲に円形に配置された８個の点光源（ＬＥＤ）を含むアクティブ照明に基づくカメラである。カメラの周囲の異なるＬＥＤが点滅するにつれて、表面上の鏡面ハイライトが、局所曲率に応じて移動する。上記の分析から、鏡面ハイライトが、表面曲率の高い全ての点に関して、非常に局所的な近傍に残ることは明らかである。
【００３９】
本発明では、この手掛かりを利用して、カメラに向かう法線を有する物体上の高い曲率領域に対応する画素を検出する。これらの画素は、物体の３Ｄ形状及びそのカメラに対するその相対的な姿勢の両方に特有の特徴として働く。
【００４０】
本発明の鏡面反射特徴の抽出工程は、次の通りである。本発明では、８個のフラッシュに対応する８枚の画像を取得する。これを３つの視点に関して繰り返す。フラッシュを用いない画像も１枚取得する。次に、フラッシュを用いない周囲画像を各フラッシュ画像から減算し、周囲照明の効果を除去する。したがって、合計で２５枚の画像（３×８）＋１となる。
【００４１】
周囲光の減算後、ｉ番目のＬＥＤのフラッシュ時間中に画像Ｉｉを取得する。画像Ｉｉ中の各画素における最小強度を用いて、最小照明画像Ｉｍｉｎ（ｘ，ｙ）＝ｍｉｎｉＩｉ（ｘ，ｙ）を構築する。この最小照明画像は、地表面アルベドと同様である。本発明で考慮する表面は、鏡面反射性が高く、鏡面ハイライトは、画像間を移動するため、最小照明画像は、全ての鏡面反射領域に関して暗く見える。
【００４２】
本発明では、周囲減算画像対最小照明画像の比画像ＲＩｉ＝Ｉｉ／Ｉｍｉｎを決定する。理想的には、鏡面ハイライトを有する領域における比の値は１より遥かに大きいが、非ハイライト領域における比の値は、１に近いままである。この情報を利用して、各フラッシュ画像におけるハイライト領域（鏡面反射）を検出する。
【００４３】
上述したように、変化するフラッシュ位置により、図４Ａに示すように、曲率の高い領域では鏡面ハイライトは小近傍内にとどまる一方、図４Ｂに示すように、曲率の低い（平坦な）領域ではハイライトは大きく移動する。
【００４４】
本発明では、ε近傍を選択し、このε近傍内で鏡面ハイライトが観測されたフラッシュ画像の枚数を決定する。曲率の高い領域に対応する画素の場合、鏡面ハイライトはε近傍内にとどまるため、鏡面ハイライトは、このε近傍内の全てのＭＦＣ画像において観測される。
【００４５】
低曲率領域に対応する画素の場合、鏡面ハイライトは、ε近傍の外に移動するため、このε近傍内で鏡面ハイライトが観測される画像の枚数は、８枚未満となる。均等拡散面に対応する画素は、最小画像に対する正規化のため、自動的にフィルタリングされる。
【００４６】
姿勢推定
ネジ及びボルト上の鏡面反射特徴
ネジ及びボルトは通常、実質的に円筒形状の物体である。本明細書中で定義するように、実質的に円筒形とは、円錐形の物体、及び物体の円の直径がその長さよりも実質的に小さく、物体がその軸に関して対称である、任意の物体を含む。
【００４７】
上述したように、物体の軸に垂直な方向の曲率は高いが、この軸に平行な方向の曲率は小さい。これにより、物体のガウス曲率は小さくなる。次に、表面にネジ山を加える影響を考える。
【００４８】
ネジ山
ネジ山は通常、螺旋（又は円錐形の渦巻き）として近似され、軸に略平行な方向においても、物体の本体上の全ての点に対して高い曲度を与える。これにより、照明方向に関係なく、ε近傍において鏡面ハイライトが確実に見えるようになる。鏡面反射特徴は、上述のように抽出される。
【００４９】
したがって、ネジ山の影響は、ネジ又はボルトの局所領域を、曲度の高い又は面法線の変化度の高い実質的に球状４２０に見せることである。この現象を図４Ｃに示す。例えば、１８０°の曲率が画像中の５０個〜１０個の画素にわたって見える場合、曲度は高い一方、曲率が１００画素にわたって広がっている場合、曲度は小さい。
【００５０】
図４Ｄはさらに、ネジ山の小さな断面部分に関してこの影響を示す。ここで、ｋ１及びｋ２は主曲率であり、領域４２０は、球状に見える。
【００５１】
図１に示すように、ネジの形状は実質的に円筒形である。上記のように、本発明における定義では、円筒形の物体は、円錐形の物体を含む。円柱の表面上の直線５０１は、検出された鏡面反射特徴を表す。値πは、これらの直線がカメラＣ１及びＣ２の中心と形成する直線を表す。鏡面反射特徴は、カメラに向かう法線を有する曲率の高い領域上で検出される。ネジの形状を螺旋で近似すると、カメラに対向する螺旋上の複数の点は、直線に沿って配置される。さらに、この直線は、カメラの中心とネジの軸とを結合する平面上にある。
【００５２】
例えば、表面は、曲度がｒ／Ｄ≪０．０１である場合、大きく湾曲している。ここで、ｒは、特定の点における湾曲した領域の半径であり、Ｄは、湾曲した領域の中心とカメラとの間の距離である。
【００５３】
本発明では、ネジ上の鏡面反射特徴を線分で表す。パラメトリック形状の当てはめのために、本発明では、よく知られた「ランダムサンプルコンセンサス」（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ：ＲＡＮＳＡＣ）法の変形を用いる。ＲＡＮＳＡＣは、外れ値を含む観測データの集合からモデルのパラメーターを推定するための反復法である。これは、非決定的であり、反復回数に基づいて或る程度の確率を有する合理的な結果を生成する。
【００５４】
ＲＡＮＳＡＣ法は、点及びそれらの方向の小さな部分集合を選択することによって様々な直線を最初に仮定する。直線のサポート（ｓｕｐｐｏｒｔ）は、小さな残差内の直線の方程式を満たし連続構造を形成する点の集合によって与えられる。最大のサポートを有する線分が保持され、サポートが数個の点よりも小さくなるまで、より小さな集合を用いてこの手順が繰り返される。ＲＡＮＳＡＣ法は、線分毎に正常点（ｉｎｌｉｅｒ ｐｏｉｎｔｓ）を提供する。次に、本発明では、この正常点に対して最小二乗推定を用いて各線分を精緻化する。
【００５５】
姿勢推定
本発明では、ネジの姿勢を推定するために、ネジの位置及び向き（姿勢）を一意に決定するネジの軸に対応する３Ｄ直線を再構成する。本発明では、複数のカメラ視点から鏡面反射特徴を決定する。上述したように、検出された鏡面反射線分は、図５に示すように、ｉ番目のカメラの投影中心と、ネジの軸とを結合する平面πｉ上にある。ネジの軸に対応する３Ｄ直線の再構成は、これらの平面の交差によって与えられる。
【００５６】
３つの視点を用いた３Ｄ直線の再構成
３Ｄのパラメトリック直線と、複数の視点に関して取得された画像におけるその対応する投影との間の対応関係は、よく知られている。本発明では、直線（パラメトリック形状）に幾何的制約を適用し、３つの視点にわたって同一のネジに対応する直線を決定すると共に、３Ｄの直線を再構成する。
【００５７】
線投影の幾何学的性質
３つの視点で撮像される３空間における直線Ｌを考える。ｌｉをビューｉにおけるＬの投影とし、Ｐｉをビューｉの投影行列とする。投影行列を用いて、ワールド座標系におけるカメラ中心を通る光線に画像点を逆投影することができる。画像平面における直線の両方の端点は、個別の光線として逆投影することができる。代替的に、画像線ｌｉの逆投影は、πｉとしてビューｉにおける平面に対応する。
【００５８】
【数４】
【００５９】
式中、Ａ〜Ｄは任意の定数である。
【００６０】
対応関係の決定
ビンには複数のネジがあるため、異なる視点から同一のネジに対応する直線を特定する必要がある。本発明では、３つの任意の平面は通常、単一の直線において交わらないという特性を用いて、対応関係を得る。この幾何学的な交差制約は、３つの平面の係数によって定義される４×３の行列
【００６１】
【数５】
【００６２】
はランク２でなければならないという要件によって表される。この幾何学的制約は、式（５）の４つの３×３の部分行列の行列式がゼロである場合に満足される。実際には、対応関係にある直線でさえ、画像測定値におけるノイズのため、これらの部分行列の行列式はゼロではなく小さい。したがって、本発明では、３本一組の直線毎に４つの行列式の値の合計を対応関係コストとして決定し、最小コストを選択する。
【００６３】
３Ｄ直線の再構成
本発明では、同一のネジに対応する３本の直線を決定した後に、ネジの軸を通る３Ｄ直線を決定する。３Ｄにおける直線の方程式は、
【００６４】
【数６】
【００６５】
であり、式中、Ｘ０は直線上の点であり、Ｘ１は直線の方向である。直線の方向は、可能であれば、全ての平面の法線に垂直なものとして決定される。これは、ＡＸ１＝０を解くことによって得ることができる。最小二乗の意味での最適解は、行列Ａの最小特異値に対応する右特異ベクトルによって与えられる。本発明では、Ｘ０を、３つの平面に最も近い点として選択する。この点は、ＡＸ０＝−ｂの最小二乗解により見つけることができる。
【００６６】
退化構成
２つの平面が平行に近い場合、他方の平面に関係なく、式（５）の行列のランクは２に近く、対応関係を決定することが難しくなる。したがって、本発明では、それら２つの平面の法線間の角度を確認することによって、そのような平面の対は無視する。これは主に、ネジの軸が２つのカメラ位置間の平行移動と揃っている場合に生じる。３つのカメラ視点をランダムに選択すれば、カメラ対間の３つの平行移動方向の全てが退化方向になる。これを避けるために、本発明では、カメラを直線上で移動させ、これにより、退化方向が１つだけになるようにする。さらに、本発明では、この移動方向を変化させて、以後のピッキング中に様々な姿勢のネジを処理する。
【００６７】
２つの視点を用いた３Ｄ直線の再構成
２つの視点からの２つの非退化平面が常に直線上で交差しているため、２つの視点を用いた対応関係の決定は通常、難しい。しかし、対応関係は、３Ｄ直線がワールド座標系における何らかの平面の周囲にあると仮定すれば決定することができる。
【００６８】
したがって、本発明では、Ｚ＝Ｚ０平面を２つの視野平面と共に用いて、３つのビューの場合と同じ方法で対応関係コストを求める。このコストは、Ｚ位置がＺ０に近く、角度が水平に近いネジに有利である。本発明では、対応関係を決定した後、３Ｄ直線を２つの視野平面の交差として、Ｚ＝Ｚ０平面を用いることなく再構成する。
【００６９】
位置の推定
本発明では、式（６）を用いて３Ｄ直線を再構成した後、各ビューにおける２Ｄ直線の端点を逆投影し、逆投影された視線光線（ｖｉｅｗｉｎｇ ｒａｙ）と、再構成された３Ｄ直線との間の交差点を決定することによって、ネジに対応する線分を求める。さらに、本発明では、再構成された線分の長さをネジの物理的な長さと比較することによって、再構成された線分を検証する。線分の中心は、３Ｄの把持位置として選択される。
【００７０】
最後に、本発明では、ネジの頭に対応する線分の端点を決定する。まず、本発明では、全ての視点において最大画像を決定する。これは単純に、８枚の画像にわたる画素毎の最大値である。ネジの頭は、ネジの本体に比べて比較的曲率の低い滑らかな領域である。したがって、ネジの頭の鏡面ハイライトは、より大きな近傍において移動し、交互の点滅が、ネジの先端に比べて、最大画像においてより明るいパッチを生じる。
【００７１】
本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行うことができることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入る、そのような変形及び修正を全て網羅することである。
【技術分野】
【０００１】
本発明は、包括的には物体の姿勢を求めることに関し、特に、ネジ及びボルトのような、鏡面反射性で、実質的に円筒形でネジ山を有する物体に関する。
【背景技術】
【０００２】
コンピュータービジョンのシステム及び方法は、産業用ロボットによって行われるような組み立て作業を自動化するために頻繁に用いられている。しかし、多くの産業環境に多く見られる、小型で光沢のある、すなわち鏡面反射性の物体は依然として、コンピュータービジョンの応用に大きな課題を呈する。鏡状の透明又は半透明の表面を有する物体は、ノイズ源として扱われることの多い材料特性を有し、従来の技法はこのノイズを低減しようと試みている。これは、鏡面反射性が高いか、又は高い半透明性を有する物体は、これらの材料特性を抑制することが難しいため、従来のコンピュータービジョン技法では処理できないことを意味する。
【０００３】
コンピュータービジョンは、ビンピッキング（ｂｉｎ ｐｉｃｋｉｎｇ）に用いられてきた。ビンピッキングでは、主な問題は、物体の姿勢及び同一物体のビンにおいて物体の姿勢を求めることである。本明細書中で定義されるとき、６Ｄの姿勢は、物体の３Ｄの位置及び３Ｄの向きである。コンピュータービジョンシステムの開発は、産業用部品の金属表面の鏡面反射、及び多くの同一物体から成る雑然としたビンにおける遮蔽のために課題となっている。
【０００４】
モデルに基づく姿勢推定は、３Ｄモデル−２Ｄ画像の対応関係を決定する。残念ながら、３Ｄ−２Ｄの点の対応関係は、テクスチャのない表面を有する産業用部品の場合、得ることが難しい。この状況は、ビンにおいて複数の同一物体が互いに重なっており、遮蔽が起こる可能性がある場合に特に厳しい。
【０００５】
物体の輪郭は、物体の形状及び姿勢に関する豊富な情報を提供する。様々な輪郭マッチング方法が知られている。しかしながら、鏡面反射物体の場合、雑然としたビンにおいて輪郭情報を得るのは難しい。なぜなら、それらの物体は、画像中で自身の外観を持たず、それどころか周囲の環境を反射するからである。
【０００６】
姿勢推定問題にはレンジセンサーが広く用いられている。レンジデータは、ケーブルのような可撓性のある産業用部品の物体の位置及び形状を生成及び検証するために用いることができる。しかしながら、鏡面反射が存在する場合、レンジセンサーは、正確な奥行きマップを作成することができず、カメラに基づく解決策に比べてより高価となる。
【０００７】
アクティブ照明パターンは、コンピュータービジョン方法の大きな助けとなることができる。例えば、変化する照明条件で観測されるパッチの輝度を用いて、表面パッチの向きを推定することができ、それらを３Ｄモデルと照合する。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、鏡面反射は一般に、マシーンビジョン方法ではノイズ源として扱われてきた。ほとんどの方法は、鏡面反射を特定し、ノイズとして除去する。
【０００９】
鏡面反射性の高い鏡状の表面に対する１つの画像不変な方法は、湾曲のない領域では面法線が変化しないという事実を利用する。ほとんどの産業用物体の場合、これは、あまり実用的な特徴ではない。なぜなら、物体は通常、いくつかの平面及びいくつかの角から成り、これらの物体に関する特徴的な情報は、それらの角及び接合部にあるからである。
【課題を解決するための手段】
【００１０】
本発明の実施の形態は、２Ｄ画像から３Ｄ物体及びそれらの６Ｄ姿勢を特定する方法及びシステムを提供する。この方法及びシステムは、コンピュータービジョン支援によるロボット組み立てに用いることができる。具体的には、それらの物体は、鏡面反射性が高い、すなわち鏡状である。
【００１１】
照明源が移動すると、鏡面ハイライトは、表面の曲率に反比例する距離を移動する。これにより、本発明では、これらの領域を抽出し、これらの領域を物体の特徴として用いることができる。
【００１２】
本発明では、マルチフラッシュカメラ（ＭＦＣ：Ｍｕｌｔｉ Ｆｌａｓｈ Ｃａｍｅｒａ）を、移動する照明源として用いる。本発明では、複数の視点から画像を取得すると、物体を三角測量し、その６Ｄ姿勢を得ることができる。把持アームを有するロボットシステムにおいて、本発明では、雑然としたビン内の光沢のあるネジ又はボルトの自動検出及び姿勢推定を行い、０．５ｍｍ未満の位置誤差及び０．８°未満の向き誤差を達成することができる。
【００１３】
例示的な応用において、物体は、雑然としたビンにおける小型の金属ネジである。ネジは、多くの製造工程において用いられる物体の最も基本的な種類を成す。毎年、ネジ山のあるネジが、あらゆる他の機械部品よりも多く生産されている。
【００１４】
従来の組み立てラインでは、ネジは、部品ホルダーに既知の姿勢で配置され、ロボットグリッパーがこれらのネジを操作する。この動作は、部品供給機のような、ネジの種類毎に特別に設計されたハードウェアを必要とするか、又は手作業で行われる。
【００１５】
大多数のネジは金属製で光沢があるため、従来のマシーンビジョン方法では容易に処理することができない。さらに、ビンにおけるネジの姿勢推定は、雑然さ及び遮蔽のために、非常に困難な問題である。本発明の方法によれば、物体の鏡面反射特徴を、雑然としたビンの画像から抽出することができる。本発明では、複数の画像中の同一のネジから得た特徴を照合することによってネジの姿勢を推定する。この照合は、ビン全体が、様々な姿勢の同一のネジの多くのインスタンスを含むため、特に難しい。この問題を解決するために、本発明では、１本の直線で交わる３つの平面の依存性からランク２制約を用いて、姿勢推定のための対応関係及び三角測量を確立する。
【発明の効果】
【００１６】
本発明は、鏡面反射物体の姿勢を求めるために用いることができる。鏡面反射性の高い物体における曲率の高い領域は、照明源の位置にほとんど無関係の鏡面反射を生じ、鏡面反射は、物体の検出及び姿勢推定のための独特な特徴として使用することができる。
【００１７】
本発明では、安価なマルチフラッシュカメラを用いて、そのような鏡面反射特徴を確実に検出する。本発明では、ネジを例示的な部品として用い、三角測量を用いた姿勢推定のための２つのビューに基づく方法及び３つのビューに基づく方法を開発する。この方法は、産業用ロボットに実施され、３Ｄの姿勢推定のために非常に高い位置及び角度の精度を有する。
【００１８】
本発明では、鏡面反射をノイズとして扱わず、むしろ、鏡面反射物体を検出及び認識し、鏡面反射物体と相互作用する能力を高めることができ、そして実際に高める特徴として扱う。鏡面反射物体上の曲率の高い領域では、これは、マシーンビジョン作業を確実に行うために用いることができる、非常に一貫性がありロバストな特徴となる。
【００１９】
物体における曲率の高い領域は、広い角度範囲にわたる法線を有するため、これらの領域は、照明位置に関係なく、ほとんど常に鏡面反射を生成する。これらの鏡面反射の検出は、物体の表面上の曲率の非常に高い領域を示すように機能する。
【００２０】
マルチフラッシュカメラの使用は、これらの鏡面反射特徴の検出及び抽出を支援する。これらの曲率の高い領域は、産業用物体に独特なシグネチャを与え、このシグネチャは、物体の検出、認識、及び姿勢推定に用いることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態による、物体の姿勢を求めるシステムの概略図である。
【図２】本発明の実施の形態による、物体の姿勢を求める方法のフロー図である。
【図３】本発明の実施の形態による、円筒形の物体から反射された直線の分析の概略図である。
【図４Ａ】曲率の高い領域における鏡面ハイライトを比較する概略図である。
【図４Ｂ】曲率の低い領域における鏡面ハイライトを比較する概略図である。
【図４Ｃ】本発明の実施の形態による、局所的に球状の反射領域を有するボルトの概略図である。
【図４Ｄ】本発明の実施の形態による、ネジ山の一部の断面図である。
【図５】本発明の実施の形態による、カメラの投影中心及びネジの軸を結合する平面上の検出された鏡面反射線分の概略図である。
【発明を実施するための形態】
【００２２】
システムの概略
図１は、本発明の実施形態による、物体の姿勢を求めるシステム１００及び方法２００を示す。特に、物体は、同一のネジのビン１０５に配置された金属製のネジ又はボルト１０２である。例えば、ビンは、約２００個の２５ｍｍのＭ４ネジを含む（ＩＳＯ６８−１及びＩＳＯ２６１を参照）。
【００２３】
本発明では、マルチフラッシュカメラ１２０が取り付けられた６軸の産業用ロボットアーム１１０を用いる。ＭＦＣは、レンズの周囲に配置された複数の点光源を有し、シーンを各光源で照明しながら画像を取得する（参照により本明細書中に援用する米国特許第７，７３８，７２５号を参照）。
【００２４】
ＭＦＣは、市松格子パターンを用いて内部校正及び外部校正の双方をされる。グリッパー−カメラの校正は、ロボットアームがグリッパーを用いて物体と相互作用すると共に物体を把持することができるように行われる。
【００２５】
図２は、方法２００のステップを示す。この方法は、当該技術分野において知られているような、メモリ及び入出力インターフェースを含むプロセッサにおいて行うことができる。本発明では、Ｎ個の照明源及び複数の視点の各々に関してビンの画像を取得し（２１０）、鏡面反射特徴を抽出する（２２０）。図２は、本発明の方法２００の概略を示す。
【００２６】
本発明では、複数の視点の画像にわたって、同一のネジに対応する直線を特定し（２３０）、ネジの３Ｄ軸を再構成すること（２５０）によってネジの姿勢を推定する。次に、グリッパーが、推定された姿勢を用いてネジを把持し（２４０）、以後の組み立て作業を行う。
【００２７】
鏡面反射特徴の抽出
反射分析
図３は、本発明による、カメラ１２０及び光源３０１の分析を概略的に示す。点Ｐが、任意の一次元曲線Ｃ上に配置される。点Ｐにおける接触円の半径をｒとする。すると、Ｐにおける曲率Ｋは、次のように表される。
【００２８】
【数１】
【００２９】
点Ｐにおけるε球近傍を考える。εが十分に小さい場合、本発明における分析の目的のため、この近傍の曲率は一定であるとみなす。本発明では、接触円Ｏの中心を原点とし、Ｙ軸がＰを通り、Ｘ軸がＴに直交する２次元座標軸を考える。この「ε球」は曲線Ｃと、Ａ及びＢにおいて交わり、次の式が成り立つ。
【００３０】
【数２】
【００３１】
ここで、Ｙ軸上のカメラからＡに向かう光線を考える。カメラ中心は（０，ｙ０）上にあり、ｙ０≫εとする。これは、カメラ中心から到来する光線が、図３に示すようにＹ軸３０２に平行であると考えられることを意味する。この光線は、Ａにおける法線と角度θを成し、この法線から角度θで反射される。
【００３２】
対称的な分析は、点Ｂに関しても成り立つ。これは、光源が［−２θ ２θ］の円錐内の任意の場所に配置されれば、カメラは、このε近傍から鏡面反射を受け取ることを示す。固定円錐［−２θ ２θ］の場合、遠くにあるカメラの仮定を用いることによって、ε近傍の大きさは、点の曲率ε＝（２／ｋ）ｓｉｎ（θ／２）に反比例する。
【００３３】
曲率が大きくなるほど、点の小近傍内で反射が見えるようになる（図４Ａを参照）。対照的に、湾曲がほとんど平坦である場合、すなわち、曲率がゼロに近い場合、点の近傍内で反射は見えなくなる（図４Ｂを参照）。以下では、この事実を利用し、物体の曲率の高い領域上の特徴点を検出する方法を説明する。この分析は、鏡状の反射を仮定する。鏡面反射ローブを考えると、この光線の円錐は、さらに２σだけ増やすことができ、ここで、σは鏡面反射ローブの幅である。
【００３４】
この分析は、２次元表面Ｓに拡張することができる。主曲率は、所与の点において様々な方向に沿って測定した曲率の最小値及び最大値として定義される。表面のガウス曲率Ｋは、次式で表される主曲率の積である。
【００３５】
【数３】
【００３６】
同様に、２次元表面の場合、反射は、点のガウス曲率が大きくなるほど、点のより小さな近傍内で見えるようになる。小近傍内で反射を観測するには、両方の主曲率が大きくなければならない。例えば、半径の小さな球は、その球上の全ての点で、その両方の主曲率が大きな（ｋ１＝ｋ２＝１／ｒ）表面である。したがって、反射が小近傍内で見える。対照的に、円筒形の物体上の点のガウス曲率は、表面が１つの方向にしか曲がらないため、ゼロである。したがって、反射が直近傍内で見えない場合がある。
【００３７】
ＭＦＣに基づく特徴抽出
特徴抽出工程は、両方の方向に、すなわち両方の主曲率に沿って曲がり、法線がカメラに向かう、ガウス曲率が大きい鏡面反射面上の点を決定する。２番目の要件は制約のように見えるが、実際に、曲率の高い領域は、面法線の大きな集合にわたる。これらの特徴は、後述する３Ｄ再構成及び姿勢推定に十分な情報を提供する。
【００３８】
ＭＦＣは、カメラの周囲に円形に配置された８個の点光源（ＬＥＤ）を含むアクティブ照明に基づくカメラである。カメラの周囲の異なるＬＥＤが点滅するにつれて、表面上の鏡面ハイライトが、局所曲率に応じて移動する。上記の分析から、鏡面ハイライトが、表面曲率の高い全ての点に関して、非常に局所的な近傍に残ることは明らかである。
【００３９】
本発明では、この手掛かりを利用して、カメラに向かう法線を有する物体上の高い曲率領域に対応する画素を検出する。これらの画素は、物体の３Ｄ形状及びそのカメラに対するその相対的な姿勢の両方に特有の特徴として働く。
【００４０】
本発明の鏡面反射特徴の抽出工程は、次の通りである。本発明では、８個のフラッシュに対応する８枚の画像を取得する。これを３つの視点に関して繰り返す。フラッシュを用いない画像も１枚取得する。次に、フラッシュを用いない周囲画像を各フラッシュ画像から減算し、周囲照明の効果を除去する。したがって、合計で２５枚の画像（３×８）＋１となる。
【００４１】
周囲光の減算後、ｉ番目のＬＥＤのフラッシュ時間中に画像Ｉｉを取得する。画像Ｉｉ中の各画素における最小強度を用いて、最小照明画像Ｉｍｉｎ（ｘ，ｙ）＝ｍｉｎｉＩｉ（ｘ，ｙ）を構築する。この最小照明画像は、地表面アルベドと同様である。本発明で考慮する表面は、鏡面反射性が高く、鏡面ハイライトは、画像間を移動するため、最小照明画像は、全ての鏡面反射領域に関して暗く見える。
【００４２】
本発明では、周囲減算画像対最小照明画像の比画像ＲＩｉ＝Ｉｉ／Ｉｍｉｎを決定する。理想的には、鏡面ハイライトを有する領域における比の値は１より遥かに大きいが、非ハイライト領域における比の値は、１に近いままである。この情報を利用して、各フラッシュ画像におけるハイライト領域（鏡面反射）を検出する。
【００４３】
上述したように、変化するフラッシュ位置により、図４Ａに示すように、曲率の高い領域では鏡面ハイライトは小近傍内にとどまる一方、図４Ｂに示すように、曲率の低い（平坦な）領域ではハイライトは大きく移動する。
【００４４】
本発明では、ε近傍を選択し、このε近傍内で鏡面ハイライトが観測されたフラッシュ画像の枚数を決定する。曲率の高い領域に対応する画素の場合、鏡面ハイライトはε近傍内にとどまるため、鏡面ハイライトは、このε近傍内の全てのＭＦＣ画像において観測される。
【００４５】
低曲率領域に対応する画素の場合、鏡面ハイライトは、ε近傍の外に移動するため、このε近傍内で鏡面ハイライトが観測される画像の枚数は、８枚未満となる。均等拡散面に対応する画素は、最小画像に対する正規化のため、自動的にフィルタリングされる。
【００４６】
姿勢推定
ネジ及びボルト上の鏡面反射特徴
ネジ及びボルトは通常、実質的に円筒形状の物体である。本明細書中で定義するように、実質的に円筒形とは、円錐形の物体、及び物体の円の直径がその長さよりも実質的に小さく、物体がその軸に関して対称である、任意の物体を含む。
【００４７】
上述したように、物体の軸に垂直な方向の曲率は高いが、この軸に平行な方向の曲率は小さい。これにより、物体のガウス曲率は小さくなる。次に、表面にネジ山を加える影響を考える。
【００４８】
ネジ山
ネジ山は通常、螺旋（又は円錐形の渦巻き）として近似され、軸に略平行な方向においても、物体の本体上の全ての点に対して高い曲度を与える。これにより、照明方向に関係なく、ε近傍において鏡面ハイライトが確実に見えるようになる。鏡面反射特徴は、上述のように抽出される。
【００４９】
したがって、ネジ山の影響は、ネジ又はボルトの局所領域を、曲度の高い又は面法線の変化度の高い実質的に球状４２０に見せることである。この現象を図４Ｃに示す。例えば、１８０°の曲率が画像中の５０個〜１０個の画素にわたって見える場合、曲度は高い一方、曲率が１００画素にわたって広がっている場合、曲度は小さい。
【００５０】
図４Ｄはさらに、ネジ山の小さな断面部分に関してこの影響を示す。ここで、ｋ１及びｋ２は主曲率であり、領域４２０は、球状に見える。
【００５１】
図１に示すように、ネジの形状は実質的に円筒形である。上記のように、本発明における定義では、円筒形の物体は、円錐形の物体を含む。円柱の表面上の直線５０１は、検出された鏡面反射特徴を表す。値πは、これらの直線がカメラＣ１及びＣ２の中心と形成する直線を表す。鏡面反射特徴は、カメラに向かう法線を有する曲率の高い領域上で検出される。ネジの形状を螺旋で近似すると、カメラに対向する螺旋上の複数の点は、直線に沿って配置される。さらに、この直線は、カメラの中心とネジの軸とを結合する平面上にある。
【００５２】
例えば、表面は、曲度がｒ／Ｄ≪０．０１である場合、大きく湾曲している。ここで、ｒは、特定の点における湾曲した領域の半径であり、Ｄは、湾曲した領域の中心とカメラとの間の距離である。
【００５３】
本発明では、ネジ上の鏡面反射特徴を線分で表す。パラメトリック形状の当てはめのために、本発明では、よく知られた「ランダムサンプルコンセンサス」（ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ：ＲＡＮＳＡＣ）法の変形を用いる。ＲＡＮＳＡＣは、外れ値を含む観測データの集合からモデルのパラメーターを推定するための反復法である。これは、非決定的であり、反復回数に基づいて或る程度の確率を有する合理的な結果を生成する。
【００５４】
ＲＡＮＳＡＣ法は、点及びそれらの方向の小さな部分集合を選択することによって様々な直線を最初に仮定する。直線のサポート（ｓｕｐｐｏｒｔ）は、小さな残差内の直線の方程式を満たし連続構造を形成する点の集合によって与えられる。最大のサポートを有する線分が保持され、サポートが数個の点よりも小さくなるまで、より小さな集合を用いてこの手順が繰り返される。ＲＡＮＳＡＣ法は、線分毎に正常点（ｉｎｌｉｅｒ ｐｏｉｎｔｓ）を提供する。次に、本発明では、この正常点に対して最小二乗推定を用いて各線分を精緻化する。
【００５５】
姿勢推定
本発明では、ネジの姿勢を推定するために、ネジの位置及び向き（姿勢）を一意に決定するネジの軸に対応する３Ｄ直線を再構成する。本発明では、複数のカメラ視点から鏡面反射特徴を決定する。上述したように、検出された鏡面反射線分は、図５に示すように、ｉ番目のカメラの投影中心と、ネジの軸とを結合する平面πｉ上にある。ネジの軸に対応する３Ｄ直線の再構成は、これらの平面の交差によって与えられる。
【００５６】
３つの視点を用いた３Ｄ直線の再構成
３Ｄのパラメトリック直線と、複数の視点に関して取得された画像におけるその対応する投影との間の対応関係は、よく知られている。本発明では、直線（パラメトリック形状）に幾何的制約を適用し、３つの視点にわたって同一のネジに対応する直線を決定すると共に、３Ｄの直線を再構成する。
【００５７】
線投影の幾何学的性質
３つの視点で撮像される３空間における直線Ｌを考える。ｌｉをビューｉにおけるＬの投影とし、Ｐｉをビューｉの投影行列とする。投影行列を用いて、ワールド座標系におけるカメラ中心を通る光線に画像点を逆投影することができる。画像平面における直線の両方の端点は、個別の光線として逆投影することができる。代替的に、画像線ｌｉの逆投影は、πｉとしてビューｉにおける平面に対応する。
【００５８】
【数４】
【００５９】
式中、Ａ〜Ｄは任意の定数である。
【００６０】
対応関係の決定
ビンには複数のネジがあるため、異なる視点から同一のネジに対応する直線を特定する必要がある。本発明では、３つの任意の平面は通常、単一の直線において交わらないという特性を用いて、対応関係を得る。この幾何学的な交差制約は、３つの平面の係数によって定義される４×３の行列
【００６１】
【数５】
【００６２】
はランク２でなければならないという要件によって表される。この幾何学的制約は、式（５）の４つの３×３の部分行列の行列式がゼロである場合に満足される。実際には、対応関係にある直線でさえ、画像測定値におけるノイズのため、これらの部分行列の行列式はゼロではなく小さい。したがって、本発明では、３本一組の直線毎に４つの行列式の値の合計を対応関係コストとして決定し、最小コストを選択する。
【００６３】
３Ｄ直線の再構成
本発明では、同一のネジに対応する３本の直線を決定した後に、ネジの軸を通る３Ｄ直線を決定する。３Ｄにおける直線の方程式は、
【００６４】
【数６】
【００６５】
であり、式中、Ｘ０は直線上の点であり、Ｘ１は直線の方向である。直線の方向は、可能であれば、全ての平面の法線に垂直なものとして決定される。これは、ＡＸ１＝０を解くことによって得ることができる。最小二乗の意味での最適解は、行列Ａの最小特異値に対応する右特異ベクトルによって与えられる。本発明では、Ｘ０を、３つの平面に最も近い点として選択する。この点は、ＡＸ０＝−ｂの最小二乗解により見つけることができる。
【００６６】
退化構成
２つの平面が平行に近い場合、他方の平面に関係なく、式（５）の行列のランクは２に近く、対応関係を決定することが難しくなる。したがって、本発明では、それら２つの平面の法線間の角度を確認することによって、そのような平面の対は無視する。これは主に、ネジの軸が２つのカメラ位置間の平行移動と揃っている場合に生じる。３つのカメラ視点をランダムに選択すれば、カメラ対間の３つの平行移動方向の全てが退化方向になる。これを避けるために、本発明では、カメラを直線上で移動させ、これにより、退化方向が１つだけになるようにする。さらに、本発明では、この移動方向を変化させて、以後のピッキング中に様々な姿勢のネジを処理する。
【００６７】
２つの視点を用いた３Ｄ直線の再構成
２つの視点からの２つの非退化平面が常に直線上で交差しているため、２つの視点を用いた対応関係の決定は通常、難しい。しかし、対応関係は、３Ｄ直線がワールド座標系における何らかの平面の周囲にあると仮定すれば決定することができる。
【００６８】
したがって、本発明では、Ｚ＝Ｚ０平面を２つの視野平面と共に用いて、３つのビューの場合と同じ方法で対応関係コストを求める。このコストは、Ｚ位置がＺ０に近く、角度が水平に近いネジに有利である。本発明では、対応関係を決定した後、３Ｄ直線を２つの視野平面の交差として、Ｚ＝Ｚ０平面を用いることなく再構成する。
【００６９】
位置の推定
本発明では、式（６）を用いて３Ｄ直線を再構成した後、各ビューにおける２Ｄ直線の端点を逆投影し、逆投影された視線光線（ｖｉｅｗｉｎｇ ｒａｙ）と、再構成された３Ｄ直線との間の交差点を決定することによって、ネジに対応する線分を求める。さらに、本発明では、再構成された線分の長さをネジの物理的な長さと比較することによって、再構成された線分を検証する。線分の中心は、３Ｄの把持位置として選択される。
【００７０】
最後に、本発明では、ネジの頭に対応する線分の端点を決定する。まず、本発明では、全ての視点において最大画像を決定する。これは単純に、８枚の画像にわたる画素毎の最大値である。ネジの頭は、ネジの本体に比べて比較的曲率の低い滑らかな領域である。したがって、ネジの頭の鏡面ハイライトは、より大きな近傍において移動し、交互の点滅が、ネジの先端に比べて、最大画像においてより明るいパッチを生じる。
【００７１】
本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行うことができることが理解されるべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入る、そのような変形及び修正を全て網羅することである。
【特許請求の範囲】
【請求項１】
物体の姿勢を求める方法であって、前記姿勢は、前記物体の位置及び向きであり、前記物体は、鏡面反射性であり、前記方法は、
前記物体の画像の複数の組をカメラにより取得するステップであって、前記物体は、湾曲した領域を有し、前記湾曲した領域の曲度は、ｒ／Ｄ≪０．０１であり、ここで、ｒは前記湾曲した領域の特定の点における半径であり、Ｄは前記湾曲した領域の中心と、前記カメラとの間の距離であり、前記カメラは、前記画像の各前記組に関して異なる視点にあり、各前記組における各前記画像は、シーンが異なる方向から照明されている間に取得される、取得するステップと、
各前記画像から特徴の組を抽出するステップであって、前記特徴は、前記カメラに向かう法線を有する前記湾曲した領域上の前記特定の点に対応する、抽出するステップと、
各前記画像に関して前記特定の点にパラメトリック形状を当てはめるステップと、
前記パラメトリック形状に対して幾何学的制約を適用するステップであって、前記物体の前記姿勢を求める、適用するステップと、
を含む物体の姿勢を求める方法。
【請求項２】
前記カメラはロボットのアーム上に配置され、
前記方法は、前記姿勢に応じて前記物体を把持するステップ、
をさらに含む、請求項１に記載の物体の姿勢を求める方法。
【請求項３】
前記カメラは、レンズの周囲に配置された点光源の組を有する、請求項１に記載の物体の姿勢を求める方法。
【請求項４】
前記物体は、複数の同一物体と共にビンに配置される、請求項１に記載の物体の姿勢を求める方法。
【請求項５】
前記特定の点における曲率Ｋは、Ｋ＝１／ｒであり、ここで、ｒは半径である、請求項１に記載の物体の姿勢を求める方法。
【請求項６】
前記曲率はガウス曲率であり、主曲率の積ｋ１ｋ２である、請求項５に記載の物体の姿勢を求める方法。
【請求項７】
前記照明は、前記点光源の組から行われ、前記画像の各前記組は、周囲光で取得される周囲画像を含み、
前記周囲画像を前記組の他の画像のそれぞれから減算するステップと、
前記減算後に最小照明画像を決定するステップと、
前記最小照明画像から比画像を決定するステップであって、鏡面反射を検出する、決定するステップと、
をさらに含む、請求項３に記載の物体の姿勢を求める方法。
【請求項８】
前記物体はネジであり、前記湾曲した領域は、円錐形の渦巻き状のネジ山に対応する、請求項１に記載の物体の姿勢を求める方法。
【請求項９】
前記物体はボルトであり、前記湾曲した領域は、螺旋状のネジ山に対応する、請求項１に記載の物体の姿勢を求める方法。
【請求項１０】
前記パラメトリック形状は直線であり、前記直線は、前記カメラの中心と、前記物体の軸とを結合する平面上にある、請求項１に記載の物体の姿勢を求める方法。
【請求項１１】
前記当てはめは、ランダムサンプルコンセンサス法（ＲＡＮＳＡＣ）の変形を用いる、請求項１に記載の物体の姿勢を求める方法。
【請求項１２】
前記幾何学的制約は、１本の直線で交わる３つの平面の依存性から生じるランク２制約であり、前記物体の前記姿勢を求めるために用いられる、請求項１に記載の物体の姿勢を求める方法。
【請求項１３】
物体の姿勢を求めるシステムであって、前記姿勢は、前記物体の位置及び向きであり、前記物体は、鏡面反射性であり、前記システムは、
前記物体の画像の複数の組を取得するカメラであって、前記物体は、湾曲した領域を有し、前記湾曲した領域の曲度は、ｒ／Ｄ≪０．０１であり、ここで、ｒは前記湾曲した領域の特定の点における半径であり、Ｄは前記湾曲した領域の中心と、前記カメラとの間の距離であり、前記カメラは、前記画像の各前記組に関して異なる視点にあり、各前記組における各前記画像は、シーンが異なる方向から照明されている間に取得される、カメラと、
各前記画像から特徴の組を抽出する手段であって、前記特徴は、前記カメラに向かう法線を有する前記湾曲した領域上の前記特定の点に対応する、抽出する手段と、
各前記画像に関して前記特定の点にパラメトリック形状を当てはめる手段と、
前記パラメトリック形状に幾何学的制約を適用する手段であって、前記物体の前記姿勢を求める、適用する手段と、
を備える物体の姿勢を求めるシステム。
【請求項１４】
前記物体は、複数の同一物体と共にビンに配置される、請求項１３に記載の物体の姿勢を求めるシステム。
【請求項１５】
ロボットのアームであって、前記カメラは、前記アーム上に配置される、アームと、
前記姿勢に応じて前記物体を把持する手段と、
をさらに備える、請求項１３に記載の物体の姿勢を求めるシステム。
【請求項１】
物体の姿勢を求める方法であって、前記姿勢は、前記物体の位置及び向きであり、前記物体は、鏡面反射性であり、前記方法は、
前記物体の画像の複数の組をカメラにより取得するステップであって、前記物体は、湾曲した領域を有し、前記湾曲した領域の曲度は、ｒ／Ｄ≪０．０１であり、ここで、ｒは前記湾曲した領域の特定の点における半径であり、Ｄは前記湾曲した領域の中心と、前記カメラとの間の距離であり、前記カメラは、前記画像の各前記組に関して異なる視点にあり、各前記組における各前記画像は、シーンが異なる方向から照明されている間に取得される、取得するステップと、
各前記画像から特徴の組を抽出するステップであって、前記特徴は、前記カメラに向かう法線を有する前記湾曲した領域上の前記特定の点に対応する、抽出するステップと、
各前記画像に関して前記特定の点にパラメトリック形状を当てはめるステップと、
前記パラメトリック形状に対して幾何学的制約を適用するステップであって、前記物体の前記姿勢を求める、適用するステップと、
を含む物体の姿勢を求める方法。
【請求項２】
前記カメラはロボットのアーム上に配置され、
前記方法は、前記姿勢に応じて前記物体を把持するステップ、
をさらに含む、請求項１に記載の物体の姿勢を求める方法。
【請求項３】
前記カメラは、レンズの周囲に配置された点光源の組を有する、請求項１に記載の物体の姿勢を求める方法。
【請求項４】
前記物体は、複数の同一物体と共にビンに配置される、請求項１に記載の物体の姿勢を求める方法。
【請求項５】
前記特定の点における曲率Ｋは、Ｋ＝１／ｒであり、ここで、ｒは半径である、請求項１に記載の物体の姿勢を求める方法。
【請求項６】
前記曲率はガウス曲率であり、主曲率の積ｋ１ｋ２である、請求項５に記載の物体の姿勢を求める方法。
【請求項７】
前記照明は、前記点光源の組から行われ、前記画像の各前記組は、周囲光で取得される周囲画像を含み、
前記周囲画像を前記組の他の画像のそれぞれから減算するステップと、
前記減算後に最小照明画像を決定するステップと、
前記最小照明画像から比画像を決定するステップであって、鏡面反射を検出する、決定するステップと、
をさらに含む、請求項３に記載の物体の姿勢を求める方法。
【請求項８】
前記物体はネジであり、前記湾曲した領域は、円錐形の渦巻き状のネジ山に対応する、請求項１に記載の物体の姿勢を求める方法。
【請求項９】
前記物体はボルトであり、前記湾曲した領域は、螺旋状のネジ山に対応する、請求項１に記載の物体の姿勢を求める方法。
【請求項１０】
前記パラメトリック形状は直線であり、前記直線は、前記カメラの中心と、前記物体の軸とを結合する平面上にある、請求項１に記載の物体の姿勢を求める方法。
【請求項１１】
前記当てはめは、ランダムサンプルコンセンサス法（ＲＡＮＳＡＣ）の変形を用いる、請求項１に記載の物体の姿勢を求める方法。
【請求項１２】
前記幾何学的制約は、１本の直線で交わる３つの平面の依存性から生じるランク２制約であり、前記物体の前記姿勢を求めるために用いられる、請求項１に記載の物体の姿勢を求める方法。
【請求項１３】
物体の姿勢を求めるシステムであって、前記姿勢は、前記物体の位置及び向きであり、前記物体は、鏡面反射性であり、前記システムは、
前記物体の画像の複数の組を取得するカメラであって、前記物体は、湾曲した領域を有し、前記湾曲した領域の曲度は、ｒ／Ｄ≪０．０１であり、ここで、ｒは前記湾曲した領域の特定の点における半径であり、Ｄは前記湾曲した領域の中心と、前記カメラとの間の距離であり、前記カメラは、前記画像の各前記組に関して異なる視点にあり、各前記組における各前記画像は、シーンが異なる方向から照明されている間に取得される、カメラと、
各前記画像から特徴の組を抽出する手段であって、前記特徴は、前記カメラに向かう法線を有する前記湾曲した領域上の前記特定の点に対応する、抽出する手段と、
各前記画像に関して前記特定の点にパラメトリック形状を当てはめる手段と、
前記パラメトリック形状に幾何学的制約を適用する手段であって、前記物体の前記姿勢を求める、適用する手段と、
を備える物体の姿勢を求めるシステム。
【請求項１４】
前記物体は、複数の同一物体と共にビンに配置される、請求項１３に記載の物体の姿勢を求めるシステム。
【請求項１５】
ロボットのアームであって、前記カメラは、前記アーム上に配置される、アームと、
前記姿勢に応じて前記物体を把持する手段と、
をさらに備える、請求項１３に記載の物体の姿勢を求めるシステム。
【図１】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図５】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図５】
【公開番号】特開２０１２−１３３７５３（Ｐ２０１２−１３３７５３Ａ）
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−２２７７９９（Ｐ２０１１−２２７７９９）
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２４年７月１２日（２０１２．７．１２）
【国際特許分類】
【出願番号】特願２０１１−２２７７９９（Ｐ２０１１−２２７７９９）
【出願日】平成２３年１０月１７日（２０１１．１０．１７）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]