鏡面反射物体の３Ｄ姿勢を推定する方法
【課題】物体の３Ｄ姿勢を推定することに関し、より詳細には鏡面反射物体の３Ｄ姿勢を推定する。
【解決手段】方法が、環境内の３Ｄ鏡面反射物体の３Ｄ姿勢を推定する。前処理ステップにおいて、物体の３Ｄモデル及び該物体の姿勢のセットを使用して２Ｄ基準画像対のセットを生成する。各基準画像対は姿勢のうちの１つに関連付けられる。次に、物体の２Ｄ入力画像対を取得する。２Ｄ入力画像対内の特徴と各２Ｄ基準画像対内の特徴とを、概算コスト関数を使用して比較することによって物体の大まかな３Ｄ姿勢を推定する。概算推定値を、精密コスト関数を使用して精緻化する。
【解決手段】方法が、環境内の３Ｄ鏡面反射物体の３Ｄ姿勢を推定する。前処理ステップにおいて、物体の３Ｄモデル及び該物体の姿勢のセットを使用して２Ｄ基準画像対のセットを生成する。各基準画像対は姿勢のうちの１つに関連付けられる。次に、物体の２Ｄ入力画像対を取得する。２Ｄ入力画像対内の特徴と各２Ｄ基準画像対内の特徴とを、概算コスト関数を使用して比較することによって物体の大まかな３Ｄ姿勢を推定する。概算推定値を、精密コスト関数を使用して精緻化する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には物体の３Ｄ姿勢を推定することに関し、より詳細には鏡面反射物体の３Ｄ姿勢を推定することに関する。
【背景技術】
【０００２】
姿勢推定
３次元（３Ｄ）姿勢推定は、物体のロケーション（並進）及び角度配向を求める。一般的な姿勢推定方法は、２Ｄテクスチャ画像及び３Ｄ距離画像のような幾つかの手掛りに依存する。テクスチャ画像に基づく方法は、テクスチャが環境の変動に対し不変であると仮定する。しかしながら、この仮定は、激しい照度の変化又は陰影が存在する場合には真でない。これらの方法によって鏡面反射性の物体を扱うことができない。
【０００３】
距離画像に基づく方法は、物体の外観とは無関係の３Ｄ情報を利用するため、これらの問題を克服することができる。しかしながら、距離取得機器は単純なカメラよりも高価である。
【０００４】
幾つかの物体に関して、３Ｄ形状を再構築するのは非常に困難である。たとえば、鏡状物体又は光沢金属性物体のような鏡面反射性の高い物体の３Ｄ形状を回復することは困難であり、信頼度が低いことが既知である。
【０００５】
反射による手掛りは、テクスチャ又は距離による手掛りよりも姿勢変化に対する感度が高い。したがって、反射による手掛りによって、姿勢パラメータを非常に正確に推定することが可能になる。しかしながら、反射による手掛りが、姿勢の精緻化でなく、全体的な姿勢推定、すなわち物体検出に適用可能であるか否かは定かでない。
【０００６】
従来技術による方法は通常、外観に基づく。外観は、照度、陰影、及びスケールによる影響を受ける。したがって、これらの方法にとって、部分遮蔽、クラッタシーン、及び大きな姿勢変動のような関連する課題を克服することは困難である。これらの問題に対処するために、これらの方法は、点、線、及びシルエットのような照度に無関係の特徴、又は正規化相互相関（ＮＣＣ）のような照度の影響を受けないコスト関数を使用する。しかしながら、物体は十分にテクスチャ化される必要がある。特に鏡面反射物体に関して、激しい照度の変化は依然として問題であり得る。
【０００７】
様々な方法が、光源の歪んだ反射の識別及び追跡、並びに既知の特殊な特徴から、わずかな局所形状情報を導出する。光路三角測量の通常の枠組みを使用して密度測定値も得ることができる。しかしながら、これらの方法は通常、物体の周囲の環境の正確な較正及び制御を実施する必要があり、場合によっては、多くの入力画像を必要とする。
【０００８】
鏡面反射物体の再構築のための幾つかの方法は、環境較正を必要としない。これらの方法は、画像平面上の鏡面反射フロー（specular flow）を引き起こす小さな環境の動きを想定する。これらの方法では、鏡面反射フローを利用して未知の複雑な照明における鏡面反射形状の推測を単純化する。しかしながら、一対の線形偏微分方程式を解かなくてはならず、通常これは、実世界の応用においては簡単に推定されない初期状態を必要とする。
【０００９】
鏡面反射に基づいて姿勢を推定する１つの方法は、短い画像シーケンス及び標準的なテンプレートマッチングプロシージャによって計算される初期姿勢推定値を使用する。拡散成分及び鏡面反射成分はフレーム毎に分離され、推定される鏡面反射画像から環境マップが導出される。次に、姿勢精緻化プロセスの正確度を高めるために環境マップ及び画像テクスチャが同時に位置合わせされる。
【発明の概要】
【００１０】
本発明の実施の形態は、プロセッサ内で実施される、環境内の３Ｄ鏡面反射物体の３Ｄ姿勢を推定する方法を提供する。推定の基礎となるのは、２Ｄカメラによって取得される鏡面反射物体の２Ｄ画像内の特徴をマッチングすることである。
【００１１】
前処理ステップにおいて、物体の３Ｄモデル及び物体の可能性のある姿勢のセットから特徴が生成される。該特徴を使用して、可能性のある姿勢毎に一対、基準画像対のセットを生成する。
【００１２】
次に、物体の入力画像対が取得され、該入力画像から入力特徴も計算される。概算コスト関数を使用して、入力画像対内の特徴を基準画像対内の特徴と比較することによって、物体の大まかな３Ｄ姿勢が推定される。物体の精密な３Ｄ姿勢は、大まかな３Ｄ姿勢及び精密コスト関数を使用して推定される。
【００１３】
一実施の形態において、特徴は画像の鏡面反射強度である。３つ（ＲＧＢ）のチャネルが使用される場合、合成される強度は色である。小さな鏡状球体が環境内に配置され、画像対が、一方は短時間露光で、他方は長時間露光で取得される。これらの画像を使用して２Ｄ環境マップを構築する。このマップを使用して基準画像対を生成する。これらの基準画像対は、その後、入力画像対と比較され、鏡面反射物体の３Ｄ姿勢が推定される。
【００１４】
別の実施の形態では、特徴は画像内の鏡面反射フローである。鏡面反射フローはオプティカルフローの特殊なケースである。環境において動きを引き起こすことによって、３Ｄ姿勢のセットに関して鏡面反射フローが生成される。鏡面反射フローは基準画像対を生成するのに使用される。入力画像から入力鏡面反射フローも計算される。その後、基準画像対は入力鏡面反射フロー画像対と比較され、鏡面反射物体の３Ｄ姿勢が推定される。上述したように、精密コスト関数及び概算コスト関数を使用して、大まかな姿勢から精密な姿勢が推定される。
【発明の効果】
【００１５】
本発明は、鏡面反射を利用して、物体の３Ｄモデルを使用して３Ｄ物体の３Ｄ姿勢を全体的に推定する。本方法は、テクスチャがなく鏡面反射性の高い物体のような難解な物体に対処することができる。本方法は単純なマッチングコスト関数及び最適化手順を使用し、それによって本方法をグラフィックプロセッサユニット（ＧＰＵ）上で実施して性能を改善することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態による鏡面反射強度情報を使用して鏡面反射物体の３Ｄ姿勢を推定する方法の流れ図である。
【図２】本発明の実施形態による鏡面反射フロー情報を使用して鏡面反射物体の３Ｄ姿勢を推定する方法の流れ図である。
【図３】本発明の実施形態による入射光線を使用するステンシル選択の概略図である。
【図４】信頼度の高い画素及び信頼度の低い画素を有する基準画像の例である。
【発明を実施するための形態】
【００１７】
図１は、プロセッサ１００において実施される、環境１０２内の物体１０１の３Ｄ姿勢を推定する方法の流れ図である。ここで、物体は鏡面反射表面を有する。この実施形態において、特徴は鏡面反射強度である。３つ（ＲＧＢ）のチャネルが使用される場合、組み合わされる鏡面反射強度は色を有する。環境の２次元（２Ｄ）画像はカメラ１０３によって取得される。
【００１８】
３Ｄ姿勢はカメラの座標系における３Ｄ並進ベクトル（Ｘ，Ｙ，Ｚ）及び配向に関する３Ｄオイラー角（μ，φ，σ）によって定義される。一用途では、自動ロボットアームの用途において３Ｄ姿勢を使用して容器（bin）から物体を取り出す。
【００１９】
物体は、光沢金属性物体のように、テクスチャがなく鏡面反射性が高い。したがって、本方法が利用可能なデータは、２Ｄ画像における物体の鏡面反射のみである。物体とカメラとの間の距離はＺ≒Ｚ０である。この距離を使用して、投影の尺度を求めることができる。
【００２０】
本方法は、物体の形状、光度特性、及び照明照度のような高レベルの情報から開始するトップダウン手法を使用する。次に、２Ｄ画像における低レベルの特徴が生成され、該特徴を使用して３Ｄ姿勢が推定される。
【００２１】
本方法は、多数の可能性のある姿勢の変形１２２に関する鏡の双方向反射分布関数（ＢＲＤＦ）を使用して、３Ｄモデル１２１から基準画像１２５を生成する。ステップ１１０及び１２０は１回の前処理ステップとすることができる。
【００２２】
次に、２Ｄ入力画像１３１は基準画像と比較されて、鏡面反射物体の最も適合する３Ｄ姿勢１５１が求められる。このモデルは、ＣＡＤ／ＣＡＭモデル、多角形モデル、又は任意の他の適切なモデルとすることができる。
【００２３】
一実施形態では、小さな鏡状球体が物体を有しない環境１０２内に配置される。物体は、周囲環境、すなわち物体が取り出されるために中に置かれている容器の外側の領域から十分離れている。次に、取得されるこの環境の２Ｄ画像を使用して、照度情報を表す環境マップ１１１を生成することができる。この照度情報を使用して基準鏡面反射画像１２５を生成する（１２０）ことができる。これらの基準鏡面反射画像は入力画像との比較に使用される。
【００２４】
別の実施形態では、本方法は特徴として鏡面反射フローを使用する。鏡面反射フローは、物体、カメラ、又は環境の動きによって引き起こされるオプティカルフローとして定義される。鏡面反射フローは照明照度にではなく、物体の動き、形状、及び姿勢を変化させることに依存する。したがって、鏡面反射フローを、姿勢推定のための、照度に無関係の特徴として使用することができる。
【００２５】
環境マップに基づく手法
図１に示すように、物体の３Ｄ姿勢を推定する前に、球体の鏡状物体を配置することによって、環境１０２の一対の環境マップＥＬ及びＥＳ１１１を取得する（１１０）。これらのマップはそれぞれ、たとえば約１／４秒及び１／６０秒の長時間露光及び短時間露光を有する。同じ長時間露光及び短時間露光において、入力画像ＩＬ及びＩＳ１３１を取得する（１３０）。
【００２６】
大まかな姿勢推定
基準鏡面反射画像の生成
物体の３Ｄモデル１２１及び一対の環境マップＩＬ及びＩＳ１１１から、物体の可能性のある姿勢に対応する多数の所定の姿勢１２２に関して基準画像１２５が生成される。
【００２７】
したがって、オイラー角を均一に且つ高密度でサンプリングして、多数の、たとえば２５０００個の姿勢を定義する。基準画像は、ロケーション（０，０，Ｚ０）における様々なオイラー角（μ，φ，σ）に関するＲＬ及びＲＳである。相互反射及び自己遮蔽を無視することによって、反射マッピングを適用することによってＥＬ及びＥＳから完全鏡面反射画像を生成することができる。これはテクスチャマッピングの特殊なケースである。
【００２８】
基準鏡面反射画像１２５は、３Ｄロケーション及びカメラに対する物体の配向に依存する。しかしながら、カメラは小さい視野１０４を有し、物体の奥行きは既知である。したがって、異なる複数の３Ｄロケーションから生成される基準鏡面反射画像間の差異は無視することができる。これは大まかな姿勢推定１４０には十分である。
【００２９】
入力画像１３１を、基準鏡面反射画像１２５と比較し、以下を解くことによって大まかな姿勢１４１を推定する（１４０）。
【００３０】
【数１】
【００３１】
ただし、
【００３２】
【数２】
【００３３】
は大まかな姿勢１４１を表し、ＣＲ（）は比較のための概算コスト関数１３９であり、引数ｍｉｎは最小値を返す関数であり、内側の最小値は外側の最小値の前に求められる。
【００３４】
コスト関数１３９は、以下である。
【００３５】
【数３】
【００３６】
ただし、λは制御パラメータであり、Ｃ１（）及びＣ２（）はそれぞれ、長時間露光画像及び短時間露光画像に関するコスト関数である。これらの項を得るために、３Ｄ並進ベクトル（Ｘ，Ｙ，Ｚ０）が２Ｄ画像平面上に投影され、基準画像が投影点（ｘ，ｙ）に動かされる。次に、並進基準画像の各対が、対応する入力画像対と比較される。
【００３７】
ハイライト画素に基づいたコスト関数
通常、鏡面反射画像はハイライト画素と非ハイライト画素とを含む。ハイライト画素は、ランプ又は窓のような高強度の入射光を有する光源に対応する。したがって、画素値は通常飽和している。
【００３８】
ハイライト画素は第１項Ｃ１（）に使用される。物体は鏡面反射性が高いため、ハイライト画素は、短時間露光画像に対し二値化処理を適用して二値画像を作成することによって抽出することができる。
【００３９】
二値画像及び距離変換を使用して、入力ハイライト画素及び基準ハイライト画素にそれぞれ対応する距離画像ＤＩ及びＤＲを構築する。この距離変換は、二値画像を正確にマッチングするのに役立つ。ここで、コスト関数Ｃ１（）は以下のように定義される。
【００４０】
【数４】
【００４１】
ただし、（ｕ，ｖ）は画素座標であり、Ｎｈｉｇｈｌｉｇｈｔは総和が実行される画素数を表す。基準ハイライト画素及びそれらの１画素隣りの画素が、計算のためのステンシルとして使用される。
【００４２】
このハイライトに基づくコスト関数は以下の利点を有する。第１に、ハイライトは通常、入力画像において非常にわずかであるため、それらのハイライトを物体のロケーションに対する強力な制約として使用することができる。第２に、コスト分布は全鏡面反射画素を使用する従来のコスト関数のコスト分布よりも平滑である。第３に、ハイライトのステンシルは非常に少数の画素しか含まないため、このコストの計算を効率的に行うことができる。滑降シンプレックス法は、非常に高速に且つ安定して大域最小値に良好に収束する。
【００４３】
全鏡面反射画素に基づくコスト関数
第２項Ｃ２（）は全鏡面反射画素を考察する。
【００４４】
【数５】
【００４５】
ただし、ＮＣＣは正規化相互相関（ＮＣＣ）を表す。ここで、物体のセグメンテーションマスクをＮＣＣのためのステンシルとして使用することができる。しかしながら、幾何学的に信頼度の高い鏡面反射画素のみをステンシルとして使用することによって、実行時により良好な結果が生み出される。
【００４６】
図３に示すように、幾何学的ステンシル選択は以下の通りである。まず、基準画像内の画素毎に入射光線
【００４７】
【数６】
【００４８】
が推定される。ここで、反射光線
【００４９】
【数７】
【００５０】
及び該反射光線の表面法線
【００５１】
【数８】
【００５２】
は既知である。反射の法則から、入射光線は以下によって表される。
【００５３】
【数９】
【００５４】
次に、照射方向を考察することによって画素情報の信頼度を定義することができる。基準画像例１２５に関して図４に示すように、ｉ１からの照射は信頼度が高く（４０１）、ｉ２からの照射は信頼度が低い。照射方向は、カメラ座標系の仰角
【００５５】
【数１０】
【００５６】
及び方位角
【００５７】
【数１１】
【００５８】
によって表される。
【００５９】
小さな仰角を有する照射は通常、大きな仰角を有する照射よりも信頼度が低い。これは、鏡面反射物体間の相互反射、及び環境内で異なる背景を使用することのような環境マップの変化に起因する。最後に、式（４）のステンシルの場合、信頼度の高い鏡面反射画素、すなわち９０度よりも大きい仰角における入射光線を有する画素のみが使用される。
【００６０】
全体手順
大まかな姿勢推定のための全体方法は以下の通りである。まず、基準鏡面反射画像１２５が生成される。可能性のある姿勢１２２毎に、最適並進パラメータが得られる。滑降シンプレックス法のための初期点として、入力画像の任意の３つの端点が使用される。制御パラメータλが０から１に変更される。これは、並進が、ハイライト画素のみを使用して大まかに最適化され、また、その後、全鏡面反射画素の考察もすることによって精緻化されることを意味する。並進最適化の後、多くの並進最適化姿勢及びそれらに関連付けられるコスト値が存在する。最小コスト値は、最適回転パラメータ
【００６１】
【数１２】
【００６２】
のためのものである。
【００６３】
精密な姿勢推定
大まかな姿勢１４１を推定した（１４０）後、姿勢パラメータを継続して最適化することによって、該姿勢パラメータをさらに精緻化する（１５０）ことができる。並進姿勢は大まかな姿勢推定における滑降シンプレックス法によって既に継続して最適化されているため、以下のコスト関数１４９を使用して回転姿勢のみを精緻化すればよい。
【００６４】
【数１３】
【００６５】
ただし、Ｒは長時間露光環境マップＥＬを用いて得られる基準画像である。この最適化は最急降下法を使用する。
【００６６】
鏡面反射フローに基づく手法
図２は、オプティカルフローがマッチングのための特徴として使用される方法を示す。通常、オプティカルフローは、カメラと環境との間の相対的な動きによって生じる、環境内の明示的な動きのパターンである。この実施形態では、オプティカルフローは、環境の動きによって引き起こされると想定される。既知の方向、たとえばカメラ１０３の観察方向を中心とした環境の定義済みの小さな回転によって２つの入力画像を生成する（２１０）。次に、これらの２つの画像間の鏡面反射フローを求めて、各画素に関する２Ｄ変位ベクトルを含む入力鏡面反射画像Ｉ２３１を得る。ブロックマッチング法を使用して鏡面反射フローを求める。
【００６７】
通常、鏡面反射フローは、物体１０１、環境１０２、又はカメラ１０３の動きによって引き起こすことができる。この説明の単純化のために、環境の動きのみが使用される。カメラと物体との間の相対姿勢は固定であるため、鏡面反射フローは鏡面反射画素においてのみ観察される。したがって、鏡面反射フローが存在するか否かを指示する、この動きによる手掛りは、物体のロケーションを強力に制約するのに使用することができる。
【００６８】
大まかな姿勢推定
基準鏡面反射フローの生成
大まかな姿勢推定２４０のために、上述したようにロケーション（０，０，Ｚ０）及び様々な姿勢１２２に関して２つの鏡面反射画像を生成する（２２０）が、今回は、わずかに、たとえば±５度回転している色分けされた環境マップを使用する。色分けされた環境によって、２つの画像間の正確な画素の対応を求めることが可能になる。結果としてのオプティカルフロー画像を使用して基準画像Ｒ２２５を生成する。
【００６９】
大まかな姿勢最適化
基準画像２２５を取得された（２３０）入力鏡面反射フロー画像Ｉ２３１と比較し、コスト関数２３９を最小化することによって大まかな３Ｄ姿勢２４１を推定する（２４０）。
【００７０】
【数１４】
【００７１】
ただし、Ｃ１（）及びＣ２（）はそれぞれ、動き分割及び鏡面反射フローに基づくコスト関数である。滑降シンプレックス法を使用して、最初に並進（Ｘ，Ｙ）が各回転に対して最適化される。次に、全てのコスト値を比較することによって回転が最適化される。
【００７２】
動き分割に基づくコスト関数
動き分割は、各画素に関して非ゼロ鏡面反射フローが存在するか否かを指示する二値画像として定義される。ＤＩ及びＤＲは入力画像Ｉ２３１及び基準鏡面反射フロー画像Ｒ２２５の動き分割から構築される距離変換画像を表すものとする。コスト関数Ｃ１（）は以下となる。
【００７３】
【数１５】
【００７４】
ただし、総和は、基準画像Ｒの動き分割画素に関して実行され、Ｎｍｏｔｉｏｎはこのような画素の数を表す。
【００７５】
鏡面反射フローに基づくコスト関数
式（６）における第２コスト項Ｃ２（）は、入力画像Ｉ（ｕ，ｖ）２３１を並進された基準画像Ｒ２２５と比較することによって構築される。実際の用途におけるノイズが多くテクスチャのない領域に起因して、入力画像は多くの異常値を含む。異常値画素は、画像内の他の（異常値でない（inlier））画素と整合しない画素である。したがって、差分二乗和（ＳＳＤ）のような単純なマッチングコストは良好に機能しない。そうではなく、コスト関数は異常値でない画素の数に基づく。
【００７６】
第１に、異常値でない画素とは、入力鏡面反射フローベクトルＩ（ｕ，ｖ）と基準鏡面反射フローベクトルＲとの差が小さな閾値、たとえば１．０未満である画素である。コスト関数Ｃ２（）は以下となる。
【００７７】
【数１６】
【００７８】
ただし、Ｍは異常値でない画素の集合である。
【００７９】
全体手順
鏡面反射フローに基づく手法は、鏡面反射強度に基づく手法と同じ全体方法を使用する。基準画像２２５は、モデル１２１及び可能性のある姿勢１２２を使用して生成される。滑降シンプレックス法を使用して基準画像毎に最適な並進が推定される。ここで、制御パラメータは０〜１で変動する。次に、全ての並進最適化された姿勢が比較されて、最適な回転が求められる。
【００８０】
精密な姿勢推定
大まかな姿勢２４１を推定した（２４０）後、コスト関数２４９を最小化することによって回転姿勢パラメータを継続して精緻化する（２５０）。
【００８１】
【数１７】
【００８２】
ただし、Ｒは、姿勢パラメータ（θ，φ，σ，Ｘ，Ｙ）を有する基準画像であり、Ｎｍａｓｋはステンシル内の画素数を表す。ステンシルは物体のセグメンテーションマスクとして定義される。
【００８３】
本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行うことができることは理解されたい。
【００８４】
したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入るすべての変形及び変更を包含することである。
【技術分野】
【０００１】
本発明は、包括的には物体の３Ｄ姿勢を推定することに関し、より詳細には鏡面反射物体の３Ｄ姿勢を推定することに関する。
【背景技術】
【０００２】
姿勢推定
３次元（３Ｄ）姿勢推定は、物体のロケーション（並進）及び角度配向を求める。一般的な姿勢推定方法は、２Ｄテクスチャ画像及び３Ｄ距離画像のような幾つかの手掛りに依存する。テクスチャ画像に基づく方法は、テクスチャが環境の変動に対し不変であると仮定する。しかしながら、この仮定は、激しい照度の変化又は陰影が存在する場合には真でない。これらの方法によって鏡面反射性の物体を扱うことができない。
【０００３】
距離画像に基づく方法は、物体の外観とは無関係の３Ｄ情報を利用するため、これらの問題を克服することができる。しかしながら、距離取得機器は単純なカメラよりも高価である。
【０００４】
幾つかの物体に関して、３Ｄ形状を再構築するのは非常に困難である。たとえば、鏡状物体又は光沢金属性物体のような鏡面反射性の高い物体の３Ｄ形状を回復することは困難であり、信頼度が低いことが既知である。
【０００５】
反射による手掛りは、テクスチャ又は距離による手掛りよりも姿勢変化に対する感度が高い。したがって、反射による手掛りによって、姿勢パラメータを非常に正確に推定することが可能になる。しかしながら、反射による手掛りが、姿勢の精緻化でなく、全体的な姿勢推定、すなわち物体検出に適用可能であるか否かは定かでない。
【０００６】
従来技術による方法は通常、外観に基づく。外観は、照度、陰影、及びスケールによる影響を受ける。したがって、これらの方法にとって、部分遮蔽、クラッタシーン、及び大きな姿勢変動のような関連する課題を克服することは困難である。これらの問題に対処するために、これらの方法は、点、線、及びシルエットのような照度に無関係の特徴、又は正規化相互相関（ＮＣＣ）のような照度の影響を受けないコスト関数を使用する。しかしながら、物体は十分にテクスチャ化される必要がある。特に鏡面反射物体に関して、激しい照度の変化は依然として問題であり得る。
【０００７】
様々な方法が、光源の歪んだ反射の識別及び追跡、並びに既知の特殊な特徴から、わずかな局所形状情報を導出する。光路三角測量の通常の枠組みを使用して密度測定値も得ることができる。しかしながら、これらの方法は通常、物体の周囲の環境の正確な較正及び制御を実施する必要があり、場合によっては、多くの入力画像を必要とする。
【０００８】
鏡面反射物体の再構築のための幾つかの方法は、環境較正を必要としない。これらの方法は、画像平面上の鏡面反射フロー（specular flow）を引き起こす小さな環境の動きを想定する。これらの方法では、鏡面反射フローを利用して未知の複雑な照明における鏡面反射形状の推測を単純化する。しかしながら、一対の線形偏微分方程式を解かなくてはならず、通常これは、実世界の応用においては簡単に推定されない初期状態を必要とする。
【０００９】
鏡面反射に基づいて姿勢を推定する１つの方法は、短い画像シーケンス及び標準的なテンプレートマッチングプロシージャによって計算される初期姿勢推定値を使用する。拡散成分及び鏡面反射成分はフレーム毎に分離され、推定される鏡面反射画像から環境マップが導出される。次に、姿勢精緻化プロセスの正確度を高めるために環境マップ及び画像テクスチャが同時に位置合わせされる。
【発明の概要】
【００１０】
本発明の実施の形態は、プロセッサ内で実施される、環境内の３Ｄ鏡面反射物体の３Ｄ姿勢を推定する方法を提供する。推定の基礎となるのは、２Ｄカメラによって取得される鏡面反射物体の２Ｄ画像内の特徴をマッチングすることである。
【００１１】
前処理ステップにおいて、物体の３Ｄモデル及び物体の可能性のある姿勢のセットから特徴が生成される。該特徴を使用して、可能性のある姿勢毎に一対、基準画像対のセットを生成する。
【００１２】
次に、物体の入力画像対が取得され、該入力画像から入力特徴も計算される。概算コスト関数を使用して、入力画像対内の特徴を基準画像対内の特徴と比較することによって、物体の大まかな３Ｄ姿勢が推定される。物体の精密な３Ｄ姿勢は、大まかな３Ｄ姿勢及び精密コスト関数を使用して推定される。
【００１３】
一実施の形態において、特徴は画像の鏡面反射強度である。３つ（ＲＧＢ）のチャネルが使用される場合、合成される強度は色である。小さな鏡状球体が環境内に配置され、画像対が、一方は短時間露光で、他方は長時間露光で取得される。これらの画像を使用して２Ｄ環境マップを構築する。このマップを使用して基準画像対を生成する。これらの基準画像対は、その後、入力画像対と比較され、鏡面反射物体の３Ｄ姿勢が推定される。
【００１４】
別の実施の形態では、特徴は画像内の鏡面反射フローである。鏡面反射フローはオプティカルフローの特殊なケースである。環境において動きを引き起こすことによって、３Ｄ姿勢のセットに関して鏡面反射フローが生成される。鏡面反射フローは基準画像対を生成するのに使用される。入力画像から入力鏡面反射フローも計算される。その後、基準画像対は入力鏡面反射フロー画像対と比較され、鏡面反射物体の３Ｄ姿勢が推定される。上述したように、精密コスト関数及び概算コスト関数を使用して、大まかな姿勢から精密な姿勢が推定される。
【発明の効果】
【００１５】
本発明は、鏡面反射を利用して、物体の３Ｄモデルを使用して３Ｄ物体の３Ｄ姿勢を全体的に推定する。本方法は、テクスチャがなく鏡面反射性の高い物体のような難解な物体に対処することができる。本方法は単純なマッチングコスト関数及び最適化手順を使用し、それによって本方法をグラフィックプロセッサユニット（ＧＰＵ）上で実施して性能を改善することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態による鏡面反射強度情報を使用して鏡面反射物体の３Ｄ姿勢を推定する方法の流れ図である。
【図２】本発明の実施形態による鏡面反射フロー情報を使用して鏡面反射物体の３Ｄ姿勢を推定する方法の流れ図である。
【図３】本発明の実施形態による入射光線を使用するステンシル選択の概略図である。
【図４】信頼度の高い画素及び信頼度の低い画素を有する基準画像の例である。
【発明を実施するための形態】
【００１７】
図１は、プロセッサ１００において実施される、環境１０２内の物体１０１の３Ｄ姿勢を推定する方法の流れ図である。ここで、物体は鏡面反射表面を有する。この実施形態において、特徴は鏡面反射強度である。３つ（ＲＧＢ）のチャネルが使用される場合、組み合わされる鏡面反射強度は色を有する。環境の２次元（２Ｄ）画像はカメラ１０３によって取得される。
【００１８】
３Ｄ姿勢はカメラの座標系における３Ｄ並進ベクトル（Ｘ，Ｙ，Ｚ）及び配向に関する３Ｄオイラー角（μ，φ，σ）によって定義される。一用途では、自動ロボットアームの用途において３Ｄ姿勢を使用して容器（bin）から物体を取り出す。
【００１９】
物体は、光沢金属性物体のように、テクスチャがなく鏡面反射性が高い。したがって、本方法が利用可能なデータは、２Ｄ画像における物体の鏡面反射のみである。物体とカメラとの間の距離はＺ≒Ｚ０である。この距離を使用して、投影の尺度を求めることができる。
【００２０】
本方法は、物体の形状、光度特性、及び照明照度のような高レベルの情報から開始するトップダウン手法を使用する。次に、２Ｄ画像における低レベルの特徴が生成され、該特徴を使用して３Ｄ姿勢が推定される。
【００２１】
本方法は、多数の可能性のある姿勢の変形１２２に関する鏡の双方向反射分布関数（ＢＲＤＦ）を使用して、３Ｄモデル１２１から基準画像１２５を生成する。ステップ１１０及び１２０は１回の前処理ステップとすることができる。
【００２２】
次に、２Ｄ入力画像１３１は基準画像と比較されて、鏡面反射物体の最も適合する３Ｄ姿勢１５１が求められる。このモデルは、ＣＡＤ／ＣＡＭモデル、多角形モデル、又は任意の他の適切なモデルとすることができる。
【００２３】
一実施形態では、小さな鏡状球体が物体を有しない環境１０２内に配置される。物体は、周囲環境、すなわち物体が取り出されるために中に置かれている容器の外側の領域から十分離れている。次に、取得されるこの環境の２Ｄ画像を使用して、照度情報を表す環境マップ１１１を生成することができる。この照度情報を使用して基準鏡面反射画像１２５を生成する（１２０）ことができる。これらの基準鏡面反射画像は入力画像との比較に使用される。
【００２４】
別の実施形態では、本方法は特徴として鏡面反射フローを使用する。鏡面反射フローは、物体、カメラ、又は環境の動きによって引き起こされるオプティカルフローとして定義される。鏡面反射フローは照明照度にではなく、物体の動き、形状、及び姿勢を変化させることに依存する。したがって、鏡面反射フローを、姿勢推定のための、照度に無関係の特徴として使用することができる。
【００２５】
環境マップに基づく手法
図１に示すように、物体の３Ｄ姿勢を推定する前に、球体の鏡状物体を配置することによって、環境１０２の一対の環境マップＥＬ及びＥＳ１１１を取得する（１１０）。これらのマップはそれぞれ、たとえば約１／４秒及び１／６０秒の長時間露光及び短時間露光を有する。同じ長時間露光及び短時間露光において、入力画像ＩＬ及びＩＳ１３１を取得する（１３０）。
【００２６】
大まかな姿勢推定
基準鏡面反射画像の生成
物体の３Ｄモデル１２１及び一対の環境マップＩＬ及びＩＳ１１１から、物体の可能性のある姿勢に対応する多数の所定の姿勢１２２に関して基準画像１２５が生成される。
【００２７】
したがって、オイラー角を均一に且つ高密度でサンプリングして、多数の、たとえば２５０００個の姿勢を定義する。基準画像は、ロケーション（０，０，Ｚ０）における様々なオイラー角（μ，φ，σ）に関するＲＬ及びＲＳである。相互反射及び自己遮蔽を無視することによって、反射マッピングを適用することによってＥＬ及びＥＳから完全鏡面反射画像を生成することができる。これはテクスチャマッピングの特殊なケースである。
【００２８】
基準鏡面反射画像１２５は、３Ｄロケーション及びカメラに対する物体の配向に依存する。しかしながら、カメラは小さい視野１０４を有し、物体の奥行きは既知である。したがって、異なる複数の３Ｄロケーションから生成される基準鏡面反射画像間の差異は無視することができる。これは大まかな姿勢推定１４０には十分である。
【００２９】
入力画像１３１を、基準鏡面反射画像１２５と比較し、以下を解くことによって大まかな姿勢１４１を推定する（１４０）。
【００３０】
【数１】
【００３１】
ただし、
【００３２】
【数２】
【００３３】
は大まかな姿勢１４１を表し、ＣＲ（）は比較のための概算コスト関数１３９であり、引数ｍｉｎは最小値を返す関数であり、内側の最小値は外側の最小値の前に求められる。
【００３４】
コスト関数１３９は、以下である。
【００３５】
【数３】
【００３６】
ただし、λは制御パラメータであり、Ｃ１（）及びＣ２（）はそれぞれ、長時間露光画像及び短時間露光画像に関するコスト関数である。これらの項を得るために、３Ｄ並進ベクトル（Ｘ，Ｙ，Ｚ０）が２Ｄ画像平面上に投影され、基準画像が投影点（ｘ，ｙ）に動かされる。次に、並進基準画像の各対が、対応する入力画像対と比較される。
【００３７】
ハイライト画素に基づいたコスト関数
通常、鏡面反射画像はハイライト画素と非ハイライト画素とを含む。ハイライト画素は、ランプ又は窓のような高強度の入射光を有する光源に対応する。したがって、画素値は通常飽和している。
【００３８】
ハイライト画素は第１項Ｃ１（）に使用される。物体は鏡面反射性が高いため、ハイライト画素は、短時間露光画像に対し二値化処理を適用して二値画像を作成することによって抽出することができる。
【００３９】
二値画像及び距離変換を使用して、入力ハイライト画素及び基準ハイライト画素にそれぞれ対応する距離画像ＤＩ及びＤＲを構築する。この距離変換は、二値画像を正確にマッチングするのに役立つ。ここで、コスト関数Ｃ１（）は以下のように定義される。
【００４０】
【数４】
【００４１】
ただし、（ｕ，ｖ）は画素座標であり、Ｎｈｉｇｈｌｉｇｈｔは総和が実行される画素数を表す。基準ハイライト画素及びそれらの１画素隣りの画素が、計算のためのステンシルとして使用される。
【００４２】
このハイライトに基づくコスト関数は以下の利点を有する。第１に、ハイライトは通常、入力画像において非常にわずかであるため、それらのハイライトを物体のロケーションに対する強力な制約として使用することができる。第２に、コスト分布は全鏡面反射画素を使用する従来のコスト関数のコスト分布よりも平滑である。第３に、ハイライトのステンシルは非常に少数の画素しか含まないため、このコストの計算を効率的に行うことができる。滑降シンプレックス法は、非常に高速に且つ安定して大域最小値に良好に収束する。
【００４３】
全鏡面反射画素に基づくコスト関数
第２項Ｃ２（）は全鏡面反射画素を考察する。
【００４４】
【数５】
【００４５】
ただし、ＮＣＣは正規化相互相関（ＮＣＣ）を表す。ここで、物体のセグメンテーションマスクをＮＣＣのためのステンシルとして使用することができる。しかしながら、幾何学的に信頼度の高い鏡面反射画素のみをステンシルとして使用することによって、実行時により良好な結果が生み出される。
【００４６】
図３に示すように、幾何学的ステンシル選択は以下の通りである。まず、基準画像内の画素毎に入射光線
【００４７】
【数６】
【００４８】
が推定される。ここで、反射光線
【００４９】
【数７】
【００５０】
及び該反射光線の表面法線
【００５１】
【数８】
【００５２】
は既知である。反射の法則から、入射光線は以下によって表される。
【００５３】
【数９】
【００５４】
次に、照射方向を考察することによって画素情報の信頼度を定義することができる。基準画像例１２５に関して図４に示すように、ｉ１からの照射は信頼度が高く（４０１）、ｉ２からの照射は信頼度が低い。照射方向は、カメラ座標系の仰角
【００５５】
【数１０】
【００５６】
及び方位角
【００５７】
【数１１】
【００５８】
によって表される。
【００５９】
小さな仰角を有する照射は通常、大きな仰角を有する照射よりも信頼度が低い。これは、鏡面反射物体間の相互反射、及び環境内で異なる背景を使用することのような環境マップの変化に起因する。最後に、式（４）のステンシルの場合、信頼度の高い鏡面反射画素、すなわち９０度よりも大きい仰角における入射光線を有する画素のみが使用される。
【００６０】
全体手順
大まかな姿勢推定のための全体方法は以下の通りである。まず、基準鏡面反射画像１２５が生成される。可能性のある姿勢１２２毎に、最適並進パラメータが得られる。滑降シンプレックス法のための初期点として、入力画像の任意の３つの端点が使用される。制御パラメータλが０から１に変更される。これは、並進が、ハイライト画素のみを使用して大まかに最適化され、また、その後、全鏡面反射画素の考察もすることによって精緻化されることを意味する。並進最適化の後、多くの並進最適化姿勢及びそれらに関連付けられるコスト値が存在する。最小コスト値は、最適回転パラメータ
【００６１】
【数１２】
【００６２】
のためのものである。
【００６３】
精密な姿勢推定
大まかな姿勢１４１を推定した（１４０）後、姿勢パラメータを継続して最適化することによって、該姿勢パラメータをさらに精緻化する（１５０）ことができる。並進姿勢は大まかな姿勢推定における滑降シンプレックス法によって既に継続して最適化されているため、以下のコスト関数１４９を使用して回転姿勢のみを精緻化すればよい。
【００６４】
【数１３】
【００６５】
ただし、Ｒは長時間露光環境マップＥＬを用いて得られる基準画像である。この最適化は最急降下法を使用する。
【００６６】
鏡面反射フローに基づく手法
図２は、オプティカルフローがマッチングのための特徴として使用される方法を示す。通常、オプティカルフローは、カメラと環境との間の相対的な動きによって生じる、環境内の明示的な動きのパターンである。この実施形態では、オプティカルフローは、環境の動きによって引き起こされると想定される。既知の方向、たとえばカメラ１０３の観察方向を中心とした環境の定義済みの小さな回転によって２つの入力画像を生成する（２１０）。次に、これらの２つの画像間の鏡面反射フローを求めて、各画素に関する２Ｄ変位ベクトルを含む入力鏡面反射画像Ｉ２３１を得る。ブロックマッチング法を使用して鏡面反射フローを求める。
【００６７】
通常、鏡面反射フローは、物体１０１、環境１０２、又はカメラ１０３の動きによって引き起こすことができる。この説明の単純化のために、環境の動きのみが使用される。カメラと物体との間の相対姿勢は固定であるため、鏡面反射フローは鏡面反射画素においてのみ観察される。したがって、鏡面反射フローが存在するか否かを指示する、この動きによる手掛りは、物体のロケーションを強力に制約するのに使用することができる。
【００６８】
大まかな姿勢推定
基準鏡面反射フローの生成
大まかな姿勢推定２４０のために、上述したようにロケーション（０，０，Ｚ０）及び様々な姿勢１２２に関して２つの鏡面反射画像を生成する（２２０）が、今回は、わずかに、たとえば±５度回転している色分けされた環境マップを使用する。色分けされた環境によって、２つの画像間の正確な画素の対応を求めることが可能になる。結果としてのオプティカルフロー画像を使用して基準画像Ｒ２２５を生成する。
【００６９】
大まかな姿勢最適化
基準画像２２５を取得された（２３０）入力鏡面反射フロー画像Ｉ２３１と比較し、コスト関数２３９を最小化することによって大まかな３Ｄ姿勢２４１を推定する（２４０）。
【００７０】
【数１４】
【００７１】
ただし、Ｃ１（）及びＣ２（）はそれぞれ、動き分割及び鏡面反射フローに基づくコスト関数である。滑降シンプレックス法を使用して、最初に並進（Ｘ，Ｙ）が各回転に対して最適化される。次に、全てのコスト値を比較することによって回転が最適化される。
【００７２】
動き分割に基づくコスト関数
動き分割は、各画素に関して非ゼロ鏡面反射フローが存在するか否かを指示する二値画像として定義される。ＤＩ及びＤＲは入力画像Ｉ２３１及び基準鏡面反射フロー画像Ｒ２２５の動き分割から構築される距離変換画像を表すものとする。コスト関数Ｃ１（）は以下となる。
【００７３】
【数１５】
【００７４】
ただし、総和は、基準画像Ｒの動き分割画素に関して実行され、Ｎｍｏｔｉｏｎはこのような画素の数を表す。
【００７５】
鏡面反射フローに基づくコスト関数
式（６）における第２コスト項Ｃ２（）は、入力画像Ｉ（ｕ，ｖ）２３１を並進された基準画像Ｒ２２５と比較することによって構築される。実際の用途におけるノイズが多くテクスチャのない領域に起因して、入力画像は多くの異常値を含む。異常値画素は、画像内の他の（異常値でない（inlier））画素と整合しない画素である。したがって、差分二乗和（ＳＳＤ）のような単純なマッチングコストは良好に機能しない。そうではなく、コスト関数は異常値でない画素の数に基づく。
【００７６】
第１に、異常値でない画素とは、入力鏡面反射フローベクトルＩ（ｕ，ｖ）と基準鏡面反射フローベクトルＲとの差が小さな閾値、たとえば１．０未満である画素である。コスト関数Ｃ２（）は以下となる。
【００７７】
【数１６】
【００７８】
ただし、Ｍは異常値でない画素の集合である。
【００７９】
全体手順
鏡面反射フローに基づく手法は、鏡面反射強度に基づく手法と同じ全体方法を使用する。基準画像２２５は、モデル１２１及び可能性のある姿勢１２２を使用して生成される。滑降シンプレックス法を使用して基準画像毎に最適な並進が推定される。ここで、制御パラメータは０〜１で変動する。次に、全ての並進最適化された姿勢が比較されて、最適な回転が求められる。
【００８０】
精密な姿勢推定
大まかな姿勢２４１を推定した（２４０）後、コスト関数２４９を最小化することによって回転姿勢パラメータを継続して精緻化する（２５０）。
【００８１】
【数１７】
【００８２】
ただし、Ｒは、姿勢パラメータ（θ，φ，σ，Ｘ，Ｙ）を有する基準画像であり、Ｎｍａｓｋはステンシル内の画素数を表す。ステンシルは物体のセグメンテーションマスクとして定義される。
【００８３】
本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行うことができることは理解されたい。
【００８４】
したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入るすべての変形及び変更を包含することである。
【特許請求の範囲】
【請求項１】
環境内の３Ｄ物体の３Ｄ姿勢を推定する方法であって、該物体は鏡面反射表面を有し、該方法はプロセッサによって実施され、該方法は、
前記物体の３Ｄモデル及び該物体の姿勢のセットを使用して２Ｄ基準画像対のセットを生成するステップであって、各該基準画像対は前記姿勢のうちの１つに関連付けられる、生成するステップと、
前記物体の２Ｄ入力画像対を取得するステップと、
前記２Ｄ入力画像対内の特徴と各前記２Ｄ基準画像対内の特徴とを、概算コスト関数を使用して比較することによって、前記物体の大まかな３Ｄ姿勢を推定するステップと、
前記大まかな３Ｄ姿勢及び精密コスト関数を使用して前記物体の精密な３Ｄ姿勢を推定するステップと、
を含む、方法。
【請求項２】
前記３Ｄ姿勢は、３Ｄ並進ベクトル（Ｘ，Ｙ，Ｚ）及び配向に関する３Ｄオイラー角（μ，φ，σ）によって定義される、請求項１に記載の方法。
【請求項３】
前記オイラー角は、約２５０００個の姿勢に関して均一に且つ高密度でサンプリングされる、請求項２に記載の方法。
【請求項４】
前記特徴は鏡面反射強度である、請求項１に記載の方法。
【請求項５】
前記基準鏡面反射強度は、鏡の双方向反射分布関数を使用することによって生成される、請求項４に記載の方法。
【請求項６】
前記方法は、
前記物体を有しない前記環境内に鏡状球体を配置すること、
前記環境の環境画像対を取得すること、及び
前記環境内の照度をモデリングする２Ｄプレノプティック関数を使用して前記環境画像対から環境マップを構築することであって、前記基準画像対のセットは該環境マップから生成される、構築すること、
をさらに含む、請求項４に記載の方法。
【請求項７】
前記画像対は短時間Ｓ露光画像及び長時間Ｌ露光画像を含み、前記長時間露光は前記短時間露光の約１５倍である、請求項４に記載の方法。
【請求項８】
前記短時間露光は約１／６０秒であり、前記長時間露光は約１／４秒である、請求項７に記載の方法。
【請求項９】
前記大まかな姿勢は以下の式を解くことによって得られ、
【数１】
ただし、
【数２】
は前記大まかな姿勢の並進及びオイラー角を表し、ＣＲ（）は概算コスト関数であり、それぞれ、ＩＬ及びＲＬは長時間露光入力画像及び長時間露光基準画像であり、ＩＳ及びＲＳは短時間露光入力画像及び短時間露光基準画像であり、引数ｍｉｎは最小値を返す関数であり、内側の最小値は外側の最小値の前に求められる、請求項４に記載の方法。
【請求項１０】
前記概算関数は以下であり、
【数３】
ただし、λは制御パラメータであり、Ｃ１（）及びＣ２（）はそれぞれ、長時間露光画像及び短時間露光画像に関するコスト関数である、請求項９に記載の方法。
【請求項１１】
Ｃ１（）に対してハイライト画素が使用され、該ハイライト画素は、二値化処理を行って対応する二値画像を作成することによって求められ、前記方法は、
前記二値画像及び距離変換から、対応する基準距離画像ＤＲ及び入力距離画像ＤＩを構築することをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記コスト関数Ｃ１（）は以下であり、
【数４】
ただし、（ｘ，ｙ）は投影点であり、（ｕ，ｖ）は画素座標であり、Ｎｈｉｇｈｌｉｇｈｔは総和のための画素数を表し、Ｓは短時間露光を表す、請求項１１に記載の方法。
【請求項１３】
前記コスト関数Ｃ２（）は以下であり、
【数５】
ただし、ＮＣＣは正規化相互相関を表し、Ｌは長時間露光を表す、請求項１０に記載の方法。
【請求項１４】
（Ｘ，Ｙ）は並進を表し、（μ，φ，σ）は前記精密な姿勢のオイラー角を表し、前記精密コスト関数は以下であり、
【数６】
ただし、（ｕ，ｖ）は前記入力画像Ｉ及び前記基準画像Ｒの画素座標であり、ＮＣＣは正規化相互相関を表し、Ｌは長時間露光を表す、請求項４に記載の方法。
【請求項１５】
前記特徴は鏡面反射フローである、請求項１に記載の方法。
【請求項１６】
前記鏡面反射フローは、前記２Ｄ画像を取得するカメラの所定の観察方向を中心とした前記環境の回転に起因する、請求項１５に記載の方法。
【請求項１７】
前記鏡面反射フローは、ブロックマッチング及び色分けされた環境マップを使用して求められる、請求項１５に記載の方法。
【請求項１８】
（Ｘ，Ｙ）は並進を表し、（μ，φ，σ）は前記姿勢のオイラー角を表し、前記概算コスト関数は以下であり、
【数７】
ただし、λは制御パラメータであり、Ｃ１（）及びＣ２（）はそれぞれ、動き分割及び前記鏡面反射フローに基づくコスト関数であり、Ｒ及びＩはそれぞれ、前記基準画像及び前記入力画像を表す、請求項１５に記載の方法。
【請求項１９】
前記二値画像及び距離変換から、対応する基準距離画像ＤＲ及び入力距離画像ＤＩを構築することをさらに含み、前記コスト関数Ｃ１（）は以下であり、
【数８】
ただし、（ｘ，ｙ）は投影点であり、（ｕ，ｖ）は画素座標であり、総和は基準画像Ｒの動き分割画素に関して実行され、Ｎｍｏｔｉｏｎはこのような画素の数を表す、請求項１８に記載の方法。
【請求項２０】
前記基準鏡面反射フロー画像Ｒと前記入力鏡面反射フロー画像Ｉとを比較することであって、前記入力鏡面反射フローベクトルと前記基準鏡面反射フローベクトルとの差分が小さな閾値未満である異常値でない画素を探索する、比較することをさらに含み、前記コスト関数Ｃ２（）は以下であり、
【数９】
ただし、Ｍは異常値でない画素の集合である、請求項１８に記載の方法。
【請求項２１】
（Ｘ，Ｙ）は並進を表し、（μ，φ，σ）は前記３Ｄ姿勢のオイラー角を表し、前記精密コスト関数は以下であり、
【数１０】
ただし、（ｕ，ｖ）は画素座標であり、Ｒは前記基準画像であり、姿勢パラメータ（θ，φ，σ，Ｘ，Ｙ）を有し、Ｎｍａｓｋはステンシル数を表し、ステンシルは物体のセグメンテーションマスクとして定義される、請求項１５に記載の方法。
【請求項２２】
前記回転は約±５度である、請求項１６に記載の方法。
【請求項１】
環境内の３Ｄ物体の３Ｄ姿勢を推定する方法であって、該物体は鏡面反射表面を有し、該方法はプロセッサによって実施され、該方法は、
前記物体の３Ｄモデル及び該物体の姿勢のセットを使用して２Ｄ基準画像対のセットを生成するステップであって、各該基準画像対は前記姿勢のうちの１つに関連付けられる、生成するステップと、
前記物体の２Ｄ入力画像対を取得するステップと、
前記２Ｄ入力画像対内の特徴と各前記２Ｄ基準画像対内の特徴とを、概算コスト関数を使用して比較することによって、前記物体の大まかな３Ｄ姿勢を推定するステップと、
前記大まかな３Ｄ姿勢及び精密コスト関数を使用して前記物体の精密な３Ｄ姿勢を推定するステップと、
を含む、方法。
【請求項２】
前記３Ｄ姿勢は、３Ｄ並進ベクトル（Ｘ，Ｙ，Ｚ）及び配向に関する３Ｄオイラー角（μ，φ，σ）によって定義される、請求項１に記載の方法。
【請求項３】
前記オイラー角は、約２５０００個の姿勢に関して均一に且つ高密度でサンプリングされる、請求項２に記載の方法。
【請求項４】
前記特徴は鏡面反射強度である、請求項１に記載の方法。
【請求項５】
前記基準鏡面反射強度は、鏡の双方向反射分布関数を使用することによって生成される、請求項４に記載の方法。
【請求項６】
前記方法は、
前記物体を有しない前記環境内に鏡状球体を配置すること、
前記環境の環境画像対を取得すること、及び
前記環境内の照度をモデリングする２Ｄプレノプティック関数を使用して前記環境画像対から環境マップを構築することであって、前記基準画像対のセットは該環境マップから生成される、構築すること、
をさらに含む、請求項４に記載の方法。
【請求項７】
前記画像対は短時間Ｓ露光画像及び長時間Ｌ露光画像を含み、前記長時間露光は前記短時間露光の約１５倍である、請求項４に記載の方法。
【請求項８】
前記短時間露光は約１／６０秒であり、前記長時間露光は約１／４秒である、請求項７に記載の方法。
【請求項９】
前記大まかな姿勢は以下の式を解くことによって得られ、
【数１】
ただし、
【数２】
は前記大まかな姿勢の並進及びオイラー角を表し、ＣＲ（）は概算コスト関数であり、それぞれ、ＩＬ及びＲＬは長時間露光入力画像及び長時間露光基準画像であり、ＩＳ及びＲＳは短時間露光入力画像及び短時間露光基準画像であり、引数ｍｉｎは最小値を返す関数であり、内側の最小値は外側の最小値の前に求められる、請求項４に記載の方法。
【請求項１０】
前記概算関数は以下であり、
【数３】
ただし、λは制御パラメータであり、Ｃ１（）及びＣ２（）はそれぞれ、長時間露光画像及び短時間露光画像に関するコスト関数である、請求項９に記載の方法。
【請求項１１】
Ｃ１（）に対してハイライト画素が使用され、該ハイライト画素は、二値化処理を行って対応する二値画像を作成することによって求められ、前記方法は、
前記二値画像及び距離変換から、対応する基準距離画像ＤＲ及び入力距離画像ＤＩを構築することをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記コスト関数Ｃ１（）は以下であり、
【数４】
ただし、（ｘ，ｙ）は投影点であり、（ｕ，ｖ）は画素座標であり、Ｎｈｉｇｈｌｉｇｈｔは総和のための画素数を表し、Ｓは短時間露光を表す、請求項１１に記載の方法。
【請求項１３】
前記コスト関数Ｃ２（）は以下であり、
【数５】
ただし、ＮＣＣは正規化相互相関を表し、Ｌは長時間露光を表す、請求項１０に記載の方法。
【請求項１４】
（Ｘ，Ｙ）は並進を表し、（μ，φ，σ）は前記精密な姿勢のオイラー角を表し、前記精密コスト関数は以下であり、
【数６】
ただし、（ｕ，ｖ）は前記入力画像Ｉ及び前記基準画像Ｒの画素座標であり、ＮＣＣは正規化相互相関を表し、Ｌは長時間露光を表す、請求項４に記載の方法。
【請求項１５】
前記特徴は鏡面反射フローである、請求項１に記載の方法。
【請求項１６】
前記鏡面反射フローは、前記２Ｄ画像を取得するカメラの所定の観察方向を中心とした前記環境の回転に起因する、請求項１５に記載の方法。
【請求項１７】
前記鏡面反射フローは、ブロックマッチング及び色分けされた環境マップを使用して求められる、請求項１５に記載の方法。
【請求項１８】
（Ｘ，Ｙ）は並進を表し、（μ，φ，σ）は前記姿勢のオイラー角を表し、前記概算コスト関数は以下であり、
【数７】
ただし、λは制御パラメータであり、Ｃ１（）及びＣ２（）はそれぞれ、動き分割及び前記鏡面反射フローに基づくコスト関数であり、Ｒ及びＩはそれぞれ、前記基準画像及び前記入力画像を表す、請求項１５に記載の方法。
【請求項１９】
前記二値画像及び距離変換から、対応する基準距離画像ＤＲ及び入力距離画像ＤＩを構築することをさらに含み、前記コスト関数Ｃ１（）は以下であり、
【数８】
ただし、（ｘ，ｙ）は投影点であり、（ｕ，ｖ）は画素座標であり、総和は基準画像Ｒの動き分割画素に関して実行され、Ｎｍｏｔｉｏｎはこのような画素の数を表す、請求項１８に記載の方法。
【請求項２０】
前記基準鏡面反射フロー画像Ｒと前記入力鏡面反射フロー画像Ｉとを比較することであって、前記入力鏡面反射フローベクトルと前記基準鏡面反射フローベクトルとの差分が小さな閾値未満である異常値でない画素を探索する、比較することをさらに含み、前記コスト関数Ｃ２（）は以下であり、
【数９】
ただし、Ｍは異常値でない画素の集合である、請求項１８に記載の方法。
【請求項２１】
（Ｘ，Ｙ）は並進を表し、（μ，φ，σ）は前記３Ｄ姿勢のオイラー角を表し、前記精密コスト関数は以下であり、
【数１０】
ただし、（ｕ，ｖ）は画素座標であり、Ｒは前記基準画像であり、姿勢パラメータ（θ，φ，σ，Ｘ，Ｙ）を有し、Ｎｍａｓｋはステンシル数を表し、ステンシルは物体のセグメンテーションマスクとして定義される、請求項１５に記載の方法。
【請求項２２】
前記回転は約±５度である、請求項１６に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１０−２３１７８０（Ｐ２０１０−２３１７８０Ａ）
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−４９３４４（Ｐ２０１０−４９３４４）
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２２年１０月１４日（２０１０．１０．１４）
【国際特許分類】
【出願番号】特願２０１０−４９３４４（Ｐ２０１０−４９３４４）
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]