環境における３次元（３Ｄ）オブジェクトの３Ｄ姿勢を求めるための方法
【課題】カメラによって前記環境から捕捉した画像から特徴を抽出することによって、環境における３次元（３Ｄ）オブジェクトの３Ｄ姿勢が求められる。
【解決手段】前記特徴を前記環境の３Ｄモデルにマッチングして、対応を求める。前記対応を用いて、前記画像のカメラ基準系および前記環境のワールド基準系を対応する中間カメラ基準系および対応する中間ワールド基準系に変換する。前記中間カメラ基準系および前記中間ワールド基準系に幾何学的制約を適用して、制約付き中間ワールド基準系および制約付きワールド基準系を取得する。次に、前記制約付き中間ワールド基準系および前記制約付きワールド基準系のパラメーターから前記３Ｄ姿勢を求める。
【解決手段】前記特徴を前記環境の３Ｄモデルにマッチングして、対応を求める。前記対応を用いて、前記画像のカメラ基準系および前記環境のワールド基準系を対応する中間カメラ基準系および対応する中間ワールド基準系に変換する。前記中間カメラ基準系および前記中間ワールド基準系に幾何学的制約を適用して、制約付き中間ワールド基準系および制約付きワールド基準系を取得する。次に、前記制約付き中間ワールド基準系および前記制約付きワールド基準系のパラメーターから前記３Ｄ姿勢を求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には姿勢を推定することに関し、より詳細にはジオロケーションの目的で環境における姿勢を推定することに関する。
【背景技術】
【０００２】
コンピュータービジョンアプリケーションでは、点および線等の画像特徴を用いて、多岐にわたる幾何学的問題が解かれる。従来の方法は、全ての利用可能な特徴を用い、それらの全ての特徴にわたって最小二乗基準を用いて問題を解く。一方、多くのコンピュータービジョン問題において、最小解が、非最小法と比較して雑音を受けにくいことがわかっている。
【０００３】
最小解は、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）等の仮説作成・検査手順における仮説生成器として、非常に有用であった（特許文献１を参照されたい）。
【０００４】
最小解は、いくつかのコンピュータービジョン問題に関して知られている。それらの問題は、半径方向歪みの自動較正、透視３点問題、５点相対姿勢問題、６点焦点距離問題、６点一般化カメラ問題、放物面反射屈折基本行列を推定するための９点問題、および９点半径方向歪み問題である。全ての既知の解法を把握する統一化の試みも存在する。
【０００５】
２Ｄ−３Ｄレジストレーション
本発明は、特に、点および線を用いた姿勢推定に関する。姿勢は、並進および回転の３自由度を有するものとして規定される。目標は、ワールド基準系における点および線間の３つの対応、並びにカメラ基準系におけるそれらの画像への投影を所与として、カメラ基準系とワールド基準系との間のカメラの姿勢を求めることである。３線構成または３点構成のための解法が既知である。本明細書で定義されるとき、「基準系」は、３Ｄ座標系である。
【０００６】
実際には、点特徴および線特徴の双方が相補的な利点を有する。都市環境における本発明者らの意図されるジオローカライゼーションの用途に配慮すると、画像シーケンスおよび粗い３Ｄモデルを用いて、３Ｄモデルおよび画像の線間の対応を取得することは、比較的容易である。
【０００７】
２つの画像間の点マッチングも既知であり、線マッチングよりも容易である。追跡のための点および線の融合が説明されてきたが、外れ値、不完全な一致、および狭い視野に対し、より敏感でない最小解は、従来技術において説明されてこなかった。
【０００８】
近年、点または線のいずれかを用いるが、双方を用いないステレオカメラのための最小姿勢手順が説明されてきた。
【０００９】
画像に基づくジオローカライゼーション
画像からジオロケーションを推測することへの興味が増してきている。縮小していく縦方向を用いて、クエリ画像をデータベース内に格納された画像とマッチングすることによって、地理空間ローカライゼーションを取得することが可能である。
【００１０】
大きな都市環境の再構築に関して、いくつかの３Ｄ再構築手順が説明されてきた。１つのローカライゼーション方法は、３Ｄモデルからの線を、制御された室内環境から広角カメラによって捕捉された画像内の線とマッチングする。
【００１１】
しかしながら、「都市キャニオン」等の屋外環境における姿勢を求めることは、より困難な課題である。そのような環境におけるジオロケーションの目的での姿勢推定は、無線受信が乏しい場合、ＧＰＳに基づく解法では多くの場合、困難である。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】米国特許第７、３５９、５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
したがって、そのようなジオロケーション用途のためのカメラに基づく解法を提供することが望ましい。
【課題を解決するための手段】
【００１４】
本発明の実施の形態は、最小数の画像特徴を用いてコンピュータービジョンにおける幾何学的問題を解くための方法を提供する。本方法は、幾何学的共線性制約および幾何学的共平面性制約を用いて、４つの最小幾何学問題の解をもたらす。
【００１５】
中間基準系を用いて姿勢推定に関与する方程式を単純化する。本明細書において定義されるとき、「基準系」は、３Ｄ座標系である。制約の従来の適用では、６４次多項式の解がもたらされる。本発明者らの中間基準系を用いると、問題は、４次多項式および８次多項式まで低減される。
【００１６】
最小姿勢推定のために、点および線を用いて、最後の２つの欠けている項を与える。
【００１７】
姿勢推定は、ワールド内の既知の特徴（点および線）並びに画像に対するそれらの投影を所与として、カメラの姿勢を回復する問題を指す。点特徴および線特徴を用いる４つの最小構成、すなわち、３点、２点１線、１点２線、および３線が存在する。点または線のいずれかのみに依拠する第１の構成および最後の構成のための解法が既知である。
【００１８】
しかしながら、実際にはより一般的である混合構成は、これまで解決されていない。
【００１９】
本発明者らは、同じ手法を用いて４つ全ての構成を解くことができる汎用技法を開発することが実際に可能であること、およびその解法が４次多項式または８次多項式のいずれかの根を求めることを伴うことを示している。
【００２０】
解決の鍵は、適切な中間基準系の選択、および姿勢推定問題を解く際の共線性制約および共平面性制約の使用である。画像シーケンス、および無線受信が乏しいＧＰＳ不良都市環境の粗い３Ｄモデルを用いたジオローカライゼーションのための強力な適用も提供する。
【発明の効果】
【００２１】
多くの現実世界の用途において、３点または３線の対応を求めることは、必ずしも可能でない。本発明は、これらの特徴を混合させるという選択を与え、それによって、以前には可能でなかった事例における解決を可能にすることによって、この状況を改善する。
【００２２】
共線性制約および共平面性制約を用いた本発明者らの問題定式化、並びに中間基準系を選択する技法は、都市環境におけるジオロケーションおよびオブジェクト検出等の多くの用途で非常に有用である。
【図面の簡単な説明】
【００２３】
【図１】空間内の点が、カメラからの対応する逆投影された光線上にある共線性制約の概略図である。
【図２】空間内の線が、カメラからの対応する逆投影された光線によって形成される対応する解釈平面上にある共平面性制約の概略図である。
【図３】本発明の実施の形態による、カメラ基準系およびワールド基準系が対応する中間カメラ基準系および中間ワールド基準系に変換される中間変換技法の概略図である。
【図４】本発明の実施の形態による、２点１線を用いた最小姿勢推定手順のための中間変換の概略図である。
【図５】本発明の実施の形態による、１点２線を用いた最小姿勢推定手順のための中間変換の概略図である。
【図６】本発明の実施の形態による最小姿勢推定方法のフローブロック図である。
【図７】都市環境における強化されたジオロケーションおよびオブジェクト検出に用いられる都市環境の３Ｄモデルを構築するための方法の概略図である。
【発明を実施するための形態】
【００２４】
図６は、本発明の実施の形態による、環境６０２におけるオブジェクトの３Ｄ姿勢６４１を求めるための方法を示している。姿勢は、並進（Ｔ）において３自由度、および回転（Ｒ）において３自由度を有する。
【００２５】
カメラ６０３によって環境から捕捉された画像６０１内の点および線から、特徴が抽出される（６１０）。これらの特徴は、環境の３Ｄモデル６０９にマッチングされ、対応６１１が求められる。
【００２６】
対応を用いて、画像のカメラ基準系および環境のワールド基準系を、対応する中間カメラ基準系および中間ワールド基準系６２１に変換する。本明細書において定義されるとき、「基準系」は、３Ｄ座標系である。幾何学的制約が中間基準系に適用される（６３０）。次に、制約付き基準系のパラメーターを用いて、３Ｄ姿勢が求められる（６４０）。
【００２７】
図７は、環境、たとえば、屋外都市場面の３Ｄモデルを構築するために実行することができるステップを示している。たとえば、Ｇｏｏｇｌｅ ３Ｄ Ｗａｒｅｈｏｕｓｅからテクスチャのない粗い３Ｄモデルが捕捉される。代替的に、粗いモデルは、車両ナビゲーティング上に搭載されるカメラによって環境を通じて捕捉された画像から構築される。
【００２８】
テクスチャを、たとえば、ＧｏｏｇｌｅおよびＳｋｅｔｃｈＵｐを用いて付加することができる（７０２）。テクスチャ化されたモデルに人を投入することができ（７０３）、投影マッピングを用いて道路標識を付加して、詳細な３Ｄモデルを生成することもできる（７０４）。構築中、都市環境のいくつかの点および線７００を画像から抽出することができる。次に、本明細書において説明される方法を用いて、これらの点および線を用いて様々なオブジェクトの姿勢を求める。そして、この詳細な３Ｄモデルを、歩行者、車両、交通信号、および道路標識の自動検出を実行するジオロケーション、強化車両ナビゲーションサービスに用いることができる。
【００２９】
代替的に、本方法は、自動化された製造中に、工業用部品を掴むための姿勢推定、および屋内場面でのロボットナビゲーションのために最小数の点特徴および線特徴が用いられるロボット設定において、用いることができる。たとえば、環境は、屋内工場設定であり、３Ｄ姿勢は、ロボットアームを用いて小さな工業用部品を掴み取るために用いられる。
【００３０】
上記の方法ステップの全てを、当該技術分野において既知のメモリおよび入力／出力インターフェースに接続されたプロセッサ６００において実行することができる。
【００３１】
これより、本方法をより詳細に説明する。
【００３２】
共線性および共平面性
図１および図２に示すように、本発明者らの方法は、２つの幾何学的制約、すなわち、共線性および共平面性のみを用いて、４つ全ての最小構成を解決する。共線性制約は、２Ｄ−３Ｄ対応６１１から生じる。一般的なイメージングセットアップにおいて、画像内の全てのピクセルが３Ｄ投影光線に対応し、対応する３Ｄ点がこの光線上にある。ここで、ｘ、ｙ、およびｚは、３Ｄ座標である。
【００３３】
本明細書において説明される最小解は、２Ｄ画像特徴に連結される投影光線ＣＤ１を用い、環境内の関連付けられた３Ｄ点Ｐ１は、基準系内に表されるとき、共線である。
【００３４】
図２において、２Ｄ線の端点に連結された２つの投影光線ＣＤ１およびＣＤ２、並びに２つの点Ｌ１およびＬ２によって表される関連付けられる３Ｄ線は、全て共平面である。
【００３５】
図１において、投影光線ＣＤ１および点Ｐ１は、同じ中間基準系内に表されるとき、光線上にある。本発明者らの目標は、姿勢（Ｒ、Ｔ）のもとで、点Ｐ１が光線ＣＤ１上にある該姿勢（Ｒ、Ｔ）を見つけることであり、ここで、Ｒは回転であり、Ｔは並進である。これらの点を以下の行列にスタックする。この行列を共線性行列と呼ぶ。
【００３６】
【数１】
【００３７】
第１の共線性制約は、上記の行列のサイズ３×３を有する任意の部分行列の行列式が消滅するように強制する。換言すれば、一度に１つの行を除去することによって、４つの制約を取得する。上記の行列から４つの式を取得するが、２つのみが独立しており、このため有用である。
【００３８】
第２の共平面性幾何学的制約は、２Ｄ−３Ｄ線対応から生じる。図２に示すように、点Ｃ、Ｄ１、Ｄ２、Ｐ１、およびＰ２は、同じ基準系内に表されるとき、単一平面上にある。換言すれば、正しい姿勢［Ｒ、Ｔ］の場合、単一の２Ｄ−３Ｄ線対応から２つの制約を取得する。すなわち、４つ組（Ｃ、Ｄ１、Ｄ２、［Ｒ、Ｔ］Ｌ１）および（Ｃ、Ｄ１、Ｄ２、［Ｒ、Ｔ］Ｌ２）が、それぞれ共平面である。４つ組（Ｃ、Ｄ１、Ｄ２、［Ｒ、Ｔ］Ｌ１）の共平面性制約は、以下の行列の行列式が消滅するように強制する。
【００３９】
【数２】
【００４０】
同様に、他方の４つ組（Ｃ、Ｄ１、Ｄ２、［Ｒ、Ｔ］Ｌ２）も共平面性制約を与える。したがって、全ての２Ｄ−３Ｄ線対応は、線上の２つの点から２つの式をもたらす。
【００４１】
本発明者らの目標は、３Ｄ特徴（点および線の双方）が共線性制約および共平面性制約を満たす６つのパラメーター（３つがＲ用で３つがＴ用）を求めることである。このため、４つの可能な最小構成を有する（３点、２点１線、１点２線、および３線）。
【００４２】
基準系
図３に示すように、点および線が存在するカメラ基準系およびワールド基準系は、それぞれＣ０およびＷ０によって表される。
【００４３】
本発明者らの目標は、ワールド基準系Ｗ０とカメラ基準系Ｃ０との間の変換を求めることである。最初にＣ０およびＷ０をそれぞれ中間カメラ基準系Ｃ１および中間ワールド基準系Ｗ１に変換する。次に、これらの中間ワールド基準系Ｗ１と中間カメラ基準系Ｃ１との間の姿勢を求める。これは、カメラ基準系とワールド基準系との間の姿勢を求めるのに用いることができる。これらの中間基準系を用いる解法によって、結果としての多項式の次数が大幅に低減される。すなわち、従来の６４（２６）次多項式から、本発明の４次多項式および８次多項式に低減される。
【００４４】
変換（Ｒｗ２ｃ、Ｔｗ２ｃ）を求める。これは、ワールド基準系およびカメラ基準系内の３Ｄの点および線を表す。共線性制約および共平面性制約を直接適用した結果、１２個の変数（９個のＲｉｊ、３個のＴｉ）を伴う６つの一次方程式となる。これらの変数を解くために、さらなる式を必要とする。これらの式は、６つの二次直交性制約とすることができる。
【００４５】
そのような系の解は、最終的に、結果として６４個の解を有する６４（２６）次多項式となる。そのような解を求めることは、いくつかのコンピュータービジョンアプリケーションにとって実現可能でない場合がある。本発明者らの主な目標は、この困難を克服する方法を提供することである。これをなすために、まずカメラ基準系Ｃ０およびワールド基準系Ｗ０の双方を、それぞれ中間カメラ基準系Ｃ１および中間ワールド基準系Ｗ１に変換する。
【００４６】
この変換後、本発明者らの目標は、中間基準系間の姿勢（Ｒ、Ｔ）を見つけることである。中間カメラ基準系Ｃ１および中間ワールド基準系Ｗ１を、結果としての多項式が、最も低い可能な次数となるように選択する。２つの最小構成のための姿勢推定手順を説明する。他の２つの構成は、類似した形で取り扱うことができる。
【００４７】
最小解
２点１線
２つの２Ｄ−３Ｄ点および１つの２Ｄ−３Ｄ線の対応からの姿勢推定手順を提供する。点の２Ｄ座標から、較正を用いて対応する投影光線を求めることができる。２Ｄ線の構成において、画像内の線の端点の対応する投影光線を求めることができる。以下で、画像上の点特徴および線特徴の関連付けられる３Ｄ投影光線のみを考察する。
【００４８】
図４（Ａ）〜図４（Ｄ）は、カメラ基準系Ｃ０およびワールド基準系Ｗ０、並びに２点１線構成からの姿勢推定における中間カメラ基準系Ｃ１および中間ワールド基準系Ｗ１を示している。変換前および変換後のカメラ基準系がそれぞれ図４（Ａ）および図４（Ｃ）に示されている。同様に、変換前および変換後のワールド基準系がそれぞれ図４（Ｂ）および図４（Ｄ）に示されている。
【００４９】
中間カメラ基準系Ｃ１
図４（Ａ）および図４（Ｂ）において、それぞれ、カメラ基準系Ｃ０およびワールド基準系Ｗ０におけるカメラ投影光線（２Ｄの点および線に関連付けられる）および３Ｄ特徴（点および線）を示している。カメラの中心は、Ｃ０であり、２つの２Ｄ点に対応する投影光線は、それらの方向ベクトルｄ１（→）およびｄ２（→）によって与えられ、２Ｄ線に対応する投影光線は、方向ベクトルｄ３（→）およびｄ４（→）によって与えられる（ここで、（→）の表記は、かっこの前の記号の上に→が付され、ベクトルを表すことを意味している）。
【００５０】
中間カメラ基準系Ｃ１において、常に、２つの点（中心および光線上の点）を用いてカメラの投影光線を表す。２つの２Ｄ点に対応する投影光線は、ＣＤ１およびＣＤ２であり、線は、ＣＤ３およびＣＤ４である。３つ組（Ｃ、Ｄ３、Ｄ４）によって形成される平面は、解釈平面と呼ばれる。
【００５１】
以下の条件を満たす中間カメラ基準系Ｃ１を選択する。
ａ．カメラ中心が座標Ｃ（０、０、−１）にある、
ｂ．線Ｌ３Ｌ４に対応する投影光線のうちの一方ＣＤ３が、Ｄ３＝（０、０、０）となるようにＺ軸上にある、および
ｃ．線Ｌ３Ｌ４に対応する他方の投影光線ＣＤ４が、Ｄ４がＸ軸上にあるようにＸＺ平面上にある。
【００５２】
構築的な偏角を用いて、２点１線に対応する投影光線の任意のセットの変換が可能である。Ｐ０およびＰがそれぞれ基準系Ｃ０およびＣ内の任意の点の座標を表すとする。この表記に従って、点Ｄ３およびＤ４は、代数的微分を用いてＣ０およびＣ１で表される。
【００５３】
【数３】
【００５４】
Ｃ０とＣ１との間の姿勢（Ｒｃ１、Ｔｃ１）は、３つ組（Ｃ０、Ｄ３、Ｄ４）を（Ｃ、Ｄ３、Ｄ４）に変換するものによって与えられる。
【００５５】
中間ワールド基準系Ｗ１
中間ワールド基準系は、以下のように記述することができる。任意の２つの３Ｄ点ＰおよびＱ間のユークリッド距離をｄ（Ｐ、Ｑ）によって表されるものとする。Ｗ１における３Ｄ線上の２つの３Ｄ点および１つの３Ｄ点は、下式となる。
【００５６】
【数４】
【００５７】
ここで、Ｘ３およびＹ３は、三角法を用いて求めることができる。
【００５８】
【数５】
【００５９】
ワールド基準系Ｗ０と中間ワールド基準系Ｗ１との間の姿勢（Ｒｗ１、Ｔｗ１）は、３つ組（Ｐ０１、Ｐ０２、Ｌ０３）を（Ｐ１、Ｐ２、Ｐ３）に変換するものによって与えられる。簡潔にするために、姿勢推定手順において、以下の表記を用いる。
【００６０】
【数６】
【００６１】
中間カメラ基準系Ｃ１と中間ワールド基準系Ｗ１との間の姿勢推定
第１のステップは、全ての利用可能な共線性制約および共平面性制約を行列内にスタックすることである。この場合、３Ｄ点Ｐ１およびＰ２にそれぞれ対応する３つ組（Ｃ、Ｄ１、Ｐ１）および（Ｃ、Ｄ２、Ｐ２）のための２つの共線性行列を有する。式（１）に示すように、これらの２つの共線性行列は、４つの方程式を与える。
【００６２】
加えて、３Ｄ線Ｌ３Ｌ４に対応する４つ組（Ｃ、Ｄ３、Ｄ４、Ｌ３）および（Ｃ、Ｄ３、Ｄ４、Ｌ４）からの２つの共平面性方程式を有する。（部分）行列の行列式からの制約をスタックした後、線形系ＡＸ＝Ｂを得る。ここで、Ａ、Ｘ、およびＢは、下式である。
【００６３】
【数７】
【００６４】
行列Ａは、既知の変数を有し、階数６である。線形系内に８つの変数が存在するので、２つのベクトルが広がる部分空間内に解を得ることができる。
ａ．Ｘ＝ｕ＋ｌ１ｖ＋ｌ２ｗ
ここで、ｕ、ｖ、およびｗは、サイズ８×１の既知のベクトルである。
【００６５】
次に、回転行列からの直交性制約を用いて、未知の変数ｌ１およびｌ２を推定する。回転変数を伴う２つの直交性制約を書くことができる。
【００６６】
【数８】
【００６７】
これらの回転変数をｌ１およびｌ２の関数として代入し、上記の連立二次方程式を解いた後、（ｌ１、ｌ２）について４つの解を得て、このため（Ｒ１１、Ｒ２１、Ｒ３１、Ｒ２２、Ｒ２３）について４つの解を得る。
【００６８】
回転行列内の５つの要素は、直交性制約を用いて、他の要素を一意に確定する。このため、２点１線構成によって、姿勢（Ｒ、Ｔ）の合計４つの解がもたらされる。
【００６９】
１点２線
このセクションでは、１つの２Ｄ−３Ｄ点、および２つの２Ｄ−３Ｄ線対応からの姿勢推定手順を説明する。
【００７０】
中間カメラ基準系Ｗ１
図５（Ａ）および図５（Ｂ）は、それぞれ、カメラ基準系Ｃ０およびワールド基準系Ｗ０におけるカメラ投影光線（２Ｄの点および線に関連付けられる）および３Ｄ特徴（点および線）を示している。カメラ基準系Ｃ０において、カメラの中心は、Ｃ０にあり、２Ｄ点に対応する投影光線は、それらの方向ベクトルｄ１（→）によって与えられ、２つの２Ｄ線に対応する投影光線は、方向ベクトルの対（ｄ２（→）、ｄ３（→））および（ｄ４（→）、ｄ５（→））によって与えられる。中間カメラ基準系Ｃ１において、２Ｄ点に対応する光線は、ＣＤ１であり、２つの線に連結される光線は、それぞれ対（ＣＤ２、ＣＤ３）、および（ＣＤ３、ＣＤ４）である。
【００７１】
以下の条件を満たすことによって、Ｃ１を選択する。
ａ．カメラ中心が、座標Ｃ（０、０、−１）にある、
ｂ．２つの解釈平面の交差線からの投影光線ＣＤ３が、Ｄ３＝（０、０、０）となるようにＺ軸上にある、および
ｃ．光線ＣＤ２が、ＸＺ平面上にあり、ただしＤ２が、Ｘ軸上にある。
【００７２】
上記の構成と同様に、そのような変換が構築によって可能であることを証明する。解釈平面（Ｃ０、ｄ２（→）、ｄ３（→））の単位法線ベクトルは、ｎ１（→）＝ｄ２（→）×ｄ（→）およびｄ２（→）＝ｄ４（→）×ｄ（→）によって与えられる。２つの平面の交差線の方向ベクトルは、ｄ１２（→）＝ｄ１（→）×ｄ２（→）として求めることができる。Ｃ０における方向ベクトルｄ２（→）、ｄ１２（→）およびｄ４（→）は、それぞれ投影光線ＣＤ２、ＣＤ３、およびＣＤ４に対応する。
【００７３】
代数的変換を用いて、中間基準系への変換前および変換後の点Ｄ２およびＤ３は下式となる。
【００７４】
【数９】
【００７５】
カメラ基準系Ｃ０と中間カメラ基準系Ｃ１との間の変換は、３つ組（Ｃ０、Ｄ０２、Ｄ０３）を（Ｃ、Ｄ２、Ｄ３）に投影するものによって与えられる。
【００７６】
中間ワールド基準系Ｗ１
中間ワールド基準系Ｗ１は、単一の３Ｄ点Ｐ１が原点（０、０、０）にあるように選択される。ワールド基準系Ｗ０と中間ワールド基準系Ｗ１との間の変換は、Ｐ０１をＰ１に並進させる。簡潔にするために、Ｃ０およびＷ０におけるいくつかの点について、以下の表記を用いる。
【００７７】
【数１０】
【００７８】
中間カメラ基準系Ｃ１と中間ワールド基準系Ｗ１との間の姿勢推定
１点２線対応を用いた姿勢推定を説明した。３つ組（Ｃ、Ｄ１、Ｐ１）からの２つの共線性方程式と、４つ組（Ｃ、Ｄ２、Ｄ３、Ｌ２）および（Ｃ、Ｄ２、Ｄ３、Ｌ３）からの４つの共平面性方程式とをスタックする。以下の線形系、すなわち、ＡＸ＝Ｂを構築する。ここで、Ａ、Ｘ、およびＢは、下式となる。
【００７９】
【数１１】
【００８０】
線形系ＡＸ＝Ｂにおいて、第１の行および第２の行は、３つ組（Ｃ、Ｄ１、Ｐ１）について、式（１）の共線性制約を用いて得られる。第３行、第４行、第５行、および第６行は、それぞれ４つ組（Ｃ、Ｄ２、Ｄ３、Ｌ２）、（Ｃ、Ｄ２、Ｄ３、Ｌ３）、（Ｃ、Ｄ３、Ｄ４、Ｌ４）、および（Ｃ、Ｄ３、Ｄ４、Ｌ５）について、式（２）の共平面性制約を用いて得られる。
【００８１】
行列Ｍは、既知の変数を有し、階数６である。線形系内に９つの変数が存在するので、２つのベクトルが広がる部分空間内に以下に示すように解を得ることができる。すなわち、Ｘ＝ｕ＋ｌ１ｖ＋ｌ２ｗ＋ｌ３ｙであり、ここで、ｕ、ｖ、ｗ、およびｙは、サイズ９×１の既知のベクトルであり、ｌ１、ｌ２、およびｌ３は、未知の変数である。３つの直交性制約は、回転変数Ｒ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２２、およびＲ２３を含んでいる（Ｘ内の個々の要素は、ｌ１、ｌ２、およびｌ３の関数として表される）。
【００８２】
【数１２】
【００８３】
上記の方程式の効率的で安定した解を得るために、グレブナー基底法を用いて構築された自動ソルバを用いて、（ｌ１、ｌ２、ｌ３）の８つの異なる解を得る。結果として、これによって姿勢（Ｒ、Ｔ）の８つの解が生成された。
【００８４】
退化構成および他のシナリオ
３Ｄ特徴間で、３Ｄ点が３Ｄ線上にある場合、構成は、退化している。座標変換の同じ着想および共線性制約および共平面性制約の使用を用いて、３点および３線を解くことが可能である。
【技術分野】
【０００１】
本発明は、包括的には姿勢を推定することに関し、より詳細にはジオロケーションの目的で環境における姿勢を推定することに関する。
【背景技術】
【０００２】
コンピュータービジョンアプリケーションでは、点および線等の画像特徴を用いて、多岐にわたる幾何学的問題が解かれる。従来の方法は、全ての利用可能な特徴を用い、それらの全ての特徴にわたって最小二乗基準を用いて問題を解く。一方、多くのコンピュータービジョン問題において、最小解が、非最小法と比較して雑音を受けにくいことがわかっている。
【０００３】
最小解は、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）等の仮説作成・検査手順における仮説生成器として、非常に有用であった（特許文献１を参照されたい）。
【０００４】
最小解は、いくつかのコンピュータービジョン問題に関して知られている。それらの問題は、半径方向歪みの自動較正、透視３点問題、５点相対姿勢問題、６点焦点距離問題、６点一般化カメラ問題、放物面反射屈折基本行列を推定するための９点問題、および９点半径方向歪み問題である。全ての既知の解法を把握する統一化の試みも存在する。
【０００５】
２Ｄ−３Ｄレジストレーション
本発明は、特に、点および線を用いた姿勢推定に関する。姿勢は、並進および回転の３自由度を有するものとして規定される。目標は、ワールド基準系における点および線間の３つの対応、並びにカメラ基準系におけるそれらの画像への投影を所与として、カメラ基準系とワールド基準系との間のカメラの姿勢を求めることである。３線構成または３点構成のための解法が既知である。本明細書で定義されるとき、「基準系」は、３Ｄ座標系である。
【０００６】
実際には、点特徴および線特徴の双方が相補的な利点を有する。都市環境における本発明者らの意図されるジオローカライゼーションの用途に配慮すると、画像シーケンスおよび粗い３Ｄモデルを用いて、３Ｄモデルおよび画像の線間の対応を取得することは、比較的容易である。
【０００７】
２つの画像間の点マッチングも既知であり、線マッチングよりも容易である。追跡のための点および線の融合が説明されてきたが、外れ値、不完全な一致、および狭い視野に対し、より敏感でない最小解は、従来技術において説明されてこなかった。
【０００８】
近年、点または線のいずれかを用いるが、双方を用いないステレオカメラのための最小姿勢手順が説明されてきた。
【０００９】
画像に基づくジオローカライゼーション
画像からジオロケーションを推測することへの興味が増してきている。縮小していく縦方向を用いて、クエリ画像をデータベース内に格納された画像とマッチングすることによって、地理空間ローカライゼーションを取得することが可能である。
【００１０】
大きな都市環境の再構築に関して、いくつかの３Ｄ再構築手順が説明されてきた。１つのローカライゼーション方法は、３Ｄモデルからの線を、制御された室内環境から広角カメラによって捕捉された画像内の線とマッチングする。
【００１１】
しかしながら、「都市キャニオン」等の屋外環境における姿勢を求めることは、より困難な課題である。そのような環境におけるジオロケーションの目的での姿勢推定は、無線受信が乏しい場合、ＧＰＳに基づく解法では多くの場合、困難である。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】米国特許第７、３５９、５２６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
したがって、そのようなジオロケーション用途のためのカメラに基づく解法を提供することが望ましい。
【課題を解決するための手段】
【００１４】
本発明の実施の形態は、最小数の画像特徴を用いてコンピュータービジョンにおける幾何学的問題を解くための方法を提供する。本方法は、幾何学的共線性制約および幾何学的共平面性制約を用いて、４つの最小幾何学問題の解をもたらす。
【００１５】
中間基準系を用いて姿勢推定に関与する方程式を単純化する。本明細書において定義されるとき、「基準系」は、３Ｄ座標系である。制約の従来の適用では、６４次多項式の解がもたらされる。本発明者らの中間基準系を用いると、問題は、４次多項式および８次多項式まで低減される。
【００１６】
最小姿勢推定のために、点および線を用いて、最後の２つの欠けている項を与える。
【００１７】
姿勢推定は、ワールド内の既知の特徴（点および線）並びに画像に対するそれらの投影を所与として、カメラの姿勢を回復する問題を指す。点特徴および線特徴を用いる４つの最小構成、すなわち、３点、２点１線、１点２線、および３線が存在する。点または線のいずれかのみに依拠する第１の構成および最後の構成のための解法が既知である。
【００１８】
しかしながら、実際にはより一般的である混合構成は、これまで解決されていない。
【００１９】
本発明者らは、同じ手法を用いて４つ全ての構成を解くことができる汎用技法を開発することが実際に可能であること、およびその解法が４次多項式または８次多項式のいずれかの根を求めることを伴うことを示している。
【００２０】
解決の鍵は、適切な中間基準系の選択、および姿勢推定問題を解く際の共線性制約および共平面性制約の使用である。画像シーケンス、および無線受信が乏しいＧＰＳ不良都市環境の粗い３Ｄモデルを用いたジオローカライゼーションのための強力な適用も提供する。
【発明の効果】
【００２１】
多くの現実世界の用途において、３点または３線の対応を求めることは、必ずしも可能でない。本発明は、これらの特徴を混合させるという選択を与え、それによって、以前には可能でなかった事例における解決を可能にすることによって、この状況を改善する。
【００２２】
共線性制約および共平面性制約を用いた本発明者らの問題定式化、並びに中間基準系を選択する技法は、都市環境におけるジオロケーションおよびオブジェクト検出等の多くの用途で非常に有用である。
【図面の簡単な説明】
【００２３】
【図１】空間内の点が、カメラからの対応する逆投影された光線上にある共線性制約の概略図である。
【図２】空間内の線が、カメラからの対応する逆投影された光線によって形成される対応する解釈平面上にある共平面性制約の概略図である。
【図３】本発明の実施の形態による、カメラ基準系およびワールド基準系が対応する中間カメラ基準系および中間ワールド基準系に変換される中間変換技法の概略図である。
【図４】本発明の実施の形態による、２点１線を用いた最小姿勢推定手順のための中間変換の概略図である。
【図５】本発明の実施の形態による、１点２線を用いた最小姿勢推定手順のための中間変換の概略図である。
【図６】本発明の実施の形態による最小姿勢推定方法のフローブロック図である。
【図７】都市環境における強化されたジオロケーションおよびオブジェクト検出に用いられる都市環境の３Ｄモデルを構築するための方法の概略図である。
【発明を実施するための形態】
【００２４】
図６は、本発明の実施の形態による、環境６０２におけるオブジェクトの３Ｄ姿勢６４１を求めるための方法を示している。姿勢は、並進（Ｔ）において３自由度、および回転（Ｒ）において３自由度を有する。
【００２５】
カメラ６０３によって環境から捕捉された画像６０１内の点および線から、特徴が抽出される（６１０）。これらの特徴は、環境の３Ｄモデル６０９にマッチングされ、対応６１１が求められる。
【００２６】
対応を用いて、画像のカメラ基準系および環境のワールド基準系を、対応する中間カメラ基準系および中間ワールド基準系６２１に変換する。本明細書において定義されるとき、「基準系」は、３Ｄ座標系である。幾何学的制約が中間基準系に適用される（６３０）。次に、制約付き基準系のパラメーターを用いて、３Ｄ姿勢が求められる（６４０）。
【００２７】
図７は、環境、たとえば、屋外都市場面の３Ｄモデルを構築するために実行することができるステップを示している。たとえば、Ｇｏｏｇｌｅ ３Ｄ Ｗａｒｅｈｏｕｓｅからテクスチャのない粗い３Ｄモデルが捕捉される。代替的に、粗いモデルは、車両ナビゲーティング上に搭載されるカメラによって環境を通じて捕捉された画像から構築される。
【００２８】
テクスチャを、たとえば、ＧｏｏｇｌｅおよびＳｋｅｔｃｈＵｐを用いて付加することができる（７０２）。テクスチャ化されたモデルに人を投入することができ（７０３）、投影マッピングを用いて道路標識を付加して、詳細な３Ｄモデルを生成することもできる（７０４）。構築中、都市環境のいくつかの点および線７００を画像から抽出することができる。次に、本明細書において説明される方法を用いて、これらの点および線を用いて様々なオブジェクトの姿勢を求める。そして、この詳細な３Ｄモデルを、歩行者、車両、交通信号、および道路標識の自動検出を実行するジオロケーション、強化車両ナビゲーションサービスに用いることができる。
【００２９】
代替的に、本方法は、自動化された製造中に、工業用部品を掴むための姿勢推定、および屋内場面でのロボットナビゲーションのために最小数の点特徴および線特徴が用いられるロボット設定において、用いることができる。たとえば、環境は、屋内工場設定であり、３Ｄ姿勢は、ロボットアームを用いて小さな工業用部品を掴み取るために用いられる。
【００３０】
上記の方法ステップの全てを、当該技術分野において既知のメモリおよび入力／出力インターフェースに接続されたプロセッサ６００において実行することができる。
【００３１】
これより、本方法をより詳細に説明する。
【００３２】
共線性および共平面性
図１および図２に示すように、本発明者らの方法は、２つの幾何学的制約、すなわち、共線性および共平面性のみを用いて、４つ全ての最小構成を解決する。共線性制約は、２Ｄ−３Ｄ対応６１１から生じる。一般的なイメージングセットアップにおいて、画像内の全てのピクセルが３Ｄ投影光線に対応し、対応する３Ｄ点がこの光線上にある。ここで、ｘ、ｙ、およびｚは、３Ｄ座標である。
【００３３】
本明細書において説明される最小解は、２Ｄ画像特徴に連結される投影光線ＣＤ１を用い、環境内の関連付けられた３Ｄ点Ｐ１は、基準系内に表されるとき、共線である。
【００３４】
図２において、２Ｄ線の端点に連結された２つの投影光線ＣＤ１およびＣＤ２、並びに２つの点Ｌ１およびＬ２によって表される関連付けられる３Ｄ線は、全て共平面である。
【００３５】
図１において、投影光線ＣＤ１および点Ｐ１は、同じ中間基準系内に表されるとき、光線上にある。本発明者らの目標は、姿勢（Ｒ、Ｔ）のもとで、点Ｐ１が光線ＣＤ１上にある該姿勢（Ｒ、Ｔ）を見つけることであり、ここで、Ｒは回転であり、Ｔは並進である。これらの点を以下の行列にスタックする。この行列を共線性行列と呼ぶ。
【００３６】
【数１】
【００３７】
第１の共線性制約は、上記の行列のサイズ３×３を有する任意の部分行列の行列式が消滅するように強制する。換言すれば、一度に１つの行を除去することによって、４つの制約を取得する。上記の行列から４つの式を取得するが、２つのみが独立しており、このため有用である。
【００３８】
第２の共平面性幾何学的制約は、２Ｄ−３Ｄ線対応から生じる。図２に示すように、点Ｃ、Ｄ１、Ｄ２、Ｐ１、およびＰ２は、同じ基準系内に表されるとき、単一平面上にある。換言すれば、正しい姿勢［Ｒ、Ｔ］の場合、単一の２Ｄ−３Ｄ線対応から２つの制約を取得する。すなわち、４つ組（Ｃ、Ｄ１、Ｄ２、［Ｒ、Ｔ］Ｌ１）および（Ｃ、Ｄ１、Ｄ２、［Ｒ、Ｔ］Ｌ２）が、それぞれ共平面である。４つ組（Ｃ、Ｄ１、Ｄ２、［Ｒ、Ｔ］Ｌ１）の共平面性制約は、以下の行列の行列式が消滅するように強制する。
【００３９】
【数２】
【００４０】
同様に、他方の４つ組（Ｃ、Ｄ１、Ｄ２、［Ｒ、Ｔ］Ｌ２）も共平面性制約を与える。したがって、全ての２Ｄ−３Ｄ線対応は、線上の２つの点から２つの式をもたらす。
【００４１】
本発明者らの目標は、３Ｄ特徴（点および線の双方）が共線性制約および共平面性制約を満たす６つのパラメーター（３つがＲ用で３つがＴ用）を求めることである。このため、４つの可能な最小構成を有する（３点、２点１線、１点２線、および３線）。
【００４２】
基準系
図３に示すように、点および線が存在するカメラ基準系およびワールド基準系は、それぞれＣ０およびＷ０によって表される。
【００４３】
本発明者らの目標は、ワールド基準系Ｗ０とカメラ基準系Ｃ０との間の変換を求めることである。最初にＣ０およびＷ０をそれぞれ中間カメラ基準系Ｃ１および中間ワールド基準系Ｗ１に変換する。次に、これらの中間ワールド基準系Ｗ１と中間カメラ基準系Ｃ１との間の姿勢を求める。これは、カメラ基準系とワールド基準系との間の姿勢を求めるのに用いることができる。これらの中間基準系を用いる解法によって、結果としての多項式の次数が大幅に低減される。すなわち、従来の６４（２６）次多項式から、本発明の４次多項式および８次多項式に低減される。
【００４４】
変換（Ｒｗ２ｃ、Ｔｗ２ｃ）を求める。これは、ワールド基準系およびカメラ基準系内の３Ｄの点および線を表す。共線性制約および共平面性制約を直接適用した結果、１２個の変数（９個のＲｉｊ、３個のＴｉ）を伴う６つの一次方程式となる。これらの変数を解くために、さらなる式を必要とする。これらの式は、６つの二次直交性制約とすることができる。
【００４５】
そのような系の解は、最終的に、結果として６４個の解を有する６４（２６）次多項式となる。そのような解を求めることは、いくつかのコンピュータービジョンアプリケーションにとって実現可能でない場合がある。本発明者らの主な目標は、この困難を克服する方法を提供することである。これをなすために、まずカメラ基準系Ｃ０およびワールド基準系Ｗ０の双方を、それぞれ中間カメラ基準系Ｃ１および中間ワールド基準系Ｗ１に変換する。
【００４６】
この変換後、本発明者らの目標は、中間基準系間の姿勢（Ｒ、Ｔ）を見つけることである。中間カメラ基準系Ｃ１および中間ワールド基準系Ｗ１を、結果としての多項式が、最も低い可能な次数となるように選択する。２つの最小構成のための姿勢推定手順を説明する。他の２つの構成は、類似した形で取り扱うことができる。
【００４７】
最小解
２点１線
２つの２Ｄ−３Ｄ点および１つの２Ｄ−３Ｄ線の対応からの姿勢推定手順を提供する。点の２Ｄ座標から、較正を用いて対応する投影光線を求めることができる。２Ｄ線の構成において、画像内の線の端点の対応する投影光線を求めることができる。以下で、画像上の点特徴および線特徴の関連付けられる３Ｄ投影光線のみを考察する。
【００４８】
図４（Ａ）〜図４（Ｄ）は、カメラ基準系Ｃ０およびワールド基準系Ｗ０、並びに２点１線構成からの姿勢推定における中間カメラ基準系Ｃ１および中間ワールド基準系Ｗ１を示している。変換前および変換後のカメラ基準系がそれぞれ図４（Ａ）および図４（Ｃ）に示されている。同様に、変換前および変換後のワールド基準系がそれぞれ図４（Ｂ）および図４（Ｄ）に示されている。
【００４９】
中間カメラ基準系Ｃ１
図４（Ａ）および図４（Ｂ）において、それぞれ、カメラ基準系Ｃ０およびワールド基準系Ｗ０におけるカメラ投影光線（２Ｄの点および線に関連付けられる）および３Ｄ特徴（点および線）を示している。カメラの中心は、Ｃ０であり、２つの２Ｄ点に対応する投影光線は、それらの方向ベクトルｄ１（→）およびｄ２（→）によって与えられ、２Ｄ線に対応する投影光線は、方向ベクトルｄ３（→）およびｄ４（→）によって与えられる（ここで、（→）の表記は、かっこの前の記号の上に→が付され、ベクトルを表すことを意味している）。
【００５０】
中間カメラ基準系Ｃ１において、常に、２つの点（中心および光線上の点）を用いてカメラの投影光線を表す。２つの２Ｄ点に対応する投影光線は、ＣＤ１およびＣＤ２であり、線は、ＣＤ３およびＣＤ４である。３つ組（Ｃ、Ｄ３、Ｄ４）によって形成される平面は、解釈平面と呼ばれる。
【００５１】
以下の条件を満たす中間カメラ基準系Ｃ１を選択する。
ａ．カメラ中心が座標Ｃ（０、０、−１）にある、
ｂ．線Ｌ３Ｌ４に対応する投影光線のうちの一方ＣＤ３が、Ｄ３＝（０、０、０）となるようにＺ軸上にある、および
ｃ．線Ｌ３Ｌ４に対応する他方の投影光線ＣＤ４が、Ｄ４がＸ軸上にあるようにＸＺ平面上にある。
【００５２】
構築的な偏角を用いて、２点１線に対応する投影光線の任意のセットの変換が可能である。Ｐ０およびＰがそれぞれ基準系Ｃ０およびＣ内の任意の点の座標を表すとする。この表記に従って、点Ｄ３およびＤ４は、代数的微分を用いてＣ０およびＣ１で表される。
【００５３】
【数３】
【００５４】
Ｃ０とＣ１との間の姿勢（Ｒｃ１、Ｔｃ１）は、３つ組（Ｃ０、Ｄ３、Ｄ４）を（Ｃ、Ｄ３、Ｄ４）に変換するものによって与えられる。
【００５５】
中間ワールド基準系Ｗ１
中間ワールド基準系は、以下のように記述することができる。任意の２つの３Ｄ点ＰおよびＱ間のユークリッド距離をｄ（Ｐ、Ｑ）によって表されるものとする。Ｗ１における３Ｄ線上の２つの３Ｄ点および１つの３Ｄ点は、下式となる。
【００５６】
【数４】
【００５７】
ここで、Ｘ３およびＹ３は、三角法を用いて求めることができる。
【００５８】
【数５】
【００５９】
ワールド基準系Ｗ０と中間ワールド基準系Ｗ１との間の姿勢（Ｒｗ１、Ｔｗ１）は、３つ組（Ｐ０１、Ｐ０２、Ｌ０３）を（Ｐ１、Ｐ２、Ｐ３）に変換するものによって与えられる。簡潔にするために、姿勢推定手順において、以下の表記を用いる。
【００６０】
【数６】
【００６１】
中間カメラ基準系Ｃ１と中間ワールド基準系Ｗ１との間の姿勢推定
第１のステップは、全ての利用可能な共線性制約および共平面性制約を行列内にスタックすることである。この場合、３Ｄ点Ｐ１およびＰ２にそれぞれ対応する３つ組（Ｃ、Ｄ１、Ｐ１）および（Ｃ、Ｄ２、Ｐ２）のための２つの共線性行列を有する。式（１）に示すように、これらの２つの共線性行列は、４つの方程式を与える。
【００６２】
加えて、３Ｄ線Ｌ３Ｌ４に対応する４つ組（Ｃ、Ｄ３、Ｄ４、Ｌ３）および（Ｃ、Ｄ３、Ｄ４、Ｌ４）からの２つの共平面性方程式を有する。（部分）行列の行列式からの制約をスタックした後、線形系ＡＸ＝Ｂを得る。ここで、Ａ、Ｘ、およびＢは、下式である。
【００６３】
【数７】
【００６４】
行列Ａは、既知の変数を有し、階数６である。線形系内に８つの変数が存在するので、２つのベクトルが広がる部分空間内に解を得ることができる。
ａ．Ｘ＝ｕ＋ｌ１ｖ＋ｌ２ｗ
ここで、ｕ、ｖ、およびｗは、サイズ８×１の既知のベクトルである。
【００６５】
次に、回転行列からの直交性制約を用いて、未知の変数ｌ１およびｌ２を推定する。回転変数を伴う２つの直交性制約を書くことができる。
【００６６】
【数８】
【００６７】
これらの回転変数をｌ１およびｌ２の関数として代入し、上記の連立二次方程式を解いた後、（ｌ１、ｌ２）について４つの解を得て、このため（Ｒ１１、Ｒ２１、Ｒ３１、Ｒ２２、Ｒ２３）について４つの解を得る。
【００６８】
回転行列内の５つの要素は、直交性制約を用いて、他の要素を一意に確定する。このため、２点１線構成によって、姿勢（Ｒ、Ｔ）の合計４つの解がもたらされる。
【００６９】
１点２線
このセクションでは、１つの２Ｄ−３Ｄ点、および２つの２Ｄ−３Ｄ線対応からの姿勢推定手順を説明する。
【００７０】
中間カメラ基準系Ｗ１
図５（Ａ）および図５（Ｂ）は、それぞれ、カメラ基準系Ｃ０およびワールド基準系Ｗ０におけるカメラ投影光線（２Ｄの点および線に関連付けられる）および３Ｄ特徴（点および線）を示している。カメラ基準系Ｃ０において、カメラの中心は、Ｃ０にあり、２Ｄ点に対応する投影光線は、それらの方向ベクトルｄ１（→）によって与えられ、２つの２Ｄ線に対応する投影光線は、方向ベクトルの対（ｄ２（→）、ｄ３（→））および（ｄ４（→）、ｄ５（→））によって与えられる。中間カメラ基準系Ｃ１において、２Ｄ点に対応する光線は、ＣＤ１であり、２つの線に連結される光線は、それぞれ対（ＣＤ２、ＣＤ３）、および（ＣＤ３、ＣＤ４）である。
【００７１】
以下の条件を満たすことによって、Ｃ１を選択する。
ａ．カメラ中心が、座標Ｃ（０、０、−１）にある、
ｂ．２つの解釈平面の交差線からの投影光線ＣＤ３が、Ｄ３＝（０、０、０）となるようにＺ軸上にある、および
ｃ．光線ＣＤ２が、ＸＺ平面上にあり、ただしＤ２が、Ｘ軸上にある。
【００７２】
上記の構成と同様に、そのような変換が構築によって可能であることを証明する。解釈平面（Ｃ０、ｄ２（→）、ｄ３（→））の単位法線ベクトルは、ｎ１（→）＝ｄ２（→）×ｄ（→）およびｄ２（→）＝ｄ４（→）×ｄ（→）によって与えられる。２つの平面の交差線の方向ベクトルは、ｄ１２（→）＝ｄ１（→）×ｄ２（→）として求めることができる。Ｃ０における方向ベクトルｄ２（→）、ｄ１２（→）およびｄ４（→）は、それぞれ投影光線ＣＤ２、ＣＤ３、およびＣＤ４に対応する。
【００７３】
代数的変換を用いて、中間基準系への変換前および変換後の点Ｄ２およびＤ３は下式となる。
【００７４】
【数９】
【００７５】
カメラ基準系Ｃ０と中間カメラ基準系Ｃ１との間の変換は、３つ組（Ｃ０、Ｄ０２、Ｄ０３）を（Ｃ、Ｄ２、Ｄ３）に投影するものによって与えられる。
【００７６】
中間ワールド基準系Ｗ１
中間ワールド基準系Ｗ１は、単一の３Ｄ点Ｐ１が原点（０、０、０）にあるように選択される。ワールド基準系Ｗ０と中間ワールド基準系Ｗ１との間の変換は、Ｐ０１をＰ１に並進させる。簡潔にするために、Ｃ０およびＷ０におけるいくつかの点について、以下の表記を用いる。
【００７７】
【数１０】
【００７８】
中間カメラ基準系Ｃ１と中間ワールド基準系Ｗ１との間の姿勢推定
１点２線対応を用いた姿勢推定を説明した。３つ組（Ｃ、Ｄ１、Ｐ１）からの２つの共線性方程式と、４つ組（Ｃ、Ｄ２、Ｄ３、Ｌ２）および（Ｃ、Ｄ２、Ｄ３、Ｌ３）からの４つの共平面性方程式とをスタックする。以下の線形系、すなわち、ＡＸ＝Ｂを構築する。ここで、Ａ、Ｘ、およびＢは、下式となる。
【００７９】
【数１１】
【００８０】
線形系ＡＸ＝Ｂにおいて、第１の行および第２の行は、３つ組（Ｃ、Ｄ１、Ｐ１）について、式（１）の共線性制約を用いて得られる。第３行、第４行、第５行、および第６行は、それぞれ４つ組（Ｃ、Ｄ２、Ｄ３、Ｌ２）、（Ｃ、Ｄ２、Ｄ３、Ｌ３）、（Ｃ、Ｄ３、Ｄ４、Ｌ４）、および（Ｃ、Ｄ３、Ｄ４、Ｌ５）について、式（２）の共平面性制約を用いて得られる。
【００８１】
行列Ｍは、既知の変数を有し、階数６である。線形系内に９つの変数が存在するので、２つのベクトルが広がる部分空間内に以下に示すように解を得ることができる。すなわち、Ｘ＝ｕ＋ｌ１ｖ＋ｌ２ｗ＋ｌ３ｙであり、ここで、ｕ、ｖ、ｗ、およびｙは、サイズ９×１の既知のベクトルであり、ｌ１、ｌ２、およびｌ３は、未知の変数である。３つの直交性制約は、回転変数Ｒ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２２、およびＲ２３を含んでいる（Ｘ内の個々の要素は、ｌ１、ｌ２、およびｌ３の関数として表される）。
【００８２】
【数１２】
【００８３】
上記の方程式の効率的で安定した解を得るために、グレブナー基底法を用いて構築された自動ソルバを用いて、（ｌ１、ｌ２、ｌ３）の８つの異なる解を得る。結果として、これによって姿勢（Ｒ、Ｔ）の８つの解が生成された。
【００８４】
退化構成および他のシナリオ
３Ｄ特徴間で、３Ｄ点が３Ｄ線上にある場合、構成は、退化している。座標変換の同じ着想および共線性制約および共平面性制約の使用を用いて、３点および３線を解くことが可能である。
【特許請求の範囲】
【請求項１】
環境における３次元（３Ｄ）オブジェクトの３Ｄ姿勢を求めるための方法であって、
カメラによって前記環境から捕捉した画像から特徴を抽出することと、
前記特徴を前記環境の３Ｄモデルにマッチングすることであって、対応を求める、マッチングすることと、
前記対応を用いて、前記画像のカメラ基準系および前記環境のワールド基準系を対応する中間カメラ基準系および対応する中間ワールド基準系に変換することと、
前記中間カメラ基準系および前記中間ワールド基準系に幾何学的制約を適用することであって、制約付き中間ワールド基準系および制約付きワールド基準系を取得する、適用することと、
前記制約付き中間ワールド基準系および前記制約付きワールド基準系のパラメーターから前記３Ｄ姿勢を求めること
を含み、これらのステップは、プロセッサにおいて実行される、方法。
【請求項２】
前記環境は、屋外都市場面であり、前記３Ｄ姿勢は、ジオロケーションのために用いられる、請求項１に記載の方法。
【請求項３】
前記姿勢は、自動ナビゲーションのために用いられる、請求項１に記載の方法。
【請求項４】
前記環境は、屋内工場設定であり、前記３Ｄ姿勢は、ロボットアームを用いて小さな工業用部品を掴み取るのに用いられる、請求項１に記載の方法。
【請求項５】
前記幾何学的制約は、共線性制約および共平面性制約である、請求項１に記載の方法。
【請求項６】
前記特徴は、２つの点および１つの線を含む、請求項１に記載の方法。
【請求項７】
前記特徴は、１つの点および２つの線を含む、請求項１に記載の方法。
【請求項８】
前記パラメーターは、前記姿勢の３つの回転パラメーターおよび３つの並進パラメーターを含む、請求項１に記載の方法。
【請求項９】
前記姿勢は、４次多項式を用いて求められる、請求項１に記載の方法。
【請求項１０】
前記姿勢は、８次多項式を用いて求められる、請求項１に記載の方法。
【請求項１１】
前記中間カメラ基準系において、前記カメラの中心は、座標Ｃ（０、０、−１）にあり、第１の線の投影光線は、Ｚ軸上の線に対応し、第２の線の投影光線は、ＸＺ平面上の線に対応する、請求項１に記載の方法。
【請求項１２】
前記姿勢は、ランダムサンプルコンセンサスの枠組みを用いて推定される、請求項１に記載の方法。
【請求項１】
環境における３次元（３Ｄ）オブジェクトの３Ｄ姿勢を求めるための方法であって、
カメラによって前記環境から捕捉した画像から特徴を抽出することと、
前記特徴を前記環境の３Ｄモデルにマッチングすることであって、対応を求める、マッチングすることと、
前記対応を用いて、前記画像のカメラ基準系および前記環境のワールド基準系を対応する中間カメラ基準系および対応する中間ワールド基準系に変換することと、
前記中間カメラ基準系および前記中間ワールド基準系に幾何学的制約を適用することであって、制約付き中間ワールド基準系および制約付きワールド基準系を取得する、適用することと、
前記制約付き中間ワールド基準系および前記制約付きワールド基準系のパラメーターから前記３Ｄ姿勢を求めること
を含み、これらのステップは、プロセッサにおいて実行される、方法。
【請求項２】
前記環境は、屋外都市場面であり、前記３Ｄ姿勢は、ジオロケーションのために用いられる、請求項１に記載の方法。
【請求項３】
前記姿勢は、自動ナビゲーションのために用いられる、請求項１に記載の方法。
【請求項４】
前記環境は、屋内工場設定であり、前記３Ｄ姿勢は、ロボットアームを用いて小さな工業用部品を掴み取るのに用いられる、請求項１に記載の方法。
【請求項５】
前記幾何学的制約は、共線性制約および共平面性制約である、請求項１に記載の方法。
【請求項６】
前記特徴は、２つの点および１つの線を含む、請求項１に記載の方法。
【請求項７】
前記特徴は、１つの点および２つの線を含む、請求項１に記載の方法。
【請求項８】
前記パラメーターは、前記姿勢の３つの回転パラメーターおよび３つの並進パラメーターを含む、請求項１に記載の方法。
【請求項９】
前記姿勢は、４次多項式を用いて求められる、請求項１に記載の方法。
【請求項１０】
前記姿勢は、８次多項式を用いて求められる、請求項１に記載の方法。
【請求項１１】
前記中間カメラ基準系において、前記カメラの中心は、座標Ｃ（０、０、−１）にあり、第１の線の投影光線は、Ｚ軸上の線に対応し、第２の線の投影光線は、ＸＺ平面上の線に対応する、請求項１に記載の方法。
【請求項１２】
前記姿勢は、ランダムサンプルコンセンサスの枠組みを用いて推定される、請求項１に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−８１２４（Ｐ２０１２−８１２４Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−１２３３２０（Ｐ２０１１−１２３３２０）
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１１−１２３３２０（Ｐ２０１１−１２３３２０）
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（５９７０６７５７４）ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド (484)
【住所又は居所原語表記】２０１ ＢＲＯＡＤＷＡＹ， ＣＡＭＢＲＩＤＧＥ， ＭＡＳＳＡＣＨＵＳＥＴＴＳ ０２１３９， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]