画像の少なくとも１つの特徴として記述子を提供する方法及び特徴をマッチングする方法
【解決手段】画像の少なくとも１つの特徴として記述子を提供する方法であって、キャプチャ装置によってキャプチャされた画像を提供し、及び前記画像から少なくとも１つの特徴を抽出する工程と、記述子を前記少なくとも１つの特徴に割り当てる工程とを備え、前記記述子が、方位を示す少なくとも１つのパラメータに応じており、前記少なくとも１つのパラメータが、少なくとも１つのトラッキングシステムから決定される。また、本発明は、２つ以上の画像特徴をマッチングする方法にも関連する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の少なくとも１つの特徴として記述子を提供する方法及び２つ以上の画像の特徴をマッチングする方法に関する。また、本発明は、前記方法を実行する手段を与えるソフトウェアコードセクションを具備するコンピュータプログラムプロダクトに関する。
【背景技術】
【０００２】
コンピュータ・ビジョン分野における多くのアプリケーションには、使用される照明及びキャプチャ用ハードウェアを変化させるとともに、変化するビューポイントで、同じシーン若しくはオブジェクトの２つ以上の画像における一致点或いは他と異なる別の特徴を見つけることが必要である。その特徴は、複数の点であるか、又は複数の点の一組（線、セグメント、画像における領域若しくは単なる画素群）であり得る。実施例のアプリケーションには、狭い及びワイド−ベースラインのステレオマッチング、カメラポーズの推定、画像検索、オブジェクト認識及び視覚検索が含まれる。
【０００３】
例えば、拡張現実（感）システムでは、実環境における視覚的印象と、コンピュータで生成された仮想情報との重ね合わせを可能にする。最終的には、例えば１つ以上の画像の中にカメラによって捉えられた、現実世界における視覚的印象は、例えば、仮想情報とともに拡張されたそれぞれの画像を表示するディスプレイ機器の手段により、仮想情報とミックスされる。仮想情報及び現実世界の空間描画には、通常、特徴の一致に基づいたカメラポーズ（位置及び方位）の計算が必要である。
【０００４】
例えば、David G Lowe, “Distinctive Image Features From Scale-Invariant Keypoints”, International Journal of Computer Vision, 60, 2(2004), pp.91-110.（非特許文献１）に開示されているような、このような一致を得るための一般的な方法は、最初に、高い反復性を有する個々の画像から、特徴若しくは興味点（例えば、エッジ、コーナー、又は局所の極値）を抽出することである。即ち、同じ物理的実体と一致する同じ画素のセットが、異なる画像においても抽出される確率は、高い。次なる第２のステップは、隣接する画素の明暗度に基づいて、各特徴の記述子を作成し、特徴を比較し特徴のマッチングを可能にする。良い記述子のための２つの主たる要件は、示差的である、即ち、異なる特徴点が、異なる記述子をもたらすということ、並びに、１）ビューイング方向、回転及びスケールの変化、２）照明の変化、３）画像ノイズのための不変性をもたらすということである。
【０００５】
このことは、異なる画像の同じ特徴は、類似性の測定に関連して、同じ様に記述されることを確かなものとする。回転に対する不変性について述べれば、空間の正規化では、記述子の構築よりも前に、特徴点の周りのローカル近傍の画素を、正規化された座標系へと変換する。
【０００６】
この正規化が再現可能であるということは、不変性にとって重要である。より多くの改良された方法が存在するが、最も単純な実施例においては、正規化のみが、方位の特徴によって平面内の回転から形成される。方位は、例えば最も大きな傾きの方向として、特徴点の近傍にある画素の明暗度に基づいて、通常定義される。理想的には、特徴の正規化された近傍の画素は、変化するビューイング方向、回転及びスケールで撮影された、異なる画像においても、一致するはずである。実際、図２を参照すると、それらは、少なくとも非常によく似ている。
【０００７】
図２には、異なるシーン２１及び２２における典型的な特徴点が示されている。シーン２１及び２２を示している第１段目において、２つの異なる方位における同じ特徴点が、シーン２１においては特徴点Ｆ２１として、シーン２２においては特徴点Ｆ２２として、示されている。次のステップでは、特徴点Ｆ２１及びＦ２２それぞれの近傍における画素の明暗度に基づいて、本実施例では、最も大きな傾き（それぞれの矩形の中の白線により描画されている）の方向として、方位が定義される。次に、空間の正規化は、記述子ｄ１及びｄ２（第３段目）の構築より前に、特徴点Ｆ２１及びＦ２２の周囲のローカル近傍の画素（この場合、矩形の中の画素）を、正規化された座標系（この場合、第２段目の描画３１及び３２）にそれぞれ変換する。結果として、最も大きな傾きに対する記述子ｄ１及びｄ２の整列は、非常に類似した（描画３１及び３２として示されている）正規化近傍を描画し、従って近似した記述子ｄ１及びｄ２をもたらす。この特性は、局所（ローカル）特徴記述子の中の共通事項であり、回転における不変性と呼ばれる。スケールの不変性は通常、異なるスケールの画像を含んだ画像ピラミッドを構築し、それを全てのスケールレベルに実行することにより処理される。他のアプローチは、全ての特徴記述子とともにスケールを記録する。
【０００８】
ローカル特徴記述子の多様性が存在し、その中でも、優れた概説及び比較が、Krystian Mikolajczyk and Cordelia Schmid, “A performance evaluation of local descriptors”, IEEE Transactions on Pattern Analysis & Machine Intelligence, 10, 27(2005), pp.1615-1630.（非特許文献２）に示されている。それらの多くは、正規化されたローカル近傍画素の明暗度の値若しくは傾きなどのそれらのいずれかのヒストグラムを作成することに基づいている。最終記述子は、ｎ次元ベクトル（図２の右に示されている）として表され、例えばユークリッド距離のような類似性測定を用いて、他の記述子と比較することができる。
【０００９】
図３には、特徴記述子を作成するための標準的なアプローチが示されている。ステップＳ１において、画像は、例えばカメラのようなキャプチャ装置によって、捉えられるか、又は記憶媒体から読み込まれる。ステップＳ２において、特徴点は、画像から抽出され、２次元の記述子（パラメータｕ、ｖ）の中に記録される。ステップＳ３において、方位の割り当ては、図２に関して上述したように、方位角αをパラメータｕ、ｖに追加するように実行される。その後、正規化された近傍画素の明暗度［ｉ］を得るために、図２において上述されているように、近傍正規化ステップＳ４が実行される。最終ステップＳ５では、記述子ベクトル［ｄ］の形をした特徴記述子が、正規化された近傍画素の明暗度［ｉ］の関数として抽出されたそれぞれの特徴のために生成される。ステップＳ３で１つの特徴に複数の方位角を割り当てるアプローチや、その結果として、割り当てられた方位１つにつき１つの記述子をもたらす各方位のためのステップＳ４及びＳ５を達成するアプローチが存在している。
【００１０】
上述された標準的なアプローチの主な限界は、回転のための不変性が、明らかに多くのアプリケーションローカル特徴記述子の重要な特徴である一方で、画像に複数の適合した特徴或いは殆ど適合した特徴が含まれるとき、例えば対称形である窓の４つの角やダーツ盤個々の区域の例のように、ミスマッチを引き起こすということである。
【００１１】
１つの実施例として、図１に示されているように、本実施例では、窓４を有する建造物である現実オブジェクト３は、背面にカメラ（図示せず）を有するモバイル機器１によってキャプチャされる（図示せず）。例えば、モバイル機器１は、窓４の画像をキャプチャするためのカメラ及び光学レンズを有する携帯電話である。モバイル機器１のディスプレイ６上には、窓４が、図のように表示される。画像処理の方法は、例えば、窓の目立った特徴と考えられる窓の４つの角を表す特徴Ｆ１〜Ｆ４のように、表示された画像から特徴を抽出し、特徴Ｆ１〜Ｆ４それぞれの特徴記述子を生成する。図１の左欄に概略的に図示されているように、回転の不変性により、左欄の正規化座標系に表示されている抽出された特徴Ｆ１〜Ｆ４により図示されるように、典型的なローカル特徴記述子は、それらが区別できない位全く同じ様に、これらの特徴Ｆ１〜Ｆ４を表示する。
【００１２】
カメラのノイズ及びエイリアジングとともに設定する現実世界では、記述子は、同一ではないが、非常に類似し、そのため実質的には区別できない。その結果、そのような（非常に類似しているが同一ではない）ローカル特徴記述子を信頼しているいずれのシステムも完全な失敗をもたらすであろうこのようなシーンについては、誤った組み合わせに導く確率が、極めて高い。
【００１３】
直立方位で撮影される全てのカメラ画像を仮定する様々なアプローチが存在し、それ故方位に対応する必要はない。ここで、異なる方位に適合する特徴若しくは適合する特徴は、容易に相互に区別されるが、可能なアプリケーションの分野は、カメラの方位が、かなり制約されている状態であることから、極めて限定される。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】David G Lowe, “Distinctive Image Features From Scale-Invariant Keypoints”, International Journal of Computer Vision, 60, 2(2004), pp.91-110.
【非特許文献２】Krystian Mikolajczyk and Cordelia Schmid, “A performance evaluation of local descriptors”, IEEE Transactions on Pattern Analysis & Machine Intelligence, 10, 27(2005), pp.1615-1630.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
上記の事情に鑑み、本発明の目的は、画像の少なくとも１つの特徴のための記述子を提供する方法であって、特徴をマッチングする過程において、静的なオブジェクト若しくはシーンに対して異なる方位に適合する特徴若しくは殆ど適合する特徴のために引き起こされるミスマッチの確率を、キャプチャ装置の方位若しくは動きを制約すること無く或いはキャプチャ装置の方位若しくは動きに関して予備知識を必要とすること無く、減少させることのできる方法によって前記記述子が提供されることを特徴とする方法を提供することである。
【課題を解決するための手段】
【００１６】
第１実施形態では、特許請求の範囲の請求項１に係る発明の特徴により、画像の少なくとも１つの特徴のための記述子を提供する方法が提供される。更に、別の実施形態では、特許請求の範囲の請求項１２により、２つ以上の画像の特徴をマッチングする方法が提供される。本発明はまた、特許請求の範囲の請求項１６による、前記方法を実行するソフトウェアコードセクションを含むコンピュータプログラムプロダクトにも関連している。
【００１７】
特に、第１実施形態において、画像の少なくとも１つの特徴に記述子を提供する方法であって、キャプチャ装置によってキャプチャされた画像を提供し、前記画像から少なくとも１つの特徴を抽出する工程、並びに少なくとも１つの前記特徴に、方位を示す少なくとも１つのパラメータを信頼する記述子を与える工程を具備し、そこでは、少なくとも１つの前記パラメータが、トラッキングシステムにより測定される前記キャプチャ装置の絶対的若しくは相対的方位から決定されることを特徴とする方法が提供される。特に、本発明に関係する前記トラッキングシステムは、オブジェクトの少なくとも１つの方位、特に前記キャプチャ装置の方位、好ましくは共通座標系について決定し、更には後述の実施形態で説明される。トラッキングシステムにより測定されている方位でもって、前記キャプチャ装置の方及び／若しくは動きをある位置に制約する必要はなく、前記キャプチャ装置の方位及び／若しくは動きに対して、いかなる予備知識持つことも必要ではない。
【００１８】
本発明の実施形態において、特徴記述子（特に、ローカル特徴記述子）の方位を、与えられたある共通座標系でもって調整することが、提案される。前記画像における近傍画素の明暗度から、再生可能な方位を得る代わりに、個々の画素及び／又は前記キャプチャ装置の方位に関する追加情報が、特徴に方位を割り当てることの基本を、構築する。異なる方位を伴った適合する特徴若しくは殆ど適合する特徴は、都市景観の中及び人工オブジェクト上に広がっているので、図１の右に図示しより詳細に後述するように、グローバル方位にローカル特徴記述子を整列させることによって、異なる方位を伴った適合する特徴若しくは殆ど適合する特徴によってもたらされる不明確さを克服する。本発明の実施形態では、前記トラッキングシステムは、例えば、慣性センサ、加速度計、ジャイロスコープ若しくはコンパスなどといった、キャプチャ装置に取り付けられているセンサを具備する。
【００１９】
別の実施形態では、前記トラッキングシステムは、前記キャプチャ装置及び固定化された参照点との間における物理的接合を基にした機械的トラッキングシステム、磁場が発生及び測定される電磁気トラッキングシステム、音波と連動する音響トラッキングシステム、並びに／又は、前記キャプチャ装置から放出された及び／若しくは反射された光を用いた光学トラッキングシステムを包含する。前記光学トラッキングシステムは、前記キャプチャ装置の中に一体化されるか、前記キャプチャ装置とは別に、外部システムとして実現されることが可能である。
【００２０】
本発明の１つの実施形態では、前記共通座標系が、絶対値を供給するトラッキングシステム（例えば、装置に取り付けられているコンパス及び／又は慣性センサ）で測定される世界座標系である。
【００２１】
別の実施形態では、共通座標系は、トラッキングシステムが向きの変換を供給するのに関連した座標系である。例えばジャイロスコープで測定された、方位における相対的な変化は、絶対的な方位を測定するセンサが無くても、あらゆる瞬間において、共通座標系における絶対的方位を計算するために蓄積することができる。
【００２２】
別の実施形態では、前記キャプチャ装置は、関連した深さ及び／若しくは三次元位置とともにイメージ画素を提供する距離データキャプチャ機器、具体的にはレーザスキャナ、タイムオブフライトカメラ、又はステレオカメラを具備する。
【００２３】
本発明の別の実施形態では、本発明の方法は更に、共通座標系における方位に関して、少なくとも１つの前記特徴の近傍を正規化する工程を具備する。特に、少なくとも１つの前記特徴の近傍を正規化する工程において、該方位によって、画像を回転するための角度が規定される。少なくとも１つの前記特徴の近傍を正規化する工程において、特定の近傍の遠近法による歪みを修正するために、１つ以上の参照方位に、近傍の画素若しくは全画像を歪ませるために、該方位が随意使用される。
【００２４】
本発明の別の実施形態では、２つ以上の画像特徴をマッチングする方法は、第１画像の少なくとも１つの第１特徴及び第２画像の少なくとも１つの第２特徴を抽出する工程と、前記第１特徴に対して第１記述子及び前記第２特徴に対して第２記述子を提供する工程と、前記第１及び第２特徴のためのマッチング工程における前記第１及び第２記述子を比較する工程とを具備し、前記第１及び第２記述子の少なくとも１つは、上述の方法の形態により提供される。マッチング工程において、次に、第１及び第２特徴が、互いに一致するかどうかが、類似性測定を基に決定される。
【００２５】
本発明の実施形態によれば、少なくとも１つの特徴における１つ以上の方向は、近傍画素の画素明暗度を基に計算され、共通座標系に関連して記録される。マッチング段階においては、必要とされる比較の数を減らし、誤照合比率を減少させるために、共通座標系に関して類似した方向を持った特徴のみが、マッチングされる。
【００２６】
本発明の実施形態において、本発明に係る方法は、詳細にはワイド−ベースラインステレオマッチング、カメラトラッキング、画像検索、オブジェクト認識、視覚検索、姿勢評価、視覚監視、情景再構成、モーション推定、パノラマ合成、又は画像復元のような、ステレオマッチングプロセスにより実行される。
【００２７】
本発明の更なる実施形態においては、画像をキャプチャするための少なくとも１つのキャプチャ装置に連結された、デジタルコンピュータシステムの内部メモリの中に読み込まれるように構成されたコンピュータプログラムプロダクトであって、前記プロダクトが、前記コンピュータシステムで作動している時に、上述のいずれかの方法及び実施形態による工程が実行されるために用いられる、ソフトウェアコードセクションを具備するコンピュータプログラムプロダクトを提供する。
【００２８】
本発明の更なる実施形態及び態様は、特許請求の範囲の従属請求項に記載の事項から明らかである。
【図面の簡単な説明】
【００２９】
【図１】背面にカメラを有するモバイル機器によってキャプチャされた画像、並びに該画像から抽出され、且つ標準的アプローチ（左）及び本発明に係る実施形態（右）によって、正規化された描画の中に模式的に示された特徴の典型的なシーンを示す。
【図２】２つの異なる方位における特徴点の典型的な描画、前記特徴点のローカル近傍画素の正規化、及びそれぞれの記述子の構造における回転のための不変性への標準的アプローチを示す。
【図３】特徴記述子を構成するための標準的アプローチを、フローダイアグラムの中に示す。
【図４】特徴記述子を構成するための本発明による方法を、フローダイアグラムの中に示す。
【図５】マッチングされるために、異なる視点からそれぞれ抽出された特徴でもって、同じ静的オブジェクトを描画した典型的な第１及び第２画像を、概略的な方法で示す。
【発明を実施するための形態】
【００３０】
以下に、図面を参照しながら、本発明に関する種々の実施形態をより詳細に説明する。
【００３１】
図１は、背面にカメラを有するモバイル機器によってキャプチャされた画像、並びに該画像から抽出され、且つ標準的アプローチ（上述したように左に示されている。）及び本発明に係る実施形態（右に示されている）によって、正規化された描画の中に模式的に示された特徴の典型的なシーンを示す。
【００３２】
本発明の上記に示された実施形態によれば、この実施例では窓４を有する建造物である現実オブジェクト３は、背面にカメラ（図示せず）を有するモバイル機器２により、キャプチャされる。例えば、モバイル機器２は、画像処理のためのマイクロプロセッサ並びに窓４の画像をキャプチャするために背面に光学レンズを有するカメラを有する携帯電話若しくはデジタルカメラであっても良い。しかし、他のいかなるタイプの機器が、使用されても良い。同様に、画像処理のためのマイクロプロセッサ及びカメラを含む処理装置を伴なった他のいずれのタイプのシステム形態でも良く、一体型或いは分配型いずれかで使用され得る。
【００３３】
モバイル機器は、例えば慣性センサ、加速度計、ジャイロメータ、及び／又はコンパスのような、センサ５を具備する。カメラもまたモバイル機器の一部であるので、センサは、そのようなものとして、モバイル機器のカメラと連係している。センサは、共通座標系１０と関連して、モバイル機器２の方位を測定するのに適している。このことは、絶対的な方式、或いは関連する方位データを時間とともに蓄積することのいずれかによって測定することができる。一般に、入手可能な携帯電話及びデジタルカメラは、しばしば装置の現方位を示す測定値を提供するビルトイン型デジタル加速度計及びコンパスを搭載している。この情報は、カメラの固有パラメータについての情報と共に、カメラ画像の座標系おいて、例えば重力若しくは北方の世界座標におけるいかなる方位の変換も可能にする。
【００３４】
モバイル機器２のディスプレイ７上に、モバイル機器２のカメラでキャプチャされた窓４が、図示される。モバイル機器２（若しくはモバイル機器２と通信している外部機器）のマイクロプロセッサで実行される画像処理方法は、例えばかなり顕著な窓の特徴として、窓の４つの角を表示する特徴Ｆ１１〜Ｆ１４のような、キャプチャされた画像から特徴を抽出し、より詳細に後述するように、特徴Ｆ１１〜Ｆ１４のそれぞれに、特徴記述子を作成する。作成されたローカル特徴記述子は、右の段において、正規化された座標系に描画されている抽出された特徴Ｆ１１〜Ｆ１４により図示されているように、左の段（上述の標準的アプローチ）と比べて異なる方法で、これらの特徴Ｆ１１〜Ｆ１４を、特徴を明らかに示差しながら開示する。特に、センサ５の座標系１０により定義された、グローバル方位に、特徴の方位を整列させることによって、機器の方位に制約を加えることなく、４つの良く区別することのできる記述子がもたらされる。異なるカメラの方位の下で撮影された特徴も、照合することが可能である。
【００３５】
図４には、特徴記述子を構成するための本発明に係る方法における実施形態のフローダイアグラムが示されている。ステップＳ１１において、画像は、例えばモバイル機器２のカメラのようなキャプチャ装置により捕らえられるか、又は記憶媒体から読み込まれる。ステップＳ１２では、二次元記述における特徴点（パラメータｕ，ｖ）を得るために、特徴点が画像から抽出される。ステップＳ１３においては、トラッキングシステムにより提供されたキャプチャ装置の方位についての空間情報（パラメータｘ，ｙ，ｚ）を用いて抽出された特徴点のために、特徴の方位が計算される。
【００３６】
例えば、トラッキングシステムにより、オイラー角として、世界座標系に関するキャプチャ装置の方位が与えられ、特徴記述子は、重力によって整列させられると推定される。全ての特徴の方位を得るための極めて単純な方法は、重力を、第一にオイラー角を用いて、キャプチャ装置に装着されている座標系に変換し、次にそれを画像面に映し出すことである。それによって、画像の全ての特徴のために、画像における重力の方向が計算され、且つ使用される。この技術は、一般的には違うが正射影と仮定される。カメラの固有のパラメータを組み込むことによって、この仮定は弱められるが、それでも２次元画像に基づいた全ての技術では、平面上に置かれるように、画像の中では全てのものが見えると仮定され、それ故に２次元画像に基づいた全ての技術が推仮定される。
【００３７】
ステップＳ１４において、方位の割り当ては、ステップＳ１３において決定された特徴の方位角αに基づいて、方位角αをパラメータｕ，ｖに追加するために、実行される。その後、近傍正規化ステップＳ１５は、正規化された近傍画素の明暗度［ｉ］を得るために、実行される。最終ステップＳ１６では、特に、ステップＳ１４における方位の割り当てによってもたらされた抽出された特徴の方位を示しているパラメータによって、記述子ベクトル［ｄ］の形の特徴記述子が、抽出されたそれぞれの特徴について作成される。
【００３８】
本発明の別の実施形態において、キャプチャ装置として、距離データキャプチャ装置が使用され、そこでは、例えばレーザスキャナ、飛行時間型カメラ、又はステレオカメラ等といったあらゆる種類の距離データキャプチャ装置で撮影された画像の画素が、三次元座標に結合される。この場合、特定の特徴点のための共通座標系におけるどのような方位も、特徴点の近傍画素の三次元位置から計算される。
【００３９】
全ての近傍画素Ｎｉ（ｉは、近傍画素の指数である）のために、画素Ｐで特徴が与えられると、画素Ｐから生じ、画素Ｎｉを指し示している三次元ベクトルが計算される。望ましい方位ベクトルに最も近い２つの隣接するものが決定され、画像空間における望ましい方位を補間するために用いられる。
【００４０】
更に、少なくとも２つの画素の三次元における位置が分かれば、近傍正規化ステップにおける平面内の回転のための回転角を計算することができる。３個以上の画素の三次元世界座標が分かれば、該正規化ステップにおける１つ以上の参照方位へ、ローカル近傍若しくは全画像を歪ませるために、三次元変換を計算することができる。
【００４１】
画像から抽出された特徴記述子は、異なるトラッキングシステムとは違った種類の結合された空間情報とともに、提案された技術を用いてマッチングすることができる。
【００４２】
上述したように、図１では、窓の４つの角を例にして、本発明によって決定されたグローバルに整列されたローカル特徴記述子に対する標準的アプローチの結果が、概略的に比較される。標準アプローチ（左段の特徴Ｆ１〜Ｆ４）が、４つの同一の記述子をもたらす一方で、本発明におけるグローバル整列では、明らかに示差的な特徴記述子（右段の特徴Ｆ１１〜Ｆ１４）へと導かれる。
【００４３】
従って、本発明の実施形態によれば、共通座標系に関しては、キャプチャ装置の方位に関連した情報とともに、画像からローカル特徴記述子を抽出する場合、この情報に基づいた特徴の方位を割り当てることが、提案される。特に、特徴のための方位は、画像座標系に投影された共通座標系でもって整列させられている。このことは、カメラの自由な動作及び回転を可能にする一方で、異なる方位を伴った適合する特徴若しくは殆ど適合する特徴の記述子の間での、より高い示差性を可能にする。本発明による方法は、図４に示されているように、測定された方位を考慮に入れることによって、正規化されたローカル近傍に基づいたどのような既存のローカル特徴記述子にも容易に利用することができる。
【００４４】
測定された機器の方位は、近傍正規化ステップでカメラ画像を回転するための単一の角度を与える特徴の方位の割り当てに影響を与えるだけでなく、更に、特定の特徴記述子近傍における遠近法による歪みを補正するための１つ以上の参照方位へと、一部画像若しくは全体画像を歪ませるのに随意用いられる。
【００４５】
例えば、上述の方法は、特にワイド−ベースラインステレオマッチング、カメラトラッキング、画像検索、画像分類、オブジェクト分類又はオブジェクト認識のような、スレテオマッチングプロセスにより実行される。
【００４６】
ステレオマッチングの目標は、異なるビューポイントから撮影されたシーン或いはオブジェクトの２つの画像を三次元ジオメトリに再構成することである。このことは、同じ三次元ポイントを描画している２つの画像における対応した画素を見つけ三角測量法を用いてそれらの深さを計算することにより、行われる。
【００４７】
カメラトラッキングとは、１つ以上のカメラ画像が与えられたカメラのポーズ（位置及び方位）を計算するプロセスについて述べている。カメラ画像における特徴は、絶対的なポーズを計算するために分かっている三次元位置を伴った参照特徴に対して、又は位置及び方位における関連する変化を計算するために前のフレームからの特徴に対してのいずれかでマッチングされる。
【００４８】
画像又はオブジェクトの分類では、与えられた画像若しくはオブジェクトの三次元記述が、ｎ個のあり得る分類の１つに割り当てられる。たとえ、クエリ画像における特定の果実が、トレーニングのため若しくは参照画像として使用されなかったとしても、1つの例として、与えられた画像が、リンゴ若しくは梨を描画しているかどうかを語る方法になるであろう。ということからすると、与えられたクエリのための画像検索及びオブジェクト認識の中では、正確にマッチングした参照画像若しくはオブジェクトが、探し求められる。
【００４９】
全てこれらの技術は、２つ以上の画像の特徴をマッチングすることに基づいている。
【００５０】
図５Ａ及び５Ｂは、マッチングされるために各々抽出された特徴とともに、同じオブジェクトを表示している典型的な第１及び第２画像を、模式的に示す。例えば、画像は、異なる視角や光の条件といった、異なる条件若しくは状況の下で捉えられる。
【００５１】
第１画像ＩＭ１において、図５Ａに示されている現実静的オブジェクトＲＯ１は、カメラ（図示せず）によってキャプチャされる。画像ＩＭ１において、現実静的オブジェクトＲＯ１の特徴は、図５Ａに示されているように、特徴Ｆ５１によって抽出される。次のステップにおいて、記述子は、本発明の方法によって、抽出された特徴Ｆ５１全てについて計算される。次に、これらの特徴Ｆ５１は、第２画像ＩＭ２の中で抽出された特徴Ｆ５２とマッチングされる。第２画像ＩＭ２は、異なるビューポイントの下での、現実オブジェクトＲＯ１に対応した現実オブジェクトＲＯ２を表示しており、そこでは、特徴Ｆ５２のためにも、それぞれの記述子が決定される。特に、特徴Ｆ５１及びＦ５２の記述子が、ある類似性測定の言語において、比較的類似している場合、それらはマッチングされる。例えば、もし全ての記述子が、数のベクトルとして書かれているとしたら、２つの記述子を比較するとき、類似性測定法として、２つの対応するベクトルの間のユークリッド距離を使うことができる。
【００５２】
破線を伴って、それらを連結することにより、図５には、破線で結び合わされた３つのマッチングが描かれている。マッチＭ５１では、マッチングされた２つの特徴が、同じ物理的実体と一致しているので、マッチＭ５１は、正しいものである一方で、マッチＭ５２及びＭ５３では、それぞれ異なる物理的実体と一致している特徴を有しているので、間違っている。マッチＭ５２では、２つの特徴は、異なる方位における類似した（殆ど適合している）近傍を有する。このようなミスマッチが標準アプローチの使用に共通するものである一方、本発明は、それらを回避することを目標としている。Ｍ５３の中でマッチングされた２つの特徴は、類似した方位において、類似した近傍を有しているために、標準アプローチ及び本発明の実施形態の両方で、ミスマッチを導くことがあり得る。
【００５３】
近傍の画素の画素明暗度に基づいた特徴の方位を計算するための一般的な方法は、高い反復性を有しており、それ故に、それは特徴の信頼性のある特性である。本発明で示唆されたように、共通座標系に特徴を整列させるとき、この特性は、記述子がより示差性やマッチング能力を増大させるように用いられる。特徴を抽出する際、画像の明暗度に基づいた１つ以上の方向が随意計算され、その方向は、それぞれの特徴のために共通座標系に対応して、随意記録される。マッチング段階において、必要とされる比較の数は、共通座標系に関連して類似した方向を持った特徴だけを比較することによって、減少させることができる。
【００５４】
この発明の詳細な説明では、本発明に係るいくつかの実施形態について説明している。可能な実施に関する上述の発明の詳細な説明は、発明の明らかな説明に役立つことを意図したものであって、そこに発明が限定されないことを意図していると、理解されるべきである。また、この発明の開示における、“第１”、“第２”などの語は、単にラベルとして使用され、それらのオブジェクトにおける数的な要件を与えることを意図していない。特許請求の範囲の請求項に記載の範囲内での、他の実施形態及び一部修正は、図面に関連した上述の発明の詳細な説明を検討すれば、当業者にとっては明らかなものである。
【符号の説明】
【００５５】
２ モバイル機器
３ 現実オブジェクト
１０ 共通座標系
【技術分野】
【０００１】
本発明は、画像の少なくとも１つの特徴として記述子を提供する方法及び２つ以上の画像の特徴をマッチングする方法に関する。また、本発明は、前記方法を実行する手段を与えるソフトウェアコードセクションを具備するコンピュータプログラムプロダクトに関する。
【背景技術】
【０００２】
コンピュータ・ビジョン分野における多くのアプリケーションには、使用される照明及びキャプチャ用ハードウェアを変化させるとともに、変化するビューポイントで、同じシーン若しくはオブジェクトの２つ以上の画像における一致点或いは他と異なる別の特徴を見つけることが必要である。その特徴は、複数の点であるか、又は複数の点の一組（線、セグメント、画像における領域若しくは単なる画素群）であり得る。実施例のアプリケーションには、狭い及びワイド−ベースラインのステレオマッチング、カメラポーズの推定、画像検索、オブジェクト認識及び視覚検索が含まれる。
【０００３】
例えば、拡張現実（感）システムでは、実環境における視覚的印象と、コンピュータで生成された仮想情報との重ね合わせを可能にする。最終的には、例えば１つ以上の画像の中にカメラによって捉えられた、現実世界における視覚的印象は、例えば、仮想情報とともに拡張されたそれぞれの画像を表示するディスプレイ機器の手段により、仮想情報とミックスされる。仮想情報及び現実世界の空間描画には、通常、特徴の一致に基づいたカメラポーズ（位置及び方位）の計算が必要である。
【０００４】
例えば、David G Lowe, “Distinctive Image Features From Scale-Invariant Keypoints”, International Journal of Computer Vision, 60, 2(2004), pp.91-110.（非特許文献１）に開示されているような、このような一致を得るための一般的な方法は、最初に、高い反復性を有する個々の画像から、特徴若しくは興味点（例えば、エッジ、コーナー、又は局所の極値）を抽出することである。即ち、同じ物理的実体と一致する同じ画素のセットが、異なる画像においても抽出される確率は、高い。次なる第２のステップは、隣接する画素の明暗度に基づいて、各特徴の記述子を作成し、特徴を比較し特徴のマッチングを可能にする。良い記述子のための２つの主たる要件は、示差的である、即ち、異なる特徴点が、異なる記述子をもたらすということ、並びに、１）ビューイング方向、回転及びスケールの変化、２）照明の変化、３）画像ノイズのための不変性をもたらすということである。
【０００５】
このことは、異なる画像の同じ特徴は、類似性の測定に関連して、同じ様に記述されることを確かなものとする。回転に対する不変性について述べれば、空間の正規化では、記述子の構築よりも前に、特徴点の周りのローカル近傍の画素を、正規化された座標系へと変換する。
【０００６】
この正規化が再現可能であるということは、不変性にとって重要である。より多くの改良された方法が存在するが、最も単純な実施例においては、正規化のみが、方位の特徴によって平面内の回転から形成される。方位は、例えば最も大きな傾きの方向として、特徴点の近傍にある画素の明暗度に基づいて、通常定義される。理想的には、特徴の正規化された近傍の画素は、変化するビューイング方向、回転及びスケールで撮影された、異なる画像においても、一致するはずである。実際、図２を参照すると、それらは、少なくとも非常によく似ている。
【０００７】
図２には、異なるシーン２１及び２２における典型的な特徴点が示されている。シーン２１及び２２を示している第１段目において、２つの異なる方位における同じ特徴点が、シーン２１においては特徴点Ｆ２１として、シーン２２においては特徴点Ｆ２２として、示されている。次のステップでは、特徴点Ｆ２１及びＦ２２それぞれの近傍における画素の明暗度に基づいて、本実施例では、最も大きな傾き（それぞれの矩形の中の白線により描画されている）の方向として、方位が定義される。次に、空間の正規化は、記述子ｄ１及びｄ２（第３段目）の構築より前に、特徴点Ｆ２１及びＦ２２の周囲のローカル近傍の画素（この場合、矩形の中の画素）を、正規化された座標系（この場合、第２段目の描画３１及び３２）にそれぞれ変換する。結果として、最も大きな傾きに対する記述子ｄ１及びｄ２の整列は、非常に類似した（描画３１及び３２として示されている）正規化近傍を描画し、従って近似した記述子ｄ１及びｄ２をもたらす。この特性は、局所（ローカル）特徴記述子の中の共通事項であり、回転における不変性と呼ばれる。スケールの不変性は通常、異なるスケールの画像を含んだ画像ピラミッドを構築し、それを全てのスケールレベルに実行することにより処理される。他のアプローチは、全ての特徴記述子とともにスケールを記録する。
【０００８】
ローカル特徴記述子の多様性が存在し、その中でも、優れた概説及び比較が、Krystian Mikolajczyk and Cordelia Schmid, “A performance evaluation of local descriptors”, IEEE Transactions on Pattern Analysis & Machine Intelligence, 10, 27(2005), pp.1615-1630.（非特許文献２）に示されている。それらの多くは、正規化されたローカル近傍画素の明暗度の値若しくは傾きなどのそれらのいずれかのヒストグラムを作成することに基づいている。最終記述子は、ｎ次元ベクトル（図２の右に示されている）として表され、例えばユークリッド距離のような類似性測定を用いて、他の記述子と比較することができる。
【０００９】
図３には、特徴記述子を作成するための標準的なアプローチが示されている。ステップＳ１において、画像は、例えばカメラのようなキャプチャ装置によって、捉えられるか、又は記憶媒体から読み込まれる。ステップＳ２において、特徴点は、画像から抽出され、２次元の記述子（パラメータｕ、ｖ）の中に記録される。ステップＳ３において、方位の割り当ては、図２に関して上述したように、方位角αをパラメータｕ、ｖに追加するように実行される。その後、正規化された近傍画素の明暗度［ｉ］を得るために、図２において上述されているように、近傍正規化ステップＳ４が実行される。最終ステップＳ５では、記述子ベクトル［ｄ］の形をした特徴記述子が、正規化された近傍画素の明暗度［ｉ］の関数として抽出されたそれぞれの特徴のために生成される。ステップＳ３で１つの特徴に複数の方位角を割り当てるアプローチや、その結果として、割り当てられた方位１つにつき１つの記述子をもたらす各方位のためのステップＳ４及びＳ５を達成するアプローチが存在している。
【００１０】
上述された標準的なアプローチの主な限界は、回転のための不変性が、明らかに多くのアプリケーションローカル特徴記述子の重要な特徴である一方で、画像に複数の適合した特徴或いは殆ど適合した特徴が含まれるとき、例えば対称形である窓の４つの角やダーツ盤個々の区域の例のように、ミスマッチを引き起こすということである。
【００１１】
１つの実施例として、図１に示されているように、本実施例では、窓４を有する建造物である現実オブジェクト３は、背面にカメラ（図示せず）を有するモバイル機器１によってキャプチャされる（図示せず）。例えば、モバイル機器１は、窓４の画像をキャプチャするためのカメラ及び光学レンズを有する携帯電話である。モバイル機器１のディスプレイ６上には、窓４が、図のように表示される。画像処理の方法は、例えば、窓の目立った特徴と考えられる窓の４つの角を表す特徴Ｆ１〜Ｆ４のように、表示された画像から特徴を抽出し、特徴Ｆ１〜Ｆ４それぞれの特徴記述子を生成する。図１の左欄に概略的に図示されているように、回転の不変性により、左欄の正規化座標系に表示されている抽出された特徴Ｆ１〜Ｆ４により図示されるように、典型的なローカル特徴記述子は、それらが区別できない位全く同じ様に、これらの特徴Ｆ１〜Ｆ４を表示する。
【００１２】
カメラのノイズ及びエイリアジングとともに設定する現実世界では、記述子は、同一ではないが、非常に類似し、そのため実質的には区別できない。その結果、そのような（非常に類似しているが同一ではない）ローカル特徴記述子を信頼しているいずれのシステムも完全な失敗をもたらすであろうこのようなシーンについては、誤った組み合わせに導く確率が、極めて高い。
【００１３】
直立方位で撮影される全てのカメラ画像を仮定する様々なアプローチが存在し、それ故方位に対応する必要はない。ここで、異なる方位に適合する特徴若しくは適合する特徴は、容易に相互に区別されるが、可能なアプリケーションの分野は、カメラの方位が、かなり制約されている状態であることから、極めて限定される。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】David G Lowe, “Distinctive Image Features From Scale-Invariant Keypoints”, International Journal of Computer Vision, 60, 2(2004), pp.91-110.
【非特許文献２】Krystian Mikolajczyk and Cordelia Schmid, “A performance evaluation of local descriptors”, IEEE Transactions on Pattern Analysis & Machine Intelligence, 10, 27(2005), pp.1615-1630.
【発明の概要】
【発明が解決しようとする課題】
【００１５】
上記の事情に鑑み、本発明の目的は、画像の少なくとも１つの特徴のための記述子を提供する方法であって、特徴をマッチングする過程において、静的なオブジェクト若しくはシーンに対して異なる方位に適合する特徴若しくは殆ど適合する特徴のために引き起こされるミスマッチの確率を、キャプチャ装置の方位若しくは動きを制約すること無く或いはキャプチャ装置の方位若しくは動きに関して予備知識を必要とすること無く、減少させることのできる方法によって前記記述子が提供されることを特徴とする方法を提供することである。
【課題を解決するための手段】
【００１６】
第１実施形態では、特許請求の範囲の請求項１に係る発明の特徴により、画像の少なくとも１つの特徴のための記述子を提供する方法が提供される。更に、別の実施形態では、特許請求の範囲の請求項１２により、２つ以上の画像の特徴をマッチングする方法が提供される。本発明はまた、特許請求の範囲の請求項１６による、前記方法を実行するソフトウェアコードセクションを含むコンピュータプログラムプロダクトにも関連している。
【００１７】
特に、第１実施形態において、画像の少なくとも１つの特徴に記述子を提供する方法であって、キャプチャ装置によってキャプチャされた画像を提供し、前記画像から少なくとも１つの特徴を抽出する工程、並びに少なくとも１つの前記特徴に、方位を示す少なくとも１つのパラメータを信頼する記述子を与える工程を具備し、そこでは、少なくとも１つの前記パラメータが、トラッキングシステムにより測定される前記キャプチャ装置の絶対的若しくは相対的方位から決定されることを特徴とする方法が提供される。特に、本発明に関係する前記トラッキングシステムは、オブジェクトの少なくとも１つの方位、特に前記キャプチャ装置の方位、好ましくは共通座標系について決定し、更には後述の実施形態で説明される。トラッキングシステムにより測定されている方位でもって、前記キャプチャ装置の方及び／若しくは動きをある位置に制約する必要はなく、前記キャプチャ装置の方位及び／若しくは動きに対して、いかなる予備知識持つことも必要ではない。
【００１８】
本発明の実施形態において、特徴記述子（特に、ローカル特徴記述子）の方位を、与えられたある共通座標系でもって調整することが、提案される。前記画像における近傍画素の明暗度から、再生可能な方位を得る代わりに、個々の画素及び／又は前記キャプチャ装置の方位に関する追加情報が、特徴に方位を割り当てることの基本を、構築する。異なる方位を伴った適合する特徴若しくは殆ど適合する特徴は、都市景観の中及び人工オブジェクト上に広がっているので、図１の右に図示しより詳細に後述するように、グローバル方位にローカル特徴記述子を整列させることによって、異なる方位を伴った適合する特徴若しくは殆ど適合する特徴によってもたらされる不明確さを克服する。本発明の実施形態では、前記トラッキングシステムは、例えば、慣性センサ、加速度計、ジャイロスコープ若しくはコンパスなどといった、キャプチャ装置に取り付けられているセンサを具備する。
【００１９】
別の実施形態では、前記トラッキングシステムは、前記キャプチャ装置及び固定化された参照点との間における物理的接合を基にした機械的トラッキングシステム、磁場が発生及び測定される電磁気トラッキングシステム、音波と連動する音響トラッキングシステム、並びに／又は、前記キャプチャ装置から放出された及び／若しくは反射された光を用いた光学トラッキングシステムを包含する。前記光学トラッキングシステムは、前記キャプチャ装置の中に一体化されるか、前記キャプチャ装置とは別に、外部システムとして実現されることが可能である。
【００２０】
本発明の１つの実施形態では、前記共通座標系が、絶対値を供給するトラッキングシステム（例えば、装置に取り付けられているコンパス及び／又は慣性センサ）で測定される世界座標系である。
【００２１】
別の実施形態では、共通座標系は、トラッキングシステムが向きの変換を供給するのに関連した座標系である。例えばジャイロスコープで測定された、方位における相対的な変化は、絶対的な方位を測定するセンサが無くても、あらゆる瞬間において、共通座標系における絶対的方位を計算するために蓄積することができる。
【００２２】
別の実施形態では、前記キャプチャ装置は、関連した深さ及び／若しくは三次元位置とともにイメージ画素を提供する距離データキャプチャ機器、具体的にはレーザスキャナ、タイムオブフライトカメラ、又はステレオカメラを具備する。
【００２３】
本発明の別の実施形態では、本発明の方法は更に、共通座標系における方位に関して、少なくとも１つの前記特徴の近傍を正規化する工程を具備する。特に、少なくとも１つの前記特徴の近傍を正規化する工程において、該方位によって、画像を回転するための角度が規定される。少なくとも１つの前記特徴の近傍を正規化する工程において、特定の近傍の遠近法による歪みを修正するために、１つ以上の参照方位に、近傍の画素若しくは全画像を歪ませるために、該方位が随意使用される。
【００２４】
本発明の別の実施形態では、２つ以上の画像特徴をマッチングする方法は、第１画像の少なくとも１つの第１特徴及び第２画像の少なくとも１つの第２特徴を抽出する工程と、前記第１特徴に対して第１記述子及び前記第２特徴に対して第２記述子を提供する工程と、前記第１及び第２特徴のためのマッチング工程における前記第１及び第２記述子を比較する工程とを具備し、前記第１及び第２記述子の少なくとも１つは、上述の方法の形態により提供される。マッチング工程において、次に、第１及び第２特徴が、互いに一致するかどうかが、類似性測定を基に決定される。
【００２５】
本発明の実施形態によれば、少なくとも１つの特徴における１つ以上の方向は、近傍画素の画素明暗度を基に計算され、共通座標系に関連して記録される。マッチング段階においては、必要とされる比較の数を減らし、誤照合比率を減少させるために、共通座標系に関して類似した方向を持った特徴のみが、マッチングされる。
【００２６】
本発明の実施形態において、本発明に係る方法は、詳細にはワイド−ベースラインステレオマッチング、カメラトラッキング、画像検索、オブジェクト認識、視覚検索、姿勢評価、視覚監視、情景再構成、モーション推定、パノラマ合成、又は画像復元のような、ステレオマッチングプロセスにより実行される。
【００２７】
本発明の更なる実施形態においては、画像をキャプチャするための少なくとも１つのキャプチャ装置に連結された、デジタルコンピュータシステムの内部メモリの中に読み込まれるように構成されたコンピュータプログラムプロダクトであって、前記プロダクトが、前記コンピュータシステムで作動している時に、上述のいずれかの方法及び実施形態による工程が実行されるために用いられる、ソフトウェアコードセクションを具備するコンピュータプログラムプロダクトを提供する。
【００２８】
本発明の更なる実施形態及び態様は、特許請求の範囲の従属請求項に記載の事項から明らかである。
【図面の簡単な説明】
【００２９】
【図１】背面にカメラを有するモバイル機器によってキャプチャされた画像、並びに該画像から抽出され、且つ標準的アプローチ（左）及び本発明に係る実施形態（右）によって、正規化された描画の中に模式的に示された特徴の典型的なシーンを示す。
【図２】２つの異なる方位における特徴点の典型的な描画、前記特徴点のローカル近傍画素の正規化、及びそれぞれの記述子の構造における回転のための不変性への標準的アプローチを示す。
【図３】特徴記述子を構成するための標準的アプローチを、フローダイアグラムの中に示す。
【図４】特徴記述子を構成するための本発明による方法を、フローダイアグラムの中に示す。
【図５】マッチングされるために、異なる視点からそれぞれ抽出された特徴でもって、同じ静的オブジェクトを描画した典型的な第１及び第２画像を、概略的な方法で示す。
【発明を実施するための形態】
【００３０】
以下に、図面を参照しながら、本発明に関する種々の実施形態をより詳細に説明する。
【００３１】
図１は、背面にカメラを有するモバイル機器によってキャプチャされた画像、並びに該画像から抽出され、且つ標準的アプローチ（上述したように左に示されている。）及び本発明に係る実施形態（右に示されている）によって、正規化された描画の中に模式的に示された特徴の典型的なシーンを示す。
【００３２】
本発明の上記に示された実施形態によれば、この実施例では窓４を有する建造物である現実オブジェクト３は、背面にカメラ（図示せず）を有するモバイル機器２により、キャプチャされる。例えば、モバイル機器２は、画像処理のためのマイクロプロセッサ並びに窓４の画像をキャプチャするために背面に光学レンズを有するカメラを有する携帯電話若しくはデジタルカメラであっても良い。しかし、他のいかなるタイプの機器が、使用されても良い。同様に、画像処理のためのマイクロプロセッサ及びカメラを含む処理装置を伴なった他のいずれのタイプのシステム形態でも良く、一体型或いは分配型いずれかで使用され得る。
【００３３】
モバイル機器は、例えば慣性センサ、加速度計、ジャイロメータ、及び／又はコンパスのような、センサ５を具備する。カメラもまたモバイル機器の一部であるので、センサは、そのようなものとして、モバイル機器のカメラと連係している。センサは、共通座標系１０と関連して、モバイル機器２の方位を測定するのに適している。このことは、絶対的な方式、或いは関連する方位データを時間とともに蓄積することのいずれかによって測定することができる。一般に、入手可能な携帯電話及びデジタルカメラは、しばしば装置の現方位を示す測定値を提供するビルトイン型デジタル加速度計及びコンパスを搭載している。この情報は、カメラの固有パラメータについての情報と共に、カメラ画像の座標系おいて、例えば重力若しくは北方の世界座標におけるいかなる方位の変換も可能にする。
【００３４】
モバイル機器２のディスプレイ７上に、モバイル機器２のカメラでキャプチャされた窓４が、図示される。モバイル機器２（若しくはモバイル機器２と通信している外部機器）のマイクロプロセッサで実行される画像処理方法は、例えばかなり顕著な窓の特徴として、窓の４つの角を表示する特徴Ｆ１１〜Ｆ１４のような、キャプチャされた画像から特徴を抽出し、より詳細に後述するように、特徴Ｆ１１〜Ｆ１４のそれぞれに、特徴記述子を作成する。作成されたローカル特徴記述子は、右の段において、正規化された座標系に描画されている抽出された特徴Ｆ１１〜Ｆ１４により図示されているように、左の段（上述の標準的アプローチ）と比べて異なる方法で、これらの特徴Ｆ１１〜Ｆ１４を、特徴を明らかに示差しながら開示する。特に、センサ５の座標系１０により定義された、グローバル方位に、特徴の方位を整列させることによって、機器の方位に制約を加えることなく、４つの良く区別することのできる記述子がもたらされる。異なるカメラの方位の下で撮影された特徴も、照合することが可能である。
【００３５】
図４には、特徴記述子を構成するための本発明に係る方法における実施形態のフローダイアグラムが示されている。ステップＳ１１において、画像は、例えばモバイル機器２のカメラのようなキャプチャ装置により捕らえられるか、又は記憶媒体から読み込まれる。ステップＳ１２では、二次元記述における特徴点（パラメータｕ，ｖ）を得るために、特徴点が画像から抽出される。ステップＳ１３においては、トラッキングシステムにより提供されたキャプチャ装置の方位についての空間情報（パラメータｘ，ｙ，ｚ）を用いて抽出された特徴点のために、特徴の方位が計算される。
【００３６】
例えば、トラッキングシステムにより、オイラー角として、世界座標系に関するキャプチャ装置の方位が与えられ、特徴記述子は、重力によって整列させられると推定される。全ての特徴の方位を得るための極めて単純な方法は、重力を、第一にオイラー角を用いて、キャプチャ装置に装着されている座標系に変換し、次にそれを画像面に映し出すことである。それによって、画像の全ての特徴のために、画像における重力の方向が計算され、且つ使用される。この技術は、一般的には違うが正射影と仮定される。カメラの固有のパラメータを組み込むことによって、この仮定は弱められるが、それでも２次元画像に基づいた全ての技術では、平面上に置かれるように、画像の中では全てのものが見えると仮定され、それ故に２次元画像に基づいた全ての技術が推仮定される。
【００３７】
ステップＳ１４において、方位の割り当ては、ステップＳ１３において決定された特徴の方位角αに基づいて、方位角αをパラメータｕ，ｖに追加するために、実行される。その後、近傍正規化ステップＳ１５は、正規化された近傍画素の明暗度［ｉ］を得るために、実行される。最終ステップＳ１６では、特に、ステップＳ１４における方位の割り当てによってもたらされた抽出された特徴の方位を示しているパラメータによって、記述子ベクトル［ｄ］の形の特徴記述子が、抽出されたそれぞれの特徴について作成される。
【００３８】
本発明の別の実施形態において、キャプチャ装置として、距離データキャプチャ装置が使用され、そこでは、例えばレーザスキャナ、飛行時間型カメラ、又はステレオカメラ等といったあらゆる種類の距離データキャプチャ装置で撮影された画像の画素が、三次元座標に結合される。この場合、特定の特徴点のための共通座標系におけるどのような方位も、特徴点の近傍画素の三次元位置から計算される。
【００３９】
全ての近傍画素Ｎｉ（ｉは、近傍画素の指数である）のために、画素Ｐで特徴が与えられると、画素Ｐから生じ、画素Ｎｉを指し示している三次元ベクトルが計算される。望ましい方位ベクトルに最も近い２つの隣接するものが決定され、画像空間における望ましい方位を補間するために用いられる。
【００４０】
更に、少なくとも２つの画素の三次元における位置が分かれば、近傍正規化ステップにおける平面内の回転のための回転角を計算することができる。３個以上の画素の三次元世界座標が分かれば、該正規化ステップにおける１つ以上の参照方位へ、ローカル近傍若しくは全画像を歪ませるために、三次元変換を計算することができる。
【００４１】
画像から抽出された特徴記述子は、異なるトラッキングシステムとは違った種類の結合された空間情報とともに、提案された技術を用いてマッチングすることができる。
【００４２】
上述したように、図１では、窓の４つの角を例にして、本発明によって決定されたグローバルに整列されたローカル特徴記述子に対する標準的アプローチの結果が、概略的に比較される。標準アプローチ（左段の特徴Ｆ１〜Ｆ４）が、４つの同一の記述子をもたらす一方で、本発明におけるグローバル整列では、明らかに示差的な特徴記述子（右段の特徴Ｆ１１〜Ｆ１４）へと導かれる。
【００４３】
従って、本発明の実施形態によれば、共通座標系に関しては、キャプチャ装置の方位に関連した情報とともに、画像からローカル特徴記述子を抽出する場合、この情報に基づいた特徴の方位を割り当てることが、提案される。特に、特徴のための方位は、画像座標系に投影された共通座標系でもって整列させられている。このことは、カメラの自由な動作及び回転を可能にする一方で、異なる方位を伴った適合する特徴若しくは殆ど適合する特徴の記述子の間での、より高い示差性を可能にする。本発明による方法は、図４に示されているように、測定された方位を考慮に入れることによって、正規化されたローカル近傍に基づいたどのような既存のローカル特徴記述子にも容易に利用することができる。
【００４４】
測定された機器の方位は、近傍正規化ステップでカメラ画像を回転するための単一の角度を与える特徴の方位の割り当てに影響を与えるだけでなく、更に、特定の特徴記述子近傍における遠近法による歪みを補正するための１つ以上の参照方位へと、一部画像若しくは全体画像を歪ませるのに随意用いられる。
【００４５】
例えば、上述の方法は、特にワイド−ベースラインステレオマッチング、カメラトラッキング、画像検索、画像分類、オブジェクト分類又はオブジェクト認識のような、スレテオマッチングプロセスにより実行される。
【００４６】
ステレオマッチングの目標は、異なるビューポイントから撮影されたシーン或いはオブジェクトの２つの画像を三次元ジオメトリに再構成することである。このことは、同じ三次元ポイントを描画している２つの画像における対応した画素を見つけ三角測量法を用いてそれらの深さを計算することにより、行われる。
【００４７】
カメラトラッキングとは、１つ以上のカメラ画像が与えられたカメラのポーズ（位置及び方位）を計算するプロセスについて述べている。カメラ画像における特徴は、絶対的なポーズを計算するために分かっている三次元位置を伴った参照特徴に対して、又は位置及び方位における関連する変化を計算するために前のフレームからの特徴に対してのいずれかでマッチングされる。
【００４８】
画像又はオブジェクトの分類では、与えられた画像若しくはオブジェクトの三次元記述が、ｎ個のあり得る分類の１つに割り当てられる。たとえ、クエリ画像における特定の果実が、トレーニングのため若しくは参照画像として使用されなかったとしても、1つの例として、与えられた画像が、リンゴ若しくは梨を描画しているかどうかを語る方法になるであろう。ということからすると、与えられたクエリのための画像検索及びオブジェクト認識の中では、正確にマッチングした参照画像若しくはオブジェクトが、探し求められる。
【００４９】
全てこれらの技術は、２つ以上の画像の特徴をマッチングすることに基づいている。
【００５０】
図５Ａ及び５Ｂは、マッチングされるために各々抽出された特徴とともに、同じオブジェクトを表示している典型的な第１及び第２画像を、模式的に示す。例えば、画像は、異なる視角や光の条件といった、異なる条件若しくは状況の下で捉えられる。
【００５１】
第１画像ＩＭ１において、図５Ａに示されている現実静的オブジェクトＲＯ１は、カメラ（図示せず）によってキャプチャされる。画像ＩＭ１において、現実静的オブジェクトＲＯ１の特徴は、図５Ａに示されているように、特徴Ｆ５１によって抽出される。次のステップにおいて、記述子は、本発明の方法によって、抽出された特徴Ｆ５１全てについて計算される。次に、これらの特徴Ｆ５１は、第２画像ＩＭ２の中で抽出された特徴Ｆ５２とマッチングされる。第２画像ＩＭ２は、異なるビューポイントの下での、現実オブジェクトＲＯ１に対応した現実オブジェクトＲＯ２を表示しており、そこでは、特徴Ｆ５２のためにも、それぞれの記述子が決定される。特に、特徴Ｆ５１及びＦ５２の記述子が、ある類似性測定の言語において、比較的類似している場合、それらはマッチングされる。例えば、もし全ての記述子が、数のベクトルとして書かれているとしたら、２つの記述子を比較するとき、類似性測定法として、２つの対応するベクトルの間のユークリッド距離を使うことができる。
【００５２】
破線を伴って、それらを連結することにより、図５には、破線で結び合わされた３つのマッチングが描かれている。マッチＭ５１では、マッチングされた２つの特徴が、同じ物理的実体と一致しているので、マッチＭ５１は、正しいものである一方で、マッチＭ５２及びＭ５３では、それぞれ異なる物理的実体と一致している特徴を有しているので、間違っている。マッチＭ５２では、２つの特徴は、異なる方位における類似した（殆ど適合している）近傍を有する。このようなミスマッチが標準アプローチの使用に共通するものである一方、本発明は、それらを回避することを目標としている。Ｍ５３の中でマッチングされた２つの特徴は、類似した方位において、類似した近傍を有しているために、標準アプローチ及び本発明の実施形態の両方で、ミスマッチを導くことがあり得る。
【００５３】
近傍の画素の画素明暗度に基づいた特徴の方位を計算するための一般的な方法は、高い反復性を有しており、それ故に、それは特徴の信頼性のある特性である。本発明で示唆されたように、共通座標系に特徴を整列させるとき、この特性は、記述子がより示差性やマッチング能力を増大させるように用いられる。特徴を抽出する際、画像の明暗度に基づいた１つ以上の方向が随意計算され、その方向は、それぞれの特徴のために共通座標系に対応して、随意記録される。マッチング段階において、必要とされる比較の数は、共通座標系に関連して類似した方向を持った特徴だけを比較することによって、減少させることができる。
【００５４】
この発明の詳細な説明では、本発明に係るいくつかの実施形態について説明している。可能な実施に関する上述の発明の詳細な説明は、発明の明らかな説明に役立つことを意図したものであって、そこに発明が限定されないことを意図していると、理解されるべきである。また、この発明の開示における、“第１”、“第２”などの語は、単にラベルとして使用され、それらのオブジェクトにおける数的な要件を与えることを意図していない。特許請求の範囲の請求項に記載の範囲内での、他の実施形態及び一部修正は、図面に関連した上述の発明の詳細な説明を検討すれば、当業者にとっては明らかなものである。
【符号の説明】
【００５５】
２ モバイル機器
３ 現実オブジェクト
１０ 共通座標系
【特許請求の範囲】
【請求項１】
画像の少なくとも１つの特徴のための記述子を提供する方法であって、
キャプチャ装置によってキャプチャされた画像を提供し、前記画像から少なくとも１つの特徴を抽出する工程と、
記述子を前記少なくとも１つの特徴に割り当てる工程とを具備し、
前記記述子が、方位を示す少なくとも１つのパラメータに応じており、
前記少なくとも１つのパラメータが、少なくとも１つのトラッキングシステムから決定されることを特徴とする画像の少なくとも１つの特徴として記述子を提供する方法。
【請求項２】
前記少なくとも１つのパラメータが、共通座標系に関連して、前記キャプチャ装置の方位から決定される請求項１に記載の方法。
【請求項３】
前記トラッキングシステムが、具体的には慣性センサ、加速度計、ジャイロスコープ又はコンパスのようなセンサを具備し、そのセンサは前記キャプチャ装置に付随している請求項１又は２に記載の方法。
【請求項４】
前記トラッキングシステムが、機械的及び／又は電磁気的及び／又は音響的及び／又は光学トラッキングシステムを包含する請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記キャプチャ機器は、具体的にはレーザスキャナ、タイムオブフライトカメラ、又はステレオカメラのような距離データキャプチャ機器を具備し、関連する深さ及び／又は三次元位置とともにイメージ画素を提供する請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記少なくとも１つのパラメータは、前記画像の座標系における変換のための、前記キャプチャ装置の固有のパラメータに対する情報とともに、決定される請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
前記少なくとも１つの抽出された特徴のために、前記少なくとも１つのパラメータが、前記画像の画素の三次元位置から決定される請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
前記方位に関して、前記少なくとも１つの特徴の近傍を正規化する工程を更に具備する請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
前記少なくとも１つの特徴の近傍を正規化する工程において、前記方位は、前記画像を回転するための角度を規定する請求項８に記載の方法。
【請求項１０】
前記少なくとも１つの特徴の近傍を正規化する工程において、前記方位は、特に特徴近傍の遠近法による歪みを修正するために、１つ以上の参照方位に全体画像若しくは画像の一部を歪ませるために使用される請求項８又は９に記載の方法。
【請求項１１】
共通座標系における前記方位に関する前記特徴の１つ以上の方位は、画素明暗度に基づいて計算され、且つ前記記述子の１部として記録される請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
２つ以上の画像特徴をマッチングする方法であって、
第１画像の少なくとも１つの第１特徴及び第２画像の少なくとも１つの第２特徴を抽出する工程と、
前記第１特徴に対して第１記述子及び前記第２特徴に対して第２記述子を提供する工程であって、前記第１及び第２記述子の少なくとも１つが、請求項１乃至１１のいずれか１項に記載の方法により提供される工程と、
前記第１及び第２特徴のためのマッチングプロセスにおいて、前記第１及び第２記述子を比較する工程とを具備する２つ以上の画像特徴をマッチングする方法。
【請求項１３】
前記マッチングプロセスにおいて、前記第１及び第２特徴がお互いに一致するかどうかが、類似性測定を基に決定される請求項１２に記載の方法。
【請求項１４】
前記類似性測定は、できるだけ早く、悪いマッチを退けるために、異なる基準を引き続いて計算する、多段階法を具備する請求項１３に記載の方法。
【請求項１５】
具体的には、ワイド−ベースラインステレオマッチング、カメラトラッキング、画像検索、オブジェクト認識、視覚検索、姿勢評価、視覚監視、情景再構成、モーション推定、パノラマ合成、又は画像復元のような、ステレオマッチングプロセスにより実行される請求項１乃至１４のいずれか１項に記載の方法。
【請求項１６】
画像をキャプチャするための少なくとも１つのキャプチャ装置又は画像から読み込むための記憶媒体と一体となったコンピュータシステムの内部メモリの中に読み込まれるように構成されたコンピュータプログラムプロダクトであって、前記プロダクトが前記コンピュータシステムで作動している時に、請求項１乃至１５のいずれか１項に記載の工程が実行されるために用いられる、ソフトウェアコードセクションを具備することを特徴とするコンピュータプログラムプロダクト。
【請求項１】
画像の少なくとも１つの特徴のための記述子を提供する方法であって、
キャプチャ装置によってキャプチャされた画像を提供し、前記画像から少なくとも１つの特徴を抽出する工程と、
記述子を前記少なくとも１つの特徴に割り当てる工程とを具備し、
前記記述子が、方位を示す少なくとも１つのパラメータに応じており、
前記少なくとも１つのパラメータが、少なくとも１つのトラッキングシステムから決定されることを特徴とする画像の少なくとも１つの特徴として記述子を提供する方法。
【請求項２】
前記少なくとも１つのパラメータが、共通座標系に関連して、前記キャプチャ装置の方位から決定される請求項１に記載の方法。
【請求項３】
前記トラッキングシステムが、具体的には慣性センサ、加速度計、ジャイロスコープ又はコンパスのようなセンサを具備し、そのセンサは前記キャプチャ装置に付随している請求項１又は２に記載の方法。
【請求項４】
前記トラッキングシステムが、機械的及び／又は電磁気的及び／又は音響的及び／又は光学トラッキングシステムを包含する請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記キャプチャ機器は、具体的にはレーザスキャナ、タイムオブフライトカメラ、又はステレオカメラのような距離データキャプチャ機器を具備し、関連する深さ及び／又は三次元位置とともにイメージ画素を提供する請求項１乃至４のいずれか１項に記載の方法。
【請求項６】
前記少なくとも１つのパラメータは、前記画像の座標系における変換のための、前記キャプチャ装置の固有のパラメータに対する情報とともに、決定される請求項１乃至５のいずれか１項に記載の方法。
【請求項７】
前記少なくとも１つの抽出された特徴のために、前記少なくとも１つのパラメータが、前記画像の画素の三次元位置から決定される請求項１乃至６のいずれか１項に記載の方法。
【請求項８】
前記方位に関して、前記少なくとも１つの特徴の近傍を正規化する工程を更に具備する請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
前記少なくとも１つの特徴の近傍を正規化する工程において、前記方位は、前記画像を回転するための角度を規定する請求項８に記載の方法。
【請求項１０】
前記少なくとも１つの特徴の近傍を正規化する工程において、前記方位は、特に特徴近傍の遠近法による歪みを修正するために、１つ以上の参照方位に全体画像若しくは画像の一部を歪ませるために使用される請求項８又は９に記載の方法。
【請求項１１】
共通座標系における前記方位に関する前記特徴の１つ以上の方位は、画素明暗度に基づいて計算され、且つ前記記述子の１部として記録される請求項１乃至１０のいずれか１項に記載の方法。
【請求項１２】
２つ以上の画像特徴をマッチングする方法であって、
第１画像の少なくとも１つの第１特徴及び第２画像の少なくとも１つの第２特徴を抽出する工程と、
前記第１特徴に対して第１記述子及び前記第２特徴に対して第２記述子を提供する工程であって、前記第１及び第２記述子の少なくとも１つが、請求項１乃至１１のいずれか１項に記載の方法により提供される工程と、
前記第１及び第２特徴のためのマッチングプロセスにおいて、前記第１及び第２記述子を比較する工程とを具備する２つ以上の画像特徴をマッチングする方法。
【請求項１３】
前記マッチングプロセスにおいて、前記第１及び第２特徴がお互いに一致するかどうかが、類似性測定を基に決定される請求項１２に記載の方法。
【請求項１４】
前記類似性測定は、できるだけ早く、悪いマッチを退けるために、異なる基準を引き続いて計算する、多段階法を具備する請求項１３に記載の方法。
【請求項１５】
具体的には、ワイド−ベースラインステレオマッチング、カメラトラッキング、画像検索、オブジェクト認識、視覚検索、姿勢評価、視覚監視、情景再構成、モーション推定、パノラマ合成、又は画像復元のような、ステレオマッチングプロセスにより実行される請求項１乃至１４のいずれか１項に記載の方法。
【請求項１６】
画像をキャプチャするための少なくとも１つのキャプチャ装置又は画像から読み込むための記憶媒体と一体となったコンピュータシステムの内部メモリの中に読み込まれるように構成されたコンピュータプログラムプロダクトであって、前記プロダクトが前記コンピュータシステムで作動している時に、請求項１乃至１５のいずれか１項に記載の工程が実行されるために用いられる、ソフトウェアコードセクションを具備することを特徴とするコンピュータプログラムプロダクト。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２０１３−５０８７９４（Ｐ２０１３−５０８７９４Ａ）
【公表日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願番号】特願２０１２−５３３５３４（Ｐ２０１２−５３３５３４）
【出願日】平成２２年５月２８日（２０１０．５．２８）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０５７４６１
【国際公開番号】ＷＯ２０１１／０４７８８８
【国際公開日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（５０６４２２５４８）メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング (7)
【氏名又は名称原語表記】ｍｅｔａｉｏ ＧｍｂＨ
【Ｆターム（参考）】
【公表日】平成２５年３月７日（２０１３．３．７）
【国際特許分類】
【出願日】平成２２年５月２８日（２０１０．５．２８）
【国際出願番号】ＰＣＴ／ＥＰ２０１０／０５７４６１
【国際公開番号】ＷＯ２０１１／０４７８８８
【国際公開日】平成２３年４月２８日（２０１１．４．２８）
【出願人】（５０６４２２５４８）メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング (7)
【氏名又は名称原語表記】ｍｅｔａｉｏ ＧｍｂＨ
【Ｆターム（参考）】
[ Back to top ]