物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法
【課題】物体にタグを装着することなく、複数視点からのカメラ画像を対象にしつつカメラの視点方向に依存しない物体識別を行う。
【解決手段】物体識別システム１は、複数視点から物体（照合用物体、対象物体）を撮影した画像データから物体の複数の特徴点を抽出する特徴点抽出部２２と、複数の特徴点から幾何学的不変量が算出可能な特徴点を選択する特徴点選択部２３と、選択された特徴点の位置から幾何学的不変量を算出する幾何学的不変量算出部２４と、照合用物体についての幾何学的不変量と対象物体についての幾何学的不変量とを照合することで対象物体を識別する識別部２６と、を備える。
【解決手段】物体識別システム１は、複数視点から物体（照合用物体、対象物体）を撮影した画像データから物体の複数の特徴点を抽出する特徴点抽出部２２と、複数の特徴点から幾何学的不変量が算出可能な特徴点を選択する特徴点選択部２３と、選択された特徴点の位置から幾何学的不変量を算出する幾何学的不変量算出部２４と、照合用物体についての幾何学的不変量と対象物体についての幾何学的不変量とを照合することで対象物体を識別する識別部２６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法に関する。本発明に係る物体識別システムおよび方法は、複数視点の画像を撮影できるステレオカメラを搭載した携帯電話機を用いて実世界の物体を識別したり、取り込んだ画像の情報を解析することで個人の状況（コンテキスト）を識別することに利用されるものであり、コンテキスト通信やコンテキストに基づくサービスナビゲーションなどのコンテキストアウエアサービスの分野に関わっている。一方、本発明に係る特徴点位置抽出システムおよび方法は、上記のような物体の識別で利用されるパターンマッチングに関わるほか、パノラマ画像の合成、物体トラッキングのためのkeypoints抽出、ステレオ画像の距離計測などの分野にも関っている。
【背景技術】
【０００２】
物体識別は、実世界やユーザ状況を理解する上で重要な手掛かりになるので、さまざまなサービス分野でのニーズがある。物体を識別するには、タグを用いることが一般的であるが、タグを識別対象の物体に付けたり、タグの読み取り装置を設置する等の手間が掛っていた。
【０００３】
画像データに基づいて物体識別を行う場合、大別すると、物体に付けたバーコード等のタグに基づいて識別する方法、物体の物理モデルに基づいて識別する方法、画像から抽出した局所特徴量に基づいて識別する方法があった。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】H. Bay, A. Ess, T. Tuytelaars, and L. J. V. Gool. Speeded-up robust features (surf). Computer Vision and Image Understanding, 110(3): pages 346_359, 2008
【非特許文献２】A. Bosch, A. Zisserman, and X. Munoz. Image classification using random forests and ferns. ICCV, pages 1_8, 2007
【非特許文献３】R. Fergus, P. Perona, and A. Zisserman. Object class recognition by unsupervised scale-invariant learning. CVPR, pages 264_271, 2003
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述したような従来の物体識別方法には、例えば以下のような課題がある。即ち、タグに基づいて識別する方法では、原則、物体に平面タグを装着することが必要となる。また、視点方向が異なる画像で物体を識別するためには、物体の三次元（３Ｄ）モデル化や複数視点からの画像データが必要となる。
【０００６】
特に一般画像認識では、SIFT特徴量をはじめとする局所特徴量から抽出できるBag-of-keypointsを識別特徴量として物体識別する方法が提案されているが（非特許文献１参照）、基本的には局所特徴量の位置関係は利用していないので、必ずしも物体形状を考慮した特徴量にはなっていない。また、視点方向にロバストな点を考慮したアプローチではなく、視点方向の変化に対する評価がほとんどされていない。
【０００７】
局所特徴量の位置関係を考慮したアプローチとしてConstellation Model（局所特徴量および位置の出現確率を用いた方法）があるが（非特許文献３参照）、多様な種類のデータを用意する必要がある。また、Bag-of-keypoint（局所特徴量のヒストグラム）から規定パターンを抽出するとともに言語モデルやコンテキストモデルや関心領域を自動的に抽出し、random pyramid表現を用いてSVM random forestで８０％という高精度で物体を識別する方法もある（非特許文献２参照）。
【０００８】
ところが、上述した従来の方法は、そもそも単一カメラ画像を対象にしたものがほとんどであり、複数視点からのカメラ画像を対象にしたものはほとんどない。
【０００９】
本発明は、上記の課題を解決するために成されたものであり、物体にタグを装着することなく、複数視点からのカメラ画像を対象にしつつカメラの視点方向に依存しない物体識別を行うことができる物体識別システムおよび方法を提供することを目的とする。また、本発明は、上記のような物体識別やその他の用途に利用でき、物体の特徴点位置を精度良く抽出することができる特徴点位置抽出システムおよび方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る物体識別システムは、複数視点から照合用物体を撮影した画像データから、前記照合用物体の複数の特徴点を抽出する第１の特徴点抽出手段と、抽出された前記照合用物体の複数の特徴点から、前記照合用物体についての幾何学的不変量が算出可能な特徴点を選択する第１の特徴点選択手段と、選択された前記照合用物体についての特徴点の位置から、前記照合用物体についての幾何学的不変量を算出する第１の幾何学的不変量算出手段と、複数視点から対象物体を撮影した画像データから、前記対象物体の複数の特徴点を抽出する第２の特徴点抽出手段と、抽出された前記対象物体の複数の特徴点から、前記対象物体についての幾何学的不変量が算出可能な特徴点を選択する第２の特徴点選択手段と、選択された前記対象物体についての特徴点の位置から、前記対象物体についての幾何学的不変量を算出する第２の幾何学的不変量算出手段と、前記照合用物体についての幾何学的不変量と前記対象物体についての幾何学的不変量とを照合することで、前記対象物体を識別する物体識別手段と、を備えることを特徴とする。
【００１１】
このような物体識別システムでは、複数視点から照合用物体を撮影した画像データから照合用物体の複数の特徴点が抽出され、照合用物体の複数の特徴点から、照合用物体についての幾何学的不変量が算出可能な特徴点が選択され、さらに、選択された照合用物体についての特徴点の位置から、照合用物体についての幾何学的不変量が算出される。同様に、対象物体についても、複数視点から対象物体を撮影した画像データから対象物体の複数の特徴点が抽出され、対象物体の複数の特徴点から、対象物体についての幾何学的不変量が算出可能な特徴点が選択され、さらに、選択された対象物体についての特徴点の位置から、対象物体についての幾何学的不変量が算出される。そして、照合用物体についての幾何学的不変量と対象物体についての幾何学的不変量とを照合することで、対象物体が識別される。
【００１２】
なお、上記の物体識別システムは、照合用物体および対象物体を複数視点から撮影した画像データを取得する画像データ取得手段と、物体識別手段による識別結果を出力する出力手段と、をさらに備えてもよい。また、上記の物体識別システムは、照合用物体についての幾何学的不変量を格納するための照合用データベースと、第１の幾何学的不変量算出手段により算出された照合用物体についての幾何学的不変量を照合用データベースに格納する格納手段と、をさらに備えてもよい。
【００１３】
上記の物体識別システムに係る発明は、物体識別方法に係る発明として捉えることもでき、以下のように記述することができる。即ち、本発明に係る物体識別方法は、物体識別システムによって実行される物体識別方法であって、複数視点から照合用物体を撮影した画像データから、前記照合用物体の複数の特徴点を抽出する第１の特徴点抽出ステップと、抽出された前記照合用物体の複数の特徴点から、前記照合用物体についての幾何学的不変量が算出可能な特徴点を選択する第１の特徴点選択ステップと、選択された前記照合用物体についての特徴点の位置から、前記照合用物体についての幾何学的不変量を算出する第１の幾何学的不変量算出ステップと、複数視点から対象物体を撮影した画像データから、前記対象物体の複数の特徴点を抽出する第２の特徴点抽出ステップと、抽出された前記対象物体の複数の特徴点から、前記対象物体についての幾何学的不変量が算出可能な特徴点を選択する第２の特徴点選択ステップと、選択された前記対象物体についての特徴点の位置から、前記対象物体についての幾何学的不変量を算出する第２の幾何学的不変量算出ステップと、前記照合用物体についての幾何学的不変量と前記対象物体についての幾何学的不変量とを照合することで、前記対象物体を識別する物体識別ステップと、を備えることを特徴とする。
【００１４】
ところで、上記のような物体識別やその他の用途に利用できる特徴点位置抽出に係る発明として、以下の特徴点位置抽出システムおよび方法を挙げることができる。
【００１５】
即ち、本発明に係る特徴点位置抽出システムは、複数視点から物体を撮影した画像データから、前記物体の複数の特徴点を抽出する特徴点抽出手段と、抽出された前記物体の複数の特徴点と、ステレオ画像の拘束条件と、幾何学的不変量の拘束条件とに基づいて、前記物体についての特徴点の位置を抽出する特徴点位置抽出手段と、を備えることを特徴とする。なお、「ステレオ画像の拘束条件」としては、例えば、ステレオ画像（一例として２視点の場合、左右それぞれの画像）におけるkeypoints（特徴点）の対応付けにつき、keypoints同士の類似性だけでなく、エピポーラ拘束を利用したテンプレートマッチングによって、keypoints（特徴点）の対応関係の整合性を図っていることが挙げられる。「幾何学的不変量の拘束条件」としては、例えば、幾何学的不変量が算出できるための特徴点の配置条件（一例として隣接３平面がそれぞれ凸型の矩形になる条件）を満たすこと、および、ステレオ画像（一例として２視点の場合、左右画像）それぞれから抽出された特徴点の対応が正しく取れていれば幾何学的不変量が一致すること、が挙げられる。
【００１６】
また、本発明に係る特徴点位置抽出方法は、特徴点位置抽出システムによって実行される特徴点位置抽出方法であって、複数視点から物体を撮影した画像データから、前記物体の複数の特徴点を抽出する特徴点抽出ステップと、抽出された前記物体の複数の特徴点と、上記のようなステレオ画像の拘束条件と、上記のような幾何学的不変量の拘束条件とに基づいて、前記物体についての特徴点の位置を抽出する特徴点位置抽出ステップと、を備えることを特徴とする。
【発明の効果】
【００１７】
本発明に係る物体識別システムおよび方法によれば、物体にタグを装着することなく、複数視点からのカメラ画像を対象にしつつカメラの視点方向に依存しない物体識別を行うことができる。
【００１８】
本発明に係る特徴点位置抽出システムおよび方法によれば、物体の特徴点位置を精度良く抽出することができる。
【図面の簡単な説明】
【００１９】
【図１】発明の実施形態に係るシステム構成図である。
【図２】照合用データベースの作成に係る処理のフロー図である。
【図３】対象物体の物体識別に係る処理のフロー図である。
【図４】物体識別サーバのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を用いて発明の実施形態を説明する。以下では、複数視点からのカメラ画像を対象としてカメラの視点方向に依存しない物体識別を行う物体識別システムおよび方法、並びに、物体識別に利用される特徴点位置抽出技術を実現する特徴点位置抽出システムおよび方法に関する一実施形態を説明する。なお、以下では、複数視点数が２である場合を例にとって説明するが、複数視点数が３以上の場合も同様に適用できる。
【００２１】
［物体識別システムの構成］
図１には、物体識別システム１の一構成例を示す。図１に示すように、物体識別システム１は、識別すべき対象の物体（以下「対象物体」という）および照合用物体を複数視点から撮影した画像データを取得するステレオカメラ１０と、画像データからの特徴点位置の抽出や幾何学的不変量の算出や物体識別などを行う物体識別サーバ２０と、照合用物体の幾何学的不変量を格納するための照合用データベース３０と、物体識別の結果を表示するための表示装置４０と、を備えている。
【００２２】
ステレオカメラ１０には、ステレオカメラ間のキャリブレーションを実行する前処理部１１と、照合用物体および対象物体を複数視点から撮影する撮影部１２と、撮影で得られた複数視点（一例として２つの視点）からの画像（以下「ステレオ画像」という）の画像データを物体識別サーバ２０へ送信する画像データ送信部１３とが搭載されている。
【００２３】
物体識別サーバ２０には、ステレオ画像の画像データをステレオカメラ１０から受信する画像データ受信部２１と、ステレオ画像の画像データから特徴点情報を抽出する特徴点抽出部２２と、抽出された特徴点情報に基づいて幾何学的不変量を算出可能な特徴点を選択する特徴点選択部２３と、選択された特徴点に基づいて幾何学的不変量を算出する幾何学的不変量算出部２４と、照合用物体の幾何学的不変量を照合用データベース３０へ格納する格納部２５と、対象物体の幾何学的不変量を、事前に照合用データベース３０に格納された照合用物体の幾何学的不変量と照合することで、物体を識別する識別部２６と、物体識別結果を表示装置へ送信する結果送信部２７とが搭載されている。
【００２４】
なお、特徴点抽出部２２は特許請求の範囲における第１、第２の特徴点抽出手段に対応し、特徴点選択部２３は第１、第２の特徴点選択手段に対応し、幾何学的不変量算出部２４は第１、第２の幾何学的不変量算出手段に対応する。識別部２６は物体識別手段に対応し、撮影部１２は画像データ取得手段に対応し、表示装置４０は出力手段に対応する。また、照合用データベース３０は照合用データベースに対応し、格納部２５は格納手段に対応する。
【００２５】
上記の幾何学的不変量算出部２４は、後述するステレオ画像の幾何学的不変量一致性チェックを行う一致性チェック部２４Ａと、物体識別用特徴量算出のための幾何学的不変量を算出する不変量算出部２４Ｂと、物体識別用特徴量を算出する特徴量算出部２４Ｃとを含んでいる。詳細は後述するが、一例として、格納部２５は、特徴量算出部２４Ｃにより算出された照合用物体の物体識別用特徴量に対しＳＶＭ学習を行って識別器を得て、この識別器により、照合用物体がどのカテゴリに識別できるかを学習させ、得られた学習済みのＳＶＭ識別情報を照合用データベース３０へ格納する。識別部２６は、照合用データベース３０に格納された学習済みのＳＶＭ識別情報を用いて対象物体がどのカテゴリに入るかを判定する。なお、ここではＳＶＭ学習を行う例を示したが、ＳＶＭ学習に代わり、他の機械学習を行ってもよい。
【００２６】
ところで、図１には、照合用データベース３０および表示装置４０が物体識別サーバ２０とは別体である構成例を示したが、照合用データベース３０と表示装置４０のうち一方又は両方は物体識別サーバ２０と一体であってもよい。
【００２７】
また、物体識別サーバ２０は、ハードウェアとしては通常の情報処理装置の基本構成と同様であり、特別なハードウェア構成を必要とするものではない。例えば、図４に示すように、物体識別サーバ２０は、ＣＰＵ２０Ａ、ＲＡＭ２０Ｂ、ＲＯＭ２０Ｃ、キーボードやマウス等の入力装置２０Ｄ、外部との通信を行う通信装置２０Ｅ、ハードディスク等の補助記憶装置２０Ｆ、および、ディスプレイやプリンタ等の出力装置２０Ｇを備える。図１の照合用データベース３０と表示装置４０を物体識別サーバ２０と一体に構成する場合、補助記憶装置２０Ｆにより照合用データベース３０を構成し、出力装置２０Ｇにより表示装置４０を構成してもよい。
【００２８】
［物体識別方法に係る処理］
以下、物体識別方法に係る処理として、照合用データベースの作成に係る処理と、対象物体の物体識別に係る処理とを順に説明する。
【００２９】
図２に示すように、照合用データベースの作成に係る処理はステップＡ１〜Ａ１２を備える。
【００３０】
ステップＡ１では、ステレオカメラ１０の前処理部１１が、事前に既知の方法で、カメラキャリブレーションならびに画像データにおけるエピポーララインの位置合わせをする。ここで、得られたステレオ画像をそれぞれＩＬ（ｘＬ，ｙＬ）、ＩＲ（ｘＲ，ｙＲ）と表現する。
【００３１】
ステップＡ２では、撮影部１２により照合用物体を任意の複数の（ここでは一例として２つの）視点から撮影し、得られたステレオ画像ＩＬ（ｘＬ，ｙＬ）、ＩＲ（ｘＲ，ｙＲ）を画像データ送信部１３が物体識別サーバ２０へ送信する。
【００３２】
ステップＡ３では、物体識別サーバ２０の画像データ受信部２１がステレオ画像の画像データをステレオカメラ１０から受信し、特徴点抽出部２２が、以下のようにしてステレオ画像の画像データから特徴点情報を抽出する。
【００３３】
ステレオ画像ＩＬ（ｘＬ，ｙＬ）、ＩＲ（ｘＲ，ｙＲ）のそれぞれに対してエッジ特徴抽出処理を実施する。エッジ特徴抽出処理の方法は問わないが、ここでは既知の方法であるSURF特徴抽出を利用する。抽出された128次元ベクトルであるSURF特徴量を、それぞれ、
【数１】
とおく（ただし、ｉ＝（ｘＲ，ｙＲ）、ｊ＝（ｘＬ，ｙＬ））。
また、この時のヘッセ行列式ＤｅｔＬ（ｊ）、ＤｅｔＲ（ｉ）も算出する。
ここで、
【数２】
である。ここで、Ｄｘｘはｘ方向のラプラシアンガウシアンを、Ｄｙｙはｙ方向のラプラシアンガウシアンを、Ｄｘｙはガウス関数をｘ方向とｙ方向のそれぞれに一次微分したものを、そして，ｋは正の定数を表す。
そして、ヘッセ行列式（ＤｅｔＬ（ｊ）とＤｅｔＲ（ｉ））の大きいもの順に、それぞれをソートする。
【００３４】
次のステップＡ４〜Ａ７では、特徴点選択部２３が、抽出された特徴点情報に基づいて幾何学的不変量を算出可能な特徴点を選択する。まず、ステップＡ４では、特徴点選択部２３は、ステレオ画像におけるSURF特徴量が近いものを選択するためにベクトル
【数３】
との差分ベクトルのユークリッド距離
【数４】
を算出する。そして、ｄｉｓｔ（ｉ，ｊ）を最小にする
【数５】
なる組（ｉｍｉｎ，ｊｍｉｎ）を探索する。
【００３５】
ステップＡ５では、特徴点選択部２３は、上記で得られた組（ｉｍｉｎ，ｊｍｉｎ）について、SURF特徴量が抽出されたステレオ画像のそれぞれの点の局所領域ＬＡＲ（ｉ）とＬＡＬ（ｊ）とのエピポーラ線上のテンプレートマッチングを実施する。テンプレートマッチングにあたっては、下記の類似度
【数６】
を算出する。ここで、
【数７】
は、局所領域ｉ∈δｉならびにｊ∈δｊでの画素値の平均を表す。この類似度が最小になるときの
【数８】
を抽出する。
【００３６】
ステップＡ６では、特徴点選択部２３は、上記で求めた（ｉｍｉｎ，ｊｍｉｎ）と（ｉｍａｘ，ｊｍａｘ）が同一であり、かつ、SURF特徴量の差分ｄｉｓｔ（ｉｍｉｎ，ｊｍｉｎ）とテンプレートマッチングの類似度Ｃｏｒｒ（ｉｍａｘ，ｊｍａｘ）が閾値ＴｈｄｉｓｔとＴｈｃｏｒｒに対して下記の条件
【数９】
を満たした点を幾何学的不変量算出用の特徴点候補Ｐｋとして抽出する。
【００３７】
また、上記の条件を満たした点が７点に満たない場合は、ヘッセ行列式ＤｅｔＬ（ｊ）とＤｅｔＲ（ｉ）の大きいものから順に選択し、ＬＡＲ（ｉ）もしくはＬＡＬ（ｊ）を用いてエピポーラライン上をテンプレートマッチングすることで対応する局所領域の中心点を探索する。その時、算出されたＣｏｒｒ（ｉ，ｊ）が、Ｃｏｒｒ（ｉ，ｊ）＞Ｔｈｃｏｒｒという条件を満たせば、幾何学的不変量算出用の特徴点候補Ｐｋとして抽出する。
【００３８】
ステップＡ７では、特徴点選択部２３は、上記で得られた幾何学的不変量算出用特徴点から７点の全ての組み合わせを抽出するために７組の組み合わせを作成する。はじめに、７点Ｐｋ（ｋ＝１，２，…，７）の重心Ｏを算出する。そして、ベクトル
【数１０】
と画像の水平ベクトル（１，０）とのなす角の大きさ順に点をソートする。次に、重心Ｏに最も距離の近い点をＣとする。そして、残りの点をなす角の小さい順からＡ，Ｂ，Ｄ，Ｅ，Ｆ，Ｋと名付ける。
ここで、各点を頂点とする多角形ＡＢＣＤＥＦＫを考えると、３つの面ＡＢＤＣ、ＤＦＥＣ、ＣＥＫＡが同一平面にある条件、即ち下記の条件を満たすものを幾何学的不変量が算出可能な７点の組として選択する。
【数１１】
ただし、
【数１２】
は、それぞれ直線ＡＤとＢＣの交点、直線ＤＥとＦＣの交点、直線ＣＫとＥＡの交点を表し、ｔは正の定数を表す。
【００３９】
ステップＡ８では、幾何学的不変量算出部２４の一致性チェック部２４Ａが以下のようなステレオ画像の幾何学的不変量一致性チェックを行う。即ち、一致性チェック部２４Ａは、上記で特徴点候補として残った7点の組み合わせごとに、既知である以下の3つの不変量をステレオ画像ごとに算出する。
【数１３】
また、Ｇは、
【数１４】
であり、Ｈは、
【数１５】
である。
ただし、ＰＡＢＣは、点Ａ、Ｂ、Ｃの画像面内での座標をそれぞれ（ｘＡ，ｙＡ）、（ｘＢ，ｙＢ）、（ｘＣ，ｙＣ）である時、下記のように計算される。
【数１６】
この時、７点の組み合わせが左右画像のそれぞれで適切に対応関係がとれていれば、上記の３つの幾何学的不変量は一致するはずであるから、下記の条件を満たすか否かをチェックする。
【数１７】
ここで、Ｔｈεは誤差の閾値を表す。
【００４０】
ステップＡ９では、不変量算出部２４Ｂが、上記で抽出された左右画像それぞれの３つの幾何学的不変量の平均をとったものを識別特徴量用の値として利用する。
【数１８】
【００４１】
ステップＡ１０では、特徴量算出部２４Ｃが、上記で算出された３つの識別特徴量用の幾何学的不変量は、それぞれ底が１０の対数をとり事前に作成されたデータベースで用いた閾値を用いて0.1から0.9の間で規格化することで、物体識別用特徴量
【数１９】
を算出する。
【数２０】
【００４２】
ステップＡ１１では、格納部２５は、特徴量算出部２４Ｃにより算出された照合用物体の物体識別用特徴量
【数２１】
に対し既知の機械学習（ここでは一例としてＳＶＭ学習）を行って識別器
【数２２】
を得て、この識別器により、照合用物体がどのカテゴリに識別できるかを学習させる。
【００４３】
ステップＡ１２では、格納部２５は、学習されて得られたＳＶＭ識別情報を照合用データベース３０へ格納する。
【００４４】
以上で、図２に示す照合用データベースの作成に係る処理を終了する。
【００４５】
次に、図３に示す対象物体の物体識別に係る処理を説明する。図３に示すように、対象物体の物体識別に係る処理はステップＢ１〜Ｂ１２を備える。このうちステップＢ１〜Ｂ１０では、対象物体について前述した図２のステップＡ１〜Ａ１０と同様の処理を行う。即ち、ステップＡ１〜Ａ１０は照合用物体を対象としていたのに対し、ステップＢ１〜Ｂ１０は対象物体を対象とする点で、両者は異なるが、両者の処理内容は同様である。ここでは、重複した説明を省くため、ステップＢ１〜Ｂ１０の説明を省略する。
【００４６】
ステップＢ１１では、識別部２６が、対象物体の幾何学的不変量を、事前に照合用データベース３０に格納された照合用物体の幾何学的不変量と照合することで、対象物体について識別を行う。具体的に本実施形態では、図２の処理により、照合用物体の幾何学的不変量として、学習済みのＳＶＭ識別情報を格納したので、識別部２６は、以下のようにして、照合用データベース３０に格納された学習済みのＳＶＭ識別情報を用いて対象物体がどのカテゴリに属するかを判定する。
【００４７】
識別部２６は、学習済みのＳＶＭ識別情報を用いた上記の判定を、７つの特徴点の組の全てについて実施し、最も多くの判定結果を得たカテゴリｎｍａｘを、対象物体が属するカテゴリとして判定する。
【数２３】
ただし、Ｃ（ｎ）は、物体識別ＩＤがｎの総数を表し、Ｔｈｃｔは、物体識別の割合に関する閾値を表す。
【数２４】
【００４８】
ステップＢ１２では、結果送信部２７が、上記の判定結果（物体識別結果）を表示装置４０に送信する。これにより、上記の判定結果（物体識別結果）が表示装置４０に表示される。
【００４９】
以上で、図３に示す対象物体の物体識別に係る処理を終了する。
【００５０】
以上説明した本実施形態によれば、複数視点からのカメラ画像情報ならびに幾何学的不変量の拘束条件を用いることで，物体形状の固有な情報であるエッジ特徴量を精度良く抽出することができる。また、上記で抽出された特徴点の組み合わせの中で、特徴点を頂点とする多面体が構成できるもののみを抽出しているので、幾何学的不変量を安定して算出することができる。また、視点方向に不依存な幾何学的不変量を物体識別のための特徴量とすることで、撮影方向にロバストな物体識別が可能となる。
【００５１】
ところで、上記実施形態における物体識別システムおよび方法では、ステレオ画像の拘束条件および幾何学的不変量の拘束条件に基づいて、物体の複数の特徴点から当該物体についての特徴点の位置を精度良く抽出する技術が利用されている。この技術を実現する要素は、図１の特徴点抽出部２２、特徴点選択部２３および一致性チェック部２４Ａに相当する。そのため、図１の物体識別システム１は、上記３つの要素を含んで構成される特徴点位置抽出システム５０を内包していると捉えることができる。なお、特徴点抽出部２２が特許請求の範囲における特徴点抽出手段に対応し、特徴点選択部２３および一致性チェック部２４Ａが特徴点位置抽出手段に対応する。
【００５２】
このような特徴点位置抽出システム５０により実行される特徴点位置抽出方法は、図２のステップＡ３〜Ａ８および図３のステップＢ３〜Ｂ８の処理に相当する。前述した「ステレオ画像の拘束条件」としては、例えば、ステレオ画像（一例として２視点の場合、左右それぞれの画像）におけるkeypoints（特徴点）の対応付けにつき、keypoints同士の類似性だけでなく、エピポーラ拘束を利用したテンプレートマッチング（ステップＡ５およびＢ５）によって、keypoints（特徴点）の対応関係の整合性を図っていることが挙げられる。「幾何学的不変量の拘束条件」としては、例えば、幾何学的不変量が算出できるための特徴点の配置条件（一例として隣接３平面がそれぞれ凸型の矩形になる条件）を満たすこと（ステップＡ７およびＢ７）、および、ステレオ画像（一例として２視点の場合、左右画像）それぞれから抽出された特徴点の対応が正しく取れていれば幾何学的不変量が一致すること（ステップＡ８およびＢ８）、が挙げられる。
【００５３】
このような特徴点位置抽出システムおよび方法は、上記実施形態のような物体の識別で利用されるパターンマッチングに関わる以外に、パノラマ画像の合成、物体トラッキングのためのkeypoints抽出、ステレオ画像の距離計測などに広く利用することができる。
【符号の説明】
【００５４】
１…物体識別システム、１０…ステレオカメラ、１１…前処理部、１２…撮影部、１３…画像データ送信部、２０…物体識別サーバ、２０Ａ…ＣＰＵ、２０Ｂ…ＲＡＭ、２０Ｃ…ＲＯＭ、２０Ｄ…入力装置、２０Ｅ…通信装置、２０Ｆ…補助記憶装置、２０Ｇ…出力装置、２１…画像データ受信部、２２…特徴点抽出部、２３…特徴点選択部、２４…幾何学的不変量算出部、２４Ａ…一致性チェック部、２４Ｂ…不変量算出部、２４Ｃ…特徴量算出部、２５…格納部、２６…識別部、２７…結果送信部、３０…照合用データベース、４０…表示装置、５０…特徴点位置抽出システム。
【技術分野】
【０００１】
本発明は、物体識別システムおよび方法、並びに、特徴点位置抽出システムおよび方法に関する。本発明に係る物体識別システムおよび方法は、複数視点の画像を撮影できるステレオカメラを搭載した携帯電話機を用いて実世界の物体を識別したり、取り込んだ画像の情報を解析することで個人の状況（コンテキスト）を識別することに利用されるものであり、コンテキスト通信やコンテキストに基づくサービスナビゲーションなどのコンテキストアウエアサービスの分野に関わっている。一方、本発明に係る特徴点位置抽出システムおよび方法は、上記のような物体の識別で利用されるパターンマッチングに関わるほか、パノラマ画像の合成、物体トラッキングのためのkeypoints抽出、ステレオ画像の距離計測などの分野にも関っている。
【背景技術】
【０００２】
物体識別は、実世界やユーザ状況を理解する上で重要な手掛かりになるので、さまざまなサービス分野でのニーズがある。物体を識別するには、タグを用いることが一般的であるが、タグを識別対象の物体に付けたり、タグの読み取り装置を設置する等の手間が掛っていた。
【０００３】
画像データに基づいて物体識別を行う場合、大別すると、物体に付けたバーコード等のタグに基づいて識別する方法、物体の物理モデルに基づいて識別する方法、画像から抽出した局所特徴量に基づいて識別する方法があった。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】H. Bay, A. Ess, T. Tuytelaars, and L. J. V. Gool. Speeded-up robust features (surf). Computer Vision and Image Understanding, 110(3): pages 346_359, 2008
【非特許文献２】A. Bosch, A. Zisserman, and X. Munoz. Image classification using random forests and ferns. ICCV, pages 1_8, 2007
【非特許文献３】R. Fergus, P. Perona, and A. Zisserman. Object class recognition by unsupervised scale-invariant learning. CVPR, pages 264_271, 2003
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述したような従来の物体識別方法には、例えば以下のような課題がある。即ち、タグに基づいて識別する方法では、原則、物体に平面タグを装着することが必要となる。また、視点方向が異なる画像で物体を識別するためには、物体の三次元（３Ｄ）モデル化や複数視点からの画像データが必要となる。
【０００６】
特に一般画像認識では、SIFT特徴量をはじめとする局所特徴量から抽出できるBag-of-keypointsを識別特徴量として物体識別する方法が提案されているが（非特許文献１参照）、基本的には局所特徴量の位置関係は利用していないので、必ずしも物体形状を考慮した特徴量にはなっていない。また、視点方向にロバストな点を考慮したアプローチではなく、視点方向の変化に対する評価がほとんどされていない。
【０００７】
局所特徴量の位置関係を考慮したアプローチとしてConstellation Model（局所特徴量および位置の出現確率を用いた方法）があるが（非特許文献３参照）、多様な種類のデータを用意する必要がある。また、Bag-of-keypoint（局所特徴量のヒストグラム）から規定パターンを抽出するとともに言語モデルやコンテキストモデルや関心領域を自動的に抽出し、random pyramid表現を用いてSVM random forestで８０％という高精度で物体を識別する方法もある（非特許文献２参照）。
【０００８】
ところが、上述した従来の方法は、そもそも単一カメラ画像を対象にしたものがほとんどであり、複数視点からのカメラ画像を対象にしたものはほとんどない。
【０００９】
本発明は、上記の課題を解決するために成されたものであり、物体にタグを装着することなく、複数視点からのカメラ画像を対象にしつつカメラの視点方向に依存しない物体識別を行うことができる物体識別システムおよび方法を提供することを目的とする。また、本発明は、上記のような物体識別やその他の用途に利用でき、物体の特徴点位置を精度良く抽出することができる特徴点位置抽出システムおよび方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る物体識別システムは、複数視点から照合用物体を撮影した画像データから、前記照合用物体の複数の特徴点を抽出する第１の特徴点抽出手段と、抽出された前記照合用物体の複数の特徴点から、前記照合用物体についての幾何学的不変量が算出可能な特徴点を選択する第１の特徴点選択手段と、選択された前記照合用物体についての特徴点の位置から、前記照合用物体についての幾何学的不変量を算出する第１の幾何学的不変量算出手段と、複数視点から対象物体を撮影した画像データから、前記対象物体の複数の特徴点を抽出する第２の特徴点抽出手段と、抽出された前記対象物体の複数の特徴点から、前記対象物体についての幾何学的不変量が算出可能な特徴点を選択する第２の特徴点選択手段と、選択された前記対象物体についての特徴点の位置から、前記対象物体についての幾何学的不変量を算出する第２の幾何学的不変量算出手段と、前記照合用物体についての幾何学的不変量と前記対象物体についての幾何学的不変量とを照合することで、前記対象物体を識別する物体識別手段と、を備えることを特徴とする。
【００１１】
このような物体識別システムでは、複数視点から照合用物体を撮影した画像データから照合用物体の複数の特徴点が抽出され、照合用物体の複数の特徴点から、照合用物体についての幾何学的不変量が算出可能な特徴点が選択され、さらに、選択された照合用物体についての特徴点の位置から、照合用物体についての幾何学的不変量が算出される。同様に、対象物体についても、複数視点から対象物体を撮影した画像データから対象物体の複数の特徴点が抽出され、対象物体の複数の特徴点から、対象物体についての幾何学的不変量が算出可能な特徴点が選択され、さらに、選択された対象物体についての特徴点の位置から、対象物体についての幾何学的不変量が算出される。そして、照合用物体についての幾何学的不変量と対象物体についての幾何学的不変量とを照合することで、対象物体が識別される。
【００１２】
なお、上記の物体識別システムは、照合用物体および対象物体を複数視点から撮影した画像データを取得する画像データ取得手段と、物体識別手段による識別結果を出力する出力手段と、をさらに備えてもよい。また、上記の物体識別システムは、照合用物体についての幾何学的不変量を格納するための照合用データベースと、第１の幾何学的不変量算出手段により算出された照合用物体についての幾何学的不変量を照合用データベースに格納する格納手段と、をさらに備えてもよい。
【００１３】
上記の物体識別システムに係る発明は、物体識別方法に係る発明として捉えることもでき、以下のように記述することができる。即ち、本発明に係る物体識別方法は、物体識別システムによって実行される物体識別方法であって、複数視点から照合用物体を撮影した画像データから、前記照合用物体の複数の特徴点を抽出する第１の特徴点抽出ステップと、抽出された前記照合用物体の複数の特徴点から、前記照合用物体についての幾何学的不変量が算出可能な特徴点を選択する第１の特徴点選択ステップと、選択された前記照合用物体についての特徴点の位置から、前記照合用物体についての幾何学的不変量を算出する第１の幾何学的不変量算出ステップと、複数視点から対象物体を撮影した画像データから、前記対象物体の複数の特徴点を抽出する第２の特徴点抽出ステップと、抽出された前記対象物体の複数の特徴点から、前記対象物体についての幾何学的不変量が算出可能な特徴点を選択する第２の特徴点選択ステップと、選択された前記対象物体についての特徴点の位置から、前記対象物体についての幾何学的不変量を算出する第２の幾何学的不変量算出ステップと、前記照合用物体についての幾何学的不変量と前記対象物体についての幾何学的不変量とを照合することで、前記対象物体を識別する物体識別ステップと、を備えることを特徴とする。
【００１４】
ところで、上記のような物体識別やその他の用途に利用できる特徴点位置抽出に係る発明として、以下の特徴点位置抽出システムおよび方法を挙げることができる。
【００１５】
即ち、本発明に係る特徴点位置抽出システムは、複数視点から物体を撮影した画像データから、前記物体の複数の特徴点を抽出する特徴点抽出手段と、抽出された前記物体の複数の特徴点と、ステレオ画像の拘束条件と、幾何学的不変量の拘束条件とに基づいて、前記物体についての特徴点の位置を抽出する特徴点位置抽出手段と、を備えることを特徴とする。なお、「ステレオ画像の拘束条件」としては、例えば、ステレオ画像（一例として２視点の場合、左右それぞれの画像）におけるkeypoints（特徴点）の対応付けにつき、keypoints同士の類似性だけでなく、エピポーラ拘束を利用したテンプレートマッチングによって、keypoints（特徴点）の対応関係の整合性を図っていることが挙げられる。「幾何学的不変量の拘束条件」としては、例えば、幾何学的不変量が算出できるための特徴点の配置条件（一例として隣接３平面がそれぞれ凸型の矩形になる条件）を満たすこと、および、ステレオ画像（一例として２視点の場合、左右画像）それぞれから抽出された特徴点の対応が正しく取れていれば幾何学的不変量が一致すること、が挙げられる。
【００１６】
また、本発明に係る特徴点位置抽出方法は、特徴点位置抽出システムによって実行される特徴点位置抽出方法であって、複数視点から物体を撮影した画像データから、前記物体の複数の特徴点を抽出する特徴点抽出ステップと、抽出された前記物体の複数の特徴点と、上記のようなステレオ画像の拘束条件と、上記のような幾何学的不変量の拘束条件とに基づいて、前記物体についての特徴点の位置を抽出する特徴点位置抽出ステップと、を備えることを特徴とする。
【発明の効果】
【００１７】
本発明に係る物体識別システムおよび方法によれば、物体にタグを装着することなく、複数視点からのカメラ画像を対象にしつつカメラの視点方向に依存しない物体識別を行うことができる。
【００１８】
本発明に係る特徴点位置抽出システムおよび方法によれば、物体の特徴点位置を精度良く抽出することができる。
【図面の簡単な説明】
【００１９】
【図１】発明の実施形態に係るシステム構成図である。
【図２】照合用データベースの作成に係る処理のフロー図である。
【図３】対象物体の物体識別に係る処理のフロー図である。
【図４】物体識別サーバのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を用いて発明の実施形態を説明する。以下では、複数視点からのカメラ画像を対象としてカメラの視点方向に依存しない物体識別を行う物体識別システムおよび方法、並びに、物体識別に利用される特徴点位置抽出技術を実現する特徴点位置抽出システムおよび方法に関する一実施形態を説明する。なお、以下では、複数視点数が２である場合を例にとって説明するが、複数視点数が３以上の場合も同様に適用できる。
【００２１】
［物体識別システムの構成］
図１には、物体識別システム１の一構成例を示す。図１に示すように、物体識別システム１は、識別すべき対象の物体（以下「対象物体」という）および照合用物体を複数視点から撮影した画像データを取得するステレオカメラ１０と、画像データからの特徴点位置の抽出や幾何学的不変量の算出や物体識別などを行う物体識別サーバ２０と、照合用物体の幾何学的不変量を格納するための照合用データベース３０と、物体識別の結果を表示するための表示装置４０と、を備えている。
【００２２】
ステレオカメラ１０には、ステレオカメラ間のキャリブレーションを実行する前処理部１１と、照合用物体および対象物体を複数視点から撮影する撮影部１２と、撮影で得られた複数視点（一例として２つの視点）からの画像（以下「ステレオ画像」という）の画像データを物体識別サーバ２０へ送信する画像データ送信部１３とが搭載されている。
【００２３】
物体識別サーバ２０には、ステレオ画像の画像データをステレオカメラ１０から受信する画像データ受信部２１と、ステレオ画像の画像データから特徴点情報を抽出する特徴点抽出部２２と、抽出された特徴点情報に基づいて幾何学的不変量を算出可能な特徴点を選択する特徴点選択部２３と、選択された特徴点に基づいて幾何学的不変量を算出する幾何学的不変量算出部２４と、照合用物体の幾何学的不変量を照合用データベース３０へ格納する格納部２５と、対象物体の幾何学的不変量を、事前に照合用データベース３０に格納された照合用物体の幾何学的不変量と照合することで、物体を識別する識別部２６と、物体識別結果を表示装置へ送信する結果送信部２７とが搭載されている。
【００２４】
なお、特徴点抽出部２２は特許請求の範囲における第１、第２の特徴点抽出手段に対応し、特徴点選択部２３は第１、第２の特徴点選択手段に対応し、幾何学的不変量算出部２４は第１、第２の幾何学的不変量算出手段に対応する。識別部２６は物体識別手段に対応し、撮影部１２は画像データ取得手段に対応し、表示装置４０は出力手段に対応する。また、照合用データベース３０は照合用データベースに対応し、格納部２５は格納手段に対応する。
【００２５】
上記の幾何学的不変量算出部２４は、後述するステレオ画像の幾何学的不変量一致性チェックを行う一致性チェック部２４Ａと、物体識別用特徴量算出のための幾何学的不変量を算出する不変量算出部２４Ｂと、物体識別用特徴量を算出する特徴量算出部２４Ｃとを含んでいる。詳細は後述するが、一例として、格納部２５は、特徴量算出部２４Ｃにより算出された照合用物体の物体識別用特徴量に対しＳＶＭ学習を行って識別器を得て、この識別器により、照合用物体がどのカテゴリに識別できるかを学習させ、得られた学習済みのＳＶＭ識別情報を照合用データベース３０へ格納する。識別部２６は、照合用データベース３０に格納された学習済みのＳＶＭ識別情報を用いて対象物体がどのカテゴリに入るかを判定する。なお、ここではＳＶＭ学習を行う例を示したが、ＳＶＭ学習に代わり、他の機械学習を行ってもよい。
【００２６】
ところで、図１には、照合用データベース３０および表示装置４０が物体識別サーバ２０とは別体である構成例を示したが、照合用データベース３０と表示装置４０のうち一方又は両方は物体識別サーバ２０と一体であってもよい。
【００２７】
また、物体識別サーバ２０は、ハードウェアとしては通常の情報処理装置の基本構成と同様であり、特別なハードウェア構成を必要とするものではない。例えば、図４に示すように、物体識別サーバ２０は、ＣＰＵ２０Ａ、ＲＡＭ２０Ｂ、ＲＯＭ２０Ｃ、キーボードやマウス等の入力装置２０Ｄ、外部との通信を行う通信装置２０Ｅ、ハードディスク等の補助記憶装置２０Ｆ、および、ディスプレイやプリンタ等の出力装置２０Ｇを備える。図１の照合用データベース３０と表示装置４０を物体識別サーバ２０と一体に構成する場合、補助記憶装置２０Ｆにより照合用データベース３０を構成し、出力装置２０Ｇにより表示装置４０を構成してもよい。
【００２８】
［物体識別方法に係る処理］
以下、物体識別方法に係る処理として、照合用データベースの作成に係る処理と、対象物体の物体識別に係る処理とを順に説明する。
【００２９】
図２に示すように、照合用データベースの作成に係る処理はステップＡ１〜Ａ１２を備える。
【００３０】
ステップＡ１では、ステレオカメラ１０の前処理部１１が、事前に既知の方法で、カメラキャリブレーションならびに画像データにおけるエピポーララインの位置合わせをする。ここで、得られたステレオ画像をそれぞれＩＬ（ｘＬ，ｙＬ）、ＩＲ（ｘＲ，ｙＲ）と表現する。
【００３１】
ステップＡ２では、撮影部１２により照合用物体を任意の複数の（ここでは一例として２つの）視点から撮影し、得られたステレオ画像ＩＬ（ｘＬ，ｙＬ）、ＩＲ（ｘＲ，ｙＲ）を画像データ送信部１３が物体識別サーバ２０へ送信する。
【００３２】
ステップＡ３では、物体識別サーバ２０の画像データ受信部２１がステレオ画像の画像データをステレオカメラ１０から受信し、特徴点抽出部２２が、以下のようにしてステレオ画像の画像データから特徴点情報を抽出する。
【００３３】
ステレオ画像ＩＬ（ｘＬ，ｙＬ）、ＩＲ（ｘＲ，ｙＲ）のそれぞれに対してエッジ特徴抽出処理を実施する。エッジ特徴抽出処理の方法は問わないが、ここでは既知の方法であるSURF特徴抽出を利用する。抽出された128次元ベクトルであるSURF特徴量を、それぞれ、
【数１】
とおく（ただし、ｉ＝（ｘＲ，ｙＲ）、ｊ＝（ｘＬ，ｙＬ））。
また、この時のヘッセ行列式ＤｅｔＬ（ｊ）、ＤｅｔＲ（ｉ）も算出する。
ここで、
【数２】
である。ここで、Ｄｘｘはｘ方向のラプラシアンガウシアンを、Ｄｙｙはｙ方向のラプラシアンガウシアンを、Ｄｘｙはガウス関数をｘ方向とｙ方向のそれぞれに一次微分したものを、そして，ｋは正の定数を表す。
そして、ヘッセ行列式（ＤｅｔＬ（ｊ）とＤｅｔＲ（ｉ））の大きいもの順に、それぞれをソートする。
【００３４】
次のステップＡ４〜Ａ７では、特徴点選択部２３が、抽出された特徴点情報に基づいて幾何学的不変量を算出可能な特徴点を選択する。まず、ステップＡ４では、特徴点選択部２３は、ステレオ画像におけるSURF特徴量が近いものを選択するためにベクトル
【数３】
との差分ベクトルのユークリッド距離
【数４】
を算出する。そして、ｄｉｓｔ（ｉ，ｊ）を最小にする
【数５】
なる組（ｉｍｉｎ，ｊｍｉｎ）を探索する。
【００３５】
ステップＡ５では、特徴点選択部２３は、上記で得られた組（ｉｍｉｎ，ｊｍｉｎ）について、SURF特徴量が抽出されたステレオ画像のそれぞれの点の局所領域ＬＡＲ（ｉ）とＬＡＬ（ｊ）とのエピポーラ線上のテンプレートマッチングを実施する。テンプレートマッチングにあたっては、下記の類似度
【数６】
を算出する。ここで、
【数７】
は、局所領域ｉ∈δｉならびにｊ∈δｊでの画素値の平均を表す。この類似度が最小になるときの
【数８】
を抽出する。
【００３６】
ステップＡ６では、特徴点選択部２３は、上記で求めた（ｉｍｉｎ，ｊｍｉｎ）と（ｉｍａｘ，ｊｍａｘ）が同一であり、かつ、SURF特徴量の差分ｄｉｓｔ（ｉｍｉｎ，ｊｍｉｎ）とテンプレートマッチングの類似度Ｃｏｒｒ（ｉｍａｘ，ｊｍａｘ）が閾値ＴｈｄｉｓｔとＴｈｃｏｒｒに対して下記の条件
【数９】
を満たした点を幾何学的不変量算出用の特徴点候補Ｐｋとして抽出する。
【００３７】
また、上記の条件を満たした点が７点に満たない場合は、ヘッセ行列式ＤｅｔＬ（ｊ）とＤｅｔＲ（ｉ）の大きいものから順に選択し、ＬＡＲ（ｉ）もしくはＬＡＬ（ｊ）を用いてエピポーラライン上をテンプレートマッチングすることで対応する局所領域の中心点を探索する。その時、算出されたＣｏｒｒ（ｉ，ｊ）が、Ｃｏｒｒ（ｉ，ｊ）＞Ｔｈｃｏｒｒという条件を満たせば、幾何学的不変量算出用の特徴点候補Ｐｋとして抽出する。
【００３８】
ステップＡ７では、特徴点選択部２３は、上記で得られた幾何学的不変量算出用特徴点から７点の全ての組み合わせを抽出するために７組の組み合わせを作成する。はじめに、７点Ｐｋ（ｋ＝１，２，…，７）の重心Ｏを算出する。そして、ベクトル
【数１０】
と画像の水平ベクトル（１，０）とのなす角の大きさ順に点をソートする。次に、重心Ｏに最も距離の近い点をＣとする。そして、残りの点をなす角の小さい順からＡ，Ｂ，Ｄ，Ｅ，Ｆ，Ｋと名付ける。
ここで、各点を頂点とする多角形ＡＢＣＤＥＦＫを考えると、３つの面ＡＢＤＣ、ＤＦＥＣ、ＣＥＫＡが同一平面にある条件、即ち下記の条件を満たすものを幾何学的不変量が算出可能な７点の組として選択する。
【数１１】
ただし、
【数１２】
は、それぞれ直線ＡＤとＢＣの交点、直線ＤＥとＦＣの交点、直線ＣＫとＥＡの交点を表し、ｔは正の定数を表す。
【００３９】
ステップＡ８では、幾何学的不変量算出部２４の一致性チェック部２４Ａが以下のようなステレオ画像の幾何学的不変量一致性チェックを行う。即ち、一致性チェック部２４Ａは、上記で特徴点候補として残った7点の組み合わせごとに、既知である以下の3つの不変量をステレオ画像ごとに算出する。
【数１３】
また、Ｇは、
【数１４】
であり、Ｈは、
【数１５】
である。
ただし、ＰＡＢＣは、点Ａ、Ｂ、Ｃの画像面内での座標をそれぞれ（ｘＡ，ｙＡ）、（ｘＢ，ｙＢ）、（ｘＣ，ｙＣ）である時、下記のように計算される。
【数１６】
この時、７点の組み合わせが左右画像のそれぞれで適切に対応関係がとれていれば、上記の３つの幾何学的不変量は一致するはずであるから、下記の条件を満たすか否かをチェックする。
【数１７】
ここで、Ｔｈεは誤差の閾値を表す。
【００４０】
ステップＡ９では、不変量算出部２４Ｂが、上記で抽出された左右画像それぞれの３つの幾何学的不変量の平均をとったものを識別特徴量用の値として利用する。
【数１８】
【００４１】
ステップＡ１０では、特徴量算出部２４Ｃが、上記で算出された３つの識別特徴量用の幾何学的不変量は、それぞれ底が１０の対数をとり事前に作成されたデータベースで用いた閾値を用いて0.1から0.9の間で規格化することで、物体識別用特徴量
【数１９】
を算出する。
【数２０】
【００４２】
ステップＡ１１では、格納部２５は、特徴量算出部２４Ｃにより算出された照合用物体の物体識別用特徴量
【数２１】
に対し既知の機械学習（ここでは一例としてＳＶＭ学習）を行って識別器
【数２２】
を得て、この識別器により、照合用物体がどのカテゴリに識別できるかを学習させる。
【００４３】
ステップＡ１２では、格納部２５は、学習されて得られたＳＶＭ識別情報を照合用データベース３０へ格納する。
【００４４】
以上で、図２に示す照合用データベースの作成に係る処理を終了する。
【００４５】
次に、図３に示す対象物体の物体識別に係る処理を説明する。図３に示すように、対象物体の物体識別に係る処理はステップＢ１〜Ｂ１２を備える。このうちステップＢ１〜Ｂ１０では、対象物体について前述した図２のステップＡ１〜Ａ１０と同様の処理を行う。即ち、ステップＡ１〜Ａ１０は照合用物体を対象としていたのに対し、ステップＢ１〜Ｂ１０は対象物体を対象とする点で、両者は異なるが、両者の処理内容は同様である。ここでは、重複した説明を省くため、ステップＢ１〜Ｂ１０の説明を省略する。
【００４６】
ステップＢ１１では、識別部２６が、対象物体の幾何学的不変量を、事前に照合用データベース３０に格納された照合用物体の幾何学的不変量と照合することで、対象物体について識別を行う。具体的に本実施形態では、図２の処理により、照合用物体の幾何学的不変量として、学習済みのＳＶＭ識別情報を格納したので、識別部２６は、以下のようにして、照合用データベース３０に格納された学習済みのＳＶＭ識別情報を用いて対象物体がどのカテゴリに属するかを判定する。
【００４７】
識別部２６は、学習済みのＳＶＭ識別情報を用いた上記の判定を、７つの特徴点の組の全てについて実施し、最も多くの判定結果を得たカテゴリｎｍａｘを、対象物体が属するカテゴリとして判定する。
【数２３】
ただし、Ｃ（ｎ）は、物体識別ＩＤがｎの総数を表し、Ｔｈｃｔは、物体識別の割合に関する閾値を表す。
【数２４】
【００４８】
ステップＢ１２では、結果送信部２７が、上記の判定結果（物体識別結果）を表示装置４０に送信する。これにより、上記の判定結果（物体識別結果）が表示装置４０に表示される。
【００４９】
以上で、図３に示す対象物体の物体識別に係る処理を終了する。
【００５０】
以上説明した本実施形態によれば、複数視点からのカメラ画像情報ならびに幾何学的不変量の拘束条件を用いることで，物体形状の固有な情報であるエッジ特徴量を精度良く抽出することができる。また、上記で抽出された特徴点の組み合わせの中で、特徴点を頂点とする多面体が構成できるもののみを抽出しているので、幾何学的不変量を安定して算出することができる。また、視点方向に不依存な幾何学的不変量を物体識別のための特徴量とすることで、撮影方向にロバストな物体識別が可能となる。
【００５１】
ところで、上記実施形態における物体識別システムおよび方法では、ステレオ画像の拘束条件および幾何学的不変量の拘束条件に基づいて、物体の複数の特徴点から当該物体についての特徴点の位置を精度良く抽出する技術が利用されている。この技術を実現する要素は、図１の特徴点抽出部２２、特徴点選択部２３および一致性チェック部２４Ａに相当する。そのため、図１の物体識別システム１は、上記３つの要素を含んで構成される特徴点位置抽出システム５０を内包していると捉えることができる。なお、特徴点抽出部２２が特許請求の範囲における特徴点抽出手段に対応し、特徴点選択部２３および一致性チェック部２４Ａが特徴点位置抽出手段に対応する。
【００５２】
このような特徴点位置抽出システム５０により実行される特徴点位置抽出方法は、図２のステップＡ３〜Ａ８および図３のステップＢ３〜Ｂ８の処理に相当する。前述した「ステレオ画像の拘束条件」としては、例えば、ステレオ画像（一例として２視点の場合、左右それぞれの画像）におけるkeypoints（特徴点）の対応付けにつき、keypoints同士の類似性だけでなく、エピポーラ拘束を利用したテンプレートマッチング（ステップＡ５およびＢ５）によって、keypoints（特徴点）の対応関係の整合性を図っていることが挙げられる。「幾何学的不変量の拘束条件」としては、例えば、幾何学的不変量が算出できるための特徴点の配置条件（一例として隣接３平面がそれぞれ凸型の矩形になる条件）を満たすこと（ステップＡ７およびＢ７）、および、ステレオ画像（一例として２視点の場合、左右画像）それぞれから抽出された特徴点の対応が正しく取れていれば幾何学的不変量が一致すること（ステップＡ８およびＢ８）、が挙げられる。
【００５３】
このような特徴点位置抽出システムおよび方法は、上記実施形態のような物体の識別で利用されるパターンマッチングに関わる以外に、パノラマ画像の合成、物体トラッキングのためのkeypoints抽出、ステレオ画像の距離計測などに広く利用することができる。
【符号の説明】
【００５４】
１…物体識別システム、１０…ステレオカメラ、１１…前処理部、１２…撮影部、１３…画像データ送信部、２０…物体識別サーバ、２０Ａ…ＣＰＵ、２０Ｂ…ＲＡＭ、２０Ｃ…ＲＯＭ、２０Ｄ…入力装置、２０Ｅ…通信装置、２０Ｆ…補助記憶装置、２０Ｇ…出力装置、２１…画像データ受信部、２２…特徴点抽出部、２３…特徴点選択部、２４…幾何学的不変量算出部、２４Ａ…一致性チェック部、２４Ｂ…不変量算出部、２４Ｃ…特徴量算出部、２５…格納部、２６…識別部、２７…結果送信部、３０…照合用データベース、４０…表示装置、５０…特徴点位置抽出システム。
【特許請求の範囲】
【請求項１】
複数視点から照合用物体を撮影した画像データから、前記照合用物体の複数の特徴点を抽出する第１の特徴点抽出手段と、
抽出された前記照合用物体の複数の特徴点から、前記照合用物体についての幾何学的不変量が算出可能な特徴点を選択する第１の特徴点選択手段と、
選択された前記照合用物体についての特徴点の位置から、前記照合用物体についての幾何学的不変量を算出する第１の幾何学的不変量算出手段と、
複数視点から対象物体を撮影した画像データから、前記対象物体の複数の特徴点を抽出する第２の特徴点抽出手段と、
抽出された前記対象物体の複数の特徴点から、前記対象物体についての幾何学的不変量が算出可能な特徴点を選択する第２の特徴点選択手段と、
選択された前記対象物体についての特徴点の位置から、前記対象物体についての幾何学的不変量を算出する第２の幾何学的不変量算出手段と、
前記照合用物体についての幾何学的不変量と前記対象物体についての幾何学的不変量とを照合することで、前記対象物体を識別する物体識別手段と、
を備える物体識別システム。
【請求項２】
前記照合用物体および前記対象物体を複数視点から撮影した画像データを取得する画像データ取得手段と、
前記物体識別手段による識別結果を出力する出力手段と、
をさらに備える請求項１に記載の物体識別システム。
【請求項３】
前記照合用物体についての幾何学的不変量を格納するための照合用データベースと、
前記第１の幾何学的不変量算出手段により算出された前記照合用物体についての幾何学的不変量を前記照合用データベースに格納する格納手段と、
をさらに備える請求項１又は２に記載の物体識別システム。
【請求項４】
物体識別システムによって実行される物体識別方法であって、
複数視点から照合用物体を撮影した画像データから、前記照合用物体の複数の特徴点を抽出する第１の特徴点抽出ステップと、
抽出された前記照合用物体の複数の特徴点から、前記照合用物体についての幾何学的不変量が算出可能な特徴点を選択する第１の特徴点選択ステップと、
選択された前記照合用物体についての特徴点の位置から、前記照合用物体についての幾何学的不変量を算出する第１の幾何学的不変量算出ステップと、
複数視点から対象物体を撮影した画像データから、前記対象物体の複数の特徴点を抽出する第２の特徴点抽出ステップと、
抽出された前記対象物体の複数の特徴点から、前記対象物体についての幾何学的不変量が算出可能な特徴点を選択する第２の特徴点選択ステップと、
選択された前記対象物体についての特徴点の位置から、前記対象物体についての幾何学的不変量を算出する第２の幾何学的不変量算出ステップと、
前記照合用物体についての幾何学的不変量と前記対象物体についての幾何学的不変量とを照合することで、前記対象物体を識別する物体識別ステップと、
を備える物体識別方法。
【請求項５】
複数視点から物体を撮影した画像データから、前記物体の複数の特徴点を抽出する特徴点抽出手段と、
抽出された前記物体の複数の特徴点と、ステレオ画像の拘束条件と、幾何学的不変量の拘束条件とに基づいて、前記物体についての特徴点の位置を抽出する特徴点位置抽出手段と、
を備える特徴点位置抽出システム。
【請求項６】
特徴点位置抽出システムによって実行される特徴点位置抽出方法であって、
複数視点から物体を撮影した画像データから、前記物体の複数の特徴点を抽出する特徴点抽出ステップと、
抽出された前記物体の複数の特徴点と、ステレオ画像の拘束条件と、幾何学的不変量の拘束条件とに基づいて、前記物体についての特徴点の位置を抽出する特徴点位置抽出ステップと、
を備える特徴点位置抽出方法。
【請求項１】
複数視点から照合用物体を撮影した画像データから、前記照合用物体の複数の特徴点を抽出する第１の特徴点抽出手段と、
抽出された前記照合用物体の複数の特徴点から、前記照合用物体についての幾何学的不変量が算出可能な特徴点を選択する第１の特徴点選択手段と、
選択された前記照合用物体についての特徴点の位置から、前記照合用物体についての幾何学的不変量を算出する第１の幾何学的不変量算出手段と、
複数視点から対象物体を撮影した画像データから、前記対象物体の複数の特徴点を抽出する第２の特徴点抽出手段と、
抽出された前記対象物体の複数の特徴点から、前記対象物体についての幾何学的不変量が算出可能な特徴点を選択する第２の特徴点選択手段と、
選択された前記対象物体についての特徴点の位置から、前記対象物体についての幾何学的不変量を算出する第２の幾何学的不変量算出手段と、
前記照合用物体についての幾何学的不変量と前記対象物体についての幾何学的不変量とを照合することで、前記対象物体を識別する物体識別手段と、
を備える物体識別システム。
【請求項２】
前記照合用物体および前記対象物体を複数視点から撮影した画像データを取得する画像データ取得手段と、
前記物体識別手段による識別結果を出力する出力手段と、
をさらに備える請求項１に記載の物体識別システム。
【請求項３】
前記照合用物体についての幾何学的不変量を格納するための照合用データベースと、
前記第１の幾何学的不変量算出手段により算出された前記照合用物体についての幾何学的不変量を前記照合用データベースに格納する格納手段と、
をさらに備える請求項１又は２に記載の物体識別システム。
【請求項４】
物体識別システムによって実行される物体識別方法であって、
複数視点から照合用物体を撮影した画像データから、前記照合用物体の複数の特徴点を抽出する第１の特徴点抽出ステップと、
抽出された前記照合用物体の複数の特徴点から、前記照合用物体についての幾何学的不変量が算出可能な特徴点を選択する第１の特徴点選択ステップと、
選択された前記照合用物体についての特徴点の位置から、前記照合用物体についての幾何学的不変量を算出する第１の幾何学的不変量算出ステップと、
複数視点から対象物体を撮影した画像データから、前記対象物体の複数の特徴点を抽出する第２の特徴点抽出ステップと、
抽出された前記対象物体の複数の特徴点から、前記対象物体についての幾何学的不変量が算出可能な特徴点を選択する第２の特徴点選択ステップと、
選択された前記対象物体についての特徴点の位置から、前記対象物体についての幾何学的不変量を算出する第２の幾何学的不変量算出ステップと、
前記照合用物体についての幾何学的不変量と前記対象物体についての幾何学的不変量とを照合することで、前記対象物体を識別する物体識別ステップと、
を備える物体識別方法。
【請求項５】
複数視点から物体を撮影した画像データから、前記物体の複数の特徴点を抽出する特徴点抽出手段と、
抽出された前記物体の複数の特徴点と、ステレオ画像の拘束条件と、幾何学的不変量の拘束条件とに基づいて、前記物体についての特徴点の位置を抽出する特徴点位置抽出手段と、
を備える特徴点位置抽出システム。
【請求項６】
特徴点位置抽出システムによって実行される特徴点位置抽出方法であって、
複数視点から物体を撮影した画像データから、前記物体の複数の特徴点を抽出する特徴点抽出ステップと、
抽出された前記物体の複数の特徴点と、ステレオ画像の拘束条件と、幾何学的不変量の拘束条件とに基づいて、前記物体についての特徴点の位置を抽出する特徴点位置抽出ステップと、
を備える特徴点位置抽出方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１５９９９０（Ｐ２０１２−１５９９９０Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１８８５７（Ｐ２０１１−１８８５７）
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]