パターン認識装置及びパターン認識方法
【課題】パターン認識に使用するテンプレート画像を記憶しておくために必要な記憶容量を削減する
【解決手段】テンプレート記憶部１８には、Ｋ次元特徴空間に含まれており特徴空間の次元数Ｋより少ないＭ個の基本テンプレート画像（参照点）の各々とテンプレート画像との特徴空間における距離を要素とするＭ次元の距離ベクトルＵＭを辞書情報として格納している。距離ベクトル算出部１４は、入力画像の特徴ベクトルＩＫとＭ個の基本テンプレート画像（参照点）の各々とのＫ次元特徴空間における距離を要素とするＭ次元の距離ベクトルＤＭを算出する。識別部１５は、テンプレート記憶部１８に格納された辞書情報と、入力画像の距離ベクトルＤＭとに基づいて、入力画像に含まれる識別対象パターンを識別する。
【解決手段】テンプレート記憶部１８には、Ｋ次元特徴空間に含まれており特徴空間の次元数Ｋより少ないＭ個の基本テンプレート画像（参照点）の各々とテンプレート画像との特徴空間における距離を要素とするＭ次元の距離ベクトルＵＭを辞書情報として格納している。距離ベクトル算出部１４は、入力画像の特徴ベクトルＩＫとＭ個の基本テンプレート画像（参照点）の各々とのＫ次元特徴空間における距離を要素とするＭ次元の距離ベクトルＤＭを算出する。識別部１５は、テンプレート記憶部１８に格納された辞書情報と、入力画像の距離ベクトルＤＭとに基づいて、入力画像に含まれる識別対象パターンを識別する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像を複数のテンプレート画像と照合することにより、入力画像に含まれる識別対象パターンを識別するパターン認識装置及びパターン認識方法に関する。
【背景技術】
【０００２】
自身の判断で自律的に移動するロボットの視覚を担うコンピュータビジョンにおいては、カメラで撮影された画像から物体の位置及び姿勢を認識できることが必要である。撮影された物体の位置及び姿勢を認識するための方法として、物体の多方向からの見え方に対応した複数のテンプレート画像を予め記憶しておき、撮影によって得た入力画像を複数のテンプレート画像と照合し、撮影された画像がどのテンプレート画像に類似するかによって物体を認識し、物体の位置及び姿勢を推定する方法が知られている。以下では、物体認識に用いる複数のテンプレート画像を記憶したデータをテンプレート辞書と呼ぶ。
【０００３】
入力画像とテンプレート辞書の照合は、入力画像から抽出した特徴量と複数のテンプレート画像の特徴量とを照合することによって行われる。特徴量とは、入力画像及びテンプレート画像が有する情報のうち、画像の識別に有用な本質的な成分を抽出したものである。通常、特徴量は複数の特徴量の値を要素とする特徴ベクトルとして記述される。特徴ベクトルの次元数は、特徴量の数に対応する。また、入力画像及びテンプレート画像はそれぞれ、特徴ベクトルによって張られる特徴空間上の点として表現される。
【０００４】
最も単純な特徴ベクトルは、画像データ及びテンプレート画像を構成する各画素の値を要素とする特徴ベクトルである。しかしながら、これでは特徴ベクトルの次元数が画像データを構成する画素数に達し、その数が膨大となるため、テンプレート画像を格納するための記憶容量及び画像照合に要する時間も膨大となり現実的でない。
【０００５】
そこで、特徴ベクトルの次元数を圧縮することにより、少ない記憶容量でテンプレート辞書を記憶することができ、高速に画像照合を行うことができる固有空間法が知られている。固有空間法は、テンプレート画像の主成分分析（PCA：Principal Components Analysis）によって固有空間を生成し、テンプレート画像を固有空間に射影して得られる主成分を特徴量として、テンプレート画像の特徴ベクトルを生成するものである。
【０００６】
また、この固有空間法を物体の認識及び姿勢推定に応用したパラメトリック固有空間法が提案されている（非特許文献１を参照）。パラメトリック固有空間法では、認識対象とする物体を回転させながら連続的に撮影してテンプレート画像を得ることにより、物体の姿勢変化をパラメータとして連続的に変化する複数のテンプレート画像の集合を固有空間上の閉じた軌跡（多様体）として表現する。これにより、固有空間法を物体の姿勢推定に応用することが可能となる。具体的には、入力画像を固有空間に射影して得られた射影点からの距離が最も近いテンプレート画像の射影点を求めることにより物体の姿勢推定を行う。パラメトリック固有空間法を用いた物体認識方法の改良については従来から様々な提案がなされている。例えば特許文献１には、レンズの歪みによる画像の変形に起因する姿勢推定精度の低下を軽減するよう改良された物体認識装置が開示されている。
【特許文献１】特開２００５−１４９１６７号公報
【非特許文献１】村瀬 洋, S.K.Nayar、「２次元照合による３次元物体認識−パラメトリック固有空間法−」、信学論、J77-D-II、No.11、pp.2179-2187、1994年11月
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したように、入力画像から物体を認識するため、又さらにその物体の姿勢を推定するためには、物体の多様な見え方に対応するテンプレート画像を予め辞書データとして記憶しておく必要がある。このとき、テンプレート画像によって物体の多様な見え方を十分に表現し、物体の認識精度を確保するためには、上述した非特許文献１及び特許文献１に開示されたパラメトリック固有空間法を適用した場合においても、テンプレート画像を表現する特徴ベクトルの次元数を削減することには限界がある。
【０００８】
このため、従来の物体認識装置においては、テンプレート画像を記憶しておくために大きな記憶容量を必要とするという問題がある。なお、このような問題は、物体の姿勢推定までを実行する物体認識装置に限らず、入力画像を予め記憶したテンプレート画像と照合することにより入力画像に含まれる識別対象パターンの認識を行うパターン認識装置に共通して存在している問題である。
【０００９】
本発明は上述した問題を考慮してなされたものであり、テンプレート画像を記憶しておくために必要な記憶容量を削減することが可能なパターン認識装置及びパターン認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明にかかるパターン認識装置は、入力画像を複数のテンプレート画像と照合することにより、入力画像に含まれる識別対象パターンを識別するパターン認識装置である。当該パターン認識装置は、i）Ｋ次元特徴空間に含まれており特徴空間の次元数Ｋより少ないＭ個の参照点の各々とテンプレート画像との特徴空間における距離を要素とするＭ次元の距離ベクトルを複数のテンプレート画像について記述した辞書情報、又はii）前記距離ベクトルを前記入力画像に含まれる識別対象パターンを特定するためのパラメータに写像するための写像情報を格納する記憶部と、前記入力画像の特徴ベクトルとＭ個の前記参照点の各々とのＫ次元特徴空間における距離を要素とするＭ次元の距離ベクトルを算出する距離ベクトル算出部と、前記記憶部に格納された辞書情報又は写像情報と、前記入力画像の距離ベクトルとに基づいて、前記入力画像に含まれる識別対象パターンを識別する識別部とを備える。ここで、識別対象パターンを特定するとは、物体認識に適用する場合であれば、識別対象物体の位置及び姿勢のうち少なくとも一方を特定することを意味するものである。
【００１１】
このような構成により、複数のテンプレート画像は、特徴空間の次元数Ｋより小さいＭ次元の距離ベクトルとして記憶部に格納される。このため、テンプレート画像を特徴空間内のＫ次元ベクトルとして記憶する従来のパターン認識装置に比べて、テンプレート画像の保持に必要な記憶容量を削減することができる。
【００１２】
なお、前記参照点はそれぞれ、前記複数のテンプレート画像に含まれるテンプレート画像のいずれかに対応する前記特徴空間内の点としてもよい。
【００１３】
上述した本発明にかかるパターン認識装置において、前記識別部は、前記辞書情報に含まれる複数のテンプレート画像の距離ベクトルから、前記入力画像の距離ベクトルに最も近いものを探索することによって、前記入力画像に含まれる識別対象パターンを識別してもよい。また、前記識別部は、前記入力画像の距離ベクトルを前記写像情報に基づいて写像することにより、前記入力画像の距離ベクトルに対応する前記パラメータを算出することもできる。Ｋ次元の特徴ベクトルではなく、Ｍ次元の距離ベクトル（Ｍ＜Ｋ）による演算処理によって、パターン認識に要する計算量を削減できる。
【００１４】
さらに、上述した本発明にかかるパターン認識装置は、撮影された画像から切り出した部分画像を入力画像として、切り出し位置の異なる複数の入力画像に対するパターン認識を行うことにより、前記撮影された画像に含まれる識別対象物体の位置及び姿勢のうち少なくとも一方を識別することが可能である。具体的には、前記識別部は、複数の入力画像の距離ベクトルと、前記記憶部に格納されたテンプレート画像の距離ベクトルとのベクトル間距離に基づいて、前記物体の位置及び姿勢のうち少なくとも一方に対する複数の候補を算出し、複数の入力画像の前記ベクトル間距離を反映した重み付き平均によって、前記複数の候補を統合した近似値を算出し、当該近似値に基づいて、前記入力画像に含まれる識別対象物体の位置及び姿勢のうち少なくとも一方を識別すればよい。これにより、１つの撮影画像から、１つの物体の位置又は姿勢若しくは両方に対する複数の候補が現れた場合に、１つの推定結果を得ることができる。このため、物体の位置、姿勢の推定結果の不確定さを解消し、物体の位置、姿勢の推定精度を向上させることができる。
【００１５】
一方、本発明にかかるパターン認識方法は、記憶部を有するコンピュータを用いて、入力画像を複数のテンプレート画像と照合することにより、入力画像に含まれる識別対象パターンを識別するパターン認識方法である。ここで、前記記憶部には、i）Ｋ次元特徴空間に含まれており特徴空間の次元数Ｋより少ないＭ個の参照点の各々とテンプレート画像との特徴空間における距離を要素とするＭ次元の距離ベクトルを複数のテンプレート画像について記述した辞書情報、又はii）前記距離ベクトルを前記入力画像に含まれる識別対象パターンを特定するパラメータに写像するための写像情報が格納されている。具体的には、前記コンピュータが、前記入力画像の特徴ベクトルとＭ個の前記参照点の各々とのＫ次元特徴空間における距離を要素とするＭ次元の距離ベクトルを算出し、前記記憶部に格納された辞書情報又は写像情報と、前記入力画像の距離ベクトルとに基づいて、前記入力画像に含まれる識別対象パターンを識別することを特徴とする。
【００１６】
当該方法において、複数のテンプレート画像は、特徴空間の次元数Ｋより小さいＭ次元の距離ベクトルとして記憶部に格納されている。このため、特徴空間内のＫ次元ベクトルとして記憶されたテンプレート画像を使用する従来のパターン認識方法に比べて、テンプレート画像の保持に必要な記憶容量を削減することができる。
【発明の効果】
【００１７】
本発明により、テンプレート画像を記憶しておくために必要な記憶容量を削減することが可能なパターン認識装置及びパターン認識方法を提供できる。
【発明を実施するための最良の形態】
【００１８】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。なお、以下に示す実施の形態は、撮影された画像に含まれる物体の位置及び姿勢の検出を行う物体認識装置に対して本発明を適用したものである。
【００１９】
発明の実施の形態１．
本実施の形態にかかる物体認識装置１の構成を図１に示す。本実施の形態にかかる物体認識装置１は、撮影した画像に認識対象物体が含まれるか否かを認識し、認識対象物体が含まれる場合には、物体の位置及び姿勢の推定結果を出力する装置である。より詳しく述べると、物体認識装置１は、撮影した画像を走査ウィンドウ単位で順に走査し、走査ウィンドウによって切り出した部分画像を入力画像として、認識対象物体の多様な姿勢を表す複数のテンプレート画像と入力画像とを照合することにより、撮影された画像中の物体位置及び姿勢を探索するものである。以下では、図１を参照して物体認識装置１が有する各機能部について説明する。
【００２０】
図１の物体認識装置１において、カメラ１１は、ＣＣＤ等の撮像素子（不図示）、及び撮像素子によって得られたアナログ画像データをデジタル画像データに変換して出力する信号処理部（不図示）を備える。画像特徴算出部１２は、カメラ１１によって撮影された画像データ（以下、入力画像データと呼ぶ）を入力し、入力画像データに含まれるエッジ等の特徴量を算出する。例えば、入力画像データを濃淡画像データに変換し、変換後の濃淡画像データに対する微分処理を行って、エッジ強度やエッジの方向を求め特徴量とすることができる。
【００２１】
特徴ベクトル算出部１３は、基底ベクトル記憶部１７に予め格納された基底ベクトル群Ｅを用いて入力画像データの特徴量を低次元化し、入力画像の特徴ベクトルＩＫを算出する。ここでＫは、特徴ベクトルＩＫの次元数、つまり特徴空間の次元数である。基底ベクトル群Ｅは、例えば、従来から知られている固有空間法を適用することによって得ることができる。具体的には、入力画像との照合に使用する複数のテンプレート画像に対する主成分分析（ＰＣＡ）を行って決定した固有空間を張る固有ベクトルの集合とすれば良い。このとき、基底ベクトル群Ｅは、Ｋ個のベクトルの集合として、以下の（１）式で表すことができる。また、入力画像の特徴ベクトルＩＫは、基底ベクトル群Ｅによって張られるＫ次元の特徴空間への入力画像の射影点を表すベクトルとして算出することができる。特徴ベクトルＩＫを（２）式に示す。
【００２２】
【数１】
【００２３】
【数２】
【００２４】
次に、距離ベクトル算出部１４は、入力画像と複数の基本テンプレート画像との特徴空間での距離を算出し、算出した距離を要素とするベクトルを算出する。以下では、基本テンプレート画像との特徴空間上での距離を要素とするベクトルを距離ベクトルと呼ぶこととする。ここで、基本テンプレート画像とは、認識対象物体を識別するために入力画像と照合される複数のテンプレート画像に含まれており、特徴空間の次元数に等しいＫ次元のベクトルデータとしてテンプレート記憶部１８に格納されている。Ｋ次元特徴空間のベクトルデータである基本テンプレート画像の特徴ベクトルＴｐＫを以下の（３）式に示す。なお、Ｍは基本テンプレート画像の数を表している。
【００２５】
【数３】
【００２６】
基本テンプレート画像の特徴ベクトルＴｐＫがＫ次元ベクトルであるのに対し、入力画像とＭ個の基本テンプレート画像との距離を要素とする距離ベクトルの次元数は、基本テンプレート画像の数に等しくＭ次元である。入力画像とある基本テンプレート画像との距離を（４）式に示す。また、（４）式の距離を要素とする入力画像の距離ベクトルＤＭを（５）式に示す。
【００２７】
【数４】
【００２８】
【数５】
【００２９】
識別部１５は、入力画像と複数のテンプレート画像との照合を行うことにより、入力画像に含まれる物体の認識及び当該物体の姿勢推定を行う。具体的には、入力画像の距離ベクトルＤＭと、テンプレート記憶部１８に予め格納された複数のテンプレート画像の距離ベクトルＵｑＭとの距離ｓを、各テンプレート画像について算出し、算出した距離ｓが最小となるテンプレート画像に対応する物体の姿勢を識別結果として出力する。なお、識別部１５は、距離ｓの最小値が所定の閾値より大きい場合は、入力画像に近いテンプレート画像が存在しない、つまり、入力画像中に認識対象の物体は含まれていないと判定して、その入力画像をリジェクトする。
【００３０】
テンプレート画像の距離ベクトルＵｑＭとは、上述した入力画像の距離ベクトルＤＭと同様に、テンプレート画像と各基本テンプレート画像との特徴空間上での距離を要素とするベクトルであり、その次元数は基本テンプレート画像の数Ｍに等しい。テンプレート画像の距離ベクトルＵｑＭを（６）式に示す。ここで、Ｎは、基本テンプレート画像を含むテンプレート画像の総数を表している。
【００３１】
【数６】
【００３２】
また、入力画像の距離ベクトルＤＭと、テンプレート記憶部１８に予め格納された複数のテンプレート画像の距離ベクトルＵｑＭとの距離ｓは、例えば以下の（７）式で表されるユークリッド距離により求めることができる。
【００３３】
【数７】
【００３４】
なお、識別部１５は、カメラ１１によって撮影された画像から走査ウィンドウによって切り出された複数の画像に対して、上述した物体の姿勢を識別する処理を繰り返し行う。
【００３５】
後処理部１６は、識別部１５による物体の位置及び姿勢の推定結果を統合して、最終的な推定結果を出力する。具体的には、走査ウィンドウによって切り出された複数の画像のうち、識別部１５によって物体の存在及び姿勢が推定された画像が１つだけである場合は、その画像の位置を認識対象物体の最終的な推定位置とし、識別部１５の推定した姿勢を最終的な推定結果として出力すれば良い。一方、識別部１５によって物体の存在及び姿勢が推定された画像が複数存在する場合は、これら複数の候補を以下の（８）式に示すような重み付けを行って統合すると良い。
【００３６】
【数８】
【００３７】
（８）式は、２つの候補Ｃ１＝（ｘ１、ｙ１、θ１）及びＣ２＝（ｘ２、ｙ２、θ２）の重み付け統合によって、最終的な物体位置及び姿勢の推定結果Ｃ３＝（ｘ３、ｙ３、θ３）を得る場合を示している。（８）式において、ｘ１及びｙ１は、第１の候補Ｃ１の入力画像中の位置座標を示し、θ１は第１の候補Ｃ１の姿勢を表す姿勢パラメータを表している。同様に、ｘ２及びｙ２は、第２の候補Ｃ２の入力画像中の位置座標を示し、θ２は第２の候補Ｃ２の姿勢を表す姿勢パラメータを表している。また、ｘ３及びｙ３は、推定結果Ｃの入力画像中での位置座標を示し、θ３は推定結果Ｃの姿勢を表す姿勢パラメータを表している。
【００３８】
さらに、ｗ１及びｗ２は、第１の候補Ｃ１及び第２の候補Ｃ２を統合する際の重みを表しており、これらは、識別部１５において算出されたテンプレート画像との距離ｓ１及びｓ２の関数として決定する。なお、ｓ１は第１の候補Ｃ１を推定した際のテンプレート画像との最小距離を表し、ｓ２は第２の候補Ｃ２を推定した際のテンプレート画像との最小距離を表す。重みｗ１及びｗ２は様々に定めることができるが、最も簡単な一例は（９）式及び（１０）式に示すような線形近似である。
【００３９】
【数９】
【００４０】
【数１０】
【００４１】
図２（ａ）及び（ｂ）は、（８）式による複数候補の統合を示す概念図である。図２（ａ）は、撮影された画像２１内に２つの候補Ｃ１及びＣ２が存在する様子を示しており、図２（ｂ）は候補Ｃ１及びＣ２の重み付き統合によって得られた推定結果Ｃ３を示している。
【００４２】
なお、（８）式は、説明を簡略化するために２つの候補の統合を行う例を示しているが、３つ以上の物体位置及び姿勢の候補を統合することも可能である。ただし、複数の物体位置及び姿勢の候補において、それぞれが示す姿勢（姿勢パラメータ）が大きく乖離している場合は、いずれかの候補が誤検出である可能性が高い。このため、このような場合には、上述したような重み付き統合処理を行わず、距離ｓが最小のいずれか１つの候補を選択することが望ましい。具体的には、複数の候補が示す姿勢パラメータθの差分に対する閾値判定を行うこととし、姿勢パラメータθの差分が所定の閾値より大きい場合には、上述した重み付き統合処理を行わないこととすればよい。また、前述の実施の形態においては、１つの入力画像を処理する場合についての説明を行ったが、複数の入力画像を時系列的に得た後に、その各々について同様の処理を行ってもよい。
【００４３】
図３は、物体認識装置１１が行う物体認識処理手順を示すフローチャートである。ステップＳ１０１では、カメラ１１から画像特徴算出部１２に対して撮影画像データが入力される。ステップＳ１０２では、画像特徴算出部１２が、入力画像の特徴量を算出する。ステップＳ１０３では、特徴ベクトル算出部１３が、Ｋ次元の特徴空間に射影された入力画像の特徴ベクトルＩＫを算出する。ステップＳ１０４では、距離ベクトル算出部１４が、入力画像の特徴ベクトルＩＫと基本テンプレート画像ＴｐＫとの特徴空間での距離を上述した（４）式を用いて算出し、入力画像の距離ベクトルＤＭを得る。
【００４４】
続いて、ステップＳ１０５では、識別部１５が、入力画像の距離ベクトルＤＭと複数のテンプレート画像の距離ベクトルＵｑＭ（ｑ＝１〜Ｎ）のそれぞれとの距離を、上述した（７）式によって算出する。ステップＳ１０６では、識別部１５が、ステップＳ１０５での距離の算出結果を用いて、距離ｓが最小となるテンプレート画像に対応する物体の姿勢を識別結果として出力する。このとき、最小距離が所定の閾値より大きい場合は、入力画像中に認識対象の物体は含まれないことを結果として出力してもよい。
【００４５】
なお、ステップＳ１０６において、距離ｓが最小となるテンプレート画像に対応する物体の姿勢を識別結果とする上記の処理は一例である。ステップＳ１０６で用いる姿勢の識別方法は、距離最小の詳細テンプレートを選択する、いわゆる最近傍決定則（ＮＮ法）に限られない。例えば、さらに詳細な姿勢推定を行うために、特徴空間内でのテンプレート画像を示す射影点の間をベジエ曲線による補間やスプライン補間などによって補間した多様体に対して距離を最小化する射影点を算出し、この射影点が表す姿勢を推定結果としてもよい。また、入力画像との距離ｓが小さい２つのテンプレート画像を特徴空間内で線形近似して得られる射影点が表す姿勢を推定結果としてもよい。
【００４６】
ステップＳ１０７では、走査ウィンドウによる入力画像の切り出しが、カメラ１１によって撮影された画像の全体に亘って終了したか否かを判定する。撮影画像の全体に対する走査が終了した場合は、ステップＳ１０８に進み、走査が終了していない場合は、ステップＳ１０３に戻って、走査ウィンドウによって切り出した入力画像に対する物体認識及び姿勢推定の処理を繰り返し行う。
【００４７】
ステップＳ１０８では、後処理部１６が、異なる走査ウィンドウでの物体位置及び姿勢推定の結果を統合する。最後にステップＳ１０９では、後処理部１６が、認識対象物体の物体位置及び姿勢の推定結果を出力し、物体認識処理を終了する。
【００４８】
上述したように、本実施の形態にかかる物体認識装置１は、テンプレート記憶部１８に記憶するテンプレート画像を、特徴空間の次元数に等しいＫ次元の特徴ベクトルに替えて、Ｍ個の基本テンプレート画像との特徴空間での距離を要素とする距離ベクトルとして保存することとしたものである。
【００４９】
つまり、本実施の形態にかかる物体認識装置１は、Ｎ個のテンプレート画像のＭ次元の距離ベクトルＵｑＭ（ｑ＝１〜Ｎ）と、Ｍ個の基本テンプレートのＫ次元の特徴ベクトルＴｐＫ（ｐ＝１〜Ｍ）とをテンプレート記憶部１８に格納しておけば良い。
【００５０】
図４は、基本テンプレート画像が４個の場合における特徴空間を示す概念図である。多様体３０１は、Ｎ個のテンプレート画像によって形成される多様体を示している。図４（ａ）には、テンプレート画像３２１の距離ベクトルの要素ｕ１１、ｕ１２、ｕ１３及びｕ１４を示している。ここでｕ１１は、テンプレート画像３２１と基本テンプレート画像３１１との距離である。同様に、ｕ１２、ｕ１３及びｕ１４は、それぞれ基本テンプレート画像３１２、３１３及び３１４との距離である。図４（ａ）のように、基本テンプレート数が４個であれば、テンプレート画像３２１の距離ベクトルは、ｕ１１、ｕ１２、ｕ１３及びｕ１４を要素とする４次元ベクトルで表現することができる。
【００５１】
図４（ｂ）には、入力画像３３１の距離ベクトルの要素ｄ１、ｄ２、ｄ３及びｄ４を示している。図４（ｂ）のように、基本テンプレート数が４個であれば、入力画像３３１の距離ベクトルは、ｄ１、ｄ２、ｄ３及びｄ４を要素とする４次元ベクトルで表現することができる。
【００５２】
従来の物体認識装置は、Ｎ個のテンプレート画像のＫ次元の特徴ベクトルを記憶しておく必要があった。さらに、Ｋ次元のテンプレート画像の特徴ベクトルとＫ次元の入力画像の特徴ベクトルとの照合によって物体認識を行っていた。これに対して、本実施の形態にかかる物体認識装置１は、基本テンプレートの数Ｍを特徴空間の次元数Ｋより小さくすることにより、テンプレート画像をＫ次元より小さいＭ次元の距離ベクトルとして保持しておけばよい。このため、物体認識装置１は、物体認識用の辞書データであるテンプレート画像を記憶するための記憶容量を従来に比べて小さくすることができる。また、これによって、識別部１５における距離の算出等の物体認識及び姿勢推定のための演算は、Ｍ次元特徴ベクトルに対して行えば良く、物体認識及び姿勢推定に要する計算量を削減することができる。
【００５３】
さらに、従来の物体認識装置では、テンプレート画像の記憶に必要な記憶容量を削減するために、単純にテンプレート数を削減したり、特徴空間の次元数を減少させたりすると、物体認識及び姿勢推定の精度が低下するという問題があるが、本実施の形態の物体認識装置１であれば、テンプレート画像の記憶に必要な記憶容量の削減に伴う物体認識及び姿勢推定の精度の低下を抑制することができる。
【００５４】
なお、上述した本実施の形態にかかる物体認識装置１のうちカメラ１１を除く他の構成要素は、プログラムを実行するＣＰＵ（Central Processing Unit）を有するコンピュータシステムにより構成することが可能である。具体的には、ＣＰＵが内部に備える又はＣＰＵの外部に接続されるＲＯＭ又はフラッシュメモリ等の記憶部に、画像特徴算出部１２、特徴ベクトル算出部１３、距離ベクトル算出部１４、識別部１５及び後処理部１６が行う図３のフローチャートに示した処理をコンピュータシステムに実行させるためのプログラムを格納しておき、当該プログラムをＣＰＵで実行することとすればよい。また、基底ベクトル記憶部１７及びテンプレート記憶部１８は、コンピュータシステムが備えるハードディスクやフラッシュメモリ等の不揮発性の記憶部とすればよい。
【００５５】
図３のフローチャートに示した処理をコンピュータシステムに実行させるためのプログラムは、ＲＯＭ又はフラッシュメモリに限らず様々な種類の記憶媒体に格納することが可能であり、また、通信媒体を介して伝達することが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、バッテリバックアップ付きＲＡＭメモリカートリッジ等を含む。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等を含み、インターネットも含まれる。
【００５６】
その他の実施の形態．
発明の実施の形態１にかかる物体認識装置１は、識別部１５において、入力画像の距離ベクトルＤＭと複数のテンプレート画像の距離ベクトルＵｑＭ（ｑ＝１〜Ｎ）のそれぞれとの距離を算出し、当該距離を最小とする姿勢を認識対象物体の姿勢候補に選択するものであった。しかしながら、このような方法に限らず、例えば、テンプレート画像の距離ベクトルＵｑＭ（ｑ＝１〜Ｎ）と姿勢パラメータとの写像を予め学習しておき、入力画像の距離ベクトルＤＭを学習した写像に当てはめることによって姿勢パラメータを算出してもよい。例えば、物体姿勢変化の自由度が１自由度である場合、以下の（１１）式を満足する写像行列Ａを求めておけばよい。
【００５７】
【数１１】
【００５８】
（１１）式において、θ１，θ２，・・・，θＮは、認識対象物体の姿勢を表す姿勢パラメータである。また、（１１）式の左辺の写像行列Ａの右側の行列は、テンプレート画像と基本テンプレート画像との距離を行列要素とする行列である。（１１）式を満足する写像行列Ａは以下の（１２）式で表すことができる。なお、（１２）式の行列Θは、（１１）式の右辺の行列であり、行列Ｕは、（１１）式の左辺の写像行列Ａの右側の行列である。
【００５９】
【数１２】
【００６０】
テンプレート画像の距離ベクトルと姿勢パラメータとの写像を規定する写像行列Ａを予め記憶しておくことにより、次の（１３）式に示すように、写像行列Ａと入力画像の距離ベクトルＤＭの積よって、入力画像の姿勢パラメータθを推定することができる。
【００６１】
【数１３】
【００６２】
なお、（１３）式により姿勢パラメータθを推定する場合は、（１４）式に示す残差距離εを求め、残差距離εの大きさによって、入力画像をリジェクトするか否かを決定する。具体的には、残差距離εの大きさが所定の閾値より大きい場合に、入力画像は認識対象の物体を示すものでないと判定し、その入力画像をリジェクトすればよい。
【００６３】
【数１４】
【００６４】
なお、上述した線形写像に変えて、例えばニューラルネットによって非線形写像を学習しておいてもよい。写像によって姿勢パラメータを求める場合は、テンプレート画像の距離ベクトルＵｑＭ（ｑ＝１〜Ｎ）と認識対象物体の姿勢パラメータとの写像を予め学習し、学習した写像行列Ａ等の写像情報を、テンプレート画像の距離ベクトルＵｑＭに替えてテンプレート記憶部１８に記憶しておけば良い。さらに、図３に示したフローチャートにおけるステップＳ１０５及びＳ１０６の処理に替えて、入力画像の距離ベクトルＤＭを学習した写像に当てはめることによって姿勢パラメータを算出すればよい。
【００６５】
発明の実施の形態１にかかる物体認識装置１は、複数のテンプレート画像及び入力画像の距離ベクトルを算出する際の基準点を、複数のテンプレート画像の中から選択した基本テンプレート画像とするものである。しかしながら、距離ベクトルを算出する際の基準点は、基本テンプレート画像でなくても良く、特徴空間に含まれる他の参照点であってもよい。例えば、特徴空間における複数のテンプレート画像の分布状況に応じて複数のテンプレート画像をクラスタリングし、そのクラスタリング結果に基づいて基準点を決定してもよい。
【００６６】
また、発明の実施の形態１にかかる物体認識装置１は、カメラ１１により撮影した画像を走査ウィンドウ単位で走査し、認識対象物体の位置及び姿勢を推定する装置である。しかしながら、本発明はこのような物体認識装置に限らず、入力画像とテンプレート画像との照合によって入力画像に含まれる物体を識別する物体認識装置に広く適用可能である。例えば、物体の位置の推定までは行わず、物体の認識及び姿勢推定を行う装置、認識対象物体が複数あって、入力画像に含まれる物体がどの物体であるかを認識する装置する物体認識装置等に適用可能である。さらに本発明は、入力画像とテンプレート画像との照合によって入力画像に含まれる識別対象パターンの認識を行うパターン認識装置に広く適用可能なものである。
【００６７】
発明の実施の形態１にかかる物体認識装置１は、後処理部１６において、複数の走査ウィンドウによって得た物体位置及び姿勢の推定結果の重み付き統合を行うこととしたが、このような重み付き統合を行わず、単純に最小値を与える物体位置及び姿勢を最終的な推定結果として選択しても良い。また、カメラ１１は必ずしも備える必要はなく、撮影してメモリに格納された画像データを画像特徴算出部１２に入力してもよい。
【００６８】
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００６９】
【図１】発明の実施の形態１にかかる物体認識装置の構成図である。
【図２】姿勢推定結果の統合処理を説明するための図である。
【図３】発明の実施の形態１にかかる物体認識装置が行う認識処理手順を示すフローチャートである。
【図４】特徴空間を示す図である。
【符号の説明】
【００７０】
１ 物体認識装置
１１ カメラ
１２ 画像特徴算出部
１３ 特徴ベクトル算出部
１４ 距離ベクトル算出部
１５ 識別部
１６ 後処理部
１７ 基底ベクトル記憶部
１８ テンプレート記憶部
【技術分野】
【０００１】
本発明は、入力画像を複数のテンプレート画像と照合することにより、入力画像に含まれる識別対象パターンを識別するパターン認識装置及びパターン認識方法に関する。
【背景技術】
【０００２】
自身の判断で自律的に移動するロボットの視覚を担うコンピュータビジョンにおいては、カメラで撮影された画像から物体の位置及び姿勢を認識できることが必要である。撮影された物体の位置及び姿勢を認識するための方法として、物体の多方向からの見え方に対応した複数のテンプレート画像を予め記憶しておき、撮影によって得た入力画像を複数のテンプレート画像と照合し、撮影された画像がどのテンプレート画像に類似するかによって物体を認識し、物体の位置及び姿勢を推定する方法が知られている。以下では、物体認識に用いる複数のテンプレート画像を記憶したデータをテンプレート辞書と呼ぶ。
【０００３】
入力画像とテンプレート辞書の照合は、入力画像から抽出した特徴量と複数のテンプレート画像の特徴量とを照合することによって行われる。特徴量とは、入力画像及びテンプレート画像が有する情報のうち、画像の識別に有用な本質的な成分を抽出したものである。通常、特徴量は複数の特徴量の値を要素とする特徴ベクトルとして記述される。特徴ベクトルの次元数は、特徴量の数に対応する。また、入力画像及びテンプレート画像はそれぞれ、特徴ベクトルによって張られる特徴空間上の点として表現される。
【０００４】
最も単純な特徴ベクトルは、画像データ及びテンプレート画像を構成する各画素の値を要素とする特徴ベクトルである。しかしながら、これでは特徴ベクトルの次元数が画像データを構成する画素数に達し、その数が膨大となるため、テンプレート画像を格納するための記憶容量及び画像照合に要する時間も膨大となり現実的でない。
【０００５】
そこで、特徴ベクトルの次元数を圧縮することにより、少ない記憶容量でテンプレート辞書を記憶することができ、高速に画像照合を行うことができる固有空間法が知られている。固有空間法は、テンプレート画像の主成分分析（PCA：Principal Components Analysis）によって固有空間を生成し、テンプレート画像を固有空間に射影して得られる主成分を特徴量として、テンプレート画像の特徴ベクトルを生成するものである。
【０００６】
また、この固有空間法を物体の認識及び姿勢推定に応用したパラメトリック固有空間法が提案されている（非特許文献１を参照）。パラメトリック固有空間法では、認識対象とする物体を回転させながら連続的に撮影してテンプレート画像を得ることにより、物体の姿勢変化をパラメータとして連続的に変化する複数のテンプレート画像の集合を固有空間上の閉じた軌跡（多様体）として表現する。これにより、固有空間法を物体の姿勢推定に応用することが可能となる。具体的には、入力画像を固有空間に射影して得られた射影点からの距離が最も近いテンプレート画像の射影点を求めることにより物体の姿勢推定を行う。パラメトリック固有空間法を用いた物体認識方法の改良については従来から様々な提案がなされている。例えば特許文献１には、レンズの歪みによる画像の変形に起因する姿勢推定精度の低下を軽減するよう改良された物体認識装置が開示されている。
【特許文献１】特開２００５−１４９１６７号公報
【非特許文献１】村瀬 洋, S.K.Nayar、「２次元照合による３次元物体認識−パラメトリック固有空間法−」、信学論、J77-D-II、No.11、pp.2179-2187、1994年11月
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したように、入力画像から物体を認識するため、又さらにその物体の姿勢を推定するためには、物体の多様な見え方に対応するテンプレート画像を予め辞書データとして記憶しておく必要がある。このとき、テンプレート画像によって物体の多様な見え方を十分に表現し、物体の認識精度を確保するためには、上述した非特許文献１及び特許文献１に開示されたパラメトリック固有空間法を適用した場合においても、テンプレート画像を表現する特徴ベクトルの次元数を削減することには限界がある。
【０００８】
このため、従来の物体認識装置においては、テンプレート画像を記憶しておくために大きな記憶容量を必要とするという問題がある。なお、このような問題は、物体の姿勢推定までを実行する物体認識装置に限らず、入力画像を予め記憶したテンプレート画像と照合することにより入力画像に含まれる識別対象パターンの認識を行うパターン認識装置に共通して存在している問題である。
【０００９】
本発明は上述した問題を考慮してなされたものであり、テンプレート画像を記憶しておくために必要な記憶容量を削減することが可能なパターン認識装置及びパターン認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明にかかるパターン認識装置は、入力画像を複数のテンプレート画像と照合することにより、入力画像に含まれる識別対象パターンを識別するパターン認識装置である。当該パターン認識装置は、i）Ｋ次元特徴空間に含まれており特徴空間の次元数Ｋより少ないＭ個の参照点の各々とテンプレート画像との特徴空間における距離を要素とするＭ次元の距離ベクトルを複数のテンプレート画像について記述した辞書情報、又はii）前記距離ベクトルを前記入力画像に含まれる識別対象パターンを特定するためのパラメータに写像するための写像情報を格納する記憶部と、前記入力画像の特徴ベクトルとＭ個の前記参照点の各々とのＫ次元特徴空間における距離を要素とするＭ次元の距離ベクトルを算出する距離ベクトル算出部と、前記記憶部に格納された辞書情報又は写像情報と、前記入力画像の距離ベクトルとに基づいて、前記入力画像に含まれる識別対象パターンを識別する識別部とを備える。ここで、識別対象パターンを特定するとは、物体認識に適用する場合であれば、識別対象物体の位置及び姿勢のうち少なくとも一方を特定することを意味するものである。
【００１１】
このような構成により、複数のテンプレート画像は、特徴空間の次元数Ｋより小さいＭ次元の距離ベクトルとして記憶部に格納される。このため、テンプレート画像を特徴空間内のＫ次元ベクトルとして記憶する従来のパターン認識装置に比べて、テンプレート画像の保持に必要な記憶容量を削減することができる。
【００１２】
なお、前記参照点はそれぞれ、前記複数のテンプレート画像に含まれるテンプレート画像のいずれかに対応する前記特徴空間内の点としてもよい。
【００１３】
上述した本発明にかかるパターン認識装置において、前記識別部は、前記辞書情報に含まれる複数のテンプレート画像の距離ベクトルから、前記入力画像の距離ベクトルに最も近いものを探索することによって、前記入力画像に含まれる識別対象パターンを識別してもよい。また、前記識別部は、前記入力画像の距離ベクトルを前記写像情報に基づいて写像することにより、前記入力画像の距離ベクトルに対応する前記パラメータを算出することもできる。Ｋ次元の特徴ベクトルではなく、Ｍ次元の距離ベクトル（Ｍ＜Ｋ）による演算処理によって、パターン認識に要する計算量を削減できる。
【００１４】
さらに、上述した本発明にかかるパターン認識装置は、撮影された画像から切り出した部分画像を入力画像として、切り出し位置の異なる複数の入力画像に対するパターン認識を行うことにより、前記撮影された画像に含まれる識別対象物体の位置及び姿勢のうち少なくとも一方を識別することが可能である。具体的には、前記識別部は、複数の入力画像の距離ベクトルと、前記記憶部に格納されたテンプレート画像の距離ベクトルとのベクトル間距離に基づいて、前記物体の位置及び姿勢のうち少なくとも一方に対する複数の候補を算出し、複数の入力画像の前記ベクトル間距離を反映した重み付き平均によって、前記複数の候補を統合した近似値を算出し、当該近似値に基づいて、前記入力画像に含まれる識別対象物体の位置及び姿勢のうち少なくとも一方を識別すればよい。これにより、１つの撮影画像から、１つの物体の位置又は姿勢若しくは両方に対する複数の候補が現れた場合に、１つの推定結果を得ることができる。このため、物体の位置、姿勢の推定結果の不確定さを解消し、物体の位置、姿勢の推定精度を向上させることができる。
【００１５】
一方、本発明にかかるパターン認識方法は、記憶部を有するコンピュータを用いて、入力画像を複数のテンプレート画像と照合することにより、入力画像に含まれる識別対象パターンを識別するパターン認識方法である。ここで、前記記憶部には、i）Ｋ次元特徴空間に含まれており特徴空間の次元数Ｋより少ないＭ個の参照点の各々とテンプレート画像との特徴空間における距離を要素とするＭ次元の距離ベクトルを複数のテンプレート画像について記述した辞書情報、又はii）前記距離ベクトルを前記入力画像に含まれる識別対象パターンを特定するパラメータに写像するための写像情報が格納されている。具体的には、前記コンピュータが、前記入力画像の特徴ベクトルとＭ個の前記参照点の各々とのＫ次元特徴空間における距離を要素とするＭ次元の距離ベクトルを算出し、前記記憶部に格納された辞書情報又は写像情報と、前記入力画像の距離ベクトルとに基づいて、前記入力画像に含まれる識別対象パターンを識別することを特徴とする。
【００１６】
当該方法において、複数のテンプレート画像は、特徴空間の次元数Ｋより小さいＭ次元の距離ベクトルとして記憶部に格納されている。このため、特徴空間内のＫ次元ベクトルとして記憶されたテンプレート画像を使用する従来のパターン認識方法に比べて、テンプレート画像の保持に必要な記憶容量を削減することができる。
【発明の効果】
【００１７】
本発明により、テンプレート画像を記憶しておくために必要な記憶容量を削減することが可能なパターン認識装置及びパターン認識方法を提供できる。
【発明を実施するための最良の形態】
【００１８】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。なお、以下に示す実施の形態は、撮影された画像に含まれる物体の位置及び姿勢の検出を行う物体認識装置に対して本発明を適用したものである。
【００１９】
発明の実施の形態１．
本実施の形態にかかる物体認識装置１の構成を図１に示す。本実施の形態にかかる物体認識装置１は、撮影した画像に認識対象物体が含まれるか否かを認識し、認識対象物体が含まれる場合には、物体の位置及び姿勢の推定結果を出力する装置である。より詳しく述べると、物体認識装置１は、撮影した画像を走査ウィンドウ単位で順に走査し、走査ウィンドウによって切り出した部分画像を入力画像として、認識対象物体の多様な姿勢を表す複数のテンプレート画像と入力画像とを照合することにより、撮影された画像中の物体位置及び姿勢を探索するものである。以下では、図１を参照して物体認識装置１が有する各機能部について説明する。
【００２０】
図１の物体認識装置１において、カメラ１１は、ＣＣＤ等の撮像素子（不図示）、及び撮像素子によって得られたアナログ画像データをデジタル画像データに変換して出力する信号処理部（不図示）を備える。画像特徴算出部１２は、カメラ１１によって撮影された画像データ（以下、入力画像データと呼ぶ）を入力し、入力画像データに含まれるエッジ等の特徴量を算出する。例えば、入力画像データを濃淡画像データに変換し、変換後の濃淡画像データに対する微分処理を行って、エッジ強度やエッジの方向を求め特徴量とすることができる。
【００２１】
特徴ベクトル算出部１３は、基底ベクトル記憶部１７に予め格納された基底ベクトル群Ｅを用いて入力画像データの特徴量を低次元化し、入力画像の特徴ベクトルＩＫを算出する。ここでＫは、特徴ベクトルＩＫの次元数、つまり特徴空間の次元数である。基底ベクトル群Ｅは、例えば、従来から知られている固有空間法を適用することによって得ることができる。具体的には、入力画像との照合に使用する複数のテンプレート画像に対する主成分分析（ＰＣＡ）を行って決定した固有空間を張る固有ベクトルの集合とすれば良い。このとき、基底ベクトル群Ｅは、Ｋ個のベクトルの集合として、以下の（１）式で表すことができる。また、入力画像の特徴ベクトルＩＫは、基底ベクトル群Ｅによって張られるＫ次元の特徴空間への入力画像の射影点を表すベクトルとして算出することができる。特徴ベクトルＩＫを（２）式に示す。
【００２２】
【数１】
【００２３】
【数２】
【００２４】
次に、距離ベクトル算出部１４は、入力画像と複数の基本テンプレート画像との特徴空間での距離を算出し、算出した距離を要素とするベクトルを算出する。以下では、基本テンプレート画像との特徴空間上での距離を要素とするベクトルを距離ベクトルと呼ぶこととする。ここで、基本テンプレート画像とは、認識対象物体を識別するために入力画像と照合される複数のテンプレート画像に含まれており、特徴空間の次元数に等しいＫ次元のベクトルデータとしてテンプレート記憶部１８に格納されている。Ｋ次元特徴空間のベクトルデータである基本テンプレート画像の特徴ベクトルＴｐＫを以下の（３）式に示す。なお、Ｍは基本テンプレート画像の数を表している。
【００２５】
【数３】
【００２６】
基本テンプレート画像の特徴ベクトルＴｐＫがＫ次元ベクトルであるのに対し、入力画像とＭ個の基本テンプレート画像との距離を要素とする距離ベクトルの次元数は、基本テンプレート画像の数に等しくＭ次元である。入力画像とある基本テンプレート画像との距離を（４）式に示す。また、（４）式の距離を要素とする入力画像の距離ベクトルＤＭを（５）式に示す。
【００２７】
【数４】
【００２８】
【数５】
【００２９】
識別部１５は、入力画像と複数のテンプレート画像との照合を行うことにより、入力画像に含まれる物体の認識及び当該物体の姿勢推定を行う。具体的には、入力画像の距離ベクトルＤＭと、テンプレート記憶部１８に予め格納された複数のテンプレート画像の距離ベクトルＵｑＭとの距離ｓを、各テンプレート画像について算出し、算出した距離ｓが最小となるテンプレート画像に対応する物体の姿勢を識別結果として出力する。なお、識別部１５は、距離ｓの最小値が所定の閾値より大きい場合は、入力画像に近いテンプレート画像が存在しない、つまり、入力画像中に認識対象の物体は含まれていないと判定して、その入力画像をリジェクトする。
【００３０】
テンプレート画像の距離ベクトルＵｑＭとは、上述した入力画像の距離ベクトルＤＭと同様に、テンプレート画像と各基本テンプレート画像との特徴空間上での距離を要素とするベクトルであり、その次元数は基本テンプレート画像の数Ｍに等しい。テンプレート画像の距離ベクトルＵｑＭを（６）式に示す。ここで、Ｎは、基本テンプレート画像を含むテンプレート画像の総数を表している。
【００３１】
【数６】
【００３２】
また、入力画像の距離ベクトルＤＭと、テンプレート記憶部１８に予め格納された複数のテンプレート画像の距離ベクトルＵｑＭとの距離ｓは、例えば以下の（７）式で表されるユークリッド距離により求めることができる。
【００３３】
【数７】
【００３４】
なお、識別部１５は、カメラ１１によって撮影された画像から走査ウィンドウによって切り出された複数の画像に対して、上述した物体の姿勢を識別する処理を繰り返し行う。
【００３５】
後処理部１６は、識別部１５による物体の位置及び姿勢の推定結果を統合して、最終的な推定結果を出力する。具体的には、走査ウィンドウによって切り出された複数の画像のうち、識別部１５によって物体の存在及び姿勢が推定された画像が１つだけである場合は、その画像の位置を認識対象物体の最終的な推定位置とし、識別部１５の推定した姿勢を最終的な推定結果として出力すれば良い。一方、識別部１５によって物体の存在及び姿勢が推定された画像が複数存在する場合は、これら複数の候補を以下の（８）式に示すような重み付けを行って統合すると良い。
【００３６】
【数８】
【００３７】
（８）式は、２つの候補Ｃ１＝（ｘ１、ｙ１、θ１）及びＣ２＝（ｘ２、ｙ２、θ２）の重み付け統合によって、最終的な物体位置及び姿勢の推定結果Ｃ３＝（ｘ３、ｙ３、θ３）を得る場合を示している。（８）式において、ｘ１及びｙ１は、第１の候補Ｃ１の入力画像中の位置座標を示し、θ１は第１の候補Ｃ１の姿勢を表す姿勢パラメータを表している。同様に、ｘ２及びｙ２は、第２の候補Ｃ２の入力画像中の位置座標を示し、θ２は第２の候補Ｃ２の姿勢を表す姿勢パラメータを表している。また、ｘ３及びｙ３は、推定結果Ｃの入力画像中での位置座標を示し、θ３は推定結果Ｃの姿勢を表す姿勢パラメータを表している。
【００３８】
さらに、ｗ１及びｗ２は、第１の候補Ｃ１及び第２の候補Ｃ２を統合する際の重みを表しており、これらは、識別部１５において算出されたテンプレート画像との距離ｓ１及びｓ２の関数として決定する。なお、ｓ１は第１の候補Ｃ１を推定した際のテンプレート画像との最小距離を表し、ｓ２は第２の候補Ｃ２を推定した際のテンプレート画像との最小距離を表す。重みｗ１及びｗ２は様々に定めることができるが、最も簡単な一例は（９）式及び（１０）式に示すような線形近似である。
【００３９】
【数９】
【００４０】
【数１０】
【００４１】
図２（ａ）及び（ｂ）は、（８）式による複数候補の統合を示す概念図である。図２（ａ）は、撮影された画像２１内に２つの候補Ｃ１及びＣ２が存在する様子を示しており、図２（ｂ）は候補Ｃ１及びＣ２の重み付き統合によって得られた推定結果Ｃ３を示している。
【００４２】
なお、（８）式は、説明を簡略化するために２つの候補の統合を行う例を示しているが、３つ以上の物体位置及び姿勢の候補を統合することも可能である。ただし、複数の物体位置及び姿勢の候補において、それぞれが示す姿勢（姿勢パラメータ）が大きく乖離している場合は、いずれかの候補が誤検出である可能性が高い。このため、このような場合には、上述したような重み付き統合処理を行わず、距離ｓが最小のいずれか１つの候補を選択することが望ましい。具体的には、複数の候補が示す姿勢パラメータθの差分に対する閾値判定を行うこととし、姿勢パラメータθの差分が所定の閾値より大きい場合には、上述した重み付き統合処理を行わないこととすればよい。また、前述の実施の形態においては、１つの入力画像を処理する場合についての説明を行ったが、複数の入力画像を時系列的に得た後に、その各々について同様の処理を行ってもよい。
【００４３】
図３は、物体認識装置１１が行う物体認識処理手順を示すフローチャートである。ステップＳ１０１では、カメラ１１から画像特徴算出部１２に対して撮影画像データが入力される。ステップＳ１０２では、画像特徴算出部１２が、入力画像の特徴量を算出する。ステップＳ１０３では、特徴ベクトル算出部１３が、Ｋ次元の特徴空間に射影された入力画像の特徴ベクトルＩＫを算出する。ステップＳ１０４では、距離ベクトル算出部１４が、入力画像の特徴ベクトルＩＫと基本テンプレート画像ＴｐＫとの特徴空間での距離を上述した（４）式を用いて算出し、入力画像の距離ベクトルＤＭを得る。
【００４４】
続いて、ステップＳ１０５では、識別部１５が、入力画像の距離ベクトルＤＭと複数のテンプレート画像の距離ベクトルＵｑＭ（ｑ＝１〜Ｎ）のそれぞれとの距離を、上述した（７）式によって算出する。ステップＳ１０６では、識別部１５が、ステップＳ１０５での距離の算出結果を用いて、距離ｓが最小となるテンプレート画像に対応する物体の姿勢を識別結果として出力する。このとき、最小距離が所定の閾値より大きい場合は、入力画像中に認識対象の物体は含まれないことを結果として出力してもよい。
【００４５】
なお、ステップＳ１０６において、距離ｓが最小となるテンプレート画像に対応する物体の姿勢を識別結果とする上記の処理は一例である。ステップＳ１０６で用いる姿勢の識別方法は、距離最小の詳細テンプレートを選択する、いわゆる最近傍決定則（ＮＮ法）に限られない。例えば、さらに詳細な姿勢推定を行うために、特徴空間内でのテンプレート画像を示す射影点の間をベジエ曲線による補間やスプライン補間などによって補間した多様体に対して距離を最小化する射影点を算出し、この射影点が表す姿勢を推定結果としてもよい。また、入力画像との距離ｓが小さい２つのテンプレート画像を特徴空間内で線形近似して得られる射影点が表す姿勢を推定結果としてもよい。
【００４６】
ステップＳ１０７では、走査ウィンドウによる入力画像の切り出しが、カメラ１１によって撮影された画像の全体に亘って終了したか否かを判定する。撮影画像の全体に対する走査が終了した場合は、ステップＳ１０８に進み、走査が終了していない場合は、ステップＳ１０３に戻って、走査ウィンドウによって切り出した入力画像に対する物体認識及び姿勢推定の処理を繰り返し行う。
【００４７】
ステップＳ１０８では、後処理部１６が、異なる走査ウィンドウでの物体位置及び姿勢推定の結果を統合する。最後にステップＳ１０９では、後処理部１６が、認識対象物体の物体位置及び姿勢の推定結果を出力し、物体認識処理を終了する。
【００４８】
上述したように、本実施の形態にかかる物体認識装置１は、テンプレート記憶部１８に記憶するテンプレート画像を、特徴空間の次元数に等しいＫ次元の特徴ベクトルに替えて、Ｍ個の基本テンプレート画像との特徴空間での距離を要素とする距離ベクトルとして保存することとしたものである。
【００４９】
つまり、本実施の形態にかかる物体認識装置１は、Ｎ個のテンプレート画像のＭ次元の距離ベクトルＵｑＭ（ｑ＝１〜Ｎ）と、Ｍ個の基本テンプレートのＫ次元の特徴ベクトルＴｐＫ（ｐ＝１〜Ｍ）とをテンプレート記憶部１８に格納しておけば良い。
【００５０】
図４は、基本テンプレート画像が４個の場合における特徴空間を示す概念図である。多様体３０１は、Ｎ個のテンプレート画像によって形成される多様体を示している。図４（ａ）には、テンプレート画像３２１の距離ベクトルの要素ｕ１１、ｕ１２、ｕ１３及びｕ１４を示している。ここでｕ１１は、テンプレート画像３２１と基本テンプレート画像３１１との距離である。同様に、ｕ１２、ｕ１３及びｕ１４は、それぞれ基本テンプレート画像３１２、３１３及び３１４との距離である。図４（ａ）のように、基本テンプレート数が４個であれば、テンプレート画像３２１の距離ベクトルは、ｕ１１、ｕ１２、ｕ１３及びｕ１４を要素とする４次元ベクトルで表現することができる。
【００５１】
図４（ｂ）には、入力画像３３１の距離ベクトルの要素ｄ１、ｄ２、ｄ３及びｄ４を示している。図４（ｂ）のように、基本テンプレート数が４個であれば、入力画像３３１の距離ベクトルは、ｄ１、ｄ２、ｄ３及びｄ４を要素とする４次元ベクトルで表現することができる。
【００５２】
従来の物体認識装置は、Ｎ個のテンプレート画像のＫ次元の特徴ベクトルを記憶しておく必要があった。さらに、Ｋ次元のテンプレート画像の特徴ベクトルとＫ次元の入力画像の特徴ベクトルとの照合によって物体認識を行っていた。これに対して、本実施の形態にかかる物体認識装置１は、基本テンプレートの数Ｍを特徴空間の次元数Ｋより小さくすることにより、テンプレート画像をＫ次元より小さいＭ次元の距離ベクトルとして保持しておけばよい。このため、物体認識装置１は、物体認識用の辞書データであるテンプレート画像を記憶するための記憶容量を従来に比べて小さくすることができる。また、これによって、識別部１５における距離の算出等の物体認識及び姿勢推定のための演算は、Ｍ次元特徴ベクトルに対して行えば良く、物体認識及び姿勢推定に要する計算量を削減することができる。
【００５３】
さらに、従来の物体認識装置では、テンプレート画像の記憶に必要な記憶容量を削減するために、単純にテンプレート数を削減したり、特徴空間の次元数を減少させたりすると、物体認識及び姿勢推定の精度が低下するという問題があるが、本実施の形態の物体認識装置１であれば、テンプレート画像の記憶に必要な記憶容量の削減に伴う物体認識及び姿勢推定の精度の低下を抑制することができる。
【００５４】
なお、上述した本実施の形態にかかる物体認識装置１のうちカメラ１１を除く他の構成要素は、プログラムを実行するＣＰＵ（Central Processing Unit）を有するコンピュータシステムにより構成することが可能である。具体的には、ＣＰＵが内部に備える又はＣＰＵの外部に接続されるＲＯＭ又はフラッシュメモリ等の記憶部に、画像特徴算出部１２、特徴ベクトル算出部１３、距離ベクトル算出部１４、識別部１５及び後処理部１６が行う図３のフローチャートに示した処理をコンピュータシステムに実行させるためのプログラムを格納しておき、当該プログラムをＣＰＵで実行することとすればよい。また、基底ベクトル記憶部１７及びテンプレート記憶部１８は、コンピュータシステムが備えるハードディスクやフラッシュメモリ等の不揮発性の記憶部とすればよい。
【００５５】
図３のフローチャートに示した処理をコンピュータシステムに実行させるためのプログラムは、ＲＯＭ又はフラッシュメモリに限らず様々な種類の記憶媒体に格納することが可能であり、また、通信媒体を介して伝達することが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、バッテリバックアップ付きＲＡＭメモリカートリッジ等を含む。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等を含み、インターネットも含まれる。
【００５６】
その他の実施の形態．
発明の実施の形態１にかかる物体認識装置１は、識別部１５において、入力画像の距離ベクトルＤＭと複数のテンプレート画像の距離ベクトルＵｑＭ（ｑ＝１〜Ｎ）のそれぞれとの距離を算出し、当該距離を最小とする姿勢を認識対象物体の姿勢候補に選択するものであった。しかしながら、このような方法に限らず、例えば、テンプレート画像の距離ベクトルＵｑＭ（ｑ＝１〜Ｎ）と姿勢パラメータとの写像を予め学習しておき、入力画像の距離ベクトルＤＭを学習した写像に当てはめることによって姿勢パラメータを算出してもよい。例えば、物体姿勢変化の自由度が１自由度である場合、以下の（１１）式を満足する写像行列Ａを求めておけばよい。
【００５７】
【数１１】
【００５８】
（１１）式において、θ１，θ２，・・・，θＮは、認識対象物体の姿勢を表す姿勢パラメータである。また、（１１）式の左辺の写像行列Ａの右側の行列は、テンプレート画像と基本テンプレート画像との距離を行列要素とする行列である。（１１）式を満足する写像行列Ａは以下の（１２）式で表すことができる。なお、（１２）式の行列Θは、（１１）式の右辺の行列であり、行列Ｕは、（１１）式の左辺の写像行列Ａの右側の行列である。
【００５９】
【数１２】
【００６０】
テンプレート画像の距離ベクトルと姿勢パラメータとの写像を規定する写像行列Ａを予め記憶しておくことにより、次の（１３）式に示すように、写像行列Ａと入力画像の距離ベクトルＤＭの積よって、入力画像の姿勢パラメータθを推定することができる。
【００６１】
【数１３】
【００６２】
なお、（１３）式により姿勢パラメータθを推定する場合は、（１４）式に示す残差距離εを求め、残差距離εの大きさによって、入力画像をリジェクトするか否かを決定する。具体的には、残差距離εの大きさが所定の閾値より大きい場合に、入力画像は認識対象の物体を示すものでないと判定し、その入力画像をリジェクトすればよい。
【００６３】
【数１４】
【００６４】
なお、上述した線形写像に変えて、例えばニューラルネットによって非線形写像を学習しておいてもよい。写像によって姿勢パラメータを求める場合は、テンプレート画像の距離ベクトルＵｑＭ（ｑ＝１〜Ｎ）と認識対象物体の姿勢パラメータとの写像を予め学習し、学習した写像行列Ａ等の写像情報を、テンプレート画像の距離ベクトルＵｑＭに替えてテンプレート記憶部１８に記憶しておけば良い。さらに、図３に示したフローチャートにおけるステップＳ１０５及びＳ１０６の処理に替えて、入力画像の距離ベクトルＤＭを学習した写像に当てはめることによって姿勢パラメータを算出すればよい。
【００６５】
発明の実施の形態１にかかる物体認識装置１は、複数のテンプレート画像及び入力画像の距離ベクトルを算出する際の基準点を、複数のテンプレート画像の中から選択した基本テンプレート画像とするものである。しかしながら、距離ベクトルを算出する際の基準点は、基本テンプレート画像でなくても良く、特徴空間に含まれる他の参照点であってもよい。例えば、特徴空間における複数のテンプレート画像の分布状況に応じて複数のテンプレート画像をクラスタリングし、そのクラスタリング結果に基づいて基準点を決定してもよい。
【００６６】
また、発明の実施の形態１にかかる物体認識装置１は、カメラ１１により撮影した画像を走査ウィンドウ単位で走査し、認識対象物体の位置及び姿勢を推定する装置である。しかしながら、本発明はこのような物体認識装置に限らず、入力画像とテンプレート画像との照合によって入力画像に含まれる物体を識別する物体認識装置に広く適用可能である。例えば、物体の位置の推定までは行わず、物体の認識及び姿勢推定を行う装置、認識対象物体が複数あって、入力画像に含まれる物体がどの物体であるかを認識する装置する物体認識装置等に適用可能である。さらに本発明は、入力画像とテンプレート画像との照合によって入力画像に含まれる識別対象パターンの認識を行うパターン認識装置に広く適用可能なものである。
【００６７】
発明の実施の形態１にかかる物体認識装置１は、後処理部１６において、複数の走査ウィンドウによって得た物体位置及び姿勢の推定結果の重み付き統合を行うこととしたが、このような重み付き統合を行わず、単純に最小値を与える物体位置及び姿勢を最終的な推定結果として選択しても良い。また、カメラ１１は必ずしも備える必要はなく、撮影してメモリに格納された画像データを画像特徴算出部１２に入力してもよい。
【００６８】
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００６９】
【図１】発明の実施の形態１にかかる物体認識装置の構成図である。
【図２】姿勢推定結果の統合処理を説明するための図である。
【図３】発明の実施の形態１にかかる物体認識装置が行う認識処理手順を示すフローチャートである。
【図４】特徴空間を示す図である。
【符号の説明】
【００７０】
１ 物体認識装置
１１ カメラ
１２ 画像特徴算出部
１３ 特徴ベクトル算出部
１４ 距離ベクトル算出部
１５ 識別部
１６ 後処理部
１７ 基底ベクトル記憶部
１８ テンプレート記憶部
【特許請求の範囲】
【請求項１】
入力画像を複数のテンプレート画像と照合することにより、入力画像に含まれる識別対象パターンを識別するパターン認識装置であって、
i）Ｋ次元特徴空間に含まれており特徴空間の次元数Ｋより少ないＭ個の参照点の各々とテンプレート画像との特徴空間における距離を要素とするＭ次元の距離ベクトルを複数のテンプレート画像について記述した辞書情報、又はii）前記距離ベクトルを前記入力画像に含まれる識別対象パターンを特定するためのパラメータに写像するための写像情報を格納する記憶部と、
前記入力画像の特徴ベクトルとＭ個の前記参照点の各々とのＫ次元特徴空間における距離を要素とするＭ次元の距離ベクトルを算出する距離ベクトル算出部と、
前記記憶部に格納された辞書情報又は写像情報と、前記入力画像の距離ベクトルとに基づいて、前記入力画像に含まれる識別対象パターンを識別する識別部と、
を備えるパターン認識装置。
【請求項２】
前記参照点はそれぞれ、前記複数のテンプレート画像に含まれるテンプレート画像のいずれかに対応する前記特徴空間内の点である請求項１に記載のパターン認識装置。
【請求項３】
前記識別部は、前記辞書情報に含まれる複数のテンプレート画像の距離ベクトルから、前記入力画像の距離ベクトルに最も近いものを探索することによって、前記入力画像に含まれる識別対象パターンを識別する請求項１に記載のパターン認識装置。
【請求項４】
前記識別部は、前記入力画像の距離ベクトルを前記写像情報に基づいて写像することにより、前記入力画像の距離ベクトルに対応する前記パラメータを算出する請求項１に記載のパターン認識装置。
【請求項５】
前記パターン認識装置は、撮影された画像から切り出した部分画像を入力画像として、切り出し位置の異なる複数の入力画像に対するパターン認識を行うことにより、前記撮影された画像に含まれる識別対象物体の位置及び姿勢のうち少なくとも一方を識別するものであって、
前記識別部は、複数の入力画像の距離ベクトルと、前記記憶部に格納されたテンプレート画像の距離ベクトルとのベクトル間距離に基づいて、前記物体の位置及び姿勢のうち少なくとも一方に対する複数の候補を算出し、
複数の入力画像の前記ベクトル間距離を反映した重み付き平均によって、前記複数の候補を統合した近似値を算出し、当該近似値に基づいて、前記入力画像に含まれる識別対象物体の位置及び姿勢のうち少なくとも一方を識別する請求項１に記載のパターン認識装置。
【請求項６】
記憶部を有するコンピュータを用いて、入力画像を複数のテンプレート画像と照合することにより、入力画像に含まれる識別対象パターンを識別するパターン認識方法であって、
前記記憶部には、i）Ｋ次元特徴空間に含まれており特徴空間の次元数Ｋより少ないＭ個の参照点の各々とテンプレート画像との特徴空間における距離を要素とするＭ次元の距離ベクトルを複数のテンプレート画像について記述した辞書情報、又はii）前記距離ベクトルを前記入力画像に含まれる識別対象パターンを特定するパラメータに写像するための写像情報が格納されており、
前記コンピュータは、前記入力画像の特徴ベクトルとＭ個の前記参照点の各々とのＫ次元特徴空間における距離を要素とするＭ次元の距離ベクトルを算出し、
前記コンピュータは、前記記憶部に格納された辞書情報又は写像情報と、前記入力画像の距離ベクトルとに基づいて、前記入力画像に含まれる識別対象パターンを識別する、パターン認識方法。
【請求項７】
前記参照点はそれぞれ、前記複数のテンプレート画像に含まれるテンプレート画像のいずれかに対応する前記特徴空間内の点である請求項６に記載のパターン認識方法。
【請求項１】
入力画像を複数のテンプレート画像と照合することにより、入力画像に含まれる識別対象パターンを識別するパターン認識装置であって、
i）Ｋ次元特徴空間に含まれており特徴空間の次元数Ｋより少ないＭ個の参照点の各々とテンプレート画像との特徴空間における距離を要素とするＭ次元の距離ベクトルを複数のテンプレート画像について記述した辞書情報、又はii）前記距離ベクトルを前記入力画像に含まれる識別対象パターンを特定するためのパラメータに写像するための写像情報を格納する記憶部と、
前記入力画像の特徴ベクトルとＭ個の前記参照点の各々とのＫ次元特徴空間における距離を要素とするＭ次元の距離ベクトルを算出する距離ベクトル算出部と、
前記記憶部に格納された辞書情報又は写像情報と、前記入力画像の距離ベクトルとに基づいて、前記入力画像に含まれる識別対象パターンを識別する識別部と、
を備えるパターン認識装置。
【請求項２】
前記参照点はそれぞれ、前記複数のテンプレート画像に含まれるテンプレート画像のいずれかに対応する前記特徴空間内の点である請求項１に記載のパターン認識装置。
【請求項３】
前記識別部は、前記辞書情報に含まれる複数のテンプレート画像の距離ベクトルから、前記入力画像の距離ベクトルに最も近いものを探索することによって、前記入力画像に含まれる識別対象パターンを識別する請求項１に記載のパターン認識装置。
【請求項４】
前記識別部は、前記入力画像の距離ベクトルを前記写像情報に基づいて写像することにより、前記入力画像の距離ベクトルに対応する前記パラメータを算出する請求項１に記載のパターン認識装置。
【請求項５】
前記パターン認識装置は、撮影された画像から切り出した部分画像を入力画像として、切り出し位置の異なる複数の入力画像に対するパターン認識を行うことにより、前記撮影された画像に含まれる識別対象物体の位置及び姿勢のうち少なくとも一方を識別するものであって、
前記識別部は、複数の入力画像の距離ベクトルと、前記記憶部に格納されたテンプレート画像の距離ベクトルとのベクトル間距離に基づいて、前記物体の位置及び姿勢のうち少なくとも一方に対する複数の候補を算出し、
複数の入力画像の前記ベクトル間距離を反映した重み付き平均によって、前記複数の候補を統合した近似値を算出し、当該近似値に基づいて、前記入力画像に含まれる識別対象物体の位置及び姿勢のうち少なくとも一方を識別する請求項１に記載のパターン認識装置。
【請求項６】
記憶部を有するコンピュータを用いて、入力画像を複数のテンプレート画像と照合することにより、入力画像に含まれる識別対象パターンを識別するパターン認識方法であって、
前記記憶部には、i）Ｋ次元特徴空間に含まれており特徴空間の次元数Ｋより少ないＭ個の参照点の各々とテンプレート画像との特徴空間における距離を要素とするＭ次元の距離ベクトルを複数のテンプレート画像について記述した辞書情報、又はii）前記距離ベクトルを前記入力画像に含まれる識別対象パターンを特定するパラメータに写像するための写像情報が格納されており、
前記コンピュータは、前記入力画像の特徴ベクトルとＭ個の前記参照点の各々とのＫ次元特徴空間における距離を要素とするＭ次元の距離ベクトルを算出し、
前記コンピュータは、前記記憶部に格納された辞書情報又は写像情報と、前記入力画像の距離ベクトルとに基づいて、前記入力画像に含まれる識別対象パターンを識別する、パターン認識方法。
【請求項７】
前記参照点はそれぞれ、前記複数のテンプレート画像に含まれるテンプレート画像のいずれかに対応する前記特徴空間内の点である請求項６に記載のパターン認識方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００７−２５７２０３（Ｐ２００７−２５７２０３Ａ）
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願番号】特願２００６−７９５３７（Ｐ２００６−７９５３７）
【出願日】平成１８年３月２２日（２００６．３．２２）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願日】平成１８年３月２２日（２００６．３．２２）
【出願人】（０００００３２０７）トヨタ自動車株式会社 (59,920)
【Ｆターム（参考）】
[ Back to top ]