パターン識別装置、パターン識別方法およびプログラム
【課題】全体的な照明変動および部分的な陰影の変動に対して精度の高いパターン識別ができるようにすることを目的とする。
【解決手段】所定の変動を加えた変動入力画像および変動登録画像を生成する変動画像生成手段と、変動入力画像から入力部分特徴を抽出し、変動登録画像の入力部分特徴に対応する登録部分特徴を抽出する部分特徴抽出手段と、入力部分特徴と登録部分特徴の部分特徴の類似度を、変動画像の所定の組み合わせ毎に算出する部分特徴類似度算出手段と、部分特徴類似度算出手段で計算された、少なくとも１つ以上の部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合手段と、統合部分特徴類似度を部分領域毎に所定の基準で統合し、入力画像および登録画像間の識別類似度を算出する識別類似度算出手段と、を有することを特徴とする。
【解決手段】所定の変動を加えた変動入力画像および変動登録画像を生成する変動画像生成手段と、変動入力画像から入力部分特徴を抽出し、変動登録画像の入力部分特徴に対応する登録部分特徴を抽出する部分特徴抽出手段と、入力部分特徴と登録部分特徴の部分特徴の類似度を、変動画像の所定の組み合わせ毎に算出する部分特徴類似度算出手段と、部分特徴類似度算出手段で計算された、少なくとも１つ以上の部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合手段と、統合部分特徴類似度を部分領域毎に所定の基準で統合し、入力画像および登録画像間の識別類似度を算出する識別類似度算出手段と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、識別対象のパターンが照明条件の違いによる影響を受けた場合であっても高精度かつ効率的に識別を行うことができるパターン識別装置等に関する。
【背景技術】
【０００２】
パターン認識における識別技術、典型的には、画像データ中の被写体であるオブジェクトが、別の画像中の被写体であるオブジェクトと同一のものであると識別する技術として、例えば個人の顔を識別する顔識別技術がある。以下、パターン識別とは、パターンの個体の違い（例えば、個人としての人物の違い）を判定することを意味する。一方、パターンの検出は、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、顔を検出する）ことを意味するものとする。
【０００３】
顔識別技術として、例えば非特許文献１のような方法がある。
このような、パターン（具体的には人物の顔）の識別を行う装置および方法において、識別性能を低下させる要因として、入力パターンと登録パターン間における照明条件の違いが挙げられる。照明条件が異なることで、顔全体の明暗の変化や顔の陰影の付き方が変化することで、識別性能が大幅に低下してしまう。
【０００４】
特許文献１では、明示的な照明条件検出手段を設けることで照明変動に対応している。すなわち、入力画像と登録画像間の照明条件のずれを検出し、そのずれ量に応じた前処理を入力画像または登録画像あるいはその両方に行い、両者の照明条件を近づけた上で、顔認証を行うことで、照明条件にロバストな顔認証を行っている。
【０００５】
また、特許文献２では、照明条件の差を吸収するための部分空間を事前に用意しておき、識別の際に、入力画像および登録画像のパターンをその部分空間に射影した上で、顔認証を行っている。これにより照明条件にロバストな顔認証を行っている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−５３７７４号公報
【特許文献２】特開２００７−７９７１０号公報
【非特許文献】
【０００７】
【非特許文献１】"Learning Patch Correspondences for Improved Viewpoint Invariant Face Recognition", A. B. Ashraf, S. Lucey, T. Chen, Carnegie Mellon University, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), June, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、これらの方法は実用上の問題があると考えられる。例えば、特許文献１のように、明示的な照明条件検出手段を設けた場合には、その計算量が大きいだけでなく、照明条件検出手段を事前に大量の顔画像等を準備して学習しておかなければならない。また、特許文献２のように、部分空間を用いる方法でも同様に、事前に照明変動を吸収するような部分空間を、大量の顔画像等を準備して学習し、空間の基底データを記憶していなければならない。これは実用上の障害となってしまう。
【０００９】
また、これらの方法だけでは実環境における照明変動に十分に対応できていないと考えられる。例えば、顔全体にわたる照明変動ではなく、部分的な陰影を生じるような照明変動のような場合には、画像の部分領域を考慮していない、上述の方法だけでは対応が難しい。
【課題を解決するための手段】
【００１０】
本発明は、入力された画像のパターンが属するカテゴリを識別するパターン識別装置であって、所定の変動を加えた変動入力画像および変動登録画像を生成する変動画像生成手段と、前記変動入力画像から入力部分特徴を抽出し、前記変動登録画像の前記入力部分特徴に対応する登録部分特徴を抽出する部分特徴抽出手段と、前記入力部分特徴と前記登録部分特徴の部分特徴の類似度を、前記変動画像の所定の組み合わせ毎に算出する部分特徴類似度算出手段と、前記部分特徴類似度算出手段で計算された、少なくとも１つ以上の前記部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合手段と、前記統合部分特徴類似度を部分領域毎に所定の基準で統合し、前記入力画像および前記登録画像間の識別類似度を算出する識別類似度算出手段と、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、入力画像と登録画像に所定の前処理を部分領域毎に行うことにより、明示的な照明条件検出や事前の部分空間の学習を必要とせずに、全体的な照明変動および部分的な陰影の変動に対して、精度の高いパターン識別を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態のパターン識別装置の構成を示すブロック図である。
【図２】本実施形態のパターン識別装置の処理を示すフローチャートである。
【図３】パターン登録部の構成の一例を示すブロック図である。
【図４】登録パターン辞書データ生成部の構成の一例を示すブロック図である。
【図５】登録パターン辞書データ生成部の処理を説明するための模式図である。
【図６】変動画像生成部および画像変換用パラメタ保持部の処理を示すフローチャートである。
【図７】特徴ベクトル抽出部および特徴ベクトル変換部の処理を示すフローチャートである。
【図８】入力パターン識別部の構成の一例を示すブロック図である。
【図９】入力パターン識別処理を示すフローチャートである。
【図１０】入力パターン識別用データ生成部の構成の一例を示すブロック図である。
【図１１】入力パターン識別演算部の構成の一例を示すブロック図である。
【図１２】入力パターン識別演算処理を示すフローチャートである。
【図１３】部分特徴類似度統合部の処理を示すフローチャートである。
【図１４】複数特徴の登録パターン辞書データ生成部の構成の一例を示すブロック図である。
【図１５】複数特徴の登録パターン辞書データ生成部の処理を説明するための模式図である。
【図１６】複数特徴ベクトル抽出処理を示すフローチャートである。
【図１７】複数特徴の入力パターン生成部の構成の一例を示すブロック図である。
【図１８】複数特徴の入力パターン識別演算部の構成の一例を示すブロック図である。
【図１９】複数特徴の入力パターン識別演算部の処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本実施形態に係るパターン識別装置について説明する。
（第１の実施形態）
図１は、本実施形態に係るパターン識別装置１００の構成を示すブロック図である。パターン識別装置１００は、結像光学系１、撮像部２、撮像制御部３、画像記録部４、パターン登録部５、入力パターン識別部６、パターン識別結果を出力する外部出力部７、各構成要素の制御・データ接続を行うための接続バス８を含んで構成されている。なお、パターン登録部５および入力パターン識別部６は、典型的には、それぞれ専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）であってもよい。また、単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。
【００１４】
結像光学系１は、ズーム機構を備えた光学レンズで構成される。また、結像光学系１は、パン・チルト軸方向の駆動機構を備えていてもよい。
撮像部２の映像センサとしては、典型的にはＣＣＤまたはＣＭＯＳイメージセンサが用いられる。撮像部２は、不図示のセンサ駆動回路からの読み出し制御信号により所定の映像信号（例えば、サブサンプリング、ブロック読み出しして得られる信号）を画像データとして出力する。
撮像制御部３は、撮影者からの指示（画角調整指示、シャッター押下など）およびパターン登録部５または入力パターン識別部６からの情報に基づいて、実際に撮影が行われるタイミングを制御する。
【００１５】
画像記録部４は、半導体メモリ等で構成され、撮像部２から転送された画像データを保持し、パターン登録部５、入力パターン識別部６からの要求に応じて所定のタイミングで画像データを転送する。
パターン登録部５は、画像データから識別の対象とするオブジェクトの情報を抽出し、記録・保持する。パターン登録部５のより詳細な構成および実際に行われる処理の具体的な内容については、後述する。
入力パターン識別部６は、画像データおよびパターン登録部５から取得したデータに基づいて、パターン、より典型的には、画像データ中のオブジェクトの識別を行う。入力パターン識別部６に関して、具体的な構成および行われる処理の詳細については、後述する。
【００１６】
外部出力部７は、典型的には、ＣＲＴやＴＦＴ液晶などのモニタであり、撮像部２および画像記録部４から取得した画像データを表示、または、画像データにパターン登録部５および入力パターン識別部６の結果出力を重畳表示する。また、パターン登録部５および入力パターン識別部６の結果出力を電子データとして、外部メモリなどに出力する形式をとってもよい。
接続バス８は、上記構成要素間の制御・データ接続を行うためのバスである。
【００１７】
＜全体フロー＞
図２は、本実施形態に係るパターン識別装置の全体処理の一例を示すフローチャートである。図２を参照しながら、パターン識別装置１００が、入力パターンの識別を行う実際の処理について説明する。なお、以下では、識別するパターンが人物の顔である場合について説明するが、本発明の対象はこれに限るものではない。
始めに、入力パターン識別部６は、画像記録部４から画像データを取得する（Ｓ１）。続いて、入力パターン識別部６は、取得した画像データに対して、人の顔の検出処理を行う（Ｓ０２）。画像中から、人物の顔を検出する方法については、公知の技術を用いればよい。例えば、「特許３０７８１６６号公報」や「特開２００２−８０３２号公報」で提案されているような技術を用いることができる。
【００１８】
入力パターン識別部６は、対象オブジェクトである人物の顔の検出処理をした後、画像中に人の顔が存在するか否かを判定する（Ｓ３）。存在する場合（Ｓ３でＹｅｓの場合）、入力パターン識別部６は、入力パターン識別処理、即ち個人の識別処理を行う（Ｓ４）。画像中に人の顔が存在しない場合（Ｓ３でＮｏの場合）、入力パターン識別部６は、処理を終了する。入力パターン識別処理（Ｓ４）の具体的な処理内容については、後述する。
入力パターン識別部６は、入力パターン識別処理の結果から、登録済みの人物に該当する顔があるか判定する（Ｓ５）。入力パターン識別部６はＳ１で検出された顔と同一人物が、登録済みの人物の中にあるか否かを判定し（Ｓ４）、ある場合（Ｓ５でＹｅｓの場合）、Ｓ８の処理に進む。検出された顔が登録済み人物の誰とも一致しない場合（Ｓ５でＮｏの場合）、入力パターン識別部６は、その人物を登録するかを判定する（Ｓ６）。これは、予め設定されている場合もあるが、例えばユーザが外部インターフェースやＧＵＩなどを通じて、その場で登録するかどうか決定するようにしても良い。
【００１９】
登録すると判定された場合（Ｓ６でＹｅｓの場合）、入力パターン識別部６は、後述するパターン（人物の顔）の登録処理を行う（Ｓ７）。登録を行わない場合（Ｓ６でＮｏの場合）、そのまま処理を続行する。
パターン登録処理（Ｓ７）の後およびＳ６で登録を行わない場合、入力パターン識別部６は、検出されたパターン全てについて処理が終了したか否かを判定する（Ｓ８）。未処理のパターンがある場合（Ｓ８でＮｏの場合）、Ｓ４に戻る。検出された全てのパターンについて処理が終了した場合（Ｓ８でＹｅｓの場合）入力パターン識別部６は、一連の入力パターン識別処理の結果を外部出力部７に出力する。
以上が、本実施形態に係るパターン識別装置１００の全体の処理フローである。
【００２０】
＜パターン登録部＞
パターン登録処理について説明する。図３は、パターン登録部５の構成の一例を示すブロック図である。図３に示すように、パターン登録部５は、登録パターン辞書データ生成部２１、登録パターン辞書データ保持部２２、登録パターン辞書データ選択部２３を含んで構成されている。
【００２１】
登録パターン辞書データ生成部２１は、画像記録部４から取得した画像データから、パターンの個体を識別するために必要な登録パターン辞書データを生成する。ここでは、顔画像が同一のカテゴリであるか、別のカテゴリであるかの問題を判別するため、人物の顔画像から生成したデータを辞書データとして登録する。同一人物の複数枚の画像で登録することも考えられるが、本実施形態では一人につき１枚の画像を用いることとする。よって登録パターン辞書データは登録した人数の分だけ生成されることになる。画像を登録する際は、顔検出処理によって検出された人物の顔画像データを、大きさや向き（面内回転方向）などを正規化した後、登録パターン辞書データ保持部２２に格納するようにしてもよい。画像データそのものではなく、識別時に必要なデータのみを保持するようにすることによって、辞書データ量を削減することもできる。当該パターンの部分領域のベクトル相関をとって識別演算を行う場合、予めその部分領域のみを切り出しておけばよい。
【００２２】
以上のように、登録パターン辞書データ生成部２１では、適宜必要な情報を画像から抽出し、後述する所定の変換を行った後、パターンの識別を行うための特徴ベクトルとして、登録パターン辞書データ保持部２２に格納する。登録パターン辞書データ生成部２１で行われる具体的な処理の内容については、後述する。登録パターン辞書データ選択部２３は、後述する入力パターン識別部６の要求に応じて、登録パターン辞書データ保持部２２から必要な登録パターン辞書データを読み出して、入力パターン識別部６に登録パターン辞書データを転送する。
【００２３】
＜登録パターン辞書データ生成部＞
図４は、登録パターン辞書データ生成部２１の構成の一例を示すブロック図である。図４に示すように、登録パターン辞書データ生成部２１は、変動画像生成部３０、画像変換用パラメタ保持部３１、部分領域設定部３２、特徴ベクトル抽出部３３、特徴ベクトル変換部３４、特徴ベクトル変換用データ保持部３５を含んで構成されている。図５は、登録パターン辞書データ生成部２１における処理の模式図を示しており、説明の補助として合わせて用いる。
【００２４】
変動画像生成部３０は、画像データに対して画像変換用パラメタ保持部３１から変換用パラメタを取得し、画像変換を行い、変動登録画像を生成する（図５の画像取得および変動画像生成）。ここで用いる変換用パラメタは１種類だけでなく、複数種類用意しておき、変動登録画像を複数種類生成しておく。この処理の詳細は、後述する。部分領域設定部３２は、画像データおよび変動画像データに対して、特徴ベクトル抽出部３３が特徴ベクトルを抽出する位置と範囲を設定する（図５の部分領域設定）。
【００２５】
部分領域の位置と範囲は、識別の対象が人の顔である場合には、顔の器官位置を基準とした領域を機械学習の方法を用いて予め決めておくとよい。例えば、部分領域の候補を複数設定しておいて、上記複数候補から、ＡｄａＢｏｏｓｔを用いて選択するようにしてもよい。また、後述するように、上記部分領域の組み合わせを多数用意しておいて、その組み合わせを１つの候補として、ＡｄａＢｏｏｓｔで選択するようにしてもよい。実際にＡｄａＢｏｏｓｔを適用して、部分領域やその組み合わせを決める方法については、後述する入力パターン識別部６の説明で詳述する。部分領域の数は、処理時間などに応じて予め所定の数を決めておくとよい。また、予め用意した学習用サンプルに対して、十分な識別性能を得られる数を計測して決めるなどとしてもよい。
【００２６】
本実施形態では、変動画像生成部３０の後に部分領域設定部３２という順番に構成されているが、これは逆の順番でもよい。すなわち、先に部分領域設定部３２が部分領域を設定した上で、その部分領域に対して、変動画像生成部３０が変動画像を生成してもよい。
【００２７】
特徴ベクトル抽出部３３は、変動登録画像から部分特徴抽出を行う。ここでは登録変動画像からの抽出であるため登録部分特徴の抽出（図５の「特徴ベクトル抽出、変換」のうちの抽出の処理）となる。本実施形態ではＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量を部分領域から抽出し、特徴ベクトルとしている。この部分領域とは画像中の一定の大きさの矩形領域を指す。特徴ベクトルとしては、この他に、画像の輝度値やその他の特徴量を特徴ベクトルとして抽出してもよい。上述の通り、変動画像は複数種類あるため、変動画像の種類毎に特徴ベクトルを抽出する。また、特徴ベクトルを抽出する際には、輝度値を直接取得するのではなく、ガボアフィルタなど何らかのフィルタ演算を施した結果から特徴ベクトルを抽出してもよい。特徴ベクトル抽出部３３で行われる処理の内容については後述する。また、本実施形態のように、変動画像から特徴ベクトルを抽出せずに、元の画像データ（登録画像）から抽出した特徴ベクトルを、あたかも変動画像から抽出した特徴ベクトルとなるような変換を行う変動特徴生成器を設けてもよい。こうすることにより、変動画像を生成し、記憶しておく必要がなくなる。ただし、変動画像生成部３０で行う画像変換の種類によっては、変動特徴生成器で行う変換は非線形変換となることがあるため、近似計算等が必要な場合がある。
【００２８】
特徴ベクトル変換部３４は、特徴ベクトル抽出部３３によって抽出された特徴ベクトルに所定の変換を施す（図５の特徴ベクトル抽出、変換のうちの変換）。特徴ベクトルの変換は、例えば、主成分分析（ＰＣＡ）による次元圧縮や、独立成分分析（ＩＣＡ）による次元圧縮などが行われる。また、局所性保存射影（ＬＰＰ）や、局所フィッシャー判別分析（ＬＦＤＡ）による次元圧縮を行ってもよい。
特徴ベクトルの変換方法にＰＣＡを用いた場合、その基底数（特徴ベクトルの次元削減数）や、どの基底を用いるか、などのパラメタが存在する。基底数の代わりに、基底ベクトルに対応する固有値の和、すなわち累積寄与率を指標としてもよい。これらのパラメタを部分領域毎に異なったものにしてもよいし、変動画像毎に異なったものにしてもよい。実際にどのようなパラメタを設定するかは、予め機械学習によって決めることができる。
【００２９】
特徴ベクトル変換用データ保持部３５は、特徴ベクトル変換部３４において、特徴ベクトルの変換を行う際に必要なデータを保持している。ここで、特徴ベクトルの変換に必要なデータとは、上述のような基底数（次元削減数）などの設定情報や、予め学習によって求めておいた基底ベクトルの数値データなどである。
【００３０】
図６は、変動画像生成部３０および画像変換用パラメタ保持部３１で行われる処理の一例を示すフローチャートである。このフローチャートでは、始めに、変動画像生成部３０は、入力された画像データを取得する（Ｓ１０）。次に、変動画像生成部３０は、取得した画像に対して行う画像変換のパラメタを画像変換用パラメタ保持部３１から取得する（Ｓ１１）。このパラメタは画像変換方法および、その変換パラメタから構成される。続いて、変動画像生成部３０は、これらの取得した画像データおよび画像変換のパラメタを用いて、画像変換を行う（Ｓ１２）。画像変換として画像ボケ（ガウシアン）フィルタを用いた場合の変換式を以下に示す。
【００３１】
【数１】
【００３２】
ｘ，ｙは、それぞれ画素位置のｘ座標、ｙ座標を表し、Ａは（式２）を満たすための正規化項を表わす。σは画像ボケ（ガウシアン）フィルタのパラメタで、これが大きいほど輝度の低周波成分の抽出度合いが強くなり、小さいほど弱くなる。このような画像変換により変動登録画像を生成する。ここで行う処理は、この他にエッジ強調フィルタ、コントラストフィルタといった公知の空間フィルタなどを用いることができるが、その他の画像変換手法を用いてもよい。また、画像変換を行っていない元画像も、変動登録画像として含めてもよい。
【００３３】
図６に示すフローチャートに戻り、変動画像生成部３０は、所定のパラメタによる変換が全て終了したか否かの判定を行う（Ｓ１３）。終了していなければ（Ｓ１３でＮｏの場合）、Ｓ１１に戻り、変動画像生成部３０は、残りの変換パラメタで変換を行う。終了しているならば（Ｓ１３でＹｅｓの場合）、変動画像生成部３０は、画像変換した変動画像データおよび画像変換に用いたパラメタを関連付けて保持し（Ｓ１４）、処理を完了する。
【００３４】
図７は、特徴ベクトル抽出部３３および特徴ベクトル変換部３４等で行われる処理の一例を示すフローチャートである。始めに、部分領域設定部３２が部分領域の設定情報を取得する（Ｓ２０）。続いて、部分領域設定部３２は、画像記録部４から対象パターンの登録変動画像データを取得する（Ｓ２１）。部分領域設定部３２は、取得した登録変動画像データからＳ２０で取得した部分領域の情報に基づいて部分領域画像データを切り出し（Ｓ２２）、特徴ベクトル抽出部３３は、部分領域画像データから特徴量を取得する（Ｓ２３）。ここでは１種類の特徴量を抽出する。
【００３５】
上述した通り、特徴ベクトル抽出部３３は、ＬＢＰ特徴量を抽出し、特徴ベクトルとするが、典型的には、輝度画像の画素値をそのまま特徴ベクトルとして抽出してもよいし、その他の特徴量抽出手法を用いてもよい。特徴ベクトル変換部３４は、Ｓ２３で取得した特徴ベクトルに対して、特徴ベクトル変換用データ保持部３５から取得した設定に従って、所定の変換を行う（Ｓ２４）。上述したように、典型的には、ＰＣＡによる次元削減や、ＩＣＡによる次元削減などを特徴ベクトルに対して行う。この際、取得した特徴ベクトルに対して、所定の統計値、典型的には、平均ベクトルや、要素の最大値などを求めておいてもよい。また、部分特徴として、画像から切り出した位置の情報を記録するようにしてもよい。後述するように、登録パターンと入力パターン間で対応する部分特徴の比較・評価を行うために、対応関係を示す識別子を記録するようにしてもよい。これらの情報は、登録パターン辞書データ生成部２１の出力として、特徴ベクトルと共に出力するようにするとよい。以上が、特徴ベクトル抽出部３３および特徴ベクトル変換部３４等で行われる処理の一例の説明である。
以上のような処理を行って、部分領域を設定し、特徴ベクトルを抽出した後に、特徴ベクトルを変換したデータを、登録パターン辞書データ生成部２１の出力として、登録パターン辞書データ保持部２２に格納する。
【００３６】
＜入力パターン識別部＞
次に、入力パターン識別処理について説明する。図８は、入力パターン識別部６の構成の一例を示すブロック図である。図８に示すように、入力パターン識別部６は、入力パターン識別用データ生成部４１、登録パターン辞書データ取得部４２、入力パターン識別演算部４３を含んで構成されている。
入力パターン識別用データ生成部４１は、画像記録部４から取得した画像データから対象パターンの識別に必要な情報の抽出を行う。
登録パターン辞書データ取得部４２は、パターン登録部５から入力パターンの識別に必要な辞書データを取得する。
入力パターン識別演算部４３は、入力パターン識別用データ生成部４１から取得した識別用データと、登録パターン辞書データ取得部４２から取得した辞書データとから入力パターンの識別処理を行う。ここで行われる処理については、後述する。
【００３７】
図９は、入力パターン識別部６で行われる識別処理の一例を示すフローチャートである。まず、登録パターン辞書データ取得部４２は、パターン登録部５から登録パターン辞書データを取得する（Ｓ３０）。次に、入力パターン識別用データ生成部４１は、画像記録部４より入力パターンの画像データを取得する（Ｓ３１）。続いて、入力パターン識別演算部４３は、入力パターン識別用データ生成処理を行う（Ｓ３２）。ここで行われる処理については、後述する。次に、入力パターン識別演算部４３は、入力パターン識別演算処理を行う（Ｓ３３）。入力パターン識別演算処理の出力として、登録済みデータ（辞書データ）との一致をバイナリ（０ｏｒ１）で出力する場合と、正規化した出力値を（０〜１の実数値）尤度として出力する場合が考えられる。さらに登録パターン（登録者）が複数（複数人）ある場合には、それぞれの登録パターン（登録者）に対して、尤度を出力しても良いが、最も良く一致した登録パターンに対する結果だけを出力しても良い。また、登録パターンに対する尤度ではなく、登録パターンが属するカテゴリに対しての尤度を出力してもよい。すなわち、人物の場合には、個々の登録顔画像への結果ではなく、人物のＩＤ（名前）に対する尤度を出力するようにする。なお、入力パターン識別演算処理の具体的な内容についても、後述する。以上が、入力パターン識別部６における処理の一例を示すフローチャートの説明である。
【００３８】
＜入力パターン識別用データ生成部＞
図１０は、入力パターン識別用データ生成部４１の構成の一例を示すブロック図である。図１０に示すように、入力パターン識別用データ生成部４１は、変動画像生成部５０、画像変換用パラメタ保持部５１、部分領域設定部５２、特徴ベクトル抽出部５３、特徴ベクトル変換部５４、特徴ベクトル変換用データ保持部５５を含んで構成されている。入力パターン識別用データ生成部４１の構成およびそこで行われる処理は、登録パターン辞書データ生成部２１とほぼ同じであるので、詳細の説明は割愛する。相違点として、変動画像生成部３０で生成される画像を変動入力画像と呼び、特徴ベクトル抽出部５３で抽出される特徴ベクトルを入力部分特徴と呼ぶ点が異なる。
【００３９】
＜入力パターン識別演算処理＞
入力パターン識別演算処理について説明する。ここでは、一例として、入力パターンの識別を対応する部分特徴間の類似性に基づいて判定する場合について説明する。図１１は、入力パターン識別演算部４３の構成の一例を示すブロック図である。入力パターン識別演算部４３は、入力パターン識別用データ取得部６１、登録パターン辞書データ取得部６２、部分特徴類似度算出部６３、部分特徴類似度統合部６４、識別結果算出部６５を含んで構成されている。
【００４０】
図１２は、入力パターン識別演算処理の一例を示すフローチャートである。以下、このフローチャートを用いて説明する。
まず、入力パターン識別用データ取得部６１は、入力パターン識別用データを取得する（Ｓ４０）。次に、登録パターン辞書データ取得部６２は、登録パターンの辞書データを取得する（Ｓ４１）。続いて、部分特徴類似度算出部６３は、Ｓ４０およびＳ４１で取得した入力パターン識別用データと登録パターン辞書データとのそれぞれの特徴ベクトルから、部分特徴類似度を算出する（Ｓ４２）。この特徴ベクトルは上述の通り、変動画像の部分領域から抽出した特徴量に変換を施したベクトルである。ここでは、類似度算出の方法として特徴ベクトル間の内積に基づくコサイン類似度を使用する。すなわち、入力パターン識別用データの特徴ベクトルをＶI、登録パターン辞書データの特徴ベクトルをＶR、ＶIとＶRがなす角をθとすると、コサイン類似度Ｓは、以下の式で表わされる。
【００４１】
【数２】
【００４２】
ただし、ＶI・ＶRはそれぞれＶIとＶRの内積、｜ＶI｜と｜ＶR｜は、それぞれのベクトルのノルムを表わす。本実施形態では、このコサイン類似度を使用したが、その他の方法を用いてもよい。続いて、部分特徴類似度算出部６３は、変動画像の全組み合わせについて、演算が終了したか否かを判定する（Ｓ４３）。これについても、変動画像の全組み合わせ以外にも、事前に定めておいた組み合わせについてのみ演算する方法などが考えられる。全組み合わせの演算が終了した場合（Ｓ４３でＹｅｓの場合）、部分特徴類似度統合部６４は、組み合わせの数だけ算出された部分特徴類似度の統合を行う（Ｓ４４）。統合方法の詳細は後述する。
【００４３】
次に、部分特徴類似度統合部６４は、Ｓ４４で統合した部分特徴類似度を、さらに部分領域全体にわたって統合し、識別結果算出部６５は、入力パターンと登録パターンの識別類似度算出を行う（Ｓ４５）。本実施形態では、統合の方法として、部分特徴類似度の高い順に上位から所定個数を平均する方法を用いているが、その他の手法を用いてもよい。
最後に、識別結果算出部６５は、全ての辞書データについて識別の演算が終了したか否かを判定する（Ｓ４６）。演算が終了していない登録パターン辞書データがある場合（Ｓ４６でＮｏの場合）、Ｓ４１に戻り、登録パターン辞書データ取得部６２は、まだ処理の完了していない人物の登録パターン辞書データに対して処理を行う。全ての人物の登録パターン辞書データの処理が終了している場合（Ｓ４６でＹｅｓの場合）、識別結果算出部６５は、識別類似度を保持する（Ｓ４７）。ここでは、入力パターン識別用データと各登録パターン辞書データ間の類似度を類似度最大のものを識別結果として保持する。他にも、全ての類似度をリストで保持する方法が考えられる。以上が、パターン識別演算処理の説明である。
【００４４】
＜部分特徴類似度統合＞
次に、部分特徴類似度統合処理について説明する。図１３は、部分特徴類似度統合部６４で行われる処理（Ｓ４４）の一例を示すフローチャートである。
まず、部分特徴類似度統合部６４は、部分特徴類似度データを取得する（Ｓ５１）。
次に、部分特徴類似度統合部６４は、複数ある部分特徴類似度を一つの値に統合する処理を行う（Ｓ５２）。ここでは、類似度最大基準での統合を行う。すなわち、取得した複数の部分特徴類似度の中から類似度最大のものを選択し、部分特徴類似度統合部６４は、それを統合結果として出力する。一般に、顔認証のような画像の詳細をマッチングする処理の場合には、他人同士の類似度が偶然高くなることは考えにくい。そのため、統合処理として、この類似度最大の選択を行うことにより、入力画像と登録画像間の照明変動差を軽減するような変換を施した上で、本当に本人同士ならば高い類似度、他人同士ならば低い類似度が得られることが期待できる。
最後に、部分特徴類似度統合部６４は、統合した部分特徴類似度のデータを保持する（Ｓ５３）。以上が、部分類似度統合処理の説明である。
【００４５】
このように、本実施形態では、登録画像および入力画像の複数の変動画像から、部分領域毎に、特徴ベクトルを抽出し、複数の変動画像の総当たりで算出した類似度の最大のものを選択し、部分領域毎の類似度を統合している。これにより、登録パターンと入力パターンの照明条件を明示的に算出することなく、両者の照明条件差を軽減した変動画像同士の類似度を得ることができる。また、部分領域毎の処理により、画像の部分的な照明条件差に対するロバスト性も期待できる。
【００４６】
（第２の実施形態）
本実施形態は、第１の実施形態の特徴ベクトル抽出部３３、入力パターン識別用データ生成部４１、入力パターン識別演算部４３および部分特徴類似度統合部６４が異なる。具体的には、第１の実施形態の特徴ベクトル抽出部３３は、抽出する特徴ベクトルの種類は１種類だけであったのに対して、第２の実施形態では複数種類の特徴ベクトルを抽出する点が異なる。また、複数種類の特徴ベクトルに応じた入力パターン識別演算および部分特徴類似度統合を行う点も第１の実施形態とは異なる。
【００４７】
以下、本実施形態について詳細に説明する。なお、重複を避けるため、以下の説明において、第１の実施形態と同じ部分は省略する。本実施形態に係るパターン識別装置１００全体のハードウェア構成は、第１の実施形態と同じであるので、説明を省略する。以下の説明では、第１の実施形態と区別するため、処理内容が異なる登録パターン辞書データ生成部を、複数特徴の登録パターン辞書データ生成部７０と呼ぶことにする。
また、本実施形態においても便宜上、識別対象のパターンを、画像中の人物の顔としているが、識別対象をその他のオブジェクトとしてもよい。
【００４８】
＜複数特徴の登録パターン辞書データ生成＞
図１４は、複数特徴の登録パターン辞書データ生成部７０の構成の一例を示すブロック図である。複数特徴の登録パターン辞書データ生成部７０は、変動画像生成部７１、画像変換パラメタ保持部７２、部分領域設定部７３、複数特徴ベクトル抽出部７４、特徴ベクトル変換部７５、特徴ベクトル変換用データ保持部７６を含んで構成されている。図１５は、複数特徴の登録パターン辞書データ生成部７０における処理を説明するための模式図であり、合わせて説明に用いる。変動画像生成部７１における処理は、第１の実施形態とほぼ同じであるため、省略する（図１５に示す「画像取得」および「変動画像生成」）。
【００４９】
図１６は、部分領域設定部７３、複数特徴ベクトル抽出部７４および特徴ベクトル変換部７５における処理を示すフローチャートである。以下、このフローチャートを用いて説明する。始めに、部分領域設定部７３は、部分領域の設定情報を取得し（Ｓ６０）、特徴ベクトルを抽出する対象である変動画像データを取得する（Ｓ６１）。部分領域設定部７３は、取得した変動画像データに部分領域を設定し（図１５に示す部分領域設定）、設定した部分領域から、複数特徴ベクトル抽出部７４は、複数の特徴ベクトルを抽出する（Ｓ６２）。ここでは、特徴ベクトルの種類として第１の実施形態でも使用したＬＢＰ特徴量とＨＯＧ特徴量、ＳＩＦＴ特徴量を抽出する（図１５に示す「特徴ベクトル抽出、変換」のうちの抽出の処理）。ここで、ＨＯＧは、Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓを表し、ＳＩＦＴはＳｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍを表す。なお、特徴ベクトルの抽出は、その他の公知の手法を用いることができる。特徴ベクトル変換部７５は、抽出した複数の特徴ベクトルを、特徴ベクトル変換用データ保持部７６から取得した変換用データを用いて変換を行う（Ｓ６３および図１５に示す「特徴ベクトル抽出、変換」のうちの変換の処理）。この変換用データは、変換する対象の特徴ベクトルの種類毎に用意しておく。
【００５０】
最後に、特徴ベクトル変換部７５は、所定の種類の特徴ベクトルを全て取得したか否かの判定を行う（Ｓ６４）。抽出していない特徴ベクトルが存在する場合（Ｓ６４でＮｏの場合）、Ｓ６２の処理に戻る。特徴ベクトルを全て取得している場合（Ｓ６４でＹｅｓの場合）、特徴ベクトル変換部７５は、抽出した全ての特徴ベクトルについて、特徴ベクトルの種類、抽出元の変動画像生成に用いたパラメタを関連づけて記憶し、保持する（Ｓ６５）。
以上が、複数特徴の登録パターン辞書データ生成部７０の説明である。
【００５１】
＜複数特徴の入力パターン生成＞
図１７は、複数特徴の入力パターン生成部８０の構成の一例を示すブロック図である。ここでの処理は＜複数特徴の登録パターン辞書データ生成＞とほぼ同じであるため詳細の説明は省略する。
【００５２】
＜複数特徴の入力パターン識別演算＞
図１８は、複数特徴の入力パターン識別演算部９０の構成の一例を示すブロック図である。複数特徴の入力パターン識別演算部９０は、入力パターン識別用データ取得部９１、登録パターン辞書データ取得部９２、同種部分特徴類似度算出部９３、特徴量別類似度統合部９４、部分特徴類似度統合部９５、識別結果算出部９６を含んで構成される。入力パターン識別用データ取得部９１と登録パターン辞書データ取得部９２の処理は、第１の実施形態と同様の処理であるため、省略する。
【００５３】
図１９は、複数特徴の入力パターン識別演算部９０の処理の一例を示すフローチャートである。以下、このフローチャートを用いて説明する。
まず、入力パターン識別用データ取得部９１は、入力パターン識別用データを取得する（Ｓ７０）。次に、登録パターン辞書データ取得部９２は、登録パターンの辞書データを取得する（Ｓ７１）。これらのデータは上述の通り、特徴ベクトルおよび特徴ベクトルの種類、抽出元の変動画像生成に用いたパラメタ、抽出した部分領域の情報、およびそれらの組み合わせ毎に抽出した特徴ベクトルを関連づけて記憶したデータである。同種部分特徴類似度算出部９３は、部分特徴類似度を算出する（Ｓ７２）。このとき、同種部分特徴類似度算出部９３は、異なる種類の特徴ベクトル間では計算できないため、同種類の特徴ベクトル間でのみ演算を行う。具体的には、同種部分特徴類似度算出部９３は、まず、登録パターン辞書データおよび入力パターン識別用データから処理を行う部分領域を選択し、その部分領域において同種類の特徴ベクトル間の類似度を算出する。そして、全ての部分領域ついてこの処理を行う。
【００５４】
次に、同種部分特徴類似度算出部９３は、所定の全ての変動画像の組み合わせについて演算が終了したか否かを判定する（Ｓ７３）。終了した場合（Ｓ７３でＹｅｓの場合）、Ｓ７４の処理に進み、終了していない場合（Ｓ７３でＮｏの場合）、Ｓ７２に戻る。
Ｓ７２では部分特徴類似度が変動画像の数だけ算出されるため、特徴量別類似度統合部９４は、これらの複数の値を一つの値にまとめる統合を行う（Ｓ７４）。ここでは、第１の実施形態と同じように、類似度の最大値を選択することで統合する。統合により、特徴ベクトルの種類の数だけ類似度が算出されるので、これをさらに次の処理で統合する。
【００５５】
特徴ベクトルの種類を表わすインデックスをｉ、特徴ベクトルの種類数をＮ、類似度の最大値選択により統合された特徴量毎の類似度をＳiと表わすと、Ｓiは特徴量毎に算出された類似度であるため、その値を単純に統合することはできない。なぜなら、特徴量は、その種類によって、高い類似度が出やすいもの、その逆の傾向を持つものなど傾向が異なるためである。そこで、部分特徴類似度統合部９５は、変動画像を生成した際の変動量の和の逆数を重み係数として、統合を行う（Ｓ７５）。統合の計算式は以下の通りである。
【００５６】
【数３】
【００５７】
ただし、ＤR，ＤIはそれぞれ、登録パターン辞書データおよび入力パターン識別用データにおける変動画像生成の際の、変動画像の元の画像からの変動量である。このような重み付けの統合をすることにより、以下のような効果が期待できる。すなわち、変動画像生成の際の変動量が大きい際には、人の顔のような詳細を識別するのに必要な情報量は失われていると考えられるので、その変動画像間で算出された類似度の寄与を低くすることができる。逆に変動量が少ない場合には、元画像からのかい離が少ないため、情報量が残されていると考えられるため、その変動画像間での類似度の寄与を大きくすることができる。この統合方法以外にも、単純に類似度の和ΣNiSiを用いる方法なども考えられる。変動量ＤR，ＤIの算出方法としては、変動画像を生成する際に用いたパラメタ、（式１）におけるσを用いる。他の算出方法として、変動画像と元画像について画素毎の差分平均をとってもよい。
【００５８】
この統合により算出された統合部分特徴類似度を、識別結果算出部９６が、画像全体にわたって統合を行い、最終的な識別結果を得る（Ｓ７６）。この処理は、第１の実施形態と同様であるため省略する。最後に、識別結果算出部９６は、全辞書データについて演算が終了したか否かの判定を行い（Ｓ７７）、終了していない場合（Ｓ７７でＮｏの場合）、Ｓ７１に戻り処理を行う。終了している場合（Ｓ７７でＹｅｓの場合）、識別結果算出部９６は、登録辞書パターンの数だけある識別類似度を第１の実施形態と同様に、リストとして出力するか、最も類似度の高いパターンを識別結果として出力し、結果を保持する（Ｓ７８）。以上が、複数特徴の入力パターン識別演算の説明である。
【００５９】
第２の実施形態では、第１の実施形態と比べ、複数の変動画像から、一種類ではなく、複数種類の特徴ベクトルを抽出することで、ある特徴量では頑健ではない照明条件の差を他の特徴量で対応することができる、という効果を期待できる。また、特徴量の種類毎に算出される類似度を、変動画像とその元画像との変動量の逆数で重み付けして統合することにより、変動画像の変動量が大きい場合は、そこから算出される類似度の寄与を小さく、逆に変動量が小さい場合には大きくすることができる。これにより、極端に大きな変動を与えられたことにより算出された、異常な類似度（例えば、極端に高い強度でかけたぼかしフィルタの変動画像同士の類似度は非常に高い数値になる）の影響を受けない、という効果を期待できる。
【００６０】
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能である。上述した本発明の実施形態におけるパターン識別装置を構成する各手段、並びにパターン識別方法の各工程は、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【符号の説明】
【００６１】
１：結像光学系 ２：撮像部 ３：撮像制御部 ４：画像記録部 ５：パターン登録部 ６：入力パターン識別部 ７：外部出力部 ８：接続バス ２１：登録パターン辞書生成部 ２２：登録パターン辞書データ保持部 ２３：登録パターン辞書データ選択部 ３０：変動画像生成部 ３１：画像変換用パラメタ保持部 ３２：部分領域設定部 ３３：特徴ベクトル抽出部 ３４：特徴ベクトル変換部 ３５：特徴ベクトル変換用データ保持部 ４１：入力パターン識別用データ生成部 ４２：登録パターン辞書データ取得部 ４３：入力パターン識別演算部 ５０：変動画像生成部 ５１：画像変換用パラメタ保持部 ５２：部分領域設定部 ５３：特徴ベクトル抽出部 ５４：特徴ベクトル変換部 ５５：特徴ベクトル変換用データ保持部 ６１：入力パターン識別用データ取得部 ６２：登録パターン辞書データ取得部 ６３：部分特徴類似度算出部 ６４：部分特徴類似度統合部 ６５：識別結果算出部 ７０：複数特徴の登録パターン辞書データ生成部 ７１：変動画像生成部 ７２：画像変換用パラメタ保持部 ７３：部分領域設定部 ７４：複数特徴ベクトル抽出部 ７５：特徴ベクトル変換部 ７６：特徴ベクトル変換用データ保持部 ８０：複数特徴の入力パターンデータ生成部 ８１：変動画像生成部 ８２：画像変換用パラメタ保持部 ８３：部分領域設定部 ８４：複数特徴ベクトル抽出部 ８５：特徴ベクトル変換部 ８６：特徴ベクトル変換用データ保持部 ９０：複数特徴入力パターン識別演算部 ９１：入力パターン識別用データ取得部 ９２：登録パターン辞書データ取得部 ９３：同種部分特徴類似度算出部 ９４：特徴量別類似度統合部 ９５：部分特徴類似度統合部 ９６：識別結果算出部
【技術分野】
【０００１】
本発明は、識別対象のパターンが照明条件の違いによる影響を受けた場合であっても高精度かつ効率的に識別を行うことができるパターン識別装置等に関する。
【背景技術】
【０００２】
パターン認識における識別技術、典型的には、画像データ中の被写体であるオブジェクトが、別の画像中の被写体であるオブジェクトと同一のものであると識別する技術として、例えば個人の顔を識別する顔識別技術がある。以下、パターン識別とは、パターンの個体の違い（例えば、個人としての人物の違い）を判定することを意味する。一方、パターンの検出は、個体を区別せず同じ範疇に入るものを判定する（例えば、個人を区別せず、顔を検出する）ことを意味するものとする。
【０００３】
顔識別技術として、例えば非特許文献１のような方法がある。
このような、パターン（具体的には人物の顔）の識別を行う装置および方法において、識別性能を低下させる要因として、入力パターンと登録パターン間における照明条件の違いが挙げられる。照明条件が異なることで、顔全体の明暗の変化や顔の陰影の付き方が変化することで、識別性能が大幅に低下してしまう。
【０００４】
特許文献１では、明示的な照明条件検出手段を設けることで照明変動に対応している。すなわち、入力画像と登録画像間の照明条件のずれを検出し、そのずれ量に応じた前処理を入力画像または登録画像あるいはその両方に行い、両者の照明条件を近づけた上で、顔認証を行うことで、照明条件にロバストな顔認証を行っている。
【０００５】
また、特許文献２では、照明条件の差を吸収するための部分空間を事前に用意しておき、識別の際に、入力画像および登録画像のパターンをその部分空間に射影した上で、顔認証を行っている。これにより照明条件にロバストな顔認証を行っている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−５３７７４号公報
【特許文献２】特開２００７−７９７１０号公報
【非特許文献】
【０００７】
【非特許文献１】"Learning Patch Correspondences for Improved Viewpoint Invariant Face Recognition", A. B. Ashraf, S. Lucey, T. Chen, Carnegie Mellon University, IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), June, 2008.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、これらの方法は実用上の問題があると考えられる。例えば、特許文献１のように、明示的な照明条件検出手段を設けた場合には、その計算量が大きいだけでなく、照明条件検出手段を事前に大量の顔画像等を準備して学習しておかなければならない。また、特許文献２のように、部分空間を用いる方法でも同様に、事前に照明変動を吸収するような部分空間を、大量の顔画像等を準備して学習し、空間の基底データを記憶していなければならない。これは実用上の障害となってしまう。
【０００９】
また、これらの方法だけでは実環境における照明変動に十分に対応できていないと考えられる。例えば、顔全体にわたる照明変動ではなく、部分的な陰影を生じるような照明変動のような場合には、画像の部分領域を考慮していない、上述の方法だけでは対応が難しい。
【課題を解決するための手段】
【００１０】
本発明は、入力された画像のパターンが属するカテゴリを識別するパターン識別装置であって、所定の変動を加えた変動入力画像および変動登録画像を生成する変動画像生成手段と、前記変動入力画像から入力部分特徴を抽出し、前記変動登録画像の前記入力部分特徴に対応する登録部分特徴を抽出する部分特徴抽出手段と、前記入力部分特徴と前記登録部分特徴の部分特徴の類似度を、前記変動画像の所定の組み合わせ毎に算出する部分特徴類似度算出手段と、前記部分特徴類似度算出手段で計算された、少なくとも１つ以上の前記部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合手段と、前記統合部分特徴類似度を部分領域毎に所定の基準で統合し、前記入力画像および前記登録画像間の識別類似度を算出する識別類似度算出手段と、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、入力画像と登録画像に所定の前処理を部分領域毎に行うことにより、明示的な照明条件検出や事前の部分空間の学習を必要とせずに、全体的な照明変動および部分的な陰影の変動に対して、精度の高いパターン識別を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態のパターン識別装置の構成を示すブロック図である。
【図２】本実施形態のパターン識別装置の処理を示すフローチャートである。
【図３】パターン登録部の構成の一例を示すブロック図である。
【図４】登録パターン辞書データ生成部の構成の一例を示すブロック図である。
【図５】登録パターン辞書データ生成部の処理を説明するための模式図である。
【図６】変動画像生成部および画像変換用パラメタ保持部の処理を示すフローチャートである。
【図７】特徴ベクトル抽出部および特徴ベクトル変換部の処理を示すフローチャートである。
【図８】入力パターン識別部の構成の一例を示すブロック図である。
【図９】入力パターン識別処理を示すフローチャートである。
【図１０】入力パターン識別用データ生成部の構成の一例を示すブロック図である。
【図１１】入力パターン識別演算部の構成の一例を示すブロック図である。
【図１２】入力パターン識別演算処理を示すフローチャートである。
【図１３】部分特徴類似度統合部の処理を示すフローチャートである。
【図１４】複数特徴の登録パターン辞書データ生成部の構成の一例を示すブロック図である。
【図１５】複数特徴の登録パターン辞書データ生成部の処理を説明するための模式図である。
【図１６】複数特徴ベクトル抽出処理を示すフローチャートである。
【図１７】複数特徴の入力パターン生成部の構成の一例を示すブロック図である。
【図１８】複数特徴の入力パターン識別演算部の構成の一例を示すブロック図である。
【図１９】複数特徴の入力パターン識別演算部の処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本実施形態に係るパターン識別装置について説明する。
（第１の実施形態）
図１は、本実施形態に係るパターン識別装置１００の構成を示すブロック図である。パターン識別装置１００は、結像光学系１、撮像部２、撮像制御部３、画像記録部４、パターン登録部５、入力パターン識別部６、パターン識別結果を出力する外部出力部７、各構成要素の制御・データ接続を行うための接続バス８を含んで構成されている。なお、パターン登録部５および入力パターン識別部６は、典型的には、それぞれ専用回路（ＡＳＩＣ）、プロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ、ＣＰＵなど）であってもよい。また、単一の専用回路および汎用回路（ＰＣ用ＣＰＵ）内部において実行されるプログラムとして存在してもよい。
【００１４】
結像光学系１は、ズーム機構を備えた光学レンズで構成される。また、結像光学系１は、パン・チルト軸方向の駆動機構を備えていてもよい。
撮像部２の映像センサとしては、典型的にはＣＣＤまたはＣＭＯＳイメージセンサが用いられる。撮像部２は、不図示のセンサ駆動回路からの読み出し制御信号により所定の映像信号（例えば、サブサンプリング、ブロック読み出しして得られる信号）を画像データとして出力する。
撮像制御部３は、撮影者からの指示（画角調整指示、シャッター押下など）およびパターン登録部５または入力パターン識別部６からの情報に基づいて、実際に撮影が行われるタイミングを制御する。
【００１５】
画像記録部４は、半導体メモリ等で構成され、撮像部２から転送された画像データを保持し、パターン登録部５、入力パターン識別部６からの要求に応じて所定のタイミングで画像データを転送する。
パターン登録部５は、画像データから識別の対象とするオブジェクトの情報を抽出し、記録・保持する。パターン登録部５のより詳細な構成および実際に行われる処理の具体的な内容については、後述する。
入力パターン識別部６は、画像データおよびパターン登録部５から取得したデータに基づいて、パターン、より典型的には、画像データ中のオブジェクトの識別を行う。入力パターン識別部６に関して、具体的な構成および行われる処理の詳細については、後述する。
【００１６】
外部出力部７は、典型的には、ＣＲＴやＴＦＴ液晶などのモニタであり、撮像部２および画像記録部４から取得した画像データを表示、または、画像データにパターン登録部５および入力パターン識別部６の結果出力を重畳表示する。また、パターン登録部５および入力パターン識別部６の結果出力を電子データとして、外部メモリなどに出力する形式をとってもよい。
接続バス８は、上記構成要素間の制御・データ接続を行うためのバスである。
【００１７】
＜全体フロー＞
図２は、本実施形態に係るパターン識別装置の全体処理の一例を示すフローチャートである。図２を参照しながら、パターン識別装置１００が、入力パターンの識別を行う実際の処理について説明する。なお、以下では、識別するパターンが人物の顔である場合について説明するが、本発明の対象はこれに限るものではない。
始めに、入力パターン識別部６は、画像記録部４から画像データを取得する（Ｓ１）。続いて、入力パターン識別部６は、取得した画像データに対して、人の顔の検出処理を行う（Ｓ０２）。画像中から、人物の顔を検出する方法については、公知の技術を用いればよい。例えば、「特許３０７８１６６号公報」や「特開２００２−８０３２号公報」で提案されているような技術を用いることができる。
【００１８】
入力パターン識別部６は、対象オブジェクトである人物の顔の検出処理をした後、画像中に人の顔が存在するか否かを判定する（Ｓ３）。存在する場合（Ｓ３でＹｅｓの場合）、入力パターン識別部６は、入力パターン識別処理、即ち個人の識別処理を行う（Ｓ４）。画像中に人の顔が存在しない場合（Ｓ３でＮｏの場合）、入力パターン識別部６は、処理を終了する。入力パターン識別処理（Ｓ４）の具体的な処理内容については、後述する。
入力パターン識別部６は、入力パターン識別処理の結果から、登録済みの人物に該当する顔があるか判定する（Ｓ５）。入力パターン識別部６はＳ１で検出された顔と同一人物が、登録済みの人物の中にあるか否かを判定し（Ｓ４）、ある場合（Ｓ５でＹｅｓの場合）、Ｓ８の処理に進む。検出された顔が登録済み人物の誰とも一致しない場合（Ｓ５でＮｏの場合）、入力パターン識別部６は、その人物を登録するかを判定する（Ｓ６）。これは、予め設定されている場合もあるが、例えばユーザが外部インターフェースやＧＵＩなどを通じて、その場で登録するかどうか決定するようにしても良い。
【００１９】
登録すると判定された場合（Ｓ６でＹｅｓの場合）、入力パターン識別部６は、後述するパターン（人物の顔）の登録処理を行う（Ｓ７）。登録を行わない場合（Ｓ６でＮｏの場合）、そのまま処理を続行する。
パターン登録処理（Ｓ７）の後およびＳ６で登録を行わない場合、入力パターン識別部６は、検出されたパターン全てについて処理が終了したか否かを判定する（Ｓ８）。未処理のパターンがある場合（Ｓ８でＮｏの場合）、Ｓ４に戻る。検出された全てのパターンについて処理が終了した場合（Ｓ８でＹｅｓの場合）入力パターン識別部６は、一連の入力パターン識別処理の結果を外部出力部７に出力する。
以上が、本実施形態に係るパターン識別装置１００の全体の処理フローである。
【００２０】
＜パターン登録部＞
パターン登録処理について説明する。図３は、パターン登録部５の構成の一例を示すブロック図である。図３に示すように、パターン登録部５は、登録パターン辞書データ生成部２１、登録パターン辞書データ保持部２２、登録パターン辞書データ選択部２３を含んで構成されている。
【００２１】
登録パターン辞書データ生成部２１は、画像記録部４から取得した画像データから、パターンの個体を識別するために必要な登録パターン辞書データを生成する。ここでは、顔画像が同一のカテゴリであるか、別のカテゴリであるかの問題を判別するため、人物の顔画像から生成したデータを辞書データとして登録する。同一人物の複数枚の画像で登録することも考えられるが、本実施形態では一人につき１枚の画像を用いることとする。よって登録パターン辞書データは登録した人数の分だけ生成されることになる。画像を登録する際は、顔検出処理によって検出された人物の顔画像データを、大きさや向き（面内回転方向）などを正規化した後、登録パターン辞書データ保持部２２に格納するようにしてもよい。画像データそのものではなく、識別時に必要なデータのみを保持するようにすることによって、辞書データ量を削減することもできる。当該パターンの部分領域のベクトル相関をとって識別演算を行う場合、予めその部分領域のみを切り出しておけばよい。
【００２２】
以上のように、登録パターン辞書データ生成部２１では、適宜必要な情報を画像から抽出し、後述する所定の変換を行った後、パターンの識別を行うための特徴ベクトルとして、登録パターン辞書データ保持部２２に格納する。登録パターン辞書データ生成部２１で行われる具体的な処理の内容については、後述する。登録パターン辞書データ選択部２３は、後述する入力パターン識別部６の要求に応じて、登録パターン辞書データ保持部２２から必要な登録パターン辞書データを読み出して、入力パターン識別部６に登録パターン辞書データを転送する。
【００２３】
＜登録パターン辞書データ生成部＞
図４は、登録パターン辞書データ生成部２１の構成の一例を示すブロック図である。図４に示すように、登録パターン辞書データ生成部２１は、変動画像生成部３０、画像変換用パラメタ保持部３１、部分領域設定部３２、特徴ベクトル抽出部３３、特徴ベクトル変換部３４、特徴ベクトル変換用データ保持部３５を含んで構成されている。図５は、登録パターン辞書データ生成部２１における処理の模式図を示しており、説明の補助として合わせて用いる。
【００２４】
変動画像生成部３０は、画像データに対して画像変換用パラメタ保持部３１から変換用パラメタを取得し、画像変換を行い、変動登録画像を生成する（図５の画像取得および変動画像生成）。ここで用いる変換用パラメタは１種類だけでなく、複数種類用意しておき、変動登録画像を複数種類生成しておく。この処理の詳細は、後述する。部分領域設定部３２は、画像データおよび変動画像データに対して、特徴ベクトル抽出部３３が特徴ベクトルを抽出する位置と範囲を設定する（図５の部分領域設定）。
【００２５】
部分領域の位置と範囲は、識別の対象が人の顔である場合には、顔の器官位置を基準とした領域を機械学習の方法を用いて予め決めておくとよい。例えば、部分領域の候補を複数設定しておいて、上記複数候補から、ＡｄａＢｏｏｓｔを用いて選択するようにしてもよい。また、後述するように、上記部分領域の組み合わせを多数用意しておいて、その組み合わせを１つの候補として、ＡｄａＢｏｏｓｔで選択するようにしてもよい。実際にＡｄａＢｏｏｓｔを適用して、部分領域やその組み合わせを決める方法については、後述する入力パターン識別部６の説明で詳述する。部分領域の数は、処理時間などに応じて予め所定の数を決めておくとよい。また、予め用意した学習用サンプルに対して、十分な識別性能を得られる数を計測して決めるなどとしてもよい。
【００２６】
本実施形態では、変動画像生成部３０の後に部分領域設定部３２という順番に構成されているが、これは逆の順番でもよい。すなわち、先に部分領域設定部３２が部分領域を設定した上で、その部分領域に対して、変動画像生成部３０が変動画像を生成してもよい。
【００２７】
特徴ベクトル抽出部３３は、変動登録画像から部分特徴抽出を行う。ここでは登録変動画像からの抽出であるため登録部分特徴の抽出（図５の「特徴ベクトル抽出、変換」のうちの抽出の処理）となる。本実施形態ではＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量を部分領域から抽出し、特徴ベクトルとしている。この部分領域とは画像中の一定の大きさの矩形領域を指す。特徴ベクトルとしては、この他に、画像の輝度値やその他の特徴量を特徴ベクトルとして抽出してもよい。上述の通り、変動画像は複数種類あるため、変動画像の種類毎に特徴ベクトルを抽出する。また、特徴ベクトルを抽出する際には、輝度値を直接取得するのではなく、ガボアフィルタなど何らかのフィルタ演算を施した結果から特徴ベクトルを抽出してもよい。特徴ベクトル抽出部３３で行われる処理の内容については後述する。また、本実施形態のように、変動画像から特徴ベクトルを抽出せずに、元の画像データ（登録画像）から抽出した特徴ベクトルを、あたかも変動画像から抽出した特徴ベクトルとなるような変換を行う変動特徴生成器を設けてもよい。こうすることにより、変動画像を生成し、記憶しておく必要がなくなる。ただし、変動画像生成部３０で行う画像変換の種類によっては、変動特徴生成器で行う変換は非線形変換となることがあるため、近似計算等が必要な場合がある。
【００２８】
特徴ベクトル変換部３４は、特徴ベクトル抽出部３３によって抽出された特徴ベクトルに所定の変換を施す（図５の特徴ベクトル抽出、変換のうちの変換）。特徴ベクトルの変換は、例えば、主成分分析（ＰＣＡ）による次元圧縮や、独立成分分析（ＩＣＡ）による次元圧縮などが行われる。また、局所性保存射影（ＬＰＰ）や、局所フィッシャー判別分析（ＬＦＤＡ）による次元圧縮を行ってもよい。
特徴ベクトルの変換方法にＰＣＡを用いた場合、その基底数（特徴ベクトルの次元削減数）や、どの基底を用いるか、などのパラメタが存在する。基底数の代わりに、基底ベクトルに対応する固有値の和、すなわち累積寄与率を指標としてもよい。これらのパラメタを部分領域毎に異なったものにしてもよいし、変動画像毎に異なったものにしてもよい。実際にどのようなパラメタを設定するかは、予め機械学習によって決めることができる。
【００２９】
特徴ベクトル変換用データ保持部３５は、特徴ベクトル変換部３４において、特徴ベクトルの変換を行う際に必要なデータを保持している。ここで、特徴ベクトルの変換に必要なデータとは、上述のような基底数（次元削減数）などの設定情報や、予め学習によって求めておいた基底ベクトルの数値データなどである。
【００３０】
図６は、変動画像生成部３０および画像変換用パラメタ保持部３１で行われる処理の一例を示すフローチャートである。このフローチャートでは、始めに、変動画像生成部３０は、入力された画像データを取得する（Ｓ１０）。次に、変動画像生成部３０は、取得した画像に対して行う画像変換のパラメタを画像変換用パラメタ保持部３１から取得する（Ｓ１１）。このパラメタは画像変換方法および、その変換パラメタから構成される。続いて、変動画像生成部３０は、これらの取得した画像データおよび画像変換のパラメタを用いて、画像変換を行う（Ｓ１２）。画像変換として画像ボケ（ガウシアン）フィルタを用いた場合の変換式を以下に示す。
【００３１】
【数１】
【００３２】
ｘ，ｙは、それぞれ画素位置のｘ座標、ｙ座標を表し、Ａは（式２）を満たすための正規化項を表わす。σは画像ボケ（ガウシアン）フィルタのパラメタで、これが大きいほど輝度の低周波成分の抽出度合いが強くなり、小さいほど弱くなる。このような画像変換により変動登録画像を生成する。ここで行う処理は、この他にエッジ強調フィルタ、コントラストフィルタといった公知の空間フィルタなどを用いることができるが、その他の画像変換手法を用いてもよい。また、画像変換を行っていない元画像も、変動登録画像として含めてもよい。
【００３３】
図６に示すフローチャートに戻り、変動画像生成部３０は、所定のパラメタによる変換が全て終了したか否かの判定を行う（Ｓ１３）。終了していなければ（Ｓ１３でＮｏの場合）、Ｓ１１に戻り、変動画像生成部３０は、残りの変換パラメタで変換を行う。終了しているならば（Ｓ１３でＹｅｓの場合）、変動画像生成部３０は、画像変換した変動画像データおよび画像変換に用いたパラメタを関連付けて保持し（Ｓ１４）、処理を完了する。
【００３４】
図７は、特徴ベクトル抽出部３３および特徴ベクトル変換部３４等で行われる処理の一例を示すフローチャートである。始めに、部分領域設定部３２が部分領域の設定情報を取得する（Ｓ２０）。続いて、部分領域設定部３２は、画像記録部４から対象パターンの登録変動画像データを取得する（Ｓ２１）。部分領域設定部３２は、取得した登録変動画像データからＳ２０で取得した部分領域の情報に基づいて部分領域画像データを切り出し（Ｓ２２）、特徴ベクトル抽出部３３は、部分領域画像データから特徴量を取得する（Ｓ２３）。ここでは１種類の特徴量を抽出する。
【００３５】
上述した通り、特徴ベクトル抽出部３３は、ＬＢＰ特徴量を抽出し、特徴ベクトルとするが、典型的には、輝度画像の画素値をそのまま特徴ベクトルとして抽出してもよいし、その他の特徴量抽出手法を用いてもよい。特徴ベクトル変換部３４は、Ｓ２３で取得した特徴ベクトルに対して、特徴ベクトル変換用データ保持部３５から取得した設定に従って、所定の変換を行う（Ｓ２４）。上述したように、典型的には、ＰＣＡによる次元削減や、ＩＣＡによる次元削減などを特徴ベクトルに対して行う。この際、取得した特徴ベクトルに対して、所定の統計値、典型的には、平均ベクトルや、要素の最大値などを求めておいてもよい。また、部分特徴として、画像から切り出した位置の情報を記録するようにしてもよい。後述するように、登録パターンと入力パターン間で対応する部分特徴の比較・評価を行うために、対応関係を示す識別子を記録するようにしてもよい。これらの情報は、登録パターン辞書データ生成部２１の出力として、特徴ベクトルと共に出力するようにするとよい。以上が、特徴ベクトル抽出部３３および特徴ベクトル変換部３４等で行われる処理の一例の説明である。
以上のような処理を行って、部分領域を設定し、特徴ベクトルを抽出した後に、特徴ベクトルを変換したデータを、登録パターン辞書データ生成部２１の出力として、登録パターン辞書データ保持部２２に格納する。
【００３６】
＜入力パターン識別部＞
次に、入力パターン識別処理について説明する。図８は、入力パターン識別部６の構成の一例を示すブロック図である。図８に示すように、入力パターン識別部６は、入力パターン識別用データ生成部４１、登録パターン辞書データ取得部４２、入力パターン識別演算部４３を含んで構成されている。
入力パターン識別用データ生成部４１は、画像記録部４から取得した画像データから対象パターンの識別に必要な情報の抽出を行う。
登録パターン辞書データ取得部４２は、パターン登録部５から入力パターンの識別に必要な辞書データを取得する。
入力パターン識別演算部４３は、入力パターン識別用データ生成部４１から取得した識別用データと、登録パターン辞書データ取得部４２から取得した辞書データとから入力パターンの識別処理を行う。ここで行われる処理については、後述する。
【００３７】
図９は、入力パターン識別部６で行われる識別処理の一例を示すフローチャートである。まず、登録パターン辞書データ取得部４２は、パターン登録部５から登録パターン辞書データを取得する（Ｓ３０）。次に、入力パターン識別用データ生成部４１は、画像記録部４より入力パターンの画像データを取得する（Ｓ３１）。続いて、入力パターン識別演算部４３は、入力パターン識別用データ生成処理を行う（Ｓ３２）。ここで行われる処理については、後述する。次に、入力パターン識別演算部４３は、入力パターン識別演算処理を行う（Ｓ３３）。入力パターン識別演算処理の出力として、登録済みデータ（辞書データ）との一致をバイナリ（０ｏｒ１）で出力する場合と、正規化した出力値を（０〜１の実数値）尤度として出力する場合が考えられる。さらに登録パターン（登録者）が複数（複数人）ある場合には、それぞれの登録パターン（登録者）に対して、尤度を出力しても良いが、最も良く一致した登録パターンに対する結果だけを出力しても良い。また、登録パターンに対する尤度ではなく、登録パターンが属するカテゴリに対しての尤度を出力してもよい。すなわち、人物の場合には、個々の登録顔画像への結果ではなく、人物のＩＤ（名前）に対する尤度を出力するようにする。なお、入力パターン識別演算処理の具体的な内容についても、後述する。以上が、入力パターン識別部６における処理の一例を示すフローチャートの説明である。
【００３８】
＜入力パターン識別用データ生成部＞
図１０は、入力パターン識別用データ生成部４１の構成の一例を示すブロック図である。図１０に示すように、入力パターン識別用データ生成部４１は、変動画像生成部５０、画像変換用パラメタ保持部５１、部分領域設定部５２、特徴ベクトル抽出部５３、特徴ベクトル変換部５４、特徴ベクトル変換用データ保持部５５を含んで構成されている。入力パターン識別用データ生成部４１の構成およびそこで行われる処理は、登録パターン辞書データ生成部２１とほぼ同じであるので、詳細の説明は割愛する。相違点として、変動画像生成部３０で生成される画像を変動入力画像と呼び、特徴ベクトル抽出部５３で抽出される特徴ベクトルを入力部分特徴と呼ぶ点が異なる。
【００３９】
＜入力パターン識別演算処理＞
入力パターン識別演算処理について説明する。ここでは、一例として、入力パターンの識別を対応する部分特徴間の類似性に基づいて判定する場合について説明する。図１１は、入力パターン識別演算部４３の構成の一例を示すブロック図である。入力パターン識別演算部４３は、入力パターン識別用データ取得部６１、登録パターン辞書データ取得部６２、部分特徴類似度算出部６３、部分特徴類似度統合部６４、識別結果算出部６５を含んで構成されている。
【００４０】
図１２は、入力パターン識別演算処理の一例を示すフローチャートである。以下、このフローチャートを用いて説明する。
まず、入力パターン識別用データ取得部６１は、入力パターン識別用データを取得する（Ｓ４０）。次に、登録パターン辞書データ取得部６２は、登録パターンの辞書データを取得する（Ｓ４１）。続いて、部分特徴類似度算出部６３は、Ｓ４０およびＳ４１で取得した入力パターン識別用データと登録パターン辞書データとのそれぞれの特徴ベクトルから、部分特徴類似度を算出する（Ｓ４２）。この特徴ベクトルは上述の通り、変動画像の部分領域から抽出した特徴量に変換を施したベクトルである。ここでは、類似度算出の方法として特徴ベクトル間の内積に基づくコサイン類似度を使用する。すなわち、入力パターン識別用データの特徴ベクトルをＶI、登録パターン辞書データの特徴ベクトルをＶR、ＶIとＶRがなす角をθとすると、コサイン類似度Ｓは、以下の式で表わされる。
【００４１】
【数２】
【００４２】
ただし、ＶI・ＶRはそれぞれＶIとＶRの内積、｜ＶI｜と｜ＶR｜は、それぞれのベクトルのノルムを表わす。本実施形態では、このコサイン類似度を使用したが、その他の方法を用いてもよい。続いて、部分特徴類似度算出部６３は、変動画像の全組み合わせについて、演算が終了したか否かを判定する（Ｓ４３）。これについても、変動画像の全組み合わせ以外にも、事前に定めておいた組み合わせについてのみ演算する方法などが考えられる。全組み合わせの演算が終了した場合（Ｓ４３でＹｅｓの場合）、部分特徴類似度統合部６４は、組み合わせの数だけ算出された部分特徴類似度の統合を行う（Ｓ４４）。統合方法の詳細は後述する。
【００４３】
次に、部分特徴類似度統合部６４は、Ｓ４４で統合した部分特徴類似度を、さらに部分領域全体にわたって統合し、識別結果算出部６５は、入力パターンと登録パターンの識別類似度算出を行う（Ｓ４５）。本実施形態では、統合の方法として、部分特徴類似度の高い順に上位から所定個数を平均する方法を用いているが、その他の手法を用いてもよい。
最後に、識別結果算出部６５は、全ての辞書データについて識別の演算が終了したか否かを判定する（Ｓ４６）。演算が終了していない登録パターン辞書データがある場合（Ｓ４６でＮｏの場合）、Ｓ４１に戻り、登録パターン辞書データ取得部６２は、まだ処理の完了していない人物の登録パターン辞書データに対して処理を行う。全ての人物の登録パターン辞書データの処理が終了している場合（Ｓ４６でＹｅｓの場合）、識別結果算出部６５は、識別類似度を保持する（Ｓ４７）。ここでは、入力パターン識別用データと各登録パターン辞書データ間の類似度を類似度最大のものを識別結果として保持する。他にも、全ての類似度をリストで保持する方法が考えられる。以上が、パターン識別演算処理の説明である。
【００４４】
＜部分特徴類似度統合＞
次に、部分特徴類似度統合処理について説明する。図１３は、部分特徴類似度統合部６４で行われる処理（Ｓ４４）の一例を示すフローチャートである。
まず、部分特徴類似度統合部６４は、部分特徴類似度データを取得する（Ｓ５１）。
次に、部分特徴類似度統合部６４は、複数ある部分特徴類似度を一つの値に統合する処理を行う（Ｓ５２）。ここでは、類似度最大基準での統合を行う。すなわち、取得した複数の部分特徴類似度の中から類似度最大のものを選択し、部分特徴類似度統合部６４は、それを統合結果として出力する。一般に、顔認証のような画像の詳細をマッチングする処理の場合には、他人同士の類似度が偶然高くなることは考えにくい。そのため、統合処理として、この類似度最大の選択を行うことにより、入力画像と登録画像間の照明変動差を軽減するような変換を施した上で、本当に本人同士ならば高い類似度、他人同士ならば低い類似度が得られることが期待できる。
最後に、部分特徴類似度統合部６４は、統合した部分特徴類似度のデータを保持する（Ｓ５３）。以上が、部分類似度統合処理の説明である。
【００４５】
このように、本実施形態では、登録画像および入力画像の複数の変動画像から、部分領域毎に、特徴ベクトルを抽出し、複数の変動画像の総当たりで算出した類似度の最大のものを選択し、部分領域毎の類似度を統合している。これにより、登録パターンと入力パターンの照明条件を明示的に算出することなく、両者の照明条件差を軽減した変動画像同士の類似度を得ることができる。また、部分領域毎の処理により、画像の部分的な照明条件差に対するロバスト性も期待できる。
【００４６】
（第２の実施形態）
本実施形態は、第１の実施形態の特徴ベクトル抽出部３３、入力パターン識別用データ生成部４１、入力パターン識別演算部４３および部分特徴類似度統合部６４が異なる。具体的には、第１の実施形態の特徴ベクトル抽出部３３は、抽出する特徴ベクトルの種類は１種類だけであったのに対して、第２の実施形態では複数種類の特徴ベクトルを抽出する点が異なる。また、複数種類の特徴ベクトルに応じた入力パターン識別演算および部分特徴類似度統合を行う点も第１の実施形態とは異なる。
【００４７】
以下、本実施形態について詳細に説明する。なお、重複を避けるため、以下の説明において、第１の実施形態と同じ部分は省略する。本実施形態に係るパターン識別装置１００全体のハードウェア構成は、第１の実施形態と同じであるので、説明を省略する。以下の説明では、第１の実施形態と区別するため、処理内容が異なる登録パターン辞書データ生成部を、複数特徴の登録パターン辞書データ生成部７０と呼ぶことにする。
また、本実施形態においても便宜上、識別対象のパターンを、画像中の人物の顔としているが、識別対象をその他のオブジェクトとしてもよい。
【００４８】
＜複数特徴の登録パターン辞書データ生成＞
図１４は、複数特徴の登録パターン辞書データ生成部７０の構成の一例を示すブロック図である。複数特徴の登録パターン辞書データ生成部７０は、変動画像生成部７１、画像変換パラメタ保持部７２、部分領域設定部７３、複数特徴ベクトル抽出部７４、特徴ベクトル変換部７５、特徴ベクトル変換用データ保持部７６を含んで構成されている。図１５は、複数特徴の登録パターン辞書データ生成部７０における処理を説明するための模式図であり、合わせて説明に用いる。変動画像生成部７１における処理は、第１の実施形態とほぼ同じであるため、省略する（図１５に示す「画像取得」および「変動画像生成」）。
【００４９】
図１６は、部分領域設定部７３、複数特徴ベクトル抽出部７４および特徴ベクトル変換部７５における処理を示すフローチャートである。以下、このフローチャートを用いて説明する。始めに、部分領域設定部７３は、部分領域の設定情報を取得し（Ｓ６０）、特徴ベクトルを抽出する対象である変動画像データを取得する（Ｓ６１）。部分領域設定部７３は、取得した変動画像データに部分領域を設定し（図１５に示す部分領域設定）、設定した部分領域から、複数特徴ベクトル抽出部７４は、複数の特徴ベクトルを抽出する（Ｓ６２）。ここでは、特徴ベクトルの種類として第１の実施形態でも使用したＬＢＰ特徴量とＨＯＧ特徴量、ＳＩＦＴ特徴量を抽出する（図１５に示す「特徴ベクトル抽出、変換」のうちの抽出の処理）。ここで、ＨＯＧは、Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓを表し、ＳＩＦＴはＳｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍを表す。なお、特徴ベクトルの抽出は、その他の公知の手法を用いることができる。特徴ベクトル変換部７５は、抽出した複数の特徴ベクトルを、特徴ベクトル変換用データ保持部７６から取得した変換用データを用いて変換を行う（Ｓ６３および図１５に示す「特徴ベクトル抽出、変換」のうちの変換の処理）。この変換用データは、変換する対象の特徴ベクトルの種類毎に用意しておく。
【００５０】
最後に、特徴ベクトル変換部７５は、所定の種類の特徴ベクトルを全て取得したか否かの判定を行う（Ｓ６４）。抽出していない特徴ベクトルが存在する場合（Ｓ６４でＮｏの場合）、Ｓ６２の処理に戻る。特徴ベクトルを全て取得している場合（Ｓ６４でＹｅｓの場合）、特徴ベクトル変換部７５は、抽出した全ての特徴ベクトルについて、特徴ベクトルの種類、抽出元の変動画像生成に用いたパラメタを関連づけて記憶し、保持する（Ｓ６５）。
以上が、複数特徴の登録パターン辞書データ生成部７０の説明である。
【００５１】
＜複数特徴の入力パターン生成＞
図１７は、複数特徴の入力パターン生成部８０の構成の一例を示すブロック図である。ここでの処理は＜複数特徴の登録パターン辞書データ生成＞とほぼ同じであるため詳細の説明は省略する。
【００５２】
＜複数特徴の入力パターン識別演算＞
図１８は、複数特徴の入力パターン識別演算部９０の構成の一例を示すブロック図である。複数特徴の入力パターン識別演算部９０は、入力パターン識別用データ取得部９１、登録パターン辞書データ取得部９２、同種部分特徴類似度算出部９３、特徴量別類似度統合部９４、部分特徴類似度統合部９５、識別結果算出部９６を含んで構成される。入力パターン識別用データ取得部９１と登録パターン辞書データ取得部９２の処理は、第１の実施形態と同様の処理であるため、省略する。
【００５３】
図１９は、複数特徴の入力パターン識別演算部９０の処理の一例を示すフローチャートである。以下、このフローチャートを用いて説明する。
まず、入力パターン識別用データ取得部９１は、入力パターン識別用データを取得する（Ｓ７０）。次に、登録パターン辞書データ取得部９２は、登録パターンの辞書データを取得する（Ｓ７１）。これらのデータは上述の通り、特徴ベクトルおよび特徴ベクトルの種類、抽出元の変動画像生成に用いたパラメタ、抽出した部分領域の情報、およびそれらの組み合わせ毎に抽出した特徴ベクトルを関連づけて記憶したデータである。同種部分特徴類似度算出部９３は、部分特徴類似度を算出する（Ｓ７２）。このとき、同種部分特徴類似度算出部９３は、異なる種類の特徴ベクトル間では計算できないため、同種類の特徴ベクトル間でのみ演算を行う。具体的には、同種部分特徴類似度算出部９３は、まず、登録パターン辞書データおよび入力パターン識別用データから処理を行う部分領域を選択し、その部分領域において同種類の特徴ベクトル間の類似度を算出する。そして、全ての部分領域ついてこの処理を行う。
【００５４】
次に、同種部分特徴類似度算出部９３は、所定の全ての変動画像の組み合わせについて演算が終了したか否かを判定する（Ｓ７３）。終了した場合（Ｓ７３でＹｅｓの場合）、Ｓ７４の処理に進み、終了していない場合（Ｓ７３でＮｏの場合）、Ｓ７２に戻る。
Ｓ７２では部分特徴類似度が変動画像の数だけ算出されるため、特徴量別類似度統合部９４は、これらの複数の値を一つの値にまとめる統合を行う（Ｓ７４）。ここでは、第１の実施形態と同じように、類似度の最大値を選択することで統合する。統合により、特徴ベクトルの種類の数だけ類似度が算出されるので、これをさらに次の処理で統合する。
【００５５】
特徴ベクトルの種類を表わすインデックスをｉ、特徴ベクトルの種類数をＮ、類似度の最大値選択により統合された特徴量毎の類似度をＳiと表わすと、Ｓiは特徴量毎に算出された類似度であるため、その値を単純に統合することはできない。なぜなら、特徴量は、その種類によって、高い類似度が出やすいもの、その逆の傾向を持つものなど傾向が異なるためである。そこで、部分特徴類似度統合部９５は、変動画像を生成した際の変動量の和の逆数を重み係数として、統合を行う（Ｓ７５）。統合の計算式は以下の通りである。
【００５６】
【数３】
【００５７】
ただし、ＤR，ＤIはそれぞれ、登録パターン辞書データおよび入力パターン識別用データにおける変動画像生成の際の、変動画像の元の画像からの変動量である。このような重み付けの統合をすることにより、以下のような効果が期待できる。すなわち、変動画像生成の際の変動量が大きい際には、人の顔のような詳細を識別するのに必要な情報量は失われていると考えられるので、その変動画像間で算出された類似度の寄与を低くすることができる。逆に変動量が少ない場合には、元画像からのかい離が少ないため、情報量が残されていると考えられるため、その変動画像間での類似度の寄与を大きくすることができる。この統合方法以外にも、単純に類似度の和ΣNiSiを用いる方法なども考えられる。変動量ＤR，ＤIの算出方法としては、変動画像を生成する際に用いたパラメタ、（式１）におけるσを用いる。他の算出方法として、変動画像と元画像について画素毎の差分平均をとってもよい。
【００５８】
この統合により算出された統合部分特徴類似度を、識別結果算出部９６が、画像全体にわたって統合を行い、最終的な識別結果を得る（Ｓ７６）。この処理は、第１の実施形態と同様であるため省略する。最後に、識別結果算出部９６は、全辞書データについて演算が終了したか否かの判定を行い（Ｓ７７）、終了していない場合（Ｓ７７でＮｏの場合）、Ｓ７１に戻り処理を行う。終了している場合（Ｓ７７でＹｅｓの場合）、識別結果算出部９６は、登録辞書パターンの数だけある識別類似度を第１の実施形態と同様に、リストとして出力するか、最も類似度の高いパターンを識別結果として出力し、結果を保持する（Ｓ７８）。以上が、複数特徴の入力パターン識別演算の説明である。
【００５９】
第２の実施形態では、第１の実施形態と比べ、複数の変動画像から、一種類ではなく、複数種類の特徴ベクトルを抽出することで、ある特徴量では頑健ではない照明条件の差を他の特徴量で対応することができる、という効果を期待できる。また、特徴量の種類毎に算出される類似度を、変動画像とその元画像との変動量の逆数で重み付けして統合することにより、変動画像の変動量が大きい場合は、そこから算出される類似度の寄与を小さく、逆に変動量が小さい場合には大きくすることができる。これにより、極端に大きな変動を与えられたことにより算出された、異常な類似度（例えば、極端に高い強度でかけたぼかしフィルタの変動画像同士の類似度は非常に高い数値になる）の影響を受けない、という効果を期待できる。
【００６０】
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能である。上述した本発明の実施形態におけるパターン識別装置を構成する各手段、並びにパターン識別方法の各工程は、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラムおよびこのプログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【符号の説明】
【００６１】
１：結像光学系 ２：撮像部 ３：撮像制御部 ４：画像記録部 ５：パターン登録部 ６：入力パターン識別部 ７：外部出力部 ８：接続バス ２１：登録パターン辞書生成部 ２２：登録パターン辞書データ保持部 ２３：登録パターン辞書データ選択部 ３０：変動画像生成部 ３１：画像変換用パラメタ保持部 ３２：部分領域設定部 ３３：特徴ベクトル抽出部 ３４：特徴ベクトル変換部 ３５：特徴ベクトル変換用データ保持部 ４１：入力パターン識別用データ生成部 ４２：登録パターン辞書データ取得部 ４３：入力パターン識別演算部 ５０：変動画像生成部 ５１：画像変換用パラメタ保持部 ５２：部分領域設定部 ５３：特徴ベクトル抽出部 ５４：特徴ベクトル変換部 ５５：特徴ベクトル変換用データ保持部 ６１：入力パターン識別用データ取得部 ６２：登録パターン辞書データ取得部 ６３：部分特徴類似度算出部 ６４：部分特徴類似度統合部 ６５：識別結果算出部 ７０：複数特徴の登録パターン辞書データ生成部 ７１：変動画像生成部 ７２：画像変換用パラメタ保持部 ７３：部分領域設定部 ７４：複数特徴ベクトル抽出部 ７５：特徴ベクトル変換部 ７６：特徴ベクトル変換用データ保持部 ８０：複数特徴の入力パターンデータ生成部 ８１：変動画像生成部 ８２：画像変換用パラメタ保持部 ８３：部分領域設定部 ８４：複数特徴ベクトル抽出部 ８５：特徴ベクトル変換部 ８６：特徴ベクトル変換用データ保持部 ９０：複数特徴入力パターン識別演算部 ９１：入力パターン識別用データ取得部 ９２：登録パターン辞書データ取得部 ９３：同種部分特徴類似度算出部 ９４：特徴量別類似度統合部 ９５：部分特徴類似度統合部 ９６：識別結果算出部
【特許請求の範囲】
【請求項１】
入力された画像のパターンが属するカテゴリを識別するパターン識別装置であって、
所定の変動を加えた変動入力画像および変動登録画像を生成する変動画像生成手段と、
前記変動入力画像から入力部分特徴を抽出し、前記変動登録画像の前記入力部分特徴に対応する登録部分特徴を抽出する部分特徴抽出手段と、
前記入力部分特徴と前記登録部分特徴の部分特徴の類似度を、前記変動画像の所定の組み合わせ毎に算出する部分特徴類似度算出手段と、
前記部分特徴類似度算出手段で計算された、少なくとも１つ以上の前記部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合手段と、
前記統合部分特徴類似度を部分領域毎に所定の基準で統合し、前記入力画像および前記登録画像間の識別類似度を算出する識別類似度算出手段と、を有することを特徴とするパターン識別装置。
【請求項２】
前記部分特徴類似度統合手段は、前記部分特徴類似度の最大値を前記統合部分特徴類似度とすることを特徴とする請求項１に記載のパターン識別装置。
【請求項３】
前記部分特徴類似度統合手段は、前記変動画像生成手段で加えた変動の大きさを基準として前記部分特徴類似度を統合することを特徴とする請求項１に記載のパターン識別装置。
【請求項４】
前記部分特徴類似度算出手段が前記部分特徴類似度を算出する際に用いる、前記変動画像の所定の組み合わせは、前記変動画像の総当たりであることを特徴とする請求項１に記載のパターン識別装置。
【請求項５】
入力された画像のパターンが属するカテゴリを識別するパターン識別方法であって、
所定の変動を加えた変動入力画像および変動登録画像を生成する変動画像生成工程と、
前記変動入力画像から入力部分特徴を抽出し、前記変動登録画像の前記入力部分特徴に対応する登録部分特徴を抽出する部分特徴抽出工程と、
前記入力部分特徴と前記登録部分特徴の部分特徴の類似度を、前記変動画像の所定の組み合わせ毎に算出する部分特徴類似度算出工程と、
前記部分特徴類似度算出工程で計算された、少なくとも１つ以上の前記部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合工程と、
前記統合部分特徴類似度を部分領域毎に所定の基準で統合し、前記入力画像および前記登録画像間の識別類似度を算出する識別類似度算出工程と、を有することを特徴とするパターン識別方法。
【請求項６】
入力された画像のパターンが属するカテゴリを識別するパターン識別するためのプログラムであって、
所定の変動を加えた変動入力画像および変動登録画像を生成する変動画像生成工程と、
前記変動入力画像から入力部分特徴を抽出し、前記変動登録画像の前記入力部分特徴に対応する登録部分特徴を抽出する部分特徴抽出工程と、
前記入力部分特徴と前記登録部分特徴の部分特徴の類似度を、前記変動画像の所定の組み合わせ毎に算出する部分特徴類似度算出工程と、
前記部分特徴類似度算出工程で計算された、少なくとも１つ以上の前記部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合工程と、
前記統合部分特徴類似度を部分領域毎に所定の基準で統合し、前記入力画像および前記登録画像間の識別類似度を算出する識別類似度算出工程と、をコンピュータに実行させるためのプログラム。
【請求項１】
入力された画像のパターンが属するカテゴリを識別するパターン識別装置であって、
所定の変動を加えた変動入力画像および変動登録画像を生成する変動画像生成手段と、
前記変動入力画像から入力部分特徴を抽出し、前記変動登録画像の前記入力部分特徴に対応する登録部分特徴を抽出する部分特徴抽出手段と、
前記入力部分特徴と前記登録部分特徴の部分特徴の類似度を、前記変動画像の所定の組み合わせ毎に算出する部分特徴類似度算出手段と、
前記部分特徴類似度算出手段で計算された、少なくとも１つ以上の前記部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合手段と、
前記統合部分特徴類似度を部分領域毎に所定の基準で統合し、前記入力画像および前記登録画像間の識別類似度を算出する識別類似度算出手段と、を有することを特徴とするパターン識別装置。
【請求項２】
前記部分特徴類似度統合手段は、前記部分特徴類似度の最大値を前記統合部分特徴類似度とすることを特徴とする請求項１に記載のパターン識別装置。
【請求項３】
前記部分特徴類似度統合手段は、前記変動画像生成手段で加えた変動の大きさを基準として前記部分特徴類似度を統合することを特徴とする請求項１に記載のパターン識別装置。
【請求項４】
前記部分特徴類似度算出手段が前記部分特徴類似度を算出する際に用いる、前記変動画像の所定の組み合わせは、前記変動画像の総当たりであることを特徴とする請求項１に記載のパターン識別装置。
【請求項５】
入力された画像のパターンが属するカテゴリを識別するパターン識別方法であって、
所定の変動を加えた変動入力画像および変動登録画像を生成する変動画像生成工程と、
前記変動入力画像から入力部分特徴を抽出し、前記変動登録画像の前記入力部分特徴に対応する登録部分特徴を抽出する部分特徴抽出工程と、
前記入力部分特徴と前記登録部分特徴の部分特徴の類似度を、前記変動画像の所定の組み合わせ毎に算出する部分特徴類似度算出工程と、
前記部分特徴類似度算出工程で計算された、少なくとも１つ以上の前記部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合工程と、
前記統合部分特徴類似度を部分領域毎に所定の基準で統合し、前記入力画像および前記登録画像間の識別類似度を算出する識別類似度算出工程と、を有することを特徴とするパターン識別方法。
【請求項６】
入力された画像のパターンが属するカテゴリを識別するパターン識別するためのプログラムであって、
所定の変動を加えた変動入力画像および変動登録画像を生成する変動画像生成工程と、
前記変動入力画像から入力部分特徴を抽出し、前記変動登録画像の前記入力部分特徴に対応する登録部分特徴を抽出する部分特徴抽出工程と、
前記入力部分特徴と前記登録部分特徴の部分特徴の類似度を、前記変動画像の所定の組み合わせ毎に算出する部分特徴類似度算出工程と、
前記部分特徴類似度算出工程で計算された、少なくとも１つ以上の前記部分特徴類似度を所定の基準で統合した統合部分特徴類似度を算出する部分特徴類似度統合工程と、
前記統合部分特徴類似度を部分領域毎に所定の基準で統合し、前記入力画像および前記登録画像間の識別類似度を算出する識別類似度算出工程と、をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−２３４５００（Ｐ２０１２−２３４５００Ａ）
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１１−１０４６２１（Ｐ２０１１−１０４６２１）
【出願日】平成２３年５月９日（２０１１．５．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２３年５月９日（２０１１．５．９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]