画像処理装置および方法、並びにプログラム
【課題】簡単に画像の識別性能を向上させることができるようにする。
【解決手段】角度組合せ別学習辞書保持部４４は、入力顔の向いている方向を示す角度と、登録顔の向いている方向を示す角度との組合せごとに、入力顔と登録顔との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を少なくとも含んでいる角度組合せ別学習辞書４４Ａを保持し、角度組合せ別学習辞書選択部４３は、入力顔角度情報および登録顔角度情報に基づいて、角度組合せ別学習辞書４４Ａのなかから、学習辞書ＬＬ乃至ＲＲのいずれかを選択する。そして、顔類似度推定部４５は、選択された角度組合せ別学習辞書４４Ａに含まれる特徴点の位置に対応する、入力顔と登録顔のそれぞれから抽出された特徴量に基づいて、入力顔と登録顔との顔の類似度を推定する。本発明は、画像を識別する画像識別装置に適用できる。
【解決手段】角度組合せ別学習辞書保持部４４は、入力顔の向いている方向を示す角度と、登録顔の向いている方向を示す角度との組合せごとに、入力顔と登録顔との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を少なくとも含んでいる角度組合せ別学習辞書４４Ａを保持し、角度組合せ別学習辞書選択部４３は、入力顔角度情報および登録顔角度情報に基づいて、角度組合せ別学習辞書４４Ａのなかから、学習辞書ＬＬ乃至ＲＲのいずれかを選択する。そして、顔類似度推定部４５は、選択された角度組合せ別学習辞書４４Ａに含まれる特徴点の位置に対応する、入力顔と登録顔のそれぞれから抽出された特徴量に基づいて、入力顔と登録顔との顔の類似度を推定する。本発明は、画像を識別する画像識別装置に適用できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、簡単に、画像の識別性能を向上させることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、顔画像が同一人物のものであるか否かを識別するための各種の技術が提案されている。
【０００３】
本出願人は、２つの特徴量の相関を用いて認識処理を行う場合の認識の精度を向上させる画像処理装置を発明し、特願２００６−３３２３０２号として既に特許出願（以下、先願と称する）している。
【０００４】
かかる先願においては、認識処理の精度を向上させることはできるものの、正面方向あるいは特定の方向を向いている顔しか精度よく識別することができない。これは、顔の向いている方向が変化すると、顔特徴の画像パターンが大幅に変化してしまうために、同一人物間の特徴量の類似性がなくなってしまうためである。
【０００５】
また、任意の方向を向いている顔を識別する手法としては、例えば、特許文献１が知られている。
【０００６】
この特許文献１においては、人の顔の標準的な立体形状モデルを用いることで、任意の方向を向いている顔を識別している。この手法では、異なる方向で撮像された２枚の顔画像を比較するため、一方の顔画像を顔立体形状モデルに貼り付け、他方の顔画像と同じ方向に相当する顔画像を合成することにより、異なる方向の顔識別を実現している。
【０００７】
また、Volker Blanzらにより発表されている論文、“Face Recognition Based on Fitting a 3D Morphable Model”では、標準３次元顔変形モデルを様々なパラメータを基に変形させて合成した顔画像から、入力顔画像に最も近似するパラメータを用いて顔識別を行う手法が提案されている。
【特許文献１】特開２０００−３２２５７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の特許文献１および論文を含む従来の技術においては、標準的な顔の立体形状モデルからCG（Computer Graphics）の手法を用いて、異なる方向の顔を合成する手法をベースとしているが、このような立体形状モデルを求めるためには、高精度な立体計測装置が必要となるため、一般的、特に家庭用の製品に搭載する際にはあらかじめ取得したデータから生成されたモデルしか使用することができない。
【０００９】
このため、モデルに合わないような顔形状の人物に合わせてモデルを更新することや、家族などの限定された少人数の識別に特化したモデルに変更することは極めて困難となる。
【００１０】
また、顔画像を標準的な顔立体形状モデルに当てはめて回転することにより合成した顔画像は、モデルと実際の顔形状との相違が大きい場合には正しく合成できないために識別性能が低下することが多く、３次元顔変形モデルをパラメータに基づき変形させて近似画像を求める手法は、計算に多くの時間を要するという問題がある。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、簡単に、画像の識別性能を向上させることができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の側面の画像処理装置は、人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せごとに、前記第１の顔画像と前記第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書を保持する保持手段と、前記第１の角度と前記第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている前記学習辞書を選択する選択手段と、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像と前記第２の顔画像から抽出された特徴量に基づいて、前記第１の顔画像と前記第２の顔画像との顔の類似度を推定する類似度推定手段とを備える。
【００１３】
推定した前記類似度に基づいて、前記第１の顔画像と前記第２の顔画像とを識別する識別手段をさらに備える。
【００１４】
前記第２の顔画像は、抽出された特徴量と、前記第２の角度とに対応付けられて、あらかじめ登録されている。
【００１５】
人を含んでいる画像から前記第１の顔画像の部分を検出する顔検出手段と、検出された前記第１の顔画像から前記顔の特徴となる顔特徴位置を検出する顔特徴検出手段と、検出された前記第１の顔画像および前記顔特徴位置に基づいて、前記第１の角度を推定する顔角度推定手段と、検出された前記第１の顔画像における前記顔特徴位置近傍の画像から特徴量を抽出する抽出手段とをさらに備え、前記選択手段は、推定された前記第１の角度と、登録されている前記第２の角度との組合せに応じて、前記学習辞書を選択し、前記類似度推定手段は、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像から抽出した特徴量と、登録されている前記第２の顔画像の特徴量に基づいて、前記類似度を推定する。
【００１６】
前記保持手段は、前記第１の角度の示す向きを、左方向、正面方向、および右方向の３段階とし、前記第２の角度を示す向きを、左方向、正面方向、および右方向の３段階とした場合、それらの方向のすべての組合せについての前記学習辞書を保持する。
【００１７】
前記学習辞書には、前記第１の顔画像と前記第２の顔画像とを識別する際の基準となる所定の閾値が含まれており、前記識別手段は、推定された前記類似度と前記閾値とを比較した結果に基づいて、前記第１の顔画像と前記第２の顔画像との顔が、同一人物であるか、あるいは別人物であるか否かを識別する。
【００１８】
本発明の第１の側面の画像処理方法は、人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の顔画像と前記第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像と前記第２の顔画像から抽出された特徴量に基づいて、前記第１の顔画像と前記第２の顔画像との顔の類似度を推定するステップを含む。
【００１９】
本発明の第１の側面のプログラムは、上述した本発明の第１の側面の画像処理方法に対応するプログラムである。
【００２０】
本発明の第１の側面の画像処理装置および方法、並びにプログラムにおいては、人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せごとに、第１の顔画像と第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書が保持され、第１の角度と第２の角度との組合せに応じて、第１の角度と第２の角度との組合せごとに保持されている学習辞書が選択され、選択された学習辞書に含まれる特徴点の位置に対応する、第１の顔画像と第２の顔画像から抽出された特徴量に基づいて、第１の顔画像と第２の顔画像との顔の類似度が推定される。
【００２１】
本発明の第２の側面の画像処理装置は、所定の形状と特徴を有する物体または生物を含んでいる第１の画像の前記物体または前記生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の前記物質または前記生物の向いている方向を示す第２の角度との組合せごとに、前記第１の画像と前記第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書を保持する保持手段と、前記第１の角度と前記第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている前記学習辞書を選択する選択手段と、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の画像と前記第２の画像から抽出された特徴量に基づいて、前記第１の画像と前記第２の画像との前記物体または前記生物の類似度を推定する類似度推定手段とを備える。
【００２２】
本発明の第２の側面の画像処理方法は、所定の形状と特徴を有する物体または生物を含んでいる第１の画像の前記物体または前記生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の前記物質または前記生物の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の画像と前記第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の画像と前記第２の画像から抽出された特徴量に基づいて、前記第１の画像と前記第２の画像との前記物体または前記生物の類似度を推定するステップを含む。
【００２３】
本発明の第２の側面のプログラムは、上述した本発明の第２の側面の画像処理方法に対応するプログラムである。
【００２４】
本発明の第２の側面の画像処理装置および方法、並びにプログラムにおいては、所定の形状と特徴を有する物体または生物を含んでいる第１の画像の物体または生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の物質または生物の向いている方向を示す第２の角度との組合せごとに、第１の画像と第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書が保持され、第１の角度と第２の角度との組合せに応じて、第１の角度と第２の角度との組合せごとに保持されている学習辞書が選択され、選択された学習辞書に含まれる特徴点の位置に対応する、第１の画像と第２の画像から抽出された特徴量に基づいて、第１の画像と第２の画像との物体または生物の類似度が推定される。
【発明の効果】
【００２５】
以上のように、本発明によれば、簡単に、画像の識別性能を向上させることができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００２７】
本発明は、入力された顔画像（以下、入力顔とも称する）の顔の向いている方向（角度）と、登録されている顔画像（以下、登録顔とも称する）の顔の向いている角度とが大幅に異なる場合、顔の各特徴点の画像パターンが大きく変化してしまい、それらの顔画像の識別処理を高い精度で行うことが困難になることに着目し、それらの角度の組合せに応じて、同一人物か別人物かの識別の際に用いられる特徴点や特徴量などの情報を、適切に選択する点に特徴がある。
【００２８】
そこで、はじめに、図１を参照して、入力顔と登録顔の向いている方向の組合せのパターンをパラメータとして、顔識別処理に取り入れることで、かかる顔識別の性能を向上させることが可能となる原理について説明する。
【００２９】
図１において、上段に示す入力顔は、左側を向いている顔（Ｌ）、正面を向いている顔（Ｆ）、右側を向いている顔（Ｒ）のそれぞれの画像を表しており、図１の例では、Ｌ，Ｆ，ＲのすべてがユーザＡの顔画像、すなわち、同一人物の顔画像となる。
【００３０】
また、入力顔の各顔画像と各種の点線で結ばれた登録顔は、上段の入力顔と同様に、左側を向いている顔（Ｌ）、正面を向いている顔（Ｆ）、右側を向いている顔（Ｒ）のそれぞれの画像を表している。図１の例では、Ｌ，Ｆは、ユーザＢ、ユーザＣの顔画像、すなわち、ユーザＡとは別人物の顔画像となり、ＲだけがユーザＡの顔画像、すなわち、ユーザＡと同一人物の顔画像となる。
【００３１】
図１の下段には、登録顔の各顔画像と各種の点線で結ばれた顔識別の結果が示されている。この顔識別結果は、同じ種類の点線で結ばれた入力顔と登録顔の組合せによる識別結果であり、例えば、入力顔Ｌと登録顔Ｌとの組合せについて注目すると、その組合せは、左側を向いているユーザＡの横顔と、左側を向いているユーザＢの横顔となるので、識別結果としては、ＬＬで示すように別人物となる。
【００３２】
同様にして、例えば、入力顔Ｌと登録顔Ｆとの組合せの場合、ＬＦは別人物となるが、入力顔Ｌと登録顔Ｒとの組合せの場合、左右の向いている方向は異なるものの、ともにユーザＡの横顔となるので、ＬＲは同一人物となる。
【００３３】
また、例えば、入力顔Ｆと、登録顔Ｌ，Ｆ，Ｒとをそれぞれ組み合わせた場合、ＦＬ，ＦＦは別人物となるが、ＦＲは同一人物となる。さらに同様にして、例えば、入力顔Ｒと、登録顔Ｌ，Ｆ，Ｒとをそれぞれ組み合わせた場合、ＲＬ，ＲＦは別人物となるが、ＲＲは同一人物となる。
【００３４】
このように、入力顔の向いている方向を、Ｌ，Ｆ，Ｒの３方向とし、登録顔の向いている方向を、Ｌ，Ｆ，Ｒの３方向とした場合、それらの角度の組合せは、ＬＬ，ＬＦ，ＬＲ，ＦＬ，ＦＦ，ＦＲ，ＲＬ，ＲＦ，ＲＲの９通りとなる。したがって、これらの角度の組合せごとに、どの特徴点におけるどの特徴量を用いて顔識別処理（顔画像の類似度を推定する処理）を行うべきかを示す情報を分類して保持し、顔識別処理の際に顔画像の角度の組合せに応じて参照することで、入力顔と登録顔との顔の向いている方向が異なっていても高い精度で顔識別を行うことが可能となる。
【００３５】
なお、図１の例では、９通りの角度の組合せのうち、ＬＦとＦＬ，ＬＲとＲＬ，ＦＲとＲＦは、入力顔と登録顔の向いている方向が逆であるものの、組合せとしては同じであるので、それぞれ、ＬＦ，ＬＲ，ＦＲのように、まとめて１つの組合せとしている。以下、説明を簡略にするために、本実施の形態においても、図１の例と同様に、それらの組合せをまとめて、ＬＬ，ＬＦ，ＬＲ，ＦＦ，ＦＲ，ＲＲの６通りの組合せで説明するが、勿論、９通りの組合せとしてもよいし、さらに、顔の向いている方向を、左方向、正面方向、右方向の３段階ではなく、さらに角度を細かく分けることで、角度の組合せを増やしてもよい。角度の組合せを増やした場合には、その組合せの数を増やした分だけ、顔識別の精度をさらに向上させることが可能となる。
【００３６】
また、図１を参照して説明した、角度の組合せごとに分類して保持される情報を、以下、角度組合せ別学習辞書と称して説明する。
【００３７】
次に、上述した原理によって、かかる角度組合せ別学習辞書を用いて、入力顔と登録顔の識別処理を行う画像識別装置について説明する。
【００３８】
図２は、本発明を適用した画像識別装置の一実施の形態の構成を示すブロック図である。
【００３９】
画像識別装置１は、例えば、デジタルカメラ、パーソナルコンピュータ、または監視カメラなどの、画像の識別処理を行う機器である。
【００４０】
図２に示すように、画像識別装置１は、画像取得部１１、顔検出部１２、顔特徴検出部１３、顔角度推定部１４、顔類似度推定部１５、登録顔データベース１６、および顔識別部１７を含むようにして構成される。
【００４１】
画像取得部１１は、例えば、カメラなどを含む構成とされ、人を撮像する機能を有するか、または、外部に備えられたカメラ若しくは他の装置から撮像された人の画像を取得する。つまり、画像取得部１１により取得される画像は、人の顔の部分が少なくとも含まれている画像である。画像取得部１１により取得された画像は、顔検出部１２に供給される。
【００４２】
なお、本実施の形態においては、人の顔画像の識別処理を一例にして説明するが、例えば、動物や自動車など、その他の物体を識別する処理にも適用することが可能である。すなわち、本発明は、所定の形状と特徴を有する物体または生物を含んでいる画像の識別処理にも適用することが可能である。
【００４３】
顔検出部１２は、画像取得部１１から供給される画像に対し、所定の画像解析処理を施すことで、人の顔の部分を抽出する。
【００４４】
具体的には、図３に示すように、顔検出部１２は、画像切り出し部２１、顔判定部２２、および顔学習データベース２３を含むようにして構成される。顔学習データベース２３には、所定の画像に含まれる顔の部分を抽出するために必要とされる統計的に学習された情報が格納されている。
【００４５】
ここでは、まず、画像切り出し部２１によって、画像取得部１１からの画像における所定の領域の画像（例えば20×20ピクセルの画像）が順次切り出され、顔判定部２２に供給される。続いて、顔判定部２２は、顔学習データベース２３に格納されている顔画像の抽出情報に基づいて、画像切り出し部２１から順次入力される切り出された画像が顔画像であるか否かを判定することで、人の顔の部分（顔の位置と大きさ）を抽出し、抽出された人の顔の部分の画像（顔画像）を検出する。
【００４６】
画像取得部１１から供給される画像は、認識対象のユーザの顔を含む画像であるが、例えば、全身像が撮影されているような画像など、顔の画像だけでない場合もある。顔検出部１２は、そのような画像を走査して、人の顔の領域を識別し、人の顔の部分に対応する画像を抽出する。このようにして検出された顔画像（入力顔）は、顔特徴検出部１３、顔角度推定部１４、および顔類似度推定部１５に供給される。
【００４７】
図２に戻り、顔特徴検出部１３は、顔検出部１２から供給された顔画像に対し、所定の画像解析処理を施すことで、例えば、目、鼻、口といった人の顔のなかでも特徴となる部分、すなわち、顔特徴部分を検出する。
【００４８】
具体的には、図４に示すように、顔特徴検出部１３は、画像切り出し部３１、顔特徴判定部３２、および顔特徴学習データベース３３を含むようにして構成される。顔特徴学習データベース３３には、所定の顔画像に含まれる顔特徴部分を抽出するために必要とされる統計的に学習された情報が格納されている。
【００４９】
ここでは、まず、画像切り出し部３１によって、顔検出部１２から供給される顔画像において、例えば目、鼻、口などの顔特徴部分が含まれると想定される様々な大きさの画像（例えば20×20ピクセルの画像）が順次切り出され、顔特徴判定部３２に供給される。続いて、顔特徴判定部３２は、顔特徴学習データベース３３に格納されている顔特徴部分の抽出情報に基づいて、画像切り出し部３１から順次入力される顔画像から切り出された画像に顔特徴部分が含まれるか否かを判定し、顔特徴部分を抽出する。
【００５０】
例えば、顔特徴判定部３２は、走査された顔画像の全体（あるいは顔画像の一部分であってもよい）について、顔特徴部分のそれぞれの特徴の度合いを表すスコアを付与し、最もスコアの高い位置と、その大きさを顔特徴位置として、顔角度推定部１４および顔類似度推定部１５に供給する。
【００５１】
なお、顔特徴検出部１３で行われる特徴検出処理は、顔検出部１２の顔検出処理と同様の手法を採用してもよいし、例えば、頬やおでこなど、上記の手法では特徴検出をするのが困難な特徴点、あるいは、顔全体の多数の特徴点の位置を角度によらず精度よく同定したい場合には、例えば、アダプティブサンプリング法と称される手法などを採用して特徴点を検出するようにしてもよい。
【００５２】
図２に戻り、顔角度推定部１４には、顔検出部１２からの顔画像と、顔特徴検出部１３からの顔特徴位置が供給される。顔角度推定部１４は、顔特徴位置に基づいて、顔画像（入力顔）の顔の向いている方向を推定し、入力顔角度情報として、顔類似度推定部１５に出力する。これにより、入力顔の向いている方向（角度）が求められる。
【００５３】
なお、入力顔の角度の推定方法は、顔画像と顔特徴位置を用いて求める方法に限らず、顔画像のみから推定してもよい。その場合、入力顔角度情報は、顔検出部１２によって検出してもよい。但し、より精度の高い入力顔角度情報を求めるには、顔画像と顔特徴位置の両方を用いるものとすると好適である。
【００５４】
登録顔データベース１６には、１または複数の登録顔が格納されており、各登録顔ごとに、登録顔の向いている方向を示す情報（以下、登録顔角度情報）と、登録顔の局所特徴量があらかじめ演算され格納されている。
【００５５】
すなわち、画像識別装置１は、例えば、新たな登録顔を登録顔データベース１６に登録する場合には、新たな登録顔に対し、所定の画像解析処理を施すことで、登録顔角度情報と局所特徴量とを取得し、当該登録顔と対応付けて格納する。登録顔を新たに登録する度に、かかる登録処理を実行することで、登録顔データベース１６には、登録顔角度情報と局所特徴量に対応付けられた登録顔が登録される。なお、登録処理においては、登録顔角度情報と局所特徴量の他に、例えば、登録顔の人物の名前、その他の個人情報なども、登録顔に対応付けて登録することができる。
【００５６】
顔類似度推定部１５には、顔検出部１２からの顔画像、顔特徴検出部１３からの顔特徴位置、顔角度推定部１４からの入力顔角度情報、並びに、登録顔データベース１６からの登録顔角度情報および局所特徴量がそれぞれ供給される。
【００５７】
顔類似度推定部１５は、入力顔角度情報と登録顔角度情報との組み合わせに応じた角度組合せ別学習辞書（図５の角度組合せ別学習辞書４４Ａ）を選択し、選択した角度組合せ別学習辞書に基づいて、類似度の推定に用いる特徴点と特徴量を決定し、入力顔と登録顔との顔の類似度を推定する。
【００５８】
ここで、図５を参照して、顔類似度推定部１５の詳細な構成について説明する。
【００５９】
図５に示すように、顔類似度推定部１５は、顔画像アライメント部４１、局所特徴量抽出部４２、角度組合せ別学習辞書選択部４３、角度組合せ別学習辞書保持部４４、および顔類似度推定部４５を含むようにして構成される。
【００６０】
顔画像アライメント部４１は、顔特徴検出部１３から供給される顔特徴位置、および、顔検出部１２から供給される顔画像を解析することで顔画像をアライメントし、アライメントされた顔画像を局所特徴量抽出部４２に供給する。
【００６１】
局所特徴量抽出部４２は、顔画像アライメント部４１から供給される顔画像における顔特徴位置近傍の画像に対し、局所特徴量の抽出を行う。
【００６２】
ここで、局所特徴量の抽出方法としては、例えば、顔特徴位置近傍の画像をそのまま用いて算出する方法や、特徴位置に対してガボアフィルタ（Gabor Filter）やガルシアンデリバティブフィルタ（Gaussian Derivative Filter）などの畳み込み演算を用いて算出する方法を適用することができる。
【００６３】
このようにして求められた入力顔の局所特徴量は、顔類似度推定部４５に供給される。
【００６４】
一方、角度組合せ別学習辞書選択部４３には、顔角度推定部１４からの入力顔角度情報と、登録顔データベース１６からの登録顔角度情報が供給される。角度組合せ別学習辞書選択部４３は、入力顔角度情報と登録顔角度情報との組合せに応じて、角度組合せ別学習辞書保持部４４に保持されている角度組合せ別学習辞書４４Ａを選択し、顔類似度推定部４５に供給する。
【００６５】
角度組合せ別学習辞書保持部４４は、顔画像の角度の組合せ別に、例えば、学習辞書ＬＬ，ＬＦ，ＬＲ，ＦＦ，ＦＲ，ＲＲの６つ角度組合せ別学習辞書４４Ａを保持している。これは、上記の本発明の原理でも説明したように、例えば、顔の向きを、左方向（Ｌ）、正面方向（Ｆ）、および右方向（Ｒ）の３段階に分ける場合には、角度組合せ別学習辞書４４Ａの組合せは、ＬＬ，ＬＦ，ＬＲ，ＦＦ，ＦＲ，ＲＲの６通り必要となるため、角度の組合せ別に６つの学習辞書を保持している。
【００６６】
角度組合せ別学習辞書４４Ａには、顔画像の各角度の組合せ別に、顔画像の類似度の推定時に着目する特徴点の位置とその特徴量の種類などに関する情報の他に、例えば、入力顔と登録顔とが同一人物となるか否かを識別する際に基準となる所定の閾値（以下、人物識別閾値と称する）その他の角度の組合せ別に付与して有用となる情報が記述される。
【００６７】
顔類似度推定部４５には、角度組合せ別学習辞書選択部４３からの角度の組合せに応じた角度組合せ別学習辞書４４Ａの他に、局所特徴量抽出部４２からの入力顔における複数の局所特徴量と、登録顔データベース１６からの登録顔における複数の局所特徴量とが入力される。
【００６８】
顔類似度推定部４５は、入力顔および登録顔のそれぞれにおける複数の局所特徴量のなかから、角度組合せ別学習辞書４４Ａに記述されている顔類似度を推定する際に着目すべき特徴点とその特徴量の種類に対応する、入力顔の局所特徴量と、登録顔の局所特徴量をそれぞれ取得する。そして、顔類似度推定部４５は、取得した入力顔の局所特徴量および登録顔の局所特徴量を用いて、所定の演算を行うことで、入力顔と登録顔と顔の類似度を推定する。
【００６９】
なお、この顔類似度は、例えば、正規化相関演算などの演算手法により求められる。
【００７０】
顔類似度推定部４５は、推定した顔類似度を、角度組合せ別学習辞書４４Ａに記述された人物識別閾値とともに、顔識別部１７に供給する。
【００７１】
顔識別部１７は、顔類似度推定部４５により推定された顔類似度を、人物識別閾値と比較し、顔類似度が人物識別閾値を超える場合、入力顔と登録顔との顔は同一人物であると識別する。一方、顔類似度が人物識別閾値以下となる場合、顔識別部１７は、入力顔と登録顔との顔は別人物であると識別する。顔識別部１７は、かかる識別結果を、後段のブロック（図示せず）に出力する。
【００７２】
以上のようにして、画像識別装置１は構成される。
【００７３】
次に、かかる画像識別装置１で行われる処理について説明する。
【００７４】
はじめに、図６のフローチャートを参照して、図１の画像識別装置１により実行される顔識別処理について説明する。
【００７５】
ステップＳ１において、画像取得部１１は、例えば、カメラにより撮像された画像など、人の顔の部分を少なくとも含まれている画像を取得し、顔検出部１２に供給する。
【００７６】
ステップＳ２において、顔検出部１２は、画像取得部１１から供給される画像に対し、顔検出処理を行い、人の顔の部分含んでいる画像から、顔画像を検出する。顔検出部１２は、検出した顔画像を、顔特徴検出部１３、顔角度推定部１４、および顔類似度推定部１５に供給する。
【００７７】
ステップＳ３において、顔特徴検出部１３は、顔検出部１２から供給される顔画像に対し、例えば目、鼻、口などの顔特徴部分を検出する顔特徴検出処理を行い、それにより得られる顔特徴部分ごとの顔特徴位置を、顔角度推定部１４および顔類似度推定部１５に供給する。
【００７８】
ステップＳ４において、顔角度推定部１４は、顔検出部１２から供給される顔画像と、顔特徴検出部１３から供給される顔特徴位置に基づいて、入力顔の向いている方向を推定し、入力顔角度情報として、顔類似度推定部１５に供給する。
【００７９】
ステップＳ５において、顔類似度推定部１５は、顔角度推定部１４から供給される入力顔角度情報と、登録顔データベース１６に格納された登録顔角度情報との組み合わせに応じた角度組合せ別学習辞書４４Ａを選択し、選択された角度組合せ別学習辞書４４Ａに基づいて、顔類似度推定処理を行う。顔類似度推定部１５は、顔類似度の推定結果を、顔識別部１７に供給する。顔類似度推定処理の詳細は、図７のフローチャートを参照して後述する。
【００８０】
ステップＳ６において、顔識別部１７は、顔類似度推定部１５から供給される顔類似度の推定結果に基づいて、入力顔と登録顔との顔は、同一人物であるか、あるは別人物であるかを識別して、後段のブロック（図示せず）に出力し、顔識別処理は終了する。
【００８１】
次に、図７のフローチャートを参照して、図６のステップＳ５の処理で行われる、顔類似度推定処理の詳細について説明する。
【００８２】
ステップＳ１１において、顔画像アライメント部４１は、顔特徴検出部１３から供給される顔特徴位置、および、顔検出部１２から供給される顔画像を解析することで、顔画像のアライメントを行う。顔画像アライメント部４１は、アライメントされた顔画像を、局所特徴量抽出部４２に供給する。
【００８３】
ステップＳ１２において、局所特徴量抽出部４２は、顔画像アライメント部４１から供給される顔画像における顔特徴位置近傍の画像に対し、例えば、顔特徴位置近傍の画像をそのまま用いるか、あるいはガボアフィルタやガルシアンデリバティブフィルタなどの畳み込み演算を用いることで、局所特徴量を抽出する。局所特徴量抽出部４２は、抽出した入力顔の局所特徴量を、顔類似度推定部４５に供給する。
【００８４】
ステップＳ１３において、角度組合せ別学習辞書選択部４３は、顔角度推定部１４から供給される入力顔角度情報と、登録顔データベース１６に格納されている登録顔角度情報との組合せに応じて、角度組合せ別学習辞書保持部４４に保持されている角度組合せ別学習辞書４４Ａのなかから適切な学習辞書を選択し、顔類似度推定部４５に供給する。
【００８５】
例えば、角度組合せ別学習辞書選択部４３は、入力顔が左方向（Ｌ）を向いており、登録顔が右方向（Ｒ）を向いている場合、角度組合せ別学習辞書４４Ａの学習辞書ＬＬ，ＬＦ，ＬＲ，ＦＦ，ＦＲ，ＲＲのなかから、学習辞書ＬＲを選択し、顔類似度推定部４５に供給する。
【００８６】
顔類似度推定部４５は、角度組合せ別学習辞書選択部４３により選択された角度組合せ別学習辞書４４Ａに記述されている顔類似度の推定時に着目すべき特徴点とその特徴量の種類に対応する、入力顔の局所特徴量と、登録顔の局所特徴量を取得し、それらの局所特徴量を用いて、例えば正規化相関演算により、入力顔と登録顔との顔類似度を推定する。
【００８７】
例えば、入力顔が左方向（Ｌ）、登録顔が右方向（Ｒ）である場合には、学習辞書ＬＲが選択されるので、顔類似度推定部４５は、その学習辞書ＬＲに記述してある、左方向（Ｌ）を向いている顔画像と、右方向（Ｒ）を向いている顔画像との類似度を推定する際に、最も適切な特徴点に対応する位置での入力顔の局所特徴量と登録顔の局所特徴量を取得する。つまり、顔類似度推定部４５は、局所特徴量抽出部４２から供給される入力顔の複数の局所特徴量と、登録顔データベース１６に格納された登録顔の複数の局所特徴量のなかから、顔画像の角度組合せに応じて選択される角度組合せ別学習辞書４４Ａに記述された特徴点の位置に対応する、入力顔の局所特徴量と登録顔の局所特徴量を取得する。
【００８８】
そして、顔類似度推定部４５は、それにより得られた入力顔と登録顔の向いている方向の組合せでの最適な局所特徴量を用いて、顔類似度を推定する。
【００８９】
このように、入力顔と登録顔との角度の組合せごとに、学習辞書ＬＬ乃至ＲＲなどの複数の学習辞書を用意しておくことで、任意方向を向いている顔の識別を行う場合であっても、複数の学習辞書のなかから、角度の組合せに応じた適切な学習辞書を選択できるので、単一の学習辞書のみを用いる場合と比べて、精度のよい識別結果を得ることが可能となる。
【００９０】
すなわち、一般的に顔の各特徴点の画像パターンは、顔の向きによる変化のほうが、個人の差よりもはるかに大きく変化するため、全ての方向の顔角度の画像パターンから識別可能な特徴点や特徴量（角度不変特徴量）を抽出することは、非常に困難であるため、本実施の形態においては、入力顔角度範囲と登録顔角度範囲とが限定されたものとなるように、角度別に複数の学習辞書をあらかじめ用意して、入力顔の方向と登録顔の方向との組合せにより、類似度推定に用いる学習辞書を切り替えているのである。
【００９１】
このことは、例えば、上記の先願のような、ブースティング（Boosting）と称される、統計的に識別に最適な特徴点、特徴次元を選択する手法に適用することで、より高い精度の識別が可能となる。
【００９２】
また、本実施の形態においては、顔角度の組合せを限定して、統計的に識別可能な特徴点、特徴量を選択することができるので、角度不変特徴量を獲得できる可能性が高くなり、結果として、顔識別の性能を向上させることが可能となる。
【００９３】
そして、画像識別装置１においては、従来から行われている正面方向のみの顔識別処理と比較して、顔角度の組合せによる学習辞書を切り替える処理が追加されているだけであるため、従来の顔識別処理とほぼ同等の演算量で、自由視点顔識別処理を実行することが可能となる。つまり、簡単に、顔画像の識別性能を向上させることができる。
【００９４】
なお、１つの入力顔に対し、複数の登録顔が登録されている場合、例えば、顔類似度推定部４５は、全ての登録顔について、入力顔との顔類似度を求め、その後、それらの顔類似度に応じたスコアを順次出力する。すると、顔識別部１７には、登録顔データベース１６に登録されている登録顔の数だけスコアが入力されるので、顔識別部１７は、顔類似度推定部１５から入力されるスコアのうち、最も高いスコアを獲得した登録顔を、入力顔と類似している登録顔として識別すればよい。
【００９５】
以上のようにして、顔類似度推定処理は行われる。
【００９６】
ところで、角度組合せ別学習辞書４４Ａであるが、例えば、特定の顔の角度の組合せとなる、同一人物あるいは別人物の顔画像対を複数用意し、それらの顔画像対に対し、所定の学習処理を施すことにより、生成することができる。
【００９７】
そこで、次に、角度組合せ別学習辞書４４Ａを生成する、辞書学習装置５１について説明する。
【００９８】
図８は、かかる辞書学習装置５１の構成例を示す図である。
【００９９】
図８で示すように、辞書学習装置５１は、図５の角度組合せ別学習辞書保持部４４に対応する角度組合せ別学習辞書４４Ａを保持する角度組合せ別学習辞書保持部４４の他に、画像処理部６１、顔画像アライメント部６２、局所特徴量抽出部６３、類似度ベクトル生成部６４、および学習部６５を含むようにして構成される。
【０１００】
画像処理部６１は、例えば、特定の角度の組合せとなる顔画像対を取得し、取得した顔画像対に対し、所定の画像解析処理を施し、顔画像と顔特徴位置を検出する。顔画像と顔特徴位置の検出処理は、上述した、図２の顔検出部１２および顔特徴検出部１３で行われる検出処理と基本的に同様であるので、その説明は省略する。
【０１０１】
顔画像対ごとに検出される顔画像および顔特徴位置は、顔画像アライメント部６２に供給される。
【０１０２】
顔画像アライメント部６２は、画像処理部６１から供給される顔画像および顔特徴位置を解析することでアライメントを行い、アライメントされた顔画像対を、局所特徴量抽出部６３に供給する。
【０１０３】
局所特徴量抽出部６３は、顔画像アライメント部６２から供給される顔画像対における顔特徴位置近傍の画像に対し、例えば、顔特徴位置近傍の画像をそのまま用いるか、あるいはガボアフィルタやガルシアンデリバティブフィルタなどの畳み込み演算を用いることで、それぞれの局所特徴量を抽出する。局所特徴量抽出部６３は、抽出した顔画像対の局所特徴量を、類似度ベクトル生成部６４に供給する。
【０１０４】
類似度ベクトル生成部６４は、局所特徴量抽出部６３から供給される顔画像対のそれぞれの局所特徴量の相関を求めることで、類似度ベクトルを生成する。類似度ベクトル生成部６４は、生成した類似度ベクトルを学習部６５に供給する。
【０１０５】
学習部６５は、類似度ベクトル生成部６４から供給される類似度ベクトルのうち、どの部分を用いればよいかを、いわゆるブースティングにより学習する。そして、学習部６５は、学習により得られる角度組合せ別の最適な特徴点の位置などの情報を、角度組合せ別学習辞書４４Ａとして生成し、角度組合せ別学習辞書保持部４４に登録する。
【０１０６】
次に、辞書学習装置５１で行われる処理について説明する。
【０１０７】
図９のフローチャートは、図８の辞書学習装置５１により実行される辞書学習処理について説明する。
【０１０８】
ステップＳ３１において、画像処理部６１は、特定の角度の組合せとなる顔画像対に対し、所定の画像解析処理を施して、顔画像対のそれぞれの顔画像と顔特徴位置を検出し、顔画像アライメント部６２に供給する。
【０１０９】
なお、高い精度の角度組合せ別学習辞書４４Ａを生成するためには、サンプル数を増やす必要があるので、特定の顔の角度の組合せとなる、同一人物あるいは別人物の顔画像対をできるだけ多く用意すると好適である。
【０１１０】
ステップＳ３２において、顔画像アライメント部６２は、画像処理部６１から供給される顔画像対のそれぞれの顔画像と顔特徴位置を解析することで、アライメントを行い、アライメントされた顔画像対を、局所特徴量抽出部６３に供給する。
【０１１１】
ステップＳ３３において、局所特徴量抽出部６３は、顔画像アライメント部６２から供給される顔画像対における顔特徴位置近傍の画像に対し、例えば、顔特徴位置近傍の画像をそのまま用いるなどして、それぞれの局所特徴量を抽出する。局所特徴量抽出部６３は、抽出した顔画像対の局所特徴量を、類似度ベクトル生成部６４に供給する。
【０１１２】
ステップＳ３４において、類似度ベクトル生成部６４は、局所特徴量抽出部６３から供給される顔画像対のそれぞれの局所特徴量の相関を求めることで、類似度ベクトルを生成し、学習部３５に供給する。
【０１１３】
ステップＳ３５において、学習部３５は、類似度ベクトル生成部６４から供給される類似度ベクトルに基づいて、ブースティングにより学習を行う。
【０１１４】
ステップＳ３６において、学習部３５は、学習により得られる角度組合せ別の最適な特徴点の位置などの情報を、角度組合せ別学習辞書４４Ａとして生成し、角度組合せ別学習辞書保持部４４に登録して、辞書学習処理は終了する。
【０１１５】
以上のようにして、角度組合せ別学習辞書保持部４４は生成される。
【０１１６】
なお、本実施の形態では、画像識別装置１と、辞書学習装置５１とは別の装置であるとして説明したが、それらの装置は、それぞれの有する機能を１つの装置で実現可能にすることで、１つの装置から構成されるようにしてもよい。その場合、辞書学習装置５１を、辞書学習部として、画像識別装置１のなかに含めることで、顔画像検出処理などの顔識別処理と学習処理の両方で行われる処理については、同じブロックで処理を実行することが可能となる。
【０１１７】
以上のように、本発明によれば、顔角度の組合せを限定して、統計的に識別可能な特徴点、特徴量を選択することができるので、角度不変特徴量を獲得できる可能性が高くなり、結果として、顔識別の性能を向上させることが可能となる。その結果、角度が異なる顔同士での識別性能を向上させることができる。
【０１１８】
また、本発明によれば、従来より行われていた正面方向のみの顔識別処理と比較して、顔角度の組合せによる学習辞書を切り替える処理が追加されているだけであるため、従来の顔識別処理とほぼ同等の演算量で、より高い精度の顔識別処理を実行することが可能となる。その結果、簡単に、顔画像の識別性能を向上させることができる。
【０１１９】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１２０】
図１０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）１１１は、ROM（Read Only Memory）１１２、または記録部１１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１１３には、CPU１１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１１１、ROM１１２、およびRAM１１３は、バス１１４により相互に接続されている。
【０１２１】
CPU１１１にはまた、バス１１４を介して入出力インターフェース１１５が接続されている。入出力インターフェース１１５には、マイクロホンなどよりなる入力部１１６、ディスプレイ、スピーカなどよりなる出力部１１７が接続されている。CPU１１１は、入力部１１６から入力される指令に対応して各種の処理を実行する。そして、CPU１１１は、処理の結果を出力部１１７に出力する。
【０１２２】
入出力インターフェース１１５に接続されている記録部１１８は、例えばハードディスクからなり、CPU１１１が実行するプログラムや各種のデータを記録する。通信部１１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１２３】
また、通信部１１９を介してプログラムを取得し、記録部１１８に記録してもよい。
【０１２４】
入出力インターフェース１１５に接続されているドライブ１２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部１１８に転送され、記録される。
【０１２５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１２１、または、プログラムが一時的もしくは永続的に格納されるROM１１２や、記録部１１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部１１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１２６】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２８】
【図１】入力顔と登録顔の角度組合せついて説明する図である。
【図２】本発明を適用した画像識別装置の一実施の形態の構成を示す図である。
【図３】顔検出部の詳細な構成例を示す図である。
【図４】顔特徴検出部の詳細な構成例を示す図である。
【図５】顔類似度推定部の詳細な構成例を示す図である。
【図６】顔識別処理について説明するフローチャートである。
【図７】顔類似度推定処理について説明するフローチャートである。
【図８】辞書学習装置の構成例を示す図である。
【図９】辞書学習処理について説明するフローチャートである。
【図１０】本発明が適用される画像処理をソフトウェアで実行するコンピュータの構成例を示す図である。
【符号の説明】
【０１２９】
１ 画像識別装置， １１ 画像取得部， １２ 顔検出部， １３ 顔特徴検出部， １４ 顔角度推定部， １５ 顔類似度推定部， １６ 登録顔データベース， １７ 顔識別部， ２１ 画像切り出し部， ２２ 顔判定部， ２３ 顔学習データベース， ３１ 画像切り出し部， ３２ 顔特徴判定部， ３３ 顔特徴学習データベース， ４１ 顔画像アライメント部， ４２ 局所特徴量抽出部， ４３ 角度組合せ別学習辞書選択部， ４４ 角度組合せ別学習辞書保持部， ４４Ａ 角度組合せ別学習辞書， ４５ 顔類似度推定部， ５１ 辞書学習装置， ６１ 画像処理部， ６２ 顔画像アライメント部， ６３ 局所特徴量抽出部， ６４ 類似度ベクトル生成部， ６５ 学習部， ＬＬ乃至ＲＲ 学習辞書
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、簡単に、画像の識別性能を向上させることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来より、顔画像が同一人物のものであるか否かを識別するための各種の技術が提案されている。
【０００３】
本出願人は、２つの特徴量の相関を用いて認識処理を行う場合の認識の精度を向上させる画像処理装置を発明し、特願２００６−３３２３０２号として既に特許出願（以下、先願と称する）している。
【０００４】
かかる先願においては、認識処理の精度を向上させることはできるものの、正面方向あるいは特定の方向を向いている顔しか精度よく識別することができない。これは、顔の向いている方向が変化すると、顔特徴の画像パターンが大幅に変化してしまうために、同一人物間の特徴量の類似性がなくなってしまうためである。
【０００５】
また、任意の方向を向いている顔を識別する手法としては、例えば、特許文献１が知られている。
【０００６】
この特許文献１においては、人の顔の標準的な立体形状モデルを用いることで、任意の方向を向いている顔を識別している。この手法では、異なる方向で撮像された２枚の顔画像を比較するため、一方の顔画像を顔立体形状モデルに貼り付け、他方の顔画像と同じ方向に相当する顔画像を合成することにより、異なる方向の顔識別を実現している。
【０００７】
また、Volker Blanzらにより発表されている論文、“Face Recognition Based on Fitting a 3D Morphable Model”では、標準３次元顔変形モデルを様々なパラメータを基に変形させて合成した顔画像から、入力顔画像に最も近似するパラメータを用いて顔識別を行う手法が提案されている。
【特許文献１】特開２０００−３２２５７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の特許文献１および論文を含む従来の技術においては、標準的な顔の立体形状モデルからCG（Computer Graphics）の手法を用いて、異なる方向の顔を合成する手法をベースとしているが、このような立体形状モデルを求めるためには、高精度な立体計測装置が必要となるため、一般的、特に家庭用の製品に搭載する際にはあらかじめ取得したデータから生成されたモデルしか使用することができない。
【０００９】
このため、モデルに合わないような顔形状の人物に合わせてモデルを更新することや、家族などの限定された少人数の識別に特化したモデルに変更することは極めて困難となる。
【００１０】
また、顔画像を標準的な顔立体形状モデルに当てはめて回転することにより合成した顔画像は、モデルと実際の顔形状との相違が大きい場合には正しく合成できないために識別性能が低下することが多く、３次元顔変形モデルをパラメータに基づき変形させて近似画像を求める手法は、計算に多くの時間を要するという問題がある。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、簡単に、画像の識別性能を向上させることができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の第１の側面の画像処理装置は、人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せごとに、前記第１の顔画像と前記第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書を保持する保持手段と、前記第１の角度と前記第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている前記学習辞書を選択する選択手段と、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像と前記第２の顔画像から抽出された特徴量に基づいて、前記第１の顔画像と前記第２の顔画像との顔の類似度を推定する類似度推定手段とを備える。
【００１３】
推定した前記類似度に基づいて、前記第１の顔画像と前記第２の顔画像とを識別する識別手段をさらに備える。
【００１４】
前記第２の顔画像は、抽出された特徴量と、前記第２の角度とに対応付けられて、あらかじめ登録されている。
【００１５】
人を含んでいる画像から前記第１の顔画像の部分を検出する顔検出手段と、検出された前記第１の顔画像から前記顔の特徴となる顔特徴位置を検出する顔特徴検出手段と、検出された前記第１の顔画像および前記顔特徴位置に基づいて、前記第１の角度を推定する顔角度推定手段と、検出された前記第１の顔画像における前記顔特徴位置近傍の画像から特徴量を抽出する抽出手段とをさらに備え、前記選択手段は、推定された前記第１の角度と、登録されている前記第２の角度との組合せに応じて、前記学習辞書を選択し、前記類似度推定手段は、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像から抽出した特徴量と、登録されている前記第２の顔画像の特徴量に基づいて、前記類似度を推定する。
【００１６】
前記保持手段は、前記第１の角度の示す向きを、左方向、正面方向、および右方向の３段階とし、前記第２の角度を示す向きを、左方向、正面方向、および右方向の３段階とした場合、それらの方向のすべての組合せについての前記学習辞書を保持する。
【００１７】
前記学習辞書には、前記第１の顔画像と前記第２の顔画像とを識別する際の基準となる所定の閾値が含まれており、前記識別手段は、推定された前記類似度と前記閾値とを比較した結果に基づいて、前記第１の顔画像と前記第２の顔画像との顔が、同一人物であるか、あるいは別人物であるか否かを識別する。
【００１８】
本発明の第１の側面の画像処理方法は、人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の顔画像と前記第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像と前記第２の顔画像から抽出された特徴量に基づいて、前記第１の顔画像と前記第２の顔画像との顔の類似度を推定するステップを含む。
【００１９】
本発明の第１の側面のプログラムは、上述した本発明の第１の側面の画像処理方法に対応するプログラムである。
【００２０】
本発明の第１の側面の画像処理装置および方法、並びにプログラムにおいては、人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せごとに、第１の顔画像と第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書が保持され、第１の角度と第２の角度との組合せに応じて、第１の角度と第２の角度との組合せごとに保持されている学習辞書が選択され、選択された学習辞書に含まれる特徴点の位置に対応する、第１の顔画像と第２の顔画像から抽出された特徴量に基づいて、第１の顔画像と第２の顔画像との顔の類似度が推定される。
【００２１】
本発明の第２の側面の画像処理装置は、所定の形状と特徴を有する物体または生物を含んでいる第１の画像の前記物体または前記生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の前記物質または前記生物の向いている方向を示す第２の角度との組合せごとに、前記第１の画像と前記第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書を保持する保持手段と、前記第１の角度と前記第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている前記学習辞書を選択する選択手段と、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の画像と前記第２の画像から抽出された特徴量に基づいて、前記第１の画像と前記第２の画像との前記物体または前記生物の類似度を推定する類似度推定手段とを備える。
【００２２】
本発明の第２の側面の画像処理方法は、所定の形状と特徴を有する物体または生物を含んでいる第１の画像の前記物体または前記生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の前記物質または前記生物の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の画像と前記第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の画像と前記第２の画像から抽出された特徴量に基づいて、前記第１の画像と前記第２の画像との前記物体または前記生物の類似度を推定するステップを含む。
【００２３】
本発明の第２の側面のプログラムは、上述した本発明の第２の側面の画像処理方法に対応するプログラムである。
【００２４】
本発明の第２の側面の画像処理装置および方法、並びにプログラムにおいては、所定の形状と特徴を有する物体または生物を含んでいる第１の画像の物体または生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の物質または生物の向いている方向を示す第２の角度との組合せごとに、第１の画像と第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書が保持され、第１の角度と第２の角度との組合せに応じて、第１の角度と第２の角度との組合せごとに保持されている学習辞書が選択され、選択された学習辞書に含まれる特徴点の位置に対応する、第１の画像と第２の画像から抽出された特徴量に基づいて、第１の画像と第２の画像との物体または生物の類似度が推定される。
【発明の効果】
【００２５】
以上のように、本発明によれば、簡単に、画像の識別性能を向上させることができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００２７】
本発明は、入力された顔画像（以下、入力顔とも称する）の顔の向いている方向（角度）と、登録されている顔画像（以下、登録顔とも称する）の顔の向いている角度とが大幅に異なる場合、顔の各特徴点の画像パターンが大きく変化してしまい、それらの顔画像の識別処理を高い精度で行うことが困難になることに着目し、それらの角度の組合せに応じて、同一人物か別人物かの識別の際に用いられる特徴点や特徴量などの情報を、適切に選択する点に特徴がある。
【００２８】
そこで、はじめに、図１を参照して、入力顔と登録顔の向いている方向の組合せのパターンをパラメータとして、顔識別処理に取り入れることで、かかる顔識別の性能を向上させることが可能となる原理について説明する。
【００２９】
図１において、上段に示す入力顔は、左側を向いている顔（Ｌ）、正面を向いている顔（Ｆ）、右側を向いている顔（Ｒ）のそれぞれの画像を表しており、図１の例では、Ｌ，Ｆ，ＲのすべてがユーザＡの顔画像、すなわち、同一人物の顔画像となる。
【００３０】
また、入力顔の各顔画像と各種の点線で結ばれた登録顔は、上段の入力顔と同様に、左側を向いている顔（Ｌ）、正面を向いている顔（Ｆ）、右側を向いている顔（Ｒ）のそれぞれの画像を表している。図１の例では、Ｌ，Ｆは、ユーザＢ、ユーザＣの顔画像、すなわち、ユーザＡとは別人物の顔画像となり、ＲだけがユーザＡの顔画像、すなわち、ユーザＡと同一人物の顔画像となる。
【００３１】
図１の下段には、登録顔の各顔画像と各種の点線で結ばれた顔識別の結果が示されている。この顔識別結果は、同じ種類の点線で結ばれた入力顔と登録顔の組合せによる識別結果であり、例えば、入力顔Ｌと登録顔Ｌとの組合せについて注目すると、その組合せは、左側を向いているユーザＡの横顔と、左側を向いているユーザＢの横顔となるので、識別結果としては、ＬＬで示すように別人物となる。
【００３２】
同様にして、例えば、入力顔Ｌと登録顔Ｆとの組合せの場合、ＬＦは別人物となるが、入力顔Ｌと登録顔Ｒとの組合せの場合、左右の向いている方向は異なるものの、ともにユーザＡの横顔となるので、ＬＲは同一人物となる。
【００３３】
また、例えば、入力顔Ｆと、登録顔Ｌ，Ｆ，Ｒとをそれぞれ組み合わせた場合、ＦＬ，ＦＦは別人物となるが、ＦＲは同一人物となる。さらに同様にして、例えば、入力顔Ｒと、登録顔Ｌ，Ｆ，Ｒとをそれぞれ組み合わせた場合、ＲＬ，ＲＦは別人物となるが、ＲＲは同一人物となる。
【００３４】
このように、入力顔の向いている方向を、Ｌ，Ｆ，Ｒの３方向とし、登録顔の向いている方向を、Ｌ，Ｆ，Ｒの３方向とした場合、それらの角度の組合せは、ＬＬ，ＬＦ，ＬＲ，ＦＬ，ＦＦ，ＦＲ，ＲＬ，ＲＦ，ＲＲの９通りとなる。したがって、これらの角度の組合せごとに、どの特徴点におけるどの特徴量を用いて顔識別処理（顔画像の類似度を推定する処理）を行うべきかを示す情報を分類して保持し、顔識別処理の際に顔画像の角度の組合せに応じて参照することで、入力顔と登録顔との顔の向いている方向が異なっていても高い精度で顔識別を行うことが可能となる。
【００３５】
なお、図１の例では、９通りの角度の組合せのうち、ＬＦとＦＬ，ＬＲとＲＬ，ＦＲとＲＦは、入力顔と登録顔の向いている方向が逆であるものの、組合せとしては同じであるので、それぞれ、ＬＦ，ＬＲ，ＦＲのように、まとめて１つの組合せとしている。以下、説明を簡略にするために、本実施の形態においても、図１の例と同様に、それらの組合せをまとめて、ＬＬ，ＬＦ，ＬＲ，ＦＦ，ＦＲ，ＲＲの６通りの組合せで説明するが、勿論、９通りの組合せとしてもよいし、さらに、顔の向いている方向を、左方向、正面方向、右方向の３段階ではなく、さらに角度を細かく分けることで、角度の組合せを増やしてもよい。角度の組合せを増やした場合には、その組合せの数を増やした分だけ、顔識別の精度をさらに向上させることが可能となる。
【００３６】
また、図１を参照して説明した、角度の組合せごとに分類して保持される情報を、以下、角度組合せ別学習辞書と称して説明する。
【００３７】
次に、上述した原理によって、かかる角度組合せ別学習辞書を用いて、入力顔と登録顔の識別処理を行う画像識別装置について説明する。
【００３８】
図２は、本発明を適用した画像識別装置の一実施の形態の構成を示すブロック図である。
【００３９】
画像識別装置１は、例えば、デジタルカメラ、パーソナルコンピュータ、または監視カメラなどの、画像の識別処理を行う機器である。
【００４０】
図２に示すように、画像識別装置１は、画像取得部１１、顔検出部１２、顔特徴検出部１３、顔角度推定部１４、顔類似度推定部１５、登録顔データベース１６、および顔識別部１７を含むようにして構成される。
【００４１】
画像取得部１１は、例えば、カメラなどを含む構成とされ、人を撮像する機能を有するか、または、外部に備えられたカメラ若しくは他の装置から撮像された人の画像を取得する。つまり、画像取得部１１により取得される画像は、人の顔の部分が少なくとも含まれている画像である。画像取得部１１により取得された画像は、顔検出部１２に供給される。
【００４２】
なお、本実施の形態においては、人の顔画像の識別処理を一例にして説明するが、例えば、動物や自動車など、その他の物体を識別する処理にも適用することが可能である。すなわち、本発明は、所定の形状と特徴を有する物体または生物を含んでいる画像の識別処理にも適用することが可能である。
【００４３】
顔検出部１２は、画像取得部１１から供給される画像に対し、所定の画像解析処理を施すことで、人の顔の部分を抽出する。
【００４４】
具体的には、図３に示すように、顔検出部１２は、画像切り出し部２１、顔判定部２２、および顔学習データベース２３を含むようにして構成される。顔学習データベース２３には、所定の画像に含まれる顔の部分を抽出するために必要とされる統計的に学習された情報が格納されている。
【００４５】
ここでは、まず、画像切り出し部２１によって、画像取得部１１からの画像における所定の領域の画像（例えば20×20ピクセルの画像）が順次切り出され、顔判定部２２に供給される。続いて、顔判定部２２は、顔学習データベース２３に格納されている顔画像の抽出情報に基づいて、画像切り出し部２１から順次入力される切り出された画像が顔画像であるか否かを判定することで、人の顔の部分（顔の位置と大きさ）を抽出し、抽出された人の顔の部分の画像（顔画像）を検出する。
【００４６】
画像取得部１１から供給される画像は、認識対象のユーザの顔を含む画像であるが、例えば、全身像が撮影されているような画像など、顔の画像だけでない場合もある。顔検出部１２は、そのような画像を走査して、人の顔の領域を識別し、人の顔の部分に対応する画像を抽出する。このようにして検出された顔画像（入力顔）は、顔特徴検出部１３、顔角度推定部１４、および顔類似度推定部１５に供給される。
【００４７】
図２に戻り、顔特徴検出部１３は、顔検出部１２から供給された顔画像に対し、所定の画像解析処理を施すことで、例えば、目、鼻、口といった人の顔のなかでも特徴となる部分、すなわち、顔特徴部分を検出する。
【００４８】
具体的には、図４に示すように、顔特徴検出部１３は、画像切り出し部３１、顔特徴判定部３２、および顔特徴学習データベース３３を含むようにして構成される。顔特徴学習データベース３３には、所定の顔画像に含まれる顔特徴部分を抽出するために必要とされる統計的に学習された情報が格納されている。
【００４９】
ここでは、まず、画像切り出し部３１によって、顔検出部１２から供給される顔画像において、例えば目、鼻、口などの顔特徴部分が含まれると想定される様々な大きさの画像（例えば20×20ピクセルの画像）が順次切り出され、顔特徴判定部３２に供給される。続いて、顔特徴判定部３２は、顔特徴学習データベース３３に格納されている顔特徴部分の抽出情報に基づいて、画像切り出し部３１から順次入力される顔画像から切り出された画像に顔特徴部分が含まれるか否かを判定し、顔特徴部分を抽出する。
【００５０】
例えば、顔特徴判定部３２は、走査された顔画像の全体（あるいは顔画像の一部分であってもよい）について、顔特徴部分のそれぞれの特徴の度合いを表すスコアを付与し、最もスコアの高い位置と、その大きさを顔特徴位置として、顔角度推定部１４および顔類似度推定部１５に供給する。
【００５１】
なお、顔特徴検出部１３で行われる特徴検出処理は、顔検出部１２の顔検出処理と同様の手法を採用してもよいし、例えば、頬やおでこなど、上記の手法では特徴検出をするのが困難な特徴点、あるいは、顔全体の多数の特徴点の位置を角度によらず精度よく同定したい場合には、例えば、アダプティブサンプリング法と称される手法などを採用して特徴点を検出するようにしてもよい。
【００５２】
図２に戻り、顔角度推定部１４には、顔検出部１２からの顔画像と、顔特徴検出部１３からの顔特徴位置が供給される。顔角度推定部１４は、顔特徴位置に基づいて、顔画像（入力顔）の顔の向いている方向を推定し、入力顔角度情報として、顔類似度推定部１５に出力する。これにより、入力顔の向いている方向（角度）が求められる。
【００５３】
なお、入力顔の角度の推定方法は、顔画像と顔特徴位置を用いて求める方法に限らず、顔画像のみから推定してもよい。その場合、入力顔角度情報は、顔検出部１２によって検出してもよい。但し、より精度の高い入力顔角度情報を求めるには、顔画像と顔特徴位置の両方を用いるものとすると好適である。
【００５４】
登録顔データベース１６には、１または複数の登録顔が格納されており、各登録顔ごとに、登録顔の向いている方向を示す情報（以下、登録顔角度情報）と、登録顔の局所特徴量があらかじめ演算され格納されている。
【００５５】
すなわち、画像識別装置１は、例えば、新たな登録顔を登録顔データベース１６に登録する場合には、新たな登録顔に対し、所定の画像解析処理を施すことで、登録顔角度情報と局所特徴量とを取得し、当該登録顔と対応付けて格納する。登録顔を新たに登録する度に、かかる登録処理を実行することで、登録顔データベース１６には、登録顔角度情報と局所特徴量に対応付けられた登録顔が登録される。なお、登録処理においては、登録顔角度情報と局所特徴量の他に、例えば、登録顔の人物の名前、その他の個人情報なども、登録顔に対応付けて登録することができる。
【００５６】
顔類似度推定部１５には、顔検出部１２からの顔画像、顔特徴検出部１３からの顔特徴位置、顔角度推定部１４からの入力顔角度情報、並びに、登録顔データベース１６からの登録顔角度情報および局所特徴量がそれぞれ供給される。
【００５７】
顔類似度推定部１５は、入力顔角度情報と登録顔角度情報との組み合わせに応じた角度組合せ別学習辞書（図５の角度組合せ別学習辞書４４Ａ）を選択し、選択した角度組合せ別学習辞書に基づいて、類似度の推定に用いる特徴点と特徴量を決定し、入力顔と登録顔との顔の類似度を推定する。
【００５８】
ここで、図５を参照して、顔類似度推定部１５の詳細な構成について説明する。
【００５９】
図５に示すように、顔類似度推定部１５は、顔画像アライメント部４１、局所特徴量抽出部４２、角度組合せ別学習辞書選択部４３、角度組合せ別学習辞書保持部４４、および顔類似度推定部４５を含むようにして構成される。
【００６０】
顔画像アライメント部４１は、顔特徴検出部１３から供給される顔特徴位置、および、顔検出部１２から供給される顔画像を解析することで顔画像をアライメントし、アライメントされた顔画像を局所特徴量抽出部４２に供給する。
【００６１】
局所特徴量抽出部４２は、顔画像アライメント部４１から供給される顔画像における顔特徴位置近傍の画像に対し、局所特徴量の抽出を行う。
【００６２】
ここで、局所特徴量の抽出方法としては、例えば、顔特徴位置近傍の画像をそのまま用いて算出する方法や、特徴位置に対してガボアフィルタ（Gabor Filter）やガルシアンデリバティブフィルタ（Gaussian Derivative Filter）などの畳み込み演算を用いて算出する方法を適用することができる。
【００６３】
このようにして求められた入力顔の局所特徴量は、顔類似度推定部４５に供給される。
【００６４】
一方、角度組合せ別学習辞書選択部４３には、顔角度推定部１４からの入力顔角度情報と、登録顔データベース１６からの登録顔角度情報が供給される。角度組合せ別学習辞書選択部４３は、入力顔角度情報と登録顔角度情報との組合せに応じて、角度組合せ別学習辞書保持部４４に保持されている角度組合せ別学習辞書４４Ａを選択し、顔類似度推定部４５に供給する。
【００６５】
角度組合せ別学習辞書保持部４４は、顔画像の角度の組合せ別に、例えば、学習辞書ＬＬ，ＬＦ，ＬＲ，ＦＦ，ＦＲ，ＲＲの６つ角度組合せ別学習辞書４４Ａを保持している。これは、上記の本発明の原理でも説明したように、例えば、顔の向きを、左方向（Ｌ）、正面方向（Ｆ）、および右方向（Ｒ）の３段階に分ける場合には、角度組合せ別学習辞書４４Ａの組合せは、ＬＬ，ＬＦ，ＬＲ，ＦＦ，ＦＲ，ＲＲの６通り必要となるため、角度の組合せ別に６つの学習辞書を保持している。
【００６６】
角度組合せ別学習辞書４４Ａには、顔画像の各角度の組合せ別に、顔画像の類似度の推定時に着目する特徴点の位置とその特徴量の種類などに関する情報の他に、例えば、入力顔と登録顔とが同一人物となるか否かを識別する際に基準となる所定の閾値（以下、人物識別閾値と称する）その他の角度の組合せ別に付与して有用となる情報が記述される。
【００６７】
顔類似度推定部４５には、角度組合せ別学習辞書選択部４３からの角度の組合せに応じた角度組合せ別学習辞書４４Ａの他に、局所特徴量抽出部４２からの入力顔における複数の局所特徴量と、登録顔データベース１６からの登録顔における複数の局所特徴量とが入力される。
【００６８】
顔類似度推定部４５は、入力顔および登録顔のそれぞれにおける複数の局所特徴量のなかから、角度組合せ別学習辞書４４Ａに記述されている顔類似度を推定する際に着目すべき特徴点とその特徴量の種類に対応する、入力顔の局所特徴量と、登録顔の局所特徴量をそれぞれ取得する。そして、顔類似度推定部４５は、取得した入力顔の局所特徴量および登録顔の局所特徴量を用いて、所定の演算を行うことで、入力顔と登録顔と顔の類似度を推定する。
【００６９】
なお、この顔類似度は、例えば、正規化相関演算などの演算手法により求められる。
【００７０】
顔類似度推定部４５は、推定した顔類似度を、角度組合せ別学習辞書４４Ａに記述された人物識別閾値とともに、顔識別部１７に供給する。
【００７１】
顔識別部１７は、顔類似度推定部４５により推定された顔類似度を、人物識別閾値と比較し、顔類似度が人物識別閾値を超える場合、入力顔と登録顔との顔は同一人物であると識別する。一方、顔類似度が人物識別閾値以下となる場合、顔識別部１７は、入力顔と登録顔との顔は別人物であると識別する。顔識別部１７は、かかる識別結果を、後段のブロック（図示せず）に出力する。
【００７２】
以上のようにして、画像識別装置１は構成される。
【００７３】
次に、かかる画像識別装置１で行われる処理について説明する。
【００７４】
はじめに、図６のフローチャートを参照して、図１の画像識別装置１により実行される顔識別処理について説明する。
【００７５】
ステップＳ１において、画像取得部１１は、例えば、カメラにより撮像された画像など、人の顔の部分を少なくとも含まれている画像を取得し、顔検出部１２に供給する。
【００７６】
ステップＳ２において、顔検出部１２は、画像取得部１１から供給される画像に対し、顔検出処理を行い、人の顔の部分含んでいる画像から、顔画像を検出する。顔検出部１２は、検出した顔画像を、顔特徴検出部１３、顔角度推定部１４、および顔類似度推定部１５に供給する。
【００７７】
ステップＳ３において、顔特徴検出部１３は、顔検出部１２から供給される顔画像に対し、例えば目、鼻、口などの顔特徴部分を検出する顔特徴検出処理を行い、それにより得られる顔特徴部分ごとの顔特徴位置を、顔角度推定部１４および顔類似度推定部１５に供給する。
【００７８】
ステップＳ４において、顔角度推定部１４は、顔検出部１２から供給される顔画像と、顔特徴検出部１３から供給される顔特徴位置に基づいて、入力顔の向いている方向を推定し、入力顔角度情報として、顔類似度推定部１５に供給する。
【００７９】
ステップＳ５において、顔類似度推定部１５は、顔角度推定部１４から供給される入力顔角度情報と、登録顔データベース１６に格納された登録顔角度情報との組み合わせに応じた角度組合せ別学習辞書４４Ａを選択し、選択された角度組合せ別学習辞書４４Ａに基づいて、顔類似度推定処理を行う。顔類似度推定部１５は、顔類似度の推定結果を、顔識別部１７に供給する。顔類似度推定処理の詳細は、図７のフローチャートを参照して後述する。
【００８０】
ステップＳ６において、顔識別部１７は、顔類似度推定部１５から供給される顔類似度の推定結果に基づいて、入力顔と登録顔との顔は、同一人物であるか、あるは別人物であるかを識別して、後段のブロック（図示せず）に出力し、顔識別処理は終了する。
【００８１】
次に、図７のフローチャートを参照して、図６のステップＳ５の処理で行われる、顔類似度推定処理の詳細について説明する。
【００８２】
ステップＳ１１において、顔画像アライメント部４１は、顔特徴検出部１３から供給される顔特徴位置、および、顔検出部１２から供給される顔画像を解析することで、顔画像のアライメントを行う。顔画像アライメント部４１は、アライメントされた顔画像を、局所特徴量抽出部４２に供給する。
【００８３】
ステップＳ１２において、局所特徴量抽出部４２は、顔画像アライメント部４１から供給される顔画像における顔特徴位置近傍の画像に対し、例えば、顔特徴位置近傍の画像をそのまま用いるか、あるいはガボアフィルタやガルシアンデリバティブフィルタなどの畳み込み演算を用いることで、局所特徴量を抽出する。局所特徴量抽出部４２は、抽出した入力顔の局所特徴量を、顔類似度推定部４５に供給する。
【００８４】
ステップＳ１３において、角度組合せ別学習辞書選択部４３は、顔角度推定部１４から供給される入力顔角度情報と、登録顔データベース１６に格納されている登録顔角度情報との組合せに応じて、角度組合せ別学習辞書保持部４４に保持されている角度組合せ別学習辞書４４Ａのなかから適切な学習辞書を選択し、顔類似度推定部４５に供給する。
【００８５】
例えば、角度組合せ別学習辞書選択部４３は、入力顔が左方向（Ｌ）を向いており、登録顔が右方向（Ｒ）を向いている場合、角度組合せ別学習辞書４４Ａの学習辞書ＬＬ，ＬＦ，ＬＲ，ＦＦ，ＦＲ，ＲＲのなかから、学習辞書ＬＲを選択し、顔類似度推定部４５に供給する。
【００８６】
顔類似度推定部４５は、角度組合せ別学習辞書選択部４３により選択された角度組合せ別学習辞書４４Ａに記述されている顔類似度の推定時に着目すべき特徴点とその特徴量の種類に対応する、入力顔の局所特徴量と、登録顔の局所特徴量を取得し、それらの局所特徴量を用いて、例えば正規化相関演算により、入力顔と登録顔との顔類似度を推定する。
【００８７】
例えば、入力顔が左方向（Ｌ）、登録顔が右方向（Ｒ）である場合には、学習辞書ＬＲが選択されるので、顔類似度推定部４５は、その学習辞書ＬＲに記述してある、左方向（Ｌ）を向いている顔画像と、右方向（Ｒ）を向いている顔画像との類似度を推定する際に、最も適切な特徴点に対応する位置での入力顔の局所特徴量と登録顔の局所特徴量を取得する。つまり、顔類似度推定部４５は、局所特徴量抽出部４２から供給される入力顔の複数の局所特徴量と、登録顔データベース１６に格納された登録顔の複数の局所特徴量のなかから、顔画像の角度組合せに応じて選択される角度組合せ別学習辞書４４Ａに記述された特徴点の位置に対応する、入力顔の局所特徴量と登録顔の局所特徴量を取得する。
【００８８】
そして、顔類似度推定部４５は、それにより得られた入力顔と登録顔の向いている方向の組合せでの最適な局所特徴量を用いて、顔類似度を推定する。
【００８９】
このように、入力顔と登録顔との角度の組合せごとに、学習辞書ＬＬ乃至ＲＲなどの複数の学習辞書を用意しておくことで、任意方向を向いている顔の識別を行う場合であっても、複数の学習辞書のなかから、角度の組合せに応じた適切な学習辞書を選択できるので、単一の学習辞書のみを用いる場合と比べて、精度のよい識別結果を得ることが可能となる。
【００９０】
すなわち、一般的に顔の各特徴点の画像パターンは、顔の向きによる変化のほうが、個人の差よりもはるかに大きく変化するため、全ての方向の顔角度の画像パターンから識別可能な特徴点や特徴量（角度不変特徴量）を抽出することは、非常に困難であるため、本実施の形態においては、入力顔角度範囲と登録顔角度範囲とが限定されたものとなるように、角度別に複数の学習辞書をあらかじめ用意して、入力顔の方向と登録顔の方向との組合せにより、類似度推定に用いる学習辞書を切り替えているのである。
【００９１】
このことは、例えば、上記の先願のような、ブースティング（Boosting）と称される、統計的に識別に最適な特徴点、特徴次元を選択する手法に適用することで、より高い精度の識別が可能となる。
【００９２】
また、本実施の形態においては、顔角度の組合せを限定して、統計的に識別可能な特徴点、特徴量を選択することができるので、角度不変特徴量を獲得できる可能性が高くなり、結果として、顔識別の性能を向上させることが可能となる。
【００９３】
そして、画像識別装置１においては、従来から行われている正面方向のみの顔識別処理と比較して、顔角度の組合せによる学習辞書を切り替える処理が追加されているだけであるため、従来の顔識別処理とほぼ同等の演算量で、自由視点顔識別処理を実行することが可能となる。つまり、簡単に、顔画像の識別性能を向上させることができる。
【００９４】
なお、１つの入力顔に対し、複数の登録顔が登録されている場合、例えば、顔類似度推定部４５は、全ての登録顔について、入力顔との顔類似度を求め、その後、それらの顔類似度に応じたスコアを順次出力する。すると、顔識別部１７には、登録顔データベース１６に登録されている登録顔の数だけスコアが入力されるので、顔識別部１７は、顔類似度推定部１５から入力されるスコアのうち、最も高いスコアを獲得した登録顔を、入力顔と類似している登録顔として識別すればよい。
【００９５】
以上のようにして、顔類似度推定処理は行われる。
【００９６】
ところで、角度組合せ別学習辞書４４Ａであるが、例えば、特定の顔の角度の組合せとなる、同一人物あるいは別人物の顔画像対を複数用意し、それらの顔画像対に対し、所定の学習処理を施すことにより、生成することができる。
【００９７】
そこで、次に、角度組合せ別学習辞書４４Ａを生成する、辞書学習装置５１について説明する。
【００９８】
図８は、かかる辞書学習装置５１の構成例を示す図である。
【００９９】
図８で示すように、辞書学習装置５１は、図５の角度組合せ別学習辞書保持部４４に対応する角度組合せ別学習辞書４４Ａを保持する角度組合せ別学習辞書保持部４４の他に、画像処理部６１、顔画像アライメント部６２、局所特徴量抽出部６３、類似度ベクトル生成部６４、および学習部６５を含むようにして構成される。
【０１００】
画像処理部６１は、例えば、特定の角度の組合せとなる顔画像対を取得し、取得した顔画像対に対し、所定の画像解析処理を施し、顔画像と顔特徴位置を検出する。顔画像と顔特徴位置の検出処理は、上述した、図２の顔検出部１２および顔特徴検出部１３で行われる検出処理と基本的に同様であるので、その説明は省略する。
【０１０１】
顔画像対ごとに検出される顔画像および顔特徴位置は、顔画像アライメント部６２に供給される。
【０１０２】
顔画像アライメント部６２は、画像処理部６１から供給される顔画像および顔特徴位置を解析することでアライメントを行い、アライメントされた顔画像対を、局所特徴量抽出部６３に供給する。
【０１０３】
局所特徴量抽出部６３は、顔画像アライメント部６２から供給される顔画像対における顔特徴位置近傍の画像に対し、例えば、顔特徴位置近傍の画像をそのまま用いるか、あるいはガボアフィルタやガルシアンデリバティブフィルタなどの畳み込み演算を用いることで、それぞれの局所特徴量を抽出する。局所特徴量抽出部６３は、抽出した顔画像対の局所特徴量を、類似度ベクトル生成部６４に供給する。
【０１０４】
類似度ベクトル生成部６４は、局所特徴量抽出部６３から供給される顔画像対のそれぞれの局所特徴量の相関を求めることで、類似度ベクトルを生成する。類似度ベクトル生成部６４は、生成した類似度ベクトルを学習部６５に供給する。
【０１０５】
学習部６５は、類似度ベクトル生成部６４から供給される類似度ベクトルのうち、どの部分を用いればよいかを、いわゆるブースティングにより学習する。そして、学習部６５は、学習により得られる角度組合せ別の最適な特徴点の位置などの情報を、角度組合せ別学習辞書４４Ａとして生成し、角度組合せ別学習辞書保持部４４に登録する。
【０１０６】
次に、辞書学習装置５１で行われる処理について説明する。
【０１０７】
図９のフローチャートは、図８の辞書学習装置５１により実行される辞書学習処理について説明する。
【０１０８】
ステップＳ３１において、画像処理部６１は、特定の角度の組合せとなる顔画像対に対し、所定の画像解析処理を施して、顔画像対のそれぞれの顔画像と顔特徴位置を検出し、顔画像アライメント部６２に供給する。
【０１０９】
なお、高い精度の角度組合せ別学習辞書４４Ａを生成するためには、サンプル数を増やす必要があるので、特定の顔の角度の組合せとなる、同一人物あるいは別人物の顔画像対をできるだけ多く用意すると好適である。
【０１１０】
ステップＳ３２において、顔画像アライメント部６２は、画像処理部６１から供給される顔画像対のそれぞれの顔画像と顔特徴位置を解析することで、アライメントを行い、アライメントされた顔画像対を、局所特徴量抽出部６３に供給する。
【０１１１】
ステップＳ３３において、局所特徴量抽出部６３は、顔画像アライメント部６２から供給される顔画像対における顔特徴位置近傍の画像に対し、例えば、顔特徴位置近傍の画像をそのまま用いるなどして、それぞれの局所特徴量を抽出する。局所特徴量抽出部６３は、抽出した顔画像対の局所特徴量を、類似度ベクトル生成部６４に供給する。
【０１１２】
ステップＳ３４において、類似度ベクトル生成部６４は、局所特徴量抽出部６３から供給される顔画像対のそれぞれの局所特徴量の相関を求めることで、類似度ベクトルを生成し、学習部３５に供給する。
【０１１３】
ステップＳ３５において、学習部３５は、類似度ベクトル生成部６４から供給される類似度ベクトルに基づいて、ブースティングにより学習を行う。
【０１１４】
ステップＳ３６において、学習部３５は、学習により得られる角度組合せ別の最適な特徴点の位置などの情報を、角度組合せ別学習辞書４４Ａとして生成し、角度組合せ別学習辞書保持部４４に登録して、辞書学習処理は終了する。
【０１１５】
以上のようにして、角度組合せ別学習辞書保持部４４は生成される。
【０１１６】
なお、本実施の形態では、画像識別装置１と、辞書学習装置５１とは別の装置であるとして説明したが、それらの装置は、それぞれの有する機能を１つの装置で実現可能にすることで、１つの装置から構成されるようにしてもよい。その場合、辞書学習装置５１を、辞書学習部として、画像識別装置１のなかに含めることで、顔画像検出処理などの顔識別処理と学習処理の両方で行われる処理については、同じブロックで処理を実行することが可能となる。
【０１１７】
以上のように、本発明によれば、顔角度の組合せを限定して、統計的に識別可能な特徴点、特徴量を選択することができるので、角度不変特徴量を獲得できる可能性が高くなり、結果として、顔識別の性能を向上させることが可能となる。その結果、角度が異なる顔同士での識別性能を向上させることができる。
【０１１８】
また、本発明によれば、従来より行われていた正面方向のみの顔識別処理と比較して、顔角度の組合せによる学習辞書を切り替える処理が追加されているだけであるため、従来の顔識別処理とほぼ同等の演算量で、より高い精度の顔識別処理を実行することが可能となる。その結果、簡単に、顔画像の識別性能を向上させることができる。
【０１１９】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１２０】
図１０は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）１１１は、ROM（Read Only Memory）１１２、または記録部１１８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）１１３には、CPU１１１が実行するプログラムやデータなどが適宜記憶される。これらのCPU１１１、ROM１１２、およびRAM１１３は、バス１１４により相互に接続されている。
【０１２１】
CPU１１１にはまた、バス１１４を介して入出力インターフェース１１５が接続されている。入出力インターフェース１１５には、マイクロホンなどよりなる入力部１１６、ディスプレイ、スピーカなどよりなる出力部１１７が接続されている。CPU１１１は、入力部１１６から入力される指令に対応して各種の処理を実行する。そして、CPU１１１は、処理の結果を出力部１１７に出力する。
【０１２２】
入出力インターフェース１１５に接続されている記録部１１８は、例えばハードディスクからなり、CPU１１１が実行するプログラムや各種のデータを記録する。通信部１１９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０１２３】
また、通信部１１９を介してプログラムを取得し、記録部１１８に記録してもよい。
【０１２４】
入出力インターフェース１１５に接続されているドライブ１２０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１２１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部１１８に転送され、記録される。
【０１２５】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１０に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１２１、または、プログラムが一時的もしくは永続的に格納されるROM１１２や、記録部１１８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部１１９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１２６】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１２７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１２８】
【図１】入力顔と登録顔の角度組合せついて説明する図である。
【図２】本発明を適用した画像識別装置の一実施の形態の構成を示す図である。
【図３】顔検出部の詳細な構成例を示す図である。
【図４】顔特徴検出部の詳細な構成例を示す図である。
【図５】顔類似度推定部の詳細な構成例を示す図である。
【図６】顔識別処理について説明するフローチャートである。
【図７】顔類似度推定処理について説明するフローチャートである。
【図８】辞書学習装置の構成例を示す図である。
【図９】辞書学習処理について説明するフローチャートである。
【図１０】本発明が適用される画像処理をソフトウェアで実行するコンピュータの構成例を示す図である。
【符号の説明】
【０１２９】
１ 画像識別装置， １１ 画像取得部， １２ 顔検出部， １３ 顔特徴検出部， １４ 顔角度推定部， １５ 顔類似度推定部， １６ 登録顔データベース， １７ 顔識別部， ２１ 画像切り出し部， ２２ 顔判定部， ２３ 顔学習データベース， ３１ 画像切り出し部， ３２ 顔特徴判定部， ３３ 顔特徴学習データベース， ４１ 顔画像アライメント部， ４２ 局所特徴量抽出部， ４３ 角度組合せ別学習辞書選択部， ４４ 角度組合せ別学習辞書保持部， ４４Ａ 角度組合せ別学習辞書， ４５ 顔類似度推定部， ５１ 辞書学習装置， ６１ 画像処理部， ６２ 顔画像アライメント部， ６３ 局所特徴量抽出部， ６４ 類似度ベクトル生成部， ６５ 学習部， ＬＬ乃至ＲＲ 学習辞書
【特許請求の範囲】
【請求項１】
人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せごとに、前記第１の顔画像と前記第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書を保持する保持手段と、
前記第１の角度と前記第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている前記学習辞書を選択する選択手段と、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像と前記第２の顔画像から抽出された特徴量に基づいて、前記第１の顔画像と前記第２の顔画像との顔の類似度を推定する類似度推定手段と
を備える画像処理装置。
【請求項２】
推定した前記類似度に基づいて、前記第１の顔画像と前記第２の顔画像とを識別する識別手段をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記第２の顔画像は、抽出された特徴量と、前記第２の角度とに対応付けられて、あらかじめ登録されている
請求項１に記載の画像処理装置。
【請求項４】
人を含んでいる画像から前記第１の顔画像の部分を検出する顔検出手段と、
検出された前記第１の顔画像から前記顔の特徴となる顔特徴位置を検出する顔特徴検出手段と、
検出された前記第１の顔画像および前記顔特徴位置に基づいて、前記第１の角度を推定する顔角度推定手段と、
検出された前記第１の顔画像における前記顔特徴位置近傍の画像から特徴量を抽出する抽出手段と
をさらに備え、
前記選択手段は、推定された前記第１の角度と、登録されている前記第２の角度との組合せに応じて、前記学習辞書を選択し、
前記類似度推定手段は、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像から抽出した特徴量と、登録されている前記第２の顔画像の特徴量に基づいて、前記類似度を推定する
請求項３に記載の画像処理装置。
【請求項５】
前記保持手段は、前記第１の角度の示す向きを、左方向、正面方向、および右方向の３段階とし、前記第２の角度を示す向きを、左方向、正面方向、および右方向の３段階とした場合、それらの方向のすべての組合せについての前記学習辞書を保持する
請求項１に記載の画像処理装置。
【請求項６】
前記学習辞書には、前記第１の顔画像と前記第２の顔画像とを識別する際の基準となる所定の閾値が含まれており、
前記識別手段は、推定された前記類似度と前記閾値とを比較した結果に基づいて、前記第１の顔画像と前記第２の顔画像との顔が、同一人物であるか、あるいは別人物であるか否かを識別する
請求項２に記載の画像処理装置。
【請求項７】
人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の顔画像と前記第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像と前記第２の顔画像から抽出された特徴量に基づいて、前記第１の顔画像と前記第２の顔画像との顔の類似度を推定する
ステップを含む画像処理方法。
【請求項８】
人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の顔画像と前記第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像と前記第２の顔画像から抽出された特徴量に基づいて、前記第１の顔画像と前記第２の顔画像との顔の類似度を推定する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項９】
所定の形状と特徴を有する物体または生物を含んでいる第１の画像の前記物体または前記生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の前記物質または前記生物の向いている方向を示す第２の角度との組合せごとに、前記第１の画像と前記第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書を保持する保持手段と、
前記第１の角度と前記第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている前記学習辞書を選択する選択手段と、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の画像と前記第２の画像から抽出された特徴量に基づいて、前記第１の画像と前記第２の画像との前記物体または前記生物の類似度を推定する類似度推定手段と
を備える画像処理装置。
【請求項１０】
所定の形状と特徴を有する物体または生物を含んでいる第１の画像の前記物体または前記生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の前記物質または前記生物の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の画像と前記第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の画像と前記第２の画像から抽出された特徴量に基づいて、前記第１の画像と前記第２の画像との前記物体または前記生物の類似度を推定する
ステップを含む画像処理方法。
【請求項１１】
所定の形状と特徴を有する物体または生物を含んでいる第１の画像の前記物体または前記生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の前記物質または前記生物の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の画像と前記第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の画像と前記第２の画像から抽出された特徴量に基づいて、前記第１の画像と前記第２の画像との前記物体または前記生物の類似度を推定する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せごとに、前記第１の顔画像と前記第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書を保持する保持手段と、
前記第１の角度と前記第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている前記学習辞書を選択する選択手段と、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像と前記第２の顔画像から抽出された特徴量に基づいて、前記第１の顔画像と前記第２の顔画像との顔の類似度を推定する類似度推定手段と
を備える画像処理装置。
【請求項２】
推定した前記類似度に基づいて、前記第１の顔画像と前記第２の顔画像とを識別する識別手段をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記第２の顔画像は、抽出された特徴量と、前記第２の角度とに対応付けられて、あらかじめ登録されている
請求項１に記載の画像処理装置。
【請求項４】
人を含んでいる画像から前記第１の顔画像の部分を検出する顔検出手段と、
検出された前記第１の顔画像から前記顔の特徴となる顔特徴位置を検出する顔特徴検出手段と、
検出された前記第１の顔画像および前記顔特徴位置に基づいて、前記第１の角度を推定する顔角度推定手段と、
検出された前記第１の顔画像における前記顔特徴位置近傍の画像から特徴量を抽出する抽出手段と
をさらに備え、
前記選択手段は、推定された前記第１の角度と、登録されている前記第２の角度との組合せに応じて、前記学習辞書を選択し、
前記類似度推定手段は、選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像から抽出した特徴量と、登録されている前記第２の顔画像の特徴量に基づいて、前記類似度を推定する
請求項３に記載の画像処理装置。
【請求項５】
前記保持手段は、前記第１の角度の示す向きを、左方向、正面方向、および右方向の３段階とし、前記第２の角度を示す向きを、左方向、正面方向、および右方向の３段階とした場合、それらの方向のすべての組合せについての前記学習辞書を保持する
請求項１に記載の画像処理装置。
【請求項６】
前記学習辞書には、前記第１の顔画像と前記第２の顔画像とを識別する際の基準となる所定の閾値が含まれており、
前記識別手段は、推定された前記類似度と前記閾値とを比較した結果に基づいて、前記第１の顔画像と前記第２の顔画像との顔が、同一人物であるか、あるいは別人物であるか否かを識別する
請求項２に記載の画像処理装置。
【請求項７】
人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の顔画像と前記第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像と前記第２の顔画像から抽出された特徴量に基づいて、前記第１の顔画像と前記第２の顔画像との顔の類似度を推定する
ステップを含む画像処理方法。
【請求項８】
人の顔を含んでいる第１の顔画像の顔の向いている方向を示す第１の角度と、人の顔を含んでいる第２の顔画像の顔の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の顔画像と前記第２の顔画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の顔画像と前記第２の顔画像から抽出された特徴量に基づいて、前記第１の顔画像と前記第２の顔画像との顔の類似度を推定する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項９】
所定の形状と特徴を有する物体または生物を含んでいる第１の画像の前記物体または前記生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の前記物質または前記生物の向いている方向を示す第２の角度との組合せごとに、前記第１の画像と前記第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる学習辞書を保持する保持手段と、
前記第１の角度と前記第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている前記学習辞書を選択する選択手段と、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の画像と前記第２の画像から抽出された特徴量に基づいて、前記第１の画像と前記第２の画像との前記物体または前記生物の類似度を推定する類似度推定手段と
を備える画像処理装置。
【請求項１０】
所定の形状と特徴を有する物体または生物を含んでいる第１の画像の前記物体または前記生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の前記物質または前記生物の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の画像と前記第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の画像と前記第２の画像から抽出された特徴量に基づいて、前記第１の画像と前記第２の画像との前記物体または前記生物の類似度を推定する
ステップを含む画像処理方法。
【請求項１１】
所定の形状と特徴を有する物体または生物を含んでいる第１の画像の前記物体または前記生物の向いている方向を示す第１の角度と、所定の形状と特徴を有する物体または生物を含んでいる第２の画像の前記物質または前記生物の向いている方向を示す第２の角度との組合せに応じて、前記第１の角度と前記第２の角度との組合せごとに保持されている学習辞書であって、前記第１の角度と前記第２の角度との組合せごとに、前記第１の画像と前記第２の画像との類似度を推定する際にそれぞれを対応付ける特徴点の位置に関する情報を含んでいる前記学習辞書を選択し、
選択された前記学習辞書に含まれる特徴点の位置に対応する、前記第１の画像と前記第２の画像から抽出された特徴量に基づいて、前記第１の画像と前記第２の画像との前記物体または前記生物の類似度を推定する
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００９−１８７１８６（Ｐ２００９−１８７１８６Ａ）
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願番号】特願２００８−２５１４８（Ｐ２００８−２５１４８）
【出願日】平成２０年２月５日（２００８．２．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年８月２０日（２００９．８．２０）
【国際特許分類】
【出願日】平成２０年２月５日（２００８．２．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]