顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体
【課題】顔の向き変動があっても精度良く認識を行うことができるようにする。
【解決手段】ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力装置１０２と、前記入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出装置１０３と、認識対象となる画像を入力する画像入力装置１０５と、前記入力画像から撮影方向に基づいた顔領域を検出する顔領域検出装置１０６と、前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出装置１０７と、前記顔方向特徴量抽出装置１０３により辞書用の顔画像から抽出された特徴量と前記特徴量抽出装置１０７により入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出装置１０９と、前記類似度に基づいた認識結果を出力する出力装置１１０とを備える。
【解決手段】ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力装置１０２と、前記入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出装置１０３と、認識対象となる画像を入力する画像入力装置１０５と、前記入力画像から撮影方向に基づいた顔領域を検出する顔領域検出装置１０６と、前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出装置１０７と、前記顔方向特徴量抽出装置１０３により辞書用の顔画像から抽出された特徴量と前記特徴量抽出装置１０７により入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出装置１０９と、前記類似度に基づいた認識結果を出力する出力装置１１０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像中の顔領域を検出し、あらかじめその撮影方向が一定であることがわかっている場合における顔認識手法に係り、顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
従来、顔を撮影した入力画像からその顔の人物を識別する手法には以下のものがある。
【０００３】
手法：画像から検出された顔パターンから顔の向きを推定する過程を設け、その推定結果を元に正面顔とマッチングをしやすいようにパラメータ補正する（非特許文献１参照）。
【０００４】
尚、本発明に関連する技術として、非特許文献２〜６に記載のものがある。
【非特許文献１】井尻善久，柳川由紀子，勞世≡，川出雅人，“顔向き推定結果を利用した顔認識”，第１０回 画像の認識・理解シンポジウム（ＭＩＲＵ２００７）論文集，ｐｐ．１２４７−１２５２，２００７．
【非特許文献２】画像処理標準テキストブック，財団法人画像情報教育振興協会，ｐｐ．１５９〜１６２，１９９７．
【非特許文献３】画像処理標準テキストブック，財団法人画像情報教育振興協会，ｐｐ．１７８〜１７９，１９９７．
【非特許文献４】画像処理標準テキストブック，財団法人画像情報教育振興協会，ｐｐ．２５３〜２５４，１９９７．
【非特許文献５】コンピュータビジョン，新技術コミュニケーションズ，ｐｐ．２１２〜２１４，１９９９．
【非特許文献６】電子情報通信学会論文誌 Ｄ Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８ｐｐ．１８４０−１８４７「サポートベクトル回帰を用いた三次元物体の姿勢推定法」安藤慎吾，草地良規，鈴木章，荒川賢一．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記手法は、顔領域の検出、顔の向き推定、推定結果からのパラメータ補正、認識、という処理手法であり、認識をする前に予め向きが分かっているが、向き情報は正面向きへのパラメータ補正を行うことにのみ利用している。しかし、顔を対象とした場合などは、正面を向いた画像ではｙ方向のエッジが多く、斜め方向を向いた画像では斜め方向のエッジが多く含まれるなど、顔の向きに応じた特徴量を選択したほうが効果的に認識をおこなうことができる。
【０００６】
本発明は上記の課題を解決するものであり、その目的は、顔の向き変動があっても精度良く認識を行うことができる顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、顔領域の位置、顔の撮影方向の情報があらかじめわかっている場合に、その後に顔の向き（撮影方向）に応じた特徴量の抽出、その特徴量を用いた類似度算出をおこない、算出された類似度に基づいて認識をおこなうことを特徴としている。顔の向き（撮影方向）に応じた特徴を用いることにより、顔の向き変動があっても精度よく認識をおこなうことを可能とする。
【０００８】
すなわち、請求項１に記載の顔認識装置は、顔の撮影方向が一定な環境における顔認識装置において、ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力手段と、前記辞書顔画像入力手段により入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出手段と、認識対象となる画像を入力する画像入力手段と、前記入力された画像から撮影方向に基づいた顔領域を検出する顔領域検出手段と、前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出手段と、前記顔方向特徴量抽出手段により辞書用の顔画像から抽出された特徴量と前記特徴量抽出手段により入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出手段と、前記類似度に基づいた認識結果を出力する出力手段とを備えたことを特徴としている。
【０００９】
また請求項４に記載の顔認識方法は、顔の撮影方向が一定な環境における顔認識方法において、辞書顔画像入力手段が、ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力ステップと、顔方向特徴量抽出手段が、前記辞書顔画像入力ステップにより入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出ステップと、画像入力手段が認識対象となる画像を入力する画像入力ステップと、顔領域検出手段が、前記入力された画像から撮影方向に基づいた顔領域を検出する顔領域検出ステップと、特徴量抽出手段が、前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出ステップと、類似度算出手段が、前記顔方向特徴量抽出ステップにより辞書用の顔画像から抽出された特徴量と前記特徴量抽出ステップにより入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出ステップと、出力手段が、前記類似度に基づいた認識結果を出力する出力ステップとを備えたことを特徴としている。
【００１０】
上記構成によれば、顔の向き（撮影方向）に応じた特徴量を抽出し、それに基づいて顔認識を行うことができるため、認識精度が向上する。
【００１１】
また請求項２に記載の顔認識装置は、前記顔方向特徴量抽出手段は、対象とする撮影方向の、複数枚の辞書用の顔画像に対して、それらの各画素におけるｘ方向とｙ方向の微分値を算出し、それらを説明変量とする分散共分散行列の第一主成分の方向に基づくエッジ特徴を算出し、それを撮影方向に基づいた特徴量とすることを特徴としている。
【００１２】
また請求項３に記載の顔認識装置は、前記顔領域検出手段は、所定の方向から撮影された顔画像から作成されたテンプレートを、前記入力画像上で走査させて、入力画像とテンプレートの類似度を算出し、該類似度が閾値以上の領域を顔領域として検出することを特徴としている。
【００１３】
また請求項５に記載の顔認識方法は、前記顔方向特徴量抽出ステップは、対象とする撮影方向の、複数枚の辞書用の顔画像に対して、それらの各画素におけるｘ方向とｙ方向の微分値を算出し、それらを説明変量とする分散共分散行列の第一主成分の方向に基づくエッジ特徴を算出し、それを撮影方向に基づいた特徴量とすることを特徴としている。
【００１４】
また請求項６に記載の顔認識方法は、前記顔領域検出ステップは、所定の方向から撮影された顔画像から作成されたテンプレートを、前記入力画像上で走査させて、入力画像とテンプレートの類似度を算出し、該類似度が閾値以上の領域を顔領域として検出することを特徴としている。
【００１５】
上記構成によれば、顔の向き（撮影方向）に適した特徴量を選択することができる。
【００１６】
また請求項７に記載の顔認識プログラムは、コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させるための顔認識プログラムであることを特徴としている。
【００１７】
また請求項８に記載の記録媒体は、コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させるための顔認識プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。
【発明の効果】
【００１８】
（１）請求項１〜８に記載の発明によれば、顔の向き（撮影方向）に基づいてそれに適した特徴量を用いることにより顔認識精度が向上する。たとえば正面顔の場合は影が鼻の横に縦長にできてしまうことが多いが、正面顔に特化したｙ方向微分の特徴量を用いることにより、そのような正面変動の影響を受けずに認識を行うことができるなど、誤認識を減らすことが可能となる。
（２）請求項２，３，５，６に記載の発明によれば、顔の向き（撮影方向）に適した特徴量を選択することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は、本発明の顔認識装置の一実施形態例のブロック図である。
【００２０】
本実施形態例は、辞書特徴量抽出装置１０１と入力画像特徴量抽出装置１０４と認識装置１０８とを備え、入力画像特徴量抽出装置１０４により算出された特徴量と、辞書特徴量抽出装置１０１で算出され各々登録された人物の辞書画像の特徴量とを認識装置１０８で照合するように構成している。本発明の手法は、算出する特徴量が顔の撮影方向情報に基づいて決定されることが特徴である。
【００２１】
図１において、辞書特徴量抽出装置１０１内の１０２は、本発明の辞書顔画像入力手段としての辞書顔画像入力装置であり、１０３は本発明の顔方向特徴量抽出手段としての顔方向特徴量抽出装置である。
【００２２】
入力画像特徴量抽出装置１０４内の１０５は、本発明の画像入力手段としての画像入力装置であり、１０６は本発明の顔領域検出手段としての顔領域検出装置であり、１０７は本発明の特徴量抽出手段としての特徴量抽出装置である。
【００２３】
認識装置１０８内の１０９は本発明の類似度算出手段としての類似度算出装置であり、１１０は本発明の出力手段としての出力装置である。
【００２４】
前記辞書顔画像入力装置１０２、顔方向特徴量抽出装置１０３、画像入力装置１０５、顔領域検出装置１０６、特徴量抽出装置１０７、類似度算出装置１０９、および出力装置１１０は、例えばコンピュータにより構成される。
【００２５】
ここで、図２を用いて撮影方向情報が一定の場合の顔画像取得シーンを説明する。図２において、撮影用のカメラ２０１が、家庭用のドアやオフィスの入口２０２の上部に設置されている場合は、ほとんどの場合、上から撮影された顔画像が入力される。このように、あらかじめ入力される顔の向きがわかっている場合の認識手法について説明する。
【００２６】
まず図１の辞書特徴量抽出装置１０１について説明する。
【００２７】
辞書顔画像入力装置１０２では、利用シーンに応じて入力される顔の向きを設定し、その向きからカメラなどで撮影した顔画像を、撮影方向情報とともに辞書顔画像として取得する。
【００２８】
顔方向特徴量抽出装置１０３では、前記取得した辞書顔画像の特徴量を抽出する。すなわち、辞書顔画像に対数フィルタをかけ、平滑化処理を行い、さらに撮影方向情報に基づいた微分特徴を抽出する。
【００２９】
図３に辞書顔画像および特徴抽出の例を示す。図３において、３０１は登録されている人物を正面から撮影した画像の一例である。図２におけるカメラ２０１が入口２０２の真ん中に設置されている場合を想定している。
【００３０】
まず、前記対数フィルタについて説明する。次の式（１）で表される対数テーブルを作成する。
【００３１】
【数１】
【００３２】
式（１）において、Ｉは０から２５５の画素値を表す。作成した対数テーブルを参照して、入力画像中の各画素値に対応する値を決定する。
【００３３】
次に、前記平滑化フィルタについて説明する。非特許文献２にあるような３＊３画素の平滑化フィルタやガウシアンフィルタをかけることにより、平滑化をおこなう。図３の画像３０２に、画像３０１に対数フィルタをかけ平滑化処理をおこなった画像例を示す。対数フィルタをかけることにより、照明変動に強くなっていることがわかる。
【００３４】
次に、前記撮影方向情報に応じた方向の微分特徴の抽出手法について説明する。
【００３５】
まず撮影方向によってどの方向の微分特徴を抽出すべきか算出する手法について説明する。各画素での、非特許文献３に記載のＰｒｅｗｉｔｔのエッジ検出オペレータやＳｏｂｅｌのエッジ検出オペレータ等によりｘおよびｙ方向の微分値を算出する。
【００３６】
図３の３０３、３０４に、画像３０２のｘ方向及びｙ方向の微分値を表した画像例を示す。ｘ方向およびｙ方向の微分値を説明変量とし、（同じ撮影方向情報をもつ辞書顔画像枚数）×（１枚の画素数）の個数のデータを観測することにより、分散共分散行列を求め、その第一主成分を算出する。この場合、ｘ方向とｙ方向の微分値を説明変量としているので、分散共分散行列は２×２となる。
【００３７】
観測データには、上記のように登録されている人すべての辞書顔画像全体を用いてもよいし、特徴的な辞書顔画像および領域を選択してもよい。算出された第一主成分のベクトル方向の微分値を撮影方向情報に応じた特徴量とする。つまり分散の大きい方向微分を選択する。
【００３８】
たとえば、正面顔画像が入力される場合の多い利用シーンにおいては、登録された複数枚の正面顔画像のｘ方向およびｙ方向の微分値から分散共分散行列を算出し、その第一主成分を算出する。第一主成分のベクトルが（０，１）と算出された場合、ｙ方向の微分値を正面顔の特徴量とする。つまり図３の３０４に示された特徴を正面顔画像に適した特徴量とする。また、右斜め上方向から撮影された顔画像に関して第一主成分が（１／√２，１／√２）と算出された場合、ｘ方向の微分値×１／√２＋ｙ方向微分値×１／√２を特徴量とすればよい。主成分分析による手法について述べたが、各画素におけるエッジ方向を算出し、そのヒストグラムを作成し、一番多い角度を選択しても良い。
【００３９】
次に入力画像特徴量抽出装置１０４を構成する各装置について説明する。画像入力装置１０５では、図２で説明したような利用シーンにおいてデジタルビデオ等で撮影した画像を入力する。
【００４０】
次に顔領域検出装置１０６について説明する。
【００４１】
どのような方法を用いて顔の領域を検出してもよいが、ここではアピアランスベースの照合を行い、顔領域を検出する場合について述べる。
【００４２】
まず利用シーンに応じて一番入力されるのが多いと思われる方向から撮影された複数人数の顔画像を用いて平均顔画像を作成して、例えば図４に示すテンプレート４０１とする。そして図４の入力画像４０２上にそのテンプレート４０１を走査させ、類似度を算出し、類似度が閾値以上の領域を顔領域４０３として検出する。
【００４３】
図４の４０１に示すテンプレートは一例であり、利用シーンに応じて、上方向から撮影したもの、下方向から撮影したもの、右斜め上から撮影したもの等、さまざまな方向から撮影したテンプレートを用意すればよい。テンプレートとして用いる顔画像は複数人の顔の平均顔画像としたが、代表的な顔を選んでテンプレートとして用いてもよく、検出したい対象に適したものを用いることとする。また、画素値そのままをテンプレートとして用いてもよいし、非特許文献３にあるように微分フィルタ等をかけるなど、対象に適した特徴を抽出したものをテンプレートとして用いてもよい。この際、入力画像にも同じ演算を施し、同様の特徴を抽出した後、テンプレートを走査させ、類似度を算出することとする。
【００４４】
類似度算出の方法には非特許文献４にあるように差分や、正規化相関値等あり、どれを用いても良いが、入力画像の特徴にあわせて選択することとする。類似度が閾値以上の領域を抽出する場合、対象物の大きさが任意で入力画像の大きさを変えながらテンプレートマッチングをする際には、同じ箇所を複数回抽出してしまう場合があるので、複数個として抽出してもよいが、領域の中心座標等をもとにクラスタリングをおこない、抽出された領域をまとめてもよい。テンプレートとして用いられている撮影方向の顔領域しか検出しないため、入力される顔領域の撮影方向はあらかじめわかっていることになる。
【００４５】
次に特徴量抽出装置１０７では、顔領域検出装置１０６で算出された入力画像中の顔領域に、顔方向特徴量抽出装置１０３における特徴量抽出と同様に対数フィルタ処理、平滑化処理をおこない、撮影方向に基づく方向微分を特徴量として算出する。
【００４６】
次に認識装置１０８を構成する各装置について説明する。
【００４７】
類似度算出装置１０９では、入力画像中における顔領域および辞書顔画像を矩形領域に分割し、対応する矩形領域の顔方向特徴量抽出装置１０３で抽出された特徴量と特徴量抽出装置１０７で抽出された特徴量との類似度をそれぞれ算出する。
【００４８】
たとえば、顔領域検出装置１０６により検出された顔の向きに応じた特徴量が図５における５０１の場合、つまり正面顔画像が検出され、正面に対応する特徴量がｙ方向の微分値であった場合、図５の５０２のように矩形領域ごとに分割し、それぞれの矩形領域ごとに類似度を算出する。非特許文献４にあるように差分や、正規化相関値等あり、どれを用いても良いが、ここでは下記の式（２）の相関値Ｃを算出するものとする。
【００４９】
【数２】
【００５０】
式（２）において、辞書顔画像の矩形領域の特徴量値をｊｉｓｈｏ（ｉ，ｊ）、入力画像中の顔領域における矩形領域の特徴量をｉｎｐｕｔ（ｉ，ｊ）とする。矩形領域に分割をおこなった例を説明したが、分割される形状はどのようなものでもよい。
【００５１】
各矩形領域における相関値Ｃの総和が一番大きい値を示す辞書顔画像の人物を識別結果とする。前記のように単純に相関値Ｃの総和をとってもよいし、矩形領域の相関値Ｃのソートをおこない、中央値を、辞書顔画像との類似度とし比較してもよい。類似度が閾値以下の場合は、登録された人物ではないと判定し、該当なしという識別結果としてもよい。
【００５２】
矩形領域ごとの類似度を算出する際、表情の変化による顔の部位の位置ずれや若干の向きの変動等に対応するため、矩形領域ごとに平均移動やアフィン変換等をおこない、一番類似度の高くなるように変形してもよい。
【００５３】
出力装置１１０では、類似度算出装置１０９での識別結果を出力する。
【００５４】
本発明の顔認識方法は、顔の撮影方向が一定な環境における顔認識方法において、ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力ステップと、前記辞書顔画像入力ステップにより入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出ステップと、認識対象となる画像を入力する画像入力ステップと、前記入力された画像から撮影方向に基づいた顔領域を検出する顔領域検出ステップと、前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出ステップと、前記顔方向特徴量抽出ステップにより辞書用の顔画像から抽出された特徴量と前記特徴量抽出ステップにより入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出ステップと、前記類似度に基づいた認識結果を出力する出力ステップとを備えている。
【００５５】
具体的には、例えば前記図１の各装置の処理を次のような手順で実行するものである。
【００５６】
すなわち、
（ステップＳ１）
辞書顔画像入力装置１０２が、利用シーンに応じて入力される顔の向きを設定し、その向きからカメラなどで撮影した顔画像を、撮影方向情報とともに辞書顔画像として取得する。
（ステップＳ２）
顔方向特徴量抽出装置１０３が、前記取得した辞書顔画像に対数フィルタをかけ、平滑化処理を行い、さらに撮影方向情報に基づいた微分特徴を抽出する。その際、対象とする撮影方向の、複数枚の辞書用の顔画像に対して、それらの各画素におけるｘ方向とｙ方向の微分値を算出し、それらを説明変量とする分散共分散行列の第一主成分の方向に基づくエッジ特徴を算出し、それを撮影方向に基づいた特徴量とする。
（ステップＳ３）
画像入力装置１０５が、図２で説明したような利用シーンにおいてデジタルビデオ等で撮影した画像を入力する。
（ステップＳ４）
顔領域検出装置１０６が、入力画像から、撮影方向に基づいた顔領域を検出する。例えば、所定の方向から撮影された顔画像から作成されたテンプレートを、前記入力画像上で走査させて、入力画像とテンプレートの類似度を算出し、該類似度が閾値以上の領域を顔領域として検出する。
（ステップＳ５）
特徴量抽出装置１０７が、前記ステップＳ４で検出された、入力画像中の顔領域に対して、前記ステップＳ２（顔方向特徴量抽出装置１０３が行う処理）における特徴量抽出と同様に対数フィルタ処理、平滑化処理をおこない、撮影方向に基づく方向微分を特徴量として算出する。
（ステップＳ６）
類似度算出装置１０９が、入力画像中における顔領域および辞書顔画像を矩形領域に分割し、対応する矩形領域の顔方向特徴量抽出装置１０３（ステップＳ２）で抽出された特徴量と特徴量抽出装置１０７（ステップＳ５）で抽出された特徴量との類似度をそれぞれ算出し、該類似度に基づいて顔を識別する。
（ステップＳ７）
出力装置１１０が、類似度算出装置１０９（ステップＳ６）での識別結果を出力する。
【００５７】
以上の実施形態例により、撮影方向に基づいて特徴量抽出を行うことにより、各利用シーンに適した特徴量を用いて照合を行うことができ、精度よく認識することが可能になる。
【００５８】
また、本実施形態の顔認識装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の顔認識方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。
【００５９】
前述した実施形態の機能を実現するソフトウェアのプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することによっても、実現できる。この場合、記録媒体から読み出されたプログラム自体が上記実施形態の機能を実現することになり、このプログラムを記録した記録媒体、例えば、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯ及びＨＤＤ等は本発明を構成する。
【図面の簡単な説明】
【００６０】
【図１】本発明の顔認識装置の実施形態例を示すブロック図。
【図２】本発明の実施形態例における撮影方向の説明図。
【図３】本発明の実施形態例における特徴量抽出の説明図。
【図４】本発明の実施形態例における顔領域検出手段の手法の説明図。
【図５】本発明の実施形態例における類似度算出手段における画像分割の説明図。
【符号の説明】
【００６１】
１０１…辞書特徴量抽出装置、１０２…辞書顔画像入力装置、１０３…顔方向特徴量抽出装置、１０４…入力画像特徴量抽出装置、１０５…画像入力装置、１０６…顔領域検出装置、１０７…特徴量抽出装置、１０８…認識装置、１０９…類似度算出装置、１１０…出力装置。
【技術分野】
【０００１】
本発明は、入力画像中の顔領域を検出し、あらかじめその撮影方向が一定であることがわかっている場合における顔認識手法に係り、顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
従来、顔を撮影した入力画像からその顔の人物を識別する手法には以下のものがある。
【０００３】
手法：画像から検出された顔パターンから顔の向きを推定する過程を設け、その推定結果を元に正面顔とマッチングをしやすいようにパラメータ補正する（非特許文献１参照）。
【０００４】
尚、本発明に関連する技術として、非特許文献２〜６に記載のものがある。
【非特許文献１】井尻善久，柳川由紀子，勞世≡，川出雅人，“顔向き推定結果を利用した顔認識”，第１０回 画像の認識・理解シンポジウム（ＭＩＲＵ２００７）論文集，ｐｐ．１２４７−１２５２，２００７．
【非特許文献２】画像処理標準テキストブック，財団法人画像情報教育振興協会，ｐｐ．１５９〜１６２，１９９７．
【非特許文献３】画像処理標準テキストブック，財団法人画像情報教育振興協会，ｐｐ．１７８〜１７９，１９９７．
【非特許文献４】画像処理標準テキストブック，財団法人画像情報教育振興協会，ｐｐ．２５３〜２５４，１９９７．
【非特許文献５】コンピュータビジョン，新技術コミュニケーションズ，ｐｐ．２１２〜２１４，１９９９．
【非特許文献６】電子情報通信学会論文誌 Ｄ Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８ｐｐ．１８４０−１８４７「サポートベクトル回帰を用いた三次元物体の姿勢推定法」安藤慎吾，草地良規，鈴木章，荒川賢一．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記手法は、顔領域の検出、顔の向き推定、推定結果からのパラメータ補正、認識、という処理手法であり、認識をする前に予め向きが分かっているが、向き情報は正面向きへのパラメータ補正を行うことにのみ利用している。しかし、顔を対象とした場合などは、正面を向いた画像ではｙ方向のエッジが多く、斜め方向を向いた画像では斜め方向のエッジが多く含まれるなど、顔の向きに応じた特徴量を選択したほうが効果的に認識をおこなうことができる。
【０００６】
本発明は上記の課題を解決するものであり、その目的は、顔の向き変動があっても精度良く認識を行うことができる顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、顔領域の位置、顔の撮影方向の情報があらかじめわかっている場合に、その後に顔の向き（撮影方向）に応じた特徴量の抽出、その特徴量を用いた類似度算出をおこない、算出された類似度に基づいて認識をおこなうことを特徴としている。顔の向き（撮影方向）に応じた特徴を用いることにより、顔の向き変動があっても精度よく認識をおこなうことを可能とする。
【０００８】
すなわち、請求項１に記載の顔認識装置は、顔の撮影方向が一定な環境における顔認識装置において、ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力手段と、前記辞書顔画像入力手段により入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出手段と、認識対象となる画像を入力する画像入力手段と、前記入力された画像から撮影方向に基づいた顔領域を検出する顔領域検出手段と、前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出手段と、前記顔方向特徴量抽出手段により辞書用の顔画像から抽出された特徴量と前記特徴量抽出手段により入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出手段と、前記類似度に基づいた認識結果を出力する出力手段とを備えたことを特徴としている。
【０００９】
また請求項４に記載の顔認識方法は、顔の撮影方向が一定な環境における顔認識方法において、辞書顔画像入力手段が、ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力ステップと、顔方向特徴量抽出手段が、前記辞書顔画像入力ステップにより入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出ステップと、画像入力手段が認識対象となる画像を入力する画像入力ステップと、顔領域検出手段が、前記入力された画像から撮影方向に基づいた顔領域を検出する顔領域検出ステップと、特徴量抽出手段が、前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出ステップと、類似度算出手段が、前記顔方向特徴量抽出ステップにより辞書用の顔画像から抽出された特徴量と前記特徴量抽出ステップにより入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出ステップと、出力手段が、前記類似度に基づいた認識結果を出力する出力ステップとを備えたことを特徴としている。
【００１０】
上記構成によれば、顔の向き（撮影方向）に応じた特徴量を抽出し、それに基づいて顔認識を行うことができるため、認識精度が向上する。
【００１１】
また請求項２に記載の顔認識装置は、前記顔方向特徴量抽出手段は、対象とする撮影方向の、複数枚の辞書用の顔画像に対して、それらの各画素におけるｘ方向とｙ方向の微分値を算出し、それらを説明変量とする分散共分散行列の第一主成分の方向に基づくエッジ特徴を算出し、それを撮影方向に基づいた特徴量とすることを特徴としている。
【００１２】
また請求項３に記載の顔認識装置は、前記顔領域検出手段は、所定の方向から撮影された顔画像から作成されたテンプレートを、前記入力画像上で走査させて、入力画像とテンプレートの類似度を算出し、該類似度が閾値以上の領域を顔領域として検出することを特徴としている。
【００１３】
また請求項５に記載の顔認識方法は、前記顔方向特徴量抽出ステップは、対象とする撮影方向の、複数枚の辞書用の顔画像に対して、それらの各画素におけるｘ方向とｙ方向の微分値を算出し、それらを説明変量とする分散共分散行列の第一主成分の方向に基づくエッジ特徴を算出し、それを撮影方向に基づいた特徴量とすることを特徴としている。
【００１４】
また請求項６に記載の顔認識方法は、前記顔領域検出ステップは、所定の方向から撮影された顔画像から作成されたテンプレートを、前記入力画像上で走査させて、入力画像とテンプレートの類似度を算出し、該類似度が閾値以上の領域を顔領域として検出することを特徴としている。
【００１５】
上記構成によれば、顔の向き（撮影方向）に適した特徴量を選択することができる。
【００１６】
また請求項７に記載の顔認識プログラムは、コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させるための顔認識プログラムであることを特徴としている。
【００１７】
また請求項８に記載の記録媒体は、コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させるための顔認識プログラムを記録したコンピュータ読み取り可能な記録媒体であることを特徴としている。
【発明の効果】
【００１８】
（１）請求項１〜８に記載の発明によれば、顔の向き（撮影方向）に基づいてそれに適した特徴量を用いることにより顔認識精度が向上する。たとえば正面顔の場合は影が鼻の横に縦長にできてしまうことが多いが、正面顔に特化したｙ方向微分の特徴量を用いることにより、そのような正面変動の影響を受けずに認識を行うことができるなど、誤認識を減らすことが可能となる。
（２）請求項２，３，５，６に記載の発明によれば、顔の向き（撮影方向）に適した特徴量を選択することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は、本発明の顔認識装置の一実施形態例のブロック図である。
【００２０】
本実施形態例は、辞書特徴量抽出装置１０１と入力画像特徴量抽出装置１０４と認識装置１０８とを備え、入力画像特徴量抽出装置１０４により算出された特徴量と、辞書特徴量抽出装置１０１で算出され各々登録された人物の辞書画像の特徴量とを認識装置１０８で照合するように構成している。本発明の手法は、算出する特徴量が顔の撮影方向情報に基づいて決定されることが特徴である。
【００２１】
図１において、辞書特徴量抽出装置１０１内の１０２は、本発明の辞書顔画像入力手段としての辞書顔画像入力装置であり、１０３は本発明の顔方向特徴量抽出手段としての顔方向特徴量抽出装置である。
【００２２】
入力画像特徴量抽出装置１０４内の１０５は、本発明の画像入力手段としての画像入力装置であり、１０６は本発明の顔領域検出手段としての顔領域検出装置であり、１０７は本発明の特徴量抽出手段としての特徴量抽出装置である。
【００２３】
認識装置１０８内の１０９は本発明の類似度算出手段としての類似度算出装置であり、１１０は本発明の出力手段としての出力装置である。
【００２４】
前記辞書顔画像入力装置１０２、顔方向特徴量抽出装置１０３、画像入力装置１０５、顔領域検出装置１０６、特徴量抽出装置１０７、類似度算出装置１０９、および出力装置１１０は、例えばコンピュータにより構成される。
【００２５】
ここで、図２を用いて撮影方向情報が一定の場合の顔画像取得シーンを説明する。図２において、撮影用のカメラ２０１が、家庭用のドアやオフィスの入口２０２の上部に設置されている場合は、ほとんどの場合、上から撮影された顔画像が入力される。このように、あらかじめ入力される顔の向きがわかっている場合の認識手法について説明する。
【００２６】
まず図１の辞書特徴量抽出装置１０１について説明する。
【００２７】
辞書顔画像入力装置１０２では、利用シーンに応じて入力される顔の向きを設定し、その向きからカメラなどで撮影した顔画像を、撮影方向情報とともに辞書顔画像として取得する。
【００２８】
顔方向特徴量抽出装置１０３では、前記取得した辞書顔画像の特徴量を抽出する。すなわち、辞書顔画像に対数フィルタをかけ、平滑化処理を行い、さらに撮影方向情報に基づいた微分特徴を抽出する。
【００２９】
図３に辞書顔画像および特徴抽出の例を示す。図３において、３０１は登録されている人物を正面から撮影した画像の一例である。図２におけるカメラ２０１が入口２０２の真ん中に設置されている場合を想定している。
【００３０】
まず、前記対数フィルタについて説明する。次の式（１）で表される対数テーブルを作成する。
【００３１】
【数１】
【００３２】
式（１）において、Ｉは０から２５５の画素値を表す。作成した対数テーブルを参照して、入力画像中の各画素値に対応する値を決定する。
【００３３】
次に、前記平滑化フィルタについて説明する。非特許文献２にあるような３＊３画素の平滑化フィルタやガウシアンフィルタをかけることにより、平滑化をおこなう。図３の画像３０２に、画像３０１に対数フィルタをかけ平滑化処理をおこなった画像例を示す。対数フィルタをかけることにより、照明変動に強くなっていることがわかる。
【００３４】
次に、前記撮影方向情報に応じた方向の微分特徴の抽出手法について説明する。
【００３５】
まず撮影方向によってどの方向の微分特徴を抽出すべきか算出する手法について説明する。各画素での、非特許文献３に記載のＰｒｅｗｉｔｔのエッジ検出オペレータやＳｏｂｅｌのエッジ検出オペレータ等によりｘおよびｙ方向の微分値を算出する。
【００３６】
図３の３０３、３０４に、画像３０２のｘ方向及びｙ方向の微分値を表した画像例を示す。ｘ方向およびｙ方向の微分値を説明変量とし、（同じ撮影方向情報をもつ辞書顔画像枚数）×（１枚の画素数）の個数のデータを観測することにより、分散共分散行列を求め、その第一主成分を算出する。この場合、ｘ方向とｙ方向の微分値を説明変量としているので、分散共分散行列は２×２となる。
【００３７】
観測データには、上記のように登録されている人すべての辞書顔画像全体を用いてもよいし、特徴的な辞書顔画像および領域を選択してもよい。算出された第一主成分のベクトル方向の微分値を撮影方向情報に応じた特徴量とする。つまり分散の大きい方向微分を選択する。
【００３８】
たとえば、正面顔画像が入力される場合の多い利用シーンにおいては、登録された複数枚の正面顔画像のｘ方向およびｙ方向の微分値から分散共分散行列を算出し、その第一主成分を算出する。第一主成分のベクトルが（０，１）と算出された場合、ｙ方向の微分値を正面顔の特徴量とする。つまり図３の３０４に示された特徴を正面顔画像に適した特徴量とする。また、右斜め上方向から撮影された顔画像に関して第一主成分が（１／√２，１／√２）と算出された場合、ｘ方向の微分値×１／√２＋ｙ方向微分値×１／√２を特徴量とすればよい。主成分分析による手法について述べたが、各画素におけるエッジ方向を算出し、そのヒストグラムを作成し、一番多い角度を選択しても良い。
【００３９】
次に入力画像特徴量抽出装置１０４を構成する各装置について説明する。画像入力装置１０５では、図２で説明したような利用シーンにおいてデジタルビデオ等で撮影した画像を入力する。
【００４０】
次に顔領域検出装置１０６について説明する。
【００４１】
どのような方法を用いて顔の領域を検出してもよいが、ここではアピアランスベースの照合を行い、顔領域を検出する場合について述べる。
【００４２】
まず利用シーンに応じて一番入力されるのが多いと思われる方向から撮影された複数人数の顔画像を用いて平均顔画像を作成して、例えば図４に示すテンプレート４０１とする。そして図４の入力画像４０２上にそのテンプレート４０１を走査させ、類似度を算出し、類似度が閾値以上の領域を顔領域４０３として検出する。
【００４３】
図４の４０１に示すテンプレートは一例であり、利用シーンに応じて、上方向から撮影したもの、下方向から撮影したもの、右斜め上から撮影したもの等、さまざまな方向から撮影したテンプレートを用意すればよい。テンプレートとして用いる顔画像は複数人の顔の平均顔画像としたが、代表的な顔を選んでテンプレートとして用いてもよく、検出したい対象に適したものを用いることとする。また、画素値そのままをテンプレートとして用いてもよいし、非特許文献３にあるように微分フィルタ等をかけるなど、対象に適した特徴を抽出したものをテンプレートとして用いてもよい。この際、入力画像にも同じ演算を施し、同様の特徴を抽出した後、テンプレートを走査させ、類似度を算出することとする。
【００４４】
類似度算出の方法には非特許文献４にあるように差分や、正規化相関値等あり、どれを用いても良いが、入力画像の特徴にあわせて選択することとする。類似度が閾値以上の領域を抽出する場合、対象物の大きさが任意で入力画像の大きさを変えながらテンプレートマッチングをする際には、同じ箇所を複数回抽出してしまう場合があるので、複数個として抽出してもよいが、領域の中心座標等をもとにクラスタリングをおこない、抽出された領域をまとめてもよい。テンプレートとして用いられている撮影方向の顔領域しか検出しないため、入力される顔領域の撮影方向はあらかじめわかっていることになる。
【００４５】
次に特徴量抽出装置１０７では、顔領域検出装置１０６で算出された入力画像中の顔領域に、顔方向特徴量抽出装置１０３における特徴量抽出と同様に対数フィルタ処理、平滑化処理をおこない、撮影方向に基づく方向微分を特徴量として算出する。
【００４６】
次に認識装置１０８を構成する各装置について説明する。
【００４７】
類似度算出装置１０９では、入力画像中における顔領域および辞書顔画像を矩形領域に分割し、対応する矩形領域の顔方向特徴量抽出装置１０３で抽出された特徴量と特徴量抽出装置１０７で抽出された特徴量との類似度をそれぞれ算出する。
【００４８】
たとえば、顔領域検出装置１０６により検出された顔の向きに応じた特徴量が図５における５０１の場合、つまり正面顔画像が検出され、正面に対応する特徴量がｙ方向の微分値であった場合、図５の５０２のように矩形領域ごとに分割し、それぞれの矩形領域ごとに類似度を算出する。非特許文献４にあるように差分や、正規化相関値等あり、どれを用いても良いが、ここでは下記の式（２）の相関値Ｃを算出するものとする。
【００４９】
【数２】
【００５０】
式（２）において、辞書顔画像の矩形領域の特徴量値をｊｉｓｈｏ（ｉ，ｊ）、入力画像中の顔領域における矩形領域の特徴量をｉｎｐｕｔ（ｉ，ｊ）とする。矩形領域に分割をおこなった例を説明したが、分割される形状はどのようなものでもよい。
【００５１】
各矩形領域における相関値Ｃの総和が一番大きい値を示す辞書顔画像の人物を識別結果とする。前記のように単純に相関値Ｃの総和をとってもよいし、矩形領域の相関値Ｃのソートをおこない、中央値を、辞書顔画像との類似度とし比較してもよい。類似度が閾値以下の場合は、登録された人物ではないと判定し、該当なしという識別結果としてもよい。
【００５２】
矩形領域ごとの類似度を算出する際、表情の変化による顔の部位の位置ずれや若干の向きの変動等に対応するため、矩形領域ごとに平均移動やアフィン変換等をおこない、一番類似度の高くなるように変形してもよい。
【００５３】
出力装置１１０では、類似度算出装置１０９での識別結果を出力する。
【００５４】
本発明の顔認識方法は、顔の撮影方向が一定な環境における顔認識方法において、ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力ステップと、前記辞書顔画像入力ステップにより入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出ステップと、認識対象となる画像を入力する画像入力ステップと、前記入力された画像から撮影方向に基づいた顔領域を検出する顔領域検出ステップと、前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出ステップと、前記顔方向特徴量抽出ステップにより辞書用の顔画像から抽出された特徴量と前記特徴量抽出ステップにより入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出ステップと、前記類似度に基づいた認識結果を出力する出力ステップとを備えている。
【００５５】
具体的には、例えば前記図１の各装置の処理を次のような手順で実行するものである。
【００５６】
すなわち、
（ステップＳ１）
辞書顔画像入力装置１０２が、利用シーンに応じて入力される顔の向きを設定し、その向きからカメラなどで撮影した顔画像を、撮影方向情報とともに辞書顔画像として取得する。
（ステップＳ２）
顔方向特徴量抽出装置１０３が、前記取得した辞書顔画像に対数フィルタをかけ、平滑化処理を行い、さらに撮影方向情報に基づいた微分特徴を抽出する。その際、対象とする撮影方向の、複数枚の辞書用の顔画像に対して、それらの各画素におけるｘ方向とｙ方向の微分値を算出し、それらを説明変量とする分散共分散行列の第一主成分の方向に基づくエッジ特徴を算出し、それを撮影方向に基づいた特徴量とする。
（ステップＳ３）
画像入力装置１０５が、図２で説明したような利用シーンにおいてデジタルビデオ等で撮影した画像を入力する。
（ステップＳ４）
顔領域検出装置１０６が、入力画像から、撮影方向に基づいた顔領域を検出する。例えば、所定の方向から撮影された顔画像から作成されたテンプレートを、前記入力画像上で走査させて、入力画像とテンプレートの類似度を算出し、該類似度が閾値以上の領域を顔領域として検出する。
（ステップＳ５）
特徴量抽出装置１０７が、前記ステップＳ４で検出された、入力画像中の顔領域に対して、前記ステップＳ２（顔方向特徴量抽出装置１０３が行う処理）における特徴量抽出と同様に対数フィルタ処理、平滑化処理をおこない、撮影方向に基づく方向微分を特徴量として算出する。
（ステップＳ６）
類似度算出装置１０９が、入力画像中における顔領域および辞書顔画像を矩形領域に分割し、対応する矩形領域の顔方向特徴量抽出装置１０３（ステップＳ２）で抽出された特徴量と特徴量抽出装置１０７（ステップＳ５）で抽出された特徴量との類似度をそれぞれ算出し、該類似度に基づいて顔を識別する。
（ステップＳ７）
出力装置１１０が、類似度算出装置１０９（ステップＳ６）での識別結果を出力する。
【００５７】
以上の実施形態例により、撮影方向に基づいて特徴量抽出を行うことにより、各利用シーンに適した特徴量を用いて照合を行うことができ、精度よく認識することが可能になる。
【００５８】
また、本実施形態の顔認識装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の顔認識方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもない。
【００５９】
前述した実施形態の機能を実現するソフトウェアのプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記録媒体に格納されたプログラムを読み出し実行することによっても、実現できる。この場合、記録媒体から読み出されたプログラム自体が上記実施形態の機能を実現することになり、このプログラムを記録した記録媒体、例えば、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯ及びＨＤＤ等は本発明を構成する。
【図面の簡単な説明】
【００６０】
【図１】本発明の顔認識装置の実施形態例を示すブロック図。
【図２】本発明の実施形態例における撮影方向の説明図。
【図３】本発明の実施形態例における特徴量抽出の説明図。
【図４】本発明の実施形態例における顔領域検出手段の手法の説明図。
【図５】本発明の実施形態例における類似度算出手段における画像分割の説明図。
【符号の説明】
【００６１】
１０１…辞書特徴量抽出装置、１０２…辞書顔画像入力装置、１０３…顔方向特徴量抽出装置、１０４…入力画像特徴量抽出装置、１０５…画像入力装置、１０６…顔領域検出装置、１０７…特徴量抽出装置、１０８…認識装置、１０９…類似度算出装置、１１０…出力装置。
【特許請求の範囲】
【請求項１】
顔の撮影方向が一定な環境における顔認識装置において、
ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力手段と、
前記辞書顔画像入力手段により入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出手段と、
認識対象となる画像を入力する画像入力手段と、
前記入力された画像から撮影方向に基づいた顔領域を検出する顔領域検出手段と、
前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出手段と、
前記顔方向特徴量抽出手段により辞書用の顔画像から抽出された特徴量と前記特徴量抽出手段により入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出手段と、
前記類似度に基づいた認識結果を出力する出力手段と
を備えたことを特徴とする顔認識装置。
【請求項２】
前記顔方向特徴量抽出手段は、
対象とする撮影方向の、複数枚の辞書用の顔画像に対して、それらの各画素におけるｘ方向とｙ方向の微分値を算出し、それらを説明変量とする分散共分散行列の第一主成分の方向に基づくエッジ特徴を算出し、それを撮影方向に基づいた特徴量とすることを特徴とする請求項１に記載の顔認識装置。
【請求項３】
前記顔領域検出手段は、
所定の方向から撮影された顔画像から作成されたテンプレートを、前記入力画像上で走査させて、入力画像とテンプレートの類似度を算出し、該類似度が閾値以上の領域を顔領域として検出することを特徴とする請求項１又は２に記載の顔認識装置。
【請求項４】
顔の撮影方向が一定な環境における顔認識方法において、
辞書顔画像入力手段が、ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力ステップと、
顔方向特徴量抽出手段が、前記辞書顔画像入力ステップにより入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出ステップと、
画像入力手段が認識対象となる画像を入力する画像入力ステップと、
顔領域検出手段が、前記入力された画像から撮影方向に基づいた顔領域を検出する顔領域検出ステップと、
特徴量抽出手段が、前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出ステップと、
類似度算出手段が、前記顔方向特徴量抽出ステップにより辞書用の顔画像から抽出された特徴量と前記特徴量抽出ステップにより入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出ステップと、
出力手段が、前記類似度に基づいた認識結果を出力する出力ステップと
を備えたことを特徴とする顔認識方法。
【請求項５】
前記顔方向特徴量抽出ステップは、
対象とする撮影方向の、複数枚の辞書用の顔画像に対して、それらの各画素におけるｘ方向とｙ方向の微分値を算出し、それらを説明変量とする分散共分散行列の第一主成分の方向に基づくエッジ特徴を算出し、それを撮影方向に基づいた特徴量とすることを特徴とする請求項４に記載の顔認識方法。
【請求項６】
前記顔領域検出ステップは、
所定の方向から撮影された顔画像から作成されたテンプレートを、前記入力画像上で走査させて、入力画像とテンプレートの類似度を算出し、該類似度が閾値以上の領域を顔領域として検出することを特徴とする請求項４又は５に記載の顔認識方法。
【請求項７】
コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させるための顔認識プログラム。
【請求項８】
コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させるための顔認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
顔の撮影方向が一定な環境における顔認識装置において、
ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力手段と、
前記辞書顔画像入力手段により入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出手段と、
認識対象となる画像を入力する画像入力手段と、
前記入力された画像から撮影方向に基づいた顔領域を検出する顔領域検出手段と、
前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出手段と、
前記顔方向特徴量抽出手段により辞書用の顔画像から抽出された特徴量と前記特徴量抽出手段により入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出手段と、
前記類似度に基づいた認識結果を出力する出力手段と
を備えたことを特徴とする顔認識装置。
【請求項２】
前記顔方向特徴量抽出手段は、
対象とする撮影方向の、複数枚の辞書用の顔画像に対して、それらの各画素におけるｘ方向とｙ方向の微分値を算出し、それらを説明変量とする分散共分散行列の第一主成分の方向に基づくエッジ特徴を算出し、それを撮影方向に基づいた特徴量とすることを特徴とする請求項１に記載の顔認識装置。
【請求項３】
前記顔領域検出手段は、
所定の方向から撮影された顔画像から作成されたテンプレートを、前記入力画像上で走査させて、入力画像とテンプレートの類似度を算出し、該類似度が閾値以上の領域を顔領域として検出することを特徴とする請求項１又は２に記載の顔認識装置。
【請求項４】
顔の撮影方向が一定な環境における顔認識方法において、
辞書顔画像入力手段が、ある一定の撮影方向における辞書用の顔画像を撮影方向情報とともに入力する辞書顔画像入力ステップと、
顔方向特徴量抽出手段が、前記辞書顔画像入力ステップにより入力された撮影方向情報に基づいて辞書用の顔画像から特徴量を抽出する顔方向特徴量抽出ステップと、
画像入力手段が認識対象となる画像を入力する画像入力ステップと、
顔領域検出手段が、前記入力された画像から撮影方向に基づいた顔領域を検出する顔領域検出ステップと、
特徴量抽出手段が、前記撮影方向に基づいて検出された顔領域から特徴量を抽出する特徴量抽出ステップと、
類似度算出手段が、前記顔方向特徴量抽出ステップにより辞書用の顔画像から抽出された特徴量と前記特徴量抽出ステップにより入力画像中の顔領域から抽出された特徴量との類似度を算出し、該類似度に基づいて顔を認識する類似度算出ステップと、
出力手段が、前記類似度に基づいた認識結果を出力する出力ステップと
を備えたことを特徴とする顔認識方法。
【請求項５】
前記顔方向特徴量抽出ステップは、
対象とする撮影方向の、複数枚の辞書用の顔画像に対して、それらの各画素におけるｘ方向とｙ方向の微分値を算出し、それらを説明変量とする分散共分散行列の第一主成分の方向に基づくエッジ特徴を算出し、それを撮影方向に基づいた特徴量とすることを特徴とする請求項４に記載の顔認識方法。
【請求項６】
前記顔領域検出ステップは、
所定の方向から撮影された顔画像から作成されたテンプレートを、前記入力画像上で走査させて、入力画像とテンプレートの類似度を算出し、該類似度が閾値以上の領域を顔領域として検出することを特徴とする請求項４又は５に記載の顔認識方法。
【請求項７】
コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させるための顔認識プログラム。
【請求項８】
コンピュータを請求項１ないし３のいずれか１項に記載の各手段として機能させるための顔認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２００９−１５７７６６（Ｐ２００９−１５７７６６Ａ）
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願番号】特願２００７−３３６９３０（Ｐ２００７−３３６９３０）
【出願日】平成１９年１２月２７日（２００７．１２．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年７月１６日（２００９．７．１６）
【国際特許分類】
【出願日】平成１９年１２月２７日（２００７．１２．２７）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]