顔画像認識装置及び顔画像認識プログラム
【課題】顔画像認識の処理の高速化及び登録作業の簡単化が可能な顔画像認識装置及び顔画像認識プログラムを提供することを課題とする。
【解決手段】映像中の人物の顔を認識する顔画像認識装置２０であって、認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の目標とする正面以外の向きの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段２４と、映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段２２と、抽出された顔領域の特徴を抽出し、顔領域の特徴とテンプレート格納手段２４に登録された人物特定テンプレートとを照合して、顔領域に写っている人物の顔を認識すると共に、顔領域の特徴とテンプレート格納手段２４に登録された人物不特定テンプレートとを照合して、顔領域に写っている認識した人物の顔の向きを追跡する顔認識手段２３とを有することにより上記課題を解決する。
【解決手段】映像中の人物の顔を認識する顔画像認識装置２０であって、認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の目標とする正面以外の向きの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段２４と、映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段２２と、抽出された顔領域の特徴を抽出し、顔領域の特徴とテンプレート格納手段２４に登録された人物特定テンプレートとを照合して、顔領域に写っている人物の顔を認識すると共に、顔領域の特徴とテンプレート格納手段２４に登録された人物不特定テンプレートとを照合して、顔領域に写っている認識した人物の顔の向きを追跡する顔認識手段２３とを有することにより上記課題を解決する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顔画像認識装置及び顔画像認識プログラムに係り、特に映像中の人物の顔を認識する顔画像認識装置及び顔画像認識プログラムに関する。
【背景技術】
【０００２】
従来の顔画像認識手法では、認識対象となる人物の顔が複数の向きで映った画像を集めて、各顔画像から可変テンプレートを構築してデータベース（ＤＢ）に登録する。そして従来の顔画像認識手法では、入力映像中の人物の顔が映る顔領域を検出し、その顔領域から抽出した特徴を各可変テンプレートと照合して類似度を算出することにより、誰の顔であるかを認識し、各フレームに映った各顔領域に、どの向きで誰の顔が映っているかを推定していた（例えば非特許文献１及び２参照）。
【０００３】
図１は従来の顔画像認識システムの一例の構成図である。図１の顔画像認識システム１００は顔領域検出部１０１、顔部品追跡部１０２、可変テンプレートＤＢ１０３を有する構成である。顔領域検出部１０１は入力映像中の人物の顔が写る顔領域を検出する。入力映像から顔領域を検出する技術はＯｐｅｎＣＶライブラリーが提供するＶｉｏｌａ−Ｊｏｎｅｓ系の顔検出器など、既存の技術を利用できる（例えば非特許文献３参照）。
【０００４】
顔部品追跡部１０２は、顔領域検出部１０１によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートと照合することにより、誰の顔であるかを認識し、各フレームに映った各顔領域に、どの向きで誰の顔が映っているかを推定していた。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Simon CLIPPINGDALE，伊藤崇之，“動画像の顔検出・追跡・認識への統一されたアプローチ”，電子情報通信学会 PRMU 98−200，1999年1月．
【非特許文献２】S.Clippingdale,M.Fujii,M.Shibata,Multimedia Databases for VideoIndexing: Toward Automatic Face Image Registration,Proc.IEEE InternationalSymposium on Multimedia 2009, pp. 639-644,2009.
【非特許文献３】S. Clippingdale,“顔部品の実時間追跡システムの開発”,映像情報メディア学会冬季大会，2010.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の顔画像認識システム１００では、入力映像の各フレームに顔領域検出の処理をかけて、検出された顔領域において可変テンプレートマッチングを初期化して、人物を認識する。従来の顔画像認識システム１００では、顔の向きが正面から離れて顔領域の検出が出来なくなっても、前フレームでの可変テンプレートマッチング結果に基づいて、正面以外の向きでのテンプレートと照合して、人物の追跡と認識を続ける。
【０００７】
従来の顔画像認識システム１００では正面以外の向きでも、認識対象となる人物の人数分の各向きの可変テンプレートが必要であった。したがって、図１に示す従来の顔画像認識システム１００では以下のような問題点があった。
【０００８】
第１の問題点として、従来の顔画像認識システム１００では可変テンプレートとの照合を初期化するために、先ず入力映像中の顔でありそうな領域を顔領域として検出する必要がある。顔領域検出部１０１による顔領域の検出処理は入力映像のフレームの全画面をスキャンするので、計算量が大きく、時間が掛かるという問題があった。
【０００９】
第２の問題点として、従来の顔画像認識システム１００では認識対象となる人物の顔が複数の向きで映った画像を集めて、各顔画像から可変テンプレートを構築してＤＢに登録する必要がある。しかし、認識対象となる人物の顔が複数の向きで映った画像を集めることは容易なことではない。
【００１０】
第３の問題点として、従来の顔画像認識システム１００では認識対象となる人物の顔が複数の向きで映った画像を集めることができたとしても、入力映像中に写っている顔の向きと、可変テンプレートＤＢ１０３に登録されている顔の向きとが近ければ近いほど、照合して算出される類似度が高くなる傾向にある。
【００１１】
それ故に、従来の顔画像認識システム１００では、入力映像中に写っている人物（本人）の顔の向きに、別の人物（他人）の可変テンプレートの顔の向きが本人の可変テンプレートの顔の向きより近い場合、本人が他人として誤認識されることがあった。
【００１２】
第４の問題点として、従来の顔画像認識システム１００では認識対象となる人物の顔が複数の同じ向きで写った画像（一致する方向を向いた認識対象となる全人物の顔の画像）があれば第３の問題は発生しないが、複数の向きごとに認識対象となる人物の人数分の可変テンプレートがある故に、照合に必要な計算量が多いという問題があった。
【００１３】
本発明は上記の点に鑑みなされたものであり、顔画像認識の処理の高速化及び登録作業の簡単化が可能な顔画像認識装置及び顔画像認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明は、映像中の人物の顔を認識する顔画像認識装置であって、認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の目標とする正面以外の向きの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段と、映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、抽出された顔領域の特徴を抽出し、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物特定テンプレートとを照合して、前記顔領域に写っている人物の顔を認識すると共に、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔認識手段とを有することを特徴とする。
【００１５】
なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
【発明の効果】
【００１６】
本発明によれば、顔画像認識の処理の高速化及び登録作業の簡単化が可能な顔画像認識装置及び顔画像認識プログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】従来の顔画像認識システムの一例の構成図である。
【図２】ＰＣの一例のハードウェア構成図である。
【図３】本実施例の顔画像認識装置の一例の機能構成図である。
【図４】肌色領域抽出の概要を示す一例の説明図である。
【図５】可変テンプレートの内容を示す一例の説明図である。
【図６】ある向きにおける人物不特定可変テンプレートの構築方法を示す一例の説明図である。
【図７】顔部品追跡部の一例の機能構成図である。
【発明を実施するための形態】
【００１８】
次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。
【００１９】
＜本発明の概要＞
本発明はコンピュータによる顔画像認識において、映像中の人物の顔を追跡しながら、顔画像のデータベースに登録してある人物の顔と照合して、誰の顔であるかを認識する。本発明は複数の人物と複数の顔の向きとに対応することに伴う計算量の増加及び登録作業の複雑化に対応するため、人物の顔が正面に近い向きで映ったときに顔画像のデータベースに登録してある人物の顔と照合して、誰の顔であるかを認識する。
【００２０】
また、本発明は人物の顔が正面から離れた向きで映ったときに、特別に用意した顔テンプレート（人物不特定可変テンプレート）を使用し、顔領域を追跡して認識結果を保持する。なお、人物不特定可変テンプレートの詳細については後述するが、認識対象となる人物の人数によらず、向きごとに一つの人物不特定可変テンプレートを使用すればよいため、顔領域を追跡する為の計算量が大幅に削減される。
【００２１】
このように、本発明は顔領域を追跡する為の追跡技術の計算量が、複数の人物の様々な向きの顔を認識する計算量に比べて少ないため、様々な顔の向きに対応する頑健性が高く、高速な顔画像認識の処理を実現できる。
【００２２】
＜ハードウェア構成＞
本実施例の顔画像認識装置は、ＰＣやワークステーション等により実現することができる。ここでは、本実施例の顔画像認識装置をＰＣにより実現する例について説明する。なお、顔画像認識装置は必ずしも一つの筐体で構成されることを示すものではない。また、本実施例の顔画像認識装置は顔画像認識システムのように複数の装置に機能を分散させる構成とすることもできる。
【００２３】
本実施例の顔画像認識装置は例えば図２に示すようなハードウェア構成のＰＣにより実現される。図２はＰＣの一例のハードウェア構成図である。ＰＣ１０はバス１９で相互に接続されている入力装置１１、出力装置１２、記録媒体読取装置１３、補助記憶装置１４、主記憶装置１５、演算処理装置１６、インタフェース装置１７を含む。
【００２４】
入力装置１１はキーボードやマウス等である。入力装置１１は各種信号を入力するために用いられる。出力装置１２はディスプレイ装置等である。出力装置１２は各種ウィンドウやデータ等を表示するために用いられる。インタフェース装置１７は、モデム，ＬＡＮカード等である。インタフェース装置１７は、ネットワークに接続するために用いられる。
【００２５】
顔画像認識装置に搭載される顔画像認識プログラムは、ＰＣ１０を制御する各種プログラムの少なくとも一部である。顔画像認識プログラムは例えば記録媒体１８の配布やネットワーク等からのダウンロードなどによって提供される。
【００２６】
記録媒体１８はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００２７】
顔画像認識プログラムを記録した記録媒体１８が記録媒体読取装置１３にセットされると、顔画像認識プログラムは記録媒体１８から記録媒体読取装置１３を介して補助記憶装置１４にインストールされる。ネットワーク等からダウンロードされた顔画像認識プログラムはインタフェース装置１７を介して補助記憶装置１４にインストールされる。
【００２８】
補助記憶装置１４は、インストールされた顔画像認識プログラム、必要なファイル、データ等を格納する。主記憶装置１５は顔画像認識プログラムの起動時に、補助記憶装置１４から顔画像認識プログラムを読み出して格納する。そして、演算処理装置１６は主記憶装置１５に格納された顔画像認識プログラムに従って、後述するような各種処理を実現している。
【００２９】
＜機能構成＞
図３は本実施例の顔画像認識装置の一例の機能構成図である。図３の顔画像認識装置２０は肌色領域抽出部２１、顔領域検出部２２、顔部品追跡部２３、可変テンプレートＤＢ２４を有する構成である。
【００３０】
肌色領域抽出部２１は入力映像中から肌色の領域を抽出する。入力映像中から肌色の領域を抽出する処理の詳細は後述する。顔領域検出部２２は肌色領域抽出部２１によって抽出された肌色の領域から、人物の顔が写っている顔領域を抽出する。顔領域を抽出する技術は上記した既存の技術を利用すればよい。
【００３１】
顔部品追跡部２３は、顔領域検出部２２によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートＤＢ２４に登録した可変テンプレートと照合することにより、検出された各顔領域に、どの向きで誰の顔が映っているかを推定する。顔部品追跡部２３の処理の詳細は後述する。
【００３２】
なお、本実施例で利用する可変テンプレートＤＢ２４は以下のように従来の可変テンプレートＤＢ１０３と異なっている。可変テンプレートＤＢ２４は正面の向きの可変テンプレート（以下、人物特定可変テンプレートという）と、正面以外の向きの可変テンプレート（以下、人物不特定可変テンプレートという）とを登録している。人物特定可変テンプレートは認識対象となる人物の正面の向きの顔画像の可変テンプレートである。人物不特定可変テンプレートは必ずしも認識対象とはならない多数の人物の目標とする向きの顔画像を集めて構築した平均的な顔画像の可変テンプレートである。
【００３３】
可変テンプレートＤＢ２４は正面以外の向きについて、認識対象となる人物の人数分の人物特定可変テンプレートを、一つの人物不特定可変テンプレートに置き換えたものである。可変テンプレートＤＢ２４の詳細は後述する。
【００３４】
顔部品追跡部２３は、顔領域検出部２２によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートＤＢ２４に登録した人物特定可変テンプレートと照合することにより、検出された各顔領域に誰の顔が映っているかを推定し、抽出した特徴を可変テンプレートＤＢ２４に登録した人物不特定可変テンプレートと照合することにより、検出された各顔領域に、どの向きで顔が映っているかを推定する。
【００３５】
顔部品追跡部２３は、正面に近い向きで顔が写っている顔領域と人物特定可変テンプレートとの照合により人物の認識を行い、その後、顔が正面の向きから回転して離れても、正面以外の向きで顔が写っている顔領域と人物不特定可変テンプレートとの照合により顔を追跡することで、顔領域と対応付けて人物の認識結果を保持することができる。
【００３６】
本実施例の顔画像認識装置２０は上記した第１の問題点について、顔領域を抽出する処理の対象範囲を肌色の領域に絞ることで解決する。また、本実施例の顔画像認識装置２０は上記した第２〜第４の問題点について、人物不特定可変テンプレートを利用することで解決する。
【００３７】
＜肌色領域抽出＞
肌色領域抽出部２１は正規化ＣｂＣｒ手法により入力フレームの各画素のＲＧＢ値が肌色に相当するか否かを判定する（例えば非特許文献３参照）。肌色領域抽出部２１はＲＧＢ値をＹＣｂＣｒ空間に変換し、ＣｂとＣｒとの値を式（１）により正規化する。
【００３８】
【数１】
なお、Ｙは輝度信号である。ＣｂはＢ信号から輝度信号Ｙを差し引いた色差信号Ｂ−Ｙに特定の定数を掛けた値である。また、ＣｒはＲ信号から輝度信号Ｙを差し引いた色差信号Ｒ−Ｙに特定の定数を掛けた値である。
【００３９】
肌色領域抽出部２１は、ある画素ｘに対応する（Ｃｂ′，Ｃｒ,′）（ｘ）の位置が肌色代表点から一定の距離以内にあれば、式（２）に示すように、その画素ｘを肌色と判定する。
【００４０】
【数２】
肌色領域抽出部２１は一般化されたメディアンフィルタにより、肌色または肌色ではないと判定され孤立した画素を除去する。以下の式（３）ではａ＝０．５の場合に、メディアンフィルタとなる。以下の式（３）では、ａの値により少なめ又は多めに画素がＯＮ（ｑ（ｘ）＝１）になる。
【００４１】
【数３】
肌色領域抽出部２１は連接領域抽出（connected component labeling）の処理と連接領域の外周ボックスに条件（閾値）をかけることにより、安定した肌色領域を抽出する。
【００４２】
図４は肌色領域抽出の概要を示す一例の説明図である。肌色領域抽出部２１は各画素のＲＧＢ値をＹＣｂＣｒ空間に変換し、ＣｂとＣｒとの値を式（１）により正規化して、Ｙ＝１２８平面に射影している。肌色領域抽出部２１は、肌色代表点に近ければ画素を肌色と判定する。
【００４３】
肌色領域抽出部２１は一般化されたメディアンフィルタにより独立画素を取り除いた領域を出力する。また、肌色領域抽出部２１は連接領域抽出の処理により肌色領域リストを出力する。肌色領域抽出部２１はメディアンフィルタ及び連接領域抽出の処理により安定した肌色領域を抽出する。
【００４４】
＜可変テンプレートの構築＞
従来の顔画像認識システム１００で用いていた可変テンプレートは例えば図５に示すような成分を有する。図５は可変テンプレートの内容を示す一例の説明図である。従来の顔画像認識システム１００で用いていた可変テンプレートは登録した顔画像において、顔の向きによって見えている最大９点の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを成分として有する。
【００４５】
なお、図５では特徴点の数をＮＦＰ＝９点としているが、その他の数を採用することもできる。特徴点は目頭、目尻など顔の部品に対して指定されるので顔画像の二次元的な形状を反映する。
【００４６】
また、図５ではガボールウェーブレット特徴が５つの解像度×８つの方位を使用しているが、その他の数を採用することもできる。ガボールウェーブレット特徴は各解像度と各方位において、特徴点の近傍に、顔画像にどの程度の信号エネルギーがあるかを表現するものであるため、画像の輝度パターンを反映する。
【００４７】
従来の顔画像認識システム１００では、各向きに対して登録人数分（認識対象となる人物の人数分）の可変テンプレートを準備する必要があった。本発明では正面以外の向きの登録人数分の可変テンプレートを一つの人物不特定可変テンプレートに置き換える。
【００４８】
図６は、ある向きにおける人物不特定可変テンプレートの構築方法を示す一例の説明図である。まず、ある向きにおける人物不特定可変テンプレートの構築方法では、必ずしも認証対象の人物を含まない多数の人物ｋ，０≦ｋ＜Ｋの、目標とする各向きの顔画像Ｉｋ（ｘ），０≦ｋ＜Ｋを集めて、特徴点
【００４９】
【数４】
の位置（座標）を手動で指定する。各特徴点の平均位置
【００５０】
【数５】
と各特徴点のガボールウェーブレット特徴
【００５１】
【数６】
を計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では各特徴点ｎ，０≦ｎ＜ＮＦＰについて、各画像でその特徴点ｎを平均位置にずらしてアラインした平均画像Ａｎ（ｘ）を算出する。
【００５２】
【数７】
次に、ある向きにおける人物不特定可変テンプレートの構築方法ではガボールウェーブレット特徴ｃnを、平均画像Ａｎ（ｘ）での各平均特徴点位置
【００５３】
【数８】
で計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では人物ｋの顔画像Ｉｋと各特徴点ｎとで、ガボールウェーブレット特徴ｃnを平均画像Ａｎ（ｘ）において、各平均特徴点位置
【００５４】
【数９】
で計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では顔画像Ｉｋと各特徴点ｎとで、ガボールウェーブレット特徴
【００５５】
【数１０】
とｃｎとの位相の差分より、顔画像Ｉｋの特徴点nが平均画像Ａｎ（ｘ）での平均特徴点
【００５６】
【数１１】
から、どれだけずれているか、その位置ずれ
【００５７】
【数１２】
を推定する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では推定した位置ずれを新たに顔画像Ｉｋ（ｘ）に適用して特徴点ごとに、更にずらされた平均画像を算出する。
【００５８】
【数１３】
次に、ある向きにおける人物不特定可変テンプレートの構築方法では、新たに
【００５９】
【数１４】
において、平均特徴点位置
【００６０】
【数１５】
でガボールウェーブレット特徴
【００６１】
【数１６】
を計測する。人物不特定可変テンプレートは各平均特徴点位置
【００６２】
【数１７】
とガボールウェーブレット特徴
【００６３】
【数１８】
を有する。
【００６４】
次に、ある向きにおける人物不特定可変テンプレートの構築方法では、正面以外の向きの登録人数分の可変テンプレートを一つの人物不特定可変テンプレートで置き替える。正面の向きの登録人数分の可変テンプレート（人物特定可変テンプレート）は、従来の顔画像認識システム１００と同様、登録人数分の可変テンプレートのままとする。
【００６５】
＜顔部品追跡部２３の構成＞
図７は顔部品追跡部の一例の機能構成図である。図７の顔部品追跡部２３は認識部３１、追跡部３２を有する構成である。
【００６６】
認識部３１は顔領域検出部２２によって検出された顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを抽出し、抽出した特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを可変テンプレートＤＢ２４に登録した人物特定可変テンプレートと照合することにより、検出された各顔領域に、どの向きで誰の顔が映っているかを推定する。
【００６７】
追跡部３２は顔領域検出部２２によって検出された顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを抽出し、抽出した特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを可変テンプレートＤＢ２４に登録した人物不特定可変テンプレートと照合することにより、検出された各顔領域に、どの向きで顔が写っているかを追跡する。
【００６８】
ところで、顔領域検出部２２は肌色の領域に、正面に近い向きの顔が写っているときに顔領域として抽出する。言い換えれば顔領域検出部２２によって抽出された顔領域には正面に近い向きで顔が写っていることになる。結果として、顔領域検出部２２によって抽出された顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とは人物特定可変テンプレートと最もマッチングすることになる。
【００６９】
その後、顔領域に写っている顔が正面の向きから回転して離れると、顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とは人物不特定可変テンプレートと最もマッチングすることになる。ただし、人物不特定可変テンプレートは多数の人物の顔画像を集めて構築した平均的な可変テンプレートである。そこで、人物不特定可変テンプレートと最もマッチングするとき、認識部３１は既に人物特定可変テンプレートによって推定した推定（認識）結果を維持する。
【００７０】
このように、図７の顔部品追跡部２３は顔領域に写っている顔が正面の向きから回転して離れても、追跡部３２により顔の追跡を行い、認識部３１により認識結果を維持（保持）することで、様々な顔の向きの人物を認識することを可能としている。
【００７１】
つまり、本実施例の顔画像認識装置２０は登録人数分の可変テンプレートが無くても、正面の向きで顔が認識されれば、認識には使用できない人物不特定テンプレートにより顔の向きの追跡を行い、既に認識した認識結果を連続的に引き継いでいくことにより、様々な向きの顔画像に対して人物の認識結果を付与することができる。
【００７２】
＜効果＞
本実施例の顔画像認識装置２０は顔領域検出部２２による顔領域の検出を肌色領域抽出部２１によって抽出された肌色の領域に絞ることにより、顔領域の検出の処理時間を、ほぼ（肌色の領域／画面の面積）という比率で低減できる。
【００７３】
また、本実施例の顔画像認識装置２０は以前の顔画像認識システム１００と比べて顔部品追跡部２３の計算量を大幅に省くことができる。顔部品追跡部２３の計算量は、正面以外の向きで顔が写っているとき、ほぼ（１／登録人数）に低減できる。
【００７４】
また、本実施例の顔画像認識装置２０は認識対象となる人物の顔が正面の向きで映った画像を集めればよいため、可変テンプレートＤＢ２４の登録作業が依然の顔画像認識システム１００と比べて大幅に簡単化できる。
【００７５】
また、本実施例の顔画像認識装置２０の可変テンプレートＤＢ２４は正面以外の向きについて、認識対象となる人物の人数分の人物特定可変テンプレートを一つの人物不特定可変テンプレートに置き換えているため、上記した第３の問題点が発生しない。つまり、本実施例の顔画像認識装置２０は可変テンプレートＤＢ２４の作りによる性能差を少なくできる。
【００７６】
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。なお、特許請求の範囲に記載したテンプレート格納手段は可変テンプレートＤＢ２４に相当し、顔領域抽出手段は顔領域検出部２２に相当し、顔認識手段は顔部品追跡部２３に相当し、肌色領域抽出手段は肌色領域抽出部２１に相当し、認識手段は認識部３１に相当し、追跡手段は追跡部３２に相当し、人物特定テンプレートは人物特定可変テンプレートに相当し、人物不特定テンプレートは人物不特定可変テンプレートに相当する。
【符号の説明】
【００７７】
１０ ＰＣ
１１ 入力装置
１２ 出力装置
１３ 記録媒体読取装置
１４ 補助記憶装置
１５ 主記憶装置
１６ 演算処理装置
１７ インタフェース装置
１８ 記録媒体
１９ バス
２０ 顔画像認識装置
２１ 肌色領域抽出部
１００ 顔画像認識システム
２２、１０１ 顔領域検出部
２３、１０２ 顔部品追跡部
２４、１０３ 可変テンプレートＤＢ
３１ 認識部
３２ 追跡部
【技術分野】
【０００１】
本発明は顔画像認識装置及び顔画像認識プログラムに係り、特に映像中の人物の顔を認識する顔画像認識装置及び顔画像認識プログラムに関する。
【背景技術】
【０００２】
従来の顔画像認識手法では、認識対象となる人物の顔が複数の向きで映った画像を集めて、各顔画像から可変テンプレートを構築してデータベース（ＤＢ）に登録する。そして従来の顔画像認識手法では、入力映像中の人物の顔が映る顔領域を検出し、その顔領域から抽出した特徴を各可変テンプレートと照合して類似度を算出することにより、誰の顔であるかを認識し、各フレームに映った各顔領域に、どの向きで誰の顔が映っているかを推定していた（例えば非特許文献１及び２参照）。
【０００３】
図１は従来の顔画像認識システムの一例の構成図である。図１の顔画像認識システム１００は顔領域検出部１０１、顔部品追跡部１０２、可変テンプレートＤＢ１０３を有する構成である。顔領域検出部１０１は入力映像中の人物の顔が写る顔領域を検出する。入力映像から顔領域を検出する技術はＯｐｅｎＣＶライブラリーが提供するＶｉｏｌａ−Ｊｏｎｅｓ系の顔検出器など、既存の技術を利用できる（例えば非特許文献３参照）。
【０００４】
顔部品追跡部１０２は、顔領域検出部１０１によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートと照合することにより、誰の顔であるかを認識し、各フレームに映った各顔領域に、どの向きで誰の顔が映っているかを推定していた。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Simon CLIPPINGDALE，伊藤崇之，“動画像の顔検出・追跡・認識への統一されたアプローチ”，電子情報通信学会 PRMU 98−200，1999年1月．
【非特許文献２】S.Clippingdale,M.Fujii,M.Shibata,Multimedia Databases for VideoIndexing: Toward Automatic Face Image Registration,Proc.IEEE InternationalSymposium on Multimedia 2009, pp. 639-644,2009.
【非特許文献３】S. Clippingdale,“顔部品の実時間追跡システムの開発”,映像情報メディア学会冬季大会，2010.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の顔画像認識システム１００では、入力映像の各フレームに顔領域検出の処理をかけて、検出された顔領域において可変テンプレートマッチングを初期化して、人物を認識する。従来の顔画像認識システム１００では、顔の向きが正面から離れて顔領域の検出が出来なくなっても、前フレームでの可変テンプレートマッチング結果に基づいて、正面以外の向きでのテンプレートと照合して、人物の追跡と認識を続ける。
【０００７】
従来の顔画像認識システム１００では正面以外の向きでも、認識対象となる人物の人数分の各向きの可変テンプレートが必要であった。したがって、図１に示す従来の顔画像認識システム１００では以下のような問題点があった。
【０００８】
第１の問題点として、従来の顔画像認識システム１００では可変テンプレートとの照合を初期化するために、先ず入力映像中の顔でありそうな領域を顔領域として検出する必要がある。顔領域検出部１０１による顔領域の検出処理は入力映像のフレームの全画面をスキャンするので、計算量が大きく、時間が掛かるという問題があった。
【０００９】
第２の問題点として、従来の顔画像認識システム１００では認識対象となる人物の顔が複数の向きで映った画像を集めて、各顔画像から可変テンプレートを構築してＤＢに登録する必要がある。しかし、認識対象となる人物の顔が複数の向きで映った画像を集めることは容易なことではない。
【００１０】
第３の問題点として、従来の顔画像認識システム１００では認識対象となる人物の顔が複数の向きで映った画像を集めることができたとしても、入力映像中に写っている顔の向きと、可変テンプレートＤＢ１０３に登録されている顔の向きとが近ければ近いほど、照合して算出される類似度が高くなる傾向にある。
【００１１】
それ故に、従来の顔画像認識システム１００では、入力映像中に写っている人物（本人）の顔の向きに、別の人物（他人）の可変テンプレートの顔の向きが本人の可変テンプレートの顔の向きより近い場合、本人が他人として誤認識されることがあった。
【００１２】
第４の問題点として、従来の顔画像認識システム１００では認識対象となる人物の顔が複数の同じ向きで写った画像（一致する方向を向いた認識対象となる全人物の顔の画像）があれば第３の問題は発生しないが、複数の向きごとに認識対象となる人物の人数分の可変テンプレートがある故に、照合に必要な計算量が多いという問題があった。
【００１３】
本発明は上記の点に鑑みなされたものであり、顔画像認識の処理の高速化及び登録作業の簡単化が可能な顔画像認識装置及び顔画像認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明は、映像中の人物の顔を認識する顔画像認識装置であって、認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の目標とする正面以外の向きの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段と、映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、抽出された顔領域の特徴を抽出し、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物特定テンプレートとを照合して、前記顔領域に写っている人物の顔を認識すると共に、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔認識手段とを有することを特徴とする。
【００１５】
なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。
【発明の効果】
【００１６】
本発明によれば、顔画像認識の処理の高速化及び登録作業の簡単化が可能な顔画像認識装置及び顔画像認識プログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】従来の顔画像認識システムの一例の構成図である。
【図２】ＰＣの一例のハードウェア構成図である。
【図３】本実施例の顔画像認識装置の一例の機能構成図である。
【図４】肌色領域抽出の概要を示す一例の説明図である。
【図５】可変テンプレートの内容を示す一例の説明図である。
【図６】ある向きにおける人物不特定可変テンプレートの構築方法を示す一例の説明図である。
【図７】顔部品追跡部の一例の機能構成図である。
【発明を実施するための形態】
【００１８】
次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。
【００１９】
＜本発明の概要＞
本発明はコンピュータによる顔画像認識において、映像中の人物の顔を追跡しながら、顔画像のデータベースに登録してある人物の顔と照合して、誰の顔であるかを認識する。本発明は複数の人物と複数の顔の向きとに対応することに伴う計算量の増加及び登録作業の複雑化に対応するため、人物の顔が正面に近い向きで映ったときに顔画像のデータベースに登録してある人物の顔と照合して、誰の顔であるかを認識する。
【００２０】
また、本発明は人物の顔が正面から離れた向きで映ったときに、特別に用意した顔テンプレート（人物不特定可変テンプレート）を使用し、顔領域を追跡して認識結果を保持する。なお、人物不特定可変テンプレートの詳細については後述するが、認識対象となる人物の人数によらず、向きごとに一つの人物不特定可変テンプレートを使用すればよいため、顔領域を追跡する為の計算量が大幅に削減される。
【００２１】
このように、本発明は顔領域を追跡する為の追跡技術の計算量が、複数の人物の様々な向きの顔を認識する計算量に比べて少ないため、様々な顔の向きに対応する頑健性が高く、高速な顔画像認識の処理を実現できる。
【００２２】
＜ハードウェア構成＞
本実施例の顔画像認識装置は、ＰＣやワークステーション等により実現することができる。ここでは、本実施例の顔画像認識装置をＰＣにより実現する例について説明する。なお、顔画像認識装置は必ずしも一つの筐体で構成されることを示すものではない。また、本実施例の顔画像認識装置は顔画像認識システムのように複数の装置に機能を分散させる構成とすることもできる。
【００２３】
本実施例の顔画像認識装置は例えば図２に示すようなハードウェア構成のＰＣにより実現される。図２はＰＣの一例のハードウェア構成図である。ＰＣ１０はバス１９で相互に接続されている入力装置１１、出力装置１２、記録媒体読取装置１３、補助記憶装置１４、主記憶装置１５、演算処理装置１６、インタフェース装置１７を含む。
【００２４】
入力装置１１はキーボードやマウス等である。入力装置１１は各種信号を入力するために用いられる。出力装置１２はディスプレイ装置等である。出力装置１２は各種ウィンドウやデータ等を表示するために用いられる。インタフェース装置１７は、モデム，ＬＡＮカード等である。インタフェース装置１７は、ネットワークに接続するために用いられる。
【００２５】
顔画像認識装置に搭載される顔画像認識プログラムは、ＰＣ１０を制御する各種プログラムの少なくとも一部である。顔画像認識プログラムは例えば記録媒体１８の配布やネットワーク等からのダウンロードなどによって提供される。
【００２６】
記録媒体１８はＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００２７】
顔画像認識プログラムを記録した記録媒体１８が記録媒体読取装置１３にセットされると、顔画像認識プログラムは記録媒体１８から記録媒体読取装置１３を介して補助記憶装置１４にインストールされる。ネットワーク等からダウンロードされた顔画像認識プログラムはインタフェース装置１７を介して補助記憶装置１４にインストールされる。
【００２８】
補助記憶装置１４は、インストールされた顔画像認識プログラム、必要なファイル、データ等を格納する。主記憶装置１５は顔画像認識プログラムの起動時に、補助記憶装置１４から顔画像認識プログラムを読み出して格納する。そして、演算処理装置１６は主記憶装置１５に格納された顔画像認識プログラムに従って、後述するような各種処理を実現している。
【００２９】
＜機能構成＞
図３は本実施例の顔画像認識装置の一例の機能構成図である。図３の顔画像認識装置２０は肌色領域抽出部２１、顔領域検出部２２、顔部品追跡部２３、可変テンプレートＤＢ２４を有する構成である。
【００３０】
肌色領域抽出部２１は入力映像中から肌色の領域を抽出する。入力映像中から肌色の領域を抽出する処理の詳細は後述する。顔領域検出部２２は肌色領域抽出部２１によって抽出された肌色の領域から、人物の顔が写っている顔領域を抽出する。顔領域を抽出する技術は上記した既存の技術を利用すればよい。
【００３１】
顔部品追跡部２３は、顔領域検出部２２によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートＤＢ２４に登録した可変テンプレートと照合することにより、検出された各顔領域に、どの向きで誰の顔が映っているかを推定する。顔部品追跡部２３の処理の詳細は後述する。
【００３２】
なお、本実施例で利用する可変テンプレートＤＢ２４は以下のように従来の可変テンプレートＤＢ１０３と異なっている。可変テンプレートＤＢ２４は正面の向きの可変テンプレート（以下、人物特定可変テンプレートという）と、正面以外の向きの可変テンプレート（以下、人物不特定可変テンプレートという）とを登録している。人物特定可変テンプレートは認識対象となる人物の正面の向きの顔画像の可変テンプレートである。人物不特定可変テンプレートは必ずしも認識対象とはならない多数の人物の目標とする向きの顔画像を集めて構築した平均的な顔画像の可変テンプレートである。
【００３３】
可変テンプレートＤＢ２４は正面以外の向きについて、認識対象となる人物の人数分の人物特定可変テンプレートを、一つの人物不特定可変テンプレートに置き換えたものである。可変テンプレートＤＢ２４の詳細は後述する。
【００３４】
顔部品追跡部２３は、顔領域検出部２２によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートＤＢ２４に登録した人物特定可変テンプレートと照合することにより、検出された各顔領域に誰の顔が映っているかを推定し、抽出した特徴を可変テンプレートＤＢ２４に登録した人物不特定可変テンプレートと照合することにより、検出された各顔領域に、どの向きで顔が映っているかを推定する。
【００３５】
顔部品追跡部２３は、正面に近い向きで顔が写っている顔領域と人物特定可変テンプレートとの照合により人物の認識を行い、その後、顔が正面の向きから回転して離れても、正面以外の向きで顔が写っている顔領域と人物不特定可変テンプレートとの照合により顔を追跡することで、顔領域と対応付けて人物の認識結果を保持することができる。
【００３６】
本実施例の顔画像認識装置２０は上記した第１の問題点について、顔領域を抽出する処理の対象範囲を肌色の領域に絞ることで解決する。また、本実施例の顔画像認識装置２０は上記した第２〜第４の問題点について、人物不特定可変テンプレートを利用することで解決する。
【００３７】
＜肌色領域抽出＞
肌色領域抽出部２１は正規化ＣｂＣｒ手法により入力フレームの各画素のＲＧＢ値が肌色に相当するか否かを判定する（例えば非特許文献３参照）。肌色領域抽出部２１はＲＧＢ値をＹＣｂＣｒ空間に変換し、ＣｂとＣｒとの値を式（１）により正規化する。
【００３８】
【数１】
なお、Ｙは輝度信号である。ＣｂはＢ信号から輝度信号Ｙを差し引いた色差信号Ｂ−Ｙに特定の定数を掛けた値である。また、ＣｒはＲ信号から輝度信号Ｙを差し引いた色差信号Ｒ−Ｙに特定の定数を掛けた値である。
【００３９】
肌色領域抽出部２１は、ある画素ｘに対応する（Ｃｂ′，Ｃｒ,′）（ｘ）の位置が肌色代表点から一定の距離以内にあれば、式（２）に示すように、その画素ｘを肌色と判定する。
【００４０】
【数２】
肌色領域抽出部２１は一般化されたメディアンフィルタにより、肌色または肌色ではないと判定され孤立した画素を除去する。以下の式（３）ではａ＝０．５の場合に、メディアンフィルタとなる。以下の式（３）では、ａの値により少なめ又は多めに画素がＯＮ（ｑ（ｘ）＝１）になる。
【００４１】
【数３】
肌色領域抽出部２１は連接領域抽出（connected component labeling）の処理と連接領域の外周ボックスに条件（閾値）をかけることにより、安定した肌色領域を抽出する。
【００４２】
図４は肌色領域抽出の概要を示す一例の説明図である。肌色領域抽出部２１は各画素のＲＧＢ値をＹＣｂＣｒ空間に変換し、ＣｂとＣｒとの値を式（１）により正規化して、Ｙ＝１２８平面に射影している。肌色領域抽出部２１は、肌色代表点に近ければ画素を肌色と判定する。
【００４３】
肌色領域抽出部２１は一般化されたメディアンフィルタにより独立画素を取り除いた領域を出力する。また、肌色領域抽出部２１は連接領域抽出の処理により肌色領域リストを出力する。肌色領域抽出部２１はメディアンフィルタ及び連接領域抽出の処理により安定した肌色領域を抽出する。
【００４４】
＜可変テンプレートの構築＞
従来の顔画像認識システム１００で用いていた可変テンプレートは例えば図５に示すような成分を有する。図５は可変テンプレートの内容を示す一例の説明図である。従来の顔画像認識システム１００で用いていた可変テンプレートは登録した顔画像において、顔の向きによって見えている最大９点の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを成分として有する。
【００４５】
なお、図５では特徴点の数をＮＦＰ＝９点としているが、その他の数を採用することもできる。特徴点は目頭、目尻など顔の部品に対して指定されるので顔画像の二次元的な形状を反映する。
【００４６】
また、図５ではガボールウェーブレット特徴が５つの解像度×８つの方位を使用しているが、その他の数を採用することもできる。ガボールウェーブレット特徴は各解像度と各方位において、特徴点の近傍に、顔画像にどの程度の信号エネルギーがあるかを表現するものであるため、画像の輝度パターンを反映する。
【００４７】
従来の顔画像認識システム１００では、各向きに対して登録人数分（認識対象となる人物の人数分）の可変テンプレートを準備する必要があった。本発明では正面以外の向きの登録人数分の可変テンプレートを一つの人物不特定可変テンプレートに置き換える。
【００４８】
図６は、ある向きにおける人物不特定可変テンプレートの構築方法を示す一例の説明図である。まず、ある向きにおける人物不特定可変テンプレートの構築方法では、必ずしも認証対象の人物を含まない多数の人物ｋ，０≦ｋ＜Ｋの、目標とする各向きの顔画像Ｉｋ（ｘ），０≦ｋ＜Ｋを集めて、特徴点
【００４９】
【数４】
の位置（座標）を手動で指定する。各特徴点の平均位置
【００５０】
【数５】
と各特徴点のガボールウェーブレット特徴
【００５１】
【数６】
を計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では各特徴点ｎ，０≦ｎ＜ＮＦＰについて、各画像でその特徴点ｎを平均位置にずらしてアラインした平均画像Ａｎ（ｘ）を算出する。
【００５２】
【数７】
次に、ある向きにおける人物不特定可変テンプレートの構築方法ではガボールウェーブレット特徴ｃnを、平均画像Ａｎ（ｘ）での各平均特徴点位置
【００５３】
【数８】
で計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では人物ｋの顔画像Ｉｋと各特徴点ｎとで、ガボールウェーブレット特徴ｃnを平均画像Ａｎ（ｘ）において、各平均特徴点位置
【００５４】
【数９】
で計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では顔画像Ｉｋと各特徴点ｎとで、ガボールウェーブレット特徴
【００５５】
【数１０】
とｃｎとの位相の差分より、顔画像Ｉｋの特徴点nが平均画像Ａｎ（ｘ）での平均特徴点
【００５６】
【数１１】
から、どれだけずれているか、その位置ずれ
【００５７】
【数１２】
を推定する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では推定した位置ずれを新たに顔画像Ｉｋ（ｘ）に適用して特徴点ごとに、更にずらされた平均画像を算出する。
【００５８】
【数１３】
次に、ある向きにおける人物不特定可変テンプレートの構築方法では、新たに
【００５９】
【数１４】
において、平均特徴点位置
【００６０】
【数１５】
でガボールウェーブレット特徴
【００６１】
【数１６】
を計測する。人物不特定可変テンプレートは各平均特徴点位置
【００６２】
【数１７】
とガボールウェーブレット特徴
【００６３】
【数１８】
を有する。
【００６４】
次に、ある向きにおける人物不特定可変テンプレートの構築方法では、正面以外の向きの登録人数分の可変テンプレートを一つの人物不特定可変テンプレートで置き替える。正面の向きの登録人数分の可変テンプレート（人物特定可変テンプレート）は、従来の顔画像認識システム１００と同様、登録人数分の可変テンプレートのままとする。
【００６５】
＜顔部品追跡部２３の構成＞
図７は顔部品追跡部の一例の機能構成図である。図７の顔部品追跡部２３は認識部３１、追跡部３２を有する構成である。
【００６６】
認識部３１は顔領域検出部２２によって検出された顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを抽出し、抽出した特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを可変テンプレートＤＢ２４に登録した人物特定可変テンプレートと照合することにより、検出された各顔領域に、どの向きで誰の顔が映っているかを推定する。
【００６７】
追跡部３２は顔領域検出部２２によって検出された顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを抽出し、抽出した特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを可変テンプレートＤＢ２４に登録した人物不特定可変テンプレートと照合することにより、検出された各顔領域に、どの向きで顔が写っているかを追跡する。
【００６８】
ところで、顔領域検出部２２は肌色の領域に、正面に近い向きの顔が写っているときに顔領域として抽出する。言い換えれば顔領域検出部２２によって抽出された顔領域には正面に近い向きで顔が写っていることになる。結果として、顔領域検出部２２によって抽出された顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とは人物特定可変テンプレートと最もマッチングすることになる。
【００６９】
その後、顔領域に写っている顔が正面の向きから回転して離れると、顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とは人物不特定可変テンプレートと最もマッチングすることになる。ただし、人物不特定可変テンプレートは多数の人物の顔画像を集めて構築した平均的な可変テンプレートである。そこで、人物不特定可変テンプレートと最もマッチングするとき、認識部３１は既に人物特定可変テンプレートによって推定した推定（認識）結果を維持する。
【００７０】
このように、図７の顔部品追跡部２３は顔領域に写っている顔が正面の向きから回転して離れても、追跡部３２により顔の追跡を行い、認識部３１により認識結果を維持（保持）することで、様々な顔の向きの人物を認識することを可能としている。
【００７１】
つまり、本実施例の顔画像認識装置２０は登録人数分の可変テンプレートが無くても、正面の向きで顔が認識されれば、認識には使用できない人物不特定テンプレートにより顔の向きの追跡を行い、既に認識した認識結果を連続的に引き継いでいくことにより、様々な向きの顔画像に対して人物の認識結果を付与することができる。
【００７２】
＜効果＞
本実施例の顔画像認識装置２０は顔領域検出部２２による顔領域の検出を肌色領域抽出部２１によって抽出された肌色の領域に絞ることにより、顔領域の検出の処理時間を、ほぼ（肌色の領域／画面の面積）という比率で低減できる。
【００７３】
また、本実施例の顔画像認識装置２０は以前の顔画像認識システム１００と比べて顔部品追跡部２３の計算量を大幅に省くことができる。顔部品追跡部２３の計算量は、正面以外の向きで顔が写っているとき、ほぼ（１／登録人数）に低減できる。
【００７４】
また、本実施例の顔画像認識装置２０は認識対象となる人物の顔が正面の向きで映った画像を集めればよいため、可変テンプレートＤＢ２４の登録作業が依然の顔画像認識システム１００と比べて大幅に簡単化できる。
【００７５】
また、本実施例の顔画像認識装置２０の可変テンプレートＤＢ２４は正面以外の向きについて、認識対象となる人物の人数分の人物特定可変テンプレートを一つの人物不特定可変テンプレートに置き換えているため、上記した第３の問題点が発生しない。つまり、本実施例の顔画像認識装置２０は可変テンプレートＤＢ２４の作りによる性能差を少なくできる。
【００７６】
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。なお、特許請求の範囲に記載したテンプレート格納手段は可変テンプレートＤＢ２４に相当し、顔領域抽出手段は顔領域検出部２２に相当し、顔認識手段は顔部品追跡部２３に相当し、肌色領域抽出手段は肌色領域抽出部２１に相当し、認識手段は認識部３１に相当し、追跡手段は追跡部３２に相当し、人物特定テンプレートは人物特定可変テンプレートに相当し、人物不特定テンプレートは人物不特定可変テンプレートに相当する。
【符号の説明】
【００７７】
１０ ＰＣ
１１ 入力装置
１２ 出力装置
１３ 記録媒体読取装置
１４ 補助記憶装置
１５ 主記憶装置
１６ 演算処理装置
１７ インタフェース装置
１８ 記録媒体
１９ バス
２０ 顔画像認識装置
２１ 肌色領域抽出部
１００ 顔画像認識システム
２２、１０１ 顔領域検出部
２３、１０２ 顔部品追跡部
２４、１０３ 可変テンプレートＤＢ
３１ 認識部
３２ 追跡部
【特許請求の範囲】
【請求項１】
映像中の人物の顔を認識する顔画像認識装置であって、
認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の目標とする正面以外の向きの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段と、
映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、
抽出された顔領域の特徴を抽出し、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物特定テンプレートとを照合して、前記顔領域に写っている人物の顔を認識すると共に、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔認識手段と
を有することを特徴とする顔画像認識装置。
【請求項２】
映像から肌色領域を抽出する肌色領域抽出手段を更に有し、
前記顔領域抽出手段は、抽出された肌色領域から前記人物の顔が写っている顔領域を抽出すること
を特徴とする請求項１記載の顔画像認識装置。
【請求項３】
前記顔認識手段は、前記顔領域の特徴と前記人物特定テンプレートとを照合して前記顔領域に正面の向きで写っている人物の顔を認識する認識手段と、
前記顔領域の特徴と前記人物不特定テンプレートとを照合して、前記顔領域に正面以外の向きで写っている前記認識した人物の顔の向きを追跡する追跡手段と
を有し、
前記認識手段は前記顔領域に正面以外の向きで写っている前記認識した人物の認識結果を保持すること
を特徴とする請求項１又は２記載の顔画像認識装置。
【請求項４】
前記人物特定テンプレート及び前記人物不特定テンプレートは複数の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを成分として有しており、
前記人物不特定テンプレートは、目標とする正面以外の向きの複数の顔画像の各特徴点について、前記顔画像で前記特徴点を平均位置にずらして調整した第１の平均画像を算出し、
前記第１の平均画像の各平均特徴点で計測されたガボールウェーブレット特徴と前記複数の顔画像の各特徴点で計測されたガボールウェーブレット特徴との位相の差分により位置ずれを推定し、
推定した位置ずれを新たに前記複数の顔画像に適用して、複数の顔画像の各特徴点について、前記特徴点ごとに更にずらされた第２の平均画像を算出し、前記第２の平均画像の各平均特徴点で計測されたガボールウェーブレット特徴を成分として有すること
を特徴とする請求項１乃至３何れか一項記載の顔画像認識装置。
【請求項５】
コンピュータを、
認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の目標とする正面以外の向きの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段と、
映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、
抽出された顔領域の特徴を抽出し、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物特定テンプレートとを照合して、前記顔領域に写っている人物の顔を認識すると共に、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔認識手段と
して機能させるための顔画像認識プログラム。
【請求項１】
映像中の人物の顔を認識する顔画像認識装置であって、
認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の目標とする正面以外の向きの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段と、
映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、
抽出された顔領域の特徴を抽出し、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物特定テンプレートとを照合して、前記顔領域に写っている人物の顔を認識すると共に、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔認識手段と
を有することを特徴とする顔画像認識装置。
【請求項２】
映像から肌色領域を抽出する肌色領域抽出手段を更に有し、
前記顔領域抽出手段は、抽出された肌色領域から前記人物の顔が写っている顔領域を抽出すること
を特徴とする請求項１記載の顔画像認識装置。
【請求項３】
前記顔認識手段は、前記顔領域の特徴と前記人物特定テンプレートとを照合して前記顔領域に正面の向きで写っている人物の顔を認識する認識手段と、
前記顔領域の特徴と前記人物不特定テンプレートとを照合して、前記顔領域に正面以外の向きで写っている前記認識した人物の顔の向きを追跡する追跡手段と
を有し、
前記認識手段は前記顔領域に正面以外の向きで写っている前記認識した人物の認識結果を保持すること
を特徴とする請求項１又は２記載の顔画像認識装置。
【請求項４】
前記人物特定テンプレート及び前記人物不特定テンプレートは複数の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを成分として有しており、
前記人物不特定テンプレートは、目標とする正面以外の向きの複数の顔画像の各特徴点について、前記顔画像で前記特徴点を平均位置にずらして調整した第１の平均画像を算出し、
前記第１の平均画像の各平均特徴点で計測されたガボールウェーブレット特徴と前記複数の顔画像の各特徴点で計測されたガボールウェーブレット特徴との位相の差分により位置ずれを推定し、
推定した位置ずれを新たに前記複数の顔画像に適用して、複数の顔画像の各特徴点について、前記特徴点ごとに更にずらされた第２の平均画像を算出し、前記第２の平均画像の各平均特徴点で計測されたガボールウェーブレット特徴を成分として有すること
を特徴とする請求項１乃至３何れか一項記載の顔画像認識装置。
【請求項５】
コンピュータを、
認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の目標とする正面以外の向きの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段と、
映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、
抽出された顔領域の特徴を抽出し、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物特定テンプレートとを照合して、前記顔領域に写っている人物の顔を認識すると共に、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔認識手段と
して機能させるための顔画像認識プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２３８１１１（Ｐ２０１２−２３８１１１Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０５５４６（Ｐ２０１１−１０５５４６）
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月１０日（２０１１．５．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]