顔画像処理装置
【課題】入力された顔画像の顔向きを正確に推定する顔画像処理装置および入力顔画像の照合精度を向上させた顔画像処理装置を実現する。
【解決手段】入力顔画像中の人物の顔向きを推定する顔画像処理装置が提供される。かかる顔画像処理装置は、複数の登録人物のそれぞれに対応した互いに異なる顔向きの登録顔画像を記憶する記憶部と、登録顔画像のそれぞれと入力顔画像との類似度を算出する類似度算出手段と、算出された類似度が所定以上の登録顔画像に対応する顔向きに投票する顔向き投票手段と、顔向き投票手段により最も多く投票された顔向きを入力顔画像の顔向きであると推定する顔向き決定手段と、を有するように構成する。
【解決手段】入力顔画像中の人物の顔向きを推定する顔画像処理装置が提供される。かかる顔画像処理装置は、複数の登録人物のそれぞれに対応した互いに異なる顔向きの登録顔画像を記憶する記憶部と、登録顔画像のそれぞれと入力顔画像との類似度を算出する類似度算出手段と、算出された類似度が所定以上の登録顔画像に対応する顔向きに投票する顔向き投票手段と、顔向き投票手段により最も多く投票された顔向きを入力顔画像の顔向きであると推定する顔向き決定手段と、を有するように構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像処理装置に関し、特に、入力画像中の人物の顔向きを推定する顔画像処理装置に関する。
【背景技術】
【０００２】
従来、監視カメラなどで撮影した監視画像から自動的に不審人物などを検知して、その旨を外部に喚起する店内監視システムがある（特許文献１を参照）。この店内監視システムでは、過去に不正行為を行ったことのある人物の顔画像を予め登録しておく。そして、この店内監視システムは、監視画像から抽出された入力顔画像と予め登録された登録顔画像とを照合して一致すると判定すると、その旨を警報装置を通じて店員や保安員に報知する。
【０００３】
ここで、顔画像同士の照合を精度良く実施するためには、顔画像に写っている人物の顔向きが同じ方向を向いていることが好ましい。互いに異なる方向を向いた顔が写った顔画像を用いて照合処理を行うと、目、鼻、口などの顔の特徴的な部位の顔画像上の形状および位置が異なっているために、照合精度が低下するおそれがある。加えて、顔向きによっては顔画像中に見えない特徴的な部位があることもあり、照合精度が一層低下するおそれがある。
【０００４】
しかしながら、例えば、特許文献１に記載された店内監視システムでは、店舗内などにいる人物の顔向きは常に一定方向を向いているわけではないので、監視カメラが店舗内の人物の顔を常に決まった方向から撮影することはほとんど不可能である。したがって、監視カメラが撮影した画像中の人物の顔向きと登録されている登録人物の顔画像の顔向きが異なり、照合が正確に行われない場合がある。
【０００５】
そこで、登録する複数の人物のそれぞれについて顔向きが異なる複数の登録顔画像を用意し、それぞれの顔向きの登録顔画像と入力顔画像との類似度に基づいて、最も類似する登録顔画像の人物を入力顔画像の人物であると判定する顔画像認証装置がある（特許文献２を参照）。特許文献２に開示された顔画像認証装置によれば、様々な顔向きの登録顔画像から入力顔画像と最も類似度が高い登録顔画像の人物が特定され、入力顔画像と同じ顔向きの登録顔画像が最も類似すると判定されることが期待される。
【０００６】
また、入力画像の人物と照合する各人物について複数の種類の顔の特徴などに関する顔データを登録しておき、各特徴について登録顔データと入力顔画像との類似度が高い順にその登録顔データに対応する登録人物をリストアップし、複数の特徴においてランキングの上位にいる登録人物が入力顔画像の人物であると総合的に判定する技術が開示されている（特許文献３を参照）。ここで、登録される顔データには、顔の表情や向きの異なる種々の顔画像に関するデータが含まれる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３０６４８５号公報
【特許文献２】特開２００９−２４５３３８号公報
【特許文献３】特開２００３−３４６１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２に記載された顔画像認証装置では、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が想定以上に高くなる場合があり、入力顔画像の人物を他人であると誤って判定したり（他人受け入れ）、逆に本人でないと判定したり（本人棄却）し照合の失敗を招く場合がある。この照合の失敗は、顔の表情や照明の多少の変化があっても本人であると判定できるように、入力顔画像と登録顔画像との多少の違いを許容して一致すると判定するために起きると考えられる。
【０００９】
一方、特許文献３に記載された技術は、入力顔画像との類似度が高いランキング上位所定数に入る人物は常に特定の人物に限られており、様々な他人が本人に類似することは稀であることを前提としている。一方、上述したように、入力顔画像と登録顔画像とが異なる人物のものであっても類似度が、本人の同じ顔向きの登録顔画像との類似度より高くなってしまうことがある。この場合、入力顔画像との類似度が高いランキング上位所定数内に様々な人物が含まれてしまい、どの人物を入力顔画像の人物として特定すればよいのか判断が難しくなるという問題がある。
【００１０】
したがって、本発明の目的は、入力された顔画像の顔向きを正確に推定する顔画像処理装置を提供することである。
【００１１】
また、本発明の目的は、入力顔画像の照合精度を向上させた顔画像処理装置を提供することである。
【課題を解決するための手段】
【００１２】
かかる課題を解決するための本発明の一つの実施形態によれば、入力画像中の人物の顔向きを推定する顔画像処理装置が提供される。かかる顔画像処理装置は、複数の登録人物のそれぞれに対応した互いに異なる顔向きの登録顔画像を記憶する記憶部と、登録顔画像のそれぞれと入力顔画像との類似度を算出する類似度算出手段と、算出された類似度が所定以上の登録顔画像に対応する顔向きに投票する顔向き投票手段と、顔向き投票手段により最も多く投票された顔向きを入力顔画像の顔向きであると推定する顔向き決定手段と、を有する。
【００１３】
かかる顔画像処理装置において、顔向き決定手段により推定された入力顔画像の顔向きおよびこの顔向きに近い顔向きの照合用登録顔画像と入力顔画像との類似度を登録人物ごとに集計した結果に基づいて、入力顔画像の人物を判定する顔画像照合手段をさらに有することが好ましい。
【００１４】
かかる顔画像処理装置において、記憶部は、予め人間の顔の３次元形状を表す３次元顔形状データをさらに記憶し、複数の登録人物の顔画像をそれぞれ３次元顔形状データに合成して３次元顔モデルを生成する３次元顔モデル生成手段と、３次元顔モデルを複数の所定の角度の顔向きに調整して２次元平面上に投影した登録顔画像を生成する登録顔データ生成手段と、をさらに有し、顔画像照合手段は、顔向き決定手段により推定された入力顔画像の顔向きおよびこの顔向きの近傍の顔向きに対応する登録顔画像を照合用登録顔画像として入力顔画像の人物を判定することが好ましい。
【００１５】
かかる顔画像処理装置において、登録人物ごとに集計した結果として求めた類似度の総和が最も高い登録人物を、入力顔画像の人物と判定することが好ましい。
【００１６】
かかる顔画像処理装置において、登録人物ごとに、入力顔画像の顔向きに近いほど大きくなる重みを類似度に付けることが好ましい。
【発明の効果】
【００１７】
本発明によれば、入力された顔画像の顔向きを正確に推定する顔画像処理装置を提供することができる。また、本発明によれば、入力顔画像の照合精度を向上させた顔画像処理装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施例に係る店内監視システムの構成を示すブロック図である。
【図２】本実施例に係る登録顔データの一例を示す図である。
【図３】本実施例に係る顔向き投票手段の顔向き投票テーブルへの投票を示す図である。
【図４】人物Ａの入力顔画像と人物Ａの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図５】人物Ａの入力顔画像と人物Ｂの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図６】人物Ａの入力顔画像と人物Ｃの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図７】図４〜図６の例において人物Ａの入力顔画像と類似すると判定された人物Ａ〜Ｃの登録顔画像と顔向き投票テーブルとを示す図である。
【図８】図７の例で推定された顔向きを用いた顔画像照合手段の照合処理を示す図である。
【図９】本実施例に係る顔データ登録装置の登録顔データの登録処理を示すフローチャートである。
【図１０】本実施例に係る顔照合装置の顔向き推定を含む顔照合処理を示すフローチャートである。
【発明を実施するための形態】
【００１９】
本願の発明者は、入力顔画像と入力顔画像の人物本人の様々な顔向きの登録顔画像との類似度は、顔向きが同じ場合に最も高いが、入力顔画像の顔向きに角度が近い場合においてもある程度高いという知見を得た。さらに、他人の顔画像であっても、同じ顔向きおよびそれに角度が近い顔向きの登録顔画像との類似度はある程度高くなるという知見を得た。
【００２０】
これらの知見に基づいて、本発明に係る顔画像処理装置は、登録人物ごとに複数の顔向きの登録顔画像を有する登録顔データを記憶する。かかる顔画像処理装置は、取得した入力顔画像と登録されている各登録人物の様々な顔向きの登録顔画像との類似度を求め、入力顔画像に類似すると判定した登録顔画像について顔向きごとに投票を行う。そして、この顔画像処理装置は、投票の結果、最も多く投票された顔向きを入力顔画像の顔向きであると推定する。
【００２１】
さらに、本発明に係る顔画像処理装置は、上述したように推定された入力顔画像の顔向きとそれに近い顔向きの登録顔画像に絞り込んで入力顔画像との類似度を調べ、最も類似度が高い登録顔画像の人物を入力顔画像の人物であると判定することができる。
【００２２】
以下、本発明に係る顔画像処理装置を店内監視システムの顔照合装置に適用した一実施例について、図を参照しつつ説明する。
【００２３】
図１は、本発明の一実施例に係る店内監視システム１の構成を示すブロック図である。図１に示すように、かかる店内監視システム１は、撮像部１０および３０と、顔データ登録装置２０と、顔照合装置４０と、顔照合結果処理部５０と、を有する。撮像部１０と顔データ登録装置２０、撮像部３０と顔照合装置４０、顔データ登録装置２０と顔照合装置４０および顔照合装置４０と顔照合結果処理部５０の間は、それぞれ、種々の形式の通信ケーブルもしくは内部配線などの有線通信、あるいは、電波もしくは赤外線などの無線通信によって接続することができる。
【００２４】
撮像部１０は、例えば、ＣＣＤ素子もしくはＣ−ＭＯＳ素子などの撮像素子、光学系部品、Ａ／Ｄ変換器などを含む公知のカメラを用いることができる。このカメラは、近赤外波長帯に感度を有する白黒タイプでもよいが、肌色部分の抽出が容易になるよう可視光波長帯に感度を有するカラータイプが好ましい。また、カメラの解像度などの精度は、顔データ登録装置２０および顔照合装置４０の記憶容量、処理能力、顔照合装置４０が所望する顔照合の精度などに応じて適切なものを用いることができる。さらに、登録用画像は、多階調の画素値で表されるカラー画像でもグレースケール画像でもよいが、８ビット程度の輝度分解能を持つカラー画像が好ましい。
【００２５】
撮像部１０は、過去に不正行為を行った前歴のある要監視対象者などを撮影し、得られた２次元の画像データを顔データ登録装置２０が登録する登録人物の登録用画像として通信などを介して顔データ登録装置２０に送る。
【００２６】
顔データ登録装置２０は、例えば、いわゆるコンピュータなどの情報処理装置によって構成することができる。顔データ登録装置２０は、撮像部１０から受け取った登録人物の登録用画像を用いて、登録人物の様々な顔向きの登録顔画像を有する登録顔データと顔向きに関する角度情報を生成する。そして顔データ登録装置２０は、生成した登録顔画像および角度情報をＣＤ−ＲＯＭ、ＤＶＤ−Ｒ／Ｗおよび／もしくはフラッシュメモリなどのコンピュータ読み取り可能な記憶媒体あるいは通信などを介して顔照合装置４０に登録することができる。
【００２７】
図１に示すように、顔データ登録装置２０は、画像入力インタフェース部２１０と、制御部２２０と、記憶部２３０と、登録顔データ出力インタフェース部２４０と、を有する。
【００２８】
画像入力インタフェース部２１０は、制御部２２０が撮像部１０から登録人物の登録用画像を受け取るインタフェース部である。したがって、画像入力インタフェース部２１０は、撮像部１０と顔データ登録装置２０とを接続する通信の方式に従って、例えば、ＬＡＮ、ユニバーサルシリアルバス（ＵＳＢ）、ＳＣＳＩ、無線ＬＡＮもしくは赤外線通信などに対応する適切な通信インタフェースアダプタなどを含んで構成される。
【００２９】
制御部２２０は、プロセッサとその周辺回路を含んで構成され、プロセッサが記憶部２３０に記憶された各種プログラムを実行することによって、顔データ登録装置２０の登録顔データの登録処理を制御する。プロセッサおよび記憶部２３０は、マイクロプロセッサもしくはＡＳＩＣなどを含んで構成されてもよい。プロセッサが実行するプログラムは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどのコンピュータ読み取り可能な記憶媒体もしくは通信などによって提供されて記憶部２３０に記憶されてもよく、ファームウェアとして提供されてもよい。
【００３０】
制御部２２０は、撮像部１０から画像入力インタフェース部２１０を介して登録人物の登録用画像を受け取り、受け取った登録用画像を用いて登録人物の様々な顔向きの登録顔画像を生成し、登録顔データとして記憶部２３０に記憶させる。また、制御部２２０は、記憶部２３０に記憶させた登録顔データを登録顔データ出力インタフェース部２４０を介して顔照合装置４０に送る。
【００３１】
図２は、本実施例に係る登録顔データ４２２の一例を示す図である。各登録顔データ４２２は、例えば、登録人物の識別情報などの各登録人物に関する人物情報に対応付けて記憶される。図２に示すように、登録顔データ４２２は、様々な顔向きの登録顔画像を含む。この例では、真正面を向いた「角度Ａ１３」の登録顔画像を中心に、上下方向（ピッチ角）と左右方向（ヨー角）にそれぞれ１５度刻みで±３０度まで顔向きを変えた５×５＝２５種類の顔向きの登録顔画像が登録顔データ４２２に含まれる。
【００３２】
登録顔データ４２２は、顔向きを推定するのに十分な人数分用意する。例えば、登録人物の人数が少なく顔向きを推定するのに十分でない場合は、顔向きを推定するための登録顔データ４２２を追加して登録する。通常、顔向きを推定するのに１００人分程度あればよい。したがって、例えば、図２に示した登録顔データ４２２が１００人分登録されている場合、２５×１００＝２５００枚の登録顔画像が登録顔データ４２２として記憶部２３０に記憶されることになる。
【００３３】
なお、以下、顔向きの種類は図２に示した２５種類として説明するが、本発明はこれに限定されない。例えば、撮像部１０の撮影範囲、顔データ登録装置２０および顔照合装置４０の記憶容量、処理能力および顔照合装置４０の所望の照合精度などに応じて、ピッチ角およびヨー角の刻み幅や角度の範囲を任意に変えて登録顔画像の数を増減することができる。例えば、制御部２２０は、撮像部１０の撮影範囲がピッチ角±３０度およびヨー角±４５度であれば、ピッチ角およびヨー角の刻み幅をそれぞれ１５度として、５×７＝３５種類の顔向きの登録顔画像を生成してもよい。さらに、制御部２２０は、７×７＝４９種類もしくは９×９＝８１種類の顔向きの登録顔画像を生成してもよい。照合精度の観点では、ピッチ角およびヨー角の刻み幅は１５度以下が好ましい。
【００３４】
登録顔データ４２２の各登録顔画像は、その顔向きに対応付けて記憶部２３０に記憶される。例えば、制御部２２０は、図２に示すように２５種類の顔向きに「角度Ａ１」〜「角度Ａ２５」という識別名もしくは識別番号などの顔向き識別情報を割り当て、この顔向き識別情報に各登録顔画像を対応付けて記憶部２３０に記憶させることができる。
【００３５】
また、制御部２２０は、各顔向き識別情報に、その顔向きのピッチ角とヨー角との組み合わせを角度情報として対応付けて記憶部２３０に記憶させることができる。例えば、図２に示すように、ピッチ角＝０度およびヨー角＝０度の真正面を向いた顔向き「角度Ａ１３」を中心として、２５種類の顔向き「角度Ａ１」〜「角度Ａ２５」は、１５度刻みで±３０度までの５種類のピッチ角と５種類のヨー角との２５種類の組み合わせに対応付けられる。
【００３６】
図２の例では、「角度Ａ１１」は、向かって左に角度３０度の顔向きでピッチ角＝０度およびヨー角＝−３０度、「角度Ａ１５」は、向かって右に角度３０度の顔向きでピッチ角＝０度およびヨー角＝＋３０度、「角度Ａ３」は、上に３０度の顔向きでピッチ角＝−３０度およびヨー角＝０度、「角度Ａ２３」は、下に３０度の顔向きでピッチ角＝＋３０度およびヨー角＝０度の組み合わせの角度情報に対応付けられる。
【００３７】
なお、制御部２２０は、例えば、上記５種類のピッチ角およびヨー角にそれぞれ０〜４の番号を付けて０〜４の２個の番号の組み合わせを顔向き識別情報とし、ピッチ角およびヨー角の刻み幅および個数を角度情報として記憶してもよい。
【００３８】
図１に示すように、制御部２２０は、登録用顔画像抽出手段２２１０と、３次元顔モデル生成手段２２２０と、登録顔データ生成手段２２３０と、を有する。制御部２２０は、記憶部２３０に記憶されたこれらの手段を実行するプログラムをプロセッサが実行することによって、顔データ登録装置２０における登録顔データ４２２の登録処理を制御する。
【００３９】
登録用顔画像抽出手段２２１０は、撮像部１０から画像入力インタフェース部２１０を介して受け取った登録用画像から、人物の顔が写っている顔領域を登録用顔画像として抽出する。
【００４０】
顔領域を抽出するために、登録用顔画像抽出手段２２１０は、公知の様々な方法を用いることができる。例えば、登録用顔画像抽出手段２２１０は、登録用画像中の部分領域から１つもしくは複数の特徴量を算出し、その特徴量が人物の顔に対応すると考えられる所定の条件を満たす場合に、その部分領域を顔領域として抽出してもよい。具体的には、登録用顔画像抽出手段２２１０は、例えば、Ｓｏｂｅｌフィルタなどを用いてエッジ画素抽出を行い、その部分領域内におけるエッジ画素の方向分布、またはそのエッジ近傍の輝度分布などの特徴量を算出することができる。また、予め、人物の顔を撮影した複数の画像から、これらの特徴量の値を求めてその範囲を決定することにより、上述した所定の条件を予め決定することができる。
【００４１】
顔領域を抽出するための別の方法として、登録用顔画像抽出手段２２１０は、予め準備した顔領域のテンプレートを用いて登録用画像とのテンプレートマッチングを行ったり、登録用画像のエッジ画像から顔もしくは頭部領域の輪郭形状のエッジ分布を検出したりすることによって、顔領域を抽出してもよい。また、登録用顔画像抽出手段２２１０は、これらの公知の方法を組み合わせて顔領域を抽出してもよい。
【００４２】
３次元顔モデル生成手段２２２０は、登録用顔画像抽出手段２２１０から受け取った登録用顔画像から３次元顔モデルを生成する。３次元顔モデルとは、登録顔データ生成手段２２３０が登録人物の頭部を再現して様々な顔向きの登録顔画像を生成するためのものである。
【００４３】
３次元顔モデルを生成するために、３次元顔モデル生成手段２２２０は、様々な公知の３次元顔モデル生成方法のいずれかを用いることができる。例えば、３次元顔モデル生成手段２２２０は、特開２００９−２１１１５１号公報に記載されているように、顔の凹凸情報および特徴点の３次元配置情報などを含む３次元顔形状データに、登録用顔画像の肌の色およびテクスチャ情報などをマッピングして、３次元顔モデルを生成することができる。
【００４４】
登録顔データ生成手段２２３０は、３次元顔モデル生成手段２２２０から受け取った３次元顔モデルから登録顔データ４２２を生成する。
【００４５】
このために、登録顔データ生成手段２２３０は、３次元顔モデルから様々な顔向きの２次元顔画像を取得する様々な公知の方法のいずれかを用いることができる。例えば、登録顔データ生成手段２２３０は、上述の特開２００９−２１１１５１号公報に記載されているように、３次元顔モデルの頭部を様々な方向に変えて再現し、これを２次元空間に投影することによって、様々な顔向きの登録顔画像を生成することができる。
【００４６】
記憶部２３０は、顔データ登録装置２０が各種動作を実行するためのプログラムおよびデータを記憶し、例えばＲＡＭ、ＲＯＭおよび／もしくはＥＰＲＯＭなどの半導体メモリを含んで構成される。また、記憶部２３０は、ハードディスクなどの磁気記憶媒体、ならびに／あるいは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどの光記憶媒体と、そのアクセス装置とを含んでもよい。
【００４７】
登録顔データ出力インタフェース部２４０は、制御部２２０が生成した登録顔データ４２２を顔照合装置４０に送るインタフェース部である。したがって、登録顔データ出力インタフェース部２４０は、画像入力インタフェース部２１０と同様に、顔データ登録装置２０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタを含んで構成される。なお、登録顔データ４２２がコンピュータ読み取り可能な記憶媒体によって顔照合装置４０に渡される場合、登録顔データ出力インタフェース部２４０はなくてもよい。
【００４８】
撮像部３０は、顔照合装置４０が照合する人物を撮影し、撮影して取得した２次元の画像データを入力画像として通信などを介して顔照合装置４０に送る。
【００４９】
本実施例において、撮像部３０は、所定の１つもしくは複数の監視領域を撮影する１つもしくは複数の監視カメラでもよく、例えば、ＣＣＤ素子もしくはＣ−ＭＯＳ素子などの撮像素子、光学系部品、Ａ／Ｄ変換器などを含む公知のカメラを用いることができる。撮像部３０のカメラは、撮像部１０のカメラと同様に、近赤外波長帯に感度を有する白黒タイプでもよいが、肌色部分の抽出が容易になるよう可視光波長帯に感度を有するカラータイプが好ましい。また、撮像部３０のカメラの解像度などの精度は、監視領域の状況や所望する顔照合の精度に応じて適切なものを用いることができる。さらに、入力画像は、登録用画像と同様に、多階調の画素値で表されるカラー画像でもグレースケール画像でもよいが、８ビット程度の輝度分解能を持つカラー画像が好ましい。撮像部３０は、監視領域を所定の時間間隔（例えば、１００ｍｓｅｃ）ごとに撮影し、取得した監視画像を入力画像として顔照合装置４０に順次送ることができる。
【００５０】
顔照合装置４０は、例えば、いわゆるコンピュータなどの情報処理装置によって構成することができる。そして顔照合装置４０は、撮像部３０から受け取った入力画像中の人物が、顔照合装置４０に登録されている要監視対象者などの登録人物と一致するか否かを照合し、照合結果を通信などによって顔照合結果処理部５０に送る。
【００５１】
図１に示すように、顔照合装置４０は、画像入力インタフェース部４１０と、記憶部４２０と、登録顔データ入力インタフェース部４３０と、制御部４４０と、顔照合結果出力インタフェース部４５０と、を有する。
【００５２】
画像入力インタフェース部４１０は、制御部４４０が撮像部３０から入力画像を受け取るインタフェース部である。したがって、画像入力インタフェース部４１０は、上述の画像入力インタフェース部２１０と同様に、撮像部３０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタなどを含んで構成される。
【００５３】
記憶部４２０は、顔照合装置４０が各種動作を実行するためのプログラムおよびデータを記憶し、上述の記憶部２３０と同様に、例えばＲＡＭ、ＲＯＭおよび／もしくはＥＰＲＯＭなどの半導体メモリを含んで構成される。また、記憶部４２０は、ハードディスクなどの磁気記憶媒体、ならびに／あるいは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどの光記憶媒体と、そのアクセス装置とを含んでもよい。
【００５４】
上述したように、記憶部４２０には、顔データ登録装置２０が生成した登録顔データ４２２が顔データ登録装置２０からコンピュータ読み取り可能な記憶媒体あるいは通信などを介して送られて記憶されている。
【００５５】
登録顔データ入力インタフェース部４３０は、顔データ登録装置２０が生成した登録顔データ４２２を顔データ登録装置２０から受け取るインタフェース部である。したがって、登録顔データ入力インタフェース部４３０は、上述の画像入力インタフェース部２１０と同様に、顔データ登録装置２０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタを含んで構成される。なお、登録顔データ４２２がコンピュータ読み取り可能な記憶媒体によって顔データ登録装置２０から渡される場合、登録顔データ入力インタフェース部４３０はなくてもよい。
【００５６】
制御部４４０は、上述の制御部２２０と同様に、プロセッサとその周辺回路を含んで構成され、プロセッサによって記憶部４２０に記憶された各種プログラムを実行することによって、顔照合装置４０の顔向き推定を含む顔照合処理を制御する。プロセッサが実行するプログラムは、制御部２２０と同様に提供されて記憶部４２０に記憶される。
【００５７】
図１に示すように、制御部４４０は、顔向き推定手段４４１０と、顔画像照合手段４４２０と、を有し、記憶部４２０に記憶されたこれらの手段を実行するプログラムをプロセッサが実行することによって、顔照合装置４０における顔向き推定を含む顔照合処理を制御する。制御部４４０は、撮像部３０から画像入力インタフェース部４１０を介して入力画像を受け取り、受け取った入力画像を記憶部４２０の登録顔データ４２２と照合し、その照合結果を顔照合結果出力インタフェース部４５０を介して顔照合結果処理部５０に送る。
【００５８】
顔向き推定手段４４１０は、撮像部３０から画像入力インタフェース部４１０を介して受け取った入力画像中の人物の顔向きを、記憶部４２０に記憶されている登録顔データ４２２の様々な顔向きの登録顔画像を用いて推定する。そして、顔向き推定手段４４１０は、推定した入力顔画像４２１の顔向きの顔向き識別情報などを顔画像照合手段４４２０に渡す。
【００５９】
図１に示すように、顔向き推定手段４４１０は、入力顔画像抽出手段４４１１と、類似度算出手段４４１２と、顔向き投票手段４４１３と、顔向き決定手段４４１４と、を有する。
【００６０】
入力顔画像抽出手段４４１１は、撮像部３０から画像入力インタフェース部４１０を介して受け取った入力画像から、上述の登録用顔画像抽出手段２２１０と同様に人物の顔が写っている顔領域を抽出して入力顔画像とする。
【００６１】
類似度算出手段４４１２は、入力顔画像抽出手段４４１１が抽出した入力顔画像と記憶部４２０に記憶されているすべての登録顔データ４２２のすべての登録顔画像との類似度を算出する。そして、類似度算出手段４４１２は、算出した類似度を類似度テーブルに記憶する。類似度テーブルとは、１人分の登録顔データ４２２ごとに定義され、登録顔データ４２２に含まれる登録顔画像の数と等しい数の類似度を記憶するテーブルであり、対応する登録顔データ４２２と共に記憶部４２０に記憶される。
【００６２】
類似度は、入力顔画像と登録顔画像とが類似するほど、線形的もしくは非線形的に増加もしくは減少する値であればよい。以下では、類似度は、類似するほど増加する値として説明する。本実施例では、入力顔画像および各登録顔画像は２次元顔画像であるので、類似度算出手段４４１２は、一般的な方法を用いて類似度を算出することができる。
【００６３】
例えば、類似度算出手段４４１２は、特徴点の配置情報およびテクスチャ情報などの画像の特徴を用いて入力顔画像と登録顔画像との類似度（すなわち、入力顔画像に映った顔と登録顔画像に映った顔との類似度）を求めることができる。類似度算出手段４４１２は、それぞれの特徴を単独で用いて類似度を求めてもよいが、複数の特徴を併用した方が類似度の精度が高くなるため、本実施例では複数の特徴を併用して類似度を求める。
【００６４】
画像間の類似度を算出する具体的な計算方法は、目的に応じて様々な方法がある。例えば、特徴点の配置情報およびテクスチャ情報の２つの画像の特徴を用いる場合、次の式（１）のように類似度を求めることができる。
類似度（ｐ，ｑ）＝αＦ（ｐ，ｑ）＋βＧ（ｐ，ｑ） （１）
【００６５】
ここで、ｐ、ｑは比較対象の画像、α、βは所定の係数、Ｆ（）は特徴点の位置の一致の度合いを評価する関数、Ｇ（）はテクスチャの一致の度合いを評価する関数である。
【００６６】
上記関数Ｆ（）は、例えば、入力顔画像および登録顔画像の各特徴点の座標について対応する特徴点間のユークリッド距離の総和の逆数を求める関数でもよい。
【００６７】
また、上記関数Ｇ（）は、例えば、特許第２６９０１３２号公報に開示されているように、入力顔画像および登録顔画像の対応する特徴点近傍のテクスチャ同士を比較して、そのヒストグラムマッチングにおける差の逆数を求める関数でもよい。あるいは、上記関数Ｇ（）は、入力顔画像および登録顔画像の両目と両口角点とを結んだ逆台形の領域について、大きさ、輝度および色を正規化したヒストグラムマッチングの差の逆数を求める関数でもよい。
【００６８】
なお、上述したように、類似度算出手段４４１２は、他の顔画像の特徴を用いて類似度を算出する場合、上記Ｆ（）およびＧ（）の代わりに、その特徴の一致の度合いを求めるのに適した関数を用いて類似度を算出する。あるいは、入力顔画像と登録顔画像とのパターンマッチングによって類似度を算出してもよい。
【００６９】
なお、類似度算出手段４４１２の処理効率を向上させるため、入力顔画像および登録顔画像は、類似度の算出に用いる特徴点の配置情報および／もしくテクスチャ情報などの特徴情報を有してもよい。
【００７０】
顔向き投票手段４４１３は、類似度算出手段４４１２が類似度テーブルに記憶させた入力顔画像と各登録顔データ４２２の各登録顔画像との類似度を参照して入力顔画像と登録顔画像とが類似すると判定したとき、顔向き投票テーブルにおいて、類似すると判定された登録顔画像の顔向きに投票して顔向きごとの投票値の総和を算出する。顔向き投票テーブルとは、投票値を格納するためのテーブルであり、登録顔データ４２２に含まれる登録顔画像の数と同じ大きさであり、対応する登録顔データ４２２と共に記憶部４２０に記憶される。
【００７１】
図３は、本実施例に係る顔向き投票手段４４１３の顔向き投票テーブルへの投票を示す図である。図３（ａ）は、登録顔データ４２２の例を示し、図３（ｂ）および図３（ｃ）は、それぞれ、顔向き投票テーブル４２４１および４２４２に投票を行った結果の例を示す。
【００７２】
顔向き投票手段４４１３は、類似度テーブルに記憶された類似度を読み出し、例えば、類似度が所定の閾値以上である登録顔画像を入力顔画像４２１に類似すると判定することができる。例えば、所定の閾値は、類似度の平均値および分散を求め、平均値に分散の２倍を加えた値とすることができる。
【００７３】
また、顔向き投票手段４４１３は、すべての類似度テーブルに記憶された類似度のうち上位Ｎ個以内の登録顔画像を入力顔画像４２１に類似すると判定してもよい。この場合、Ｎは、正の整数であり、登録顔画像の総数の例えば１〜３％であるのが好ましい。例えば、上述したように全部で２５００枚の登録顔画像が登録顔データ４２２として記憶部４２０に記憶されている場合、Ｎは２５〜７５でもよい。
【００７４】
あるいは、顔向き投票手段４４１３は、人物ごとに類似度が上位所定数以内の登録顔画像を入力顔画像４２１に類似すると判定してもよい。この場合の所定数Ｍは、正の整数であり、１〜３などでもよい。
【００７５】
例えば、顔向き投票手段４４１３は、図３（ａ）に示した登録顔画像のうち、符号４２２１に示す１つの登録顔画像のみを入力顔画像４２１に類似すると判定したとする。これは、登録顔データ４２２の人物が入力顔画像４２１の人物と異なる場合に起きやすい。この場合、顔向き投票手段４４１３は、図３（ｂ）に示すように、顔向き投票テーブル４２４１において、登録顔画像４２２１の顔向き「角度Ａ１２」に対応する値に、例えば、投票値”１”を加算する。図３（ｂ）の顔向き投票テーブル４２４１には、登録顔画像４２２１の顔向き「角度Ａ１２」に対応する箇所に、加算される投票値”１”が示され、他は”０”のままである。
【００７６】
同様に、顔向き投票手段４４１３は、図３（ａ）に示した登録顔画像のうち、符号４２２２で示す枠で囲まれた９つの登録顔画像を入力顔画像４２１と類似すると判定したとする。これは、登録顔データ４２２の人物が入力顔画像４２１の人物と同じである場合に起きやすい。すなわち、入力顔画像４２１の人物が登録顔データ４２２の人物本人であるため、多少登録顔画像の顔向きが異なっても入力顔画像４２１に類似すると判定されたことを示す。
【００７７】
この場合、顔向き投票手段４４１３は、図３（ｃ）に示すように、顔向き投票テーブル４２４２において、登録顔画像４２２２の顔向き「角度Ａ６」〜「角度Ａ８」、「角度Ａ１１」〜「角度Ａ１３」および「角度Ａ１６」〜「角度Ａ１８」に対応する値に、例えば、投票値”１”を加算する。図３（ｃ）の顔向き投票テーブル４２４２中で、登録顔画像４２２２の顔向き「角度Ａ６」〜「角度Ａ８」、「角度Ａ１１」〜「角度Ａ１３」および「角度Ａ１６」〜「角度Ａ１８」に対応して投票された９箇所に、加算される投票値”１”が示され、他は”０”のままである。
【００７８】
なお、顔向き投票テーブル４２４に加算する投票値は、”１”などの一定の値でなくてもよく、”１”もしくは”２”など類似度の大きさなどに応じて重みを付けることができる。
【００７９】
次に、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が突出して高いため入力顔画像の人物を他人と誤って判定してしまう誤判定が、顔向き投票手段４４１３の投票によっていかに回避されるかについて説明する。
【００８０】
図４〜図６は、それぞれ、人物Ａの入力顔画像４２１ａと、人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃの各登録顔画像との類似度が記憶された類似度テーブル４２３ａ〜ｃを立体棒グラフで示す図である。ここで、入力顔画像４２１ａの顔向きは「角度Ａ１２」であるとする。
【００８１】
図４には、人物Ａの入力顔画像４２１ａと本人である人物Ａの登録顔データ４２２ａの各登録顔画像との類似度が記憶された類似度テーブル４２３ａの例が示されている。図４の類似度テーブル４２３ａでは、登録顔データ４２２ａが入力顔画像４２１ａの人物Ａ本人のものであるため、入力顔画像４２１ａと同じ顔向き「角度Ａ１２」の登録顔画像４２２ａ１との類似度４２３ａ１が最も高い値を示している。また、類似度４２３ａ１の周囲の顔向きの登録顔画像４２２ａ２との類似度も一定以上の高い値を示している。これは、登録顔データ４２２ａが入力顔画像４２１ａの人物Ａ本人のものであるため、顔の特徴点の配置情報や色情報（テクスチャ）などが共通しており、多少顔向きが異なっても類似度が高くなるからである。
【００８２】
図５には、人物Ａの入力顔画像４２１ａと他人である人物Ｂの登録顔データ４２２ｂの各登録顔画像との類似度が記憶された類似度テーブル４２３ｂの例が示されている。図５の類似度テーブル４２３ｂでは、登録顔データ４２２ｂの人物Ｂが入力顔画像４２１ａの人物Ａと異なるため、類似度は図４の類似度テーブル４２３ａほど高くない。それでもなお、登録顔画像４２２ｂ２および４２２ｂ３が入力顔画像４２１ａに類似すると判定されたとする。
【００８３】
類似度テーブル４２３ｂの類似度のうち、類似度４２３ｂ１は、他に比べてやや高い値を示している。これは、登録顔画像４２２ｂ１の顔向き「角度Ａ１２」が入力顔画像４２１ａと同じであるため、顔画像の特徴点の配置が類似するので類似度が高くなったと考えられる。登録顔画像４２２ｂ２の類似度４２３ｂ２については後述する。
【００８４】
図６には、人物Ａの入力顔画像４２１ａと他人である人物Ｃの登録顔データ４２２ｃの各登録顔画像との類似度が記憶された類似度テーブル４２３ｃの例が示されている。図６の類似度テーブル４２３ｃでは、図５の類似度テーブル４２３ｂと同様に、登録顔データ４２２ｃの人物Ｃが入力顔画像４２１ａの人物Ａと異なるため、類似度は図４の類似度テーブル４２３ａほど高くない。それでもなお、登録顔画像４２２ｃ２が入力顔画像４２１ａと類似すると判定されたとする。
【００８５】
類似度テーブル４２３ｃの類似度のうち、類似度４２３ｃ１は、他に比べてやや高い値を示している。これは、図５の登録顔画像４２２ｂ１と同様に、登録顔画像４２２ｃ１の顔向き「角度Ａ１２」が入力顔画像４２１ａと同じであるため、顔画像の特徴点の配置が類似するので類似度が高くなったと考えられる。
【００８６】
一方、図５の類似度テーブル４２３ｂにおいて、類似度４２３ｂ２が他に比べて突出して類似度が高い。これは、鼻尖点のように、抽出に失敗すると直ちに他の特徴点の位置情報に影響を与えてしまう顔の特徴点の抽出に失敗した場合に発生しやすい。このような場合、人物Ａの入力顔画像４２１ａから抽出された特徴点の配置と、人物Ｂの異なる顔向きの登録顔画像４２２ｂ２から抽出された特徴点の配置とが互いに非常に接近してしまい、また、結果として特徴点近傍のテクスチャ同士が類似してしまうことで、類似度が想定以上に高くなることがある。
【００８７】
図４および図５の例では、人物Ａのやや向かって左を向いた顔向き「角度Ａ１２」の入力顔画像４２１ａと人物Ａよりも丸顔である人物Ｂの向かって右を向いた顔向き「角度Ａ１５」の登録顔画像４２２ｂ２との類似度４２３ｂ２が、本人の同じ顔向き「角度Ａ１２」の登録顔画像４２２ａ１との類似度４２３ａ１より高くなっている。この場合、入力顔画像４２１ａと各登録顔データ４２２ａ〜ｃの各登録顔画像との類似度のうち、単純に最も高い値を示すものを選択すると、人物Ｂが入力顔画像４２１ａの人物であると誤って判定されてしまうことになる。
【００８８】
このような誤判定を防止するため、顔向き投票手段４４１３は、類似度テーブルに記憶された類似度を参照して類似すると判定した登録顔画像について、その登録顔画像に対応づけられた顔向きに対して投票する。この顔向き投票手段４４１３の投票処理は、登録顔データ４２２として登録されているすべての人物に共通に顔向きごとに行う。
【００８９】
図７は、図４〜図６の例において人物Ａの入力顔画像４２１ａと類似すると判定された人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃの登録顔画像と顔向き投票テーブル４２４ａ〜ｃおよび４２４Ｓとを示す図である。図７を参照しながら、顔向き投票手段４４１３による投票が入力顔画像４２１ａの顔向き「角度Ａ１２」に集まる様子を説明する。
【００９０】
図７には、図４〜６において、人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃのそれぞれについて、顔向き投票手段４４１３が人物Ａの入力顔画像４２１ａに類似すると判定した登録顔画像４２２ａ２、４２２ｂ２、４２２ｂ３および４２２ｃ１が示されている。図７の顔向き投票テーブル４２４ａ〜ｃで示すように、顔向き投票手段４４１３は、類似すると判定した登録顔データ４２２ａ〜ｃの登録顔画像の各顔向きに対応して投票値”１”を加算する。
【００９１】
このように投票値を加算していくことによって、顔向き投票手段４４１３は、顔向き投票テーブル４２４ａ〜ｃの顔向きごとの投票値の総和を求め、投票結果の顔向き投票テーブル４２４Ｓを得ることができる。顔向き投票テーブル４２４Ｓの投票結果で示されるように、入力顔画像４２１ａと同じ顔向き「角度Ａ１２」は、投票値の総和が”３”で最大値となっている。これと比較して、他人でありながら類似度の非常に高い人物Ｂの登録顔画像４２２ｂ２に対応する顔向き「角度Ａ１５」は、投票値の総和が”１”で低い値となっている。
【００９２】
顔向き決定手段４４１４は、顔向き投票手段４４１３による投票結果が記憶された顔向き投票テーブルより、投票値の総和が最大である顔向きを選び出し、入力顔画像４２１ａの顔向きであると推定する。図７の例の顔向き投票テーブル４２４Ｓでは、顔向き推定手段４４１０は、投票値の総和が最大値”３”である顔向き「角度Ａ１２」を入力顔画像４２１ａの顔向きであると決定する。
【００９３】
上述したように、顔向き投票手段４４１３は、入力顔画像４２１ａに類似すると判定された登録顔画像の顔向きごとに投票する。また、他人であっても顔向きが同じであれば登録顔画像が類似する場合が多いので、顔向き投票テーブル４２４の投票値は入力顔画像４２１ａの顔向き「角度Ａ１２」を中心に投票が集まる傾向にある。したがって、登録顔データ４２２ｂの登録顔画像４２２ｂ２のように、人物Ａと顔の形状が異なる人物Ｂの異なる顔向き「角度Ａ１５」の登録顔画像の類似度が想定外に高くなったとしても、顔向き「角度Ａ１２」が人物Ａの顔向きとして決定される。
【００９４】
顔画像照合手段４４２０は、顔向き推定手段４４１０が推定した入力顔画像の顔向きの顔向き識別情報などを顔向き推定手段４４１０から受け取る。そして、顔画像照合手段４４２０は、類似度テーブル中の推定された入力顔画像の顔向きとそれに近い顔向きの類似度を参照して、最も類似度の高い登録顔画像を有する登録顔データを特定し、その登録顔データの人物が入力顔画像の人物であると判定し、この照合結果を出力する。
【００９５】
図８は、図７で推定された顔向きを用いた顔画像照合手段４４２０の照合処理を示す図である。図８を参照しながら、顔画像照合手段４４２０が顔向き推定手段４４１０が特定した顔向きの近傍に限定して類似度テーブルの類似度を調べることにより、他人の登録顔データの異なる顔向きの登録顔画像が入力顔画像に最も類似すると誤って判定されるのを防止できることを説明する。
【００９６】
図８（ａ）には、登録顔データ４２２ａにおける図７で推定された入力顔画像４２１ａと同じ顔向き「角度Ａ１２」の登録顔画像４２２ａ１とそれに角度が近い顔向きの登録顔画像４２２ａ５が示されている。同様に、図８（ｂ）および図８（ｃ）には、登録顔データ４２２ｂおよび４２２ｃにおける入力顔画像４２１ａの顔向き「角度Ａ１２」に角度が近い顔向きの登録顔画像４２２ｂ５および４２２ｃ５が示されている。
【００９７】
顔画像照合手段４４２０は、入力顔画像４２１ａの顔向き識別情報に対応付けて記憶部４２０に記憶されている角度情報より、ピッチ角およびヨー角が所定の角度内の顔向きを角度が近い顔向きとして選ぶことができる。例えば、図８の例では、入力顔画像４２１の顔向き識別情報は図２における「角度Ａ１２」であり、顔向き識別情報「角度Ａ１２」の角度情報はピッチ角＝０度およびヨー角＝−１５度である。この場合、顔画像照合手段４４２０は、顔向き「角度Ａ１２」に角度が近い顔向きとして、ピッチ角およびヨー角がそれぞれ±１５度以内の顔向き「角度Ａ６」、「角度Ａ７」、「角度Ａ８」、「角度Ａ１１」、「角度Ａ１３」、「角度Ａ１６」、「角度Ａ１７」および「角度Ａ１８」の８近傍を選ぶことができる。
【００９８】
なお、図８の例では、顔画像照合手段４４２０は、入力顔画像４２１ａの顔向きの８近傍に絞り込んでいるが、本発明はこれに限定されない。例えば、顔画像照合手段４４２０は、「角度Ａ７」、「角度Ａ１１」、「角度Ａ１３」および「角度Ａ１７」の「４近傍」を角度が近い顔向きとして限定してもよい。あるいは、顔画像照合手段４４２０は、顔向きの角度の刻みがより細かい場合など、「２４近傍」などを角度が近い顔向きとして限定してもよい。このように、顔画像照合手段４４２０は、顔照合装置４０の記憶部４２０の記憶容量、処理能力および所望の照合精度などに応じて類似度を参照する顔向きを任意に設定することができる。以下、顔画像照合手段４４２０が入力顔画像４２１ａの顔向き「角度Ａ１２」を中心に３×３個＝９個の顔向きの登録顔画像に絞り込んで類似度テーブル４２３の類似度を参照する場合について説明する。以下、この絞り込まれた登録顔画像を照合用登録顔画像と称する。
【００９９】
例えば、図８に示すように、人物Ａ〜Ｃの３人分の登録顔データ４２２ａ〜ｃが記憶部４２０に記憶されている場合、顔画像照合手段４４２０は、類似度テーブル４２３ａ、４２３ｂおよび４２３ｃのそれぞれにおいて、図８で示した照合用登録顔画像４２２ａ５、４２２ｂ５および４２２ｃ５の顔向きに対応する類似度に絞り込んで調べる。この場合、顔画像照合手段４４２０は、各類似度テーブル４２３ａ〜ｃにおいて、入力顔画像４２１ａの顔向きおよびそれに角度が近い顔向きの９枚の照合用登録顔画像の類似度を３人の人物について参照し、９×３＝２７枚の照合用登録顔画像に限定して類似度を調べる。また、例えば、１００人分の登録顔データ４２２が記憶部４２０に記憶されている場合、顔画像照合手段４４２０は、９×１００＝９００枚の照合用登録顔画像に限定して類似度を調べる。
【０１００】
そして、顔画像照合手段４４２０は、これらの限定した照合用登録顔画像のうち類似度が最も高い照合用登録顔画像の人物を入力顔画像４２１ａの人物であると判定することができる。このため、例えば、図５に示した類似度テーブル４２３ｂの類似度４２３ｂ２は、顔画像照合手段４４２０が参照する対象の類似度から除外される。したがって、顔画像照合手段４４２０は、図４に示した類似度テーブル４２３ａの類似度４２３ａ１を最も高い類似度として選択し、入力顔画像４２１ａの人物は人物Ａであると正しく判定することができる。
【０１０１】
顔画像照合手段４４２０は、登録人物ごとに、照合用登録顔画像の類似度の総和を求め、それが最も高い登録人物を入力顔画像の人物と判定してもよい。例えば、図８の場合では、人物Ａ〜Ｃの３人について、照合用登録顔画像４２２ａ５、４２２ｂ５および４２２ｃ５の顔向きに対応する類似度の総和を登録人物ごとに求めて、それが最大である人物Ａを入力顔画像の人物と判定する。
【０１０２】
また、顔画像照合手段４４２０は、上記の類似度の総和を求める際に、入力顔画像の顔向きに近い照合用登録顔画像ほど大きくなる重みを付けてもよい。これは、照合用登録顔画像を３×３個＝９個に絞り込むのではなく、もっと登録顔画像の数が多く、例えば、１人分の登録顔データ４２２が９×９個＝８１個の登録顔画像からなり、照合用登録顔画像を５×５個＝２５個に絞り込む場合に効果的である。例えば、入力顔画像の顔向きを中心として、入力顔画像の顔向きと同じ顔向きの照合用登録顔画像には３、８近傍の照合用登録顔画像には２、その外側の照合用登録顔画像には１と重み付けをすることができる。
【０１０３】
あるいは、顔画像照合手段４４２０は、類似度テーブルに記憶されている類似度の値を所定の非線形関数によって変換して正規化した類似度を比較してもよい。これによって、顔画像照合手段４４２０は、類似度の分布を調整し、類似するか否かをより明確に区別することができる。さらに、顔画像照合手段４４２０は、選び出した類似度が所定の閾値以上であることを確認することによって、この類似度を有する人物が入力顔画像の人物本人であると決定することができる。ここで使用する閾値は、一般に本人であると確認するのに使用される閾値を用いることができ、顔向き投票手段が入力顔画像と登録顔画像との類似判定で用いた閾値より大きい値であることが好ましい。
【０１０４】
したがって、本発明にかかる顔画像照合手段４４２０によれば、例えば、図５および図７に示した他人の異なる顔向きの登録顔画像４２２ｂ２が入力顔画像４２１ａと非常に類似するため、他人の人物Ｂを入力顔画像４２１ａの人物であると判定してしまう他人受け入れもしくは本人棄却を防止することができ、顔画像の照合精度を向上させることができる。
【０１０５】
顔画像照合手段４４２０は、入力顔画像の人物が登録人物と一致したか否か、そして一致した場合はその登録人物に関する識別情報などの人物情報を照合結果として出力する。
【０１０６】
顔照合結果出力インタフェース部４５０は、制御部４４０が顔画像照合手段４４２０の照合結果を、顔照合結果処理部５０に送るためのインタフェース部である。例えば、顔照合結果出力インタフェース部４５０は、顔照合結果処理部５０と顔照合装置４０とを接続する通信の方式に従って、ＬＡＮ、ユニバーサルシリアルバス（ＵＳＢ）、ＳＣＳＩ、無線ＬＡＮもしくは赤外線通信などに対応する適切な通信インタフェースアダプタなどを有する。
【０１０７】
顔照合結果処理部５０は、顔照合装置４０から通信を介して照合結果を受け取り、この照合結果に基づいて適切な処理を行う。顔照合結果処理部５０は、顔照合装置４０と分離した１つもしくは複数の装置でもよく、顔照合装置４０と一体でもよい。
【０１０８】
例えば、顔照合結果処理部５０は、ディスプレイ、ランプ、アラームもしくはスピーカなどのユーザ出力装置を有してもよい。そして、顔照合結果処理部５０は、顔照合装置４０から入力画像中の人物が登録されている要監視対象者の一人であるという照合結果を受け取った場合、照合結果を適切な形式でユーザ出力装置に出力して要監視対象者が店舗内にいることを店員や保安員などの監視者に報知することができる。
【０１０９】
なお、例えば、監視カメラなどの撮像部３０が複数の場合、照合結果には、入力顔画像４２１を取得した監視カメラの識別情報および／もしくは位置情報などの撮像部３０に関する撮像部情報が含まれてもよい。
【０１１０】
次に、図９および図１０を参照しながら、本実施例の店内監視システム１の処理の流れについて説明する。
【０１１１】
図９は、本実施例に係る顔データ登録装置２０の登録顔データ４２２の登録処理を示すフローチャートである。図９を参照しながら、本実施例の店内監視システム１における登録顔データ４２２の登録処理について説明する。制御部２２０は、撮像部１０から画像入力インタフェース部２１０を介して登録用画像を受け取ると、以下の処理を開始する。
【０１１２】
顔データ登録装置２０の制御部２２０は、撮像部１０から受け取った登録用画像を登録用顔画像抽出手段２２１０に渡す。そして、登録用顔画像抽出手段２２１０は、受け取った登録用画像から顔領域を抽出して登録用顔画像を生成する（ステップＳ１１０）。
【０１１３】
３次元顔モデル生成手段２２２０は、登録用顔画像抽出手段２２１０が抽出した登録用顔画像のデータを３次元顔形状データにマッピングして、登録人物の３次元顔モデルを生成する（ステップＳ１２０）。
【０１１４】
登録顔データ生成手段２２３０は、３次元顔モデル生成手段２２２０が生成した３次元顔モデルの頭部を様々な方向に変えて再現して生成した様々な顔向きの登録顔画像を登録顔データ４２２として記憶部２３０に記憶させる（ステップＳ１３０）。
【０１１５】
制御部２２０は、すべての登録人物についてステップＳ１１０〜ステップＳ１４０の処理を繰り返した後、記憶部２３０に記憶されたすべての登録顔データ４２２を登録顔データ出力インタフェース部２４０を介して顔照合装置４０に送ることができる。
【０１１６】
なお、制御部２２０は、上述したように、撮像部１０から撮影した登録人物の登録用画像が送られると、随時、送られた登録用画像を登録用顔画像抽出手段２２１０に渡してもよいが、これらの登録用画像はビデオテープもしくはハードディスクなどの記憶媒体に録画データとして一旦保存されてもよい。そして制御部２２０は、記憶部媒体に保存された録画データを記憶部２３０のアクセス装置などによって読み取り、読み取った録画データから１フレームずつ切り出して登録用画像として登録用顔画像抽出手段２２１０に渡してもよい。
【０１１７】
図１０は、本実施例に係る顔照合装置の顔向き推定を含む顔照合処理を示すフローチャートである。図１０を参照しながら、本実施例の店内監視システム１における顔向き推定を含む顔照合処理について説明する。登録人物の登録顔データ４２２は、図９で説明したように生成されて記憶部４２０に記憶されているものとする。制御部４４０は、撮像部３０から画像入力インタフェース部４１０を介して入力画像を受け取ると、以下の処理を開始する。
【０１１８】
顔照合装置４０の制御部４４０は、撮像部３０から受け取った入力画像を入力顔画像抽出手段４４１１に渡す。そして、入力顔画像抽出手段４４１１は、受け取った入力画像から顔領域を抽出し入力顔画像とする（ステップＳ２１０）。
【０１１９】
入力顔画像抽出手段４４１１は、撮像部３０から画像入力インタフェース部４１０を介して受け取った入力画像から、上述した登録用顔画像抽出手段２２１０と同様に人物の顔領域を抽出して、入力顔画像として記憶部４２０に記憶する。
【０１２０】
なお、ステップＳ２１０において、入力画像中に複数の人物が撮影されている場合、入力顔画像抽出手段４４１１は、入力画像から複数の顔領域を抽出する。この場合、制御部４４０は、入力画像に含まれる複数の顔領域のそれぞれについて、ステップＳ２１０〜Ｓ２６０の処理を繰り返す。
【０１２１】
類似度算出手段４４１２は、入力顔画像抽出手段４４１１が抽出した入力顔画像と記憶部４２０に記憶されている各登録人物の登録顔データ４２２の様々な顔向きの登録顔画像との類似度をそれぞれ算出する。そして、類似度算出手段４４１２は、算出した類似度を、登録人物ごとに各登録顔画像の顔向き識別情報に対応付けて類似度テーブルに記憶する（ステップＳ２２０）。例えば、登録されている登録人物が１００人で、図２に示したように１人につき２５枚の登録顔画像が登録されている場合、類似度算出手段４４１２は、２５×１００＝２５００枚の登録顔画像と入力顔画像との類似度を求めて類似度テーブルに記憶させる。
【０１２２】
顔向き投票手段４４１３は、類似度算出手段４４１２が類似度テーブルに記憶させた類似度を参照し、入力顔画像に類似すると判定した登録顔画像の顔向きごとに顔向き投票テーブルに投票する（ステップＳ２３０）。
【０１２３】
顔向き決定手段４４１４は、顔向き投票手段４４１３が投票した顔向き投票テーブルを参照して、投票値の総和が最大である顔向きを入力顔画像の顔向きであると決定する（ステップＳ２４０）。そして、顔向き推定手段４４１０は、顔向き決定手段４４１４が決定した顔向きを入力顔画像の顔向きであるとして、その顔向き識別情報を顔画像照合手段４４２０に渡す。
【０１２４】
顔画像照合手段４４２０は、顔向き推定手段４４１０から受け取った入力顔画像の顔向きの顔向き識別情報とこれに対応する角度情報とに基づいて、入力顔画像の顔向きに角度が近い顔向きを決定する（ステップＳ２５０）。そして、顔画像照合手段４４２０は、入力顔画像の顔向きとそれに角度が近い顔向きに絞り込んで、類似度テーブルに記憶されている各登録顔データ４２２の各登録顔画像との類似度を調べる。
【０１２５】
なお、本実施例では、顔向き推定手段４４１０の類似度算出手段４４１２は、記憶部４２０に記憶されているすべての登録顔データ４２２についてすべての顔向きの登録顔画像と入力顔画像との類似度を算出して類似度テーブルに記憶させたが、本発明はこれに限定されない。例えば、類似度算出手段４４１２は、登録顔データ４２２に登録した順に番号を付与し、１０個おきもしくは１００個おきにサンプリングし、サンプリングした登録顔データについて入力顔画像との類似度を算出し、その類似度を類似度テーブルに記憶してもよい。そして、顔向き推定手段４４１０は、サンプリングした登録顔データの類似度が記憶された類似度テーブルを参照して、上述したように入力顔画像の顔向きを推定することができる。この場合、顔画像照合手段４４２０は、残りの登録顔データについては入力顔画像の顔向きとそれに角度が近い顔向きの登録顔画像についてのみ入力顔画像との類似度を算出すればよいので、顔照合装置４０全体としての処理効率を向上させることができる。
【０１２６】
顔画像照合手段４４２０は、調べた類似度のうち最も高い類似度が所定の閾値以上であれば、この最も高い類似度の登録顔画像の人物が入力顔画像の人物であると判定する（ステップＳ２６０）。一方、顔画像照合手段４４２０は、調べた類似度がすべて所定の閾値未満の場合は、入力顔画像の人物は、登録人物のいずれとも一致しないと判定する。
【０１２７】
制御部４４０は、顔画像照合手段４４２０から入力顔画像の人物と一致する登録人物の有無および／もしくは入力顔画像の人物であると判定された人物に関する人物情報などの顔照合結果を受け取り、顔照合結果出力インタフェース部４５０を介して、警報装置などの顔照合結果処理部５０に送る。
【０１２８】
本発明に係る顔画像処理装置によれば、入力画像中の人物の顔向きを推定する際に、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が非常に高いため入力顔画像の顔向きを誤って判定してしまうのを防止することができ、顔向き推定の精度を向上させることができる。
【０１２９】
また、本発明に係る顔画像処理装置によれば、入力画像中の人物の顔向きを推定し、推定した顔向きとそれに角度が近い顔向きに限定した登録顔画像と入力顔画像とを照合する。したがって、かかる顔画像処理装置は、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が非常に高いため入力顔画像の人物を他人であると誤って判定してしまうのを防止することができるので、顔照合の照合精度を向上させることができる。
【０１３０】
上述した実施例では、顔データ登録装置２０と顔照合装置４０とは別個の装置であるが、顔データ登録装置２０と顔照合装置４０とは同一の装置でもよい。この場合、撮像部１０、画像入力インタフェース部２１０、制御部２２０および／もしくは記憶部２３０は、それぞれ、撮像部３０、画像入力インタフェース部４１０、制御部４４０および／もしくは記憶部４２０と共通でもよい。また、登録顔データ出力インタフェース部２４０および登録顔データ入力インタフェース部４３０は不要である。例えば、制御部２２０は、店内監視システム１の監視カメラである撮像部１０から受け取った監視画像に不審者が含まれていると判定した場合、この監視画像を登録用画像として登録顔データ４２２の登録処理を行うことができる。
【０１３１】
また、上述した店内監視システムの実施例において、顔照合装置の制御部は、撮像部から送られた入力画像をビデオテープもしくはハードディスクなどの記憶媒体に録画データとして一旦保存してもよい。そして顔照合装置の制御部は、記憶媒体に保存された録画データを記憶部のアクセス装置などによって読み取り、読み取った録画データから１フレームずつ切り出して入力画像とすることができる。この場合、顔照合装置は、上述したように入力画像中の人物が登録顔データの登録人物であるか否かを照合することによって、保存された録画データ中に要監視対象者などの登録人物が写っていないか分析することができる。
【０１３２】
また、本発明に係る顔画像処理装置は、例えば、入室する人物をウォークスルーで認証する入室認証システムなどにおける顔照合装置に適用することができる。この場合、顔照合装置は、入室が許可されている人物の登録顔データを登録してもよい。そして顔照合装置は、上記店内監視システムの顔照合装置と同様に、入力画像中の人物が登録されている登録顔データの人物であるか否かを照合して、その照合結果を顔照合結果処理部に送ることができる。この入室認証システムにおける顔照合結果処理部は、電気信号によってドアの施錠／解錠を行う電気錠でもよい。この場合、顔照合装置が入力画像中の人物が登録顔データの人物であるという照合結果を電気信号によって電気錠に送ると、電気錠はドアの解錠を行い、そうでない場合はドアに施錠をしたままにすることができる。
【０１３３】
さらに、本発明に係る顔画像処理装置は、例えば、デジタルサイネージ（電子看板）において電子看板に着目した通行人の統計をとることによって電子看板の広告効果を定量的に計測する広告調査システムの顔向き推定装置に適用することができる。かかる顔向き推定装置は、上述した顔照合装置とほぼ同じであるが、顔画像照合手段による顔画像の照合処理を行わないので、顔画像照合手段を必要としない点が異なる。
【０１３４】
例えば、この広告調査システムでは、電子看板の周囲など電子看板を見る通行人の顔を撮影できる位置に撮像部として調査用カメラを設置する。そして、顔向き推定装置は、顔向きを推定するのに十分な人数分の登録顔データを記憶する。上述したように、入力顔画像は、他人の顔画像であっても同じ顔向きおよびそれに角度が近い顔向きの登録顔画像とある程度類似するため、顔向き推定装置は、入力顔画像と十分な人数分の登録顔データとを照合することによって、正確に入力顔画像の顔向きを判定することができる。
【０１３５】
この広告調査システムの顔向き推定装置は、例えば、調査用カメラが撮影した入力画像を順次受け取って入力顔画像を抽出し、入力顔画像と顔向き推定装置に登録されている様々な顔向きの登録顔画像とを照合して、入力顔画像の顔向きを推定することができる。そして、広告調査システムの顔照合結果処理部は、顔向き推定装置によって入力顔画像が電子看板の方向を向いていると判定されたときにその人数をカウントして統計をとることができる。ここで、顔照合結果処理部は、一定時間内の連続する入力画像において同じ人物が電子看板の方向を向いている場合にその人数をカウントしてもよい。
【０１３６】
この顔向き推定装置は、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が非常に高いため入力顔画像の顔向きを誤って判定してしまうのを防止することができるので、顔向き推定の精度を向上させることができる。
【産業上の利用可能性】
【０１３７】
本発明は、様々な監視システムおよび認証システムなどにおける顔照合装置に適用することができる。また、本発明は、調査システムおよび検知システムなどにおける顔向き推定装置に適用することができる。
【符号の説明】
【０１３８】
１ 店内監視システム
１０ 撮像部
２０ 顔データ登録装置
３０ 撮像部
４０ 顔照合装置
５０ 顔照合結果処理部
２１０ 画像入力インタフェース部
２２０ 制御部
２３０ 記憶部
２４０ 登録顔データ出力インタフェース部
４１０ 画像入力インタフェース部
４２０ 記憶部
４２１ 入力顔画像
４２２ 登録顔データ
４２３ 類似度テーブル
４２４ 投票テーブル
４３０ 登録顔データ入力インタフェース部
４４０ 制御部
４５０ 顔照合結果出力インタフェース部
２２１０ 登録用顔画像抽出手段
２２２０ ３次元顔モデル生成手段
２２３０ 登録顔データ生成手段
４４１０ 顔向き推定手段
４４１１ 入力顔画像抽出手段
４４１２ 類似度算出手段
４４１３ 顔向き投票手段
４４１４ 顔向き決定手段
４４２０ 顔画像照合手段
【技術分野】
【０００１】
本発明は、顔画像処理装置に関し、特に、入力画像中の人物の顔向きを推定する顔画像処理装置に関する。
【背景技術】
【０００２】
従来、監視カメラなどで撮影した監視画像から自動的に不審人物などを検知して、その旨を外部に喚起する店内監視システムがある（特許文献１を参照）。この店内監視システムでは、過去に不正行為を行ったことのある人物の顔画像を予め登録しておく。そして、この店内監視システムは、監視画像から抽出された入力顔画像と予め登録された登録顔画像とを照合して一致すると判定すると、その旨を警報装置を通じて店員や保安員に報知する。
【０００３】
ここで、顔画像同士の照合を精度良く実施するためには、顔画像に写っている人物の顔向きが同じ方向を向いていることが好ましい。互いに異なる方向を向いた顔が写った顔画像を用いて照合処理を行うと、目、鼻、口などの顔の特徴的な部位の顔画像上の形状および位置が異なっているために、照合精度が低下するおそれがある。加えて、顔向きによっては顔画像中に見えない特徴的な部位があることもあり、照合精度が一層低下するおそれがある。
【０００４】
しかしながら、例えば、特許文献１に記載された店内監視システムでは、店舗内などにいる人物の顔向きは常に一定方向を向いているわけではないので、監視カメラが店舗内の人物の顔を常に決まった方向から撮影することはほとんど不可能である。したがって、監視カメラが撮影した画像中の人物の顔向きと登録されている登録人物の顔画像の顔向きが異なり、照合が正確に行われない場合がある。
【０００５】
そこで、登録する複数の人物のそれぞれについて顔向きが異なる複数の登録顔画像を用意し、それぞれの顔向きの登録顔画像と入力顔画像との類似度に基づいて、最も類似する登録顔画像の人物を入力顔画像の人物であると判定する顔画像認証装置がある（特許文献２を参照）。特許文献２に開示された顔画像認証装置によれば、様々な顔向きの登録顔画像から入力顔画像と最も類似度が高い登録顔画像の人物が特定され、入力顔画像と同じ顔向きの登録顔画像が最も類似すると判定されることが期待される。
【０００６】
また、入力画像の人物と照合する各人物について複数の種類の顔の特徴などに関する顔データを登録しておき、各特徴について登録顔データと入力顔画像との類似度が高い順にその登録顔データに対応する登録人物をリストアップし、複数の特徴においてランキングの上位にいる登録人物が入力顔画像の人物であると総合的に判定する技術が開示されている（特許文献３を参照）。ここで、登録される顔データには、顔の表情や向きの異なる種々の顔画像に関するデータが含まれる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３０６４８５号公報
【特許文献２】特開２００９−２４５３３８号公報
【特許文献３】特開２００３−３４６１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２に記載された顔画像認証装置では、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が想定以上に高くなる場合があり、入力顔画像の人物を他人であると誤って判定したり（他人受け入れ）、逆に本人でないと判定したり（本人棄却）し照合の失敗を招く場合がある。この照合の失敗は、顔の表情や照明の多少の変化があっても本人であると判定できるように、入力顔画像と登録顔画像との多少の違いを許容して一致すると判定するために起きると考えられる。
【０００９】
一方、特許文献３に記載された技術は、入力顔画像との類似度が高いランキング上位所定数に入る人物は常に特定の人物に限られており、様々な他人が本人に類似することは稀であることを前提としている。一方、上述したように、入力顔画像と登録顔画像とが異なる人物のものであっても類似度が、本人の同じ顔向きの登録顔画像との類似度より高くなってしまうことがある。この場合、入力顔画像との類似度が高いランキング上位所定数内に様々な人物が含まれてしまい、どの人物を入力顔画像の人物として特定すればよいのか判断が難しくなるという問題がある。
【００１０】
したがって、本発明の目的は、入力された顔画像の顔向きを正確に推定する顔画像処理装置を提供することである。
【００１１】
また、本発明の目的は、入力顔画像の照合精度を向上させた顔画像処理装置を提供することである。
【課題を解決するための手段】
【００１２】
かかる課題を解決するための本発明の一つの実施形態によれば、入力画像中の人物の顔向きを推定する顔画像処理装置が提供される。かかる顔画像処理装置は、複数の登録人物のそれぞれに対応した互いに異なる顔向きの登録顔画像を記憶する記憶部と、登録顔画像のそれぞれと入力顔画像との類似度を算出する類似度算出手段と、算出された類似度が所定以上の登録顔画像に対応する顔向きに投票する顔向き投票手段と、顔向き投票手段により最も多く投票された顔向きを入力顔画像の顔向きであると推定する顔向き決定手段と、を有する。
【００１３】
かかる顔画像処理装置において、顔向き決定手段により推定された入力顔画像の顔向きおよびこの顔向きに近い顔向きの照合用登録顔画像と入力顔画像との類似度を登録人物ごとに集計した結果に基づいて、入力顔画像の人物を判定する顔画像照合手段をさらに有することが好ましい。
【００１４】
かかる顔画像処理装置において、記憶部は、予め人間の顔の３次元形状を表す３次元顔形状データをさらに記憶し、複数の登録人物の顔画像をそれぞれ３次元顔形状データに合成して３次元顔モデルを生成する３次元顔モデル生成手段と、３次元顔モデルを複数の所定の角度の顔向きに調整して２次元平面上に投影した登録顔画像を生成する登録顔データ生成手段と、をさらに有し、顔画像照合手段は、顔向き決定手段により推定された入力顔画像の顔向きおよびこの顔向きの近傍の顔向きに対応する登録顔画像を照合用登録顔画像として入力顔画像の人物を判定することが好ましい。
【００１５】
かかる顔画像処理装置において、登録人物ごとに集計した結果として求めた類似度の総和が最も高い登録人物を、入力顔画像の人物と判定することが好ましい。
【００１６】
かかる顔画像処理装置において、登録人物ごとに、入力顔画像の顔向きに近いほど大きくなる重みを類似度に付けることが好ましい。
【発明の効果】
【００１７】
本発明によれば、入力された顔画像の顔向きを正確に推定する顔画像処理装置を提供することができる。また、本発明によれば、入力顔画像の照合精度を向上させた顔画像処理装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施例に係る店内監視システムの構成を示すブロック図である。
【図２】本実施例に係る登録顔データの一例を示す図である。
【図３】本実施例に係る顔向き投票手段の顔向き投票テーブルへの投票を示す図である。
【図４】人物Ａの入力顔画像と人物Ａの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図５】人物Ａの入力顔画像と人物Ｂの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図６】人物Ａの入力顔画像と人物Ｃの登録顔データの各登録顔画像との類似度が記憶された類似度テーブルを立体棒グラフで示す図である。
【図７】図４〜図６の例において人物Ａの入力顔画像と類似すると判定された人物Ａ〜Ｃの登録顔画像と顔向き投票テーブルとを示す図である。
【図８】図７の例で推定された顔向きを用いた顔画像照合手段の照合処理を示す図である。
【図９】本実施例に係る顔データ登録装置の登録顔データの登録処理を示すフローチャートである。
【図１０】本実施例に係る顔照合装置の顔向き推定を含む顔照合処理を示すフローチャートである。
【発明を実施するための形態】
【００１９】
本願の発明者は、入力顔画像と入力顔画像の人物本人の様々な顔向きの登録顔画像との類似度は、顔向きが同じ場合に最も高いが、入力顔画像の顔向きに角度が近い場合においてもある程度高いという知見を得た。さらに、他人の顔画像であっても、同じ顔向きおよびそれに角度が近い顔向きの登録顔画像との類似度はある程度高くなるという知見を得た。
【００２０】
これらの知見に基づいて、本発明に係る顔画像処理装置は、登録人物ごとに複数の顔向きの登録顔画像を有する登録顔データを記憶する。かかる顔画像処理装置は、取得した入力顔画像と登録されている各登録人物の様々な顔向きの登録顔画像との類似度を求め、入力顔画像に類似すると判定した登録顔画像について顔向きごとに投票を行う。そして、この顔画像処理装置は、投票の結果、最も多く投票された顔向きを入力顔画像の顔向きであると推定する。
【００２１】
さらに、本発明に係る顔画像処理装置は、上述したように推定された入力顔画像の顔向きとそれに近い顔向きの登録顔画像に絞り込んで入力顔画像との類似度を調べ、最も類似度が高い登録顔画像の人物を入力顔画像の人物であると判定することができる。
【００２２】
以下、本発明に係る顔画像処理装置を店内監視システムの顔照合装置に適用した一実施例について、図を参照しつつ説明する。
【００２３】
図１は、本発明の一実施例に係る店内監視システム１の構成を示すブロック図である。図１に示すように、かかる店内監視システム１は、撮像部１０および３０と、顔データ登録装置２０と、顔照合装置４０と、顔照合結果処理部５０と、を有する。撮像部１０と顔データ登録装置２０、撮像部３０と顔照合装置４０、顔データ登録装置２０と顔照合装置４０および顔照合装置４０と顔照合結果処理部５０の間は、それぞれ、種々の形式の通信ケーブルもしくは内部配線などの有線通信、あるいは、電波もしくは赤外線などの無線通信によって接続することができる。
【００２４】
撮像部１０は、例えば、ＣＣＤ素子もしくはＣ−ＭＯＳ素子などの撮像素子、光学系部品、Ａ／Ｄ変換器などを含む公知のカメラを用いることができる。このカメラは、近赤外波長帯に感度を有する白黒タイプでもよいが、肌色部分の抽出が容易になるよう可視光波長帯に感度を有するカラータイプが好ましい。また、カメラの解像度などの精度は、顔データ登録装置２０および顔照合装置４０の記憶容量、処理能力、顔照合装置４０が所望する顔照合の精度などに応じて適切なものを用いることができる。さらに、登録用画像は、多階調の画素値で表されるカラー画像でもグレースケール画像でもよいが、８ビット程度の輝度分解能を持つカラー画像が好ましい。
【００２５】
撮像部１０は、過去に不正行為を行った前歴のある要監視対象者などを撮影し、得られた２次元の画像データを顔データ登録装置２０が登録する登録人物の登録用画像として通信などを介して顔データ登録装置２０に送る。
【００２６】
顔データ登録装置２０は、例えば、いわゆるコンピュータなどの情報処理装置によって構成することができる。顔データ登録装置２０は、撮像部１０から受け取った登録人物の登録用画像を用いて、登録人物の様々な顔向きの登録顔画像を有する登録顔データと顔向きに関する角度情報を生成する。そして顔データ登録装置２０は、生成した登録顔画像および角度情報をＣＤ−ＲＯＭ、ＤＶＤ−Ｒ／Ｗおよび／もしくはフラッシュメモリなどのコンピュータ読み取り可能な記憶媒体あるいは通信などを介して顔照合装置４０に登録することができる。
【００２７】
図１に示すように、顔データ登録装置２０は、画像入力インタフェース部２１０と、制御部２２０と、記憶部２３０と、登録顔データ出力インタフェース部２４０と、を有する。
【００２８】
画像入力インタフェース部２１０は、制御部２２０が撮像部１０から登録人物の登録用画像を受け取るインタフェース部である。したがって、画像入力インタフェース部２１０は、撮像部１０と顔データ登録装置２０とを接続する通信の方式に従って、例えば、ＬＡＮ、ユニバーサルシリアルバス（ＵＳＢ）、ＳＣＳＩ、無線ＬＡＮもしくは赤外線通信などに対応する適切な通信インタフェースアダプタなどを含んで構成される。
【００２９】
制御部２２０は、プロセッサとその周辺回路を含んで構成され、プロセッサが記憶部２３０に記憶された各種プログラムを実行することによって、顔データ登録装置２０の登録顔データの登録処理を制御する。プロセッサおよび記憶部２３０は、マイクロプロセッサもしくはＡＳＩＣなどを含んで構成されてもよい。プロセッサが実行するプログラムは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどのコンピュータ読み取り可能な記憶媒体もしくは通信などによって提供されて記憶部２３０に記憶されてもよく、ファームウェアとして提供されてもよい。
【００３０】
制御部２２０は、撮像部１０から画像入力インタフェース部２１０を介して登録人物の登録用画像を受け取り、受け取った登録用画像を用いて登録人物の様々な顔向きの登録顔画像を生成し、登録顔データとして記憶部２３０に記憶させる。また、制御部２２０は、記憶部２３０に記憶させた登録顔データを登録顔データ出力インタフェース部２４０を介して顔照合装置４０に送る。
【００３１】
図２は、本実施例に係る登録顔データ４２２の一例を示す図である。各登録顔データ４２２は、例えば、登録人物の識別情報などの各登録人物に関する人物情報に対応付けて記憶される。図２に示すように、登録顔データ４２２は、様々な顔向きの登録顔画像を含む。この例では、真正面を向いた「角度Ａ１３」の登録顔画像を中心に、上下方向（ピッチ角）と左右方向（ヨー角）にそれぞれ１５度刻みで±３０度まで顔向きを変えた５×５＝２５種類の顔向きの登録顔画像が登録顔データ４２２に含まれる。
【００３２】
登録顔データ４２２は、顔向きを推定するのに十分な人数分用意する。例えば、登録人物の人数が少なく顔向きを推定するのに十分でない場合は、顔向きを推定するための登録顔データ４２２を追加して登録する。通常、顔向きを推定するのに１００人分程度あればよい。したがって、例えば、図２に示した登録顔データ４２２が１００人分登録されている場合、２５×１００＝２５００枚の登録顔画像が登録顔データ４２２として記憶部２３０に記憶されることになる。
【００３３】
なお、以下、顔向きの種類は図２に示した２５種類として説明するが、本発明はこれに限定されない。例えば、撮像部１０の撮影範囲、顔データ登録装置２０および顔照合装置４０の記憶容量、処理能力および顔照合装置４０の所望の照合精度などに応じて、ピッチ角およびヨー角の刻み幅や角度の範囲を任意に変えて登録顔画像の数を増減することができる。例えば、制御部２２０は、撮像部１０の撮影範囲がピッチ角±３０度およびヨー角±４５度であれば、ピッチ角およびヨー角の刻み幅をそれぞれ１５度として、５×７＝３５種類の顔向きの登録顔画像を生成してもよい。さらに、制御部２２０は、７×７＝４９種類もしくは９×９＝８１種類の顔向きの登録顔画像を生成してもよい。照合精度の観点では、ピッチ角およびヨー角の刻み幅は１５度以下が好ましい。
【００３４】
登録顔データ４２２の各登録顔画像は、その顔向きに対応付けて記憶部２３０に記憶される。例えば、制御部２２０は、図２に示すように２５種類の顔向きに「角度Ａ１」〜「角度Ａ２５」という識別名もしくは識別番号などの顔向き識別情報を割り当て、この顔向き識別情報に各登録顔画像を対応付けて記憶部２３０に記憶させることができる。
【００３５】
また、制御部２２０は、各顔向き識別情報に、その顔向きのピッチ角とヨー角との組み合わせを角度情報として対応付けて記憶部２３０に記憶させることができる。例えば、図２に示すように、ピッチ角＝０度およびヨー角＝０度の真正面を向いた顔向き「角度Ａ１３」を中心として、２５種類の顔向き「角度Ａ１」〜「角度Ａ２５」は、１５度刻みで±３０度までの５種類のピッチ角と５種類のヨー角との２５種類の組み合わせに対応付けられる。
【００３６】
図２の例では、「角度Ａ１１」は、向かって左に角度３０度の顔向きでピッチ角＝０度およびヨー角＝−３０度、「角度Ａ１５」は、向かって右に角度３０度の顔向きでピッチ角＝０度およびヨー角＝＋３０度、「角度Ａ３」は、上に３０度の顔向きでピッチ角＝−３０度およびヨー角＝０度、「角度Ａ２３」は、下に３０度の顔向きでピッチ角＝＋３０度およびヨー角＝０度の組み合わせの角度情報に対応付けられる。
【００３７】
なお、制御部２２０は、例えば、上記５種類のピッチ角およびヨー角にそれぞれ０〜４の番号を付けて０〜４の２個の番号の組み合わせを顔向き識別情報とし、ピッチ角およびヨー角の刻み幅および個数を角度情報として記憶してもよい。
【００３８】
図１に示すように、制御部２２０は、登録用顔画像抽出手段２２１０と、３次元顔モデル生成手段２２２０と、登録顔データ生成手段２２３０と、を有する。制御部２２０は、記憶部２３０に記憶されたこれらの手段を実行するプログラムをプロセッサが実行することによって、顔データ登録装置２０における登録顔データ４２２の登録処理を制御する。
【００３９】
登録用顔画像抽出手段２２１０は、撮像部１０から画像入力インタフェース部２１０を介して受け取った登録用画像から、人物の顔が写っている顔領域を登録用顔画像として抽出する。
【００４０】
顔領域を抽出するために、登録用顔画像抽出手段２２１０は、公知の様々な方法を用いることができる。例えば、登録用顔画像抽出手段２２１０は、登録用画像中の部分領域から１つもしくは複数の特徴量を算出し、その特徴量が人物の顔に対応すると考えられる所定の条件を満たす場合に、その部分領域を顔領域として抽出してもよい。具体的には、登録用顔画像抽出手段２２１０は、例えば、Ｓｏｂｅｌフィルタなどを用いてエッジ画素抽出を行い、その部分領域内におけるエッジ画素の方向分布、またはそのエッジ近傍の輝度分布などの特徴量を算出することができる。また、予め、人物の顔を撮影した複数の画像から、これらの特徴量の値を求めてその範囲を決定することにより、上述した所定の条件を予め決定することができる。
【００４１】
顔領域を抽出するための別の方法として、登録用顔画像抽出手段２２１０は、予め準備した顔領域のテンプレートを用いて登録用画像とのテンプレートマッチングを行ったり、登録用画像のエッジ画像から顔もしくは頭部領域の輪郭形状のエッジ分布を検出したりすることによって、顔領域を抽出してもよい。また、登録用顔画像抽出手段２２１０は、これらの公知の方法を組み合わせて顔領域を抽出してもよい。
【００４２】
３次元顔モデル生成手段２２２０は、登録用顔画像抽出手段２２１０から受け取った登録用顔画像から３次元顔モデルを生成する。３次元顔モデルとは、登録顔データ生成手段２２３０が登録人物の頭部を再現して様々な顔向きの登録顔画像を生成するためのものである。
【００４３】
３次元顔モデルを生成するために、３次元顔モデル生成手段２２２０は、様々な公知の３次元顔モデル生成方法のいずれかを用いることができる。例えば、３次元顔モデル生成手段２２２０は、特開２００９−２１１１５１号公報に記載されているように、顔の凹凸情報および特徴点の３次元配置情報などを含む３次元顔形状データに、登録用顔画像の肌の色およびテクスチャ情報などをマッピングして、３次元顔モデルを生成することができる。
【００４４】
登録顔データ生成手段２２３０は、３次元顔モデル生成手段２２２０から受け取った３次元顔モデルから登録顔データ４２２を生成する。
【００４５】
このために、登録顔データ生成手段２２３０は、３次元顔モデルから様々な顔向きの２次元顔画像を取得する様々な公知の方法のいずれかを用いることができる。例えば、登録顔データ生成手段２２３０は、上述の特開２００９−２１１１５１号公報に記載されているように、３次元顔モデルの頭部を様々な方向に変えて再現し、これを２次元空間に投影することによって、様々な顔向きの登録顔画像を生成することができる。
【００４６】
記憶部２３０は、顔データ登録装置２０が各種動作を実行するためのプログラムおよびデータを記憶し、例えばＲＡＭ、ＲＯＭおよび／もしくはＥＰＲＯＭなどの半導体メモリを含んで構成される。また、記憶部２３０は、ハードディスクなどの磁気記憶媒体、ならびに／あるいは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどの光記憶媒体と、そのアクセス装置とを含んでもよい。
【００４７】
登録顔データ出力インタフェース部２４０は、制御部２２０が生成した登録顔データ４２２を顔照合装置４０に送るインタフェース部である。したがって、登録顔データ出力インタフェース部２４０は、画像入力インタフェース部２１０と同様に、顔データ登録装置２０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタを含んで構成される。なお、登録顔データ４２２がコンピュータ読み取り可能な記憶媒体によって顔照合装置４０に渡される場合、登録顔データ出力インタフェース部２４０はなくてもよい。
【００４８】
撮像部３０は、顔照合装置４０が照合する人物を撮影し、撮影して取得した２次元の画像データを入力画像として通信などを介して顔照合装置４０に送る。
【００４９】
本実施例において、撮像部３０は、所定の１つもしくは複数の監視領域を撮影する１つもしくは複数の監視カメラでもよく、例えば、ＣＣＤ素子もしくはＣ−ＭＯＳ素子などの撮像素子、光学系部品、Ａ／Ｄ変換器などを含む公知のカメラを用いることができる。撮像部３０のカメラは、撮像部１０のカメラと同様に、近赤外波長帯に感度を有する白黒タイプでもよいが、肌色部分の抽出が容易になるよう可視光波長帯に感度を有するカラータイプが好ましい。また、撮像部３０のカメラの解像度などの精度は、監視領域の状況や所望する顔照合の精度に応じて適切なものを用いることができる。さらに、入力画像は、登録用画像と同様に、多階調の画素値で表されるカラー画像でもグレースケール画像でもよいが、８ビット程度の輝度分解能を持つカラー画像が好ましい。撮像部３０は、監視領域を所定の時間間隔（例えば、１００ｍｓｅｃ）ごとに撮影し、取得した監視画像を入力画像として顔照合装置４０に順次送ることができる。
【００５０】
顔照合装置４０は、例えば、いわゆるコンピュータなどの情報処理装置によって構成することができる。そして顔照合装置４０は、撮像部３０から受け取った入力画像中の人物が、顔照合装置４０に登録されている要監視対象者などの登録人物と一致するか否かを照合し、照合結果を通信などによって顔照合結果処理部５０に送る。
【００５１】
図１に示すように、顔照合装置４０は、画像入力インタフェース部４１０と、記憶部４２０と、登録顔データ入力インタフェース部４３０と、制御部４４０と、顔照合結果出力インタフェース部４５０と、を有する。
【００５２】
画像入力インタフェース部４１０は、制御部４４０が撮像部３０から入力画像を受け取るインタフェース部である。したがって、画像入力インタフェース部４１０は、上述の画像入力インタフェース部２１０と同様に、撮像部３０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタなどを含んで構成される。
【００５３】
記憶部４２０は、顔照合装置４０が各種動作を実行するためのプログラムおよびデータを記憶し、上述の記憶部２３０と同様に、例えばＲＡＭ、ＲＯＭおよび／もしくはＥＰＲＯＭなどの半導体メモリを含んで構成される。また、記憶部４２０は、ハードディスクなどの磁気記憶媒体、ならびに／あるいは、ＣＤ−ＲＯＭおよび／もしくはＤＶＤ−Ｒ／Ｗなどの光記憶媒体と、そのアクセス装置とを含んでもよい。
【００５４】
上述したように、記憶部４２０には、顔データ登録装置２０が生成した登録顔データ４２２が顔データ登録装置２０からコンピュータ読み取り可能な記憶媒体あるいは通信などを介して送られて記憶されている。
【００５５】
登録顔データ入力インタフェース部４３０は、顔データ登録装置２０が生成した登録顔データ４２２を顔データ登録装置２０から受け取るインタフェース部である。したがって、登録顔データ入力インタフェース部４３０は、上述の画像入力インタフェース部２１０と同様に、顔データ登録装置２０と顔照合装置４０とを接続する通信の方式に従って適切な通信インタフェースアダプタを含んで構成される。なお、登録顔データ４２２がコンピュータ読み取り可能な記憶媒体によって顔データ登録装置２０から渡される場合、登録顔データ入力インタフェース部４３０はなくてもよい。
【００５６】
制御部４４０は、上述の制御部２２０と同様に、プロセッサとその周辺回路を含んで構成され、プロセッサによって記憶部４２０に記憶された各種プログラムを実行することによって、顔照合装置４０の顔向き推定を含む顔照合処理を制御する。プロセッサが実行するプログラムは、制御部２２０と同様に提供されて記憶部４２０に記憶される。
【００５７】
図１に示すように、制御部４４０は、顔向き推定手段４４１０と、顔画像照合手段４４２０と、を有し、記憶部４２０に記憶されたこれらの手段を実行するプログラムをプロセッサが実行することによって、顔照合装置４０における顔向き推定を含む顔照合処理を制御する。制御部４４０は、撮像部３０から画像入力インタフェース部４１０を介して入力画像を受け取り、受け取った入力画像を記憶部４２０の登録顔データ４２２と照合し、その照合結果を顔照合結果出力インタフェース部４５０を介して顔照合結果処理部５０に送る。
【００５８】
顔向き推定手段４４１０は、撮像部３０から画像入力インタフェース部４１０を介して受け取った入力画像中の人物の顔向きを、記憶部４２０に記憶されている登録顔データ４２２の様々な顔向きの登録顔画像を用いて推定する。そして、顔向き推定手段４４１０は、推定した入力顔画像４２１の顔向きの顔向き識別情報などを顔画像照合手段４４２０に渡す。
【００５９】
図１に示すように、顔向き推定手段４４１０は、入力顔画像抽出手段４４１１と、類似度算出手段４４１２と、顔向き投票手段４４１３と、顔向き決定手段４４１４と、を有する。
【００６０】
入力顔画像抽出手段４４１１は、撮像部３０から画像入力インタフェース部４１０を介して受け取った入力画像から、上述の登録用顔画像抽出手段２２１０と同様に人物の顔が写っている顔領域を抽出して入力顔画像とする。
【００６１】
類似度算出手段４４１２は、入力顔画像抽出手段４４１１が抽出した入力顔画像と記憶部４２０に記憶されているすべての登録顔データ４２２のすべての登録顔画像との類似度を算出する。そして、類似度算出手段４４１２は、算出した類似度を類似度テーブルに記憶する。類似度テーブルとは、１人分の登録顔データ４２２ごとに定義され、登録顔データ４２２に含まれる登録顔画像の数と等しい数の類似度を記憶するテーブルであり、対応する登録顔データ４２２と共に記憶部４２０に記憶される。
【００６２】
類似度は、入力顔画像と登録顔画像とが類似するほど、線形的もしくは非線形的に増加もしくは減少する値であればよい。以下では、類似度は、類似するほど増加する値として説明する。本実施例では、入力顔画像および各登録顔画像は２次元顔画像であるので、類似度算出手段４４１２は、一般的な方法を用いて類似度を算出することができる。
【００６３】
例えば、類似度算出手段４４１２は、特徴点の配置情報およびテクスチャ情報などの画像の特徴を用いて入力顔画像と登録顔画像との類似度（すなわち、入力顔画像に映った顔と登録顔画像に映った顔との類似度）を求めることができる。類似度算出手段４４１２は、それぞれの特徴を単独で用いて類似度を求めてもよいが、複数の特徴を併用した方が類似度の精度が高くなるため、本実施例では複数の特徴を併用して類似度を求める。
【００６４】
画像間の類似度を算出する具体的な計算方法は、目的に応じて様々な方法がある。例えば、特徴点の配置情報およびテクスチャ情報の２つの画像の特徴を用いる場合、次の式（１）のように類似度を求めることができる。
類似度（ｐ，ｑ）＝αＦ（ｐ，ｑ）＋βＧ（ｐ，ｑ） （１）
【００６５】
ここで、ｐ、ｑは比較対象の画像、α、βは所定の係数、Ｆ（）は特徴点の位置の一致の度合いを評価する関数、Ｇ（）はテクスチャの一致の度合いを評価する関数である。
【００６６】
上記関数Ｆ（）は、例えば、入力顔画像および登録顔画像の各特徴点の座標について対応する特徴点間のユークリッド距離の総和の逆数を求める関数でもよい。
【００６７】
また、上記関数Ｇ（）は、例えば、特許第２６９０１３２号公報に開示されているように、入力顔画像および登録顔画像の対応する特徴点近傍のテクスチャ同士を比較して、そのヒストグラムマッチングにおける差の逆数を求める関数でもよい。あるいは、上記関数Ｇ（）は、入力顔画像および登録顔画像の両目と両口角点とを結んだ逆台形の領域について、大きさ、輝度および色を正規化したヒストグラムマッチングの差の逆数を求める関数でもよい。
【００６８】
なお、上述したように、類似度算出手段４４１２は、他の顔画像の特徴を用いて類似度を算出する場合、上記Ｆ（）およびＧ（）の代わりに、その特徴の一致の度合いを求めるのに適した関数を用いて類似度を算出する。あるいは、入力顔画像と登録顔画像とのパターンマッチングによって類似度を算出してもよい。
【００６９】
なお、類似度算出手段４４１２の処理効率を向上させるため、入力顔画像および登録顔画像は、類似度の算出に用いる特徴点の配置情報および／もしくテクスチャ情報などの特徴情報を有してもよい。
【００７０】
顔向き投票手段４４１３は、類似度算出手段４４１２が類似度テーブルに記憶させた入力顔画像と各登録顔データ４２２の各登録顔画像との類似度を参照して入力顔画像と登録顔画像とが類似すると判定したとき、顔向き投票テーブルにおいて、類似すると判定された登録顔画像の顔向きに投票して顔向きごとの投票値の総和を算出する。顔向き投票テーブルとは、投票値を格納するためのテーブルであり、登録顔データ４２２に含まれる登録顔画像の数と同じ大きさであり、対応する登録顔データ４２２と共に記憶部４２０に記憶される。
【００７１】
図３は、本実施例に係る顔向き投票手段４４１３の顔向き投票テーブルへの投票を示す図である。図３（ａ）は、登録顔データ４２２の例を示し、図３（ｂ）および図３（ｃ）は、それぞれ、顔向き投票テーブル４２４１および４２４２に投票を行った結果の例を示す。
【００７２】
顔向き投票手段４４１３は、類似度テーブルに記憶された類似度を読み出し、例えば、類似度が所定の閾値以上である登録顔画像を入力顔画像４２１に類似すると判定することができる。例えば、所定の閾値は、類似度の平均値および分散を求め、平均値に分散の２倍を加えた値とすることができる。
【００７３】
また、顔向き投票手段４４１３は、すべての類似度テーブルに記憶された類似度のうち上位Ｎ個以内の登録顔画像を入力顔画像４２１に類似すると判定してもよい。この場合、Ｎは、正の整数であり、登録顔画像の総数の例えば１〜３％であるのが好ましい。例えば、上述したように全部で２５００枚の登録顔画像が登録顔データ４２２として記憶部４２０に記憶されている場合、Ｎは２５〜７５でもよい。
【００７４】
あるいは、顔向き投票手段４４１３は、人物ごとに類似度が上位所定数以内の登録顔画像を入力顔画像４２１に類似すると判定してもよい。この場合の所定数Ｍは、正の整数であり、１〜３などでもよい。
【００７５】
例えば、顔向き投票手段４４１３は、図３（ａ）に示した登録顔画像のうち、符号４２２１に示す１つの登録顔画像のみを入力顔画像４２１に類似すると判定したとする。これは、登録顔データ４２２の人物が入力顔画像４２１の人物と異なる場合に起きやすい。この場合、顔向き投票手段４４１３は、図３（ｂ）に示すように、顔向き投票テーブル４２４１において、登録顔画像４２２１の顔向き「角度Ａ１２」に対応する値に、例えば、投票値”１”を加算する。図３（ｂ）の顔向き投票テーブル４２４１には、登録顔画像４２２１の顔向き「角度Ａ１２」に対応する箇所に、加算される投票値”１”が示され、他は”０”のままである。
【００７６】
同様に、顔向き投票手段４４１３は、図３（ａ）に示した登録顔画像のうち、符号４２２２で示す枠で囲まれた９つの登録顔画像を入力顔画像４２１と類似すると判定したとする。これは、登録顔データ４２２の人物が入力顔画像４２１の人物と同じである場合に起きやすい。すなわち、入力顔画像４２１の人物が登録顔データ４２２の人物本人であるため、多少登録顔画像の顔向きが異なっても入力顔画像４２１に類似すると判定されたことを示す。
【００７７】
この場合、顔向き投票手段４４１３は、図３（ｃ）に示すように、顔向き投票テーブル４２４２において、登録顔画像４２２２の顔向き「角度Ａ６」〜「角度Ａ８」、「角度Ａ１１」〜「角度Ａ１３」および「角度Ａ１６」〜「角度Ａ１８」に対応する値に、例えば、投票値”１”を加算する。図３（ｃ）の顔向き投票テーブル４２４２中で、登録顔画像４２２２の顔向き「角度Ａ６」〜「角度Ａ８」、「角度Ａ１１」〜「角度Ａ１３」および「角度Ａ１６」〜「角度Ａ１８」に対応して投票された９箇所に、加算される投票値”１”が示され、他は”０”のままである。
【００７８】
なお、顔向き投票テーブル４２４に加算する投票値は、”１”などの一定の値でなくてもよく、”１”もしくは”２”など類似度の大きさなどに応じて重みを付けることができる。
【００７９】
次に、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が突出して高いため入力顔画像の人物を他人と誤って判定してしまう誤判定が、顔向き投票手段４４１３の投票によっていかに回避されるかについて説明する。
【００８０】
図４〜図６は、それぞれ、人物Ａの入力顔画像４２１ａと、人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃの各登録顔画像との類似度が記憶された類似度テーブル４２３ａ〜ｃを立体棒グラフで示す図である。ここで、入力顔画像４２１ａの顔向きは「角度Ａ１２」であるとする。
【００８１】
図４には、人物Ａの入力顔画像４２１ａと本人である人物Ａの登録顔データ４２２ａの各登録顔画像との類似度が記憶された類似度テーブル４２３ａの例が示されている。図４の類似度テーブル４２３ａでは、登録顔データ４２２ａが入力顔画像４２１ａの人物Ａ本人のものであるため、入力顔画像４２１ａと同じ顔向き「角度Ａ１２」の登録顔画像４２２ａ１との類似度４２３ａ１が最も高い値を示している。また、類似度４２３ａ１の周囲の顔向きの登録顔画像４２２ａ２との類似度も一定以上の高い値を示している。これは、登録顔データ４２２ａが入力顔画像４２１ａの人物Ａ本人のものであるため、顔の特徴点の配置情報や色情報（テクスチャ）などが共通しており、多少顔向きが異なっても類似度が高くなるからである。
【００８２】
図５には、人物Ａの入力顔画像４２１ａと他人である人物Ｂの登録顔データ４２２ｂの各登録顔画像との類似度が記憶された類似度テーブル４２３ｂの例が示されている。図５の類似度テーブル４２３ｂでは、登録顔データ４２２ｂの人物Ｂが入力顔画像４２１ａの人物Ａと異なるため、類似度は図４の類似度テーブル４２３ａほど高くない。それでもなお、登録顔画像４２２ｂ２および４２２ｂ３が入力顔画像４２１ａに類似すると判定されたとする。
【００８３】
類似度テーブル４２３ｂの類似度のうち、類似度４２３ｂ１は、他に比べてやや高い値を示している。これは、登録顔画像４２２ｂ１の顔向き「角度Ａ１２」が入力顔画像４２１ａと同じであるため、顔画像の特徴点の配置が類似するので類似度が高くなったと考えられる。登録顔画像４２２ｂ２の類似度４２３ｂ２については後述する。
【００８４】
図６には、人物Ａの入力顔画像４２１ａと他人である人物Ｃの登録顔データ４２２ｃの各登録顔画像との類似度が記憶された類似度テーブル４２３ｃの例が示されている。図６の類似度テーブル４２３ｃでは、図５の類似度テーブル４２３ｂと同様に、登録顔データ４２２ｃの人物Ｃが入力顔画像４２１ａの人物Ａと異なるため、類似度は図４の類似度テーブル４２３ａほど高くない。それでもなお、登録顔画像４２２ｃ２が入力顔画像４２１ａと類似すると判定されたとする。
【００８５】
類似度テーブル４２３ｃの類似度のうち、類似度４２３ｃ１は、他に比べてやや高い値を示している。これは、図５の登録顔画像４２２ｂ１と同様に、登録顔画像４２２ｃ１の顔向き「角度Ａ１２」が入力顔画像４２１ａと同じであるため、顔画像の特徴点の配置が類似するので類似度が高くなったと考えられる。
【００８６】
一方、図５の類似度テーブル４２３ｂにおいて、類似度４２３ｂ２が他に比べて突出して類似度が高い。これは、鼻尖点のように、抽出に失敗すると直ちに他の特徴点の位置情報に影響を与えてしまう顔の特徴点の抽出に失敗した場合に発生しやすい。このような場合、人物Ａの入力顔画像４２１ａから抽出された特徴点の配置と、人物Ｂの異なる顔向きの登録顔画像４２２ｂ２から抽出された特徴点の配置とが互いに非常に接近してしまい、また、結果として特徴点近傍のテクスチャ同士が類似してしまうことで、類似度が想定以上に高くなることがある。
【００８７】
図４および図５の例では、人物Ａのやや向かって左を向いた顔向き「角度Ａ１２」の入力顔画像４２１ａと人物Ａよりも丸顔である人物Ｂの向かって右を向いた顔向き「角度Ａ１５」の登録顔画像４２２ｂ２との類似度４２３ｂ２が、本人の同じ顔向き「角度Ａ１２」の登録顔画像４２２ａ１との類似度４２３ａ１より高くなっている。この場合、入力顔画像４２１ａと各登録顔データ４２２ａ〜ｃの各登録顔画像との類似度のうち、単純に最も高い値を示すものを選択すると、人物Ｂが入力顔画像４２１ａの人物であると誤って判定されてしまうことになる。
【００８８】
このような誤判定を防止するため、顔向き投票手段４４１３は、類似度テーブルに記憶された類似度を参照して類似すると判定した登録顔画像について、その登録顔画像に対応づけられた顔向きに対して投票する。この顔向き投票手段４４１３の投票処理は、登録顔データ４２２として登録されているすべての人物に共通に顔向きごとに行う。
【００８９】
図７は、図４〜図６の例において人物Ａの入力顔画像４２１ａと類似すると判定された人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃの登録顔画像と顔向き投票テーブル４２４ａ〜ｃおよび４２４Ｓとを示す図である。図７を参照しながら、顔向き投票手段４４１３による投票が入力顔画像４２１ａの顔向き「角度Ａ１２」に集まる様子を説明する。
【００９０】
図７には、図４〜６において、人物Ａ〜Ｃの登録顔データ４２２ａ〜ｃのそれぞれについて、顔向き投票手段４４１３が人物Ａの入力顔画像４２１ａに類似すると判定した登録顔画像４２２ａ２、４２２ｂ２、４２２ｂ３および４２２ｃ１が示されている。図７の顔向き投票テーブル４２４ａ〜ｃで示すように、顔向き投票手段４４１３は、類似すると判定した登録顔データ４２２ａ〜ｃの登録顔画像の各顔向きに対応して投票値”１”を加算する。
【００９１】
このように投票値を加算していくことによって、顔向き投票手段４４１３は、顔向き投票テーブル４２４ａ〜ｃの顔向きごとの投票値の総和を求め、投票結果の顔向き投票テーブル４２４Ｓを得ることができる。顔向き投票テーブル４２４Ｓの投票結果で示されるように、入力顔画像４２１ａと同じ顔向き「角度Ａ１２」は、投票値の総和が”３”で最大値となっている。これと比較して、他人でありながら類似度の非常に高い人物Ｂの登録顔画像４２２ｂ２に対応する顔向き「角度Ａ１５」は、投票値の総和が”１”で低い値となっている。
【００９２】
顔向き決定手段４４１４は、顔向き投票手段４４１３による投票結果が記憶された顔向き投票テーブルより、投票値の総和が最大である顔向きを選び出し、入力顔画像４２１ａの顔向きであると推定する。図７の例の顔向き投票テーブル４２４Ｓでは、顔向き推定手段４４１０は、投票値の総和が最大値”３”である顔向き「角度Ａ１２」を入力顔画像４２１ａの顔向きであると決定する。
【００９３】
上述したように、顔向き投票手段４４１３は、入力顔画像４２１ａに類似すると判定された登録顔画像の顔向きごとに投票する。また、他人であっても顔向きが同じであれば登録顔画像が類似する場合が多いので、顔向き投票テーブル４２４の投票値は入力顔画像４２１ａの顔向き「角度Ａ１２」を中心に投票が集まる傾向にある。したがって、登録顔データ４２２ｂの登録顔画像４２２ｂ２のように、人物Ａと顔の形状が異なる人物Ｂの異なる顔向き「角度Ａ１５」の登録顔画像の類似度が想定外に高くなったとしても、顔向き「角度Ａ１２」が人物Ａの顔向きとして決定される。
【００９４】
顔画像照合手段４４２０は、顔向き推定手段４４１０が推定した入力顔画像の顔向きの顔向き識別情報などを顔向き推定手段４４１０から受け取る。そして、顔画像照合手段４４２０は、類似度テーブル中の推定された入力顔画像の顔向きとそれに近い顔向きの類似度を参照して、最も類似度の高い登録顔画像を有する登録顔データを特定し、その登録顔データの人物が入力顔画像の人物であると判定し、この照合結果を出力する。
【００９５】
図８は、図７で推定された顔向きを用いた顔画像照合手段４４２０の照合処理を示す図である。図８を参照しながら、顔画像照合手段４４２０が顔向き推定手段４４１０が特定した顔向きの近傍に限定して類似度テーブルの類似度を調べることにより、他人の登録顔データの異なる顔向きの登録顔画像が入力顔画像に最も類似すると誤って判定されるのを防止できることを説明する。
【００９６】
図８（ａ）には、登録顔データ４２２ａにおける図７で推定された入力顔画像４２１ａと同じ顔向き「角度Ａ１２」の登録顔画像４２２ａ１とそれに角度が近い顔向きの登録顔画像４２２ａ５が示されている。同様に、図８（ｂ）および図８（ｃ）には、登録顔データ４２２ｂおよび４２２ｃにおける入力顔画像４２１ａの顔向き「角度Ａ１２」に角度が近い顔向きの登録顔画像４２２ｂ５および４２２ｃ５が示されている。
【００９７】
顔画像照合手段４４２０は、入力顔画像４２１ａの顔向き識別情報に対応付けて記憶部４２０に記憶されている角度情報より、ピッチ角およびヨー角が所定の角度内の顔向きを角度が近い顔向きとして選ぶことができる。例えば、図８の例では、入力顔画像４２１の顔向き識別情報は図２における「角度Ａ１２」であり、顔向き識別情報「角度Ａ１２」の角度情報はピッチ角＝０度およびヨー角＝−１５度である。この場合、顔画像照合手段４４２０は、顔向き「角度Ａ１２」に角度が近い顔向きとして、ピッチ角およびヨー角がそれぞれ±１５度以内の顔向き「角度Ａ６」、「角度Ａ７」、「角度Ａ８」、「角度Ａ１１」、「角度Ａ１３」、「角度Ａ１６」、「角度Ａ１７」および「角度Ａ１８」の８近傍を選ぶことができる。
【００９８】
なお、図８の例では、顔画像照合手段４４２０は、入力顔画像４２１ａの顔向きの８近傍に絞り込んでいるが、本発明はこれに限定されない。例えば、顔画像照合手段４４２０は、「角度Ａ７」、「角度Ａ１１」、「角度Ａ１３」および「角度Ａ１７」の「４近傍」を角度が近い顔向きとして限定してもよい。あるいは、顔画像照合手段４４２０は、顔向きの角度の刻みがより細かい場合など、「２４近傍」などを角度が近い顔向きとして限定してもよい。このように、顔画像照合手段４４２０は、顔照合装置４０の記憶部４２０の記憶容量、処理能力および所望の照合精度などに応じて類似度を参照する顔向きを任意に設定することができる。以下、顔画像照合手段４４２０が入力顔画像４２１ａの顔向き「角度Ａ１２」を中心に３×３個＝９個の顔向きの登録顔画像に絞り込んで類似度テーブル４２３の類似度を参照する場合について説明する。以下、この絞り込まれた登録顔画像を照合用登録顔画像と称する。
【００９９】
例えば、図８に示すように、人物Ａ〜Ｃの３人分の登録顔データ４２２ａ〜ｃが記憶部４２０に記憶されている場合、顔画像照合手段４４２０は、類似度テーブル４２３ａ、４２３ｂおよび４２３ｃのそれぞれにおいて、図８で示した照合用登録顔画像４２２ａ５、４２２ｂ５および４２２ｃ５の顔向きに対応する類似度に絞り込んで調べる。この場合、顔画像照合手段４４２０は、各類似度テーブル４２３ａ〜ｃにおいて、入力顔画像４２１ａの顔向きおよびそれに角度が近い顔向きの９枚の照合用登録顔画像の類似度を３人の人物について参照し、９×３＝２７枚の照合用登録顔画像に限定して類似度を調べる。また、例えば、１００人分の登録顔データ４２２が記憶部４２０に記憶されている場合、顔画像照合手段４４２０は、９×１００＝９００枚の照合用登録顔画像に限定して類似度を調べる。
【０１００】
そして、顔画像照合手段４４２０は、これらの限定した照合用登録顔画像のうち類似度が最も高い照合用登録顔画像の人物を入力顔画像４２１ａの人物であると判定することができる。このため、例えば、図５に示した類似度テーブル４２３ｂの類似度４２３ｂ２は、顔画像照合手段４４２０が参照する対象の類似度から除外される。したがって、顔画像照合手段４４２０は、図４に示した類似度テーブル４２３ａの類似度４２３ａ１を最も高い類似度として選択し、入力顔画像４２１ａの人物は人物Ａであると正しく判定することができる。
【０１０１】
顔画像照合手段４４２０は、登録人物ごとに、照合用登録顔画像の類似度の総和を求め、それが最も高い登録人物を入力顔画像の人物と判定してもよい。例えば、図８の場合では、人物Ａ〜Ｃの３人について、照合用登録顔画像４２２ａ５、４２２ｂ５および４２２ｃ５の顔向きに対応する類似度の総和を登録人物ごとに求めて、それが最大である人物Ａを入力顔画像の人物と判定する。
【０１０２】
また、顔画像照合手段４４２０は、上記の類似度の総和を求める際に、入力顔画像の顔向きに近い照合用登録顔画像ほど大きくなる重みを付けてもよい。これは、照合用登録顔画像を３×３個＝９個に絞り込むのではなく、もっと登録顔画像の数が多く、例えば、１人分の登録顔データ４２２が９×９個＝８１個の登録顔画像からなり、照合用登録顔画像を５×５個＝２５個に絞り込む場合に効果的である。例えば、入力顔画像の顔向きを中心として、入力顔画像の顔向きと同じ顔向きの照合用登録顔画像には３、８近傍の照合用登録顔画像には２、その外側の照合用登録顔画像には１と重み付けをすることができる。
【０１０３】
あるいは、顔画像照合手段４４２０は、類似度テーブルに記憶されている類似度の値を所定の非線形関数によって変換して正規化した類似度を比較してもよい。これによって、顔画像照合手段４４２０は、類似度の分布を調整し、類似するか否かをより明確に区別することができる。さらに、顔画像照合手段４４２０は、選び出した類似度が所定の閾値以上であることを確認することによって、この類似度を有する人物が入力顔画像の人物本人であると決定することができる。ここで使用する閾値は、一般に本人であると確認するのに使用される閾値を用いることができ、顔向き投票手段が入力顔画像と登録顔画像との類似判定で用いた閾値より大きい値であることが好ましい。
【０１０４】
したがって、本発明にかかる顔画像照合手段４４２０によれば、例えば、図５および図７に示した他人の異なる顔向きの登録顔画像４２２ｂ２が入力顔画像４２１ａと非常に類似するため、他人の人物Ｂを入力顔画像４２１ａの人物であると判定してしまう他人受け入れもしくは本人棄却を防止することができ、顔画像の照合精度を向上させることができる。
【０１０５】
顔画像照合手段４４２０は、入力顔画像の人物が登録人物と一致したか否か、そして一致した場合はその登録人物に関する識別情報などの人物情報を照合結果として出力する。
【０１０６】
顔照合結果出力インタフェース部４５０は、制御部４４０が顔画像照合手段４４２０の照合結果を、顔照合結果処理部５０に送るためのインタフェース部である。例えば、顔照合結果出力インタフェース部４５０は、顔照合結果処理部５０と顔照合装置４０とを接続する通信の方式に従って、ＬＡＮ、ユニバーサルシリアルバス（ＵＳＢ）、ＳＣＳＩ、無線ＬＡＮもしくは赤外線通信などに対応する適切な通信インタフェースアダプタなどを有する。
【０１０７】
顔照合結果処理部５０は、顔照合装置４０から通信を介して照合結果を受け取り、この照合結果に基づいて適切な処理を行う。顔照合結果処理部５０は、顔照合装置４０と分離した１つもしくは複数の装置でもよく、顔照合装置４０と一体でもよい。
【０１０８】
例えば、顔照合結果処理部５０は、ディスプレイ、ランプ、アラームもしくはスピーカなどのユーザ出力装置を有してもよい。そして、顔照合結果処理部５０は、顔照合装置４０から入力画像中の人物が登録されている要監視対象者の一人であるという照合結果を受け取った場合、照合結果を適切な形式でユーザ出力装置に出力して要監視対象者が店舗内にいることを店員や保安員などの監視者に報知することができる。
【０１０９】
なお、例えば、監視カメラなどの撮像部３０が複数の場合、照合結果には、入力顔画像４２１を取得した監視カメラの識別情報および／もしくは位置情報などの撮像部３０に関する撮像部情報が含まれてもよい。
【０１１０】
次に、図９および図１０を参照しながら、本実施例の店内監視システム１の処理の流れについて説明する。
【０１１１】
図９は、本実施例に係る顔データ登録装置２０の登録顔データ４２２の登録処理を示すフローチャートである。図９を参照しながら、本実施例の店内監視システム１における登録顔データ４２２の登録処理について説明する。制御部２２０は、撮像部１０から画像入力インタフェース部２１０を介して登録用画像を受け取ると、以下の処理を開始する。
【０１１２】
顔データ登録装置２０の制御部２２０は、撮像部１０から受け取った登録用画像を登録用顔画像抽出手段２２１０に渡す。そして、登録用顔画像抽出手段２２１０は、受け取った登録用画像から顔領域を抽出して登録用顔画像を生成する（ステップＳ１１０）。
【０１１３】
３次元顔モデル生成手段２２２０は、登録用顔画像抽出手段２２１０が抽出した登録用顔画像のデータを３次元顔形状データにマッピングして、登録人物の３次元顔モデルを生成する（ステップＳ１２０）。
【０１１４】
登録顔データ生成手段２２３０は、３次元顔モデル生成手段２２２０が生成した３次元顔モデルの頭部を様々な方向に変えて再現して生成した様々な顔向きの登録顔画像を登録顔データ４２２として記憶部２３０に記憶させる（ステップＳ１３０）。
【０１１５】
制御部２２０は、すべての登録人物についてステップＳ１１０〜ステップＳ１４０の処理を繰り返した後、記憶部２３０に記憶されたすべての登録顔データ４２２を登録顔データ出力インタフェース部２４０を介して顔照合装置４０に送ることができる。
【０１１６】
なお、制御部２２０は、上述したように、撮像部１０から撮影した登録人物の登録用画像が送られると、随時、送られた登録用画像を登録用顔画像抽出手段２２１０に渡してもよいが、これらの登録用画像はビデオテープもしくはハードディスクなどの記憶媒体に録画データとして一旦保存されてもよい。そして制御部２２０は、記憶部媒体に保存された録画データを記憶部２３０のアクセス装置などによって読み取り、読み取った録画データから１フレームずつ切り出して登録用画像として登録用顔画像抽出手段２２１０に渡してもよい。
【０１１７】
図１０は、本実施例に係る顔照合装置の顔向き推定を含む顔照合処理を示すフローチャートである。図１０を参照しながら、本実施例の店内監視システム１における顔向き推定を含む顔照合処理について説明する。登録人物の登録顔データ４２２は、図９で説明したように生成されて記憶部４２０に記憶されているものとする。制御部４４０は、撮像部３０から画像入力インタフェース部４１０を介して入力画像を受け取ると、以下の処理を開始する。
【０１１８】
顔照合装置４０の制御部４４０は、撮像部３０から受け取った入力画像を入力顔画像抽出手段４４１１に渡す。そして、入力顔画像抽出手段４４１１は、受け取った入力画像から顔領域を抽出し入力顔画像とする（ステップＳ２１０）。
【０１１９】
入力顔画像抽出手段４４１１は、撮像部３０から画像入力インタフェース部４１０を介して受け取った入力画像から、上述した登録用顔画像抽出手段２２１０と同様に人物の顔領域を抽出して、入力顔画像として記憶部４２０に記憶する。
【０１２０】
なお、ステップＳ２１０において、入力画像中に複数の人物が撮影されている場合、入力顔画像抽出手段４４１１は、入力画像から複数の顔領域を抽出する。この場合、制御部４４０は、入力画像に含まれる複数の顔領域のそれぞれについて、ステップＳ２１０〜Ｓ２６０の処理を繰り返す。
【０１２１】
類似度算出手段４４１２は、入力顔画像抽出手段４４１１が抽出した入力顔画像と記憶部４２０に記憶されている各登録人物の登録顔データ４２２の様々な顔向きの登録顔画像との類似度をそれぞれ算出する。そして、類似度算出手段４４１２は、算出した類似度を、登録人物ごとに各登録顔画像の顔向き識別情報に対応付けて類似度テーブルに記憶する（ステップＳ２２０）。例えば、登録されている登録人物が１００人で、図２に示したように１人につき２５枚の登録顔画像が登録されている場合、類似度算出手段４４１２は、２５×１００＝２５００枚の登録顔画像と入力顔画像との類似度を求めて類似度テーブルに記憶させる。
【０１２２】
顔向き投票手段４４１３は、類似度算出手段４４１２が類似度テーブルに記憶させた類似度を参照し、入力顔画像に類似すると判定した登録顔画像の顔向きごとに顔向き投票テーブルに投票する（ステップＳ２３０）。
【０１２３】
顔向き決定手段４４１４は、顔向き投票手段４４１３が投票した顔向き投票テーブルを参照して、投票値の総和が最大である顔向きを入力顔画像の顔向きであると決定する（ステップＳ２４０）。そして、顔向き推定手段４４１０は、顔向き決定手段４４１４が決定した顔向きを入力顔画像の顔向きであるとして、その顔向き識別情報を顔画像照合手段４４２０に渡す。
【０１２４】
顔画像照合手段４４２０は、顔向き推定手段４４１０から受け取った入力顔画像の顔向きの顔向き識別情報とこれに対応する角度情報とに基づいて、入力顔画像の顔向きに角度が近い顔向きを決定する（ステップＳ２５０）。そして、顔画像照合手段４４２０は、入力顔画像の顔向きとそれに角度が近い顔向きに絞り込んで、類似度テーブルに記憶されている各登録顔データ４２２の各登録顔画像との類似度を調べる。
【０１２５】
なお、本実施例では、顔向き推定手段４４１０の類似度算出手段４４１２は、記憶部４２０に記憶されているすべての登録顔データ４２２についてすべての顔向きの登録顔画像と入力顔画像との類似度を算出して類似度テーブルに記憶させたが、本発明はこれに限定されない。例えば、類似度算出手段４４１２は、登録顔データ４２２に登録した順に番号を付与し、１０個おきもしくは１００個おきにサンプリングし、サンプリングした登録顔データについて入力顔画像との類似度を算出し、その類似度を類似度テーブルに記憶してもよい。そして、顔向き推定手段４４１０は、サンプリングした登録顔データの類似度が記憶された類似度テーブルを参照して、上述したように入力顔画像の顔向きを推定することができる。この場合、顔画像照合手段４４２０は、残りの登録顔データについては入力顔画像の顔向きとそれに角度が近い顔向きの登録顔画像についてのみ入力顔画像との類似度を算出すればよいので、顔照合装置４０全体としての処理効率を向上させることができる。
【０１２６】
顔画像照合手段４４２０は、調べた類似度のうち最も高い類似度が所定の閾値以上であれば、この最も高い類似度の登録顔画像の人物が入力顔画像の人物であると判定する（ステップＳ２６０）。一方、顔画像照合手段４４２０は、調べた類似度がすべて所定の閾値未満の場合は、入力顔画像の人物は、登録人物のいずれとも一致しないと判定する。
【０１２７】
制御部４４０は、顔画像照合手段４４２０から入力顔画像の人物と一致する登録人物の有無および／もしくは入力顔画像の人物であると判定された人物に関する人物情報などの顔照合結果を受け取り、顔照合結果出力インタフェース部４５０を介して、警報装置などの顔照合結果処理部５０に送る。
【０１２８】
本発明に係る顔画像処理装置によれば、入力画像中の人物の顔向きを推定する際に、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が非常に高いため入力顔画像の顔向きを誤って判定してしまうのを防止することができ、顔向き推定の精度を向上させることができる。
【０１２９】
また、本発明に係る顔画像処理装置によれば、入力画像中の人物の顔向きを推定し、推定した顔向きとそれに角度が近い顔向きに限定した登録顔画像と入力顔画像とを照合する。したがって、かかる顔画像処理装置は、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が非常に高いため入力顔画像の人物を他人であると誤って判定してしまうのを防止することができるので、顔照合の照合精度を向上させることができる。
【０１３０】
上述した実施例では、顔データ登録装置２０と顔照合装置４０とは別個の装置であるが、顔データ登録装置２０と顔照合装置４０とは同一の装置でもよい。この場合、撮像部１０、画像入力インタフェース部２１０、制御部２２０および／もしくは記憶部２３０は、それぞれ、撮像部３０、画像入力インタフェース部４１０、制御部４４０および／もしくは記憶部４２０と共通でもよい。また、登録顔データ出力インタフェース部２４０および登録顔データ入力インタフェース部４３０は不要である。例えば、制御部２２０は、店内監視システム１の監視カメラである撮像部１０から受け取った監視画像に不審者が含まれていると判定した場合、この監視画像を登録用画像として登録顔データ４２２の登録処理を行うことができる。
【０１３１】
また、上述した店内監視システムの実施例において、顔照合装置の制御部は、撮像部から送られた入力画像をビデオテープもしくはハードディスクなどの記憶媒体に録画データとして一旦保存してもよい。そして顔照合装置の制御部は、記憶媒体に保存された録画データを記憶部のアクセス装置などによって読み取り、読み取った録画データから１フレームずつ切り出して入力画像とすることができる。この場合、顔照合装置は、上述したように入力画像中の人物が登録顔データの登録人物であるか否かを照合することによって、保存された録画データ中に要監視対象者などの登録人物が写っていないか分析することができる。
【０１３２】
また、本発明に係る顔画像処理装置は、例えば、入室する人物をウォークスルーで認証する入室認証システムなどにおける顔照合装置に適用することができる。この場合、顔照合装置は、入室が許可されている人物の登録顔データを登録してもよい。そして顔照合装置は、上記店内監視システムの顔照合装置と同様に、入力画像中の人物が登録されている登録顔データの人物であるか否かを照合して、その照合結果を顔照合結果処理部に送ることができる。この入室認証システムにおける顔照合結果処理部は、電気信号によってドアの施錠／解錠を行う電気錠でもよい。この場合、顔照合装置が入力画像中の人物が登録顔データの人物であるという照合結果を電気信号によって電気錠に送ると、電気錠はドアの解錠を行い、そうでない場合はドアに施錠をしたままにすることができる。
【０１３３】
さらに、本発明に係る顔画像処理装置は、例えば、デジタルサイネージ（電子看板）において電子看板に着目した通行人の統計をとることによって電子看板の広告効果を定量的に計測する広告調査システムの顔向き推定装置に適用することができる。かかる顔向き推定装置は、上述した顔照合装置とほぼ同じであるが、顔画像照合手段による顔画像の照合処理を行わないので、顔画像照合手段を必要としない点が異なる。
【０１３４】
例えば、この広告調査システムでは、電子看板の周囲など電子看板を見る通行人の顔を撮影できる位置に撮像部として調査用カメラを設置する。そして、顔向き推定装置は、顔向きを推定するのに十分な人数分の登録顔データを記憶する。上述したように、入力顔画像は、他人の顔画像であっても同じ顔向きおよびそれに角度が近い顔向きの登録顔画像とある程度類似するため、顔向き推定装置は、入力顔画像と十分な人数分の登録顔データとを照合することによって、正確に入力顔画像の顔向きを判定することができる。
【０１３５】
この広告調査システムの顔向き推定装置は、例えば、調査用カメラが撮影した入力画像を順次受け取って入力顔画像を抽出し、入力顔画像と顔向き推定装置に登録されている様々な顔向きの登録顔画像とを照合して、入力顔画像の顔向きを推定することができる。そして、広告調査システムの顔照合結果処理部は、顔向き推定装置によって入力顔画像が電子看板の方向を向いていると判定されたときにその人数をカウントして統計をとることができる。ここで、顔照合結果処理部は、一定時間内の連続する入力画像において同じ人物が電子看板の方向を向いている場合にその人数をカウントしてもよい。
【０１３６】
この顔向き推定装置は、入力顔画像と入力顔画像と異なる人物で異なる顔向きの登録顔画像との類似度が非常に高いため入力顔画像の顔向きを誤って判定してしまうのを防止することができるので、顔向き推定の精度を向上させることができる。
【産業上の利用可能性】
【０１３７】
本発明は、様々な監視システムおよび認証システムなどにおける顔照合装置に適用することができる。また、本発明は、調査システムおよび検知システムなどにおける顔向き推定装置に適用することができる。
【符号の説明】
【０１３８】
１ 店内監視システム
１０ 撮像部
２０ 顔データ登録装置
３０ 撮像部
４０ 顔照合装置
５０ 顔照合結果処理部
２１０ 画像入力インタフェース部
２２０ 制御部
２３０ 記憶部
２４０ 登録顔データ出力インタフェース部
４１０ 画像入力インタフェース部
４２０ 記憶部
４２１ 入力顔画像
４２２ 登録顔データ
４２３ 類似度テーブル
４２４ 投票テーブル
４３０ 登録顔データ入力インタフェース部
４４０ 制御部
４５０ 顔照合結果出力インタフェース部
２２１０ 登録用顔画像抽出手段
２２２０ ３次元顔モデル生成手段
２２３０ 登録顔データ生成手段
４４１０ 顔向き推定手段
４４１１ 入力顔画像抽出手段
４４１２ 類似度算出手段
４４１３ 顔向き投票手段
４４１４ 顔向き決定手段
４４２０ 顔画像照合手段
【特許請求の範囲】
【請求項１】
入力顔画像中の人物の顔向きを推定する顔画像処理装置であって、
複数の登録人物のそれぞれに対応した互いに異なる顔向きの登録顔画像を記憶する記憶部と、
前記登録顔画像のそれぞれと前記入力顔画像との類似度を算出する類似度算出手段と、
前記算出された類似度が所定以上の登録顔画像に対応する顔向きに投票する顔向き投票手段と、
前記顔向き投票手段により最も多く投票された顔向きを前記入力顔画像の顔向きであると推定する顔向き決定手段と、
を有することを特徴とした顔画像処理装置。
【請求項２】
前記顔向き決定手段により推定された前記入力顔画像の顔向きおよび該顔向きに近い顔向きの照合用登録顔画像と前記入力顔画像との類似度を前記登録人物ごとに集計した結果に基づいて、前記入力顔画像の人物を判定する顔画像照合手段をさらに有する、請求項１に記載の顔画像処理装置。
【請求項３】
前記記憶部は、予め人間の顔の３次元形状を表す３次元顔形状データをさらに記憶し、
前記複数の登録人物の顔画像をそれぞれ前記３次元顔形状データに合成して３次元顔モデルを生成する３次元顔モデル生成手段と、
前記３次元顔モデルを複数の所定の角度の顔向きに調整して２次元平面上に投影した前記登録顔画像を生成する登録顔データ生成手段と、をさらに有し、
前記顔画像照合手段は、前記顔向き決定手段により推定された前記入力顔画像の顔向きおよび該顔向きの近傍の顔向きに対応する登録顔画像を前記照合用登録顔画像として前記入力顔画像の人物を判定する、請求項２に記載の顔画像処理装置。
【請求項４】
前記顔画像照合手段は、前記登録人物ごとに集計した結果として前記類似度の総和を求め、該求めた類似度の総和が最も高い登録人物を、前記入力顔画像の人物と判定する請求項２または３のいずれか１項に記載の顔画像処理装置。
【請求項５】
前記顔画像照合手段は、前記登録人物ごとに、前記入力顔画像の顔向きに近いほど大きくなる重みを前記類似度に付ける請求項４に記載の顔画像処理装置。
【請求項１】
入力顔画像中の人物の顔向きを推定する顔画像処理装置であって、
複数の登録人物のそれぞれに対応した互いに異なる顔向きの登録顔画像を記憶する記憶部と、
前記登録顔画像のそれぞれと前記入力顔画像との類似度を算出する類似度算出手段と、
前記算出された類似度が所定以上の登録顔画像に対応する顔向きに投票する顔向き投票手段と、
前記顔向き投票手段により最も多く投票された顔向きを前記入力顔画像の顔向きであると推定する顔向き決定手段と、
を有することを特徴とした顔画像処理装置。
【請求項２】
前記顔向き決定手段により推定された前記入力顔画像の顔向きおよび該顔向きに近い顔向きの照合用登録顔画像と前記入力顔画像との類似度を前記登録人物ごとに集計した結果に基づいて、前記入力顔画像の人物を判定する顔画像照合手段をさらに有する、請求項１に記載の顔画像処理装置。
【請求項３】
前記記憶部は、予め人間の顔の３次元形状を表す３次元顔形状データをさらに記憶し、
前記複数の登録人物の顔画像をそれぞれ前記３次元顔形状データに合成して３次元顔モデルを生成する３次元顔モデル生成手段と、
前記３次元顔モデルを複数の所定の角度の顔向きに調整して２次元平面上に投影した前記登録顔画像を生成する登録顔データ生成手段と、をさらに有し、
前記顔画像照合手段は、前記顔向き決定手段により推定された前記入力顔画像の顔向きおよび該顔向きの近傍の顔向きに対応する登録顔画像を前記照合用登録顔画像として前記入力顔画像の人物を判定する、請求項２に記載の顔画像処理装置。
【請求項４】
前記顔画像照合手段は、前記登録人物ごとに集計した結果として前記類似度の総和を求め、該求めた類似度の総和が最も高い登録人物を、前記入力顔画像の人物と判定する請求項２または３のいずれか１項に記載の顔画像処理装置。
【請求項５】
前記顔画像照合手段は、前記登録人物ごとに、前記入力顔画像の顔向きに近いほど大きくなる重みを前記類似度に付ける請求項４に記載の顔画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２１５８４３（Ｐ２０１１−２１５８４３Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８２９４６（Ｐ２０１０−８２９４６）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]