顔画像処理装置
【課題】不適切な照明環境で撮影された顔画像か否かを判定可能な顔画像処理装置を提供する。
【解決手段】顔画像処理装置１は、対象者の顔を撮影して入力顔画像を作成する撮像部２と、人物の顔の形状を表す３次元顔形状データとを記憶する記憶部４と、入力顔画像に含まれる対象者の顔領域に、その対象者の顔の構造以外に起因する陰影に対応する陰影異常領域を抽出する陰影異常領域抽出部５１と、陰影異常領域が顔領域に占める割合が所定値よりも大きいと、入力顔画像に写っている対象者の顔にその対象者の顔の構造以外に起因する陰影が存在すると判定する陰影異常判定部５２と、対象者の顔にその対象者の顔の構造以外に起因する陰影が存在しないと判定された入力顔画像を３次元顔形状データと位置合わせしてその３次元顔形状データにマッピングすることにより、対象者の３次元顔モデルを生成する３次元顔モデル生成部５３とを有する。
【解決手段】顔画像処理装置１は、対象者の顔を撮影して入力顔画像を作成する撮像部２と、人物の顔の形状を表す３次元顔形状データとを記憶する記憶部４と、入力顔画像に含まれる対象者の顔領域に、その対象者の顔の構造以外に起因する陰影に対応する陰影異常領域を抽出する陰影異常領域抽出部５１と、陰影異常領域が顔領域に占める割合が所定値よりも大きいと、入力顔画像に写っている対象者の顔にその対象者の顔の構造以外に起因する陰影が存在すると判定する陰影異常判定部５２と、対象者の顔にその対象者の顔の構造以外に起因する陰影が存在しないと判定された入力顔画像を３次元顔形状データと位置合わせしてその３次元顔形状データにマッピングすることにより、対象者の３次元顔モデルを生成する３次元顔モデル生成部５３とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物の顔を撮影した画像から照合処理用に登録する顔画像データを作成する顔画像処理装置に関する。
【背景技術】
【０００２】
従来より、対象者の顔を撮影して取得した顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。しかし、登録用の顔画像の撮影時における顔の向きと、照合のために撮影された画像に写っている対象者の顔の向きが異なることがある。そして顔の向きが異なる画像同士で照合処理を行うと、同一の対象者を撮影した画像であっても、目、鼻、口などの特徴的な部位の配置が画像ごとに異なるため、照合精度が低下してしまう。
そこで、対象者を撮影して得られた登録用の２次元の顔画像を、人の顔の３次元形状を表す３次元顔形状データにマッピングすることにより、３次元の顔モデルを作成する技術が提案されている（例えば、特許文献１を参照）。
【０００３】
特許文献１に開示された顔画像処理装置は、人物の２次元顔画像にあわせて複数の３次元顔形状データの顔向きを調整し、また２次元顔画像から光源方向を推定し、顔向き調整された複数の３次元顔形状データに推定された光源方向を適用して、その顔向きの２次元の陰影画像を作成し、２次元顔画像と最も類似している２次元の陰影画像に対応する３次元顔形状データを選択する。そしてこの顔画像処理装置は、選択された３次元顔形状データと２次元顔画像を合成してその人物の顔に対応した３次元顔モデルを作成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２１１１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術を用いた顔認証装置は、対象者の３次元顔モデルを作成できる。そのため、そのような顔認証装置は、照合処理を行う際には、照合時に取得された画像に写っている人物の顔向きと同じ顔向きの顔画像を３次元顔モデルから作成することで顔向きの違いによる特徴的な部位の位置ずれを抑制できるので、照合精度を向上できる。
【０００６】
特許文献１に開示された技術では、人間の顔の構造以外のものによる陰影は考慮されておらず、また顔により反射された光は画像上で飽和するほど強くないことが想定されている。しかし、登録用の顔画像を作成するために対象者を撮影する際の環境によっては、無視できないほど強い直射日光が顔の一部に当たることもある。このような場合、登録用の顔画像上に、画素の輝度値が飽和するほどの明領域が生じてしまう。また、柱または窓枠のような構造物若しくは植栽によって生じる影が顔にかかることもある。このような場合、登録用の顔画像上に、画素の輝度値が他の領域と比較して非常に低い暗領域が生じてしまう。そしてこのような明領域または暗領域を含む顔画像を用いて、予め登録される３次元顔モデルを生成しようとすると、顔向きを正しく推定できず、誤った３次元顔モデルが作成されてしまうおそれがある。
また、そのような明領域または暗領域を含む顔画像に基づいて作成された３次元顔モデルを用いて照合処理を実行すると、その暗領域または明領域あるいはその境界が誤って顔の特徴として抽出されたり、照合時に撮影された画像上でできる顔の陰影と大きく異なるため、照合精度が低下してしまうおそれがあった。
そのため、顔画像が、上記のような不適切な照明環境で撮影された画像か否かを判定する技術が求められている。
【０００７】
そこで、本発明は、不適切な照明環境で撮影された顔画像か否かを判定可能な顔画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一つの形態として、顔画像処理装置が提供される。この顔画像処理装置は、対象者の顔を撮影して入力顔画像を作成する撮像部と、人物の顔の形状を表す３次元顔形状データを記憶する記憶部と、入力顔画像に含まれる対象者の顔領域において、その対象者の顔の構造以外に起因する陰影に対応する陰影異常領域を抽出する陰影異常領域抽出部と、陰影異常領域が顔領域に占める割合が所定値よりも大きいと、入力顔画像の対象者の顔に、その対象者の顔の構造以外に起因する陰影が存在すると判定する陰影異常判定部と、陰影異常判定部により対象者の顔にその対象者の顔の構造以外に起因する陰影が存在しないと判定された入力顔画像を３次元顔形状データと位置合わせして、その３次元顔形状データにマッピングすることにより、対象者の３次元顔モデルを生成する３次元顔モデル生成部とを有する。
【０００９】
陰影異常領域抽出部は、顔領域に含まれる画素のうち、その画素の輝度が対象者の顔の構造に起因して生じる陰影による輝度範囲に相当する通常陰影輝度範囲から外れる画素を陰影異常領域として抽出することが好ましい。
【発明の効果】
【００１０】
本発明に係る顔画像処理装置は、不適切な照明環境で撮影された顔画像か否かを判定できるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】本発明の一つの実施形態に係る顔画像処理装置の概略構成図である。
【図２】登録対象者と照明との位置関係の一例を表す配置図である。
【図３】（ａ）は、図２における地点Ａで撮影された入力顔画像の一例を示す図であり、（ｂ）は、図２における地点Ｂで撮影された入力顔画像の一例を示す図であり、（ｃ）は、図２における地点Ｃで撮影された入力顔画像の一例を示す図である。
【図４】陰影異常判定処理を含む３次元顔モデル生成処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の一つの実施形態による顔画像処理装置を、図を参照しつつ説明する。この顔画像処理装置は、人間の顔の３次元的な形状を表す３次元顔形状データ上に、登録対象者の顔を撮影した顔画像をマッピングすることで、その登録対象者の３次元顔モデルを作成する。この顔画像処理装置は、マッピングに用いる顔画像において、顔に相当する領域内に構造物による陰影などの暗領域または画素値が飽和するほど明るい明領域が存在するか否かを判定し、そのような暗領域及び明領域がない顔画像を用いて３次元顔モデルを作成する。
【００１３】
図１は、一つの実施形態に係る顔画像処理装置１の概略構成を示す図である。図１に示すように、顔画像処理装置１は、撮像部２と、インターフェース部３と、記憶部４と、画像処理部５とを有する。
【００１４】
撮像部２は、例えば、カメラを有し、監視領域内に進入した登録対象者の顔を撮影した２次元の入力顔画像を作成する。そのために、撮像部２は、監視領域を撮影可能な位置に設置される。例えば、監視領域が店舗、廊下などの屋内に設定されている場合、撮像部２は、監視領域内の天井近傍あるいは監視領域の境界を形成する壁面に、人の身長よりも高い位置に設置される。また撮像部２は、監視領域の通用口近傍を撮影するように設置されてもよい。さらに撮像部２は一つに限られず、複数存在してもよい。
なお、撮像部２が有するカメラは、入力顔画像上の肌色部分を抽出することが容易となるように、可視光域に感度を有し、カラーの多階調画像を作成するものとすることが好ましい。しかし、撮像部２が有するカメラは、近赤外域に感度を有し、グレー画像を作成するカメラであってもよい。また撮像部２は、入力顔画像上に写っている顔の目、鼻、口などの顔特徴が区別できる程度の画素数を有することが好ましい。
撮像部２は、入力顔画像を作成する度に、その入力顔画像をインターフェース部３へ出力する。
【００１５】
インターフェース部３は、撮像部２と接続されるインターフェース回路であり、撮像部２から受け取った入力顔画像を画像処理部５に渡す。
記憶部４は、半導体メモリ、磁気記録媒体及びそのアクセス装置及び光記録媒体及びそのアクセス装置のうちの少なくとも一つを有する。そして記憶部４は、顔画像処理装置１を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶部４は、３次元顔形状データ及び３次元顔形状データに対応する３Ｄ顔特徴点の３次元位置情報を記憶する。３次元顔形状データは複数存在してもよく、また一つであってもよい。３次元顔形状データは、人物の顔の３次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。なお３次元顔形状データは、例えば、複数の人物の顔形状からそれぞれ作成されたり、多数の人物の顔形状を模した顔形状モデルを平均化して作成される。さらに、３次元顔形状データとして、他の方法によって作成された３次元顔形状データの一部を変形させたもの、例えば、特開２００９−２１１１４８号公報に開示されている技術を用いて、顔の中心から上側部分の長さと下側部分の長さの比を変化させたものを用いてもよい。
【００１６】
また、３Ｄ顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、３Ｄ顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口中心、口端などが含まれる。なお、記憶する３Ｄ顔特徴点の種類及び数に制限はないが、少なくとも３次元顔モデル生成部５３において抽出可能な顔特徴点と同じ部位の特徴点を全て含むことが好ましい。本実施形態では、３Ｄ顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口中心、及び左右の口端、耳珠点、顎角点及びオトガイ点の１５箇所を記憶するものとした。
【００１７】
画像処理部５は、１個または複数個のプロセッサ及びその周辺回路を有する。そして画像処理部５は、撮像部２から入力顔画像を受け取ると、その入力顔画像を登録対象者の識別コードと関連付ける。なお、登録対象者の識別コードは、例えば、図示しないユーザインターフェースを介して、画像処理部５に入力される。あるいは、画像処理部５は、入力顔画像に写っている登録対象者の顔が、記憶部４に既に登録されている登録者の何れの３次元顔モデルとも一致しない場合、既に設定されている何れの識別コードとも異なる識別コードを新たに生成してもよい。この場合、画像処理部５は、公知の顔画像照合方法の何れかを利用して、入力顔画像に写っている登録対象者の顔が、記憶部４に登録されている登録者の３次元顔モデルと一致するか否かを判定できる。
【００１８】
画像処理部５は、登録対象者について入力顔画像を用いて、その登録対象者の３次元顔モデルを作成する。そのために、画像処理部５は、そのプロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、陰影異常領域抽出部５１と、顔画像選択部５２と、３次元顔モデル生成部５３とを有する。
なお、画像処理部５が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、画像処理部５の各部について詳細に説明する。
【００１９】
陰影異常領域抽出部５１は、撮像部２からインターフェース部３を介して入力顔画像を取得する度に、入力顔画像上の登録対象者の顔が写っている領域内に存在する陰影異常領域を抽出する。ここで陰影異常領域とは、光源と登録対象者の間に位置する柱または窓などの構造物または植栽などによって生じる陰影が写っている領域、または直射日光などにより極度に輝度値が高い領域など、登録対象者の顔自体の構造以外に起因して生じる陰影に対応する領域をいう。
【００２０】
図２及び図３を参照しつつ、入力顔画像上に陰影異常領域が生じる様子を説明する。
図２は、登録対象者と照明との位置関係の一例を表す配置図である。
図２において、撮像部２は、窓２１０が一方の側壁に設けられている廊下２２０を、廊下２２０の正面に設けられた扉２３０へ向けて歩行する人物の顔を撮影するように、天井近傍において、撮像部２が有する撮像光学系の光軸が廊下２２０の長手方向と略平行で、かつ斜め下方を向くように設置されている。また窓２１０は引き違い窓であり、窓２１０の周囲及び略中央部に窓枠２１１が形成されている。そして窓２１０を通じて太陽光が廊下２２０へ差し込み、点線で囲まれた領域２４０を照らしているものとする。
ここで、登録対象者２５０が、矢印Ｘ１、Ｘ２に沿って、地点Ａ→地点Ｂ→地点Ｃの順に扉２３０へ徐々に近づくように歩いている間において、登録対象者２５０が地点Ａ、Ｂ、Ｃのそれぞれにいるときに、撮像部２が登録対象者２５０を撮影したとする。なお、地点Ａ、Ｂでは、登録対象者２５０の頭部は太陽光が照射された領域２４０に含まれており、一方、地点Ｃでは、登録対象者２５０の頭部はその領域２４０から外れているものとする。
【００２１】
図３（ａ）は、図２における地点Ａで撮影された登録対象者２５０の入力顔画像の一例を示す図であり、図３（ｂ）は、図２における地点Ｂで撮影された登録対象者２５０の入力顔画像の一例を示す図であり、図３（ｃ）は、図２における地点Ｃで撮影された登録対象者２５０の入力顔画像の一例を示す図である。
図３（ａ）に示されるように、入力顔画像３１０では、登録対象者の頭部が写っている領域３１１の右端近傍に、陰影３１２が生じている。この陰影３１２は、窓２１０を通じて差し込んだ太陽光を登録対象者自身の頭部が遮ることにより生じたものである。また図３（ｃ）に示されるように、入力顔画像３３０では、登録対象者の頭部に太陽光が照射されていないため、登録対象者は斜め下方を向いているものの、登録対象者の頭部が写っている領域３３１全体に強い陰影は存在しない。
これに対し、図３（ｂ）に示されるように、入力顔画像３２０では、登録対象者の頭部が写っている領域３２１内に、登録対象者自身の頭部が遮ることにより生じた陰影３２２が存在するだけでなく、窓枠２１１により生じた陰影３２３が左目及び左頬の近辺と重なるように存在している。このように、光源と登録対象者の間に、顔の一部だけを覆うような何らかの構造物が存在すると、顔にその構造物の陰影が重なった入力顔画像が得られることになる。そしてこのような陰影３２３が入力顔画像３２０上で陰影異常領域となる。この陰影異常領域に含まれる画素の値は、登録対象者の顔に相当するその他の画素の値と大きく異なるので、陰影異常領域の存在は、３次元顔モデルの生成または照合精度に悪影響を与える。
【００２２】
そこで陰影異常領域抽出部５１は、入力顔画像において顔が写っている顔領域を抽出し、その顔領域内の輝度分布を測定することにより、対象者の顔の構造に起因して生じる陰影による輝度の範囲に相当する通常陰影輝度範囲を決定する。そして陰影異常領域抽出部５１は、通常陰影輝度範囲から外れる輝度を持つ画素が含まれる領域を陰影異常領域として抽出する。
【００２３】
先ず、陰影異常領域抽出部５１は、入力顔画像から顔領域を抽出する。人の顔の肌は、肌色をしているため、陰影異常領域抽出部５１は、入力顔画像において肌色を持つ領域を顔領域として抽出する。例えば、入力顔画像がＲＧＢのカラー画像である場合、陰影異常領域抽出部５１は、入力顔画像の各画素の値をHSV表色系に変換し、色相Hの成分の色情報が、肌色に相当値の範囲（例えば、色相Hの成分の色情報が0から359で表される場合に0〜30）に含まれる画素の集合を顔領域とする。あるいは、陰影異常領域抽出部５１は、記憶部４に記憶されている３次元顔形状データと入力顔画像とを位置合わせした後に、３次元顔形状データを入力顔画像上に投影してできる領域を顔領域としてもよい。なお、３次元顔形状データと入力顔画像との位置合わせ処理については、３次元顔モデル生成部５３により実行される位置合わせ処理と同様の処理とすることができる。そのため、位置合わせ処理の詳細については、３次元顔モデル生成部５３の関連する処理の説明を参照されたい。
【００２４】
次に、陰影異常領域抽出部５１は、顔領域内に含まれる画素の輝度値の分布が正規分布に従うと仮定して、その輝度値の平均値μ及び分散σ2を算出する。そして陰影異常領域抽出部５１は、通常陰影輝度範囲を平均値μを中心とする、±ασの範囲に設定する。すなわち、陰影異常領域抽出部５１は、顔領域内の各画素のうち、輝度値Iと平均値μとの差の絶対値|I-μ|が以下の関係を満たす画素を、通常陰影輝度範囲から外れる輝度を持つ画素として抽出する。
|I-μ| > ασ （１）
ここでαは定数であり、例えば、2.0〜4.0の範囲内の何れかの値に設定される。この結果、輝度平均値μから大きく外れた輝度値を持つ画素が抽出されることになる。そのため、構造物などにより生じた影と顔領域とが重複しているために輝度値が非常に低くなった画素だけでなく、直射日光が顔の一部分に当たってその部分からの反射光が顔の他の部分からの反射光と比べて非常に高くなり、例えば撮像部２が有する撮像素子のダイナミックレンジを外れることにより、輝度値が非常に高くなった画素も抽出される。
陰影異常領域抽出部５１は、（１）式に従って抽出された画素により構成される領域を、陰影異常領域として抽出する。
【００２５】
なお、画像処理部５は、同様の照明条件下で撮像部２により撮影された、陰影異常領域の無い１枚以上の入力顔画像から抽出された顔領域の輝度平均値及び分散を予め算出しておき、その輝度平均値及び分散を記憶部４に記憶させておいてもよい。そして陰影異常領域抽出部５１は、登録対象者の３次元顔モデルを作成するためにその登録対象者の入力顔画像が得られたときに、記憶部４から読み出した輝度平均値及び分散により通常陰影輝度範囲を規定して（１）式の演算を行うことにより、陰影異常領域を抽出してもよい。このように、陰影異常領域抽出部５１は、陰影異常領域の無い顔領域から算出された輝度平均値及び分散を用いて通常陰影輝度範囲を規定することにより、通常陰影輝度範囲より適切に設定できるので、より正確に陰影異常領域を抽出できる。
【００２６】
この場合において、画像処理部５は、照明条件を様々に変更し、照明条件ごとに陰影異常領域の無い顔領域の輝度平均値及び分散を算出して、記憶部４に記憶させておいてもよい。例えば、各照明条件は、撮影時間帯により区分される。そして陰影異常領域抽出部５１は、入力顔画像の撮影時刻が含まれる撮影時間帯に相当する照明条件に関連付けられた輝度平均値及び分散を陰影異常領域の抽出に利用する。
あるいは各照明条件は、撮像部２により撮影される監視領域に含まれる固定構造物の入力顔画像上での輝度により区分されてもよい。この場合、陰影異常領域抽出部５１は、入力顔画像上でその固定構造物が写っている領域の輝度平均値を求め、その輝度平均値に対応する照明条件に関連付けられた輝度平均値及び分散を陰影異常領域の抽出に利用する。
これにより、陰影異常領域抽出部５１は、通常陰影輝度範囲を規定するために、入力顔画像撮影時の照明条件と同様の照明条件下で算出された陰影異常領域の無い顔領域の輝度平均値及び分散を利用できるので、通常陰影輝度範囲をさらに適切に設定できる。
【００２７】
また、陰影異常領域抽出部５１は、記憶部４に記憶されている３次元顔形状データから作成される陰影画像と入力顔画像との比較により陰影異常領域を抽出してもよい。
そのために、仮想光源を所定の位置に仮定し、その仮定された位置の仮想光源から３次元顔形状データに光を照射したときにできる陰影を持つ陰影３次元顔モデルが予め作成される。このような陰影３次元顔モデルは、仮想光源の位置及び照射方向を変えることにより予め複数作成され、記憶部４に記憶される。
陰影異常領域抽出部５１は、入力顔画像とそれぞれの陰影３次元顔モデルとの位置合わせを行った後、その陰影３次元顔モデルを２次元平面に投影することにより、理想陰影画像を作成する。陰影３次元顔モデルの作成の際には、仮想光源からの光を遮蔽する構造物は規定しない。そのため、理想陰影画像上には、３次元顔形状データに表される顔の形状により生じる陰影以外の陰影は生じない。また、入力顔画像と陰影３次元顔モデルとの位置合わせについては、例えば、後述する３次元顔モデル生成部５３により実行される入力顔画像と３次元顔形状データとの位置合わせ処理と同様の処理によって実行可能である。そのため、位置合わせ処理の詳細については、３次元顔モデル生成部５３についての関連する記載を参照されたい。
【００２８】
陰影異常領域抽出部５１は、入力顔画像中の顔領域内のそれぞれの画素について、各理想陰影画像の対応する位置の画素との輝度値の差ΔIを算出する。陰影異常領域抽出部５１は、ΔIに対する通常陰影輝度範囲を、閾値θl以上θh未満とする。すなわち、陰影異常領域抽出部５１は、ΔIが所定の閾値θhを超える画素及びΔIが所定の閾値θl未満となる画素を、通常陰影輝度範囲から外れる画素として抽出する。そして陰影異常領域抽出部５１は、抽出された画素により構成される領域を、陰影異常領域とする。
なお、閾値θh及びθlは、入力顔画像の顔領域中の各画素について算出した差分値ΔIの分布に基づいて決定されることが好ましい。例えば、陰影異常領域抽出部５１は、差分値ΔIの分布が正規分布に従うと仮定して、差分平均値μ'及び差分分散σ'2を求める。このとき、閾値θh及びθlは、次式のように設定される。
θh= μ'+βσ'
θl = μ'-βσ'
ただし、βは定数であり、例えば、2.0〜4.0の範囲内の何れかの値に設定される。
あるいは、閾値θh及びθlは、例えば、シミュレーションまたは実験によって予め決定された値であってもよい。ただし、θl<θhである。
【００２９】
なお、陰影異常領域抽出部５１は、特開２００９−２１１１５１号公報に開示されているように、入力顔画像が撮影されたときの光源方向を推定し、その推定された光源方向に対応する理想陰影画像のみを用いて陰影異常領域を抽出してもよい。
陰影異常領域抽出部５１は、抽出された陰影異常領域を表す情報を顔画像選択部５２へ渡す。なお、陰影異常領域を表す情報は、例えば、入力顔画像と同じサイズの３値画像であり、陰影異常領域に含まれる画素値（例えば'0'）、陰影異常領域以外の顔領域に含まれる画素値（例えば'1'）、及びその他の領域に含まれる画素値（例えば'2'）がそれぞれ異なる値を持つものとすることができる。
【００３０】
顔画像選択部５２は、陰影異常判定部の一例であり、入力顔画像の顔領域に登録対象者の顔の構造以外に起因する陰影が存在するか否かを判定する。
例えば、顔画像選択部５２は、入力顔画像の顔領域の面積Sfaceに占める陰影異常領域の面積Sabnの割合（Sabn/Sface）が所定の閾値θs以下である場合、その入力顔画像の顔領域には、登録対象者の顔の構造以外に起因する陰影が存在しないと判定し、その入力顔画像を３次元顔モデルの生成に利用するために記憶部４に記憶する。一方、割合（Sabn/Sface）が所定の閾値θsよりも大きい場合、顔画像選択部５２は、その入力顔画像の顔領域には、登録対象者の顔の構造以外に起因する陰影が存在すると判定し、その入力顔画像を３次元顔モデルの生成に利用せずに廃棄する。
なお、閾値θsは、例えば、0.1〜0.3の範囲内の何れかの値に設定される。
【００３１】
また、顔画像選択部５２は、陰影異常領域が顔領域に占める割合（Sabn/Sface）が上記の閾値θs以下であっても、陰影異常領域の位置によっては入力顔画像を３次元顔モデルの生成に利用せずに廃棄してもよい。例えば、顔画像選択部５２は陰影異常領域の水平方向の中心が、顔領域の水平方向の中心から所定距離内に存在する場合、あるいは陰影異常領域内に、目、鼻、口などの顔の特徴的な部位に関する顔特徴点の何れかが含まれている場合、入力顔画像を３次元顔モデルの生成に利用せずに廃棄する。なお、所定距離は、例えば、顔領域の水平方向の幅の1/10〜1/3の範囲内の何れかの値とすることができる。また、入力顔画像から顔特徴点を抽出する方法は、後述する３次元顔モデル生成部５３により実行される位置合わせ処理の一部として実行される方法と同様とすることができる。そのため、入力顔画像から顔特徴点を抽出する方法の詳細については、３次元顔モデル生成部５３についての関連する記載を参照されたい。
【００３２】
３次元顔モデル生成部５３は、顔画像選択部５２により、顔領域には登録対象者の顔の構造以外に起因する陰影が存在しないと判定された入力顔画像を３次元顔形状データにマッピングすることにより、登録対象者の３次元顔モデルを生成する。
そのために、３次元顔モデル生成部５３は、入力顔画像から顔特徴点を抽出する。
本実施形態において、３次元顔モデル生成部５３は、記憶部４に記憶されている各３Ｄ顔特徴点（目領域中心、鼻尖点、口角点などの１５箇所）に対応する顔特徴点を抽出する。３次元顔モデル生成部５３は、入力顔画像から顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、３次元顔モデル生成部５３は、入力顔画像に対してエッジ抽出処理を行って周辺画素との画素値の差が大きいエッジ画素を抽出する。そして３次元顔モデル生成部５３は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また３次元顔モデル生成部５３は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに３次元顔モデル生成部５３は、顔の各部位に相当するテンプレートと入力顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。さらにまた、３次元顔モデル生成部５３は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース（図示せず）を介してユーザに各顔特徴点の位置を指定させることにより、各顔特徴点を取得してもよい。
【００３３】
３次元顔モデル生成部５３は、入力顔画像から抽出された各顔特徴点と、３次元顔形状データに関連する３Ｄ顔特徴点とを用いて、３次元顔形状データに回転、拡大／縮小などの処理を行い、入力顔画像と３次元顔形状データの位置合わせを行う。そして３次元顔モデル生成部５３は、その位置合わせの結果として位置合わせ情報を作成する。位置合わせ情報は、例えば、３次元顔形状データの３次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、３次元顔形状データ上の複数の３Ｄ顔特徴点の重心を原点とし、顔に対して水平かつ右目から左目へ向かう方向に（３次元顔モデルの正面に向かって左から右に）X軸、Ｘ軸及びＺ軸と直交し、喉付近から頭頂部へ向かう方向、すなわち下から上へ向かう方向にY軸、Ｘ軸及びＹ軸と直交し、鼻尖点から後頭部へ向かう方向にZ軸が設定される。
【００３４】
３次元顔モデル生成部５３は、例えば、以下のように位置合わせ情報を算出する。まず、３次元顔形状データ上の３Ｄ顔特徴点を、２次元画像である入力顔画像上に投影する。そして３次元顔モデル生成部５３は、投影された各３Ｄ顔特徴点の位置と、対応する各顔特徴点の位置との差の二乗和を位置ずれ量として求める。３次元顔モデル生成部５３は、この位置ずれ量が最小となるように、３次元顔形状データを、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させる。３次元顔モデル生成部５３は、位置ずれ量が最小となったときの３次元顔形状データの回転角、並進量、及び拡大／縮小率を位置合わせ情報とする。
【００３５】
また、記憶部４に複数の３次元顔形状データが記憶されている場合、３次元顔モデル生成部５３は、各３次元顔形状データについて、入力顔画像に対する上記の位置ずれ量の最小値を求める。そして３次元顔モデル生成部５３は、入力顔画像に対する位置ずれ量の最小値が最も小さくなる３次元顔形状データを、入力顔画像に写っている登録対象者に適用する３次元顔形状データとして選択する。その選択には、例えば、特開２００９−２１１１５１号公報に開示されている手法を適宜採用できる。
【００３６】
なお、３次元顔モデル生成部５３は、入力顔画像について抽出された各顔特徴点を３次元空間内へ投影した後、３次元顔形状データ上の３Ｄ顔特徴点との位置ずれ量が最小となるように３次元顔形状データに回転、拡大／縮小などの処理を行い、位置合わせ情報を算出してもよい。
【００３７】
３次元顔モデル生成部５３は、記憶部４に記憶されている３次元顔形状データのうち、３次元顔モデル生成部５３により選択された３次元顔形状データの顔の向きを、入力顔画像に写った顔の向きと同じ顔の向きとなるように調整する。そのために、３次元顔モデル生成部５３は、選択された３次元顔形状データを、対応する位置合わせ情報にしたがって、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させて向き調整済み形状モデルを作成する。
【００３８】
３次元顔モデル生成部５３は、向き調整済み形状モデルに、入力顔画像をテクスチャ画像としてマッピングすることにより、入力顔画像に写っている登録対象者の３次元顔モデルを作成する。すなわち、入力顔画像について抽出されている各顔特徴点と、向き調整済み形状モデルとして選択された３次元顔形状データについての３Ｄ顔特徴点との位置が合うように、位置合わせ情報を用いて入力顔画像をテクスチャ画像として向き調整済み形状モデルにマッピングする。なお、マッピングは、入力顔画像の各画素の値を、３次元顔形状データの対応する位置の画素値とする処理である。
【００３９】
３次元顔モデル生成部５３は、作成した３次元顔モデルを登録対象者の識別コードと関連付けて記憶部４に記憶する。あるいは、３次元顔モデル生成部５３は、図示しない通信インターフェースを介して、作成した３次元顔モデル及び登録対象者の識別コードを他の機器へ出力してもよい。
【００４０】
図４は、一つの実施形態による顔画像処理装置１における、陰影異常判定処理を含む３次元顔モデル生成処理の動作を示すフローチャートである。なお、この３次元顔モデル生成処理は、画像処理部５によって制御される。
先ず、画像処理部５は、撮像部２からインターフェース部３を介して、登録対象者の顔が写っている入力顔画像を取得する（ステップＳ１０１）。そして画像処理部５は、取得した入力顔画像を登録対象者の識別コードに関連付けるとともに、画像処理部５の陰影異常領域抽出部５１へ渡す。
陰影異常領域抽出部５１は、入力顔画像から登録対象者の顔が写っている顔領域を抽出する（ステップＳ１０２）。そして陰影異常領域抽出部５１は、顔領域内で、輝度値が通常陰影輝度範囲から外れる画素を抽出し、抽出された画素により構成される領域を陰影異常領域とする（ステップＳ１０３）。陰影異常領域抽出部５１は、陰影異常領域を表す情報を画像処理部５の顔画像選択部５２へ渡す。
【００４１】
顔画像選択部５２は、顔領域の面積Sfaceに占める陰影異常領域の面積Sabnの割合（Sabn/Sface）が所定の閾値θs以下か否か判定する（ステップＳ１０４）。そしてその割合（Sabn/Sface）が所定の閾値θsよりも大きい場合、顔画像選択部５２は入力顔画像を廃棄する（ステップＳ１０５）。そして画像処理部５は、ステップＳ１０１以降の処理を繰り返す。
一方、その割合（Sabn/Sface）が所定の閾値θs以下である場合、顔画像選択部５２は入力顔画像を記憶部４に記憶する（ステップＳ１０６）。
【００４２】
その後、画像処理部５の３次元顔モデル生成部５３は、記憶部４に記憶されている入力顔画像と３次元顔形状データの位置合わせを行って、入力顔画像の各画素の値を位置合わせされた３次元顔形状データ上にマッピングすることにより、登録対象者の３次元顔モデルを生成する（ステップＳ１０７）。
画像処理部５は、作成した３次元顔モデルを登録対象者の識別コードと関連付けて記憶部４に記憶し、あるいは、３次元顔モデルを登録対象者の識別コードとともに、通信ネットワークを介して他の機器へ出力する。
その後、画像処理部５は、３次元顔モデル生成処理を終了する。
【００４３】
以上説明してきたように、この顔画像処理装置は、入力顔画像上で顔が写っている顔領域内において輝度値が異常に高いかあるいは異常に低い画素を検出することにより陰影異常領域が存在するか否かを判定する。これにより、この顔画像処理装置は、不適切な照明環境で撮影された入力顔画像か否かを判定できる。
そしてこの顔画像処理装置は、顔領域内に陰影異常領域が存在しないか、あるいは存在しても顔領域に占める陰影異常領域の割合が小さい入力顔画像を選択して３次元顔モデルを作成する。このように、この顔画像処理装置は、適切な照明環境で撮影された入力顔画像を選択的に利用して３次元顔モデルを作成するので、照合に適した３次元顔モデルを作成できる。
また、この顔画像処理装置は、陰影異常が生じた入力顔画像を選択的に廃棄して、３次元顔モデルの作成に利用しないようにするので、そのような陰影異常が生じる可能性のある場所を撮影するように撮像部を設置することができる。そのため、顔画像処理装置を設置可能な場所に関する条件を従来よりも緩和することができる。
【００４４】
なお、本発明は上記の実施形態に限定されるものではない。例えば、３次元顔モデル生成部は、入力顔画像の顔領域内で、陰影異常領域を除いた領域（以下、正常陰影領域と呼ぶ）に含まれる画素を３次元顔形状データにマッピングすることにより、３次元顔モデルを生成してもよい。この場合には、複数の入力顔画像が３次元顔モデルの生成に利用される。そして、最初の入力顔画像が３次元顔形状データにマッピングする際にマッピングされなかった陰影異常領域には、他の入力顔画像の正常陰影領域内の対応する画素が３次元顔形状データにマッピングされる。このように３次元顔モデル生成部は、複数の入力顔画像の正常陰影領域を合成することにより、一つの３次元顔モデルを生成できる。
【００４５】
また、顔画像処理装置は、画像選択部によって記憶すると判定された入力顔画像を、登録対象者の登録顔画像としてそのまま登録してもよい。この場合には、３次元顔モデル生成部は省略される。
また本発明は、顔画像照合装置に適用されてもよい。この場合、上記の画像処理部は、３次元顔モデル生成部の代わりに照合部を有する。そして記憶部には、予め登録された利用者の登録顔画像が記憶される。そして画像処理部の陰影異常領域抽出部は、撮像部により照合用として撮影された入力顔画像における顔領域に含まれる陰影異常領域を抽出する。そして画像選択部が、顔領域の面積に占める陰影異常領域の面積の割合が上記の閾値以下であると判定した場合に、照合部は、その入力顔画像と登録顔画像との照合処理を実行する。一方、画像選択部が、顔領域の面積に占める陰影異常領域の面積の割合が上記の閾値よりも大きいと判定した場合、画像処理部は、撮像部から再度入力顔画像を取得して、陰影異常の抽出及び照合処理を行う。
このように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００４６】
１ 顔画像処理装置
２ 撮像部
３ インターフェース部
４ 記憶部
５ 画像処理部
５１ 陰影異常領域抽出部
５２ 顔画像選択部
５３ ３次元顔モデル生成部
【技術分野】
【０００１】
本発明は、人物の顔を撮影した画像から照合処理用に登録する顔画像データを作成する顔画像処理装置に関する。
【背景技術】
【０００２】
従来より、対象者の顔を撮影して取得した顔画像を登録された顔画像と照合することにより、その対象者を認証する顔認証装置が提案されている。このような顔認証装置は、事前に対象者本人の顔画像を登録しておき、利用時に取得した顔画像と比較した結果に基づいて、認証の可否を決定する。しかし、登録用の顔画像の撮影時における顔の向きと、照合のために撮影された画像に写っている対象者の顔の向きが異なることがある。そして顔の向きが異なる画像同士で照合処理を行うと、同一の対象者を撮影した画像であっても、目、鼻、口などの特徴的な部位の配置が画像ごとに異なるため、照合精度が低下してしまう。
そこで、対象者を撮影して得られた登録用の２次元の顔画像を、人の顔の３次元形状を表す３次元顔形状データにマッピングすることにより、３次元の顔モデルを作成する技術が提案されている（例えば、特許文献１を参照）。
【０００３】
特許文献１に開示された顔画像処理装置は、人物の２次元顔画像にあわせて複数の３次元顔形状データの顔向きを調整し、また２次元顔画像から光源方向を推定し、顔向き調整された複数の３次元顔形状データに推定された光源方向を適用して、その顔向きの２次元の陰影画像を作成し、２次元顔画像と最も類似している２次元の陰影画像に対応する３次元顔形状データを選択する。そしてこの顔画像処理装置は、選択された３次元顔形状データと２次元顔画像を合成してその人物の顔に対応した３次元顔モデルを作成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２１１１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示された技術を用いた顔認証装置は、対象者の３次元顔モデルを作成できる。そのため、そのような顔認証装置は、照合処理を行う際には、照合時に取得された画像に写っている人物の顔向きと同じ顔向きの顔画像を３次元顔モデルから作成することで顔向きの違いによる特徴的な部位の位置ずれを抑制できるので、照合精度を向上できる。
【０００６】
特許文献１に開示された技術では、人間の顔の構造以外のものによる陰影は考慮されておらず、また顔により反射された光は画像上で飽和するほど強くないことが想定されている。しかし、登録用の顔画像を作成するために対象者を撮影する際の環境によっては、無視できないほど強い直射日光が顔の一部に当たることもある。このような場合、登録用の顔画像上に、画素の輝度値が飽和するほどの明領域が生じてしまう。また、柱または窓枠のような構造物若しくは植栽によって生じる影が顔にかかることもある。このような場合、登録用の顔画像上に、画素の輝度値が他の領域と比較して非常に低い暗領域が生じてしまう。そしてこのような明領域または暗領域を含む顔画像を用いて、予め登録される３次元顔モデルを生成しようとすると、顔向きを正しく推定できず、誤った３次元顔モデルが作成されてしまうおそれがある。
また、そのような明領域または暗領域を含む顔画像に基づいて作成された３次元顔モデルを用いて照合処理を実行すると、その暗領域または明領域あるいはその境界が誤って顔の特徴として抽出されたり、照合時に撮影された画像上でできる顔の陰影と大きく異なるため、照合精度が低下してしまうおそれがあった。
そのため、顔画像が、上記のような不適切な照明環境で撮影された画像か否かを判定する技術が求められている。
【０００７】
そこで、本発明は、不適切な照明環境で撮影された顔画像か否かを判定可能な顔画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一つの形態として、顔画像処理装置が提供される。この顔画像処理装置は、対象者の顔を撮影して入力顔画像を作成する撮像部と、人物の顔の形状を表す３次元顔形状データを記憶する記憶部と、入力顔画像に含まれる対象者の顔領域において、その対象者の顔の構造以外に起因する陰影に対応する陰影異常領域を抽出する陰影異常領域抽出部と、陰影異常領域が顔領域に占める割合が所定値よりも大きいと、入力顔画像の対象者の顔に、その対象者の顔の構造以外に起因する陰影が存在すると判定する陰影異常判定部と、陰影異常判定部により対象者の顔にその対象者の顔の構造以外に起因する陰影が存在しないと判定された入力顔画像を３次元顔形状データと位置合わせして、その３次元顔形状データにマッピングすることにより、対象者の３次元顔モデルを生成する３次元顔モデル生成部とを有する。
【０００９】
陰影異常領域抽出部は、顔領域に含まれる画素のうち、その画素の輝度が対象者の顔の構造に起因して生じる陰影による輝度範囲に相当する通常陰影輝度範囲から外れる画素を陰影異常領域として抽出することが好ましい。
【発明の効果】
【００１０】
本発明に係る顔画像処理装置は、不適切な照明環境で撮影された顔画像か否かを判定できるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】本発明の一つの実施形態に係る顔画像処理装置の概略構成図である。
【図２】登録対象者と照明との位置関係の一例を表す配置図である。
【図３】（ａ）は、図２における地点Ａで撮影された入力顔画像の一例を示す図であり、（ｂ）は、図２における地点Ｂで撮影された入力顔画像の一例を示す図であり、（ｃ）は、図２における地点Ｃで撮影された入力顔画像の一例を示す図である。
【図４】陰影異常判定処理を含む３次元顔モデル生成処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の一つの実施形態による顔画像処理装置を、図を参照しつつ説明する。この顔画像処理装置は、人間の顔の３次元的な形状を表す３次元顔形状データ上に、登録対象者の顔を撮影した顔画像をマッピングすることで、その登録対象者の３次元顔モデルを作成する。この顔画像処理装置は、マッピングに用いる顔画像において、顔に相当する領域内に構造物による陰影などの暗領域または画素値が飽和するほど明るい明領域が存在するか否かを判定し、そのような暗領域及び明領域がない顔画像を用いて３次元顔モデルを作成する。
【００１３】
図１は、一つの実施形態に係る顔画像処理装置１の概略構成を示す図である。図１に示すように、顔画像処理装置１は、撮像部２と、インターフェース部３と、記憶部４と、画像処理部５とを有する。
【００１４】
撮像部２は、例えば、カメラを有し、監視領域内に進入した登録対象者の顔を撮影した２次元の入力顔画像を作成する。そのために、撮像部２は、監視領域を撮影可能な位置に設置される。例えば、監視領域が店舗、廊下などの屋内に設定されている場合、撮像部２は、監視領域内の天井近傍あるいは監視領域の境界を形成する壁面に、人の身長よりも高い位置に設置される。また撮像部２は、監視領域の通用口近傍を撮影するように設置されてもよい。さらに撮像部２は一つに限られず、複数存在してもよい。
なお、撮像部２が有するカメラは、入力顔画像上の肌色部分を抽出することが容易となるように、可視光域に感度を有し、カラーの多階調画像を作成するものとすることが好ましい。しかし、撮像部２が有するカメラは、近赤外域に感度を有し、グレー画像を作成するカメラであってもよい。また撮像部２は、入力顔画像上に写っている顔の目、鼻、口などの顔特徴が区別できる程度の画素数を有することが好ましい。
撮像部２は、入力顔画像を作成する度に、その入力顔画像をインターフェース部３へ出力する。
【００１５】
インターフェース部３は、撮像部２と接続されるインターフェース回路であり、撮像部２から受け取った入力顔画像を画像処理部５に渡す。
記憶部４は、半導体メモリ、磁気記録媒体及びそのアクセス装置及び光記録媒体及びそのアクセス装置のうちの少なくとも一つを有する。そして記憶部４は、顔画像処理装置１を制御するためのコンピュータプログラム、各種パラメータ及びデータなどを記憶する。また記憶部４は、３次元顔形状データ及び３次元顔形状データに対応する３Ｄ顔特徴点の３次元位置情報を記憶する。３次元顔形状データは複数存在してもよく、また一つであってもよい。３次元顔形状データは、人物の顔の３次元形状を表すフレームモデルであって、ワイヤーフレームモデルあるいはサーフェイスモデル等が用いられる。なお３次元顔形状データは、例えば、複数の人物の顔形状からそれぞれ作成されたり、多数の人物の顔形状を模した顔形状モデルを平均化して作成される。さらに、３次元顔形状データとして、他の方法によって作成された３次元顔形状データの一部を変形させたもの、例えば、特開２００９−２１１１４８号公報に開示されている技術を用いて、顔の中心から上側部分の長さと下側部分の長さの比を変化させたものを用いてもよい。
【００１６】
また、３Ｄ顔特徴点は、目、鼻、口など、形状若しくは色成分について他と異なる特徴的な部位の何れかの点、例えばそれらの部位の中心点若しくは端点を表す。例えば、３Ｄ顔特徴点には、眉頭、眉尻、黒目中心、目領域中心、目頭、目尻、鼻尖点、鼻孔中心、口中心、口端などが含まれる。なお、記憶する３Ｄ顔特徴点の種類及び数に制限はないが、少なくとも３次元顔モデル生成部５３において抽出可能な顔特徴点と同じ部位の特徴点を全て含むことが好ましい。本実施形態では、３Ｄ顔特徴点として、左右それぞれの目領域中心、目頭及び目尻と、鼻尖点、口中心、及び左右の口端、耳珠点、顎角点及びオトガイ点の１５箇所を記憶するものとした。
【００１７】
画像処理部５は、１個または複数個のプロセッサ及びその周辺回路を有する。そして画像処理部５は、撮像部２から入力顔画像を受け取ると、その入力顔画像を登録対象者の識別コードと関連付ける。なお、登録対象者の識別コードは、例えば、図示しないユーザインターフェースを介して、画像処理部５に入力される。あるいは、画像処理部５は、入力顔画像に写っている登録対象者の顔が、記憶部４に既に登録されている登録者の何れの３次元顔モデルとも一致しない場合、既に設定されている何れの識別コードとも異なる識別コードを新たに生成してもよい。この場合、画像処理部５は、公知の顔画像照合方法の何れかを利用して、入力顔画像に写っている登録対象者の顔が、記憶部４に登録されている登録者の３次元顔モデルと一致するか否かを判定できる。
【００１８】
画像処理部５は、登録対象者について入力顔画像を用いて、その登録対象者の３次元顔モデルを作成する。そのために、画像処理部５は、そのプロセッサ上で動作するソフトウェアにより実装される機能モジュールとして、陰影異常領域抽出部５１と、顔画像選択部５２と、３次元顔モデル生成部５３とを有する。
なお、画像処理部５が有するこれらの各部は、独立した集積回路、ファームウェア、マイクロプロセッサなどで構成されてもよい。
以下、画像処理部５の各部について詳細に説明する。
【００１９】
陰影異常領域抽出部５１は、撮像部２からインターフェース部３を介して入力顔画像を取得する度に、入力顔画像上の登録対象者の顔が写っている領域内に存在する陰影異常領域を抽出する。ここで陰影異常領域とは、光源と登録対象者の間に位置する柱または窓などの構造物または植栽などによって生じる陰影が写っている領域、または直射日光などにより極度に輝度値が高い領域など、登録対象者の顔自体の構造以外に起因して生じる陰影に対応する領域をいう。
【００２０】
図２及び図３を参照しつつ、入力顔画像上に陰影異常領域が生じる様子を説明する。
図２は、登録対象者と照明との位置関係の一例を表す配置図である。
図２において、撮像部２は、窓２１０が一方の側壁に設けられている廊下２２０を、廊下２２０の正面に設けられた扉２３０へ向けて歩行する人物の顔を撮影するように、天井近傍において、撮像部２が有する撮像光学系の光軸が廊下２２０の長手方向と略平行で、かつ斜め下方を向くように設置されている。また窓２１０は引き違い窓であり、窓２１０の周囲及び略中央部に窓枠２１１が形成されている。そして窓２１０を通じて太陽光が廊下２２０へ差し込み、点線で囲まれた領域２４０を照らしているものとする。
ここで、登録対象者２５０が、矢印Ｘ１、Ｘ２に沿って、地点Ａ→地点Ｂ→地点Ｃの順に扉２３０へ徐々に近づくように歩いている間において、登録対象者２５０が地点Ａ、Ｂ、Ｃのそれぞれにいるときに、撮像部２が登録対象者２５０を撮影したとする。なお、地点Ａ、Ｂでは、登録対象者２５０の頭部は太陽光が照射された領域２４０に含まれており、一方、地点Ｃでは、登録対象者２５０の頭部はその領域２４０から外れているものとする。
【００２１】
図３（ａ）は、図２における地点Ａで撮影された登録対象者２５０の入力顔画像の一例を示す図であり、図３（ｂ）は、図２における地点Ｂで撮影された登録対象者２５０の入力顔画像の一例を示す図であり、図３（ｃ）は、図２における地点Ｃで撮影された登録対象者２５０の入力顔画像の一例を示す図である。
図３（ａ）に示されるように、入力顔画像３１０では、登録対象者の頭部が写っている領域３１１の右端近傍に、陰影３１２が生じている。この陰影３１２は、窓２１０を通じて差し込んだ太陽光を登録対象者自身の頭部が遮ることにより生じたものである。また図３（ｃ）に示されるように、入力顔画像３３０では、登録対象者の頭部に太陽光が照射されていないため、登録対象者は斜め下方を向いているものの、登録対象者の頭部が写っている領域３３１全体に強い陰影は存在しない。
これに対し、図３（ｂ）に示されるように、入力顔画像３２０では、登録対象者の頭部が写っている領域３２１内に、登録対象者自身の頭部が遮ることにより生じた陰影３２２が存在するだけでなく、窓枠２１１により生じた陰影３２３が左目及び左頬の近辺と重なるように存在している。このように、光源と登録対象者の間に、顔の一部だけを覆うような何らかの構造物が存在すると、顔にその構造物の陰影が重なった入力顔画像が得られることになる。そしてこのような陰影３２３が入力顔画像３２０上で陰影異常領域となる。この陰影異常領域に含まれる画素の値は、登録対象者の顔に相当するその他の画素の値と大きく異なるので、陰影異常領域の存在は、３次元顔モデルの生成または照合精度に悪影響を与える。
【００２２】
そこで陰影異常領域抽出部５１は、入力顔画像において顔が写っている顔領域を抽出し、その顔領域内の輝度分布を測定することにより、対象者の顔の構造に起因して生じる陰影による輝度の範囲に相当する通常陰影輝度範囲を決定する。そして陰影異常領域抽出部５１は、通常陰影輝度範囲から外れる輝度を持つ画素が含まれる領域を陰影異常領域として抽出する。
【００２３】
先ず、陰影異常領域抽出部５１は、入力顔画像から顔領域を抽出する。人の顔の肌は、肌色をしているため、陰影異常領域抽出部５１は、入力顔画像において肌色を持つ領域を顔領域として抽出する。例えば、入力顔画像がＲＧＢのカラー画像である場合、陰影異常領域抽出部５１は、入力顔画像の各画素の値をHSV表色系に変換し、色相Hの成分の色情報が、肌色に相当値の範囲（例えば、色相Hの成分の色情報が0から359で表される場合に0〜30）に含まれる画素の集合を顔領域とする。あるいは、陰影異常領域抽出部５１は、記憶部４に記憶されている３次元顔形状データと入力顔画像とを位置合わせした後に、３次元顔形状データを入力顔画像上に投影してできる領域を顔領域としてもよい。なお、３次元顔形状データと入力顔画像との位置合わせ処理については、３次元顔モデル生成部５３により実行される位置合わせ処理と同様の処理とすることができる。そのため、位置合わせ処理の詳細については、３次元顔モデル生成部５３の関連する処理の説明を参照されたい。
【００２４】
次に、陰影異常領域抽出部５１は、顔領域内に含まれる画素の輝度値の分布が正規分布に従うと仮定して、その輝度値の平均値μ及び分散σ2を算出する。そして陰影異常領域抽出部５１は、通常陰影輝度範囲を平均値μを中心とする、±ασの範囲に設定する。すなわち、陰影異常領域抽出部５１は、顔領域内の各画素のうち、輝度値Iと平均値μとの差の絶対値|I-μ|が以下の関係を満たす画素を、通常陰影輝度範囲から外れる輝度を持つ画素として抽出する。
|I-μ| > ασ （１）
ここでαは定数であり、例えば、2.0〜4.0の範囲内の何れかの値に設定される。この結果、輝度平均値μから大きく外れた輝度値を持つ画素が抽出されることになる。そのため、構造物などにより生じた影と顔領域とが重複しているために輝度値が非常に低くなった画素だけでなく、直射日光が顔の一部分に当たってその部分からの反射光が顔の他の部分からの反射光と比べて非常に高くなり、例えば撮像部２が有する撮像素子のダイナミックレンジを外れることにより、輝度値が非常に高くなった画素も抽出される。
陰影異常領域抽出部５１は、（１）式に従って抽出された画素により構成される領域を、陰影異常領域として抽出する。
【００２５】
なお、画像処理部５は、同様の照明条件下で撮像部２により撮影された、陰影異常領域の無い１枚以上の入力顔画像から抽出された顔領域の輝度平均値及び分散を予め算出しておき、その輝度平均値及び分散を記憶部４に記憶させておいてもよい。そして陰影異常領域抽出部５１は、登録対象者の３次元顔モデルを作成するためにその登録対象者の入力顔画像が得られたときに、記憶部４から読み出した輝度平均値及び分散により通常陰影輝度範囲を規定して（１）式の演算を行うことにより、陰影異常領域を抽出してもよい。このように、陰影異常領域抽出部５１は、陰影異常領域の無い顔領域から算出された輝度平均値及び分散を用いて通常陰影輝度範囲を規定することにより、通常陰影輝度範囲より適切に設定できるので、より正確に陰影異常領域を抽出できる。
【００２６】
この場合において、画像処理部５は、照明条件を様々に変更し、照明条件ごとに陰影異常領域の無い顔領域の輝度平均値及び分散を算出して、記憶部４に記憶させておいてもよい。例えば、各照明条件は、撮影時間帯により区分される。そして陰影異常領域抽出部５１は、入力顔画像の撮影時刻が含まれる撮影時間帯に相当する照明条件に関連付けられた輝度平均値及び分散を陰影異常領域の抽出に利用する。
あるいは各照明条件は、撮像部２により撮影される監視領域に含まれる固定構造物の入力顔画像上での輝度により区分されてもよい。この場合、陰影異常領域抽出部５１は、入力顔画像上でその固定構造物が写っている領域の輝度平均値を求め、その輝度平均値に対応する照明条件に関連付けられた輝度平均値及び分散を陰影異常領域の抽出に利用する。
これにより、陰影異常領域抽出部５１は、通常陰影輝度範囲を規定するために、入力顔画像撮影時の照明条件と同様の照明条件下で算出された陰影異常領域の無い顔領域の輝度平均値及び分散を利用できるので、通常陰影輝度範囲をさらに適切に設定できる。
【００２７】
また、陰影異常領域抽出部５１は、記憶部４に記憶されている３次元顔形状データから作成される陰影画像と入力顔画像との比較により陰影異常領域を抽出してもよい。
そのために、仮想光源を所定の位置に仮定し、その仮定された位置の仮想光源から３次元顔形状データに光を照射したときにできる陰影を持つ陰影３次元顔モデルが予め作成される。このような陰影３次元顔モデルは、仮想光源の位置及び照射方向を変えることにより予め複数作成され、記憶部４に記憶される。
陰影異常領域抽出部５１は、入力顔画像とそれぞれの陰影３次元顔モデルとの位置合わせを行った後、その陰影３次元顔モデルを２次元平面に投影することにより、理想陰影画像を作成する。陰影３次元顔モデルの作成の際には、仮想光源からの光を遮蔽する構造物は規定しない。そのため、理想陰影画像上には、３次元顔形状データに表される顔の形状により生じる陰影以外の陰影は生じない。また、入力顔画像と陰影３次元顔モデルとの位置合わせについては、例えば、後述する３次元顔モデル生成部５３により実行される入力顔画像と３次元顔形状データとの位置合わせ処理と同様の処理によって実行可能である。そのため、位置合わせ処理の詳細については、３次元顔モデル生成部５３についての関連する記載を参照されたい。
【００２８】
陰影異常領域抽出部５１は、入力顔画像中の顔領域内のそれぞれの画素について、各理想陰影画像の対応する位置の画素との輝度値の差ΔIを算出する。陰影異常領域抽出部５１は、ΔIに対する通常陰影輝度範囲を、閾値θl以上θh未満とする。すなわち、陰影異常領域抽出部５１は、ΔIが所定の閾値θhを超える画素及びΔIが所定の閾値θl未満となる画素を、通常陰影輝度範囲から外れる画素として抽出する。そして陰影異常領域抽出部５１は、抽出された画素により構成される領域を、陰影異常領域とする。
なお、閾値θh及びθlは、入力顔画像の顔領域中の各画素について算出した差分値ΔIの分布に基づいて決定されることが好ましい。例えば、陰影異常領域抽出部５１は、差分値ΔIの分布が正規分布に従うと仮定して、差分平均値μ'及び差分分散σ'2を求める。このとき、閾値θh及びθlは、次式のように設定される。
θh= μ'+βσ'
θl = μ'-βσ'
ただし、βは定数であり、例えば、2.0〜4.0の範囲内の何れかの値に設定される。
あるいは、閾値θh及びθlは、例えば、シミュレーションまたは実験によって予め決定された値であってもよい。ただし、θl<θhである。
【００２９】
なお、陰影異常領域抽出部５１は、特開２００９−２１１１５１号公報に開示されているように、入力顔画像が撮影されたときの光源方向を推定し、その推定された光源方向に対応する理想陰影画像のみを用いて陰影異常領域を抽出してもよい。
陰影異常領域抽出部５１は、抽出された陰影異常領域を表す情報を顔画像選択部５２へ渡す。なお、陰影異常領域を表す情報は、例えば、入力顔画像と同じサイズの３値画像であり、陰影異常領域に含まれる画素値（例えば'0'）、陰影異常領域以外の顔領域に含まれる画素値（例えば'1'）、及びその他の領域に含まれる画素値（例えば'2'）がそれぞれ異なる値を持つものとすることができる。
【００３０】
顔画像選択部５２は、陰影異常判定部の一例であり、入力顔画像の顔領域に登録対象者の顔の構造以外に起因する陰影が存在するか否かを判定する。
例えば、顔画像選択部５２は、入力顔画像の顔領域の面積Sfaceに占める陰影異常領域の面積Sabnの割合（Sabn/Sface）が所定の閾値θs以下である場合、その入力顔画像の顔領域には、登録対象者の顔の構造以外に起因する陰影が存在しないと判定し、その入力顔画像を３次元顔モデルの生成に利用するために記憶部４に記憶する。一方、割合（Sabn/Sface）が所定の閾値θsよりも大きい場合、顔画像選択部５２は、その入力顔画像の顔領域には、登録対象者の顔の構造以外に起因する陰影が存在すると判定し、その入力顔画像を３次元顔モデルの生成に利用せずに廃棄する。
なお、閾値θsは、例えば、0.1〜0.3の範囲内の何れかの値に設定される。
【００３１】
また、顔画像選択部５２は、陰影異常領域が顔領域に占める割合（Sabn/Sface）が上記の閾値θs以下であっても、陰影異常領域の位置によっては入力顔画像を３次元顔モデルの生成に利用せずに廃棄してもよい。例えば、顔画像選択部５２は陰影異常領域の水平方向の中心が、顔領域の水平方向の中心から所定距離内に存在する場合、あるいは陰影異常領域内に、目、鼻、口などの顔の特徴的な部位に関する顔特徴点の何れかが含まれている場合、入力顔画像を３次元顔モデルの生成に利用せずに廃棄する。なお、所定距離は、例えば、顔領域の水平方向の幅の1/10〜1/3の範囲内の何れかの値とすることができる。また、入力顔画像から顔特徴点を抽出する方法は、後述する３次元顔モデル生成部５３により実行される位置合わせ処理の一部として実行される方法と同様とすることができる。そのため、入力顔画像から顔特徴点を抽出する方法の詳細については、３次元顔モデル生成部５３についての関連する記載を参照されたい。
【００３２】
３次元顔モデル生成部５３は、顔画像選択部５２により、顔領域には登録対象者の顔の構造以外に起因する陰影が存在しないと判定された入力顔画像を３次元顔形状データにマッピングすることにより、登録対象者の３次元顔モデルを生成する。
そのために、３次元顔モデル生成部５３は、入力顔画像から顔特徴点を抽出する。
本実施形態において、３次元顔モデル生成部５３は、記憶部４に記憶されている各３Ｄ顔特徴点（目領域中心、鼻尖点、口角点などの１５箇所）に対応する顔特徴点を抽出する。３次元顔モデル生成部５３は、入力顔画像から顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、３次元顔モデル生成部５３は、入力顔画像に対してエッジ抽出処理を行って周辺画素との画素値の差が大きいエッジ画素を抽出する。そして３次元顔モデル生成部５３は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また３次元顔モデル生成部５３は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、ガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに３次元顔モデル生成部５３は、顔の各部位に相当するテンプレートと入力顔画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。さらにまた、３次元顔モデル生成部５３は、キーボード、マウス及びディスプレイなどで構成されるユーザインターフェース（図示せず）を介してユーザに各顔特徴点の位置を指定させることにより、各顔特徴点を取得してもよい。
【００３３】
３次元顔モデル生成部５３は、入力顔画像から抽出された各顔特徴点と、３次元顔形状データに関連する３Ｄ顔特徴点とを用いて、３次元顔形状データに回転、拡大／縮小などの処理を行い、入力顔画像と３次元顔形状データの位置合わせを行う。そして３次元顔モデル生成部５３は、その位置合わせの結果として位置合わせ情報を作成する。位置合わせ情報は、例えば、３次元顔形状データの３次元の正規直交座標系(X,Y,Z)の各軸に沿った回転角、並進量、及び拡大／縮小率を含む。この正規直交座標系(X,Y,Z)では、例えば、３次元顔形状データ上の複数の３Ｄ顔特徴点の重心を原点とし、顔に対して水平かつ右目から左目へ向かう方向に（３次元顔モデルの正面に向かって左から右に）X軸、Ｘ軸及びＺ軸と直交し、喉付近から頭頂部へ向かう方向、すなわち下から上へ向かう方向にY軸、Ｘ軸及びＹ軸と直交し、鼻尖点から後頭部へ向かう方向にZ軸が設定される。
【００３４】
３次元顔モデル生成部５３は、例えば、以下のように位置合わせ情報を算出する。まず、３次元顔形状データ上の３Ｄ顔特徴点を、２次元画像である入力顔画像上に投影する。そして３次元顔モデル生成部５３は、投影された各３Ｄ顔特徴点の位置と、対応する各顔特徴点の位置との差の二乗和を位置ずれ量として求める。３次元顔モデル生成部５３は、この位置ずれ量が最小となるように、３次元顔形状データを、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させる。３次元顔モデル生成部５３は、位置ずれ量が最小となったときの３次元顔形状データの回転角、並進量、及び拡大／縮小率を位置合わせ情報とする。
【００３５】
また、記憶部４に複数の３次元顔形状データが記憶されている場合、３次元顔モデル生成部５３は、各３次元顔形状データについて、入力顔画像に対する上記の位置ずれ量の最小値を求める。そして３次元顔モデル生成部５３は、入力顔画像に対する位置ずれ量の最小値が最も小さくなる３次元顔形状データを、入力顔画像に写っている登録対象者に適用する３次元顔形状データとして選択する。その選択には、例えば、特開２００９−２１１１５１号公報に開示されている手法を適宜採用できる。
【００３６】
なお、３次元顔モデル生成部５３は、入力顔画像について抽出された各顔特徴点を３次元空間内へ投影した後、３次元顔形状データ上の３Ｄ顔特徴点との位置ずれ量が最小となるように３次元顔形状データに回転、拡大／縮小などの処理を行い、位置合わせ情報を算出してもよい。
【００３７】
３次元顔モデル生成部５３は、記憶部４に記憶されている３次元顔形状データのうち、３次元顔モデル生成部５３により選択された３次元顔形状データの顔の向きを、入力顔画像に写った顔の向きと同じ顔の向きとなるように調整する。そのために、３次元顔モデル生成部５３は、選択された３次元顔形状データを、対応する位置合わせ情報にしたがって、３次元の正規直交座標系の各軸に沿って回転または並進させたり、拡大または縮小させて向き調整済み形状モデルを作成する。
【００３８】
３次元顔モデル生成部５３は、向き調整済み形状モデルに、入力顔画像をテクスチャ画像としてマッピングすることにより、入力顔画像に写っている登録対象者の３次元顔モデルを作成する。すなわち、入力顔画像について抽出されている各顔特徴点と、向き調整済み形状モデルとして選択された３次元顔形状データについての３Ｄ顔特徴点との位置が合うように、位置合わせ情報を用いて入力顔画像をテクスチャ画像として向き調整済み形状モデルにマッピングする。なお、マッピングは、入力顔画像の各画素の値を、３次元顔形状データの対応する位置の画素値とする処理である。
【００３９】
３次元顔モデル生成部５３は、作成した３次元顔モデルを登録対象者の識別コードと関連付けて記憶部４に記憶する。あるいは、３次元顔モデル生成部５３は、図示しない通信インターフェースを介して、作成した３次元顔モデル及び登録対象者の識別コードを他の機器へ出力してもよい。
【００４０】
図４は、一つの実施形態による顔画像処理装置１における、陰影異常判定処理を含む３次元顔モデル生成処理の動作を示すフローチャートである。なお、この３次元顔モデル生成処理は、画像処理部５によって制御される。
先ず、画像処理部５は、撮像部２からインターフェース部３を介して、登録対象者の顔が写っている入力顔画像を取得する（ステップＳ１０１）。そして画像処理部５は、取得した入力顔画像を登録対象者の識別コードに関連付けるとともに、画像処理部５の陰影異常領域抽出部５１へ渡す。
陰影異常領域抽出部５１は、入力顔画像から登録対象者の顔が写っている顔領域を抽出する（ステップＳ１０２）。そして陰影異常領域抽出部５１は、顔領域内で、輝度値が通常陰影輝度範囲から外れる画素を抽出し、抽出された画素により構成される領域を陰影異常領域とする（ステップＳ１０３）。陰影異常領域抽出部５１は、陰影異常領域を表す情報を画像処理部５の顔画像選択部５２へ渡す。
【００４１】
顔画像選択部５２は、顔領域の面積Sfaceに占める陰影異常領域の面積Sabnの割合（Sabn/Sface）が所定の閾値θs以下か否か判定する（ステップＳ１０４）。そしてその割合（Sabn/Sface）が所定の閾値θsよりも大きい場合、顔画像選択部５２は入力顔画像を廃棄する（ステップＳ１０５）。そして画像処理部５は、ステップＳ１０１以降の処理を繰り返す。
一方、その割合（Sabn/Sface）が所定の閾値θs以下である場合、顔画像選択部５２は入力顔画像を記憶部４に記憶する（ステップＳ１０６）。
【００４２】
その後、画像処理部５の３次元顔モデル生成部５３は、記憶部４に記憶されている入力顔画像と３次元顔形状データの位置合わせを行って、入力顔画像の各画素の値を位置合わせされた３次元顔形状データ上にマッピングすることにより、登録対象者の３次元顔モデルを生成する（ステップＳ１０７）。
画像処理部５は、作成した３次元顔モデルを登録対象者の識別コードと関連付けて記憶部４に記憶し、あるいは、３次元顔モデルを登録対象者の識別コードとともに、通信ネットワークを介して他の機器へ出力する。
その後、画像処理部５は、３次元顔モデル生成処理を終了する。
【００４３】
以上説明してきたように、この顔画像処理装置は、入力顔画像上で顔が写っている顔領域内において輝度値が異常に高いかあるいは異常に低い画素を検出することにより陰影異常領域が存在するか否かを判定する。これにより、この顔画像処理装置は、不適切な照明環境で撮影された入力顔画像か否かを判定できる。
そしてこの顔画像処理装置は、顔領域内に陰影異常領域が存在しないか、あるいは存在しても顔領域に占める陰影異常領域の割合が小さい入力顔画像を選択して３次元顔モデルを作成する。このように、この顔画像処理装置は、適切な照明環境で撮影された入力顔画像を選択的に利用して３次元顔モデルを作成するので、照合に適した３次元顔モデルを作成できる。
また、この顔画像処理装置は、陰影異常が生じた入力顔画像を選択的に廃棄して、３次元顔モデルの作成に利用しないようにするので、そのような陰影異常が生じる可能性のある場所を撮影するように撮像部を設置することができる。そのため、顔画像処理装置を設置可能な場所に関する条件を従来よりも緩和することができる。
【００４４】
なお、本発明は上記の実施形態に限定されるものではない。例えば、３次元顔モデル生成部は、入力顔画像の顔領域内で、陰影異常領域を除いた領域（以下、正常陰影領域と呼ぶ）に含まれる画素を３次元顔形状データにマッピングすることにより、３次元顔モデルを生成してもよい。この場合には、複数の入力顔画像が３次元顔モデルの生成に利用される。そして、最初の入力顔画像が３次元顔形状データにマッピングする際にマッピングされなかった陰影異常領域には、他の入力顔画像の正常陰影領域内の対応する画素が３次元顔形状データにマッピングされる。このように３次元顔モデル生成部は、複数の入力顔画像の正常陰影領域を合成することにより、一つの３次元顔モデルを生成できる。
【００４５】
また、顔画像処理装置は、画像選択部によって記憶すると判定された入力顔画像を、登録対象者の登録顔画像としてそのまま登録してもよい。この場合には、３次元顔モデル生成部は省略される。
また本発明は、顔画像照合装置に適用されてもよい。この場合、上記の画像処理部は、３次元顔モデル生成部の代わりに照合部を有する。そして記憶部には、予め登録された利用者の登録顔画像が記憶される。そして画像処理部の陰影異常領域抽出部は、撮像部により照合用として撮影された入力顔画像における顔領域に含まれる陰影異常領域を抽出する。そして画像選択部が、顔領域の面積に占める陰影異常領域の面積の割合が上記の閾値以下であると判定した場合に、照合部は、その入力顔画像と登録顔画像との照合処理を実行する。一方、画像選択部が、顔領域の面積に占める陰影異常領域の面積の割合が上記の閾値よりも大きいと判定した場合、画像処理部は、撮像部から再度入力顔画像を取得して、陰影異常の抽出及び照合処理を行う。
このように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００４６】
１ 顔画像処理装置
２ 撮像部
３ インターフェース部
４ 記憶部
５ 画像処理部
５１ 陰影異常領域抽出部
５２ 顔画像選択部
５３ ３次元顔モデル生成部
【特許請求の範囲】
【請求項１】
対象者の顔を撮影して入力顔画像を作成する撮像部と、
人物の顔の形状を表す３次元顔形状データとを記憶する記憶部と、
前記入力顔画像に含まれる対象者の顔領域において、該対象者の顔の構造以外に起因する陰影に対応する陰影異常領域を抽出する陰影異常領域抽出部と、
前記陰影異常領域が前記顔領域に占める割合が所定値よりも大きいと、前記入力顔画像の前記対象者の顔に、該対象者の顔の構造以外に起因する陰影が存在すると判定する陰影異常判定部と、
前記陰影異常判定部により前記対象者の顔に該対象者の顔の構造以外に起因する陰影が存在しないと判定された前記入力顔画像を、前記３次元顔形状データと位置合わせして、当該３次元顔形状データにマッピングすることにより、前記対象者の３次元顔モデルを生成する３次元顔モデル生成部と、
を有することを特徴とする顔画像処理装置。
【請求項２】
前記陰影異常領域抽出部は、前記顔領域に含まれる画素のうち、当該画素の輝度が前記対象者の顔の構造に起因して生じる陰影による輝度範囲に相当する通常陰影輝度範囲から外れる画素を前記陰影異常領域として抽出する、請求項１に記載の顔画像処理装置。
【請求項１】
対象者の顔を撮影して入力顔画像を作成する撮像部と、
人物の顔の形状を表す３次元顔形状データとを記憶する記憶部と、
前記入力顔画像に含まれる対象者の顔領域において、該対象者の顔の構造以外に起因する陰影に対応する陰影異常領域を抽出する陰影異常領域抽出部と、
前記陰影異常領域が前記顔領域に占める割合が所定値よりも大きいと、前記入力顔画像の前記対象者の顔に、該対象者の顔の構造以外に起因する陰影が存在すると判定する陰影異常判定部と、
前記陰影異常判定部により前記対象者の顔に該対象者の顔の構造以外に起因する陰影が存在しないと判定された前記入力顔画像を、前記３次元顔形状データと位置合わせして、当該３次元顔形状データにマッピングすることにより、前記対象者の３次元顔モデルを生成する３次元顔モデル生成部と、
を有することを特徴とする顔画像処理装置。
【請求項２】
前記陰影異常領域抽出部は、前記顔領域に含まれる画素のうち、当該画素の輝度が前記対象者の顔の構造に起因して生じる陰影による輝度範囲に相当する通常陰影輝度範囲から外れる画素を前記陰影異常領域として抽出する、請求項１に記載の顔画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−２１０１１４（Ｐ２０１１−２１０１１４Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１０−７８８３４（Ｐ２０１０−７８８３４）
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２２年３月３０日（２０１０．３．３０）
【出願人】（０００１０８０８５）セコム株式会社 (596)
【Ｆターム（参考）】
[ Back to top ]