顔認証装置及び顔認証方法
【課題】人物の顔認証の精度低下を抑止する。
【解決手段】実施形態の顔認証装置は、入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出し、複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに顔の特徴点を検出し、フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することでフレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、検出した顔の特徴点の検出結果を補正し、補正された顔の特徴点の検出結果をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う。
【解決手段】実施形態の顔認証装置は、入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出し、複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに顔の特徴点を検出し、フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することでフレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、検出した顔の特徴点の検出結果を補正し、補正された顔の特徴点の検出結果をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、顔認証装置及び顔認証方法に関する。
【背景技術】
【０００２】
従来から、監視カメラなどで撮像された動画像データに含まれる人物の顔領域から、予め記憶された顔画像の特徴情報に基づいて、人物を認証する技術が提案されている。この場合、動画像データに含まれている顔領域から特徴情報を抽出し、その抽出した特徴情報と予め記憶されている特徴情報とを比較することで、人物の認証を行っている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】福井和広、山口修、前田健一、「動画像を用いた顔認識システム」、電子情報通信学会研究報告ＰＲＭＵ、ｖｏｌ９７、Ｎｏ．１１３、ｐｐ１７−２４（１９９７）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、監視カメラの利用態様によってその監視カメラで撮像された人物の顔が認証に適さないフレーム画像があり、認証精度が低減することがあった。例えば、高所に設置された監視カメラでは、高い位置から見下ろして撮像していることから、監視カメラから近い場合には得られる顔のサイズ（解像度）が大きい一方で顔向きが正面向きになりにくく、監視カメラから遠い場合には正面向きに近くなる反面、顔のサイズが小さくなりやすい。したがって、監視カメラで複数のフレーム画像にわたって人物の顔を捉えたとしても、その全てのフレーム画像が高精度で人物の認証を行えるフレーム画像であるとは限らず、認証精度を低減させるフレーム画像も混じる場合があった。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、実施形態の顔認証装置は、動画像データを入力する画像入力手段と、前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出手段と、前記複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに顔の特徴点を検出する顔特徴、検出手段と、前記フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することで前記フレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び前記所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、前記顔特徴点検出手段が検出した顔の特徴点の検出結果を補正する補正手段と、前記補正された顔の特徴点の検出結果をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証手段とを備える。
【０００６】
また、実施形態の顔認証装置は、動画像データを入力する画像入力手段と、前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出手段と、前記複数のフレーム画像にわたって検出された顔領域に相当する複数の顔画像をもとに、所定のフレーム画像から検出された顔領域の画質を補正する画質補正手段と、前記複数のフレーム画像にわたって検出された顔領域と、前記補正された顔領域とをもとに、フレーム画像ごとに顔の特徴点を検出する顔特徴、検出手段と、前記検出された顔の特徴点をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証手段とを備える。
【０００７】
また、実施形態の顔認証方法は、顔認証装置の顔認証方法であって、動画像データを入力する画像入力工程と、前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出工程と、前記複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに顔の特徴点を検出する顔特徴点検出工程と、前記フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することで、前記フレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び前記所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、前記顔特徴点検出工程が検出した顔の特徴点の検出結果を補正する補正工程と、前記補正された顔の特徴点の検出結果をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証工程とを含む。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態にかかる顔認証装置の構成を例示するブロック図である。
【図２】図２は、カメラから入力される動画像データの一例を示す概念図である。
【図３】図３は、第１の実施形態にかかる顔認証装置の動作の一例を示すフローチャートである。
【図４】図４は、フレーム画像からの顔領域の検出を例示する概念図である。
【図５】図５は、検出された顔領域の画像からの顔の特徴点の検出を例示する概念図である。
【図６】図６は、フレーム画像ごとに検出された顔の特徴点を例示する概念図である。
【図７】図７は、検出結果補正処理の一例を示すフローチャートである。
【図８】図８は、検出結果補正処理の一例を示すフローチャートである。
【図９】図９は、フレーム画像ごとに検出された顔の特徴点を例示する概念図である。
【図１０】図１０は、検出結果補正処理の一例を示すフローチャートである。
【図１１】図１１は、フレーム画像ごとに検出された顔の特徴点を移動平均で補正する場合を例示する概念図である。
【図１２】図１２は、移動平均で補正する場合の検出結果補正処理の一例を示すフローチャートである。
【図１３】図１３は、フレーム画像ごとに検出された顔の向きに応じて重み付け値を変更する場合を例示する概念図である。
【図１４】図１４は、重み付け値を変更する場合の検出結果補正処理の一例を示すフローチャートである。
【図１５】図１５は、第２の実施形態にかかる顔認証装置の構成を例示するブロック図である。
【図１６】図１６は、第２の実施形態にかかる顔認証装置の動作の一例を示すフローチャートである。
【図１７】図１７は、第１、第２の実施形態にかかる顔認証装置のハードウエア構成を示したブロック図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態の顔認証装置及び顔認証方法を詳細に説明する。実施形態の顔認証装置及び顔認証方法は人を判別する方法として、撮影対象から得られた顔の領域を検出して顔の位置や顔の特徴を利用することで人物の情報を抽出し、事前に登録された人物の情報と一致するかどうかの判定結果で人物の認証を行う。本実施形態では人物領域として顔の領域を検出して顔の特徴情報を利用することで課題を実現する手順を説明するが、顔以外にも人物領域全身を検出する技術（Watanabeら,”Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection, In Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology” (PSIVT2009), pp. 37-47.）を利用し、その大きさを使うことでも実現が可能であり、人物の領域を検出する技術、またその人物領域内の特徴情報を計測する技術であれば本実施形態に記載した技術のみに限定される内容ではないことは明らかである。
【００１０】
（第１の実施形態）
図１は、第１の実施形態にかかる顔認証装置１００の構成を例示するブロック図である。図１に示すように、顔認証装置１００は、画像入力部１０１と、顔検出部１０２と、顔特徴点検出部１０３と、検出結果管理部１０４と、検出結果補正部１０５と、出力部１０６とを備える。また、顔認証装置１００は、カメラ１５０から撮像された動画像に基づいて、人物Ｈの認証を行う。
【００１１】
カメラ１５０は、所定の領域に対して撮影を行う。例えば、カメラ１５０は、通行路の入退場対象エリアに対して撮影を行う監視カメラ等であり、撮影結果である動画像データを生成する。そして、画像入力部１０１は、カメラ１５０からの動画像データを入力処理する。
【００１２】
カメラ１５０は、少なくとも１箇所、又は複数の地点に設置可能とする。また、カメラ１５０は、所定の領域に存在する人物の顔画像を入力するものであり、例えばＩＴＶ（Industrial Television）カメラとする。カメラ１５０は、カメラのレンズを通して得られた光学的な情報をＡ／Ｄ変換器によりデジタル化して所定のフレームレートのフレーム画像データを生成し、顔認証装置１００に対して出力する。
【００１３】
図２は、カメラ１５０から入力される動画像データの一例を示す概念図である。図２に示すように、カメラ１５０に向かって人物Ｈが歩いてくる場合には、フレーム画像Ｇ１〜Ｇ４にわたる一連のフレーム画像がカメラ１５０で撮像される。顔認証装置１００には、このカメラ１５０で撮像されたフレーム画像Ｇ１〜Ｇ４が画像入力部１０１に入力される。なお、本実施形態では、カメラ１５０が撮像した動画像データの入力を一例とした。しかしながら、画像入力部１０１に入力される動画像データは、ＤＶＲ（Digital Video Recorder）等に記録された動画像データであってもよいことは言うまでもないことである。
【００１４】
図３は、第１の実施形態にかかる顔認証装置１００の動作の一例を示すフローチャートである。以下では、図３に示すフローチャートを参照して、図１に示した顔検出部１０２、顔特徴点検出部１０３、検出結果管理部１０４、検出結果補正部１０５及び出力部１０６の順に動作の詳細を説明する。
【００１５】
顔検出部１０２は、画像入力部１０１により入力された動画像データから、複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する（図３、Ｓ１）。具体的には、顔検出部１０２は次のとおりにして顔領域を検出する。まず、顔検出部１０２は、入力された動画像データ（各フレーム画像）内において、当該動画像データ上の輝度情報を利用して顔の領域を示す座標を求める。当該顔の領域を検出する手法としては、どのような手法を用いても良い。本実施形態は、例として、文献（三田雄志ほか：「顔検出に適した共起に基づくJoint Haar-like特徴」電子情報通信学会論文誌(D),vol.J89-D, 8,pp1791-1801(2006)）に示された手法を用いて、顔領域の検出を行う。他の検出手法の例としては、予め用意されたテンプレートを、入力された画像データ内で移動させながら相関値を求めることで、最も高い相関値を与える位置を顔領域として検出する手法や、固有空間法や部分空間法を利用した顔抽出法等を用いる手法を適用しても良い。
【００１６】
また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔の領域の形状を異ならせても良いが、本実施形態は、説明を容易にするために、矩形形状の顔領域を検出する。図４は、フレーム画像Ｇ１０からの顔領域の検出を例示する概念図である。図４に示すように、フレーム画像Ｇ１０から矩形形状の顔領域Ｒ１〜Ｒ３の頂点を示す座標を、顔領域の検出結果とする。
【００１７】
ところで、監視カメラなどで撮影された映像データの場合、検出された同一人物の顔が複数のフレームにわたって連続して映っていることが想定される。このため、これらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この追跡処理の実現手法としては、オプティカルフローを用いて検出した顔が、次のフレームでどの位置に存在するかを推定し、対応付ける手法等を利用することで実現可能である。この追跡処理は、同一人物として対応付けられた顔領域が顔検出部１０２により検出されず、追跡終了の判定（図３、Ｓ３：ＹＥＳ）が行われるまで継続される。そして、後述する特徴抽出部１０６１は、同一人物として対応付けられた複数フレームの顔領域のうち、人物を認識するために、適切な画像を少なくとも１枚選択し、選択された顔領域から顔の特徴情報を抽出してもよい。また、特徴抽出部１０６１は、顔領域のサイズが大きくなる毎に、顔の特徴情報を抽出する処理を行うことで、最大のサイズの顔領域が検出されるまで任意の枚数の画像データを検出に利用しても良い。
【００１８】
顔特徴点検出部１０３は、追跡処理により顔検出部１０２により複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに目、鼻などの顔の特徴点を検出する顔特徴点検出処理を行う（図３、Ｓ２）。図５は、検出された顔領域の顔画像Ｇ１１からの顔の特徴点Ｒ１１〜Ｒ１４の検出を例示する概念図である。図５に示すように、顔検出部１０２により検出された顔領域の顔画像Ｇ１１からは、両目の瞳孔と口の両端などに対応した特徴点Ｒ１１〜Ｒ１４が検出される。なお、設定等によって検出すべき顔の特徴点は任意にかえることができるものとする。
【００１９】
顔特徴点検出部１０３における顔の特徴点の検出方法は、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文(D)、vol.J80-D-II、No.8、pp2170-2177(1997)）などの方法で実現可能である。本実施形態では顔領域の特徴を利用する例を記述したが虹彩・網膜・目の画像を対象として顔であるかどうかを判別する装置の場合にも上記処理によって検出された目の領域をもとにカメラをズームすることなどで検出が可能となる。また上記目・鼻の検出の他に口領域の検出については、文献（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集,pp219-224(2004)）の技術を利用することで容易に実現が可能である。いずれの場合でも二次元配列状の画像として取り扱える情報を獲得し、その中から顔特徴の領域を検出することが可能である。
【００２０】
また、これらの検出処理は、１枚の画像の中から１つの顔特徴だけを抽出するには全画像に対してテンプレートとの相関値を求め最大となる位置とサイズを出力すればよいし、複数の顔特徴を抽出するには画像全体に対する相関値の局所最大値を求め、一枚の画像内での重なりを考慮して顔の候補位置を絞り込み、最後は連続して入力された過去の画像との関係性（時間的な推移）も考慮して最終的に複数の顔特徴を同時に見つけることも可能となる。
【００２１】
また、マスク着用やサングラスの着用、帽子の着用といった場合でも検出できるようにするため、あらかじめサングラスやマスクや帽子で顔の一部が隠された場合の顔パターンでテンプレートを学習しておくことや、顔の特徴点の検出をする際にすべての点が検出できない場合でも一部の顔特徴点が十分な評価値で検出されれば残りの特徴点については二次元平面、または３次元的な顔のモデルを利用して検出された特徴点から残りの特徴点で推測することで実現が可能である。特徴点がまったく検出できなくなるぐらいにマスクや帽子やサングラスが特徴点を隠蔽している場合には、顔全体のパターンとして学習しておいて顔全体の位置を検出し、特徴点は顔全体の位置から推測することで実現が可能である。なお、複数の顔が画像内に存在した場合にも同様の処理をそれぞれの顔に対して実施することで実現できる。
【００２２】
検出結果管理部１０４は、顔検出部１０２および顔特徴点検出部１０３によって得られた顔の位置と顔の特徴点の位置情報、追跡処理によって得られたフレーム間の同一人物の歩行を対応づけた情報、顔画像情報、背景画像情報、その他にも時刻や場所などの情報を記録するデータベースである。検出結果管理部１０４が記録するデータベースは、検出結果補正部１０５において参照されて、顔の特徴点の位置情報が補正される。検出結果管理部１０４は、検出結果補正部１０５を適用した後のデータ（補正後の顔の特徴点の位置情報）を記録することも可能である。
【００２３】
検出結果補正部１０５は、フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することで、フレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、顔特徴点検出部１０３が検出した顔の特徴点の検出結果を補正する検出結果補正処理を行う（図３、Ｓ４）。
【００２４】
ここで、検出結果補正部１０５が行う検出結果補正処理の具体的な実施方法を説明する。検出結果補正処理は大きく検出精度の検証ステップと、検証された結果精度が低いとされたフレームに対する除外または補正のステップに分けられる。
【００２５】
まず、検出精度の検証方法について説明する。人物Ｈがフレーム追跡されたとき、顔検出結果の列（ｘ＿１，ｙ＿１），…，（ｘ＿ｔ，ｙ＿ｔ）、および、特徴点検出結果の列ｐ（１），ｐ（２），…，ｐ（ｔ）が与えられているものとする。ただし、ｐ（１），ｐ（２），…，ｐ（ｔ）は顔の部位Ｍ個のｘｙ座標値をならべた２Ｍ要素のベクトルとする。このとき、隣接するフレームについて変位ｄ（ｐ（ｔ），ｐ（ｔ−１））を計算し、変位が閾値θよりも大きい場合は検出失敗とみなし、検出結果を取り除く。この場合隣接するフレームだけでなく、該当フレーム以外に２フレーム以上選定してもよい。各部位について平均値、中央値を連続するフレーム数ｒ（ｒ＝１，…，ｔ）について計算し、事前に定めた所定のしきい値よりも大きい場合は人物の移動による要因と異なる変動であるとして検出精度が低い座標と判定する。なお、変位はユークリッドノルムであっても、１ノルムであっても、距離であればよい。顔の大きさに応じて縮尺をあわせることもできる。
【００２６】
図６は、フレーム画像Ｇ２１〜Ｇ２３ごとに検出された顔の特徴点を例示する概念図である。図６に例示したフレーム画像Ｇ２１〜Ｇ２３では、ｘ（ｔ−２）〜ｘ（ｔ）の特徴点Ｒ１１において、ｘ（ｔ）の特徴点Ｒ１１が変位が大きく検出失敗とされる。
【００２７】
前のステップにおいて検出精度が低いとされたフレームに対し、検出結果の除外または補正を行う。検出結果の除外については該当する顔領域の検出座標または顔特徴点の検出座標の片方または両方を検出しなかったこととして情報を除外し、後段の出力部１０６に出力しないことで実現が可能である。
【００２８】
図７は、検出結果補正処理の一例を示すフローチャートである。より具体的には、図７における検出結果補正処理では、フレーム画像ごとに検出された顔の特徴点の座標と、複数のフレーム画像から検出された顔の特徴点の座標の平均値との差分が所定値より大きい場合に、所定値より大きい顔の特徴点を所定の検出精度に満たない顔の特徴点としている。
【００２９】
図７に示すように、顔特徴点検出部１０３により顔の特徴点が検出されると（Ｓ２）、検出結果補正部１０５は、複数のフレーム画像から検出された顔の特徴点の座標について、フレーム間の平均を計算する（Ｓ４１）。次いで、検出結果補正部１０５は、フレーム画像ごとに検出された顔の特徴点の座標と、Ｓ４１で計算された平均との差分を計算し（Ｓ４２）、その差分が所定の閾値以上であるか否かを判定する（Ｓ４３）。
【００３０】
所定の閾値以上でない場合（Ｓ４３：ＮＯ）、顔の特徴点について検出成功とみなし、その顔の特徴点についての検出結果を後段の出力部１０６へ出力する処理を行う（Ｓ４４）。所定の閾値以上である場合（Ｓ４３：ＹＥＳ）は、顔の特徴点について検出失敗とみなし、その顔の特徴点についての検出結果を除外する（Ｓ４５）。
【００３１】
図８は、検出結果補正処理の一例を示すフローチャートである。より具体的には、図８における検出結果補正処理では、フレーム画像ごとに検出された顔の特徴点の座標と、直近のフレーム画像から検出された顔の特徴点の座標との間の移動量が所定値より大きい場合に、その所定値より大きい顔の特徴点を所定の検出精度に満たない顔の特徴点としている。
【００３２】
図８に示すように、顔特徴点検出部１０３により顔の特徴点が検出されると（Ｓ２）、検出結果補正部１０５は、顔の特徴点である顔部品の数をカウントするための変数ｉの初期化（ｉ＝１）を行い（Ｓ５１）、各フレーム画像において、全ての顔部品の数（Ｎ）を超えるまで（ｉ＞Ｎ）、Ｓ５２〜Ｓ５７の処理を行う。
【００３３】
具体的には、検出結果補正部１０５は、顔の特徴点の部位（ｉ）について、直近のフレームとの間の移動量（ｄ（ｔ）＝｜｜ｘ（ｔ）−ｘ（ｔ−１）｜｜）を計算し（Ｓ５３）、部位（ｉ）以外の移動量のパーツに関する平均を計算する（Ｓ５４）。次いで、検出結果補正部１０５は、Ｓ５３とＳ５４とで計算した値の差が所定の閾値以上であるか否かを判定する（Ｓ５５）。所定の閾値以上でない場合（Ｓ５５：ＮＯ）、顔の特徴点について検出成功とみなし、変数ｉをインクリメントして（Ｓ５６）、Ｓ５２へ処理を戻す。所定の閾値以上である場合（Ｓ５５：ＹＥＳ）、顔の特徴点について検出失敗とみなし、その顔の特徴点についての検出結果を除外して変数ｉをインクリメントした後（Ｓ５７）、Ｓ５２へ処理を戻す。Ｓ５２〜Ｓ５７の処理が行われた後（Ｓ５２：ＹＥＳ）、検出結果補正部１０５は、Ｓ５７で除外した検出結果以外の検出結果を、出力部１０６へ出力する処理を行う（Ｓ５８）。
【００３４】
なお、上述した検出結果補正処理では、一つのフレーム画像において、検出失敗とみなされた顔の特徴点の個数が所定の閾値以上である場合に、そのフレーム画像から検出された顔の特徴点の全てを検出結果から除外又は補正してもよい。図９は、フレーム画像Ｇ３１、Ｇ３２ごとに検出された顔の特徴点を例示する概念図である。図９に示すように、フレーム画像Ｇ３２における特徴点Ｒ１１、Ｒ１４の２つが検出失敗とみなされた場合は、フレーム画像Ｇ３２における顔画像はノイズの混入などで信用できないことから、そのフレーム画像Ｇ３２における顔の特徴点を検出結果から除外又は補正する。
【００３５】
図１０は、検出結果補正処理の一例を示すフローチャートである。
より具体的には、図１０における検出結果補正処理では、検出失敗とみなされた顔の特徴点の個数が所定の閾値以上である場合に、そのフレーム画像から検出された顔の特徴点の全てを検出結果から除外している。
【００３６】
図１０に示すように、顔特徴点検出部１０３により顔の特徴点が検出されると（Ｓ２）、検出結果補正部１０５は、顔の特徴点である顔部品の数をカウントするための変数ｉの初期化（ｉ＝１）と、検出失敗とみなされた顔の特徴点の個数をカウントするための変数Ｃの初期化（Ｃ＝０）を行い（Ｓ６１）、各フレーム画像において、全ての顔部品の数（Ｎ）を超えるまで（ｉ＞Ｎ）、Ｓ６２〜Ｓ６６の処理を行う。
【００３７】
具体的には、検出結果補正部１０５は、顔の特徴点の部位（ｉ）について、直近のフレームとの間の移動量（ｄ（ｔ）＝｜｜ｘ（ｔ）−ｘ（ｔ−１）｜｜）を計算し（Ｓ６３）、変数ｉをインクリメントした後（Ｓ６４）、Ｓ６３で計算した移動量が所定の閾値θ以上であるか否かを判定する（Ｓ６５）。所定の閾値θ以上である場合（Ｓ６５：ＹＥＳ）、その顔の特徴点は検出失敗とみなし、変数Ｃをインクリメントした後（Ｓ６６）、Ｓ６２へ処理を戻す。所定の閾値θ以上でない場合（Ｓ６５：ＮＯ）、その顔の特徴点は検出成功とみなし、変数Ｃをインクリメントすることなく、Ｓ６２へ処理を戻す。
【００３８】
Ｓ６２〜Ｓ６６の処理が行われた後（Ｓ６２：ＹＥＳ）、検出結果補正部１０５は、変数Ｃが所定の閾値Ω以上であるか否か、すなわちフレーム画像において検出失敗とみなされた顔の特徴点の個数が所定の閾値Ω以上あるか否かを判定する（Ｓ６７）。変数Ｃが所定の閾値Ω以上でない場合（Ｓ６７：ＮＯ）、検出結果補正部１０５は、そのフレーム画像から検出された顔の特徴点を出力部１０６へ出力する処理を行う（Ｓ６８）。変数Ｃが所定の閾値Ω以上である場合（Ｓ６７：ＹＥＳ）、検出結果補正部１０５は、そのフレーム画像から検出された顔の特徴点を検出結果より除外する（Ｓ６９）。
【００３９】
一方、検出結果の補正については、同一人物として対応付けられている他のフレームの顔領域座標または顔特徴点の座標の情報を利用して補正をする。具体的には、Ｔフレーム目の座標の値を補正するにはＴ−２からＴ−１フレームの移動量をＴ−１フレームに加えてＴフレーム目を予測する、またはＴ−１とＴ＋１フレームの平均値（移動平均）を求めてＴフレームの座標を求めるといった簡単な方法で実現が可能である。なお、ｔ−２フレーム目からｔ−１フレーム目の移動が観測された場合、単純に等しい動作をすればｔフレーム目ではこの場所にいるはずであるという予測が可能であり、その座標にそった形でｔフレーム目で顔が検出されれば補正が不要であるが、極端にずれた位置で顔が検出された場合に精度が低い可能性があると判定する。なお、この説明ではＴフレーム以外の２フレームを利用したがフレーム数を増やすことや、予測を線形ではなく非線形にすることで精度を上げることも可能である。
【００４０】
図１１は、フレーム画像Ｇ２１〜Ｇ２３ごとに検出された顔の特徴点を移動平均で補正する場合を例示する概念図である。図１１に例示したフレーム画像Ｇ２１〜Ｇ２３では、ｘ（ｔ−２）〜ｘ（ｔ）の特徴点Ｒ１１において、ｘ（ｔ）の特徴点Ｒ１１が変位が大きく検出失敗とされる。この特徴点Ｒ１１を、フレーム画像Ｇ２１、Ｇ２２で検出された特徴点Ｒ１１の移動平均をもとに算出された特徴点Ｒ１１ａとして補正する。
【００４１】
図１２は、移動平均で補正する場合の検出結果補正処理の一例を示すフローチャートである。図１２に示すように、顔特徴点検出部１０３により顔の特徴点が検出されると（Ｓ２）、検出結果補正部１０５は、遡るフレーム数をカウントするための変数ｉの初期化（ｉ＝１）と、顔の特徴点ｘ（ｔ）の取得とを行い（Ｓ７１）、Ｔとして設定されるフレーム数分遡るまで（ｉ＞Ｔ）、Ｓ７２〜Ｓ７５の処理を行う。
【００４２】
具体的には、検出結果補正部１０５は、ｃ（ｉ）＝１／Ｔを算出し（Ｓ７３）、遡るフレーム数間における顔の特徴点の移動平均（ｘ（ｔ）＝ｘ（ｔ）＋ｃ（ｔ）・ｘ（ｔ−１））を算出して（Ｓ７４）、ｉをインクリメントした後（Ｓ７５）、Ｓ７２へ処理を戻す。
【００４３】
Ｓ７２〜Ｓ７５の処理が行われた後（Ｓ７２：ＹＥＳ）、検出結果補正部１０５は、移動平均で算出された顔の特徴点を出力部１０６へ出力する処理を行う（Ｓ７６）。
【００４４】
また、人物が移動することを想定したモデルをもたせて顔の位置を時系列で予測する方法でも実現できる。具体的には、パーティクルフィルタ（D. MIKAMI, K. Otsuka, J. Yamato, Memory-based Particle Filter for Face Pose Tracking Robust under Complex Dynamics, CVPR 2009, pp. 999-1006）、およびARMAモデル（M. H. Ghaeminia, A. H. Shabani, S. B. Shokouhi, Adaptive Motion Model for Human Tracking Using Particle Filter, ICPR 2010, pp. 2073--2076.）のような時系列予測の手法を用いることで実現が可能である。
【００４５】
これらの特徴点座標の補正処理は顔の状態によらず処理をすることを説明したが、顔の向きや顔のサイズに応じて補正処理に利用する画像の重みを変更することも可能である。例えば事前に向きの異なる顔パターンを多数準備しておいて、入力された顔パタンとのマッチングを取ることでむきを判定するといったシンプルな方法でも実現可能である。より精度よくむきを求める場合には、検出された顔の特徴点の二次元画像上での配置からもとの顔の三次元的な配置を求めることも可能であり、類似した手法で顔の向きは求めることが可能である。
【００４６】
前述の特徴点座標を補正する際には、顔の見えている領域の座標を優先度高く利用し、顔の見えていない場所については優先度をさげて利用することでより画質を高くすることが可能となる。図１３は、フレーム画像Ｇ４１〜Ｇ４３ごとに検出された顔の向きに応じて重み付け値を変更する場合を例示する概念図である。例えば図１３に示すように、一歩行の中では歩行位置によってフレーム画像Ｇ４２のように下を向く場合もあることから、顔の中で見える領域が異なる。この場合、手前にきた場合には顔の上領域を優先的に利用する一方で、俯角の影響で見えにくい顔の下の領域（口やあご、鼻の穴など）は積極的に利用しないといったことが可能である。すなわち、フレーム画像Ｇ４１で検出された特徴点Ｒ１１の重み付けを大きくし、フレーム画像Ｇ４２で検出された特徴点Ｒ１１の重み付けを小さくする。そして、検出失敗とみなされたフレーム画像Ｇ４３の特徴点Ｒ１１について、重み付け平均で得た特徴点Ｒ１１ｂとして補正する。また俯角の影響以外に人間の顔の向きがきょろきょろと変わった場合にもその都度優先度の高い領域と低い領域をかえることで検出座標の精度低下を免れることが可能となる。重み付けについても前述の説明で平均をとっていた計算を重み付け平均に変更することで実現が可能となる。
【００４７】
図１４は、重み付け値を変更する場合の検出結果補正処理の一例を示すフローチャートである。図１４に示すように、前述したＳ７２：ＮＯに次いで、検出結果補正部１０５は、フレーム（ｔ−ｉ）の顔角度φを、そのフレームに含まれる顔の特徴点の座標をもとに計算する（Ｓ７２ａ）。次いで、検出結果補正部１０５は、Ｓ７２ａで計算した顔角度φが所定の閾値Φ以上であるか否か、例えば顔が下を向いているか否かを判定する（Ｓ７２ｂ）。
【００４８】
顔角度φが所定の閾値Φ以上でない場合（Ｓ７２ｂ：ＮＯ）、例えば顔が正面を向いていることから、検出結果補正部１０５はそのままの値（重み付けを１）で移動平均を算出する（Ｓ７３〜Ｓ７５）。顔角度φが所定の閾値Φ以上である場合（Ｓ７２ｂ：ＹＥＳ）、例えば顔が下を向いていることから、検出結果補正部１０５はｃ（ｉ）＝０（重み付けを０）として（Ｓ７２ｃ）、移動平均を算出する（Ｓ７４，Ｓ７５）。
【００４９】
図１、図３を用いた説明に戻る。出力部１０６では、検出結果補正部１０５で得られた結果については、本実施形態においてその結果を液晶モニタやＣＲＴモニタなどの表示部１０６４に表示するカメラ１５０からの映像に対して、顔の領域を示す矩形情報をオーバーレイ表示することで顔を検出したことの結果出力とする。また、システムとして、顔検出や顔特徴点検出の画像内の位置情報とともに入力画像全体、または顔画像を含む領域を切り出して記録してもよい。
【００５０】
また、映像中から顔を検出して表示や記録を行う応用を述べたが、このシステムを拡張し、人物の顔画像照合の精度向上に応用することも可能である。基本となる構成は、特徴抽出部１０６１、人物情報管理部１０６２、認識部１０６３、表示部１０６４である。
【００５１】
特徴抽出部１０６１は、顔の領域の情報（検出結果補正部１０５を介して出力された顔の特徴点）から個人を識別するための特徴情報（以降「顔特徴」とはこの個人を識別するための特徴情報を示すこととする）を数値として出力する。まずは顔検出部１０２によって検出された顔の部品の位置をもとに、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらは単純類似度法という手法によりベクトルとベクトルの長さをそれぞれ１とするように正規化を行い、内積を計算することで特徴ベクトル間の類似性を示す類似度が求められる。詳しくは文献（エルッキ・オヤ著、小川英光、佐藤誠訳、「パターン認識と部分空間法」、産業図書、１９８６年）にあるように部分空間法を利用することで実現できる。
【００５２】
文献（東芝（小坂谷達夫）：「画像認識装置、方法およびプログラム」、特許公報：特開２００７−４７６７）にあるように１枚の顔画像情報に対してモデルを利用して顔の向きや状態を意図的に変動させた画像を作成することによってより精度の高まる手法を適用してもよい。１枚の画像から顔の特徴を求める場合にはここまでの処理で顔特徴抽出は完了する。一方で同一人物に対して連続した複数の画像を利用した動画像による計算をすることでより精度の高い認識処理が行うこともできる。具体的には文献（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」電子情報通信学会研究報告ＰＲＭＵ，ｖｏｌ９７，Ｎｏ．１１３，ｐｐ１７−２４（１９９７）、前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」， 電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−−３５２（１９８５） ）にある相互部分空間法を用いる方法で説明する。
【００５３】
画像入力部１０１から連続して得られた画像から顔特徴点検出部１０３と同様にｍ×ｎピクセルの画像を切り出しこれらのデータを特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施例では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃｄ＝Φｄ Λｄ Φｄ Ｔ と対角化して、固有ベクトルの行列Φを求める。この情報が現在認識対象としている人物の顔の特徴を示す部分空間となる。このような方法で出力された部分空間のような特徴情報を入力された画像で検出された顔に対する個人の特徴情報とする。
【００５４】
人物情報管理部１０６２では、後述の認識部１０６３で検索するときに利用する対象となるデータベースであり、検索対象となる個人ごとに特徴抽出部１０６１で出力された顔特徴情報、および性別や年齢、身長など属性判別手段で判別可能な属性情報のように人物に関する付随した情報を同一の人物ごとに対応付けて管理する。顔特徴情報および属性特徴情報として実際に管理する内容は特徴抽出部１０６１で出力されたデータそのものでよく、ｍ×ｎの特徴ベクトルや、部分空間やＫＬ展開を行う直前の相関行列でも構わない。さらに、特徴抽出部１０６１で出力される特徴情報を画像入力部１０１より登録時に入力された顔画像とともに管理することで個人の検索や検索の表示に利用することができる。また、要注意の有無を指定して、後述する処理で検索結果の優先度を指定することも実現可能である。
【００５５】
認識部１０６３は、特徴抽出部１０６１で得られた入力画像の顔特徴情報と、対応する人物情報管理部１０６２の中の顔特徴情報との類似性を示す計算を行ってより類似性の高いものから順番に結果を返す処理を行う。また人物情報管理部１０６２で説明したように所定の属性情報に絞り込んで人物情報管理部１０６２を一部分だけ検索するといったことも可能である。この際に検索処理の結果としては類似性の高いものから順番に人物情報管理部１０６２内で個人を識別するために管理されている人物ＩＤ，計算結果である類似性を示す指標を返す。それに加えて人物情報管理部１０６２で個人ごとに管理されている情報を一緒に返すようにしてもかまわないが、基本的に識別ＩＤにより対応付けが可能であるので検索処理自体では付属情報をやりとりすることはなくても実現が可能となる。
【００５６】
類似性を示す指標としては顔特徴情報として管理されている部分空間同士の類似度とする。計算方法は、部分空間法や複合類似度法などの方法を用いてよい。この方法では、予め蓄えられた登録情報の中の認識データも、入力されるデータも複数の画像から計算される部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力手段分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、Ｃｉｎ＝ΦｉｎΛｉｎΦｉｎＴ と対角化し、固有ベクトルΦｉｎを求める。二つのΦｉｎ，Φｄ で表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。
【００５７】
具体的な計算方法については特徴抽出部１０６１で紹介した文献（エルッキオヤ）で実現が可能である。また、あらかじめ同一人物と分かる複数の顔画像をまとめて部分空間への射影によって本人であるかどうかを識別することで精度を向上させることも可能であり、文献（福井・小坂谷）でも同様の処理を行うこともできる。高速に検索するにはＴＲＥＥ構造を利用した検索方法なども利用可能である。
【００５８】
表示部１０６４では、認識部１０６３によって検索された結果のうち指定した条件にあうものをリアルタイムに表示するリアルタイム顔検索結果表示と、認識部１０６３によって検索された結果を検索履歴として保存しておき、後から条件を指定することで該当する検索履歴だけ表示するオフラインの顔検索結果表示のいずれか一方、または両方を組み込むことが可能である。
【００５９】
以上により、本実施形態にかかる顔認証装置１００では、監視用途のような高所に設置したカメラ１５０の映像から人物Ｈの顔を検出するとき、フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することでフレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、検出した顔の特徴点の検出結果を補正することで、顔検出や顔特徴点の検出処理の精度を向上させる効果がある。
【００６０】
（第２の実施形態）
図１５は、第２の実施形態にかかる顔認証装置２００の構成を例示するブロック図である。図１５に示すように、顔認証装置２００は、前述した顔検出部１０２と、顔特徴点検出部１０３との間で処理を行うための検出顔領域管理部２０１、顔領域画像補正部２０２を備える。
【００６１】
検出顔領域管理部２０１は、後述の顔領域画像補正部２０２において利用するデータベースであり、顔検出部１０２によって得られた顔の位置情報、追跡処理によって得られたフレーム間の同一人物の歩行を対応づけた情報、顔画像情報、背景画像情報、その他にも時刻や場所などの情報を記録するデータベースである。管理する情報としては、照合処理などのために特徴抽出処理を適用した後の特徴量を記録することも可能である。また、マスクやサングラスや他の人物による隠蔽などがある場合はこの情報も記録することも可能である。
【００６２】
顔領域画像補正部２０２は、検出顔領域管理部２０１を参照して、複数のフレーム画像にわたって検出された顔領域に相当する複数の顔画像をもとに、所定のフレーム画像から検出された顔領域の画質を補正する。具体的には、顔領域画像補正部２０２は、顔検出部１０２によって同一人物の一連の歩行を撮影した複数のフレームにわたって対応付けされて追跡された顔検出結果と顔画像の系列から、処理対象となる各画像に応じて１枚または複数枚のフレーム画像を選び、同様に得られたほかのフレームの画像を利用して画像の品質を補正する。
【００６３】
具体的には、図２に示すようにカメラ１５０から遠い場所での小さく映った顔とカメラから近い場所に映った大きな顔の特性を利用して画像の補正や合成といった処理を行う。ここで処理対象としているのは入力されたフレーム画像全てであってもよいし、複数のフレーム画像から最も顔領域画像として見やすいフレーム画像、サイズが大きなフレーム画像、顔が正面を向いているフレーム画像を少なくとも１枚選んだフレーム画像のどちらであってもよく、抽出されたフレーム画像に対して補正が必要であるかどうかを判定する。
【００６４】
フレーム画像の品質判定としては顔領域画像の明るさ、顔領域画像のコントラスト、顔領域画像のノイズの有無、顔領域画像のサイズ（解像度）、顔領域画像のぼけ具合を対象とし、明るさについては顔領域の輝度値のヒストグラムをとってその平均値を見ることや平均値から所定の標準偏差内に含まれる輝度の平均値をとることで判断が可能で、所定の上限しきい値より前述の値が高い場合には「明るすぎ」、所定の下限しきい値より低い場合には「暗すぎ」と判定して補正をかけるようにする。同様にコントラストについては同様に顔領域の輝度値のヒストグラムを作成して輝度値の分散を計算することで求められる。はずれ値を除去しながら最も明るい値、暗い値をとってその輝度値の差をとってもよい。ノイズについては顔領域画像の周波数成分をＦＦＴで求め、所定のしきい値以上の周波数成分の強度が強い場合にノイズが高いと判断する。サイズについては顔領域画像のサイズをそのまま利用すればよい。ぼけ具合についてはノイズ判定の逆で顔領域画像にＦＦＴ処理をかけ、高周波成分の強度が所定のしきい値より低い場合にぼけていると判断すればよい。このようにいくつかの輝度値の分布を計算で求めることにより補正が必要であるかの判断が可能であり、これらの判断は少なくとも１つだけ行ってもよいし、全て行ってもよい。
【００６５】
前述の品質判定を行った結果必要とされた場合に行う画像補正処理として、複数の画像を利用して補正可能な処理なら任意の処理が適用可能であるが、具体的には顔領域画像の高解像度化（超解像）、ノイズ除去、輝度階調の拡大、ぼけ補正、といった処理が適用可能であり、本実施形態でも少なくともこの処理の中の１つ、または複数同時に適用してもよい構成であることは明らかである。
【００６６】
高解像度化（超解像）については、時間的に離れていない複数のフレーム間で対応点の対応付けを行った上で、同じ位置に対応すると思われる画素の輝度値情報を利用してより解像度の高い画像をより自然に合成する処理である。具体的には、S. C. Park, M. K. Park, and M. G. Kang., "Super-resolution image reconstruction: a technical overview", IEEE Signal Processing Magazine, 20(3):21-36, May 2003.などの高解像度化処理を適用することで実現が可能である。また、この場合複数のフレーム間での位置あわせ処理が重要な情報となるため、高解像度化処理で利用するフレームが決まった場合に、顔検出の位置情報を利用して、顔がフレーム間の移動量が一定の閾値φ以下である場合は、重ね合わせに使用しない。また、逆に移動量が一定の閾値Φ以上である場合は、変動が大きいので検出が誤検出であることや、重ね合わせ処理の誤差が大きくなるので、高解像度化の処理に利用しないと判断する。
【００６７】
ノイズ除去についても、高解像度化と同様に複数フレーム間にわたっての座標の対応付けを行って人物の顔領域の同一箇所に相当する画素を対応付け、顔領域の同じ部位であれば輝度や色情報はほぼ同等であるという想定から、複数フレーム間での平均値、または外れ値除去した後の平均値、中間値といった情報を取ることにより、ノイズの除去を行うことが可能である。
【００６８】
輝度階調の拡大についても、複数枚の画像の露出が異なる場合はこれらを組合せて高階調化処理も実行することも可能である（例えば、Paul E. Debevec Jitendra Malik: Recovering High Dynamic Range Radiance Maps from Photographs, SIGGRAPH 1997.）。
【００６９】
明るさの補正についても輝度階調の拡大処理と同様の処理をかけた上で明るすぎる場合には暗い階調側の輝度情報を利用し、暗すぎる場合には明るい階調側の輝度情報を利用する。ぼけ補正についても、同様に複数フレームでの位置あわせを行った後について、エッジ情報の弱い領域（エッジ強度が所定のしきい値未満）であればそのままの値を利用、または複数フレームにわたっての輝度や色情報の平均値をとり、エッジ強度が所定のしきい値以上であれば平均値をとらずエッジ強度の強いフレームの情報を利用する、複数フレームでノイズ除去をしながらエッジ強調処理をかけるといったことでぼけた映像を複数のフレームを利用することでボケを軽減することが可能である。
【００７０】
これらの補正処理は顔の状態によらず処理をすることを説明したが、第１の実施形態と同様に顔の向きや顔のサイズに応じて補正処理に利用する画像の重みを変更することも可能である。前述の画像品質を補正する際には、顔の見えている領域の座標を優先度高く利用し、顔の見えていない場所については優先度をさげて利用することでより画質を高くすることが可能となる。たとえば一歩行の中では図２に示すように歩行位置によって顔の中で見える領域が異なる。この場合、手前にきた場合には顔の上領域を優先的に利用する一方で、俯角の影響で見えにくい顔の下の領域（口やあご、鼻の穴など）は積極的に利用しないといったことが可能である。また俯角の影響以外に人間の顔の向きがきょろきょろと変わった場合にもその都度優先度の高い領域と低い領域をかえることで品質の低下を免れることが可能となる。
【００７１】
また、これらの補正処理は入力された映像の品質を判断することで補正をするかしないかを切り替えるようにしてもよく、入力された映像にあわせて入力映像より品質の高い顔領域域を得ることができる。
【００７２】
図１６は、第２の実施形態にかかる顔認証装置２００の動作の一例を示すフローチャートである。図１６に示すように、顔領域画像補正部２０２は、顔検出部１０２の検出結果をもとに顔の隠蔽の有無を判定する（Ｓ１ａ）。隠蔽がある場合（Ｓ１ａ：ＹＥＳ）、そのフレーム画像は上述した顔領域の補正処理から除外する（Ｓ１ｂ）。隠蔽がない場合（Ｓ１ａ：ＮＯ）、顔領域画像補正部２０２は、上述した顔領域の補正処理を行う（Ｓ１ｃ）。次いで、顔領域の補正処理が行われたフレーム画像を使って顔特徴点検出部１０３が顔の特徴点を検出する処理を行い（Ｓ２）、出力部１０６への出力処理（Ｓ５）を行うことで、精度の高い特徴点検出が可能となるほか、記録する映像の画像品質を高めることが可能となる。
【００７３】
図１７は、上述した第１、第２実施形態にかかる顔認証装置１００、２００のハードウェア構成を示した図である。図１７に示すように、顔認証装置１００、２００は、ＣＰＵ１１０１と、ＲＯＭ（Read Only Memory）１１０２と、ＲＡＭ（Random Access Memory）１１０３と、通信Ｉ／Ｆ１１０４と、ＨＤＤ１１０５と、表示装置１１０６と、キーボードやマウスなどの入力デバイス１１０７と、これらを接続するバス１１０８と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００７４】
本実施形態の顔認証装置１００、２００で実行される顔認識プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００７５】
また、本実施形態の顔認証装置１００、２００で実行される顔認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の顔認識装置１００、２００で実行される顔認識プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の顔認識プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００７６】
本実施形態の顔認証装置１００、２００で実行される顔認識プログラムは、上述した各構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１１０１が上記記憶媒体から顔認識プログラムを読み出して実行することにより上記各構成がＲＡＭ１１０３上にロードされ、上記各構成がＲＡＭ１１０３上に生成される。
【００７７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７８】
１００、２００…顔認証装置、１０１…画像入力部、１０２…顔検出部、１０３…顔特徴点検出部、１０４…検出結果管理部、１０５…検出結果補正部、１０６…出力部、１５０…カメラ、２０１…検出顔領域管理部、２０２…顔領域画像補正部、１０６１…特徴抽出部、１０６２…人物情報管理部、１０６３…認識部、１０６４…表示部、Ｇ１〜Ｇ１０、Ｇ２１〜Ｇ４３…フレーム画像、Ｇ１１…顔画像、Ｈ…人物、Ｒ１〜Ｒ３…顔領域、Ｒ１１〜Ｒ１４…特徴点
【技術分野】
【０００１】
本発明の実施形態は、顔認証装置及び顔認証方法に関する。
【背景技術】
【０００２】
従来から、監視カメラなどで撮像された動画像データに含まれる人物の顔領域から、予め記憶された顔画像の特徴情報に基づいて、人物を認証する技術が提案されている。この場合、動画像データに含まれている顔領域から特徴情報を抽出し、その抽出した特徴情報と予め記憶されている特徴情報とを比較することで、人物の認証を行っている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】福井和広、山口修、前田健一、「動画像を用いた顔認識システム」、電子情報通信学会研究報告ＰＲＭＵ、ｖｏｌ９７、Ｎｏ．１１３、ｐｐ１７−２４（１９９７）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術では、監視カメラの利用態様によってその監視カメラで撮像された人物の顔が認証に適さないフレーム画像があり、認証精度が低減することがあった。例えば、高所に設置された監視カメラでは、高い位置から見下ろして撮像していることから、監視カメラから近い場合には得られる顔のサイズ（解像度）が大きい一方で顔向きが正面向きになりにくく、監視カメラから遠い場合には正面向きに近くなる反面、顔のサイズが小さくなりやすい。したがって、監視カメラで複数のフレーム画像にわたって人物の顔を捉えたとしても、その全てのフレーム画像が高精度で人物の認証を行えるフレーム画像であるとは限らず、認証精度を低減させるフレーム画像も混じる場合があった。
【課題を解決するための手段】
【０００５】
上述した課題を解決するために、実施形態の顔認証装置は、動画像データを入力する画像入力手段と、前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出手段と、前記複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに顔の特徴点を検出する顔特徴、検出手段と、前記フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することで前記フレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び前記所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、前記顔特徴点検出手段が検出した顔の特徴点の検出結果を補正する補正手段と、前記補正された顔の特徴点の検出結果をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証手段とを備える。
【０００６】
また、実施形態の顔認証装置は、動画像データを入力する画像入力手段と、前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出手段と、前記複数のフレーム画像にわたって検出された顔領域に相当する複数の顔画像をもとに、所定のフレーム画像から検出された顔領域の画質を補正する画質補正手段と、前記複数のフレーム画像にわたって検出された顔領域と、前記補正された顔領域とをもとに、フレーム画像ごとに顔の特徴点を検出する顔特徴、検出手段と、前記検出された顔の特徴点をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証手段とを備える。
【０００７】
また、実施形態の顔認証方法は、顔認証装置の顔認証方法であって、動画像データを入力する画像入力工程と、前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出工程と、前記複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに顔の特徴点を検出する顔特徴点検出工程と、前記フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することで、前記フレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び前記所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、前記顔特徴点検出工程が検出した顔の特徴点の検出結果を補正する補正工程と、前記補正された顔の特徴点の検出結果をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証工程とを含む。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態にかかる顔認証装置の構成を例示するブロック図である。
【図２】図２は、カメラから入力される動画像データの一例を示す概念図である。
【図３】図３は、第１の実施形態にかかる顔認証装置の動作の一例を示すフローチャートである。
【図４】図４は、フレーム画像からの顔領域の検出を例示する概念図である。
【図５】図５は、検出された顔領域の画像からの顔の特徴点の検出を例示する概念図である。
【図６】図６は、フレーム画像ごとに検出された顔の特徴点を例示する概念図である。
【図７】図７は、検出結果補正処理の一例を示すフローチャートである。
【図８】図８は、検出結果補正処理の一例を示すフローチャートである。
【図９】図９は、フレーム画像ごとに検出された顔の特徴点を例示する概念図である。
【図１０】図１０は、検出結果補正処理の一例を示すフローチャートである。
【図１１】図１１は、フレーム画像ごとに検出された顔の特徴点を移動平均で補正する場合を例示する概念図である。
【図１２】図１２は、移動平均で補正する場合の検出結果補正処理の一例を示すフローチャートである。
【図１３】図１３は、フレーム画像ごとに検出された顔の向きに応じて重み付け値を変更する場合を例示する概念図である。
【図１４】図１４は、重み付け値を変更する場合の検出結果補正処理の一例を示すフローチャートである。
【図１５】図１５は、第２の実施形態にかかる顔認証装置の構成を例示するブロック図である。
【図１６】図１６は、第２の実施形態にかかる顔認証装置の動作の一例を示すフローチャートである。
【図１７】図１７は、第１、第２の実施形態にかかる顔認証装置のハードウエア構成を示したブロック図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して実施形態の顔認証装置及び顔認証方法を詳細に説明する。実施形態の顔認証装置及び顔認証方法は人を判別する方法として、撮影対象から得られた顔の領域を検出して顔の位置や顔の特徴を利用することで人物の情報を抽出し、事前に登録された人物の情報と一致するかどうかの判定結果で人物の認証を行う。本実施形態では人物領域として顔の領域を検出して顔の特徴情報を利用することで課題を実現する手順を説明するが、顔以外にも人物領域全身を検出する技術（Watanabeら,”Co-occurrence Histograms of Oriented Gradients for Pedestrian Detection, In Proceedings of the 3rd Pacific-Rim Symposium on Image and Video Technology” (PSIVT2009), pp. 37-47.）を利用し、その大きさを使うことでも実現が可能であり、人物の領域を検出する技術、またその人物領域内の特徴情報を計測する技術であれば本実施形態に記載した技術のみに限定される内容ではないことは明らかである。
【００１０】
（第１の実施形態）
図１は、第１の実施形態にかかる顔認証装置１００の構成を例示するブロック図である。図１に示すように、顔認証装置１００は、画像入力部１０１と、顔検出部１０２と、顔特徴点検出部１０３と、検出結果管理部１０４と、検出結果補正部１０５と、出力部１０６とを備える。また、顔認証装置１００は、カメラ１５０から撮像された動画像に基づいて、人物Ｈの認証を行う。
【００１１】
カメラ１５０は、所定の領域に対して撮影を行う。例えば、カメラ１５０は、通行路の入退場対象エリアに対して撮影を行う監視カメラ等であり、撮影結果である動画像データを生成する。そして、画像入力部１０１は、カメラ１５０からの動画像データを入力処理する。
【００１２】
カメラ１５０は、少なくとも１箇所、又は複数の地点に設置可能とする。また、カメラ１５０は、所定の領域に存在する人物の顔画像を入力するものであり、例えばＩＴＶ（Industrial Television）カメラとする。カメラ１５０は、カメラのレンズを通して得られた光学的な情報をＡ／Ｄ変換器によりデジタル化して所定のフレームレートのフレーム画像データを生成し、顔認証装置１００に対して出力する。
【００１３】
図２は、カメラ１５０から入力される動画像データの一例を示す概念図である。図２に示すように、カメラ１５０に向かって人物Ｈが歩いてくる場合には、フレーム画像Ｇ１〜Ｇ４にわたる一連のフレーム画像がカメラ１５０で撮像される。顔認証装置１００には、このカメラ１５０で撮像されたフレーム画像Ｇ１〜Ｇ４が画像入力部１０１に入力される。なお、本実施形態では、カメラ１５０が撮像した動画像データの入力を一例とした。しかしながら、画像入力部１０１に入力される動画像データは、ＤＶＲ（Digital Video Recorder）等に記録された動画像データであってもよいことは言うまでもないことである。
【００１４】
図３は、第１の実施形態にかかる顔認証装置１００の動作の一例を示すフローチャートである。以下では、図３に示すフローチャートを参照して、図１に示した顔検出部１０２、顔特徴点検出部１０３、検出結果管理部１０４、検出結果補正部１０５及び出力部１０６の順に動作の詳細を説明する。
【００１５】
顔検出部１０２は、画像入力部１０１により入力された動画像データから、複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する（図３、Ｓ１）。具体的には、顔検出部１０２は次のとおりにして顔領域を検出する。まず、顔検出部１０２は、入力された動画像データ（各フレーム画像）内において、当該動画像データ上の輝度情報を利用して顔の領域を示す座標を求める。当該顔の領域を検出する手法としては、どのような手法を用いても良い。本実施形態は、例として、文献（三田雄志ほか：「顔検出に適した共起に基づくJoint Haar-like特徴」電子情報通信学会論文誌(D),vol.J89-D, 8,pp1791-1801(2006)）に示された手法を用いて、顔領域の検出を行う。他の検出手法の例としては、予め用意されたテンプレートを、入力された画像データ内で移動させながら相関値を求めることで、最も高い相関値を与える位置を顔領域として検出する手法や、固有空間法や部分空間法を利用した顔抽出法等を用いる手法を適用しても良い。
【００１６】
また、検出する顔領域の形状は、任意の形状で良いし、顔の向きや大きさの検出結果によって顔の領域の形状を異ならせても良いが、本実施形態は、説明を容易にするために、矩形形状の顔領域を検出する。図４は、フレーム画像Ｇ１０からの顔領域の検出を例示する概念図である。図４に示すように、フレーム画像Ｇ１０から矩形形状の顔領域Ｒ１〜Ｒ３の頂点を示す座標を、顔領域の検出結果とする。
【００１７】
ところで、監視カメラなどで撮影された映像データの場合、検出された同一人物の顔が複数のフレームにわたって連続して映っていることが想定される。このため、これらを同一人物として対応付けできるように人物の顔の追跡処理を行う必要がある。この追跡処理の実現手法としては、オプティカルフローを用いて検出した顔が、次のフレームでどの位置に存在するかを推定し、対応付ける手法等を利用することで実現可能である。この追跡処理は、同一人物として対応付けられた顔領域が顔検出部１０２により検出されず、追跡終了の判定（図３、Ｓ３：ＹＥＳ）が行われるまで継続される。そして、後述する特徴抽出部１０６１は、同一人物として対応付けられた複数フレームの顔領域のうち、人物を認識するために、適切な画像を少なくとも１枚選択し、選択された顔領域から顔の特徴情報を抽出してもよい。また、特徴抽出部１０６１は、顔領域のサイズが大きくなる毎に、顔の特徴情報を抽出する処理を行うことで、最大のサイズの顔領域が検出されるまで任意の枚数の画像データを検出に利用しても良い。
【００１８】
顔特徴点検出部１０３は、追跡処理により顔検出部１０２により複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに目、鼻などの顔の特徴点を検出する顔特徴点検出処理を行う（図３、Ｓ２）。図５は、検出された顔領域の顔画像Ｇ１１からの顔の特徴点Ｒ１１〜Ｒ１４の検出を例示する概念図である。図５に示すように、顔検出部１０２により検出された顔領域の顔画像Ｇ１１からは、両目の瞳孔と口の両端などに対応した特徴点Ｒ１１〜Ｒ１４が検出される。なお、設定等によって検出すべき顔の特徴点は任意にかえることができるものとする。
【００１９】
顔特徴点検出部１０３における顔の特徴点の検出方法は、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文(D)、vol.J80-D-II、No.8、pp2170-2177(1997)）などの方法で実現可能である。本実施形態では顔領域の特徴を利用する例を記述したが虹彩・網膜・目の画像を対象として顔であるかどうかを判別する装置の場合にも上記処理によって検出された目の領域をもとにカメラをズームすることなどで検出が可能となる。また上記目・鼻の検出の他に口領域の検出については、文献（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集,pp219-224(2004)）の技術を利用することで容易に実現が可能である。いずれの場合でも二次元配列状の画像として取り扱える情報を獲得し、その中から顔特徴の領域を検出することが可能である。
【００２０】
また、これらの検出処理は、１枚の画像の中から１つの顔特徴だけを抽出するには全画像に対してテンプレートとの相関値を求め最大となる位置とサイズを出力すればよいし、複数の顔特徴を抽出するには画像全体に対する相関値の局所最大値を求め、一枚の画像内での重なりを考慮して顔の候補位置を絞り込み、最後は連続して入力された過去の画像との関係性（時間的な推移）も考慮して最終的に複数の顔特徴を同時に見つけることも可能となる。
【００２１】
また、マスク着用やサングラスの着用、帽子の着用といった場合でも検出できるようにするため、あらかじめサングラスやマスクや帽子で顔の一部が隠された場合の顔パターンでテンプレートを学習しておくことや、顔の特徴点の検出をする際にすべての点が検出できない場合でも一部の顔特徴点が十分な評価値で検出されれば残りの特徴点については二次元平面、または３次元的な顔のモデルを利用して検出された特徴点から残りの特徴点で推測することで実現が可能である。特徴点がまったく検出できなくなるぐらいにマスクや帽子やサングラスが特徴点を隠蔽している場合には、顔全体のパターンとして学習しておいて顔全体の位置を検出し、特徴点は顔全体の位置から推測することで実現が可能である。なお、複数の顔が画像内に存在した場合にも同様の処理をそれぞれの顔に対して実施することで実現できる。
【００２２】
検出結果管理部１０４は、顔検出部１０２および顔特徴点検出部１０３によって得られた顔の位置と顔の特徴点の位置情報、追跡処理によって得られたフレーム間の同一人物の歩行を対応づけた情報、顔画像情報、背景画像情報、その他にも時刻や場所などの情報を記録するデータベースである。検出結果管理部１０４が記録するデータベースは、検出結果補正部１０５において参照されて、顔の特徴点の位置情報が補正される。検出結果管理部１０４は、検出結果補正部１０５を適用した後のデータ（補正後の顔の特徴点の位置情報）を記録することも可能である。
【００２３】
検出結果補正部１０５は、フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することで、フレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、顔特徴点検出部１０３が検出した顔の特徴点の検出結果を補正する検出結果補正処理を行う（図３、Ｓ４）。
【００２４】
ここで、検出結果補正部１０５が行う検出結果補正処理の具体的な実施方法を説明する。検出結果補正処理は大きく検出精度の検証ステップと、検証された結果精度が低いとされたフレームに対する除外または補正のステップに分けられる。
【００２５】
まず、検出精度の検証方法について説明する。人物Ｈがフレーム追跡されたとき、顔検出結果の列（ｘ＿１，ｙ＿１），…，（ｘ＿ｔ，ｙ＿ｔ）、および、特徴点検出結果の列ｐ（１），ｐ（２），…，ｐ（ｔ）が与えられているものとする。ただし、ｐ（１），ｐ（２），…，ｐ（ｔ）は顔の部位Ｍ個のｘｙ座標値をならべた２Ｍ要素のベクトルとする。このとき、隣接するフレームについて変位ｄ（ｐ（ｔ），ｐ（ｔ−１））を計算し、変位が閾値θよりも大きい場合は検出失敗とみなし、検出結果を取り除く。この場合隣接するフレームだけでなく、該当フレーム以外に２フレーム以上選定してもよい。各部位について平均値、中央値を連続するフレーム数ｒ（ｒ＝１，…，ｔ）について計算し、事前に定めた所定のしきい値よりも大きい場合は人物の移動による要因と異なる変動であるとして検出精度が低い座標と判定する。なお、変位はユークリッドノルムであっても、１ノルムであっても、距離であればよい。顔の大きさに応じて縮尺をあわせることもできる。
【００２６】
図６は、フレーム画像Ｇ２１〜Ｇ２３ごとに検出された顔の特徴点を例示する概念図である。図６に例示したフレーム画像Ｇ２１〜Ｇ２３では、ｘ（ｔ−２）〜ｘ（ｔ）の特徴点Ｒ１１において、ｘ（ｔ）の特徴点Ｒ１１が変位が大きく検出失敗とされる。
【００２７】
前のステップにおいて検出精度が低いとされたフレームに対し、検出結果の除外または補正を行う。検出結果の除外については該当する顔領域の検出座標または顔特徴点の検出座標の片方または両方を検出しなかったこととして情報を除外し、後段の出力部１０６に出力しないことで実現が可能である。
【００２８】
図７は、検出結果補正処理の一例を示すフローチャートである。より具体的には、図７における検出結果補正処理では、フレーム画像ごとに検出された顔の特徴点の座標と、複数のフレーム画像から検出された顔の特徴点の座標の平均値との差分が所定値より大きい場合に、所定値より大きい顔の特徴点を所定の検出精度に満たない顔の特徴点としている。
【００２９】
図７に示すように、顔特徴点検出部１０３により顔の特徴点が検出されると（Ｓ２）、検出結果補正部１０５は、複数のフレーム画像から検出された顔の特徴点の座標について、フレーム間の平均を計算する（Ｓ４１）。次いで、検出結果補正部１０５は、フレーム画像ごとに検出された顔の特徴点の座標と、Ｓ４１で計算された平均との差分を計算し（Ｓ４２）、その差分が所定の閾値以上であるか否かを判定する（Ｓ４３）。
【００３０】
所定の閾値以上でない場合（Ｓ４３：ＮＯ）、顔の特徴点について検出成功とみなし、その顔の特徴点についての検出結果を後段の出力部１０６へ出力する処理を行う（Ｓ４４）。所定の閾値以上である場合（Ｓ４３：ＹＥＳ）は、顔の特徴点について検出失敗とみなし、その顔の特徴点についての検出結果を除外する（Ｓ４５）。
【００３１】
図８は、検出結果補正処理の一例を示すフローチャートである。より具体的には、図８における検出結果補正処理では、フレーム画像ごとに検出された顔の特徴点の座標と、直近のフレーム画像から検出された顔の特徴点の座標との間の移動量が所定値より大きい場合に、その所定値より大きい顔の特徴点を所定の検出精度に満たない顔の特徴点としている。
【００３２】
図８に示すように、顔特徴点検出部１０３により顔の特徴点が検出されると（Ｓ２）、検出結果補正部１０５は、顔の特徴点である顔部品の数をカウントするための変数ｉの初期化（ｉ＝１）を行い（Ｓ５１）、各フレーム画像において、全ての顔部品の数（Ｎ）を超えるまで（ｉ＞Ｎ）、Ｓ５２〜Ｓ５７の処理を行う。
【００３３】
具体的には、検出結果補正部１０５は、顔の特徴点の部位（ｉ）について、直近のフレームとの間の移動量（ｄ（ｔ）＝｜｜ｘ（ｔ）−ｘ（ｔ−１）｜｜）を計算し（Ｓ５３）、部位（ｉ）以外の移動量のパーツに関する平均を計算する（Ｓ５４）。次いで、検出結果補正部１０５は、Ｓ５３とＳ５４とで計算した値の差が所定の閾値以上であるか否かを判定する（Ｓ５５）。所定の閾値以上でない場合（Ｓ５５：ＮＯ）、顔の特徴点について検出成功とみなし、変数ｉをインクリメントして（Ｓ５６）、Ｓ５２へ処理を戻す。所定の閾値以上である場合（Ｓ５５：ＹＥＳ）、顔の特徴点について検出失敗とみなし、その顔の特徴点についての検出結果を除外して変数ｉをインクリメントした後（Ｓ５７）、Ｓ５２へ処理を戻す。Ｓ５２〜Ｓ５７の処理が行われた後（Ｓ５２：ＹＥＳ）、検出結果補正部１０５は、Ｓ５７で除外した検出結果以外の検出結果を、出力部１０６へ出力する処理を行う（Ｓ５８）。
【００３４】
なお、上述した検出結果補正処理では、一つのフレーム画像において、検出失敗とみなされた顔の特徴点の個数が所定の閾値以上である場合に、そのフレーム画像から検出された顔の特徴点の全てを検出結果から除外又は補正してもよい。図９は、フレーム画像Ｇ３１、Ｇ３２ごとに検出された顔の特徴点を例示する概念図である。図９に示すように、フレーム画像Ｇ３２における特徴点Ｒ１１、Ｒ１４の２つが検出失敗とみなされた場合は、フレーム画像Ｇ３２における顔画像はノイズの混入などで信用できないことから、そのフレーム画像Ｇ３２における顔の特徴点を検出結果から除外又は補正する。
【００３５】
図１０は、検出結果補正処理の一例を示すフローチャートである。
より具体的には、図１０における検出結果補正処理では、検出失敗とみなされた顔の特徴点の個数が所定の閾値以上である場合に、そのフレーム画像から検出された顔の特徴点の全てを検出結果から除外している。
【００３６】
図１０に示すように、顔特徴点検出部１０３により顔の特徴点が検出されると（Ｓ２）、検出結果補正部１０５は、顔の特徴点である顔部品の数をカウントするための変数ｉの初期化（ｉ＝１）と、検出失敗とみなされた顔の特徴点の個数をカウントするための変数Ｃの初期化（Ｃ＝０）を行い（Ｓ６１）、各フレーム画像において、全ての顔部品の数（Ｎ）を超えるまで（ｉ＞Ｎ）、Ｓ６２〜Ｓ６６の処理を行う。
【００３７】
具体的には、検出結果補正部１０５は、顔の特徴点の部位（ｉ）について、直近のフレームとの間の移動量（ｄ（ｔ）＝｜｜ｘ（ｔ）−ｘ（ｔ−１）｜｜）を計算し（Ｓ６３）、変数ｉをインクリメントした後（Ｓ６４）、Ｓ６３で計算した移動量が所定の閾値θ以上であるか否かを判定する（Ｓ６５）。所定の閾値θ以上である場合（Ｓ６５：ＹＥＳ）、その顔の特徴点は検出失敗とみなし、変数Ｃをインクリメントした後（Ｓ６６）、Ｓ６２へ処理を戻す。所定の閾値θ以上でない場合（Ｓ６５：ＮＯ）、その顔の特徴点は検出成功とみなし、変数Ｃをインクリメントすることなく、Ｓ６２へ処理を戻す。
【００３８】
Ｓ６２〜Ｓ６６の処理が行われた後（Ｓ６２：ＹＥＳ）、検出結果補正部１０５は、変数Ｃが所定の閾値Ω以上であるか否か、すなわちフレーム画像において検出失敗とみなされた顔の特徴点の個数が所定の閾値Ω以上あるか否かを判定する（Ｓ６７）。変数Ｃが所定の閾値Ω以上でない場合（Ｓ６７：ＮＯ）、検出結果補正部１０５は、そのフレーム画像から検出された顔の特徴点を出力部１０６へ出力する処理を行う（Ｓ６８）。変数Ｃが所定の閾値Ω以上である場合（Ｓ６７：ＹＥＳ）、検出結果補正部１０５は、そのフレーム画像から検出された顔の特徴点を検出結果より除外する（Ｓ６９）。
【００３９】
一方、検出結果の補正については、同一人物として対応付けられている他のフレームの顔領域座標または顔特徴点の座標の情報を利用して補正をする。具体的には、Ｔフレーム目の座標の値を補正するにはＴ−２からＴ−１フレームの移動量をＴ−１フレームに加えてＴフレーム目を予測する、またはＴ−１とＴ＋１フレームの平均値（移動平均）を求めてＴフレームの座標を求めるといった簡単な方法で実現が可能である。なお、ｔ−２フレーム目からｔ−１フレーム目の移動が観測された場合、単純に等しい動作をすればｔフレーム目ではこの場所にいるはずであるという予測が可能であり、その座標にそった形でｔフレーム目で顔が検出されれば補正が不要であるが、極端にずれた位置で顔が検出された場合に精度が低い可能性があると判定する。なお、この説明ではＴフレーム以外の２フレームを利用したがフレーム数を増やすことや、予測を線形ではなく非線形にすることで精度を上げることも可能である。
【００４０】
図１１は、フレーム画像Ｇ２１〜Ｇ２３ごとに検出された顔の特徴点を移動平均で補正する場合を例示する概念図である。図１１に例示したフレーム画像Ｇ２１〜Ｇ２３では、ｘ（ｔ−２）〜ｘ（ｔ）の特徴点Ｒ１１において、ｘ（ｔ）の特徴点Ｒ１１が変位が大きく検出失敗とされる。この特徴点Ｒ１１を、フレーム画像Ｇ２１、Ｇ２２で検出された特徴点Ｒ１１の移動平均をもとに算出された特徴点Ｒ１１ａとして補正する。
【００４１】
図１２は、移動平均で補正する場合の検出結果補正処理の一例を示すフローチャートである。図１２に示すように、顔特徴点検出部１０３により顔の特徴点が検出されると（Ｓ２）、検出結果補正部１０５は、遡るフレーム数をカウントするための変数ｉの初期化（ｉ＝１）と、顔の特徴点ｘ（ｔ）の取得とを行い（Ｓ７１）、Ｔとして設定されるフレーム数分遡るまで（ｉ＞Ｔ）、Ｓ７２〜Ｓ７５の処理を行う。
【００４２】
具体的には、検出結果補正部１０５は、ｃ（ｉ）＝１／Ｔを算出し（Ｓ７３）、遡るフレーム数間における顔の特徴点の移動平均（ｘ（ｔ）＝ｘ（ｔ）＋ｃ（ｔ）・ｘ（ｔ−１））を算出して（Ｓ７４）、ｉをインクリメントした後（Ｓ７５）、Ｓ７２へ処理を戻す。
【００４３】
Ｓ７２〜Ｓ７５の処理が行われた後（Ｓ７２：ＹＥＳ）、検出結果補正部１０５は、移動平均で算出された顔の特徴点を出力部１０６へ出力する処理を行う（Ｓ７６）。
【００４４】
また、人物が移動することを想定したモデルをもたせて顔の位置を時系列で予測する方法でも実現できる。具体的には、パーティクルフィルタ（D. MIKAMI, K. Otsuka, J. Yamato, Memory-based Particle Filter for Face Pose Tracking Robust under Complex Dynamics, CVPR 2009, pp. 999-1006）、およびARMAモデル（M. H. Ghaeminia, A. H. Shabani, S. B. Shokouhi, Adaptive Motion Model for Human Tracking Using Particle Filter, ICPR 2010, pp. 2073--2076.）のような時系列予測の手法を用いることで実現が可能である。
【００４５】
これらの特徴点座標の補正処理は顔の状態によらず処理をすることを説明したが、顔の向きや顔のサイズに応じて補正処理に利用する画像の重みを変更することも可能である。例えば事前に向きの異なる顔パターンを多数準備しておいて、入力された顔パタンとのマッチングを取ることでむきを判定するといったシンプルな方法でも実現可能である。より精度よくむきを求める場合には、検出された顔の特徴点の二次元画像上での配置からもとの顔の三次元的な配置を求めることも可能であり、類似した手法で顔の向きは求めることが可能である。
【００４６】
前述の特徴点座標を補正する際には、顔の見えている領域の座標を優先度高く利用し、顔の見えていない場所については優先度をさげて利用することでより画質を高くすることが可能となる。図１３は、フレーム画像Ｇ４１〜Ｇ４３ごとに検出された顔の向きに応じて重み付け値を変更する場合を例示する概念図である。例えば図１３に示すように、一歩行の中では歩行位置によってフレーム画像Ｇ４２のように下を向く場合もあることから、顔の中で見える領域が異なる。この場合、手前にきた場合には顔の上領域を優先的に利用する一方で、俯角の影響で見えにくい顔の下の領域（口やあご、鼻の穴など）は積極的に利用しないといったことが可能である。すなわち、フレーム画像Ｇ４１で検出された特徴点Ｒ１１の重み付けを大きくし、フレーム画像Ｇ４２で検出された特徴点Ｒ１１の重み付けを小さくする。そして、検出失敗とみなされたフレーム画像Ｇ４３の特徴点Ｒ１１について、重み付け平均で得た特徴点Ｒ１１ｂとして補正する。また俯角の影響以外に人間の顔の向きがきょろきょろと変わった場合にもその都度優先度の高い領域と低い領域をかえることで検出座標の精度低下を免れることが可能となる。重み付けについても前述の説明で平均をとっていた計算を重み付け平均に変更することで実現が可能となる。
【００４７】
図１４は、重み付け値を変更する場合の検出結果補正処理の一例を示すフローチャートである。図１４に示すように、前述したＳ７２：ＮＯに次いで、検出結果補正部１０５は、フレーム（ｔ−ｉ）の顔角度φを、そのフレームに含まれる顔の特徴点の座標をもとに計算する（Ｓ７２ａ）。次いで、検出結果補正部１０５は、Ｓ７２ａで計算した顔角度φが所定の閾値Φ以上であるか否か、例えば顔が下を向いているか否かを判定する（Ｓ７２ｂ）。
【００４８】
顔角度φが所定の閾値Φ以上でない場合（Ｓ７２ｂ：ＮＯ）、例えば顔が正面を向いていることから、検出結果補正部１０５はそのままの値（重み付けを１）で移動平均を算出する（Ｓ７３〜Ｓ７５）。顔角度φが所定の閾値Φ以上である場合（Ｓ７２ｂ：ＹＥＳ）、例えば顔が下を向いていることから、検出結果補正部１０５はｃ（ｉ）＝０（重み付けを０）として（Ｓ７２ｃ）、移動平均を算出する（Ｓ７４，Ｓ７５）。
【００４９】
図１、図３を用いた説明に戻る。出力部１０６では、検出結果補正部１０５で得られた結果については、本実施形態においてその結果を液晶モニタやＣＲＴモニタなどの表示部１０６４に表示するカメラ１５０からの映像に対して、顔の領域を示す矩形情報をオーバーレイ表示することで顔を検出したことの結果出力とする。また、システムとして、顔検出や顔特徴点検出の画像内の位置情報とともに入力画像全体、または顔画像を含む領域を切り出して記録してもよい。
【００５０】
また、映像中から顔を検出して表示や記録を行う応用を述べたが、このシステムを拡張し、人物の顔画像照合の精度向上に応用することも可能である。基本となる構成は、特徴抽出部１０６１、人物情報管理部１０６２、認識部１０６３、表示部１０６４である。
【００５１】
特徴抽出部１０６１は、顔の領域の情報（検出結果補正部１０５を介して出力された顔の特徴点）から個人を識別するための特徴情報（以降「顔特徴」とはこの個人を識別するための特徴情報を示すこととする）を数値として出力する。まずは顔検出部１０２によって検出された顔の部品の位置をもとに、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらは単純類似度法という手法によりベクトルとベクトルの長さをそれぞれ１とするように正規化を行い、内積を計算することで特徴ベクトル間の類似性を示す類似度が求められる。詳しくは文献（エルッキ・オヤ著、小川英光、佐藤誠訳、「パターン認識と部分空間法」、産業図書、１９８６年）にあるように部分空間法を利用することで実現できる。
【００５２】
文献（東芝（小坂谷達夫）：「画像認識装置、方法およびプログラム」、特許公報：特開２００７−４７６７）にあるように１枚の顔画像情報に対してモデルを利用して顔の向きや状態を意図的に変動させた画像を作成することによってより精度の高まる手法を適用してもよい。１枚の画像から顔の特徴を求める場合にはここまでの処理で顔特徴抽出は完了する。一方で同一人物に対して連続した複数の画像を利用した動画像による計算をすることでより精度の高い認識処理が行うこともできる。具体的には文献（福井和広、山口修、前田賢一：「動画像を用いた顔認識システム」電子情報通信学会研究報告ＰＲＭＵ，ｖｏｌ９７，Ｎｏ．１１３，ｐｐ１７−２４（１９９７）、前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」， 電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−−３５２（１９８５） ）にある相互部分空間法を用いる方法で説明する。
【００５３】
画像入力部１０１から連続して得られた画像から顔特徴点検出部１０３と同様にｍ×ｎピクセルの画像を切り出しこれらのデータを特徴ベクトルの相関行列を求め、Ｋ−Ｌ展開による正規直交ベクトルを求めることにより、連続した画像から得られる顔の特徴を示す部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施例では、相関行列Ｃｄを特徴ベクトルから求め、相関行列Ｃｄ＝Φｄ Λｄ Φｄ Ｔ と対角化して、固有ベクトルの行列Φを求める。この情報が現在認識対象としている人物の顔の特徴を示す部分空間となる。このような方法で出力された部分空間のような特徴情報を入力された画像で検出された顔に対する個人の特徴情報とする。
【００５４】
人物情報管理部１０６２では、後述の認識部１０６３で検索するときに利用する対象となるデータベースであり、検索対象となる個人ごとに特徴抽出部１０６１で出力された顔特徴情報、および性別や年齢、身長など属性判別手段で判別可能な属性情報のように人物に関する付随した情報を同一の人物ごとに対応付けて管理する。顔特徴情報および属性特徴情報として実際に管理する内容は特徴抽出部１０６１で出力されたデータそのものでよく、ｍ×ｎの特徴ベクトルや、部分空間やＫＬ展開を行う直前の相関行列でも構わない。さらに、特徴抽出部１０６１で出力される特徴情報を画像入力部１０１より登録時に入力された顔画像とともに管理することで個人の検索や検索の表示に利用することができる。また、要注意の有無を指定して、後述する処理で検索結果の優先度を指定することも実現可能である。
【００５５】
認識部１０６３は、特徴抽出部１０６１で得られた入力画像の顔特徴情報と、対応する人物情報管理部１０６２の中の顔特徴情報との類似性を示す計算を行ってより類似性の高いものから順番に結果を返す処理を行う。また人物情報管理部１０６２で説明したように所定の属性情報に絞り込んで人物情報管理部１０６２を一部分だけ検索するといったことも可能である。この際に検索処理の結果としては類似性の高いものから順番に人物情報管理部１０６２内で個人を識別するために管理されている人物ＩＤ，計算結果である類似性を示す指標を返す。それに加えて人物情報管理部１０６２で個人ごとに管理されている情報を一緒に返すようにしてもかまわないが、基本的に識別ＩＤにより対応付けが可能であるので検索処理自体では付属情報をやりとりすることはなくても実現が可能となる。
【００５６】
類似性を示す指標としては顔特徴情報として管理されている部分空間同士の類似度とする。計算方法は、部分空間法や複合類似度法などの方法を用いてよい。この方法では、予め蓄えられた登録情報の中の認識データも、入力されるデータも複数の画像から計算される部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力手段分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、Ｃｉｎ＝ΦｉｎΛｉｎΦｉｎＴ と対角化し、固有ベクトルΦｉｎを求める。二つのΦｉｎ，Φｄ で表される部分空間の部分空間間類似度（０．０〜１．０）を求め、これを認識するための類似度とする。
【００５７】
具体的な計算方法については特徴抽出部１０６１で紹介した文献（エルッキオヤ）で実現が可能である。また、あらかじめ同一人物と分かる複数の顔画像をまとめて部分空間への射影によって本人であるかどうかを識別することで精度を向上させることも可能であり、文献（福井・小坂谷）でも同様の処理を行うこともできる。高速に検索するにはＴＲＥＥ構造を利用した検索方法なども利用可能である。
【００５８】
表示部１０６４では、認識部１０６３によって検索された結果のうち指定した条件にあうものをリアルタイムに表示するリアルタイム顔検索結果表示と、認識部１０６３によって検索された結果を検索履歴として保存しておき、後から条件を指定することで該当する検索履歴だけ表示するオフラインの顔検索結果表示のいずれか一方、または両方を組み込むことが可能である。
【００５９】
以上により、本実施形態にかかる顔認証装置１００では、監視用途のような高所に設置したカメラ１５０の映像から人物Ｈの顔を検出するとき、フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することでフレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、検出した顔の特徴点の検出結果を補正することで、顔検出や顔特徴点の検出処理の精度を向上させる効果がある。
【００６０】
（第２の実施形態）
図１５は、第２の実施形態にかかる顔認証装置２００の構成を例示するブロック図である。図１５に示すように、顔認証装置２００は、前述した顔検出部１０２と、顔特徴点検出部１０３との間で処理を行うための検出顔領域管理部２０１、顔領域画像補正部２０２を備える。
【００６１】
検出顔領域管理部２０１は、後述の顔領域画像補正部２０２において利用するデータベースであり、顔検出部１０２によって得られた顔の位置情報、追跡処理によって得られたフレーム間の同一人物の歩行を対応づけた情報、顔画像情報、背景画像情報、その他にも時刻や場所などの情報を記録するデータベースである。管理する情報としては、照合処理などのために特徴抽出処理を適用した後の特徴量を記録することも可能である。また、マスクやサングラスや他の人物による隠蔽などがある場合はこの情報も記録することも可能である。
【００６２】
顔領域画像補正部２０２は、検出顔領域管理部２０１を参照して、複数のフレーム画像にわたって検出された顔領域に相当する複数の顔画像をもとに、所定のフレーム画像から検出された顔領域の画質を補正する。具体的には、顔領域画像補正部２０２は、顔検出部１０２によって同一人物の一連の歩行を撮影した複数のフレームにわたって対応付けされて追跡された顔検出結果と顔画像の系列から、処理対象となる各画像に応じて１枚または複数枚のフレーム画像を選び、同様に得られたほかのフレームの画像を利用して画像の品質を補正する。
【００６３】
具体的には、図２に示すようにカメラ１５０から遠い場所での小さく映った顔とカメラから近い場所に映った大きな顔の特性を利用して画像の補正や合成といった処理を行う。ここで処理対象としているのは入力されたフレーム画像全てであってもよいし、複数のフレーム画像から最も顔領域画像として見やすいフレーム画像、サイズが大きなフレーム画像、顔が正面を向いているフレーム画像を少なくとも１枚選んだフレーム画像のどちらであってもよく、抽出されたフレーム画像に対して補正が必要であるかどうかを判定する。
【００６４】
フレーム画像の品質判定としては顔領域画像の明るさ、顔領域画像のコントラスト、顔領域画像のノイズの有無、顔領域画像のサイズ（解像度）、顔領域画像のぼけ具合を対象とし、明るさについては顔領域の輝度値のヒストグラムをとってその平均値を見ることや平均値から所定の標準偏差内に含まれる輝度の平均値をとることで判断が可能で、所定の上限しきい値より前述の値が高い場合には「明るすぎ」、所定の下限しきい値より低い場合には「暗すぎ」と判定して補正をかけるようにする。同様にコントラストについては同様に顔領域の輝度値のヒストグラムを作成して輝度値の分散を計算することで求められる。はずれ値を除去しながら最も明るい値、暗い値をとってその輝度値の差をとってもよい。ノイズについては顔領域画像の周波数成分をＦＦＴで求め、所定のしきい値以上の周波数成分の強度が強い場合にノイズが高いと判断する。サイズについては顔領域画像のサイズをそのまま利用すればよい。ぼけ具合についてはノイズ判定の逆で顔領域画像にＦＦＴ処理をかけ、高周波成分の強度が所定のしきい値より低い場合にぼけていると判断すればよい。このようにいくつかの輝度値の分布を計算で求めることにより補正が必要であるかの判断が可能であり、これらの判断は少なくとも１つだけ行ってもよいし、全て行ってもよい。
【００６５】
前述の品質判定を行った結果必要とされた場合に行う画像補正処理として、複数の画像を利用して補正可能な処理なら任意の処理が適用可能であるが、具体的には顔領域画像の高解像度化（超解像）、ノイズ除去、輝度階調の拡大、ぼけ補正、といった処理が適用可能であり、本実施形態でも少なくともこの処理の中の１つ、または複数同時に適用してもよい構成であることは明らかである。
【００６６】
高解像度化（超解像）については、時間的に離れていない複数のフレーム間で対応点の対応付けを行った上で、同じ位置に対応すると思われる画素の輝度値情報を利用してより解像度の高い画像をより自然に合成する処理である。具体的には、S. C. Park, M. K. Park, and M. G. Kang., "Super-resolution image reconstruction: a technical overview", IEEE Signal Processing Magazine, 20(3):21-36, May 2003.などの高解像度化処理を適用することで実現が可能である。また、この場合複数のフレーム間での位置あわせ処理が重要な情報となるため、高解像度化処理で利用するフレームが決まった場合に、顔検出の位置情報を利用して、顔がフレーム間の移動量が一定の閾値φ以下である場合は、重ね合わせに使用しない。また、逆に移動量が一定の閾値Φ以上である場合は、変動が大きいので検出が誤検出であることや、重ね合わせ処理の誤差が大きくなるので、高解像度化の処理に利用しないと判断する。
【００６７】
ノイズ除去についても、高解像度化と同様に複数フレーム間にわたっての座標の対応付けを行って人物の顔領域の同一箇所に相当する画素を対応付け、顔領域の同じ部位であれば輝度や色情報はほぼ同等であるという想定から、複数フレーム間での平均値、または外れ値除去した後の平均値、中間値といった情報を取ることにより、ノイズの除去を行うことが可能である。
【００６８】
輝度階調の拡大についても、複数枚の画像の露出が異なる場合はこれらを組合せて高階調化処理も実行することも可能である（例えば、Paul E. Debevec Jitendra Malik: Recovering High Dynamic Range Radiance Maps from Photographs, SIGGRAPH 1997.）。
【００６９】
明るさの補正についても輝度階調の拡大処理と同様の処理をかけた上で明るすぎる場合には暗い階調側の輝度情報を利用し、暗すぎる場合には明るい階調側の輝度情報を利用する。ぼけ補正についても、同様に複数フレームでの位置あわせを行った後について、エッジ情報の弱い領域（エッジ強度が所定のしきい値未満）であればそのままの値を利用、または複数フレームにわたっての輝度や色情報の平均値をとり、エッジ強度が所定のしきい値以上であれば平均値をとらずエッジ強度の強いフレームの情報を利用する、複数フレームでノイズ除去をしながらエッジ強調処理をかけるといったことでぼけた映像を複数のフレームを利用することでボケを軽減することが可能である。
【００７０】
これらの補正処理は顔の状態によらず処理をすることを説明したが、第１の実施形態と同様に顔の向きや顔のサイズに応じて補正処理に利用する画像の重みを変更することも可能である。前述の画像品質を補正する際には、顔の見えている領域の座標を優先度高く利用し、顔の見えていない場所については優先度をさげて利用することでより画質を高くすることが可能となる。たとえば一歩行の中では図２に示すように歩行位置によって顔の中で見える領域が異なる。この場合、手前にきた場合には顔の上領域を優先的に利用する一方で、俯角の影響で見えにくい顔の下の領域（口やあご、鼻の穴など）は積極的に利用しないといったことが可能である。また俯角の影響以外に人間の顔の向きがきょろきょろと変わった場合にもその都度優先度の高い領域と低い領域をかえることで品質の低下を免れることが可能となる。
【００７１】
また、これらの補正処理は入力された映像の品質を判断することで補正をするかしないかを切り替えるようにしてもよく、入力された映像にあわせて入力映像より品質の高い顔領域域を得ることができる。
【００７２】
図１６は、第２の実施形態にかかる顔認証装置２００の動作の一例を示すフローチャートである。図１６に示すように、顔領域画像補正部２０２は、顔検出部１０２の検出結果をもとに顔の隠蔽の有無を判定する（Ｓ１ａ）。隠蔽がある場合（Ｓ１ａ：ＹＥＳ）、そのフレーム画像は上述した顔領域の補正処理から除外する（Ｓ１ｂ）。隠蔽がない場合（Ｓ１ａ：ＮＯ）、顔領域画像補正部２０２は、上述した顔領域の補正処理を行う（Ｓ１ｃ）。次いで、顔領域の補正処理が行われたフレーム画像を使って顔特徴点検出部１０３が顔の特徴点を検出する処理を行い（Ｓ２）、出力部１０６への出力処理（Ｓ５）を行うことで、精度の高い特徴点検出が可能となるほか、記録する映像の画像品質を高めることが可能となる。
【００７３】
図１７は、上述した第１、第２実施形態にかかる顔認証装置１００、２００のハードウェア構成を示した図である。図１７に示すように、顔認証装置１００、２００は、ＣＰＵ１１０１と、ＲＯＭ（Read Only Memory）１１０２と、ＲＡＭ（Random Access Memory）１１０３と、通信Ｉ／Ｆ１１０４と、ＨＤＤ１１０５と、表示装置１１０６と、キーボードやマウスなどの入力デバイス１１０７と、これらを接続するバス１１０８と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００７４】
本実施形態の顔認証装置１００、２００で実行される顔認識プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００７５】
また、本実施形態の顔認証装置１００、２００で実行される顔認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の顔認識装置１００、２００で実行される顔認識プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の顔認識プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００７６】
本実施形態の顔認証装置１００、２００で実行される顔認識プログラムは、上述した各構成を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ１１０１が上記記憶媒体から顔認識プログラムを読み出して実行することにより上記各構成がＲＡＭ１１０３上にロードされ、上記各構成がＲＡＭ１１０３上に生成される。
【００７７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７８】
１００、２００…顔認証装置、１０１…画像入力部、１０２…顔検出部、１０３…顔特徴点検出部、１０４…検出結果管理部、１０５…検出結果補正部、１０６…出力部、１５０…カメラ、２０１…検出顔領域管理部、２０２…顔領域画像補正部、１０６１…特徴抽出部、１０６２…人物情報管理部、１０６３…認識部、１０６４…表示部、Ｇ１〜Ｇ１０、Ｇ２１〜Ｇ４３…フレーム画像、Ｇ１１…顔画像、Ｈ…人物、Ｒ１〜Ｒ３…顔領域、Ｒ１１〜Ｒ１４…特徴点
【特許請求の範囲】
【請求項１】
動画像データを入力する画像入力手段と、
前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出手段と、
前記複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに顔の特徴点を検出する顔特徴、検出手段と、
前記フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することで前記フレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び前記所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、前記顔特徴点検出手段が検出した顔の特徴点の検出結果を補正する補正手段と、
前記補正された顔の特徴点の検出結果をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証手段と、
を備える顔認証装置。
【請求項２】
前記補正手段は、前記フレーム画像ごとに検出された顔の特徴点の座標と、複数のフレーム画像から検出された顔の特徴点の座標の平均値との差分が所定値より大きい場合に、当該所定値より大きい顔の特徴点を所定の検出精度に満たない顔の特徴点とする、
請求項１に記載の顔認証装置。
【請求項３】
前記補正手段は、前記フレーム画像ごとに検出された顔の特徴点の座標と、直近のフレーム画像から検出された顔の特徴点の座標との間の移動量が所定値より大きい場合に、当該所定値より大きい顔の特徴点を所定の検出精度に満たない顔の特徴点とする、
請求項１に記載の顔認証装置。
【請求項４】
前記補正手段は、複数のフレーム画像から検出された顔の特徴点の座標の移動平均を算出し、当該算出された移動平均をもとに前記所定の検出精度に満たない顔の特徴点の座標の補正を行う、
請求項１乃至３のいずれか一項に記載の顔認証装置。
【請求項５】
前記補正手段は、前記フレーム画像ごとに検出された顔の特徴点をもとに検出された顔の向きを算出し、当該算出された顔の向きが所定の方向に向いていない顔の特徴点と、所定の方向に向いている顔の特徴点とで、前記移動平均の算出を行う際の重み付け値を変更する、
請求項４に記載の顔認証装置。
【請求項６】
動画像データを入力する画像入力手段と、
前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出手段と、
前記複数のフレーム画像にわたって検出された顔領域に相当する複数の顔画像をもとに、所定のフレーム画像から検出された顔領域の画質を補正する画質補正手段と、
前記複数のフレーム画像にわたって検出された顔領域と、前記補正された顔領域とをもとに、フレーム画像ごとに顔の特徴点を検出する顔特徴、検出手段と、
前記検出された顔の特徴点をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証手段と、
を備える顔認証装置。
【請求項７】
前記画質補正手段は、前記所定のフレーム画像から検出された顔領域の高解像度化、ノイズ除去、輝度補正、明るさ補正、エッジ強調の中の少なくとも一つを行う、
請求項６に記載の顔認証装置。
【請求項８】
顔認証装置の顔認証方法であって、
動画像データを入力する画像入力工程と、
前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出工程と、
前記複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに顔の特徴点を検出する顔特徴点検出工程と、
前記フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することで、前記フレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び前記所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、前記顔特徴点検出工程が検出した顔の特徴点の検出結果を補正する補正工程と、
前記補正された顔の特徴点の検出結果をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証工程と、
を含む顔認証方法。
【請求項１】
動画像データを入力する画像入力手段と、
前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出手段と、
前記複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに顔の特徴点を検出する顔特徴、検出手段と、
前記フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することで前記フレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び前記所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、前記顔特徴点検出手段が検出した顔の特徴点の検出結果を補正する補正手段と、
前記補正された顔の特徴点の検出結果をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証手段と、
を備える顔認証装置。
【請求項２】
前記補正手段は、前記フレーム画像ごとに検出された顔の特徴点の座標と、複数のフレーム画像から検出された顔の特徴点の座標の平均値との差分が所定値より大きい場合に、当該所定値より大きい顔の特徴点を所定の検出精度に満たない顔の特徴点とする、
請求項１に記載の顔認証装置。
【請求項３】
前記補正手段は、前記フレーム画像ごとに検出された顔の特徴点の座標と、直近のフレーム画像から検出された顔の特徴点の座標との間の移動量が所定値より大きい場合に、当該所定値より大きい顔の特徴点を所定の検出精度に満たない顔の特徴点とする、
請求項１に記載の顔認証装置。
【請求項４】
前記補正手段は、複数のフレーム画像から検出された顔の特徴点の座標の移動平均を算出し、当該算出された移動平均をもとに前記所定の検出精度に満たない顔の特徴点の座標の補正を行う、
請求項１乃至３のいずれか一項に記載の顔認証装置。
【請求項５】
前記補正手段は、前記フレーム画像ごとに検出された顔の特徴点をもとに検出された顔の向きを算出し、当該算出された顔の向きが所定の方向に向いていない顔の特徴点と、所定の方向に向いている顔の特徴点とで、前記移動平均の算出を行う際の重み付け値を変更する、
請求項４に記載の顔認証装置。
【請求項６】
動画像データを入力する画像入力手段と、
前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出手段と、
前記複数のフレーム画像にわたって検出された顔領域に相当する複数の顔画像をもとに、所定のフレーム画像から検出された顔領域の画質を補正する画質補正手段と、
前記複数のフレーム画像にわたって検出された顔領域と、前記補正された顔領域とをもとに、フレーム画像ごとに顔の特徴点を検出する顔特徴、検出手段と、
前記検出された顔の特徴点をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証手段と、
を備える顔認証装置。
【請求項７】
前記画質補正手段は、前記所定のフレーム画像から検出された顔領域の高解像度化、ノイズ除去、輝度補正、明るさ補正、エッジ強調の中の少なくとも一つを行う、
請求項６に記載の顔認証装置。
【請求項８】
顔認証装置の顔認証方法であって、
動画像データを入力する画像入力工程と、
前記入力された動画像データから複数のフレーム画像にわたって同一の人物の顔が表された顔領域を検出する顔検出工程と、
前記複数のフレーム画像にわたって検出された顔領域から、フレーム画像ごとに顔の特徴点を検出する顔特徴点検出工程と、
前記フレーム画像ごとに検出された顔の特徴点の座標をフレーム画像間で比較することで、前記フレーム画像ごとに検出された顔の特徴点の検出精度を検証し、所定の検出精度に満たない顔の特徴点の検出結果からの除外、及び前記所定の検出精度に満たない顔の特徴点の座標の補正の少なくとも一方を行って、前記顔特徴点検出工程が検出した顔の特徴点の検出結果を補正する補正工程と、
前記補正された顔の特徴点の検出結果をもとに、予め登録されている人物の顔の特徴点が示された人物情報を参照して顔認証を行う顔認証工程と、
を含む顔認証方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−６５１１９（Ｐ２０１３−６５１１９Ａ）
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願番号】特願２０１１−２０２４５５（Ｐ２０１１−２０２４５５）
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２５年４月１１日（２０１３．４．１１）
【国際特許分類】
【出願日】平成２３年９月１５日（２０１１．９．１５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]