顔検出方法および顔検出装置、ならびに、プログラム
【課題】顔検出の検出結果に基づき対象人物が目を覆う用具を装着しているか否かを判定可能とする。
【解決手段】画像から顔を検出し、検出された顔から目の特徴点を抽出する。抽出された目の特徴点から目の縦幅および横幅を求め、目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する。算出された差分が０未満の場合には、差分を０と見做す。算出された目の縦幅および横幅それぞれの差分に基づき、検出された顔内の目が覆われた状態か否かを判定する。両目の縦幅および横幅の差分が全て閾値以上である場合に、目が覆われていると判定する。
【解決手段】画像から顔を検出し、検出された顔から目の特徴点を抽出する。抽出された目の特徴点から目の縦幅および横幅を求め、目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する。算出された差分が０未満の場合には、差分を０と見做す。算出された目の縦幅および横幅それぞれの差分に基づき、検出された顔内の目が覆われた状態か否かを判定する。両目の縦幅および横幅の差分が全て閾値以上である場合に、目が覆われていると判定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データから顔を検出する顔検出方法および顔検出装置、ならびに、プログラムに関する。
【背景技術】
【０００２】
従来、監視システムなどにおいて、監視カメラで撮像された画像データから顔を検出して、顔認証や不審者の検出などを行っている。例えば、画像データから目や口の両端といった顔器官の特徴点を抽出することで顔を検出し、その特徴点の位置関係から顔の認識を行う。
【０００３】
ここで、各顔器官の位置関係は、人物の表情などにより変動する。特許文献１では、登録画像における目、鼻、口などの顔器官の位置に主成分分析を適用し、その結果得られた主成分を用いて認証対象顔画像における顔器官の位置を評価する技術が開示されている。
【０００４】
図１６は、特許文献１による顔器官の位置評価の方法の例を示す。図１６（ａ）は、真顔の状態の位置評価、図１６（ｂ）は、笑顔の状態の位置評価の例を示す。この例では、顔器官のうち瞳、眉の先端、鼻および口（両端、中央）の位置を検出し、検出された各位置の位置関係を数値化して評価する。図１６（ａ）および図１６（ｂ）を比較すると、表情によって顔器官の位置関係が変化することが分かる。例えば閾値判定を用いて、この変化が同一人物の変動の範囲内か否かを判定することで、顔の認証精度を高めることができる。
【０００５】
このように、特許文献１によれば、認証対象顔画像における顔器官を、表情の変化に伴う対象人物固有の顔の動きに応じて評価することができ、表情が変化しても正確に顔を認証できる。
【０００６】
特許文献１の方法では、顔認識の対象人物が目を瞑っていたり、サングラスやマスクで目や口を覆っており顔器官の位置を正しく検出できないような場合に、誤認識してしまうおそれがある。特許文献２には、画像に対してエッジ検出を行って顔の輪郭を決定し、輪郭内にある顔器官を検出することで、対象人物がサングラスやマスクを装着しているか否かを判定する技術が開示されている。すなわち、特許文献２では、顔認識の対象人物における顔器官が抽出できない場合に、当該対象人物がサングラスやマスクを装着していると見做している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１５６９４４号公報
【特許文献２】特開平５−３５９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２では、顔認識の対象人物が目を瞑った状態において、誤検出してしまうおそれがあるという問題点があった。例えば、瞬きなどにより目尻の特徴点がうまく抽出できない場合に目が検出されないと判定され、サングラス着用と判断されてしまう可能性がある。また、サングラス着用の場合であっても、サングラスの形状によってはサングラスの輪郭を目の特徴点として抽出してしまい、サングラスを着用していないと判断されてしまう可能性がある。
【０００９】
本発明は、上記に鑑みてなされたものであって、顔検出の検出結果に基づき対象人物が目を覆う用具を装着しているか否かを判定可能とすることを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、顔検出手段が、画像から顔を検出する顔検出ステップと、特徴点抽出手段が、顔検出ステップにより検出された顔から目の特徴点を抽出する特徴点抽出ステップと、算出手段が、特徴点抽出ステップにより抽出された目の特徴点から目の縦幅および横幅を求め、目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出ステップと、判定手段が、算出ステップにより算出された目の縦幅および横幅それぞれの差分に基づき、顔検出ステップにより検出された顔内の目が覆われた状態か否かを判定する判定ステップとを有することを特徴とする。
【００１１】
また、本発明は、画像から顔を検出する顔検出手段と、顔検出手段で検出された顔から目の特徴点を抽出する特徴点抽出手段と、特徴点抽出手段で抽出された目の特徴点から目の縦幅および横幅を求め、目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出手段と、算出手段で算出された目の縦幅および横幅それぞれの差分に基づき、顔検出手段で検出された顔内の目が覆われた状態か否かを判定する判定手段とを有することを特徴とする。
【００１２】
また、本発明は、画像から顔を検出する顔検出ステップと、顔検出ステップにより検出された顔から目の特徴点を抽出する特徴点抽出ステップと、特徴点抽出ステップにより抽出された目の特徴点から目の縦幅および横幅を求め、目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出ステップと、算出ステップにより算出された目の縦幅および横幅それぞれの差分に基づき、顔検出ステップにより検出された顔内の目が覆われた状態か否かを判定する判定ステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、顔検出の検出結果に基づき対象人物が目を覆う用具を装着しているか否かを判定可能となるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施形態による顔検出装置の一例の機能を示す機能ブロック図である。
【図２】図２は、本発明の実施形態による顔検出方法の一例の処理を示すフローチャートである。
【図３】図３は、本発明の実施形態による特徴点抽出を説明するための略線図である。
【図４】図４は、正規化に顔領域を示す矩形の対角線の長さを用いることを説明するための略線図である。
【図５】図５は、閾値を設定する際に係数を乗じることを説明するための略線図である。
【図６】図６は、本発明の実施形態による逸脱度合eyeDeviancyに対する閾値判定について説明するための略線図である。
【図７】図７は、本発明の実施形態による逸脱度合eyeDeviancyに対する閾値判定について説明するための略線図である。
【図８】図８は、本発明の実施形態による逸脱度合eyeDeviancyに対する閾値判定について説明するための略線図である。
【図９】図９は、本発明の実施形態による逸脱度合eyeDeviancyに対する閾値判定について説明するための略線図である。
【図１０】図１０は、目周辺の輝度に基づく判定について説明するための略線図である。
【図１１】図１１は、本発明の実施形態による顔検出の実行結果の例について説明するための略線図である。
【図１２】図１２は、本発明の実施形態による顔検出の実行結果の例について説明するための略線図である。
【図１３】図１３は、本発明の実施形態による顔検出の実行結果の例について説明するための略線図である。
【図１４】図１４は、本発明の実施形態による顔検出の実行結果の例について説明するための略線図である。
【図１５】図１５は、本発明の実施形態による顔検出装置を適用可能なハードウェアとしての情報処理装置の一例の構成を示すブロック図である。
【図１６】図１６は、従来技術による顔器官の位置評価の方法の例を示す略線図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照して、本発明に係る顔検出装置の一実施形態を詳細に説明する。図１は、本実施形態による顔検出装置１の一例の機能を示す機能ブロック図である。顔検出装置１は、画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４を含む。これら顔検出装置１を構成する各部は、ＣＰＵ(Central Processing Unit)上で動作するプログラムにより構成することができる。これに限らず、これら各部の一部または全部をハードウェアにより構成してもよい。
【００１６】
顔検出装置１において、画像データが画像入力部１００に入力される。画像入力部１００には、ビデオカメラなどで撮像された画像データを入力することができる。これに限らず、ＨＤＤ（ハードディスクドライブ）などの記憶媒体に予め格納した画像データを画像入力部１００に対して入力してもよい。また、画像入力部１００に入力される画像データは、動画および静止画の何れであってもよい。以下では、ビデオカメラで撮像された動画による画像データが画像入力部１００に入力されるものとする。画像入力部１００は、入力された画像データから、例えば１フレームの画像データをキャプチャして、顔検出部１０１に供給する。
【００１７】
顔検出部１０１は、供給された画像データを解析して、当該画像データから顔を検出する。画像データからの顔（顔領域および目、鼻、口などの顔器官）の検出は、既知の方法を用いて行うことができる。例えば、顔辞書とパターンマッチングを用いた部分空間法により、顔領域および各顔器官の検出を行うことが考えられる。顔検出部１０１による検出出力は、特徴点抽出部１０２に供給される。なお、顔検出部１０１は、画像データから顔が検出されなかった場合に、画像入力部１００に対して次の画像データを要求することができる。
【００１８】
特徴点抽出部１０２は、顔検出部１０１で検出された顔の特徴点を抽出する。例えば、特徴点抽出部１０２は、顔における目、鼻、口などの各顔器官について、特徴点を抽出する。特徴点の抽出には、既知の技術を用いることができる。例えば、顔検出部１０１で検出された顔領域に対して特徴点数の多い顔グラフを適用し、顔グラフの平行移動、拡大／縮小、回転などにより、さらに類似度の高い特徴点を抽出する方法を用いることが考えられる。
【００１９】
本実施形態では、抽出された顔の特徴点のうち、目に関する特徴点に注目し、左目および右目のそれぞれについて、目の縦幅および横幅を計測するための特徴点を抽出する。特徴点抽出部１０２で抽出された目の特徴点の位置を示す情報は、算出部１０３に供給される。
【００２０】
特徴点抽出部１０２は、さらに、顔検出部１０１で検出された顔の向きを解析する。そして、顔の向きが上下左右それぞれの方向に対して予め決められた範囲内に収まっているか否かを判定する。例えば、特徴点抽出部１０２は、顔の特徴点の位置を示す情報に基づき顔の向きを推測する。なお、特徴点抽出部１０２は、顔の向きが所定範囲内に入っていないと判定した場合に、画像入力部１００に対して次の画像データを要求することができる。
【００２１】
算出部１０３は、特徴点抽出部１０２から供給された目の特徴点の位置を示す情報に基づき、左目および右目それぞれについて、目の縦幅および横幅を算出する。ここで、算出部１０３は、左目および右目の縦幅および横幅について、予め多数のサンプルから算出された、標準のデータを持っている。算出部１０３は、顔検出の結果に基づき算出された左目および右目の縦幅および横幅と、標準の左目および右目の縦幅および横幅とを比較する。そして、比較結果に基づき、顔検出で検出された左目および右目の縦幅および横幅それぞれの、標準の左目および右目の縦幅および横幅に対する逸脱度合を算出する。算出された左目および右目の縦幅および横幅それぞれの逸脱度合は、判定部１０４に供給される。
【００２２】
判定部１０４は、算出部１０３から供給された、左目および右目の縦幅および横幅それぞれの逸脱度合に基づき、顔検出部１０１で検出された顔内の目が、目を覆う用具（例えばサングラス）に覆われているか否かを判定する。判定部１０４は、目周辺の領域について測定された輝度を、さらに判定に用いてもよい。
【００２３】
図２は、本実施形態による顔検出方法の一例の処理を示すフローチャートである。ステップＳ１００で、顔検出装置１に入力された画像データが画像入力部１００にキャプチャされる。顔検出部１０１は、キャプチャされた画像データに対して既知の方法を用いて顔検出処理を施し、画像データから顔が検出されたか否かを判定する（ステップＳ１０１）。若し、顔が検出されていないと判定された場合は、画像入力部１００に対して例えば次のフレームの画像データを要求し、処理をステップＳ１００に戻す。
【００２４】
一方、ステップＳ１０１で、顔が検出されたと判定された場合、処理がステップＳ１０２に移行される。ステップＳ１０２では、特徴点抽出部１０２が、顔検出部１０１による顔検出結果を用いて顔の特徴点を検出する。
【００２５】
上述したように、本実施形態では、特徴点抽出部１０２は、各顔器官のうち、目に注目して特徴点を抽出する。より具体的には、図３に例示されるように、目の目尻および目頭、ならびに、目蓋の上端および下端の位置を、特徴点として検出する。以下では、右目１０ａの目頭、目尻、目蓋の上端および目蓋の下端の位置をそれぞれ位置Ｐ1、Ｐ2、Ｐ3およびＰ4とする。同様に、左目１０ｂの目頭、目尻、目蓋の上端および目蓋の下端の位置をそれぞれ位置Ｐ5、Ｐ6、Ｐ7およびＰ8とする。
【００２６】
特徴点抽出部１０２は、さらに、画像データにおける顔の向きを推定する。例えば、特徴点抽出部１０２は、顔検出結果を用いて抽出された各顔器官の特徴点の位置関係から、顔の向きを推定する。そして、ステップＳ１０３で、特徴点抽出部１０２は、推定された顔の向きが、上下について予め定められた範囲内に収まっているか否かを判定する。若し、当該範囲内に収まっていないと判定した場合、画像入力部１００に対して例えば次のフレームの画像データを要求し、処理をステップＳ１００に戻す。一方、顔の向きが当該範囲内に収まっていると判定した場合、次のステップＳ１０４で、推定された顔の向きが左右について予め定められた範囲内に収まっているか否かを判定する。若し、当該範囲内に収まっていないと判定した場合、画像入力部１００に対して例えば次のフレームの画像データを要求し、処理をステップＳ１００に戻す。なお、ステップＳ１０３およびステップＳ１０４の順序は、逆でもよい。
【００２７】
ステップＳ１０４で、特徴点抽出部１０２は、推定された顔の向きが左右について予め定められた範囲内に収まっていると判定したら、ステップＳ１０２で抽出した目の特徴点の位置Ｐ1〜Ｐ8を示す情報を算出部１０３に渡し、処理をステップＳ１０５に移行させる。
【００２８】
ステップＳ１０５で、算出部１０３は、特徴点抽出部１０２から渡された目の特徴点の位置Ｐ1〜Ｐ8を示す情報を用いて、左目および右目それぞれについて、縦幅および横幅を算出する。このとき、図４に例示されるように、顔検出部１０１による顔検出結果から得られる顔領域を示す矩形１１、例えば顔検出に用いた各顔器官を含む矩形１１の対角線の長さを用い、顔の大きさに基づき正規化した値として、縦幅および横幅を算出する。顔の大きさとして矩形１１の対角線の長さを用いるのは、矩形１１が正方形ではない場合に対応させるためである。
【００２９】
具体的には、算出部１０３は、左目１０ｂの縦幅eyeLyおよび横幅eyeLx、ならびに、右目１０ａの縦幅eyeRyおよび横幅eyeRxを、例えばそれぞれ式（１）〜式（４）に従い算出する。なお、式（１）〜式（４）において、値Ｆｘおよび値Ｆｙは、それぞれ正規化に用いる顔領域の矩形１１の横幅および縦幅を示す。また、値Ｐnｘおよび値Ｐnｙ（ｎは１〜８）は、それぞれ位置Ｐ1〜Ｐ8のｘ座標およびｙ座標を示す。各値の単位は、例えば画像データの画素とする。
【００３０】
【数１】
【数２】
【数３】
【数４】
【００３１】
次のステップＳ１０６で、算出部１０３は、ステップＳ１０５で算出した左目１０ｂおよび右目１０ａの縦幅および横幅と、予め算出した、目の標準の縦幅および横幅との差分subNormalを算出し、顔検出部１０１で検出された顔に含まれる目の縦幅および横幅の、標準の縦幅および横幅に対する逸脱度合eyeDeviancyを求める。
【００３２】
目の標準の縦幅および横幅の算出は、例えば次のようにして行う。左目１０ｂについて、予め、多数のサンプルについて上述した式（１）に従い縦幅eyeLyを算出し、代表値（平均値など）を求めて左目１０ｂの標準の縦幅normalLyとする。同様にして、左目１０ｂの横幅について、予め、多数のサンプルについて上述した式（２）に従い横幅eyeLxを算出し、代表値を求めて左目１０ｂの標準の横幅normalLxとする。右目１０ａについても同様にして、予め、多数のサンプルを用いて式（３）および式（４）に従い計算を行い、標準の縦幅normalRyおよび標準の横幅normalRxを求める。これら標準の縦幅normalLyおよびnormalRy、ならびに、横幅normalRxおよびnormalLxは、例えば顔検出装置１が有する、図示されないＨＤＤなどの不揮発性の記憶媒体に記憶される。
【００３３】
逸脱度合eyeDeviancyの算出方法について、左目１０ｂの縦幅eyeLyを例にとって、当該縦幅eyeLyに対する逸脱度合eyeLyDeviancyを算出する場合について説明する。なお、以下に説明する逸脱度合eyeDeviancyの算出方法は、左目１０ｂの横幅eyeLx、ならびに、右目１０ａの縦幅eyeRyおよび横幅eyeRxについても、それぞれ同様に適用できる。また、横幅eyeLx、縦幅eyeRyおよび横幅eyeRxにそれぞれ対応する逸脱度合eyeDeviancyを、逸脱度合eyeLxDeviancy、逸脱度合eyeRyDeviancyおよび逸脱度合eyeRxDeviancyとする。
【００３４】
先ず、式（５）に従い、特徴点の位置から求めた縦幅eyeLyと、左目の標準の縦幅normalLyとの差分subNormalLyを算出する。
subNormalLy＝eyeLy−normalLy …（５）
【００３５】
ここで、目の縦幅eyeLyについて、式（５）の計算の結果が次の式（６）を満たす場合、逸脱度合eyeLyDeviancyの値を０と見做すものとする。これは、目の横幅についても同様である。
subNormalLy＜０ …（６）
【００３６】
目の縦幅についてこの式（６）の結果が得られた場合には、例えば瞑っている状態の目が検出されたと判断することが可能である。また、目の横幅についてこの式（６）の結果が得られた場合は、例えば目を瞑っている状態に対して目尻や目頭を示す特徴点が正しく抽出できていないと判断することが可能である。
【００３７】
式（５）の結果、差分subNormalLy≧０である場合、式（７）に示されるように、算出された差分subNormalLyに対して、左目１０ｂの縦幅に対して予め定められた係数pixelsToEyeLyDeviancyを乗じて、左目１０ｂの縦幅eyeLyの逸脱度合eyeLyDeviancyを算出する。
eyeLyDeviancy＝subNormalLy×pixelsToEyeLyDeviancy …（７）
【００３８】
ここで、係数pixelsToEyeLyDeviancyは、判定部１０４における判定処理に用いる閾値の設定を容易にするために、差分subNormalLyに対して乗じられる。左目１０ｂの縦幅eyeLyを例に取り、図５を用いて、係数pixelsToEyeLyDeviancyの意味について説明する。顔検出によって得られた特徴点に基づく左目１０ｂの縦幅eyeLyと、左目の標準の縦幅normalLyとの差分subNormalLyを取った場合、差分subNormalLyの頻度分布は、例えば図５（ａ）に例示されるように、差分subNormalLy＝０を中心とする正規分布的なものとなる。
【００３９】
本実施形態では、後述するように、この差分subNormalLyを閾値判断することで、検出された目が目を覆う用具に覆われているか否かを判定する。このとき、閾値を少し、例えば閾値Ｔｈ10から閾値Ｔｈ11にずらしただけで、対応する頻度が大きく変化し、頻度が少ない状態も許容してしまうおそれがある。そこで、差分subNormalLyに対して１を超える係数pixelsToEyeLyDeviancyを乗じた値を逸脱度合eyeLyDeviancyとし、この逸脱度合eyeLyDeviancyに対して閾値を設定することで、閾値の細かい設定が容易となる。
【００４０】
図５（ｂ）の例では、係数pixelsToEyeLyDeviancy≒２として、頻度分布をｘ方向に略２倍に拡張している。これにより、閾値設定に対する精度が略２倍となり、閾値を図５（ａ）と同じだけずらした場合（閾値Ｔｈ10から閾値Ｔｈ12）の、頻度の変化が図５（ａ）に比べて小さくなり、閾値の設定が容易となる。
【００４１】
なお、ここでは、縦幅eyeLyに対する係数pixelsToEyeLyDeviancyについて説明したが、この係数は、左目１０ｂの縦幅eyeLyおよび横幅eyeLx、ならびに、右目１０ａの縦幅eyeRyおよび横幅eyeRxに対してそれぞれ設定される。また、この係数は、これら縦幅eyeLy、横幅eyeLx、縦幅eyeRyおよび横幅eyeRxに対してそれぞれ異なる値を設定することができる。例えば、縦幅eyeLy、横幅eyeLx、縦幅eyeRyおよび横幅eyeRxに対して、それぞれ係数pixelsToEyeLyDeviancy、係数pixelsToEyeLxDeviancy、係数pixelsToEyeRyDeviancyおよび係数pixelsToEyeRxDeviancyが用いられる。
【００４２】
係数pixelsToEyeLyDeviancy、係数pixelsToEyeLxDeviancy、係数pixelsToEyeRyDeviancyおよび係数pixelsToEyeRxDeviancyの値は、実験的に予め決められる。例えば、係数pixelsToLyEyeDeviancyとして、１０００を超える値を用いることができる。この場合、逸脱度合eyeLyDeviancyの値も大きな値、例えば１０００を超える値を取る可能性がある。この場合、逸脱度合eyeLyDeviancyの値に閾値として設定する値よりも大きな値を上限（例えば１０００）として設け、逸脱度合eyeLyDeviancyの値がこの上限を超えた場合には、逸脱度合eyeLyDeviancyの値を強制的にこの上限値としてもよい。
【００４３】
また、差分に対する係数の乗算に限らず、例えば設定される閾値近傍をｘ方向に拡大するような関数を用いることもできる。さらに、ステップＳ１０６において差分に対する係数の乗算を省略し、差分そのものを逸脱度合として用いることもできる。
【００４４】
ステップＳ１０６で、目の縦幅および横幅の、標準の縦幅および横幅に対する逸脱度合が求められると、処理はステップＳ１０７に移行される。ステップＳ１０７では、判定部１０４が、右目１０ａおよび左目１０ｂについて、逸脱度合eyeDeviancyが閾値以上であるか否かを判定する。
【００４５】
より詳細には、右目１０ａの縦幅eyeRyに対応する逸脱度合eyeRyDeviancy、右目１０ａの横幅eyeRxに対応する逸脱度合eyeRxDeviancy、左目１０ｂの縦幅eyeLyに対応する逸脱度合eyeLyDeviancyおよび左目１０ｂの横幅eyeLxに対応する逸脱度合eyeLxDeviancyのそれぞれに対して、予め閾値を設定する。判定部１０４は、これら逸脱度合eyeRyDeviancy、eyeRxDeviancy、eyeLyDeviancyおよびeyeLxDeviancyのうち少なくとも１の値が、対応する閾値未満であると判定した場合に、処理をステップＳ１１０に移行させ、検出された顔の目が目を覆う用具（サングラス、ゴーグルなど）に覆われた状態ではないと決定する。
【００４６】
一方、判定部１０４は、これら逸脱度合eyeRyDeviancy、eyeRxDeviancy、eyeLyDeviancyおよびeyeLxDeviancyの全てが、それぞれに設定された閾値以上の値であると判定した場合、処理をステップＳ１０８に移行させる。ステップＳ１０８で、判定部１０４は、検出された目の周辺領域の輝度が閾値以下であるか否かを判定する。若し、目周辺領域の輝度が閾値を超えていると判定した場合には、処理をステップＳ１１０に移行させ、検出された顔の目が目を覆う用具に覆われた状態ではないと判断する。一方、判定部１０４は、目周辺領域の輝度が閾値以下であると判定した場合、検出された顔の目が目を覆う用具に覆われている状態であると決定する（ステップＳ１０９）。
【００４７】
なお、ステップＳ１０８の輝度値による判定は、省略することができる。この場合、判定部１０４は、逸脱度合eyeRyDeviancy、eyeRxDeviancy、eyeLyDeviancyおよびeyeLxDeviancyの全てがそれぞれ対応する閾値以上である場合に、検出された顔の目が目を覆う用具に覆われた状態であると判定する。ステップＳ１０８の輝度値による判定をさらに行うことで、より高精度な判定結果を得ることができる。
【００４８】
ステップＳ１０７における、逸脱度合eyeDeviancyに対する閾値判定について、図６〜図９を用いてより詳細に説明する。なお、ここでは、逸脱度合eyeDeviancyの代わりに、係数pixelToEyeDeviancyを乗ずる前の差分subNormalを用いて説明を行う。
【００４９】
図６および図７は、例えば左目１０ｂの縦幅eyeLyにおける閾値判定の例を示す。図６（ａ）に例示されるように、左目１０ｂにおいて、左目１０ｂにおける標準の縦幅normalLyよりもやや大きな値で縦幅eyeLyが算出されたものとする。式（５）に従い、左目１０ｂの縦幅eyeLyと左目１０ｂの標準の縦幅normalLyとの差分subNormalLyが算出される。
【００５０】
この例では、図６（ｂ）に示されるように、差分subNormalLyの値が、左目１０ｂに対して設定された閾値Ｔｈｙ未満の値となっている。この場合、差分subNormalLyの値が閾値Ｔｈｙ未満なので、顔検出の結果に基づき算出された縦幅eyeLyの値の変動が、瞬きも含む目の正常な変動と判定する。
【００５１】
図７（ａ）は、左目１０ｂがサングラス２０に覆われている例を示す。この例では、顔検出結果に基づく特徴点抽出により、目の上端および下端としてサングラス２０の上端および下端が検出され、このサングラス２０の上端および下端に基づき縦幅eyeLyが算出されている。サングラス２０は、通常、目を覆うために用いられるものであって、その上端および下端による縦幅は、左目１０ｂの縦幅に比べて広いのが一般的である。したがって、図７（ｂ）に例示されるように、サングラスの上端および下端による縦幅eyeLyと、左目１０ｂの標準の縦幅normalLyとの差分subNormalLyの値は、閾値Ｔｈｙよりも大きな値となる。これは、顔検出の結果に基づき算出された縦幅eyeLyの変動が、目の正常な変動ではない、すなわち、顔検出で左目１０ｂの位置に検出されたものが目ではないことを意味する。
【００５２】
目の横幅に対しても、同様にして判定が行われる。図８および図９は、左目１０ｂの横幅eyeLxにおける閾値判定の例を示す。図８（ａ）に例示されるように、左目１０ｂにおいて、左目１０ｂにおける標準の横幅normalLxよりもやや小さな値で横幅eyeLxが算出されたものとする。式（５）に従い、左目１０ｂの横幅eyeLxと左目１０ｂの標準の横幅normalLxとの差分subNormalLxが算出される。この例では、図８（ｂ）に示されるように、差分subNormalLxの値が負の値となっているため、上述した式（６）に従い、逸脱度合eyeLxDeviancy＝０と見做すことができる。この場合、目を瞑っているなどにより、目尻や目頭を示す特徴点が正常に抽出できていないことが考えられる。
【００５３】
図９（ａ）は、左目１０ｂがサングラス２０に覆われている例を示す。この例では、顔検出結果に基づく特徴点抽出により、目尻および目頭としてサングラス２０の左右端がそれぞれ検出され、このサングラス２０の左右端に基づき横幅eyeLxが算出されている。サングラス２０は、通常、目を覆うために用いられるものであって、その左右端による横幅は、左目１０ｂの横幅に比べて広いのが一般的である。したがって、図９（ｂ）に例示されるように、サングラスの左右端による横幅eyeLxと、左目１０ｂの標準の横幅normalLxとの差分subNormalLxの値は、閾値Ｔｈｘよりも大きな値となる。これは、顔検出の結果に基づき算出された横幅eyeLxの変動が、目の正常な変動ではない、すなわち、顔検出で左目１０ｂの位置に検出されたものが目ではないことを意味する。
【００５４】
以上のようにして、右目１０ａおよび左目１０ｂそれぞれについて、縦幅および横幅を標準の縦幅および横幅とそれぞれ比較して、各逸脱度合eyeDeviancyを求める。そして、求めた各逸脱度合eyeDeviancyのうち少なくとも１つが閾値以下であると判定された場合に、検出された目が目を覆う用具で覆われていない状態であると決定する。
【００５５】
一方、求めた各逸脱度合eyeDeviancyが全て閾値以上であると判定された場合、検出された目がサングラスなどで覆われている状態である可能性がある。この場合、ステップＳ１０８において、さらに、目周辺の輝度に基づく判定を行う。
【００５６】
一例として、図１０に示されるように、顔３０について顔検出結果により得られた顔領域を示す矩形３２を例えばＭ×Ｎの領域に分割し、右目３１ａを含む分割領域と、左目３１ｂを含む分割領域とをそれぞれ求める。そして、求められたこれらの分割領域を含む所定範囲の分割領域を、目周辺領域として定める。この目周辺領域の画素の輝度値の例えば平均値を算出し、目周辺領域の輝度とする。この目周辺領域の輝度に対して閾値を設定し、当該輝度が閾値以下である場合に、目がサングラスなどで覆われていると判定する。閾値は、例えば、多数のサンプルを用いて予め求めた、サングラスなどで覆われていない状態、すなわち肌が露出した状態での目周辺領域の輝度と、サングラスで覆われている状態での目周辺領域の輝度とに基づき設定することが考えられる。
【００５７】
次に、図１１〜図１４を用いて、本実施形態による顔検出の実行結果の例について説明する。なお、図１１〜図１４に共通して、左目について、標準の縦幅normalLy＝０．０５、横幅normalLx＝０．１５、右目も同様に、標準の縦幅normalRy＝０．０５、標準の横幅normalRx＝０．１５とする。また、左目について、縦幅に対する係数pixelsToEyeLyDeviancy＝８０００、横幅に対する係数pixelsToEyeLxDeviancy＝１００００とし、右目も同様に、縦幅に対する係数pixelsToEyeRyDeviancy＝８０００、横幅に対する係数pixelsToEyeRxDeviancy＝１００００とする。さらに、縦幅および横幅に対する閾値は、便宜上、左目および右目について共通とし、縦幅に対する閾値Ｔｈｙ＝５００、横幅に対する閾値Ｔｈｘ＝２５０とする。さらにまた、以下では、便宜上、図２のフローチャートにおけるステップＳ１０８の輝度による判定を省略している。
【００５８】
図１１は、通常時、すなわち、メガネおよびサングラス無し、且つ、目を開けた状態における実行結果の例を示す。図１１の例では、顔検出により得られた顔領域の矩形４０の対角線の長さが１５６画素であり、これが顔のサイズとされる。顔サイズで正規化された左目の縦幅eyeLy＝０．０６４とした場合、式（５）に従い、差分subNormalLy＝０．０６４−０．０５＝０．０１４となる。式（７）に従い、差分subNormalLyに係数pixelsToEyeLyDeviancyを乗じて、逸脱度合＝０．０１４×８０００＝１１２となる。縦幅に対する閾値Ｔｈｙ＝５００としているので、左目の縦幅の逸脱度合は、閾値Ｔｈｙ未満であると判定される。
【００５９】
左目の横幅、右目の縦幅および右目の横幅についても、同様にして逸脱度合が算出される。すなわち、左目の横幅について、正規化された左目の横幅eyeLx＝０．１７とした場合、
差分subNormalLx＝０．１７−０．１５＝０．０２
逸脱度合＝０．０２×１００００＝２００＜Ｔｈｘ（＝２５０）
となる。
【００６０】
右目の縦幅について、正規化された右目の縦幅eyeRy＝０．０６５とした場合、
差分subNormalRy＝０．０６５−０．０５＝０．０１５
逸脱度合＝０．０１５×８０００＝１２０＜Ｔｈｙ（＝５００）
となる。
【００６１】
右目の横幅について、正規化された右目の横幅eyeRx＝０．１６とした場合、
差分subNormalRx＝０．１６−０．１５＝０．０１
逸脱度合＝０．０１×１００００＝１００＜Ｔｈｘ（＝２５０）
となる。
【００６２】
このように、図１１の例では、左目および右目それぞれの縦幅および横幅について、逸脱度合が閾値未満なので、目がサングラスなどで覆われていないと判定される。
【００６３】
図１２は、色無しのメガネを掛け、且つ、目を開けた状態における実行結果の例を示す。この場合、メガネを通して容易に目を検出することが可能であり、メガネが無い場合と略同様に、特徴点が抽出されている。顔検出により得られた顔領域の矩形４０の対角線の長さが１１３画素であり、これが顔のサイズとされる。
【００６４】
図１１を用いて説明した例と同様にして、左目の縦幅について、正規化された左目の縦幅eyeLy＝０．０５３とした場合、
差分subNormalLy＝０．０５３−０．０５＝０．００３
逸脱度合＝０．００３×８０００＝２４＜Ｔｈｙ（＝５００）
となる。
【００６５】
左目の横幅について、正規化された左目の横幅eyeLx＝０．１４とした場合、
差分subNormalLx＝０．１４−０．１５＝−０．０１
となる。
ここで、差分subNormalLx＝−０．０１＜０であり式（６）を満たすため、差分subNormalLx＝０と見做される。したがって、
逸脱度合＝０．０×１００００＝０＜Ｔｈｘ（＝２５０）
となる。
【００６６】
右目の縦幅について、正規化された右目の縦幅eyeRy＝０．０６２とした場合、
差分subNormalRy＝０．０６２−０．０５＝０．０１２
逸脱度合＝０．０１２×８０００＝９６＜Ｔｈｙ（＝５００）
となる。
【００６７】
右目の横幅について、正規化された右目の横幅eyeRx＝０．１４とした場合、
差分subNormalRx＝０．１４−０．１５＝−０．０１
となる。
この場合も、差分subNormalRx＝−０．０１＜０であり式（６）を満たすため、差分subNormalRx＝０と見做される。したがって、
逸脱度合＝０．０×１００００＝０＜Ｔｈｘ（＝２５０）
となる。
【００６８】
このように、図１２の例では、左目および右目それぞれの縦幅および横幅について、逸脱度合が閾値未満なので、目がサングラスなどで覆われていないと判定される。また、色無しのメガネによる誤判定も発生していない。
【００６９】
図１３は、メガネおよびサングラス無し、且つ、目を瞑った状態における実行結果の例を示す。例えば、動画像データから瞬きの瞬間をキャプチャしたような場合に、画像データが図１３のような状態となる。顔検出により得られた顔領域の矩形４０の対角線の長さが１５５画素であり、これが顔のサイズとされる。
【００７０】
図１１を用いて説明した例と同様にして、左目の縦幅について、正規化された左目の縦幅eyeLy＝０．０５１とした場合、
差分subNormalLy＝０．０５１−０．０５＝０．００１
逸脱度合＝０．００１×８０００＝８＜Ｔｈｙ（＝５００）
となる。
【００７１】
左目の横幅について、正規化された左目の横幅eyeLx＝０．１６とした場合、
差分subNormalLx＝０．１６−０．１５＝０．０１
逸脱度合＝０．０１×１００００＝１００＜Ｔｈｘ（＝２５０）
となる。
【００７２】
右目の縦幅について、正規化された右目の縦幅eyeRy＝０．０３２とした場合、
差分subNormalRy＝０．０３２−０．０５＝−０．０１８
となる。
ここで、差分subNormalRy＝−０．０１８＜０であり式（６）を満たすため、差分subNormalRy＝０と見做される。したがって、
逸脱度合＝０．０×８０００＝０＜Ｔｈｙ（＝５００）
となる。
【００７３】
右目の横幅について、正規化された右目の横幅eyeRx＝０．１６とした場合、
差分subNormalRx＝０．１６−０．１５＝０．０１
逸脱度合＝０．０１×１００００＝１００＜Ｔｈｘ（＝２５０）
となる。
【００７４】
このように、図１３の例では、左目および右目それぞれの縦幅および横幅について、逸脱度合が閾値未満なので、目がサングラスなどで覆われていないと判定される。また、検出された目の縦幅が標準の目の縦幅よりも小さい場合に、検出された目の縦幅と標準の目の縦幅との差分を０と見做すようにしているため、目を瞑った状態を目の正常な状態と判定することでき、目を瞑った状態による誤判定の発生が抑制される。
【００７５】
図１４は、濃い色の入ったサングラスを掛けた状態における実行結果の例を示す。この場合、サングラスを通して目を検出することが困難であり、サングラスの外周に基づき特徴点が抽出されている。顔検出により得られた顔領域の矩形４０の対角線の長さが１４１画素であり、これが顔のサイズとされる。
【００７６】
図１１を用いて説明した例と同様にして、左目の縦幅について、正規化された左目の縦幅eyeLy＝０．１４とした場合、
差分subNormalLy＝０．１４−０．０５＝０．０９
逸脱度合＝０．０９×８０００＝７２０＞Ｔｈｙ（＝５００）
となる。
【００７７】
左目の横幅について、正規化された左目の横幅eyeLx＝０．１８とした場合、
差分subNormalLx＝０．１８−０．１５＝０．０３
逸脱度合＝０．０３×１００００＝３００＞Ｔｈｘ（＝２５０）
となる。
【００７８】
右目の縦幅について、正規化された右目の縦幅eyeRy＝０．１４とした場合、
差分subNormalRy＝０．１４−０．０５＝０．０９
逸脱度合＝０．０９×８０００＝７２０＞Ｔｈｙ（＝５００）
となる。
【００７９】
右目の横幅について、正規化された右目の横幅eyeRx＝０．２３とした場合、
差分subNormalRx＝０．２３−０．１５＝０．０８
逸脱度合＝０．０８×１００００＝８００＞Ｔｈｘ（＝２５０）
となる。
【００８０】
このように、図１４の例では、左目および右目それぞれの縦幅および横幅について、逸脱度合が閾値を超えているので、目がサングラスなどで覆われていると判定される。このように、本実施形態によれば、目がサングラスなどで覆われている場合と覆われていない場合とをそれぞれ検出することができる。
【００８１】
図１５は、本実施形態による顔検出装置１を適用可能なハードウェアとしての情報処理装置２００の一例の構成を示す。情報処理装置２００において、バス２０１に対してＣＰＵ２１０、ＲＯＭ２１１、ＲＡＭ２１２、表示制御部２１３およびキャプチャ部２１４が接続される。さらに、バス２０１に対して、ハードディスクドライブ（ＨＤＤ）２１５、入力Ｉ／Ｆ２１６、ドライブ装置２１７および通信Ｉ／Ｆ２１８が接続される。
【００８２】
キャプチャ部２１４は、例えば、ビデオカメラ２２０で撮像された動画像データが入力され、入力された動画像データから、フレーム単位で画像データを取得する。取得された画像データは、例えばバス２０１を介してＣＰＵ２１０に供給される。ＨＤＤ２１５は、ＣＰＵ２１０が動作するためのプログラムや、左目および右目それぞれの縦幅および横幅の標準的なデータが予め記憶される。ＨＤＤ２１５に対して、キャプチャ部２１４で取得された画像データなどを記憶させてもよい。
【００８３】
ＣＰＵ２１０は、ＲＯＭ２１１やＨＤＤ２１５に予め記憶されたプログラムに従い、ＲＡＭ２１２をワークメモリとして用いて、この情報処理装置２００の全体の動作を制御する。例えば、図１を用いて説明した、画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４それぞれの機能は、ＣＰＵ２１０上で動作するプログラムによって実現される。
【００８４】
表示制御部２１３は、ＣＰＵ２１０によりプログラムに従い生成された表示制御信号に基づき、ディスプレイ２２１が表示可能な表示信号を生成し、ディスプレイ２２１に供給する。また、入力Ｉ／Ｆ２１６は、キーボード２１６ａや、マウスなどのポインティングデバイス２１６ｂが接続され、ユーザ入力を受け付け、ユーザ入力に応じた制御信号を出力し、ＣＰＵ２１０に供給する。また、入力Ｉ／Ｆ２１６は、ＵＳＢ(Universal Serial Bus)などのデータ通信入出力２１６ｃにも対応できる。
【００８５】
ドライブ装置２１７は、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、フレキシブルディスク、不揮発性メモリなどの記憶媒体からのデータの読み出しを行う。通信Ｉ／Ｆ２１８は、ＬＡＮ(Local Area Network)やインターネットといったネットワークに対する通信を制御する。
【００８６】
このような構成による情報処理装置２００で実行される顔検出プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤ、フレキシブルディスク、不揮発性メモリなどのコンピュータで読み取り可能な記憶媒体に記録されて提供される。ドライブ装置２１７により、この記憶媒体から顔検出プログラムを読み出し、例えばＨＤＤ２１５に対して所定の方法でインストールする。
【００８７】
また、本実施形態の情報処理装置２００で実行される顔検出プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の情報処理装置２００で実行される顔検出プログラムを、インターネットなどのネットワーク経由で提供または配布するように構成してもよい。
【００８８】
また、本実施形態の情報処理装置２００で実行される顔検出プログラムを、ＲＯＭ２１１などに予め組み込んで提供するように構成してもよい。
【００８９】
本実施形態の情報処理装置２００で実行される顔検出プログラムは、上述した各部（画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ２１０が上述の記憶媒体や、ＨＤＤ２１５から顔検出プログラムを読み出して実行することにより、各部が主記憶装置（例えばＲＡＭ２１２）上にロードされ、画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４が主記憶装置上に生成されるようになっている。
【００９０】
以上説明したように、本実施形態によれば、顔検出を行い抽出した目の特徴点に基づき求めた目の縦幅および横幅を、標準の目の縦幅および横幅と比較することで、目がサングラスのようなもので覆われている状態を検出することを可能としている。したがって、本実施形態を警備システムに適用した場合、顔の認識をより高精度に行うことが可能となると共に、不審者の検出も容易となる。
【００９１】
なお、上述では、本発明が、目が目を覆う用具に覆われているか否かを判定する場合に適用するように説明したが、これはこの例に限定されない。例えば、本発明による、実測値と標準の値との差分に基づく判定方法を応用することで、口が口を覆う用具（マスクなど）に覆われているか否かの判定を行うことも可能である。
【符号の説明】
【００９２】
１ 顔検出装置
１０ａ 右目
１０ｂ 左目
１１ 矩形
２０ サングラス
１００ 画像入力部
１０１ 顔検出部
１０２ 特徴点抽出部
１０３ 算出部
１０４ 判定部
【技術分野】
【０００１】
本発明は、画像データから顔を検出する顔検出方法および顔検出装置、ならびに、プログラムに関する。
【背景技術】
【０００２】
従来、監視システムなどにおいて、監視カメラで撮像された画像データから顔を検出して、顔認証や不審者の検出などを行っている。例えば、画像データから目や口の両端といった顔器官の特徴点を抽出することで顔を検出し、その特徴点の位置関係から顔の認識を行う。
【０００３】
ここで、各顔器官の位置関係は、人物の表情などにより変動する。特許文献１では、登録画像における目、鼻、口などの顔器官の位置に主成分分析を適用し、その結果得られた主成分を用いて認証対象顔画像における顔器官の位置を評価する技術が開示されている。
【０００４】
図１６は、特許文献１による顔器官の位置評価の方法の例を示す。図１６（ａ）は、真顔の状態の位置評価、図１６（ｂ）は、笑顔の状態の位置評価の例を示す。この例では、顔器官のうち瞳、眉の先端、鼻および口（両端、中央）の位置を検出し、検出された各位置の位置関係を数値化して評価する。図１６（ａ）および図１６（ｂ）を比較すると、表情によって顔器官の位置関係が変化することが分かる。例えば閾値判定を用いて、この変化が同一人物の変動の範囲内か否かを判定することで、顔の認証精度を高めることができる。
【０００５】
このように、特許文献１によれば、認証対象顔画像における顔器官を、表情の変化に伴う対象人物固有の顔の動きに応じて評価することができ、表情が変化しても正確に顔を認証できる。
【０００６】
特許文献１の方法では、顔認識の対象人物が目を瞑っていたり、サングラスやマスクで目や口を覆っており顔器官の位置を正しく検出できないような場合に、誤認識してしまうおそれがある。特許文献２には、画像に対してエッジ検出を行って顔の輪郭を決定し、輪郭内にある顔器官を検出することで、対象人物がサングラスやマスクを装着しているか否かを判定する技術が開示されている。すなわち、特許文献２では、顔認識の対象人物における顔器官が抽出できない場合に、当該対象人物がサングラスやマスクを装着していると見做している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１５６９４４号公報
【特許文献２】特開平５−３５９９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２では、顔認識の対象人物が目を瞑った状態において、誤検出してしまうおそれがあるという問題点があった。例えば、瞬きなどにより目尻の特徴点がうまく抽出できない場合に目が検出されないと判定され、サングラス着用と判断されてしまう可能性がある。また、サングラス着用の場合であっても、サングラスの形状によってはサングラスの輪郭を目の特徴点として抽出してしまい、サングラスを着用していないと判断されてしまう可能性がある。
【０００９】
本発明は、上記に鑑みてなされたものであって、顔検出の検出結果に基づき対象人物が目を覆う用具を装着しているか否かを判定可能とすることを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、顔検出手段が、画像から顔を検出する顔検出ステップと、特徴点抽出手段が、顔検出ステップにより検出された顔から目の特徴点を抽出する特徴点抽出ステップと、算出手段が、特徴点抽出ステップにより抽出された目の特徴点から目の縦幅および横幅を求め、目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出ステップと、判定手段が、算出ステップにより算出された目の縦幅および横幅それぞれの差分に基づき、顔検出ステップにより検出された顔内の目が覆われた状態か否かを判定する判定ステップとを有することを特徴とする。
【００１１】
また、本発明は、画像から顔を検出する顔検出手段と、顔検出手段で検出された顔から目の特徴点を抽出する特徴点抽出手段と、特徴点抽出手段で抽出された目の特徴点から目の縦幅および横幅を求め、目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出手段と、算出手段で算出された目の縦幅および横幅それぞれの差分に基づき、顔検出手段で検出された顔内の目が覆われた状態か否かを判定する判定手段とを有することを特徴とする。
【００１２】
また、本発明は、画像から顔を検出する顔検出ステップと、顔検出ステップにより検出された顔から目の特徴点を抽出する特徴点抽出ステップと、特徴点抽出ステップにより抽出された目の特徴点から目の縦幅および横幅を求め、目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出ステップと、算出ステップにより算出された目の縦幅および横幅それぞれの差分に基づき、顔検出ステップにより検出された顔内の目が覆われた状態か否かを判定する判定ステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１３】
本発明によれば、顔検出の検出結果に基づき対象人物が目を覆う用具を装着しているか否かを判定可能となるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の実施形態による顔検出装置の一例の機能を示す機能ブロック図である。
【図２】図２は、本発明の実施形態による顔検出方法の一例の処理を示すフローチャートである。
【図３】図３は、本発明の実施形態による特徴点抽出を説明するための略線図である。
【図４】図４は、正規化に顔領域を示す矩形の対角線の長さを用いることを説明するための略線図である。
【図５】図５は、閾値を設定する際に係数を乗じることを説明するための略線図である。
【図６】図６は、本発明の実施形態による逸脱度合eyeDeviancyに対する閾値判定について説明するための略線図である。
【図７】図７は、本発明の実施形態による逸脱度合eyeDeviancyに対する閾値判定について説明するための略線図である。
【図８】図８は、本発明の実施形態による逸脱度合eyeDeviancyに対する閾値判定について説明するための略線図である。
【図９】図９は、本発明の実施形態による逸脱度合eyeDeviancyに対する閾値判定について説明するための略線図である。
【図１０】図１０は、目周辺の輝度に基づく判定について説明するための略線図である。
【図１１】図１１は、本発明の実施形態による顔検出の実行結果の例について説明するための略線図である。
【図１２】図１２は、本発明の実施形態による顔検出の実行結果の例について説明するための略線図である。
【図１３】図１３は、本発明の実施形態による顔検出の実行結果の例について説明するための略線図である。
【図１４】図１４は、本発明の実施形態による顔検出の実行結果の例について説明するための略線図である。
【図１５】図１５は、本発明の実施形態による顔検出装置を適用可能なハードウェアとしての情報処理装置の一例の構成を示すブロック図である。
【図１６】図１６は、従来技術による顔器官の位置評価の方法の例を示す略線図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照して、本発明に係る顔検出装置の一実施形態を詳細に説明する。図１は、本実施形態による顔検出装置１の一例の機能を示す機能ブロック図である。顔検出装置１は、画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４を含む。これら顔検出装置１を構成する各部は、ＣＰＵ(Central Processing Unit)上で動作するプログラムにより構成することができる。これに限らず、これら各部の一部または全部をハードウェアにより構成してもよい。
【００１６】
顔検出装置１において、画像データが画像入力部１００に入力される。画像入力部１００には、ビデオカメラなどで撮像された画像データを入力することができる。これに限らず、ＨＤＤ（ハードディスクドライブ）などの記憶媒体に予め格納した画像データを画像入力部１００に対して入力してもよい。また、画像入力部１００に入力される画像データは、動画および静止画の何れであってもよい。以下では、ビデオカメラで撮像された動画による画像データが画像入力部１００に入力されるものとする。画像入力部１００は、入力された画像データから、例えば１フレームの画像データをキャプチャして、顔検出部１０１に供給する。
【００１７】
顔検出部１０１は、供給された画像データを解析して、当該画像データから顔を検出する。画像データからの顔（顔領域および目、鼻、口などの顔器官）の検出は、既知の方法を用いて行うことができる。例えば、顔辞書とパターンマッチングを用いた部分空間法により、顔領域および各顔器官の検出を行うことが考えられる。顔検出部１０１による検出出力は、特徴点抽出部１０２に供給される。なお、顔検出部１０１は、画像データから顔が検出されなかった場合に、画像入力部１００に対して次の画像データを要求することができる。
【００１８】
特徴点抽出部１０２は、顔検出部１０１で検出された顔の特徴点を抽出する。例えば、特徴点抽出部１０２は、顔における目、鼻、口などの各顔器官について、特徴点を抽出する。特徴点の抽出には、既知の技術を用いることができる。例えば、顔検出部１０１で検出された顔領域に対して特徴点数の多い顔グラフを適用し、顔グラフの平行移動、拡大／縮小、回転などにより、さらに類似度の高い特徴点を抽出する方法を用いることが考えられる。
【００１９】
本実施形態では、抽出された顔の特徴点のうち、目に関する特徴点に注目し、左目および右目のそれぞれについて、目の縦幅および横幅を計測するための特徴点を抽出する。特徴点抽出部１０２で抽出された目の特徴点の位置を示す情報は、算出部１０３に供給される。
【００２０】
特徴点抽出部１０２は、さらに、顔検出部１０１で検出された顔の向きを解析する。そして、顔の向きが上下左右それぞれの方向に対して予め決められた範囲内に収まっているか否かを判定する。例えば、特徴点抽出部１０２は、顔の特徴点の位置を示す情報に基づき顔の向きを推測する。なお、特徴点抽出部１０２は、顔の向きが所定範囲内に入っていないと判定した場合に、画像入力部１００に対して次の画像データを要求することができる。
【００２１】
算出部１０３は、特徴点抽出部１０２から供給された目の特徴点の位置を示す情報に基づき、左目および右目それぞれについて、目の縦幅および横幅を算出する。ここで、算出部１０３は、左目および右目の縦幅および横幅について、予め多数のサンプルから算出された、標準のデータを持っている。算出部１０３は、顔検出の結果に基づき算出された左目および右目の縦幅および横幅と、標準の左目および右目の縦幅および横幅とを比較する。そして、比較結果に基づき、顔検出で検出された左目および右目の縦幅および横幅それぞれの、標準の左目および右目の縦幅および横幅に対する逸脱度合を算出する。算出された左目および右目の縦幅および横幅それぞれの逸脱度合は、判定部１０４に供給される。
【００２２】
判定部１０４は、算出部１０３から供給された、左目および右目の縦幅および横幅それぞれの逸脱度合に基づき、顔検出部１０１で検出された顔内の目が、目を覆う用具（例えばサングラス）に覆われているか否かを判定する。判定部１０４は、目周辺の領域について測定された輝度を、さらに判定に用いてもよい。
【００２３】
図２は、本実施形態による顔検出方法の一例の処理を示すフローチャートである。ステップＳ１００で、顔検出装置１に入力された画像データが画像入力部１００にキャプチャされる。顔検出部１０１は、キャプチャされた画像データに対して既知の方法を用いて顔検出処理を施し、画像データから顔が検出されたか否かを判定する（ステップＳ１０１）。若し、顔が検出されていないと判定された場合は、画像入力部１００に対して例えば次のフレームの画像データを要求し、処理をステップＳ１００に戻す。
【００２４】
一方、ステップＳ１０１で、顔が検出されたと判定された場合、処理がステップＳ１０２に移行される。ステップＳ１０２では、特徴点抽出部１０２が、顔検出部１０１による顔検出結果を用いて顔の特徴点を検出する。
【００２５】
上述したように、本実施形態では、特徴点抽出部１０２は、各顔器官のうち、目に注目して特徴点を抽出する。より具体的には、図３に例示されるように、目の目尻および目頭、ならびに、目蓋の上端および下端の位置を、特徴点として検出する。以下では、右目１０ａの目頭、目尻、目蓋の上端および目蓋の下端の位置をそれぞれ位置Ｐ1、Ｐ2、Ｐ3およびＰ4とする。同様に、左目１０ｂの目頭、目尻、目蓋の上端および目蓋の下端の位置をそれぞれ位置Ｐ5、Ｐ6、Ｐ7およびＰ8とする。
【００２６】
特徴点抽出部１０２は、さらに、画像データにおける顔の向きを推定する。例えば、特徴点抽出部１０２は、顔検出結果を用いて抽出された各顔器官の特徴点の位置関係から、顔の向きを推定する。そして、ステップＳ１０３で、特徴点抽出部１０２は、推定された顔の向きが、上下について予め定められた範囲内に収まっているか否かを判定する。若し、当該範囲内に収まっていないと判定した場合、画像入力部１００に対して例えば次のフレームの画像データを要求し、処理をステップＳ１００に戻す。一方、顔の向きが当該範囲内に収まっていると判定した場合、次のステップＳ１０４で、推定された顔の向きが左右について予め定められた範囲内に収まっているか否かを判定する。若し、当該範囲内に収まっていないと判定した場合、画像入力部１００に対して例えば次のフレームの画像データを要求し、処理をステップＳ１００に戻す。なお、ステップＳ１０３およびステップＳ１０４の順序は、逆でもよい。
【００２７】
ステップＳ１０４で、特徴点抽出部１０２は、推定された顔の向きが左右について予め定められた範囲内に収まっていると判定したら、ステップＳ１０２で抽出した目の特徴点の位置Ｐ1〜Ｐ8を示す情報を算出部１０３に渡し、処理をステップＳ１０５に移行させる。
【００２８】
ステップＳ１０５で、算出部１０３は、特徴点抽出部１０２から渡された目の特徴点の位置Ｐ1〜Ｐ8を示す情報を用いて、左目および右目それぞれについて、縦幅および横幅を算出する。このとき、図４に例示されるように、顔検出部１０１による顔検出結果から得られる顔領域を示す矩形１１、例えば顔検出に用いた各顔器官を含む矩形１１の対角線の長さを用い、顔の大きさに基づき正規化した値として、縦幅および横幅を算出する。顔の大きさとして矩形１１の対角線の長さを用いるのは、矩形１１が正方形ではない場合に対応させるためである。
【００２９】
具体的には、算出部１０３は、左目１０ｂの縦幅eyeLyおよび横幅eyeLx、ならびに、右目１０ａの縦幅eyeRyおよび横幅eyeRxを、例えばそれぞれ式（１）〜式（４）に従い算出する。なお、式（１）〜式（４）において、値Ｆｘおよび値Ｆｙは、それぞれ正規化に用いる顔領域の矩形１１の横幅および縦幅を示す。また、値Ｐnｘおよび値Ｐnｙ（ｎは１〜８）は、それぞれ位置Ｐ1〜Ｐ8のｘ座標およびｙ座標を示す。各値の単位は、例えば画像データの画素とする。
【００３０】
【数１】
【数２】
【数３】
【数４】
【００３１】
次のステップＳ１０６で、算出部１０３は、ステップＳ１０５で算出した左目１０ｂおよび右目１０ａの縦幅および横幅と、予め算出した、目の標準の縦幅および横幅との差分subNormalを算出し、顔検出部１０１で検出された顔に含まれる目の縦幅および横幅の、標準の縦幅および横幅に対する逸脱度合eyeDeviancyを求める。
【００３２】
目の標準の縦幅および横幅の算出は、例えば次のようにして行う。左目１０ｂについて、予め、多数のサンプルについて上述した式（１）に従い縦幅eyeLyを算出し、代表値（平均値など）を求めて左目１０ｂの標準の縦幅normalLyとする。同様にして、左目１０ｂの横幅について、予め、多数のサンプルについて上述した式（２）に従い横幅eyeLxを算出し、代表値を求めて左目１０ｂの標準の横幅normalLxとする。右目１０ａについても同様にして、予め、多数のサンプルを用いて式（３）および式（４）に従い計算を行い、標準の縦幅normalRyおよび標準の横幅normalRxを求める。これら標準の縦幅normalLyおよびnormalRy、ならびに、横幅normalRxおよびnormalLxは、例えば顔検出装置１が有する、図示されないＨＤＤなどの不揮発性の記憶媒体に記憶される。
【００３３】
逸脱度合eyeDeviancyの算出方法について、左目１０ｂの縦幅eyeLyを例にとって、当該縦幅eyeLyに対する逸脱度合eyeLyDeviancyを算出する場合について説明する。なお、以下に説明する逸脱度合eyeDeviancyの算出方法は、左目１０ｂの横幅eyeLx、ならびに、右目１０ａの縦幅eyeRyおよび横幅eyeRxについても、それぞれ同様に適用できる。また、横幅eyeLx、縦幅eyeRyおよび横幅eyeRxにそれぞれ対応する逸脱度合eyeDeviancyを、逸脱度合eyeLxDeviancy、逸脱度合eyeRyDeviancyおよび逸脱度合eyeRxDeviancyとする。
【００３４】
先ず、式（５）に従い、特徴点の位置から求めた縦幅eyeLyと、左目の標準の縦幅normalLyとの差分subNormalLyを算出する。
subNormalLy＝eyeLy−normalLy …（５）
【００３５】
ここで、目の縦幅eyeLyについて、式（５）の計算の結果が次の式（６）を満たす場合、逸脱度合eyeLyDeviancyの値を０と見做すものとする。これは、目の横幅についても同様である。
subNormalLy＜０ …（６）
【００３６】
目の縦幅についてこの式（６）の結果が得られた場合には、例えば瞑っている状態の目が検出されたと判断することが可能である。また、目の横幅についてこの式（６）の結果が得られた場合は、例えば目を瞑っている状態に対して目尻や目頭を示す特徴点が正しく抽出できていないと判断することが可能である。
【００３７】
式（５）の結果、差分subNormalLy≧０である場合、式（７）に示されるように、算出された差分subNormalLyに対して、左目１０ｂの縦幅に対して予め定められた係数pixelsToEyeLyDeviancyを乗じて、左目１０ｂの縦幅eyeLyの逸脱度合eyeLyDeviancyを算出する。
eyeLyDeviancy＝subNormalLy×pixelsToEyeLyDeviancy …（７）
【００３８】
ここで、係数pixelsToEyeLyDeviancyは、判定部１０４における判定処理に用いる閾値の設定を容易にするために、差分subNormalLyに対して乗じられる。左目１０ｂの縦幅eyeLyを例に取り、図５を用いて、係数pixelsToEyeLyDeviancyの意味について説明する。顔検出によって得られた特徴点に基づく左目１０ｂの縦幅eyeLyと、左目の標準の縦幅normalLyとの差分subNormalLyを取った場合、差分subNormalLyの頻度分布は、例えば図５（ａ）に例示されるように、差分subNormalLy＝０を中心とする正規分布的なものとなる。
【００３９】
本実施形態では、後述するように、この差分subNormalLyを閾値判断することで、検出された目が目を覆う用具に覆われているか否かを判定する。このとき、閾値を少し、例えば閾値Ｔｈ10から閾値Ｔｈ11にずらしただけで、対応する頻度が大きく変化し、頻度が少ない状態も許容してしまうおそれがある。そこで、差分subNormalLyに対して１を超える係数pixelsToEyeLyDeviancyを乗じた値を逸脱度合eyeLyDeviancyとし、この逸脱度合eyeLyDeviancyに対して閾値を設定することで、閾値の細かい設定が容易となる。
【００４０】
図５（ｂ）の例では、係数pixelsToEyeLyDeviancy≒２として、頻度分布をｘ方向に略２倍に拡張している。これにより、閾値設定に対する精度が略２倍となり、閾値を図５（ａ）と同じだけずらした場合（閾値Ｔｈ10から閾値Ｔｈ12）の、頻度の変化が図５（ａ）に比べて小さくなり、閾値の設定が容易となる。
【００４１】
なお、ここでは、縦幅eyeLyに対する係数pixelsToEyeLyDeviancyについて説明したが、この係数は、左目１０ｂの縦幅eyeLyおよび横幅eyeLx、ならびに、右目１０ａの縦幅eyeRyおよび横幅eyeRxに対してそれぞれ設定される。また、この係数は、これら縦幅eyeLy、横幅eyeLx、縦幅eyeRyおよび横幅eyeRxに対してそれぞれ異なる値を設定することができる。例えば、縦幅eyeLy、横幅eyeLx、縦幅eyeRyおよび横幅eyeRxに対して、それぞれ係数pixelsToEyeLyDeviancy、係数pixelsToEyeLxDeviancy、係数pixelsToEyeRyDeviancyおよび係数pixelsToEyeRxDeviancyが用いられる。
【００４２】
係数pixelsToEyeLyDeviancy、係数pixelsToEyeLxDeviancy、係数pixelsToEyeRyDeviancyおよび係数pixelsToEyeRxDeviancyの値は、実験的に予め決められる。例えば、係数pixelsToLyEyeDeviancyとして、１０００を超える値を用いることができる。この場合、逸脱度合eyeLyDeviancyの値も大きな値、例えば１０００を超える値を取る可能性がある。この場合、逸脱度合eyeLyDeviancyの値に閾値として設定する値よりも大きな値を上限（例えば１０００）として設け、逸脱度合eyeLyDeviancyの値がこの上限を超えた場合には、逸脱度合eyeLyDeviancyの値を強制的にこの上限値としてもよい。
【００４３】
また、差分に対する係数の乗算に限らず、例えば設定される閾値近傍をｘ方向に拡大するような関数を用いることもできる。さらに、ステップＳ１０６において差分に対する係数の乗算を省略し、差分そのものを逸脱度合として用いることもできる。
【００４４】
ステップＳ１０６で、目の縦幅および横幅の、標準の縦幅および横幅に対する逸脱度合が求められると、処理はステップＳ１０７に移行される。ステップＳ１０７では、判定部１０４が、右目１０ａおよび左目１０ｂについて、逸脱度合eyeDeviancyが閾値以上であるか否かを判定する。
【００４５】
より詳細には、右目１０ａの縦幅eyeRyに対応する逸脱度合eyeRyDeviancy、右目１０ａの横幅eyeRxに対応する逸脱度合eyeRxDeviancy、左目１０ｂの縦幅eyeLyに対応する逸脱度合eyeLyDeviancyおよび左目１０ｂの横幅eyeLxに対応する逸脱度合eyeLxDeviancyのそれぞれに対して、予め閾値を設定する。判定部１０４は、これら逸脱度合eyeRyDeviancy、eyeRxDeviancy、eyeLyDeviancyおよびeyeLxDeviancyのうち少なくとも１の値が、対応する閾値未満であると判定した場合に、処理をステップＳ１１０に移行させ、検出された顔の目が目を覆う用具（サングラス、ゴーグルなど）に覆われた状態ではないと決定する。
【００４６】
一方、判定部１０４は、これら逸脱度合eyeRyDeviancy、eyeRxDeviancy、eyeLyDeviancyおよびeyeLxDeviancyの全てが、それぞれに設定された閾値以上の値であると判定した場合、処理をステップＳ１０８に移行させる。ステップＳ１０８で、判定部１０４は、検出された目の周辺領域の輝度が閾値以下であるか否かを判定する。若し、目周辺領域の輝度が閾値を超えていると判定した場合には、処理をステップＳ１１０に移行させ、検出された顔の目が目を覆う用具に覆われた状態ではないと判断する。一方、判定部１０４は、目周辺領域の輝度が閾値以下であると判定した場合、検出された顔の目が目を覆う用具に覆われている状態であると決定する（ステップＳ１０９）。
【００４７】
なお、ステップＳ１０８の輝度値による判定は、省略することができる。この場合、判定部１０４は、逸脱度合eyeRyDeviancy、eyeRxDeviancy、eyeLyDeviancyおよびeyeLxDeviancyの全てがそれぞれ対応する閾値以上である場合に、検出された顔の目が目を覆う用具に覆われた状態であると判定する。ステップＳ１０８の輝度値による判定をさらに行うことで、より高精度な判定結果を得ることができる。
【００４８】
ステップＳ１０７における、逸脱度合eyeDeviancyに対する閾値判定について、図６〜図９を用いてより詳細に説明する。なお、ここでは、逸脱度合eyeDeviancyの代わりに、係数pixelToEyeDeviancyを乗ずる前の差分subNormalを用いて説明を行う。
【００４９】
図６および図７は、例えば左目１０ｂの縦幅eyeLyにおける閾値判定の例を示す。図６（ａ）に例示されるように、左目１０ｂにおいて、左目１０ｂにおける標準の縦幅normalLyよりもやや大きな値で縦幅eyeLyが算出されたものとする。式（５）に従い、左目１０ｂの縦幅eyeLyと左目１０ｂの標準の縦幅normalLyとの差分subNormalLyが算出される。
【００５０】
この例では、図６（ｂ）に示されるように、差分subNormalLyの値が、左目１０ｂに対して設定された閾値Ｔｈｙ未満の値となっている。この場合、差分subNormalLyの値が閾値Ｔｈｙ未満なので、顔検出の結果に基づき算出された縦幅eyeLyの値の変動が、瞬きも含む目の正常な変動と判定する。
【００５１】
図７（ａ）は、左目１０ｂがサングラス２０に覆われている例を示す。この例では、顔検出結果に基づく特徴点抽出により、目の上端および下端としてサングラス２０の上端および下端が検出され、このサングラス２０の上端および下端に基づき縦幅eyeLyが算出されている。サングラス２０は、通常、目を覆うために用いられるものであって、その上端および下端による縦幅は、左目１０ｂの縦幅に比べて広いのが一般的である。したがって、図７（ｂ）に例示されるように、サングラスの上端および下端による縦幅eyeLyと、左目１０ｂの標準の縦幅normalLyとの差分subNormalLyの値は、閾値Ｔｈｙよりも大きな値となる。これは、顔検出の結果に基づき算出された縦幅eyeLyの変動が、目の正常な変動ではない、すなわち、顔検出で左目１０ｂの位置に検出されたものが目ではないことを意味する。
【００５２】
目の横幅に対しても、同様にして判定が行われる。図８および図９は、左目１０ｂの横幅eyeLxにおける閾値判定の例を示す。図８（ａ）に例示されるように、左目１０ｂにおいて、左目１０ｂにおける標準の横幅normalLxよりもやや小さな値で横幅eyeLxが算出されたものとする。式（５）に従い、左目１０ｂの横幅eyeLxと左目１０ｂの標準の横幅normalLxとの差分subNormalLxが算出される。この例では、図８（ｂ）に示されるように、差分subNormalLxの値が負の値となっているため、上述した式（６）に従い、逸脱度合eyeLxDeviancy＝０と見做すことができる。この場合、目を瞑っているなどにより、目尻や目頭を示す特徴点が正常に抽出できていないことが考えられる。
【００５３】
図９（ａ）は、左目１０ｂがサングラス２０に覆われている例を示す。この例では、顔検出結果に基づく特徴点抽出により、目尻および目頭としてサングラス２０の左右端がそれぞれ検出され、このサングラス２０の左右端に基づき横幅eyeLxが算出されている。サングラス２０は、通常、目を覆うために用いられるものであって、その左右端による横幅は、左目１０ｂの横幅に比べて広いのが一般的である。したがって、図９（ｂ）に例示されるように、サングラスの左右端による横幅eyeLxと、左目１０ｂの標準の横幅normalLxとの差分subNormalLxの値は、閾値Ｔｈｘよりも大きな値となる。これは、顔検出の結果に基づき算出された横幅eyeLxの変動が、目の正常な変動ではない、すなわち、顔検出で左目１０ｂの位置に検出されたものが目ではないことを意味する。
【００５４】
以上のようにして、右目１０ａおよび左目１０ｂそれぞれについて、縦幅および横幅を標準の縦幅および横幅とそれぞれ比較して、各逸脱度合eyeDeviancyを求める。そして、求めた各逸脱度合eyeDeviancyのうち少なくとも１つが閾値以下であると判定された場合に、検出された目が目を覆う用具で覆われていない状態であると決定する。
【００５５】
一方、求めた各逸脱度合eyeDeviancyが全て閾値以上であると判定された場合、検出された目がサングラスなどで覆われている状態である可能性がある。この場合、ステップＳ１０８において、さらに、目周辺の輝度に基づく判定を行う。
【００５６】
一例として、図１０に示されるように、顔３０について顔検出結果により得られた顔領域を示す矩形３２を例えばＭ×Ｎの領域に分割し、右目３１ａを含む分割領域と、左目３１ｂを含む分割領域とをそれぞれ求める。そして、求められたこれらの分割領域を含む所定範囲の分割領域を、目周辺領域として定める。この目周辺領域の画素の輝度値の例えば平均値を算出し、目周辺領域の輝度とする。この目周辺領域の輝度に対して閾値を設定し、当該輝度が閾値以下である場合に、目がサングラスなどで覆われていると判定する。閾値は、例えば、多数のサンプルを用いて予め求めた、サングラスなどで覆われていない状態、すなわち肌が露出した状態での目周辺領域の輝度と、サングラスで覆われている状態での目周辺領域の輝度とに基づき設定することが考えられる。
【００５７】
次に、図１１〜図１４を用いて、本実施形態による顔検出の実行結果の例について説明する。なお、図１１〜図１４に共通して、左目について、標準の縦幅normalLy＝０．０５、横幅normalLx＝０．１５、右目も同様に、標準の縦幅normalRy＝０．０５、標準の横幅normalRx＝０．１５とする。また、左目について、縦幅に対する係数pixelsToEyeLyDeviancy＝８０００、横幅に対する係数pixelsToEyeLxDeviancy＝１００００とし、右目も同様に、縦幅に対する係数pixelsToEyeRyDeviancy＝８０００、横幅に対する係数pixelsToEyeRxDeviancy＝１００００とする。さらに、縦幅および横幅に対する閾値は、便宜上、左目および右目について共通とし、縦幅に対する閾値Ｔｈｙ＝５００、横幅に対する閾値Ｔｈｘ＝２５０とする。さらにまた、以下では、便宜上、図２のフローチャートにおけるステップＳ１０８の輝度による判定を省略している。
【００５８】
図１１は、通常時、すなわち、メガネおよびサングラス無し、且つ、目を開けた状態における実行結果の例を示す。図１１の例では、顔検出により得られた顔領域の矩形４０の対角線の長さが１５６画素であり、これが顔のサイズとされる。顔サイズで正規化された左目の縦幅eyeLy＝０．０６４とした場合、式（５）に従い、差分subNormalLy＝０．０６４−０．０５＝０．０１４となる。式（７）に従い、差分subNormalLyに係数pixelsToEyeLyDeviancyを乗じて、逸脱度合＝０．０１４×８０００＝１１２となる。縦幅に対する閾値Ｔｈｙ＝５００としているので、左目の縦幅の逸脱度合は、閾値Ｔｈｙ未満であると判定される。
【００５９】
左目の横幅、右目の縦幅および右目の横幅についても、同様にして逸脱度合が算出される。すなわち、左目の横幅について、正規化された左目の横幅eyeLx＝０．１７とした場合、
差分subNormalLx＝０．１７−０．１５＝０．０２
逸脱度合＝０．０２×１００００＝２００＜Ｔｈｘ（＝２５０）
となる。
【００６０】
右目の縦幅について、正規化された右目の縦幅eyeRy＝０．０６５とした場合、
差分subNormalRy＝０．０６５−０．０５＝０．０１５
逸脱度合＝０．０１５×８０００＝１２０＜Ｔｈｙ（＝５００）
となる。
【００６１】
右目の横幅について、正規化された右目の横幅eyeRx＝０．１６とした場合、
差分subNormalRx＝０．１６−０．１５＝０．０１
逸脱度合＝０．０１×１００００＝１００＜Ｔｈｘ（＝２５０）
となる。
【００６２】
このように、図１１の例では、左目および右目それぞれの縦幅および横幅について、逸脱度合が閾値未満なので、目がサングラスなどで覆われていないと判定される。
【００６３】
図１２は、色無しのメガネを掛け、且つ、目を開けた状態における実行結果の例を示す。この場合、メガネを通して容易に目を検出することが可能であり、メガネが無い場合と略同様に、特徴点が抽出されている。顔検出により得られた顔領域の矩形４０の対角線の長さが１１３画素であり、これが顔のサイズとされる。
【００６４】
図１１を用いて説明した例と同様にして、左目の縦幅について、正規化された左目の縦幅eyeLy＝０．０５３とした場合、
差分subNormalLy＝０．０５３−０．０５＝０．００３
逸脱度合＝０．００３×８０００＝２４＜Ｔｈｙ（＝５００）
となる。
【００６５】
左目の横幅について、正規化された左目の横幅eyeLx＝０．１４とした場合、
差分subNormalLx＝０．１４−０．１５＝−０．０１
となる。
ここで、差分subNormalLx＝−０．０１＜０であり式（６）を満たすため、差分subNormalLx＝０と見做される。したがって、
逸脱度合＝０．０×１００００＝０＜Ｔｈｘ（＝２５０）
となる。
【００６６】
右目の縦幅について、正規化された右目の縦幅eyeRy＝０．０６２とした場合、
差分subNormalRy＝０．０６２−０．０５＝０．０１２
逸脱度合＝０．０１２×８０００＝９６＜Ｔｈｙ（＝５００）
となる。
【００６７】
右目の横幅について、正規化された右目の横幅eyeRx＝０．１４とした場合、
差分subNormalRx＝０．１４−０．１５＝−０．０１
となる。
この場合も、差分subNormalRx＝−０．０１＜０であり式（６）を満たすため、差分subNormalRx＝０と見做される。したがって、
逸脱度合＝０．０×１００００＝０＜Ｔｈｘ（＝２５０）
となる。
【００６８】
このように、図１２の例では、左目および右目それぞれの縦幅および横幅について、逸脱度合が閾値未満なので、目がサングラスなどで覆われていないと判定される。また、色無しのメガネによる誤判定も発生していない。
【００６９】
図１３は、メガネおよびサングラス無し、且つ、目を瞑った状態における実行結果の例を示す。例えば、動画像データから瞬きの瞬間をキャプチャしたような場合に、画像データが図１３のような状態となる。顔検出により得られた顔領域の矩形４０の対角線の長さが１５５画素であり、これが顔のサイズとされる。
【００７０】
図１１を用いて説明した例と同様にして、左目の縦幅について、正規化された左目の縦幅eyeLy＝０．０５１とした場合、
差分subNormalLy＝０．０５１−０．０５＝０．００１
逸脱度合＝０．００１×８０００＝８＜Ｔｈｙ（＝５００）
となる。
【００７１】
左目の横幅について、正規化された左目の横幅eyeLx＝０．１６とした場合、
差分subNormalLx＝０．１６−０．１５＝０．０１
逸脱度合＝０．０１×１００００＝１００＜Ｔｈｘ（＝２５０）
となる。
【００７２】
右目の縦幅について、正規化された右目の縦幅eyeRy＝０．０３２とした場合、
差分subNormalRy＝０．０３２−０．０５＝−０．０１８
となる。
ここで、差分subNormalRy＝−０．０１８＜０であり式（６）を満たすため、差分subNormalRy＝０と見做される。したがって、
逸脱度合＝０．０×８０００＝０＜Ｔｈｙ（＝５００）
となる。
【００７３】
右目の横幅について、正規化された右目の横幅eyeRx＝０．１６とした場合、
差分subNormalRx＝０．１６−０．１５＝０．０１
逸脱度合＝０．０１×１００００＝１００＜Ｔｈｘ（＝２５０）
となる。
【００７４】
このように、図１３の例では、左目および右目それぞれの縦幅および横幅について、逸脱度合が閾値未満なので、目がサングラスなどで覆われていないと判定される。また、検出された目の縦幅が標準の目の縦幅よりも小さい場合に、検出された目の縦幅と標準の目の縦幅との差分を０と見做すようにしているため、目を瞑った状態を目の正常な状態と判定することでき、目を瞑った状態による誤判定の発生が抑制される。
【００７５】
図１４は、濃い色の入ったサングラスを掛けた状態における実行結果の例を示す。この場合、サングラスを通して目を検出することが困難であり、サングラスの外周に基づき特徴点が抽出されている。顔検出により得られた顔領域の矩形４０の対角線の長さが１４１画素であり、これが顔のサイズとされる。
【００７６】
図１１を用いて説明した例と同様にして、左目の縦幅について、正規化された左目の縦幅eyeLy＝０．１４とした場合、
差分subNormalLy＝０．１４−０．０５＝０．０９
逸脱度合＝０．０９×８０００＝７２０＞Ｔｈｙ（＝５００）
となる。
【００７７】
左目の横幅について、正規化された左目の横幅eyeLx＝０．１８とした場合、
差分subNormalLx＝０．１８−０．１５＝０．０３
逸脱度合＝０．０３×１００００＝３００＞Ｔｈｘ（＝２５０）
となる。
【００７８】
右目の縦幅について、正規化された右目の縦幅eyeRy＝０．１４とした場合、
差分subNormalRy＝０．１４−０．０５＝０．０９
逸脱度合＝０．０９×８０００＝７２０＞Ｔｈｙ（＝５００）
となる。
【００７９】
右目の横幅について、正規化された右目の横幅eyeRx＝０．２３とした場合、
差分subNormalRx＝０．２３−０．１５＝０．０８
逸脱度合＝０．０８×１００００＝８００＞Ｔｈｘ（＝２５０）
となる。
【００８０】
このように、図１４の例では、左目および右目それぞれの縦幅および横幅について、逸脱度合が閾値を超えているので、目がサングラスなどで覆われていると判定される。このように、本実施形態によれば、目がサングラスなどで覆われている場合と覆われていない場合とをそれぞれ検出することができる。
【００８１】
図１５は、本実施形態による顔検出装置１を適用可能なハードウェアとしての情報処理装置２００の一例の構成を示す。情報処理装置２００において、バス２０１に対してＣＰＵ２１０、ＲＯＭ２１１、ＲＡＭ２１２、表示制御部２１３およびキャプチャ部２１４が接続される。さらに、バス２０１に対して、ハードディスクドライブ（ＨＤＤ）２１５、入力Ｉ／Ｆ２１６、ドライブ装置２１７および通信Ｉ／Ｆ２１８が接続される。
【００８２】
キャプチャ部２１４は、例えば、ビデオカメラ２２０で撮像された動画像データが入力され、入力された動画像データから、フレーム単位で画像データを取得する。取得された画像データは、例えばバス２０１を介してＣＰＵ２１０に供給される。ＨＤＤ２１５は、ＣＰＵ２１０が動作するためのプログラムや、左目および右目それぞれの縦幅および横幅の標準的なデータが予め記憶される。ＨＤＤ２１５に対して、キャプチャ部２１４で取得された画像データなどを記憶させてもよい。
【００８３】
ＣＰＵ２１０は、ＲＯＭ２１１やＨＤＤ２１５に予め記憶されたプログラムに従い、ＲＡＭ２１２をワークメモリとして用いて、この情報処理装置２００の全体の動作を制御する。例えば、図１を用いて説明した、画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４それぞれの機能は、ＣＰＵ２１０上で動作するプログラムによって実現される。
【００８４】
表示制御部２１３は、ＣＰＵ２１０によりプログラムに従い生成された表示制御信号に基づき、ディスプレイ２２１が表示可能な表示信号を生成し、ディスプレイ２２１に供給する。また、入力Ｉ／Ｆ２１６は、キーボード２１６ａや、マウスなどのポインティングデバイス２１６ｂが接続され、ユーザ入力を受け付け、ユーザ入力に応じた制御信号を出力し、ＣＰＵ２１０に供給する。また、入力Ｉ／Ｆ２１６は、ＵＳＢ(Universal Serial Bus)などのデータ通信入出力２１６ｃにも対応できる。
【００８５】
ドライブ装置２１７は、ＣＤ(Compact Disk)やＤＶＤ(Digital Versatile Disk)、フレキシブルディスク、不揮発性メモリなどの記憶媒体からのデータの読み出しを行う。通信Ｉ／Ｆ２１８は、ＬＡＮ(Local Area Network)やインターネットといったネットワークに対する通信を制御する。
【００８６】
このような構成による情報処理装置２００で実行される顔検出プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ、ＤＶＤ、フレキシブルディスク、不揮発性メモリなどのコンピュータで読み取り可能な記憶媒体に記録されて提供される。ドライブ装置２１７により、この記憶媒体から顔検出プログラムを読み出し、例えばＨＤＤ２１５に対して所定の方法でインストールする。
【００８７】
また、本実施形態の情報処理装置２００で実行される顔検出プログラムを、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の情報処理装置２００で実行される顔検出プログラムを、インターネットなどのネットワーク経由で提供または配布するように構成してもよい。
【００８８】
また、本実施形態の情報処理装置２００で実行される顔検出プログラムを、ＲＯＭ２１１などに予め組み込んで提供するように構成してもよい。
【００８９】
本実施形態の情報処理装置２００で実行される顔検出プログラムは、上述した各部（画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ２１０が上述の記憶媒体や、ＨＤＤ２１５から顔検出プログラムを読み出して実行することにより、各部が主記憶装置（例えばＲＡＭ２１２）上にロードされ、画像入力部１００、顔検出部１０１、特徴点抽出部１０２、算出部１０３および判定部１０４が主記憶装置上に生成されるようになっている。
【００９０】
以上説明したように、本実施形態によれば、顔検出を行い抽出した目の特徴点に基づき求めた目の縦幅および横幅を、標準の目の縦幅および横幅と比較することで、目がサングラスのようなもので覆われている状態を検出することを可能としている。したがって、本実施形態を警備システムに適用した場合、顔の認識をより高精度に行うことが可能となると共に、不審者の検出も容易となる。
【００９１】
なお、上述では、本発明が、目が目を覆う用具に覆われているか否かを判定する場合に適用するように説明したが、これはこの例に限定されない。例えば、本発明による、実測値と標準の値との差分に基づく判定方法を応用することで、口が口を覆う用具（マスクなど）に覆われているか否かの判定を行うことも可能である。
【符号の説明】
【００９２】
１ 顔検出装置
１０ａ 右目
１０ｂ 左目
１１ 矩形
２０ サングラス
１００ 画像入力部
１０１ 顔検出部
１０２ 特徴点抽出部
１０３ 算出部
１０４ 判定部
【特許請求の範囲】
【請求項１】
顔検出手段が、画像から顔を検出する顔検出ステップと、
特徴点抽出手段が、前記顔検出ステップにより検出された顔から目の特徴点を抽出する特徴点抽出ステップと、
算出手段が、前記特徴点抽出ステップにより抽出された前記目の特徴点から該目の縦幅および横幅を求め、該目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出ステップと、
判定手段が、前記算出ステップにより算出された目の縦幅および横幅それぞれの前記差分に基づき、前記顔検出ステップにより検出された顔内の目が覆われた状態か否かを判定する判定ステップと
を有する
ことを特徴とする顔検出方法。
【請求項２】
前記判定ステップは、
前記算出ステップにより右目および左目についてそれぞれ算出された前記目の縦幅および横幅それぞれの前記差分の全てが、右目および左目それぞれの縦幅および横幅に対してそれぞれ定められた閾値以上である場合に、前記目が覆われた状態であると判定する
ことを特徴とする請求項１に記載の顔検出方法。
【請求項３】
前記算出ステップは、
前記差分が０未満の場合に、該差分が０であると見做す
ことを特徴とする請求項１または請求項２に記載の顔検出方法。
【請求項４】
前記判定ステップは、
前記算出ステップにより右目および左目についてそれぞれ算出された前記目の縦幅および横幅それぞれの前記差分の全てが、右目および左目それぞれの縦幅および横幅に対してそれぞれ定められた閾値以上であり、且つ、該右目および左目を含む予め定められた範囲の輝度が該輝度に対して定められた閾値以下である場合に、前記目が覆われた状態であると判定する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の顔検出方法。
【請求項５】
前記算出ステップは、
右目および左目についてそれぞれ算出された前記目の縦幅および横幅それぞれの前記差分に対して１を超える係数を乗じ、
前記判定ステップは、
前記係数を乗じられた前記差分に基づき前記判定を行う
ことを特徴とする請求項１乃至請求項４の何れか１項に記載の顔検出方法。
【請求項６】
前記顔検出ステップは、
前記画像から矩形領域として前記顔を検出し、
前記算出ステップは、
前記矩形領域の対角線の長さで正規化した前記目の横幅および縦幅を用いて前記差分を求める
ことを特徴とする請求項１乃至請求項５の何れか１項に記載の顔検出方法。
【請求項７】
画像から顔を検出する顔検出手段と、
前記顔検出手段で検出された顔から目の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段で抽出された前記目の特徴点から該目の縦幅および横幅を求め、該目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出手段と、
前記算出手段で算出された目の縦幅および横幅それぞれの前記差分に基づき、前記顔検出手段で検出された顔内の目が覆われた状態か否かを判定する判定手段と
を有する
ことを特徴とする顔検出装置。
【請求項８】
画像から顔を検出する顔検出ステップと、
前記顔検出ステップにより検出された顔から目の特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップにより抽出された前記目の特徴点から該目の縦幅および横幅を求め、該目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出ステップと、
前記算出ステップにより算出された目の縦幅および横幅それぞれの前記差分に基づき、前記顔検出ステップにより検出された顔内の目が覆われた状態か否かを判定する判定ステップと
をコンピュータに実行させるためのプログラム。
【請求項１】
顔検出手段が、画像から顔を検出する顔検出ステップと、
特徴点抽出手段が、前記顔検出ステップにより検出された顔から目の特徴点を抽出する特徴点抽出ステップと、
算出手段が、前記特徴点抽出ステップにより抽出された前記目の特徴点から該目の縦幅および横幅を求め、該目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出ステップと、
判定手段が、前記算出ステップにより算出された目の縦幅および横幅それぞれの前記差分に基づき、前記顔検出ステップにより検出された顔内の目が覆われた状態か否かを判定する判定ステップと
を有する
ことを特徴とする顔検出方法。
【請求項２】
前記判定ステップは、
前記算出ステップにより右目および左目についてそれぞれ算出された前記目の縦幅および横幅それぞれの前記差分の全てが、右目および左目それぞれの縦幅および横幅に対してそれぞれ定められた閾値以上である場合に、前記目が覆われた状態であると判定する
ことを特徴とする請求項１に記載の顔検出方法。
【請求項３】
前記算出ステップは、
前記差分が０未満の場合に、該差分が０であると見做す
ことを特徴とする請求項１または請求項２に記載の顔検出方法。
【請求項４】
前記判定ステップは、
前記算出ステップにより右目および左目についてそれぞれ算出された前記目の縦幅および横幅それぞれの前記差分の全てが、右目および左目それぞれの縦幅および横幅に対してそれぞれ定められた閾値以上であり、且つ、該右目および左目を含む予め定められた範囲の輝度が該輝度に対して定められた閾値以下である場合に、前記目が覆われた状態であると判定する
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の顔検出方法。
【請求項５】
前記算出ステップは、
右目および左目についてそれぞれ算出された前記目の縦幅および横幅それぞれの前記差分に対して１を超える係数を乗じ、
前記判定ステップは、
前記係数を乗じられた前記差分に基づき前記判定を行う
ことを特徴とする請求項１乃至請求項４の何れか１項に記載の顔検出方法。
【請求項６】
前記顔検出ステップは、
前記画像から矩形領域として前記顔を検出し、
前記算出ステップは、
前記矩形領域の対角線の長さで正規化した前記目の横幅および縦幅を用いて前記差分を求める
ことを特徴とする請求項１乃至請求項５の何れか１項に記載の顔検出方法。
【請求項７】
画像から顔を検出する顔検出手段と、
前記顔検出手段で検出された顔から目の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段で抽出された前記目の特徴点から該目の縦幅および横幅を求め、該目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出手段と、
前記算出手段で算出された目の縦幅および横幅それぞれの前記差分に基づき、前記顔検出手段で検出された顔内の目が覆われた状態か否かを判定する判定手段と
を有する
ことを特徴とする顔検出装置。
【請求項８】
画像から顔を検出する顔検出ステップと、
前記顔検出ステップにより検出された顔から目の特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップにより抽出された前記目の特徴点から該目の縦幅および横幅を求め、該目の縦幅および横幅と、目について予め求められた標準の縦幅および横幅との差分をそれぞれ算出する算出ステップと、
前記算出ステップにより算出された目の縦幅および横幅それぞれの前記差分に基づき、前記顔検出ステップにより検出された顔内の目が覆われた状態か否かを判定する判定ステップと
をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１２−１８１６２８（Ｐ２０１２−１８１６２８Ａ）
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願番号】特願２０１１−４３２０１（Ｐ２０１１−４３２０１）
【出願日】平成２３年２月２８日（２０１１．２．２８）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
【公開日】平成２４年９月２０日（２０１２．９．２０）
【国際特許分類】
【出願日】平成２３年２月２８日（２０１１．２．２８）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
[ Back to top ]