顔検出装置及び方法
【課題】検出精度を犠牲にすることなく、顔検出処理の短縮を図る。
【解決手段】マッチング手段１１は、テンプレートマッチングによって人物の顔画像を検出する。このマッチング手段１１には、標準モードでは、検出精度を高くするように予め決定されたウィンドウサイズと移動ピッチの範囲が設定される。高速モードでは、標準モードでの顔を検出したときのウィンドウサイズに基づいて限定されたウィンドウサイズの範囲と、１つの値に限定された移動ピッチが設定される。標準モードでの検出処理時間が１フレーム期間より大きくなると、高速モードでの顔検出に移行する。
【解決手段】マッチング手段１１は、テンプレートマッチングによって人物の顔画像を検出する。このマッチング手段１１には、標準モードでは、検出精度を高くするように予め決定されたウィンドウサイズと移動ピッチの範囲が設定される。高速モードでは、標準モードでの顔を検出したときのウィンドウサイズに基づいて限定されたウィンドウサイズの範囲と、１つの値に限定された移動ピッチが設定される。標準モードでの検出処理時間が１フレーム期間より大きくなると、高速モードでの顔検出に移行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像から人物の顔を検出する顔検出装置及び方法に関するものである。
【背景技術】
【０００２】
近年では、デジタルビデオカメラやデジタルスチルカメラ等には、撮影された動画像や静止画像から人物の顔（顔画像）を検出し、その検出結果に基づいて様々な処理を行うものが知られている。このような処理としては、例えば人物の顔にピントを自動的に合わせるオートフォーカス処理や、顔がきれいに写るように露出調整やホワイトバランス補正を自動的に行う機能等がある。また、顔の移動に追従させて撮影方向を変化させることにより、人物の移動を監視できるようにしたものもある。
【０００３】
人物の顔を検出する検出方式としては、テンプレートマッチングが知られている。このテンプレートマッチングでは、検出対象となる画像内を所定の移動ステップでウィンドウと呼ばれる矩形の領域を移動させながら、各位置におけるウィンドウ内の画像をウィンドウ画像として切り出して、これとテンプレートとの相関性を算出している。そして、テンプレートとの相関性の高いウィンドウ画像を人物の顔画像と判定している。テンプレートとしては、例えば不特定の人物の顔を検出する場合には、多数の人物から平均的な顔画像として作成されたものが用いられる。
【０００４】
また、撮影距離などにより人物の顔画像の大きさが一定ではないことから、通常では検出対象の画像とウィンドウの各サイズの相対的な比率を順次に変化させて顔検出を行っている。相対的な比率を変化させる方式としては、検査対象の画像を各種倍率で拡大・縮小した各画像に対して一定サイズのウィンドウを用いる方式、一定サイズの検査対象の画像に対して異なるサイズの複数のウィンドウを用いる方式がある。
【０００５】
上述のようにテンプレートマッチングでは、検出対象の画像とウィンドウの各サイズの相対的な比率を変化させながら、画像内から多数のウィンドウ画像の切りだし、そして、それら各ウィンドウ画像とテンプレートとの相関性を求める処理が行われる。このため演算数が膨大となって、高い精度で顔を検出しようとする場合には、入力される動画像を短時間で、例えば１フレーム期間中に処理できなくなり、動画像に対する処理として問題が生じる場合がある。
【０００６】
このような問題に対応するため、特許文献１の撮像装置では、合焦した被写体の距離を示す合焦位置情報と、画角情報とに基づいて、入力画像内における人物の顔サイズを特定し、この特定された顔サイズのウィンドウを用いて人物の顔を検出するようにしている。
【０００７】
また、特許文献２の顔追跡方法では、予め検出した顔部品の位置に基づいて設定される探索領域で顔部品を追跡するようにしている。この顔追跡方法では、最初の入力画像からまず顔領域を検出し、次にこの検出した顔領域から個々の顔部品位置を検出する。そして、検出した顔部品の位置に基づいて、入力画像内の一部に探索領域を設定し、以降の入力画像に対しては、その探索領域内で顔部品を追跡するようにしている。
【０００８】
特許文献３の顔検出装置では、特定の顔を検出するものであるが、大まかにテンプレートマッチングを行って抽出された各ウィンドウ画像の重なり部分を除去し、あるいはウィンドウ画像同士で重なっている領域がある場合には、相関度の高いウィンドウ画像だけを残し、それらにサポートベクターマシン(Support vectormachine）などパターン認識を用いて特定の顔画像を検出している。
【特許文献１】特開２００６−２５２３８号公報
【特許文献２】特開２００６−２２８０６１号公報
【特許文献３】特開２００３−２７１９３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、特許文献１のように予め顔サイズを特定する構成では、例えば被写界深度を利用して撮影した距離の異なる複数の人物の顔を検出する場合には不向きであり、また合焦位置情報と画角情報を必要とするため、これら情報がない画像には利用できないという問題があった。一方、特許文献２のように探索領域を設定する構成は、人物の動きが大きいときには、設定された探索領域から顔領域（顔部品）が外れることが多くなり、結果として画像全体を対象に顔の検出を行わなくてはならず、演算数を減らすことができないといった問題がある。さらに、特許文献３の顔検出装置のような構成は、不特定の人物の顔を検出するには利用できない。
【００１０】
本発明は、上記問題を解決するためになされたもので、動画像の各フレームの画像からから検出精度に配慮しつつ高速に人物の顔を検出することができる顔検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記問題を解決するために、本発明の請求項１記載の顔検出装置では、パラメータの値を変化させてテンプレートマッチングを行い、入力される動画像中のフレームの画像から人物の顔画像を検出する検出手段と、パラメータの値を変化させる範囲として、動画像の任意のフレームについては、予め用意されているパラメータの値の範囲を検出手段に設定し、この任意のフレーム以降のフレームについては、任意のフレームで顔画像を検出したときのパラメータの値または検出結果の少なくともいずれか一方に基づいて予め用意されているパラメータの値の範囲よりも限定した限定範囲を決定し、この限定範囲を検出手段に設定するパラメータ制御手段とを備えたものである。
【００１２】
請求項２記載の顔検出装置では、パラメータ制御手段は、任意のフレームに対する人物の顔画像を検出に要した検出処理時間が、入力される動画像の１フレーム期間以下のときには、次のフレームを任意のフレームとして、予め用意されているパラメータの値の範囲を設定するものである。
【００１３】
請求項３記載の顔検出装置では、パラメータ制御手段は、限定範囲を決定する際に、任意のフレームに対する検出処理時間に応じて限定範囲の限定の程度を変化させるものである。
【００１４】
請求項４記載の顔検出装置では、パラメータ制御手段は、限定範囲を決定する際に、任意のフレームに対する検出処理時間に応じて、パラメータの値の限定態様を切り替えるものである。
【００１５】
請求項５記載の顔検出装置では、パラメータ制御手段は、限定範囲を設定した状態での人物の顔画像を検出したフレームの検出結果が、当該フレームよりも前のフレームの検出結果と比較して異常であったときには、予め用意されているパラメータの値の範囲を設定するものである。
【００１６】
請求項６記載の顔検出装置では、パラメータ制御手段は、人物の顔画像を検出した当該フレームの検出結果が異常であったときには、予め用意されているパラメータの値の範囲を設定するとともに、当該フレームを任意のフレームとして人物の顔画像の検出を行うものである。
【００１７】
請求項７記載の顔検出方法では、動画像の任意のフレームについて、予め用意されているパラメータの値の範囲でパラメータの値を変化させてテンプレートマッチングによって人物の顔画像の検出し、この任意のフレーム以降のフレームについては、任意のフレームで顔画像を検出したときのパラメータの値または検出結果の少なくともいずれか一方に基づいて予め用意されているパラメータの値の範囲よりも限定した限定範囲を決定し、この決定された限定範囲内で順次にパラメータの値を変更してテンプレートマッチングにより人物の顔を検出するものである。
【発明の効果】
【００１８】
本発明によれば、動画像の各フレームの画像から人物の顔画像を検出する際に、予め用意されているパラメータの値の範囲でパラメータの値を変化させてテンプレートマッチングを行い、それ以降のフレームについては、任意のフレームで顔画像を検出したときのパラメータの値，検出結果に基づいてパラメータの値の範囲を限定してテンプレートマッチングにより人物の顔を検出するようにしたから、例えば所定のフレームレートを維持できるように高速に人物の顔を検出しながら、顔検出の精度を確保できる。
【発明を実施するための最良の形態】
【００１９】
図１に本発明を実施した顔検出装置２を示す。この顔検出装置２は、入力された動画像の各フレームの画像からテンプレートマッチングによって人物の顔画像を検出する顔検出を行い、その検出した顔画像のエリアを示す顔領域情報を出力する。制御部３は、操作部４からの各種操作信号に基づいて、顔検出装置２の各部を制御する。操作部４は、外部から操作され、その操作に応じた操作信号を発生する。
【００２０】
顔検出装置２は、顔検出に要する検出処理時間よりも顔の検出精度に重点をおいた標準モードと、動画像としてのフレームレートで各フレームの画像について顔検出を行えるように検出処理時間に重点をおいた高速モードとがある。
【００２１】
動画像の任意のフレームとして、入力された動画像の最初の１フレーム目、高速モード下で標準モード指示がされた場合の１フレーム目を設定してあり、これらの１フレーム目の画像には標準モードで顔検出を行う。また、標準モードでの１フレームの検出処理時間が所定時間Ｔａ以下の場合には、そのフレームの次のフレームについても標準モードで顔検出を行う。したがって、所定時間Ｔａ以下となるフレームの次のフレームが新たな任意のフレームとなる。標準モードで検出処理時間が所定時間Ｔａよりも大きい場合に、それ以降のフレームの画像に対して高速モードを用いる。なお、所定時間Ｔａは、撮影のフレームレートである３０ｆｐｓに対応した１フレーム期間と同じ０．０３３秒に設定してあるが、１フレーム期間よりも短い時間を設定してもよい。
【００２２】
画像メモリ６には、顔検出の対象となる動画像が例えば画像データの形式で外部から入力されて書き込まれる。この画像メモリ６は、制御部３の制御下で、動画像の各フレームを構成する画像を１フレームごとに読み出して出力する。この画像メモリ６からの画像の出力は、通常は動画像の一般的なフレームレートである例えば１／３０秒ごとに出力するが、標準モード下では、１フレームに対する顔検出が完了するまでは、次のフレームの画像を出力しないように制御する。
【００２３】
検出処理部７には、画像メモリ６からの画像が１フレームごとに入力される。この検出処理部７は、入力された画像に対してテンプレートマッチングを行って人物の顔画像のエリアを検出し、そのエリアを示す顔領域情報を外部に出力する。
【００２４】
バッファメモリ８は、画像と顔領域情報の出力タイミングを同期させるために設けてある。このバッファメモリ８は、画像メモリ６からの画像を一時的に記憶し、その画像に対応する顔領域情報が検出処理部から出力されるタイミングで、記憶した画像を読み出して外部に出力する。これにより、顔検出装置２から顔領域情報とともに、通常時は３０ｆｐｓの動画像を出力する。
【００２５】
検出処理部７からの顔領域情報とバッファメモリ８からの画像は、表示部９にも送られる。表示部９は、ＬＣＤやそれを駆動するドライバ等からなる。この表示部９は、バッファメモリ８から次々に入力される画像を表示するとともに、表示中の画像に重ねて顔領域情報に示される範囲の枠を表示する。ユーザは、この表示部９に表示される画像と枠を参照することで、顔画像の検出状態を確認することができる。
【００２６】
上記検出処理部７は、例えば高速なデジタル信号処理回路やメモリ等からなり、マッチング手段１１と、パラメータ制御手段１２と、パラメータ記憶手段１３として機能する。検出手段としてのマッチング手段１１には、画像メモリ６からの画像が１フレームごとに入力される。また、このマッチング手段１１は、多数の人物から平均的な顔画像として作成されたテンプレートを有しており、画像が入力されると、そのテンプレートを用いたテンプレートマッチングを行い、画像中の人物の顔画像のエリアを検出する。
【００２７】
なお、テンプレートは、後述するウィンドウサイズと同じサイズとなるように拡大・縮小されて使用されるが、使用されるウィンドウサイズと同じサイズのテンプレートを予め用意しておいてもよい。
【００２８】
テンプレートマッチングでは、画像から矩形領域（以下、ウィンドウと称する）で切り出したウィンドウ画像とテンプレートとの相関性を調べ、そのウィンドウ画像が人物の顔画像であるか否かを判断する。検出した人物の顔画像の領域は、そのサイズや位置を示す顔領域情報として出力される。
【００２９】
マッチング手段１１は、テンプレートマッチングを行う際には、図２に示すように、ウィンドウＷの位置を、例えば画像Ｆの左上から右下まで移動するスキャンを行い、各位置のそれぞれについてウィンドウ画像を切り出し、各々のウィンドウ画像とテンプレートとの相関性を調べる。スキャンでは、ウィンドウＷが左端から移動ピッチで右方向に移動し、画像の右端に達したら、ウィンドウを左端に戻すとともに移動ピッチだけ下方向にウィンドウをずらし、再び右方向に移動させる。
【００３０】
上記のウィンドウＷのサイズであるウィンドウサイズと移動ピッチとが、値が変化されるパラメータとしてあり、マッチング手段１１は、設定されるパラメータ範囲内のウィンドウサイズと移動ピッチの組み合わせによるスキャンを行う。
【００３１】
マッチング手段１１は、テンプレートマッチングの際には、例えば最初に最も大きなウィンドウサイズと最も大きな移動ピッチでスキャンを行い、ウィンドウ画像とテンプレートの相関性が第一の閾値以上の場所を顔領域と特定し、ウィンドウ画像とテンプレートの相関性が第二の閾値以上かつ第一の閾値以下の領域を顔「らしい」領域、すなわち顔であるとまでは断定できない領域を特定し、この特定された領域については、さらにウィンドウサイズと移動ピッチを変更したスキャンを行う。
【００３２】
パラメータ制御手段１２は、値が変化されるパラメータの変化すべき値の範囲としてのパラメータ範囲を決定し、マッチング手段１１にそのパラメータ範囲を設定する。このパラメータ制御手段１２は、標準モード用のウィンドウサイズの範囲と、移動ピッチの範囲とを記憶しており、標準モードのときには、これら標準モード用のウィンドウサイズ、移動ピッチの各範囲をマッチング手段１１に設定する。
【００３３】
上記の標準モード用のウィンドウサイズ、移動ピッチの各範囲は、顔の検出を精度良く行うように予め決定したものであり、例えばウィンドウサイズは、１００×１００画素〜１５×１５画素の範囲としてあり、移動ピッチは５〜１画素の範囲としてある。マッチング手段１１は、これら範囲内でウィンドウサイズについては例えば５画素ステップで、移動ピッチについては１画素ステップで変化させる。
【００３４】
パラメータ制御手段１２は、標準モードでの検出処理時間が所定時間Ｔａを超えているとき、次のフレーム以降について、標準モードよりもパラメータの値の範囲を限定した高速モード用のウィンドウサイズ範囲、移動ピッチ範囲、すなわち限定範囲を決定し、これらをマッチング手段１１に設定する。
【００３５】
マッチング手段１１によるテンプレートマッチングでは、上述のように、最初に最も大きなウィンドウサイズと最も大きな移動ピッチを用いたスキャンによって特定した顔「らしい」領域についてウィンドウサイズと移動ピッチを変更したスキャンを行うようにしている。このため、画像中に含まれる顔の個数に応じてスキャンする領域、スキャンの回数が変化して検出処理時間が増減する。
【００３６】
この例では、高速モード用のウィンドウサイズの範囲については、前回の標準モードで顔画像を検出した各ウィンドウサイズ（以下、参照ウィンドウサイズと称する）を含んで標準モード用の範囲よりも狭くなるように決めている。より具体的には、最大の参照ウィンドウサイズよりも１ステップ大きなサイズを上限に、最小のウィンドウサイズの１ステップ小さいサイズを下限となるように高速モード用のウィンドウサイズの範囲を決定する。また、高速モード用の移動ピッチについては、その範囲を１つの値、例えば３画素に固定するように限定している。
【００３７】
上記のようにパラメータの１つであるウィンドウサイズについては、検出結果の１つである検出処理時間に基づいて限定の要否を決め、顔画像を検出したときの各ウィンドウサイズに基づいてその限定範囲を決定している。また、移動ピッチについては、検出結果の１つである検出処理時間に基づいて限定の要否を決め、固定的に決定された値となるようにしている。
【００３８】
パラメータ記憶手段１３は、参照ウィンドウサイズ、顔を検出したときの移動ピッチ（以下、参照移動ピッチと称する）と、検出処理時間とがマッチング手段１１によって書き込まれ、それらを保持する。パラメータ記憶手段１３に記憶されている内容は、標準モードで新たなフレームの画像に対してテンプレートマッチングを行った結果で更新される。パラメータ記憶手段１３に記憶された内容は、パラメータ制御手段１２によって参照される。なお、検出処理時間は、マッチング手段１１で測定される。
【００３９】
次に上記構成の作用について説明する。顔検出を行う場合には、まず検出対象とする動画像を画像メモリ６に書き込んだ状態にする。動画像の書き込みが完了すると、画像メモリ６から１フレームごとに画像が順番に出力されて、検出処理部７とバッファメモリ８とに順次に送られ、検出処理部７によって顔検出が開始される。
【００４０】
顔検出が開始されると初期状態では標準モードとなり、図３に示すように、まず標準モード用のウィンドウサイズの範囲と移動ピッチの範囲がそれぞれパラメータ制御手段１２によってマッチング手段１１に設定される（ステップＳ１）。そして、ステップＳ２で１番目のフレームの画像の入力が確認されると、マッチング手段１１によってテンプレートマッチングが行われ、画像中の人物の顔画像の検出が行われる（ステップＳ３）。
【００４１】
このテンプレートマッチングでは、標準モード用のウィンドウサイズの範囲と移動ピッチの範囲がそれぞれ設定されているから、これら範囲のウィンドウサイズと移動ピッチの組み合わせでスキャンが行われる。まず、ウィンドウサイズを１００×１００画素、移動ピッチを５画素としたスキャンを行う。このスキャンで順次に切り出されるウィンドウ画像は、テンプレートとの相関性が調べられ、相関性が第一の閾値以上の時には、そのウィンドウ画像が人物の顔画像であると判定され、その顔画像の位置とサイズが顔領域情報として出力される。また、相関性が第二の閾値以上かつ第一の閾値以下の領域については、その領域が顔「らしい」領域として特定される。
【００４２】
最初のスキャンが完了すると、次に特定された顔「らしい」領域について、移動ピッチを５画素として、ウィンドウサイズを９５×９５画素としたスキャン、９０×９０画素としたスキャン、・・・１５×１５画素としたスキャンが順次に行われ、さらに移動ピッチを４画素，３画素，２画素，１画素として、ウィンドウサイズを９５×９５画素〜１５×１５画素の範囲で変化させた各スキャンが順次に行われる。
【００４３】
そして、各スキャンで相関性が第一の閾値以上の各ウィンドウ画像が人物の顔の画像であると判定され、それに対応する顔領域情報が出力される。結果として、画像中に複数の人物の顔画像がある場合には、それらがそれぞれ検出され、それらのそれぞれに対応する顔領域情報が出力される。そして、標準モード用のウィンドウサイズの範囲と移動ピッチの範囲がそれぞれ設定されているから高い検出精度で顔が検出される。
【００４４】
上記のようにして１番目の画像に対するテンプレートマッチングが完了すると、人物の顔画像を検出したときの各ウィンドウサイズ，各移動ピッチとが、参照ウィンドウサイズ，参照移動ピッチとして、またテンプレートマッチングに要した検出処理時間が、マッチング手段１１によってパラメータ記憶手段１３に書き込まれる（ステップＳ４）。
【００４５】
参照ウィンドウサイズ，参照移動ピッチと、検出処理時間の書き込み後、パラメータ制御手段１２がパラメータ記憶手段１３に記憶されている検出処理時間を参照し、この検出処理時間が所定時間Ｔａ以下であるか否かが調べられる（ステップＳ５）。
【００４６】
検出処理時間が所定時間Ｔａ以下である場合には、標準モードが維持され、ステップＳ２で２番目のフレームの画像の入力が確認されると、ステップＳ３でテンプレートマッチングが行われる。すなわち、標準モード用のウィンドウサイズと移動ピッチの範囲が設定された状態で、マッチング手段１１によるテンプレートマッチングが上記同様にして行われる。そして、ステップＳ４で、２番目のフレームの画像についての参照ウィンドウサイズ，参照移動ピッチと、検出処理時間がパラメータ記憶手段１３に書き込まれ、ステップＳ５で、その検出処理時間が所定時間Ｔａ以下であるか否かが調べられる。
【００４７】
上記のように、標準モード下で検出処理時間が所定時間Ｔａ以下となっている間には、順次に入力されてくる画像に対しては、動画像の所定のフレームレートを維持できるため、検出精度を高くできる標準モード用のウィンドウサイズ範囲と移動ピッチ範囲とを設定した状態で人物の顔画像の検出が行われる。
【００４８】
一方、標準モード下で、例えばＮ番目のフレームの画像についての検出処理時間が所定時間Ｔａより大きいときには、それ以降のフレームについて、動画像の所定のフレームレートを維持するために、高速モードに移行する。
【００４９】
高速モードとなると、パラメータ制御手段１２によって、Ｎ番目のフレームの画像を検出対象としたときに得られた参照ウィンドウサイズに基づいて高速モード用のウィンドウサイズの範囲が決定されるとともに、高速モード用に移動ピッチが３画素に限定される（ステップＳ６）。そして、これらの高速モード用のウィンドウサイズの範囲と移動ピッチがマッチング手段１１に設定される（ステップＳ７）。
【００５０】
続いて、ステップＳ８でＮ＋１番目のフレームの画像の入力が確認されると、設定されたウィンドウサイズの範囲の各ウィンドウサイズと移動ピッチとを用いたテンプレートマッチングがマッチング手段１１によって行われる（ステップＳ９）。そして、相関性が一定レベル以上の各ウィンドウ画像が人物の顔画像であると判定され、それに対応する顔領域情報が出力される。
【００５１】
図４（ａ）に示すように、Ｎ番目のフレームの画像に対しては、標準モードとされており、ウィンドウサイズは１００×１００画素〜１５×１５画素の範囲、移動ピッチは５〜１画素の範囲が設定された状態でテンプレートマッチングが行われる。図４（ｂ）に示すように、例えばＮ番目のフレームの画像から３個の人物の顔が検出され、そのときの顔を検出した各ウィンドウサイズが５０×５０画素，３５×３５画素，３０×３０画素であり、また移動ピッチが３画素であり、検出処理時間が０．０４秒であったする。
【００５２】
上記のような場合には、検出処理時間が所定時間Ｔａ（＝０．０３３秒）よりも大きくなるので、次のＮ＋１番目のフレームの画像に対しては、高速モード下でのテンプレートマッチングが行われる。顔画像を検出した各ウィンドウサイズが５０×５０画素，３５×３５画素，３０×３０画素であるから、図４（ｃ）に示すように、高速モード用のウィンドウサイズの範囲が、５５×５５画素〜２５×２５画素とされる。また、移動ピッチが３画素とされる。
【００５３】
上記のようにして高速モード用のウィンドウサイズの範囲と、限定された移動ピッチと用いたＮ＋１番目のフレームの画像に対するテンプレートマッチングが完了すると、ステップＳ１０で標準モード指示の有無が判定される。そして、これらの指示がされていない場合には、ステップＳ８に戻り、Ｎ＋２番目のフレームの画像の入力を待つ状態となる。Ｎ＋２番目のフレームの画像が入力されると、その画像に対して高速モード下でのテンプレートマッチングが行われる。すなわち、先に設定した高速モード用のウィンドウサイズの範囲と移動ピッチとで人物の顔画像の検出が行われる。
【００５４】
以降、同様にして、標準モード指示があるまで、同じ高速モード用のウィンドウサイズの範囲と移動ピッチとを用いたテンプレートマッチングが行われる。そして、この高速モードでは、標準モードよりも限定した範囲のウィンドウサイズと移動ピッチとを用いているから、各フレームの画像について所定のフレームレートを維持できる検出処理時間で顔検出を行うことができる。しかも、限定した範囲のウィンドウサイズは、検査精度を高くした標準モードで顔画像を検出したときの各ウィンドウサイズを用いているから実用上影響がない検査精度を保つことができる。
【００５５】
テンプレートマッチングを行っている間では、バッファメモリ８からの画像と、その画像に対応して検出処理部７から出力される顔領域情報とが同期して、顔検出装置２の外部に出力される。そして、標準モードで検出処理時間が所定時間Ｔａよりも大きくなったときに限ってフレームレートは変化してしまうが、それ以外では所定のフレームレートを維持した動画像を顔領域情報とともに出力することができる。
【００５６】
また、表示部９には、顔領域情報に基づいて、人物の顔の領域を示す枠が動画像に重ねて表示される。そして操作者は、例えば所望とする人物の顔についての枠が表示されていない場合や、画像中に人物の顔が表示されているのにそれに対応して枠が表示されていないといった場合には、操作部４を操作して標準モード指示を行う。
【００５７】
標準モード指示があると、ステップＳ１０からステップＳ１に以降し、標準モード用のウィンドウサイズと移動ピッチの各範囲がマッチング手段１１に設定される。これにより、上記と同様な手順で標準モードでのテンプレートマッチングが行われるようになり、検出されない人物の顔画像が検出されるようにすることができる。
【００５８】
図５は、検出結果の１つである検出処理時間に応じて、高速モード用のウィンドウサイズの範囲を限定する態様を切り替えるようにしたものである。この例では、高速モード用のウィンドウサイズの範囲を決定する際に、パラメータ記憶手段１３に記憶されている検出処理時間を参照し、これを基準時間Ｔｂと比較する。基準時間Ｔｂは、検出処理時間の低減すべき程度の判定の基準となるものであり、所定時間Ｔａよりも大きい値（Ｔｂ＞Ｔａ）が設定されている。
【００５９】
基準時間Ｔｂとの比較で、検出処理時間が基準時間Ｔｂより小さいときには、上記実施形態と同様に、最大の参照ウィンドウサイズよりも１ステップ大きなサイズを上限に、最小のウィンドウサイズの１ステップ小さいサイズを下限となるように高速モード用のウィンドウサイズの範囲を決定する。
【００６０】
一方、検出処理時間が基準時間Ｔｂ以上であるときには、検出処理時間をより短縮するために、各参照ウィンドウサイズの平均値を高速モード用のウィンドウサイズの範囲（１つの値）として限定し、検出処理時間が大きく低減されるようにする。
【００６１】
例えば基準時間Ｔｂが０．０５５秒に設定されており、図６（ａ）のように検出処理時間が０．０４秒であった場合、その検出処理時間が基準時間Ｔｂよりも小さいので所定時間Ｔａとの差が小さいものと判定され、各参照ウィンドウサイズの範囲を１ステップ広げた範囲（５５×５５画素〜２５画素×２５画素）が高速モード用のウィンドウサイズの範囲となる。一方、図６（ｂ）のように、検出処理時間が０．０７秒であって基準時間Ｔｂ以上となるときには、所定時間Ｔａとの差がかなり大きいものと判定され、各参照ウィンドウサイズの平均値である３５×３５画素のみが高速モード用のウィンドウサイズの範囲とされる。
【００６２】
また、図７は、検出結果の１つである検出処理時間に応じて、高速モード用のウィンドウサイズの範囲を限定の程度を変化させるようにしたものである。この例では、高速モード用のウィンドウサイズの範囲を決定する際に、パラメータ記憶手段１３に記憶されている検出処理時間を参照し、これを例えば所定時間Ｔａとの差が大きい基準時間Ｔｂと比較する。
【００６３】
上記比較において、検出処理時間が基準時間Ｔｂより小さいときには、上記実施形態と同様に、最大の参照ウィンドウサイズよりも１ステップ大きなサイズを上限に、最小のウィンドウサイズの１ステップ小さいサイズを下限となるように高速モード用のウィンドウサイズの範囲を決定する。この場合、図８に示すように、標準モードにおける参照ウィンドウサイズが、図８（ａ）に示すように５０×５０画素，３５×３５画素，３０×３０画素であれば、高速モード用のウィンドウサイズの範囲が、５５×５５画素〜２５×２５画素とされる。
【００６４】
一方、検出処理時間が基準時間Ｔｂ以上であるときには、検出処理時間を短縮するために、最大の参照ウィンドウサイズが上限に、最小のウィンドウサイズが下限となるように高速モード用のウィンドウサイズの範囲を決定し、よりウィンドウサイズの範囲を狭くする。図８（ｂ）に示すように参照ウィンドウサイズが、５０×５０画素，３５×３５画素，３０×３０画素，２５×２５画素であれば、高速モード用のウィンドウサイズの範囲が、５０×５０画素〜２５×２５画素とされる。
【００６５】
図９に示す例は、高速モードにおける人物の顔画像の検出結果の正当性を判断し、正当ではないと判定したときに、そのフレームから標準モードで顔検出を行うようにしたものである。なお、以下に説明する他は、最初の実施形態と同様である。また、図８には、最初の実施形態と実質的に同じステップには同じ符合を付してある。
【００６６】
この例では、標準モード下で人物の顔画像が検出されると、ステップＳ２０において、その検出数、すなわち検出した人物の顔画像の個数が参照検出数としてパラメータ記憶手段１３に書き込まれる。また、高速モード下では、フレームごとのテンプレートマッチングによる検出数が、ステップＳ２１で、パラメータ記憶手段１３に記憶されている参照検出数と比較されて、その増減が正常であるか否かが判定される。この判定が正常な場合には、検出結果が正当なものとされ、ステップＳ２２によってパラメータ記憶手段１３の参照検出数を、今回の顔検出の結果の検出で更新してから、次のフレームの画像について高速モードで顔検出を行う。
【００６７】
一方、ステップＳ２１で異常と判定された場合には、すなわち高速モードによる顔検出の検出結果が正当でない場合には、ステップＳ２３で標準モード用のウィンドウサイズの範囲と移動ピッチの範囲とがマッチング手段１１に設定されて標準モードにされ、この標準モード下で、正当でないと判定されたフレームの画像からテンプレートマッチングが行われる。ステップＳ２１での検出された顔画像の個数の増減が正常か否かは、例えば検出数が参照検出数に比べて著しく減少、例えば１／２以下となっている場合に異常と判定される。
【００６８】
この例によれば、高速モード下でテンプレートマッチングが行われると、そのフレームでの検出数が、１フレーム前のフレームの画像の検出数と比較されて、検出結果の正当性が判定される。そして、正当性がない場合には、そのフレームの画像が標準モード下でテンプレートマッチングされる。これにより、所定のフレームレートを維持できるように検出処理時間の低減を図りながら、顔検出の信頼性の低下を防止することができる。
【００６９】
上記では人物の顔画像の検出数の増減により、高速モード下での検出結果の正当性を判定しているが、正当性の判定は、これに限られるものではなく、種々の手法を用いることができる。例えば、１フレーム前の画像と今回のフレームの画像から検出された各顔画像のサイズ（ウィンドウサイズ）の差が著しく大きい場合や、１フレーム前の画像と今回のフレームの画像から検出された各顔画像の位置の差が著しく大きい場合に正当性がないと判定するような手法も採用できる。また、ユーザが正当性の確認方法を設定・選択できるようにしてもよい。さらに、正当性がないと判定された場合に、そのフレームの次のフレームから標準モードで顔検出を行うようにしてもよい。
【００７０】
上記各実施形態で示したウィンドウサイズ、移動ピッチの範囲の限定の態様、程度等は一例であり、これに限られるものではない。例えば、参照ウィンドウサイズ、参照移動ピッチと同じ値のウィンドウサイズ、移動ピッチを用いて高速モードのテンプレートマッチングを行うようにしてもよい。また、例えばウィンドウサイズ、移動ピッチの一方の範囲を限定するときに、他方を参照ウィンドウサイズまたは参照移動ピッチを考慮してもよい。ウィンドウサイズ、移動ピッチの一方の範囲を限定する際には、所定のフレームレートを維持しつつ、できるだけ人物の顔画像の検出精度が低下しないように決定するのがよい。
【００７１】
上記各実施形態ではウィンドウサイズ及びウィンドウの移動ピッチを値が変化されるパラメータとしたが、値が変化されるパラメータとしては、これらに限られるものではない。また、テンプレートマッチングの手法は、上記のものに限られず、人物の顔画像の検出方式についても、テンプレートマッチングに限定されるものではなく、人物の顔画像の検出処理に可変なパラメータを用いるのであれば、どのような検出方式でも採用することができる。例えば特開５−１５８１６４号公報や、特開平７−３０６４８３号公報に記載されているような検出方式であってもよい。
【００７２】
また、上記では顔検出装置を例にして説明したが、本発明は、その顔検出装置の機能を各種の撮影装置や、カメラ機能を有する携帯電話などに内蔵させて利用することもできる。また、プログラムをインストールすることにより、パーソナルコンピュータなどを顔検出装置として機能させて利用することもできる。
【図面の簡単な説明】
【００７３】
【図１】本発明を実施した顔検出装置の構成を示すブロック図である。
【図２】テンプレートマッチング時のスキャンの状態を示す説明図である。
【図３】顔検出のための処理手順を示すフローチャートである。
【図４】標準モードによる検出時のパラメータと高速モード用に限定されたパラメータを示す説明図である。
【図５】パラメータの限定の態様を切り替える例を示すフローチャートである。
【図６】パラメータの限定の態様を切り替えた例における限定されたパラメータの一例を示す説明図である。
【図７】パラメータの限定の程度を変化させる例を示すフローチャートである。
【図８】パラメータの限定の程度を変化させる例における限定されたパラメータの一例を示す説明図である。
【図９】高速モードでの検出結果の正当性を判定する例における顔検出のための処理手順を示すフローチャートである。
【符号の説明】
【００７４】
２ 顔検出装置
７ 検出処理部
１１ マッチング手段
１２ パラメータ制御手段
１３ パラメータ記憶手段
【技術分野】
【０００１】
本発明は、動画像から人物の顔を検出する顔検出装置及び方法に関するものである。
【背景技術】
【０００２】
近年では、デジタルビデオカメラやデジタルスチルカメラ等には、撮影された動画像や静止画像から人物の顔（顔画像）を検出し、その検出結果に基づいて様々な処理を行うものが知られている。このような処理としては、例えば人物の顔にピントを自動的に合わせるオートフォーカス処理や、顔がきれいに写るように露出調整やホワイトバランス補正を自動的に行う機能等がある。また、顔の移動に追従させて撮影方向を変化させることにより、人物の移動を監視できるようにしたものもある。
【０００３】
人物の顔を検出する検出方式としては、テンプレートマッチングが知られている。このテンプレートマッチングでは、検出対象となる画像内を所定の移動ステップでウィンドウと呼ばれる矩形の領域を移動させながら、各位置におけるウィンドウ内の画像をウィンドウ画像として切り出して、これとテンプレートとの相関性を算出している。そして、テンプレートとの相関性の高いウィンドウ画像を人物の顔画像と判定している。テンプレートとしては、例えば不特定の人物の顔を検出する場合には、多数の人物から平均的な顔画像として作成されたものが用いられる。
【０００４】
また、撮影距離などにより人物の顔画像の大きさが一定ではないことから、通常では検出対象の画像とウィンドウの各サイズの相対的な比率を順次に変化させて顔検出を行っている。相対的な比率を変化させる方式としては、検査対象の画像を各種倍率で拡大・縮小した各画像に対して一定サイズのウィンドウを用いる方式、一定サイズの検査対象の画像に対して異なるサイズの複数のウィンドウを用いる方式がある。
【０００５】
上述のようにテンプレートマッチングでは、検出対象の画像とウィンドウの各サイズの相対的な比率を変化させながら、画像内から多数のウィンドウ画像の切りだし、そして、それら各ウィンドウ画像とテンプレートとの相関性を求める処理が行われる。このため演算数が膨大となって、高い精度で顔を検出しようとする場合には、入力される動画像を短時間で、例えば１フレーム期間中に処理できなくなり、動画像に対する処理として問題が生じる場合がある。
【０００６】
このような問題に対応するため、特許文献１の撮像装置では、合焦した被写体の距離を示す合焦位置情報と、画角情報とに基づいて、入力画像内における人物の顔サイズを特定し、この特定された顔サイズのウィンドウを用いて人物の顔を検出するようにしている。
【０００７】
また、特許文献２の顔追跡方法では、予め検出した顔部品の位置に基づいて設定される探索領域で顔部品を追跡するようにしている。この顔追跡方法では、最初の入力画像からまず顔領域を検出し、次にこの検出した顔領域から個々の顔部品位置を検出する。そして、検出した顔部品の位置に基づいて、入力画像内の一部に探索領域を設定し、以降の入力画像に対しては、その探索領域内で顔部品を追跡するようにしている。
【０００８】
特許文献３の顔検出装置では、特定の顔を検出するものであるが、大まかにテンプレートマッチングを行って抽出された各ウィンドウ画像の重なり部分を除去し、あるいはウィンドウ画像同士で重なっている領域がある場合には、相関度の高いウィンドウ画像だけを残し、それらにサポートベクターマシン(Support vectormachine）などパターン認識を用いて特定の顔画像を検出している。
【特許文献１】特開２００６−２５２３８号公報
【特許文献２】特開２００６−２２８０６１号公報
【特許文献３】特開２００３−２７１９３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところで、特許文献１のように予め顔サイズを特定する構成では、例えば被写界深度を利用して撮影した距離の異なる複数の人物の顔を検出する場合には不向きであり、また合焦位置情報と画角情報を必要とするため、これら情報がない画像には利用できないという問題があった。一方、特許文献２のように探索領域を設定する構成は、人物の動きが大きいときには、設定された探索領域から顔領域（顔部品）が外れることが多くなり、結果として画像全体を対象に顔の検出を行わなくてはならず、演算数を減らすことができないといった問題がある。さらに、特許文献３の顔検出装置のような構成は、不特定の人物の顔を検出するには利用できない。
【００１０】
本発明は、上記問題を解決するためになされたもので、動画像の各フレームの画像からから検出精度に配慮しつつ高速に人物の顔を検出することができる顔検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記問題を解決するために、本発明の請求項１記載の顔検出装置では、パラメータの値を変化させてテンプレートマッチングを行い、入力される動画像中のフレームの画像から人物の顔画像を検出する検出手段と、パラメータの値を変化させる範囲として、動画像の任意のフレームについては、予め用意されているパラメータの値の範囲を検出手段に設定し、この任意のフレーム以降のフレームについては、任意のフレームで顔画像を検出したときのパラメータの値または検出結果の少なくともいずれか一方に基づいて予め用意されているパラメータの値の範囲よりも限定した限定範囲を決定し、この限定範囲を検出手段に設定するパラメータ制御手段とを備えたものである。
【００１２】
請求項２記載の顔検出装置では、パラメータ制御手段は、任意のフレームに対する人物の顔画像を検出に要した検出処理時間が、入力される動画像の１フレーム期間以下のときには、次のフレームを任意のフレームとして、予め用意されているパラメータの値の範囲を設定するものである。
【００１３】
請求項３記載の顔検出装置では、パラメータ制御手段は、限定範囲を決定する際に、任意のフレームに対する検出処理時間に応じて限定範囲の限定の程度を変化させるものである。
【００１４】
請求項４記載の顔検出装置では、パラメータ制御手段は、限定範囲を決定する際に、任意のフレームに対する検出処理時間に応じて、パラメータの値の限定態様を切り替えるものである。
【００１５】
請求項５記載の顔検出装置では、パラメータ制御手段は、限定範囲を設定した状態での人物の顔画像を検出したフレームの検出結果が、当該フレームよりも前のフレームの検出結果と比較して異常であったときには、予め用意されているパラメータの値の範囲を設定するものである。
【００１６】
請求項６記載の顔検出装置では、パラメータ制御手段は、人物の顔画像を検出した当該フレームの検出結果が異常であったときには、予め用意されているパラメータの値の範囲を設定するとともに、当該フレームを任意のフレームとして人物の顔画像の検出を行うものである。
【００１７】
請求項７記載の顔検出方法では、動画像の任意のフレームについて、予め用意されているパラメータの値の範囲でパラメータの値を変化させてテンプレートマッチングによって人物の顔画像の検出し、この任意のフレーム以降のフレームについては、任意のフレームで顔画像を検出したときのパラメータの値または検出結果の少なくともいずれか一方に基づいて予め用意されているパラメータの値の範囲よりも限定した限定範囲を決定し、この決定された限定範囲内で順次にパラメータの値を変更してテンプレートマッチングにより人物の顔を検出するものである。
【発明の効果】
【００１８】
本発明によれば、動画像の各フレームの画像から人物の顔画像を検出する際に、予め用意されているパラメータの値の範囲でパラメータの値を変化させてテンプレートマッチングを行い、それ以降のフレームについては、任意のフレームで顔画像を検出したときのパラメータの値，検出結果に基づいてパラメータの値の範囲を限定してテンプレートマッチングにより人物の顔を検出するようにしたから、例えば所定のフレームレートを維持できるように高速に人物の顔を検出しながら、顔検出の精度を確保できる。
【発明を実施するための最良の形態】
【００１９】
図１に本発明を実施した顔検出装置２を示す。この顔検出装置２は、入力された動画像の各フレームの画像からテンプレートマッチングによって人物の顔画像を検出する顔検出を行い、その検出した顔画像のエリアを示す顔領域情報を出力する。制御部３は、操作部４からの各種操作信号に基づいて、顔検出装置２の各部を制御する。操作部４は、外部から操作され、その操作に応じた操作信号を発生する。
【００２０】
顔検出装置２は、顔検出に要する検出処理時間よりも顔の検出精度に重点をおいた標準モードと、動画像としてのフレームレートで各フレームの画像について顔検出を行えるように検出処理時間に重点をおいた高速モードとがある。
【００２１】
動画像の任意のフレームとして、入力された動画像の最初の１フレーム目、高速モード下で標準モード指示がされた場合の１フレーム目を設定してあり、これらの１フレーム目の画像には標準モードで顔検出を行う。また、標準モードでの１フレームの検出処理時間が所定時間Ｔａ以下の場合には、そのフレームの次のフレームについても標準モードで顔検出を行う。したがって、所定時間Ｔａ以下となるフレームの次のフレームが新たな任意のフレームとなる。標準モードで検出処理時間が所定時間Ｔａよりも大きい場合に、それ以降のフレームの画像に対して高速モードを用いる。なお、所定時間Ｔａは、撮影のフレームレートである３０ｆｐｓに対応した１フレーム期間と同じ０．０３３秒に設定してあるが、１フレーム期間よりも短い時間を設定してもよい。
【００２２】
画像メモリ６には、顔検出の対象となる動画像が例えば画像データの形式で外部から入力されて書き込まれる。この画像メモリ６は、制御部３の制御下で、動画像の各フレームを構成する画像を１フレームごとに読み出して出力する。この画像メモリ６からの画像の出力は、通常は動画像の一般的なフレームレートである例えば１／３０秒ごとに出力するが、標準モード下では、１フレームに対する顔検出が完了するまでは、次のフレームの画像を出力しないように制御する。
【００２３】
検出処理部７には、画像メモリ６からの画像が１フレームごとに入力される。この検出処理部７は、入力された画像に対してテンプレートマッチングを行って人物の顔画像のエリアを検出し、そのエリアを示す顔領域情報を外部に出力する。
【００２４】
バッファメモリ８は、画像と顔領域情報の出力タイミングを同期させるために設けてある。このバッファメモリ８は、画像メモリ６からの画像を一時的に記憶し、その画像に対応する顔領域情報が検出処理部から出力されるタイミングで、記憶した画像を読み出して外部に出力する。これにより、顔検出装置２から顔領域情報とともに、通常時は３０ｆｐｓの動画像を出力する。
【００２５】
検出処理部７からの顔領域情報とバッファメモリ８からの画像は、表示部９にも送られる。表示部９は、ＬＣＤやそれを駆動するドライバ等からなる。この表示部９は、バッファメモリ８から次々に入力される画像を表示するとともに、表示中の画像に重ねて顔領域情報に示される範囲の枠を表示する。ユーザは、この表示部９に表示される画像と枠を参照することで、顔画像の検出状態を確認することができる。
【００２６】
上記検出処理部７は、例えば高速なデジタル信号処理回路やメモリ等からなり、マッチング手段１１と、パラメータ制御手段１２と、パラメータ記憶手段１３として機能する。検出手段としてのマッチング手段１１には、画像メモリ６からの画像が１フレームごとに入力される。また、このマッチング手段１１は、多数の人物から平均的な顔画像として作成されたテンプレートを有しており、画像が入力されると、そのテンプレートを用いたテンプレートマッチングを行い、画像中の人物の顔画像のエリアを検出する。
【００２７】
なお、テンプレートは、後述するウィンドウサイズと同じサイズとなるように拡大・縮小されて使用されるが、使用されるウィンドウサイズと同じサイズのテンプレートを予め用意しておいてもよい。
【００２８】
テンプレートマッチングでは、画像から矩形領域（以下、ウィンドウと称する）で切り出したウィンドウ画像とテンプレートとの相関性を調べ、そのウィンドウ画像が人物の顔画像であるか否かを判断する。検出した人物の顔画像の領域は、そのサイズや位置を示す顔領域情報として出力される。
【００２９】
マッチング手段１１は、テンプレートマッチングを行う際には、図２に示すように、ウィンドウＷの位置を、例えば画像Ｆの左上から右下まで移動するスキャンを行い、各位置のそれぞれについてウィンドウ画像を切り出し、各々のウィンドウ画像とテンプレートとの相関性を調べる。スキャンでは、ウィンドウＷが左端から移動ピッチで右方向に移動し、画像の右端に達したら、ウィンドウを左端に戻すとともに移動ピッチだけ下方向にウィンドウをずらし、再び右方向に移動させる。
【００３０】
上記のウィンドウＷのサイズであるウィンドウサイズと移動ピッチとが、値が変化されるパラメータとしてあり、マッチング手段１１は、設定されるパラメータ範囲内のウィンドウサイズと移動ピッチの組み合わせによるスキャンを行う。
【００３１】
マッチング手段１１は、テンプレートマッチングの際には、例えば最初に最も大きなウィンドウサイズと最も大きな移動ピッチでスキャンを行い、ウィンドウ画像とテンプレートの相関性が第一の閾値以上の場所を顔領域と特定し、ウィンドウ画像とテンプレートの相関性が第二の閾値以上かつ第一の閾値以下の領域を顔「らしい」領域、すなわち顔であるとまでは断定できない領域を特定し、この特定された領域については、さらにウィンドウサイズと移動ピッチを変更したスキャンを行う。
【００３２】
パラメータ制御手段１２は、値が変化されるパラメータの変化すべき値の範囲としてのパラメータ範囲を決定し、マッチング手段１１にそのパラメータ範囲を設定する。このパラメータ制御手段１２は、標準モード用のウィンドウサイズの範囲と、移動ピッチの範囲とを記憶しており、標準モードのときには、これら標準モード用のウィンドウサイズ、移動ピッチの各範囲をマッチング手段１１に設定する。
【００３３】
上記の標準モード用のウィンドウサイズ、移動ピッチの各範囲は、顔の検出を精度良く行うように予め決定したものであり、例えばウィンドウサイズは、１００×１００画素〜１５×１５画素の範囲としてあり、移動ピッチは５〜１画素の範囲としてある。マッチング手段１１は、これら範囲内でウィンドウサイズについては例えば５画素ステップで、移動ピッチについては１画素ステップで変化させる。
【００３４】
パラメータ制御手段１２は、標準モードでの検出処理時間が所定時間Ｔａを超えているとき、次のフレーム以降について、標準モードよりもパラメータの値の範囲を限定した高速モード用のウィンドウサイズ範囲、移動ピッチ範囲、すなわち限定範囲を決定し、これらをマッチング手段１１に設定する。
【００３５】
マッチング手段１１によるテンプレートマッチングでは、上述のように、最初に最も大きなウィンドウサイズと最も大きな移動ピッチを用いたスキャンによって特定した顔「らしい」領域についてウィンドウサイズと移動ピッチを変更したスキャンを行うようにしている。このため、画像中に含まれる顔の個数に応じてスキャンする領域、スキャンの回数が変化して検出処理時間が増減する。
【００３６】
この例では、高速モード用のウィンドウサイズの範囲については、前回の標準モードで顔画像を検出した各ウィンドウサイズ（以下、参照ウィンドウサイズと称する）を含んで標準モード用の範囲よりも狭くなるように決めている。より具体的には、最大の参照ウィンドウサイズよりも１ステップ大きなサイズを上限に、最小のウィンドウサイズの１ステップ小さいサイズを下限となるように高速モード用のウィンドウサイズの範囲を決定する。また、高速モード用の移動ピッチについては、その範囲を１つの値、例えば３画素に固定するように限定している。
【００３７】
上記のようにパラメータの１つであるウィンドウサイズについては、検出結果の１つである検出処理時間に基づいて限定の要否を決め、顔画像を検出したときの各ウィンドウサイズに基づいてその限定範囲を決定している。また、移動ピッチについては、検出結果の１つである検出処理時間に基づいて限定の要否を決め、固定的に決定された値となるようにしている。
【００３８】
パラメータ記憶手段１３は、参照ウィンドウサイズ、顔を検出したときの移動ピッチ（以下、参照移動ピッチと称する）と、検出処理時間とがマッチング手段１１によって書き込まれ、それらを保持する。パラメータ記憶手段１３に記憶されている内容は、標準モードで新たなフレームの画像に対してテンプレートマッチングを行った結果で更新される。パラメータ記憶手段１３に記憶された内容は、パラメータ制御手段１２によって参照される。なお、検出処理時間は、マッチング手段１１で測定される。
【００３９】
次に上記構成の作用について説明する。顔検出を行う場合には、まず検出対象とする動画像を画像メモリ６に書き込んだ状態にする。動画像の書き込みが完了すると、画像メモリ６から１フレームごとに画像が順番に出力されて、検出処理部７とバッファメモリ８とに順次に送られ、検出処理部７によって顔検出が開始される。
【００４０】
顔検出が開始されると初期状態では標準モードとなり、図３に示すように、まず標準モード用のウィンドウサイズの範囲と移動ピッチの範囲がそれぞれパラメータ制御手段１２によってマッチング手段１１に設定される（ステップＳ１）。そして、ステップＳ２で１番目のフレームの画像の入力が確認されると、マッチング手段１１によってテンプレートマッチングが行われ、画像中の人物の顔画像の検出が行われる（ステップＳ３）。
【００４１】
このテンプレートマッチングでは、標準モード用のウィンドウサイズの範囲と移動ピッチの範囲がそれぞれ設定されているから、これら範囲のウィンドウサイズと移動ピッチの組み合わせでスキャンが行われる。まず、ウィンドウサイズを１００×１００画素、移動ピッチを５画素としたスキャンを行う。このスキャンで順次に切り出されるウィンドウ画像は、テンプレートとの相関性が調べられ、相関性が第一の閾値以上の時には、そのウィンドウ画像が人物の顔画像であると判定され、その顔画像の位置とサイズが顔領域情報として出力される。また、相関性が第二の閾値以上かつ第一の閾値以下の領域については、その領域が顔「らしい」領域として特定される。
【００４２】
最初のスキャンが完了すると、次に特定された顔「らしい」領域について、移動ピッチを５画素として、ウィンドウサイズを９５×９５画素としたスキャン、９０×９０画素としたスキャン、・・・１５×１５画素としたスキャンが順次に行われ、さらに移動ピッチを４画素，３画素，２画素，１画素として、ウィンドウサイズを９５×９５画素〜１５×１５画素の範囲で変化させた各スキャンが順次に行われる。
【００４３】
そして、各スキャンで相関性が第一の閾値以上の各ウィンドウ画像が人物の顔の画像であると判定され、それに対応する顔領域情報が出力される。結果として、画像中に複数の人物の顔画像がある場合には、それらがそれぞれ検出され、それらのそれぞれに対応する顔領域情報が出力される。そして、標準モード用のウィンドウサイズの範囲と移動ピッチの範囲がそれぞれ設定されているから高い検出精度で顔が検出される。
【００４４】
上記のようにして１番目の画像に対するテンプレートマッチングが完了すると、人物の顔画像を検出したときの各ウィンドウサイズ，各移動ピッチとが、参照ウィンドウサイズ，参照移動ピッチとして、またテンプレートマッチングに要した検出処理時間が、マッチング手段１１によってパラメータ記憶手段１３に書き込まれる（ステップＳ４）。
【００４５】
参照ウィンドウサイズ，参照移動ピッチと、検出処理時間の書き込み後、パラメータ制御手段１２がパラメータ記憶手段１３に記憶されている検出処理時間を参照し、この検出処理時間が所定時間Ｔａ以下であるか否かが調べられる（ステップＳ５）。
【００４６】
検出処理時間が所定時間Ｔａ以下である場合には、標準モードが維持され、ステップＳ２で２番目のフレームの画像の入力が確認されると、ステップＳ３でテンプレートマッチングが行われる。すなわち、標準モード用のウィンドウサイズと移動ピッチの範囲が設定された状態で、マッチング手段１１によるテンプレートマッチングが上記同様にして行われる。そして、ステップＳ４で、２番目のフレームの画像についての参照ウィンドウサイズ，参照移動ピッチと、検出処理時間がパラメータ記憶手段１３に書き込まれ、ステップＳ５で、その検出処理時間が所定時間Ｔａ以下であるか否かが調べられる。
【００４７】
上記のように、標準モード下で検出処理時間が所定時間Ｔａ以下となっている間には、順次に入力されてくる画像に対しては、動画像の所定のフレームレートを維持できるため、検出精度を高くできる標準モード用のウィンドウサイズ範囲と移動ピッチ範囲とを設定した状態で人物の顔画像の検出が行われる。
【００４８】
一方、標準モード下で、例えばＮ番目のフレームの画像についての検出処理時間が所定時間Ｔａより大きいときには、それ以降のフレームについて、動画像の所定のフレームレートを維持するために、高速モードに移行する。
【００４９】
高速モードとなると、パラメータ制御手段１２によって、Ｎ番目のフレームの画像を検出対象としたときに得られた参照ウィンドウサイズに基づいて高速モード用のウィンドウサイズの範囲が決定されるとともに、高速モード用に移動ピッチが３画素に限定される（ステップＳ６）。そして、これらの高速モード用のウィンドウサイズの範囲と移動ピッチがマッチング手段１１に設定される（ステップＳ７）。
【００５０】
続いて、ステップＳ８でＮ＋１番目のフレームの画像の入力が確認されると、設定されたウィンドウサイズの範囲の各ウィンドウサイズと移動ピッチとを用いたテンプレートマッチングがマッチング手段１１によって行われる（ステップＳ９）。そして、相関性が一定レベル以上の各ウィンドウ画像が人物の顔画像であると判定され、それに対応する顔領域情報が出力される。
【００５１】
図４（ａ）に示すように、Ｎ番目のフレームの画像に対しては、標準モードとされており、ウィンドウサイズは１００×１００画素〜１５×１５画素の範囲、移動ピッチは５〜１画素の範囲が設定された状態でテンプレートマッチングが行われる。図４（ｂ）に示すように、例えばＮ番目のフレームの画像から３個の人物の顔が検出され、そのときの顔を検出した各ウィンドウサイズが５０×５０画素，３５×３５画素，３０×３０画素であり、また移動ピッチが３画素であり、検出処理時間が０．０４秒であったする。
【００５２】
上記のような場合には、検出処理時間が所定時間Ｔａ（＝０．０３３秒）よりも大きくなるので、次のＮ＋１番目のフレームの画像に対しては、高速モード下でのテンプレートマッチングが行われる。顔画像を検出した各ウィンドウサイズが５０×５０画素，３５×３５画素，３０×３０画素であるから、図４（ｃ）に示すように、高速モード用のウィンドウサイズの範囲が、５５×５５画素〜２５×２５画素とされる。また、移動ピッチが３画素とされる。
【００５３】
上記のようにして高速モード用のウィンドウサイズの範囲と、限定された移動ピッチと用いたＮ＋１番目のフレームの画像に対するテンプレートマッチングが完了すると、ステップＳ１０で標準モード指示の有無が判定される。そして、これらの指示がされていない場合には、ステップＳ８に戻り、Ｎ＋２番目のフレームの画像の入力を待つ状態となる。Ｎ＋２番目のフレームの画像が入力されると、その画像に対して高速モード下でのテンプレートマッチングが行われる。すなわち、先に設定した高速モード用のウィンドウサイズの範囲と移動ピッチとで人物の顔画像の検出が行われる。
【００５４】
以降、同様にして、標準モード指示があるまで、同じ高速モード用のウィンドウサイズの範囲と移動ピッチとを用いたテンプレートマッチングが行われる。そして、この高速モードでは、標準モードよりも限定した範囲のウィンドウサイズと移動ピッチとを用いているから、各フレームの画像について所定のフレームレートを維持できる検出処理時間で顔検出を行うことができる。しかも、限定した範囲のウィンドウサイズは、検査精度を高くした標準モードで顔画像を検出したときの各ウィンドウサイズを用いているから実用上影響がない検査精度を保つことができる。
【００５５】
テンプレートマッチングを行っている間では、バッファメモリ８からの画像と、その画像に対応して検出処理部７から出力される顔領域情報とが同期して、顔検出装置２の外部に出力される。そして、標準モードで検出処理時間が所定時間Ｔａよりも大きくなったときに限ってフレームレートは変化してしまうが、それ以外では所定のフレームレートを維持した動画像を顔領域情報とともに出力することができる。
【００５６】
また、表示部９には、顔領域情報に基づいて、人物の顔の領域を示す枠が動画像に重ねて表示される。そして操作者は、例えば所望とする人物の顔についての枠が表示されていない場合や、画像中に人物の顔が表示されているのにそれに対応して枠が表示されていないといった場合には、操作部４を操作して標準モード指示を行う。
【００５７】
標準モード指示があると、ステップＳ１０からステップＳ１に以降し、標準モード用のウィンドウサイズと移動ピッチの各範囲がマッチング手段１１に設定される。これにより、上記と同様な手順で標準モードでのテンプレートマッチングが行われるようになり、検出されない人物の顔画像が検出されるようにすることができる。
【００５８】
図５は、検出結果の１つである検出処理時間に応じて、高速モード用のウィンドウサイズの範囲を限定する態様を切り替えるようにしたものである。この例では、高速モード用のウィンドウサイズの範囲を決定する際に、パラメータ記憶手段１３に記憶されている検出処理時間を参照し、これを基準時間Ｔｂと比較する。基準時間Ｔｂは、検出処理時間の低減すべき程度の判定の基準となるものであり、所定時間Ｔａよりも大きい値（Ｔｂ＞Ｔａ）が設定されている。
【００５９】
基準時間Ｔｂとの比較で、検出処理時間が基準時間Ｔｂより小さいときには、上記実施形態と同様に、最大の参照ウィンドウサイズよりも１ステップ大きなサイズを上限に、最小のウィンドウサイズの１ステップ小さいサイズを下限となるように高速モード用のウィンドウサイズの範囲を決定する。
【００６０】
一方、検出処理時間が基準時間Ｔｂ以上であるときには、検出処理時間をより短縮するために、各参照ウィンドウサイズの平均値を高速モード用のウィンドウサイズの範囲（１つの値）として限定し、検出処理時間が大きく低減されるようにする。
【００６１】
例えば基準時間Ｔｂが０．０５５秒に設定されており、図６（ａ）のように検出処理時間が０．０４秒であった場合、その検出処理時間が基準時間Ｔｂよりも小さいので所定時間Ｔａとの差が小さいものと判定され、各参照ウィンドウサイズの範囲を１ステップ広げた範囲（５５×５５画素〜２５画素×２５画素）が高速モード用のウィンドウサイズの範囲となる。一方、図６（ｂ）のように、検出処理時間が０．０７秒であって基準時間Ｔｂ以上となるときには、所定時間Ｔａとの差がかなり大きいものと判定され、各参照ウィンドウサイズの平均値である３５×３５画素のみが高速モード用のウィンドウサイズの範囲とされる。
【００６２】
また、図７は、検出結果の１つである検出処理時間に応じて、高速モード用のウィンドウサイズの範囲を限定の程度を変化させるようにしたものである。この例では、高速モード用のウィンドウサイズの範囲を決定する際に、パラメータ記憶手段１３に記憶されている検出処理時間を参照し、これを例えば所定時間Ｔａとの差が大きい基準時間Ｔｂと比較する。
【００６３】
上記比較において、検出処理時間が基準時間Ｔｂより小さいときには、上記実施形態と同様に、最大の参照ウィンドウサイズよりも１ステップ大きなサイズを上限に、最小のウィンドウサイズの１ステップ小さいサイズを下限となるように高速モード用のウィンドウサイズの範囲を決定する。この場合、図８に示すように、標準モードにおける参照ウィンドウサイズが、図８（ａ）に示すように５０×５０画素，３５×３５画素，３０×３０画素であれば、高速モード用のウィンドウサイズの範囲が、５５×５５画素〜２５×２５画素とされる。
【００６４】
一方、検出処理時間が基準時間Ｔｂ以上であるときには、検出処理時間を短縮するために、最大の参照ウィンドウサイズが上限に、最小のウィンドウサイズが下限となるように高速モード用のウィンドウサイズの範囲を決定し、よりウィンドウサイズの範囲を狭くする。図８（ｂ）に示すように参照ウィンドウサイズが、５０×５０画素，３５×３５画素，３０×３０画素，２５×２５画素であれば、高速モード用のウィンドウサイズの範囲が、５０×５０画素〜２５×２５画素とされる。
【００６５】
図９に示す例は、高速モードにおける人物の顔画像の検出結果の正当性を判断し、正当ではないと判定したときに、そのフレームから標準モードで顔検出を行うようにしたものである。なお、以下に説明する他は、最初の実施形態と同様である。また、図８には、最初の実施形態と実質的に同じステップには同じ符合を付してある。
【００６６】
この例では、標準モード下で人物の顔画像が検出されると、ステップＳ２０において、その検出数、すなわち検出した人物の顔画像の個数が参照検出数としてパラメータ記憶手段１３に書き込まれる。また、高速モード下では、フレームごとのテンプレートマッチングによる検出数が、ステップＳ２１で、パラメータ記憶手段１３に記憶されている参照検出数と比較されて、その増減が正常であるか否かが判定される。この判定が正常な場合には、検出結果が正当なものとされ、ステップＳ２２によってパラメータ記憶手段１３の参照検出数を、今回の顔検出の結果の検出で更新してから、次のフレームの画像について高速モードで顔検出を行う。
【００６７】
一方、ステップＳ２１で異常と判定された場合には、すなわち高速モードによる顔検出の検出結果が正当でない場合には、ステップＳ２３で標準モード用のウィンドウサイズの範囲と移動ピッチの範囲とがマッチング手段１１に設定されて標準モードにされ、この標準モード下で、正当でないと判定されたフレームの画像からテンプレートマッチングが行われる。ステップＳ２１での検出された顔画像の個数の増減が正常か否かは、例えば検出数が参照検出数に比べて著しく減少、例えば１／２以下となっている場合に異常と判定される。
【００６８】
この例によれば、高速モード下でテンプレートマッチングが行われると、そのフレームでの検出数が、１フレーム前のフレームの画像の検出数と比較されて、検出結果の正当性が判定される。そして、正当性がない場合には、そのフレームの画像が標準モード下でテンプレートマッチングされる。これにより、所定のフレームレートを維持できるように検出処理時間の低減を図りながら、顔検出の信頼性の低下を防止することができる。
【００６９】
上記では人物の顔画像の検出数の増減により、高速モード下での検出結果の正当性を判定しているが、正当性の判定は、これに限られるものではなく、種々の手法を用いることができる。例えば、１フレーム前の画像と今回のフレームの画像から検出された各顔画像のサイズ（ウィンドウサイズ）の差が著しく大きい場合や、１フレーム前の画像と今回のフレームの画像から検出された各顔画像の位置の差が著しく大きい場合に正当性がないと判定するような手法も採用できる。また、ユーザが正当性の確認方法を設定・選択できるようにしてもよい。さらに、正当性がないと判定された場合に、そのフレームの次のフレームから標準モードで顔検出を行うようにしてもよい。
【００７０】
上記各実施形態で示したウィンドウサイズ、移動ピッチの範囲の限定の態様、程度等は一例であり、これに限られるものではない。例えば、参照ウィンドウサイズ、参照移動ピッチと同じ値のウィンドウサイズ、移動ピッチを用いて高速モードのテンプレートマッチングを行うようにしてもよい。また、例えばウィンドウサイズ、移動ピッチの一方の範囲を限定するときに、他方を参照ウィンドウサイズまたは参照移動ピッチを考慮してもよい。ウィンドウサイズ、移動ピッチの一方の範囲を限定する際には、所定のフレームレートを維持しつつ、できるだけ人物の顔画像の検出精度が低下しないように決定するのがよい。
【００７１】
上記各実施形態ではウィンドウサイズ及びウィンドウの移動ピッチを値が変化されるパラメータとしたが、値が変化されるパラメータとしては、これらに限られるものではない。また、テンプレートマッチングの手法は、上記のものに限られず、人物の顔画像の検出方式についても、テンプレートマッチングに限定されるものではなく、人物の顔画像の検出処理に可変なパラメータを用いるのであれば、どのような検出方式でも採用することができる。例えば特開５−１５８１６４号公報や、特開平７−３０６４８３号公報に記載されているような検出方式であってもよい。
【００７２】
また、上記では顔検出装置を例にして説明したが、本発明は、その顔検出装置の機能を各種の撮影装置や、カメラ機能を有する携帯電話などに内蔵させて利用することもできる。また、プログラムをインストールすることにより、パーソナルコンピュータなどを顔検出装置として機能させて利用することもできる。
【図面の簡単な説明】
【００７３】
【図１】本発明を実施した顔検出装置の構成を示すブロック図である。
【図２】テンプレートマッチング時のスキャンの状態を示す説明図である。
【図３】顔検出のための処理手順を示すフローチャートである。
【図４】標準モードによる検出時のパラメータと高速モード用に限定されたパラメータを示す説明図である。
【図５】パラメータの限定の態様を切り替える例を示すフローチャートである。
【図６】パラメータの限定の態様を切り替えた例における限定されたパラメータの一例を示す説明図である。
【図７】パラメータの限定の程度を変化させる例を示すフローチャートである。
【図８】パラメータの限定の程度を変化させる例における限定されたパラメータの一例を示す説明図である。
【図９】高速モードでの検出結果の正当性を判定する例における顔検出のための処理手順を示すフローチャートである。
【符号の説明】
【００７４】
２ 顔検出装置
７ 検出処理部
１１ マッチング手段
１２ パラメータ制御手段
１３ パラメータ記憶手段
【特許請求の範囲】
【請求項１】
パラメータの値を変化させてテンプレートマッチングを行い、入力される動画像中のフレームの画像から人物の顔画像を検出する検出手段と、
前記パラメータの値の変化させる範囲として、動画像の任意のフレームについては、予め用意されているパラメータの値の範囲を前記検出手段に設定し、この任意のフレーム以降のフレームについては、前記任意のフレームで顔画像を検出したときのパラメータの値または検出結果の少なくともいずれか一方に基づいて前記予め用意されているパラメータの値の範囲よりも限定した限定範囲を決定し、この限定範囲を前記検出手段に設定するパラメータ制御手段とを備えたことを特徴とする顔検出装置。
【請求項２】
前記パラメータ制御手段は、前記任意のフレームに対する人物の顔画像を検出に要した検出処理時間が、入力される動画像の１フレーム期間以下のときには、次のフレームを任意のフレームとして、前記予め用意されているパラメータの値の範囲を設定することを特徴とする請求項１記載の顔検出装置。
【請求項３】
前記パラメータ制御手段は、限定範囲を決定する際に、前記任意のフレームに対する検出処理時間に応じて限定範囲の限定の程度を変化させることを特徴とする請求項１または２記載の顔検出装置。
【請求項４】
前記パラメータ制御手段は、限定範囲を決定する際に、前記任意のフレームに対する検出処理時間に応じて、パラメータの値の限定態様を切り替えることを特徴とする請求項１または２記載の顔検出装置。
【請求項５】
前記パラメータ制御手段は、限定範囲を設定した状態での人物の顔画像を検出したフレームの検出結果が、当該フレームよりも前のフレームの検出結果と比較して異常であったときには、前記予め用意されているパラメータの値の範囲を設定することを特徴とする請求項１ないし４のいずれか１項に記載の顔検出装置。
【請求項６】
前記パラメータ制御手段は、人物の顔画像を検出した当該フレームの検出結果が異常であったときには、前記予め用意されているパラメータの値の範囲を設定するとともに、当該フレームを任意のフレームとして人物の顔画像の検出を行うことを特徴とする請求項５記載の顔検出装置。
【請求項７】
動画像の任意のフレームについて、予め用意されているパラメータの値の範囲でパラメータの値を変化させてテンプレートマッチングによって人物の顔画像の検出し、この任意のフレーム以降のフレームについては、前記任意のフレームで顔画像を検出したときのパラメータの値または検出結果の少なくともいずれか一方に基づいて前記予め用意されているパラメータの値の範囲よりも限定した限定範囲を決定し、この決定された限定範囲内で順次にパラメータの値を変更してテンプレートマッチングにより人物の顔を検出することを特徴とする顔検出方法。
【請求項１】
パラメータの値を変化させてテンプレートマッチングを行い、入力される動画像中のフレームの画像から人物の顔画像を検出する検出手段と、
前記パラメータの値の変化させる範囲として、動画像の任意のフレームについては、予め用意されているパラメータの値の範囲を前記検出手段に設定し、この任意のフレーム以降のフレームについては、前記任意のフレームで顔画像を検出したときのパラメータの値または検出結果の少なくともいずれか一方に基づいて前記予め用意されているパラメータの値の範囲よりも限定した限定範囲を決定し、この限定範囲を前記検出手段に設定するパラメータ制御手段とを備えたことを特徴とする顔検出装置。
【請求項２】
前記パラメータ制御手段は、前記任意のフレームに対する人物の顔画像を検出に要した検出処理時間が、入力される動画像の１フレーム期間以下のときには、次のフレームを任意のフレームとして、前記予め用意されているパラメータの値の範囲を設定することを特徴とする請求項１記載の顔検出装置。
【請求項３】
前記パラメータ制御手段は、限定範囲を決定する際に、前記任意のフレームに対する検出処理時間に応じて限定範囲の限定の程度を変化させることを特徴とする請求項１または２記載の顔検出装置。
【請求項４】
前記パラメータ制御手段は、限定範囲を決定する際に、前記任意のフレームに対する検出処理時間に応じて、パラメータの値の限定態様を切り替えることを特徴とする請求項１または２記載の顔検出装置。
【請求項５】
前記パラメータ制御手段は、限定範囲を設定した状態での人物の顔画像を検出したフレームの検出結果が、当該フレームよりも前のフレームの検出結果と比較して異常であったときには、前記予め用意されているパラメータの値の範囲を設定することを特徴とする請求項１ないし４のいずれか１項に記載の顔検出装置。
【請求項６】
前記パラメータ制御手段は、人物の顔画像を検出した当該フレームの検出結果が異常であったときには、前記予め用意されているパラメータの値の範囲を設定するとともに、当該フレームを任意のフレームとして人物の顔画像の検出を行うことを特徴とする請求項５記載の顔検出装置。
【請求項７】
動画像の任意のフレームについて、予め用意されているパラメータの値の範囲でパラメータの値を変化させてテンプレートマッチングによって人物の顔画像の検出し、この任意のフレーム以降のフレームについては、前記任意のフレームで顔画像を検出したときのパラメータの値または検出結果の少なくともいずれか一方に基づいて前記予め用意されているパラメータの値の範囲よりも限定した限定範囲を決定し、この決定された限定範囲内で順次にパラメータの値を変更してテンプレートマッチングにより人物の顔を検出することを特徴とする顔検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−６６８６３（Ｐ２０１０−６６８６３Ａ）
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願番号】特願２００８−２３０６６５（Ｐ２００８−２３０６６５）
【出願日】平成２０年９月９日（２００８．９．９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２２年３月２５日（２０１０．３．２５）
【国際特許分類】
【出願日】平成２０年９月９日（２００８．９．９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]