顔検出装置、顔検出方法及び顔検出プログラム
【課題】簡易な構成で、高精度な顔検出処理を効率的に実行するための技術を提供する。
【解決手段】顔検出条件記憶部１６が撮像手段１１で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとに予め設定された顔検出条件とを記憶する。顔検出部１３は画像中の顔を検出する顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔検出条件に該当しない顔検出処理を省略する。ここで、顔検出条件は、検出対象とする顔の大きさを定める顔サイズ条件、検出対象とする顔の向きを定める顔向き条件、照明条件など、様々な条件を選ぶことができる。
【解決手段】顔検出条件記憶部１６が撮像手段１１で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとに予め設定された顔検出条件とを記憶する。顔検出部１３は画像中の顔を検出する顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔検出条件に該当しない顔検出処理を省略する。ここで、顔検出条件は、検出対象とする顔の大きさを定める顔サイズ条件、検出対象とする顔の向きを定める顔向き条件、照明条件など、様々な条件を選ぶことができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から顔を検出する顔検出装置に関する。
【背景技術】
【０００２】
画像から顔を検出する顔検出装置は、顔を精度よく検出することが望まれている。
【０００３】
このような課題に鑑みた従来技術として、入力画像から算出した顔との想定距離と距離センサにより測定した測定距離とを比較して顔か非顔かの判定を行う対象物検出装置がある（特許文献１参照）。
【０００４】
しかし、この装置は顔検出部の他に距離センサを必要とするため、装置構成が大掛かりになり、装置コストも増加する。更に、顔検出処理に前記距離センサにより測定した測定距離の情報を用いるため、処理負荷は増加する。
【０００５】
一方、２台のカメラで撮影された画像を三次元復元する画像処理装置がある（特許文献２参照）。この装置は、前記画像の三次元情報を用いて顔を検出する。
【０００６】
しかし、この装置は２台のカメラを必要とするため、装置構成が大掛かりになり、装置コストも増加する。更に、前記画像の三次元情報を用いるため、処理負荷は増加する。
【特許文献１】特開２００５−７８３７６号公報
【特許文献２】特開２００５−３０１８３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、簡易な構成で、高精度な顔検出処理を効率的に実行するための技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は、以下の構成を採用する。
【０００９】
本発明に係る顔検出装置は、撮像手段と、前記撮像手段で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとに予め設定された顔検出条件とを記憶する顔検出条件記憶手段と、前記画像から顔を検出する顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔検出条件に該当しない顔検出処理を省略する顔検出手段と、を備える。
【００１０】
本発明では部分領域ごとに異なる顔検出条件を設定しておくことができる。本発明の顔検出処理は、部分領域ごとに予め設定された顔検出条件を用いるので、画像全体を同一条件で行う顔検出処理よりも精度の向上が期待できる。更に、本発明の顔検出処理は、部分領域ごとに設定された顔検出条件に該当しない顔検出処理を省略できるので、画像全体を全ての条件で行う顔検出処理よりも効率化できる。また、従来技術は距離センサや２台目のカメラが必要であったのに対し、本発明は付加機器を必要としないため、簡易な構成である。
【００１１】
ここで、顔検出条件は、検出対象とする顔の大きさを定める顔サイズ条件、検出対象とする顔の向きを定める顔向き条件、照明条件など、様々な条件を選ぶことができる。
【００１２】
前記顔サイズ条件を部分領域ごとに設定することにより、あり得ない大きさの顔をはじめから排除できるため、誤検出の低減が期待できる。具体的には、前記顔検出手段は、異なる顔の大きさに対応する複数の顔検出ウィンドウを有しており、前記画像から顔検出ウィンドウを用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔サイズ条件に応じた顔検出ウィンドウによる顔検出処理を行うとよい。これにより、顔検出処理は、部分領域ごとに設定された顔サイズ条件に応じた顔検出ウィンドウ以外の顔検出ウィンドウによる顔検出処理を省略できるため、画像全体について全ての顔検出ウィンドウで行う顔検出処理よりも効率化できる。
【００１３】
前記顔向き条件を部分領域ごとに設定することにより、検出精度の向上及び誤検出の低減が期待できる。具体的には、前記顔検出手段は、異なる顔向きに対応する複数の顔検出器を有しており、前記画像から顔検出器を用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔向き条件に応じた顔検出器を用いて顔検出処理を行うとよい。これにより、顔検出処理は、部分領域ごとに設定された顔向き条件に応じた顔検出器以外の顔検出器による顔検出処理を省略できるため、画像全体について全ての顔検出器を用いて行う顔検出処理よりも効率化できる。
【００１４】
前記照明条件を部分領域ごとに設定することにより、検出精度の向上及び誤検出の低減が期待できる。具体的には、前記顔検出手段は、異なる照明環境に対応する複数の顔検出器を有しており、前記画像から顔検出器を用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された照明条件に応じた顔検出器を用いて顔検出処理を行うとよい。これにより、顔検出処理は、部分領域ごとに設定された照明条件に応じた顔検出器以外の顔検出器による顔検出処理を省略できるため、画像全体について全ての顔検出器を用いて行う顔検出処理よりも効率化できる。
【００１５】
本発明は、上記顔検出条件のうちいずれか１つの顔検出条件に応じて顔検出処理を行ってもよいし、２つ以上の顔検出条件の組み合わせに応じて顔検出処理を行ってもよい。複数の顔検出条件を組み合わせれば、更に絞り込まれた条件で顔検出処理が行えるので、顔検出処理の効率化は向上する。
【００１６】
また、本発明は、上記手段の少なくとも一部を有する顔検出装置として捉えてもよいし、上記処理の少なくとも一部を含む顔検出方法、または、かかる方法を実現するための顔検出プログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００１７】
本発明によれば、画像中の部分領域ごとに顔検出条件を予め設定でき、付加機器を必要としないため、簡易な構成で、高精度な顔検出処理を効率的に実行することが可能である。
【発明を実施するための最良の形態】
【００１８】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００１９】
＜第１の実施形態＞
第１の実施形態では、本発明を通行人や侵入者などを監視するための監視装置に適用した例を挙げる。この種の監視装置では図１のように撮像部１１が人の頭より高い位置の天井や壁などに固定されており、監視エリアを俯瞰するような撮影画像を得ることが多い。この状況下で、撮像部１１が撮影する画像は図２のように画像上部の顔は小さく写り、画像下部の顔は大きく写る傾向にある。このような傾向に着目し、本実施形態における顔検
出処理は撮像部１１で撮影された画像を複数の部分領域に区分し、部分領域ごとに検出対象とする顔の大きさを変える。なお、本発明は本実施形態の監視装置のような固定カメラに好ましく適用することができるが、本発明は固定カメラに限らず、あらゆる撮影装置に適用することが可能である。
【００２０】
＜装置構成＞
図３は本発明の実施形態に係る顔検出装置の機能構成を示すブロック図である。顔検出装置は、概略、撮像部１１、画像記憶部１２、顔検出部１３、表示部１４、結果記憶部１５、顔検出条件記憶部１６を備えている。本実施形態では、これらの機能要素は、コンピュータの演算処理装置がソフトウエア（プログラム）を実行し、必要に応じてカメラ、メモリ、ディスプレイなどのハードウエア資源を制御することで実現される。ただし、これらの機能要素を専用のチップで構成しても構わない。
【００２１】
撮像部１１としては、光学系と撮像素子（ＣＣＤ、ＣＭＯＳセンサなど）を備えるデジタルカメラを好ましく適用できる。
【００２２】
画像記憶部１２は、処理対象となる画像を一時的に記憶する記憶装置である。この記憶装置としては、揮発性メモリや不揮発性メモリなど、どのような具体的技術が適用されてもよい。
【００２３】
顔検出部１３は、画像処理によって画像から顔を検出する顔検出処理を実行する機能である。顔検出部１３による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、肌の色に近い領域を検出し、その領域を顔として検出する手法、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。
【００２４】
表示部１４としては、液晶ディスプレイなど、どのような具体的技術が適用されてもよい。
【００２５】
結果記憶部１５は、顔検出部１３による顔検出処理の結果を記憶する記憶装置である。この記憶装置としては、不揮発性メモリやハードディスクなど、どのような具体的技術が適用されてもよい。
【００２６】
顔検出条件記憶部１６は、撮像部１１で撮影された画像を複数の部分領域に区分するための部分領域情報と、部分領域ごとに予め設定された顔検出条件と、を記憶する記憶装置である。この記憶装置としては、不揮発性メモリやハードディスクなど、どのような具体的技術が適用されてもよい。
【００２７】
本実施形態における部分領域情報と顔検出条件の一例を図４に示す。上述したように、本実施形態の撮像部１１で撮影される画像は図２のように画像上部の顔は小さく写り、画像下部の顔は大きく写る傾向にある。そこで、図４の例では、部分領域情報として、画像全体を「画像上部」、「画像中部」、「画像下部」という３つの部分領域２１〜２３に区分する情報を設定する。ここでは四角形の部分領域を設定しており、部分領域は四角形の対角に位置する頂点の始点座標と終点座標の２つの座標で定義される。なお、部分領域の形は四角形でなく、多角形や円形などでもよい。部分領域情報は、部分領域の形状・位置・大きさを定義できれば、どのような形式でもよい。また、顔検出条件として、検出対象とする顔の大きさを定める顔サイズ条件を設定する（ここでは画像上部の部分領域２１に
「小」、画像中部の部分領域２２に「中」、画像下部の部分領域２３に「大」という顔サイズ条件が設定されている。）。なお、顔サイズ条件は、「大」、「中」、「小」のような属性でもよいし、顔の大きさに対応する数値でもよいし、（後述する）顔検出ウィンドウのサイズなどでもよい。
【００２８】
＜顔検出機能＞
図５及び図６のフローチャートに沿って、本実施形態の顔検出装置の機能及び処理の流れを説明する。
【００２９】
本実施形態の顔検出装置は一定の時間間隔で顔検出機能を実行する。顔検出機能が起動すると、撮像部１１で撮影された画像が、顔検出処理に用いるために取り込まれる（ステップＳ１１）。入力された画像は画像記憶部１２に撮影時刻情報と共に格納される。なお、必要に応じて、ユーザは、顔検出処理用の画像を表示部１４で確認することができる。
【００３０】
次に、顔検出部１３が、顔検出条件記憶部１６から部分領域情報と部分領域ごとに予め設定された顔検出条件とを読み込み（ステップＳ１２）、部分領域ごとに顔検出条件に応じた顔検出処理を行う（ステップＳ１３）。
【００３１】
図６は、ステップＳ１３の顔検出処理の一具体例を示している。
【００３２】
まず、顔検出部１３が撮像部１１で撮影された画像内の初期位置（例えば、図２の（Ｘ２１、Ｙ２１））に顔検出位置を配置する（ステップＳ２１）。
【００３３】
次に、顔検出部１３が、顔検出位置の座標と部分領域情報とを比較することによって、顔検出位置が属する部分領域を特定する（ステップＳ２２）。そして、顔検出部１３は、特定された部分領域に設定されている顔サイズ条件に基づいて、当該顔検出位置に適用する顔検出ウィンドウを選択する。
【００３４】
顔検出ウィンドウとは、検出対象とする顔の大きさを規定するものである（つまり、顔検出ウィンドウと同程度の大きさの顔だけが検出され、顔検出ウィンドウよりも明らかに小さい顔や大きい顔は検出されない。）。本実施形態の顔検出部１３は、様々な大きさの顔に対応するため、図２に示すようにサイズの異なる複数種類の顔検出ウィンドウ２４ａ〜２４ｉを有している。ただし、顔検出部１３は、画像全体に対して全ての顔検出ウィンドウを一律に適用するのではなく、顔サイズ条件に従って、適用する顔検出ウィンドウを部分領域ごとに変えるのである。図２の例では、顔検出位置が部分領域２１にある場合は「小」顔用の顔検出ウィンドウ２４ａ〜２４ｃが選択され、顔検出位置が部分領域２２にある場合は「中」顔用の顔検出ウィンドウ２４ｄ〜２４ｆが選択され、顔検出位置が部分領域２３にある場合は「大」顔用の顔検出ウィンドウ２４ｇ〜２４ｉが選択される。
【００３５】
そして、顔検出部１３は、ステップＳ２２で選択された顔検出ウィンドウの内のいずれかを顔検出位置に設定し（ステップＳ２３）、顔検出処理を実行する（ステップＳ２４）。次に、顔検出部１３は、ステップＳ２２で選択された複数の顔検出ウィンドウの内、顔検出処理に用いられていない顔検出ウィンドウがあるかどうかを判断する（ステップＳ２５）。他の顔検出ウィンドウがあるとされた場合（ステップＳ２５；ＹＥＳ）、顔検出位置にその顔検出ウィンドウを設定し（ステップＳ２３）、顔検出処理を実行する（ステップＳ２４）。ステップＳ２２で選択された全ての顔検出ウィンドウについて顔検出処理が行われたら（ステップＳ２５；ＮＯ）、当該顔検出位置についての処理を終了し、ステップＳ２６に進む。
【００３６】
ステップＳ２６では、顔検出部１３は次の顔検出位置があるかどうかを判定し、次の顔
検出位置がある場合（ステップＳ２６；ＹＥＳ）、顔検出位置を次の顔検出位置へ移動させる（ステップＳ２７）。そして、次の顔検出位置についても、部分領域に応じた適切なサイズの顔検出ウィンドウを用いて顔検出処理が行われる（ステップＳ２２〜Ｓ２５）。次の顔検出位置が無くなるまで（画像の最後に到達するまで）ステップＳ２２〜Ｓ２５の工程を繰り返す（ステップＳ２６）。なお、顔検出位置の移動量と移動経路２５は予め顔検出部１３にプログラムしておけばよい（図２は、顔検出位置が１画素ずつＸ方向に移動し、行の最後に到達したら１画素Ｙ方向に移動する例を示している。）。
【００３７】
次に、顔検出部１３の顔検出処理結果が結果記憶部１５に格納される（図５のステップＳ１４）。結果記憶部１５に格納される顔検出処理結果は、顔検出処理に用いた画像及びその撮影時刻と、検出された顔の数とその位置座標の情報が好ましい。ユーザは、目的に応じた撮影時刻と顔検出処理結果の表示方法とを入力することで、顔検出処理結果を表示部１４で確認することができる。前記表示方法は入力された撮影時刻の総顔検出数であってもよいし、前記撮影時刻に撮影された画像を表示し、前記顔検出位置に印を付けるなどであってもよい。なお、本実施形態では顔検出処理（ステップＳ１３）後に顔検出処理結果を結果記憶部１５に格納しているが、顔検出処理中（例えばステップＳ２４の後）に顔検出処理結果を結果記憶部１５に格納してもよい。
【００３８】
以上述べたように、本実施形態では、画像上部の部分領域２１では３つの顔検出ウィンドウ２４ａ〜２４ｃのみが用いられ、それ以外の顔検出ウィンドウ２４ｄ〜２４ｉによる顔検出処理は省略される。同様に、部分領域２２では、顔検出ウィンドウ２４ａ〜２４ｃ及び２４ｇ〜２４ｉによる顔検出処理が省略され、部分領域２３では、顔検出ウィンドウ２４ａ〜２４ｆによる顔検出処理が省略される。そのため、図７のように画像全体について全ての顔検出ウィンドウ２４ａ〜２４ｉを用いるのに比べて、顔検出処理の効率化（演算量の削減）を図ることができる。また、部分領域ごとに予め適切な顔サイズ条件を設定することにより、あり得ない大きさの顔をはじめから排除できるため、誤検出の低減が期待できる。
【００３９】
なお、本実施形態の顔検出ウィンドウの切替え方法は、顔検出位置ごとに顔検出ウィンドウの切替えを行っているが、１つの顔検出ウィンドウで１つの部分領域全体の顔検出処理を行った後に顔検出位置をその部分領域の初期位置に移し、顔検出ウィンドウの切替えを行ってもよい。
【００４０】
＜第２の実施形態＞
第２の実施形態では、Ｔ字型の通路の交差位置に撮像部１１があり、撮像部１１の前方向と左右方向には通路があるという状況下での顔検出装置について述べる（図８）。この状況下で、撮像部１１が撮影する画像は、第１の実施形態と同様に画像下部ほど大きい顔が写る傾向にある。更に、画像上部では前方の通路を通る人が写るため、正面向きの顔が多く写り、画像中部では前方の通路と左右の通路との交差位置付近を通る人が写るため、左右斜め向きの顔が多く写り、画像下部では左右の通路を通る人が写るため、左右向きの顔が多く写る傾向にある（図９）。このような傾向に着目し、本実施形態における顔検出処理は、部分領域ごとに検出対象とする顔の大きさと向きを変える。
【００４１】
以下、第１の実施形態と異なる構成及び処理を中心に説明する。
【００４２】
＜装置構成＞
本実施形態の顔検出部１３は図１０のように複数種類の顔検出器３５ａ〜３５ｅを有する。
【００４３】
ここで、顔検出器３５ａ〜３５ｅは、それぞれ異なる顔向きに対応する顔検出器である
。顔検出器３５ａは正面顔用の顔検出器であり、正面向き（例えば、真正面を０°とし、そこから左右に±１０°の顔向き）の顔の検出に特化した顔検出器である。これは、学習用の教師画像として正面向きの顔画像のみを用いたり、あるいは正面顔専用の検出アルゴリズムを採用したりすることで実現できる。同様に、顔検出器３５ｂは右斜め向きの顔の検出に特化した右斜め顔用の顔検出器であり、顔検出器３５ｃは左斜め顔用の顔検出器、顔検出器３５ｄは右顔用の顔検出器、顔検出器３５ｅは左顔用の顔検出器である。
【００４４】
次に、本実施形態における部分領域情報と顔検出条件の一例を図１１に示す。上述したように、本実施形態の撮像部１１で撮影される画像は図９のように画像下部ほど大きい顔が写る傾向にあり、更に、画像上部では前方の通路を通る人が写るため、正面向きの顔が多く写り、画像中部では前方の通路と左右の通路との交差位置付近を通る人が写るため、左右斜め向きの顔が多く写り、画像下部では左右の通路を通る人が写るため、左右向きの顔が多く写る傾向にある。そこで、図１１の例では、部分領域情報として、画像全体を「画像上部」、「画像中部」、「画像下部」という３つの部分領域３１〜３３に区分する情報を設定する（ここでの部分領域の定義は第１の実施形態と同様である）。また、顔検出条件として、顔サイズ条件と検出対象とする顔の向きを定める顔向き条件とを設定する（ここでは画像上部の部分領域３１に「小」と「正面」、画像中部の部分領域３２に「中」と「斜め」、画像下部の部分領域３３に「大」と「左右」という顔サイズ条件と顔向き条件とが設定されている。）。なお、顔向き条件は、第１の実施形態で述べた顔サイズ条件と同様に「正面」、「斜め」、「左右」のような属性でもよいし、顔の向きに対応する数値でもよいし、顔検出器の識別子などでもよい。
【００４５】
＜顔検出機能＞
本実施形態の顔検出装置の機能はステップＳ１３の顔検出処理を除いて第１の実施形態と同様であるため、その記述を省略し、ここでは図１２のフローチャートに沿って、本実施形態の顔検出処理（ステップＳ１３）について詳しく説明する。
【００４６】
まず、顔検出部１３が撮像部１１で撮影された画像内の初期位置に顔検出位置を配置する（ステップＳ３１）。
【００４７】
次に、顔検出部１３が、顔検出位置の座標と部分領域情報とを比較することによって、顔検出位置が属する部分領域を特定する（ステップＳ３２）。そして、顔検出部１３は、特定された部分領域に設定されている顔サイズ条件と顔向き条件とに基づいて、当該顔検出位置に適用する顔検出ウィンドウと顔検出器とを選択する。
【００４８】
前述したように、本実施形態の顔検出部１３は、サイズの異なる複数種類の顔検出ウィンドウ３４ａ〜３４ｉの他に、異なる顔向きに対応する複数種類の顔検出器３５ａ〜３５ｅを有している。ただし、顔検出部１３は、画像全体に対して全ての顔検出ウィンドウと顔検出器を一律に適用するのではなく、顔サイズ条件と顔向き条件に従って、適用する顔検出ウィンドウと顔検出器を部分領域ごとに変えるのである。図９の例では、顔検出位置が部分領域３１にある場合は「小」顔用の顔検出ウィンドウ３４ａ〜３４ｃと「正面」顔用の顔検出器３５ａとが選択され、顔検出位置が部分領域３２にある場合は「中」顔用の顔検出ウィンドウ３４ｄ〜３４ｆと「斜め」顔用の顔検出器３５ｂ及び３５ｃとが選択され、顔検出位置が部分領域３３にある場合は「大」顔用の顔検出ウィンドウ３４ｇ〜３４ｉと「左右」顔用の顔検出器３５ｄ及び３５ｅとが選択される。
【００４９】
そして、顔検出部１３は、ステップＳ３２で選択された顔検出ウィンドウと顔検出器の組み合わせの内、いずれかを顔検出位置に設定し（ステップＳ３３）、顔検出処理を実行する（ステップＳ３４）。次に、顔検出部１３は、ステップＳ３２で選択された複数の顔検出器の内、顔検出処理に用いられていない顔検出器があるかどうかを判断する（ステッ
プＳ３５）。他の顔検出器があるとされた場合（ステップＳ３５；ＹＥＳ）、顔検出位置にその顔検出器を設定し（ステップＳ３３）、顔検出処理を実行する（ステップＳ３４）。ステップＳ３２で選択された全ての顔検出器について顔検出処理が行われたら（ステップＳ３５；ＮＯ）、ステップＳ３２で選択された複数の顔検出ウィンドウの内、顔検出処理に用いられていない顔検出ウィンドウがあるかどうかを判断する（ステップＳ３６）。ステップＳ３２で選択された顔検出ウィンドウと顔検出器の全ての組み合わせについて顔検出処理が行われたら（ステップＳ３６；ＮＯ）、当該顔検出位置についての処理を終了し、ステップＳ３７に進む。
【００５０】
ステップＳ３７では、顔検出部１３は次の顔検出位置があるかどうかを判定し、次の顔検出位置がある場合（ステップＳ３７；ＹＥＳ）、顔検出位置を次の顔検出位置へ移動させる（ステップＳ３８）。そして、次の顔検出位置についても、部分領域に応じた適切なサイズの顔検出ウィンドウ及び適切な顔向きの顔検出器を用いて顔検出処理が行われる（ステップＳ３２〜Ｓ３６）。次の顔検出位置が無くなるまで（画像の最後に到達するまで）ステップＳ３２〜Ｓ３６の工程を繰り返す（ステップＳ３７）。
【００５１】
以上述べたように、本実施形態では、画像上部の部分領域３１では３つの顔検出ウィンドウ３４ａ〜３４ｃと１つの顔検出器３５ａのみが用いられ、それ以外の顔検出ウィンドウ３４ｄ〜３４ｉと顔検出器３５ｂ〜３５ｅとによる顔検出処理は省略される。同様に、部分領域３２では、顔検出ウィンドウ３４ａ〜３４ｃ及び３４ｇ〜３４ｉと顔検出器３５ａ及び３５ｄ、３５ｅとによる顔検出処理が省略され、部分領域３３では、顔検出ウィンドウ３４ａ〜３４ｆと顔検出器３５ａ〜３５ｃとによる顔検出処理が省略される。そのため、画像全体について全ての顔検出ウィンドウ３４ａ〜３４ｉと顔検出器３５ａ〜３５ｅを用いるのに比べて、顔検出処理の効率化（演算量の削減）を図ることができる。また、部分領域ごとに予め適切な顔向き条件を設定することにより、検出精度の向上及び誤検出の低減が期待できる。
【００５２】
なお、本実施形態の部分領域情報は顔サイズ条件と顔向き条件とで共通の部分領域を設定しているが、それぞれ独立した部分領域を設定してもよい。また、顔検出ウィンドウ及び顔検出器の切替え方法は、顔検出位置ごとに顔検出ウィンドウ及び顔検出器の切替えを行っているが、一組の顔検出ウィンドウと顔検出器で１つの部分領域全体の顔検出処理を行った後に顔検出位置をその部分領域の初期位置に移し、顔検出ウィンドウの切替えを行ってもよい。
【００５３】
＜第３の実施形態＞
第３の実施形態では、撮像部１１が屋内から屋外を向くように設置してあり、撮像部１１で撮影される画像には屋内と屋外の両方が写るという状況下での顔検出装置について述べる（図１３）。この状況下で、撮像部１１が撮影する画像は、第１の実施形態と同様に画像下部ほど大きい顔が写る傾向にある。更に、図１４のように、屋内にある顔と屋外にある顔とで照明環境が異なる傾向にある（例えば、屋外が屋内より明るい場合、屋外の顔は明るく写り、屋内の顔は逆光により暗く写るなど）。このような傾向に着目し、本実施形態における顔検出処理は、部分領域ごとに検出対象とする顔の大きさと照明環境を変える。
【００５４】
以下、第１の実施形態と異なる構成及び処理を中心に説明する。
【００５５】
＜装置構成＞
本実施形態の顔検出部１３は図１５のように複数種類の顔検出器４５ａ〜４５ｅを有する。
【００５６】
ここで、顔検出器４５ａ〜４５ｅは、それぞれ異なる照明環境に対応する顔検出器である。顔検出器４５ａは明るい顔用の顔検出器であり、明るい照明環境下の顔の検出に特化した顔検出器である。これは、学習用の教師画像として明るい照明環境下の顔画像のみを用いたり、あるいは明るい顔専用の検出アルゴリズムを採用したりすることで実現できる。同様に、顔検出器４５ｂはやや明るい照明環境下の顔の検出に特化したやや明るい顔用の顔検出器であり、顔検出器４５ｃは普通の顔用の顔検出器、顔検出器４５ｄはやや暗い顔用の顔検出器、顔検出器４５ｅは暗い顔用の顔検出器である。
【００５７】
次に、本実施形態における部分領域情報と顔検出条件の一例を図１６に示す。上述したように、本実施形態の撮像部１１で撮影される画像は図１４のように画像下部ほど大きい顔が写る傾向にあり、更に、屋内にある顔と屋外にある顔とで照明環境が異なる傾向にある。そこで、図１６の例では、部分領域情報として、画像全体を「画像上部」、「画像中部」、「画像下部」という３つの部分領域４１〜４３に区分する情報を設定する（ここでの部分領域の定義は第１の実施形態と同様である）。また、顔検出条件として、顔サイズ条件と検出対象とする顔の照明環境を定める照明条件とを設定する（ここでは画像上部の部分領域４１に「小」と「明るい」、画像中部の部分領域４２に「中」と「暗い」、画像下部の部分領域４３に「大」と「暗い」という顔サイズ条件と照明条件とが設定されている。）。なお、照明条件は、第１の実施形態で述べた顔サイズ条件と同様に「明るい」、「暗い」のような属性でもよいし、照明環境に対応する数値でもよいし、顔検出器の識別子などでもよい。
【００５８】
＜顔検出機能＞
本実施形態の顔検出装置の機能はステップＳ１３の顔検出処理を除いて第１の実施形態と同様であるため、その記述を省略し、ここでは図１２のフローチャートに沿って、本実施形態の顔検出処理（ステップＳ１３）について詳しく説明する。
【００５９】
まず、顔検出部１３が撮像部１１で撮影された画像内の初期位置に顔検出位置を配置する（ステップＳ３１）。
【００６０】
次に、顔検出部１３が、顔検出位置の座標と部分領域情報とを比較することによって、顔検出位置が属する部分領域を特定する（ステップＳ３２）。そして、顔検出部１３は、特定された部分領域に設定されている顔サイズ条件と照明条件とに基づいて、当該顔検出位置に適用する顔検出ウィンドウと顔検出器とを選択する。
【００６１】
前述したように、本実施形態の顔検出部１３は、サイズの異なる複数種類の顔検出ウィンドウ４４ａ〜４４ｉの他に、異なる照明環境に対応する複数種類の顔検出器４５ａ〜４５ｅを有している。ただし、顔検出部１３は、画像全体に対して全ての顔検出ウィンドウと顔検出器を一律に適用するのではなく、顔サイズ条件と照明条件に従って、適用する顔検出ウィンドウと顔検出器を部分領域ごとに変えるのである。図１４の例では、顔検出位置が部分領域４１にある場合は「小」顔用の顔検出ウィンドウ４４ａ〜４４ｃと「明るい」顔用の顔検出器４５ａ及び４５ｂとが選択され、顔検出位置が部分領域４２にある場合は「中」顔用の顔検出ウィンドウ４４ｄ〜４４ｆと「暗い」顔用の顔検出器４５ｄ及び４５ｅとが選択され、顔検出位置が部分領域４３にある場合は「大」顔用の顔検出ウィンドウ４４ｇ〜４４ｉと「暗い」顔用の顔検出器４５ｄ及び４５ｅとが選択される。
【００６２】
そして、顔検出部１３は、ステップＳ３２で選択された顔検出ウィンドウと顔検出器の組み合わせの内、いずれかを顔検出位置に設定し（ステップＳ３３）、顔検出処理を実行する（ステップＳ３４）。次に、顔検出部１３は、ステップＳ３２で選択された複数の顔検出器の内、顔検出処理に用いられていない顔検出器があるかどうかを判断する（ステップＳ３５）。他の顔検出器があるとされた場合（ステップＳ３５；ＹＥＳ）、顔検出位置
にその顔検出器を設定し（ステップＳ３３）、顔検出処理を実行する（ステップＳ３４）。ステップＳ３２で選択された全ての顔検出器について顔検出処理が行われたら（ステップＳ３５；ＮＯ）、ステップＳ３２で選択された複数の顔検出ウィンドウの内、顔検出処理に用いられていない顔検出ウィンドウがあるかどうかを判断する（ステップＳ３６）。ステップＳ３２で選択された顔検出ウィンドウと顔検出器の全ての組み合わせについて顔検出処理が行われたら（ステップＳ３６；ＮＯ）、当該顔検出位置についての処理を終了し、ステップＳ３７に進む。
【００６３】
ステップＳ３７では、顔検出部１３は次の顔検出位置があるかどうかを判定し、次の顔検出位置がある場合（ステップＳ３７；ＹＥＳ）、顔検出位置を次の顔検出位置へ移動させる（ステップＳ３８）。そして、次の顔検出位置についても、部分領域に応じた適切なサイズの顔検出ウィンドウ及び適切な顔向きの顔検出器を用いて顔検出処理が行われる（ステップＳ３２〜Ｓ３６）。次の顔検出位置が無くなるまで（画像の最後に到達するまで）ステップＳ３２〜Ｓ３６の工程を繰り返す（ステップＳ３７）。
【００６４】
以上述べたように、本実施形態では、画像上部の部分領域４１では３つの顔検出ウィンドウ４４ａ〜４４ｃと２つの顔検出器４５ａ及び４５ｂのみが用いられ、それ以外の顔検出ウィンドウ４４ｄ〜４４ｉと顔検出器４５ｃ〜４５ｅとによる顔検出処理は省略される。同様に、部分領域４２では、顔検出ウィンドウ４４ａ〜４４ｃ及び４４ｇ〜４４ｉと顔検出器４５ａ〜４５ｃとによる顔検出処理が省略され、部分領域４３では、顔検出ウィンドウ４４ａ〜４４ｆと顔検出器４５ａ〜４５ｃとによる顔検出処理が省略される。そのため、画像全体について全ての顔検出ウィンドウ４４ａ〜４４ｉと顔検出器４５ａ〜４５ｅを用いるのに比べて、顔検出処理の効率化（演算量の削減）を図ることができる。また、部分領域ごとに予め適切な照明条件を設定することにより、検出精度の向上及び誤検出の低減が期待できる。
【００６５】
なお、本実施形態の部分領域情報は顔サイズ条件と照明条件とで共通の部分領域を設定しているが、それぞれ独立した部分領域を設定してもよい。また、顔検出ウィンドウ及び顔検出器の切替え方法は、顔検出位置ごとに顔検出ウィンドウ及び顔検出器の切替えを行っているが、一組の顔検出ウィンドウと顔検出器で１つの部分領域全体の顔検出処理を行った後に顔検出位置をその部分領域の初期位置に移し、顔検出ウィンドウの切替えを行ってもよい。
【００６６】
＜第４の実施形態＞
第４の実施形態では、図１７のように撮像部１１で撮影された画像に写る範囲で前方と左右に壁があるという状況下での顔検出装置について述べる（前方の壁は行き止まりである必要は無く、Ｔ字型の通路の様に左右に通路があってもよい）。この状況下で、撮像部１１が撮影する画像は、第１の実施形態と同様に画像下部ほど大きい顔が写る傾向にある。更に、図１８のように、撮像部１１が撮影する画像の一部（例えば、前述した左右の壁及び前側の壁など）に顔の写り得ない領域を有する傾向にある。このような傾向に着目し、本実施形態における顔検出処理は、部分領域ごとに検出対象とする顔の大きさと顔検出処理を行うか否かを変える。
【００６７】
以下、第１の実施形態と異なる構成及び処理を中心に説明する。
【００６８】
本実施形態における部分領域情報と顔検出条件の一例を図１９に示す。上述したように、本実施形態の撮像部１１で撮影される画像は図１８のように画像下部ほど大きい顔が写る傾向にあり、更に、撮像部１１が撮影する画像の一部に顔の写り得ない領域を有する傾向にある。そこで、図１９の例では、部分領域情報として、画像全体を「画像左上部」、「画像右上部」、「画像上部」、「画像中部」、「画像下部」という５つの部分領域５１
〜５５に区分する情報を設定する（ここでの部分領域の定義は第１の実施形態と同様である）。また、顔検出条件として、顔サイズ条件と顔検出処理を行うか否かを定める顔検出処理実行の有無条件とを設定する（ここでは画像左上部と画像右上部、画像上部の部分領域５１〜５３に「未設定」と「顔検出処理実行無し」、画像中部の部分領域５４に「中」と「顔検出処理実行有り」、画像下部の部分領域５５に「大」と「顔検出処理実行有り」という顔サイズ条件と顔検出処理実行の有無条件とが設定されている。）。なお、顔検出処理実行の有無条件は、第１の実施形態で述べた顔サイズ条件と同様に「顔検出処理実行無し」、「顔検出処理実行有り」のような属性でもよいし、顔検出処理を行うか否かに対応する数値でもよい。
【００６９】
＜顔検出機能＞
本実施形態の顔検出装置の機能はステップＳ１３の顔検出処理を除いて第１の実施形態と同様であるため、その記述を省略し、ここでは図２０のフローチャートに沿って、本実施形態の顔検出処理（ステップＳ１３）について詳しく説明する。
【００７０】
まず、顔検出部１３が撮像部１１で撮影された画像内の初期位置に顔検出位置を配置する（ステップＳ５１）。
【００７１】
次に、顔検出部１３が、顔検出位置の座標と部分領域情報とを比較することによって、顔検出位置が属する部分領域を特定する（ステップＳ５２）。そして、顔検出部１３は、特定された部分領域に設定されている顔サイズ条件と顔検出処理実行の有無条件とに基づいて、当該顔検出位置に適用する顔検出ウィンドウと顔検出処理を行うか否かを選択する。
【００７２】
本実施形態の顔検出部１３は、サイズの異なる複数種類の顔検出ウィンドウ５６ａ〜５６ｆを有している。ただし、顔検出部１３は、画像全体に対して全ての顔検出ウィンドウを一律に適用するのではなく、顔サイズ条件と顔検出処理実行の有無条件に従って、適用する顔検出ウィンドウと顔検出処理を行うか否かを部分領域ごとに変えるのである。図１８の例では、顔検出位置が部分領域５１〜５３にある場合、顔検出ウィンドウは選択されず、当該顔検出位置での顔検出処理は行われない。顔検出位置が部分領域５４にある場合は「中」顔用の顔検出ウィンドウ５６ａ〜５６ｃが選択され、当該顔検出位置での顔検出処理が行われる。そして、顔検出位置が部分領域５５にある場合は「大」顔用の顔検出ウィンドウ５６ｄ〜５６ｆが選択され、当該顔検出位置での顔検出処理が行われる。
【００７３】
そして、顔検出部１３はステップＳ５３で顔検出処理を行うか否かを判定する。「顔検出処理実行有り」とされた場合（ステップＳ５３；ＹＥＳ）、ステップＳ５４に進み、当該顔検出位置での処理を続け、「顔検出処理実行無し」とされた場合（ステップＳ５３；ＮＯ）、当該顔検出位置についての処理を終了し、ステップＳ５７に進む。
【００７４】
次に、顔検出部１３はステップＳ５２で選択された顔検出ウィンドウの内、いずれかを顔検出位置に設定し（ステップＳ５４）、顔検出処理を実行する（ステップＳ５５）。次に、顔検出部１３は、ステップＳ５２で選択された複数の顔検出ウィンドウの内、顔検出処理に用いられていない顔検出ウィンドウがあるかどうかを判断する（ステップＳ５６）。他の顔検出ウィンドウがあるとされた場合（ステップＳ５６；ＹＥＳ）、顔検出位置にその顔検出ウィンドウを設定し（ステップＳ５４）、顔検出処理を実行する（ステップＳ５５）。ステップＳ５２で選択された全ての顔検出ウィンドウについて顔検出処理が行われたら（ステップＳ５６；ＮＯ）、当該顔検出位置についての処理を終了し、ステップＳ５７に進む。
【００７５】
ステップＳ５７では、顔検出部１３は次の顔検出位置があるかどうかを判定し、次の顔
検出位置がある場合（ステップＳ５７；ＹＥＳ）、顔検出位置を次の顔検出位置へ移動させる（ステップＳ５８）。そして、次の顔検出位置についても、顔検出処理を行うか否かを判定し、「顔検出処理実行有り」とされた場合、部分領域に適切なサイズの顔検出ウィンドウを用いて顔検出処理が行われる（ステップＳ５２〜Ｓ５６）。次の顔検出位置が無くなるまで（画像の最後に到達するまで）ステップＳ５２〜Ｓ５６の工程を繰り返す（ステップＳ５７）。
【００７６】
以上述べたように、本実施形態では、画像左上部、画像右上部、画像上部の部分領域５１〜５３では顔検出処理は省略される。画像中部の部分領域５４では３つの顔検出ウィンドウ５６ａ〜５６ｃのみが用いられ、それ以外の顔検出ウィンドウ５６ｄ〜５６ｆによる顔検出処理は省略される。同様に、部分領域５５では、顔検出ウィンドウ５６ａ〜５６ｃによる顔検出処理が省略される。そのため、画像全体について全ての顔検出ウィンドウ５６ａ〜５６ｆを用いるのに比べて、顔検出処理の効率化（演算量の削減）を図ることができる。また、部分領域ごとに予め適切な顔検出処理実行の有無条件を設定することにより、あり得ない位置の顔をはじめから排除できるため、誤検出の低減が期待できる。
【００７７】
また、上記４つの実施形態はそれぞれ異なる顔検出条件に応じた顔検出処理の一例を示したものであるが、本発明は上記実施形態における４つの顔検出条件のうち少なくとも１つに応じた顔検出処理を行う。
【００７８】
なお、上記実施形態の顔検出条件記憶部に記憶されている情報は、時刻に応じて変化するように設定できることが好ましい。例えば、第３の実施形態のように画像中に屋内と屋外が写っている場合、日中と夜間では屋内と屋外の照明環境は異なる。この場合、屋外部分の照明条件としては「日中；明るい」、「夜間；暗い」などを設定すればよく、屋内部分の照明条件としては「日中；暗い」、「夜間；明るい」などを設定すればよいと考えられる。
【００７９】
なお、第１〜４の実施形態は、それぞれ、画像の部分領域ごとに予め検出される顔の大きさが決まっている場合、予め検出される顔の向きが決まっている場合、予め検出される顔の照明環境が決まっている場合、予め顔検出を行う領域が決まっている場合に好ましく適用できる。例えば、第３の実施形態では屋内と屋外の照明環境の違いを想定した例を挙げているが、画像の一部が照明で照らされている場合などにも好ましく適用できる。また、第４の実施形態では「顔が写り得ない領域」に「顔検出処理無し」を設定しているが、人がいる領域であっても「大勢の人の内、一部分の領域にいる人はカウントしない」という場合などに好ましく適用できる。
【図面の簡単な説明】
【００８０】
【図１】図１は、第１の実施形態における撮像部の設置様態を示す図である。
【図２】図２は、第１の実施形態における撮像部で撮影される画像とその画像の顔検出処理を示す図である。
【図３】図３は、顔検出装置の機能構成を示すブロック図である。
【図４】図４は、第１の実施形態における部分領域情報と顔検出条件（顔サイズ条件）の一例を示す図である。
【図５】図５は、顔検出装置の処理の流れを示すフローチャートである。
【図６】図６は、第１の実施形態における顔検出処理の流れを示すフローチャートである。
【図７】図７は、画像全体について全ての顔検出ウィンドウを用いた顔検出処理を示す図である。
【図８】図８は、第２の実施形態における撮像部の設置様態を示す図である。
【図９】図９は、第２の実施形態における撮像部で撮影される画像とその画像の顔検出処理を示す図である。
【図１０】図１０は、第２の実施形態における顔検出部と顔検出器とを示すブロック図である。
【図１１】図１１は、第２の実施形態における部分領域情報と顔検出条件（顔サイズ条件及び顔向き条件）の一例を示す図である。
【図１２】図１２は、第２の実施形態及び第３の実施形態における顔検出処理の流れを示すフローチャートである。
【図１３】図１３は、第３の実施形態における撮像部の設置様態を示す図である。
【図１４】図１４は、第３の実施形態における撮像部で撮影される画像とその画像の顔検出処理を示す図である。
【図１５】図１５は、第３の実施形態における顔検出部と顔検出器とを示すブロック図である。
【図１６】図１６は、第３の実施形態における部分領域情報と顔検出条件（顔サイズ条件及び照明条件）の一例を示す図である。
【図１７】図１７は、第４の実施形態における撮像部の設置様態を示す図である。
【図１８】図１８は、第４の実施形態における撮像部で撮影される画像とその画像の顔検出処理を示す図である。
【図１９】図１９は、第４の実施形態における部分領域情報と顔検出条件（顔サイズ条件及び顔検出処理実行の有無条件）の一例を示す図である。
【図２０】図２０は、第４の実施形態における顔検出処理の流れを示すフローチャートである。
【符号の説明】
【００８１】
１１ 撮像部
１２ 画像記憶部
１３ 顔検出部
１４ 表示部
１５ 結果記憶部
１６ 顔検出条件記憶部
２１〜２３，３１〜３３，４１〜４３，５１〜５５ 部分領域
２４ａ〜２４ｉ，３４ａ〜３４ｉ，４４ａ〜４４ｉ，５６ａ〜５６ｆ 顔検出ウィンドウ
２５ 移動経路
３５，４５ 顔検出器
【技術分野】
【０００１】
本発明は、画像から顔を検出する顔検出装置に関する。
【背景技術】
【０００２】
画像から顔を検出する顔検出装置は、顔を精度よく検出することが望まれている。
【０００３】
このような課題に鑑みた従来技術として、入力画像から算出した顔との想定距離と距離センサにより測定した測定距離とを比較して顔か非顔かの判定を行う対象物検出装置がある（特許文献１参照）。
【０００４】
しかし、この装置は顔検出部の他に距離センサを必要とするため、装置構成が大掛かりになり、装置コストも増加する。更に、顔検出処理に前記距離センサにより測定した測定距離の情報を用いるため、処理負荷は増加する。
【０００５】
一方、２台のカメラで撮影された画像を三次元復元する画像処理装置がある（特許文献２参照）。この装置は、前記画像の三次元情報を用いて顔を検出する。
【０００６】
しかし、この装置は２台のカメラを必要とするため、装置構成が大掛かりになり、装置コストも増加する。更に、前記画像の三次元情報を用いるため、処理負荷は増加する。
【特許文献１】特開２００５−７８３７６号公報
【特許文献２】特開２００５−３０１８３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、簡易な構成で、高精度な顔検出処理を効率的に実行するための技術を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は、以下の構成を採用する。
【０００９】
本発明に係る顔検出装置は、撮像手段と、前記撮像手段で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとに予め設定された顔検出条件とを記憶する顔検出条件記憶手段と、前記画像から顔を検出する顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔検出条件に該当しない顔検出処理を省略する顔検出手段と、を備える。
【００１０】
本発明では部分領域ごとに異なる顔検出条件を設定しておくことができる。本発明の顔検出処理は、部分領域ごとに予め設定された顔検出条件を用いるので、画像全体を同一条件で行う顔検出処理よりも精度の向上が期待できる。更に、本発明の顔検出処理は、部分領域ごとに設定された顔検出条件に該当しない顔検出処理を省略できるので、画像全体を全ての条件で行う顔検出処理よりも効率化できる。また、従来技術は距離センサや２台目のカメラが必要であったのに対し、本発明は付加機器を必要としないため、簡易な構成である。
【００１１】
ここで、顔検出条件は、検出対象とする顔の大きさを定める顔サイズ条件、検出対象とする顔の向きを定める顔向き条件、照明条件など、様々な条件を選ぶことができる。
【００１２】
前記顔サイズ条件を部分領域ごとに設定することにより、あり得ない大きさの顔をはじめから排除できるため、誤検出の低減が期待できる。具体的には、前記顔検出手段は、異なる顔の大きさに対応する複数の顔検出ウィンドウを有しており、前記画像から顔検出ウィンドウを用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔サイズ条件に応じた顔検出ウィンドウによる顔検出処理を行うとよい。これにより、顔検出処理は、部分領域ごとに設定された顔サイズ条件に応じた顔検出ウィンドウ以外の顔検出ウィンドウによる顔検出処理を省略できるため、画像全体について全ての顔検出ウィンドウで行う顔検出処理よりも効率化できる。
【００１３】
前記顔向き条件を部分領域ごとに設定することにより、検出精度の向上及び誤検出の低減が期待できる。具体的には、前記顔検出手段は、異なる顔向きに対応する複数の顔検出器を有しており、前記画像から顔検出器を用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔向き条件に応じた顔検出器を用いて顔検出処理を行うとよい。これにより、顔検出処理は、部分領域ごとに設定された顔向き条件に応じた顔検出器以外の顔検出器による顔検出処理を省略できるため、画像全体について全ての顔検出器を用いて行う顔検出処理よりも効率化できる。
【００１４】
前記照明条件を部分領域ごとに設定することにより、検出精度の向上及び誤検出の低減が期待できる。具体的には、前記顔検出手段は、異なる照明環境に対応する複数の顔検出器を有しており、前記画像から顔検出器を用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された照明条件に応じた顔検出器を用いて顔検出処理を行うとよい。これにより、顔検出処理は、部分領域ごとに設定された照明条件に応じた顔検出器以外の顔検出器による顔検出処理を省略できるため、画像全体について全ての顔検出器を用いて行う顔検出処理よりも効率化できる。
【００１５】
本発明は、上記顔検出条件のうちいずれか１つの顔検出条件に応じて顔検出処理を行ってもよいし、２つ以上の顔検出条件の組み合わせに応じて顔検出処理を行ってもよい。複数の顔検出条件を組み合わせれば、更に絞り込まれた条件で顔検出処理が行えるので、顔検出処理の効率化は向上する。
【００１６】
また、本発明は、上記手段の少なくとも一部を有する顔検出装置として捉えてもよいし、上記処理の少なくとも一部を含む顔検出方法、または、かかる方法を実現するための顔検出プログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
【発明の効果】
【００１７】
本発明によれば、画像中の部分領域ごとに顔検出条件を予め設定でき、付加機器を必要としないため、簡易な構成で、高精度な顔検出処理を効率的に実行することが可能である。
【発明を実施するための最良の形態】
【００１８】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。
【００１９】
＜第１の実施形態＞
第１の実施形態では、本発明を通行人や侵入者などを監視するための監視装置に適用した例を挙げる。この種の監視装置では図１のように撮像部１１が人の頭より高い位置の天井や壁などに固定されており、監視エリアを俯瞰するような撮影画像を得ることが多い。この状況下で、撮像部１１が撮影する画像は図２のように画像上部の顔は小さく写り、画像下部の顔は大きく写る傾向にある。このような傾向に着目し、本実施形態における顔検
出処理は撮像部１１で撮影された画像を複数の部分領域に区分し、部分領域ごとに検出対象とする顔の大きさを変える。なお、本発明は本実施形態の監視装置のような固定カメラに好ましく適用することができるが、本発明は固定カメラに限らず、あらゆる撮影装置に適用することが可能である。
【００２０】
＜装置構成＞
図３は本発明の実施形態に係る顔検出装置の機能構成を示すブロック図である。顔検出装置は、概略、撮像部１１、画像記憶部１２、顔検出部１３、表示部１４、結果記憶部１５、顔検出条件記憶部１６を備えている。本実施形態では、これらの機能要素は、コンピュータの演算処理装置がソフトウエア（プログラム）を実行し、必要に応じてカメラ、メモリ、ディスプレイなどのハードウエア資源を制御することで実現される。ただし、これらの機能要素を専用のチップで構成しても構わない。
【００２１】
撮像部１１としては、光学系と撮像素子（ＣＣＤ、ＣＭＯＳセンサなど）を備えるデジタルカメラを好ましく適用できる。
【００２２】
画像記憶部１２は、処理対象となる画像を一時的に記憶する記憶装置である。この記憶装置としては、揮発性メモリや不揮発性メモリなど、どのような具体的技術が適用されてもよい。
【００２３】
顔検出部１３は、画像処理によって画像から顔を検出する顔検出処理を実行する機能である。顔検出部１３による顔検出処理は、既存のどのような技術が適用されてもよい。一例を挙げると、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出する手法、顔の器官（目、鼻、耳など）に基づくテンプレートマッチングによって顔を検出する手法、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出する手法、肌の色に近い領域を検出し、その領域を顔として検出する手法、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出する手法、などがある。
【００２４】
表示部１４としては、液晶ディスプレイなど、どのような具体的技術が適用されてもよい。
【００２５】
結果記憶部１５は、顔検出部１３による顔検出処理の結果を記憶する記憶装置である。この記憶装置としては、不揮発性メモリやハードディスクなど、どのような具体的技術が適用されてもよい。
【００２６】
顔検出条件記憶部１６は、撮像部１１で撮影された画像を複数の部分領域に区分するための部分領域情報と、部分領域ごとに予め設定された顔検出条件と、を記憶する記憶装置である。この記憶装置としては、不揮発性メモリやハードディスクなど、どのような具体的技術が適用されてもよい。
【００２７】
本実施形態における部分領域情報と顔検出条件の一例を図４に示す。上述したように、本実施形態の撮像部１１で撮影される画像は図２のように画像上部の顔は小さく写り、画像下部の顔は大きく写る傾向にある。そこで、図４の例では、部分領域情報として、画像全体を「画像上部」、「画像中部」、「画像下部」という３つの部分領域２１〜２３に区分する情報を設定する。ここでは四角形の部分領域を設定しており、部分領域は四角形の対角に位置する頂点の始点座標と終点座標の２つの座標で定義される。なお、部分領域の形は四角形でなく、多角形や円形などでもよい。部分領域情報は、部分領域の形状・位置・大きさを定義できれば、どのような形式でもよい。また、顔検出条件として、検出対象とする顔の大きさを定める顔サイズ条件を設定する（ここでは画像上部の部分領域２１に
「小」、画像中部の部分領域２２に「中」、画像下部の部分領域２３に「大」という顔サイズ条件が設定されている。）。なお、顔サイズ条件は、「大」、「中」、「小」のような属性でもよいし、顔の大きさに対応する数値でもよいし、（後述する）顔検出ウィンドウのサイズなどでもよい。
【００２８】
＜顔検出機能＞
図５及び図６のフローチャートに沿って、本実施形態の顔検出装置の機能及び処理の流れを説明する。
【００２９】
本実施形態の顔検出装置は一定の時間間隔で顔検出機能を実行する。顔検出機能が起動すると、撮像部１１で撮影された画像が、顔検出処理に用いるために取り込まれる（ステップＳ１１）。入力された画像は画像記憶部１２に撮影時刻情報と共に格納される。なお、必要に応じて、ユーザは、顔検出処理用の画像を表示部１４で確認することができる。
【００３０】
次に、顔検出部１３が、顔検出条件記憶部１６から部分領域情報と部分領域ごとに予め設定された顔検出条件とを読み込み（ステップＳ１２）、部分領域ごとに顔検出条件に応じた顔検出処理を行う（ステップＳ１３）。
【００３１】
図６は、ステップＳ１３の顔検出処理の一具体例を示している。
【００３２】
まず、顔検出部１３が撮像部１１で撮影された画像内の初期位置（例えば、図２の（Ｘ２１、Ｙ２１））に顔検出位置を配置する（ステップＳ２１）。
【００３３】
次に、顔検出部１３が、顔検出位置の座標と部分領域情報とを比較することによって、顔検出位置が属する部分領域を特定する（ステップＳ２２）。そして、顔検出部１３は、特定された部分領域に設定されている顔サイズ条件に基づいて、当該顔検出位置に適用する顔検出ウィンドウを選択する。
【００３４】
顔検出ウィンドウとは、検出対象とする顔の大きさを規定するものである（つまり、顔検出ウィンドウと同程度の大きさの顔だけが検出され、顔検出ウィンドウよりも明らかに小さい顔や大きい顔は検出されない。）。本実施形態の顔検出部１３は、様々な大きさの顔に対応するため、図２に示すようにサイズの異なる複数種類の顔検出ウィンドウ２４ａ〜２４ｉを有している。ただし、顔検出部１３は、画像全体に対して全ての顔検出ウィンドウを一律に適用するのではなく、顔サイズ条件に従って、適用する顔検出ウィンドウを部分領域ごとに変えるのである。図２の例では、顔検出位置が部分領域２１にある場合は「小」顔用の顔検出ウィンドウ２４ａ〜２４ｃが選択され、顔検出位置が部分領域２２にある場合は「中」顔用の顔検出ウィンドウ２４ｄ〜２４ｆが選択され、顔検出位置が部分領域２３にある場合は「大」顔用の顔検出ウィンドウ２４ｇ〜２４ｉが選択される。
【００３５】
そして、顔検出部１３は、ステップＳ２２で選択された顔検出ウィンドウの内のいずれかを顔検出位置に設定し（ステップＳ２３）、顔検出処理を実行する（ステップＳ２４）。次に、顔検出部１３は、ステップＳ２２で選択された複数の顔検出ウィンドウの内、顔検出処理に用いられていない顔検出ウィンドウがあるかどうかを判断する（ステップＳ２５）。他の顔検出ウィンドウがあるとされた場合（ステップＳ２５；ＹＥＳ）、顔検出位置にその顔検出ウィンドウを設定し（ステップＳ２３）、顔検出処理を実行する（ステップＳ２４）。ステップＳ２２で選択された全ての顔検出ウィンドウについて顔検出処理が行われたら（ステップＳ２５；ＮＯ）、当該顔検出位置についての処理を終了し、ステップＳ２６に進む。
【００３６】
ステップＳ２６では、顔検出部１３は次の顔検出位置があるかどうかを判定し、次の顔
検出位置がある場合（ステップＳ２６；ＹＥＳ）、顔検出位置を次の顔検出位置へ移動させる（ステップＳ２７）。そして、次の顔検出位置についても、部分領域に応じた適切なサイズの顔検出ウィンドウを用いて顔検出処理が行われる（ステップＳ２２〜Ｓ２５）。次の顔検出位置が無くなるまで（画像の最後に到達するまで）ステップＳ２２〜Ｓ２５の工程を繰り返す（ステップＳ２６）。なお、顔検出位置の移動量と移動経路２５は予め顔検出部１３にプログラムしておけばよい（図２は、顔検出位置が１画素ずつＸ方向に移動し、行の最後に到達したら１画素Ｙ方向に移動する例を示している。）。
【００３７】
次に、顔検出部１３の顔検出処理結果が結果記憶部１５に格納される（図５のステップＳ１４）。結果記憶部１５に格納される顔検出処理結果は、顔検出処理に用いた画像及びその撮影時刻と、検出された顔の数とその位置座標の情報が好ましい。ユーザは、目的に応じた撮影時刻と顔検出処理結果の表示方法とを入力することで、顔検出処理結果を表示部１４で確認することができる。前記表示方法は入力された撮影時刻の総顔検出数であってもよいし、前記撮影時刻に撮影された画像を表示し、前記顔検出位置に印を付けるなどであってもよい。なお、本実施形態では顔検出処理（ステップＳ１３）後に顔検出処理結果を結果記憶部１５に格納しているが、顔検出処理中（例えばステップＳ２４の後）に顔検出処理結果を結果記憶部１５に格納してもよい。
【００３８】
以上述べたように、本実施形態では、画像上部の部分領域２１では３つの顔検出ウィンドウ２４ａ〜２４ｃのみが用いられ、それ以外の顔検出ウィンドウ２４ｄ〜２４ｉによる顔検出処理は省略される。同様に、部分領域２２では、顔検出ウィンドウ２４ａ〜２４ｃ及び２４ｇ〜２４ｉによる顔検出処理が省略され、部分領域２３では、顔検出ウィンドウ２４ａ〜２４ｆによる顔検出処理が省略される。そのため、図７のように画像全体について全ての顔検出ウィンドウ２４ａ〜２４ｉを用いるのに比べて、顔検出処理の効率化（演算量の削減）を図ることができる。また、部分領域ごとに予め適切な顔サイズ条件を設定することにより、あり得ない大きさの顔をはじめから排除できるため、誤検出の低減が期待できる。
【００３９】
なお、本実施形態の顔検出ウィンドウの切替え方法は、顔検出位置ごとに顔検出ウィンドウの切替えを行っているが、１つの顔検出ウィンドウで１つの部分領域全体の顔検出処理を行った後に顔検出位置をその部分領域の初期位置に移し、顔検出ウィンドウの切替えを行ってもよい。
【００４０】
＜第２の実施形態＞
第２の実施形態では、Ｔ字型の通路の交差位置に撮像部１１があり、撮像部１１の前方向と左右方向には通路があるという状況下での顔検出装置について述べる（図８）。この状況下で、撮像部１１が撮影する画像は、第１の実施形態と同様に画像下部ほど大きい顔が写る傾向にある。更に、画像上部では前方の通路を通る人が写るため、正面向きの顔が多く写り、画像中部では前方の通路と左右の通路との交差位置付近を通る人が写るため、左右斜め向きの顔が多く写り、画像下部では左右の通路を通る人が写るため、左右向きの顔が多く写る傾向にある（図９）。このような傾向に着目し、本実施形態における顔検出処理は、部分領域ごとに検出対象とする顔の大きさと向きを変える。
【００４１】
以下、第１の実施形態と異なる構成及び処理を中心に説明する。
【００４２】
＜装置構成＞
本実施形態の顔検出部１３は図１０のように複数種類の顔検出器３５ａ〜３５ｅを有する。
【００４３】
ここで、顔検出器３５ａ〜３５ｅは、それぞれ異なる顔向きに対応する顔検出器である
。顔検出器３５ａは正面顔用の顔検出器であり、正面向き（例えば、真正面を０°とし、そこから左右に±１０°の顔向き）の顔の検出に特化した顔検出器である。これは、学習用の教師画像として正面向きの顔画像のみを用いたり、あるいは正面顔専用の検出アルゴリズムを採用したりすることで実現できる。同様に、顔検出器３５ｂは右斜め向きの顔の検出に特化した右斜め顔用の顔検出器であり、顔検出器３５ｃは左斜め顔用の顔検出器、顔検出器３５ｄは右顔用の顔検出器、顔検出器３５ｅは左顔用の顔検出器である。
【００４４】
次に、本実施形態における部分領域情報と顔検出条件の一例を図１１に示す。上述したように、本実施形態の撮像部１１で撮影される画像は図９のように画像下部ほど大きい顔が写る傾向にあり、更に、画像上部では前方の通路を通る人が写るため、正面向きの顔が多く写り、画像中部では前方の通路と左右の通路との交差位置付近を通る人が写るため、左右斜め向きの顔が多く写り、画像下部では左右の通路を通る人が写るため、左右向きの顔が多く写る傾向にある。そこで、図１１の例では、部分領域情報として、画像全体を「画像上部」、「画像中部」、「画像下部」という３つの部分領域３１〜３３に区分する情報を設定する（ここでの部分領域の定義は第１の実施形態と同様である）。また、顔検出条件として、顔サイズ条件と検出対象とする顔の向きを定める顔向き条件とを設定する（ここでは画像上部の部分領域３１に「小」と「正面」、画像中部の部分領域３２に「中」と「斜め」、画像下部の部分領域３３に「大」と「左右」という顔サイズ条件と顔向き条件とが設定されている。）。なお、顔向き条件は、第１の実施形態で述べた顔サイズ条件と同様に「正面」、「斜め」、「左右」のような属性でもよいし、顔の向きに対応する数値でもよいし、顔検出器の識別子などでもよい。
【００４５】
＜顔検出機能＞
本実施形態の顔検出装置の機能はステップＳ１３の顔検出処理を除いて第１の実施形態と同様であるため、その記述を省略し、ここでは図１２のフローチャートに沿って、本実施形態の顔検出処理（ステップＳ１３）について詳しく説明する。
【００４６】
まず、顔検出部１３が撮像部１１で撮影された画像内の初期位置に顔検出位置を配置する（ステップＳ３１）。
【００４７】
次に、顔検出部１３が、顔検出位置の座標と部分領域情報とを比較することによって、顔検出位置が属する部分領域を特定する（ステップＳ３２）。そして、顔検出部１３は、特定された部分領域に設定されている顔サイズ条件と顔向き条件とに基づいて、当該顔検出位置に適用する顔検出ウィンドウと顔検出器とを選択する。
【００４８】
前述したように、本実施形態の顔検出部１３は、サイズの異なる複数種類の顔検出ウィンドウ３４ａ〜３４ｉの他に、異なる顔向きに対応する複数種類の顔検出器３５ａ〜３５ｅを有している。ただし、顔検出部１３は、画像全体に対して全ての顔検出ウィンドウと顔検出器を一律に適用するのではなく、顔サイズ条件と顔向き条件に従って、適用する顔検出ウィンドウと顔検出器を部分領域ごとに変えるのである。図９の例では、顔検出位置が部分領域３１にある場合は「小」顔用の顔検出ウィンドウ３４ａ〜３４ｃと「正面」顔用の顔検出器３５ａとが選択され、顔検出位置が部分領域３２にある場合は「中」顔用の顔検出ウィンドウ３４ｄ〜３４ｆと「斜め」顔用の顔検出器３５ｂ及び３５ｃとが選択され、顔検出位置が部分領域３３にある場合は「大」顔用の顔検出ウィンドウ３４ｇ〜３４ｉと「左右」顔用の顔検出器３５ｄ及び３５ｅとが選択される。
【００４９】
そして、顔検出部１３は、ステップＳ３２で選択された顔検出ウィンドウと顔検出器の組み合わせの内、いずれかを顔検出位置に設定し（ステップＳ３３）、顔検出処理を実行する（ステップＳ３４）。次に、顔検出部１３は、ステップＳ３２で選択された複数の顔検出器の内、顔検出処理に用いられていない顔検出器があるかどうかを判断する（ステッ
プＳ３５）。他の顔検出器があるとされた場合（ステップＳ３５；ＹＥＳ）、顔検出位置にその顔検出器を設定し（ステップＳ３３）、顔検出処理を実行する（ステップＳ３４）。ステップＳ３２で選択された全ての顔検出器について顔検出処理が行われたら（ステップＳ３５；ＮＯ）、ステップＳ３２で選択された複数の顔検出ウィンドウの内、顔検出処理に用いられていない顔検出ウィンドウがあるかどうかを判断する（ステップＳ３６）。ステップＳ３２で選択された顔検出ウィンドウと顔検出器の全ての組み合わせについて顔検出処理が行われたら（ステップＳ３６；ＮＯ）、当該顔検出位置についての処理を終了し、ステップＳ３７に進む。
【００５０】
ステップＳ３７では、顔検出部１３は次の顔検出位置があるかどうかを判定し、次の顔検出位置がある場合（ステップＳ３７；ＹＥＳ）、顔検出位置を次の顔検出位置へ移動させる（ステップＳ３８）。そして、次の顔検出位置についても、部分領域に応じた適切なサイズの顔検出ウィンドウ及び適切な顔向きの顔検出器を用いて顔検出処理が行われる（ステップＳ３２〜Ｓ３６）。次の顔検出位置が無くなるまで（画像の最後に到達するまで）ステップＳ３２〜Ｓ３６の工程を繰り返す（ステップＳ３７）。
【００５１】
以上述べたように、本実施形態では、画像上部の部分領域３１では３つの顔検出ウィンドウ３４ａ〜３４ｃと１つの顔検出器３５ａのみが用いられ、それ以外の顔検出ウィンドウ３４ｄ〜３４ｉと顔検出器３５ｂ〜３５ｅとによる顔検出処理は省略される。同様に、部分領域３２では、顔検出ウィンドウ３４ａ〜３４ｃ及び３４ｇ〜３４ｉと顔検出器３５ａ及び３５ｄ、３５ｅとによる顔検出処理が省略され、部分領域３３では、顔検出ウィンドウ３４ａ〜３４ｆと顔検出器３５ａ〜３５ｃとによる顔検出処理が省略される。そのため、画像全体について全ての顔検出ウィンドウ３４ａ〜３４ｉと顔検出器３５ａ〜３５ｅを用いるのに比べて、顔検出処理の効率化（演算量の削減）を図ることができる。また、部分領域ごとに予め適切な顔向き条件を設定することにより、検出精度の向上及び誤検出の低減が期待できる。
【００５２】
なお、本実施形態の部分領域情報は顔サイズ条件と顔向き条件とで共通の部分領域を設定しているが、それぞれ独立した部分領域を設定してもよい。また、顔検出ウィンドウ及び顔検出器の切替え方法は、顔検出位置ごとに顔検出ウィンドウ及び顔検出器の切替えを行っているが、一組の顔検出ウィンドウと顔検出器で１つの部分領域全体の顔検出処理を行った後に顔検出位置をその部分領域の初期位置に移し、顔検出ウィンドウの切替えを行ってもよい。
【００５３】
＜第３の実施形態＞
第３の実施形態では、撮像部１１が屋内から屋外を向くように設置してあり、撮像部１１で撮影される画像には屋内と屋外の両方が写るという状況下での顔検出装置について述べる（図１３）。この状況下で、撮像部１１が撮影する画像は、第１の実施形態と同様に画像下部ほど大きい顔が写る傾向にある。更に、図１４のように、屋内にある顔と屋外にある顔とで照明環境が異なる傾向にある（例えば、屋外が屋内より明るい場合、屋外の顔は明るく写り、屋内の顔は逆光により暗く写るなど）。このような傾向に着目し、本実施形態における顔検出処理は、部分領域ごとに検出対象とする顔の大きさと照明環境を変える。
【００５４】
以下、第１の実施形態と異なる構成及び処理を中心に説明する。
【００５５】
＜装置構成＞
本実施形態の顔検出部１３は図１５のように複数種類の顔検出器４５ａ〜４５ｅを有する。
【００５６】
ここで、顔検出器４５ａ〜４５ｅは、それぞれ異なる照明環境に対応する顔検出器である。顔検出器４５ａは明るい顔用の顔検出器であり、明るい照明環境下の顔の検出に特化した顔検出器である。これは、学習用の教師画像として明るい照明環境下の顔画像のみを用いたり、あるいは明るい顔専用の検出アルゴリズムを採用したりすることで実現できる。同様に、顔検出器４５ｂはやや明るい照明環境下の顔の検出に特化したやや明るい顔用の顔検出器であり、顔検出器４５ｃは普通の顔用の顔検出器、顔検出器４５ｄはやや暗い顔用の顔検出器、顔検出器４５ｅは暗い顔用の顔検出器である。
【００５７】
次に、本実施形態における部分領域情報と顔検出条件の一例を図１６に示す。上述したように、本実施形態の撮像部１１で撮影される画像は図１４のように画像下部ほど大きい顔が写る傾向にあり、更に、屋内にある顔と屋外にある顔とで照明環境が異なる傾向にある。そこで、図１６の例では、部分領域情報として、画像全体を「画像上部」、「画像中部」、「画像下部」という３つの部分領域４１〜４３に区分する情報を設定する（ここでの部分領域の定義は第１の実施形態と同様である）。また、顔検出条件として、顔サイズ条件と検出対象とする顔の照明環境を定める照明条件とを設定する（ここでは画像上部の部分領域４１に「小」と「明るい」、画像中部の部分領域４２に「中」と「暗い」、画像下部の部分領域４３に「大」と「暗い」という顔サイズ条件と照明条件とが設定されている。）。なお、照明条件は、第１の実施形態で述べた顔サイズ条件と同様に「明るい」、「暗い」のような属性でもよいし、照明環境に対応する数値でもよいし、顔検出器の識別子などでもよい。
【００５８】
＜顔検出機能＞
本実施形態の顔検出装置の機能はステップＳ１３の顔検出処理を除いて第１の実施形態と同様であるため、その記述を省略し、ここでは図１２のフローチャートに沿って、本実施形態の顔検出処理（ステップＳ１３）について詳しく説明する。
【００５９】
まず、顔検出部１３が撮像部１１で撮影された画像内の初期位置に顔検出位置を配置する（ステップＳ３１）。
【００６０】
次に、顔検出部１３が、顔検出位置の座標と部分領域情報とを比較することによって、顔検出位置が属する部分領域を特定する（ステップＳ３２）。そして、顔検出部１３は、特定された部分領域に設定されている顔サイズ条件と照明条件とに基づいて、当該顔検出位置に適用する顔検出ウィンドウと顔検出器とを選択する。
【００６１】
前述したように、本実施形態の顔検出部１３は、サイズの異なる複数種類の顔検出ウィンドウ４４ａ〜４４ｉの他に、異なる照明環境に対応する複数種類の顔検出器４５ａ〜４５ｅを有している。ただし、顔検出部１３は、画像全体に対して全ての顔検出ウィンドウと顔検出器を一律に適用するのではなく、顔サイズ条件と照明条件に従って、適用する顔検出ウィンドウと顔検出器を部分領域ごとに変えるのである。図１４の例では、顔検出位置が部分領域４１にある場合は「小」顔用の顔検出ウィンドウ４４ａ〜４４ｃと「明るい」顔用の顔検出器４５ａ及び４５ｂとが選択され、顔検出位置が部分領域４２にある場合は「中」顔用の顔検出ウィンドウ４４ｄ〜４４ｆと「暗い」顔用の顔検出器４５ｄ及び４５ｅとが選択され、顔検出位置が部分領域４３にある場合は「大」顔用の顔検出ウィンドウ４４ｇ〜４４ｉと「暗い」顔用の顔検出器４５ｄ及び４５ｅとが選択される。
【００６２】
そして、顔検出部１３は、ステップＳ３２で選択された顔検出ウィンドウと顔検出器の組み合わせの内、いずれかを顔検出位置に設定し（ステップＳ３３）、顔検出処理を実行する（ステップＳ３４）。次に、顔検出部１３は、ステップＳ３２で選択された複数の顔検出器の内、顔検出処理に用いられていない顔検出器があるかどうかを判断する（ステップＳ３５）。他の顔検出器があるとされた場合（ステップＳ３５；ＹＥＳ）、顔検出位置
にその顔検出器を設定し（ステップＳ３３）、顔検出処理を実行する（ステップＳ３４）。ステップＳ３２で選択された全ての顔検出器について顔検出処理が行われたら（ステップＳ３５；ＮＯ）、ステップＳ３２で選択された複数の顔検出ウィンドウの内、顔検出処理に用いられていない顔検出ウィンドウがあるかどうかを判断する（ステップＳ３６）。ステップＳ３２で選択された顔検出ウィンドウと顔検出器の全ての組み合わせについて顔検出処理が行われたら（ステップＳ３６；ＮＯ）、当該顔検出位置についての処理を終了し、ステップＳ３７に進む。
【００６３】
ステップＳ３７では、顔検出部１３は次の顔検出位置があるかどうかを判定し、次の顔検出位置がある場合（ステップＳ３７；ＹＥＳ）、顔検出位置を次の顔検出位置へ移動させる（ステップＳ３８）。そして、次の顔検出位置についても、部分領域に応じた適切なサイズの顔検出ウィンドウ及び適切な顔向きの顔検出器を用いて顔検出処理が行われる（ステップＳ３２〜Ｓ３６）。次の顔検出位置が無くなるまで（画像の最後に到達するまで）ステップＳ３２〜Ｓ３６の工程を繰り返す（ステップＳ３７）。
【００６４】
以上述べたように、本実施形態では、画像上部の部分領域４１では３つの顔検出ウィンドウ４４ａ〜４４ｃと２つの顔検出器４５ａ及び４５ｂのみが用いられ、それ以外の顔検出ウィンドウ４４ｄ〜４４ｉと顔検出器４５ｃ〜４５ｅとによる顔検出処理は省略される。同様に、部分領域４２では、顔検出ウィンドウ４４ａ〜４４ｃ及び４４ｇ〜４４ｉと顔検出器４５ａ〜４５ｃとによる顔検出処理が省略され、部分領域４３では、顔検出ウィンドウ４４ａ〜４４ｆと顔検出器４５ａ〜４５ｃとによる顔検出処理が省略される。そのため、画像全体について全ての顔検出ウィンドウ４４ａ〜４４ｉと顔検出器４５ａ〜４５ｅを用いるのに比べて、顔検出処理の効率化（演算量の削減）を図ることができる。また、部分領域ごとに予め適切な照明条件を設定することにより、検出精度の向上及び誤検出の低減が期待できる。
【００６５】
なお、本実施形態の部分領域情報は顔サイズ条件と照明条件とで共通の部分領域を設定しているが、それぞれ独立した部分領域を設定してもよい。また、顔検出ウィンドウ及び顔検出器の切替え方法は、顔検出位置ごとに顔検出ウィンドウ及び顔検出器の切替えを行っているが、一組の顔検出ウィンドウと顔検出器で１つの部分領域全体の顔検出処理を行った後に顔検出位置をその部分領域の初期位置に移し、顔検出ウィンドウの切替えを行ってもよい。
【００６６】
＜第４の実施形態＞
第４の実施形態では、図１７のように撮像部１１で撮影された画像に写る範囲で前方と左右に壁があるという状況下での顔検出装置について述べる（前方の壁は行き止まりである必要は無く、Ｔ字型の通路の様に左右に通路があってもよい）。この状況下で、撮像部１１が撮影する画像は、第１の実施形態と同様に画像下部ほど大きい顔が写る傾向にある。更に、図１８のように、撮像部１１が撮影する画像の一部（例えば、前述した左右の壁及び前側の壁など）に顔の写り得ない領域を有する傾向にある。このような傾向に着目し、本実施形態における顔検出処理は、部分領域ごとに検出対象とする顔の大きさと顔検出処理を行うか否かを変える。
【００６７】
以下、第１の実施形態と異なる構成及び処理を中心に説明する。
【００６８】
本実施形態における部分領域情報と顔検出条件の一例を図１９に示す。上述したように、本実施形態の撮像部１１で撮影される画像は図１８のように画像下部ほど大きい顔が写る傾向にあり、更に、撮像部１１が撮影する画像の一部に顔の写り得ない領域を有する傾向にある。そこで、図１９の例では、部分領域情報として、画像全体を「画像左上部」、「画像右上部」、「画像上部」、「画像中部」、「画像下部」という５つの部分領域５１
〜５５に区分する情報を設定する（ここでの部分領域の定義は第１の実施形態と同様である）。また、顔検出条件として、顔サイズ条件と顔検出処理を行うか否かを定める顔検出処理実行の有無条件とを設定する（ここでは画像左上部と画像右上部、画像上部の部分領域５１〜５３に「未設定」と「顔検出処理実行無し」、画像中部の部分領域５４に「中」と「顔検出処理実行有り」、画像下部の部分領域５５に「大」と「顔検出処理実行有り」という顔サイズ条件と顔検出処理実行の有無条件とが設定されている。）。なお、顔検出処理実行の有無条件は、第１の実施形態で述べた顔サイズ条件と同様に「顔検出処理実行無し」、「顔検出処理実行有り」のような属性でもよいし、顔検出処理を行うか否かに対応する数値でもよい。
【００６９】
＜顔検出機能＞
本実施形態の顔検出装置の機能はステップＳ１３の顔検出処理を除いて第１の実施形態と同様であるため、その記述を省略し、ここでは図２０のフローチャートに沿って、本実施形態の顔検出処理（ステップＳ１３）について詳しく説明する。
【００７０】
まず、顔検出部１３が撮像部１１で撮影された画像内の初期位置に顔検出位置を配置する（ステップＳ５１）。
【００７１】
次に、顔検出部１３が、顔検出位置の座標と部分領域情報とを比較することによって、顔検出位置が属する部分領域を特定する（ステップＳ５２）。そして、顔検出部１３は、特定された部分領域に設定されている顔サイズ条件と顔検出処理実行の有無条件とに基づいて、当該顔検出位置に適用する顔検出ウィンドウと顔検出処理を行うか否かを選択する。
【００７２】
本実施形態の顔検出部１３は、サイズの異なる複数種類の顔検出ウィンドウ５６ａ〜５６ｆを有している。ただし、顔検出部１３は、画像全体に対して全ての顔検出ウィンドウを一律に適用するのではなく、顔サイズ条件と顔検出処理実行の有無条件に従って、適用する顔検出ウィンドウと顔検出処理を行うか否かを部分領域ごとに変えるのである。図１８の例では、顔検出位置が部分領域５１〜５３にある場合、顔検出ウィンドウは選択されず、当該顔検出位置での顔検出処理は行われない。顔検出位置が部分領域５４にある場合は「中」顔用の顔検出ウィンドウ５６ａ〜５６ｃが選択され、当該顔検出位置での顔検出処理が行われる。そして、顔検出位置が部分領域５５にある場合は「大」顔用の顔検出ウィンドウ５６ｄ〜５６ｆが選択され、当該顔検出位置での顔検出処理が行われる。
【００７３】
そして、顔検出部１３はステップＳ５３で顔検出処理を行うか否かを判定する。「顔検出処理実行有り」とされた場合（ステップＳ５３；ＹＥＳ）、ステップＳ５４に進み、当該顔検出位置での処理を続け、「顔検出処理実行無し」とされた場合（ステップＳ５３；ＮＯ）、当該顔検出位置についての処理を終了し、ステップＳ５７に進む。
【００７４】
次に、顔検出部１３はステップＳ５２で選択された顔検出ウィンドウの内、いずれかを顔検出位置に設定し（ステップＳ５４）、顔検出処理を実行する（ステップＳ５５）。次に、顔検出部１３は、ステップＳ５２で選択された複数の顔検出ウィンドウの内、顔検出処理に用いられていない顔検出ウィンドウがあるかどうかを判断する（ステップＳ５６）。他の顔検出ウィンドウがあるとされた場合（ステップＳ５６；ＹＥＳ）、顔検出位置にその顔検出ウィンドウを設定し（ステップＳ５４）、顔検出処理を実行する（ステップＳ５５）。ステップＳ５２で選択された全ての顔検出ウィンドウについて顔検出処理が行われたら（ステップＳ５６；ＮＯ）、当該顔検出位置についての処理を終了し、ステップＳ５７に進む。
【００７５】
ステップＳ５７では、顔検出部１３は次の顔検出位置があるかどうかを判定し、次の顔
検出位置がある場合（ステップＳ５７；ＹＥＳ）、顔検出位置を次の顔検出位置へ移動させる（ステップＳ５８）。そして、次の顔検出位置についても、顔検出処理を行うか否かを判定し、「顔検出処理実行有り」とされた場合、部分領域に適切なサイズの顔検出ウィンドウを用いて顔検出処理が行われる（ステップＳ５２〜Ｓ５６）。次の顔検出位置が無くなるまで（画像の最後に到達するまで）ステップＳ５２〜Ｓ５６の工程を繰り返す（ステップＳ５７）。
【００７６】
以上述べたように、本実施形態では、画像左上部、画像右上部、画像上部の部分領域５１〜５３では顔検出処理は省略される。画像中部の部分領域５４では３つの顔検出ウィンドウ５６ａ〜５６ｃのみが用いられ、それ以外の顔検出ウィンドウ５６ｄ〜５６ｆによる顔検出処理は省略される。同様に、部分領域５５では、顔検出ウィンドウ５６ａ〜５６ｃによる顔検出処理が省略される。そのため、画像全体について全ての顔検出ウィンドウ５６ａ〜５６ｆを用いるのに比べて、顔検出処理の効率化（演算量の削減）を図ることができる。また、部分領域ごとに予め適切な顔検出処理実行の有無条件を設定することにより、あり得ない位置の顔をはじめから排除できるため、誤検出の低減が期待できる。
【００７７】
また、上記４つの実施形態はそれぞれ異なる顔検出条件に応じた顔検出処理の一例を示したものであるが、本発明は上記実施形態における４つの顔検出条件のうち少なくとも１つに応じた顔検出処理を行う。
【００７８】
なお、上記実施形態の顔検出条件記憶部に記憶されている情報は、時刻に応じて変化するように設定できることが好ましい。例えば、第３の実施形態のように画像中に屋内と屋外が写っている場合、日中と夜間では屋内と屋外の照明環境は異なる。この場合、屋外部分の照明条件としては「日中；明るい」、「夜間；暗い」などを設定すればよく、屋内部分の照明条件としては「日中；暗い」、「夜間；明るい」などを設定すればよいと考えられる。
【００７９】
なお、第１〜４の実施形態は、それぞれ、画像の部分領域ごとに予め検出される顔の大きさが決まっている場合、予め検出される顔の向きが決まっている場合、予め検出される顔の照明環境が決まっている場合、予め顔検出を行う領域が決まっている場合に好ましく適用できる。例えば、第３の実施形態では屋内と屋外の照明環境の違いを想定した例を挙げているが、画像の一部が照明で照らされている場合などにも好ましく適用できる。また、第４の実施形態では「顔が写り得ない領域」に「顔検出処理無し」を設定しているが、人がいる領域であっても「大勢の人の内、一部分の領域にいる人はカウントしない」という場合などに好ましく適用できる。
【図面の簡単な説明】
【００８０】
【図１】図１は、第１の実施形態における撮像部の設置様態を示す図である。
【図２】図２は、第１の実施形態における撮像部で撮影される画像とその画像の顔検出処理を示す図である。
【図３】図３は、顔検出装置の機能構成を示すブロック図である。
【図４】図４は、第１の実施形態における部分領域情報と顔検出条件（顔サイズ条件）の一例を示す図である。
【図５】図５は、顔検出装置の処理の流れを示すフローチャートである。
【図６】図６は、第１の実施形態における顔検出処理の流れを示すフローチャートである。
【図７】図７は、画像全体について全ての顔検出ウィンドウを用いた顔検出処理を示す図である。
【図８】図８は、第２の実施形態における撮像部の設置様態を示す図である。
【図９】図９は、第２の実施形態における撮像部で撮影される画像とその画像の顔検出処理を示す図である。
【図１０】図１０は、第２の実施形態における顔検出部と顔検出器とを示すブロック図である。
【図１１】図１１は、第２の実施形態における部分領域情報と顔検出条件（顔サイズ条件及び顔向き条件）の一例を示す図である。
【図１２】図１２は、第２の実施形態及び第３の実施形態における顔検出処理の流れを示すフローチャートである。
【図１３】図１３は、第３の実施形態における撮像部の設置様態を示す図である。
【図１４】図１４は、第３の実施形態における撮像部で撮影される画像とその画像の顔検出処理を示す図である。
【図１５】図１５は、第３の実施形態における顔検出部と顔検出器とを示すブロック図である。
【図１６】図１６は、第３の実施形態における部分領域情報と顔検出条件（顔サイズ条件及び照明条件）の一例を示す図である。
【図１７】図１７は、第４の実施形態における撮像部の設置様態を示す図である。
【図１８】図１８は、第４の実施形態における撮像部で撮影される画像とその画像の顔検出処理を示す図である。
【図１９】図１９は、第４の実施形態における部分領域情報と顔検出条件（顔サイズ条件及び顔検出処理実行の有無条件）の一例を示す図である。
【図２０】図２０は、第４の実施形態における顔検出処理の流れを示すフローチャートである。
【符号の説明】
【００８１】
１１ 撮像部
１２ 画像記憶部
１３ 顔検出部
１４ 表示部
１５ 結果記憶部
１６ 顔検出条件記憶部
２１〜２３，３１〜３３，４１〜４３，５１〜５５ 部分領域
２４ａ〜２４ｉ，３４ａ〜３４ｉ，４４ａ〜４４ｉ，５６ａ〜５６ｆ 顔検出ウィンドウ
２５ 移動経路
３５，４５ 顔検出器
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとに予め設定された顔検出条件とを記憶する顔検出条件記憶手段と、
前記画像から顔を検出する顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔検出条件に該当しない顔検出処理を省略する顔検出手段と、
を備える顔検出装置。
【請求項２】
前記顔検出条件は、検出対象とする顔の大きさを定める顔サイズ条件を含む
請求項１に記載の顔検出装置。
【請求項３】
前記顔検出手段は、異なる顔の大きさに対応する複数の顔検出ウィンドウを有しており、前記画像から顔検出ウィンドウを用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔サイズ条件に応じた顔検出ウィンドウを用いて顔検出処理を行い、それ以外の顔検出ウィンドウによる顔検出処理を省略する
請求項２に記載の顔検出装置。
【請求項４】
前記顔検出条件は、検出対象とする顔の向きを定める顔向き条件を含む
請求項１〜請求項３のいずれかに記載の顔検出装置。
【請求項５】
前記顔検出手段は、異なる顔向きに対応する複数の顔検出器を有しており、前記画像から顔検出器を用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔向き条件に応じた顔検出器を用いて顔検出処理を行い、それ以外の顔検出器による顔検出処理を省略する
請求項４に記載の顔検出装置。
【請求項６】
前記顔検出条件は照明条件を含む
請求項１〜請求項５のいずれかに記載の顔検出装置。
【請求項７】
前記顔検出手段は、異なる照明環境に対応する複数の顔検出器を有しており、前記画像から顔検出器を用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された照明条件に応じた顔検出器を用いて顔検出処理を行い、それ以外の顔検出器による顔検出処理を省略する
請求項６に記載の顔検出装置。
【請求項８】
撮像手段で撮影された画像から顔を検出する顔検出処理を行うコンピュータが、
前記撮像手段で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとに予め設定された顔検出条件とを記憶しており、
前記画像から顔を検出する顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔検出条件に該当しない顔検出処理を省略する
顔検出方法。
【請求項９】
撮像手段で撮影された画像から顔を検出する顔検出処理を行うコンピュータに、
前記撮像手段で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとに予め設定された顔検出条件とを記憶するステップと、
前記画像から顔を検出する顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔検出条件に該当しない顔検出処理を省略するステップと、
を実行させるための顔検出プログラム。
【請求項１】
撮像手段と、
前記撮像手段で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとに予め設定された顔検出条件とを記憶する顔検出条件記憶手段と、
前記画像から顔を検出する顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔検出条件に該当しない顔検出処理を省略する顔検出手段と、
を備える顔検出装置。
【請求項２】
前記顔検出条件は、検出対象とする顔の大きさを定める顔サイズ条件を含む
請求項１に記載の顔検出装置。
【請求項３】
前記顔検出手段は、異なる顔の大きさに対応する複数の顔検出ウィンドウを有しており、前記画像から顔検出ウィンドウを用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔サイズ条件に応じた顔検出ウィンドウを用いて顔検出処理を行い、それ以外の顔検出ウィンドウによる顔検出処理を省略する
請求項２に記載の顔検出装置。
【請求項４】
前記顔検出条件は、検出対象とする顔の向きを定める顔向き条件を含む
請求項１〜請求項３のいずれかに記載の顔検出装置。
【請求項５】
前記顔検出手段は、異なる顔向きに対応する複数の顔検出器を有しており、前記画像から顔検出器を用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔向き条件に応じた顔検出器を用いて顔検出処理を行い、それ以外の顔検出器による顔検出処理を省略する
請求項４に記載の顔検出装置。
【請求項６】
前記顔検出条件は照明条件を含む
請求項１〜請求項５のいずれかに記載の顔検出装置。
【請求項７】
前記顔検出手段は、異なる照明環境に対応する複数の顔検出器を有しており、前記画像から顔検出器を用いて顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された照明条件に応じた顔検出器を用いて顔検出処理を行い、それ以外の顔検出器による顔検出処理を省略する
請求項６に記載の顔検出装置。
【請求項８】
撮像手段で撮影された画像から顔を検出する顔検出処理を行うコンピュータが、
前記撮像手段で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとに予め設定された顔検出条件とを記憶しており、
前記画像から顔を検出する顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔検出条件に該当しない顔検出処理を省略する
顔検出方法。
【請求項９】
撮像手段で撮影された画像から顔を検出する顔検出処理を行うコンピュータに、
前記撮像手段で撮影された画像を複数の部分領域に区分するための部分領域情報と前記部分領域ごとに予め設定された顔検出条件とを記憶するステップと、
前記画像から顔を検出する顔検出処理を実行する際に、顔検出位置の属する部分領域に設定された顔検出条件に該当しない顔検出処理を省略するステップと、
を実行させるための顔検出プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００８−２３４５７８（Ｐ２００８−２３４５７８Ａ）
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願番号】特願２００７−７７１０７（Ｐ２００７−７７１０７）
【出願日】平成１９年３月２３日（２００７．３．２３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
【公開日】平成２０年１０月２日（２００８．１０．２）
【国際特許分類】
【出願日】平成１９年３月２３日（２００７．３．２３）
【出願人】（０００００２９４５）オムロン株式会社 (3,542)
【Ｆターム（参考）】
[ Back to top ]