顔検出方法
【課題】被写体の顔のサイズ、顔の向き、及び天地方向等の顔検出を行う条件に応じて顔検出の処理速度を高速化する。
【解決手段】サイズ選別部６４において、顔が存在すると予想される画像サイズに対して、当該画像サイズに近傍の画像サイズを、次の顔検出に用いる画像サイズの段階として定めることによって、顔検出に用いる画像サイズを選別する。２回目以降の顔検出処理では、比較部６２において、サイズ選別部６４で設定された画像サイズの画像データに対して顔検出を行う。
【解決手段】サイズ選別部６４において、顔が存在すると予想される画像サイズに対して、当該画像サイズに近傍の画像サイズを、次の顔検出に用いる画像サイズの段階として定めることによって、顔検出に用いる画像サイズを選別する。２回目以降の顔検出処理では、比較部６２において、サイズ選別部６４で設定された画像サイズの画像データに対して顔検出を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔検出方法に係り、特に被写体の顔のサイズ、顔の向き、及び天地方向等の顔検出を行う条件に応じて顔検出を行う顔検出方法に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラを用いて撮像された被写体を表す画像データに顔が存在するか否かを判断し、顔が存在する場合には、この画像データから顔部分の特徴量を抽出して、顔部分の濃度や輝度等の補正を行っている。
【０００３】
この顔の存在可否の判定は、被写体に含まれる顔のサイズは大小存在するため、画像データの画像サイズに対して拡大処理及び縮小処理を施し、この画像データから順次切り出された部分画像データと、顔の向きや天地方向に対して傾きを持つ所定サイズ（面積）のテンプレートデータとの類似性を求めることで、顔の存在可否を判定している（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３５０７０４公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術は、拡大処理及び縮小処理が施された画像データの全ての画像サイズに対して部分画像データを切り出して、テンプレートデータと照合を行うため照合回数が多く、顔検出の処理に時間がかかる。
【０００６】
本発明は、上記問題を解決するためになされたもので、被写体の顔のサイズ、顔の向き、及び天地方向等の顔検出を行う条件に応じて顔検出の処理速度を制御することで、高速な顔検出を行うことを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載の発明は、時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、前記分類された画像の画像サイズが大きいほど前記顔検出処理の対象となる前記アウトプレーン角度の種類が少なく設定される、ことを特徴としている。
【０００８】
請求項１に記載の発明によれば、時間的に連続して撮像された画像を所定の複数の倍率に応じて拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、分類された各段階の画像を読取り単位毎に順次読取り、読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う際、前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、前記分類された画像の画像サイズが大きいほど前記顔検出処理の対象となる前記アウトプレーン角度の種類が少なく設定される。
【０００９】
一般的に被写体中には、小さい顔の真横顔が、正面顔や斜め横顔よりも撮像される回数が少ない。従って、アウトプレーン角度に応じて、小さい顔（画像サイズの大きい画像データから検出される）を検出するための画像データを顔検出の対象外とすることで、顔検出処理に要する時間を軽減することができる。
【００１０】
上記目的を達成するために、請求項２に記載の発明は、時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、前回の前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴としている。
【００１１】
請求項２に記載の発明によれば、前回の顔検出処理によって検出された顔のアウトプレーン角度に応じて、予め各段階の画像毎に設定された領域内で顔検出処理を行う。一般の被写体では、アウトプレーン角度が右横の顔については、画像データの右端の方に存在する頻度は少ない。従って、顔のアウトプレーン角度に応じて、画像データ読取り領域を変更することで、顔検出処理に要する時間を軽減することが可能となる。
【００１２】
上記目的を達成するために、請求項３に記載の発明は、時間的に連続して撮像された画像を所定のサイズの読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、前記顔検出処理の対象要素として、顔の天地方向の回転角度を示すインプレーン角度を判別する機能を有し、前記顔検出処理を繰り返す場合に、次の画像に対して行う前記顔検出処理において前記インプレーン角度を判別する対象とするインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の顔検出処理で顔が検出された前記インプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する、ことを特徴としている。
【００１３】
請求項３に記載の発明によれば、顔検出処理の対象要素として、顔の天地方向の回転角度を示すインプレーン角度を判別する機能を付加設定し、顔検出処理を繰り返す場合に、次の画像に対して行う顔検出処理に用いるインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の前記顔検出処理で顔が検出されたインプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する顔検出処理を行う。
【００１４】
この顔検出処理は、対象要素として、顔の天地方向の回転角度を示すインプレーン角度を複数パターン設定して、各インプレーン角度での段階的に分類された画像の画像サイズにおける顔検出処理を行う。そして、顔検出処理を繰り返す場合に、次の画像に対して行う顔検出処理に用いるインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の前記顔検出処理で顔が検出されたインプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する。これによって、より少ないインプレーン角度のパターン数を用いて顔検出処理を行うことが可能となるので、顔検出処理に要する時間を軽減することができる。
【００１５】
請求項４に記載の発明は、請求項１に記載の顔検出方法であって、前回の前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴としている。請求項４に記載の発明によれば、前回の顔検出処理によって検出された顔のアウトプレーン角度に応じて、予め各段階の画像毎に設定された領域内で顔検出処理を行う。一般の被写体では、アウトプレーン角度が右横の顔については、画像データの右端の方に存在する頻度は少ない。従って、顔のアウトプレーン角度に応じて、画像データ読取り領域を変更することで、顔検出処理に要する時間を軽減することが可能となる。
【００１６】
請求項５に記載の発明は、請求項１から請求項３のいずれか１項に記載の顔検出方法であって、前記各段階の画像の画像サイズに応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴としている。請求項５に記載の発明によれば、各段階の画像サイズに応じて、予め各段階の画像毎に設定された領域内で顔検出処理を行う。一般的に、主要な被写体は、画像データの中央に位置するため、例えば、小さいサイズの顔が撮像されている場合は、顔を検出する領域を狭めることでも検出できるため、画像サイズに応じて設定された領域内で顔検出処理を行うことで、顔検出処理に要する時間を軽減することができる。
【００１７】
請求項６に記載の発明は、請求項１または請求項２記載の顔検出方法であって、前記顔検出処理の対象要素として、顔の天地方向の回転角度を示すインプレーン角度を判別する機能を有し、前記顔検出処理を繰り返す場合に、次の画像に対して行う前記顔検出処理において前記インプレーン角度を判別する対象とするインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の顔検出処理で顔が検出された前記インプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する、ことを特徴としている。
【００１８】
請求項６に記載の発明によれば、請求項３に記載の発明と同様に作用するので、より少ないインプレーン角度のパターン数を用いて顔検出処理を行うことが可能となるので、顔検出処理に要する時間を軽減することができる。
【００１９】
請求項７に記載の発明は、請求項２または請求項４記載の顔検出方法であって、前記予め前記各段階の画像毎に設定された領域は、画像データの中心方向に向かって絞り込まれた領域であり、前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、前記絞り込まれる領域の割合が予め設定される、ことを特徴としている。
【００２０】
請求項７に記載の発明によれば、顔のアウトプレーン角度に応じて、顔検出の対象領域を中心方向に向かって絞り込むことで、画像データとテンプレートデータとの比較回数を軽減し、より高速な顔検出を実行することができる。
【００２１】
請求項８に記載の発明は、請求項２または請求項４記載の顔検出方法であって、前記予め前記各段階の画像毎に設定された領域は、前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、前記顔検出処理を行う対象領域の中心位置を前記画像データの中心からずらした縮小領域である、ことを特徴としている。
【００２２】
請求項８に記載の発明によれば、画像データの右端に存在する右横顔及び左側に存在する左横顔が、主要被写体となる可能性は少ないため、顔検出を実行する対象領域の中心位置を左右へずらすことによって、画像データの右端及び左端において、右横顔の顔検出を実行しないように設定することができるので、画像データ読み取り処理回数を軽減することができ、高速な顔検出を行なうことが可能である。
【００２３】
請求項９に記載の発明は、請求項２または請求項４記載の顔検出方法であって、前記予め前記各段階の画像毎に設定された領域は、画像データの中心方向に向かって絞り込まれた領域であり、前記各段階の画像の画像サイズに応じて、前記絞り込まれる領域の割合が予め設定される、ことを特徴としている。
【００２４】
一般的に、主要な被写体は、画像データの中央に位置するため、請求項９に記載の発明により、画像データの端の領域を検出対象外とすることによって、画像サイズの大きい画像データに対して、顔検出を実行する処理時間を軽減することができる。
【００２５】
上記目的を達成するために、請求項１０に記載の発明は、時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、前記顔検出処理を繰り返す場合に、前回の前記顔検出処理によって判別されたアウトプレーン角度に応じて、１つまたは１つ以上のアウトプレーン判別対象角度からなるアウトプレーン判別対象角度群の中から、判別対象とする１つまたは複数のアウトプレーン判別対象角度を選択し、前記選択したアウトプレーン判別対象角度で規定されるアウトプレーン角度について判別する、ことを特徴としている。
【００２６】
請求項１０に記載の発明によれば、定期的にアウトプレーン角度の変化に応じた顔検出を行う必要がある場合、顔検出の必要のないアウトプレーン角度については、顔検出を行わないよう制御することができ、全てのアウトプレーン角度を用いて顔検出を行なうことに伴う処理時間の増大を回避することができる。
【発明の効果】
【００２７】
以上説明したように、本発明によれば、前回の顔検出で検出した被写体の顔のサイズ、顔の向き、及び天地方向等の顔検出を行う条件に基づいて、画像データ読取り処理回数を軽減するように、今回の顔検出を行う条件を定めるため、高速な顔検出を行うことができる、という効果が得られる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態に係るデジタルカメラの制御系の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る顔検出処理を行う顔検出部の構成を示すブロック図である。
【図３】顔が存在すると判定された画像サイズに対して、次の顔検出では、この画像サイズの近傍の画像サイズ、すなわち４つの画像サイズをカバーすることによって、９８％の確率で顔を検出することが可能であることを示しているグラフ図である。
【図４】本発明の第１の実施形態に係る顔検出部における処理を説明するためのフローチャートである。
【図５】本発明の第１の実施形態に係る顔検出処理について詳細な説明を行うためのフローチャートである。
【図６】図３に示す顔検出部の処理の具体的な例を説明するための説明図であり、図６（Ａ）は、０〜９（フルサイズ）の画像サイズ別に画像データが形成されていることを表し、図６（Ｂ）は、顔が存在すると予想される画像サイズが５及び６であることを表し、図６（Ｃ）は、顔が存在すると予想される画像サイズ５及び６に対して、４つの画像サイズを含むように画像サイズ４〜７が選別されたことを表し、図６（Ｄ）は、顔が存在すると予想される画像サイズが４及び５であることを表し、図６（Ｅ）は、画像サイズが４及び５の両隣の画像サイズに対して４つの画像サイズを含むように、画像サイズ３〜６が再度選別されたことを表している。
【図７】本発明の第１の実施形態の変形例に係る顔検出処理を行う顔検出部の構成を示すブロック図である。
【図８】顔検出に使用する画像サイズの選別幅を制限する方法を説明するための説明図であり、図８（Ａ）は、画像サイズの段階、及び画像データの長さを示しており、図８（Ｂ）は、顔検出に使用する画像サイズの選別幅を制限するための制限幅チャートを示している。
【図９】次の顔検出に使用する画像サイズの制限幅を定めるためのパターン遷移表である。
【図１０】本発明の第１の実施形態の変形例に係る顔検出部における処理を説明するためのフローチャートである。
【図１１】被写体の顔には、アウトプレーン角度が存在することを説明するための説明図である。
【図１２】本発明の第２の実施形態に係る顔検出処理を行う顔検出部の構成を示すブロック図である。
【図１３】本発明の第２の実施形態に係る顔検出を実行するか否かを制限する画像サイズ別制限装置を示すブロック図である。
【図１４】本発明の第２の実施形態に係る画像サイズ別制限装置の構成を示すロック図である。
【図１５】本発明の第２の実施形態に係る顔検出処理について詳細な説明を行うためのフローチャートである。
【図１６】撮像された被写体の顔は、インプレーン角度が存在することを説明するための説明図である。
【図１７】本発明の第３の実施形態に係る画像データとテンプレートデータとの比較を行う判別器群を示すブロック図である。
【図１８】本発明の第３の実施形態に係る顔検出部における処理を説明するためのフローチャートである。
【図１９】本発明の第３の実施形態に係る顔検出部における処理を説明するためのフローチャートである。
【図２０】本発明の第３の実施形態に係る顔検出処理について詳細な説明を行うためのフローチャートである。
【図２１】本発明の第３の実施形態に係る顔検出部における処理を説明するためのフローチャートである。
【図２２】水平垂直モードを説明するためのグラフ図である。
【図２３】マルチアングルモードを説明するためのグラフ図である。
【図２４】顔検出処理のアウトプレーン角度の遷移を示す遷移図である。
【図２５】本発明の第３の実施形態に係る顔検出部における処理を説明するためのフローチャートである。
【図２６】本発明の第３の実施形態に係る顔検出部における顔検出処理の詳細を説明するためのフローチャートである。
【図２７】インプレーン角度の設定範囲を定める処理を説明するためのフローチャートである。
【図２８】全体の画像サイズ及びその画像サイズにおける内側の領域を説明するための説明図である。
【図２９】全体の画像サイズの内側の領域に顔が存在している確率を示すグラフ図である。
【図３０】本発明の第４の実施形態に係る顔検出処理を行う顔検出部の構成を示すブロック図である。
【図３１】本発明の第４の実施形態に係る顔検出を実行するか否かを制限する画像サイズ別制限装置を示すブロック図である。
【図３２】本発明の第４の実施形態に係る画像サイズ別制限装置の構成を示すロック図である。
【図３３】画像データの顔の向きに応じて、対象領域の中心位置をずらすことを説明するための説明図であり、図３３（Ａ）は中心位置を左へずらすことを示し、図３３（Ｂ）は、中心位置を右へずらすことを示している。
【発明を実施するための最良の形態】
【００２９】
［第１の実施形態］
図１は、第１の実施形態に係るデジタルカメラ１の制御系の構成を示すブロック図であり、図１を用いて、第１の実施形態に係るデジタルカメラ１の構成を説明する。
【００３０】
被写体像を結像させるための複数の結像レンズを含む光学ユニット１０は、焦点調整モータ、ズームモータ、及び絞り駆動モータ（共に、図示省略し、総称する場合、「各モータ」という。）を備えている。この光学ユニット１０は、モータ駆動部１２に接続されている。モータ駆動部１２は、上記各モータに駆動信号を供給する。
【００３１】
モータ駆動部１２は、装置全体の動作を司るＣＰＵ（Central Processing Unit）１４に接続されている。すなわちモータ駆動部１２は、ＣＰＵ１４の制御の下に、上記各モータに駆動信号を出力する。
【００３２】
前記光学ユニット１０の背面側（前記被写体像と対峙する面とは反対側）には、ＣＣＤ（Charge Coupled Device）１６が配置されている。ＣＣＤ１６は、被写体から受光した光の受光量を表すアナログ信号に変換する機能を有している。このＣＣＤ１６は、タイミングジェネレータ１８と、ＣＤＳ（Correlated Double Sampling）２０と、接続されている。
【００３３】
タイミングジェネレータ１８は、ＣＣＤ１６を駆動させるためのタイミング信号を生成してＣＣＤ１６に供給する。ＣＣＤ１６は、このタイミング信号に同期したタイミングで、ＣＤＳ２０へアナログデータを出力する。
【００３４】
タイミングジェネレータ１８は、ＣＰＵ１４に接続されている。このタイミングジェネレータ１８は、ＣＰＵ１４によって制御されることで、前記タイミング信号を生成する。
【００３５】
また、ＣＤＳ２０は、ＡＤＣ（Analog to Digital Converter）２２に接続されている。ＣＤＳ２０は、ＣＣＤ１６から入力されたアナログデータに対して相関二重サンプリング処理等を行う。ＣＤＳ２０は、ＡＤＣ２２へアナログデータを出力する。
【００３６】
ＡＤＣ２２は、画像入力コントローラ２４に接続されている。ＡＤＣ２２は、ＣＤＳ２０から入力されたアナログデータをデジタルデータに変換する。ＡＤＣ２２は、画像入力コントローラ２４へデジタルデータを出力する。
【００３７】
画像入力コントローラ２４は、システムＢＵＳ２６に接続されている。画像入力コントローラ２４は、ＡＤＣ２２から入力されたデジタルデータをシステムＢＵＳ２６へ出力し、後述するＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３８の所定領域に記憶するよう制御する。
【００３８】
システムＢＵＳ２６には、上記画像入力コントローラ２４の他、ＣＰＵ１４、画像信号処理回路２８、圧縮・伸張処理回路３０、ＡＦ（Auto Focus）検出回路３２、ＡＥ（Auto Exposure）・ＡＷＢ（Automatic White Balance）検出回路３４、ＲＯＭ（Read Only Memory）３６、ＳＤＲＡＭ３８、顔検出部４０、及び表示制御回路４２が接続され、相互に信号のやりとりが実行される。
【００３９】
画像信号処理回路２８は、入力された画像データに対して各種画像処理を施し、ＳＤＲＡＭ３８へ記憶するよう制御する。
【００４０】
圧縮・伸張処理回路３０は、所定の形式（例えば、JPEG（Joint Photographic Experts Group）形式、モーションJPEG形式、MPEG（Moving Picture Experts Group）形式）で画像データの圧縮処理を施す一方、圧縮処理された画像データに対して圧縮形式に応じた伸張処理を施す。
【００４１】
ＡＦ検出回路３２は、結像レンズの焦点調整を行うために、画像データのコントラスト値を検出する。
【００４２】
ＡＥ・ＡＷＢ検出回路３４は、１フレームのＲ、Ｇ、Ｂ信号を積算した積算値に基づいて、絞り値とシャッタースピードを決定するためのＥＶ（Exposure Value）を検出すると共に、Ｒ、Ｇ、Ｂといった色の光源種に応じてデジタルゲインを検出する。すなわち、このＡＥ・ＡＷＢ検出回路３４は、最適な露出及びホワイトバランスを調整するための物理量を検出する。
【００４３】
ＲＯＭ３６は、不揮発性のメモリであり、デジタルカメラ１の各機能を実行させるためのプログラム及びデータ等が記憶されている。
【００４４】
ＳＤＲＡＭ３８は、揮発性のメモリであり、画像データを一時的に記憶させ、デジタルカメラ１の各機能を実行する時に、ワークエリアとして使用される。
【００４５】
顔検出部４０は、入力された画像データに顔が存在するか否かを判定する処理を実行する（詳細後述）。
【００４６】
表示制御回路４２は、ＣＣＤ１６により得られた画像データにより示される画像及びメニュー画面等を表示するＬＣＤ（Liquid Crystal Display）４４に接続されている。表示制御回路４２は、シムテムＢＵＳ２６を介して入力された画像データにより示される画像及びメニュー画面等をＬＣＤ４４へ表示させるための信号を生成してＬＣＤ４４へ供給する。
【００４７】
ところで、このデジタルカメラ１において、撮像する画像に「顔」が存在する場合、この「顔」を重視した補正、すなわち「顔」を標的とした色彩、濃度、輝度、及び色相等のプリント処理時のパラメータを補正するようにしている。
【００４８】
このため、第１の実施形態では、前記顔検出部４０において顔検出を実行している。
【００４９】
顔検出の手法として、「顔」を表す所定サイズ（面積）のテンプレートを用いて、「顔」を検出することが周知の技術とされており、第１の実施形態においても、基本的には、この手法を採用している。
【００５０】
ただし、第１の実施形態における顔検出は、テンプレートのサイズと顔画像のサイズとを照合するための処理手順をより簡便化するようにしている。
【００５１】
図２を用いて、顔検出を実行する顔検出部４０についての構成を説明する。なお、図２の各ブロックは、顔検出部４０のハード構成を限定するものではなく、あくまでも機能的に分類したものである。
【００５２】
スルー画像抽出部４６は、システムＢＵＳ２６と、拡縮処理部４８と、画角状態判定部５０と、に接続されている。
【００５３】
スルー画像抽出部４６は、ＣＣＤ１６において時間的に連続して撮像されることで得られたスルー画像データ（スルー画像は、例えば、３０フレーム／secで処理される。）を１コマずつシステムＢＵＳ２６から抽出する。抽出されたスルー画像データは、拡縮処理部４８と、画角状態判定部５０と、に出力される。拡縮処理部４８は、サイズ拡縮率テーブル５２と拡縮データメモリ５４と、接続されている。
【００５４】
拡縮処理部４８は、画像データとテンプレートデータと、を照合するために、スルー画像抽出部４６で抽出したスルー画像データの画像サイズに拡大処理及び縮小処理を施すことで、段階的に分類された画像サイズに応じた画像データを形成する。
【００５５】
拡縮処理部４８でのスルー画像データの画像サイズに対する拡大処理及び縮小処理は、サイズ拡縮率テーブル５２に記憶された所定倍率を順次読取り、その後、画像データのアスペクト比を一定に保つと共に、解像度を変更させることなく、読取った各所定倍率を画像データの縦及び横の長さに乗じることで、段階的に分類された画像サイズの画像データを作成する。
【００５６】
なお、サイズ拡縮率テーブル５２は、画像サイズの拡大処理及び縮小処理によって得られる画像サイズの段階に対応した所定倍率が記憶されている。第１の実施形態では、スルー画像抽出部４６で抽出したスルー画像データの画像サイズの拡大処理及び縮小処理を行うことによって、１０段階（画像サイズ０〜９）の画像サイズ別に画像データを形成するため、０〜９の段階毎に所定倍率が記憶されている。なお、上記段階の数は一例であり、必ずしも１０段階である必要はないことはいうまでもない。
【００５７】
上記拡大処理及び縮小処理終了後、拡縮処理部４８は、０〜９の画像サイズ別に形成された画像データを拡縮データメモリ５４へ出力する。
【００５８】
拡縮データメモリ５４は、拡縮データ読取部５８に接続されている。拡縮データメモリ５４は、拡縮処理部４８において、スルー画像データに対して画像サイズの拡大処理及び縮小処理を施した０〜９の画像サイズ別に画像データが記憶される。
【００５９】
画角状態判定部５０は、顔検出に用いる画像データの画像サイズの段階を表すサイズ識別データを設定するサイズ設定部５６に接続されている。撮像された被写体が、前回撮像された被写体から変化した場合は、顔検出を再度やり直す。そのため、この画角状態判定部５０は、今回撮像された被写体が、前回撮像された被写体から変化したか否かを判定する。
【００６０】
なお、撮像された被写体が、前回撮像された被写体から変化したか否かを判定するには、まず、前回抽出したスルー画像データの中央部分の領域の輝度を示すデータと今回抽出したスルー画像データの上記領域と同一領域の輝度を示すデータとの相関を表す評価値を算出する。そして、評価値が所定値以上となった場合に、撮像された被写体が変化したと判定される。
【００６１】
画角状態判定部５０において、撮像された被写体が、前回撮像された被写体から変化したと判定された場合は、画角状態判定部５０は、サイズ設定部５６に設定されたサイズ識別データをリセットするために、サイズ設定部５６にリセット信号を出力する。このサイズ設定部５６は、このリセット信号に基づいて、サイズ識別データをリセットすると共に、０〜９の画像サイズの全て又は何れかの段階を表すサイズ識別データを新たに設定する。
【００６２】
このサイズ設定部５６は、拡縮データ読取部５８と、サイズ選別部６０と、接続され、拡縮データ読取部５８は、比較部６２に接続されている。この拡縮データ読取部５８は、サイズ設定部５６が設定したサイズ識別データを読取り、読取ったサイズ識別データに該当する画像サイズの画像データを拡縮データメモリ５４から読取る。拡縮データ読取部５８は、拡縮データメモリ５４から読取った画像データを比較部６２へ出力する。
【００６３】
比較部６２は、所定サイズ（面積）のテンプレートを表すテンプレートデータが記憶されたテンプレートデータメモリ６４と、サイズ選別部６０と、接続されている。この比較部６２は、テンプレートデータメモリ６４からテンプレートデータを読取る。比較部６２は、読取ったテンプレートデータと拡縮データ読取部５８から出力された画像データと、を比較する。この比較によって、画像データに顔が存在するか否かの判定が行われる。判定後、比較部６２は、判定結果をサイズ選別部６０へ出力する。
【００６４】
なお、画像データとテンプレートデータとの比較方法は、周知の技術と同様な手法を用いて行うため説明を簡略化するが、拡縮処理部４８において、画像サイズの拡大処理及び縮小処理を施した各々の画像データに対して、テンプレートデータと同一サイズ（同一のアスペクト比であり、かつ同一面積である）であると共に、０〜９の画像サイズのうち最小画像サイズよりも小さなサイズ（以下、「読取り単位」という。）に区分された画像データの各部分（以下、「部分画像データ」という。）を順次切り出し（例えば、１画素ずつ移動させて）、切り出した部分画像データとテンプレートデータとを順次比較する。
【００６５】
より具体的には、切り出した部分画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出し、評価値が所定の閾値以上の値を示す場合には、切り出した部分画像データが顔であると予想される。
【００６６】
なお、本実施の形態では、スルー画像を所定の複数の倍率に応じて拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された各段階の画像を上記読取り単位毎に順次読取り、読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を、スルー画像抽出部４６で抽出されたスルー画像データの各コマ毎に連続して行う。
【００６７】
サイズ選別部６０は、顔抽出データメモリ更新部６６に接続されている。サイズ選別部６０は、比較部６２から出力された判定結果に基づいて、次のスルー画像データに対する顔検出に用いる画像サイズを選別する。選別を行った後に、サイズ選別部６０は、選別した画像サイズの段階をサイズ設定部５６及び顔抽出データメモリ更新部６６へ出力する。
【００６８】
次のスルー画像データに対する顔検出に用いる画像サイズを選別する理由として、比較部６２で顔が存在すると予想される画像サイズ、及び当該画像サイズに近傍の画像サイズを用いて、２回目以降のスルー画像データに対する顔検出を行うことで、０〜９の画像サイズ別に形成された全ての画像データを用いて顔検出を行う必要性が無くなるので、処理時間を軽減することが可能となるためである。
【００６９】
図３は、一般的な被写体から、顔サイズ幅を統計的に表したものであり、０〜９の画像サイズのうち、前回の顔検出処理によって顔が存在すると判定された２つの画像サイズに対して、次の顔検出では、この２つの画像サイズの両隣の画像サイズ、すなわち４つの画像サイズをカバーすることによって、９８％の確率で顔を検出することが可能であることを示している。
【００７０】
従って、上記事実に基づいて、サイズ選別部６０では、比較部６２で顔が存在すると予想される画像サイズの両隣の画像サイズを、次のスルー画像データに対して、４つの画像サイズを考慮して、２回目以降の顔検出に用いる画像サイズとして選別し、選別した画像サイズの段階を表すサイズ識別データがサイズ設定部５６によって設定される。
【００７１】
図２に示される如く、顔抽出データメモリ更新部６６は、データ出力部６８に接続されている。顔抽出データメモリ更新部６６は、サイズ選別部６０において、顔が存在すると判定された画像サイズの画像データに含まれる顔部分を抽出する。そして、抽出した顔部分に関するデータを一時的に記憶した後、データ出力部６８へ記憶したデータを出力する。
【００７２】
データ出力部６８は、システムＢＵＳ２６に接続されている。データ出力部６８は、抽出した顔部分の明るさ補正及び濃度補正等を行うため、顔抽出データメモリ更新部６６に記憶された画像データに関するデータをシステムＢＵＳ２６に出力する。
【００７３】
次に、第１の実施形態に係るデジタルカメラ１の作用を説明する。
【００７４】
まず、光学ユニット１０を介して被写体の撮像がＣＣＤ１６で行われ、被写体像を写すＲ（赤）、Ｇ（緑）、Ｂ（青）の各色のアナログ信号がＣＣＤ１６から順次出力され、出力されたアナログ信号は、ＣＤＳ２０に入力されて、相関二重サンプリング処理等が実施される。
【００７５】
その後、ＣＤＳ２０からＡＤＣ２２へアナログ信号が入力されて、ＡＤＣ２２は、Ｒ、Ｇ、Ｂ各色のアナログ信号をデジタル信号に変換して画像データを形成し、画像データを画像入力コントローラ２４へ出力する。画像入力コントローラ２４は、ＡＤＣ２２から入力された画像データを蓄積し、一時、ＳＤＲＡＭ３８の所定領域へ記憶する。
【００７６】
また、ＳＤＲＡＭ３８へ記憶された画像データは、ＣＰＵ１４の制御下で、画像信号処理回路２８で読み出され、これらにＡＥ・ＡＷＢ検出回路３４によって検出された物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行うと共に、ガンマ処理及びシャープネス処理を行って所定ビット（一例として８ビット）の画像データを生成し、更にＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」という。）を生成し、ＹＣ信号をＳＤＲＡＭ３８の上記所定領域とは異なる領域に記憶する。
【００７７】
また、ＬＣＤ４４は、ＣＣＤ１６による連続的な撮像によって得られたスルー画像を表示してファインダとして使用することができるものとして構成されているが、このようにＬＣＤ４４をファインダとして使用する場合は、生成したＹＣ信号を、表示制御回路４２を介して順次ＬＣＤ４４に出力する。これによって、ＬＣＤ４４にスルー画像が表示されることになる。
【００７８】
さらに、顔検出部４０において、スルー画像抽出部４６が、上記スルー画像に関する画像データを取得する。取得後、拡縮処理部４８によって画像サイズの拡大処理及び縮小処理を行う。その後、画像サイズの拡大処理及び縮小処理によって得られた複数の画像データ毎に読取り単位で示されるサイズの輝度値と所定サイズのテンプレートデータの輝度値とを順次比較することによって、どの画像サイズの画像データに顔が存在するか否かの判定を比較部６２で行う。
【００７９】
次に、図４に示すフローチャートを用いて顔検出部４０における処理について説明する。
【００８０】
ステップ３００では、スルー画像抽出部４６において、ＣＣＤ１６によって連続的に撮像されることで得られたスルー画像データを１コマ抽出する。そして、抽出したスルー画像データを拡縮処理部４８及び画角状態判定部５０へ出力する。
【００８１】
次にステップ３０２では、撮像された被写体が前回撮像された被写体から変化したか否かの判定を行う。画角状態判定部５０において、前回スルー画像抽出部４６が抽出した画像データと、今回抽出した画像データとを比較する。比較後、撮像された被写体が前回撮像された被写体から変化したと判断した場合は、ステップ３０４へ進む。変化していないと判断した場合は、ステップ３１４へ進む。なお、ステップ３００によって抽出されたスルー画像データが、顔検出処理が行われる対象となる１コマ目のスルー画像データである場合は、常にステップ３０４へ進む。
【００８２】
ステップ３０４では、０〜９の画像サイズ（フルサイズ）で顔検出を行うため、サイズ設定部５６で０〜９の画像サイズの段階を表すサイズ識別データが設定される。
【００８３】
次に、ステップ３０６では、拡縮処理部４８において、サイズ設定部５６で設定されたサイズ識別データに基づいてサイズ拡縮率テーブル５２に予め記憶された０〜９の画像サイズ別に記憶された所定倍率を順次読取り、次のステップ３０８へ進む。
【００８４】
次に、ステップ３０８では、ステップ３０６の処理において読取った所定倍率を、スルー画像抽出部４６で抽出したスルー画像データの縦及び横の長さに乗じることで、画像サイズ別に画像データが形成され、形成された全ての画像データを拡縮データメモリ５４へ記憶する。
【００８５】
次に、ステップ３１０は、ステップ３０８で形成された各画像データに対して上述した顔検出処理を実行する。
【００８６】
本ステップ３１０における顔検出に関する処理の詳細を図５のフローチャートを用いて説明する。
【００８７】
まず、ステップ４００において、拡縮データ読取部５８が、サイズ設定部５６で設定されたサイズ識別データに示される画像サイズの段階を読取る。次のステップ４０２において、拡縮データ読取部５８が、ステップ４００で読取ったサイズ識別データに該当する画像サイズの画像データを拡縮データメモリ５４から読取る。
【００８８】
ステップ４０４では、比較部６２が、テンプレートデータメモリ６４からテンプレートデータを読取り、読取ったテンプレートデータと拡縮データ読取部５８で読取った画像データとの比較を行う。
【００８９】
画像データとテンプレートデータとの比較方法は、上記に示すように、画像サイズ別に形成された各画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出する。
【００９０】
次に、図４に示すステップ３１２では、スルー画像に対する顔検出処理を終了する指示が入力されたか否かを判断し、肯定判断となった場合は本プログラムを終了する一方、否定判断となった場合はステップ３００へ戻り、次のコマのスルー画像データに対し顔検出処理を行う。なお、顔検出処理を終了する指示は、例えば、ユーザが所定のボタン（例えば、シャッターボタン）を押圧することにより、入力される。
【００９１】
一方、ステップ３０２で否定判断となった場合は、ステップ３１４’において、サイズ選別部６０で、前回の顔検出によって顔が存在すると予想されたスルー画像の画像サイズの段階に基づいて、次のスルー画像に対して行う顔検出処理に用いる画像サイズの段階が選別される。
【００９２】
本ステップでは、サイズ選別部６４において、ステップ３１０の顔検出において算出した評価値が、所定の閾値以上を示す画像サイズを含む近傍の画像サイズ（本例では４つの画像サイズ）を、次のスルー画像に対して拡大又は縮小する画像サイズの段階として選別する。なお、前回のスルー画像データから顔が検出されなかった場合は、本ステップでは、画像サイズの段階として０〜９の画像サイズを選別する。
【００９３】
次のステップ３１６では、サイズ設定部５６によってステップ３１２で選別された画像サイズの段階を表すサイズ識別データが設定される。
【００９４】
次に、図３に示す顔検出部４０の処理の具体的な例を図６に示し処理の流れを簡略に説明する。
【００９５】
まず、図６（Ａ）は、スルー画像抽出部４６が、スルー画像データを抽出し、抽出したスルー画像データに対して、画像サイズの拡大処理及び縮小処理によって、０〜９（フルサイズ）の画像サイズ別に画像データが形成されていることを表したものである。
【００９６】
図６（Ｂ）は、０〜９（フルサイズ）の画像サイズ別に形成された画像データとテンプレートデータと、を用いて顔検出を行った結果、顔が存在すると予想される画像サイズが５及び６であることを表したものである。
【００９７】
次に、図６（Ｃ）は、次の顔検出に使用する画像サイズを選別するために、顔が存在すると予想される画像サイズ５及び６の近傍の４つの画像サイズを含むように画像サイズ４〜７が選別されたことを表したものである。
【００９８】
そして、図６（Ｄ）は、選別された画像サイズ４〜７の画像データとテンプレートデータと、を用いて２コマ目のスルー画像に対して顔検出処理を行い、その結果、顔が存在すると予想される画像サイズが４及び５であることを表したものである。次の図６（Ｅ）は、顔が存在すると予想される画像サイズ４及び５に対して、２つの画像サイズの両隣の画像サイズ、すなわち４つの画像サイズを含むように、画像サイズ３〜６が３コマ目のスルー画像に対する顔検出量に用いる画像データとして選別されたことを表している。
【００９９】
［変形例］
上記第１の実施形態は、顔検出で顔が検出された画像サイズに対して、画像サイズの制限幅を固定して、次の顔検出に用いる画像サイズを選別するよう制御を行っている。
【０１００】
しかし、画像データの画像サイズに対して被写体の顔のサイズが小さい時は、画像サイズが拡大された画像データから顔が検出される。
【０１０１】
従って、部分画像データとテンプレートデータとの比較回数が増加するため、顔検出の処理速度に大きな影響が生じる。
【０１０２】
逆に、画像データの画像サイズに対して被写体の顔サイズが大きい時は、画像サイズの小さい画像データから顔が検出される。
【０１０３】
従って、部分画像データとテンプレートデータとの比較回数は軽減されるため、顔検出の処理速度に大きな影響が生じない。
【０１０４】
そこで、第１の実施形態の変形例は、大きな画像サイズを用いて顔検出を行う場合には、顔検出に用いる画像サイズの候補の段階の数を相対的に少なくするよう制御することで、顔検出の処理速度を制御するものである。
【０１０５】
第１の実施形態の変形例に係るデジタルカメラ１の制御系の構成は、上記第１の実施形態に係るデジタルカメラ１の制御系の構成（図１参照）と同様であるので、同一符号を用いて説明は省略する。
【０１０６】
また、顔検出を実行する顔検出部４０についての構成を、図７を用いて説明するが、上記第１の実施形態で説明した顔検出部４０（図２参照）と同様な構成については同一の符号を用いて説明は省略し、相違する部分のみ説明する。
【０１０７】
上記第１の実施形態における顔検出部４０と相違する部分は、顔検出に使用する画像サイズの選択幅を制限するためのデータを記憶するサイズ制限データ記憶部７０が備えられている点である。サイズ制限データ記憶部７０は、サイズ選別部６０に接続されている。サイズ選別部６０は、このサイズ制限データ記憶部７０に記憶されたデータを読取り、次の顔検出に用いる画像サイズの選別を行っている。
【０１０８】
図８（Ａ）は、小さなサイズから順に０〜９で表した画像サイズの段階、及び画像サイズの拡大処理及び縮小処理によって得られた画像データの短辺を所定数ｎで除算した長さで構成されている。また、図８（Ａ）は、画像データに含まれる顔のサイズが大きいものほど画像サイズの小さいものから顔が検出され、画像データに含まれる顔のサイズが小さいものほど画像サイズの大きいものから顔が検出されることを示している。
【０１０９】
また、図８（Ｂ）は、顔検出に使用する画像サイズの制限幅を制限するための制限幅チャートの一例である。各制限幅チャートの幅は、図８（Ａ）に示す画像サイズの段階に対応しており、パターンa、パターンｂ、及びパターンｃ等の制限幅の相違するパターンから構成されている。これらのパターンの種類に対応させて画像サイズの段階数を制限する幅が、サイズ制限データ記憶部７０に記憶されている。
【０１１０】
このパターンの設定の一例として、図８（Ｂ）では、パターンaは、顔検出に用いる画像サイズの制限幅を０〜７に設定し、パターンｂは、制限幅を３〜８に設定し、さらに、パターンｃは、制限幅を６〜９に設定している。
【０１１１】
パターンの設定の一例として、パターン毎に制限幅を変えて設定する理由を説明する。上記第１の実施形態で説明したように、次の顔検出に用いる画像サイズの制限幅を固定すると、制限幅に応じて顔検出の処理速度に差異が生じる。
【０１１２】
しかしながら、上記のように被写体の顔サイズの大きいものほど、小さい画像サイズから顔が検出されるため、切り出した部分画像データとテンプレートデータとの比較回数は少なくてすむ。つまり、顔検出の処理速度に大きな影響が生じない。従って、被写体の顔サイズの大きいものほど制限幅を広げて設定することでも、処理速度に大きな影響を及ぼすことはない。
【０１１３】
一方、被写体の顔サイズが小さいものほど、大きい画像サイズから顔が検出されるため、切り出した部分画像データとテンプレートデータとの比較回数が多くなる。つまり、顔検出の処理速度に大きな影響が生じる。従って、被写体の顔サイズの小さいものほど制限幅を狭めて設定する。
【０１１４】
すなわち、パターンa、パターンｂ、及びパターンｃの制限幅の範囲に含まれる画像サイズを用いて各々顔検出を行った場合、顔検出に要する処理時間を同等とすると共に、候補の段階の数をより広げて各制限幅を設定することで、顔検出精度向上と処理速度の制御を行うことが可能となる。
【０１１５】
また、サイズ制限データ記憶部７０には、図９に示すパターン遷移表を表すデータの一例が記憶されている。
【０１１６】
図９に示すパターン遷移表は、前回の顔検出で顔が存在すると予想された画像サイズのうち最大の画像サイズと今回の顔検出で顔が存在すると予想された画像サイズのうち最大の画像サイズとの関係から、次の顔検出に使用する画像サイズの制限幅を定めるために、上記パターンa、パターンｂ、及びパターンｃが設定できるように構成されている。
【０１１７】
また、図９は、前回の顔検出で顔が存在すると予想された画像サイズのうち最大の画像サイズと今回の顔検出で顔が存在すると予想された画像サイズのうち最大の画像サイズとの関係に対応させてパターンの種類を表すデータが設定された状態を示している。
【０１１８】
次に、図１０に示すフローチャートを用いて顔検出部４０における処理を説明するが、上記第１の実施形態で説明した図３のフローチャートと同一のステップは同一の符号を付して説明を省略する。
【０１１９】
ステップ５００では、ステップ３１０による顔検出処理によって顔が検出された場合は、ステップ５０２へ進む一方、顔が検出されなかった場合はステップ５０２における処理を実行することなくステップ３１２へ進む。
【０１２０】
ステップ５０２では、ステップ３１０による顔検出処理によって顔が存在すると予想される画像サイズのうち、最大の画像サイズを表すデータが選別され、一時的にサイズ選別部６０に記憶される。
【０１２１】
ステップ３１４’では、次の顔検出において使用する画像サイズの段階の選別を行う。
【０１２２】
本ステップでは、サイズ選別部６０が、ステップ５０２において取得された最大の画像サイズを表すデータに基づいて、次のスルー画像データに対する顔検出の対象となる段階の画像サイズを示すパターンをパターン遷移表（図９参照）から読取る。
【０１２３】
次に、サイズ選別部６０が、読取ったパターンに該当する図８（Ｂ）に示す制限幅チャートの範囲内の画像サイズの段階を表すデータを読取る。
【０１２４】
読取った画像サイズの段階を表すデータは、サイズ選別部６０からサイズ設定部５６へ出力される。サイズ設定部５６は、サイズ選別部６０から出力された画像サイズを表すデータをサイズ識別データとして設定する。すなわち、制限幅チャートを用いることで、次の顔検出に使用する画像サイズの制限幅を制御している。
【０１２５】
［第２の実施形態］
以下、本発明の第２の実施形態について説明する。
【０１２６】
上記第１の実施形態において、被写体とテンプレートとの照合によって顔検出を実行しているが、例えば、図１１に示すように、被写体の顔には、正面顔を０°、左横向きを正として、それぞれ角度を有する。第２の実施形態では、これらの顔の左右の向き（アウトプレーン角度）を表すテンプレートを予め作成し、顔検出を実行するようにしている。
【０１２７】
しかし、横顔や斜め横顔等の向きを表すテンプレートを用いた顔検出処理を更に行うと、被写体とテンプレートとの照合を行う回数が増加し、処理時間も増加する。
【０１２８】
そこで、第２の実施形態では、横顔や斜め横顔等の向きを表すテンプレートを用いて顔検出を実行すると共に、被写体とテンプレートとの照合を行う回数を減らすよう制御することで、処理時間の増加を防ぐことを目的とする。
【０１２９】
第２の実施形態に係るデジタルカメラ１の制御系の構成は、上記第１の実施形態に係るデジタルカメラ１の制御系の構成（図１参照）と同様であるため、同一符号を用いて説明を省略する。
【０１３０】
また、顔検出を実行する顔検出部４０についての構成を、図１２を用いて説明するが、上記第１の実施形態で説明した顔検出部４０（図２参照）と同様な構成については同一の符号を用いて説明は省略し、相違する部分のみ説明する。
【０１３１】
上記第１の実施形態における顔検出部４０と相違する部分は、アウトプレーン角度に応じて顔検出を実行するか否かを判定するためのデータを記憶する検出可否判定テーブル７２が備えられている点である。なお、このアウトプレーン角度は、正面を０°とし、左横向きを正としている。
【０１３２】
検出可否判定テーブル７２は、比較部６２に接続されている。比較部６２は、検出可否判定テーブル７２に記憶されたデータを読取り、顔検出を実行するか否かを判定する。顔検出を実行すると判定した場合、比較部６２は、画像データとテンプレートデータとの比較を行う。
【０１３３】
この検出可否判定テーブル７２には、例えば、下記表１に示すように、アウトプレーン角度と顔検出に用いる画像サイズとの関係から、０〜９の画像サイズの段階に対して顔検出を実行するか否かを表す検出可否情報（○は、顔の検出を行うことを示し、×は、顔の検出を行わないことを示す。）が設定される。
【０１３４】
なお、表１に示すアウトプレーン角度は一例であり、表１に示す角度と異なる角度をアウトプレーン角度として用いてもよい。
【０１３５】
【表１】
一般的に被写体中には、小さい顔の真横顔が、正面顔や斜め横顔よりも撮像される回数が少ないため、上記表１に示すように、大きな画像サイズ６〜９については、顔検出処理の対象となるアウトプレーン角度の種類が少なく設定される。すなわち、分類された画像の画像サイズが大きいほど顔検出処理の対象となるアウトプレーン角度の種類が少なく設定される。
【０１３６】
図１３は、アウトプレーン角度によって顔検出を実行するか否かを制限する画像サイズ別制限装置７２Ａ〜７２Ｊ（図１３において、７２Ｃ〜７２Ｉは図示省略）を示しており、顔検出に用いる画像サイズ別に、比較部６２に備えられている。
【０１３７】
この比較部６２は、サイズ設定部５６で設定されたサイズ識別データが、拡縮データ読取部５８を介して入力されると共に、入力された画像サイズに該当する画像サイズ別制限装置７２Ａ〜７２Ｊのいずれかにおいて顔検出を実行する。
【０１３８】
図１４に示される如く、この画像サイズ別制限装置７２Ａ〜７２Ｊは、各々、選択器７４と、制限器７６〜８４と、を含んで構成されている。
【０１３９】
また、選択器７４は、各アウトプレーン角度に対応させて備えられた制限器７６〜８４に接続されている。この選択器７４は、顔検出を実行するアウトプレーン角度を選択する。選択後、顔検出を実行するか否かを表すデータを制限器７６〜８４へ出力する。
【０１４０】
制限器７６は、選択器７４からの出力データに基づいて、アウトプレーン角度が、−９０°（左横向き）の顔検出を実行するか否かのデータを設定する。顔検出を実行する場合はＯＮに設定され、実行しない場合はＯＦＦに設定される。他の制限器も同様な処理を実行し、制限器７８はアウトプレーン角度が−４５°、制限器８０はアウトプレーン角度が０°、制限器８２はアウトプレーン角度が４５°、及び制限器８４はアウトプレーン角度が９０°に各々対応している。
【０１４１】
また、テンプレートデータメモリ６４には、正面顔を表すテンプレート以外にも、アウトプレーン角度が、−９０°、−４５°、４５°、及び９０°を有する顔を表すテンプレートデータが、予め記憶されている。
【０１４２】
図１５に示すフローチャートを用いて第２の実施形態に係るデジタルカメラ１における顔検出を説明するが、上記第１の実施形態で説明した顔検出に関する図４に示すフローチャートと同一の処理を行うステップについては、同一の符号を用いて説明を行う。
【０１４３】
まず、ステップ４００では、拡縮データ読取部５８が、サイズ設定部５６で設定された顔検出に用いるサイズ識別データを読取る。次のステップ４０２では、ステップ４００で読取ったサイズ識別データに該当する画像サイズの画像データを拡縮データメモリ５４から読取る。
【０１４４】
次に、ステップ６００では、比較部６２が、ステップ４００で読取ったサイズ識別データに基づいて、顔検出で用いる画像サイズ及びアウトプレーン角度に関するデータを検出可否判定テーブル７２から読取る。
【０１４５】
本ステップ６００の一例として、サイズ設定部５６において、画像サイズ５及び６を表すサイズ識別データが設定された場合、比較部６２は、サイズ識別データに該当する画像サイズ別制限装置７２Ｆ（図示省略）及び画像サイズ別制限装置７２Ｇ（図示省略）において、顔検出を実行する。
【０１４６】
画像サイズ別制限装置７２Ｆでは、選択器７４が、画像サイズ５に該当する検出可否情報を検出可否判定テーブル７２から読取る。上記表１に示すように、−９０°、−４５°、０°、４５°、及び９０°の全アウトプレーン角度に対して顔検出を行うことを表す検出可否情報が読み取られるため、各制限器７６〜８４がＯＮに設定される。
【０１４７】
また、画像サイズ別制限装置７２Ｇでは、選択器７４が、画像サイズ６に該当する検出可否情報を検出可否判定テーブル７２から読取る。上記表１に示すように、−４５°、０°、及び４５°のアウトプレーン角度に対して顔検出を行うことを表す検出可否情報が読取られるため、制限器７８〜８２がＯＮに設定されると共に、制限器７６及び８４がＯＦＦに設定される。
【０１４８】
次のステップ４０４では、比較部６２が、テンプレートデータメモリ６４からテンプレートデータを読取る。そして、読取ったテンプレートデータと拡縮データ読取部５８で読取った画像データとの比較を行う。
【０１４９】
画像データとテンプレートデータとの比較方法は、上記したように、ステップ６００で制限器７６〜８４においてＯＮに設定されたアウトプレーン角度に該当するテンプレートデータを用いて、切り出した部分画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出する。
【０１５０】
なお、第３の実施形態の顔検出は、上記第１の実施形態及び第１の実施形態の変形例で説明した図４及び図１０に示すステップ３１０における処理で用いることも可能である。
【０１５１】
［第３の実施形態］
以下、本発明の第３の実施形態について説明する。
【０１５２】
上記第２の実施形態では、横顔や斜め横顔等の顔の向きを考慮して、顔検出を実行したが、撮影者が、デジタルカメラ１の光軸あるいは、それと平行な軸を中心に回転させて撮影を行う場合、図１６に示すように、撮像された被写体の顔は、天地方向を０°とした時計回り方向に回転させたときを正として、それぞれ角度を有することになる。
【０１５３】
このとき、顔検出を実行するには、さらに天地方向を０°とした時計回り方向に回転させた角度（インプレーン角度）を有する顔を表すテンプレートを作成すると、スルー画像データとテンプレートとの比較を行う回数が増加し、処理時間が増加する。
【０１５４】
そこで、第３の実施形態では、天地方向を０°とした時計回り方向に回転させた顔を表すテンプレートを用いて顔検出を実行すると共に、スルー画像データとテンプレートとの照合を行う回数を減らすよう制御することで、処理時間の増加を防ぐことを目的とする。
【０１５５】
第３の実施形態に係るデジタルカメラ１の制御系の構成は、上記第１の実施形態に係るデジタルカメラ１の制御系の構成（図１及び図２参照）と同様であるため、同一符号を用いて説明を省略する。
【０１５６】
図１７は、画像データとテンプレートデータとの比較を行う判別器群８６を表しており、判別器群８６は、比較部６２に備えられている。この判別器群８６は、判別器選択部８８と、アウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４（以下、総称する場合は、アウトプレーン判別器）と、インプレーン（０°）判別器９６、インプレーン（３０°）判別器９８、・・・・インプレーン（３３０°）判別器１１８（以下、総称する場合は、インプレーン判別器）と、を含んで構成されている。
【０１５７】
判別器選択部８８は、アウトプレーン判別器と、インプレーン判別器と、接続されている。判別器選択部８８は、顔検出の対象とするアウトプレーン角度及びインプレーン角度に対応させてアウトプレーン判別器及びインプレーン判別器を選択する。その後、選択したアウトプレーン判別器及びインプレーン判別器に画像データを出力する。
【０１５８】
アウトプレーン（左横）判別器９０は、判別器選択部８８から出力された画像データと、アウトプレーン角度が２７０°（左横向き）のテンプレートデータをテンプレートデータメモリ６４から読取り、比較を行う。同様に、アウトプレーン（正面）判別器９２は、アウトプレーン角度が０°（正面向き）のテンプレートデータを用いて比較を行い、さらにアウトプレーン（右横）判別器９４は、アウトプレーン角度が９０°（右横向き）のテンプレートデータを用いて比較を行う。
【０１５９】
なお、テンプレートデータメモリ６４には、インプレーン角度及びアウトプレーン角度を有する顔を表すテンプレートデータが記憶されている。本実施の形態に係るデジタルカメラ１に記憶されているテンプレートデータは、アウトプレーン角度が、正面、右横、及び左横の顔を表す各テンプレートデータに対して、天地方向を０°とした時計周り方向に３０°ずつ回転させることで作成されているが、これに限らず、アウトプレーン角度及びインプレーン角度として他の角度を適用しても良い。
【０１６０】
インプレーン（０°）判別器９６は、判別器選択部８８から出力された画像データと、インプレーン角度が０°の顔を表すテンプレートデータをテンプレートデータメモリ６４から読取り、比較を行う。同様に、その他のインプレーン（３０°）判別器９８〜インプレーン（３３０°）判別器１１８は、インプレーン角度に応じた顔を表すテンプレートデータを用いて比較を行う。
【０１６１】
次に、図１８〜図２１に示すフローチャートを用いて、顔検出部４０における処理について説明するが、図４のフローチャートと同一のステップは同一の符号を付して説明を省略する。なお、図１８〜図２１に示すフローチャートは、１コマ目のスルー画像に対して顔検出処理を行い、その結果に基づいて次のスルー画像に対する顔検出処理において検出対象とするインプレーン角度を設定するための処理を示している。
【０１６２】
まず、ステップ７００は、顔検出を実行した回数をカウントするためのカウンタ（dirc）のリセットを行う。次のステップ７０２では、インプレーン角度が０°、９０°、及び２７０°の顔検出を行うため、判別器選択部８８において、インプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４が選択される。
【０１６３】
インプレーン角度が０°、９０°、及び２７０°の顔検出を実行する理由としては、撮影者が、デジタルカメラ１の光軸あるいは、それと平行な軸を中心に回転させて撮影を行う場合、撮像された被写体の顔は、天地方向を０°とした時計回り方向に回転させたときを正として、０°、９０°、及び２７０°を有する機会が、多いためである。
【０１６４】
次に、ステップ７０４では、ステップ３０４において、サイズ設定部５６で設定された画像サイズの段階を表すサイズ識別データ、すなわち０〜９の画像サイズ別に形成された画像データに対して、ステップ５０２で選択されたインプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４を用いて、顔検出を行う。
【０１６５】
本ステップ７０４の詳細な処理を図２０に示すフローチャートを用いて説明するが、上記第１の実施形態及び第２の実施形態で説明した顔検出に関する図５及び図１５に示すフローチャートと同一の処理を行うものについては、同一の符号を付与して説明を行う。
【０１６６】
まず、ステップ４００では、拡縮データ読取部５８が、サイズ設定部５６で設定された顔検出に用いる０〜９の画像サイズを表すサイズ識別データを読取る。
【０１６７】
次のステップ４０２では、拡縮データ読取部５８が、ステップ４００で読取ったサイズ識別データに該当する画像データを拡縮データメモリ５４から読取る。
【０１６８】
次に、ステップ７３８では、ステップ７０２で選択されたインプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４を用いて、画像データとテンプレートデータとの比較を行う。
【０１６９】
画像データとテンプレートデータとの比較を行うには、インプレーン（０°）判別器９６が、インプレーン角度が０°であるテンプレートデータをテンプレートデータメモリ６４から読取る。次に、ステップ４０２で拡縮データ読取部５８において読取られた０〜９の画像サイズとインプレーン角度が０°であるテンプレートデータとの比較を、各画像サイズ毎に行う。
【０１７０】
同様に、インプレーン（９０°）判別器１０２は、インプレーン角度が９０°であるテンプレートデータを用いて比較を行い、さらにインプレーン（２７０°）判別器１１４は、インプレーン角度が２７０°であるテンプレートデータを用いて比較を行う。
【０１７１】
画像データとテンプレートデータとの比較方法は、上記したように、画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出することによって行う。
【０１７２】
次に、ステップ７０６では、０〜９の画像サイズで形成された画像データのうち、顔が存在すると予想される画像サイズが検出された場合、ステップ７４０（図２１参照）へ進む。つまりステップ７３８において、比較部６２で顔検出を行った結果、算出された評価値が、所定の閾値以上を示す画像サイズが検出された場合は、ステップ７４０へ進む。画像サイズが検出されなかった場合は、ステップ７０８へ進む。
【０１７３】
ステップ７０８では、顔検出を実行した回数を表すカウンタ（dirc）をインクリメントし、このカウンタが所定回数（ＤＤＡは予め定められた所定数を示す）以上となった場合、インプレーン角度が、０°、９０°、及び２７０°に対しては、顔が存在しないと判定され、ステップ７１０へ進む。カウンタ（dirc）が所定回数以下である場合には、ステップ７０４へ戻る。なお、ステップ７０８に記載のdirc＋＋は、dircがインクリメントされたことを表す。以下、dirc＋＋は、同様な内容を示す。
【０１７４】
ステップ７１０では、顔検出を実行した回数をカウントするためのカウンタ（dirc）のリセットを行う。次のステップ７１２では、顔検出を行うインプレーン角度の範囲を広げるため判別器選択部８８によって、対応するインプレーン判別器が選択されることで、顔検出の対象となるインプレーン角度を設定する。なお、本実施の形態では、本ステップで設定するインプレーン角度を３０°，６０°，１２０°，２４０°，３００°，３３０°とするが、これに限らないことはいうまでも無い。
【０１７５】
ステップ７１４では、ステップ７０４と同様な処理を行うため説明を省略する。
【０１７６】
次のステップ７１６は、ステップ７０６と同様な処理であるため説明を省略するが、比較部６２で算出された評価値が、所定の閾値以上を示す画像サイズが検出された場合、ステップ７４０へ進み、画像サイズが検出されなかった場合、ステップ７１８へ進む。
【０１７７】
ステップ７１８では、ステップ７０８と同様に、顔検出を実行した回数を表すカウンタ（dirc）をインクリメントし、このカウンタが所定回数（ＤＤＢは予め定められた所定数を示す）を超えた場合、ステップ７２０（図１９参照）へ進む。すなわち、ステップ７１８で肯定判断となった場合とは、ステップ７１２で選択されたインプレーン判別器によって顔が検出されない場合である。
【０１７８】
一方、カウンタ（dirc）が所定回数以下である場合には、ステップ７１４へ戻り、カウンタの値に応じたインプレーン角度で同一のスルー画像データに対して顔検出を繰り返す。
【０１７９】
次に、ステップ７２０では、顔検出を実行した回数をカウントするためのカウンタ（dirc）のリセットを行う。次のステップ７２２では、アウトプレーン角度が左横、正面、及び右横、インプレーン角度が、０°、９０°、及び２７０°の顔検出を行うため、判別器選択部８６において、アウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４、並びにインプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４が選択される。
【０１８０】
次に、ステップ７２４では、ステップ３０４において、サイズ設定部５６で設定されたサイズ識別データ、すなわち０〜９の画像サイズ別に形成された画像データに対して、ステップ７１８で選択されたアウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４、並びにインプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４を用いて顔検出を行う。
【０１８１】
本ステップ７２４の詳細な処理を、図２０に示すフローチャートを用いて説明する。
【０１８２】
まず、ステップ４００では、拡縮データ読取部５８が、サイズ設定部５６で設定された顔検出に使用する０〜９の画像サイズを表すサイズ識別データを読取る。
【０１８３】
次のステップ４０２では、拡縮データ読取部５８が、ステップ４００で読取ったサイズ識別データに該当する画像データを拡縮データメモリ５４から読取る。
【０１８４】
次に、ステップ７３８では、ステップ７２２で選択されたアウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４、並びにインプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４を用いて、画像データとテンプレートデータとの比較を行う。
【０１８５】
本ステップ７３８における比較は、まず、アウトプレーン（左横）判別器９０が、左横向きのテンプレートデータをテンプレートデータメモリ６４から読取る。次に、ステップ４０２で拡縮データ読取部５８において読取られた０〜９の画像サイズの画像データと左横向きのテンプレートデータとの比較を、各画像サイズ毎に行う。
【０１８６】
同様に、アウトプレーン（正面）判別器９２は、正面向きのテンプレートデータを用いて比較を行い、さらにアウトプレーン（右横）判別器９４は、右横向きのテンプレートデータを用いて比較を行う。
【０１８７】
アウトプレーン判別器における処理が終了すると、インプレーン（０°）判別器９６が、インプレーン角度が０°であり、かつアウトプレーン角度が左横向き、正面向き、及び右横向きのテンプレートデータをテンプレートデータメモリ６４から読取る。次に、ステップ４０２で拡縮データ読取部５８において読取られた０〜９の画像サイズの画像データと読取ったテンプレートデータとの比較を、各画像サイズ毎に行う。
【０１８８】
同様に、インプレーン（９０°）判別器１０２は、インプレーン角度が９０°であり、かつアウトプレーン角度が左横向き、正面向き、及び右横向きのテンプレートデータを用いて比較を行い、さらにインプレーン（２７０°）判別器１１４は、インプレーン角度が２７０°であり、かつアウトプレーン角度が左横向き、正面向き、及び右横向きのテンプレートデータを用いて比較を行う。
【０１８９】
画像データとテンプレートデータとの比較方法は、上記したように、切り出した部分画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出することによって行う。
【０１９０】
次に、ステップ７２６では、ステップ７０６及びステップ７１６と同様な処理であるため説明を省略するが、比較部６２で算出された評価値が所定の閾値以上を示し、顔が存在する画像サイズが検出された場合はステップ７４０へ進む。一方、顔が存在する画像サイズが検出されなかった場合はステップ７２８へ進む。
【０１９１】
次のステップ７２８では、顔検出を実行した回数を表すカウンタ（dirc）をインクリメントし、このカウンタが所定回数（ＤＤＣは予め定められた所定数を示す）を超えた場合、インプレーン角度が、０°、９０°、及び２７０°、各インプレーン角度に対して、アウトプレーン角度が左横、正面、及び右横のテンプレートデータを用いても、顔が存在しないと判定され、ステップ７３０へ進む。カウンタ（dirc）が所定回数以下である場合は、ステップ７２４へ戻る。
【０１９２】
ステップ７３０では、顔検出を実行した回数をカウントするためのカウンタ（dirc）のリセットを行う。次のステップ７３２では、アウトプレーン角度が左横、正面、及び右横、インプレーン角度が、３０°，６０°，１２０°，２４０°，３００°，３３０°の顔検出を実行するため、判別器選択部８８において、アウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４、並びにインプレーン（０°）判別器９６、インプレーン（３０°）判別器９８・・・・インプレーン（３３０°）判別器１１８が選択される。
【０１９３】
ステップ７３４では、ステップ７２４と同様な処理を行うため説明を省略するが、アウトプレーン判別器及びインプレーン判別器を用いて、インプレーン角度が、３０°，６０°，１２０°，２４０°，３００°，３３０°の各３０°毎のインプレーン角度に応じて、アウトプレーン角度が、左横、正面、及び右横のテンプレートデータを用いて、０〜９の画像サイズ別に形成された画像データと比較を行う。
【０１９４】
次に、ステップ７３６では、ステップ７０６、ステップ７１６、及びステップ７２６と同様な処理であるため説明を省略するが、比較部６２で算出された評価値が、所定の閾値以上を示す画像サイズが検出された場合は、図２１に示すステップ７４０へ進む。画像サイズが検出されなかった場合は、ステップ７３９へ進む。
【０１９５】
次のステップ７３９では、顔検出を実行した回数を表すカウンタ（dirc）をインクリメントし、このカウンタが所定回数（ＤＤＤは予め定められた所定数を示す）を超えた場合に本プログラムを終了する。すなわち、ステップ７３９で肯定判断となった場合とは、本プログラムによる顔検出の対象となったスルー画像に顔が存在しない場合である。
【０１９６】
なお、当該スルー画像から顔が検出されないまま本プログラムが終了した場合は、再び本プログラムが開始され次のスルー画像に対して本プログラムによる顔検出が開始される。
【０１９７】
一方、カウンタ（dirc）が所定回数以下である場合には、ステップ７３４へ戻り、カウンタの値に応じたアウトプレーン角度及びインプレーン角度で同一のスルー画像データに対して顔検出を繰り返す。
【０１９８】
次に、図２１のステップ７４０では、ステップ７０６、ステップ７１６、ステップ７２６、及びステップ７３６において、顔が存在すると判定された画像サイズの画像データに含まれるインプレーン角度が、３３０°〜０°〜３０°の範囲に該当するか否かを判断する。
【０１９９】
該当する場合は、ステップ７４６において、顔が存在すると判定されたインプレーン角度の±３０°の角度範囲で、次の顔検出に用いるインプレーン角度を設定する。このインプレーン角度を設定する方法としては、下記表２に示す姿勢判定表に基づいて設定する。下記表２に示す姿勢判定表は、顔検出で検出されたインプレーン角度のうち最多回数検出された角度を表す代表顔の角度、及び水平垂直モードとマルチアングルモードとからなる姿勢判別モードとの関係から、各姿勢判別モードに対してインプレーン角度が設定されている。
【０２００】
【表２】
上記表２における水平垂直モードとは、図２２に示すように、左から順に２４０°〜３００°、３３０°〜３０°、及び６０°〜１２０°のインプレーン角度範囲を表す３つの種類から構成されている。このモードは、被写体の顔には、インプレーン角度が０°、９０°、及び２７０°の顔が多く存在するため、これらの角度を中心に、インプレーン角度範囲を定めるためのものである。
【０２０１】
また、上記表２におけるマルチアングルモードとは、図２３に示すように、左上から順に、２４０°〜３００°、２７０°〜３３０°、３００°〜０°、左下から順に、３３０°〜３０°、０°〜６０°、３０°〜９０°、及び６０°〜１２０°のインプレーン角度範囲を表す７つの種類から構成されている。このモードは、３０°単位で追従して角度範囲を変更できるので、被写体の顔が、ゆっくりと変化した場合に、より適切な角度範囲で顔検出を実行することができる。
【０２０２】
従って、本ステップ７４６では、検出された顔のインプレーン角度と、予め定められた上記のいずれかのモードとに基づいて、次のスルー画像データに対する顔検出に用いるインプレーン角度範囲を定める。
【０２０３】
なお、表２に示すインプレーン角度範囲は一例であり、次のスルー画像データに対する顔検出に用いるインプレーン角度範囲を、表２に示すインプレーン角度範囲と異なる範囲に基づいて設定してもよい。
【０２０４】
ステップ７４０で、３３０°〜０°〜３０°の範囲に該当しない場合には、ステップ７４２へ進む。ステップ７４２では、ステップ７０６、ステップ７１６、ステップ７２６、及びステップ７３６において、顔があると判定された画像サイズの画像データに含まれるインプレーン角度が、６０°〜９０°〜１２０°の範囲に該当するか否かを判定する。
【０２０５】
該当する場合は、ステップ７４６へ進む。ステップ７４６では、上記で説明したように、顔検出に用いるインプレーン角度範囲を設定する。該当しない場合は、ステップ７４４へ進む。
【０２０６】
ステップ７４４では、ステップ７０６、ステップ７１６、ステップ７２６、及びステップ７３６において、顔があると判定された画像サイズの画像データに含まれるインプレーン角度が、２４０°〜２７０°〜３００°の範囲に該当するか否かを判定する。
【０２０７】
該当する場合は、ステップ７４６へ進む。ステップ７４６では、上記で説明したように、顔検出に用いるインプレーン角度範囲を設定する。
該当しない場合は、ステップ７３４へ進む（図１９参照）。
【０２０８】
なお、図２１に示すステップ７４６におけるインプレーン角度範囲の設定に用いる、検出された顔のインプレーン角度の範囲（ステップ７４０，７４２，及び７４４に示される範囲）は一例であり、他の範囲を適用してもよい。
【０２０９】
上記処理を初期判定として行うことによって、どの画像サイズ及びインプレーン角度を用いれば、顔が存在するか否かの予想を行うことが可能となるが、本発明は、時間的に連続して撮像された画像を対象としており、撮影者の手ぶれや被写体の動作等によって、特に画像データに含まれる顔のアウトプレーン角度に変化が生じる。
【０２１０】
そのため、上記初期判定を行った後に、定期的にアウトプレーン角度の変化に応じた顔検出を行う必要がある。但し、全てのアウトプレーン角度を用いて顔検出を行うと、処理時間が増大するため、顔検出の必要のないアウトプレーン角度については、顔検出を行わないよう制御する。
【０２１１】
図２４は、アウトプレーン制御の遷移図を表している。この遷移図において、ノードＡは、図１８〜図２１で説明したフローチャートにおける初期判定処理を表している。また、ノードＢは、正面、右横、及び左横のアウトプレーン角度で顔検出を実行することを表している。同様に、ノードＣは、正面及び右横、ノードＤは、正面及び左顔、ノードＥは、右横及び左横、ノードＦは、正面、ノードＧは、右横、及びノードＨは、左横の各アウトプレーン角度で顔検出を実行することを表しており、矢印の方向に向かって処理の遷移を行うことを示している。
【０２１２】
遷移を行う一例として、ノードＢにおいて、顔検出を実行した場合、正面及び右横のアウトプレーン角度に対して顔が検出されたと判断された場合には、ノードＣへ処理を遷移させ、正面及び左横のアウトプレーン角度に対して顔が検出されたと判断された場合には、ノードＤへ処理を遷移させ、正面のアウトプレーン角度に対して顔が検出されたと判断された場合には、ノードＦへ遷移する。また、ノードＢにおいて、顔が検出されない場合には、正面、右横、及び左横のアウトプレーン角度を用いて顔検出を繰り返し実行する。
【０２１３】
また、各ノードにおいて、顔検出を繰り返し実行する場合、図２４に示すように、角度絞込み、すなわちインプレーン角度の範囲を定めると共に、顔検出を実行する。
【０２１４】
但し、顔検出を繰り返し実行し、顔が存在すると判断されない場合は、点線矢印の向きへ処理を遷移する。点線矢印の向きへ処理を遷移させる方法の一例として、ノードＣ〜Ｈにおいて、顔検出を所定回数（ＤＮ回）実行した場合、点線矢印の向き（遷移先をノードＢとする）に処理を遷移することが上げられる。なお、連続して所定回数（ＤＮ回）、顔が存在すると判断されない場合に、ノードＡに遷移させるようにしても良い。
【０２１５】
その他の点線矢印の向きへ処理を遷移させる一例として、顔検出の実行回数が、ＤＮ回未満の時に、連続して所定回数（ＮＮ回）、顔が存在すると判断されない場合に、点線矢印の向き（遷移先をノードＢとする）に処理を遷移することが上げられる。上記と同様に、顔検出の実行回数が、ＤＮ回未満の時に、連続して所定回数（ＮＮ回）、顔が存在すると判断されない場合に、ノードＡに遷移させるようにしても良い。
【０２１６】
次に、図２５に示すフローチャートを用いて顔検出部４０における処理について説明する。まず、ステップ７４８では、初期判定処理を行う。本ステップ７４８は、上記図１８〜図２１に示すフローチャートで説明した内容と同様な処理であるため説明を省略する。
【０２１７】
次にステップ７５０では、ステップ７４８で検出した画像サイズのうち、最大の画像サイズから、次のスルー画像に対する顔検出に用いる画像サイズを選択する。この選択方法は、実施形態１及び実施形態１の変形例で説明したように、最大の画像サイズの近傍の４つの画像サイズを含むように選択するか、あるいは制限幅チャート（図８（Ｂ）参照）及びパターン遷移表（図９参照）を用いて画像サイズを選択する。
【０２１８】
ステップ７５２では、アウトプレーン角度を正面、右横、及び左横、インプレーン角度をステップ７４６で設定した値として、各々該当するアウトプレーン判別器及びインプレーン判別器を判別器選択部８８において選択する。
【０２１９】
すなわち、判別器選択部８８において、アウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４が選択されると共に、判別器選択部８８において、ステップ７４６で設定した値に該当するインプレーン（０°）判別器９６、インプレーン（３０°）判別器９８・・・・インプレーン（３３０°）判別器１１８のいずれかのインプレーン判別器が選択される。当該選択により、顔検出の対象とするアウトプレーン角度及びインプレーン角度を設定する。
【０２２０】
次のステップ７５４では、ステップ７５０で選択した画像サイズ、並びにステップ７５２で設定したアウトプレーン角度及びインプレーン角度を用いて、顔検出を実行する。
【０２２１】
本ステップ７５４における顔検出についての詳細は、図２６に示すフローチャートを用いて説明する。
【０２２２】
まず、ステップ７７０においては、ステップ７５０で選択した画像サイズ、並びにステップ７５２で設定したアウトプレーン角度及びインプレーン角度を用いて、顔検出を実行するが、上記図２０で説明した顔検出と同様な処理を実行するので説明は省略する。
【０２２３】
次に、ステップ７７２では、上記ステップ７７０の顔検出の実行結果に基づいて、顔が存在するか否かを判定する。所定時間（ＴＤ秒）顔検出を実行した結果、顔が検出されない場合は、図２５に示すフローチャートの処理を最初からやり直すため、この判定を行う。
【０２２４】
この判定方法は、上記ステップ７０６、ステップ７１６、ステップ７２６、及びステップ７３６と同様な判定を行うので、説明は省略する。
【０２２５】
ステップ７７２において、顔が存在しないと判断した場合、ステップ７７４へ進む。ステップ７７４では、タイマーＴＭが起動中であるか否かを判断する。ステップ７７２において、顔が存在すると判断した場合は、ステップ７７６において、タイマーＴＭによって計測した時間をリセットする。
【０２２６】
ステップ７７４では、タイマーＴＭが起動中であるならば、ステップ７８０へ進む。タイマーＴＭが起動中でないならば、ステップ７７８へ進む。ステップ７７８では、タイマーＴＭを起動させると共に、タイマーＴＭの初期設定（０を設定する）を行う。
【０２２７】
次のステップ７８０では、タイマーＴＭをインクリメントした値と所定時間（ＴＤ秒）と比較を行う。タイマーＴＭが所定時間（ＴＤ秒）以上である場合は、ステップ７８２へ進み、図２５に示すフローチャートのステップ７４８へ戻る。タイマーＴＭが所定時間（ＴＤ秒）未満であった場合、ステップ７８４へ進む。なお、ステップ７８０に記載のタイマーＴＭ＋＋は、タイマーＴＭがインクリメントされたことを表す。
【０２２８】
ステップ７８４では、ステップ７７０で顔検出を実行した結果、検出されたアウトプレーン角度が、正面、右横、及び左横の全てに該当するか否かの判定を行う。この判定を行う理由は、上記図２４で説明したように、アウトプレーン角度が、正面、右横、及び左横以外、すなわちノードＣ〜Ｈにおける顔検出を所定回数（ＤＮ回）実行した場合、次の顔検出で用いるアウトプレーン角度を正面、右横、及び左横として顔検出を実行する（ノードＢに遷移する）ため判定を行う。
【０２２９】
ステップ７８４で、該当しないと判断した場合は、ステップ７８６へ進む。ステップ７８６では、アウトプレーン角度が、正面、右横、及び左横以外のアウトプレーン角度を用いて顔検出を実行した回数をカウントするためのカウンタＣＴがカウント中であるか否かを判定する。カウント中でないならば、ステップ７８８へ進み、カウンタＣＴを起動させると共に、カウンタＣＴの初期設定（０を設定する）を行う。カウント中であるならば、ステップ７９０へ進む。
【０２３０】
なお、ステップ７８４において、該当すると判断した場合は、ステップ７９２へ進み、カウンタＣＴをリセットする。リセット後、図２５のステップ７５６へ進む。
【０２３１】
ステップ７９０では、カウンタＣＴをインクリメントした値と所定回数（ＤＮ回）との比較を行う。カウンタＣＴが、所定回数（ＤＮ回）以上である場合は、ステップ７９４へ進む。カウンタＣＴが、所定回数（ＤＮ回）未満であるならば、図２５のステップ７５６へ進む。なお、ステップ７９０に記載のカウンタＣＴ＋＋は、カウンタＣＴがインクリメントされたことを表す。
【０２３２】
ステップ７９４では、カウンタＣＴをリセットする。リセット後、ステップ７９６へ進む。ステップ７９６では、ステップ７７０で検出した最大の画像サイズよりも、小なる画像サイズを設定する。
【０２３３】
この設定は、小さなサイズの顔を検出するために画像サイズの制限幅を定めて顔検出を行った場合、撮影中に現れた大きなサイズの顔に対して顔検出を行うことが不可能となるため、より小さな画像サイズを設定することで、大きなサイズの顔を検出可能とするよう設定するために行う。
【０２３４】
次のステップ７９８では、アウトプレーン角度の遷移を行うための条件である顔検出実行回数ＤＮが、連続して所定回数（ＭＲＣ回）以上となった場合、顔検出で用いる画像サイズの変更を行う。この変更は、一定の画像サイズに対してのみ顔検出を実行することのないよう画像サイズを定期的に変更するために行う。
【０２３５】
従って、ステップ７９８では、実行回数ＤＮをカウントするパラメータであるＭＲ_cntをインクリメントした値と所定回数（ＭＲＣ回）と比較する。ＭＲ_cntが、所定回数（ＭＲＣ回）以上であるならば、ステップ８００へ進む。ＭＲ_cntが、所定回数（ＭＲＣ回）未満であるならば、図２５に示すステップ７５０へ戻る。なお、ステップ７９８に記載のＭＲ_cnt＋＋は、ＭＲ_cntがインクリメントされたことを表す。
【０２３６】
ステップ８００では、次の顔検出で用いる画像サイズを変更する。画像サイズとしては、一例として、最小の画像サイズの段階を表す「０」が選択される。選択後、図２５に示すステップ７５０へ進む。なお、本ステップ８００では、最小の画像サイズの段階を表す「０」以外にも、ステップ７７０で検出した画像サイズよりも小なる画像サイズの段階を設定しても良い。
【０２３７】
以上、図２５に示すステップ７５４の顔検出に関する説明を終了し、以下、図２５に示すステップ７５６以降の処理について説明する。
【０２３８】
ステップ７５６では、上記で説明したＭＲ_cntの初期設定（０を設定する）を行う。設定後、ステップ７５８へ進む。ステップ７５８では、アウトプレーンの角度が、正面、右横、及び左横のうち、ステップ７５４の顔検出において検出されたインプレーン角度を選択する。
【０２３９】
次にステップ７６０では、ステップ７５４で検出した画像サイズのうち、最大の画像サイズから、次のスルー画像に対する顔検出に用いる画像サイズを選択する。この選択方法は、上記ステップ７５０で説明した方法により選択を行うため説明は省略する。
【０２４０】
次のステップ７６２では、顔検出で用いるインプレーン角度の範囲を定める。本ステップの処理の詳細は、図２７に示すフローチャートを用いて説明する。
【０２４１】
まず、ステップ８０２において、前回までのスルー画像に対する顔検出を実行した結果、設定されているインプレーン角度の範囲内に該当する回数が、所定回数（ＡＤ回）一致したか否かを判定する。所定回数（ＡＤ回）を定めた理由は、頻繁にインプレーン角度の範囲設定を実行することによって生じる処理負荷の軽減を行うため実行している。一致した場合は、ステップ８０４へ進む。一致しない場合は、図２５に示すステップ７６４へ進む。
【０２４２】
ステップ８０４では、ステップ７４６で設定したインプレーン角度を姿勢検出角度（Ｒｇ）として設定を行う。設定後、ステップ８０６では、ステップ８０４で設定したＲｇに対して、Ｒｇから３０°減算したインプレーン角度が、前回の顔検出時に検出されたか否かを判定する。検出された場合は、次のステップ８０８で、このインプレーン角度を選択する。検出されなかった場合は、次のステップ８１０へ進む。
【０２４３】
ステップ８１０では、ステップ８０４で設定したＲｇが表すインプレーン角度が、前回の顔検出時に検出されたか否かを判定する。検出された場合は、次のステップ８１２で、このインプレーン角度を選択する。検出されなかった場合は、次のステップ８１４へ進む。
【０２４４】
ステップ８１４では、ステップ８０４で設定したＲｇに対して、Ｒｇに３０°加算したインプレーン角度が、前回の顔検出時に検出されたか否かを判定する。検出された場合は、次のステップ８１６で、このインプレーン角度を選択する。検出されなかった場合は、次のステップ８１８へ進む。
【０２４５】
次のステップ８１８では、ステップ８０８、ステップ８１２、及びステップ８１６で選択されたインプレーン角度のうち代表となるインプレーン角度を選択する。この代表となるインプレーン角度を選択する方法としては、上記Ｒｇ、Ｒｇから３０°減算した角度、及びＲｇに３０°加算した角度から、より多く検出されたインプレーン角度を選択しても良い。選択を行ったインプレーン角度に基づいて、上記表２で説明した姿勢判定表から、次の顔検出で用いるインプレーン角度の範囲を定める。
【０２４６】
次のステップ７６４では、ステップ７５８で選択されたアウトプレーン角度、ステップ７６０で選択した画像サイズ、ステップ７６２で選択したインプレーン角度の範囲に基づいて、スルー画像に対する顔検出を実行する。
【０２４７】
なお、処理内容としては、ステップ７５４と同一の処理であるため説明は省略する。
【０２４８】
次のステップ７６６では、ステップ７６４で実行された顔検出の結果に基づいて、最大の画像サイズが変化した場合には、ステップ７６０へ進む。ステップ７６０では、上記したように、この最大の画像サイズに対して、次の顔検出で用いる画像サイズを選択する。なお、この選択方法は、ステップ７５０で説明した方法と同一であるため説明は省略する。
【０２４９】
ステップ７６６において、最大の画像サイズが変化しなかった場合は、ステップ７６８へ進む。ステップ７６８では、ステップ７６４で顔検出の実行によって得られたアウトプレーン角度が、前回の顔検出時から変化した場合は、ステップ７５８へ進む。ステップ７５８では、ステップ７６４の顔検出の実行によって得られたアウトプレーン角度を選択する。ステップ７６８において、アウトプレーン角度が、前回の顔検出時から変化しない場合は、ステップ７６９へ進む。
【０２５０】
ステップ７６９では、スルー画像に対する顔検出処理を停止する指示が入力されたか否かを判断し、肯定判断となった場合は本プログラムを終了する一方、否定判断となった場合はステップ７６２へ戻り、スルー画像に対する顔検出を繰り返す。
【０２５１】
［第４の実施形態］
以下、本発明の第４の実施形態について説明する。
【０２５２】
上記第１の実施形態〜第３の実施形態、第１の実施形態の変形例では、顔検出に用いる画像データの全領域を、顔検出を実行する対象領域として、該対象領域から部分画像データを切り出し、切り出した部分画像データとテンプレートデータとの比較を行うことで顔検出を行っている。
【０２５３】
しかし、一般的な被写体において、一例として、図２８に示すように、全体の画像サイズ（横が５１２、縦が３８４ドット）から内側の領域（横が３６２、縦が２７２ドット）に入っている顔の比率は、図２９に示すような比率であることが、本発明の検証により明らかになった。
【０２５４】
つまり、画像サイズの全面積を２分の１とするように中心方向へ領域を絞り込んだ場合でも、絞り込んだ領域に９７％の確率で顔が存在している。
【０２５５】
そこで、第４の実施形態では、顔検出の対象領域を絞り込むことで、画像データとテンプレートデータとの比較回数を軽減することによって、より高速に顔検出を実行することを目的とする。
【０２５６】
第４の実施形態に係るデジタルカメラ１の制御系の構成は、上記第１の実施形態で説明した構成（図１参照）と同様であるため、同一符号を用いて説明を省略する。
【０２５７】
また、顔検出を実行する顔検出部４０についての構成を、図３０を用いて説明するが、上記第１の実施形態で説明した顔検出部４０（図２参照）と同様な構成については同一の符号を用いて説明は省略し、相違する部分のみ説明する。
【０２５８】
上記第１の実施形態における顔検出部４０と相違する部分は、画像サイズに応じて顔検出の対象領域を絞込むために必要とするデータを記憶する検出領域テーブル１２０が備えられている点である。検出領域テーブル１２０は、比較部６２に接続されている。比較部６２は、検出領域テーブル１２０に記憶されたデータを読取り、読取ったデータに基づいて、顔検出の対象領域を絞り込み、画像データとテンプレートデータとの比較を行う。
【０２５９】
この検出領域テーブル１２０には、例えば、下記表３に示すように０〜９の画像サイズ別に、画像データの面積を中心方向に向かって絞りこむ割合（％）が予め設定される。
【０２６０】
【表３】
一般的に、主要な被写体は、画像データの中央に位置するため、画像データの端の領域を検出対象外とすることによって、画像サイズの大きい画像データに対して、顔検出を実行する処理時間を軽減するように上記表３は設定されている。
【０２６１】
比較部６２は、比較を行う画像データのサイズに該当する割合を検出領域テーブル１２０から読取り、画像データの検出対象領域の検出開始位置から検出終了位置を表す情報を求め、画像データの検出対象領域を絞込む。その後、絞込んだ領域内で、部分画像データを切り出し、切り出した部分画像データとテンプレートデータとの比較を行うことにより顔検出処理を行う。
【０２６２】
［第５の実施形態］
以下、本発明の第５の実施形態について説明する。
【０２６３】
上記第４の実施形態では、顔検出で用いる画像サイズに応じて、顔検出の対象領域を、画像データの中心方向に絞り込みを行っている。
【０２６４】
しかし、一般の被写体では、アウトプレーン角度が真横の顔については、画像データの右端の方に存在する頻度は極めて少なく、さらに画像データの端に存在する小さな顔は、主要被写体となることも少ないといえる。
【０２６５】
そこで、第５の実施形態では、顔検出で用いる画像サイズを考慮すると共に、顔のアウトプレーン角度に応じて、顔検出の対象領域を中心方向に向かって絞り込むことで、画像データとテンプレートデータとの比較回数を軽減し、より高速な顔検出を実行することを目的とする。
【０２６６】
第５の実施形態に係るデジタルカメラ１の制御系の構成は、上記第１の実施形態で説明した構成（図１参照）と同様であるため、同一符号を用いて説明を省略し、さらに顔検出部４０の構成は、実施形態４と同様であるため、同一符号を用いて説明を省略する。
【０２６７】
上記第４の実施形態では、検出領域テーブル１２０には、画像データの画像サイズに応じて顔検出の対象領域を絞込むために必要とするデータを記憶していたが、第５の実施形態における検出領域テーブル１２０には、一例として、下記表４に示すように、０〜９の画像サイズ及びアウトプレーン角度毎に、画像データの面積を中心方向に向かって絞りこむ割合が設定される。すなわち、各段階の画像サイズに応じて、顔のアウトプレーン角度を判別する領域を変更する。
【０２６８】
【表４】
比較部６２は、サイズ設定部５６で設定されたサイズ識別データが、拡縮データ読取部５８を介して入力されると共に、サイズ識別データに基づいて、検出領域テーブル１２０に記憶されたデータを読取る。
【０２６９】
さらに、図３１に示すように、アウトプレーン角度によって顔検出を実行するか否かを制限すると共に、顔検出の対象領域を設定する画像サイズ別制限装置１２２Ａ〜１２２Ｊ（図３１において、１２０Ｃ〜１２０Ｉは図示省略）が、顔検出に用いる画像サイズ別に、比較部６２に備えられている。この比較部６２は、サイズ識別データに基づいて、画像サイズに該当する画像サイズ別制限装置１２２Ａ〜１２２Ｊのいずれかを選択する。選択後、検出領域テーブル１２０から読取られたデータが選択された画像サイズ別制限装置７２Ａ〜７２Ｊのいずれかに出力される。
【０２７０】
図３２に示すように、画像サイズ別制限装置１２２Ａ〜１２２Ｊは、各々、検出領域及びアウトプレーン選択器１２４と、検出領域設定１２６Ａ〜１２６Ｅと、制限器１２８〜１３６を含んで構成されている。
【０２７１】
検出領域及びアウトプレーン選択器１２４は、画像サイズ別に形成された画像データに対して、顔検出を実行する対象領域を定める検出領域設定１２６Ａ〜１２６Ｅに接続されている。検出領域及びアウトプレーン選択器１２４は、検出領域テーブル１２０から読取られたデータに基づいて、顔検出の対象となるアウトプレーン角度に対応した検出領域設定１２６Ａ〜１２６Ｅを選択する。
【０２７２】
選択後、画像データの検出領域を定めるためのデータ及び顔検出を実行するか否かを表すデータが、各検出領域設定１２６Ａ〜１２６Ｅへ出力される。この各検出領域設定１２６Ａ〜１２６Ｅは、検出領域及びアウトプレーン選択器１２４から出力された画像データの検出領域を定めるためのデータに基づいて、顔検出を実行する対象領域を設定する。
【０２７３】
検出領域設定１２６Ａは、制限器１２８に接続されている。制限器１２８は、検出領域設定１２６Ａを介して入力された顔検出を実行するか否かを表すデータに基づいて、アウトプレーン角度が、−９０°（左横向き）の顔検出を実行するか否かのデータを設定する。顔検出を実行する場合にはＯＮに設定され、実行しない場合にはＯＦＦを設定する。他の制限器１３０〜１３６も同様な処理を実行し、制限器１３０はアウトプレーン角度が−４５°、制限器１３２はアウトプレーン角度が０°、制限器１３４はアウトプレーン角度が４５°、及び制限器１３６はアウトプレーン角度が９０°に各々対応している。
【０２７４】
従って、第５の実施形態に係る比較部６２における画像データとテンプレートデータとの比較方法は、検出領域設定１２６Ａ〜１２６Ｅで設定された対象領域において、部分画像データを切り出し、切り出した部分画像データと、制限器１２８〜１３６においてＯＮに設定されたアウトプレーン角度に該当するテンプレートデータを用いて、切り出した部分画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出することで行う。
【０２７５】
なお、画像データの右端に存在する右横顔が、主要被写体となる可能性は少ないため、図３３（Ａ）に示すように顔検出を実行する対象領域の中心位置を左へずらすことによって、画像データの右端において、右横顔の顔検出を実行しないように設定することも可能である。
【０２７６】
同様に、画像データの右端に存在する左横顔が、主要被写体となる可能性は少ないため、図３３（Ｂ）に示すように顔検出を実行する対象領域の中心位置を左へずらすことによって、画像データの左端において、左横顔の顔検出を実行しないように設定することも可能である。
【０２７７】
そこで、検出領域テーブル１２０に、下記表５に示すように、０〜９の画像サイズ及びアウトプレーン角度毎に、画像データの中心位置をずらす方向が設定されている。
【０２７８】
【表５】
例えば、上記表５に示す「Ｃ」は、顔検出の対象領域の中心位置をずらすことなく画像データの中心方向に向かって面積を絞りこむことを示しており、「Ｌ」は、対象領域の中心位置を左へずらすことを示し（図３３（Ａ）参照）、さらに「Ｒ」は、対象領域の中心位置を右へずらすことを示している（図３３（Ｂ）参照）。
【０２７９】
比較部６２は、検出領域テーブル１２０に設定された上記表５に示すデータに基づいて、上記検出領域設定１２６Ａ〜１２６Ｅにおいて画像データに対する顔検出を実行する対象領域を設定し、画像データとテンプレートデータとの比較を行っている。
【０２８０】
さらに、上記表４のように、画像データの面積を中心方向に向かって絞りこむ割合（％）と上記表５に示す対象領域の中心位置の移動との組み合わせを考慮したデータを検出領域テーブル１２０に設定することも可能である。
【０２８１】
以上のように、前回の顔検出で検出した被写体の顔のサイズ、顔の向き、及び天地方向等の顔検出を行う条件に基づいて、画像データ読取り処理回数を軽減するように、今回の顔検出を行う条件を定めるため、高速な顔検出を行うことが可能となる。
【０２８２】
以上、本発明を上記各実施の形態を用いて説明したが、本発明の技術的範囲は上記各実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記各実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０２８３】
また、上記各実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における組み合わせにより種々の発明を導出できる。上記各実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として導出され得る。
【０２８４】
その他、上記各実施の形態で説明したデジタルカメラ１の構成（図１、図２参照）は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりすることができることは言うまでもない。
【０２８５】
また、上記各実施の形態で説明した各プログラムの処理の流れ（図４、図５、図１０、図１５、図１８、図１９、図２０、図２１、図２５、図２６、図２７参照。）も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりすることができることは言うまでもない。
【符号の説明】
【０２８６】
１ デジタルカメラ
１０ 光学ユニット
１２ モータ駆動部
１４ ＣＰＵ
１６ ＣＣＤ
１８ タイミングジェネレータ
２０ ＣＤＳ
２２ ＡＤＣ
２４ 画像入力コントローラ
２６ システムＢＵＳ
２８ 画像信号処理回路
３０ 圧縮・信用処理回路
３２ ＡＦ検出回路
３４ ＡＥ・ＡＷＢ検出回路
３６ ＲＯＭ
３８ ＳＤＲＡＭ
４０ 顔検出部
４２ 表示制御回路
４４ ＬＣＤ
６０ サイズ選別部
６２ 比較部
【技術分野】
【０００１】
本発明は、顔検出方法に係り、特に被写体の顔のサイズ、顔の向き、及び天地方向等の顔検出を行う条件に応じて顔検出を行う顔検出方法に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラを用いて撮像された被写体を表す画像データに顔が存在するか否かを判断し、顔が存在する場合には、この画像データから顔部分の特徴量を抽出して、顔部分の濃度や輝度等の補正を行っている。
【０００３】
この顔の存在可否の判定は、被写体に含まれる顔のサイズは大小存在するため、画像データの画像サイズに対して拡大処理及び縮小処理を施し、この画像データから順次切り出された部分画像データと、顔の向きや天地方向に対して傾きを持つ所定サイズ（面積）のテンプレートデータとの類似性を求めることで、顔の存在可否を判定している（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３５０７０４公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術は、拡大処理及び縮小処理が施された画像データの全ての画像サイズに対して部分画像データを切り出して、テンプレートデータと照合を行うため照合回数が多く、顔検出の処理に時間がかかる。
【０００６】
本発明は、上記問題を解決するためになされたもので、被写体の顔のサイズ、顔の向き、及び天地方向等の顔検出を行う条件に応じて顔検出の処理速度を制御することで、高速な顔検出を行うことを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載の発明は、時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、前記分類された画像の画像サイズが大きいほど前記顔検出処理の対象となる前記アウトプレーン角度の種類が少なく設定される、ことを特徴としている。
【０００８】
請求項１に記載の発明によれば、時間的に連続して撮像された画像を所定の複数の倍率に応じて拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、分類された各段階の画像を読取り単位毎に順次読取り、読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う際、前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、前記分類された画像の画像サイズが大きいほど前記顔検出処理の対象となる前記アウトプレーン角度の種類が少なく設定される。
【０００９】
一般的に被写体中には、小さい顔の真横顔が、正面顔や斜め横顔よりも撮像される回数が少ない。従って、アウトプレーン角度に応じて、小さい顔（画像サイズの大きい画像データから検出される）を検出するための画像データを顔検出の対象外とすることで、顔検出処理に要する時間を軽減することができる。
【００１０】
上記目的を達成するために、請求項２に記載の発明は、時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、前回の前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴としている。
【００１１】
請求項２に記載の発明によれば、前回の顔検出処理によって検出された顔のアウトプレーン角度に応じて、予め各段階の画像毎に設定された領域内で顔検出処理を行う。一般の被写体では、アウトプレーン角度が右横の顔については、画像データの右端の方に存在する頻度は少ない。従って、顔のアウトプレーン角度に応じて、画像データ読取り領域を変更することで、顔検出処理に要する時間を軽減することが可能となる。
【００１２】
上記目的を達成するために、請求項３に記載の発明は、時間的に連続して撮像された画像を所定のサイズの読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、前記顔検出処理の対象要素として、顔の天地方向の回転角度を示すインプレーン角度を判別する機能を有し、前記顔検出処理を繰り返す場合に、次の画像に対して行う前記顔検出処理において前記インプレーン角度を判別する対象とするインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の顔検出処理で顔が検出された前記インプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する、ことを特徴としている。
【００１３】
請求項３に記載の発明によれば、顔検出処理の対象要素として、顔の天地方向の回転角度を示すインプレーン角度を判別する機能を付加設定し、顔検出処理を繰り返す場合に、次の画像に対して行う顔検出処理に用いるインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の前記顔検出処理で顔が検出されたインプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する顔検出処理を行う。
【００１４】
この顔検出処理は、対象要素として、顔の天地方向の回転角度を示すインプレーン角度を複数パターン設定して、各インプレーン角度での段階的に分類された画像の画像サイズにおける顔検出処理を行う。そして、顔検出処理を繰り返す場合に、次の画像に対して行う顔検出処理に用いるインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の前記顔検出処理で顔が検出されたインプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する。これによって、より少ないインプレーン角度のパターン数を用いて顔検出処理を行うことが可能となるので、顔検出処理に要する時間を軽減することができる。
【００１５】
請求項４に記載の発明は、請求項１に記載の顔検出方法であって、前回の前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴としている。請求項４に記載の発明によれば、前回の顔検出処理によって検出された顔のアウトプレーン角度に応じて、予め各段階の画像毎に設定された領域内で顔検出処理を行う。一般の被写体では、アウトプレーン角度が右横の顔については、画像データの右端の方に存在する頻度は少ない。従って、顔のアウトプレーン角度に応じて、画像データ読取り領域を変更することで、顔検出処理に要する時間を軽減することが可能となる。
【００１６】
請求項５に記載の発明は、請求項１から請求項３のいずれか１項に記載の顔検出方法であって、前記各段階の画像の画像サイズに応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴としている。請求項５に記載の発明によれば、各段階の画像サイズに応じて、予め各段階の画像毎に設定された領域内で顔検出処理を行う。一般的に、主要な被写体は、画像データの中央に位置するため、例えば、小さいサイズの顔が撮像されている場合は、顔を検出する領域を狭めることでも検出できるため、画像サイズに応じて設定された領域内で顔検出処理を行うことで、顔検出処理に要する時間を軽減することができる。
【００１７】
請求項６に記載の発明は、請求項１または請求項２記載の顔検出方法であって、前記顔検出処理の対象要素として、顔の天地方向の回転角度を示すインプレーン角度を判別する機能を有し、前記顔検出処理を繰り返す場合に、次の画像に対して行う前記顔検出処理において前記インプレーン角度を判別する対象とするインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の顔検出処理で顔が検出された前記インプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する、ことを特徴としている。
【００１８】
請求項６に記載の発明によれば、請求項３に記載の発明と同様に作用するので、より少ないインプレーン角度のパターン数を用いて顔検出処理を行うことが可能となるので、顔検出処理に要する時間を軽減することができる。
【００１９】
請求項７に記載の発明は、請求項２または請求項４記載の顔検出方法であって、前記予め前記各段階の画像毎に設定された領域は、画像データの中心方向に向かって絞り込まれた領域であり、前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、前記絞り込まれる領域の割合が予め設定される、ことを特徴としている。
【００２０】
請求項７に記載の発明によれば、顔のアウトプレーン角度に応じて、顔検出の対象領域を中心方向に向かって絞り込むことで、画像データとテンプレートデータとの比較回数を軽減し、より高速な顔検出を実行することができる。
【００２１】
請求項８に記載の発明は、請求項２または請求項４記載の顔検出方法であって、前記予め前記各段階の画像毎に設定された領域は、前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、前記顔検出処理を行う対象領域の中心位置を前記画像データの中心からずらした縮小領域である、ことを特徴としている。
【００２２】
請求項８に記載の発明によれば、画像データの右端に存在する右横顔及び左側に存在する左横顔が、主要被写体となる可能性は少ないため、顔検出を実行する対象領域の中心位置を左右へずらすことによって、画像データの右端及び左端において、右横顔の顔検出を実行しないように設定することができるので、画像データ読み取り処理回数を軽減することができ、高速な顔検出を行なうことが可能である。
【００２３】
請求項９に記載の発明は、請求項２または請求項４記載の顔検出方法であって、前記予め前記各段階の画像毎に設定された領域は、画像データの中心方向に向かって絞り込まれた領域であり、前記各段階の画像の画像サイズに応じて、前記絞り込まれる領域の割合が予め設定される、ことを特徴としている。
【００２４】
一般的に、主要な被写体は、画像データの中央に位置するため、請求項９に記載の発明により、画像データの端の領域を検出対象外とすることによって、画像サイズの大きい画像データに対して、顔検出を実行する処理時間を軽減することができる。
【００２５】
上記目的を達成するために、請求項１０に記載の発明は、時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、前記顔検出処理を繰り返す場合に、前回の前記顔検出処理によって判別されたアウトプレーン角度に応じて、１つまたは１つ以上のアウトプレーン判別対象角度からなるアウトプレーン判別対象角度群の中から、判別対象とする１つまたは複数のアウトプレーン判別対象角度を選択し、前記選択したアウトプレーン判別対象角度で規定されるアウトプレーン角度について判別する、ことを特徴としている。
【００２６】
請求項１０に記載の発明によれば、定期的にアウトプレーン角度の変化に応じた顔検出を行う必要がある場合、顔検出の必要のないアウトプレーン角度については、顔検出を行わないよう制御することができ、全てのアウトプレーン角度を用いて顔検出を行なうことに伴う処理時間の増大を回避することができる。
【発明の効果】
【００２７】
以上説明したように、本発明によれば、前回の顔検出で検出した被写体の顔のサイズ、顔の向き、及び天地方向等の顔検出を行う条件に基づいて、画像データ読取り処理回数を軽減するように、今回の顔検出を行う条件を定めるため、高速な顔検出を行うことができる、という効果が得られる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態に係るデジタルカメラの制御系の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る顔検出処理を行う顔検出部の構成を示すブロック図である。
【図３】顔が存在すると判定された画像サイズに対して、次の顔検出では、この画像サイズの近傍の画像サイズ、すなわち４つの画像サイズをカバーすることによって、９８％の確率で顔を検出することが可能であることを示しているグラフ図である。
【図４】本発明の第１の実施形態に係る顔検出部における処理を説明するためのフローチャートである。
【図５】本発明の第１の実施形態に係る顔検出処理について詳細な説明を行うためのフローチャートである。
【図６】図３に示す顔検出部の処理の具体的な例を説明するための説明図であり、図６（Ａ）は、０〜９（フルサイズ）の画像サイズ別に画像データが形成されていることを表し、図６（Ｂ）は、顔が存在すると予想される画像サイズが５及び６であることを表し、図６（Ｃ）は、顔が存在すると予想される画像サイズ５及び６に対して、４つの画像サイズを含むように画像サイズ４〜７が選別されたことを表し、図６（Ｄ）は、顔が存在すると予想される画像サイズが４及び５であることを表し、図６（Ｅ）は、画像サイズが４及び５の両隣の画像サイズに対して４つの画像サイズを含むように、画像サイズ３〜６が再度選別されたことを表している。
【図７】本発明の第１の実施形態の変形例に係る顔検出処理を行う顔検出部の構成を示すブロック図である。
【図８】顔検出に使用する画像サイズの選別幅を制限する方法を説明するための説明図であり、図８（Ａ）は、画像サイズの段階、及び画像データの長さを示しており、図８（Ｂ）は、顔検出に使用する画像サイズの選別幅を制限するための制限幅チャートを示している。
【図９】次の顔検出に使用する画像サイズの制限幅を定めるためのパターン遷移表である。
【図１０】本発明の第１の実施形態の変形例に係る顔検出部における処理を説明するためのフローチャートである。
【図１１】被写体の顔には、アウトプレーン角度が存在することを説明するための説明図である。
【図１２】本発明の第２の実施形態に係る顔検出処理を行う顔検出部の構成を示すブロック図である。
【図１３】本発明の第２の実施形態に係る顔検出を実行するか否かを制限する画像サイズ別制限装置を示すブロック図である。
【図１４】本発明の第２の実施形態に係る画像サイズ別制限装置の構成を示すロック図である。
【図１５】本発明の第２の実施形態に係る顔検出処理について詳細な説明を行うためのフローチャートである。
【図１６】撮像された被写体の顔は、インプレーン角度が存在することを説明するための説明図である。
【図１７】本発明の第３の実施形態に係る画像データとテンプレートデータとの比較を行う判別器群を示すブロック図である。
【図１８】本発明の第３の実施形態に係る顔検出部における処理を説明するためのフローチャートである。
【図１９】本発明の第３の実施形態に係る顔検出部における処理を説明するためのフローチャートである。
【図２０】本発明の第３の実施形態に係る顔検出処理について詳細な説明を行うためのフローチャートである。
【図２１】本発明の第３の実施形態に係る顔検出部における処理を説明するためのフローチャートである。
【図２２】水平垂直モードを説明するためのグラフ図である。
【図２３】マルチアングルモードを説明するためのグラフ図である。
【図２４】顔検出処理のアウトプレーン角度の遷移を示す遷移図である。
【図２５】本発明の第３の実施形態に係る顔検出部における処理を説明するためのフローチャートである。
【図２６】本発明の第３の実施形態に係る顔検出部における顔検出処理の詳細を説明するためのフローチャートである。
【図２７】インプレーン角度の設定範囲を定める処理を説明するためのフローチャートである。
【図２８】全体の画像サイズ及びその画像サイズにおける内側の領域を説明するための説明図である。
【図２９】全体の画像サイズの内側の領域に顔が存在している確率を示すグラフ図である。
【図３０】本発明の第４の実施形態に係る顔検出処理を行う顔検出部の構成を示すブロック図である。
【図３１】本発明の第４の実施形態に係る顔検出を実行するか否かを制限する画像サイズ別制限装置を示すブロック図である。
【図３２】本発明の第４の実施形態に係る画像サイズ別制限装置の構成を示すロック図である。
【図３３】画像データの顔の向きに応じて、対象領域の中心位置をずらすことを説明するための説明図であり、図３３（Ａ）は中心位置を左へずらすことを示し、図３３（Ｂ）は、中心位置を右へずらすことを示している。
【発明を実施するための最良の形態】
【００２９】
［第１の実施形態］
図１は、第１の実施形態に係るデジタルカメラ１の制御系の構成を示すブロック図であり、図１を用いて、第１の実施形態に係るデジタルカメラ１の構成を説明する。
【００３０】
被写体像を結像させるための複数の結像レンズを含む光学ユニット１０は、焦点調整モータ、ズームモータ、及び絞り駆動モータ（共に、図示省略し、総称する場合、「各モータ」という。）を備えている。この光学ユニット１０は、モータ駆動部１２に接続されている。モータ駆動部１２は、上記各モータに駆動信号を供給する。
【００３１】
モータ駆動部１２は、装置全体の動作を司るＣＰＵ（Central Processing Unit）１４に接続されている。すなわちモータ駆動部１２は、ＣＰＵ１４の制御の下に、上記各モータに駆動信号を出力する。
【００３２】
前記光学ユニット１０の背面側（前記被写体像と対峙する面とは反対側）には、ＣＣＤ（Charge Coupled Device）１６が配置されている。ＣＣＤ１６は、被写体から受光した光の受光量を表すアナログ信号に変換する機能を有している。このＣＣＤ１６は、タイミングジェネレータ１８と、ＣＤＳ（Correlated Double Sampling）２０と、接続されている。
【００３３】
タイミングジェネレータ１８は、ＣＣＤ１６を駆動させるためのタイミング信号を生成してＣＣＤ１６に供給する。ＣＣＤ１６は、このタイミング信号に同期したタイミングで、ＣＤＳ２０へアナログデータを出力する。
【００３４】
タイミングジェネレータ１８は、ＣＰＵ１４に接続されている。このタイミングジェネレータ１８は、ＣＰＵ１４によって制御されることで、前記タイミング信号を生成する。
【００３５】
また、ＣＤＳ２０は、ＡＤＣ（Analog to Digital Converter）２２に接続されている。ＣＤＳ２０は、ＣＣＤ１６から入力されたアナログデータに対して相関二重サンプリング処理等を行う。ＣＤＳ２０は、ＡＤＣ２２へアナログデータを出力する。
【００３６】
ＡＤＣ２２は、画像入力コントローラ２４に接続されている。ＡＤＣ２２は、ＣＤＳ２０から入力されたアナログデータをデジタルデータに変換する。ＡＤＣ２２は、画像入力コントローラ２４へデジタルデータを出力する。
【００３７】
画像入力コントローラ２４は、システムＢＵＳ２６に接続されている。画像入力コントローラ２４は、ＡＤＣ２２から入力されたデジタルデータをシステムＢＵＳ２６へ出力し、後述するＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）３８の所定領域に記憶するよう制御する。
【００３８】
システムＢＵＳ２６には、上記画像入力コントローラ２４の他、ＣＰＵ１４、画像信号処理回路２８、圧縮・伸張処理回路３０、ＡＦ（Auto Focus）検出回路３２、ＡＥ（Auto Exposure）・ＡＷＢ（Automatic White Balance）検出回路３４、ＲＯＭ（Read Only Memory）３６、ＳＤＲＡＭ３８、顔検出部４０、及び表示制御回路４２が接続され、相互に信号のやりとりが実行される。
【００３９】
画像信号処理回路２８は、入力された画像データに対して各種画像処理を施し、ＳＤＲＡＭ３８へ記憶するよう制御する。
【００４０】
圧縮・伸張処理回路３０は、所定の形式（例えば、JPEG（Joint Photographic Experts Group）形式、モーションJPEG形式、MPEG（Moving Picture Experts Group）形式）で画像データの圧縮処理を施す一方、圧縮処理された画像データに対して圧縮形式に応じた伸張処理を施す。
【００４１】
ＡＦ検出回路３２は、結像レンズの焦点調整を行うために、画像データのコントラスト値を検出する。
【００４２】
ＡＥ・ＡＷＢ検出回路３４は、１フレームのＲ、Ｇ、Ｂ信号を積算した積算値に基づいて、絞り値とシャッタースピードを決定するためのＥＶ（Exposure Value）を検出すると共に、Ｒ、Ｇ、Ｂといった色の光源種に応じてデジタルゲインを検出する。すなわち、このＡＥ・ＡＷＢ検出回路３４は、最適な露出及びホワイトバランスを調整するための物理量を検出する。
【００４３】
ＲＯＭ３６は、不揮発性のメモリであり、デジタルカメラ１の各機能を実行させるためのプログラム及びデータ等が記憶されている。
【００４４】
ＳＤＲＡＭ３８は、揮発性のメモリであり、画像データを一時的に記憶させ、デジタルカメラ１の各機能を実行する時に、ワークエリアとして使用される。
【００４５】
顔検出部４０は、入力された画像データに顔が存在するか否かを判定する処理を実行する（詳細後述）。
【００４６】
表示制御回路４２は、ＣＣＤ１６により得られた画像データにより示される画像及びメニュー画面等を表示するＬＣＤ（Liquid Crystal Display）４４に接続されている。表示制御回路４２は、シムテムＢＵＳ２６を介して入力された画像データにより示される画像及びメニュー画面等をＬＣＤ４４へ表示させるための信号を生成してＬＣＤ４４へ供給する。
【００４７】
ところで、このデジタルカメラ１において、撮像する画像に「顔」が存在する場合、この「顔」を重視した補正、すなわち「顔」を標的とした色彩、濃度、輝度、及び色相等のプリント処理時のパラメータを補正するようにしている。
【００４８】
このため、第１の実施形態では、前記顔検出部４０において顔検出を実行している。
【００４９】
顔検出の手法として、「顔」を表す所定サイズ（面積）のテンプレートを用いて、「顔」を検出することが周知の技術とされており、第１の実施形態においても、基本的には、この手法を採用している。
【００５０】
ただし、第１の実施形態における顔検出は、テンプレートのサイズと顔画像のサイズとを照合するための処理手順をより簡便化するようにしている。
【００５１】
図２を用いて、顔検出を実行する顔検出部４０についての構成を説明する。なお、図２の各ブロックは、顔検出部４０のハード構成を限定するものではなく、あくまでも機能的に分類したものである。
【００５２】
スルー画像抽出部４６は、システムＢＵＳ２６と、拡縮処理部４８と、画角状態判定部５０と、に接続されている。
【００５３】
スルー画像抽出部４６は、ＣＣＤ１６において時間的に連続して撮像されることで得られたスルー画像データ（スルー画像は、例えば、３０フレーム／secで処理される。）を１コマずつシステムＢＵＳ２６から抽出する。抽出されたスルー画像データは、拡縮処理部４８と、画角状態判定部５０と、に出力される。拡縮処理部４８は、サイズ拡縮率テーブル５２と拡縮データメモリ５４と、接続されている。
【００５４】
拡縮処理部４８は、画像データとテンプレートデータと、を照合するために、スルー画像抽出部４６で抽出したスルー画像データの画像サイズに拡大処理及び縮小処理を施すことで、段階的に分類された画像サイズに応じた画像データを形成する。
【００５５】
拡縮処理部４８でのスルー画像データの画像サイズに対する拡大処理及び縮小処理は、サイズ拡縮率テーブル５２に記憶された所定倍率を順次読取り、その後、画像データのアスペクト比を一定に保つと共に、解像度を変更させることなく、読取った各所定倍率を画像データの縦及び横の長さに乗じることで、段階的に分類された画像サイズの画像データを作成する。
【００５６】
なお、サイズ拡縮率テーブル５２は、画像サイズの拡大処理及び縮小処理によって得られる画像サイズの段階に対応した所定倍率が記憶されている。第１の実施形態では、スルー画像抽出部４６で抽出したスルー画像データの画像サイズの拡大処理及び縮小処理を行うことによって、１０段階（画像サイズ０〜９）の画像サイズ別に画像データを形成するため、０〜９の段階毎に所定倍率が記憶されている。なお、上記段階の数は一例であり、必ずしも１０段階である必要はないことはいうまでもない。
【００５７】
上記拡大処理及び縮小処理終了後、拡縮処理部４８は、０〜９の画像サイズ別に形成された画像データを拡縮データメモリ５４へ出力する。
【００５８】
拡縮データメモリ５４は、拡縮データ読取部５８に接続されている。拡縮データメモリ５４は、拡縮処理部４８において、スルー画像データに対して画像サイズの拡大処理及び縮小処理を施した０〜９の画像サイズ別に画像データが記憶される。
【００５９】
画角状態判定部５０は、顔検出に用いる画像データの画像サイズの段階を表すサイズ識別データを設定するサイズ設定部５６に接続されている。撮像された被写体が、前回撮像された被写体から変化した場合は、顔検出を再度やり直す。そのため、この画角状態判定部５０は、今回撮像された被写体が、前回撮像された被写体から変化したか否かを判定する。
【００６０】
なお、撮像された被写体が、前回撮像された被写体から変化したか否かを判定するには、まず、前回抽出したスルー画像データの中央部分の領域の輝度を示すデータと今回抽出したスルー画像データの上記領域と同一領域の輝度を示すデータとの相関を表す評価値を算出する。そして、評価値が所定値以上となった場合に、撮像された被写体が変化したと判定される。
【００６１】
画角状態判定部５０において、撮像された被写体が、前回撮像された被写体から変化したと判定された場合は、画角状態判定部５０は、サイズ設定部５６に設定されたサイズ識別データをリセットするために、サイズ設定部５６にリセット信号を出力する。このサイズ設定部５６は、このリセット信号に基づいて、サイズ識別データをリセットすると共に、０〜９の画像サイズの全て又は何れかの段階を表すサイズ識別データを新たに設定する。
【００６２】
このサイズ設定部５６は、拡縮データ読取部５８と、サイズ選別部６０と、接続され、拡縮データ読取部５８は、比較部６２に接続されている。この拡縮データ読取部５８は、サイズ設定部５６が設定したサイズ識別データを読取り、読取ったサイズ識別データに該当する画像サイズの画像データを拡縮データメモリ５４から読取る。拡縮データ読取部５８は、拡縮データメモリ５４から読取った画像データを比較部６２へ出力する。
【００６３】
比較部６２は、所定サイズ（面積）のテンプレートを表すテンプレートデータが記憶されたテンプレートデータメモリ６４と、サイズ選別部６０と、接続されている。この比較部６２は、テンプレートデータメモリ６４からテンプレートデータを読取る。比較部６２は、読取ったテンプレートデータと拡縮データ読取部５８から出力された画像データと、を比較する。この比較によって、画像データに顔が存在するか否かの判定が行われる。判定後、比較部６２は、判定結果をサイズ選別部６０へ出力する。
【００６４】
なお、画像データとテンプレートデータとの比較方法は、周知の技術と同様な手法を用いて行うため説明を簡略化するが、拡縮処理部４８において、画像サイズの拡大処理及び縮小処理を施した各々の画像データに対して、テンプレートデータと同一サイズ（同一のアスペクト比であり、かつ同一面積である）であると共に、０〜９の画像サイズのうち最小画像サイズよりも小さなサイズ（以下、「読取り単位」という。）に区分された画像データの各部分（以下、「部分画像データ」という。）を順次切り出し（例えば、１画素ずつ移動させて）、切り出した部分画像データとテンプレートデータとを順次比較する。
【００６５】
より具体的には、切り出した部分画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出し、評価値が所定の閾値以上の値を示す場合には、切り出した部分画像データが顔であると予想される。
【００６６】
なお、本実施の形態では、スルー画像を所定の複数の倍率に応じて拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された各段階の画像を上記読取り単位毎に順次読取り、読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を、スルー画像抽出部４６で抽出されたスルー画像データの各コマ毎に連続して行う。
【００６７】
サイズ選別部６０は、顔抽出データメモリ更新部６６に接続されている。サイズ選別部６０は、比較部６２から出力された判定結果に基づいて、次のスルー画像データに対する顔検出に用いる画像サイズを選別する。選別を行った後に、サイズ選別部６０は、選別した画像サイズの段階をサイズ設定部５６及び顔抽出データメモリ更新部６６へ出力する。
【００６８】
次のスルー画像データに対する顔検出に用いる画像サイズを選別する理由として、比較部６２で顔が存在すると予想される画像サイズ、及び当該画像サイズに近傍の画像サイズを用いて、２回目以降のスルー画像データに対する顔検出を行うことで、０〜９の画像サイズ別に形成された全ての画像データを用いて顔検出を行う必要性が無くなるので、処理時間を軽減することが可能となるためである。
【００６９】
図３は、一般的な被写体から、顔サイズ幅を統計的に表したものであり、０〜９の画像サイズのうち、前回の顔検出処理によって顔が存在すると判定された２つの画像サイズに対して、次の顔検出では、この２つの画像サイズの両隣の画像サイズ、すなわち４つの画像サイズをカバーすることによって、９８％の確率で顔を検出することが可能であることを示している。
【００７０】
従って、上記事実に基づいて、サイズ選別部６０では、比較部６２で顔が存在すると予想される画像サイズの両隣の画像サイズを、次のスルー画像データに対して、４つの画像サイズを考慮して、２回目以降の顔検出に用いる画像サイズとして選別し、選別した画像サイズの段階を表すサイズ識別データがサイズ設定部５６によって設定される。
【００７１】
図２に示される如く、顔抽出データメモリ更新部６６は、データ出力部６８に接続されている。顔抽出データメモリ更新部６６は、サイズ選別部６０において、顔が存在すると判定された画像サイズの画像データに含まれる顔部分を抽出する。そして、抽出した顔部分に関するデータを一時的に記憶した後、データ出力部６８へ記憶したデータを出力する。
【００７２】
データ出力部６８は、システムＢＵＳ２６に接続されている。データ出力部６８は、抽出した顔部分の明るさ補正及び濃度補正等を行うため、顔抽出データメモリ更新部６６に記憶された画像データに関するデータをシステムＢＵＳ２６に出力する。
【００７３】
次に、第１の実施形態に係るデジタルカメラ１の作用を説明する。
【００７４】
まず、光学ユニット１０を介して被写体の撮像がＣＣＤ１６で行われ、被写体像を写すＲ（赤）、Ｇ（緑）、Ｂ（青）の各色のアナログ信号がＣＣＤ１６から順次出力され、出力されたアナログ信号は、ＣＤＳ２０に入力されて、相関二重サンプリング処理等が実施される。
【００７５】
その後、ＣＤＳ２０からＡＤＣ２２へアナログ信号が入力されて、ＡＤＣ２２は、Ｒ、Ｇ、Ｂ各色のアナログ信号をデジタル信号に変換して画像データを形成し、画像データを画像入力コントローラ２４へ出力する。画像入力コントローラ２４は、ＡＤＣ２２から入力された画像データを蓄積し、一時、ＳＤＲＡＭ３８の所定領域へ記憶する。
【００７６】
また、ＳＤＲＡＭ３８へ記憶された画像データは、ＣＰＵ１４の制御下で、画像信号処理回路２８で読み出され、これらにＡＥ・ＡＷＢ検出回路３４によって検出された物理量に応じたデジタルゲインをかけることでホワイトバランス調整を行うと共に、ガンマ処理及びシャープネス処理を行って所定ビット（一例として８ビット）の画像データを生成し、更にＹＣ信号処理を施して輝度信号Ｙとクロマ信号Ｃｒ、Ｃｂ（以下、「ＹＣ信号」という。）を生成し、ＹＣ信号をＳＤＲＡＭ３８の上記所定領域とは異なる領域に記憶する。
【００７７】
また、ＬＣＤ４４は、ＣＣＤ１６による連続的な撮像によって得られたスルー画像を表示してファインダとして使用することができるものとして構成されているが、このようにＬＣＤ４４をファインダとして使用する場合は、生成したＹＣ信号を、表示制御回路４２を介して順次ＬＣＤ４４に出力する。これによって、ＬＣＤ４４にスルー画像が表示されることになる。
【００７８】
さらに、顔検出部４０において、スルー画像抽出部４６が、上記スルー画像に関する画像データを取得する。取得後、拡縮処理部４８によって画像サイズの拡大処理及び縮小処理を行う。その後、画像サイズの拡大処理及び縮小処理によって得られた複数の画像データ毎に読取り単位で示されるサイズの輝度値と所定サイズのテンプレートデータの輝度値とを順次比較することによって、どの画像サイズの画像データに顔が存在するか否かの判定を比較部６２で行う。
【００７９】
次に、図４に示すフローチャートを用いて顔検出部４０における処理について説明する。
【００８０】
ステップ３００では、スルー画像抽出部４６において、ＣＣＤ１６によって連続的に撮像されることで得られたスルー画像データを１コマ抽出する。そして、抽出したスルー画像データを拡縮処理部４８及び画角状態判定部５０へ出力する。
【００８１】
次にステップ３０２では、撮像された被写体が前回撮像された被写体から変化したか否かの判定を行う。画角状態判定部５０において、前回スルー画像抽出部４６が抽出した画像データと、今回抽出した画像データとを比較する。比較後、撮像された被写体が前回撮像された被写体から変化したと判断した場合は、ステップ３０４へ進む。変化していないと判断した場合は、ステップ３１４へ進む。なお、ステップ３００によって抽出されたスルー画像データが、顔検出処理が行われる対象となる１コマ目のスルー画像データである場合は、常にステップ３０４へ進む。
【００８２】
ステップ３０４では、０〜９の画像サイズ（フルサイズ）で顔検出を行うため、サイズ設定部５６で０〜９の画像サイズの段階を表すサイズ識別データが設定される。
【００８３】
次に、ステップ３０６では、拡縮処理部４８において、サイズ設定部５６で設定されたサイズ識別データに基づいてサイズ拡縮率テーブル５２に予め記憶された０〜９の画像サイズ別に記憶された所定倍率を順次読取り、次のステップ３０８へ進む。
【００８４】
次に、ステップ３０８では、ステップ３０６の処理において読取った所定倍率を、スルー画像抽出部４６で抽出したスルー画像データの縦及び横の長さに乗じることで、画像サイズ別に画像データが形成され、形成された全ての画像データを拡縮データメモリ５４へ記憶する。
【００８５】
次に、ステップ３１０は、ステップ３０８で形成された各画像データに対して上述した顔検出処理を実行する。
【００８６】
本ステップ３１０における顔検出に関する処理の詳細を図５のフローチャートを用いて説明する。
【００８７】
まず、ステップ４００において、拡縮データ読取部５８が、サイズ設定部５６で設定されたサイズ識別データに示される画像サイズの段階を読取る。次のステップ４０２において、拡縮データ読取部５８が、ステップ４００で読取ったサイズ識別データに該当する画像サイズの画像データを拡縮データメモリ５４から読取る。
【００８８】
ステップ４０４では、比較部６２が、テンプレートデータメモリ６４からテンプレートデータを読取り、読取ったテンプレートデータと拡縮データ読取部５８で読取った画像データとの比較を行う。
【００８９】
画像データとテンプレートデータとの比較方法は、上記に示すように、画像サイズ別に形成された各画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出する。
【００９０】
次に、図４に示すステップ３１２では、スルー画像に対する顔検出処理を終了する指示が入力されたか否かを判断し、肯定判断となった場合は本プログラムを終了する一方、否定判断となった場合はステップ３００へ戻り、次のコマのスルー画像データに対し顔検出処理を行う。なお、顔検出処理を終了する指示は、例えば、ユーザが所定のボタン（例えば、シャッターボタン）を押圧することにより、入力される。
【００９１】
一方、ステップ３０２で否定判断となった場合は、ステップ３１４’において、サイズ選別部６０で、前回の顔検出によって顔が存在すると予想されたスルー画像の画像サイズの段階に基づいて、次のスルー画像に対して行う顔検出処理に用いる画像サイズの段階が選別される。
【００９２】
本ステップでは、サイズ選別部６４において、ステップ３１０の顔検出において算出した評価値が、所定の閾値以上を示す画像サイズを含む近傍の画像サイズ（本例では４つの画像サイズ）を、次のスルー画像に対して拡大又は縮小する画像サイズの段階として選別する。なお、前回のスルー画像データから顔が検出されなかった場合は、本ステップでは、画像サイズの段階として０〜９の画像サイズを選別する。
【００９３】
次のステップ３１６では、サイズ設定部５６によってステップ３１２で選別された画像サイズの段階を表すサイズ識別データが設定される。
【００９４】
次に、図３に示す顔検出部４０の処理の具体的な例を図６に示し処理の流れを簡略に説明する。
【００９５】
まず、図６（Ａ）は、スルー画像抽出部４６が、スルー画像データを抽出し、抽出したスルー画像データに対して、画像サイズの拡大処理及び縮小処理によって、０〜９（フルサイズ）の画像サイズ別に画像データが形成されていることを表したものである。
【００９６】
図６（Ｂ）は、０〜９（フルサイズ）の画像サイズ別に形成された画像データとテンプレートデータと、を用いて顔検出を行った結果、顔が存在すると予想される画像サイズが５及び６であることを表したものである。
【００９７】
次に、図６（Ｃ）は、次の顔検出に使用する画像サイズを選別するために、顔が存在すると予想される画像サイズ５及び６の近傍の４つの画像サイズを含むように画像サイズ４〜７が選別されたことを表したものである。
【００９８】
そして、図６（Ｄ）は、選別された画像サイズ４〜７の画像データとテンプレートデータと、を用いて２コマ目のスルー画像に対して顔検出処理を行い、その結果、顔が存在すると予想される画像サイズが４及び５であることを表したものである。次の図６（Ｅ）は、顔が存在すると予想される画像サイズ４及び５に対して、２つの画像サイズの両隣の画像サイズ、すなわち４つの画像サイズを含むように、画像サイズ３〜６が３コマ目のスルー画像に対する顔検出量に用いる画像データとして選別されたことを表している。
【００９９】
［変形例］
上記第１の実施形態は、顔検出で顔が検出された画像サイズに対して、画像サイズの制限幅を固定して、次の顔検出に用いる画像サイズを選別するよう制御を行っている。
【０１００】
しかし、画像データの画像サイズに対して被写体の顔のサイズが小さい時は、画像サイズが拡大された画像データから顔が検出される。
【０１０１】
従って、部分画像データとテンプレートデータとの比較回数が増加するため、顔検出の処理速度に大きな影響が生じる。
【０１０２】
逆に、画像データの画像サイズに対して被写体の顔サイズが大きい時は、画像サイズの小さい画像データから顔が検出される。
【０１０３】
従って、部分画像データとテンプレートデータとの比較回数は軽減されるため、顔検出の処理速度に大きな影響が生じない。
【０１０４】
そこで、第１の実施形態の変形例は、大きな画像サイズを用いて顔検出を行う場合には、顔検出に用いる画像サイズの候補の段階の数を相対的に少なくするよう制御することで、顔検出の処理速度を制御するものである。
【０１０５】
第１の実施形態の変形例に係るデジタルカメラ１の制御系の構成は、上記第１の実施形態に係るデジタルカメラ１の制御系の構成（図１参照）と同様であるので、同一符号を用いて説明は省略する。
【０１０６】
また、顔検出を実行する顔検出部４０についての構成を、図７を用いて説明するが、上記第１の実施形態で説明した顔検出部４０（図２参照）と同様な構成については同一の符号を用いて説明は省略し、相違する部分のみ説明する。
【０１０７】
上記第１の実施形態における顔検出部４０と相違する部分は、顔検出に使用する画像サイズの選択幅を制限するためのデータを記憶するサイズ制限データ記憶部７０が備えられている点である。サイズ制限データ記憶部７０は、サイズ選別部６０に接続されている。サイズ選別部６０は、このサイズ制限データ記憶部７０に記憶されたデータを読取り、次の顔検出に用いる画像サイズの選別を行っている。
【０１０８】
図８（Ａ）は、小さなサイズから順に０〜９で表した画像サイズの段階、及び画像サイズの拡大処理及び縮小処理によって得られた画像データの短辺を所定数ｎで除算した長さで構成されている。また、図８（Ａ）は、画像データに含まれる顔のサイズが大きいものほど画像サイズの小さいものから顔が検出され、画像データに含まれる顔のサイズが小さいものほど画像サイズの大きいものから顔が検出されることを示している。
【０１０９】
また、図８（Ｂ）は、顔検出に使用する画像サイズの制限幅を制限するための制限幅チャートの一例である。各制限幅チャートの幅は、図８（Ａ）に示す画像サイズの段階に対応しており、パターンa、パターンｂ、及びパターンｃ等の制限幅の相違するパターンから構成されている。これらのパターンの種類に対応させて画像サイズの段階数を制限する幅が、サイズ制限データ記憶部７０に記憶されている。
【０１１０】
このパターンの設定の一例として、図８（Ｂ）では、パターンaは、顔検出に用いる画像サイズの制限幅を０〜７に設定し、パターンｂは、制限幅を３〜８に設定し、さらに、パターンｃは、制限幅を６〜９に設定している。
【０１１１】
パターンの設定の一例として、パターン毎に制限幅を変えて設定する理由を説明する。上記第１の実施形態で説明したように、次の顔検出に用いる画像サイズの制限幅を固定すると、制限幅に応じて顔検出の処理速度に差異が生じる。
【０１１２】
しかしながら、上記のように被写体の顔サイズの大きいものほど、小さい画像サイズから顔が検出されるため、切り出した部分画像データとテンプレートデータとの比較回数は少なくてすむ。つまり、顔検出の処理速度に大きな影響が生じない。従って、被写体の顔サイズの大きいものほど制限幅を広げて設定することでも、処理速度に大きな影響を及ぼすことはない。
【０１１３】
一方、被写体の顔サイズが小さいものほど、大きい画像サイズから顔が検出されるため、切り出した部分画像データとテンプレートデータとの比較回数が多くなる。つまり、顔検出の処理速度に大きな影響が生じる。従って、被写体の顔サイズの小さいものほど制限幅を狭めて設定する。
【０１１４】
すなわち、パターンa、パターンｂ、及びパターンｃの制限幅の範囲に含まれる画像サイズを用いて各々顔検出を行った場合、顔検出に要する処理時間を同等とすると共に、候補の段階の数をより広げて各制限幅を設定することで、顔検出精度向上と処理速度の制御を行うことが可能となる。
【０１１５】
また、サイズ制限データ記憶部７０には、図９に示すパターン遷移表を表すデータの一例が記憶されている。
【０１１６】
図９に示すパターン遷移表は、前回の顔検出で顔が存在すると予想された画像サイズのうち最大の画像サイズと今回の顔検出で顔が存在すると予想された画像サイズのうち最大の画像サイズとの関係から、次の顔検出に使用する画像サイズの制限幅を定めるために、上記パターンa、パターンｂ、及びパターンｃが設定できるように構成されている。
【０１１７】
また、図９は、前回の顔検出で顔が存在すると予想された画像サイズのうち最大の画像サイズと今回の顔検出で顔が存在すると予想された画像サイズのうち最大の画像サイズとの関係に対応させてパターンの種類を表すデータが設定された状態を示している。
【０１１８】
次に、図１０に示すフローチャートを用いて顔検出部４０における処理を説明するが、上記第１の実施形態で説明した図３のフローチャートと同一のステップは同一の符号を付して説明を省略する。
【０１１９】
ステップ５００では、ステップ３１０による顔検出処理によって顔が検出された場合は、ステップ５０２へ進む一方、顔が検出されなかった場合はステップ５０２における処理を実行することなくステップ３１２へ進む。
【０１２０】
ステップ５０２では、ステップ３１０による顔検出処理によって顔が存在すると予想される画像サイズのうち、最大の画像サイズを表すデータが選別され、一時的にサイズ選別部６０に記憶される。
【０１２１】
ステップ３１４’では、次の顔検出において使用する画像サイズの段階の選別を行う。
【０１２２】
本ステップでは、サイズ選別部６０が、ステップ５０２において取得された最大の画像サイズを表すデータに基づいて、次のスルー画像データに対する顔検出の対象となる段階の画像サイズを示すパターンをパターン遷移表（図９参照）から読取る。
【０１２３】
次に、サイズ選別部６０が、読取ったパターンに該当する図８（Ｂ）に示す制限幅チャートの範囲内の画像サイズの段階を表すデータを読取る。
【０１２４】
読取った画像サイズの段階を表すデータは、サイズ選別部６０からサイズ設定部５６へ出力される。サイズ設定部５６は、サイズ選別部６０から出力された画像サイズを表すデータをサイズ識別データとして設定する。すなわち、制限幅チャートを用いることで、次の顔検出に使用する画像サイズの制限幅を制御している。
【０１２５】
［第２の実施形態］
以下、本発明の第２の実施形態について説明する。
【０１２６】
上記第１の実施形態において、被写体とテンプレートとの照合によって顔検出を実行しているが、例えば、図１１に示すように、被写体の顔には、正面顔を０°、左横向きを正として、それぞれ角度を有する。第２の実施形態では、これらの顔の左右の向き（アウトプレーン角度）を表すテンプレートを予め作成し、顔検出を実行するようにしている。
【０１２７】
しかし、横顔や斜め横顔等の向きを表すテンプレートを用いた顔検出処理を更に行うと、被写体とテンプレートとの照合を行う回数が増加し、処理時間も増加する。
【０１２８】
そこで、第２の実施形態では、横顔や斜め横顔等の向きを表すテンプレートを用いて顔検出を実行すると共に、被写体とテンプレートとの照合を行う回数を減らすよう制御することで、処理時間の増加を防ぐことを目的とする。
【０１２９】
第２の実施形態に係るデジタルカメラ１の制御系の構成は、上記第１の実施形態に係るデジタルカメラ１の制御系の構成（図１参照）と同様であるため、同一符号を用いて説明を省略する。
【０１３０】
また、顔検出を実行する顔検出部４０についての構成を、図１２を用いて説明するが、上記第１の実施形態で説明した顔検出部４０（図２参照）と同様な構成については同一の符号を用いて説明は省略し、相違する部分のみ説明する。
【０１３１】
上記第１の実施形態における顔検出部４０と相違する部分は、アウトプレーン角度に応じて顔検出を実行するか否かを判定するためのデータを記憶する検出可否判定テーブル７２が備えられている点である。なお、このアウトプレーン角度は、正面を０°とし、左横向きを正としている。
【０１３２】
検出可否判定テーブル７２は、比較部６２に接続されている。比較部６２は、検出可否判定テーブル７２に記憶されたデータを読取り、顔検出を実行するか否かを判定する。顔検出を実行すると判定した場合、比較部６２は、画像データとテンプレートデータとの比較を行う。
【０１３３】
この検出可否判定テーブル７２には、例えば、下記表１に示すように、アウトプレーン角度と顔検出に用いる画像サイズとの関係から、０〜９の画像サイズの段階に対して顔検出を実行するか否かを表す検出可否情報（○は、顔の検出を行うことを示し、×は、顔の検出を行わないことを示す。）が設定される。
【０１３４】
なお、表１に示すアウトプレーン角度は一例であり、表１に示す角度と異なる角度をアウトプレーン角度として用いてもよい。
【０１３５】
【表１】
一般的に被写体中には、小さい顔の真横顔が、正面顔や斜め横顔よりも撮像される回数が少ないため、上記表１に示すように、大きな画像サイズ６〜９については、顔検出処理の対象となるアウトプレーン角度の種類が少なく設定される。すなわち、分類された画像の画像サイズが大きいほど顔検出処理の対象となるアウトプレーン角度の種類が少なく設定される。
【０１３６】
図１３は、アウトプレーン角度によって顔検出を実行するか否かを制限する画像サイズ別制限装置７２Ａ〜７２Ｊ（図１３において、７２Ｃ〜７２Ｉは図示省略）を示しており、顔検出に用いる画像サイズ別に、比較部６２に備えられている。
【０１３７】
この比較部６２は、サイズ設定部５６で設定されたサイズ識別データが、拡縮データ読取部５８を介して入力されると共に、入力された画像サイズに該当する画像サイズ別制限装置７２Ａ〜７２Ｊのいずれかにおいて顔検出を実行する。
【０１３８】
図１４に示される如く、この画像サイズ別制限装置７２Ａ〜７２Ｊは、各々、選択器７４と、制限器７６〜８４と、を含んで構成されている。
【０１３９】
また、選択器７４は、各アウトプレーン角度に対応させて備えられた制限器７６〜８４に接続されている。この選択器７４は、顔検出を実行するアウトプレーン角度を選択する。選択後、顔検出を実行するか否かを表すデータを制限器７６〜８４へ出力する。
【０１４０】
制限器７６は、選択器７４からの出力データに基づいて、アウトプレーン角度が、−９０°（左横向き）の顔検出を実行するか否かのデータを設定する。顔検出を実行する場合はＯＮに設定され、実行しない場合はＯＦＦに設定される。他の制限器も同様な処理を実行し、制限器７８はアウトプレーン角度が−４５°、制限器８０はアウトプレーン角度が０°、制限器８２はアウトプレーン角度が４５°、及び制限器８４はアウトプレーン角度が９０°に各々対応している。
【０１４１】
また、テンプレートデータメモリ６４には、正面顔を表すテンプレート以外にも、アウトプレーン角度が、−９０°、−４５°、４５°、及び９０°を有する顔を表すテンプレートデータが、予め記憶されている。
【０１４２】
図１５に示すフローチャートを用いて第２の実施形態に係るデジタルカメラ１における顔検出を説明するが、上記第１の実施形態で説明した顔検出に関する図４に示すフローチャートと同一の処理を行うステップについては、同一の符号を用いて説明を行う。
【０１４３】
まず、ステップ４００では、拡縮データ読取部５８が、サイズ設定部５６で設定された顔検出に用いるサイズ識別データを読取る。次のステップ４０２では、ステップ４００で読取ったサイズ識別データに該当する画像サイズの画像データを拡縮データメモリ５４から読取る。
【０１４４】
次に、ステップ６００では、比較部６２が、ステップ４００で読取ったサイズ識別データに基づいて、顔検出で用いる画像サイズ及びアウトプレーン角度に関するデータを検出可否判定テーブル７２から読取る。
【０１４５】
本ステップ６００の一例として、サイズ設定部５６において、画像サイズ５及び６を表すサイズ識別データが設定された場合、比較部６２は、サイズ識別データに該当する画像サイズ別制限装置７２Ｆ（図示省略）及び画像サイズ別制限装置７２Ｇ（図示省略）において、顔検出を実行する。
【０１４６】
画像サイズ別制限装置７２Ｆでは、選択器７４が、画像サイズ５に該当する検出可否情報を検出可否判定テーブル７２から読取る。上記表１に示すように、−９０°、−４５°、０°、４５°、及び９０°の全アウトプレーン角度に対して顔検出を行うことを表す検出可否情報が読み取られるため、各制限器７６〜８４がＯＮに設定される。
【０１４７】
また、画像サイズ別制限装置７２Ｇでは、選択器７４が、画像サイズ６に該当する検出可否情報を検出可否判定テーブル７２から読取る。上記表１に示すように、−４５°、０°、及び４５°のアウトプレーン角度に対して顔検出を行うことを表す検出可否情報が読取られるため、制限器７８〜８２がＯＮに設定されると共に、制限器７６及び８４がＯＦＦに設定される。
【０１４８】
次のステップ４０４では、比較部６２が、テンプレートデータメモリ６４からテンプレートデータを読取る。そして、読取ったテンプレートデータと拡縮データ読取部５８で読取った画像データとの比較を行う。
【０１４９】
画像データとテンプレートデータとの比較方法は、上記したように、ステップ６００で制限器７６〜８４においてＯＮに設定されたアウトプレーン角度に該当するテンプレートデータを用いて、切り出した部分画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出する。
【０１５０】
なお、第３の実施形態の顔検出は、上記第１の実施形態及び第１の実施形態の変形例で説明した図４及び図１０に示すステップ３１０における処理で用いることも可能である。
【０１５１】
［第３の実施形態］
以下、本発明の第３の実施形態について説明する。
【０１５２】
上記第２の実施形態では、横顔や斜め横顔等の顔の向きを考慮して、顔検出を実行したが、撮影者が、デジタルカメラ１の光軸あるいは、それと平行な軸を中心に回転させて撮影を行う場合、図１６に示すように、撮像された被写体の顔は、天地方向を０°とした時計回り方向に回転させたときを正として、それぞれ角度を有することになる。
【０１５３】
このとき、顔検出を実行するには、さらに天地方向を０°とした時計回り方向に回転させた角度（インプレーン角度）を有する顔を表すテンプレートを作成すると、スルー画像データとテンプレートとの比較を行う回数が増加し、処理時間が増加する。
【０１５４】
そこで、第３の実施形態では、天地方向を０°とした時計回り方向に回転させた顔を表すテンプレートを用いて顔検出を実行すると共に、スルー画像データとテンプレートとの照合を行う回数を減らすよう制御することで、処理時間の増加を防ぐことを目的とする。
【０１５５】
第３の実施形態に係るデジタルカメラ１の制御系の構成は、上記第１の実施形態に係るデジタルカメラ１の制御系の構成（図１及び図２参照）と同様であるため、同一符号を用いて説明を省略する。
【０１５６】
図１７は、画像データとテンプレートデータとの比較を行う判別器群８６を表しており、判別器群８６は、比較部６２に備えられている。この判別器群８６は、判別器選択部８８と、アウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４（以下、総称する場合は、アウトプレーン判別器）と、インプレーン（０°）判別器９６、インプレーン（３０°）判別器９８、・・・・インプレーン（３３０°）判別器１１８（以下、総称する場合は、インプレーン判別器）と、を含んで構成されている。
【０１５７】
判別器選択部８８は、アウトプレーン判別器と、インプレーン判別器と、接続されている。判別器選択部８８は、顔検出の対象とするアウトプレーン角度及びインプレーン角度に対応させてアウトプレーン判別器及びインプレーン判別器を選択する。その後、選択したアウトプレーン判別器及びインプレーン判別器に画像データを出力する。
【０１５８】
アウトプレーン（左横）判別器９０は、判別器選択部８８から出力された画像データと、アウトプレーン角度が２７０°（左横向き）のテンプレートデータをテンプレートデータメモリ６４から読取り、比較を行う。同様に、アウトプレーン（正面）判別器９２は、アウトプレーン角度が０°（正面向き）のテンプレートデータを用いて比較を行い、さらにアウトプレーン（右横）判別器９４は、アウトプレーン角度が９０°（右横向き）のテンプレートデータを用いて比較を行う。
【０１５９】
なお、テンプレートデータメモリ６４には、インプレーン角度及びアウトプレーン角度を有する顔を表すテンプレートデータが記憶されている。本実施の形態に係るデジタルカメラ１に記憶されているテンプレートデータは、アウトプレーン角度が、正面、右横、及び左横の顔を表す各テンプレートデータに対して、天地方向を０°とした時計周り方向に３０°ずつ回転させることで作成されているが、これに限らず、アウトプレーン角度及びインプレーン角度として他の角度を適用しても良い。
【０１６０】
インプレーン（０°）判別器９６は、判別器選択部８８から出力された画像データと、インプレーン角度が０°の顔を表すテンプレートデータをテンプレートデータメモリ６４から読取り、比較を行う。同様に、その他のインプレーン（３０°）判別器９８〜インプレーン（３３０°）判別器１１８は、インプレーン角度に応じた顔を表すテンプレートデータを用いて比較を行う。
【０１６１】
次に、図１８〜図２１に示すフローチャートを用いて、顔検出部４０における処理について説明するが、図４のフローチャートと同一のステップは同一の符号を付して説明を省略する。なお、図１８〜図２１に示すフローチャートは、１コマ目のスルー画像に対して顔検出処理を行い、その結果に基づいて次のスルー画像に対する顔検出処理において検出対象とするインプレーン角度を設定するための処理を示している。
【０１６２】
まず、ステップ７００は、顔検出を実行した回数をカウントするためのカウンタ（dirc）のリセットを行う。次のステップ７０２では、インプレーン角度が０°、９０°、及び２７０°の顔検出を行うため、判別器選択部８８において、インプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４が選択される。
【０１６３】
インプレーン角度が０°、９０°、及び２７０°の顔検出を実行する理由としては、撮影者が、デジタルカメラ１の光軸あるいは、それと平行な軸を中心に回転させて撮影を行う場合、撮像された被写体の顔は、天地方向を０°とした時計回り方向に回転させたときを正として、０°、９０°、及び２７０°を有する機会が、多いためである。
【０１６４】
次に、ステップ７０４では、ステップ３０４において、サイズ設定部５６で設定された画像サイズの段階を表すサイズ識別データ、すなわち０〜９の画像サイズ別に形成された画像データに対して、ステップ５０２で選択されたインプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４を用いて、顔検出を行う。
【０１６５】
本ステップ７０４の詳細な処理を図２０に示すフローチャートを用いて説明するが、上記第１の実施形態及び第２の実施形態で説明した顔検出に関する図５及び図１５に示すフローチャートと同一の処理を行うものについては、同一の符号を付与して説明を行う。
【０１６６】
まず、ステップ４００では、拡縮データ読取部５８が、サイズ設定部５６で設定された顔検出に用いる０〜９の画像サイズを表すサイズ識別データを読取る。
【０１６７】
次のステップ４０２では、拡縮データ読取部５８が、ステップ４００で読取ったサイズ識別データに該当する画像データを拡縮データメモリ５４から読取る。
【０１６８】
次に、ステップ７３８では、ステップ７０２で選択されたインプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４を用いて、画像データとテンプレートデータとの比較を行う。
【０１６９】
画像データとテンプレートデータとの比較を行うには、インプレーン（０°）判別器９６が、インプレーン角度が０°であるテンプレートデータをテンプレートデータメモリ６４から読取る。次に、ステップ４０２で拡縮データ読取部５８において読取られた０〜９の画像サイズとインプレーン角度が０°であるテンプレートデータとの比較を、各画像サイズ毎に行う。
【０１７０】
同様に、インプレーン（９０°）判別器１０２は、インプレーン角度が９０°であるテンプレートデータを用いて比較を行い、さらにインプレーン（２７０°）判別器１１４は、インプレーン角度が２７０°であるテンプレートデータを用いて比較を行う。
【０１７１】
画像データとテンプレートデータとの比較方法は、上記したように、画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出することによって行う。
【０１７２】
次に、ステップ７０６では、０〜９の画像サイズで形成された画像データのうち、顔が存在すると予想される画像サイズが検出された場合、ステップ７４０（図２１参照）へ進む。つまりステップ７３８において、比較部６２で顔検出を行った結果、算出された評価値が、所定の閾値以上を示す画像サイズが検出された場合は、ステップ７４０へ進む。画像サイズが検出されなかった場合は、ステップ７０８へ進む。
【０１７３】
ステップ７０８では、顔検出を実行した回数を表すカウンタ（dirc）をインクリメントし、このカウンタが所定回数（ＤＤＡは予め定められた所定数を示す）以上となった場合、インプレーン角度が、０°、９０°、及び２７０°に対しては、顔が存在しないと判定され、ステップ７１０へ進む。カウンタ（dirc）が所定回数以下である場合には、ステップ７０４へ戻る。なお、ステップ７０８に記載のdirc＋＋は、dircがインクリメントされたことを表す。以下、dirc＋＋は、同様な内容を示す。
【０１７４】
ステップ７１０では、顔検出を実行した回数をカウントするためのカウンタ（dirc）のリセットを行う。次のステップ７１２では、顔検出を行うインプレーン角度の範囲を広げるため判別器選択部８８によって、対応するインプレーン判別器が選択されることで、顔検出の対象となるインプレーン角度を設定する。なお、本実施の形態では、本ステップで設定するインプレーン角度を３０°，６０°，１２０°，２４０°，３００°，３３０°とするが、これに限らないことはいうまでも無い。
【０１７５】
ステップ７１４では、ステップ７０４と同様な処理を行うため説明を省略する。
【０１７６】
次のステップ７１６は、ステップ７０６と同様な処理であるため説明を省略するが、比較部６２で算出された評価値が、所定の閾値以上を示す画像サイズが検出された場合、ステップ７４０へ進み、画像サイズが検出されなかった場合、ステップ７１８へ進む。
【０１７７】
ステップ７１８では、ステップ７０８と同様に、顔検出を実行した回数を表すカウンタ（dirc）をインクリメントし、このカウンタが所定回数（ＤＤＢは予め定められた所定数を示す）を超えた場合、ステップ７２０（図１９参照）へ進む。すなわち、ステップ７１８で肯定判断となった場合とは、ステップ７１２で選択されたインプレーン判別器によって顔が検出されない場合である。
【０１７８】
一方、カウンタ（dirc）が所定回数以下である場合には、ステップ７１４へ戻り、カウンタの値に応じたインプレーン角度で同一のスルー画像データに対して顔検出を繰り返す。
【０１７９】
次に、ステップ７２０では、顔検出を実行した回数をカウントするためのカウンタ（dirc）のリセットを行う。次のステップ７２２では、アウトプレーン角度が左横、正面、及び右横、インプレーン角度が、０°、９０°、及び２７０°の顔検出を行うため、判別器選択部８６において、アウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４、並びにインプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４が選択される。
【０１８０】
次に、ステップ７２４では、ステップ３０４において、サイズ設定部５６で設定されたサイズ識別データ、すなわち０〜９の画像サイズ別に形成された画像データに対して、ステップ７１８で選択されたアウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４、並びにインプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４を用いて顔検出を行う。
【０１８１】
本ステップ７２４の詳細な処理を、図２０に示すフローチャートを用いて説明する。
【０１８２】
まず、ステップ４００では、拡縮データ読取部５８が、サイズ設定部５６で設定された顔検出に使用する０〜９の画像サイズを表すサイズ識別データを読取る。
【０１８３】
次のステップ４０２では、拡縮データ読取部５８が、ステップ４００で読取ったサイズ識別データに該当する画像データを拡縮データメモリ５４から読取る。
【０１８４】
次に、ステップ７３８では、ステップ７２２で選択されたアウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４、並びにインプレーン（０°）判別器９６、インプレーン（９０°）判別器１０２、及びインプレーン（２７０°）判別器１１４を用いて、画像データとテンプレートデータとの比較を行う。
【０１８５】
本ステップ７３８における比較は、まず、アウトプレーン（左横）判別器９０が、左横向きのテンプレートデータをテンプレートデータメモリ６４から読取る。次に、ステップ４０２で拡縮データ読取部５８において読取られた０〜９の画像サイズの画像データと左横向きのテンプレートデータとの比較を、各画像サイズ毎に行う。
【０１８６】
同様に、アウトプレーン（正面）判別器９２は、正面向きのテンプレートデータを用いて比較を行い、さらにアウトプレーン（右横）判別器９４は、右横向きのテンプレートデータを用いて比較を行う。
【０１８７】
アウトプレーン判別器における処理が終了すると、インプレーン（０°）判別器９６が、インプレーン角度が０°であり、かつアウトプレーン角度が左横向き、正面向き、及び右横向きのテンプレートデータをテンプレートデータメモリ６４から読取る。次に、ステップ４０２で拡縮データ読取部５８において読取られた０〜９の画像サイズの画像データと読取ったテンプレートデータとの比較を、各画像サイズ毎に行う。
【０１８８】
同様に、インプレーン（９０°）判別器１０２は、インプレーン角度が９０°であり、かつアウトプレーン角度が左横向き、正面向き、及び右横向きのテンプレートデータを用いて比較を行い、さらにインプレーン（２７０°）判別器１１４は、インプレーン角度が２７０°であり、かつアウトプレーン角度が左横向き、正面向き、及び右横向きのテンプレートデータを用いて比較を行う。
【０１８９】
画像データとテンプレートデータとの比較方法は、上記したように、切り出した部分画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出することによって行う。
【０１９０】
次に、ステップ７２６では、ステップ７０６及びステップ７１６と同様な処理であるため説明を省略するが、比較部６２で算出された評価値が所定の閾値以上を示し、顔が存在する画像サイズが検出された場合はステップ７４０へ進む。一方、顔が存在する画像サイズが検出されなかった場合はステップ７２８へ進む。
【０１９１】
次のステップ７２８では、顔検出を実行した回数を表すカウンタ（dirc）をインクリメントし、このカウンタが所定回数（ＤＤＣは予め定められた所定数を示す）を超えた場合、インプレーン角度が、０°、９０°、及び２７０°、各インプレーン角度に対して、アウトプレーン角度が左横、正面、及び右横のテンプレートデータを用いても、顔が存在しないと判定され、ステップ７３０へ進む。カウンタ（dirc）が所定回数以下である場合は、ステップ７２４へ戻る。
【０１９２】
ステップ７３０では、顔検出を実行した回数をカウントするためのカウンタ（dirc）のリセットを行う。次のステップ７３２では、アウトプレーン角度が左横、正面、及び右横、インプレーン角度が、３０°，６０°，１２０°，２４０°，３００°，３３０°の顔検出を実行するため、判別器選択部８８において、アウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４、並びにインプレーン（０°）判別器９６、インプレーン（３０°）判別器９８・・・・インプレーン（３３０°）判別器１１８が選択される。
【０１９３】
ステップ７３４では、ステップ７２４と同様な処理を行うため説明を省略するが、アウトプレーン判別器及びインプレーン判別器を用いて、インプレーン角度が、３０°，６０°，１２０°，２４０°，３００°，３３０°の各３０°毎のインプレーン角度に応じて、アウトプレーン角度が、左横、正面、及び右横のテンプレートデータを用いて、０〜９の画像サイズ別に形成された画像データと比較を行う。
【０１９４】
次に、ステップ７３６では、ステップ７０６、ステップ７１６、及びステップ７２６と同様な処理であるため説明を省略するが、比較部６２で算出された評価値が、所定の閾値以上を示す画像サイズが検出された場合は、図２１に示すステップ７４０へ進む。画像サイズが検出されなかった場合は、ステップ７３９へ進む。
【０１９５】
次のステップ７３９では、顔検出を実行した回数を表すカウンタ（dirc）をインクリメントし、このカウンタが所定回数（ＤＤＤは予め定められた所定数を示す）を超えた場合に本プログラムを終了する。すなわち、ステップ７３９で肯定判断となった場合とは、本プログラムによる顔検出の対象となったスルー画像に顔が存在しない場合である。
【０１９６】
なお、当該スルー画像から顔が検出されないまま本プログラムが終了した場合は、再び本プログラムが開始され次のスルー画像に対して本プログラムによる顔検出が開始される。
【０１９７】
一方、カウンタ（dirc）が所定回数以下である場合には、ステップ７３４へ戻り、カウンタの値に応じたアウトプレーン角度及びインプレーン角度で同一のスルー画像データに対して顔検出を繰り返す。
【０１９８】
次に、図２１のステップ７４０では、ステップ７０６、ステップ７１６、ステップ７２６、及びステップ７３６において、顔が存在すると判定された画像サイズの画像データに含まれるインプレーン角度が、３３０°〜０°〜３０°の範囲に該当するか否かを判断する。
【０１９９】
該当する場合は、ステップ７４６において、顔が存在すると判定されたインプレーン角度の±３０°の角度範囲で、次の顔検出に用いるインプレーン角度を設定する。このインプレーン角度を設定する方法としては、下記表２に示す姿勢判定表に基づいて設定する。下記表２に示す姿勢判定表は、顔検出で検出されたインプレーン角度のうち最多回数検出された角度を表す代表顔の角度、及び水平垂直モードとマルチアングルモードとからなる姿勢判別モードとの関係から、各姿勢判別モードに対してインプレーン角度が設定されている。
【０２００】
【表２】
上記表２における水平垂直モードとは、図２２に示すように、左から順に２４０°〜３００°、３３０°〜３０°、及び６０°〜１２０°のインプレーン角度範囲を表す３つの種類から構成されている。このモードは、被写体の顔には、インプレーン角度が０°、９０°、及び２７０°の顔が多く存在するため、これらの角度を中心に、インプレーン角度範囲を定めるためのものである。
【０２０１】
また、上記表２におけるマルチアングルモードとは、図２３に示すように、左上から順に、２４０°〜３００°、２７０°〜３３０°、３００°〜０°、左下から順に、３３０°〜３０°、０°〜６０°、３０°〜９０°、及び６０°〜１２０°のインプレーン角度範囲を表す７つの種類から構成されている。このモードは、３０°単位で追従して角度範囲を変更できるので、被写体の顔が、ゆっくりと変化した場合に、より適切な角度範囲で顔検出を実行することができる。
【０２０２】
従って、本ステップ７４６では、検出された顔のインプレーン角度と、予め定められた上記のいずれかのモードとに基づいて、次のスルー画像データに対する顔検出に用いるインプレーン角度範囲を定める。
【０２０３】
なお、表２に示すインプレーン角度範囲は一例であり、次のスルー画像データに対する顔検出に用いるインプレーン角度範囲を、表２に示すインプレーン角度範囲と異なる範囲に基づいて設定してもよい。
【０２０４】
ステップ７４０で、３３０°〜０°〜３０°の範囲に該当しない場合には、ステップ７４２へ進む。ステップ７４２では、ステップ７０６、ステップ７１６、ステップ７２６、及びステップ７３６において、顔があると判定された画像サイズの画像データに含まれるインプレーン角度が、６０°〜９０°〜１２０°の範囲に該当するか否かを判定する。
【０２０５】
該当する場合は、ステップ７４６へ進む。ステップ７４６では、上記で説明したように、顔検出に用いるインプレーン角度範囲を設定する。該当しない場合は、ステップ７４４へ進む。
【０２０６】
ステップ７４４では、ステップ７０６、ステップ７１６、ステップ７２６、及びステップ７３６において、顔があると判定された画像サイズの画像データに含まれるインプレーン角度が、２４０°〜２７０°〜３００°の範囲に該当するか否かを判定する。
【０２０７】
該当する場合は、ステップ７４６へ進む。ステップ７４６では、上記で説明したように、顔検出に用いるインプレーン角度範囲を設定する。
該当しない場合は、ステップ７３４へ進む（図１９参照）。
【０２０８】
なお、図２１に示すステップ７４６におけるインプレーン角度範囲の設定に用いる、検出された顔のインプレーン角度の範囲（ステップ７４０，７４２，及び７４４に示される範囲）は一例であり、他の範囲を適用してもよい。
【０２０９】
上記処理を初期判定として行うことによって、どの画像サイズ及びインプレーン角度を用いれば、顔が存在するか否かの予想を行うことが可能となるが、本発明は、時間的に連続して撮像された画像を対象としており、撮影者の手ぶれや被写体の動作等によって、特に画像データに含まれる顔のアウトプレーン角度に変化が生じる。
【０２１０】
そのため、上記初期判定を行った後に、定期的にアウトプレーン角度の変化に応じた顔検出を行う必要がある。但し、全てのアウトプレーン角度を用いて顔検出を行うと、処理時間が増大するため、顔検出の必要のないアウトプレーン角度については、顔検出を行わないよう制御する。
【０２１１】
図２４は、アウトプレーン制御の遷移図を表している。この遷移図において、ノードＡは、図１８〜図２１で説明したフローチャートにおける初期判定処理を表している。また、ノードＢは、正面、右横、及び左横のアウトプレーン角度で顔検出を実行することを表している。同様に、ノードＣは、正面及び右横、ノードＤは、正面及び左顔、ノードＥは、右横及び左横、ノードＦは、正面、ノードＧは、右横、及びノードＨは、左横の各アウトプレーン角度で顔検出を実行することを表しており、矢印の方向に向かって処理の遷移を行うことを示している。
【０２１２】
遷移を行う一例として、ノードＢにおいて、顔検出を実行した場合、正面及び右横のアウトプレーン角度に対して顔が検出されたと判断された場合には、ノードＣへ処理を遷移させ、正面及び左横のアウトプレーン角度に対して顔が検出されたと判断された場合には、ノードＤへ処理を遷移させ、正面のアウトプレーン角度に対して顔が検出されたと判断された場合には、ノードＦへ遷移する。また、ノードＢにおいて、顔が検出されない場合には、正面、右横、及び左横のアウトプレーン角度を用いて顔検出を繰り返し実行する。
【０２１３】
また、各ノードにおいて、顔検出を繰り返し実行する場合、図２４に示すように、角度絞込み、すなわちインプレーン角度の範囲を定めると共に、顔検出を実行する。
【０２１４】
但し、顔検出を繰り返し実行し、顔が存在すると判断されない場合は、点線矢印の向きへ処理を遷移する。点線矢印の向きへ処理を遷移させる方法の一例として、ノードＣ〜Ｈにおいて、顔検出を所定回数（ＤＮ回）実行した場合、点線矢印の向き（遷移先をノードＢとする）に処理を遷移することが上げられる。なお、連続して所定回数（ＤＮ回）、顔が存在すると判断されない場合に、ノードＡに遷移させるようにしても良い。
【０２１５】
その他の点線矢印の向きへ処理を遷移させる一例として、顔検出の実行回数が、ＤＮ回未満の時に、連続して所定回数（ＮＮ回）、顔が存在すると判断されない場合に、点線矢印の向き（遷移先をノードＢとする）に処理を遷移することが上げられる。上記と同様に、顔検出の実行回数が、ＤＮ回未満の時に、連続して所定回数（ＮＮ回）、顔が存在すると判断されない場合に、ノードＡに遷移させるようにしても良い。
【０２１６】
次に、図２５に示すフローチャートを用いて顔検出部４０における処理について説明する。まず、ステップ７４８では、初期判定処理を行う。本ステップ７４８は、上記図１８〜図２１に示すフローチャートで説明した内容と同様な処理であるため説明を省略する。
【０２１７】
次にステップ７５０では、ステップ７４８で検出した画像サイズのうち、最大の画像サイズから、次のスルー画像に対する顔検出に用いる画像サイズを選択する。この選択方法は、実施形態１及び実施形態１の変形例で説明したように、最大の画像サイズの近傍の４つの画像サイズを含むように選択するか、あるいは制限幅チャート（図８（Ｂ）参照）及びパターン遷移表（図９参照）を用いて画像サイズを選択する。
【０２１８】
ステップ７５２では、アウトプレーン角度を正面、右横、及び左横、インプレーン角度をステップ７４６で設定した値として、各々該当するアウトプレーン判別器及びインプレーン判別器を判別器選択部８８において選択する。
【０２１９】
すなわち、判別器選択部８８において、アウトプレーン（左横）判別器９０、アウトプレーン（正面）判別器９２、及びアウトプレーン（右横）判別器９４が選択されると共に、判別器選択部８８において、ステップ７４６で設定した値に該当するインプレーン（０°）判別器９６、インプレーン（３０°）判別器９８・・・・インプレーン（３３０°）判別器１１８のいずれかのインプレーン判別器が選択される。当該選択により、顔検出の対象とするアウトプレーン角度及びインプレーン角度を設定する。
【０２２０】
次のステップ７５４では、ステップ７５０で選択した画像サイズ、並びにステップ７５２で設定したアウトプレーン角度及びインプレーン角度を用いて、顔検出を実行する。
【０２２１】
本ステップ７５４における顔検出についての詳細は、図２６に示すフローチャートを用いて説明する。
【０２２２】
まず、ステップ７７０においては、ステップ７５０で選択した画像サイズ、並びにステップ７５２で設定したアウトプレーン角度及びインプレーン角度を用いて、顔検出を実行するが、上記図２０で説明した顔検出と同様な処理を実行するので説明は省略する。
【０２２３】
次に、ステップ７７２では、上記ステップ７７０の顔検出の実行結果に基づいて、顔が存在するか否かを判定する。所定時間（ＴＤ秒）顔検出を実行した結果、顔が検出されない場合は、図２５に示すフローチャートの処理を最初からやり直すため、この判定を行う。
【０２２４】
この判定方法は、上記ステップ７０６、ステップ７１６、ステップ７２６、及びステップ７３６と同様な判定を行うので、説明は省略する。
【０２２５】
ステップ７７２において、顔が存在しないと判断した場合、ステップ７７４へ進む。ステップ７７４では、タイマーＴＭが起動中であるか否かを判断する。ステップ７７２において、顔が存在すると判断した場合は、ステップ７７６において、タイマーＴＭによって計測した時間をリセットする。
【０２２６】
ステップ７７４では、タイマーＴＭが起動中であるならば、ステップ７８０へ進む。タイマーＴＭが起動中でないならば、ステップ７７８へ進む。ステップ７７８では、タイマーＴＭを起動させると共に、タイマーＴＭの初期設定（０を設定する）を行う。
【０２２７】
次のステップ７８０では、タイマーＴＭをインクリメントした値と所定時間（ＴＤ秒）と比較を行う。タイマーＴＭが所定時間（ＴＤ秒）以上である場合は、ステップ７８２へ進み、図２５に示すフローチャートのステップ７４８へ戻る。タイマーＴＭが所定時間（ＴＤ秒）未満であった場合、ステップ７８４へ進む。なお、ステップ７８０に記載のタイマーＴＭ＋＋は、タイマーＴＭがインクリメントされたことを表す。
【０２２８】
ステップ７８４では、ステップ７７０で顔検出を実行した結果、検出されたアウトプレーン角度が、正面、右横、及び左横の全てに該当するか否かの判定を行う。この判定を行う理由は、上記図２４で説明したように、アウトプレーン角度が、正面、右横、及び左横以外、すなわちノードＣ〜Ｈにおける顔検出を所定回数（ＤＮ回）実行した場合、次の顔検出で用いるアウトプレーン角度を正面、右横、及び左横として顔検出を実行する（ノードＢに遷移する）ため判定を行う。
【０２２９】
ステップ７８４で、該当しないと判断した場合は、ステップ７８６へ進む。ステップ７８６では、アウトプレーン角度が、正面、右横、及び左横以外のアウトプレーン角度を用いて顔検出を実行した回数をカウントするためのカウンタＣＴがカウント中であるか否かを判定する。カウント中でないならば、ステップ７８８へ進み、カウンタＣＴを起動させると共に、カウンタＣＴの初期設定（０を設定する）を行う。カウント中であるならば、ステップ７９０へ進む。
【０２３０】
なお、ステップ７８４において、該当すると判断した場合は、ステップ７９２へ進み、カウンタＣＴをリセットする。リセット後、図２５のステップ７５６へ進む。
【０２３１】
ステップ７９０では、カウンタＣＴをインクリメントした値と所定回数（ＤＮ回）との比較を行う。カウンタＣＴが、所定回数（ＤＮ回）以上である場合は、ステップ７９４へ進む。カウンタＣＴが、所定回数（ＤＮ回）未満であるならば、図２５のステップ７５６へ進む。なお、ステップ７９０に記載のカウンタＣＴ＋＋は、カウンタＣＴがインクリメントされたことを表す。
【０２３２】
ステップ７９４では、カウンタＣＴをリセットする。リセット後、ステップ７９６へ進む。ステップ７９６では、ステップ７７０で検出した最大の画像サイズよりも、小なる画像サイズを設定する。
【０２３３】
この設定は、小さなサイズの顔を検出するために画像サイズの制限幅を定めて顔検出を行った場合、撮影中に現れた大きなサイズの顔に対して顔検出を行うことが不可能となるため、より小さな画像サイズを設定することで、大きなサイズの顔を検出可能とするよう設定するために行う。
【０２３４】
次のステップ７９８では、アウトプレーン角度の遷移を行うための条件である顔検出実行回数ＤＮが、連続して所定回数（ＭＲＣ回）以上となった場合、顔検出で用いる画像サイズの変更を行う。この変更は、一定の画像サイズに対してのみ顔検出を実行することのないよう画像サイズを定期的に変更するために行う。
【０２３５】
従って、ステップ７９８では、実行回数ＤＮをカウントするパラメータであるＭＲ_cntをインクリメントした値と所定回数（ＭＲＣ回）と比較する。ＭＲ_cntが、所定回数（ＭＲＣ回）以上であるならば、ステップ８００へ進む。ＭＲ_cntが、所定回数（ＭＲＣ回）未満であるならば、図２５に示すステップ７５０へ戻る。なお、ステップ７９８に記載のＭＲ_cnt＋＋は、ＭＲ_cntがインクリメントされたことを表す。
【０２３６】
ステップ８００では、次の顔検出で用いる画像サイズを変更する。画像サイズとしては、一例として、最小の画像サイズの段階を表す「０」が選択される。選択後、図２５に示すステップ７５０へ進む。なお、本ステップ８００では、最小の画像サイズの段階を表す「０」以外にも、ステップ７７０で検出した画像サイズよりも小なる画像サイズの段階を設定しても良い。
【０２３７】
以上、図２５に示すステップ７５４の顔検出に関する説明を終了し、以下、図２５に示すステップ７５６以降の処理について説明する。
【０２３８】
ステップ７５６では、上記で説明したＭＲ_cntの初期設定（０を設定する）を行う。設定後、ステップ７５８へ進む。ステップ７５８では、アウトプレーンの角度が、正面、右横、及び左横のうち、ステップ７５４の顔検出において検出されたインプレーン角度を選択する。
【０２３９】
次にステップ７６０では、ステップ７５４で検出した画像サイズのうち、最大の画像サイズから、次のスルー画像に対する顔検出に用いる画像サイズを選択する。この選択方法は、上記ステップ７５０で説明した方法により選択を行うため説明は省略する。
【０２４０】
次のステップ７６２では、顔検出で用いるインプレーン角度の範囲を定める。本ステップの処理の詳細は、図２７に示すフローチャートを用いて説明する。
【０２４１】
まず、ステップ８０２において、前回までのスルー画像に対する顔検出を実行した結果、設定されているインプレーン角度の範囲内に該当する回数が、所定回数（ＡＤ回）一致したか否かを判定する。所定回数（ＡＤ回）を定めた理由は、頻繁にインプレーン角度の範囲設定を実行することによって生じる処理負荷の軽減を行うため実行している。一致した場合は、ステップ８０４へ進む。一致しない場合は、図２５に示すステップ７６４へ進む。
【０２４２】
ステップ８０４では、ステップ７４６で設定したインプレーン角度を姿勢検出角度（Ｒｇ）として設定を行う。設定後、ステップ８０６では、ステップ８０４で設定したＲｇに対して、Ｒｇから３０°減算したインプレーン角度が、前回の顔検出時に検出されたか否かを判定する。検出された場合は、次のステップ８０８で、このインプレーン角度を選択する。検出されなかった場合は、次のステップ８１０へ進む。
【０２４３】
ステップ８１０では、ステップ８０４で設定したＲｇが表すインプレーン角度が、前回の顔検出時に検出されたか否かを判定する。検出された場合は、次のステップ８１２で、このインプレーン角度を選択する。検出されなかった場合は、次のステップ８１４へ進む。
【０２４４】
ステップ８１４では、ステップ８０４で設定したＲｇに対して、Ｒｇに３０°加算したインプレーン角度が、前回の顔検出時に検出されたか否かを判定する。検出された場合は、次のステップ８１６で、このインプレーン角度を選択する。検出されなかった場合は、次のステップ８１８へ進む。
【０２４５】
次のステップ８１８では、ステップ８０８、ステップ８１２、及びステップ８１６で選択されたインプレーン角度のうち代表となるインプレーン角度を選択する。この代表となるインプレーン角度を選択する方法としては、上記Ｒｇ、Ｒｇから３０°減算した角度、及びＲｇに３０°加算した角度から、より多く検出されたインプレーン角度を選択しても良い。選択を行ったインプレーン角度に基づいて、上記表２で説明した姿勢判定表から、次の顔検出で用いるインプレーン角度の範囲を定める。
【０２４６】
次のステップ７６４では、ステップ７５８で選択されたアウトプレーン角度、ステップ７６０で選択した画像サイズ、ステップ７６２で選択したインプレーン角度の範囲に基づいて、スルー画像に対する顔検出を実行する。
【０２４７】
なお、処理内容としては、ステップ７５４と同一の処理であるため説明は省略する。
【０２４８】
次のステップ７６６では、ステップ７６４で実行された顔検出の結果に基づいて、最大の画像サイズが変化した場合には、ステップ７６０へ進む。ステップ７６０では、上記したように、この最大の画像サイズに対して、次の顔検出で用いる画像サイズを選択する。なお、この選択方法は、ステップ７５０で説明した方法と同一であるため説明は省略する。
【０２４９】
ステップ７６６において、最大の画像サイズが変化しなかった場合は、ステップ７６８へ進む。ステップ７６８では、ステップ７６４で顔検出の実行によって得られたアウトプレーン角度が、前回の顔検出時から変化した場合は、ステップ７５８へ進む。ステップ７５８では、ステップ７６４の顔検出の実行によって得られたアウトプレーン角度を選択する。ステップ７６８において、アウトプレーン角度が、前回の顔検出時から変化しない場合は、ステップ７６９へ進む。
【０２５０】
ステップ７６９では、スルー画像に対する顔検出処理を停止する指示が入力されたか否かを判断し、肯定判断となった場合は本プログラムを終了する一方、否定判断となった場合はステップ７６２へ戻り、スルー画像に対する顔検出を繰り返す。
【０２５１】
［第４の実施形態］
以下、本発明の第４の実施形態について説明する。
【０２５２】
上記第１の実施形態〜第３の実施形態、第１の実施形態の変形例では、顔検出に用いる画像データの全領域を、顔検出を実行する対象領域として、該対象領域から部分画像データを切り出し、切り出した部分画像データとテンプレートデータとの比較を行うことで顔検出を行っている。
【０２５３】
しかし、一般的な被写体において、一例として、図２８に示すように、全体の画像サイズ（横が５１２、縦が３８４ドット）から内側の領域（横が３６２、縦が２７２ドット）に入っている顔の比率は、図２９に示すような比率であることが、本発明の検証により明らかになった。
【０２５４】
つまり、画像サイズの全面積を２分の１とするように中心方向へ領域を絞り込んだ場合でも、絞り込んだ領域に９７％の確率で顔が存在している。
【０２５５】
そこで、第４の実施形態では、顔検出の対象領域を絞り込むことで、画像データとテンプレートデータとの比較回数を軽減することによって、より高速に顔検出を実行することを目的とする。
【０２５６】
第４の実施形態に係るデジタルカメラ１の制御系の構成は、上記第１の実施形態で説明した構成（図１参照）と同様であるため、同一符号を用いて説明を省略する。
【０２５７】
また、顔検出を実行する顔検出部４０についての構成を、図３０を用いて説明するが、上記第１の実施形態で説明した顔検出部４０（図２参照）と同様な構成については同一の符号を用いて説明は省略し、相違する部分のみ説明する。
【０２５８】
上記第１の実施形態における顔検出部４０と相違する部分は、画像サイズに応じて顔検出の対象領域を絞込むために必要とするデータを記憶する検出領域テーブル１２０が備えられている点である。検出領域テーブル１２０は、比較部６２に接続されている。比較部６２は、検出領域テーブル１２０に記憶されたデータを読取り、読取ったデータに基づいて、顔検出の対象領域を絞り込み、画像データとテンプレートデータとの比較を行う。
【０２５９】
この検出領域テーブル１２０には、例えば、下記表３に示すように０〜９の画像サイズ別に、画像データの面積を中心方向に向かって絞りこむ割合（％）が予め設定される。
【０２６０】
【表３】
一般的に、主要な被写体は、画像データの中央に位置するため、画像データの端の領域を検出対象外とすることによって、画像サイズの大きい画像データに対して、顔検出を実行する処理時間を軽減するように上記表３は設定されている。
【０２６１】
比較部６２は、比較を行う画像データのサイズに該当する割合を検出領域テーブル１２０から読取り、画像データの検出対象領域の検出開始位置から検出終了位置を表す情報を求め、画像データの検出対象領域を絞込む。その後、絞込んだ領域内で、部分画像データを切り出し、切り出した部分画像データとテンプレートデータとの比較を行うことにより顔検出処理を行う。
【０２６２】
［第５の実施形態］
以下、本発明の第５の実施形態について説明する。
【０２６３】
上記第４の実施形態では、顔検出で用いる画像サイズに応じて、顔検出の対象領域を、画像データの中心方向に絞り込みを行っている。
【０２６４】
しかし、一般の被写体では、アウトプレーン角度が真横の顔については、画像データの右端の方に存在する頻度は極めて少なく、さらに画像データの端に存在する小さな顔は、主要被写体となることも少ないといえる。
【０２６５】
そこで、第５の実施形態では、顔検出で用いる画像サイズを考慮すると共に、顔のアウトプレーン角度に応じて、顔検出の対象領域を中心方向に向かって絞り込むことで、画像データとテンプレートデータとの比較回数を軽減し、より高速な顔検出を実行することを目的とする。
【０２６６】
第５の実施形態に係るデジタルカメラ１の制御系の構成は、上記第１の実施形態で説明した構成（図１参照）と同様であるため、同一符号を用いて説明を省略し、さらに顔検出部４０の構成は、実施形態４と同様であるため、同一符号を用いて説明を省略する。
【０２６７】
上記第４の実施形態では、検出領域テーブル１２０には、画像データの画像サイズに応じて顔検出の対象領域を絞込むために必要とするデータを記憶していたが、第５の実施形態における検出領域テーブル１２０には、一例として、下記表４に示すように、０〜９の画像サイズ及びアウトプレーン角度毎に、画像データの面積を中心方向に向かって絞りこむ割合が設定される。すなわち、各段階の画像サイズに応じて、顔のアウトプレーン角度を判別する領域を変更する。
【０２６８】
【表４】
比較部６２は、サイズ設定部５６で設定されたサイズ識別データが、拡縮データ読取部５８を介して入力されると共に、サイズ識別データに基づいて、検出領域テーブル１２０に記憶されたデータを読取る。
【０２６９】
さらに、図３１に示すように、アウトプレーン角度によって顔検出を実行するか否かを制限すると共に、顔検出の対象領域を設定する画像サイズ別制限装置１２２Ａ〜１２２Ｊ（図３１において、１２０Ｃ〜１２０Ｉは図示省略）が、顔検出に用いる画像サイズ別に、比較部６２に備えられている。この比較部６２は、サイズ識別データに基づいて、画像サイズに該当する画像サイズ別制限装置１２２Ａ〜１２２Ｊのいずれかを選択する。選択後、検出領域テーブル１２０から読取られたデータが選択された画像サイズ別制限装置７２Ａ〜７２Ｊのいずれかに出力される。
【０２７０】
図３２に示すように、画像サイズ別制限装置１２２Ａ〜１２２Ｊは、各々、検出領域及びアウトプレーン選択器１２４と、検出領域設定１２６Ａ〜１２６Ｅと、制限器１２８〜１３６を含んで構成されている。
【０２７１】
検出領域及びアウトプレーン選択器１２４は、画像サイズ別に形成された画像データに対して、顔検出を実行する対象領域を定める検出領域設定１２６Ａ〜１２６Ｅに接続されている。検出領域及びアウトプレーン選択器１２４は、検出領域テーブル１２０から読取られたデータに基づいて、顔検出の対象となるアウトプレーン角度に対応した検出領域設定１２６Ａ〜１２６Ｅを選択する。
【０２７２】
選択後、画像データの検出領域を定めるためのデータ及び顔検出を実行するか否かを表すデータが、各検出領域設定１２６Ａ〜１２６Ｅへ出力される。この各検出領域設定１２６Ａ〜１２６Ｅは、検出領域及びアウトプレーン選択器１２４から出力された画像データの検出領域を定めるためのデータに基づいて、顔検出を実行する対象領域を設定する。
【０２７３】
検出領域設定１２６Ａは、制限器１２８に接続されている。制限器１２８は、検出領域設定１２６Ａを介して入力された顔検出を実行するか否かを表すデータに基づいて、アウトプレーン角度が、−９０°（左横向き）の顔検出を実行するか否かのデータを設定する。顔検出を実行する場合にはＯＮに設定され、実行しない場合にはＯＦＦを設定する。他の制限器１３０〜１３６も同様な処理を実行し、制限器１３０はアウトプレーン角度が−４５°、制限器１３２はアウトプレーン角度が０°、制限器１３４はアウトプレーン角度が４５°、及び制限器１３６はアウトプレーン角度が９０°に各々対応している。
【０２７４】
従って、第５の実施形態に係る比較部６２における画像データとテンプレートデータとの比較方法は、検出領域設定１２６Ａ〜１２６Ｅで設定された対象領域において、部分画像データを切り出し、切り出した部分画像データと、制限器１２８〜１３６においてＯＮに設定されたアウトプレーン角度に該当するテンプレートデータを用いて、切り出した部分画像データの輝度値とテンプレートデータの輝度値との相関を表す評価値を算出することで行う。
【０２７５】
なお、画像データの右端に存在する右横顔が、主要被写体となる可能性は少ないため、図３３（Ａ）に示すように顔検出を実行する対象領域の中心位置を左へずらすことによって、画像データの右端において、右横顔の顔検出を実行しないように設定することも可能である。
【０２７６】
同様に、画像データの右端に存在する左横顔が、主要被写体となる可能性は少ないため、図３３（Ｂ）に示すように顔検出を実行する対象領域の中心位置を左へずらすことによって、画像データの左端において、左横顔の顔検出を実行しないように設定することも可能である。
【０２７７】
そこで、検出領域テーブル１２０に、下記表５に示すように、０〜９の画像サイズ及びアウトプレーン角度毎に、画像データの中心位置をずらす方向が設定されている。
【０２７８】
【表５】
例えば、上記表５に示す「Ｃ」は、顔検出の対象領域の中心位置をずらすことなく画像データの中心方向に向かって面積を絞りこむことを示しており、「Ｌ」は、対象領域の中心位置を左へずらすことを示し（図３３（Ａ）参照）、さらに「Ｒ」は、対象領域の中心位置を右へずらすことを示している（図３３（Ｂ）参照）。
【０２７９】
比較部６２は、検出領域テーブル１２０に設定された上記表５に示すデータに基づいて、上記検出領域設定１２６Ａ〜１２６Ｅにおいて画像データに対する顔検出を実行する対象領域を設定し、画像データとテンプレートデータとの比較を行っている。
【０２８０】
さらに、上記表４のように、画像データの面積を中心方向に向かって絞りこむ割合（％）と上記表５に示す対象領域の中心位置の移動との組み合わせを考慮したデータを検出領域テーブル１２０に設定することも可能である。
【０２８１】
以上のように、前回の顔検出で検出した被写体の顔のサイズ、顔の向き、及び天地方向等の顔検出を行う条件に基づいて、画像データ読取り処理回数を軽減するように、今回の顔検出を行う条件を定めるため、高速な顔検出を行うことが可能となる。
【０２８２】
以上、本発明を上記各実施の形態を用いて説明したが、本発明の技術的範囲は上記各実施の形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記各実施の形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０２８３】
また、上記各実施の形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。前述した実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における組み合わせにより種々の発明を導出できる。上記各実施の形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として導出され得る。
【０２８４】
その他、上記各実施の形態で説明したデジタルカメラ１の構成（図１、図２参照）は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりすることができることは言うまでもない。
【０２８５】
また、上記各実施の形態で説明した各プログラムの処理の流れ（図４、図５、図１０、図１５、図１８、図１９、図２０、図２１、図２５、図２６、図２７参照。）も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりすることができることは言うまでもない。
【符号の説明】
【０２８６】
１ デジタルカメラ
１０ 光学ユニット
１２ モータ駆動部
１４ ＣＰＵ
１６ ＣＣＤ
１８ タイミングジェネレータ
２０ ＣＤＳ
２２ ＡＤＣ
２４ 画像入力コントローラ
２６ システムＢＵＳ
２８ 画像信号処理回路
３０ 圧縮・信用処理回路
３２ ＡＦ検出回路
３４ ＡＥ・ＡＷＢ検出回路
３６ ＲＯＭ
３８ ＳＤＲＡＭ
４０ 顔検出部
４２ 表示制御回路
４４ ＬＣＤ
６０ サイズ選別部
６２ 比較部
【特許請求の範囲】
【請求項１】
時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、
前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、
前記分類された画像の画像サイズが大きいほど前記顔検出処理の対象となる前記アウトプレーン角度の種類が少なく設定される、ことを特徴とする顔検出方法。
【請求項２】
時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、
前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、
前回の前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴とする顔検出方法。
【請求項３】
時間的に連続して撮像された画像を所定のサイズの読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、
前記顔検出処理の対象要素として、顔の天地方向の回転角度を示すインプレーン角度を判別する機能を有し、
前記顔検出処理を繰り返す場合に、次の画像に対して行う前記顔検出処理において前記インプレーン角度を判別する対象とするインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の顔検出処理で顔が検出された前記インプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する、ことを特徴とする顔検出方法。
【請求項４】
前回の前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴とする請求項１記載の顔検出方法。
【請求項５】
前記各段階の画像の画像サイズに応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴とする請求項１〜請求項３のいずれか１項に記載の顔検出方法。
【請求項６】
前記顔検出処理の対象要素として、顔の天地方向の回転角度を示すインプレーン角度を判別する機能を有し、
前記顔検出処理を繰り返す場合に、次の画像に対して行う前記顔検出処理において前記インプレーン角度を判別する対象とするインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の顔検出処理で顔が検出された前記インプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する、ことを特徴とする請求項１または請求項２記載の顔検出方法。
【請求項７】
前記予め前記各段階の画像毎に設定された領域は、画像データの中心方向に向かって絞り込まれた領域であり、前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、前記絞り込まれる領域の割合が予め設定される、ことを特徴とする請求項２または請求項４記載の顔検出方法。
【請求項８】
前記予め前記各段階の画像毎に設定された領域は、前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、前記顔検出処理を行う対象領域の中心位置を前記画像データの中心からずらした縮小領域である、ことを特徴とする請求項２または請求項４記載の顔検出方法。
【請求項９】
前記予め前記各段階の画像毎に設定された領域は、画像データの中心方向に向かって絞り込まれた領域であり、前記各段階の画像の画像サイズに応じて、前記絞り込まれる領域の割合が予め設定される、ことを特徴とする請求項２または請求項４記載の顔検出方法。
【請求項１０】
時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、
前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、
前記顔検出処理を繰り返す場合に、前回の前記顔検出処理によって判別されたアウトプレーン角度に応じて、１つまたは１つ以上のアウトプレーン判別対象角度からなるアウトプレーン判別対象角度群の中から、判別対象とする１つまたは複数のアウトプレーン判別対象角度を選択し、前記選択したアウトプレーン判別対象角度で規定されるアウトプレーン角度について判別する、ことを特徴とする顔検出方法。
【請求項１】
時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、
前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、
前記分類された画像の画像サイズが大きいほど前記顔検出処理の対象となる前記アウトプレーン角度の種類が少なく設定される、ことを特徴とする顔検出方法。
【請求項２】
時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、
前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、
前回の前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴とする顔検出方法。
【請求項３】
時間的に連続して撮像された画像を所定のサイズの読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、
前記顔検出処理の対象要素として、顔の天地方向の回転角度を示すインプレーン角度を判別する機能を有し、
前記顔検出処理を繰り返す場合に、次の画像に対して行う前記顔検出処理において前記インプレーン角度を判別する対象とするインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の顔検出処理で顔が検出された前記インプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する、ことを特徴とする顔検出方法。
【請求項４】
前回の前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴とする請求項１記載の顔検出方法。
【請求項５】
前記各段階の画像の画像サイズに応じて、予め前記各段階の画像毎に設定された領域内で前記顔検出処理を行う、ことを特徴とする請求項１〜請求項３のいずれか１項に記載の顔検出方法。
【請求項６】
前記顔検出処理の対象要素として、顔の天地方向の回転角度を示すインプレーン角度を判別する機能を有し、
前記顔検出処理を繰り返す場合に、次の画像に対して行う前記顔検出処理において前記インプレーン角度を判別する対象とするインプレーン角度のパターン数を、全てのパターン数よりも少なく、かつ前回の顔検出処理で顔が検出された前記インプレーン角度を中心とした所定の角度範囲に属するパターン数に設定する、ことを特徴とする請求項１または請求項２記載の顔検出方法。
【請求項７】
前記予め前記各段階の画像毎に設定された領域は、画像データの中心方向に向かって絞り込まれた領域であり、前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、前記絞り込まれる領域の割合が予め設定される、ことを特徴とする請求項２または請求項４記載の顔検出方法。
【請求項８】
前記予め前記各段階の画像毎に設定された領域は、前記顔検出処理によって検出された顔の前記アウトプレーン角度に応じて、前記顔検出処理を行う対象領域の中心位置を前記画像データの中心からずらした縮小領域である、ことを特徴とする請求項２または請求項４記載の顔検出方法。
【請求項９】
前記予め前記各段階の画像毎に設定された領域は、画像データの中心方向に向かって絞り込まれた領域であり、前記各段階の画像の画像サイズに応じて、前記絞り込まれる領域の割合が予め設定される、ことを特徴とする請求項２または請求項４記載の顔検出方法。
【請求項１０】
時間的に連続して撮像された画像を所定の複数の倍率に拡大又は縮小して生成した複数の画像を、該画像の画像サイズ別に段階的に分類し、分類された画像の画像サイズのうち最小画像サイズよりも小さなサイズを読取り単位として、前記段階的に分類された画像を前記読取り単位毎に順次読取り、前記読取り単位で区分された部分に顔が存在すると判定された画像を検出する顔検出処理を行う顔検出方法であって、
前記顔検出処理の対象要素として、顔の左右方向の向きを示すアウトプレーン角度を判別する機能を有し、
前記顔検出処理を繰り返す場合に、前回の前記顔検出処理によって判別されたアウトプレーン角度に応じて、１つまたは１つ以上のアウトプレーン判別対象角度からなるアウトプレーン判別対象角度群の中から、判別対象とする１つまたは複数のアウトプレーン判別対象角度を選択し、前記選択したアウトプレーン判別対象角度で規定されるアウトプレーン角度について判別する、ことを特徴とする顔検出方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２０１２−１８５８４６（Ｐ２０１２−１８５８４６Ａ）
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願番号】特願２０１２−１１３８５７（Ｐ２０１２−１１３８５７）
【出願日】平成２４年５月１７日（２０１２．５．１７）
【分割の表示】特願２００８−１５２０６５（Ｐ２００８−１５２０６５）の分割
【原出願日】平成２０年６月１０日（２００８．６．１０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２４年９月２７日（２０１２．９．２７）
【国際特許分類】
【出願日】平成２４年５月１７日（２０１２．５．１７）
【分割の表示】特願２００８−１５２０６５（Ｐ２００８−１５２０６５）の分割
【原出願日】平成２０年６月１０日（２００８．６．１０）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]