撮影装置および方法並びにプログラム
【課題】撮影装置において、画像からの顔の検出精度をより向上させる。
【解決手段】撮影装置において、撮像系６が撮影により画像を取得し、顔検出部３７が、検出枠と画像とのマッチング度を算出し、マッチング度が所定のしきい値以上となる検出枠の位置を顔候補として検出する。顔構成部品検出部３８が顔候補に含まれる少なくとも１つの顔構成部品の候補を顔構成部品毎に検出する。判定部３９が顔構成部品毎に検出された顔構成部品候補の数および／または位置に基づいて、各顔候補が真の顔であるか否かを判定する。しきい値設定部４２が、顔検出の際のマッチング度と比較するしきい値を、所定の撮影の際には第１の値に設定し、それ以降の撮影の際には第１の値よりも大きい第２の値に設定する。
【解決手段】撮影装置において、撮像系６が撮影により画像を取得し、顔検出部３７が、検出枠と画像とのマッチング度を算出し、マッチング度が所定のしきい値以上となる検出枠の位置を顔候補として検出する。顔構成部品検出部３８が顔候補に含まれる少なくとも１つの顔構成部品の候補を顔構成部品毎に検出する。判定部３９が顔構成部品毎に検出された顔構成部品候補の数および／または位置に基づいて、各顔候補が真の顔であるか否かを判定する。しきい値設定部４２が、顔検出の際のマッチング度と比較するしきい値を、所定の撮影の際には第１の値に設定し、それ以降の撮影の際には第１の値よりも大きい第２の値に設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影により画像を取得するデジタルカメラ等の撮影装置および方法並びに撮影方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラによる撮影において、撮影により取得した画像から例えば顔等の対象物を検出し、その対象物の検出結果に応じて画像に施す画像処理の条件を変更したり、撮影時における撮影条件を変更したりすることが行われている。また、とくに対象物を顔とした場合において、検出した顔の数をカウントしたり、検出した顔をトリミングして記録することも行われている。
【０００３】
このように画像から対象物を検出して種々の処理を行うためには、画像から正確に対象物を検出する必要がある。このため、対象物を正確に検出するための各種手法が提案されている。例えば、認証対象者の顔画像を撮影し、顔画像から認証対象者の顔の特徴量を抽出し、抽出した特徴量と基準の特徴量との類似度を計算し、この計算により得られる類似度をしきい値と比較して、認証対象者が本人であるか否かを認証する際に、認証対象者の利用頻度の高い時間帯か否かに応じてしきい値を変更することにより、認証対象者の利用頻度の高い時間帯における認証率を向上させる手法が提案されている（特許文献１参照）。
【０００４】
また、画像から顔候補を検出し、顔候補の色の分散値が小さい場合、肌色領域の占有率が大きい場合等の所定の条件を満たさない顔候補を非顔として、検出した顔候補から排除する手法も提案されている（特許文献２参照）。
【特許文献１】特開２００２−１８３７３４号公報
【特許文献２】特開２００５−７８３７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１，２に記載された手法により、顔の認証精度または顔の検出精度を向上することができるが、さらに精度を向上させることが望まれている。
【０００６】
本発明は上記事情に鑑みなされたものであり、画像からの顔の検出精度をより向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明による撮影装置は、連続した撮影により画像を連続して取得する撮影手段と、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出する顔検出手段と、
前記顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記顔候補が真の顔であるか否かを判定する判定手段と、
所定の撮影の際に取得された所定撮影時画像から前記顔候補を検出するに際には、前記所定のしきい値を第１の値に設定し、該所定の撮影以降の撮影により取得された画像から前記顔候補を検出する際には、前記所定撮影時画像から検出された前記顔候補であって前記真の顔であると判定された顔候補のうち、前記マッチング度が最も低い顔候補を検出可能な第２の値を前記所定のしきい値に設定するしきい値設定手段とを備えたことを特徴とするものである。
【０００８】
「顔構成部品」とは、顔に含まれる構成部品のことであり、具体的には両目の目頭、両目の目尻、左右の鼻の穴の脇、左右の口元および口の中央部分等を顔構成部品とすることができる。ここで、顔候補が真の顔である場合、顔構成部品候補は、顔構成部品がある位置に１つのみ検出されるわけではなく、顔構成部品の周囲にばらつく形で複数検出されることが多い。このため、本願発明においては、１つの顔構成部品について１以上の顔構成部品候補が検出されるものである。
【０００９】
「マッチング度が最も低い顔候補を検出可能な第２のしきい値」としては、例えば、所定撮影時画像から検出した真の顔と判定された顔候補のうち、マッチング度が最も低い顔候補を検出した際のそのマッチング度よりも小さく、所定撮影時画像において真の顔であると判定されなかった顔候補のうち、マッチング度が比較的大きい顔候補についてのそのマッチング度よりも大きい値とすればよい。
【００１０】
なお、本発明による撮影装置においては、前記所定の撮影は、最初の撮影であってもよく、あらかじめ定められた間隔での撮影であってもよい。
【００１１】
また、本発明による撮影装置においては、前記判定手段を、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品に対する位置的な尤度を算出し、該位置的な尤度に基づいて前記顔候補が前記真の顔であるか否かを判定する手段としてもよい。
【００１２】
また、本発明による撮影装置においては、前記判定手段を、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品以外の他の顔構成部品に対する位置関係の尤度を算出し、該位置関係の尤度に基づいて前記顔候補が前記真の顔であるか否かを判定する手段としてもよい。
【００１３】
また、本発明による撮影装置においては、前記判定手段を、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内において前記各顔構成部品を正規化し、該正規化した前記各顔構成部品の位置に基づいて、前記顔候補が前記真の顔であるか否かを判定する手段としてもよい。
【００１４】
「顔候補を正規化する」とは、顔構成部品候補を顔候補の領域内における本来あるべき位置に位置せしめることである。具体的には顔候補の領域内の画像をアフィン変換して、各顔構成部品を拡大縮小、平行移動および回転することにより、各顔構成部品候補の位置を本来あるべき位置に位置せしめることができる。
【００１５】
本発明による撮影方法は、連続した撮影により画像を連続して取得し、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出し、
前記顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出し、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記顔候補が真の顔であるか否かを判定するに際し、
所定の撮影の際に取得された所定撮影時画像から前記顔候補を検出するに際には、前記所定のしきい値を第１の値に設定し、該所定の撮影以降の撮影により取得された画像から前記顔候補を検出する際には、前記所定撮影時画像から検出された前記顔候補であって前記真の顔であると判定された顔候補のうち、前記マッチング度が最も低い顔候補を検出可能な第２の値を前記所定のしきい値に設定することを特徴とするものである。
【００１６】
なお、本発明による撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１７】
本発明の撮影装置および方法によれば、所定の撮影の際に取得した所定撮影時画像から顔候補を検出する際には、マッチング度を比較する所定のしきい値が第１の値に設定される。また、所定の撮影以降の撮影により取得された画像から顔候補を検出する際には、所定撮影時画像から検出された顔候補であって真の顔であると判定された顔候補のうち、マッチング度が最も低い顔候補を検出可能な第２の値が所定のしきい値に設定される。このため、所定の撮影以降の撮影により取得された画像から検出される顔候補の数を少なくすることができる。
【００１８】
ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、１つの顔構成部品について検出される顔構成部品候補が多くなる。また、顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなる。したがって、顔候補に含まれる顔構成部品毎の顔構成部品候補の数および位置の少なくとも一方に基づいて顔候補が真の顔であるか否かを判定することにより、顔候補から真の顔を精度良く検出することができる。
【００１９】
しかしながら、顔構成部品候補の数および／または位置に基づく真の顔であるか否かの判定は演算に長時間を要するものとなる。
【００２０】
本発明においては、所定の撮影以降の撮影により取得された画像については、演算量が多い判定の処理を行う顔候補の数を少なくすることができるため、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。
【００２１】
なお、各顔構成部品候補の位置が対応する顔構成部品の位置となるように各顔候補を正規化することにより、より精度良く顔候補から真の顔を検出することができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように本実施形態によるデジタルカメラ１は、動作モードスイッチ、ズームレバー、上下左右ボタン、レリーズボタンおよび電源スイッチ等の操作系２と、操作系２の操作内容をＣＰＵ４０に伝えるためのインターフェース部分である操作系制御部３とを有している。
【００２３】
撮像系６としては、撮影レンズ１０を構成するフォーカスレンズ１０ａおよびズームレンズ１０ｂを有している。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部１１およびズームレンズ駆動部１２によって光軸方向に移動可能である。フォーカスレンズ駆動部１１はＡＦ処理部３０から出力されるフォーカス駆動量データに基づいて、ズームレンズ駆動部１２はズームレバーの操作量データに基づいて、各々のレンズの移動を制御する。
【００２４】
また、絞り１４は、モータとモータドライバとからなる絞り駆動部１５によって駆動される。この絞り駆動部１５は、ＡＥ／ＡＷＢ処理部３１から出力される絞り値データに基づいて絞り径の調整を行う。
【００２５】
シャッタ１６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ／ＡＷＢ処理部３１から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。
【００２６】
光学系の後方には撮像素子であるＣＣＤ１８を有している。ＣＣＤ１８は、多数の受光素子を２次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。ＣＣＤ１８は、ＣＣＤ制御部１９から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露光時間は、ＣＣＤ制御部１９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８はＣＣＤ制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。
【００２７】
なお、撮影レンズ１０、絞り１４、シャッタ１６およびＣＣＤ１８が撮像系６を構成する。
【００２８】
ＣＣＤ１８から取り込まれたアナログ撮影信号は、アナログ信号処理部２０に入力される。アナログ信号処理部２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。なお、アナログ信号処理部２０が行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。
【００２９】
タイミングジェネレータ２１は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、ＣＣＤ制御部１９、およびアナログ信号処理部２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、ＣＣＤ１８の電荷の取込み、およびアナログ信号処理部２０の処理の同期をとっている。
【００３０】
フラッシュ制御部２３は、撮影時にフラッシュ２４を発光させる。
【００３１】
画像入力コントローラ２５は、アナログ信号処理部２０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ２６に書き込む。
【００３２】
フレームメモリ２６は、画像データに対して後述の各種画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。
【００３３】
表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ２８に表示させたり、再生モード時に記録メディア３５に保存されている画像データをモニタ２８に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、所定時間間隔でＣＣＤ１８により連続して撮影される。
【００３４】
ＡＦ処理部３０およびＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ４０がＣＣＤ１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。
【００３５】
ＡＦ処理部３０は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。
【００３６】
ＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいてＩＳＯ感度、絞り値およびシャッタスピード等を決定し、ＩＳＯ感度データ、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。なお、露出およびホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１の撮影者がマニュアル操作により設定可能である。また、露出およびホワイトバランスが自動で設定された場合にも、撮影者が操作系２から指示を行うことにより、露出およびホワイトバランスをマニュアル調整することが可能である。
【００３７】
画像処理部３２は、本画像の画像データに対して、階調補正、シャープネス補正、色補正等の画質補正処理、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりＣＣＤ１８から取り込まれ、アナログ信号処理部２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データによる画像である。本画像の画素数の上限は、ＣＣＤ１８の画素数によって決定されるが、例えば、ファイン、ノーマル等の設定により、記録画素数を変更することができる。一方、スルー画像およびプレ画像の画像数は、本画像よりも少なく、例えば、本画像の１／１６程度の画素数で取り込まれる。
【００３８】
圧縮／伸長処理部３３は、画像処理部３２によって補正・変換処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮／伸長処理部３３は、再生モードの場合には、記録メディア３５から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データはモニタ２８に出力され、画像データの画像が表示される。
【００３９】
メディア制御部３４は、記録メディア３５にアクセスして画像ファイルの書き込みと読み込みの制御を行う。
【００４０】
内部メモリ３６は、デジタルカメラ１において設定される各種定数、およびＣＰＵ４０が実行するプログラム等を記憶する。
【００４１】
顔検出部３７は、撮影により取得された画像に含まれるすべての顔候補を検出する。なお、画像は、スルー画像、プレ画像および本画像のいずれであってもよいが、本実施形態においてはスルー画像から顔候補を検出するものとする。ここで、顔を検出する手法としては、あるサイズを有する検出枠を画像上少しずつ移動させ、移動した位置毎に検出枠内の画像から特徴量を算出し、あらかじめ定められていた顔特徴量とのマッチング度を算出し、マッチング度がしきい値Ｔｈ０以上となる検出枠の位置を顔候補として検出する手法を用いる。なお、検出枠の大きさを変更することにより異なる大きさの顔候補の検出が可能となる。また、しきい値Ｔｈ０は後述するしきい値設定部４２により設定される。
【００４２】
そして顔検出部３７により、図２に示すように画像Ｇ１から矩形の検出枠により囲まれる顔候補Ｆ１〜Ｆ５を検出することができる。なお、図２においては、検出されるのは顔の候補であるため、顔が存在しない部分においても検出枠により囲まれる領域が含まれている。
【００４３】
顔構成部品検出部３８は、顔候補に含まれる複数の顔構成部品についての候補である顔構成部品候補を検出する。本実施形態においては、両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品Ｋ１〜Ｋ９についての顔構成部品候補を検出するものとする。具体的には、矩形の各顔構成部品のパターンを、処理対象の顔候補の領域内の画像上を少しずつ移動させ、移動した位置毎にマッチング度を算出し、マッチング度があらかじめ定められたしきい値Ｔｈ１以上となったパターンの位置の座標を顔構成部品候補として検出する。なお、座標は顔候補内の領域の左上隅を原点とした場合の顔候補内における座標である。
【００４４】
ここで、顔候補が真の顔である場合、マッチング度がしきい値Ｔｈ１以上となるパターンの位置を顔構成部品候補として検出すると、顔構成部品候補は対応する顔構成部品Ｋ１〜Ｋ９の位置において１つのみ検出されるものではなく、対応する顔構成部品Ｋ１〜Ｋ９の周囲に複数分布して検出されることが多い。このため、顔構成部品検出部３８は、各顔構成部品毎に１以上の顔構成部品候補を検出する。
【００４５】
ここで、顔候補に９つの顔構成部品Ｋ１〜Ｋ９のすべてが含まれている場合、図３（ａ）に示すように両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品のそれぞれに対応する顔構成部品候補が検出される。また、例えば左目の目頭について、図３（ｂ）の×印で示すように複数の顔構成部品候補が検出される。
【００４６】
なお、マッチング度がしきい値Ｔｈ１以上となる顔構成部品候補が検出されない場合には、対応する顔構成部品の候補は検出されなかったものとする。
【００４７】
判定部３９は、顔検出部３７が検出したすべての顔候補について、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の数に基づいて真の顔であるか否かを判定して、真の顔と判定された顔候補を真の顔として検出する。具体的には、すべての顔候補のうちの処理対象の顔候補について、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を算出し、さらに総数Ｎ１〜Ｎ９の加算値であるＮｓｕｍを算出する。そして加算値Ｎｓｕｍがしきい値Ｔｈ２以上である場合に、処理対象の顔候補を真の顔であると判定し、その顔候補を真の顔として検出する。なお、加算値Ｎｓｕｍがしきい値Ｔｈ２未満の場合は処理対象の顔候補を非顔と判定する。
【００４８】
なお、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を９次元空間にプロットし、９次元空間においてしきい値を定める超平面または超曲面を設定し、プロットした総数Ｎ１〜Ｎ９がしきい値を定める超平面または超曲面のいずれの側にあるかに応じて、処理対象の顔候補が真の顔であるか否かを判定するようにしてもよい。ここで、簡単のために、判定に使用する顔構成部品を左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９のみとした場合、総数Ｎ７〜Ｎ９は３次元空間にプロットされる。図４は総数Ｎ７〜Ｎ９を３次元空間にプロットした状態を示す図である。まず、総数Ｎ７〜Ｎ９が図４（ａ）に示すようにプロットされたとすると、そのプロットの位置Ｘ１（Ｎ７，Ｎ８，Ｎ９）は、しきい値を設定する超平面Ａ１よりも上側（すなわち値が大きい側）にある。したがって、図４（ａ）に示すようにプロットがなされた場合は、処理対象の顔候補を真の顔と判定する。
【００４９】
一方、総数Ｎ７〜Ｎ９が図４（ｂ）に示すようにプロットされたとすると、そのプロットの位置Ｘ２（Ｎ７，Ｎ８，Ｎ９）は、しきい値を設定する超平面Ａ１よりも下側（すなわち値が小さい側）にある。したがって、図４（ｂ）に示すようにプロットがなされた場合は、処理対象の顔候補を真の顔でないと判定する。
【００５０】
なお、総数Ｎ１〜Ｎ９のそれぞれについてしきい値Ｔｈ３を超えるか否かを判定し、しきい値Ｔｈ３を超えた総数の数がさらにしきい値Ｔｈ４を超えたときに、処理対象の顔候補を真の顔であると判定してもよい。
【００５１】
しきい値設定部４２は、顔検出部３７が顔候補を検出する際にマッチング度と比較するしきい値Ｔｈ０を設定する。まず、１回目の撮影により取得された画像（スルー画像）から顔候補を検出する際には、より多くの顔候補が検出されるようにしきい値Ｔｈ０を比較的低い値Ｚ０に設定する。これにより、顔検出部３７は、例えば図５（ａ）に示すように、画像Ｇ１から矩形の検出枠により囲まれる顔候補Ｆ１〜Ｆ１０を検出することができる。なお、図５（ａ）においては、検出されるのは顔の候補であるため、顔が存在しない部分においても検出枠により囲まれる領域が含まれている。
【００５２】
一方、２回目以降の撮影により取得された画像から顔候補を検出する際には、１回目の撮影よりも検出される顔候補を少なくするために、しきい値Ｔｈ０を値Ｚ０よりも大きい値Ｚ１に設定する。具体的には、１回目の撮影による取得した画像から検出した、真の顔と判定された顔候補のうち、マッチング度が最も低い顔候補を検出した際のそのマッチング度Ｚ２よりも小さく、１回目の撮影により取得された画像から検出した、真の顔であると判定されなかった顔候補のうち、マッチング度が最も大きい顔候補についてのそのマッチング度Ｚ３よりも大きい値Ｚ１となるようにしきい値Ｔｈ０を設定する。
【００５３】
図６はしきい値Ｔｈ０の設定を説明するための図である。図６において横軸は１回目の撮影により取得された画像から検出された顔候補Ｆ１〜Ｆ１０を、縦軸はマッチング度を示す。図６に示すように顔候補Ｆ１〜Ｆ１０のうち、真の顔と判定されたものは顔候補Ｆ１〜Ｆ３である。また、真の顔と判定された顔候補Ｆ１〜Ｆ３において、マッチング度が最も小さいのは顔候補Ｆ３であり、そのマッチング度はＺ２である。一方、顔候補Ｆ４〜Ｆ１０は非顔と判定され、非顔と判定された顔候補Ｆ４〜Ｆ１０において、マッチング度が最も大きいのは顔候補Ｆ８であり、そのマッチング度はＺ３である。
【００５４】
したがって、しきい値設定部４２は、顔検出部３７が２回目以降の撮影により取得した画像から顔候補を検出する際には、顔候補Ｆ３のマッチング度Ｚ２と顔候補Ｆ８のマッチング度Ｚ３との中間の値Ｚ１（例えばＺ１＝（Ｚ２＋Ｚ３）／２）にしきい値Ｔｈ０を設定する。このようにしきい値Ｔｈ０を値Ｚ１に設定することにより、１回目の撮影により取得された画像からは、顔候補Ｆ１〜Ｆ３のみが検出されることとなる。また、２回目以降の撮影により取得された画像からは、例えば図５（ｂ）に示すように、図５（ａ）に示す顔候補Ｆ１〜Ｆ３に対応する顔候補Ｆ１′〜Ｆ３′が検出される。なお、顔候補Ｆ８に対応する顔候補Ｆ４′が検出される可能性もある。
【００５５】
なお、上記では非顔と判定された顔候補Ｆ４〜Ｆ１０において、マッチング度が最も大きい顔候補Ｆ８のマッチング度Ｚ３を用いてしきい値Ｔｈ０の値Ｚ１を設定しているが、非顔と判定された顔候補Ｆ４〜Ｆ１０において、マッチング度が２または３番目に大きい顔候補Ｆ９，Ｆ１０のマッチング度と顔候補Ｆ３のマッチング度Ｚ２との中間の値にしきい値Ｔｈ０を設定するようにしてもよい。
【００５６】
また、スルー画像の撮影中は、被写体が変更される可能性が高く、その場合、検出されるべき顔候補が変化する。本実施形態においては、しきい値設定部４２は、１回目の撮影から所定撮影間隔経過する毎にしきい値Ｔｈ０を値Ｚ０に設定し、その撮影の次の撮影により取得される画像からの顔候補の検出のためのしきい値Ｔｈ０の値を新たに設定し直す。例えば、スルー画像を１秒間に３０撮影する場合には、３０回の撮影毎にしきい値Ｔｈ０を値Ｚ０に設定して、次回の以降の撮影により取得される画像から顔候補を検出する際のしきい値Ｔｈ０の値を設定し直す。
【００５７】
ＣＰＵ４０は、操作系２およびＡＦ処理部３０等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。また、ＣＰＵ４０は、スルー画像の撮影中に、各スルー画像から真の顔を検出するように、顔検出部３７、顔構成部品検出部３８および判定部３９を制御する。なお、判定部３９が真の顔を検出すると、ＣＰＵ４０は、図７に示すように検出した真の顔を矩形の領域Ａ１〜Ａ３で囲んでスルー画像を表示するように表示制御部２７に指示を行う。なお、矩形の領域は顔検出部３７が検出した顔候補の検出枠に相当するものである。
【００５８】
データバス４１は、各種処理部、フレームメモリ２６およびＣＰＵ４０等に接続されており、デジタル画像データおよび各種指示等のやり取りを行う。
【００５９】
次いで、第１の実施形態において行われる処理について説明する。図８は第１の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ１）。そして、しきい値設定部４２がしきい値設定処理を行う（ステップＳＴ２）。
【００６０】
図９はしきい値設定処理のフローチャートである。まず、スルー画像の撮影が１回目であるか否かを判定し（ステップＳＴ１１）、ステップＳＴ１１が肯定されるとしきい値Ｔｈ０を値Ｚ０に設定し（ステップＳＴ１２）、処理を終了する。ステップＳＴ１１が否定されるとスルー画像の撮影が、前回しきい値Ｔｈ０を値Ｚ０に設定してから所定撮影間隔経過してからの撮影であるか否かを判定し（ステップＳＴ１３）、ステップＳＴ１３が肯定されると、ステップＳＴ１２に進んでしきい値Ｔｈ０を値Ｚ０に設定し、処理を終了する。
【００６１】
一方、ステップＳＴ１３が否定されると、しきい値Ｔｈ０を値Ｚ１に設定し（ステップＳＴ１４）、処理を終了する。
【００６２】
図８に戻り、ステップＳＴ２に続いて顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ３）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ４）。なお、ｉの初期値は１である。また、処理の順序は、例えばスルー画像上における向かって左側に存在する顔候補から右側に向かって順に行うようにすればよい。
【００６３】
そして、判定部３９が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の総数の加算値Ｎｓｕｍがしきい値Ｔｈ２以上であるか否かを判定し（ステップＳＴ５）、ステップＳＴ５が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ６）。一方、ステップＳＴ５が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ７）。
【００６４】
ステップＳＴ６，７に続いて、ＣＰＵ４０がすべての顔候補について判定部３９が判定を終了したか否かを判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、ｉに１を加算し（ステップＳＴ９）、ステップＳＴ４に戻る。ステップＳＴ８が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ１０）、ステップＳＴ１にリターンする。
【００６５】
このように、第１の実施形態においては、検出された顔構成部品候補の数に基づいて、顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、１つの顔構成部品について検出される顔構成部品候補が多くなる。したがって、顔候補に含まれる顔構成部品毎の顔構成部品候補の数に基づいて顔候補が真の顔であるか否かを判定することにより、顔候補から真の顔を精度良く検出することができる。
【００６６】
しかしながら、顔構成部品候補の数に基づく真の顔であるか否かの判定は演算に長時間を要するものとなる。第１の実施形態においては、１回目の撮影以降および所定撮影間隔経過する毎の撮影以降の撮影により取得された画像については、顔検出のためのしきい値Ｔｈ０の値を大きくするようにしたため、検出される顔候補の数を少なくすることができる。したがって、演算量が多い判定の処理を行う顔候補の数を少なくすることができ、これにより、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。
【００６７】
なお、上記第１の実施形態においては、両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品を検出しているが、これらをすべて検出する必要はなく、これらの顔構成部品のうちの１以上の顔構成部品の候補を検出するようにしてもよい。この場合、総数の加算値Ｎｓｕｍと比較するしきい値Ｔｈ２は、検出する顔構成部品の数に応じて変更すればよい。なお、検出する顔構成部品が１つのみの場合は、両目の目尻および両目の目頭のうちのいずれか１つを検出することが好ましい。また、検出する顔構成部品は、両目の目尻、両目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分に限定されるものではなく、眉毛、両目の黒目部分等、顔を構成する部品であれば、任意の構成部品を用いることができる。
【００６８】
次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態においては、判定部３９が行う処理が第１の実施形態と異なるのみであるため、構成についての詳細な説明はここでは省略する。
【００６９】
第２の実施形態においては、判定部（第１の実施形態と異なるため３９Ａとする）が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の位置的な尤度を算出し、位置的な尤度に基づいて顔候補が真の顔であるか否かを判定する。ここで、位置的な尤度とは、顔候補の領域内において、検出された顔構成部品候補がどの程度対応する本来あるべき顔構成部品の位置に位置しているかを表す確率である。
【００７０】
ここで、本実施形態においては、９種類の顔構成部品について各顔構成部品の顔候補内における存在確率を表した確率分布があらかじめ求められている。
【００７１】
図１０は顔構成部品の存在確率を表す確率分布を示す図である。図１０に示す確率分布は、顔候補を検出した検出枠をあらかじめ定められた一定のサイズに正規化した場合における、検出枠内での両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品の存在確率の確率分布を表すものである。なお、図１０における丸印Ｂ１〜Ｂ９は、それぞれ顔候補の両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の存在確率を表す確率分布であり、図１０における紙面をＸＹ平面とし、紙面に垂直な方向をＺ方向とした場合、図１１の確率分布のプロファイルに示すようにＺ方向が各顔構成部品の存在確率を示すものとなる。したがって、図１０における各丸印の中心に近いほど各顔構成部品の存在確率が高いものとなる。
【００７２】
なお、確率分布は多数の顔のサンプル画像を用いてあらかじめ求めておけばよい。
【００７３】
判定部３９Ａは、顔検出部３７が検出した各顔候補を上記一定のサイズに正規化し、正規化した顔候補内の各顔構成部品毎の顔構成部品候補について、対応する顔構成部品の確率分布を参照して存在確率を位置的な尤度として算出する。具体的には、各顔構成部品候補について、対応する顔構成部品の存在確率を表す確率分布付近の位置を求め、その位置における存在確率を位置的な尤度として算出する。これにより、例えば左目目尻の候補１〜４が、図１２に示す確率分布Ｂ１付近の位置Ｃ１〜Ｃ４にある場合には、図１３に示すように、位置Ｃ１にある左目目尻候補１の尤度０％、位置Ｃ２にある左目目尻候補２の尤度２％、位置Ｃ３にある左目目尻候補３の尤度９％、位置Ｃ４にある左目目尻候補４の尤度１７％というように、各顔構成部品候補の位置的な尤度が求められる。
【００７４】
さらに判定部３９Ａは、顔構成部品毎に顔構成部品候補の位置的な尤度の平均値を算出する。図１４は２つの顔候補についての顔構成部品毎の顔構成部品候補の位置的な尤度の平均値を示す図である。そして、処理対象の顔候補について、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定し、この判定が肯定された場合に処理対象の顔候補を真の顔であると判定して検出する。例えば、しきい値Ｔｈ５として１３％を、本実施形態においては９個の顔構成部品を用いているためしきい値Ｔｈ６として５を用いるとすると、図１４に示す顔候補１について、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品は、左目目尻、左目目頭、右目目頭、左鼻脇、右鼻脇および右口元の６個となり、その数がしきい値Ｔｈ６以上となるため、処理対象の顔候補１は真の顔と判定されて検出される。一方、顔候補２は尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品は０個であるため、顔候補２は真の顔とは判定されない。
【００７５】
次いで、第２の実施形態において行われる処理について説明する。図１５は第２の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ２１）。そして、しきい値設定部４２がしきい値設定処理を行う（ステップＳＴ２２）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ２３）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ２４）。
【００７６】
そして、判定部３９Ａが、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ２５）、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ２６）。ステップＳＴ２６が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ２７）。一方、ステップＳＴ２６が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ２８）。
【００７７】
ステップＳＴ２７，２８に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ａが判定を終了したか否かを判定し（ステップＳＴ２９）、ステップＳＴ２９が否定されると、ｉに１を加算し（ステップＳＴ３０）、ステップＳＴ２４に戻る。ステップＳＴ２９が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ３１）、ステップＳＴ２１にリターンする。
【００７８】
このように、第２の実施形態においては、検出された顔構成部品候補の位置、とくに位置的な尤度に基づいて、各顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなる。したがって、顔候補に含まれる顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定することにより、精度良く顔候補から真の顔を検出することができる。
【００７９】
また、第１の実施形態と同様に、演算量が多い判定の処理を行う顔候補の数を少なくすることができるため、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。
【００８０】
なお、上記第２の実施形態においては、判定部３９Ａが顔構成部品毎の顔構成部品候補の位置的な尤度を算出し、これに基づいて顔候補が真の顔であるか否かを判定しているが、顔構成部品毎の顔構成部品候補の位置関係の尤度を算出し、位置関係の尤度に基づいて顔候補が真の顔であるか否かを判定してもよい。以下、これを第３の実施形態として説明する。
【００８１】
第３の実施形態においては、判定部（第１の実施形態と異なるため３９Ｂとする）は、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補について、顔構成部品候補毎に他の顔構成部品の位置に対する存在確率を位置関係の尤度として算出し、算出した位置関係の尤度に基づいて顔候補が真の顔であるか否かを判定する。
【００８２】
図１６は右目の目頭の、両目の目尻、左目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分の他の８個の顔構成部品に対する存在確率の確率分布を示す図である。なお、図１６において確率分布Ｂ１１〜Ｂ１８は、それぞれ右目の目頭の、左目の目尻、右目の目尻、左目の目頭、左の鼻の穴の脇、右の鼻の穴の脇、左の口元、右の口元および口の中央部分に対する存在確率の確率分布を示す。
【００８３】
ここで、位置関係の尤度を算出する対象を右目目頭とした場合、第３の実施形態においては、判定部３９Ｂは、顔検出部３７が検出した各顔候補を第２の実施形態と同様に一定のサイズに正規化し、正規化した顔候補内において顔構成部品検出部３８が検出した右目目頭候補毎に、確率分布Ｂ１１〜Ｂ１８を参照して存在確率を仮の位置関係の尤度として算出する。例えば、右目の目頭の、左目の目尻に対する仮の位置関係の尤度１５％、右目の目尻に対する仮の位置関係の尤度１２％、左目の目頭に対する仮の位置関係の尤度１３％、左の鼻の穴の脇に対する仮の位置関係の尤度１０％、右の鼻の穴の脇に対する仮の位置関係の尤度１９％、左の口元に対する仮の位置関係の尤度１３％、右の口元に対する仮の位置関係の尤度１７％および口の中央部分に対する仮の位置関係の尤度１５％というように仮の位置関係の尤度を算出する。
【００８４】
そして判定部３９Ｂは、算出した８個の仮の位置関係の尤度の平均値を算出し、さらにこの平均値のすべての顔構成部品候補についての平均値を、その顔構成部品候補の最終的な位置関係の尤度として算出する。
【００８５】
なお、第３の実施形態においては、右目の目頭のみならず、左目の目尻、右目の目尻、左目の目頭、左の鼻の穴の脇、右の鼻の穴の脇、左の口元、右の口元および口の中央部分についても、それぞれ他の顔構成部品に対する存在確率の確率分布が求められており、判定部３９Ｂは、９個すべての顔構成部品の顔構成部品候補について位置関係の尤度を算出する。そして、判定部３９Ｂは顔構成部品毎に算出した９個の顔構成部品候補の位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品の数がしきい値Ｔｈ８以上であるか否かを判定し、この判定が肯定された場合に処理対象の顔候補を真の顔であると判定して検出する。
【００８６】
次いで、第３の実施形態において行われる処理について説明する。図１７は第３の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ４１）。そして、しきい値設定部４２がしきい値設定処理を行う（ステップＳＴ４２）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ４３）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ４４）。なお、ｉの初期値は１である。
【００８７】
そして、判定部３９Ｂが、顔構成部品毎に顔構成部品候補の位置関係の尤度を算出し（ステップＳＴ４５）、位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品の数がしきい値Ｔｈ８以上であるか否かを判定する（ステップＳＴ４６）。ステップＳＴ４６が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ４７）。一方、ステップＳＴ４６が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ４８）。
【００８８】
ステップＳＴ４７，４８に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ｂが判定を終了したか否かを判定し（ステップＳＴ４９）、ステップＳＴ４９が否定されると、ｉに１を加算し（ステップＳＴ５０）、ステップＳＴ４４に戻る。ステップＳＴ４９が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ５１）、ステップＳＴ４１にリターンする。
【００８９】
このように、第３の実施形態においては、検出された顔構成部品の位置、とくに位置関係の尤度に基づいて、各顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなり、さらに顔構成部品間の位置関係は略決まっている。したがって、顔候補に含まれる顔構成部品候補の位置関係に基づいて顔候補が真の顔であるか否かを判定することにより、顔候補から真の顔を精度良く検出することができる。
【００９０】
また、第１の実施形態と同様に、演算量が多い判定の処理を行う顔候補の数を少なくすることができるため、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。
【００９１】
なお、上記第３の実施形態においては、９種類の顔構成部品のすべての位置関係の尤度を算出し、位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品がしきい値Ｔｈ８以上であるか否かに基づいて顔候補が真の顔か否かを判定しているが、９種類の顔構成部品のすべてを用いる必要はなく、少なくとも１つの顔構成部品についての位置関係の尤度に基づいて顔候補が真の顔か否かを判定するようにしてもよい。
【００９２】
また、上記第２および第３の実施形態においては、検出した顔候補の顔構成部品候補が、対応する各顔構成部品の確率分布上に位置していれば、精度よく位置的な尤度および位置関係の尤度を算出することができるが、図１８に示すように顔候補の各顔構成部品候補の位置（図中×で示す）が本来あるべき顔構成部品の位置の確率分布とずれていると、尤度を精度よく算出することができず、その結果、顔候補が真の顔であるか否かを精度よく判定することができない。このため、検出した顔構成部品候補が確率分布内に位置するように、顔候補を正規化することが好ましい。以下、これを第４の実施形態として説明する。
【００９３】
第４の実施形態において、顔候補を正規化するためには、顔候補内の顔構成部品候補のうちのいずれかの顔構成部品候補を対応する顔構成部品の確率分布の中心（すなわち最も確率が高い位置）と一致させるように、顔候補の画像をアフィン変換する。アフィン変換は、平面上の任意の３点を拡大縮小、平行移動および回転することにより任意の３点に移動させる変換であり、具体的には下記の式（１）により表される。
【００９４】
ｘ′＝ａ１・ｘ＋ｂ１・ｙ＋ｄ１
ｙ′＝ａ２・ｘ＋ｂ２・ｙ＋ｄ２ （１）
式（１）より、アフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出するためには、顔候補内および顔構成部品の確率分布内においてそれぞれ対応する３点の座標が必要となる。ここで、顔候補および顔構成部品の確率分布において、図１８に示すように左下隅を原点とするＸＹ座標系を考えると、顔構成部品候補Ｐ１〜Ｐ９が確率分布Ｂ１〜Ｂ９の中心に位置するようにアフィン変換の係数を設定する必要がある。第４の実施形態においては、顔構成部品毎に顔構成部品検出部３８が検出した少なくとも１つの顔構成部品候補のうち、マッチング度が最も高い顔構成部品候補を顔構成部品候補を代表する顔構成部品候補Ｐ１〜Ｐ９として選択し、選択した９個の顔構成部品候補Ｐ１〜Ｐ９のうちマッチング度が大きい上位３個の顔構成部品候補を、対応する顔構成部品の確率分布の中心と一致させるようにアフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出すればよい。
【００９５】
例えば、図１８に示す顔構成部品候補Ｐ１〜Ｐ９のマッチング度がＰ１＞Ｐ２＞Ｐ３＞Ｐ４＞Ｐ５…である場合には、顔構成部品候補Ｐ１，Ｐ２，Ｐ３を、対応する顔構成部品の確率分布Ｂ１，Ｂ２，Ｂ３の中心とそれぞれ一致させるようにアフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出する。
【００９６】
なお、アフィン変換の係数を算出するためには３点の座標を用いるのみならず、４点以上の座標を用いてもよい。例えば、９個の顔構成部品候補Ｐ１〜Ｐ９のすべてを対応する顔構成部品の確率分布Ｂ１〜Ｂ９の中心と一致させるようにアフィン変換の係数を算出してもよい。この場合、変換後の９個の顔構成部品候補Ｐ１〜Ｐ９の座標と、確率分布Ｂ１〜Ｂ９の中心位置の座標との誤差が最小となるように、最小二乗法を用いてアフィン変換の係数を算出すればよい。
【００９７】
次いで、第４の実施形態において行われる処理について説明する。図１９は第４の実施形態において行われる処理を示すフローチャートである。なお、ここでは、第４の実施形態を第２の実施形態に適用した場合の処理について説明するが、第３の実施形態に対しても同様に適用できるものである。
【００９８】
デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ６１）。そして、しきい値設定部４２がしきい値設定処理を行う（ステップＳＴ６２）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ６３）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ６４）。なお、ｉの初期値は１である。
【００９９】
そして、判定部３９Ａが処理対象の顔候補を正規化し（ステップＳＴ６５）、正規化の後、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ６６）、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ６７）。ステップＳＴ６７が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ６８）。一方、ステップＳＴ６８が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ６９）。
【０１００】
ステップＳＴ６８，６９に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ａが判定を終了したか否かを判定し（ステップＳＴ７０）、ステップＳＴ７０が否定されると、ｉに１を加算し（ステップＳＴ７１）、ステップＳＴ６４に戻る。ステップＳＴ７０が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ７２）、ステップＳＴ６１にリターンする。
【０１０１】
このように、第４の実施形態においては、顔候補の領域内において各顔構成部品候補の位置が対応する顔構成部品の位置に位置するように顔候補をアフィン変換して正規化するようにしたため、より精度良く顔候補から真の顔を検出することができる。
【０１０２】
また、第１の実施形態と同様に、演算量が多い判定の処理を行う顔候補の数を少なくすることができるため、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。
【０１０３】
なお、上記第４の実施形態においては、顔候補毎にアフィン変換の係数を算出してアフィン変換を行っているが、すべての顔候補について、各顔構成部品について選択した顔構成部品候補の平均位置を算出し、算出した平均位置が確率分布の中心と一致するようにアフィン変換の係数を算出してもよい。この場合においても、９個の顔構成部品から選択した顔構成部品候補のうちの３つの顔構成部品候補からアフィン変換の係数を算出してもよく、４以上の顔構成部品候補からアフィン変換の係数を算出してもよい。
【０１０４】
また、上記第４の実施形態においては、正規化前に顔構成部品毎の顔構成部品候補について仮の位置的な尤度または仮の位置関係の尤度を算出し、仮の位置的な尤度または仮の位置関係の尤度が最も高い上位所定数の顔構成部品候補が、対応する顔構成部品の位置（すなわち存在確率がピークとなる位置）と一致するように、顔候補に対してアフィン変換を施すことにより正規化を行うようにしてもよい。
【０１０５】
次いで、本発明の第５の実施形態について説明する。なお、第５の実施形態においては、判定部３９が行う処理が第１の実施形態と異なるのみであるため、構成についての詳細な説明はここでは省略する。
【０１０６】
第５の実施形態においては、判定部（第１の実施形態と異なるため３９Ｃとする）が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の数に基づいて、顔候補が真の顔、非顔および曖昧顔のいずれかであるかを判定することにより真の顔を検出する第１の判定処理を行い、第１の判定処理により曖昧顔と判定された顔候補について、第２、第３または第４の実施形態と同様に、顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定することにより真の顔を検出する第２の判定処理を行うようにした点が第１の実施形態と異なる。
【０１０７】
第５の実施形態における判定部３９Ｃは、第１の判定処理においては、第１の実施形態における判定部３９と同様に９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を算出し、さらに総数Ｎ１〜Ｎ９の加算値であるＮｓｕｍを算出する。そして加算値Ｎｓｕｍがしきい値Ｔｈ９以上である場合に処理対象の顔候補を真の顔であると判定し、その顔候補を真の顔として検出する。また、加算値Ｎｓｕｍがしきい値Ｔｈ１０以上しきい値Ｔｈ９未満である場合に処理対象の顔候補を曖昧顔と判定し、加算値Ｎｓｕｍがしきい値Ｔｈ１０未満である場合に処理対象の顔候補を非顔であると判定する。また、曖昧顔と判定された顔候補に対する上記第２、第３または第４の実施形態のいずれかの処理を第２の判定処理として行う。
【０１０８】
次いで、第５の実施形態において行われる処理について説明する。図２０は第５の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ８１）。そして、しきい値設定部４２がしきい値設定処理を行う（ステップＳＴ８２）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ８３）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ８４）。なお、ｉの初期値は１である。
【０１０９】
そして、判定部３９Ｃが第１の判定処理を行う（ステップＳＴ８５）。まず、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の総数の加算値Ｎｓｕｍがしきい値Ｔｈ９以上であるか否かを判定し（ステップＳＴ８６）、ステップＳＴ８６が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ８７）。一方、ステップＳＴ８６が否定されると、加算値Ｎｓｕｍがしきい値Ｔｈ１０以上しきい値Ｔｈ９未満であるか否かを判定し（ステップＳＴ８８）、ステップＳＴ８８が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ８９）。ステップＳＴ８８が肯定されると、処理対象の顔候補が曖昧顔であるとして、第２の判定処理を行う（ステップＳＴ９０）。
【０１１０】
まず、第２の実施形態と同様に、判定部３９Ｃが、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ９１）、顔構成部品毎に尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ９２）。なお、ステップＳＴ９１の前に第４の実施形態と同様に処理対象の顔候補を正規化してもよい。また、ステップＳＴ９１，９２の処理を第３の実施形態のステップＳＴ４５，４６の処理と同様に位置関係の尤度を用いて行ってもよい。ステップＳＴ９２が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ９３）。一方、ステップＳＴ９２が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ９４）。
【０１１１】
ステップＳＴ８７，８９，９３，９４に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ｃが判定を終了したか否かを判定し（ステップＳＴ９５）、ステップＳＴ９５が否定されると、ｉに１を加算し（ステップＳＴ９６）、ステップＳＴ８４に戻る。ステップＳＴ９５が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ９７）、ステップＳＴ８１にリターンする。
【０１１２】
ここで、顔構成部品候補の数に基づいて顔候補が真の顔であるか否かを判定する場合と、顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定する場合とでは、前者の方が演算量が少ない。また、暗いシーンや逆光の撮影時においては顔候補が暗くなるため、その顔候補が真の顔であっても検出される顔構成部品候補の数が少なくなり、その結果、第１の実施形態の処理を行うのみでは、真の顔を非顔と判定してしまうおそれがある。このため、第５の実施形態のように、顔構成部品候補の数に基づいて曖昧顔と判定された顔候補についてのみ、顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定することにより、さらに演算量を低減でき、かつ精度良く顔候補から真の顔を検出することができる。
【０１１３】
なお、上記第５の実施形態においては、第１の判定処理として、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を９次元空間にプロットし、９次元空間においてしきい値を定める超平面または超曲面を設定し、プロットした総数Ｎ１〜Ｎ９がしきい値を定める超平面または超曲面のいずれの側にあるかに応じて、顔候補が真の顔、曖昧顔および非顔のいずれであるかを判定するようにしてもよい。
【０１１４】
また、上記第５の実施形態においては、第１の判定処理および第２の判定処理を同一の判定部３９Ｃにおいて行っているが、第１および第２の判定処理をそれぞれ行う２つの判定部を設けるようにしてもよい。
【０１１５】
以上、本発明の実施形態に係るデジタルカメラについて説明したが、コンピュータを、上記の顔検出部３７、顔構成部品検出部３８、判定部３９，３９Ａ〜３９Ｃおよびしきい値設定部４２に対応する手段として機能させ、図８，９，１５，１７，１９，２０に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【０１１６】
【図１】本発明の第１の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図
【図２】顔候補の検出を説明するための図
【図３】顔構成部品候補の検出を説明するための図
【図４】顔候補が真の顔であるか否かの判定を説明するための図
【図５】しきい値の設定を説明するための図（その１）
【図６】しきい値の設定を説明するための図（その２）
【図７】真の顔が矩形で囲まれたスルー画像を示す図
【図８】第１の実施形態において行われる処理を示すフローチャート
【図９】しきい値設定処理のフローチャート
【図１０】顔構成部品の存在確率の確率分布を示す図
【図１１】確率分布のプロファイルを示す図
【図１２】確率分布付近における顔構成部品候補の位置の例を示す図
【図１３】各顔構成部品候補について算出した位置的な尤度を示す図
【図１４】２つの顔候補についての顔構成部品毎の顔構成部品候補の位置的な尤度の平均値を示す図
【図１５】第２の実施形態において行われる処理を示すフローチャート
【図１６】右目の目頭の、両目の目尻、左目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分の他の８個の顔構成部品に対する存在確率の確率分布を示す図
【図１７】第３の実施形態において行われる処理を示すフローチャート
【図１８】顔構成部品の位置のずれを説明するための図
【図１９】第４の実施形態において行われる処理を示すフローチャート
【図２０】第５の実施形態において行われる処理を示すフローチャート
【符号の説明】
【０１１７】
１ デジタルカメラ
２ 操作系
３ 操作系制御部
６ 撮像系
２８ モニタ
３５ 記録メディア
３７ 顔検出部
３８ 顔構成部品検出部
３９ 判定部
４０ ＣＰＵ
４２ しきい値設定部
【技術分野】
【０００１】
本発明は、撮影により画像を取得するデジタルカメラ等の撮影装置および方法並びに撮影方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラによる撮影において、撮影により取得した画像から例えば顔等の対象物を検出し、その対象物の検出結果に応じて画像に施す画像処理の条件を変更したり、撮影時における撮影条件を変更したりすることが行われている。また、とくに対象物を顔とした場合において、検出した顔の数をカウントしたり、検出した顔をトリミングして記録することも行われている。
【０００３】
このように画像から対象物を検出して種々の処理を行うためには、画像から正確に対象物を検出する必要がある。このため、対象物を正確に検出するための各種手法が提案されている。例えば、認証対象者の顔画像を撮影し、顔画像から認証対象者の顔の特徴量を抽出し、抽出した特徴量と基準の特徴量との類似度を計算し、この計算により得られる類似度をしきい値と比較して、認証対象者が本人であるか否かを認証する際に、認証対象者の利用頻度の高い時間帯か否かに応じてしきい値を変更することにより、認証対象者の利用頻度の高い時間帯における認証率を向上させる手法が提案されている（特許文献１参照）。
【０００４】
また、画像から顔候補を検出し、顔候補の色の分散値が小さい場合、肌色領域の占有率が大きい場合等の所定の条件を満たさない顔候補を非顔として、検出した顔候補から排除する手法も提案されている（特許文献２参照）。
【特許文献１】特開２００２−１８３７３４号公報
【特許文献２】特開２００５−７８３７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１，２に記載された手法により、顔の認証精度または顔の検出精度を向上することができるが、さらに精度を向上させることが望まれている。
【０００６】
本発明は上記事情に鑑みなされたものであり、画像からの顔の検出精度をより向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明による撮影装置は、連続した撮影により画像を連続して取得する撮影手段と、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出する顔検出手段と、
前記顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記顔候補が真の顔であるか否かを判定する判定手段と、
所定の撮影の際に取得された所定撮影時画像から前記顔候補を検出するに際には、前記所定のしきい値を第１の値に設定し、該所定の撮影以降の撮影により取得された画像から前記顔候補を検出する際には、前記所定撮影時画像から検出された前記顔候補であって前記真の顔であると判定された顔候補のうち、前記マッチング度が最も低い顔候補を検出可能な第２の値を前記所定のしきい値に設定するしきい値設定手段とを備えたことを特徴とするものである。
【０００８】
「顔構成部品」とは、顔に含まれる構成部品のことであり、具体的には両目の目頭、両目の目尻、左右の鼻の穴の脇、左右の口元および口の中央部分等を顔構成部品とすることができる。ここで、顔候補が真の顔である場合、顔構成部品候補は、顔構成部品がある位置に１つのみ検出されるわけではなく、顔構成部品の周囲にばらつく形で複数検出されることが多い。このため、本願発明においては、１つの顔構成部品について１以上の顔構成部品候補が検出されるものである。
【０００９】
「マッチング度が最も低い顔候補を検出可能な第２のしきい値」としては、例えば、所定撮影時画像から検出した真の顔と判定された顔候補のうち、マッチング度が最も低い顔候補を検出した際のそのマッチング度よりも小さく、所定撮影時画像において真の顔であると判定されなかった顔候補のうち、マッチング度が比較的大きい顔候補についてのそのマッチング度よりも大きい値とすればよい。
【００１０】
なお、本発明による撮影装置においては、前記所定の撮影は、最初の撮影であってもよく、あらかじめ定められた間隔での撮影であってもよい。
【００１１】
また、本発明による撮影装置においては、前記判定手段を、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品に対する位置的な尤度を算出し、該位置的な尤度に基づいて前記顔候補が前記真の顔であるか否かを判定する手段としてもよい。
【００１２】
また、本発明による撮影装置においては、前記判定手段を、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品以外の他の顔構成部品に対する位置関係の尤度を算出し、該位置関係の尤度に基づいて前記顔候補が前記真の顔であるか否かを判定する手段としてもよい。
【００１３】
また、本発明による撮影装置においては、前記判定手段を、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内において前記各顔構成部品を正規化し、該正規化した前記各顔構成部品の位置に基づいて、前記顔候補が前記真の顔であるか否かを判定する手段としてもよい。
【００１４】
「顔候補を正規化する」とは、顔構成部品候補を顔候補の領域内における本来あるべき位置に位置せしめることである。具体的には顔候補の領域内の画像をアフィン変換して、各顔構成部品を拡大縮小、平行移動および回転することにより、各顔構成部品候補の位置を本来あるべき位置に位置せしめることができる。
【００１５】
本発明による撮影方法は、連続した撮影により画像を連続して取得し、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出し、
前記顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出し、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記顔候補が真の顔であるか否かを判定するに際し、
所定の撮影の際に取得された所定撮影時画像から前記顔候補を検出するに際には、前記所定のしきい値を第１の値に設定し、該所定の撮影以降の撮影により取得された画像から前記顔候補を検出する際には、前記所定撮影時画像から検出された前記顔候補であって前記真の顔であると判定された顔候補のうち、前記マッチング度が最も低い顔候補を検出可能な第２の値を前記所定のしきい値に設定することを特徴とするものである。
【００１６】
なお、本発明による撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１７】
本発明の撮影装置および方法によれば、所定の撮影の際に取得した所定撮影時画像から顔候補を検出する際には、マッチング度を比較する所定のしきい値が第１の値に設定される。また、所定の撮影以降の撮影により取得された画像から顔候補を検出する際には、所定撮影時画像から検出された顔候補であって真の顔であると判定された顔候補のうち、マッチング度が最も低い顔候補を検出可能な第２の値が所定のしきい値に設定される。このため、所定の撮影以降の撮影により取得された画像から検出される顔候補の数を少なくすることができる。
【００１８】
ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、１つの顔構成部品について検出される顔構成部品候補が多くなる。また、顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなる。したがって、顔候補に含まれる顔構成部品毎の顔構成部品候補の数および位置の少なくとも一方に基づいて顔候補が真の顔であるか否かを判定することにより、顔候補から真の顔を精度良く検出することができる。
【００１９】
しかしながら、顔構成部品候補の数および／または位置に基づく真の顔であるか否かの判定は演算に長時間を要するものとなる。
【００２０】
本発明においては、所定の撮影以降の撮影により取得された画像については、演算量が多い判定の処理を行う顔候補の数を少なくすることができるため、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。
【００２１】
なお、各顔構成部品候補の位置が対応する顔構成部品の位置となるように各顔候補を正規化することにより、より精度良く顔候補から真の顔を検出することができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように本実施形態によるデジタルカメラ１は、動作モードスイッチ、ズームレバー、上下左右ボタン、レリーズボタンおよび電源スイッチ等の操作系２と、操作系２の操作内容をＣＰＵ４０に伝えるためのインターフェース部分である操作系制御部３とを有している。
【００２３】
撮像系６としては、撮影レンズ１０を構成するフォーカスレンズ１０ａおよびズームレンズ１０ｂを有している。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部１１およびズームレンズ駆動部１２によって光軸方向に移動可能である。フォーカスレンズ駆動部１１はＡＦ処理部３０から出力されるフォーカス駆動量データに基づいて、ズームレンズ駆動部１２はズームレバーの操作量データに基づいて、各々のレンズの移動を制御する。
【００２４】
また、絞り１４は、モータとモータドライバとからなる絞り駆動部１５によって駆動される。この絞り駆動部１５は、ＡＥ／ＡＷＢ処理部３１から出力される絞り値データに基づいて絞り径の調整を行う。
【００２５】
シャッタ１６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ／ＡＷＢ処理部３１から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。
【００２６】
光学系の後方には撮像素子であるＣＣＤ１８を有している。ＣＣＤ１８は、多数の受光素子を２次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。ＣＣＤ１８は、ＣＣＤ制御部１９から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露光時間は、ＣＣＤ制御部１９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８はＣＣＤ制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。
【００２７】
なお、撮影レンズ１０、絞り１４、シャッタ１６およびＣＣＤ１８が撮像系６を構成する。
【００２８】
ＣＣＤ１８から取り込まれたアナログ撮影信号は、アナログ信号処理部２０に入力される。アナログ信号処理部２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。なお、アナログ信号処理部２０が行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。
【００２９】
タイミングジェネレータ２１は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、ＣＣＤ制御部１９、およびアナログ信号処理部２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、ＣＣＤ１８の電荷の取込み、およびアナログ信号処理部２０の処理の同期をとっている。
【００３０】
フラッシュ制御部２３は、撮影時にフラッシュ２４を発光させる。
【００３１】
画像入力コントローラ２５は、アナログ信号処理部２０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ２６に書き込む。
【００３２】
フレームメモリ２６は、画像データに対して後述の各種画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。
【００３３】
表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ２８に表示させたり、再生モード時に記録メディア３５に保存されている画像データをモニタ２８に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、所定時間間隔でＣＣＤ１８により連続して撮影される。
【００３４】
ＡＦ処理部３０およびＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ４０がＣＣＤ１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。
【００３５】
ＡＦ処理部３０は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。
【００３６】
ＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいてＩＳＯ感度、絞り値およびシャッタスピード等を決定し、ＩＳＯ感度データ、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。なお、露出およびホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１の撮影者がマニュアル操作により設定可能である。また、露出およびホワイトバランスが自動で設定された場合にも、撮影者が操作系２から指示を行うことにより、露出およびホワイトバランスをマニュアル調整することが可能である。
【００３７】
画像処理部３２は、本画像の画像データに対して、階調補正、シャープネス補正、色補正等の画質補正処理、ＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりＣＣＤ１８から取り込まれ、アナログ信号処理部２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データによる画像である。本画像の画素数の上限は、ＣＣＤ１８の画素数によって決定されるが、例えば、ファイン、ノーマル等の設定により、記録画素数を変更することができる。一方、スルー画像およびプレ画像の画像数は、本画像よりも少なく、例えば、本画像の１／１６程度の画素数で取り込まれる。
【００３８】
圧縮／伸長処理部３３は、画像処理部３２によって補正・変換処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮／伸長処理部３３は、再生モードの場合には、記録メディア３５から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データはモニタ２８に出力され、画像データの画像が表示される。
【００３９】
メディア制御部３４は、記録メディア３５にアクセスして画像ファイルの書き込みと読み込みの制御を行う。
【００４０】
内部メモリ３６は、デジタルカメラ１において設定される各種定数、およびＣＰＵ４０が実行するプログラム等を記憶する。
【００４１】
顔検出部３７は、撮影により取得された画像に含まれるすべての顔候補を検出する。なお、画像は、スルー画像、プレ画像および本画像のいずれであってもよいが、本実施形態においてはスルー画像から顔候補を検出するものとする。ここで、顔を検出する手法としては、あるサイズを有する検出枠を画像上少しずつ移動させ、移動した位置毎に検出枠内の画像から特徴量を算出し、あらかじめ定められていた顔特徴量とのマッチング度を算出し、マッチング度がしきい値Ｔｈ０以上となる検出枠の位置を顔候補として検出する手法を用いる。なお、検出枠の大きさを変更することにより異なる大きさの顔候補の検出が可能となる。また、しきい値Ｔｈ０は後述するしきい値設定部４２により設定される。
【００４２】
そして顔検出部３７により、図２に示すように画像Ｇ１から矩形の検出枠により囲まれる顔候補Ｆ１〜Ｆ５を検出することができる。なお、図２においては、検出されるのは顔の候補であるため、顔が存在しない部分においても検出枠により囲まれる領域が含まれている。
【００４３】
顔構成部品検出部３８は、顔候補に含まれる複数の顔構成部品についての候補である顔構成部品候補を検出する。本実施形態においては、両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品Ｋ１〜Ｋ９についての顔構成部品候補を検出するものとする。具体的には、矩形の各顔構成部品のパターンを、処理対象の顔候補の領域内の画像上を少しずつ移動させ、移動した位置毎にマッチング度を算出し、マッチング度があらかじめ定められたしきい値Ｔｈ１以上となったパターンの位置の座標を顔構成部品候補として検出する。なお、座標は顔候補内の領域の左上隅を原点とした場合の顔候補内における座標である。
【００４４】
ここで、顔候補が真の顔である場合、マッチング度がしきい値Ｔｈ１以上となるパターンの位置を顔構成部品候補として検出すると、顔構成部品候補は対応する顔構成部品Ｋ１〜Ｋ９の位置において１つのみ検出されるものではなく、対応する顔構成部品Ｋ１〜Ｋ９の周囲に複数分布して検出されることが多い。このため、顔構成部品検出部３８は、各顔構成部品毎に１以上の顔構成部品候補を検出する。
【００４５】
ここで、顔候補に９つの顔構成部品Ｋ１〜Ｋ９のすべてが含まれている場合、図３（ａ）に示すように両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品のそれぞれに対応する顔構成部品候補が検出される。また、例えば左目の目頭について、図３（ｂ）の×印で示すように複数の顔構成部品候補が検出される。
【００４６】
なお、マッチング度がしきい値Ｔｈ１以上となる顔構成部品候補が検出されない場合には、対応する顔構成部品の候補は検出されなかったものとする。
【００４７】
判定部３９は、顔検出部３７が検出したすべての顔候補について、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の数に基づいて真の顔であるか否かを判定して、真の顔と判定された顔候補を真の顔として検出する。具体的には、すべての顔候補のうちの処理対象の顔候補について、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を算出し、さらに総数Ｎ１〜Ｎ９の加算値であるＮｓｕｍを算出する。そして加算値Ｎｓｕｍがしきい値Ｔｈ２以上である場合に、処理対象の顔候補を真の顔であると判定し、その顔候補を真の顔として検出する。なお、加算値Ｎｓｕｍがしきい値Ｔｈ２未満の場合は処理対象の顔候補を非顔と判定する。
【００４８】
なお、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を９次元空間にプロットし、９次元空間においてしきい値を定める超平面または超曲面を設定し、プロットした総数Ｎ１〜Ｎ９がしきい値を定める超平面または超曲面のいずれの側にあるかに応じて、処理対象の顔候補が真の顔であるか否かを判定するようにしてもよい。ここで、簡単のために、判定に使用する顔構成部品を左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９のみとした場合、総数Ｎ７〜Ｎ９は３次元空間にプロットされる。図４は総数Ｎ７〜Ｎ９を３次元空間にプロットした状態を示す図である。まず、総数Ｎ７〜Ｎ９が図４（ａ）に示すようにプロットされたとすると、そのプロットの位置Ｘ１（Ｎ７，Ｎ８，Ｎ９）は、しきい値を設定する超平面Ａ１よりも上側（すなわち値が大きい側）にある。したがって、図４（ａ）に示すようにプロットがなされた場合は、処理対象の顔候補を真の顔と判定する。
【００４９】
一方、総数Ｎ７〜Ｎ９が図４（ｂ）に示すようにプロットされたとすると、そのプロットの位置Ｘ２（Ｎ７，Ｎ８，Ｎ９）は、しきい値を設定する超平面Ａ１よりも下側（すなわち値が小さい側）にある。したがって、図４（ｂ）に示すようにプロットがなされた場合は、処理対象の顔候補を真の顔でないと判定する。
【００５０】
なお、総数Ｎ１〜Ｎ９のそれぞれについてしきい値Ｔｈ３を超えるか否かを判定し、しきい値Ｔｈ３を超えた総数の数がさらにしきい値Ｔｈ４を超えたときに、処理対象の顔候補を真の顔であると判定してもよい。
【００５１】
しきい値設定部４２は、顔検出部３７が顔候補を検出する際にマッチング度と比較するしきい値Ｔｈ０を設定する。まず、１回目の撮影により取得された画像（スルー画像）から顔候補を検出する際には、より多くの顔候補が検出されるようにしきい値Ｔｈ０を比較的低い値Ｚ０に設定する。これにより、顔検出部３７は、例えば図５（ａ）に示すように、画像Ｇ１から矩形の検出枠により囲まれる顔候補Ｆ１〜Ｆ１０を検出することができる。なお、図５（ａ）においては、検出されるのは顔の候補であるため、顔が存在しない部分においても検出枠により囲まれる領域が含まれている。
【００５２】
一方、２回目以降の撮影により取得された画像から顔候補を検出する際には、１回目の撮影よりも検出される顔候補を少なくするために、しきい値Ｔｈ０を値Ｚ０よりも大きい値Ｚ１に設定する。具体的には、１回目の撮影による取得した画像から検出した、真の顔と判定された顔候補のうち、マッチング度が最も低い顔候補を検出した際のそのマッチング度Ｚ２よりも小さく、１回目の撮影により取得された画像から検出した、真の顔であると判定されなかった顔候補のうち、マッチング度が最も大きい顔候補についてのそのマッチング度Ｚ３よりも大きい値Ｚ１となるようにしきい値Ｔｈ０を設定する。
【００５３】
図６はしきい値Ｔｈ０の設定を説明するための図である。図６において横軸は１回目の撮影により取得された画像から検出された顔候補Ｆ１〜Ｆ１０を、縦軸はマッチング度を示す。図６に示すように顔候補Ｆ１〜Ｆ１０のうち、真の顔と判定されたものは顔候補Ｆ１〜Ｆ３である。また、真の顔と判定された顔候補Ｆ１〜Ｆ３において、マッチング度が最も小さいのは顔候補Ｆ３であり、そのマッチング度はＺ２である。一方、顔候補Ｆ４〜Ｆ１０は非顔と判定され、非顔と判定された顔候補Ｆ４〜Ｆ１０において、マッチング度が最も大きいのは顔候補Ｆ８であり、そのマッチング度はＺ３である。
【００５４】
したがって、しきい値設定部４２は、顔検出部３７が２回目以降の撮影により取得した画像から顔候補を検出する際には、顔候補Ｆ３のマッチング度Ｚ２と顔候補Ｆ８のマッチング度Ｚ３との中間の値Ｚ１（例えばＺ１＝（Ｚ２＋Ｚ３）／２）にしきい値Ｔｈ０を設定する。このようにしきい値Ｔｈ０を値Ｚ１に設定することにより、１回目の撮影により取得された画像からは、顔候補Ｆ１〜Ｆ３のみが検出されることとなる。また、２回目以降の撮影により取得された画像からは、例えば図５（ｂ）に示すように、図５（ａ）に示す顔候補Ｆ１〜Ｆ３に対応する顔候補Ｆ１′〜Ｆ３′が検出される。なお、顔候補Ｆ８に対応する顔候補Ｆ４′が検出される可能性もある。
【００５５】
なお、上記では非顔と判定された顔候補Ｆ４〜Ｆ１０において、マッチング度が最も大きい顔候補Ｆ８のマッチング度Ｚ３を用いてしきい値Ｔｈ０の値Ｚ１を設定しているが、非顔と判定された顔候補Ｆ４〜Ｆ１０において、マッチング度が２または３番目に大きい顔候補Ｆ９，Ｆ１０のマッチング度と顔候補Ｆ３のマッチング度Ｚ２との中間の値にしきい値Ｔｈ０を設定するようにしてもよい。
【００５６】
また、スルー画像の撮影中は、被写体が変更される可能性が高く、その場合、検出されるべき顔候補が変化する。本実施形態においては、しきい値設定部４２は、１回目の撮影から所定撮影間隔経過する毎にしきい値Ｔｈ０を値Ｚ０に設定し、その撮影の次の撮影により取得される画像からの顔候補の検出のためのしきい値Ｔｈ０の値を新たに設定し直す。例えば、スルー画像を１秒間に３０撮影する場合には、３０回の撮影毎にしきい値Ｔｈ０を値Ｚ０に設定して、次回の以降の撮影により取得される画像から顔候補を検出する際のしきい値Ｔｈ０の値を設定し直す。
【００５７】
ＣＰＵ４０は、操作系２およびＡＦ処理部３０等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。また、ＣＰＵ４０は、スルー画像の撮影中に、各スルー画像から真の顔を検出するように、顔検出部３７、顔構成部品検出部３８および判定部３９を制御する。なお、判定部３９が真の顔を検出すると、ＣＰＵ４０は、図７に示すように検出した真の顔を矩形の領域Ａ１〜Ａ３で囲んでスルー画像を表示するように表示制御部２７に指示を行う。なお、矩形の領域は顔検出部３７が検出した顔候補の検出枠に相当するものである。
【００５８】
データバス４１は、各種処理部、フレームメモリ２６およびＣＰＵ４０等に接続されており、デジタル画像データおよび各種指示等のやり取りを行う。
【００５９】
次いで、第１の実施形態において行われる処理について説明する。図８は第１の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ１）。そして、しきい値設定部４２がしきい値設定処理を行う（ステップＳＴ２）。
【００６０】
図９はしきい値設定処理のフローチャートである。まず、スルー画像の撮影が１回目であるか否かを判定し（ステップＳＴ１１）、ステップＳＴ１１が肯定されるとしきい値Ｔｈ０を値Ｚ０に設定し（ステップＳＴ１２）、処理を終了する。ステップＳＴ１１が否定されるとスルー画像の撮影が、前回しきい値Ｔｈ０を値Ｚ０に設定してから所定撮影間隔経過してからの撮影であるか否かを判定し（ステップＳＴ１３）、ステップＳＴ１３が肯定されると、ステップＳＴ１２に進んでしきい値Ｔｈ０を値Ｚ０に設定し、処理を終了する。
【００６１】
一方、ステップＳＴ１３が否定されると、しきい値Ｔｈ０を値Ｚ１に設定し（ステップＳＴ１４）、処理を終了する。
【００６２】
図８に戻り、ステップＳＴ２に続いて顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ３）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ４）。なお、ｉの初期値は１である。また、処理の順序は、例えばスルー画像上における向かって左側に存在する顔候補から右側に向かって順に行うようにすればよい。
【００６３】
そして、判定部３９が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の総数の加算値Ｎｓｕｍがしきい値Ｔｈ２以上であるか否かを判定し（ステップＳＴ５）、ステップＳＴ５が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ６）。一方、ステップＳＴ５が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ７）。
【００６４】
ステップＳＴ６，７に続いて、ＣＰＵ４０がすべての顔候補について判定部３９が判定を終了したか否かを判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、ｉに１を加算し（ステップＳＴ９）、ステップＳＴ４に戻る。ステップＳＴ８が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ１０）、ステップＳＴ１にリターンする。
【００６５】
このように、第１の実施形態においては、検出された顔構成部品候補の数に基づいて、顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、１つの顔構成部品について検出される顔構成部品候補が多くなる。したがって、顔候補に含まれる顔構成部品毎の顔構成部品候補の数に基づいて顔候補が真の顔であるか否かを判定することにより、顔候補から真の顔を精度良く検出することができる。
【００６６】
しかしながら、顔構成部品候補の数に基づく真の顔であるか否かの判定は演算に長時間を要するものとなる。第１の実施形態においては、１回目の撮影以降および所定撮影間隔経過する毎の撮影以降の撮影により取得された画像については、顔検出のためのしきい値Ｔｈ０の値を大きくするようにしたため、検出される顔候補の数を少なくすることができる。したがって、演算量が多い判定の処理を行う顔候補の数を少なくすることができ、これにより、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。
【００６７】
なお、上記第１の実施形態においては、両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品を検出しているが、これらをすべて検出する必要はなく、これらの顔構成部品のうちの１以上の顔構成部品の候補を検出するようにしてもよい。この場合、総数の加算値Ｎｓｕｍと比較するしきい値Ｔｈ２は、検出する顔構成部品の数に応じて変更すればよい。なお、検出する顔構成部品が１つのみの場合は、両目の目尻および両目の目頭のうちのいずれか１つを検出することが好ましい。また、検出する顔構成部品は、両目の目尻、両目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分に限定されるものではなく、眉毛、両目の黒目部分等、顔を構成する部品であれば、任意の構成部品を用いることができる。
【００６８】
次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態においては、判定部３９が行う処理が第１の実施形態と異なるのみであるため、構成についての詳細な説明はここでは省略する。
【００６９】
第２の実施形態においては、判定部（第１の実施形態と異なるため３９Ａとする）が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の位置的な尤度を算出し、位置的な尤度に基づいて顔候補が真の顔であるか否かを判定する。ここで、位置的な尤度とは、顔候補の領域内において、検出された顔構成部品候補がどの程度対応する本来あるべき顔構成部品の位置に位置しているかを表す確率である。
【００７０】
ここで、本実施形態においては、９種類の顔構成部品について各顔構成部品の顔候補内における存在確率を表した確率分布があらかじめ求められている。
【００７１】
図１０は顔構成部品の存在確率を表す確率分布を示す図である。図１０に示す確率分布は、顔候補を検出した検出枠をあらかじめ定められた一定のサイズに正規化した場合における、検出枠内での両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の９個の顔構成部品の存在確率の確率分布を表すものである。なお、図１０における丸印Ｂ１〜Ｂ９は、それぞれ顔候補の両目の目尻Ｋ１，Ｋ２、両目の目頭Ｋ３，Ｋ４、左右の鼻の穴の脇Ｋ５，Ｋ６、左右の口元Ｋ７，Ｋ８および口の中央部分Ｋ９の存在確率を表す確率分布であり、図１０における紙面をＸＹ平面とし、紙面に垂直な方向をＺ方向とした場合、図１１の確率分布のプロファイルに示すようにＺ方向が各顔構成部品の存在確率を示すものとなる。したがって、図１０における各丸印の中心に近いほど各顔構成部品の存在確率が高いものとなる。
【００７２】
なお、確率分布は多数の顔のサンプル画像を用いてあらかじめ求めておけばよい。
【００７３】
判定部３９Ａは、顔検出部３７が検出した各顔候補を上記一定のサイズに正規化し、正規化した顔候補内の各顔構成部品毎の顔構成部品候補について、対応する顔構成部品の確率分布を参照して存在確率を位置的な尤度として算出する。具体的には、各顔構成部品候補について、対応する顔構成部品の存在確率を表す確率分布付近の位置を求め、その位置における存在確率を位置的な尤度として算出する。これにより、例えば左目目尻の候補１〜４が、図１２に示す確率分布Ｂ１付近の位置Ｃ１〜Ｃ４にある場合には、図１３に示すように、位置Ｃ１にある左目目尻候補１の尤度０％、位置Ｃ２にある左目目尻候補２の尤度２％、位置Ｃ３にある左目目尻候補３の尤度９％、位置Ｃ４にある左目目尻候補４の尤度１７％というように、各顔構成部品候補の位置的な尤度が求められる。
【００７４】
さらに判定部３９Ａは、顔構成部品毎に顔構成部品候補の位置的な尤度の平均値を算出する。図１４は２つの顔候補についての顔構成部品毎の顔構成部品候補の位置的な尤度の平均値を示す図である。そして、処理対象の顔候補について、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定し、この判定が肯定された場合に処理対象の顔候補を真の顔であると判定して検出する。例えば、しきい値Ｔｈ５として１３％を、本実施形態においては９個の顔構成部品を用いているためしきい値Ｔｈ６として５を用いるとすると、図１４に示す顔候補１について、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品は、左目目尻、左目目頭、右目目頭、左鼻脇、右鼻脇および右口元の６個となり、その数がしきい値Ｔｈ６以上となるため、処理対象の顔候補１は真の顔と判定されて検出される。一方、顔候補２は尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品は０個であるため、顔候補２は真の顔とは判定されない。
【００７５】
次いで、第２の実施形態において行われる処理について説明する。図１５は第２の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ２１）。そして、しきい値設定部４２がしきい値設定処理を行う（ステップＳＴ２２）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ２３）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ２４）。
【００７６】
そして、判定部３９Ａが、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ２５）、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ２６）。ステップＳＴ２６が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ２７）。一方、ステップＳＴ２６が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ２８）。
【００７７】
ステップＳＴ２７，２８に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ａが判定を終了したか否かを判定し（ステップＳＴ２９）、ステップＳＴ２９が否定されると、ｉに１を加算し（ステップＳＴ３０）、ステップＳＴ２４に戻る。ステップＳＴ２９が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ３１）、ステップＳＴ２１にリターンする。
【００７８】
このように、第２の実施形態においては、検出された顔構成部品候補の位置、とくに位置的な尤度に基づいて、各顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなる。したがって、顔候補に含まれる顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定することにより、精度良く顔候補から真の顔を検出することができる。
【００７９】
また、第１の実施形態と同様に、演算量が多い判定の処理を行う顔候補の数を少なくすることができるため、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。
【００８０】
なお、上記第２の実施形態においては、判定部３９Ａが顔構成部品毎の顔構成部品候補の位置的な尤度を算出し、これに基づいて顔候補が真の顔であるか否かを判定しているが、顔構成部品毎の顔構成部品候補の位置関係の尤度を算出し、位置関係の尤度に基づいて顔候補が真の顔であるか否かを判定してもよい。以下、これを第３の実施形態として説明する。
【００８１】
第３の実施形態においては、判定部（第１の実施形態と異なるため３９Ｂとする）は、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補について、顔構成部品候補毎に他の顔構成部品の位置に対する存在確率を位置関係の尤度として算出し、算出した位置関係の尤度に基づいて顔候補が真の顔であるか否かを判定する。
【００８２】
図１６は右目の目頭の、両目の目尻、左目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分の他の８個の顔構成部品に対する存在確率の確率分布を示す図である。なお、図１６において確率分布Ｂ１１〜Ｂ１８は、それぞれ右目の目頭の、左目の目尻、右目の目尻、左目の目頭、左の鼻の穴の脇、右の鼻の穴の脇、左の口元、右の口元および口の中央部分に対する存在確率の確率分布を示す。
【００８３】
ここで、位置関係の尤度を算出する対象を右目目頭とした場合、第３の実施形態においては、判定部３９Ｂは、顔検出部３７が検出した各顔候補を第２の実施形態と同様に一定のサイズに正規化し、正規化した顔候補内において顔構成部品検出部３８が検出した右目目頭候補毎に、確率分布Ｂ１１〜Ｂ１８を参照して存在確率を仮の位置関係の尤度として算出する。例えば、右目の目頭の、左目の目尻に対する仮の位置関係の尤度１５％、右目の目尻に対する仮の位置関係の尤度１２％、左目の目頭に対する仮の位置関係の尤度１３％、左の鼻の穴の脇に対する仮の位置関係の尤度１０％、右の鼻の穴の脇に対する仮の位置関係の尤度１９％、左の口元に対する仮の位置関係の尤度１３％、右の口元に対する仮の位置関係の尤度１７％および口の中央部分に対する仮の位置関係の尤度１５％というように仮の位置関係の尤度を算出する。
【００８４】
そして判定部３９Ｂは、算出した８個の仮の位置関係の尤度の平均値を算出し、さらにこの平均値のすべての顔構成部品候補についての平均値を、その顔構成部品候補の最終的な位置関係の尤度として算出する。
【００８５】
なお、第３の実施形態においては、右目の目頭のみならず、左目の目尻、右目の目尻、左目の目頭、左の鼻の穴の脇、右の鼻の穴の脇、左の口元、右の口元および口の中央部分についても、それぞれ他の顔構成部品に対する存在確率の確率分布が求められており、判定部３９Ｂは、９個すべての顔構成部品の顔構成部品候補について位置関係の尤度を算出する。そして、判定部３９Ｂは顔構成部品毎に算出した９個の顔構成部品候補の位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品の数がしきい値Ｔｈ８以上であるか否かを判定し、この判定が肯定された場合に処理対象の顔候補を真の顔であると判定して検出する。
【００８６】
次いで、第３の実施形態において行われる処理について説明する。図１７は第３の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ４１）。そして、しきい値設定部４２がしきい値設定処理を行う（ステップＳＴ４２）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ４３）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ４４）。なお、ｉの初期値は１である。
【００８７】
そして、判定部３９Ｂが、顔構成部品毎に顔構成部品候補の位置関係の尤度を算出し（ステップＳＴ４５）、位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品の数がしきい値Ｔｈ８以上であるか否かを判定する（ステップＳＴ４６）。ステップＳＴ４６が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ４７）。一方、ステップＳＴ４６が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ４８）。
【００８８】
ステップＳＴ４７，４８に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ｂが判定を終了したか否かを判定し（ステップＳＴ４９）、ステップＳＴ４９が否定されると、ｉに１を加算し（ステップＳＴ５０）、ステップＳＴ４４に戻る。ステップＳＴ４９が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ５１）、ステップＳＴ４１にリターンする。
【００８９】
このように、第３の実施形態においては、検出された顔構成部品の位置、とくに位置関係の尤度に基づいて、各顔候補から真の顔を検出するようにしたものである。ここで、顔には、目、鼻および口等の顔構成部品が含まれており、顔候補が真の顔である場合には、顔構成部品候補は対応する顔構成部品の位置に存在することとなり、さらに顔構成部品間の位置関係は略決まっている。したがって、顔候補に含まれる顔構成部品候補の位置関係に基づいて顔候補が真の顔であるか否かを判定することにより、顔候補から真の顔を精度良く検出することができる。
【００９０】
また、第１の実施形態と同様に、演算量が多い判定の処理を行う顔候補の数を少なくすることができるため、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。
【００９１】
なお、上記第３の実施形態においては、９種類の顔構成部品のすべての位置関係の尤度を算出し、位置関係の尤度がしきい値Ｔｈ７以上となる顔構成部品がしきい値Ｔｈ８以上であるか否かに基づいて顔候補が真の顔か否かを判定しているが、９種類の顔構成部品のすべてを用いる必要はなく、少なくとも１つの顔構成部品についての位置関係の尤度に基づいて顔候補が真の顔か否かを判定するようにしてもよい。
【００９２】
また、上記第２および第３の実施形態においては、検出した顔候補の顔構成部品候補が、対応する各顔構成部品の確率分布上に位置していれば、精度よく位置的な尤度および位置関係の尤度を算出することができるが、図１８に示すように顔候補の各顔構成部品候補の位置（図中×で示す）が本来あるべき顔構成部品の位置の確率分布とずれていると、尤度を精度よく算出することができず、その結果、顔候補が真の顔であるか否かを精度よく判定することができない。このため、検出した顔構成部品候補が確率分布内に位置するように、顔候補を正規化することが好ましい。以下、これを第４の実施形態として説明する。
【００９３】
第４の実施形態において、顔候補を正規化するためには、顔候補内の顔構成部品候補のうちのいずれかの顔構成部品候補を対応する顔構成部品の確率分布の中心（すなわち最も確率が高い位置）と一致させるように、顔候補の画像をアフィン変換する。アフィン変換は、平面上の任意の３点を拡大縮小、平行移動および回転することにより任意の３点に移動させる変換であり、具体的には下記の式（１）により表される。
【００９４】
ｘ′＝ａ１・ｘ＋ｂ１・ｙ＋ｄ１
ｙ′＝ａ２・ｘ＋ｂ２・ｙ＋ｄ２ （１）
式（１）より、アフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出するためには、顔候補内および顔構成部品の確率分布内においてそれぞれ対応する３点の座標が必要となる。ここで、顔候補および顔構成部品の確率分布において、図１８に示すように左下隅を原点とするＸＹ座標系を考えると、顔構成部品候補Ｐ１〜Ｐ９が確率分布Ｂ１〜Ｂ９の中心に位置するようにアフィン変換の係数を設定する必要がある。第４の実施形態においては、顔構成部品毎に顔構成部品検出部３８が検出した少なくとも１つの顔構成部品候補のうち、マッチング度が最も高い顔構成部品候補を顔構成部品候補を代表する顔構成部品候補Ｐ１〜Ｐ９として選択し、選択した９個の顔構成部品候補Ｐ１〜Ｐ９のうちマッチング度が大きい上位３個の顔構成部品候補を、対応する顔構成部品の確率分布の中心と一致させるようにアフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出すればよい。
【００９５】
例えば、図１８に示す顔構成部品候補Ｐ１〜Ｐ９のマッチング度がＰ１＞Ｐ２＞Ｐ３＞Ｐ４＞Ｐ５…である場合には、顔構成部品候補Ｐ１，Ｐ２，Ｐ３を、対応する顔構成部品の確率分布Ｂ１，Ｂ２，Ｂ３の中心とそれぞれ一致させるようにアフィン変換の係数ａ１，ａ２，ｂ１，ｂ２，ｄ１，ｄ２を算出する。
【００９６】
なお、アフィン変換の係数を算出するためには３点の座標を用いるのみならず、４点以上の座標を用いてもよい。例えば、９個の顔構成部品候補Ｐ１〜Ｐ９のすべてを対応する顔構成部品の確率分布Ｂ１〜Ｂ９の中心と一致させるようにアフィン変換の係数を算出してもよい。この場合、変換後の９個の顔構成部品候補Ｐ１〜Ｐ９の座標と、確率分布Ｂ１〜Ｂ９の中心位置の座標との誤差が最小となるように、最小二乗法を用いてアフィン変換の係数を算出すればよい。
【００９７】
次いで、第４の実施形態において行われる処理について説明する。図１９は第４の実施形態において行われる処理を示すフローチャートである。なお、ここでは、第４の実施形態を第２の実施形態に適用した場合の処理について説明するが、第３の実施形態に対しても同様に適用できるものである。
【００９８】
デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ６１）。そして、しきい値設定部４２がしきい値設定処理を行う（ステップＳＴ６２）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ６３）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ６４）。なお、ｉの初期値は１である。
【００９９】
そして、判定部３９Ａが処理対象の顔候補を正規化し（ステップＳＴ６５）、正規化の後、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ６６）、位置的な尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ６７）。ステップＳＴ６７が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ６８）。一方、ステップＳＴ６８が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ６９）。
【０１００】
ステップＳＴ６８，６９に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ａが判定を終了したか否かを判定し（ステップＳＴ７０）、ステップＳＴ７０が否定されると、ｉに１を加算し（ステップＳＴ７１）、ステップＳＴ６４に戻る。ステップＳＴ７０が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ７２）、ステップＳＴ６１にリターンする。
【０１０１】
このように、第４の実施形態においては、顔候補の領域内において各顔構成部品候補の位置が対応する顔構成部品の位置に位置するように顔候補をアフィン変換して正規化するようにしたため、より精度良く顔候補から真の顔を検出することができる。
【０１０２】
また、第１の実施形態と同様に、演算量が多い判定の処理を行う顔候補の数を少なくすることができるため、演算量を低減しつつも精度良く顔候補から真の顔を検出することができる。
【０１０３】
なお、上記第４の実施形態においては、顔候補毎にアフィン変換の係数を算出してアフィン変換を行っているが、すべての顔候補について、各顔構成部品について選択した顔構成部品候補の平均位置を算出し、算出した平均位置が確率分布の中心と一致するようにアフィン変換の係数を算出してもよい。この場合においても、９個の顔構成部品から選択した顔構成部品候補のうちの３つの顔構成部品候補からアフィン変換の係数を算出してもよく、４以上の顔構成部品候補からアフィン変換の係数を算出してもよい。
【０１０４】
また、上記第４の実施形態においては、正規化前に顔構成部品毎の顔構成部品候補について仮の位置的な尤度または仮の位置関係の尤度を算出し、仮の位置的な尤度または仮の位置関係の尤度が最も高い上位所定数の顔構成部品候補が、対応する顔構成部品の位置（すなわち存在確率がピークとなる位置）と一致するように、顔候補に対してアフィン変換を施すことにより正規化を行うようにしてもよい。
【０１０５】
次いで、本発明の第５の実施形態について説明する。なお、第５の実施形態においては、判定部３９が行う処理が第１の実施形態と異なるのみであるため、構成についての詳細な説明はここでは省略する。
【０１０６】
第５の実施形態においては、判定部（第１の実施形態と異なるため３９Ｃとする）が、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の数に基づいて、顔候補が真の顔、非顔および曖昧顔のいずれかであるかを判定することにより真の顔を検出する第１の判定処理を行い、第１の判定処理により曖昧顔と判定された顔候補について、第２、第３または第４の実施形態と同様に、顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定することにより真の顔を検出する第２の判定処理を行うようにした点が第１の実施形態と異なる。
【０１０７】
第５の実施形態における判定部３９Ｃは、第１の判定処理においては、第１の実施形態における判定部３９と同様に９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を算出し、さらに総数Ｎ１〜Ｎ９の加算値であるＮｓｕｍを算出する。そして加算値Ｎｓｕｍがしきい値Ｔｈ９以上である場合に処理対象の顔候補を真の顔であると判定し、その顔候補を真の顔として検出する。また、加算値Ｎｓｕｍがしきい値Ｔｈ１０以上しきい値Ｔｈ９未満である場合に処理対象の顔候補を曖昧顔と判定し、加算値Ｎｓｕｍがしきい値Ｔｈ１０未満である場合に処理対象の顔候補を非顔であると判定する。また、曖昧顔と判定された顔候補に対する上記第２、第３または第４の実施形態のいずれかの処理を第２の判定処理として行う。
【０１０８】
次いで、第５の実施形態において行われる処理について説明する。図２０は第５の実施形態において行われる処理を示すフローチャートである。デジタルカメラ１の動作モードが撮影モードに設定されることによりＣＰＵ４０が処理を開始し、スルー画像の撮影を行う（ステップＳＴ８１）。そして、しきい値設定部４２がしきい値設定処理を行う（ステップＳＴ８２）。続いて、顔検出部３７がスルー画像に含まれるすべての顔候補を検出する（ステップＳＴ８３）。次いで、顔構成部品検出部３８が、ｉ番目の顔候補を処理対象の顔候補として、処理対象の顔候補から顔構成部品毎の顔構成部品候補を検出する（ステップＳＴ８４）。なお、ｉの初期値は１である。
【０１０９】
そして、判定部３９Ｃが第１の判定処理を行う（ステップＳＴ８５）。まず、顔構成部品検出部３８が検出した顔構成部品毎の顔構成部品候補の総数の加算値Ｎｓｕｍがしきい値Ｔｈ９以上であるか否かを判定し（ステップＳＴ８６）、ステップＳＴ８６が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ８７）。一方、ステップＳＴ８６が否定されると、加算値Ｎｓｕｍがしきい値Ｔｈ１０以上しきい値Ｔｈ９未満であるか否かを判定し（ステップＳＴ８８）、ステップＳＴ８８が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ８９）。ステップＳＴ８８が肯定されると、処理対象の顔候補が曖昧顔であるとして、第２の判定処理を行う（ステップＳＴ９０）。
【０１１０】
まず、第２の実施形態と同様に、判定部３９Ｃが、顔構成部品毎に顔構成部品候補の位置的な尤度を算出し（ステップＳＴ９１）、顔構成部品毎に尤度の平均値がしきい値Ｔｈ５以上となる顔構成部品の数がしきい値Ｔｈ６以上であるか否かを判定する（ステップＳＴ９２）。なお、ステップＳＴ９１の前に第４の実施形態と同様に処理対象の顔候補を正規化してもよい。また、ステップＳＴ９１，９２の処理を第３の実施形態のステップＳＴ４５，４６の処理と同様に位置関係の尤度を用いて行ってもよい。ステップＳＴ９２が肯定されると、処理対象の顔候補を真の顔と判定して検出する（ステップＳＴ９３）。一方、ステップＳＴ９２が否定されると、処理対象の顔候補を非顔と判定する（ステップＳＴ９４）。
【０１１１】
ステップＳＴ８７，８９，９３，９４に続いて、ＣＰＵ４０がすべての顔候補について判定部３９Ｃが判定を終了したか否かを判定し（ステップＳＴ９５）、ステップＳＴ９５が否定されると、ｉに１を加算し（ステップＳＴ９６）、ステップＳＴ８４に戻る。ステップＳＴ９５が肯定されると、真の顔を矩形領域で囲んだスルー画像をモニタ２８に表示し（ステップＳＴ９７）、ステップＳＴ８１にリターンする。
【０１１２】
ここで、顔構成部品候補の数に基づいて顔候補が真の顔であるか否かを判定する場合と、顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定する場合とでは、前者の方が演算量が少ない。また、暗いシーンや逆光の撮影時においては顔候補が暗くなるため、その顔候補が真の顔であっても検出される顔構成部品候補の数が少なくなり、その結果、第１の実施形態の処理を行うのみでは、真の顔を非顔と判定してしまうおそれがある。このため、第５の実施形態のように、顔構成部品候補の数に基づいて曖昧顔と判定された顔候補についてのみ、顔構成部品候補の位置に基づいて顔候補が真の顔であるか否かを判定することにより、さらに演算量を低減でき、かつ精度良く顔候補から真の顔を検出することができる。
【０１１３】
なお、上記第５の実施形態においては、第１の判定処理として、上記９個の顔構成部品Ｋ１〜Ｋ９のそれぞれについての顔構成部品候補の総数Ｎ１〜Ｎ９を９次元空間にプロットし、９次元空間においてしきい値を定める超平面または超曲面を設定し、プロットした総数Ｎ１〜Ｎ９がしきい値を定める超平面または超曲面のいずれの側にあるかに応じて、顔候補が真の顔、曖昧顔および非顔のいずれであるかを判定するようにしてもよい。
【０１１４】
また、上記第５の実施形態においては、第１の判定処理および第２の判定処理を同一の判定部３９Ｃにおいて行っているが、第１および第２の判定処理をそれぞれ行う２つの判定部を設けるようにしてもよい。
【０１１５】
以上、本発明の実施形態に係るデジタルカメラについて説明したが、コンピュータを、上記の顔検出部３７、顔構成部品検出部３８、判定部３９，３９Ａ〜３９Ｃおよびしきい値設定部４２に対応する手段として機能させ、図８，９，１５，１７，１９，２０に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【０１１６】
【図１】本発明の第１の実施形態による撮影装置を適用したデジタルカメラの構成を示す概略ブロック図
【図２】顔候補の検出を説明するための図
【図３】顔構成部品候補の検出を説明するための図
【図４】顔候補が真の顔であるか否かの判定を説明するための図
【図５】しきい値の設定を説明するための図（その１）
【図６】しきい値の設定を説明するための図（その２）
【図７】真の顔が矩形で囲まれたスルー画像を示す図
【図８】第１の実施形態において行われる処理を示すフローチャート
【図９】しきい値設定処理のフローチャート
【図１０】顔構成部品の存在確率の確率分布を示す図
【図１１】確率分布のプロファイルを示す図
【図１２】確率分布付近における顔構成部品候補の位置の例を示す図
【図１３】各顔構成部品候補について算出した位置的な尤度を示す図
【図１４】２つの顔候補についての顔構成部品毎の顔構成部品候補の位置的な尤度の平均値を示す図
【図１５】第２の実施形態において行われる処理を示すフローチャート
【図１６】右目の目頭の、両目の目尻、左目の目頭、左右の鼻の穴の脇、左右の口元および口の中央部分の他の８個の顔構成部品に対する存在確率の確率分布を示す図
【図１７】第３の実施形態において行われる処理を示すフローチャート
【図１８】顔構成部品の位置のずれを説明するための図
【図１９】第４の実施形態において行われる処理を示すフローチャート
【図２０】第５の実施形態において行われる処理を示すフローチャート
【符号の説明】
【０１１７】
１ デジタルカメラ
２ 操作系
３ 操作系制御部
６ 撮像系
２８ モニタ
３５ 記録メディア
３７ 顔検出部
３８ 顔構成部品検出部
３９ 判定部
４０ ＣＰＵ
４２ しきい値設定部
【特許請求の範囲】
【請求項１】
連続した撮影により画像を連続して取得する撮影手段と、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出する顔検出手段と、
前記顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記顔候補が真の顔であるか否かを判定する判定手段と、
所定の撮影の際に取得された所定撮影時画像から前記顔候補を検出するに際には、前記所定のしきい値を第１の値に設定し、該所定の撮影以降の撮影により取得された画像から前記顔候補を検出する際には、前記所定撮影時画像から検出された前記顔候補であって前記真の顔であると判定された顔候補のうち、前記マッチング度が最も低い顔候補を検出可能な第２の値を前記所定のしきい値に設定するしきい値設定手段とを備えたことを特徴とする撮影装置。
【請求項２】
前記所定の撮影は、最初の撮影であることを特徴とする請求項１記載の撮影装置。
【請求項３】
前記所定の撮影はあらかじめ定められた間隔での撮影であることを特徴とする請求項１または２記載の撮影装置。
【請求項４】
前記判定手段は、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品に対する位置的な尤度を算出し、該位置的な尤度に基づいて前記顔候補が前記真の顔であるか否かを判定する手段であることを特徴とする請求項１から３のいずれか１項記載の撮影装置。
【請求項５】
前記判定手段は、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品以外の他の顔構成部品に対する位置関係の尤度を算出し、該位置関係の尤度に基づいて前記顔候補が前記真の顔であるか否かを判定する手段であることを特徴とする請求項１から３のいずれか１項記載の撮影装置。
【請求項６】
前記判定手段は、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内において前記各顔構成部品を正規化し、該正規化した前記各顔構成部品の位置に基づいて、前記顔候補が前記真の顔であるか否かを判定する手段であることを特徴とする請求項１から５のいずれか１項記載の撮影装置。
【請求項７】
連続した撮影により画像を連続して取得し、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出し、
前記顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出し、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記顔候補が真の顔であるか否かを判定するに際し、
所定の撮影の際に取得された所定撮影時画像から前記顔候補を検出するに際には、前記所定のしきい値を第１の値に設定し、該所定の撮影以降の撮影により取得された画像から前記顔候補を検出する際には、前記所定撮影時画像から検出された前記顔候補であって前記真の顔であると判定された顔候補のうち、前記マッチング度が最も低い顔候補を検出可能な第２の値を前記所定のしきい値に設定することを特徴とする撮影方法。
【請求項８】
連続した撮影により画像を連続して取得する手順と、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出する手順と、
前記顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する手順と、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記顔候補が真の顔であるか否かを判定する手順と、
所定の撮影の際に取得された所定撮影時画像から前記顔候補を検出するに際には、前記所定のしきい値を第１の値に設定し、該所定の撮影以降の撮影により取得された画像から前記顔候補を検出する際には、前記所定撮影時画像から検出された前記顔候補であって前記真の顔であると判定された顔候補のうち、前記マッチング度が最も低い顔候補を検出可能な第２の値を前記所定のしきい値に設定する手順とを有することを特徴とする撮影方法をコンピュータに実行させるためのプログラム。
【請求項１】
連続した撮影により画像を連続して取得する撮影手段と、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出する顔検出手段と、
前記顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する顔構成部品検出手段と、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記顔候補が真の顔であるか否かを判定する判定手段と、
所定の撮影の際に取得された所定撮影時画像から前記顔候補を検出するに際には、前記所定のしきい値を第１の値に設定し、該所定の撮影以降の撮影により取得された画像から前記顔候補を検出する際には、前記所定撮影時画像から検出された前記顔候補であって前記真の顔であると判定された顔候補のうち、前記マッチング度が最も低い顔候補を検出可能な第２の値を前記所定のしきい値に設定するしきい値設定手段とを備えたことを特徴とする撮影装置。
【請求項２】
前記所定の撮影は、最初の撮影であることを特徴とする請求項１記載の撮影装置。
【請求項３】
前記所定の撮影はあらかじめ定められた間隔での撮影であることを特徴とする請求項１または２記載の撮影装置。
【請求項４】
前記判定手段は、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品に対する位置的な尤度を算出し、該位置的な尤度に基づいて前記顔候補が前記真の顔であるか否かを判定する手段であることを特徴とする請求項１から３のいずれか１項記載の撮影装置。
【請求項５】
前記判定手段は、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内における前記各顔構成部品候補の、対応する前記顔構成部品以外の他の顔構成部品に対する位置関係の尤度を算出し、該位置関係の尤度に基づいて前記顔候補が前記真の顔であるか否かを判定する手段であることを特徴とする請求項１から３のいずれか１項記載の撮影装置。
【請求項６】
前記判定手段は、前記位置に基づいて前記顔候補が前記真の顔であるか否かを判定するに際し、前記顔候補の領域内において前記各顔構成部品を正規化し、該正規化した前記各顔構成部品の位置に基づいて、前記顔候補が前記真の顔であるか否かを判定する手段であることを特徴とする請求項１から５のいずれか１項記載の撮影装置。
【請求項７】
連続した撮影により画像を連続して取得し、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出し、
前記顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出し、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記顔候補が真の顔であるか否かを判定するに際し、
所定の撮影の際に取得された所定撮影時画像から前記顔候補を検出するに際には、前記所定のしきい値を第１の値に設定し、該所定の撮影以降の撮影により取得された画像から前記顔候補を検出する際には、前記所定撮影時画像から検出された前記顔候補であって前記真の顔であると判定された顔候補のうち、前記マッチング度が最も低い顔候補を検出可能な第２の値を前記所定のしきい値に設定することを特徴とする撮影方法。
【請求項８】
連続した撮影により画像を連続して取得する手順と、
所定サイズの検出枠を前記画像上において移動させ、移動した位置毎に該検出枠内の前記画像から特徴量を算出し、該特徴量とあらかじめ定められた顔特徴量とのマッチング度を算出し、該マッチング度が所定のしきい値以上となったときに前記検出枠の位置の画像を顔候補として検出する手順と、
前記顔候補に含まれる少なくとも１つの顔構成部品の候補を該顔構成部品毎に検出する手順と、
前記顔構成部品毎に検出された前記顔構成部品候補の数および位置の少なくとも一方に基づいて、前記顔候補が真の顔であるか否かを判定する手順と、
所定の撮影の際に取得された所定撮影時画像から前記顔候補を検出するに際には、前記所定のしきい値を第１の値に設定し、該所定の撮影以降の撮影により取得された画像から前記顔候補を検出する際には、前記所定撮影時画像から検出された前記顔候補であって前記真の顔であると判定された顔候補のうち、前記マッチング度が最も低い顔候補を検出可能な第２の値を前記所定のしきい値に設定する手順とを有することを特徴とする撮影方法をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００８−１９９１４６（Ｐ２００８−１９９１４６Ａ）
【公開日】平成２０年８月２８日（２００８．８．２８）
【国際特許分類】
【出願番号】特願２００７−３００７６（Ｐ２００７−３００７６）
【出願日】平成１９年２月９日（２００７．２．９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１０４１８９
【弁理士】
【氏名又は名称】福尾 勲将
【Ｆターム（参考）】
【公開日】平成２０年８月２８日（２００８．８．２８）
【国際特許分類】
【出願日】平成１９年２月９日（２００７．２．９）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【復代理人】
【識別番号】１００１０４１８９
【弁理士】
【氏名又は名称】福尾 勲将
【Ｆターム（参考）】
[ Back to top ]