画像処理装置
【構成】ＣＰＵ２６は、被写界像を取り込み、取り込まれた被写界像から１または２以上の顔画像を探索し、発見された１または２以上の顔画像の各々を指定する。ＣＰＵ２６はまた、複数の年齢にそれぞれ対応する複数の顔特徴を保持し、指定された顔画像の表情を検出する。ＣＰＵ２６はまた、指定された顔画像に相当する人物の年齢を保持された複数の顔特徴と検出された表情とに基づいて推定し、取り込まれた被写界像の品質を推定結果を参照して調整する。
【効果】被写界像の品質が向上する。
【効果】被写界像の品質が向上する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に、被写界像に現れた人物の年齢を推定する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、画像入力装置によって撮影された測定対象者の顔の画像に対して画像処理を行い測定対象者の年齢の推定を行う年齢推定装置において、測定対象者の顔の画像が撮影されて、取得された顔の画像からそれぞれ異なる複数の特徴量が抽出される。抽出されたそれぞれ異なる複数の特徴量に基づき、複数の年齢推定手段によって、年齢が推定される。これら複数の年齢推定手段で推定された複数の年齢の分布に基づき、推定年齢が決定される。決定された推定年齢は、表示手段によって表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３１８６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、顔画像から抽出された特徴量に基づき年齢を推定するにあたって、顔の表情が参照されることはない。このため、推定された年齢を参照して被写界像の品質を調整する場合、被写界から検出された顔の表情によっては、被写界像の品質が低下するおそれがある。
【０００５】
それゆえに、この発明の主たる目的は、被写界像の品質を向上させることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、被写界像を取り込む取り込み手段(16, S181~187)、取り込み手段によって取り込まれた被写界像から１または２以上の顔画像を探索する探索手段(S93~S123)、探索手段によって発見された１または２以上の顔画像の各々を指定する第１指定手段(S137)、複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持手段(44)、第１指定手段によって指定された顔画像の表情を検出する検出手段(S151)、第１指定手段によって指定された顔画像に相当する人物の年齢を保持手段によって保持された複数の顔特徴と検出手段によって検出された表情とに基づいて推定する推定手段(S153~S163, S165~S171)、および取り込み手段によって取り込まれた被写界像の品質を推定手段の推定結果を参照して調整する調整手段(S47, S197)を備える。
【０００７】
好ましくは、取り込み手段は被写界を捉える撮像面を有して被写界像を出力する撮像手段(16)を含み、調整手段は撮像条件を調整する撮像条件調整手段(S47)を含む。
【０００８】
さらに好ましくは、複数の年齢のいずれか１つを指定する第２指定手段(S25~S27)をさらに備え、撮像条件調整手段は第２指定手段によって指定された年齢に対応する年齢を有する人物の顔画像を基準として撮像条件を調整する。
【０００９】
好ましくは、取り込み手段は被写界像を記録媒体から再生する再生手段(S181~187)を含み、調整手段は探索手段によって発見された顔画像毎にスムージング処理を施すスムージング処理手段(S197)を含む。
【００１０】
好ましくは、推定手段は、第１指定手段によって指定された顔画像の特徴および／または保持手段によって保持された複数の顔特徴の各々を検出手段によって検出された表情を参照して修正する顔特徴修正手段(S153)、および第１指定手段によって指定された顔画像の特徴に符合する顔特徴を保持手段によって保持された複数の顔特徴の中から検出する処理を顔特徴修正手段の修正処理の後に実行する顔特徴検出手段(S155~S163, S165~S171)を含む。
【００１１】
この発明に従う画像処理プログラムは、画像処理装置のプロセッサ(26)に、被写界像を取り込む取り込みステップ(16, S181~187)、取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ(S93~S123)、探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ(S137)、複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ(44)、第１指定ステップによって指定された顔画像の表情を検出する検出ステップ(S151)、第１指定ステップによって指定された顔画像に相当する人物の年齢を保持ステップによって保持された複数の顔特徴と検出ステップによって検出された表情とに基づいて推定する推定ステップ(S153~S163, S165~S171)、および取り込みステップによって取り込まれた被写界像の品質を推定ステップの推定結果を参照して調整する調整ステップ(S47, S197)を実行させるための、画像処理プログラムである。
【００１２】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、被写界像を取り込む取り込みステップ(16, S181~187)、取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ(S93~S123)、探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ(S137)、複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ(44)、第１指定ステップによって指定された顔画像の表情を検出する検出ステップ(S151)、第１指定ステップによって指定された顔画像に相当する人物の年齢を保持ステップによって保持された複数の顔特徴と検出ステップによって検出された表情とに基づいて推定する推定ステップ(S153~S163, S165~S171)、および取り込みステップによって取り込まれた被写界像の品質を推定ステップの推定結果を参照して調整する調整ステップ(S47, S197)を備える。
【００１３】
この発明に従う外部制御プログラムは、メモリに保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、被写界像を取り込む取り込みステップ(16, S181~187)、取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ(S93~S123)、探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ(S137)、複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ(44)、第１指定ステップによって指定された顔画像の表情を検出する検出ステップ(S151)、第１指定ステップによって指定された顔画像に相当する人物の年齢を保持ステップによって保持された複数の顔特徴と検出ステップによって検出された表情とに基づいて推定する推定ステップ(S153~S163, S165~S171)、および取り込みステップによって取り込まれた被写界像の品質を推定ステップの推定結果を参照して調整する調整ステップ(S47, S197)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１４】
この発明に従う画像処理装置(10)は、外部制御プログラムを受信する受信手段(50)、および受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)であって、外部制御プログラムは、被写界像を取り込む取り込みステップ(16, S181~187)、取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ(S93~S123)、探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ(S137)、複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ(44)、第１指定ステップによって指定された顔画像の表情を検出する検出ステップ(S151)、第１指定ステップによって指定された顔画像に相当する人物の年齢を保持ステップによって保持された複数の顔特徴と検出ステップによって検出された表情とに基づいて推定する推定ステップ(S153~S163, S165~S171)、および取り込みステップによって取り込まれた被写界像の品質を推定ステップの推定結果を参照して調整する調整ステップ(S47, S197)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１５】
この発明によれば、顔画像の年齢を推定するにあたって、複数の年齢にそれぞれ対応する複数の顔特徴に加えて、推定対象である顔画像の表情が参照される。こうして推定された年齢を参照して被写界像の品質を調整することで、被写界像の品質の向上が図られる。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図４】図２実施例に適用される年代指定レジスタの構成の一例を示す図解図である。
【図５】図２実施例に適用される標準顔辞書の構成の一例を示す図解図である。
【図６】図２実施例に適用される顔枠レジスタの構成の一例を示す図解図である。
【図７】年代指定タスクおよび再生タスクにおいて用いられる顔検出枠の一例を示す図解図である。
【図８】年代指定タスクおよび再生タスクにおける顔検出処理の一例を示す図解図である。
【図９】撮像モードにおいてモニタ画面に表示された被写界像の一例を示す図解図である。
【図１０】図２実施例に適用される認識顔レジスタの構成の一例を示す図解図である。
【図１１】図２実施例に適用される確定レジスタの構成の一例を示す図解図である。
【図１２】図２実施例に適用される年齢性別辞書の構成の一例を示す図解図である。
【図１３】（Ａ）は修正前の顔画像の一例を示す図解図であり、（Ｂ）は修正後の顔画像の一例を示す図解図である。
【図１４】図２実施例に適用されるフォーカスレジスタの構成の一例を示す図解図である。
【図１５】撮像モードにおいてモニタ画面に表示された被写界像の他の一例を示す図解図である。
【図１６】再生モードにおいてモニタ画面に表示された被写界像の一例を示す図解図である。
【図１７】（Ａ）は修正前の顔画像の他の一例を示す図解図であり、（Ｂ）は修正後の顔画像の他の一例を示す図解図である。
【図１８】再生モードにおいてモニタ画面に表示された被写界像の他の一例を示す図解図である。
【図１９】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２１】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２２】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２３】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２４】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２５】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２６】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２７】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２８】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２９】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図３０】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図３１】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図３２】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１９】
図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。取り込み手段１は、被写界像を取り込む。探索手段２は、取り込み手段１によって取り込まれた被写界像から１または２以上の顔画像を探索する。第１指定手段３は、探索手段２によって発見された１または２以上の顔画像の各々を指定する。保持手段４は、複数の年齢にそれぞれ対応する複数の顔特徴を保持する。検出手段５は、第１指定手段３によって指定された顔画像の表情を検出する。推定手段６は、第１指定手段３によって指定された顔画像に相当する人物の年齢を保持手段４によって保持された複数の顔特徴と検出手段５によって検出された表情とに基づいて推定する。調整手段７は、取り込み手段１によって取り込まれた被写界像の品質を推定手段６の推定結果を参照して調整する。
【００２０】
顔画像の年齢を推定するにあたって、複数の年齢にそれぞれ対応する複数の顔特徴に加えて、推定対象である顔画像の表情が参照される。こうして推定された年齢を参照して被写界像の品質を調整することで、被写界像の品質の向上が図られる。
［実施例］
【００２１】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００２２】
電源が投入されると、ＣＰＵ２６は、キー入力装置２８に設けられたモード切り換えスイッチ２８ｍｄの設定（つまり現時点の動作モード）をメインタスクの下で判別する。現時点の動作モードが撮像モードであれば、撮像タスクおよび年代指定タスクが起動される。現時点の動作モードが再生モードであれば、再生タスクが起動される。
【００２３】
撮像モードが選択されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２４】
前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。
【００２５】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の表示画像エリア３２ｂに書き込まれる。探索画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の探索画像エリア３２ｃに書き込まれる。
【００２６】
ＬＣＤドライバ３６は、表示画像エリア３２ｂに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２７】
図３を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００２８】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。
【００２９】
ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００３０】
シャッタボタン２８ｓｈが非操作状態のとき、ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を撮像タスクの下で実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、この結果、スルー画像の明るさが適度に調整される。
【００３１】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく厳格ＡＥ処理を撮像タスクの下で実行し、最適ＥＶ値を算出する。最適ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、この結果、スルー画像の明るさが適度に調整される。厳格ＡＥ処理が完了すると、ＣＰＵ２６は、後述する年代指定レジスタＲＧＳＴ１に何も登録されていない限り、撮像タスクの下で通常のＡＦ処理を実行する。ＡＦ処理はＡＦ評価回路２４の出力を参照した山登り方式で実行され、フォーカスレンズ１２は合焦点に設定される。これによって、スルー画像の鮮鋭度が向上する。
【００３２】
シャッタボタン２８ｓｈが全押しされると、静止画取り込み処理および記録処理が実行される。シャッタボタン２８ｓｈが全押しされた時点の１フレームの表示画像データは、静止画取り込み処理によって静止画エリア３２ｄに取り込まれる。取り込まれた１フレームの画像データは、記録処理に関連して起動したＩ／Ｆ４０によって静止画エリア３２ｄから読み出され、ファイル形式で記録媒体４２に記録される。
【００３３】
再生モードが選択されると、ＣＰＵ２６は、記録媒体４２に記録された最新の画像ファイルを指定し、指定画像ファイルに注目した再生処理の実行をＩ／Ｆ４０およびＬＣＤドライバ３６に命令する。
【００３４】
Ｉ／Ｆ４０は、指定された画像ファイルの画像データを記録媒体４２から読み出し、読み出された画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２の表示画像エリア３２ｂに書き込む。ＬＣＤドライバ３６は、表示画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データに対応する光学像を生成する。この結果、生成された光学像は、ＬＣＤモニタ３８に表示される。
【００３５】
操作者によるキー入力装置２８の操作によって、ＣＰＵ２６は、後続の画像ファイルまたは先行する画像ファイルを再生画像ファイルとして指定する。指定画像ファイルは上述と同様の再生処理を施され、この結果、ＬＣＤモニタ３８の表示が更新される。
【００３６】
ＣＰＵ２６はまた、簡易ＡＥ処理によるスルー画像の表示中に、キー入力装置２８を通じて操作者によって年代指定操作が行われると、指定された年代を図４に示す年代指定レジスタＲＧＳＴ１に撮像タスクの下で登録する。年代指定操作は、操作者の所望の年代に属する年齢を有する人物の顔位置を優先したＡＦ処理を実行するための、操作である。
【００３７】
ＣＰＵ２６は、撮像タスクと並列して実行される年代指定タスクの下で、探索画像エリア３２ｃに格納された探索画像データから人物の顔画像を探索して人物の年齢を推定するべく、年齢推定処理を実行する。年齢推定処理においては、ＣＰＵ２６は、処理速度を高めるために、探索画像エリア３２ｃに格納された探索画像データを水平３２０画素×垂直２４０画素（解像度：ＱＶＧＡ）のＱＶＧＡデータに変換する。そして、ＱＶＧＡデータから人物の顔画像を探索する。このような年齢推定処理のために、図５に示す標準顔辞書ＳＴＤＣと図６に示す顔検出枠レジスタＲＧＳＴ２と図７に示す複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…とが準備される。
【００３８】
顔検出枠ＦＤは、垂直同期信号Ｖｓｙｎｃが発生する毎に、ＱＶＧＡデータの画像上を評価エリアＥＶＡに対応してラスタ走査態様で移動する（図８参照）。顔検出枠ＦＤのサイズは、ラスタ走査が終了する毎に“２００”から“２０”まで“５”刻みで縮小される。
【００３９】
ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをＱＶＧＡデータから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、標準顔辞書ＳＴＤＣに登録された顔画像の特徴量と照合される。照合度が基準値ＲＥＦ１を上回ると、顔検出枠ＦＤから顔画像が発見されたとみなされ、変数ＣＮＴがインクリメントされる。さらに、現時点の顔検出枠ＦＤの位置およびサイズが、発見された顔画像を囲う顔検出枠の位置およびサイズとして、顔検出枠レジスタＲＧＳＴ２に登録される。
【００４０】
したがって、図９に示す被写界が捉えられたときは、人物Ｈ１，Ｈ２およびＨ３の顔画像が検出され、検出された顔画像を囲う顔検出枠ＦＤの位置およびサイズが顔検出枠レジスタＲＧＳＴ２に登録される。人物Ｈ１に対応する顔検出枠ＦＤの位置およびサイズは顔検出枠レジスタＲＧＳＴ２の１番目のカラムに記述され、人物Ｈ２に対応する顔検出枠ＦＤの位置およびサイズは顔検出枠レジスタＲＧＳＴ２の２番目のカラムに記述され、人物Ｈ３に対応する顔検出枠ＦＤの位置およびサイズは顔検出枠レジスタＲＧＳＴ２の３番目のカラムに記述される。人物Ｈ３に対応する顔検出枠ＦＤの位置およびサイズが記述された時点で、変数ＣＮＴは“３”を示す。
【００４１】
ＣＰＵ２６は続いて、顔検出枠レジスタＲＧＳＴ２に登録されたＣＮＴ個の顔検出枠を順に指定する。指定された顔検出枠に属する画像データは、以下の顔認識処理を施される。
【００４２】
顔認識処理に先立って、ＣＰＵ２６は、処理速度を高めるために、探索画像エリア３２ｃに格納された探索画像データを水平６４０画素×垂直４８０画素（解像度：ＶＧＡ）のＶＧＡデータに変換する。ＣＰＵ２６は次に、顔検出枠レジスタＲＧＳＴ２に登録された顔検出枠の位置およびサイズをＶＧＡデータ上におけるものに変換し、顔検出枠レジスタＲＧＳＴ２を書き換える。また、顔認識処理のために、図１０に示す認識顔レジスタＲＧＳＴ３，図１１に示す確定レジスタＲＧＳＴ４および図１２に示す年齢性別辞書ＡＳＤＣが準備される。
【００４３】
年齢性別辞書ＡＳＤＣにおいては、例えば０歳から８０歳までの各々の年齢における平均的な人物の顔画像の特徴量が、性別毎に収められる。なお、図１２では、人物の顔画像が割り当てられているが、実際には人物の顔画像の特徴量が割り当てられる。また、この実施例では人物の年齢の推定にあたって顔画像の笑顔度を参照するが、年齢性別辞書ＡＳＤＣに収められる各々の特徴量が示す顔画像の笑顔度は、すべて０である。
【００４４】
顔認識処理においてはまず、指定顔検出枠に属する画像データがＶＧＡデータから読み出され、読み出された画像データの笑顔度が算出される。指定顔検出枠に属する画像データの特徴量は、算出された笑顔度と年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度との相違が抑制ないし解消されるように、修正される。年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度は０であるので、指定顔検出枠に属する画像データの特徴量は、笑顔度が０となるように修正される。
【００４５】
図９に示す人物Ｈ１の顔画像の特徴量を修正する場合を例に挙げると、算出される笑顔度は例えば７０である。この笑顔度は年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度（＝０）と相違するので、人物Ｈ１の顔画像の特徴量は、笑顔度が０となるように修正される。この結果、人物Ｈ１の顔画像の表情は図１３（Ａ）から図１３（Ｂ）に変化する。
【００４６】
次に、変数Ｋが“１”〜“Ｋｍａｘ”の各々に設定され、修正された特徴量は、年齢性別辞書ＡＳＤＣのＫ番目のカラムに記述された特徴量と照合される。なお、“Ｋｍａｘ”は、年齢性別辞書ＡＳＤＣに収められた特徴量の総数に相当する。照合度が基準値ＲＥＦ２を上回れば、照合先の特徴量のカラム番号（＝Ｋ）と照合度とが図１０に示す認識顔レジスタＲＧＳＴ３に登録される。
【００４７】
少なくとも１つのカラム番号が認識顔レジスタＲＧＳＴ３に登録されていれば、最大照合度に対応する顔検出枠の位置およびサイズと最大照合度に対応するカラム番号が示す年齢性別辞書ＡＳＤＣのカラムに記述された年齢および性別とが、図１１に示す確定レジスタＲＧＳＴ４に登録される。確定レジスタＲＧＳＴ４に登録された年齢は、顔検出枠に属する顔画像の人物の年齢と推定される。
【００４８】
ＣＮＴ個の顔検出枠に属する画像データに対して顔認識処理が完了すると、ＣＰＵ２６は、確定レジスタＲＧＳＴ４に登録があるか否かを判別する。登録がある場合は、ＣＰＵ２６は、フラグＦＬＧ＿ＲＣＧに“１”を設定し、確定レジスタＲＧＳＴ４に登録された顔検出枠の位置およびサイズを探索画像データ上におけるものに変換して、確定レジスタＲＧＳＴ４を書き換える。一方、確定レジスタＲＧＳＴ４に何も登録されていなければ、フラグＦＬＧ＿ＲＣＧは“０”に設定される。
【００４９】
このようにして年齢推定処理が完了すると、フラグＦＬＧ＿ＲＣＧが“１”に設定されてかつ年代指定レジスタＲＧＳＴ１に指定年代が登録されている場合、ＣＰＵ２６は、年代指定タスクの下で、年代指定レジスタＲＧＳＴ１と確定レジスタＲＧＳＴ４との比較を行う。変数Ｍが“１”〜“Ｍｍａｘ”の各々に設定され、確定レジスタＲＧＳＴ４のＭ番目のカラムに記述された推定年齢と年代指定レジスタＲＧＳＴ１に登録された指定年代とが比較される。推定年齢が指定年代に含まれる場合は、確定レジスタＲＧＳＴ４のＭ番目のカラムに記述された顔検出枠の位置およびサイズが、図１４に示すフォーカスレジスタＲＧＳＴ５に登録される。なお、“Ｍｍａｘ”は、確定レジスタＲＧＳＴ４の登録年齢の総数に相当する。
【００５０】
シャッタボタンが半押しされて厳格ＡＥ処理が完了した時点で年代指定レジスタＲＧＳＴ１に指定年代が登録されている場合、ＣＰＵ２６は、撮像タスクの下で指定年代表示命令をグラフィックジェネレータ４６に与える。指定年代表示命令には、年代指定レジスタＲＧＳＴ１に登録された指定年代が記述される。指定年代表示命令が与えられたとき、グラフィックジェネレータ４６は、指定年代を表すグラフィックデータを作成し、作成されたグラフィックデータをＬＣＤドライバ３６に与える。この結果、年代指定レジスタＲＧＳＴ１に登録された指定年代が、図１５に示す要領で、モニタ画面の右下においてスルー画像とともに表示される。
【００５１】
指定年代表示命令の発行後、ＣＰＵ２６は、撮像タスクと並列して実行される年代指定タスクの完了を待つ。年代指定タスクの処理によって顔検出枠の位置およびサイズがフォーカスレジスタＲＧＳＴ５に登録された場合は、ＣＰＵ２６は、顔枠表示命令をグラフィックジェネレータ４６に向けて発行する。顔枠表示命令には、フォーカスレジスタＲＧＳＴ５に登録された顔検出枠の位置およびサイズが記述される。フォーカスレジスタＲＧＳＴ５に登録がない場合、つまり、年齢推定処理で推定された年齢が年代指定操作で指定された年代にいずれも含まれない場合は、顔枠表示命令は非発行とされる。
【００５２】
顔枠表示命令が与えられたとき、グラフィックジェネレータ４６は、顔枠ＫＦを表すグラフィックデータを作成し、作成されたグラフィックデータをＬＣＤドライバ３６に与える。グラフィックデータは、顔枠表示命令に記述された位置およびサイズを参照して作成される。この結果、年代指定操作で指定された年代に属する推定年齢を有する人物の顔画像を囲うように、顔枠ＫＦが表示される。
【００５３】
図９に示す例において、例えば人物Ｈ１，Ｈ２およびＨ３が２０歳，６０歳および４０歳と各々推定され、年代指定操作において“６０歳代”が指定された場合は、人物Ｈ２の顔画像を囲うように顔枠ＫＦが表示される（図１５参照）。ＣＰＵ２６は次に、人物Ｈ２の顔位置を優先したＡＦ処理を実行する。この結果、人物Ｈ２の顔画像の鮮鋭度が向上する。なお、顔枠表示命令が非発行とされたときは、通常のＡＦ処理が実行される。シャッタボタン２８ｓｈが全押しされた後の処理は、上述の通りである。
【００５４】
再生モードが選択されている場合において、キー入力装置２８を通じて美肌処理操作がなされると、再生中の画像ファイルの画像データがＳＤＲＡＭ３２の探索画像エリア３２ｃに書き込まれる。ＣＰＵ２６は次に、再生タスクの下で、年齢推定処理を実行する。なお、ここで実行される処理は、撮像タスクの下で実行される年齢推定処理と同様である。
【００５５】
したがって、図１６に示す再生画像Ｐ＿ｂｆｒに対して美肌処理操作がなされたときは、人物Ｈ４およびＨ５の顔画像が検出され、検出された顔画像を囲う顔検出枠ＦＤの位置およびサイズが顔検出枠レジスタＲＧＳＴ２に登録される。顔検出枠レジスタＲＧＳＴ２に登録された顔検出枠は順に指定され、各々について顔認識処理が施される。
【００５６】
図１６に示す人物Ｈ５の顔画像を例に挙げると、算出される笑顔度は例えば６０であり、人物Ｈ５の顔画像の特徴量は、笑顔度が０となるように修正される。この結果、人物Ｈ５の顔画像の表情は図１７（Ａ）から図１７（Ｂ）に変化する。
【００５７】
修正された特徴量は、年齢性別辞書ＡＳＤＣに収められた各々の特徴量と照合され、照合度が基準値ＲＥＦ２を上回る毎に、照合先の特徴量のカラム番号と照合度とが認識顔レジスタＲＧＳＴ３に登録される。照合が完了すると、最大照合度に対応する顔検出枠の位置およびサイズと最大照合度に対応するカラム番号が示す年齢性別辞書ＡＳＤＣのカラムに記述された年齢および性別とが、確定レジスタＲＧＳＴ４に登録される。
【００５８】
確定レジスタＲＧＳＴ４に登録された顔検出枠の位置およびサイズが探索画像データ上におけるものに変換されて年齢推定処理が完了すると、ＣＰＵ２６は、美肌処理を実行する。美肌処理は、確定レジスタＲＧＳＴ４に登録された顔検出枠に属する画像に対して、確定レジスタＲＧＳＴ４に登録された年齢または性別に基づいて、実行される。美肌処理においては、例えば、推定された年齢が高いほど補正の度合いを強める。また、女性の顔画像に対しては、男性に比べて補正の度合いを強め、肌色を明るく修正するなどの美白処理をも行う。
【００５９】
図１６の例において人物Ｈ４およびＨ５の顔画像が検出された場合は、各々の顔画像について、年齢推定がなされた上で美肌処理が施され、図１８に示す画像Ｐ＿ａｆｔが生成される。
【００６０】
ＣＰＵ２６は、図１９に示すメインタスク，図２０〜図２１に示す撮像タスク，図２２〜図２３に示す年代指定タスク，および図３０〜図３１に示す再生タスクを含む複数のタスクを実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００６１】
図１９を参照して、ステップＳ１では現時点の動作モードが撮像モードであるか否かを判別し、ステップＳ３では現時点の動作モードが再生モードであるか否かを判別する。ステップＳ１でＹＥＳであればステップＳ５で撮像タスクを起動し、ステップＳ３でＹＥＳであればステップＳ７で再生タスクを起動する。ステップＳ１およびＳ３のいずれもＮＯであればステップＳ９でその他の処理を実行する。ステップＳ５，Ｓ７またはＳ９の処理が完了すると、モード切り換え操作が行われたか否かをステップＳ１１で繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、起動中のタスクをステップＳ１３で停止し、その後にステップＳ１に戻る。
【００６２】
図２０を参照して、ステップＳ２１では動画取り込み処理を実行する。この結果、被写界を表すスルー画像がＬＣＤモニタ３８に表示され、探索画像データが探索画像エリア３２ｃに繰り返し書き込まれる。ステップＳ２３では年代指定タスクを起動し、ステップＳ２５ではキー入力装置２８を通じて操作者によって年代指定操作が行われたか否かを判別する。判別結果がＮＯであればステップＳ２９に進む一方、判別結果がＹＥＳであれば指定された年代をステップＳ２７で年代指定レジスタＲＧＳＴ１に登録する。
【００６３】
ステップＳ２９では、シャッタボタン２８ｓｈが半押しされたか否かを判別する。判別結果がＮＯであればステップＳ３１で簡易ＡＥ処理を実行する。スルー画像の明るさは、簡易ＡＥ処理によって適度に調整される。
【００６４】
フラグＦＬＧ＿ＦＩＮは、起動された年代指定タスクの下で“０”に初期設定され、年代指定タスクの処理が完了するときに、“１”に更新される。ステップＳ３３ではこのようなフラグＦＬＧ＿ＦＩＮが“１”に更新されたか否かを繰り返し判別し、判別結果がＮＯである限り、ステップＳ３１で簡易ＡＥ処理を繰り返し実行する。ステップＳ３３の判別結果がＮＯからＹＥＳに更新されるとステップＳ２３に戻る。
【００６５】
ステップＳ２９の判別結果がＹＥＳであればステップＳ３５で厳格ＡＥ処理を実行する。スルー画像の明るさは、厳格ＡＥ処理によって最適値に調整される。ステップＳ３７では年代指定レジスタＲＧＳＴ１に指定年代が登録されているか否かを判別し、判別結果がＹＥＳであればステップＳ３９に進み、指定年代表示命令がグラフィックジェネレータ４６に向けて発行される。指定年代表示命令には、年代指定レジスタＲＧＳＴ１に登録された指定年代が記述される。この結果、年代指定レジスタＲＧＳＴ１に登録された指定年代が、モニタ画面の右下においてスルー画像とともに表示される。
【００６６】
ステップＳ４１ではフラグＦＬＧ＿ＦＩＮが“１”を示すか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、フォーカスレジスタＲＧＳＴ５に顔検出枠の位置およびサイズが登録されているか否かをステップＳ４３で判別する。ステップＳ４５では顔枠表示命令がグラフィックジェネレータ４６に向けて発行される。顔枠表示命令には、フォーカスレジスタＲＧＳＴ５に登録された顔検出枠の位置およびサイズが記述される。この結果、年代指定操作で指定された年代に属する推定年齢を有する人物の顔画像を囲うように、顔枠ＫＦが表示される。
【００６７】
ステップＳ４７では、顔枠ＫＦが囲う顔位置を優先したＡＦ処理を実行する。この結果、顔枠ＫＦに囲まれた顔画像の鮮鋭度が向上する。ステップＳ３７またはステップＳ４３の判別結果がＮＯであればステップＳ４９に進み、通常のＡＦ処理を実行する。フォーカスレンズ１２は、ＡＦ処理によって合焦点に配置される。
【００６８】
ステップＳ４７またはステップＳ４９の処理が完了すると、ステップＳ５１でシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ５３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ５１でＹＥＳであれば、ステップＳ５５で静止画取り込み処理を実行し、ステップＳ５７で記録処理を実行する。ステップＳ５３の判別結果がＹＥＳの場合はステップＳ５９に進む。ステップＳ５５の処理の結果、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの画像データが静止画エリア３２ｄに取り込まれる。また、ステップＳ５７の処理の結果、静止画像エリア３２ｄに取り込まれた画像データがファイル形式で記録媒体４２に記録される。
【００６９】
指定年代または顔枠ＫＦが表示されていた場合は、ステップＳ５９で指定年代非表示命令または顔枠非表示命令をグラフィックジェネレータ４６に与え、この結果、指定年代または顔枠ＫＦの表示が中止される。その後にステップＳ２３に戻る。
【００７０】
図２２を参照して、ステップＳ６１ではフラグＦＬＧ＿ＦＩＮに“０”を設定し、ステップＳ６３ではフォーカスレジスタＲＧＳＴ５をクリアする。ステップＳ６５では年齢推定処理を実行し、ステップＳ６７ではフラグＦＬＧ＿ＲＣＧが“１”を示すか否かを判別する。判別結果がＮＯであれば、ステップＳ６９でフラグＦＬＧ＿ＦＩＮに“１”を設定し、その後に処理を終了する。判別結果がＹＥＳであれば、年代指定レジスタＲＧＳＴ１に指定年代が登録されているか否かをステップＳ７１で判別する。ステップＳ７１の判別結果がＮＯであればステップＳ６９に進み、判別結果がＹＥＳであればステップＳ７３で変数Ｍを“１”に設定する。
【００７１】
ステップＳ７５では、変数Ｍが最大値Ｍｍａｘ（＝確定レジスタＲＧＳＴ４の登録年齢の総数）を上回るか否かを判別し、判別結果がＹＥＳであればステップＳ６９に進み、判別結果がＮＯであればステップＳ７７に進む。ステップＳ７７では、確定レジスタＲＧＳＴ４のＭ番目のカラムに記述された推定年齢と年代指定レジスタＲＧＳＴ１に登録された指定年代とを比較する。ステップＳ７９では、ステップＳ７７の比較の結果、確定レジスタＲＧＳＴ４のＭ番目のカラムに記述された推定年齢が年代指定レジスタＲＧＳＴ１に登録された指定年代に含まれるか否かを判別する。判別結果がＮＯであればステップＳ８３に進む一方、判別結果がＹＥＳであれば、確定レジスタＲＧＳＴ４のＭ番目のカラムに記述された顔検出枠の位置およびサイズをステップＳ８１でフォーカスレジスタＲＧＳＴ５に登録する。ステップＳ８３では変数Ｍをインクリメントし、その後にステップＳ７５に戻る。
【００７２】
図２２のステップＳ６５および図３１のステップＳ１９３の年齢推定処理は、図２４〜図２７に示すサブルーチンに従って実行される。まず、探索画像エリア３２ｃに格納された探索画像データをステップＳ９１でＱＶＧＡデータに変換し、ステップＳ９３では評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ９５では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＳＺｍａｘを“２００”に設定し、最小サイズＳＺｍｉｎを“２０”に設定する。可変範囲の定義が完了すると、ステップＳ９７で変数ＣＮＴを“０”に設定し、ステップＳ９９で顔検出枠ＦＤのサイズを“ＳＺｍａｘ”に設定する。
【００７３】
ステップＳ１０１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ１０３で顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１０５では顔検出枠ＦＤに属する一部のＱＶＧＡデータを読み出し、読み出されたＱＶＧＡデータの特徴量を算出する。
【００７４】
ステップＳ１０７では算出された特徴量を標準顔辞書ＳＴＤＣに収められた顔画像の特徴量と照合し、ステップＳ１０９では照合度が基準値ＲＥＦ１を上回るか否かを判別する。判別結果がＮＯであればそのままステップＳ１１５に進み、判別結果がＹＥＳであればステップＳ１１１およびステップＳ１１３を経てステップＳ１１５に進む。ステップＳ１１１では、変数ＣＮＴをインクリメントする。ステップＳ１１３では、現時点の顔検出枠ＦＤの位置およびサイズを、顔検出枠レジスタＲＧＳＴ２に登録する。
【００７５】
ステップＳ１１５では、顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別する。判別結果がＮＯであれば、ステップＳ１１７で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ１０５に戻る。判別結果がＹＥＳであれば、ステップＳ１１９で顔検出枠ＦＤのサイズを“５”だけ縮小させ、顔検出枠ＦＤのサイズが“ＳＺｍｉｎ”未満であるか否かをステップＳ１２１で判別する。ステップＳ１２１の判別結果がＮＯであれば、ステップＳ１２３で顔検出枠ＦＤを探索エリアの左上位置に配置し、その後にステップＳ１０５に戻る。ステップＳ１２１の判別結果がＹＥＳであれば、ステップＳ１２５に進む。
【００７６】
ステップＳ１２５では変数ＣＮＴが“０”に設定されているか否かを判別し、判別結果がＮＯであれば、探索画像エリア３２ｃに格納された探索画像データをステップＳ１２７でＶＧＡデータに変換する。判別結果がＹＥＳであれば上階層のルーチンに復帰する。ステップＳ１２９では顔検出枠レジスタＲＧＳＴ２に登録された顔検出枠の位置およびサイズをＶＧＡデータ上におけるものに変換し、顔検出枠レジスタＲＧＳＴ２を書き換える。
【００７７】
ステップＳ１３１では確定レジスタＲＧＳＴ４の登録内容をクリアし、ステップＳ１３３では変数Ｎを“１”に設定する。ステップＳ１３５では変数Ｎが変数ＣＮＴを上回るか否かを判別し、判別結果がＮＯであればステップＳ１３７に進み、顔検出枠レジスタＲＧＳＴ２のＮ番目のカラムに設定された顔検出枠を指定する。ステップＳ１３９では、指定された顔検出枠に属する画像データに注目した顔認識処理を実行する。顔認識処理が完了すると、ステップＳ１４１で変数Ｎをインクリメントし、その後にステップＳ１３５に戻る。
【００７８】
ステップＳ１３５の判別結果がＹＥＳであれば、確定レジスタＲＧＳＴ４に登録があるか否かをステップＳ１４３で判別する。ステップＳ１４３の判別結果がＹＥＳであれば、ステップＳ１４５でフラグＦＬＧ＿ＲＣＧを“１”に設定し、ステップＳ１４７では確定レジスタＲＧＳＴ４に登録された顔検出枠の位置およびサイズを探索画像データ上におけるものに変換して、確定レジスタＲＧＳＴ４を書き換える。ステップＳ１４３の判別結果がＮＯであればステップＳ１４９でフラグＦＬＧ＿ＲＣＧを“０”に設定する。ステップＳ１４７またはステップＳ１４９の処理が完了すると、上階層のルーチンに復帰する。
【００７９】
ステップＳ１３９の顔認識処理は、図２８〜図２９に示すサブルーチンに従って実行される。まず、指定された顔枠に属する画像データの笑顔度をステップＳ１５１で算出し、算出された笑顔度が年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度との相違が抑制ないし解消されるように、ステップＳ１５３で指定顔検出枠に属する画像データの特徴量を修正する。年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度は０であるので、指定顔検出枠に属する画像データの特徴量は、その笑顔度が０となるように修正される。
【００８０】
ステップＳ１５５では認識顔レジスタＲＧＳＴ３をクリアし、変数ＫをステップＳ１５７で“１”に設定する。ステップＳ１５９では、変数Ｋが最大値Ｋｍａｘ（＝年齢性別辞書ＡＳＤＣに収められた特徴量の総数）を上回るか否かを判別する。判別結果がＮＯであればステップＳ１６５に進み、修正された特徴量を、年齢性別辞書ＡＳＤＣのＫ番目のカラムに記述された特徴量と照合する。
【００８１】
ステップＳ１６７では照合度が基準値ＲＥＦ２を上回るか否かを判別する。判別結果がＹＥＳであればステップＳ１６９に進み、照合先の特徴量のカラム番号（＝Ｋ）と照合度とを認識顔レジスタＲＧＳＴ３に登録する。登録が完了すると、ステップＳ１７１で変数Ｋをインクリメントし、その後にステップＳ１５９に戻る。ステップＳ１６７の判別結果がＮＯであれば、ステップＳ１７１の処理を経てステップＳ１５９に戻る。
【００８２】
ステップＳ１５９の判別結果がＹＥＳであれば、少なくとも１つのカラム番号が認識顔レジスタＲＧＳＴ３に設定されているか否かをステップＳ１６１で判別する。ステップＳ１６１の判別結果がＹＥＳであれば、最大照合度に対応する顔検出枠の位置およびサイズと最大照合度に対応するカラム番号が示す年齢性別辞書ＡＳＤＣのカラムに記述された年齢および性別とを、ステップＳ１６３で確定レジスタＲＧＳＴ４に登録する。ステップＳ１６１の判別結果がＮＯであるかまたはステップＳ１６３の処理が完了すると、上階層のルーチンに復帰する。
【００８３】
図３０を参照して、ステップＳ１８１では変数Ｐに最新の画像ファイルを示す番号を設定し、ステップＳ１８３では記録媒体４２に記録されているＰ番目のフレームの画像ファイルを再生する。
【００８４】
ステップＳ１８５では操作者による再生ファイルを更新する操作があったか否かを判別し、判別結果がＹＥＳであれば、ステップＳ１８７で変数Ｐをインクリメントまたはデクリメントして、ステップＳ１８３に戻る。判別結果がＮＯであれば、ステップＳ１８９で操作者による美肌処理操作があったか否かを判別し、判別結果がＮＯであればステップＳ１８５に戻る一方、判別結果がＹＥＳであればステップＳ１９１に進む。
【００８５】
ステップＳ１９１では再生中の画像ファイルの画像データがＳＤＲＡＭ３２の探索画像エリア３２ｃに書き込まれ、ステップＳ１９３で年齢推定処理を実行する。ステップＳ１９５ではフラグＦＬＧ＿ＲＣＧが“１”であるか否かを判別し、判別結果がＮＯであればステップＳ１８５に戻る一方、判別結果がＹＥＳであれば、ステップＳ１９７に進む。ステップＳ１９７では、確定レジスタＲＧＳＴ４に登録された顔検出枠に属する画像に対して、確定レジスタＲＧＳＴ４に登録された年齢または性別に基づいて、美肌処理を実行する。美肌処理の完了後、ステップＳ１８５に戻る。
【００８６】
以上の説明から分かるように、ＣＰＵ２６は、被写界像を取り込み(16, S181~187)、取り込まれた被写界像から１または２以上の顔画像を探索し(S93~S123)、発見された１または２以上の顔画像の各々を指定する (S137)。ＣＰＵ２６はまた、複数の年齢にそれぞれ対応する複数の顔特徴を保持し(44)、指定された顔画像の表情を検出する。ＣＰＵ２６はまた、指定された顔画像に相当する人物の年齢を保持された複数の顔特徴と検出された表情とに基づいて推定し(S153~S163, S165~S171)、取り込まれた被写界像の品質を推定結果を参照して調整する(S47, S197)。
【００８７】
顔画像の年齢を推定するにあたって、複数の年齢にそれぞれ対応する複数の顔特徴に加えて、推定対象である顔画像の表情が参照される。こうして推定された年齢を参照して被写界像の品質を調整することで、被写界像の品質の向上が図られる。
【００８８】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ５０を図３２に示す要領でディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００８９】
また、この実施例では、ＣＰＵ２６によって実行される処理を、図１９に示すメインタスク，図２０〜図２１に示す撮像タスク，図２２〜図２３に示す年代指定タスク，および図３０〜図３１に示す再生タスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部をメインタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【００９０】
また、この実施例では、ステップＳ１５１で算出された笑顔度と年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度との相違を抑制ないし解消するために、指定顔検出枠に属する顔画像の特徴量を修正するようにしている。しかし、指定顔検出枠に属する顔画像の特徴量に代えて、或いは指定顔検出枠に属する顔画像の特徴量とともに、年齢性別辞書ＡＳＤＣに収められるＫ番目の特徴量を修正するようにしてもよい。また、修正する対象を特徴量ではなく指定顔検出枠に属する顔画像とし、修正された顔画像の特徴量を検出するようにしてもよい。
【００９１】
また、この実施例では、男性の年齢毎の平均的な顔画像の特徴量と女性の年齢毎の平均的な顔画像の特徴量とを一つに収めた年齢性別辞書ＡＳＤＣを用いた。しかし、男性の平均的な顔画像の特徴量と女性の平均的な顔画像の特徴量とを収めた性別辞書を用いて、年齢推定の前に、修正後の特徴量と性別辞書の特徴量とを照合して性別を判定するようにしてもよい。この場合、年齢性別辞書ＡＳＤＣとの照合においては、判定された性別の特徴量のみと照合すればよい。
【符号の説明】
【００９２】
１０ …ディジタルカメラ
１６ …イメージャ
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
２８ …キー入力装置
３２ …ＳＤＲＡＭ
４４ …フラッシュメモリ
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に、被写界像に現れた人物の年齢を推定する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、画像入力装置によって撮影された測定対象者の顔の画像に対して画像処理を行い測定対象者の年齢の推定を行う年齢推定装置において、測定対象者の顔の画像が撮影されて、取得された顔の画像からそれぞれ異なる複数の特徴量が抽出される。抽出されたそれぞれ異なる複数の特徴量に基づき、複数の年齢推定手段によって、年齢が推定される。これら複数の年齢推定手段で推定された複数の年齢の分布に基づき、推定年齢が決定される。決定された推定年齢は、表示手段によって表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３１８６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、顔画像から抽出された特徴量に基づき年齢を推定するにあたって、顔の表情が参照されることはない。このため、推定された年齢を参照して被写界像の品質を調整する場合、被写界から検出された顔の表情によっては、被写界像の品質が低下するおそれがある。
【０００５】
それゆえに、この発明の主たる目的は、被写界像の品質を向上させることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、被写界像を取り込む取り込み手段(16, S181~187)、取り込み手段によって取り込まれた被写界像から１または２以上の顔画像を探索する探索手段(S93~S123)、探索手段によって発見された１または２以上の顔画像の各々を指定する第１指定手段(S137)、複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持手段(44)、第１指定手段によって指定された顔画像の表情を検出する検出手段(S151)、第１指定手段によって指定された顔画像に相当する人物の年齢を保持手段によって保持された複数の顔特徴と検出手段によって検出された表情とに基づいて推定する推定手段(S153~S163, S165~S171)、および取り込み手段によって取り込まれた被写界像の品質を推定手段の推定結果を参照して調整する調整手段(S47, S197)を備える。
【０００７】
好ましくは、取り込み手段は被写界を捉える撮像面を有して被写界像を出力する撮像手段(16)を含み、調整手段は撮像条件を調整する撮像条件調整手段(S47)を含む。
【０００８】
さらに好ましくは、複数の年齢のいずれか１つを指定する第２指定手段(S25~S27)をさらに備え、撮像条件調整手段は第２指定手段によって指定された年齢に対応する年齢を有する人物の顔画像を基準として撮像条件を調整する。
【０００９】
好ましくは、取り込み手段は被写界像を記録媒体から再生する再生手段(S181~187)を含み、調整手段は探索手段によって発見された顔画像毎にスムージング処理を施すスムージング処理手段(S197)を含む。
【００１０】
好ましくは、推定手段は、第１指定手段によって指定された顔画像の特徴および／または保持手段によって保持された複数の顔特徴の各々を検出手段によって検出された表情を参照して修正する顔特徴修正手段(S153)、および第１指定手段によって指定された顔画像の特徴に符合する顔特徴を保持手段によって保持された複数の顔特徴の中から検出する処理を顔特徴修正手段の修正処理の後に実行する顔特徴検出手段(S155~S163, S165~S171)を含む。
【００１１】
この発明に従う画像処理プログラムは、画像処理装置のプロセッサ(26)に、被写界像を取り込む取り込みステップ(16, S181~187)、取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ(S93~S123)、探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ(S137)、複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ(44)、第１指定ステップによって指定された顔画像の表情を検出する検出ステップ(S151)、第１指定ステップによって指定された顔画像に相当する人物の年齢を保持ステップによって保持された複数の顔特徴と検出ステップによって検出された表情とに基づいて推定する推定ステップ(S153~S163, S165~S171)、および取り込みステップによって取り込まれた被写界像の品質を推定ステップの推定結果を参照して調整する調整ステップ(S47, S197)を実行させるための、画像処理プログラムである。
【００１２】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、被写界像を取り込む取り込みステップ(16, S181~187)、取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ(S93~S123)、探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ(S137)、複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ(44)、第１指定ステップによって指定された顔画像の表情を検出する検出ステップ(S151)、第１指定ステップによって指定された顔画像に相当する人物の年齢を保持ステップによって保持された複数の顔特徴と検出ステップによって検出された表情とに基づいて推定する推定ステップ(S153~S163, S165~S171)、および取り込みステップによって取り込まれた被写界像の品質を推定ステップの推定結果を参照して調整する調整ステップ(S47, S197)を備える。
【００１３】
この発明に従う外部制御プログラムは、メモリに保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)に供給される外部制御プログラムであって、被写界像を取り込む取り込みステップ(16, S181~187)、取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ(S93~S123)、探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ(S137)、複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ(44)、第１指定ステップによって指定された顔画像の表情を検出する検出ステップ(S151)、第１指定ステップによって指定された顔画像に相当する人物の年齢を保持ステップによって保持された複数の顔特徴と検出ステップによって検出された表情とに基づいて推定する推定ステップ(S153~S163, S165~S171)、および取り込みステップによって取り込まれた被写界像の品質を推定ステップの推定結果を参照して調整する調整ステップ(S47, S197)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１４】
この発明に従う画像処理装置(10)は、外部制御プログラムを受信する受信手段(50)、および受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)であって、外部制御プログラムは、被写界像を取り込む取り込みステップ(16, S181~187)、取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ(S93~S123)、探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ(S137)、複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ(44)、第１指定ステップによって指定された顔画像の表情を検出する検出ステップ(S151)、第１指定ステップによって指定された顔画像に相当する人物の年齢を保持ステップによって保持された複数の顔特徴と検出ステップによって検出された表情とに基づいて推定する推定ステップ(S153~S163, S165~S171)、および取り込みステップによって取り込まれた被写界像の品質を推定ステップの推定結果を参照して調整する調整ステップ(S47, S197)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１５】
この発明によれば、顔画像の年齢を推定するにあたって、複数の年齢にそれぞれ対応する複数の顔特徴に加えて、推定対象である顔画像の表情が参照される。こうして推定された年齢を参照して被写界像の品質を調整することで、被写界像の品質の向上が図られる。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１７】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図４】図２実施例に適用される年代指定レジスタの構成の一例を示す図解図である。
【図５】図２実施例に適用される標準顔辞書の構成の一例を示す図解図である。
【図６】図２実施例に適用される顔枠レジスタの構成の一例を示す図解図である。
【図７】年代指定タスクおよび再生タスクにおいて用いられる顔検出枠の一例を示す図解図である。
【図８】年代指定タスクおよび再生タスクにおける顔検出処理の一例を示す図解図である。
【図９】撮像モードにおいてモニタ画面に表示された被写界像の一例を示す図解図である。
【図１０】図２実施例に適用される認識顔レジスタの構成の一例を示す図解図である。
【図１１】図２実施例に適用される確定レジスタの構成の一例を示す図解図である。
【図１２】図２実施例に適用される年齢性別辞書の構成の一例を示す図解図である。
【図１３】（Ａ）は修正前の顔画像の一例を示す図解図であり、（Ｂ）は修正後の顔画像の一例を示す図解図である。
【図１４】図２実施例に適用されるフォーカスレジスタの構成の一例を示す図解図である。
【図１５】撮像モードにおいてモニタ画面に表示された被写界像の他の一例を示す図解図である。
【図１６】再生モードにおいてモニタ画面に表示された被写界像の一例を示す図解図である。
【図１７】（Ａ）は修正前の顔画像の他の一例を示す図解図であり、（Ｂ）は修正後の顔画像の他の一例を示す図解図である。
【図１８】再生モードにおいてモニタ画面に表示された被写界像の他の一例を示す図解図である。
【図１９】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２１】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２２】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２３】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２４】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２５】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２６】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２７】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２８】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２９】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図３０】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図３１】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図３２】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００１９】
図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。取り込み手段１は、被写界像を取り込む。探索手段２は、取り込み手段１によって取り込まれた被写界像から１または２以上の顔画像を探索する。第１指定手段３は、探索手段２によって発見された１または２以上の顔画像の各々を指定する。保持手段４は、複数の年齢にそれぞれ対応する複数の顔特徴を保持する。検出手段５は、第１指定手段３によって指定された顔画像の表情を検出する。推定手段６は、第１指定手段３によって指定された顔画像に相当する人物の年齢を保持手段４によって保持された複数の顔特徴と検出手段５によって検出された表情とに基づいて推定する。調整手段７は、取り込み手段１によって取り込まれた被写界像の品質を推定手段６の推定結果を参照して調整する。
【００２０】
顔画像の年齢を推定するにあたって、複数の年齢にそれぞれ対応する複数の顔特徴に加えて、推定対象である顔画像の表情が参照される。こうして推定された年齢を参照して被写界像の品質を調整することで、被写界像の品質の向上が図られる。
［実施例］
【００２１】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００２２】
電源が投入されると、ＣＰＵ２６は、キー入力装置２８に設けられたモード切り換えスイッチ２８ｍｄの設定（つまり現時点の動作モード）をメインタスクの下で判別する。現時点の動作モードが撮像モードであれば、撮像タスクおよび年代指定タスクが起動される。現時点の動作モードが再生モードであれば、再生タスクが起動される。
【００２３】
撮像モードが選択されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２４】
前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。
【００２５】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の表示画像エリア３２ｂに書き込まれる。探索画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の探索画像エリア３２ｃに書き込まれる。
【００２６】
ＬＣＤドライバ３６は、表示画像エリア３２ｂに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２７】
図３を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００２８】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。
【００２９】
ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００３０】
シャッタボタン２８ｓｈが非操作状態のとき、ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく簡易ＡＥ処理を撮像タスクの下で実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、この結果、スルー画像の明るさが適度に調整される。
【００３１】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価回路２２からの出力に基づく厳格ＡＥ処理を撮像タスクの下で実行し、最適ＥＶ値を算出する。最適ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃにそれぞれ設定され、この結果、スルー画像の明るさが適度に調整される。厳格ＡＥ処理が完了すると、ＣＰＵ２６は、後述する年代指定レジスタＲＧＳＴ１に何も登録されていない限り、撮像タスクの下で通常のＡＦ処理を実行する。ＡＦ処理はＡＦ評価回路２４の出力を参照した山登り方式で実行され、フォーカスレンズ１２は合焦点に設定される。これによって、スルー画像の鮮鋭度が向上する。
【００３２】
シャッタボタン２８ｓｈが全押しされると、静止画取り込み処理および記録処理が実行される。シャッタボタン２８ｓｈが全押しされた時点の１フレームの表示画像データは、静止画取り込み処理によって静止画エリア３２ｄに取り込まれる。取り込まれた１フレームの画像データは、記録処理に関連して起動したＩ／Ｆ４０によって静止画エリア３２ｄから読み出され、ファイル形式で記録媒体４２に記録される。
【００３３】
再生モードが選択されると、ＣＰＵ２６は、記録媒体４２に記録された最新の画像ファイルを指定し、指定画像ファイルに注目した再生処理の実行をＩ／Ｆ４０およびＬＣＤドライバ３６に命令する。
【００３４】
Ｉ／Ｆ４０は、指定された画像ファイルの画像データを記録媒体４２から読み出し、読み出された画像データをメモリ制御回路３０を通してＳＤＲＡＭ３２の表示画像エリア３２ｂに書き込む。ＬＣＤドライバ３６は、表示画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データに対応する光学像を生成する。この結果、生成された光学像は、ＬＣＤモニタ３８に表示される。
【００３５】
操作者によるキー入力装置２８の操作によって、ＣＰＵ２６は、後続の画像ファイルまたは先行する画像ファイルを再生画像ファイルとして指定する。指定画像ファイルは上述と同様の再生処理を施され、この結果、ＬＣＤモニタ３８の表示が更新される。
【００３６】
ＣＰＵ２６はまた、簡易ＡＥ処理によるスルー画像の表示中に、キー入力装置２８を通じて操作者によって年代指定操作が行われると、指定された年代を図４に示す年代指定レジスタＲＧＳＴ１に撮像タスクの下で登録する。年代指定操作は、操作者の所望の年代に属する年齢を有する人物の顔位置を優先したＡＦ処理を実行するための、操作である。
【００３７】
ＣＰＵ２６は、撮像タスクと並列して実行される年代指定タスクの下で、探索画像エリア３２ｃに格納された探索画像データから人物の顔画像を探索して人物の年齢を推定するべく、年齢推定処理を実行する。年齢推定処理においては、ＣＰＵ２６は、処理速度を高めるために、探索画像エリア３２ｃに格納された探索画像データを水平３２０画素×垂直２４０画素（解像度：ＱＶＧＡ）のＱＶＧＡデータに変換する。そして、ＱＶＧＡデータから人物の顔画像を探索する。このような年齢推定処理のために、図５に示す標準顔辞書ＳＴＤＣと図６に示す顔検出枠レジスタＲＧＳＴ２と図７に示す複数の顔検出枠ＦＤ，ＦＤ，ＦＤ，…とが準備される。
【００３８】
顔検出枠ＦＤは、垂直同期信号Ｖｓｙｎｃが発生する毎に、ＱＶＧＡデータの画像上を評価エリアＥＶＡに対応してラスタ走査態様で移動する（図８参照）。顔検出枠ＦＤのサイズは、ラスタ走査が終了する毎に“２００”から“２０”まで“５”刻みで縮小される。
【００３９】
ＣＰＵ２６は、顔検出枠ＦＤに属する画像データをＱＶＧＡデータから読み出し、読み出された画像データの特徴量を算出する。算出された特徴量は、標準顔辞書ＳＴＤＣに登録された顔画像の特徴量と照合される。照合度が基準値ＲＥＦ１を上回ると、顔検出枠ＦＤから顔画像が発見されたとみなされ、変数ＣＮＴがインクリメントされる。さらに、現時点の顔検出枠ＦＤの位置およびサイズが、発見された顔画像を囲う顔検出枠の位置およびサイズとして、顔検出枠レジスタＲＧＳＴ２に登録される。
【００４０】
したがって、図９に示す被写界が捉えられたときは、人物Ｈ１，Ｈ２およびＨ３の顔画像が検出され、検出された顔画像を囲う顔検出枠ＦＤの位置およびサイズが顔検出枠レジスタＲＧＳＴ２に登録される。人物Ｈ１に対応する顔検出枠ＦＤの位置およびサイズは顔検出枠レジスタＲＧＳＴ２の１番目のカラムに記述され、人物Ｈ２に対応する顔検出枠ＦＤの位置およびサイズは顔検出枠レジスタＲＧＳＴ２の２番目のカラムに記述され、人物Ｈ３に対応する顔検出枠ＦＤの位置およびサイズは顔検出枠レジスタＲＧＳＴ２の３番目のカラムに記述される。人物Ｈ３に対応する顔検出枠ＦＤの位置およびサイズが記述された時点で、変数ＣＮＴは“３”を示す。
【００４１】
ＣＰＵ２６は続いて、顔検出枠レジスタＲＧＳＴ２に登録されたＣＮＴ個の顔検出枠を順に指定する。指定された顔検出枠に属する画像データは、以下の顔認識処理を施される。
【００４２】
顔認識処理に先立って、ＣＰＵ２６は、処理速度を高めるために、探索画像エリア３２ｃに格納された探索画像データを水平６４０画素×垂直４８０画素（解像度：ＶＧＡ）のＶＧＡデータに変換する。ＣＰＵ２６は次に、顔検出枠レジスタＲＧＳＴ２に登録された顔検出枠の位置およびサイズをＶＧＡデータ上におけるものに変換し、顔検出枠レジスタＲＧＳＴ２を書き換える。また、顔認識処理のために、図１０に示す認識顔レジスタＲＧＳＴ３，図１１に示す確定レジスタＲＧＳＴ４および図１２に示す年齢性別辞書ＡＳＤＣが準備される。
【００４３】
年齢性別辞書ＡＳＤＣにおいては、例えば０歳から８０歳までの各々の年齢における平均的な人物の顔画像の特徴量が、性別毎に収められる。なお、図１２では、人物の顔画像が割り当てられているが、実際には人物の顔画像の特徴量が割り当てられる。また、この実施例では人物の年齢の推定にあたって顔画像の笑顔度を参照するが、年齢性別辞書ＡＳＤＣに収められる各々の特徴量が示す顔画像の笑顔度は、すべて０である。
【００４４】
顔認識処理においてはまず、指定顔検出枠に属する画像データがＶＧＡデータから読み出され、読み出された画像データの笑顔度が算出される。指定顔検出枠に属する画像データの特徴量は、算出された笑顔度と年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度との相違が抑制ないし解消されるように、修正される。年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度は０であるので、指定顔検出枠に属する画像データの特徴量は、笑顔度が０となるように修正される。
【００４５】
図９に示す人物Ｈ１の顔画像の特徴量を修正する場合を例に挙げると、算出される笑顔度は例えば７０である。この笑顔度は年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度（＝０）と相違するので、人物Ｈ１の顔画像の特徴量は、笑顔度が０となるように修正される。この結果、人物Ｈ１の顔画像の表情は図１３（Ａ）から図１３（Ｂ）に変化する。
【００４６】
次に、変数Ｋが“１”〜“Ｋｍａｘ”の各々に設定され、修正された特徴量は、年齢性別辞書ＡＳＤＣのＫ番目のカラムに記述された特徴量と照合される。なお、“Ｋｍａｘ”は、年齢性別辞書ＡＳＤＣに収められた特徴量の総数に相当する。照合度が基準値ＲＥＦ２を上回れば、照合先の特徴量のカラム番号（＝Ｋ）と照合度とが図１０に示す認識顔レジスタＲＧＳＴ３に登録される。
【００４７】
少なくとも１つのカラム番号が認識顔レジスタＲＧＳＴ３に登録されていれば、最大照合度に対応する顔検出枠の位置およびサイズと最大照合度に対応するカラム番号が示す年齢性別辞書ＡＳＤＣのカラムに記述された年齢および性別とが、図１１に示す確定レジスタＲＧＳＴ４に登録される。確定レジスタＲＧＳＴ４に登録された年齢は、顔検出枠に属する顔画像の人物の年齢と推定される。
【００４８】
ＣＮＴ個の顔検出枠に属する画像データに対して顔認識処理が完了すると、ＣＰＵ２６は、確定レジスタＲＧＳＴ４に登録があるか否かを判別する。登録がある場合は、ＣＰＵ２６は、フラグＦＬＧ＿ＲＣＧに“１”を設定し、確定レジスタＲＧＳＴ４に登録された顔検出枠の位置およびサイズを探索画像データ上におけるものに変換して、確定レジスタＲＧＳＴ４を書き換える。一方、確定レジスタＲＧＳＴ４に何も登録されていなければ、フラグＦＬＧ＿ＲＣＧは“０”に設定される。
【００４９】
このようにして年齢推定処理が完了すると、フラグＦＬＧ＿ＲＣＧが“１”に設定されてかつ年代指定レジスタＲＧＳＴ１に指定年代が登録されている場合、ＣＰＵ２６は、年代指定タスクの下で、年代指定レジスタＲＧＳＴ１と確定レジスタＲＧＳＴ４との比較を行う。変数Ｍが“１”〜“Ｍｍａｘ”の各々に設定され、確定レジスタＲＧＳＴ４のＭ番目のカラムに記述された推定年齢と年代指定レジスタＲＧＳＴ１に登録された指定年代とが比較される。推定年齢が指定年代に含まれる場合は、確定レジスタＲＧＳＴ４のＭ番目のカラムに記述された顔検出枠の位置およびサイズが、図１４に示すフォーカスレジスタＲＧＳＴ５に登録される。なお、“Ｍｍａｘ”は、確定レジスタＲＧＳＴ４の登録年齢の総数に相当する。
【００５０】
シャッタボタンが半押しされて厳格ＡＥ処理が完了した時点で年代指定レジスタＲＧＳＴ１に指定年代が登録されている場合、ＣＰＵ２６は、撮像タスクの下で指定年代表示命令をグラフィックジェネレータ４６に与える。指定年代表示命令には、年代指定レジスタＲＧＳＴ１に登録された指定年代が記述される。指定年代表示命令が与えられたとき、グラフィックジェネレータ４６は、指定年代を表すグラフィックデータを作成し、作成されたグラフィックデータをＬＣＤドライバ３６に与える。この結果、年代指定レジスタＲＧＳＴ１に登録された指定年代が、図１５に示す要領で、モニタ画面の右下においてスルー画像とともに表示される。
【００５１】
指定年代表示命令の発行後、ＣＰＵ２６は、撮像タスクと並列して実行される年代指定タスクの完了を待つ。年代指定タスクの処理によって顔検出枠の位置およびサイズがフォーカスレジスタＲＧＳＴ５に登録された場合は、ＣＰＵ２６は、顔枠表示命令をグラフィックジェネレータ４６に向けて発行する。顔枠表示命令には、フォーカスレジスタＲＧＳＴ５に登録された顔検出枠の位置およびサイズが記述される。フォーカスレジスタＲＧＳＴ５に登録がない場合、つまり、年齢推定処理で推定された年齢が年代指定操作で指定された年代にいずれも含まれない場合は、顔枠表示命令は非発行とされる。
【００５２】
顔枠表示命令が与えられたとき、グラフィックジェネレータ４６は、顔枠ＫＦを表すグラフィックデータを作成し、作成されたグラフィックデータをＬＣＤドライバ３６に与える。グラフィックデータは、顔枠表示命令に記述された位置およびサイズを参照して作成される。この結果、年代指定操作で指定された年代に属する推定年齢を有する人物の顔画像を囲うように、顔枠ＫＦが表示される。
【００５３】
図９に示す例において、例えば人物Ｈ１，Ｈ２およびＨ３が２０歳，６０歳および４０歳と各々推定され、年代指定操作において“６０歳代”が指定された場合は、人物Ｈ２の顔画像を囲うように顔枠ＫＦが表示される（図１５参照）。ＣＰＵ２６は次に、人物Ｈ２の顔位置を優先したＡＦ処理を実行する。この結果、人物Ｈ２の顔画像の鮮鋭度が向上する。なお、顔枠表示命令が非発行とされたときは、通常のＡＦ処理が実行される。シャッタボタン２８ｓｈが全押しされた後の処理は、上述の通りである。
【００５４】
再生モードが選択されている場合において、キー入力装置２８を通じて美肌処理操作がなされると、再生中の画像ファイルの画像データがＳＤＲＡＭ３２の探索画像エリア３２ｃに書き込まれる。ＣＰＵ２６は次に、再生タスクの下で、年齢推定処理を実行する。なお、ここで実行される処理は、撮像タスクの下で実行される年齢推定処理と同様である。
【００５５】
したがって、図１６に示す再生画像Ｐ＿ｂｆｒに対して美肌処理操作がなされたときは、人物Ｈ４およびＨ５の顔画像が検出され、検出された顔画像を囲う顔検出枠ＦＤの位置およびサイズが顔検出枠レジスタＲＧＳＴ２に登録される。顔検出枠レジスタＲＧＳＴ２に登録された顔検出枠は順に指定され、各々について顔認識処理が施される。
【００５６】
図１６に示す人物Ｈ５の顔画像を例に挙げると、算出される笑顔度は例えば６０であり、人物Ｈ５の顔画像の特徴量は、笑顔度が０となるように修正される。この結果、人物Ｈ５の顔画像の表情は図１７（Ａ）から図１７（Ｂ）に変化する。
【００５７】
修正された特徴量は、年齢性別辞書ＡＳＤＣに収められた各々の特徴量と照合され、照合度が基準値ＲＥＦ２を上回る毎に、照合先の特徴量のカラム番号と照合度とが認識顔レジスタＲＧＳＴ３に登録される。照合が完了すると、最大照合度に対応する顔検出枠の位置およびサイズと最大照合度に対応するカラム番号が示す年齢性別辞書ＡＳＤＣのカラムに記述された年齢および性別とが、確定レジスタＲＧＳＴ４に登録される。
【００５８】
確定レジスタＲＧＳＴ４に登録された顔検出枠の位置およびサイズが探索画像データ上におけるものに変換されて年齢推定処理が完了すると、ＣＰＵ２６は、美肌処理を実行する。美肌処理は、確定レジスタＲＧＳＴ４に登録された顔検出枠に属する画像に対して、確定レジスタＲＧＳＴ４に登録された年齢または性別に基づいて、実行される。美肌処理においては、例えば、推定された年齢が高いほど補正の度合いを強める。また、女性の顔画像に対しては、男性に比べて補正の度合いを強め、肌色を明るく修正するなどの美白処理をも行う。
【００５９】
図１６の例において人物Ｈ４およびＨ５の顔画像が検出された場合は、各々の顔画像について、年齢推定がなされた上で美肌処理が施され、図１８に示す画像Ｐ＿ａｆｔが生成される。
【００６０】
ＣＰＵ２６は、図１９に示すメインタスク，図２０〜図２１に示す撮像タスク，図２２〜図２３に示す年代指定タスク，および図３０〜図３１に示す再生タスクを含む複数のタスクを実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００６１】
図１９を参照して、ステップＳ１では現時点の動作モードが撮像モードであるか否かを判別し、ステップＳ３では現時点の動作モードが再生モードであるか否かを判別する。ステップＳ１でＹＥＳであればステップＳ５で撮像タスクを起動し、ステップＳ３でＹＥＳであればステップＳ７で再生タスクを起動する。ステップＳ１およびＳ３のいずれもＮＯであればステップＳ９でその他の処理を実行する。ステップＳ５，Ｓ７またはＳ９の処理が完了すると、モード切り換え操作が行われたか否かをステップＳ１１で繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、起動中のタスクをステップＳ１３で停止し、その後にステップＳ１に戻る。
【００６２】
図２０を参照して、ステップＳ２１では動画取り込み処理を実行する。この結果、被写界を表すスルー画像がＬＣＤモニタ３８に表示され、探索画像データが探索画像エリア３２ｃに繰り返し書き込まれる。ステップＳ２３では年代指定タスクを起動し、ステップＳ２５ではキー入力装置２８を通じて操作者によって年代指定操作が行われたか否かを判別する。判別結果がＮＯであればステップＳ２９に進む一方、判別結果がＹＥＳであれば指定された年代をステップＳ２７で年代指定レジスタＲＧＳＴ１に登録する。
【００６３】
ステップＳ２９では、シャッタボタン２８ｓｈが半押しされたか否かを判別する。判別結果がＮＯであればステップＳ３１で簡易ＡＥ処理を実行する。スルー画像の明るさは、簡易ＡＥ処理によって適度に調整される。
【００６４】
フラグＦＬＧ＿ＦＩＮは、起動された年代指定タスクの下で“０”に初期設定され、年代指定タスクの処理が完了するときに、“１”に更新される。ステップＳ３３ではこのようなフラグＦＬＧ＿ＦＩＮが“１”に更新されたか否かを繰り返し判別し、判別結果がＮＯである限り、ステップＳ３１で簡易ＡＥ処理を繰り返し実行する。ステップＳ３３の判別結果がＮＯからＹＥＳに更新されるとステップＳ２３に戻る。
【００６５】
ステップＳ２９の判別結果がＹＥＳであればステップＳ３５で厳格ＡＥ処理を実行する。スルー画像の明るさは、厳格ＡＥ処理によって最適値に調整される。ステップＳ３７では年代指定レジスタＲＧＳＴ１に指定年代が登録されているか否かを判別し、判別結果がＹＥＳであればステップＳ３９に進み、指定年代表示命令がグラフィックジェネレータ４６に向けて発行される。指定年代表示命令には、年代指定レジスタＲＧＳＴ１に登録された指定年代が記述される。この結果、年代指定レジスタＲＧＳＴ１に登録された指定年代が、モニタ画面の右下においてスルー画像とともに表示される。
【００６６】
ステップＳ４１ではフラグＦＬＧ＿ＦＩＮが“１”を示すか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されると、フォーカスレジスタＲＧＳＴ５に顔検出枠の位置およびサイズが登録されているか否かをステップＳ４３で判別する。ステップＳ４５では顔枠表示命令がグラフィックジェネレータ４６に向けて発行される。顔枠表示命令には、フォーカスレジスタＲＧＳＴ５に登録された顔検出枠の位置およびサイズが記述される。この結果、年代指定操作で指定された年代に属する推定年齢を有する人物の顔画像を囲うように、顔枠ＫＦが表示される。
【００６７】
ステップＳ４７では、顔枠ＫＦが囲う顔位置を優先したＡＦ処理を実行する。この結果、顔枠ＫＦに囲まれた顔画像の鮮鋭度が向上する。ステップＳ３７またはステップＳ４３の判別結果がＮＯであればステップＳ４９に進み、通常のＡＦ処理を実行する。フォーカスレンズ１２は、ＡＦ処理によって合焦点に配置される。
【００６８】
ステップＳ４７またはステップＳ４９の処理が完了すると、ステップＳ５１でシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ５３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ５１でＹＥＳであれば、ステップＳ５５で静止画取り込み処理を実行し、ステップＳ５７で記録処理を実行する。ステップＳ５３の判別結果がＹＥＳの場合はステップＳ５９に進む。ステップＳ５５の処理の結果、シャッタボタン２８ｓｈが全押しされた時点の被写界を表す１フレームの画像データが静止画エリア３２ｄに取り込まれる。また、ステップＳ５７の処理の結果、静止画像エリア３２ｄに取り込まれた画像データがファイル形式で記録媒体４２に記録される。
【００６９】
指定年代または顔枠ＫＦが表示されていた場合は、ステップＳ５９で指定年代非表示命令または顔枠非表示命令をグラフィックジェネレータ４６に与え、この結果、指定年代または顔枠ＫＦの表示が中止される。その後にステップＳ２３に戻る。
【００７０】
図２２を参照して、ステップＳ６１ではフラグＦＬＧ＿ＦＩＮに“０”を設定し、ステップＳ６３ではフォーカスレジスタＲＧＳＴ５をクリアする。ステップＳ６５では年齢推定処理を実行し、ステップＳ６７ではフラグＦＬＧ＿ＲＣＧが“１”を示すか否かを判別する。判別結果がＮＯであれば、ステップＳ６９でフラグＦＬＧ＿ＦＩＮに“１”を設定し、その後に処理を終了する。判別結果がＹＥＳであれば、年代指定レジスタＲＧＳＴ１に指定年代が登録されているか否かをステップＳ７１で判別する。ステップＳ７１の判別結果がＮＯであればステップＳ６９に進み、判別結果がＹＥＳであればステップＳ７３で変数Ｍを“１”に設定する。
【００７１】
ステップＳ７５では、変数Ｍが最大値Ｍｍａｘ（＝確定レジスタＲＧＳＴ４の登録年齢の総数）を上回るか否かを判別し、判別結果がＹＥＳであればステップＳ６９に進み、判別結果がＮＯであればステップＳ７７に進む。ステップＳ７７では、確定レジスタＲＧＳＴ４のＭ番目のカラムに記述された推定年齢と年代指定レジスタＲＧＳＴ１に登録された指定年代とを比較する。ステップＳ７９では、ステップＳ７７の比較の結果、確定レジスタＲＧＳＴ４のＭ番目のカラムに記述された推定年齢が年代指定レジスタＲＧＳＴ１に登録された指定年代に含まれるか否かを判別する。判別結果がＮＯであればステップＳ８３に進む一方、判別結果がＹＥＳであれば、確定レジスタＲＧＳＴ４のＭ番目のカラムに記述された顔検出枠の位置およびサイズをステップＳ８１でフォーカスレジスタＲＧＳＴ５に登録する。ステップＳ８３では変数Ｍをインクリメントし、その後にステップＳ７５に戻る。
【００７２】
図２２のステップＳ６５および図３１のステップＳ１９３の年齢推定処理は、図２４〜図２７に示すサブルーチンに従って実行される。まず、探索画像エリア３２ｃに格納された探索画像データをステップＳ９１でＱＶＧＡデータに変換し、ステップＳ９３では評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ９５では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＳＺｍａｘを“２００”に設定し、最小サイズＳＺｍｉｎを“２０”に設定する。可変範囲の定義が完了すると、ステップＳ９７で変数ＣＮＴを“０”に設定し、ステップＳ９９で顔検出枠ＦＤのサイズを“ＳＺｍａｘ”に設定する。
【００７３】
ステップＳ１０１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されると、ステップＳ１０３で顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１０５では顔検出枠ＦＤに属する一部のＱＶＧＡデータを読み出し、読み出されたＱＶＧＡデータの特徴量を算出する。
【００７４】
ステップＳ１０７では算出された特徴量を標準顔辞書ＳＴＤＣに収められた顔画像の特徴量と照合し、ステップＳ１０９では照合度が基準値ＲＥＦ１を上回るか否かを判別する。判別結果がＮＯであればそのままステップＳ１１５に進み、判別結果がＹＥＳであればステップＳ１１１およびステップＳ１１３を経てステップＳ１１５に進む。ステップＳ１１１では、変数ＣＮＴをインクリメントする。ステップＳ１１３では、現時点の顔検出枠ＦＤの位置およびサイズを、顔検出枠レジスタＲＧＳＴ２に登録する。
【００７５】
ステップＳ１１５では、顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別する。判別結果がＮＯであれば、ステップＳ１１７で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ１０５に戻る。判別結果がＹＥＳであれば、ステップＳ１１９で顔検出枠ＦＤのサイズを“５”だけ縮小させ、顔検出枠ＦＤのサイズが“ＳＺｍｉｎ”未満であるか否かをステップＳ１２１で判別する。ステップＳ１２１の判別結果がＮＯであれば、ステップＳ１２３で顔検出枠ＦＤを探索エリアの左上位置に配置し、その後にステップＳ１０５に戻る。ステップＳ１２１の判別結果がＹＥＳであれば、ステップＳ１２５に進む。
【００７６】
ステップＳ１２５では変数ＣＮＴが“０”に設定されているか否かを判別し、判別結果がＮＯであれば、探索画像エリア３２ｃに格納された探索画像データをステップＳ１２７でＶＧＡデータに変換する。判別結果がＹＥＳであれば上階層のルーチンに復帰する。ステップＳ１２９では顔検出枠レジスタＲＧＳＴ２に登録された顔検出枠の位置およびサイズをＶＧＡデータ上におけるものに変換し、顔検出枠レジスタＲＧＳＴ２を書き換える。
【００７７】
ステップＳ１３１では確定レジスタＲＧＳＴ４の登録内容をクリアし、ステップＳ１３３では変数Ｎを“１”に設定する。ステップＳ１３５では変数Ｎが変数ＣＮＴを上回るか否かを判別し、判別結果がＮＯであればステップＳ１３７に進み、顔検出枠レジスタＲＧＳＴ２のＮ番目のカラムに設定された顔検出枠を指定する。ステップＳ１３９では、指定された顔検出枠に属する画像データに注目した顔認識処理を実行する。顔認識処理が完了すると、ステップＳ１４１で変数Ｎをインクリメントし、その後にステップＳ１３５に戻る。
【００７８】
ステップＳ１３５の判別結果がＹＥＳであれば、確定レジスタＲＧＳＴ４に登録があるか否かをステップＳ１４３で判別する。ステップＳ１４３の判別結果がＹＥＳであれば、ステップＳ１４５でフラグＦＬＧ＿ＲＣＧを“１”に設定し、ステップＳ１４７では確定レジスタＲＧＳＴ４に登録された顔検出枠の位置およびサイズを探索画像データ上におけるものに変換して、確定レジスタＲＧＳＴ４を書き換える。ステップＳ１４３の判別結果がＮＯであればステップＳ１４９でフラグＦＬＧ＿ＲＣＧを“０”に設定する。ステップＳ１４７またはステップＳ１４９の処理が完了すると、上階層のルーチンに復帰する。
【００７９】
ステップＳ１３９の顔認識処理は、図２８〜図２９に示すサブルーチンに従って実行される。まず、指定された顔枠に属する画像データの笑顔度をステップＳ１５１で算出し、算出された笑顔度が年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度との相違が抑制ないし解消されるように、ステップＳ１５３で指定顔検出枠に属する画像データの特徴量を修正する。年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度は０であるので、指定顔検出枠に属する画像データの特徴量は、その笑顔度が０となるように修正される。
【００８０】
ステップＳ１５５では認識顔レジスタＲＧＳＴ３をクリアし、変数ＫをステップＳ１５７で“１”に設定する。ステップＳ１５９では、変数Ｋが最大値Ｋｍａｘ（＝年齢性別辞書ＡＳＤＣに収められた特徴量の総数）を上回るか否かを判別する。判別結果がＮＯであればステップＳ１６５に進み、修正された特徴量を、年齢性別辞書ＡＳＤＣのＫ番目のカラムに記述された特徴量と照合する。
【００８１】
ステップＳ１６７では照合度が基準値ＲＥＦ２を上回るか否かを判別する。判別結果がＹＥＳであればステップＳ１６９に進み、照合先の特徴量のカラム番号（＝Ｋ）と照合度とを認識顔レジスタＲＧＳＴ３に登録する。登録が完了すると、ステップＳ１７１で変数Ｋをインクリメントし、その後にステップＳ１５９に戻る。ステップＳ１６７の判別結果がＮＯであれば、ステップＳ１７１の処理を経てステップＳ１５９に戻る。
【００８２】
ステップＳ１５９の判別結果がＹＥＳであれば、少なくとも１つのカラム番号が認識顔レジスタＲＧＳＴ３に設定されているか否かをステップＳ１６１で判別する。ステップＳ１６１の判別結果がＹＥＳであれば、最大照合度に対応する顔検出枠の位置およびサイズと最大照合度に対応するカラム番号が示す年齢性別辞書ＡＳＤＣのカラムに記述された年齢および性別とを、ステップＳ１６３で確定レジスタＲＧＳＴ４に登録する。ステップＳ１６１の判別結果がＮＯであるかまたはステップＳ１６３の処理が完了すると、上階層のルーチンに復帰する。
【００８３】
図３０を参照して、ステップＳ１８１では変数Ｐに最新の画像ファイルを示す番号を設定し、ステップＳ１８３では記録媒体４２に記録されているＰ番目のフレームの画像ファイルを再生する。
【００８４】
ステップＳ１８５では操作者による再生ファイルを更新する操作があったか否かを判別し、判別結果がＹＥＳであれば、ステップＳ１８７で変数Ｐをインクリメントまたはデクリメントして、ステップＳ１８３に戻る。判別結果がＮＯであれば、ステップＳ１８９で操作者による美肌処理操作があったか否かを判別し、判別結果がＮＯであればステップＳ１８５に戻る一方、判別結果がＹＥＳであればステップＳ１９１に進む。
【００８５】
ステップＳ１９１では再生中の画像ファイルの画像データがＳＤＲＡＭ３２の探索画像エリア３２ｃに書き込まれ、ステップＳ１９３で年齢推定処理を実行する。ステップＳ１９５ではフラグＦＬＧ＿ＲＣＧが“１”であるか否かを判別し、判別結果がＮＯであればステップＳ１８５に戻る一方、判別結果がＹＥＳであれば、ステップＳ１９７に進む。ステップＳ１９７では、確定レジスタＲＧＳＴ４に登録された顔検出枠に属する画像に対して、確定レジスタＲＧＳＴ４に登録された年齢または性別に基づいて、美肌処理を実行する。美肌処理の完了後、ステップＳ１８５に戻る。
【００８６】
以上の説明から分かるように、ＣＰＵ２６は、被写界像を取り込み(16, S181~187)、取り込まれた被写界像から１または２以上の顔画像を探索し(S93~S123)、発見された１または２以上の顔画像の各々を指定する (S137)。ＣＰＵ２６はまた、複数の年齢にそれぞれ対応する複数の顔特徴を保持し(44)、指定された顔画像の表情を検出する。ＣＰＵ２６はまた、指定された顔画像に相当する人物の年齢を保持された複数の顔特徴と検出された表情とに基づいて推定し(S153~S163, S165~S171)、取り込まれた被写界像の品質を推定結果を参照して調整する(S47, S197)。
【００８７】
顔画像の年齢を推定するにあたって、複数の年齢にそれぞれ対応する複数の顔特徴に加えて、推定対象である顔画像の表情が参照される。こうして推定された年齢を参照して被写界像の品質を調整することで、被写界像の品質の向上が図られる。
【００８８】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ５０を図３２に示す要領でディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００８９】
また、この実施例では、ＣＰＵ２６によって実行される処理を、図１９に示すメインタスク，図２０〜図２１に示す撮像タスク，図２２〜図２３に示す年代指定タスク，および図３０〜図３１に示す再生タスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部をメインタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【００９０】
また、この実施例では、ステップＳ１５１で算出された笑顔度と年齢性別辞書ＡＳＤＣに収められる各々の特徴量の笑顔度との相違を抑制ないし解消するために、指定顔検出枠に属する顔画像の特徴量を修正するようにしている。しかし、指定顔検出枠に属する顔画像の特徴量に代えて、或いは指定顔検出枠に属する顔画像の特徴量とともに、年齢性別辞書ＡＳＤＣに収められるＫ番目の特徴量を修正するようにしてもよい。また、修正する対象を特徴量ではなく指定顔検出枠に属する顔画像とし、修正された顔画像の特徴量を検出するようにしてもよい。
【００９１】
また、この実施例では、男性の年齢毎の平均的な顔画像の特徴量と女性の年齢毎の平均的な顔画像の特徴量とを一つに収めた年齢性別辞書ＡＳＤＣを用いた。しかし、男性の平均的な顔画像の特徴量と女性の平均的な顔画像の特徴量とを収めた性別辞書を用いて、年齢推定の前に、修正後の特徴量と性別辞書の特徴量とを照合して性別を判定するようにしてもよい。この場合、年齢性別辞書ＡＳＤＣとの照合においては、判定された性別の特徴量のみと照合すればよい。
【符号の説明】
【００９２】
１０ …ディジタルカメラ
１６ …イメージャ
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
２８ …キー入力装置
３２ …ＳＤＲＡＭ
４４ …フラッシュメモリ
【特許請求の範囲】
【請求項１】
被写界像を取り込む取り込み手段、
前記取り込み手段によって取り込まれた被写界像から１または２以上の顔画像を探索する探索手段、
前記探索手段によって発見された１または２以上の顔画像の各々を指定する第１指定手段、
複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持手段、
前記第１指定手段によって指定された顔画像の表情を検出する検出手段、
前記第１指定手段によって指定された顔画像に相当する人物の年齢を前記保持手段によって保持された複数の顔特徴と前記検出手段によって検出された表情とに基づいて推定する推定手段、および
前記取り込み手段によって取り込まれた被写界像の品質を前記推定手段の推定結果を参照して調整する調整手段を備える、画像処理装置。
【請求項２】
前記取り込み手段は被写界を捉える撮像面を有して前記被写界像を出力する撮像手段を含み、
前記調整手段は撮像条件を調整する撮像条件調整手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記複数の年齢のいずれか１つを指定する第２指定手段をさらに備え、
前記撮像条件調整手段は前記第２指定手段によって指定された年齢に対応する年齢を有する人物の顔画像を基準として前記撮像条件を調整する、請求項２記載の画像処理装置。
【請求項４】
前記取り込み手段は前記被写界像を記録媒体から再生する再生手段を含み、
前記調整手段は前記探索手段によって発見された顔画像毎にスムージング処理を施すスムージング処理手段を含む、請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記推定手段は、前記第１指定手段によって指定された顔画像の特徴および／または前記保持手段によって保持された複数の顔特徴の各々を前記検出手段によって検出された表情を参照して修正する顔特徴修正手段、および前記第１指定手段によって指定された顔画像の特徴に符合する顔特徴を前記保持手段によって保持された複数の顔特徴の中から検出する処理を前記顔特徴修正手段の修正処理の後に実行する顔特徴検出手段を含む、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
画像処理装置のプロセッサに、
被写界像を取り込む取り込みステップ、
前記取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ、
前記探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ、
複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ、
前記第１指定ステップによって指定された顔画像の表情を検出する検出ステップ、
前記第１指定ステップによって指定された顔画像に相当する人物の年齢を前記保持ステップによって保持された複数の顔特徴と前記検出ステップによって検出された表情とに基づいて推定する推定ステップ、および
前記取り込みステップによって取り込まれた被写界像の品質を前記推定ステップの推定結果を参照して調整する調整ステップを実行させるための、画像処理プログラム。
【請求項７】
画像処理装置によって実行される画像処理方法であって、
被写界像を取り込む取り込みステップ、
前記取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ、
前記探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ、
複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ、
前記第１指定ステップによって指定された顔画像の表情を検出する検出ステップ、
前記第１指定ステップによって指定された顔画像に相当する人物の年齢を前記保持ステップによって保持された複数の顔特徴と前記検出ステップによって検出された表情とに基づいて推定する推定ステップ、および
前記取り込みステップによって取り込まれた被写界像の品質を前記推定ステップの推定結果を参照して調整する調整ステップを備える、画像処理方法。
【請求項８】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
被写界像を取り込む取り込みステップ、
前記取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ、
前記探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ、
複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ、
前記第１指定ステップによって指定された顔画像の表情を検出する検出ステップ、
前記第１指定ステップによって指定された顔画像に相当する人物の年齢を前記保持ステップによって保持された複数の顔特徴と前記検出ステップによって検出された表情とに基づいて推定する推定ステップ、および
前記取り込みステップによって取り込まれた被写界像の品質を前記推定ステップの推定結果を参照して調整する調整ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項９】
外部制御プログラムを受信する受信手段、および
前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
被写界像を取り込む取り込みステップ、
前記取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ、
前記探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ、
複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ、
前記第１指定ステップによって指定された顔画像の表情を検出する検出ステップ、
前記第１指定ステップによって指定された顔画像に相当する人物の年齢を前記保持ステップによって保持された複数の顔特徴と前記検出ステップによって検出された表情とに基づいて推定する推定ステップ、および
前記取り込みステップによって取り込まれた被写界像の品質を前記推定ステップの推定結果を参照して調整する調整ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【請求項１】
被写界像を取り込む取り込み手段、
前記取り込み手段によって取り込まれた被写界像から１または２以上の顔画像を探索する探索手段、
前記探索手段によって発見された１または２以上の顔画像の各々を指定する第１指定手段、
複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持手段、
前記第１指定手段によって指定された顔画像の表情を検出する検出手段、
前記第１指定手段によって指定された顔画像に相当する人物の年齢を前記保持手段によって保持された複数の顔特徴と前記検出手段によって検出された表情とに基づいて推定する推定手段、および
前記取り込み手段によって取り込まれた被写界像の品質を前記推定手段の推定結果を参照して調整する調整手段を備える、画像処理装置。
【請求項２】
前記取り込み手段は被写界を捉える撮像面を有して前記被写界像を出力する撮像手段を含み、
前記調整手段は撮像条件を調整する撮像条件調整手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記複数の年齢のいずれか１つを指定する第２指定手段をさらに備え、
前記撮像条件調整手段は前記第２指定手段によって指定された年齢に対応する年齢を有する人物の顔画像を基準として前記撮像条件を調整する、請求項２記載の画像処理装置。
【請求項４】
前記取り込み手段は前記被写界像を記録媒体から再生する再生手段を含み、
前記調整手段は前記探索手段によって発見された顔画像毎にスムージング処理を施すスムージング処理手段を含む、請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記推定手段は、前記第１指定手段によって指定された顔画像の特徴および／または前記保持手段によって保持された複数の顔特徴の各々を前記検出手段によって検出された表情を参照して修正する顔特徴修正手段、および前記第１指定手段によって指定された顔画像の特徴に符合する顔特徴を前記保持手段によって保持された複数の顔特徴の中から検出する処理を前記顔特徴修正手段の修正処理の後に実行する顔特徴検出手段を含む、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
画像処理装置のプロセッサに、
被写界像を取り込む取り込みステップ、
前記取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ、
前記探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ、
複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ、
前記第１指定ステップによって指定された顔画像の表情を検出する検出ステップ、
前記第１指定ステップによって指定された顔画像に相当する人物の年齢を前記保持ステップによって保持された複数の顔特徴と前記検出ステップによって検出された表情とに基づいて推定する推定ステップ、および
前記取り込みステップによって取り込まれた被写界像の品質を前記推定ステップの推定結果を参照して調整する調整ステップを実行させるための、画像処理プログラム。
【請求項７】
画像処理装置によって実行される画像処理方法であって、
被写界像を取り込む取り込みステップ、
前記取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ、
前記探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ、
複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ、
前記第１指定ステップによって指定された顔画像の表情を検出する検出ステップ、
前記第１指定ステップによって指定された顔画像に相当する人物の年齢を前記保持ステップによって保持された複数の顔特徴と前記検出ステップによって検出された表情とに基づいて推定する推定ステップ、および
前記取り込みステップによって取り込まれた被写界像の品質を前記推定ステップの推定結果を参照して調整する調整ステップを備える、画像処理方法。
【請求項８】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
被写界像を取り込む取り込みステップ、
前記取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ、
前記探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ、
複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ、
前記第１指定ステップによって指定された顔画像の表情を検出する検出ステップ、
前記第１指定ステップによって指定された顔画像に相当する人物の年齢を前記保持ステップによって保持された複数の顔特徴と前記検出ステップによって検出された表情とに基づいて推定する推定ステップ、および
前記取り込みステップによって取り込まれた被写界像の品質を前記推定ステップの推定結果を参照して調整する調整ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項９】
外部制御プログラムを受信する受信手段、および
前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
被写界像を取り込む取り込みステップ、
前記取り込みステップによって取り込まれた被写界像から１または２以上の顔画像を探索する探索ステップ、
前記探索ステップによって発見された１または２以上の顔画像の各々を指定する第１指定ステップ、
複数の年齢にそれぞれ対応する複数の顔特徴を保持する保持ステップ、
前記第１指定ステップによって指定された顔画像の表情を検出する検出ステップ、
前記第１指定ステップによって指定された顔画像に相当する人物の年齢を前記保持ステップによって保持された複数の顔特徴と前記検出ステップによって検出された表情とに基づいて推定する推定ステップ、および
前記取り込みステップによって取り込まれた被写界像の品質を前記推定ステップの推定結果を参照して調整する調整ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２０１２−３５３９（Ｐ２０１２−３５３９Ａ）
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願番号】特願２０１０−１３８４２３（Ｐ２０１０−１３８４２３）
【出願日】平成２２年６月１７日（２０１０．６．１７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年１月５日（２０１２．１．５）
【国際特許分類】
【出願日】平成２２年６月１７日（２０１０．６．１７）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]