画像処理装置
【構成】イメージャ１６から出力された被写界像は、メモリ制御回路３０によってＳＤＲＡＭ３２に取り込まれる。ＣＰＵ２６は、取り込まれた被写界像から１または２以上の顔画像の集合を検出し、検出された顔画像の集合の規模に基づくサイズを有する切り出しエリアを、検出された顔画像の集合を覆うようにＳＤＲＡＭ３２に定義する。ＣＰＵ２６はまた、定義された切り出しエリアに属する一部の被写界像をＳＤＲＡＭ３２に取り込まれた被写界像から切り出す。
【効果】顔画像の集合に対する背景画像の割合が適応的に調整され、被写界像の再現性が向上する。
【効果】顔画像の集合に対する背景画像の割合が適応的に調整され、被写界像の再現性が向上する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に、ディジタルカメラに適用され、撮像面で捉えられた被写界像を処理する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、互いに異なる複数のサイズをそれぞれ有する複数の顔判別領域が準備される。これらの顔判別領域は、被写界像から顔画像を検出するために撮像面をラスタ走査方向に移動する。顔判別領域に属する部分画像が顔画像と判別されると、この時点の顔判別領域のサイズおよび位置が顔情報として記述される。フォーカスや露光量のような撮像パラメータは、こうして記述された顔位置情報を参照して調整される。
【特許文献１】特開２００７−２５９４２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、背景技術では、顔画像の検出結果が被写界像を再現する際の画角に反映されることはなく、被写界像の再現性に限界がある。
【０００４】
それゆえに、この発明の主たる目的は、被写界像の再現性を向上させることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００５】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、撮像手段(16)から出力された被写界像を取り込む取り込み手段(30, 32)、取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出手段(S31~S63, S89)、検出手段によって検出された集合の規模に基づくサイズを有する切り出しエリアを検出手段によって検出された集合を覆う位置に定義する定義手段(S105~S111)、および切り出しエリアに属する一部の被写界像を取り込み手段によって取り込まれた被写界像から切り出す切り出し手段(S1, S25, S27)を備える。
【０００６】
撮像手段から出力された被写界像は、取り込み手段によって取り込まれる。検出手段は、取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する。定義手段は、検出手段によって検出された集合の規模に基づくサイズを有する切り出しエリアを、検出手段によって検出された集合を覆う位置に定義する。切り出し手段は、切り出しエリアに属する一部の被写界像を取り込み手段によって取り込まれた被写界像から切り出す。
【０００７】
このように、切り出しエリアの位置は特定物体像の集合を覆うように調整され、切り出しエリアのサイズは特定物体像の集合の規模に基づいて調整される。これによって、特定物体像の集合に対する背景画像の割合が適応的に調整され、被写界像の再現性が向上する。
【０００８】
好ましくは、検出手段は集合を形成する特定物体像に接する枠を定義する枠定義手段(S89)を含み、定義手段は枠定義手段によって定義された枠と集合を形成する特定物体像の数とに基づいて切り出しエリアのサイズおよび位置を決定する決定手段(S105)を含む。
【０００９】
好ましくは、定義手段は決定手段によって決定されたサイズおよび／または位置がエラー条件に合致するとき切り出しエリアを再定義する再定義手段(S109~S111)をさらに含む。
【００１０】
さらに好ましくは、エラー条件は切り出しエリアが取り込み手段によって取り込まれた被写界像からはみ出すという条件に相当し、再定義手段は切り出しエリアのサイズおよび／または位置を変更する。
【００１１】
好ましくは、切り出し手段によって切り出された被写界像を表示する表示手段(36, 38)をさらに備え、撮像手段は被写界像を繰り返し出力し、取り込み手段は被写界像を繰り返し取り込む。
【００１２】
さらに好ましくは、切り出しエリアを初期設定する初期設定手段(S81)をさらに備え、定義手段は初期設定手段による初期設定の後の既定指示に応答して定義処理を実行する。
【００１３】
好ましくは、検出手段によって検出された集合に対応する一部の被写界像を参照して撮像パラメータを調整する調整手段(S91, S9, S15, S17, S23, S75)をさらに備える。
【００１４】
好ましくは、特定物体像は人物の顔部の画像に相当する。
【００１５】
この発明に従う画像処理プログラムは、撮像手段(16)から出力された被写界像を取り込む取り込み手段(20, 34)を備える画像処理装置(10)のプロセッサ(26)に、取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出ステップ(S31~S63, S89)、検出ステップによって検出された集合の規模に基づくサイズを有する切り出しエリアを検出ステップによって検出された集合を覆う位置に定義する定義ステップ (S105~S111)、および切り出しエリアに属する一部の被写界像を取り込み手段によって取り込まれた被写界像から切り出す切り出しステップ(S1, S25, S27)を実行させるための、画像処理プログラムである。
【００１６】
この発明に従う画像処理方法は、撮像手段(16)から出力された被写界像を取り込む取り込み手段(20, 34)を備える画像処理装置(10)によって実行される画像処理方法であって、取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出ステップ(S31~S63, S89)、検出ステップによって検出された集合の規模に基づくサイズを有する切り出しエリアを検出ステップによって検出された集合を覆う位置に定義する定義ステップ (S105~S111)、および切り出しエリアに属する一部の被写界像を取り込み手段によって取り込まれた被写界像から切り出す切り出しステップ(S1, S25, S27)を備える。
【発明の効果】
【００１７】
この発明によれば、切り出しエリアの位置は特定物体像の集合を覆うように調整され、切り出しエリアのサイズは特定物体像の集合の規模に基づいて調整される。これによって、特定物体像の集合に対する背景画像の割合が適応的に調整され、被写界像の再現性が向上する。
【００１８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００１９】
図１を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００２０】
電源が投入されると、ＣＰＵ２６は、撮像タスクの下でスルー画像処理を開始するべく、ドライバ１８ｃに露光動作および間引き読み出し動作の繰り返しを命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷の一部をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく低解像度の生画像信号が周期的に出力される。
【００２１】
前処理回路２０は、イメージャ１６から出力された生画像信号にＣＤＳ(Correlated Double Sampling)，ＡＧＣ（Automatic Gain Control），Ａ／Ｄ変換などの処理を施し、ディジタル信号である生画像データを出力する。出力された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。
【００２２】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに書き込まれる。
【００２３】
ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２４】
図２を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００２５】
ＡＥ／ＡＷＢ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ／ＡＷＢ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＷＢ評価回路２２から出力される。
【００２６】
また、ＡＦ評価回路２４は、前処理回路２０から出力されたＲＧＢデータのうち同じ評価エリアＥＶＡに属するＧデータの高周波成分を抽出し、抽出された高域周波数成分を垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００２７】
ＣＰＵ２６は、ＡＥ／ＡＷＢ評価回路２２からの出力に基づくスルー画像用ＡＥ／ＡＷＢ処理をスルー画像処理と並列して実行し、適正ＥＶ値および適正白バランス調整ゲインを算出する。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。また、算出された適正白バランス調整ゲインは、後処理回路３４に設定される。この結果、スルー画像の明るさおよび白バランスが適度に調整される。
【００２８】
ＣＰＵ２６はまた、スルー画像処理と並列するコンティニュアスＡＦタスクの下で、ＡＦ評価回路２４からの出力に基づくスルー画像用ＡＦ処理を実行する。フォーカスレンズ１２は、ＡＦ評価回路２４の出力がＡＦ起動条件を満足するとき、ドライバ１８ａによって合焦点に設定される。これによって、スルー画像のフォーカスが適度に調整される。
【００２９】
シャッタボタン２８ｓが半押しされると、ＣＰＵ２６は、コンティニュアスＡＦタスクを中断し、記録用ＡＦ処理を撮像タスクの下で実行する。記録用ＡＦ処理もまたＡＦ評価回路２４の出力に基づいて実行される。これによって、フォーカスが厳格に調整される。ＣＰＵ２６は続いて、ＡＥ／ＡＷＢ評価回路２２の出力に基づいて記録用ＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。
【００３０】
シャッタボタン２８ｓが全押しされると、ＣＰＵ２６は、記録処理のために、ドライバ１８ｃに露光動作および全画素読み出し動作を１回ずつ実行することを命令し、さらにＩ／Ｆ４０を起動する。ドライバ１８ｃは、垂直同期信号Ｖｓｙｎｃに応答して撮像面を露光し、これによって生成された電荷の全てをラスタ走査態様で撮像面から読み出す。イメージャ１６からは、高解像度を有する１フレームの生画像信号が出力される。
【００３１】
イメージャ１６から出力された生画像信号は前処理回路２０によって生画像データに変換され、変換された生画像データはメモリ制御回路３０によってＳＤＲＡＭ３２の記録画像エリア３２ｃに書き込まれる。ＣＰＵ２６は、記録画像エリア３２ｃに格納された生画像データに基づいて最適白バランス調整ゲインを算出し、算出された最適白バランス調整ゲインを後処理回路３４に設定する。
【００３２】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データを最適白バランスを有するＹＵＶ形式の画像データに変換し、変換された画像データをメモリ制御回路３０を通して記録画像エリア３２ｃに書き込む。Ｉ／Ｆ４０は、こうして記録画像エリア３２ｃに格納された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをファイル形式で記録媒体４２に記録する。
【００３３】
なお、スルー画像処理は、高解像度を有する生画像データが記録画像エリア３２ｃに確保された時点で再開される。コンティニュアスＡＦタスクもまた、この時点で再起動される。
【００３４】
ＣＰＵ２６は、スルー画像処理と並列して実行される顔検出タスクの下で、ＳＤＲＡＭ３２の生画像エリア３２ａに格納された低解像度の生画像データから人物の顔画像を繰り返し検索する。このような顔検出タスクのために、図３に示す辞書ＤＩＣ，図４に示す複数の顔検出枠ＦＤ＿１，ＦＤ＿２，ＦＤ＿３，…および図５に示す２つのテーブルＴＢＬ１〜ＴＢＬ２が準備される。
【００３５】
図３によれば、複数の顔パターンＦＰ＿１，ＦＰ＿２，…が辞書ＤＩＣに登録される。また、図４によれば、顔検出枠ＦＤ＿１，ＦＤ＿２，ＦＤ＿３，…は、互いに異なる形状および／または大きさを有する。さらに、図５に示すテーブルＴＢＬ１〜ＴＢＬ２の各々は、顔枠情報を記述するためのテーブルに相当し、顔画像の位置（顔画像が検出された時点の顔検出枠の位置）を記述するカラムと顔画像のサイズ（顔画像が検出された時点の顔検出枠のサイズ）を記述するカラムとによって形成される。
【００３６】
顔検出タスクにおいては、まずテーブルＴＢＬ１が現フレームの顔枠情報を保持する現フレームテーブルとして指定される。ただし、指定されるテーブルは１フレーム毎にテーブルＴＢＬ１およびＴＢＬ２の間で更新され、現フレームテーブルは次フレームにおいて前フレームテーブルとなる。現フレームテーブルの指定が完了すると、変数Ｋが“１”に設定され、顔検出枠ＦＤ＿Ｋが図６に示す評価エリアＥＶＡの左上つまり顔検出開始位置に設定される。
【００３７】
垂直同期信号Ｖｓｙｎｃが発生すると、ＳＤＲＡＭ３２の生画像エリア３２ａに格納された現フレームの生画像データのうち、顔検出枠ＦＤ＿Ｋに属する部分画像データが、図３に示す辞書ＤＩＣに記述された複数の顔パターンＦＰ＿１，ＦＰ＿２，…の各々と照合される。注目する部分画像がいずれかの顔パターンに適合すると判別されれば、顔検出枠ＦＤ＿Ｋの現在位置およびサイズが顔枠情報として現フレームテーブルに記述される。
【００３８】
顔検出枠ＦＤ＿Ｋは、図６に示す要領でラスタ方向に既定量ずつ移動され、評価エリアＥＶＡ上の複数の位置で上述のような照合処理を施される。そして、人物の顔画像が発見される毎に、発見された顔画像に対応する顔枠情報（つまり顔検出枠ＦＤ＿Ｋの現在位置およびサイズ）が現フレームテーブルに記述されていく。
【００３９】
顔検出枠ＦＤ＿Ｋが評価エリアＥＶＡの右下つまり顔検出終了位置に達すると、変数Ｋが更新され、更新された変数Ｋの値に対応する顔検出枠ＦＤ＿Ｋが顔検出開始位置に再配置される。上述と同様、顔検出枠ＦＤ＿Ｋは評価エリアＥＶＡ上をラスタ方向に移動し、照合処理によって検出された顔画像に対応する顔枠情報は現フレームテーブルに記述される。このような顔認識処理は、顔検出枠ＦＤ＿Ｋｍａｘ（Ｋｍａｘ：末尾の顔検出枠の番号）が顔検出終了位置に達するまで繰り返し実行される。
【００４０】
顔検出枠ＦＤ＿Ｋｍａｘが顔検出終了位置に達すると、指定テーブルが更新され、かつ更新後の指定テーブルが初期化される。さらに、変数Ｋが“１”に設定される。次フレームの顔認識処理は、垂直同期信号Ｖｓｙｎｃの発生に応答して開始される。
【００４１】
上述した撮像タスクと並行して、ＣＰＵ４０は、ＡＥ／ＡＷＢ処理およびＡＦ処理のために参照されるパラメータ調整エリアＡＤＪの位置および形状、ならびにＬＣＤドライバ３６による画像読み出し処理のためにＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに割り当てられる切り出しエリアＣＴの位置および形状を、エリア制御タスクの下で定義する。
【００４２】
エリア制御タスクでは、まず切り出しエリアＣＴが初期化される。切り出しエリアＣＴは、ＹＵＶ画像エリア３２ｂに格納される被写界像の全体を覆うように設定される。ＬＣＤドライバ３６は、初期設定された切り出しエリアＣＴに属する画像データをＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データに基づく被写界像をスルー画像としてＬＣＤモニタ３８に表示する。
【００４３】
垂直同期信号Ｖｓｙｎｃが発生すると、顔枠情報が確定している前フレームテーブルが指定され、前フレームテーブルに顔枠情報が記述されているか否かが判別される。
【００４４】
前フレームテーブルに少なくとも１つの顔枠が記述されていれば、この顔枠の集合に外接する顔集合枠ＧＲＰが定義される。さらに、評価エリアＥＶＡを形成する２５６個の分割エリアのうち顔集合枠ＧＲＰ内のエリアを覆う一部の分割エリアが、パラメータ調整エリアＡＤＪとして定義される。これに対して、前フレームテーブルに１つの顔画像も記述されていなければ、顔集合枠ＧＲＰの定義が解除され、評価エリアＥＶＡ全体がパラメータ調整エリアＡＤＪとして定義される。
【００４５】
したがって、前フレームテーブルに図７に示す矩形枠ＫＦ１およびＫＦ２が記述されている場合、顔枠ＫＦ１およびＫＦ２に外接するように顔集合枠ＧＲＰが定義される。さらに、顔集合枠ＧＲＰ内のエリアを覆うようにパラメータ調整エリアＡＤＪが定義される。
【００４６】
上述したスルー画像用ＡＥ／ＡＷＢ処理および記録用ＡＥ／ＡＷＢ処理は、ＡＥ／ＡＷＢ評価回路２２から出力された２５６個のＡＥ／ＡＷＢ評価値のうち、パラメータ調整エリアＡＤＪに属するＡＥ／ＡＷＢ評価値に基づいて実行される。また、スルー画像用ＡＦ処理および記録用ＡＦ処理も、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、パラメータ調整エリアＡＤＪに属するＡＦ評価値に基づいて実行される。これによって、露光量やフォーカスなどの撮像パラメータの調整精度が向上する。
【００４７】
シャッタボタン２８ｓが操作（半押し）されると、顔集合枠ＧＲＰが定義されているか否かが判別される。顔集合枠ＧＲＰが定義されていれば、切り出しエリアＣＴの位置およびサイズが以下の要領で調整される。
【００４８】
まず、係数αｔｏｐ，αｕｎｄｅｒ，αｌｅｆｔおよびαｒｉｇｈｔが、顔集合枠ＧＲＰのサイズに基づいて決定される。次に、係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔおよびβｒｉｇｈｔが、前フレームテーブルに記述された顔枠の数に基づいて決定される。
【００４９】
係数αｔｏｐ，αｕｎｄｅｒ，αｌｅｆｔおよびαｒｉｇｈｔは、顔集合枠ＧＲＰの位置および／またはサイズに応じて異なる数値を示す。また、係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔおよびβｒｉｇｈｔは、顔集合枠ＧＲＰを形成する顔枠の数に応じて異なる数値を示す。特に、係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔおよびβｒｉｇｈｔの各々は、顔枠数＝１に対応して“１．０”を示し、顔枠数が増大するほど“０．０”に近づく特性を有する。
【００５０】
こうして決定された係数αｔｏｐ，αｕｎｄｅｒ，αｌｅｆｔ，αｒｉｇｈｔならびに係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔ，βｒｉｇｈｔは数１に適用され、これによって切り出しエリアＣＴの位置およびサイズが決定される。
［数１］
Ｄ＿ｔｏｐ＝Ｄ＿ｆｙ＊αｔｏｐ＊βｔｏｐ
Ｄ＿ｕｎｄｅｒ＝Ｄ＿ｆｙ＊αｕｎｄｅｒ＊βｕｎｄｅｒ
Ｄ＿ｌｅｆｔ＝Ｄ＿ｆｘ＊αｌｅｆｔ＊βｌｅｆｔ
Ｄ＿ｒｉｇｈｔ＝Ｄ＿ｆｘ＊αｒｉｇｈｔ＊βｒｉｇｈｔ
ただし、
Ｄ＿ｆｘ：顔集合枠ＧＲＰの水平サイズ
Ｄ＿ｆｙ：顔集合枠ＧＲＰの垂直サイズ
Ｄ＿ｔｏｐ：顔集合枠ＧＲＰの上端から切り出しエリアＣＴの上端までの距離
Ｄ＿ｕｎｄｅｒ：顔集合枠ＧＲＰの下端から切り出しエリアＣＴの下端までの距離
Ｄ＿ｌｅｆｔ：顔集合枠ＧＲＰの左端から切り出しエリアＣＴの左端までの距離
Ｄ＿ｒｉｇｈｔ：顔集合枠ＧＲＰの右端から切り出しエリアＣＴの右端までの距離
【００５１】
数１によって定義された切り出しエリアＣＴは、顔集合枠ＧＲＰとの間で図８（Ａ）に示す位置関係およびサイズ関係を示す。
【００５２】
ただし、切り出しエリアＣＴのサイズは、既定のアスペクト比（＝４：３）に適合するように修正される。したがって、図８（Ａ）に示す切り出しエリアＣＴが得られた場合、切り出しエリアＣＴのサイズは、図８（Ｂ）に示すように修正される。
【００５３】
既定のアスペクト比に適合する切り出しエリアＣＴが得られると、この切り出しエリアＣＴがＹＵＶ画像エリア３２ｂからはみ出すか否か（切り出しエリアＣＴがエラー条件に合致するか否か）が判別される。切り出しエリアＣＴがエラー条件に合致すれば、切り出しエリアＣＴが再定義される。つまり、切り出しエリアＣＴがＹＵＶ画像エリア３２ｂに収まるように、切り出しエリアＣＴのサイズが縮小される。
【００５４】
したがって、既定のアスペクト比を有する切り出しエリアＣＴが図９（Ａ）に示す要領でＹＵＶ画像エリア３２ｂに配置される場合、切り出しエリアＣＴのサイズは図９（Ｂ）に示すように縮小される。
【００５５】
ＬＣＤドライバ３６は、シャッタボタン２８ｓが半押し状態にあるとき、こうして定義された切り出しエリアＣＴに属する画像データをＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データに基づく一部の被写界像をＬＣＤモニタ３８に全面表示する。したがって、ＬＣＤモニタ３８に表示されるスルー画像の画角は、シャッタボタン２８ｓが半押しされる前後で変化する。
【００５６】
つまり、図１０（Ａ）に示す被写界像がＬＣＤモニタ３８に表示されている状態でシャッタボタン２８ｓが半押しされると、図１０（Ｂ）に示す要領で顔集合枠ＧＲＰおよび切り出しエリアＣＴが定義される。ＬＣＤモニタ３８には、切り出しエリアＣＴに属する一部の被写界像が拡大表示される。
【００５７】
また、図１１（Ａ）に示す被写界像がＬＣＤモニタ３８に表示されている状態でシャッタボタン２８ｓが半押しされると、図１１（Ｂ）に示す要領で顔集合枠ＧＲＰおよび切り出しエリアＣＴが定義され、定義された切り出しエリアＣＴに属する一部の被写界像がＬＣＤモニタ３８に拡大表示される。
【００５８】
さらに、図１２（Ａ）に示す被写界像がＬＣＤモニタ３８に表示されている状態でシャッタボタン２８ｓが半押しされると、図１２（Ｂ）に示す要領で顔集合枠ＧＲＰおよび切り出しエリアＣＴが定義される。この結果、切り出しエリアＣＴに属する一部の被写界像がＬＣＤモニタ３８に拡大表示される。
【００５９】
シャッタボタン２８ｓが全押しされると、Ｉ／Ｆ４０は、切り出しエリアＣＴに対応する記録用切り出しエリア（図示せず）を記録画像エリア３２ｃに設定し、記録用切り出しエリアに属する一部の画像データを記録画像エリア３２ｃから読み出し、そして読み出された画像データを記録媒体４２に記録する。
【００６０】
このように、切り出しエリアＣＴ（および記録用切り出しエリア）の位置は顔枠の集合を覆うように調整され、切り出しエリアＣＴ（および記録用切り出しエリア）のサイズは顔枠の集合の規模に基づいて調整される。これによって、人物の顔部の画像の集合に対する背景画像の割合が適応的に調整され、被写界像の再現性が向上する。
【００６１】
ＣＰＵ４０は、図１３〜図１４に示す撮像タスク，図１５〜図１７に示す顔検出タスク，図１８に示すコンティニュアスＡＦタスク，および図１９〜図２１に示すエリア制御タスクを含む複数のタスクを並列的に実行する。これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。また、顔検出タスクおよびコンティニュアスＡＦタスクの起動／停止は、撮像タスクによって制御される。
【００６２】
図１３を参照して、ステップＳ１ではスルー画像処理を実行する。この結果、被写界を表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３では顔検出タスクを起動し、ステップＳ５ではコンティニュアスＡＦタスクを起動する。ステップＳ７ではシャッタボタン２８ｓが半押しされたか否かを判別し、ＮＯである限り、ステップＳ９のスルー画像用ＡＥ／ＡＷＢ処理を繰り返す。スルー画像用ＡＥ／ＡＷＢ処理はパラメータ調整エリアＡＤＪに属するＡＥ／ＡＷＢ評価値に基づいて実行され、これによってスルー画像の明るさおよび白バランスが適度に調整される。
【００６３】
ステップＳ７でＹＥＳであれば、ステップＳ１１で顔検出タスクを停止し、ステップＳ１３でコンティニュアスＡＦタスクを停止する。ステップＳ１５では記録用ＡＦ処理を実行し、ステップＳ１７では記録用ＡＥ処理を実行する。記録用ＡＦ処理はパラメータ調整エリアＡＤＪに属するＡＦ評価値に基づいて実行され、記録用ＡＥ処理はパラメータ調整エリアＡＤＪに属するＡＥ／ＡＷＢ評価値に基づいて実行される。これによって、スルー画像のフォーカスおよび明るさが厳格に調整される。
【００６４】
ステップＳ１９ではシャッタボタン２８ｓが全押しされたか否かを判別し、ステップＳ２１ではシャッタボタン２８ｓの操作が解除されたか否かを判別する。ステップＳ１９でＹＥＳであればステップＳ２３に進み、ステップＳ２１でＹＥＳであればステップＳ３に戻る。ステップＳ２３では、記録用ＡＷＢ処理を実行し、ステップＳ２５では記録処理を実行する。記録用ＡＷＢ処理は、パラメータ調整エリアＡＤＪに属するＡＥ／ＡＷＢ評価値に基づいて実行される。これによって、最適な白バランスを有する高解像度の被写界像が記録媒体４２に記録される。ステップＳ２７ではスルー画像処理を再開し、その後にステップＳ３に戻る。
【００６５】
図１５を参照して、ステップＳ３１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ＡＦ起動条件が満足されるか否かをステップＳ３３で判別する。ここでＮＯであればそのままステップＳ３１に戻る一方、ＹＥＳであればステップＳ３５でスルー画像用ＡＦ処理を実行してからステップＳ７１に戻る。
【００６６】
ＡＦ起動条件が満足されるか否かの判別処理はパラメータ調整エリアＡＤＪに属するＡＦ評価値に基づいて実行され、スルー画像用ＡＦ処理もパラメータ調整エリアＡＤＪに属するＡＦ評価値に基づいて実行される。これによって、スルー画像のフォーカスが継続的に調整される。
【００６７】
図１６を参照して、ステップＳ４１では、テーブルＴＢＬ１〜ＴＢＬ２を初期化し、ステップＳ４３ではテーブルＴＢＬ１を現フレームテーブルとして指定する。ステップＳ４５では変数Ｋを“１”に設定し、ステップＳ４７では顔検出枠ＦＤ＿Ｋを評価エリアＥＶＡの左上の顔検出開始位置に配置する。
【００６８】
なお、現フレームテーブルは、後述するステップＳ７１の処理によってテーブルＴＢＬ１〜ＴＢＬ２の間で更新される。したがって、現フレームテーブルは次フレームにおいて前フレームテーブルとなる。
【００６９】
ステップＳ４９では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ５１で変数Ｌを“１”に設定する。ステップＳ５３では顔検出枠ＦＤ＿Ｋに属する部分画像を辞書ＤＩＣに登録された顔パターンＦＰ＿Ｌと照合し、ステップＳ５５では顔検出枠ＦＤ＿Ｋの部分画像が顔パターンＦＰ＿Ｌに適合するか否かを判別する。
【００７０】
ここでＮＯであればステップＳ５７で変数Ｌをインクリメントし、インクリメントされた変数Ｌが定数Ｌｍａｘ（Ｌｍａｘ：辞書ＤＩＣに登録された顔パターンの総数）を上回るか否かをステップＳ５９で判別する。そして、Ｌ≦ＬｍａｘであればステップＳ５３に戻る一方、Ｌ＞ＬｍａｘであればステップＳ６３に進む。
【００７１】
ステップＳ５５でＹＥＳであればステップＳ６１に進み、顔検出枠ＦＤ＿Ｋの現時位置およびサイズを顔枠情報として指定テーブルに記述する。ステップＳ６１の処理が完了すると、ステップＳ６３に進む。
【００７２】
ステップＳ６３では、顔検出枠ＦＤ＿Ｋが評価エリアＥＶＡの右下の顔検出終了位置に達したか否かを判別する。ここでＮＯであればステップＳ６５で顔検出枠ＦＤ＿Ｋを既定量だけラスタ方向に移動させ、その後にステップＳ５１に戻る。一方、ステップＳ６３でＹＥＳであれば、ステップＳ６７で変数Ｋをインクリメントし、インクリメントされた変数Ｋが“Ｋｍａｘ”を上回るか否かをステップＳ６９で判別する。
【００７３】
そして、Ｋ≦ＫｍａｘであればステップＳ４７に戻る一方、Ｋ＞ＫｍａｘであればステップＳ７１に進む。ステップＳ７１では、指定テーブルを更新しかつ更新された指定テーブルを初期化する。ステップＳ７１の処理が完了すると、ステップＳ７３で変数Ｋを“１”に設定し、その後にステップＳ４７に戻る。
【００７４】
図１９を参照して、ステップＳ８１では、ＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに割り当てられる切り出しエリアＣＴを初期化する。切り出しエリアＣＴは、ＹＵＶ画像エリア３２ｂに格納される被写界像の全体を覆うように設定される。
【００７５】
ステップＳ８３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ８５で前フレームテーブルを指定する。ステップＳ８７では、前フレームテーブルに少なくとも１つの顔枠が記述されているか否かを判別し、ＹＥＳであればステップＳ８９〜Ｓ９１を経てステップＳ８５に進む一方、ＮＯであればステップＳ９３〜Ｓ９５を経てステップＳ９７に進む。
【００７６】
ステップＳ８９では、前フレームテーブルに記述された顔枠に外接するように顔集合枠ＧＲＰを定義する。ステップＳ９１では、評価エリアＥＶＡを形成する２５６個の分割エリアのうち顔集合枠ＧＲＰ内のエリアを覆う一部の分割エリアを調整エリアＡＤＪとして定義する。ステップＳ９３では顔集合枠ＧＲＰの定義を解除し、ステップＳ９５では評価エリアＥＶＡ全体を調整エリアＡＤＪとして定義する。
【００７７】
ステップＳ９７ではシャッタボタン２８ｓが操作（半押し）されたか否かを判別し、ＮＯでればステップＳ８３に戻る一方、ＹＥＳであればステップＳ９９に進む。ステップＳ９９では、顔集合枠ＧＲＰが定義済みであるか否かを判別し、ＮＯであればそのままステップＳ１１３に進む一方、ＹＥＳであればステップＳ１０１〜Ｓ１１１を経てステップＳ１１３に進む。ステップＳ１１３では、シャッタボタン２８ｓの操作が解除されたか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ８１に戻る。
【００７８】
ステップＳ１０１では、顔集合枠ＧＲＰのサイズを参照して係数αｔｏｐ，αｕｎｄｅｒ，αｌｅｆｔ，αｒｉｇｈｔを決定する。ステップＳ１０３では、前フレームの被写界像から検出された顔枠の数を参照して係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔ，βｒｉｇｈｔを決定する。
【００７９】
ステップＳ１０５では、決定された係数αｔｏｐ，αｕｎｄｅｒ，αｌｅｆｔ，αｒｉｇｈｔならびに係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔ，βｒｉｇｈｔを上述した数１に適用して、切り出しエリアＣＴのサイズおよび位置を算出する。ステップＳ１０７では、ステップＳ１０５で算出された切り出しエリアＣＴのサイズを、既定のアスペクト比（＝４：３）に適合するように修正する。
【００８０】
ステップＳ１０９では、こうして定義された切り出しエリアＣＴがＹＵＶ画像エリア３２ｂからはみ出すか否か（切り出しエリアＣＴがエラー条件に合致するか否か）を判別する。ここでＮＯであればそのままステップＳ１１３に進む一方、ＹＥＳであれば切り出しエリアＣＴをステップＳ１１１で再定義してからステップＳ１１３に進む。ステップＳ１１１の処理の結果、切り出しエリアＣＴがＹＵＶ画像エリア３２ｂに収まるように切り出しエリアＣＴのサイズが縮小される。
【００８１】
以上の説明から分かるように、イメージャ１６から出力された被写界像は、メモリ制御回路３０によってＳＤＲＡＭ３２に取り込まれる。ＣＰＵ２６は、取り込まれた被写界像から１または２以上の顔画像の集合を検出し(S41~S73, S89)、検出された集合の規模に基づくサイズを有する切り出しエリアＣＴを、検出された集合を覆う位置に定義する(S105~S111)。ＣＰＵ２６はまた、切り出しエリアＣＴに属する一部の被写界像をＳＤＲＡＭ３２に取り込まれた被写界像から切り出す(S1, S25, S27)。
【００８２】
このように、切り出しエリアＣＴの位置は顔画像の集合を覆うように調整され、切り出しエリアＣＴのサイズは顔画像の集合の規模に基づいて調整される。これによって、顔画像の集合に対する背景画像の割合が適応的に調整され、被写界像の再現性が向上する。
【００８３】
なお、この実施例では、切り出しエリアＣＴがエラー条件に合致するときに切り出しエリアＣＴのサイズを縮小するようにしているが、サイズの縮小に代えて或いはサイズの縮小とともに切り出しエリアＣＴの位置を変更するようにしてもよい。
【００８４】
また、この実施例では、既定の物体として人物の顔部を想定しているが、これに代えて犬や猫などの動物の顔部を想定するようにしてもよい。
【００８５】
さらに、この実施例では、静止画像を記録するいわゆるディジタルスチルカメラを想定しているが、この発明は動画像を記録するディジタルビデオカメラにも適用できる。
【００８６】
また、この実施例では、シャッタボタン２８ｓが半押しされると、顔検出タスクが停止し（図１３のステップＳ７，Ｓ１１参照）、切り出しエリアＣＴが位置およびサイズが確定する（図１９〜図２１のステップＳ９７〜Ｓ１１１参照）。切り出しエリアＣＴの位置およびサイズは、シャッタボタン２８ｓの操作が解除されるまで固定される。
【００８７】
しかし、シャッタボタン２８ｓが半押しされた後も顔検出タスクを起動し続け、半押し状態における顔画像の出現，移動，消失に従って切り出しエリアＣＴの位置およびサイズを変更するようにしてもよい。この場合、好ましくは、図１３に示すステップＳ１１，図１９に示すステップＳ９７，および図２１に示すステップＳ１１３の処理が省略され、さらに、図２０のステップＳ９９でＮＯと判断されたとき、または図２１のステップＳ１１１の処理が完了したときに、処理が図１９に示すステップＳ８３に戻る。
【００８８】
さらに、この実施例では、切り出しエリアＣＴがＹＵＶ画像エリア３２ｂからはみ出すことをエラー条件として規定しているが、これに加えて、これまで検出されていた顔が検出されなくなったこともエラー条件として規定するようにしてもよい。
【図面の簡単な説明】
【００８９】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】評価エリアを撮像面に割り当てた状態の一例を示す図解図である。
【図３】図１実施例で参照される辞書の一例を示す図解図である。
【図４】顔認識処理のために用いられる複数の顔検出枠の一例を示す図解図である。
【図５】図１実施例によって参照されるテーブルの一例を示す図解図である。
【図６】顔検出動作の一部を示す図解図である。
【図７】パラメータ調整エリアの設定動作の一例を示す図解図である。
【図８】（Ａ）は切り出しエリアを定義する動作の一部を示す図解図であり、（Ｂ）は切り出しエリアを定義する動作の他の一部を示す図解図である。
【図９】（Ａ）は切り出しエリアを定義する動作のその他の一部を示す図解図であり、（Ｂ）は切り出しエリアを定義する動作のさらにその他の一部を示す図解図である。
【図１０】（Ａ）は被写界の一例を示す図解図であり、（Ｂ）は被写界に割り当てられた顔集合エリアおよび切り出しエリアの一例を示す図解図である。
【図１１】（Ａ）は被写界の他の一例を示す図解図であり、（Ｂ）は被写界に割り当てられた顔集合エリアおよび切り出し枠の他の一例を示す図解図である。
【図１２】（Ａ）は被写界のその他の一例を示す図解図であり、（Ｂ）は被写界に割り当てられた顔集合エリアおよび切り出しエリアのその他の一例を示す図解図である。
【図１３】図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１４】図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１５】図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１６】図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１７】図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１８】図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１９】図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２０】図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２１】図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【符号の説明】
【００９０】
１０ …ディジタルカメラ
１６ …イメージセンサ
２０ …前処理回路
２２ …ＡＥ／ＡＷＢ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
３４ …後処理回路
４４ …フラッシュメモリ
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に、ディジタルカメラに適用され、撮像面で捉えられた被写界像を処理する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、互いに異なる複数のサイズをそれぞれ有する複数の顔判別領域が準備される。これらの顔判別領域は、被写界像から顔画像を検出するために撮像面をラスタ走査方向に移動する。顔判別領域に属する部分画像が顔画像と判別されると、この時点の顔判別領域のサイズおよび位置が顔情報として記述される。フォーカスや露光量のような撮像パラメータは、こうして記述された顔位置情報を参照して調整される。
【特許文献１】特開２００７−２５９４２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、背景技術では、顔画像の検出結果が被写界像を再現する際の画角に反映されることはなく、被写界像の再現性に限界がある。
【０００４】
それゆえに、この発明の主たる目的は、被写界像の再現性を向上させることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００５】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、撮像手段(16)から出力された被写界像を取り込む取り込み手段(30, 32)、取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出手段(S31~S63, S89)、検出手段によって検出された集合の規模に基づくサイズを有する切り出しエリアを検出手段によって検出された集合を覆う位置に定義する定義手段(S105~S111)、および切り出しエリアに属する一部の被写界像を取り込み手段によって取り込まれた被写界像から切り出す切り出し手段(S1, S25, S27)を備える。
【０００６】
撮像手段から出力された被写界像は、取り込み手段によって取り込まれる。検出手段は、取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する。定義手段は、検出手段によって検出された集合の規模に基づくサイズを有する切り出しエリアを、検出手段によって検出された集合を覆う位置に定義する。切り出し手段は、切り出しエリアに属する一部の被写界像を取り込み手段によって取り込まれた被写界像から切り出す。
【０００７】
このように、切り出しエリアの位置は特定物体像の集合を覆うように調整され、切り出しエリアのサイズは特定物体像の集合の規模に基づいて調整される。これによって、特定物体像の集合に対する背景画像の割合が適応的に調整され、被写界像の再現性が向上する。
【０００８】
好ましくは、検出手段は集合を形成する特定物体像に接する枠を定義する枠定義手段(S89)を含み、定義手段は枠定義手段によって定義された枠と集合を形成する特定物体像の数とに基づいて切り出しエリアのサイズおよび位置を決定する決定手段(S105)を含む。
【０００９】
好ましくは、定義手段は決定手段によって決定されたサイズおよび／または位置がエラー条件に合致するとき切り出しエリアを再定義する再定義手段(S109~S111)をさらに含む。
【００１０】
さらに好ましくは、エラー条件は切り出しエリアが取り込み手段によって取り込まれた被写界像からはみ出すという条件に相当し、再定義手段は切り出しエリアのサイズおよび／または位置を変更する。
【００１１】
好ましくは、切り出し手段によって切り出された被写界像を表示する表示手段(36, 38)をさらに備え、撮像手段は被写界像を繰り返し出力し、取り込み手段は被写界像を繰り返し取り込む。
【００１２】
さらに好ましくは、切り出しエリアを初期設定する初期設定手段(S81)をさらに備え、定義手段は初期設定手段による初期設定の後の既定指示に応答して定義処理を実行する。
【００１３】
好ましくは、検出手段によって検出された集合に対応する一部の被写界像を参照して撮像パラメータを調整する調整手段(S91, S9, S15, S17, S23, S75)をさらに備える。
【００１４】
好ましくは、特定物体像は人物の顔部の画像に相当する。
【００１５】
この発明に従う画像処理プログラムは、撮像手段(16)から出力された被写界像を取り込む取り込み手段(20, 34)を備える画像処理装置(10)のプロセッサ(26)に、取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出ステップ(S31~S63, S89)、検出ステップによって検出された集合の規模に基づくサイズを有する切り出しエリアを検出ステップによって検出された集合を覆う位置に定義する定義ステップ (S105~S111)、および切り出しエリアに属する一部の被写界像を取り込み手段によって取り込まれた被写界像から切り出す切り出しステップ(S1, S25, S27)を実行させるための、画像処理プログラムである。
【００１６】
この発明に従う画像処理方法は、撮像手段(16)から出力された被写界像を取り込む取り込み手段(20, 34)を備える画像処理装置(10)によって実行される画像処理方法であって、取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出ステップ(S31~S63, S89)、検出ステップによって検出された集合の規模に基づくサイズを有する切り出しエリアを検出ステップによって検出された集合を覆う位置に定義する定義ステップ (S105~S111)、および切り出しエリアに属する一部の被写界像を取り込み手段によって取り込まれた被写界像から切り出す切り出しステップ(S1, S25, S27)を備える。
【発明の効果】
【００１７】
この発明によれば、切り出しエリアの位置は特定物体像の集合を覆うように調整され、切り出しエリアのサイズは特定物体像の集合の規模に基づいて調整される。これによって、特定物体像の集合に対する背景画像の割合が適応的に調整され、被写界像の再現性が向上する。
【００１８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００１９】
図１を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た被写界の光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、被写界像を表す電荷が生成される。
【００２０】
電源が投入されると、ＣＰＵ２６は、撮像タスクの下でスルー画像処理を開始するべく、ドライバ１８ｃに露光動作および間引き読み出し動作の繰り返しを命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷の一部をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく低解像度の生画像信号が周期的に出力される。
【００２１】
前処理回路２０は、イメージャ１６から出力された生画像信号にＣＤＳ(Correlated Double Sampling)，ＡＧＣ（Automatic Gain Control），Ａ／Ｄ変換などの処理を施し、ディジタル信号である生画像データを出力する。出力された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。
【００２２】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに書き込まれる。
【００２３】
ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、被写界のリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２４】
図２を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００２５】
ＡＥ／ＡＷＢ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ／ＡＷＢ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ／ＡＷＢ評価回路２２から出力される。
【００２６】
また、ＡＦ評価回路２４は、前処理回路２０から出力されたＲＧＢデータのうち同じ評価エリアＥＶＡに属するＧデータの高周波成分を抽出し、抽出された高域周波数成分を垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００２７】
ＣＰＵ２６は、ＡＥ／ＡＷＢ評価回路２２からの出力に基づくスルー画像用ＡＥ／ＡＷＢ処理をスルー画像処理と並列して実行し、適正ＥＶ値および適正白バランス調整ゲインを算出する。算出された適正ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。また、算出された適正白バランス調整ゲインは、後処理回路３４に設定される。この結果、スルー画像の明るさおよび白バランスが適度に調整される。
【００２８】
ＣＰＵ２６はまた、スルー画像処理と並列するコンティニュアスＡＦタスクの下で、ＡＦ評価回路２４からの出力に基づくスルー画像用ＡＦ処理を実行する。フォーカスレンズ１２は、ＡＦ評価回路２４の出力がＡＦ起動条件を満足するとき、ドライバ１８ａによって合焦点に設定される。これによって、スルー画像のフォーカスが適度に調整される。
【００２９】
シャッタボタン２８ｓが半押しされると、ＣＰＵ２６は、コンティニュアスＡＦタスクを中断し、記録用ＡＦ処理を撮像タスクの下で実行する。記録用ＡＦ処理もまたＡＦ評価回路２４の出力に基づいて実行される。これによって、フォーカスが厳格に調整される。ＣＰＵ２６は続いて、ＡＥ／ＡＷＢ評価回路２２の出力に基づいて記録用ＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像の明るさが厳格に調整される。
【００３０】
シャッタボタン２８ｓが全押しされると、ＣＰＵ２６は、記録処理のために、ドライバ１８ｃに露光動作および全画素読み出し動作を１回ずつ実行することを命令し、さらにＩ／Ｆ４０を起動する。ドライバ１８ｃは、垂直同期信号Ｖｓｙｎｃに応答して撮像面を露光し、これによって生成された電荷の全てをラスタ走査態様で撮像面から読み出す。イメージャ１６からは、高解像度を有する１フレームの生画像信号が出力される。
【００３１】
イメージャ１６から出力された生画像信号は前処理回路２０によって生画像データに変換され、変換された生画像データはメモリ制御回路３０によってＳＤＲＡＭ３２の記録画像エリア３２ｃに書き込まれる。ＣＰＵ２６は、記録画像エリア３２ｃに格納された生画像データに基づいて最適白バランス調整ゲインを算出し、算出された最適白バランス調整ゲインを後処理回路３４に設定する。
【００３２】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データを最適白バランスを有するＹＵＶ形式の画像データに変換し、変換された画像データをメモリ制御回路３０を通して記録画像エリア３２ｃに書き込む。Ｉ／Ｆ４０は、こうして記録画像エリア３２ｃに格納された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをファイル形式で記録媒体４２に記録する。
【００３３】
なお、スルー画像処理は、高解像度を有する生画像データが記録画像エリア３２ｃに確保された時点で再開される。コンティニュアスＡＦタスクもまた、この時点で再起動される。
【００３４】
ＣＰＵ２６は、スルー画像処理と並列して実行される顔検出タスクの下で、ＳＤＲＡＭ３２の生画像エリア３２ａに格納された低解像度の生画像データから人物の顔画像を繰り返し検索する。このような顔検出タスクのために、図３に示す辞書ＤＩＣ，図４に示す複数の顔検出枠ＦＤ＿１，ＦＤ＿２，ＦＤ＿３，…および図５に示す２つのテーブルＴＢＬ１〜ＴＢＬ２が準備される。
【００３５】
図３によれば、複数の顔パターンＦＰ＿１，ＦＰ＿２，…が辞書ＤＩＣに登録される。また、図４によれば、顔検出枠ＦＤ＿１，ＦＤ＿２，ＦＤ＿３，…は、互いに異なる形状および／または大きさを有する。さらに、図５に示すテーブルＴＢＬ１〜ＴＢＬ２の各々は、顔枠情報を記述するためのテーブルに相当し、顔画像の位置（顔画像が検出された時点の顔検出枠の位置）を記述するカラムと顔画像のサイズ（顔画像が検出された時点の顔検出枠のサイズ）を記述するカラムとによって形成される。
【００３６】
顔検出タスクにおいては、まずテーブルＴＢＬ１が現フレームの顔枠情報を保持する現フレームテーブルとして指定される。ただし、指定されるテーブルは１フレーム毎にテーブルＴＢＬ１およびＴＢＬ２の間で更新され、現フレームテーブルは次フレームにおいて前フレームテーブルとなる。現フレームテーブルの指定が完了すると、変数Ｋが“１”に設定され、顔検出枠ＦＤ＿Ｋが図６に示す評価エリアＥＶＡの左上つまり顔検出開始位置に設定される。
【００３７】
垂直同期信号Ｖｓｙｎｃが発生すると、ＳＤＲＡＭ３２の生画像エリア３２ａに格納された現フレームの生画像データのうち、顔検出枠ＦＤ＿Ｋに属する部分画像データが、図３に示す辞書ＤＩＣに記述された複数の顔パターンＦＰ＿１，ＦＰ＿２，…の各々と照合される。注目する部分画像がいずれかの顔パターンに適合すると判別されれば、顔検出枠ＦＤ＿Ｋの現在位置およびサイズが顔枠情報として現フレームテーブルに記述される。
【００３８】
顔検出枠ＦＤ＿Ｋは、図６に示す要領でラスタ方向に既定量ずつ移動され、評価エリアＥＶＡ上の複数の位置で上述のような照合処理を施される。そして、人物の顔画像が発見される毎に、発見された顔画像に対応する顔枠情報（つまり顔検出枠ＦＤ＿Ｋの現在位置およびサイズ）が現フレームテーブルに記述されていく。
【００３９】
顔検出枠ＦＤ＿Ｋが評価エリアＥＶＡの右下つまり顔検出終了位置に達すると、変数Ｋが更新され、更新された変数Ｋの値に対応する顔検出枠ＦＤ＿Ｋが顔検出開始位置に再配置される。上述と同様、顔検出枠ＦＤ＿Ｋは評価エリアＥＶＡ上をラスタ方向に移動し、照合処理によって検出された顔画像に対応する顔枠情報は現フレームテーブルに記述される。このような顔認識処理は、顔検出枠ＦＤ＿Ｋｍａｘ（Ｋｍａｘ：末尾の顔検出枠の番号）が顔検出終了位置に達するまで繰り返し実行される。
【００４０】
顔検出枠ＦＤ＿Ｋｍａｘが顔検出終了位置に達すると、指定テーブルが更新され、かつ更新後の指定テーブルが初期化される。さらに、変数Ｋが“１”に設定される。次フレームの顔認識処理は、垂直同期信号Ｖｓｙｎｃの発生に応答して開始される。
【００４１】
上述した撮像タスクと並行して、ＣＰＵ４０は、ＡＥ／ＡＷＢ処理およびＡＦ処理のために参照されるパラメータ調整エリアＡＤＪの位置および形状、ならびにＬＣＤドライバ３６による画像読み出し処理のためにＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに割り当てられる切り出しエリアＣＴの位置および形状を、エリア制御タスクの下で定義する。
【００４２】
エリア制御タスクでは、まず切り出しエリアＣＴが初期化される。切り出しエリアＣＴは、ＹＵＶ画像エリア３２ｂに格納される被写界像の全体を覆うように設定される。ＬＣＤドライバ３６は、初期設定された切り出しエリアＣＴに属する画像データをＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データに基づく被写界像をスルー画像としてＬＣＤモニタ３８に表示する。
【００４３】
垂直同期信号Ｖｓｙｎｃが発生すると、顔枠情報が確定している前フレームテーブルが指定され、前フレームテーブルに顔枠情報が記述されているか否かが判別される。
【００４４】
前フレームテーブルに少なくとも１つの顔枠が記述されていれば、この顔枠の集合に外接する顔集合枠ＧＲＰが定義される。さらに、評価エリアＥＶＡを形成する２５６個の分割エリアのうち顔集合枠ＧＲＰ内のエリアを覆う一部の分割エリアが、パラメータ調整エリアＡＤＪとして定義される。これに対して、前フレームテーブルに１つの顔画像も記述されていなければ、顔集合枠ＧＲＰの定義が解除され、評価エリアＥＶＡ全体がパラメータ調整エリアＡＤＪとして定義される。
【００４５】
したがって、前フレームテーブルに図７に示す矩形枠ＫＦ１およびＫＦ２が記述されている場合、顔枠ＫＦ１およびＫＦ２に外接するように顔集合枠ＧＲＰが定義される。さらに、顔集合枠ＧＲＰ内のエリアを覆うようにパラメータ調整エリアＡＤＪが定義される。
【００４６】
上述したスルー画像用ＡＥ／ＡＷＢ処理および記録用ＡＥ／ＡＷＢ処理は、ＡＥ／ＡＷＢ評価回路２２から出力された２５６個のＡＥ／ＡＷＢ評価値のうち、パラメータ調整エリアＡＤＪに属するＡＥ／ＡＷＢ評価値に基づいて実行される。また、スルー画像用ＡＦ処理および記録用ＡＦ処理も、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、パラメータ調整エリアＡＤＪに属するＡＦ評価値に基づいて実行される。これによって、露光量やフォーカスなどの撮像パラメータの調整精度が向上する。
【００４７】
シャッタボタン２８ｓが操作（半押し）されると、顔集合枠ＧＲＰが定義されているか否かが判別される。顔集合枠ＧＲＰが定義されていれば、切り出しエリアＣＴの位置およびサイズが以下の要領で調整される。
【００４８】
まず、係数αｔｏｐ，αｕｎｄｅｒ，αｌｅｆｔおよびαｒｉｇｈｔが、顔集合枠ＧＲＰのサイズに基づいて決定される。次に、係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔおよびβｒｉｇｈｔが、前フレームテーブルに記述された顔枠の数に基づいて決定される。
【００４９】
係数αｔｏｐ，αｕｎｄｅｒ，αｌｅｆｔおよびαｒｉｇｈｔは、顔集合枠ＧＲＰの位置および／またはサイズに応じて異なる数値を示す。また、係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔおよびβｒｉｇｈｔは、顔集合枠ＧＲＰを形成する顔枠の数に応じて異なる数値を示す。特に、係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔおよびβｒｉｇｈｔの各々は、顔枠数＝１に対応して“１．０”を示し、顔枠数が増大するほど“０．０”に近づく特性を有する。
【００５０】
こうして決定された係数αｔｏｐ，αｕｎｄｅｒ，αｌｅｆｔ，αｒｉｇｈｔならびに係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔ，βｒｉｇｈｔは数１に適用され、これによって切り出しエリアＣＴの位置およびサイズが決定される。
［数１］
Ｄ＿ｔｏｐ＝Ｄ＿ｆｙ＊αｔｏｐ＊βｔｏｐ
Ｄ＿ｕｎｄｅｒ＝Ｄ＿ｆｙ＊αｕｎｄｅｒ＊βｕｎｄｅｒ
Ｄ＿ｌｅｆｔ＝Ｄ＿ｆｘ＊αｌｅｆｔ＊βｌｅｆｔ
Ｄ＿ｒｉｇｈｔ＝Ｄ＿ｆｘ＊αｒｉｇｈｔ＊βｒｉｇｈｔ
ただし、
Ｄ＿ｆｘ：顔集合枠ＧＲＰの水平サイズ
Ｄ＿ｆｙ：顔集合枠ＧＲＰの垂直サイズ
Ｄ＿ｔｏｐ：顔集合枠ＧＲＰの上端から切り出しエリアＣＴの上端までの距離
Ｄ＿ｕｎｄｅｒ：顔集合枠ＧＲＰの下端から切り出しエリアＣＴの下端までの距離
Ｄ＿ｌｅｆｔ：顔集合枠ＧＲＰの左端から切り出しエリアＣＴの左端までの距離
Ｄ＿ｒｉｇｈｔ：顔集合枠ＧＲＰの右端から切り出しエリアＣＴの右端までの距離
【００５１】
数１によって定義された切り出しエリアＣＴは、顔集合枠ＧＲＰとの間で図８（Ａ）に示す位置関係およびサイズ関係を示す。
【００５２】
ただし、切り出しエリアＣＴのサイズは、既定のアスペクト比（＝４：３）に適合するように修正される。したがって、図８（Ａ）に示す切り出しエリアＣＴが得られた場合、切り出しエリアＣＴのサイズは、図８（Ｂ）に示すように修正される。
【００５３】
既定のアスペクト比に適合する切り出しエリアＣＴが得られると、この切り出しエリアＣＴがＹＵＶ画像エリア３２ｂからはみ出すか否か（切り出しエリアＣＴがエラー条件に合致するか否か）が判別される。切り出しエリアＣＴがエラー条件に合致すれば、切り出しエリアＣＴが再定義される。つまり、切り出しエリアＣＴがＹＵＶ画像エリア３２ｂに収まるように、切り出しエリアＣＴのサイズが縮小される。
【００５４】
したがって、既定のアスペクト比を有する切り出しエリアＣＴが図９（Ａ）に示す要領でＹＵＶ画像エリア３２ｂに配置される場合、切り出しエリアＣＴのサイズは図９（Ｂ）に示すように縮小される。
【００５５】
ＬＣＤドライバ３６は、シャッタボタン２８ｓが半押し状態にあるとき、こうして定義された切り出しエリアＣＴに属する画像データをＹＵＶ画像エリア３２ｂから読み出し、読み出された画像データに基づく一部の被写界像をＬＣＤモニタ３８に全面表示する。したがって、ＬＣＤモニタ３８に表示されるスルー画像の画角は、シャッタボタン２８ｓが半押しされる前後で変化する。
【００５６】
つまり、図１０（Ａ）に示す被写界像がＬＣＤモニタ３８に表示されている状態でシャッタボタン２８ｓが半押しされると、図１０（Ｂ）に示す要領で顔集合枠ＧＲＰおよび切り出しエリアＣＴが定義される。ＬＣＤモニタ３８には、切り出しエリアＣＴに属する一部の被写界像が拡大表示される。
【００５７】
また、図１１（Ａ）に示す被写界像がＬＣＤモニタ３８に表示されている状態でシャッタボタン２８ｓが半押しされると、図１１（Ｂ）に示す要領で顔集合枠ＧＲＰおよび切り出しエリアＣＴが定義され、定義された切り出しエリアＣＴに属する一部の被写界像がＬＣＤモニタ３８に拡大表示される。
【００５８】
さらに、図１２（Ａ）に示す被写界像がＬＣＤモニタ３８に表示されている状態でシャッタボタン２８ｓが半押しされると、図１２（Ｂ）に示す要領で顔集合枠ＧＲＰおよび切り出しエリアＣＴが定義される。この結果、切り出しエリアＣＴに属する一部の被写界像がＬＣＤモニタ３８に拡大表示される。
【００５９】
シャッタボタン２８ｓが全押しされると、Ｉ／Ｆ４０は、切り出しエリアＣＴに対応する記録用切り出しエリア（図示せず）を記録画像エリア３２ｃに設定し、記録用切り出しエリアに属する一部の画像データを記録画像エリア３２ｃから読み出し、そして読み出された画像データを記録媒体４２に記録する。
【００６０】
このように、切り出しエリアＣＴ（および記録用切り出しエリア）の位置は顔枠の集合を覆うように調整され、切り出しエリアＣＴ（および記録用切り出しエリア）のサイズは顔枠の集合の規模に基づいて調整される。これによって、人物の顔部の画像の集合に対する背景画像の割合が適応的に調整され、被写界像の再現性が向上する。
【００６１】
ＣＰＵ４０は、図１３〜図１４に示す撮像タスク，図１５〜図１７に示す顔検出タスク，図１８に示すコンティニュアスＡＦタスク，および図１９〜図２１に示すエリア制御タスクを含む複数のタスクを並列的に実行する。これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。また、顔検出タスクおよびコンティニュアスＡＦタスクの起動／停止は、撮像タスクによって制御される。
【００６２】
図１３を参照して、ステップＳ１ではスルー画像処理を実行する。この結果、被写界を表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３では顔検出タスクを起動し、ステップＳ５ではコンティニュアスＡＦタスクを起動する。ステップＳ７ではシャッタボタン２８ｓが半押しされたか否かを判別し、ＮＯである限り、ステップＳ９のスルー画像用ＡＥ／ＡＷＢ処理を繰り返す。スルー画像用ＡＥ／ＡＷＢ処理はパラメータ調整エリアＡＤＪに属するＡＥ／ＡＷＢ評価値に基づいて実行され、これによってスルー画像の明るさおよび白バランスが適度に調整される。
【００６３】
ステップＳ７でＹＥＳであれば、ステップＳ１１で顔検出タスクを停止し、ステップＳ１３でコンティニュアスＡＦタスクを停止する。ステップＳ１５では記録用ＡＦ処理を実行し、ステップＳ１７では記録用ＡＥ処理を実行する。記録用ＡＦ処理はパラメータ調整エリアＡＤＪに属するＡＦ評価値に基づいて実行され、記録用ＡＥ処理はパラメータ調整エリアＡＤＪに属するＡＥ／ＡＷＢ評価値に基づいて実行される。これによって、スルー画像のフォーカスおよび明るさが厳格に調整される。
【００６４】
ステップＳ１９ではシャッタボタン２８ｓが全押しされたか否かを判別し、ステップＳ２１ではシャッタボタン２８ｓの操作が解除されたか否かを判別する。ステップＳ１９でＹＥＳであればステップＳ２３に進み、ステップＳ２１でＹＥＳであればステップＳ３に戻る。ステップＳ２３では、記録用ＡＷＢ処理を実行し、ステップＳ２５では記録処理を実行する。記録用ＡＷＢ処理は、パラメータ調整エリアＡＤＪに属するＡＥ／ＡＷＢ評価値に基づいて実行される。これによって、最適な白バランスを有する高解像度の被写界像が記録媒体４２に記録される。ステップＳ２７ではスルー画像処理を再開し、その後にステップＳ３に戻る。
【００６５】
図１５を参照して、ステップＳ３１では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されると、ＡＦ起動条件が満足されるか否かをステップＳ３３で判別する。ここでＮＯであればそのままステップＳ３１に戻る一方、ＹＥＳであればステップＳ３５でスルー画像用ＡＦ処理を実行してからステップＳ７１に戻る。
【００６６】
ＡＦ起動条件が満足されるか否かの判別処理はパラメータ調整エリアＡＤＪに属するＡＦ評価値に基づいて実行され、スルー画像用ＡＦ処理もパラメータ調整エリアＡＤＪに属するＡＦ評価値に基づいて実行される。これによって、スルー画像のフォーカスが継続的に調整される。
【００６７】
図１６を参照して、ステップＳ４１では、テーブルＴＢＬ１〜ＴＢＬ２を初期化し、ステップＳ４３ではテーブルＴＢＬ１を現フレームテーブルとして指定する。ステップＳ４５では変数Ｋを“１”に設定し、ステップＳ４７では顔検出枠ＦＤ＿Ｋを評価エリアＥＶＡの左上の顔検出開始位置に配置する。
【００６８】
なお、現フレームテーブルは、後述するステップＳ７１の処理によってテーブルＴＢＬ１〜ＴＢＬ２の間で更新される。したがって、現フレームテーブルは次フレームにおいて前フレームテーブルとなる。
【００６９】
ステップＳ４９では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ５１で変数Ｌを“１”に設定する。ステップＳ５３では顔検出枠ＦＤ＿Ｋに属する部分画像を辞書ＤＩＣに登録された顔パターンＦＰ＿Ｌと照合し、ステップＳ５５では顔検出枠ＦＤ＿Ｋの部分画像が顔パターンＦＰ＿Ｌに適合するか否かを判別する。
【００７０】
ここでＮＯであればステップＳ５７で変数Ｌをインクリメントし、インクリメントされた変数Ｌが定数Ｌｍａｘ（Ｌｍａｘ：辞書ＤＩＣに登録された顔パターンの総数）を上回るか否かをステップＳ５９で判別する。そして、Ｌ≦ＬｍａｘであればステップＳ５３に戻る一方、Ｌ＞ＬｍａｘであればステップＳ６３に進む。
【００７１】
ステップＳ５５でＹＥＳであればステップＳ６１に進み、顔検出枠ＦＤ＿Ｋの現時位置およびサイズを顔枠情報として指定テーブルに記述する。ステップＳ６１の処理が完了すると、ステップＳ６３に進む。
【００７２】
ステップＳ６３では、顔検出枠ＦＤ＿Ｋが評価エリアＥＶＡの右下の顔検出終了位置に達したか否かを判別する。ここでＮＯであればステップＳ６５で顔検出枠ＦＤ＿Ｋを既定量だけラスタ方向に移動させ、その後にステップＳ５１に戻る。一方、ステップＳ６３でＹＥＳであれば、ステップＳ６７で変数Ｋをインクリメントし、インクリメントされた変数Ｋが“Ｋｍａｘ”を上回るか否かをステップＳ６９で判別する。
【００７３】
そして、Ｋ≦ＫｍａｘであればステップＳ４７に戻る一方、Ｋ＞ＫｍａｘであればステップＳ７１に進む。ステップＳ７１では、指定テーブルを更新しかつ更新された指定テーブルを初期化する。ステップＳ７１の処理が完了すると、ステップＳ７３で変数Ｋを“１”に設定し、その後にステップＳ４７に戻る。
【００７４】
図１９を参照して、ステップＳ８１では、ＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに割り当てられる切り出しエリアＣＴを初期化する。切り出しエリアＣＴは、ＹＵＶ画像エリア３２ｂに格納される被写界像の全体を覆うように設定される。
【００７５】
ステップＳ８３では垂直同期信号Ｖｓｙｎｃが発生したか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ８５で前フレームテーブルを指定する。ステップＳ８７では、前フレームテーブルに少なくとも１つの顔枠が記述されているか否かを判別し、ＹＥＳであればステップＳ８９〜Ｓ９１を経てステップＳ８５に進む一方、ＮＯであればステップＳ９３〜Ｓ９５を経てステップＳ９７に進む。
【００７６】
ステップＳ８９では、前フレームテーブルに記述された顔枠に外接するように顔集合枠ＧＲＰを定義する。ステップＳ９１では、評価エリアＥＶＡを形成する２５６個の分割エリアのうち顔集合枠ＧＲＰ内のエリアを覆う一部の分割エリアを調整エリアＡＤＪとして定義する。ステップＳ９３では顔集合枠ＧＲＰの定義を解除し、ステップＳ９５では評価エリアＥＶＡ全体を調整エリアＡＤＪとして定義する。
【００７７】
ステップＳ９７ではシャッタボタン２８ｓが操作（半押し）されたか否かを判別し、ＮＯでればステップＳ８３に戻る一方、ＹＥＳであればステップＳ９９に進む。ステップＳ９９では、顔集合枠ＧＲＰが定義済みであるか否かを判別し、ＮＯであればそのままステップＳ１１３に進む一方、ＹＥＳであればステップＳ１０１〜Ｓ１１１を経てステップＳ１１３に進む。ステップＳ１１３では、シャッタボタン２８ｓの操作が解除されたか否かを判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ８１に戻る。
【００７８】
ステップＳ１０１では、顔集合枠ＧＲＰのサイズを参照して係数αｔｏｐ，αｕｎｄｅｒ，αｌｅｆｔ，αｒｉｇｈｔを決定する。ステップＳ１０３では、前フレームの被写界像から検出された顔枠の数を参照して係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔ，βｒｉｇｈｔを決定する。
【００７９】
ステップＳ１０５では、決定された係数αｔｏｐ，αｕｎｄｅｒ，αｌｅｆｔ，αｒｉｇｈｔならびに係数βｔｏｐ，βｕｎｄｅｒ，βｌｅｆｔ，βｒｉｇｈｔを上述した数１に適用して、切り出しエリアＣＴのサイズおよび位置を算出する。ステップＳ１０７では、ステップＳ１０５で算出された切り出しエリアＣＴのサイズを、既定のアスペクト比（＝４：３）に適合するように修正する。
【００８０】
ステップＳ１０９では、こうして定義された切り出しエリアＣＴがＹＵＶ画像エリア３２ｂからはみ出すか否か（切り出しエリアＣＴがエラー条件に合致するか否か）を判別する。ここでＮＯであればそのままステップＳ１１３に進む一方、ＹＥＳであれば切り出しエリアＣＴをステップＳ１１１で再定義してからステップＳ１１３に進む。ステップＳ１１１の処理の結果、切り出しエリアＣＴがＹＵＶ画像エリア３２ｂに収まるように切り出しエリアＣＴのサイズが縮小される。
【００８１】
以上の説明から分かるように、イメージャ１６から出力された被写界像は、メモリ制御回路３０によってＳＤＲＡＭ３２に取り込まれる。ＣＰＵ２６は、取り込まれた被写界像から１または２以上の顔画像の集合を検出し(S41~S73, S89)、検出された集合の規模に基づくサイズを有する切り出しエリアＣＴを、検出された集合を覆う位置に定義する(S105~S111)。ＣＰＵ２６はまた、切り出しエリアＣＴに属する一部の被写界像をＳＤＲＡＭ３２に取り込まれた被写界像から切り出す(S1, S25, S27)。
【００８２】
このように、切り出しエリアＣＴの位置は顔画像の集合を覆うように調整され、切り出しエリアＣＴのサイズは顔画像の集合の規模に基づいて調整される。これによって、顔画像の集合に対する背景画像の割合が適応的に調整され、被写界像の再現性が向上する。
【００８３】
なお、この実施例では、切り出しエリアＣＴがエラー条件に合致するときに切り出しエリアＣＴのサイズを縮小するようにしているが、サイズの縮小に代えて或いはサイズの縮小とともに切り出しエリアＣＴの位置を変更するようにしてもよい。
【００８４】
また、この実施例では、既定の物体として人物の顔部を想定しているが、これに代えて犬や猫などの動物の顔部を想定するようにしてもよい。
【００８５】
さらに、この実施例では、静止画像を記録するいわゆるディジタルスチルカメラを想定しているが、この発明は動画像を記録するディジタルビデオカメラにも適用できる。
【００８６】
また、この実施例では、シャッタボタン２８ｓが半押しされると、顔検出タスクが停止し（図１３のステップＳ７，Ｓ１１参照）、切り出しエリアＣＴが位置およびサイズが確定する（図１９〜図２１のステップＳ９７〜Ｓ１１１参照）。切り出しエリアＣＴの位置およびサイズは、シャッタボタン２８ｓの操作が解除されるまで固定される。
【００８７】
しかし、シャッタボタン２８ｓが半押しされた後も顔検出タスクを起動し続け、半押し状態における顔画像の出現，移動，消失に従って切り出しエリアＣＴの位置およびサイズを変更するようにしてもよい。この場合、好ましくは、図１３に示すステップＳ１１，図１９に示すステップＳ９７，および図２１に示すステップＳ１１３の処理が省略され、さらに、図２０のステップＳ９９でＮＯと判断されたとき、または図２１のステップＳ１１１の処理が完了したときに、処理が図１９に示すステップＳ８３に戻る。
【００８８】
さらに、この実施例では、切り出しエリアＣＴがＹＵＶ画像エリア３２ｂからはみ出すことをエラー条件として規定しているが、これに加えて、これまで検出されていた顔が検出されなくなったこともエラー条件として規定するようにしてもよい。
【図面の簡単な説明】
【００８９】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】評価エリアを撮像面に割り当てた状態の一例を示す図解図である。
【図３】図１実施例で参照される辞書の一例を示す図解図である。
【図４】顔認識処理のために用いられる複数の顔検出枠の一例を示す図解図である。
【図５】図１実施例によって参照されるテーブルの一例を示す図解図である。
【図６】顔検出動作の一部を示す図解図である。
【図７】パラメータ調整エリアの設定動作の一例を示す図解図である。
【図８】（Ａ）は切り出しエリアを定義する動作の一部を示す図解図であり、（Ｂ）は切り出しエリアを定義する動作の他の一部を示す図解図である。
【図９】（Ａ）は切り出しエリアを定義する動作のその他の一部を示す図解図であり、（Ｂ）は切り出しエリアを定義する動作のさらにその他の一部を示す図解図である。
【図１０】（Ａ）は被写界の一例を示す図解図であり、（Ｂ）は被写界に割り当てられた顔集合エリアおよび切り出しエリアの一例を示す図解図である。
【図１１】（Ａ）は被写界の他の一例を示す図解図であり、（Ｂ）は被写界に割り当てられた顔集合エリアおよび切り出し枠の他の一例を示す図解図である。
【図１２】（Ａ）は被写界のその他の一例を示す図解図であり、（Ｂ）は被写界に割り当てられた顔集合エリアおよび切り出しエリアのその他の一例を示す図解図である。
【図１３】図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１４】図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１５】図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１６】図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１７】図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１８】図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１９】図１実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２０】図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２１】図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【符号の説明】
【００９０】
１０ …ディジタルカメラ
１６ …イメージセンサ
２０ …前処理回路
２２ …ＡＥ／ＡＷＢ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
３４ …後処理回路
４４ …フラッシュメモリ
【特許請求の範囲】
【請求項１】
撮像手段から出力された被写界像を取り込む取り込み手段、
前記取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出手段、
前記検出手段によって検出された集合の規模に基づくサイズを有する切り出しエリアを前記検出手段によって検出された集合を覆う位置に定義する定義手段、および
前記切り出しエリアに属する一部の被写界像を前記取り込み手段によって取り込まれた被写界像から切り出す切り出し手段を備える、画像処理装置。
【請求項２】
前記検出手段は前記集合を形成する特定物体像に接する枠を定義する枠定義手段を含み、
前記定義手段は前記枠定義手段によって定義された枠と前記集合を形成する特定物体像の数とに基づいて前記切り出しエリアのサイズおよび位置を決定する決定手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記定義手段は前記決定手段によって決定されたサイズおよび／または位置がエラー条件に合致するとき前記切り出しエリアを再定義する再定義手段をさらに含む、請求項１または２記載の画像処理装置。
【請求項４】
前記エラー条件は前記切り出しエリアが前記取り込み手段によって取り込まれた被写界像からはみ出すという条件に相当し、
前記再定義手段は前記切り出しエリアのサイズおよび／または位置を変更する、請求項３記載の画像処理装置。
【請求項５】
前記切り出し手段によって切り出された被写界像を表示する表示手段をさらに備え、
前記撮像手段は前記被写界像を繰り返し出力し、
前記取り込み手段は前記被写界像を繰り返し取り込む、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記切り出しエリアを初期設定する初期設定手段をさらに備え、
前記定義手段は前記初期設定手段による初期設定の後の既定指示に応答して前記定義処理を実行する、請求項５記載の画像処理装置。
【請求項７】
前記検出手段によって検出された集合に対応する一部の被写界像を参照して撮像パラメータを調整する調整手段をさらに備える、請求項１ないし６のいずれかに記載の画像処理装置。
【請求項８】
前記特定物体像は人物の顔部の画像に相当する、請求項１ないし７のいずれかに記載の画像処理装置。
【請求項９】
撮像手段から出力された被写界像を取り込む取り込み手段を備える画像処理装置のプロセッサに、
前記取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出ステップ、
前記検出ステップによって検出された集合の規模に基づくサイズを有する切り出しエリアを前記検出ステップによって検出された集合を覆う位置に定義する定義ステップ、および
前記切り出しエリアに属する一部の被写界像を前記取り込み手段によって取り込まれた被写界像から切り出す切り出しステップを実行させるための、画像処理プログラム。
【請求項１０】
撮像手段から出力された被写界像を取り込む取り込み手段を備える画像処理装置によって実行される画像処理方法であって、
前記取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出ステップ、
前記検出ステップによって検出された集合の規模に基づくサイズを有する切り出しエリアを前記検出ステップによって検出された集合を覆う位置に定義する定義ステップ、および
前記切り出しエリアに属する一部の被写界像を前記取り込み手段によって取り込まれた被写界像から切り出す切り出しステップを備える、画像処理方法。
【請求項１】
撮像手段から出力された被写界像を取り込む取り込み手段、
前記取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出手段、
前記検出手段によって検出された集合の規模に基づくサイズを有する切り出しエリアを前記検出手段によって検出された集合を覆う位置に定義する定義手段、および
前記切り出しエリアに属する一部の被写界像を前記取り込み手段によって取り込まれた被写界像から切り出す切り出し手段を備える、画像処理装置。
【請求項２】
前記検出手段は前記集合を形成する特定物体像に接する枠を定義する枠定義手段を含み、
前記定義手段は前記枠定義手段によって定義された枠と前記集合を形成する特定物体像の数とに基づいて前記切り出しエリアのサイズおよび位置を決定する決定手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記定義手段は前記決定手段によって決定されたサイズおよび／または位置がエラー条件に合致するとき前記切り出しエリアを再定義する再定義手段をさらに含む、請求項１または２記載の画像処理装置。
【請求項４】
前記エラー条件は前記切り出しエリアが前記取り込み手段によって取り込まれた被写界像からはみ出すという条件に相当し、
前記再定義手段は前記切り出しエリアのサイズおよび／または位置を変更する、請求項３記載の画像処理装置。
【請求項５】
前記切り出し手段によって切り出された被写界像を表示する表示手段をさらに備え、
前記撮像手段は前記被写界像を繰り返し出力し、
前記取り込み手段は前記被写界像を繰り返し取り込む、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記切り出しエリアを初期設定する初期設定手段をさらに備え、
前記定義手段は前記初期設定手段による初期設定の後の既定指示に応答して前記定義処理を実行する、請求項５記載の画像処理装置。
【請求項７】
前記検出手段によって検出された集合に対応する一部の被写界像を参照して撮像パラメータを調整する調整手段をさらに備える、請求項１ないし６のいずれかに記載の画像処理装置。
【請求項８】
前記特定物体像は人物の顔部の画像に相当する、請求項１ないし７のいずれかに記載の画像処理装置。
【請求項９】
撮像手段から出力された被写界像を取り込む取り込み手段を備える画像処理装置のプロセッサに、
前記取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出ステップ、
前記検出ステップによって検出された集合の規模に基づくサイズを有する切り出しエリアを前記検出ステップによって検出された集合を覆う位置に定義する定義ステップ、および
前記切り出しエリアに属する一部の被写界像を前記取り込み手段によって取り込まれた被写界像から切り出す切り出しステップを実行させるための、画像処理プログラム。
【請求項１０】
撮像手段から出力された被写界像を取り込む取り込み手段を備える画像処理装置によって実行される画像処理方法であって、
前記取り込み手段によって取り込まれた被写界像から１または２以上の特定物体像の集合を検出する検出ステップ、
前記検出ステップによって検出された集合の規模に基づくサイズを有する切り出しエリアを前記検出ステップによって検出された集合を覆う位置に定義する定義ステップ、および
前記切り出しエリアに属する一部の被写界像を前記取り込み手段によって取り込まれた被写界像から切り出す切り出しステップを備える、画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１０−１０２５９６（Ｐ２０１０−１０２５９６Ａ）
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００８−２７４９９４（Ｐ２００８−２７４９９４）
【出願日】平成２０年１０月２６日（２００８．１０．２６）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２０年１０月２６日（２００８．１０．２６）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]