電子カメラ
【構成】イメージセンサ１６は、撮像面で捉えたシーンを表す画像を繰り返し出力する。ＣＰＵ２６は、撮像面に直交する軸の回り方向においてイメージセンサ１６がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行してイメージセンサ１６から出力された画像から特定物体像を探索する。ＣＰＵ２６はまた、探索結果に応じて異なる処理動作を実行し、イメージセンサ１６から出力された画像をイメージセンサ１６の処理と並列して繰り返し記録する。ＣＰＵ２６はさらに、実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録処理に関連して実行する。
【効果】探索性能の向上が図られる。
【効果】探索性能の向上が図られる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、電子カメラに関し、特に特定物体像に符合する画像を指定画像から探索する、電子カメラに関する。
【背景技術】
【０００２】
この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、カメラ制御部が制御部によって制御されることで、シャッター押下に応答して写真や動画の撮影が実行される。加速度センサ制御部が制御部によって制御されることで、シャッター押下時のこの携帯電話の傾き角度検出が、加速度センサによって実行される。このようにして撮影された写真や動画を記憶部に格納する制御が行われる。また、顔検出処理部が制御されることで、撮影された画像から人の顔部分を検出する動作が実行される。その際、加速度センサで検出されたシャッター押下時のこの携帯電話の傾き角度データが取得され、該取得された傾き角度データによって画像回転処理部が制御されることにより、傾き角度に合わせた撮影画像の回転処理が実行される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１０５５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、加速度センサで検出された傾きに合わせて撮影画像の回転処理が実行されるので、回転処理の実行には加速度センサのカメラへの搭載が必要である。一方、カメラの軽量化やコスト削減のために加速度センサがカメラに搭載されなかった場合、撮影された画像の傾きを直接的に取得できない。このため、撮影された画像から人の顔部分の画像を検出する処理の負荷が増加し、探索性能が低下する恐れがある。
【０００５】
それゆえに、この発明の主たる目的は、探索性能を高めることができる、電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段(S16)、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する探索手段(S87, S119)、探索手段の探索結果に応じて異なる処理動作を実行する実行手段(S13, S15, S25, S33, S37, S41, S43, S47, S61~S73, S217, S227)、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する記録手段(S19, S51, S203, S209)、および探索手段によって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録手段の処理に関連して実行する制限手段(S29, S31, S111~S115, S221, S223)を備える。
【０００７】
好ましくは、探索手段は互いに異なる複数の画像辞書をそれぞれ用いて複数の照合処理を実行する。
【０００８】
好ましくは、制限処理の対象から外れる照合処理は特定物体像が探知された時点の撮像手段の姿勢に対応する。
【０００９】
好ましくは、制限手段は、探索手段の探知に応答して制限処理を開始する開始手段(S29, S31)、および探索手段の非探知に応答して制限処理を停止する停止手段(S33, S41, S43, S47)を含む。
【００１０】
好ましくは、記録手段の処理が中断される期間に探索手段の探知に応答して制限処理を第１頻度で実行する追加制限手段(S211, S231)をさらに備え、制限手段は記録手段の処理が実行される期間に探索手段の探知に応答して制限処理を第１頻度よりも低い第２頻度で実行する。
【００１１】
好ましくは、実行手段は探索手段によって探知された特定物体像に注目して撮像条件を調整する調整手段(S63~S69)を含む。
【００１２】
好ましくは、特定物体像は人物の顔画像に相当する。
【００１３】
この発明に従う撮像制御プログラムは、撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段(16)を備える電子カメラ(10)のプロセッサ(26)に、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する探索ステップ(S87, S119)、探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ(S13, S15, S25, S33, S37, S41, S43, S47, S61~S73, S217, S227)、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する記録ステップ(S19, S51, S203, S209)、および探索ステップによって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録ステップの処理に関連して実行する制限ステップ(S29, S31, S111~S115, S221, S223)を実行させるための、撮像制御プログラムである。
【００１４】
この発明に従う撮像制御方法は、撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段(16)を備える電子カメラによって実行される撮像制御方法であって、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する探索ステップ(S87, S119)、探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ(S13, S15, S25, S33, S37, S41, S43, S47, S61~S73, S217, S227)、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する記録ステップ(S19, S51, S203, S209)、および探索ステップによって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録ステップの処理に関連して実行する制限ステップ(S29, S31, S111~S115, S221, S223)を備える。
【００１５】
この発明に従う外部制御プログラムは、撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段(16)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)に供給される外部制御プログラムであって、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する探索ステップ(S87, S119)、探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ(S13, S15, S25, S33, S37, S41, S43, S47, S61~S73, S217, S227)、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する記録ステップ(S19, S51, S203, S209)、および探索ステップによって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録ステップの処理に関連して実行する制限ステップ(S29, S31, S111~S115, S221, S223)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１６】
この発明に従う電子カメラ(10)は、撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段(16)、外部制御プログラムを受信する受信手段(60)、および受信手段によって受信された外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)であって、外部制御プログラムは、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する探索ステップ(S87, S119)、探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ(S13, S15, S25, S33, S37, S41, S43, S47, S61~S73, S217, S227)、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する記録ステップ(S19, S51, S203, S209)、および探索ステップによって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録ステップの処理に関連して実行する制限ステップ(S29, S31, S111~S115, S221, S223)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１７】
カメラの複数の姿勢にそれぞれ対応する複数の照合処理を実行して、撮像手段から出力された画像から特定物体像が探索される。このような探索処理で実行される照合処理が、記録処理に関連して制限される。記録処理においては、撮像手段から繰り返し出力される画像が出力処理と並列して繰り返し記録される。つまり、動画像が記録される。
【００１８】
動画像の記録中は、通常、カメラの姿勢が一定に保たれるので、カメラの複数の姿勢にそれぞれ対応する複数の照合処理の一部の実行が制限された場合であっても、特定物体像の探索には影響がない。したがって、照合処理の制限によって、探索処理の負荷を軽減することができる。こうして、探索性能の向上が図られる。
【００１９】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２０】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】顔検出処理において用いられる顔検出枠の一例を示す図解図である。
【図６】（Ａ）は顔検出処理において参照される顔辞書の構成の一例を示す図解図であり、（Ｂ）は顔検出処理において参照される他の顔辞書の構成の一例を示す図解図であり、（Ｃ）は顔検出処理において参照されるその他の顔辞書の構成の一例を示す図解図である。
【図７】（Ａ）はカメラの筐体の姿勢の一例を示す図解図であり、（Ｂ）はカメラの筐体の姿勢の他の一例を示す図解図であり、（Ｃ）はカメラの筐体の姿勢のその他の一例を示す図解図である。
【図８】顔検出処理の一部を示す図解図である。
【図９】図２実施例において参照されるレジスタの構成の一例を示す図解図である。
【図１０】図２実施例において参照される他のレジスタの構成の一例を示す図解図である。
【図１１】撮像タスクにおいてＬＣＤモニタに表示された画像の一例を示す図解図である。
【図１２】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１９】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２１】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２２】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２３】この発明の他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図２４】この発明の他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２５】この発明のその他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２２】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段１は撮像面で捉えたシーンを表す画像を繰り返し出力する。探索手段２は、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する。実行手段３は、探索手段の探索結果に応じて異なる処理動作を実行する。記録手段４は、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する。制限手段５は、探索手段によって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録手段の処理に関連して実行する。
【００２３】
カメラの複数の姿勢にそれぞれ対応する複数の照合処理を実行して、撮像手段から出力された画像から特定物体像が探索される。このような探索処理で実行される照合処理が、記録処理に関連して制限される。記録処理においては、撮像手段から繰り返し出力される画像が出力処理と並列して繰り返し記録される。つまり、動画像が記録される。
【００２４】
動画像の記録中は、通常、カメラの姿勢が一定に保たれるので、カメラの複数の姿勢にそれぞれ対応する複数の照合処理の一部の実行が制限された場合であっても、特定物体像の探索には影響がない。したがって、照合処理の制限によって、探索処理の負荷を軽減することができる。こうして、探索性能の向上が図られる。
［実施例］
【００２５】
図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経たシーンの光学像は、ドライバ１８ｃによって駆動されるイメージセンサ１６の撮像面に照射され、光電変換を施される。
【００２６】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、イメージセンサ１６の撮像面を露光し、かつイメージセンサ１６の撮像面で生成された電荷をラスタ走査態様でそれぞれ読み出す。イメージセンサ１６からは読み出された電荷に基づく生画像データが周期的に出力される。
【００２７】
前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる（図３参照）。
【００２８】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに書き込まれる（図３参照）。
【００２９】
後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の表示画像エリア３２ｃに書き込まれる（図３参照）。探索画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の探索画像エリア３２ｄに書き込まれる（図３参照）。
【００３０】
ＬＣＤドライバ３６は、表示画像エリア３２ｃに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表すリアルタイム動画像（スルー画像）がＬＣＤモニタ３８に表示される。
【００３１】
図４を参照して、イメージセンサ１６の撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００３２】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。こうして得られたＡＥ評価値およびＡＦ評価値に基づく処理については、後述する。
【００３３】
撮像タスクと並列して実行される複数辞書顔検出タスクの起動時に、ＣＰＵ２６は、フラグＦＬＧ＿ｆを“０”に初期設定する。また、複数辞書顔検出タスクの下で、ＣＰＵ２６は、後述の単一辞書顔検出タスクが停止中であることを表明するべくフラグＦＬＧ＿ｓを“０”に初期設定する。
【００３４】
ＣＰＵ２６は次に、探索画像エリア３２ｄに格納された探索画像データから人物の顔画像を探索するべく、垂直同期信号Ｖｓｙｎｃが発生する毎に顔検出処理を複数辞書顔検出タスクの下で実行する。
【００３５】
顔検出処理では、図５に示す要領でサイズが調整される顔検出枠ＦＤと５つの辞書画像（＝向きが互いに異なる顔画像）を各々が収めた図６（Ａ）〜（Ｃ）にそれぞれ示す顔辞書ＦＤＣ１〜３とが用いられる。
【００３６】
顔辞書ＦＤＣ１が収める５つの辞書画像は、図７（Ａ）に示すようにディジタルビデオカメラ１０の筐体ＣＢ１が横向きに構えられたときの探索画像データから人物の顔画像を検出するために、準備される。
【００３７】
顔辞書ＦＤＣ２および３の各々が収める５つの辞書画像は、ディジタルビデオカメラ１０の筐体ＣＢ１が縦向きに構えられたときの探索画像データから人物の顔画像を検出するために、準備される。
【００３８】
特に顔辞書ＦＤＣ２は、図７（Ｂ）に示すように右側面を上にディジタルビデオカメラ１０の筐体ＣＢ１が構えられたときの顔検出に、用いられる。つまり、イメージセンサ１６の撮像面に直交するディジタルビデオカメラ１０の光軸を軸として、図７（Ａ）に示す姿勢の筐体ＣＢ１が背面から見て反時計回りに９０度回転させた状態で構えられたときの顔検出に、顔辞書ＦＤＣ２が用いられる。
【００３９】
特にまた顔辞書ＦＤＣ３は、図７（Ｃ）に示すように左側面を上にディジタルビデオカメラ１０の筐体ＣＢ１が構えられたときの顔検出に、用いられる。つまり、イメージセンサ１６の撮像面に直交するディジタルビデオカメラ１０の光軸を軸として、図７（Ａ）に示す姿勢の筐体ＣＢ１が背面から見て時計回りに９０度回転させた状態で構えられたときの顔検出に、顔辞書ＦＤＣ３が用いられる。
【００４０】
なお、顔辞書ＦＤＣ１は辞書番号１に対応し、顔辞書ＦＤＣ２は辞書番号２に対応し、顔辞書ＦＤＣ３は辞書番号３に対応する。また、顔辞書ＦＤＣ１〜３はフラッシュメモリ４４に保存される。
【００４１】
顔検出処理ではまず、評価エリアＥＶＡの全域が探索エリアとして設定される。また、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＳＺｍａｘが“２００”に設定され、最小サイズＳＺｍｉｎが“２０”に設定される。
【００４２】
顔検出枠ＦＤは、探索エリアの開始位置（左上位置）から終了位置（右下位置）に向かって、ラスタ走査態様で既定量ずつ移動される（図８参照）。また、顔検出枠ＦＤのサイズは、顔検出枠ＦＤが終了位置に到達する毎に“ＳＺｍａｘ”から“ＳＺｍｉｎ”まで“５”ずつ縮小される。
【００４３】
顔検出枠ＦＤに属する一部の探索画像データは、メモリ制御回路３０を通して探索画像エリア３２ｄから読み出される。読み出された探索画像データの特徴量は、顔辞書ＦＤＣ１〜３の各々に収められた５つの辞書画像の特徴量と照合される。閾値ＴＨを超える照合度が得られると、顔画像が検出されたものとみなされる。現時点の顔検出枠ＦＤの位置，サイズ，および照合対象の顔辞書の辞書番号は、顔情報として図９に示すワークレジスタＲＧＳＴｗｋに登録される。
【００４４】
顔検出処理の完了後にワークレジスタＲＧＳＴｗｋに顔情報の登録があったときは、ワークレジスタＲＧＳＴｗｋの登録内容が、図９に示す顔検出レジスタＲＧＳＴｄｔにコピーされる。
【００４５】
ＣＰＵ２６は、顔検出レジスタＲＧＳＴｄｔに登録された位置およびサイズによって示される領域の中からＡＦ対象領域を決定する。顔検出レジスタＲＧＳＴｄｔに１つの顔情報が登録されている場合、ＣＰＵ２６は、登録された位置およびサイズによって示される領域をＡＦ対象領域とする。顔検出レジスタＲＧＳＴｄｔに複数の顔情報が登録されている場合、ＣＰＵ２６は、サイズが最も大きい顔情報によって示される領域をＡＦ対象領域とする。最大サイズを示す複数の顔情報が登録されている場合、ＣＰＵ２６は、これらの顔情報によって示される領域のうちシーン中央に最も近い領域をＡＦ対象領域とする。ＡＦ対象領域とされた顔情報の位置，サイズ，および照合対象の辞書番号は、図１０に示すＡＦ対象レジスタＲＧＳＴａｆに登録される。
【００４６】
また、ＣＰＵ２６は、人物の顔を発見したことを表明するべくフラグＦＬＧ＿ｆを“１”に設定する。
【００４７】
なお、顔検出処理の完了後にワークレジスタＲＧＳＴｗｋに顔情報の登録がなかった場合、すなわち人物の顔が発見されなかった場合は、ＣＰＵ２６は、人物の顔が未発見であることを表明するべくフラグＦＬＧ＿ｆを“０”に設定する。
【００４８】
フラグＦＬＧ＿ｆが“０”を示すとき、撮像タスクと並列して実行されるＡＥ／ＡＦ制御タスクの下でＣＰＵ２６は、シーン中央に注目したコンティニュアスＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、シーン中央の既定領域に対応するＡＦ評価値を抽出し、抽出された一部のＡＦ評価値に基づくコンティニュアスＡＦ処理を実行する。この結果、シーン中央に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像または記録画像の鮮鋭度が継続的に向上する。
【００４９】
フラグＦＬＧ＿ｆが“０”を示すとき、ＡＥ／ＡＦ制御タスクの下でＣＰＵ２６はまた、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づき、シーン全体を考慮したＡＥ処理を実行する。ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像または記録画像の明るさが、シーン全体を考慮した明るさに調整される。
【００５０】
フラグＦＬＧ＿ｆが“１”に更新されると、撮像タスクの下でＣＰＵ２６は、顔検出レジスタＲＧＳＴｄｔの登録内容を参照して、顔枠ＧＦの表示をグラフィックジェネレータ４８に要求する。グラフィックジェネレータ４８は、顔枠ＧＦを表すグラフィック情報をＬＣＤドライバ３６に向けて出力する。顔枠ＧＦは、顔検出タスクの下で検出された顔画像の位置およびサイズに適合する態様でＬＣＤモニタ３８に表示される。
【００５１】
したがって、人物ＨＭ１の顔が撮像面に捉えられたとき、顔枠ＧＦ１は、人物ＨＭ１の顔画像を囲うように、図１１に示す要領でＬＣＤモニタ３８に表示される。
【００５２】
フラグＦＬＧ＿ｆが“１”に更新されるとまた、ＡＥ／ＡＦ制御タスクの下でＣＰＵ２６は、ＡＦ対象領域に注目したコンティニュアスＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、ＡＦ対象レジスタＲＧＳＴａｆに登録された位置およびサイズに対応するＡＦ評価値を抽出する。ＣＰＵ２６は、抽出された一部のＡＦ評価値に基づくＡＦ処理を実行する。この結果、ＡＦ対象領域に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像または記録画像におけるＡＦ対象領域の鮮鋭度が向上する。
【００５３】
ＣＰＵ２６は次に、ＡＥ／ＡＦ制御タスクの下で、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値のうち、顔検出レジスタＲＧＳＴｄｔに登録された位置およびサイズに対応するＡＥ評価値を抽出する。ＣＰＵ２６は、抽出された一部のＡＥ評価値に基づき、顔画像に注目したＡＥ処理を実行する。ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像または記録画像の明るさが、顔画像に注目した明るさに調整される。
【００５４】
キー入力装置２８に設けられた記録ボタン２８ｒｅｃに向けて記録開始操作が行われると、ＣＰＵ２６は、記録処理を開始するべく、ＭＰ４コーデック４６およびＩ／Ｆ４０を撮像タスクの下で起動する。ＭＰ４コーデック４６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをＭＰＥＧ４方式に従って圧縮する。圧縮画像データつまりＭＰ４データは、メモリ制御回路３０によって記録画像エリア３２ｅに書き込まれる（図３参照）。Ｉ／Ｆ４０は、記録画像エリア３２ｅに格納されたＭＰ４データをメモリ制御回路３０を通して読み出し、読み出されたＭＰ４データを記録媒体４２に作成された画像ファイルに書き込む。
【００５５】
また、記録開始操作が行われた後、フラグＦＬＧ＿ｆが“１”を示すとき、ＣＰＵ２６は、実行中の複数辞書顔検出タスクを停止し、単一辞書顔検出タスクを起動する。単一辞書顔検出タスクの下で、ＣＰＵ２６は、単一辞書顔検出タスクが実行中であることを表明するべくフラグＦＬＧ＿ｓを“１”に初期設定する。
【００５６】
ＣＰＵ２６は次に、探索画像エリア３２ｄに格納された探索画像データから人物の顔画像を探索するべく、垂直同期信号Ｖｓｙｎｃが発生する毎に顔検出処理を単一辞書顔検出タスクの下で実行する。
【００５７】
単一辞書顔検出タスクの下で実行される顔検出処理では、顔辞書ＦＤＣ１〜３のうちＡＦ対象レジスタＲＧＳＴａｆに登録された辞書番号に対応する辞書だけが用いられる。単一辞書顔検出タスクの下で実行される顔検出処理では、照合対象の辞書が単一であるという点を除いて、複数辞書顔検出タスクの下で実行される顔検出処理と同様の処理が実行される。したがって、探索画像データの特徴量と辞書画像の特徴量との照合の結果、閾値ＴＨを超える照合度が得られると、顔検出枠ＦＤの位置，サイズ，および照合対象の顔辞書の辞書番号がワークレジスタＲＧＳＴｗｋに登録される。
【００５８】
顔検出処理の完了後にワークレジスタＲＧＳＴｗｋに顔情報の登録があったときは、複数辞書顔検出タスクと同様に、ワークレジスタＲＧＳＴｗｋの登録内容が顔検出レジスタＲＧＳＴｄｔにコピーされる。
【００５９】
複数辞書顔検出タスクと同様に、ＣＰＵ２６は、顔検出レジスタＲＧＳＴｄｔに登録された顔情報によって示される領域の中からＡＦ対象領域を決定し、ＡＦ対象領域とされた顔情報の位置，サイズ，および照合対象の辞書番号は、ＡＦ対象レジスタＲＧＳＴａｆに登録される。また、ＣＰＵ２６は、人物の顔が発見された場合はフラグＦＬＧ＿ｆを“１”に設定し、人物の顔が発見されなかった場合はフラグＦＬＧ＿ｆを“０”に設定する。
【００６０】
また、キー入力装置２８に向けて記録開始操作が行われた後、フラグＦＬＧ＿ｆが更新されて“０”を示すとき、単一辞書顔検出タスクの起動から既定時間、例えば３秒が経過している場合は、ＣＰＵ２６は、実行中の単一辞書顔検出タスクを停止する。
【００６１】
ＣＰＵ２６は次に、複数辞書顔検出タスクを起動して、顔検出処理を１回実行する。この顔検出処理は複数辞書顔検出タスクの下で実行されるので、照合対象の辞書として顔辞書ＦＤＣ１〜３が用いられる。２回目の顔検出処理が実行される前に、ＣＰＵ２６は、複数辞書顔検出タスクを停止して、単一辞書顔検出タスクを再起動する。
【００６２】
なお、ＡＦ対象レジスタに登録された照合対象の辞書番号が複数辞書顔検出タスクの下で１回実行された顔検出処理によって新たな辞書番号に更新された場合は、再起動された単一辞書顔検出タスクの下で実行される顔検出処理では、更新後の辞書番号に対応する顔辞書が用いられる。
【００６３】
キー入力装置２８に向けて記録終了操作が行われると、ＣＰＵ２６は、記録処理を終了するべくＭＰ４コーデック４６およびＩ／Ｆ４０を停止する。また、書き込み先の動画ファイルには終了処理が施される。
【００６４】
また、記録終了操作が行われたときフラグＦＬＧ＿ｓが“１”を示す場合は、ＣＰＵ２６は、実行中の単一辞書顔検出タスクを停止し、複数辞書顔検出タスクを再起動する。再起動された複数辞書顔検出タスクの下で、ＣＰＵ２６は、単一辞書顔検出タスクが停止中であることを表明するべくフラグＦＬＧ＿ｓを“０”に設定する。
【００６５】
ＣＰＵ２６は、図１２〜１４に示す撮像タスク，図１５に示すＡＥ／ＡＦ制御タスク，図１６〜１７に示す複数辞書顔検出タスク，および図１８〜１９に示す単一辞書顔検出タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００６６】
図１２を参照して、ステップＳ１では動画取り込み処理を実行する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではフラグＦＬＧ＿ｆを“０”に初期設定する。ステップＳ５ではＡＥ／ＡＦ制御タスクを起動し、ステップＳ７では複数辞書顔検出タスクを起動する。
【００６７】
ステップＳ９ではフラグＦＬＧ＿ｆが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ１１およびＳ１３の処理を経てステップＳ１７に進む一方、判別結果がＮＯであればステップＳ１５の処理を経てステップＳ１７に進む。
【００６８】
ステップＳ１１では、顔検出レジスタＲＧＳＴｄｔに登録された位置およびサイズを読み出す。読み出された位置およびサイズに基づいて、ステップＳ１３では顔枠ＧＦの表示をグラフィックジェネレータ４８に要求する。この結果、複数辞書顔検出タスクの下で検出された顔画像の位置およびサイズに適合する態様で、顔枠ＧＦがＬＣＤモニタ３８に表示される。ステップＳ１５では、顔枠ＧＦの非表示をグラフィックジェネレータ４８に要求する。この結果、モニタ３８に表示された顔枠ＧＦは非表示とされる。
【００６９】
ステップＳ１７では記録ボタン２８ｒｅｃに向けて記録開始操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ９に戻る一方、判別結果がＹＥＳであればステップＳ１９でＭＰ４コーデック４６およびＩ／Ｆ４０を起動して記録処理を開始する。この結果、記録媒体４２に作成された画像ファイルへのＭＰ４データの書き込みが開始される。
【００７０】
ステップＳ２１ではフラグＦＬＧ＿ｆが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ３７に進む一方、判別結果がＹＥＳであればステップＳ２３に進む。
【００７１】
ステップＳ２３では、顔検出レジスタＲＧＳＴｄｔに登録された位置およびサイズを読み出す。読み出された位置およびサイズに基づいて、ステップＳ２５では顔枠ＧＦの表示をグラフィックジェネレータ４８に要求する。この結果、複数辞書顔検出タスクの下で検出された顔画像の位置およびサイズに適合する態様で、顔枠ＧＦがＬＣＤモニタ３８に表示される。
【００７２】
ステップＳ２７ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ３５に進む一方、判別結果がＮＯであればステップＳ２９に進む。ステップＳ２９では実行中の複数辞書顔検出タスクを停止し、ステップＳ３１では単一辞書顔検出タスクを起動する。
【００７３】
ステップＳ３３ではタイマ２６ｔのリセット＆スタートを実行する。タイマ値は例えば３秒とする。ステップＳ３５では記録ボタン２８ｒｅｃに向けて記録終了操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ２１に戻る一方、判別結果がＹＥＳであればステップＳ５１に進む。
【００７４】
ステップＳ３７では、顔枠ＧＦの非表示をグラフィックジェネレータ４８に要求する。この結果、モニタ３８に表示された顔枠ＧＦは非表示とされる。ステップＳ３９ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ４１に進む一方、判別結果がＮＯであればステップＳ３５に戻る。
【００７５】
ステップＳ４１ではタイマ２６ｔにタイムアウトが発生したか否かを判別し、判別結果がＮＯであればステップＳ３５に戻り、判別結果がＹＥＳであれば実行中の単一辞書顔検出タスクをステップＳ４３で停止する。
【００７６】
ステップＳ４５ではフラグＦＬＧ＿ｅを“０”に初期設定し、ステップＳ４７では複数辞書顔検出タスクを起動する。ステップＳ４９ではフラグＦＬＧ＿ｅが“１”を示すか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ２９に戻る。
【００７７】
ステップ５１では、記録処理を終了するべくＭＰ４コーデック４６およびＩ／Ｆ４０を停止する。また、書き込み先の動画ファイルには終了処理が施される。
【００７８】
ステップＳ５３ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ９に戻る一方、判別結果がＹＥＳであれば実行中の単一辞書顔検出タスクをステップＳ５５で停止し、その後にステップＳ７に戻る。
【００７９】
図１５を参照して、ステップＳ６１ではフラグＦＬＧ＿ｆが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ７１に進む一方、判別結果がＹＥＳであればステップＳ６３に進む。
【００８０】
ステップＳ６３ではＡＦ対象レジスタＲＧＳＴａｆからＡＦ対象領域の位置およびサイズを読み出し、読み出されたＡＦ対象領域の位置およびサイズに基づいて、ステップＳ６５でコンティニュアスＡＦ処理を実行する。この結果、ＡＦ対象領域に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像または記録画像におけるＡＦ対象領域の鮮鋭度が向上する。
【００８１】
ステップＳ６７では顔検出レジスタＲＧＳＴｄｔから顔画像の位置およびサイズを読み出し、読み出された顔画像の位置およびサイズに基づいて、ステップＳ６９でＡＥ処理を実行する。この結果、スルー画像または記録画像の明るさが、顔画像に注目した明るさに調整される。ステップＳ６９の処理が完了すると、ステップＳ６１に戻る。
【００８２】
ステップＳ７１ではシーン中央に注目したコンティニュアスＡＦ処理を実行する。この結果、シーン中央に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像または記録画像の鮮鋭度が継続的に向上する。
【００８３】
ステップＳ７３ではシーン全体を考慮したＡＥ処理を実行する。この結果、スルー画像または記録画像の明るさが、シーン全体を考慮した明るさに調整される。ステップＳ７３の処理が完了すると、ステップＳ６１に戻る。
【００８４】
図１６を参照して、ステップＳ８１では、単一辞書顔検出タスクが停止中であることを表明するべく、フラグＦＬＧ＿ｓを“０”に初期設定する。ステップＳ８３では、変数ＤＩＣを“１”に初期設定する。
【００８５】
ステップＳ８５では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ８７で顔検出処理を実行する。顔検出処理の完了後、ワークレジスタＲＧＳＴｗｋに顔情報の登録があるか否かをステップＳ８９で判別し、判別結果がＹＥＳであればステップＳ９５に進む一方、判別結果がＮＯであればステップＳ９１に進む。
【００８６】
ステップＳ９１では、人物の顔が未発見であることを表明するべく、フラグＦＬＧ＿ｆを“０”に設定する。ステップＳ９３では、顔検出処理の実行が完了したことを表明するべく、フラグＦＬＧ＿ｅを“１”に設定する。ステップＳ９３の処理が完了すると、ステップＳ８５に戻る。
【００８７】
ステップＳ９５では、ワークレジスタＲＧＳＴｗｋの登録内容を顔検出レジスタＲＧＳＴｄｔにコピーする。
【００８８】
ステップＳ９７では、顔検出レジスタＲＧＳＴｄｔに登録されている顔情報のうちサイズが最も大きい顔情報が複数登録されているか否かを判別する。判別結果がＹＥＳであればステップＳ９９で、複数の最大サイズの顔情報のうち位置が撮像面中央に最も近い顔情報が示す領域をＡＦ対象領域と決定する。判別結果がＮＯであればステップＳ１０１で、サイズが最も大きい顔情報が示す領域をＡＦ対象領域と決定する。
【００８９】
ステップＳ９９またはＳ１０１においてＡＦ対象領域と決定された顔情報の位置，サイズ，および照合対象の辞書番号は、ステップＳ１０３でＡＦ対象レジスタＲＧＳＴａｆに登録される。
【００９０】
ステップＳ１０５では、人物の顔が発見されたことを表明するべく、フラグＦＬＧ＿ｆを“１”に設定する。ステップＳ１０７では、顔検出処理の実行が完了したことを表明するべく、フラグＦＬＧ＿ｅを“１”に設定する。ステップＳ１０７の処理が完了すると、ステップＳ８５に戻る。
【００９１】
図１８を参照して、ステップＳ１１１では、単一辞書顔検出タスクが実行中であることを表明するべくフラグＦＬＧ＿ｓを“１”に初期設定する。ステップＳ１１３ではＡＦ対象レジスタＲＧＳＴａｆに登録された照合対象の辞書番号を読み出し、ステップＳ１１５では変数ＤＩＣを読み出された辞書番号に設定する。
【００９２】
ステップＳ１１７では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ１１９で顔検出処理を実行する。顔検出処理の完了後、ワークレジスタＲＧＳＴｗｋに顔情報の登録があるか否かをステップＳ１２１で判別し、判別結果がＹＥＳであればステップＳ１２５に進む一方、判別結果がＮＯであればステップＳ１２３に進む。
【００９３】
ステップＳ１２３では、人物の顔が未発見であることを表明するべく、フラグＦＬＧ＿ｆを“０”に設定し、その後にステップＳ１１７に戻る。
【００９４】
ステップＳ１２５では、ワークレジスタＲＧＳＴｗｋの登録内容を顔検出レジスタＲＧＳＴｄｔにコピーする。
【００９５】
ステップＳ１２７では、顔検出レジスタＲＧＳＴｄｔに登録されている顔情報のうちサイズが最も大きい顔情報が複数登録されているか否かを判別する。判別結果がＹＥＳであればステップＳ１２９で、複数の最大サイズの顔情報のうち位置が撮像面中央に最も近い顔情報が示す領域をＡＦ対象領域と決定する。判別結果がＮＯであればステップＳ１３１で、サイズが最も大きい顔情報が示す領域をＡＦ対象領域と決定する。
【００９６】
ステップＳ１２９またはＳ１３１においてＡＦ対象領域と決定された顔情報の位置，サイズ，および照合対象の辞書番号は、ステップＳ１３３でＡＦ対象レジスタＲＧＳＴａｆに登録される。
【００９７】
ステップＳ１３５では、人物の顔が発見されたことを表明するべく、フラグＦＬＧ＿ｆを“１”に設定する。ステップＳ１３５の処理が完了すると、ステップＳ１１７に戻る。
【００９８】
ステップＳ８７およびＳ１１９の顔検出処理は、図２０〜２２に示すサブルーチンに従って実行される。ステップＳ１４１ではワークレジスタＲＧＳＴｗｋを初期化すべく登録内容をクリアする。
【００９９】
ステップＳ１４３では評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ１４５では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＳＺｍａｘを“２００”に設定し、最小サイズＳＺｍｉｎを“２０”に設定する。
【０１００】
ステップＳ１４７では顔検出枠ＦＤのサイズを“ＳＺｍａｘ”に設定し、ステップＳ１４９では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１５１では、顔検出枠ＦＤに属する一部の探索画像データを探索画像エリア３２ｄから読み出し、読み出された探索画像データの特徴量を算出する。
【０１０１】
ステップＳ１５３では変数ＤＩＣが示す辞書番号に対応する顔辞書を読み出し、ステップＳ１５５では変数ＦＤＲを“１”に設定する。
【０１０２】
ステップＳ１５７では、ステップＳ１５１で算出された特徴量とステップＳ１５３で読み出された顔辞書に収められた辞書画像のうち変数ＦＤＲが示す顔向き番号の辞書画像の特徴量とを照合する。照合の結果、閾値ＴＨを超える照合度が得られたか否かをステップＳ１５９で判別し、判別結果がＮＯであればステップＳ１６５に進む一方、判別結果がＹＥＳであればステップＳ１６１に進む。
【０１０３】
ステップＳ１６１では、現時点の顔検出枠ＦＤの位置，サイズ，および照合対象の辞書番号を顔情報としてワークレジスタＲＧＳＴｗｋに登録する。ステップＳ１６３ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ１７５に進む一方、判別結果がＹＥＳであればステップＳ１７７に進む。
【０１０４】
ステップＳ１６５では変数ＦＤＲをインクリメントし、変数ＦＤＲが“５”を超えたか否かをステップＳ１６７で判別する。判別結果がＮＯであればステップＳ１５７に戻る一方、判別結果がＹＥＳであればステップＳ１６９に進む。ステップＳ１６９ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ１７７に進む一方、判別結果がＮＯであればステップＳ１７１に進む。
【０１０５】
ステップＳ１７１では変数ＤＩＣをインクリメントし、変数ＤＩＣが“３”を超えたか否かをステップＳ１７３で判別する。判別結果がＮＯであればステップＳ１５３に戻る一方、判別結果がＹＥＳであればステップＳ１７５で変数ＤＩＣを“１”に設定する。
【０１０６】
ステップＳ１７７では顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別し、判別結果がＹＥＳであればステップＳ１８１に進む一方、判別結果がＮＯであれば、ステップＳ１７９で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ１５１に戻る。
【０１０７】
ステップＳ１８１では顔検出枠ＦＤのサイズが“ＳＺｍｉｎ”以下であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ１８３に進む。
【０１０８】
ステップＳ１８３では顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ１８５では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１８５の処理が完了すると、ステップＳ１５１に戻る。
【０１０９】
以上の説明から分かるように、イメージセンサ１６は、撮像面で捉えたシーンを表す画像を繰り返し出力する。ＣＰＵ２６は、撮像面に直交する軸の回り方向においてイメージセンサ１６がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行してイメージセンサ１６から出力された画像から特定物体像を探索する。ＣＰＵ２６はまた、探索結果に応じて異なる処理動作を実行し、イメージセンサ１６から出力された画像をイメージセンサ１６の処理と並列して繰り返し記録する。ＣＰＵ２６はさらに、実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録処理に関連して実行する。
【０１１０】
カメラの複数の姿勢にそれぞれ対応する複数の照合処理を実行して、撮像手段から出力された画像から特定物体像が探索される。このような探索処理で実行される照合処理が、記録処理に関連して制限される。記録処理においては、撮像手段から繰り返し出力される画像が出力処理と並列して繰り返し記録される。つまり、動画像が記録される。
【０１１１】
動画像の記録中は、通常、カメラの姿勢が一定に保たれるので、カメラの複数の姿勢にそれぞれ対応する複数の照合処理の一部の実行が制限された場合であっても、特定物体像の探索には影響がない。したがって、照合処理の制限によって、探索処理の負荷を軽減することができる。こうして、探索性能の向上が図られる。
【０１１２】
なお、この実施例では、撮像タスクと並行して、記録処理が実行されていないときは複数辞書顔検出タスクを実行し、記録処理の開始から終了までの間は複数辞書顔検出タスクまたは単一辞書顔検出タスクを実行するようにした。しかし、記録処理が実行されていないときにも複数辞書顔検出タスクまたは単一辞書顔検出タスクを撮像タスクと並行して実行するようにしてもよい。
【０１１３】
この場合、記録処理が実行されていないときおよび記録処理の開始から終了までの間のいずれの場合にも、タイマを用いて複数辞書顔検出タスクの実行周期を調整するようにし、記録処理の開始から終了までの間は実行周期を延ばすようにすればよい。またこの場合、図１２〜１４に示す撮像タスクに変えて図２３〜２４に示す撮像タスクを実行するようにすればよい。
【０１１４】
図２３を参照して、ステップＳ１９１では動画取り込み処理を実行し、ステップＳ１９３ではフラグＦＬＧ＿ｆを“０”に初期設定する。ステップＳ１９５ではＡＥ／ＡＦ制御タスクを起動し、ステップＳ１９７では複数辞書顔検出タスクを起動する。ステップＳ１９９では変数ＴＭＲを“０．１”に初期設定する。
【０１１５】
ステップＳ２０１では記録ボタン２８ｒｅｃに向けて記録開始操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ２０７に進む一方、判別結果がＹＥＳであればステップＳ２０３およびＳ２０５の処理を経てステップＳ２１３に進む。
【０１１６】
ステップＳ２０３ではＭＰ４コーデック４６およびＩ／Ｆ４０を起動して記録処理を開始し、ステップＳ２０５では変数ＴＭＲを“３”に設定する。
【０１１７】
ステップＳ２０７では記録ボタン２８ｒｅｃに向けて記録終了操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ２１３に進む一方、判別結果がＹＥＳであればステップＳ２０９およびＳ２１１の処理を経てステップＳ２１３に進む。
【０１１８】
ステップ２０９では、記録処理を終了するべくＭＰ４コーデック４６およびＩ／Ｆ４０を停止する。また、書き込み先の動画ファイルには終了処理が施される。ステップＳ２１１では変数ＴＭＲを“０．１”に設定する。
【０１１９】
ステップＳ２１３ではフラグＦＬＧ＿ｆが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ２２７に進む一方、判別結果がＹＥＳであればステップＳ２１５に進む。
【０１２０】
ステップＳ２１５では、顔検出レジスタＲＧＳＴｄｔに登録された位置およびサイズを読み出す。読み出された位置およびサイズに基づいて、ステップＳ２１７では顔枠ＧＦの表示をグラフィックジェネレータ４８に要求する。この結果、複数辞書顔検出タスクの下で検出された顔画像の位置およびサイズに適合する態様で、顔枠ＧＦがＬＣＤモニタ３８に表示される。
【０１２１】
ステップＳ２１９ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ２０１に戻る一方、判別結果がＮＯであればステップＳ２２１に進む。ステップＳ２２１では実行中の複数辞書顔検出タスクを停止し、ステップＳ２２３では単一辞書顔検出タスクを起動する。
【０１２２】
ステップＳ２２５では、変数ＴＭＲが示す値をタイマ値として、タイマ２６ｔのリセット＆スタートを実行する。
【０１２３】
ステップＳ２２７では、顔枠ＧＦの非表示をグラフィックジェネレータ４８に要求する。この結果、モニタ３８に表示された顔枠ＧＦは非表示とされる。ステップＳ２２９ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ２０１に戻る一方、判別結果がＹＥＳであればステップＳ２３１に進む。
【０１２４】
ステップＳ２３１ではタイマ２６ｔにタイムアウトが発生したか否かを判別し、判別結果がＮＯであればステップＳ２０１に戻り、判別結果がＹＥＳであれば実行中の単一辞書顔検出タスクをステップＳ２３３で停止する。
【０１２５】
ステップＳ２３５ではフラグＦＬＧ＿ｅを“０”に初期設定し、ステップＳ２３７では複数辞書顔検出タスクを起動する。ステップＳ２３９ではフラグＦＬＧ＿ｅが“１”を示すか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ２２１に戻る。
【０１２６】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ６０を図２５に示す要領でディジタルビデオカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【０１２７】
また、この実施例では、ＣＰＵ２６によって実行される処理を、図１２〜１４に示す撮像タスク，図１５に示すＡＥ／ＡＦ制御タスク，図１６〜１７に示す複数辞書顔検出タスク，および図１８〜１９に示す単一辞書顔検出タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【０１２８】
また、この実施例では、ディジタルビデオカメラを用いて説明したが、本発明は、ディジタルスチルカメラ，携帯電話端末またはスマートフォンなどにも適用することができる。
【符号の説明】
【０１２９】
１０ …ディジタルビデオカメラ
１２ …フォーカスレンズ
１４ …絞りユニット
１６ …イメージセンサ
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
３８ …ＬＣＤモニタ
【技術分野】
【０００１】
この発明は、電子カメラに関し、特に特定物体像に符合する画像を指定画像から探索する、電子カメラに関する。
【背景技術】
【０００２】
この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、カメラ制御部が制御部によって制御されることで、シャッター押下に応答して写真や動画の撮影が実行される。加速度センサ制御部が制御部によって制御されることで、シャッター押下時のこの携帯電話の傾き角度検出が、加速度センサによって実行される。このようにして撮影された写真や動画を記憶部に格納する制御が行われる。また、顔検出処理部が制御されることで、撮影された画像から人の顔部分を検出する動作が実行される。その際、加速度センサで検出されたシャッター押下時のこの携帯電話の傾き角度データが取得され、該取得された傾き角度データによって画像回転処理部が制御されることにより、傾き角度に合わせた撮影画像の回転処理が実行される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１０５５５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、加速度センサで検出された傾きに合わせて撮影画像の回転処理が実行されるので、回転処理の実行には加速度センサのカメラへの搭載が必要である。一方、カメラの軽量化やコスト削減のために加速度センサがカメラに搭載されなかった場合、撮影された画像の傾きを直接的に取得できない。このため、撮影された画像から人の顔部分の画像を検出する処理の負荷が増加し、探索性能が低下する恐れがある。
【０００５】
それゆえに、この発明の主たる目的は、探索性能を高めることができる、電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段(S16)、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する探索手段(S87, S119)、探索手段の探索結果に応じて異なる処理動作を実行する実行手段(S13, S15, S25, S33, S37, S41, S43, S47, S61~S73, S217, S227)、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する記録手段(S19, S51, S203, S209)、および探索手段によって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録手段の処理に関連して実行する制限手段(S29, S31, S111~S115, S221, S223)を備える。
【０００７】
好ましくは、探索手段は互いに異なる複数の画像辞書をそれぞれ用いて複数の照合処理を実行する。
【０００８】
好ましくは、制限処理の対象から外れる照合処理は特定物体像が探知された時点の撮像手段の姿勢に対応する。
【０００９】
好ましくは、制限手段は、探索手段の探知に応答して制限処理を開始する開始手段(S29, S31)、および探索手段の非探知に応答して制限処理を停止する停止手段(S33, S41, S43, S47)を含む。
【００１０】
好ましくは、記録手段の処理が中断される期間に探索手段の探知に応答して制限処理を第１頻度で実行する追加制限手段(S211, S231)をさらに備え、制限手段は記録手段の処理が実行される期間に探索手段の探知に応答して制限処理を第１頻度よりも低い第２頻度で実行する。
【００１１】
好ましくは、実行手段は探索手段によって探知された特定物体像に注目して撮像条件を調整する調整手段(S63~S69)を含む。
【００１２】
好ましくは、特定物体像は人物の顔画像に相当する。
【００１３】
この発明に従う撮像制御プログラムは、撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段(16)を備える電子カメラ(10)のプロセッサ(26)に、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する探索ステップ(S87, S119)、探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ(S13, S15, S25, S33, S37, S41, S43, S47, S61~S73, S217, S227)、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する記録ステップ(S19, S51, S203, S209)、および探索ステップによって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録ステップの処理に関連して実行する制限ステップ(S29, S31, S111~S115, S221, S223)を実行させるための、撮像制御プログラムである。
【００１４】
この発明に従う撮像制御方法は、撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段(16)を備える電子カメラによって実行される撮像制御方法であって、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する探索ステップ(S87, S119)、探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ(S13, S15, S25, S33, S37, S41, S43, S47, S61~S73, S217, S227)、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する記録ステップ(S19, S51, S203, S209)、および探索ステップによって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録ステップの処理に関連して実行する制限ステップ(S29, S31, S111~S115, S221, S223)を備える。
【００１５】
この発明に従う外部制御プログラムは、撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段(16)、およびメモリ(44)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)に供給される外部制御プログラムであって、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する探索ステップ(S87, S119)、探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ(S13, S15, S25, S33, S37, S41, S43, S47, S61~S73, S217, S227)、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する記録ステップ(S19, S51, S203, S209)、および探索ステップによって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録ステップの処理に関連して実行する制限ステップ(S29, S31, S111~S115, S221, S223)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１６】
この発明に従う電子カメラ(10)は、撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段(16)、外部制御プログラムを受信する受信手段(60)、および受信手段によって受信された外部制御プログラムとメモリ(44)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える電子カメラ(10)であって、外部制御プログラムは、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する探索ステップ(S87, S119)、探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ(S13, S15, S25, S33, S37, S41, S43, S47, S61~S73, S217, S227)、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する記録ステップ(S19, S51, S203, S209)、および探索ステップによって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録ステップの処理に関連して実行する制限ステップ(S29, S31, S111~S115, S221, S223)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１７】
カメラの複数の姿勢にそれぞれ対応する複数の照合処理を実行して、撮像手段から出力された画像から特定物体像が探索される。このような探索処理で実行される照合処理が、記録処理に関連して制限される。記録処理においては、撮像手段から繰り返し出力される画像が出力処理と並列して繰り返し記録される。つまり、動画像が記録される。
【００１８】
動画像の記録中は、通常、カメラの姿勢が一定に保たれるので、カメラの複数の姿勢にそれぞれ対応する複数の照合処理の一部の実行が制限された場合であっても、特定物体像の探索には影響がない。したがって、照合処理の制限によって、探索処理の負荷を軽減することができる。こうして、探索性能の向上が図られる。
【００１９】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００２０】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】図２実施例に適用されるＳＤＲＡＭのマッピング状態の一例を示す図解図である。
【図４】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図５】顔検出処理において用いられる顔検出枠の一例を示す図解図である。
【図６】（Ａ）は顔検出処理において参照される顔辞書の構成の一例を示す図解図であり、（Ｂ）は顔検出処理において参照される他の顔辞書の構成の一例を示す図解図であり、（Ｃ）は顔検出処理において参照されるその他の顔辞書の構成の一例を示す図解図である。
【図７】（Ａ）はカメラの筐体の姿勢の一例を示す図解図であり、（Ｂ）はカメラの筐体の姿勢の他の一例を示す図解図であり、（Ｃ）はカメラの筐体の姿勢のその他の一例を示す図解図である。
【図８】顔検出処理の一部を示す図解図である。
【図９】図２実施例において参照されるレジスタの構成の一例を示す図解図である。
【図１０】図２実施例において参照される他のレジスタの構成の一例を示す図解図である。
【図１１】撮像タスクにおいてＬＣＤモニタに表示された画像の一例を示す図解図である。
【図１２】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１８】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１９】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２０】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図２１】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図２２】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２３】この発明の他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図２４】この発明の他の実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図２５】この発明のその他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２２】
図１を参照して、この実施例の電子カメラは、基本的に次のように構成される。撮像手段１は撮像面で捉えたシーンを表す画像を繰り返し出力する。探索手段２は、撮像面に直交する軸の回り方向において撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して撮像手段から出力された画像から特定物体像を探索する。実行手段３は、探索手段の探索結果に応じて異なる処理動作を実行する。記録手段４は、撮像手段から出力された画像を撮像手段の処理と並列して繰り返し記録する。制限手段５は、探索手段によって実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録手段の処理に関連して実行する。
【００２３】
カメラの複数の姿勢にそれぞれ対応する複数の照合処理を実行して、撮像手段から出力された画像から特定物体像が探索される。このような探索処理で実行される照合処理が、記録処理に関連して制限される。記録処理においては、撮像手段から繰り返し出力される画像が出力処理と並列して繰り返し記録される。つまり、動画像が記録される。
【００２４】
動画像の記録中は、通常、カメラの姿勢が一定に保たれるので、カメラの複数の姿勢にそれぞれ対応する複数の照合処理の一部の実行が制限された場合であっても、特定物体像の探索には影響がない。したがって、照合処理の制限によって、探索処理の負荷を軽減することができる。こうして、探索性能の向上が図られる。
［実施例］
【００２５】
図２を参照して、この実施例のディジタルビデオカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経たシーンの光学像は、ドライバ１８ｃによって駆動されるイメージセンサ１６の撮像面に照射され、光電変換を施される。
【００２６】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、イメージセンサ１６の撮像面を露光し、かつイメージセンサ１６の撮像面で生成された電荷をラスタ走査態様でそれぞれ読み出す。イメージセンサ１６からは読み出された電荷に基づく生画像データが周期的に出力される。
【００２７】
前処理回路２０は、イメージセンサ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる（図３参照）。
【００２８】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに書き込まれる（図３参照）。
【００２９】
後処理回路３４はさらに、ＹＵＶ形式に従う画像データに対して表示用のズーム処理と探索用のズーム処理とを並列的に実行する。この結果、ＹＵＶ形式に従う表示画像データおよび探索画像データが個別に作成される。表示画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の表示画像エリア３２ｃに書き込まれる（図３参照）。探索画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２の探索画像エリア３２ｄに書き込まれる（図３参照）。
【００３０】
ＬＣＤドライバ３６は、表示画像エリア３２ｃに格納された表示画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、シーンを表すリアルタイム動画像（スルー画像）がＬＣＤモニタ３８に表示される。
【００３１】
図４を参照して、イメージセンサ１６の撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータに変換する簡易ＲＧＢ変換処理を実行する。
【００３２】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。こうして得られたＡＥ評価値およびＡＦ評価値に基づく処理については、後述する。
【００３３】
撮像タスクと並列して実行される複数辞書顔検出タスクの起動時に、ＣＰＵ２６は、フラグＦＬＧ＿ｆを“０”に初期設定する。また、複数辞書顔検出タスクの下で、ＣＰＵ２６は、後述の単一辞書顔検出タスクが停止中であることを表明するべくフラグＦＬＧ＿ｓを“０”に初期設定する。
【００３４】
ＣＰＵ２６は次に、探索画像エリア３２ｄに格納された探索画像データから人物の顔画像を探索するべく、垂直同期信号Ｖｓｙｎｃが発生する毎に顔検出処理を複数辞書顔検出タスクの下で実行する。
【００３５】
顔検出処理では、図５に示す要領でサイズが調整される顔検出枠ＦＤと５つの辞書画像（＝向きが互いに異なる顔画像）を各々が収めた図６（Ａ）〜（Ｃ）にそれぞれ示す顔辞書ＦＤＣ１〜３とが用いられる。
【００３６】
顔辞書ＦＤＣ１が収める５つの辞書画像は、図７（Ａ）に示すようにディジタルビデオカメラ１０の筐体ＣＢ１が横向きに構えられたときの探索画像データから人物の顔画像を検出するために、準備される。
【００３７】
顔辞書ＦＤＣ２および３の各々が収める５つの辞書画像は、ディジタルビデオカメラ１０の筐体ＣＢ１が縦向きに構えられたときの探索画像データから人物の顔画像を検出するために、準備される。
【００３８】
特に顔辞書ＦＤＣ２は、図７（Ｂ）に示すように右側面を上にディジタルビデオカメラ１０の筐体ＣＢ１が構えられたときの顔検出に、用いられる。つまり、イメージセンサ１６の撮像面に直交するディジタルビデオカメラ１０の光軸を軸として、図７（Ａ）に示す姿勢の筐体ＣＢ１が背面から見て反時計回りに９０度回転させた状態で構えられたときの顔検出に、顔辞書ＦＤＣ２が用いられる。
【００３９】
特にまた顔辞書ＦＤＣ３は、図７（Ｃ）に示すように左側面を上にディジタルビデオカメラ１０の筐体ＣＢ１が構えられたときの顔検出に、用いられる。つまり、イメージセンサ１６の撮像面に直交するディジタルビデオカメラ１０の光軸を軸として、図７（Ａ）に示す姿勢の筐体ＣＢ１が背面から見て時計回りに９０度回転させた状態で構えられたときの顔検出に、顔辞書ＦＤＣ３が用いられる。
【００４０】
なお、顔辞書ＦＤＣ１は辞書番号１に対応し、顔辞書ＦＤＣ２は辞書番号２に対応し、顔辞書ＦＤＣ３は辞書番号３に対応する。また、顔辞書ＦＤＣ１〜３はフラッシュメモリ４４に保存される。
【００４１】
顔検出処理ではまず、評価エリアＥＶＡの全域が探索エリアとして設定される。また、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＳＺｍａｘが“２００”に設定され、最小サイズＳＺｍｉｎが“２０”に設定される。
【００４２】
顔検出枠ＦＤは、探索エリアの開始位置（左上位置）から終了位置（右下位置）に向かって、ラスタ走査態様で既定量ずつ移動される（図８参照）。また、顔検出枠ＦＤのサイズは、顔検出枠ＦＤが終了位置に到達する毎に“ＳＺｍａｘ”から“ＳＺｍｉｎ”まで“５”ずつ縮小される。
【００４３】
顔検出枠ＦＤに属する一部の探索画像データは、メモリ制御回路３０を通して探索画像エリア３２ｄから読み出される。読み出された探索画像データの特徴量は、顔辞書ＦＤＣ１〜３の各々に収められた５つの辞書画像の特徴量と照合される。閾値ＴＨを超える照合度が得られると、顔画像が検出されたものとみなされる。現時点の顔検出枠ＦＤの位置，サイズ，および照合対象の顔辞書の辞書番号は、顔情報として図９に示すワークレジスタＲＧＳＴｗｋに登録される。
【００４４】
顔検出処理の完了後にワークレジスタＲＧＳＴｗｋに顔情報の登録があったときは、ワークレジスタＲＧＳＴｗｋの登録内容が、図９に示す顔検出レジスタＲＧＳＴｄｔにコピーされる。
【００４５】
ＣＰＵ２６は、顔検出レジスタＲＧＳＴｄｔに登録された位置およびサイズによって示される領域の中からＡＦ対象領域を決定する。顔検出レジスタＲＧＳＴｄｔに１つの顔情報が登録されている場合、ＣＰＵ２６は、登録された位置およびサイズによって示される領域をＡＦ対象領域とする。顔検出レジスタＲＧＳＴｄｔに複数の顔情報が登録されている場合、ＣＰＵ２６は、サイズが最も大きい顔情報によって示される領域をＡＦ対象領域とする。最大サイズを示す複数の顔情報が登録されている場合、ＣＰＵ２６は、これらの顔情報によって示される領域のうちシーン中央に最も近い領域をＡＦ対象領域とする。ＡＦ対象領域とされた顔情報の位置，サイズ，および照合対象の辞書番号は、図１０に示すＡＦ対象レジスタＲＧＳＴａｆに登録される。
【００４６】
また、ＣＰＵ２６は、人物の顔を発見したことを表明するべくフラグＦＬＧ＿ｆを“１”に設定する。
【００４７】
なお、顔検出処理の完了後にワークレジスタＲＧＳＴｗｋに顔情報の登録がなかった場合、すなわち人物の顔が発見されなかった場合は、ＣＰＵ２６は、人物の顔が未発見であることを表明するべくフラグＦＬＧ＿ｆを“０”に設定する。
【００４８】
フラグＦＬＧ＿ｆが“０”を示すとき、撮像タスクと並列して実行されるＡＥ／ＡＦ制御タスクの下でＣＰＵ２６は、シーン中央に注目したコンティニュアスＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、シーン中央の既定領域に対応するＡＦ評価値を抽出し、抽出された一部のＡＦ評価値に基づくコンティニュアスＡＦ処理を実行する。この結果、シーン中央に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像または記録画像の鮮鋭度が継続的に向上する。
【００４９】
フラグＦＬＧ＿ｆが“０”を示すとき、ＡＥ／ＡＦ制御タスクの下でＣＰＵ２６はまた、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づき、シーン全体を考慮したＡＥ処理を実行する。ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像または記録画像の明るさが、シーン全体を考慮した明るさに調整される。
【００５０】
フラグＦＬＧ＿ｆが“１”に更新されると、撮像タスクの下でＣＰＵ２６は、顔検出レジスタＲＧＳＴｄｔの登録内容を参照して、顔枠ＧＦの表示をグラフィックジェネレータ４８に要求する。グラフィックジェネレータ４８は、顔枠ＧＦを表すグラフィック情報をＬＣＤドライバ３６に向けて出力する。顔枠ＧＦは、顔検出タスクの下で検出された顔画像の位置およびサイズに適合する態様でＬＣＤモニタ３８に表示される。
【００５１】
したがって、人物ＨＭ１の顔が撮像面に捉えられたとき、顔枠ＧＦ１は、人物ＨＭ１の顔画像を囲うように、図１１に示す要領でＬＣＤモニタ３８に表示される。
【００５２】
フラグＦＬＧ＿ｆが“１”に更新されるとまた、ＡＥ／ＡＦ制御タスクの下でＣＰＵ２６は、ＡＦ対象領域に注目したコンティニュアスＡＦ処理を実行する。ＣＰＵ２６は、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値のうち、ＡＦ対象レジスタＲＧＳＴａｆに登録された位置およびサイズに対応するＡＦ評価値を抽出する。ＣＰＵ２６は、抽出された一部のＡＦ評価値に基づくＡＦ処理を実行する。この結果、ＡＦ対象領域に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像または記録画像におけるＡＦ対象領域の鮮鋭度が向上する。
【００５３】
ＣＰＵ２６は次に、ＡＥ／ＡＦ制御タスクの下で、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値のうち、顔検出レジスタＲＧＳＴｄｔに登録された位置およびサイズに対応するＡＥ評価値を抽出する。ＣＰＵ２６は、抽出された一部のＡＥ評価値に基づき、顔画像に注目したＡＥ処理を実行する。ＡＥ処理によって算出された最適ＥＶ値を定義する絞り量および露光時間は、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。この結果、スルー画像または記録画像の明るさが、顔画像に注目した明るさに調整される。
【００５４】
キー入力装置２８に設けられた記録ボタン２８ｒｅｃに向けて記録開始操作が行われると、ＣＰＵ２６は、記録処理を開始するべく、ＭＰ４コーデック４６およびＩ／Ｆ４０を撮像タスクの下で起動する。ＭＰ４コーデック４６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをＭＰＥＧ４方式に従って圧縮する。圧縮画像データつまりＭＰ４データは、メモリ制御回路３０によって記録画像エリア３２ｅに書き込まれる（図３参照）。Ｉ／Ｆ４０は、記録画像エリア３２ｅに格納されたＭＰ４データをメモリ制御回路３０を通して読み出し、読み出されたＭＰ４データを記録媒体４２に作成された画像ファイルに書き込む。
【００５５】
また、記録開始操作が行われた後、フラグＦＬＧ＿ｆが“１”を示すとき、ＣＰＵ２６は、実行中の複数辞書顔検出タスクを停止し、単一辞書顔検出タスクを起動する。単一辞書顔検出タスクの下で、ＣＰＵ２６は、単一辞書顔検出タスクが実行中であることを表明するべくフラグＦＬＧ＿ｓを“１”に初期設定する。
【００５６】
ＣＰＵ２６は次に、探索画像エリア３２ｄに格納された探索画像データから人物の顔画像を探索するべく、垂直同期信号Ｖｓｙｎｃが発生する毎に顔検出処理を単一辞書顔検出タスクの下で実行する。
【００５７】
単一辞書顔検出タスクの下で実行される顔検出処理では、顔辞書ＦＤＣ１〜３のうちＡＦ対象レジスタＲＧＳＴａｆに登録された辞書番号に対応する辞書だけが用いられる。単一辞書顔検出タスクの下で実行される顔検出処理では、照合対象の辞書が単一であるという点を除いて、複数辞書顔検出タスクの下で実行される顔検出処理と同様の処理が実行される。したがって、探索画像データの特徴量と辞書画像の特徴量との照合の結果、閾値ＴＨを超える照合度が得られると、顔検出枠ＦＤの位置，サイズ，および照合対象の顔辞書の辞書番号がワークレジスタＲＧＳＴｗｋに登録される。
【００５８】
顔検出処理の完了後にワークレジスタＲＧＳＴｗｋに顔情報の登録があったときは、複数辞書顔検出タスクと同様に、ワークレジスタＲＧＳＴｗｋの登録内容が顔検出レジスタＲＧＳＴｄｔにコピーされる。
【００５９】
複数辞書顔検出タスクと同様に、ＣＰＵ２６は、顔検出レジスタＲＧＳＴｄｔに登録された顔情報によって示される領域の中からＡＦ対象領域を決定し、ＡＦ対象領域とされた顔情報の位置，サイズ，および照合対象の辞書番号は、ＡＦ対象レジスタＲＧＳＴａｆに登録される。また、ＣＰＵ２６は、人物の顔が発見された場合はフラグＦＬＧ＿ｆを“１”に設定し、人物の顔が発見されなかった場合はフラグＦＬＧ＿ｆを“０”に設定する。
【００６０】
また、キー入力装置２８に向けて記録開始操作が行われた後、フラグＦＬＧ＿ｆが更新されて“０”を示すとき、単一辞書顔検出タスクの起動から既定時間、例えば３秒が経過している場合は、ＣＰＵ２６は、実行中の単一辞書顔検出タスクを停止する。
【００６１】
ＣＰＵ２６は次に、複数辞書顔検出タスクを起動して、顔検出処理を１回実行する。この顔検出処理は複数辞書顔検出タスクの下で実行されるので、照合対象の辞書として顔辞書ＦＤＣ１〜３が用いられる。２回目の顔検出処理が実行される前に、ＣＰＵ２６は、複数辞書顔検出タスクを停止して、単一辞書顔検出タスクを再起動する。
【００６２】
なお、ＡＦ対象レジスタに登録された照合対象の辞書番号が複数辞書顔検出タスクの下で１回実行された顔検出処理によって新たな辞書番号に更新された場合は、再起動された単一辞書顔検出タスクの下で実行される顔検出処理では、更新後の辞書番号に対応する顔辞書が用いられる。
【００６３】
キー入力装置２８に向けて記録終了操作が行われると、ＣＰＵ２６は、記録処理を終了するべくＭＰ４コーデック４６およびＩ／Ｆ４０を停止する。また、書き込み先の動画ファイルには終了処理が施される。
【００６４】
また、記録終了操作が行われたときフラグＦＬＧ＿ｓが“１”を示す場合は、ＣＰＵ２６は、実行中の単一辞書顔検出タスクを停止し、複数辞書顔検出タスクを再起動する。再起動された複数辞書顔検出タスクの下で、ＣＰＵ２６は、単一辞書顔検出タスクが停止中であることを表明するべくフラグＦＬＧ＿ｓを“０”に設定する。
【００６５】
ＣＰＵ２６は、図１２〜１４に示す撮像タスク，図１５に示すＡＥ／ＡＦ制御タスク，図１６〜１７に示す複数辞書顔検出タスク，および図１８〜１９に示す単一辞書顔検出タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４４に記憶される。
【００６６】
図１２を参照して、ステップＳ１では動画取り込み処理を実行する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではフラグＦＬＧ＿ｆを“０”に初期設定する。ステップＳ５ではＡＥ／ＡＦ制御タスクを起動し、ステップＳ７では複数辞書顔検出タスクを起動する。
【００６７】
ステップＳ９ではフラグＦＬＧ＿ｆが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ１１およびＳ１３の処理を経てステップＳ１７に進む一方、判別結果がＮＯであればステップＳ１５の処理を経てステップＳ１７に進む。
【００６８】
ステップＳ１１では、顔検出レジスタＲＧＳＴｄｔに登録された位置およびサイズを読み出す。読み出された位置およびサイズに基づいて、ステップＳ１３では顔枠ＧＦの表示をグラフィックジェネレータ４８に要求する。この結果、複数辞書顔検出タスクの下で検出された顔画像の位置およびサイズに適合する態様で、顔枠ＧＦがＬＣＤモニタ３８に表示される。ステップＳ１５では、顔枠ＧＦの非表示をグラフィックジェネレータ４８に要求する。この結果、モニタ３８に表示された顔枠ＧＦは非表示とされる。
【００６９】
ステップＳ１７では記録ボタン２８ｒｅｃに向けて記録開始操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ９に戻る一方、判別結果がＹＥＳであればステップＳ１９でＭＰ４コーデック４６およびＩ／Ｆ４０を起動して記録処理を開始する。この結果、記録媒体４２に作成された画像ファイルへのＭＰ４データの書き込みが開始される。
【００７０】
ステップＳ２１ではフラグＦＬＧ＿ｆが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ３７に進む一方、判別結果がＹＥＳであればステップＳ２３に進む。
【００７１】
ステップＳ２３では、顔検出レジスタＲＧＳＴｄｔに登録された位置およびサイズを読み出す。読み出された位置およびサイズに基づいて、ステップＳ２５では顔枠ＧＦの表示をグラフィックジェネレータ４８に要求する。この結果、複数辞書顔検出タスクの下で検出された顔画像の位置およびサイズに適合する態様で、顔枠ＧＦがＬＣＤモニタ３８に表示される。
【００７２】
ステップＳ２７ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ３５に進む一方、判別結果がＮＯであればステップＳ２９に進む。ステップＳ２９では実行中の複数辞書顔検出タスクを停止し、ステップＳ３１では単一辞書顔検出タスクを起動する。
【００７３】
ステップＳ３３ではタイマ２６ｔのリセット＆スタートを実行する。タイマ値は例えば３秒とする。ステップＳ３５では記録ボタン２８ｒｅｃに向けて記録終了操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ２１に戻る一方、判別結果がＹＥＳであればステップＳ５１に進む。
【００７４】
ステップＳ３７では、顔枠ＧＦの非表示をグラフィックジェネレータ４８に要求する。この結果、モニタ３８に表示された顔枠ＧＦは非表示とされる。ステップＳ３９ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ４１に進む一方、判別結果がＮＯであればステップＳ３５に戻る。
【００７５】
ステップＳ４１ではタイマ２６ｔにタイムアウトが発生したか否かを判別し、判別結果がＮＯであればステップＳ３５に戻り、判別結果がＹＥＳであれば実行中の単一辞書顔検出タスクをステップＳ４３で停止する。
【００７６】
ステップＳ４５ではフラグＦＬＧ＿ｅを“０”に初期設定し、ステップＳ４７では複数辞書顔検出タスクを起動する。ステップＳ４９ではフラグＦＬＧ＿ｅが“１”を示すか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ２９に戻る。
【００７７】
ステップ５１では、記録処理を終了するべくＭＰ４コーデック４６およびＩ／Ｆ４０を停止する。また、書き込み先の動画ファイルには終了処理が施される。
【００７８】
ステップＳ５３ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ９に戻る一方、判別結果がＹＥＳであれば実行中の単一辞書顔検出タスクをステップＳ５５で停止し、その後にステップＳ７に戻る。
【００７９】
図１５を参照して、ステップＳ６１ではフラグＦＬＧ＿ｆが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ７１に進む一方、判別結果がＹＥＳであればステップＳ６３に進む。
【００８０】
ステップＳ６３ではＡＦ対象レジスタＲＧＳＴａｆからＡＦ対象領域の位置およびサイズを読み出し、読み出されたＡＦ対象領域の位置およびサイズに基づいて、ステップＳ６５でコンティニュアスＡＦ処理を実行する。この結果、ＡＦ対象領域に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像または記録画像におけるＡＦ対象領域の鮮鋭度が向上する。
【００８１】
ステップＳ６７では顔検出レジスタＲＧＳＴｄｔから顔画像の位置およびサイズを読み出し、読み出された顔画像の位置およびサイズに基づいて、ステップＳ６９でＡＥ処理を実行する。この結果、スルー画像または記録画像の明るさが、顔画像に注目した明るさに調整される。ステップＳ６９の処理が完了すると、ステップＳ６１に戻る。
【００８２】
ステップＳ７１ではシーン中央に注目したコンティニュアスＡＦ処理を実行する。この結果、シーン中央に注目した合焦点にフォーカスレンズ１２が配置され、スルー画像または記録画像の鮮鋭度が継続的に向上する。
【００８３】
ステップＳ７３ではシーン全体を考慮したＡＥ処理を実行する。この結果、スルー画像または記録画像の明るさが、シーン全体を考慮した明るさに調整される。ステップＳ７３の処理が完了すると、ステップＳ６１に戻る。
【００８４】
図１６を参照して、ステップＳ８１では、単一辞書顔検出タスクが停止中であることを表明するべく、フラグＦＬＧ＿ｓを“０”に初期設定する。ステップＳ８３では、変数ＤＩＣを“１”に初期設定する。
【００８５】
ステップＳ８５では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ８７で顔検出処理を実行する。顔検出処理の完了後、ワークレジスタＲＧＳＴｗｋに顔情報の登録があるか否かをステップＳ８９で判別し、判別結果がＹＥＳであればステップＳ９５に進む一方、判別結果がＮＯであればステップＳ９１に進む。
【００８６】
ステップＳ９１では、人物の顔が未発見であることを表明するべく、フラグＦＬＧ＿ｆを“０”に設定する。ステップＳ９３では、顔検出処理の実行が完了したことを表明するべく、フラグＦＬＧ＿ｅを“１”に設定する。ステップＳ９３の処理が完了すると、ステップＳ８５に戻る。
【００８７】
ステップＳ９５では、ワークレジスタＲＧＳＴｗｋの登録内容を顔検出レジスタＲＧＳＴｄｔにコピーする。
【００８８】
ステップＳ９７では、顔検出レジスタＲＧＳＴｄｔに登録されている顔情報のうちサイズが最も大きい顔情報が複数登録されているか否かを判別する。判別結果がＹＥＳであればステップＳ９９で、複数の最大サイズの顔情報のうち位置が撮像面中央に最も近い顔情報が示す領域をＡＦ対象領域と決定する。判別結果がＮＯであればステップＳ１０１で、サイズが最も大きい顔情報が示す領域をＡＦ対象領域と決定する。
【００８９】
ステップＳ９９またはＳ１０１においてＡＦ対象領域と決定された顔情報の位置，サイズ，および照合対象の辞書番号は、ステップＳ１０３でＡＦ対象レジスタＲＧＳＴａｆに登録される。
【００９０】
ステップＳ１０５では、人物の顔が発見されたことを表明するべく、フラグＦＬＧ＿ｆを“１”に設定する。ステップＳ１０７では、顔検出処理の実行が完了したことを表明するべく、フラグＦＬＧ＿ｅを“１”に設定する。ステップＳ１０７の処理が完了すると、ステップＳ８５に戻る。
【００９１】
図１８を参照して、ステップＳ１１１では、単一辞書顔検出タスクが実行中であることを表明するべくフラグＦＬＧ＿ｓを“１”に初期設定する。ステップＳ１１３ではＡＦ対象レジスタＲＧＳＴａｆに登録された照合対象の辞書番号を読み出し、ステップＳ１１５では変数ＤＩＣを読み出された辞書番号に設定する。
【００９２】
ステップＳ１１７では、垂直同期信号Ｖｓｙｎｃが発生したか否かを繰り返し判別する。判別結果がＮＯからＹＥＳに更新されると、ステップＳ１１９で顔検出処理を実行する。顔検出処理の完了後、ワークレジスタＲＧＳＴｗｋに顔情報の登録があるか否かをステップＳ１２１で判別し、判別結果がＹＥＳであればステップＳ１２５に進む一方、判別結果がＮＯであればステップＳ１２３に進む。
【００９３】
ステップＳ１２３では、人物の顔が未発見であることを表明するべく、フラグＦＬＧ＿ｆを“０”に設定し、その後にステップＳ１１７に戻る。
【００９４】
ステップＳ１２５では、ワークレジスタＲＧＳＴｗｋの登録内容を顔検出レジスタＲＧＳＴｄｔにコピーする。
【００９５】
ステップＳ１２７では、顔検出レジスタＲＧＳＴｄｔに登録されている顔情報のうちサイズが最も大きい顔情報が複数登録されているか否かを判別する。判別結果がＹＥＳであればステップＳ１２９で、複数の最大サイズの顔情報のうち位置が撮像面中央に最も近い顔情報が示す領域をＡＦ対象領域と決定する。判別結果がＮＯであればステップＳ１３１で、サイズが最も大きい顔情報が示す領域をＡＦ対象領域と決定する。
【００９６】
ステップＳ１２９またはＳ１３１においてＡＦ対象領域と決定された顔情報の位置，サイズ，および照合対象の辞書番号は、ステップＳ１３３でＡＦ対象レジスタＲＧＳＴａｆに登録される。
【００９７】
ステップＳ１３５では、人物の顔が発見されたことを表明するべく、フラグＦＬＧ＿ｆを“１”に設定する。ステップＳ１３５の処理が完了すると、ステップＳ１１７に戻る。
【００９８】
ステップＳ８７およびＳ１１９の顔検出処理は、図２０〜２２に示すサブルーチンに従って実行される。ステップＳ１４１ではワークレジスタＲＧＳＴｗｋを初期化すべく登録内容をクリアする。
【００９９】
ステップＳ１４３では評価エリアＥＶＡの全域を探索エリアとして設定する。ステップＳ１４５では、顔検出枠ＦＤのサイズの可変範囲を定義するべく、最大サイズＳＺｍａｘを“２００”に設定し、最小サイズＳＺｍｉｎを“２０”に設定する。
【０１００】
ステップＳ１４７では顔検出枠ＦＤのサイズを“ＳＺｍａｘ”に設定し、ステップＳ１４９では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１５１では、顔検出枠ＦＤに属する一部の探索画像データを探索画像エリア３２ｄから読み出し、読み出された探索画像データの特徴量を算出する。
【０１０１】
ステップＳ１５３では変数ＤＩＣが示す辞書番号に対応する顔辞書を読み出し、ステップＳ１５５では変数ＦＤＲを“１”に設定する。
【０１０２】
ステップＳ１５７では、ステップＳ１５１で算出された特徴量とステップＳ１５３で読み出された顔辞書に収められた辞書画像のうち変数ＦＤＲが示す顔向き番号の辞書画像の特徴量とを照合する。照合の結果、閾値ＴＨを超える照合度が得られたか否かをステップＳ１５９で判別し、判別結果がＮＯであればステップＳ１６５に進む一方、判別結果がＹＥＳであればステップＳ１６１に進む。
【０１０３】
ステップＳ１６１では、現時点の顔検出枠ＦＤの位置，サイズ，および照合対象の辞書番号を顔情報としてワークレジスタＲＧＳＴｗｋに登録する。ステップＳ１６３ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ１７５に進む一方、判別結果がＹＥＳであればステップＳ１７７に進む。
【０１０４】
ステップＳ１６５では変数ＦＤＲをインクリメントし、変数ＦＤＲが“５”を超えたか否かをステップＳ１６７で判別する。判別結果がＮＯであればステップＳ１５７に戻る一方、判別結果がＹＥＳであればステップＳ１６９に進む。ステップＳ１６９ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ１７７に進む一方、判別結果がＮＯであればステップＳ１７１に進む。
【０１０５】
ステップＳ１７１では変数ＤＩＣをインクリメントし、変数ＤＩＣが“３”を超えたか否かをステップＳ１７３で判別する。判別結果がＮＯであればステップＳ１５３に戻る一方、判別結果がＹＥＳであればステップＳ１７５で変数ＤＩＣを“１”に設定する。
【０１０６】
ステップＳ１７７では顔検出枠ＦＤが探索エリアの右下位置に到達したか否かを判別し、判別結果がＹＥＳであればステップＳ１８１に進む一方、判別結果がＮＯであれば、ステップＳ１７９で顔検出枠ＦＤを既定量だけラスタ方向に移動させ、その後にステップＳ１５１に戻る。
【０１０７】
ステップＳ１８１では顔検出枠ＦＤのサイズが“ＳＺｍｉｎ”以下であるか否かを判別し、判別結果がＹＥＳであれば上階層のルーチンに復帰する一方、判別結果がＮＯであればステップＳ１８３に進む。
【０１０８】
ステップＳ１８３では顔検出枠ＦＤのサイズを“５”だけ縮小させ、ステップＳ１８５では顔検出枠ＦＤを探索エリアの左上位置に配置する。ステップＳ１８５の処理が完了すると、ステップＳ１５１に戻る。
【０１０９】
以上の説明から分かるように、イメージセンサ１６は、撮像面で捉えたシーンを表す画像を繰り返し出力する。ＣＰＵ２６は、撮像面に直交する軸の回り方向においてイメージセンサ１６がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行してイメージセンサ１６から出力された画像から特定物体像を探索する。ＣＰＵ２６はまた、探索結果に応じて異なる処理動作を実行し、イメージセンサ１６から出力された画像をイメージセンサ１６の処理と並列して繰り返し記録する。ＣＰＵ２６はさらに、実行される照合処理を複数の照合処理のいずれか１つに制限する制限処理を記録処理に関連して実行する。
【０１１０】
カメラの複数の姿勢にそれぞれ対応する複数の照合処理を実行して、撮像手段から出力された画像から特定物体像が探索される。このような探索処理で実行される照合処理が、記録処理に関連して制限される。記録処理においては、撮像手段から繰り返し出力される画像が出力処理と並列して繰り返し記録される。つまり、動画像が記録される。
【０１１１】
動画像の記録中は、通常、カメラの姿勢が一定に保たれるので、カメラの複数の姿勢にそれぞれ対応する複数の照合処理の一部の実行が制限された場合であっても、特定物体像の探索には影響がない。したがって、照合処理の制限によって、探索処理の負荷を軽減することができる。こうして、探索性能の向上が図られる。
【０１１２】
なお、この実施例では、撮像タスクと並行して、記録処理が実行されていないときは複数辞書顔検出タスクを実行し、記録処理の開始から終了までの間は複数辞書顔検出タスクまたは単一辞書顔検出タスクを実行するようにした。しかし、記録処理が実行されていないときにも複数辞書顔検出タスクまたは単一辞書顔検出タスクを撮像タスクと並行して実行するようにしてもよい。
【０１１３】
この場合、記録処理が実行されていないときおよび記録処理の開始から終了までの間のいずれの場合にも、タイマを用いて複数辞書顔検出タスクの実行周期を調整するようにし、記録処理の開始から終了までの間は実行周期を延ばすようにすればよい。またこの場合、図１２〜１４に示す撮像タスクに変えて図２３〜２４に示す撮像タスクを実行するようにすればよい。
【０１１４】
図２３を参照して、ステップＳ１９１では動画取り込み処理を実行し、ステップＳ１９３ではフラグＦＬＧ＿ｆを“０”に初期設定する。ステップＳ１９５ではＡＥ／ＡＦ制御タスクを起動し、ステップＳ１９７では複数辞書顔検出タスクを起動する。ステップＳ１９９では変数ＴＭＲを“０．１”に初期設定する。
【０１１５】
ステップＳ２０１では記録ボタン２８ｒｅｃに向けて記録開始操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ２０７に進む一方、判別結果がＹＥＳであればステップＳ２０３およびＳ２０５の処理を経てステップＳ２１３に進む。
【０１１６】
ステップＳ２０３ではＭＰ４コーデック４６およびＩ／Ｆ４０を起動して記録処理を開始し、ステップＳ２０５では変数ＴＭＲを“３”に設定する。
【０１１７】
ステップＳ２０７では記録ボタン２８ｒｅｃに向けて記録終了操作が行われたか否かを判別し、判別結果がＮＯであればステップＳ２１３に進む一方、判別結果がＹＥＳであればステップＳ２０９およびＳ２１１の処理を経てステップＳ２１３に進む。
【０１１８】
ステップ２０９では、記録処理を終了するべくＭＰ４コーデック４６およびＩ／Ｆ４０を停止する。また、書き込み先の動画ファイルには終了処理が施される。ステップＳ２１１では変数ＴＭＲを“０．１”に設定する。
【０１１９】
ステップＳ２１３ではフラグＦＬＧ＿ｆが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ２２７に進む一方、判別結果がＹＥＳであればステップＳ２１５に進む。
【０１２０】
ステップＳ２１５では、顔検出レジスタＲＧＳＴｄｔに登録された位置およびサイズを読み出す。読み出された位置およびサイズに基づいて、ステップＳ２１７では顔枠ＧＦの表示をグラフィックジェネレータ４８に要求する。この結果、複数辞書顔検出タスクの下で検出された顔画像の位置およびサイズに適合する態様で、顔枠ＧＦがＬＣＤモニタ３８に表示される。
【０１２１】
ステップＳ２１９ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ２０１に戻る一方、判別結果がＮＯであればステップＳ２２１に進む。ステップＳ２２１では実行中の複数辞書顔検出タスクを停止し、ステップＳ２２３では単一辞書顔検出タスクを起動する。
【０１２２】
ステップＳ２２５では、変数ＴＭＲが示す値をタイマ値として、タイマ２６ｔのリセット＆スタートを実行する。
【０１２３】
ステップＳ２２７では、顔枠ＧＦの非表示をグラフィックジェネレータ４８に要求する。この結果、モニタ３８に表示された顔枠ＧＦは非表示とされる。ステップＳ２２９ではフラグＦＬＧ＿ｓが“１”を示すか否かを判別し、判別結果がＮＯであればステップＳ２０１に戻る一方、判別結果がＹＥＳであればステップＳ２３１に進む。
【０１２４】
ステップＳ２３１ではタイマ２６ｔにタイムアウトが発生したか否かを判別し、判別結果がＮＯであればステップＳ２０１に戻り、判別結果がＹＥＳであれば実行中の単一辞書顔検出タスクをステップＳ２３３で停止する。
【０１２５】
ステップＳ２３５ではフラグＦＬＧ＿ｅを“０”に初期設定し、ステップＳ２３７では複数辞書顔検出タスクを起動する。ステップＳ２３９ではフラグＦＬＧ＿ｅが“１”を示すか否かを繰り返し判別し、判別結果がＮＯからＹＥＳに更新されるとステップＳ２２１に戻る。
【０１２６】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４４に予め記憶される。しかし、外部サーバに接続するための通信Ｉ／Ｆ６０を図２５に示す要領でディジタルビデオカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４４に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【０１２７】
また、この実施例では、ＣＰＵ２６によって実行される処理を、図１２〜１４に示す撮像タスク，図１５に示すＡＥ／ＡＦ制御タスク，図１６〜１７に示す複数辞書顔検出タスク，および図１８〜１９に示す単一辞書顔検出タスクを含む複数のタスクに区分するようにしている。しかし、これらのタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、転送タスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【０１２８】
また、この実施例では、ディジタルビデオカメラを用いて説明したが、本発明は、ディジタルスチルカメラ，携帯電話端末またはスマートフォンなどにも適用することができる。
【符号の説明】
【０１２９】
１０ …ディジタルビデオカメラ
１２ …フォーカスレンズ
１４ …絞りユニット
１６ …イメージセンサ
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
３８ …ＬＣＤモニタ
【特許請求の範囲】
【請求項１】
撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段、
前記撮像面に直交する軸の回り方向において前記撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して前記撮像手段から出力された画像から特定物体像を探索する探索手段、
前記探索手段の探索結果に応じて異なる処理動作を実行する実行手段、
前記撮像手段から出力された画像を前記撮像手段の処理と並列して繰り返し記録する記録手段、および
前記探索手段によって実行される照合処理を前記複数の照合処理のいずれか１つに制限する制限処理を前記記録手段の処理に関連して実行する制限手段を備える、電子カメラ。
【請求項２】
前記探索手段は互いに異なる複数の画像辞書をそれぞれ用いて前記複数の照合処理を実行する、請求項１記載の電子カメラ。
【請求項３】
前記制限処理の対象から外れる照合処理は前記特定物体像が探知された時点の前記撮像手段の姿勢に対応する、請求項１または２記載の電子カメラ。
【請求項４】
前記制限手段は、前記探索手段の探知に応答して前記制限処理を開始する開始手段、および前記探索手段の非探知に応答して前記制限処理を停止する停止手段を含む、請求項１ないし３のいずれかに記載の電子カメラ。
【請求項５】
前記記録手段の処理が中断される期間に前記探索手段の探知に応答して前記制限処理を第１頻度で実行する追加制限手段をさらに備え、
前記制限手段は前記記録手段の処理が実行される期間に前記探索手段の探知に応答して前記制限処理を前記第１頻度よりも低い第２頻度で実行する、請求項１ないし３のいずれかに記載の電子カメラ。
【請求項６】
前記実行手段は前記探索手段によって探知された特定物体像に注目して撮像条件を調整する調整手段を含む、請求項１ないし５のいずれかに記載の電子カメラ。
【請求項７】
前記特定物体像は人物の顔画像に相当する、請求項１ないし６のいずれかに記載の電子カメラ。
【請求項８】
撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段を備える電子カメラのプロセッサに、
前記撮像面に直交する軸の回り方向において前記撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して前記撮像手段から出力された画像から特定物体像を探索する探索ステップ、
前記探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ、
前記撮像手段から出力された画像を前記撮像手段の処理と並列して繰り返し記録する記録ステップ、および
前記探索ステップによって実行される照合処理を前記複数の照合処理のいずれか１つに制限する制限処理を前記記録ステップの処理に関連して実行する制限ステップを実行させるための、撮像制御プログラム。
【請求項９】
撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
前記撮像面に直交する軸の回り方向において前記撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して前記撮像手段から出力された画像から特定物体像を探索する探索ステップ、
前記探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ、
前記撮像手段から出力された画像を前記撮像手段の処理と並列して繰り返し記録する記録ステップ、および
前記探索ステップによって実行される照合処理を前記複数の照合処理のいずれか１つに制限する制限処理を前記記録ステップの処理に関連して実行する制限ステップを備える、撮像制御方法。
【請求項１０】
撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
前記撮像面に直交する軸の回り方向において前記撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して前記撮像手段から出力された画像から特定物体像を探索する探索ステップ、
前記探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ、
前記撮像手段から出力された画像を前記撮像手段の処理と並列して繰り返し記録する記録ステップ、および
前記探索ステップによって実行される照合処理を前記複数の照合処理のいずれか１つに制限する制限処理を前記記録ステップの処理に関連して実行する制限ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１１】
撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段、
外部制御プログラムを受信する受信手段、および
前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
前記外部制御プログラムは、
前記撮像面に直交する軸の回り方向において前記撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して前記撮像手段から出力された画像から特定物体像を探索する探索ステップ、
前記探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ、
前記撮像手段から出力された画像を前記撮像手段の処理と並列して繰り返し記録する記録ステップ、および
前記探索ステップによって実行される照合処理を前記複数の照合処理のいずれか１つに制限する制限処理を前記記録ステップの処理に関連して実行する制限ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。
【請求項１】
撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段、
前記撮像面に直交する軸の回り方向において前記撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して前記撮像手段から出力された画像から特定物体像を探索する探索手段、
前記探索手段の探索結果に応じて異なる処理動作を実行する実行手段、
前記撮像手段から出力された画像を前記撮像手段の処理と並列して繰り返し記録する記録手段、および
前記探索手段によって実行される照合処理を前記複数の照合処理のいずれか１つに制限する制限処理を前記記録手段の処理に関連して実行する制限手段を備える、電子カメラ。
【請求項２】
前記探索手段は互いに異なる複数の画像辞書をそれぞれ用いて前記複数の照合処理を実行する、請求項１記載の電子カメラ。
【請求項３】
前記制限処理の対象から外れる照合処理は前記特定物体像が探知された時点の前記撮像手段の姿勢に対応する、請求項１または２記載の電子カメラ。
【請求項４】
前記制限手段は、前記探索手段の探知に応答して前記制限処理を開始する開始手段、および前記探索手段の非探知に応答して前記制限処理を停止する停止手段を含む、請求項１ないし３のいずれかに記載の電子カメラ。
【請求項５】
前記記録手段の処理が中断される期間に前記探索手段の探知に応答して前記制限処理を第１頻度で実行する追加制限手段をさらに備え、
前記制限手段は前記記録手段の処理が実行される期間に前記探索手段の探知に応答して前記制限処理を前記第１頻度よりも低い第２頻度で実行する、請求項１ないし３のいずれかに記載の電子カメラ。
【請求項６】
前記実行手段は前記探索手段によって探知された特定物体像に注目して撮像条件を調整する調整手段を含む、請求項１ないし５のいずれかに記載の電子カメラ。
【請求項７】
前記特定物体像は人物の顔画像に相当する、請求項１ないし６のいずれかに記載の電子カメラ。
【請求項８】
撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段を備える電子カメラのプロセッサに、
前記撮像面に直交する軸の回り方向において前記撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して前記撮像手段から出力された画像から特定物体像を探索する探索ステップ、
前記探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ、
前記撮像手段から出力された画像を前記撮像手段の処理と並列して繰り返し記録する記録ステップ、および
前記探索ステップによって実行される照合処理を前記複数の照合処理のいずれか１つに制限する制限処理を前記記録ステップの処理に関連して実行する制限ステップを実行させるための、撮像制御プログラム。
【請求項９】
撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
前記撮像面に直交する軸の回り方向において前記撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して前記撮像手段から出力された画像から特定物体像を探索する探索ステップ、
前記探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ、
前記撮像手段から出力された画像を前記撮像手段の処理と並列して繰り返し記録する記録ステップ、および
前記探索ステップによって実行される照合処理を前記複数の照合処理のいずれか１つに制限する制限処理を前記記録ステップの処理に関連して実行する制限ステップを備える、撮像制御方法。
【請求項１０】
撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段、および
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える電子カメラに供給される外部制御プログラムであって、
前記撮像面に直交する軸の回り方向において前記撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して前記撮像手段から出力された画像から特定物体像を探索する探索ステップ、
前記探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ、
前記撮像手段から出力された画像を前記撮像手段の処理と並列して繰り返し記録する記録ステップ、および
前記探索ステップによって実行される照合処理を前記複数の照合処理のいずれか１つに制限する制限処理を前記記録ステップの処理に関連して実行する制限ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１１】
撮像面で捉えたシーンを表す画像を繰り返し出力する撮像手段、
外部制御プログラムを受信する受信手段、および
前記受信手段によって受信された外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える電子カメラであって、
前記外部制御プログラムは、
前記撮像面に直交する軸の回り方向において前記撮像手段がとり得る複数の姿勢にそれぞれ対応する複数の照合処理を実行して前記撮像手段から出力された画像から特定物体像を探索する探索ステップ、
前記探索ステップの探索結果に応じて異なる処理動作を実行する実行ステップ、
前記撮像手段から出力された画像を前記撮像手段の処理と並列して繰り返し記録する記録ステップ、および
前記探索ステップによって実行される照合処理を前記複数の照合処理のいずれか１つに制限する制限処理を前記記録ステップの処理に関連して実行する制限ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、電子カメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１３−７４５７０（Ｐ２０１３−７４５７０Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１３７８３（Ｐ２０１１−２１３７８３）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]