撮像装置
【課題】監視カメラ等において、顔領域の検出に時間がかかっても、人物の顔を適正な合焦・露出条件で撮影できるようにする。
【解決手段】前後する２フレームをメモリ領域Ａ1,Ａ2にセーブし、フレームからの顔領域検出時間を見込んで、６フレーム期間毎に現フレームＦ(i)をメモリ領域Ａ3にコピーして顔領域の検出を行い、その位置データＰ(i)をメモリ領域Ａ4にセーブする。一方、フレーム間の動きベクトルＶ(i)を算出して直前の６フレーム期間分をメモリ領域Ａ5にセーブしておく。位置データＰ(i)はフレームＦ(i+6)の期間でセーブされるが、その位置データＰ(i)とメモリ領域Ａ5の各動きベクトルとフレームＦ(i+7)以降の動きベクトルにより顔領域の補正（予測）位置Ｐe(i+7)〜Ｐe(i+12)が求まり、フレーム毎に顔領域に合わせた焦点／露出／ＷＢ制御を実行する。
【解決手段】前後する２フレームをメモリ領域Ａ1,Ａ2にセーブし、フレームからの顔領域検出時間を見込んで、６フレーム期間毎に現フレームＦ(i)をメモリ領域Ａ3にコピーして顔領域の検出を行い、その位置データＰ(i)をメモリ領域Ａ4にセーブする。一方、フレーム間の動きベクトルＶ(i)を算出して直前の６フレーム期間分をメモリ領域Ａ5にセーブしておく。位置データＰ(i)はフレームＦ(i+6)の期間でセーブされるが、その位置データＰ(i)とメモリ領域Ａ5の各動きベクトルとフレームＦ(i+7)以降の動きベクトルにより顔領域の補正（予測）位置Ｐe(i+7)〜Ｐe(i+12)が求まり、フレーム毎に顔領域に合わせた焦点／露出／ＷＢ制御を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に係り、特に監視カメラ等のビデオカメラにおいて撮像画像中の顔画像領域に焦点や露出を合せる技術に関する。
【背景技術】
【０００２】
従来から、家庭用ビデオカメラや監視カメラ等の撮像装置には自動焦点（ＡＦ）機能と自動露出（ＡＥ）機能が搭載されている。ここに、ＡＦ機能では画面の中央領域又は画面全体のコントラストや高周波成分が大きくなるようにレンズ位置を制御する方法が採用されており、ＡＥ機能では画面の中央領域又は画面を幾つかに分割した分割領域についての測光により制御量を決定して絞りを制御する方法が採用されている。
【０００３】
しかし、最近では、画像の中でも人物の顔領域に焦点や露出を合せることで、顔をより綺麗に撮影することが求められるようになり、その要求に応える撮像装置や制御方法が提案されている。例えば、下記特許文献１及び２においては、デジタルスチルカメラに係る技術ではあるが、撮像した画像データから人物の顔領域を検出し、その顔領域の少なくとも一部を測距エリア／測光エリアとして焦点制御／露出制御を行うＡＦ方法／ＡＥ方法が提案されている。また、下記特許文献３では、これもデジタルスチルカメラに係る技術ではあるが、撮像したフレームをＲＡＷ画像データと信号処理を施した画像データ（以下、「処理画像データ」という）の２種類のデータでメモリに格納してゆき、所定フレーム数を処理単位として、第１番目のフレームの処理画像データから顔領域を検出すると共に（検出には前記所定フレーム数分に相当する期間を要する）、その第１番目のフレームの画像との類似度が所定範囲内にあるフレームの内でシーンの変化が最小であるフレームを選択し、その選択フレームに対応したＲＡＷ画像データにおける顔領域から焦点・露出・色温度に係る各評価値を求め、それら評価値に基づいてＡＦ、ＡＥ及び自動ホワイトバランス（ＡＷＢ）を行う撮像装置が提案されている。
【０００４】
尚、ＡＥ・ＡＦ等の前提となる顔領域の検出技術に関しては、下記非特許文献１のように主成分分析による固有顔（eigenface）を用いた方法が開示されており、下記特許文献４においても、顔の各要素である目、鼻、口等の特徴点を利用した検出方法が提案されている。そして、それらのいずれの方法においても、具体的には、複数の標準パターンと入力フレーム画像とのパターンマッチングを行って顔領域が在るか否かを判定し、顔領域が在ればその位置情報を求めることになる。
【特許文献１】特開２００３−１０７３３５号公報
【特許文献２】特開２００３−１０７５５５号公報
【特許文献３】特開２００５−３１８５５４号公報
【特許文献４】特開平９−２５１５３４号公報
【非特許文献１】M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、撮影した画像データからパターンマッチング等によって顔領域を検出するには数フレーム期間程度の時間を要する。従って、前記特許文献１及び２のＡＦ方法／ＡＥ方法によると、顔領域の検出に用いたフレームと実際に合焦／露出制御を行うフレームとは異なることになり、人物が高速で移動している場合や人物に対する光照射条件が変化した場合には、適正な合焦／露出制御を行うことができない。例えば、図８に示すように、画面を横切るように走っている人物を撮影している場合に、フレームＡについて顔領域５１の検出を行うが、その検出のために数フレーム期間を要したとすると、その検出時間の経過時点で人物は既にフレームＢで示すような位置へ移動しており、フレームＢにおける人物の顔領域５２の位置に合焦すべきところが、フレームＡでの顔領域５１に相当する位置に合焦させる制御を行ってしまう。また、自動露出方法の場合についてみると、例えば、図９のように人物が日なたにいる状態でのフレームＡについて顔領域５３の検出を行い、その検出に要した数フレーム期間後のフレームＢで人物が日陰に入っていたとすると、フレームＡの顔領域５３の測光結果に基づいて設定した露出条件はフレームＢでの顔領域５４に対しては適正ではなくなる。
【０００６】
一方、前記特許文献３の撮像装置は人物の動きや撮影時の手振れを考慮してＡＥ・ＡＦ・ＡＷＢを実現するものである。しかし、シーンの変化が許容内にあるフレームを選択して、その選択フレームに対応したＲＡＷ画像データから顔領域の評価値を求めているため、前記の図８や図９で説明したように人物の移動速度が速いためにフレーム相互間での画像の相関が低くなっているような場合には有効ではない。即ち、その機能は、やはりデジタルスチルカメラを対象としたものであって、撮影する人物が微小に動いた場合や手振れの問題に対応しているに過ぎない。
【０００７】
以上のように、撮影した画像データから顔領域を検出するには一定の時間を要するが、前記特許文献１乃至３の方法や装置における前記問題点を解消するためには顔領域の検出速度を高速化することが有効である。特に、前記特許文献１乃至３の方法や装置はデジタルスチルカメラに関するものであるが、ビデオカメラでは図８や図９で説明したような撮影状態が頻繁に起こり得るために顔領域の検出速度の高速化が強く望まれる。しかし、そのためには高価なＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の部品が必要になり、通常の家庭用ビデオカメラや監視カメラにはコスト面から採用し難いとされている。
【０００８】
そこで、本発明は、顔領域の検出に時間がかかっても、現在のフレームでの顔領域に焦点や露出やホワイトバランスを合せることを可能にし、以って、撮影画像内に人物の速い動きや明るさの相違があった場合にも、人物の顔を適正な合焦・露出・色合い条件で撮影できる撮影装置を安価に提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像画像のフレームデータから人物の顔領域を検出し、検出した顔領域の画像データの分析結果に基づいて、焦点、露出、又はホワイトバランスの内の少なくとも１つを前記顔領域に合わせて最適化制御する撮像装置において、撮像画像のフレーム期間毎に現フレームデータと前フレームデータを記憶する第１の記憶手段と、後記顔領域検出手段が顔領域の検出に要する最長時間より長い所定の複数フレーム期間毎にフレームデータを記憶する第２の記憶手段と、前記第２の記憶手段が記憶したフレームデータから顔領域を検出する顔領域検出手段と、前記第１の記憶手段が記憶している現フレームデータと前フレームデータを用いてフレーム間での動きベクトルを算出する動きベクトル算出手段と、前記動きベクトル算出手段が算出した動きベクトルを、少なくとも現フレーム以前の前記複数フレーム期間分記憶する第３の記憶手段と、前記顔領域検出手段が顔領域を検出した場合に、その顔領域の位置データを、検出対象となったフレームデータのフレーム期間より前記複数フレーム期間だけ後のフレーム期間で記憶する第４の記憶手段と、前記第４の記憶手段が記憶した顔領域の位置データと前記第３の記憶手段が記憶している前記複数フレーム期間分の動きベクトルを用いて、前記第４の記憶手段が顔領域の位置データを記憶したフレームの次フレームにおける顔領域の補正位置データを算出すると共に、それ以降の前記複数フレーム期間内の各フレームにおける顔領域の位置データを、直前のフレームについて算出した顔領域の補正位置データと直前のフレームで前記第３の記憶手段が記憶した動きベクトルを用いて算出する顔領域補正手段とを備え、前記顔領域補正手段が求めた顔領域の補正位置データで規定される顔領域の画像データの分析結果に基づいて、焦点、露出、又はホワイトバランスの内の少なくとも１つを顔領域に合わせて最適化制御することを特徴とする撮像装置に係る。
【００１０】
本発明では、顔領域検出手段が顔領域の検出に要する最長時間より長い所定の複数フレーム期間毎にフレームデータを第２の記憶手段に記憶させ、記憶させたフレームデータを顔領域の検出対象として、前記複数フレーム期間毎に顔領域の位置データを第４の記憶手段に記憶させている。ここで、第４の記憶手段に記憶させた顔領域の位置データは前記複数フレーム期間だけ前の位置を示すものであるが、その複数フレーム期間に亘るフレーム間の動きベクトルが動きベクトル算出手段によって求められて第３の記憶手段に記憶させてある。従って、第４の記憶手段の顔領域の位置データと第３の記憶手段の動きベクトルとから次フレームでの顔領域の予測位置を求めることができ、顔領域補正手段がその予測位置を算出して顔領域の補正位置とする。また、それ以降の前記複数フレーム期間においても、前記顔領域の補正位置を端緒として、動きベクトルが得られる度に次のフレームでの顔領域の補正位置を順次算出してゆくことができる。即ち、フレーム毎に高い精度で顔領域の位置を求めて、その顔領域に合わせた焦点／露出／ホワイトバランスの最適化制御が行える。
【００１１】
また、本発明においては、前記顔領域検出手段がフレームデータから顔領域を検出しない場合の連続発生回数をカウントするカウント手段を設け、前記カウント手段のカウント値が１回以上で所定回数より小さい状態では、前記顔領域補正手段が、最後に算出した顔領域の補正位置データとその算出直後に前記第３の記憶手段が記憶した動きベクトルを用いて次のフレームでの顔領域の補正位置を算出した後、直前のフレームについて算出した顔領域の補正位置データと直前のフレームで前記第３の記憶手段が記憶した動きベクトルを用いて顔領域の補正位置データを継続的に算出するようにし、前記カウント手段のカウント値が所定回数以上の状態では、焦点制御に関してはフレーム画面の中央付近に合焦させ、露出制御に関しては中央重点測光方式や多分割測光方式による露出設定を行い、また、ホワイトバランス制御に関しては画面の中央付近の色温度に基づいて色補正を行うようにする標準的制御モードを設定することにより、実際に即した焦点／露出／ホワイトバランスの制御が実現できる。
【発明の効果】
【００１２】
撮像画像のフレームデータから人物の顔領域を検出し、その顔領域の画像データに基づいて顔領域に合わせた焦点／露出／ホワイトバランスの最適化制御を行う撮像装置において、顔領域の検出に時間を要してもフレーム間の動きベクトルを用いて顔領域の位置を高精度に求めることを可能にし、フレーム内を人物が速い速度で移動したり、短時間に日なたから日陰へ移動したような場合にも前記制御を正確に行えるようにする。また、フレームデータから顔領域が検出できない場合においても、その連続回数をみて標準的な焦点／露出／ホワイトバランス制御に戻すか否かを選択するようにして、実際の撮像状態に即した制御を実現する。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の撮像装置の実施形態を図１から図７に基づいて詳細に説明する。先ず、図１はビデオカメラのブロック図であり、１１は対物レンズと絞り・焦点調節機構を含む結像光学部、１２はＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサで構成された撮像素子、１３は撮像素子１２から出力される画像信号のノイズ削減やゲイン調整等を行うアナログ信号処理部、１４はアナログ信号処理部１３での処理を経た画像信号をデジタル信号に変換するＡ/Ｄ変換部、１５はＡ/Ｄ変換後の画像信号に対してガンマ調整やＷＢ（ホワイトバランス）調整等の画質調整を行うデジタル信号処理部、１６はデジタル信号処理部１５で処理されたフレームデータ（現フレーム／前フレーム）と顔領域検出用フレームデータと顔領域の位置データとフレーム間の動きベクトルデータと顔領域の補正位置データとを記憶するメモリ、１７はメモリ１６の顔領域検出用フレームデータから人物の顔の要素である目、鼻、口等の特徴点を含む顔領域を検出する顔領域検出部、１８はメモリ１６の現フレームと前フレームとからフレーム間の動きベクトルを算出する動きベクトル算出部、１９は顔領域検出部１７が検出した顔領域の位置データと動きベクトル算出部１８が算出した動きベクトルデータとを用いて現フレームでの顔領域の補正位置データを算出し、その補正した顔領域の画像データに基づいて焦点／露出／ＷＢ制御のための制御パラメータを出力する顔領域補正部、２０は顔領域補正部１９が出力する制御パラメータに基づいて結像光学部１１と撮像素子１２と各信号処理部１３,１５を制御して露出とＷＢを制御する露出／ＷＢ制御部、２１は顔領域補正部１９が出力する制御パラメータに基づいて結像光学部１１の絞り・焦点調節機構を制御する焦点制御部、２２は撮影した画像データを記録するハードディスク装置（ＨＤＤ）、２３はメモリ１６のフレーム画像データをＪＰＥＧ（Joint Photographic Experts Group）又はＭＰＥＧ（Moving Picture Experts Group）方式で符号化してＨＤＤ２２に記録し、またＨＤＤ２２から読み出した符号化データを復号する符号化／復号部、２４はメモリ１６から読み出されたフレームデータ又は符号化／復号部２３で復号されたフレームデータをＮＴＳＣ（National Television Standards Committee）方式やＰＡＬ（Phase Alternation by Line）方式のデータに変換して外部ディスプレイ（図示せず）へ出力するビデオ出力部、２５は各種指示入力を行うための操作部、２６はメモリ１６のリード／ライト動作を含むシステム全体の動作状態を制御するシステム制御部である。
【００１４】
ここで、メモリ１６は図２に示すようにＡ1〜Ａ6のメモリ領域に分かれており、Ａ1とＡ2には現フレームと前フレームがそれぞれ１フレーム周期で更新しながら書き込まれ、Ａ3には顔領域検出用フレームが６フレーム周期で更新しながら書き込まれ、Ａ4には顔領域検出部１７が顔領域を検出した場合にその位置データが６フレーム周期で更新しながら書き込まれ、Ａ5には動きベクトル検出部１８が求めた６個の連続する動きベクトルが書き込まれ、Ａ6には顔領域補正部１９が求めた６個の連続する顔領域の補正位置データが書き込まれるが、それらの書き込み動作については以下の動作説明において具体的に説明する。
【００１５】
図３はメモリ領域Ａ1,Ａ2に対するフレームの書き込み動作を示すフローチャートであり、システム制御部２６が撮像・信号処理系と同期をととってそのリード・ライト動作を実行させる。先ず、撮像素子１２から出力される画像信号はアナログ信号処理部１３とＡ/Ｄ変換部１４とデジタル信号処理部１５で所定処理を経たフレームデータとしてメモリ１６に取り込まれるが、最初のフレームＦ(1)はメモリ領域Ａ1に書き込まれる（S1〜S3）。以降、現フレームＦ(i+1)と前フレームＦ(i)との関係で説明すると、現フレームＦ(i+1)の取り込みを開始する段階で、直ちにメモリ領域Ａ1の前フレームＦ(i)をメモリ領域Ａ2にコピーすると共に、画像記録モードが設定されている場合には、符号化／復号部２３へ読み出してＨＤＤ２２に記録する（S4,S5）。また、メモリ領域Ａ1にはメモリ領域Ａ2へコピーした前フレームＦ(i)が残っているが、これを現フレームＦ(i+1)で上書きする（S6）。そして、以上の手順をフレームの取り込み周期で繰り返すと、図７に示すように、各フレーム周期において、メモリ領域Ａ1には現フレームＦ(i+1)が、メモリ領域Ａ2には前フレームＦ(i)がそれぞれ更新されながら書き込まれてゆくことになる。
【００１６】
次に、図４は動きベクトルの算出とメモリ領域Ａ5への書き込み動作を示すフローチャートであり、システム制御部２６が図３のメモリ領域Ａ1,Ａ2に対するフレーム書き込み動作と同期をとって実行させる。先ず、メモリ領域Ａ1への現フレームＦ(i+1)の書き込みが完了すると、動きベクトル算出部１８がその現フレームＦ(i+1)とメモリ領域Ａ2の前フレームＦ(i)とから動きベクトルＶ(i+1)を算出してメモリ領域Ａ5にセーブする（S11〜S13）。そして、その手順が６フレーム期間繰り返し実行されると（S14→S15→S12,S13）、各フレーム期間毎に動きベクトルがセーブされてゆくことになるが、６フレーム期間が経過して次のフレーム期間に入る直前に（後述する次フレームでの顔領域の補正位置を求めた後に）、セーブした６個の動きベクトルを全て消去する（S14→S16→S15→S12）。従って、以上の手順をメモリ領域Ａ1,Ａ2の現フレームＦ(i+1)と前フレームＦ(i)との関係で示すと、図７のように各フレーム期間で現フレームＦ(i+1)の前フレームＦ(i)に対する動きベクトルＶ(i)を求めてメモリ領域Ａ5に書き込んでゆき、フレームＦ(8+6n)［ｎは０又は整数］の期間になると動きベクトルＶ(2+6n)〜Ｖ(7+6n)をまとめて消去するという動作を繰り返す。尚、動きベクトル算出部１８による算出方法としては、例えば、現フレームＦ(i+1)と前フレームＦ(i)とを幾つかのブロックに分割し、ブロック毎に輝度の平均値の差分をとって、その絶対値に関する重心の動きを動きベクトルとして求める方法や、分割ブロック毎に直交変換を行い、フレーム相互間における近隣のブロックの相関を求めることによりブロックの動きを求めて動きベクトルとする方法が採用できる。また、ステップS16では動きベクトルＶ(2+6n)〜Ｖ(7+6n)を一括消去しているが、その後に求められる動きベクトルＶ(8+6n)〜Ｖ(13+6n)で順次上書きしてゆく方法であってもよい。
【００１７】
この実施形態のビデオカメラでは、図３及び図４で説明した各動作が定常的に実行されている状態で顔領域に合わせた焦点／露出／ＷＢ制御を行うが、顔領域補正部１９による顔領域の検出には一定時間（この実施形態では最長で５フレーム期間以内とする）を見込まなければならないため、焦点／露出／ＷＢ制御動作は６フレーム期間を１周期として実行される。また、その制御は当然に顔領域の検出が前提となるため、顔領域検出部１７によるフレーム画像からの顔領域の検出の如何によって、その通常の焦点／露出／ＷＢ制御方式と切り換えるようにしている。
【００１８】
以下、その動作手順を図５及び図６を参照しながら説明する。先ず、図７に示すようにフレームＦ(i)［ｉ＝１＋６ｎ：（ｎは０又は正の整数）］が顔領域検出の対象になるとして、システム制御部２６は、メモリ１６のメモリ領域Ａ1にフレームＦ(i)が書き込まれると、そのフレームＦ(i)を直ちにメモリ領域Ａ3にコピーし、そのメモリ領域Ａ3のフレームＦ(i)に対して顔領域検出部１７により顔領域検出アルゴリズムを実行させる（S21〜S23）。顔領域検出部１７はパターンマッチングの手法によって５フレーム期間以内に顔領域の有無を確認し、顔領域を検出した場合には、その位置データＰ(i)を求めてメモリ１６のメモリ領域Ａ4に書き込む（S24,S25,S26）。但し、ｎ＝０の場合以外では、メモリ領域Ａ4には先に求めた位置データが書き込まれているため、その位置データを更新して位置データＰ(i)が書き込まれる。
【００１９】
ところで、前記のように顔領域検出部１７はフレームＦ(i)から顔領域の検出するために５フレーム期間を要し、その期間経過後の次フレームＦ(i+6)の期間で位置データＰ(i)をメモリ領域Ａ4に書き込むため、位置データＰ(i)は時間的に６フレーム期間前の顔領域の位置を示すものである。即ち、図７において、第１番目のフレームＦ(i)と第７番目のフレームＦ(7)が顔領域検出の対象とされ、第７番目のフレーム期間と第１３番目のフレーム期間でそれぞれ顔領域の位置データＰ(1),Ｐ(7)が求まっており、６フレーム期間だけ遅れている。従って、顔領域の位置データＰ(i)を用いて人物の顔領域に合わせた焦点／露出／ＷＢ制御を実行すると６フレーム期間前の顔領域の位置データＰ(i)を適用することになり、必然的に上記の図８や図９で説明した不具合が生じてしまう。そこで、この実施形態では、顔領域が検出されてその位置データＰ(i)がメモリ領域Ａ4にセーブされると、それを用いてフレーム毎に顔領域の位置を補正する手順を実行し、その位置補正後の顔領域に合わせた焦点／露出／ＷＢ制御モードを設定すると共に（S26,S27）、６フレーム期間の周期で顔領域の検出が継続していれば同制御モードを維持させる（S27→S28→S22〜S27）。
【００２０】
前記の位置補正後の顔領域に合わせた焦点／露出／ＷＢ制御手順の詳細は図６に示される。先ず、メモリ領域Ａ4に顔領域の位置データＰ(i)が書き込まれるフレーム期間Ｆ(i+6)においては、メモリ領域Ａ5に６つの動きベクトルＶ(i+1)〜Ｖ(i+6)が揃った状態になっており、顔領域補正部１９では、顔領域の位置データＰ(i)と動きベクトルＶ(i+1)〜Ｖ(i+6)とを用いて次フレームＦ(i+7)での顔領域の補正位置データＰe(i+7)を算出し、それをメモリ領域Ａ6にセーブする（S40,S41）。即ち、現フレームＦ(i+6)より６フレーム期間前のフレームＦ(i)について検出した顔領域の位置データＰ(i)を、その６フレーム期間に得られている動きベクトルＶ(i+1)〜Ｖ(i+6)により移動させて次フレームＦ(i+7)における顔領域の予測位置を求め、それを顔領域の補正位置データＰe(i+7)としてメモリ領域Ａ6にセーブさせる。
【００２１】
次に、顔領域補正部１９は、フレームＦ(i+7)におけるメモリ領域Ａ6の補正位置データＰe(i+7)が示す顔領域から焦点／露出／色温度に係る各評価値を求め、その各評価値に基づいて焦点／露出／ＷＢ制御のための各制御パラメータを作成して焦点制御部２１と露出／ＷＢ制御部２０へそれぞれ出力する（S42）。そして、焦点制御部２１は補正位置に係る顔領域の画像データの高周波成分が多くなるように結像光学部１１の絞り・焦点調節機構を制御し、また露出／ＷＢ制御部２０は補正位置に係る顔領域の平均輝度が例えば１８％グレイになるような露出値を設定して結像光学部１１と撮像素子１２と各信号処理部１３，１５を制御（ＩＳＯ感度・シャッター速度・絞りを制御）することにより最適な露出とＷＢが得られるようにする（S43）。
【００２２】
顔領域の補正位置データＰe(i+7)のセーブと焦点／露出／ＷＢ制御が完了すると、次フレームＦ(i+8)での焦点／露出／ＷＢ制御へ移行するが、この場合には、メモリ領域Ａ6に補正位置データＰe(i+7)がセーブされており、また動きベクトル算出部１８が算出した動きベクトルＶ(i+7)がメモリ領域Ａ5にセーブされている。そこで、顔領域補正部１９は、それらから次フレームＦ(i+8)での顔領域の補正位置データＰe(i+8)を算出してメモリ領域Ａ6にセーブする（S44,S45）。そして、フレームＦ(i+8)における補正位置データＰe(i+8)が示す顔領域から焦点／露出／色温度に係る各評価値を求め、その各評価値に基づいて作成した各制御パラメータが焦点制御部２１と露出／ＷＢ制御部２０へそれぞれ出力され、各制御パラメータに基づいて焦点制御部２１が補正位置に係る顔領域に合焦させるように結像光学部１１の絞り・焦点調節機構を制御し、また露出／ＷＢ制御部２０が補正位置に係る顔領域の露出とＷＢを最適化させるように結像光学部１１と各信号処理部１３，１５を制御することは前記ステップS42,S43の場合と同様である（S46,S47）。
【００２３】
以降、ステップS45からステップS47までの手順はフレームＦ(i+8)以降の５フレーム期間に亘って繰り返し実行され、それぞれのフレーム期間において顔領域の補正位置が求められ、その補正位置の顔領域に合わせて焦点／露出／ＷＢ制御が実行される（S48→S49→S45〜S48）。一方、前記繰り返しにおける最終フレームＦ(i+12)期間での焦点／露出／ＷＢ制御が完了した時点では、メモリ領域Ａ6のデータを全てクリアして次のフレームＦ(i+13)以降の書き込み領域を確保する（S48→S50）。尤も、前記の動きベクトルの消去の場合と同様に、以降で求められる補正位置データによって上書きするようにしてもよい。
【００２４】
この図６で示される動作を図７に対照させて具体的に説明すると次のようになる。先ず、フレームＦ(1)が取り込まれてメモリ領域Ａ1に書き込まれると、それがメモリ領域Ａ3にコピーされて、顔領域検出部１７によって顔領域の検出が行われるが、その検出期間として５フレーム期間が見込まれており、フレームＦ(7)の期間でフレームＦ(1)における顔領域の位置データＰ(1)が求まってメモリ領域Ａ4に書き込まれる。一方、その間に６個の動きベクトルＶ(2)〜Ｖ(7)が順次算出されてメモリ領域Ａ5にセーブされている。従って、顔領域の位置データＰ(1)と動きベクトルＶ(2)〜Ｖ(7)を用いると次フレームＦ(8)での顔領域の予測位置が求まり、それを顔領域の補正位置データＰe(8)としてメモリ領域Ａ6にセーブさせて、その補正位置の顔領域に合わせた焦点／露出／ＷＢ制御が行われる。フレームＦ(9)からフレームＦ(13)までの各フレーム期間では、顔領域の補正位置データＰe(8)と動きベクトルＶ(8)とからフレームＦ(9)での顔領域の補正位置データＰe(9)が求まり、顔領域の補正位置データＰe(9)と動きベクトルＶ(9)とからフレームＦ(10)での顔領域の補正位置データＰe(10)が求まるというように、前フレームでの顔領域の補正位置データと動きベクトルとから次フレームでの顔領域の補正位置データが求まるため、それぞれのフレーム期間で逐次変化してゆく補正位置データに基づいて顔領域に合わせた焦点／露出／ＷＢ制御が行える。尚、フレームＦ(7)の期間では、顔領域の位置データＰ(1)が求まると共に、フレーム(7)がメモリ領域Ａ3にコピーされて顔領域の検出対象フレームとなり、その顔領域の位置データＰ(7)は５フレーム期間を経た後のフレーム(13)の期間で得られ、その位置データＰ(7)と動きベクトルＶ(8)〜Ｖ(13)とからフレームＦ(14)での顔領域の補正位置データＰe(14)が求まることになる。
【００２５】
図５に戻って、ステップS25で顔領域検出部１７が顔領域を検出しなかった場合には、システム制御部２６はその不検出が２回（１２フレーム期間）以上連続しているか否かを確認し、２回連続していれば、焦点制御部２１と露出／ＷＢ制御部２０を通常の焦点／露出／ＷＢ制御モードに設定又は維持する（S29→S30）。ここに、通常の焦点／露出／ＷＢ制御モードにおいては、焦点制御部２１が画面の中央付近に合焦させるように結像光学部１１を制御し、露出／ＷＢ制御部２０が中央重点測光方式や多分割測光方式により結像光学部１１と撮像素子１２と各信号処理部１３，１５を制御して露出値を設定し、また、ＷＢについても画面の中央付近の色温度に基づいて各信号処理部１３，１５を制御して色再現の適正化を行う。
【００２６】
一方、顔領域が検出された後、次の回（６フレーム期間後）では顔領域が検出できなかった場合には、システム制御部２６は通常の焦点／露出／ＷＢ制御を実行させずに、動きベクトルを用いた顔領域の位置補正を継続させながら顔領域に合わせた焦点／露出／ＷＢ制御を続行する（S31）。具体的には、図７において、フレームＦ(7)について顔領域が検出できなかったと過程した場合、フレームＦ(13)の期間で顔領域の位置データＰ(7)がメモリ領域Ａ4にセーブされないが、顔領域の補正位置データＰe(13)は求まっており、以降、補正位置データＰe(13)と動きベクトルＶ(13)とから補正位置データＰe(14)を求め、その補正位置データＰe(14)と動きベクトルＶ(14)とから補正位置データＰe(15)を求めというようにして、次の顔領域検出用フレームＦ(19)まで補正位置データを継続して求めてゆき、その都度、補正位置データで示される顔領域に合わせた焦点／露出／ＷＢ制御を行うようにする。これは、ビデオカメラに対して顔がたまたま死角範囲になっていた場合や、物影に一瞬隠れて顔領域が検出できないような場合もあり、１２フレーム期間程度までは顔領域に合わせた制御を実行する方が実際に即しているからである。
【００２７】
尚、この実施形態では、以上のようにフレーム内の補正位置の顔領域から焦点／露出／色温度の評価値を得て制御パラメータを作成して顔領域に合わせた焦点／露出／ＷＢ制御を行っているが、それら３項目全てを制御対象とする必要はなく、いずれか１項目、又は２項目の組み合わせだけを制御対象としてもよい。また、この実施形態では６フレーム周期で処理を行うようになっているが、顔領域検出アルゴリズムやハードウェアのデータ処理速度によって顔領域の検出に要する最長時間は異なるため、前記処理の周期はその検出に要する最長時間に対応させて選択設定される。更に、この実施形態では顔領域不検出の場合が２回連続したか否かによって、通常の焦点／露出／ＷＢ制御を行うか、又は動きベクトルを用いた顔領域の位置補正を継続させながら顔領域に合わせた焦点／露出／ＷＢ制御を続行するかを決定しているが、照明条件等によっては、前記連続回数をより多くの回数に設定してもよい。
【産業上の利用可能性】
【００２８】
本発明は、撮像した画像フレーム内に人物の顔が存在する場合に、その顔領域に合わせてＡＦ／ＡＥ／ＡＷＢ制御を行う機能を備えたビデオカメラや監視カメラに適用できる。
【図面の簡単な説明】
【００２９】
【図１】本発明の撮像装置の実施形態に係るビデオカメラのブロック図である。
【図２】メモリの各メモリ領域と書き込まれるデータの内容を示す図である。
【図３】メモリ領域Ａ1,Ａ2に対するフレームの書き込み動作を示すフローチャートである。
【図４】動きベクトルの算出とメモリ領域Ａ5への書き込み動作を示すフローチャートである。
【図５】顔領域の検出と焦点／露出／ＷＢ制御モードの設定又は維持動作を示すフローチャートである。
【図６】顔領域に合わせた焦点／露出／ＷＢ制御手順を示すフローチャートである。
【図７】フレームの取り込みとメモリの各メモリ領域Ａ1〜Ａ6に対するデータの書き込み状態を示すタイミングチャートである。
【図８】画面を横切るように走っている人物を撮影している場合において時間的に前後する２つのフレームＡ,Ｂの画像を示す図である。
【図９】画面を横切るように日なたから日陰の方向へ走っている人物を撮影している場合において時間的に前後する２つのフレームＡ,Ｂの画像を示す図である。
【符号の説明】
【００３０】
１１…結像光学部、１２…撮像素子、１３…アナログ信号処理部、１４…Ａ/Ｄ変換部、１５…デジタル信号処理部、１６…メモリ、１７…顔領域検出部、１８…動きベクトル算出部、１９…顔領域補正部、２０…露出／ＷＢ制御部、２１…焦点制御部、２２…ハードディスク装置、２３…符号化／復号部、２４…ビデオ出力部、２５…操作部、２６…システム制御部、５１,５２,５３,５４…顔領域。
【技術分野】
【０００１】
本発明は撮像装置に係り、特に監視カメラ等のビデオカメラにおいて撮像画像中の顔画像領域に焦点や露出を合せる技術に関する。
【背景技術】
【０００２】
従来から、家庭用ビデオカメラや監視カメラ等の撮像装置には自動焦点（ＡＦ）機能と自動露出（ＡＥ）機能が搭載されている。ここに、ＡＦ機能では画面の中央領域又は画面全体のコントラストや高周波成分が大きくなるようにレンズ位置を制御する方法が採用されており、ＡＥ機能では画面の中央領域又は画面を幾つかに分割した分割領域についての測光により制御量を決定して絞りを制御する方法が採用されている。
【０００３】
しかし、最近では、画像の中でも人物の顔領域に焦点や露出を合せることで、顔をより綺麗に撮影することが求められるようになり、その要求に応える撮像装置や制御方法が提案されている。例えば、下記特許文献１及び２においては、デジタルスチルカメラに係る技術ではあるが、撮像した画像データから人物の顔領域を検出し、その顔領域の少なくとも一部を測距エリア／測光エリアとして焦点制御／露出制御を行うＡＦ方法／ＡＥ方法が提案されている。また、下記特許文献３では、これもデジタルスチルカメラに係る技術ではあるが、撮像したフレームをＲＡＷ画像データと信号処理を施した画像データ（以下、「処理画像データ」という）の２種類のデータでメモリに格納してゆき、所定フレーム数を処理単位として、第１番目のフレームの処理画像データから顔領域を検出すると共に（検出には前記所定フレーム数分に相当する期間を要する）、その第１番目のフレームの画像との類似度が所定範囲内にあるフレームの内でシーンの変化が最小であるフレームを選択し、その選択フレームに対応したＲＡＷ画像データにおける顔領域から焦点・露出・色温度に係る各評価値を求め、それら評価値に基づいてＡＦ、ＡＥ及び自動ホワイトバランス（ＡＷＢ）を行う撮像装置が提案されている。
【０００４】
尚、ＡＥ・ＡＦ等の前提となる顔領域の検出技術に関しては、下記非特許文献１のように主成分分析による固有顔（eigenface）を用いた方法が開示されており、下記特許文献４においても、顔の各要素である目、鼻、口等の特徴点を利用した検出方法が提案されている。そして、それらのいずれの方法においても、具体的には、複数の標準パターンと入力フレーム画像とのパターンマッチングを行って顔領域が在るか否かを判定し、顔領域が在ればその位置情報を求めることになる。
【特許文献１】特開２００３−１０７３３５号公報
【特許文献２】特開２００３−１０７５５５号公報
【特許文献３】特開２００５−３１８５５４号公報
【特許文献４】特開平９−２５１５３４号公報
【非特許文献１】M.A.Turk and A.P.Pentland, "Face recognition using eigenfaces", Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp.586-591, 1991.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、撮影した画像データからパターンマッチング等によって顔領域を検出するには数フレーム期間程度の時間を要する。従って、前記特許文献１及び２のＡＦ方法／ＡＥ方法によると、顔領域の検出に用いたフレームと実際に合焦／露出制御を行うフレームとは異なることになり、人物が高速で移動している場合や人物に対する光照射条件が変化した場合には、適正な合焦／露出制御を行うことができない。例えば、図８に示すように、画面を横切るように走っている人物を撮影している場合に、フレームＡについて顔領域５１の検出を行うが、その検出のために数フレーム期間を要したとすると、その検出時間の経過時点で人物は既にフレームＢで示すような位置へ移動しており、フレームＢにおける人物の顔領域５２の位置に合焦すべきところが、フレームＡでの顔領域５１に相当する位置に合焦させる制御を行ってしまう。また、自動露出方法の場合についてみると、例えば、図９のように人物が日なたにいる状態でのフレームＡについて顔領域５３の検出を行い、その検出に要した数フレーム期間後のフレームＢで人物が日陰に入っていたとすると、フレームＡの顔領域５３の測光結果に基づいて設定した露出条件はフレームＢでの顔領域５４に対しては適正ではなくなる。
【０００６】
一方、前記特許文献３の撮像装置は人物の動きや撮影時の手振れを考慮してＡＥ・ＡＦ・ＡＷＢを実現するものである。しかし、シーンの変化が許容内にあるフレームを選択して、その選択フレームに対応したＲＡＷ画像データから顔領域の評価値を求めているため、前記の図８や図９で説明したように人物の移動速度が速いためにフレーム相互間での画像の相関が低くなっているような場合には有効ではない。即ち、その機能は、やはりデジタルスチルカメラを対象としたものであって、撮影する人物が微小に動いた場合や手振れの問題に対応しているに過ぎない。
【０００７】
以上のように、撮影した画像データから顔領域を検出するには一定の時間を要するが、前記特許文献１乃至３の方法や装置における前記問題点を解消するためには顔領域の検出速度を高速化することが有効である。特に、前記特許文献１乃至３の方法や装置はデジタルスチルカメラに関するものであるが、ビデオカメラでは図８や図９で説明したような撮影状態が頻繁に起こり得るために顔領域の検出速度の高速化が強く望まれる。しかし、そのためには高価なＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の部品が必要になり、通常の家庭用ビデオカメラや監視カメラにはコスト面から採用し難いとされている。
【０００８】
そこで、本発明は、顔領域の検出に時間がかかっても、現在のフレームでの顔領域に焦点や露出やホワイトバランスを合せることを可能にし、以って、撮影画像内に人物の速い動きや明るさの相違があった場合にも、人物の顔を適正な合焦・露出・色合い条件で撮影できる撮影装置を安価に提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、撮像画像のフレームデータから人物の顔領域を検出し、検出した顔領域の画像データの分析結果に基づいて、焦点、露出、又はホワイトバランスの内の少なくとも１つを前記顔領域に合わせて最適化制御する撮像装置において、撮像画像のフレーム期間毎に現フレームデータと前フレームデータを記憶する第１の記憶手段と、後記顔領域検出手段が顔領域の検出に要する最長時間より長い所定の複数フレーム期間毎にフレームデータを記憶する第２の記憶手段と、前記第２の記憶手段が記憶したフレームデータから顔領域を検出する顔領域検出手段と、前記第１の記憶手段が記憶している現フレームデータと前フレームデータを用いてフレーム間での動きベクトルを算出する動きベクトル算出手段と、前記動きベクトル算出手段が算出した動きベクトルを、少なくとも現フレーム以前の前記複数フレーム期間分記憶する第３の記憶手段と、前記顔領域検出手段が顔領域を検出した場合に、その顔領域の位置データを、検出対象となったフレームデータのフレーム期間より前記複数フレーム期間だけ後のフレーム期間で記憶する第４の記憶手段と、前記第４の記憶手段が記憶した顔領域の位置データと前記第３の記憶手段が記憶している前記複数フレーム期間分の動きベクトルを用いて、前記第４の記憶手段が顔領域の位置データを記憶したフレームの次フレームにおける顔領域の補正位置データを算出すると共に、それ以降の前記複数フレーム期間内の各フレームにおける顔領域の位置データを、直前のフレームについて算出した顔領域の補正位置データと直前のフレームで前記第３の記憶手段が記憶した動きベクトルを用いて算出する顔領域補正手段とを備え、前記顔領域補正手段が求めた顔領域の補正位置データで規定される顔領域の画像データの分析結果に基づいて、焦点、露出、又はホワイトバランスの内の少なくとも１つを顔領域に合わせて最適化制御することを特徴とする撮像装置に係る。
【００１０】
本発明では、顔領域検出手段が顔領域の検出に要する最長時間より長い所定の複数フレーム期間毎にフレームデータを第２の記憶手段に記憶させ、記憶させたフレームデータを顔領域の検出対象として、前記複数フレーム期間毎に顔領域の位置データを第４の記憶手段に記憶させている。ここで、第４の記憶手段に記憶させた顔領域の位置データは前記複数フレーム期間だけ前の位置を示すものであるが、その複数フレーム期間に亘るフレーム間の動きベクトルが動きベクトル算出手段によって求められて第３の記憶手段に記憶させてある。従って、第４の記憶手段の顔領域の位置データと第３の記憶手段の動きベクトルとから次フレームでの顔領域の予測位置を求めることができ、顔領域補正手段がその予測位置を算出して顔領域の補正位置とする。また、それ以降の前記複数フレーム期間においても、前記顔領域の補正位置を端緒として、動きベクトルが得られる度に次のフレームでの顔領域の補正位置を順次算出してゆくことができる。即ち、フレーム毎に高い精度で顔領域の位置を求めて、その顔領域に合わせた焦点／露出／ホワイトバランスの最適化制御が行える。
【００１１】
また、本発明においては、前記顔領域検出手段がフレームデータから顔領域を検出しない場合の連続発生回数をカウントするカウント手段を設け、前記カウント手段のカウント値が１回以上で所定回数より小さい状態では、前記顔領域補正手段が、最後に算出した顔領域の補正位置データとその算出直後に前記第３の記憶手段が記憶した動きベクトルを用いて次のフレームでの顔領域の補正位置を算出した後、直前のフレームについて算出した顔領域の補正位置データと直前のフレームで前記第３の記憶手段が記憶した動きベクトルを用いて顔領域の補正位置データを継続的に算出するようにし、前記カウント手段のカウント値が所定回数以上の状態では、焦点制御に関してはフレーム画面の中央付近に合焦させ、露出制御に関しては中央重点測光方式や多分割測光方式による露出設定を行い、また、ホワイトバランス制御に関しては画面の中央付近の色温度に基づいて色補正を行うようにする標準的制御モードを設定することにより、実際に即した焦点／露出／ホワイトバランスの制御が実現できる。
【発明の効果】
【００１２】
撮像画像のフレームデータから人物の顔領域を検出し、その顔領域の画像データに基づいて顔領域に合わせた焦点／露出／ホワイトバランスの最適化制御を行う撮像装置において、顔領域の検出に時間を要してもフレーム間の動きベクトルを用いて顔領域の位置を高精度に求めることを可能にし、フレーム内を人物が速い速度で移動したり、短時間に日なたから日陰へ移動したような場合にも前記制御を正確に行えるようにする。また、フレームデータから顔領域が検出できない場合においても、その連続回数をみて標準的な焦点／露出／ホワイトバランス制御に戻すか否かを選択するようにして、実際の撮像状態に即した制御を実現する。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の撮像装置の実施形態を図１から図７に基づいて詳細に説明する。先ず、図１はビデオカメラのブロック図であり、１１は対物レンズと絞り・焦点調節機構を含む結像光学部、１２はＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサで構成された撮像素子、１３は撮像素子１２から出力される画像信号のノイズ削減やゲイン調整等を行うアナログ信号処理部、１４はアナログ信号処理部１３での処理を経た画像信号をデジタル信号に変換するＡ/Ｄ変換部、１５はＡ/Ｄ変換後の画像信号に対してガンマ調整やＷＢ（ホワイトバランス）調整等の画質調整を行うデジタル信号処理部、１６はデジタル信号処理部１５で処理されたフレームデータ（現フレーム／前フレーム）と顔領域検出用フレームデータと顔領域の位置データとフレーム間の動きベクトルデータと顔領域の補正位置データとを記憶するメモリ、１７はメモリ１６の顔領域検出用フレームデータから人物の顔の要素である目、鼻、口等の特徴点を含む顔領域を検出する顔領域検出部、１８はメモリ１６の現フレームと前フレームとからフレーム間の動きベクトルを算出する動きベクトル算出部、１９は顔領域検出部１７が検出した顔領域の位置データと動きベクトル算出部１８が算出した動きベクトルデータとを用いて現フレームでの顔領域の補正位置データを算出し、その補正した顔領域の画像データに基づいて焦点／露出／ＷＢ制御のための制御パラメータを出力する顔領域補正部、２０は顔領域補正部１９が出力する制御パラメータに基づいて結像光学部１１と撮像素子１２と各信号処理部１３,１５を制御して露出とＷＢを制御する露出／ＷＢ制御部、２１は顔領域補正部１９が出力する制御パラメータに基づいて結像光学部１１の絞り・焦点調節機構を制御する焦点制御部、２２は撮影した画像データを記録するハードディスク装置（ＨＤＤ）、２３はメモリ１６のフレーム画像データをＪＰＥＧ（Joint Photographic Experts Group）又はＭＰＥＧ（Moving Picture Experts Group）方式で符号化してＨＤＤ２２に記録し、またＨＤＤ２２から読み出した符号化データを復号する符号化／復号部、２４はメモリ１６から読み出されたフレームデータ又は符号化／復号部２３で復号されたフレームデータをＮＴＳＣ（National Television Standards Committee）方式やＰＡＬ（Phase Alternation by Line）方式のデータに変換して外部ディスプレイ（図示せず）へ出力するビデオ出力部、２５は各種指示入力を行うための操作部、２６はメモリ１６のリード／ライト動作を含むシステム全体の動作状態を制御するシステム制御部である。
【００１４】
ここで、メモリ１６は図２に示すようにＡ1〜Ａ6のメモリ領域に分かれており、Ａ1とＡ2には現フレームと前フレームがそれぞれ１フレーム周期で更新しながら書き込まれ、Ａ3には顔領域検出用フレームが６フレーム周期で更新しながら書き込まれ、Ａ4には顔領域検出部１７が顔領域を検出した場合にその位置データが６フレーム周期で更新しながら書き込まれ、Ａ5には動きベクトル検出部１８が求めた６個の連続する動きベクトルが書き込まれ、Ａ6には顔領域補正部１９が求めた６個の連続する顔領域の補正位置データが書き込まれるが、それらの書き込み動作については以下の動作説明において具体的に説明する。
【００１５】
図３はメモリ領域Ａ1,Ａ2に対するフレームの書き込み動作を示すフローチャートであり、システム制御部２６が撮像・信号処理系と同期をととってそのリード・ライト動作を実行させる。先ず、撮像素子１２から出力される画像信号はアナログ信号処理部１３とＡ/Ｄ変換部１４とデジタル信号処理部１５で所定処理を経たフレームデータとしてメモリ１６に取り込まれるが、最初のフレームＦ(1)はメモリ領域Ａ1に書き込まれる（S1〜S3）。以降、現フレームＦ(i+1)と前フレームＦ(i)との関係で説明すると、現フレームＦ(i+1)の取り込みを開始する段階で、直ちにメモリ領域Ａ1の前フレームＦ(i)をメモリ領域Ａ2にコピーすると共に、画像記録モードが設定されている場合には、符号化／復号部２３へ読み出してＨＤＤ２２に記録する（S4,S5）。また、メモリ領域Ａ1にはメモリ領域Ａ2へコピーした前フレームＦ(i)が残っているが、これを現フレームＦ(i+1)で上書きする（S6）。そして、以上の手順をフレームの取り込み周期で繰り返すと、図７に示すように、各フレーム周期において、メモリ領域Ａ1には現フレームＦ(i+1)が、メモリ領域Ａ2には前フレームＦ(i)がそれぞれ更新されながら書き込まれてゆくことになる。
【００１６】
次に、図４は動きベクトルの算出とメモリ領域Ａ5への書き込み動作を示すフローチャートであり、システム制御部２６が図３のメモリ領域Ａ1,Ａ2に対するフレーム書き込み動作と同期をとって実行させる。先ず、メモリ領域Ａ1への現フレームＦ(i+1)の書き込みが完了すると、動きベクトル算出部１８がその現フレームＦ(i+1)とメモリ領域Ａ2の前フレームＦ(i)とから動きベクトルＶ(i+1)を算出してメモリ領域Ａ5にセーブする（S11〜S13）。そして、その手順が６フレーム期間繰り返し実行されると（S14→S15→S12,S13）、各フレーム期間毎に動きベクトルがセーブされてゆくことになるが、６フレーム期間が経過して次のフレーム期間に入る直前に（後述する次フレームでの顔領域の補正位置を求めた後に）、セーブした６個の動きベクトルを全て消去する（S14→S16→S15→S12）。従って、以上の手順をメモリ領域Ａ1,Ａ2の現フレームＦ(i+1)と前フレームＦ(i)との関係で示すと、図７のように各フレーム期間で現フレームＦ(i+1)の前フレームＦ(i)に対する動きベクトルＶ(i)を求めてメモリ領域Ａ5に書き込んでゆき、フレームＦ(8+6n)［ｎは０又は整数］の期間になると動きベクトルＶ(2+6n)〜Ｖ(7+6n)をまとめて消去するという動作を繰り返す。尚、動きベクトル算出部１８による算出方法としては、例えば、現フレームＦ(i+1)と前フレームＦ(i)とを幾つかのブロックに分割し、ブロック毎に輝度の平均値の差分をとって、その絶対値に関する重心の動きを動きベクトルとして求める方法や、分割ブロック毎に直交変換を行い、フレーム相互間における近隣のブロックの相関を求めることによりブロックの動きを求めて動きベクトルとする方法が採用できる。また、ステップS16では動きベクトルＶ(2+6n)〜Ｖ(7+6n)を一括消去しているが、その後に求められる動きベクトルＶ(8+6n)〜Ｖ(13+6n)で順次上書きしてゆく方法であってもよい。
【００１７】
この実施形態のビデオカメラでは、図３及び図４で説明した各動作が定常的に実行されている状態で顔領域に合わせた焦点／露出／ＷＢ制御を行うが、顔領域補正部１９による顔領域の検出には一定時間（この実施形態では最長で５フレーム期間以内とする）を見込まなければならないため、焦点／露出／ＷＢ制御動作は６フレーム期間を１周期として実行される。また、その制御は当然に顔領域の検出が前提となるため、顔領域検出部１７によるフレーム画像からの顔領域の検出の如何によって、その通常の焦点／露出／ＷＢ制御方式と切り換えるようにしている。
【００１８】
以下、その動作手順を図５及び図６を参照しながら説明する。先ず、図７に示すようにフレームＦ(i)［ｉ＝１＋６ｎ：（ｎは０又は正の整数）］が顔領域検出の対象になるとして、システム制御部２６は、メモリ１６のメモリ領域Ａ1にフレームＦ(i)が書き込まれると、そのフレームＦ(i)を直ちにメモリ領域Ａ3にコピーし、そのメモリ領域Ａ3のフレームＦ(i)に対して顔領域検出部１７により顔領域検出アルゴリズムを実行させる（S21〜S23）。顔領域検出部１７はパターンマッチングの手法によって５フレーム期間以内に顔領域の有無を確認し、顔領域を検出した場合には、その位置データＰ(i)を求めてメモリ１６のメモリ領域Ａ4に書き込む（S24,S25,S26）。但し、ｎ＝０の場合以外では、メモリ領域Ａ4には先に求めた位置データが書き込まれているため、その位置データを更新して位置データＰ(i)が書き込まれる。
【００１９】
ところで、前記のように顔領域検出部１７はフレームＦ(i)から顔領域の検出するために５フレーム期間を要し、その期間経過後の次フレームＦ(i+6)の期間で位置データＰ(i)をメモリ領域Ａ4に書き込むため、位置データＰ(i)は時間的に６フレーム期間前の顔領域の位置を示すものである。即ち、図７において、第１番目のフレームＦ(i)と第７番目のフレームＦ(7)が顔領域検出の対象とされ、第７番目のフレーム期間と第１３番目のフレーム期間でそれぞれ顔領域の位置データＰ(1),Ｐ(7)が求まっており、６フレーム期間だけ遅れている。従って、顔領域の位置データＰ(i)を用いて人物の顔領域に合わせた焦点／露出／ＷＢ制御を実行すると６フレーム期間前の顔領域の位置データＰ(i)を適用することになり、必然的に上記の図８や図９で説明した不具合が生じてしまう。そこで、この実施形態では、顔領域が検出されてその位置データＰ(i)がメモリ領域Ａ4にセーブされると、それを用いてフレーム毎に顔領域の位置を補正する手順を実行し、その位置補正後の顔領域に合わせた焦点／露出／ＷＢ制御モードを設定すると共に（S26,S27）、６フレーム期間の周期で顔領域の検出が継続していれば同制御モードを維持させる（S27→S28→S22〜S27）。
【００２０】
前記の位置補正後の顔領域に合わせた焦点／露出／ＷＢ制御手順の詳細は図６に示される。先ず、メモリ領域Ａ4に顔領域の位置データＰ(i)が書き込まれるフレーム期間Ｆ(i+6)においては、メモリ領域Ａ5に６つの動きベクトルＶ(i+1)〜Ｖ(i+6)が揃った状態になっており、顔領域補正部１９では、顔領域の位置データＰ(i)と動きベクトルＶ(i+1)〜Ｖ(i+6)とを用いて次フレームＦ(i+7)での顔領域の補正位置データＰe(i+7)を算出し、それをメモリ領域Ａ6にセーブする（S40,S41）。即ち、現フレームＦ(i+6)より６フレーム期間前のフレームＦ(i)について検出した顔領域の位置データＰ(i)を、その６フレーム期間に得られている動きベクトルＶ(i+1)〜Ｖ(i+6)により移動させて次フレームＦ(i+7)における顔領域の予測位置を求め、それを顔領域の補正位置データＰe(i+7)としてメモリ領域Ａ6にセーブさせる。
【００２１】
次に、顔領域補正部１９は、フレームＦ(i+7)におけるメモリ領域Ａ6の補正位置データＰe(i+7)が示す顔領域から焦点／露出／色温度に係る各評価値を求め、その各評価値に基づいて焦点／露出／ＷＢ制御のための各制御パラメータを作成して焦点制御部２１と露出／ＷＢ制御部２０へそれぞれ出力する（S42）。そして、焦点制御部２１は補正位置に係る顔領域の画像データの高周波成分が多くなるように結像光学部１１の絞り・焦点調節機構を制御し、また露出／ＷＢ制御部２０は補正位置に係る顔領域の平均輝度が例えば１８％グレイになるような露出値を設定して結像光学部１１と撮像素子１２と各信号処理部１３，１５を制御（ＩＳＯ感度・シャッター速度・絞りを制御）することにより最適な露出とＷＢが得られるようにする（S43）。
【００２２】
顔領域の補正位置データＰe(i+7)のセーブと焦点／露出／ＷＢ制御が完了すると、次フレームＦ(i+8)での焦点／露出／ＷＢ制御へ移行するが、この場合には、メモリ領域Ａ6に補正位置データＰe(i+7)がセーブされており、また動きベクトル算出部１８が算出した動きベクトルＶ(i+7)がメモリ領域Ａ5にセーブされている。そこで、顔領域補正部１９は、それらから次フレームＦ(i+8)での顔領域の補正位置データＰe(i+8)を算出してメモリ領域Ａ6にセーブする（S44,S45）。そして、フレームＦ(i+8)における補正位置データＰe(i+8)が示す顔領域から焦点／露出／色温度に係る各評価値を求め、その各評価値に基づいて作成した各制御パラメータが焦点制御部２１と露出／ＷＢ制御部２０へそれぞれ出力され、各制御パラメータに基づいて焦点制御部２１が補正位置に係る顔領域に合焦させるように結像光学部１１の絞り・焦点調節機構を制御し、また露出／ＷＢ制御部２０が補正位置に係る顔領域の露出とＷＢを最適化させるように結像光学部１１と各信号処理部１３，１５を制御することは前記ステップS42,S43の場合と同様である（S46,S47）。
【００２３】
以降、ステップS45からステップS47までの手順はフレームＦ(i+8)以降の５フレーム期間に亘って繰り返し実行され、それぞれのフレーム期間において顔領域の補正位置が求められ、その補正位置の顔領域に合わせて焦点／露出／ＷＢ制御が実行される（S48→S49→S45〜S48）。一方、前記繰り返しにおける最終フレームＦ(i+12)期間での焦点／露出／ＷＢ制御が完了した時点では、メモリ領域Ａ6のデータを全てクリアして次のフレームＦ(i+13)以降の書き込み領域を確保する（S48→S50）。尤も、前記の動きベクトルの消去の場合と同様に、以降で求められる補正位置データによって上書きするようにしてもよい。
【００２４】
この図６で示される動作を図７に対照させて具体的に説明すると次のようになる。先ず、フレームＦ(1)が取り込まれてメモリ領域Ａ1に書き込まれると、それがメモリ領域Ａ3にコピーされて、顔領域検出部１７によって顔領域の検出が行われるが、その検出期間として５フレーム期間が見込まれており、フレームＦ(7)の期間でフレームＦ(1)における顔領域の位置データＰ(1)が求まってメモリ領域Ａ4に書き込まれる。一方、その間に６個の動きベクトルＶ(2)〜Ｖ(7)が順次算出されてメモリ領域Ａ5にセーブされている。従って、顔領域の位置データＰ(1)と動きベクトルＶ(2)〜Ｖ(7)を用いると次フレームＦ(8)での顔領域の予測位置が求まり、それを顔領域の補正位置データＰe(8)としてメモリ領域Ａ6にセーブさせて、その補正位置の顔領域に合わせた焦点／露出／ＷＢ制御が行われる。フレームＦ(9)からフレームＦ(13)までの各フレーム期間では、顔領域の補正位置データＰe(8)と動きベクトルＶ(8)とからフレームＦ(9)での顔領域の補正位置データＰe(9)が求まり、顔領域の補正位置データＰe(9)と動きベクトルＶ(9)とからフレームＦ(10)での顔領域の補正位置データＰe(10)が求まるというように、前フレームでの顔領域の補正位置データと動きベクトルとから次フレームでの顔領域の補正位置データが求まるため、それぞれのフレーム期間で逐次変化してゆく補正位置データに基づいて顔領域に合わせた焦点／露出／ＷＢ制御が行える。尚、フレームＦ(7)の期間では、顔領域の位置データＰ(1)が求まると共に、フレーム(7)がメモリ領域Ａ3にコピーされて顔領域の検出対象フレームとなり、その顔領域の位置データＰ(7)は５フレーム期間を経た後のフレーム(13)の期間で得られ、その位置データＰ(7)と動きベクトルＶ(8)〜Ｖ(13)とからフレームＦ(14)での顔領域の補正位置データＰe(14)が求まることになる。
【００２５】
図５に戻って、ステップS25で顔領域検出部１７が顔領域を検出しなかった場合には、システム制御部２６はその不検出が２回（１２フレーム期間）以上連続しているか否かを確認し、２回連続していれば、焦点制御部２１と露出／ＷＢ制御部２０を通常の焦点／露出／ＷＢ制御モードに設定又は維持する（S29→S30）。ここに、通常の焦点／露出／ＷＢ制御モードにおいては、焦点制御部２１が画面の中央付近に合焦させるように結像光学部１１を制御し、露出／ＷＢ制御部２０が中央重点測光方式や多分割測光方式により結像光学部１１と撮像素子１２と各信号処理部１３，１５を制御して露出値を設定し、また、ＷＢについても画面の中央付近の色温度に基づいて各信号処理部１３，１５を制御して色再現の適正化を行う。
【００２６】
一方、顔領域が検出された後、次の回（６フレーム期間後）では顔領域が検出できなかった場合には、システム制御部２６は通常の焦点／露出／ＷＢ制御を実行させずに、動きベクトルを用いた顔領域の位置補正を継続させながら顔領域に合わせた焦点／露出／ＷＢ制御を続行する（S31）。具体的には、図７において、フレームＦ(7)について顔領域が検出できなかったと過程した場合、フレームＦ(13)の期間で顔領域の位置データＰ(7)がメモリ領域Ａ4にセーブされないが、顔領域の補正位置データＰe(13)は求まっており、以降、補正位置データＰe(13)と動きベクトルＶ(13)とから補正位置データＰe(14)を求め、その補正位置データＰe(14)と動きベクトルＶ(14)とから補正位置データＰe(15)を求めというようにして、次の顔領域検出用フレームＦ(19)まで補正位置データを継続して求めてゆき、その都度、補正位置データで示される顔領域に合わせた焦点／露出／ＷＢ制御を行うようにする。これは、ビデオカメラに対して顔がたまたま死角範囲になっていた場合や、物影に一瞬隠れて顔領域が検出できないような場合もあり、１２フレーム期間程度までは顔領域に合わせた制御を実行する方が実際に即しているからである。
【００２７】
尚、この実施形態では、以上のようにフレーム内の補正位置の顔領域から焦点／露出／色温度の評価値を得て制御パラメータを作成して顔領域に合わせた焦点／露出／ＷＢ制御を行っているが、それら３項目全てを制御対象とする必要はなく、いずれか１項目、又は２項目の組み合わせだけを制御対象としてもよい。また、この実施形態では６フレーム周期で処理を行うようになっているが、顔領域検出アルゴリズムやハードウェアのデータ処理速度によって顔領域の検出に要する最長時間は異なるため、前記処理の周期はその検出に要する最長時間に対応させて選択設定される。更に、この実施形態では顔領域不検出の場合が２回連続したか否かによって、通常の焦点／露出／ＷＢ制御を行うか、又は動きベクトルを用いた顔領域の位置補正を継続させながら顔領域に合わせた焦点／露出／ＷＢ制御を続行するかを決定しているが、照明条件等によっては、前記連続回数をより多くの回数に設定してもよい。
【産業上の利用可能性】
【００２８】
本発明は、撮像した画像フレーム内に人物の顔が存在する場合に、その顔領域に合わせてＡＦ／ＡＥ／ＡＷＢ制御を行う機能を備えたビデオカメラや監視カメラに適用できる。
【図面の簡単な説明】
【００２９】
【図１】本発明の撮像装置の実施形態に係るビデオカメラのブロック図である。
【図２】メモリの各メモリ領域と書き込まれるデータの内容を示す図である。
【図３】メモリ領域Ａ1,Ａ2に対するフレームの書き込み動作を示すフローチャートである。
【図４】動きベクトルの算出とメモリ領域Ａ5への書き込み動作を示すフローチャートである。
【図５】顔領域の検出と焦点／露出／ＷＢ制御モードの設定又は維持動作を示すフローチャートである。
【図６】顔領域に合わせた焦点／露出／ＷＢ制御手順を示すフローチャートである。
【図７】フレームの取り込みとメモリの各メモリ領域Ａ1〜Ａ6に対するデータの書き込み状態を示すタイミングチャートである。
【図８】画面を横切るように走っている人物を撮影している場合において時間的に前後する２つのフレームＡ,Ｂの画像を示す図である。
【図９】画面を横切るように日なたから日陰の方向へ走っている人物を撮影している場合において時間的に前後する２つのフレームＡ,Ｂの画像を示す図である。
【符号の説明】
【００３０】
１１…結像光学部、１２…撮像素子、１３…アナログ信号処理部、１４…Ａ/Ｄ変換部、１５…デジタル信号処理部、１６…メモリ、１７…顔領域検出部、１８…動きベクトル算出部、１９…顔領域補正部、２０…露出／ＷＢ制御部、２１…焦点制御部、２２…ハードディスク装置、２３…符号化／復号部、２４…ビデオ出力部、２５…操作部、２６…システム制御部、５１,５２,５３,５４…顔領域。
【特許請求の範囲】
【請求項１】
撮像画像のフレームデータから人物の顔領域を検出し、検出した顔領域の画像データの分析結果に基づいて、焦点、露出、又はホワイトバランスの内の少なくとも１つを前記顔領域について最適化制御する撮像装置において、
撮像画像のフレーム期間毎に現フレームデータと前フレームデータを記憶する第１の記憶手段と、
後記顔領域検出手段が顔領域の検出に要する最長時間より長い所定の複数フレーム期間毎にフレームデータを記憶する第２の記憶手段と、
前記第２の記憶手段が記憶したフレームデータから顔領域を検出する顔領域検出手段と、
前記第１の記憶手段が記憶している現フレームデータと前フレームデータを用いてフレーム間での動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトル算出手段が算出した動きベクトルを、少なくとも現フレーム以前の前記複数フレーム期間分記憶する第３の記憶手段と、
前記顔領域検出手段が顔領域を検出した場合に、その顔領域の位置データを、検出対象となったフレームデータのフレーム期間より前記複数フレーム期間だけ後のフレーム期間で記憶する第４の記憶手段と、
前記第４の記憶手段が記憶した顔領域の位置データと前記第３の記憶手段が記憶している前記複数フレーム期間分の動きベクトルを用いて、前記第４の記憶手段が顔領域の位置データを記憶したフレームの次フレームにおける顔領域の補正位置データを算出すると共に、それ以降の前記複数フレーム期間内の各フレームにおける顔領域の位置データを、直前のフレームについて算出した顔領域の補正位置データと直前のフレームで前記第３の記憶手段が記憶した動きベクトルを用いて算出する顔領域補正手段と
を備え、前記顔領域補正手段が求めた顔領域の補正位置データで規定される顔領域の画像データの分析結果に基づいて、焦点、露出、又はホワイトバランスの内の少なくとも１つを顔領域に合わせて最適化制御することを特徴とする撮像装置。
【請求項２】
前記顔領域検出手段がフレームデータから顔領域を検出しない場合の連続発生回数をカウントするカウント手段を設け、
前記カウント手段のカウント値が１回以上で所定回数より小さい状態では、前記顔領域補正手段が、最後に算出した顔領域の補正位置データとその算出直後に前記第３の記憶手段が記憶した動きベクトルを用いて次のフレームでの顔領域の補正位置を算出した後、直前のフレームについて算出した顔領域の補正位置データと直前のフレームで前記第３の記憶手段が記憶した動きベクトルを用いて顔領域の補正位置データを継続的に算出するようにし、
前記カウント手段のカウント値が所定回数以上の状態では、焦点制御に関してはフレーム画面の中央付近に合焦させ、露出制御に関しては中央重点測光方式や多分割測光方式による露出設定を行い、また、ホワイトバランス制御に関しては画面の中央付近の色温度に基づいて色補正を行うようにする標準的制御モードを設定する請求項１に記載の撮像装置。
【請求項１】
撮像画像のフレームデータから人物の顔領域を検出し、検出した顔領域の画像データの分析結果に基づいて、焦点、露出、又はホワイトバランスの内の少なくとも１つを前記顔領域について最適化制御する撮像装置において、
撮像画像のフレーム期間毎に現フレームデータと前フレームデータを記憶する第１の記憶手段と、
後記顔領域検出手段が顔領域の検出に要する最長時間より長い所定の複数フレーム期間毎にフレームデータを記憶する第２の記憶手段と、
前記第２の記憶手段が記憶したフレームデータから顔領域を検出する顔領域検出手段と、
前記第１の記憶手段が記憶している現フレームデータと前フレームデータを用いてフレーム間での動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトル算出手段が算出した動きベクトルを、少なくとも現フレーム以前の前記複数フレーム期間分記憶する第３の記憶手段と、
前記顔領域検出手段が顔領域を検出した場合に、その顔領域の位置データを、検出対象となったフレームデータのフレーム期間より前記複数フレーム期間だけ後のフレーム期間で記憶する第４の記憶手段と、
前記第４の記憶手段が記憶した顔領域の位置データと前記第３の記憶手段が記憶している前記複数フレーム期間分の動きベクトルを用いて、前記第４の記憶手段が顔領域の位置データを記憶したフレームの次フレームにおける顔領域の補正位置データを算出すると共に、それ以降の前記複数フレーム期間内の各フレームにおける顔領域の位置データを、直前のフレームについて算出した顔領域の補正位置データと直前のフレームで前記第３の記憶手段が記憶した動きベクトルを用いて算出する顔領域補正手段と
を備え、前記顔領域補正手段が求めた顔領域の補正位置データで規定される顔領域の画像データの分析結果に基づいて、焦点、露出、又はホワイトバランスの内の少なくとも１つを顔領域に合わせて最適化制御することを特徴とする撮像装置。
【請求項２】
前記顔領域検出手段がフレームデータから顔領域を検出しない場合の連続発生回数をカウントするカウント手段を設け、
前記カウント手段のカウント値が１回以上で所定回数より小さい状態では、前記顔領域補正手段が、最後に算出した顔領域の補正位置データとその算出直後に前記第３の記憶手段が記憶した動きベクトルを用いて次のフレームでの顔領域の補正位置を算出した後、直前のフレームについて算出した顔領域の補正位置データと直前のフレームで前記第３の記憶手段が記憶した動きベクトルを用いて顔領域の補正位置データを継続的に算出するようにし、
前記カウント手段のカウント値が所定回数以上の状態では、焦点制御に関してはフレーム画面の中央付近に合焦させ、露出制御に関しては中央重点測光方式や多分割測光方式による露出設定を行い、また、ホワイトバランス制御に関しては画面の中央付近の色温度に基づいて色補正を行うようにする標準的制御モードを設定する請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−３５１６７（Ｐ２００８−３５１６７Ａ）
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願番号】特願２００６−２０５８７３（Ｐ２００６−２０５８７３）
【出願日】平成１８年７月２８日（２００６．７．２８）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２０年２月１４日（２００８．２．１４）
【国際特許分類】
【出願日】平成１８年７月２８日（２００６．７．２８）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]