説明

撮像装置、撮像処理方法及びプログラム

【課題】顔画像の検出を適正に行い、当該顔画像の検出を起因とする最適な焦点調整や露出制御をより確実なものにする。
【解決手段】撮像装置100であって、電子撮像部2から出力された撮像画像に顔画像が含まれていると検出判断部61により判断されると、この顔画像の基準軸を中心とする回動角度に従って、当該回動角度の顔画像をその後に取得される撮像画像から探索するための探索時間を決定する探索時間決定部62と、決定された探索時間に応じて電子撮像部を駆動させる連続撮像間隔を設定する撮像間隔設定部43とを具備している。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体を撮像する撮像装置、撮像処理方法及びプログラムに関する。
【背景技術】
【0002】
近年、デジタルカメラ等の撮像装置は、順次撮像される画像から顔画像を検出することにより、この顔画像をAFエリアやAEエリアとして焦点調整や露出制御を行うものが一般的になっている。
また、「顔画像を有する被写体は常に動くものである」ということを前提とし、顔の向きが変わる等により顔画像が撮像される画像から消失した場合を想定した上で、最適な焦点調整や露出制御を行う技術も開発されている。例えば、撮像される画像から顔画像が検出されなくなると、その顔画像を有する被写体人物の、撮像間隔における距離の変化量を勘案し、変化量が大きい場合には、顔検出を諦めて固定焦点による調節に変更する技術がある(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2010−8936号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1の技術にあっては、撮像されている画像について焦点調整や露出制御が最適となるように制御の効率化を図っているに過ぎず、撮像される画像から顔画像が検出されなくなると、顔画像を利用した焦点調整や露出制御を行うことができなくなることには変わりは無い。
【0005】
本発明は、このような問題点に鑑みて成されたものであり、顔画像の検出を適正に行うことができ、当該顔画像の検出を起因とする最適な焦点調整や露出制御をより確実なものにすることができるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、請求項1に記載の発明の撮像装置は、
撮像手段を所定の間隔で連続的に駆動させて当該撮像手段から画像を出力させる撮像制御手段と、被写体の基準軸を中心とする複数の回動角度の各々と当該被写体を検出するための検出用情報とを対応付けてそれぞれ記憶する情報記憶手段と、この情報記憶手段に記憶されている前記検出用情報に基づいて、前記撮像手段から出力された画像に前記被写体が含まれるか否かを判断する第1判断手段と、この第1判断手段により前記被写体が含まれていると判断されると、この被写体の基準軸を中心とする回動角度に従って、当該回動角度の被写体を前記撮像手段から出力された画像から探索するための探索時間を決定する決定手段と、この決定手段によって決定された探索時間に応じて、前記撮像制御手段により前記撮像手段を駆動させる間隔を設定する設定手段と、を備えたことを特徴としている。
【0007】
請求項2に記載の発明は、請求項1に記載の発明において、
前記設定手段による設定後、前記決定手段により新たに特定された被写体の回動角度が前回特定された被写体の回動角度から変化したか否かを判断する第2判断手段を更に備え、前記決定手段は、前記第2判断手段により前記被写体の回動角度が変化したと判断されると、変化後の回動角度の被写体を前記撮像手段から出力された画像から探索するための探索時間を再決定することを特徴としている。
【0008】
請求項3に記載の発明は、請求項1又は2に記載の発明において、
前記設定手段による設定後、前記撮像手段から出力された画像に前記被写体が含まれなくなったか否かを判断する第3判断手段を更に備え、前記決定手段は、前記第3判断手段により前記被写体が含まれなくなったと判断されると、前記撮像手段から出力された画像から被写体を検出するための検出時間を決定することを特徴としている。
【0009】
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の発明において、
前記撮像手段から出力された画像を記録する画像記録手段を更に備えることを特徴としている。
【0010】
請求項5に記載の発明の撮像処理方法は、
撮像手段を所定の間隔で連続的に駆動させて当該撮像手段から画像を出力させる撮像制御手段と、被写体の基準軸を中心とする複数の回動角度の各々と当該被写体を検出するための検出用情報とを対応付けてそれぞれ記憶する情報記憶手段と、を備える撮像装置を用いた撮像処理方法であって、前記情報記憶手段に記憶されている前記検出用情報に基づいて、前記撮像手段から出力された画像に前記被写体が含まれるか否かを判断する処理と、前記被写体が含まれていると判断されると、この被写体の基準軸を中心とする回動角度に従って、当該回動角度の被写体を前記撮像手段から出力された画像から探索するための探索時間を決定する処理と、決定された探索時間に応じて、前記撮像制御手段により前記撮像手段を駆動させる間隔を設定する処理と、を実行することを特徴としている。
【0011】
請求項6に記載の発明のプログラムは、
撮像手段を所定の間隔で連続的に駆動させて当該撮像手段から画像を出力させる撮像制御手段と、被写体の基準軸を中心とする複数の回動角度の各々と当該被写体を検出するための検出用情報とを対応付けてそれぞれ記憶する情報記憶手段と、を備える撮像装置のコンピュータを、この情報記憶手段に記憶されている前記検出用情報に基づいて、前記撮像手段から出力された画像に前記被写体が含まれるか否かを判断する第1判断手段、この第1判断手段により前記被写体が含まれていると判断されると、この被写体の基準軸を中心とする回動角度に従って、当該回動角度の被写体を前記撮像手段から出力された画像から探索するための探索時間を決定する決定手段、この決定手段によって決定された探索時間に応じて、前記撮像制御手段により前記撮像手段を駆動させる間隔を設定する設定手段、として機能させることを特徴としている。
【発明の効果】
【0012】
本発明によれば、顔画像の検出を適正に行うことができ、これにより、当該顔画像の検出を起因として実行される最適な焦点調整や露出制御をより確実なものにすることができる。
【図面の簡単な説明】
【0013】
【図1】本発明を適用した実施形態1の撮像装置の概略構成を示すブロック図である。
【図2】図1の撮像装置による連続撮像処理に係る動作の一例を示すフローチャートである。
【図3】図2の連続撮像処理に係る顔検出用情報の一例を模式的に示す図である。
【図4】図2の連続撮像処理に係る画像の一例を模式的に示す図である。
【図5】本発明を適用した実施形態2の撮像装置の概略構成を示すブロック図である。
【図6】図5の撮像装置による連続撮像処理に係る動作の一例を示すフローチャートである。
【図7】本発明を適用した実施形態3の撮像装置の概略構成を示すブロック図である。
【図8】図7の撮像装置による連続撮像処理に係る動作の一例を示すフローチャートである。
【図9】変形例1の撮像装置による連続撮像処理に係る動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【0015】
[実施形態1]
実施形態1の撮像装置100は、電子撮像部2から出力された撮像画像に顔画像Sが含まれていると判断されると、この顔画像Sの回動角度に従って、当該回動角度の顔画像Sをその後に取得される撮像画像から探索するための探索時間を決定し、決定された探索時間に応じて電子撮像部2を駆動させる連続撮像間隔を設定する。
【0016】
図1は、本発明を適用した実施形態1の撮像装置100の概略構成を示すブロック図である。
図1に示すように、撮像装置100は、レンズ部1と、電子撮像部2と、ユニット回路部3と、撮像制御部4と、画像処理部5と、顔検出処理部6と、表示部7と、画像記録部8と、バッファメモリ9と、プログラムメモリ10と、操作入力部11と、中央制御部12とを備えている。
また、撮像制御部4、画像処理部5、顔検出処理部6、表示部7、画像記録部8、バッファメモリ9、プログラムメモリ10、中央制御部12は、バスライン13を介して接続されている。
【0017】
レンズ部1は、例えば、図示は省略するが、ズームレンズ、フォーカスレンズ、絞り等を有し、これらレンズを通過した被写体の光学像を結像する。
【0018】
電子撮像部2は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ等から構成され、レンズ部1の各種レンズを通過した光学像を当該電子撮像部2により二次元の画像信号(RGB画像データ)に変換して、ユニット回路部3に出力する。
ここで、電子撮像部2は、被写体を撮像する撮像手段を構成している。
【0019】
ユニット回路部3は、例えば、図示は省略するが、CDS(Correlated Double Sampling:相関二重サンプリング回路)、AGC(Auto Gain Control:ゲイン調整アンプ)、ADC(Analog to Digital Converter:アナログ/デジタル変換器)等を具備している。そして、ユニット回路部3は、電子撮像部2から出力されて入力される被写体の光学像に応じたアナログの画像信号をCDSにより保持し、当該画像信号をAGCにより増幅した後、増幅された画像信号をADCによりデジタルの画像信号に変換する。
【0020】
撮像制御部4は、中央制御部12からの指令に基づいて、被写体の撮像の際に、レンズ部1、電子撮像部2、ユニット回路部3等の動作を制御する。具体的には、撮像制御部4は、レンズ部駆動部41と、電子撮像部駆動部42と、撮像間隔設定部43とを具備している。
【0021】
レンズ部駆動部41は、レンズ部1のズームレンズやフォーカスレンズ等を光軸上で移動させるためのレンズモータ(図示略)の駆動を制御する。
具体的には、レンズ部駆動部41は、中央制御部12からの指令に基づいてレンズモータの駆動信号を生成し、当該駆動信号に従ってレンズモータを駆動させることにより、ズームレンズやフォーカスレンズ等の光軸上の位置を調整する。また、レンズ部駆動部41は、顔検出処理部6により顔画像Sが検出されると、当該顔画像Sにピントを合わせるのに必要なレンズモータの駆動信号を生成し、当該駆動信号に従ってレンズモータを駆動させてフォーカスレンズの合焦位置を調整する。
【0022】
電子撮像部駆動部42は、電子撮像部2を走査駆動するための動作タイミングを撮像間隔設定部43(詳細後述)により設定された連続撮像間隔に従って制御する。
具体的には、電子撮像部駆動部42は、例えば、タイミング発生器(Timing Generator)、電子撮像部2を駆動するドライバ(何れも図示略)等を備え、ライブビュー画像や記録画像の撮像の際に、タイミング発生器やドライバを介して電子撮像部2を走査駆動させる。即ち、電子撮像部駆動部42は、中央制御部12からの指令に基づいて撮像間隔設定部43により設定された連続撮像間隔を空けて、タイミング発生器がシャッタースピードに対応する電荷蓄積時間をシャッターパルスとしてドライバに出力し、ドライバからの駆動パルス信号に応じて電子撮像部2を動作させて電荷蓄積時間(露光時間)を制御する。このような動作制御を、電子撮像部駆動部42は、連続記録枚数(例えば、60枚)分やメモリ容量一杯となるまで連続的に行い、電子撮像部2により変換された二次元の画像信号を当該電子撮像部2の撮像領域から1画面分ずつ連続撮像間隔を空けて(所定の周期で)読み出してユニット回路部3に出力させる。
ここで、電子撮像部駆動部42は、電子撮像部2を所定の間隔で連続的に駆動させて当該電子撮像部2から画像を出力させる撮像制御手段を構成している。
【0023】
撮像間隔設定部43は、電子撮像部駆動部42により電子撮像部2を駆動させる連続撮像間隔を設定する。
具体的には、撮像間隔設定部43は、ユーザによる操作入力部11の所定操作に基づいて中央制御部12により指定された撮像フレームレート(例えば、30fps等)に従って、電子撮像部駆動部42により電子撮像部2を連続的に駆動させるための連続撮像間隔(例えば、1/30s等)を設定する。
【0024】
また、撮像間隔設定部43は、後述する顔検出処理部6の探索時間決定部62によって顔画像Sの探索時間が決定されると、当該探索時間と等しくなるように電子撮像部2の連続撮像間隔を設定する。即ち、顔画像Sの探索時間は、顔画像Sの基準軸を中心とする複数の回動角度の各々に応じて決定されるようになっており(後述)、撮像間隔設定部43は、決定された顔画像Sの探索時間(例えば、1/6s等)に応じて、当該探索時間と電子撮像部2の連続撮像間隔(例えば、1/6s等)とが等しくなるように設定する。
ここで、撮像間隔設定部43は、顔検出処理部6の探索時間決定部62によって決定された探索時間に応じて、電子撮像部駆動部42により電子撮像部2を駆動させる連続撮像間隔を設定する設定手段を構成している。
【0025】
画像処理部5は、A/D変換後の画像信号に対して、画素毎のR,G,Bの色成分データ(RGBデータ)を生成するRGB補間処理、RGBデータから輝度信号(Y)と色差信号(U、V)からなるYUVデータを画素毎に生成するYUV変換処理、さらに自動ホワイトバランスや輪郭強調などの画品質向上のためのデジタル信号処理を行う。そして、画像処理部5は、変換後の各画像フレームのYUVデータをバッファメモリ9に順次出力し、当該バッファメモリ9に格納させる。
また、画像処理部5は、YUVデータを水平及び垂直ともに所定倍率で縮小処理を行って、低解像度のライブビュー表示用の画像データを生成する。さらに、画像処理部5は、YUVデータを水平及び垂直ともに所定倍率で縮小処理を行って、記録用の画像の連続撮像中の顔検出処理用に低解像度のYUVデータを生成しても良い。
【0026】
顔検出処理部6は、検出判断部61と、探索時間決定部62とを具備している。
【0027】
検出判断部61は、中央制御部12からの指令に基づいて、画像処理部5によって生成された各画像フレームのYUVデータをバッファメモリ9から取得して、当該画像フレーム内から人の顔画像Sを検出する顔検出処理を行う。
ここで、顔検出処理は、顔画像Sを検出するための顔検出用情報d(図3参照)を用いて行われる。
【0028】
顔検出用情報dは、顔検出処理部6に記憶されており、例えば、顔の複数の部位(例えば、目、鼻、口等)の形状や大きさ、顔の輪郭、略正面方向から見た場合の各部位の位置等を特徴量情報として、年齢別、人種別等に分けて複数登録されている。
特徴量情報は、顔の基準軸を中心とする複数の回動角度の各々と対応付けて複数登録されている(図3参照)。即ち、図3に示すように、複数の特徴量情報は、例えば、顔の中心Cを前後方向に通過する前後軸(基準軸)を中心軸として、左右方向に所定の角度ずつ回動させたものである。例えば、略正面方向から見た場合(回動角度:0°)の特徴量情報を基準として、当該基準となる顔F0を向かって右方向に所定角度(例えば、+θ1°、+θ2°、…、+θn°等)回動させた特徴量情報や、向かって左方向に所定角度(例えば、−θ1°、−θ2°、…、−θn°等)回動させた特徴量情報などがある。
なお、顔F0の中心Cを通過して上下方向に延在する軸を上下軸L0として表し、当該上下軸L0の回動後の軸を軸Laとして表すものとする(図3並びに図4(a)及び図4(b)参照)。また、上下軸L0と向かって右方向の回動後の軸Laとのなす回動角度を正の符号(+)を付して表し、上下軸L0と向かって左方向の回動後の軸Laとのなす回動角度を負の符号(−)を付して表すものとする(図3参照)。
また、特徴量情報は、上記した左右方向に回動させたものは一例であり、これに限られるものではなく、例えば、顔の中心Cを左右方向に通過する左右軸を基準軸として、当該左右軸に対して上下方向に所定の角度ずつ回動させたものであっても良い(図示略)。
このように、顔検出処理部6は、顔画像(被写体)Sの基準軸を中心とする複数の回動角度の各々と当該顔画像Sを検出するための顔検出用情報dの特徴量情報とを対応付けてそれぞれ記憶する情報記憶手段を構成している。
【0029】
そして、検出判断部61は、バッファメモリ9から取得されたライブビュー表示用や記録用の各画像フレームのYUVデータについて所定面積の画像領域を順次読み出し、この画像領域に対してエッジ抽出等を行って特徴量を算出する。ここで、記録用の各画像フレームの代わりに、画像処理部5により生成された記録用の画像フレームの低解像度のYUVデータを処理対象としても良い。
そして、検出判断部61は、算出された特徴量と顔検出用情報dの複数の回動角度の各々の特徴量情報との一致度を評価して評価値を算出する。続けて、検出判断部61は、複数の所定面積の画像領域に対応する評価値のうち、所定の閾値以上で、且つ、最も高いものを、顔領域が含まれるものとして判断する。このようにして、検出判断部61は、顔検出処理の結果に応じて各画像フレームに顔画像Sが含まれるか否かを判断する。
ここで、検出判断部61は、顔検出用情報dに基づいて、電子撮像部2から出力された画像に顔画像(被写体)Sが含まれるか否かを判断する第1判断手段を構成している。
【0030】
探索時間決定部62は、画像処理部5によって生成された各画像フレームから人の顔画像Sを探索するための探索時間を決定する。具体的には、探索時間決定部62は、バッファメモリ9から取得された一の画像フレームに顔画像Sが含まれていると検出判断部61により判断された場合に、基準軸を中心とする顔画像Sの回動角度に応じて、当該一の画像フレームよりも後にバッファメモリ9から取得される画像フレームにて検出判断部61が顔画像Sを探索するのに必要な探索時間を決定する。
ここで、探索時間は、各画像フレームにて人の顔画像Sを検出するために最低限必要な時間を考慮して規定されるものであるが、顔検出処理に用いられる特徴量情報における顔の回動角度が異なることによって長短に変化する。即ち、略正面方向から見た顔F0(回動角度:0°)の特徴量情報を用いる場合の探索時間が最も短くなり、基準軸を中心として所定方向(例えば、向かって左方向等)に回動させた角度が大きくなると(例えば、図4(a)の状態に比べて回動角度が大きくなっている図4(b)の状態の方が)、探索時間も長くなる。具体的には、例えば、上下軸L0と回動後の軸Laとのなす回動角度が90°の顔の特徴量情報(例えば、図3における±θn°に対応する顔の特徴量情報)を用いる場合には、略正面方向から見た顔F0(回動角度:0°)の特徴量情報を用いる場合に比して、探索時間が5倍程度となっている。
【0031】
そこで、探索時間決定部62は、検出判断部61により一の画像フレームに顔画像Sが含まれていると判断された場合には、先ず、顔検出用情報dを参照して、当該顔画像Sの検出に用いられた特徴量情報の顔の基準軸を中心とする所定方向(例えば、向かって右方向等)の回動角度を特定し、特定された回動角度に応じて、当該回動角度の顔画像Sをその後にバッファメモリ9から取得される画像フレームにて探索するのに必要な探索時間を決定する。
なお、顔画像Sの探索時間の決定は、例えば、所定の演算により行われるが、これに限られるものではなく、特徴量情報の顔の回動角度と探索時間とが対応付けられた所定のテーブルを用いて行っても良い。
ここで、探索時間決定部62は、検出判断部61により顔画像Sが含まれていると判断されると、この顔画像Sの基準軸を中心とする回動角度に従って、当該回動角度の顔画像Sを電子撮像部2から出力された画像から探索するための探索時間を決定する決定手段を構成している。
【0032】
表示部7は、バッファメモリ9に格納された1フレーム分のYUVデータをビデオ信号に変換した後、ライブビュー画像として表示画面に表示する。具体的には、表示部7は、被写体の撮像により生成された複数の画像フレームに基づいてライブビュー画像を所定の表示フレームレートで表示したり、本撮像画像として撮像されたレックビュー画像を表示する。
【0033】
画像記録部8は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されている。また、画像記録部8は、電子撮像部2から出力され画像処理部5の符号化部(図示略)により所定の符号化方式(例えば、JPEG方式やMPEG方式等)により圧縮・符号化された静止画像データや動画像データを記録する。
ここで、画像記録部8は、電子撮像部2から出力された画像を記録する画像記録手段を構成している。
【0034】
バッファメモリ9は、画像データ等を一時的に記録するバッファであるとともに、中央制御部12などのワーキングメモリ等としても使用される。
【0035】
プログラムメモリ10には、当該撮像装置100の機能に係る各種プログラムやデータが格納されている。また、プログラムメモリ10には、例えば、静止画撮像時、連続撮像時、ライブビュー画像撮像時等の各撮像時における適正な露出値(EV)に対応する絞り値(F)とシャッタースピードとの組み合わせを示すプログラム線図を構成するプログラムAEデータや、EV値表(何れも図示略)も格納されている。
【0036】
操作入力部11は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部11は、例えば、被写体の撮影指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定用ボタン、ズーム量の調整指示に係るズームボタン等を備え(何れも図示略)、これらのボタンのユーザ操作に応じて所定の操作信号を中央制御部12に出力する。
【0037】
中央制御部12は、例えば、撮像装置100の各部を制御するCPUを具備するワンチップマイコン等から構成されている。
また、中央制御部12は、操作入力部11から出力され入力された操作信号に基づいて、撮像装置100の各部を制御する。具体的には、中央制御部12は、操作入力部11のシャッタボタンの所定操作に従って出力された記録指示信号が入力されると、プログラムメモリ10に記憶されている所定のプログラムに従って、撮像制御部4により電子撮像部2及びユニット回路部3の駆動タイミングを制御して静止画像を撮影する処理を実行する。この静止画像の撮影によりバッファメモリ9に格納された1フレーム分のYUVデータは、画像処理部5にてJPEG方式等により圧縮され符号化されて、画像記録部8に静止画像データとして記録される。
【0038】
次に、撮像装置100により被写体を撮像する場合に実行される連続撮像処理について、図2を参照して説明する。
図2は、連続連続撮像処理に係る動作の一例を示すフローチャートである。
【0039】
連続連続撮像処理は、ユーザによる操作入力部11の所定操作に基づいて、表示部7に表示されたメニュー画面内の複数のモードの中から、例えば、静止画像の連続撮像モードが選択指定された場合に実行される処理である。
なお、以下の連続撮像処理にあっては、ユーザによって操作入力部11のシャッタボタンが一回操作されると、撮像制御部4は、中央制御部12からの指令に基づいて、予め設定されている所定の連続記録枚数(例えば、60枚)分の記録画像を電子撮像部2に連続して撮像させる。
【0040】
図2に示すように、先ず、撮像制御部4の制御下にて、レンズ部1の各種レンズを通過した被写体の光学像が電子撮像部2により撮像されると、顔検出処理部6の検出判断部61は、画像処理部5により生成されたライブビュー表示用の各画像フレームについて、顔検出用情報dを用いて人の顔画像Sを検出する顔検出処理を行う。そして、検出判断部61は、当該顔検出処理の結果に応じて、処理対象となった画像フレームから顔画像Sが検出されたか否かを判断する(ステップS1)。
ここで、顔画像Sが検出されたと判断されると(ステップS1;YES)、探索時間決定部62は、顔検出用情報dを参照して、検出された顔画像Sの基準軸を中心とする所定方向の回動角度(例えば、−θ1°等:図4(a)参照)を特定する(ステップS2)。また、顔画像Sが検出された場合には、表示部7は、表示されているライブビュー画像にて、当該顔画像Sを囲繞する顔検出枠W(図4(a)等参照)を表示する。
【0041】
続けて、探索時間決定部62は、特定された回動角度に基づいて、検出判断部61が当該回動角度の顔画像Sをその後にバッファメモリ9から取得される画像フレームにて探索するのに必要な顔画像Sの探索時間(例えば、1/30s等)を決定して検出判断部61に設定する(ステップS3)。
次に、撮像制御部4の撮像間隔設定部43は、探索時間決定部62によって決定された顔画像Sの探索時間に応じて、当該探索時間と等しくなるように電子撮像部2による顔画像Sの連続撮像間隔(例えば、1/30s等)を設定する(ステップS4)。
これにより、単位期間における電子撮像部2による被写体の撮像回数と検出判断部61による顔画像Sの探索回数とを等しくすることができ、記録用の画像の撮像が行われる毎に当該画像についての顔画像Sの探索が実行可能となる。
【0042】
続けて、中央制御部12は、ユーザによる操作入力部11のシャッタボタンの所定操作に基づいて、被写体の連続撮像画像の記録開始指示が検出されたか否かを判断する(ステップS5)。
ここで、記録開始指示が検出されていないと判断されると(ステップS5;NO)、中央制御部12は、処理をステップS1に戻し、上記のように、検出判断部61は、画像処理部5により生成されたライブビュー表示用の各画像フレームについて、顔検出用情報dを用いて人の顔画像Sを検出する顔検出処理を行い、処理対象となった画像フレームから顔画像Sが検出されたか否かを判断する(ステップS1)。
【0043】
一方、ステップS5にて、記録開始指示が検出されたと判断されると(ステップS5;YES)、撮像制御部4は、撮像間隔設定部43により設定された被写体の連続撮像間隔に従って、検出済の顔画像S(顔検出枠W;図4(a)等参照)をAFエリアやAEエリア(測定対象)とする自動合焦処理(AF)や自動露出処理(AE)等の被写体の撮像条件の調整制御を行って、画像処理部5は、電子撮像部2による連続撮像に基づいて順次生成した画像フレーム(撮像画像)のYUVデータをバッファメモリ9に順次記録する(ステップS6)。
具体的には、検出判断部61は、設定された顔画像Sの探索時間(=連続撮像間隔)毎に、顔画像S(顔検出枠W)の画像データをコントラスト値の取得領域(AFエリア)や露出計測領域(AEエリア)として使用するとともに、撮像制御部4は、レンズ部駆動部41により顔画像Sにピントを合わせるように自動合焦処理を実行したり、シャッタースピードや絞り値等の露出条件を調整する自動露出処理を実行する。また、これらの処理と同期させるように、撮像制御部4は、撮像間隔設定部43により設定された被写体の連続撮像間隔(=顔画像Sの探索時間)で、電子撮像部2を駆動させて当該電子撮像部2から記録用の画像を出力させる。
なお、撮像制御部4は、被写体の撮像条件の調整制御として、測定対象を利用して自動ホワイトバランス(AWB)を行っても良い。
【0044】
次に、中央制御部12は、バッファメモリ9に記録された記録画像の数が所定の連続記録枚数(例えば、60枚)に達したか否かに応じて、被写体の連続撮像画像の記録終了指示が検出されたか否かを判断する(ステップS7)。
ここで、記録終了指示が検出されていないと判断されると(ステップS7;NO)、中央制御部12は、処理をステップS6に戻し、記録画像の数が所定の連続記録枚数(例えば、60枚)に達するまで、それ以降の処理を行う。
そして、ステップS7にて、記録終了指示が検出されたと判断されると(ステップS7;YES)、中央制御部12は、バッファメモリ9に一時的に記録されている所定の連続記録枚数(例えば、60枚)分の記録画像を画像記録部8に記録して、当該連続撮像処理を終了する。
【0045】
一方、ステップS1にて、ライブビュー画像から顔画像Sが検出されていないと判断されると(ステップS1;NO)、中央制御部12は、ユーザによる操作入力部11のシャッタボタンの所定操作に基づいて、被写体の連続撮像画像の記録開始指示が検出されたか否かを判断する(ステップS8)。
ここで、記録開始指示が検出されていないと判断されると(ステップS8;NO)、中央制御部12は、処理をステップS1に戻し、上記のように、検出判断部61は、画像処理部5により生成されたライブビュー表示用の各画像フレームについて、顔検出用情報dを用いて人の顔画像Sを検出する顔検出処理を行い、処理対象となった画像フレームから顔画像Sが検出されたか否かを判断する(ステップS1)。
【0046】
一方、ステップS8にて、記録開始指示が検出されたと判断されると(ステップS8;YES)、撮像制御部4は、予め設定されている所定の連続撮像間隔(固定値)に従って、予め設定されている所定のAFエリアやAEエリア(測定対象)に基づいて自動合焦処理(AF)や自動露出処理(AE)等の被写体の撮像条件の調整制御を行って、画像処理部5は、電子撮像部2による連続撮像に基づいて順次生成した画像フレームのYUVデータをバッファメモリ9に順次記録する(ステップS9)。
なお、ステップS9における自動合焦処理や自動露出処理は、AFエリアやAEエリアが異なる以外はステップS6における処理と略同様であり、その詳細な説明は省略する。
【0047】
次に、中央制御部12は、バッファメモリ9に記録された記録画像の数が所定の連続記録枚数(例えば、60枚)に達したか否かに応じて、被写体の連続撮像画像の記録終了指示が検出されたか否かを判断する(ステップS10)。
ここで、記録終了指示が検出されていないと判断されると(ステップS10;NO)、中央制御部12は、処理をステップS9に戻し、記録画像の数が所定の連続記録枚数(例えば、60枚)に達するまで、それ以降の処理を行う。
そして、ステップS10にて、記録終了指示が検出されたと判断されると(ステップS10;YES)、中央制御部12は、バッファメモリ9に一時的に記録されている所定の連続記録枚数(例えば、60枚)分の記録画像を画像記録部8に記録して、当該連続撮像処理を終了する。
【0048】
以上のように、実施形態1の撮像装置100によれば、顔検出処理にて検出された顔画像Sの回動角度に従って、当該回動角度の顔画像Sをその後にバッファメモリ9から取得される記録用の撮像画像から探索するための顔画像Sの探索時間を決定し、決定された顔画像Sの探索時間に応じて当該探索時間と電子撮像部2を駆動させる連続撮像間隔とが等しくなるように設定するので、記録用の画像の連続撮像中の単位期間における、被写体の撮像回数と撮像画像からの顔画像Sの探索回数とを等しくすることができ、所定の連続記録枚数(例えば、60枚)分の撮像にて、記録用の画像の撮像が行われる毎に当該画像についての顔画像Sの探索を実行することができる。
従って、被写体の連続撮像間隔、即ち、単位期間における被写体の撮像回数を一旦設定しても、顔画像Sの探索時間に応じて被写体の連続撮像間隔を可変させることで顔画像Sの非検出状態を生じ難くして、当該顔画像Sの検出を適正に行うことができる。この結果、当該顔画像Sの検出を起因として実行される最適な焦点調整や露出制御をより確実なものにすることができる。
【0049】
[実施形態2]
以下に、本発明を適用した実施形態2の撮像装置200について図5及び図6を参照して説明する。
図5は、実施形態2の撮像装置200の概略構成を示すブロック図である。
実施形態2の撮像装置200は、連続撮像処理にて、連続して撮像される記録用の画像毎に当該画像内の顔画像Sの回動角度が前回の顔画像Sの回動角度から変化したか否かを判断し、顔画像Sの回動角度が変化したと判断されると、変化後の回動角度の顔画像Sを撮像画像から探索するための探索時間を再決定する。
なお、実施形態2の撮像装置200は、以下に説明する以外の点で上記実施形態1の撮像装置100と略同様の構成をなし、その説明は省略する。
【0050】
顔検出処理部6は、検出判断部61及び探索時間決定部62に加えて、連続撮像処理にて顔画像Sの回動角度の変化を判断する角度変化判断部63を具備している。
角度変化判断部63は、撮像間隔設定部43によって連続撮像間隔が設定された後、連続撮像処理にて、画像処理部5によって生成された画像フレームから検出された顔画像Sの回動角度が、連続撮像間隔の設定の際に用いた顔画像Sの回動角度から変化したか否かを判断する。即ち、検出判断部61は、画像処理部5によって画像フレームが順次生成される毎に、各画像フレームから顔画像Sを検出し、探索時間決定部62は、検出された顔画像Sの基準軸を中心とする所定方向の回動角度を特定する。そして、角度変化判断部63は、探索時間決定部62によって新たに特定された顔画像Sの回動角度が、前回特定された顔画像Sの回動角度から変化したか否かを判断する。
このように、角度変化判断部63は、撮像間隔設定部43による連続撮像間隔の設定後、探索時間決定部62により新たに特定された顔画像Sの回動角度が前回特定された顔画像Sの回動角度から変化したか否かを判断する第2判断手段を構成している。
【0051】
探索時間決定部62は、角度変化判断部63により顔画像Sの回動角度が変化したと判断されると、変化後の回動角度に応じて、当該回動角度の顔画像Sをその後にバッファメモリ9から取得される画像フレームにて検出判断部61が探索するのに必要な探索時間を再決定する。
【0052】
撮像間隔設定部43は、探索時間決定部62によって顔画像Sの探索時間が再決定されると、当該再決定後の探索時間と等しくなるように電子撮像部2の連続撮像間隔を再設定する。
【0053】
次に、撮像装置200による連続撮像処理について、図6を参照して説明する。
図6は、連続撮像処理に係る動作の一例を示すフローチャートである。
なお、顔画像Sの回動角度の変化に基づく、顔画像Sの探索時間及び連続撮像間隔の再設定に係る処理以外の処理は、実施形態1の連続撮像処理と略同様であり、その詳細な説明は省略する。
【0054】
図6に示すように、先ず、実施形態1の連続撮像処理と同様に、顔検出処理部6の検出判断部61は、画像処理部5により生成されたライブビュー表示用の各画像フレームについて、顔検出用情報dを用いて人の顔画像Sを検出する顔検出処理を行い、当該顔検出処理の結果に応じて、処理対象となった画像フレームから顔画像Sが検出されたか否かを判断する(ステップS1)。
ここで、顔画像Sが検出されたと判断されると(ステップS1;YES)、実施形態1の連続撮像処理と同様に、探索時間決定部62は、顔検出用情報dを参照して、検出された顔画像Sの基準軸を中心とする所定方向の回動角度(例えば、−θ1°等:図4(a)参照)を特定する(ステップS2)。
なお、ステップS1にて、顔画像Sが検出されていないと判断された場合には(ステップS1;NO)、中央制御部12は、処理をステップS8に移行するが、ステップS2以降の処理は上記実施形態1の連続撮像処理と同様であるので、その詳細な説明は省略する。
【0055】
続けて、実施形態1の連続撮像処理と同様に、探索時間決定部62は、特定された回動角度に基づいて、検出判断部61が当該回動角度の顔画像Sをその後にバッファメモリ9から取得される画像フレームにて探索するのに必要な顔画像Sの探索時間(例えば、1/30s等)を決定して検出判断部61に設定する(ステップS3)。
次に、実施形態1の連続撮像処理と同様に、撮像制御部4の撮像間隔設定部43は、探索時間決定部62によって決定された顔画像Sの探索時間に応じて、当該探索時間と等しくなるように電子撮像部2による顔画像Sの連続撮像間隔(例えば、1/30s等)を設定する(ステップS4)。
【0056】
続けて、実施形態1の連続撮像処理と同様に、中央制御部12は、ユーザによる操作入力部11のシャッタボタンの所定操作に基づいて、被写体の連続撮像画像の記録開始指示が検出されたか否かを判断する(ステップS5)。
ここで、記録開始指示が検出されていないと判断されると(ステップS5;NO)、中央制御部12は、処理をステップS1に戻す。
【0057】
一方、ステップS5にて、記録開始指示が検出されたと判断されると(ステップS5;YES)、実施形態1の連続撮像処理と同様に、撮像制御部4は、撮像間隔設定部43により設定された被写体の連続撮像間隔に従って、検出済の顔画像S(顔検出枠W;図4(a)等参照)をAFエリアやAEエリア(測定対象)とする自動合焦処理(AF)や自動露出処理(AE)等の被写体の撮像条件の調整制御を行って、画像処理部5は、電子撮像部2による連続撮像に基づいて順次生成した画像フレーム(撮像画像)のYUVデータをバッファメモリ9に順次記録する(ステップS6)。
【0058】
次に、顔検出処理部6は、電子撮像部2による連続撮像に係る撮像画像の顔画像Sの回動角度が、前回特定された顔画像Sの回動角度から変化したか否かを角度変化判断部63により判断する(ステップS17)。具体的には、顔検出処理部6の検出判断部61は、電子撮像部2による連続撮像によって画像処理部5により新たに生成された画像フレーム(撮像画像)のYUVデータをバッファメモリ9から取得して、当該画像フレームから顔画像Sを検出する顔検出処理を行う。そして、探索時間決定部62は、検出された顔画像Sの基準軸を中心とする所定方向の回動角度を特定した後、角度変化判断部63は、探索時間決定部62によって新たに特定された顔画像Sの回動角度が前回特定された顔画像Sの回動角度から変化したか否かを判断する。
【0059】
ステップS17にて、顔画像Sの回動角度が変化していないと判断されると(ステップS17;NO)、中央制御部12は、処理をステップS6に戻し、それ以降の処理を行う。
一方、顔画像Sの回動角度が変化したと判断されると(ステップS17;YES)、探索時間決定部62は、変化後の回動角度(例えば、−θ2°等:図4(b)参照)に応じて、当該回動角度の顔画像Sをその後にバッファメモリ9から取得される画像フレームにて探索するのに必要な探索時間(例えば、1/15s等)を再決定して検出判断部61に再設定するとともに、撮像間隔設定部43は、再設定後の探索時間と等しくなるように電子撮像部2の連続撮像間隔(例えば、1/15s等)を再設定する(ステップS18)。
これにより、顔画像Sの回動角度の変化後における、単位期間における電子撮像部2による被写体の撮像回数と検出判断部61による顔画像Sの探索回数とを等しくすることができ、記録用の画像の撮像が行われる毎に当該画像についての顔画像Sの探索が実行可能となる。
【0060】
次に、撮像制御部4は、撮像間隔設定部43により再設定された被写体の連続撮像間隔に従って、検出済の顔画像S(顔検出枠W;図4(a)等参照)をAFエリアやAEエリア(測定対象)とする自動合焦処理(AF)や自動露出処理(AE)等の被写体の撮像条件の調整制御を行って、画像処理部5は、電子撮像部2による連続撮像に基づいて順次生成した画像フレーム(撮像画像)のYUVデータをバッファメモリ9に順次記録する(ステップS19)。
【0061】
次に、実施形態1の連続撮像処理と同様に、中央制御部12は、バッファメモリ9に記録された記録画像の数が所定の連続記録枚数(例えば、60枚)に達したか否かに応じて、被写体の連続撮像画像の記録終了指示が検出されたか否かを判断する(ステップS7)。
ここで、記録終了指示が検出されていないと判断されると(ステップS7;NO)、中央制御部12は、処理をステップS6に戻し、記録画像の数が所定の連続記録枚数(例えば、60枚)に達するまで、それ以降の処理を行う。
そして、ステップS7にて、記録終了指示が検出されたと判断されると(ステップS7;YES)、中央制御部12は、バッファメモリ9に一時的に記録されている所定の連続記録枚数(例えば、60枚)分の記録画像を画像記録部8に記録して、当該連続撮像処理を終了する。
【0062】
以上のように、実施形態2の撮像装置200によれば、連続撮像処理における顔検出処理にて新たに検出された顔画像Sの回動角度が変化した場合に、変化後の回動角度の顔画像Sをその後にバッファメモリ9から取得される記録用の撮像画像から探索するための探索時間を再決定することができ、再決定された顔画像Sの探索時間に応じて当該探索時間と電子撮像部2を駆動させる連続撮像間隔とが等しくなるように再設定することができる。
従って、顔画像Sの回動角度に応じて顔画像Sの探索時間及び被写体の連続撮像間隔を一旦設定した後、検出される顔画像Sの回動角度が変化しても、当該回動角度が変化後の顔画像Sの探索時間を設定し直すことができ、当該顔画像Sの探索時間に応じて被写体の連続撮像間隔を可変させることで顔画像Sの非検出状態を生じ難くして、当該顔画像Sの検出を適正に行うことができる。
【0063】
[実施形態3]
以下に、本発明を適用した実施形態3の撮像装置300について図7及び図8を参照して説明する。
図7は、実施形態3の撮像装置300の概略構成を示すブロック図である。
実施形態3の撮像装置300は、連続撮像処理にて、連続して撮像される記録用の画像から顔画像Sが検出されなくなったか否かを判断し、顔画像Sが検出されなくなったと判断されると、撮像画像から顔画像Sを探索するための探索時間を再決定する。
なお、実施形態3の撮像装置300は、以下に説明する以外の点で上記実施形態1の撮像装置100と略同様の構成をなし、その説明は省略する。
【0064】
顔検出処理部6は、検出判断部61及び探索時間決定部62に加えて、連続撮像処理にて、記録用の撮像画像から顔画像Sが検出されなくなったか否かを判断する顔有無判断部64を具備している。
顔有無判断部64は、連続撮像処理にて、撮像間隔設定部43によって連続撮像間隔が設定された後、検出判断部61による顔検出の検出結果に応じて、撮像画像から顔画像Sが検出されなくなったか否かを判断する。具体的には、検出判断部61は、画像処理部5によって画像フレームが順次生成される毎に、各画像フレームから顔画像Sを検出する処理を行い、顔有無判断部64は、検出判断部61により顔画像Sが検出されなかった場合に、連続撮像画像から顔画像Sが検出されなくなったと判断する。
このように、顔有無判断部64は、撮像間隔設定部43による連続撮像間隔の設定後、電子撮像部2から出力された画像に顔画像(被写体)Sが含まれなくなったか否かを判断する第3判断手段を構成している。
【0065】
探索時間決定部62は、顔有無判断部64により顔画像Sが検出されなくなったと判断されると、その後にバッファメモリ9から取得される画像フレームにて検出判断部61が顔画像Sを探索するのに必要な探索時間を再決定する。具体的には、探索時間決定部62は、上下軸L0と回動後の軸Laとのなす回動角度が90°の顔の特徴量情報を用いて検出判断部61が顔検出処理を行う場合、即ち、顔画像Sの回動角度と関連付けられている最長探索時間よりも長くなるように探索時間を再決定する。
【0066】
撮像間隔設定部43は、探索時間決定部62によって顔画像Sの探索時間が再決定されると、当該再決定後の探索時間と等しくなるように電子撮像部2の連続撮像間隔を再設定する。
【0067】
次に、撮像装置300による連続撮像処理について、図8を参照して説明する。
図8は、連続撮像処理に係る動作の一例を示すフローチャートである。
なお、顔画像Sが検出されなくなった場合における、顔画像Sの探索時間及び連続撮像間隔の再設定に係る処理以外の処理は、実施形態1の連続撮像処理と略同様であり、その詳細な説明は省略する。
【0068】
図8に示すように、先ず、実施形態1の連続撮像処理と同様に、顔検出処理部6の検出判断部61は、画像処理部5により生成されたライブビュー表示用の各画像フレームについて、顔検出用情報dを用いて人の顔画像Sを検出する顔検出処理を行い、当該顔検出処理の結果に応じて、処理対象となった画像フレームから顔画像Sが検出されたか否かを判断する(ステップS1)。
ここで、顔画像Sが検出されたと判断されると(ステップS1;YES)、実施形態1の連続撮像処理と同様に、探索時間決定部62は、顔検出用情報dを参照して、検出された顔画像Sの基準軸を中心とする所定方向の回動角度(例えば、−θ1°等:図4(a)参照)を特定する(ステップS2)。
なお、ステップS1にて、顔画像Sが検出されていないと判断された場合には(ステップS1;NO)、中央制御部12は、処理をステップS8に移行するが、ステップS2以降の処理は上記実施形態1の連続撮像処理と同様であるので、その詳細な説明は省略する。
【0069】
続けて、実施形態1の連続撮像処理と同様に、探索時間決定部62は、特定された回動角度に基づいて、検出判断部61が当該回動角度の顔画像Sをその後にバッファメモリ9から取得される画像フレームにて探索するのに必要な顔画像Sの探索時間(例えば、1/30s等)を決定して検出判断部61に設定する(ステップS3)。
次に、実施形態1の連続撮像処理と同様に、撮像制御部4の撮像間隔設定部43は、探索時間決定部62によって決定された顔画像Sの探索時間に応じて、当該探索時間と等しくなるように電子撮像部2による顔画像Sの連続撮像間隔(例えば、1/30s等)を設定する(ステップS4)。
【0070】
続けて、実施形態1の連続撮像処理と同様に、中央制御部12は、ユーザによる操作入力部11のシャッタボタンの所定操作に基づいて、被写体の連続撮像画像の記録開始指示が検出されたか否かを判断する(ステップS5)。
ここで、記録開始指示が検出されていないと判断されると(ステップS5;NO)、中央制御部12は、処理をステップS1に戻す。
【0071】
一方、ステップS5にて、記録開始指示が検出されたと判断されると(ステップS5;YES)、実施形態1の連続撮像処理と同様に、撮像制御部4は、撮像間隔設定部43により設定された被写体の連続撮像間隔に従って、検出済の顔画像S(顔検出枠W;図4(a)等参照)をAFエリアやAEエリア(測定対象)とする自動合焦処理(AF)や自動露出処理(AE)等の被写体の撮像条件の調整制御を行って、画像処理部5は、電子撮像部2による連続撮像に基づいて順次生成した画像フレーム(撮像画像)のYUVデータをバッファメモリ9に順次記録する(ステップS6)。
【0072】
次に、顔検出処理部6は、電子撮像部2による連続撮像に係る撮像画像から顔画像Sが検出されなくなったか否かを顔有無判断部64により判断する(ステップS27)。具体的には、顔検出処理部6の検出判断部61は、電子撮像部2による連続撮像によって画像処理部5により新たに生成された画像フレーム(撮像画像)のYUVデータをバッファメモリ9から取得して、当該画像フレームから顔画像Sを検出する顔検出処理を行う。そして、顔有無判断部64は、検出判断部61による顔検出の検出結果に応じて、撮像画像から顔画像Sが検出されなくなったか否かを判断する。
【0073】
ステップS27にて、顔画像Sが検出されなくなっていないと判断されると(ステップS27;NO)、中央制御部12は、処理をステップS6に戻し、それ以降の処理を行う。
一方、顔画像Sが検出されなくなったと判断されると(ステップS27;YES)、探索時間決定部62は、その後にバッファメモリ9から取得される画像フレームにて検出判断部61が顔画像Sを探索するのに必要な探索時間を長くするように(例えば、1/5s等)再決定して検出判断部61に再設定するとともに、撮像間隔設定部43は、再設定後の探索時間と等しくなるように電子撮像部2の連続撮像間隔(例えば、1/5s等)を再設定する(ステップS28)。
これにより、顔画像Sが検出されなくなった場合にて顔画像Sの探索時間を長めに再設定しても、単位期間における電子撮像部2による被写体の撮像回数と検出判断部61による顔画像Sの探索回数とを等しくすることができ、記録用の画像の撮像が行われる毎に当該画像についての顔画像Sの探索が実行可能となる。
【0074】
次に、撮像制御部4は、撮像間隔設定部43により再設定された被写体の連続撮像間隔に従って、顔画像Sを検出している状態で設定されていた顔画像S(顔検出枠W)に相当する領域、或いは、予め設定されている所定のAFエリアやAEエリア(測定対象)に基づいて自動合焦処理(AF)や自動露出処理(AE)等の被写体の撮像条件の調整制御を行って、画像処理部5は、電子撮像部2による連続撮像に基づいて順次生成した画像フレームのYUVデータをバッファメモリ9に順次記録する(ステップS29)。
【0075】
次に、実施形態1の連続撮像処理と同様に、中央制御部12は、バッファメモリ9に記録された記録画像の数が所定の連続記録枚数(例えば、60枚)に達したか否かに応じて、被写体の連続撮像画像の記録終了指示が検出されたか否かを判断する(ステップS7)。
ここで、記録終了指示が検出されていないと判断されると(ステップS7;NO)、中央制御部12は、処理をステップS6に戻し、記録画像の数が所定の連続記録枚数(例えば、60枚)に達するまで、それ以降の処理を行う。
そして、ステップS7にて、記録終了指示が検出されたと判断されると(ステップS7;YES)、中央制御部12は、バッファメモリ9に一時的に記録されている所定の連続記録枚数(例えば、60枚)分の記録画像を画像記録部8に記録して、当該連続撮像処理を終了する。
【0076】
以上のように、実施形態3の撮像装置300によれば、連続撮像処理における顔検出処理にて、連続して撮像される記録用の画像から顔画像Sが検出されなくなった場合に、撮像画像から顔画像Sを探索するための探索時間を長めに再決定するので、撮像画像から顔画像Sを検出するための時間をより長く確保することができ、当該顔画像Sを検出し易くすることができる。
さらに、再決定された顔画像Sの探索時間に応じて、当該探索時間と電子撮像部2を駆動させる連続撮像間隔とが等しくなるように再設定することができ、顔画像Sの探索時間に応じて被写体の連続撮像間隔を可変させることができる。
これにより、顔画像Sの検出状態から非検出状態となっても顔画像Sを再検出し易くして、当該顔画像Sの検出状態へ復帰させ易くすることができる。
【0077】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、ライブビュー画像から顔画像Sが検出されていない状態で、ユーザによる操作入力部11のシャッタボタンの所定操作に基づいて、被写体の連続撮像画像の記録が開始された場合であっても、記録用の画像の連続撮像中に顔検出処理を行って、検出された顔画像Sの回動角度に応じて、検出判断部61による顔画像Sの探索時間や電子撮像部2による連続撮像間隔を再設定しても良い(図9参照)。
【0078】
<変形例1>
以下に、図9を参照して、連続撮像処理の変形例について説明する。
なお、顔画像Sが検出された後における、顔画像Sの探索時間及び連続撮像間隔の再設定に係る処理以外の処理は、実施形態1の連続撮像処理と略同様であり、その詳細な説明は省略する。
【0079】
図9に示すように、先ず、実施形態1の連続撮像処理と同様に、顔検出処理部6の検出判断部61は、画像処理部5により生成されたライブビュー表示用の各画像フレームについて、顔検出用情報dを用いて人の顔画像Sを検出する顔検出処理を行い、当該顔検出処理の結果に応じて、処理対象となった画像フレームから顔画像Sが検出されたか否かを判断する(ステップS1)。
ここで、顔画像Sが検出されていないと判断されると(ステップS1;NO)、実施形態1の連続撮像処理と同様に、中央制御部12は、ユーザによる操作入力部11のシャッタボタンの所定操作に基づいて、被写体の連続撮像画像の記録開始指示が検出されたか否かを判断する(ステップS8)。
なお、ステップS1にて、顔画像Sが検出されたと判断された場合には(ステップS1;YES)、中央制御部12は、処理をステップS2に移行するが、ステップS2以降の処理は上記実施形態1の連続撮像処理と同様であるので、その詳細な説明は省略する。
【0080】
ステップS8にて、記録開始指示が検出されていないと判断されると(ステップS8;NO)、実施形態1の連続撮像処理と同様に、中央制御部12は、処理をステップS1に戻す。
一方、ステップS8にて、記録開始指示が検出されたと判断されると(ステップS8;YES)、実施形態1の連続撮像処理と同様に、撮像制御部4は、予め設定されている所定の連続撮像間隔(固定値)に従って、予め設定されている所定のAFエリアやAEエリア(測定対象)に基づいて自動合焦処理(AF)や自動露出処理(AE)等の被写体の撮像条件の調整制御を行って、画像処理部5は、電子撮像部2による連続撮像に基づいて順次生成した画像フレームのYUVデータをバッファメモリ9に順次記録する(ステップS9)。
【0081】
次に、検出判断部61は、画像処理部5により生成された記録用の各画像フレームについて、顔検出用情報dを用いて人の顔画像Sを検出する顔検出処理を行い、当該顔検出処理の結果に応じて、処理対象となった画像フレームから顔画像Sが検出されたか否かを判断する(ステップS31)。
ここで、記録用の画像フレームから顔画像Sが検出されていないと判断されると(ステップS31;NO)、実施形態1の連続撮像処理と同様に、中央制御部12は、バッファメモリ9に記録された記録画像の数が所定の連続記録枚数(例えば、60枚)に達したか否かに応じて、被写体の連続撮像画像の記録終了指示が検出されたか否かを判断する(ステップS10)。
【0082】
ステップS10にて、記録終了指示が検出されていないと判断されると(ステップS10;NO)、中央制御部12は、処理をステップS9に戻し、それ以降の処理を行う。その後、ステップS10にて、記録終了指示が検出されたと判断されると(ステップS10;YES)、中央制御部12は、バッファメモリ9に一時的に記録されている所定の連続記録枚数(例えば、60枚)分の記録画像を画像記録部8に記録して、当該連続撮像処理を終了する。
【0083】
一方、ステップS31にて、顔画像Sが検出されたと判断されると(ステップS31;YES)、探索時間決定部62は、顔検出用情報dを参照して、検出された顔画像Sの基準軸を中心とする所定方向の回動角度(例えば、−θ1°等:図4(a)参照)を特定する(ステップS32)。
続けて、探索時間決定部62は、特定された回動角度に基づいて、検出判断部61が当該回動角度の顔画像Sをその後にバッファメモリ9から取得される画像フレームにて探索するのに必要な顔画像Sの探索時間(例えば、1/30s等)を決定して検出判断部61に設定した後、撮像制御部4の撮像間隔設定部43は、探索時間決定部62によって決定された顔画像Sの探索時間に応じて、当該探索時間と等しくなるように電子撮像部2による顔画像Sの連続撮像間隔(例えば、1/30s等)を設定する(ステップS33)。
これにより、単位期間における電子撮像部2による被写体の撮像回数と検出判断部61による顔画像Sの探索回数とを等しくすることができ、記録用の画像の撮像が行われる毎に当該画像についての顔画像Sの探索が実行可能となる。
【0084】
その後、撮像制御部4は、ステップS6と同様に、撮像間隔設定部43により設定された被写体の連続撮像間隔に従って、検出済の顔画像S(顔検出枠W;図4(a)等参照)をAFエリアやAEエリア(測定対象)とする自動合焦処理(AF)や自動露出処理(AE)等の被写体の撮像条件の調整制御を行って、画像処理部5は、電子撮像部2による連続撮像に基づいて順次生成した画像フレーム(撮像画像)のYUVデータをバッファメモリ9に順次記録する(ステップS34)。
【0085】
次に、中央制御部12は、バッファメモリ9に記録された記録画像の数が所定の連続記録枚数(例えば、60枚)に達したか否かに応じて、被写体の連続撮像画像の記録終了指示が検出されたか否かを判断する(ステップS35)。
ここで、記録終了指示が検出されていないと判断されると(ステップS35;NO)、中央制御部12は、処理をステップS34に戻し、記録画像の数が所定の連続記録枚数(例えば、60枚)に達するまで、それ以降の処理を行う。
そして、ステップS35にて、記録終了指示が検出されたと判断されると(ステップS35;YES)、中央制御部12は、バッファメモリ9に一時的に記録されている所定の連続記録枚数(例えば、60枚)分の記録画像を画像記録部8に記録して、当該連続撮像処理を終了する。
【0086】
従って、顔画像Sの非検出状態にて被写体の連続撮像画像の記録が開始された場合であっても、記録用の画像の連続撮像中に顔検出処理を行うことで、検出された顔画像Sの回動角度に応じて、当該回動角度の顔画像Sをその後にバッファメモリ9から取得される記録用の撮像画像から探索するための顔画像Sの探索時間を決定するので、決定された顔画像Sの探索時間に応じて当該探索時間と電子撮像部2を駆動させる連続撮像間隔とが等しくなるように設定することができる。これにより、顔画像Sの非検出状態から検出状態へ復帰した場合であっても、記録用の画像の連続撮像中の単位期間における、被写体の撮像回数と撮像画像からの顔画像Sの探索回数とを等しくすることができ、所定の連続記録枚数(例えば、60枚)分の撮像にて、記録用の画像の撮像が行われる毎に当該画像についての顔画像Sの探索を実行することができる。
【0087】
なお、上記実施形態1〜3並びに変形例1にあっては、それぞれ特有の連続撮像処理を実行するようにしたが、これに限られるものではなく、これらの連続撮像処理のうち、少なくとも2つの処理を適宜組み合わせて行うようにしても良い。
即ち、例えば、実施形態2、3の連続撮像処理の各々と変形例1の連続撮像処理を組み合わせて、ライブビュー画像から顔画像Sの非検出状態にて、被写体の連続撮像画像の記録が開始された場合であっても、記録用の画像の連続撮像中に顔検出処理を行って、検出された顔画像Sの回動角度に応じて、検出判断部61による顔画像Sの探索時間や電子撮像部2による連続撮像間隔を再設定しても良い。また、例えば、実施形態2、3の連続撮像処理どうしを組み合わせて、連続撮像処理にて、新たに検出された顔画像Sの回動角度が変化したと判断されると、変化後の回動角度の顔画像Sを撮像画像から探索するための探索時間を再決定するとともに、顔画像Sが検出されなくなったと判断されると、撮像画像から顔画像Sを探索するための探索時間を再決定するようにしても良い。また、例えば、実施形態2、3の連続撮像処理どうしを組み合わせたものと変形例1の連続撮像処理を組み合わせても良い。
【0088】
また、撮像装置100、200、300の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
さらに、被写体として人の顔画像Sを例示したが、一例であってこれに限られるものではなく、例えば、ペット等の各種動物の顔画像など適宜任意に変更可能である。
また、顔画像Sの探索時間の決定にて、顔画像の基準軸を中心とする回動角度を考慮するようにしたが、これに加えて、例えば、顔画像の回動方向も考慮しても良い。
【0089】
加えて、上記実施形態にあっては、第1判断手段、決定手段、設定手段としての機能を、中央制御部12の制御下にて、顔検出処理部6の検出判断部61、探索時間決定部62、撮像制御部4の撮像間隔設定部43が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部12のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、撮像装置100のプログラムを記憶するプログラムメモリ10に、第1判断処理ルーチン、決定処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、第1判断処理ルーチンにより中央制御部12のCPUを、情報記憶手段に被写体の基準軸を中心とする複数の回動角度の各々と対応付けて記憶されている検出用情報に基づいて、撮像手段から出力された画像に被写体が含まれるか否かを判断する第1判断手段として機能させるようにしても良い。また、決定処理ルーチンにより中央制御部12のCPUを、第1判断手段により被写体が含まれていると判断されると、この被写体の基準軸を中心とする回動角度に従って、当該回動角度の被写体を撮像手段から出力された画像から探索するための探索時間を決定する決定手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部12のCPUを、決定手段によって決定された探索時間に応じて、撮像制御手段により撮像手段を駆動させる間隔を設定する設定手段として機能させるようにしても良い。
【0090】
同様に、第2判断手段、第3判断手段についても、中央制御部12のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
【0091】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
【符号の説明】
【0092】
100 撮像装置
1 レンズ部
2 電子撮像部
4 撮像制御部
42 電子撮像部駆動部
43 撮像間隔設定部
6 顔検出処理部
61 検出判断部
62 探索時間決定部
63 角度変化判断部
64 顔有無判断部
8 画像記録部
12 中央制御部
d 顔検出用情報

【特許請求の範囲】
【請求項1】
撮像手段を所定の間隔で連続的に駆動させて当該撮像手段から画像を出力させる撮像制御手段と、
被写体の基準軸を中心とする複数の回動角度の各々と当該被写体を検出するための検出用情報とを対応付けてそれぞれ記憶する情報記憶手段と、
この情報記憶手段に記憶されている前記検出用情報に基づいて、前記撮像手段から出力された画像に前記被写体が含まれるか否かを判断する第1判断手段と、
この第1判断手段により前記被写体が含まれていると判断されると、この被写体の基準軸を中心とする回動角度に従って、当該回動角度の被写体を前記撮像手段から出力された画像から探索するための探索時間を決定する決定手段と、
この決定手段によって決定された探索時間に応じて、前記撮像制御手段により前記撮像手段を駆動させる間隔を設定する設定手段と、
を備えたことを特徴とする撮像装置。
【請求項2】
前記設定手段による設定後、前記決定手段により新たに特定された被写体の回動角度が前回特定された被写体の回動角度から変化したか否かを判断する第2判断手段を更に備え、
前記決定手段は、
前記第2判断手段により前記被写体の回動角度が変化したと判断されると、変化後の回動角度の被写体を前記撮像手段から出力された画像から探索するための探索時間を再決定することを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記設定手段による設定後、前記撮像手段から出力された画像に前記被写体が含まれなくなったか否かを判断する第3判断手段を更に備え、
前記決定手段は、
前記第3判断手段により前記被写体が含まれなくなったと判断されると、前記撮像手段から出力された画像から被写体を検出するための検出時間を決定することを特徴とする請求項1又は2に記載の撮像装置。
【請求項4】
前記撮像手段から出力された画像を記録する画像記録手段を更に備えることを特徴とする請求項1〜3の何れか一項に記載の撮像装置。
【請求項5】
撮像手段を所定の間隔で連続的に駆動させて当該撮像手段から画像を出力させる撮像制御手段と、被写体の基準軸を中心とする複数の回動角度の各々と当該被写体を検出するための検出用情報とを対応付けてそれぞれ記憶する情報記憶手段と、を備える撮像装置を用いた撮像処理方法であって、
前記情報記憶手段に記憶されている前記検出用情報に基づいて、前記撮像手段から出力された画像に前記被写体が含まれるか否かを判断する処理と、
前記被写体が含まれていると判断されると、この被写体の基準軸を中心とする回動角度に従って、当該回動角度の被写体を前記撮像手段から出力された画像から探索するための探索時間を決定する処理と、
決定された探索時間に応じて、前記撮像制御手段により前記撮像手段を駆動させる間隔を設定する処理と、
を実行することを特徴とする撮像処理方法。
【請求項6】
撮像手段を所定の間隔で連続的に駆動させて当該撮像手段から画像を出力させる撮像制御手段と、被写体の基準軸を中心とする複数の回動角度の各々と当該被写体を検出するための検出用情報とを対応付けてそれぞれ記憶する情報記憶手段と、を備える撮像装置のコンピュータを、
この情報記憶手段に記憶されている前記検出用情報に基づいて、前記撮像手段から出力された画像に前記被写体が含まれるか否かを判断する第1判断手段、
この第1判断手段により前記被写体が含まれていると判断されると、この被写体の基準軸を中心とする回動角度に従って、当該回動角度の被写体を前記撮像手段から出力された画像から探索するための探索時間を決定する決定手段、
この決定手段によって決定された探索時間に応じて、前記撮像制御手段により前記撮像手段を駆動させる間隔を設定する設定手段、
として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公開番号】特開2011−172115(P2011−172115A)
【公開日】平成23年9月1日(2011.9.1)
【国際特許分類】
【出願番号】特願2010−35307(P2010−35307)
【出願日】平成22年2月19日(2010.2.19)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】