説明

電子カメラ

【課題】撮像性能が向上する。
【解決手段】イメージセンサ16は、被写界を捉える撮像面を有して生画像データを繰り返し出力する。撮像条件は、アクションシーンに適した特定プログラム線図を含む複数のプログラム線図のいずれか1つに沿うように、CPU48によって調整される。ここで、CPU48は、生画像データに基づく被写界像の動きが第1条件を満足するか否かを動き検出回路30から出力された動きベクトルに基づいて判別し、生画像データに基づく被写界像の輝度が第2条件を満足するか否かを輝度評価回路24から出力された輝度評価値に基づいて判別する。CPU48はまた、これらの判別結果のいずれもが肯定的であるときに特定プログラム線図の参照を許可し、これらの判別結果の少なくとも一方が否定的であるときに特定プログラム線図の参照を制限ないし禁止する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、電子カメラに関し、特に撮像装置から出力された被写界像の動きを参照して撮像条件を調整する、電子カメラに関する。
【背景技術】
【0002】
この種のカメラの一例が、特許文献1に開示されている。この背景技術によれば、撮像面の複数の位置にそれぞれ対応する複数の動きベクトルが、撮像部から出力された画像データに基づいて検出される。カメラの動きは、検出された複数の動きベクトルに多数決演算を施すことで特定される。撮像部から出力された画像データはまた、画像記憶部に記憶される。表示のために画像記録部から読み出すべき一部の画像データの位置は、多数決演算によって特定されたカメラの動きが手振れに相当するとき、この手振れが補正されるように調整される。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開平6−350895号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、背景技術では、撮像面の複数の位置に対応して検出された複数の動きベクトルに基づいて被写界の属性が判別されることはなく、判別された属性に応じて異なるように撮像条件の調整基準が設定されることもない。このため、背景技術では撮像性能に限界がある。
【0005】
それゆえに、この発明の主たる目的は、撮像性能を向上させることができる、電子カメラを提供することである。
【課題を解決するための手段】
【0006】
この発明に従う電子カメラ(10:実施例で相当する参照符号。以下同じ)は、被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段(16)、動的被写界に適した特定調整基準を含む複数の調整基準のいずれか1つを参照して撮像条件を調整する調整手段(S17~S29)、撮像手段から出力された被写界像の動きが第1条件を満足するか否かを判別する第1判別手段(S127, S139, S145)、撮像手段から出力された被写界像の輝度が第2条件を満足するか否かを判別する第2判別手段(S131, S135)、第1判別手段の判別結果および第2判別手段の判別結果のいずれもが肯定的であるとき調整手段による特定調整基準の参照を許可する許可手段(S147, S79, S81)、および第1判別手段の判別結果および第2判別手段の判別結果の少なくとも一方が否定的であるとき調整手段による特定調整基準の参照を制限する制限手段(S65)を備える。
【0007】
好ましくは、第1条件は動きの原因が手振れと異なるという第1消極的条件を含む。
【0008】
好ましくは、第1条件は動きの原因が撮像面のパンおよび/またはチルト動作と異なるという第2消極的条件を含む。
【0009】
好ましくは、第1条件は動きの原因が被写界に存在する物体の動きであるという積極的条件を含む。
【0010】
好ましくは、第2条件は輝度の変動幅が既定範囲に収まるという変動幅条件を含む。
【0011】
好ましくは、第2条件は輝度の均一度が基準を上回るという均一度条件を含む。
【0012】
この発明に従う撮像制御プログラムは、被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段(16)を備える電子カメラ(10)のプロセッサ(48)に、動的被写界に適した特定調整基準を含む複数の調整基準のいずれか1つを参照して撮像条件を調整する調整ステップ(S17~S29)、撮像手段から出力された被写界像の動きが第1条件を満足するか否かを判別する第1判別ステップ(S127, S139, S145)、撮像手段から出力された被写界像の輝度が第2条件を満足するか否かを判別する第2判別ステップ(S131, S135)、第1判別ステップの判別結果および第2判別ステップの判別結果のいずれもが肯定的であるとき調整ステップによる特定調整基準の参照を許可する許可ステップ(S147, S79, S81)、および第1判別ステップの判別結果および第2判別ステップの判別結果の少なくとも一方が否定的であるとき調整ステップによる特定調整基準の参照を制限する制限ステップ(S65)を実行させるための、撮像制御プログラムである。
【0013】
この発明に従う撮像制御方法は、被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段(16)を備える電子カメラ(10)によって実行される撮像制御方法であって、動的被写界に適した特定調整基準を含む複数の調整基準のいずれか1つを参照して撮像条件を調整する調整ステップ(S17~S29)、撮像手段から出力された被写界像の動きが第1条件を満足するか否かを判別する第1判別ステップ(S127, S139, S145)、撮像手段から出力された被写界像の輝度が第2条件を満足するか否かを判別する第2判別ステップ(S131, S135)、第1判別ステップの判別結果および第2判別ステップの判別結果のいずれもが肯定的であるとき調整ステップによる特定調整基準の参照を許可する許可ステップ(S147, S79, S81)、および第1判別ステップの判別結果および第2判別ステップの判別結果の少なくとも一方が否定的であるとき調整ステップによる特定調整基準の参照を制限する制限ステップ(S65)を備える。
【発明の効果】
【0014】
この発明によれば、動的被写界に適した特定調整基準の参照は、被写界像の動きが第1条件を満足し、かつ被写界像の輝度が第2条件を満足するときに許可される。換言すれば、被写界像の動きが第1条件を満足しても、被写界像の輝度が第2条件を満足しなければ、特定調整基準の参照は制限される。これによって、撮像面で捉えられた被写界が動的であるか否かの誤判別ひいては調整基準の誤選択が回避され、撮像性能が向上する。
【0015】
この発明の上述の目的,その他の目的,特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【0016】
【図1】この発明の基本的構成を示すブロック図である。
【図2】この発明の一実施例の構成を示すブロック図である。
【図3】図2実施例に適用される色フィルタの構成の一例を示す図解図である。
【図4】撮像面における切り出しエリアの割り当て状態の一例を示す図解図である。
【図5】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図6】撮像面における動き検出ブロックの割り当て状態の一例を示す図解図である。
【図7】(A)は夜景シーンに対応するキャラクタの一例を示す図解図であり、(B)はアクションシーンに対応するキャラクタの一例を示す図解図であり、(C)は風景シーンに対応するキャラクタの一例を示す図解図であり、(D)はデフォルトシーンに対応するキャラクタの一例を示す図解図であり、
【図8】図2実施例に適用されるレジスタの構成の一例を示す図解図である。
【図9】撮像面で捉えられる被写界の一例を示す図解図である。
【図10】撮像面で捉えられる被写界の他の一例を示す図解図である。
【図11】夜景シーンに対応するプログラム線図の一例を示すグラフである。
【図12】アクションシーンに対応するプログラム線図の一例を示すグラフである。
【図13】風景シーンに対応するプログラム線図の一例を示すグラフである。
【図14】デフォルトシーンに対応するプログラム線図の一例を示すグラフである。
【図15】図2実施例に適用されるCPUの動作の一部を示すフロー図である。
【図16】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図17】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図18】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図19】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図20】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図21】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図22】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図23】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【図24】図2実施例に適用されるCPUの動作のさらにその他の一部を示すフロー図である。
【図25】図2実施例に適用されるCPUの動作の他の一部を示すフロー図である。
【図26】図2実施例に適用されるCPUの動作のその他の一部を示すフロー図である。
【発明を実施するための形態】
【0017】
以下、この発明の実施の形態を図面を参照しながら説明する。
[基本的構成]
【0018】
図1を参照して、この発明の電子カメラは、基本的に次のように構成される。撮像手段1は、被写界を捉える撮像面を有して被写界像を繰り返し出力する。調整手段2は、動的被写界に適した特定調整基準を含む複数の調整基準のいずれか1つを参照して撮像条件を調整する。第1判別手段3は、撮像手段1から出力された被写界像の動きが第1条件を満足するか否かを判別する。第2判別手段4は、撮像手段1から出力された被写界像の輝度が第2条件を満足するか否かを判別する。許可手段5は、第1判別手段3の判別結果および第2判別手段4の判別結果のいずれもが肯定的であるとき調整手段による特定調整基準の参照を許可する。制限手段6は、第1判別手段3の判別結果および第2判別手段4の判別結果の少なくとも一方が否定的であるとき調整手段による特定調整基準の参照を制限する。
【0019】
したがって、動的被写界に適した特定調整基準の参照は、被写界像の動きが第1条件を満足し、かつ被写界像の輝度が第2条件を満足するときに許可される。換言すれば、被写界像の動きが第1条件を満足しても、被写界像の輝度が第2条件を満足しなければ、特定調整基準の参照は制限される。これによって、撮像面で捉えられた被写界が動的であるか否かの誤判別ひいては調整基準の誤選択が回避され、撮像性能が向上する。
[実施例]
【0020】
図2を参照して、この実施例のディジタルビデオカメラ10は、ドライバ18aおよび18bによってそれぞれ駆動されるフォーカスレンズ12および絞りユニット14を含む。被写界の光学像は、これらの部材を通してイメージセンサ16の撮像面に照射される。
【0021】
撮像面には複数の受光素子(=画素)が2次元状に配置され、撮像面は図3に示す原色ベイヤ配列の色フィルタ16fによって覆われる。色フィルタ16fは、具体的には、R(Red)のフィルタ要素,G(Green)のフィルタ要素およびB(Blue)のフィルタ要素がモザイク状に配列されたフィルタに相当する。撮像面に配置された受光素子は色フィルタ16fを構成するフィルタ要素と1対1で対応し、各受光素子で生成される電荷の量はR,GまたはBの色に対応する光の強度を反映する。
【0022】
電源が投入されると、CPU48は、撮像タスクの下で動画取り込み処理を実行するべく、ドライバ18cを起動する。ドライバ18cは、周期的に発生する垂直同期信号Vsyncに応答して、撮像面を露光し、撮像面で生成された電荷をラスタ走査態様で読み出す。イメージセンサ16からは、被写界を表す生画像データが周期的に出力される。出力される生画像データは、各画素がR,GおよびBのいずれか1つの色情報を有する画像データに相当する。
【0023】
AGC回路20は、撮像装置16から出力された生画像データをCPU48によって設定されたAGCゲインを参照して増幅する。前処理回路22は、AGC回路20によって増幅された生画像データにディジタルクランプ,画素欠陥補正などの処理を施す。前処理を施された生画像データは、メモリ制御回路32を通してSDRAM34の生画像エリア34aに書き込まれる。
【0024】
図4を参照して、生画像エリア34aには切り出しエリアCTが割り当てられる。後処理回路36は、メモリ制御回路32を通して生画像エリア34aにアクセスし、切り出しエリアCTに属する生画像データを周期的に読み出す。読み出された生画像データは、後処理回路36において色分離,白バランス調整,エッジ/彩度強調,YUV変換などの処理を施される。
【0025】
生画像データはまず、色分離処理によって、各画素がR,GおよびBの全ての色情報を有するRGB形式の画像データに変換される。画像データの白バランスは白バランス調整処理によって調整され、画像データのエッジおよび/または彩度はエッジ/彩度強調処理によって強調され、そして画像データの形式はYUV変換処理によってYUV形式に変換される。こうして作成されたYUV形式の画像データは、メモリ制御回路32を通してSDRAM34のYUV画像エリア34bに書き込まれる。
【0026】
LCDドライバ38は、YUV画像エリア34bに格納された画像データを周期的に読み出し、読み出された画像データをLCDモニタ40の解像度に適合するように縮小し、そして縮小された画像データに基づいてLCDモニタ40を駆動する。この結果、被写界を表すリアルタイム動画像(スルー画像)がモニタ画面に表示される。
【0027】
図5を参照して、撮像面の中央には評価エリアEVAが割り当てられる。評価エリアEVAは水平方向および垂直方向の各々において16分割され、合計256個の分割エリアが評価エリアEVAを形成する。
【0028】
前処理回路22は、上述した処理に加えて、生画像データを簡易的にYデータに変換し、変換されたYデータを輝度評価回路24,AF評価回路26および動き検出回路30に与える。前処理回路22はまた、生画像データをRGB画像データ(初期ゲインに従って調整された白バランスを有するRGB画像データ)に簡易的に変換し、変換されたRGB画像データをAWB評価回路28に与える。
【0029】
輝度評価回路24は、与えられたYデータのうち評価エリアEVAに属するYデータを垂直同期信号Vsyncに応答して分割エリア毎に積分する。輝度評価回路24からは、256個の輝度評価値が垂直同期信号Vsyncに同期して出力される。CPU48は、こうして出力された輝度評価値を明るさ調整タスクの下で取り込み、取り込まれた輝度評価値に基づいて適正BV値(BV:Brightness value)を算出し、そして算出された適正BV値を定義する絞り量,露光時間およびAGCゲインをドライバ18b,18cおよびAGC回路20に設定する。この結果、スルー画像の明るさが適度に調整される。
【0030】
AF評価回路26は、与えられたYデータのうち評価エリアEVAに属するYデータの高周波成分を垂直同期信号Vsyncに応答して分割エリア毎に積分する。AF評価回路26からは、256個のAF評価値が垂直同期信号Vsyncに同期して出力される。CPU48は、こうして出力されたAF評価値をコンティニュアスAFタスクの下で取り込み、AF起動条件が満足されるときにAF処理を実行する。フォーカスレンズ12はドライバ18aによって合焦点に配置され、これによってスルー画像の鮮鋭度が継続的に向上する。
【0031】
AWB評価回路28は、与えられたRGB画像データを形成するRデータ,GデータおよびBデータの各々を、垂直同期信号Vsyncに応答して分割エリア毎に積分する。AWB評価回路28からは、R積分値,G積分値およびB積分値を各々が有する256個のAWB評価値が垂直同期信号Vsyncに同期して出力される。CPU48は、こうして出力されたAWB評価値をAWBタスクの下で取り込み、取り込まれたAWB評価値に基づいてAWB処理を実行する。後処理回路36において参照される白バランス調整ゲインはAWB処理によって適正値に調整され、これによってスルー画像の色調が適度に調整される。
【0032】
図6を参照して、撮像面には9つの動き検出ブロックMD_1〜MD_9が割り当てられる。動き検出ブロックMD_1〜MD_3は撮像面の上段に水平方向に並ぶように配置され、動き検出ブロックMD_4〜MD_6は撮像面の中段に水平方向に並ぶように配置され、動き検出ブロックMD_7〜MD_9は撮像面の下段に水平方向に並ぶように配置される。
【0033】
動き検出回路30は、動き検出ブロックMD_1〜MD_9にそれぞれ対応する部分動きベクトルMV_1〜MV_9をYデータに基づいて検出する。検出された部分動きベクトルMV_1〜MV_9は、垂直同期信号Vsyncに同期して動き検出回路30から出力される。CPU48は、出力された部分動きベクトルMV_1〜MV_9を手振れ補正タスクの下で取り込み、これに基づいて手振れ補正処理を実行する。切り出しエリアCTは、光軸に直交する方向における撮像面の動きが撮像面の手振れに相当するときに、この手振れが補償される方向に移動する。これによって、手振れに起因するスルー画像の振動が抑制される。
【0034】
キー入力装置50に向けて記録開始操作が行われると、CPU48は、動画記録を開始するべく、撮像タスクの下でI/F44に記録開始命令を与える。I/F44は、YUV画像エリア34bに格納された画像データをメモリ制御回路32を通して読み出し、読み出された画像データを記録媒体46に作成された動画ファイルに書き込む。キー入力装置50に向けて記録終了操作が行われると、CPU48は、動画記録を終了するべく撮像タスクの下で記録終了命令をI/F44に与える。I/F44は、画像データの読み出しを終了し、記録先の動画ファイルをクローズする。
【0035】
CPU48は、撮像タスクと並列するシーン判別タスクの下で、被写界が夜景シーン,アクションシーンおよび風景シーンのいずれに相当するかを周期的に判別する。夜景シーン判別および風景シーン判別は、輝度評価回路24から出力された輝度評価値に基づいて実行される。被写界が夜景シーンと判別されるとフラグFLGnightが“0”から“1”に更新され、被写界が風景シーンと判別されるとフラグFLGlndscpが“0”から“1”に更新される。また、アクションシーン判別は、動き検出回路30から出力された部分動きベクトルMV_1〜MV_9と輝度評価回路24から出力された輝度評価値とに基づいて実行される。被写界がアクションシーンと判別されると、フラグFLGactが“0”から“1”に更新される。
【0036】
フラグFLGnightが“1”であれば、フラグFLGlndscpおよびFLGactの状態に関係なく、夜景シーンが確定シーンとされる。また、フラグFLGnightが“0”でかつフラグFLGactが“1”であれば、フラグFLGlndscpの状態に関係なく、アクションシーンが確定シーンとされる。さらに、フラグFLGnightおよびFLGactが“0”でかつフラグFLGlndscpが“1”であれば、風景シーンが確定シーンとされる。また、フラグFLGnight,FLGactおよびFLGlndscpのいずれもが“0”であれば、デフォルトシーンが確定シーンとされる。
【0037】
CPU48は、こうして得られた確定シーンに対応するキャラクタの出力をグラフィックジェネレータ42に要求する。グラフィックジェネレータ42は要求に従うグラフィックデータをLCDドライバ38に与え、LCDドライバ38は与えられたグラフィックデータに基づいてLCDモニタ40を駆動する。
【0038】
この結果、確定シーンが夜景シーンであれば図7(A)に示すキャラクタがモニタ画面の右上に表示され、確定シーンがアクションシーンであれば図7(B)に示すキャラクタがモニタ画面の右上に表示される。また、確定シーンが風景シーンであれば図7(C)に示すキャラクタがモニタ画面の右上に表示され、確定シーンがデフォルトシーンであれば図7(D)に示すキャラクタがモニタ画面の右上に表示される。
【0039】
アクションシーン判別は、詳しくは以下の要領で実行される。まず、各フレームで“0”に初期化される変数CNT_L,CNT_R,CNT_UおよびCNT_Dが、各フレームで検出される部分動きベクトルMV_J(J:1〜9)の大きさおよび方向に応じて異なる態様で更新される。
【0040】
変数CNT_Lは、部分動きベクトルMV_Jの水平成分量が左方向において5画素に相当する量を上回るときにインクリメントされる。変数CNT_Rは、部分動きベクトルMV_Jの水平成分量が右方向において5画素に相当する量を上回るときにインクリメントされる。変数CNT_Uは、動きベクトルMV_Jの垂直成分量が上方向において5画素に相当する量を上回るときにインクリメントされる。変数CNT_Dは、動きベクトルMV_Jの垂直成分量が下方向において5画素に相当する量を上回るときにインクリメントされる。
【0041】
部分動きベクトルMV_1〜MV_9の各々に対する上述の処理が完了すると、変数CNT_L,CNT_R,CNT_UおよびCNT_Dの値が、図8に示すレジスタRGST1のK番目のカラムに登録される。変数Kは垂直同期信号Vsyncに応答して“1”〜“9”の間で循環的に更新される変数であり、レジスタRGST1のK番目のカラムに登録された値は第Kフレームにおける被写界像の動きを表す。
【0042】
続いて、第Kフレームにおける切り出しエリアCTの移動量が“MVct”として検出される。検出された移動量MVctが閾値THmvを上回れば、無視できない量の手振れ補正が実行されたとみなされ、9フレーム毎に“0”に初期化される変数CNT_MVがインクリメントされる。
【0043】
変数Kの値が“9”に達すると、フラグFLGactの値を“0”および“1”のいずれか一方に確定させるべく、以下の処理が追加的に実行される。
【0044】
まず、変数CNT_MVが閾値THcntmvと比較される。変数CNT_MVが閾値THcntmv以上であれば、最新9フレームにおける被写界像の動きは手振れに起因するものとみなされる。このとき、フラグFLGactの値は“0”に確定される。
【0045】
変数CNT_MVが閾値THmvcnt未満であれば、最新9フレームにおける被写界像の動きは手振れに起因するものではないとみなされる。この場合、現フレームに対応する256個の輝度評価値の中から最大輝度評価値および最小輝度評価値が検出され、検出された最大輝度評価値および最小輝度評価値の差分が“ΔY”として算出される。
【0046】
算出された差分ΔYは、閾値THy1およびTHy2の各々と比較される。ここで、閾値THy1は閾値THy2よりも小さい。差分ΔYが閾値THy1以下であれば被写界像の輝度差が極端に小さいとみなされ、差分ΔYが閾値THy2以上であれば被写界像の輝度差が極端に大きいとみなされる。このとき、フラグFLGactの値は“0”に確定される。
【0047】
差分ΔYが閾値THy1を上回りかつ閾値THy2を下回る範囲に属するときは、被写界像の輝度差が妥当であるとみなされる。この場合、評価エリアEVAの中心を交点としてXを描く32個の分割エリア(=図5にハッチングで示す分割エリア)にそれぞれ対応する32個の輝度評価値が現フレームに対応する256個の輝度評価値の中から検出され、検出された32個の輝度評価値の均一度が“Yflat”として算出される。
【0048】
なお、均一度Yflatは、検出された32個の輝度評価値を形成する最大輝度評価値および最小輝度評価値の差分を既定値で割り算した割り算値の逆数に相当する。
【0049】
算出された均一度Yflatは、閾値THflatと比較される。均一度Yflatが閾値THflat以下であれば、レジスタRGST1の記述は被写界像の動きを判別する上で信頼性に欠けるとみなされる。このとき、フラグFLGactの値は“0”に確定される。
【0050】
均一度Yflatが閾値THflatを上回れば、最新9フレームにおける被写界像の動きがパン/チルト条件を満足するか否かが、レジスタRGST1の記述を参照して判別される。パン/チルト条件は、動き検出エリアMV_1〜MV_9のうち5つ以上の動き検出エリアが5フレーム以上の期間にわたって同一方向における動きを示すという条件に相当する。パン/チルト条件が満足されれば、注目する動きは撮像面のパン/チルト動作に起因するものとみなされる。このとき、フラグFLGactの値は“0”に確定される。
【0051】
パン/チルト条件が満足されなければ、最新9フレームにおける被写界像の動きが物体横切り条件を満足するか否か、ならびに最新9フレームにおける被写界像の動きが物体動き条件を満足するか否かが、レジスタRGST1の記述を参照して判別する。
【0052】
物体横切り条件は、動き検出エリアMV_1〜MV_9のうち3つ以上の動き検出エリアが5フレーム以上の期間にわたって同一方向における動きを示し、かつ互いに逆の方向における動きが最新9フレーム期間において出現しないという条件に相当する。また、物体動き条件は、動き検出エリアMV_1〜MV_9のうち4つ以上の動き検出エリアが5フレーム以上の期間にわたって同一方向における動きを示すという条件に相当する。
【0053】
物体横切り条件は、図9に示すように被写界を横切る人物が撮像面で捉えられたときに満足される。また、物体動き条件は、図10に示すようにダンスを披露する人物が撮像面で捉えられたときに満足される。
【0054】
物体横切り条件が満足されなければ、最新9フレーム期間における被写界像の動きは物体の横切りに起因するものではないとみなされる。このとき、フラグFLGactの値は“0”に確定される。また、物体動き条件が満足されなければ、最新9フレーム期間における被写界像の動きは同一位置に存在する物体の動きに起因するものではないとみなされる。このときも、フラグFLGactの値は“0”に確定される。
【0055】
これに対して、物体横切り条件または物体動き条件が満足されれば、最新9フレーム期間における被写界像の動きは、物体の横切りまたは同一位置に存在する物体の動きに起因するものとみなされる。このとき、フラグFLGactは“1”に確定される。
【0056】
明るさ調整タスクの下での処理は、詳しくは以下に述べる要領で実行される。まず、絞り量,露光時間およびAGCゲインが初期化され、デフォルトシーン(=初期の確定シーン)に適合するプログラム線図が参照プログラム線図として指定される。垂直同期信号Vsyncが発生すると、輝度評価回路24から出力された輝度評価値に基づいて適正BV値が算出され、算出された適正BV値に対応する座標(A,T,G)が参照プログラム線図から検出される。なお、“A”は絞り量に相当し、“T”は露光時間に相当し、“G”はゲインに相当する。
【0057】
座標(A,T,G)は、確定シーンが夜景シーンであるとき図11に示すプログラム線図に描かれた太線上で検出され、確定シーンがアクションシーンであるとき図12に示すプログラム線図に描かれた太線上で検出される。座標(A,T,G)はまた、確定シーンが風景シーンであるとき図13に示すプログラム線図に描かれた太線上で検出され、確定シーンがデフォルトシーンであるとき図14に示すプログラム線図に描かれた太線上で検出される。
【0058】
たとえば、確定シーンが夜景シーンであり、算出された適正BV値が“3”であれば、(A,T,G)=(3,7,7)が検出される。また、確定シーンがアクションシーンであり、算出された適正BV値が“8”であれば、(A,T,G)=(3,9,4)が検出される。
【0059】
ドライバ18b,18cおよびAGC回路20には、こうして検出された座標(A,T,G)によって特定される絞り量,露光時間およびAGCゲインが設定される。確定シーンに変化が生じると、変化後の確定シーンに適合するプログラム線図が特定され、特定されたプログラム線図が参照プログラム線図として設定される。
【0060】
CPU48は、図15に示す撮像タスク,図16〜図17に示す明るさ調整タスク,図18に示すコンティニュアスAFタスク,図19に示すAWBタスク,図20に示す手振れ補正タスク,および図21〜図26に示すシーン判別タスクを含む複数のタスクを並列的に処理する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ(図示せず)に記憶される。
【0061】
図15を参照して、ステップS1では動画取り込み処理を実行する。これによって、スルー画像がLCDモニタ40に表示される。ステップS3では記録開始操作が行われたか否かを繰り返し判別し、判別結果がNOからYESに更新されるとステップS5に進む。ステップS5では、動画記録を開始するべく記録開始命令をI/F46に与える。I/F46は、YUV画像エリア34bに格納された画像データをメモリ制御回路32を通して読み出し、読み出された画像データを記録媒体48に作成された動画ファイルに書き込む。
【0062】
ステップS7では、記録終了操作が行われたか否かを判別する。判別結果がNOからYESに更新されるとステップS9に進み、動画記録を終了するべく記録終了命令をI/F46に与える。I/F46は、画像データの読み出しを終了し、記録先の動画ファイルをクローズする。ファイルクローズが完了すると、ステップS3に戻る。
【0063】
図16を参照して、ステップS11では撮像設定(=絞り量,露光時間,AGCゲイン)を初期化し、ステップS13ではデフォルトシーン用のプログラム線図を参照プログラム線図として指定する。ステップS15では垂直同期信号Vsyncが発生したか否かを判別し、判別結果がNOからYESに更新されると、輝度評価回路24から出力された輝度評価値をステップS17で取り込む。
【0064】
ステップS19では取り込まれた輝度評価値に基づいて適正BV値を算出し、ステップS21では算出された適正BV値に対応する座標(A,T,G)を参照プログラム線図上で検出する。ステップS23では、検出された座標(A,T,G)によって特定される絞り量,露光時間およびAGCゲインをドライバ18b,18cおよびAGC回路20に設定する。
【0065】
ステップS25では確定シーンが変化したか否かを判別し、判別結果がNOであればステップS15に戻る一方、判別結果がYESであればステップS27に進む。ステップS27では変化後の確定シーンに適合するプログラム線図を特定し、ステップS29では参照プログラム線図を特定されたプログラム線図に変更する。変更処理が完了すると、ステップS15に戻る。
【0066】
図18を参照して、ステップS31ではフォーカスレンズ12の位置を初期化し、ステップS33では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、AF評価回路26から出力されたAF評価値をステップS35で取り込む。ステップS37ではAF起動条件が満足されるか否かを取り込まれたAF評価値に基づいて判別し、判別結果がNOであればステップS33に戻る一方、判別結果がYESであればステップS39に進む。ステップS39では、フォーカスレンズ12を合焦点が存在する方向に移動させるべく、取り込まれたAF評価値に基づいてAF処理を実行する。AF処理が完了すると、ステップS33に戻る。
【0067】
図19を参照して、ステップS41では後処理回路36において参照される白バランス調整ゲインを初期化し、ステップS43では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、AWB評価回路28から出力されたAWB評価値をステップS45で取り込む。ステップS47では、白バランス調整ゲインを調整するべく、取り込まれたAWB評価値に基づいてAWB処理を実行する。AWB処理が完了すると、ステップS43に戻る。
【0068】
図20を参照して、ステップS51では切り出しエリアCTの位置を初期化し、ステップS53では垂直同期信号Vsyncが発生したか否かを判別する。判別結果がNOからYESに更新されると、動き検出回路30から出力された部分動きベクトルをステップS55で取り込む。ステップS57では、後述するパン/チルト条件が満足されたか否かを判別し、判別結果がNOであればステップS53に戻る一方、判別結果がYESであればステップS59に進む。ステップS59では、ステップS55で取り込まれた部分動きベクトルを参照して手振れ補正処理を実行する。切り出しエリアCTは、手振れに起因する撮像面の動きが補償される方向に移動する。手振れ補正処理が完了すると、ステップS53に戻る。
【0069】
図21を参照して、ステップS61ではデフォルトシーンを確定シーンとする。ステップS63では、変数KおよびCNT_MVをそれぞれ“1”および“0”に設定する。ステップS65では、フラグFLGnight,FLGactおよびFLGlndscpを“0”に設定する。
【0070】
ステップS67では垂直同期信号Vsyncが発生したか否かを判別し、判別結果がNOからYESに更新されるとステップS69で夜景シーン判別処理を実行する。この判別処理は明るさ調整タスクの下で取り込まれた輝度評価値に基づいて実行され、被写界が夜景シーンと判別されるとフラグFLGnightが“0”から“1”に更新される。
【0071】
ステップS71ではフラグFLGnightが“1”を示すか否かを判別し、判別結果がNOであればステップS77に進む一方、判別結果がYESであればステップS73に進む。ステップS73では夜景シーンを確定シーンとし、ステップS75では確定シーンに対応するキャラクタの出力をグラフィックジェネレータ42に要求する。確定シーンに対応するキャラクタは、スルー画上に多重表示される。ステップS75の処理が完了すると、ステップS65に戻る。
【0072】
ステップS77では、アクションシーン判別処理を実行する。この判別処理は手振れ補正タスクの下で取り込まれた部分動きベクトルMV_1〜MV_9と明るさ調整タスクの下で取り込まれた輝度評価値とに基づいて実行され、被写界がアクションシーンと判別されるとフラグFLGactが“0”から“1”に更新される。ステップS79ではフラグFLGactが“1”を示すか否かを判別し、判別結果がNOであればステップS83に進む一方、判別結果がYESであればステップS81でアクションシーンを確定シーンとしてからステップS75に進む。
【0073】
ステップS83では、風景シーン判別処理を実行する。この判別処理は明るさ調整タスクの下で取り込まれた輝度評価値に基づいて実行され、被写界が風景シーンと判別されるとフラグFLGlndscpが“0”から“1”に更新される。ステップS85ではフラグFLGlndscpが“1”を示すか否かを判別し、判別結果がNOであればステップS87でデフォルトシーンを確定シーンとする一方、判別結果がYESであればステップS89で風景シーンを確定シーンとする。ステップS8またはS89の処理が完了すると、ステップS75に進む。
【0074】
ステップS77のアクションシーン判別処理は、図23〜図26に示すサブルーチンに従って実行される。まずステップS91で変数CNT_L,CNT_R,CNT_UおよびCNT_Dを“0”に設定し、ステップS93で変数Jを“1”に設定する。
【0075】
ステップS95では、部分動きベクトルMV_Jの水平成分量が5画素に相当する量を上回るか否かを判別する。判別結果がNOであればそのままステップS103に進み、判別結果がYESであればステップS97〜S101の処理を経てステップS103に進む。
【0076】
ステップS97では、部分動きベクトルMV_Jの水平成分の方向が左方向であるか否かを判別する。判別結果がYESであればステップS99で変数CNT_Lをインクリメントする一方、判別結果がNOであればステップS101で変数CNT_Rをインクリメントする。
【0077】
ステップS103では、動きベクトルMV_Jの垂直成分量が5画素に相当する量を上回るか否かを判別する。判別結果がNOであればそのままステップS111に進み、判別結果がYESであればステップS105〜S109の処理を経てステップS111に進む。
【0078】
ステップS111では、部分動きベクトルMV_Jの垂直成分の方向が上方向であるか否かを判別する。判別結果がYESであればステップS107で変数CNT_Uをインクリメントする一方、判別結果がNOであればステップS109で変数CNT_Dをインクリメントする。
【0079】
ステップS111では変数Jをインクリメントし、ステップS113では変数Jが“9”を上回るか否かを判別する。判別結果がNOであればステップS95に戻り、判別結果がYESであればステップS115に進む。ステップS115では変数CNT_L,CNT_R,CNT_UおよびCNT_Dの値をレジスタRGST1のK番目のカラムに登録する。
【0080】
ステップS117では上述したステップS59の処理による切り出しエリアCTの移動量を“MVct”として検出し、ステップS119では移動量MVctが閾値THmvを上回るか否かを判別する。判別結果がNOであればそのままステップS123に進み、判別結果がYESであればステップS121で変数CNT_MVをインクリメントしてからステップS123に進む。ステップS123では変数Kをインクリメントし、ステップS125では変数Kが“9”を上回るか否かを判別する。判別結果がNOであれば上階層のルーチンに復帰し、判別結果がYESであればステップS127以降の処理に進む。
【0081】
ステップS127では、変数CNT_MVが閾値THcntmvを下回るか否かを判別する。判別結果がNOであれば、最新9フレームにおける被写界像の動きは手振れに起因するものとみなし、ステップS149に進む。これに対して、判別結果がYESであれば、最新9フレームにおける被写界像の動きは手振れに起因するものではないとみなし、ステップS129に進む。
【0082】
ステップS129では、ステップS17で取り込まれた256個の輝度評価値の中から最大輝度評価値および最小輝度評価値を検出し、検出された最大輝度評価値および最小輝度評価値の差分を“ΔY”として算出する。ステップS131では算出された差分ΔYが閾値THy1およびTHy2によって挟まれる範囲に属するか否かを判別する。判別結果がNOであれば、被写界像の輝度差が極端に小さいか極端に大きいとみなし、ステップS149に進む。これに対して、判別結果がYESであれば、被写界像の輝度差が妥当であるとみなし、ステップS133に進む。
【0083】
ステップS133では、評価エリアEVAの中心を交点としてXを描く32個の分割エリアにそれぞれ対応する32個の輝度評価値をステップS17で取り込まれた256個の輝度評価値の中から検出し、検出された32個の輝度評価値の均一度を“Yflat”として算出する。続くステップS135では、算出された均一度Yflatが閾値THyflatを上回るか否かを判別する。
【0084】
判別結果がNOであれば、レジスタRGST1の記述は被写界像の動きを判別する上で信頼性に欠けるとみなし、ステップS149に進む。これに対して、判別結果がYESであれば、レジスタRGST1の記述は被写界像の動きを判別する上で信頼性を有するとみなし、ステップS137に進む。
【0085】
ステップS137では、最新9フレームにおける被写界像の動きがパン/チルト条件を満足するか否かを、レジスタRGST1の記述を参照して判別する。パン/チルト条件が満足されれば、注目する動きは撮像面のパン/チルト動作に起因するものとみなされる。これに対して、パン/チルト条件が満足されなければ、注目する動きは撮像面のパン/チルト動作に起因するものではないとみなされる。パン/チルト条件が満足されればステップS139からステップS149に進み、パン/チルト条件が満足されなければステップS139からステップS141に進む。
【0086】
ステップS141では、最新9フレームにおける被写界像の動きが物体横切り条件を満足するか否かを、レジスタRGST1の記述を参照して判別する。また、ステップS143では、最新9フレームにおける被写界像の動きが物体動き条件を満足するか否かを、レジスタRGST1の記述を参照して判別する。
【0087】
物体横切り条件が満足されれば、最新9フレーム期間における被写界像の動きは物体の横切りに起因するものとみなされる。また、物体動き条件が満足されれば、最新9フレーム期間における被写界像の動きは同一位置に存在する物体の動きに起因するものとみなされる。
【0088】
物体横切り条件および物体動き条件のいずれも満足されなければそのままステップS149に進み、物体横切り条件または物体動き条件が満足されればステップS151でフラグFLGactを“1”に更新してからステップS149に進む。ステップS149では変数KおよびCNT_MVをそれぞれ“1”および“0”に設定し、その後に上階層のルーチンに復帰する。
【0089】
以上の説明から分かるように、イメージセンサ16は、被写界を捉える撮像面を有して生画像データを繰り返し出力する。出力された生画像データは、AGC回路20によって増幅される。撮像面の露光量およびAGC回路20のゲインは、アクションシーンに適した特定プログラム線図を含む複数のプログラム線図のいずれか1つに沿うように、CPU48によって調整される(S17~S29)。ここで、CPU48は、生画像データに基づく被写界像の動きが第1条件を満足するか否かを動き検出回路30から出力された動きベクトルに基づいて判別し(S127, S139, S145)、生画像データに基づく被写界像の輝度が第2条件を満足するか否かを輝度評価回路24から出力された輝度評価値に基づいて判別する(S131, S135)。CPU48はまた、これらの判別結果のいずれもが肯定的であるときに特定プログラム線図の参照を許可し(S147, S79, S81)、これらの判別結果の少なくとも一方が否定的であるときに特定プログラム線図の参照を制限ないし禁止する(S65)。
【0090】
ここで、第1条件は、被写界像の動きが手振れに起因するものではないという条件,被写界像の動きが撮像面のパン/チルト動作に起因するものではないという条件,および被写界像の動きが物体の横切りまたは同位置における物体の動きに起因するという条件の論理積に相当する。
【0091】
また、第2条件は、被写界像の輝度の変動幅(=ΔY)が閾値THy1およびTHy2によって挟まれる範囲に属するという条件,および被写界像の輝度の均一度(=Yflat)が閾値THyflatを上回るという条件の論理積に相当する。
【0092】
したがって、特定プログラム線図の参照は、被写界像の動きが第1条件を満足し、かつ被写界像の輝度が第2条件を満足するときに許可される。換言すれば、被写界像の動きが第1条件を満足しても、被写界像の輝度が第2条件を満足しなければ、特定プログラム線図の参照は制限される。これによって、撮像面で捉えられた被写界が動的であるか否かの誤判別ひいては調整基準の誤選択が回避され、撮像性能が向上する。
【0093】
なお、この実施例では、撮像条件を調整するためのパラメータとして絞り量,露光時間およびAGCゲインの3つを想定しているが、これに加えてエッジおよび/または彩度の強調度を想定するようにしてもよい。この場合、これらの強調度をプログラム線図に追加的に定義する必要がある。
【符号の説明】
【0094】
10 …ディジタルビデオカメラ
16 …イメージセンサ
22 …前処理回路
24 …輝度評価回路
30 …動き検出回路
36 …後処理回路
42 …グラフィックジェネレータ
46 …記録媒体
48 …CPU

【特許請求の範囲】
【請求項1】
被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段、
動的被写界に適した特定調整基準を含む複数の調整基準のいずれか1つを参照して撮像条件を調整する調整手段、
前記撮像手段から出力された被写界像の動きが第1条件を満足するか否かを判別する第1判別手段、
前記撮像手段から出力された被写界像の輝度が第2条件を満足するか否かを判別する第2判別手段、
前記第1判別手段の判別結果および前記第2判別手段の判別結果のいずれもが肯定的であるとき前記調整手段による前記特定調整基準の参照を許可する許可手段、および
前記第1判別手段の判別結果および前記第2判別手段の判別結果の少なくとも一方が否定的であるとき前記調整手段による前記特定調整基準の参照を制限する制限手段を備える、電子カメラ。
【請求項2】
前記第1条件は前記動きの原因が手振れと異なるという第1消極的条件を含む、請求項1記載の電子カメラ。
【請求項3】
前記第1条件は前記動きの原因が前記撮像面のパンおよび/またはチルト動作と異なるという第2消極的条件を含む、請求項1または2記載の電子カメラ。
【請求項4】
前記第1条件は前記動きの原因が前記被写界に存在する物体の動きであるという積極的条件を含む、請求項1ないし3のいずれかに記載の電子カメラ。
【請求項5】
前記第2条件は前記輝度の変動幅が既定範囲に収まるという変動幅条件を含む、請求項1ないし5のいずれかに記載の電子カメラ。
【請求項6】
前記第2条件は前記輝度の均一度が基準を上回るという均一度条件を含む、請求項1ないし4のいずれかに記載の電子カメラ。
【請求項7】
被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段を備える電子カメラのプロセッサに、
動的被写界に適した特定調整基準を含む複数の調整基準のいずれか1つを参照して撮像条件を調整する調整ステップ、
前記撮像手段から出力された被写界像の動きが第1条件を満足するか否かを判別する第1判別ステップ、
前記撮像手段から出力された被写界像の輝度が第2条件を満足するか否かを判別する第2判別ステップ、
前記第1判別ステップの判別結果および前記第2判別ステップの判別結果のいずれもが肯定的であるとき前記調整ステップによる前記特定調整基準の参照を許可する許可ステップ、および
前記第1判別ステップの判別結果および前記第2判別ステップの判別結果の少なくとも一方が否定的であるとき前記調整ステップによる前記特定調整基準の参照を制限する制限ステップを実行させるための、撮像制御プログラム。
【請求項8】
被写界を捉える撮像面を有して被写界像を繰り返し出力する撮像手段を備える電子カメラによって実行される撮像制御方法であって、
動的被写界に適した特定調整基準を含む複数の調整基準のいずれか1つを参照して撮像条件を調整する調整ステップ、
前記撮像手段から出力された被写界像の動きが第1条件を満足するか否かを判別する第1判別ステップ、
前記撮像手段から出力された被写界像の輝度が第2条件を満足するか否かを判別する第2判別ステップ、
前記第1判別ステップの判別結果および前記第2判別ステップの判別結果のいずれもが肯定的であるとき前記調整ステップによる前記特定調整基準の参照を許可する許可ステップ、および
前記第1判別ステップの判別結果および前記第2判別ステップの判別結果の少なくとも一方が否定的であるとき前記調整ステップによる前記特定調整基準の参照を制限する制限ステップを備える、撮像制御方法。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate


【公開番号】特開2011−221337(P2011−221337A)
【公開日】平成23年11月4日(2011.11.4)
【国際特許分類】
【出願番号】特願2010−91316(P2010−91316)
【出願日】平成22年4月12日(2010.4.12)
【出願人】(000001889)三洋電機株式会社 (18,308)
【Fターム(参考)】