撮像装置
【課題】被写体の急激な明るさ変化に加えて、被写体及び撮像装置の相対的な動き量の急峻な変化にも対応でき、振れや明るさ変動の少ない映像を取得する。
【解決手段】撮像装置は、被写体像を光電変換する撮像素子１０３と、該撮像素子から出力される撮像信号に基づいて映像を生成する映像生成手段１０５と、撮像信号に対するゲイン調整を行うゲイン調整手段１０４と、映像における複数の単位画像及び該撮像装置の動きを検出するセンサのうち少なくとも一方を用いて動き情報を生成する動き情報生成手段１０７，１０８，６０１，６０２と、明るさ情報及び動き情報に基づいて、撮像素子が受ける光量を調節する絞り１０２の絞り値、撮像素子のシャッタ速度及びゲイン調整手段におけるゲインを制御する露出制御手段１１３，１１４とを有する。
【解決手段】撮像装置は、被写体像を光電変換する撮像素子１０３と、該撮像素子から出力される撮像信号に基づいて映像を生成する映像生成手段１０５と、撮像信号に対するゲイン調整を行うゲイン調整手段１０４と、映像における複数の単位画像及び該撮像装置の動きを検出するセンサのうち少なくとも一方を用いて動き情報を生成する動き情報生成手段１０７，１０８，６０１，６０２と、明るさ情報及び動き情報に基づいて、撮像素子が受ける光量を調節する絞り１０２の絞り値、撮像素子のシャッタ速度及びゲイン調整手段におけるゲインを制御する露出制御手段１１３，１１４とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置又は被写体の動きによる撮像映像の振れを抑制する防振機能を有する撮像装置に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置には、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｕｓｕｒｅ：自動露出）機能が搭載されているものが多い。ＡＥ機能は、測光センサや映像信号を用いて被写体の明るさ（輝度）情報を測定し、該明るさ情報に基づいて露出値を自動的に決定する機能である。
【０００３】
そして、ＡＥ機能を搭載した撮像装置では、決定された露出値に応じてアイリス（絞り）機構やゲイン回路を制御する。これにより、被写体の輝度に時間変動が生じても素早く反応し、取得される映像の明るさ変動を小さくすることができる。
【０００４】
ただし、著しく低輝度の被写体を撮像する場合には、アイリスが開放状態となり、シャッタ速度が大きく低下する。このように通常のＡＥ範囲を超えるような場合には、上記要素の調節だけでなく、撮像素子又はその後段の信号処理部においてゲインの増幅が行われる。逆に、被写体輝度が高すぎる場合には、ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタが挿入される（特許文献１参照）。
【０００５】
また、完全に自動化されたＡＥ機能に加えて、絞り優先動作やシャッタ優先動作を含むプログラムＡＥもある。さらに、利用シーンを選択することで露出モードを切り替え、好ましい露出プリセット値が設定される、いわゆるモードセレクト機能（シーンセレクト又はイメージセレクト機能とも称される）もある（特許文献２参照）。
【０００６】
撮像装置に対して速い速度で移動する被写体を捉える機能としては、シャッタ優先ＡＥモードや、モードセレクト機能により選択可能なスポーツモードがある。
【０００７】
シャッタ優先ＡＥモードでは、ユーザーが、被写体の動きから、映像の振れを起こさないシャッタ速度を推定する必要がある。シャッタ速度を入力すると、該入力シャッタ速度と測光値とに応じて絞り量が調節され、被写体の輝度変動があっても映像の明るさ変動が抑えられる。
【０００８】
また、スポーツモードでは、被写体の速い動きを想定した映像の振れを起こさないシャッタ速度が自動設定される。そして、測光値に応じて、設定されたシャッタ速度を維持しつつ、明るさ変動が少ない映像が得られるように定義されたプログラム線図に従って絞り量が調節される。プログラム線図は、測光値に対して選択されるべき絞り量とシャッタ速度の組み合わせを示したパラメータテーブルである。
【特許文献１】特開２００１−１４５０１７号公報
【特許文献２】特許第３６５８３６１号公報
【特許文献３】特開２００１−３３０８８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一方、被写体だけでなく、撮像装置が移動する場合には、急激な明るさ情報の変化に加え、急峻な動き量の変化が発生する。従来の測光値のみを基準とした露出制御機能では、明るさ情報の変化には対応するが、急峻な動き量の変化には十分対応しきれず、映像に振れを生じやすくなる。
【００１０】
シャッタ優先モードやスポーツモードといった一定のシャッタ速度を設定する露光モードでは、急峻な動き量の変化に対応するためには、シャッタ速度を非常に高速に設定しなければならない。この場合、実際には撮像装置と被写体の相対移動が緩やかで通常のスポーツモード等でのシャッタ速度に設定すれば十分な明るさの映像が得られる状況であっても、光量不足に陥ることがある。または、ゲイン増幅のためにノイズの多い映像が得られてしまうおそれもある。
【００１１】
振れやノイズが多い映像や光量不足の映像といった低品質映像は、特に高精細で大型の表示デバイスに表示されて鑑賞される場合にその品質の低さが目立つ。また、取得映像に基づいて防振処理、ダイナミックレンジ処理、超解像処理、フレームレートアップコンバージョン処理、顔認識処理（特開２００１−３３０８８２号公報参照）等の高度な画像処理を行う場合に、映像品質が低いと該処理を良好に行うことが難しい。
【００１２】
本発明は、被写体の急激な明るさ変化に加えて、被写体及び撮像装置の相対的な動き量の急峻な変化にも対応でき、振れや明るさ変動の少ない映像を取得するための露出制御を行う撮像装置を提供する。
【課題を解決するための手段】
【００１３】
本発明の一側面としての撮像装置は、被写体像を光電変換する撮像素子と、該撮像素子から出力される撮像信号に基づいて映像を生成する映像生成手段と、撮像信号に対するゲイン調整を行うゲイン調整手段と、映像における複数の単位画像及び該撮像装置の動きを検出するセンサのうち少なくとも一方を用いて動き情報を生成する動き情報生成手段と、明るさ情報及び動き情報に基づいて、撮像素子が受ける光量を調節する絞りの絞り値、撮像素子のシャッタ速度及びゲイン調整手段におけるゲインを制御する露出制御手段とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、被写体の明るさや被写体及び撮像装置の相対的な動き量が急激に変化するような場合でも、振れや明るさ変動が少ない高品質な映像を取得することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例１】
【００１６】
図１には、本発明の実施例１である撮像装置としてのビデオカメラの構成を示す。
【００１７】
１０１はレンズ光学系である。レンズ光学系１０１は、複数のレンズにより構成され、被写体の光学像を形成する。１０２はアイリス（絞り）である。アイリス１０２は、撮像素子１０３がその受光面にて受ける光量を機械的に調節する光量調節ユニットである。レンズ光学系１０１及びアイリス１０２は、撮像光学系を構成する。
【００１８】
１０３は撮像素子である。撮像素子１０３は、ＣＣＤセンサやＣＭＯＳセンサにより構成され、レンズ光学系１０１により形成され、アイリス１０２によって光量が調節された被写体像を光電変換して撮像信号を生成する。
【００１９】
１１４は露出制御手段の一部を構成するシステム制御部である。システム制御部１１４は、マイクロコンピュータにより構成され、撮像装置全体を総合的に制御する。
【００２０】
１０４はゲイン調整手段としてのＡＧＣ（オートゲインコントロール）部である。ＡＧＣ部１０４は、システム制御部１１４からのゲイン制御信号に応じて、撮像素子１０３及び後述するカメラ信号処理部のうち少なくとも一方に含まれる増幅器のゲインを変化させることで、撮像素子１０３で生成される撮像信号に対するゲイン調整を行う。
【００２１】
１０５は映像生成手段としてのカメラ信号処理部である。カメラ信号処理部１０５は、ＡＧＣ部１０４からのゲイン調整された撮像信号に対して各種映像処理を行い、映像信号を生成する。映像処理には、例えば、色差／輝度分離、鮮鋭化、ホワイトバランス調整、黒レベル調整及び符号／複合化処理がある。また、上述したように、カメラ信号処理部１０５が増幅器を有する場合もあり、この場合、カメラ信号処理部１０５のうち増幅器よりも後段の部分が、映像生成手段に相当する。
【００２２】
１０６はワークメモリである。ワークメモリ１０６は、後述する動きベクトルを演算するために、カメラ信号処理部１０５により生成された映像のうち任意のフレーム画像を保存する。
【００２３】
なお、本実施例では、映像を構成する単位画像をフレーム画像として説明するが、単位画像はフレーム画像を構成するフィールド画像であってもよい。フィールド画像を単位画像とする場合は、基本的には以下の説明中のフレームをフィールド画像と読み替えればよい。
【００２４】
１０７は画像動き検出部である。画像動き検出部１０７は、ワークメモリ１０６に保存されたフレーム画像（以下、単にフレームという）と他のフレーム、例えば最新フレーム（カレントフレーム）との間で動きベクトルを算出する。
【００２５】
１０８は画像動き検出部１０７とともに動き情報生成手段を構成する動き量算出部である。動き量算出部１０８は、画像動き検出部１０７で算出された動きベクトルに基づいて、動き量（動き情報）を算出する。
【００２６】
１０９はズーム・フォーカス調整部である。ズーム・フォーカス調整部１０９は、システム制御部１１４から供給されるズーム制御信号及びフォーカス制御信号に応じて、それぞれレンズ光学系１０１に含まれるズームレンズ及びフォーカスレンズを移動させる。また、ズーム・フォーカス調整部１０９は、レンズ光学系１０１に内蔵されたズーム及びフォーカスエンコーダ（図示せず）の出力値からズーム量（ズームレンズ位置）やフォーカスレンズ位置を求めてシステム制御部１１４に送る。
【００２７】
１１０はアイリス調整部である。アイリス調整部１１０は、システム制御部１１４から供給されるアイリス制御信号に応じてアイリス１０２を駆動し、絞り開口を通過する光量を調節する。
【００２８】
１１１は撮像素子制御部である。撮像素子制御部１１１は、撮像素子１０３に対して電荷の蓄積、読み出し及びリセットのタイミングパルスを出力し、撮像素子１０３の基本的な動作を制御する。また、システム制御部１１４からのシャッタ速度制御信号に従い、タイミングパルスの出力間隔を制御し、撮像素子１０３の電荷蓄積時間、すなわち電子シャッタ速度の制御を行う。
【００２９】
１１２は測光手段としての測光部である。測光部１１２は、ＡＧＣ部１０４から出力された信号を積分してその平均光量を求めることにより、露出演算のための明るさ情報としての測光値を出力する。すなわち、明るさ情報を生成する。測光部１１２は、積分時に画像領域に対してマスク処理や重み付け処理を行って、画像全体のうち記録領域を指定したり、画像全体を複数領域に分割して各領域に重み付け積分を行ったりする。
【００３０】
本実施例では、撮像光学系を通った光を用いて測光を行うＴＴＬ（Through The Lens）方式での測光を行うが、撮像光学系を通らない光を用いて測光を行う外部測光方式を採用してもよい。
【００３１】
１１３はシステム制御部１１４とともに露出制御手段を構成するＡＥ算出部である。ＡＥ算出部１１３には、動き量算出部１０８で算出された動き量と測光部１１２から出力された測光値が入力される。ＡＥ算出部１１３は、該動き量及び測光値に基づいて、アイリス１０２の絞り値、撮像素子１０３の電子シャッタ速度（以下、単にシャッタ速度という）及びＡＧＣ部１０４（又はカメラ信号処理部１０５）でのゲインを制御する。そして、これらの露出制御値をシステム制御部１１４に出力する。
【００３２】
１１５は操作信号入力部である。操作信号入力部１１５は、ユーザーが撮像装置の機能選択や各種設定を行うために操作されるボタン類を含む。また、撮像開始／終了ボタンも含む。なお、操作信号入力部１１５として、タッチパネル式表示素子を用いて、後述する表示部１１６と統合してもよい。
【００３３】
システム制御部１１４は、操作信号入力部１１５において選択された露出モードに応じて、後述する不揮発メモリ１１８から読み込まれたパラメータテーブルに従い、各処理部及び各制御部に対し、それぞれに関連する制御信号や情報を送信する。具体的には、カメラ信号処理部１０５に対するその特性を制御する制御信号や、画像動き検出部１０７に対する動き量検出エリアの情報や、ＡＥ算出部１１３に対する測光エリアの情報を送信する。また、システム制御部１１４は、ズーム・フォーカス調整部１０９、アイリス調整部１１０及び撮像素子制御部１１１に制御信号を出力する。
【００３４】
１１６は表示部である。表示部１１６は、ＬＣＤ，ＬＥＤ，ＥＬ等により構成され、各種動作モードの設定表示や、各種警告表示や、撮像により取得された映像データや、伸長処理された記録済み映像データ等を表示する。
【００３５】
１１７は記録部である。記録部１１７は、半導体メモリ、磁気テープ、光ディスク等の記録媒体に対して映像データ（圧縮データ）を記録したり、該記録媒体から映像データを読み出したりする。
【００３６】
１１８は不揮発メモリである。不揮発メモリ１１８は、撮像モード項目、及びそれに対応する露出制御用の測光エリア情報等の各種データを記憶する。また、コード線図からなる露出制御要素の基本的な制御指針を表したデータテーブルも記憶する。
【００３７】
操作信号入力部１１５においてある撮像モードが選択された場合には、対応する各種データ及び制御指針テーブルが不揮発メモリ１１８からシステム制御部１１４により読み込まれる。一般的には、シャッタ優先モード、絞り優先モード、スポーツモードや、風景モードと呼ばれるプログラム露出モードに対応するパラメータテーブルが読み込まれる。
【００３８】
１１９は外部Ｉ／Ｆである。システム制御部１１４は、測光値に基づく露出制御において絞り値、シャッタ速度及びゲインのうち少なくとも１つのパラメータが調整範囲外（制御可能範囲外）である場合に、外部Ｉ／Ｆ１１９を介してその旨を通知する情報を外部に出力する。
【００３９】
なお、図１には、レンズ一体型のビデオカメラの構成を示したが、レンズ交換型のビデオカメラも本発明の実施例に含まれる。レンズ交換型ビデオカメラの場合には、図１中のレンズ光学系１０１、アイリス１０２、ズーム・フォーカス調整部１０９及びアイリス調整部１１０が交換レンズに搭載される。
【００４０】
図２には、本実施例における露出制御の処理手順を示す。この処理は、不図示のメモリに格納されたコンピュータプログラム（撮像処理プログラム）に従って実行される。以下の説明において、「Ｓ」はステップを示す。
【００４１】
Ｓ２０１では、システム制御部１１４は、処理の開始指示（ＯＮ）の確認を行う。処理の開始指示が出されていない（ＯＦＦ）場合には、本処理を終了する。
【００４２】
Ｓ２０２では、システム制御部１１４は、露出モードを確認する。そして、不揮発メモリ１１８から露出モードに対応した測光値又は動き情報の算出に関連する各種データ、例えば測光エリア情報や動き量算出エリア情報を読み込む。また、上述した制御指針テーブル情報を読み込む。
【００４３】
図１１には、撮像領域（全画面）内での動き量算出エリアの設定例を示す。この図では、撮像領域ＩＡの中央部分に動き量算出エリアＭＡを設定し、このエリアＭＡ内の動きベクトルを重点的に検出して動き量算出に用いる。このような設定を、「中央部分重点エリア設定」という。なお、この動き量算出エリアＭＡと測光エリアとを同じに設定してもよい。
【００４４】
Ｓ２０３では、システム制御部１１４は、画像動き検出部１０７及び動き量算出部１０８に動きベクトル及び動き量の算出を行わせる。具体的には、ワークメモリ１０６に保存されたフレーム（保存のフレーム）とカメラ信号処理部１０５から最も新しく出力されたカレントフレーム（保存フレームの直後の隣接フレーム）との間で動きベクトルの算出を行わせる。動きベクトルの算出には、ブロックマッチング、相互相関演算、勾配法等に基づくマッチング処理が用いられる。なお、動きベクトルを算出するために用いられる複数のフレームは、上記のような隣接する２つのフレームではなくてもよい。
【００４５】
図１０には、ブロックマッチングの例を示す。ここでは、左側の画像１００１を基準画像とし、右側の画像１００２を探索画像とする。まず、基準画像１００１内でグリッド状に配置された注目点１００４のうちいずれかを中心として、所定サイズの部分領域としてのテンプレート１００３を設定する。
【００４６】
次に、探索画像１００２中で任意の探索領域１００７を設定し、探索領域１００７を順次移動させながらテンプレート１００３と最も合致する位置を探索する。具体的には、探索画像１００２中の注目画素１００５を基準とした領域１００６におけるテンプレート１００３との類似度を計算する。類似度の指標としては、ＳＳＤ（Sum of Square Difference）、ＳＡＤ（Sum of Absolute Difference）、正規相互相関等が用いられる。探索領域１００７での各領域１００６の類似度を計算した結果、最も類似度の高い領域１００６を対応領域とみなす。そして、テンプレート１００３と対応領域間で動きベクトルを算出する。オクルージョンがなければ、基準画像１００１上で設定した注目点１００４の数だけ動きベクトルが算出される。
【００４７】
上記マッチング処理によって動き量算出エリアＭＡ内の複数の領域における動きベクトルが算出され、該動きベクトルから動き量が算出される。
【００４８】
動き量は、ビデオカメラと被写体との間の相対的な動きによって生じる振れとシャッタ速度との関係を表す指標となる。したがって、動き量としては、該関係に対応する値ならばどのような値を用いてもよいが、本実施例では、例として、露出モードによって設定された動き量算出エリアにおけるフレーム間での最大移動量［ｐｉｘｅｌ／ｆｒａｍｅ］とする。フレーム間での像の移動が大きければ大きなほど、動き量の値が増加する。
【００４９】
Ｓ２０４では、システム制御部１１４は、測光部１１２に明るさ情報としての測光値を算出させる。測光部１１２は、ＡＧＣ部１０４からの出力信号を取り込み、該出力信号（輝度レベル）を積分する。そして、その積分結果に対応した露出値（測光値）Ｅｖを出力する。
【００５０】
測光値に基づく絞り値、シャッタ速度及びゲインの関係の決定には、露出値Ｅｖが用いられる。露出値Ｅｖは、アペックスシステムとも呼ばれる。Ｅｖ＝０は、絞り値がＦ１で、シャッタ速度が１秒で、ゲインが標準（例えば、０ｄＢ）のときの適正露出値として定義される。
【００５１】
計算を簡単にするために、絞り値及びシャッタ速度に対してＡｖ及びＴｖを、ゲインに対してＳｖを対応させる。Ｆを絞り値（Ｆ値）、Ｔをシャッタ速度（秒）とすると、以下の関係が成り立つ。
【００５２】
【数１】
【００５３】
ＩＳＯはＩＳＯ感度を表し、ＳｖはＩＳＯ感度１００を基準とした感度の指標を示す。Ｓｖには、Ｅｖ＝０を定義したときの感度を基準とする増幅率の２を底とするｌｏｇを対応させる。この結果、Ａｖ値とＴｖ値の和がＥｖ値となる。
【００５４】
【数２】
【００５５】
また、Ａｖ値とＦとの関係及びＴｖ値とシャッタ速度Ｔとの関係をそれぞれ、表１及び表２に示す。
【００５６】
【表１】
【００５７】
【表２】
【００５８】
露出値と、絞り及びシャッタ速度の関係を示す方法として、図６に示すようなコード線図が用いられる。
【００５９】
図の左側の縦軸が絞り値Ｆ、下側の横軸がシャッタ速度Ｔを表す。各軸上のパラメータ「−」は設定不可能な値である。上側から右側にかけての軸がＥｖ値を表す。
【００６０】
コード線図中の太線グラフは、パラメータテーブルによって設定された露出モードに基づく制御方針に対応し、前述したように露出モードの確認時（Ｓ２０２）に読み込まれる。絞り値及びシャッタ速度は、なるべくグラフ上の値になるように設定される。
【００６１】
図６には、動画撮像における基本露出モードでのグラフを表している。丸囲みの１のポイントで示すように、絞り値が設定可能な最大値（Ｆ＝２２）となるまでは、シャッタ速度Ｔ＝１／６０を可能限り維持する。そして、絞り値が設定可能な最大値となった後はシャッタ速度を上げていく。ゲインについてはグラフ上には現れない。
【００６２】
Ｓｖを＋１することは、ＡｖとＴｖをそれぞれ＋１とすることと等価である。例えば、Ｓ２０４において算出された測光値がＥｖ＝１０であった場合、このコード線図に従うと、Ｆ＝４、Ｔ＝１／６０となる。ゲインは０ｄＢである。
【００６３】
図２に戻り、Ｓ２０５では、システム制御部１１４は、ＡＥ算出部１１３に、Ｔｖ，Ａｖ，Ｓｖを設定させる。ＡＥ算出部１１３は、動き量及び測光値に基づいて、絞り値、シャッタ速度及びゲインに対応するＴｖ，Ａｖ，Ｓｖの値を算出する。
【００６４】
図３には、露出モードに応じて、動き量及び測光値に基づいてＴｖ，Ａｖ，Ｓｖの値を算出する手順を示す。
【００６５】
Ｓ３０１では、ＡＥ算出部１１３は、動き量に基づいてＴｖｍｉｎを算出する。Ｔｖｍｉｎには、映像信号の１フレームの露出時間（１／シャッタ速度）内の動き量が最大動き量の閾値ＭＶｍａｘ超えない最大のシャッタ速度Ｔが割り当てられる。ＭＶｍａｘには、１／１０ピクセル等の値が設定される。ＭＶｍａｘは、操作信号入力部１１５における操作によって変更可能である。
【００６６】
これにより、例えば図７Ａに示すように、露出制御要素のパラメータ空間にシャッタ速度についての利用が不可なパラメータ領域が設定される。図７Ａにおいて、左側半分の矩形のハッチング領域が、利用不可なパラメータ領域である。
【００６７】
Ｓ３０２では、ＡＥ算出部１１３は、次のＳ３０３での露出制御パラメータの算出に対応する露出モードの確認を行う。そして、露出モードに対応したパラメータテーブルが読み込まれていることを確認する。露出モードに対応したパラメータテーブルではない場合は、不揮発メモリ１１８からパラメータテーブルが読み込まれる。
【００６８】
Ｓ３０３では、露出値ＥｖからＴｖ，Ａｖ，Ｓｖの値を算出する。制御パラメータの決定は、不揮発メモリ１１８より読み込まれた制御方針に従う。
【００６９】
Ｓ３０４では、ＡＥ算出部１１３は、シャッタ速度（Ｔｖ）が振れを発生させない最低シャッタ速度Ｔｖｍｉｎを下回らないことを確認する。
【００７０】
制御パラメータＴｖ，Ａｖ，Ｓｖは、最低シャッタ速度Ｔｖｍｉｎとは独立に設定される。このため、図７Ｂに示すように、ＴｖがＴｖｍｉｎを上回る場合もあるが、図７Ｃに示すように、ＴｖがＴｖｍｉｎを下回る場合もある。
【００７１】
ＴｖがＴｖｍｉｎを上回る場合には、算出された制御パラメータセットをそのまま利用し、下回る場合には、振れを生じさせない最低シャッタ速度Ｔｖｍｉｎを採用し、他の制御パラメータを調整する。
【００７２】
Ｓ３０５では、ＴｖがＴｖｍｉｎを下回る場合に、Ｔｖ＝Ｔｖｍｉｎとし、シャッタ速度を振れを生じさせないシャッタ速度に設定する。
【００７３】
Ｓ３０６では、Ｔｖの置き換えに伴い、ＡｖとＳｖの補正を行う。例えば、Ｔｖｍｉｎ＝９（１／５００秒）の場合には、図７Ｃに矢印で示すようにＡｖを調整する。また、絞り優先で絞り値を変更できない場合は、図７Ｄに矢印で示すようにＴｖを変化させる。いずれの場合も、ゲイン（Ｓｖ）の２段分の増加に相当する。
【００７４】
Ｔｖ値の変化に伴うＡｖ，Ｓｖ補正については、コード線図よりも、図８に示すような３次元グラフのほうが分かりやすい。図６、図７Ｃ及び図７Ｄに示したプログラム線図を図８に示す。図８には、測光値が低輝度を示す場合においては、まずゲイン（Ｓｖ）を制御し、次に絞り値（Ａｖ）を制御し、最後にシャッタ速度（Ｔｖ）を制御するという制御方針を示している。
【００７５】
図９には、最低シャッタ速度Ｔｖｍｉｎの変動によるＡｖ値及びＳｖ値の再計算方法を示している。
【００７６】
図中の（０）は、Ｔｖｍｉｎがより低い、初期状態のパラメータセットが設定されている状態を示す。また、（１）はＳ３０１での最低シャッタ速度の計算により、Ｔｖｍｉｎ＝８となり、Ｓ３０４にてシャッタ速度が最低シャッタ速度を下回ることが確認され、Ｓ３０５にてＴｖ＝Ｔｖｍｉｎとして設定された状態である。このままでは露出の式を満たさないため、Ｓ３０６でＡｖ，Ｓｖの補正を行う。
【００７７】
Ａｖ，Ｓｖ補正においては、（２）に示すように絞り値（Ａｖ）を補正する方法と、（３）に示すようにゲイン（Ｓｖ）を補正する方法と、（４）に示すように絞り（Ａｖ）とゲイン（Ｓｖ）の両方を補正する場合との３つの選択肢がある。基本的には、上記３つの選択肢のうち露出モードに応じた制御方針に従った補正方法を選択する。
【００７８】
図３に戻って、Ｓ３０７では、ＡＥ算出部１１３は、以上の処理により設定されたＴｖ，Ａｖ，Ｓｖの値を確定する。
【００７９】
図２に戻って、Ｓ２０６では、システム制御部１１４は、Ｓ２０５にて算出（設定）されたＴｖ，Ａｖ，Ｓｖの値が調整範囲（制御可能範囲）内であるか否かを確認する。
【００８０】
また、Ｓ２０６１では、動き量及び測光値に対して、露出制御要素が調整範囲を超えること（制御可能範囲外となること）を通知する情報を表示部１１６に表示したり、外部Ｉ／Ｆ１１９を通して外部に出力したりする。
【００８１】
例えば、本実施例のビデオカメラが車載されている場合に、外部に上記通知情報を出力することで、車の走行速度の低下を促したり、照明の発光を促したりすることが可能となる。これにより、動き量及び測光値の条件が緩和され、露光制御における制御パラメータが調整範囲内となり、良好な露出制御を行えるようになる場合がある。
【００８２】
Ｓ２０６２では、Ｔｖ，Ａｖ，Ｓｖの再設定を行う。すなわち、上記調整範囲を超えた設定値を調整範囲内の値に設定し直し、露出制御可能な状態にする。
【００８３】
Ｓ２０７では、シャッタ速度、絞り値及びゲインを制御する。すなわち、設定されたＴｖ，Ａｖ，Ｓｖに応じて、システム制御部１１４からシャッタ速度制御信号、絞り制御信号及びゲイン制御信号を出力し、露出制御を行う。
【００８４】
Ｓ２０８では、処理の継続を確認する。継続する際には、Ｓ２０１に戻る。
【００８５】
以上のように、本実施例では、動き量と測光値とに基づいて露出制御要素であるシャッタ速度、絞り値及びゲインを逐次制御することにより、振れや明るさの変動が少ない高品質な映像を取得することができる。
【実施例２】
【００８６】
以下、本発明の実施例２であるビデオカメラについて、図４を用いて説明する。
【００８７】
本実施例では、実施例１における画像動き検出部による画像からの動き量算出の代わりに、動きセンサ（振れセンサ）６０１及び動きセンサ制御部６０２を用いて動き量を求める。すなわち、実施例１（図１）では、画像動き検出部１０７により任意のフレーム間の動きベクトルが抽出され、動き量算出部１０８にて映像信号の１フレームの露出時間（１／シャッタ速度）内の動きの指標として動き量を算出した。これに対し、本実施例では、該動き量を、動きセンサ６０１及び動きセンサ制御部６０２により求める。
【００８８】
なお、図４において、実施例１と共通する構成要素には、実施例１と同符号を付して説明に代える。また、本実施例での処理の手順は、実施例１で図２及び図３を用いて説明した処理と同じである。
【００８９】
動きセンサ６０１は、加速度センサや角加速度センサにより構成される。動きセンサ６０１は、図５Ａ及び図５Ｂに示すように、ビデオカメラの位置及び姿勢の変化を出力する。動きセンサ６０１から出力される加速度信号又は角速度信号を動きセンサ制御部６０２にて積分することにより、単位時間当たりの移動量又は角度変化量が算出される。
【００９０】
例えば、図５Ａに示すように、ビデオカメラのＸ，Ｙ，Ｚ軸方向の移動量を、
【００９１】
【数３】
【００９２】
（ｍｍ／ｆｒａｍｅ）
で表し、図５Ｂに示すようにＸ，Ｙ，Ｚ軸回りでの角度変化量をα，β，γ（ｒａｄ／ｆｒａｍｅ）とする。この場合、撮像素子１０３上での動き量ｘ”，ｙ”（ｍｍ）は、フォーカスレンズ位置等から得られる被写体までの距離ｄ［ｍｍ］を用いて、
【００９３】
【数４】
【００９４】
で表される。ただし、ｎは被写体を面近似した際の外向き法線であり、本実施例では、
【００９５】
【数５】
【００９６】
とする。
【００９７】
回転行列Ｒは、
【００９８】
【数６】
【００９９】
である。べき乗のＴは転置を表す。動き量ｘ”，ｙ”を、画素サイズ（ｍｍ）で割ることによりピクセル座標単位での動き量が算出できる。
【０１００】
実施例１にて説明した単位画像（フレーム）からの動き量算出を行う場合は、被写体とビデオカメラ間の相対的な動きが動き量として検出されるため、手振れ等のカメラの動きによる画像の振れに加えて、被写体の動きによる画像の振れも抑制することができる。
【０１０１】
一方、本実施例のように、動きセンサ６０１を用いる場合には、ビデオカメラの動きのみが検出される。したがって、カメラの動きに起因する画像の振れは抑制することが可能であるが、被写体の動きに起因する画像の振れは抑制することができない。
【０１０２】
しかし、動きセンサ６０１を用いると、映像のサンプリングレートに比べてはるかに高い周波数で動きを検出することができるため、より正確なカメラの位置及び姿勢の変動を逐次モニタリングできるという利点がある。
【０１０３】
また、低輝度被写体の画像から動きベクトルを抽出することが困難な場合でも、本実施例では動き量を求めることができる。
【実施例３】
【０１０４】
次に、本発明の実施例３であるビデオカメラについて、図１２を用いて説明する。
【０１０５】
本実施例では、実施例２のように動きセンサ６０１及び動きセンサ制御部１３０２により大まかな動き量を求め、さらに実施例１のように画像からも動き量を算出する。これにより、より高精度でロバストな動き量を求めることができる。
【０１０６】
なお、図１２において、実施例１と共通する構成要素には、実施例１と同符号を付して説明に代える。本実施例での処理の内容は、実施例１で図２及び図３を用いて説明した処理と同じである。
【０１０７】
本実施例では、動きセンサ６０１及び動きセンサ制御部１３０２に加えて、ワークメモリ１０６と画像動き検出部１３０１が動きベクトル算出のために搭載されている。動きセンサ６０１および動きセンサ制御部１３０２により出力される動き量を、探索画像における注目点の初期位置として探索領域を設定することで、動きベクトルさらには動き量の算出を、高速かつ高い信頼性で行うことができる。
【０１０８】
また、動きセンサ６０１による動き検出と画像動き検出部１３０１による動き検出とを組み合わせることにより、カメラの動きに起因した画像の振れだけでなく、被写体の動きに起因した画像の振れも抑制することができる。
【０１０９】
また、被写体が低輝度の場合には、画像動き検出部１３０１による検出結果を用いずに、動きセンサ６０１による検出結果を用いて動き量を求めることもできる。これにより、被写体が低輝度の場合でも、良好な映像を得ることができる。
【実施例４】
【０１１０】
次に、本発明の実施例４であるビデオカメラについて、図１３Ａ及び図１３Ｂを用いて説明する。図１３Ａは、時間の経過とともに図２のＳ２０５で設定されるＴｖ，Ａｖ，Ｓｖの値の例を示す。左からフレーム番号、Ｔｖ値、Ａｖ値、Ｓｖ値、Ｅｖ値を示す。フレーム番号１１２〜１１３の遷移（すなわち、時間経過）に伴って、シャッタ速度（Ｔｖ）が急激に変化しており、これに対応するために、絞り値（Ａｖ）が急激に変化している。
【０１１１】
このような制御を実際に行うと、アイリス１０２は機械的に駆動されるものであるために追従性が低い。このため、一瞬、画像が暗くなったり明るくなったりするというように短時間で明るさが変動するという現象が起きる。一方、もう１つの露出制御要素であるゲインは、電気的に制御されるため、追従性は高い。
【０１１２】
そこで、本実施例では、シャッタ速度の急激な変化に伴って絞り値を急激に変化させる必要がある場合には、ゲインも一時的に変動させる。言い換えれば、連続する特定数のフレーム間（単位画像間）、例えば、隣接２フレーム間や連続３フレーム間でシャッタ速度を特定値以上変化させる（例えば、Ｔｖ値で２段以上変化させる）場合は、絞り値とともにゲインも変化させる。
【０１１３】
図１３Ｂには、ゲイン（Ｓｖ）の調整による明るさ変動を平滑化したときのＡｖ値の変化を示す。図１３Ｂの全体としては、左からフレーム番号、Ｔｖ値、Ａｖ値、Ｓｖ値、Ｅｖ値を示す。この図から、ゲイン（Ｓｖ）を変化させることによって絞り値（Ａｖ）の変化が緩やかになっていることが分かる。
【０１１４】
このように、Ａｖの急激な変化の一部をＳｖの変化に置き換えることにより、アイリス１０２の追従性の低さに起因する画像の明るさ変動を抑えることができる。しかも、アイリス１０２の機械的駆動によるＡｖの変化をＳｖの電気的変化に置き換えることにより、ビデオカメラでの音の発生やバッテリの消耗を抑えることができる。
【実施例５】
【０１１５】
次に、本発明の実施例５について説明する。本実施例でも、図２のＳ２０３で求められた動き情報とＳ２０４で求められた明るさ情報（測光値）とに基づいて、Ｓ２０５でシャッタ速度、絞り値及びゲインを調節する。
【０１１６】
ただし、絞り値は、光量だけでなく、被写界深度にも関係する。絞り値を小さくする（絞りを開く）と被写界深度が浅くなり、絞り値を大きくする（絞りを閉じる）と被写界深度が深くなる。つまり、絞り値を変化させると、ピントが合う深さ方向の範囲までも変化し、撮像視野の奥行き方向の特定の範囲にピントを合わせたいというユーザーの意図とは異なった映像が得られてしまう場合がある。
【０１１７】
従来の露出制御においても、絞り優先モードやシャッタ優先モードと呼ばれる、絞り値及びシャッタ速度のうち一方の指定しかできなかった。つまり、被写界深度の指定又は動きを抑制するための一定のシャッタ速度の指定しかできなかった。
【０１１８】
本実施例では、いわゆる絞り優先・振れ抑制モードと呼べる機能を実現する。実施例１，２，３では露出調整において絞り（アイリス１０２）を用いたのに対して、本実施例では絞りを固定して露出調整を行う。
【０１１９】
具体的には、操作信号入力部１１５を通じて、制御方針テーブルとして絞り値を固定したテーブルを指示できるようにする。そして、固定絞り値が入力されると、Ｓ２０５のＴｖ，Ａｖ，Ｓｖの設定における絞り値が固定される。絞り値を固定した以外は、実施例１〜３における露出制御を行う。
【０１２０】
さらに、図３を用いて説明すると、まずＳ３０３（露出モード確認）においてパラメータテーブルとして絞り値固定のテーブルを読み込む。そして、Ｓ３０６（Ａｖ，Ｓｖ補正）では、Ａｖ（絞り値）を固定してＴｖ（シャッタ速度）のＴｖｍｉｎ（振れを生じさせない最低シャッタ速度）への補正分を、Ｓｖ（ゲイン）の制御により補償する。言い換えれば、図９に示した最低シャッタ速度の変動に伴うＡｖ，Ｓｖの再計算の選択を、（３）で示すゲイン（Ｓｖ）の補正に限定する。
【０１２１】
このように、絞り値を固定することにより、撮像者の意図した被写界深度の設定を維持したまま、振れ及び急激な明るさ変動を抑制した映像を得ることできる。
【０１２２】
図１４Ａ及び図１４Ｂには、絞り優先・振れ抑制モードにおける露出制御要素の変化を示す。
【０１２３】
図１４Ａには、図２のＳ２０４で算出されたＥｖ値と、それに合わせてプログラム線図より算出されたＴｖ，Ａｖ，Ｓｖの値をフレームごとに示している。ここでは、Ｓ３０３で算出されるＡｖが３で、絞り優先であるためにそのＡｖ＝３が固定されている場合を示す。
【０１２４】
一方、図１４Ｂには、シャッタ速度をＴｖｍｉｎに変更し、その補正を行った結果を示す。シャッタ速度がＴｖｍｉｎ以上であり、絞り優先であるため、ゲイン（Ｓｖ）のみを用いて補正を行っている。
【０１２５】
以上説明したように、上記各実施例によれば、映像信号における複数のフレーム及びビデオカメラの動きを検出する動きセンサのうち少なくとも一方を用いて動き量を表す動き情報を生成する。そして、被写体の明るさ情報と上記動き情報とに基づいて、絞り値、シャッタ速度及びゲインを制御する。このため、急激な明るさ情報の変化に加えて、急峻な動き量の変化にも対応した、振れ及び急激な明るさ変動が少ない高品質な映像を取得可能な撮像装置を実現することができる。
【０１２６】
なお、上記各実施例は例にすぎず、本発明の実施例はこれらに限定されない。各実施例の様々な変更や変形も可能である。
【図面の簡単な説明】
【０１２７】
【図１】本発明の実施例１である撮像装置（ビデオカメラ）の構成を示すブロック図。
【図２】実施例１における露出制御の処理手順を示すフローチャート。
【図３】実施例１におけるＴｖ，Ａｖ，Ｓｖの算出手順を示すフローチャート。
【図４】実施例２の撮像装置の構成を示すブロック図。
【図５Ａ】本発明の実施例２である撮像装置の動きセンサによる動き検出を示す図。
【図５Ｂ】上記動きセンサによる角変位検出を示す図。
【図６】実施例１におけるプログラム線図の例を示す図。
【図７Ａ】実施例１におけるパラメータ制御の例を示す図。
【図７Ｂ】実施例１におけるパラメータ制御の例を示す図。
【図７Ｃ】実施例１におけるパラメータ制御の例を示す図。
【図７Ｄ】実施例１におけるパラメータ制御の例を示す図。
【図８】実施例１における露出制御要素のパラメータ空間を示す図。
【図９】実施例１における動き量に基づく露出制御要素の決定方法を示す図。
【図１０】実施例１におけるブロックマッチング処理を説明する図。
【図１１】実施例１における動き量算出エリアを示す図。
【図１２】本発明の実施例３である撮像装置の構成を示すブロック図。
【図１３Ａ】露出制御要素の変化を示す図。
【図１３Ｂ】本発明の実施例４である撮像装置における露出制御要素の変化を示す図。
【図１４Ａ】本発明の実施例５である撮像装置における絞り優先・振れ抑制モードでの露出制御要素の変化を示す図。
【図１４Ｂ】本発明の実施例５である撮像装置における絞り優先・振れ抑制モードでの露出制御要素の変化を示す図。
【符号の説明】
【０１２８】
１０１ レンズ光学系
１０２ アイリス
１０３ 撮像素子
１０４ ＡＧＣ部
１０５ カメラ信号処理部
１０６ ワークメモリ
１０７ 画像動き検出部
１０８ 動き量算出部
１０９ズーム・フォーカス調整部
１１０ アイリス調整部
１１１ 撮像素子制御部
１１２ 測光部
１１３ ＡＥ算出部
１１４ システム制御部
１１５ 操作信号入力部
１１６ 表示部
１１８ 不揮発メモリ
１１９ 外部Ｉ／Ｆ
【技術分野】
【０００１】
本発明は、撮像装置又は被写体の動きによる撮像映像の振れを抑制する防振機能を有する撮像装置に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置には、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｕｓｕｒｅ：自動露出）機能が搭載されているものが多い。ＡＥ機能は、測光センサや映像信号を用いて被写体の明るさ（輝度）情報を測定し、該明るさ情報に基づいて露出値を自動的に決定する機能である。
【０００３】
そして、ＡＥ機能を搭載した撮像装置では、決定された露出値に応じてアイリス（絞り）機構やゲイン回路を制御する。これにより、被写体の輝度に時間変動が生じても素早く反応し、取得される映像の明るさ変動を小さくすることができる。
【０００４】
ただし、著しく低輝度の被写体を撮像する場合には、アイリスが開放状態となり、シャッタ速度が大きく低下する。このように通常のＡＥ範囲を超えるような場合には、上記要素の調節だけでなく、撮像素子又はその後段の信号処理部においてゲインの増幅が行われる。逆に、被写体輝度が高すぎる場合には、ＮＤ（Ｎｅｕｔｒａｌ Ｄｅｎｓｉｔｙ）フィルタが挿入される（特許文献１参照）。
【０００５】
また、完全に自動化されたＡＥ機能に加えて、絞り優先動作やシャッタ優先動作を含むプログラムＡＥもある。さらに、利用シーンを選択することで露出モードを切り替え、好ましい露出プリセット値が設定される、いわゆるモードセレクト機能（シーンセレクト又はイメージセレクト機能とも称される）もある（特許文献２参照）。
【０００６】
撮像装置に対して速い速度で移動する被写体を捉える機能としては、シャッタ優先ＡＥモードや、モードセレクト機能により選択可能なスポーツモードがある。
【０００７】
シャッタ優先ＡＥモードでは、ユーザーが、被写体の動きから、映像の振れを起こさないシャッタ速度を推定する必要がある。シャッタ速度を入力すると、該入力シャッタ速度と測光値とに応じて絞り量が調節され、被写体の輝度変動があっても映像の明るさ変動が抑えられる。
【０００８】
また、スポーツモードでは、被写体の速い動きを想定した映像の振れを起こさないシャッタ速度が自動設定される。そして、測光値に応じて、設定されたシャッタ速度を維持しつつ、明るさ変動が少ない映像が得られるように定義されたプログラム線図に従って絞り量が調節される。プログラム線図は、測光値に対して選択されるべき絞り量とシャッタ速度の組み合わせを示したパラメータテーブルである。
【特許文献１】特開２００１−１４５０１７号公報
【特許文献２】特許第３６５８３６１号公報
【特許文献３】特開２００１−３３０８８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一方、被写体だけでなく、撮像装置が移動する場合には、急激な明るさ情報の変化に加え、急峻な動き量の変化が発生する。従来の測光値のみを基準とした露出制御機能では、明るさ情報の変化には対応するが、急峻な動き量の変化には十分対応しきれず、映像に振れを生じやすくなる。
【００１０】
シャッタ優先モードやスポーツモードといった一定のシャッタ速度を設定する露光モードでは、急峻な動き量の変化に対応するためには、シャッタ速度を非常に高速に設定しなければならない。この場合、実際には撮像装置と被写体の相対移動が緩やかで通常のスポーツモード等でのシャッタ速度に設定すれば十分な明るさの映像が得られる状況であっても、光量不足に陥ることがある。または、ゲイン増幅のためにノイズの多い映像が得られてしまうおそれもある。
【００１１】
振れやノイズが多い映像や光量不足の映像といった低品質映像は、特に高精細で大型の表示デバイスに表示されて鑑賞される場合にその品質の低さが目立つ。また、取得映像に基づいて防振処理、ダイナミックレンジ処理、超解像処理、フレームレートアップコンバージョン処理、顔認識処理（特開２００１−３３０８８２号公報参照）等の高度な画像処理を行う場合に、映像品質が低いと該処理を良好に行うことが難しい。
【００１２】
本発明は、被写体の急激な明るさ変化に加えて、被写体及び撮像装置の相対的な動き量の急峻な変化にも対応でき、振れや明るさ変動の少ない映像を取得するための露出制御を行う撮像装置を提供する。
【課題を解決するための手段】
【００１３】
本発明の一側面としての撮像装置は、被写体像を光電変換する撮像素子と、該撮像素子から出力される撮像信号に基づいて映像を生成する映像生成手段と、撮像信号に対するゲイン調整を行うゲイン調整手段と、映像における複数の単位画像及び該撮像装置の動きを検出するセンサのうち少なくとも一方を用いて動き情報を生成する動き情報生成手段と、明るさ情報及び動き情報に基づいて、撮像素子が受ける光量を調節する絞りの絞り値、撮像素子のシャッタ速度及びゲイン調整手段におけるゲインを制御する露出制御手段とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、被写体の明るさや被写体及び撮像装置の相対的な動き量が急激に変化するような場合でも、振れや明るさ変動が少ない高品質な映像を取得することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例１】
【００１６】
図１には、本発明の実施例１である撮像装置としてのビデオカメラの構成を示す。
【００１７】
１０１はレンズ光学系である。レンズ光学系１０１は、複数のレンズにより構成され、被写体の光学像を形成する。１０２はアイリス（絞り）である。アイリス１０２は、撮像素子１０３がその受光面にて受ける光量を機械的に調節する光量調節ユニットである。レンズ光学系１０１及びアイリス１０２は、撮像光学系を構成する。
【００１８】
１０３は撮像素子である。撮像素子１０３は、ＣＣＤセンサやＣＭＯＳセンサにより構成され、レンズ光学系１０１により形成され、アイリス１０２によって光量が調節された被写体像を光電変換して撮像信号を生成する。
【００１９】
１１４は露出制御手段の一部を構成するシステム制御部である。システム制御部１１４は、マイクロコンピュータにより構成され、撮像装置全体を総合的に制御する。
【００２０】
１０４はゲイン調整手段としてのＡＧＣ（オートゲインコントロール）部である。ＡＧＣ部１０４は、システム制御部１１４からのゲイン制御信号に応じて、撮像素子１０３及び後述するカメラ信号処理部のうち少なくとも一方に含まれる増幅器のゲインを変化させることで、撮像素子１０３で生成される撮像信号に対するゲイン調整を行う。
【００２１】
１０５は映像生成手段としてのカメラ信号処理部である。カメラ信号処理部１０５は、ＡＧＣ部１０４からのゲイン調整された撮像信号に対して各種映像処理を行い、映像信号を生成する。映像処理には、例えば、色差／輝度分離、鮮鋭化、ホワイトバランス調整、黒レベル調整及び符号／複合化処理がある。また、上述したように、カメラ信号処理部１０５が増幅器を有する場合もあり、この場合、カメラ信号処理部１０５のうち増幅器よりも後段の部分が、映像生成手段に相当する。
【００２２】
１０６はワークメモリである。ワークメモリ１０６は、後述する動きベクトルを演算するために、カメラ信号処理部１０５により生成された映像のうち任意のフレーム画像を保存する。
【００２３】
なお、本実施例では、映像を構成する単位画像をフレーム画像として説明するが、単位画像はフレーム画像を構成するフィールド画像であってもよい。フィールド画像を単位画像とする場合は、基本的には以下の説明中のフレームをフィールド画像と読み替えればよい。
【００２４】
１０７は画像動き検出部である。画像動き検出部１０７は、ワークメモリ１０６に保存されたフレーム画像（以下、単にフレームという）と他のフレーム、例えば最新フレーム（カレントフレーム）との間で動きベクトルを算出する。
【００２５】
１０８は画像動き検出部１０７とともに動き情報生成手段を構成する動き量算出部である。動き量算出部１０８は、画像動き検出部１０７で算出された動きベクトルに基づいて、動き量（動き情報）を算出する。
【００２６】
１０９はズーム・フォーカス調整部である。ズーム・フォーカス調整部１０９は、システム制御部１１４から供給されるズーム制御信号及びフォーカス制御信号に応じて、それぞれレンズ光学系１０１に含まれるズームレンズ及びフォーカスレンズを移動させる。また、ズーム・フォーカス調整部１０９は、レンズ光学系１０１に内蔵されたズーム及びフォーカスエンコーダ（図示せず）の出力値からズーム量（ズームレンズ位置）やフォーカスレンズ位置を求めてシステム制御部１１４に送る。
【００２７】
１１０はアイリス調整部である。アイリス調整部１１０は、システム制御部１１４から供給されるアイリス制御信号に応じてアイリス１０２を駆動し、絞り開口を通過する光量を調節する。
【００２８】
１１１は撮像素子制御部である。撮像素子制御部１１１は、撮像素子１０３に対して電荷の蓄積、読み出し及びリセットのタイミングパルスを出力し、撮像素子１０３の基本的な動作を制御する。また、システム制御部１１４からのシャッタ速度制御信号に従い、タイミングパルスの出力間隔を制御し、撮像素子１０３の電荷蓄積時間、すなわち電子シャッタ速度の制御を行う。
【００２９】
１１２は測光手段としての測光部である。測光部１１２は、ＡＧＣ部１０４から出力された信号を積分してその平均光量を求めることにより、露出演算のための明るさ情報としての測光値を出力する。すなわち、明るさ情報を生成する。測光部１１２は、積分時に画像領域に対してマスク処理や重み付け処理を行って、画像全体のうち記録領域を指定したり、画像全体を複数領域に分割して各領域に重み付け積分を行ったりする。
【００３０】
本実施例では、撮像光学系を通った光を用いて測光を行うＴＴＬ（Through The Lens）方式での測光を行うが、撮像光学系を通らない光を用いて測光を行う外部測光方式を採用してもよい。
【００３１】
１１３はシステム制御部１１４とともに露出制御手段を構成するＡＥ算出部である。ＡＥ算出部１１３には、動き量算出部１０８で算出された動き量と測光部１１２から出力された測光値が入力される。ＡＥ算出部１１３は、該動き量及び測光値に基づいて、アイリス１０２の絞り値、撮像素子１０３の電子シャッタ速度（以下、単にシャッタ速度という）及びＡＧＣ部１０４（又はカメラ信号処理部１０５）でのゲインを制御する。そして、これらの露出制御値をシステム制御部１１４に出力する。
【００３２】
１１５は操作信号入力部である。操作信号入力部１１５は、ユーザーが撮像装置の機能選択や各種設定を行うために操作されるボタン類を含む。また、撮像開始／終了ボタンも含む。なお、操作信号入力部１１５として、タッチパネル式表示素子を用いて、後述する表示部１１６と統合してもよい。
【００３３】
システム制御部１１４は、操作信号入力部１１５において選択された露出モードに応じて、後述する不揮発メモリ１１８から読み込まれたパラメータテーブルに従い、各処理部及び各制御部に対し、それぞれに関連する制御信号や情報を送信する。具体的には、カメラ信号処理部１０５に対するその特性を制御する制御信号や、画像動き検出部１０７に対する動き量検出エリアの情報や、ＡＥ算出部１１３に対する測光エリアの情報を送信する。また、システム制御部１１４は、ズーム・フォーカス調整部１０９、アイリス調整部１１０及び撮像素子制御部１１１に制御信号を出力する。
【００３４】
１１６は表示部である。表示部１１６は、ＬＣＤ，ＬＥＤ，ＥＬ等により構成され、各種動作モードの設定表示や、各種警告表示や、撮像により取得された映像データや、伸長処理された記録済み映像データ等を表示する。
【００３５】
１１７は記録部である。記録部１１７は、半導体メモリ、磁気テープ、光ディスク等の記録媒体に対して映像データ（圧縮データ）を記録したり、該記録媒体から映像データを読み出したりする。
【００３６】
１１８は不揮発メモリである。不揮発メモリ１１８は、撮像モード項目、及びそれに対応する露出制御用の測光エリア情報等の各種データを記憶する。また、コード線図からなる露出制御要素の基本的な制御指針を表したデータテーブルも記憶する。
【００３７】
操作信号入力部１１５においてある撮像モードが選択された場合には、対応する各種データ及び制御指針テーブルが不揮発メモリ１１８からシステム制御部１１４により読み込まれる。一般的には、シャッタ優先モード、絞り優先モード、スポーツモードや、風景モードと呼ばれるプログラム露出モードに対応するパラメータテーブルが読み込まれる。
【００３８】
１１９は外部Ｉ／Ｆである。システム制御部１１４は、測光値に基づく露出制御において絞り値、シャッタ速度及びゲインのうち少なくとも１つのパラメータが調整範囲外（制御可能範囲外）である場合に、外部Ｉ／Ｆ１１９を介してその旨を通知する情報を外部に出力する。
【００３９】
なお、図１には、レンズ一体型のビデオカメラの構成を示したが、レンズ交換型のビデオカメラも本発明の実施例に含まれる。レンズ交換型ビデオカメラの場合には、図１中のレンズ光学系１０１、アイリス１０２、ズーム・フォーカス調整部１０９及びアイリス調整部１１０が交換レンズに搭載される。
【００４０】
図２には、本実施例における露出制御の処理手順を示す。この処理は、不図示のメモリに格納されたコンピュータプログラム（撮像処理プログラム）に従って実行される。以下の説明において、「Ｓ」はステップを示す。
【００４１】
Ｓ２０１では、システム制御部１１４は、処理の開始指示（ＯＮ）の確認を行う。処理の開始指示が出されていない（ＯＦＦ）場合には、本処理を終了する。
【００４２】
Ｓ２０２では、システム制御部１１４は、露出モードを確認する。そして、不揮発メモリ１１８から露出モードに対応した測光値又は動き情報の算出に関連する各種データ、例えば測光エリア情報や動き量算出エリア情報を読み込む。また、上述した制御指針テーブル情報を読み込む。
【００４３】
図１１には、撮像領域（全画面）内での動き量算出エリアの設定例を示す。この図では、撮像領域ＩＡの中央部分に動き量算出エリアＭＡを設定し、このエリアＭＡ内の動きベクトルを重点的に検出して動き量算出に用いる。このような設定を、「中央部分重点エリア設定」という。なお、この動き量算出エリアＭＡと測光エリアとを同じに設定してもよい。
【００４４】
Ｓ２０３では、システム制御部１１４は、画像動き検出部１０７及び動き量算出部１０８に動きベクトル及び動き量の算出を行わせる。具体的には、ワークメモリ１０６に保存されたフレーム（保存のフレーム）とカメラ信号処理部１０５から最も新しく出力されたカレントフレーム（保存フレームの直後の隣接フレーム）との間で動きベクトルの算出を行わせる。動きベクトルの算出には、ブロックマッチング、相互相関演算、勾配法等に基づくマッチング処理が用いられる。なお、動きベクトルを算出するために用いられる複数のフレームは、上記のような隣接する２つのフレームではなくてもよい。
【００４５】
図１０には、ブロックマッチングの例を示す。ここでは、左側の画像１００１を基準画像とし、右側の画像１００２を探索画像とする。まず、基準画像１００１内でグリッド状に配置された注目点１００４のうちいずれかを中心として、所定サイズの部分領域としてのテンプレート１００３を設定する。
【００４６】
次に、探索画像１００２中で任意の探索領域１００７を設定し、探索領域１００７を順次移動させながらテンプレート１００３と最も合致する位置を探索する。具体的には、探索画像１００２中の注目画素１００５を基準とした領域１００６におけるテンプレート１００３との類似度を計算する。類似度の指標としては、ＳＳＤ（Sum of Square Difference）、ＳＡＤ（Sum of Absolute Difference）、正規相互相関等が用いられる。探索領域１００７での各領域１００６の類似度を計算した結果、最も類似度の高い領域１００６を対応領域とみなす。そして、テンプレート１００３と対応領域間で動きベクトルを算出する。オクルージョンがなければ、基準画像１００１上で設定した注目点１００４の数だけ動きベクトルが算出される。
【００４７】
上記マッチング処理によって動き量算出エリアＭＡ内の複数の領域における動きベクトルが算出され、該動きベクトルから動き量が算出される。
【００４８】
動き量は、ビデオカメラと被写体との間の相対的な動きによって生じる振れとシャッタ速度との関係を表す指標となる。したがって、動き量としては、該関係に対応する値ならばどのような値を用いてもよいが、本実施例では、例として、露出モードによって設定された動き量算出エリアにおけるフレーム間での最大移動量［ｐｉｘｅｌ／ｆｒａｍｅ］とする。フレーム間での像の移動が大きければ大きなほど、動き量の値が増加する。
【００４９】
Ｓ２０４では、システム制御部１１４は、測光部１１２に明るさ情報としての測光値を算出させる。測光部１１２は、ＡＧＣ部１０４からの出力信号を取り込み、該出力信号（輝度レベル）を積分する。そして、その積分結果に対応した露出値（測光値）Ｅｖを出力する。
【００５０】
測光値に基づく絞り値、シャッタ速度及びゲインの関係の決定には、露出値Ｅｖが用いられる。露出値Ｅｖは、アペックスシステムとも呼ばれる。Ｅｖ＝０は、絞り値がＦ１で、シャッタ速度が１秒で、ゲインが標準（例えば、０ｄＢ）のときの適正露出値として定義される。
【００５１】
計算を簡単にするために、絞り値及びシャッタ速度に対してＡｖ及びＴｖを、ゲインに対してＳｖを対応させる。Ｆを絞り値（Ｆ値）、Ｔをシャッタ速度（秒）とすると、以下の関係が成り立つ。
【００５２】
【数１】
【００５３】
ＩＳＯはＩＳＯ感度を表し、ＳｖはＩＳＯ感度１００を基準とした感度の指標を示す。Ｓｖには、Ｅｖ＝０を定義したときの感度を基準とする増幅率の２を底とするｌｏｇを対応させる。この結果、Ａｖ値とＴｖ値の和がＥｖ値となる。
【００５４】
【数２】
【００５５】
また、Ａｖ値とＦとの関係及びＴｖ値とシャッタ速度Ｔとの関係をそれぞれ、表１及び表２に示す。
【００５６】
【表１】
【００５７】
【表２】
【００５８】
露出値と、絞り及びシャッタ速度の関係を示す方法として、図６に示すようなコード線図が用いられる。
【００５９】
図の左側の縦軸が絞り値Ｆ、下側の横軸がシャッタ速度Ｔを表す。各軸上のパラメータ「−」は設定不可能な値である。上側から右側にかけての軸がＥｖ値を表す。
【００６０】
コード線図中の太線グラフは、パラメータテーブルによって設定された露出モードに基づく制御方針に対応し、前述したように露出モードの確認時（Ｓ２０２）に読み込まれる。絞り値及びシャッタ速度は、なるべくグラフ上の値になるように設定される。
【００６１】
図６には、動画撮像における基本露出モードでのグラフを表している。丸囲みの１のポイントで示すように、絞り値が設定可能な最大値（Ｆ＝２２）となるまでは、シャッタ速度Ｔ＝１／６０を可能限り維持する。そして、絞り値が設定可能な最大値となった後はシャッタ速度を上げていく。ゲインについてはグラフ上には現れない。
【００６２】
Ｓｖを＋１することは、ＡｖとＴｖをそれぞれ＋１とすることと等価である。例えば、Ｓ２０４において算出された測光値がＥｖ＝１０であった場合、このコード線図に従うと、Ｆ＝４、Ｔ＝１／６０となる。ゲインは０ｄＢである。
【００６３】
図２に戻り、Ｓ２０５では、システム制御部１１４は、ＡＥ算出部１１３に、Ｔｖ，Ａｖ，Ｓｖを設定させる。ＡＥ算出部１１３は、動き量及び測光値に基づいて、絞り値、シャッタ速度及びゲインに対応するＴｖ，Ａｖ，Ｓｖの値を算出する。
【００６４】
図３には、露出モードに応じて、動き量及び測光値に基づいてＴｖ，Ａｖ，Ｓｖの値を算出する手順を示す。
【００６５】
Ｓ３０１では、ＡＥ算出部１１３は、動き量に基づいてＴｖｍｉｎを算出する。Ｔｖｍｉｎには、映像信号の１フレームの露出時間（１／シャッタ速度）内の動き量が最大動き量の閾値ＭＶｍａｘ超えない最大のシャッタ速度Ｔが割り当てられる。ＭＶｍａｘには、１／１０ピクセル等の値が設定される。ＭＶｍａｘは、操作信号入力部１１５における操作によって変更可能である。
【００６６】
これにより、例えば図７Ａに示すように、露出制御要素のパラメータ空間にシャッタ速度についての利用が不可なパラメータ領域が設定される。図７Ａにおいて、左側半分の矩形のハッチング領域が、利用不可なパラメータ領域である。
【００６７】
Ｓ３０２では、ＡＥ算出部１１３は、次のＳ３０３での露出制御パラメータの算出に対応する露出モードの確認を行う。そして、露出モードに対応したパラメータテーブルが読み込まれていることを確認する。露出モードに対応したパラメータテーブルではない場合は、不揮発メモリ１１８からパラメータテーブルが読み込まれる。
【００６８】
Ｓ３０３では、露出値ＥｖからＴｖ，Ａｖ，Ｓｖの値を算出する。制御パラメータの決定は、不揮発メモリ１１８より読み込まれた制御方針に従う。
【００６９】
Ｓ３０４では、ＡＥ算出部１１３は、シャッタ速度（Ｔｖ）が振れを発生させない最低シャッタ速度Ｔｖｍｉｎを下回らないことを確認する。
【００７０】
制御パラメータＴｖ，Ａｖ，Ｓｖは、最低シャッタ速度Ｔｖｍｉｎとは独立に設定される。このため、図７Ｂに示すように、ＴｖがＴｖｍｉｎを上回る場合もあるが、図７Ｃに示すように、ＴｖがＴｖｍｉｎを下回る場合もある。
【００７１】
ＴｖがＴｖｍｉｎを上回る場合には、算出された制御パラメータセットをそのまま利用し、下回る場合には、振れを生じさせない最低シャッタ速度Ｔｖｍｉｎを採用し、他の制御パラメータを調整する。
【００７２】
Ｓ３０５では、ＴｖがＴｖｍｉｎを下回る場合に、Ｔｖ＝Ｔｖｍｉｎとし、シャッタ速度を振れを生じさせないシャッタ速度に設定する。
【００７３】
Ｓ３０６では、Ｔｖの置き換えに伴い、ＡｖとＳｖの補正を行う。例えば、Ｔｖｍｉｎ＝９（１／５００秒）の場合には、図７Ｃに矢印で示すようにＡｖを調整する。また、絞り優先で絞り値を変更できない場合は、図７Ｄに矢印で示すようにＴｖを変化させる。いずれの場合も、ゲイン（Ｓｖ）の２段分の増加に相当する。
【００７４】
Ｔｖ値の変化に伴うＡｖ，Ｓｖ補正については、コード線図よりも、図８に示すような３次元グラフのほうが分かりやすい。図６、図７Ｃ及び図７Ｄに示したプログラム線図を図８に示す。図８には、測光値が低輝度を示す場合においては、まずゲイン（Ｓｖ）を制御し、次に絞り値（Ａｖ）を制御し、最後にシャッタ速度（Ｔｖ）を制御するという制御方針を示している。
【００７５】
図９には、最低シャッタ速度Ｔｖｍｉｎの変動によるＡｖ値及びＳｖ値の再計算方法を示している。
【００７６】
図中の（０）は、Ｔｖｍｉｎがより低い、初期状態のパラメータセットが設定されている状態を示す。また、（１）はＳ３０１での最低シャッタ速度の計算により、Ｔｖｍｉｎ＝８となり、Ｓ３０４にてシャッタ速度が最低シャッタ速度を下回ることが確認され、Ｓ３０５にてＴｖ＝Ｔｖｍｉｎとして設定された状態である。このままでは露出の式を満たさないため、Ｓ３０６でＡｖ，Ｓｖの補正を行う。
【００７７】
Ａｖ，Ｓｖ補正においては、（２）に示すように絞り値（Ａｖ）を補正する方法と、（３）に示すようにゲイン（Ｓｖ）を補正する方法と、（４）に示すように絞り（Ａｖ）とゲイン（Ｓｖ）の両方を補正する場合との３つの選択肢がある。基本的には、上記３つの選択肢のうち露出モードに応じた制御方針に従った補正方法を選択する。
【００７８】
図３に戻って、Ｓ３０７では、ＡＥ算出部１１３は、以上の処理により設定されたＴｖ，Ａｖ，Ｓｖの値を確定する。
【００７９】
図２に戻って、Ｓ２０６では、システム制御部１１４は、Ｓ２０５にて算出（設定）されたＴｖ，Ａｖ，Ｓｖの値が調整範囲（制御可能範囲）内であるか否かを確認する。
【００８０】
また、Ｓ２０６１では、動き量及び測光値に対して、露出制御要素が調整範囲を超えること（制御可能範囲外となること）を通知する情報を表示部１１６に表示したり、外部Ｉ／Ｆ１１９を通して外部に出力したりする。
【００８１】
例えば、本実施例のビデオカメラが車載されている場合に、外部に上記通知情報を出力することで、車の走行速度の低下を促したり、照明の発光を促したりすることが可能となる。これにより、動き量及び測光値の条件が緩和され、露光制御における制御パラメータが調整範囲内となり、良好な露出制御を行えるようになる場合がある。
【００８２】
Ｓ２０６２では、Ｔｖ，Ａｖ，Ｓｖの再設定を行う。すなわち、上記調整範囲を超えた設定値を調整範囲内の値に設定し直し、露出制御可能な状態にする。
【００８３】
Ｓ２０７では、シャッタ速度、絞り値及びゲインを制御する。すなわち、設定されたＴｖ，Ａｖ，Ｓｖに応じて、システム制御部１１４からシャッタ速度制御信号、絞り制御信号及びゲイン制御信号を出力し、露出制御を行う。
【００８４】
Ｓ２０８では、処理の継続を確認する。継続する際には、Ｓ２０１に戻る。
【００８５】
以上のように、本実施例では、動き量と測光値とに基づいて露出制御要素であるシャッタ速度、絞り値及びゲインを逐次制御することにより、振れや明るさの変動が少ない高品質な映像を取得することができる。
【実施例２】
【００８６】
以下、本発明の実施例２であるビデオカメラについて、図４を用いて説明する。
【００８７】
本実施例では、実施例１における画像動き検出部による画像からの動き量算出の代わりに、動きセンサ（振れセンサ）６０１及び動きセンサ制御部６０２を用いて動き量を求める。すなわち、実施例１（図１）では、画像動き検出部１０７により任意のフレーム間の動きベクトルが抽出され、動き量算出部１０８にて映像信号の１フレームの露出時間（１／シャッタ速度）内の動きの指標として動き量を算出した。これに対し、本実施例では、該動き量を、動きセンサ６０１及び動きセンサ制御部６０２により求める。
【００８８】
なお、図４において、実施例１と共通する構成要素には、実施例１と同符号を付して説明に代える。また、本実施例での処理の手順は、実施例１で図２及び図３を用いて説明した処理と同じである。
【００８９】
動きセンサ６０１は、加速度センサや角加速度センサにより構成される。動きセンサ６０１は、図５Ａ及び図５Ｂに示すように、ビデオカメラの位置及び姿勢の変化を出力する。動きセンサ６０１から出力される加速度信号又は角速度信号を動きセンサ制御部６０２にて積分することにより、単位時間当たりの移動量又は角度変化量が算出される。
【００９０】
例えば、図５Ａに示すように、ビデオカメラのＸ，Ｙ，Ｚ軸方向の移動量を、
【００９１】
【数３】
【００９２】
（ｍｍ／ｆｒａｍｅ）
で表し、図５Ｂに示すようにＸ，Ｙ，Ｚ軸回りでの角度変化量をα，β，γ（ｒａｄ／ｆｒａｍｅ）とする。この場合、撮像素子１０３上での動き量ｘ”，ｙ”（ｍｍ）は、フォーカスレンズ位置等から得られる被写体までの距離ｄ［ｍｍ］を用いて、
【００９３】
【数４】
【００９４】
で表される。ただし、ｎは被写体を面近似した際の外向き法線であり、本実施例では、
【００９５】
【数５】
【００９６】
とする。
【００９７】
回転行列Ｒは、
【００９８】
【数６】
【００９９】
である。べき乗のＴは転置を表す。動き量ｘ”，ｙ”を、画素サイズ（ｍｍ）で割ることによりピクセル座標単位での動き量が算出できる。
【０１００】
実施例１にて説明した単位画像（フレーム）からの動き量算出を行う場合は、被写体とビデオカメラ間の相対的な動きが動き量として検出されるため、手振れ等のカメラの動きによる画像の振れに加えて、被写体の動きによる画像の振れも抑制することができる。
【０１０１】
一方、本実施例のように、動きセンサ６０１を用いる場合には、ビデオカメラの動きのみが検出される。したがって、カメラの動きに起因する画像の振れは抑制することが可能であるが、被写体の動きに起因する画像の振れは抑制することができない。
【０１０２】
しかし、動きセンサ６０１を用いると、映像のサンプリングレートに比べてはるかに高い周波数で動きを検出することができるため、より正確なカメラの位置及び姿勢の変動を逐次モニタリングできるという利点がある。
【０１０３】
また、低輝度被写体の画像から動きベクトルを抽出することが困難な場合でも、本実施例では動き量を求めることができる。
【実施例３】
【０１０４】
次に、本発明の実施例３であるビデオカメラについて、図１２を用いて説明する。
【０１０５】
本実施例では、実施例２のように動きセンサ６０１及び動きセンサ制御部１３０２により大まかな動き量を求め、さらに実施例１のように画像からも動き量を算出する。これにより、より高精度でロバストな動き量を求めることができる。
【０１０６】
なお、図１２において、実施例１と共通する構成要素には、実施例１と同符号を付して説明に代える。本実施例での処理の内容は、実施例１で図２及び図３を用いて説明した処理と同じである。
【０１０７】
本実施例では、動きセンサ６０１及び動きセンサ制御部１３０２に加えて、ワークメモリ１０６と画像動き検出部１３０１が動きベクトル算出のために搭載されている。動きセンサ６０１および動きセンサ制御部１３０２により出力される動き量を、探索画像における注目点の初期位置として探索領域を設定することで、動きベクトルさらには動き量の算出を、高速かつ高い信頼性で行うことができる。
【０１０８】
また、動きセンサ６０１による動き検出と画像動き検出部１３０１による動き検出とを組み合わせることにより、カメラの動きに起因した画像の振れだけでなく、被写体の動きに起因した画像の振れも抑制することができる。
【０１０９】
また、被写体が低輝度の場合には、画像動き検出部１３０１による検出結果を用いずに、動きセンサ６０１による検出結果を用いて動き量を求めることもできる。これにより、被写体が低輝度の場合でも、良好な映像を得ることができる。
【実施例４】
【０１１０】
次に、本発明の実施例４であるビデオカメラについて、図１３Ａ及び図１３Ｂを用いて説明する。図１３Ａは、時間の経過とともに図２のＳ２０５で設定されるＴｖ，Ａｖ，Ｓｖの値の例を示す。左からフレーム番号、Ｔｖ値、Ａｖ値、Ｓｖ値、Ｅｖ値を示す。フレーム番号１１２〜１１３の遷移（すなわち、時間経過）に伴って、シャッタ速度（Ｔｖ）が急激に変化しており、これに対応するために、絞り値（Ａｖ）が急激に変化している。
【０１１１】
このような制御を実際に行うと、アイリス１０２は機械的に駆動されるものであるために追従性が低い。このため、一瞬、画像が暗くなったり明るくなったりするというように短時間で明るさが変動するという現象が起きる。一方、もう１つの露出制御要素であるゲインは、電気的に制御されるため、追従性は高い。
【０１１２】
そこで、本実施例では、シャッタ速度の急激な変化に伴って絞り値を急激に変化させる必要がある場合には、ゲインも一時的に変動させる。言い換えれば、連続する特定数のフレーム間（単位画像間）、例えば、隣接２フレーム間や連続３フレーム間でシャッタ速度を特定値以上変化させる（例えば、Ｔｖ値で２段以上変化させる）場合は、絞り値とともにゲインも変化させる。
【０１１３】
図１３Ｂには、ゲイン（Ｓｖ）の調整による明るさ変動を平滑化したときのＡｖ値の変化を示す。図１３Ｂの全体としては、左からフレーム番号、Ｔｖ値、Ａｖ値、Ｓｖ値、Ｅｖ値を示す。この図から、ゲイン（Ｓｖ）を変化させることによって絞り値（Ａｖ）の変化が緩やかになっていることが分かる。
【０１１４】
このように、Ａｖの急激な変化の一部をＳｖの変化に置き換えることにより、アイリス１０２の追従性の低さに起因する画像の明るさ変動を抑えることができる。しかも、アイリス１０２の機械的駆動によるＡｖの変化をＳｖの電気的変化に置き換えることにより、ビデオカメラでの音の発生やバッテリの消耗を抑えることができる。
【実施例５】
【０１１５】
次に、本発明の実施例５について説明する。本実施例でも、図２のＳ２０３で求められた動き情報とＳ２０４で求められた明るさ情報（測光値）とに基づいて、Ｓ２０５でシャッタ速度、絞り値及びゲインを調節する。
【０１１６】
ただし、絞り値は、光量だけでなく、被写界深度にも関係する。絞り値を小さくする（絞りを開く）と被写界深度が浅くなり、絞り値を大きくする（絞りを閉じる）と被写界深度が深くなる。つまり、絞り値を変化させると、ピントが合う深さ方向の範囲までも変化し、撮像視野の奥行き方向の特定の範囲にピントを合わせたいというユーザーの意図とは異なった映像が得られてしまう場合がある。
【０１１７】
従来の露出制御においても、絞り優先モードやシャッタ優先モードと呼ばれる、絞り値及びシャッタ速度のうち一方の指定しかできなかった。つまり、被写界深度の指定又は動きを抑制するための一定のシャッタ速度の指定しかできなかった。
【０１１８】
本実施例では、いわゆる絞り優先・振れ抑制モードと呼べる機能を実現する。実施例１，２，３では露出調整において絞り（アイリス１０２）を用いたのに対して、本実施例では絞りを固定して露出調整を行う。
【０１１９】
具体的には、操作信号入力部１１５を通じて、制御方針テーブルとして絞り値を固定したテーブルを指示できるようにする。そして、固定絞り値が入力されると、Ｓ２０５のＴｖ，Ａｖ，Ｓｖの設定における絞り値が固定される。絞り値を固定した以外は、実施例１〜３における露出制御を行う。
【０１２０】
さらに、図３を用いて説明すると、まずＳ３０３（露出モード確認）においてパラメータテーブルとして絞り値固定のテーブルを読み込む。そして、Ｓ３０６（Ａｖ，Ｓｖ補正）では、Ａｖ（絞り値）を固定してＴｖ（シャッタ速度）のＴｖｍｉｎ（振れを生じさせない最低シャッタ速度）への補正分を、Ｓｖ（ゲイン）の制御により補償する。言い換えれば、図９に示した最低シャッタ速度の変動に伴うＡｖ，Ｓｖの再計算の選択を、（３）で示すゲイン（Ｓｖ）の補正に限定する。
【０１２１】
このように、絞り値を固定することにより、撮像者の意図した被写界深度の設定を維持したまま、振れ及び急激な明るさ変動を抑制した映像を得ることできる。
【０１２２】
図１４Ａ及び図１４Ｂには、絞り優先・振れ抑制モードにおける露出制御要素の変化を示す。
【０１２３】
図１４Ａには、図２のＳ２０４で算出されたＥｖ値と、それに合わせてプログラム線図より算出されたＴｖ，Ａｖ，Ｓｖの値をフレームごとに示している。ここでは、Ｓ３０３で算出されるＡｖが３で、絞り優先であるためにそのＡｖ＝３が固定されている場合を示す。
【０１２４】
一方、図１４Ｂには、シャッタ速度をＴｖｍｉｎに変更し、その補正を行った結果を示す。シャッタ速度がＴｖｍｉｎ以上であり、絞り優先であるため、ゲイン（Ｓｖ）のみを用いて補正を行っている。
【０１２５】
以上説明したように、上記各実施例によれば、映像信号における複数のフレーム及びビデオカメラの動きを検出する動きセンサのうち少なくとも一方を用いて動き量を表す動き情報を生成する。そして、被写体の明るさ情報と上記動き情報とに基づいて、絞り値、シャッタ速度及びゲインを制御する。このため、急激な明るさ情報の変化に加えて、急峻な動き量の変化にも対応した、振れ及び急激な明るさ変動が少ない高品質な映像を取得可能な撮像装置を実現することができる。
【０１２６】
なお、上記各実施例は例にすぎず、本発明の実施例はこれらに限定されない。各実施例の様々な変更や変形も可能である。
【図面の簡単な説明】
【０１２７】
【図１】本発明の実施例１である撮像装置（ビデオカメラ）の構成を示すブロック図。
【図２】実施例１における露出制御の処理手順を示すフローチャート。
【図３】実施例１におけるＴｖ，Ａｖ，Ｓｖの算出手順を示すフローチャート。
【図４】実施例２の撮像装置の構成を示すブロック図。
【図５Ａ】本発明の実施例２である撮像装置の動きセンサによる動き検出を示す図。
【図５Ｂ】上記動きセンサによる角変位検出を示す図。
【図６】実施例１におけるプログラム線図の例を示す図。
【図７Ａ】実施例１におけるパラメータ制御の例を示す図。
【図７Ｂ】実施例１におけるパラメータ制御の例を示す図。
【図７Ｃ】実施例１におけるパラメータ制御の例を示す図。
【図７Ｄ】実施例１におけるパラメータ制御の例を示す図。
【図８】実施例１における露出制御要素のパラメータ空間を示す図。
【図９】実施例１における動き量に基づく露出制御要素の決定方法を示す図。
【図１０】実施例１におけるブロックマッチング処理を説明する図。
【図１１】実施例１における動き量算出エリアを示す図。
【図１２】本発明の実施例３である撮像装置の構成を示すブロック図。
【図１３Ａ】露出制御要素の変化を示す図。
【図１３Ｂ】本発明の実施例４である撮像装置における露出制御要素の変化を示す図。
【図１４Ａ】本発明の実施例５である撮像装置における絞り優先・振れ抑制モードでの露出制御要素の変化を示す図。
【図１４Ｂ】本発明の実施例５である撮像装置における絞り優先・振れ抑制モードでの露出制御要素の変化を示す図。
【符号の説明】
【０１２８】
１０１ レンズ光学系
１０２ アイリス
１０３ 撮像素子
１０４ ＡＧＣ部
１０５ カメラ信号処理部
１０６ ワークメモリ
１０７ 画像動き検出部
１０８ 動き量算出部
１０９ズーム・フォーカス調整部
１１０ アイリス調整部
１１１ 撮像素子制御部
１１２ 測光部
１１３ ＡＥ算出部
１１４ システム制御部
１１５ 操作信号入力部
１１６ 表示部
１１８ 不揮発メモリ
１１９ 外部Ｉ／Ｆ
【特許請求の範囲】
【請求項１】
被写体像を光電変換する撮像素子と、
該撮像素子から出力される撮像信号に基づいて映像を生成する映像生成手段と、
前記撮像信号に対するゲイン調整を行うゲイン調整手段と、
前記映像を構成する複数の単位画像及び該撮像装置の動きを検出するセンサのうち少なくとも一方を用いて動き情報を生成する動き情報生成手段と、
前記明るさ情報及び前記動き情報に基づいて、前記撮像素子が受ける光量を調節する絞りの絞り値、前記撮像素子のシャッタ速度及び前記ゲイン調整手段におけるゲインを制御する露出制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記露出制御手段は、連続する特定数の単位画像間で前記シャッタ速度を特定値以上変化させる場合は、前記絞り値とともに前記ゲインも変化させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記露出制御手段は、前記絞り値を固定して、前記シャッタ速度及び前記ゲインを変更するモードを有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記露出制御手段は、前記シャッタ速度、絞り、ゲインのうち少なくとも１つが制御可能範囲外となる場合に、これを通知する情報を出力することを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
【請求項１】
被写体像を光電変換する撮像素子と、
該撮像素子から出力される撮像信号に基づいて映像を生成する映像生成手段と、
前記撮像信号に対するゲイン調整を行うゲイン調整手段と、
前記映像を構成する複数の単位画像及び該撮像装置の動きを検出するセンサのうち少なくとも一方を用いて動き情報を生成する動き情報生成手段と、
前記明るさ情報及び前記動き情報に基づいて、前記撮像素子が受ける光量を調節する絞りの絞り値、前記撮像素子のシャッタ速度及び前記ゲイン調整手段におけるゲインを制御する露出制御手段とを有することを特徴とする撮像装置。
【請求項２】
前記露出制御手段は、連続する特定数の単位画像間で前記シャッタ速度を特定値以上変化させる場合は、前記絞り値とともに前記ゲインも変化させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記露出制御手段は、前記絞り値を固定して、前記シャッタ速度及び前記ゲインを変更するモードを有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記露出制御手段は、前記シャッタ速度、絞り、ゲインのうち少なくとも１つが制御可能範囲外となる場合に、これを通知する情報を出力することを特徴とする請求項１から３のいずれか１つに記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図７Ｄ】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【公開番号】特開２００８−２８９０３２（Ｐ２００８−２８９０３２Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３３７９６（Ｐ２００７−１３３７９６）
【出願日】平成１９年５月２１日（２００７．５．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月２１日（２００７．５．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]