撮像装置、その制御方法及びプログラム
【課題】車載撮影において、自動的にオートフォーカスや露出制御用の評価領域を設定し、常に安定したピント、安定した露出での撮影を可能にする。
【解決手段】撮像光学系により結像された光学像を映像信号に変換する撮像素子１０６と、撮像素子１０６で得られる映像信号から動きベクトルを検出する動きベクトル検出回路１１４とを備え、カメラマイコン１１５は、動きベクトルの検出結果に応じてオートフォーカス枠又は測光枠を設定する。この場合に、撮像素子１０６で得られる映像をｘ方向及びｙ方向に複数のブロックに分割し、各ブロックで動きベクトルを検出し、各ブロックで検出した動きベクトルの交点領域をオートフォーカス枠又は測光枠とする。
【解決手段】撮像光学系により結像された光学像を映像信号に変換する撮像素子１０６と、撮像素子１０６で得られる映像信号から動きベクトルを検出する動きベクトル検出回路１１４とを備え、カメラマイコン１１５は、動きベクトルの検出結果に応じてオートフォーカス枠又は測光枠を設定する。この場合に、撮像素子１０６で得られる映像をｘ方向及びｙ方向に複数のブロックに分割し、各ブロックで動きベクトルを検出し、各ブロックで検出した動きベクトルの交点領域をオートフォーカス枠又は測光枠とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラやデジタルカメラ等の撮像装置、その制御方法及びプログラムに関し、車両や移動体に搭載した車載撮影におけるオートフォーカスや自動露出制御等に適用される。
【背景技術】
【０００２】
車両の運転席近傍に取り付けられる車載用ビデオカメラは、ドライブ中、その運転席から見える範囲の映像を常時撮影して記録媒体に記録し、事故が発生した時には、所定の短い時間経過後まで記録した後、その記録を停止するよう構成されている。これにより、事故直前から直後の撮影映像を再生して、その事故が如何なる原因で生じたかを検証することができる。
【０００３】
このようなドライブ状態を撮影できる機能を備えたビデオカメラは、業務用車両のみならず、全ての個人の乗用車にも搭載されることが望ましい。しかしながら、このようなビデオカメラは実際には一部のタクシー等の業務用車両にしか搭載されていない。この種のビデオカメラは専用装置であるが故に高価なものであり、個人の乗用車等には搭載し難い。
【０００４】
一方で、コンシューマ用ビデオカメラは年々安価になり、主に家庭用として大多数の家庭に普及している。特許文献１には、普及型の手振れ検出センサーを備えたビデオカメラを用いて、車両のドライブ中、その車両の前方の広範囲にわたる情景を容易に撮影、記録できるようにしたビデオステーション、ビデオカメラ、車載用ビデオカメラ装置及び車両が開示されている。
【０００５】
従来より、ビデオカメラは、撮影対象物すなわち被写体にピントがあった最適合焦状態で確実に撮影を行うためにオートフォーカスが広く採用されている。オートフォーカスでは、画面の中央部分の測距領域に撮影対象物を位置させることで、上記撮影対象物に対する合焦状態を検出して、撮像光学系の合焦機構を自動調整する。被写体に対する合焦状態を検出する手法としては、合焦位置における撮像出力に含まれる先鋭度情報が最大になることを利用して合焦状態を検出する方式が知られている。
【０００６】
また、近年では、画像の手振れ補正等のために、画像信号から動きベクトルを検出する検討が盛んに行われている。この動きベクトルを用いて、被写体の動きを検出し、被写体を追尾して自動合焦を行う被写体追尾方式の自動合焦機能の開発も盛んになりつつある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２６１８６５号公報
【特許文献２】米国特許３８９０４６２号明細書
【特許文献３】特公昭６０−４６８７８号公報
【非特許文献】
【０００８】
【非特許文献１】B.K.P. Horn, Artificial Intelligence 17, p.185 〜203 (1981)
【非特許文献２】尾上守夫、情報処理Vol. 17, No.7, p.634 〜 640 July 1976
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記従来例で説明したビデオカメラでは、車載撮影等に特化した機能は無く、車載撮影には不都合が生じる場合がある。例えば、走行中の撮影の場合、通常の撮影とは異なり、撮影者が常に被写体を狙って撮影しているわけではなく、車体の一部に固定されていることが考えられる。車体に固定されている場合、進行方向に対するカメラの角度や、道路のカーブによっては、主被写体が常に画面の中央部分に存在するとは限らない。このような撮影において、画面の中央部分に測距領域を設定して焦点調節を行った場合、ユーザの意図とは違う被写体にピントが合ってしまい主被写体にボケが生じる可能性がある。
【００１０】
また、走行中の撮影の場合、走行方向や速度に応じて、画面内の映像に流れが発生する。測距領域内の映像が流れた場合、測距値の変動が激しく変化して、正しい測距値が得られず、オートフォーカスが安定せず、映像にフワつきが発生してしまう可能性がある。
【００１１】
さらに、車載撮影の場合、画面内に車体の一部、又は車内の一部が写り込む状態が発生しやすい。しかしながら、車内と車外の明るさに大きな変化があるため、露出を調整する評価枠の設定を誤ると適正露出にならずに、露出がアンダー又はオーバーな映像が記録されてしまう可能性がある。
【００１２】
本発明は上記問題点に鑑みてなされたものであり、車載撮影において、自動的にオートフォーカスや露出制御用の評価領域を設定し、常に安定したピント、安定した露出での撮影を可能にすることを目的とする。
【課題を解決するための手段】
【００１３】
本発明の撮像装置は、撮像光学系により結像された光学像を映像信号に変換する撮像手段と、前記撮像手段で得られる映像信号から動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルの検出結果に応じて、所定の評価値を得るための当該映像上の評価領域を設定する評価領域設定手段とを備えたことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、車載撮影において、自動的にオートフォーカスや露出制御用の評価領域を設定し、常に安定したピント、安定した露出での撮影が可能になる。例えばコンシューマ用ビデオカメラを車載撮影のために車体に固定し撮影した場合においても、映像信号から検出される動きベクトルを用いることにより、映像の流れが少ない領域に評価領域を設定することができ、安定した評価値を取得することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態に係る撮像装置であるビデオカメラの構成を示す図である。
【図２】焦点調節制御を示すフローチャートである。
【図３】図２のフローチャートのＴＶ−ＡＦ制御の詳細な処理を示すフローチャートである。
【図４】図３のフローチャートの微小駆動モードの詳細な処理を示すフローチャートである。
【図５】微小駆動モードでのフォーカスレンズの動作を示す特性図である。
【図６】図３のフローチャートの山登りモードの詳細な処理を示すフローチャートである。
【図７】山登り駆動モード時のフォーカスレンズの動作を示す特性図である。
【図８】動きベクトルに応じた評価枠の設定を説明するための図である。
【図９】車体の移動と動きベクトルとの関係を示す図である。
【図１０】動きベクトルを用いた評価枠の設定判定を示すフローチャートである。
【図１１】動きベクトルを用いた評価枠の設定例を示す図である。
【図１２】動きベクトルを用いた評価枠の設定例を示す図である。
【図１３】動きベクトルを用いた評価枠の設定例を示す図である。
【図１４】動きベクトルを用いた評価枠の設定例を示す図である。
【図１５】動きベクトルに応じた評価枠の大きさ変更を示す図である。
【図１６】動きベクトルに応じた評価枠の設定を示すフローチャートである。
【図１７】第２の実施形態に係る撮像装置であるビデオカメラの構成を示す図である。
【図１８】露出制御を行う際のプログラム線図を示す図である。
【図１９】カメラマイコンに保持される露出制御用のデータテーブルを示す図である。
【図２０】露出調節制御を示すフローチャートである。
【図２１】動きベクトルの交点領域を利用したＡＥの重み付けを示す図である。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係るビデオカメラの構成を示す図である。なお、本実施形態ではビデオカメラについて説明するが、本発明はデジタルスチルカメラ等、他の撮像装置への適用も可能である。
【００１７】
図１において、１０１は第１固定レンズである。１０２は光軸方向に移動して変倍を行う変倍レンズである。１０３は絞りである。１０４は第２固定レンズである。１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、フォーカスレンズという）である。これら第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により撮像光学系が構成される。
【００１８】
１０６は撮像光学系により結像される光学像を映像信号に変換する光電変換素子としての撮像素子であり、ＣＣＤセンサやＣＭＯＳセンサにより構成される。１０７はＣＤＳ／ＡＧＣ／ＡＤコンバータであり、撮像素子１０６の出力をサンプリング、ゲイン調整、デジタル化する。１０８はカメラ信号処理回路であり、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの出力信号に対して各種の画像処理を施す。１０９は表示装置であり、カメラ信号処理回路１０８からの映像信号を表示する。１１０は記録装置であり、カメラ信号処理回路１０８からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。
【００１９】
１１１はＡＦゲートであり、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通す。１１２は焦点信号処理回路であり、ＡＦゲート１１１を通過した信号から高周波成分や該高周波信号から生成した輝度差成分（ＡＦゲート１１１を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出して焦点信号を生成する。ここで、焦点信号は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。
【００２０】
１１３は動きベクトル検出回路であり、映像信号に対して公知の動きベクトル検出処理を施し、映像上の複数の領域に対して動きベクトルを検出処理する。画像の符号化装置や画像触れ補正装置に必要な動きベクトル検出方法としては、特許文献２や特許文献３等に記載の時空間勾配法、或いは相関演算に基づく相関法やブロックマッチング法（テンプレートマッチング法）がある。時空間勾配法については、非特許文献１で詳しく論じられている。また、ブロックマッチング法については、非特許文献２で詳しく論じられている。時空間勾配法は、フレーム（或いはフィールド）間の輝度差ｄと画面内の画素間の輝度差Δから、画像の動き量をｄ／Δで表す方法である。これは、カメラから得られる信号がフィールド周期の時間平均であり、画像の動き量が大きいほどエッジが鈍り、画素間の輝度差Δが小さくなる性質を利用し、フレーム（或いはフィールド）間の輝度差ｄを信号Δで正規化したものである。一方、ブロックマッチング法は、入力画像信号を適当な大きさのブロック（例えば８画素×８ライン）に分割し、ブロック単位に前のフレーム（或いはフィールド）の一定範囲の画素との差を計算する。そして、この差の絶対値の和が最小となる前のフレーム（或いはフィールド）のブロックを探査する。当該ブロックの相対的なずれがそのブロックの動きベクトルを表している。
【００２１】
１１４は交点領域検出回路であり、動きベクトル検出回路１１３の検出結果に基づいて動きベクトルの交点領域を算出し、その算出結果をカメラ／ＡＦマイコン１１５に送信する。交点領域検出回路１１４の処理については後述する。１１５はカメラ／ＡＦマイコン（以下、カメラマイコンという）である。カメラマイコン１１５は、動きベクトル検出回路１１３の検出結果に基づいて、交点領域に焦点検出に用いられる評価枠（評価領域）であるオートフォーカス枠（以下、ＡＦ枠と称する）を設定するようにＡＦゲート１１１へ情報を送信する。また、カメラマイコン１１５は、焦点信号処理回路１１２の出力信号に基づいて、後述するフォーカスレンズ駆動源１１６を制御してフォーカスレンズ１０５を駆動するとともに、記録装置１１０へ画像記録命令を出力する。
【００２２】
１１７は変倍レンズ駆動源であり、変倍レンズ１０２を移動させるためのアクチュエータ及びそのドライバを含む。１１６はフォーカスレンズ駆動源であり、フォーカスレンズ１０５を移動させるためのアクチュエータ及びそのドライバを含む。変倍レンズ駆動源１１７及びフォーカスレンズ駆動源１１６は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
【００２３】
次に、カメラマイコン１１５が実行する焦点調節制御の概要について説明する。図２は、本実施形態における焦点調節制御を示すフローチャートである。まずステップＳ２０１で、カメラマイコン１１５は、ＴＶ−ＡＦ制御の基本となる焦点信号を取得するためのＡＦ枠の位置及び大きさを設定する。交点領域検出回路１１４で交点領域が検出された場合は該交点領域にＡＦ枠を設定し、交点領域が抽出されなかった場合は固定のＡＦ枠（初期位置）を設定する。この処理の詳細は図８〜図１６を参照して後述する。
【００２４】
次にステップＳ２０２で、カメラマイコン１１５の制御下で焦点信号処理回路１１２より、指定されたＡＦ枠の焦点信号を取得する。このとき、焦点信号処理回路１１２内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。抽出特性とはバンドパスフィルタの周波数特性であり、ここでの設定とは焦点信号処理回路１１２内のバンドパスフィルタの設定値を変更することを意味する。
【００２５】
次にステップＳ２０３で、カメラマイコン１１５は、ＴＶ−ＡＦ制御により焦点調節を行う。この処理の詳細は図３を参照して後述する。その後、ステップＳ２０１へ戻る。
【００２６】
図３は、図２のステップＳ２０３で実行されるＴＶ−ＡＦ制御の詳細を示すフローチャートである。まずステップＳ３０１で、カメラマイコン１１５は、微小駆動モードであるかどうかを判別し、微小駆動モードである場合はステップＳ３０２へ遷移し、微小駆動モードでない場合はステップＳ３０８へ遷移する。ステップＳ３０２で、カメラマイコン１１５は微小駆動動作を行い、フォーカスレンズ１０５を所定の振幅で駆動し、合焦しているか、或いはどちらの方向に合焦点が存在するかを判別する。この処理の詳細は図４及び図５を参照して後述する。ステップＳ３０３で、カメラマイコン１１５は、ステップＳ３０２の微小駆動動作によって合焦判別が成功したかどうかを判別し、成功した場合はステップＳ３０６へ遷移し、成功しない場合はステップＳ３０４へ遷移する。ステップＳ３０４で、カメラマイコン１１５は、ステップＳ３０２の微小駆動動作によって方向判別が成功したかどうかを判別する。方向判別が成功した場合はステップＳ３０５へ遷移して山登り駆動モードへ移行し、成功しない場合はステップＳ３０１へ戻り、微小駆動モードを継続する。ステップＳ３０６で、カメラマイコン１１５は、合焦時の焦点信号レベルをカメラマイコン１１５内のメモリに格納した後、ステップＳ３０７へ遷移して再起動判定モードへ移行する。
【００２７】
一方、ステップＳ３０８で、カメラマイコン１１５は、山登り駆動モードであるかどうかを判別し、山登り駆動モードである場合はステップＳ３０９へ遷移し、山登り駆動モードでない場合はステップＳ３１３へ遷移する。ステップＳ３０９で、カメラマイコン１１５は山登り駆動動作を行い、焦点信号が大きくなる方向へ所定の速度でフォーカスレンズ１０５を山登り駆動する。この処理の詳細は図６及び図７を参照して後述する。ステップＳ３１０で、カメラマイコン１１５は、ステップＳ３０９の山登り駆動動作によって焦点信号のピーク位置が発見されたかどうかを判別する。発見された場合はステップＳ３１１へ遷移し、発見されない場合はステップＳ３０１へ戻り、山登り駆動モードを継続する。ステップＳ３１１で、カメラマイコン１１５は、焦点信号がピークとなったフォーカスレンズ１０５の位置を目標位置に設定した後、ステップＳ３１２へ遷移し、停止モードへ移行する。
【００２８】
一方、ステップＳ３１３で、カメラマイコン１１５は、停止モードであるかどうかを判別し、停止モードである場合はステップＳ３１４へ遷移し、停止モードでない場合はステップＳ３１６へ遷移する。ステップＳ３１４で、カメラマイコン１１５は、フォーカスレンズ１０５が焦点信号のピークとなる位置に戻ったかどうかを判別する。ピークとなる位置に戻った場合はステップＳ３１５へ遷移し、微小駆動（合焦判別）モードへの移行し、ピークとなる位置に戻っていない場合はステップＳ３０１へ戻り、停止モードを継続する。
【００２９】
一方、ステップＳ３１６で、カメラマイコン１１５は、現在の焦点信号レベルとステップＳ３０６で保持した焦点信号レベルとを比較し、その変動量が所定値より大きいかどうかを判別する。変動量が大きい場合はステップＳ３１７へ遷移し、微小駆動（方向判別）モードへの移行を行い、変動量が大きくない場合はステップＳ３０１へ戻り、再起動判定モードを継続する。
【００３０】
図３のステップＳ３０２で実行される微小駆動モードの詳細な処理について、図４及び図５を参照して説明する。図４は、図３のステップＳ３０２で実行される微小駆動モードの詳細な処理を示すフローチャートである。ステップＳ４０１で、カメラマイコン１１５は、微小駆動の動作状態を示すカウンタが現在０であるかどうかを判別し、０である場合はステップＳ４０２へ遷移し、０でない場合はステップＳ４０３へ遷移する。ステップＳ４０２で、カメラマイコン１１５は、フォーカスレンズ１０５が至近側にある場合の処理として、現在のＡＦ評価値レベルを保持する。ここでのＡＦ評価値は、後述のステップＳ４１０でフォーカスレンズ１０５が無限側にあるときに撮像素子１０６に蓄積された電荷から生成された画像信号によるものである。
【００３１】
ステップＳ４０３で、カメラマイコン１１５は、現在のカウンタが１であるかどうかを判別し、１である場合はステップＳ４０４へ遷移し、１でない場合はステップＳ４０９へ遷移する。ステップＳ４０４で、カメラマイコン１１５は、後述のステップＳ４０８でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。ステップＳ４０５で、カメラマイコン１１５は、ステップＳ４０２で保持した無限側のＡＦ評価値レベルと後述のステップＳ４１０で保持した至近側のＡＦ評価値レベルを比較する。その結果、前者が大きい場合はステップＳ４０６へ遷移し、後者が大きい場合はステップＳ４０７へ遷移する。ステップＳ４０６で、カメラマイコン１１５は、振動振幅と中心移動振幅を加算し、駆動振幅とする。一方、ステップＳ４０７で、カメラマイコン１１５は、振動振幅を駆動振幅とする。ステップＳ４０８で、カメラマイコン１１５は、ステップＳ４０６又はステップＳ４０７で求めた駆動振幅に基づき、無限方向へ駆動する。
【００３２】
ステップＳ４０９で、カメラマイコン１１５は、現在のカウンタが２であるかどうかを判別し、２である場合はステップＳ４１０へ遷移し、２でない場合はステップＳ４１１へ遷移する。ステップＳ４１０で、カメラマイコン１１５は、フォーカスレンズ１０５が無限側にある場合の処理として、現在のＡＦ評価値レベルを保持する。ここでのＡＦ評価値は、ステップＳ４０２でフォーカスレンズ１０５が至近側にあるときに撮像素子１０６に蓄積された電荷から生成された画像信号によるものである。ステップＳ４１１で、カメラマイコン１１５は、後述のステップＳ４１５でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。ステップＳ４１２で、カメラマイコン１１５は、ステップＳ４１０で保持した至近側のＡＦ評価値レベルとステップＳ４０２で保持した無限側のＡＦ評価値レベルを比較する。その結果、前者が大きい場合はステップＳ４１３へ遷移し、後者が大きい場合はステップＳ４１４へ遷移する。ステップＳ４１３で、カメラマイコン１１５は、振動振幅と中心移動振幅を加算し、駆動振幅とする。一方、ステップＳ４１４で、カメラマイコン１１５は、振動振幅を駆動振幅とする。ステップＳ４１５で、カメラマイコン１１５は、ステップＳ４１３又はステップＳ４１４で求めた駆動振幅に基づき、至近方向へ駆動する。
【００３３】
ステップＳ４１６で、カメラマイコン１１５は、現在方向判別モードであるかどうかを判別し、方向判別モードである場合はステップＳ４１７へ遷移し、方向判別モードでない場合はステップＳ４１９へ遷移する。ステップＳ４１７で、カメラマイコン１１５は、所定回数連続して同一方向に合焦点が存在しているかどうかを判別し、そうである場合はステップＳ４１８へ遷移し、そうでない場合はステップＳ４２１へ遷移する。ステップＳ４１８で、カメラマイコン１１５は向判別ができたものと判断する。一方、ステップＳ４１９で、カメラマイコン１１５は、フォーカスレンズが所定回数同一エリアで往復しているかどうかを判別し、そうである場合はステップＳ４２０へ遷移し、そうでない場合はステップＳ４２１へ遷移する。ステップＳ４２０で、カメラマイコン１１５は合焦判別できたものと判断する。ステップＳ４２１で、カメラマイコン１１５は、微小駆動の動作状態を示すカウンタが３であれば０に戻し、その他の値であればカウンタを加算する。
【００３４】
図５は、微小駆動モードでのフォーカスレンズ１０５の動作を示す特性図である。上の図は画像信号の垂直同期信号を示し、下の図は横軸が時間、縦軸がフォーカスレンズ１０５の位置を表している。ラベルＡの時刻に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶAは、時刻ＴAでカメラマイコン１１５に取り込まれる。また、ラベルＢの時刻に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶBは、時刻ＴBでカメラマイコン１１５に取り込まれる。時刻ＴCではＡＦ評価値ＥＶAとＥＶBとを比較し、ＥＶBが大きい場合のみ振動中心を移動する。なお、ここでのフォーカスレンズ１０５の移動は焦点深度を基準とし、画面で認識できない移動量に設定する。
【００３５】
図３のステップＳ３０８で実行される山登り駆動モードの詳細な処理について、図６及び図７を参照して説明する。図６は、図３のステップＳ３０８で実行される山登り駆動モードの詳細な処理を示すフローチャートである。ステップＳ６０１で、カメラマイコン１１５はフォーカスレンズ１０５の駆動速度を設定する。ステップＳ６０２で、カメラマイコン１１５は、現在のＡＦ評価値レベルが前回より増加しているかどうかを判別し、増加している場合はステップＳ６０３へ遷移し、増加していない場合はステップＳ６０４へ遷移する。ステップＳ６０３で、カメラマイコン１１５は、ステップＳ６０１で設定した速度に基づき、フォーカスレンズ１０５を前回と同じ方向に山登り駆動する。
【００３６】
ステップＳ６０４で、カメラマイコン１１５は、ＡＦ評価値レベルがピーク位置を越えたかどうかを判別し、ピーク位置を超えた場合はステップＳ６０５へ遷移し、ピーク位置を超えていない場合はステップＳ６０６へ遷移する。ステップＳ６０５で、カメラマイコン１１５はピーク位置を発見したものと判断する。ステップＳ６０６で、カメラマイコン１１５は、ステップＳ６０１で設定した速度に基づき、フォーカスレンズ１０５を前回と逆の方向に山登り駆動する。なお、山登り駆動モードでこのステップＳ６０６を繰り返している場合、被写体のＡＦ評価値の変化量が十分に得られないためにフォーカスレンズ１０５がハンチング状態にあることを意味する。
【００３７】
図７は、山登り駆動モードでのフォーカスレンズ１０５の動作を示す特性図である。横軸がフォーカスレンズ１０５の位置、縦軸が焦点信号を表している。フォーカスレンズ１０５が範囲Ａで駆動している場合はＡＦ評価値が増加しているため、同じ方向への山登り駆動を継続する。ここで、フォーカスレンズ１０５を範囲Ｂで駆動するとＡＦ評価値はピーク位置を越えて減少する。このとき、合焦点が存在するとして山登り駆動動作を終了し、フォーカスレンズ１０５をピーク位置まで戻した後、微小駆動動作に移行する。一方、範囲Ｃのようにピーク位置を越えずにＡＦ評価値が減少した場合は駆動すべき方向を間違えたものとして反転し、山登り駆動動作を継続する。
【００３８】
このように、ＴＶ−ＡＦ方式による焦点調節制御では、再起動判定→微小駆動→山登り駆動→停止→微小駆動→再起動判定を繰り返しながらフォーカスレンズ１０５を移動させることで、ＡＦ評価値が常に最大となるように合焦状態を維持する。
【００３９】
以下、図８〜図１６を参照して、動きベクトルの検出結果に応じたＡＦ枠の設定方法について説明する。これは、図２のステップＳ２０１におけるＡＦ枠の領域情報の決定処理の詳細な説明である。図８（ａ）は入力画像であり、ｘ方向及びｙ方向に[７＊５]のブロックに分割されている。進行方向は画像奥方向である。図８（ｂ）は各ブロックで動きベクトルを検出した結果を示す。このような動きベクトルの分布図を一般にオプティカルフロー図と呼ぶ。画面奥方向に進行しているため、動きベクトルは進行方向を中心に放射状になる。図８（ｃ）は動きベクトルの値を（ｘ成分、ｙ成分）に変換して表示したものである。この各々の成分に変換した値を用いて、評価枠を決定する。図８（ｄ）は評価枠の設定方法を簡易的に示したものである。各々の動きベクトルは放射状に出ているため、動きベクトルの交点領域は領域Ｓであることが分かる。この動きベクトルの交点領域を評価枠とすることにより、安定したＡＦ評価値の取得ができ、適切なオートフォーカスを行うことが可能になる。以下、その評価枠の設定方法について説明を行う。
【００４０】
まず、動きベクトルに応じた評価枠の移動は常時行う必要はなく、車載カメラとして車体の一部に固定された状態で、且つ車体が移動している場合のみ行う処理である。図９、図１０を参照して、評価枠の設定において、初期位置の評価枠を用いるか、動きベクトルに応じた評価枠を用いるかの切り替えを行う処理を説明する。
【００４１】
図９は、初期位置の評価枠を用いるか、動きベクトルに応じた評価枠を用いるかの切り替えの判断を簡易的に示した図である。図８（ａ）が入力画像である場合に、図９（ａ）は車体が画像奥方向に駆動した初期状態を模した図である。画面の中央部分は画像の流れが少ないため、動きベクトルの発生は少ない。画面の端部分は画像の変化が大きいため、動きベクトルの発生がある。図９（ｂ）は車体が加速した状態を模した図である。車体の移動量が増えたため、画面の内側部分の動きベクトルが発生する。画面の端部分は移動量が増えたことにより、動きベクトルの強度が増える傾向にある。図９（ｃ）はさらに車体が加速した状態を模した図である。画面中央を除き、動きベクトルが発生する。このように、車体が停止から駆動状態に移行する際、動きベクトルは車体の移動量に伴い増加する。これを利用して、同じ領域内の動きベクトルの増加を監視し、動きベクトルの所定時間の増加が確認できた場合は、車体が駆動していると判断し、動きベクトルに応じた評価枠の設定を行う処理に移行する。図９（ｄ）は、画面内のある領域の動きベクトルの変化を示した図である。本実施形態では、動きベクトルのサンプル間隔において、Ｋ回連続して増加した場合を、車体の移動が開始したと判断することとしている。
【００４２】
図１０は、動きベクトルを用いた評価枠の設定判定のフローチャートである。ステップＳ１００２で、カメラマイコン１１５は、映像から動きベクトルが検出できたかどうかを判断する。動きベクトルが検出された場合はステップＳ１００３へ遷移し、動きベクトルが検出されなかった場合はステップＳ１０１２へ遷移する。
【００４３】
ステップＳ１００３で、カメラマイコン１１５は、検出された動きベクトルを３次元配列Ｖｅｃｔｏｒ_ｘ[ｎ][ｈ][ｉ]、Ｖｅｃｔｏｒ_ｙ[ｎ][ｈ][ｉ]に格納する。ｈはｘ軸方向の動きベクトルの検出領域数、ｉはｙ軸方向の動きベクトルの検出領域数を示し、ｎは記憶した配列の番号を示している。格納する方法は、動きベクトルをｘ成分、ｙ成分に分割し、それぞれを格納する。格納後、ステップＳ１００４に遷移する。ステップＳ１００４で、カメラマイコン１１５は配列の番号を示すｎをインクリメントし、ｎ＋１とする。ステップＳ１００５で、カメラマイコン１１５はｎが１を超えているかどうかを判断する。ｎが１を超えている、すなわち１を超える数の動きベクトルがすでに格納されている場合はステップＳ１００６へ遷移し、そうでない場合はステップＳ１０１２へ遷移する。
【００４４】
ステップＳ１００６で、カメラマイコン１１５は、ｎ−１（１つ前）に格納した各々の動きベクトル検出領域のベクトル成分を比較し、ベクトルの成分が増加しているかどうかを判断する。ベクトルの比較は、各々の差分を抽出し、減少・増加の判断を行う。比較後、ステップＳ１００７へ遷移する。
【００４５】
ステップＳ１００７で、カメラマイコン１１５は、動きベクトル検出領域の何％が増加しているかの確認を行う。本実施形態では、全検出領域の約６０％以上が増加である場合を閾値Ｔｈ１と設定することとするが、閾値Ｔｈ１の値は十分な測定を行い、任意の値に設定することが可能である。全体の領域数Ｖｓｕｍ=ｈ＊ｉに対して、増加している領域をカウントし、その領域数をＶｎｕｍとする。増加割合[％]＝Ｖｎｕｍ÷Ｖｓｕｍ×１００で算出し、増加割合＞Ｔｈ１以上であれば、全体の動きベクトルの増加が確認されたとし、ステップＳ１００８へ遷移する。そうでない場合はステップＳ１００９へ遷移する。ステップＳ１００９では、カメラマイコン１１５は、ベクトルの増加回数をカウントするＶＣｏｕｎｔを０に初期化する処理を行い、ステップＳ１０１２へ遷移する。
【００４６】
ステップＳ１００８で、カメラマイコン１１５は、ベクトルの増加回数をカウントするＶＣｏｕｎｔをインクリメントし、ステップＳ１０１０へ遷移する。ステップＳ１０１０で、カメラマイコン１１５は、ベクトルの増加カウントＶＣｏｕｎｔがＫ回連続で増加したかどうかを判断する。本実施形態では、閾値Ｋの値を３０回（実時間０．５秒に相当）に設定するが、閾値Ｋの値は十分な測定を行った上で任意の値に設定することが可能である。つまり、動きベクトルが増加傾向にある場合、具体的には動きベクトルの増加が連続して０．５秒間以上発生した場合は、車体がいずれかの方向に駆動中であると判断し、ステップＳ１０１１へ遷移する。そうでない場合はステップＳ１０１２へ遷移する。ステップＳ１０１１で、カメラマイコン１１５は、評価枠を動きベクトルに応じて変更する処理を行う。この処理の詳細は図１１を参照して後述する。
【００４７】
ステップＳ１０１２では、動きベクトルの増加が連続して０．５秒間以上発生していない、又は、動きベクトルが発生していない等の、動きベクトルに応じて評価枠を移動できない状態であるため、初期位置にある評価枠を設定することとする。
【００４８】
図１１は、動きベクトルに応じて評価枠を設定する領域である動きベクトルの交点領域の算出方法を示す図である。図１１（ａ）は入力画像である。図１１（ｂ）は動きベクトルを図示したオプティカルフロー図である。図１１（ｃ）は動きベクトルを各成分に分割したものである。Ｌ１は画像内のｘ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｘ＝１から７に向けてｘ成分は大きくなり、座標ｘ＝４でゼロクロス点があることを確認できる。これは、座標ｘ＝４を中心として、放射状に動きベクトルが発生しているためである。よって、ｘ成分のグラフのゼロクロス点を求めることにより、動きベクトルのｘ方向の交点領域が特定できる。同様に、Ｌ２は画像内のｙ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｙ＝１から５に向けてｙ成分は大きくなり、座標ｙ＝３でゼロクロス点があることを確認できる。これは、座標ｙ＝３を中心として、放射状に動きベクトルが発生しているためである。よって、ｙ成分のグラフのゼロクロス点を求めることにより、動きベクトルのｙ方向の交点領域が特定できる。以上のように、図１１（ａ）の入力画像は、座標（４，３）の位置に、動きベクトルの交点領域があると推測でき、その領域はもっとも動きベクトルが少なくなる。この座標（４，３）に評価枠を設定することにより、安定した評価値が得られ、適切なオートフォーカスが可能になる。このような処理を行うことにより、入力画像から、動きベクトルの交点領域を特定することが可能になる。
【００４９】
図１１では動きベクトルの交点領域が画像の中心にある例を示したが、続いて、交点領域が画像の中心以外にある例を示す。図１２（ａ）は入力画像である。この画像は、進行方向の先にカーブがある場合や、カメラが進行方向に対してある程度の角度を持って設置されていた場合に起こりうる画像である。図１２（ｂ）は動きベクトルを図示したオプティカルフロー図である。図１２（ｃ）は動きベクトルを各成分に分割したものである。Ｌ３は画像内のｘ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｘ＝１から７に向けてｘ成分は大きくなり、座標ｘ＝６でゼロクロス点があることを確認できる。これは、座標ｘ＝６を中心として、放射状に動きベクトルが発生しているためである。よって、ｘ成分のグラフのゼロクロス点を求めることにより、動きベクトルのｘ方向の交点領域が特定できる。同様に、Ｌ４〜Ｌ６は、画像内のｙ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｙ＝１から５に向けてｙ成分は大きくなり、座標ｙ＝３でゼロクロス点があることを確認できる。これは、座標ｙ＝３を中心として、放射状に動きベクトルが発生しているためである。よって、ｙ成分のグラフのゼロクロス点を求めることにより、動きベクトルのｙ方向の交点領域が特定できる。ただし、交点から遠くなるほど、動きベクトルは平行になる性質があるため、Ｘ座標１行目の値をグラフ化したＬ６は、Ｘ座標３〜７行目の値をグラフ化したＬ４に比べてｙ成分の変化が小さくなる。仮に、ｙ成分の変化が小さくなり、ゼロクロス点を持たない場合は、その行の値を無視し、他の行のゼロクロス点を参考にし、交点を求めることとする。以上のように、図１２（ａ）の入力画像は、座標（６，３）の位置に、動きベクトルの交点領域があると推測できる。
【００５０】
続いて、画面内にボンネットや室内等の写りこみがある例を示す。図１３（ａ）は入力画像であり、物体Ｐは常時写りこんでいる被写体である。図１３（ｂ）は動きベクトルを図示したオプティカルフロー図である。物体Ｐは動きを持たないので、動きベクトルは発生していないことが確認できる。図１３（ｃ）は動きベクトルを各成分に分割したものである。Ｌ７はｙ座標２〜５列目のｙ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｘ＝１から７に向けてｘ成分は大きくなり、座標ｘ＝４でゼロクロス点があることを確認できる。これは、座標ｘ＝４を中心として、放射状に動きベクトルが発生しているためである。Ｌ８はｙ座標１列目のｘ成分をグラフ化したものである。１列目は、物体Ｐにより、動きベクトルを持たないため、グラフにゼロクロス点が存在しない。よって、ゼロクロス点が存在しないグラフは無視し、ｙ座標２〜５列目のゼロクロス点からベクトルの交点を求めることとする。よって、ｘ成分のグラフのゼロクロス点はｘ＝４となる。同様に、図１３のＬ９はｘ座標６〜７列目のｙ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｙ＝１から５に向けてｙ成分は大きくなり、座標ｙ＝３でゼロクロス点があることを確認できる。これは、座標ｙ＝３を中心として、放射状に動きベクトルが発生しているためである。Ｌ１０はｘ座標１〜５列目のｙ成分のみを抽出し、その成分の値をグラフ化したものである。これも同様に、座標ｙ＝３にてゼロクロス点を持つ。以上のように、図１３（ａ）の入力画像は、座標（４，３）の位置に、動きベクトルの交点領域があると推測できる。
【００５１】
図１４（ａ）は入力画像である。図１４（ｂ）は動きベクトルを図示したオプティカルフロー図である。図１４（ｃ）は動きベクトルを各成分に分割したものである。Ｌ１１は、画像のｘ成分のみを抽出し、その成分の値をグラフ化したものである。ｘ成分の変化はなく、ゼロクロス点も持たないことが分かる。また、Ｌ１２はｙ成分をグラフ化したものである。同様にｙ成分の変化はなく、ゼロクロス点も持たないことが分かる。以上のように、図１４（ａ）の入力画像は、ゼロクロス点を持たないため、動きベクトルの交点領域は存在しない。その場合は、画面全体に流れが発生していると判断し、初期位置にある評価枠の大きさを動きベクトルに応じて変更する。
【００５２】
図１５は、動きベクトルに応じた評価枠の大きさ変更を示す図である。図１５（ａ）、図１５（ｂ）に示すように、動きベクトルが所定量Ｔｈ２を越えた場合に、初期の評価枠Ｑから、評価枠Ｒのように大きさを動きベクトルに応じて変更する。これにより、画像の流れが発生した場合でも、評価枠を大きくすることにより、評価値の変動を少なくすることが可能になり、安定したオートフォーカスが可能になる。また、図１５（ｃ）に示すように動きベクトルが所定量Ｔｈ３を越えた場合は、画像の流れが大きく、評価枠を大きく設定しても、評価値が安定しない。よって、評価枠の設定を行わず、前のピント状態を維持し、ピントのフワつきを防ぐ。なお、上記説明した処理の流れは図１６のフローチャートを用いて説明する。
【００５３】
図１６は、動きベクトルに応じた評価枠の設定するための処理である。ステップＳ１６０２で、カメラマイコン１１５は、座標ｘのｊ行目のｘ軸方向の動きベクトルの成分の抽出を行う。成分の個数はシステムによって異なるが、本実施形態では、７＊５の検出領域を用いているため、成分の個数は７個ということになる。抽出が終了後、ステップＳ１６０３へ遷移する。ステップＳ１６０３で、カメラマイコン１１５は、抽出された成分の描く曲線のゼロクロス点となる領域の算出を行う。算出方法の一例は、座標ｘ＝１から７の方向に向かい、値が増加又は減少していることを確認し、値が０を超える、或いは、符号が切り替わる点をゼロクロス点として特定する。ゼロクロス点が特定できない場合、ｘ＝０とする。ゼロクロス点の算出後、ステップＳ１６０４へ遷移する。ステップＳ１６０４で、カメラマイコン１１５はｊ行目の値を１つインクリメントする。
【００５４】
ステップＳ１６０５で、カメラマイコン１１５は、画像内のすべての行において、算出が終了したかどうかの確認を行う。ｊが検出枠数よりも大きい場合は、すべての列の算出が終了したとして、ステップＳ１６０６へ遷移する。そうでない場合はステップＳ１６０２へ遷移して、同様の処理を繰り返す。
【００５５】
ステップＳ１６０６で、カメラマイコン１１５は、上記の処理によって算出されたｘ成分の交点領域の座標の決定を行う。図１１の例では、ｊ行すべてが同じ成分であったため、交点領域は１つに求まったが、図１３に示すような入力画像の場合は、交点領域候補が２点以上特定できる場合がある。その場合は、ｊ行中で過半数を占めるゼロクロス点を採用し、その他の点は無視することとする。特定された点をＸｃｒｏｓｓとし、ステップＳ１６０７へ遷移する。
【００５６】
ステップＳ１６０７で、カメラマイコン１１５は、座標ｙのｋ列目のｙ軸方向の動きベクトルの成分の抽出を行う。成分の個数はシステムによって異なるが、本実施形態では、７＊５の検出領域を用いているため、成分の個数は５個ということになる。抽出が終了後、ステップＳ１６０８へ遷移する。ステップＳ１６０８で、カメラマイコン１１５は、抽出された成分の描く曲線のゼロクロス点となる領域の算出を行う。算出方法の一例は、座標ｙ＝１から５の方向に向かい、値が増加又は減少していることを確認し、値が０を超える、或いは、符号が切り替わる点をゼロクロス点として特定する。ゼロクロス点が特定できない場合、ｙ＝０とする。ゼロクロス点の算出後、ステップＳ１６０９へ遷移する。ステップＳ１６０９で、カメラマイコン１１５はｋ行目の値を１つインクリメントする。
【００５７】
ステップＳ１６１０で、カメラマイコン１１５は、画像内のすべての列において、算出が終了したかどうかの確認を行う。ｋが検出枠数よりも大きい場合は、すべての列の算出が終了したとして、ステップＳ１６１１へ遷移する。そうでない場合はステップＳ１６０７へ遷移して、同様の処理を繰り返す。
【００５８】
ステップＳ１６１１で、カメラマイコン１１５は、上記の処理によって算出されたｙ成分の交点領域の座標の決定を行う。図１１の例では、ｋ列すべてが同じ成分であったため、交点領域は１つに求まったが、図１３に示すような入力画像の場合は、交点領域候補が２点以上特定できる場合がある。その場合は、ｋ列中で過半数を占めるゼロクロス点を採用し、その他の点は無視することとする。特定された点をＹｃｒｏｓｓとし、ステップＳ１６１２へ遷移する。
【００５９】
ステップＳ１６１２で、カメラマイコン１１５は、上記で特定されたベクトルの交点領域の確認を行う。上記の処理において、交点領域（Ｘｃｒｏｓｓ，Ｙｃｒｏｓｓ）が算出された場合はステップＳ１６１６へ遷移する。上記の処理において、交点が特定できなかった場合、つまり、交点領域（０，０）であった場合はステップＳ１６１３へ遷移する。ステップＳ１６１６で、カメラマイコン１１５は、交点領域が求まっているため、評価枠を交点領域（Ｘｃｒｏｓｓ，Ｙｃｒｏｓｓ）に設定し、処理を終了する。一方、交点領域が特定できなかった場合は、カメラが進行方向に向かって固定されていない、もしくは右折や左折等により映像がすべて流れている等が考えられる。この場合、動きベクトルの量に応じて、評価枠を変更する処理を行う。変更方法は、図１５を用いて既に説明済みであるため省略する。
【００６０】
ステップＳ１６１３で、カメラマイコン１１５は、交点領域が特定できなかった場合、画面内の動きベクトルの方向を確認する。画面内の動きベクトルが同一方向に向いている場合はステップＳ１６１４へ遷移する。そうでない場合はステップＳ１６１７へ遷移する。ステップＳ１６１４では、動きベクトルの大きさがＴｈ２以上であるかどうかを確認する。Ｔｈ２以上である場合は、画面内の映像の流れが大きく、評価値が安定できないと判断し、ステップＳ１６１５へ遷移する。そうでない場合はステップＳ１６１７へ遷移する。ステップＳ１６１７で、カメラマイコン１１５は、交点領域が特定できない、又は、動きベクトルが小さいという状況であるため、評価枠は初期位置のままで評価値の取得を行う。よって、評価枠を初期位置に設定し、処理を終了する。
【００６１】
ステップＳ１６１５で、カメラマイコン１１５は、動きベクトルの大きさがＴｈ３以上であるかのどうかを確認する。Ｔｈ３以上である場合は、画面内の映像からは、適切な評価値は算出できないと判断し、ステップＳ１６１９へ遷移する。そうでない場合はステップＳ１６１８へ遷移する。ステップＳ１６１８で、カメラマイコン１１５は、動きベクトルが所定量Ｔｈ２以上Ｔｈ３以下あるため、評価枠を大きくして安定した評価値の取得を処理である。評価枠の大きさは図１５（ａ）のグラフに基づき設定することとする。評価枠の設定後、処理を終了する。ステップＳ１６１９で、カメラマイコン１１５は、動きベクトルが所定量Ｔｈ３以上あるため、画像から適切な評価値は取得できないので、評価枠を設定しない。さらに、画像のボケ・フワつきを抑えるためにオートフォーカスの制御は行わず前の状態でフォーカスをロックする。
【００６２】
以上のように、車載撮影において、自動的にＡＦ枠を設定し、常に安定したピントでの撮影が可能になる。例えばコンシューマ用ビデオカメラを車載撮影のために車体に固定し撮影した場合においても、映像から求まる動きベクトルを用いることにより、映像の流れが少ない領域にＡＦ枠を設定することができ、安定した評価値を取得することが可能になる。
【００６３】
カメラが進行方向に対して斜めに固定されている場合や、進行方向にカーブがある場合は、画像の中心画像は流れてしまうが、動きベクトルから交点領域を特定することにより、撮影の主被写体になるであろう進行方向の画像の流れが少ない領域に評価枠を設定することができる。これにより、カメラを固定した状態でも、適切な撮影を行うことが可能になる。
【００６４】
また、画像から求まる動きベクトルから交点領域を特定することにより、車体の移動による画像の流れが発生している領域を避け、画像の流れが少ない領域に評価枠を設定することができる。
【００６５】
さらに、画像の一部に車体、もしくは車内の一部が写りこんでいるような状態であっても、動きベクトルから交点領域を特定することにより、車外の画像の流れが少ない領域に評価枠を設定することができ、安定したピント、安定した露出での撮影が可能になる。
【００６６】
＜第２の実施形態＞
図１７は、第２の実施形態に係るビデオカメラの構成を示す図である。なお、本実施形態ではビデオカメラについて説明するが、本発明はデジタルスチルカメラ等、他の撮像装置への適用も可能である。以下では、第１の実施形態との相違点を中心に説明し、第１の実施形態に係るビデオカメラと同様の構成要素には同一の符号を付し、その詳細な説明は省略する。
【００６７】
１１８は絞り部材駆動源であり、絞り１０３を駆動させるためのアクチュエータ及びそのドライバを含む。１１９はレンズから入射する光を減衰させるためのＮＤフィルタである。１２０はＮＤ部材駆動源であり、ＮＤフィルタ１１９を駆動させるためのアクチュエータ及びそのドライバを含む。
【００６８】
１２１は測光枠設定回路であり、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの全画素の出力信号のうち測光値検出に用いられる領域の信号のみを通す。１２２は輝度情報検波・演算回路であり、デジタルの画像データに基づいて輝度値を検波し、検波した輝度値を演算処理する。１２３は撮像素子駆動回路である。
【００６９】
第１の実施形態と同様に、交点領域検出回路１１４は、動きベクトル検出回路１１３の検出結果に基づいて動きベクトルの交点領域を算出し、その算出結果をカメラマイコン１１５に送信する。カメラマイコン１１５は、交点領域に測光値検出に用いられる評価枠（評価領域）である測光枠を設定するように測光枠設定回路１２１へ情報を送信する。その後、画面内の測光枠の輝度値を取得するため、輝度情報検波・演算回路１２２により測光値を取得し、測光した測光値を演算により正規化する。このとき、同時に画面全体の測光値も輝度情報検波・演算回路１２２により演算を行う。そして、カメラマイコン１１５で測光値と適正な露出が得られるように設定された目標値との差分を算出する。その後、算出した差分からカメラマイコン１１５により絞りの補正駆動量を算出し、絞り部材駆動源１１８、ＮＤ部材駆動源１２０の駆動を制御する。
【００７０】
次に、カメラマイコン１１５が実行する露出調節制御の概要について説明する。図２０は、本実施形態における露出調節制御を示すフローチャートである。まずステップＳ２００１で、カメラマイコン１１５の制御下で輝度情報検波・演算回路１２２より、露出制御の基本となる輝度信号を取得するための測光枠の位置と大きさを設定する。測光枠の大きさは、交点領域検出回路１１４において、交点領域が検出された場合は、該交点領域を測光枠位置と設定する。交点領域が抽出されなかった場合は、固定の測光枠（初期位置：中央重点測光）を評価枠と設定する。なお、この交点領域の特定方法の詳細は第１の実施形態にて説明済みであるため省略する。
【００７１】
ステップＳ２００２で、カメラマイコン１１５は、指定された測光枠の輝度信号を取得する。この処理の詳細は図２１を参照して後述する。
【００７２】
ステップＳ２００３で、カメラマイコン１１５は、露出制御により輝度調整を行う。この処理の詳細は図１８を参照して後述する。その後、ステップＳ２００１へ戻り、この処理を繰り返す。
【００７３】
ステップＳ２００２における測光枠の輝度情報の取得について、図２１を参照して説明する。図２１（ａ）は、図１１（ａ）の入力画像に動きベクトルを図示したオプティカルフロー図である。領域Ｓは、ステップＳ２００１において複数の動きベクトルから特定されるベクトルの交点領域を示したものである。図２１（ｂ）は、カメラマイコンに記録されているＡＥの重み付け、ＡＥウエイティングを示したものである。ＡＥウエイティングについては後述することとする。ステップＳ２００１によって特定された交点領域を中心に、領域Ｓ´のＡＥの重み付けを１とし、その周辺の重み付けを半分の０．５にしている。こうすることにより、交点領域を中心とした、画像に流れの少ない部分の測光値が取得でき、安定した露出制御が可能になる。なお、この設定は一例であり、十分な測定を行いその結果に基づいて、適切な露出が得られる値に設定を変更することも可能である。同様に、図２１（ｃ）は、図１２（ａ）の入力画像に動きベクトルを図示したオプティカルフロー図である。図２１（ｄ）も上述の通り、領域Ｓを中心に重み付けを行っている。重み付けは図のとおりであるため、その説明を省略する。
【００７４】
次に、ステップＳ２００３における露出制御について説明する。撮影レンズからの光学像が絞り１０３を介して、撮像素子１０６にて光電変換され、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７を経て映像子音号となり、カメラ信号処理回路１０８に送られる。露出制御するための信号は、ＡＧＣ回路より出力された輝度信号を測光枠設定回路１２１を通り、輝度情報検波・演算回路１２２を経て、カメラマイコン１１５に取り込まれる。カメラマイコン１１５は、そのレベルが所定の範囲内に入るように、絞り部材駆動源１１８を制御し、絞り１０３へと出力する。駆動電流を制御して、絞り１０３の開口量を可変する絞り制御により露出制御が行われる。
【００７５】
ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７による露出制御系は、絞り１０３による露出制御系同様、前記カメラマイコン１１５に取り込まれた輝度情報検波・演算回路１２２の出力レベルが所定の範囲内に入るように、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７のゲインのレベルを、カメラマイコン１１５にて制御することによる閉ループにより露出制御系が構成されている。
【００７６】
シャッタ速度による露出制御系は、絞り１０３による露出制御系同様、カメラマイコン１１５に取り込まれたレベルが所定の範囲内に入るように、撮像素子駆動回路１２３をカメラマイコン１１５にて制御することによる閉ループにより露出制御系が構成されている。まず図１８のプログラム線図を用いて、シャッタ速度と、絞りと、ＡＧＣ回路による３種類の露出制御手段が照度に応じてどのように制御されているか説明する。このプログラム線図はカメラマイコンに記憶されており、そのデータテーブルについては図１９において後述する。
【００７７】
図１８において、横軸は被写体照度、縦軸はアイリス、シャッタ速度、ゲインの各露出制御手段の設定値である。同図から明らかなように、各露出制御手段は被写体照度に応じてＡ，Ｂ，Ｃと３つの領域に分割されている。すなわち、被写体照度に応じて３種類の露出制御手段を組合わせることにより、露出の動作制御を行っている。領域Ａにおいては、前記シャッタ速度は１／６０（秒）に固定（ＰＡＬは１／５０（秒））され、且つ前記ＡＧＣ回路のゲインも０ｄＢで固定されており、前記絞りの開口量のみで露出が制御される。領域Ｂにおいては、前記絞り部材が開放で固定され、且つＡＧＣ回路のゲイン０ｄＢで固定され、前記シャッタ速度は１／６０（秒）に固定（ＰＡＬは１／５０（秒））されている。ＮＤの挿入により０〜１/８までの間で照度に応じて連続的にＮＤ濃度を変化させることができ、ＮＤにより露出が制御される。領域Ｃにおいては、前記絞り部材が開放で固定され、且つＡＧＣ回路のゲイン０ｄＢで固定され、ＮＤは１/８で固定されている。撮像素子の読み出しを制御して蓄積電荷量を制御することにより、前記シャッタ速度１／６０（秒）から１／８（秒）までの間で照度に応じて連続的にシャッタ速度を変化させることができ、シャッタにより露出が制御される。領域Ｄにおいては、前記絞りが開放で固定され、且つ前記シャッタ速度が１／８（秒）で固定されており、前記ＡＧＣ回路のみ露出が制御される。
【００７８】
この露出制御モードを実行する撮影モードのデータテーブルは図１９に示すようになっており、アイリス（絞り）、シャッタ、ＡＧＣゲインそれぞれにおけるプログラム線図の特性がパラメータごとに属性（関数か固定値か）、データ形式（しきい値か、マップ形式か、数値による定義か、コードによる定義か等）、実際のデータがそれぞれ記憶されており、これをカメラマイコン１１５に読み込むことによって図１８におけるプログラム線図が設定される。また、情報テーブルには他の設定情報も記憶されており、同図のＡＥウエイティングは撮像画面を複数の測光領域に分割した際の各測光領域の重み付けのデータをマップ形式で記憶したものであり、同図に示すように、画面を１６分割し、その中央部の重み付けを１とし、その周辺の重み付けを半分の０．５にしたものであり、所謂中央重点測光となっている。
【００７９】
また、ＡＥ基準値は撮像信号のレベルが一定になるように露出制御する際の目標基準値を表している。またその他にもガンマ特性を撮影状態に応じて可変したり、フェード効果を施したりする等の画質調整、画像効果処理の有無についても設定されている。本実施形態では、"ＮＯＲＭＡＬ"となっており、特別な画質、画像効果の処理は行われていないことを示している。
【００８０】
なお、上記の４種類の露出制御系を制御するにあたり、本実施形態では被写体照度の明るい順に、絞り→ＮＤ→スローシャッタ→ＡＧＣ回路の順で露出を制御したが、順序をアイリス→ＡＧＣ→ＮＤ→スローシャッタのように変えることもできる。
【００８１】
以上のように、車載撮影において、自動的に測光枠を移動し、常に安定した露出での撮影が可能になる。例えばコンシューマ用ビデオカメラを車載撮影のために車体に固定し撮影した場合においても、映像から求まる動きベクトルを用いることにより、映像の流れが少ない領域に測光枠を設定することができ、安定した評価値を取得することが可能になる。
【００８２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８３】
１０１：第１固定レンズ、１０２：変倍レンズ、１０３：絞り、１０４：第２固定レンズ、１０５：フォーカスコンペンセータレンズ、１０６：撮像素子、１０７：ＣＤＳ／ＡＧＣ／ＡＤコンバータ、１０８：カメラ信号処理回路、１０９：表示装置、１１０：記録装置、１１１：ＡＦゲート、１１２：焦点信号処理回路、１１３：動きベクトル検出回路、１１４：交点領域検出回路、１１５：カメラ／ＡＦマイコン、１１６：フォーカスレンズ駆動源、１１７：変倍レンズ駆動源、１１８：絞り部材駆動源、１１９：ＮＤフィルタ、１２０：ＮＤ部材駆動源、１２１：測光枠設定回路、１２２：輝度情報検波・演算回路、１２３：撮像素子駆動回路
【技術分野】
【０００１】
本発明は、ビデオカメラやデジタルカメラ等の撮像装置、その制御方法及びプログラムに関し、車両や移動体に搭載した車載撮影におけるオートフォーカスや自動露出制御等に適用される。
【背景技術】
【０００２】
車両の運転席近傍に取り付けられる車載用ビデオカメラは、ドライブ中、その運転席から見える範囲の映像を常時撮影して記録媒体に記録し、事故が発生した時には、所定の短い時間経過後まで記録した後、その記録を停止するよう構成されている。これにより、事故直前から直後の撮影映像を再生して、その事故が如何なる原因で生じたかを検証することができる。
【０００３】
このようなドライブ状態を撮影できる機能を備えたビデオカメラは、業務用車両のみならず、全ての個人の乗用車にも搭載されることが望ましい。しかしながら、このようなビデオカメラは実際には一部のタクシー等の業務用車両にしか搭載されていない。この種のビデオカメラは専用装置であるが故に高価なものであり、個人の乗用車等には搭載し難い。
【０００４】
一方で、コンシューマ用ビデオカメラは年々安価になり、主に家庭用として大多数の家庭に普及している。特許文献１には、普及型の手振れ検出センサーを備えたビデオカメラを用いて、車両のドライブ中、その車両の前方の広範囲にわたる情景を容易に撮影、記録できるようにしたビデオステーション、ビデオカメラ、車載用ビデオカメラ装置及び車両が開示されている。
【０００５】
従来より、ビデオカメラは、撮影対象物すなわち被写体にピントがあった最適合焦状態で確実に撮影を行うためにオートフォーカスが広く採用されている。オートフォーカスでは、画面の中央部分の測距領域に撮影対象物を位置させることで、上記撮影対象物に対する合焦状態を検出して、撮像光学系の合焦機構を自動調整する。被写体に対する合焦状態を検出する手法としては、合焦位置における撮像出力に含まれる先鋭度情報が最大になることを利用して合焦状態を検出する方式が知られている。
【０００６】
また、近年では、画像の手振れ補正等のために、画像信号から動きベクトルを検出する検討が盛んに行われている。この動きベクトルを用いて、被写体の動きを検出し、被写体を追尾して自動合焦を行う被写体追尾方式の自動合焦機能の開発も盛んになりつつある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−２６１８６５号公報
【特許文献２】米国特許３８９０４６２号明細書
【特許文献３】特公昭６０−４６８７８号公報
【非特許文献】
【０００８】
【非特許文献１】B.K.P. Horn, Artificial Intelligence 17, p.185 〜203 (1981)
【非特許文献２】尾上守夫、情報処理Vol. 17, No.7, p.634 〜 640 July 1976
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記従来例で説明したビデオカメラでは、車載撮影等に特化した機能は無く、車載撮影には不都合が生じる場合がある。例えば、走行中の撮影の場合、通常の撮影とは異なり、撮影者が常に被写体を狙って撮影しているわけではなく、車体の一部に固定されていることが考えられる。車体に固定されている場合、進行方向に対するカメラの角度や、道路のカーブによっては、主被写体が常に画面の中央部分に存在するとは限らない。このような撮影において、画面の中央部分に測距領域を設定して焦点調節を行った場合、ユーザの意図とは違う被写体にピントが合ってしまい主被写体にボケが生じる可能性がある。
【００１０】
また、走行中の撮影の場合、走行方向や速度に応じて、画面内の映像に流れが発生する。測距領域内の映像が流れた場合、測距値の変動が激しく変化して、正しい測距値が得られず、オートフォーカスが安定せず、映像にフワつきが発生してしまう可能性がある。
【００１１】
さらに、車載撮影の場合、画面内に車体の一部、又は車内の一部が写り込む状態が発生しやすい。しかしながら、車内と車外の明るさに大きな変化があるため、露出を調整する評価枠の設定を誤ると適正露出にならずに、露出がアンダー又はオーバーな映像が記録されてしまう可能性がある。
【００１２】
本発明は上記問題点に鑑みてなされたものであり、車載撮影において、自動的にオートフォーカスや露出制御用の評価領域を設定し、常に安定したピント、安定した露出での撮影を可能にすることを目的とする。
【課題を解決するための手段】
【００１３】
本発明の撮像装置は、撮像光学系により結像された光学像を映像信号に変換する撮像手段と、前記撮像手段で得られる映像信号から動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルの検出結果に応じて、所定の評価値を得るための当該映像上の評価領域を設定する評価領域設定手段とを備えたことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、車載撮影において、自動的にオートフォーカスや露出制御用の評価領域を設定し、常に安定したピント、安定した露出での撮影が可能になる。例えばコンシューマ用ビデオカメラを車載撮影のために車体に固定し撮影した場合においても、映像信号から検出される動きベクトルを用いることにより、映像の流れが少ない領域に評価領域を設定することができ、安定した評価値を取得することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態に係る撮像装置であるビデオカメラの構成を示す図である。
【図２】焦点調節制御を示すフローチャートである。
【図３】図２のフローチャートのＴＶ−ＡＦ制御の詳細な処理を示すフローチャートである。
【図４】図３のフローチャートの微小駆動モードの詳細な処理を示すフローチャートである。
【図５】微小駆動モードでのフォーカスレンズの動作を示す特性図である。
【図６】図３のフローチャートの山登りモードの詳細な処理を示すフローチャートである。
【図７】山登り駆動モード時のフォーカスレンズの動作を示す特性図である。
【図８】動きベクトルに応じた評価枠の設定を説明するための図である。
【図９】車体の移動と動きベクトルとの関係を示す図である。
【図１０】動きベクトルを用いた評価枠の設定判定を示すフローチャートである。
【図１１】動きベクトルを用いた評価枠の設定例を示す図である。
【図１２】動きベクトルを用いた評価枠の設定例を示す図である。
【図１３】動きベクトルを用いた評価枠の設定例を示す図である。
【図１４】動きベクトルを用いた評価枠の設定例を示す図である。
【図１５】動きベクトルに応じた評価枠の大きさ変更を示す図である。
【図１６】動きベクトルに応じた評価枠の設定を示すフローチャートである。
【図１７】第２の実施形態に係る撮像装置であるビデオカメラの構成を示す図である。
【図１８】露出制御を行う際のプログラム線図を示す図である。
【図１９】カメラマイコンに保持される露出制御用のデータテーブルを示す図である。
【図２０】露出調節制御を示すフローチャートである。
【図２１】動きベクトルの交点領域を利用したＡＥの重み付けを示す図である。
【発明を実施するための形態】
【００１６】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係るビデオカメラの構成を示す図である。なお、本実施形態ではビデオカメラについて説明するが、本発明はデジタルスチルカメラ等、他の撮像装置への適用も可能である。
【００１７】
図１において、１０１は第１固定レンズである。１０２は光軸方向に移動して変倍を行う変倍レンズである。１０３は絞りである。１０４は第２固定レンズである。１０５は変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えたフォーカスコンペンセータレンズ（以下、フォーカスレンズという）である。これら第１固定レンズ１０１、変倍レンズ１０２、絞り１０３、第２固定レンズ１０４及びフォーカスレンズ１０５により撮像光学系が構成される。
【００１８】
１０６は撮像光学系により結像される光学像を映像信号に変換する光電変換素子としての撮像素子であり、ＣＣＤセンサやＣＭＯＳセンサにより構成される。１０７はＣＤＳ／ＡＧＣ／ＡＤコンバータであり、撮像素子１０６の出力をサンプリング、ゲイン調整、デジタル化する。１０８はカメラ信号処理回路であり、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの出力信号に対して各種の画像処理を施す。１０９は表示装置であり、カメラ信号処理回路１０８からの映像信号を表示する。１１０は記録装置であり、カメラ信号処理回路１０８からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。
【００１９】
１１１はＡＦゲートであり、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通す。１１２は焦点信号処理回路であり、ＡＦゲート１１１を通過した信号から高周波成分や該高周波信号から生成した輝度差成分（ＡＦゲート１１１を通過した信号の輝度レベルの最大値と最小値の差分）等を抽出して焦点信号を生成する。ここで、焦点信号は、撮像素子１０６からの出力信号に基づいて生成される映像の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的に撮像光学系の焦点状態を表す信号となる。
【００２０】
１１３は動きベクトル検出回路であり、映像信号に対して公知の動きベクトル検出処理を施し、映像上の複数の領域に対して動きベクトルを検出処理する。画像の符号化装置や画像触れ補正装置に必要な動きベクトル検出方法としては、特許文献２や特許文献３等に記載の時空間勾配法、或いは相関演算に基づく相関法やブロックマッチング法（テンプレートマッチング法）がある。時空間勾配法については、非特許文献１で詳しく論じられている。また、ブロックマッチング法については、非特許文献２で詳しく論じられている。時空間勾配法は、フレーム（或いはフィールド）間の輝度差ｄと画面内の画素間の輝度差Δから、画像の動き量をｄ／Δで表す方法である。これは、カメラから得られる信号がフィールド周期の時間平均であり、画像の動き量が大きいほどエッジが鈍り、画素間の輝度差Δが小さくなる性質を利用し、フレーム（或いはフィールド）間の輝度差ｄを信号Δで正規化したものである。一方、ブロックマッチング法は、入力画像信号を適当な大きさのブロック（例えば８画素×８ライン）に分割し、ブロック単位に前のフレーム（或いはフィールド）の一定範囲の画素との差を計算する。そして、この差の絶対値の和が最小となる前のフレーム（或いはフィールド）のブロックを探査する。当該ブロックの相対的なずれがそのブロックの動きベクトルを表している。
【００２１】
１１４は交点領域検出回路であり、動きベクトル検出回路１１３の検出結果に基づいて動きベクトルの交点領域を算出し、その算出結果をカメラ／ＡＦマイコン１１５に送信する。交点領域検出回路１１４の処理については後述する。１１５はカメラ／ＡＦマイコン（以下、カメラマイコンという）である。カメラマイコン１１５は、動きベクトル検出回路１１３の検出結果に基づいて、交点領域に焦点検出に用いられる評価枠（評価領域）であるオートフォーカス枠（以下、ＡＦ枠と称する）を設定するようにＡＦゲート１１１へ情報を送信する。また、カメラマイコン１１５は、焦点信号処理回路１１２の出力信号に基づいて、後述するフォーカスレンズ駆動源１１６を制御してフォーカスレンズ１０５を駆動するとともに、記録装置１１０へ画像記録命令を出力する。
【００２２】
１１７は変倍レンズ駆動源であり、変倍レンズ１０２を移動させるためのアクチュエータ及びそのドライバを含む。１１６はフォーカスレンズ駆動源であり、フォーカスレンズ１０５を移動させるためのアクチュエータ及びそのドライバを含む。変倍レンズ駆動源１１７及びフォーカスレンズ駆動源１１６は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。
【００２３】
次に、カメラマイコン１１５が実行する焦点調節制御の概要について説明する。図２は、本実施形態における焦点調節制御を示すフローチャートである。まずステップＳ２０１で、カメラマイコン１１５は、ＴＶ−ＡＦ制御の基本となる焦点信号を取得するためのＡＦ枠の位置及び大きさを設定する。交点領域検出回路１１４で交点領域が検出された場合は該交点領域にＡＦ枠を設定し、交点領域が抽出されなかった場合は固定のＡＦ枠（初期位置）を設定する。この処理の詳細は図８〜図１６を参照して後述する。
【００２４】
次にステップＳ２０２で、カメラマイコン１１５の制御下で焦点信号処理回路１１２より、指定されたＡＦ枠の焦点信号を取得する。このとき、焦点信号処理回路１１２内のフィルタ係数を設定し、抽出特性の異なる複数のバンドパスフィルタを構築する。抽出特性とはバンドパスフィルタの周波数特性であり、ここでの設定とは焦点信号処理回路１１２内のバンドパスフィルタの設定値を変更することを意味する。
【００２５】
次にステップＳ２０３で、カメラマイコン１１５は、ＴＶ−ＡＦ制御により焦点調節を行う。この処理の詳細は図３を参照して後述する。その後、ステップＳ２０１へ戻る。
【００２６】
図３は、図２のステップＳ２０３で実行されるＴＶ−ＡＦ制御の詳細を示すフローチャートである。まずステップＳ３０１で、カメラマイコン１１５は、微小駆動モードであるかどうかを判別し、微小駆動モードである場合はステップＳ３０２へ遷移し、微小駆動モードでない場合はステップＳ３０８へ遷移する。ステップＳ３０２で、カメラマイコン１１５は微小駆動動作を行い、フォーカスレンズ１０５を所定の振幅で駆動し、合焦しているか、或いはどちらの方向に合焦点が存在するかを判別する。この処理の詳細は図４及び図５を参照して後述する。ステップＳ３０３で、カメラマイコン１１５は、ステップＳ３０２の微小駆動動作によって合焦判別が成功したかどうかを判別し、成功した場合はステップＳ３０６へ遷移し、成功しない場合はステップＳ３０４へ遷移する。ステップＳ３０４で、カメラマイコン１１５は、ステップＳ３０２の微小駆動動作によって方向判別が成功したかどうかを判別する。方向判別が成功した場合はステップＳ３０５へ遷移して山登り駆動モードへ移行し、成功しない場合はステップＳ３０１へ戻り、微小駆動モードを継続する。ステップＳ３０６で、カメラマイコン１１５は、合焦時の焦点信号レベルをカメラマイコン１１５内のメモリに格納した後、ステップＳ３０７へ遷移して再起動判定モードへ移行する。
【００２７】
一方、ステップＳ３０８で、カメラマイコン１１５は、山登り駆動モードであるかどうかを判別し、山登り駆動モードである場合はステップＳ３０９へ遷移し、山登り駆動モードでない場合はステップＳ３１３へ遷移する。ステップＳ３０９で、カメラマイコン１１５は山登り駆動動作を行い、焦点信号が大きくなる方向へ所定の速度でフォーカスレンズ１０５を山登り駆動する。この処理の詳細は図６及び図７を参照して後述する。ステップＳ３１０で、カメラマイコン１１５は、ステップＳ３０９の山登り駆動動作によって焦点信号のピーク位置が発見されたかどうかを判別する。発見された場合はステップＳ３１１へ遷移し、発見されない場合はステップＳ３０１へ戻り、山登り駆動モードを継続する。ステップＳ３１１で、カメラマイコン１１５は、焦点信号がピークとなったフォーカスレンズ１０５の位置を目標位置に設定した後、ステップＳ３１２へ遷移し、停止モードへ移行する。
【００２８】
一方、ステップＳ３１３で、カメラマイコン１１５は、停止モードであるかどうかを判別し、停止モードである場合はステップＳ３１４へ遷移し、停止モードでない場合はステップＳ３１６へ遷移する。ステップＳ３１４で、カメラマイコン１１５は、フォーカスレンズ１０５が焦点信号のピークとなる位置に戻ったかどうかを判別する。ピークとなる位置に戻った場合はステップＳ３１５へ遷移し、微小駆動（合焦判別）モードへの移行し、ピークとなる位置に戻っていない場合はステップＳ３０１へ戻り、停止モードを継続する。
【００２９】
一方、ステップＳ３１６で、カメラマイコン１１５は、現在の焦点信号レベルとステップＳ３０６で保持した焦点信号レベルとを比較し、その変動量が所定値より大きいかどうかを判別する。変動量が大きい場合はステップＳ３１７へ遷移し、微小駆動（方向判別）モードへの移行を行い、変動量が大きくない場合はステップＳ３０１へ戻り、再起動判定モードを継続する。
【００３０】
図３のステップＳ３０２で実行される微小駆動モードの詳細な処理について、図４及び図５を参照して説明する。図４は、図３のステップＳ３０２で実行される微小駆動モードの詳細な処理を示すフローチャートである。ステップＳ４０１で、カメラマイコン１１５は、微小駆動の動作状態を示すカウンタが現在０であるかどうかを判別し、０である場合はステップＳ４０２へ遷移し、０でない場合はステップＳ４０３へ遷移する。ステップＳ４０２で、カメラマイコン１１５は、フォーカスレンズ１０５が至近側にある場合の処理として、現在のＡＦ評価値レベルを保持する。ここでのＡＦ評価値は、後述のステップＳ４１０でフォーカスレンズ１０５が無限側にあるときに撮像素子１０６に蓄積された電荷から生成された画像信号によるものである。
【００３１】
ステップＳ４０３で、カメラマイコン１１５は、現在のカウンタが１であるかどうかを判別し、１である場合はステップＳ４０４へ遷移し、１でない場合はステップＳ４０９へ遷移する。ステップＳ４０４で、カメラマイコン１１５は、後述のステップＳ４０８でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。ステップＳ４０５で、カメラマイコン１１５は、ステップＳ４０２で保持した無限側のＡＦ評価値レベルと後述のステップＳ４１０で保持した至近側のＡＦ評価値レベルを比較する。その結果、前者が大きい場合はステップＳ４０６へ遷移し、後者が大きい場合はステップＳ４０７へ遷移する。ステップＳ４０６で、カメラマイコン１１５は、振動振幅と中心移動振幅を加算し、駆動振幅とする。一方、ステップＳ４０７で、カメラマイコン１１５は、振動振幅を駆動振幅とする。ステップＳ４０８で、カメラマイコン１１５は、ステップＳ４０６又はステップＳ４０７で求めた駆動振幅に基づき、無限方向へ駆動する。
【００３２】
ステップＳ４０９で、カメラマイコン１１５は、現在のカウンタが２であるかどうかを判別し、２である場合はステップＳ４１０へ遷移し、２でない場合はステップＳ４１１へ遷移する。ステップＳ４１０で、カメラマイコン１１５は、フォーカスレンズ１０５が無限側にある場合の処理として、現在のＡＦ評価値レベルを保持する。ここでのＡＦ評価値は、ステップＳ４０２でフォーカスレンズ１０５が至近側にあるときに撮像素子１０６に蓄積された電荷から生成された画像信号によるものである。ステップＳ４１１で、カメラマイコン１１５は、後述のステップＳ４１５でフォーカスレンズ１０５を駆動するための振動振幅、中心移動振幅を演算する。通常、これらの振幅は焦点深度内に設定されるのが一般的である。ステップＳ４１２で、カメラマイコン１１５は、ステップＳ４１０で保持した至近側のＡＦ評価値レベルとステップＳ４０２で保持した無限側のＡＦ評価値レベルを比較する。その結果、前者が大きい場合はステップＳ４１３へ遷移し、後者が大きい場合はステップＳ４１４へ遷移する。ステップＳ４１３で、カメラマイコン１１５は、振動振幅と中心移動振幅を加算し、駆動振幅とする。一方、ステップＳ４１４で、カメラマイコン１１５は、振動振幅を駆動振幅とする。ステップＳ４１５で、カメラマイコン１１５は、ステップＳ４１３又はステップＳ４１４で求めた駆動振幅に基づき、至近方向へ駆動する。
【００３３】
ステップＳ４１６で、カメラマイコン１１５は、現在方向判別モードであるかどうかを判別し、方向判別モードである場合はステップＳ４１７へ遷移し、方向判別モードでない場合はステップＳ４１９へ遷移する。ステップＳ４１７で、カメラマイコン１１５は、所定回数連続して同一方向に合焦点が存在しているかどうかを判別し、そうである場合はステップＳ４１８へ遷移し、そうでない場合はステップＳ４２１へ遷移する。ステップＳ４１８で、カメラマイコン１１５は向判別ができたものと判断する。一方、ステップＳ４１９で、カメラマイコン１１５は、フォーカスレンズが所定回数同一エリアで往復しているかどうかを判別し、そうである場合はステップＳ４２０へ遷移し、そうでない場合はステップＳ４２１へ遷移する。ステップＳ４２０で、カメラマイコン１１５は合焦判別できたものと判断する。ステップＳ４２１で、カメラマイコン１１５は、微小駆動の動作状態を示すカウンタが３であれば０に戻し、その他の値であればカウンタを加算する。
【００３４】
図５は、微小駆動モードでのフォーカスレンズ１０５の動作を示す特性図である。上の図は画像信号の垂直同期信号を示し、下の図は横軸が時間、縦軸がフォーカスレンズ１０５の位置を表している。ラベルＡの時刻に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶAは、時刻ＴAでカメラマイコン１１５に取り込まれる。また、ラベルＢの時刻に撮像素子１０６に蓄積された電荷に対するＡＦ評価値ＥＶBは、時刻ＴBでカメラマイコン１１５に取り込まれる。時刻ＴCではＡＦ評価値ＥＶAとＥＶBとを比較し、ＥＶBが大きい場合のみ振動中心を移動する。なお、ここでのフォーカスレンズ１０５の移動は焦点深度を基準とし、画面で認識できない移動量に設定する。
【００３５】
図３のステップＳ３０８で実行される山登り駆動モードの詳細な処理について、図６及び図７を参照して説明する。図６は、図３のステップＳ３０８で実行される山登り駆動モードの詳細な処理を示すフローチャートである。ステップＳ６０１で、カメラマイコン１１５はフォーカスレンズ１０５の駆動速度を設定する。ステップＳ６０２で、カメラマイコン１１５は、現在のＡＦ評価値レベルが前回より増加しているかどうかを判別し、増加している場合はステップＳ６０３へ遷移し、増加していない場合はステップＳ６０４へ遷移する。ステップＳ６０３で、カメラマイコン１１５は、ステップＳ６０１で設定した速度に基づき、フォーカスレンズ１０５を前回と同じ方向に山登り駆動する。
【００３６】
ステップＳ６０４で、カメラマイコン１１５は、ＡＦ評価値レベルがピーク位置を越えたかどうかを判別し、ピーク位置を超えた場合はステップＳ６０５へ遷移し、ピーク位置を超えていない場合はステップＳ６０６へ遷移する。ステップＳ６０５で、カメラマイコン１１５はピーク位置を発見したものと判断する。ステップＳ６０６で、カメラマイコン１１５は、ステップＳ６０１で設定した速度に基づき、フォーカスレンズ１０５を前回と逆の方向に山登り駆動する。なお、山登り駆動モードでこのステップＳ６０６を繰り返している場合、被写体のＡＦ評価値の変化量が十分に得られないためにフォーカスレンズ１０５がハンチング状態にあることを意味する。
【００３７】
図７は、山登り駆動モードでのフォーカスレンズ１０５の動作を示す特性図である。横軸がフォーカスレンズ１０５の位置、縦軸が焦点信号を表している。フォーカスレンズ１０５が範囲Ａで駆動している場合はＡＦ評価値が増加しているため、同じ方向への山登り駆動を継続する。ここで、フォーカスレンズ１０５を範囲Ｂで駆動するとＡＦ評価値はピーク位置を越えて減少する。このとき、合焦点が存在するとして山登り駆動動作を終了し、フォーカスレンズ１０５をピーク位置まで戻した後、微小駆動動作に移行する。一方、範囲Ｃのようにピーク位置を越えずにＡＦ評価値が減少した場合は駆動すべき方向を間違えたものとして反転し、山登り駆動動作を継続する。
【００３８】
このように、ＴＶ−ＡＦ方式による焦点調節制御では、再起動判定→微小駆動→山登り駆動→停止→微小駆動→再起動判定を繰り返しながらフォーカスレンズ１０５を移動させることで、ＡＦ評価値が常に最大となるように合焦状態を維持する。
【００３９】
以下、図８〜図１６を参照して、動きベクトルの検出結果に応じたＡＦ枠の設定方法について説明する。これは、図２のステップＳ２０１におけるＡＦ枠の領域情報の決定処理の詳細な説明である。図８（ａ）は入力画像であり、ｘ方向及びｙ方向に[７＊５]のブロックに分割されている。進行方向は画像奥方向である。図８（ｂ）は各ブロックで動きベクトルを検出した結果を示す。このような動きベクトルの分布図を一般にオプティカルフロー図と呼ぶ。画面奥方向に進行しているため、動きベクトルは進行方向を中心に放射状になる。図８（ｃ）は動きベクトルの値を（ｘ成分、ｙ成分）に変換して表示したものである。この各々の成分に変換した値を用いて、評価枠を決定する。図８（ｄ）は評価枠の設定方法を簡易的に示したものである。各々の動きベクトルは放射状に出ているため、動きベクトルの交点領域は領域Ｓであることが分かる。この動きベクトルの交点領域を評価枠とすることにより、安定したＡＦ評価値の取得ができ、適切なオートフォーカスを行うことが可能になる。以下、その評価枠の設定方法について説明を行う。
【００４０】
まず、動きベクトルに応じた評価枠の移動は常時行う必要はなく、車載カメラとして車体の一部に固定された状態で、且つ車体が移動している場合のみ行う処理である。図９、図１０を参照して、評価枠の設定において、初期位置の評価枠を用いるか、動きベクトルに応じた評価枠を用いるかの切り替えを行う処理を説明する。
【００４１】
図９は、初期位置の評価枠を用いるか、動きベクトルに応じた評価枠を用いるかの切り替えの判断を簡易的に示した図である。図８（ａ）が入力画像である場合に、図９（ａ）は車体が画像奥方向に駆動した初期状態を模した図である。画面の中央部分は画像の流れが少ないため、動きベクトルの発生は少ない。画面の端部分は画像の変化が大きいため、動きベクトルの発生がある。図９（ｂ）は車体が加速した状態を模した図である。車体の移動量が増えたため、画面の内側部分の動きベクトルが発生する。画面の端部分は移動量が増えたことにより、動きベクトルの強度が増える傾向にある。図９（ｃ）はさらに車体が加速した状態を模した図である。画面中央を除き、動きベクトルが発生する。このように、車体が停止から駆動状態に移行する際、動きベクトルは車体の移動量に伴い増加する。これを利用して、同じ領域内の動きベクトルの増加を監視し、動きベクトルの所定時間の増加が確認できた場合は、車体が駆動していると判断し、動きベクトルに応じた評価枠の設定を行う処理に移行する。図９（ｄ）は、画面内のある領域の動きベクトルの変化を示した図である。本実施形態では、動きベクトルのサンプル間隔において、Ｋ回連続して増加した場合を、車体の移動が開始したと判断することとしている。
【００４２】
図１０は、動きベクトルを用いた評価枠の設定判定のフローチャートである。ステップＳ１００２で、カメラマイコン１１５は、映像から動きベクトルが検出できたかどうかを判断する。動きベクトルが検出された場合はステップＳ１００３へ遷移し、動きベクトルが検出されなかった場合はステップＳ１０１２へ遷移する。
【００４３】
ステップＳ１００３で、カメラマイコン１１５は、検出された動きベクトルを３次元配列Ｖｅｃｔｏｒ_ｘ[ｎ][ｈ][ｉ]、Ｖｅｃｔｏｒ_ｙ[ｎ][ｈ][ｉ]に格納する。ｈはｘ軸方向の動きベクトルの検出領域数、ｉはｙ軸方向の動きベクトルの検出領域数を示し、ｎは記憶した配列の番号を示している。格納する方法は、動きベクトルをｘ成分、ｙ成分に分割し、それぞれを格納する。格納後、ステップＳ１００４に遷移する。ステップＳ１００４で、カメラマイコン１１５は配列の番号を示すｎをインクリメントし、ｎ＋１とする。ステップＳ１００５で、カメラマイコン１１５はｎが１を超えているかどうかを判断する。ｎが１を超えている、すなわち１を超える数の動きベクトルがすでに格納されている場合はステップＳ１００６へ遷移し、そうでない場合はステップＳ１０１２へ遷移する。
【００４４】
ステップＳ１００６で、カメラマイコン１１５は、ｎ−１（１つ前）に格納した各々の動きベクトル検出領域のベクトル成分を比較し、ベクトルの成分が増加しているかどうかを判断する。ベクトルの比較は、各々の差分を抽出し、減少・増加の判断を行う。比較後、ステップＳ１００７へ遷移する。
【００４５】
ステップＳ１００７で、カメラマイコン１１５は、動きベクトル検出領域の何％が増加しているかの確認を行う。本実施形態では、全検出領域の約６０％以上が増加である場合を閾値Ｔｈ１と設定することとするが、閾値Ｔｈ１の値は十分な測定を行い、任意の値に設定することが可能である。全体の領域数Ｖｓｕｍ=ｈ＊ｉに対して、増加している領域をカウントし、その領域数をＶｎｕｍとする。増加割合[％]＝Ｖｎｕｍ÷Ｖｓｕｍ×１００で算出し、増加割合＞Ｔｈ１以上であれば、全体の動きベクトルの増加が確認されたとし、ステップＳ１００８へ遷移する。そうでない場合はステップＳ１００９へ遷移する。ステップＳ１００９では、カメラマイコン１１５は、ベクトルの増加回数をカウントするＶＣｏｕｎｔを０に初期化する処理を行い、ステップＳ１０１２へ遷移する。
【００４６】
ステップＳ１００８で、カメラマイコン１１５は、ベクトルの増加回数をカウントするＶＣｏｕｎｔをインクリメントし、ステップＳ１０１０へ遷移する。ステップＳ１０１０で、カメラマイコン１１５は、ベクトルの増加カウントＶＣｏｕｎｔがＫ回連続で増加したかどうかを判断する。本実施形態では、閾値Ｋの値を３０回（実時間０．５秒に相当）に設定するが、閾値Ｋの値は十分な測定を行った上で任意の値に設定することが可能である。つまり、動きベクトルが増加傾向にある場合、具体的には動きベクトルの増加が連続して０．５秒間以上発生した場合は、車体がいずれかの方向に駆動中であると判断し、ステップＳ１０１１へ遷移する。そうでない場合はステップＳ１０１２へ遷移する。ステップＳ１０１１で、カメラマイコン１１５は、評価枠を動きベクトルに応じて変更する処理を行う。この処理の詳細は図１１を参照して後述する。
【００４７】
ステップＳ１０１２では、動きベクトルの増加が連続して０．５秒間以上発生していない、又は、動きベクトルが発生していない等の、動きベクトルに応じて評価枠を移動できない状態であるため、初期位置にある評価枠を設定することとする。
【００４８】
図１１は、動きベクトルに応じて評価枠を設定する領域である動きベクトルの交点領域の算出方法を示す図である。図１１（ａ）は入力画像である。図１１（ｂ）は動きベクトルを図示したオプティカルフロー図である。図１１（ｃ）は動きベクトルを各成分に分割したものである。Ｌ１は画像内のｘ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｘ＝１から７に向けてｘ成分は大きくなり、座標ｘ＝４でゼロクロス点があることを確認できる。これは、座標ｘ＝４を中心として、放射状に動きベクトルが発生しているためである。よって、ｘ成分のグラフのゼロクロス点を求めることにより、動きベクトルのｘ方向の交点領域が特定できる。同様に、Ｌ２は画像内のｙ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｙ＝１から５に向けてｙ成分は大きくなり、座標ｙ＝３でゼロクロス点があることを確認できる。これは、座標ｙ＝３を中心として、放射状に動きベクトルが発生しているためである。よって、ｙ成分のグラフのゼロクロス点を求めることにより、動きベクトルのｙ方向の交点領域が特定できる。以上のように、図１１（ａ）の入力画像は、座標（４，３）の位置に、動きベクトルの交点領域があると推測でき、その領域はもっとも動きベクトルが少なくなる。この座標（４，３）に評価枠を設定することにより、安定した評価値が得られ、適切なオートフォーカスが可能になる。このような処理を行うことにより、入力画像から、動きベクトルの交点領域を特定することが可能になる。
【００４９】
図１１では動きベクトルの交点領域が画像の中心にある例を示したが、続いて、交点領域が画像の中心以外にある例を示す。図１２（ａ）は入力画像である。この画像は、進行方向の先にカーブがある場合や、カメラが進行方向に対してある程度の角度を持って設置されていた場合に起こりうる画像である。図１２（ｂ）は動きベクトルを図示したオプティカルフロー図である。図１２（ｃ）は動きベクトルを各成分に分割したものである。Ｌ３は画像内のｘ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｘ＝１から７に向けてｘ成分は大きくなり、座標ｘ＝６でゼロクロス点があることを確認できる。これは、座標ｘ＝６を中心として、放射状に動きベクトルが発生しているためである。よって、ｘ成分のグラフのゼロクロス点を求めることにより、動きベクトルのｘ方向の交点領域が特定できる。同様に、Ｌ４〜Ｌ６は、画像内のｙ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｙ＝１から５に向けてｙ成分は大きくなり、座標ｙ＝３でゼロクロス点があることを確認できる。これは、座標ｙ＝３を中心として、放射状に動きベクトルが発生しているためである。よって、ｙ成分のグラフのゼロクロス点を求めることにより、動きベクトルのｙ方向の交点領域が特定できる。ただし、交点から遠くなるほど、動きベクトルは平行になる性質があるため、Ｘ座標１行目の値をグラフ化したＬ６は、Ｘ座標３〜７行目の値をグラフ化したＬ４に比べてｙ成分の変化が小さくなる。仮に、ｙ成分の変化が小さくなり、ゼロクロス点を持たない場合は、その行の値を無視し、他の行のゼロクロス点を参考にし、交点を求めることとする。以上のように、図１２（ａ）の入力画像は、座標（６，３）の位置に、動きベクトルの交点領域があると推測できる。
【００５０】
続いて、画面内にボンネットや室内等の写りこみがある例を示す。図１３（ａ）は入力画像であり、物体Ｐは常時写りこんでいる被写体である。図１３（ｂ）は動きベクトルを図示したオプティカルフロー図である。物体Ｐは動きを持たないので、動きベクトルは発生していないことが確認できる。図１３（ｃ）は動きベクトルを各成分に分割したものである。Ｌ７はｙ座標２〜５列目のｙ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｘ＝１から７に向けてｘ成分は大きくなり、座標ｘ＝４でゼロクロス点があることを確認できる。これは、座標ｘ＝４を中心として、放射状に動きベクトルが発生しているためである。Ｌ８はｙ座標１列目のｘ成分をグラフ化したものである。１列目は、物体Ｐにより、動きベクトルを持たないため、グラフにゼロクロス点が存在しない。よって、ゼロクロス点が存在しないグラフは無視し、ｙ座標２〜５列目のゼロクロス点からベクトルの交点を求めることとする。よって、ｘ成分のグラフのゼロクロス点はｘ＝４となる。同様に、図１３のＬ９はｘ座標６〜７列目のｙ成分のみを抽出し、その成分の値をグラフ化したものである。座標ｙ＝１から５に向けてｙ成分は大きくなり、座標ｙ＝３でゼロクロス点があることを確認できる。これは、座標ｙ＝３を中心として、放射状に動きベクトルが発生しているためである。Ｌ１０はｘ座標１〜５列目のｙ成分のみを抽出し、その成分の値をグラフ化したものである。これも同様に、座標ｙ＝３にてゼロクロス点を持つ。以上のように、図１３（ａ）の入力画像は、座標（４，３）の位置に、動きベクトルの交点領域があると推測できる。
【００５１】
図１４（ａ）は入力画像である。図１４（ｂ）は動きベクトルを図示したオプティカルフロー図である。図１４（ｃ）は動きベクトルを各成分に分割したものである。Ｌ１１は、画像のｘ成分のみを抽出し、その成分の値をグラフ化したものである。ｘ成分の変化はなく、ゼロクロス点も持たないことが分かる。また、Ｌ１２はｙ成分をグラフ化したものである。同様にｙ成分の変化はなく、ゼロクロス点も持たないことが分かる。以上のように、図１４（ａ）の入力画像は、ゼロクロス点を持たないため、動きベクトルの交点領域は存在しない。その場合は、画面全体に流れが発生していると判断し、初期位置にある評価枠の大きさを動きベクトルに応じて変更する。
【００５２】
図１５は、動きベクトルに応じた評価枠の大きさ変更を示す図である。図１５（ａ）、図１５（ｂ）に示すように、動きベクトルが所定量Ｔｈ２を越えた場合に、初期の評価枠Ｑから、評価枠Ｒのように大きさを動きベクトルに応じて変更する。これにより、画像の流れが発生した場合でも、評価枠を大きくすることにより、評価値の変動を少なくすることが可能になり、安定したオートフォーカスが可能になる。また、図１５（ｃ）に示すように動きベクトルが所定量Ｔｈ３を越えた場合は、画像の流れが大きく、評価枠を大きく設定しても、評価値が安定しない。よって、評価枠の設定を行わず、前のピント状態を維持し、ピントのフワつきを防ぐ。なお、上記説明した処理の流れは図１６のフローチャートを用いて説明する。
【００５３】
図１６は、動きベクトルに応じた評価枠の設定するための処理である。ステップＳ１６０２で、カメラマイコン１１５は、座標ｘのｊ行目のｘ軸方向の動きベクトルの成分の抽出を行う。成分の個数はシステムによって異なるが、本実施形態では、７＊５の検出領域を用いているため、成分の個数は７個ということになる。抽出が終了後、ステップＳ１６０３へ遷移する。ステップＳ１６０３で、カメラマイコン１１５は、抽出された成分の描く曲線のゼロクロス点となる領域の算出を行う。算出方法の一例は、座標ｘ＝１から７の方向に向かい、値が増加又は減少していることを確認し、値が０を超える、或いは、符号が切り替わる点をゼロクロス点として特定する。ゼロクロス点が特定できない場合、ｘ＝０とする。ゼロクロス点の算出後、ステップＳ１６０４へ遷移する。ステップＳ１６０４で、カメラマイコン１１５はｊ行目の値を１つインクリメントする。
【００５４】
ステップＳ１６０５で、カメラマイコン１１５は、画像内のすべての行において、算出が終了したかどうかの確認を行う。ｊが検出枠数よりも大きい場合は、すべての列の算出が終了したとして、ステップＳ１６０６へ遷移する。そうでない場合はステップＳ１６０２へ遷移して、同様の処理を繰り返す。
【００５５】
ステップＳ１６０６で、カメラマイコン１１５は、上記の処理によって算出されたｘ成分の交点領域の座標の決定を行う。図１１の例では、ｊ行すべてが同じ成分であったため、交点領域は１つに求まったが、図１３に示すような入力画像の場合は、交点領域候補が２点以上特定できる場合がある。その場合は、ｊ行中で過半数を占めるゼロクロス点を採用し、その他の点は無視することとする。特定された点をＸｃｒｏｓｓとし、ステップＳ１６０７へ遷移する。
【００５６】
ステップＳ１６０７で、カメラマイコン１１５は、座標ｙのｋ列目のｙ軸方向の動きベクトルの成分の抽出を行う。成分の個数はシステムによって異なるが、本実施形態では、７＊５の検出領域を用いているため、成分の個数は５個ということになる。抽出が終了後、ステップＳ１６０８へ遷移する。ステップＳ１６０８で、カメラマイコン１１５は、抽出された成分の描く曲線のゼロクロス点となる領域の算出を行う。算出方法の一例は、座標ｙ＝１から５の方向に向かい、値が増加又は減少していることを確認し、値が０を超える、或いは、符号が切り替わる点をゼロクロス点として特定する。ゼロクロス点が特定できない場合、ｙ＝０とする。ゼロクロス点の算出後、ステップＳ１６０９へ遷移する。ステップＳ１６０９で、カメラマイコン１１５はｋ行目の値を１つインクリメントする。
【００５７】
ステップＳ１６１０で、カメラマイコン１１５は、画像内のすべての列において、算出が終了したかどうかの確認を行う。ｋが検出枠数よりも大きい場合は、すべての列の算出が終了したとして、ステップＳ１６１１へ遷移する。そうでない場合はステップＳ１６０７へ遷移して、同様の処理を繰り返す。
【００５８】
ステップＳ１６１１で、カメラマイコン１１５は、上記の処理によって算出されたｙ成分の交点領域の座標の決定を行う。図１１の例では、ｋ列すべてが同じ成分であったため、交点領域は１つに求まったが、図１３に示すような入力画像の場合は、交点領域候補が２点以上特定できる場合がある。その場合は、ｋ列中で過半数を占めるゼロクロス点を採用し、その他の点は無視することとする。特定された点をＹｃｒｏｓｓとし、ステップＳ１６１２へ遷移する。
【００５９】
ステップＳ１６１２で、カメラマイコン１１５は、上記で特定されたベクトルの交点領域の確認を行う。上記の処理において、交点領域（Ｘｃｒｏｓｓ，Ｙｃｒｏｓｓ）が算出された場合はステップＳ１６１６へ遷移する。上記の処理において、交点が特定できなかった場合、つまり、交点領域（０，０）であった場合はステップＳ１６１３へ遷移する。ステップＳ１６１６で、カメラマイコン１１５は、交点領域が求まっているため、評価枠を交点領域（Ｘｃｒｏｓｓ，Ｙｃｒｏｓｓ）に設定し、処理を終了する。一方、交点領域が特定できなかった場合は、カメラが進行方向に向かって固定されていない、もしくは右折や左折等により映像がすべて流れている等が考えられる。この場合、動きベクトルの量に応じて、評価枠を変更する処理を行う。変更方法は、図１５を用いて既に説明済みであるため省略する。
【００６０】
ステップＳ１６１３で、カメラマイコン１１５は、交点領域が特定できなかった場合、画面内の動きベクトルの方向を確認する。画面内の動きベクトルが同一方向に向いている場合はステップＳ１６１４へ遷移する。そうでない場合はステップＳ１６１７へ遷移する。ステップＳ１６１４では、動きベクトルの大きさがＴｈ２以上であるかどうかを確認する。Ｔｈ２以上である場合は、画面内の映像の流れが大きく、評価値が安定できないと判断し、ステップＳ１６１５へ遷移する。そうでない場合はステップＳ１６１７へ遷移する。ステップＳ１６１７で、カメラマイコン１１５は、交点領域が特定できない、又は、動きベクトルが小さいという状況であるため、評価枠は初期位置のままで評価値の取得を行う。よって、評価枠を初期位置に設定し、処理を終了する。
【００６１】
ステップＳ１６１５で、カメラマイコン１１５は、動きベクトルの大きさがＴｈ３以上であるかのどうかを確認する。Ｔｈ３以上である場合は、画面内の映像からは、適切な評価値は算出できないと判断し、ステップＳ１６１９へ遷移する。そうでない場合はステップＳ１６１８へ遷移する。ステップＳ１６１８で、カメラマイコン１１５は、動きベクトルが所定量Ｔｈ２以上Ｔｈ３以下あるため、評価枠を大きくして安定した評価値の取得を処理である。評価枠の大きさは図１５（ａ）のグラフに基づき設定することとする。評価枠の設定後、処理を終了する。ステップＳ１６１９で、カメラマイコン１１５は、動きベクトルが所定量Ｔｈ３以上あるため、画像から適切な評価値は取得できないので、評価枠を設定しない。さらに、画像のボケ・フワつきを抑えるためにオートフォーカスの制御は行わず前の状態でフォーカスをロックする。
【００６２】
以上のように、車載撮影において、自動的にＡＦ枠を設定し、常に安定したピントでの撮影が可能になる。例えばコンシューマ用ビデオカメラを車載撮影のために車体に固定し撮影した場合においても、映像から求まる動きベクトルを用いることにより、映像の流れが少ない領域にＡＦ枠を設定することができ、安定した評価値を取得することが可能になる。
【００６３】
カメラが進行方向に対して斜めに固定されている場合や、進行方向にカーブがある場合は、画像の中心画像は流れてしまうが、動きベクトルから交点領域を特定することにより、撮影の主被写体になるであろう進行方向の画像の流れが少ない領域に評価枠を設定することができる。これにより、カメラを固定した状態でも、適切な撮影を行うことが可能になる。
【００６４】
また、画像から求まる動きベクトルから交点領域を特定することにより、車体の移動による画像の流れが発生している領域を避け、画像の流れが少ない領域に評価枠を設定することができる。
【００６５】
さらに、画像の一部に車体、もしくは車内の一部が写りこんでいるような状態であっても、動きベクトルから交点領域を特定することにより、車外の画像の流れが少ない領域に評価枠を設定することができ、安定したピント、安定した露出での撮影が可能になる。
【００６６】
＜第２の実施形態＞
図１７は、第２の実施形態に係るビデオカメラの構成を示す図である。なお、本実施形態ではビデオカメラについて説明するが、本発明はデジタルスチルカメラ等、他の撮像装置への適用も可能である。以下では、第１の実施形態との相違点を中心に説明し、第１の実施形態に係るビデオカメラと同様の構成要素には同一の符号を付し、その詳細な説明は省略する。
【００６７】
１１８は絞り部材駆動源であり、絞り１０３を駆動させるためのアクチュエータ及びそのドライバを含む。１１９はレンズから入射する光を減衰させるためのＮＤフィルタである。１２０はＮＤ部材駆動源であり、ＮＤフィルタ１１９を駆動させるためのアクチュエータ及びそのドライバを含む。
【００６８】
１２１は測光枠設定回路であり、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７からの全画素の出力信号のうち測光値検出に用いられる領域の信号のみを通す。１２２は輝度情報検波・演算回路であり、デジタルの画像データに基づいて輝度値を検波し、検波した輝度値を演算処理する。１２３は撮像素子駆動回路である。
【００６９】
第１の実施形態と同様に、交点領域検出回路１１４は、動きベクトル検出回路１１３の検出結果に基づいて動きベクトルの交点領域を算出し、その算出結果をカメラマイコン１１５に送信する。カメラマイコン１１５は、交点領域に測光値検出に用いられる評価枠（評価領域）である測光枠を設定するように測光枠設定回路１２１へ情報を送信する。その後、画面内の測光枠の輝度値を取得するため、輝度情報検波・演算回路１２２により測光値を取得し、測光した測光値を演算により正規化する。このとき、同時に画面全体の測光値も輝度情報検波・演算回路１２２により演算を行う。そして、カメラマイコン１１５で測光値と適正な露出が得られるように設定された目標値との差分を算出する。その後、算出した差分からカメラマイコン１１５により絞りの補正駆動量を算出し、絞り部材駆動源１１８、ＮＤ部材駆動源１２０の駆動を制御する。
【００７０】
次に、カメラマイコン１１５が実行する露出調節制御の概要について説明する。図２０は、本実施形態における露出調節制御を示すフローチャートである。まずステップＳ２００１で、カメラマイコン１１５の制御下で輝度情報検波・演算回路１２２より、露出制御の基本となる輝度信号を取得するための測光枠の位置と大きさを設定する。測光枠の大きさは、交点領域検出回路１１４において、交点領域が検出された場合は、該交点領域を測光枠位置と設定する。交点領域が抽出されなかった場合は、固定の測光枠（初期位置：中央重点測光）を評価枠と設定する。なお、この交点領域の特定方法の詳細は第１の実施形態にて説明済みであるため省略する。
【００７１】
ステップＳ２００２で、カメラマイコン１１５は、指定された測光枠の輝度信号を取得する。この処理の詳細は図２１を参照して後述する。
【００７２】
ステップＳ２００３で、カメラマイコン１１５は、露出制御により輝度調整を行う。この処理の詳細は図１８を参照して後述する。その後、ステップＳ２００１へ戻り、この処理を繰り返す。
【００７３】
ステップＳ２００２における測光枠の輝度情報の取得について、図２１を参照して説明する。図２１（ａ）は、図１１（ａ）の入力画像に動きベクトルを図示したオプティカルフロー図である。領域Ｓは、ステップＳ２００１において複数の動きベクトルから特定されるベクトルの交点領域を示したものである。図２１（ｂ）は、カメラマイコンに記録されているＡＥの重み付け、ＡＥウエイティングを示したものである。ＡＥウエイティングについては後述することとする。ステップＳ２００１によって特定された交点領域を中心に、領域Ｓ´のＡＥの重み付けを１とし、その周辺の重み付けを半分の０．５にしている。こうすることにより、交点領域を中心とした、画像に流れの少ない部分の測光値が取得でき、安定した露出制御が可能になる。なお、この設定は一例であり、十分な測定を行いその結果に基づいて、適切な露出が得られる値に設定を変更することも可能である。同様に、図２１（ｃ）は、図１２（ａ）の入力画像に動きベクトルを図示したオプティカルフロー図である。図２１（ｄ）も上述の通り、領域Ｓを中心に重み付けを行っている。重み付けは図のとおりであるため、その説明を省略する。
【００７４】
次に、ステップＳ２００３における露出制御について説明する。撮影レンズからの光学像が絞り１０３を介して、撮像素子１０６にて光電変換され、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７を経て映像子音号となり、カメラ信号処理回路１０８に送られる。露出制御するための信号は、ＡＧＣ回路より出力された輝度信号を測光枠設定回路１２１を通り、輝度情報検波・演算回路１２２を経て、カメラマイコン１１５に取り込まれる。カメラマイコン１１５は、そのレベルが所定の範囲内に入るように、絞り部材駆動源１１８を制御し、絞り１０３へと出力する。駆動電流を制御して、絞り１０３の開口量を可変する絞り制御により露出制御が行われる。
【００７５】
ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７による露出制御系は、絞り１０３による露出制御系同様、前記カメラマイコン１１５に取り込まれた輝度情報検波・演算回路１２２の出力レベルが所定の範囲内に入るように、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１０７のゲインのレベルを、カメラマイコン１１５にて制御することによる閉ループにより露出制御系が構成されている。
【００７６】
シャッタ速度による露出制御系は、絞り１０３による露出制御系同様、カメラマイコン１１５に取り込まれたレベルが所定の範囲内に入るように、撮像素子駆動回路１２３をカメラマイコン１１５にて制御することによる閉ループにより露出制御系が構成されている。まず図１８のプログラム線図を用いて、シャッタ速度と、絞りと、ＡＧＣ回路による３種類の露出制御手段が照度に応じてどのように制御されているか説明する。このプログラム線図はカメラマイコンに記憶されており、そのデータテーブルについては図１９において後述する。
【００７７】
図１８において、横軸は被写体照度、縦軸はアイリス、シャッタ速度、ゲインの各露出制御手段の設定値である。同図から明らかなように、各露出制御手段は被写体照度に応じてＡ，Ｂ，Ｃと３つの領域に分割されている。すなわち、被写体照度に応じて３種類の露出制御手段を組合わせることにより、露出の動作制御を行っている。領域Ａにおいては、前記シャッタ速度は１／６０（秒）に固定（ＰＡＬは１／５０（秒））され、且つ前記ＡＧＣ回路のゲインも０ｄＢで固定されており、前記絞りの開口量のみで露出が制御される。領域Ｂにおいては、前記絞り部材が開放で固定され、且つＡＧＣ回路のゲイン０ｄＢで固定され、前記シャッタ速度は１／６０（秒）に固定（ＰＡＬは１／５０（秒））されている。ＮＤの挿入により０〜１/８までの間で照度に応じて連続的にＮＤ濃度を変化させることができ、ＮＤにより露出が制御される。領域Ｃにおいては、前記絞り部材が開放で固定され、且つＡＧＣ回路のゲイン０ｄＢで固定され、ＮＤは１/８で固定されている。撮像素子の読み出しを制御して蓄積電荷量を制御することにより、前記シャッタ速度１／６０（秒）から１／８（秒）までの間で照度に応じて連続的にシャッタ速度を変化させることができ、シャッタにより露出が制御される。領域Ｄにおいては、前記絞りが開放で固定され、且つ前記シャッタ速度が１／８（秒）で固定されており、前記ＡＧＣ回路のみ露出が制御される。
【００７８】
この露出制御モードを実行する撮影モードのデータテーブルは図１９に示すようになっており、アイリス（絞り）、シャッタ、ＡＧＣゲインそれぞれにおけるプログラム線図の特性がパラメータごとに属性（関数か固定値か）、データ形式（しきい値か、マップ形式か、数値による定義か、コードによる定義か等）、実際のデータがそれぞれ記憶されており、これをカメラマイコン１１５に読み込むことによって図１８におけるプログラム線図が設定される。また、情報テーブルには他の設定情報も記憶されており、同図のＡＥウエイティングは撮像画面を複数の測光領域に分割した際の各測光領域の重み付けのデータをマップ形式で記憶したものであり、同図に示すように、画面を１６分割し、その中央部の重み付けを１とし、その周辺の重み付けを半分の０．５にしたものであり、所謂中央重点測光となっている。
【００７９】
また、ＡＥ基準値は撮像信号のレベルが一定になるように露出制御する際の目標基準値を表している。またその他にもガンマ特性を撮影状態に応じて可変したり、フェード効果を施したりする等の画質調整、画像効果処理の有無についても設定されている。本実施形態では、"ＮＯＲＭＡＬ"となっており、特別な画質、画像効果の処理は行われていないことを示している。
【００８０】
なお、上記の４種類の露出制御系を制御するにあたり、本実施形態では被写体照度の明るい順に、絞り→ＮＤ→スローシャッタ→ＡＧＣ回路の順で露出を制御したが、順序をアイリス→ＡＧＣ→ＮＤ→スローシャッタのように変えることもできる。
【００８１】
以上のように、車載撮影において、自動的に測光枠を移動し、常に安定した露出での撮影が可能になる。例えばコンシューマ用ビデオカメラを車載撮影のために車体に固定し撮影した場合においても、映像から求まる動きベクトルを用いることにより、映像の流れが少ない領域に測光枠を設定することができ、安定した評価値を取得することが可能になる。
【００８２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８３】
１０１：第１固定レンズ、１０２：変倍レンズ、１０３：絞り、１０４：第２固定レンズ、１０５：フォーカスコンペンセータレンズ、１０６：撮像素子、１０７：ＣＤＳ／ＡＧＣ／ＡＤコンバータ、１０８：カメラ信号処理回路、１０９：表示装置、１１０：記録装置、１１１：ＡＦゲート、１１２：焦点信号処理回路、１１３：動きベクトル検出回路、１１４：交点領域検出回路、１１５：カメラ／ＡＦマイコン、１１６：フォーカスレンズ駆動源、１１７：変倍レンズ駆動源、１１８：絞り部材駆動源、１１９：ＮＤフィルタ、１２０：ＮＤ部材駆動源、１２１：測光枠設定回路、１２２：輝度情報検波・演算回路、１２３：撮像素子駆動回路
【特許請求の範囲】
【請求項１】
撮像光学系により結像された光学像を映像信号に変換する撮像手段と、
前記撮像手段で得られる映像信号から動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトルの検出結果に応じて、所定の評価値を得るための当該映像上の評価領域を設定する評価領域設定手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記動きベクトル検出手段は、前記撮像手段で得られる映像をｘ方向及びｙ方向に複数のブロックに分割し、各ブロックで動きベクトルを検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記評価領域設定手段は、前記各ブロックで検出した動きベクトルの交点領域を前記評価領域とすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記評価領域設定手段は、前記各ブロックで検出した動きベクトルのｘ成分のゼロクロス点及びｙ成分のゼロクロス点を求めて、前記交点領域を特定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記評価領域設定手段は、前記撮像手段で得られる映像上で動きベクトルが一方向に向いている場合、その動きベクトルの大きさに応じて、初期位置にある評価領域の大きさを変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記評価領域設定手段は、前記撮像手段で得られる映像の一定の割合以上の領域において動きベクトルが増加傾向にない場合、初期位置にある評価領域を用いることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記評価領域は焦点信号を取得するためのオートフォーカス枠であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記評価領域は測光値を取得するための測光枠であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項９】
撮像光学系により結像された光学像を映像信号に変換する撮像手段を備えた撮像装置の制御方法であって、
前記撮像手段で得られる映像信号から動きベクトルを検出するステップと、
前記動きベクトルの検出結果に応じて、所定の評価値を得るための当該映像上の評価領域を設定するステップとを有することを特徴とする撮像装置の制御方法。
【請求項１０】
撮像光学系により結像された光学像を映像信号に変換する撮像手段を備えた撮像装置において評価領域を設定するためのプログラムであって、
前記撮像手段で得られる映像信号から動きベクトルを検出する処理と、
前記動きベクトルの検出結果に応じて、所定の評価値を得るための当該映像上の評価領域を設定する処理とをコンピュータに実行させるためのプログラム。
【請求項１】
撮像光学系により結像された光学像を映像信号に変換する撮像手段と、
前記撮像手段で得られる映像信号から動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトルの検出結果に応じて、所定の評価値を得るための当該映像上の評価領域を設定する評価領域設定手段とを備えたことを特徴とする撮像装置。
【請求項２】
前記動きベクトル検出手段は、前記撮像手段で得られる映像をｘ方向及びｙ方向に複数のブロックに分割し、各ブロックで動きベクトルを検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記評価領域設定手段は、前記各ブロックで検出した動きベクトルの交点領域を前記評価領域とすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記評価領域設定手段は、前記各ブロックで検出した動きベクトルのｘ成分のゼロクロス点及びｙ成分のゼロクロス点を求めて、前記交点領域を特定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記評価領域設定手段は、前記撮像手段で得られる映像上で動きベクトルが一方向に向いている場合、その動きベクトルの大きさに応じて、初期位置にある評価領域の大きさを変更することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記評価領域設定手段は、前記撮像手段で得られる映像の一定の割合以上の領域において動きベクトルが増加傾向にない場合、初期位置にある評価領域を用いることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記評価領域は焦点信号を取得するためのオートフォーカス枠であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記評価領域は測光値を取得するための測光枠であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項９】
撮像光学系により結像された光学像を映像信号に変換する撮像手段を備えた撮像装置の制御方法であって、
前記撮像手段で得られる映像信号から動きベクトルを検出するステップと、
前記動きベクトルの検出結果に応じて、所定の評価値を得るための当該映像上の評価領域を設定するステップとを有することを特徴とする撮像装置の制御方法。
【請求項１０】
撮像光学系により結像された光学像を映像信号に変換する撮像手段を備えた撮像装置において評価領域を設定するためのプログラムであって、
前記撮像手段で得られる映像信号から動きベクトルを検出する処理と、
前記動きベクトルの検出結果に応じて、所定の評価値を得るための当該映像上の評価領域を設定する処理とをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−２４２７５９（Ｐ２０１２−２４２７５９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１５１２１（Ｐ２０１１−１１５１２１）
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２３日（２０１１．５．２３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]