撮像装置
【課題】 動画撮影時に、被写体の輝度変化に対応したゲイン設定を行うと共に、ゲイン設定切換え時に生じる撮影画像の輝度変化による画像劣化を低減すること。
【解決手段】 第１の増幅手段と、第２の増幅手段との出力の合計が入射光量に基づく露出制御手段の出力である制御ゲインによって決定され、ゲイン制御手段の行う第１及び第２の増幅手段の各々に設定される第１及び第２のゲインの各々のゲイン切換えを、ゲイン制御手段が算出する制御ゲインの所定時間毎の出力変化量と、ヒストグラム算出手段によって撮影画像のヒストグラムからの検出された黒レベル領域結果に基づいて、黒レベル領域判定手段が判定する黒レベル領域判定結果とから、制御ゲインの所定時間毎の出力変化量が所定の閾値以上かつ黒レベル領域判定手段の黒レベル領域判定結果が所定の割合以下と判断された場合に、第１及び第２の増幅手段の第１及び第２のゲインを切り換えるようにする。
【解決手段】 第１の増幅手段と、第２の増幅手段との出力の合計が入射光量に基づく露出制御手段の出力である制御ゲインによって決定され、ゲイン制御手段の行う第１及び第２の増幅手段の各々に設定される第１及び第２のゲインの各々のゲイン切換えを、ゲイン制御手段が算出する制御ゲインの所定時間毎の出力変化量と、ヒストグラム算出手段によって撮影画像のヒストグラムからの検出された黒レベル領域結果に基づいて、黒レベル領域判定手段が判定する黒レベル領域判定結果とから、制御ゲインの所定時間毎の出力変化量が所定の閾値以上かつ黒レベル領域判定手段の黒レベル領域判定結果が所定の割合以下と判断された場合に、第１及び第２の増幅手段の第１及び第２のゲインを切り換えるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関し、詳しくは、動画撮影時の撮像装置の感度制御に関するものである。
【背景技術】
【０００２】
ＣＣＤ、ＣＭＯＳ等の固体撮像素子を用いたデジタルビデオカメラでは、撮影シーンの輝度変化に基づき自動的に感度を制御し、適正露出で撮影可能な機能（以下、自動露出制御機能）を備えている。この自動露出制御機能は、光学的な絞り・ＮＤ制御および時間的な電子シャッター制御、更にはカメラ内部の電気信号を増幅する電気的なゲイン制御によって入射光量の調節を実現している。電気信号のゲイン制御は信号レベルと同時にノイズレベルも同様に増幅してしまうため、自動露出制御機能は、絞り・ＮＤ制御と電子シャッター制御での入射光量の調節を優先的に行うことが一般的である。
【０００３】
しかしながら、撮影シーンの照度が低く、絞り・ＮＤ制御と電子シャッター制御では十分な光量が得られない場合には電気信号のゲイン制御が必須となる。この電気信号のゲイン制御には、いくつかの方法があり、例えば、信号処理系統内に複数設けられた増幅手段の前段で大きくゲインをかけ、後段で前段より刻み幅の細かいゲインをかけることによって、ノイズの少ない画像を得るというものがある。
【０００４】
具体的には、撮像素子のレイアウト構成上、ゲインの設定が１倍、２倍、４倍等の離散的となる撮像素子内部に設ける前段のアナログ増幅手段と、前記アナログ増幅手段より細かい刻み幅のゲイン設定が可能な撮像素子より後段の電気回路に設けるデジタル増幅手段とを、各々備える構成とする。前述の構成において、後段のデジタル増幅手段の細かい刻み幅のゲイン制御を行い、所定時間経過後に撮像素子内部のアナログ増幅手段の離散的なゲイン制御を組み合わせることで増幅時のノイズの影響を低減しつつ、連続的なゲイン制御を可能とする撮像装置が提案されている（例えば、特許文献１参照）。
【０００５】
また、他の提案として、ゲイン分割ステップの大きい第１の増幅手段とゲイン分割ステップのより小さい第２の増幅手段を備え、二つの増幅手段のゲイン特性が線形な特性となるように、前記第１の増幅手段のゲイン切換えを考慮して、前記第２の増幅手段のゲインを変化させる撮像装置がある（例えば、特許文献２参照）。
【０００６】
前述の特許文献１は、動画撮影時の輝度変化を滑らかにするため、被写体の輝度が低下してからあらかじめ設定された時間の間は、アナログ増幅手段のゲインは変えずに、後段のデジタル増幅手段のゲインによってゲイン調節を行う。その後、被写体の輝度が変化してから変化した輝度レベルのままあらかじめ設定した時間が経過したら、アナログ増幅手段のゲインを変えるとともにデジタル増幅手段のゲインも変え、最終的なトータルゲインが変わらないゲイン制御を行うように制御を可能としている。
【０００７】
また、前述の特許文献２は、動画撮影時の輝度変化を滑らかにするため、第１および第２の二つの増幅手段のゲイン特性が線形な特性となるように、前記第１の増幅手段のゲイン切換えを考慮して、前記第２の増幅手段のゲインを変化させている。そして、ゲイン分割ステップの大きい第１の増幅器のゲイン切換り時に生じるノイズを含む映像信号部分を有する映像フレーム信号を、他のフレーム信号に置き換えることで、映像信号に生じるノイズの影響をなくすことを可能としている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−０４９９８１号公報
【特許文献２】特許第０３５７３４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１では、動画撮影時の輝度の変化に対して、あらかじめ設定された時間の間は前段のアナログ増幅手段によるゲイン変更をせず、後段のデジタル増幅手段のみでゲイン調節を行い、その後、被写体の輝度変化が変化した輝度レベルのままあらかじめ設定された時間経過後に、アナログ増幅手段のゲインを変えるとともにデジタル増幅手段のゲインも変え、最終的なトータルゲインが変わらないゲイン調節を行うように制御するため、以下のような問題があった。
【００１０】
例えば、アナログ増幅手段とデジタル増幅手段のゲイン切換えを、被写体の輝度が変化した輝度レベルのままあらかじめ設定された時間経過後の輝度レベルが安定した状態で行っているので、ゲイン切換え時の切換えノイズが目立つ場合がある。
【００１１】
また、動画撮影時の輝度の変化に対して、あらかじめ設定された時間の間は前段のアナログ増幅手段のゲイン変更量を所望のゲイン変更量の半分程度とし、前段のアナログ増幅手段のゲインに不足する分を後段のデジタル増幅手段によってゲイン調節を行い、その後、被写体の輝度変化が変化した輝度レベルのままあらかじめ設定された時間経過後に、アナログ増幅手段のゲインを更に変えるとともにデジタル増幅手段のゲインも変え、最終的なトータルゲインが変わらないゲイン調節を行うように制御するため、以下のような問題があった。
【００１２】
アナログ増幅手段とデジタル増幅手段のゲイン切換えを、被写体の輝度が変化した輝度レベルが変化した時点と、被写体の輝度が変化した輝度レベルのままあらかじめ設定された時間経過後に行っているので、ゲイン切換え時の切換えノイズが複数回発生して目立つ場合がある。
【００１３】
また、上記特許文献２では、ゲイン分割ステップの大きい第１の増幅器のゲイン切換り時に生じるノイズを含む映像信号部分を有する映像フレーム信号を、直前のフレーム信号に置き換えることで、映像信号に生じるノイズの影響をなくすとしているため、以下のような問題があった。
【００１４】
例えば、撮影時の撮像装置は定点撮影とは限らず、パンニングやチルティング（以下、パンニング）、画角変更など、ユーザーの意図による操作がなされる。従って、撮影シーンによっては輝度変化が大きく生じる場合があり、ゲイン制御の追従が収束するまでに時間を要し、増幅手段のゲイン切換え時に生じるノイズを含む映像信号部分を有するフレーム信号の連続性が乏しくなるような場合は、直前のフレーム信号に置き換えてもゲイン切換えノイズがなくなる効果が弱くなる。または、フレーム信号間の相関がなくなり逆にノイズが生じてしまう。
【００１５】
したがって、本出願に係る目的は、低照度の被写体を撮影する場合に、離散的なゲイン設定のアナログ増幅手段と、前記アナログ増幅手段より細かい刻みのゲイン設定可能なデジタル増幅手段とのゲイン設定切換えを、入射光量に基づいて決定されるトータルゲインの所定期間中のゲイン変化量と撮影画像のヒストグラムから検出した黒レベル領域の割合に基づいて行い、アナログ増幅手段のゲイン切換えノイズが目立つことを低減させることにある。
【課題を解決するための手段】
【００１６】
上記目的を達成するため、本出願に係る発明は、撮像光学手段と、前記撮像光学手段によって集光される入射光を電気信号へ変換する撮像手段と、前記電気信号を第１のゲインで増幅する第１の増幅手段と、前記第１の増幅手段の出力を前記第１のゲインより細かい刻み幅の第２のゲインで増幅する第２の増幅手段と、前記第１の増幅手段の出力と、前記第２の増幅手段の出力の合計が、前記撮像素子への入射光量に基づいて決定される制御ゲインを算出する露出制御手段と、前記露出制御手段の出力からヒストグラムを算出するヒストグラム算出手段と、前記ヒストグラム算出手段のの出力に基づき撮影画像に占める黒レベル領域の割合を判定する黒レベル領域判定手段と、前記露出制御手段の出力と前記黒レベル領域判定手段の出力に基づき、前記第１の増幅手段と前記第２の増幅手段の各々のゲイン設定を制御するゲイン制御手段と、を備え、前記ゲイン制御手段は、前記露出制御手段の所定時間毎の出力変化量を算出し、該出力変化量が所定値以上と判断された場合及び前記黒レベル判定手段の判定する黒レベル領域が撮影画角の所定の割合以下の場合に、第１の増幅手段のゲイン設定を切換えることを特徴とする。
【発明の効果】
【００１７】
以上説明したように、本出願に係る発明によれば、低照度の被写体を撮影する場合に、離散的なゲイン設定の第１の増幅手段と、前記第１の増幅手段より細かい刻みのゲイン設定可能な第２の増幅手段とのゲイン設定切換えを、入射光量に基づいて決定される露出制御手段の出力である制御ゲインの所定期間中のゲイン変化量と撮影画像のヒストグラムから検出した黒レベル領域の割合に基づいて行うようにしたので、第１の増幅手段と第２の増幅手段のゲイン切換え時の輝度変化による撮影画像への影響度を低減するこが可能となり、撮影画像の品質が向上できる効果がある。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の第１の形態に係わる撮像装置の回路構成を示すブロック図である。
【図２】第１のゲイン、第２のゲイン及び制御ゲインの関係を説明する図である。
【図３】撮影画像から算出されるヒストグラムの一例を示した図である。
【図４】入射光量に対する垂直同期周期期間の制御ゲイン変化量を模式的に示した図である。
【図５】第１の実施形態の制御ゲイン設定処理のフローチャートである。
【図６】撮影画像の黒レベル領域を判定する一例を示した図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について、図面を参照して説明する。
【００２０】
＜第１の実施形態＞
図１は、本発明の第１の実施の形態に係る撮像装置の構成例を示したブロック図である。なお、本実施形態では、ビデオカメラについて説明するが、本発明は、デジタルスチルカメラ等の他の撮像装置にも適用することが可能である。
【００２１】
図１において、１０１は被写体を撮影する撮影レンズであり、画角変更を行うズームレンズ、焦点調節を行うフォーカスレンズ、入射光量を調節する絞り及びＮＤ等の駆動部を備えている。１０２は前記撮像レンズの各駆動部を動作させる駆動回路であるレンズドライバ、１０３は撮像装置の動作指示をする操作スイッチ群、１０４は前記撮影レンズ１０１によって結像された被写体像を電気信号に変換する撮像素子、１０５は前記撮像素子１０４内部において前記撮影レンズ１０１が集光する入射光を電気信号に変換する光電変換部、１０６は前記光電変換部１０５で光電変換された電気信号を増幅する第１の増幅部、１０７は前記撮像素子１０４の出力に相関二重サンプリングを行うＣＤＳ部及びアナログ画素信号をデジタル画像信号に変換するＡ／Ｄ変換部を含むＡＦＥ、１０８は前記ＡＦＥ１０７の出力に所定の信号処理を施すマイクロコンピュータ（以下、マイコン）である。
【００２２】
次に、前記マイコン１０８内に構成される処理ブロックを説明する。
【００２３】
１０９は前記ＡＦＥ１０７でＡ／Ｄ変換されたデジタル画像信号の縦線補正データを生成するセンサ補正部、１１０は前記センサ補正部１０９の出力を適正な輝度レベルにするためにデジタル的に増幅する第２の増幅部、１１１は前記第２の増幅部１１０の出力である輝度レベルの変動を適正に保つための制御を行う露出制御部、１１２は前記露出制御部１１１の出力に、γ・アパーチャ・カラーバランス等の画像処理を施し所望の動画フォーマットに変換して後段の信号処理部へ出力する画像処理部である。前記画像処理部１１２の出力が後段の信号処理部へ供給され、不図示の表示部に表示がなされ、不図示の記録部によって画像の記録が行われることとなる。また、露出制御部１１１の出力は、後述するゲイン制御部１１３、レンズ駆動制御部１１４、ヒストグラム算出部１１５へも出力される。１１３は前記露出制御部１１１の出力と後述する黒レベル領域判定部１１６の出力から、前記第１の増幅部１０６、前記第２の増幅部１１０のゲイン設定を切換え制御するゲイン制御部、１１４は前記露出制御部１１１の出力によって前記撮像レンズ１０１に備えられる絞り／ＮＤを前記レンズドライバ１０２を介して駆動するレンズ駆動制御部である。１１５は前記露出制御部１１１の出力からヒストグラムを算出し、黒レベル領域を検出するヒストグラム算出部である。１１６は前記ヒストグラム算出部の出力から黒レベル領域を算出し、撮影画像のに占める黒レベル領域の割合を判定する黒レベル領域判定部である。
【００２４】
次に、上記のように構成される撮像装置の動作について説明する。撮影レンズ１０１によって結像された被写体像は入射光として撮像素子１０４に入力される。撮像素子１０４は、内部において入射光を電気信号に変換する光電変化部１０５と電気信号を増幅する第１の増幅部とで構成される。撮影レンズ１０１から入力された入射光は撮像素子１０４内部の光電変換部１０５によって光電変換がなされ電気信号へと変換される。次に、光電変換された電気信号は、撮像素子１０４内部の第１の増幅部１０６に入力され、所定量増幅され出力することになるが、第１の増幅部１０６のゲイン設定は撮像素子内部レイアウトの関係により、例えば、０［ｄＢ］、６［ｄＢ］、１２［ｄＢ］のように離散的なゲイン設定となる。この離散的なゲインを第１のゲインと呼ぶことにする。また、この第１のゲインは撮影中、被写体像の輝度レベルによって切換えるが、その詳細は後述する。
【００２５】
次に、撮像素子１０４の出力はＡＦＥ１０７に入力される。ＡＦＥ１０７では、撮像素子１０４のノイズ・オフセット誤差を抑えるＣＤＳ処理、アナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換処理を施し、デジタル画像信号をマイコン１０８に出力する。
【００２６】
次に、マイコン１０８に入力されたデジタル画像信号は、センサ補正部１０９にて縦線補正が施される。これは、ＣＭＯＳ撮像素子のような列毎に個別の列アンプを有するデバイスでは列アンプ毎のオフセット成分のバラツキによる縦線が生じるので、遮光されている垂直ＯＢ領域でライン毎に複数フレームを用いて列毎にクランプすることでオフセット除去し、縦線補正を行うものである。センサ補正部１０９によって縦線補正が施されたデジタル画像信号は、第２の増幅部１１０へ入力される。
【００２７】
次に、第２の増幅部１１０では、入力されたデジタル画像信号を前述の第１の増幅部１０６の第1のゲインよりゲイン分割ステップの小さいゲインで所定量増幅される。この第２の増幅部１１０のゲイン分割ステップの小さいゲインを第２のゲインと呼ぶことにする。第２の増幅部１１０の出力は、第１の増幅部１０６の第１のゲインと第２の増幅部１１０の第２のゲインとの合計されたゲインによって増幅され、露出制御部１１１に入力される。
【００２８】
次に、露出制御部１１１では、入力されたデジタル画像信号の輝度レベルが適正となるように撮像素子１０４に入力される入射光量を調節している。具体的には、第２の増幅部１１０から入力されたデジタル画像信号の輝度レベルに基づいて、レンズ駆動制御部１１４に駆動制御信号を出力し、レンズドライバ１０２を介して撮影レンズ１０１の備える絞りの開閉、不図示のＮＤ機構の挿入出を制御するのである。また、撮影シーンの照度が低下して、絞り開放、ＮＤ未挿入、電子シャッターを低速化しても適正露出を得られない場合に、露出制御部１１１はデジタル画像信号を増幅するための増幅信号をゲイン制御部１１３へ出力する。この増幅信号を制御ゲインと呼ぶことにする。
【００２９】
制御ゲインを出力しデジタル画像信号を増幅すると、デジタル画像信号の輝度レベルが増幅されると同時にデジタル画像信号のノイズレベルも増幅されることとなり、Ｓ／Ｎ比劣化を生じるが低照度撮影には必須の制御である。露出制御部１１１から出力される制御ゲインはゲイン制御部１１３を介して、第１のゲインと第２のゲインに各々適切なゲイン設定が成され、第１の増幅部１０６と第２の増幅部１１０に供給される。
【００３０】
次に、ゲイン制御部１１３によって制御ゲインが第１の増幅部１０６の第１のゲインと第２の増幅部１１０の第２のゲインの各々に適切なゲイン設定がされることについて図２を用いて説明する。図２は露出制御部１１１の出力する制御ゲインと第１の増幅部にかける第１のゲインと第２の増幅部にかける第２のゲインの関係を示した図であり、横軸は入射光量を、縦軸は各アンプのゲインを表している。図２では、右側ほど入射光量が少ない低照度であり、高いゲインをかける設定となっている。図２において、２０１は露出制御部１１１の出力する制御ゲインである。２０２は第１の増幅部１０６に設定される第１のゲインであり、撮像素子１０４内のアナログアンプのゲインであるため、例えば、６［ｄＢ］単位の分割ステップが大きい離散的なゲインとなっている。制御ゲイン２０１には第１のゲイン２０２の切換えを動的にするためｇａｉｎＴＨ１とｇａｉｎＴＨ２の２点の閾値が設定されている。この第１のゲイン２０２を動的に切換えることについての詳細は後述する。２０４は第２の増幅部１１０に設定される第２のゲインであり、マイコン１０８内のデジタルアンプのゲインであるため、第１のゲイン２０２より分割ステップが小さく小刻みなゲイン設定が可能である。また、図２からわかるように第１のゲインと第２のゲインの合計ゲインが制御ゲインとなるので、第１のゲインで調節できないゲイン分を第２のゲインによって調節することになる。
【００３１】
例えば、撮影中、被写体の輝度が低下して制御ゲインが５［ｄＢ］から１０［ｄＢ］に設定変更された場合、第１のゲインを６［ｄＢ］、第２のゲインを４［ｄＢ］に設定する。具体的には、第２のゲインを第１のゲインの最初のゲイン切換えステップの６［ｄＢ］までゲインを上げ、第２のゲインが６［ｄＢ］に達すると同時に、第１のゲインを６［ｄＢ］に切換え、第２のゲインは６［ｄＢ］ゲインを下げてからその後、第２のゲインで不足するゲイン分４［ｄＢ］のゲインをかけるように動作する。このように、低照度時に高感度設定が必要な環境下において、ゲイン分割ステップの大きな第１の増幅部１０６と、ゲイン分割ステップが小さな第２の増幅部１１０とを組み合わせて使用するとき、各々の増幅部に大きなゲイン変化があるため、そのゲイン変化時に撮影画像の輝度レベルが変動し、画面がちらつくようにみえる場合がある。この撮影画像の輝度レベルの変動によるちらつき（以下、輝度ちらつき）が目立つ頻度を低減させるために、本発明の撮像装置では、ゲイン制御部１１３に撮影画像に占める黒レベル領域情報を用いて、ゲイン切換えのタイミングを輝度変化の状態と撮影画像に占める黒レベル領域の割合に基づいて行うようにしている。
【００３２】
ゲイン切換え時に生じる輝度ちらつきは撮影画像の輝度変化が緩やかな黒レベル領域が多い場合に目立ちやすいため、輝度変化の変化量が小さく撮影画像に占める黒レベル領域の割合が少ないときにゲイン切換えをして輝度ちらつきが目立つのを低減するのである。そのため、ゲイン制御部１１３は露出制御部１１１の出力以外に、ヒストグラム算出部１１５によって撮影画像のヒストグラム算出を行った後、黒レベル領域の撮影画像に占める割合を判定する黒レベル領域判定部１１６の出力も参照している。
【００３３】
次に、ヒストグラム算出部１１５で算出する撮影画像のヒストグラムの一例を図３に示す。図３のヒストグラムは輝度レベルヒストグラムである。図３において、横軸は輝度値を、縦軸は画素数をとっており、画像中の画素の輝度値の分布示している。また、３０１は輝度値の低い画素を黒レベル領域として検出する閾値を示している。この閾値は、検討によって導かれた値を設定すればよい。
【００３４】
次に、マイコン１０８の全体の処理内におけるゲイン制御部１１３でのゲイン切換えの処理について、図２、図４のグラフと図５のフローチャートを用いて説明する。
【００３５】
図５において、処理が開始されるとまずステップＳ５０１にて制御ゲイン２０１が設定されたｇａｉｎＴＨ１以上かつｇａｉｎＴＨ１とｇａｉｎＴＨ２の二つのゲイン閾値の範囲内にあるか否かを判断する。この二つのゲイン閾値は、図２に記載の６［ｄＢ］と９［ｄＢ］に設定された閾値を指している。これは、第１及び第２のゲインの切換えを設定された二つのゲイン閾値の範囲内で動的に切換えるためである。制御ゲイン２０１が二つのゲイン閾値の範囲内にある場合は（ｙｅｓ）、ステップＳ５０３へ進み、制御ゲイン２０１が二つのゲイン閾値の範囲内にない場合は（ｎｏ）、ステップＳ５０２へ進む。ステップＳ５０２では、制御ゲイン２０１が第２のゲイン２０３のみで画像信号のゲイン設定が可能な状態であるので、第２のゲインによるゲイン調節を行い、第１のゲインを切換えを実行しない。ステップＳ５０２の処理が終了したら、制御ゲイン２０１の設定処理を終了し、次の処理タイミングまで処理を待機する。
【００３６】
次に、ステップＳ５０１の判断結果がステップＳ５０３進んだ場合（ｙｅｓ）を説明する。ステップＳ５０３へ進んだ場合は、制御ゲイン２０１の変動量を算出する。これは、所定期間、例えば、垂直同期信号周期期間（以下、Ｖ周期期間）でのゲイン変動量を算出して、輝度変化の大きさを把握するためである。制御ゲイン２０１のゲイン変動量を算出したら、ステップＳ５０４へ進む。
【００３７】
ここで、図４に入射光量に基づく制御ゲイン２０１のＶ周期期間におけるゲイン変化量を説明するための模式図を示す。図５において、横軸は時間であるＶ周期期間を、縦軸はゲインをとっている。２０１ａ、２０１ｂは入射光量に基づく制御ゲインであり、２０１ａは入射光量が急激に減少した場合を、２０２ｂは入射光量が緩やかに変化した場合を示している。５０１、５０２は制御ゲイン２０１ａ、２０１ｂのＶ周期期間におけるゲイン変化量であり、この変化量５０１、変化量５０２が予め設定されるゲイン変化量の閾値と比較されることになる。ｇａｉｎＴＨ１とｇａｉｎＴＨ２は第１のゲイン２０２の切換えをするための閾値である。
【００３８】
図５のフローチャートに戻り、説明を続ける。
【００３９】
次に、ステップＳ５０４では、撮影画像のヒストグラムから黒レベルの領域を検出する。これは、ヒストグラム算出部１１５で撮影画像が予め定められたブロックに分割されたブロック毎にヒストグラムを算出し、前述したヒストグラムのグラフに示した黒レベル領域の閾値より輝度値が低い黒レベル領域が多いブロックを検出するのである。黒レベル領域の検出が完了したら、ステップＳ５０５へ進む。
【００４０】
次に、ステップＳ５０５では、制御ゲイン２０１のゲイン変動量が所定値以上か否かを判断している。これは、ステップＳ５０３で算出した制御ゲイン２０１の変動量が所定値以上か否かによって輝度変化のレベルの大小を判断しているのである。この判断は、第１及び第２のゲインの切換えによる輝度変化による輝度ちらつきが、輝度変化のレベルが大きい場合より小さい場合の方が目立ちやすいためで、第１及び第２のゲインの切換えを輝度変化のレベルが大きい時に行い、輝度ちらつきが目立つことを低減するためである。ここで設定するゲイン変動量の所定値は検討などから導き出した値を閾値として設定すればよい。ステップＳ５０５でゲインの変動量が所定値以上の場合は（ｙｅｓ）、ステップＳ５０６に進み、ステップＳ５０６では、第１のゲイン及び第２のゲインを切換えて、制御ゲイン２０１の設定処理を終了し、次の処理タイミングまで待機する。
【００４１】
次に、ステップＳ５０５の判断結果がゲインの変動量が所定値以下の場合は（ｎｏ）の説明をする。ステップＳ５０７では、ステップＳ５０４で検出した黒レベル領域が撮影画像に占める割合を判定している。複数ブロックに分割された全ブロックに黒レベル領域のブロックが占める割合が閾値として設定されている。撮影画像の黒レベル領域の判定の一例を、図６（ａ）、図６（ｂ）、図６（ｃ）に示す。図６(ａ)は撮影画像の元画像であり、元画像を図６（ｂ）のように予め設定された複数ブロックに分割して、ブロック毎にヒストグラムが算出されている。算出されたヒストグラムから、ブロック毎に数値化し（例では１０段階で示している）、黒レベルの領域が多いブロックが全ブロックに占める割合を黒レベル領域判定部１１６で判定するのである。黒レベル領域が撮影画像の所定の割合以上（例えば、７５％以上）であれば（ｙｅｓ）、ステップＳ５０８に進み、ステップＳ５０８では、制御ゲイン２０１の変動量が小さく、撮影画像に占める黒レベル領域が所定の割合以上であったので、輝度ちらつきを低減するために第１のゲインを切換えないで処理を終了し、次の処理タイミングまで待機する。
【００４２】
次に、ステップＳ５０７での判断が、撮影画像に占める黒レベル領域が所定の割合以下であったので、ステップＳ５０９へ進む。
【００４３】
次に、ステップＳ５０９では、ステップＳ５０５での制御ゲイン２０１が第１のゲイン切換え閾値であるｇａｉｎＴＨ２以下か否かを判断している。これは、ステップＳ５０５での判断が、輝度変化のレベルが小さいとなり、さらに、ステップＳ５０７での判断が、撮影画像に占める黒レベル領域が所定の割合以下となったため、撮影画像の輝度ちらつきが目立つことを低減するために、第１及び第２のゲイン切換えを第１のゲイン切換え閾値ｇａｉｎＴＨ２以上となるまで遅らせる処理である。第１及び第２のゲイン切換えを可能な限り遅らせることで、撮影画像の輝度ちらつきの発生頻度を低減させようとするものである。
【００４４】
ステップＳ５０９の判断結果が、制御ゲイン２０１がｇａｉｎＴＨ２以下であれば（ｙｅｓ）、ステップＳ５０１に進み処理を繰り返す。ステップＳ５０９の判断結果が、制御ゲイン２０１がｇａｉｎＴＨ２以上であれば（ｎｏ）、ステップＳ５１０へ進み、ステップＳ５１０では、第１のゲイン及び第２のゲインを切換えて、制御ゲイン２０１の設定処理を終了し、次の処理タイミングまで待機する。
【００４５】
こうして、露出制御部１１１によって入射光量の変化に基づく適正な露出制御が施されたデジタル画像信号を画像信号処理部１１３へ出力する。
【００４６】
次に、露出制御部１１１によって適正な露出制御が施されたデジタル画像信号は画像信号処理部１１３へ入力される。
【００４７】
次に、画像信号処理部１１３では、入力されたデジタル画像信号にγ・アパーチャ・カラーバランス等の各画像処理を施し所望の動画フォーマットに変換して後段の信号処理部へ出力する。出力された画像処理後の画像信号は、不図示の表示部にモニター画像として表示されたり、不図示の記録部に記録されることとなる。
【００４８】
以上、説明したように第１の増幅部１０６の出力と、第２の増幅部１１０の出力との合計が入射光量に基づく露出制御部１１１の出力である制御ゲインによって決定され、第１の増幅部に設定される第１のゲインと第２の増幅部に設定される第２のゲインの各々のゲイン切換えを、制御ゲインの所定期間の変動量と、撮影画像に占める黒レベル領域の割合とに基づき行うこととした。そうすることで、被写体輝度が低下した撮影での第１のゲインと第２のゲインの各々のゲイン切換えで生じる撮影画像の輝度ちらつきが目立つ頻度を低減することが可能となった。また、第１の増幅部に設定される第１のゲインと第２の増幅部に設定される第２のゲインの各々のゲイン切換えを、入射光量のＶ周期期間中の制御ゲイン変化量と、撮影画像に占める黒レベル領域の割合とに基づいて第１の増幅部に設定される第１のゲインと第２の増幅部に設定される第２のゲインの各々のゲイン切換えのポイントを二つの閾値の範囲内で行うようにした。そうすることで輝度変化のレベルが小さく、黒レベル領域が多い場合は、ゲイン切換えを行わず、輝度変化のレベルが小さく、黒レベル領域が少ない場合は、可能な限りゲイン切換えを遅らせることが可能で、ゲイン切換え時の輝度ちらつきの発生頻度を低減することが可能となった。
【００４９】
＜他の実施形態＞
前述第１の実施形態では、第１の増幅部１０６の出力と、第２の増幅部１１０の出力との合計が入射光量に基づく露出制御部１１１の出力である制御ゲイン２０１によって決定され、第１の増幅部１０６に設定される第１のゲインと第２の増幅部１１０に設定される第２のゲインの各々のゲイン切換えを、制御ゲイン２０１の所定期間の変動量と、撮影画像のヒストグラムを算出し、黒レベル領域を検出し、黒レベル領域の撮影画像全体に占める割合とに基づいて行うようにした。そうすることで、ゲイン切換えで生じる撮影画像の輝度ちらつきが目立つ頻度を低減可能なことについて説明した。
【００５０】
他の実施形態では、黒レベル領域の撮影画像全体に占める割合と黒レベル領域が撮影画像の中心部にある場合や、周辺部のある場合のゲイン切換えを行うようにしてもよい。
【００５１】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。例えば、黒レベル領域が撮影画像の中心部にある場合は、被写体を画角中心に撮影することが一般的なので、ゲイン切換えを行わなくするとしてもよい。
【００５２】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００５３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００５４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００５５】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００５６】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００５７】
１０１‥‥撮影レンズ
１０２‥‥レンズドライバ
１０３‥‥操作部
１０４‥‥撮像素子
１０５‥‥撮像素子内部の光電変換部
１０６‥‥撮像素子内部の第１の増幅部
１０７‥‥ＡＦＥ
１０８‥‥マイコン
１０９‥‥センサ補正部
１１０‥‥第２の増幅部
１１１‥‥露出制御部
１１２‥‥画像信号処理部
１１３‥‥ゲイン制御部
１１４‥‥レンズ制御部
１１５‥‥ヒストグラム算出部
１１６‥‥黒レベル領域判定部
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関し、詳しくは、動画撮影時の撮像装置の感度制御に関するものである。
【背景技術】
【０００２】
ＣＣＤ、ＣＭＯＳ等の固体撮像素子を用いたデジタルビデオカメラでは、撮影シーンの輝度変化に基づき自動的に感度を制御し、適正露出で撮影可能な機能（以下、自動露出制御機能）を備えている。この自動露出制御機能は、光学的な絞り・ＮＤ制御および時間的な電子シャッター制御、更にはカメラ内部の電気信号を増幅する電気的なゲイン制御によって入射光量の調節を実現している。電気信号のゲイン制御は信号レベルと同時にノイズレベルも同様に増幅してしまうため、自動露出制御機能は、絞り・ＮＤ制御と電子シャッター制御での入射光量の調節を優先的に行うことが一般的である。
【０００３】
しかしながら、撮影シーンの照度が低く、絞り・ＮＤ制御と電子シャッター制御では十分な光量が得られない場合には電気信号のゲイン制御が必須となる。この電気信号のゲイン制御には、いくつかの方法があり、例えば、信号処理系統内に複数設けられた増幅手段の前段で大きくゲインをかけ、後段で前段より刻み幅の細かいゲインをかけることによって、ノイズの少ない画像を得るというものがある。
【０００４】
具体的には、撮像素子のレイアウト構成上、ゲインの設定が１倍、２倍、４倍等の離散的となる撮像素子内部に設ける前段のアナログ増幅手段と、前記アナログ増幅手段より細かい刻み幅のゲイン設定が可能な撮像素子より後段の電気回路に設けるデジタル増幅手段とを、各々備える構成とする。前述の構成において、後段のデジタル増幅手段の細かい刻み幅のゲイン制御を行い、所定時間経過後に撮像素子内部のアナログ増幅手段の離散的なゲイン制御を組み合わせることで増幅時のノイズの影響を低減しつつ、連続的なゲイン制御を可能とする撮像装置が提案されている（例えば、特許文献１参照）。
【０００５】
また、他の提案として、ゲイン分割ステップの大きい第１の増幅手段とゲイン分割ステップのより小さい第２の増幅手段を備え、二つの増幅手段のゲイン特性が線形な特性となるように、前記第１の増幅手段のゲイン切換えを考慮して、前記第２の増幅手段のゲインを変化させる撮像装置がある（例えば、特許文献２参照）。
【０００６】
前述の特許文献１は、動画撮影時の輝度変化を滑らかにするため、被写体の輝度が低下してからあらかじめ設定された時間の間は、アナログ増幅手段のゲインは変えずに、後段のデジタル増幅手段のゲインによってゲイン調節を行う。その後、被写体の輝度が変化してから変化した輝度レベルのままあらかじめ設定した時間が経過したら、アナログ増幅手段のゲインを変えるとともにデジタル増幅手段のゲインも変え、最終的なトータルゲインが変わらないゲイン制御を行うように制御を可能としている。
【０００７】
また、前述の特許文献２は、動画撮影時の輝度変化を滑らかにするため、第１および第２の二つの増幅手段のゲイン特性が線形な特性となるように、前記第１の増幅手段のゲイン切換えを考慮して、前記第２の増幅手段のゲインを変化させている。そして、ゲイン分割ステップの大きい第１の増幅器のゲイン切換り時に生じるノイズを含む映像信号部分を有する映像フレーム信号を、他のフレーム信号に置き換えることで、映像信号に生じるノイズの影響をなくすことを可能としている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００９−０４９９８１号公報
【特許文献２】特許第０３５７３４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記特許文献１では、動画撮影時の輝度の変化に対して、あらかじめ設定された時間の間は前段のアナログ増幅手段によるゲイン変更をせず、後段のデジタル増幅手段のみでゲイン調節を行い、その後、被写体の輝度変化が変化した輝度レベルのままあらかじめ設定された時間経過後に、アナログ増幅手段のゲインを変えるとともにデジタル増幅手段のゲインも変え、最終的なトータルゲインが変わらないゲイン調節を行うように制御するため、以下のような問題があった。
【００１０】
例えば、アナログ増幅手段とデジタル増幅手段のゲイン切換えを、被写体の輝度が変化した輝度レベルのままあらかじめ設定された時間経過後の輝度レベルが安定した状態で行っているので、ゲイン切換え時の切換えノイズが目立つ場合がある。
【００１１】
また、動画撮影時の輝度の変化に対して、あらかじめ設定された時間の間は前段のアナログ増幅手段のゲイン変更量を所望のゲイン変更量の半分程度とし、前段のアナログ増幅手段のゲインに不足する分を後段のデジタル増幅手段によってゲイン調節を行い、その後、被写体の輝度変化が変化した輝度レベルのままあらかじめ設定された時間経過後に、アナログ増幅手段のゲインを更に変えるとともにデジタル増幅手段のゲインも変え、最終的なトータルゲインが変わらないゲイン調節を行うように制御するため、以下のような問題があった。
【００１２】
アナログ増幅手段とデジタル増幅手段のゲイン切換えを、被写体の輝度が変化した輝度レベルが変化した時点と、被写体の輝度が変化した輝度レベルのままあらかじめ設定された時間経過後に行っているので、ゲイン切換え時の切換えノイズが複数回発生して目立つ場合がある。
【００１３】
また、上記特許文献２では、ゲイン分割ステップの大きい第１の増幅器のゲイン切換り時に生じるノイズを含む映像信号部分を有する映像フレーム信号を、直前のフレーム信号に置き換えることで、映像信号に生じるノイズの影響をなくすとしているため、以下のような問題があった。
【００１４】
例えば、撮影時の撮像装置は定点撮影とは限らず、パンニングやチルティング（以下、パンニング）、画角変更など、ユーザーの意図による操作がなされる。従って、撮影シーンによっては輝度変化が大きく生じる場合があり、ゲイン制御の追従が収束するまでに時間を要し、増幅手段のゲイン切換え時に生じるノイズを含む映像信号部分を有するフレーム信号の連続性が乏しくなるような場合は、直前のフレーム信号に置き換えてもゲイン切換えノイズがなくなる効果が弱くなる。または、フレーム信号間の相関がなくなり逆にノイズが生じてしまう。
【００１５】
したがって、本出願に係る目的は、低照度の被写体を撮影する場合に、離散的なゲイン設定のアナログ増幅手段と、前記アナログ増幅手段より細かい刻みのゲイン設定可能なデジタル増幅手段とのゲイン設定切換えを、入射光量に基づいて決定されるトータルゲインの所定期間中のゲイン変化量と撮影画像のヒストグラムから検出した黒レベル領域の割合に基づいて行い、アナログ増幅手段のゲイン切換えノイズが目立つことを低減させることにある。
【課題を解決するための手段】
【００１６】
上記目的を達成するため、本出願に係る発明は、撮像光学手段と、前記撮像光学手段によって集光される入射光を電気信号へ変換する撮像手段と、前記電気信号を第１のゲインで増幅する第１の増幅手段と、前記第１の増幅手段の出力を前記第１のゲインより細かい刻み幅の第２のゲインで増幅する第２の増幅手段と、前記第１の増幅手段の出力と、前記第２の増幅手段の出力の合計が、前記撮像素子への入射光量に基づいて決定される制御ゲインを算出する露出制御手段と、前記露出制御手段の出力からヒストグラムを算出するヒストグラム算出手段と、前記ヒストグラム算出手段のの出力に基づき撮影画像に占める黒レベル領域の割合を判定する黒レベル領域判定手段と、前記露出制御手段の出力と前記黒レベル領域判定手段の出力に基づき、前記第１の増幅手段と前記第２の増幅手段の各々のゲイン設定を制御するゲイン制御手段と、を備え、前記ゲイン制御手段は、前記露出制御手段の所定時間毎の出力変化量を算出し、該出力変化量が所定値以上と判断された場合及び前記黒レベル判定手段の判定する黒レベル領域が撮影画角の所定の割合以下の場合に、第１の増幅手段のゲイン設定を切換えることを特徴とする。
【発明の効果】
【００１７】
以上説明したように、本出願に係る発明によれば、低照度の被写体を撮影する場合に、離散的なゲイン設定の第１の増幅手段と、前記第１の増幅手段より細かい刻みのゲイン設定可能な第２の増幅手段とのゲイン設定切換えを、入射光量に基づいて決定される露出制御手段の出力である制御ゲインの所定期間中のゲイン変化量と撮影画像のヒストグラムから検出した黒レベル領域の割合に基づいて行うようにしたので、第１の増幅手段と第２の増幅手段のゲイン切換え時の輝度変化による撮影画像への影響度を低減するこが可能となり、撮影画像の品質が向上できる効果がある。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の第１の形態に係わる撮像装置の回路構成を示すブロック図である。
【図２】第１のゲイン、第２のゲイン及び制御ゲインの関係を説明する図である。
【図３】撮影画像から算出されるヒストグラムの一例を示した図である。
【図４】入射光量に対する垂直同期周期期間の制御ゲイン変化量を模式的に示した図である。
【図５】第１の実施形態の制御ゲイン設定処理のフローチャートである。
【図６】撮影画像の黒レベル領域を判定する一例を示した図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について、図面を参照して説明する。
【００２０】
＜第１の実施形態＞
図１は、本発明の第１の実施の形態に係る撮像装置の構成例を示したブロック図である。なお、本実施形態では、ビデオカメラについて説明するが、本発明は、デジタルスチルカメラ等の他の撮像装置にも適用することが可能である。
【００２１】
図１において、１０１は被写体を撮影する撮影レンズであり、画角変更を行うズームレンズ、焦点調節を行うフォーカスレンズ、入射光量を調節する絞り及びＮＤ等の駆動部を備えている。１０２は前記撮像レンズの各駆動部を動作させる駆動回路であるレンズドライバ、１０３は撮像装置の動作指示をする操作スイッチ群、１０４は前記撮影レンズ１０１によって結像された被写体像を電気信号に変換する撮像素子、１０５は前記撮像素子１０４内部において前記撮影レンズ１０１が集光する入射光を電気信号に変換する光電変換部、１０６は前記光電変換部１０５で光電変換された電気信号を増幅する第１の増幅部、１０７は前記撮像素子１０４の出力に相関二重サンプリングを行うＣＤＳ部及びアナログ画素信号をデジタル画像信号に変換するＡ／Ｄ変換部を含むＡＦＥ、１０８は前記ＡＦＥ１０７の出力に所定の信号処理を施すマイクロコンピュータ（以下、マイコン）である。
【００２２】
次に、前記マイコン１０８内に構成される処理ブロックを説明する。
【００２３】
１０９は前記ＡＦＥ１０７でＡ／Ｄ変換されたデジタル画像信号の縦線補正データを生成するセンサ補正部、１１０は前記センサ補正部１０９の出力を適正な輝度レベルにするためにデジタル的に増幅する第２の増幅部、１１１は前記第２の増幅部１１０の出力である輝度レベルの変動を適正に保つための制御を行う露出制御部、１１２は前記露出制御部１１１の出力に、γ・アパーチャ・カラーバランス等の画像処理を施し所望の動画フォーマットに変換して後段の信号処理部へ出力する画像処理部である。前記画像処理部１１２の出力が後段の信号処理部へ供給され、不図示の表示部に表示がなされ、不図示の記録部によって画像の記録が行われることとなる。また、露出制御部１１１の出力は、後述するゲイン制御部１１３、レンズ駆動制御部１１４、ヒストグラム算出部１１５へも出力される。１１３は前記露出制御部１１１の出力と後述する黒レベル領域判定部１１６の出力から、前記第１の増幅部１０６、前記第２の増幅部１１０のゲイン設定を切換え制御するゲイン制御部、１１４は前記露出制御部１１１の出力によって前記撮像レンズ１０１に備えられる絞り／ＮＤを前記レンズドライバ１０２を介して駆動するレンズ駆動制御部である。１１５は前記露出制御部１１１の出力からヒストグラムを算出し、黒レベル領域を検出するヒストグラム算出部である。１１６は前記ヒストグラム算出部の出力から黒レベル領域を算出し、撮影画像のに占める黒レベル領域の割合を判定する黒レベル領域判定部である。
【００２４】
次に、上記のように構成される撮像装置の動作について説明する。撮影レンズ１０１によって結像された被写体像は入射光として撮像素子１０４に入力される。撮像素子１０４は、内部において入射光を電気信号に変換する光電変化部１０５と電気信号を増幅する第１の増幅部とで構成される。撮影レンズ１０１から入力された入射光は撮像素子１０４内部の光電変換部１０５によって光電変換がなされ電気信号へと変換される。次に、光電変換された電気信号は、撮像素子１０４内部の第１の増幅部１０６に入力され、所定量増幅され出力することになるが、第１の増幅部１０６のゲイン設定は撮像素子内部レイアウトの関係により、例えば、０［ｄＢ］、６［ｄＢ］、１２［ｄＢ］のように離散的なゲイン設定となる。この離散的なゲインを第１のゲインと呼ぶことにする。また、この第１のゲインは撮影中、被写体像の輝度レベルによって切換えるが、その詳細は後述する。
【００２５】
次に、撮像素子１０４の出力はＡＦＥ１０７に入力される。ＡＦＥ１０７では、撮像素子１０４のノイズ・オフセット誤差を抑えるＣＤＳ処理、アナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換処理を施し、デジタル画像信号をマイコン１０８に出力する。
【００２６】
次に、マイコン１０８に入力されたデジタル画像信号は、センサ補正部１０９にて縦線補正が施される。これは、ＣＭＯＳ撮像素子のような列毎に個別の列アンプを有するデバイスでは列アンプ毎のオフセット成分のバラツキによる縦線が生じるので、遮光されている垂直ＯＢ領域でライン毎に複数フレームを用いて列毎にクランプすることでオフセット除去し、縦線補正を行うものである。センサ補正部１０９によって縦線補正が施されたデジタル画像信号は、第２の増幅部１１０へ入力される。
【００２７】
次に、第２の増幅部１１０では、入力されたデジタル画像信号を前述の第１の増幅部１０６の第1のゲインよりゲイン分割ステップの小さいゲインで所定量増幅される。この第２の増幅部１１０のゲイン分割ステップの小さいゲインを第２のゲインと呼ぶことにする。第２の増幅部１１０の出力は、第１の増幅部１０６の第１のゲインと第２の増幅部１１０の第２のゲインとの合計されたゲインによって増幅され、露出制御部１１１に入力される。
【００２８】
次に、露出制御部１１１では、入力されたデジタル画像信号の輝度レベルが適正となるように撮像素子１０４に入力される入射光量を調節している。具体的には、第２の増幅部１１０から入力されたデジタル画像信号の輝度レベルに基づいて、レンズ駆動制御部１１４に駆動制御信号を出力し、レンズドライバ１０２を介して撮影レンズ１０１の備える絞りの開閉、不図示のＮＤ機構の挿入出を制御するのである。また、撮影シーンの照度が低下して、絞り開放、ＮＤ未挿入、電子シャッターを低速化しても適正露出を得られない場合に、露出制御部１１１はデジタル画像信号を増幅するための増幅信号をゲイン制御部１１３へ出力する。この増幅信号を制御ゲインと呼ぶことにする。
【００２９】
制御ゲインを出力しデジタル画像信号を増幅すると、デジタル画像信号の輝度レベルが増幅されると同時にデジタル画像信号のノイズレベルも増幅されることとなり、Ｓ／Ｎ比劣化を生じるが低照度撮影には必須の制御である。露出制御部１１１から出力される制御ゲインはゲイン制御部１１３を介して、第１のゲインと第２のゲインに各々適切なゲイン設定が成され、第１の増幅部１０６と第２の増幅部１１０に供給される。
【００３０】
次に、ゲイン制御部１１３によって制御ゲインが第１の増幅部１０６の第１のゲインと第２の増幅部１１０の第２のゲインの各々に適切なゲイン設定がされることについて図２を用いて説明する。図２は露出制御部１１１の出力する制御ゲインと第１の増幅部にかける第１のゲインと第２の増幅部にかける第２のゲインの関係を示した図であり、横軸は入射光量を、縦軸は各アンプのゲインを表している。図２では、右側ほど入射光量が少ない低照度であり、高いゲインをかける設定となっている。図２において、２０１は露出制御部１１１の出力する制御ゲインである。２０２は第１の増幅部１０６に設定される第１のゲインであり、撮像素子１０４内のアナログアンプのゲインであるため、例えば、６［ｄＢ］単位の分割ステップが大きい離散的なゲインとなっている。制御ゲイン２０１には第１のゲイン２０２の切換えを動的にするためｇａｉｎＴＨ１とｇａｉｎＴＨ２の２点の閾値が設定されている。この第１のゲイン２０２を動的に切換えることについての詳細は後述する。２０４は第２の増幅部１１０に設定される第２のゲインであり、マイコン１０８内のデジタルアンプのゲインであるため、第１のゲイン２０２より分割ステップが小さく小刻みなゲイン設定が可能である。また、図２からわかるように第１のゲインと第２のゲインの合計ゲインが制御ゲインとなるので、第１のゲインで調節できないゲイン分を第２のゲインによって調節することになる。
【００３１】
例えば、撮影中、被写体の輝度が低下して制御ゲインが５［ｄＢ］から１０［ｄＢ］に設定変更された場合、第１のゲインを６［ｄＢ］、第２のゲインを４［ｄＢ］に設定する。具体的には、第２のゲインを第１のゲインの最初のゲイン切換えステップの６［ｄＢ］までゲインを上げ、第２のゲインが６［ｄＢ］に達すると同時に、第１のゲインを６［ｄＢ］に切換え、第２のゲインは６［ｄＢ］ゲインを下げてからその後、第２のゲインで不足するゲイン分４［ｄＢ］のゲインをかけるように動作する。このように、低照度時に高感度設定が必要な環境下において、ゲイン分割ステップの大きな第１の増幅部１０６と、ゲイン分割ステップが小さな第２の増幅部１１０とを組み合わせて使用するとき、各々の増幅部に大きなゲイン変化があるため、そのゲイン変化時に撮影画像の輝度レベルが変動し、画面がちらつくようにみえる場合がある。この撮影画像の輝度レベルの変動によるちらつき（以下、輝度ちらつき）が目立つ頻度を低減させるために、本発明の撮像装置では、ゲイン制御部１１３に撮影画像に占める黒レベル領域情報を用いて、ゲイン切換えのタイミングを輝度変化の状態と撮影画像に占める黒レベル領域の割合に基づいて行うようにしている。
【００３２】
ゲイン切換え時に生じる輝度ちらつきは撮影画像の輝度変化が緩やかな黒レベル領域が多い場合に目立ちやすいため、輝度変化の変化量が小さく撮影画像に占める黒レベル領域の割合が少ないときにゲイン切換えをして輝度ちらつきが目立つのを低減するのである。そのため、ゲイン制御部１１３は露出制御部１１１の出力以外に、ヒストグラム算出部１１５によって撮影画像のヒストグラム算出を行った後、黒レベル領域の撮影画像に占める割合を判定する黒レベル領域判定部１１６の出力も参照している。
【００３３】
次に、ヒストグラム算出部１１５で算出する撮影画像のヒストグラムの一例を図３に示す。図３のヒストグラムは輝度レベルヒストグラムである。図３において、横軸は輝度値を、縦軸は画素数をとっており、画像中の画素の輝度値の分布示している。また、３０１は輝度値の低い画素を黒レベル領域として検出する閾値を示している。この閾値は、検討によって導かれた値を設定すればよい。
【００３４】
次に、マイコン１０８の全体の処理内におけるゲイン制御部１１３でのゲイン切換えの処理について、図２、図４のグラフと図５のフローチャートを用いて説明する。
【００３５】
図５において、処理が開始されるとまずステップＳ５０１にて制御ゲイン２０１が設定されたｇａｉｎＴＨ１以上かつｇａｉｎＴＨ１とｇａｉｎＴＨ２の二つのゲイン閾値の範囲内にあるか否かを判断する。この二つのゲイン閾値は、図２に記載の６［ｄＢ］と９［ｄＢ］に設定された閾値を指している。これは、第１及び第２のゲインの切換えを設定された二つのゲイン閾値の範囲内で動的に切換えるためである。制御ゲイン２０１が二つのゲイン閾値の範囲内にある場合は（ｙｅｓ）、ステップＳ５０３へ進み、制御ゲイン２０１が二つのゲイン閾値の範囲内にない場合は（ｎｏ）、ステップＳ５０２へ進む。ステップＳ５０２では、制御ゲイン２０１が第２のゲイン２０３のみで画像信号のゲイン設定が可能な状態であるので、第２のゲインによるゲイン調節を行い、第１のゲインを切換えを実行しない。ステップＳ５０２の処理が終了したら、制御ゲイン２０１の設定処理を終了し、次の処理タイミングまで処理を待機する。
【００３６】
次に、ステップＳ５０１の判断結果がステップＳ５０３進んだ場合（ｙｅｓ）を説明する。ステップＳ５０３へ進んだ場合は、制御ゲイン２０１の変動量を算出する。これは、所定期間、例えば、垂直同期信号周期期間（以下、Ｖ周期期間）でのゲイン変動量を算出して、輝度変化の大きさを把握するためである。制御ゲイン２０１のゲイン変動量を算出したら、ステップＳ５０４へ進む。
【００３７】
ここで、図４に入射光量に基づく制御ゲイン２０１のＶ周期期間におけるゲイン変化量を説明するための模式図を示す。図５において、横軸は時間であるＶ周期期間を、縦軸はゲインをとっている。２０１ａ、２０１ｂは入射光量に基づく制御ゲインであり、２０１ａは入射光量が急激に減少した場合を、２０２ｂは入射光量が緩やかに変化した場合を示している。５０１、５０２は制御ゲイン２０１ａ、２０１ｂのＶ周期期間におけるゲイン変化量であり、この変化量５０１、変化量５０２が予め設定されるゲイン変化量の閾値と比較されることになる。ｇａｉｎＴＨ１とｇａｉｎＴＨ２は第１のゲイン２０２の切換えをするための閾値である。
【００３８】
図５のフローチャートに戻り、説明を続ける。
【００３９】
次に、ステップＳ５０４では、撮影画像のヒストグラムから黒レベルの領域を検出する。これは、ヒストグラム算出部１１５で撮影画像が予め定められたブロックに分割されたブロック毎にヒストグラムを算出し、前述したヒストグラムのグラフに示した黒レベル領域の閾値より輝度値が低い黒レベル領域が多いブロックを検出するのである。黒レベル領域の検出が完了したら、ステップＳ５０５へ進む。
【００４０】
次に、ステップＳ５０５では、制御ゲイン２０１のゲイン変動量が所定値以上か否かを判断している。これは、ステップＳ５０３で算出した制御ゲイン２０１の変動量が所定値以上か否かによって輝度変化のレベルの大小を判断しているのである。この判断は、第１及び第２のゲインの切換えによる輝度変化による輝度ちらつきが、輝度変化のレベルが大きい場合より小さい場合の方が目立ちやすいためで、第１及び第２のゲインの切換えを輝度変化のレベルが大きい時に行い、輝度ちらつきが目立つことを低減するためである。ここで設定するゲイン変動量の所定値は検討などから導き出した値を閾値として設定すればよい。ステップＳ５０５でゲインの変動量が所定値以上の場合は（ｙｅｓ）、ステップＳ５０６に進み、ステップＳ５０６では、第１のゲイン及び第２のゲインを切換えて、制御ゲイン２０１の設定処理を終了し、次の処理タイミングまで待機する。
【００４１】
次に、ステップＳ５０５の判断結果がゲインの変動量が所定値以下の場合は（ｎｏ）の説明をする。ステップＳ５０７では、ステップＳ５０４で検出した黒レベル領域が撮影画像に占める割合を判定している。複数ブロックに分割された全ブロックに黒レベル領域のブロックが占める割合が閾値として設定されている。撮影画像の黒レベル領域の判定の一例を、図６（ａ）、図６（ｂ）、図６（ｃ）に示す。図６(ａ)は撮影画像の元画像であり、元画像を図６（ｂ）のように予め設定された複数ブロックに分割して、ブロック毎にヒストグラムが算出されている。算出されたヒストグラムから、ブロック毎に数値化し（例では１０段階で示している）、黒レベルの領域が多いブロックが全ブロックに占める割合を黒レベル領域判定部１１６で判定するのである。黒レベル領域が撮影画像の所定の割合以上（例えば、７５％以上）であれば（ｙｅｓ）、ステップＳ５０８に進み、ステップＳ５０８では、制御ゲイン２０１の変動量が小さく、撮影画像に占める黒レベル領域が所定の割合以上であったので、輝度ちらつきを低減するために第１のゲインを切換えないで処理を終了し、次の処理タイミングまで待機する。
【００４２】
次に、ステップＳ５０７での判断が、撮影画像に占める黒レベル領域が所定の割合以下であったので、ステップＳ５０９へ進む。
【００４３】
次に、ステップＳ５０９では、ステップＳ５０５での制御ゲイン２０１が第１のゲイン切換え閾値であるｇａｉｎＴＨ２以下か否かを判断している。これは、ステップＳ５０５での判断が、輝度変化のレベルが小さいとなり、さらに、ステップＳ５０７での判断が、撮影画像に占める黒レベル領域が所定の割合以下となったため、撮影画像の輝度ちらつきが目立つことを低減するために、第１及び第２のゲイン切換えを第１のゲイン切換え閾値ｇａｉｎＴＨ２以上となるまで遅らせる処理である。第１及び第２のゲイン切換えを可能な限り遅らせることで、撮影画像の輝度ちらつきの発生頻度を低減させようとするものである。
【００４４】
ステップＳ５０９の判断結果が、制御ゲイン２０１がｇａｉｎＴＨ２以下であれば（ｙｅｓ）、ステップＳ５０１に進み処理を繰り返す。ステップＳ５０９の判断結果が、制御ゲイン２０１がｇａｉｎＴＨ２以上であれば（ｎｏ）、ステップＳ５１０へ進み、ステップＳ５１０では、第１のゲイン及び第２のゲインを切換えて、制御ゲイン２０１の設定処理を終了し、次の処理タイミングまで待機する。
【００４５】
こうして、露出制御部１１１によって入射光量の変化に基づく適正な露出制御が施されたデジタル画像信号を画像信号処理部１１３へ出力する。
【００４６】
次に、露出制御部１１１によって適正な露出制御が施されたデジタル画像信号は画像信号処理部１１３へ入力される。
【００４７】
次に、画像信号処理部１１３では、入力されたデジタル画像信号にγ・アパーチャ・カラーバランス等の各画像処理を施し所望の動画フォーマットに変換して後段の信号処理部へ出力する。出力された画像処理後の画像信号は、不図示の表示部にモニター画像として表示されたり、不図示の記録部に記録されることとなる。
【００４８】
以上、説明したように第１の増幅部１０６の出力と、第２の増幅部１１０の出力との合計が入射光量に基づく露出制御部１１１の出力である制御ゲインによって決定され、第１の増幅部に設定される第１のゲインと第２の増幅部に設定される第２のゲインの各々のゲイン切換えを、制御ゲインの所定期間の変動量と、撮影画像に占める黒レベル領域の割合とに基づき行うこととした。そうすることで、被写体輝度が低下した撮影での第１のゲインと第２のゲインの各々のゲイン切換えで生じる撮影画像の輝度ちらつきが目立つ頻度を低減することが可能となった。また、第１の増幅部に設定される第１のゲインと第２の増幅部に設定される第２のゲインの各々のゲイン切換えを、入射光量のＶ周期期間中の制御ゲイン変化量と、撮影画像に占める黒レベル領域の割合とに基づいて第１の増幅部に設定される第１のゲインと第２の増幅部に設定される第２のゲインの各々のゲイン切換えのポイントを二つの閾値の範囲内で行うようにした。そうすることで輝度変化のレベルが小さく、黒レベル領域が多い場合は、ゲイン切換えを行わず、輝度変化のレベルが小さく、黒レベル領域が少ない場合は、可能な限りゲイン切換えを遅らせることが可能で、ゲイン切換え時の輝度ちらつきの発生頻度を低減することが可能となった。
【００４９】
＜他の実施形態＞
前述第１の実施形態では、第１の増幅部１０６の出力と、第２の増幅部１１０の出力との合計が入射光量に基づく露出制御部１１１の出力である制御ゲイン２０１によって決定され、第１の増幅部１０６に設定される第１のゲインと第２の増幅部１１０に設定される第２のゲインの各々のゲイン切換えを、制御ゲイン２０１の所定期間の変動量と、撮影画像のヒストグラムを算出し、黒レベル領域を検出し、黒レベル領域の撮影画像全体に占める割合とに基づいて行うようにした。そうすることで、ゲイン切換えで生じる撮影画像の輝度ちらつきが目立つ頻度を低減可能なことについて説明した。
【００５０】
他の実施形態では、黒レベル領域の撮影画像全体に占める割合と黒レベル領域が撮影画像の中心部にある場合や、周辺部のある場合のゲイン切換えを行うようにしてもよい。
【００５１】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。例えば、黒レベル領域が撮影画像の中心部にある場合は、被写体を画角中心に撮影することが一般的なので、ゲイン切換えを行わなくするとしてもよい。
【００５２】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００５３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００５４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００５５】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００５６】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００５７】
１０１‥‥撮影レンズ
１０２‥‥レンズドライバ
１０３‥‥操作部
１０４‥‥撮像素子
１０５‥‥撮像素子内部の光電変換部
１０６‥‥撮像素子内部の第１の増幅部
１０７‥‥ＡＦＥ
１０８‥‥マイコン
１０９‥‥センサ補正部
１１０‥‥第２の増幅部
１１１‥‥露出制御部
１１２‥‥画像信号処理部
１１３‥‥ゲイン制御部
１１４‥‥レンズ制御部
１１５‥‥ヒストグラム算出部
１１６‥‥黒レベル領域判定部
【特許請求の範囲】
【請求項１】
撮像光学手段と、
前記撮像光学手段によって集光される入射光を電気信号へ変換する撮像手段と、
前記電気信号を第１のゲインで増幅する第１の増幅手段と、
前記第１の増幅手段の出力を前記第１のゲインより細かい刻み幅の第２のゲインで増幅する第２の増幅手段と、
前記第１の増幅手段の出力と、前記第２の増幅手段の出力の合計が、前記撮像素子への入射光量に基づいて決定される制御ゲインを算出する露出制御手段と、
前記露出制御手段の出力からヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラム算出手段のの出力に基づき撮影画像に占める黒レベル領域の割合を判定する黒レベル領域判定手段と、
前記露出制御手段の出力と前記黒レベル領域判定手段の出力に基づき、前記第１の増幅手段と前記第２の増幅手段の各々のゲイン設定を制御するゲイン制御手段と、を備え、
前記ゲイン制御手段は、前記露出制御手段の所定時間毎の出力変化量を算出し、該出力変化量が所定値以上と判断された場合及び前記黒レベル判定手段の判定する黒レベル領域が撮影画角の所定の割合以下の場合に、第１の増幅手段のゲイン設定を切換えることを特徴とする撮像装置。
【請求項２】
前記ゲイン制御手段は、前記第１のゲイン切換えのゲイン幅があらかじめ設定されており、前記制御ゲインに基づくゲイン設定変更ポイントが該ゲイン幅の範囲内にあるときは、前記黒レベル領域判定手段による判定結果が所定の割合以下と判定された場合は、前記露出制御手段の出力変化量の大きさに基づいて、前記第１のゲインを切換えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ゲイン制御手段は、前記第１のゲイン切換えのゲイン幅があらかじめ設定されており、前記制御ゲインに基づくゲイン設定変更ポイントが該ゲイン幅の範囲内にあるときは、前記黒レベル領域判定手段による判定結果が所定の割合以上と判定された場合は、前記露出制御手段の出力変化量の大きさに基づいて、前記第１のゲインを切換えないことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ゲイン制御手段は、前記第１のゲイン切換えのゲイン幅があらかじめ設定されており、前記制御ゲインに基づくゲイン設定変更ポイントが該ゲイン幅の範囲内にあるときは、前記黒レベル領域判定手段による判定結果が所定の割合以下かつ撮影画角の周辺部であると判定された場合は、前記露出制御手段の出力変化量の大きさに基づいて、前記第１のゲインを切換えることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記ゲイン制御手段は、前記第１のゲイン切換えのゲイン幅があらかじめ設定されており、前記制御ゲインに基づくゲイン設定変更ポイントが該ゲイン幅の範囲内にあるときは、前記黒レベル領域判定手段による判定結果が所定の割合以上かつ撮影画角の中央部であると判定された場合は、前記露出制御手段の出力変化量の大きさに基づいて、前記第１のゲインを切換えないことを特徴とする請求項１に記載の撮像装置。
【請求項１】
撮像光学手段と、
前記撮像光学手段によって集光される入射光を電気信号へ変換する撮像手段と、
前記電気信号を第１のゲインで増幅する第１の増幅手段と、
前記第１の増幅手段の出力を前記第１のゲインより細かい刻み幅の第２のゲインで増幅する第２の増幅手段と、
前記第１の増幅手段の出力と、前記第２の増幅手段の出力の合計が、前記撮像素子への入射光量に基づいて決定される制御ゲインを算出する露出制御手段と、
前記露出制御手段の出力からヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラム算出手段のの出力に基づき撮影画像に占める黒レベル領域の割合を判定する黒レベル領域判定手段と、
前記露出制御手段の出力と前記黒レベル領域判定手段の出力に基づき、前記第１の増幅手段と前記第２の増幅手段の各々のゲイン設定を制御するゲイン制御手段と、を備え、
前記ゲイン制御手段は、前記露出制御手段の所定時間毎の出力変化量を算出し、該出力変化量が所定値以上と判断された場合及び前記黒レベル判定手段の判定する黒レベル領域が撮影画角の所定の割合以下の場合に、第１の増幅手段のゲイン設定を切換えることを特徴とする撮像装置。
【請求項２】
前記ゲイン制御手段は、前記第１のゲイン切換えのゲイン幅があらかじめ設定されており、前記制御ゲインに基づくゲイン設定変更ポイントが該ゲイン幅の範囲内にあるときは、前記黒レベル領域判定手段による判定結果が所定の割合以下と判定された場合は、前記露出制御手段の出力変化量の大きさに基づいて、前記第１のゲインを切換えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ゲイン制御手段は、前記第１のゲイン切換えのゲイン幅があらかじめ設定されており、前記制御ゲインに基づくゲイン設定変更ポイントが該ゲイン幅の範囲内にあるときは、前記黒レベル領域判定手段による判定結果が所定の割合以上と判定された場合は、前記露出制御手段の出力変化量の大きさに基づいて、前記第１のゲインを切換えないことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記ゲイン制御手段は、前記第１のゲイン切換えのゲイン幅があらかじめ設定されており、前記制御ゲインに基づくゲイン設定変更ポイントが該ゲイン幅の範囲内にあるときは、前記黒レベル領域判定手段による判定結果が所定の割合以下かつ撮影画角の周辺部であると判定された場合は、前記露出制御手段の出力変化量の大きさに基づいて、前記第１のゲインを切換えることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記ゲイン制御手段は、前記第１のゲイン切換えのゲイン幅があらかじめ設定されており、前記制御ゲインに基づくゲイン設定変更ポイントが該ゲイン幅の範囲内にあるときは、前記黒レベル領域判定手段による判定結果が所定の割合以上かつ撮影画角の中央部であると判定された場合は、前記露出制御手段の出力変化量の大きさに基づいて、前記第１のゲインを切換えないことを特徴とする請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１３−１０６２２８（Ｐ２０１３−１０６２２８Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４９３３０（Ｐ２０１１−２４９３３０）
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１５日（２０１１．１１．１５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]