撮像装置、及び輝度制御方法
【課題】 画素加算による輝度制御は、整数倍でしか輝度レベルの調整を行うことができず、細かな照度変化に対応することができないという課題があった。
【解決手段】 本発明は、所定の走査方式の撮像信号を出力する信号処理手段６と、フィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延手段、各画素値のそれぞれに対して所定の係数を掛ける演算手段、所定の係数が掛けられた各画素値を加算する加算手段を有する画素加算手段７と、画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算手段７に供給する係数を制御する制御手段１０を設けたので、係数を小数点以下まで制御することが可能となり、より細かな輝度レベルの制御を行うことが出来る。
【解決手段】 本発明は、所定の走査方式の撮像信号を出力する信号処理手段６と、フィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延手段、各画素値のそれぞれに対して所定の係数を掛ける演算手段、所定の係数が掛けられた各画素値を加算する加算手段を有する画素加算手段７と、画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算手段７に供給する係数を制御する制御手段１０を設けたので、係数を小数点以下まで制御することが可能となり、より細かな輝度レベルの制御を行うことが出来る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体照度に合わせて自動的に画面の明るさの調整を行う撮像装置、及び輝度制御方法に関する。
【背景技術】
【０００２】
従来、低照度の撮影環境での感度を向上させるため、スローシャッターやゲインアップ（信号増幅）といった手法が使用されてきた。ところが、スローシャッターは動きの多い被写体を撮影すると撮影画像に尾引きが発生し、ゲインアップにはノイズが増加するという問題があった。このような問題点を解決した感度向上の技術として、画素加算が知られている。画素加算は、注目画素と周辺の画素の輝度（色）レベルを加算することで、加算に使用した画素数の倍率だけ感度が向上する技術である。たとえば、注目画素があるフレームの前後のフレームにおいて、注目画素の上下に位置する画素を加算することによって、感度を５倍に向上させることができる。特許文献１は、画素加算を用いて感度を向上させる技術について開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１０９５７６
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像後の画像、もしくは映像を見やすいものにするためには、画面の明るさ（出力レベル）を、被写体照度によらず一定とすることが必要となる。このため、撮像装置にて調整を行い、最適な輝度レベルとなるように各種機能を制御するが、その際に輝度レベルの制御を細かく行う必要がある。しかし、特許文献１に記載の撮像装置が実施する画素加算は、周辺の画素を加算するという原理から整数倍でしか輝度レベルの調整を行うことができず、細かな照度変化に対応することができないという課題があった。
【０００５】
特許文献１に記載の撮像装置は、整数倍でしか輝度レベルの調整が出来ないという画素加算の問題点を補うため、細かな輝度レベルの制御が可能なゲインアップを画素加算と切り替えることにより、細かな輝度制御を実現していた。図９は、ゲインアップと画素加算を併用した輝度制御処理のイメージを示す説明図である。図９には、照度環境が明るい状態から暗い状態に遷移する過程において、最も明るい環境ではゲインアップのみによる輝度制御を実施するが、以降、暗い環境ではゲインアップと画素加算を切り替えて輝度制御を行うことが示されている。動作の詳細としては、画面の明るさが一定となるようにゲインアップを使用して輝度制御を実施し、ゲインアップの倍率が一定値以上になったときに、ゲインアップの倍率を１／２にすると同時に、２画素加算を行う制御を行っていた。また、その状態から続けて輝度制御を実施し、ゲインアップの倍率が一定値以上になった時に、ゲインアップの倍率を２／３にすると同時に、３画素加算を行う制御としていた。
【０００６】
このように画素加算とゲインアップを切り替えることで、被写体照度によらず、常に同じ画面の明るさの出力レベルを保つことができる。しかしながら、画素加算とゲインアップを併用する輝度制御方法は、一定の照度下において、ゲインアップと画素加算という異なる高感度化手法を切り替えながら使用、つまり、ゲインアップの倍率を下げると同時に画素加算の加算画素数を増やすタイミングが存在するため、切替タイミングの前後で、解像度の変化やノイズ量の変化等、画面の見え方が大きく変わり、映像に乱れが発生することがあった。
【０００７】
また、常に映像を出力し続ける動画撮影では、画素加算による輝度変化のタイミングと、ゲインアップによる輝度変化のタイミングを完全に一致させる必要がある。少しでもタイミングがずれてしまうと、一瞬画面が明るくなる、もしくは一瞬画面が暗くなるなど、なめらかな輝度変化を実現できなくなる。そのため、二つの制御のタイミングを合わせるために、制御や回路が複雑になるという問題があった。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、撮像手段と、この撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号処理手段と、この信号処理手段から出力された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延手段、この遅延手段から出力された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算手段、この演算手段で所定の係数が掛けられた各画素値を加算する加算手段を有する画素加算手段と、この画素加算手段から出力された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算手段の演算手段に供給する係数を制御する制御手段とを設けたものである。
【０００９】
本発明に係る輝度制御方法は、撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号出力処理と、この信号出力処理された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延処理、この遅延処理された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算処理、この演算処理により所定の係数が掛けられた各画素値を加算する加算処理を含む画素加算処理と、この画素加算処理で加算された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算処理が実行する演算処理で使用される係数を制御する制御処理を含むものである。
【発明の効果】
【００１０】
本発明は、撮像手段と、この撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号処理手段と、この信号処理手段から出力された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延手段、この遅延手段から出力された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算手段、この演算手段で所定の係数が掛けられた各画素値を加算する加算手段を有する画素加算手段と、この画素加算手段から出力された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算手段の演算手段に供給する係数を制御する制御手段とを設けたので、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るという効果を奏する。
【００１１】
本発明に係る輝度制御方法は、撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号出力処理と、この信号出力処理された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延処理、この遅延処理された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算処理、この演算処理により所定の係数が掛けられた各画素値を加算する加算処理を含む画素加算処理と、この画素加算処理で加算された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算処理が実行する演算処理で使用される係数を制御する制御処理を含むので、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る撮像装置の構成を示すブロック図である。
【図２】画素加算回路の詳細な構成を示すブロック図である。
【図３】画素加算回路にて加算される画素の空間的位置、時間的位置の一例を示す説明図である。
【図４】本発明に係る撮像装置が実行する輝度制御処理のイメージを示す説明図である。
【図５】本発明の実施の形態１に係る撮像装置が実行する輝度制御処理を示すフローチャートである。
【図６】本発明の実施の形態２に係る撮像装置が実行する輝度制御処理を示すフローチャートである。
【図７】増減量テーブルの一例を示す説明図である。
【図８】画素加算量テーブルの一例を示す説明図である。
【図９】ゲインアップと画素加算を併用した輝度制御処理のイメージを示す説明図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は本発明の実施の形態１による撮像装置を示すブロック構成図である。図１において、レンズ群１の中にはフォーカス用レンズがあり、レンズ駆動回路１１によって移動され、フォーカシングが行われることで、固体撮像素子２の撮像面上に合焦させる。固体撮像素子２は、タイミングジェネレータ１２より指定されたタイミングで露光を行う。ＣＤＳ（Correlated Double Sampling 相関二重サンプリング）３は、固体撮像素子２の出力信号に相関二重サンプリングを施すことで、ノイズ等の除去を行う。アンプ４は、ＣＤＳ３の出力信号に、マイクロプロセッサ１０から出力された制御信号の倍率にしたがってゲインアップ（信号増幅）を行う。Ａ／Ｄ変換機５は、アンプ４の出力信号をデジタル信号に変換する。
【００１４】
映像信号処理部６は、Ａ／Ｄ変換機５の出力信号に、欠陥画素補正処理や、色補間処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理などを加え、飛び越し走査方式の映像信号を出力する。画素加算回路７は映像信号処理部６の出力信号に画素加算を行うものであり、画素加算において、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えている。輝度積分値計算部８は、画素加算回路７の出力信号の振幅より、画面内輝度積分値の計算を行う。映像信号出力部９は、輝度積分値計算部８の出力信号に最終処理を施し、撮像装置より外部へ出力を行う。
【００１５】
マイクロプロセッサ１０は、撮像信号の大きさに基づいて、例えば輝度積分値計算部８から供給された画面内輝度積分値に基づいて、レンズ１の絞りの制御、タイミングジェネレータ１２が発生する固体撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（露光時間の制御）、アンプ４のゲインアップ量の制御、並びに画素加算回路７の画素加算処理の制御を行う。具体的には、輝度積分値計算部８から得られる画面内輝度積分値が一定となるように自動露光制御を行う。明るい環境での撮像で画面内輝度積分値（信号振幅）が大きい時、マイクロプロセッサ１０は、レンズ１の開口を絞るように制御（アイリス制御）して固体撮像素子２への入射光量を減らす。一方、暗い環境での撮像で画面内輝度積分値（信号振幅）が小さい時、マイクロプロセッサ１０は、レンズ１の開口を開くように制御して固体撮像素子２への入射光量を増加させる。
【００１６】
マイクロプロセッサ１０は、輝度を一定に保つため、アイリス制御のほか、ゲインアップ量の制御も行う。例えば、周辺照度が徐々に暗くなる環境での撮像で、画面内輝度積分値（信号振幅）が小さくなってきた時、アンプ４のゲインアップ量を増やすように制御して撮像信号を増幅する。逆に、周辺照度が徐々に明るくなる環境での撮像で、画面内輝度積分値（信号振幅）が大きくなってきた時、アンプ４のゲインアップ量を減らすように制御する。
【００１７】
マイクロプロセッサ１０は、周辺照度の変化によって、アイリス制御、ゲインアップ量の制御、画素加算による輝度制御方法を実行する。以下、周辺照度が変化したときの感度調整のための手順の一例を説明する。周辺照度が徐々に暗くなり、画面内輝度積分値（信号振幅）が下がってくると、レンズ１の絞りを開放方向に制御して、画面内輝度積分値（信号振幅）を維持する。レンズ１の絞りが開放（全開）になった後は、アンプ４のゲインアップ量を増やすように制御して、画面内輝度積分値（信号振幅）を維持する。アンプ４のゲインアップ量が最大になった後は、画素加算回路７の係数を増やすように制御して、画面内輝度積分値（信号振幅）を維持する。逆に、周辺照度が徐々に明るくなり、画面内輝度積分値（信号振幅）が上がってくると、画素加算回路７が係数を減らすように制御する。周辺照度がさらに明るくなると、アンプ４のゲインアップ量を減らすように制御して、画面内輝度積分値（信号振幅）を維持する。周辺照度がさらに明るくなると、レンズ１の絞りを遮光方向に制御して、画面内輝度積分値（信号振幅）を維持する。
【００１８】
上記のように、マイクロプロセッサ１０は、レンズ１の絞り、固体撮像素子２の露光時間、アンプ４のゲインアップ量、画素加算回路７における画素加算の各々の信号振幅調整機能を制御して画面内輝度積分値（信号振幅）を維持する。
【００１９】
図２は、画素加算回路の詳細な構成を示すブロック図である。以下、図２を参照して、画素加算回路７がＮＴＳＣ方式（インターレース方式）の信号を処理する場合を例に説明する。画素加算処理はＹ信号、Ｃ信号ともに行う必要があるが、ここではＹ信号を代表として説明する。実際にはＣ信号についても同様の処理を行う必要がある。また、撮像装置によってはＲ、Ｇ、Ｂ信号など、異なる信号が入力される場合もあるが、処理の方法は同様である。映像信号処理部６より画素加算回路に入力された信号から、フィールド遅延部２０１にて、遅延なしの信号Ｐ１、２６２ライン（１フィールド）遅延した信号Ｐ２、５２５ライン（２フィールド）遅延した信号Ｐ３が生成される。フィールド遅延部２０１より出力された信号から、ライン遅延部２０２にて、Ｐ１から遅延なしの信号Ｐ１１、Ｐ１から１ライン遅延の信号Ｐ１２、Ｐ２から遅延なしの信号Ｐ２１、Ｐ２から１ライン遅延の信号Ｐ２２、Ｐ２から２ライン遅延の信号Ｐ２３、Ｐ３から遅延なしの信号Ｐ３１、Ｐ３から１ライン遅延の信号Ｐ３２、が生成される。
【００２０】
ライン遅延部２０２より出力された信号から、ピクセル遅延部２０３にて、Ｐ１１から１ライン遅延の信号Ｐ１１２、Ｐ１２から１ライン遅延の信号Ｐ１２２、Ｐ２１から１ライン遅延の信号Ｐ２１２、Ｐ２２から遅延なしの信号Ｐ２２１、Ｐ２２から１ライン遅延の信号Ｐ２２２、Ｐ２２から２ライン遅延の信号Ｐ２２３、Ｐ２３から１ライン遅延の信号Ｐ２３２、Ｐ３１から１ライン遅延の信号Ｐ３１２、Ｐ３２から１ライン遅延の信号Ｐ３２２、が生成される。ピクセル遅延部２０３より出力された信号は、演算部２０４にて、それぞれマイクロプロセッサより指定された係数Ｋ１１２〜Ｋ３２２で乗算を行う。演算部２０４より出力された信号は、加算部２０５にて加算される。加算部２０５より出力された信号は、輝度積分値計算部８に入力される。なお、演算部２０３より出力された信号のうち、１フィールド遅延、１ライン遅延、１ピクセル遅延を行った信号Ｐ２２２を注目画素とし、それ以外を周辺画素とする。
【００２１】
図３は、画素加算回路にて加算される画素の空間的位置、時間的位置の一例を示す説明図である。以下、図３を参照して、上記遅延信号の空間的位置、時間的位置を説明する。縦に垂直軸Ｖ、横に水平軸Ｈをとったインタレース方式の映像信号の画素配置図である。垂直５２５ラインのうち、１ラインから２６２ラインの真ん中までが奇数フィールド、２６２ラインの真ん中から５２５ラインまでが偶数フィールドである。Ｐ２２１は注目画素Ｐ２２２と同一フィールドで、注目画素から水平に１画素前の位置であり、Ｐ２２３は１画素後ろの位置である。Ｐ２１２は注目画素と同一フィールドで、注目画素から１ライン前（２画素上）の位置であり、Ｐ２３２は１ライン後（２画素下）の位置である。Ｐ１１２は注目画素の１フィールド前で、注目画素の真上の位置であり、Ｐ１２２は注目画素の真下の位置である。Ｐ３１２は注目画素の１フィールド後で、注目画素の真上の位置であり、Ｐ３２２は注目画素の真下の位置である。
【００２２】
演算部の係数を、（Ｋ１１２、Ｋ１２２、Ｋ２１２、Ｋ２２１、Ｋ２２２、Ｋ２２３、Ｋ２３２、Ｋ３１２、Ｋ３２２）＝（０、０、０、０、１、０、０、０、０）とした場合、注目画素の１倍、つまり入力画像がそのまま出力されることとなり、画素加算回路がない（画素加算機能がＯＦＦ）場合と同様となる。また、演算部の係数を（Ｋ１１２、Ｋ１２２、Ｋ２１２、Ｋ２２１、Ｋ２２２、Ｋ２２３、Ｋ２３２、Ｋ３１２、Ｋ３２２）＝（０、０、０、１、１、１、０、０、０）とすることで水平３画素加算となり、３倍の感度向上が実現できる。また、（Ｋ１１２、Ｋ１２２、Ｋ２１２、Ｋ２２１、Ｋ２２２、Ｋ２２３、Ｋ２３２、Ｋ３１２、Ｋ３２２）＝（１、１、０、０、１、０、０、１、１）とすることで３フィールドにわたる５画素加算となり、５倍の感度向上が実現できる。このように係数を制御することで、画素加算の動作を制御することができる。上記説明のように、本発明に係る撮像装置は、画素加算において、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えている。
【００２３】
図４は、本発明に係る撮像装置が実行する輝度制御処理のイメージを示す説明図である。ここで、演算部２０４の係数を小数点以下の単位まで制御可能な構成とすると、整数倍単位の輝度制御だけでなく、細かい輝度制御が可能になる。例えば、演算部２０４の係数を（Ｋ１１２、Ｋ１２２、Ｋ２１２、Ｋ２２１、Ｋ２２２、Ｋ２２３、Ｋ２３２、Ｋ３１２、Ｋ３２２）＝（０、０、０、０．１２５、１、０．１２５、０、０、０）とすることで、１．２５倍の感度向上が実現できる。このように、演算部２０４の係数を小数点以下の単位で制御することで、ゲインアップを併用することなく、図４に示すように細かい輝度制御を行うことができる。
【００２４】
図５は、本発明の実施の形態１に係る撮像装置が実行する輝度制御処理を示すフローチャートである。以下、図５を用いて、本発明に係る撮像装置が実行する輝度制御処理について説明する。マイクロプロセッサ１０は、輝度積分値計算部８の入力信号から画面内輝度積分値を算出する（ステップＳ１）。輝度積分値計算部８の入力信号は、全ての感度アップの処理が行われた後であるため、この時点での画面内輝度積分値は、全ての画素の輝度レベルを足し合わせたものである。また、画面の明るさの目標値は、目標輝度積分値としてあらかじめ設定しておく。ハンチングを防止するため、目標輝度積分値にはある程度の幅を持たせることとし、目標輝度積分値上限と、目標輝度積分値下限を定める。
【００２５】
次に、マイクロプロセッサ１０は、画面内輝度積分値と目標輝度積分値上限の比較を行う（ステップＳ２）。このステップＳ２の判定において、画面内輝度積分値が目標輝度積分値上限より大きい場合（ステップＳ２でＹｅｓ）、マイクロプロセッサ１０は演算部２０４の係数を減少させる（ステップＳ４）。一方、画面内輝度積分値が目標輝度積分値上限以下の場合（ステップＳ２でＮｏ）、マイクロプロセッサ１０は、画面内輝度積分値と目標輝度積分値下限を比較する（ステップＳ３）。このステップＳ３の判定において、目標輝度積分値が目標輝度積分値下限より小さい場合（ステップＳ３でＹｅｓ）、マイクロプロセッサ１０は、演算部２０４の係数を増加させる（ステップＳ５）。一方、画面内輝度積分値が目標輝度積分値下限以上の場合（ステップＳ３でＮｏ）、マイクロプロセッサ１０は演算部２０４の係数の調整は行わない。このような処理を繰り返し行うことで、画面内輝度積分値が目標輝度積分値に近づくこととなる。
【００２６】
ゲインアップと画素加算を併用した輝度制御処理のイメージを示す図９は、照度環境が明るい状態から暗い状態に遷移する過程において、最も明るい環境ではゲインアップのみによる輝度制御を実施するが、以降、暗い環境ではゲインアップと画素加算を同時使用して輝度制御を行うことを示す。つまり、ゲインアップによる輝度制御量と画素加算による輝度制御量を切り替える照度領域が存在する。ゲインアップと画素加算という異なる高感度化手法を併用する場合、切り替えのタイミングで解像度の変化やノイズ量の変化等、画面の見え方が大きく変わり、映像に乱れが発生するという課題があった。一方、本発明は、画素加算において、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えることにより、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るようになった。図４は、本発明に係る撮像装置が実行する輝度制御処理のイメージを示す説明図である。図４と図９を比較すると、本発明の撮像装置が実行する画素加算処理は「画素加算なし」から「５画素加算」のいずれの画素加算でも細かく輝度レベルを制御できることが分かる。したがって、ゲインアップと併用しなくても、細かな輝度レベルの制御を行うことが可能となり、瞬時の照度変化に対応することが出来るという効果がある。また、図９はゲインアップと画素加算を切り替える照度領域（タイミング）が存在することを示しているが、図４によると、ゲインアップと画素加算を切り替える照度領域（タイミング）は存在しないことが分かる。
【００２７】
また、常に映像を出力し続ける動画撮影では、画素加算による輝度変化のタイミングとゲインアップによる輝度変化のタイミングを完全に一致させる必要があり、少しでもタイミングがずれてしまうと、なめらかな輝度変化を実現できないという課題があった。しかし、本発明は、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えることにより、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るので、ある照度下で、ゲインアップと併用しなくても、細かな輝度レベルの制御を行うことが可能である。したがって、画素加算とゲインアップによる輝度変化のタイミングを合わせるための特段の対策を行う必要がない。
【００２８】
なお、上記説明では、画素加算によって輝度制御を行う実施例を説明したが、シャッター速度の調整のほか、照度の変化に伴いアイリス制御、ゲインアップ量の調整を行い、アイリス制御、ゲインアップ量の調整による感度アップが上限に達した時に画素加算を動作させるようにしても良い。従来のように、一定の照度下で、画素加算による制御を詳細化するためにゲインアップを同時使用する必要がないので、ゲインアップと画素加算の動作モードの切り替えタイミングでの映像に乱れは抑制される。
【００２９】
実施の形態２．
次に、本発明の実施の形態２について説明する。本実施の形態では、演算部２０４の係数の増減にテーブルを使用する方法について説明する。本実施の形態に係る撮像装置の構成は図１、図２で説明したものと同様である。図６は、本発明の実施の形態２に係る撮像装置が実行する輝度制御処理を示すフローチャートである。図６において、輝度積分値計算部８は画面内輝度積分値の算出を行う（ステップ１１）。次に、マイクロプロセッサ１０は、輝度積分値計算部８が計算した画面内輝度積分値と目標輝度積分値の割合を算出し（ステップ１２）、増減量テーブルから増減量を読み取る（ステップ１３）。
【００３０】
図７は、増減量テーブルの一例を示す説明図である。図８は、画素加算量テーブルの一例を示す説明図である。例えば、画面内輝度積分値と目標輝度積分値の割合が１．８のとき、図７に示すテーブルの「画素加算量テーブル加減算値」は＋２を示している。この「＋２」は、画面内輝度積分値と目標輝度積分値の割合が１．８のとき、現在使用している画素加算量テーブルのテーブル番号に＋２のテーブル番号が付された画素加算量テーブルに変更することを示す。
【００３１】
マイクロプロセッサ１０は、図７に示す増減量テーブルより読み取った増減量だけ、画素加算量テーブルのテーブル番号を増減し、係数を読み取る（ステップ１４）。例えば、現在の画素加算量がテーブル番号５であった場合に、増減量を＋２（２増加）とすると、図７より画素加算量テーブルは７となる。図８を参照してテーブル番号７を見ると、係数Ｋ２２３は０から０．５に変化させることが分かる。このように、演算部２０４の係数をテーブルで管理することによって、多数ある係数を一元管理することができ、係数を滑らかに変化させることができる。また、テーブルの増減量を輝度割合から決めることで、輝度差が大きい時ほど画素加算量も大きく変化する制御となるため、被写体照度に対する追従性が向上する。
【００３２】
なお、これまでに説明したテーブルや図は一例であり、さらに細かく画素加算量を制御するテーブルを使用することで、よりスムーズな輝度変化を実現することができる。また、ここまで説明した形態では、画素加算による輝度制御の方法についてのみ述べたが、ゲインアップ、アイリス制御、高速シャッター等、他の輝度制御が搭載されている撮像装置であれば、他の輝度制御による感度アップが上限に達した時に画素加算を動作させるなど、併用して使用しても良い。また、今回は９画素を加算する場合を例に説明したが、９画素である必要性はなく、さらに周辺の画素を加算する構成として感度を向上させたり、加算する画素数を減らして回路を簡略化しても良い。
【００３３】
また、今回はテーブルを使用して加算する画素の位置を決めていたが、テーブルである必要はない。例えば、注目画素との差分の少ない画素を優先的に使用する構成とすることで、解像度の低下を抑えることができる。また、今回は画面内輝度積分値の算出に全画素を加算したが、全ての画素を用いる必要はない。例えば、一定箇所の画素のみを用いて輝度積分値を算出したり、画素をいくつかのエリアにわけてそれぞれで画面内輝度積分値を算出し、個別に輝度制御を行っても良い。また、目標輝度積分値も常に一定である必要はない。例えば、照度が暗くなる（ゲイン増幅量や画素加算量が上がる）時に目標輝度積分値が低くなる設定とすることで、発生するノイズを目立たなくすることができる。
【００３４】
また、今回はＮＴＳＣ方式（インターレース方式）を例に挙げたが、ＰＡＬ方式やプログレッシブ方式（時間軸方向の画素加算は、フィールド遅延ではなくフレーム遅延となる）の信号であっても良い。信号の種類についても、輝度信号と色差信号の組み合わせや、ＲＧＢ信号や、モノクロ映像で輝度信号のみ等、種類を問わない。また、アナログ信号だけに限らず、デジタル信号でも良い。また、固体撮像素子については、ＣＣＤやＣＭＯＳ等、撮像可能なイメージセンサであればどのようなものでも良い。
【００３５】
上記説明のように、演算部２０４の係数をテーブルで管理することによって、多数ある係数を一元管理することができ、係数を滑らかに変化させることができる。また、テーブルの増減量を輝度割合から決めることで、輝度差が大きい時ほど画素加算量も大きく変化する制御となるため、被写体照度に対する追従性が向上し、照度変化に対する映像の乱れを最小限にすることができる。
【符号の説明】
【００３６】
１ レンズ群、２ 固体撮像素子、３ ＣＤＳ、４ アンプ、５ Ａ／Ｄ変換器、
６ 映像信号処理部、７ 画素加算回路、８ 輝度積分値計算部、９ 映像信号出力部、
１０ マイクロプロセッサ、１１ レンズ駆動回路、１２ タイミングジェネレータ、
２０１ フィールド遅延部、２０２ ライン遅延部、２０３ ピクセル遅延部、
２０４ 演算部、２０５ 加算部
【技術分野】
【０００１】
本発明は、被写体照度に合わせて自動的に画面の明るさの調整を行う撮像装置、及び輝度制御方法に関する。
【背景技術】
【０００２】
従来、低照度の撮影環境での感度を向上させるため、スローシャッターやゲインアップ（信号増幅）といった手法が使用されてきた。ところが、スローシャッターは動きの多い被写体を撮影すると撮影画像に尾引きが発生し、ゲインアップにはノイズが増加するという問題があった。このような問題点を解決した感度向上の技術として、画素加算が知られている。画素加算は、注目画素と周辺の画素の輝度（色）レベルを加算することで、加算に使用した画素数の倍率だけ感度が向上する技術である。たとえば、注目画素があるフレームの前後のフレームにおいて、注目画素の上下に位置する画素を加算することによって、感度を５倍に向上させることができる。特許文献１は、画素加算を用いて感度を向上させる技術について開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１０９５７６
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像後の画像、もしくは映像を見やすいものにするためには、画面の明るさ（出力レベル）を、被写体照度によらず一定とすることが必要となる。このため、撮像装置にて調整を行い、最適な輝度レベルとなるように各種機能を制御するが、その際に輝度レベルの制御を細かく行う必要がある。しかし、特許文献１に記載の撮像装置が実施する画素加算は、周辺の画素を加算するという原理から整数倍でしか輝度レベルの調整を行うことができず、細かな照度変化に対応することができないという課題があった。
【０００５】
特許文献１に記載の撮像装置は、整数倍でしか輝度レベルの調整が出来ないという画素加算の問題点を補うため、細かな輝度レベルの制御が可能なゲインアップを画素加算と切り替えることにより、細かな輝度制御を実現していた。図９は、ゲインアップと画素加算を併用した輝度制御処理のイメージを示す説明図である。図９には、照度環境が明るい状態から暗い状態に遷移する過程において、最も明るい環境ではゲインアップのみによる輝度制御を実施するが、以降、暗い環境ではゲインアップと画素加算を切り替えて輝度制御を行うことが示されている。動作の詳細としては、画面の明るさが一定となるようにゲインアップを使用して輝度制御を実施し、ゲインアップの倍率が一定値以上になったときに、ゲインアップの倍率を１／２にすると同時に、２画素加算を行う制御を行っていた。また、その状態から続けて輝度制御を実施し、ゲインアップの倍率が一定値以上になった時に、ゲインアップの倍率を２／３にすると同時に、３画素加算を行う制御としていた。
【０００６】
このように画素加算とゲインアップを切り替えることで、被写体照度によらず、常に同じ画面の明るさの出力レベルを保つことができる。しかしながら、画素加算とゲインアップを併用する輝度制御方法は、一定の照度下において、ゲインアップと画素加算という異なる高感度化手法を切り替えながら使用、つまり、ゲインアップの倍率を下げると同時に画素加算の加算画素数を増やすタイミングが存在するため、切替タイミングの前後で、解像度の変化やノイズ量の変化等、画面の見え方が大きく変わり、映像に乱れが発生することがあった。
【０００７】
また、常に映像を出力し続ける動画撮影では、画素加算による輝度変化のタイミングと、ゲインアップによる輝度変化のタイミングを完全に一致させる必要がある。少しでもタイミングがずれてしまうと、一瞬画面が明るくなる、もしくは一瞬画面が暗くなるなど、なめらかな輝度変化を実現できなくなる。そのため、二つの制御のタイミングを合わせるために、制御や回路が複雑になるという問題があった。
【課題を解決するための手段】
【０００８】
本発明に係る撮像装置は、撮像手段と、この撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号処理手段と、この信号処理手段から出力された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延手段、この遅延手段から出力された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算手段、この演算手段で所定の係数が掛けられた各画素値を加算する加算手段を有する画素加算手段と、この画素加算手段から出力された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算手段の演算手段に供給する係数を制御する制御手段とを設けたものである。
【０００９】
本発明に係る輝度制御方法は、撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号出力処理と、この信号出力処理された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延処理、この遅延処理された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算処理、この演算処理により所定の係数が掛けられた各画素値を加算する加算処理を含む画素加算処理と、この画素加算処理で加算された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算処理が実行する演算処理で使用される係数を制御する制御処理を含むものである。
【発明の効果】
【００１０】
本発明は、撮像手段と、この撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号処理手段と、この信号処理手段から出力された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延手段、この遅延手段から出力された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算手段、この演算手段で所定の係数が掛けられた各画素値を加算する加算手段を有する画素加算手段と、この画素加算手段から出力された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算手段の演算手段に供給する係数を制御する制御手段とを設けたので、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るという効果を奏する。
【００１１】
本発明に係る輝度制御方法は、撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号出力処理と、この信号出力処理された撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延処理、この遅延処理された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算処理、この演算処理により所定の係数が掛けられた各画素値を加算する加算処理を含む画素加算処理と、この画素加算処理で加算された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、画素加算処理が実行する演算処理で使用される係数を制御する制御処理を含むので、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る撮像装置の構成を示すブロック図である。
【図２】画素加算回路の詳細な構成を示すブロック図である。
【図３】画素加算回路にて加算される画素の空間的位置、時間的位置の一例を示す説明図である。
【図４】本発明に係る撮像装置が実行する輝度制御処理のイメージを示す説明図である。
【図５】本発明の実施の形態１に係る撮像装置が実行する輝度制御処理を示すフローチャートである。
【図６】本発明の実施の形態２に係る撮像装置が実行する輝度制御処理を示すフローチャートである。
【図７】増減量テーブルの一例を示す説明図である。
【図８】画素加算量テーブルの一例を示す説明図である。
【図９】ゲインアップと画素加算を併用した輝度制御処理のイメージを示す説明図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は本発明の実施の形態１による撮像装置を示すブロック構成図である。図１において、レンズ群１の中にはフォーカス用レンズがあり、レンズ駆動回路１１によって移動され、フォーカシングが行われることで、固体撮像素子２の撮像面上に合焦させる。固体撮像素子２は、タイミングジェネレータ１２より指定されたタイミングで露光を行う。ＣＤＳ（Correlated Double Sampling 相関二重サンプリング）３は、固体撮像素子２の出力信号に相関二重サンプリングを施すことで、ノイズ等の除去を行う。アンプ４は、ＣＤＳ３の出力信号に、マイクロプロセッサ１０から出力された制御信号の倍率にしたがってゲインアップ（信号増幅）を行う。Ａ／Ｄ変換機５は、アンプ４の出力信号をデジタル信号に変換する。
【００１４】
映像信号処理部６は、Ａ／Ｄ変換機５の出力信号に、欠陥画素補正処理や、色補間処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理などを加え、飛び越し走査方式の映像信号を出力する。画素加算回路７は映像信号処理部６の出力信号に画素加算を行うものであり、画素加算において、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えている。輝度積分値計算部８は、画素加算回路７の出力信号の振幅より、画面内輝度積分値の計算を行う。映像信号出力部９は、輝度積分値計算部８の出力信号に最終処理を施し、撮像装置より外部へ出力を行う。
【００１５】
マイクロプロセッサ１０は、撮像信号の大きさに基づいて、例えば輝度積分値計算部８から供給された画面内輝度積分値に基づいて、レンズ１の絞りの制御、タイミングジェネレータ１２が発生する固体撮像素子２の光電変換素子からの電荷読出しタイミング及び電荷強制排出タイミングの制御（露光時間の制御）、アンプ４のゲインアップ量の制御、並びに画素加算回路７の画素加算処理の制御を行う。具体的には、輝度積分値計算部８から得られる画面内輝度積分値が一定となるように自動露光制御を行う。明るい環境での撮像で画面内輝度積分値（信号振幅）が大きい時、マイクロプロセッサ１０は、レンズ１の開口を絞るように制御（アイリス制御）して固体撮像素子２への入射光量を減らす。一方、暗い環境での撮像で画面内輝度積分値（信号振幅）が小さい時、マイクロプロセッサ１０は、レンズ１の開口を開くように制御して固体撮像素子２への入射光量を増加させる。
【００１６】
マイクロプロセッサ１０は、輝度を一定に保つため、アイリス制御のほか、ゲインアップ量の制御も行う。例えば、周辺照度が徐々に暗くなる環境での撮像で、画面内輝度積分値（信号振幅）が小さくなってきた時、アンプ４のゲインアップ量を増やすように制御して撮像信号を増幅する。逆に、周辺照度が徐々に明るくなる環境での撮像で、画面内輝度積分値（信号振幅）が大きくなってきた時、アンプ４のゲインアップ量を減らすように制御する。
【００１７】
マイクロプロセッサ１０は、周辺照度の変化によって、アイリス制御、ゲインアップ量の制御、画素加算による輝度制御方法を実行する。以下、周辺照度が変化したときの感度調整のための手順の一例を説明する。周辺照度が徐々に暗くなり、画面内輝度積分値（信号振幅）が下がってくると、レンズ１の絞りを開放方向に制御して、画面内輝度積分値（信号振幅）を維持する。レンズ１の絞りが開放（全開）になった後は、アンプ４のゲインアップ量を増やすように制御して、画面内輝度積分値（信号振幅）を維持する。アンプ４のゲインアップ量が最大になった後は、画素加算回路７の係数を増やすように制御して、画面内輝度積分値（信号振幅）を維持する。逆に、周辺照度が徐々に明るくなり、画面内輝度積分値（信号振幅）が上がってくると、画素加算回路７が係数を減らすように制御する。周辺照度がさらに明るくなると、アンプ４のゲインアップ量を減らすように制御して、画面内輝度積分値（信号振幅）を維持する。周辺照度がさらに明るくなると、レンズ１の絞りを遮光方向に制御して、画面内輝度積分値（信号振幅）を維持する。
【００１８】
上記のように、マイクロプロセッサ１０は、レンズ１の絞り、固体撮像素子２の露光時間、アンプ４のゲインアップ量、画素加算回路７における画素加算の各々の信号振幅調整機能を制御して画面内輝度積分値（信号振幅）を維持する。
【００１９】
図２は、画素加算回路の詳細な構成を示すブロック図である。以下、図２を参照して、画素加算回路７がＮＴＳＣ方式（インターレース方式）の信号を処理する場合を例に説明する。画素加算処理はＹ信号、Ｃ信号ともに行う必要があるが、ここではＹ信号を代表として説明する。実際にはＣ信号についても同様の処理を行う必要がある。また、撮像装置によってはＲ、Ｇ、Ｂ信号など、異なる信号が入力される場合もあるが、処理の方法は同様である。映像信号処理部６より画素加算回路に入力された信号から、フィールド遅延部２０１にて、遅延なしの信号Ｐ１、２６２ライン（１フィールド）遅延した信号Ｐ２、５２５ライン（２フィールド）遅延した信号Ｐ３が生成される。フィールド遅延部２０１より出力された信号から、ライン遅延部２０２にて、Ｐ１から遅延なしの信号Ｐ１１、Ｐ１から１ライン遅延の信号Ｐ１２、Ｐ２から遅延なしの信号Ｐ２１、Ｐ２から１ライン遅延の信号Ｐ２２、Ｐ２から２ライン遅延の信号Ｐ２３、Ｐ３から遅延なしの信号Ｐ３１、Ｐ３から１ライン遅延の信号Ｐ３２、が生成される。
【００２０】
ライン遅延部２０２より出力された信号から、ピクセル遅延部２０３にて、Ｐ１１から１ライン遅延の信号Ｐ１１２、Ｐ１２から１ライン遅延の信号Ｐ１２２、Ｐ２１から１ライン遅延の信号Ｐ２１２、Ｐ２２から遅延なしの信号Ｐ２２１、Ｐ２２から１ライン遅延の信号Ｐ２２２、Ｐ２２から２ライン遅延の信号Ｐ２２３、Ｐ２３から１ライン遅延の信号Ｐ２３２、Ｐ３１から１ライン遅延の信号Ｐ３１２、Ｐ３２から１ライン遅延の信号Ｐ３２２、が生成される。ピクセル遅延部２０３より出力された信号は、演算部２０４にて、それぞれマイクロプロセッサより指定された係数Ｋ１１２〜Ｋ３２２で乗算を行う。演算部２０４より出力された信号は、加算部２０５にて加算される。加算部２０５より出力された信号は、輝度積分値計算部８に入力される。なお、演算部２０３より出力された信号のうち、１フィールド遅延、１ライン遅延、１ピクセル遅延を行った信号Ｐ２２２を注目画素とし、それ以外を周辺画素とする。
【００２１】
図３は、画素加算回路にて加算される画素の空間的位置、時間的位置の一例を示す説明図である。以下、図３を参照して、上記遅延信号の空間的位置、時間的位置を説明する。縦に垂直軸Ｖ、横に水平軸Ｈをとったインタレース方式の映像信号の画素配置図である。垂直５２５ラインのうち、１ラインから２６２ラインの真ん中までが奇数フィールド、２６２ラインの真ん中から５２５ラインまでが偶数フィールドである。Ｐ２２１は注目画素Ｐ２２２と同一フィールドで、注目画素から水平に１画素前の位置であり、Ｐ２２３は１画素後ろの位置である。Ｐ２１２は注目画素と同一フィールドで、注目画素から１ライン前（２画素上）の位置であり、Ｐ２３２は１ライン後（２画素下）の位置である。Ｐ１１２は注目画素の１フィールド前で、注目画素の真上の位置であり、Ｐ１２２は注目画素の真下の位置である。Ｐ３１２は注目画素の１フィールド後で、注目画素の真上の位置であり、Ｐ３２２は注目画素の真下の位置である。
【００２２】
演算部の係数を、（Ｋ１１２、Ｋ１２２、Ｋ２１２、Ｋ２２１、Ｋ２２２、Ｋ２２３、Ｋ２３２、Ｋ３１２、Ｋ３２２）＝（０、０、０、０、１、０、０、０、０）とした場合、注目画素の１倍、つまり入力画像がそのまま出力されることとなり、画素加算回路がない（画素加算機能がＯＦＦ）場合と同様となる。また、演算部の係数を（Ｋ１１２、Ｋ１２２、Ｋ２１２、Ｋ２２１、Ｋ２２２、Ｋ２２３、Ｋ２３２、Ｋ３１２、Ｋ３２２）＝（０、０、０、１、１、１、０、０、０）とすることで水平３画素加算となり、３倍の感度向上が実現できる。また、（Ｋ１１２、Ｋ１２２、Ｋ２１２、Ｋ２２１、Ｋ２２２、Ｋ２２３、Ｋ２３２、Ｋ３１２、Ｋ３２２）＝（１、１、０、０、１、０、０、１、１）とすることで３フィールドにわたる５画素加算となり、５倍の感度向上が実現できる。このように係数を制御することで、画素加算の動作を制御することができる。上記説明のように、本発明に係る撮像装置は、画素加算において、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えている。
【００２３】
図４は、本発明に係る撮像装置が実行する輝度制御処理のイメージを示す説明図である。ここで、演算部２０４の係数を小数点以下の単位まで制御可能な構成とすると、整数倍単位の輝度制御だけでなく、細かい輝度制御が可能になる。例えば、演算部２０４の係数を（Ｋ１１２、Ｋ１２２、Ｋ２１２、Ｋ２２１、Ｋ２２２、Ｋ２２３、Ｋ２３２、Ｋ３１２、Ｋ３２２）＝（０、０、０、０．１２５、１、０．１２５、０、０、０）とすることで、１．２５倍の感度向上が実現できる。このように、演算部２０４の係数を小数点以下の単位で制御することで、ゲインアップを併用することなく、図４に示すように細かい輝度制御を行うことができる。
【００２４】
図５は、本発明の実施の形態１に係る撮像装置が実行する輝度制御処理を示すフローチャートである。以下、図５を用いて、本発明に係る撮像装置が実行する輝度制御処理について説明する。マイクロプロセッサ１０は、輝度積分値計算部８の入力信号から画面内輝度積分値を算出する（ステップＳ１）。輝度積分値計算部８の入力信号は、全ての感度アップの処理が行われた後であるため、この時点での画面内輝度積分値は、全ての画素の輝度レベルを足し合わせたものである。また、画面の明るさの目標値は、目標輝度積分値としてあらかじめ設定しておく。ハンチングを防止するため、目標輝度積分値にはある程度の幅を持たせることとし、目標輝度積分値上限と、目標輝度積分値下限を定める。
【００２５】
次に、マイクロプロセッサ１０は、画面内輝度積分値と目標輝度積分値上限の比較を行う（ステップＳ２）。このステップＳ２の判定において、画面内輝度積分値が目標輝度積分値上限より大きい場合（ステップＳ２でＹｅｓ）、マイクロプロセッサ１０は演算部２０４の係数を減少させる（ステップＳ４）。一方、画面内輝度積分値が目標輝度積分値上限以下の場合（ステップＳ２でＮｏ）、マイクロプロセッサ１０は、画面内輝度積分値と目標輝度積分値下限を比較する（ステップＳ３）。このステップＳ３の判定において、目標輝度積分値が目標輝度積分値下限より小さい場合（ステップＳ３でＹｅｓ）、マイクロプロセッサ１０は、演算部２０４の係数を増加させる（ステップＳ５）。一方、画面内輝度積分値が目標輝度積分値下限以上の場合（ステップＳ３でＮｏ）、マイクロプロセッサ１０は演算部２０４の係数の調整は行わない。このような処理を繰り返し行うことで、画面内輝度積分値が目標輝度積分値に近づくこととなる。
【００２６】
ゲインアップと画素加算を併用した輝度制御処理のイメージを示す図９は、照度環境が明るい状態から暗い状態に遷移する過程において、最も明るい環境ではゲインアップのみによる輝度制御を実施するが、以降、暗い環境ではゲインアップと画素加算を同時使用して輝度制御を行うことを示す。つまり、ゲインアップによる輝度制御量と画素加算による輝度制御量を切り替える照度領域が存在する。ゲインアップと画素加算という異なる高感度化手法を併用する場合、切り替えのタイミングで解像度の変化やノイズ量の変化等、画面の見え方が大きく変わり、映像に乱れが発生するという課題があった。一方、本発明は、画素加算において、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えることにより、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るようになった。図４は、本発明に係る撮像装置が実行する輝度制御処理のイメージを示す説明図である。図４と図９を比較すると、本発明の撮像装置が実行する画素加算処理は「画素加算なし」から「５画素加算」のいずれの画素加算でも細かく輝度レベルを制御できることが分かる。したがって、ゲインアップと併用しなくても、細かな輝度レベルの制御を行うことが可能となり、瞬時の照度変化に対応することが出来るという効果がある。また、図９はゲインアップと画素加算を切り替える照度領域（タイミング）が存在することを示しているが、図４によると、ゲインアップと画素加算を切り替える照度領域（タイミング）は存在しないことが分かる。
【００２７】
また、常に映像を出力し続ける動画撮影では、画素加算による輝度変化のタイミングとゲインアップによる輝度変化のタイミングを完全に一致させる必要があり、少しでもタイミングがずれてしまうと、なめらかな輝度変化を実現できないという課題があった。しかし、本発明は、加算する周辺画素それぞれに加算前に係数を掛けることが出来る回路を備えることにより、係数を小数点以下まで制御することが可能となり、従来の整数倍単位の制御に比べて、より細かな輝度レベルの制御を行うことが出来るので、ある照度下で、ゲインアップと併用しなくても、細かな輝度レベルの制御を行うことが可能である。したがって、画素加算とゲインアップによる輝度変化のタイミングを合わせるための特段の対策を行う必要がない。
【００２８】
なお、上記説明では、画素加算によって輝度制御を行う実施例を説明したが、シャッター速度の調整のほか、照度の変化に伴いアイリス制御、ゲインアップ量の調整を行い、アイリス制御、ゲインアップ量の調整による感度アップが上限に達した時に画素加算を動作させるようにしても良い。従来のように、一定の照度下で、画素加算による制御を詳細化するためにゲインアップを同時使用する必要がないので、ゲインアップと画素加算の動作モードの切り替えタイミングでの映像に乱れは抑制される。
【００２９】
実施の形態２．
次に、本発明の実施の形態２について説明する。本実施の形態では、演算部２０４の係数の増減にテーブルを使用する方法について説明する。本実施の形態に係る撮像装置の構成は図１、図２で説明したものと同様である。図６は、本発明の実施の形態２に係る撮像装置が実行する輝度制御処理を示すフローチャートである。図６において、輝度積分値計算部８は画面内輝度積分値の算出を行う（ステップ１１）。次に、マイクロプロセッサ１０は、輝度積分値計算部８が計算した画面内輝度積分値と目標輝度積分値の割合を算出し（ステップ１２）、増減量テーブルから増減量を読み取る（ステップ１３）。
【００３０】
図７は、増減量テーブルの一例を示す説明図である。図８は、画素加算量テーブルの一例を示す説明図である。例えば、画面内輝度積分値と目標輝度積分値の割合が１．８のとき、図７に示すテーブルの「画素加算量テーブル加減算値」は＋２を示している。この「＋２」は、画面内輝度積分値と目標輝度積分値の割合が１．８のとき、現在使用している画素加算量テーブルのテーブル番号に＋２のテーブル番号が付された画素加算量テーブルに変更することを示す。
【００３１】
マイクロプロセッサ１０は、図７に示す増減量テーブルより読み取った増減量だけ、画素加算量テーブルのテーブル番号を増減し、係数を読み取る（ステップ１４）。例えば、現在の画素加算量がテーブル番号５であった場合に、増減量を＋２（２増加）とすると、図７より画素加算量テーブルは７となる。図８を参照してテーブル番号７を見ると、係数Ｋ２２３は０から０．５に変化させることが分かる。このように、演算部２０４の係数をテーブルで管理することによって、多数ある係数を一元管理することができ、係数を滑らかに変化させることができる。また、テーブルの増減量を輝度割合から決めることで、輝度差が大きい時ほど画素加算量も大きく変化する制御となるため、被写体照度に対する追従性が向上する。
【００３２】
なお、これまでに説明したテーブルや図は一例であり、さらに細かく画素加算量を制御するテーブルを使用することで、よりスムーズな輝度変化を実現することができる。また、ここまで説明した形態では、画素加算による輝度制御の方法についてのみ述べたが、ゲインアップ、アイリス制御、高速シャッター等、他の輝度制御が搭載されている撮像装置であれば、他の輝度制御による感度アップが上限に達した時に画素加算を動作させるなど、併用して使用しても良い。また、今回は９画素を加算する場合を例に説明したが、９画素である必要性はなく、さらに周辺の画素を加算する構成として感度を向上させたり、加算する画素数を減らして回路を簡略化しても良い。
【００３３】
また、今回はテーブルを使用して加算する画素の位置を決めていたが、テーブルである必要はない。例えば、注目画素との差分の少ない画素を優先的に使用する構成とすることで、解像度の低下を抑えることができる。また、今回は画面内輝度積分値の算出に全画素を加算したが、全ての画素を用いる必要はない。例えば、一定箇所の画素のみを用いて輝度積分値を算出したり、画素をいくつかのエリアにわけてそれぞれで画面内輝度積分値を算出し、個別に輝度制御を行っても良い。また、目標輝度積分値も常に一定である必要はない。例えば、照度が暗くなる（ゲイン増幅量や画素加算量が上がる）時に目標輝度積分値が低くなる設定とすることで、発生するノイズを目立たなくすることができる。
【００３４】
また、今回はＮＴＳＣ方式（インターレース方式）を例に挙げたが、ＰＡＬ方式やプログレッシブ方式（時間軸方向の画素加算は、フィールド遅延ではなくフレーム遅延となる）の信号であっても良い。信号の種類についても、輝度信号と色差信号の組み合わせや、ＲＧＢ信号や、モノクロ映像で輝度信号のみ等、種類を問わない。また、アナログ信号だけに限らず、デジタル信号でも良い。また、固体撮像素子については、ＣＣＤやＣＭＯＳ等、撮像可能なイメージセンサであればどのようなものでも良い。
【００３５】
上記説明のように、演算部２０４の係数をテーブルで管理することによって、多数ある係数を一元管理することができ、係数を滑らかに変化させることができる。また、テーブルの増減量を輝度割合から決めることで、輝度差が大きい時ほど画素加算量も大きく変化する制御となるため、被写体照度に対する追従性が向上し、照度変化に対する映像の乱れを最小限にすることができる。
【符号の説明】
【００３６】
１ レンズ群、２ 固体撮像素子、３ ＣＤＳ、４ アンプ、５ Ａ／Ｄ変換器、
６ 映像信号処理部、７ 画素加算回路、８ 輝度積分値計算部、９ 映像信号出力部、
１０ マイクロプロセッサ、１１ レンズ駆動回路、１２ タイミングジェネレータ、
２０１ フィールド遅延部、２０２ ライン遅延部、２０３ ピクセル遅延部、
２０４ 演算部、２０５ 加算部
【特許請求の範囲】
【請求項１】
撮像手段と、
この撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号処理手段と、
この信号処理手段から出力された前記撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延手段、この遅延手段から出力された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算手段、この演算手段で所定の係数が掛けられた各画素値を加算する加算手段を有する画素加算手段と、
この画素加算手段から出力された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、前記画素加算手段の演算手段に供給する前記係数を制御する制御手段とを設けたことを特徴とする撮像装置。
【請求項２】
制御手段は、画素加算手段が有する演算手段が各画素値に乗じる係数をテーブルとして記憶しており、画面の明るさに基づいて前記係数を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
制御手段は、撮像環境の照度に応じて、撮像手段に入射する光量を調節するアイリス制御、撮像信号の増幅利得を調節する利得制御を実行して用いて輝度制御を行うとともに、前記利得制御と画素加算を照度に応じて選択的に実行することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号出力処理と、
この信号出力処理された前記撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延処理、この遅延処理された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算処理、この演算処理により所定の係数が掛けられた各画素値を加算する加算処理を含む画素加算処理と、
この画素加算処理で加算された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、前記画素加算処理が実行する演算処理で使用される前記係数を制御する制御処理とを含むことを特徴とする輝度制御方法。
【請求項１】
撮像手段と、
この撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号処理手段と、
この信号処理手段から出力された前記撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延手段、この遅延手段から出力された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算手段、この演算手段で所定の係数が掛けられた各画素値を加算する加算手段を有する画素加算手段と、
この画素加算手段から出力された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、前記画素加算手段の演算手段に供給する前記係数を制御する制御手段とを設けたことを特徴とする撮像装置。
【請求項２】
制御手段は、画素加算手段が有する演算手段が各画素値に乗じる係数をテーブルとして記憶しており、画面の明るさに基づいて前記係数を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
制御手段は、撮像環境の照度に応じて、撮像手段に入射する光量を調節するアイリス制御、撮像信号の増幅利得を調節する利得制御を実行して用いて輝度制御を行うとともに、前記利得制御と画素加算を照度に応じて選択的に実行することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
撮像手段から読み出された信号に基づいて、所定の走査方式の撮像信号を出力する信号出力処理と、
この信号出力処理された前記撮像信号をフィールド単位、ライン単位及びピクセル単位で遅延させて注目画素及び複数の周辺画素の各画素値を出力する遅延処理、この遅延処理された各画素値のそれぞれに対して、外部より供給された所定の係数を掛ける演算処理、この演算処理により所定の係数が掛けられた各画素値を加算する加算処理を含む画素加算処理と、
この画素加算処理で加算された信号より画面の明るさを検出するとともに、画面の明るさが一定になるように、前記画素加算処理が実行する演算処理で使用される前記係数を制御する制御処理とを含むことを特徴とする輝度制御方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−１１０６４４（Ｐ２０１３−１１０６４４Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５５１９０（Ｐ２０１１−２５５１９０）
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２２日（２０１１．１１．２２）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]