撮像装置、その制御方法及びプログラム
【課題】画像データを精度よく補正し、最終的に出力される画像データの画質を向上させる。
【解決手段】コントラスト分析解析部６は、撮像素子３より出力される画像データのコントラスト分布を解析する。切替部７、９、１１は、その解析結果に基づいて、倍率色収差補正部１０による倍率色収差の補正処理と、周辺光量落ち補正部８による周辺光量落ちの補正処理との処理順を切り替える。
【解決手段】コントラスト分析解析部６は、撮像素子３より出力される画像データのコントラスト分布を解析する。切替部７、９、１１は、その解析結果に基づいて、倍率色収差補正部１０による倍率色収差の補正処理と、周辺光量落ち補正部８による周辺光量落ちの補正処理との処理順を切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学系に起因した画質の劣化を補正する技術に関するものである。
【背景技術】
【０００２】
従来、光学系に起因する色収差、歪曲収差、周辺光量落ち等の画質劣化を、撮像装置本体内の画像信号処理によって低減する撮像装置が提案されている。このような撮像装置では、色収差、歪曲収差、周辺光量落ち等の光学系に起因する画質劣化は、焦点距離、絞り、フォーカス位置（以下、光学パラメータと称す）と、光軸中心からの距離とに応じて変化する。そのため、予め補正特性をメモリに記憶しておき、光学パラメータの設定に応じて、メモリから補正特性を参照し、撮像装置内の信号処理で補正を行っている（例えば、特許文献１参照）。
【０００３】
また、光学系に起因する画質劣化を撮像装置内の信号処理で補正する場合、色収差、歪曲収差等に対しては、画像内の画素位置を補正する処理が行われ、周辺光量落ち等に対しては、画像の信号レベルを補正する処理が行われる。このとき、色収差、歪曲収差の補正処理によって、周辺光量落ちの補正特性が変化してしまい、予めデータベースに保持されている周辺光量落ち補正特性との誤差が大きくなる場合がある。従って、このような誤差による画質劣化を懸念して、信号レベルの補正を行った後、画素位置の補正を行うようにした撮像装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２２５２７０号公報
【特許文献２】特開２００２−１９０９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２に開示される撮像装置では、周辺光量落ちの補正を行った後に、色収差、倍率色収差用の補正を行うよう、補正の順番が固定されているので、色収差、倍率色収差用の補正が、前段に行われる周辺光量落ち補正の影響を受けることになる。
【０００６】
ここで、周辺光量落ちは平坦な被写体で目立ち、色収差、歪曲収差はコントラストの高いエッジを含む被写体で目立つ。そのため、例えば、コントラストの高いエッジを多く含み、平坦部の少ない画像では、画面内で倍率色収差による画質劣化が支配的となる。しかし、このような画像に対して、周辺光量落ち補正を行った後、倍率色収差用の補正を行うと、画像に発生している倍率色収差の特性が前段の周辺光量落ち補正によって変化してしまう。従って、データベースから読み出してきた倍率色収差の補正特性では適切に補正できなくなってしまうという課題がある。
【０００７】
そこで、本発明の目的は、画像データを精度よく補正し、最終的に出力される画像データの画質を向上させることにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮像手段と、前記撮像手段より出力される画像データのコントラスト分布を解析する解析手段と、前記画像データの倍率色収差を補正する第１の補正手段と、前記画像データの周辺光量落ちを補正する第２の補正手段と、前記解析手段による解析結果に基づいて、前記第１の補正手段による倍率色収差の補正処理と、前記第２の補正手段による周辺光量落ちの補正処理との処理順を切り替える切替手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像データを精度よく補正し、最終的に出力される画像データの画質を向上させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】コントラスト分布解析部の構成及び動作について説明するための図ある。
【図３】切替制御信号決定部の処理の流れを示すフローチャートである。
【図４】コントラストの高いフレームと低いフレームとを示す図である。
【図５】積分コントラストレベルと切替制御信号との関係を示す図である。
【図６】画像データに対して、周辺光量落ち補正処理、倍率色収差補正処理が行われ、映像信号出力端子から出力されるまでの処理の流れを示すフローチャートである。
【図７】切替制御信号と、倍率色収差補正処理、周辺光量落ち補正処理の処理順との関係を示す図である。
【図８】本発明の第２の実施形態に係る撮像装置の構成を示すブロック図である。
【図９】合焦判定結果と閾値Ｃ１、Ｃ２に対する抑圧係数Ｋとの関係を示す図である。
【図１０】合焦時の積分コントラストレベルと切替制御信号との関係を示す図である。
【図１１】本発明の第３の実施形態に係る撮像装置の構成を示すブロック図である。
【図１２】動き検出結果と閾値Ｃ１、Ｃ２に対する抑圧係数との関係を示す図である。
【図１３】本発明の第４の実施形態に係る撮像装置の構成を示すブロック図である。
【図１４】加算読み出しモードの際の加算画素数と、閾値Ｃ１、Ｃ２に対する抑圧係数Ｋとの関係を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１２】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。図１において、１はレンズ、絞り等を含む光学系であり、光学系駆動部２によって駆動制御される。３は撮像素子であり、撮像素子駆動部４によって駆動制御される。５はＡ／Ｄ変換部であり、撮像素子３から出力されるアナログ画像信号をデジタル画像信号（以下、画像データと称す）に変換する。６はコントラスト分布解析部であり、Ａ／Ｄ変換部５から出力される画像データのコントラスト分布を解析する。８は、光学系１の光学特性に起因して発生する周辺光量落ちを補正する周辺光量落ち補正部である。１０は、光学系１の光学特性に起因して発生する倍率色収差を補正する倍率色収差補正部である。１３は、光学系１の光学特性を保持する光学特性データベースである。周辺光量落ち補正部８、倍率色収差補正部１０での補正処理についてはそれぞれ、光学特性データベース１３に保持された光学特性に基づいて補正特性が決定される。なお、倍率色収差補正部１０は、第１の補正手段の適用例となる構成であり、周辺光量落ち補正部８は、第２の補正手段の適用例となる構成である。
【００１３】
切替部７は、周辺光量落ち補正部８に入力される画像データを切替える機能を有し、システム制御部１２からの制御に基づいて、Ａ／Ｄ変換部５から出力される画像データ、又は、倍率色収差補正部１０から出力される画像データの何れかを選択して出力する。切替部９は、倍率色収差補正部１０に入力される画像データを切替える機能を有し、システム制御部１２からの制御に基づいて、Ａ／Ｄ変換部５から出力される画像データ、又は、周辺光量落ち補正部８から出力される画像データの何れかを選択して出力する。切替部１１は、システム制御部１２の制御に基づいて、倍率色収差補正部１０から出力される画像データ、又は、周辺光量落ち補正部８から出力される画像データの何れかを選択して、映像信号出力端子１４に出力する。
【００１４】
次に、第１の実施形態に係る撮像装置における動作の概要について説明する。撮影が開始されると、システム制御部１２から指示されるズーム、フォーカス、絞りの設定に基づいて、光学系駆動部２が動作し、光学系１の駆動制御が行われる。それと同時に、システム制御部１２は、光学系１の光学設定（ズーム、絞り、フォーカス等の設定値）に基づいて、光学特性データベース１３を探索する。そして、システム制御部１２は、光学設定に応じた周辺光量落ち、倍率色収差の補正特性を、周辺光量落ち補正部８、倍率色収差補正部１０にそれぞれ転送する。光学系１を介して撮像素子３に結像された被写体像は、撮像素子駆動部４での駆動制御によって撮像素子３から読み出され、Ａ／Ｄ変換部５によってデジタル画像信号に変換される。Ａ／Ｄ変換部５から出力されるデジタル画像信号である画像データは、コントラスト分布解析部６、切替部７、切替部９にそれぞれ入力される。
【００１５】
コントラスト分布解析部６は、Ａ／Ｄ変換部５から出力される１フレーム分の画像データのコントラスト分布を解析し、解析結果をシステム制御部１２に出力する。システム制御部１２では、コントラスト分布解析部６におけるコントラスト分布の解析結果に基づき、切替部７、切替部９、切替部１１に対して切替制御信号を出力する。
【００１６】
ここで、本実施形態に係る撮像装置は、入力される画像データのコントラスト分布に応じて、周辺光量落ち補正処理と倍率色収差補正処理との処理順を切り替える。即ち、入力される画像データのコントラスト分布に応じて、Ａ／Ｄ変換部５から出力される画像データに対して周辺光量落ち補正処理を行った後、倍率色収差補正処理を行う場合と、Ａ／Ｄ変換部５から出力される画像データに対して倍率色収差補正処理を行った後、周辺光量落ち補正処理を行う場合とがある。このような処理順の制御は、切替部７、切替部９、切替部１１の制御によって実現している。
【００１７】
周辺光量落ち補正部８は、システム制御部１２から出力される補正特性を参照し、切替部７から出力される画像データに対して周辺光量落ち補正処理を行う。倍率色収差補正部１０は、システム制御部１２から出力される補正特性を参照し、切替部９から出力される画像データに対して倍率色収差補正処理を行う。
【００１８】
切替部１１は、システム制御部１２から出力される切替制御信号に基づいて、Ａ／Ｄ変換部５から出力される画像データに対して周辺光量落ち補正処理を行った後、倍率色収差補正処理を行うことにより得られた画像データか、Ａ／Ｄ変換部５から出力される画像データに対して倍率色収差補正処理を行った後、周辺光量落ち補正を行うことにより得られた画像データかを選択して、映像信号出力端子１４に出力する。
【００１９】
以上により、１フレーム分の画像データの生成が終了する。上記一連の処理を、撮影期間中、フレーム毎に行うことで、光学系の特性に起因した画質劣化（倍率色収差、周辺光量落ち）が補正された画像データを出力することができる。
【００２０】
次に、コントラスト分布解析部６の構成及び動作について、図２を参照しながら詳細に説明する。図２において、６１はコントラスト検出フィルタ、６２は解析領域判定部、６３は積分部、６４は記憶部、６５は切替制御信号決定部である。
【００２１】
コントラスト検出フィルタ６１は、Ａ／Ｄ変換部５から出力される画像データに対して、画素毎にコントラストレベルを検出するためのフィルタ処理を行う。コントラストレベルを検出するためのフィルタ処理としては、例えばsobelフィルタ等が用いられるが、別の方法でもよい。
【００２２】
解析領域判定部６２は、システム制御部１２から出力される、着目画素の像高と、像高に対する閾値とを参照して、着目画素が解析対象の像高範囲に含まれる画素か否かを判定する。なお、着目画素の像高は、システム制御部１２において、着目画素の水平、垂直の画素アドレスを用いて計算されるものとする。
【００２３】
積分部６３は、解析領域判定部６２から出力される判定結果に基づき、フレーム内の所定の像高領域に含まれる画素について、コントラスト検出フィルタ６１から出力される、画素毎のコントラストレベルを積分し、積分結果（積分コントラストレベル）を記憶部６４に格納する。また、記憶部６４は、後述する切替制御信号決定部６５で決定された、１フレーム前の画像データに対する切替制御信号も格納されている。
【００２４】
切替制御信号決定部６５は、記憶部６４に格納された、現フレームの画像データの積分コントラストレベルと、１フレーム前の画像データに対する切替制御信号と、システム制御部１２から出力される閾値Ｃ１（第１の基準）、Ｃ２（第２の基準）とを用いて、現フレームの画像データに対する切替制御信号を生成する。なお、閾値Ｃ１、Ｃ２は、現フレームの積分コントラストレベルを判定するために用いられるものである。光学系１の倍率色収差及び周辺光量落ちの特性を考慮して予め算出された閾値Ｃ１、Ｃ２が、システム制御部１２内の図示しないＲＡＭに保持されているものとする。
【００２５】
図３は、切替制御信号決定部６５の処理の流れを示すフローチャートである。ステップＳ２００において、切替制御信号決定部６５は、現フレームの画像データの積分コントラストレベルを閾値Ｃ１と比較する。現フレームの画像データの積分コントラストレベルが閾値Ｃ１よりも小さい場合、処理はステップＳ２０１に移行する。一方、現フレームの画像データの積分コントラストレベルが閾値Ｃ１以上である場合、処理はステップＳ２０２に移行する。
【００２６】
ステップＳ２０１において、切替制御信号決定部６５は、切替制御信号をＬレベルに設定する。ステップＳ２０２において、切替制御信号決定部６５は、現フレームの画像データの積分コントラストレベルが閾値Ｃ２以上であるか否かを判定する。現フレームの画像データの積分コントラストレベルが閾値Ｃ２以上である場合、処理はステップＳ２０３に移行する。一方、現フレームの積分コントラストレベルが閾値Ｃ２より小さい場合、処理はステップＳ２０４に移行する。
【００２７】
ステップＳ２０３において、切替制御信号決定部６５は、切替制御信号をＨレベルに設定する。ステップＳ２０４において、切替制御信号決定部６５は、記憶部６４に記憶されている１フレーム前の画像データに対する切替制御信号を、現フレームの切替制御信号として選択する。
【００２８】
ここで、切替制御信号としてＬレベルが設定された場合、図４（ａ）に示すように、フレーム内の解析対象の領域において、コントラストの高い被写体があまり分布していないとみなすことができる。一方、切替制御信号としてＨレベルが設定された場合、図４（ｂ）に示すように、フレーム内の解析対象の領域において、コントラストの高い被写体が多く分布しているとみなすことができる。
【００２９】
また、動画撮影中、ノイズや手ぶれ等によって、積分コントラストレベルが微小に変動した場合、切替部７、切替部９、切替部１１における制御が敏感に反応してしまうと、同じようなシーンを撮影しているのに、周辺光量落ち補正処理と倍率色収差補正処理との処理順が毎フレーム切り替わってしまう可能性がある。このような状況を防ぐために、本実施形態に係る撮像装置は、現フレームの積分コントラストレベルが閾値Ｃ１と閾値Ｃ２との間Ｄで揺らいでいる場合、図５に示すように、１フレーム前の切替制御信号を維持するようにしている。以上のようにして決定された切替制御信号は、記憶部６４に上書きされ、また、切替部７、切替部９、切替部１１に出力される。
【００３０】
次に、Ａ／Ｄ変換部５から出力された画像データに対して、周辺光量落ち補正処理、倍率色収差補正処理が行われ、映像信号出力端子１４から出力されるまでの処理の流れについて、図６及び図７を参照しながら詳細に説明する。
【００３１】
図６において、ステップＳ１００において、システム制御部１２は、内部の画素位置カウンタを初期化する。画素位置カウンタは、着目画素の画素位置を示すＸＹアドレスをカウントアップするものとし、１フレーム分の処理が終わる毎に開始画素位置のＸＹアドレスに対応した初期値にリセットされるものとする。
【００３２】
ステップＳ１０１において、システム制御部１２は着目画素のＸＹアドレスから像高を求め、解析領域判定部６２は着目画素が所定の像高範囲に存在するか否かを判定する。着目画素が所定の像高範囲に存在する場合、処理はステップＳ１０２に移行する。一方、着目画素が所定の像高範囲外に存在する場合、処理はステップＳ１０４に移行する。ここで所定の像高範囲とは、倍率色収差、周辺光量落ちによる画質劣化が目立つと予測される像高範囲であり、光学系１の光学設定に応じて定まるものである。
【００３３】
ステップＳ１０２において、コントラスト検出フィルタ６１は、Ａ／Ｄ変換部５から出力された画像データに対してコントラスト検出フィルタ処理を実行し、着目画素におけるコントラストレベルを検出する。ステップＳ１０３において、積分部６３は、ステップＳ１０２で求めた着目画素のコントラストレベルを積分し、記憶部６４に格納する。
【００３４】
ステップＳ１０４において、システム制御部１２は、画素位置カウンタの値を参照し、フレーム内の全ての画素について解析領域の判定とコントラストレベルの検出、積分とを実行したか否かを判定する。フレーム内の全ての画素について処理が終了した場合、処理はステップＳ１０６に移行する。一方、フレーム内の全ての画素について未だ処理が終了していない場合、処理はステップＳ１０５に移行する。
【００３５】
ステップＳ１０５において、システム制御部１２は、画素位置カウンタの値を１画素分インクリメントする。ステップＳ１０６において、切替制御信号決定部６５は、現フレームの積分コントラストレベルと、１フレーム前の画像データに対応する切替制御信号とを記憶部６４から読み出す。
【００３６】
ステップＳ１０７において、切替制御信号決定部６５は、現フレームの積分コントラストレベル、１フレーム前の切替制御信号、及び、閾値Ｃ１、Ｃ２を参照して、現フレームの画像データに対応する切替制御信号を決定する。
【００３７】
ステップＳ１０８において、システム制御部１２は、現フレームの切替制御信号を記憶部６４に上書きする。ステップＳ１０９において、システム制御部１２は、現フレームの切替制御信号を切替部７、切替部９、切替部１１に出力する。
【００３８】
ステップＳ１１０において、システム制御部１２は、切替制御信号に基づいて、周辺光量落ち補正部８及び倍率色収差補正部１０での補正処理が指定の処理順で行われるよう、切替部７、切替部９、切替部１１を制御する。
【００３９】
切替制御信号と、倍率色収差補正処理、周辺光量落ち補正処理の処理順との関係は、図７に示す表のようになる。切替制御信号がＨレベルに設定されている場合、倍率色収差の目立つ高コントラストの被写体が補正対象の画像データに多く含まれていると推定される。そのため、システム制御部１２は、Ａ／Ｄ変換部５から出力される画像データに対して、倍率色収差補正処理を行った後、周辺光量落ち補正処理を行うよう、切替部７、切替部９、切替部１１を制御する。即ち、切替部７は、倍率色収差補正部１０から出力される画像データを選択し、切替部９は、Ａ／Ｄ変換５から出力される画像データを選択し、切替部１１は、周辺光量落ち補正部８から出力される画像データを選択するよう制御される。
【００４０】
一方、切替制御信号がＬレベルに設定されている場合には、周辺光量落ちの目立つ、低コントラストの被写体が補正対象の画像データに多く含まれていると推定される。そのため、システム制御部１２は、Ａ／Ｄ変換部５から出力される画像データに対して、周辺光量落ち補正処理を行った後、倍率色収差補正処理を行うよう、切替部７、切替部９、切替部１１を制御する。即ち、切替部７は、Ａ／Ｄ変換部５から出力される画像データを選択し、切替部９は、周辺光量落ち補正部８から出力される画像データを選択し、切替部１１は、倍率色収差補正部１０から出力される画像データを選択するよう制御される。
【００４１】
以上のように、第１の実施形態においては、画像データのコントラスト分布を解析し、解析結果に応じて、周辺光量落ちと倍率色収差とのどちらの画質劣化が目立つかを推定し、画質劣化の目立つ方を先に補正するよう、補正処理の順序を制御している。本実施形態のように、複数種類の光学補正処理を順次行っていく撮像装置では、先に行った補正処理の影響で、次に行う補正処理の補正結果に誤差が生じてしまう。そのため、予め処理対象の画像データを解析して、画質劣化が目立つものを先に補正することにより、最終的な画像データの画質を向上させることができる。
【００４２】
次に、本発明の第２の実施形態について説明する。図８は、本発明の第２の実施形態に係る撮像装置の構成を示すブロック図である。第２の実施形態では、撮像装置が合焦判定部１５を更に備え、合焦判定結果を考慮してコントラスト分布解析部６で切替制御信号を決定する点が第１の実施形態と異なる。以下では、第１の実施形態との差異についてのみ説明する。
【００４３】
合焦判定部１５は、Ａ／Ｄ変換部５から出力される画像データから合焦判定のための評価値を生成し、デジタルビデオカメラ等で一般的に用いられているテレビＡＦを行う。合焦判定の方法については、外測センサを用いる等、テレビＡＦ以外の方法で行っても構わない。合焦判定結果は多値で表現され、合焦判定結果の値が大きい程、合焦の度合いが高く、値が小さい程、合焦の度合いが低いことを示すものとする。
【００４４】
合焦判定部１５で判定された合焦判定結果はシステム制御部１２に出力される。システム制御部１２は、合焦判定結果に基づいて、光学系１のフォーカスレンズ位置の制御を光学系駆動部２に指示する。
【００４５】
システム制御部１２は、合焦判定結果に基づき、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値を変更して、コントラスト分布解析部６に出力する。ここで、閾値Ｃ１、Ｃ２は、光学系１の倍率色収差及び周辺光量落ちの特性を考慮して予め算出された値であり、システム制御部１２内の図示しないＲＡＭに保持されているものとする。
【００４６】
システム制御部１２は、合焦判定結果を参照し、合焦している場合には、システム制御部１２内の図示しないＲＡＭに保持されている閾値Ｃ１、Ｃ２をそのままコントラスト分布解析部６に出力する。一方、合焦の度合いが低い場合、画像データのコントラストが全体的に低下する。そのため、システム制御部１２は、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値が合焦時よりも小さくなるよう、合焦判定結果に応じた抑圧係数ＫをＣ１、Ｃ２にそれぞれ乗じて、コントラスト分布解析部６に出力する。合焦判定結果と閾値Ｃ１、Ｃ２に対する抑圧係数Ｋとの関係は、図９に示すグラフのようになり、非合焦になり、画像データ全体のコントラストが低下する程、抑圧係数Ｋの値を小さくするようにしている。また、合焦時の積分コントラストレベルと切替制御信号との関係は、図１０（ａ）に示すようになり、閾値Ｃ１、Ｃ２を基準に切替制御信号を切り替える。また、合焦度合いが低いときの積分コントラストレベルと切替制御信号との関係は、図１０（ｂ）に示すようになり、閾値Ｋ＊Ｃ１、Ｋ＊Ｃ２を基準に切替制御信号を切り替える。
【００４７】
以上のように、第２の実施形態では、合焦状態に応じて、積分コントラストレベルを判定するための閾値の大きさを制御し、周辺光量落ち補正処理及び倍率色収差補正処理の処理順を制御するための切替制御信号を生成する。従って、合焦時に比べて、画像データ全体のコントラストが低くなる非合焦でも、倍率色収差が目立つようなシーンを撮影している場合には倍率色収差補正処理を先に行うことができ、補正後の画質を良好にすることができる。
【００４８】
次に、本発明の第３の実施形態について説明する。図１１は、本発明の第３の実施形態に係る撮像装置の構成を示すブロック図である。第３の実施形態では、動き検出部１６を備え、コントラスト分布解析部６が動き検出結果を考慮して切替制御信号を決定する点が第１の実施形態と異なる。以下では、第１の実施形態との差異についてのみ説明する。
【００４９】
動き検出部１６は、内部にフレームメモリを持ち、Ａ／Ｄ変換部５から出力される画像データと、フレームメモリに保持された１フレーム前の画像データとの差分から動きベクトルを検出する。動き成分の検出方法としては、ジャイロ等の他の方法で行っても構わない。
【００５０】
動き検出結果は多値で表現され、値が大きい程、フレーム全体の動きが大きく、値が小さい程、フレーム全体が静止していることを示すものとする。動き検出部１６で検出された動き検出結果は、システム制御部１２に出力される。
【００５１】
システム制御部１２は、動き検出結果に基づき、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値を変更して、コントラスト分布解析部６に出力する。ここで、閾値Ｃ１、Ｃ２は、光学系１の倍率色収差及び周辺光量落ちの特性を考慮して予め算出された値であり、システム制御部１２内の図示しないＲＡＭに保持されているものとする。
【００５２】
システム制御部１２は、動き検出結果を参照し、撮影した画像データの動きが小さい場合、システム制御部１２内の図示しないＲＡＭに保持されている閾値Ｃ１、Ｃ２をそのままコントラスト分布解析部６に出力する。一方、動き検出が大きい場合、動きブレによって、画像データのコントラストが全体的に低下する。従って、システム制御部１２は、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値が動きブレの少ない場合よりも小さくなるよう、動き検出結果に応じた抑圧係数ＫをＣ１、Ｃ２にそれぞれ乗じて、コントラスト分布解析部６に出力する。
【００５３】
動き検出結果と閾値Ｃ１、Ｃ２に対する抑圧係数との関係は、図１２に示すグラフのようになり、動き量が大きくなり、非加算の場合に比べて画像データ全体のコントラストが低下する程、Ｋの値を小さくするようにしている。
【００５４】
また、画像データの動きが小さい場合（静止時）の積分コントラストレベルと切替制御信号との関係は、図１０（ａ）に示すようになり、画像データの動きが大きい場合の積分コントラストレベルと切替制御信号との関係は、図１０（ｂ）に示すようになる。
【００５５】
以上のように、第３の実施形態では、動き検出結果に応じて、積分コントラストレベルを判定するための閾値の大きさを制御し、周辺光量落ち補正処理及び倍率色収差補正処理の処理順を制御するための切替制御信号を生成する。従って、動きブレによって、画像データ全体のコントラストが低くなる場合でも、倍率色収差が目立つようなシーンを撮影している場合には倍率色収差補正処理を先に行うことができ、補正後の画質を良好にすることができる。
【００５６】
次に、本発明の第４の実施形態について説明する。図１３は、本発明の第４の実施形態に係る撮像装置の構成を示すブロック図である。第４の実施形態では、コントラスト分布解析部６において、システム制御部１２で指定された撮像素子３の駆動モードを参照する点が第１の実施形態と異なる。以下では、第１の実施形態との差異についてのみ説明する。
【００５７】
第４の実施形態において、撮像素子３の駆動モードは、撮像素子３から画素を非加算で読み出す非加算読み出しモードと、撮像素子３上で複数の画素を加算してから読み出す、加算読み出しモードとを備えている。撮像素子駆動部４は、システム制御部１２で指定された駆動モードに基づいて、撮像素子３からアナログ画像信号を読み出すよう、撮像素子３の駆動制御を行う。また、システム制御部１２は、撮像素子３の駆動モードに基づき、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値を変更して、コントラスト分布解析部６に出力する。
【００５８】
ここで、閾値Ｃ１、Ｃ２は、光学系１の倍率色収差及び周辺光量落ちの特性を考慮して予め算出された値であり、システム制御部１２内の図示しないＲＡＭに保持されているものとする。システム制御部１２は、撮像素子３の駆動モードが非加算読み出しモードである場合には、システム制御部１２内の図示しないＲＡＭに保持されている閾値Ｃ１、Ｃ２をそのままコントラスト分布解析部６に出力する。一方、撮像素子３の駆動モードが加算読み出しモードである場合、センサ上の画素加算によって、入力画像のコントラストが全体的に低下する。そのため、システム制御部１２は、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値が、非加算読み出しモードの場合よりも小さくなるよう、加算画素数に応じた抑圧係数ＫをＣ１、Ｃ２にそれぞれ乗じて、コントラスト分布解析部６に出力する。
【００５９】
加算読み出しモードの際の加算画素数と、閾値Ｃ１、Ｃ２に対する抑圧係数Ｋとの関係は、図１４に示すグラフのようになり、加算画素数が増大し、非加算の場合に比べて画像全体のコントラストが低下する程、Ｋの値を小さくするようにしている。
【００６０】
以上のように、第４の実施形態では、撮像素子３の駆動モードに応じて、積分コントラストレベルを判定するための閾値の大きさを制御し、周辺光量落ち補正処理及び倍率色収差補正処理の処理順を制御するための切替制御信号を生成する。従って、撮像素子３から加算読み出しされることで、画像データ全体のコントラストが低くなる場合でも、倍率色収差が目立つようなシーンを撮影している場合には倍率色収差補正処理を先に行うことができ、補正後の画質を良好にすることができる。
【００６１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６２】
１：光学系、２：光学系駆動部、３：撮像素子、４：撮像素子駆動部、５：Ａ／Ｄ変換部、６：コントラスト分布解析部、７、９、１１：切替部、８：周辺光量落ち補正部、１０：倍率色収差補正部、１２：システム制御部、１３：光学特性データベース、１５：合焦判定部、１６：動き検出部、６１：コントラスト検出フィルタ、６２：解析領域判定部、６３：積分部、６４：記憶部、６５：切替制御信号決定部
【技術分野】
【０００１】
本発明は、光学系に起因した画質の劣化を補正する技術に関するものである。
【背景技術】
【０００２】
従来、光学系に起因する色収差、歪曲収差、周辺光量落ち等の画質劣化を、撮像装置本体内の画像信号処理によって低減する撮像装置が提案されている。このような撮像装置では、色収差、歪曲収差、周辺光量落ち等の光学系に起因する画質劣化は、焦点距離、絞り、フォーカス位置（以下、光学パラメータと称す）と、光軸中心からの距離とに応じて変化する。そのため、予め補正特性をメモリに記憶しておき、光学パラメータの設定に応じて、メモリから補正特性を参照し、撮像装置内の信号処理で補正を行っている（例えば、特許文献１参照）。
【０００３】
また、光学系に起因する画質劣化を撮像装置内の信号処理で補正する場合、色収差、歪曲収差等に対しては、画像内の画素位置を補正する処理が行われ、周辺光量落ち等に対しては、画像の信号レベルを補正する処理が行われる。このとき、色収差、歪曲収差の補正処理によって、周辺光量落ちの補正特性が変化してしまい、予めデータベースに保持されている周辺光量落ち補正特性との誤差が大きくなる場合がある。従って、このような誤差による画質劣化を懸念して、信号レベルの補正を行った後、画素位置の補正を行うようにした撮像装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２２５２７０号公報
【特許文献２】特開２００２−１９０９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２に開示される撮像装置では、周辺光量落ちの補正を行った後に、色収差、倍率色収差用の補正を行うよう、補正の順番が固定されているので、色収差、倍率色収差用の補正が、前段に行われる周辺光量落ち補正の影響を受けることになる。
【０００６】
ここで、周辺光量落ちは平坦な被写体で目立ち、色収差、歪曲収差はコントラストの高いエッジを含む被写体で目立つ。そのため、例えば、コントラストの高いエッジを多く含み、平坦部の少ない画像では、画面内で倍率色収差による画質劣化が支配的となる。しかし、このような画像に対して、周辺光量落ち補正を行った後、倍率色収差用の補正を行うと、画像に発生している倍率色収差の特性が前段の周辺光量落ち補正によって変化してしまう。従って、データベースから読み出してきた倍率色収差の補正特性では適切に補正できなくなってしまうという課題がある。
【０００７】
そこで、本発明の目的は、画像データを精度よく補正し、最終的に出力される画像データの画質を向上させることにある。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、撮像手段と、前記撮像手段より出力される画像データのコントラスト分布を解析する解析手段と、前記画像データの倍率色収差を補正する第１の補正手段と、前記画像データの周辺光量落ちを補正する第２の補正手段と、前記解析手段による解析結果に基づいて、前記第１の補正手段による倍率色収差の補正処理と、前記第２の補正手段による周辺光量落ちの補正処理との処理順を切り替える切替手段とを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像データを精度よく補正し、最終的に出力される画像データの画質を向上させることが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】コントラスト分布解析部の構成及び動作について説明するための図ある。
【図３】切替制御信号決定部の処理の流れを示すフローチャートである。
【図４】コントラストの高いフレームと低いフレームとを示す図である。
【図５】積分コントラストレベルと切替制御信号との関係を示す図である。
【図６】画像データに対して、周辺光量落ち補正処理、倍率色収差補正処理が行われ、映像信号出力端子から出力されるまでの処理の流れを示すフローチャートである。
【図７】切替制御信号と、倍率色収差補正処理、周辺光量落ち補正処理の処理順との関係を示す図である。
【図８】本発明の第２の実施形態に係る撮像装置の構成を示すブロック図である。
【図９】合焦判定結果と閾値Ｃ１、Ｃ２に対する抑圧係数Ｋとの関係を示す図である。
【図１０】合焦時の積分コントラストレベルと切替制御信号との関係を示す図である。
【図１１】本発明の第３の実施形態に係る撮像装置の構成を示すブロック図である。
【図１２】動き検出結果と閾値Ｃ１、Ｃ２に対する抑圧係数との関係を示す図である。
【図１３】本発明の第４の実施形態に係る撮像装置の構成を示すブロック図である。
【図１４】加算読み出しモードの際の加算画素数と、閾値Ｃ１、Ｃ２に対する抑圧係数Ｋとの関係を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１２】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。図１において、１はレンズ、絞り等を含む光学系であり、光学系駆動部２によって駆動制御される。３は撮像素子であり、撮像素子駆動部４によって駆動制御される。５はＡ／Ｄ変換部であり、撮像素子３から出力されるアナログ画像信号をデジタル画像信号（以下、画像データと称す）に変換する。６はコントラスト分布解析部であり、Ａ／Ｄ変換部５から出力される画像データのコントラスト分布を解析する。８は、光学系１の光学特性に起因して発生する周辺光量落ちを補正する周辺光量落ち補正部である。１０は、光学系１の光学特性に起因して発生する倍率色収差を補正する倍率色収差補正部である。１３は、光学系１の光学特性を保持する光学特性データベースである。周辺光量落ち補正部８、倍率色収差補正部１０での補正処理についてはそれぞれ、光学特性データベース１３に保持された光学特性に基づいて補正特性が決定される。なお、倍率色収差補正部１０は、第１の補正手段の適用例となる構成であり、周辺光量落ち補正部８は、第２の補正手段の適用例となる構成である。
【００１３】
切替部７は、周辺光量落ち補正部８に入力される画像データを切替える機能を有し、システム制御部１２からの制御に基づいて、Ａ／Ｄ変換部５から出力される画像データ、又は、倍率色収差補正部１０から出力される画像データの何れかを選択して出力する。切替部９は、倍率色収差補正部１０に入力される画像データを切替える機能を有し、システム制御部１２からの制御に基づいて、Ａ／Ｄ変換部５から出力される画像データ、又は、周辺光量落ち補正部８から出力される画像データの何れかを選択して出力する。切替部１１は、システム制御部１２の制御に基づいて、倍率色収差補正部１０から出力される画像データ、又は、周辺光量落ち補正部８から出力される画像データの何れかを選択して、映像信号出力端子１４に出力する。
【００１４】
次に、第１の実施形態に係る撮像装置における動作の概要について説明する。撮影が開始されると、システム制御部１２から指示されるズーム、フォーカス、絞りの設定に基づいて、光学系駆動部２が動作し、光学系１の駆動制御が行われる。それと同時に、システム制御部１２は、光学系１の光学設定（ズーム、絞り、フォーカス等の設定値）に基づいて、光学特性データベース１３を探索する。そして、システム制御部１２は、光学設定に応じた周辺光量落ち、倍率色収差の補正特性を、周辺光量落ち補正部８、倍率色収差補正部１０にそれぞれ転送する。光学系１を介して撮像素子３に結像された被写体像は、撮像素子駆動部４での駆動制御によって撮像素子３から読み出され、Ａ／Ｄ変換部５によってデジタル画像信号に変換される。Ａ／Ｄ変換部５から出力されるデジタル画像信号である画像データは、コントラスト分布解析部６、切替部７、切替部９にそれぞれ入力される。
【００１５】
コントラスト分布解析部６は、Ａ／Ｄ変換部５から出力される１フレーム分の画像データのコントラスト分布を解析し、解析結果をシステム制御部１２に出力する。システム制御部１２では、コントラスト分布解析部６におけるコントラスト分布の解析結果に基づき、切替部７、切替部９、切替部１１に対して切替制御信号を出力する。
【００１６】
ここで、本実施形態に係る撮像装置は、入力される画像データのコントラスト分布に応じて、周辺光量落ち補正処理と倍率色収差補正処理との処理順を切り替える。即ち、入力される画像データのコントラスト分布に応じて、Ａ／Ｄ変換部５から出力される画像データに対して周辺光量落ち補正処理を行った後、倍率色収差補正処理を行う場合と、Ａ／Ｄ変換部５から出力される画像データに対して倍率色収差補正処理を行った後、周辺光量落ち補正処理を行う場合とがある。このような処理順の制御は、切替部７、切替部９、切替部１１の制御によって実現している。
【００１７】
周辺光量落ち補正部８は、システム制御部１２から出力される補正特性を参照し、切替部７から出力される画像データに対して周辺光量落ち補正処理を行う。倍率色収差補正部１０は、システム制御部１２から出力される補正特性を参照し、切替部９から出力される画像データに対して倍率色収差補正処理を行う。
【００１８】
切替部１１は、システム制御部１２から出力される切替制御信号に基づいて、Ａ／Ｄ変換部５から出力される画像データに対して周辺光量落ち補正処理を行った後、倍率色収差補正処理を行うことにより得られた画像データか、Ａ／Ｄ変換部５から出力される画像データに対して倍率色収差補正処理を行った後、周辺光量落ち補正を行うことにより得られた画像データかを選択して、映像信号出力端子１４に出力する。
【００１９】
以上により、１フレーム分の画像データの生成が終了する。上記一連の処理を、撮影期間中、フレーム毎に行うことで、光学系の特性に起因した画質劣化（倍率色収差、周辺光量落ち）が補正された画像データを出力することができる。
【００２０】
次に、コントラスト分布解析部６の構成及び動作について、図２を参照しながら詳細に説明する。図２において、６１はコントラスト検出フィルタ、６２は解析領域判定部、６３は積分部、６４は記憶部、６５は切替制御信号決定部である。
【００２１】
コントラスト検出フィルタ６１は、Ａ／Ｄ変換部５から出力される画像データに対して、画素毎にコントラストレベルを検出するためのフィルタ処理を行う。コントラストレベルを検出するためのフィルタ処理としては、例えばsobelフィルタ等が用いられるが、別の方法でもよい。
【００２２】
解析領域判定部６２は、システム制御部１２から出力される、着目画素の像高と、像高に対する閾値とを参照して、着目画素が解析対象の像高範囲に含まれる画素か否かを判定する。なお、着目画素の像高は、システム制御部１２において、着目画素の水平、垂直の画素アドレスを用いて計算されるものとする。
【００２３】
積分部６３は、解析領域判定部６２から出力される判定結果に基づき、フレーム内の所定の像高領域に含まれる画素について、コントラスト検出フィルタ６１から出力される、画素毎のコントラストレベルを積分し、積分結果（積分コントラストレベル）を記憶部６４に格納する。また、記憶部６４は、後述する切替制御信号決定部６５で決定された、１フレーム前の画像データに対する切替制御信号も格納されている。
【００２４】
切替制御信号決定部６５は、記憶部６４に格納された、現フレームの画像データの積分コントラストレベルと、１フレーム前の画像データに対する切替制御信号と、システム制御部１２から出力される閾値Ｃ１（第１の基準）、Ｃ２（第２の基準）とを用いて、現フレームの画像データに対する切替制御信号を生成する。なお、閾値Ｃ１、Ｃ２は、現フレームの積分コントラストレベルを判定するために用いられるものである。光学系１の倍率色収差及び周辺光量落ちの特性を考慮して予め算出された閾値Ｃ１、Ｃ２が、システム制御部１２内の図示しないＲＡＭに保持されているものとする。
【００２５】
図３は、切替制御信号決定部６５の処理の流れを示すフローチャートである。ステップＳ２００において、切替制御信号決定部６５は、現フレームの画像データの積分コントラストレベルを閾値Ｃ１と比較する。現フレームの画像データの積分コントラストレベルが閾値Ｃ１よりも小さい場合、処理はステップＳ２０１に移行する。一方、現フレームの画像データの積分コントラストレベルが閾値Ｃ１以上である場合、処理はステップＳ２０２に移行する。
【００２６】
ステップＳ２０１において、切替制御信号決定部６５は、切替制御信号をＬレベルに設定する。ステップＳ２０２において、切替制御信号決定部６５は、現フレームの画像データの積分コントラストレベルが閾値Ｃ２以上であるか否かを判定する。現フレームの画像データの積分コントラストレベルが閾値Ｃ２以上である場合、処理はステップＳ２０３に移行する。一方、現フレームの積分コントラストレベルが閾値Ｃ２より小さい場合、処理はステップＳ２０４に移行する。
【００２７】
ステップＳ２０３において、切替制御信号決定部６５は、切替制御信号をＨレベルに設定する。ステップＳ２０４において、切替制御信号決定部６５は、記憶部６４に記憶されている１フレーム前の画像データに対する切替制御信号を、現フレームの切替制御信号として選択する。
【００２８】
ここで、切替制御信号としてＬレベルが設定された場合、図４（ａ）に示すように、フレーム内の解析対象の領域において、コントラストの高い被写体があまり分布していないとみなすことができる。一方、切替制御信号としてＨレベルが設定された場合、図４（ｂ）に示すように、フレーム内の解析対象の領域において、コントラストの高い被写体が多く分布しているとみなすことができる。
【００２９】
また、動画撮影中、ノイズや手ぶれ等によって、積分コントラストレベルが微小に変動した場合、切替部７、切替部９、切替部１１における制御が敏感に反応してしまうと、同じようなシーンを撮影しているのに、周辺光量落ち補正処理と倍率色収差補正処理との処理順が毎フレーム切り替わってしまう可能性がある。このような状況を防ぐために、本実施形態に係る撮像装置は、現フレームの積分コントラストレベルが閾値Ｃ１と閾値Ｃ２との間Ｄで揺らいでいる場合、図５に示すように、１フレーム前の切替制御信号を維持するようにしている。以上のようにして決定された切替制御信号は、記憶部６４に上書きされ、また、切替部７、切替部９、切替部１１に出力される。
【００３０】
次に、Ａ／Ｄ変換部５から出力された画像データに対して、周辺光量落ち補正処理、倍率色収差補正処理が行われ、映像信号出力端子１４から出力されるまでの処理の流れについて、図６及び図７を参照しながら詳細に説明する。
【００３１】
図６において、ステップＳ１００において、システム制御部１２は、内部の画素位置カウンタを初期化する。画素位置カウンタは、着目画素の画素位置を示すＸＹアドレスをカウントアップするものとし、１フレーム分の処理が終わる毎に開始画素位置のＸＹアドレスに対応した初期値にリセットされるものとする。
【００３２】
ステップＳ１０１において、システム制御部１２は着目画素のＸＹアドレスから像高を求め、解析領域判定部６２は着目画素が所定の像高範囲に存在するか否かを判定する。着目画素が所定の像高範囲に存在する場合、処理はステップＳ１０２に移行する。一方、着目画素が所定の像高範囲外に存在する場合、処理はステップＳ１０４に移行する。ここで所定の像高範囲とは、倍率色収差、周辺光量落ちによる画質劣化が目立つと予測される像高範囲であり、光学系１の光学設定に応じて定まるものである。
【００３３】
ステップＳ１０２において、コントラスト検出フィルタ６１は、Ａ／Ｄ変換部５から出力された画像データに対してコントラスト検出フィルタ処理を実行し、着目画素におけるコントラストレベルを検出する。ステップＳ１０３において、積分部６３は、ステップＳ１０２で求めた着目画素のコントラストレベルを積分し、記憶部６４に格納する。
【００３４】
ステップＳ１０４において、システム制御部１２は、画素位置カウンタの値を参照し、フレーム内の全ての画素について解析領域の判定とコントラストレベルの検出、積分とを実行したか否かを判定する。フレーム内の全ての画素について処理が終了した場合、処理はステップＳ１０６に移行する。一方、フレーム内の全ての画素について未だ処理が終了していない場合、処理はステップＳ１０５に移行する。
【００３５】
ステップＳ１０５において、システム制御部１２は、画素位置カウンタの値を１画素分インクリメントする。ステップＳ１０６において、切替制御信号決定部６５は、現フレームの積分コントラストレベルと、１フレーム前の画像データに対応する切替制御信号とを記憶部６４から読み出す。
【００３６】
ステップＳ１０７において、切替制御信号決定部６５は、現フレームの積分コントラストレベル、１フレーム前の切替制御信号、及び、閾値Ｃ１、Ｃ２を参照して、現フレームの画像データに対応する切替制御信号を決定する。
【００３７】
ステップＳ１０８において、システム制御部１２は、現フレームの切替制御信号を記憶部６４に上書きする。ステップＳ１０９において、システム制御部１２は、現フレームの切替制御信号を切替部７、切替部９、切替部１１に出力する。
【００３８】
ステップＳ１１０において、システム制御部１２は、切替制御信号に基づいて、周辺光量落ち補正部８及び倍率色収差補正部１０での補正処理が指定の処理順で行われるよう、切替部７、切替部９、切替部１１を制御する。
【００３９】
切替制御信号と、倍率色収差補正処理、周辺光量落ち補正処理の処理順との関係は、図７に示す表のようになる。切替制御信号がＨレベルに設定されている場合、倍率色収差の目立つ高コントラストの被写体が補正対象の画像データに多く含まれていると推定される。そのため、システム制御部１２は、Ａ／Ｄ変換部５から出力される画像データに対して、倍率色収差補正処理を行った後、周辺光量落ち補正処理を行うよう、切替部７、切替部９、切替部１１を制御する。即ち、切替部７は、倍率色収差補正部１０から出力される画像データを選択し、切替部９は、Ａ／Ｄ変換５から出力される画像データを選択し、切替部１１は、周辺光量落ち補正部８から出力される画像データを選択するよう制御される。
【００４０】
一方、切替制御信号がＬレベルに設定されている場合には、周辺光量落ちの目立つ、低コントラストの被写体が補正対象の画像データに多く含まれていると推定される。そのため、システム制御部１２は、Ａ／Ｄ変換部５から出力される画像データに対して、周辺光量落ち補正処理を行った後、倍率色収差補正処理を行うよう、切替部７、切替部９、切替部１１を制御する。即ち、切替部７は、Ａ／Ｄ変換部５から出力される画像データを選択し、切替部９は、周辺光量落ち補正部８から出力される画像データを選択し、切替部１１は、倍率色収差補正部１０から出力される画像データを選択するよう制御される。
【００４１】
以上のように、第１の実施形態においては、画像データのコントラスト分布を解析し、解析結果に応じて、周辺光量落ちと倍率色収差とのどちらの画質劣化が目立つかを推定し、画質劣化の目立つ方を先に補正するよう、補正処理の順序を制御している。本実施形態のように、複数種類の光学補正処理を順次行っていく撮像装置では、先に行った補正処理の影響で、次に行う補正処理の補正結果に誤差が生じてしまう。そのため、予め処理対象の画像データを解析して、画質劣化が目立つものを先に補正することにより、最終的な画像データの画質を向上させることができる。
【００４２】
次に、本発明の第２の実施形態について説明する。図８は、本発明の第２の実施形態に係る撮像装置の構成を示すブロック図である。第２の実施形態では、撮像装置が合焦判定部１５を更に備え、合焦判定結果を考慮してコントラスト分布解析部６で切替制御信号を決定する点が第１の実施形態と異なる。以下では、第１の実施形態との差異についてのみ説明する。
【００４３】
合焦判定部１５は、Ａ／Ｄ変換部５から出力される画像データから合焦判定のための評価値を生成し、デジタルビデオカメラ等で一般的に用いられているテレビＡＦを行う。合焦判定の方法については、外測センサを用いる等、テレビＡＦ以外の方法で行っても構わない。合焦判定結果は多値で表現され、合焦判定結果の値が大きい程、合焦の度合いが高く、値が小さい程、合焦の度合いが低いことを示すものとする。
【００４４】
合焦判定部１５で判定された合焦判定結果はシステム制御部１２に出力される。システム制御部１２は、合焦判定結果に基づいて、光学系１のフォーカスレンズ位置の制御を光学系駆動部２に指示する。
【００４５】
システム制御部１２は、合焦判定結果に基づき、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値を変更して、コントラスト分布解析部６に出力する。ここで、閾値Ｃ１、Ｃ２は、光学系１の倍率色収差及び周辺光量落ちの特性を考慮して予め算出された値であり、システム制御部１２内の図示しないＲＡＭに保持されているものとする。
【００４６】
システム制御部１２は、合焦判定結果を参照し、合焦している場合には、システム制御部１２内の図示しないＲＡＭに保持されている閾値Ｃ１、Ｃ２をそのままコントラスト分布解析部６に出力する。一方、合焦の度合いが低い場合、画像データのコントラストが全体的に低下する。そのため、システム制御部１２は、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値が合焦時よりも小さくなるよう、合焦判定結果に応じた抑圧係数ＫをＣ１、Ｃ２にそれぞれ乗じて、コントラスト分布解析部６に出力する。合焦判定結果と閾値Ｃ１、Ｃ２に対する抑圧係数Ｋとの関係は、図９に示すグラフのようになり、非合焦になり、画像データ全体のコントラストが低下する程、抑圧係数Ｋの値を小さくするようにしている。また、合焦時の積分コントラストレベルと切替制御信号との関係は、図１０（ａ）に示すようになり、閾値Ｃ１、Ｃ２を基準に切替制御信号を切り替える。また、合焦度合いが低いときの積分コントラストレベルと切替制御信号との関係は、図１０（ｂ）に示すようになり、閾値Ｋ＊Ｃ１、Ｋ＊Ｃ２を基準に切替制御信号を切り替える。
【００４７】
以上のように、第２の実施形態では、合焦状態に応じて、積分コントラストレベルを判定するための閾値の大きさを制御し、周辺光量落ち補正処理及び倍率色収差補正処理の処理順を制御するための切替制御信号を生成する。従って、合焦時に比べて、画像データ全体のコントラストが低くなる非合焦でも、倍率色収差が目立つようなシーンを撮影している場合には倍率色収差補正処理を先に行うことができ、補正後の画質を良好にすることができる。
【００４８】
次に、本発明の第３の実施形態について説明する。図１１は、本発明の第３の実施形態に係る撮像装置の構成を示すブロック図である。第３の実施形態では、動き検出部１６を備え、コントラスト分布解析部６が動き検出結果を考慮して切替制御信号を決定する点が第１の実施形態と異なる。以下では、第１の実施形態との差異についてのみ説明する。
【００４９】
動き検出部１６は、内部にフレームメモリを持ち、Ａ／Ｄ変換部５から出力される画像データと、フレームメモリに保持された１フレーム前の画像データとの差分から動きベクトルを検出する。動き成分の検出方法としては、ジャイロ等の他の方法で行っても構わない。
【００５０】
動き検出結果は多値で表現され、値が大きい程、フレーム全体の動きが大きく、値が小さい程、フレーム全体が静止していることを示すものとする。動き検出部１６で検出された動き検出結果は、システム制御部１２に出力される。
【００５１】
システム制御部１２は、動き検出結果に基づき、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値を変更して、コントラスト分布解析部６に出力する。ここで、閾値Ｃ１、Ｃ２は、光学系１の倍率色収差及び周辺光量落ちの特性を考慮して予め算出された値であり、システム制御部１２内の図示しないＲＡＭに保持されているものとする。
【００５２】
システム制御部１２は、動き検出結果を参照し、撮影した画像データの動きが小さい場合、システム制御部１２内の図示しないＲＡＭに保持されている閾値Ｃ１、Ｃ２をそのままコントラスト分布解析部６に出力する。一方、動き検出が大きい場合、動きブレによって、画像データのコントラストが全体的に低下する。従って、システム制御部１２は、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値が動きブレの少ない場合よりも小さくなるよう、動き検出結果に応じた抑圧係数ＫをＣ１、Ｃ２にそれぞれ乗じて、コントラスト分布解析部６に出力する。
【００５３】
動き検出結果と閾値Ｃ１、Ｃ２に対する抑圧係数との関係は、図１２に示すグラフのようになり、動き量が大きくなり、非加算の場合に比べて画像データ全体のコントラストが低下する程、Ｋの値を小さくするようにしている。
【００５４】
また、画像データの動きが小さい場合（静止時）の積分コントラストレベルと切替制御信号との関係は、図１０（ａ）に示すようになり、画像データの動きが大きい場合の積分コントラストレベルと切替制御信号との関係は、図１０（ｂ）に示すようになる。
【００５５】
以上のように、第３の実施形態では、動き検出結果に応じて、積分コントラストレベルを判定するための閾値の大きさを制御し、周辺光量落ち補正処理及び倍率色収差補正処理の処理順を制御するための切替制御信号を生成する。従って、動きブレによって、画像データ全体のコントラストが低くなる場合でも、倍率色収差が目立つようなシーンを撮影している場合には倍率色収差補正処理を先に行うことができ、補正後の画質を良好にすることができる。
【００５６】
次に、本発明の第４の実施形態について説明する。図１３は、本発明の第４の実施形態に係る撮像装置の構成を示すブロック図である。第４の実施形態では、コントラスト分布解析部６において、システム制御部１２で指定された撮像素子３の駆動モードを参照する点が第１の実施形態と異なる。以下では、第１の実施形態との差異についてのみ説明する。
【００５７】
第４の実施形態において、撮像素子３の駆動モードは、撮像素子３から画素を非加算で読み出す非加算読み出しモードと、撮像素子３上で複数の画素を加算してから読み出す、加算読み出しモードとを備えている。撮像素子駆動部４は、システム制御部１２で指定された駆動モードに基づいて、撮像素子３からアナログ画像信号を読み出すよう、撮像素子３の駆動制御を行う。また、システム制御部１２は、撮像素子３の駆動モードに基づき、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値を変更して、コントラスト分布解析部６に出力する。
【００５８】
ここで、閾値Ｃ１、Ｃ２は、光学系１の倍率色収差及び周辺光量落ちの特性を考慮して予め算出された値であり、システム制御部１２内の図示しないＲＡＭに保持されているものとする。システム制御部１２は、撮像素子３の駆動モードが非加算読み出しモードである場合には、システム制御部１２内の図示しないＲＡＭに保持されている閾値Ｃ１、Ｃ２をそのままコントラスト分布解析部６に出力する。一方、撮像素子３の駆動モードが加算読み出しモードである場合、センサ上の画素加算によって、入力画像のコントラストが全体的に低下する。そのため、システム制御部１２は、現フレームの積分コントラストレベルを判定するための閾値Ｃ１、Ｃ２の値が、非加算読み出しモードの場合よりも小さくなるよう、加算画素数に応じた抑圧係数ＫをＣ１、Ｃ２にそれぞれ乗じて、コントラスト分布解析部６に出力する。
【００５９】
加算読み出しモードの際の加算画素数と、閾値Ｃ１、Ｃ２に対する抑圧係数Ｋとの関係は、図１４に示すグラフのようになり、加算画素数が増大し、非加算の場合に比べて画像全体のコントラストが低下する程、Ｋの値を小さくするようにしている。
【００６０】
以上のように、第４の実施形態では、撮像素子３の駆動モードに応じて、積分コントラストレベルを判定するための閾値の大きさを制御し、周辺光量落ち補正処理及び倍率色収差補正処理の処理順を制御するための切替制御信号を生成する。従って、撮像素子３から加算読み出しされることで、画像データ全体のコントラストが低くなる場合でも、倍率色収差が目立つようなシーンを撮影している場合には倍率色収差補正処理を先に行うことができ、補正後の画質を良好にすることができる。
【００６１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６２】
１：光学系、２：光学系駆動部、３：撮像素子、４：撮像素子駆動部、５：Ａ／Ｄ変換部、６：コントラスト分布解析部、７、９、１１：切替部、８：周辺光量落ち補正部、１０：倍率色収差補正部、１２：システム制御部、１３：光学特性データベース、１５：合焦判定部、１６：動き検出部、６１：コントラスト検出フィルタ、６２：解析領域判定部、６３：積分部、６４：記憶部、６５：切替制御信号決定部
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段より出力される画像データのコントラスト分布を解析する解析手段と、
前記画像データの倍率色収差を補正する第１の補正手段と、
前記画像データの周辺光量落ちを補正する第２の補正手段と、
前記解析手段による解析結果に基づいて、前記第１の補正手段による倍率色収差の補正処理と、前記第２の補正手段による周辺光量落ちの補正処理との処理順を切り替える切替手段とを有することを特徴とする撮像装置。
【請求項２】
前記切替手段は、前記画像データのコントラスト分布が所定の基準より低い場合、前記第２の補正手段による周辺光量落ちの補正処理を、前記第１の補正手段による倍率色収差の補正処理より先に実行するように処理順を切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記切替手段は、前記画像データのコントラスト分布が所定の基準以上である場合、前記第１の補正手段による倍率色収差の補正処理を、前記第２の補正手段による周辺光量落ちの補正処理より先に実行するように処理順を切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記切替手段は、前記画像データのコントラスト分布が第１の基準より低い場合、前記第２の補正手段による周辺光量落ちの補正処理を、前記第１の補正手段による倍率色収差の補正処理より先に実行するように処理順を切り替え、前記画像データのコントラスト分布が前記第１の基準より高い値である第２の基準以上である場合、前記第１の補正手段による倍率色収差補正の補正処理を、前記第２の補正手段による周辺光量落ちの補正処理より先に実行するように処理順を切り替え、前記画像データのコントラスト分布が前記第１の基準以上であり、且つ前記第２の基準より低い場合、前記第１の補正手段及び前記第２の補正手段の処理順を１フレーム前の処理順で制御することを特徴とする請求項１に記載の撮像装置。
【請求項５】
合焦状態を判定する合焦判定手段と、
前記合焦判定手段の判定結果に基づいて、前記所定の基準を変更する変更手段とを更に有することを特徴とする請求項２又は３に記載の撮像装置。
【請求項６】
前記変更手段は、前記合焦判定手段により判定される合焦状態が低い度合いである程、前記所定の基準を低く変更することを特徴とする請求項５に記載の撮像装置。
【請求項７】
合焦状態を判定する合焦判定手段と、
前記合焦判定手段の判定結果に基づいて、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を変更する変更手段とを更に有することを特徴とする請求項４に記載の撮像装置。
【請求項８】
前記変更手段は、前記合焦判定手段により判定される合焦状態が低い度合いである程、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を低く変更することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記画像データにおける動き成分を検出する動き検出手段と、
前記動き検出手段の検出結果に基づいて、前記所定の基準を変更する変更手段とを更に有することを特徴とする請求項２又は３に記載の撮像装置。
【請求項１０】
前記変更手段は、前記動き検出手段により検出される動き成分の動き量が大きい程、前記所定の基準を低く変更することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記画像データにおける動き成分を検出する動き検出手段と、
前記動き検出手段の検出結果に基づいて、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を変更する変更手段とを更に有することを特徴とする請求項２又は３に記載の撮像装置。
【請求項１２】
前記変更手段は、前記動き検出手段により検出される動き成分の動き量が大きい程、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を低く変更することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記撮像手段からの画像データの読み出しモードに基づいて、前記所定の基準を変更する変更手段を更に有することを特徴とする請求項２又は３に記載の撮像装置。
【請求項１４】
前記変更手段は、前記撮像手段の画素を加算して画像データを読み出すモードである場合、前記撮像手段の画素を非加算で画像データを読み出すモードよりも、前記所定の基準を低く変更することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記撮像手段からの画像データの読み出しモードに基づいて、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を変更する変更手段を更に有することを特徴とする請求項２又は３に記載の撮像装置。
【請求項１６】
前記変更手段は、前記撮像手段の画素を加算して画像データを読み出すモードである場合、前記撮像手段の画素を非加算で画像データを読み出すモードよりも、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を低く変更することを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
撮像手段を有する撮像装置の制御方法であって、
前記撮像手段より出力される画像データのコントラスト分布を解析する解析ステップと、
前記解析ステップによる解析結果に基づいて、第１の補正手段による前記画像データに対する倍率色収差の補正処理と、第２の補正手段による前記画像データに対する周辺光量落ちの補正処理との処理順を切り替える切替ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１８】
撮像手段を有する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記撮像手段より出力される画像データのコントラスト分布を解析する解析ステップと、
前記解析ステップによる解析結果に基づいて、第１の補正手段による前記画像データに対する倍率色収差の補正処理と、第２の補正手段による前記画像データに対する周辺光量落ちの補正処理との処理順を切り替える切替ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
撮像手段と、
前記撮像手段より出力される画像データのコントラスト分布を解析する解析手段と、
前記画像データの倍率色収差を補正する第１の補正手段と、
前記画像データの周辺光量落ちを補正する第２の補正手段と、
前記解析手段による解析結果に基づいて、前記第１の補正手段による倍率色収差の補正処理と、前記第２の補正手段による周辺光量落ちの補正処理との処理順を切り替える切替手段とを有することを特徴とする撮像装置。
【請求項２】
前記切替手段は、前記画像データのコントラスト分布が所定の基準より低い場合、前記第２の補正手段による周辺光量落ちの補正処理を、前記第１の補正手段による倍率色収差の補正処理より先に実行するように処理順を切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記切替手段は、前記画像データのコントラスト分布が所定の基準以上である場合、前記第１の補正手段による倍率色収差の補正処理を、前記第２の補正手段による周辺光量落ちの補正処理より先に実行するように処理順を切り替えることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記切替手段は、前記画像データのコントラスト分布が第１の基準より低い場合、前記第２の補正手段による周辺光量落ちの補正処理を、前記第１の補正手段による倍率色収差の補正処理より先に実行するように処理順を切り替え、前記画像データのコントラスト分布が前記第１の基準より高い値である第２の基準以上である場合、前記第１の補正手段による倍率色収差補正の補正処理を、前記第２の補正手段による周辺光量落ちの補正処理より先に実行するように処理順を切り替え、前記画像データのコントラスト分布が前記第１の基準以上であり、且つ前記第２の基準より低い場合、前記第１の補正手段及び前記第２の補正手段の処理順を１フレーム前の処理順で制御することを特徴とする請求項１に記載の撮像装置。
【請求項５】
合焦状態を判定する合焦判定手段と、
前記合焦判定手段の判定結果に基づいて、前記所定の基準を変更する変更手段とを更に有することを特徴とする請求項２又は３に記載の撮像装置。
【請求項６】
前記変更手段は、前記合焦判定手段により判定される合焦状態が低い度合いである程、前記所定の基準を低く変更することを特徴とする請求項５に記載の撮像装置。
【請求項７】
合焦状態を判定する合焦判定手段と、
前記合焦判定手段の判定結果に基づいて、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を変更する変更手段とを更に有することを特徴とする請求項４に記載の撮像装置。
【請求項８】
前記変更手段は、前記合焦判定手段により判定される合焦状態が低い度合いである程、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を低く変更することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記画像データにおける動き成分を検出する動き検出手段と、
前記動き検出手段の検出結果に基づいて、前記所定の基準を変更する変更手段とを更に有することを特徴とする請求項２又は３に記載の撮像装置。
【請求項１０】
前記変更手段は、前記動き検出手段により検出される動き成分の動き量が大きい程、前記所定の基準を低く変更することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記画像データにおける動き成分を検出する動き検出手段と、
前記動き検出手段の検出結果に基づいて、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を変更する変更手段とを更に有することを特徴とする請求項２又は３に記載の撮像装置。
【請求項１２】
前記変更手段は、前記動き検出手段により検出される動き成分の動き量が大きい程、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を低く変更することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記撮像手段からの画像データの読み出しモードに基づいて、前記所定の基準を変更する変更手段を更に有することを特徴とする請求項２又は３に記載の撮像装置。
【請求項１４】
前記変更手段は、前記撮像手段の画素を加算して画像データを読み出すモードである場合、前記撮像手段の画素を非加算で画像データを読み出すモードよりも、前記所定の基準を低く変更することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記撮像手段からの画像データの読み出しモードに基づいて、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を変更する変更手段を更に有することを特徴とする請求項２又は３に記載の撮像装置。
【請求項１６】
前記変更手段は、前記撮像手段の画素を加算して画像データを読み出すモードである場合、前記撮像手段の画素を非加算で画像データを読み出すモードよりも、前記第１の基準及び前記第２の基準のうちの少なくとも何れか一方を低く変更することを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
撮像手段を有する撮像装置の制御方法であって、
前記撮像手段より出力される画像データのコントラスト分布を解析する解析ステップと、
前記解析ステップによる解析結果に基づいて、第１の補正手段による前記画像データに対する倍率色収差の補正処理と、第２の補正手段による前記画像データに対する周辺光量落ちの補正処理との処理順を切り替える切替ステップとを有することを特徴とする撮像装置の制御方法。
【請求項１８】
撮像手段を有する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記撮像手段より出力される画像データのコントラスト分布を解析する解析ステップと、
前記解析ステップによる解析結果に基づいて、第１の補正手段による前記画像データに対する倍率色収差の補正処理と、第２の補正手段による前記画像データに対する周辺光量落ちの補正処理との処理順を切り替える切替ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１６０８８１（Ｐ２０１２−１６０８８１Ａ）
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願番号】特願２０１１−１８７５９（Ｐ２０１１−１８７５９）
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月２３日（２０１２．８．２３）
【国際特許分類】
【出願日】平成２３年１月３１日（２０１１．１．３１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]