画像処理方法、撮像装置、その制御方法およびプログラム
【課題】鮮やかな被写体を人の印象に合致するようにより鮮やかに補正する彩度補正機能において、撮影する被写体を評価して鮮やかにする補正を行うべきかどうかを判定したうえで補正を行うことができなかった。
【解決手段】画像処理方法は、画像データを取得する取得ステップと、画像データの彩度情報に基づいて、画像データの被写体が鮮やかな被写体であるか否かを判定する判定ステップと、被写体が鮮やかな被写体であると判定された場合、画像データの明るさが第１の明るさであるときには、画像データの明るさが第１の明るさよりも弱い第２の明るさであるときに比べて大きい補正幅で鮮やかさを補正し、画像データの被写体が鮮やかな被写体でないと判定された場合、画像データの鮮やかさを補正しないか、あるいは小さい補正幅で、画像データの鮮やかさ補正する補正ステップとを有する。
【解決手段】画像処理方法は、画像データを取得する取得ステップと、画像データの彩度情報に基づいて、画像データの被写体が鮮やかな被写体であるか否かを判定する判定ステップと、被写体が鮮やかな被写体であると判定された場合、画像データの明るさが第１の明るさであるときには、画像データの明るさが第１の明るさよりも弱い第２の明るさであるときに比べて大きい補正幅で鮮やかさを補正し、画像データの被写体が鮮やかな被写体でないと判定された場合、画像データの鮮やかさを補正しないか、あるいは小さい補正幅で、画像データの鮮やかさ補正する補正ステップとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に係わり、特に撮影する映像の色補正のための画像処理機能を備える撮像装置、その制御方法およびプログラムに関する。
【背景技術】
【０００２】
例えば電子カメラなどの撮像装置においては、撮影の際に色の彩度方向のゲインを上げることで色をより鮮やかに補正する機能を備えたものがある。この機能を利用すれば、鮮やかな被写体を撮影しているときに、人間の知覚的印象に近づくために、画像を通常より鮮やかになるように補正を行うことが可能である。この場合、暗い被写体を明るい被写体と同じ彩度の基準で補正すると人間の目で見た印象と異なる画像となってしまう。
【０００３】
そのため、従来、特許文献1のように被写界が明るいときには鮮やかになるように補正するという撮像装置が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2007-267170号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、どのような被写体であっても明るい被写界での撮影であれば鮮やかにする補正を行っている。そのため、そもそも色がない被写体でも彩度方向のゲインを上げてしまい、その結果、補正効果が得られずに彩度方向の色ノイズが目立ちやすくなるという欠点があった。
本件発明は、上記従来技術の問題を解決することが可能な撮像装置の提供を目的とする。特に、明るい被写界であっても被写体の明るさに応じて彩度方向のゲインを変更することができる撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
本件発明の一つの構成によれば、本件発明の画像処理方法は、画像データを取得する取得ステップと、記画像データの彩度情報に基づいて、画像データの被写体が鮮やかな被写体であるか否かを判定する判定ステップと、画像データの被写体が鮮やかな被写体であると判定された場合、画像データの明るさが第１の明るさであるときには、画像データの明るさが第１の明るさよりも弱い第２の明るさであるときに比べて大きい補正幅で画像データの鮮やかさを補正し、画像データの被写体が鮮やかな被写体でないと判定された場合には、画像データの鮮やかさを補正しないか、あるいは、画像データの被写体が鮮やかな被写体であると判定された場合よりも小さい補正幅で、画像データの鮮やかさ補正する補正ステップと、を有する。
本件発明の他の構成によれば、本件発明の撮像装置は、被写体を撮像して画像データを出力する撮像手段と、出力された画像データの彩度情報に基づいて、画像データの被写体が鮮やかな被写体であるか否かを判定する判定手段と、画像データの被写体が鮮やかな被写体であると判定された場合には、画像データの明るさが第１の明るさであるとき、画像データの明るさが第１の明るさよりも弱い第２の明るさであるときに比べて大きい補正幅で画像データの鮮やかさを補正し、画像データの被写体が鮮やかな被写体でないと判定された場合には、画像データの鮮やかさを補正しないか、あるいは、画像データの被写体が鮮やかな被写体であると判定された場合よりも小さい補正幅で画像データの鮮やかさ補正する補正手段と、を備える。
【発明の効果】
【０００７】
上記本件発明によれば、鮮やかな被写体であるかどうかを判定し、鮮やかと判定された場合には彩度方向のゲインを上げることでより鮮やかな画像とすることが出来る。また、被写体の明るさをみて、暗いほど補正幅を少なくしていくことで暗い被写体は明るい被写体と同じ彩度を持つ被写体でも鮮やかだとは感じにくいという人間の感覚にあった補正が可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係わる撮像装置の動作手順のフローチャートを示す図である。
【図３】本発明の第２の実施形態に係わる撮像装置の構成を示すブロック図である。
【図４】本発明の第２の実施形態に係わる撮像装置の動作手順のフローチャートを示す図である。
【発明を実施するための形態】
【０００９】
＜第１の実施形態＞
まず、本発明の第１の実施形態を、図１に示す構成のデジタルビデオカメラを例にして説明する。しかし、本件発明の撮像装置はこれに限るものではなく、被写体を撮像手段により撮像して画像信号を得る構成を備えている他の装置であってもよい。
【００１０】
図１において、レンズ101を通った光は絞り102で光量制限された後ＣＣＤ104に入射し、入射光量に応じた電気信号に変換される。前記ＣＣＤ104の出力するアナログ信号はＡＦＥ（Anolog Front End）106にてゲインをかけて信号増幅を行い、ディジタルデータに変換され画像生成回路107にて画像として必要な処理が施される。画像生成回路107は、例えば補間処理やホワイトバランス処理を行う構成とすることができる。しかし、これに限るものではなく、必要に応じて他の画像処理も行うように構成してもよい。
【００１１】
前記画像生成回路107から出力されるディジタル画像データは色補正回路108に入力される。色補正回路108はマイクロコンピュータ（以下マイコンと記す）111で定められた色の彩度方向ゲインを上げて色を鮮やかにする補正を行う。前記色補正回路108で色補正された画像データは色域検出回路109に入力される。ここでは、画像をメッシュ状の枠（例えば、８ｘ８ブロック）に分割し、それぞれの枠内に存在する画素の輝度と彩度の積分値（以下、それぞれ輝度情報および彩度情報と記す）を求める。前記色域検出回路109で求めた彩度の積分値は前記マイコン（マイクロコンピュータ）111に送られ、入力画像の解析に用いられる。なお、本実施形態においては色補正回路108が色域検出回路109よりも前にあるため、入力画像の解析と色補正の判断との間で、補正からの抜けやすさと補正有無を繰り返す（振動する）ハンチング防止を考える必要がある。これに付いては、後で説明する。
【００１２】
絞り102を制御する絞り制御回路103は前記マイコン111から動作を制御され、レンズからの入射光を所望の量に制限する。このときの前記絞り102の光量制限を示す絞り値は、前記マイコン111で入力画像の解析に用いられる。また、シャッター制御回路105は、前記ＣＣＤ104の電子シャッターを制御する。前記シャッター制御回路105も前記マイコン111から制御され、その制御量は入力画像の解析に用いられる。また、前記ＡＦＥ106で画像信号にかけるゲインも前記マイコン111から制御され、そのゲイン値は入力画像の解析に用いられる。なお、前記マイコン111で行われる入力画像の解析については後述する。
【００１３】
前記色域検出回路109から出力される画像データは画像出力回路110で出力フォーマットに従って変換されて外部へ映像信号として出力される。
【００１４】
すなわち、本実施形態に係わる撮像装置は、被写体を撮像して画像データを取得する取得手段と画像データに色補正を行う補正手段とを備える。
次に、上述した本実施形態に係わる撮像装置で被写体を撮影し、それによって得た画像データをどのように解析して補正するかを図２（Ａ）のフローチャートを参照して説明する。なお、当該フローチャートの動作は、マイクロコンピュイータ111がそのために生成され記憶されたプログラムをロードし、それを実行することによって行われる。
ステップＳ201において、前記色域検出回路109で枠毎の彩度情報を取得する。次いで、ステップＳ202において、前記ステップＳ201で得た枠毎の彩度情報から画像全体の彩度平均値を計算し、その値が平均彩度の閾値Ｓall（請求の範囲の第３の閾値）以上であればステップＳ203に進み、前記平均彩度の閾値Ｓall未満であればステップＳ205に進む。ステップＳ203では、ステップＳ201で得た枠毎の彩度情報のうち、彩度閾値Ｓth（請求の範囲の第４の閾値）以上の枠をカウントし、その結果をＣsとしてステップＳ204に進む。ステップＳ204では、ステップＳ203で得たＣsと高彩度面積閾値Ｒs（請求の範囲の第５の閾値）とを比較し、ＣsがＲs以上であればステップＳ206に進む。また、ＣsがＲs未満であればステップＳ205に進む。
【００１５】
すなわち、本件発明に係わる画像処理では、彩度情報から画像の彩度に係わる評価値を生成し、生成した評価値が所定の条件を満たすかどうかを判定する判定手段を有する。判定手段は評価値として、画像全体の彩度を表す第１の評価値と被写体の彩度を表す第２の評価値を生成し、第１の評価値と第３の閾値との比較判定を行い、第１の評価値が前記第３の閾値以上と判定されたときに第２の評価値と第５の閾値との比較判定を行う。なお、第２の評価値は第４の閾値以上の彩度を有する画素ブロックを検出することで生成される。
ステップＳ205では、ステップＳ202またはステップＳ204の判定結果から、被写体は鮮やかな被写体ではないと判定できるので、鮮やか補正値（請求の範囲の補正幅）Ｃを１とする。これにより、鮮やか補正は実質行わないことになる。ただし、鮮やか補正を終了させる時定数処理を行って急激に彩度が変わらないようにする。具体的には複数フレームをかけて、本来設定すべき補正値（鮮やか補正をしないときの色補正値）に現在の補正値から徐々に近づけていくという処理を行う。時定数処理を行った後は、判定フローを終了する。また、本実施形態では、鮮やかな被写体ではないと判定された場合に鮮やか補正値Ｃを１としているが、これに限らず、鮮やかな被写体であると判定された場合に比べて小さい値をとっていればよい。
【００１６】
ステップＳ206以後の処理で鮮やか補正をするための補正値を計算する。まず、絞り制御回路103の絞り径情報、シャッター制御回路105のシャッター速度情報、ＡＦＥ106のゲイン情報、色域検出回路109の枠毎の輝度情報とから、被写体の明るさ(請求の範囲の画像データの明るさ)を計算し、Ｂvとする（ステップＳ206）。具体的には、前記枠毎の輝度情報を前記ＡＦＥ106のゲインでの増加分と、前記105シャッター制御回路のシャッター速度による減少分と、前記絞り制御回路103の絞り径による減少分を考慮することによって計算することが出来る。次いで、ステップＳ207において、ステップＳ206で計算したＢvが絶対的明るさ閾値Ｂv1（請求の範囲の第１の閾値）以上であるかどうかを判定する。閾値Ｂv1以上であれば、ステップＳ208に進み、鮮やか補正値Ｃ１を計算で求める。Ｂvが被写体の明るさ閾値Ｂv1未満であれば、ステップＳ209に進む。
【００１７】
すなわち、本件発明の画像処理では、第２の評価値が所定の条件を満たしていると判定されたとき、画像データの撮像制御値と輝度情報とに基づいて被写体の明るさを演算する。所定の条件は、第２の評価値が第５の閾値以上と判定されることである。
ステップＳ208では、図２（Ｂ）のグラフに従ってＣmax一定値（Ｃ１）を鮮やか補正値Ｃとし、ステップＳ212に進む。ここで、Ｃmax一定値とするのは、被写体が明るいときに鮮やか補正を行っても違和感を感じないためには、補正に上限（補正値の最大値）があるのが好ましいという事実に基づいている。
【００１８】
ステップＳ209では、ステップＳ206で計算したＢvが明るさ閾値Ｂv2（請求の範囲の第２の閾値）以上であるかどうかを判定し、閾値Ｂv2以上であれば、ステップＳ210に進み、鮮やか補正値Ｃ２を計算で求める。Ｂvが明るさ閾値Ｂv2未満であれば、ステップＳ211に進み、鮮やか補正値Ｃ３を計算で求める。ステップＳ210では、図２（Ｂ）のグラフに従って、ＣminとＣmaxの間で単調増加となるような補間により補正値Ｃ２を決める。本実施形態では最も簡単な直線補間で計算するが、単調増加であればこの補間法に限らない。補間の式は図２（Ｃ）となる。補正値Ｃ２を前記図２（Ｃ）の式で計算し、ステップＳ212に進む。
【００１９】
ステップＳ211では、図２（Ｂ）のグラフに従い、Ｃmin一定値を鮮やか補正値Ｃ３とし、ステップＳ212に進む。ここで、Ｃmin一定値とするのは、鮮やか補正をして元の画像より鮮やかでなくなるような補正をするのは補正する意図に反するためである。すなわち、Ｃ３≧１であることが好ましい。
【００２０】
ステップＳ212においては、鮮やか補正値Ｃがすでに決まったので、鮮やか補正開始時定数処理をして、色補正回路108で補正を行う。補正はステップＳ208、ステップＳ210、ステップＳ211で決定した補正値Ｃを、補正前の色差信号にかかるゲインすなわちＲｙゲインとＢｙゲインに乗算することによって行う。
【００２１】
すなわち、本件発明の画像処理では、演算された被写体の明るさを第1および第２の閾値と比較して被写体の明るさを判定し、当該明るさの判定結果に従って異なる彩度補正幅を決定し、決定された彩度補正幅に基づいて画像データを補正する。特に、画像データの被写体が鮮やかな被写体であると判定された場合で、画像データの明るさが第１の明るさであるときには、画像データの明るさが前記第１の明るさよりも弱い第２の明るさであるときに比べて大きい補正幅で前記画像データの鮮やかさを補正する。例えば、被写体の明るさが第１の閾値と第２の閾値との間にあると判定されたときは、被写体の明るさに従って所定の範囲内で変化する彩度補正値を生成する。他方、第１の閾値と第２の閾値との間の領域以外の領域にあると判定されたときは、被写体の明るさにかかわらず所定の範囲の最大または最小値となるように補正値を決定する。
他方、画像データの被写体が鮮やかな被写体でないと判定された場合は、画像データの鮮やかさを補正しないか、あるいは、画像データの被写体が鮮やかな被写体であると判定された場合よりも小さい補正幅で画像データの鮮やかさ補正する。
【００２２】
ここで、前述したハンチング防止について説明する。本実施形態でのハンチング防止は次のように行う。すなわち、図２（Ａ）のフローチャートを実行して補正値を決定したのち、次に実行するときに（以下「次回」と表現する）、鮮やか判定に使用する閾値を以下の様に変更する。
【００２３】
次回用いる彩度閾値Ｓth’は補正前の彩度閾値Ｓthに、ステップＳ208、ステップＳ210、またはステップＳ211で決定した補正値Ｃを乗算し、１よりも小さくハンチング防止に効果があるハンチング防止係数ｄを乗算した結果の値とする。
【００２４】
次回用いる平均彩度の閾値Ｓall’は補正前の平均彩度閾値Ｓallのままとする。これは、鮮やか補正が行われていると、次回の判定の際には全体の彩度値は補正値の分増加しているので、補正前の値で充分にハンチング防止効果があるためである。
【００２５】
以上のように、入力画像データの解析で鮮やかな被写体と判定した場合は彩度方向のゲイン(補正値)を上げて鮮やかになるように補正を実行する。そして、レンズの絞り値、センサーのシャッタースピード、処理系のゲインといった撮像装置の制御パラメータによって計算される明るさに応じて補正値を変化させる。これにより、被写体が暗いときには補正量も小さくなり、少し鮮やかに補正する。他方、被写体が明るいときには補正量も大きくなり、より鮮やかに補正する。このように被写体の明るさに従って補正量を変えることで、暗いときには同じ彩度の被写体でも鮮やかと感じにくいという人間の感じ方と合致する映像を得ることが出来る。また、入力画像が鮮やかでなければ彩度方向のゲインは変えないために、彩度方向の色ノイズが増加することもない。
【００２６】
また、本実施形態では、色相・彩度を色差信号から算出したが、色相・彩度の算出方法をこれに限定するものではない。例えば、Ｌ＊ａ＊ｂ＊空間などの他の空間に一度変換してからＬ＊ａ＊ｂ＊空間での色相・彩度を算出してもよい。
また、本実施形態では、色域検出回路１０９が８×８ブロックに画像信号を分割する例を説明したが、画素単位など、どのような分割数であってもかまわない。
また、本実施形態では、鮮やかなシーンであるか否かの判別結果に基づき、色差信号にかけるゲインを制御する場合について説明したが、シーン判別結果に基づき色信号、もしくは輝度信号を補正する制御であればどのような制御を行ってもかまわない。
また、上記実施形態では、鮮やかなシーンであるか否かの判別を平均彩度値と高彩度ブロック数の２つの情報を元に行ったが、評価値として片方だけを使用するなど、鮮やかなシーンの判別方法はこれに限定されない。例えば、画像中で最も彩度が高い領域での彩度情報に基づいて鮮やかなシーンの判別を行っても良い。
また、上記実施形態では、鮮やかなシーンであるか否かの判別結果に基づき、色差信号にかけるゲインを制御する場合について説明した。しかし、鮮やかなシーンであるか否かに基づき色信号、もしくは輝度信号を補正して、鮮やかさを強調する処理であればどのような処理を行ってもかまわない。すなわち、彩度以外を補正することで鮮やかさを強調するようにしてもよい。このような処理には例えば、輝度を上げる補正や輪郭の強調処理などが考えられる。この際には、彩度の閾値へ行う処理と同様の処理を各パラメータの閾値へ行ったり、各補正値へ行ったりすることが考えられる。
【００２７】
＜第２の実施形態＞
本発明の第２の実施形態を図３に示す撮像装置（デジタルカムコーダ）を例に説明する。なお、図１と同じ構成要素には同じ参照番号を付し、その説明を省略する。また、本実施形態では、第1の実施形態とは異なり、色域検出回路と色補正回路がこの順序で配置されている。
【００２８】
画像生成回路107の出力されるディジタル画像データは色域検出回路308で画像をメッシュ状の枠に分割され、それぞれの枠内に存在する画素の輝度と彩度の積分値（輝度情報と彩度情報）を求める。色域検出回路308で求めた彩度の積分値はマイコン312に送られ、入力画像の解析に用いられる。また、絞り102を制御する絞り制御回路103はマイコン312から動作を制御され、レンズからの入射光を所望の量に制限する。このときの絞り102の光量制限を示す絞り値は、マイコン312で入力画像の解析に用いられる。また、前記ＣＣＤ104はシャッター制御手段105によって電子シャッターを制御される。前記シャッター制御回路105もマイコン312から制御され、その制御量は入力画像の解析に用いられる。また、ＡＦＥ106でかけるゲインもマイコン312から制御され、ゲイン値は入力画像の解析に用いられる。なお、マイコン312で行われる入力画像の解析については後述する。
【００２９】
前記308色域検出回路から出力される画像データは309色補正回路に入力される。前記309色補正回路は312マイコンで定められた色の彩度方向ゲインを上げて色を鮮やかにする補正を行う。前記309で色補正された画像データは310画像出力回路で出力フォーマットに合う形に変換されて311記憶媒体に記録される。
【００３０】
次に、本実施形態の撮像装置で被写体を撮影し、それによって得た画像データをどのように解析して補正するかを図４（Ａ）のフローチャートを参照して説明する。
ステップＳ401で色域検出回路308で枠毎の彩度情報を取得する。次いで、ステップＳ402においてステップＳ401で得た枠毎の彩度情報から画像全体の彩度平均値を計算し、その値が平均彩度の閾値Ｓall以上かどうかを判定する。閾値Ｓall以上であれば、ステップＳ403に進み、閾値Ｓall未満であれば、ステップＳ408に進む。
【００３１】
ステップＳ403では、ステップＳ401で得た枠毎の彩度情報のうち、彩度閾値Ｓth以上の枠をカウントしその結果をＣsとしてステップＳ404に進む。ステップＳ404では、色域検出回路308で枠毎の輝度情報を取得する。次いで、ステップＳ405でステップＳ404のデータ、302絞りの光量制限を示す絞り値、シャッター制御回路105の制御量、ＡＦＥ106でかけるゲインを用いて被写体の明るさを計算し、Ｂvとする。Ｂvの計算方法は、第1の実施形態と同様に計算する。
【００３２】
ステップＳ40において、ステップＳ405で計算したＢvに対して高彩度面積閾値Ｒsを決定する。Ｒsは、図４（Ｂ）に示すＢvとＲsとの関係に従って決定する。Ｂvが大きいときは明るい被写体であるので、高彩度面積閾値Ｒsは低い状態であるが、Ｂvが小さくなると、暗い被写体であるため、高彩度面積閾値Ｒsが高くなり、Ｂvが大きいときに比べて高彩度な領域の面積がより大きくなければ鮮やかと判定されなくなる。
【００３３】
次いで、ステップＳ407において、ステップＳ403で計算したＣsとステップＳ406で決定した高彩度面積閾値Ｒsとを比較し、ＣsがＲs以上であれば、鮮やかな被写体で、鮮やか補正を行うためにステップＳ409に進む。一方、ＣsがＲs未満であれば、ステップＳ408に進む。
【００３４】
すなわち、本実施形態の画像処理では、演算された被写体の明るさと第１および第２の閾値とに基づいて第５の閾値を変更し、変更された第５の閾値と第２の評価値との比較判定を行っている。
ステップＳ408では、被写体は鮮やかな被写体ではないと判定されているので、鮮やか補正は行わないようにする。ただし、鮮やか補正を終了させる時定数処理を行って急激に彩度が変わらないようにする。具体的には本来設定すべき補正値に現在の補正値から徐々に近づけていくという処理を行う。前記時定数処理を行った後、判定フローを終了する。
【００３５】
ステップＳ409では、入力画像をより鮮やかに補正するための鮮やか補正値Ｃを前記明るさＢvに応じて決定する。この場合のＢvと補正値Ｃの関係を図４（Ｃ）に示す。ステップＳ409での補正値Ｃの決定は、第１の実施形態でのステップＳ207からステップＳ211と同様である。
ステップＳ410では、ステップＳ404で得た枠毎の輝度情報のうち、輝度閾値Ｂth（請求の範囲の第６の閾値）以下である枠をカウントし、その結果をＣdとしてステップＳ411に進む。次いで、ステップＳ411において、ステップＳ410でカウントしたＣdが低輝度面積閾値Ｄ（請求の範囲の第７の閾値）以上であるかどうかを判定し、以上であれば画面上の多くの領域が暗いと判断し、ステップＳ412に進む。それ以外の場合はステップＳ413に進む。
【００３６】
ステップＳ412では、低輝度領域が多い被写体の場合はＢv値によらず、鮮やか補正値ＣをＣ３，すなわち最小値Ｃminとする。これは、暗くて鮮やかな被写体を撮影するときには、ちょっと明るいものが入るだけでＢv値が変わり、被写体の彩度が頻繁に変わって違和感が出やすいという事実に対応するための処理である。鮮やか補正値をＣ３（Ｃmin）に設定した後、ステップＳ413に進む。
【００３７】
すなわち、本実施形態の画像処理では、輝度情報と第６の閾値との比較判定（第６の閾値以下）の結果に基づいて画像内の低輝度領域の面積を表す第３の評価値を生成する。そして、第３の評価値と第７の閾値との比較判定(第７の閾値以上)を行い、当該判定の結果に基づいて前記決定された彩度補正値を変更している。
【００３８】
ステップＳ413では、鮮やか補正値Ｃが決まったので、鮮やか補正開始時定数処理を行い、色補正回路309で補正を行う。補正はステップＳ410またはステップＳ412で決定した補正値Ｃを補正前の色差信号にかかるゲインすなわちＲｙゲインとＢｙゲインに乗算することによって行う。
【００３９】
このとき、鮮やか補正からの抜けやすさと補正有無を繰り返すハンチングが起こる可能性がある。そのため、本実施形態の動作を次に行う際に鮮やか判定と補正値を決める際には、閾値を以下の様に変更する。なお、本実施形態では色域検出回路と色補正回路とがこの順序で配置されているが、画像データを介した撮像制御と閾値判定との間のハンチングの可能性がある。
【００４０】
次回用いる彩度閾値Ｓth’は補正前の彩度閾値Ｓthに、１よりも小さくハンチング防止に効果があるハンチング防止係数ｄを乗算した結果の値とする。
【００４１】
次回用いる平均彩度の閾値Ｓall’も補正前の平均彩度閾値Ｓallに、前記ハンチング防止係数ｄを乗算した結果の値とする。
【００４２】
すなわち、本実施形態では、ハンチング防止手段は、第３の閾値および第４の閾値を、所定のハンチング防止係数に基づいて補正している。
【００４３】
上述した本実施形態によれば、鮮やかな被写体かどうかを判定するための閾値を、絞り値、シャッタースピード、処理系のゲインといった撮像装置の制御パラメータによって計算される明るさに応じて変更している。具体的には、暗い被写体のときの当該閾値を明るい被写体の時より大きくする。これにより、被写体が暗いときは鮮やかにする補正がかかりにくくなり、明るい被写体と同じ彩度の被写体でも鮮やかと感じにくいという人間の知覚と合致する映像を得ることができる。さらに、画面中の低輝度領域が一定量以外のときは鮮やか補正値を最小値に固定しているので、補正画像の彩度が頻繁に変わることを防止することが出来る。また、入力映像が鮮やかでないと判定された場合は、彩度方向のゲインは変わらないため（Ｃ＝１）、彩度方向の色ノイズが増加することもない。
【産業上の利用可能性】
【００４４】
本実施形態では、本発明を適用できる画像処理装置として、撮像装置を例として説明したが、これに限らない。撮像装置の中でも、静止画、動画の撮影が行えるものどちらにも適用可能であるし、外部から画像データを取得して処理を行うプリンタなどの画像形成装置や、パーソナルコンピュータなどの情報処理装置でも、本発明は適用できる。
【００４５】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００４６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００４７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００４８】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００４９】
101‥‥レンズ
102‥‥絞り
103‥‥絞り制御回路
104‥‥ＣＣＤ
105‥‥シャッター制御手段
106‥‥ＡＦＥ(アナログフロントエンド)
107‥‥画像生成回路
108‥‥色補正回路
109‥‥色域検出回路
110‥‥画像出力回路
111‥‥マイコン
308‥‥色域検出回路
309‥‥色補正回路
310‥‥画像出力回路
311‥‥記録媒体
312‥‥マイコン
【技術分野】
【０００１】
本発明は撮像装置に係わり、特に撮影する映像の色補正のための画像処理機能を備える撮像装置、その制御方法およびプログラムに関する。
【背景技術】
【０００２】
例えば電子カメラなどの撮像装置においては、撮影の際に色の彩度方向のゲインを上げることで色をより鮮やかに補正する機能を備えたものがある。この機能を利用すれば、鮮やかな被写体を撮影しているときに、人間の知覚的印象に近づくために、画像を通常より鮮やかになるように補正を行うことが可能である。この場合、暗い被写体を明るい被写体と同じ彩度の基準で補正すると人間の目で見た印象と異なる画像となってしまう。
【０００３】
そのため、従来、特許文献1のように被写界が明るいときには鮮やかになるように補正するという撮像装置が知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2007-267170号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、どのような被写体であっても明るい被写界での撮影であれば鮮やかにする補正を行っている。そのため、そもそも色がない被写体でも彩度方向のゲインを上げてしまい、その結果、補正効果が得られずに彩度方向の色ノイズが目立ちやすくなるという欠点があった。
本件発明は、上記従来技術の問題を解決することが可能な撮像装置の提供を目的とする。特に、明るい被写界であっても被写体の明るさに応じて彩度方向のゲインを変更することができる撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
本件発明の一つの構成によれば、本件発明の画像処理方法は、画像データを取得する取得ステップと、記画像データの彩度情報に基づいて、画像データの被写体が鮮やかな被写体であるか否かを判定する判定ステップと、画像データの被写体が鮮やかな被写体であると判定された場合、画像データの明るさが第１の明るさであるときには、画像データの明るさが第１の明るさよりも弱い第２の明るさであるときに比べて大きい補正幅で画像データの鮮やかさを補正し、画像データの被写体が鮮やかな被写体でないと判定された場合には、画像データの鮮やかさを補正しないか、あるいは、画像データの被写体が鮮やかな被写体であると判定された場合よりも小さい補正幅で、画像データの鮮やかさ補正する補正ステップと、を有する。
本件発明の他の構成によれば、本件発明の撮像装置は、被写体を撮像して画像データを出力する撮像手段と、出力された画像データの彩度情報に基づいて、画像データの被写体が鮮やかな被写体であるか否かを判定する判定手段と、画像データの被写体が鮮やかな被写体であると判定された場合には、画像データの明るさが第１の明るさであるとき、画像データの明るさが第１の明るさよりも弱い第２の明るさであるときに比べて大きい補正幅で画像データの鮮やかさを補正し、画像データの被写体が鮮やかな被写体でないと判定された場合には、画像データの鮮やかさを補正しないか、あるいは、画像データの被写体が鮮やかな被写体であると判定された場合よりも小さい補正幅で画像データの鮮やかさ補正する補正手段と、を備える。
【発明の効果】
【０００７】
上記本件発明によれば、鮮やかな被写体であるかどうかを判定し、鮮やかと判定された場合には彩度方向のゲインを上げることでより鮮やかな画像とすることが出来る。また、被写体の明るさをみて、暗いほど補正幅を少なくしていくことで暗い被写体は明るい被写体と同じ彩度を持つ被写体でも鮮やかだとは感じにくいという人間の感覚にあった補正が可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。
【図２】本発明の第１の実施形態に係わる撮像装置の動作手順のフローチャートを示す図である。
【図３】本発明の第２の実施形態に係わる撮像装置の構成を示すブロック図である。
【図４】本発明の第２の実施形態に係わる撮像装置の動作手順のフローチャートを示す図である。
【発明を実施するための形態】
【０００９】
＜第１の実施形態＞
まず、本発明の第１の実施形態を、図１に示す構成のデジタルビデオカメラを例にして説明する。しかし、本件発明の撮像装置はこれに限るものではなく、被写体を撮像手段により撮像して画像信号を得る構成を備えている他の装置であってもよい。
【００１０】
図１において、レンズ101を通った光は絞り102で光量制限された後ＣＣＤ104に入射し、入射光量に応じた電気信号に変換される。前記ＣＣＤ104の出力するアナログ信号はＡＦＥ（Anolog Front End）106にてゲインをかけて信号増幅を行い、ディジタルデータに変換され画像生成回路107にて画像として必要な処理が施される。画像生成回路107は、例えば補間処理やホワイトバランス処理を行う構成とすることができる。しかし、これに限るものではなく、必要に応じて他の画像処理も行うように構成してもよい。
【００１１】
前記画像生成回路107から出力されるディジタル画像データは色補正回路108に入力される。色補正回路108はマイクロコンピュータ（以下マイコンと記す）111で定められた色の彩度方向ゲインを上げて色を鮮やかにする補正を行う。前記色補正回路108で色補正された画像データは色域検出回路109に入力される。ここでは、画像をメッシュ状の枠（例えば、８ｘ８ブロック）に分割し、それぞれの枠内に存在する画素の輝度と彩度の積分値（以下、それぞれ輝度情報および彩度情報と記す）を求める。前記色域検出回路109で求めた彩度の積分値は前記マイコン（マイクロコンピュータ）111に送られ、入力画像の解析に用いられる。なお、本実施形態においては色補正回路108が色域検出回路109よりも前にあるため、入力画像の解析と色補正の判断との間で、補正からの抜けやすさと補正有無を繰り返す（振動する）ハンチング防止を考える必要がある。これに付いては、後で説明する。
【００１２】
絞り102を制御する絞り制御回路103は前記マイコン111から動作を制御され、レンズからの入射光を所望の量に制限する。このときの前記絞り102の光量制限を示す絞り値は、前記マイコン111で入力画像の解析に用いられる。また、シャッター制御回路105は、前記ＣＣＤ104の電子シャッターを制御する。前記シャッター制御回路105も前記マイコン111から制御され、その制御量は入力画像の解析に用いられる。また、前記ＡＦＥ106で画像信号にかけるゲインも前記マイコン111から制御され、そのゲイン値は入力画像の解析に用いられる。なお、前記マイコン111で行われる入力画像の解析については後述する。
【００１３】
前記色域検出回路109から出力される画像データは画像出力回路110で出力フォーマットに従って変換されて外部へ映像信号として出力される。
【００１４】
すなわち、本実施形態に係わる撮像装置は、被写体を撮像して画像データを取得する取得手段と画像データに色補正を行う補正手段とを備える。
次に、上述した本実施形態に係わる撮像装置で被写体を撮影し、それによって得た画像データをどのように解析して補正するかを図２（Ａ）のフローチャートを参照して説明する。なお、当該フローチャートの動作は、マイクロコンピュイータ111がそのために生成され記憶されたプログラムをロードし、それを実行することによって行われる。
ステップＳ201において、前記色域検出回路109で枠毎の彩度情報を取得する。次いで、ステップＳ202において、前記ステップＳ201で得た枠毎の彩度情報から画像全体の彩度平均値を計算し、その値が平均彩度の閾値Ｓall（請求の範囲の第３の閾値）以上であればステップＳ203に進み、前記平均彩度の閾値Ｓall未満であればステップＳ205に進む。ステップＳ203では、ステップＳ201で得た枠毎の彩度情報のうち、彩度閾値Ｓth（請求の範囲の第４の閾値）以上の枠をカウントし、その結果をＣsとしてステップＳ204に進む。ステップＳ204では、ステップＳ203で得たＣsと高彩度面積閾値Ｒs（請求の範囲の第５の閾値）とを比較し、ＣsがＲs以上であればステップＳ206に進む。また、ＣsがＲs未満であればステップＳ205に進む。
【００１５】
すなわち、本件発明に係わる画像処理では、彩度情報から画像の彩度に係わる評価値を生成し、生成した評価値が所定の条件を満たすかどうかを判定する判定手段を有する。判定手段は評価値として、画像全体の彩度を表す第１の評価値と被写体の彩度を表す第２の評価値を生成し、第１の評価値と第３の閾値との比較判定を行い、第１の評価値が前記第３の閾値以上と判定されたときに第２の評価値と第５の閾値との比較判定を行う。なお、第２の評価値は第４の閾値以上の彩度を有する画素ブロックを検出することで生成される。
ステップＳ205では、ステップＳ202またはステップＳ204の判定結果から、被写体は鮮やかな被写体ではないと判定できるので、鮮やか補正値（請求の範囲の補正幅）Ｃを１とする。これにより、鮮やか補正は実質行わないことになる。ただし、鮮やか補正を終了させる時定数処理を行って急激に彩度が変わらないようにする。具体的には複数フレームをかけて、本来設定すべき補正値（鮮やか補正をしないときの色補正値）に現在の補正値から徐々に近づけていくという処理を行う。時定数処理を行った後は、判定フローを終了する。また、本実施形態では、鮮やかな被写体ではないと判定された場合に鮮やか補正値Ｃを１としているが、これに限らず、鮮やかな被写体であると判定された場合に比べて小さい値をとっていればよい。
【００１６】
ステップＳ206以後の処理で鮮やか補正をするための補正値を計算する。まず、絞り制御回路103の絞り径情報、シャッター制御回路105のシャッター速度情報、ＡＦＥ106のゲイン情報、色域検出回路109の枠毎の輝度情報とから、被写体の明るさ(請求の範囲の画像データの明るさ)を計算し、Ｂvとする（ステップＳ206）。具体的には、前記枠毎の輝度情報を前記ＡＦＥ106のゲインでの増加分と、前記105シャッター制御回路のシャッター速度による減少分と、前記絞り制御回路103の絞り径による減少分を考慮することによって計算することが出来る。次いで、ステップＳ207において、ステップＳ206で計算したＢvが絶対的明るさ閾値Ｂv1（請求の範囲の第１の閾値）以上であるかどうかを判定する。閾値Ｂv1以上であれば、ステップＳ208に進み、鮮やか補正値Ｃ１を計算で求める。Ｂvが被写体の明るさ閾値Ｂv1未満であれば、ステップＳ209に進む。
【００１７】
すなわち、本件発明の画像処理では、第２の評価値が所定の条件を満たしていると判定されたとき、画像データの撮像制御値と輝度情報とに基づいて被写体の明るさを演算する。所定の条件は、第２の評価値が第５の閾値以上と判定されることである。
ステップＳ208では、図２（Ｂ）のグラフに従ってＣmax一定値（Ｃ１）を鮮やか補正値Ｃとし、ステップＳ212に進む。ここで、Ｃmax一定値とするのは、被写体が明るいときに鮮やか補正を行っても違和感を感じないためには、補正に上限（補正値の最大値）があるのが好ましいという事実に基づいている。
【００１８】
ステップＳ209では、ステップＳ206で計算したＢvが明るさ閾値Ｂv2（請求の範囲の第２の閾値）以上であるかどうかを判定し、閾値Ｂv2以上であれば、ステップＳ210に進み、鮮やか補正値Ｃ２を計算で求める。Ｂvが明るさ閾値Ｂv2未満であれば、ステップＳ211に進み、鮮やか補正値Ｃ３を計算で求める。ステップＳ210では、図２（Ｂ）のグラフに従って、ＣminとＣmaxの間で単調増加となるような補間により補正値Ｃ２を決める。本実施形態では最も簡単な直線補間で計算するが、単調増加であればこの補間法に限らない。補間の式は図２（Ｃ）となる。補正値Ｃ２を前記図２（Ｃ）の式で計算し、ステップＳ212に進む。
【００１９】
ステップＳ211では、図２（Ｂ）のグラフに従い、Ｃmin一定値を鮮やか補正値Ｃ３とし、ステップＳ212に進む。ここで、Ｃmin一定値とするのは、鮮やか補正をして元の画像より鮮やかでなくなるような補正をするのは補正する意図に反するためである。すなわち、Ｃ３≧１であることが好ましい。
【００２０】
ステップＳ212においては、鮮やか補正値Ｃがすでに決まったので、鮮やか補正開始時定数処理をして、色補正回路108で補正を行う。補正はステップＳ208、ステップＳ210、ステップＳ211で決定した補正値Ｃを、補正前の色差信号にかかるゲインすなわちＲｙゲインとＢｙゲインに乗算することによって行う。
【００２１】
すなわち、本件発明の画像処理では、演算された被写体の明るさを第1および第２の閾値と比較して被写体の明るさを判定し、当該明るさの判定結果に従って異なる彩度補正幅を決定し、決定された彩度補正幅に基づいて画像データを補正する。特に、画像データの被写体が鮮やかな被写体であると判定された場合で、画像データの明るさが第１の明るさであるときには、画像データの明るさが前記第１の明るさよりも弱い第２の明るさであるときに比べて大きい補正幅で前記画像データの鮮やかさを補正する。例えば、被写体の明るさが第１の閾値と第２の閾値との間にあると判定されたときは、被写体の明るさに従って所定の範囲内で変化する彩度補正値を生成する。他方、第１の閾値と第２の閾値との間の領域以外の領域にあると判定されたときは、被写体の明るさにかかわらず所定の範囲の最大または最小値となるように補正値を決定する。
他方、画像データの被写体が鮮やかな被写体でないと判定された場合は、画像データの鮮やかさを補正しないか、あるいは、画像データの被写体が鮮やかな被写体であると判定された場合よりも小さい補正幅で画像データの鮮やかさ補正する。
【００２２】
ここで、前述したハンチング防止について説明する。本実施形態でのハンチング防止は次のように行う。すなわち、図２（Ａ）のフローチャートを実行して補正値を決定したのち、次に実行するときに（以下「次回」と表現する）、鮮やか判定に使用する閾値を以下の様に変更する。
【００２３】
次回用いる彩度閾値Ｓth’は補正前の彩度閾値Ｓthに、ステップＳ208、ステップＳ210、またはステップＳ211で決定した補正値Ｃを乗算し、１よりも小さくハンチング防止に効果があるハンチング防止係数ｄを乗算した結果の値とする。
【００２４】
次回用いる平均彩度の閾値Ｓall’は補正前の平均彩度閾値Ｓallのままとする。これは、鮮やか補正が行われていると、次回の判定の際には全体の彩度値は補正値の分増加しているので、補正前の値で充分にハンチング防止効果があるためである。
【００２５】
以上のように、入力画像データの解析で鮮やかな被写体と判定した場合は彩度方向のゲイン(補正値)を上げて鮮やかになるように補正を実行する。そして、レンズの絞り値、センサーのシャッタースピード、処理系のゲインといった撮像装置の制御パラメータによって計算される明るさに応じて補正値を変化させる。これにより、被写体が暗いときには補正量も小さくなり、少し鮮やかに補正する。他方、被写体が明るいときには補正量も大きくなり、より鮮やかに補正する。このように被写体の明るさに従って補正量を変えることで、暗いときには同じ彩度の被写体でも鮮やかと感じにくいという人間の感じ方と合致する映像を得ることが出来る。また、入力画像が鮮やかでなければ彩度方向のゲインは変えないために、彩度方向の色ノイズが増加することもない。
【００２６】
また、本実施形態では、色相・彩度を色差信号から算出したが、色相・彩度の算出方法をこれに限定するものではない。例えば、Ｌ＊ａ＊ｂ＊空間などの他の空間に一度変換してからＬ＊ａ＊ｂ＊空間での色相・彩度を算出してもよい。
また、本実施形態では、色域検出回路１０９が８×８ブロックに画像信号を分割する例を説明したが、画素単位など、どのような分割数であってもかまわない。
また、本実施形態では、鮮やかなシーンであるか否かの判別結果に基づき、色差信号にかけるゲインを制御する場合について説明したが、シーン判別結果に基づき色信号、もしくは輝度信号を補正する制御であればどのような制御を行ってもかまわない。
また、上記実施形態では、鮮やかなシーンであるか否かの判別を平均彩度値と高彩度ブロック数の２つの情報を元に行ったが、評価値として片方だけを使用するなど、鮮やかなシーンの判別方法はこれに限定されない。例えば、画像中で最も彩度が高い領域での彩度情報に基づいて鮮やかなシーンの判別を行っても良い。
また、上記実施形態では、鮮やかなシーンであるか否かの判別結果に基づき、色差信号にかけるゲインを制御する場合について説明した。しかし、鮮やかなシーンであるか否かに基づき色信号、もしくは輝度信号を補正して、鮮やかさを強調する処理であればどのような処理を行ってもかまわない。すなわち、彩度以外を補正することで鮮やかさを強調するようにしてもよい。このような処理には例えば、輝度を上げる補正や輪郭の強調処理などが考えられる。この際には、彩度の閾値へ行う処理と同様の処理を各パラメータの閾値へ行ったり、各補正値へ行ったりすることが考えられる。
【００２７】
＜第２の実施形態＞
本発明の第２の実施形態を図３に示す撮像装置（デジタルカムコーダ）を例に説明する。なお、図１と同じ構成要素には同じ参照番号を付し、その説明を省略する。また、本実施形態では、第1の実施形態とは異なり、色域検出回路と色補正回路がこの順序で配置されている。
【００２８】
画像生成回路107の出力されるディジタル画像データは色域検出回路308で画像をメッシュ状の枠に分割され、それぞれの枠内に存在する画素の輝度と彩度の積分値（輝度情報と彩度情報）を求める。色域検出回路308で求めた彩度の積分値はマイコン312に送られ、入力画像の解析に用いられる。また、絞り102を制御する絞り制御回路103はマイコン312から動作を制御され、レンズからの入射光を所望の量に制限する。このときの絞り102の光量制限を示す絞り値は、マイコン312で入力画像の解析に用いられる。また、前記ＣＣＤ104はシャッター制御手段105によって電子シャッターを制御される。前記シャッター制御回路105もマイコン312から制御され、その制御量は入力画像の解析に用いられる。また、ＡＦＥ106でかけるゲインもマイコン312から制御され、ゲイン値は入力画像の解析に用いられる。なお、マイコン312で行われる入力画像の解析については後述する。
【００２９】
前記308色域検出回路から出力される画像データは309色補正回路に入力される。前記309色補正回路は312マイコンで定められた色の彩度方向ゲインを上げて色を鮮やかにする補正を行う。前記309で色補正された画像データは310画像出力回路で出力フォーマットに合う形に変換されて311記憶媒体に記録される。
【００３０】
次に、本実施形態の撮像装置で被写体を撮影し、それによって得た画像データをどのように解析して補正するかを図４（Ａ）のフローチャートを参照して説明する。
ステップＳ401で色域検出回路308で枠毎の彩度情報を取得する。次いで、ステップＳ402においてステップＳ401で得た枠毎の彩度情報から画像全体の彩度平均値を計算し、その値が平均彩度の閾値Ｓall以上かどうかを判定する。閾値Ｓall以上であれば、ステップＳ403に進み、閾値Ｓall未満であれば、ステップＳ408に進む。
【００３１】
ステップＳ403では、ステップＳ401で得た枠毎の彩度情報のうち、彩度閾値Ｓth以上の枠をカウントしその結果をＣsとしてステップＳ404に進む。ステップＳ404では、色域検出回路308で枠毎の輝度情報を取得する。次いで、ステップＳ405でステップＳ404のデータ、302絞りの光量制限を示す絞り値、シャッター制御回路105の制御量、ＡＦＥ106でかけるゲインを用いて被写体の明るさを計算し、Ｂvとする。Ｂvの計算方法は、第1の実施形態と同様に計算する。
【００３２】
ステップＳ40において、ステップＳ405で計算したＢvに対して高彩度面積閾値Ｒsを決定する。Ｒsは、図４（Ｂ）に示すＢvとＲsとの関係に従って決定する。Ｂvが大きいときは明るい被写体であるので、高彩度面積閾値Ｒsは低い状態であるが、Ｂvが小さくなると、暗い被写体であるため、高彩度面積閾値Ｒsが高くなり、Ｂvが大きいときに比べて高彩度な領域の面積がより大きくなければ鮮やかと判定されなくなる。
【００３３】
次いで、ステップＳ407において、ステップＳ403で計算したＣsとステップＳ406で決定した高彩度面積閾値Ｒsとを比較し、ＣsがＲs以上であれば、鮮やかな被写体で、鮮やか補正を行うためにステップＳ409に進む。一方、ＣsがＲs未満であれば、ステップＳ408に進む。
【００３４】
すなわち、本実施形態の画像処理では、演算された被写体の明るさと第１および第２の閾値とに基づいて第５の閾値を変更し、変更された第５の閾値と第２の評価値との比較判定を行っている。
ステップＳ408では、被写体は鮮やかな被写体ではないと判定されているので、鮮やか補正は行わないようにする。ただし、鮮やか補正を終了させる時定数処理を行って急激に彩度が変わらないようにする。具体的には本来設定すべき補正値に現在の補正値から徐々に近づけていくという処理を行う。前記時定数処理を行った後、判定フローを終了する。
【００３５】
ステップＳ409では、入力画像をより鮮やかに補正するための鮮やか補正値Ｃを前記明るさＢvに応じて決定する。この場合のＢvと補正値Ｃの関係を図４（Ｃ）に示す。ステップＳ409での補正値Ｃの決定は、第１の実施形態でのステップＳ207からステップＳ211と同様である。
ステップＳ410では、ステップＳ404で得た枠毎の輝度情報のうち、輝度閾値Ｂth（請求の範囲の第６の閾値）以下である枠をカウントし、その結果をＣdとしてステップＳ411に進む。次いで、ステップＳ411において、ステップＳ410でカウントしたＣdが低輝度面積閾値Ｄ（請求の範囲の第７の閾値）以上であるかどうかを判定し、以上であれば画面上の多くの領域が暗いと判断し、ステップＳ412に進む。それ以外の場合はステップＳ413に進む。
【００３６】
ステップＳ412では、低輝度領域が多い被写体の場合はＢv値によらず、鮮やか補正値ＣをＣ３，すなわち最小値Ｃminとする。これは、暗くて鮮やかな被写体を撮影するときには、ちょっと明るいものが入るだけでＢv値が変わり、被写体の彩度が頻繁に変わって違和感が出やすいという事実に対応するための処理である。鮮やか補正値をＣ３（Ｃmin）に設定した後、ステップＳ413に進む。
【００３７】
すなわち、本実施形態の画像処理では、輝度情報と第６の閾値との比較判定（第６の閾値以下）の結果に基づいて画像内の低輝度領域の面積を表す第３の評価値を生成する。そして、第３の評価値と第７の閾値との比較判定(第７の閾値以上)を行い、当該判定の結果に基づいて前記決定された彩度補正値を変更している。
【００３８】
ステップＳ413では、鮮やか補正値Ｃが決まったので、鮮やか補正開始時定数処理を行い、色補正回路309で補正を行う。補正はステップＳ410またはステップＳ412で決定した補正値Ｃを補正前の色差信号にかかるゲインすなわちＲｙゲインとＢｙゲインに乗算することによって行う。
【００３９】
このとき、鮮やか補正からの抜けやすさと補正有無を繰り返すハンチングが起こる可能性がある。そのため、本実施形態の動作を次に行う際に鮮やか判定と補正値を決める際には、閾値を以下の様に変更する。なお、本実施形態では色域検出回路と色補正回路とがこの順序で配置されているが、画像データを介した撮像制御と閾値判定との間のハンチングの可能性がある。
【００４０】
次回用いる彩度閾値Ｓth’は補正前の彩度閾値Ｓthに、１よりも小さくハンチング防止に効果があるハンチング防止係数ｄを乗算した結果の値とする。
【００４１】
次回用いる平均彩度の閾値Ｓall’も補正前の平均彩度閾値Ｓallに、前記ハンチング防止係数ｄを乗算した結果の値とする。
【００４２】
すなわち、本実施形態では、ハンチング防止手段は、第３の閾値および第４の閾値を、所定のハンチング防止係数に基づいて補正している。
【００４３】
上述した本実施形態によれば、鮮やかな被写体かどうかを判定するための閾値を、絞り値、シャッタースピード、処理系のゲインといった撮像装置の制御パラメータによって計算される明るさに応じて変更している。具体的には、暗い被写体のときの当該閾値を明るい被写体の時より大きくする。これにより、被写体が暗いときは鮮やかにする補正がかかりにくくなり、明るい被写体と同じ彩度の被写体でも鮮やかと感じにくいという人間の知覚と合致する映像を得ることができる。さらに、画面中の低輝度領域が一定量以外のときは鮮やか補正値を最小値に固定しているので、補正画像の彩度が頻繁に変わることを防止することが出来る。また、入力映像が鮮やかでないと判定された場合は、彩度方向のゲインは変わらないため（Ｃ＝１）、彩度方向の色ノイズが増加することもない。
【産業上の利用可能性】
【００４４】
本実施形態では、本発明を適用できる画像処理装置として、撮像装置を例として説明したが、これに限らない。撮像装置の中でも、静止画、動画の撮影が行えるものどちらにも適用可能であるし、外部から画像データを取得して処理を行うプリンタなどの画像形成装置や、パーソナルコンピュータなどの情報処理装置でも、本発明は適用できる。
【００４５】
また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００４６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００４７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００４８】
プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００４９】
101‥‥レンズ
102‥‥絞り
103‥‥絞り制御回路
104‥‥ＣＣＤ
105‥‥シャッター制御手段
106‥‥ＡＦＥ(アナログフロントエンド)
107‥‥画像生成回路
108‥‥色補正回路
109‥‥色域検出回路
110‥‥画像出力回路
111‥‥マイコン
308‥‥色域検出回路
309‥‥色補正回路
310‥‥画像出力回路
311‥‥記録媒体
312‥‥マイコン
【特許請求の範囲】
【請求項１】
画像データを取得する取得ステップと、
前記画像データの彩度情報に基づいて、画像データの被写体が鮮やかな被写体であるか否かを判定する判定ステップと、
前記判定ステップにより前記画像データの被写体が鮮やかな被写体であると判定された場合、前記画像データの明るさが第１の明るさであるときには、前記画像データの明るさが前記第１の明るさよりも弱い第２の明るさであるときに比べて大きい補正幅で前記画像データの鮮やかさを補正し、前記判定ステップにより前記画像データの被写体が鮮やかな被写体でないと判定された場合、前記画像データの鮮やかさを補正しないか、あるいは、前記判定ステップにより前記画像データの被写体が鮮やかな被写体であると判定された場合よりも小さい補正幅で前記画像データの鮮やかさ補正する補正ステップと、を有することを特徴とする画像処理方法。
【請求項１】
画像データを取得する取得ステップと、
前記画像データの彩度情報に基づいて、画像データの被写体が鮮やかな被写体であるか否かを判定する判定ステップと、
前記判定ステップにより前記画像データの被写体が鮮やかな被写体であると判定された場合、前記画像データの明るさが第１の明るさであるときには、前記画像データの明るさが前記第１の明るさよりも弱い第２の明るさであるときに比べて大きい補正幅で前記画像データの鮮やかさを補正し、前記判定ステップにより前記画像データの被写体が鮮やかな被写体でないと判定された場合、前記画像データの鮮やかさを補正しないか、あるいは、前記判定ステップにより前記画像データの被写体が鮮やかな被写体であると判定された場合よりも小さい補正幅で前記画像データの鮮やかさ補正する補正ステップと、を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１３−１３１３１（Ｐ２０１３−１３１３１Ａ）
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願番号】特願２０１２−１９０４９８（Ｐ２０１２−１９０４９８）
【出願日】平成２４年８月３０日（２０１２．８．３０）
【分割の表示】特願２００９−２９５４０１（Ｐ２００９−２９５４０１）の分割
【原出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月１７日（２０１３．１．１７）
【国際特許分類】
【出願日】平成２４年８月３０日（２０１２．８．３０）
【分割の表示】特願２００９−２９５４０１（Ｐ２００９−２９５４０１）の分割
【原出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]