画像処理装置、画像処理方法及び画像処理プログラム
【課題】撮像された画像を最適な鮮やかさで補正することができるようにする。
【解決手段】デジタルカメラ（１）の画像処理部（７）は、撮像画像を構成する各画素についてＨＳＶ色空間の色相における色強度を計測し、この色強度の分布から色相重み付けヒストグラムを取得し、予め設定された所定の条件を満たす固定色相ゲインテーブルと色相重み付けヒストグラムとを積算して、各色の最大ゲイン値を取得し、最大ゲイン値で各色の彩度を補正する。ヒストグラムでの操作でよいため、代表色の選定を行わずに、ヒストグラム情報である色相重み付けヒストグラムをそのままゲイン量として扱うことで、最も目立つ代表色を強調しつつ、２番目、３番目の代表色も強調することができる、処理を単純化することができる等、様々な効果が期待できる。
【解決手段】デジタルカメラ（１）の画像処理部（７）は、撮像画像を構成する各画素についてＨＳＶ色空間の色相における色強度を計測し、この色強度の分布から色相重み付けヒストグラムを取得し、予め設定された所定の条件を満たす固定色相ゲインテーブルと色相重み付けヒストグラムとを積算して、各色の最大ゲイン値を取得し、最大ゲイン値で各色の彩度を補正する。ヒストグラムでの操作でよいため、代表色の選定を行わずに、ヒストグラム情報である色相重み付けヒストグラムをそのままゲイン量として扱うことで、最も目立つ代表色を強調しつつ、２番目、３番目の代表色も強調することができる、処理を単純化することができる等、様々な効果が期待できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、撮像した画像について、エッジ強調処理、彩度強調処理、階調補正処理等の「絵作り処理」を実行して、高品位な映像信号を得る撮像システムが知られている（例えば、特許文献１参照）。
特許文献１に記載の撮像システムは、撮像系より出力された撮像信号をデジタル処理して輝度、色相、彩度からなる色空間の信号へ変換し、輝度信号に階調変換を行い、入力時の輝度値と色相値に対する第１の最大彩度値と、階調変換後の輝度値と色相値に対する第２の最大彩度値とを求め、色相が実質的に同一で、輝度のみが一定の比率で補正された場合に、これに対応するように彩度を補正することで、自然な色再現性を得るようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３１２４６７号公報（段落番号［００３４］、［００４６］、［００６９］、図１及び図２）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の撮像システムは、彩度が強く補正された場合には、以下の問題が予想される。
（１）
既に彩度が大きい画素は彩度飽和を起こし、結果的に色ずれが起こる。
（２）本来無彩色付近の色であった画素は、彩度が大きくあがることにより無彩色でなくなる。
（３）色温度の異なる複数の光源下で撮影した画像については、彩度補正により本来の色とは異なる色に強調されてしまう。
【０００５】
また、かかる問題を解消するため、クラスタリングによる減色処理等により代表色を選定して彩度の補正処理を行うことも想定できる。しかし、クラスタリングした領域に代表色と成り得る色が複数存在する場合、これら複数の代表色夫々について全体のバランスを考慮しつつ補正処理を行わなければならない等、特殊な対処方法が必要となるという問題がある。
【０００６】
本発明は、上述の従来の課題に鑑みてなされたものであり、撮像された画像を最適な鮮やかさで補正することができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明に係る画像処理装置は、撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する第１の取得手段と、予め設定された所定の条件を満たす第２の色相ゲインテーブルと前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する第２の取得手段と、前記第２の取得手段によって取得された最大ゲイン値で各色の彩度を補正する彩度補正手段と、を備える。
【０００８】
請求項２に記載の発明に係る画像処理装置は、前記第１の取得手段は、前記撮像画像を構成する各画素のうち、前記所定の色空間における彩度及び明度が所定の閾値以上の画素の色強度を計測すること、を特徴とする。
【０００９】
請求項３に記載の発明に係る画像処理装置は、前記第１の取得手段は、前記撮像画像を構成する各画素のうち、所定領域の画素の色強度については他の所定領域の画素よりも重み付けして計測すること、を特徴とする。
【００１０】
請求項４に記載の発明に係る画像処理装置は、前記撮像画像を構成する各画素の色の分布状態から、青空の画像領域の有無を判定する判定手段を更に備え、前記第１の取得手段は、前記判定手段により青空の画像領域が存在すると判定した場合に、青空に対応する色を他の色よりも重み付けして計測すること、を特徴とする。
【００１１】
請求項５に記載の発明に係る画像処理装置は、前記第２の色相ゲインテーブルを複数種記憶する第１の記憶手段と、撮像時に設定される撮影シーンに基づいて前記第１の記憶手段に複数種記憶されている前記第２の色相ゲインテーブルから特定のものを読み出す読出手段と、を更に備え、前記第２の取得手段は、前記読出手段によって読み出された前記第２の色相ゲインテーブルと前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得すること、を特徴とする。
【００１２】
請求項６に記載の発明に係る画像処理装置は、前記撮像画像を構成する各画素について所定の色空間における彩度の平均値を取得する第３の取得手段と、この第３の取得手段によって取得された彩度の平均値に基づいて、特定の彩度値でピーク値を有する彩度のゲインカーブを設定する第１の設定手段と、を更に備え、前記彩度補正手段は、前記第２の取得手段によって取得された最大ゲイン値と共に、前記第１の設定手段によって設定されたゲインカーブに基づいて、各色の彩度を補正すること、を特徴とする。
【００１３】
請求項７に記載の発明に係る画像処理装置は、前記彩度のゲインカーブを複数種記憶する第２の記憶手段を更に備え、前記第１の設定手段は、前記第２の記憶手段に記憶されている前記彩度のゲインカーブから特定のものを読み出して設定すること、を特徴とする。
【００１４】
請求項８に記載の発明に係る画像処理装置は、撮影条件に応じて、所定の色空間における最適な明度のゲイン値を設定する第２の設定手段を更に備え、前記彩度補正手段は、前記第２の取得手段によって取得された最大ゲイン値と共に、前記第２の設定手段によって設定されたゲイン値に基づいて各色の彩度を補正すること、を特徴とする。
【００１５】
請求項９に記載の発明に係る画像処理方法は、撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する工程と、予め設定された所定の条件を満たす第２の色相ゲインテーブルと、取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する工程と、取得された最大ゲイン値で各色の彩度を補正する彩度工程と、を備える。
【００１６】
請求項１０に記載の発明に係る画像処理プログラムは、コンピュータを、撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する第１の取得手段と、予め設定された所定の条件を満たす第２の色相ゲインテーブルと、前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する第２の取得手段と、前記第２の取得手段によって取得された最大ゲイン値で各色の彩度を補正する彩度補正手段と、して機能させる。
【発明の効果】
【００１７】
本発明によれば、撮像された画像について、彩度飽和や誤った色の強調を抑制して最適な鮮やかさで補正した画像を得ることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施の形態に係る画像処理装置として機能するデジタルカメラの回路構成を示す図である。
【図２】図１のデジタルカメラが実行する処理の概要を説明する図である。
【図３】図１のデジタルカメラが実行する画像処理を説明するフローチャートである。
【図４】図３の画像処理における計測処理を説明するための図である。
【図５】図３の画像処理における色相処理を説明するための図である。
【図６】図３の画像処理における彩度処理を説明するための図である。
【図７】図３の画像処理における明度処理を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態について、図面に基づいて説明する。
図１は、本発明の一実施の形態に係る画像処理装置として機能するデジタルカメラ１の回路構成を示す図である。
【００２０】
本実施の形態のデジタルカメラ１は、基本となる動作モードとして、撮影をするための記録モードと、撮影した画像を再生するための再生モードとを有し、記録モードの下位モードとして補正モードを設けている。なお、補正モードとは、色相の色強度等に基づいて撮影画像を鮮やかになるように補正するモードのことをいう。
【００２１】
デジタルカメラ１は、撮影レンズ２と、撮像部３と、前処理部４と、補正情報記憶部５と、プログラムメモリ６と、画像処理部７と、制御部８と、画像記録部９と、表示部１０と、キー入力部１１とを備える。
【００２２】
撮影レンズ２は、通常の光学レンズであり、楕円状に形成されて、フォーカスレンズ、ズームレンズ等で構成される。
撮像部３は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサからなり、撮影レンズ２の光軸上に配置される。撮像部３は、撮影レンズ２により収束された撮影光を受光すると共に、受光面に結像された被写体の光学像を光電変換し、アナログの撮像信号として出力する。
【００２３】
前処理部４は、撮像部３から出力された被写体の光学像に応じたアナログの撮像信号が入力され、入力した撮像信号を保持するＣＤＳ（相関二重サンプリング）、その撮像信号を増幅してその増幅された撮像信号をデジタルの画像データに変換するＡ／Ｄ変換器（ＡＤＣ）等を制御する。撮像部３が出力した撮像信号は、前処理部４を経て、デジタルの画像データとして画像記録部９に送られる。前処理部４は、制御部８の命令に従い実行される。
【００２４】
補正情報記憶部５は、画像データの補正に使用する情報を記憶する。補正情報記憶部５は、少なくとも、固定色相ゲインテーブル記憶部５ａ（第１の記憶手段）と、彩度ゲインカーブ記憶部５ｂ（第２の記憶手段）と、明度ゲイン値記憶部５ｃとの各記憶手段を記憶する。
固定色相ゲインテーブル記憶部５ａは、例えば、風景撮影モード、夜景撮影モード、人物撮影モード等の撮影シーン等、又は顔検出の有無等に応じて、複数種の固定色相ゲインテーブル（第２の色相ゲインテーブル）を記憶している。
彩度ゲインカーブ記憶部５ｂは、撮影時の周囲環境に応じて、複数種の彩度ゲインカーブを記憶している。
明度ゲイン値記憶部５ｃは、撮影時におけるストロボのオン／オフやＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度に応じて、複数の明度ゲイン値を記憶している。
【００２５】
プログラムメモリ６は、画像処理部７、制御部８等で実行する各種処理に対応するプログラムを記憶する。
画像処理部７は、後述する画像処理に関する各種処理を行う。画像処理部７は、本発明の第１の取得手段、第２の取得手段、第３の取得手段、第１の設定手段、第２の設定手段、読出手段、判定手段、彩度補正手段の各手段として機能する。一例として、画像処理部７は、撮影された画像におけるＹＵＶ色空間信号と、ＨＳＶ色空間信号とを相互に変換する処理を行う。ＹＵＶ色空間とは、輝度信号（Ｙ）と、輝度信号と青色成分の差（Ｕ）と、輝度信号と赤色成分の差（Ｖ）との３つの情報で表す色空間をいう。また、ＨＳＶ色空間とは、色相（Ｈ：Ｈｕｅ）と、彩度（Ｓ：Ｓａｔｕｒａｔｉｏｎ）と、明度（Ｖ：Ｖａｌｕｅ）との３つの成分からなるＨＳＶモデル（ＨＳＶ ｍｏｄｅｌ）で表される色空間をいう。本実施の形態は、ＨＳＶ色空間信号で表された撮像画像を用いることで、より細かい画像の色補正を行うものである。
【００２６】
図１に戻り、制御部８は、例えば、中央処理装置（ＣＰＵ）であり、プログラムメモリ６に記憶されたプログラムに従ってデジタルカメラ１全体を制御する。制御部８は、前処理部４、画像処理部７の各処理部を制御する。
画像記録部９は、撮像部３により撮像され、前処理部４で前処理がされた画像データを記憶する。画像再生時には、制御部８は、画像記録部９から画像データを読み出して、表示部１０に表示させる。
【００２７】
表示部１０は、例えば、カラーＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶や、ＳＴＮ（Ｓｕｐｅｒ Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）液晶等であり、プレビュー画像や、撮影後の画像データ、設定メニュー等を表示する。
キー入力部１１は、シャッターキー１１ａと、補正モード実行キー１１ｂとを備える。
シャッターキー１１ａは、撮像するための入力部である。補正モード実行キー１１ｂは、撮影した画像を補正する補正モードを実行するための入力部である。この補正モードは、制御部８が、補正モード実行キー１１ｂの操作を検出して、その後に、シャッターキー１１ａの操作を検出することで実現する。
【００２８】
図２に、ＨＳＶモデルと各種ゲインの重み付けヒストグラム、及び補正後の色相分布変化の一例を示す。図２を参照して、本実施の形態のデジタルカメラ１が実行する処理の概要について説明する。
本実施の形態では、画像データを、ＹＵＶ色空間からＨＳＶ色空間に色空間変換する。
ＨＳＶモデルは、図２（ａ）に示すように、円錐Ｃを用いて表すことができる。円錐Ｃで表現されたＨＳＶモデルは、色相Ｈを、図２（ｂ）に示すように色環の三次元円錐状の構造に描いて表現する。色相Ｈは、赤、青、黄等の色の種類を表し、０〜３５９の範囲の強度分布で表現することができる。彩度Ｓは、図２（ｃ）に示すように、円錐Ｃの底面である円形交差部分の中心から円周方向への距離（半径）で表される。彩度Ｓは、色の鮮やかさであり、円形交差部分の中央を０として、０〜２５５の範囲で表すことができる。ＨＳＶモデルでは、彩度Ｓの値が小さくなるにつれて、灰色さが顕著になってくすんだ色で彩度Ｓが表現される。明度Ｖは、図２（ｄ）に示すように円錐Ｃの頂点から底面方向への距離で表される。明度Ｖは、色の明るさであり、頂点を０として、０〜２５５の範囲で表すことができる。ＨＳＶモデルでは、明度Ｖの値が小さくなるにつれて、暗い色で明度Ｖが表現される。そして、撮像画像データの縮小画像を用いてその画像の、色相Ｈ、彩度Ｓ、明度Ｖのそれぞれを計測して得た色相、彩度、明度の分布から、色相（Ｈ）ゲイン、彩度（Ｓ）ゲイン、明度（Ｖ）ゲインの重み付けヒストグラム（強度分布）を生成し、これを補正値とする。
【００２９】
以下、本実施の形態のデジタルカメラ１が実行する処理について詳細に説明する。
図３は、本実施の形態に係るデジタルカメラ１が実行する画像処理を示すフローチャートである。以下の処理は制御部８の制御の下に実行される。
図３のスタート時においては、ユーザの操作を検出することにより、撮影モードが設定される。またシャッターキー１１ａの操作検出による記録指示に先立ち、補正モード実行キー１１ｂへの操作を検出することにより本フローチャートが実行される。まず、撮影モード時において、画像データの縮小画像を取得する。具体的には、制御部８は、前処理部４を制御して、撮像部３により撮影された画像データ、又は事前に画像記録部９に保存された画像データを縮小して、縮小画像のデータを生成する。縮小画像データは、画像データを補正するための解析に用いられる。
【００３０】
ステップＳ２において、画像処理部７は、前処理部４にて処理された画像信号である縮小画像データを、ＹＵＶ色空間からＨＳＶ色空間に色空間変換する。以後、ステップＳ３からＳ１５までの処理は、ＨＳＶ色空間に色空間変換した縮小画像のデータに対して行う処理である。
【００３１】
ステップＳ３において、画像処理部７は、縮小画像を構成する各画素について、ＨＳＶ空間（所定の色空間）の色相値Ｈを取得する。また、画像処理部７は、各画素の明度Ｖ及び彩度Ｓの計測を行い、明度Ｖ及び彩度Ｓが所定の閾値以上の画素を選択する。なお、本ステップから以降で説明するステップＳ１１までは、画像処理部７が行う計測処理である。
【００３２】
ステップＳ４において、画像処理部７（第３の取得手段）は、ステップＳ３で選択した明度Ｖが所定の閾値以上の画素を対象に、縮小画像の全体の彩度Ｓの平均値を取得する。このステップＳ４の処理は、次に説明するステップＳ５以降の処理と並行して行うことができる。
【００３３】
ステップＳ５において、画像処理部７は、ステップＳ３での計測によって、明度Ｖが閾値以上であって、色相値Ｈが１８０〜２４０の範囲の画素が存在するか否かを判断する。色相値Ｈが１８０〜２４０の範囲の画素は、空の青さに相当する「青色」であることから、色相Ｈの範囲の画素は青空の色を表す可能性がある。該当する画素が存在する場合（ステップＳ５：ＹＥＳ）には、処理はステップＳ６に進む。他方、所定の画素が存在しない場合（ステップＳ５：ＮＯ）には、処理はステップＳ９に進む。
【００３４】
ステップＳ６において、画像処理部７は、縮小画像における色相値Ｈが１８０〜２４０の範囲の画素の平均位置と分散を算出する。
【００３５】
ステップＳ７において、画像処理部７（判定手段）は、ステップＳ６で算出した平均位置及び分散に基づき、縮小画像に青空の領域が存在するか否かを判断する。例えば、図４（ａ）に示す縮小画像２０のうち、上部の領域２１、左部の領域２２及び右部の領域２３のうちのいずれかに算出した平均位置があり、かつ、分散が大きい場合に、画像処理部７は、青空の領域が存在すると判断する。
図３に戻り、青空の領域が存在すると判断した場合（ステップＳ７：ＹＥＳ）、処理はステップＳ８に進む。他方、青空の領域が存在しないと判断した場合（ステップＳ７：ＮＯ）、処理はステップＳ９に進む。
【００３６】
ステップＳ８において、画像処理部７は、縮小画像における色相値Ｈが１８０〜２４０の範囲の画素について、色相値Ｈの重み付け処理を行う。画像処理部７は、この重み付け処理で、青空が最適な鮮やかさになるようにする。
【００３７】
ステップＳ９において、画像処理部７は、縮小画像の中央部（所定領域）の画素領域の各画素について、色相値Ｈの重み付け処理を行う。図４（ｂ）に示すように、縮小画像３０は、画像の中央部を形成する領域３１と、領域３１の周囲を形成する領域３２とからなる。画像処理部７は、領域３１の各画素に、例えば、「×５」の重み付けをする。このように、中央部の色相を大きく重み付けすることにより、視認しやすい中央部の色を最適な鮮やかさに設定する。
【００３８】
図３に戻り、ステップＳ１０において、画像処理部７は色相重み付けヒストグラムに対して、ローパスフィルタを掛けて、色相ヒストグラムの平滑化処理を行う。
【００３９】
ステップＳ１１において、色相重み付けヒストグラムを生成する。具体的には、画像処理部７（第１の取得手段）は、縮小画像の画素の各々の色相値Ｈを正規化して各色相値Ｈの最大値を求める。画像処理部７は、こうして得た各色相値Ｈの最大値に基づいて最大ゲイン値を決定し、最大ゲイン値の分布を表す色相重み付けヒストグラムを生成する。図４（ｃ）、（ｄ）に、生成した色相重み付けヒストグラムの一例を示す。図４（ｃ）においては、横軸が色相を、縦軸が各色相の最大ゲイン値を表している座標系４０において、生成された色相重み付けヒストグラム６０であり、図４（ｄ）は、色相を１周を３６０度とする角度に対応させて各色相の最大ゲイン値をＸＹ座標の原点からの距離で表した座標系５０において、生成された色相重み付けヒストグラム６１である。図４（ｃ）、（ｄ）の色相重み付けヒストグラム６０、６１は、表現が異なるが、同一のゲイン値の分布を示している。画像処理部７は、この色相重み付けヒストグラムが表すゲイン値の分布に基づいて可変色相ゲインテーブル（第１の色相ゲインテーブル）を生成する。
【００４０】
図３に戻り、ステップＳ１２において、画像処理部７（読出手段）は、補正情報記憶部５の固定色相ゲインテーブル記憶部５ａから、撮影シーンや顔画像の有無等に基づいた固定色相ゲインテーブルを読み出す。撮影シーンは、撮影時にユーザにより予め設定されているものとする。また、顔画像の有無判別については、公知の顔検出技術を用いて撮像された画像データが顔画像を含んでいるか否かを判別するものとする。ステップＳ１３において、画像処理部７（第２の取得手段）は、ステップＳ１１で生成した可変色相ゲインテーブルと、ステップＳ１２で読み出した固定色相ゲインテーブルとを掛け合わせる積算処理を行い、補正を行うための最大ゲイン値の最大色相ゲインテーブルを生成する。
【００４１】
図３のステップＳ１２及びステップＳ１３で行う処理について、図５を参照してより詳細に説明する。
図５（ａ）、（ｂ）は、縮小画像の画素の色相値Ｈを正規化して得た各色相の最大値を最大ゲイン値とする色相重み付けヒストグラムの一例であり、最大ゲイン値の分布を、上記図４（ｃ）、（ｄ）に対応する座標系４１、５１における可変色相ゲイン７０、７１として示している。本実施の形態では、ヒストグラムの情報を、そのままゲイン量として扱う。図５（ａ）、（ｂ）に示すように、この例では、可変色相ゲイン７０、７１は、色相値Ｈが０〜９０の範囲の色強度が大きい。
【００４２】
図５（ｃ）、（ｄ）は、固定色相ゲインテーブル記憶部５ａから読み出した固定色相ゲインテーブルの色相重み付けヒストグラムの一例である。図４（ｃ）、（ｄ）に対応する座標系４２、５２における最大色相ゲイン値の分布を固定色相ゲイン８０、８１として示している。図５（ｃ）、（ｄ）の例では、固定色相ゲイン８１のうち「肌色」の色相部分８２と、「空の青色」の色相部分８３について、色相ゲイン値を小さくしている。これによって、色相部分８２は、「肌色」の極端な彩度上昇を抑制し、色相部分８３は、「空の青色」の極端な彩度上昇を抑制する働きをする。
【００４３】
図５（ｅ）、（ｆ）の９１、９２は、図４（ｃ）、（ｄ）に対応する座標系４３、５３における可変色相ゲイン７１と固定色相ゲイン８１とを掛け合わせて得た色相ゲインの分布を表した色相重み付けヒストグラムである。この色相ゲイン９２が、撮像画像に対して各色相を最終的に補正及び調整する際に用いる最大色相ゲイン値となる。本実施の形態で、色相ゲイン９２は、可変色相ゲイン７１と比較して、部分９３の色強度が比較的強く抑えられている。これは、固定色相ゲイン８１の色相部分８２において、部分９３を含む色相値Ｈを抑制するようになっているためである。
【００４４】
図３に戻り、ステップＳ１４において、ステップＳ４で取得した縮小画像の全体の彩度Ｓの平均値に基づき、画像処理部７（第１の設定手段）は、補正情報記憶部５の彩度ゲインカーブ記憶部５ｂから最適な位置にピークを持つ彩度ゲインカーブを読み出して、彩度ゲイン値を設定する。図３のステップＳ１４で行う処理は彩度処理に相当する。
【００４５】
ステップＳ１４で説明した彩色処理について、図６を参照して説明する。
図６（ａ）は、縮小画像の全体の彩度値の分布を示すヒストグラムの一例である。画像処理部７は、縮小画像の彩度値の分布に基づいて最大彩度ゲイン値を決定する。このため、図６（ａ）の彩度値の分布を彩度ゲインカーブ１１０と呼ぶ。
図６（ａ）のヒストグラムで、彩度ゲインカーブ１１０は、ピーク１００を頂点にして左右が下降した直線グラフで表されている。図６（ｂ）は、彩度ゲインカーブ１１０に、彩度ゲインカーブ記憶部５ｂから読み出したピーク１００よりも鮮やかな方向にピーク１０１を有する彩度ゲインカーブ１１１を重ね合わせた図である。画像処理部７は、彩度ゲインカーブ１１０を彩度ゲインカーブ１１１にシフトさせることにより、撮像画像に対して彩度を最終的に補正及び調整する際に用いる彩度ゲイン値を得る。なお、本実施の形態では、彩度ゲインの分布を線形のカーブで表したが、本発明はこれに限定されず、例えば、ガウス分布等を用いた非線形のグラフで表してもよい。また、彩度ゲインカーブ記憶部５ｂは、彩度ゲインカーブ１１１の他に、撮影時の周囲の環境に応じて異なる複数種の彩度ゲインカーブを記憶してよい。
【００４６】
図３に戻り、ステップＳ１５において、画像処理部７（第２の設定手段）は、撮影条件に基づいた明度ゲイン値を設定する。図３のステップＳ１５で行う処理は明度処理に相当する。
ステップＳ１５で説明した明度処理について、図７を参照して説明する。
図７（ａ）は、縮小画像の明度Ｖの分布を示すヒストグラムの一例である。画像処理部７は、縮小画像の明度Ｖの分布に基づいて最大明度ゲイン値を決定する。このため、図７（ａ）の明度値の分布を明度ゲイングラフ１２０と呼ぶ。図７（ａ）に示すように、明度ゲイングラフ１２０は、ある値から一定の傾きで単調増加する直線グラフで表されている。
図７（ｂ）は、明度ゲイングラフ１２０に撮影条件応じて変更した最適な明度のゲイン値である明度ゲイングラフ１２１を重ね合わせた図である。明度ゲイン値記憶部５ｃは撮影時におけるストロボのオン／オフやＩＳＯ感度等に応じて、複数の明度ゲイン値を記憶している。画像処理部７は、撮影条件に対応する明度ゲイン値記憶部５ｃに記憶された明度ゲイン値に基づいて、明度ゲイングラフ１２０から１２１にシフトするように修正する。画像処理部７は、この明度ゲイングラフ１２１により、最終的に撮像画像に対する補正及び調整する際に用いる明度ゲイン値を得る。
【００４７】
図３に戻り、ステップＳ１６において、画像処理部７は、縮小画像の元となった画像データを構成する各画素を、ＨＳＶ色空間信号に変換する。ここで、ＨＳＶ色空間信号に変換した画像データを、以下の説明において撮像画像という。そして、画像処理部７（彩度補正手段）は、各種設定されたゲイン値で、撮像画像の補正及び調整を行う。つまり、画像処理部７は、ステップＳ１３で生成した最大色相ゲインテーブルのヒストグラムをゲイン量にした最大色相ゲイン値と、ステップＳ１４で設定した彩度ゲイン値と、ステップＳ１５で設定した明度ゲイン値とを用いて、撮像画像を補正及び調整する。
【００４８】
ステップＳ１７において、画像処理部７は、ステップＳ１６で補正・調整後の撮像画像に対してＪＰＥＧ圧縮を行う。
ステップＳ１８において、画像処理部７は、ステップＳ１７でＪＰＥＧ圧縮を行った撮像画像を、画像記録部９に保存する。その後、画像処理部７は、本処理を終了する。
【００４９】
本実施の形態によれば、以下のような効果がある。
（１）代表色の選定を行わずに、ヒストグラム情報である色相重み付けヒストグラムをそのままゲイン量として扱うことで、最も目立つ代表色を強調しつつ、２番目、３番目の代表色も強調することができる。
（２）色相ヒストグラムを加工するのみで実現されるため、処理の単純化を行うことができ、青空判定による空強調や、中央部分の色を強調する等の、その他判定処理に対応しやすいものにできる。
【００５０】
（３）彩度や明度に応じて撮影画像を補正するゲインを変更するので、彩度飽和を起こりにくくできる。また、異なる色温度が存在する場合でも、本来の色とは異なる間違った色に強調されることを抑制できる。
（４）無彩色付近の色が大きく彩度があがってしまうことを抑制できる。
【００５１】
以上、本発明の実施の形態について説明したが、本発明は、本実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、本実施の形態では、撮像素子がＣＣＤセンサであるデジタルカメラに本発明を適用したが、これに限らず、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の他の撮像素子を用いてもよい。
上述の画像処理部７の機能の一部又は全てを、制御部８を所定のプログラムに従い動作することによって実現するようにしてもよい。
また、本実施の形態では、場合分けを伴う処理として、青空判定による空強調や、中央部分を強調を例に挙げて説明したが、本発明はこれに限定されず、例えば、人物の顔や、紅葉の紅葉等、実装に応じて、様々な場合分けを伴う処理を適用してもよい。
更に本発明においては、最大色相ゲインテーブルの生成は、可変色相ゲインテーブルと固定色相ゲインテーブルとの積算によって行っていたが、撮影環境や、画像全体の色味を考慮し、最適な色相パラメータ値を更に加算する処理を加えても良い。
【００５２】
本発明は、デジタルカメラに限らず、例えばカメラ付きの携帯電話端末等の静止画撮影機能を有する他の撮像装置にも適用できる。
また、本発明は、撮像装置に限らず、画像の色補正をする機能を有する任意の画像処理装置にも適用できる。また、係る画像処理装置には、所定のプログラムに基づき動作することにより前記機能が実現されるパーソナルコンピュータも含まれる。
【符号の説明】
【００５３】
１ デジタルカメラ
５ 補正情報記憶部
５ａ 固定色相ゲインテーブル
５ｂ 彩度ゲインカーブ記憶部
５ｃ 明度ゲイン値記憶部
７ 画像処理部
８ 制御部
９ 画像記録部
１１ キー入力部
１１ａ シャッターキー
１１ｂ 補正モード実行キー
Ｈ 色相
Ｓ 彩度
Ｖ 明度
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、撮像した画像について、エッジ強調処理、彩度強調処理、階調補正処理等の「絵作り処理」を実行して、高品位な映像信号を得る撮像システムが知られている（例えば、特許文献１参照）。
特許文献１に記載の撮像システムは、撮像系より出力された撮像信号をデジタル処理して輝度、色相、彩度からなる色空間の信号へ変換し、輝度信号に階調変換を行い、入力時の輝度値と色相値に対する第１の最大彩度値と、階調変換後の輝度値と色相値に対する第２の最大彩度値とを求め、色相が実質的に同一で、輝度のみが一定の比率で補正された場合に、これに対応するように彩度を補正することで、自然な色再現性を得るようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３１２４６７号公報（段落番号［００３４］、［００４６］、［００６９］、図１及び図２）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の撮像システムは、彩度が強く補正された場合には、以下の問題が予想される。
（１）
既に彩度が大きい画素は彩度飽和を起こし、結果的に色ずれが起こる。
（２）本来無彩色付近の色であった画素は、彩度が大きくあがることにより無彩色でなくなる。
（３）色温度の異なる複数の光源下で撮影した画像については、彩度補正により本来の色とは異なる色に強調されてしまう。
【０００５】
また、かかる問題を解消するため、クラスタリングによる減色処理等により代表色を選定して彩度の補正処理を行うことも想定できる。しかし、クラスタリングした領域に代表色と成り得る色が複数存在する場合、これら複数の代表色夫々について全体のバランスを考慮しつつ補正処理を行わなければならない等、特殊な対処方法が必要となるという問題がある。
【０００６】
本発明は、上述の従来の課題に鑑みてなされたものであり、撮像された画像を最適な鮮やかさで補正することができるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の発明に係る画像処理装置は、撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する第１の取得手段と、予め設定された所定の条件を満たす第２の色相ゲインテーブルと前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する第２の取得手段と、前記第２の取得手段によって取得された最大ゲイン値で各色の彩度を補正する彩度補正手段と、を備える。
【０００８】
請求項２に記載の発明に係る画像処理装置は、前記第１の取得手段は、前記撮像画像を構成する各画素のうち、前記所定の色空間における彩度及び明度が所定の閾値以上の画素の色強度を計測すること、を特徴とする。
【０００９】
請求項３に記載の発明に係る画像処理装置は、前記第１の取得手段は、前記撮像画像を構成する各画素のうち、所定領域の画素の色強度については他の所定領域の画素よりも重み付けして計測すること、を特徴とする。
【００１０】
請求項４に記載の発明に係る画像処理装置は、前記撮像画像を構成する各画素の色の分布状態から、青空の画像領域の有無を判定する判定手段を更に備え、前記第１の取得手段は、前記判定手段により青空の画像領域が存在すると判定した場合に、青空に対応する色を他の色よりも重み付けして計測すること、を特徴とする。
【００１１】
請求項５に記載の発明に係る画像処理装置は、前記第２の色相ゲインテーブルを複数種記憶する第１の記憶手段と、撮像時に設定される撮影シーンに基づいて前記第１の記憶手段に複数種記憶されている前記第２の色相ゲインテーブルから特定のものを読み出す読出手段と、を更に備え、前記第２の取得手段は、前記読出手段によって読み出された前記第２の色相ゲインテーブルと前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得すること、を特徴とする。
【００１２】
請求項６に記載の発明に係る画像処理装置は、前記撮像画像を構成する各画素について所定の色空間における彩度の平均値を取得する第３の取得手段と、この第３の取得手段によって取得された彩度の平均値に基づいて、特定の彩度値でピーク値を有する彩度のゲインカーブを設定する第１の設定手段と、を更に備え、前記彩度補正手段は、前記第２の取得手段によって取得された最大ゲイン値と共に、前記第１の設定手段によって設定されたゲインカーブに基づいて、各色の彩度を補正すること、を特徴とする。
【００１３】
請求項７に記載の発明に係る画像処理装置は、前記彩度のゲインカーブを複数種記憶する第２の記憶手段を更に備え、前記第１の設定手段は、前記第２の記憶手段に記憶されている前記彩度のゲインカーブから特定のものを読み出して設定すること、を特徴とする。
【００１４】
請求項８に記載の発明に係る画像処理装置は、撮影条件に応じて、所定の色空間における最適な明度のゲイン値を設定する第２の設定手段を更に備え、前記彩度補正手段は、前記第２の取得手段によって取得された最大ゲイン値と共に、前記第２の設定手段によって設定されたゲイン値に基づいて各色の彩度を補正すること、を特徴とする。
【００１５】
請求項９に記載の発明に係る画像処理方法は、撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する工程と、予め設定された所定の条件を満たす第２の色相ゲインテーブルと、取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する工程と、取得された最大ゲイン値で各色の彩度を補正する彩度工程と、を備える。
【００１６】
請求項１０に記載の発明に係る画像処理プログラムは、コンピュータを、撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する第１の取得手段と、予め設定された所定の条件を満たす第２の色相ゲインテーブルと、前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する第２の取得手段と、前記第２の取得手段によって取得された最大ゲイン値で各色の彩度を補正する彩度補正手段と、して機能させる。
【発明の効果】
【００１７】
本発明によれば、撮像された画像について、彩度飽和や誤った色の強調を抑制して最適な鮮やかさで補正した画像を得ることができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施の形態に係る画像処理装置として機能するデジタルカメラの回路構成を示す図である。
【図２】図１のデジタルカメラが実行する処理の概要を説明する図である。
【図３】図１のデジタルカメラが実行する画像処理を説明するフローチャートである。
【図４】図３の画像処理における計測処理を説明するための図である。
【図５】図３の画像処理における色相処理を説明するための図である。
【図６】図３の画像処理における彩度処理を説明するための図である。
【図７】図３の画像処理における明度処理を説明するための図である。
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態について、図面に基づいて説明する。
図１は、本発明の一実施の形態に係る画像処理装置として機能するデジタルカメラ１の回路構成を示す図である。
【００２０】
本実施の形態のデジタルカメラ１は、基本となる動作モードとして、撮影をするための記録モードと、撮影した画像を再生するための再生モードとを有し、記録モードの下位モードとして補正モードを設けている。なお、補正モードとは、色相の色強度等に基づいて撮影画像を鮮やかになるように補正するモードのことをいう。
【００２１】
デジタルカメラ１は、撮影レンズ２と、撮像部３と、前処理部４と、補正情報記憶部５と、プログラムメモリ６と、画像処理部７と、制御部８と、画像記録部９と、表示部１０と、キー入力部１１とを備える。
【００２２】
撮影レンズ２は、通常の光学レンズであり、楕円状に形成されて、フォーカスレンズ、ズームレンズ等で構成される。
撮像部３は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等のイメージセンサからなり、撮影レンズ２の光軸上に配置される。撮像部３は、撮影レンズ２により収束された撮影光を受光すると共に、受光面に結像された被写体の光学像を光電変換し、アナログの撮像信号として出力する。
【００２３】
前処理部４は、撮像部３から出力された被写体の光学像に応じたアナログの撮像信号が入力され、入力した撮像信号を保持するＣＤＳ（相関二重サンプリング）、その撮像信号を増幅してその増幅された撮像信号をデジタルの画像データに変換するＡ／Ｄ変換器（ＡＤＣ）等を制御する。撮像部３が出力した撮像信号は、前処理部４を経て、デジタルの画像データとして画像記録部９に送られる。前処理部４は、制御部８の命令に従い実行される。
【００２４】
補正情報記憶部５は、画像データの補正に使用する情報を記憶する。補正情報記憶部５は、少なくとも、固定色相ゲインテーブル記憶部５ａ（第１の記憶手段）と、彩度ゲインカーブ記憶部５ｂ（第２の記憶手段）と、明度ゲイン値記憶部５ｃとの各記憶手段を記憶する。
固定色相ゲインテーブル記憶部５ａは、例えば、風景撮影モード、夜景撮影モード、人物撮影モード等の撮影シーン等、又は顔検出の有無等に応じて、複数種の固定色相ゲインテーブル（第２の色相ゲインテーブル）を記憶している。
彩度ゲインカーブ記憶部５ｂは、撮影時の周囲環境に応じて、複数種の彩度ゲインカーブを記憶している。
明度ゲイン値記憶部５ｃは、撮影時におけるストロボのオン／オフやＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度に応じて、複数の明度ゲイン値を記憶している。
【００２５】
プログラムメモリ６は、画像処理部７、制御部８等で実行する各種処理に対応するプログラムを記憶する。
画像処理部７は、後述する画像処理に関する各種処理を行う。画像処理部７は、本発明の第１の取得手段、第２の取得手段、第３の取得手段、第１の設定手段、第２の設定手段、読出手段、判定手段、彩度補正手段の各手段として機能する。一例として、画像処理部７は、撮影された画像におけるＹＵＶ色空間信号と、ＨＳＶ色空間信号とを相互に変換する処理を行う。ＹＵＶ色空間とは、輝度信号（Ｙ）と、輝度信号と青色成分の差（Ｕ）と、輝度信号と赤色成分の差（Ｖ）との３つの情報で表す色空間をいう。また、ＨＳＶ色空間とは、色相（Ｈ：Ｈｕｅ）と、彩度（Ｓ：Ｓａｔｕｒａｔｉｏｎ）と、明度（Ｖ：Ｖａｌｕｅ）との３つの成分からなるＨＳＶモデル（ＨＳＶ ｍｏｄｅｌ）で表される色空間をいう。本実施の形態は、ＨＳＶ色空間信号で表された撮像画像を用いることで、より細かい画像の色補正を行うものである。
【００２６】
図１に戻り、制御部８は、例えば、中央処理装置（ＣＰＵ）であり、プログラムメモリ６に記憶されたプログラムに従ってデジタルカメラ１全体を制御する。制御部８は、前処理部４、画像処理部７の各処理部を制御する。
画像記録部９は、撮像部３により撮像され、前処理部４で前処理がされた画像データを記憶する。画像再生時には、制御部８は、画像記録部９から画像データを読み出して、表示部１０に表示させる。
【００２７】
表示部１０は、例えば、カラーＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）液晶や、ＳＴＮ（Ｓｕｐｅｒ Ｔｗｉｓｔｅｄ Ｎｅｍａｔｉｃ）液晶等であり、プレビュー画像や、撮影後の画像データ、設定メニュー等を表示する。
キー入力部１１は、シャッターキー１１ａと、補正モード実行キー１１ｂとを備える。
シャッターキー１１ａは、撮像するための入力部である。補正モード実行キー１１ｂは、撮影した画像を補正する補正モードを実行するための入力部である。この補正モードは、制御部８が、補正モード実行キー１１ｂの操作を検出して、その後に、シャッターキー１１ａの操作を検出することで実現する。
【００２８】
図２に、ＨＳＶモデルと各種ゲインの重み付けヒストグラム、及び補正後の色相分布変化の一例を示す。図２を参照して、本実施の形態のデジタルカメラ１が実行する処理の概要について説明する。
本実施の形態では、画像データを、ＹＵＶ色空間からＨＳＶ色空間に色空間変換する。
ＨＳＶモデルは、図２（ａ）に示すように、円錐Ｃを用いて表すことができる。円錐Ｃで表現されたＨＳＶモデルは、色相Ｈを、図２（ｂ）に示すように色環の三次元円錐状の構造に描いて表現する。色相Ｈは、赤、青、黄等の色の種類を表し、０〜３５９の範囲の強度分布で表現することができる。彩度Ｓは、図２（ｃ）に示すように、円錐Ｃの底面である円形交差部分の中心から円周方向への距離（半径）で表される。彩度Ｓは、色の鮮やかさであり、円形交差部分の中央を０として、０〜２５５の範囲で表すことができる。ＨＳＶモデルでは、彩度Ｓの値が小さくなるにつれて、灰色さが顕著になってくすんだ色で彩度Ｓが表現される。明度Ｖは、図２（ｄ）に示すように円錐Ｃの頂点から底面方向への距離で表される。明度Ｖは、色の明るさであり、頂点を０として、０〜２５５の範囲で表すことができる。ＨＳＶモデルでは、明度Ｖの値が小さくなるにつれて、暗い色で明度Ｖが表現される。そして、撮像画像データの縮小画像を用いてその画像の、色相Ｈ、彩度Ｓ、明度Ｖのそれぞれを計測して得た色相、彩度、明度の分布から、色相（Ｈ）ゲイン、彩度（Ｓ）ゲイン、明度（Ｖ）ゲインの重み付けヒストグラム（強度分布）を生成し、これを補正値とする。
【００２９】
以下、本実施の形態のデジタルカメラ１が実行する処理について詳細に説明する。
図３は、本実施の形態に係るデジタルカメラ１が実行する画像処理を示すフローチャートである。以下の処理は制御部８の制御の下に実行される。
図３のスタート時においては、ユーザの操作を検出することにより、撮影モードが設定される。またシャッターキー１１ａの操作検出による記録指示に先立ち、補正モード実行キー１１ｂへの操作を検出することにより本フローチャートが実行される。まず、撮影モード時において、画像データの縮小画像を取得する。具体的には、制御部８は、前処理部４を制御して、撮像部３により撮影された画像データ、又は事前に画像記録部９に保存された画像データを縮小して、縮小画像のデータを生成する。縮小画像データは、画像データを補正するための解析に用いられる。
【００３０】
ステップＳ２において、画像処理部７は、前処理部４にて処理された画像信号である縮小画像データを、ＹＵＶ色空間からＨＳＶ色空間に色空間変換する。以後、ステップＳ３からＳ１５までの処理は、ＨＳＶ色空間に色空間変換した縮小画像のデータに対して行う処理である。
【００３１】
ステップＳ３において、画像処理部７は、縮小画像を構成する各画素について、ＨＳＶ空間（所定の色空間）の色相値Ｈを取得する。また、画像処理部７は、各画素の明度Ｖ及び彩度Ｓの計測を行い、明度Ｖ及び彩度Ｓが所定の閾値以上の画素を選択する。なお、本ステップから以降で説明するステップＳ１１までは、画像処理部７が行う計測処理である。
【００３２】
ステップＳ４において、画像処理部７（第３の取得手段）は、ステップＳ３で選択した明度Ｖが所定の閾値以上の画素を対象に、縮小画像の全体の彩度Ｓの平均値を取得する。このステップＳ４の処理は、次に説明するステップＳ５以降の処理と並行して行うことができる。
【００３３】
ステップＳ５において、画像処理部７は、ステップＳ３での計測によって、明度Ｖが閾値以上であって、色相値Ｈが１８０〜２４０の範囲の画素が存在するか否かを判断する。色相値Ｈが１８０〜２４０の範囲の画素は、空の青さに相当する「青色」であることから、色相Ｈの範囲の画素は青空の色を表す可能性がある。該当する画素が存在する場合（ステップＳ５：ＹＥＳ）には、処理はステップＳ６に進む。他方、所定の画素が存在しない場合（ステップＳ５：ＮＯ）には、処理はステップＳ９に進む。
【００３４】
ステップＳ６において、画像処理部７は、縮小画像における色相値Ｈが１８０〜２４０の範囲の画素の平均位置と分散を算出する。
【００３５】
ステップＳ７において、画像処理部７（判定手段）は、ステップＳ６で算出した平均位置及び分散に基づき、縮小画像に青空の領域が存在するか否かを判断する。例えば、図４（ａ）に示す縮小画像２０のうち、上部の領域２１、左部の領域２２及び右部の領域２３のうちのいずれかに算出した平均位置があり、かつ、分散が大きい場合に、画像処理部７は、青空の領域が存在すると判断する。
図３に戻り、青空の領域が存在すると判断した場合（ステップＳ７：ＹＥＳ）、処理はステップＳ８に進む。他方、青空の領域が存在しないと判断した場合（ステップＳ７：ＮＯ）、処理はステップＳ９に進む。
【００３６】
ステップＳ８において、画像処理部７は、縮小画像における色相値Ｈが１８０〜２４０の範囲の画素について、色相値Ｈの重み付け処理を行う。画像処理部７は、この重み付け処理で、青空が最適な鮮やかさになるようにする。
【００３７】
ステップＳ９において、画像処理部７は、縮小画像の中央部（所定領域）の画素領域の各画素について、色相値Ｈの重み付け処理を行う。図４（ｂ）に示すように、縮小画像３０は、画像の中央部を形成する領域３１と、領域３１の周囲を形成する領域３２とからなる。画像処理部７は、領域３１の各画素に、例えば、「×５」の重み付けをする。このように、中央部の色相を大きく重み付けすることにより、視認しやすい中央部の色を最適な鮮やかさに設定する。
【００３８】
図３に戻り、ステップＳ１０において、画像処理部７は色相重み付けヒストグラムに対して、ローパスフィルタを掛けて、色相ヒストグラムの平滑化処理を行う。
【００３９】
ステップＳ１１において、色相重み付けヒストグラムを生成する。具体的には、画像処理部７（第１の取得手段）は、縮小画像の画素の各々の色相値Ｈを正規化して各色相値Ｈの最大値を求める。画像処理部７は、こうして得た各色相値Ｈの最大値に基づいて最大ゲイン値を決定し、最大ゲイン値の分布を表す色相重み付けヒストグラムを生成する。図４（ｃ）、（ｄ）に、生成した色相重み付けヒストグラムの一例を示す。図４（ｃ）においては、横軸が色相を、縦軸が各色相の最大ゲイン値を表している座標系４０において、生成された色相重み付けヒストグラム６０であり、図４（ｄ）は、色相を１周を３６０度とする角度に対応させて各色相の最大ゲイン値をＸＹ座標の原点からの距離で表した座標系５０において、生成された色相重み付けヒストグラム６１である。図４（ｃ）、（ｄ）の色相重み付けヒストグラム６０、６１は、表現が異なるが、同一のゲイン値の分布を示している。画像処理部７は、この色相重み付けヒストグラムが表すゲイン値の分布に基づいて可変色相ゲインテーブル（第１の色相ゲインテーブル）を生成する。
【００４０】
図３に戻り、ステップＳ１２において、画像処理部７（読出手段）は、補正情報記憶部５の固定色相ゲインテーブル記憶部５ａから、撮影シーンや顔画像の有無等に基づいた固定色相ゲインテーブルを読み出す。撮影シーンは、撮影時にユーザにより予め設定されているものとする。また、顔画像の有無判別については、公知の顔検出技術を用いて撮像された画像データが顔画像を含んでいるか否かを判別するものとする。ステップＳ１３において、画像処理部７（第２の取得手段）は、ステップＳ１１で生成した可変色相ゲインテーブルと、ステップＳ１２で読み出した固定色相ゲインテーブルとを掛け合わせる積算処理を行い、補正を行うための最大ゲイン値の最大色相ゲインテーブルを生成する。
【００４１】
図３のステップＳ１２及びステップＳ１３で行う処理について、図５を参照してより詳細に説明する。
図５（ａ）、（ｂ）は、縮小画像の画素の色相値Ｈを正規化して得た各色相の最大値を最大ゲイン値とする色相重み付けヒストグラムの一例であり、最大ゲイン値の分布を、上記図４（ｃ）、（ｄ）に対応する座標系４１、５１における可変色相ゲイン７０、７１として示している。本実施の形態では、ヒストグラムの情報を、そのままゲイン量として扱う。図５（ａ）、（ｂ）に示すように、この例では、可変色相ゲイン７０、７１は、色相値Ｈが０〜９０の範囲の色強度が大きい。
【００４２】
図５（ｃ）、（ｄ）は、固定色相ゲインテーブル記憶部５ａから読み出した固定色相ゲインテーブルの色相重み付けヒストグラムの一例である。図４（ｃ）、（ｄ）に対応する座標系４２、５２における最大色相ゲイン値の分布を固定色相ゲイン８０、８１として示している。図５（ｃ）、（ｄ）の例では、固定色相ゲイン８１のうち「肌色」の色相部分８２と、「空の青色」の色相部分８３について、色相ゲイン値を小さくしている。これによって、色相部分８２は、「肌色」の極端な彩度上昇を抑制し、色相部分８３は、「空の青色」の極端な彩度上昇を抑制する働きをする。
【００４３】
図５（ｅ）、（ｆ）の９１、９２は、図４（ｃ）、（ｄ）に対応する座標系４３、５３における可変色相ゲイン７１と固定色相ゲイン８１とを掛け合わせて得た色相ゲインの分布を表した色相重み付けヒストグラムである。この色相ゲイン９２が、撮像画像に対して各色相を最終的に補正及び調整する際に用いる最大色相ゲイン値となる。本実施の形態で、色相ゲイン９２は、可変色相ゲイン７１と比較して、部分９３の色強度が比較的強く抑えられている。これは、固定色相ゲイン８１の色相部分８２において、部分９３を含む色相値Ｈを抑制するようになっているためである。
【００４４】
図３に戻り、ステップＳ１４において、ステップＳ４で取得した縮小画像の全体の彩度Ｓの平均値に基づき、画像処理部７（第１の設定手段）は、補正情報記憶部５の彩度ゲインカーブ記憶部５ｂから最適な位置にピークを持つ彩度ゲインカーブを読み出して、彩度ゲイン値を設定する。図３のステップＳ１４で行う処理は彩度処理に相当する。
【００４５】
ステップＳ１４で説明した彩色処理について、図６を参照して説明する。
図６（ａ）は、縮小画像の全体の彩度値の分布を示すヒストグラムの一例である。画像処理部７は、縮小画像の彩度値の分布に基づいて最大彩度ゲイン値を決定する。このため、図６（ａ）の彩度値の分布を彩度ゲインカーブ１１０と呼ぶ。
図６（ａ）のヒストグラムで、彩度ゲインカーブ１１０は、ピーク１００を頂点にして左右が下降した直線グラフで表されている。図６（ｂ）は、彩度ゲインカーブ１１０に、彩度ゲインカーブ記憶部５ｂから読み出したピーク１００よりも鮮やかな方向にピーク１０１を有する彩度ゲインカーブ１１１を重ね合わせた図である。画像処理部７は、彩度ゲインカーブ１１０を彩度ゲインカーブ１１１にシフトさせることにより、撮像画像に対して彩度を最終的に補正及び調整する際に用いる彩度ゲイン値を得る。なお、本実施の形態では、彩度ゲインの分布を線形のカーブで表したが、本発明はこれに限定されず、例えば、ガウス分布等を用いた非線形のグラフで表してもよい。また、彩度ゲインカーブ記憶部５ｂは、彩度ゲインカーブ１１１の他に、撮影時の周囲の環境に応じて異なる複数種の彩度ゲインカーブを記憶してよい。
【００４６】
図３に戻り、ステップＳ１５において、画像処理部７（第２の設定手段）は、撮影条件に基づいた明度ゲイン値を設定する。図３のステップＳ１５で行う処理は明度処理に相当する。
ステップＳ１５で説明した明度処理について、図７を参照して説明する。
図７（ａ）は、縮小画像の明度Ｖの分布を示すヒストグラムの一例である。画像処理部７は、縮小画像の明度Ｖの分布に基づいて最大明度ゲイン値を決定する。このため、図７（ａ）の明度値の分布を明度ゲイングラフ１２０と呼ぶ。図７（ａ）に示すように、明度ゲイングラフ１２０は、ある値から一定の傾きで単調増加する直線グラフで表されている。
図７（ｂ）は、明度ゲイングラフ１２０に撮影条件応じて変更した最適な明度のゲイン値である明度ゲイングラフ１２１を重ね合わせた図である。明度ゲイン値記憶部５ｃは撮影時におけるストロボのオン／オフやＩＳＯ感度等に応じて、複数の明度ゲイン値を記憶している。画像処理部７は、撮影条件に対応する明度ゲイン値記憶部５ｃに記憶された明度ゲイン値に基づいて、明度ゲイングラフ１２０から１２１にシフトするように修正する。画像処理部７は、この明度ゲイングラフ１２１により、最終的に撮像画像に対する補正及び調整する際に用いる明度ゲイン値を得る。
【００４７】
図３に戻り、ステップＳ１６において、画像処理部７は、縮小画像の元となった画像データを構成する各画素を、ＨＳＶ色空間信号に変換する。ここで、ＨＳＶ色空間信号に変換した画像データを、以下の説明において撮像画像という。そして、画像処理部７（彩度補正手段）は、各種設定されたゲイン値で、撮像画像の補正及び調整を行う。つまり、画像処理部７は、ステップＳ１３で生成した最大色相ゲインテーブルのヒストグラムをゲイン量にした最大色相ゲイン値と、ステップＳ１４で設定した彩度ゲイン値と、ステップＳ１５で設定した明度ゲイン値とを用いて、撮像画像を補正及び調整する。
【００４８】
ステップＳ１７において、画像処理部７は、ステップＳ１６で補正・調整後の撮像画像に対してＪＰＥＧ圧縮を行う。
ステップＳ１８において、画像処理部７は、ステップＳ１７でＪＰＥＧ圧縮を行った撮像画像を、画像記録部９に保存する。その後、画像処理部７は、本処理を終了する。
【００４９】
本実施の形態によれば、以下のような効果がある。
（１）代表色の選定を行わずに、ヒストグラム情報である色相重み付けヒストグラムをそのままゲイン量として扱うことで、最も目立つ代表色を強調しつつ、２番目、３番目の代表色も強調することができる。
（２）色相ヒストグラムを加工するのみで実現されるため、処理の単純化を行うことができ、青空判定による空強調や、中央部分の色を強調する等の、その他判定処理に対応しやすいものにできる。
【００５０】
（３）彩度や明度に応じて撮影画像を補正するゲインを変更するので、彩度飽和を起こりにくくできる。また、異なる色温度が存在する場合でも、本来の色とは異なる間違った色に強調されることを抑制できる。
（４）無彩色付近の色が大きく彩度があがってしまうことを抑制できる。
【００５１】
以上、本発明の実施の形態について説明したが、本発明は、本実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、本実施の形態では、撮像素子がＣＣＤセンサであるデジタルカメラに本発明を適用したが、これに限らず、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の他の撮像素子を用いてもよい。
上述の画像処理部７の機能の一部又は全てを、制御部８を所定のプログラムに従い動作することによって実現するようにしてもよい。
また、本実施の形態では、場合分けを伴う処理として、青空判定による空強調や、中央部分を強調を例に挙げて説明したが、本発明はこれに限定されず、例えば、人物の顔や、紅葉の紅葉等、実装に応じて、様々な場合分けを伴う処理を適用してもよい。
更に本発明においては、最大色相ゲインテーブルの生成は、可変色相ゲインテーブルと固定色相ゲインテーブルとの積算によって行っていたが、撮影環境や、画像全体の色味を考慮し、最適な色相パラメータ値を更に加算する処理を加えても良い。
【００５２】
本発明は、デジタルカメラに限らず、例えばカメラ付きの携帯電話端末等の静止画撮影機能を有する他の撮像装置にも適用できる。
また、本発明は、撮像装置に限らず、画像の色補正をする機能を有する任意の画像処理装置にも適用できる。また、係る画像処理装置には、所定のプログラムに基づき動作することにより前記機能が実現されるパーソナルコンピュータも含まれる。
【符号の説明】
【００５３】
１ デジタルカメラ
５ 補正情報記憶部
５ａ 固定色相ゲインテーブル
５ｂ 彩度ゲインカーブ記憶部
５ｃ 明度ゲイン値記憶部
７ 画像処理部
８ 制御部
９ 画像記録部
１１ キー入力部
１１ａ シャッターキー
１１ｂ 補正モード実行キー
Ｈ 色相
Ｓ 彩度
Ｖ 明度
【特許請求の範囲】
【請求項１】
撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する第１の取得手段と、
予め設定された所定の条件を満たす第２の色相ゲインテーブルと前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する第２の取得手段と、
前記第２の取得手段によって取得された最大ゲイン値で各色の彩度を補正する彩度補正手段と、
を備える画像処理装置。
【請求項２】
前記第１の取得手段は、前記撮像画像を構成する各画素のうち、前記所定の色空間における彩度及び明度が所定の閾値以上の画素の色強度を計測すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の取得手段は、前記撮像画像を構成する各画素のうち、所定領域の画素の色強度については他の所定領域の画素よりも重み付けして計測すること、
を特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記撮像画像を構成する各画素の色の分布状態から、青空の画像領域の有無を判定する判定手段を更に備え、
前記第１の取得手段は、前記判定手段により青空の画像領域が存在すると判定した場合に、青空に対応する色を他の色よりも重み付けして計測すること、
を特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記第２の色相ゲインテーブルを複数種記憶する第１の記憶手段と、
撮像時に設定される撮影シーンに基づいて前記第１の記憶手段に複数種記憶されている前記第２の色相ゲインテーブルから特定のものを読み出す読出手段と、
を更に備え、
前記第２の取得手段は、前記読出手段によって読み出された前記第２の色相ゲインテーブルと前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得すること、
を特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記撮像画像を構成する各画素について所定の色空間における彩度の平均値を取得する第３の取得手段と、
この第３の取得手段によって取得された彩度の平均値に基づいて、特定の彩度値でピーク値を有する彩度のゲインカーブを設定する第１の設定手段と、
を更に備え、
前記彩度補正手段は、前記第２の取得手段によって取得された最大ゲイン値と共に、前記第１の設定手段によって設定されたゲインカーブに基づいて、各色の彩度を補正すること、
を特徴とする請求項１乃至請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記彩度のゲインカーブを複数種記憶する第２の記憶手段を更に備え、
前記第１の設定手段は、前記第２の記憶手段に記憶されている前記彩度のゲインカーブから特定のものを読み出して設定すること、
を特徴とする請求項６に記載の画像処理装置。
【請求項８】
撮影条件に応じて、所定の色空間における最適な明度のゲイン値を設定する第２の設定手段を更に備え、
前記彩度補正手段は、前記第２の取得手段によって取得された最大ゲイン値と共に、前記第２の設定手段によって設定されたゲイン値に基づいて各色の彩度を補正すること、
を特徴とする請求項１乃至請求項７のいずれかに記載の画像処理装置。
【請求項９】
撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する工程と、
予め設定された所定の条件を満たす第２の色相ゲインテーブルと、取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する工程と、
取得された最大ゲイン値で各色の彩度を補正する彩度工程と、
を備える画像処理方法。
【請求項１０】
コンピュータを、
撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する第１の取得手段と、
予め設定された所定の条件を満たす第２の色相ゲインテーブルと、前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する第２の取得手段と、
前記第２の取得手段によって取得された最大ゲイン値で各色の彩度を補正する彩度補正手段と、
して機能させるための画像処理プログラム。
【請求項１】
撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する第１の取得手段と、
予め設定された所定の条件を満たす第２の色相ゲインテーブルと前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する第２の取得手段と、
前記第２の取得手段によって取得された最大ゲイン値で各色の彩度を補正する彩度補正手段と、
を備える画像処理装置。
【請求項２】
前記第１の取得手段は、前記撮像画像を構成する各画素のうち、前記所定の色空間における彩度及び明度が所定の閾値以上の画素の色強度を計測すること、
を特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の取得手段は、前記撮像画像を構成する各画素のうち、所定領域の画素の色強度については他の所定領域の画素よりも重み付けして計測すること、
を特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記撮像画像を構成する各画素の色の分布状態から、青空の画像領域の有無を判定する判定手段を更に備え、
前記第１の取得手段は、前記判定手段により青空の画像領域が存在すると判定した場合に、青空に対応する色を他の色よりも重み付けして計測すること、
を特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記第２の色相ゲインテーブルを複数種記憶する第１の記憶手段と、
撮像時に設定される撮影シーンに基づいて前記第１の記憶手段に複数種記憶されている前記第２の色相ゲインテーブルから特定のものを読み出す読出手段と、
を更に備え、
前記第２の取得手段は、前記読出手段によって読み出された前記第２の色相ゲインテーブルと前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得すること、
を特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記撮像画像を構成する各画素について所定の色空間における彩度の平均値を取得する第３の取得手段と、
この第３の取得手段によって取得された彩度の平均値に基づいて、特定の彩度値でピーク値を有する彩度のゲインカーブを設定する第１の設定手段と、
を更に備え、
前記彩度補正手段は、前記第２の取得手段によって取得された最大ゲイン値と共に、前記第１の設定手段によって設定されたゲインカーブに基づいて、各色の彩度を補正すること、
を特徴とする請求項１乃至請求項５のいずれかに記載の画像処理装置。
【請求項７】
前記彩度のゲインカーブを複数種記憶する第２の記憶手段を更に備え、
前記第１の設定手段は、前記第２の記憶手段に記憶されている前記彩度のゲインカーブから特定のものを読み出して設定すること、
を特徴とする請求項６に記載の画像処理装置。
【請求項８】
撮影条件に応じて、所定の色空間における最適な明度のゲイン値を設定する第２の設定手段を更に備え、
前記彩度補正手段は、前記第２の取得手段によって取得された最大ゲイン値と共に、前記第２の設定手段によって設定されたゲイン値に基づいて各色の彩度を補正すること、
を特徴とする請求項１乃至請求項７のいずれかに記載の画像処理装置。
【請求項９】
撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する工程と、
予め設定された所定の条件を満たす第２の色相ゲインテーブルと、取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する工程と、
取得された最大ゲイン値で各色の彩度を補正する彩度工程と、
を備える画像処理方法。
【請求項１０】
コンピュータを、
撮像画像を構成する各画素について所定の色空間の色相における色強度を計測し、この色強度の分布から第１の色相ゲインテーブルを取得する第１の取得手段と、
予め設定された所定の条件を満たす第２の色相ゲインテーブルと、前記第１の取得手段によって取得された前記第１の色相ゲインテーブルとを積算し、各色の最大ゲイン値を取得する第２の取得手段と、
前記第２の取得手段によって取得された最大ゲイン値で各色の彩度を補正する彩度補正手段と、
して機能させるための画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−２８３７８５（Ｐ２０１０−２８３７８５Ａ）
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願番号】特願２００９−１３７６３０（Ｐ２００９−１３７６３０）
【出願日】平成２１年６月８日（２００９．６．８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願日】平成２１年６月８日（２００９．６．８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]