画像処理方法、画像処理装置、及び撮像装置
【課題】 本発明の目的は、入力された画像が鮮やかなシーンであるかの判別を、より人間の知覚や意図に合わせてできる画像処理装置を提供することである。
【解決手段】 画像データを取得する取得ステップと、前記画像データの色相分布を生成する生成ステップと、前記色相分布における色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別ステップと、前記判別ステップでの判別結果を出力する出力ステップと、を有することを特徴とする。
【解決手段】 画像データを取得する取得ステップと、前記画像データの色相分布を生成する生成ステップと、前記色相分布における色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別ステップと、前記判別ステップでの判別結果を出力する出力ステップと、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像のシーンを判別し、判別したシーンに応じた画像処理を行う画像処理方法、画像処理装置及び撮像装置に関するものである。
【背景技術】
【０００２】
従来、画像のシーンや被写体の種類を判別し、判別したシーン（被写体の種類）に応じた画像処理を行う画像処理方法があった。
【０００３】
例えば、特許文献１では、入力された画像データが鮮やかなシーン（被写体）であるかを判別し、鮮やかなシーンの画像は高解像度で出力する画像出力装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２５９３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の特許文献１に開示された従来技術では、彩度の高い画素が所定の閾値よりも多いか否かによって鮮やかなシーンであるかを判別していた。
【０００６】
しかしながら、画像の彩度情報のみに基づいて鮮やかなシーンを判別する従来の方法では、シーンの判別結果が、ユーザ、つまり人間の感覚と異なる場合があった。
【０００７】
例えば、画像中に存在する色数が多い場合には、色数が少ない場合と比べて、それぞれの色の彩度が低くとも鮮やかなシーンと感じやすい。
【０００８】
また、彩度の高い画素は多く存在するとしても、ユーザが鮮やかなシーンを撮影しようと意図していない場合がある。例えば、彩度の高い色に一様に塗られた壁を背景として被写体を撮影する場合などである。このように、同じ彩度であっても鮮やかなシーンと感じやすい場合もあれば、感じにくい場合も有る。上記のような場合に、従来の判別方法ではユーザの感覚や意図に合わせてシーンの判別を行うことが困難であった。
【０００９】
そこで、本発明の目的は、入力された画像が鮮やかなシーンであるかの判別を、より人間の知覚や意図に合わせてできる画像処理装置を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の画像処理方法は、請求項１に記載の通り、画像データを取得する取得ステップと、前記画像データの色相分布を生成する生成ステップと、前記色相分布における色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別ステップと、前記判別ステップでの判別結果を出力する出力ステップと、を有することを特徴とする。
【００１１】
また、本発明の画像処理装置は、請求項１２に記載の通り、画像データを取得する取得手段と、前記画像データの色相ヒストグラムを生成する生成手段と、前記色相ヒストグラムにおける色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別手段と、前記判別手段での判別結果に応じて、画像データの彩度補正を行う補正手段とを有することを特徴とする。
【００１２】
また、本発明の撮像装置は、請求項１３に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記画像データの色相ヒストグラムを生成する生成手段と、前記色相ヒストグラムにおける色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別手段と、前記判別ステップでの判別結果に応じて、画像データの彩度補正を行う補正手段と、を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、入力された画像が鮮やかなシーンであるかの判別を、より人間の知覚や意図に合わせて行うことが可能となる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】画像信号のブロック分割を示す図である。
【図３】色差信号と彩度・色相の関係を示す図である。
【図４】第１の実施形態に係る色相ヒストグラムの例を示す図である。
【図５】シーン判別部が行うシーン判別処理の特性を示す図である。
【図６】第１の実施形態に係るシーン判別部の処理を示すフローチャートである。
【図７】第２の実施形態に係る撮像装置の構成を示すブロック図である。
【図８】第２の実施形態に係る彩度補正処理の特性を示すグラフである。
【図９】第３の実施形態に係る撮影シーンの例を示す図である。
【図１０】第３の実施形態に係る色相ヒストグラムの例を示す図である。
【図１１】第３の実施形態に係るシーン判別制御部の処理を示すフローチャートである。
【図１２】第３の実施形態に係るシーン判別部の処理を示すフローチャートである。
【図１３】第４の実施形態に係る撮像装置の構成を示すブロック図である。
【図１４】第４の実施形態に係る画像分割を示す図である。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下、図１〜図６を参照して、第１の実施形態による画像処理装置について説明する。
【００１６】
図１は第１の実施形態に係るシーン判別機能を備え、シーンに応じた画像補正処理を行う画像処理装置の一例である撮像装置の構成を示すブロック図である。図１において、１０１は被写体の光束を結像するレンズである。１０２はレンズからの光束を撮像素子に導く際に絞る絞りである。１０３は入射された光束を光電変換して画像信号として出力する撮像素子である。１０４はオートゲインコントロールアンプ（ＡＧＣ）であり、撮像素子１０３からの信号を適正レベルに増幅する。
【００１７】
１０５は輝度・色信号生成部であり、撮像素子１０３で生成された信号を輝度信号（Ｙ）及び色信号（Ｒ，Ｇ，Ｂ）に変換する。１０６はホワイトバランス増幅部であり、輝度・色信号生成部１０５から出力される色信号（Ｒ，Ｇ，Ｂ）をホワイトバランスゲインに従って増幅し、増幅色信号（Ｒ’，Ｇ’，Ｂ’）を生成する。１０７は色差信号生成部であり、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を生成する。１０８は、色差信号に対してゲインをかけるなどの補正を行う色差信号補正部、１０９は標準テレビ信号等に変換するエンコーダである。
【００１８】
１１０は信号分割部であり、輝度信号（Ｙ）、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を所定の小ブロックに分割する。１１１は、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）から色相、彩度信号（Ｈｕｅ，Ｃｈｒｏｍａ）
を算出する色相・彩度算出部である。１１２は色相、彩度信号から色相ヒストグラムを生成する色相ヒストグラム生成部である。１１３は撮像システム全体を制御するカメラ制御部であり、図示していないが撮像装置中の各部に指示を送り、処理を行わせることができる。１１４は入力画像のシーンを判別するシーン判別部である。１１５はシーン判別部１１４でのシーン判別処理を制御するシーン判別制御部である。
【００１９】
次に、図１の撮像装置の撮影動作について説明する。レンズ１０１、アイリス１０２を通過した被写体像は撮像素子１０３上に結像される。撮像素子１０３に入射した光は、光電変換され、ＡＧＣアンプ１０４で適正レベルに増幅された後、輝度・色信号生成部１０５に出力される。輝度・色信号生成部１０５では、輝度信号（Ｙ）及び色信号（Ｒ，Ｇ，Ｂ）を生成し、このうち色信号（Ｒ，Ｇ，Ｂ）をホワイトバランス増幅部１０６に出力し、輝度信号（Ｙ）をエンコーダ１０９に出力する。
【００２０】
ホワイトバランス増幅部１０６では、カメラ制御部１１３によって算出されたホワイトバランスゲインに基づいて色信号（Ｒ，Ｇ，Ｂ）を増幅し、増幅した色信号（Ｒ’，Ｇ’，Ｂ’）を色差信号生成部１０７に出力する。色差信号生成部１０７では、色信号（Ｒ’，Ｇ’，Ｂ’）から色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を生成し、色差信号補正部１０８及び信号分割部１１０に出力する。色差信号補正部１０８では、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）に対して、カメラ制御部１１３によって算出されたゲイン（ゲインの強度に関しては後述する）をかけ補正する。また、補正後の色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）をエンコーダ１０９に出力する。エンコーダ１０９では、輝度信号（Ｙ）及び色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）からＮＴＳＣ等の標準テレビジョン信号を生成し、不図示の記録部へ出力する。
【００２１】
次に本発明の特徴部分である、画像データに施す撮影シーンに応じた画像処理について説明する。本実施形態では、撮像系から取り込まれた画像データに基づいて、この画像データが撮影されたシーンが鮮やかなシーンであるか否かを判別し、判別結果に応じた画像処理を画像データに施す処理を行う。このとき、鮮やかなシーンの中でも色分布が異なると鮮やかさの感じ方が異なることに着目して、得られた画像データの色の分布に応じて異なるシーン判別処理を行う。
【００２２】
図２の（ａ）、（ｂ）は共に花を撮影した場合の画像であるが、色の分布の仕方が異なる。（ａ）は様々な色の花を撮影した場合を表しており、画像内に存在する色数が多い。一方、（ｂ）はある色の花を撮影した場合を表しており、画像内に存在する色数が少ない。このような場合、人間の知覚では、（ａ）の色数の多い画像の方が、（ｂ）の色数の少ない画像に比べて同じ彩度でも鮮やかに感じやすい。この人間の知覚の特性に対応するために、本実施形態では、画像データの撮影されたシーンが単色、カラフルいずれの鮮やかなシーンに当たるかを分類し、分類結果に応じた判別方法を用いて鮮やかなシーンであるかを判別する。以下、図２（ａ）のように画像中の色数が多いシーンをカラフルの鮮やかなシーンと呼び、図２（ｂ）のように画像中の色数が少ないシーンを単色の鮮やかなシーンと呼ぶ。
【００２３】
シーン判別部１１４によるシーン判別処理によってカラフルまたは単色の鮮やかなシーンであると判別された画像データは、本実施形態では、色差信号補正部１０８にて彩度を上げ、鮮やかさを強調する鮮やか補正処理が行われる。これにより、ユーザ（人間）が鮮やかであると知覚する被写体をより鮮やかに見せることができる。
【００２４】
本実施形態の特徴部分であるこれら一連の処理についてのフローチャート図を図３に示す。これらの処理はカメラ制御部１１３の指示によって各部で行われる。
【００２５】
ステップＳ３０１では、色差信号生成部１０７から画像データを取得し信号分割部１１０で複数のブロックに分割される。ステップＳ３０２では、ブロック毎の彩度、色相などの情報を基に、得られた画像データが単色の鮮やかなシーンにあたる可能性のあるものか、カラフルの鮮やかなシーンにあたる可能性のあるものかを分類する、鮮やか分類処理が行われる。ステップＳ３０３では、シーン判別部１１４によって、分類結果に応じた判別条件で画像データが鮮やかなシーンであるか否かが判別され、判別結果が出力される。ステップＳ３０４では、ステップＳ３０３での判別結果に基づいて、画像データに対して補正処理が行われ、処理が終了する。
【００２６】
ここで、本実施形態では、シーン判別結果に用いた画像データに対して、その判別結果を反映させ出力しているが、発明としては特にこれに限定されるものではない。すなわち、あるフレーム（画像データ）に対する判別結果に応じた補正処理を、その次のフレーム以降に反映させることなども当然可能である。また、複数フレーム鮮やかなシーン判別結果が続いたときに初めてシーンを特定したり、複数フレーム中、鮮やかなシーンと判別された割合が高い場合にシーンを特定したりと、複数フレームの判別結果からシーンを特定することも考えられる。このとき、判別結果に応じた補正処理は、それら複数フレームや、以降のフレームに反映させることが考えられる。
【００２７】
具体的に想定される状況としては、静止画撮影が可能な撮像装置や画像データに画像処理を施すＰＣなどの情報処理装置において、撮影された画像データ（フレーム）に対して処理を行う状況がある。また、ライブビュー表示または動画撮影が可能な撮像装置や動画に画像処理を施すＰＣなどの情報処理装置において、複数フレームにまたがった上記のような処理が想定される。
【００２８】
また、本実施形態では、シーン判別部１１４によって出力された判別結果を用いて画像データに対して彩度の補正をかけているが、判別結果の利用法としてはこれに限らない。例えば、判別結果を不図示の表示手段に表示させ、ユーザに知らしめたり、画像データを保存する際に、判別結果に対応した情報をヘッダなどに付帯して、保存後に画像データの撮影されたシーンが特定できるようにしたりもできる。また、補正１つをとってみても、彩度以外を補正することで鮮やかさを強調するようにしてもよい。このような処理には例えば、輝度を上げる補正や輪郭の強調処理などが考えられる。
【００２９】
次に、上述した一連の各処理についての詳細を説明する。ステップＳ３０１では色差信号生成部１０７から出力される色差信号を信号分割部１１０に取り込む。取り込まれた画像全体は、図２の（ａ）、（ｂ）に示すようなブロック（８×８ブロック）に分割され、ブロック毎の色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）の平均値を算出し、色相・彩度算出部１１１に出力される。
【００３０】
次にステップＳ３０２で行われる鮮やか分類処理について詳述する。ステップＳ３０２では、色相・彩度算出部１１１によって、ブロック毎の色差信号（Ｒ’−Ｙ、Ｂ’−Ｙ）から、ブロック毎の色相（Ｈｕｅ）、彩度（Ｃｈｒｏｍａ）を算出する。色差信号と色相、彩度の関係を図４（ａ）に示した。また、色差信号から色相、彩度を算出するのには以下の式を用いる。
【００３１】
【数１】
【００３２】
色相・彩度算出部１１１は、算出したブロック毎の色相（Ｈｕｅ）、彩度（Ｃｈｒｏｍａ）を色相ヒストグラム生成部１１２へ出力する。
【００３３】
色相ヒストグラム生成部１１２では、ブロック毎の色相（Ｈｕｅ）、彩度（Ｃｈｒｏｍａ）から色相ヒストグラムを生成する。
色相ヒストグラム生成部１１２は、各ブロックの彩度（Ｃｈｒｏｍａ）を所定の閾値（第３の彩度閾値）と比較する。そして、ブロックの彩度が所定値以上であれば、そのブロックの対応する色相に度数を加算する。逆にブロックの彩度が閾値より低ければ、そのブロックは色相ヒストグラムには含めない。本実施形態では、一例として図２の（ａ）、（ｂ）のそれぞれの画像に対して生成した色相ヒストグラムを図４の（ｂ）、（ｃ）に示した。図の横軸（階級）は色相（Ｈｕｅ）であり、ここでは階級幅を１０（度）としている。縦軸は度数であり、各色相を持つブロックの数を表している。
【００３４】
次に、色相ヒストグラム生成部１１２は、色分布の広がり度合いを表す指標を算出する。ここでは、色相ヒストグラム中の度数がゼロではない階級の数（色相の数）を指標として用いる。図４の（ｂ）、（ｃ）の場合であれば、色相数はそれぞれ、１７、６となる。色相ヒストグラム生成部１１２は、算出した色相数をシーン判別制御部１１５へ出力する。
【００３５】
シーン判別制御部１１５は、色相ヒストグラム生成部１１２が算出した色相数に基づいて、シーン判別部１１４が行うシーン判別処理を制御する。具体的には、シーン判別の際に用いる判別閾値を算出し、シーン判別部１１４へ出力する。
【００３６】
以下、図５を用いてシーン判別制御部が算出する判別閾値について説明する。ここでは、画像の平均彩度と画像中の高彩度ブロックの数に基づいてシーンを判別する場合を例に取って説明する。図５は鮮やかなシーンの判別基準を示した図であり、図の横軸は平均彩度を表しており、縦軸は高彩度ブロックの数を表している。図の斜線で示した領域、すなわち、平均彩度が閾値（Ｔｈ＿Ｃｈｒｏｍａ）より高く、かつ、彩度が閾値以上であるブロックの数が閾値（Ｔｈ＿Ａｒｅａ）よりも大きいときに鮮やかなシーンであると判別する。
【００３７】
また、「カラフル」シーンに対して用いる判別閾値Ｔｈ＿Ａｒｅａ（カラフル）、Ｔｈ＿Ｃｈｒｏｍａ（カラフル）は、「単色」シーンに対して用いる判別閾値Ｔｈ＿Ａｒｅａ（単色）、Ｔｈ＿Ｃｈｒｏｍａ（単色）に比べて低い値とする。すなわち、Ｔｈ＿Ａｒｅａ（カラフル）＜Ｔｈ＿Ａｒｅａ（単色）、Ｔｈ＿Ｃｈｒｏｍａ（カラフル）＜Ｔｈ＿Ｃｈｒｏｍａ（単色）である。
【００３８】
シーン判別制御部１１５は、色相数を所定の閾値と比較して現在のシーンがカラフルの鮮やかなシーンである可能性があるか単色の鮮やかなシーンである可能性があるかを判別し、その結果に応じてシーン判別の閾値を決定する。すなわち、色相数が閾値以上である場合は、Ｔｈ＿Ａｒｅａ（カラフル）（第１のブロック閾値）とＴｈ＿Ｃｈｒｏｍａ（カラフル）（第１の彩度閾値）の値をシーン判別部１１４へ出力する。逆に色相数が所定値より小さい場合には、Ｔｈ＿Ａｒｅａ（単色）（第２のブロック閾値）とＴｈ＿Ｃｈｒｏｍａ（単色）の値（第２の彩度閾値）をシーン判別部１１４へ出力する。ここで、色相数に対する閾値は、例えば８とする。
【００３９】
次にステップＳ３０３の鮮やか判別処理について詳述する。ステップＳ３０３では、シーン判別部１１４が、色相・彩度算出部１１１が算出した各ブロックの彩度データとシーン判別制御部１１５が算出した判別閾値とに基づいてシーンを判別する。シーン判別部１１４が行うシーン判別の処理内容を図６のフローチャートに示した。
【００４０】
図６において、ステップＳ６０１では、色相・彩度算出部１１１が算出したブロック毎の彩度を画像の全ブロックに対して平均し、平均彩度を算出する。 ステップＳ６０２では、画像の全ブロックの中で、彩度が所定値以上であるブロック（高彩度ブロック）の数をカウントする。ステップＳ６０３では、算出した値とシーン判別制御部１１５から出力された、色相数に応じた判別閾値とを比較する。すなわち、平均彩度が所定値（Ｔｈ＿Ｃｈｒｏｍａ）以上であり、かつ、高彩度ブロック数が所定数（Ｔｈ＿Ａｒｅａ）以上である場合には、Ｓ６０４にて現在のシーンを鮮やかと判別する。それ以外の場合には、Ｓ６０５にて現在のシーンは鮮やかではないと判別する。
【００４１】
ステップＳ６０６では、シーン判別部１１４が、シーン判別結果の情報をカメラ制御部１１３へ出力する。
【００４２】
最後に、ステップＳ３０４で行われる鮮やか補正処理について詳述する。カメラ制御部１１３は、シーン判別部１１４でのシーン判別結果の情報に基づいて色差信号補正部１０８のパラメータを制御する。本実施形態では、前述の色差信号補正部１０８の彩度ゲインＧを制御する。彩度ゲインＧとしてＧ１、Ｇ２というパラメータがあり、Ｇ１＞Ｇ２（Ｇ１、Ｇ２は１以上）という関係である。ここで、シーンを鮮やかと判別した場合はＧ１を、鮮やかなシーンではないと判別した場合はＧ２を、彩度ゲインとして設定する。即ち、鮮やかなシーンである場合には色差信号に対するゲインをより高くすることで、彩度を強調した画像に補正する。
【００４３】
以上、説明したように、本発明では、鮮やかなシーンか否かを判別し、判別結果に応じて画像処理を制御する画像処理装置において、色分布の広がりに応じてシーンの判別を制御した。具体的には、色相数が多い場合には、色相数が少ない場合に比べて、鮮やかと判別する際の閾値を低い値に設定した。これにより、画像中に含まれるそれぞれの色の彩度が同じであっても、色相数が多い場合は、色相数が少ない場合に比べて鮮やかなシーンと判別されやすくなり、人間の知覚により近い鮮やかなシーンの判別を行うことが可能となる。
【００４４】
なお、上記実施形態では、色相・彩度を色差信号から算出したが、本発明は色相・彩度の算出方法をこれに限定するものではない。例えば、Ｌ＊ａ＊ｂ＊空間などの他の空間に一度変換してからＬ＊ａ＊ｂ＊空間での色相・彩度を算出してもよい。
【００４５】
また、上記実施形態では、信号分割部１１０が８×８ブロックに画像信号を分割する例を説明したが、画像中の色分布に応じて鮮やかなシーンの判別を制御する構成であれば、どのような分割数であってもかまわない。また、画素単位での色相・彩度情報から色分布の広がりを判断する構成であっても構わない。
【００４６】
また、上記実施形態では、色相ヒストグラムの度数がゼロではない階級の数（色相数）を、画像中の色分布の広がりの度合いを表す指標として用いる場合で説明したが、画像中の色分布の広がりの度合いを検出する方法であれば、どのような方法を用いても構わない。例えば、色相ヒストグラムのピーク付近の度数が全体に占める割合を指標として用いても良い。また、色相ヒストグラムのピークの幅を指標として用いても良い。さらには、図４（ａ）のような色差平面において、彩度閾値以上の領域に存在する値の分散値をそれぞれ求めることで色分布の広がりの度合いを算出することもできる。このように、色相分布から色分布の広がり度合いを検出する方法としてはいろいろなものが適用できる。
【００４７】
また、上記実施形態では、鮮やかなシーンであるか否かの判別を平均彩度値と高彩度ブロック数の２つの情報を元に行ったが、鮮やかなシーンの判別方法をこれに限定するものではない。例えば、画像中で最も彩度が高い領域での彩度情報に基づいて鮮やかなシーンの判別を行っても良い。
【００４８】
また、上記実施形態では、色相数が閾値以上である場合と、閾値より少ない場合とのそれぞれに対して判別閾値を設定したが、本発明は判別閾値の設定の仕方をこれに限定するものではない。例えば、色相数が多くなるほど、判別閾値が低くなるように連続的な値を算出し設定する方法を用いても良い。また、平均彩度の閾値のみ、又は、高彩度ブロック数の閾値のみを変更するようにしても良い。
【００４９】
また、上記実施形態では、鮮やかなシーンであるか否かの判別結果に基づき、色差信号にかけるゲインを制御する場合について説明した。しかし、鮮やかなシーンであるか否かに基づき色信号、もしくは輝度信号を補正する制御であればどのような制御を行ってもかまわない。
【００５０】
また、上記実施形態では、鮮やかなシーンであるか否かの２値で判別したが、鮮やか度合い等のように多値で算出しても構わない。この場合、平均彩度が高ければ高いほど、また、彩度が閾値以上のブロック数が多ければ多いほど鮮やか度合いが高くなる。または、色相数が多いほど鮮やか度合いを高くする。そして、算出した鮮やか度合いに基づき、色差信号補正部１０８の信号を補正する（鮮やか度合いが高いほど色差信号にかけるゲインを高くする）。
【００５１】
また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばＧ１＜Ｇ２≦１のようにゲインを設定してやるとよい。
【００５２】
（第２の実施形態）
第１の実施形態では、色分布の広がりに応じて、シーンの判別閾値を制御する場合について説明した。
【００５３】
第２の実施形態では、色分布の広がりに応じて、彩度を補正し、補正後の彩度情報に基づいて、鮮やかなシーンか否かの判別を行う処理について説明する。
【００５４】
図７に本実施形態に係る撮像装置の主要な構成を示した。図１に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。本実施形態では、彩度補正部７０１が新たに追加されている。彩度補正部７０１は、色相・彩度算出部１１１が算出した彩度（Ｃｈｒｏｍａ）に後述する彩度ゲイン（Ｇ＿Ｃｈｒｏｍａ）を乗算し、補正後の彩度（Ｃｈｒｏｍａ’）を算出する。
【００５５】
シーン判別制御部１１５は、色相ヒストグラム生成部１１２が算出した色相数に基づいて、彩度ゲイン（Ｇ＿Ｃｈｒｏｍａ）（補正量）を算出する。図８の縦軸は彩度ゲインを表しており、横軸は色相数である。図中のＰ８０１は予め設定された色相数の上限値とその時の彩度ゲイン設定値を表す。同様に、Ｐ８０２は予め設定された色相数の下限値とその時の彩度ゲイン設定値を表す。Ｌ８０１は、Ｐ８０１とＰ８０２により定められる色相数と彩度ゲインの関係を表す。Ｌ８０１は、色相数が多い（第１の状態）場合には小さいゲイン（第１の補正量）、色相数が少ない（第２の状態）場合には、大きいゲイン（第２の補正量）となるように設定されている。図に示したように色相数が多いほど彩度ゲインが大きな値となるように設定されている。シーン判別制御部１１５は、Ｌ８０１で表される特性と、入力された色相数に基づいて、彩度ゲイン（Ｇ＿Ｃｈｒｏｍａ）（補正量）を決定する。その後、シーン判別制御部１１５は、算出した彩度ゲインを彩度補正部７０１へ出力する。
【００５６】
また、シーン判別制御部１１５は予め設定されたシーン判別に用いる閾値、すなわち、平均彩度閾値（Ｔｈ＿Ｃｈｒｏｍａ）と高彩度ブロック数閾値（Ｔｈ＿Ａｒｅａ）をシーン判別部１１４へ出力する。
【００５７】
彩度補正部７０１は、色相・彩度算出部１１１より出力されたブロック毎の彩度（Ｃｈｒｏｍａ）に彩度ゲイン（Ｇ＿Ｃｈｒｏｍａ）（補正量）を乗じて、補正後の彩度（Ｃｈｒｏｍａ’）を算出し、シーン判別部１１４へ出力する。この補正処理は、図２に示した８×８の全てのブロックに対して順次、行われる。
【００５８】
次にシーン判別部１１４が入力された補正後の彩度（Ｃｈｒｏｍａ’）に基づいてシーンの判別処理を行う。ここでの判別処理には、第１の実施形態とは違って、画像データの色相数によらず同じ閾値（Ｔｈ＿Ｃｈｒｏｍａ、Ｔｈ＿Ａｒｅａ）が用いられる。判別処理及びこの後のカメラ制御部１１３による補正処理の内容は、第１の実施形態の場合と同様であるため、ここではその詳細な説明は省略する。
【００５９】
以上、説明したように、本発明では、鮮やかなシーンか否かを判別し、判別結果に応じて画像処理を制御する画像処理装置において、色分布の広がり度合いに応じてシーンの判別を制御した。具体的には、色相数に応じて彩度ゲインを算出し、その彩度ゲインを乗じた後の彩度データに基づいて鮮やかなシーンか否かの判別を行うようにした。
【００６０】
これにより、画像中に含まれるそれぞれの色の彩度が同じであっても、色相数が多い場合は、色相数が少ない場合に比べて鮮やかなシーンと判別されやすくなり、人間の知覚により近い鮮やかなシーンの判別を行うことが可能となる。
【００６１】
なお、上記実施形態では、彩度ゲインの算出方法を、予め設定された設定値と色相数に基づいて算出する方法で説明したが、本発明は彩度の補正方法をこれに限定するものではない。例えば、予め２通りの設定値を設定しておき、色相数が所定の閾値より多いか少ないかに応じて、どちらか一方の設定値を彩度ゲインとして用いるようにしても良い。すなわち、色相数が多いほど、彩度が高く補正されるような方法であれば、どのような方法を用いても構わない
（第３の実施形態）
第２の実施形態では、色分布の広がりに応じて、彩度に対する補正処理を制御する場合について説明した。
【００６２】
第３の実施形態では、色分布の広がりと彩度情報に基づいて、鮮やかなシーンか否かの判別を行う場合について説明する。
【００６３】
本実施形態の撮像装置の構成は、図１に示した第１の実施形態の場合と同様であるため、ここでは詳しい説明は省略する。
【００６４】
ここでは図９の（ａ）、（ｂ）のような画像についてシーンの判別を行う場合を例に取り、説明する。図９の（ａ）は、単色の鮮やかなシーンと判定されるような彩度の高い花を撮影した場合を表している。一方、（ｂ）において、９０１は被写体人物の背景に位置する壁であり、彩度が高く、一様な色をしている。このような場合、（ａ）の画像の花と、（ｂ）の画像の背景部分とが同じ彩度であっても、（ｂ）のような状況では、ユーザは鮮やかな画像を撮影しようとは意図していない場合がある。このように単色の鮮やかなシーンであっても、ユーザが鮮やかなシーンとして撮影したくないという意図を汲み取ることができる処理を本実施形態では行う。
【００６５】
図９（ａ）、（ｂ）の画像に対して第１、第２の実施形態と同様の方法で生成した色相ヒストグラムを、それぞれ図１０（ａ）、（ｂ）に示した。単色で鮮やかな花の画像である図９（ａ）の画像は、ある度数の色相の付近に多少の広がりを持って分布していることが分かる。これに対して図９（ｂ）の画像では、背景部分のみが色相ヒストグラムに含まれ、背景部分は一様に塗られているため、図９（ｂ）に対する色相数は、図９（ａ）に比べて低い値となる。ここでは図１０（ａ）、（ｂ）の色相ヒストグラムに対する色相数は、それぞれ８、２となるとする。
【００６６】
このようにユーザが鮮やかに撮りたいと意図しない画像では、同じ単色の鮮やかなシーンであっても、さらに色相数が少ない傾向にある。そこでこのようなシーンを鮮やかなシーンとして判別せずに除外するステップを追加する。
【００６７】
上述した除外処理のステップを行うシーン判別制御部１１５の処理内容について、図１１のフローチャートを参照しながら説明する。本実施形態では、これらの処理が第１の実施形態で説明したステップＳ３０２の鮮やか分類処理として行われる。
【００６８】
ステップＳ１１０１では、シーン判別制御部１１５が、色相ヒストグラム生成部１１２により算出された色相数を所定の閾値と比較する。色相数が所定の閾値以上であれば、ステップＳ１１０２へ進み、所定の閾値より少なければステップＳ１１０３へ進む。ここでの閾値は、第１の実施形態において、図５を用いて説明したカラフルの鮮やかなシーンと単色の鮮やかなシーンとの判別の際に用いた閾値よりも小さい値に設定する。ここでは、閾値を３とした場合で説明する。
【００６９】
ステップＳ１１０２では、第１の実施形態と同様に、色相数を所定の閾値と比較して現在のシーンがカラフルの鮮やかなシーンである可能性があるか単色の鮮やかなシーンである可能性があるかを判別し、その結果に応じてシーン判別の閾値を決定する。すなわち、色相数が閾値以上である場合は、Ｔｈ＿Ａｒｅａ（カラフル）とＴｈ＿Ｃｈｒｏｍａ（カラフル）の値をシーン判別部１１４へ出力する。逆に色相数が閾値未満である場合には、Ｔｈ＿Ａｒｅａ（単色）とＴｈ＿Ｃｈｒｏｍａ（単色）の値をシーン判別部１１４へ出力する。シーン判別部１１４その後、シーン判別制御部１１５は、シーン判別部１１４へシーンの判別を行うよう指示する。
【００７０】
ステップＳ１１０３では、シーン判別制御部１１５が、現在のシーンを鮮やかとは判別しないようにシーン判別部１１４へ指示する。
【００７１】
次に、シーン判別部１１４が行うシーン判別処理について、図１２のフローチャートを参照しながら説明する。
【００７２】
ステップＳ１２０１では、シーン判別部１１４が、シーンの判別処理を行うか否かを判断する。すなわち、シーン判別制御部１１５がシーン判別処理を行うよう指示した場合には、ステップＳ１２０２へ進み、シーン判別処理を実行する。シーン判別制御部１１５がシーン判別処理を行わないよう指示した場合には、ステップＳ１２０６へ進む。
【００７３】
したがって、図９（ａ）のような画像が入力された場合には、ステップＳ１２０２以降で所定の判別閾値に基づいて鮮やかなシーンか否かの判別が行われる。一方、図９（ｂ）のような画像が入力された場合には、ステップＳ１２０６に進み、鮮やかなシーンとは判別されないこととなる。
【００７４】
ステップＳ１２０２〜ステップＳ１２０４でのシーン判別処理は、第１の実施形態における図６のステップＳ６０１〜ステップＳ６０３での処理内容と同様であるため、ここでは詳細な説明は省略する。ステップＳ１２０４での判別条件が満たされた場合にはステップＳ１２０５へ進み、現在のシーンを鮮やかと判別する。判別条件が満たされなかった場合にはステップＳ１２０６へ進み、現在のシーンは鮮やかではないと判別する。
【００７５】
ステップＳ１２０７では、シーン判別部１１４が、シーン判別結果の情報をカメラ制御部１１３へ出力する。以上が、シーン判別部１１４が行う処理内容である。
【００７６】
カメラ制御部１１３は、シーン判別部１１４で判別されたシーン判別結果の情報に基づいて色差信号補正部１０８のパラメータを制御する。本実施形態では、前述の色差信号補正部１０８の彩度ゲインＧを制御する。彩度ゲインＧとしてＧ１、Ｇ２というパラメータがあり、Ｇ１＞Ｇ２（Ｇ１、Ｇ２は１以上）という関係である。ここで、シーンを鮮やかと判別した場合はＧ１を、鮮やかなシーンではないと判別した場合はＧ２を、彩度ゲインとして設定する。即ち、鮮やかなシーンでは、色差信号に対するゲインをより高くすることで、彩度を強調した画像に補正する。
【００７７】
以上、説明したように、本発明では、鮮やかなシーンか否かを判別し、判別結果に応じて画像処理を制御する画像処理装置において、色分布の広がりに応じてシーンの判別を制御した。具体的には、色相数が所定の閾値より少ない場合には、鮮やかなシーンとは判別しないように制御した。
これにより、有彩色で一様に塗られた壁を背景として撮影した場合など、彩度は高いがユーザが鮮やかな被写体を撮影しようと意図していないシーンを判別することが可能となり、人間の知覚により近い鮮やかなシーンの判別を行うことが可能となる。
【００７８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７９】
なお、上記実施形態では、色相の広がりと彩度情報に基づいて鮮やかと判別するか否かを制御したが、本発明は、シーン判別の制御方法をこれに限定するものではない。ユーザの意図としては、彩度あるいは輝度の分布の広がり度合いが小さいものも、鮮やかに写したい被写体ではない場合が多い。そこで、色相ヒストグラム生成部１１２において、色相ヒストグラムと併せて彩度彩度分布または輝度輝度分布を生成する。それらの広がりが所定の閾値より狭い場合に、シーンを鮮やかと判別しないようにすることで、よりユーザの意図を反映した制御とすることもできる。
【００８０】
（第４の実施形態）
第３の実施形態では、鮮やかなシーンの判別に、色分布の広がりの情報を用いる場合について説明した。具体的には、画像中の色相数が所定の閾値より少ない場合には、鮮やかなシーンとは判別しないように制御した。
【００８１】
第４の実施形態では、画像中の特定の領域における色分布に応じて、鮮やかなシーンの判別を制御する場合について説明する。
【００８２】
図１３に本実施形態に係る撮像装置の主要な構成を示した。図１に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。本実施形態では、図１に比べて、背景抽出部１３０１が新たに追加されている。
【００８３】
背景抽出部１３０１は、画像中の背景の領域を抽出し、その位置や範囲の情報を色相ヒストグラム生成部１１２へ出力する。
【００８４】
次に、第４の実施形態に関る撮像装置の処理動作について説明する。
【００８５】
被写体像がレンズ１０１へ入射してから色相・彩度算出部１１１においてブロック毎の色相・彩度が算出されるまでの一連の処理は、第１の実施形態と同様であるため、ここではその詳細な説明は省略する。
【００８６】
本実施形態では、色相ヒストグラム生成部１１２が、画像中の背景部分のみを用いて色相ヒストグラムを生成する点が上述の実施形態と異なる。
【００８７】
これを行うために、本実施形態では、背景抽出部１３０１が画像中の背景部分を抽出する。具体的には、背景抽出部１３０１は、公知の顔認識処理を用いて、画像内の人物の顔を検出し、その位置やサイズを算出する。この算出結果に基づいて、背景抽出部１３０１は、画像中の人物を含む被写体領域と、それ以外の背景領域とに画像を区分する。その後、背景抽出部１３０１は、信号分割部１１０に設定されている８×８に画像を分割したブロックの位置やサイズの情報を用いて、背景領域と重複しているブロックを抽出する。図１４に上述の方法により背景領域にあたるブロックを抽出した画像の例を示した。図１４において、斜線で塗りつぶされているブロックが背景領域として抽出されたブロックを表す。背景抽出部１３０１は、このブロックの位置を、背景領域の情報として色相ヒストグラム生成部１１２へ出力する。
【００８８】
次に、本実施形態における色相ヒストグラム生成部の処理動作について説明する。第１の実施形態の場合と同様に、色相ヒストグラム生成部１１２は色相ヒストグラムを生成した後、色相数を算出してシーン判別制御部１１５へ出力する。ただし、色相ヒストグラム生成部１１２は、図１４で説明した背景領域として区分されたブロックのみを用いて色相ヒストグラムを生成する。
【００８９】
これ以降の処理、すなわち、シーン判別制御部１１５によるシーン判別の制御、シーン判別部１１４によるシーン判別処理、及び、カメラ制御部１１３による色相補正処理は、第３の実施形態と同様であるため、ここではその詳細な説明は省略する。
【００９０】
以上、説明したように、本発明では、鮮やかなシーンか否かを判別し、判別結果に応じて画像処理を制御する画像処理装置において、背景領域の色分布の広がりに応じてシーンの判別を制御した。具体的には、背景領域に含まれる色相数が所定の閾値より少ない場合には、鮮やかなシーンとは判別しないように制御した。
【００９１】
これにより、有彩色で一様に塗られた壁を背景として撮影した場合など、彩度は高いがユーザが鮮やかな被写体を撮影しようと意図していないシーンを判別することが可能となり、人間の知覚や意図により近い鮮やかなシーンの判別を行うことが可能となる。
【００９２】
なお、上記実施形態では、背景領域の抽出を公知の顔認識技術を用いる方法を用いて行う場合について説明したが、本発明は、背景の抽出方法をこれに限定するものではない。例えば、撮影時に合焦状態にあった領域である焦点検出領域の位置を取得し、その位置に基づいて背景を抽出しても良い。この場合、主要な被写体は焦点検出領域、及び、その周囲に存在すると考えられるため、画像領域から焦点検出領域、及び、その周囲を除いた領域を背景として抽出すれば良い。
【００９３】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００９４】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００９５】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００９６】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００９７】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【産業上の利用可能性】
【００９８】
本実施形態では、本発明を適用できる画像処理装置として、撮像装置を例として説明したが、これに限らない。撮像装置の中でも、静止画、動画の撮影が行えるものどちらにも適用可能であるし、外部から画像データを取得して処理を行うプリンタなどの画像形成装置や、パーソナルコンピュータなどの情報処理装置でも、本発明は適用できる。
【符号の説明】
【００９９】
１０５ 輝度・色信号生成部
１０６ ＷＢ増幅部
１０７ 色差信号生成部
１０８ 色差信号補正部（画像処理手段）
１０９ エンコーダ
１１０ 信号分割部
１１１ 色相・彩度算出部
１１２ 色相ヒストグラム生成部（色分布情報算出手段）
１１３ カメラ制御部
１１４ シーン判別部
１１５ シーン判別制御部
【技術分野】
【０００１】
本発明は、入力された画像のシーンを判別し、判別したシーンに応じた画像処理を行う画像処理方法、画像処理装置及び撮像装置に関するものである。
【背景技術】
【０００２】
従来、画像のシーンや被写体の種類を判別し、判別したシーン（被写体の種類）に応じた画像処理を行う画像処理方法があった。
【０００３】
例えば、特許文献１では、入力された画像データが鮮やかなシーン（被写体）であるかを判別し、鮮やかなシーンの画像は高解像度で出力する画像出力装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２５９３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の特許文献１に開示された従来技術では、彩度の高い画素が所定の閾値よりも多いか否かによって鮮やかなシーンであるかを判別していた。
【０００６】
しかしながら、画像の彩度情報のみに基づいて鮮やかなシーンを判別する従来の方法では、シーンの判別結果が、ユーザ、つまり人間の感覚と異なる場合があった。
【０００７】
例えば、画像中に存在する色数が多い場合には、色数が少ない場合と比べて、それぞれの色の彩度が低くとも鮮やかなシーンと感じやすい。
【０００８】
また、彩度の高い画素は多く存在するとしても、ユーザが鮮やかなシーンを撮影しようと意図していない場合がある。例えば、彩度の高い色に一様に塗られた壁を背景として被写体を撮影する場合などである。このように、同じ彩度であっても鮮やかなシーンと感じやすい場合もあれば、感じにくい場合も有る。上記のような場合に、従来の判別方法ではユーザの感覚や意図に合わせてシーンの判別を行うことが困難であった。
【０００９】
そこで、本発明の目的は、入力された画像が鮮やかなシーンであるかの判別を、より人間の知覚や意図に合わせてできる画像処理装置を提供することである。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の画像処理方法は、請求項１に記載の通り、画像データを取得する取得ステップと、前記画像データの色相分布を生成する生成ステップと、前記色相分布における色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別ステップと、前記判別ステップでの判別結果を出力する出力ステップと、を有することを特徴とする。
【００１１】
また、本発明の画像処理装置は、請求項１２に記載の通り、画像データを取得する取得手段と、前記画像データの色相ヒストグラムを生成する生成手段と、前記色相ヒストグラムにおける色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別手段と、前記判別手段での判別結果に応じて、画像データの彩度補正を行う補正手段とを有することを特徴とする。
【００１２】
また、本発明の撮像装置は、請求項１３に記載の通り、被写体を撮像し、画像データを出力する撮像手段と、前記画像データの色相ヒストグラムを生成する生成手段と、前記色相ヒストグラムにおける色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別手段と、前記判別ステップでの判別結果に応じて、画像データの彩度補正を行う補正手段と、を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、入力された画像が鮮やかなシーンであるかの判別を、より人間の知覚や意図に合わせて行うことが可能となる。
【図面の簡単な説明】
【００１４】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】画像信号のブロック分割を示す図である。
【図３】色差信号と彩度・色相の関係を示す図である。
【図４】第１の実施形態に係る色相ヒストグラムの例を示す図である。
【図５】シーン判別部が行うシーン判別処理の特性を示す図である。
【図６】第１の実施形態に係るシーン判別部の処理を示すフローチャートである。
【図７】第２の実施形態に係る撮像装置の構成を示すブロック図である。
【図８】第２の実施形態に係る彩度補正処理の特性を示すグラフである。
【図９】第３の実施形態に係る撮影シーンの例を示す図である。
【図１０】第３の実施形態に係る色相ヒストグラムの例を示す図である。
【図１１】第３の実施形態に係るシーン判別制御部の処理を示すフローチャートである。
【図１２】第３の実施形態に係るシーン判別部の処理を示すフローチャートである。
【図１３】第４の実施形態に係る撮像装置の構成を示すブロック図である。
【図１４】第４の実施形態に係る画像分割を示す図である。
【発明を実施するための形態】
【００１５】
（第１の実施形態）
以下、図１〜図６を参照して、第１の実施形態による画像処理装置について説明する。
【００１６】
図１は第１の実施形態に係るシーン判別機能を備え、シーンに応じた画像補正処理を行う画像処理装置の一例である撮像装置の構成を示すブロック図である。図１において、１０１は被写体の光束を結像するレンズである。１０２はレンズからの光束を撮像素子に導く際に絞る絞りである。１０３は入射された光束を光電変換して画像信号として出力する撮像素子である。１０４はオートゲインコントロールアンプ（ＡＧＣ）であり、撮像素子１０３からの信号を適正レベルに増幅する。
【００１７】
１０５は輝度・色信号生成部であり、撮像素子１０３で生成された信号を輝度信号（Ｙ）及び色信号（Ｒ，Ｇ，Ｂ）に変換する。１０６はホワイトバランス増幅部であり、輝度・色信号生成部１０５から出力される色信号（Ｒ，Ｇ，Ｂ）をホワイトバランスゲインに従って増幅し、増幅色信号（Ｒ’，Ｇ’，Ｂ’）を生成する。１０７は色差信号生成部であり、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を生成する。１０８は、色差信号に対してゲインをかけるなどの補正を行う色差信号補正部、１０９は標準テレビ信号等に変換するエンコーダである。
【００１８】
１１０は信号分割部であり、輝度信号（Ｙ）、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を所定の小ブロックに分割する。１１１は、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）から色相、彩度信号（Ｈｕｅ，Ｃｈｒｏｍａ）
を算出する色相・彩度算出部である。１１２は色相、彩度信号から色相ヒストグラムを生成する色相ヒストグラム生成部である。１１３は撮像システム全体を制御するカメラ制御部であり、図示していないが撮像装置中の各部に指示を送り、処理を行わせることができる。１１４は入力画像のシーンを判別するシーン判別部である。１１５はシーン判別部１１４でのシーン判別処理を制御するシーン判別制御部である。
【００１９】
次に、図１の撮像装置の撮影動作について説明する。レンズ１０１、アイリス１０２を通過した被写体像は撮像素子１０３上に結像される。撮像素子１０３に入射した光は、光電変換され、ＡＧＣアンプ１０４で適正レベルに増幅された後、輝度・色信号生成部１０５に出力される。輝度・色信号生成部１０５では、輝度信号（Ｙ）及び色信号（Ｒ，Ｇ，Ｂ）を生成し、このうち色信号（Ｒ，Ｇ，Ｂ）をホワイトバランス増幅部１０６に出力し、輝度信号（Ｙ）をエンコーダ１０９に出力する。
【００２０】
ホワイトバランス増幅部１０６では、カメラ制御部１１３によって算出されたホワイトバランスゲインに基づいて色信号（Ｒ，Ｇ，Ｂ）を増幅し、増幅した色信号（Ｒ’，Ｇ’，Ｂ’）を色差信号生成部１０７に出力する。色差信号生成部１０７では、色信号（Ｒ’，Ｇ’，Ｂ’）から色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）を生成し、色差信号補正部１０８及び信号分割部１１０に出力する。色差信号補正部１０８では、色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）に対して、カメラ制御部１１３によって算出されたゲイン（ゲインの強度に関しては後述する）をかけ補正する。また、補正後の色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）をエンコーダ１０９に出力する。エンコーダ１０９では、輝度信号（Ｙ）及び色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）からＮＴＳＣ等の標準テレビジョン信号を生成し、不図示の記録部へ出力する。
【００２１】
次に本発明の特徴部分である、画像データに施す撮影シーンに応じた画像処理について説明する。本実施形態では、撮像系から取り込まれた画像データに基づいて、この画像データが撮影されたシーンが鮮やかなシーンであるか否かを判別し、判別結果に応じた画像処理を画像データに施す処理を行う。このとき、鮮やかなシーンの中でも色分布が異なると鮮やかさの感じ方が異なることに着目して、得られた画像データの色の分布に応じて異なるシーン判別処理を行う。
【００２２】
図２の（ａ）、（ｂ）は共に花を撮影した場合の画像であるが、色の分布の仕方が異なる。（ａ）は様々な色の花を撮影した場合を表しており、画像内に存在する色数が多い。一方、（ｂ）はある色の花を撮影した場合を表しており、画像内に存在する色数が少ない。このような場合、人間の知覚では、（ａ）の色数の多い画像の方が、（ｂ）の色数の少ない画像に比べて同じ彩度でも鮮やかに感じやすい。この人間の知覚の特性に対応するために、本実施形態では、画像データの撮影されたシーンが単色、カラフルいずれの鮮やかなシーンに当たるかを分類し、分類結果に応じた判別方法を用いて鮮やかなシーンであるかを判別する。以下、図２（ａ）のように画像中の色数が多いシーンをカラフルの鮮やかなシーンと呼び、図２（ｂ）のように画像中の色数が少ないシーンを単色の鮮やかなシーンと呼ぶ。
【００２３】
シーン判別部１１４によるシーン判別処理によってカラフルまたは単色の鮮やかなシーンであると判別された画像データは、本実施形態では、色差信号補正部１０８にて彩度を上げ、鮮やかさを強調する鮮やか補正処理が行われる。これにより、ユーザ（人間）が鮮やかであると知覚する被写体をより鮮やかに見せることができる。
【００２４】
本実施形態の特徴部分であるこれら一連の処理についてのフローチャート図を図３に示す。これらの処理はカメラ制御部１１３の指示によって各部で行われる。
【００２５】
ステップＳ３０１では、色差信号生成部１０７から画像データを取得し信号分割部１１０で複数のブロックに分割される。ステップＳ３０２では、ブロック毎の彩度、色相などの情報を基に、得られた画像データが単色の鮮やかなシーンにあたる可能性のあるものか、カラフルの鮮やかなシーンにあたる可能性のあるものかを分類する、鮮やか分類処理が行われる。ステップＳ３０３では、シーン判別部１１４によって、分類結果に応じた判別条件で画像データが鮮やかなシーンであるか否かが判別され、判別結果が出力される。ステップＳ３０４では、ステップＳ３０３での判別結果に基づいて、画像データに対して補正処理が行われ、処理が終了する。
【００２６】
ここで、本実施形態では、シーン判別結果に用いた画像データに対して、その判別結果を反映させ出力しているが、発明としては特にこれに限定されるものではない。すなわち、あるフレーム（画像データ）に対する判別結果に応じた補正処理を、その次のフレーム以降に反映させることなども当然可能である。また、複数フレーム鮮やかなシーン判別結果が続いたときに初めてシーンを特定したり、複数フレーム中、鮮やかなシーンと判別された割合が高い場合にシーンを特定したりと、複数フレームの判別結果からシーンを特定することも考えられる。このとき、判別結果に応じた補正処理は、それら複数フレームや、以降のフレームに反映させることが考えられる。
【００２７】
具体的に想定される状況としては、静止画撮影が可能な撮像装置や画像データに画像処理を施すＰＣなどの情報処理装置において、撮影された画像データ（フレーム）に対して処理を行う状況がある。また、ライブビュー表示または動画撮影が可能な撮像装置や動画に画像処理を施すＰＣなどの情報処理装置において、複数フレームにまたがった上記のような処理が想定される。
【００２８】
また、本実施形態では、シーン判別部１１４によって出力された判別結果を用いて画像データに対して彩度の補正をかけているが、判別結果の利用法としてはこれに限らない。例えば、判別結果を不図示の表示手段に表示させ、ユーザに知らしめたり、画像データを保存する際に、判別結果に対応した情報をヘッダなどに付帯して、保存後に画像データの撮影されたシーンが特定できるようにしたりもできる。また、補正１つをとってみても、彩度以外を補正することで鮮やかさを強調するようにしてもよい。このような処理には例えば、輝度を上げる補正や輪郭の強調処理などが考えられる。
【００２９】
次に、上述した一連の各処理についての詳細を説明する。ステップＳ３０１では色差信号生成部１０７から出力される色差信号を信号分割部１１０に取り込む。取り込まれた画像全体は、図２の（ａ）、（ｂ）に示すようなブロック（８×８ブロック）に分割され、ブロック毎の色差信号（Ｒ’−Ｙ，Ｂ’−Ｙ）の平均値を算出し、色相・彩度算出部１１１に出力される。
【００３０】
次にステップＳ３０２で行われる鮮やか分類処理について詳述する。ステップＳ３０２では、色相・彩度算出部１１１によって、ブロック毎の色差信号（Ｒ’−Ｙ、Ｂ’−Ｙ）から、ブロック毎の色相（Ｈｕｅ）、彩度（Ｃｈｒｏｍａ）を算出する。色差信号と色相、彩度の関係を図４（ａ）に示した。また、色差信号から色相、彩度を算出するのには以下の式を用いる。
【００３１】
【数１】
【００３２】
色相・彩度算出部１１１は、算出したブロック毎の色相（Ｈｕｅ）、彩度（Ｃｈｒｏｍａ）を色相ヒストグラム生成部１１２へ出力する。
【００３３】
色相ヒストグラム生成部１１２では、ブロック毎の色相（Ｈｕｅ）、彩度（Ｃｈｒｏｍａ）から色相ヒストグラムを生成する。
色相ヒストグラム生成部１１２は、各ブロックの彩度（Ｃｈｒｏｍａ）を所定の閾値（第３の彩度閾値）と比較する。そして、ブロックの彩度が所定値以上であれば、そのブロックの対応する色相に度数を加算する。逆にブロックの彩度が閾値より低ければ、そのブロックは色相ヒストグラムには含めない。本実施形態では、一例として図２の（ａ）、（ｂ）のそれぞれの画像に対して生成した色相ヒストグラムを図４の（ｂ）、（ｃ）に示した。図の横軸（階級）は色相（Ｈｕｅ）であり、ここでは階級幅を１０（度）としている。縦軸は度数であり、各色相を持つブロックの数を表している。
【００３４】
次に、色相ヒストグラム生成部１１２は、色分布の広がり度合いを表す指標を算出する。ここでは、色相ヒストグラム中の度数がゼロではない階級の数（色相の数）を指標として用いる。図４の（ｂ）、（ｃ）の場合であれば、色相数はそれぞれ、１７、６となる。色相ヒストグラム生成部１１２は、算出した色相数をシーン判別制御部１１５へ出力する。
【００３５】
シーン判別制御部１１５は、色相ヒストグラム生成部１１２が算出した色相数に基づいて、シーン判別部１１４が行うシーン判別処理を制御する。具体的には、シーン判別の際に用いる判別閾値を算出し、シーン判別部１１４へ出力する。
【００３６】
以下、図５を用いてシーン判別制御部が算出する判別閾値について説明する。ここでは、画像の平均彩度と画像中の高彩度ブロックの数に基づいてシーンを判別する場合を例に取って説明する。図５は鮮やかなシーンの判別基準を示した図であり、図の横軸は平均彩度を表しており、縦軸は高彩度ブロックの数を表している。図の斜線で示した領域、すなわち、平均彩度が閾値（Ｔｈ＿Ｃｈｒｏｍａ）より高く、かつ、彩度が閾値以上であるブロックの数が閾値（Ｔｈ＿Ａｒｅａ）よりも大きいときに鮮やかなシーンであると判別する。
【００３７】
また、「カラフル」シーンに対して用いる判別閾値Ｔｈ＿Ａｒｅａ（カラフル）、Ｔｈ＿Ｃｈｒｏｍａ（カラフル）は、「単色」シーンに対して用いる判別閾値Ｔｈ＿Ａｒｅａ（単色）、Ｔｈ＿Ｃｈｒｏｍａ（単色）に比べて低い値とする。すなわち、Ｔｈ＿Ａｒｅａ（カラフル）＜Ｔｈ＿Ａｒｅａ（単色）、Ｔｈ＿Ｃｈｒｏｍａ（カラフル）＜Ｔｈ＿Ｃｈｒｏｍａ（単色）である。
【００３８】
シーン判別制御部１１５は、色相数を所定の閾値と比較して現在のシーンがカラフルの鮮やかなシーンである可能性があるか単色の鮮やかなシーンである可能性があるかを判別し、その結果に応じてシーン判別の閾値を決定する。すなわち、色相数が閾値以上である場合は、Ｔｈ＿Ａｒｅａ（カラフル）（第１のブロック閾値）とＴｈ＿Ｃｈｒｏｍａ（カラフル）（第１の彩度閾値）の値をシーン判別部１１４へ出力する。逆に色相数が所定値より小さい場合には、Ｔｈ＿Ａｒｅａ（単色）（第２のブロック閾値）とＴｈ＿Ｃｈｒｏｍａ（単色）の値（第２の彩度閾値）をシーン判別部１１４へ出力する。ここで、色相数に対する閾値は、例えば８とする。
【００３９】
次にステップＳ３０３の鮮やか判別処理について詳述する。ステップＳ３０３では、シーン判別部１１４が、色相・彩度算出部１１１が算出した各ブロックの彩度データとシーン判別制御部１１５が算出した判別閾値とに基づいてシーンを判別する。シーン判別部１１４が行うシーン判別の処理内容を図６のフローチャートに示した。
【００４０】
図６において、ステップＳ６０１では、色相・彩度算出部１１１が算出したブロック毎の彩度を画像の全ブロックに対して平均し、平均彩度を算出する。 ステップＳ６０２では、画像の全ブロックの中で、彩度が所定値以上であるブロック（高彩度ブロック）の数をカウントする。ステップＳ６０３では、算出した値とシーン判別制御部１１５から出力された、色相数に応じた判別閾値とを比較する。すなわち、平均彩度が所定値（Ｔｈ＿Ｃｈｒｏｍａ）以上であり、かつ、高彩度ブロック数が所定数（Ｔｈ＿Ａｒｅａ）以上である場合には、Ｓ６０４にて現在のシーンを鮮やかと判別する。それ以外の場合には、Ｓ６０５にて現在のシーンは鮮やかではないと判別する。
【００４１】
ステップＳ６０６では、シーン判別部１１４が、シーン判別結果の情報をカメラ制御部１１３へ出力する。
【００４２】
最後に、ステップＳ３０４で行われる鮮やか補正処理について詳述する。カメラ制御部１１３は、シーン判別部１１４でのシーン判別結果の情報に基づいて色差信号補正部１０８のパラメータを制御する。本実施形態では、前述の色差信号補正部１０８の彩度ゲインＧを制御する。彩度ゲインＧとしてＧ１、Ｇ２というパラメータがあり、Ｇ１＞Ｇ２（Ｇ１、Ｇ２は１以上）という関係である。ここで、シーンを鮮やかと判別した場合はＧ１を、鮮やかなシーンではないと判別した場合はＧ２を、彩度ゲインとして設定する。即ち、鮮やかなシーンである場合には色差信号に対するゲインをより高くすることで、彩度を強調した画像に補正する。
【００４３】
以上、説明したように、本発明では、鮮やかなシーンか否かを判別し、判別結果に応じて画像処理を制御する画像処理装置において、色分布の広がりに応じてシーンの判別を制御した。具体的には、色相数が多い場合には、色相数が少ない場合に比べて、鮮やかと判別する際の閾値を低い値に設定した。これにより、画像中に含まれるそれぞれの色の彩度が同じであっても、色相数が多い場合は、色相数が少ない場合に比べて鮮やかなシーンと判別されやすくなり、人間の知覚により近い鮮やかなシーンの判別を行うことが可能となる。
【００４４】
なお、上記実施形態では、色相・彩度を色差信号から算出したが、本発明は色相・彩度の算出方法をこれに限定するものではない。例えば、Ｌ＊ａ＊ｂ＊空間などの他の空間に一度変換してからＬ＊ａ＊ｂ＊空間での色相・彩度を算出してもよい。
【００４５】
また、上記実施形態では、信号分割部１１０が８×８ブロックに画像信号を分割する例を説明したが、画像中の色分布に応じて鮮やかなシーンの判別を制御する構成であれば、どのような分割数であってもかまわない。また、画素単位での色相・彩度情報から色分布の広がりを判断する構成であっても構わない。
【００４６】
また、上記実施形態では、色相ヒストグラムの度数がゼロではない階級の数（色相数）を、画像中の色分布の広がりの度合いを表す指標として用いる場合で説明したが、画像中の色分布の広がりの度合いを検出する方法であれば、どのような方法を用いても構わない。例えば、色相ヒストグラムのピーク付近の度数が全体に占める割合を指標として用いても良い。また、色相ヒストグラムのピークの幅を指標として用いても良い。さらには、図４（ａ）のような色差平面において、彩度閾値以上の領域に存在する値の分散値をそれぞれ求めることで色分布の広がりの度合いを算出することもできる。このように、色相分布から色分布の広がり度合いを検出する方法としてはいろいろなものが適用できる。
【００４７】
また、上記実施形態では、鮮やかなシーンであるか否かの判別を平均彩度値と高彩度ブロック数の２つの情報を元に行ったが、鮮やかなシーンの判別方法をこれに限定するものではない。例えば、画像中で最も彩度が高い領域での彩度情報に基づいて鮮やかなシーンの判別を行っても良い。
【００４８】
また、上記実施形態では、色相数が閾値以上である場合と、閾値より少ない場合とのそれぞれに対して判別閾値を設定したが、本発明は判別閾値の設定の仕方をこれに限定するものではない。例えば、色相数が多くなるほど、判別閾値が低くなるように連続的な値を算出し設定する方法を用いても良い。また、平均彩度の閾値のみ、又は、高彩度ブロック数の閾値のみを変更するようにしても良い。
【００４９】
また、上記実施形態では、鮮やかなシーンであるか否かの判別結果に基づき、色差信号にかけるゲインを制御する場合について説明した。しかし、鮮やかなシーンであるか否かに基づき色信号、もしくは輝度信号を補正する制御であればどのような制御を行ってもかまわない。
【００５０】
また、上記実施形態では、鮮やかなシーンであるか否かの２値で判別したが、鮮やか度合い等のように多値で算出しても構わない。この場合、平均彩度が高ければ高いほど、また、彩度が閾値以上のブロック数が多ければ多いほど鮮やか度合いが高くなる。または、色相数が多いほど鮮やか度合いを高くする。そして、算出した鮮やか度合いに基づき、色差信号補正部１０８の信号を補正する（鮮やか度合いが高いほど色差信号にかけるゲインを高くする）。
【００５１】
また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばＧ１＜Ｇ２≦１のようにゲインを設定してやるとよい。
【００５２】
（第２の実施形態）
第１の実施形態では、色分布の広がりに応じて、シーンの判別閾値を制御する場合について説明した。
【００５３】
第２の実施形態では、色分布の広がりに応じて、彩度を補正し、補正後の彩度情報に基づいて、鮮やかなシーンか否かの判別を行う処理について説明する。
【００５４】
図７に本実施形態に係る撮像装置の主要な構成を示した。図１に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。本実施形態では、彩度補正部７０１が新たに追加されている。彩度補正部７０１は、色相・彩度算出部１１１が算出した彩度（Ｃｈｒｏｍａ）に後述する彩度ゲイン（Ｇ＿Ｃｈｒｏｍａ）を乗算し、補正後の彩度（Ｃｈｒｏｍａ’）を算出する。
【００５５】
シーン判別制御部１１５は、色相ヒストグラム生成部１１２が算出した色相数に基づいて、彩度ゲイン（Ｇ＿Ｃｈｒｏｍａ）（補正量）を算出する。図８の縦軸は彩度ゲインを表しており、横軸は色相数である。図中のＰ８０１は予め設定された色相数の上限値とその時の彩度ゲイン設定値を表す。同様に、Ｐ８０２は予め設定された色相数の下限値とその時の彩度ゲイン設定値を表す。Ｌ８０１は、Ｐ８０１とＰ８０２により定められる色相数と彩度ゲインの関係を表す。Ｌ８０１は、色相数が多い（第１の状態）場合には小さいゲイン（第１の補正量）、色相数が少ない（第２の状態）場合には、大きいゲイン（第２の補正量）となるように設定されている。図に示したように色相数が多いほど彩度ゲインが大きな値となるように設定されている。シーン判別制御部１１５は、Ｌ８０１で表される特性と、入力された色相数に基づいて、彩度ゲイン（Ｇ＿Ｃｈｒｏｍａ）（補正量）を決定する。その後、シーン判別制御部１１５は、算出した彩度ゲインを彩度補正部７０１へ出力する。
【００５６】
また、シーン判別制御部１１５は予め設定されたシーン判別に用いる閾値、すなわち、平均彩度閾値（Ｔｈ＿Ｃｈｒｏｍａ）と高彩度ブロック数閾値（Ｔｈ＿Ａｒｅａ）をシーン判別部１１４へ出力する。
【００５７】
彩度補正部７０１は、色相・彩度算出部１１１より出力されたブロック毎の彩度（Ｃｈｒｏｍａ）に彩度ゲイン（Ｇ＿Ｃｈｒｏｍａ）（補正量）を乗じて、補正後の彩度（Ｃｈｒｏｍａ’）を算出し、シーン判別部１１４へ出力する。この補正処理は、図２に示した８×８の全てのブロックに対して順次、行われる。
【００５８】
次にシーン判別部１１４が入力された補正後の彩度（Ｃｈｒｏｍａ’）に基づいてシーンの判別処理を行う。ここでの判別処理には、第１の実施形態とは違って、画像データの色相数によらず同じ閾値（Ｔｈ＿Ｃｈｒｏｍａ、Ｔｈ＿Ａｒｅａ）が用いられる。判別処理及びこの後のカメラ制御部１１３による補正処理の内容は、第１の実施形態の場合と同様であるため、ここではその詳細な説明は省略する。
【００５９】
以上、説明したように、本発明では、鮮やかなシーンか否かを判別し、判別結果に応じて画像処理を制御する画像処理装置において、色分布の広がり度合いに応じてシーンの判別を制御した。具体的には、色相数に応じて彩度ゲインを算出し、その彩度ゲインを乗じた後の彩度データに基づいて鮮やかなシーンか否かの判別を行うようにした。
【００６０】
これにより、画像中に含まれるそれぞれの色の彩度が同じであっても、色相数が多い場合は、色相数が少ない場合に比べて鮮やかなシーンと判別されやすくなり、人間の知覚により近い鮮やかなシーンの判別を行うことが可能となる。
【００６１】
なお、上記実施形態では、彩度ゲインの算出方法を、予め設定された設定値と色相数に基づいて算出する方法で説明したが、本発明は彩度の補正方法をこれに限定するものではない。例えば、予め２通りの設定値を設定しておき、色相数が所定の閾値より多いか少ないかに応じて、どちらか一方の設定値を彩度ゲインとして用いるようにしても良い。すなわち、色相数が多いほど、彩度が高く補正されるような方法であれば、どのような方法を用いても構わない
（第３の実施形態）
第２の実施形態では、色分布の広がりに応じて、彩度に対する補正処理を制御する場合について説明した。
【００６２】
第３の実施形態では、色分布の広がりと彩度情報に基づいて、鮮やかなシーンか否かの判別を行う場合について説明する。
【００６３】
本実施形態の撮像装置の構成は、図１に示した第１の実施形態の場合と同様であるため、ここでは詳しい説明は省略する。
【００６４】
ここでは図９の（ａ）、（ｂ）のような画像についてシーンの判別を行う場合を例に取り、説明する。図９の（ａ）は、単色の鮮やかなシーンと判定されるような彩度の高い花を撮影した場合を表している。一方、（ｂ）において、９０１は被写体人物の背景に位置する壁であり、彩度が高く、一様な色をしている。このような場合、（ａ）の画像の花と、（ｂ）の画像の背景部分とが同じ彩度であっても、（ｂ）のような状況では、ユーザは鮮やかな画像を撮影しようとは意図していない場合がある。このように単色の鮮やかなシーンであっても、ユーザが鮮やかなシーンとして撮影したくないという意図を汲み取ることができる処理を本実施形態では行う。
【００６５】
図９（ａ）、（ｂ）の画像に対して第１、第２の実施形態と同様の方法で生成した色相ヒストグラムを、それぞれ図１０（ａ）、（ｂ）に示した。単色で鮮やかな花の画像である図９（ａ）の画像は、ある度数の色相の付近に多少の広がりを持って分布していることが分かる。これに対して図９（ｂ）の画像では、背景部分のみが色相ヒストグラムに含まれ、背景部分は一様に塗られているため、図９（ｂ）に対する色相数は、図９（ａ）に比べて低い値となる。ここでは図１０（ａ）、（ｂ）の色相ヒストグラムに対する色相数は、それぞれ８、２となるとする。
【００６６】
このようにユーザが鮮やかに撮りたいと意図しない画像では、同じ単色の鮮やかなシーンであっても、さらに色相数が少ない傾向にある。そこでこのようなシーンを鮮やかなシーンとして判別せずに除外するステップを追加する。
【００６７】
上述した除外処理のステップを行うシーン判別制御部１１５の処理内容について、図１１のフローチャートを参照しながら説明する。本実施形態では、これらの処理が第１の実施形態で説明したステップＳ３０２の鮮やか分類処理として行われる。
【００６８】
ステップＳ１１０１では、シーン判別制御部１１５が、色相ヒストグラム生成部１１２により算出された色相数を所定の閾値と比較する。色相数が所定の閾値以上であれば、ステップＳ１１０２へ進み、所定の閾値より少なければステップＳ１１０３へ進む。ここでの閾値は、第１の実施形態において、図５を用いて説明したカラフルの鮮やかなシーンと単色の鮮やかなシーンとの判別の際に用いた閾値よりも小さい値に設定する。ここでは、閾値を３とした場合で説明する。
【００６９】
ステップＳ１１０２では、第１の実施形態と同様に、色相数を所定の閾値と比較して現在のシーンがカラフルの鮮やかなシーンである可能性があるか単色の鮮やかなシーンである可能性があるかを判別し、その結果に応じてシーン判別の閾値を決定する。すなわち、色相数が閾値以上である場合は、Ｔｈ＿Ａｒｅａ（カラフル）とＴｈ＿Ｃｈｒｏｍａ（カラフル）の値をシーン判別部１１４へ出力する。逆に色相数が閾値未満である場合には、Ｔｈ＿Ａｒｅａ（単色）とＴｈ＿Ｃｈｒｏｍａ（単色）の値をシーン判別部１１４へ出力する。シーン判別部１１４その後、シーン判別制御部１１５は、シーン判別部１１４へシーンの判別を行うよう指示する。
【００７０】
ステップＳ１１０３では、シーン判別制御部１１５が、現在のシーンを鮮やかとは判別しないようにシーン判別部１１４へ指示する。
【００７１】
次に、シーン判別部１１４が行うシーン判別処理について、図１２のフローチャートを参照しながら説明する。
【００７２】
ステップＳ１２０１では、シーン判別部１１４が、シーンの判別処理を行うか否かを判断する。すなわち、シーン判別制御部１１５がシーン判別処理を行うよう指示した場合には、ステップＳ１２０２へ進み、シーン判別処理を実行する。シーン判別制御部１１５がシーン判別処理を行わないよう指示した場合には、ステップＳ１２０６へ進む。
【００７３】
したがって、図９（ａ）のような画像が入力された場合には、ステップＳ１２０２以降で所定の判別閾値に基づいて鮮やかなシーンか否かの判別が行われる。一方、図９（ｂ）のような画像が入力された場合には、ステップＳ１２０６に進み、鮮やかなシーンとは判別されないこととなる。
【００７４】
ステップＳ１２０２〜ステップＳ１２０４でのシーン判別処理は、第１の実施形態における図６のステップＳ６０１〜ステップＳ６０３での処理内容と同様であるため、ここでは詳細な説明は省略する。ステップＳ１２０４での判別条件が満たされた場合にはステップＳ１２０５へ進み、現在のシーンを鮮やかと判別する。判別条件が満たされなかった場合にはステップＳ１２０６へ進み、現在のシーンは鮮やかではないと判別する。
【００７５】
ステップＳ１２０７では、シーン判別部１１４が、シーン判別結果の情報をカメラ制御部１１３へ出力する。以上が、シーン判別部１１４が行う処理内容である。
【００７６】
カメラ制御部１１３は、シーン判別部１１４で判別されたシーン判別結果の情報に基づいて色差信号補正部１０８のパラメータを制御する。本実施形態では、前述の色差信号補正部１０８の彩度ゲインＧを制御する。彩度ゲインＧとしてＧ１、Ｇ２というパラメータがあり、Ｇ１＞Ｇ２（Ｇ１、Ｇ２は１以上）という関係である。ここで、シーンを鮮やかと判別した場合はＧ１を、鮮やかなシーンではないと判別した場合はＧ２を、彩度ゲインとして設定する。即ち、鮮やかなシーンでは、色差信号に対するゲインをより高くすることで、彩度を強調した画像に補正する。
【００７７】
以上、説明したように、本発明では、鮮やかなシーンか否かを判別し、判別結果に応じて画像処理を制御する画像処理装置において、色分布の広がりに応じてシーンの判別を制御した。具体的には、色相数が所定の閾値より少ない場合には、鮮やかなシーンとは判別しないように制御した。
これにより、有彩色で一様に塗られた壁を背景として撮影した場合など、彩度は高いがユーザが鮮やかな被写体を撮影しようと意図していないシーンを判別することが可能となり、人間の知覚により近い鮮やかなシーンの判別を行うことが可能となる。
【００７８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７９】
なお、上記実施形態では、色相の広がりと彩度情報に基づいて鮮やかと判別するか否かを制御したが、本発明は、シーン判別の制御方法をこれに限定するものではない。ユーザの意図としては、彩度あるいは輝度の分布の広がり度合いが小さいものも、鮮やかに写したい被写体ではない場合が多い。そこで、色相ヒストグラム生成部１１２において、色相ヒストグラムと併せて彩度彩度分布または輝度輝度分布を生成する。それらの広がりが所定の閾値より狭い場合に、シーンを鮮やかと判別しないようにすることで、よりユーザの意図を反映した制御とすることもできる。
【００８０】
（第４の実施形態）
第３の実施形態では、鮮やかなシーンの判別に、色分布の広がりの情報を用いる場合について説明した。具体的には、画像中の色相数が所定の閾値より少ない場合には、鮮やかなシーンとは判別しないように制御した。
【００８１】
第４の実施形態では、画像中の特定の領域における色分布に応じて、鮮やかなシーンの判別を制御する場合について説明する。
【００８２】
図１３に本実施形態に係る撮像装置の主要な構成を示した。図１に示した構成要素と同様の構成要素には同一の符号を付し、その詳細な説明は省略する。本実施形態では、図１に比べて、背景抽出部１３０１が新たに追加されている。
【００８３】
背景抽出部１３０１は、画像中の背景の領域を抽出し、その位置や範囲の情報を色相ヒストグラム生成部１１２へ出力する。
【００８４】
次に、第４の実施形態に関る撮像装置の処理動作について説明する。
【００８５】
被写体像がレンズ１０１へ入射してから色相・彩度算出部１１１においてブロック毎の色相・彩度が算出されるまでの一連の処理は、第１の実施形態と同様であるため、ここではその詳細な説明は省略する。
【００８６】
本実施形態では、色相ヒストグラム生成部１１２が、画像中の背景部分のみを用いて色相ヒストグラムを生成する点が上述の実施形態と異なる。
【００８７】
これを行うために、本実施形態では、背景抽出部１３０１が画像中の背景部分を抽出する。具体的には、背景抽出部１３０１は、公知の顔認識処理を用いて、画像内の人物の顔を検出し、その位置やサイズを算出する。この算出結果に基づいて、背景抽出部１３０１は、画像中の人物を含む被写体領域と、それ以外の背景領域とに画像を区分する。その後、背景抽出部１３０１は、信号分割部１１０に設定されている８×８に画像を分割したブロックの位置やサイズの情報を用いて、背景領域と重複しているブロックを抽出する。図１４に上述の方法により背景領域にあたるブロックを抽出した画像の例を示した。図１４において、斜線で塗りつぶされているブロックが背景領域として抽出されたブロックを表す。背景抽出部１３０１は、このブロックの位置を、背景領域の情報として色相ヒストグラム生成部１１２へ出力する。
【００８８】
次に、本実施形態における色相ヒストグラム生成部の処理動作について説明する。第１の実施形態の場合と同様に、色相ヒストグラム生成部１１２は色相ヒストグラムを生成した後、色相数を算出してシーン判別制御部１１５へ出力する。ただし、色相ヒストグラム生成部１１２は、図１４で説明した背景領域として区分されたブロックのみを用いて色相ヒストグラムを生成する。
【００８９】
これ以降の処理、すなわち、シーン判別制御部１１５によるシーン判別の制御、シーン判別部１１４によるシーン判別処理、及び、カメラ制御部１１３による色相補正処理は、第３の実施形態と同様であるため、ここではその詳細な説明は省略する。
【００９０】
以上、説明したように、本発明では、鮮やかなシーンか否かを判別し、判別結果に応じて画像処理を制御する画像処理装置において、背景領域の色分布の広がりに応じてシーンの判別を制御した。具体的には、背景領域に含まれる色相数が所定の閾値より少ない場合には、鮮やかなシーンとは判別しないように制御した。
【００９１】
これにより、有彩色で一様に塗られた壁を背景として撮影した場合など、彩度は高いがユーザが鮮やかな被写体を撮影しようと意図していないシーンを判別することが可能となり、人間の知覚や意図により近い鮮やかなシーンの判別を行うことが可能となる。
【００９２】
なお、上記実施形態では、背景領域の抽出を公知の顔認識技術を用いる方法を用いて行う場合について説明したが、本発明は、背景の抽出方法をこれに限定するものではない。例えば、撮影時に合焦状態にあった領域である焦点検出領域の位置を取得し、その位置に基づいて背景を抽出しても良い。この場合、主要な被写体は焦点検出領域、及び、その周囲に存在すると考えられるため、画像領域から焦点検出領域、及び、その周囲を除いた領域を背景として抽出すれば良い。
【００９３】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００９４】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００９５】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００９６】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００９７】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【産業上の利用可能性】
【００９８】
本実施形態では、本発明を適用できる画像処理装置として、撮像装置を例として説明したが、これに限らない。撮像装置の中でも、静止画、動画の撮影が行えるものどちらにも適用可能であるし、外部から画像データを取得して処理を行うプリンタなどの画像形成装置や、パーソナルコンピュータなどの情報処理装置でも、本発明は適用できる。
【符号の説明】
【００９９】
１０５ 輝度・色信号生成部
１０６ ＷＢ増幅部
１０７ 色差信号生成部
１０８ 色差信号補正部（画像処理手段）
１０９ エンコーダ
１１０ 信号分割部
１１１ 色相・彩度算出部
１１２ 色相ヒストグラム生成部（色分布情報算出手段）
１１３ カメラ制御部
１１４ シーン判別部
１１５ シーン判別制御部
【特許請求の範囲】
【請求項１】
画像データを取得する取得ステップと、
前記画像データの色相分布を生成する生成ステップと、
前記色相分布における色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別ステップと、
前記判別ステップでの判別結果を出力する出力ステップと、を有することを特徴とする画像処理方法。
【請求項２】
前記判別ステップでは、前記色相分布における色分布の広がり度合いが小さいほど、対応する前記判別条件として、鮮やかなシーンと判別しにくくなる条件が設定されることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記判別条件は、前記画像データの彩度が所定値より高い場合、鮮やかなシーンであると判別するものであり、
前記所定値は、前記色相分布が第１の状態であった場合には第１の彩度閾値、前記色相分布が、前記第１の状態よりも色分布の広がりの度合いが小さい第２の状態である場合には、前記第１の彩度閾値よりも値の大きい第２の彩度閾値であることを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記判別条件は、前記画像データの画像全体を複数のブロックに分割し、第２の彩度閾値より大きい彩度であるブロックの数が所定数より多い場合、鮮やかなシーンであると判別するものであり、
前記所定数は、前記色相分布が第１の状態であった場合には第１のブロック閾値、前記色相分布が、前記第１の状態よりも色分布の広がりの度合いが小さい第２の状態である場合には、前記第１のブロック閾値よりも値の大きい第２のブロック閾値であることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理方法。
【請求項５】
前記判別条件は、前記画像データの彩度を前記色分布の広がり度合いに応じて補正し、前記補正された前記画像データの彩度を用いて鮮やかなシーンであるか否かを判別するものであり、
前記画像データの彩度の補正量は、前記色分布が第１の状態であった場合には第１の補正量、前記色分布が、前記第１の状態よりも広がりの度合いが小さい第２の状態である場合には、前記第１の補正量よりも値の大きい第２の補正量であることを特徴とする請求項１または２に記載の画像処理方法。
【請求項６】
前記生成手段によって生成される色相分布は色相ヒストグラムであり、
前記色相分布における色分布の広がり度合いは、前記色相ヒストグラムの、第３の彩度閾値より彩度の大きい色相の数に対応することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理方法。
【請求項７】
前記生成手段によって生成される色相分布は色相ヒストグラムであり、
前記色相分布における色分布の広がり度合いは、前記色相ヒストグラムの度数がゼロでない色相数、前記色相ヒストグラムのピークに含まれる度数が全体に占める割合、前記色相ヒストグラムのピークの幅のいずれかに対応することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理方法。
【請求項８】
前記判別条件は、前記画像データの彩度分布または輝度分布の分布の広がり度合いが狭いほど、前記画像データの画像が鮮やかなシーンであると判別しにくくなるものであることを特徴とする請求項１乃至７のいずれか１つに記載の画像処理方法。
【請求項９】
前記画像データの主要な被写体が存在する領域を除外した背景領域を抽出する抽出ステップを有し、
前記背景領域のみを用いて、前記色分布の広がり度合いを算出することを特徴とする請求項１乃至８のいずれか１つに記載の画像処理方法。
【請求項１０】
請求項１乃至９のいずれか１つに記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１１】
請求項１乃至９のいずれか１つに記載の画像処理方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項１２】
画像データを取得する取得手段と、
前記画像データの色相ヒストグラムを生成する生成手段と、
前記色相ヒストグラムにおける色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別手段と、
前記判別ステップでの判別結果に応じて、画像データの彩度補正を行う補正手段とを有することを特徴とする画像処理装置。
【請求項１３】
被写体を撮像し、画像データを出力する撮像手段と、
前記画像データの色相ヒストグラムを生成する生成手段と、
前記色相ヒストグラムにおける色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別手段と、
前記判別ステップでの判別結果に応じて、画像データの彩度補正を行う補正手段と、を有することを特徴とする撮像装置。
【請求項１】
画像データを取得する取得ステップと、
前記画像データの色相分布を生成する生成ステップと、
前記色相分布における色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別ステップと、
前記判別ステップでの判別結果を出力する出力ステップと、を有することを特徴とする画像処理方法。
【請求項２】
前記判別ステップでは、前記色相分布における色分布の広がり度合いが小さいほど、対応する前記判別条件として、鮮やかなシーンと判別しにくくなる条件が設定されることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記判別条件は、前記画像データの彩度が所定値より高い場合、鮮やかなシーンであると判別するものであり、
前記所定値は、前記色相分布が第１の状態であった場合には第１の彩度閾値、前記色相分布が、前記第１の状態よりも色分布の広がりの度合いが小さい第２の状態である場合には、前記第１の彩度閾値よりも値の大きい第２の彩度閾値であることを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記判別条件は、前記画像データの画像全体を複数のブロックに分割し、第２の彩度閾値より大きい彩度であるブロックの数が所定数より多い場合、鮮やかなシーンであると判別するものであり、
前記所定数は、前記色相分布が第１の状態であった場合には第１のブロック閾値、前記色相分布が、前記第１の状態よりも色分布の広がりの度合いが小さい第２の状態である場合には、前記第１のブロック閾値よりも値の大きい第２のブロック閾値であることを特徴とする請求項１乃至３のいずれか１つに記載の画像処理方法。
【請求項５】
前記判別条件は、前記画像データの彩度を前記色分布の広がり度合いに応じて補正し、前記補正された前記画像データの彩度を用いて鮮やかなシーンであるか否かを判別するものであり、
前記画像データの彩度の補正量は、前記色分布が第１の状態であった場合には第１の補正量、前記色分布が、前記第１の状態よりも広がりの度合いが小さい第２の状態である場合には、前記第１の補正量よりも値の大きい第２の補正量であることを特徴とする請求項１または２に記載の画像処理方法。
【請求項６】
前記生成手段によって生成される色相分布は色相ヒストグラムであり、
前記色相分布における色分布の広がり度合いは、前記色相ヒストグラムの、第３の彩度閾値より彩度の大きい色相の数に対応することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理方法。
【請求項７】
前記生成手段によって生成される色相分布は色相ヒストグラムであり、
前記色相分布における色分布の広がり度合いは、前記色相ヒストグラムの度数がゼロでない色相数、前記色相ヒストグラムのピークに含まれる度数が全体に占める割合、前記色相ヒストグラムのピークの幅のいずれかに対応することを特徴とする請求項１乃至５のいずれか１つに記載の画像処理方法。
【請求項８】
前記判別条件は、前記画像データの彩度分布または輝度分布の分布の広がり度合いが狭いほど、前記画像データの画像が鮮やかなシーンであると判別しにくくなるものであることを特徴とする請求項１乃至７のいずれか１つに記載の画像処理方法。
【請求項９】
前記画像データの主要な被写体が存在する領域を除外した背景領域を抽出する抽出ステップを有し、
前記背景領域のみを用いて、前記色分布の広がり度合いを算出することを特徴とする請求項１乃至８のいずれか１つに記載の画像処理方法。
【請求項１０】
請求項１乃至９のいずれか１つに記載の画像処理方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１１】
請求項１乃至９のいずれか１つに記載の画像処理方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【請求項１２】
画像データを取得する取得手段と、
前記画像データの色相ヒストグラムを生成する生成手段と、
前記色相ヒストグラムにおける色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別手段と、
前記判別ステップでの判別結果に応じて、画像データの彩度補正を行う補正手段とを有することを特徴とする画像処理装置。
【請求項１３】
被写体を撮像し、画像データを出力する撮像手段と、
前記画像データの色相ヒストグラムを生成する生成手段と、
前記色相ヒストグラムにおける色分布の広がり度合いに応じた判別条件が設定され、該判別条件で、前記画像データの画像が鮮やかなシーンであるか否かを判別する判別手段と、
前記判別ステップでの判別結果に応じて、画像データの彩度補正を行う補正手段と、を有することを特徴とする撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−１３５５１０（Ｐ２０１１−１３５５１０Ａ）
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願番号】特願２００９−２９５４３４（Ｐ２００９−２９５４３４）
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年７月７日（２０１１．７．７）
【国際特許分類】
【出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]