説明

画像処理装置及びその制御方法

【課題】 ユーザの手を煩わせることなく、鮮やかなシーンに対して適正な画質設定を行うことができる撮像装置及びその制御方法を提供する。
【解決手段】 撮影により得られた映像信号の彩度及び色相の数によって、被写体の撮影シーンとして、色数が少なくかつ鮮やかなシーンと、色数が多くかつ鮮やかなシーンを検出する(S103,S105)。その後、上記映像信号に対して、検出された撮影シーンに応じた色補正処理を行う(S107,S109,S110)。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及びその制御方法に関し、特に、撮像装置の画質補正技術に関する。
【背景技術】
【0002】
撮像装置の信号処理において、撮影するシーンごとに適正な画質補正は異なる。そのため、ユーザに撮影に用いるシーンモードを複数のモードの中から選択させ、選択されたシーンモードに応じて撮像装置の設定を切り替え、各シーンモードに適した画質補正を行う技術が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2007−267170号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、撮影シーンに応じて適正なシーンモードに切り替えることは、ユーザにとって面倒である。また、特に初心者にとっては、適正なシーンモードを判断するのは困難である。
【0005】
従来技術として、明るさ検出部、彩度調整部を備え、被写体の明るさ情報に対応する彩度の知覚変化に従って、画像データの彩度を変化させるものがある(特許文献1)。しかし、これは被写体の明るさに応じて彩度を調整するものであり、被写体自体の色が鮮やかであるかや、色味の多いカラフルなものであるかを考慮してはいない。そのため、被写体の色の濃さや色の分布によらず共通の補正がかかるため、単色で鮮やかな被写体や色味が多くカラフルな被写体に対しては、補正が最適でなくなってしまう。例えば、単色で鮮やかな被写体に対して、単純に彩度を上げるだけでは、補正効果は少ない。
【0006】
そこで本発明は、ユーザの手を煩わせることなく、色鮮やかなシーンに対して適正な画質設定を行うことができる撮像装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一側面によれば、撮影により得られた映像信号の彩度及び色相の数によって、被写体の撮影シーンとして、色数が所定値より少なくかつ鮮やかなシーンと、色数が所定値より多くかつ鮮やかなシーンを検出する検出手段と、前記映像信号に対して、前記検出手段により検出された撮影シーンに応じた色補正処理を行う補正手段とを有することを特徴とする撮像装置が提供される。
【発明の効果】
【0008】
本発明によれば、ユーザの手を煩わせることなく、色鮮やかなシーンに対して適正な画質設定を行うことができる撮像装置及びその制御方法が提供される。
【図面の簡単な説明】
【0009】
【図1】実施形態における撮像装置の構成を示す概略構成図。
【図2】実施形態における撮像装置の概観を示す斜視図。
【図3】実施形態における画像シーンに応じた補正処理を説明する図。
【図4】実施形態における鮮やかシーン判定処理を示すフローチャート。
【図5】実施形態における単色鮮やか処理を示すフローチャート。
【図6】実施形態におけるカラフル鮮やか処理を示すフローチャート。
【図7】(a)は実施形態における単色鮮やかシーン検出処理を示すフローチャート、(b)はカラフル鮮やかシーン検出処理を示すフローチャート。
【発明を実施するための形態】
【0010】
(実施形態1)
図1は、本実施形態における撮像装置の構成を示す概略構成図である。101はレンズであり、レンズ101の後方には絞り102が配置されている。レンズ101、絞り102を介した光は、イメージセンサ105の結像面上に被写体像として結像される。イメージセンサ105において、結像された被写体像は光信号から映像信号に変換される。
【0011】
イメージセンサ105により得られた映像信号は、信号処理部112に送られる。映像信号は信号処理部112において、色補正処理部108により色補正処理が施され、ディスプレイ116に出力されるか、あるいは、磁気テープ115、あるいはDVDディスク117、あるいはメモリカード118に記録される。また、カメラ情報検出部110において、輝度、色などのカメラ情報が検出され、カメラマイコン111に送られる。信号処理部112における色補正処理以外の処理については、ここでは図示しない。
【0012】
カメラマイコン111は、カメラ情報検出部110から得られる、輝度、色などのカメラ情報から、単色で鮮やかなシーンと、色数が多くカラフルなシーンと、それ以外の通常シーンのシーン検出を行い、撮影シーンを判定する。さらに、判定したシーンに基づき色補正値を算出する。そして、算出された色補正値を色補正処理部108に設定することで、映像の色補正を行い、映像の色再現性が適正になるように処理する。カメラマイコン111による鮮やかシーン判定処理、単色鮮やかシーン検出処理、カラフル鮮やかシーン検出処理、単色鮮やかシーンに対する色補正処理、カラフル鮮やかシーンに対する色補正処理については、後で詳しく述べる。
【0013】
さらに、カメラマイコン111は、イメージセンサ制御部106を通じて、イメージセンサ105の蓄積、読み出しなどの制御を行う。また、レンズ制御部103を通じて、レンズ101のフォーカス、ズームなどの制御を行う。また、イメージセンサ105から得られる画像データから求められる被写体の輝度情報を用いて、絞り制御部104を通じて、絞り102の制御を行い、また、イメージセンサ制御部106を通じて、シャッタースピードの制御を行うことで、露出制御を行う。また、レンズ制御部103を通じてレンズ101を駆動するか、あるいは、信号処理部112を制御することで、使用者の撮影時の手ぶれを補正する。
【0014】
図2において撮像装置本体120内部には、DVDディスク、磁気テープおよびメモリカードなどの記録媒体が収納され、映像信号および静止画像を記録再生できるようになっている。121はレンズ部である。122はマイクロホンであり、撮影時の音声を記録するために備えられている。123は電子式ビューファインダ(EVF)であり、覗き込むことによりカメラ撮影時に被写体を狙ったり確認したりするために備えられている。124は動画用トリガスイッチである。動画用トリガスイッチ124は例えばプッシュボタンであり、動画撮影開始および終了を機器に伝達するために使用者が操作するスイッチである。125は静止画用トリガスイッチである。静止画用トリガスイッチ125は例えばプッシュボタンであり、静止画撮影開始および終了を機器に伝達するために使用者が操作するスイッチである。
【0015】
126はモードダイヤルであり、例えば回転式のスイッチからなる。モードダイヤル126では、例えば再生モードに設定する“再生”、カメラモードに設定する“カメラ”およびそのいずれでもない“OFF”のいずれかを選択できる。127は操作スイッチ群であり、使用者が本体を操作するため、ホワイトバランスモードを入力するためのキーや、その他のメニュー操作や再生系の操作などのためのキーが配置されている。128は本体側面に開閉自在となるように取り付けられた液晶パネルであり、EVF123と同様に、カメラ撮影時には被写体像の確認、再生時には再生画像の表示に主に使用される。液晶パネル128は、撮像装置本体120から開いている状態で、さらに水平方向にも回転可能になっている。129はスピーカであり、再生するときに音声を出力するために設けられている。130はバッテリであり、撮像装置本体120と着脱可能になっている。
【0016】
次に本発明の特徴部分である、画像データに施す撮影シーンに応じた画像処理について説明する。本実施形態では、撮像系から取り込まれた画像データに基づいて、この画像データが撮影されたシーンが鮮やかなシーンであるか否かを判定し、判定結果に応じた画像処理を画像データに施す処理を行う。このとき、鮮やかなシーンの中でも色分布が異なると鮮やかさの感じ方が異なることに着目して、得られた画像データの色の分布に応じて異なるシーン判定処理を行い、単色鮮やかシーン、カラフル鮮やかシーンに応じて異なる補正処理を行う。
【0017】
図3の(a)、(b)は共に花を撮影した場合の画像であるが、色の分布の仕方が異なる。(a)は様々な色の花を撮影した場合を表しており、画像内に存在する色数が多い。一方、(b)はある色の花を撮影した場合を表しており、画像内に存在する色数が少ない。このような場合、人間の知覚では、(a)の色数の多い画像の方が、(b)の色数の少ない画像に比べて同じ彩度でも鮮やかに感じやすく、適切な補正処理が異なる。よって本実施形態では、画像データの撮影されたシーンが単色、カラフルいずれの鮮やかなシーンに当たるかを分類し、分類結果に応じた補正処理を行う。以下、図3(a)のように画像中の色数が所定値より多いシーンを「カラフル鮮やかシーン」と呼び、図3(b)のように画像中の色数が所定値より少ないシーンを「単色鮮やかシーン」と呼ぶ。
【0018】
カメラマイコン111による、鮮やかシーン判定処理について、図4のフローチャートを参照して説明する。図4は、本実施形態の鮮やかシーン判定処理を示すフローチャートである。電源が投入されると、カメラマイコン111は、鮮やかシーン判定を開始する(S101)。まず、カメラ情報検出部110から得られた輝度、色などのカメラ情報を用いて、色数の少ない単色で鮮やかなシーンかどうかの判定を行う(S103)。単色鮮やかシーンであれば、色補正処理部108において、色数の少ない単色で鮮やかなシーンに適した色補正処理を施す(S107)。一方、単色鮮やかシーンでない場合には、次に、色味が多くカラフルなシーンかどうかの判定を行う(S105)。カラフル鮮やかシーンと判定されれば、色補正処理部108において、色味が多くカラフルなシーンに適した色補正処理を施す(S109)。一方、S105において、カラフル鮮やかシーンでなければ、色補正処理部108において、通常の色補正処理を施す(S110)。単色鮮やか処理、および、カラフル鮮やか処理の具体的な補正処理については、後で、詳しく述べる。
【0019】
次に、本実施形態の撮像装置におけるカメラマイコン111による、単色鮮やか処理について、図5のフローチャートを参照して説明する。上述したとおり、カメラマイコン111は、S103で単色鮮やかシーンであると判定すると、単色鮮やかシーンに適した色補正処理を開始する(S107)。まず、イメージセンサ105から得られた画像の色分布から、主となる色相を取得する(S114)。ここでは、色相ヒストグラムを生成し、度数の一番多い色相を、主となる色相とすることにする。つづいて、色相ヒストグラムにおいて、取得された主となる色相への集中度を取得する(S116)。具体的には、主となる色相と隣接する所定の閾値以上の色相の度数との和が全体の度数に占める割合を算出する。次に、主となる色相への集中度に応じて、色補正処理における色相の範囲を広げる補正値を算出する(S118)。ここで、被写体の色相ヒストグラムの集中度が高いほど、主となる限定した色相の範囲を広げる補正処理の補正値が大きくなるようにする。つづいて、色補正処理部108において、算出された補正値に基づき、色相の範囲を広げる色補正処理を行う(S120)。具体的には、ヒストグラムの広がりが予め設定した閾値以上になるように、色相の範囲を広げるものとする。色相を広げる色補正処理は、主となる色相を含む特定の色相に対してのみ、マトリクス演算および色ゲイン補正を施し、特定の色相に含まれる入力信号を色相方向に拡張して出力するように処理する。あるいは,色補正に用いるルックアップテーブルを変更し、主となる色相を含む特定の色相に含まれる入力信号を色相方向に拡張して出力するように処理する。その他、主となる色相への集中度に応じて、色補正処理における色相の範囲を広げる補正値を求めるものであればこれらの処理に限定されない。
【0020】
次に、本実施形態の撮像装置におけるカメラマイコン111による、カラフル鮮やか処理について、図6のフローチャートを参照して説明する。上述したとおり、カメラマイコン111は、S105でカラフル鮮やかシーンであると判定すると、カラフル鮮やかシーンに適した色補正処理を開始する(S109)。まず、色相ヒストグラムから色分布の広がりを取得する(S124)。具体的には、所定の彩度閾値(Th7)よりも大きい彩度であるブロックが存在する色相の数を算出する。つづいて、取得された色相ヒストグラムの広がりに応じて、色補正処理における彩度アップ補正値を算出する(S126)。すなわち、色相の数が大きいほど、彩度アップ補正値が大きくなる。つづいて、色補正処理部108において、算出された補正値に基づき、撮影により得られた映像信号に対し全体の彩度を上げる色補正処理を行う(S128)。
【0021】
次に、本実施形態の撮像装置におけるカメラマイコン111による、単色鮮やかシーン検出処理(S103)、および、カラフル鮮やかシーン検出処理(S105)について、図7のフローチャートを参照して説明する。図7(a)、(b)はそれぞれ、S103の単色鮮やかシーン検出処理、および、S105のカラフル鮮やかシーン検出処理の詳細を示すフローチャートである。
【0022】
電源が投入されると、カメラマイコン111は、単色鮮やかシーン検出を開始する(S103)。まず、平均彩度が予め設定された閾値Th1より大きいかを判定する(S132)。平均彩度が閾値Th1以下の場合には、S105のカラフル鮮やかシーン検出処理に移る。一方、平均彩度が閾値Th1より大きい場合には、彩度が予め設定された閾値Th2よりも大きい領域(ブロック)が所定の面積(所定のブロック数)より広いかどうかの判断を行う(S134)。彩度が閾値Th2よりも大きい領域が所定の面積より広くない場合には、S105のカラフル鮮やかシーン検出処理に移る。
【0023】
一方、彩度が閾値Th2よりも大きい領域が所定の面積より広い場合には、彩度が予め設定された閾値Th3よりも大きい色相の数がCminからCmaxの範囲にあるかどうかを判断する(S136)。彩度が閾値Th3よりも大きい色相の数がCminからCmaxの範囲にない場合には、S105のカラフル鮮やかシーン検出処理に移る。一方、彩度が閾値Th3よりも大きい色相の数がCminからCmaxの範囲内である場合には、ピーク色相領域の全体に対する割合が、予め設定された閾値Th4より大きいかを判定する(S138)。ピーク色相領域の全体に対する割合が、閾値Th4以下の場合には、S105のカラフル鮮やかシーン検出処理に移る。一方、ピーク色相領域の全体に対する割合が閾値Th4より大きい場合には、シーン判定は単色鮮やかシーンとなり、S107の単色鮮やか処理に移行する。
【0024】
単色鮮やかシーンが検出されなかった場合、S105のカラフル鮮やかシーン検出処理に移る。まず、平均彩度が予め設定された閾値Th5より大きいかを判定する(S142)。平均彩度が閾値Th5以下の場合には、シーン判定は通常シーンとなり、S110の通常処理に移行する。一方、平均彩度が閾値Th5より大きい場合には、彩度が予め設定された閾値Th6よりも大きい領域が所定の面積より広いかどうかの判断を行う(S144)。
【0025】
彩度が閾値Th6よりも大きい領域が所定の面積より広くない場合には、シーン判定は通常シーンとなり、S110の通常処理に移行する。一方、彩度が閾値Th6よりも大きい領域が所定の面積より広い場合には、彩度が予め設定された閾値Th7よりも大きい色相の数がCよりも大きいかどうかを判断する(S146)。彩度が閾値Th7よりも大きい色相の数がC以下の場合には、シーン判定は通常シーンとなり、S110の通常処理に移行する。
【0026】
彩度が閾値Th7よりも大きい色相の数がCよりも大きい場合には、ピーク色相領域の全体に対する割合が、予め設定された閾値Th8より小さいかを判定する(S148)。ピーク色相領域の全体に対する割合が閾値Th8以上の場合には、シーン判定は通常シーンとなり、S110の通常処理に移行する。一方、ピーク色相領域の全体に対する割合が閾値Th8より小さい場合には、シーン判定はカラフル鮮やかシーンとなり、S109のカラフル鮮やか処理に移行する。
【0027】
以上述べたように、本実施形態の撮像装置は、被写体の色情報を取得し、彩度の高い色相の数によって、色数の多いカラフルなシーンと色数の少ない鮮やかなシーンを検出し、それぞれのシーンに応じた信号処理を施す。これにより、ユーザの手を煩わせることなく、色味が多くカラフルな被写体と単色で鮮やかな被写体をより色彩豊かに撮影することが可能となる。また、色数が少なく単色で鮮やかなシーンにおいて、同系色の微妙な色の違いをより良く再現することが可能となる。
【0028】
また、本実施形態では、鮮やかシーンであると判別された画像データに対して彩度を上げる、あるいは色相の範囲を広げることで、鮮やかさを強調する処理について述べたが、これに限らない。すなわち、鮮やかなシーンに対して逆に彩度を下げる、あるいは色相の範囲を狭めることで、鮮やかさを抑えるような処理にも適用することができる。
【0029】
また、上記実施形態では、鮮やかなシーンであるか否かの判定を平均彩度値と高彩度の領域の大きさの2つの情報を基に行ったが、鮮やかシーンの判定方法をこれに限定するものではない。例えば、画像中で最も彩度が高い領域での彩度情報に基づいて鮮やかシーンの判定を行っても良い。
【0030】
(実施形態2)
本実施形態では、実施形態1における撮像装置におけるカメラマイコン111による、単色鮮やかシーン検出処理、および、カラフル鮮やかシーン検出処理を以下のように置き換える。本実施形態の撮像装置におけるカメラマイコン111による、単色鮮やかシーン検出処理、および、カラフル鮮やかシーン検出処理について、図6のフローチャートを参照しながら説明する。
【0031】
実施形態1においては、単色鮮やかシーン検出処理において用いる閾値Th1、Th2、Th3、Th4、Cmin、Cmaxは、予め設定された定数である場合を説明した。本実施形態においては、閾値Th1、Th2、Th3、Th4、Cmin、Cmaxは変数であり、撮影時のズームの状態に応じて値が変化する。本実施形態の単色鮮やかシーン検出処理において用いる閾値はそれぞれ、ズームがワイド端の場合、Th1w、Th2w、Th3w、Th4w、Cminw、Cmaxwとする。一方、ズームがテレ端の場合は、Th1t、Th2t、Th3t、Th4t、Cmint、Cmaxtとする。また、他のズーム域の場合はそれぞれ、ズーム倍率に応じて、ワイド端とテレ端の閾値の間の値をとる。さらに、実施形態1における閾値Th1、Th2、Th3、Th4、Cmin、Cmaxとの関係は、以下の通りである。
Th1w ≦ Th1 ≦ Th1t
Th2w ≦ Th2 ≦ Th2t
Th3w ≦ Th3 ≦ Th3t
Th4w ≦ Th4 ≦ Th4t
Cminw = Cmin = Cmint
Cmaxw = Cmax = Cmaxt
【0032】
また、実施形態1においては、カラフル鮮やかシーン検出処理において用いる閾値Th5、Th6、Th7、Th8、Cは、予め設定された定数である場合を説明した。本実施形態においては、閾値Th5、Th6、Th7、Th8、Cは変数であり、撮影時のズームの状態に応じて値が変化する。本実施形態のカラフル鮮やかシーン検出処理において用いる閾値はそれぞれ、ズームがワイド端の場合、Th5w、Th6w、Th7w、Th8w、Cwとする。一方、ズームがテレ端の場合は、Th5t、Th6t、Th7t、Th8t、Ctとする。また、他のズーム域の場合は、それぞれ、ズーム倍率に応じて、ワイド端とテレ端の閾値の間の値をとる。さらに、実施形態1における閾値Th5、Th6、Th7、Th8、Cとの関係は、以下の通りである。
Th5w ≦ Th5 ≦ Th5t
Th6w ≦ Th6 ≦ Th6t
Th7w ≦ Th7 ≦ Th7t
Th8w ≦ Th8 ≦ Th8t
Cw = C = Ct
【0033】
そして、本実施形態では、ズーム倍率に応じて、これらシーン検出の閾値を変更する。具体的には、撮影時のズームがワイド側であるほど、すなわちズーム倍率が小さいほど、閾値をそれぞれ、単色鮮やかシーン又はカラフル鮮やかシーンが検出されやすくなるように変更する。これにより、ズームがワイド側になり鮮やかなシーンとして検出されにくくなってしまう点や、逆に、ズームがテレ側になり鮮やかなシーンとして検出されすぎてしまう点を防ぐことができる。なお、撮影時のズームの状態に応じて、シーン検出の閾値が変化すること以外は、実施形態1の単色鮮やかシーン検出処理、および、カラフル鮮やかシーン検出処理と同様である。
【0034】
以上述べたように、ズーム倍率に応じて、鮮やかなシーンの検出の閾値を変えることで、ズーム操作に対して、鮮やかなシーンに対する色補正の変化をよりなめらかに追従させることが可能となる。
【0035】
(他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

【特許請求の範囲】
【請求項1】
撮影により得られた映像信号の彩度及び色相の数によって、被写体の撮影シーンとして、色数が所定値より少なくかつ鮮やかなシーンと、色数が所定値より多くかつ鮮やかなシーンを検出する検出手段と、
前記映像信号に対して、前記検出手段により検出された撮影シーンに応じた色補正処理を行う補正手段と、
を有することを特徴とする撮像装置。
【請求項2】
前記検出手段により前記色数が所定値より多くかつ鮮やかなシーンが検出されたときは、前記補正手段は、前記映像信号の彩度を上げる色補正処理を行うことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記補正手段は、前記映像信号から取得した色相ヒストグラムの広がりに応じた補正値を用いて前記映像信号の彩度を上げる色補正処理を行うことを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記検出手段により前記色数が少なくかつ鮮やかなシーンが検出されたときは、前記補正手段は、前記映像信号のうち主となる限定した色相の範囲を広げる色補正処理を行うことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項5】
前記補正手段は、前記映像信号から取得した色相ヒストグラムにおける前記主となる限定した色相への集中度が高いほど、前記色補正処理における補正値を大きくすることを特徴とする請求項4に記載の撮像装置。
【請求項6】
前記検出手段により前記色数が少なくかつ鮮やかなシーンが検出されたときは、前記補正手段は、前記映像信号から取得した色相ヒストグラムの広がりが予め設定した閾値以上になるように色相の範囲を広げる色補正処理を行うことを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
【請求項7】
前記検出手段は、ズーム倍率が小さいほど、前記撮影シーンを検出するための前記彩度及び前記色相の数の閾値をそれぞれ、前記色数が所定値より少なくかつ鮮やかなシーン及び前記色数が所定値より多くかつ鮮やかなシーンが検出されやすくなるように変更することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
【請求項8】
撮像装置の制御方法であって、
撮影により得られた映像信号の彩度及び色相の数によって、被写体の撮影シーンとして、色数が所定値より少なくかつ鮮やかなシーンと、色数が所定値より多くかつ鮮やかなシーンを検出する検出工程と、
前記映像信号に対して、前記検出工程で検出された撮影シーンに応じた色補正処理を行う補正工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項9】
コンピュータを請求項1乃至7のいずれか1項に記載の撮像装置が有する各手段として機能させるためのプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2013−42561(P2013−42561A)
【公開日】平成25年2月28日(2013.2.28)
【国際特許分類】
【出願番号】特願2012−259057(P2012−259057)
【出願日】平成24年11月27日(2012.11.27)
【分割の表示】特願2009−296387(P2009−296387)の分割
【原出願日】平成21年12月25日(2009.12.25)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】