画像処理装置、制御方法、およびプログラム
【課題】画像のカラーバランスを補正する際に、撮影時の照明環境下における雰囲気を忠実に再現するためには、人間の視覚特性を考慮してその場での“見え”を再現する必要がある。
【解決手段】画像に含まれるオブジェクトを検出する検出手段と、前記検出手段により検出された前記オブジェクトの色値を解析する解析手段と、前記解析手段により解析された色値に基づき、前記画像の撮影時光源を推定する光源推定手段と、前記光源推定手段により推定された前記撮影時光源と前記解析手段により解析された色値とに基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する第１の色変換を施す第１の色変換手段と、前記第１の色変換手段により前記第１の色変換を施した画像に対して、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率を用いて第２の色変換を施す第２の色変換手段とを有する。
【解決手段】画像に含まれるオブジェクトを検出する検出手段と、前記検出手段により検出された前記オブジェクトの色値を解析する解析手段と、前記解析手段により解析された色値に基づき、前記画像の撮影時光源を推定する光源推定手段と、前記光源推定手段により推定された前記撮影時光源と前記解析手段により解析された色値とに基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する第１の色変換を施す第１の色変換手段と、前記第１の色変換手段により前記第１の色変換を施した画像に対して、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率を用いて第２の色変換を施す第２の色変換手段とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力されたデジタル画像データに対して、撮影時の光源の色温度を推定し、該色温度に従って画像のカラーバランスを補正する画像処理装置、制御方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラで撮影された画像データ、あるいはアナログカメラで撮影されたフィルムを光学的にスキャンして得られた画像データに対して、撮影時光源を推定し、カラーバランス補正を行う方法が提案されている。
【０００３】
また、特許文献１では、予めカメラの代表的な分光分布に基づくグレーと肌の色の黒体軌跡を保持しておく。カメラのカラーバランス補正の逆変換を行う意味で、各画素のＲＧＢ成分に対して様々な係数を乗じ、変換後の画素について前記黒体軌跡近傍に存在する画素数を評価することで撮影時光源の推定を行う。光源を推定した後は、変換後の画像を所定の光源下における色に変換することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１５２７７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上説明したようなカラーバランス補正方法には、以下のような課題が存在する。上記の特許文献は光源推定が行われた後に、予め定められた所定の光源下の色に変換しているのみである。これでは撮影時に撮影者がその場で見ていた“見え”を再現していることにならない。
【０００６】
人間の目には、色順応という機能が備わっている。例えば、昼光下（色温度５５００ケルビン付近）にしばらくいた後、白熱灯の部屋（色温度３０００ケルビン付近）に入ると、入った瞬間は白い物体がオレンジがかって見える。しかし、しばらくするとその物体は無彩色に近い状態で見えてくる。これが色順応であり、照明光に色が付いていた場合に、人間の目における３種類の錐状体（Ｌ，Ｍ，Ｓ）が、異なった感度調整を行って、昼光下での見え方を維持しようと働くことから生じる機能である。
【０００７】
一方で、色順応は、完全には動作しないことが良く知られている。すなわち、白熱灯の部屋に長時間いても、上述したような白い物体が、無彩色に近い状態には見えるが、完全に無彩色な状態になることはない。これを、不完全順応と呼ぶ。
【０００８】
このように、人間の目はその照明光源下において、不完全順応した状態でモノを見ていることになる。そのため、その場での“見え”を再現しなければ、カラーバランス補正後の画像は、実際に人間の目が見えている映像とは差異が生じ、結果として違和感を生じさせる。上記問題を解決するには、撮影時光源の推定と、該光源下における人間の視覚特性を考慮したカラーバランス補正が望まれるが、これまではそのような提案がなされていなかった。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するために、以下の手段を有する。カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置であって、前記画像に含まれるオブジェクトを検出する検出手段と、前記検出手段により検出された前記オブジェクトの色値を解析する解析手段と、前記解析手段により解析された色値に基づき、前記画像の撮影時光源を推定する光源推定手段と、前記光源推定手段により推定された前記撮影時光源と前記解析手段により解析された色値とに基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する第１の色変換を施す第１の色変換手段と、前記第１の色変換手段により前記第１の色変換を施した画像に対して、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率を用いて第２の色変換を施す第２の色変換手段とを有する。
【００１０】
また、本発明は別の形態として、以下の手段を有する。カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置であって、前記画像に含まれるオブジェクトを検出する検出手段と、前記検出手段により検出された前記オブジェクトの色値を解析する解析手段と、前記解析手段により解析された色値に基づき、前記画像の撮影時光源を推定する光源推定手段と、前記光源推定手段により推定された前記撮影時光源と前記解析手段により解析された色値とに基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する際に用いる第１の色変換パラメータを算出する第１の算出手段と、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率により色変換を行う際に用いる第２の色変換パラメータを算出する第２の算出手段と、前記第１の色変換パラメータおよび前記第２の色変換パラメータを用いて、多次元ＬＵＴを生成する生成手段と、前記多次元ＬＵＴを用い、前記画像の色値の補間を行う補間手段とを有する。
【発明の効果】
【００１１】
本発明により、入力画像の撮影時光源を推定し、該光源下における人間の視覚特性に基づいたカラーバランス補正を実現することができる。特に人間の視覚特性のうち、色順応の不完全性をも考慮した色変換を行うことが可能である。この結果、従来技術に比べ、撮影時の雰囲気をより忠実に再現した写真画像の表示、あるいは出力物を得ることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の画像処理方法を実行するためのハードウェア構成。
【図２】第１の実施形態に係る機能ブロック図。
【図３】第１の実施形態に係るヒストグラム算出部のフロー図。
【図４】ハイライト輝度値を決定する処理の説明図。
【図５】第１の実施形態に係る光源推定処理のフロー図。
【図６】本発明の光源推定部におけるグレー軸の設定例を示す図。
【図７】本発明の光源推定部におけるグレー・肌色マップ作成処理のフロー図。
【図８】本発明の肌色画素を特定する処理の説明図。
【図９】第１の実施形態に係る第２の色変換部のフロー図。
【図１０】各種光源下における白点情報の保持例を示す図。
【図１１】第２の色変換前後での変換量の説明図。
【図１２】第３の実施形態に係る第１の色変換部のフロー図。
【図１３】第３の実施形態に係る肌色の軌跡およびシフトベクトルの説明図。
【図１４】第３の実施形態に係る色シフト処理を説明するための図。
【図１５】第４の実施形態に係る順応率の設定例を示す図。
【図１６】第５の実施形態に係る機能ブロック図。
【図１７】第５の実施形態に係る３ＤＬＵＴ生成部のフロー図。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
以下、本発明における第１の実施形態について説明する。なお、以下の記載は画像処理装置の本体内部の画像処理を想定して説明を行うが、これはあくまで１つの実施形態を例として示したものであり、本発明は以下の実施に限定されるものではない。
【００１４】
（ハードウェア構成の説明）
図１に本発明の画像処理方法を実施可能なハードウェア構成１００を示す。なお、図１は本実施形態における例であり、本発明は図１の構成に限定されることはない。
【００１５】
図１において、本実施形態を適用可能なプリンタはＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３を有し、各機能ブロックがシステムバス１１２に接続されている。本実施形態の動作を実行するプログラムコードはＲＯＭ１０３に格納され、動作時にＲＡＭ１０２に読み込まれ、ＣＰＵ１０１によって実行される。
【００１６】
また、ＨＤＤやフラッシュメモリ等の２次記憶装置１０４は、マウス１０８やキーボード１０９が、インタフェース１０５を介して接続されている。また、プリンタ１１０がインタフェース１０６を介して、また、補正前後の画像を評価するために表示するモニタ１１１が、ビデオカード１０７を介して接続されている。
【００１７】
（全体処理フローの説明）
以下では、図２を用いて、本実施形態における画像処理の全体構成について説明する。入力画像２００は、本実施形態において、例えばデジタルカメラで撮影されたデジタル画像、あるいはアナログカメラで撮影されたフィルムを光学的にスキャンして得られたデジタル画像などが想定される。入力画像２００のデータフォーマットについて、本実施形態では特に限定しないが、本実施形態においては説明を簡単にするために、入力画像２００の色空間はｓＲＧＢ（ｓｔａｎｄａｒｄ ＲＧＢ）で、各画素値が８ｂｉｔのＲＧＢ成分値で構成されているものとする。
【００１８】
入力画像２００はオブジェクト検出部２０１に入力され、同部において、画像中から注目被写体（注目オブジェクト）を検出する。以降、本実施形態では注目するオブジェクトとして人物の顔を例に挙げて説明を行うが、本実施形態はこれに限定されるものではない。オブジェクトの検出が行われると、次にオブジェクト色算出部２０２において、検出されたオブジェクトの色を算出する。算出したオブジェクト色情報は光源推定部２０４に入力される。
【００１９】
一方、入力画像２００はＨＬ色算出部２０３に入力され、同部において、画像のハイライト色（以降、ＨＬ色）を算出する。これによりハイライト色算出手段を実現する。ＨＬ色とは、画像の最も明るい領域（画素）の色である。該ＨＬ色も、オブジェクト色と同様に光源推定部２０４に入力される。
【００２０】
次に、光源推定部２０４において、入力されたＨＬ色とオブジェクト色とを用いて、撮影時光源の推定を行う。本実施形態においては、撮影時光源の推定方法について特に限定するものではなく、例えば、従来例で述べたような引用文献１に開示されているもの等の中からいずれを用いても構わない。
【００２１】
光源推定部２０４にて撮影時の光源推定が行われると、その結果として、例えば撮影時光源の色温度値が決定され、決定された色温度値は第１の色変換部２０５に入力される。通常、デジタルカメラ（撮像装置）はカラーバランス補正機能を有し、そのようなデジタルカメラで撮影された画像は、カメラ内部で独自のカラーバランス補正が施されている。そのため、第１の色変換部２０５にて、画像に対するデジタルカメラによるカラーバランス補正をキャンセルし、カラーバランス補正前の状態に入力画像２００を変換する。
【００２２】
第１の色変換後の画像は第２の色変換部２０６に入力され、同部において、第２の色変換処理が施される。第２の色変換部２０６では、人間の視覚特性を考慮し、第１の色変換部２０５によりカメラ内部のカラーバランス補正をキャンセルした状態の画像に対して、撮影時光源下における“見え”に近づけるように画像の色変換を行う。第２の色変換部２０６による第２の色変換後の画像は出力画像として、２次記憶装置１０４に記憶されたり、モニタ１１１に表示されたり、プリンタ１１０で印字媒体上に印字される。以上が、本実施形態における処理のブロック図の説明である。以下、図２に示す各部の動作について、フローチャートを参照しながら処理の詳細を説明する。
【００２３】
（各部の詳細：オブジェクト検出部、オブジェクト色算出部）
オブジェクト検出部２０１において、入力画像２００中の主要被写体を検出する処理が行われる。オブジェクトである主要被写体の主なものとしては、人物の顔が挙げられる。人物の顔検出手法としては、すでに様々な手法が提案されている。
【００２４】
例えば、特開２００２−１８３７３１によれば、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。検出された顔候補領域に対して、画素毎の輝度勾配、および輝度勾配の重みを算出し、これらの値を、あらかじめ設定されている理想的な顔基準画像の勾配、および勾配の重みと比較する。その際に、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。その他にも、特開２００３−３０６６７によれば、まず画像中から人物の皮膚の色である肌色領域を検出し、同領域内において、人間の虹彩色画素を検出することにより、目の位置を検出することが可能であるとしている。
【００２５】
さらに、特開平８−６３５９７によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算する。該マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度が所定の閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。同テンプレートを用いるこことで、目の位置を検出することが可能であるとしている。
【００２６】
さらに、特開２０００−１０５８２９によれば、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が大きい画素の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、器官位置の検出が可能であるとしている。
【００２７】
その他、顔および器官位置を検出する方法としては、特開平８−７７３３４、特開２００１−２１６５１５、特開平５−１９７７９３、特開平１１−５３５２５、特開２０００−１３２６８８、特開２０００−２３５６４８、特開平１１−２５０２６７がある。さらには特登録２５４１６８８など、数多くの手法が提案されている。本実施形態では特に手法を限定はしないが、いずれの方法についても適用可能である。
【００２８】
オブジェクト検出部２０１によるオブジェクト検出が成功すると、主要被写体の位置を示す座標を得ることができる。該座標は、顔領域を包含するような矩形座標であっても構わないし、中心と半径で表現されるような円形座標であっても構わない。得られた座標情報は、オブジェクト色算出部２０２に入力され、同部において、主要被写体領域の色の解析を行う。色の解析とは、一般的には、検出した主要被写体領域内の平均色を求めることを意味している。平均色は、例えば、画像を構成している各画素がＲＧＢ値で表現されている場合には、該主要被写体領域内に含まれる画素の各ＲＧＢの平均値を算出することで求めることができる。
【００２９】
本実施形態においては便宜上、上記方法により求めたオブジェクト色を、（ＯｂｊＲ，ＯｂｊＧ，ＯｂｊＢ）として取り扱う。また、上記オブジェクト色をＹＣｂＣｒ色空間に変換した（ＯｂｊＹ，ＯｂｊＣｂ，ＯｂｊＣｒ）も同様にオブジェクト色として取り扱う。
【００３０】
オブジェクト色を取得する別の方法としては、該主要被写体領域内に含まれる画素の各ＲＧＢ値を輝度・色差成分に変換し、色差成分の平均値を求めてもよい。ここで輝度色差空間は、例えばＹＣ１Ｃ２空間、あるいはＣＩＥ Ｌａ＊ｂ＊空間等のいずれであっても構わない。また、オブジェクト検出部２０１において、主要被写体が複数検出された場合には、被写体領域ごとに算出した平均色をさらに平均化してもよい。あるいは、補正効果を出すためには、予め設定する理想的なオブジェクト色から最も遠方に存在するオブジェクト色を基準とすることも考えられる。逆に、補正効果を弱めるためには、理想オブジェクト色に最も近い主要被写体を基準としてもよい。
【００３１】
（各部の詳細：画像ＨＬ色の算出）
図２に示すＨＬ色算出部２０３では、入力画像２００のＨＬ色を算出する。ＨＬ色の算出方法についても様々な方法が提案されており、本実施形態はいずれの方法を用いても構わない。本実施形態においては、図３に示すフローに基づいて、ＨＬ色を算出する方法について説明する。
【００３２】
図３において、まずＳ３０１にて、入力画像２００を縮小して画像解析用の縮小画像を生成する。縮小画像はＶＧＡサイズ（６４０×４８０画素）相当が好ましい。近年の撮像装置は１０００万画素超の解像度を持つことが多く、高解像度画像に対して解析処理を行うことは処理速度の低下を招く恐れがある。本実施形態では縮小画像に対して画像解析を行うことで、処理速度の低下を抑制する。
【００３３】
次に、Ｓ３０２〜Ｓ３０５において、縮小画像のヒストグラムを算出する。ヒストグラムは、Ｓ３０２において縮小画像中の各画素のＲＧＢ値を、公知の公式によって輝度色差成分に変換する。ここでは変換例としてＹＣｂＣｒ値に変換する。次にＳ３０３において、輝度成分Ｙについて、度数ヒストグラムを算出する。ここでヒストグラムは、０に初期化されたＨｉｓｔＹ配列に対して、ＨｉｓｔＹのＹ番目の要素をインクリメントすることで算出する。
【００３４】
次に、Ｓ３０４において、輝度毎に色差Ｃｂ，Ｃｒ値の平均値を算出するために、各値が０に初期化された配列ＭｅａｎＣｂ，ＭｅａｎＣｒに対して、それぞれ以下の式による演算を行う。
【００３５】
［式１］
ＭｅａｎＣｂ［Ｙ］＋＝Ｃｂ
ＭｅａｎＣｒ［Ｙ］＋＝Ｃｒ
縮小画像の全ての画素についてＳ３０２〜Ｓ３０５の処理が終了すると、輝度ヒストグラム配列ＨｉｓｔＹは、図４に示すような度数分布を格納している。そこで、Ｓ３０６では、ＨｉｓｔＹを用いてハイライト輝度値ＨＬＹを決定する。本実施形態におけるＨＬＹは、ＨｉｓｔＹ［Ｙ］の値を輝度の小さい方から累積してゆき、累積度数が縮小画像全体の９９％に到達した時点の輝度値Ｙを、ハイライト輝度値ＨＬＹとして決定する。なお、ＨＬＹを決定するための累積度数割合は、９９％に限定されるものではなく、画像の特性などに応じて実験的に定義しても良い。
【００３６】
次にＳ３０７において、決定されたＨＬＹを用いて、ＨＬ領域の色ＨＬＣｂ，ＨＬＣｒ値を算出する。同値の算出は、以下の式を用いて行う。
【００３７】
［式２］
ＨＬＣｂ＝ＭｅａｎＣｂ［ＨＬＹ］÷ＨｉｓｔＹ［ＨＬＹ］
ＨＬＣｒ＝ＭｅａｎＣｒ［ＨＬＹ］÷ＨｉｓｔＹ［ＨＬＹ］
ここで算出されたＨＬＣｂ，ＨＬＣｒ値は、光源推定部２０４に入力される。
【００３８】
（各部の詳細：光源推定）
ここでは、光源推定部２０４の詳細について、図５のフローチャートを用いて説明する。本実施形態では、入力画像から撮影時光源の種類、あるいは色温度を推定する方法を、特に限定するものではない。ここでは一例として、参考文献２に開示されている技術を応用して処理の説明を行う。
【００３９】
図５において、まずＳ５０１で入力画像２００におけるグレー軸を決定する。グレー軸の決定は、ＨＬ色算出部２０３にて得られたハイライト領域の色であるＨＬＣｂ，ＨＬＣｒを用いて、図６（ａ）（ｂ）に示すように決定する。
【００４０】
グレー軸は、図６（ａ）に示すようにＹＣｂＣｒ色空間において、色平面Ｃｂ−Ｃｒに対して垂直な直線６０１に設定する。あるいは、図６（ｂ）に示すように、Ｙ＝２５５においては、（Ｃｂ＝ＨＬＣｂ，Ｃｒ＝ＨＬＣｒ）で、Ｙ＝０においては（Ｃｂ＝０，Ｃｒ＝０）となるような直線７０１をグレー軸としてもよい。通常、画像の暗部は、撮像装置の受光素子まで光が届いていないため暗くなるので、光源の影響を受けにくいと考えられる。このことから、撮像装置の特性によっては、図６（ｂ）のようにグレー軸を設定した方が、光源推定精度が向上する場合がある。
【００４１】
次に、Ｓ５０２において、入力画像２００中のオブジェクト色画素とグレー画素を抽出し、マップを作成する。マップの作成は、図７のフローに従って行う。なお、光源推定を行う対象画像は、入力画像２００でもよいが、上述したように入力画像２００は高解像度であるため、ここでは、ヒストグラム算出のために生成した縮小画像を用いて光源推定を行う場合を想定する。これにより、光源推定の処理時間を短縮でき、さらに１度縮小した画像を異なる処理で再利用することで、再度縮小画像を生成する時間を省くことができる。
【００４２】
まずＳ８０１において、グレー・肌色マップＭＡＰ［ｙ］［ｘ］の各要素を０に初期化する。次にＳ８０２において、処理対象である縮小画像の注目画素について、ＲＧＢ成分値をＹＣｂＣｒ値へ変換する。次にＳ８０３において、図６（ａ）（ｂ）でＹＣｂＣｒ空間に設定したグレー軸を参照し、注目画素のＹＣｂＣｒ値とグレー軸との距離を、公知の点と直線の距離の求め方に従って算出する。算出した距離が予め定められた閾値と比較して小さければ、グレー軸近傍画素となり（Ｓ８０３にてＹＥＳ）、Ｓ８０４において、縮小画像と同じ幅と高さで用意された２次元配列ＭＡＰ［ｙ］［ｘ］における注目画素位置と対応付けられたメンバを１に設定する。
【００４３】
グレー軸近傍とは判定されなかった場合（Ｓ８０３にてＮＯ）には、Ｓ８０５において、注目画素が肌色近傍であるか否かの判定を行う。本実施形態では、ＹＣｂＣｒ空間内に、オブジェクト色算出部２０２で算出したオブジェクト色情報（ＯｂｊＹ，ＯｂｊＣｂ，ＯｂｊＣｒ）を基に、図８で示すような円柱状のオブジェクト色領域９０１を設定する。
【００４４】
図８において、オブジェクト色領域９０１は、Ｃｂ−Ｃｒ色平面においてオブジェクト色（ＯｂｊＣｂ，ＯｂｊＣｒ）を中心とする半径ＯｂｊＲの円柱となっている。ここで、ＯｂｊＲは予め定められた値である。また、円柱の高さを示すＯｂｊＹｍａｘ，ＯｂｊＹｍｉｎは、例えば、以下の式によって求めることができる。
【００４５】
［式３］
ＯｂｊＹｍａｘ＝ＯｂｊＹ＋Δｈ
ＯｂｊＹｍｉｎ＝ＯｂｊＹ−Δｈ
ここで、Δｈは、予め定められた定数であり、ＯｂｊＹは、オブジェクト色算出部２０２で算出されたオブジェクト色の輝度成分である。
【００４６】
Ｓ８０５では、注目画素がオブジェクト色領域９０１に含まれる場合に注目画素はオブジェクト色近傍に位置すると判定し（Ｓ８０５にてＹＥＳ）、Ｓ８０６において、ＭＡＰ［ｙ］［ｘ］の注目画素位置と対応付けられたメンバを２に設定する。その後、Ｓ８０７にて全ての画素に対して処理が終了したか否かを判定し、終了するまでＳ８０２〜Ｓ８０７の処理を繰り返す。生成されたマップにおいて、“１”を有する画素はグレー画素として特定され、“２”を有する画素は肌色画素として特定される。
【００４７】
なお、本実施形態においては、簡略化のため肌色領域は図８に示すような円柱形で説明したが、本実施形態はこれに限定されるものではない。例えば、算出したオブジェクト色を中心とする半径ＯｂｊＲの球形やその他類似形状であったとしても、本実施形態の範疇に含まれることは言うまでもない。
【００４８】
上述したグレー・肌色画素のマップが生成できた場合には、次に図５のＳ５０３〜Ｓ５０７において、撮影時光源の推定を行う。光源推定の方法については本実施形態では特に限定しないが、ここでは、特許文献１に記載された方法を用いて説明する。特許文献１によれば、通常カメラのカラーバランス補正はＲＧＢ各成分にそれぞれ調整用のゲインを乗じることにより行われる。このような調整によって得られた画像データは、カメラの分光分布特性から得られた画像データと異なる挙動を示す。
【００４９】
具体的には、各種光源下において、カメラの分光特性から算出したグレーと肌色の軌跡を黒体軌跡とする。上記カメラ内部において、カラーバランス補正前のグレーと肌色の分布は、黒体軌跡上に分布している。しかし、カメラ内部でカラーバランス補正を行うためにＲＧＢ各成分に所定ゲインを乗じると、その結果得られた画像のグレーと肌色の分布は、黒体軌跡には適合しない分布となる。
【００５０】
このような特性を利用し、上記カラーバランス補正が施された後の画像に対して、画素毎に上記カラーバランス補正の逆変換の意味で様々な係数を乗じる。逆変換後の画像の各画素を黒体軌跡平面にプロットし、グレーおよび肌色黒体軌跡近傍の画素数をカウントする。カウントされた画素数が最大となる場合が、カラーバランス補正前の撮影時の状態であり、グレーおよび肌色が最も多く分布する黒体軌跡の位置に基づいて、撮影時光源を決定する（より詳細には、特許文献１参照）。
【００５１】
以下では、特許文献１を参照しながら、Ｓ５０３〜Ｓ５０７の処理の説明を行う。まずＳ５０３では、上述したように、カメラ内部のカラーバランス補正の逆変換を行う意味で、縮小画像の注目画素におけるＲＧＢ各成分に様々な逆変換係数ｒ，ｇ，ｂを乗じ、Ｒ’Ｇ’Ｂ’を得る。
【００５２】
［式４］
Ｒ’＝Ｒ×ｒ
Ｇ’＝Ｇ×ｇ
Ｂ’＝Ｂ×ｂ
ただし、本実施形態において、特許文献１と異なり上述したグレー・肌色画素マップを参照し、Ｓ５０３において注目画素がグレーあるいは肌色画素であると判定された場合にのみ、上記逆変換を行う。これにより、本実施形態の方法ではグレー・肌色とは無関係の画素を排除して光源推定を行うことで、処理対象画像中の全画素を用いている特許文献１に比べ、光源推定精度の向上や光源推定に要する処理時間を短縮することが可能となる。
【００５３】
その後、Ｓ５０４において、Ｒ’Ｇ’Ｂ’成分を所定色成分に変換し、所定色平面において予め定義してある黒体軌跡との距離を算出する。該距離が所定値以下である場合には、逆変換後のＲ’Ｇ’Ｂ’値が黒体軌跡近傍に位置すると判定し、画素数のカウントアップを行う。
【００５４】
Ｓ５０３〜Ｓ５０４の処理を、縮小画像の全画素について行うことで、ある一つの逆変換係数セット（ｒ，ｇ，ｂ）値において、黒体軌跡近傍の画素数を算出することができる（Ｓ５０５）。更にＳ５０３〜Ｓ５０５の処理を、予め用意してある様々な逆変換セットに対して、繰り返し行う（Ｓ５０６）。
【００５５】
その結果、Ｓ５０７において黒体軌跡近傍の画素数が最大となる逆変換セット（ｒ＿ｍａｘ，ｇ＿ｍａｘ，ｂ＿ｍａｘ）を算出し記憶する。さらに、決定された逆変換セットにおける黒体軌跡上の肌色・グレー画素の分布に応じて、撮影光源の色温度Ｋを決定する（詳細は特許文献１参照）。ここでＫの単位はケルビンであり、通常２５００〜１００００程度の値を保持することになる。撮影時光源が昼光下の場合、５５００ケルビン前後、白熱灯などのオレンジ光源の場合には３０００ケルビン前後、曇りの日や日陰においては８０００ケルビン前後の値となることが多い。以上が、光源推定部２０４の説明である。
（各部の詳細：第１の色変換）
次に、図２における第１の色変換部２０５について説明する。第１の色変換部２０５では、入力画像２００に対し、カメラ内部で施されたカラーバランスをキャンセルすることを目的とした色変換を行う。本実施形態では、記憶してある逆変換セット（ｒ＿ｍａｘ，ｇ＿ｍａｘ，ｂ＿ｍａｘ）を入力画像２００中の各画素のＲＧＢ成分値にそれぞれ乗じることで、第１の色変換を実行することができる。なお、第１の色変換部２０５では、カメラ内部で施されたカラーバランスを弱める色変換を行ってもよい。
【００５６】
（各部の詳細：第２の色変換）
次に図２の第２の色変換部２０６において、第２の色変換を行う。第２の色変換の目的は、第１の色変換部２０５により第１の色変換を行うことで、カメラ内部のカラーバランス補正をキャンセルまたは弱めた画像に対して、上述した推定した撮影光源の色温度に基づいて人間の視覚特性を考慮したカラーバランス補正を行うことにある。なお、ここでの“弱めた”とは、適用したカラーバランス補正の一部のみをキャンセルする場合であっても良いし、カラーバランス補正によって変換された値全体を元の値に近づけるようにする場合であっても良い。
【００５７】
このようなカラーバランス補正の一例として、ここでは、ＣＩＥＣＡＭ０２を用いて説明を行う。ＣＩＥＣＡＭ０２とは、ＣＩＥが２００２年に制定したＣｏｌｏｒ Ａｐｐｅｒａｎｃｅ Ｍｏｄｅｌである。ＣＩＥＣＡＭ０２では、入力パラメータとして、観察条件に関するもの（ｃ，Ｎｃ，Ｆや観察光源の白点ＸＹＺ値等）の他に、人間の視覚特性である色順応に対応した順応率Ｄを設定することができる。
【００５８】
これらのパラメータを用いて、観察条件Ａに相当するパラメータを設定して、入力画像２００を、ＸＹＺ色空間から観察条件非依存な色空間ＪＣｈに変換する。該ＪＣｈ色空間から、さらに別の観察条件Ｂを指定し、ＸＹＺに変換することにより、双方の観察条件下で同じ“見え”の再現を行うことが可能となる。ＣＩＥＣＡＭ０２については様々な文献で開示されている。例えば、ＣＩＥ Ｐｕｂｌｉｃａｔｉｏｎ，ＴＣ８−０１，Ａ Ｃｏｌｏｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ ｆｏｒ Ｃｏｌｏｕｒ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍｓ等である。そのため、詳細については上記文献等を参照することとし、本実施形態においては概要説明に留める。
【００５９】
本実施形態においては、ＣＩＥＣＡＭ０２を利用し、撮影時光源下での“見え”を、所定の観察条件下（例えば、モニタや印字物）で再現する方法について説明する。図９は、第２の色変換部２０６の処理フローを示している。以下では、フローに沿って説明を行う。
【００６０】
図９において、まずＳ１００１にて光源推定部２０４で推定した撮影時光源の色温度に従って、各種パラメータを算出する。主なパラメータとして、撮影光源下での白点ＸＹＺ値および、順応率Ｄｉｎが存在する。まず白点ＸＹＺ値については、例えば予め図１０に示すように、主要な色温度におけるＹＣｂＣｒ値を記憶しておき、推定した色温度に応じて補間演算によって求めることができる。例えば、推定色温度が３７５０ケルビンであった場合、２０００ケルビンと５５００ケルビンの中間であるため、白点ＹＣｂＣｒ値は、（２５５，−１５，１５）となる。
【００６１】
求められた白点ＹＣｂＣｒ値は、公知の変換式によってｓＲＧＢ色空間を経由してＸＹＺ値に変換することができる。また、Ｓ１００１では、撮影時光源における順応率Ｄｉｎも決定する。順応率Ｄｉｎは予め設定した固定値（例えば、Ｄｉｎ＝０．８など）により設定してもよい。
【００６２】
Ｓ１００１では推定した撮影時光源下におけるパラメータの算出し、次のＳ１００２では、入力画像２００を観察する観察環境におけるパラメータを決定する。観察環境とは、例えばモニタ１１１が挙げられる。よく知られているようにｓＲＧＢモニタは白点がＤ６５に設定されている。すなわち、ＹＣｂＣｒ空間であれば、（２５５，０，０）に相当する。この値を、同様にＸＹＺ値に変換することで、観察環境におけるＸＹＺを得ることができる。また、観察環境における順応率ＤｏｕｔもＳ１００１と同様に、予め設定した固定値などで決定することができる。
【００６３】
なお、本実施形態において説明を簡略化するため、ＹＣｂＣｒ空間で各光源下における白点座標を保持したが、本実施形態はこれに限定されるものではない。例えば、ＸＹＺ空間やｓＲＧＢ空間、あるいはＣＩＥ Ｌａ＊ｂ＊空間等で代表座標を保持してもよい。また、白点座標は、代表座標を保持するのではなく、所定色空間における数式によって表現することも可能である。本実施形態はそのいずれを用いても構わない。
【００６４】
次に、図９のＳ１００３において、入力画像の注目画素の各ＲＧＢ値（本実施形態ではｓＲＧＢ色空間）を公知の変換式により、ＸＹＺ色空間に変換する。次にＳ１００４にて、Ｓ１００１で算出した撮影時光源下でのパラメータ（白点ＸＹＺ，Ｄｉｎ）を用い、ＸＹＺをＣＩＥＣＡＭ０２の公知の文献に記載された変換式によりＪＣｈ色空間に変換する。
【００６５】
次にＳ１００５にて、Ｓ１００２で算出した観察環境におけるパラメータ（白点ＸＹＺ，Ｄｏｕｔ）を用い、ＪＣｈをＣＩＥＣＡＭ０２の公知の文献に記載された変換式によりＸ’Ｙ’Ｚ’値に変換する。そして、Ｓ１００６において、Ｘ’Ｙ’Ｚ’値を公知の変換式を用いて、ｓＲＧＢ色空間に変換し、補正後の画素値Ｒ’Ｇ’Ｂ’値を得る。Ｓ１００３〜Ｓ１００６の処理を、注目画素位置を移動させながら、入力画像全体に対して施す（Ｓ１００７）。これにより、撮影時に見ていた“見え”に近い状態を、観察環境であるモニタ１１１上に再現することが可能となる。
【００６６】
（処理結果）
上記のような処理を用いた結果得られた画像の特徴を、図１１を用いて説明する。図１１は、横軸が色差、縦軸が輝度を示しており、白丸は第２の色変換部２０６に入力された、色かぶりを起こしている画像のグレー軸を示し、黒丸は第２の色変換後の画素値を示している。白丸は色かぶりを生じているため、輝度軸からずれた位置に存在している。
【００６７】
上記の白丸で示した画素に対して、第２の色変換を施すと、人間の順応機能により、白丸軸は輝度軸方向、つまり無彩色方向に補正されるが、その補正量（変化量１２０１）は明部領域（輝度が高い）ほど大きく、暗部領域（輝度が低い）になるに従って小さくなる。
【００６８】
すなわち、入力画素値のうち、同一色相かつ同一彩度の複数画素に着目すると、明るい画素の方が暗い画素よりも、第２の色変換による変化量が大きくなる。これは、明部の方が暗部よりも順応率が高くなるという人間の視覚特性に基づくもので、このような処理を行うことで、従来よりも撮影時の“見え”に近い画像再現が可能となる。
【００６９】
また、順応率Ｄｉｎ，Ｄｏｕｔを１．０未満に設定することで、人間の視覚特性の中でも重要な不完全順応状態を考慮することができ、従来よりも撮影時の“見え”に近い画像再現が可能となる。
【００７０】
＜第２の実施形態＞
第１の実施形態では、光源推定部２０４における逆変換方法（Ｓ５０３）について、縮小画像中のグレーもしくは肌色と判定された画素のＲＧＢ成分値に逆変換係数を乗じる方法のみを説明した。しかし、この方法では、カメラのカラーバランス補正の逆変換は可能だが、その他の画像処理要素を逆変換することには限界がある。
【００７１】
例えば、カメラ内部では、上述したようなカラーバランス補正のほかに、明るさの制御も含まれる。このような制御は、ＲＧＢ成分に所定ゲインを加えることによって行われる場合がある。このような明るさ制御を含めたカメラ内部の画像処理を逆変換するためには、第１の実施形態にて示した式４に代わって、以下の式のように乗算の要素のほかに、加算要素を加えた逆変換式を定義することが考えられる。
【００７２】
［式５］
Ｒ’＝Ｒ×ｒ＋ｒ１
Ｇ’＝Ｇ×ｇ＋ｇ１
Ｂ’＝Ｂ×ｂ＋ｂ１
上記において、逆変換係数は（ｒ，ｇ，ｂ，ｒ１，ｇ１，ｂ１）の６種類になる。これらの係数を所定間隔で変化させながら、Ｓ５０３の逆変換を行うことにより、第１の実施形態に比べて、光源推定精度を向上させることが可能となる。なお、ここでの所定間隔とは、ｒ，ｇ，ｂが０．５〜１．５を範囲として０．１間隔で指定され、ｒ１，ｇ１，ｂ１が−１０〜＋１０を範囲として１間隔で指定されることが例として挙げられる。しかし、本実施形態はこれに限定されるものではない。
【００７３】
また、カメラ内部の画像処理においては、ＲＧＢ成分に対して非線形要素を用いた画像処理が施される場合がある。このような場合には、式５に代わって以下の式を用いて逆変換を行う場合が考えられる。
【００７４】
［式６］
Ｒ’＝Ｒ×ｒ＾ｒ２
Ｇ’＝Ｇ×ｇ＾ｇ２
Ｂ’＝Ｂ×ｂ＾ｂ２
上記においてｒ２，ｇ２，ｂ２は階乗の係数になる。式６において、逆変換係数は（ｒ，ｇ，ｂ，ｒ２，ｇ２，ｂ２）の６種類になる。これらの係数を所定間隔で変化させながら、Ｓ５０３の逆変換を行うことにより、第１の実施形態に比べて、光源推定精度を向上させることが可能となる。
【００７５】
＜第３の実施形態＞
第１の実施形態では、第１の色変換部２０５による第１の色変換は、逆変換処理によって求めた係数（ｒ＿ｍａｘ，ｇ＿ｍａｘ，ｂ＿ｍａｘ）を用い、入力画像２００に対して係数を乗じる方法について説明した。本実施形態では、第１の色変換を、オブジェクト色算出部２０２において検出したオブジェクト色を用いて行う方法について説明する。なお、本実施形態においても説明を簡略化するために、処理対象とするオブジェクトは人物の顔領域として、説明を行う。
【００７６】
図１２は本実施形態における第１の色変換のフローチャートを示している。図１２では、まずＳ１３０１において、光源推定部２０４で推定した色温度を用いて、推定色温度におけるオブジェクト色（ここでは人物の肌色）を算出する。
【００７７】
図１３（ａ）の軌跡１４０１は、Ｃｂ−Ｃｒ色平面において、照明色温度を変化させた際の人物肌色の軌跡を示している。図１３（ａ）中において各点における数値は色温度を示している。色温度が５５００ケルビンの時は適正な肌色位置、色温度が低い場合にはオレンジ色が強くなり、色温度が高い場合には、青色が強くなるような軌跡となっている。Ｓ１３０１では同軌跡を参照し、推定色温度値に相当する肌色を算出する。
【００７８】
推定色温度値の算出方法については、図１３（ａ）のようなＣｂ−Ｃｒ平面における肌色の軌跡を１次式の表現により保持しておき、推定色温度値と保持する１次式を用いて算出してもよい。あるいは、Ｃｂ−Ｃｒ平面におけるいくつかの代表的な色温度の肌色値を予め保持しておき、推定色温度値に応じて代表値を用いて補間演算により求めても構わない。
【００７９】
次にＳ１３０２〜Ｓ１３０５により、入力画像の各画素に対して、本実施形態における第１の色変換処理を行う。本実施形態における第１の色変換処理では、Ｓ１３０２にて、注目画素のＲＧＢ値（ＰｉｘＲ，ＰｉｘＧ，ＰｉｘＢ）をＹＣｂＣｒ値（ＰｉｘＹ，ＰｉｘＣｂ，ＰｉｘＣｒ）に変換する。
【００８０】
その後、Ｓ１３０３において、ＹＣｂＣｒ色空間による色シフト処理を行う。色シフト処理は、図１３（ｂ）に記載するシフトベクトル１５０１に基づいて行う。図１３（ｂ）において、黒丸はＳ１３０１で算出した推定色温度におけるオブジェクト色を、白丸はオブジェクト色算出部２０２で算出した画像中のオブジェクト色である。カメラの内部で何らかのカラーバランス補正が施されたため、元々黒丸であったオブジェクト色が、入力画像２００中においては白丸に移動している。この白丸を黒丸に戻すために、本実施形態では注目画素毎に、ＹＣｂＣｒ色空間において、以下の式により色シフト処理を行う。
【００８１】
［式７］
ＰｉｘＣｂ’＝ＰｉｘＣｂ＋（ＥｓｔＣｂ−ＯｂｊＣｂ）
ＰｉｘＣｒ’＝ＰｉｘＣｒ＋（ＥｓｔＣｒ−ＯｂｊＣｒ）
式７を用いることで、図１４（ａ）に示すようにＹＣｂＣｒ空間において、注目画素（白丸）を全て同一方向にシフトすることができる。なお図１４（ａ）において、縦軸は輝度、横軸は色差を示している。
【００８２】
Ｓ１３０４にて、色シフト後の画素値（ＰｉｘＹ，ＰｉｘＣｂ’，ＰｉｘＣｒ’）を再度ＲＧＢ空間に変換し、変換後のＲＧＢ値（ＰｉｘＲ’，ＰｉｘＧ’，ＰｉｘＢ’）を第１の色変換後の画素値として出力する。なお、色シフトは、他にも以下の式によって行うことも可能である。
【００８３】
［式８］
ＰｉｘＣｂ’＝ＰｉｘＣｂ＋（ＥｓｔＣｂ−ＯｂｊＣｂ）×Ｗ
ＰｉｘＣｒ’＝ＰｉｘＣｒ＋（ＥｓｔＣｒ−ＯｂｊＣｒ）×Ｗ
ここでＷは、
ＰｉｘＹ＜ＯｂｊＹの場合 Ｗ＝ＰｉｘＹ／ＯｂｊＹ
それ以外の場合 Ｗ＝（２５５−ＰｉｘＹ）／（２５５−ＯｂｊＹ）
式８は、注目画素の輝度値ＰｉｘＹとオブジェクトの輝度値ＯｂｊＹを比較し、輝度が０あるいは２５５に近づくに従って、シフト量を減衰してゆくことを意味している。この場合のシフトベクトルを図示すると、図１４（ｂ）のようになる。図１４（ｂ）において、シフトベクトル１７０１〜１７０３は、ＯｂｊＹの位置を基準として輝度が低く、あるいは高くなるに従って、シフトベクトルの長さが短くなっている。このようなシフトベクトルを用いて第１の色変換処理を行ったとしても、本実施形態の範疇に含まれる。
【００８４】
上記説明したように、本実施形態においては、第１の色変換処理を、所定の輝度色差空間における色シフト処理で実現することを説明した。第１の実施形態で説明した逆変換セット（ｒ＿ｍａｘ，ｇ＿ｍａｘ，ｂ＿ｍａｘ）を乗じる方法だと、注目画素のＲＧＢ値が０に近い場合と２５５に近い場合とで、変換前後の差分に差が生じ、その結果正確な色変換が行えない場合がある。本実施形態における色シフト方法であれば、色空間内での変動量が一定以下に保証できるため、上記問題を解決することができる。
【００８５】
＜第４の実施形態＞
第１の実施形態では、第２の色変換部２０６における順応率Ｄｉｎ，Ｄｏｕｔは、所定の固定値を設定することとしていたが、本実施形態では、特に撮影時光源の順応率Ｄｉｎを、推定した撮影時色温度を用いて変化させることについて説明する。
【００８６】
図１５（ａ）は、本実施形態における順応率Ｄｉｎの設定方法を説明するための図である。本実施形態においては、光源推定部２０４で推定された撮影時色温度に応じて、推定色温度が２８００ケルビンと低い場合には０．６、推定色温度が１００００Ｋと高い場合には０．８と、推定色温度が低い方の順応率を若干低めに設定する。よく知られているように、色温度が低い光源の例としては室内の白熱灯や夕焼け・朝焼けが挙げられる。一方で色温度が高い光源の例としては、曇りの日や、晴天の日陰などが挙げられる。
【００８７】
上記のような一般的な例においては、色温度が高いシーンにおいては、人物の肌色などが無彩色に近い状態となり好ましくないため、順応率を高く設定して、カラーバランス補正をより積極的に行うことが望ましい。その結果、無彩色に近い人物の肌も健康的で適正な肌色に補正されることになる。
【００８８】
一方で、色温度が低いシーンにおいては、夕焼けシーンや室内でのパーティシーンである場合が多く、このようなシーンにおいては、必ずしも積極的なカラーバランス補正が好ましいとは言えない。例えば、夕焼けシーンにおいて、色温度が高い場合と同等の順応率を設定してカラーバランス補正を行うと、昼間のような画像となり、撮影時の雰囲気を大きく損ねる恐れがある。
【００８９】
従って、図１５（ａ）に示すように、肌色の色温度である５５００ケルビンまでは色温度が高くなるに従って順応率を高くして補正効果を高め、色温度が低くなるに従って順応率を弱める。同様に、５５００ケルビンを超えた場合には、より色温度が高くなるに従って順応率Ｄｉｎを減少させる。この方法で撮影時の雰囲気を保つことにより、それぞれのシーンに適合したより好ましい画像再現を行うことが可能となる。
【００９０】
ところで、Ｄｉｎの設定方法については、図１５（ａ）に示した変化率を示す１次式を保持しておき、推定色温度を用いて１次式を用いて算出してもよいし、主要な色温度のＤｉｎ値のみを記憶しておき、推定色温度に応じて補間演算により求めてもよい。
【００９１】
また、変化率を示す式は１次式に限らず、図１５（ｂ）に示すような２次曲線、３次曲線やその他の非線形カーブに基づいて算出したとしても、本実施形態の範疇に含まれることは言うまでもない。この場合においても色温度が５５００ケルビンの場合をピークとした順応率Ｄｉｎを求める。
【００９２】
＜第５の実施形態＞
第１の実施形態においては、図２で示すように、入力画像２００に対して、まず第１の色変換を施した後、第２の色変換を施す処理例について説明した。しかし、このように異なる処理を直列に接続し、それぞれの処理において各画素単位に複雑な演算処理を行うと、多くの処理時間を要してしまう。
【００９３】
そこで本実施形態においては、図１６に示すようなブロック図構成によって処理を行うことを提案する。すなわち、第１および第２の色変換に必要なパラメータを予め算出し、それらを反映させた３次元ルックアップテーブル（以降、３ＤＬＵＴ）を算出し、補間演算を用いて３ＤＬＵＴを入力画像に適用する方法である。図１６における各処理部２００１〜２００４の処理については、第１の実施形態と同様のため、ここでの説明は省略する。
【００９４】
第１の色変換パラメータ算出部２００５において、第１の実施形態で説明したものと同様に、カメラ内部のＷＢ補正をキャンセルする意味の画像処理パラメータを決定する。これにより第１の算出手段を実現する。第１の実施形態によれば、光源推定部２００４で算出した黒体軌跡近傍のグレー・肌色画素が最大となる逆変換セット（ｒ＿ｍａｘ，ｇ＿ｍａｘ，ｂ＿ｍａｘ）を、そのまま画像処理パラメータとして決定し、３ＤＬＵＴ生成部２００７に入力される。
【００９５】
次に、第２の色変換パラメータ算出部２００６において、第１の実施形態で説明したものと同様に、第２の色変換に必要なパラメータを決定する。これにより第２の算出手段を実現する。第２の色変換に必要なパラメータとして、撮影時光源に関するパラメータ（推定色温度における白点ＸＹＺ値、および順応率Ｄｉｎ）および観察環境に関するパラメータ（観察環境における白点ＸＹＺ値、および順応率Ｄｏｕｔ）が存在する。これらのパラメータは第１の実施形態で述べたものと同様の方法により算出し、３ＤＬＵＴ生成部２００７に入力される。
【００９６】
（３ＤＬＵＴ生成）
次に、３ＤＬＵＴ生成部２００７の処理について、図１７のフローチャートに従って説明を行う。なお、本実施形態では簡略化のために、ｓＲＧＢ空間におけるＲＧＢ各成分が１７グリッド（総グリッド数は１７＾３＝４９１３点）の３ＤＬＵＴを生成するものとするが、本実施形態はこれに限定するものではない。
【００９７】
図１７において、まず始めに、Ｓ２１０１において各グリッドの初期化を行う。すなわち、ＲＧＢ各値を０にセットする。次に、Ｓ２１０２において、第１の色変換パラメータ２１１０を用いて第１の色変換を行う。具体的には、以下の式により、第１の色変換後の値Ｒ’Ｇ’Ｂ’値を算出する。
【００９８】
［式９］
Ｒ’＝Ｒ×ｒ＿ｍａｘ
Ｇ’＝Ｇ×ｇ＿ｍａｘ
Ｂ’＝Ｂ×ｂ＿ｍａｘ
次に、Ｓ２１０３において、求めたＲ’Ｇ’Ｂ’値を公知の変換式を用いてＸＹＺ値に変換し、さらにＳ２１０４において、第１の実施形態に説明したようにＣＩＥＣＡＭ０２を用いてＪＣｈ空間に変換する。そして、さらにＳ２１０５でＸＹＺ空間に逆変換する。この際に用いられるのが、第２の色変換パラメータ２１１１である。
【００９９】
次にＳ２１０６において、第１の実施形態と同様に、第２の色変換後のＸＹＺ値をｓＲＧＢ色空間に変換し、現在注目しているグリッドの出力値として、３ＤＬＵＴに格納する。
【０１００】
上記処理を、ＲＧＢ全てのグリッドについて行い、各グリッドの出力値を３ＤＬＵＴに格納する。具体的には、Ｓ２１０２〜Ｓ２１０６の処理の後、未処理のグリッドがある場合（Ｓ２１０７にてＮＯ）には、Ｓ２１０８において、Ｂ成分の値を１６だけインクリメントする。Ｂ成分値が２５５を超えたら、Ｇ成分値を１６だけインクリメントし、Ｂ成分値を０にリセットして処理を継続する。さらにＧ成分値が２５５を超えたら、Ｒ成分値を１６だけインクリメントし、Ｇ，Ｂ成分値を０にリセットする。
【０１０１】
１７グリッドで３ＤＬＵＴの場合、上記処理を４９１３回（＝１７＾３）繰り返し、ＲＧＢ成分値が全て２５５を超えた時点で、全てのグリッドに対する出力値の算出が終了したとして（Ｓ２１０７にてＹＥＳ）、処理を終了する。
【０１０２】
上記処理により生成された３ＤＬＵＴは、補間部２００８に入力され、補間部２００８にて、同じく入力された入力画像２００に対して公知の補間方法（詳細省略）を用いて、補正後の画像を得ることができる。補間方法については、四面体補間、立方体補間様々な方法が存在するが、本実施形態においては、それらのうちいずれを用いても構わない。
【０１０３】
上述したように、本実施形態では、ｓＲＧＢ色空間の限られたグリッド位置に対して、予め算出した第１および第２の色変換パラメータを用いて出力値を算出し、それを３ＤＬＵＴとして保持しておく。３ＤＬＵＴを用いて補間演算により入力画像２００を変換することで、特に入力画像解像度が大きい場合に、画素ごとに複雑な色変換処理を行うよりも、遥かに短い処理時間で出力画像を得ることが可能となる。
【０１０４】
なお、本実施形態の第１の色変換パラメータ算出部２００５は、第３の実施形態で説明したようなシフトベクトルを用いて行ってもよい。すなわち、シフトベクトル値を３ＤＬＵＴ生成部２００７に入力し、３ＤＬＵＴ生成部２００７のＳ２１０２において、第３の実施形態と同様の方法により色シフト処理を実現することも可能である。
【０１０５】
また、本実施形態においては簡略化のため、ＲＧＢ３成分を前提とした３ＤＬＵＴを生成する処理について説明したが、本実施形態はこれに限定されるものではない。例えば、入力画像フォーマットをＣＭＹＫ４成分とすると、本実施形態を参照すれば、４次元ＬＵＴを用いて処理することも可能である。すなわち、多次元ＬＵＴを用いて処理を行った場合においても、本実施形態の範疇に含まれることは言うまでもない。
【０１０６】
（その他の応用例）
入力画像はデジタルカメラで撮影された画像でなくてもよい。デジタルカメラ等から入力されたデジタル画像を、表示用、あるいはプリント用の解像度に変換したものを入力画像として、上記処理を行ってもよい。
【０１０７】
また、入力画像や処理の作業色空間をｓＲＧＢ色空間として説明を行ったが、本実施形態はこれに限定されるものではない。ＡｄｏｂｅＲＧＢ（米Ａｄｏｂｅ社の商標）色空間を作業色空間としてもよいし、ＣＩＥ Ｌａ＊ｂ＊等その他の色空間を用いても構わない。
【０１０８】
また、オブジェクト検出として、人物の顔領域を用いて説明を行ったが、本実施形態はこれに限定されるものではない。例えば、動物検出や、建物、その他のオブジェクトを用いたとしても本実施形態の範疇に含まれる。
【０１０９】
また、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、プリンタ、複写機、ファクシミリ装置等）に適用しても良い。
【０１１０】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、入力されたデジタル画像データに対して、撮影時の光源の色温度を推定し、該色温度に従って画像のカラーバランスを補正する画像処理装置、制御方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラで撮影された画像データ、あるいはアナログカメラで撮影されたフィルムを光学的にスキャンして得られた画像データに対して、撮影時光源を推定し、カラーバランス補正を行う方法が提案されている。
【０００３】
また、特許文献１では、予めカメラの代表的な分光分布に基づくグレーと肌の色の黒体軌跡を保持しておく。カメラのカラーバランス補正の逆変換を行う意味で、各画素のＲＧＢ成分に対して様々な係数を乗じ、変換後の画素について前記黒体軌跡近傍に存在する画素数を評価することで撮影時光源の推定を行う。光源を推定した後は、変換後の画像を所定の光源下における色に変換することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−１５２７７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以上説明したようなカラーバランス補正方法には、以下のような課題が存在する。上記の特許文献は光源推定が行われた後に、予め定められた所定の光源下の色に変換しているのみである。これでは撮影時に撮影者がその場で見ていた“見え”を再現していることにならない。
【０００６】
人間の目には、色順応という機能が備わっている。例えば、昼光下（色温度５５００ケルビン付近）にしばらくいた後、白熱灯の部屋（色温度３０００ケルビン付近）に入ると、入った瞬間は白い物体がオレンジがかって見える。しかし、しばらくするとその物体は無彩色に近い状態で見えてくる。これが色順応であり、照明光に色が付いていた場合に、人間の目における３種類の錐状体（Ｌ，Ｍ，Ｓ）が、異なった感度調整を行って、昼光下での見え方を維持しようと働くことから生じる機能である。
【０００７】
一方で、色順応は、完全には動作しないことが良く知られている。すなわち、白熱灯の部屋に長時間いても、上述したような白い物体が、無彩色に近い状態には見えるが、完全に無彩色な状態になることはない。これを、不完全順応と呼ぶ。
【０００８】
このように、人間の目はその照明光源下において、不完全順応した状態でモノを見ていることになる。そのため、その場での“見え”を再現しなければ、カラーバランス補正後の画像は、実際に人間の目が見えている映像とは差異が生じ、結果として違和感を生じさせる。上記問題を解決するには、撮影時光源の推定と、該光源下における人間の視覚特性を考慮したカラーバランス補正が望まれるが、これまではそのような提案がなされていなかった。
【課題を解決するための手段】
【０００９】
本発明は、上記課題を解決するために、以下の手段を有する。カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置であって、前記画像に含まれるオブジェクトを検出する検出手段と、前記検出手段により検出された前記オブジェクトの色値を解析する解析手段と、前記解析手段により解析された色値に基づき、前記画像の撮影時光源を推定する光源推定手段と、前記光源推定手段により推定された前記撮影時光源と前記解析手段により解析された色値とに基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する第１の色変換を施す第１の色変換手段と、前記第１の色変換手段により前記第１の色変換を施した画像に対して、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率を用いて第２の色変換を施す第２の色変換手段とを有する。
【００１０】
また、本発明は別の形態として、以下の手段を有する。カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置であって、前記画像に含まれるオブジェクトを検出する検出手段と、前記検出手段により検出された前記オブジェクトの色値を解析する解析手段と、前記解析手段により解析された色値に基づき、前記画像の撮影時光源を推定する光源推定手段と、前記光源推定手段により推定された前記撮影時光源と前記解析手段により解析された色値とに基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する際に用いる第１の色変換パラメータを算出する第１の算出手段と、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率により色変換を行う際に用いる第２の色変換パラメータを算出する第２の算出手段と、前記第１の色変換パラメータおよび前記第２の色変換パラメータを用いて、多次元ＬＵＴを生成する生成手段と、前記多次元ＬＵＴを用い、前記画像の色値の補間を行う補間手段とを有する。
【発明の効果】
【００１１】
本発明により、入力画像の撮影時光源を推定し、該光源下における人間の視覚特性に基づいたカラーバランス補正を実現することができる。特に人間の視覚特性のうち、色順応の不完全性をも考慮した色変換を行うことが可能である。この結果、従来技術に比べ、撮影時の雰囲気をより忠実に再現した写真画像の表示、あるいは出力物を得ることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の画像処理方法を実行するためのハードウェア構成。
【図２】第１の実施形態に係る機能ブロック図。
【図３】第１の実施形態に係るヒストグラム算出部のフロー図。
【図４】ハイライト輝度値を決定する処理の説明図。
【図５】第１の実施形態に係る光源推定処理のフロー図。
【図６】本発明の光源推定部におけるグレー軸の設定例を示す図。
【図７】本発明の光源推定部におけるグレー・肌色マップ作成処理のフロー図。
【図８】本発明の肌色画素を特定する処理の説明図。
【図９】第１の実施形態に係る第２の色変換部のフロー図。
【図１０】各種光源下における白点情報の保持例を示す図。
【図１１】第２の色変換前後での変換量の説明図。
【図１２】第３の実施形態に係る第１の色変換部のフロー図。
【図１３】第３の実施形態に係る肌色の軌跡およびシフトベクトルの説明図。
【図１４】第３の実施形態に係る色シフト処理を説明するための図。
【図１５】第４の実施形態に係る順応率の設定例を示す図。
【図１６】第５の実施形態に係る機能ブロック図。
【図１７】第５の実施形態に係る３ＤＬＵＴ生成部のフロー図。
【発明を実施するための形態】
【００１３】
＜第１の実施形態＞
以下、本発明における第１の実施形態について説明する。なお、以下の記載は画像処理装置の本体内部の画像処理を想定して説明を行うが、これはあくまで１つの実施形態を例として示したものであり、本発明は以下の実施に限定されるものではない。
【００１４】
（ハードウェア構成の説明）
図１に本発明の画像処理方法を実施可能なハードウェア構成１００を示す。なお、図１は本実施形態における例であり、本発明は図１の構成に限定されることはない。
【００１５】
図１において、本実施形態を適用可能なプリンタはＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３を有し、各機能ブロックがシステムバス１１２に接続されている。本実施形態の動作を実行するプログラムコードはＲＯＭ１０３に格納され、動作時にＲＡＭ１０２に読み込まれ、ＣＰＵ１０１によって実行される。
【００１６】
また、ＨＤＤやフラッシュメモリ等の２次記憶装置１０４は、マウス１０８やキーボード１０９が、インタフェース１０５を介して接続されている。また、プリンタ１１０がインタフェース１０６を介して、また、補正前後の画像を評価するために表示するモニタ１１１が、ビデオカード１０７を介して接続されている。
【００１７】
（全体処理フローの説明）
以下では、図２を用いて、本実施形態における画像処理の全体構成について説明する。入力画像２００は、本実施形態において、例えばデジタルカメラで撮影されたデジタル画像、あるいはアナログカメラで撮影されたフィルムを光学的にスキャンして得られたデジタル画像などが想定される。入力画像２００のデータフォーマットについて、本実施形態では特に限定しないが、本実施形態においては説明を簡単にするために、入力画像２００の色空間はｓＲＧＢ（ｓｔａｎｄａｒｄ ＲＧＢ）で、各画素値が８ｂｉｔのＲＧＢ成分値で構成されているものとする。
【００１８】
入力画像２００はオブジェクト検出部２０１に入力され、同部において、画像中から注目被写体（注目オブジェクト）を検出する。以降、本実施形態では注目するオブジェクトとして人物の顔を例に挙げて説明を行うが、本実施形態はこれに限定されるものではない。オブジェクトの検出が行われると、次にオブジェクト色算出部２０２において、検出されたオブジェクトの色を算出する。算出したオブジェクト色情報は光源推定部２０４に入力される。
【００１９】
一方、入力画像２００はＨＬ色算出部２０３に入力され、同部において、画像のハイライト色（以降、ＨＬ色）を算出する。これによりハイライト色算出手段を実現する。ＨＬ色とは、画像の最も明るい領域（画素）の色である。該ＨＬ色も、オブジェクト色と同様に光源推定部２０４に入力される。
【００２０】
次に、光源推定部２０４において、入力されたＨＬ色とオブジェクト色とを用いて、撮影時光源の推定を行う。本実施形態においては、撮影時光源の推定方法について特に限定するものではなく、例えば、従来例で述べたような引用文献１に開示されているもの等の中からいずれを用いても構わない。
【００２１】
光源推定部２０４にて撮影時の光源推定が行われると、その結果として、例えば撮影時光源の色温度値が決定され、決定された色温度値は第１の色変換部２０５に入力される。通常、デジタルカメラ（撮像装置）はカラーバランス補正機能を有し、そのようなデジタルカメラで撮影された画像は、カメラ内部で独自のカラーバランス補正が施されている。そのため、第１の色変換部２０５にて、画像に対するデジタルカメラによるカラーバランス補正をキャンセルし、カラーバランス補正前の状態に入力画像２００を変換する。
【００２２】
第１の色変換後の画像は第２の色変換部２０６に入力され、同部において、第２の色変換処理が施される。第２の色変換部２０６では、人間の視覚特性を考慮し、第１の色変換部２０５によりカメラ内部のカラーバランス補正をキャンセルした状態の画像に対して、撮影時光源下における“見え”に近づけるように画像の色変換を行う。第２の色変換部２０６による第２の色変換後の画像は出力画像として、２次記憶装置１０４に記憶されたり、モニタ１１１に表示されたり、プリンタ１１０で印字媒体上に印字される。以上が、本実施形態における処理のブロック図の説明である。以下、図２に示す各部の動作について、フローチャートを参照しながら処理の詳細を説明する。
【００２３】
（各部の詳細：オブジェクト検出部、オブジェクト色算出部）
オブジェクト検出部２０１において、入力画像２００中の主要被写体を検出する処理が行われる。オブジェクトである主要被写体の主なものとしては、人物の顔が挙げられる。人物の顔検出手法としては、すでに様々な手法が提案されている。
【００２４】
例えば、特開２００２−１８３７３１によれば、入力画像から目領域を検出し、目領域周辺を顔候補領域とする。検出された顔候補領域に対して、画素毎の輝度勾配、および輝度勾配の重みを算出し、これらの値を、あらかじめ設定されている理想的な顔基準画像の勾配、および勾配の重みと比較する。その際に、各勾配間の平均角度が所定の閾値以下であった場合、入力画像は顔領域を有すると判定する方法が記載されている。その他にも、特開２００３−３０６６７によれば、まず画像中から人物の皮膚の色である肌色領域を検出し、同領域内において、人間の虹彩色画素を検出することにより、目の位置を検出することが可能であるとしている。
【００２５】
さらに、特開平８−６３５９７によれば、複数の顔の形状をしたテンプレートと画像とのマッチング度を計算する。該マッチング度が最も高いテンプレートを選択し、最も高かったマッチング度が所定の閾値以上であれば、選択されたテンプレート内の領域を顔候補領域とする。同テンプレートを用いるこことで、目の位置を検出することが可能であるとしている。
【００２６】
さらに、特開２０００−１０５８２９によれば、まず、鼻画像パターンをテンプレートとし、画像全体、あるいは画像中の指定された領域を走査し最もマッチする位置を鼻の位置として出力する。次に、画像の鼻の位置よりも上の領域を目が存在する領域と考え、目画像パターンをテンプレートとして目存在領域を走査してマッチングをとり、ある閾値よりもマッチ度が大きい画素の集合である目存在候補位置集合を求める。さらに、目存在候補位置集合に含まれる連続した領域をクラスタとして分割し、各クラスタと鼻位置との距離を算出する。その距離が最も短くなるクラスタを目が存在するクラスタと決定することで、器官位置の検出が可能であるとしている。
【００２７】
その他、顔および器官位置を検出する方法としては、特開平８−７７３３４、特開２００１−２１６５１５、特開平５−１９７７９３、特開平１１−５３５２５、特開２０００−１３２６８８、特開２０００−２３５６４８、特開平１１−２５０２６７がある。さらには特登録２５４１６８８など、数多くの手法が提案されている。本実施形態では特に手法を限定はしないが、いずれの方法についても適用可能である。
【００２８】
オブジェクト検出部２０１によるオブジェクト検出が成功すると、主要被写体の位置を示す座標を得ることができる。該座標は、顔領域を包含するような矩形座標であっても構わないし、中心と半径で表現されるような円形座標であっても構わない。得られた座標情報は、オブジェクト色算出部２０２に入力され、同部において、主要被写体領域の色の解析を行う。色の解析とは、一般的には、検出した主要被写体領域内の平均色を求めることを意味している。平均色は、例えば、画像を構成している各画素がＲＧＢ値で表現されている場合には、該主要被写体領域内に含まれる画素の各ＲＧＢの平均値を算出することで求めることができる。
【００２９】
本実施形態においては便宜上、上記方法により求めたオブジェクト色を、（ＯｂｊＲ，ＯｂｊＧ，ＯｂｊＢ）として取り扱う。また、上記オブジェクト色をＹＣｂＣｒ色空間に変換した（ＯｂｊＹ，ＯｂｊＣｂ，ＯｂｊＣｒ）も同様にオブジェクト色として取り扱う。
【００３０】
オブジェクト色を取得する別の方法としては、該主要被写体領域内に含まれる画素の各ＲＧＢ値を輝度・色差成分に変換し、色差成分の平均値を求めてもよい。ここで輝度色差空間は、例えばＹＣ１Ｃ２空間、あるいはＣＩＥ Ｌａ＊ｂ＊空間等のいずれであっても構わない。また、オブジェクト検出部２０１において、主要被写体が複数検出された場合には、被写体領域ごとに算出した平均色をさらに平均化してもよい。あるいは、補正効果を出すためには、予め設定する理想的なオブジェクト色から最も遠方に存在するオブジェクト色を基準とすることも考えられる。逆に、補正効果を弱めるためには、理想オブジェクト色に最も近い主要被写体を基準としてもよい。
【００３１】
（各部の詳細：画像ＨＬ色の算出）
図２に示すＨＬ色算出部２０３では、入力画像２００のＨＬ色を算出する。ＨＬ色の算出方法についても様々な方法が提案されており、本実施形態はいずれの方法を用いても構わない。本実施形態においては、図３に示すフローに基づいて、ＨＬ色を算出する方法について説明する。
【００３２】
図３において、まずＳ３０１にて、入力画像２００を縮小して画像解析用の縮小画像を生成する。縮小画像はＶＧＡサイズ（６４０×４８０画素）相当が好ましい。近年の撮像装置は１０００万画素超の解像度を持つことが多く、高解像度画像に対して解析処理を行うことは処理速度の低下を招く恐れがある。本実施形態では縮小画像に対して画像解析を行うことで、処理速度の低下を抑制する。
【００３３】
次に、Ｓ３０２〜Ｓ３０５において、縮小画像のヒストグラムを算出する。ヒストグラムは、Ｓ３０２において縮小画像中の各画素のＲＧＢ値を、公知の公式によって輝度色差成分に変換する。ここでは変換例としてＹＣｂＣｒ値に変換する。次にＳ３０３において、輝度成分Ｙについて、度数ヒストグラムを算出する。ここでヒストグラムは、０に初期化されたＨｉｓｔＹ配列に対して、ＨｉｓｔＹのＹ番目の要素をインクリメントすることで算出する。
【００３４】
次に、Ｓ３０４において、輝度毎に色差Ｃｂ，Ｃｒ値の平均値を算出するために、各値が０に初期化された配列ＭｅａｎＣｂ，ＭｅａｎＣｒに対して、それぞれ以下の式による演算を行う。
【００３５】
［式１］
ＭｅａｎＣｂ［Ｙ］＋＝Ｃｂ
ＭｅａｎＣｒ［Ｙ］＋＝Ｃｒ
縮小画像の全ての画素についてＳ３０２〜Ｓ３０５の処理が終了すると、輝度ヒストグラム配列ＨｉｓｔＹは、図４に示すような度数分布を格納している。そこで、Ｓ３０６では、ＨｉｓｔＹを用いてハイライト輝度値ＨＬＹを決定する。本実施形態におけるＨＬＹは、ＨｉｓｔＹ［Ｙ］の値を輝度の小さい方から累積してゆき、累積度数が縮小画像全体の９９％に到達した時点の輝度値Ｙを、ハイライト輝度値ＨＬＹとして決定する。なお、ＨＬＹを決定するための累積度数割合は、９９％に限定されるものではなく、画像の特性などに応じて実験的に定義しても良い。
【００３６】
次にＳ３０７において、決定されたＨＬＹを用いて、ＨＬ領域の色ＨＬＣｂ，ＨＬＣｒ値を算出する。同値の算出は、以下の式を用いて行う。
【００３７】
［式２］
ＨＬＣｂ＝ＭｅａｎＣｂ［ＨＬＹ］÷ＨｉｓｔＹ［ＨＬＹ］
ＨＬＣｒ＝ＭｅａｎＣｒ［ＨＬＹ］÷ＨｉｓｔＹ［ＨＬＹ］
ここで算出されたＨＬＣｂ，ＨＬＣｒ値は、光源推定部２０４に入力される。
【００３８】
（各部の詳細：光源推定）
ここでは、光源推定部２０４の詳細について、図５のフローチャートを用いて説明する。本実施形態では、入力画像から撮影時光源の種類、あるいは色温度を推定する方法を、特に限定するものではない。ここでは一例として、参考文献２に開示されている技術を応用して処理の説明を行う。
【００３９】
図５において、まずＳ５０１で入力画像２００におけるグレー軸を決定する。グレー軸の決定は、ＨＬ色算出部２０３にて得られたハイライト領域の色であるＨＬＣｂ，ＨＬＣｒを用いて、図６（ａ）（ｂ）に示すように決定する。
【００４０】
グレー軸は、図６（ａ）に示すようにＹＣｂＣｒ色空間において、色平面Ｃｂ−Ｃｒに対して垂直な直線６０１に設定する。あるいは、図６（ｂ）に示すように、Ｙ＝２５５においては、（Ｃｂ＝ＨＬＣｂ，Ｃｒ＝ＨＬＣｒ）で、Ｙ＝０においては（Ｃｂ＝０，Ｃｒ＝０）となるような直線７０１をグレー軸としてもよい。通常、画像の暗部は、撮像装置の受光素子まで光が届いていないため暗くなるので、光源の影響を受けにくいと考えられる。このことから、撮像装置の特性によっては、図６（ｂ）のようにグレー軸を設定した方が、光源推定精度が向上する場合がある。
【００４１】
次に、Ｓ５０２において、入力画像２００中のオブジェクト色画素とグレー画素を抽出し、マップを作成する。マップの作成は、図７のフローに従って行う。なお、光源推定を行う対象画像は、入力画像２００でもよいが、上述したように入力画像２００は高解像度であるため、ここでは、ヒストグラム算出のために生成した縮小画像を用いて光源推定を行う場合を想定する。これにより、光源推定の処理時間を短縮でき、さらに１度縮小した画像を異なる処理で再利用することで、再度縮小画像を生成する時間を省くことができる。
【００４２】
まずＳ８０１において、グレー・肌色マップＭＡＰ［ｙ］［ｘ］の各要素を０に初期化する。次にＳ８０２において、処理対象である縮小画像の注目画素について、ＲＧＢ成分値をＹＣｂＣｒ値へ変換する。次にＳ８０３において、図６（ａ）（ｂ）でＹＣｂＣｒ空間に設定したグレー軸を参照し、注目画素のＹＣｂＣｒ値とグレー軸との距離を、公知の点と直線の距離の求め方に従って算出する。算出した距離が予め定められた閾値と比較して小さければ、グレー軸近傍画素となり（Ｓ８０３にてＹＥＳ）、Ｓ８０４において、縮小画像と同じ幅と高さで用意された２次元配列ＭＡＰ［ｙ］［ｘ］における注目画素位置と対応付けられたメンバを１に設定する。
【００４３】
グレー軸近傍とは判定されなかった場合（Ｓ８０３にてＮＯ）には、Ｓ８０５において、注目画素が肌色近傍であるか否かの判定を行う。本実施形態では、ＹＣｂＣｒ空間内に、オブジェクト色算出部２０２で算出したオブジェクト色情報（ＯｂｊＹ，ＯｂｊＣｂ，ＯｂｊＣｒ）を基に、図８で示すような円柱状のオブジェクト色領域９０１を設定する。
【００４４】
図８において、オブジェクト色領域９０１は、Ｃｂ−Ｃｒ色平面においてオブジェクト色（ＯｂｊＣｂ，ＯｂｊＣｒ）を中心とする半径ＯｂｊＲの円柱となっている。ここで、ＯｂｊＲは予め定められた値である。また、円柱の高さを示すＯｂｊＹｍａｘ，ＯｂｊＹｍｉｎは、例えば、以下の式によって求めることができる。
【００４５】
［式３］
ＯｂｊＹｍａｘ＝ＯｂｊＹ＋Δｈ
ＯｂｊＹｍｉｎ＝ＯｂｊＹ−Δｈ
ここで、Δｈは、予め定められた定数であり、ＯｂｊＹは、オブジェクト色算出部２０２で算出されたオブジェクト色の輝度成分である。
【００４６】
Ｓ８０５では、注目画素がオブジェクト色領域９０１に含まれる場合に注目画素はオブジェクト色近傍に位置すると判定し（Ｓ８０５にてＹＥＳ）、Ｓ８０６において、ＭＡＰ［ｙ］［ｘ］の注目画素位置と対応付けられたメンバを２に設定する。その後、Ｓ８０７にて全ての画素に対して処理が終了したか否かを判定し、終了するまでＳ８０２〜Ｓ８０７の処理を繰り返す。生成されたマップにおいて、“１”を有する画素はグレー画素として特定され、“２”を有する画素は肌色画素として特定される。
【００４７】
なお、本実施形態においては、簡略化のため肌色領域は図８に示すような円柱形で説明したが、本実施形態はこれに限定されるものではない。例えば、算出したオブジェクト色を中心とする半径ＯｂｊＲの球形やその他類似形状であったとしても、本実施形態の範疇に含まれることは言うまでもない。
【００４８】
上述したグレー・肌色画素のマップが生成できた場合には、次に図５のＳ５０３〜Ｓ５０７において、撮影時光源の推定を行う。光源推定の方法については本実施形態では特に限定しないが、ここでは、特許文献１に記載された方法を用いて説明する。特許文献１によれば、通常カメラのカラーバランス補正はＲＧＢ各成分にそれぞれ調整用のゲインを乗じることにより行われる。このような調整によって得られた画像データは、カメラの分光分布特性から得られた画像データと異なる挙動を示す。
【００４９】
具体的には、各種光源下において、カメラの分光特性から算出したグレーと肌色の軌跡を黒体軌跡とする。上記カメラ内部において、カラーバランス補正前のグレーと肌色の分布は、黒体軌跡上に分布している。しかし、カメラ内部でカラーバランス補正を行うためにＲＧＢ各成分に所定ゲインを乗じると、その結果得られた画像のグレーと肌色の分布は、黒体軌跡には適合しない分布となる。
【００５０】
このような特性を利用し、上記カラーバランス補正が施された後の画像に対して、画素毎に上記カラーバランス補正の逆変換の意味で様々な係数を乗じる。逆変換後の画像の各画素を黒体軌跡平面にプロットし、グレーおよび肌色黒体軌跡近傍の画素数をカウントする。カウントされた画素数が最大となる場合が、カラーバランス補正前の撮影時の状態であり、グレーおよび肌色が最も多く分布する黒体軌跡の位置に基づいて、撮影時光源を決定する（より詳細には、特許文献１参照）。
【００５１】
以下では、特許文献１を参照しながら、Ｓ５０３〜Ｓ５０７の処理の説明を行う。まずＳ５０３では、上述したように、カメラ内部のカラーバランス補正の逆変換を行う意味で、縮小画像の注目画素におけるＲＧＢ各成分に様々な逆変換係数ｒ，ｇ，ｂを乗じ、Ｒ’Ｇ’Ｂ’を得る。
【００５２】
［式４］
Ｒ’＝Ｒ×ｒ
Ｇ’＝Ｇ×ｇ
Ｂ’＝Ｂ×ｂ
ただし、本実施形態において、特許文献１と異なり上述したグレー・肌色画素マップを参照し、Ｓ５０３において注目画素がグレーあるいは肌色画素であると判定された場合にのみ、上記逆変換を行う。これにより、本実施形態の方法ではグレー・肌色とは無関係の画素を排除して光源推定を行うことで、処理対象画像中の全画素を用いている特許文献１に比べ、光源推定精度の向上や光源推定に要する処理時間を短縮することが可能となる。
【００５３】
その後、Ｓ５０４において、Ｒ’Ｇ’Ｂ’成分を所定色成分に変換し、所定色平面において予め定義してある黒体軌跡との距離を算出する。該距離が所定値以下である場合には、逆変換後のＲ’Ｇ’Ｂ’値が黒体軌跡近傍に位置すると判定し、画素数のカウントアップを行う。
【００５４】
Ｓ５０３〜Ｓ５０４の処理を、縮小画像の全画素について行うことで、ある一つの逆変換係数セット（ｒ，ｇ，ｂ）値において、黒体軌跡近傍の画素数を算出することができる（Ｓ５０５）。更にＳ５０３〜Ｓ５０５の処理を、予め用意してある様々な逆変換セットに対して、繰り返し行う（Ｓ５０６）。
【００５５】
その結果、Ｓ５０７において黒体軌跡近傍の画素数が最大となる逆変換セット（ｒ＿ｍａｘ，ｇ＿ｍａｘ，ｂ＿ｍａｘ）を算出し記憶する。さらに、決定された逆変換セットにおける黒体軌跡上の肌色・グレー画素の分布に応じて、撮影光源の色温度Ｋを決定する（詳細は特許文献１参照）。ここでＫの単位はケルビンであり、通常２５００〜１００００程度の値を保持することになる。撮影時光源が昼光下の場合、５５００ケルビン前後、白熱灯などのオレンジ光源の場合には３０００ケルビン前後、曇りの日や日陰においては８０００ケルビン前後の値となることが多い。以上が、光源推定部２０４の説明である。
（各部の詳細：第１の色変換）
次に、図２における第１の色変換部２０５について説明する。第１の色変換部２０５では、入力画像２００に対し、カメラ内部で施されたカラーバランスをキャンセルすることを目的とした色変換を行う。本実施形態では、記憶してある逆変換セット（ｒ＿ｍａｘ，ｇ＿ｍａｘ，ｂ＿ｍａｘ）を入力画像２００中の各画素のＲＧＢ成分値にそれぞれ乗じることで、第１の色変換を実行することができる。なお、第１の色変換部２０５では、カメラ内部で施されたカラーバランスを弱める色変換を行ってもよい。
【００５６】
（各部の詳細：第２の色変換）
次に図２の第２の色変換部２０６において、第２の色変換を行う。第２の色変換の目的は、第１の色変換部２０５により第１の色変換を行うことで、カメラ内部のカラーバランス補正をキャンセルまたは弱めた画像に対して、上述した推定した撮影光源の色温度に基づいて人間の視覚特性を考慮したカラーバランス補正を行うことにある。なお、ここでの“弱めた”とは、適用したカラーバランス補正の一部のみをキャンセルする場合であっても良いし、カラーバランス補正によって変換された値全体を元の値に近づけるようにする場合であっても良い。
【００５７】
このようなカラーバランス補正の一例として、ここでは、ＣＩＥＣＡＭ０２を用いて説明を行う。ＣＩＥＣＡＭ０２とは、ＣＩＥが２００２年に制定したＣｏｌｏｒ Ａｐｐｅｒａｎｃｅ Ｍｏｄｅｌである。ＣＩＥＣＡＭ０２では、入力パラメータとして、観察条件に関するもの（ｃ，Ｎｃ，Ｆや観察光源の白点ＸＹＺ値等）の他に、人間の視覚特性である色順応に対応した順応率Ｄを設定することができる。
【００５８】
これらのパラメータを用いて、観察条件Ａに相当するパラメータを設定して、入力画像２００を、ＸＹＺ色空間から観察条件非依存な色空間ＪＣｈに変換する。該ＪＣｈ色空間から、さらに別の観察条件Ｂを指定し、ＸＹＺに変換することにより、双方の観察条件下で同じ“見え”の再現を行うことが可能となる。ＣＩＥＣＡＭ０２については様々な文献で開示されている。例えば、ＣＩＥ Ｐｕｂｌｉｃａｔｉｏｎ，ＴＣ８−０１，Ａ Ｃｏｌｏｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ ｆｏｒ Ｃｏｌｏｕｒ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍｓ等である。そのため、詳細については上記文献等を参照することとし、本実施形態においては概要説明に留める。
【００５９】
本実施形態においては、ＣＩＥＣＡＭ０２を利用し、撮影時光源下での“見え”を、所定の観察条件下（例えば、モニタや印字物）で再現する方法について説明する。図９は、第２の色変換部２０６の処理フローを示している。以下では、フローに沿って説明を行う。
【００６０】
図９において、まずＳ１００１にて光源推定部２０４で推定した撮影時光源の色温度に従って、各種パラメータを算出する。主なパラメータとして、撮影光源下での白点ＸＹＺ値および、順応率Ｄｉｎが存在する。まず白点ＸＹＺ値については、例えば予め図１０に示すように、主要な色温度におけるＹＣｂＣｒ値を記憶しておき、推定した色温度に応じて補間演算によって求めることができる。例えば、推定色温度が３７５０ケルビンであった場合、２０００ケルビンと５５００ケルビンの中間であるため、白点ＹＣｂＣｒ値は、（２５５，−１５，１５）となる。
【００６１】
求められた白点ＹＣｂＣｒ値は、公知の変換式によってｓＲＧＢ色空間を経由してＸＹＺ値に変換することができる。また、Ｓ１００１では、撮影時光源における順応率Ｄｉｎも決定する。順応率Ｄｉｎは予め設定した固定値（例えば、Ｄｉｎ＝０．８など）により設定してもよい。
【００６２】
Ｓ１００１では推定した撮影時光源下におけるパラメータの算出し、次のＳ１００２では、入力画像２００を観察する観察環境におけるパラメータを決定する。観察環境とは、例えばモニタ１１１が挙げられる。よく知られているようにｓＲＧＢモニタは白点がＤ６５に設定されている。すなわち、ＹＣｂＣｒ空間であれば、（２５５，０，０）に相当する。この値を、同様にＸＹＺ値に変換することで、観察環境におけるＸＹＺを得ることができる。また、観察環境における順応率ＤｏｕｔもＳ１００１と同様に、予め設定した固定値などで決定することができる。
【００６３】
なお、本実施形態において説明を簡略化するため、ＹＣｂＣｒ空間で各光源下における白点座標を保持したが、本実施形態はこれに限定されるものではない。例えば、ＸＹＺ空間やｓＲＧＢ空間、あるいはＣＩＥ Ｌａ＊ｂ＊空間等で代表座標を保持してもよい。また、白点座標は、代表座標を保持するのではなく、所定色空間における数式によって表現することも可能である。本実施形態はそのいずれを用いても構わない。
【００６４】
次に、図９のＳ１００３において、入力画像の注目画素の各ＲＧＢ値（本実施形態ではｓＲＧＢ色空間）を公知の変換式により、ＸＹＺ色空間に変換する。次にＳ１００４にて、Ｓ１００１で算出した撮影時光源下でのパラメータ（白点ＸＹＺ，Ｄｉｎ）を用い、ＸＹＺをＣＩＥＣＡＭ０２の公知の文献に記載された変換式によりＪＣｈ色空間に変換する。
【００６５】
次にＳ１００５にて、Ｓ１００２で算出した観察環境におけるパラメータ（白点ＸＹＺ，Ｄｏｕｔ）を用い、ＪＣｈをＣＩＥＣＡＭ０２の公知の文献に記載された変換式によりＸ’Ｙ’Ｚ’値に変換する。そして、Ｓ１００６において、Ｘ’Ｙ’Ｚ’値を公知の変換式を用いて、ｓＲＧＢ色空間に変換し、補正後の画素値Ｒ’Ｇ’Ｂ’値を得る。Ｓ１００３〜Ｓ１００６の処理を、注目画素位置を移動させながら、入力画像全体に対して施す（Ｓ１００７）。これにより、撮影時に見ていた“見え”に近い状態を、観察環境であるモニタ１１１上に再現することが可能となる。
【００６６】
（処理結果）
上記のような処理を用いた結果得られた画像の特徴を、図１１を用いて説明する。図１１は、横軸が色差、縦軸が輝度を示しており、白丸は第２の色変換部２０６に入力された、色かぶりを起こしている画像のグレー軸を示し、黒丸は第２の色変換後の画素値を示している。白丸は色かぶりを生じているため、輝度軸からずれた位置に存在している。
【００６７】
上記の白丸で示した画素に対して、第２の色変換を施すと、人間の順応機能により、白丸軸は輝度軸方向、つまり無彩色方向に補正されるが、その補正量（変化量１２０１）は明部領域（輝度が高い）ほど大きく、暗部領域（輝度が低い）になるに従って小さくなる。
【００６８】
すなわち、入力画素値のうち、同一色相かつ同一彩度の複数画素に着目すると、明るい画素の方が暗い画素よりも、第２の色変換による変化量が大きくなる。これは、明部の方が暗部よりも順応率が高くなるという人間の視覚特性に基づくもので、このような処理を行うことで、従来よりも撮影時の“見え”に近い画像再現が可能となる。
【００６９】
また、順応率Ｄｉｎ，Ｄｏｕｔを１．０未満に設定することで、人間の視覚特性の中でも重要な不完全順応状態を考慮することができ、従来よりも撮影時の“見え”に近い画像再現が可能となる。
【００７０】
＜第２の実施形態＞
第１の実施形態では、光源推定部２０４における逆変換方法（Ｓ５０３）について、縮小画像中のグレーもしくは肌色と判定された画素のＲＧＢ成分値に逆変換係数を乗じる方法のみを説明した。しかし、この方法では、カメラのカラーバランス補正の逆変換は可能だが、その他の画像処理要素を逆変換することには限界がある。
【００７１】
例えば、カメラ内部では、上述したようなカラーバランス補正のほかに、明るさの制御も含まれる。このような制御は、ＲＧＢ成分に所定ゲインを加えることによって行われる場合がある。このような明るさ制御を含めたカメラ内部の画像処理を逆変換するためには、第１の実施形態にて示した式４に代わって、以下の式のように乗算の要素のほかに、加算要素を加えた逆変換式を定義することが考えられる。
【００７２】
［式５］
Ｒ’＝Ｒ×ｒ＋ｒ１
Ｇ’＝Ｇ×ｇ＋ｇ１
Ｂ’＝Ｂ×ｂ＋ｂ１
上記において、逆変換係数は（ｒ，ｇ，ｂ，ｒ１，ｇ１，ｂ１）の６種類になる。これらの係数を所定間隔で変化させながら、Ｓ５０３の逆変換を行うことにより、第１の実施形態に比べて、光源推定精度を向上させることが可能となる。なお、ここでの所定間隔とは、ｒ，ｇ，ｂが０．５〜１．５を範囲として０．１間隔で指定され、ｒ１，ｇ１，ｂ１が−１０〜＋１０を範囲として１間隔で指定されることが例として挙げられる。しかし、本実施形態はこれに限定されるものではない。
【００７３】
また、カメラ内部の画像処理においては、ＲＧＢ成分に対して非線形要素を用いた画像処理が施される場合がある。このような場合には、式５に代わって以下の式を用いて逆変換を行う場合が考えられる。
【００７４】
［式６］
Ｒ’＝Ｒ×ｒ＾ｒ２
Ｇ’＝Ｇ×ｇ＾ｇ２
Ｂ’＝Ｂ×ｂ＾ｂ２
上記においてｒ２，ｇ２，ｂ２は階乗の係数になる。式６において、逆変換係数は（ｒ，ｇ，ｂ，ｒ２，ｇ２，ｂ２）の６種類になる。これらの係数を所定間隔で変化させながら、Ｓ５０３の逆変換を行うことにより、第１の実施形態に比べて、光源推定精度を向上させることが可能となる。
【００７５】
＜第３の実施形態＞
第１の実施形態では、第１の色変換部２０５による第１の色変換は、逆変換処理によって求めた係数（ｒ＿ｍａｘ，ｇ＿ｍａｘ，ｂ＿ｍａｘ）を用い、入力画像２００に対して係数を乗じる方法について説明した。本実施形態では、第１の色変換を、オブジェクト色算出部２０２において検出したオブジェクト色を用いて行う方法について説明する。なお、本実施形態においても説明を簡略化するために、処理対象とするオブジェクトは人物の顔領域として、説明を行う。
【００７６】
図１２は本実施形態における第１の色変換のフローチャートを示している。図１２では、まずＳ１３０１において、光源推定部２０４で推定した色温度を用いて、推定色温度におけるオブジェクト色（ここでは人物の肌色）を算出する。
【００７７】
図１３（ａ）の軌跡１４０１は、Ｃｂ−Ｃｒ色平面において、照明色温度を変化させた際の人物肌色の軌跡を示している。図１３（ａ）中において各点における数値は色温度を示している。色温度が５５００ケルビンの時は適正な肌色位置、色温度が低い場合にはオレンジ色が強くなり、色温度が高い場合には、青色が強くなるような軌跡となっている。Ｓ１３０１では同軌跡を参照し、推定色温度値に相当する肌色を算出する。
【００７８】
推定色温度値の算出方法については、図１３（ａ）のようなＣｂ−Ｃｒ平面における肌色の軌跡を１次式の表現により保持しておき、推定色温度値と保持する１次式を用いて算出してもよい。あるいは、Ｃｂ−Ｃｒ平面におけるいくつかの代表的な色温度の肌色値を予め保持しておき、推定色温度値に応じて代表値を用いて補間演算により求めても構わない。
【００７９】
次にＳ１３０２〜Ｓ１３０５により、入力画像の各画素に対して、本実施形態における第１の色変換処理を行う。本実施形態における第１の色変換処理では、Ｓ１３０２にて、注目画素のＲＧＢ値（ＰｉｘＲ，ＰｉｘＧ，ＰｉｘＢ）をＹＣｂＣｒ値（ＰｉｘＹ，ＰｉｘＣｂ，ＰｉｘＣｒ）に変換する。
【００８０】
その後、Ｓ１３０３において、ＹＣｂＣｒ色空間による色シフト処理を行う。色シフト処理は、図１３（ｂ）に記載するシフトベクトル１５０１に基づいて行う。図１３（ｂ）において、黒丸はＳ１３０１で算出した推定色温度におけるオブジェクト色を、白丸はオブジェクト色算出部２０２で算出した画像中のオブジェクト色である。カメラの内部で何らかのカラーバランス補正が施されたため、元々黒丸であったオブジェクト色が、入力画像２００中においては白丸に移動している。この白丸を黒丸に戻すために、本実施形態では注目画素毎に、ＹＣｂＣｒ色空間において、以下の式により色シフト処理を行う。
【００８１】
［式７］
ＰｉｘＣｂ’＝ＰｉｘＣｂ＋（ＥｓｔＣｂ−ＯｂｊＣｂ）
ＰｉｘＣｒ’＝ＰｉｘＣｒ＋（ＥｓｔＣｒ−ＯｂｊＣｒ）
式７を用いることで、図１４（ａ）に示すようにＹＣｂＣｒ空間において、注目画素（白丸）を全て同一方向にシフトすることができる。なお図１４（ａ）において、縦軸は輝度、横軸は色差を示している。
【００８２】
Ｓ１３０４にて、色シフト後の画素値（ＰｉｘＹ，ＰｉｘＣｂ’，ＰｉｘＣｒ’）を再度ＲＧＢ空間に変換し、変換後のＲＧＢ値（ＰｉｘＲ’，ＰｉｘＧ’，ＰｉｘＢ’）を第１の色変換後の画素値として出力する。なお、色シフトは、他にも以下の式によって行うことも可能である。
【００８３】
［式８］
ＰｉｘＣｂ’＝ＰｉｘＣｂ＋（ＥｓｔＣｂ−ＯｂｊＣｂ）×Ｗ
ＰｉｘＣｒ’＝ＰｉｘＣｒ＋（ＥｓｔＣｒ−ＯｂｊＣｒ）×Ｗ
ここでＷは、
ＰｉｘＹ＜ＯｂｊＹの場合 Ｗ＝ＰｉｘＹ／ＯｂｊＹ
それ以外の場合 Ｗ＝（２５５−ＰｉｘＹ）／（２５５−ＯｂｊＹ）
式８は、注目画素の輝度値ＰｉｘＹとオブジェクトの輝度値ＯｂｊＹを比較し、輝度が０あるいは２５５に近づくに従って、シフト量を減衰してゆくことを意味している。この場合のシフトベクトルを図示すると、図１４（ｂ）のようになる。図１４（ｂ）において、シフトベクトル１７０１〜１７０３は、ＯｂｊＹの位置を基準として輝度が低く、あるいは高くなるに従って、シフトベクトルの長さが短くなっている。このようなシフトベクトルを用いて第１の色変換処理を行ったとしても、本実施形態の範疇に含まれる。
【００８４】
上記説明したように、本実施形態においては、第１の色変換処理を、所定の輝度色差空間における色シフト処理で実現することを説明した。第１の実施形態で説明した逆変換セット（ｒ＿ｍａｘ，ｇ＿ｍａｘ，ｂ＿ｍａｘ）を乗じる方法だと、注目画素のＲＧＢ値が０に近い場合と２５５に近い場合とで、変換前後の差分に差が生じ、その結果正確な色変換が行えない場合がある。本実施形態における色シフト方法であれば、色空間内での変動量が一定以下に保証できるため、上記問題を解決することができる。
【００８５】
＜第４の実施形態＞
第１の実施形態では、第２の色変換部２０６における順応率Ｄｉｎ，Ｄｏｕｔは、所定の固定値を設定することとしていたが、本実施形態では、特に撮影時光源の順応率Ｄｉｎを、推定した撮影時色温度を用いて変化させることについて説明する。
【００８６】
図１５（ａ）は、本実施形態における順応率Ｄｉｎの設定方法を説明するための図である。本実施形態においては、光源推定部２０４で推定された撮影時色温度に応じて、推定色温度が２８００ケルビンと低い場合には０．６、推定色温度が１００００Ｋと高い場合には０．８と、推定色温度が低い方の順応率を若干低めに設定する。よく知られているように、色温度が低い光源の例としては室内の白熱灯や夕焼け・朝焼けが挙げられる。一方で色温度が高い光源の例としては、曇りの日や、晴天の日陰などが挙げられる。
【００８７】
上記のような一般的な例においては、色温度が高いシーンにおいては、人物の肌色などが無彩色に近い状態となり好ましくないため、順応率を高く設定して、カラーバランス補正をより積極的に行うことが望ましい。その結果、無彩色に近い人物の肌も健康的で適正な肌色に補正されることになる。
【００８８】
一方で、色温度が低いシーンにおいては、夕焼けシーンや室内でのパーティシーンである場合が多く、このようなシーンにおいては、必ずしも積極的なカラーバランス補正が好ましいとは言えない。例えば、夕焼けシーンにおいて、色温度が高い場合と同等の順応率を設定してカラーバランス補正を行うと、昼間のような画像となり、撮影時の雰囲気を大きく損ねる恐れがある。
【００８９】
従って、図１５（ａ）に示すように、肌色の色温度である５５００ケルビンまでは色温度が高くなるに従って順応率を高くして補正効果を高め、色温度が低くなるに従って順応率を弱める。同様に、５５００ケルビンを超えた場合には、より色温度が高くなるに従って順応率Ｄｉｎを減少させる。この方法で撮影時の雰囲気を保つことにより、それぞれのシーンに適合したより好ましい画像再現を行うことが可能となる。
【００９０】
ところで、Ｄｉｎの設定方法については、図１５（ａ）に示した変化率を示す１次式を保持しておき、推定色温度を用いて１次式を用いて算出してもよいし、主要な色温度のＤｉｎ値のみを記憶しておき、推定色温度に応じて補間演算により求めてもよい。
【００９１】
また、変化率を示す式は１次式に限らず、図１５（ｂ）に示すような２次曲線、３次曲線やその他の非線形カーブに基づいて算出したとしても、本実施形態の範疇に含まれることは言うまでもない。この場合においても色温度が５５００ケルビンの場合をピークとした順応率Ｄｉｎを求める。
【００９２】
＜第５の実施形態＞
第１の実施形態においては、図２で示すように、入力画像２００に対して、まず第１の色変換を施した後、第２の色変換を施す処理例について説明した。しかし、このように異なる処理を直列に接続し、それぞれの処理において各画素単位に複雑な演算処理を行うと、多くの処理時間を要してしまう。
【００９３】
そこで本実施形態においては、図１６に示すようなブロック図構成によって処理を行うことを提案する。すなわち、第１および第２の色変換に必要なパラメータを予め算出し、それらを反映させた３次元ルックアップテーブル（以降、３ＤＬＵＴ）を算出し、補間演算を用いて３ＤＬＵＴを入力画像に適用する方法である。図１６における各処理部２００１〜２００４の処理については、第１の実施形態と同様のため、ここでの説明は省略する。
【００９４】
第１の色変換パラメータ算出部２００５において、第１の実施形態で説明したものと同様に、カメラ内部のＷＢ補正をキャンセルする意味の画像処理パラメータを決定する。これにより第１の算出手段を実現する。第１の実施形態によれば、光源推定部２００４で算出した黒体軌跡近傍のグレー・肌色画素が最大となる逆変換セット（ｒ＿ｍａｘ，ｇ＿ｍａｘ，ｂ＿ｍａｘ）を、そのまま画像処理パラメータとして決定し、３ＤＬＵＴ生成部２００７に入力される。
【００９５】
次に、第２の色変換パラメータ算出部２００６において、第１の実施形態で説明したものと同様に、第２の色変換に必要なパラメータを決定する。これにより第２の算出手段を実現する。第２の色変換に必要なパラメータとして、撮影時光源に関するパラメータ（推定色温度における白点ＸＹＺ値、および順応率Ｄｉｎ）および観察環境に関するパラメータ（観察環境における白点ＸＹＺ値、および順応率Ｄｏｕｔ）が存在する。これらのパラメータは第１の実施形態で述べたものと同様の方法により算出し、３ＤＬＵＴ生成部２００７に入力される。
【００９６】
（３ＤＬＵＴ生成）
次に、３ＤＬＵＴ生成部２００７の処理について、図１７のフローチャートに従って説明を行う。なお、本実施形態では簡略化のために、ｓＲＧＢ空間におけるＲＧＢ各成分が１７グリッド（総グリッド数は１７＾３＝４９１３点）の３ＤＬＵＴを生成するものとするが、本実施形態はこれに限定するものではない。
【００９７】
図１７において、まず始めに、Ｓ２１０１において各グリッドの初期化を行う。すなわち、ＲＧＢ各値を０にセットする。次に、Ｓ２１０２において、第１の色変換パラメータ２１１０を用いて第１の色変換を行う。具体的には、以下の式により、第１の色変換後の値Ｒ’Ｇ’Ｂ’値を算出する。
【００９８】
［式９］
Ｒ’＝Ｒ×ｒ＿ｍａｘ
Ｇ’＝Ｇ×ｇ＿ｍａｘ
Ｂ’＝Ｂ×ｂ＿ｍａｘ
次に、Ｓ２１０３において、求めたＲ’Ｇ’Ｂ’値を公知の変換式を用いてＸＹＺ値に変換し、さらにＳ２１０４において、第１の実施形態に説明したようにＣＩＥＣＡＭ０２を用いてＪＣｈ空間に変換する。そして、さらにＳ２１０５でＸＹＺ空間に逆変換する。この際に用いられるのが、第２の色変換パラメータ２１１１である。
【００９９】
次にＳ２１０６において、第１の実施形態と同様に、第２の色変換後のＸＹＺ値をｓＲＧＢ色空間に変換し、現在注目しているグリッドの出力値として、３ＤＬＵＴに格納する。
【０１００】
上記処理を、ＲＧＢ全てのグリッドについて行い、各グリッドの出力値を３ＤＬＵＴに格納する。具体的には、Ｓ２１０２〜Ｓ２１０６の処理の後、未処理のグリッドがある場合（Ｓ２１０７にてＮＯ）には、Ｓ２１０８において、Ｂ成分の値を１６だけインクリメントする。Ｂ成分値が２５５を超えたら、Ｇ成分値を１６だけインクリメントし、Ｂ成分値を０にリセットして処理を継続する。さらにＧ成分値が２５５を超えたら、Ｒ成分値を１６だけインクリメントし、Ｇ，Ｂ成分値を０にリセットする。
【０１０１】
１７グリッドで３ＤＬＵＴの場合、上記処理を４９１３回（＝１７＾３）繰り返し、ＲＧＢ成分値が全て２５５を超えた時点で、全てのグリッドに対する出力値の算出が終了したとして（Ｓ２１０７にてＹＥＳ）、処理を終了する。
【０１０２】
上記処理により生成された３ＤＬＵＴは、補間部２００８に入力され、補間部２００８にて、同じく入力された入力画像２００に対して公知の補間方法（詳細省略）を用いて、補正後の画像を得ることができる。補間方法については、四面体補間、立方体補間様々な方法が存在するが、本実施形態においては、それらのうちいずれを用いても構わない。
【０１０３】
上述したように、本実施形態では、ｓＲＧＢ色空間の限られたグリッド位置に対して、予め算出した第１および第２の色変換パラメータを用いて出力値を算出し、それを３ＤＬＵＴとして保持しておく。３ＤＬＵＴを用いて補間演算により入力画像２００を変換することで、特に入力画像解像度が大きい場合に、画素ごとに複雑な色変換処理を行うよりも、遥かに短い処理時間で出力画像を得ることが可能となる。
【０１０４】
なお、本実施形態の第１の色変換パラメータ算出部２００５は、第３の実施形態で説明したようなシフトベクトルを用いて行ってもよい。すなわち、シフトベクトル値を３ＤＬＵＴ生成部２００７に入力し、３ＤＬＵＴ生成部２００７のＳ２１０２において、第３の実施形態と同様の方法により色シフト処理を実現することも可能である。
【０１０５】
また、本実施形態においては簡略化のため、ＲＧＢ３成分を前提とした３ＤＬＵＴを生成する処理について説明したが、本実施形態はこれに限定されるものではない。例えば、入力画像フォーマットをＣＭＹＫ４成分とすると、本実施形態を参照すれば、４次元ＬＵＴを用いて処理することも可能である。すなわち、多次元ＬＵＴを用いて処理を行った場合においても、本実施形態の範疇に含まれることは言うまでもない。
【０１０６】
（その他の応用例）
入力画像はデジタルカメラで撮影された画像でなくてもよい。デジタルカメラ等から入力されたデジタル画像を、表示用、あるいはプリント用の解像度に変換したものを入力画像として、上記処理を行ってもよい。
【０１０７】
また、入力画像や処理の作業色空間をｓＲＧＢ色空間として説明を行ったが、本実施形態はこれに限定されるものではない。ＡｄｏｂｅＲＧＢ（米Ａｄｏｂｅ社の商標）色空間を作業色空間としてもよいし、ＣＩＥ Ｌａ＊ｂ＊等その他の色空間を用いても構わない。
【０１０８】
また、オブジェクト検出として、人物の顔領域を用いて説明を行ったが、本実施形態はこれに限定されるものではない。例えば、動物検出や、建物、その他のオブジェクトを用いたとしても本実施形態の範疇に含まれる。
【０１０９】
また、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、プリンタ、複写機、ファクシミリ装置等）に適用しても良い。
【０１１０】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置であって、
前記画像に含まれるオブジェクトを検出する検出手段と、
前記検出手段により検出された前記オブジェクトの色値を解析する解析手段と、
前記解析手段により解析された色値に基づき、前記画像の撮影時光源を推定する光源推定手段と、
前記光源推定手段により推定された前記撮影時光源と前記解析手段により解析された色値に基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する第１の色変換を施す第１の色変換手段と、
前記第１の色変換手段により前記第１の色変換を施した画像に対して、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率を用いて第２の色変換を施す第２の色変換手段と
を有することを特徴とする画像処理装置。
【請求項２】
カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置であって、
前記画像に含まれるオブジェクトを検出する検出手段と、
前記検出手段により検出された前記オブジェクトの色値を解析する解析手段と、
前記解析手段により解析された色値とに基づき、前記画像の撮影時光源を推定する光源推定手段と、
前記光源推定手段により推定された前記撮影時光源と前記解析手段により解析された色値に基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する際に用いる第１の色変換パラメータを算出する第１の算出手段と、
前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率により色変換を行う際に用いる第２の色変換パラメータを算出する第２の算出手段と、
前記第１の色変換パラメータおよび前記第２の色変換パラメータを用いて、多次元ＬＵＴを生成する生成手段と、
前記多次元ＬＵＴを用い、前記画像の色値の補間を行う補間手段と
を有することを特徴とする画像処理装置。
【請求項３】
前記オブジェクトは、人物の顔であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記光源推定手段は、
前記画像のハイライト色を算出するハイライト色算出手段と、
前記ハイライト色算出手段により算出された前記ハイライト色および前記解析手段により解析された前記オブジェクトの色値に基づいて、光源推定を行う対象画像中のグレー画素および、人物の皮膚の色に対応した肌色画素を特定する特定手段と
を有し、
少なくとも特定された前記グレー画素および前記肌色画素に基づいて前記画像の撮影時光源を推定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の色変換手段は、前記光源推定手段により推定された前記撮影時光源に基づき、当該撮影時光源における前記オブジェクトの色を算出するオブジェクト色算出手段を有し、
前記オブジェクト色算出手段により算出されたオブジェクトの色値と前記解析手段により解析されたオブジェクトの色値とに基づいて、前記第１の色変換を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記順応率は、前記画像に含まれる同一色相かつ同一彩度の複数画素において、前記第２の色変換を施す前後の変化量が、暗部領域に含まれる画素よりも明部領域に含まれる画素の方が大きくなるように、定義されることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記順応率は、前記オブジェクトに含まれる画素において基準とする色温度に対し、前記撮影時光源における色温度の差が大きくなるに従って、低くなるように定義されることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記第２の色変換手段は、ＣＩＥＣＡＭ０２を用いて前記第２の色変換を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置の制御方法であって、
前記画像処理装置の検出手段が、前記画像に含まれるオブジェクトを検出する検出工程と、
前記画像処理装置の解析手段が、前記検出工程において検出された前記オブジェクトの色値を解析する解析工程と、
前記画像処理装置の光源推定手段が、前記解析工程において解析された色値に基づき、前記画像の撮影時光源を推定する光源推定工程と、
前記画像処理装置の第１の色変換手段が、前記光源推定工程において推定された前記撮影時光源と前記解析工程において解析された色値とに基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する第１の色変換を施す第１の色変換工程と、
前記画像処理装置の第２の色変換手段が、前記第１の色変換工程において前記第１の色変換を施した画像に対して、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率を用いて第２の色変換を施す第２の色変換工程と
を有することを特徴とする制御方法。
【請求項１０】
カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置の制御方法であって、
前記画像処理装置の検出手段が、前記画像に含まれるオブジェクトを検出する検出工程と、
前記画像処理装置の解析手段が、前記検出工程において検出された前記オブジェクトの色値を解析する解析工程と、
前記画像処理装置の光源推定手段が、前記解析工程において解析された色値に基づき、前記画像の撮影時光源を推定する光源推定工程と、
前記画像処理装置の第１の算出手段が、前記光源推定工程において推定された前記撮影時光源と前記解析工程において解析された色値とに基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する際に用いる第１の色変換パラメータを算出する第１の算出工程と、
前記画像処理装置の第２の算出手段が、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率により色変換を行う際に用いる第２の色変換パラメータを算出する第２の算出工程と、
前記画像処理装置の生成手段が、前記第１の色変換パラメータおよび前記第２の色変換パラメータを用いて、多次元ＬＵＴを生成する生成工程と、
前記画像処理装置の補間手段が、前記多次元ＬＵＴを用い、前記画像の色値の補間を行う補間工程と
を有することを特徴とする制御方法。
【請求項１１】
コンピュータを請求項１乃至８のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１】
カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置であって、
前記画像に含まれるオブジェクトを検出する検出手段と、
前記検出手段により検出された前記オブジェクトの色値を解析する解析手段と、
前記解析手段により解析された色値に基づき、前記画像の撮影時光源を推定する光源推定手段と、
前記光源推定手段により推定された前記撮影時光源と前記解析手段により解析された色値に基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する第１の色変換を施す第１の色変換手段と、
前記第１の色変換手段により前記第１の色変換を施した画像に対して、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率を用いて第２の色変換を施す第２の色変換手段と
を有することを特徴とする画像処理装置。
【請求項２】
カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置であって、
前記画像に含まれるオブジェクトを検出する検出手段と、
前記検出手段により検出された前記オブジェクトの色値を解析する解析手段と、
前記解析手段により解析された色値とに基づき、前記画像の撮影時光源を推定する光源推定手段と、
前記光源推定手段により推定された前記撮影時光源と前記解析手段により解析された色値に基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する際に用いる第１の色変換パラメータを算出する第１の算出手段と、
前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率により色変換を行う際に用いる第２の色変換パラメータを算出する第２の算出手段と、
前記第１の色変換パラメータおよび前記第２の色変換パラメータを用いて、多次元ＬＵＴを生成する生成手段と、
前記多次元ＬＵＴを用い、前記画像の色値の補間を行う補間手段と
を有することを特徴とする画像処理装置。
【請求項３】
前記オブジェクトは、人物の顔であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記光源推定手段は、
前記画像のハイライト色を算出するハイライト色算出手段と、
前記ハイライト色算出手段により算出された前記ハイライト色および前記解析手段により解析された前記オブジェクトの色値に基づいて、光源推定を行う対象画像中のグレー画素および、人物の皮膚の色に対応した肌色画素を特定する特定手段と
を有し、
少なくとも特定された前記グレー画素および前記肌色画素に基づいて前記画像の撮影時光源を推定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の色変換手段は、前記光源推定手段により推定された前記撮影時光源に基づき、当該撮影時光源における前記オブジェクトの色を算出するオブジェクト色算出手段を有し、
前記オブジェクト色算出手段により算出されたオブジェクトの色値と前記解析手段により解析されたオブジェクトの色値とに基づいて、前記第１の色変換を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記順応率は、前記画像に含まれる同一色相かつ同一彩度の複数画素において、前記第２の色変換を施す前後の変化量が、暗部領域に含まれる画素よりも明部領域に含まれる画素の方が大きくなるように、定義されることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記順応率は、前記オブジェクトに含まれる画素において基準とする色温度に対し、前記撮影時光源における色温度の差が大きくなるに従って、低くなるように定義されることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記第２の色変換手段は、ＣＩＥＣＡＭ０２を用いて前記第２の色変換を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置の制御方法であって、
前記画像処理装置の検出手段が、前記画像に含まれるオブジェクトを検出する検出工程と、
前記画像処理装置の解析手段が、前記検出工程において検出された前記オブジェクトの色値を解析する解析工程と、
前記画像処理装置の光源推定手段が、前記解析工程において解析された色値に基づき、前記画像の撮影時光源を推定する光源推定工程と、
前記画像処理装置の第１の色変換手段が、前記光源推定工程において推定された前記撮影時光源と前記解析工程において解析された色値とに基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する第１の色変換を施す第１の色変換工程と、
前記画像処理装置の第２の色変換手段が、前記第１の色変換工程において前記第１の色変換を施した画像に対して、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率を用いて第２の色変換を施す第２の色変換工程と
を有することを特徴とする制御方法。
【請求項１０】
カラーバランス補正機能を有する撮像装置により撮影された画像データに対し、当該画像データにおける画像のカラーバランスを補正する画像処理装置の制御方法であって、
前記画像処理装置の検出手段が、前記画像に含まれるオブジェクトを検出する検出工程と、
前記画像処理装置の解析手段が、前記検出工程において検出された前記オブジェクトの色値を解析する解析工程と、
前記画像処理装置の光源推定手段が、前記解析工程において解析された色値に基づき、前記画像の撮影時光源を推定する光源推定工程と、
前記画像処理装置の第１の算出手段が、前記光源推定工程において推定された前記撮影時光源と前記解析工程において解析された色値とに基づき、前記画像に対して、当該画像を含む前記画像データの撮影を行った前記撮像装置に依存して適用されたカラーバランス補正を弱めた画像に変換する際に用いる第１の色変換パラメータを算出する第１の算出工程と、
前記画像処理装置の第２の算出手段が、前記撮影時光源における人間の色順応に基づき定義された色値に対する順応率により色変換を行う際に用いる第２の色変換パラメータを算出する第２の算出工程と、
前記画像処理装置の生成手段が、前記第１の色変換パラメータおよび前記第２の色変換パラメータを用いて、多次元ＬＵＴを生成する生成工程と、
前記画像処理装置の補間手段が、前記多次元ＬＵＴを用い、前記画像の色値の補間を行う補間工程と
を有することを特徴とする制御方法。
【請求項１１】
コンピュータを請求項１乃至８のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−２４９９３９（Ｐ２０１１−２４９９３９Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１１８７７１（Ｐ２０１０−１１８７７１）
【出願日】平成２２年５月２４日（２０１０．５．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２４日（２０１０．５．２４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]