自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体
【課題】 様々な照明環境下で撮影された自然画像における重要被写体（例えば、肌色、青空、草木の緑等）に対し、自動的に良好な色補正を施すことである。
【解決手段】 代表色抽出手段１３は対象物選択手段１１において選択された対象物の色相の分布可能領域と分割色相領域における分布頻度とを対象物色情報メモリ１２から読出し、代表色を抽出する。色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリ１４の記憶内容から決定する。色補正処理手段１６は入力画像に対し、対象物の代表色とその近傍付近の色のみに対して色補正が施される処理を行う。
【解決手段】 代表色抽出手段１３は対象物選択手段１１において選択された対象物の色相の分布可能領域と分割色相領域における分布頻度とを対象物色情報メモリ１２から読出し、代表色を抽出する。色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリ１４の記憶内容から決定する。色補正処理手段１６は入力画像に対し、対象物の代表色とその近傍付近の色のみに対して色補正が施される処理を行う。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体に関し、特にディジタルスチルカメラ、スキャナ、ディスプレイ、プリンタ等のカラー画像機器及びカラー画像処理ソフトウェアにおけるカラー画像の色補正技術に関する。
【０００２】
【従来の技術】カラー画像の色再現問題において、カラー画像機器間で忠実な色再現を実現するとともに、我々人間が好ましいと感じる色再現も重要な要素となる。肌色、青空、草木の緑等の自然物は人間の注意を引きやすく、好ましい色再現が要求される。
【０００３】特に、肌色に関しては様々な肌色補正方法が提案されている。例えば、特開平８−７９５４９号公報においては、肌色領域に対して空間周波数の高周波領域成分を除去して粒状感を低くするとともに、ハイライト部分における階調性や色飛びを防止することで、肌色の再現性を向上させる手法が提案されている。
【０００４】また、特開平１１−１７９６９号公報には、好ましい肌色の範囲から外れている部分を好ましい肌色に補正するために、入力画像をカラーＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）モニタに表示し、補正の対象となる黒ずんだり、緑がかったような好ましい肌色から外れる色をポインティングデバイスによって指定し、指定された注目画素の色相及びその隣接近傍の色相を目的の色相に変換する手法が提案されている。
【０００５】さらに、特開平６−１３３３２９号公報には、肌色に限らず、ある特定のカテゴリ色の局所的な色ずれを検知し、そのカテゴリの代表色に変換することで色ずれを補正する手法が提案されている。
【０００６】さらにまた、特開平６−１２１１５９号公報には、肌色、空、緑等のカテゴリ色に対して人間の記憶色を考慮した色補正方法が提案されている。
【０００７】一方、特開平１０−１９８７９５号公報には、補正を施す色相を任意に設定し、その指定された特定色相と注目画素の色相との距離を表す特色度を定義することで、特定色相のみに作用する色補正方法が提案されている。
【０００８】
【発明が解決しようとする課題】上述した従来の色補正方法では、特開平１１−１７９６９号公報に開示された手法の場合、グラフィカルユーザインターフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によるユーザとの対話が利用されている。
【０００９】この手法を用いることによって、補正対象領域における代表色及び色補正パラメータが手動で設定可能となるため、柔軟でかつ良好な色補正処理が可能となる。しかしながら、大量の画像データを短時間で処理しなければならない場合、この手法は適していない。つまり、処理時間及び労力がネックとなるとともに、操作者の熟練度によっても補正結果がばらつく等の問題がある。
【００１０】操作者の違いによる補正結果のばらつき及び処理時間の問題を解決するためには、ユーザの操作を必要としないカラー画像の自動色補正が必要となる。特開平６−１３３３２９号公報に開示された手法は指定された色相領域を検出し、それを代表的な一定な色に置き換えるという手法であるが、肌色、青空、草木の緑等の自然物の色は一定ではなく、変換後の色もある程度のばらつきを持たせないと自然な色再現は得られない。
【００１１】一方、特開平６−１２１１５９号公報に開示された手法では、肌色、青空、草木の緑の自然物等の各対象物に対して予め設定されている一つのパラメータが用いられることになる。しかしながら、一般に、肌色、草木の緑、青空等の自然物の色は様々な入力機器や撮影環境等の影響によって広い色分布を持つことになる。このように、広い色分布を持つ対象物の色補正には入力画像から検出された補正対象物の色の色相、彩度、明度に応じて、より木目細やかに最適な補正パラメータを設定しなければ良好な色再現を実現することができない。
【００１２】特開平１０−１９８７９５号公報においては、ＧＵＩを利用した補正対象の色の指定方法を利用する場合と、肌色に限定した時の自動色補正の方法が提案されている。後者の自動色補正方法では肌色領域をＲＧＢ値やＹＣｂＣｒ値の閾値を設定して検出すると述べているが、様々な照明環境や背景下で撮影された画像に適用した場合、ＲＧＢ値やＹＣｂＣｒ値の閾値だけでは肌色領域の検出精度が低いものとなる。
【００１３】特開平６−１２１１５９号公報においても、入力画像から補正対象物を検出するために、特開平１０−１９８７９５公報と同様に、色相、彩度、明度の閾値から判定される対象領域の面積の情報、すなわち単純なヒストグラムを用いているが、同様の理由から、例えば肌色領域の検出精度が低いものとなる。
【００１４】そこで、本発明の目的は上記の問題点を解消し、様々な照明環境下で撮影される自然画像を入力画像とし、この入力画像の照明環境、入力センサの感度特性等の情報が無くとも、良好な色補正を実現することができる自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体を提供することにある。
【００１５】
【課題を解決するための手段】本発明による自動色補正装置は、カラー画像中の特定対象物に色補正を施す自動色補正装置であって、前記特定対象物の色相分布可能領域を分割して得られる分割色相領域及び分布頻度を記憶する対象物色情報記憶メモリと、前記対象物色情報記憶メモリの記憶内容を基に任意入力画像中から前記特定対象物の代表色を抽出する代表色抽出手段と、前記特定対象物の色相分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリと、前記代表色抽出手段で抽出された代表色に最適な色補正パラメータを前記色補正パラメータ記憶メモリの記憶内容から決定する色補正パラメータ決定手段と、前記色補正パラメータ決定手段で得られた色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う色補正処理手段とを備えている。
【００１６】本発明による自動色補正方法は、カラー画像中の特定対象物に色補正を施す自動色補正方法であって、任意入力画像中から前記特定対象物の代表色を抽出するステップと、抽出された前記代表色に最適な色補正パラメータを前記特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリの内容に基づいて決定するステップと、前記最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行うステップとを備えている。
【００１７】本発明による自動色補正制御プログラムを記録した記録媒体は、カラー画像中の特定対象物に色補正を施す自動色補正装置に自動色補正を行わせるための自動色補正制御プログラムを記録した記録媒体であって、前記自動色補正制御プログラムは前記自動色補正装置に、任意入力画像中から前記特定対象物の代表色を抽出させ、前記特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して色補正パラメータを割り振らせ、抽出された前記代表色に最適な色補正パラメータを決定させ、前記最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行わせている。
【００１８】すなわち、本発明の第１の自動色補正方法は、カラー画像中の特定対象物に色補正を施す自動色補正方法において、任意入力画像中から特定対象物の代表色を抽出するステップと、特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して色補正パラメータを割り振るステップと、抽出された代表色に最適な色補正パラメータを決定するステップと、最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行うステップとを含んでいる。
【００１９】本発明の第２の自動色補正方法は、色補正パラメータを割り振るステップにおいて、対象物の分割色相領域だけでなく、対象物の彩度分布可能領域及び明度分布可能領域をそれぞれ複数個に分割した分割彩度領域及び分割明度領域のそれぞれの領域に色補正パラメータを割り振っている。
【００２０】本発明の第３の自動色補正方法は、代表色を抽出するステップにおいて、特定対象物の色相、彩度、又は明度、あるいはそれらを組合せたものに関する分布頻度に加え、画像中の座標位置の分散をも利用することによって、特定対象物の代表色を抽出している。
【００２１】本発明の第１の自動色補正装置は、カラー画像中の特定対象物に色補正を施す自動色補正装置において、特定対象物の色相分布可能領域を分割して得られる分割色相領域及び分布頻度を記憶する対象物色情報記憶メモリと、任意入力画像中から特定対象物の代表色を抽出する代表色抽出手段と、特定対象物の色相分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリと、代表色抽出手段によって抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリから決定する色補正パラメータ決定手段と、色補正パラメータ決定手段によって得られた色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う色補正処理手段とを含んでいる。
【００２２】本発明の第２の自動色補正装置は、特定対象物について予め様々な撮影環境下で撮影された複数の画像を解析して得た特定対象物の色相、彩度、又は明度、あるいはそれらを組合せたものに関する分布可能範囲を分割して得られる分割領域及び分布頻度を記憶する拡張対象物色情報記憶メモリを備え、代表色抽出手段において色相、彩度、又は明度、あるいはそれらを組合せたものに関する分割領域を基に入力画像中における特定対象の色相、彩度、又は明度、あるいはそれらの組合せのヒストグラムを得て分布頻度とヒストグラムとを掛け合わせ、その最大値を有した領域中に存在する色を特定対象物の代表色として抽出している。
【００２３】本発明の第３の自動色補正装置は、代表色抽出手段において、特定対象物の色相、彩度、又は明度、あるいはその組合せの分布頻度に加え、画像中の座標位置の分散も利用することによって特定対象物の代表色を抽出している。
【００２４】本発明の第４の自動色補正装置は、色補正パラメータ記憶メモリにおいて、対象物の色相だけでなく対象物の彩度分布可能領域及び明度分布可能領域をそれぞれ複数個に分割した分割彩度領域及び分割明度領域のそれぞれの領域に割り振られた色補正パラメータを記憶している。
【００２５】本発明の第５の自動色補正装置は、入力機器毎に特定対象物の色相、彩度、又は明度、あるいはそれらを組合せたものに関する分布可能範囲を分割して得られる分割領域及び分布頻度を記憶する入力別対象物色情報記憶メモリと、出力機器毎に色補正パラメータを保持する出力別色補正パラメータ記憶メモリと、ユーザが入出力カラー画像機器の機種を選択できる入出力機器指定手段とを含んでいる。
【００２６】本発明の第６の自動色補正装置は、特定対象物の複数種類のカラー画像を記憶するサンプル画像記憶メモリと、サンプル画像記憶メモリに記憶されている画像をモニタに表示し、ユーザに特定対象物の色を補正させることを可能にする手動色補正処理手段と、手動色補正手段の結果から色補正パラメータ記憶メモリに記述する色補正パラメータを作成する色補正パラメータ生成手段とを含んでいる。
【００２７】上記のように、画像情景中の肌色、草木の緑、青空等の特定対象物の代表色を高精度に抽出し、抽出された代表色に最適な色補正パラメータを設定することで、様々な照明環境下で撮影された自然画像における重要被写体（例えば、肌色、青空、草木の緑等）に対して自動的に良好な色補正を施すことが可能となる。すなわち、様々な照明環境下で撮影される自然画像を入力画像とし、この入力画像の照明環境、入力センサの感度特性等の情報が無くとも、良好な色補正を実現することが可能となる。
【００２８】
【発明の実施の形態】次に、本発明の実施の形態について図面を参照して詳細に説明する。まず、本発明の自動色補正方法について説明する。本発明の自動色補正方法では、ＧＵＩを用いることなく、自動的に入力画像における特定対象の色補正を実現するために、（１）画像中の特定対象の領域から代表色を抽出するステップと、（２）抽出された代表色に応じて最適な色補正パラメータを設定するステップとが必要となる。
【００２９】（１）のステップにおいては任意の入力画像中から特定対象物領域の代表色を自動的に抽出するが、この場合、入力画像はディジタルカメラ、スキャナ、インタネット上の画像データベース等、どのようなソース（機器）から入力あるいは入手されたものかを特定することができない画像を含んでいる。つまり、入力機器のセンサ感度特性を特定することができないため、色補正の手がかりとなる画像情景中の照明色や物体色を推定することが難しい。
【００３０】このような様々な入力画像から特定対象物の領域から代表色を抽出するため、本発明では、まず様々な照明環境、背景、入力機器で撮影された特定対象の画像データ中の特定対象領域から得られた色の色相、彩度、明度に関する分布可能範囲と分布頻度を予め準備している。
【００３１】この特定対象領域の色の色相、彩度、明度に関する分布可能範囲及び分布頻度はパターン認識における認識辞書と同様のものであり、作成には人手による作業を要するが、一度求めておけば良い。すなわち、実際に入力画像から特定対象物の代表色を抽出する際には、この特定対象領域の色の色相、彩度、明度に関する分布可能範囲及び分布頻度を利用することで、自動的に特定対象物の代表色を抽出することができる。
【００３２】図１は対象物の色相分布可能領域とその頻度を示す図であり、図２は対象物の色相分布可能領域を分割した状態を示す図であり、図３は対象物の色補正前後の色相の変化を示す図である。
【００３３】図１においてはある特定対象物の色相に関する分布可能範囲及び分布頻度の一例を示している。この図において、下限色相Ａと上限色相Ｂとに挟まれる領域が特定対象が分布しうる色相範囲、すなわち色相の分布可能範囲を示している。縦軸はこの分布可能範囲における特定対象の分布頻度を表している。尚、図１では色相のみの分布頻度及び分布可能範囲を示しているが、彩度成分、明度成分における分布可能範囲及び分布頻度についても同様に作成が可能であるとともに、色相、彩度、明度の３成分を統合した３次元空間における分布可能範囲と分布頻度とを作成することも可能である。
【００３４】図２においては図１に示す色相の分布可能範囲を、ある間隔で分布可能範囲をｎ個に分割している。ここで、分割する間隔は一定でもよいし、可変であってもよい。図２では特定対象物の色相における分布可能範囲を１１個の領域に分割した例を示している。以下、色相の分布可能範囲を分割したものを分割色相領域とする。
【００３５】この分割色相領域における分布頻度ＲH （ｉ）（ｉ＝１〜ｎの整数）［Ｈは色相（Ｈｕｅ）を表す］を計算する。ある分割色相領域ａに対する分布頻度ＲH （ａ）の計算方法は、例えばその分割色相領域ａに存在するサンプル数をｂ個、サンプル総数をａｌｌ個とすると、 ＲH （ａ）＝ｂ／ａｌｌ ……（１）
等としてもよい。同様にして、彩度における分布頻度ＲS （ｊ）、明度における分布頻度Ｒv （ｋ）も計算することができる。
【００３６】続いて、任意の照明環境下で撮影された入力画像中から特定対象物の代表色が含まれる領域を抽出する手法について説明する。本手法では上記の特定対象物の分布可能範囲及び分割領域における分布頻度を利用する。ここでは説明の簡略化のために色相に着目して説明する。
【００３７】入力画像の各画素の色相、彩度、明度を計算する。ここで、色相、彩度、明度はカラー画像処理において広く利用されている以下の式、 Ｖ＝Ｍａｘ（Ｒ，Ｇ，Ｂ）
Ｖ＝０の時 Ｓ＝０ Ｖ＞０の時 Ｓ＝（Ｖ−Ｍｉｎ（Ｒ，Ｇ，Ｂ））／Ｖ Ｓ＝０の時 Ｈ＝０ Ｖ＝Ｒの時 Ｈ＝６０（Ｇ−Ｂ）／ＳＶ Ｖ＝Ｇの時 Ｈ＝６０（２＋（Ｂ−Ｒ）／ＳＶ）
Ｖ＝Ｂの時 Ｈ＝６０（４＋（Ｒ−Ｇ）／ＳＶ）
Ｈ＜０の時 Ｈ＝Ｈ＋３６０ ……（２）
に示したＨＳＶ等を利用することができるが、この限りではない。
【００３８】この各画素について、その色相が特定対象物の色相における分布可能範囲内であるか否かを判定し、範囲内であると判定された場合、その色相がｎ個に分割されている分割色相領域のどの領域に属するかを判定する。
【００３９】この処理を入力画像中の全画素に対して行い、全ての分割色相領域におけるヒストグラムＨＩＴH （ｌ）を作成する。ここで、ｌは１からｎまでの整数で、ｎ個に分割された分割色相領域のどの領域であるかを表している。各分割色相領域における代表色候補指数ＲＰ（ｉ）を、 ＲＰ（ｉ）＝ＨＩＴH （ｉ）×ＲH （ｉ） ……（３）
という式で計算する。ここで、ｉは１〜ｎまでの整数である。
【００４０】この場合、代表色候補指数ＲＰが最も値の大きかった分割色相領域を入力画像における特定対象物が有する色相領域とする。このように選択された分割色相領域内に存在する画素の平均ＲＧＢ値を、入力画像中における特定対象物の代表色としても良いし、予めそれぞれの分割色相領域にＲＧＢ値を割り振っておき、その値を代表色にしてもよい。尚、予め割り振るＲＧＢ値は、上記の特定対象物の色相、彩度、明度に関する分布可能範囲及び分布頻度を求めたものと同じ画像データセットを利用し、各分割領域に存在する色の平均ＲＧＢ値としてもよい。
【００４１】上述した手法は色情報のみを手がかりに特定対象物の代表色を抽出する方法である。さらに代表色の抽出精度を高めるためには、各分割色相領域に存在する画素の画像中での座標位置の分散を導入する。例えば、分割色相領域ａにＫ個が存在した場合、まず、そのＫ個の画像中でのＸＹ座標（Ｘｉ，Ｙｉ）（ｉ＝１〜Ｋ）から、 Ｘｃ＝ΣＸｉ／Ｋ Ｙｃ＝ΣＹｉ／Ｋ ……（４）
という式で、平均座標（Ｘｃ，Ｙｃ）を計算する。ここで、Σはｉ＝１からＫまでの総和である。
【００４２】分割色相領域ａに存在する画素の座標位置の分散Ｖａは、 Ｖａ＝Σ（（Ｘｃ−Ｘｉ）2 ＋（Ｙｃ−Ｙｉ）2 ）／Ｋ ……（５）
で表される。尚、Σはｉ＝１からＫまでの総和である。
【００４３】この分散Ｖａと特定対象物の基準分散ＳＶとの差を分割色相領域の評価に導入する。特定対象物の基準分散は上述した特定対象物の色相、彩度、明度に関する分布可能範囲及び分布頻度を求めたものと同じ画像データセットを利用することによって計算することができる。
【００４４】分散Ｖａと基準分散ＳＶとの差に閾値を設け、分散の差がその閾値を超える場合にはこの領域を放棄し、次に大きな代表色候補指数ＲＰを有する分割色相領域の分散と基準分散との差を評価していく方法や、 ＲＰ’（ｏ）＝ＨＩＴH （ｏ）×ＲH （ｏ）×ＣD(o) ……（６）
という式のように、基準分散ＳＶと分割色相領域ｏにおける特定対象物の分散Ｖｏとの差の絶対値Ｄ（ｏ）を導入した代表色候補指数ＲＰ’を定義し、その最大値を有する分割色相領域を入力画像における特定対象物が有する色相領域とする方法もある。ここで、Ｃは０＜Ｃ＜１．０の実数定数、Ｄ（ｏ）はＤ（ｏ）≧０．０の実数である。
【００４５】以上のような特定対象物の座標位置の分散をも考慮にいれて選択された分割色相領域中に存在する色の平均値を代表色とする。
【００４６】次に、（２）のステップの抽出された代表色に応じて最適な色補正パラメータを設定する方法について説明する。特定対象物を含んだ複数の画像データに対して、特定対象物が良好な色になるように、予め人手によって色補正を施す。この時の補正方法は、特開平１０−１９８７９５号公報に開示されている特定の色相のみに作用する色補正方法やＧＵＩを利用する方法等が利用可能である。
【００４７】図３においては特定対象物の色補正前後における色相の変化量を分割色相領域毎に平均化した場合の例を示している。尚、矢印の起点が補正前の色相、終点が補正後の色相を表している。
【００４８】この変化量を発生させる色補正パラメータを各分割色相領域毎に色補正パラメータ記憶メモリ等に記述しておく。その後に、入力画像から抽出された特定対象物の代表色の色相を計算し、その色相が存在する分割色相領域に設定された色補正パラメータを上記の色補正パラメータ設定テーブルから読込んで決定する。
【００４９】以上は、色相のみに着目した色補正方法について説明したが、さらに同様の手法を用いて彩度、明度の情報を加えることで、より精度の高い色補正を実現することができる。
【００５０】図４は本発明の第１の実施例による色補正装置の構成を示すブロック図である。図４において、色補正装置１は色補正を施す対象を指定する対象物選択手段１１と、予め想定されている特定対象物毎の色相における分布可能領域及び分布頻度を記憶する対象物色情報記憶メモリ１２と、入力画像から特定対象物の代表色を抽出する代表色抽出手段１３と、色補正パラメータを記憶する色補正パラメータ記憶メモリ１４と、代表色抽出手段１３で入力画像から抽出された代表色に応じて最適な色補正パラメータを色補正パラメータ記憶メモリ１４の内容から決定する色補正パラメータ決定手段１５と、抽出された代表色とその近傍周辺の色にのみ色補正を施す色補正処理手段１６とから構成されている。
【００５１】図５は図４の対象物選択手段１１で用いられるＧＵＩの一例を示す図であり、図６は図４の対象物色情報記憶メモリ１２の記述例を示す図であり、図７は図４の色補正パラメータ記憶メモリ１４の記述例を示す図であり、図８は本発明の第１の実施例による色補正装置の動作を示すフローチャートである。これら図４〜図８を参照して色補正装置１の構成及び動作について説明する。尚、図８に示す処理動作は色補正装置１の各部が図示せぬ制御メモリのプログラムを実行することで実現され、制御メモリとしてはＲＯＭ（リードオンリメモリ）やＩＣ（集積回路）メモリ等が使用可能である。
【００５２】対象物選択手段１１はユーザが色補正の対象物を容易に選択可能とする機能を提供している。対象物選択手段１１で用いられるＧＵＩの一例を図５に示す。図５においては色補正の対象物として、肌色、草木の緑、青空の３種類が選べるＧＵＩを示している。
【００５３】この対象物選択手段１１としては各対象物の色空間における分布可能領域が重ならないことを条件に、複数の対象物を選択可能とするような仕組みにすることも可能である。図５では肌色が選択されている状態を表している。
【００５４】代表色抽出手段１３では、まず対象物選択手段１１において選択された対象物の色相の分布可能領域と分割色相領域における分布頻度とを対象物色情報メモリ１２から読出す。
【００５５】ここで、図６に対象物色情報記憶メモリ１２の一例を示す。図６では対象物色情報記憶メモリ１２に記述された対象Ａ，Ｂ，Ｃのうち対象Ａに関する分割色相領域番号と、各分割色相領域を指定するための色相の上下限値と、頻度とを示している。尚、図示していないが、対象物色情報記憶メモリ１２には対象Ｂや対象Ｃについても、上記の対象Ａと同様の情報が記述されている。
【００５６】代表色抽出手段１３は入力画像の全画素について色相を計算し、分割色相領域のヒストグラムを作成し、（３）式を利用して各分割色相領域における代表色候補指数ＲＰを計算し、最大値を有する分割色相領域をその画像中における対象Ａが占める領域として選択する。さらに、代表色抽出手段１３はその分割色相領域に存在する色の平均ＲＧＢ値を入力画像中における対象Ａの代表色とする（図８ステップＳ１）。
【００５７】色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリ１４の記憶内容から決定する。すなわち、色補正パラメータ決定手段１５は特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリ１４の記憶内容を基に、抽出された代表色に最適な色補正パラメータを決定する（図８ステップＳ２）。
【００５８】この色補正パラメータ記憶メモリ１４の一例を図７に示す。図７では色補正パラメータ記憶メモリ１４に記述された対象Ａ，Ｂ，Ｃのうちの対象Ａに関する記述内容を示している。尚、図示していないが、色補正パラメータ記憶メモリ１４には対象Ｂや対象Ｃについても、上記の対象Ａと同様の内容が記述されている。例えば、色補正パラメータは代表色抽出手段１３において対象Ａの占める色相が分割色相領域２であるとされた場合、（Ｐ2，Ｑ2，Ｒ2，Ｓ2）となる。
【００５９】色補正処理手段１６は入力画像に対し、対象物の代表色とその近傍付近の色のみに対して色補正が施される処理を行う。すなわち、色補正処理手段１６は最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う（図８ステップＳ３）。
【００６０】このような色補正を実現するものとして、例えば特開平１０−１９８７９５号公報に開示された色補正方法等を利用することができる。特開平１０−１９８７９５号公報に開示された色補正方法を利用した場合、入力ＲＧＢに対する色補正式は、 （Ｒ’，Ｇ’，Ｂ’）＝（Ｒ，Ｇ，Ｂ）＋ｈｘ×（ａ1，ａ2，ａ3）
……（７）
という式で表される。ここで、（Ｒ，Ｇ，Ｂ）は入力画像中の任意のＲＧＢ値、（Ｒ’，Ｇ’，Ｂ’）は補正後のＲＧＢ値、（ａ1，ａ2，ａ3）はそれぞれＲ補正量、Ｇ補正量、Ｂ補正量であり、ｈｘは補正の中心色である（Ｒｃ，Ｇｃ，Ｂｃ）と上記の任意のＲＧＢ値（Ｒ，Ｇ，Ｂ）との間の距離を示す特色度である。
【００６１】この距離ｈｘは、 ｈｘ＝［ｐｏｓ（ｍ−｜Ｈｕｅ−ｈ1｜）／ｍ］×ｓ1×ｖ1 ……（８）
という式で表される。ここで、ｐｏｓ（ｘ）は、ｘ＜０の時にｐｏｓ（ｘ）＝０、ｘ≧０の時にｐｏｓ（ｘ）＝ｘである。ｍは許容色相角度、Ｈｕｅは補正対象のＲＧＢ値から計算されるＨＳＶ値（Ｈｕｅ，Ｓａｔ，Ｖａｌ）のＨｕｅ値である。ｈ1、ｓ1、ｖ1は上記の任意のＲＧＢ値のＨＳＶ値（ｈ1，ｓ1，ｖ1）である。
【００６２】代表色抽出手段１３で抽出された代表色が色補正の中心色となり、色補正パラメータ決定手段１５で決定された色補正パラメータ（Ｐ2，Ｑ2，Ｒ2，Ｓ2）はそれぞれＲ補正量、Ｇ補正量、Ｂ補正量、許容色相角度となる。
【００６３】以上の説明は色相のみに着目した色補正装置１について説明したが、色補正装置１の対象色情報メモリ１２を拡張し、色相だけでなく彩度、明度成分を追加することで、より精度の高い色補正装置を実現することができる。
【００６４】図９は本発明の第２の実施例による色補正装置の構成を示すブロック図である。図９において、本発明の第２の実施例による色補正装置２は対象物色情報記憶メモリ１２の代りに拡張対象色情報記憶メモリ１７を設けた以外は図４に示す本発明の第１の実施例による色補正装置１と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例と同様である。すなわち、色補正装置２は色相だけでなく彩度、明度成分も考慮した色補正装置である。
【００６５】図１０は図９の拡張対象物色情報記憶メモリ１７の記述例を示す図である。図１０において、拡張対象色情報記憶メモリ１７は色相、彩度、明度について、対象物の分布可能領域を分割するための各成分の上下限値が記述された分割情報部と、各分割領域における頻度が記述される頻度情報部とから構成されている。
【００６６】尚、図１０では拡張対象色情報記憶メモリ１７中の対象Ａに関する記述内容を示しているが、対象Ｂ，Ｃについても対象Ａと同様の内容が記述されている。図１０の場合、対象Ａの分布可能領域は色相に関してＮ個、彩度に関してＭ個、明度に関してＬ個で分割され、分割領域の総数はＮ×Ｍ×Ｌ個となる。
【００６７】図１１は本発明の第２の実施例による色補正装置の動作を示すフローチャートである。これら図９〜図１１を参照して本発明の第２の実施例による色補正装置２の動作について説明する。尚、図１１に示す処理動作は色補正装置２の各部が図示せぬ制御メモリのプログラムを実行することで実現され、制御メモリとしてはＲＯＭやＩＣメモリ等が使用可能である。
【００６８】代表色抽出手段１３は上述した色補正装置１と同様の手法を用いて、色相、彩度、明度において分割された分割領域のヒストグラムを作成し、各分割領域における代表色候補指数ＲＰを計算し、その最大値を対象物が有する分割領域とする。さらに、代表色抽出手段１３はその分割領域に存在する色の平均ＲＧＢ値を入力画像中における対象物の代表色とする（図１１ステップＳ１１）。
【００６９】色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリ１４の記憶内容から決定する。すなわち、色補正パラメータ決定手段１５は、特定対象物の色相、彩度、明度に関する分布可能領域を、色相に関してＮ個、彩度に関してＭ個、明度に関してＬ個で分割された合計Ｎ×Ｍ×Ｌ個の分割領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリ１４の記憶内容を基に、抽出された代表色に最適な色補正パラメータを決定する（図１１ステップＳ１２）。
【００７０】色補正処理手段１６は入力画像に対し、対象物の代表色とその近傍付近の色のみに対して色補正が施される処理を行う。すなわち、色補正処理手段１６は最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う（図１１ステップＳ１３）。尚、色補正装置２における色補正パラメータ記憶メモリ１４はＮ×Ｍ×Ｌ個の分割領域の色補正パラメータを保持するものとする。
【００７１】図１２は本発明の第３の実施例による色補正装置の構成を示すブロック図である。図１２において、本発明の第３の実施例による色補正装置３は代表色抽出手段１３の代りにヒストグラム作成手段１８と分散計算手段１９と対象物領域分散記憶メモリ２０と代表色決定手段２１とを設けた以外は図９に示す本発明の第２の実施例による色補正装置２と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第２の実施例と同様である。すなわち、色補正装置３では入力画像から対象物の代表色を抽出する際、対象物の色情報だけでなく、画像上で座標位置の分散についても考慮している。
【００７２】図１３は本発明の第３の実施例による色補正装置の動作を示すフローチャートである。これら図１２及び図１３を参照して本発明の第３の実施例による色補正装置３の動作について説明する。尚、図１３に示す処理動作は色補正装置３の各部が図示せぬ制御メモリのプログラムを実行することで実現され、制御メモリとしてはＲＯＭやＩＣメモリ等が使用可能である。
【００７３】まず、ヒストグラム作成手段１８は拡張対象物色情報記憶メモリ１７で指定される対象物の各分割領域におけるヒストグラムを作成すると同時に、その領域にヒットした色の画像座標も記録しておく。分散計算手段１９は（４）式を利用して各分割領域における平均座標位置を計算し、さらに（５）式を用いて各分割領域における座標位置の分散を計算する。
【００７４】次に、上述した代表色候補指数ＲＰ’を計算するために、代表色決定手段２１は対象物領域分散記憶メモリ２０から対象物の基準分散を読込み、基準分散と各分割領域における座標位置の分散との差を計算し、各分割領域における代表色候補指数ＲＰ’を（６）式を用いて計算する。その最大値を有する分割領域を入力画像における特定対象物が占める色相領域とし、その代表色は代表色抽出手段１３と同様に、選ばれた分割領域に存在する色の平均ＲＧＢ値とする（図１３ステップＳ２１）。
【００７５】色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリ１４の記憶内容から決定する。すなわち、色補正パラメータ決定手段１５は、特定対象物の色相、彩度、明度に関する分布可能領域を、色相に関してＮ個、彩度に関してＭ個、明度に関してＬ個で分割された合計Ｎ×Ｍ×Ｌ個の分割領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリ１４の記憶内容を基に、抽出された代表色に最適な色補正パラメータを決定する（図１３ステップＳ２２）。
【００７６】色補正処理手段１６は入力画像に対し、対象物の代表色とその近傍付近の色のみに対して色補正が施される処理を行う。すなわち、色補正処理手段１６は最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う（図１３ステップＳ２３）。
【００７７】図１４は本発明の第４の実施例による色補正装置の構成を示すブロック図である。図１４において、色補正装置４は対象物選択手段１１と、代表色抽出手段１３と、色補正パラメータ決定手段１５と、色補正処理手段１６と、入力別対象物色情報記憶メモリ２２と、出力別色補正パラメータ記憶メモリ２３と、入出力機器指定手段２４とから構成されている。
【００７８】一般に、カラー画像入出力機器は機器毎に色特性が異なる。いま、入力画像が予め想定されている入力機器によって得られていることが分かれば、対象物の分布領域をある程度限定することができる。また、色補正処理後の出力画像の出力機器を特定することができる場合にはその出力機器で出力した際、最適な色に補正される色補正パラメータを用意することで、色補正がさらに良い結果となる。
【００７９】図１５は図１４の入出力機器指定手段２４で用いられるＧＵＩの一例を示す図である。図１５において、入出力機器指定手段２４は図示するＧＵＩを用いて、入力機器及び出力機器を選択可能とする機能をユーザに提供している。図１５に示すＧＵＩでは入力機器として機器Ａ，Ｂ，Ｃ、出力機器として機器Ｄ，Ｅ，Ｆというように、入出力機器がそれぞれ３機種ずつ選択可能なようになっているが、入力機器及び出力機器が選択可能なような仕組みであればこの限りではない。
【００８０】入力別対象物色情報記憶メモリ２２には本装置が想定する入力機器である機種Ａ，Ｂ，Ｃの各機種毎に、図６または図１０に示すような対象物の分布可能領域及び分布頻度が記録されている。
【００８１】入出力機器指定手段２４は選択された入力機器に対応する対象物の分布可能領域と分布頻度とを入力別対象物色情報記憶メモリ２２から読込み、その対象物の分布可能領域と分布頻度とを代表色抽出手段１３に送る。代表色抽出手段１３はそれらを基に代表色を抽出する。
【００８２】出力別色補正パラメータ記憶メモリ２３には本装置が想定する出力機器である機種Ｄ，Ｅ，Ｆの各機種毎に、図７に示す対象物の分割領域における色補正パラメータが記録されている。
【００８３】入出力機器指定手段２４はユーザによって指定された出力機器に対応する対象物の色補正パラメータを出力別色補正パラメータ記憶メモリ２３から読込み、その対象物の色補正パラメータを色補正パラメータ決定手段１５へ送る。色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを、入出力機器指定手段２４から送られてくる色補正パラメータから決定する。以上の処理によって、色補正装置４は入出力機器が特定できる場合、より高精度な色補正を実現することができる。
【００８４】図１６は本発明の第５の実施例による色補正装置の構成を示すブロック図である。図１６において、本発明の第５の実施例による色補正装置５は手動色補正処理手段２５とサンプル画像記憶メモリ２６と色補正パラメータ生成手段２７とを追加した以外は図４に示す本発明の第１の実施例による色補正装置１と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例と同様である。
【００８５】一般に、カラー画像のある特定の対象物、例えば肌色、草木の緑、青空には好ましい色あるいはこういう色であって欲しいと感じる色が存在するが、それぞれに要求される色はユーザの好みによって多少異なる。そこで、本発明の第５の実施例による色補正装置５はユーザ毎の要求に答えるために、色補正装置１の構成に手動色補正処理手段２５とサンプル画像記憶メモリ２６と色補正パラメータ生成手段２７とを追加している。
【００８６】手動色補正処理手段２５は色補正処理手段１６と同じ色補正アルゴリズムを備えているものの、色補正パラメータをユーザが与える仕組みとなっている。ここで、サンプル画像記憶メモリ２６には想定されている対象物に関して、対象物の色が広く分布するように、複数のサンプル画像が記録されている。
【００８７】手動色補正処理手段２５はサンプル画像記憶メモリ２６から補正対象物のサンプル画像を表示し、ユーザにその対象物の色補正を実行させるためのＧＵＩを提供する。
【００８８】図１７は図１６の手動色補正処理手段２５で用いられるＧＵＩの一例を示す図である。図１７において、手動色補正処理手段２５が提供するＧＵＩでは補正対象として対象Ａが選択されており、カウンタはＮ枚あるサンプル画像の１枚目の画像が表示されていることを示している。
【００８９】ＧＵＩの中央には補正前の画像と補正後の画像とが表示されており、ここでは補正前の画像において矢印で示されている対象Ａのみに色補正処理を施していることを表している。尚、サンプル画像中の対象Ａの代表色は、ユーザがマウス等のポインティングデバイスを用いて指定させるようにしている。ユーザは補正後の画像に満足するまで、色補正パラメータ１〜４を調整する。
【００９０】１枚目の画像が終了したら、ＧＵＩの右上の「次の画像表示」ボタンを押して、次のサンプル画像へ進む。各サンプル画像で設定された代表色及び色補正パラメータの情報は保持されている。全てのサンプル画像の手動色補正が終了すると、ユーザが指定した代表色及び色補正パラメータの全てのセットを色補正パラメータ生成手段２７に送る。
【００９１】色補正パラメータ生成手段２７では対象物色情報記憶メモリ１２から対象物の分割領域の情報を得て、各分割領域について、その領域に存在する代表色とそのときの色補正パラメータとを手動色補正処理手段２５から送られてきた代表色及び色補正パラメータの全てのセットから選び出し、色補正パラメータの平均値を計算して色補正パラメータ記憶メモリ１４の該当する分割領域に記述する。
【００９２】代表色抽出手段１３は対象物選択手段１１において選択された対象物の色相の分布可能領域と分割色相領域における分布頻度とを対象物色情報メモリ１２から読出し、代表色を抽出する。
【００９３】色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリ１４の記憶内容から決定する。色補正処理手段１６は入力画像に対し、対象物の代表色とその近傍付近の色のみに対して色補正が施される処理を行う。上述したように、色補正装置５は入力画像中の対象物に対して、ユーザの好みに応じた色補正処理を施すことが可能になる。
【００９４】このように、カラー画像の特定対象物に対して自動的に色補正を行うことによって、特に肌色、青空、草木の緑等の自然画像にとって重要な対象物の色のみを、マスキング処理やユーザの対話処理を必要とすることなく、自動的に好ましい色もしくは希望の色に補正することが可能になる。また、カラー画像機器本体あるいはドライバソフトに本発明の処理動作を組込むことによって、機器に特徴ある色再現性を持たすことも可能である。
【００９５】
【発明の効果】以上説明したように本発明によれば、カラー画像中の特定対象物に色補正を施す自動色補正装置において、任意入力画像中から特定対象物の代表色を抽出させ、特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して色補正パラメータを割り振らせ、抽出された代表色に最適な色補正パラメータを決定させ、最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行わせることによって、様々な照明環境下で撮影される自然画像を入力画像とし、この入力画像の照明環境、入力センサの感度特性等の情報が無くとも、良好な色補正を実現することができるという効果がある。
【図面の簡単な説明】
【図１】対象物の色相分布可能領域とその頻度を示す図である。
【図２】対象物の色相分布可能領域を分割した状態を示す図である。
【図３】対象物の色補正前後の色相の変化を示す図である。
【図４】本発明の第１の実施例による色補正装置の構成を示すブロック図である。
【図５】図４の対象物選択手段で用いられるＧＵＩの一例を示す図である。
【図６】図４の対象物色情報記憶メモリの記述例を示す図である。
【図７】図４の色補正パラメータ記憶メモリの記述例を示す図である。
【図８】本発明の第１の実施例による色補正装置の動作を示すフローチャートである。
【図９】本発明の第２の実施例による色補正装置の構成を示すブロック図である。
【図１０】図９の拡張対象物色情報記憶メモリの記述例を示す図である。
【図１１】本発明の第２の実施例による色補正装置の動作を示すフローチャートである。
【図１２】本発明の第３の実施例による色補正装置の構成を示すブロック図である。
【図１３】本発明の第３の実施例による色補正装置の動作を示すフローチャートである。
【図１４】本発明の第４の実施例による色補正装置の構成を示すブロック図である。
【図１５】図１４の入出力機器指定手段で用いられるＧＵＩの一例を示す図である。
【図１６】本発明の第５の実施例による色補正装置の構成を示すブロック図である。
【図１７】図１６の手動色補正処理手段で用いられるＧＵＩの一例を示す図である。
【符号の説明】
１〜５ 色補正装置
１１ 対象物選択手段
１２ 対象物色情報記憶メモリ
１３ 代表色抽出手段
１４ 色補正パラメータ記憶メモリ
１５ 色補正パラメ‐タ決定手段
１６ 色補正処理手段
１７ 拡張対象物色情報記憶メモリ
１８ ヒストグラム作成手段
１９ 分散計算手段
２０ 対象物領域分散記憶メモリ
２１ 代表色決定手段
２２ 入力別対象物色情報記憶メモリ
２３ 出力別色補正パラメータ記憶メモリ
２４ 入出力機器指定手段
２５ 手動色補正処理手段
２６ サンプル画像記憶メモリ
２７ 色補正パラメータ生成手段
【０００１】
【発明の属する技術分野】本発明は自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体に関し、特にディジタルスチルカメラ、スキャナ、ディスプレイ、プリンタ等のカラー画像機器及びカラー画像処理ソフトウェアにおけるカラー画像の色補正技術に関する。
【０００２】
【従来の技術】カラー画像の色再現問題において、カラー画像機器間で忠実な色再現を実現するとともに、我々人間が好ましいと感じる色再現も重要な要素となる。肌色、青空、草木の緑等の自然物は人間の注意を引きやすく、好ましい色再現が要求される。
【０００３】特に、肌色に関しては様々な肌色補正方法が提案されている。例えば、特開平８−７９５４９号公報においては、肌色領域に対して空間周波数の高周波領域成分を除去して粒状感を低くするとともに、ハイライト部分における階調性や色飛びを防止することで、肌色の再現性を向上させる手法が提案されている。
【０００４】また、特開平１１−１７９６９号公報には、好ましい肌色の範囲から外れている部分を好ましい肌色に補正するために、入力画像をカラーＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）モニタに表示し、補正の対象となる黒ずんだり、緑がかったような好ましい肌色から外れる色をポインティングデバイスによって指定し、指定された注目画素の色相及びその隣接近傍の色相を目的の色相に変換する手法が提案されている。
【０００５】さらに、特開平６−１３３３２９号公報には、肌色に限らず、ある特定のカテゴリ色の局所的な色ずれを検知し、そのカテゴリの代表色に変換することで色ずれを補正する手法が提案されている。
【０００６】さらにまた、特開平６−１２１１５９号公報には、肌色、空、緑等のカテゴリ色に対して人間の記憶色を考慮した色補正方法が提案されている。
【０００７】一方、特開平１０−１９８７９５号公報には、補正を施す色相を任意に設定し、その指定された特定色相と注目画素の色相との距離を表す特色度を定義することで、特定色相のみに作用する色補正方法が提案されている。
【０００８】
【発明が解決しようとする課題】上述した従来の色補正方法では、特開平１１−１７９６９号公報に開示された手法の場合、グラフィカルユーザインターフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）によるユーザとの対話が利用されている。
【０００９】この手法を用いることによって、補正対象領域における代表色及び色補正パラメータが手動で設定可能となるため、柔軟でかつ良好な色補正処理が可能となる。しかしながら、大量の画像データを短時間で処理しなければならない場合、この手法は適していない。つまり、処理時間及び労力がネックとなるとともに、操作者の熟練度によっても補正結果がばらつく等の問題がある。
【００１０】操作者の違いによる補正結果のばらつき及び処理時間の問題を解決するためには、ユーザの操作を必要としないカラー画像の自動色補正が必要となる。特開平６−１３３３２９号公報に開示された手法は指定された色相領域を検出し、それを代表的な一定な色に置き換えるという手法であるが、肌色、青空、草木の緑等の自然物の色は一定ではなく、変換後の色もある程度のばらつきを持たせないと自然な色再現は得られない。
【００１１】一方、特開平６−１２１１５９号公報に開示された手法では、肌色、青空、草木の緑の自然物等の各対象物に対して予め設定されている一つのパラメータが用いられることになる。しかしながら、一般に、肌色、草木の緑、青空等の自然物の色は様々な入力機器や撮影環境等の影響によって広い色分布を持つことになる。このように、広い色分布を持つ対象物の色補正には入力画像から検出された補正対象物の色の色相、彩度、明度に応じて、より木目細やかに最適な補正パラメータを設定しなければ良好な色再現を実現することができない。
【００１２】特開平１０−１９８７９５号公報においては、ＧＵＩを利用した補正対象の色の指定方法を利用する場合と、肌色に限定した時の自動色補正の方法が提案されている。後者の自動色補正方法では肌色領域をＲＧＢ値やＹＣｂＣｒ値の閾値を設定して検出すると述べているが、様々な照明環境や背景下で撮影された画像に適用した場合、ＲＧＢ値やＹＣｂＣｒ値の閾値だけでは肌色領域の検出精度が低いものとなる。
【００１３】特開平６−１２１１５９号公報においても、入力画像から補正対象物を検出するために、特開平１０−１９８７９５公報と同様に、色相、彩度、明度の閾値から判定される対象領域の面積の情報、すなわち単純なヒストグラムを用いているが、同様の理由から、例えば肌色領域の検出精度が低いものとなる。
【００１４】そこで、本発明の目的は上記の問題点を解消し、様々な照明環境下で撮影される自然画像を入力画像とし、この入力画像の照明環境、入力センサの感度特性等の情報が無くとも、良好な色補正を実現することができる自動色補正装置及び自動色補正方法並びにその制御プログラムを記録した記録媒体を提供することにある。
【００１５】
【課題を解決するための手段】本発明による自動色補正装置は、カラー画像中の特定対象物に色補正を施す自動色補正装置であって、前記特定対象物の色相分布可能領域を分割して得られる分割色相領域及び分布頻度を記憶する対象物色情報記憶メモリと、前記対象物色情報記憶メモリの記憶内容を基に任意入力画像中から前記特定対象物の代表色を抽出する代表色抽出手段と、前記特定対象物の色相分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリと、前記代表色抽出手段で抽出された代表色に最適な色補正パラメータを前記色補正パラメータ記憶メモリの記憶内容から決定する色補正パラメータ決定手段と、前記色補正パラメータ決定手段で得られた色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う色補正処理手段とを備えている。
【００１６】本発明による自動色補正方法は、カラー画像中の特定対象物に色補正を施す自動色補正方法であって、任意入力画像中から前記特定対象物の代表色を抽出するステップと、抽出された前記代表色に最適な色補正パラメータを前記特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリの内容に基づいて決定するステップと、前記最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行うステップとを備えている。
【００１７】本発明による自動色補正制御プログラムを記録した記録媒体は、カラー画像中の特定対象物に色補正を施す自動色補正装置に自動色補正を行わせるための自動色補正制御プログラムを記録した記録媒体であって、前記自動色補正制御プログラムは前記自動色補正装置に、任意入力画像中から前記特定対象物の代表色を抽出させ、前記特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して色補正パラメータを割り振らせ、抽出された前記代表色に最適な色補正パラメータを決定させ、前記最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行わせている。
【００１８】すなわち、本発明の第１の自動色補正方法は、カラー画像中の特定対象物に色補正を施す自動色補正方法において、任意入力画像中から特定対象物の代表色を抽出するステップと、特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して色補正パラメータを割り振るステップと、抽出された代表色に最適な色補正パラメータを決定するステップと、最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行うステップとを含んでいる。
【００１９】本発明の第２の自動色補正方法は、色補正パラメータを割り振るステップにおいて、対象物の分割色相領域だけでなく、対象物の彩度分布可能領域及び明度分布可能領域をそれぞれ複数個に分割した分割彩度領域及び分割明度領域のそれぞれの領域に色補正パラメータを割り振っている。
【００２０】本発明の第３の自動色補正方法は、代表色を抽出するステップにおいて、特定対象物の色相、彩度、又は明度、あるいはそれらを組合せたものに関する分布頻度に加え、画像中の座標位置の分散をも利用することによって、特定対象物の代表色を抽出している。
【００２１】本発明の第１の自動色補正装置は、カラー画像中の特定対象物に色補正を施す自動色補正装置において、特定対象物の色相分布可能領域を分割して得られる分割色相領域及び分布頻度を記憶する対象物色情報記憶メモリと、任意入力画像中から特定対象物の代表色を抽出する代表色抽出手段と、特定対象物の色相分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリと、代表色抽出手段によって抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリから決定する色補正パラメータ決定手段と、色補正パラメータ決定手段によって得られた色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う色補正処理手段とを含んでいる。
【００２２】本発明の第２の自動色補正装置は、特定対象物について予め様々な撮影環境下で撮影された複数の画像を解析して得た特定対象物の色相、彩度、又は明度、あるいはそれらを組合せたものに関する分布可能範囲を分割して得られる分割領域及び分布頻度を記憶する拡張対象物色情報記憶メモリを備え、代表色抽出手段において色相、彩度、又は明度、あるいはそれらを組合せたものに関する分割領域を基に入力画像中における特定対象の色相、彩度、又は明度、あるいはそれらの組合せのヒストグラムを得て分布頻度とヒストグラムとを掛け合わせ、その最大値を有した領域中に存在する色を特定対象物の代表色として抽出している。
【００２３】本発明の第３の自動色補正装置は、代表色抽出手段において、特定対象物の色相、彩度、又は明度、あるいはその組合せの分布頻度に加え、画像中の座標位置の分散も利用することによって特定対象物の代表色を抽出している。
【００２４】本発明の第４の自動色補正装置は、色補正パラメータ記憶メモリにおいて、対象物の色相だけでなく対象物の彩度分布可能領域及び明度分布可能領域をそれぞれ複数個に分割した分割彩度領域及び分割明度領域のそれぞれの領域に割り振られた色補正パラメータを記憶している。
【００２５】本発明の第５の自動色補正装置は、入力機器毎に特定対象物の色相、彩度、又は明度、あるいはそれらを組合せたものに関する分布可能範囲を分割して得られる分割領域及び分布頻度を記憶する入力別対象物色情報記憶メモリと、出力機器毎に色補正パラメータを保持する出力別色補正パラメータ記憶メモリと、ユーザが入出力カラー画像機器の機種を選択できる入出力機器指定手段とを含んでいる。
【００２６】本発明の第６の自動色補正装置は、特定対象物の複数種類のカラー画像を記憶するサンプル画像記憶メモリと、サンプル画像記憶メモリに記憶されている画像をモニタに表示し、ユーザに特定対象物の色を補正させることを可能にする手動色補正処理手段と、手動色補正手段の結果から色補正パラメータ記憶メモリに記述する色補正パラメータを作成する色補正パラメータ生成手段とを含んでいる。
【００２７】上記のように、画像情景中の肌色、草木の緑、青空等の特定対象物の代表色を高精度に抽出し、抽出された代表色に最適な色補正パラメータを設定することで、様々な照明環境下で撮影された自然画像における重要被写体（例えば、肌色、青空、草木の緑等）に対して自動的に良好な色補正を施すことが可能となる。すなわち、様々な照明環境下で撮影される自然画像を入力画像とし、この入力画像の照明環境、入力センサの感度特性等の情報が無くとも、良好な色補正を実現することが可能となる。
【００２８】
【発明の実施の形態】次に、本発明の実施の形態について図面を参照して詳細に説明する。まず、本発明の自動色補正方法について説明する。本発明の自動色補正方法では、ＧＵＩを用いることなく、自動的に入力画像における特定対象の色補正を実現するために、（１）画像中の特定対象の領域から代表色を抽出するステップと、（２）抽出された代表色に応じて最適な色補正パラメータを設定するステップとが必要となる。
【００２９】（１）のステップにおいては任意の入力画像中から特定対象物領域の代表色を自動的に抽出するが、この場合、入力画像はディジタルカメラ、スキャナ、インタネット上の画像データベース等、どのようなソース（機器）から入力あるいは入手されたものかを特定することができない画像を含んでいる。つまり、入力機器のセンサ感度特性を特定することができないため、色補正の手がかりとなる画像情景中の照明色や物体色を推定することが難しい。
【００３０】このような様々な入力画像から特定対象物の領域から代表色を抽出するため、本発明では、まず様々な照明環境、背景、入力機器で撮影された特定対象の画像データ中の特定対象領域から得られた色の色相、彩度、明度に関する分布可能範囲と分布頻度を予め準備している。
【００３１】この特定対象領域の色の色相、彩度、明度に関する分布可能範囲及び分布頻度はパターン認識における認識辞書と同様のものであり、作成には人手による作業を要するが、一度求めておけば良い。すなわち、実際に入力画像から特定対象物の代表色を抽出する際には、この特定対象領域の色の色相、彩度、明度に関する分布可能範囲及び分布頻度を利用することで、自動的に特定対象物の代表色を抽出することができる。
【００３２】図１は対象物の色相分布可能領域とその頻度を示す図であり、図２は対象物の色相分布可能領域を分割した状態を示す図であり、図３は対象物の色補正前後の色相の変化を示す図である。
【００３３】図１においてはある特定対象物の色相に関する分布可能範囲及び分布頻度の一例を示している。この図において、下限色相Ａと上限色相Ｂとに挟まれる領域が特定対象が分布しうる色相範囲、すなわち色相の分布可能範囲を示している。縦軸はこの分布可能範囲における特定対象の分布頻度を表している。尚、図１では色相のみの分布頻度及び分布可能範囲を示しているが、彩度成分、明度成分における分布可能範囲及び分布頻度についても同様に作成が可能であるとともに、色相、彩度、明度の３成分を統合した３次元空間における分布可能範囲と分布頻度とを作成することも可能である。
【００３４】図２においては図１に示す色相の分布可能範囲を、ある間隔で分布可能範囲をｎ個に分割している。ここで、分割する間隔は一定でもよいし、可変であってもよい。図２では特定対象物の色相における分布可能範囲を１１個の領域に分割した例を示している。以下、色相の分布可能範囲を分割したものを分割色相領域とする。
【００３５】この分割色相領域における分布頻度ＲH （ｉ）（ｉ＝１〜ｎの整数）［Ｈは色相（Ｈｕｅ）を表す］を計算する。ある分割色相領域ａに対する分布頻度ＲH （ａ）の計算方法は、例えばその分割色相領域ａに存在するサンプル数をｂ個、サンプル総数をａｌｌ個とすると、 ＲH （ａ）＝ｂ／ａｌｌ ……（１）
等としてもよい。同様にして、彩度における分布頻度ＲS （ｊ）、明度における分布頻度Ｒv （ｋ）も計算することができる。
【００３６】続いて、任意の照明環境下で撮影された入力画像中から特定対象物の代表色が含まれる領域を抽出する手法について説明する。本手法では上記の特定対象物の分布可能範囲及び分割領域における分布頻度を利用する。ここでは説明の簡略化のために色相に着目して説明する。
【００３７】入力画像の各画素の色相、彩度、明度を計算する。ここで、色相、彩度、明度はカラー画像処理において広く利用されている以下の式、 Ｖ＝Ｍａｘ（Ｒ，Ｇ，Ｂ）
Ｖ＝０の時 Ｓ＝０ Ｖ＞０の時 Ｓ＝（Ｖ−Ｍｉｎ（Ｒ，Ｇ，Ｂ））／Ｖ Ｓ＝０の時 Ｈ＝０ Ｖ＝Ｒの時 Ｈ＝６０（Ｇ−Ｂ）／ＳＶ Ｖ＝Ｇの時 Ｈ＝６０（２＋（Ｂ−Ｒ）／ＳＶ）
Ｖ＝Ｂの時 Ｈ＝６０（４＋（Ｒ−Ｇ）／ＳＶ）
Ｈ＜０の時 Ｈ＝Ｈ＋３６０ ……（２）
に示したＨＳＶ等を利用することができるが、この限りではない。
【００３８】この各画素について、その色相が特定対象物の色相における分布可能範囲内であるか否かを判定し、範囲内であると判定された場合、その色相がｎ個に分割されている分割色相領域のどの領域に属するかを判定する。
【００３９】この処理を入力画像中の全画素に対して行い、全ての分割色相領域におけるヒストグラムＨＩＴH （ｌ）を作成する。ここで、ｌは１からｎまでの整数で、ｎ個に分割された分割色相領域のどの領域であるかを表している。各分割色相領域における代表色候補指数ＲＰ（ｉ）を、 ＲＰ（ｉ）＝ＨＩＴH （ｉ）×ＲH （ｉ） ……（３）
という式で計算する。ここで、ｉは１〜ｎまでの整数である。
【００４０】この場合、代表色候補指数ＲＰが最も値の大きかった分割色相領域を入力画像における特定対象物が有する色相領域とする。このように選択された分割色相領域内に存在する画素の平均ＲＧＢ値を、入力画像中における特定対象物の代表色としても良いし、予めそれぞれの分割色相領域にＲＧＢ値を割り振っておき、その値を代表色にしてもよい。尚、予め割り振るＲＧＢ値は、上記の特定対象物の色相、彩度、明度に関する分布可能範囲及び分布頻度を求めたものと同じ画像データセットを利用し、各分割領域に存在する色の平均ＲＧＢ値としてもよい。
【００４１】上述した手法は色情報のみを手がかりに特定対象物の代表色を抽出する方法である。さらに代表色の抽出精度を高めるためには、各分割色相領域に存在する画素の画像中での座標位置の分散を導入する。例えば、分割色相領域ａにＫ個が存在した場合、まず、そのＫ個の画像中でのＸＹ座標（Ｘｉ，Ｙｉ）（ｉ＝１〜Ｋ）から、 Ｘｃ＝ΣＸｉ／Ｋ Ｙｃ＝ΣＹｉ／Ｋ ……（４）
という式で、平均座標（Ｘｃ，Ｙｃ）を計算する。ここで、Σはｉ＝１からＫまでの総和である。
【００４２】分割色相領域ａに存在する画素の座標位置の分散Ｖａは、 Ｖａ＝Σ（（Ｘｃ−Ｘｉ）2 ＋（Ｙｃ−Ｙｉ）2 ）／Ｋ ……（５）
で表される。尚、Σはｉ＝１からＫまでの総和である。
【００４３】この分散Ｖａと特定対象物の基準分散ＳＶとの差を分割色相領域の評価に導入する。特定対象物の基準分散は上述した特定対象物の色相、彩度、明度に関する分布可能範囲及び分布頻度を求めたものと同じ画像データセットを利用することによって計算することができる。
【００４４】分散Ｖａと基準分散ＳＶとの差に閾値を設け、分散の差がその閾値を超える場合にはこの領域を放棄し、次に大きな代表色候補指数ＲＰを有する分割色相領域の分散と基準分散との差を評価していく方法や、 ＲＰ’（ｏ）＝ＨＩＴH （ｏ）×ＲH （ｏ）×ＣD(o) ……（６）
という式のように、基準分散ＳＶと分割色相領域ｏにおける特定対象物の分散Ｖｏとの差の絶対値Ｄ（ｏ）を導入した代表色候補指数ＲＰ’を定義し、その最大値を有する分割色相領域を入力画像における特定対象物が有する色相領域とする方法もある。ここで、Ｃは０＜Ｃ＜１．０の実数定数、Ｄ（ｏ）はＤ（ｏ）≧０．０の実数である。
【００４５】以上のような特定対象物の座標位置の分散をも考慮にいれて選択された分割色相領域中に存在する色の平均値を代表色とする。
【００４６】次に、（２）のステップの抽出された代表色に応じて最適な色補正パラメータを設定する方法について説明する。特定対象物を含んだ複数の画像データに対して、特定対象物が良好な色になるように、予め人手によって色補正を施す。この時の補正方法は、特開平１０−１９８７９５号公報に開示されている特定の色相のみに作用する色補正方法やＧＵＩを利用する方法等が利用可能である。
【００４７】図３においては特定対象物の色補正前後における色相の変化量を分割色相領域毎に平均化した場合の例を示している。尚、矢印の起点が補正前の色相、終点が補正後の色相を表している。
【００４８】この変化量を発生させる色補正パラメータを各分割色相領域毎に色補正パラメータ記憶メモリ等に記述しておく。その後に、入力画像から抽出された特定対象物の代表色の色相を計算し、その色相が存在する分割色相領域に設定された色補正パラメータを上記の色補正パラメータ設定テーブルから読込んで決定する。
【００４９】以上は、色相のみに着目した色補正方法について説明したが、さらに同様の手法を用いて彩度、明度の情報を加えることで、より精度の高い色補正を実現することができる。
【００５０】図４は本発明の第１の実施例による色補正装置の構成を示すブロック図である。図４において、色補正装置１は色補正を施す対象を指定する対象物選択手段１１と、予め想定されている特定対象物毎の色相における分布可能領域及び分布頻度を記憶する対象物色情報記憶メモリ１２と、入力画像から特定対象物の代表色を抽出する代表色抽出手段１３と、色補正パラメータを記憶する色補正パラメータ記憶メモリ１４と、代表色抽出手段１３で入力画像から抽出された代表色に応じて最適な色補正パラメータを色補正パラメータ記憶メモリ１４の内容から決定する色補正パラメータ決定手段１５と、抽出された代表色とその近傍周辺の色にのみ色補正を施す色補正処理手段１６とから構成されている。
【００５１】図５は図４の対象物選択手段１１で用いられるＧＵＩの一例を示す図であり、図６は図４の対象物色情報記憶メモリ１２の記述例を示す図であり、図７は図４の色補正パラメータ記憶メモリ１４の記述例を示す図であり、図８は本発明の第１の実施例による色補正装置の動作を示すフローチャートである。これら図４〜図８を参照して色補正装置１の構成及び動作について説明する。尚、図８に示す処理動作は色補正装置１の各部が図示せぬ制御メモリのプログラムを実行することで実現され、制御メモリとしてはＲＯＭ（リードオンリメモリ）やＩＣ（集積回路）メモリ等が使用可能である。
【００５２】対象物選択手段１１はユーザが色補正の対象物を容易に選択可能とする機能を提供している。対象物選択手段１１で用いられるＧＵＩの一例を図５に示す。図５においては色補正の対象物として、肌色、草木の緑、青空の３種類が選べるＧＵＩを示している。
【００５３】この対象物選択手段１１としては各対象物の色空間における分布可能領域が重ならないことを条件に、複数の対象物を選択可能とするような仕組みにすることも可能である。図５では肌色が選択されている状態を表している。
【００５４】代表色抽出手段１３では、まず対象物選択手段１１において選択された対象物の色相の分布可能領域と分割色相領域における分布頻度とを対象物色情報メモリ１２から読出す。
【００５５】ここで、図６に対象物色情報記憶メモリ１２の一例を示す。図６では対象物色情報記憶メモリ１２に記述された対象Ａ，Ｂ，Ｃのうち対象Ａに関する分割色相領域番号と、各分割色相領域を指定するための色相の上下限値と、頻度とを示している。尚、図示していないが、対象物色情報記憶メモリ１２には対象Ｂや対象Ｃについても、上記の対象Ａと同様の情報が記述されている。
【００５６】代表色抽出手段１３は入力画像の全画素について色相を計算し、分割色相領域のヒストグラムを作成し、（３）式を利用して各分割色相領域における代表色候補指数ＲＰを計算し、最大値を有する分割色相領域をその画像中における対象Ａが占める領域として選択する。さらに、代表色抽出手段１３はその分割色相領域に存在する色の平均ＲＧＢ値を入力画像中における対象Ａの代表色とする（図８ステップＳ１）。
【００５７】色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリ１４の記憶内容から決定する。すなわち、色補正パラメータ決定手段１５は特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリ１４の記憶内容を基に、抽出された代表色に最適な色補正パラメータを決定する（図８ステップＳ２）。
【００５８】この色補正パラメータ記憶メモリ１４の一例を図７に示す。図７では色補正パラメータ記憶メモリ１４に記述された対象Ａ，Ｂ，Ｃのうちの対象Ａに関する記述内容を示している。尚、図示していないが、色補正パラメータ記憶メモリ１４には対象Ｂや対象Ｃについても、上記の対象Ａと同様の内容が記述されている。例えば、色補正パラメータは代表色抽出手段１３において対象Ａの占める色相が分割色相領域２であるとされた場合、（Ｐ2，Ｑ2，Ｒ2，Ｓ2）となる。
【００５９】色補正処理手段１６は入力画像に対し、対象物の代表色とその近傍付近の色のみに対して色補正が施される処理を行う。すなわち、色補正処理手段１６は最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う（図８ステップＳ３）。
【００６０】このような色補正を実現するものとして、例えば特開平１０−１９８７９５号公報に開示された色補正方法等を利用することができる。特開平１０−１９８７９５号公報に開示された色補正方法を利用した場合、入力ＲＧＢに対する色補正式は、 （Ｒ’，Ｇ’，Ｂ’）＝（Ｒ，Ｇ，Ｂ）＋ｈｘ×（ａ1，ａ2，ａ3）
……（７）
という式で表される。ここで、（Ｒ，Ｇ，Ｂ）は入力画像中の任意のＲＧＢ値、（Ｒ’，Ｇ’，Ｂ’）は補正後のＲＧＢ値、（ａ1，ａ2，ａ3）はそれぞれＲ補正量、Ｇ補正量、Ｂ補正量であり、ｈｘは補正の中心色である（Ｒｃ，Ｇｃ，Ｂｃ）と上記の任意のＲＧＢ値（Ｒ，Ｇ，Ｂ）との間の距離を示す特色度である。
【００６１】この距離ｈｘは、 ｈｘ＝［ｐｏｓ（ｍ−｜Ｈｕｅ−ｈ1｜）／ｍ］×ｓ1×ｖ1 ……（８）
という式で表される。ここで、ｐｏｓ（ｘ）は、ｘ＜０の時にｐｏｓ（ｘ）＝０、ｘ≧０の時にｐｏｓ（ｘ）＝ｘである。ｍは許容色相角度、Ｈｕｅは補正対象のＲＧＢ値から計算されるＨＳＶ値（Ｈｕｅ，Ｓａｔ，Ｖａｌ）のＨｕｅ値である。ｈ1、ｓ1、ｖ1は上記の任意のＲＧＢ値のＨＳＶ値（ｈ1，ｓ1，ｖ1）である。
【００６２】代表色抽出手段１３で抽出された代表色が色補正の中心色となり、色補正パラメータ決定手段１５で決定された色補正パラメータ（Ｐ2，Ｑ2，Ｒ2，Ｓ2）はそれぞれＲ補正量、Ｇ補正量、Ｂ補正量、許容色相角度となる。
【００６３】以上の説明は色相のみに着目した色補正装置１について説明したが、色補正装置１の対象色情報メモリ１２を拡張し、色相だけでなく彩度、明度成分を追加することで、より精度の高い色補正装置を実現することができる。
【００６４】図９は本発明の第２の実施例による色補正装置の構成を示すブロック図である。図９において、本発明の第２の実施例による色補正装置２は対象物色情報記憶メモリ１２の代りに拡張対象色情報記憶メモリ１７を設けた以外は図４に示す本発明の第１の実施例による色補正装置１と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例と同様である。すなわち、色補正装置２は色相だけでなく彩度、明度成分も考慮した色補正装置である。
【００６５】図１０は図９の拡張対象物色情報記憶メモリ１７の記述例を示す図である。図１０において、拡張対象色情報記憶メモリ１７は色相、彩度、明度について、対象物の分布可能領域を分割するための各成分の上下限値が記述された分割情報部と、各分割領域における頻度が記述される頻度情報部とから構成されている。
【００６６】尚、図１０では拡張対象色情報記憶メモリ１７中の対象Ａに関する記述内容を示しているが、対象Ｂ，Ｃについても対象Ａと同様の内容が記述されている。図１０の場合、対象Ａの分布可能領域は色相に関してＮ個、彩度に関してＭ個、明度に関してＬ個で分割され、分割領域の総数はＮ×Ｍ×Ｌ個となる。
【００６７】図１１は本発明の第２の実施例による色補正装置の動作を示すフローチャートである。これら図９〜図１１を参照して本発明の第２の実施例による色補正装置２の動作について説明する。尚、図１１に示す処理動作は色補正装置２の各部が図示せぬ制御メモリのプログラムを実行することで実現され、制御メモリとしてはＲＯＭやＩＣメモリ等が使用可能である。
【００６８】代表色抽出手段１３は上述した色補正装置１と同様の手法を用いて、色相、彩度、明度において分割された分割領域のヒストグラムを作成し、各分割領域における代表色候補指数ＲＰを計算し、その最大値を対象物が有する分割領域とする。さらに、代表色抽出手段１３はその分割領域に存在する色の平均ＲＧＢ値を入力画像中における対象物の代表色とする（図１１ステップＳ１１）。
【００６９】色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリ１４の記憶内容から決定する。すなわち、色補正パラメータ決定手段１５は、特定対象物の色相、彩度、明度に関する分布可能領域を、色相に関してＮ個、彩度に関してＭ個、明度に関してＬ個で分割された合計Ｎ×Ｍ×Ｌ個の分割領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリ１４の記憶内容を基に、抽出された代表色に最適な色補正パラメータを決定する（図１１ステップＳ１２）。
【００７０】色補正処理手段１６は入力画像に対し、対象物の代表色とその近傍付近の色のみに対して色補正が施される処理を行う。すなわち、色補正処理手段１６は最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う（図１１ステップＳ１３）。尚、色補正装置２における色補正パラメータ記憶メモリ１４はＮ×Ｍ×Ｌ個の分割領域の色補正パラメータを保持するものとする。
【００７１】図１２は本発明の第３の実施例による色補正装置の構成を示すブロック図である。図１２において、本発明の第３の実施例による色補正装置３は代表色抽出手段１３の代りにヒストグラム作成手段１８と分散計算手段１９と対象物領域分散記憶メモリ２０と代表色決定手段２１とを設けた以外は図９に示す本発明の第２の実施例による色補正装置２と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第２の実施例と同様である。すなわち、色補正装置３では入力画像から対象物の代表色を抽出する際、対象物の色情報だけでなく、画像上で座標位置の分散についても考慮している。
【００７２】図１３は本発明の第３の実施例による色補正装置の動作を示すフローチャートである。これら図１２及び図１３を参照して本発明の第３の実施例による色補正装置３の動作について説明する。尚、図１３に示す処理動作は色補正装置３の各部が図示せぬ制御メモリのプログラムを実行することで実現され、制御メモリとしてはＲＯＭやＩＣメモリ等が使用可能である。
【００７３】まず、ヒストグラム作成手段１８は拡張対象物色情報記憶メモリ１７で指定される対象物の各分割領域におけるヒストグラムを作成すると同時に、その領域にヒットした色の画像座標も記録しておく。分散計算手段１９は（４）式を利用して各分割領域における平均座標位置を計算し、さらに（５）式を用いて各分割領域における座標位置の分散を計算する。
【００７４】次に、上述した代表色候補指数ＲＰ’を計算するために、代表色決定手段２１は対象物領域分散記憶メモリ２０から対象物の基準分散を読込み、基準分散と各分割領域における座標位置の分散との差を計算し、各分割領域における代表色候補指数ＲＰ’を（６）式を用いて計算する。その最大値を有する分割領域を入力画像における特定対象物が占める色相領域とし、その代表色は代表色抽出手段１３と同様に、選ばれた分割領域に存在する色の平均ＲＧＢ値とする（図１３ステップＳ２１）。
【００７５】色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリ１４の記憶内容から決定する。すなわち、色補正パラメータ決定手段１５は、特定対象物の色相、彩度、明度に関する分布可能領域を、色相に関してＮ個、彩度に関してＭ個、明度に関してＬ個で分割された合計Ｎ×Ｍ×Ｌ個の分割領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリ１４の記憶内容を基に、抽出された代表色に最適な色補正パラメータを決定する（図１３ステップＳ２２）。
【００７６】色補正処理手段１６は入力画像に対し、対象物の代表色とその近傍付近の色のみに対して色補正が施される処理を行う。すなわち、色補正処理手段１６は最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う（図１３ステップＳ２３）。
【００７７】図１４は本発明の第４の実施例による色補正装置の構成を示すブロック図である。図１４において、色補正装置４は対象物選択手段１１と、代表色抽出手段１３と、色補正パラメータ決定手段１５と、色補正処理手段１６と、入力別対象物色情報記憶メモリ２２と、出力別色補正パラメータ記憶メモリ２３と、入出力機器指定手段２４とから構成されている。
【００７８】一般に、カラー画像入出力機器は機器毎に色特性が異なる。いま、入力画像が予め想定されている入力機器によって得られていることが分かれば、対象物の分布領域をある程度限定することができる。また、色補正処理後の出力画像の出力機器を特定することができる場合にはその出力機器で出力した際、最適な色に補正される色補正パラメータを用意することで、色補正がさらに良い結果となる。
【００７９】図１５は図１４の入出力機器指定手段２４で用いられるＧＵＩの一例を示す図である。図１５において、入出力機器指定手段２４は図示するＧＵＩを用いて、入力機器及び出力機器を選択可能とする機能をユーザに提供している。図１５に示すＧＵＩでは入力機器として機器Ａ，Ｂ，Ｃ、出力機器として機器Ｄ，Ｅ，Ｆというように、入出力機器がそれぞれ３機種ずつ選択可能なようになっているが、入力機器及び出力機器が選択可能なような仕組みであればこの限りではない。
【００８０】入力別対象物色情報記憶メモリ２２には本装置が想定する入力機器である機種Ａ，Ｂ，Ｃの各機種毎に、図６または図１０に示すような対象物の分布可能領域及び分布頻度が記録されている。
【００８１】入出力機器指定手段２４は選択された入力機器に対応する対象物の分布可能領域と分布頻度とを入力別対象物色情報記憶メモリ２２から読込み、その対象物の分布可能領域と分布頻度とを代表色抽出手段１３に送る。代表色抽出手段１３はそれらを基に代表色を抽出する。
【００８２】出力別色補正パラメータ記憶メモリ２３には本装置が想定する出力機器である機種Ｄ，Ｅ，Ｆの各機種毎に、図７に示す対象物の分割領域における色補正パラメータが記録されている。
【００８３】入出力機器指定手段２４はユーザによって指定された出力機器に対応する対象物の色補正パラメータを出力別色補正パラメータ記憶メモリ２３から読込み、その対象物の色補正パラメータを色補正パラメータ決定手段１５へ送る。色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを、入出力機器指定手段２４から送られてくる色補正パラメータから決定する。以上の処理によって、色補正装置４は入出力機器が特定できる場合、より高精度な色補正を実現することができる。
【００８４】図１６は本発明の第５の実施例による色補正装置の構成を示すブロック図である。図１６において、本発明の第５の実施例による色補正装置５は手動色補正処理手段２５とサンプル画像記憶メモリ２６と色補正パラメータ生成手段２７とを追加した以外は図４に示す本発明の第１の実施例による色補正装置１と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例と同様である。
【００８５】一般に、カラー画像のある特定の対象物、例えば肌色、草木の緑、青空には好ましい色あるいはこういう色であって欲しいと感じる色が存在するが、それぞれに要求される色はユーザの好みによって多少異なる。そこで、本発明の第５の実施例による色補正装置５はユーザ毎の要求に答えるために、色補正装置１の構成に手動色補正処理手段２５とサンプル画像記憶メモリ２６と色補正パラメータ生成手段２７とを追加している。
【００８６】手動色補正処理手段２５は色補正処理手段１６と同じ色補正アルゴリズムを備えているものの、色補正パラメータをユーザが与える仕組みとなっている。ここで、サンプル画像記憶メモリ２６には想定されている対象物に関して、対象物の色が広く分布するように、複数のサンプル画像が記録されている。
【００８７】手動色補正処理手段２５はサンプル画像記憶メモリ２６から補正対象物のサンプル画像を表示し、ユーザにその対象物の色補正を実行させるためのＧＵＩを提供する。
【００８８】図１７は図１６の手動色補正処理手段２５で用いられるＧＵＩの一例を示す図である。図１７において、手動色補正処理手段２５が提供するＧＵＩでは補正対象として対象Ａが選択されており、カウンタはＮ枚あるサンプル画像の１枚目の画像が表示されていることを示している。
【００８９】ＧＵＩの中央には補正前の画像と補正後の画像とが表示されており、ここでは補正前の画像において矢印で示されている対象Ａのみに色補正処理を施していることを表している。尚、サンプル画像中の対象Ａの代表色は、ユーザがマウス等のポインティングデバイスを用いて指定させるようにしている。ユーザは補正後の画像に満足するまで、色補正パラメータ１〜４を調整する。
【００９０】１枚目の画像が終了したら、ＧＵＩの右上の「次の画像表示」ボタンを押して、次のサンプル画像へ進む。各サンプル画像で設定された代表色及び色補正パラメータの情報は保持されている。全てのサンプル画像の手動色補正が終了すると、ユーザが指定した代表色及び色補正パラメータの全てのセットを色補正パラメータ生成手段２７に送る。
【００９１】色補正パラメータ生成手段２７では対象物色情報記憶メモリ１２から対象物の分割領域の情報を得て、各分割領域について、その領域に存在する代表色とそのときの色補正パラメータとを手動色補正処理手段２５から送られてきた代表色及び色補正パラメータの全てのセットから選び出し、色補正パラメータの平均値を計算して色補正パラメータ記憶メモリ１４の該当する分割領域に記述する。
【００９２】代表色抽出手段１３は対象物選択手段１１において選択された対象物の色相の分布可能領域と分割色相領域における分布頻度とを対象物色情報メモリ１２から読出し、代表色を抽出する。
【００９３】色補正パラメータ決定手段１５は代表色抽出手段１３で抽出された代表色に最適な色補正パラメータを色補正パラメータ記憶メモリ１４の記憶内容から決定する。色補正処理手段１６は入力画像に対し、対象物の代表色とその近傍付近の色のみに対して色補正が施される処理を行う。上述したように、色補正装置５は入力画像中の対象物に対して、ユーザの好みに応じた色補正処理を施すことが可能になる。
【００９４】このように、カラー画像の特定対象物に対して自動的に色補正を行うことによって、特に肌色、青空、草木の緑等の自然画像にとって重要な対象物の色のみを、マスキング処理やユーザの対話処理を必要とすることなく、自動的に好ましい色もしくは希望の色に補正することが可能になる。また、カラー画像機器本体あるいはドライバソフトに本発明の処理動作を組込むことによって、機器に特徴ある色再現性を持たすことも可能である。
【００９５】
【発明の効果】以上説明したように本発明によれば、カラー画像中の特定対象物に色補正を施す自動色補正装置において、任意入力画像中から特定対象物の代表色を抽出させ、特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して色補正パラメータを割り振らせ、抽出された代表色に最適な色補正パラメータを決定させ、最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行わせることによって、様々な照明環境下で撮影される自然画像を入力画像とし、この入力画像の照明環境、入力センサの感度特性等の情報が無くとも、良好な色補正を実現することができるという効果がある。
【図面の簡単な説明】
【図１】対象物の色相分布可能領域とその頻度を示す図である。
【図２】対象物の色相分布可能領域を分割した状態を示す図である。
【図３】対象物の色補正前後の色相の変化を示す図である。
【図４】本発明の第１の実施例による色補正装置の構成を示すブロック図である。
【図５】図４の対象物選択手段で用いられるＧＵＩの一例を示す図である。
【図６】図４の対象物色情報記憶メモリの記述例を示す図である。
【図７】図４の色補正パラメータ記憶メモリの記述例を示す図である。
【図８】本発明の第１の実施例による色補正装置の動作を示すフローチャートである。
【図９】本発明の第２の実施例による色補正装置の構成を示すブロック図である。
【図１０】図９の拡張対象物色情報記憶メモリの記述例を示す図である。
【図１１】本発明の第２の実施例による色補正装置の動作を示すフローチャートである。
【図１２】本発明の第３の実施例による色補正装置の構成を示すブロック図である。
【図１３】本発明の第３の実施例による色補正装置の動作を示すフローチャートである。
【図１４】本発明の第４の実施例による色補正装置の構成を示すブロック図である。
【図１５】図１４の入出力機器指定手段で用いられるＧＵＩの一例を示す図である。
【図１６】本発明の第５の実施例による色補正装置の構成を示すブロック図である。
【図１７】図１６の手動色補正処理手段で用いられるＧＵＩの一例を示す図である。
【符号の説明】
１〜５ 色補正装置
１１ 対象物選択手段
１２ 対象物色情報記憶メモリ
１３ 代表色抽出手段
１４ 色補正パラメータ記憶メモリ
１５ 色補正パラメ‐タ決定手段
１６ 色補正処理手段
１７ 拡張対象物色情報記憶メモリ
１８ ヒストグラム作成手段
１９ 分散計算手段
２０ 対象物領域分散記憶メモリ
２１ 代表色決定手段
２２ 入力別対象物色情報記憶メモリ
２３ 出力別色補正パラメータ記憶メモリ
２４ 入出力機器指定手段
２５ 手動色補正処理手段
２６ サンプル画像記憶メモリ
２７ 色補正パラメータ生成手段
【特許請求の範囲】
【請求項１】 カラー画像中の特定対象物に色補正を施す自動色補正装置であって、前記特定対象物の色相分布可能領域を分割して得られる分割色相領域及び分布頻度を記憶する対象物色情報記憶メモリと、前記対象物色情報記憶メモリの記憶内容を基に任意入力画像中から前記特定対象物の代表色を抽出する代表色抽出手段と、前記特定対象物の色相分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリと、前記代表色抽出手段で抽出された代表色に最適な色補正パラメータを前記色補正パラメータ記憶メモリの記憶内容から決定する色補正パラメータ決定手段と、前記色補正パラメータ決定手段で得られた色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う色補正処理手段とを有することを特徴とする自動色補正装置。
【請求項２】 特定対象物について予め様々な撮影環境下で撮影された複数の画像を解析して得た前記特定対象物の色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかに関する分布可能範囲を分割して得られる分割領域及び分布頻度を記憶する拡張対象物色情報記憶メモリを含み、前記代表色抽出手段において、前記色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかに関する分割領域を基に入力画像中における前記特定対象の色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかのヒストグラムを得て、前記拡張対象物色情報記憶メモリの分布頻度と前記ヒストグラムとを掛け合わせ、その最大値を有した領域中に存在する色を特定対象物の代表色として抽出するようにしたことを特徴とする請求項１記載の自動色補正装置。
【請求項３】 前記代表色抽出手段において、特定対象物の色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかの分布頻度に加え、画像中の座標位置の分散をも利用することによって前記特定対象物の代表色を抽出するようにしたことを特徴とする請求項１または請求項２記載の自動色補正装置。
【請求項４】 前記色補正パラメータ記憶メモリにおいて、対象物の色相だけでなく対象物の彩度分布可能領域及び明度分布可能領域をそれぞれ複数個に分割した分割彩度領域及び分割明度領域のそれぞれの領域に割り振られた色補正パラメータを記憶するようにしたことを特徴とする請求項１から請求項３のいずれか記載の自動色補正装置。
【請求項５】 入力機器毎に前記特定対象物の色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかに関する分布可能範囲を分割して得られる分割領域及び分布頻度を記憶する入力別対象物色情報記憶メモリと、出力機器毎に色補正パラメータを保持する出力別色補正パラメータ記憶メモリと、外部から入力される入出力カラー画像機器の機種に応じて前記入力別対象物色情報記憶メモリ及び前記出力別色補正パラメータ記憶メモリから対応する情報を読出す入出力機器指定手段とを含むことを特徴とする請求項１から請求項４のいずれか記載の自動色補正装置。
【請求項６】 前記特定対象物の複数種類のカラー画像を記憶するサンプル画像記憶メモリと、外部指示に応じて前記サンプル画像記憶メモリに記憶されている画像の色に対する情報を入力する手動色補正処理手段と、前記手動色補正手段から入力された情報を基に前記色補正パラメータ記憶メモリに記述する色補正パラメータを作成する色補正パラメータ生成手段とを含むことを特徴とする請求項１から請求項５のいずれか記載の自動色補正装置。
【請求項７】 カラー画像中の特定対象物に色補正を施す自動色補正方法であって、任意入力画像中から前記特定対象物の代表色を抽出するステップと、抽出された前記代表色に最適な色補正パラメータを前記特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリの内容に基づいて決定するステップと、前記最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行うステップとを有することを特徴とする自動色補正方法。
【請求項８】 前記色補正パラメータ記憶メモリに、対象物の分割色相領域のほかに前記対象物の彩度分布可能領域及び明度分布可能領域をそれぞれ複数個に分割した分割彩度領域及び分割明度領域のそれぞれの領域に対して割り振られる色補正パラメータを記録するようにしたことを特徴とする請求項７記載の自動色補正方法。
【請求項９】 前記代表色を抽出するステップにおいて、特定対象物の色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかに関する分布頻度に加え、画像中の座標位置の分散をも利用することによって前記特定対象物の代表色を抽出するようにしたことを特徴とする請求項７または請求項８記載の自動色補正方法。
【請求項１０】 カラー画像中の特定対象物に色補正を施す自動色補正装置に自動色補正を行わせるための自動色補正制御プログラムを記録した記録媒体であって、前記自動色補正制御プログラムは前記自動色補正装置に、任意入力画像中から前記特定対象物の代表色を抽出させ、前記特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して色補正パラメータを割り振らせ、抽出された前記代表色に最適な色補正パラメータを決定させ、前記最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行わせることを特徴とする自動色補正制御プログラムを記録した記録媒体。
【請求項１】 カラー画像中の特定対象物に色補正を施す自動色補正装置であって、前記特定対象物の色相分布可能領域を分割して得られる分割色相領域及び分布頻度を記憶する対象物色情報記憶メモリと、前記対象物色情報記憶メモリの記憶内容を基に任意入力画像中から前記特定対象物の代表色を抽出する代表色抽出手段と、前記特定対象物の色相分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリと、前記代表色抽出手段で抽出された代表色に最適な色補正パラメータを前記色補正パラメータ記憶メモリの記憶内容から決定する色補正パラメータ決定手段と、前記色補正パラメータ決定手段で得られた色補正パラメータを利用して特定色相にのみ作用する色補正変換を行う色補正処理手段とを有することを特徴とする自動色補正装置。
【請求項２】 特定対象物について予め様々な撮影環境下で撮影された複数の画像を解析して得た前記特定対象物の色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかに関する分布可能範囲を分割して得られる分割領域及び分布頻度を記憶する拡張対象物色情報記憶メモリを含み、前記代表色抽出手段において、前記色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかに関する分割領域を基に入力画像中における前記特定対象の色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかのヒストグラムを得て、前記拡張対象物色情報記憶メモリの分布頻度と前記ヒストグラムとを掛け合わせ、その最大値を有した領域中に存在する色を特定対象物の代表色として抽出するようにしたことを特徴とする請求項１記載の自動色補正装置。
【請求項３】 前記代表色抽出手段において、特定対象物の色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかの分布頻度に加え、画像中の座標位置の分散をも利用することによって前記特定対象物の代表色を抽出するようにしたことを特徴とする請求項１または請求項２記載の自動色補正装置。
【請求項４】 前記色補正パラメータ記憶メモリにおいて、対象物の色相だけでなく対象物の彩度分布可能領域及び明度分布可能領域をそれぞれ複数個に分割した分割彩度領域及び分割明度領域のそれぞれの領域に割り振られた色補正パラメータを記憶するようにしたことを特徴とする請求項１から請求項３のいずれか記載の自動色補正装置。
【請求項５】 入力機器毎に前記特定対象物の色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかに関する分布可能範囲を分割して得られる分割領域及び分布頻度を記憶する入力別対象物色情報記憶メモリと、出力機器毎に色補正パラメータを保持する出力別色補正パラメータ記憶メモリと、外部から入力される入出力カラー画像機器の機種に応じて前記入力別対象物色情報記憶メモリ及び前記出力別色補正パラメータ記憶メモリから対応する情報を読出す入出力機器指定手段とを含むことを特徴とする請求項１から請求項４のいずれか記載の自動色補正装置。
【請求項６】 前記特定対象物の複数種類のカラー画像を記憶するサンプル画像記憶メモリと、外部指示に応じて前記サンプル画像記憶メモリに記憶されている画像の色に対する情報を入力する手動色補正処理手段と、前記手動色補正手段から入力された情報を基に前記色補正パラメータ記憶メモリに記述する色補正パラメータを作成する色補正パラメータ生成手段とを含むことを特徴とする請求項１から請求項５のいずれか記載の自動色補正装置。
【請求項７】 カラー画像中の特定対象物に色補正を施す自動色補正方法であって、任意入力画像中から前記特定対象物の代表色を抽出するステップと、抽出された前記代表色に最適な色補正パラメータを前記特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して割り振られる色補正パラメータを記憶する色補正パラメータ記憶メモリの内容に基づいて決定するステップと、前記最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行うステップとを有することを特徴とする自動色補正方法。
【請求項８】 前記色補正パラメータ記憶メモリに、対象物の分割色相領域のほかに前記対象物の彩度分布可能領域及び明度分布可能領域をそれぞれ複数個に分割した分割彩度領域及び分割明度領域のそれぞれの領域に対して割り振られる色補正パラメータを記録するようにしたことを特徴とする請求項７記載の自動色補正方法。
【請求項９】 前記代表色を抽出するステップにおいて、特定対象物の色相と彩度と明度とのうちの一つとそれらを組合せたものとのいずれかに関する分布頻度に加え、画像中の座標位置の分散をも利用することによって前記特定対象物の代表色を抽出するようにしたことを特徴とする請求項７または請求項８記載の自動色補正方法。
【請求項１０】 カラー画像中の特定対象物に色補正を施す自動色補正装置に自動色補正を行わせるための自動色補正制御プログラムを記録した記録媒体であって、前記自動色補正制御プログラムは前記自動色補正装置に、任意入力画像中から前記特定対象物の代表色を抽出させ、前記特定対象物の色相に関する分布可能領域を分割して得られる分割色相領域に対して色補正パラメータを割り振らせ、抽出された前記代表色に最適な色補正パラメータを決定させ、前記最適な色補正パラメータを利用して特定色相にのみ作用する色補正変換を行わせることを特徴とする自動色補正制御プログラムを記録した記録媒体。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図４】
【図８】
【図１０】
【図９】
【図１５】
【図１７】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【図２】
【図３】
【図５】
【図６】
【図７】
【図４】
【図８】
【図１０】
【図９】
【図１５】
【図１７】
【図１１】
【図１２】
【図１３】
【図１４】
【図１６】
【公開番号】特開２００１−９２９５６（Ｐ２００１−９２９５６Ａ）
【公開日】平成１３年４月６日（２００１．４．６）
【国際特許分類】
【出願番号】特願平１１−２６７９３７
【出願日】平成１１年９月２２日（１９９９．９．２２）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成１３年４月６日（２００１．４．６）
【国際特許分類】
【出願日】平成１１年９月２２日（１９９９．９．２２）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]