認知光源とハイライトとを利用した照明色度変換装置及びそのための方法並びにそのためのプログラムを記録したコンピュータが読める記録媒体
【課題】 認知光源から推定される比較的安定した照明色度を基盤にしてハイライトの特性を考慮することによって正確度が高い照明色度変換装置、及び、その方法を提供する。
【解決手段】 照明色度を推定する装置は、カラー映像を入力する映像入力部４０と、入力されたカラー映像からハイライト領域を抽出するハイライト検出部４１と、各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出するハイライト変数計算部４２と、入力されたカラー映像に対して認知光源推定方式により照明色度を推定する認知光源照明色度推定部と、幾何学的表現変数中、前記認知光源照明色度推定部により推定された照明色度周囲に位置した所定数の幾何学的表現変数を選択し選択された幾何学的表現変数を利用して最終照明色度を算出する修正色度計算部４４とを含む。
【解決手段】 照明色度を推定する装置は、カラー映像を入力する映像入力部４０と、入力されたカラー映像からハイライト領域を抽出するハイライト検出部４１と、各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出するハイライト変数計算部４２と、入力されたカラー映像に対して認知光源推定方式により照明色度を推定する認知光源照明色度推定部と、幾何学的表現変数中、前記認知光源照明色度推定部により推定された照明色度周囲に位置した所定数の幾何学的表現変数を選択し選択された幾何学的表現変数を利用して最終照明色度を算出する修正色度計算部４４とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ソフトウェアを用いて照明色度を推定し、推定された照明色度を所望の他の照明色度に変換する方法及び装置に関する。
【背景技術】
【０００２】
一般に、任意の場面（ｓｃｅｎｅ）で照明色度を推定する方法としては、ハードウェアを用いる方法とソフトウェアを用いる方法の２種類の方法に大きく分けられる。ハードウェアを用いる方法は、照明の情報を測定できるセンサを利用して、与えられた場面を直接的に測定することによって照明色度を推定する方法である。ソフトウェアを用いる方法は、獲得された映像を所定のプログラムを備える演算回路に入力して、与えられた場面の照明色度を推定する方法である。
【０００３】
前者の場合には、具現化が比較的容易な反面、正確度を向上させるのが比較的難しいという短所がある。一方、後者の場合には、正確度を向上させる側面では有利であるが、前者に比べて構成が複雑となり具現化するのが難しいという短所がある。しかしながら、近時のマイクロプロセッサー等の発達によって、ソフトウェアを用いる方法でも次第に比較的簡単に具現化できるようになってきている。
【０００４】
従来の技術として、カメラ装置に白色平衡や色補正を実行するためのハードウェアを付加して所定の照明成分を検出する方法がある。すなわち、直接、照明から放射される光を感知する検出器等をカメラ装置に内蔵させて用いたり、あるいは、特定の照明成分に対応させて白色平衡や色補正を実行することができる調節ボタンをカメラ装置に設け、その調節ボタンに対するユーザーの入力に基づいて照明条件を設定したりするといった方式が用いられている。
【０００５】
ところで、前記照明から放射される光を感知する検出器等を内蔵したカメラ装置を用いる場合に、前記検出器等のハードウェアの装着によってコストアップ要因が発生するという問題のほかに、該ハードウェアでは直接的に検出することが難しいとされる遠距離撮影等の映像には不適切であるという問題がある。また、前記調節ボタンを設けて成るカメラ装置を用いる方法の場合には、各種照明成分により適切に対応するためには複数の調節ボタンが必要となるという短所が存在する。
【０００６】
前記問題を解決するために、映像自体から照明の色度を検出する方法が、Ｈｓｉｅｎ−Ｃｈｅ Ｌｅｅ等によって提案され、米国特許第４６８５０７１号（１９８７．８．４日登録）に開示されている。この方法は、映像内の場面において、鏡のように反射される光（ｓｐｅｃｕｌａｒ ｒｅｆｌｅｃｔｅｄ ｌｉｇｈｔ）の色を検出して、その場面を照射する光のカラーを決定するものである。この方法によれば、該映像において、複数の互いに異なる表面色を有する物体上で、同一の色相（ｈｕｅ）と変化する彩度（ｓａｔｕｒａｔｉｏｎ）とを示す多くの点の集合（ｓｅｔ）とを検出することによって、前記した鏡のように反射される光の色を検出することが可能となる。
【０００７】
したがって、明るさに依存しない色の変化、すなわち明るさに独立的な色の変化を検出するために、まず前記映像を色度座標（ｃｈｒｏｍａｔｉｃｉｔｙ ｃｏｏｒｄｉｎａｔｅ）を有する色空間に変換し、前記映像の彩度と色相が最も強く変化する色境界を検出する。その際、該色境界が前記映像の彩度の変化によって生じた色境界であるのか、または前記映像の色相の変化によって生じた色境界であるのかを明確に区別することが必要となる。すなわち、該色境界の両辺にあるデータの集合（ｄａｔａ ｓｅｔ）を収集して直線近似し、両辺で収集されたデータの集合から求めた直線の傾斜（傾き）が同じ場合には、前記映像の彩度の変化によって生じた色境界であると判定し、該色境界の両辺にあるデータの集合を照明色検出のためのデータの集合と決定する。そして、このような前記映像の彩度の変化によって生じた色境界点の周囲における複数のデータの集合から得られた直線の交点の経路から照明色を決定する幾何学的表現変数を求める。
【０００８】
ところで、前記したＨｓｉｅｎ−Ｃｈｅ Ｌｅｅ等の方法における最大の問題点は、非常に長い実行時間を要求するという点である。すなわち、Ｈｓｉｅｎ−Ｃｈｅ Ｌｅｅ等の方法では、各色境界の両辺のデータ収集が容易ではないのみならず、色境界単位で処理するため、数多くの色境界が存在する場合には、各々の色境界両辺のデータを収集し、直線近似して比較し、判断する作業を繰り返さなければならず、比較的複雑な段階を有するという短所がある。
【０００９】
また、Ｓｃｈｗａｒｔｚ等が提案している、米国特許第５４９５４２８号（１９９６．２．２７日登録）に開示されている方法は、前記したＨｓｉｅｎ−Ｃｈｅ Ｌｅｅ等の方法とかなり類似した概念を有するものである。すなわち、Ｓｃｈｗａｒｔｚ等の方法は、映像全体の照明の情報に関する度数分布（ｈｉｓｔｏｇｒａｍ）を作成した後、各々の所定のデータの集合から成るクラスターごとに主軸となる直線を求め、各直線に適切な加重値を印加して照明色度を決定するという点において、前記したＨｓｉｅｎ−Ｃｈｅ Ｌｅｅ等の方法と類似した概念を有する。
【００１０】
しかしながら、前記両者の方法は、それらの実行方法において相違点を見出すことができる。すなわち、前記したＳｃｈｗａｒｔｚ等の方法は、処理対象データの確保の点では有利であるが、その解析手法に比較的多くの計算量と比較的大きな複雑度を含むという点で不利なものであり、その一方で前記したＨｓｉｅｎ−Ｃｈｅ Ｌｅｅ等の方法は、処理対象データの確保が一般的に比較的難しいとされる反面解析に対しては比較的容易であるという点で有利である。このように、前記両者の方法は、実用面で互いに一長一短を有するものとなっている。
【００１１】
本発明で用いられる認知光源方式は、映像からの照明色度を数値化して自己発光（ｓｅｌｆ−ｌｕｍｉｎｏｕｓ）領域を選択的に除外して効果的で安定的に照明色度を推定するものである。また、本発明で用いられるハイライト方式は、一定の色の表面から反射される光は表面反射（ｓｕｆａｃｅ ｒｅｆｌｅｃｔｉｏｎ）と本体反射（ｂｏｄｙｒｅｆｌｅｃｔｉｏｎ）との合計で表現することが可能であり、表面反射の分光構成（ｓｐｅｃｔｒａｌ ｃｏｍｐｏｓｉｔｉｏｎ）が照明の分光構成と等しいと仮定するいわゆる「Ｓｈａｆｅｒの二色性反射モデル（ｄｉｃｈｒｏｍａｔｉｃ ｒｅｆｌｅｃｔｉｏｎ ｍｏｄｅｌ）」に基づくものである。
【００１２】
ところで、前記認知光源方式の場合には、概略的な解の範囲を決定する面では安全性が保障されるが、正確性の側面では入力映像の内容（ｃｏｎｔｅｎｔ）に依存する傾向があるという短所を有する。一方、前記ハイライト方式は、前記認知光源方式に比べて入力映像の内容に依存し難く比較的正確な解を提示するという長所を有するが、最終的な解を決定するためには比較的数多くの候補、すなわち、比較的幅広い範囲を有する交差点を考慮しなければならないという短所がある。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は、前記問題点を解決するために創作されたものであり、本発明の目的は、認知光源から推定される比較的安定した照明色度を基盤にしてハイライトの特性を考慮することにより正確度がより高い照明色度推定／変換装置及びその方法を提供することにある。
【課題を解決するための手段】
【００１４】
前記目的を達成するために、本発明の第１の態様は、カラー映像を入力する映像入力部と、入力されたカラー映像からハイライト領域を抽出するハイライト検出部と、前記各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出するハイライト変数計算部と、前記入力されたカラー映像に対して認知光源推定方式により照明色度を推定する認知光源照明色度推定部と、前記幾何学的表現変数中、前記認知光源照明色度推定部により推定された照明色度周囲に位置した所定数の幾何学的表現変数を選択し、選択された幾何学的表現変数を利用して最終照明色度を算出する修正色度計算部とを含む認知光源とハイライトとを利用した照明色度推定装置として構成する。
【００１５】
本発明の第２の態様は、前記第１の態様において、前記認知光源照明色度推定部が、前記入力されたカラー映像からカラー映像の平均値を算出する映像平均計算部と、前記カラー映像の平均値に所定の係数を掛けて自己発光しきい値として設定する自己発光しきい値設定部と、前記カラー映像から前記自己発光しきい値を超過した色度座標値を有する自己発光領域を除去する自己発光領域除去部と、前記自己発光しきい値と直前に生成された自己発光しきい値との差の値が所定の値より大きければ前記映像平均計算部に入力されたカラー映像代わりに自己発光領域が除去されたカラー映像を伝達する自己発光しきい値変更判別部と、自己発光領域が除去されたカラー映像の平均値から認知光源方式による照明色度を算出する照明色度計算部とを備える認知光源とハイライトとを利用した照明色度推定装置として構成する。
【００１６】
前記目的を達成するために、本発明の第３の態様は、任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出する照明色温度計算部と、前記照明色温度計算部により算出された色温度に対応する複数の推定基準カラー値、及び、変更すべき色温度に対応する複数の目標基準カラー値を算出する三刺激値計算部と、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成する変換係数計算部と、入力カラー映像に前記変換行列を適用して照明の色度を変更する照明色度変更部とを含む認知光源とハイライトとを利用した照明色度変換装置として構成する。
【００１７】
本発明の第４の態様は、前記第３の態様において、照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）に各々加えて、前記入力カラー映像のコントラスト（ｃｏｎｔｒａｓｔ）を強調する明るさ変換部をさらに含む認知光源とハイライトとを利用した照明色度変換装置として構成する。
【００１８】
本発明の第５の態様は、前記第３の態様において、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値が、各々マクベス・カラーチェッカー（Ｍａｃｂｅｔｈ Ｃｏｌｏｒ Ｃｈｅｃｋｅｒ）の２４色に対応するＸＹＺ値である認知光源とハイライトとを利用した照明色度変換装置として構成する。
【００１９】
前記目的を達成するために本発明の第６の態様は、下記段階（ａ１）から段階（ｅ１）を含むことを特徴とする認知光源とハイライトとを利用した照明色度推定方法として構成する。
（ａ１）カラー映像を入力する段階。
（ｂ１）入力されたカラー映像からハイライト領域を抽出する段階。
（ｃ１）前記各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出する段階。
（ｄ１）前記入力されたカラー映像に対して認知光源推定方式により照明色度を推定する段階。
（ｅ１）前記幾何学的表現変数中、前記（ｄ１）段階で推定された照明色度周囲に位置した所定数の幾何学的表現変数を選択して、選択された幾何学的表現変数を利用して最終照明色度を算出する段階。
【００２０】
本発明の第７の態様は、前記第６の態様において、前記（ｄ）段階は、下記小段階（ｄ１１）から小段階（ｄ１５）を備える認知光源とハイライトとを利用した照明色度推定方法として構成する。
（ｄ１１）前記入力されたカラー映像からカラー映像の平均値を算出する小段階。
（ｄ１２）前記カラー映像の平均値に所定の係数を掛けた値を自己発光しきい値として設定する小段階。
（ｄ１３）前記カラー映像から前記自己発光しきい値を超過した色度座標値を有する自己発光領域を除去する小段階。
（ｄ１４）前記自己発光しきい値と直前に生成された自己発光しきい値との差の値が所定の値より小さくなるまで、前記入力されたカラー映像を自己発光領域が除去されたカラー映像に変更して、前記（ｄ１１）段階から前記（ｄ１３）段階を繰り返す小段階。
（ｄ１５）自己発光領域が除去されたカラー映像の平均値から前記認知光源方式による照明色度を算出する小段階。
【００２１】
本発明の第８の態様は、前記第６の態様において、前記（ｂ）段階が、前記入力されたカラー映像からカラー映像全体の平均明るさを求めて、前記入力されたカラー映像中、所定の基準明るさより明るい領域をハイライト領域に決定する認知光源とハイライトとを利用した照明色度推定方法として構成する。
【００２２】
本発明の第９の態様は、前記第６の態様において、前記（ｃ）段階が、前記各ハイライト領域を色度座標に投影して、該色度座標上で明るさ変化による色度変化の方向を示す所定数の色度座標を抽出して、抽出された色度座標を基準にする直線変数を算出する認知光源とハイライトとを利用した照明色度推定方法として構成する。
【００２３】
本発明の第１０の態様は、前記第６の態様において、前記（ｅ）段階が、前記直線変数を有する直線中、前記（ｄ）段階で推定された照明色度の周囲に位置する所定数の直線を選択し、選択された直線が形成する交点中、前記（ｄ）段階で推定された照明色度に最も近い交点を利用して最終照明色度を算出する認知光源とハイライトとを利用した照明色度推定方法として構成する。
【００２４】
前記目的を達成するために本発明の第１１の態様は、下記段階（ａ２）から（ｅ２）を含む認知光源とハイライトとを利用した照明色度変換方法として構成する。
（ａ２）任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出する段階。
（ｂ２）算出された色温度に対応する複数の推定基準カラー値を算出する段階。
（ｃ２）変更すべき色温度に対応する複数の目標基準カラー値を算出する段階。
（ｄ）前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成する段階。
（ｅ）入力カラー映像に前記変換行列を適用して照明の色度を変更する段階。
【００２５】
本発明の第１２の態様は、前記第１１の態様において、下記段階（ｆ２）をさらに含む認知光源とハイライトとを利用した照明色度変換方法として構成する。
（ｆ２）照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢに各々加えて、前記入力カラー映像のコントラストを強調する段階。
【００２６】
本発明の第１３の態様は、前記第１１の態様において、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値が、各々マクベス・カラーチェッカーの２４色に対応するＸＹＺ値である認知光源とハイライトとを利用した照明色度変換方法として構成する。
【００２７】
前記目的を達成するために本発明の第１４の態様は、下記モジュール（ａ３）からモジュール（ｅ３）を含む認知光源とハイライトとを利用した照明色度推定プログラムを記録したコンピュータが読める記録媒体として構成する。
（ａ３）カラー映像を入力するモジュール。
（ｂ３）入力されたカラー映像からハイライト領域を抽出するモジュールと、（ｃ３）前記各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出するモジュール。
（ｄ３）前記入力されたカラー映像に対して認知光源推定方式により照明色度を推定するモジュール。
（ｅ３）前記幾何学的表現変数中、前記モジュール（ｄ３）で推定された照明色度周囲に位置した所定数の幾何学的表現変数を選択して、選択された幾何学的表現変数を利用して最終照明色度を算出するモジュール。
【００２８】
本発明の第１５の態様は、前記第１４の態様において、前記モジュール（ｄ３）が、さらに下記モジュール（ｄ３１）からモジュール（ｄ３５）を備える認知光源とハイライトとを利用した照明色度推定プログラムを記録したコンピュータが読める記録媒体として構成する。
（ｄ３１）前記入力されたカラー映像からカラー映像の平均値を算出するモジュール。
（ｄ３２）前記カラー映像の平均値に所定の係数を掛けて自己発光しきい値として設定するモジュール。
（ｄ３３）前記カラー映像から前記自己発光しきい値を超過した色度座標値を有する自己発光領域を除去するモジュール。
（ｄ３４）前記自己発光しきい値と、直前に生成された自己発光しきい値との差の値が所定の値より小さいときまで、前記入力されたカラー映像を、自己発光領域が除去されたカラー映像に変更して、前記モジュール（ｄ３１）からな前記モジュール（ｄ３３）を繰り返すモジュール。
（ｄ３５）自己発光領域が除去されたカラー映像の平均値から前記認知光源方式による照明色度を算出するモジュール。
【００２９】
本発明の第１６の態様は、下記モジュー（ａ４）ルからモジュール（ｅ４）を含む認知光源とハイライトとを利用した照明色度変換プログラムを記録したコンピュータが読める記録媒体として構成する。
（ａ４）任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出するモジュール。
（ｂ４）算出された色温度に対応する複数の推定基準カラー値を算出するモジュール。
（ｃ４）変更すべき色温度に対応する複数の目標基準カラー値を算出するモジュール。
（ｄ４）前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成するモジュール。
（ｅ４）入力カラー映像に前記変換行列を適用して照明の色度を変更するモジュール。
【００３０】
本発明の第１７の態様は、前記第１６の態様において、下記モジュール（ｅ５）をさらに含む認知光源とハイライトとを利用した照明色度変換プログラムを記録したコンピュータが読める記録媒体として構成する。
（ｅ５）照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢに各々加えて、前記入力カラー映像のコントラストを強調するモジュール。
【００３１】
なお、本発明において、「幾何学的表現変数」とは、入力されたカラー映像から抽出されたハイライト領域の各々を色度座標に投影することによって得られた色度座標上に分布する模様の中で特定の関係を表わすパラメータを意味し、例えば該特定の関係が直線関係を有する関数の直線変数である場合には傾斜（傾き）と截片（切片）とを意味するものである。また、本発明で用いられる「マクベス・カラーチェッカー」は、市販の既製品であるマクベス・カラーチェッカー（登録商標）であり、パッチの数が２４色と比較的少なくて済み、かつ市販品であるので、本発明の実行を容易にするものである。そして、本発明において「色温度」とは、固体表面の放射について、本質的にその固体の表面からの放射エネルギと同じスペクトル分布を有する放射エネルギを出している黒体の温度を意味するものである。
【発明の効果】
【００３２】
本発明によれば、人間が視覚的に認識する映像からの照明色度情報を数値化することができ、自己発光領域の選択的な除外を通して効果的で安定的に照明情報を抽出することができる。
【００３３】
また、本発明によれば、映像から直接照明色を得る従来のソフトウェア方法において大きな問題点であった計算時間のさらなる迅速化の要求に応え、映像処理時間の短縮効果とより正確な照明色情報とを両立させることができる。
【００３４】
また、本発明によれば、映像から直接照明色を得る従来のソフトウェア方法において大きな問題点であった計算時間のさらなる迅速化の要求に応え、映像処理時間の短縮効果とより正確な照明色情報とを両立させることができる。
【００３５】
また、本発明によれば、照明色度、及び、映像の明るさ値の変換を通して、種々の異なった意図した視覚的感じを与える映像を形成することができるので、映像の質をより一層向上させる等の特殊な機能を具現化できる。
【図面の簡単な説明】
【００３６】
【図１】認知光源方式による照明色度推定過程を示した一例の流れ図である。
【図２】ハイライト方式による照明色度推定過程を示した一例の流れ図である。
【図３】色度座標上で直線変数を抽出する過程を説明するための図であって、従来方式による直線抽出方法と、本発明で提案された方式による直線抽出方法とを色度座標上で比較して示した図である。
【図４】本発明に係る認知光源とハイライトとを利用した一例の照明色度推定装置の構成を示したブロック図である。
【図５】本発明に係る一例の照明色度変換装置の構成を示したブロック図である。
【発明を実施するための形態】
【００３７】
以下、添付した図面を参照しながら本発明をより詳細に説明する。本発明に用いられる認知光源方式とハイライト方式とは相互補完的な面が強い。このため、まず認知光源方式を用いて最終的な解の概略的な範囲を定め、つぎにこの最終的な解の概略的な範囲に基づいてハイライト方式の初期状態を設定して複数の候補点、及び、分布クラスター抽出する。そして、このようにして抽出された複数の候補点、及び、分布クラスターの特性を考慮してより精密な解を決定することが可能となる。
【００３８】
認知光源を利用した照明色度検出方法は、映像からの照明色度を数値化して自己発光（ｓｅｌｆ−ｌｕｍｉｎｏｕｓ）領域を選択的に排除して効果的で安定的に照明色度を抽出する方法である。人がある場面を眺めるとき、その場面で直感的に感じられるような全体的に感じられる色調があるが、このような全体的に感じられる色調は照明の特性によって異なって現れる。たとえば、白熱燈下では全体的に赤っぽい色調が感じられ、また、日光（ｄａｙｌｉｇｈｔ）下では前記白熱燈に比べて全体的に青っぽい色調が感じられることがある。このように全体的に感じられる色調を数値化する方法が認知光源方式の一つの特徴となっている。
【００３９】
自己発光領域とは、物体表面から光が反射することによって起こる発光領域部分ではなく、照明と一体的に認識される発光領域部分であり、例えば照明で光が通過する穴（ａｐｅｒｔｕｒｅ）、または、照明で生じる鏡面反射（ｓｐｅｃｕｌａｒ
ｒｅｆｌｅｃｔｉｏｎ）等がこれに該当する。認知光源を利用した照明色度検出方法においては、該自己発光領域を効果的に除去することによって推定される照明色度の正確度を高めることができる。
【００４０】
図１は、認知光源方式による照明色度推定過程を一例の流れ図で示したものである。図１によると、認知光源を利用した照明色度検出過程はつぎのようになる。まず、下記式（１−１）、式（１−２）及び式（１−３）によって、入力映像ＲＧＢ（ｉ、ｊ）に対する撮影装備のγ補償を通して線形化された入力映像Ｒ＿Ｌ（ｉ、ｊ）、入力映像Ｇ＿Ｌ（ｉ、ｊ）、入力映像Ｂ＿Ｌ（ｉ、ｊ）を得る（１００段階、１１０段階）。下記式（１−１）、式（１−２）及び式（１−３）中、ｉ及びｊは、各々映像の各画素の座標を示す。なお、以下では、式中の同じ符号はその説明を略すこととする。
【００４１】
【数１】
つぎに、下記式（２）によって、ＲＧＢ座標系の線形化された入力映像Ｒ＿Ｌ（ｉ、ｊ）、入力映像Ｇ＿Ｌ（ｉ、ｊ）、入力映像Ｂ＿Ｌ（ｉ、ｊ）を各々、予め算出された変換行列Ｍを利用してＸＹＺ座標系の映像Ｘ（ｉ、ｊ）、映像Ｙ（ｉ、ｊ）、映像Ｚ（ｉ、ｊ）に変換する（１２０段階）。
【００４２】
【数２】
つぎに、下記式（３−１）、式（３−２）及び式（３−３）によって、前記映像Ｘ（ｉ、ｊ）、映像Ｙ（ｉ、ｊ）、映像Ｚ（ｉ、ｊ）の各々に対する映像平均値Ｘ＿Ａ、映像平均値Ｙ＿Ａ、映像平均値Ｚ＿Ａを算出する（１３０段階）。
【００４３】
【数３】
そして、下記式（４−１）から式（４−３）によって、映像平均値Ｘ＿Ａ、映像平均値Ｙ＿Ａ、映像平均値Ｚ＿Ａの各々に所定の定数ｋを掛けて自己発光しきい値（ｓｅｌｆ−ｌｕｍｉｎｏｕｓ
ｔｈｒｅｓｈｏｌｄ）Ｘ＿ｔｈ、自己発光しきい値Ｙ＿ｔｈ、自己発光しきい値Ｚ＿ｔｈを算出する（１４０段階）。下記式（４―１）、式（４−２）及び式（４−３）中、ｋは実験的に求めることができる定数であり、約３．０近傍の実数値である。
【００４４】
【数４】
つぎに、映像Ｘ（ｉ、ｊ）、映像Ｙ（ｉ、ｊ）、映像Ｚ（ｉ、ｊ）の各々において、自己発光しきい値を超過した画素を除去する（１５０段階）。そして、前記自己発光しきい値をその以前に記録していた自己発光しきい値と比較して（１６０段階）、前記自己発光しきい値とその以前に記録していた自己発光しきい値との差の値が０近傍の所定の値より大きい場合には、超過した画素が除去された映像Ｘ（ｉ、ｊ）、映像Ｙ（ｉ、ｊ）、映像Ｚ（ｉ、ｊ）の各々に対して１３０段階から１５０段階の過程を反復して実行する。また、１６０段階で前記自己発光しきい値とその以前に記録していた自己発光しきい値との差の値が０近傍の所定の値より小さい場合には、１３０段階から１５０段階の過程を実行した後に得られた最終的な映像平均値を各々Ｘ#f、Ｙ#f、Ｚ#fと置いて照明のＸＹＺとして推定するための色度計算に利用する。
【００４５】
すなわち、下記式（５−１）及び式（５−２）によって得られるＩｌｌｕ＿ｘ、Ｉｌｌｕ＿ｙを該場面の照明色度として決定する（１７０段階）。
【００４６】
【数５】
一方、ハイライトを利用する照明色度検出方法は、一定の色を有する表面から反射される光を表面反射と本体反射との合計で表現することが可能であり、表面反射の分光構成が照明の分光構成と等しいと仮定するＳｈａｆｅｒの二色性反射モデルに基づくものである。すなわち、同一の表面における他の点の色度座標ＣＩＥ（ｘ、ｙ）は、色度図で表面反射によって決定される照明色と本体反射によって決定される本体色とを連結した直線状に置かれるようになる。これは表面反射成分が単純に本体反射成分の色飽和度（ｓａｔｕｒａｔｉｏｎ）を弱めるように寄与することを意味している。また、測色的（ｃｈｒｏｍｅｔｒｉｃａｌｌｙ）には、同一の表面の色は、純度は異なるが照明色に対して同一の主波長を有するものであることが知られている。このような点の経路は、照明色度に関して放射状に置かれる傾向がある直線状に形成される。二つの相異なる分光反射特性を有する表面が与えられれば、二つの直線は唯一つの交点を有するため、この交点から照明色度を決定することができる。
【００４７】
図２は、ハイライト方式による照明色度推定過程を一例の流れ図で示したものである。図２に示されるハイライトを利用する照明色度検出過程はつぎのようになる。入力映像Ｒ（ｉ、ｊ）、入力映像Ｇ（ｉ、ｊ）、入力映像Ｂ（ｉ、ｊ）の各々でハイライト候補領域を選択する（２００、２１０段階）。選択基準は、下記式（６−１）、式（６−２）及び式（６−３）によって、該画素の明るさ（ｉｎｔｅｎｓｉｔｙ）が映像全体平均明るさ値の定数倍となるように定める。ここでは、定数値は２．７として設定されたが、その値は固定されるものではなく入力映像の特性によって適宜に設定することができる。
【００４８】
【数６】
なお、映像の違いによって絶対的な明るさ値の変動幅が比較的大きくなる場合があるので、該絶対的な明るさ値を基準に用いることは好ましくない。
【００４９】
つぎに、抽出された候補領域に対する直線変数（ｌｉｎｅ ｐａｒａｍｅｔｅｒ）である傾斜（傾き）と截片（切片）とを算出する（２２０段階）。従来の直線変数の抽出方法は、色度座標上に投影された該領域の色度分布中、長軸を基準に直線を構成して傾斜（傾き）と截片（切片）とから成る直線変数を算出するものである。このような従来の直線変数の抽出方法では、対象候補領域が的確に選択された場合には比較的正確な前記直線変数の結果を得ることができるものの、対象候補領域を的確に抽出することは非常に難しいという問題がある。したがって以下では、対象候補領域がたとえ的確に抽出されない状況であっても、比較的正確に前記直線変数を抽出する方法について記述することとする。
【００５０】
まず、対象候補領域のあらゆるＸ（ｉ、ｊ）、Ｙ（ｉ、ｊ）、Ｚ（ｉ、ｊ）を各々正規化して色度座標ｘｙ（ｉ、ｊ）を算出する。本発明で提案する直線変数を抽出する方式では、色度座標ｘｙ（ｉ、ｊ）と明るさ情報であるＹ（ｉ、ｊ）を入力に用いる。すなわち、ｘｙ（ｉ、ｊ）―Ｙ（ｉ、ｊ）の対をＹ（ｉ、ｊ）を基準として昇順で整列を実行する。そして、最も暗い部分から明るい部分まで移動窓平均（ｍｏｖｉｎｇ ｗｉｎｄｏｗ
ａｖｅｒａｇｅ）値を算出する。一般に、対象候補領域に含まれる画素数は１００個を上回るため、窓の大きさは２０サンプル程度に設定すると都合がよい。また、色度座標の分布上で明るさ変化による色度変化の方向を推定することは重要である。すなわち、直線方向の色度変化が比較的強い色度座標を４〜５個程度抽出し、これに基づいて直線変数を抽出することができる。
【００５１】
図３は、従来方式による直線抽出方法と、本発明で提案された方式による直線抽出方法とを色度座標上で比較して示したものである。図３に示すように、あらゆる候補領域に対する直線変数の集合を利用して、各直線の交点を算出してｃ（ｘ、ｙ）に置く（２３０段階）。このように求めた交点の集合に対して最も代表的な交点を選択する（２４０段階）。
【００５２】
その際、前記最も代表的な交点を求めるための従来の方法は、度数分布（ｈｉｓｔｏｇｒａｍ）を利用する。ところで、この方法によると、交点のサンプル精密度が高い場合、複数の磁気テープが一つの框体の中に格納されている磁気テープ記憶装置から成るビン（ｂｉｎ）を非常に小さく分けることが好ましいので、処理するのが非常に難しくなるという問題点がある。したがって、本発明ではこのような問題点を解決するために次のような方式を用いることとする。
【００５３】
一つの交点はｘとｙの二つの座標値を有する構造から成っている。このような交点の集合に対して、まずｘ値を基準にして昇順で整列を実行する。ｘ値を整列させるときには、ｙ値自体は意味がない。以上のようにしてｘ値を整列させると、比較的緩慢な３次曲線に近いｘの集合（以下「３次曲線」という）が得られる。その際、該３次曲線のほぼ中央部分に位置する最も平らな領域が、最も代表的な交点を有する区間となる。本発明では該交点のｘ座標の値を３次関数でフィッティング（ｆｉｔｔｉｎｇ）させた後、該３次曲線の変曲点のｘ値を、最も代表的な交点であるｘ値として選択する。このようにして選択された最も代表的な交点であるｘ値を中心として、該ｘ値の近傍で所定量のサンプルを含むようなｘの区間を設定する。このように設定されたｘの区間内に存在するｙ値に対しても、前記したようにｘ値に対して行った方法と同様にして、比較的緩慢な３次曲線に近いｙの集合である３次曲線を３次関数でフィッティングさせて最も代表的な交点であるｙ値を求めることができる。
【００５４】
前記したｘ値に対して行った方法は、色度分布がかなり集まっており比較的高い精密度が要求される場合、前記した従来の方法である度数分布の形態で処理する際により効果的で、度数分布のビン（ｂｉｎ）の大きさが比較的小さいことに起因して精密度が低下するという問題点を解決することができる。前記した方法で、最も代表的な交点を選択する際に、３次関数にフィッティングした前記３次曲線の変曲点から選択することもでき、前記交点の集合で該変曲点に最も近い交点を選択することもできる。そして、以上のようにして求めた代表的な交点であるｘ、ｙを照明の色度として出力する（２５０段階）。
【００５５】
本発明に係る認知光源とハイライトとを利用した照明色度推定方式は、任意のカラー映像から照明色度を推定することに利用され、認知光源とハイライトとを結合して構成した組合せ方式として、認知光源から推定される比較的安定した照明色度を基盤とし、かつハイライトの特性を考慮して精密度を一層向上させた方式である。
【００５６】
認知光源方式の場合には、概略的な解の範囲を決定する側面では充分な安全性が保障されるが、正確性の側面では入力映像の内容に依存する傾向があるという短所がある。一方、ハイライト方式の場合には、入力映像の内容の依存性が比較的低く、より正確な解を提示することができるという長所を有するが、最終的な解を決定するために種々の候補（比較的幅広い範囲を有する交点）を考慮する必要があるために比較的長い実行時間を要するという短所がある。これらの２種類の方式は、相互に補完的な面が強いので、本発明にあってはこれら２種類の方式の各々の長所を活用して各々の短所を補うことによってより迅速かつより精度の高い解を決定するものである。すなわち、まず認知光源方式によって最終的な解の概略的な範囲を定め、つぎにこの最終的な解の概略的な範囲に基づいてハイライト方式の初期状態を設定し、その結果抽出された種々の候補点、及び、色度分布の形態特性を考慮してより精密な解を迅速に決定することができるということが本発明の主な概念である。
【００５７】
図４は、本発明に係る認知光源とハイライトとを利用した一例の照明色度推定装置の構成を示したブロック図である。図４によると、本発明に係る認知光源とハイライトとを利用した一例の照明色度推定装置は、映像入力部４０、ハイライト検出部４１、ハイライト変数計算部４２、認知光源照明色度推定部４３、及び、修正色度計算部４４を含んで成る。
【００５８】
映像入力部４０は、一般的なカラー映像を入力する装置として、必要に応じて図１に示す１１０段階、及び、１２０段階のγ補償機能、及び、ＲＧＢ-ＸＹＺ色座標変換機能を適宜に備えることができる。ハイライト検出部４１は、入力されたカラー映像からハイライト領域を抽出して、図２に示す２１０段階に対応する機能を実行する。ハイライト変数計算部４２は、ハイライト検出部４１によって抽出された各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出する。
【００５９】
本発明の望ましい一実施形態では、幾何学的表現変数は直線関係を有する関数の直線変数である傾斜（傾き）と截片（切片）とを意味し、図４に示すハイライト変数計算部４２は図２に示す２２０段階に対応する機能を実行するものである。認知光源照明色度推定部４３は、入力されたカラー映像に対して認知光源推定方式により照明色度を推定するものである。この認知光源照明色度推定部４３について、以下でさらに詳細に説明する。
【００６０】
修正色度計算部４４は、直線変数中認知光源照明色度推定部４３によって推定された照明色度（ｐｘ、ｐｙ）の周囲に位置する３本の直線を選択する。そして、このようにして選択された３本の直線の交点を算出し、認知光源照明色度推定部４３によって推定された照明色度（ｐｘ、ｐｙ）に最も近い交点を最終照明色度として決定する。なお、本発明で選択された直線の本数は、ここで説明したように３本のみに限定されるものではない。たとえば、本発明に係る他の実施形態の修正色度計算部４４は、３本の直線でなく４本または５本の直線、あるいはそれ以上の本数の直線を選択することもできる。また、本発明の一実施形態では、選択された３本の直線が形成する交点の中から照明色度（ｐｘ、ｐｙ）に最も近い交点を最終照明色度として決定しているが、さらに他の実施形態では３本の直線が形成する交点の平均によって決定したり、あるいは、これと均等な他の方式を用いたりすることも本発明の領域に含まれる。
【００６１】
一方、認知光源照明色度推定部４３は、映像平均計算部４３ａ、自己発光しきい値設定部４３ｂ、自己発光領域除去部４３ｃ、自己発光しきい値変更判別部４３ｄ、及び、照明色度計算部４３ｅを備えて成る。
【００６２】
映像平均計算部４３ａは、映像入力部４０から入力されたカラー映像を受けたり、あるいは、自己発光しきい値変更判別部４３ｄから自己発光領域が除去されたカラー映像を受けてカラー映像の平均値を算出し、図１の１３０段階の機能に対応したりする。自己発光しきい値設定部４３ｂは、カラー映像の平均値に所定の係数を掛けて自己発光しきい値として設定する図１に示す１４０段階に対応する機能を実行する。自己発光領域除去部４３ｃは、カラー映像で自己発光しきい値を超過した色度座標値を有する自己発光領域の画素を除去する。
【００６３】
自己発光しきい値変更判別部４３ｄは、自己発光しきい値と直前に生成された自己発光しきい値との差の値が０近傍の所定の値より大きい場合には、自己発光領域が排除されたカラー映像を映像平均計算部４３ａに伝達する。前記差の値が０近傍の所定の値より小さい場合には、自己発光しきい値変更判別部４３ｄはそのときまでの自己発光領域が排除された映像を照明色度計算部４３ｅに伝達する。照明色度計算部４３ｅは、自己発光領域が除去されたカラー映像の平均値から認知光源方式によって照明色度を最終的に算出し、図１に示す１７０段階と対応する機能を実行する。
【００６４】
つぎに、本発明に係る認知光源とハイライトとを利用した照明色度推定過程を詳細に説明する。まず、カラー映像を入力し、入力されたカラー映像からハイライト領域を抽出する。すなわち、入力されたカラー映像からカラー映像全体の平均明るさを求めて、前記入力されたカラー映像中、所定の基準明るさより明るい領域をハイライト領域として決定する。その際、所定の基準明るさは、前記式（６−１）、式（６−２）及び式（６−３）を用いて算出する。
【００６５】
つぎに、各ハイライト領域を色度座標に投影して、色度座標上で明るさ変化による色度変化の方向を示す所定数の色度座標を抽出して、抽出された色度座標を基準とした直線変数を算出する。
【００６６】
一方、入力されたカラー映像に対して、認知光源推定方式によって照明色度を推定する。この過程は次のようにして実行される。まず、入力されたカラー映像からカラー映像の平均値を式（３−１）、式（３−２）及び式（３−３）を用いて算出する。さらに、式（４−１）、式（４−２）及び式（４−４）を用いて算出されたカラー映像の平均値に所定の係数を掛けて自己発光しきい値で設定する。
【００６７】
つぎに、カラー映像から前記自己発光しきい値を超過した色度座標値を有する自己発光領域を排除し、自己発光しきい値と直前に生成された自己発光しきい値との差の値が所定の値より小さくなるまで、前記入力されたカラー映像を、自己発光領域が排除されたカラー映像に変更するように、カラー映像の平均値計算過程以下（図４に示す４３ａから４３ｄ）を繰り返す。自己発光しきい値と直前に生成された自己発光しきい値との差の値が所定の値より小さければ、自己発光領域が排除されたカラー映像の平均値から認知光源方式によって推定された照明色度を式（５−１）及び式（５−２）を用いて算出する。
【００６８】
以後、前記直線変数を有する直線の中で、認知光源方式による照明色度の周囲に位置する３本の直線を選択し、選択された３本の直線が形成する交点中、認知光源方式によって推定された照明色度に最も近い交点を最終照明色度で決定する。ここでは３本の直線を選択する例について説明したが、本発明はこの例に限定されるものではなく、他の実施形態では４本または５本、あるいはそれ以上の本数の直線を選択することも可能である。
【００６９】
また、ここでは、選択された３本の直線が形成する交点の中から認知光源方式によって推定された照明色度に最も近い交点を最終照明色度として決定している例について説明したが、本発明はこのような最終照明色度の決定方法のみに限定されるものではなく、このほかに、３本の直線が形成する交点の平均により決定したり、あるいはこれと均等な他の方式を用いたりすることも本発明の領域に含まれる。
【００７０】
つぎに、本発明に係る認知光源とハイライトとの組合せ方式について、認知光源のみを利用した方式、及び、ハイライトのみを利用した方式の各々を、表を参照しながら比較して検討する。前記したような方法によって光源推定性能を評価した評価データを表１、表２及び表３に示す。表１は認知光源のみを利用した照明色度検出方法によるものであり、表２はハイライトのみを利用した照明色度検出方法によるものであり、表３は本発明に係る認知光源とハイライトとの組合せ方式を利用した照明色度検出方法によるものである。なお、ここでは、日常生活で用いられるような照明成分を概略すべて含む標準光源の代表的なものとして、ＨＲＺ（Ｈｏｒｉｚｏｎ）、ＩＮＣ（Ｉｎｃａｎｄｅｓｃｅｎｔ）、ＣＬＷ（Ｃｏｏｌ
Ｗｈｉｔｅ）、Ｄ５０（日光５０００Ｋ）、Ｄ６０（日光６０００Ｋ）、Ｄ６５（日光６５００Ｋ）及びＤ７５（日光７５００Ｋ）を用い、これらの標準光源に対して各々同一の構造を有する物体の集合体を撮影した映像を入力に用いた。
【００７１】
【表１】
表１、表２及び表３に示す通り、ＨＲＺ（Ｈｏｒｉｚｏｎ）、ＩＮＣ（Ｉｎｃａｎｄｅｓｃｅｎｔ）、ＣＬＷ（Ｃｏｏｌ Ｗｈｉｔｅ）、Ｄ５０（日光５０００Ｋ）、Ｄ６０（日光６０００Ｋ）、Ｄ６５（日光６５００Ｋ）及びＤ７５（日光７５００Ｋ）のいずれの標準光源においても、本発明に係る本発明に係る認知光源とハイライトとの組合せ方式を利用した照明色度検出方法（表３参照）は、認知光源のみを利用した照明色度検出方法（表１参照）、及びハイライトのみを利用した照明色度検出方法（表２参照）に比べて、誤差（距離＿ｘｙ／０．４５６×１００［％］）が同等以下であり、かつその平均誤差はより小さなものとなっていることが分かる。
【００７２】
つぎに、認知光源方式のみでの実験室外部撮影を行った結果と本発明に係る認知光源とハイライトとを組み合わせた統合方式での実験室外部撮影を行った結果の両方の結果に対して光源推定性能を全体誤差［％］で評価し前記両者の方式について比較するとともに、認知光源方式のみでの実験室外部撮影を行った結果と本発明に係る認知光源とハイライトとを組み合わせた統合方式での実験室外部撮影を行った結果の両方の結果に対して光源推定性能を色温度［Ｋ］で評価し前記両者の方式について比較した。表４及び表５に、前記した各々の比較結果を示す。なお、表４及び表５において、Ｈはハロゲン（Ｈａｌｏｇｅｎ）、Ｆは蛍光（Ｆｌｕｏｒｅｓｃｅｎｔ）、Ｄは日光（Ｄａｙｌｉｇｈｔ）を示す。また、第１グループは場面の代表照明測定が可能な場合、第２グループは場面の照明を人が概略的に推定できるが正確な測定ができない場合、第３グループは複合照明で代表照明を選定するのが難しい場合を示す。
【００７３】
【表２】
表４及び表５に示すように、いずれも本発明に係る認知光源とハイライトとを組み合わせた統合方式の方が認知光源方式のみの方式に比べて全体誤差が低く抑えられていることが分かる。
【００７４】
つぎに、照明色度変換装置について詳細に説明する。元の映像から抽出された照明の色度を活用して照明の色度を変換する方法には、元の照明の色度を利用して補償された物体の物質色を表現する方法、及び、元の映像から抽出された照明の色度を利用して該映像の照明の色度を変更することによって新しい照明の感じを表現する方法等がある。
【００７５】
このような照明の色度の変換方法が最も効果的に活用される分野である映像の照明色度変換分野では、元の映像から抽出された照明の色度と所望の照明条件に変換すべき照明の情報とを利用して元の映像の照明色度の変換が実行される。映像の照明の色度を変換する方法には、照明の色度のみを変更する場合及び色度の変更に加えて明るさの情報を変更する場合等がある。前者の場合は、映像の全体的な色調のみを変更するものであり、後者の場合は色調のみならず明るさ値の範囲も変更するので元の映像とは異なった感じの映像を形成することができる。
【００７６】
映像の照明の色度としての（ｘ、y）値のみに基づいて照明色度の変換を実行する場合があるが、このような場合には単純な白色調節（ｗｈｉｔｅ
ｂａｌａｎｃｅ）の効果のみしか得られないため、このような方式で色度の変換を行った映像の色調は通常、全体的に不自然な色調を有するものとなり易い。
【００７７】
図５は、本発明に係る第１の実施形態における照明色度変換装置の構成を示すブロック図である。図５に示す本発明に係る色度変換装置は、照明色温度計算部５０、三刺激値計算部５１、変換係数計算部５２、及び、照明色度変更部５３を含んで成る。
【００７８】
照明色温度計算部５０は、任意の入力カラー映像の推定された照明の色度に対応する色温度を算出する。三刺激値計算部５１は、照明色温度計算部５０によって算出された色温度に対応する複数の推定基準カラー値、及び、変更すべき目標色温度に対応する複数の目標基準カラー値を算出する。その際、複数の目標基準カラー値、及び、複数の推定基準カラー値は各々マクベス・カラーチェッカー（Ｍａｃｂｅｔｈ
Ｃｏｌｏｒ Ｃｈｅｃｋｅｒ：ＭＣＣ）の２４個のパッチに該当するＸＹＺ値であることが望ましい。変換係数計算部５２は、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成する。照明色度変更部５３は、該入力カラー映像に前記変換行列を適用して照明の色度を変更する。
【００７９】
本発明に係る第２の実施の形態における照明色度変換装置は、明るさ変換部５４をさらに含んで成る。明るさ変換部５４は、照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセット（ｓｈｉｆｔ
ｏｆｆｓｅｔ）量を算出して、前記照明の色度が変更された入力カラー映像のＲＧＢにシフトオフセット量を各々加えて、前記入力カラー映像のコントラストを適宜に強調する。
【００８０】
元の映像から抽出された照明の色度より算出された任意の色温度を日光の色温度に相当する６５００Ｋの色温度として元の映像の色調を変化させた後、さらに明るさ値を適宜に変換することによって、たとえ人工的照明の下で撮影された映像であっても、あたかも真昼の陽光下で撮影した映像のように見せるような効果を得ることができる。このような処理は、いわゆる「日光変換」と称されているものであり、明るさ値の変換は直流成分の増加と濃度範囲（ｄｙｎａｍｉｃｒａｎｇｅ：ダイナミックレンジ）の増加とによって行われる。
【００８１】
前記直流成分の増加は、ＲＧＢの各値に所定の定数を加えることによって、全体的な明るさ値を増やすものであり、前記濃度範囲の増加はコントラスト（ｃｏｎｔｒａｓｔ）の強調を意味するものである。これら２種類の照明色度変換のパラメータを適宜に調整することによって、任意の照明の下で撮影された映像が、たとえ人工的照明の下で撮影された映像であっても、さながら日光の下で撮影されたように見せる効果を得ることができるようになる。
【００８２】
その際、変換すべき環境に対応したシフトオフセット量、及び、コントラスト値を得るための計算式は、実験的に決定することができる。以下に示す実験の例は、６名が参画し、３５枚の種々の映像を用いた実験によって計算式を決定したものである。
【００８３】
まず、明るさ変化（ｉｎｔｅｎｓｉｔｙ ｓｈｉｆｔ）で映像の平均ＲＧＢから算出された平均明るさ（Ｉ＿ａｖｇ＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ）とシフトオフセット（ｓｈｉｆｔ ｏｆｆｓｅｔ）量との関係は、つぎのように表わすことができる。
【００８４】
日光の明るさに変換する場合：ｓｈｉｆｔ ｏｆｆｓｅｔ＝−０．２６０４２×Ｉ＿ａｖｇ＋５０．３１２５夕陽の明るさに変換する場合：ｓｈｉｆｔ ｏｆｆｓｅｔ＝−０．２０８３×Ｉ＿ａｖｇ＋１１．２５
つぎに、コントラストの調整（ｃｏｎｔｒａｓｔ ａｄｊｕｓｔｍｅｎｔ）は、例えば次のようにして決定される。
【００８５】
日光の明るさに変換する場合：コントラストを１０％強調する場合が最も効果的である。
夕陽の明るさに変換する場合：ほぼすべてのデータについてコントラストの強調は０％でよい。すなわち、この実験の場合には、コントラストの強調は事実上意味が無いものである。
【００８６】
本実験結果を他の映像に適用したところ、所望とする日光変換効果が得られることが確認できた。なお、本実験においては、前記したような映像の明るさ及び／またはコントラストの近似化を行う作業を実施する際、日光の明るさ及び／またはコントラストに変換した場合に一部の映像に対して若干不自然さを伴う変換の形態が観察された。
【００８７】
本実験において、前記した映像の明るさの近似化を行った際、充分に満足すべき明るさの変換が実現できなかった場合に、明るさ値のシフトオフセット量を一定値に定めて明るさを変換する方法を採用すればこのような不自然な映像色度変換の形態を解消することが可能であることが判明した。すなわち、元の映像の明るさ値のシフトオフセット量を、明るさ値に関係なく所定の値（例えば、１０）程度増やす方法、または、明るさ値の関数の値によって増やす方法の２種類の方法があり、これら２種類の方法を映像の種類に応じて適宜に使用することによってより自然な映像色度変換の形態を得ることができた。
【００８８】
また本実験において、映像のコントラストの近似化を行った際、充分に満足すべきコントラストの変換が実現できなかった場合に、現在設定されているコントラストの１０％程度の範囲内でコントラストを調整することが好ましいと判断された。
【００８９】
前記したように明るさ値のシフトオフセット量を明るさ値に関係なく、所定の値（例えば、１０）程度増やす場合には、大部分の映像に対してほぼ同一の安定した結果が得られた。すなわち、この方法によれば、より簡便になり、かつ明るさ値に関連した変数計算がないことによって、処理時間をより短くすることができる。
【００９０】
前記した実験において、前記映像の明るさ及びコントラストの近似化を行う作業に参画した６名の人に対して視覚的検査（ｖｉｓｕａｌ
ｔｅｓｔ）が行われた場合に、もしもその視覚的検査の結果にかなり大きな偏差が存在するとすれば、必然的に当該作業の結果に個人差が発生し、得られた映像の色調に比較的大きなばらつきが生じる場合が起こり得る。そのような場合には、当該作業における個人差を抑制するために、元の映像の明るさ値に対するシフトオフセット量を一定量に設定して増減させる方法が比較的効果的である。
【００９１】
前記した実験において夕陽の明るさに変換する場合には、明るさ値の関数の値によって処理された映像で、特段、不自然な結果は観察されないことが判明した。したがって、明るさ値の関数の値を適用することも可能である。
【００９２】
なお、図４に示される本発明に係る照明色度推定装置、及び、図５に示される本発明に係る照明色度変換装置に備わる各々の機能ブロックは、ハードウェア的に構成されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で具現化することができ、また汎用コンピュータ、及び、そこで動作するソフトウェアの結合で具現化されることも可能であるということを本発明の技術分野で通常の知識を有する者ならば容易に分かることである。
【００９３】
一方、上述した本発明の第１及び第２の実施形態では、コンピュータで実行できるプログラムによって実行することが可能である。そして、コンピュータで用いられる媒体を利用して前記プログラムを動作させる汎用ディジタルコンピューターで具現化できる。前記媒体としては、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク等）、光学的判読媒体（例えば、ＣＤＲＯＭ、ＤＶＤ等）、及び、搬送波（例えば、インターネットを通した伝送）のような記録媒体を含む。
【００９４】
記録媒体としては、カラー映像を入力するモジュールと、入力されたカラー映像からハイライト領域を抽出するモジュールと、前記各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出するモジュールと、前記入力されたカラー映像に対して認知光源推定方式によって照明色度を推定するモジュールと、前記幾何学的表現変数中で推定された照明色度の周囲に位置する所定数の幾何学的表現変数を選択して選択された幾何学的表現変数を利用して最終照明色度を算出するモジュールとをコンピュータで実行することが可能なプログラムコードで記録することが望ましい。
【００９５】
そして、前記認知光源推定方式により照明色度を推定するモジュールは、前記入力されたカラー映像からカラー映像の平均値を算出するモジュールと、前記カラー映像の平均値に所定の係数を掛けて自己発光しきい値として設定するモジュールと、前記カラー映像から前記自己発光しきい値を超過した色度座標値を有する自己発光領域を除去するモジュールと、前記自己発光しきい値と直前に生成された自己発光しきい値との差の値が所定の値より小さくなるまで前記入力されたカラー映像を自己発光領域が排除されたカラー映像に変更して、前記カラー映像の平均値を算出するモジュールから前記自己発光領域を除去するモジュールまでを適宜に繰り返すモジュールと、自己発光領域が排除されたカラー映像の平均値から前記認知光源方式による照明色度を算出するモジュールを実行するプログラムコードを含むことが好ましい。
【００９６】
また、記録媒体は、任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出するモジュールと、算出された色温度に対応する複数の推定基準カラー値を算出するモジュールと、変更すべき色温度に対応する複数の目標基準カラー値を算出するモジュールと、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成するモジュールと、入力カラー映像に前記変換行列を適用して照明の色度を変更するモジュールとをコンピュータで実行できるプログラムコードで記録すると都合がよい。
【００９７】
前記記録媒体は、照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢに各々加えて、前記入力カラー映像のコントラストを強調するモジュールをコンピュータで実行できるプログラムコードでさらに記録することができる。以上のような本発明を具現するための機能的なモジュールは本発明が属する技術分野で平均的知識を有するプログラマーによって容易に実施することができる。
【符号の説明】
【００９８】
４０ 映像入力部
４１ ハイライト検出部
４２ ハイライト変数計算部
４３ 認知光源照明色度推定部
４３ａ 映像平均計算部
４３ｂ 自己発光しきい値設定部
４３ｃ 自己発光領域除去部
４３ｄ 自己発光しきい値変更判別部
４３ｅ 照明色度計算部
４４ 修正色度計算部
【技術分野】
【０００１】
本発明は、ソフトウェアを用いて照明色度を推定し、推定された照明色度を所望の他の照明色度に変換する方法及び装置に関する。
【背景技術】
【０００２】
一般に、任意の場面（ｓｃｅｎｅ）で照明色度を推定する方法としては、ハードウェアを用いる方法とソフトウェアを用いる方法の２種類の方法に大きく分けられる。ハードウェアを用いる方法は、照明の情報を測定できるセンサを利用して、与えられた場面を直接的に測定することによって照明色度を推定する方法である。ソフトウェアを用いる方法は、獲得された映像を所定のプログラムを備える演算回路に入力して、与えられた場面の照明色度を推定する方法である。
【０００３】
前者の場合には、具現化が比較的容易な反面、正確度を向上させるのが比較的難しいという短所がある。一方、後者の場合には、正確度を向上させる側面では有利であるが、前者に比べて構成が複雑となり具現化するのが難しいという短所がある。しかしながら、近時のマイクロプロセッサー等の発達によって、ソフトウェアを用いる方法でも次第に比較的簡単に具現化できるようになってきている。
【０００４】
従来の技術として、カメラ装置に白色平衡や色補正を実行するためのハードウェアを付加して所定の照明成分を検出する方法がある。すなわち、直接、照明から放射される光を感知する検出器等をカメラ装置に内蔵させて用いたり、あるいは、特定の照明成分に対応させて白色平衡や色補正を実行することができる調節ボタンをカメラ装置に設け、その調節ボタンに対するユーザーの入力に基づいて照明条件を設定したりするといった方式が用いられている。
【０００５】
ところで、前記照明から放射される光を感知する検出器等を内蔵したカメラ装置を用いる場合に、前記検出器等のハードウェアの装着によってコストアップ要因が発生するという問題のほかに、該ハードウェアでは直接的に検出することが難しいとされる遠距離撮影等の映像には不適切であるという問題がある。また、前記調節ボタンを設けて成るカメラ装置を用いる方法の場合には、各種照明成分により適切に対応するためには複数の調節ボタンが必要となるという短所が存在する。
【０００６】
前記問題を解決するために、映像自体から照明の色度を検出する方法が、Ｈｓｉｅｎ−Ｃｈｅ Ｌｅｅ等によって提案され、米国特許第４６８５０７１号（１９８７．８．４日登録）に開示されている。この方法は、映像内の場面において、鏡のように反射される光（ｓｐｅｃｕｌａｒ ｒｅｆｌｅｃｔｅｄ ｌｉｇｈｔ）の色を検出して、その場面を照射する光のカラーを決定するものである。この方法によれば、該映像において、複数の互いに異なる表面色を有する物体上で、同一の色相（ｈｕｅ）と変化する彩度（ｓａｔｕｒａｔｉｏｎ）とを示す多くの点の集合（ｓｅｔ）とを検出することによって、前記した鏡のように反射される光の色を検出することが可能となる。
【０００７】
したがって、明るさに依存しない色の変化、すなわち明るさに独立的な色の変化を検出するために、まず前記映像を色度座標（ｃｈｒｏｍａｔｉｃｉｔｙ ｃｏｏｒｄｉｎａｔｅ）を有する色空間に変換し、前記映像の彩度と色相が最も強く変化する色境界を検出する。その際、該色境界が前記映像の彩度の変化によって生じた色境界であるのか、または前記映像の色相の変化によって生じた色境界であるのかを明確に区別することが必要となる。すなわち、該色境界の両辺にあるデータの集合（ｄａｔａ ｓｅｔ）を収集して直線近似し、両辺で収集されたデータの集合から求めた直線の傾斜（傾き）が同じ場合には、前記映像の彩度の変化によって生じた色境界であると判定し、該色境界の両辺にあるデータの集合を照明色検出のためのデータの集合と決定する。そして、このような前記映像の彩度の変化によって生じた色境界点の周囲における複数のデータの集合から得られた直線の交点の経路から照明色を決定する幾何学的表現変数を求める。
【０００８】
ところで、前記したＨｓｉｅｎ−Ｃｈｅ Ｌｅｅ等の方法における最大の問題点は、非常に長い実行時間を要求するという点である。すなわち、Ｈｓｉｅｎ−Ｃｈｅ Ｌｅｅ等の方法では、各色境界の両辺のデータ収集が容易ではないのみならず、色境界単位で処理するため、数多くの色境界が存在する場合には、各々の色境界両辺のデータを収集し、直線近似して比較し、判断する作業を繰り返さなければならず、比較的複雑な段階を有するという短所がある。
【０００９】
また、Ｓｃｈｗａｒｔｚ等が提案している、米国特許第５４９５４２８号（１９９６．２．２７日登録）に開示されている方法は、前記したＨｓｉｅｎ−Ｃｈｅ Ｌｅｅ等の方法とかなり類似した概念を有するものである。すなわち、Ｓｃｈｗａｒｔｚ等の方法は、映像全体の照明の情報に関する度数分布（ｈｉｓｔｏｇｒａｍ）を作成した後、各々の所定のデータの集合から成るクラスターごとに主軸となる直線を求め、各直線に適切な加重値を印加して照明色度を決定するという点において、前記したＨｓｉｅｎ−Ｃｈｅ Ｌｅｅ等の方法と類似した概念を有する。
【００１０】
しかしながら、前記両者の方法は、それらの実行方法において相違点を見出すことができる。すなわち、前記したＳｃｈｗａｒｔｚ等の方法は、処理対象データの確保の点では有利であるが、その解析手法に比較的多くの計算量と比較的大きな複雑度を含むという点で不利なものであり、その一方で前記したＨｓｉｅｎ−Ｃｈｅ Ｌｅｅ等の方法は、処理対象データの確保が一般的に比較的難しいとされる反面解析に対しては比較的容易であるという点で有利である。このように、前記両者の方法は、実用面で互いに一長一短を有するものとなっている。
【００１１】
本発明で用いられる認知光源方式は、映像からの照明色度を数値化して自己発光（ｓｅｌｆ−ｌｕｍｉｎｏｕｓ）領域を選択的に除外して効果的で安定的に照明色度を推定するものである。また、本発明で用いられるハイライト方式は、一定の色の表面から反射される光は表面反射（ｓｕｆａｃｅ ｒｅｆｌｅｃｔｉｏｎ）と本体反射（ｂｏｄｙｒｅｆｌｅｃｔｉｏｎ）との合計で表現することが可能であり、表面反射の分光構成（ｓｐｅｃｔｒａｌ ｃｏｍｐｏｓｉｔｉｏｎ）が照明の分光構成と等しいと仮定するいわゆる「Ｓｈａｆｅｒの二色性反射モデル（ｄｉｃｈｒｏｍａｔｉｃ ｒｅｆｌｅｃｔｉｏｎ ｍｏｄｅｌ）」に基づくものである。
【００１２】
ところで、前記認知光源方式の場合には、概略的な解の範囲を決定する面では安全性が保障されるが、正確性の側面では入力映像の内容（ｃｏｎｔｅｎｔ）に依存する傾向があるという短所を有する。一方、前記ハイライト方式は、前記認知光源方式に比べて入力映像の内容に依存し難く比較的正確な解を提示するという長所を有するが、最終的な解を決定するためには比較的数多くの候補、すなわち、比較的幅広い範囲を有する交差点を考慮しなければならないという短所がある。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は、前記問題点を解決するために創作されたものであり、本発明の目的は、認知光源から推定される比較的安定した照明色度を基盤にしてハイライトの特性を考慮することにより正確度がより高い照明色度推定／変換装置及びその方法を提供することにある。
【課題を解決するための手段】
【００１４】
前記目的を達成するために、本発明の第１の態様は、カラー映像を入力する映像入力部と、入力されたカラー映像からハイライト領域を抽出するハイライト検出部と、前記各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出するハイライト変数計算部と、前記入力されたカラー映像に対して認知光源推定方式により照明色度を推定する認知光源照明色度推定部と、前記幾何学的表現変数中、前記認知光源照明色度推定部により推定された照明色度周囲に位置した所定数の幾何学的表現変数を選択し、選択された幾何学的表現変数を利用して最終照明色度を算出する修正色度計算部とを含む認知光源とハイライトとを利用した照明色度推定装置として構成する。
【００１５】
本発明の第２の態様は、前記第１の態様において、前記認知光源照明色度推定部が、前記入力されたカラー映像からカラー映像の平均値を算出する映像平均計算部と、前記カラー映像の平均値に所定の係数を掛けて自己発光しきい値として設定する自己発光しきい値設定部と、前記カラー映像から前記自己発光しきい値を超過した色度座標値を有する自己発光領域を除去する自己発光領域除去部と、前記自己発光しきい値と直前に生成された自己発光しきい値との差の値が所定の値より大きければ前記映像平均計算部に入力されたカラー映像代わりに自己発光領域が除去されたカラー映像を伝達する自己発光しきい値変更判別部と、自己発光領域が除去されたカラー映像の平均値から認知光源方式による照明色度を算出する照明色度計算部とを備える認知光源とハイライトとを利用した照明色度推定装置として構成する。
【００１６】
前記目的を達成するために、本発明の第３の態様は、任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出する照明色温度計算部と、前記照明色温度計算部により算出された色温度に対応する複数の推定基準カラー値、及び、変更すべき色温度に対応する複数の目標基準カラー値を算出する三刺激値計算部と、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成する変換係数計算部と、入力カラー映像に前記変換行列を適用して照明の色度を変更する照明色度変更部とを含む認知光源とハイライトとを利用した照明色度変換装置として構成する。
【００１７】
本発明の第４の態様は、前記第３の態様において、照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）に各々加えて、前記入力カラー映像のコントラスト（ｃｏｎｔｒａｓｔ）を強調する明るさ変換部をさらに含む認知光源とハイライトとを利用した照明色度変換装置として構成する。
【００１８】
本発明の第５の態様は、前記第３の態様において、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値が、各々マクベス・カラーチェッカー（Ｍａｃｂｅｔｈ Ｃｏｌｏｒ Ｃｈｅｃｋｅｒ）の２４色に対応するＸＹＺ値である認知光源とハイライトとを利用した照明色度変換装置として構成する。
【００１９】
前記目的を達成するために本発明の第６の態様は、下記段階（ａ１）から段階（ｅ１）を含むことを特徴とする認知光源とハイライトとを利用した照明色度推定方法として構成する。
（ａ１）カラー映像を入力する段階。
（ｂ１）入力されたカラー映像からハイライト領域を抽出する段階。
（ｃ１）前記各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出する段階。
（ｄ１）前記入力されたカラー映像に対して認知光源推定方式により照明色度を推定する段階。
（ｅ１）前記幾何学的表現変数中、前記（ｄ１）段階で推定された照明色度周囲に位置した所定数の幾何学的表現変数を選択して、選択された幾何学的表現変数を利用して最終照明色度を算出する段階。
【００２０】
本発明の第７の態様は、前記第６の態様において、前記（ｄ）段階は、下記小段階（ｄ１１）から小段階（ｄ１５）を備える認知光源とハイライトとを利用した照明色度推定方法として構成する。
（ｄ１１）前記入力されたカラー映像からカラー映像の平均値を算出する小段階。
（ｄ１２）前記カラー映像の平均値に所定の係数を掛けた値を自己発光しきい値として設定する小段階。
（ｄ１３）前記カラー映像から前記自己発光しきい値を超過した色度座標値を有する自己発光領域を除去する小段階。
（ｄ１４）前記自己発光しきい値と直前に生成された自己発光しきい値との差の値が所定の値より小さくなるまで、前記入力されたカラー映像を自己発光領域が除去されたカラー映像に変更して、前記（ｄ１１）段階から前記（ｄ１３）段階を繰り返す小段階。
（ｄ１５）自己発光領域が除去されたカラー映像の平均値から前記認知光源方式による照明色度を算出する小段階。
【００２１】
本発明の第８の態様は、前記第６の態様において、前記（ｂ）段階が、前記入力されたカラー映像からカラー映像全体の平均明るさを求めて、前記入力されたカラー映像中、所定の基準明るさより明るい領域をハイライト領域に決定する認知光源とハイライトとを利用した照明色度推定方法として構成する。
【００２２】
本発明の第９の態様は、前記第６の態様において、前記（ｃ）段階が、前記各ハイライト領域を色度座標に投影して、該色度座標上で明るさ変化による色度変化の方向を示す所定数の色度座標を抽出して、抽出された色度座標を基準にする直線変数を算出する認知光源とハイライトとを利用した照明色度推定方法として構成する。
【００２３】
本発明の第１０の態様は、前記第６の態様において、前記（ｅ）段階が、前記直線変数を有する直線中、前記（ｄ）段階で推定された照明色度の周囲に位置する所定数の直線を選択し、選択された直線が形成する交点中、前記（ｄ）段階で推定された照明色度に最も近い交点を利用して最終照明色度を算出する認知光源とハイライトとを利用した照明色度推定方法として構成する。
【００２４】
前記目的を達成するために本発明の第１１の態様は、下記段階（ａ２）から（ｅ２）を含む認知光源とハイライトとを利用した照明色度変換方法として構成する。
（ａ２）任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出する段階。
（ｂ２）算出された色温度に対応する複数の推定基準カラー値を算出する段階。
（ｃ２）変更すべき色温度に対応する複数の目標基準カラー値を算出する段階。
（ｄ）前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成する段階。
（ｅ）入力カラー映像に前記変換行列を適用して照明の色度を変更する段階。
【００２５】
本発明の第１２の態様は、前記第１１の態様において、下記段階（ｆ２）をさらに含む認知光源とハイライトとを利用した照明色度変換方法として構成する。
（ｆ２）照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢに各々加えて、前記入力カラー映像のコントラストを強調する段階。
【００２６】
本発明の第１３の態様は、前記第１１の態様において、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値が、各々マクベス・カラーチェッカーの２４色に対応するＸＹＺ値である認知光源とハイライトとを利用した照明色度変換方法として構成する。
【００２７】
前記目的を達成するために本発明の第１４の態様は、下記モジュール（ａ３）からモジュール（ｅ３）を含む認知光源とハイライトとを利用した照明色度推定プログラムを記録したコンピュータが読める記録媒体として構成する。
（ａ３）カラー映像を入力するモジュール。
（ｂ３）入力されたカラー映像からハイライト領域を抽出するモジュールと、（ｃ３）前記各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出するモジュール。
（ｄ３）前記入力されたカラー映像に対して認知光源推定方式により照明色度を推定するモジュール。
（ｅ３）前記幾何学的表現変数中、前記モジュール（ｄ３）で推定された照明色度周囲に位置した所定数の幾何学的表現変数を選択して、選択された幾何学的表現変数を利用して最終照明色度を算出するモジュール。
【００２８】
本発明の第１５の態様は、前記第１４の態様において、前記モジュール（ｄ３）が、さらに下記モジュール（ｄ３１）からモジュール（ｄ３５）を備える認知光源とハイライトとを利用した照明色度推定プログラムを記録したコンピュータが読める記録媒体として構成する。
（ｄ３１）前記入力されたカラー映像からカラー映像の平均値を算出するモジュール。
（ｄ３２）前記カラー映像の平均値に所定の係数を掛けて自己発光しきい値として設定するモジュール。
（ｄ３３）前記カラー映像から前記自己発光しきい値を超過した色度座標値を有する自己発光領域を除去するモジュール。
（ｄ３４）前記自己発光しきい値と、直前に生成された自己発光しきい値との差の値が所定の値より小さいときまで、前記入力されたカラー映像を、自己発光領域が除去されたカラー映像に変更して、前記モジュール（ｄ３１）からな前記モジュール（ｄ３３）を繰り返すモジュール。
（ｄ３５）自己発光領域が除去されたカラー映像の平均値から前記認知光源方式による照明色度を算出するモジュール。
【００２９】
本発明の第１６の態様は、下記モジュー（ａ４）ルからモジュール（ｅ４）を含む認知光源とハイライトとを利用した照明色度変換プログラムを記録したコンピュータが読める記録媒体として構成する。
（ａ４）任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出するモジュール。
（ｂ４）算出された色温度に対応する複数の推定基準カラー値を算出するモジュール。
（ｃ４）変更すべき色温度に対応する複数の目標基準カラー値を算出するモジュール。
（ｄ４）前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成するモジュール。
（ｅ４）入力カラー映像に前記変換行列を適用して照明の色度を変更するモジュール。
【００３０】
本発明の第１７の態様は、前記第１６の態様において、下記モジュール（ｅ５）をさらに含む認知光源とハイライトとを利用した照明色度変換プログラムを記録したコンピュータが読める記録媒体として構成する。
（ｅ５）照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢに各々加えて、前記入力カラー映像のコントラストを強調するモジュール。
【００３１】
なお、本発明において、「幾何学的表現変数」とは、入力されたカラー映像から抽出されたハイライト領域の各々を色度座標に投影することによって得られた色度座標上に分布する模様の中で特定の関係を表わすパラメータを意味し、例えば該特定の関係が直線関係を有する関数の直線変数である場合には傾斜（傾き）と截片（切片）とを意味するものである。また、本発明で用いられる「マクベス・カラーチェッカー」は、市販の既製品であるマクベス・カラーチェッカー（登録商標）であり、パッチの数が２４色と比較的少なくて済み、かつ市販品であるので、本発明の実行を容易にするものである。そして、本発明において「色温度」とは、固体表面の放射について、本質的にその固体の表面からの放射エネルギと同じスペクトル分布を有する放射エネルギを出している黒体の温度を意味するものである。
【発明の効果】
【００３２】
本発明によれば、人間が視覚的に認識する映像からの照明色度情報を数値化することができ、自己発光領域の選択的な除外を通して効果的で安定的に照明情報を抽出することができる。
【００３３】
また、本発明によれば、映像から直接照明色を得る従来のソフトウェア方法において大きな問題点であった計算時間のさらなる迅速化の要求に応え、映像処理時間の短縮効果とより正確な照明色情報とを両立させることができる。
【００３４】
また、本発明によれば、映像から直接照明色を得る従来のソフトウェア方法において大きな問題点であった計算時間のさらなる迅速化の要求に応え、映像処理時間の短縮効果とより正確な照明色情報とを両立させることができる。
【００３５】
また、本発明によれば、照明色度、及び、映像の明るさ値の変換を通して、種々の異なった意図した視覚的感じを与える映像を形成することができるので、映像の質をより一層向上させる等の特殊な機能を具現化できる。
【図面の簡単な説明】
【００３６】
【図１】認知光源方式による照明色度推定過程を示した一例の流れ図である。
【図２】ハイライト方式による照明色度推定過程を示した一例の流れ図である。
【図３】色度座標上で直線変数を抽出する過程を説明するための図であって、従来方式による直線抽出方法と、本発明で提案された方式による直線抽出方法とを色度座標上で比較して示した図である。
【図４】本発明に係る認知光源とハイライトとを利用した一例の照明色度推定装置の構成を示したブロック図である。
【図５】本発明に係る一例の照明色度変換装置の構成を示したブロック図である。
【発明を実施するための形態】
【００３７】
以下、添付した図面を参照しながら本発明をより詳細に説明する。本発明に用いられる認知光源方式とハイライト方式とは相互補完的な面が強い。このため、まず認知光源方式を用いて最終的な解の概略的な範囲を定め、つぎにこの最終的な解の概略的な範囲に基づいてハイライト方式の初期状態を設定して複数の候補点、及び、分布クラスター抽出する。そして、このようにして抽出された複数の候補点、及び、分布クラスターの特性を考慮してより精密な解を決定することが可能となる。
【００３８】
認知光源を利用した照明色度検出方法は、映像からの照明色度を数値化して自己発光（ｓｅｌｆ−ｌｕｍｉｎｏｕｓ）領域を選択的に排除して効果的で安定的に照明色度を抽出する方法である。人がある場面を眺めるとき、その場面で直感的に感じられるような全体的に感じられる色調があるが、このような全体的に感じられる色調は照明の特性によって異なって現れる。たとえば、白熱燈下では全体的に赤っぽい色調が感じられ、また、日光（ｄａｙｌｉｇｈｔ）下では前記白熱燈に比べて全体的に青っぽい色調が感じられることがある。このように全体的に感じられる色調を数値化する方法が認知光源方式の一つの特徴となっている。
【００３９】
自己発光領域とは、物体表面から光が反射することによって起こる発光領域部分ではなく、照明と一体的に認識される発光領域部分であり、例えば照明で光が通過する穴（ａｐｅｒｔｕｒｅ）、または、照明で生じる鏡面反射（ｓｐｅｃｕｌａｒ
ｒｅｆｌｅｃｔｉｏｎ）等がこれに該当する。認知光源を利用した照明色度検出方法においては、該自己発光領域を効果的に除去することによって推定される照明色度の正確度を高めることができる。
【００４０】
図１は、認知光源方式による照明色度推定過程を一例の流れ図で示したものである。図１によると、認知光源を利用した照明色度検出過程はつぎのようになる。まず、下記式（１−１）、式（１−２）及び式（１−３）によって、入力映像ＲＧＢ（ｉ、ｊ）に対する撮影装備のγ補償を通して線形化された入力映像Ｒ＿Ｌ（ｉ、ｊ）、入力映像Ｇ＿Ｌ（ｉ、ｊ）、入力映像Ｂ＿Ｌ（ｉ、ｊ）を得る（１００段階、１１０段階）。下記式（１−１）、式（１−２）及び式（１−３）中、ｉ及びｊは、各々映像の各画素の座標を示す。なお、以下では、式中の同じ符号はその説明を略すこととする。
【００４１】
【数１】
つぎに、下記式（２）によって、ＲＧＢ座標系の線形化された入力映像Ｒ＿Ｌ（ｉ、ｊ）、入力映像Ｇ＿Ｌ（ｉ、ｊ）、入力映像Ｂ＿Ｌ（ｉ、ｊ）を各々、予め算出された変換行列Ｍを利用してＸＹＺ座標系の映像Ｘ（ｉ、ｊ）、映像Ｙ（ｉ、ｊ）、映像Ｚ（ｉ、ｊ）に変換する（１２０段階）。
【００４２】
【数２】
つぎに、下記式（３−１）、式（３−２）及び式（３−３）によって、前記映像Ｘ（ｉ、ｊ）、映像Ｙ（ｉ、ｊ）、映像Ｚ（ｉ、ｊ）の各々に対する映像平均値Ｘ＿Ａ、映像平均値Ｙ＿Ａ、映像平均値Ｚ＿Ａを算出する（１３０段階）。
【００４３】
【数３】
そして、下記式（４−１）から式（４−３）によって、映像平均値Ｘ＿Ａ、映像平均値Ｙ＿Ａ、映像平均値Ｚ＿Ａの各々に所定の定数ｋを掛けて自己発光しきい値（ｓｅｌｆ−ｌｕｍｉｎｏｕｓ
ｔｈｒｅｓｈｏｌｄ）Ｘ＿ｔｈ、自己発光しきい値Ｙ＿ｔｈ、自己発光しきい値Ｚ＿ｔｈを算出する（１４０段階）。下記式（４―１）、式（４−２）及び式（４−３）中、ｋは実験的に求めることができる定数であり、約３．０近傍の実数値である。
【００４４】
【数４】
つぎに、映像Ｘ（ｉ、ｊ）、映像Ｙ（ｉ、ｊ）、映像Ｚ（ｉ、ｊ）の各々において、自己発光しきい値を超過した画素を除去する（１５０段階）。そして、前記自己発光しきい値をその以前に記録していた自己発光しきい値と比較して（１６０段階）、前記自己発光しきい値とその以前に記録していた自己発光しきい値との差の値が０近傍の所定の値より大きい場合には、超過した画素が除去された映像Ｘ（ｉ、ｊ）、映像Ｙ（ｉ、ｊ）、映像Ｚ（ｉ、ｊ）の各々に対して１３０段階から１５０段階の過程を反復して実行する。また、１６０段階で前記自己発光しきい値とその以前に記録していた自己発光しきい値との差の値が０近傍の所定の値より小さい場合には、１３０段階から１５０段階の過程を実行した後に得られた最終的な映像平均値を各々Ｘ#f、Ｙ#f、Ｚ#fと置いて照明のＸＹＺとして推定するための色度計算に利用する。
【００４５】
すなわち、下記式（５−１）及び式（５−２）によって得られるＩｌｌｕ＿ｘ、Ｉｌｌｕ＿ｙを該場面の照明色度として決定する（１７０段階）。
【００４６】
【数５】
一方、ハイライトを利用する照明色度検出方法は、一定の色を有する表面から反射される光を表面反射と本体反射との合計で表現することが可能であり、表面反射の分光構成が照明の分光構成と等しいと仮定するＳｈａｆｅｒの二色性反射モデルに基づくものである。すなわち、同一の表面における他の点の色度座標ＣＩＥ（ｘ、ｙ）は、色度図で表面反射によって決定される照明色と本体反射によって決定される本体色とを連結した直線状に置かれるようになる。これは表面反射成分が単純に本体反射成分の色飽和度（ｓａｔｕｒａｔｉｏｎ）を弱めるように寄与することを意味している。また、測色的（ｃｈｒｏｍｅｔｒｉｃａｌｌｙ）には、同一の表面の色は、純度は異なるが照明色に対して同一の主波長を有するものであることが知られている。このような点の経路は、照明色度に関して放射状に置かれる傾向がある直線状に形成される。二つの相異なる分光反射特性を有する表面が与えられれば、二つの直線は唯一つの交点を有するため、この交点から照明色度を決定することができる。
【００４７】
図２は、ハイライト方式による照明色度推定過程を一例の流れ図で示したものである。図２に示されるハイライトを利用する照明色度検出過程はつぎのようになる。入力映像Ｒ（ｉ、ｊ）、入力映像Ｇ（ｉ、ｊ）、入力映像Ｂ（ｉ、ｊ）の各々でハイライト候補領域を選択する（２００、２１０段階）。選択基準は、下記式（６−１）、式（６−２）及び式（６−３）によって、該画素の明るさ（ｉｎｔｅｎｓｉｔｙ）が映像全体平均明るさ値の定数倍となるように定める。ここでは、定数値は２．７として設定されたが、その値は固定されるものではなく入力映像の特性によって適宜に設定することができる。
【００４８】
【数６】
なお、映像の違いによって絶対的な明るさ値の変動幅が比較的大きくなる場合があるので、該絶対的な明るさ値を基準に用いることは好ましくない。
【００４９】
つぎに、抽出された候補領域に対する直線変数（ｌｉｎｅ ｐａｒａｍｅｔｅｒ）である傾斜（傾き）と截片（切片）とを算出する（２２０段階）。従来の直線変数の抽出方法は、色度座標上に投影された該領域の色度分布中、長軸を基準に直線を構成して傾斜（傾き）と截片（切片）とから成る直線変数を算出するものである。このような従来の直線変数の抽出方法では、対象候補領域が的確に選択された場合には比較的正確な前記直線変数の結果を得ることができるものの、対象候補領域を的確に抽出することは非常に難しいという問題がある。したがって以下では、対象候補領域がたとえ的確に抽出されない状況であっても、比較的正確に前記直線変数を抽出する方法について記述することとする。
【００５０】
まず、対象候補領域のあらゆるＸ（ｉ、ｊ）、Ｙ（ｉ、ｊ）、Ｚ（ｉ、ｊ）を各々正規化して色度座標ｘｙ（ｉ、ｊ）を算出する。本発明で提案する直線変数を抽出する方式では、色度座標ｘｙ（ｉ、ｊ）と明るさ情報であるＹ（ｉ、ｊ）を入力に用いる。すなわち、ｘｙ（ｉ、ｊ）―Ｙ（ｉ、ｊ）の対をＹ（ｉ、ｊ）を基準として昇順で整列を実行する。そして、最も暗い部分から明るい部分まで移動窓平均（ｍｏｖｉｎｇ ｗｉｎｄｏｗ
ａｖｅｒａｇｅ）値を算出する。一般に、対象候補領域に含まれる画素数は１００個を上回るため、窓の大きさは２０サンプル程度に設定すると都合がよい。また、色度座標の分布上で明るさ変化による色度変化の方向を推定することは重要である。すなわち、直線方向の色度変化が比較的強い色度座標を４〜５個程度抽出し、これに基づいて直線変数を抽出することができる。
【００５１】
図３は、従来方式による直線抽出方法と、本発明で提案された方式による直線抽出方法とを色度座標上で比較して示したものである。図３に示すように、あらゆる候補領域に対する直線変数の集合を利用して、各直線の交点を算出してｃ（ｘ、ｙ）に置く（２３０段階）。このように求めた交点の集合に対して最も代表的な交点を選択する（２４０段階）。
【００５２】
その際、前記最も代表的な交点を求めるための従来の方法は、度数分布（ｈｉｓｔｏｇｒａｍ）を利用する。ところで、この方法によると、交点のサンプル精密度が高い場合、複数の磁気テープが一つの框体の中に格納されている磁気テープ記憶装置から成るビン（ｂｉｎ）を非常に小さく分けることが好ましいので、処理するのが非常に難しくなるという問題点がある。したがって、本発明ではこのような問題点を解決するために次のような方式を用いることとする。
【００５３】
一つの交点はｘとｙの二つの座標値を有する構造から成っている。このような交点の集合に対して、まずｘ値を基準にして昇順で整列を実行する。ｘ値を整列させるときには、ｙ値自体は意味がない。以上のようにしてｘ値を整列させると、比較的緩慢な３次曲線に近いｘの集合（以下「３次曲線」という）が得られる。その際、該３次曲線のほぼ中央部分に位置する最も平らな領域が、最も代表的な交点を有する区間となる。本発明では該交点のｘ座標の値を３次関数でフィッティング（ｆｉｔｔｉｎｇ）させた後、該３次曲線の変曲点のｘ値を、最も代表的な交点であるｘ値として選択する。このようにして選択された最も代表的な交点であるｘ値を中心として、該ｘ値の近傍で所定量のサンプルを含むようなｘの区間を設定する。このように設定されたｘの区間内に存在するｙ値に対しても、前記したようにｘ値に対して行った方法と同様にして、比較的緩慢な３次曲線に近いｙの集合である３次曲線を３次関数でフィッティングさせて最も代表的な交点であるｙ値を求めることができる。
【００５４】
前記したｘ値に対して行った方法は、色度分布がかなり集まっており比較的高い精密度が要求される場合、前記した従来の方法である度数分布の形態で処理する際により効果的で、度数分布のビン（ｂｉｎ）の大きさが比較的小さいことに起因して精密度が低下するという問題点を解決することができる。前記した方法で、最も代表的な交点を選択する際に、３次関数にフィッティングした前記３次曲線の変曲点から選択することもでき、前記交点の集合で該変曲点に最も近い交点を選択することもできる。そして、以上のようにして求めた代表的な交点であるｘ、ｙを照明の色度として出力する（２５０段階）。
【００５５】
本発明に係る認知光源とハイライトとを利用した照明色度推定方式は、任意のカラー映像から照明色度を推定することに利用され、認知光源とハイライトとを結合して構成した組合せ方式として、認知光源から推定される比較的安定した照明色度を基盤とし、かつハイライトの特性を考慮して精密度を一層向上させた方式である。
【００５６】
認知光源方式の場合には、概略的な解の範囲を決定する側面では充分な安全性が保障されるが、正確性の側面では入力映像の内容に依存する傾向があるという短所がある。一方、ハイライト方式の場合には、入力映像の内容の依存性が比較的低く、より正確な解を提示することができるという長所を有するが、最終的な解を決定するために種々の候補（比較的幅広い範囲を有する交点）を考慮する必要があるために比較的長い実行時間を要するという短所がある。これらの２種類の方式は、相互に補完的な面が強いので、本発明にあってはこれら２種類の方式の各々の長所を活用して各々の短所を補うことによってより迅速かつより精度の高い解を決定するものである。すなわち、まず認知光源方式によって最終的な解の概略的な範囲を定め、つぎにこの最終的な解の概略的な範囲に基づいてハイライト方式の初期状態を設定し、その結果抽出された種々の候補点、及び、色度分布の形態特性を考慮してより精密な解を迅速に決定することができるということが本発明の主な概念である。
【００５７】
図４は、本発明に係る認知光源とハイライトとを利用した一例の照明色度推定装置の構成を示したブロック図である。図４によると、本発明に係る認知光源とハイライトとを利用した一例の照明色度推定装置は、映像入力部４０、ハイライト検出部４１、ハイライト変数計算部４２、認知光源照明色度推定部４３、及び、修正色度計算部４４を含んで成る。
【００５８】
映像入力部４０は、一般的なカラー映像を入力する装置として、必要に応じて図１に示す１１０段階、及び、１２０段階のγ補償機能、及び、ＲＧＢ-ＸＹＺ色座標変換機能を適宜に備えることができる。ハイライト検出部４１は、入力されたカラー映像からハイライト領域を抽出して、図２に示す２１０段階に対応する機能を実行する。ハイライト変数計算部４２は、ハイライト検出部４１によって抽出された各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出する。
【００５９】
本発明の望ましい一実施形態では、幾何学的表現変数は直線関係を有する関数の直線変数である傾斜（傾き）と截片（切片）とを意味し、図４に示すハイライト変数計算部４２は図２に示す２２０段階に対応する機能を実行するものである。認知光源照明色度推定部４３は、入力されたカラー映像に対して認知光源推定方式により照明色度を推定するものである。この認知光源照明色度推定部４３について、以下でさらに詳細に説明する。
【００６０】
修正色度計算部４４は、直線変数中認知光源照明色度推定部４３によって推定された照明色度（ｐｘ、ｐｙ）の周囲に位置する３本の直線を選択する。そして、このようにして選択された３本の直線の交点を算出し、認知光源照明色度推定部４３によって推定された照明色度（ｐｘ、ｐｙ）に最も近い交点を最終照明色度として決定する。なお、本発明で選択された直線の本数は、ここで説明したように３本のみに限定されるものではない。たとえば、本発明に係る他の実施形態の修正色度計算部４４は、３本の直線でなく４本または５本の直線、あるいはそれ以上の本数の直線を選択することもできる。また、本発明の一実施形態では、選択された３本の直線が形成する交点の中から照明色度（ｐｘ、ｐｙ）に最も近い交点を最終照明色度として決定しているが、さらに他の実施形態では３本の直線が形成する交点の平均によって決定したり、あるいは、これと均等な他の方式を用いたりすることも本発明の領域に含まれる。
【００６１】
一方、認知光源照明色度推定部４３は、映像平均計算部４３ａ、自己発光しきい値設定部４３ｂ、自己発光領域除去部４３ｃ、自己発光しきい値変更判別部４３ｄ、及び、照明色度計算部４３ｅを備えて成る。
【００６２】
映像平均計算部４３ａは、映像入力部４０から入力されたカラー映像を受けたり、あるいは、自己発光しきい値変更判別部４３ｄから自己発光領域が除去されたカラー映像を受けてカラー映像の平均値を算出し、図１の１３０段階の機能に対応したりする。自己発光しきい値設定部４３ｂは、カラー映像の平均値に所定の係数を掛けて自己発光しきい値として設定する図１に示す１４０段階に対応する機能を実行する。自己発光領域除去部４３ｃは、カラー映像で自己発光しきい値を超過した色度座標値を有する自己発光領域の画素を除去する。
【００６３】
自己発光しきい値変更判別部４３ｄは、自己発光しきい値と直前に生成された自己発光しきい値との差の値が０近傍の所定の値より大きい場合には、自己発光領域が排除されたカラー映像を映像平均計算部４３ａに伝達する。前記差の値が０近傍の所定の値より小さい場合には、自己発光しきい値変更判別部４３ｄはそのときまでの自己発光領域が排除された映像を照明色度計算部４３ｅに伝達する。照明色度計算部４３ｅは、自己発光領域が除去されたカラー映像の平均値から認知光源方式によって照明色度を最終的に算出し、図１に示す１７０段階と対応する機能を実行する。
【００６４】
つぎに、本発明に係る認知光源とハイライトとを利用した照明色度推定過程を詳細に説明する。まず、カラー映像を入力し、入力されたカラー映像からハイライト領域を抽出する。すなわち、入力されたカラー映像からカラー映像全体の平均明るさを求めて、前記入力されたカラー映像中、所定の基準明るさより明るい領域をハイライト領域として決定する。その際、所定の基準明るさは、前記式（６−１）、式（６−２）及び式（６−３）を用いて算出する。
【００６５】
つぎに、各ハイライト領域を色度座標に投影して、色度座標上で明るさ変化による色度変化の方向を示す所定数の色度座標を抽出して、抽出された色度座標を基準とした直線変数を算出する。
【００６６】
一方、入力されたカラー映像に対して、認知光源推定方式によって照明色度を推定する。この過程は次のようにして実行される。まず、入力されたカラー映像からカラー映像の平均値を式（３−１）、式（３−２）及び式（３−３）を用いて算出する。さらに、式（４−１）、式（４−２）及び式（４−４）を用いて算出されたカラー映像の平均値に所定の係数を掛けて自己発光しきい値で設定する。
【００６７】
つぎに、カラー映像から前記自己発光しきい値を超過した色度座標値を有する自己発光領域を排除し、自己発光しきい値と直前に生成された自己発光しきい値との差の値が所定の値より小さくなるまで、前記入力されたカラー映像を、自己発光領域が排除されたカラー映像に変更するように、カラー映像の平均値計算過程以下（図４に示す４３ａから４３ｄ）を繰り返す。自己発光しきい値と直前に生成された自己発光しきい値との差の値が所定の値より小さければ、自己発光領域が排除されたカラー映像の平均値から認知光源方式によって推定された照明色度を式（５−１）及び式（５−２）を用いて算出する。
【００６８】
以後、前記直線変数を有する直線の中で、認知光源方式による照明色度の周囲に位置する３本の直線を選択し、選択された３本の直線が形成する交点中、認知光源方式によって推定された照明色度に最も近い交点を最終照明色度で決定する。ここでは３本の直線を選択する例について説明したが、本発明はこの例に限定されるものではなく、他の実施形態では４本または５本、あるいはそれ以上の本数の直線を選択することも可能である。
【００６９】
また、ここでは、選択された３本の直線が形成する交点の中から認知光源方式によって推定された照明色度に最も近い交点を最終照明色度として決定している例について説明したが、本発明はこのような最終照明色度の決定方法のみに限定されるものではなく、このほかに、３本の直線が形成する交点の平均により決定したり、あるいはこれと均等な他の方式を用いたりすることも本発明の領域に含まれる。
【００７０】
つぎに、本発明に係る認知光源とハイライトとの組合せ方式について、認知光源のみを利用した方式、及び、ハイライトのみを利用した方式の各々を、表を参照しながら比較して検討する。前記したような方法によって光源推定性能を評価した評価データを表１、表２及び表３に示す。表１は認知光源のみを利用した照明色度検出方法によるものであり、表２はハイライトのみを利用した照明色度検出方法によるものであり、表３は本発明に係る認知光源とハイライトとの組合せ方式を利用した照明色度検出方法によるものである。なお、ここでは、日常生活で用いられるような照明成分を概略すべて含む標準光源の代表的なものとして、ＨＲＺ（Ｈｏｒｉｚｏｎ）、ＩＮＣ（Ｉｎｃａｎｄｅｓｃｅｎｔ）、ＣＬＷ（Ｃｏｏｌ
Ｗｈｉｔｅ）、Ｄ５０（日光５０００Ｋ）、Ｄ６０（日光６０００Ｋ）、Ｄ６５（日光６５００Ｋ）及びＤ７５（日光７５００Ｋ）を用い、これらの標準光源に対して各々同一の構造を有する物体の集合体を撮影した映像を入力に用いた。
【００７１】
【表１】
表１、表２及び表３に示す通り、ＨＲＺ（Ｈｏｒｉｚｏｎ）、ＩＮＣ（Ｉｎｃａｎｄｅｓｃｅｎｔ）、ＣＬＷ（Ｃｏｏｌ Ｗｈｉｔｅ）、Ｄ５０（日光５０００Ｋ）、Ｄ６０（日光６０００Ｋ）、Ｄ６５（日光６５００Ｋ）及びＤ７５（日光７５００Ｋ）のいずれの標準光源においても、本発明に係る本発明に係る認知光源とハイライトとの組合せ方式を利用した照明色度検出方法（表３参照）は、認知光源のみを利用した照明色度検出方法（表１参照）、及びハイライトのみを利用した照明色度検出方法（表２参照）に比べて、誤差（距離＿ｘｙ／０．４５６×１００［％］）が同等以下であり、かつその平均誤差はより小さなものとなっていることが分かる。
【００７２】
つぎに、認知光源方式のみでの実験室外部撮影を行った結果と本発明に係る認知光源とハイライトとを組み合わせた統合方式での実験室外部撮影を行った結果の両方の結果に対して光源推定性能を全体誤差［％］で評価し前記両者の方式について比較するとともに、認知光源方式のみでの実験室外部撮影を行った結果と本発明に係る認知光源とハイライトとを組み合わせた統合方式での実験室外部撮影を行った結果の両方の結果に対して光源推定性能を色温度［Ｋ］で評価し前記両者の方式について比較した。表４及び表５に、前記した各々の比較結果を示す。なお、表４及び表５において、Ｈはハロゲン（Ｈａｌｏｇｅｎ）、Ｆは蛍光（Ｆｌｕｏｒｅｓｃｅｎｔ）、Ｄは日光（Ｄａｙｌｉｇｈｔ）を示す。また、第１グループは場面の代表照明測定が可能な場合、第２グループは場面の照明を人が概略的に推定できるが正確な測定ができない場合、第３グループは複合照明で代表照明を選定するのが難しい場合を示す。
【００７３】
【表２】
表４及び表５に示すように、いずれも本発明に係る認知光源とハイライトとを組み合わせた統合方式の方が認知光源方式のみの方式に比べて全体誤差が低く抑えられていることが分かる。
【００７４】
つぎに、照明色度変換装置について詳細に説明する。元の映像から抽出された照明の色度を活用して照明の色度を変換する方法には、元の照明の色度を利用して補償された物体の物質色を表現する方法、及び、元の映像から抽出された照明の色度を利用して該映像の照明の色度を変更することによって新しい照明の感じを表現する方法等がある。
【００７５】
このような照明の色度の変換方法が最も効果的に活用される分野である映像の照明色度変換分野では、元の映像から抽出された照明の色度と所望の照明条件に変換すべき照明の情報とを利用して元の映像の照明色度の変換が実行される。映像の照明の色度を変換する方法には、照明の色度のみを変更する場合及び色度の変更に加えて明るさの情報を変更する場合等がある。前者の場合は、映像の全体的な色調のみを変更するものであり、後者の場合は色調のみならず明るさ値の範囲も変更するので元の映像とは異なった感じの映像を形成することができる。
【００７６】
映像の照明の色度としての（ｘ、y）値のみに基づいて照明色度の変換を実行する場合があるが、このような場合には単純な白色調節（ｗｈｉｔｅ
ｂａｌａｎｃｅ）の効果のみしか得られないため、このような方式で色度の変換を行った映像の色調は通常、全体的に不自然な色調を有するものとなり易い。
【００７７】
図５は、本発明に係る第１の実施形態における照明色度変換装置の構成を示すブロック図である。図５に示す本発明に係る色度変換装置は、照明色温度計算部５０、三刺激値計算部５１、変換係数計算部５２、及び、照明色度変更部５３を含んで成る。
【００７８】
照明色温度計算部５０は、任意の入力カラー映像の推定された照明の色度に対応する色温度を算出する。三刺激値計算部５１は、照明色温度計算部５０によって算出された色温度に対応する複数の推定基準カラー値、及び、変更すべき目標色温度に対応する複数の目標基準カラー値を算出する。その際、複数の目標基準カラー値、及び、複数の推定基準カラー値は各々マクベス・カラーチェッカー（Ｍａｃｂｅｔｈ
Ｃｏｌｏｒ Ｃｈｅｃｋｅｒ：ＭＣＣ）の２４個のパッチに該当するＸＹＺ値であることが望ましい。変換係数計算部５２は、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成する。照明色度変更部５３は、該入力カラー映像に前記変換行列を適用して照明の色度を変更する。
【００７９】
本発明に係る第２の実施の形態における照明色度変換装置は、明るさ変換部５４をさらに含んで成る。明るさ変換部５４は、照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセット（ｓｈｉｆｔ
ｏｆｆｓｅｔ）量を算出して、前記照明の色度が変更された入力カラー映像のＲＧＢにシフトオフセット量を各々加えて、前記入力カラー映像のコントラストを適宜に強調する。
【００８０】
元の映像から抽出された照明の色度より算出された任意の色温度を日光の色温度に相当する６５００Ｋの色温度として元の映像の色調を変化させた後、さらに明るさ値を適宜に変換することによって、たとえ人工的照明の下で撮影された映像であっても、あたかも真昼の陽光下で撮影した映像のように見せるような効果を得ることができる。このような処理は、いわゆる「日光変換」と称されているものであり、明るさ値の変換は直流成分の増加と濃度範囲（ｄｙｎａｍｉｃｒａｎｇｅ：ダイナミックレンジ）の増加とによって行われる。
【００８１】
前記直流成分の増加は、ＲＧＢの各値に所定の定数を加えることによって、全体的な明るさ値を増やすものであり、前記濃度範囲の増加はコントラスト（ｃｏｎｔｒａｓｔ）の強調を意味するものである。これら２種類の照明色度変換のパラメータを適宜に調整することによって、任意の照明の下で撮影された映像が、たとえ人工的照明の下で撮影された映像であっても、さながら日光の下で撮影されたように見せる効果を得ることができるようになる。
【００８２】
その際、変換すべき環境に対応したシフトオフセット量、及び、コントラスト値を得るための計算式は、実験的に決定することができる。以下に示す実験の例は、６名が参画し、３５枚の種々の映像を用いた実験によって計算式を決定したものである。
【００８３】
まず、明るさ変化（ｉｎｔｅｎｓｉｔｙ ｓｈｉｆｔ）で映像の平均ＲＧＢから算出された平均明るさ（Ｉ＿ａｖｇ＝０．３×Ｒ＋０．６×Ｇ＋０．１×Ｂ）とシフトオフセット（ｓｈｉｆｔ ｏｆｆｓｅｔ）量との関係は、つぎのように表わすことができる。
【００８４】
日光の明るさに変換する場合：ｓｈｉｆｔ ｏｆｆｓｅｔ＝−０．２６０４２×Ｉ＿ａｖｇ＋５０．３１２５夕陽の明るさに変換する場合：ｓｈｉｆｔ ｏｆｆｓｅｔ＝−０．２０８３×Ｉ＿ａｖｇ＋１１．２５
つぎに、コントラストの調整（ｃｏｎｔｒａｓｔ ａｄｊｕｓｔｍｅｎｔ）は、例えば次のようにして決定される。
【００８５】
日光の明るさに変換する場合：コントラストを１０％強調する場合が最も効果的である。
夕陽の明るさに変換する場合：ほぼすべてのデータについてコントラストの強調は０％でよい。すなわち、この実験の場合には、コントラストの強調は事実上意味が無いものである。
【００８６】
本実験結果を他の映像に適用したところ、所望とする日光変換効果が得られることが確認できた。なお、本実験においては、前記したような映像の明るさ及び／またはコントラストの近似化を行う作業を実施する際、日光の明るさ及び／またはコントラストに変換した場合に一部の映像に対して若干不自然さを伴う変換の形態が観察された。
【００８７】
本実験において、前記した映像の明るさの近似化を行った際、充分に満足すべき明るさの変換が実現できなかった場合に、明るさ値のシフトオフセット量を一定値に定めて明るさを変換する方法を採用すればこのような不自然な映像色度変換の形態を解消することが可能であることが判明した。すなわち、元の映像の明るさ値のシフトオフセット量を、明るさ値に関係なく所定の値（例えば、１０）程度増やす方法、または、明るさ値の関数の値によって増やす方法の２種類の方法があり、これら２種類の方法を映像の種類に応じて適宜に使用することによってより自然な映像色度変換の形態を得ることができた。
【００８８】
また本実験において、映像のコントラストの近似化を行った際、充分に満足すべきコントラストの変換が実現できなかった場合に、現在設定されているコントラストの１０％程度の範囲内でコントラストを調整することが好ましいと判断された。
【００８９】
前記したように明るさ値のシフトオフセット量を明るさ値に関係なく、所定の値（例えば、１０）程度増やす場合には、大部分の映像に対してほぼ同一の安定した結果が得られた。すなわち、この方法によれば、より簡便になり、かつ明るさ値に関連した変数計算がないことによって、処理時間をより短くすることができる。
【００９０】
前記した実験において、前記映像の明るさ及びコントラストの近似化を行う作業に参画した６名の人に対して視覚的検査（ｖｉｓｕａｌ
ｔｅｓｔ）が行われた場合に、もしもその視覚的検査の結果にかなり大きな偏差が存在するとすれば、必然的に当該作業の結果に個人差が発生し、得られた映像の色調に比較的大きなばらつきが生じる場合が起こり得る。そのような場合には、当該作業における個人差を抑制するために、元の映像の明るさ値に対するシフトオフセット量を一定量に設定して増減させる方法が比較的効果的である。
【００９１】
前記した実験において夕陽の明るさに変換する場合には、明るさ値の関数の値によって処理された映像で、特段、不自然な結果は観察されないことが判明した。したがって、明るさ値の関数の値を適用することも可能である。
【００９２】
なお、図４に示される本発明に係る照明色度推定装置、及び、図５に示される本発明に係る照明色度変換装置に備わる各々の機能ブロックは、ハードウェア的に構成されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で具現化することができ、また汎用コンピュータ、及び、そこで動作するソフトウェアの結合で具現化されることも可能であるということを本発明の技術分野で通常の知識を有する者ならば容易に分かることである。
【００９３】
一方、上述した本発明の第１及び第２の実施形態では、コンピュータで実行できるプログラムによって実行することが可能である。そして、コンピュータで用いられる媒体を利用して前記プログラムを動作させる汎用ディジタルコンピューターで具現化できる。前記媒体としては、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク等）、光学的判読媒体（例えば、ＣＤＲＯＭ、ＤＶＤ等）、及び、搬送波（例えば、インターネットを通した伝送）のような記録媒体を含む。
【００９４】
記録媒体としては、カラー映像を入力するモジュールと、入力されたカラー映像からハイライト領域を抽出するモジュールと、前記各ハイライト領域を色度座標に投影して色度座標上に分布する模様に対する幾何学的表現変数を算出するモジュールと、前記入力されたカラー映像に対して認知光源推定方式によって照明色度を推定するモジュールと、前記幾何学的表現変数中で推定された照明色度の周囲に位置する所定数の幾何学的表現変数を選択して選択された幾何学的表現変数を利用して最終照明色度を算出するモジュールとをコンピュータで実行することが可能なプログラムコードで記録することが望ましい。
【００９５】
そして、前記認知光源推定方式により照明色度を推定するモジュールは、前記入力されたカラー映像からカラー映像の平均値を算出するモジュールと、前記カラー映像の平均値に所定の係数を掛けて自己発光しきい値として設定するモジュールと、前記カラー映像から前記自己発光しきい値を超過した色度座標値を有する自己発光領域を除去するモジュールと、前記自己発光しきい値と直前に生成された自己発光しきい値との差の値が所定の値より小さくなるまで前記入力されたカラー映像を自己発光領域が排除されたカラー映像に変更して、前記カラー映像の平均値を算出するモジュールから前記自己発光領域を除去するモジュールまでを適宜に繰り返すモジュールと、自己発光領域が排除されたカラー映像の平均値から前記認知光源方式による照明色度を算出するモジュールを実行するプログラムコードを含むことが好ましい。
【００９６】
また、記録媒体は、任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出するモジュールと、算出された色温度に対応する複数の推定基準カラー値を算出するモジュールと、変更すべき色温度に対応する複数の目標基準カラー値を算出するモジュールと、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成するモジュールと、入力カラー映像に前記変換行列を適用して照明の色度を変更するモジュールとをコンピュータで実行できるプログラムコードで記録すると都合がよい。
【００９７】
前記記録媒体は、照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢに各々加えて、前記入力カラー映像のコントラストを強調するモジュールをコンピュータで実行できるプログラムコードでさらに記録することができる。以上のような本発明を具現するための機能的なモジュールは本発明が属する技術分野で平均的知識を有するプログラマーによって容易に実施することができる。
【符号の説明】
【００９８】
４０ 映像入力部
４１ ハイライト検出部
４２ ハイライト変数計算部
４３ 認知光源照明色度推定部
４３ａ 映像平均計算部
４３ｂ 自己発光しきい値設定部
４３ｃ 自己発光領域除去部
４３ｄ 自己発光しきい値変更判別部
４３ｅ 照明色度計算部
４４ 修正色度計算部
【特許請求の範囲】
【請求項１】
任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出する照明色温度計算部と、前記照明色温度計算部により算出された色温度に対応する複数の推定基準カラー値、及び、変更しようとする色温度に対応する複数の目標基準カラー値を算出する三刺激値計算部と、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用し、変換係数を算出して変換行列を生成する変換係数計算部と、入力カラー映像に前記変換行列を適用して照明の色度を変更する照明色度変更部と、を含むことを特徴とする認知光源とハイライトとを利用した照明色度変換装置。
【請求項２】
照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換しようとする環境に対応したシフトオフセット（ｓｈｉｆｔ ｏｆｆｓｅｔ）を算出して、前記入力カラー映像のＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）に各々加えて、前記入力カラー映像のコントラスト（ｃｏｎｔｒａｓｔ）を強調する明るさ変換部、をさらに含むことを特徴とする請求項１に記載の認知光源とハイライトとを利用した照明色度変換装置。
【請求項３】
前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値は、各々マクベス・カラーチェッカー（Ｍａｃｂｅｔｈ Ｃｏｌｏｒ Ｃｈｅｃｋｅｒ）の２４色に対応するＸＹＺ値であることを特徴とする請求項１に記載の認知光源とハイライトとを利用した照明色度変換装置。
【請求項４】
下記段階（ａ２）から段階（ｅ２）を含むことを特徴とする認知光源とハイライトとを利用した照明色度変換方法。
（ａ２）任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出する段階。
（ｂ２）算出された色温度に対応する複数の推定基準カラー値を算出する段階。
（ｃ２）変更すべき色温度に対応する複数の目標基準カラー値を算出する段階。
（ｄ２）前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成する段階。
（ｅ２）入力カラー映像に前記変換行列を適用して照明の色度を変更する段階。
【請求項５】
下記段階（ｆ２）をさらに含むことを特徴とする請求項４に記載の認知光源とハイライトとを利用した照明色度変換方法。
（ｆ２）照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢに各々加えて、前記入力カラー映像のコントラストを強調する段階。
【請求項６】
前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値は、各々マクベス・カラーチェッカーの２４色に対応するＸＹＺ値であることを特徴とする請求項４に記載の認知光源とハイライトとを利用した照明色度変換方法。
【請求項７】
下記モジュール（ａ４）からモジュール（ｅ４）を含むことを特徴とする認知光源とハイライトとを利用した照明色度変換プログラムを記録したコンピュータが読める記録媒体。
（ａ４）任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出するモジュール。
（ｂ４）算出された色温度に対応する複数の推定基準カラー値を算出するモジュール。
（ｃ４）変更すべき色温度に対応する複数の目標基準カラー値を算出するモジュール。
（ｄ４）前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成するモジュール。
（ｅ４）入力カラー映像に前記変換行列を適用して照明の色度を変更するモジュール。
【請求項８】
下記モジュール（ｅ５）をさらに含むことを特徴とする請求項７に記載の認知光源とハイライトとを利用した照明色度変換プログラムを記録したコンピュータが読める記録媒体。
（ｅ５）照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢに各々加えて、前記入力カラー映像のコントラストを強調するモジュール。
【請求項１】
任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出する照明色温度計算部と、前記照明色温度計算部により算出された色温度に対応する複数の推定基準カラー値、及び、変更しようとする色温度に対応する複数の目標基準カラー値を算出する三刺激値計算部と、前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用し、変換係数を算出して変換行列を生成する変換係数計算部と、入力カラー映像に前記変換行列を適用して照明の色度を変更する照明色度変更部と、を含むことを特徴とする認知光源とハイライトとを利用した照明色度変換装置。
【請求項２】
照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換しようとする環境に対応したシフトオフセット（ｓｈｉｆｔ ｏｆｆｓｅｔ）を算出して、前記入力カラー映像のＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）に各々加えて、前記入力カラー映像のコントラスト（ｃｏｎｔｒａｓｔ）を強調する明るさ変換部、をさらに含むことを特徴とする請求項１に記載の認知光源とハイライトとを利用した照明色度変換装置。
【請求項３】
前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値は、各々マクベス・カラーチェッカー（Ｍａｃｂｅｔｈ Ｃｏｌｏｒ Ｃｈｅｃｋｅｒ）の２４色に対応するＸＹＺ値であることを特徴とする請求項１に記載の認知光源とハイライトとを利用した照明色度変換装置。
【請求項４】
下記段階（ａ２）から段階（ｅ２）を含むことを特徴とする認知光源とハイライトとを利用した照明色度変換方法。
（ａ２）任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出する段階。
（ｂ２）算出された色温度に対応する複数の推定基準カラー値を算出する段階。
（ｃ２）変更すべき色温度に対応する複数の目標基準カラー値を算出する段階。
（ｄ２）前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成する段階。
（ｅ２）入力カラー映像に前記変換行列を適用して照明の色度を変更する段階。
【請求項５】
下記段階（ｆ２）をさらに含むことを特徴とする請求項４に記載の認知光源とハイライトとを利用した照明色度変換方法。
（ｆ２）照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢに各々加えて、前記入力カラー映像のコントラストを強調する段階。
【請求項６】
前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値は、各々マクベス・カラーチェッカーの２４色に対応するＸＹＺ値であることを特徴とする請求項４に記載の認知光源とハイライトとを利用した照明色度変換方法。
【請求項７】
下記モジュール（ａ４）からモジュール（ｅ４）を含むことを特徴とする認知光源とハイライトとを利用した照明色度変換プログラムを記録したコンピュータが読める記録媒体。
（ａ４）任意の入力カラー映像に対して推定された照明色度に対応する色温度を算出するモジュール。
（ｂ４）算出された色温度に対応する複数の推定基準カラー値を算出するモジュール。
（ｃ４）変更すべき色温度に対応する複数の目標基準カラー値を算出するモジュール。
（ｄ４）前記複数の推定基準カラー値、及び、前記複数の目標基準カラー値を利用して変換係数を算出して変換行列を生成するモジュール。
（ｅ４）入力カラー映像に前記変換行列を適用して照明の色度を変更するモジュール。
【請求項８】
下記モジュール（ｅ５）をさらに含むことを特徴とする請求項７に記載の認知光源とハイライトとを利用した照明色度変換プログラムを記録したコンピュータが読める記録媒体。
（ｅ５）照明の色度が変更された入力カラー映像の平均明るさ値、及び、変換すべき環境に対応したシフトオフセットを算出して、前記入力カラー映像のＲＧＢに各々加えて、前記入力カラー映像のコントラストを強調するモジュール。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−１５２９０１（Ｐ２０１０−１５２９０１Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２０１０−１０４１０（Ｐ２０１０−１０４１０）
【出願日】平成２２年１月２０日（２０１０．１．２０）
【分割の表示】特願２０００−２２８２５３（Ｐ２０００−２２８２５３）の分割
【原出願日】平成１２年７月２８日（２０００．７．２８）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】ＳＡＭＳＵＮＧ ＥＬＥＣＴＲＯＮＩＣＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ ４４２−７４２（ＫＲ）
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２２年１月２０日（２０１０．１．２０）
【分割の表示】特願２０００−２２８２５３（Ｐ２０００−２２８２５３）の分割
【原出願日】平成１２年７月２８日（２０００．７．２８）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】ＳＡＭＳＵＮＧ ＥＬＥＣＴＲＯＮＩＣＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ ４４２−７４２（ＫＲ）
【Ｆターム（参考）】
[ Back to top ]