画像の照明検出
【課題】画像における照明を分割するための方法を提供する。
【解決手段】好ましくは２個又は３個であるｍ個の光源を有する画像は、例えばフィルタ処理済の画像とフィルタ未処理の画像とである相異なるフィルタリングを有するペアをなす画像を取得し、事前に計算されたｍ個のマッピングからなる集合をピクセルレベル又は領域レベルで画像ペアに適用し、最適なものを選択することによって、それぞれがｍ個の光源の１つのみによって照らされる相異なる領域に分割される。画像の情報のレンダリングはそれに従って調整されてもよい。
【解決手段】好ましくは２個又は３個であるｍ個の光源を有する画像は、例えばフィルタ処理済の画像とフィルタ未処理の画像とである相異なるフィルタリングを有するペアをなす画像を取得し、事前に計算されたｍ個のマッピングからなる集合をピクセルレベル又は領域レベルで画像ペアに適用し、最適なものを選択することによって、それぞれがｍ個の光源の１つのみによって照らされる相異なる領域に分割される。画像の情報のレンダリングはそれに従って調整されてもよい。
【発明の詳細な説明】
【背景技術】
【０００１】
コンピュータビジョン、画像処理及び撮像の多くは、一般的に、シーンを照らす単一の優勢発光体が存在という前提に基づいている。しかし、光が複数あることもしばしばである。一般的な例として、陰影を伴う屋外のシーン、典型的にスカイライトと人工照明が照らす屋内のオフィス環境、店舗や展示場などで使用されるスポットライトなどが挙げられる。これらの混合照明条件に応じて、（単一照明を前提とする）多くの画像処理アルゴリズムが役立たなくなる。失敗の例として、影との境界を通過した対象物の追跡ができなくなったり、対象物ではなく影を追跡したり、画像再生（例えば写真の焼付け）で誤ったカラーバランスを選んだり、シーンで撮像した情報を誤ってレンダリングしたりなどが挙げられる。濃い陰影を含む画像を再生する場合、最後に述べた問題は特に深刻である。単一照明を前提として処理すると、画像処理実施者は、より明るい画像エリアの詳細を圧縮することで画像を明るくする（陰影を見透かす）か、反対に、明るいエリアを損なわない代償として陰影の詳細を引き出せないかのどちらかを選択することになる。我々の視覚体系は、全く異なる知覚画像に到達するように空間的に適応する方法で陰影領域とハイライト領域を処理するため、多くの写真は、実際、我々が記憶するシーンの粗悪な模写といえる。
【０００２】
画像の照明変化を識別するための文献に多くの業績が見られる。従来技術による手法の大部分は、空間的に隣接するピクセル（または領域）を比較することで機能する。ルビンス及びリチャーズ（文献１）は、陰影境界を横切るＲＧＢが所定の明確な関係を有していると述べている。この関係が保たれない場合、境界（edge）は陰影境界ではない。フリーマン他（文献２）は、反射率と照明境界の統計を研究し、画像における境界を分類することにある程度成功している。フィンレイソン他（文献３）は、照明に起因する境界が無い場合、カラー画像からどのように単一のグレースケール画像を形成できるかを開示している。さらに、フレデンバック及びフィンレイソン（文献４）は、コヒーレント陰影領域を識別するためにいかに局所的境界を融合できるかを考察している。境界を横切って結合した陰影境界を再融合させることで、陰影なしの色が程度よく得られる。こうした手法では、陰影境界が鍵を握る。この方法はうまく機能するが、完璧には程遠く、照明検出の課題とは対照的に、陰影検出に併せて調整を行う。さらに、境界ベースでない、領域ベースの方法は陰影を示す、よりたくさんの痕跡をもたらす。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の態様は、画像における照明を分割するための方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の第１態様によれば、複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、事前に計算されたｍ個のマッピングからなる集合を前記画像ペアにピクセルレベル又は領域レベルで適用する工程とを有することを特徴とする方法が提供される。
【０００５】
画像は、相異なるフィルタリングを有するペアをなす画像、例えばフィルタ処理済の画像とフィルタ未処理の画像とであってもよい。
【０００６】
本発明は、画像の色（例えばＲＧＢ）と、色フィルタを通して撮像された対応する画像の色との関係が、照明に依存するとの認識に基づいている。本発明の方法は、画像とフィルタ処理済みの画像とのペア（対）に存在する区別できる関係の個数を判定し、各ピクセルまたは領域に関係を割り当てることで、画像のどの部分が光の相異なる色に対応するかを識別する。この方法は、Ｎ個のスペクトル感度のカメラで一次画像を撮像し、その画像とＭ個のセンサ測定結果を有する二次画像との関係を分析することを前提にすれば、ＲＧＢカメラと、Ｒ，Ｇ又はＢのフィルタ処理済の対応物に対して、また、ＲＧＢカメラと、１個以上のセンサ応答の第２集合（例えばＣ，Ｍ及び／又はＹ）とに対して、さらには、（２個以上のセンサでの）一次多重スペクトル画像と、（１個以上のセンサでの）二次多重スペクトル画像とを撮影する任意のカメラに対しても動作する。例えば、ｎ個のセンサカメラの場合、第１のｍ個の測定結果が、残りのｎ−ｍ個のセンサと関連付けることができれば、この関係は(ｎ−ｍ)×ｍ行列になる。ｎ＝６且つｍ＝３とすれば、３×３行列の関係が得られる。
【０００７】
関係は、画像データに基づいて計算することができ、または、トレーニング段階で事前に計算することができる。ロバスト統計的最適化手順、または単純な検索手順を用いて関係をピクセルまたは領域（及び特定の発光体として識別された領域またはピクセル）に割り当てることができる。検索手順は２つの段階を含む。初めに、全ての取り得るＮ個の関係からなる集合からｍ個の関係からなる集合を選択する。次に、選択したｍ個要素集合の妥当性を、一次画像ペア及び二次画像ペアについて計算する。全体的に最適であるｍ個要素集合が、どのピクセル又は領域がどの光で照射されるかを判定する。
【０００８】
所与の関係の妥当性は、対応する一次応答ベクトルに鑑みて、どの程度良く特定の二次画像応答ベクトルを予測するかで判定される。関係が線形変換の場合、ｍ個要素集合の中のｍ個の関係の１つによって、一次画像からの応答がマッピングされ、二次画像出力に最も近い新らたな出力集合を生成するものが最適とみなされる。数学的な見地から（他のｍ−１個と比べて）候補となりそうな関係が、概して、最適である。
【０００９】
一次画像と二次画像とを組み合わせたものが、ピクセル当りｐ個の測定結果を有すると仮定して、多数の方法で尤度を計算できる。これらの方法は（線形関数または非線形関数及び任意の距離尺度を使用して）先頭のｑ−ｐ個の応答と最後のｐ個の応答との関係をテストする。同様に、ｑ次元ベクトルの位置が直接に使用可能であり、これは、所与の平面への近傍の計算若しくは確率的尺度またはその他の尺度の計算を含む。ｑ次元ベクトルが所与の光と整合するかどうかを判断するのに必要な情報は、事前に計算されてもよいし、画像自体の統計に基づいて計算されてもよい。
【００１０】
関係の妥当性は、ピクセル又は領域について計算されうる。
【００１１】
どれがピクセルの集合への適用に最良な関係であるかをを評価するために統計分析が使用されうる。ピクセルの集合を最良にモデル化する関係は、最も頻繁に適当と認められた関係でありうる。
【００１２】
これに代えて、画像にわたって関係の集合の妥当性(適切性)が計算される。実際の二次応答と、関係によって予測されたものとの差は、画像にわたって合計される。これによって、ｍ個要素集合の特定の関係の良さに対するスコアが得られる。画像データを最もよく説明するｍ個要素集合の関係は、検索によって見つかる。
【００１３】
投影された陰影を有するシーンの画像は、２つの発光体を有する（直射光と空及び空のみ（すなわち、陰影付き領域）。本発明によれば、陰影エリアと非陰影エリアとは、関係のすべてのペアの妥当性を順番にテストすることで見つけられる。
【００１４】
頭上からの照明と窓からの光とを有する屋内シーン、すなわち直射と影付きとでありうる室内シーンでは、３つの取り得る光を許容する。本発明によれば、全ての３つの関係の妥当性を順番にテストすることによって、領域が３つの光の１つに分類される。
【００１５】
本発明の第２態様によれば、複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、前記画像間の最良のマッピングを見つける工程と、前記見つかったマッピングの下で最良に変換されたピクセルの過半数を第１ラベルに割り当て、その他を第２ラベルに割り当てる工程とを有することを特徴とする方法が提供される。
【００１６】
本発明の第３態様によれば、複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、各ピクセル又は各領域についてｍ個の要素の部分集合Ｒの前記ｍ個の関係のどれが前記２つの画像を最良にマッピングするかを判定するＮ個の関係
を形成するために、複数であるＮ個の発光体（ただし、Ｎ＞ｍ）についてクロマジェニック前処理を行う工程とを有することを特徴とする方法が提供される。
【００１７】
画像は相異なるフィルタリングを有し、例えばフィルタ処理済の画像とフィルタ未処理の画像とである。
【００１８】
本発明の第４態様は、第１、第２及び第３の態様の工程を採用して画像の情報の精度を向上し、それに応じて画像の情報のレンダリングを調整する方法を提供する。
【００１９】
本発明の第５態様は、画像の照明を検出する手段と、画像の処理を調整するために第１、第２、第３又は第４の態様での工程を実行する手段とを備える画像処理システムを提供する。
【００２０】
本発明は、画像の照明を識別する方法に関する。特に、相異なるｍ個の光が存在する入力領域において、各領域が複数であるｍ個の光のうちの１つだけで照らされる相異なる領域に画像を分割するための方法が開示される。本発明の方法は、文献５、６、７が開示するクロマジェニック・カメラで始まる。クロマジェニック・カメラで１つのシーンの２枚の写真を撮る。１枚目は従来型のＲＧＢ画像であり、２枚目は、同じカメラだが、カメラの光学系の前に配置されたカラーフィルタを用いて撮影された画像である。クロマジェニック概念は、例えば、一般論として、３個よりも多くのセンサを備えたカメラがクロマジェニック・カメラとして認識されるなど、他のカメラ構造にも拡張される（文献５，８参照）。過去の研究は２つの結果を示す。第１に、ＲＧＢとフィルタ処理済のＲＧＢとの関係は照明に依存し、相異なる光は相異なる関係をもたらすという点である。第２に、（事前に計算された）関係だけを利用すると、シーンに存在する光の色の推定が可能という点である。さらに、クロマジェニック手法が、他の方法よりも発光体の色を正確に推定することが分かった（文献７）。クロマジェニック手法が単一の優勢光照明の推定問題で平均的に良く動作する一方、複数の光の検出には直接に適用できない。実際、入力ピクセルのごく一部だけを使った場合、照明推定のクロマジェニック・アルゴリズムの性能は低下する。従って、入力ピクセルの多くが別の光で照らされると、クロマジェニック照明推定の精度は低下する。
【００２１】
本願では、我々は、相異なるＮ個の照明について、ＲＧＢをフィルタ処理済の対応物にもっともらしくマッピングするであろうＮ個の関係からなる集合Ｒを、特定のカメラについて事前に計算することだけを想定した。実際に、新しく提供された画像にｍ個の光が存在するのであれば、本発明によって、我々のデータを最も良く予測するｍ個の関係からなる集合を見つけられる。ここで、各ピクセルまたは領域は、これらをフィルタ処理済の対応物に最も良くマッピングする関係（ｍ個のうちの１つ）に関連付けられる。このカメラ用に確立されたＮ個の事前に計算された関係を用いて、これらのｍ個の関係が見つかる。ひとたび見つかったら、同じ関係に関連付けられたピクセル又は領域は、同一光の下で照らされたと想定される。もちろん、ｍ個の関係の部分集合だけが使用されることを判明した場合は、当初の仮説よりも少数の光が存在するとの結論に至る。実際にｍ個よりも少ない光が存在する場合、アルゴリズムがその事実を報告するならば、合理的に実行するアルゴリズムは任意の所与のシーンにｍ個の光が存在することを想定できるだけなので、これは重要なポイントである。例えば、多くの環境で、２個以下の光が存在することを想定すれば十分である。２つの光が存在する場合には２つの光を検出するが、シーンが単一光で照らされる場合に単一照明を検出する方法を求める。
【００２２】
添付の図面を参照しながら、本発明の好適な実施形態を例示の形で説明する。
【図面の簡単な説明】
【００２３】
【図１】本発明の好適な実施形態による方法を説明する図である。
【図２ａ】原画像を示す図である。
【図２ｂ】本発明の方法によって取得した推定照明を示す図である。
【図３ａ】本発明による画像の初期分割を示す図である。
【図３ｂ】図２ｂ及び図３ａが示す情報を使った領域ベースの光源検出手順の結果を示す図である。
【発明を実施するための形態】
【００２４】
本発明による方法を図１に概略的に示す。（ここではスカラー乗法因子である１，１／３，１／２で表される）事前に計算されたマッピングをフィルタ未処理のピクセル値｛３，４｝に適用し、フィルタ処理済の対応物｛１，２｝に最良に合致させる。ここで、この例示の目的に沿って、単一の数字で表される２つの領域を有する極めて単純な画像を用いる（この画像はおそらく、地上を飛行中の飛行機の投影された影である）。一番上の画像Ｉは、影を表す"３"をラベル付けされた領域を有する。この図表示では、本発明の方法が実際に使用するだろう色を用いたアルゴリズムの説明はしない。その代わり、説明を分かりやすくするために、各ピクセルが１つのスカラー値になるように単純化した。図１で、ラベル‘１’、‘２’、‘３’、‘４’は、各領域に対するラベルであり、ピクセル値でもある。例えば、画像Ｉの陰影領域において、画像ピクセルのスカラー値は数字の３である。同様に２つの領域を有する対応のフィルタ処理済の画像は、領域‘１’、‘２’を有するように示され、ＩFで示される。
【００２５】
これらのスカラー値画像において、フィルタ未処理のピクセル値からフィルタ処理済のピクセル値へのマッピングからなる事前に計算された集合
は、単純に、Ｎ個の光源のそれぞれに１つずつであるＮ個のスカラーからなる集合である。この例では、３つの光に対してＮ＝３個のマッピングからなる集合を事前に決定し、フィルタ未処理のカメラ応答からフィルタ処理済のカメラ応答へのマッピングが３個のスカラー｛１，１／３，１／２｝で与えられると仮定する。右手側に、これら３個の取りうるマッピングを示す。最初のマッピングが‘＊１’で示され、＊１は、画像ピクセルを１倍して対応のフィルタ処理済の出力を予測できることを意味する。その他も同様である。（一般の場合にマッピングである）３個の倍率が存在するので、‘3Ｃ2’＝Ｎ！／((Ｎ−２)！２！)＝３！／(１！２！)＝３通りの取りうる組み合わせが２個のマッピングに関して存在する。図では、これらのマッピング集合をＡ、Ｂ、Ｃでラベル付けする。次に、これらのマッピング集合を１つずつ順番に適用する。例えば、候補マッピングである＊１と＊１／３とからなる集合Ａをテストするならば、まず、画像全体Ｉに＊１を適用し、実際に観察されたフィルタ応答ＩFとの誤差を比較し、画像全体Ｉに＊１／３も適用し、フィルタ応答ＩFとの誤差を比較する。２個のマッピング＊１，＊１／３で構成されるこのマッピングＡにおいて、ピクセルレベルで誤差が最小のピクセルは、第１マッピング又は第２マッピングと関連付けるようにラベル付けされる（領域全体との関連付けは後述する）。
【００２６】
代替マッピングＢ、すなわち、スカラー乗数集合｛＊１／３，＊１／２}と、代替マッピングＣ、すなわち、スカラー乗数集合｛＊１，＊１／２｝とを上記の通り実行する。ここで、どのマッピングが全体的に最良かを決定するための方法を判定する。Ａをラベル付けされた線を辿ると、このマッピング集合の良さの推定を伴う計算が見える。画像Ｉの入力ピクセル３に対して、マッピング集合Ａから＊１又は＊１／３のどちらか一方のマッピングを適用できる。各マッピングを順番に適用して、図１の左端の２個の葉ノードに到達する：実際のピクセル応答を減算することで、実際に観察されたフィルタ処理済の画像ＩFから予測フィルタ応答の計算誤差を算出する（すなわち、ピクセル値にマッピングを適用する）。この例では、３＊１−１及び３＊１／３−１（それぞれ、領域‘１’にマッピングされた領域‘３’のピクセル誤差について、誤差２及び０に等しい）を計算する。０は２よりも小さいので、このピクセルに関連付けるものとしてマッピング＊１／３が選択される。木ノードの左から２番目のペアに移り、第２ピクセル‘４’について同様の手順を行う。ここでも、＊１／３が実際のフィルタ出力をより良く予測する（が、正確ではない）ことが分かる。関係集合Ａのみに基づいて、ピクセル‘３’と‘４’との両方とも同一の関係＊１／３を用いて対応するフィルタ処理済の対応物に最良にマッピングされるとの結論に達する。そこで、この段階では、両方のピクセルが同一の光の下で撮像されたと結論付ける。関係集合Ａが我々のデータを全体的に最良にモデル化するならば、２つの光が存在したという我々の仮説は誤りということになる（ただ１つの関係が存在することが分かり、従って、１つの光が存在することが分かった）。
【００２７】
ツリーの残りの解析を進めるうちに、真ん中の関係枝（関係集合Ｂ）のときに、予測応答と実際の応答との絶対差の総計が最小であることがわかる。（この単純な例では、実際に絶対差はちょうどゼロである。）さらに、ピクセル'３'と'４'とがそれぞれ、＊１／３と＊１／２という２つの相異なる関係でマッピングされることがわかる。そのため、この場合に、各ピクセルが異なる発光体で撮像されるとの結論に至る。この例は単純であるが、これが、本質的に、本発明の重要な工程を成す。
【００２８】
もちろん、実際の画像処理では、画像はｋ個のピクセルまたは領域を有する。対応のフィルタ処理済の対応物と同様に、各ピクセルは典型的にＲＧＢトリプレットによって表現される。カメラ応答がフィルタ処理済の対応物にどのようにマッピングされるかを予測する関係は、スカラー関数でなく多次元関数である。例えば、関係は、３×３行列変換、又はより複雑な非線形マッピングでありうる。さらに、図１に示すものよりも多数のマッピング（我々の実験では、Ｎ＝５０から１００を使用）が存在し、それ故、考慮すべきより多くのマッピング集合が存在する。しかし、本質的に計算は同じである。画像の全てのピクセル又は領域について、ＲＧＢをフィルタ処理済の対応物に最良にマッピングするマッピング（ｍ＝２を検討するならば、２個のマッピングからなる集合に属する）を見つける。次に、画像全体の予測誤差を計算する。この処理は全ての取りうるマッピング集合について反復される。画像ＲＧＢからフィルタ処理済の対応物を最良に予測するマッピング集合は、相異なる光で照らされる領域に画像を直接に分割するために用いられうる。本発明によれば、同じマッピングに割り当てられたピクセル又は領域は、同一の光で照らされると想定される。
【００２９】
フィルタ未処理の応答からフィルタ処理済の応答への利用可能な事前に計算されたマッピングを有しないならば、２つの画像間の最良マッピングを探し、見つかったマッピングの下で最良に変換される過半数のピクセルを１つのラベルに割り当て、その他のピクセル全てを第２ラベルに割り当てることで、クロマジェニック（chromagenic）アイデアをなおも得ることができる。例えば、少なくとも画像の半分（プラス１ピクセル）がそのマッピングと大よそ関連しているとの前提で、‘ロバスト’な統計処理により、一方の画像から他方の画像への最良のマッピングを見つける。正しく関連付けられていないピクセルは‘異常値’であり、第２ラベルに属する。事実に、ロバストマッピングは、階層的に進めることが可能であり、第２ラベル領域で最良なマッピングを発見し、個々のピクセルについて適当なラベルが無くなるまで、下降し続ける。その後に、領域ラベル付けを活用する（後述）。
【００３０】
我々の手法は緻密である：相異なる光で照らされる領域を見つけるためだけにクロマジェニック理論を利用し、照明の色自体を推定しない。これは奇妙に聞こえるかもしれない。結局のところ、各ピクセル又は各領域は単一の関係と関連していて、各関係は、特定の光においてＲＧＢをフィルタ処理済の対応物に転写させるマッピングとして（学習段階で）定義される。ひとたび、どの領域が同一光で照らされているかを識別したら、これらの領域について、光の色も知ることになると結論付ける（誤りかもしれない）。クロマジェニック発光体推定では、シーンに色の多様性があるほど性能が上がる傾向があるため、我々は光の色を知らない。しばしば、陰影で見つけたピクセルの総数は、画像の大きさと比べて、相対的にほんの一部であったりする。このような場合に、フィルタ処理済の対応物へＲＧＢをマッピングする最良の関係は、間違った発光体のためのものかもしれない。光の色の推定を目的とする場合に、これは問題を引き起こす。しかし、ここでは、発光体を区別するための手段としてのみ関係を利用することを目指している。
【００３１】
クロマジェニック理論について述べる。光、反射率、センサを、それぞれ、Ｅ(λ)、Ｓ(λ)、Ｑｋ(λ)とする。ただし、ｋはＲ、Ｇ、Ｂを示す。ランバート面において、像形成は、以下の式で表すことができる。
ここで、積分は可視スペクトルωにわたって評価される。センサ応答ｑkのトリプレットを単一のベクトルに結合することが有益であり、ここでは
で表す（下線は、ベクトル量を示す）。
【００３２】
ここで、光及び表面についての線形モデルを導入する：
ここで、Ｅｉ(λ)（ｉ＝１，…，ＤE）は発光体についての近似基準集合を形成し、Ｓｊ(λ)（ｊ＝１，…，ＤS）は表面についての近似基準集合を形成する。重み
及びσｊはこれらの基準集合に対する特定の光及び表面についての最良適合を形成する。そして、像形成の式（式（１））は以下のように簡潔に表せる。
ここで、
はＲＧＢ応答への３×Ｎ行列マッピング反射率重みである。このライティング行列のｋｊ番目の項は以下の式で与えられる。
【００３３】
色彩恒常の課題に関する１つの定式化は以下の通りである：測定された応答ベクトル
からなる集合を前提として、反射率と照明特性、すなわち
と
とをどのように再生できるか？
【００３４】
式（２）で用いられる光および反射率の線形モデル基準集合は、一般的に、主成分分析（文献９）または固有ベクトル解析（文献１０）を用いて決定される。この場合、モデル次元ＤEとＤSとは３（昼の光）、反射率については６から８であることが分かる。各ピクセルについて３つの測定結果だけがあると仮定して、これらの大規模なモデルでは色彩恒常が解決できるか疑わしい。しかし、式（３）を見ると、像形成は、実際に、反射率重みベクトルを乗算する（光依存の）ライティング行列で予測される。Ｅ(λ)またはＳ(λ)についての知識を有さなくても、式（１）の線形性が保たれていることが分かる。２つの光を加えるならば、それぞれのライティング行列を加える。像形成の見地から見た光と表面の次元性は、Ｎ×１重みベクトルモデルと相互作用するＭ個の３×Ｎライティング行列からなる集合がどの程度良くＲＧＢを観察したかに依存することが分かる。このような論理によって、マリモントとワンデル（Marimont and Wandell）（文献１１）は、ＤE＝３（３個のライティング行列）で、ＤS＝３（反射率の自由度３）のときのみ、像形成の優良なモデル化が可能であることを示した。
【００３５】
モデルの数が少ないため、これは励みになる。しかし、光と反射率を分離できるほどには少なくはない。その理由を明らかにするために、３ｓ個の測定結果と３ｓ＋３個の未知要素をもたらす単一の発光体とｓ個の反射率を有すると仮定した。（互いに乗算されるため）表面明度と発光体輝度との間にスカラー不確定性が存在するとの観察を経て、未知数３ｓ＋２であり、これは、既知数の個数よりさらに少ない：すなわち、３ｓ＜３ｓ＋２である。
【００３６】
しかし、ここで、２つの光の下でのｓ個の表面を観察すると仮定する。２つ又は３つ以上の表面について、６ｓ個の測定結果を有し、未知の個数より既知の個数が多く、６ｓ＞３ｓ＋５である（すなわち、５＝６−１＝２つの光源を３で乗算し、明度不確定性を減算する）。実際、多数の著者が、この場合の色彩恒常問題を代数的に解決できるアルゴリズムを教示している（文献１２，１３，１４）。これらの手法が暗示するのは、３×３線形写像によってＲＧＢが照明を交差してマッピングされるという思考である：
【００３７】
フィンレイソン（文献１４）の考察に基づき、我々は、（シグマ重みを思慮深く選択することで）任意の光の下で常に同一のＲＧＢを生成できるため、３×３線形変換が一意であれば、２つの光の色彩恒常問題を解くことだけを期待できる。実際、大部分のセンサ、光、表面について、単純化された近似モデルにおいては一意性が維持されることが示され、そのため、２つの光の恒常性の問題が解決可能なことが示された。しかし、この手法による不具合の１つは、２つの光の下で見られる同一表面の画像が利用可能であるという要件であり、これは、一般的に、非現実的な要件である。
【００３８】
クロマジェック理論において、２つの相異なる光の下でシーンを撮像するのではなく、カメラの前にフィルタを置き、第２光をシミュレートして、付加的な画像を生成する。新しいフィルタ応答は以下のとおり表せる。
フィルタ処理済の発光体を以下のように定義する。
従って、式（６）は、以下のようになる：
ここで、上付き文字Ｆは、カラーフィルタへの依存を示す。式・計数の見地から、我々は、ここで未知数を解くための既知数を十分に有する。全てのシーンについて、単に、１枚はフィルタ処理済であり、もう１枚はフィルタ未処理である２枚の写真を撮る。文献７が開示するように、ここで重要なのは、光と表面の自由度３が自然を正確に表現できると仮定し、ＲＧＢをフィルタ処理済の対応物へマッピングする変換が発光体色を一意に定義することである。この結果が発光体推定のクロマジェニック理論へと導く。
【００３９】
アルゴリズムは２つの段階で動作する。前処理工程で、Ｎ個の発光体のそれぞれについて１つずつ、ＲＧＢをフィルタ処理済の対応物へマッピングする関係を事前に計算する。例えば、Ｎ個の３×３行列変換からなる集合を見つける。実行フェーズでは、クロマジェニック画像ペア、すなわち１枚がフィルタ未処理であり、もう１枚がフィルタ処理済である２つの画像を撮影する。この新しいテスト・ペアの照明は未知である。そこで、事前に計算された関係をそれぞれ適用し、ＲＧＢをフィルタ処理済の対応物に最良にマッピングする関係を用いてインデックスを作成し、優勢発光体色を推定する（文献７）。
【００４０】
発光体推定のためのクロマジェニック法は以下の通りである。
前処理：Ｎ個の光Ｅi(λ)とｓ個の表面Ｓi(λ)のデータベースについて、
を計算する。ここで、Ｑi及びＱiFはｉ番目の光の下でのｓ個の表面に対するフィルタ未処理のセンサ応答及びフィルタ処理済のセンサ応答の行列を示し、上付き文字＋は、擬似逆を示す（文献１５）。これは最良の最小二乗変換を生成するが、この方法は、最小二乗に限定されず（例えばロバスト法も使用されうる）、線形（すなわち、行列）変換にも限定されない。
実行：新しいテスト画像で、Ｐ個の表面を仮定すると、３×Ｐ測定画像ＲＧＢ行列Ｑ及びＱFを有する。ここで、シーン発光体Ｅest(λ)の最良推定を見つけるタスクは、合計が最小の二乗誤差を生成するＮ個の発光体からなる集合のインデックスｉを発見することで解決する：
このとき、
である。
【００４１】
最も簡単な手法では、変換行列を回帰で定義する（例えば、ムーア・ペンローズ逆数は最小二乗回帰を使用する）ことが注目に値する。従って、３×３行列として実装される発光体関係は、ＲＧＢをフィルタ処理済の対応物に完璧に変換するわけではない。このささやかな不確定性は、後述するように本発明による方法に２つの重要な影響をもたらす。第１に、最良変換を正確に推定するために、多数のテスト表面集合が必要になる（全ての表面に関係を適用することを望むためである）。第２に、小さな表面集合で光の色を推定しようとするならば、発光体を誤って推定する可能性が生じる。紅斑集合の最良変換は、大きな色集合（例えば、赤、緑、白など）の最良変換とは異なるかもしれない。
【００４２】
従って、小さな表面集合しかない画像のクロマジェニック・アルゴリズムを実行する際に、上述したアルゴリズムによって関係を見つけるが、この関係は、実際、間違った光の色を指し示すかもしれない。
【００４３】
本発明による方法の好適な実施形態を以下に記載する。クロマジェニック画像ペア、すなわち、対応するフィルタ処理済の対応物を伴うＲＧＢを仮定して、どのピクセルまたは領域が同一光で照らされるかを判定することができる。以下に、画像にｍ個の光が存在できると仮定して、我々の手法を正式に定義する。実際には、大部分の画像に対してｍ≦２が適当なため、次節で記載される本発明のアルゴリズムの特定の実装を概説する際に、ｍ＝２と設定する。
【００４４】
Ｎ個の光についてクロマジェニック前処理ステップを実行し、ＲＧＢを最良にフィルタ処理済の対応物にマッピングするＮ個の関係
を求めると仮定して始める。しかし、この関係が３×３行列変換であることを必ずしも仮定する必要はなく、一般に、任意の関数
を仮定する。ここで、
は、カラー画像における取りうる整数からなる集合である（例えば、１６ビットのカラーチャンネルでは、
は集合［０．．６５５３６］となる）。ここで、ｍ個の要素からなる部分集合
を選択したと仮定する。各ピクセル又は各領域を順番に取り、ｍ個の関係のうちのどれがＲＧＢをフィルタ処理済の対応物に最良にマッピングするかを判定する。単一の関係を各ピクセル又は各領域に割り当てたら、ｍ個の関係Ｒからなる集合がどの程度良く我々のデータを説明できるかを計算することは単純な問題である。当然、
には取りうるｍ個の要素からなる部分集合Ｒが多く存在する。数学的に、
における全てのｍ個の要素からなる部分集合を
で示し、この集合を
のｍ個要素集合と呼ぶ。次に、全体として画像とフィルタ処理済の対応物との関係を最適に表現する
が（本質的に検索アルゴリズムである）最適化手法で見つけられる。これはｍ個の最良マッピング、従って、ピクセルのｍレベルのラベル付けを効率的に見つける。例えば、ｍ＝２の場合に、これはピクセルの２値ラベル付けになる。このラベル付けは、例えば、影付き領域及び影なし領域から生じてもよい。この最適化を数学的に記載する前に、若干の表記法を導入する必要がある。
とし、Ｉk及びＩFkが画像のｋ番目のピクセル又は領域とそのフィルタ処理済の対応物とを示すとする。関係ｆiは、ｉをラベル付けされた特定の発光体について画像をフィルタ処理済の対応物にマッピングする数学的関数又はコンピュータアルゴリズムと考えることができる。従って、画像領域Ｉkについてｆiが適当な場合に、以下の式が予想されうる。
【００４５】
所与の関係集合Ｒについて、どれがＩFkを最も良く予測するかに基づいて、ｍ個の関係ｆi（ｉ∈１，２，…，Ｎ）の１つのであるＩkを各ピクセル又は各領域に割り当てなければならない。前述したように
は
のｍ個の要素の全ての部分集合を表し、ｉk∈１，２，…，ｍがｍ個の関係のうちｋ番目のピクセル又は領域で最良に適用される関係を示すとき、以下の最適化を解く必要がある。
最適化の概要：
【００４６】
Ｉkが単一ピクセルの場合、||.||は、例えば、ベクトル成分の絶対値の合計または二乗した絶対値の合計の平方根などの単純なスカラー関数である。Ｉkが領域の場合、例えばメジアン偏差のように||.||をよりロバストな測定にする範囲が存在する。
【００４７】
本発明の方法の最終ステップでは、相異なる光に属する相異なる領域として識別することを目指す。最適化（１１）を解いた後、マッピングＲの全体的に最良なｍ個要素集合及びピクセルラベルｉk（ｋ∈１,２,...,ｍ）の最良な集合に到達する。これは、以下に示すように、関係インデックスｉｋによってｍ個の光についてのラベルに領域を直接に関連付ける。ｉk＝１が同一光の下で撮像されたとみなされる場合、全ピクセル又はピクセルのエリアは、‘１’でインデックスされる。同様に、ｉｋ＝２が別の光の下で撮像されたとみなされる場合、全ピクセル又はピクセルのエリアは‘２’でインデックスされる。ｉk＝ｍまで同様である。
【００４８】
本発明の手法を若干、より一般的にするために、ピクセルの点で適合度動作が行われることを許容するが、ライティング・ラベルを領域単位に割り当てる。画像においてｋ（ｋ＝１，２，...，ｎ）でインデックスされたｎ個の領域の割り当てを計算すると仮定する。このようなタスクには多数のアルゴリズムが存在する。こうしたアルゴリズムは分割手順と呼ばれる。Ｉkjがｋ番目の領域におけるｊ番目のピクセルを示すとする。初めに、最小化によって関係ラベルｉkjを割り当てる：
【００４９】
領域主導最適化文：
元になるピクセルとの適合に基づいて領域全体へラベルと割り当てることができる。
ｉk＝bestlabel(｛ｉkj：ｉkj∈Ｉk｝) （１３）
【００５０】
ここで、関数bestlabel()は、領域ＫのピクセルＩkjに割り当てられる高々ｍ個のラベルの全てからどのラベルを領域ｋに割り当てるかを選ぶ必要がある。関数bestlabel()の自明な候補はモード関数である。例えば、Ｉkが１００個のピクセルを有し、これら１００個のうち、９０個が関係ラベルｉを有する場合、モードもｉであり、その領域の全体ラベルもｉとなるべきである。別の候補は、その領域ｋにおいて、フィルタ未処理のピクセルからフィルタ処理済のピクセルへのマッピングでの誤差全体を最小化するラベルであろう。
【００５１】
式（１１）又は式（１２）の最小化は、計算的に労力を要しうることに着目する。計算コストは集合
の濃度に比例する。例えば、
に５０個（典型的な光の範囲を描写するのに合理的な数（文献１６））の関係が存在する場合、ｍ個要素集合
の濃度は５０！／ｍ！(５０−ｍ)！で得られ、ｍ＝２、３、４、５に対して１２２５、１９６００、２３０３００、２１１８１１０に等しい。ブルートフォース検索は、現実的には、小さなｍ（すなわち、ｍ＝２又は３）についてのみ現実的に可能である。
【００５２】
もちろん、全ての取りうるマッピングが
に含まれることを許容すると（例えば、全ての取りうる３×３行列）、我々の解法戦略は、古典的な最適化理論を追随することになる（これは、前述の組合せ手法ではない）。最適化手法では、ｍ個の良い変換の初期の推測から始めて、コスト関数を最小化することで、これらを増加的に更新していく。例えば、広く使用される勾配降下法を採用してもよい。これらの微分最適化は、大域的とは対照的な、局所的な最適解を見つける傾向がある。焼き鈍し法のような発見的方法が大域的最適条件を見つけるために用いられてもよい。
【００５３】
この節の締めとして、照明検出で使用可能な基礎アルゴリズムのその他の変更例を述べる。第１に、３個のＲＧＢセンサと３個のフィルタ処理済の対応物を想定して基礎理論を提示してきたが、本発明の実施形態は、６個の任意センサ応答関数を有する場合にも適用できる（必ずしもフィルタ補正と区別する必要はない）。この場合、関係ｆ()は、初めの３個のセンサ応答を次の３個に最良にマッピングする。さらに、多次元応答データに到達する他の手段を許容する。例えば、本発明の方法は、標準ＲＧＢ画像と、シーンを照らすためにフラッシュを使って撮影した第２画像を想定して陰影を検出できる。一般的に、本発明の方法は、以下の式で得られる任意の撮像条件に適用できる：
ここで、Ｑk(λ)は、センサ応答関数又はフィルタ透過率で乗算されたセンサであってもよい。
と設定することで、シーンに付加されたフラッシュ光の影響を正確にモデル化し、これも本発明に含まれる。
【００５４】
本発明では、センサの数も重要ではない。実際、ｑ個のセンサカメラを想定すると、相異なる光や表面について記録されたセンサ応答のうちのｐ個が関数ｆ()によって残りのｑ−ｐ個の応答に関連するならば、本発明の方法はなおも適用できる。上述した実施形態では、q＝６且つｐ＝３であるが、ｑ及びｐは、ｐ＜ｑを満たす任意の２つの数、ｑ＝７且つｐ＝２やｑ＝３且つｐ＝１でありうる。最後の例について、従来型のＲＧＢカメラでは、上記の方法で青色応答を赤色応答及び緑色応答に関連付けることができるという事実に注目されたい。関係がそれほど強くない（例えば、式（９）の適合が著しい誤差を有する）場合でも、本発明の方法はなおも、ある程度の照明検出を提供する。
【００５５】
さらに、（ｑ個の応答カメラにおいて）最初のｐ個の応答の残りのｑ−ｐ個の応答に関連付ける手段をいくつかの一般的な形に書くことができる。ｑ＝６且つｐ＝３である上記の方法では、３×３行列変換によってフィルタ未処理の応答がフィルタ処理済の応答に関連付けられる。より一般的には、このマッピングは形式
の任意の関数（３次元入力を３次元出力にマッピングする関数）でありうる。任意のｑ（センサの数）及びｐ（依存する応答の数）について、マッピング関数は
となる。
【００５６】
||ｆ(Ｉkq-p)−Ｉkp||（ここで、Ｉq-pとＩpとは、最初のｑ−ｐ個の応答と残りのｐ個の応答とを表し、上付き文字ｋはｋ番目のピクセル又は領域を示す）と記述されていた距離の計算法が法則化できたことを指摘する。これは２通りの方法で達成できる。第１に、例えば、任意の定義の大きさ関数||・||を使用できる。これは、例えば、標準ユークリッド距離であってもよいし、（ミンコフスキー・ファミリーのノルムの１つのような）任意の合理的な距離関数とすることができる。第２に、ｆ(Ｉkq-p)≒Ｉkpであるならば、ｑ次元空間の特定部分にｑ次元ベクトルが存在することを示唆することを観察する。例えば、ｆ()がｐ×(ｑ−ｐ)行列変換のとき、応答のｑ次元ベクトルは、ｑ次元空間に組み込まれたｑ−ｐ次元平面上に存在しなければならない。従って、関係ｆ()を直接に計算し、次に、||ｆ(Ｉkq-p)−Ｉkp||を計算する代わりに、ｑ−ｐ次元平面への応答のｑ次元ベクトルの距離を計算できる。従って、我々の適合関数は||Ｐ(Ｉk)−Ｉk||と書き換え可能であり、Ｐはｑ次元ベクトルをｑ−ｐ次元平面に射影する。射影ベクトルをオリジナルから減算すると適当な距離測定が可能である。
【００５７】
この考えをさらに発展させて、
と書き、これは、Ikの存在が期待されるｑ−ｐ次元平面に直交するｐ次元平面に応答のｑ次元ベクトルを射影する。より一般的には、尺度Ｐ(Ｉk)を計算してもよい。ここで、Ｐは、検討中の発光体について応答ベクトルの可能性が高い場合に小さい数を返す関数である。このとき、Ｐは例えば、何らかの確率的尺度であってもよい。
【００５８】
本発明の好適な実施形態によれば、前処理ステップで、所与の光について所与の応答のｑ次元ベクトルが生じる適合（fit）または尤度を判定できる。これは、所与のテスト集合についてＲＧＢをフィルタ処理済の対応物に最良にマッピングする３×３行列であってもよい。または、上述の別の実施形態について、形式
の最良の関係を事前に計算できる。さらに、応答ベクトルの位置を直接に使用する場合、最良の適合面を事前計算することもできるし、相異なる光の下で所与のｑ次元ベクトルが発生する尤度と考えられる確率モデルを事前に計算することもできる。一方、画像統計を用いて、所与の光で所与の応答のｑ次元ベクトルが発生する適合または尤度を単一画像内で計算可能なことに気付いたので、これも本発明に含める。例えば、ＲＧＢをフィルタ処理済の対応物にする３×３線形写像の場合について、ちょうど２個の光がシーンに存在する場合、ロバスト統計を用いて、画像データを最良に説明する変換ペアを見つけることができる（どの光が存在するかによって、ペアの一方が各ピクセルに適用される）。画像の少なくとも５０％＋１個のピクセルをフィルタ処理済の対応物にマッピングする最良の３×３行列を見つける。残りのピクセルは異常値として扱い、個別に適合されうる。正常値及び異常値は、相異なる光によって画像のどの部分が照らされるかを判定する。我々の実験は、この場合に良好な照明検出を示す。さらに、原理上、標準的な技術を用いて、距離尺度の全ての相異なる組み合わせと、上述した適合関数とを画像データ自身で学習させることができる。
【００５９】
要約すると、本発明の方法によれば、カメラで測定された応答のｑ次元ベクトルの位置が照明の影響を強く受け、反射率の影響が弱ければ、その光の下で発生するこの応答の尤度を測定するためにｑ次元空間における位置を使用できる。（線形関数または非線形関数と任意の距離尺度とを使用する）初めのｑ−ｐ個の応答と最後のｐ個の応答との関係のテストを含む多くの手法でこの尺度が計算されうる。同様に、ｑ次元ベクトルの位置を直接に使用でき、これは、所与の平面への近傍の計算、あるいは、確率的尺度又は他の尺度の計算を含む。所与の光についてｑ次元ベクトルが一致しているかどうかを測定するのに必要な情報は事前に計算が可能であってもよいし、画像自体の統計に基づいて計算されてもよい。
【００６０】
実際の画像を使って、２つの発光体が照らす画像領域を見つける方法を説明する。ほぼ間違いなく、ｍ＝２の場合が最も興味深く、かつ、最も一般的な場合である。多くのシーンが単一の光か２つの光で照らされる。屋外環境ではしばしば単一の光であるが、２個の光がある場合、すなわち、太陽＋空（陰影無し）および空のみ（陰影有り）もしばしばである。同様に、夜間の室内において、単一の白熱電球で部屋を照らすことがある。しかし、日中は、多くのオフィス環境で、デスクの上方からの人工光と窓から差し込む自然光との組み合わせである。実際、ｍが２よりも遥かに多い場合の通常の状況を思いつくのは困難である。
【００６１】
従って、式（１１）に示すアルゴリズムを、ｍ＝２で実行する。この場合に、５０個の３×３行列変換からなる集合
を生成することから始める。これらの変換は、（線形画像（未処理ロー画像）を出力する）ニコンＤ７０カメラを使って、カラーフィルタ無しと有りとで、５０個の光の下で標準色見本表（マクベスカラーチェッカー（文献１７））を１つずつ撮像することで計算した。毎日出会う典型的な光を代表するものとして５０個の光を選択した。これは、青空のみ、青空＋太陽、雲に覆われた空、蛍光灯、白熱照明を含む。マクベスカラーチェッカーは２４個の相異なる色のパッチを含む。そこで、２４個のフィルタ未処理のＲＧＢをフィルタ処理済の対応物に回帰させることで、各３×３変換の解を得た。
【００６２】
ここでアルゴリズムを実行する。最初のパスで、式（１１）を用いて、ピクセルベースの最適化アルゴリズムの使用から始める。２個集合
、すなわち２個の要素を有する
のすべての部分集合からなる集合を計算する。５０個の変換が存在するので、‘50Ｃ2’に等しい１２２５個の組合せが存在する。３×３行列の特定ペアを含む所与の関係集合Ｒについて、どの行列が各画像ピクセルをフィルタ処理済の対応物に最良にマッピングするかをテストする。この過程で、写像されたＲＧＢと実際のフィルタ応答との齟齬又は誤差を計算する。２つの光（それ故、２つのマッピング）の１２２５通りの組合せのすべてについてこの処理を繰り返し、フィルタ未処理の画像をフィルタ処理済の画像に全体として最良にマッピングする変換の１つのペアを決定し、ペアの一方が各ピクセルに適用される。図１は、ちょうど３つの関係（マッピング）が存在し、行列の代わりに、関係が単純なスカラー乗数の場合の処理を示す。図２は、ピクセルレベルで式（１１）を適用した最適化の典型的な結果を示す。図２（ａ）は、原画像を示す。陰影を有するので、シーンにはっきりと２つの光が存在する。これは、ノイズのあるピクセルベース検出を表す。
【００６３】
各ピクセルに単一変換が適用されるため、この処理の出力を二値画像として観測できる。データに最良に適合する行列変換を（第１変換について）‘０’及び（第２変換について）‘１’で表す。シーンに存在する照明の推定を図２（ｂ）に示す。陰影領域と非陰影領域との間に一致が見られるため、本発明のアルゴリズムが有効なのは明らかであるが、完璧からは程遠い。正解に見えるが、高度のノイズの悪影響を受けている。
【００６４】
ここで、式（１２）、続いて式（１３）の最適化で得た領域ベースのラベル割り当てを適用する。平均シフトアルゴリズム（文献１８）または任意の同様のエッジ保存分割アルゴリズムを使って、画像の初期分割を計算する。図３（ａ）は、標準平均シフトアルゴリズムで達成した分割を示す。画像に多数の領域があることに注目されたい。すなわち、我々の目下の目的、すなわち非陰影領域と陰影領域との曖昧さをなくすことに比べて画像を過剰に分割した。入力画像の分割が、相異なる光で照らされる領域を統合しないことを保証したいので、これは重要である（分割の度合いは平均シフトアルゴリズムが使用するパラメータを使って制御可能であり、これはその他のエッジ保存分割アルゴリズムにも適用できる）。
【００６５】
図３（ｂ）に領域ベースの発光体検出手順の結果を示す。図２（ｂ）で得た出力で始める。図３（ａ）の平均シフト分割を使って得られた領域を併用して、式（１３）での出力ラベルの割り当てを行う。この変形では、各領域について‘０’と‘１’との割合を計算し、過半数の数を領域全体に割り当てる。図３（ｂ）に示す結果から、シーンに存在する光のすばらしい分割が得られたことが明らかである。
【００６６】
図３は陰影エリアのクリーンな判定を示す。重要なのは、この単純な照明検出へのアプローチが信頼性の高い良好な結果をもたらしたことである。
【００６７】
画像における照明を分割するための方法を開示してきた。この方法は、フィルタ未処理バージョンからフィルタ処理済バージョンへの画像ペアの事前に決定された変換の使用を含み、クロマジェニック・フィルタが使用される。ｍ個以下の発光体ラベルを有する分割を決定するために、画像ペアに対してｍ個のマッピングからなる集合がピクセルレベルまたは領域レベルで適用され、ラベルの割り当てが最良に生成される。これに代えて、事前に計算されたマッピングを利用できない場合、階層的な手法で画像ペアに適用される回帰または類似の方法によって、ｍ個以下のラベル割り当てを決定できる。一般的に、領域ベースのアプローチは、よりクリーンな照明分割をもたらす。
【００６８】
本明細書で、フィルタ処理済の画像及びフィルタ未処理の画像に言及する場合、相異なるフィルタリング特性を有する画像を含む。相異なるフィルタリングを有する２個のフィルタ処理済の画像を代わりに用いてもよい。あるいは、例えば、相異なるメーカーのカメラなど、単純に２個の相異なるカメラを使ってもよい。特定の例では、従来型のデジタルカメラと黄色フィルタつきのカメラが用いられる。
【００６９】
＜参考文献一覧＞
[1] J. M. Rubin and W. A. Richards. Color vision and image intensities: When are changes material. Biological Cybernetics, 45:215-226, 1982.
[2] M.F. Tappen, W.T. Freeman, and E.H. Adelson. Recovering intrinsic images from a single image. In Advances in Neural Information Processing Systems 15. MIT Press, 2003.
[3] G.D. Finlayson, S.D. Hordley, and M.S. Drew. Removing shadows from images. In ECCV 2002: European Conference on Computer Vision, pages 4:823-836, 2002. Lecture Notes in Computer Science Vol. 2353.
[4] C. Fredembach and G.D. Finlayson. Hamiltonian path based shadow removal. In British Machine Vision Conf, 2005.
[5] G.D. Finlayson and P.M. Morovic. Human visual processing: Beyond 3 sensors. In IEE Int. Conf. on Visual Information Engg. (VIE2005), pages 1-7, 2005.
[6] G.D. Finlayson, S.D. Hordley, and P.M Morovic. Chromagenic filter design. In 10th. Congress of the Int. Colom Assoc. (AIC2005), 2005.
[7] G.D. Finlayson, S.D. Hordley, and P.M Morovic. Colour constancy using the chromagenic constraint. In Computer Vision and Ratt. Rec. (CVPR2005), 2005.
[8] G.D. Finlayson. Image recording apparatus employing a single ccd chip to record two digital optical images. Awarded US Patent, My 06, Pat num 7,046,288.
[9] J.P.S. Parkkinen, J. Hallikainen, and T. Jaaskelainen. Characteristic spectra of Munsell colors. J. Opt. Soc. Am. A, 6:318-322, 1989.
[10] L.T. Maloney and B. A. Wandell. Color constancy: a method for recovering surface spectral reflectance. J. Opt. Soc. Am. A, 3:29-33, 1986.
[11] D. H. Marimont and B. A. Wandell. Linear models of surface and illuminant spectra. J Opt. Soc. Am. A, 9:1905-1913, 1992.
[12] M. D'Zmura and G. Iverson. Color constancy. I. Basic theory of two-stage linear recovery of spectral descriptions for lights and surfaces. J. Opt. Soc. Am. A, 10:2148-2165, 1993.
[13] M. Tsukada and Y. Ohta. An approach to color constancy using multiple images. In Int. Conf. on Computer Vision (ICCV90), 1990.
[14] G.D. Finlayson, M.S. Drew, and B.V. Funt. Diagonal transforms suDce for color constancy. In M. Conf. on Computer Vision (ICCV93), 1993.
[15] G. Strang. Linear Algebra, and its Applications. Harcourst, Brace, Jovanovich, 3rd edition, 1988.
[16] K.Barnard, L. Martin, B.V. Funt, and A. Coath. A data set for colour research. Color Research and Application, 27:147-151, 2002.
[17] CS. McCamy, H. Marcus, and J.G. Davidson. A color-rendition chart. J. App. Photog. Eng., 2:95-99, 1976.
[18] D. Comaniciu and P. Meer. Mean shift: A robust approach toward feature space analysis. PAMI, 24:603-619, 2002.
【背景技術】
【０００１】
コンピュータビジョン、画像処理及び撮像の多くは、一般的に、シーンを照らす単一の優勢発光体が存在という前提に基づいている。しかし、光が複数あることもしばしばである。一般的な例として、陰影を伴う屋外のシーン、典型的にスカイライトと人工照明が照らす屋内のオフィス環境、店舗や展示場などで使用されるスポットライトなどが挙げられる。これらの混合照明条件に応じて、（単一照明を前提とする）多くの画像処理アルゴリズムが役立たなくなる。失敗の例として、影との境界を通過した対象物の追跡ができなくなったり、対象物ではなく影を追跡したり、画像再生（例えば写真の焼付け）で誤ったカラーバランスを選んだり、シーンで撮像した情報を誤ってレンダリングしたりなどが挙げられる。濃い陰影を含む画像を再生する場合、最後に述べた問題は特に深刻である。単一照明を前提として処理すると、画像処理実施者は、より明るい画像エリアの詳細を圧縮することで画像を明るくする（陰影を見透かす）か、反対に、明るいエリアを損なわない代償として陰影の詳細を引き出せないかのどちらかを選択することになる。我々の視覚体系は、全く異なる知覚画像に到達するように空間的に適応する方法で陰影領域とハイライト領域を処理するため、多くの写真は、実際、我々が記憶するシーンの粗悪な模写といえる。
【０００２】
画像の照明変化を識別するための文献に多くの業績が見られる。従来技術による手法の大部分は、空間的に隣接するピクセル（または領域）を比較することで機能する。ルビンス及びリチャーズ（文献１）は、陰影境界を横切るＲＧＢが所定の明確な関係を有していると述べている。この関係が保たれない場合、境界（edge）は陰影境界ではない。フリーマン他（文献２）は、反射率と照明境界の統計を研究し、画像における境界を分類することにある程度成功している。フィンレイソン他（文献３）は、照明に起因する境界が無い場合、カラー画像からどのように単一のグレースケール画像を形成できるかを開示している。さらに、フレデンバック及びフィンレイソン（文献４）は、コヒーレント陰影領域を識別するためにいかに局所的境界を融合できるかを考察している。境界を横切って結合した陰影境界を再融合させることで、陰影なしの色が程度よく得られる。こうした手法では、陰影境界が鍵を握る。この方法はうまく機能するが、完璧には程遠く、照明検出の課題とは対照的に、陰影検出に併せて調整を行う。さらに、境界ベースでない、領域ベースの方法は陰影を示す、よりたくさんの痕跡をもたらす。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の態様は、画像における照明を分割するための方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明の第１態様によれば、複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、事前に計算されたｍ個のマッピングからなる集合を前記画像ペアにピクセルレベル又は領域レベルで適用する工程とを有することを特徴とする方法が提供される。
【０００５】
画像は、相異なるフィルタリングを有するペアをなす画像、例えばフィルタ処理済の画像とフィルタ未処理の画像とであってもよい。
【０００６】
本発明は、画像の色（例えばＲＧＢ）と、色フィルタを通して撮像された対応する画像の色との関係が、照明に依存するとの認識に基づいている。本発明の方法は、画像とフィルタ処理済みの画像とのペア（対）に存在する区別できる関係の個数を判定し、各ピクセルまたは領域に関係を割り当てることで、画像のどの部分が光の相異なる色に対応するかを識別する。この方法は、Ｎ個のスペクトル感度のカメラで一次画像を撮像し、その画像とＭ個のセンサ測定結果を有する二次画像との関係を分析することを前提にすれば、ＲＧＢカメラと、Ｒ，Ｇ又はＢのフィルタ処理済の対応物に対して、また、ＲＧＢカメラと、１個以上のセンサ応答の第２集合（例えばＣ，Ｍ及び／又はＹ）とに対して、さらには、（２個以上のセンサでの）一次多重スペクトル画像と、（１個以上のセンサでの）二次多重スペクトル画像とを撮影する任意のカメラに対しても動作する。例えば、ｎ個のセンサカメラの場合、第１のｍ個の測定結果が、残りのｎ−ｍ個のセンサと関連付けることができれば、この関係は(ｎ−ｍ)×ｍ行列になる。ｎ＝６且つｍ＝３とすれば、３×３行列の関係が得られる。
【０００７】
関係は、画像データに基づいて計算することができ、または、トレーニング段階で事前に計算することができる。ロバスト統計的最適化手順、または単純な検索手順を用いて関係をピクセルまたは領域（及び特定の発光体として識別された領域またはピクセル）に割り当てることができる。検索手順は２つの段階を含む。初めに、全ての取り得るＮ個の関係からなる集合からｍ個の関係からなる集合を選択する。次に、選択したｍ個要素集合の妥当性を、一次画像ペア及び二次画像ペアについて計算する。全体的に最適であるｍ個要素集合が、どのピクセル又は領域がどの光で照射されるかを判定する。
【０００８】
所与の関係の妥当性は、対応する一次応答ベクトルに鑑みて、どの程度良く特定の二次画像応答ベクトルを予測するかで判定される。関係が線形変換の場合、ｍ個要素集合の中のｍ個の関係の１つによって、一次画像からの応答がマッピングされ、二次画像出力に最も近い新らたな出力集合を生成するものが最適とみなされる。数学的な見地から（他のｍ−１個と比べて）候補となりそうな関係が、概して、最適である。
【０００９】
一次画像と二次画像とを組み合わせたものが、ピクセル当りｐ個の測定結果を有すると仮定して、多数の方法で尤度を計算できる。これらの方法は（線形関数または非線形関数及び任意の距離尺度を使用して）先頭のｑ−ｐ個の応答と最後のｐ個の応答との関係をテストする。同様に、ｑ次元ベクトルの位置が直接に使用可能であり、これは、所与の平面への近傍の計算若しくは確率的尺度またはその他の尺度の計算を含む。ｑ次元ベクトルが所与の光と整合するかどうかを判断するのに必要な情報は、事前に計算されてもよいし、画像自体の統計に基づいて計算されてもよい。
【００１０】
関係の妥当性は、ピクセル又は領域について計算されうる。
【００１１】
どれがピクセルの集合への適用に最良な関係であるかをを評価するために統計分析が使用されうる。ピクセルの集合を最良にモデル化する関係は、最も頻繁に適当と認められた関係でありうる。
【００１２】
これに代えて、画像にわたって関係の集合の妥当性(適切性)が計算される。実際の二次応答と、関係によって予測されたものとの差は、画像にわたって合計される。これによって、ｍ個要素集合の特定の関係の良さに対するスコアが得られる。画像データを最もよく説明するｍ個要素集合の関係は、検索によって見つかる。
【００１３】
投影された陰影を有するシーンの画像は、２つの発光体を有する（直射光と空及び空のみ（すなわち、陰影付き領域）。本発明によれば、陰影エリアと非陰影エリアとは、関係のすべてのペアの妥当性を順番にテストすることで見つけられる。
【００１４】
頭上からの照明と窓からの光とを有する屋内シーン、すなわち直射と影付きとでありうる室内シーンでは、３つの取り得る光を許容する。本発明によれば、全ての３つの関係の妥当性を順番にテストすることによって、領域が３つの光の１つに分類される。
【００１５】
本発明の第２態様によれば、複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、前記画像間の最良のマッピングを見つける工程と、前記見つかったマッピングの下で最良に変換されたピクセルの過半数を第１ラベルに割り当て、その他を第２ラベルに割り当てる工程とを有することを特徴とする方法が提供される。
【００１６】
本発明の第３態様によれば、複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、各ピクセル又は各領域についてｍ個の要素の部分集合Ｒの前記ｍ個の関係のどれが前記２つの画像を最良にマッピングするかを判定するＮ個の関係
を形成するために、複数であるＮ個の発光体（ただし、Ｎ＞ｍ）についてクロマジェニック前処理を行う工程とを有することを特徴とする方法が提供される。
【００１７】
画像は相異なるフィルタリングを有し、例えばフィルタ処理済の画像とフィルタ未処理の画像とである。
【００１８】
本発明の第４態様は、第１、第２及び第３の態様の工程を採用して画像の情報の精度を向上し、それに応じて画像の情報のレンダリングを調整する方法を提供する。
【００１９】
本発明の第５態様は、画像の照明を検出する手段と、画像の処理を調整するために第１、第２、第３又は第４の態様での工程を実行する手段とを備える画像処理システムを提供する。
【００２０】
本発明は、画像の照明を識別する方法に関する。特に、相異なるｍ個の光が存在する入力領域において、各領域が複数であるｍ個の光のうちの１つだけで照らされる相異なる領域に画像を分割するための方法が開示される。本発明の方法は、文献５、６、７が開示するクロマジェニック・カメラで始まる。クロマジェニック・カメラで１つのシーンの２枚の写真を撮る。１枚目は従来型のＲＧＢ画像であり、２枚目は、同じカメラだが、カメラの光学系の前に配置されたカラーフィルタを用いて撮影された画像である。クロマジェニック概念は、例えば、一般論として、３個よりも多くのセンサを備えたカメラがクロマジェニック・カメラとして認識されるなど、他のカメラ構造にも拡張される（文献５，８参照）。過去の研究は２つの結果を示す。第１に、ＲＧＢとフィルタ処理済のＲＧＢとの関係は照明に依存し、相異なる光は相異なる関係をもたらすという点である。第２に、（事前に計算された）関係だけを利用すると、シーンに存在する光の色の推定が可能という点である。さらに、クロマジェニック手法が、他の方法よりも発光体の色を正確に推定することが分かった（文献７）。クロマジェニック手法が単一の優勢光照明の推定問題で平均的に良く動作する一方、複数の光の検出には直接に適用できない。実際、入力ピクセルのごく一部だけを使った場合、照明推定のクロマジェニック・アルゴリズムの性能は低下する。従って、入力ピクセルの多くが別の光で照らされると、クロマジェニック照明推定の精度は低下する。
【００２１】
本願では、我々は、相異なるＮ個の照明について、ＲＧＢをフィルタ処理済の対応物にもっともらしくマッピングするであろうＮ個の関係からなる集合Ｒを、特定のカメラについて事前に計算することだけを想定した。実際に、新しく提供された画像にｍ個の光が存在するのであれば、本発明によって、我々のデータを最も良く予測するｍ個の関係からなる集合を見つけられる。ここで、各ピクセルまたは領域は、これらをフィルタ処理済の対応物に最も良くマッピングする関係（ｍ個のうちの１つ）に関連付けられる。このカメラ用に確立されたＮ個の事前に計算された関係を用いて、これらのｍ個の関係が見つかる。ひとたび見つかったら、同じ関係に関連付けられたピクセル又は領域は、同一光の下で照らされたと想定される。もちろん、ｍ個の関係の部分集合だけが使用されることを判明した場合は、当初の仮説よりも少数の光が存在するとの結論に至る。実際にｍ個よりも少ない光が存在する場合、アルゴリズムがその事実を報告するならば、合理的に実行するアルゴリズムは任意の所与のシーンにｍ個の光が存在することを想定できるだけなので、これは重要なポイントである。例えば、多くの環境で、２個以下の光が存在することを想定すれば十分である。２つの光が存在する場合には２つの光を検出するが、シーンが単一光で照らされる場合に単一照明を検出する方法を求める。
【００２２】
添付の図面を参照しながら、本発明の好適な実施形態を例示の形で説明する。
【図面の簡単な説明】
【００２３】
【図１】本発明の好適な実施形態による方法を説明する図である。
【図２ａ】原画像を示す図である。
【図２ｂ】本発明の方法によって取得した推定照明を示す図である。
【図３ａ】本発明による画像の初期分割を示す図である。
【図３ｂ】図２ｂ及び図３ａが示す情報を使った領域ベースの光源検出手順の結果を示す図である。
【発明を実施するための形態】
【００２４】
本発明による方法を図１に概略的に示す。（ここではスカラー乗法因子である１，１／３，１／２で表される）事前に計算されたマッピングをフィルタ未処理のピクセル値｛３，４｝に適用し、フィルタ処理済の対応物｛１，２｝に最良に合致させる。ここで、この例示の目的に沿って、単一の数字で表される２つの領域を有する極めて単純な画像を用いる（この画像はおそらく、地上を飛行中の飛行機の投影された影である）。一番上の画像Ｉは、影を表す"３"をラベル付けされた領域を有する。この図表示では、本発明の方法が実際に使用するだろう色を用いたアルゴリズムの説明はしない。その代わり、説明を分かりやすくするために、各ピクセルが１つのスカラー値になるように単純化した。図１で、ラベル‘１’、‘２’、‘３’、‘４’は、各領域に対するラベルであり、ピクセル値でもある。例えば、画像Ｉの陰影領域において、画像ピクセルのスカラー値は数字の３である。同様に２つの領域を有する対応のフィルタ処理済の画像は、領域‘１’、‘２’を有するように示され、ＩFで示される。
【００２５】
これらのスカラー値画像において、フィルタ未処理のピクセル値からフィルタ処理済のピクセル値へのマッピングからなる事前に計算された集合
は、単純に、Ｎ個の光源のそれぞれに１つずつであるＮ個のスカラーからなる集合である。この例では、３つの光に対してＮ＝３個のマッピングからなる集合を事前に決定し、フィルタ未処理のカメラ応答からフィルタ処理済のカメラ応答へのマッピングが３個のスカラー｛１，１／３，１／２｝で与えられると仮定する。右手側に、これら３個の取りうるマッピングを示す。最初のマッピングが‘＊１’で示され、＊１は、画像ピクセルを１倍して対応のフィルタ処理済の出力を予測できることを意味する。その他も同様である。（一般の場合にマッピングである）３個の倍率が存在するので、‘3Ｃ2’＝Ｎ！／((Ｎ−２)！２！)＝３！／(１！２！)＝３通りの取りうる組み合わせが２個のマッピングに関して存在する。図では、これらのマッピング集合をＡ、Ｂ、Ｃでラベル付けする。次に、これらのマッピング集合を１つずつ順番に適用する。例えば、候補マッピングである＊１と＊１／３とからなる集合Ａをテストするならば、まず、画像全体Ｉに＊１を適用し、実際に観察されたフィルタ応答ＩFとの誤差を比較し、画像全体Ｉに＊１／３も適用し、フィルタ応答ＩFとの誤差を比較する。２個のマッピング＊１，＊１／３で構成されるこのマッピングＡにおいて、ピクセルレベルで誤差が最小のピクセルは、第１マッピング又は第２マッピングと関連付けるようにラベル付けされる（領域全体との関連付けは後述する）。
【００２６】
代替マッピングＢ、すなわち、スカラー乗数集合｛＊１／３，＊１／２}と、代替マッピングＣ、すなわち、スカラー乗数集合｛＊１，＊１／２｝とを上記の通り実行する。ここで、どのマッピングが全体的に最良かを決定するための方法を判定する。Ａをラベル付けされた線を辿ると、このマッピング集合の良さの推定を伴う計算が見える。画像Ｉの入力ピクセル３に対して、マッピング集合Ａから＊１又は＊１／３のどちらか一方のマッピングを適用できる。各マッピングを順番に適用して、図１の左端の２個の葉ノードに到達する：実際のピクセル応答を減算することで、実際に観察されたフィルタ処理済の画像ＩFから予測フィルタ応答の計算誤差を算出する（すなわち、ピクセル値にマッピングを適用する）。この例では、３＊１−１及び３＊１／３−１（それぞれ、領域‘１’にマッピングされた領域‘３’のピクセル誤差について、誤差２及び０に等しい）を計算する。０は２よりも小さいので、このピクセルに関連付けるものとしてマッピング＊１／３が選択される。木ノードの左から２番目のペアに移り、第２ピクセル‘４’について同様の手順を行う。ここでも、＊１／３が実際のフィルタ出力をより良く予測する（が、正確ではない）ことが分かる。関係集合Ａのみに基づいて、ピクセル‘３’と‘４’との両方とも同一の関係＊１／３を用いて対応するフィルタ処理済の対応物に最良にマッピングされるとの結論に達する。そこで、この段階では、両方のピクセルが同一の光の下で撮像されたと結論付ける。関係集合Ａが我々のデータを全体的に最良にモデル化するならば、２つの光が存在したという我々の仮説は誤りということになる（ただ１つの関係が存在することが分かり、従って、１つの光が存在することが分かった）。
【００２７】
ツリーの残りの解析を進めるうちに、真ん中の関係枝（関係集合Ｂ）のときに、予測応答と実際の応答との絶対差の総計が最小であることがわかる。（この単純な例では、実際に絶対差はちょうどゼロである。）さらに、ピクセル'３'と'４'とがそれぞれ、＊１／３と＊１／２という２つの相異なる関係でマッピングされることがわかる。そのため、この場合に、各ピクセルが異なる発光体で撮像されるとの結論に至る。この例は単純であるが、これが、本質的に、本発明の重要な工程を成す。
【００２８】
もちろん、実際の画像処理では、画像はｋ個のピクセルまたは領域を有する。対応のフィルタ処理済の対応物と同様に、各ピクセルは典型的にＲＧＢトリプレットによって表現される。カメラ応答がフィルタ処理済の対応物にどのようにマッピングされるかを予測する関係は、スカラー関数でなく多次元関数である。例えば、関係は、３×３行列変換、又はより複雑な非線形マッピングでありうる。さらに、図１に示すものよりも多数のマッピング（我々の実験では、Ｎ＝５０から１００を使用）が存在し、それ故、考慮すべきより多くのマッピング集合が存在する。しかし、本質的に計算は同じである。画像の全てのピクセル又は領域について、ＲＧＢをフィルタ処理済の対応物に最良にマッピングするマッピング（ｍ＝２を検討するならば、２個のマッピングからなる集合に属する）を見つける。次に、画像全体の予測誤差を計算する。この処理は全ての取りうるマッピング集合について反復される。画像ＲＧＢからフィルタ処理済の対応物を最良に予測するマッピング集合は、相異なる光で照らされる領域に画像を直接に分割するために用いられうる。本発明によれば、同じマッピングに割り当てられたピクセル又は領域は、同一の光で照らされると想定される。
【００２９】
フィルタ未処理の応答からフィルタ処理済の応答への利用可能な事前に計算されたマッピングを有しないならば、２つの画像間の最良マッピングを探し、見つかったマッピングの下で最良に変換される過半数のピクセルを１つのラベルに割り当て、その他のピクセル全てを第２ラベルに割り当てることで、クロマジェニック（chromagenic）アイデアをなおも得ることができる。例えば、少なくとも画像の半分（プラス１ピクセル）がそのマッピングと大よそ関連しているとの前提で、‘ロバスト’な統計処理により、一方の画像から他方の画像への最良のマッピングを見つける。正しく関連付けられていないピクセルは‘異常値’であり、第２ラベルに属する。事実に、ロバストマッピングは、階層的に進めることが可能であり、第２ラベル領域で最良なマッピングを発見し、個々のピクセルについて適当なラベルが無くなるまで、下降し続ける。その後に、領域ラベル付けを活用する（後述）。
【００３０】
我々の手法は緻密である：相異なる光で照らされる領域を見つけるためだけにクロマジェニック理論を利用し、照明の色自体を推定しない。これは奇妙に聞こえるかもしれない。結局のところ、各ピクセル又は各領域は単一の関係と関連していて、各関係は、特定の光においてＲＧＢをフィルタ処理済の対応物に転写させるマッピングとして（学習段階で）定義される。ひとたび、どの領域が同一光で照らされているかを識別したら、これらの領域について、光の色も知ることになると結論付ける（誤りかもしれない）。クロマジェニック発光体推定では、シーンに色の多様性があるほど性能が上がる傾向があるため、我々は光の色を知らない。しばしば、陰影で見つけたピクセルの総数は、画像の大きさと比べて、相対的にほんの一部であったりする。このような場合に、フィルタ処理済の対応物へＲＧＢをマッピングする最良の関係は、間違った発光体のためのものかもしれない。光の色の推定を目的とする場合に、これは問題を引き起こす。しかし、ここでは、発光体を区別するための手段としてのみ関係を利用することを目指している。
【００３１】
クロマジェニック理論について述べる。光、反射率、センサを、それぞれ、Ｅ(λ)、Ｓ(λ)、Ｑｋ(λ)とする。ただし、ｋはＲ、Ｇ、Ｂを示す。ランバート面において、像形成は、以下の式で表すことができる。
ここで、積分は可視スペクトルωにわたって評価される。センサ応答ｑkのトリプレットを単一のベクトルに結合することが有益であり、ここでは
で表す（下線は、ベクトル量を示す）。
【００３２】
ここで、光及び表面についての線形モデルを導入する：
ここで、Ｅｉ(λ)（ｉ＝１，…，ＤE）は発光体についての近似基準集合を形成し、Ｓｊ(λ)（ｊ＝１，…，ＤS）は表面についての近似基準集合を形成する。重み
及びσｊはこれらの基準集合に対する特定の光及び表面についての最良適合を形成する。そして、像形成の式（式（１））は以下のように簡潔に表せる。
ここで、
はＲＧＢ応答への３×Ｎ行列マッピング反射率重みである。このライティング行列のｋｊ番目の項は以下の式で与えられる。
【００３３】
色彩恒常の課題に関する１つの定式化は以下の通りである：測定された応答ベクトル
からなる集合を前提として、反射率と照明特性、すなわち
と
とをどのように再生できるか？
【００３４】
式（２）で用いられる光および反射率の線形モデル基準集合は、一般的に、主成分分析（文献９）または固有ベクトル解析（文献１０）を用いて決定される。この場合、モデル次元ＤEとＤSとは３（昼の光）、反射率については６から８であることが分かる。各ピクセルについて３つの測定結果だけがあると仮定して、これらの大規模なモデルでは色彩恒常が解決できるか疑わしい。しかし、式（３）を見ると、像形成は、実際に、反射率重みベクトルを乗算する（光依存の）ライティング行列で予測される。Ｅ(λ)またはＳ(λ)についての知識を有さなくても、式（１）の線形性が保たれていることが分かる。２つの光を加えるならば、それぞれのライティング行列を加える。像形成の見地から見た光と表面の次元性は、Ｎ×１重みベクトルモデルと相互作用するＭ個の３×Ｎライティング行列からなる集合がどの程度良くＲＧＢを観察したかに依存することが分かる。このような論理によって、マリモントとワンデル（Marimont and Wandell）（文献１１）は、ＤE＝３（３個のライティング行列）で、ＤS＝３（反射率の自由度３）のときのみ、像形成の優良なモデル化が可能であることを示した。
【００３５】
モデルの数が少ないため、これは励みになる。しかし、光と反射率を分離できるほどには少なくはない。その理由を明らかにするために、３ｓ個の測定結果と３ｓ＋３個の未知要素をもたらす単一の発光体とｓ個の反射率を有すると仮定した。（互いに乗算されるため）表面明度と発光体輝度との間にスカラー不確定性が存在するとの観察を経て、未知数３ｓ＋２であり、これは、既知数の個数よりさらに少ない：すなわち、３ｓ＜３ｓ＋２である。
【００３６】
しかし、ここで、２つの光の下でのｓ個の表面を観察すると仮定する。２つ又は３つ以上の表面について、６ｓ個の測定結果を有し、未知の個数より既知の個数が多く、６ｓ＞３ｓ＋５である（すなわち、５＝６−１＝２つの光源を３で乗算し、明度不確定性を減算する）。実際、多数の著者が、この場合の色彩恒常問題を代数的に解決できるアルゴリズムを教示している（文献１２，１３，１４）。これらの手法が暗示するのは、３×３線形写像によってＲＧＢが照明を交差してマッピングされるという思考である：
【００３７】
フィンレイソン（文献１４）の考察に基づき、我々は、（シグマ重みを思慮深く選択することで）任意の光の下で常に同一のＲＧＢを生成できるため、３×３線形変換が一意であれば、２つの光の色彩恒常問題を解くことだけを期待できる。実際、大部分のセンサ、光、表面について、単純化された近似モデルにおいては一意性が維持されることが示され、そのため、２つの光の恒常性の問題が解決可能なことが示された。しかし、この手法による不具合の１つは、２つの光の下で見られる同一表面の画像が利用可能であるという要件であり、これは、一般的に、非現実的な要件である。
【００３８】
クロマジェック理論において、２つの相異なる光の下でシーンを撮像するのではなく、カメラの前にフィルタを置き、第２光をシミュレートして、付加的な画像を生成する。新しいフィルタ応答は以下のとおり表せる。
フィルタ処理済の発光体を以下のように定義する。
従って、式（６）は、以下のようになる：
ここで、上付き文字Ｆは、カラーフィルタへの依存を示す。式・計数の見地から、我々は、ここで未知数を解くための既知数を十分に有する。全てのシーンについて、単に、１枚はフィルタ処理済であり、もう１枚はフィルタ未処理である２枚の写真を撮る。文献７が開示するように、ここで重要なのは、光と表面の自由度３が自然を正確に表現できると仮定し、ＲＧＢをフィルタ処理済の対応物へマッピングする変換が発光体色を一意に定義することである。この結果が発光体推定のクロマジェニック理論へと導く。
【００３９】
アルゴリズムは２つの段階で動作する。前処理工程で、Ｎ個の発光体のそれぞれについて１つずつ、ＲＧＢをフィルタ処理済の対応物へマッピングする関係を事前に計算する。例えば、Ｎ個の３×３行列変換からなる集合を見つける。実行フェーズでは、クロマジェニック画像ペア、すなわち１枚がフィルタ未処理であり、もう１枚がフィルタ処理済である２つの画像を撮影する。この新しいテスト・ペアの照明は未知である。そこで、事前に計算された関係をそれぞれ適用し、ＲＧＢをフィルタ処理済の対応物に最良にマッピングする関係を用いてインデックスを作成し、優勢発光体色を推定する（文献７）。
【００４０】
発光体推定のためのクロマジェニック法は以下の通りである。
前処理：Ｎ個の光Ｅi(λ)とｓ個の表面Ｓi(λ)のデータベースについて、
を計算する。ここで、Ｑi及びＱiFはｉ番目の光の下でのｓ個の表面に対するフィルタ未処理のセンサ応答及びフィルタ処理済のセンサ応答の行列を示し、上付き文字＋は、擬似逆を示す（文献１５）。これは最良の最小二乗変換を生成するが、この方法は、最小二乗に限定されず（例えばロバスト法も使用されうる）、線形（すなわち、行列）変換にも限定されない。
実行：新しいテスト画像で、Ｐ個の表面を仮定すると、３×Ｐ測定画像ＲＧＢ行列Ｑ及びＱFを有する。ここで、シーン発光体Ｅest(λ)の最良推定を見つけるタスクは、合計が最小の二乗誤差を生成するＮ個の発光体からなる集合のインデックスｉを発見することで解決する：
このとき、
である。
【００４１】
最も簡単な手法では、変換行列を回帰で定義する（例えば、ムーア・ペンローズ逆数は最小二乗回帰を使用する）ことが注目に値する。従って、３×３行列として実装される発光体関係は、ＲＧＢをフィルタ処理済の対応物に完璧に変換するわけではない。このささやかな不確定性は、後述するように本発明による方法に２つの重要な影響をもたらす。第１に、最良変換を正確に推定するために、多数のテスト表面集合が必要になる（全ての表面に関係を適用することを望むためである）。第２に、小さな表面集合で光の色を推定しようとするならば、発光体を誤って推定する可能性が生じる。紅斑集合の最良変換は、大きな色集合（例えば、赤、緑、白など）の最良変換とは異なるかもしれない。
【００４２】
従って、小さな表面集合しかない画像のクロマジェニック・アルゴリズムを実行する際に、上述したアルゴリズムによって関係を見つけるが、この関係は、実際、間違った光の色を指し示すかもしれない。
【００４３】
本発明による方法の好適な実施形態を以下に記載する。クロマジェニック画像ペア、すなわち、対応するフィルタ処理済の対応物を伴うＲＧＢを仮定して、どのピクセルまたは領域が同一光で照らされるかを判定することができる。以下に、画像にｍ個の光が存在できると仮定して、我々の手法を正式に定義する。実際には、大部分の画像に対してｍ≦２が適当なため、次節で記載される本発明のアルゴリズムの特定の実装を概説する際に、ｍ＝２と設定する。
【００４４】
Ｎ個の光についてクロマジェニック前処理ステップを実行し、ＲＧＢを最良にフィルタ処理済の対応物にマッピングするＮ個の関係
を求めると仮定して始める。しかし、この関係が３×３行列変換であることを必ずしも仮定する必要はなく、一般に、任意の関数
を仮定する。ここで、
は、カラー画像における取りうる整数からなる集合である（例えば、１６ビットのカラーチャンネルでは、
は集合［０．．６５５３６］となる）。ここで、ｍ個の要素からなる部分集合
を選択したと仮定する。各ピクセル又は各領域を順番に取り、ｍ個の関係のうちのどれがＲＧＢをフィルタ処理済の対応物に最良にマッピングするかを判定する。単一の関係を各ピクセル又は各領域に割り当てたら、ｍ個の関係Ｒからなる集合がどの程度良く我々のデータを説明できるかを計算することは単純な問題である。当然、
には取りうるｍ個の要素からなる部分集合Ｒが多く存在する。数学的に、
における全てのｍ個の要素からなる部分集合を
で示し、この集合を
のｍ個要素集合と呼ぶ。次に、全体として画像とフィルタ処理済の対応物との関係を最適に表現する
が（本質的に検索アルゴリズムである）最適化手法で見つけられる。これはｍ個の最良マッピング、従って、ピクセルのｍレベルのラベル付けを効率的に見つける。例えば、ｍ＝２の場合に、これはピクセルの２値ラベル付けになる。このラベル付けは、例えば、影付き領域及び影なし領域から生じてもよい。この最適化を数学的に記載する前に、若干の表記法を導入する必要がある。
とし、Ｉk及びＩFkが画像のｋ番目のピクセル又は領域とそのフィルタ処理済の対応物とを示すとする。関係ｆiは、ｉをラベル付けされた特定の発光体について画像をフィルタ処理済の対応物にマッピングする数学的関数又はコンピュータアルゴリズムと考えることができる。従って、画像領域Ｉkについてｆiが適当な場合に、以下の式が予想されうる。
【００４５】
所与の関係集合Ｒについて、どれがＩFkを最も良く予測するかに基づいて、ｍ個の関係ｆi（ｉ∈１，２，…，Ｎ）の１つのであるＩkを各ピクセル又は各領域に割り当てなければならない。前述したように
は
のｍ個の要素の全ての部分集合を表し、ｉk∈１，２，…，ｍがｍ個の関係のうちｋ番目のピクセル又は領域で最良に適用される関係を示すとき、以下の最適化を解く必要がある。
最適化の概要：
【００４６】
Ｉkが単一ピクセルの場合、||.||は、例えば、ベクトル成分の絶対値の合計または二乗した絶対値の合計の平方根などの単純なスカラー関数である。Ｉkが領域の場合、例えばメジアン偏差のように||.||をよりロバストな測定にする範囲が存在する。
【００４７】
本発明の方法の最終ステップでは、相異なる光に属する相異なる領域として識別することを目指す。最適化（１１）を解いた後、マッピングＲの全体的に最良なｍ個要素集合及びピクセルラベルｉk（ｋ∈１,２,...,ｍ）の最良な集合に到達する。これは、以下に示すように、関係インデックスｉｋによってｍ個の光についてのラベルに領域を直接に関連付ける。ｉk＝１が同一光の下で撮像されたとみなされる場合、全ピクセル又はピクセルのエリアは、‘１’でインデックスされる。同様に、ｉｋ＝２が別の光の下で撮像されたとみなされる場合、全ピクセル又はピクセルのエリアは‘２’でインデックスされる。ｉk＝ｍまで同様である。
【００４８】
本発明の手法を若干、より一般的にするために、ピクセルの点で適合度動作が行われることを許容するが、ライティング・ラベルを領域単位に割り当てる。画像においてｋ（ｋ＝１，２，...，ｎ）でインデックスされたｎ個の領域の割り当てを計算すると仮定する。このようなタスクには多数のアルゴリズムが存在する。こうしたアルゴリズムは分割手順と呼ばれる。Ｉkjがｋ番目の領域におけるｊ番目のピクセルを示すとする。初めに、最小化によって関係ラベルｉkjを割り当てる：
【００４９】
領域主導最適化文：
元になるピクセルとの適合に基づいて領域全体へラベルと割り当てることができる。
ｉk＝bestlabel(｛ｉkj：ｉkj∈Ｉk｝) （１３）
【００５０】
ここで、関数bestlabel()は、領域ＫのピクセルＩkjに割り当てられる高々ｍ個のラベルの全てからどのラベルを領域ｋに割り当てるかを選ぶ必要がある。関数bestlabel()の自明な候補はモード関数である。例えば、Ｉkが１００個のピクセルを有し、これら１００個のうち、９０個が関係ラベルｉを有する場合、モードもｉであり、その領域の全体ラベルもｉとなるべきである。別の候補は、その領域ｋにおいて、フィルタ未処理のピクセルからフィルタ処理済のピクセルへのマッピングでの誤差全体を最小化するラベルであろう。
【００５１】
式（１１）又は式（１２）の最小化は、計算的に労力を要しうることに着目する。計算コストは集合
の濃度に比例する。例えば、
に５０個（典型的な光の範囲を描写するのに合理的な数（文献１６））の関係が存在する場合、ｍ個要素集合
の濃度は５０！／ｍ！(５０−ｍ)！で得られ、ｍ＝２、３、４、５に対して１２２５、１９６００、２３０３００、２１１８１１０に等しい。ブルートフォース検索は、現実的には、小さなｍ（すなわち、ｍ＝２又は３）についてのみ現実的に可能である。
【００５２】
もちろん、全ての取りうるマッピングが
に含まれることを許容すると（例えば、全ての取りうる３×３行列）、我々の解法戦略は、古典的な最適化理論を追随することになる（これは、前述の組合せ手法ではない）。最適化手法では、ｍ個の良い変換の初期の推測から始めて、コスト関数を最小化することで、これらを増加的に更新していく。例えば、広く使用される勾配降下法を採用してもよい。これらの微分最適化は、大域的とは対照的な、局所的な最適解を見つける傾向がある。焼き鈍し法のような発見的方法が大域的最適条件を見つけるために用いられてもよい。
【００５３】
この節の締めとして、照明検出で使用可能な基礎アルゴリズムのその他の変更例を述べる。第１に、３個のＲＧＢセンサと３個のフィルタ処理済の対応物を想定して基礎理論を提示してきたが、本発明の実施形態は、６個の任意センサ応答関数を有する場合にも適用できる（必ずしもフィルタ補正と区別する必要はない）。この場合、関係ｆ()は、初めの３個のセンサ応答を次の３個に最良にマッピングする。さらに、多次元応答データに到達する他の手段を許容する。例えば、本発明の方法は、標準ＲＧＢ画像と、シーンを照らすためにフラッシュを使って撮影した第２画像を想定して陰影を検出できる。一般的に、本発明の方法は、以下の式で得られる任意の撮像条件に適用できる：
ここで、Ｑk(λ)は、センサ応答関数又はフィルタ透過率で乗算されたセンサであってもよい。
と設定することで、シーンに付加されたフラッシュ光の影響を正確にモデル化し、これも本発明に含まれる。
【００５４】
本発明では、センサの数も重要ではない。実際、ｑ個のセンサカメラを想定すると、相異なる光や表面について記録されたセンサ応答のうちのｐ個が関数ｆ()によって残りのｑ−ｐ個の応答に関連するならば、本発明の方法はなおも適用できる。上述した実施形態では、q＝６且つｐ＝３であるが、ｑ及びｐは、ｐ＜ｑを満たす任意の２つの数、ｑ＝７且つｐ＝２やｑ＝３且つｐ＝１でありうる。最後の例について、従来型のＲＧＢカメラでは、上記の方法で青色応答を赤色応答及び緑色応答に関連付けることができるという事実に注目されたい。関係がそれほど強くない（例えば、式（９）の適合が著しい誤差を有する）場合でも、本発明の方法はなおも、ある程度の照明検出を提供する。
【００５５】
さらに、（ｑ個の応答カメラにおいて）最初のｐ個の応答の残りのｑ−ｐ個の応答に関連付ける手段をいくつかの一般的な形に書くことができる。ｑ＝６且つｐ＝３である上記の方法では、３×３行列変換によってフィルタ未処理の応答がフィルタ処理済の応答に関連付けられる。より一般的には、このマッピングは形式
の任意の関数（３次元入力を３次元出力にマッピングする関数）でありうる。任意のｑ（センサの数）及びｐ（依存する応答の数）について、マッピング関数は
となる。
【００５６】
||ｆ(Ｉkq-p)−Ｉkp||（ここで、Ｉq-pとＩpとは、最初のｑ−ｐ個の応答と残りのｐ個の応答とを表し、上付き文字ｋはｋ番目のピクセル又は領域を示す）と記述されていた距離の計算法が法則化できたことを指摘する。これは２通りの方法で達成できる。第１に、例えば、任意の定義の大きさ関数||・||を使用できる。これは、例えば、標準ユークリッド距離であってもよいし、（ミンコフスキー・ファミリーのノルムの１つのような）任意の合理的な距離関数とすることができる。第２に、ｆ(Ｉkq-p)≒Ｉkpであるならば、ｑ次元空間の特定部分にｑ次元ベクトルが存在することを示唆することを観察する。例えば、ｆ()がｐ×(ｑ−ｐ)行列変換のとき、応答のｑ次元ベクトルは、ｑ次元空間に組み込まれたｑ−ｐ次元平面上に存在しなければならない。従って、関係ｆ()を直接に計算し、次に、||ｆ(Ｉkq-p)−Ｉkp||を計算する代わりに、ｑ−ｐ次元平面への応答のｑ次元ベクトルの距離を計算できる。従って、我々の適合関数は||Ｐ(Ｉk)−Ｉk||と書き換え可能であり、Ｐはｑ次元ベクトルをｑ−ｐ次元平面に射影する。射影ベクトルをオリジナルから減算すると適当な距離測定が可能である。
【００５７】
この考えをさらに発展させて、
と書き、これは、Ikの存在が期待されるｑ−ｐ次元平面に直交するｐ次元平面に応答のｑ次元ベクトルを射影する。より一般的には、尺度Ｐ(Ｉk)を計算してもよい。ここで、Ｐは、検討中の発光体について応答ベクトルの可能性が高い場合に小さい数を返す関数である。このとき、Ｐは例えば、何らかの確率的尺度であってもよい。
【００５８】
本発明の好適な実施形態によれば、前処理ステップで、所与の光について所与の応答のｑ次元ベクトルが生じる適合（fit）または尤度を判定できる。これは、所与のテスト集合についてＲＧＢをフィルタ処理済の対応物に最良にマッピングする３×３行列であってもよい。または、上述の別の実施形態について、形式
の最良の関係を事前に計算できる。さらに、応答ベクトルの位置を直接に使用する場合、最良の適合面を事前計算することもできるし、相異なる光の下で所与のｑ次元ベクトルが発生する尤度と考えられる確率モデルを事前に計算することもできる。一方、画像統計を用いて、所与の光で所与の応答のｑ次元ベクトルが発生する適合または尤度を単一画像内で計算可能なことに気付いたので、これも本発明に含める。例えば、ＲＧＢをフィルタ処理済の対応物にする３×３線形写像の場合について、ちょうど２個の光がシーンに存在する場合、ロバスト統計を用いて、画像データを最良に説明する変換ペアを見つけることができる（どの光が存在するかによって、ペアの一方が各ピクセルに適用される）。画像の少なくとも５０％＋１個のピクセルをフィルタ処理済の対応物にマッピングする最良の３×３行列を見つける。残りのピクセルは異常値として扱い、個別に適合されうる。正常値及び異常値は、相異なる光によって画像のどの部分が照らされるかを判定する。我々の実験は、この場合に良好な照明検出を示す。さらに、原理上、標準的な技術を用いて、距離尺度の全ての相異なる組み合わせと、上述した適合関数とを画像データ自身で学習させることができる。
【００５９】
要約すると、本発明の方法によれば、カメラで測定された応答のｑ次元ベクトルの位置が照明の影響を強く受け、反射率の影響が弱ければ、その光の下で発生するこの応答の尤度を測定するためにｑ次元空間における位置を使用できる。（線形関数または非線形関数と任意の距離尺度とを使用する）初めのｑ−ｐ個の応答と最後のｐ個の応答との関係のテストを含む多くの手法でこの尺度が計算されうる。同様に、ｑ次元ベクトルの位置を直接に使用でき、これは、所与の平面への近傍の計算、あるいは、確率的尺度又は他の尺度の計算を含む。所与の光についてｑ次元ベクトルが一致しているかどうかを測定するのに必要な情報は事前に計算が可能であってもよいし、画像自体の統計に基づいて計算されてもよい。
【００６０】
実際の画像を使って、２つの発光体が照らす画像領域を見つける方法を説明する。ほぼ間違いなく、ｍ＝２の場合が最も興味深く、かつ、最も一般的な場合である。多くのシーンが単一の光か２つの光で照らされる。屋外環境ではしばしば単一の光であるが、２個の光がある場合、すなわち、太陽＋空（陰影無し）および空のみ（陰影有り）もしばしばである。同様に、夜間の室内において、単一の白熱電球で部屋を照らすことがある。しかし、日中は、多くのオフィス環境で、デスクの上方からの人工光と窓から差し込む自然光との組み合わせである。実際、ｍが２よりも遥かに多い場合の通常の状況を思いつくのは困難である。
【００６１】
従って、式（１１）に示すアルゴリズムを、ｍ＝２で実行する。この場合に、５０個の３×３行列変換からなる集合
を生成することから始める。これらの変換は、（線形画像（未処理ロー画像）を出力する）ニコンＤ７０カメラを使って、カラーフィルタ無しと有りとで、５０個の光の下で標準色見本表（マクベスカラーチェッカー（文献１７））を１つずつ撮像することで計算した。毎日出会う典型的な光を代表するものとして５０個の光を選択した。これは、青空のみ、青空＋太陽、雲に覆われた空、蛍光灯、白熱照明を含む。マクベスカラーチェッカーは２４個の相異なる色のパッチを含む。そこで、２４個のフィルタ未処理のＲＧＢをフィルタ処理済の対応物に回帰させることで、各３×３変換の解を得た。
【００６２】
ここでアルゴリズムを実行する。最初のパスで、式（１１）を用いて、ピクセルベースの最適化アルゴリズムの使用から始める。２個集合
、すなわち２個の要素を有する
のすべての部分集合からなる集合を計算する。５０個の変換が存在するので、‘50Ｃ2’に等しい１２２５個の組合せが存在する。３×３行列の特定ペアを含む所与の関係集合Ｒについて、どの行列が各画像ピクセルをフィルタ処理済の対応物に最良にマッピングするかをテストする。この過程で、写像されたＲＧＢと実際のフィルタ応答との齟齬又は誤差を計算する。２つの光（それ故、２つのマッピング）の１２２５通りの組合せのすべてについてこの処理を繰り返し、フィルタ未処理の画像をフィルタ処理済の画像に全体として最良にマッピングする変換の１つのペアを決定し、ペアの一方が各ピクセルに適用される。図１は、ちょうど３つの関係（マッピング）が存在し、行列の代わりに、関係が単純なスカラー乗数の場合の処理を示す。図２は、ピクセルレベルで式（１１）を適用した最適化の典型的な結果を示す。図２（ａ）は、原画像を示す。陰影を有するので、シーンにはっきりと２つの光が存在する。これは、ノイズのあるピクセルベース検出を表す。
【００６３】
各ピクセルに単一変換が適用されるため、この処理の出力を二値画像として観測できる。データに最良に適合する行列変換を（第１変換について）‘０’及び（第２変換について）‘１’で表す。シーンに存在する照明の推定を図２（ｂ）に示す。陰影領域と非陰影領域との間に一致が見られるため、本発明のアルゴリズムが有効なのは明らかであるが、完璧からは程遠い。正解に見えるが、高度のノイズの悪影響を受けている。
【００６４】
ここで、式（１２）、続いて式（１３）の最適化で得た領域ベースのラベル割り当てを適用する。平均シフトアルゴリズム（文献１８）または任意の同様のエッジ保存分割アルゴリズムを使って、画像の初期分割を計算する。図３（ａ）は、標準平均シフトアルゴリズムで達成した分割を示す。画像に多数の領域があることに注目されたい。すなわち、我々の目下の目的、すなわち非陰影領域と陰影領域との曖昧さをなくすことに比べて画像を過剰に分割した。入力画像の分割が、相異なる光で照らされる領域を統合しないことを保証したいので、これは重要である（分割の度合いは平均シフトアルゴリズムが使用するパラメータを使って制御可能であり、これはその他のエッジ保存分割アルゴリズムにも適用できる）。
【００６５】
図３（ｂ）に領域ベースの発光体検出手順の結果を示す。図２（ｂ）で得た出力で始める。図３（ａ）の平均シフト分割を使って得られた領域を併用して、式（１３）での出力ラベルの割り当てを行う。この変形では、各領域について‘０’と‘１’との割合を計算し、過半数の数を領域全体に割り当てる。図３（ｂ）に示す結果から、シーンに存在する光のすばらしい分割が得られたことが明らかである。
【００６６】
図３は陰影エリアのクリーンな判定を示す。重要なのは、この単純な照明検出へのアプローチが信頼性の高い良好な結果をもたらしたことである。
【００６７】
画像における照明を分割するための方法を開示してきた。この方法は、フィルタ未処理バージョンからフィルタ処理済バージョンへの画像ペアの事前に決定された変換の使用を含み、クロマジェニック・フィルタが使用される。ｍ個以下の発光体ラベルを有する分割を決定するために、画像ペアに対してｍ個のマッピングからなる集合がピクセルレベルまたは領域レベルで適用され、ラベルの割り当てが最良に生成される。これに代えて、事前に計算されたマッピングを利用できない場合、階層的な手法で画像ペアに適用される回帰または類似の方法によって、ｍ個以下のラベル割り当てを決定できる。一般的に、領域ベースのアプローチは、よりクリーンな照明分割をもたらす。
【００６８】
本明細書で、フィルタ処理済の画像及びフィルタ未処理の画像に言及する場合、相異なるフィルタリング特性を有する画像を含む。相異なるフィルタリングを有する２個のフィルタ処理済の画像を代わりに用いてもよい。あるいは、例えば、相異なるメーカーのカメラなど、単純に２個の相異なるカメラを使ってもよい。特定の例では、従来型のデジタルカメラと黄色フィルタつきのカメラが用いられる。
【００６９】
＜参考文献一覧＞
[1] J. M. Rubin and W. A. Richards. Color vision and image intensities: When are changes material. Biological Cybernetics, 45:215-226, 1982.
[2] M.F. Tappen, W.T. Freeman, and E.H. Adelson. Recovering intrinsic images from a single image. In Advances in Neural Information Processing Systems 15. MIT Press, 2003.
[3] G.D. Finlayson, S.D. Hordley, and M.S. Drew. Removing shadows from images. In ECCV 2002: European Conference on Computer Vision, pages 4:823-836, 2002. Lecture Notes in Computer Science Vol. 2353.
[4] C. Fredembach and G.D. Finlayson. Hamiltonian path based shadow removal. In British Machine Vision Conf, 2005.
[5] G.D. Finlayson and P.M. Morovic. Human visual processing: Beyond 3 sensors. In IEE Int. Conf. on Visual Information Engg. (VIE2005), pages 1-7, 2005.
[6] G.D. Finlayson, S.D. Hordley, and P.M Morovic. Chromagenic filter design. In 10th. Congress of the Int. Colom Assoc. (AIC2005), 2005.
[7] G.D. Finlayson, S.D. Hordley, and P.M Morovic. Colour constancy using the chromagenic constraint. In Computer Vision and Ratt. Rec. (CVPR2005), 2005.
[8] G.D. Finlayson. Image recording apparatus employing a single ccd chip to record two digital optical images. Awarded US Patent, My 06, Pat num 7,046,288.
[9] J.P.S. Parkkinen, J. Hallikainen, and T. Jaaskelainen. Characteristic spectra of Munsell colors. J. Opt. Soc. Am. A, 6:318-322, 1989.
[10] L.T. Maloney and B. A. Wandell. Color constancy: a method for recovering surface spectral reflectance. J. Opt. Soc. Am. A, 3:29-33, 1986.
[11] D. H. Marimont and B. A. Wandell. Linear models of surface and illuminant spectra. J Opt. Soc. Am. A, 9:1905-1913, 1992.
[12] M. D'Zmura and G. Iverson. Color constancy. I. Basic theory of two-stage linear recovery of spectral descriptions for lights and surfaces. J. Opt. Soc. Am. A, 10:2148-2165, 1993.
[13] M. Tsukada and Y. Ohta. An approach to color constancy using multiple images. In Int. Conf. on Computer Vision (ICCV90), 1990.
[14] G.D. Finlayson, M.S. Drew, and B.V. Funt. Diagonal transforms suDce for color constancy. In M. Conf. on Computer Vision (ICCV93), 1993.
[15] G. Strang. Linear Algebra, and its Applications. Harcourst, Brace, Jovanovich, 3rd edition, 1988.
[16] K.Barnard, L. Martin, B.V. Funt, and A. Coath. A data set for colour research. Color Research and Application, 27:147-151, 2002.
[17] CS. McCamy, H. Marcus, and J.G. Davidson. A color-rendition chart. J. App. Photog. Eng., 2:95-99, 1976.
[18] D. Comaniciu and P. Meer. Mean shift: A robust approach toward feature space analysis. PAMI, 24:603-619, 2002.
【特許請求の範囲】
【請求項１】
複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、事前に計算されたｍ個のマッピングからなる集合を前記画像ペアにピクセルレベル又は領域レベルで適用する工程とを有することを特徴とする方法。
【請求項２】
対応する一次応答ベクトルを前提として特定の二次画像応答ベクトルがどの程度良好に予測するかに基づいてｍ個要素集合が選択されることを特徴とする請求項１に記載の方法。
【請求項３】
線形変換を用いて前記画像がマッピングされ、二次画像プリント出力に最も近い出力の新たな集合を生成するｍ個要素集合が選択されることを特徴とする請求項１に記載の方法。
【請求項４】
ｍ個要素集合を選択するために統計分析が用いられることを特徴とする請求項１に記載の方法。
【請求項５】
各ｍ個要素集合が画像にわたって計算され、実際の二次応答とｍ要素個集合で予測されたものとの差が前記画像にわたって合計され、良さが評価され、最良のｍ要素個集合が検索で見つけられることを特徴とする請求項１に記載の方法。
【請求項６】
第１画像はＲＧＢカメラで形成され、第２画像はフィルタ処理済のＲＧＢ対応物に対応することを特徴とする請求項１乃至５の何れか１項に記載の方法。
【請求項７】
第１画像はＲＧＢカメラで形成され、第２画像は１つ以上の相異なるセンサ応答からなる集合に対応することを特徴とする請求項１乃至５の何れか１項に記載の方法。
【請求項８】
前記センサ応答からなる集合はＣＭＹであることを特徴とする請求項７に記載の方法。
【請求項９】
第１画像は少なくとも２つのセンサを備えるカメラで撮影された一次マルチスペクトル画像であり、第２画像は前記カメラの少なくとも１つの別のセンサで撮影された二次マルチスペクトル画像であることを特徴とする請求項１乃至５の何れか１項に記載の方法。
【請求項１０】
第１画像及び第２画像の対応ピクセル又は領域を順番に撮影し、ｍ個の関係からなる集合からのどの関係が第１画像を第２画像に最良にマッピングするかを判定することを特徴とする請求項１に記載の方法。
【請求項１１】
前記画像間のホストマッピングを見つけ、前記見つかったホストマッピングで最良に変換されるピクセルの過半数を第１ラベルに割り当て、その他を第２ラベルに割り当てる工程をさらに有することを特徴とする請求項１に記載の方法。
【請求項１２】
各ピクセル又は各領域についてｍ個の要素の部分集合Ｒの前記ｍ個の関係のどれが前記２つの画像を最良にマッピングするかを判定するＮ個の関係
を形成するために、複数であるＮ個の発光体（ただし、Ｎ＞ｍ）についてクロマジェニック前処理を行う工程をさらに有することを特徴とする請求項１に記載の方法。
【請求項１３】
複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、前記画像間の最良のマッピングを見つける工程と、前記見つかったマッピングの下で最良に変換されたピクセルの過半数を第１ラベルに割り当て、その他を第２ラベルに割り当てる工程とを有することを特徴とする方法。
【請求項１４】
複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、各ピクセル又は各領域についてｍ個の要素の部分集合Ｒの前記ｍ個の関係のどれが前記２つの画像を最良にマッピングするかを判定するＮ個の関係
を形成するために、複数であるＮ個の発光体（ただし、Ｎ＞ｍ）についてクロマジェニック前処理を行う工程とを有することを特徴とする方法。
【請求項１５】
前記画像は、相異なるフィルタリングを有するペアをなす画像であることを特徴とする請求項１乃至１４の何れか１項に記載の方法。
【請求項１６】
前記画像は、ペアをなすフィルタ処理済の画像とフィルタ未処理の画像とであることを特徴とする請求項１５に記載の方法。
【請求項１７】
ｎ＝２であることを特徴とする請求項１乃至１６の何れか１項に記載の方法。
【請求項１８】
ｎ＝３であることを特徴とする請求項１乃至１６の何れか１項に記載の方法。
【請求項１９】
請求項１乃至１８の何れか１項に記載の方法の工程を採用して画像の情報の精度を向上し、それに応じて前記画像の前記情報のレンダリングを調整する方法。
【請求項２０】
画像の照明を検出する手段と、前記画像の処理を調整するために請求項１乃至１９の何れか１項に記載の工程を実行する手段とを備えることを特徴とする画像処理システム。
【請求項１】
複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、事前に計算されたｍ個のマッピングからなる集合を前記画像ペアにピクセルレベル又は領域レベルで適用する工程とを有することを特徴とする方法。
【請求項２】
対応する一次応答ベクトルを前提として特定の二次画像応答ベクトルがどの程度良好に予測するかに基づいてｍ個要素集合が選択されることを特徴とする請求項１に記載の方法。
【請求項３】
線形変換を用いて前記画像がマッピングされ、二次画像プリント出力に最も近い出力の新たな集合を生成するｍ個要素集合が選択されることを特徴とする請求項１に記載の方法。
【請求項４】
ｍ個要素集合を選択するために統計分析が用いられることを特徴とする請求項１に記載の方法。
【請求項５】
各ｍ個要素集合が画像にわたって計算され、実際の二次応答とｍ要素個集合で予測されたものとの差が前記画像にわたって合計され、良さが評価され、最良のｍ要素個集合が検索で見つけられることを特徴とする請求項１に記載の方法。
【請求項６】
第１画像はＲＧＢカメラで形成され、第２画像はフィルタ処理済のＲＧＢ対応物に対応することを特徴とする請求項１乃至５の何れか１項に記載の方法。
【請求項７】
第１画像はＲＧＢカメラで形成され、第２画像は１つ以上の相異なるセンサ応答からなる集合に対応することを特徴とする請求項１乃至５の何れか１項に記載の方法。
【請求項８】
前記センサ応答からなる集合はＣＭＹであることを特徴とする請求項７に記載の方法。
【請求項９】
第１画像は少なくとも２つのセンサを備えるカメラで撮影された一次マルチスペクトル画像であり、第２画像は前記カメラの少なくとも１つの別のセンサで撮影された二次マルチスペクトル画像であることを特徴とする請求項１乃至５の何れか１項に記載の方法。
【請求項１０】
第１画像及び第２画像の対応ピクセル又は領域を順番に撮影し、ｍ個の関係からなる集合からのどの関係が第１画像を第２画像に最良にマッピングするかを判定することを特徴とする請求項１に記載の方法。
【請求項１１】
前記画像間のホストマッピングを見つけ、前記見つかったホストマッピングで最良に変換されるピクセルの過半数を第１ラベルに割り当て、その他を第２ラベルに割り当てる工程をさらに有することを特徴とする請求項１に記載の方法。
【請求項１２】
各ピクセル又は各領域についてｍ個の要素の部分集合Ｒの前記ｍ個の関係のどれが前記２つの画像を最良にマッピングするかを判定するＮ個の関係
を形成するために、複数であるＮ個の発光体（ただし、Ｎ＞ｍ）についてクロマジェニック前処理を行う工程をさらに有することを特徴とする請求項１に記載の方法。
【請求項１３】
複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、前記画像間の最良のマッピングを見つける工程と、前記見つかったマッピングの下で最良に変換されたピクセルの過半数を第１ラベルに割り当て、その他を第２ラベルに割り当てる工程とを有することを特徴とする方法。
【請求項１４】
複数であるｍ個の光源を有する画像を相異なる領域に分割することによって前記画像を処理する方法であって、前記相異なる領域のそれぞれは前記ｍ個の光源の１つだけで照らされ、前記方法は、相異なるスペクトル成分集合を有するペアをなす画像を取得する工程と、各ピクセル又は各領域についてｍ個の要素の部分集合Ｒの前記ｍ個の関係のどれが前記２つの画像を最良にマッピングするかを判定するＮ個の関係
を形成するために、複数であるＮ個の発光体（ただし、Ｎ＞ｍ）についてクロマジェニック前処理を行う工程とを有することを特徴とする方法。
【請求項１５】
前記画像は、相異なるフィルタリングを有するペアをなす画像であることを特徴とする請求項１乃至１４の何れか１項に記載の方法。
【請求項１６】
前記画像は、ペアをなすフィルタ処理済の画像とフィルタ未処理の画像とであることを特徴とする請求項１５に記載の方法。
【請求項１７】
ｎ＝２であることを特徴とする請求項１乃至１６の何れか１項に記載の方法。
【請求項１８】
ｎ＝３であることを特徴とする請求項１乃至１６の何れか１項に記載の方法。
【請求項１９】
請求項１乃至１８の何れか１項に記載の方法の工程を採用して画像の情報の精度を向上し、それに応じて前記画像の前記情報のレンダリングを調整する方法。
【請求項２０】
画像の照明を検出する手段と、前記画像の処理を調整するために請求項１乃至１９の何れか１項に記載の工程を実行する手段とを備えることを特徴とする画像処理システム。
【図１】
【図２ａ】
【図２ｂ】
【図３ａ】
【図３ｂ】
【図２ａ】
【図２ｂ】
【図３ａ】
【図３ｂ】
【公開番号】特開２０１２−２３８３１７（Ｐ２０１２−２３８３１７Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−１５２９７７（Ｐ２０１２−１５２９７７）
【出願日】平成２４年７月６日（２０１２．７．６）
【分割の表示】特願２００９−５３５７９５（Ｐ２００９−５３５７９５）の分割
【原出願日】平成１９年１１月８日（２００７．１１．８）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１２−１５２９７７（Ｐ２０１２−１５２９７７）
【出願日】平成２４年７月６日（２０１２．７．６）
【分割の表示】特願２００９−５３５７９５（Ｐ２００９−５３５７９５）の分割
【原出願日】平成１９年１１月８日（２００７．１１．８）
【出願人】（５０３２６０９１８）アップル インコーポレイテッド (568)
【Ｆターム（参考）】
[ Back to top ]