カラー機器の特性付け方法及び装置、画像色補正方法及び装置、カラー画像データ伝送及び／又は記録方法及び記録媒体
電子カメラによって撮像されたカラー画像のデータに対して色補正を行う色補正方法及び色補正装置は、ニューラルネットワーク、多層パーセプトロンモデル及び／又は強制ニューロ−ファジイ干渉システムモデルを用いて、推定された光源に基づいて、カラー画像を表すデータに対する色補正を決定し、カラー画像を表すデータに対する補正を行う。色補正されたデータを表すデータは、記録又は伝送される。電子カメラによって撮像された画像データを記録するデータ記録方法は、カラー画像を撮像し、そのカラー画像を表すデータを出力し、撮像されたカラー画像の光源を推定し、推定された光源を表すデータを出力し、カラー画像を表すデータと推定された光源を表すデータを記録する。電子カメラによって撮像された画像データを伝送するデータ伝送方法は、カラー画像を撮像し、そのカラー画像を表すデータを出力し、撮像されたカラー画像の光源を推定し、推定された光源を表すデータを出力し、カラー画像を表すデータと推定された光源を表すデータを伝送する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の色補正（color correction）に関し、特に電子カラーカメラ（electronic color camera）により得られるカラー画像の色補正を行い、色補正データを出力（transmission）する色補正方法及び装置（color device characterization）と、カラー画像の色補正データを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、電子カラーカメラによって撮像された画像に対して色補正を行う方法には２つの方法がある。第１の方法は、電子カラーカメラの出力データを、色精度（color accuracy）を高め、電子カラーカメラの出力色空間（output color space）と等しい色空間に直接変換するものである。例えば、電子カラーカメラの出力空間が後述するＹＵＶであるとき、その色補正モデル（color correction model）の入力及び出力空間は、ＹＵＶであるが、その出力されたＹＵＶデータの色精度は高くなっている。以下、この方法を「機器固有色補正（device specific color correction）」と呼ぶ。「ＹＵＶ」は画像伝送においてよく用いられる色表現（color representation）である。「Ｙ」は輝度を表し、「Ｕ」は青から黄を引いた色にほぼ一致する色の要素を表し、「Ｖ」は赤からシアンを引いた色にほぼ一致する色の要素を表している。他の色表現としては、「ＲＧＢ（赤、緑、青）」や、１つの輝度要素と２つの色差要素からなる色空間を表す「ＹＣＣ」がある。上述したＹＵＶは、ＹＣＣ色表現の一例である。ＹＩＱは、ＹＣＣ色表現の他の例であり、ここで、「Ｉ」は黄色っぽい赤から薄い青を引いた色にほぼ一致する色の要素を表し、「Ｑ」は紫から緑色っぽい黄を引いた色にほぼ一致する色の要素を表す。ＹＣｂＣｒ（輝度、色差−青、色差−赤）は、ＹＣＣ色表現の更に他の例である。
【０００３】
色補正の第２の方法は、２つのステップに分割される。第１のステップでは、電子カラーカメラの出力色空間は、一旦元の測色空間（colorimetric space、ＸＹＺ又はＬ＊ａ＊ｂ）に変換される。この測色空間は、国際照明委員会（International Illumination Committee：ＣＩＥ）、元々フランス語で公表されている）によって定められた空間である。測色空間は、人間の目によって認識される自然の物体の色を表現するものである。測色空間で表現された色情報は、電子カラーカメラによって撮像された画像の元の色に一致する。第２のステップにおいて、このような測色空間に変換された色情報は、出力機器（コンピュータのモニタ又はプリンタ）に特化された色空間に変換され、その全体の画像処理操作（entire image path）によって表色的に正確な色表現が実現される。この２つのステップの概念は、国際色彩委員会（International Color Committee：ＩＣＣ）におけるカラープロファイルフォーマット（color profile format）に即しており、このプロファイルフォーマットは、色表現に比較的高い精度が求められるコンピュータの画像処理において広く用いられているフォーマットである。ＩＣＣの概念に基づいた色補正の分野では、中間測色空間（intermediate colorimetric space）は、しばしば「機器独立色空間（device independent color space）」と呼ばれる。したがって、この色補正方法は、「機器独立色補正（device independent color correction）」と呼ばれる。
【０００４】
上述した機器独立色補正を行うためには、電子カラーカメラの色変換の逆写像（inverse function）を求める必要がある。このステップは、電子カラーカメラのための「色補正装置の特性付け（color device characterization）」と呼ばれ、電子カラーカメラによって撮像された画像の色補正を行う際に、このような特性付けが採用される。電子カラーカメラの色変換の逆写像を求める従来の方法は、イメージスキャナ（image scanner）の色変換の逆写像を求めるために広く用いられている方法を応用したものである。ほとんどの電子カラーカメラは、イメージスキャナの信号処理と類似した信号処理を行っているので、この方法は効率的であると考えられている。
【０００５】
ＦＩＧ．１は、イメージスキャナとほとんどの電子カラーカメラの両方において採用されている信号処理を示すブロック図である。ＦＩＧ．１に示すように、イメージセンサカメラ１００のイメージセンサ１０４に入力されるデータを、測色空間ＸＹＺにおけるデータとすると、これらのデータは、入力端子１０１、１０２、１０３にそれぞれ供給される。イメージセンサ１０４の出力空間はＲＧＢであり、イメージセンサカメラ１００の出力空間はＹＣＣである。イメージセンサカメラ１００からの出力データは、それぞれＹデータ、Ｃデータ、Ｃデータに対応している出力端子１１０、１１１、１１２から得られる。
【０００６】
ＦＩＧ．１に示すイメージセンサカメラ１００における色変換の逆写像を近似するために、ＦＩＧ．２に示す単純な逆方向モデル（inverse-model）を用いることができる。ＦＩＧ．２において、各ブロックは、ＦＩＧ．１における対応するブロックの逆変換を行う必要がある。対応するブロックは、１０４と１２４、１５１と１６１、１５２と１６２、１５３と１６３、１０９と１２２である。特に、マトリクス回路（matrix）１０４、１０９は、それぞれマトリクス回路１２４、１２２の逆マトリクス回路である必要がある。通常、１次元ルックアップテーブル（one-dimensional lookup table：１Ｄ−ＬＵＴ）１５１、１５２、１５３によって実現されている階調特性曲線（tone reproduction curve：ＴＲＣ）は、それぞれ１Ｄ−ＬＵＴ１６１、１６２、１６３の逆写像である必要がある。この色補正モデルは、マトリクス回路とＴＲＣからなるため、「ＴＲＣ−マトリクスモデル（TRC-matrix model）」と呼ばれる。
【０００７】
ＦＩＧ．１及びＦＩＧ．２に示すように、イメージセンサ１０４の色変換は、３×３マトリクス回路１２４による線形変換（linear transformation）で近似される。電子カラーカメラの色理論（color science）によれば、イメージセンサのスペクトル解析特性（spectral analysis characteristics）は、ＣＩＥにおいて規定されている等色関数（color matching function）ｘｙｚの線形結合（linear combination）で表されるのが理想であるとされ、これらの関数は、人間の目の色感度を表すスペクトル関数のセット（set）である。全ての電子カラーカメラは、これらの理想的な特性を指標として設計されているため、多くの場合、３×３マトリクス回路は、電子カラーカメラで用いられるイメージセンサを近似することができ、これにより、電子カラーカメラの色変換の逆写像を非常に正確に求めることができる。しかしながら、このＴＲＣ−マトリクスモデル法（TRC-matrix model approach）では、条件により正確な色補正が行えない場合がある。
【０００８】
近似の精度（approximation accuracy）
イメージセンサの色変換を、ＴＲＣ−マトリクスモデルにおける３×３マトリクス回路（ＦＩＧ．２の１２４）でうまく近似することができないとき、正確な色補正を行うことがでなくなる。この状態は、多くの初歩的な電子カラーカメラにおいて生じることがある。また、この状態は、電子カラーカメラの信号処理が、ＦＩＧ．１に示す構成に一致せず、ＦＩＧ．２に示す構成が、もはや電子カラーカメラの逆モデルでないときに生じる。例えば、ＦＩＧ．３は、ＣＭＹＧ（シアン、マゼンタ、イエロー、グリーン、「補色（complementary color）」ともいわれる。）の電子カラーカメラにおいて通常用いられている信号処理を示すブロック図である。一見して、ＦＩＧ．２は、ＦＩＧ．３の信号処理の逆モデルとして機能することができない。また、ＣＭＹＧ電子カラーカメラの信号処理を行うための構造が複雑なため、ＦＩＧ．３に示す回路によって行われる信号処理の単純な逆モデルを構築することは容易ではない。
【０００９】
光源依存性（illuminant dependency）
電子カラーカメラには、それがスチルカメラであるか、静止画を連続して、又は動画を記録するカメラであるかに関わらず、特有の問題、具体的には色変換が光源に依存するという問題がある。イメージスキャナは、いかなる場合でも、ある定まった備え付けの光源を用いて画像を撮像するのに対して、電子カラーカメラは、様々な光源、例えば夜明け、日中又は夕方の屋外、蛍光灯、白熱灯又は他の種類の人工照明を有する屋内、人工照明の組合せ、自然（屋外）照明と人工照明の組合せの下に画像を撮像する。電子カラーカメラには、画像の撮像時の光源を推定する機能があり、その電子カラーカメラにおける光源の推定に基づいて、電子カラーカメラのＲ、Ｇ、Ｂチャンネルのゲイン設定が調整され、最終的な出力画像において白い物体に対してＲ＝Ｇ＝Ｂとなるように調整される。この機能は、「ホワイトバランス調整」と呼ばれ、ゲイン調整は、図示しないが、ＦＩＧ．１のイメージセンサ１０４と１Ｄ−ＬＵＴ１０５の間で行われる。通常、電子カラーカメラの色変換は、ホワイトバランス調整の設定によって変化する。すなわち、電子カラーカメラは、その色変換において光源依存性を有する。これは、電子カラーカメラによって生じる色歪み又はエラーが光源に依存して変化することを意味している。したがって、色補正を高い精度で行うためには、あり得る全ての光源に対応できる電子カラーカメラの色変換の逆写像を用意する必要があるが、それは実質的に不可能である。この問題を解決する１つの方法として、数種類の代表的な光源の下での色変換の逆写像（通常、ＴＲＣ−マトリクスモデル又は３次元ルックアップテーブルのいずれかを用いたＩＣＣ色プロファイルの形で）を複数準備しておく方法がある。そして、ユーザは、どの逆写像が、ユーザが実際に画像を撮像したときの光源に最も適合するかを考えて、予め設けられている（preset）逆変換のセットの中から手動で選択しなければならない。これは、ユーザにとって負担になるばかりか、ユーザが適切に選択しなかった場合には、色補正が正しく行われないことになる。さらに、画像の撮像時の実際の光源が、予め設けられている逆写像の中にない場合にも、色補正が正しく行われないことになる。これがルックアップテーブル（ＴＲＣ−マトリクス）に基づく方法における制約（limitation）である。このルックアップテーブルに基づいた方法における他の制約としては、複数の光源下では色補正が正しく行われないことがある。ＴＲＣ−マトリクスモデル法に代わる方法として、３次元ルックアップテーブル（３Ｄ−ＬＵＴ）がある。この３Ｄ−ＬＵＴは、ＴＲＣ−マトリクスよりも正確であるが、補正モデルのサイズが巨大であり、ＴＲＣ−マトリクスモデル法の場合と同様に、複数の光源下では適切な色補正が行われない。したがって、任意の光源下で、電子カラーカメラによって撮像された画像の色補正を正確に行う方法及び装置が所望されている。
【００１０】
発明の開示 本発明の目的は、様々な光源下で電子カラーカメラによって撮像された画像の色補正を行う色補正方法及び装置を提供することである。
【００１１】
また、本発明の目的は、カラー機器（color device）の特性付け（characterization）を行う方法及び装置を提供することである。
【００１２】
さらに、本発明の目的は、組み合わせられた光源下で電子カラーカメラによって撮像された画像の色補正を行う色補正方法及び装置を提供することである。
【００１３】
さらにまた、本発明の目的は、色補正されたカラー画像を表すデータが記録された記録媒体を提供することである。
【００１４】
さらにまた、本発明の目的は、色補正されたカラー画像を表すデータを伝送するデータ伝送方法を提供することである。
【００１５】
本発明の特徴は、カラー画像を表すデータに対する補正を決定するためのルックアップテーブル法の限界を克服するために、ニューラルネットワークを関数の近似装置として用いることによって、カラー画像に対する色補正を行うことである。
【００１６】
また、本発明の特徴は、カラー画像を表すデータに対する補正を決定するために、ニューラルネットワークの一種である多層パーセプトロン（multilayer perceptron：ＭＬＰ）を用いることによって、カラー画像に対する色補正を行うことである。
【００１７】
さらに、本発明の特徴は、カラー画像を表すデータに対する補正を決定するために、強制ニューロ−ファジイ干渉システム（coactive neuro-fussy inference system：ＣＡＮＦＩＳ）モデルニューラルネットワークの一種である多層パーセプトロン（multilayer perceptron：ＭＬＰ）を用いることによって、カラー画像に対する色補正を行うことである。
【００１８】
さらにまた、本発明の特徴は、複数光源下で、電子カラーカメラによって撮像されたカラー画像に対して自動色補正を行うことである。
【００１９】
さらにまた、本発明の特徴は、画像データをＸＹＺ空間に変換することにより、白色点及びカメラの外での高度な光源の推定による色をより正確に得られることである。
【００２０】
さらにまた、本発明の特徴は、教示データセットを修正又は置き換えることにより、色の恒常性を容易に実現することである。
【００２１】
本発明の利点は、電子カラーカメラによって撮像された画像を、従来のＴＲＣ−マトリクス法で達成できるよりも高い精度で色補正することである。
【００２２】
また、本発明の利点は、電子カラーカメラのユーザが、撮影中や写真の表示及び／又は印刷時に、色補正に時間をかけずに、構図に集中できることである。
【００２３】
本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、ニューラルネットワークを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップとを有する色補正方法を提供する。
【００２４】
また、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、多層パーセプトロンモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップとを有する色補正方法を提供する。
【００２５】
さらに、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、強制ニューロ−ファジイ干渉システムモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップとを有する色補正方法を提供する。
【００２６】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定し、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うニューラルネットワークを備える色補正装置を提供する。
【００２７】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定し、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行う多層パーセプトロンモデルを備える色補正装置を提供する。
【００２８】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定し、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行う強制ニューロ−ファジイ干渉システムモデルを備える色補正装置を提供する。
【００２９】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、ニューラルネットワークを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを記録媒体に記録するステップによって用意される記録媒体を提供する。
【００３０】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、多層パーセプトロンモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを記録媒体に記録するステップによって用意される記録媒体を提供する。
【００３１】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、強制ニューロ−ファジイ干渉システムモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを記録媒体に記録するステップによって用意される記録媒体を提供する。
【００３２】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、ニューラルネットワークを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを伝送するステップを有するデータ伝送方法を提供する。
【００３３】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、多層パーセプトロンモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを伝送するステップを有するデータ伝送方法を提供する。
【００３４】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、強制ニューロ−ファジイ干渉システムモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを伝送するステップを有するデータ伝送方法を提供する。
【００３５】
さらにまた、本発明は、電子カメラによって撮像された画像データを記録するデータ記録方法において、カラー画像を撮像して、画像を表すデータを出力するステップと、撮像されたカラー画像における光源を推定して、推定された光源を表すデータを出力するステップと、画像を表すデータと推定された光源を表すデータとを記録するステップとを有するデータ記録方法を提供する。
【００３６】
さらにまた、本発明は、電子カメラによって撮像された画像データを伝送するデータ伝送方法において、カラー画像を撮像して、画像を表すデータを出力するステップと、撮像されたカラー画像における光源を推定して、推定された光源を表すデータを出力するステップと、画像を表すデータと推定された光源を表すデータとを伝送するステップとを有するデータ伝送方法を提供する。
【００３７】
これらと他の目的、特徴及び利点は、以下の詳細な説明と添付の図面を参照することにより明らかになる。
【００３８】
【発明の実施の形態】
上述した課題を解決するために、ニューラルネットワーク（例えばＭＬＰ）又はＣＡＮＦＩＳニューロ−ファジイモデルが用いられる。本発明は、「機器固有（device specific）」方式と「機器独立（device independent）」方式の両方に応用することができるが、ここで開示している実施の形態では、機器独立の色補正について説明する。なお、ＭＬＰは、良く知られたニューラルネットワークのうちの一種類にすぎない。また、ここでは、ニューラルネットワークについて述べるが、ＭＬＰ又は他の種類のニューラルネットワークを用いることができる。
【００３９】
ＭＬＰを用いた単一の光源での色補正 上述したように、ＴＲＣ−マトリクスモデル（ＦＩＧ．１）を用いた色補正が１つの定まった既知の光源下でも正確に行われないのは、電子カラーカメラが、理想的ではなく（non-ideality）、線形でなく（nonlinearity）、また構造的に複雑であることに起因している。補正の精度を高めるために、ＴＲＣ−マトリクスモデルの代わりに、ＦＩＧ．４Ａに示すニューラルネットワーク又はＦＩＧ．４Ｂに示すＭＬＰモデルを用いることができる。ＦＩＧ．４Ａにおいて、いかなる種類のニューラルネットワーク、例えばＦＩＧ．４ＢのＭＬＰを用いることができる。このニューラルネットワークモデル（例えばＭＬＰ）では、１つの定まった光源に基づいて補正が行われるため、以下、この補正を「単一光源」色補正と呼ぶ。ニューラルネットワーク（例えばＭＬＰ）を用いた色補正モデルは、これまで、色変換が非常に非線形であり、（電子カラーカメラの場合における光源の色に対応した）白色点（white point）が定まっているとされているようなプリンタ等の画像機器にのみ用いられてきた。
【００４０】
ＦＩＧ．４Ａに示すように、画像データは、Ｙ入力端子１、Ｃ入力端子２、Ｃ入力端子３を介してニューラルネットワーク４に入力される。画像データは、電子カラーカメラから供給される。電子カラーカメラの代わりに、再生装置及び／又は伝送媒体から画像データを入力端子１、２、３に供給するようにしてもよい。色補正に必要な光源情報は電子カラーカメラからのみ得られるので、後者の例においては、光源情報は、画像データとともに記録及び／又は伝送されるか、いずれの方法によってニューラルネットワーク４に入力される必要がある。電子カラーカメラからの画像データを伝送又は記録する場合、多くの画像データフォーマットには、イメージプリンタでは使用されない領域又は空間（space）が含まれている。このような領域又は空間は、通常、撮像日、電子カラーカメラの機種又は電子カラーカメラの製造元を記録するために用いることができる。したがって、１つ以上の未使用の領域又は空間を光源情報に割り当てることができ、画像データを光源情報とともに記録及び／又は伝送した後に、その画像データに色補正を施す。
【００４１】
ニューラルネットワーク４は、測色空間ＸＹＺおけるＸ出力端子５、Ｙ出力端子６、Ｚ力端子７を備える。ＦＩＧ．４Ｂに示すように、ＭＬＰは、電子カラーカメラからの出力値（ＲＧＢ又はＹＣＣ）のための、参照符号１１、１２、１３でそれぞれ示される３つの入力ノードＹ、Ｕ、Ｖを備える。また、ＭＬＰは、参照符号１４、１５、１６でそれぞれ示される３つの出力ノードＸ、Ｙ、Ｚを備える。出力ノードＸ、Ｙ、Ｚは、機器独立色補正では測色値（ＸＹＺ又はＬ＊ａ＊ｂ）を、機器固有色補正ではＲＧＢ又はＹＣＣの目標出力値を出力する。これらの測色値又は色補正された出力値は、出力機器の特性付けモデル（characterization model）を介して、プリンタ又は表示モニタ等の画像出力機器に供給される。これらの値は、直接画像出力機器に供給されてもよい。あるいは、これらの値は、符号化及び／又は圧縮された後、記録装置によって磁気ディスク、光ディスク、光磁気ディスク、個体メモリ等の記録媒体に記録されたり、インターネット、電話回線、専用線、無線、光媒体等の伝送媒体を介して伝送される。
【００４２】
ＭＬＰのパラメータを最適化するために、「教示」データ集合（training data set）と呼ばれる入力−出力サンプル集合（a set of input-output samples）が与えられる。入力−出力サンプル集合は、入力ＹＵＶと所望の出力ＸＹＺの対である代表色サンプル（representative color sample）を含んでいる。そして、与えられた課題（task）は、非線形最小二乗の問題（nonlinear least squares problem）として数式で表され、この目的は、所望の出力とそのモデルの出力間の二乗誤差（squared error measure）を最小化することによって、ＭＬＰのパラメータを最適化することである。
【００４３】
二乗誤差である求める関数Ｅ（．）は、残差（residual）ベクトルｒ（θ）を用いて、以下のように表される。
【００４４】
Ｅ（θ）＝（１／２）ｒＴ（θ）ｒ（θ）
パラメータの最適化は、そのモデルによって最終的に所望の出力が得られるように反復して行われる。この反復プロセスは、ニューラルネットワークの分野では「教示」（又は「学習（learning）」）と呼ばれる。
【００４５】
ＭＬＰの近似性能（approximation capacity）は、多くの場合、「教示」データセットとは異なり、パラメータの調整には用いられない「チェック（checking）」データセットと呼ばれるデータセットを用いて評価される。ニューラルネットワーク、特にＭＬＰの１つの重要な利点は、教示データセット以外の入力データに対して解が得られることである。
【００４６】
上述した「機器独立」色補正の問題において、ＭＬＰは、電子カラーカメラの応答信号（例えばＲＧＢ又はＹＣＣ）から測色値（例えばＸＹＺ又はＬ＊ａ＊ｂ）へのマッピングを作成するように学習させられる。「機器固有」色補正の問題において、ＭＬＰの望ましいマッピングは、エラーがある電子カラーカメラの応答信号（ＲＧＢ又はＹＣＣ）から、それに対応する正しいＲＧＢ又はＹＣＣ信号にマッピングすることである。いずれにしろ、これらの入力−出力サンプルは、色空間全体に均一に分布する標準マクベスカラーチェッカ（standard ColorChecker）又はマンセルカラーパッチ（Munsell color patch）を用いて集められる。
【００４７】
なお、ある単一の光源下でデータが集められる場合、課題はいわゆる単一光源の問題となり、この問題はイメージスキャナによって撮像された画像の色補正において偏在するものである。
【００４８】
ＭＬＰを用いた複数の光源での色補正 ＦＩＧ．５に示すように、（画像の撮像時の）任意の光源下で電子カラーカメラによって撮像された画像の色補正を自動的に行うために、ＭＬＰモデルが用いられる。ＭＬＰモデルは、機器独立補正の場合、画像の撮像時に用いられる光源によって、そのマッピング、すなわち電子カラーカメラの逆写像を自動的に調整するように学習させられる。以下、これを「複数光源（multi-illuminant）」色補正と呼ぶ。画像の撮像時にどの光源が用いられたかを正確に知ることは難しいので、ＭＬＰモデルは、電子カラーカメラが内蔵する光源推定データ（すなわちホワイトバランスデータ）を用いる代わりに、ＦＩＧ．５の上部に示すように、例えば光源の色に対して測定されたＲ、Ｇ、Ｂから得られるＲ／Ｇ値及びＢ／Ｇ値を用いる。ＦＩＧ．５において、「パナホワイト」は、日本国大阪の松下電器産業株式会社によって日本で販売されている「白色」蛍光管の商標である。「メロウｄ」は、日本国東京の東芝ライテック株式会社によって日本で販売されている「自然光」タイプの蛍光管の商標である。なお、ＦＩＧ．５の上部（ホワイトバランス面）の代わりにＦＩＧ．１３を用いてもよい。
【００４９】
複数光源に対する色補正において用いられるＭＬＰモデルには、光源情報を入力するためのさらなるノードが必要である。例えば、光源の色度が２つの値のセットで示される場合は、２つのさらなる入力ノードが用いられる。その結果、この課題におけるＭＬＰモデルは、ＦＩＧ．５に示すように、参照符号１７、１８、１９、２０、２１でそれぞれ示される５つの入力ノードＢ／Ｇ、Ｒ／Ｇ、Ｙ、Ｕ、Ｖと、参照符号２２、２３、２４でそれぞれ示される３つの出力ノードＸ、Ｙ、Ｚとを有する。出力Ｘ、Ｙ、Ｚは、変換、正規化、符号化及び／又は圧縮された後、磁気ディスク、光ディスク、光磁気ディスク、個体メモリ等の記録媒体に記録されたり、インターネット、電話回線、専用線、無線、光媒体等の伝送媒体を介して伝送されてる。
【００５０】
本発明の実施の形態では、複数光源の色補正モデルを学習するために、以下のステップが用いられる。
（１）複数の代表的な光源下において、電子カラーカメラからの出力値と、カラーサンプルのセットからの測色値（機器独立補正に対して）とを測定する。ここで、Ｎは、カラーサンプルの数であり、Ｍは、対象とする代表的な光源の数であり、したがって、教示データセットの総量は、Ｎ＊Ｍである。
（２）各光源について、ホワイトバランスを合わせるためのＲＧＢチャンネルのゲインデータを測定するか、又は光源の色に対するＲＧＢチャンネルの信号値を測定する。
（３）測定された３つの値を、例えばＲ／ＧとＢ／Ｇのような２つの色度値（chromaticity value）に変換する。これらのデータは、後述するＣＡＮＦＩＳニューロ−ファジイモデルのためのファジイメンバーシップ関数を構築する方法において、光源情報をより特性付けるために、更なる処理が施される。
（４）上述したように、ＭＬＰは、データセット（１）を用いて学習させられる。同時に、データ（１）が測定されるときの光源情報であるデータセット（３）が入力ノード１７（Ｂ／Ｇ）及び１８（Ｒ／Ｇ）供給される。
【００５１】
上述したステップが完了した後、ＭＬＰモデルは、電子カラーカメラの出力値と光源情報を入力することによって、元の場面の測色値を出力する。電子カラーカメラの色変換における光源依存性は、光源情報を参照することによって自動的に補償される。画像の撮像時に実際に用いられた光源が、ＭＬＰの学習に用いられた代表的な光源のいずれにも一致しないときは、ＭＬＰは、電子カラーカメラの光源間の色変換の逆写像を自動的に近似する。
【００５２】
ＭＬＰモデルの学習法 ＭＬＰは、非線形特性を有しているので、上述したＮＮ非線形の最小二乗の問題を解くための有効な反復法が求められる。多くの試験によって、レベンバーグ−マーカート式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグトラストリージョン（dogleg trust region）の実施がこの問題を解くのに有効であることが分かった。より詳しくは、ドッグレッグ（dogleg）法によって、トラストリージョン（trust region）内での制限されたレベンバーグ−マーカート（Levenberg-Marquardt）ステップの有効な区分的線形近似が導かれる。
【００５３】
ＦＩＧ．６Ａ及びＦＩＧ．６Ｂは、コーシー（Cauchy）ステップとニュートン（Newton）又はガウス−ニュートン（Gauss-Newton）ステップによって描かれた２次元のサブスペースにおいて、ドッグレッグステップがトラストリージョンステップを近似する様子を示している。（ＦＩＧ．６Ａで強調表示されている）区分的線形のくの字形の軌道とトラストリージョンの境界線との接点は、次の３つのステップのうちの１つによって導かれる。
１．制限コーシーステップ
【００５４】
【数１】
【００５５】
トラスト半径（trust radius）Ｒｎｏｗが、上記の式で表されるコーシーステップSＣａｕｃｈｙの長さよりも短いとき、制限コーシーステップは次にように表される。
【００５６】
【数２】
【００５７】
ここで、ｇとＨは、それぞれグラディエントベクトル（gradient vector）とヘシアンマトリクス（Hessian matrix）である。
２．ニュートンステップ トラスト半径が、ニュートンステップの長さ以上であるとき、ニュートンステップは次のように表される。
【００５８】
【数３】
【００５９】
３．ドッグレッグステップ トラスト半径がコーシーステップとニュートンステップとの間の長さであるとき、ドッグレッグステップは次にように表される。
【００６０】
【数４】
【００６１】
モデルの最適化のために、これらのステップのうちの１つが、次のような反復方式によって、反復毎に用いられる。
【００６２】
θｎｅｘｔ =θｎｏｗ+ηd ここで、ｄは方向ベクトルであり、ηはその方向に進む程度を規制する特定の正のステップの大きさである。ＦＩＧ．６Ａのパラメータｈは、次のような単純な計算で求められる。
【００６３】
【数５】
【００６４】
ここで、Pｎｏｗは次のようである。
【００６５】
【数６】
【００６６】
ドッグレッグトラストリージョン法の利点は、そのアルゴリズムを強力にして、最急降下法（全体の収束特性（global convergence property））とニュートン法（速い局部的な収束特性（fast local convergence property））とをスムーズに切り替えられることである。例えば、次のステップが不具合であるとき、ドッグレッグアルゴリズムはそのステップの長さを短くして、単一のトラストリージョン制御に基づいて、そのステップを同時にかつ効果的に最急降下の方向に曲げる。
【００６７】
以下の表１は、単一の光源（Ｄ６５−光源）の問題における３つの代表的な非線形の最適化のアルゴリズムの収束速度を比較している。
【００６８】
【表１】
【００６９】
これは、３つの代表的な学習アルゴリズムにおける、ＴＲＣ−マトリクス式のモデルとＭＬＰモデルとの間の測定されたＸＹＺ値の二乗平均誤差を比較している。なお、最後の列「停止期間（stopped epoch）」において、７個の隠れユニットを用いた（３×７×３）モデルにのみ、必要な実行時間が括弧書きで示されている。表１から明らかなように、単一光源の色補正の問題においては、ドッグレッグ主導のレベンベルグ−マルカルドのアルゴリズムを用いる場合が、表１に示す他の試験された学習法を用いる場合よりも速く収束する。このようなパフォーマンスの比較は、Color device characterization of electronic cameras by solving adaptive networks nonlinear least squares oriblems, Eiji Mizutani (本出願の発明者), Kenichi Nishio (本出願のもう１人の発明者), Naoya Katoh and Michael Blasgen, 8th IEEE International Conference on Fussy Systems (FUZZ-IEEE' 99), Seoul, Korea, August 22-25, 1999で更に論じられている。この論文とその図面は、参考のために添付してある。さらに、ドッグレッグトラストリージョンのアルゴリズムは、Computing Powell's Dogleg Steps for Solving Adaptive Networks Nonlinear Least Squares Problems, Eiji Mizutani(本出願の発明者),8th International Fuzzy Systems Association World Congress (IFSA'99), Hsinchu, Taiwan, August 17-20, 1999とPowell's dogleg trust-region steps with the quasi-Newton augmented Hessian for neural nonlinear least-squares learning, Eiji Mizutani(本出願の発明者), The IEEE International Conference on Neural Networks, Washington D.C., July 10-16, 1999とで更に論じられている。この２つの論文とその図面は、参考のために添付してある。
【００７０】
ＦＩＧ．７は、単一のＭＬＰアプローチと、従来のルックアップテーブルに基づいた（ＴＲＣ−マトリクス）アプローチとのＤ６５光源下での色差を比較している。ここでは、２５個の全ての色差（２４個のマクベスカラーチェッカと１個の「完全な黒」のカラーサンプル）が１０より小さくなければならない。ＭＬＰに基づいた方法では、色差がＤ６５光源下で２５個の全てのカラーサンプルにおいて上限のしきい値（１０に設定されている）を下回っているのに対し、従来のルックアップテーブルに基づいた（ＴＲＣマトリクス）方法ではそのようになっていないことが、ＦＩＧ．７によって明確に示されている。
【００７１】
ＣＡＮＦＩＳニューロ−ファジイモデルを用いた複数光源での色補正 ＣＡＮＦＩＳニューロ−ファジイモデルは、問題に特定された知識に基づいて自動的に「複数光源」での色補正を行うために特に作られており、この問題に特定された知識とは、ファジイif-then規則の集合を表す。具体的には、「IF部」はファジイメンバーシップ関数（ＭＦ）で表され、「THEN部」はローカルエキスパート（local-expert）ＭＬＰによって構築されている。これは、いわゆる「ニューラル規則を持ったＣＡＮＦＩＳ」モデルである。
【００７２】
具体的には、ファジイメンバーシップ関数を構築する方法に関して後述するように、４つのファジイ規則が、ファジイ分割に従って、２次元に変換されたホワイトバランス面上に示されている。その結果のＣＡＮＦＩＳニューロ−ファジイモデルは、ＦＩＧ．８に示すように、４つのファジイＭＦ（各軸に２つずつ）と４つの対応するローカルエキスパートＭＬＰからなる。入力ベクトルは、IF部（ＭＦ）とTHEN部（ＭＬＰ）の次の２つのベクトルに分割される。
【００７３】
１．ファジイＭＦに供給される撮像時の光源情報である２つの入力信号
２．ローカルエキスパートＭＬＰに供給される電子カラーカメラからの出力信号（例えばＹＵＶ）である３つの入力信号
ＣＡＮＦＩＳモデルは、次の式によって、ローカルエキスパートＭＬＰからの出力信号の処理された合計を、最終的な出力ベクトルＡ（例えばＸ、Ｙ、Ｚの色信号）として計算する。
【００７４】
【数７】
【００７５】
ここで、gｉとOｉは、それぞれi番目の発火強度（firing strength）とi番目のＭＬＰの出力ベクトルである。各発火強度は、IF部のＭＦ出力からの出力信号によって求められたものであり、対応するTHEN部のＭＬＰが最終的な出力にどれだけ影響を与えたかを表している。この文脈では、IF部のＭＦの集合は、発火したTHEN部のＭＬＰからの出力を統合した集積部としての役割を果たす。
【００７６】
通常、集積部はベル形の微分可能なファジイＭＦからなっており、その近隣のＭＦと十分な重複部分があるように設定されている。したがって、対応する全てのローカルエキスパートＭＬＰは、Ａの値を導く式によって最終的な出力を出すように補間的に機能する。一方、集積部が重複部分のない長方形のＭＦでできていて、スイッチング部となっている場合、単一のローカルエキスパートＭＬＰのみが最終的な出力に貢献することになる。gｉ値のうちの１つのみが「ユニット」となり、それ以外は全て「０」となる。このような単一の０でないgｉは、ｉ番目の「発火した」ローカルエキスパートＭＬＰと対応している。すなわち、ローカルエキスパートＭＬＰは、補間的というよりむしろ競合的に機能している。換言すれば、ＣＡＮＦＩＳの概念は、スイッチングのような極端なケースを除いて、基本的にファジイＭＦとローカルエキスパートＭＬＰの中の相乗作用にある。
【００７７】
ＣＡＮＦＩＳモデルには、ローカルエキスパートＭＬＰにのみ適切な建設的又はアルゴリズミックな修正を行うだけで、（ファジイ規則が意味のある限界に保たれるように）ファジイＭＦの数を増やさずに、学習能力を増大させることができるという利点がある。例えば、このような修正によって、ＭＬＰの隠れノード／レイヤの数が調整される。なお、THEN部のＭＬＰの隠れ部分が取り除かれると、ＣＡＮＦＩＳモデルはローカルチューニングラジアル基底関数ネットワーク（Radial Basis Function Network：ＲＢＦＮ）モデルとされてもよい。すなわち、ＣＡＮＦＩＳモデルは汎用のローカルチューニングニューラルネットワークと見なされてもよい。
【００７８】
このモデルの欠点を挙げるとすれば、単一のＭＬＰモデルと比較して、構造が複雑で、より多くの学習データが必要であるために学習が遅いことである。したがって、課題が限られた少ない量の学習データのみを有する場合は、単一のＭＬＰモデルを選択する方がよい。複数光源での色補正のためのＣＡＮＦＩＳニューロファジイモデルを学習する方法とともに、ＣＡＮＦＩＳモデルによって得られた実験結果を以下に示す。
【００７９】
線形規則のあるＣＡＮＦＩＳのモデルは、周知の高木−菅野（「ＴＳＫ」又は「菅野式」とも呼ばれる）ファジイ推論モデルと同等である。制御工学の分野では、迅速な応答が重要であるため、このＴＳＫモデルは圧倒的に最も広く用いられているファジイシステムである。この迅速さは、線形規則の実行が非線形規則の実行より遙かに単純であるために計算上の優位があるからである。
【００８０】
ＣＡＮＦＩＳモデリングと線形規則を持ったＣＡＮＦＩＳは、テキストNeuro-Fuzzy and Soft Computing, A Computational Approach to Learning and Machine Intelligence, by Jyh-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizutani(本出願の発明者), Prentice Hall, Upper Saddle River, New Jersey 07458, 1997, third printingの３６９〜４００頁及び５７２〜５９２頁で詳しく説明されている。このページ部分とその図面は、参考のために添付してある。
【００８１】
上述したＣＡＮＦＩＳニューロ−ファジイモデルを用いた複数光源での色補正のためのファジイメンバーシップ関数を構築する方法 ファジイ分割 ＣＡＮＦＩＳニューロ−ファジイモデルでは、ファジイメンバーシップ関数（ＭＦ）がＭＦ入力空間を複数のローカルエキスパートの領域に分割する。したがって、ある特定のローカルエキスパートの領域の中心に近づいたデータはそのほかのローカルエキスパートのパラメータの更新にそれほど影響を受けない。このローカルチューニングの機構によって、「ローカルエキスパート」が主にそれ自体のローカル領域の近辺で局地的に最適に学習することができる。
【００８２】
ＦＩＧ．９に示す複数光源の問題において、ハロゲンの光源の領域のデータは、ホワイトバランス面上の「自然光の光源」曲線の他端にあるＤ９０光源の領域のローカルエキスパートのＭＬＰに大きな影響を与えないようになっている。これらの２つの対極する領域は適切な分割により何かしらの方法で分割されているはずである。ファジイＭＦは、ＦＩＧ．１０に示すように、（「はっきり」ではなく）「あいまい」な方法で、ホワイトバランス面上の光源の領域を分割するのに重要な役割を果たしている。ＦＩＧ．１０において、ハロゲンとＤ６５の２つの代表的な光源が選択され、「自然光の光源」の曲線に対応するＸ軸上の２つのＭＦの最初の中心点が決定される。これは、その曲線におけるその位置が課題の中で重要な特性として選択されていることを意味する。ＦＩＧ．１０におけるＸ軸上の２つの符号「Ａ１」と「Ａ２」は、それぞれ「ハロゲン」と「Ｄ６５」を表しており、ここでは、 Ａ１−ＭＦの値／程度は、その光源が「ハロゲン」の光源にどれだけ近いかを示しており、 Ａ２−ＭＦの値／程度は、その光源が「Ｄ６５」の光源にどれだけ近いかを示している。
【００８３】
１つの特性だけでは、各光源の領域を適切に示すのに十分でないことは明白である。別の重要な特性は、「自然光」の光源と「蛍光」の光源との区別である。したがって、２つの対応するＭＦ（「蛍光」はＢ１で、「自然光」はＢ２）がＹ軸に構築されており、蛍光の光源と自然光の光源との近さを表している。ここでは、 Ｂ１−ＭＦの値は、「蛍光」の光源の曲線にどれだけ近いかを示しており、 Ｂ２−ＭＦの値は、「自然光」の光源の曲線にどれだけ近いかを示している。
【００８４】
このように、ＦＩＧ．９の「混合」の曲線における各混合した光源は、例えば、４０％の自然光の光源と６０％の蛍光の光源からなる光源の場合のように、「自然光」の光源又は「蛍光」の光源に対するメンバーシップの程度によって特性付けされている。ＦＩＧ．９において、「ルピカエース」は、日本国東京の三菱電機株式会社によって日本で販売されている「自然光」タイプの蛍光管の商標である。ＦＩＧ．９とＦＩＧ．１０におけるＸ軸とＹ軸は等しくないため、特定の「非線形」の座標変換が必要である。このような座標変換を以下に示す。
【００８５】
ホワイトバランス面における非線形座標変換 ＦＩＧ．１１は、元のＲ／Ｂ−Ｇ／Ｂのホワイトバランス面における試験的なデータセットの実際のデータ分布を示している。ＦＩＧ．１１をＦＩＧ．１０に合わせるには、適切な座標変換を行う必要がある。まず、単純な目盛の均等化が行われ、ＦＩＧ．１２のようになる。次に、ニューラルネットワーク非線形座標変換が行われ、ＦＩＧ．１３のようになり、ＦＩＧ．１３はＦＩＧ．１０の座標と合うデカルト座標となっている。なお、多くの他の非線形変換でもよい。
【００８６】
非線形座標変換によって、単純な「格子」分割が行われるため、これの重要性は軽視できない。ラジアル基底関数ネットワーク（radial basis function network：ＲＢＦＮ）によってよく作られる「散布」分割には幾つかの利点がある。ＲＢＦＮは、上述したテキストNeuro-Fuzzy and Soft Computing, A Computational Approach to Learning and Machine Intelligenceの２３８〜２４６頁及び３６９〜４００頁、特に３７３頁の図１３．３で詳しく説明されており、このページ部分とその図面は、参考のために添付してある。
【００８７】
更に詳しくは、非線形座標変換には次の利点がある。
１．言語的解釈性は十分に高く保たれ、人間の直感的な理解に合致する。
２．要求される（基礎）関数の数が少なくなる。
【００８８】
利点１は、散布又は樹形の分割の場合には明確な言語的ラベルが各ＭＦにうまく現れないことを示唆している。利点２は、例えば、Ｘ−Ｙ座標面上に９つのローカル領域を作るために、ＲＢＦＮでは９つの基礎関数が必要であるのに対して、ＣＡＮＦＩＳモデルでは６つのＭＦ（各軸に対して３つのＭＦ）が必要であるということを示している。したがって、関数パラメータの総数が異なることになる。分割に関するより詳細な説明は、上述したテキストNeuro-Fuzzy and Soft Computing, A Computational Approach to Learning and Machine Intelligenceの８６、８７頁でなされており、このページ部分とその図面は、参考のために添付してある。
【００８９】
複数光源での色補正のためのＣＡＮＦＩＳニューロ−ファジイモデルの学習法 ＣＡＮＦＩＳニューロ−ファジイモデルを用いた複数光源での色補正に関連して、上述したＣＡＮＦＩＳニューロ−ファジイモデルを学習するために、多くの非線形最適化アルゴリズムを採用してもよい。モデルは、ＦＩＧ．８に示すように、次の２つの主なパラメータの成分からなる。
【００９０】
（１）ファジイＭＦ（IF部）
（２）ローカルエキスパートＭＬＰ（THEN部）
これら２つの成分のパラメータを更新するための最適化アルゴリズムを適用するのには多くの選択肢がある。例えば、次の方法がある。
【００９１】
（方法Ａ）IF部のＭＦとTHEN部のＭＬＰの両方に同じ最適化アルゴリズムを適用する。
【００９２】
（方法Ｂ）IF部のＭＦとTHEN部のＭＬＰに異なる最適化アルゴリズムを適用する。
【００９３】
これらの方法は、システム主体又は構成要素主体のいずれかの方法で実施されうる。システム主体の学習では、ＣＡＮＦＩＳニューロ−ファジイモデルのＭＦとＭＬＰの全ての構成要素は、１つのシステムとして同時に学習させられ、その最終的な出力は上述したようにＡの値を出すための上述した式によって計算される。構成要素主体の学習では、各ＭＦ又はＭＬＰは、独立して調整／学習させられ、全ての構成要素がまとめられてＣＡＮＦＩＳニューロ−ファジイモデルを構成し、その最終的な出力は上述したようにＡの値を出すための上述した式によって計算される。
【００９４】
ＦＩＧ．８を参照して、構成要素主体法についてより詳細に説明すると、各ローカルエキスパートＭＬＰは、通常所望の最終的な出力ベクトルＡ（すなわち、Ｘ、Ｙ、Ｚ）を出力ベクトルOｉとして出力するように学習させられる。一方で、システム主体の学習法では、（上述した）最終的な出力ベクトルＡは所望の３つの値Ｘ、Ｙ、Ｚに合致するようになされているが、各ローカルエキスパートＭＬＰの出力ベクトルOｉは必ずしもそれに近くなくてもよい。すなわち、出力ベクトルOｉは不明でもよい。ＦＩＧ．８には、各ローカルエキスパートＭＬＰの３つの出力ノードがＸ、Ｙ、Ｚによって表されているが、これは、単にどのノードがどの信号と対応しているかを示すためである。
【００９５】
更に、教示データの処理によって次の３つの異なるパラメータ更新モードがある。
【００９６】
（１）オンラインのパターン毎の更新モード （２）ブロック毎の更新モード （３）バッチ更新モード したがって、ＣＡＮＦＩＳモデルへの最適化アルゴリズムの適用方法は多くある。なお、方法Ａと方法Ｂのいずれが用いられるかに関わらず、構成要素主体の学習は、高精度な結果を得るのには疑問がある。これは、上述したようにＡの値を出すための上述した式に依存しているにもかかわらず、ローカルエキスパートＭＬＰの出力は、ファジイＭＦの発火強度から独立して最適化されているからである。したがって、カラー画像の色補正に必要なように、ＣＡＮＦＩＳモデルによって非常に正確な入力／出力マッピングを行うことが必要なときは特に、もう一方のシステム主体の学習のほうが遙かに実用的に重要である。
【００９７】
概して、ニューロ−ファジイシステムにおいて、ＭＦのパラメータと比べるとＭＬＰのパラメータは最適値からかけ離れているという重要な見解が得られる。これは、ファジイＭＦの初期のパラメータは問題に特定された知識に基づいて決定されているのに対して、ローカルエキスパートＭＬＰの初期のパラメータは任意に初期化されているためである。したがって、ＭＦとＭＬＰに対して異なる最適化アルゴリズムを適用する（すなわち、方法Ｂを採用する）こと、特に、ＭＬＰに対してより速いアルゴリズムを、ＭＦに対してより遅いアルゴリズムを適用することが可能である。この考え方での典型的な実施は、ＡＮＦＩＳ（すなわち、線形規則を持った単一出力のＣＡＮＦＩＳモデル）によるハイブリッド学習であり、これは、「線形」の後項（consequent）ファジイシステムに限られるが、速い「線形」の最小二乗と遅い最急降下法との組み合わせである。このようなハイブリッド学習は、上述したテキストNeuro-Fuzzy and Soft Computing, A Computational Approach to Learning and Machine Intelligenceの２１９〜２２０頁及び２２２〜２２３頁で詳しく説明されており、このページ部分とその図面は、参考のために添付してある。
【００９８】
システム主体の学習法による方法Ａは、ニューラル規則を持ったＣＡＮＦＩＳモデルと同じ考え方で考えられてもよい。例えば、「バッチ」モードでＭＦに最急降下法を適用し、「オンラインのパターン毎」のモードでＭＬＰに最急降下法を適用することによるものである。この方策は、次の単純な発見的規則によって改善される。
【００９９】
規則：ファジイＭＦのパラメータを学習段階のうちの初期段階で修正する。
【０１００】
表２は、チェックエラーが縮小されるか又は所定の反復制限数である２００００００にされるとき、ＭＬＰ及びＣＡＮＦＩＳモデルによって得られる４つの代表的な結果を示している。「パラメータ数」欄はパラメータの数を示し、「ＲＭＳＥ」は二乗平均誤差を示している。「不適切なサンプル数」と書かれている欄は最も重要で、色差が上限のしきい値（１０に設定されている）より大きかったカラーサンプルの数を示している。４つのモデルは全て、オンラインのパターン毎の更新モードで、広く用いられている最急降下法を用いて学習させられる。
【０１０１】
【表２】
【０１０２】
実験＃４の結果は、次の発見的規則を用いて得られた。
【０１０３】
規則：ファジイＭＦのパラメータを５０００００回の後に更新し始める。
【０１０４】
出力色空間の選択 本発明の開示では、色補正モデルの出力色空間としてＸＹＺ空間が主に用いられている。先に述べたように、機器独立色補正では、出力色空間はＬ＊ａ＊ｂ又はＸｎＹｎＺｎ（正規化されたＸＹＺ空間）でもよい。機器固有色補正では、カラー画像の撮像機器にとって色補正の出力となるならば、いかなる色空間でもよいし、又はユーザの特定の要求に従って任意に定義された色空間でもよい。出力色空間を変えるには、目標の出力データを色補正モデルの教示データセットに変えるだけで達成される。
【０１０５】
光源への依存性に関して上述したように、光源の色においてＲ＝Ｇ＝Ｂが保たれるように電子カラーカメラの出力値がホワイトバランス補正されている。ＸｎＹｎＺｎとＬ＊ａ＊ｂの色空間も、その定義において同様に動作し、３つの刺激値は光源の色の値によって正規化される。このような色空間は、正規化された色空間と称される。この動作は人間の目の色順応を表している。
【０１０６】
ＦＩＧ．１に示すように、電子カラーカメラの出力値は、ガンマ補正されたＲＧＢに基づいている。Ｌ＊ａ＊ｂの色空間の定義においても同様の動作が行われ、このような色空間は非線形の色空間と見なされる。非線形マッピングは、明度（人間の輝度認識の基準）との相関を表し、色の物理的特性よりむしろ人間の目によって認識された色を説明する。
【０１０７】
ＸＹＺのような正規化されていない線形の色空間は、複数光源色補正モデルの出力色空間として用いられるとき有効である。電子カラーカメラにおいて自動的に行われる光源の推定が間違っているために、電子カラーカメラによって撮像された画像の白色点が間違ってしまうことがある。このような場合のために、色補正モデルの出力空間がＸＹＺである場合は、白色点の補正は、画像の撮像後に電子カラーカメラの外で行われてもよい。出力空間が非線形の色空間である場合は、出力データは白色点の補正を行うためにいったん線形空間に供給されなければならないため、白色点補正はより複雑になる。
【０１０８】
光源への依存性に関して上述したように、電子カラーカメラの色変換は、そのホワイトバランスの設定に基づいて行われる機能である。撮像時の光源の推定が正しくても正しくなくても、電子カラーカメラの色変換は、例えばＲ／ＧとＢ／Ｇといった電子カラーカメラのホワイトバランス情報を参照して独自に決定される。したがって、入力画像の白色点が間違っていても、複数光源色補正モデルから出力されるＸＹＺ値は、元の色の物理的特性を正確に表している。ユーザは、白色点が電子カラーカメラによって撮像された画像において違っていると分かったときは、ユーザはまず、複数光源色補正モデルからのＸＹＺで示される画像データを出力し、次に、撮像時に行うとしたら計算処理上費用がかかりすぎてしまうような洗練された方法を用いて、画像の光源を推定し直すことができる。この方法によって、補正された色空間における画像データに対して再調整が行われるため、白色点だけでなく、その再調整された白色点の周辺に分布された色も正確になる。正規化されていない線形の色空間も、イメージセンサからの出力（生の画像データ）の部分に作られた空間となることができる。
【０１０９】
色の恒常性 画像の撮像時にどの光源が実際に使われても、Ｄ５０（ＣＩＥによって規定されている色温度が５０００Ｋの白色光）のような１つの定まった標準の光源下で画像が撮像されたかのような色を再現する電子カラーカメラを多くのユーザは好むことが知られている。これは、「色の恒常性」の色再現と呼ばれる。ＭＬＰ又はＣＡＮＦＩＳニューロ−ファジイモデルのいずれかを用いて、上述した複数光源色補正モデルの教示データセットを適切に修正することにより、上述した「色の恒常性」を持った色補正が容易に実現される。
【０１１０】
なお、本発明に適用できるニューラルネットワークの一例として、ＭＬＰを挙げているが、ラジアル基底関数ネットワーク（radial basis function network：ＲＢＦＮ）や、モジュラーニューラルネットワーク等の他の種類のニューラルネットワークを用いてもよい。
【０１１１】
また、本発明の各実施の形態はコンピュータ上で動作するソフトウェアとして実行されてもよいし、又はコンピュータ上で動作する画像処理ソフトウェアの機能を果たすものとして実行されてもよい。このような例では、そのソフトウェアによって画像データファイルが開かれてもよいし、また、本発明のどの実施の形態も、ＪＰＥＧ、ＪＩＦ又はＢＭＰフォーマットのファイルのような画像データに適用されて、そのような画像データに対して色補正が行われるようにしてもよい。
【０１１２】
更に、本発明に係る方法及び装置は電子カラーカメラの中のイメージセンサのようなカラー撮像機器の構成要素の特性付けを行うために適用されてもよい。さらにまた、このような特性付けは、そのようなイメージセンサの質が所望のものではない場合にそれを補正するのに用いられてもよい。
【０１１３】
特定の実施の形態のみが詳細に説明されたが、この分野において普通の能力を有する人は、ここで説明したことから逸脱することなく多くの応用が可能であることを十分に理解しているであろう。このような応用は全て、添付の請求項の範囲内に含まれるはずである。
【図面の簡単な説明】
【図１】
ＦＩＧ．１は、イメージスキャナと電子カラーカメラの両方に採用されている信号処理を示すブロック図である。
【図２】
ＦＩＧ．２は、ＦＩＧ．１の信号処理に続いて採用される逆の信号処理を示すブロック図である。
【図３】
ＦＩＧ．３は、補色電子カラーカメラにおいてよく用いられる信号処理を示すブロック図である。
【図４】
ＦＩＧ．４Ａは、電子カメラにおける色変換の逆写像（又はマッピング）の生成にニューラルネットワークを導入した本発明を適用した色補正装置の実施の形態を示すブロック図である。
【図５】
ＦＩＧ．４Ｂは、電子カメラにおける色変換の逆写像（又はマッピング）の生成に多層パーセプトロンを導入した本発明を適用した色補正装置の実施の形態を示すブロック図である。
【図６】
ＦＩＧ．５は、色補正され、出力空間で変換された画像の生成に単一の多層パーセプトロンを導入した本発明を適用した色補正装置の実施の形態を示すブロック図である。
【図７】
ＦＩＧ．６Ａは、コーシー（Cauchy）ステップとニュートン（Newton）ステップによって決定された区分的線形曲線を有し、θＣａｕｃｈｙを通る軌道によってθＮｏｗとθＮｅｗｔｏｎｙとを結ぶドッグレッグ（dogleg）軌道を示す図である。
【図８】
ＦＩＧ．６Ｂは、θＮｏｗに通じており、トラストリージョン（trust regio）内において制限されたレベンバーグ−マーカート（Levenberg-Marquardt）ステップに対する区分的線形近似であるドッグレッグ（dogleg）ステップを示す図である。
【図９】
ＦＩＧ．７は、単一の多層パーセプトロンアプローチと、従来のルックアップテーブルに基づいた（ＴＲＣ−マトリクス）アプローチとのＤ６５光源下での色差の比較を示すグラフである。
【図１０】
ＦＩＧ．８は、本発明を適用したＣＡＮＦＩＳニューロ−ファジイモデルの構成を示す図である。
【図１１】
ＦＩＧ．９は、代表的な光源と、それに関する「自然光」と「蛍光」の曲線を示すグラフである。
【図１２】
ＦＩＧ．１０は、変換されたホワイトバランス面での４つのベル形のメンバーシップ関数によるあいまいな分割を示すグラフである。
【図１３】
ＦＩＧ．１１は、ホワイトバランス面の元の座標におけるデータ分布を示す図である。
【図１４】
ＦＩＧ．１２は、ホワイトバランス面の正規化された座標におけるデータ分布を示す図である。
【図１５】
ＦＩＧ．１３は、ホワイトバランス面の変換された座標におけるニューラルネットワークによって変換されたデータ分布を示す図である。
【０００１】
【発明の属する技術分野】
本発明は、画像の色補正（color correction）に関し、特に電子カラーカメラ（electronic color camera）により得られるカラー画像の色補正を行い、色補正データを出力（transmission）する色補正方法及び装置（color device characterization）と、カラー画像の色補正データを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、電子カラーカメラによって撮像された画像に対して色補正を行う方法には２つの方法がある。第１の方法は、電子カラーカメラの出力データを、色精度（color accuracy）を高め、電子カラーカメラの出力色空間（output color space）と等しい色空間に直接変換するものである。例えば、電子カラーカメラの出力空間が後述するＹＵＶであるとき、その色補正モデル（color correction model）の入力及び出力空間は、ＹＵＶであるが、その出力されたＹＵＶデータの色精度は高くなっている。以下、この方法を「機器固有色補正（device specific color correction）」と呼ぶ。「ＹＵＶ」は画像伝送においてよく用いられる色表現（color representation）である。「Ｙ」は輝度を表し、「Ｕ」は青から黄を引いた色にほぼ一致する色の要素を表し、「Ｖ」は赤からシアンを引いた色にほぼ一致する色の要素を表している。他の色表現としては、「ＲＧＢ（赤、緑、青）」や、１つの輝度要素と２つの色差要素からなる色空間を表す「ＹＣＣ」がある。上述したＹＵＶは、ＹＣＣ色表現の一例である。ＹＩＱは、ＹＣＣ色表現の他の例であり、ここで、「Ｉ」は黄色っぽい赤から薄い青を引いた色にほぼ一致する色の要素を表し、「Ｑ」は紫から緑色っぽい黄を引いた色にほぼ一致する色の要素を表す。ＹＣｂＣｒ（輝度、色差−青、色差−赤）は、ＹＣＣ色表現の更に他の例である。
【０００３】
色補正の第２の方法は、２つのステップに分割される。第１のステップでは、電子カラーカメラの出力色空間は、一旦元の測色空間（colorimetric space、ＸＹＺ又はＬ＊ａ＊ｂ）に変換される。この測色空間は、国際照明委員会（International Illumination Committee：ＣＩＥ）、元々フランス語で公表されている）によって定められた空間である。測色空間は、人間の目によって認識される自然の物体の色を表現するものである。測色空間で表現された色情報は、電子カラーカメラによって撮像された画像の元の色に一致する。第２のステップにおいて、このような測色空間に変換された色情報は、出力機器（コンピュータのモニタ又はプリンタ）に特化された色空間に変換され、その全体の画像処理操作（entire image path）によって表色的に正確な色表現が実現される。この２つのステップの概念は、国際色彩委員会（International Color Committee：ＩＣＣ）におけるカラープロファイルフォーマット（color profile format）に即しており、このプロファイルフォーマットは、色表現に比較的高い精度が求められるコンピュータの画像処理において広く用いられているフォーマットである。ＩＣＣの概念に基づいた色補正の分野では、中間測色空間（intermediate colorimetric space）は、しばしば「機器独立色空間（device independent color space）」と呼ばれる。したがって、この色補正方法は、「機器独立色補正（device independent color correction）」と呼ばれる。
【０００４】
上述した機器独立色補正を行うためには、電子カラーカメラの色変換の逆写像（inverse function）を求める必要がある。このステップは、電子カラーカメラのための「色補正装置の特性付け（color device characterization）」と呼ばれ、電子カラーカメラによって撮像された画像の色補正を行う際に、このような特性付けが採用される。電子カラーカメラの色変換の逆写像を求める従来の方法は、イメージスキャナ（image scanner）の色変換の逆写像を求めるために広く用いられている方法を応用したものである。ほとんどの電子カラーカメラは、イメージスキャナの信号処理と類似した信号処理を行っているので、この方法は効率的であると考えられている。
【０００５】
ＦＩＧ．１は、イメージスキャナとほとんどの電子カラーカメラの両方において採用されている信号処理を示すブロック図である。ＦＩＧ．１に示すように、イメージセンサカメラ１００のイメージセンサ１０４に入力されるデータを、測色空間ＸＹＺにおけるデータとすると、これらのデータは、入力端子１０１、１０２、１０３にそれぞれ供給される。イメージセンサ１０４の出力空間はＲＧＢであり、イメージセンサカメラ１００の出力空間はＹＣＣである。イメージセンサカメラ１００からの出力データは、それぞれＹデータ、Ｃデータ、Ｃデータに対応している出力端子１１０、１１１、１１２から得られる。
【０００６】
ＦＩＧ．１に示すイメージセンサカメラ１００における色変換の逆写像を近似するために、ＦＩＧ．２に示す単純な逆方向モデル（inverse-model）を用いることができる。ＦＩＧ．２において、各ブロックは、ＦＩＧ．１における対応するブロックの逆変換を行う必要がある。対応するブロックは、１０４と１２４、１５１と１６１、１５２と１６２、１５３と１６３、１０９と１２２である。特に、マトリクス回路（matrix）１０４、１０９は、それぞれマトリクス回路１２４、１２２の逆マトリクス回路である必要がある。通常、１次元ルックアップテーブル（one-dimensional lookup table：１Ｄ−ＬＵＴ）１５１、１５２、１５３によって実現されている階調特性曲線（tone reproduction curve：ＴＲＣ）は、それぞれ１Ｄ−ＬＵＴ１６１、１６２、１６３の逆写像である必要がある。この色補正モデルは、マトリクス回路とＴＲＣからなるため、「ＴＲＣ−マトリクスモデル（TRC-matrix model）」と呼ばれる。
【０００７】
ＦＩＧ．１及びＦＩＧ．２に示すように、イメージセンサ１０４の色変換は、３×３マトリクス回路１２４による線形変換（linear transformation）で近似される。電子カラーカメラの色理論（color science）によれば、イメージセンサのスペクトル解析特性（spectral analysis characteristics）は、ＣＩＥにおいて規定されている等色関数（color matching function）ｘｙｚの線形結合（linear combination）で表されるのが理想であるとされ、これらの関数は、人間の目の色感度を表すスペクトル関数のセット（set）である。全ての電子カラーカメラは、これらの理想的な特性を指標として設計されているため、多くの場合、３×３マトリクス回路は、電子カラーカメラで用いられるイメージセンサを近似することができ、これにより、電子カラーカメラの色変換の逆写像を非常に正確に求めることができる。しかしながら、このＴＲＣ−マトリクスモデル法（TRC-matrix model approach）では、条件により正確な色補正が行えない場合がある。
【０００８】
近似の精度（approximation accuracy）
イメージセンサの色変換を、ＴＲＣ−マトリクスモデルにおける３×３マトリクス回路（ＦＩＧ．２の１２４）でうまく近似することができないとき、正確な色補正を行うことがでなくなる。この状態は、多くの初歩的な電子カラーカメラにおいて生じることがある。また、この状態は、電子カラーカメラの信号処理が、ＦＩＧ．１に示す構成に一致せず、ＦＩＧ．２に示す構成が、もはや電子カラーカメラの逆モデルでないときに生じる。例えば、ＦＩＧ．３は、ＣＭＹＧ（シアン、マゼンタ、イエロー、グリーン、「補色（complementary color）」ともいわれる。）の電子カラーカメラにおいて通常用いられている信号処理を示すブロック図である。一見して、ＦＩＧ．２は、ＦＩＧ．３の信号処理の逆モデルとして機能することができない。また、ＣＭＹＧ電子カラーカメラの信号処理を行うための構造が複雑なため、ＦＩＧ．３に示す回路によって行われる信号処理の単純な逆モデルを構築することは容易ではない。
【０００９】
光源依存性（illuminant dependency）
電子カラーカメラには、それがスチルカメラであるか、静止画を連続して、又は動画を記録するカメラであるかに関わらず、特有の問題、具体的には色変換が光源に依存するという問題がある。イメージスキャナは、いかなる場合でも、ある定まった備え付けの光源を用いて画像を撮像するのに対して、電子カラーカメラは、様々な光源、例えば夜明け、日中又は夕方の屋外、蛍光灯、白熱灯又は他の種類の人工照明を有する屋内、人工照明の組合せ、自然（屋外）照明と人工照明の組合せの下に画像を撮像する。電子カラーカメラには、画像の撮像時の光源を推定する機能があり、その電子カラーカメラにおける光源の推定に基づいて、電子カラーカメラのＲ、Ｇ、Ｂチャンネルのゲイン設定が調整され、最終的な出力画像において白い物体に対してＲ＝Ｇ＝Ｂとなるように調整される。この機能は、「ホワイトバランス調整」と呼ばれ、ゲイン調整は、図示しないが、ＦＩＧ．１のイメージセンサ１０４と１Ｄ−ＬＵＴ１０５の間で行われる。通常、電子カラーカメラの色変換は、ホワイトバランス調整の設定によって変化する。すなわち、電子カラーカメラは、その色変換において光源依存性を有する。これは、電子カラーカメラによって生じる色歪み又はエラーが光源に依存して変化することを意味している。したがって、色補正を高い精度で行うためには、あり得る全ての光源に対応できる電子カラーカメラの色変換の逆写像を用意する必要があるが、それは実質的に不可能である。この問題を解決する１つの方法として、数種類の代表的な光源の下での色変換の逆写像（通常、ＴＲＣ−マトリクスモデル又は３次元ルックアップテーブルのいずれかを用いたＩＣＣ色プロファイルの形で）を複数準備しておく方法がある。そして、ユーザは、どの逆写像が、ユーザが実際に画像を撮像したときの光源に最も適合するかを考えて、予め設けられている（preset）逆変換のセットの中から手動で選択しなければならない。これは、ユーザにとって負担になるばかりか、ユーザが適切に選択しなかった場合には、色補正が正しく行われないことになる。さらに、画像の撮像時の実際の光源が、予め設けられている逆写像の中にない場合にも、色補正が正しく行われないことになる。これがルックアップテーブル（ＴＲＣ−マトリクス）に基づく方法における制約（limitation）である。このルックアップテーブルに基づいた方法における他の制約としては、複数の光源下では色補正が正しく行われないことがある。ＴＲＣ−マトリクスモデル法に代わる方法として、３次元ルックアップテーブル（３Ｄ−ＬＵＴ）がある。この３Ｄ−ＬＵＴは、ＴＲＣ−マトリクスよりも正確であるが、補正モデルのサイズが巨大であり、ＴＲＣ−マトリクスモデル法の場合と同様に、複数の光源下では適切な色補正が行われない。したがって、任意の光源下で、電子カラーカメラによって撮像された画像の色補正を正確に行う方法及び装置が所望されている。
【００１０】
発明の開示 本発明の目的は、様々な光源下で電子カラーカメラによって撮像された画像の色補正を行う色補正方法及び装置を提供することである。
【００１１】
また、本発明の目的は、カラー機器（color device）の特性付け（characterization）を行う方法及び装置を提供することである。
【００１２】
さらに、本発明の目的は、組み合わせられた光源下で電子カラーカメラによって撮像された画像の色補正を行う色補正方法及び装置を提供することである。
【００１３】
さらにまた、本発明の目的は、色補正されたカラー画像を表すデータが記録された記録媒体を提供することである。
【００１４】
さらにまた、本発明の目的は、色補正されたカラー画像を表すデータを伝送するデータ伝送方法を提供することである。
【００１５】
本発明の特徴は、カラー画像を表すデータに対する補正を決定するためのルックアップテーブル法の限界を克服するために、ニューラルネットワークを関数の近似装置として用いることによって、カラー画像に対する色補正を行うことである。
【００１６】
また、本発明の特徴は、カラー画像を表すデータに対する補正を決定するために、ニューラルネットワークの一種である多層パーセプトロン（multilayer perceptron：ＭＬＰ）を用いることによって、カラー画像に対する色補正を行うことである。
【００１７】
さらに、本発明の特徴は、カラー画像を表すデータに対する補正を決定するために、強制ニューロ−ファジイ干渉システム（coactive neuro-fussy inference system：ＣＡＮＦＩＳ）モデルニューラルネットワークの一種である多層パーセプトロン（multilayer perceptron：ＭＬＰ）を用いることによって、カラー画像に対する色補正を行うことである。
【００１８】
さらにまた、本発明の特徴は、複数光源下で、電子カラーカメラによって撮像されたカラー画像に対して自動色補正を行うことである。
【００１９】
さらにまた、本発明の特徴は、画像データをＸＹＺ空間に変換することにより、白色点及びカメラの外での高度な光源の推定による色をより正確に得られることである。
【００２０】
さらにまた、本発明の特徴は、教示データセットを修正又は置き換えることにより、色の恒常性を容易に実現することである。
【００２１】
本発明の利点は、電子カラーカメラによって撮像された画像を、従来のＴＲＣ−マトリクス法で達成できるよりも高い精度で色補正することである。
【００２２】
また、本発明の利点は、電子カラーカメラのユーザが、撮影中や写真の表示及び／又は印刷時に、色補正に時間をかけずに、構図に集中できることである。
【００２３】
本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、ニューラルネットワークを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップとを有する色補正方法を提供する。
【００２４】
また、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、多層パーセプトロンモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップとを有する色補正方法を提供する。
【００２５】
さらに、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、強制ニューロ−ファジイ干渉システムモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップとを有する色補正方法を提供する。
【００２６】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定し、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うニューラルネットワークを備える色補正装置を提供する。
【００２７】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定し、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行う多層パーセプトロンモデルを備える色補正装置を提供する。
【００２８】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定し、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行う強制ニューロ−ファジイ干渉システムモデルを備える色補正装置を提供する。
【００２９】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、ニューラルネットワークを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを記録媒体に記録するステップによって用意される記録媒体を提供する。
【００３０】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、多層パーセプトロンモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを記録媒体に記録するステップによって用意される記録媒体を提供する。
【００３１】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、強制ニューロ−ファジイ干渉システムモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを記録媒体に記録するステップによって用意される記録媒体を提供する。
【００３２】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、ニューラルネットワークを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを伝送するステップを有するデータ伝送方法を提供する。
【００３３】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、多層パーセプトロンモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを伝送するステップを有するデータ伝送方法を提供する。
【００３４】
さらにまた、本発明は、電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、強制ニューロ−ファジイ干渉システムモデルを用いて、カラー画像の推定された光源に基づいてカラー画像を表すデータに対する補正を決定するステップと、光源は複数の光源からなっており、カラー画像を表すデータに対して補正を行うステップと、補正されたデータを表すデータを伝送するステップを有するデータ伝送方法を提供する。
【００３５】
さらにまた、本発明は、電子カメラによって撮像された画像データを記録するデータ記録方法において、カラー画像を撮像して、画像を表すデータを出力するステップと、撮像されたカラー画像における光源を推定して、推定された光源を表すデータを出力するステップと、画像を表すデータと推定された光源を表すデータとを記録するステップとを有するデータ記録方法を提供する。
【００３６】
さらにまた、本発明は、電子カメラによって撮像された画像データを伝送するデータ伝送方法において、カラー画像を撮像して、画像を表すデータを出力するステップと、撮像されたカラー画像における光源を推定して、推定された光源を表すデータを出力するステップと、画像を表すデータと推定された光源を表すデータとを伝送するステップとを有するデータ伝送方法を提供する。
【００３７】
これらと他の目的、特徴及び利点は、以下の詳細な説明と添付の図面を参照することにより明らかになる。
【００３８】
【発明の実施の形態】
上述した課題を解決するために、ニューラルネットワーク（例えばＭＬＰ）又はＣＡＮＦＩＳニューロ−ファジイモデルが用いられる。本発明は、「機器固有（device specific）」方式と「機器独立（device independent）」方式の両方に応用することができるが、ここで開示している実施の形態では、機器独立の色補正について説明する。なお、ＭＬＰは、良く知られたニューラルネットワークのうちの一種類にすぎない。また、ここでは、ニューラルネットワークについて述べるが、ＭＬＰ又は他の種類のニューラルネットワークを用いることができる。
【００３９】
ＭＬＰを用いた単一の光源での色補正 上述したように、ＴＲＣ−マトリクスモデル（ＦＩＧ．１）を用いた色補正が１つの定まった既知の光源下でも正確に行われないのは、電子カラーカメラが、理想的ではなく（non-ideality）、線形でなく（nonlinearity）、また構造的に複雑であることに起因している。補正の精度を高めるために、ＴＲＣ−マトリクスモデルの代わりに、ＦＩＧ．４Ａに示すニューラルネットワーク又はＦＩＧ．４Ｂに示すＭＬＰモデルを用いることができる。ＦＩＧ．４Ａにおいて、いかなる種類のニューラルネットワーク、例えばＦＩＧ．４ＢのＭＬＰを用いることができる。このニューラルネットワークモデル（例えばＭＬＰ）では、１つの定まった光源に基づいて補正が行われるため、以下、この補正を「単一光源」色補正と呼ぶ。ニューラルネットワーク（例えばＭＬＰ）を用いた色補正モデルは、これまで、色変換が非常に非線形であり、（電子カラーカメラの場合における光源の色に対応した）白色点（white point）が定まっているとされているようなプリンタ等の画像機器にのみ用いられてきた。
【００４０】
ＦＩＧ．４Ａに示すように、画像データは、Ｙ入力端子１、Ｃ入力端子２、Ｃ入力端子３を介してニューラルネットワーク４に入力される。画像データは、電子カラーカメラから供給される。電子カラーカメラの代わりに、再生装置及び／又は伝送媒体から画像データを入力端子１、２、３に供給するようにしてもよい。色補正に必要な光源情報は電子カラーカメラからのみ得られるので、後者の例においては、光源情報は、画像データとともに記録及び／又は伝送されるか、いずれの方法によってニューラルネットワーク４に入力される必要がある。電子カラーカメラからの画像データを伝送又は記録する場合、多くの画像データフォーマットには、イメージプリンタでは使用されない領域又は空間（space）が含まれている。このような領域又は空間は、通常、撮像日、電子カラーカメラの機種又は電子カラーカメラの製造元を記録するために用いることができる。したがって、１つ以上の未使用の領域又は空間を光源情報に割り当てることができ、画像データを光源情報とともに記録及び／又は伝送した後に、その画像データに色補正を施す。
【００４１】
ニューラルネットワーク４は、測色空間ＸＹＺおけるＸ出力端子５、Ｙ出力端子６、Ｚ力端子７を備える。ＦＩＧ．４Ｂに示すように、ＭＬＰは、電子カラーカメラからの出力値（ＲＧＢ又はＹＣＣ）のための、参照符号１１、１２、１３でそれぞれ示される３つの入力ノードＹ、Ｕ、Ｖを備える。また、ＭＬＰは、参照符号１４、１５、１６でそれぞれ示される３つの出力ノードＸ、Ｙ、Ｚを備える。出力ノードＸ、Ｙ、Ｚは、機器独立色補正では測色値（ＸＹＺ又はＬ＊ａ＊ｂ）を、機器固有色補正ではＲＧＢ又はＹＣＣの目標出力値を出力する。これらの測色値又は色補正された出力値は、出力機器の特性付けモデル（characterization model）を介して、プリンタ又は表示モニタ等の画像出力機器に供給される。これらの値は、直接画像出力機器に供給されてもよい。あるいは、これらの値は、符号化及び／又は圧縮された後、記録装置によって磁気ディスク、光ディスク、光磁気ディスク、個体メモリ等の記録媒体に記録されたり、インターネット、電話回線、専用線、無線、光媒体等の伝送媒体を介して伝送される。
【００４２】
ＭＬＰのパラメータを最適化するために、「教示」データ集合（training data set）と呼ばれる入力−出力サンプル集合（a set of input-output samples）が与えられる。入力−出力サンプル集合は、入力ＹＵＶと所望の出力ＸＹＺの対である代表色サンプル（representative color sample）を含んでいる。そして、与えられた課題（task）は、非線形最小二乗の問題（nonlinear least squares problem）として数式で表され、この目的は、所望の出力とそのモデルの出力間の二乗誤差（squared error measure）を最小化することによって、ＭＬＰのパラメータを最適化することである。
【００４３】
二乗誤差である求める関数Ｅ（．）は、残差（residual）ベクトルｒ（θ）を用いて、以下のように表される。
【００４４】
Ｅ（θ）＝（１／２）ｒＴ（θ）ｒ（θ）
パラメータの最適化は、そのモデルによって最終的に所望の出力が得られるように反復して行われる。この反復プロセスは、ニューラルネットワークの分野では「教示」（又は「学習（learning）」）と呼ばれる。
【００４５】
ＭＬＰの近似性能（approximation capacity）は、多くの場合、「教示」データセットとは異なり、パラメータの調整には用いられない「チェック（checking）」データセットと呼ばれるデータセットを用いて評価される。ニューラルネットワーク、特にＭＬＰの１つの重要な利点は、教示データセット以外の入力データに対して解が得られることである。
【００４６】
上述した「機器独立」色補正の問題において、ＭＬＰは、電子カラーカメラの応答信号（例えばＲＧＢ又はＹＣＣ）から測色値（例えばＸＹＺ又はＬ＊ａ＊ｂ）へのマッピングを作成するように学習させられる。「機器固有」色補正の問題において、ＭＬＰの望ましいマッピングは、エラーがある電子カラーカメラの応答信号（ＲＧＢ又はＹＣＣ）から、それに対応する正しいＲＧＢ又はＹＣＣ信号にマッピングすることである。いずれにしろ、これらの入力−出力サンプルは、色空間全体に均一に分布する標準マクベスカラーチェッカ（standard ColorChecker）又はマンセルカラーパッチ（Munsell color patch）を用いて集められる。
【００４７】
なお、ある単一の光源下でデータが集められる場合、課題はいわゆる単一光源の問題となり、この問題はイメージスキャナによって撮像された画像の色補正において偏在するものである。
【００４８】
ＭＬＰを用いた複数の光源での色補正 ＦＩＧ．５に示すように、（画像の撮像時の）任意の光源下で電子カラーカメラによって撮像された画像の色補正を自動的に行うために、ＭＬＰモデルが用いられる。ＭＬＰモデルは、機器独立補正の場合、画像の撮像時に用いられる光源によって、そのマッピング、すなわち電子カラーカメラの逆写像を自動的に調整するように学習させられる。以下、これを「複数光源（multi-illuminant）」色補正と呼ぶ。画像の撮像時にどの光源が用いられたかを正確に知ることは難しいので、ＭＬＰモデルは、電子カラーカメラが内蔵する光源推定データ（すなわちホワイトバランスデータ）を用いる代わりに、ＦＩＧ．５の上部に示すように、例えば光源の色に対して測定されたＲ、Ｇ、Ｂから得られるＲ／Ｇ値及びＢ／Ｇ値を用いる。ＦＩＧ．５において、「パナホワイト」は、日本国大阪の松下電器産業株式会社によって日本で販売されている「白色」蛍光管の商標である。「メロウｄ」は、日本国東京の東芝ライテック株式会社によって日本で販売されている「自然光」タイプの蛍光管の商標である。なお、ＦＩＧ．５の上部（ホワイトバランス面）の代わりにＦＩＧ．１３を用いてもよい。
【００４９】
複数光源に対する色補正において用いられるＭＬＰモデルには、光源情報を入力するためのさらなるノードが必要である。例えば、光源の色度が２つの値のセットで示される場合は、２つのさらなる入力ノードが用いられる。その結果、この課題におけるＭＬＰモデルは、ＦＩＧ．５に示すように、参照符号１７、１８、１９、２０、２１でそれぞれ示される５つの入力ノードＢ／Ｇ、Ｒ／Ｇ、Ｙ、Ｕ、Ｖと、参照符号２２、２３、２４でそれぞれ示される３つの出力ノードＸ、Ｙ、Ｚとを有する。出力Ｘ、Ｙ、Ｚは、変換、正規化、符号化及び／又は圧縮された後、磁気ディスク、光ディスク、光磁気ディスク、個体メモリ等の記録媒体に記録されたり、インターネット、電話回線、専用線、無線、光媒体等の伝送媒体を介して伝送されてる。
【００５０】
本発明の実施の形態では、複数光源の色補正モデルを学習するために、以下のステップが用いられる。
（１）複数の代表的な光源下において、電子カラーカメラからの出力値と、カラーサンプルのセットからの測色値（機器独立補正に対して）とを測定する。ここで、Ｎは、カラーサンプルの数であり、Ｍは、対象とする代表的な光源の数であり、したがって、教示データセットの総量は、Ｎ＊Ｍである。
（２）各光源について、ホワイトバランスを合わせるためのＲＧＢチャンネルのゲインデータを測定するか、又は光源の色に対するＲＧＢチャンネルの信号値を測定する。
（３）測定された３つの値を、例えばＲ／ＧとＢ／Ｇのような２つの色度値（chromaticity value）に変換する。これらのデータは、後述するＣＡＮＦＩＳニューロ−ファジイモデルのためのファジイメンバーシップ関数を構築する方法において、光源情報をより特性付けるために、更なる処理が施される。
（４）上述したように、ＭＬＰは、データセット（１）を用いて学習させられる。同時に、データ（１）が測定されるときの光源情報であるデータセット（３）が入力ノード１７（Ｂ／Ｇ）及び１８（Ｒ／Ｇ）供給される。
【００５１】
上述したステップが完了した後、ＭＬＰモデルは、電子カラーカメラの出力値と光源情報を入力することによって、元の場面の測色値を出力する。電子カラーカメラの色変換における光源依存性は、光源情報を参照することによって自動的に補償される。画像の撮像時に実際に用いられた光源が、ＭＬＰの学習に用いられた代表的な光源のいずれにも一致しないときは、ＭＬＰは、電子カラーカメラの光源間の色変換の逆写像を自動的に近似する。
【００５２】
ＭＬＰモデルの学習法 ＭＬＰは、非線形特性を有しているので、上述したＮＮ非線形の最小二乗の問題を解くための有効な反復法が求められる。多くの試験によって、レベンバーグ−マーカート式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグトラストリージョン（dogleg trust region）の実施がこの問題を解くのに有効であることが分かった。より詳しくは、ドッグレッグ（dogleg）法によって、トラストリージョン（trust region）内での制限されたレベンバーグ−マーカート（Levenberg-Marquardt）ステップの有効な区分的線形近似が導かれる。
【００５３】
ＦＩＧ．６Ａ及びＦＩＧ．６Ｂは、コーシー（Cauchy）ステップとニュートン（Newton）又はガウス−ニュートン（Gauss-Newton）ステップによって描かれた２次元のサブスペースにおいて、ドッグレッグステップがトラストリージョンステップを近似する様子を示している。（ＦＩＧ．６Ａで強調表示されている）区分的線形のくの字形の軌道とトラストリージョンの境界線との接点は、次の３つのステップのうちの１つによって導かれる。
１．制限コーシーステップ
【００５４】
【数１】
【００５５】
トラスト半径（trust radius）Ｒｎｏｗが、上記の式で表されるコーシーステップSＣａｕｃｈｙの長さよりも短いとき、制限コーシーステップは次にように表される。
【００５６】
【数２】
【００５７】
ここで、ｇとＨは、それぞれグラディエントベクトル（gradient vector）とヘシアンマトリクス（Hessian matrix）である。
２．ニュートンステップ トラスト半径が、ニュートンステップの長さ以上であるとき、ニュートンステップは次のように表される。
【００５８】
【数３】
【００５９】
３．ドッグレッグステップ トラスト半径がコーシーステップとニュートンステップとの間の長さであるとき、ドッグレッグステップは次にように表される。
【００６０】
【数４】
【００６１】
モデルの最適化のために、これらのステップのうちの１つが、次のような反復方式によって、反復毎に用いられる。
【００６２】
θｎｅｘｔ =θｎｏｗ+ηd ここで、ｄは方向ベクトルであり、ηはその方向に進む程度を規制する特定の正のステップの大きさである。ＦＩＧ．６Ａのパラメータｈは、次のような単純な計算で求められる。
【００６３】
【数５】
【００６４】
ここで、Pｎｏｗは次のようである。
【００６５】
【数６】
【００６６】
ドッグレッグトラストリージョン法の利点は、そのアルゴリズムを強力にして、最急降下法（全体の収束特性（global convergence property））とニュートン法（速い局部的な収束特性（fast local convergence property））とをスムーズに切り替えられることである。例えば、次のステップが不具合であるとき、ドッグレッグアルゴリズムはそのステップの長さを短くして、単一のトラストリージョン制御に基づいて、そのステップを同時にかつ効果的に最急降下の方向に曲げる。
【００６７】
以下の表１は、単一の光源（Ｄ６５−光源）の問題における３つの代表的な非線形の最適化のアルゴリズムの収束速度を比較している。
【００６８】
【表１】
【００６９】
これは、３つの代表的な学習アルゴリズムにおける、ＴＲＣ−マトリクス式のモデルとＭＬＰモデルとの間の測定されたＸＹＺ値の二乗平均誤差を比較している。なお、最後の列「停止期間（stopped epoch）」において、７個の隠れユニットを用いた（３×７×３）モデルにのみ、必要な実行時間が括弧書きで示されている。表１から明らかなように、単一光源の色補正の問題においては、ドッグレッグ主導のレベンベルグ−マルカルドのアルゴリズムを用いる場合が、表１に示す他の試験された学習法を用いる場合よりも速く収束する。このようなパフォーマンスの比較は、Color device characterization of electronic cameras by solving adaptive networks nonlinear least squares oriblems, Eiji Mizutani (本出願の発明者), Kenichi Nishio (本出願のもう１人の発明者), Naoya Katoh and Michael Blasgen, 8th IEEE International Conference on Fussy Systems (FUZZ-IEEE' 99), Seoul, Korea, August 22-25, 1999で更に論じられている。この論文とその図面は、参考のために添付してある。さらに、ドッグレッグトラストリージョンのアルゴリズムは、Computing Powell's Dogleg Steps for Solving Adaptive Networks Nonlinear Least Squares Problems, Eiji Mizutani(本出願の発明者),8th International Fuzzy Systems Association World Congress (IFSA'99), Hsinchu, Taiwan, August 17-20, 1999とPowell's dogleg trust-region steps with the quasi-Newton augmented Hessian for neural nonlinear least-squares learning, Eiji Mizutani(本出願の発明者), The IEEE International Conference on Neural Networks, Washington D.C., July 10-16, 1999とで更に論じられている。この２つの論文とその図面は、参考のために添付してある。
【００７０】
ＦＩＧ．７は、単一のＭＬＰアプローチと、従来のルックアップテーブルに基づいた（ＴＲＣ−マトリクス）アプローチとのＤ６５光源下での色差を比較している。ここでは、２５個の全ての色差（２４個のマクベスカラーチェッカと１個の「完全な黒」のカラーサンプル）が１０より小さくなければならない。ＭＬＰに基づいた方法では、色差がＤ６５光源下で２５個の全てのカラーサンプルにおいて上限のしきい値（１０に設定されている）を下回っているのに対し、従来のルックアップテーブルに基づいた（ＴＲＣマトリクス）方法ではそのようになっていないことが、ＦＩＧ．７によって明確に示されている。
【００７１】
ＣＡＮＦＩＳニューロ−ファジイモデルを用いた複数光源での色補正 ＣＡＮＦＩＳニューロ−ファジイモデルは、問題に特定された知識に基づいて自動的に「複数光源」での色補正を行うために特に作られており、この問題に特定された知識とは、ファジイif-then規則の集合を表す。具体的には、「IF部」はファジイメンバーシップ関数（ＭＦ）で表され、「THEN部」はローカルエキスパート（local-expert）ＭＬＰによって構築されている。これは、いわゆる「ニューラル規則を持ったＣＡＮＦＩＳ」モデルである。
【００７２】
具体的には、ファジイメンバーシップ関数を構築する方法に関して後述するように、４つのファジイ規則が、ファジイ分割に従って、２次元に変換されたホワイトバランス面上に示されている。その結果のＣＡＮＦＩＳニューロ−ファジイモデルは、ＦＩＧ．８に示すように、４つのファジイＭＦ（各軸に２つずつ）と４つの対応するローカルエキスパートＭＬＰからなる。入力ベクトルは、IF部（ＭＦ）とTHEN部（ＭＬＰ）の次の２つのベクトルに分割される。
【００７３】
１．ファジイＭＦに供給される撮像時の光源情報である２つの入力信号
２．ローカルエキスパートＭＬＰに供給される電子カラーカメラからの出力信号（例えばＹＵＶ）である３つの入力信号
ＣＡＮＦＩＳモデルは、次の式によって、ローカルエキスパートＭＬＰからの出力信号の処理された合計を、最終的な出力ベクトルＡ（例えばＸ、Ｙ、Ｚの色信号）として計算する。
【００７４】
【数７】
【００７５】
ここで、gｉとOｉは、それぞれi番目の発火強度（firing strength）とi番目のＭＬＰの出力ベクトルである。各発火強度は、IF部のＭＦ出力からの出力信号によって求められたものであり、対応するTHEN部のＭＬＰが最終的な出力にどれだけ影響を与えたかを表している。この文脈では、IF部のＭＦの集合は、発火したTHEN部のＭＬＰからの出力を統合した集積部としての役割を果たす。
【００７６】
通常、集積部はベル形の微分可能なファジイＭＦからなっており、その近隣のＭＦと十分な重複部分があるように設定されている。したがって、対応する全てのローカルエキスパートＭＬＰは、Ａの値を導く式によって最終的な出力を出すように補間的に機能する。一方、集積部が重複部分のない長方形のＭＦでできていて、スイッチング部となっている場合、単一のローカルエキスパートＭＬＰのみが最終的な出力に貢献することになる。gｉ値のうちの１つのみが「ユニット」となり、それ以外は全て「０」となる。このような単一の０でないgｉは、ｉ番目の「発火した」ローカルエキスパートＭＬＰと対応している。すなわち、ローカルエキスパートＭＬＰは、補間的というよりむしろ競合的に機能している。換言すれば、ＣＡＮＦＩＳの概念は、スイッチングのような極端なケースを除いて、基本的にファジイＭＦとローカルエキスパートＭＬＰの中の相乗作用にある。
【００７７】
ＣＡＮＦＩＳモデルには、ローカルエキスパートＭＬＰにのみ適切な建設的又はアルゴリズミックな修正を行うだけで、（ファジイ規則が意味のある限界に保たれるように）ファジイＭＦの数を増やさずに、学習能力を増大させることができるという利点がある。例えば、このような修正によって、ＭＬＰの隠れノード／レイヤの数が調整される。なお、THEN部のＭＬＰの隠れ部分が取り除かれると、ＣＡＮＦＩＳモデルはローカルチューニングラジアル基底関数ネットワーク（Radial Basis Function Network：ＲＢＦＮ）モデルとされてもよい。すなわち、ＣＡＮＦＩＳモデルは汎用のローカルチューニングニューラルネットワークと見なされてもよい。
【００７８】
このモデルの欠点を挙げるとすれば、単一のＭＬＰモデルと比較して、構造が複雑で、より多くの学習データが必要であるために学習が遅いことである。したがって、課題が限られた少ない量の学習データのみを有する場合は、単一のＭＬＰモデルを選択する方がよい。複数光源での色補正のためのＣＡＮＦＩＳニューロファジイモデルを学習する方法とともに、ＣＡＮＦＩＳモデルによって得られた実験結果を以下に示す。
【００７９】
線形規則のあるＣＡＮＦＩＳのモデルは、周知の高木−菅野（「ＴＳＫ」又は「菅野式」とも呼ばれる）ファジイ推論モデルと同等である。制御工学の分野では、迅速な応答が重要であるため、このＴＳＫモデルは圧倒的に最も広く用いられているファジイシステムである。この迅速さは、線形規則の実行が非線形規則の実行より遙かに単純であるために計算上の優位があるからである。
【００８０】
ＣＡＮＦＩＳモデリングと線形規則を持ったＣＡＮＦＩＳは、テキストNeuro-Fuzzy and Soft Computing, A Computational Approach to Learning and Machine Intelligence, by Jyh-Shing Roger Jang, Chuen-Tsai Sun and Eiji Mizutani(本出願の発明者), Prentice Hall, Upper Saddle River, New Jersey 07458, 1997, third printingの３６９〜４００頁及び５７２〜５９２頁で詳しく説明されている。このページ部分とその図面は、参考のために添付してある。
【００８１】
上述したＣＡＮＦＩＳニューロ−ファジイモデルを用いた複数光源での色補正のためのファジイメンバーシップ関数を構築する方法 ファジイ分割 ＣＡＮＦＩＳニューロ−ファジイモデルでは、ファジイメンバーシップ関数（ＭＦ）がＭＦ入力空間を複数のローカルエキスパートの領域に分割する。したがって、ある特定のローカルエキスパートの領域の中心に近づいたデータはそのほかのローカルエキスパートのパラメータの更新にそれほど影響を受けない。このローカルチューニングの機構によって、「ローカルエキスパート」が主にそれ自体のローカル領域の近辺で局地的に最適に学習することができる。
【００８２】
ＦＩＧ．９に示す複数光源の問題において、ハロゲンの光源の領域のデータは、ホワイトバランス面上の「自然光の光源」曲線の他端にあるＤ９０光源の領域のローカルエキスパートのＭＬＰに大きな影響を与えないようになっている。これらの２つの対極する領域は適切な分割により何かしらの方法で分割されているはずである。ファジイＭＦは、ＦＩＧ．１０に示すように、（「はっきり」ではなく）「あいまい」な方法で、ホワイトバランス面上の光源の領域を分割するのに重要な役割を果たしている。ＦＩＧ．１０において、ハロゲンとＤ６５の２つの代表的な光源が選択され、「自然光の光源」の曲線に対応するＸ軸上の２つのＭＦの最初の中心点が決定される。これは、その曲線におけるその位置が課題の中で重要な特性として選択されていることを意味する。ＦＩＧ．１０におけるＸ軸上の２つの符号「Ａ１」と「Ａ２」は、それぞれ「ハロゲン」と「Ｄ６５」を表しており、ここでは、 Ａ１−ＭＦの値／程度は、その光源が「ハロゲン」の光源にどれだけ近いかを示しており、 Ａ２−ＭＦの値／程度は、その光源が「Ｄ６５」の光源にどれだけ近いかを示している。
【００８３】
１つの特性だけでは、各光源の領域を適切に示すのに十分でないことは明白である。別の重要な特性は、「自然光」の光源と「蛍光」の光源との区別である。したがって、２つの対応するＭＦ（「蛍光」はＢ１で、「自然光」はＢ２）がＹ軸に構築されており、蛍光の光源と自然光の光源との近さを表している。ここでは、 Ｂ１−ＭＦの値は、「蛍光」の光源の曲線にどれだけ近いかを示しており、 Ｂ２−ＭＦの値は、「自然光」の光源の曲線にどれだけ近いかを示している。
【００８４】
このように、ＦＩＧ．９の「混合」の曲線における各混合した光源は、例えば、４０％の自然光の光源と６０％の蛍光の光源からなる光源の場合のように、「自然光」の光源又は「蛍光」の光源に対するメンバーシップの程度によって特性付けされている。ＦＩＧ．９において、「ルピカエース」は、日本国東京の三菱電機株式会社によって日本で販売されている「自然光」タイプの蛍光管の商標である。ＦＩＧ．９とＦＩＧ．１０におけるＸ軸とＹ軸は等しくないため、特定の「非線形」の座標変換が必要である。このような座標変換を以下に示す。
【００８５】
ホワイトバランス面における非線形座標変換 ＦＩＧ．１１は、元のＲ／Ｂ−Ｇ／Ｂのホワイトバランス面における試験的なデータセットの実際のデータ分布を示している。ＦＩＧ．１１をＦＩＧ．１０に合わせるには、適切な座標変換を行う必要がある。まず、単純な目盛の均等化が行われ、ＦＩＧ．１２のようになる。次に、ニューラルネットワーク非線形座標変換が行われ、ＦＩＧ．１３のようになり、ＦＩＧ．１３はＦＩＧ．１０の座標と合うデカルト座標となっている。なお、多くの他の非線形変換でもよい。
【００８６】
非線形座標変換によって、単純な「格子」分割が行われるため、これの重要性は軽視できない。ラジアル基底関数ネットワーク（radial basis function network：ＲＢＦＮ）によってよく作られる「散布」分割には幾つかの利点がある。ＲＢＦＮは、上述したテキストNeuro-Fuzzy and Soft Computing, A Computational Approach to Learning and Machine Intelligenceの２３８〜２４６頁及び３６９〜４００頁、特に３７３頁の図１３．３で詳しく説明されており、このページ部分とその図面は、参考のために添付してある。
【００８７】
更に詳しくは、非線形座標変換には次の利点がある。
１．言語的解釈性は十分に高く保たれ、人間の直感的な理解に合致する。
２．要求される（基礎）関数の数が少なくなる。
【００８８】
利点１は、散布又は樹形の分割の場合には明確な言語的ラベルが各ＭＦにうまく現れないことを示唆している。利点２は、例えば、Ｘ−Ｙ座標面上に９つのローカル領域を作るために、ＲＢＦＮでは９つの基礎関数が必要であるのに対して、ＣＡＮＦＩＳモデルでは６つのＭＦ（各軸に対して３つのＭＦ）が必要であるということを示している。したがって、関数パラメータの総数が異なることになる。分割に関するより詳細な説明は、上述したテキストNeuro-Fuzzy and Soft Computing, A Computational Approach to Learning and Machine Intelligenceの８６、８７頁でなされており、このページ部分とその図面は、参考のために添付してある。
【００８９】
複数光源での色補正のためのＣＡＮＦＩＳニューロ−ファジイモデルの学習法 ＣＡＮＦＩＳニューロ−ファジイモデルを用いた複数光源での色補正に関連して、上述したＣＡＮＦＩＳニューロ−ファジイモデルを学習するために、多くの非線形最適化アルゴリズムを採用してもよい。モデルは、ＦＩＧ．８に示すように、次の２つの主なパラメータの成分からなる。
【００９０】
（１）ファジイＭＦ（IF部）
（２）ローカルエキスパートＭＬＰ（THEN部）
これら２つの成分のパラメータを更新するための最適化アルゴリズムを適用するのには多くの選択肢がある。例えば、次の方法がある。
【００９１】
（方法Ａ）IF部のＭＦとTHEN部のＭＬＰの両方に同じ最適化アルゴリズムを適用する。
【００９２】
（方法Ｂ）IF部のＭＦとTHEN部のＭＬＰに異なる最適化アルゴリズムを適用する。
【００９３】
これらの方法は、システム主体又は構成要素主体のいずれかの方法で実施されうる。システム主体の学習では、ＣＡＮＦＩＳニューロ−ファジイモデルのＭＦとＭＬＰの全ての構成要素は、１つのシステムとして同時に学習させられ、その最終的な出力は上述したようにＡの値を出すための上述した式によって計算される。構成要素主体の学習では、各ＭＦ又はＭＬＰは、独立して調整／学習させられ、全ての構成要素がまとめられてＣＡＮＦＩＳニューロ−ファジイモデルを構成し、その最終的な出力は上述したようにＡの値を出すための上述した式によって計算される。
【００９４】
ＦＩＧ．８を参照して、構成要素主体法についてより詳細に説明すると、各ローカルエキスパートＭＬＰは、通常所望の最終的な出力ベクトルＡ（すなわち、Ｘ、Ｙ、Ｚ）を出力ベクトルOｉとして出力するように学習させられる。一方で、システム主体の学習法では、（上述した）最終的な出力ベクトルＡは所望の３つの値Ｘ、Ｙ、Ｚに合致するようになされているが、各ローカルエキスパートＭＬＰの出力ベクトルOｉは必ずしもそれに近くなくてもよい。すなわち、出力ベクトルOｉは不明でもよい。ＦＩＧ．８には、各ローカルエキスパートＭＬＰの３つの出力ノードがＸ、Ｙ、Ｚによって表されているが、これは、単にどのノードがどの信号と対応しているかを示すためである。
【００９５】
更に、教示データの処理によって次の３つの異なるパラメータ更新モードがある。
【００９６】
（１）オンラインのパターン毎の更新モード （２）ブロック毎の更新モード （３）バッチ更新モード したがって、ＣＡＮＦＩＳモデルへの最適化アルゴリズムの適用方法は多くある。なお、方法Ａと方法Ｂのいずれが用いられるかに関わらず、構成要素主体の学習は、高精度な結果を得るのには疑問がある。これは、上述したようにＡの値を出すための上述した式に依存しているにもかかわらず、ローカルエキスパートＭＬＰの出力は、ファジイＭＦの発火強度から独立して最適化されているからである。したがって、カラー画像の色補正に必要なように、ＣＡＮＦＩＳモデルによって非常に正確な入力／出力マッピングを行うことが必要なときは特に、もう一方のシステム主体の学習のほうが遙かに実用的に重要である。
【００９７】
概して、ニューロ−ファジイシステムにおいて、ＭＦのパラメータと比べるとＭＬＰのパラメータは最適値からかけ離れているという重要な見解が得られる。これは、ファジイＭＦの初期のパラメータは問題に特定された知識に基づいて決定されているのに対して、ローカルエキスパートＭＬＰの初期のパラメータは任意に初期化されているためである。したがって、ＭＦとＭＬＰに対して異なる最適化アルゴリズムを適用する（すなわち、方法Ｂを採用する）こと、特に、ＭＬＰに対してより速いアルゴリズムを、ＭＦに対してより遅いアルゴリズムを適用することが可能である。この考え方での典型的な実施は、ＡＮＦＩＳ（すなわち、線形規則を持った単一出力のＣＡＮＦＩＳモデル）によるハイブリッド学習であり、これは、「線形」の後項（consequent）ファジイシステムに限られるが、速い「線形」の最小二乗と遅い最急降下法との組み合わせである。このようなハイブリッド学習は、上述したテキストNeuro-Fuzzy and Soft Computing, A Computational Approach to Learning and Machine Intelligenceの２１９〜２２０頁及び２２２〜２２３頁で詳しく説明されており、このページ部分とその図面は、参考のために添付してある。
【００９８】
システム主体の学習法による方法Ａは、ニューラル規則を持ったＣＡＮＦＩＳモデルと同じ考え方で考えられてもよい。例えば、「バッチ」モードでＭＦに最急降下法を適用し、「オンラインのパターン毎」のモードでＭＬＰに最急降下法を適用することによるものである。この方策は、次の単純な発見的規則によって改善される。
【００９９】
規則：ファジイＭＦのパラメータを学習段階のうちの初期段階で修正する。
【０１００】
表２は、チェックエラーが縮小されるか又は所定の反復制限数である２００００００にされるとき、ＭＬＰ及びＣＡＮＦＩＳモデルによって得られる４つの代表的な結果を示している。「パラメータ数」欄はパラメータの数を示し、「ＲＭＳＥ」は二乗平均誤差を示している。「不適切なサンプル数」と書かれている欄は最も重要で、色差が上限のしきい値（１０に設定されている）より大きかったカラーサンプルの数を示している。４つのモデルは全て、オンラインのパターン毎の更新モードで、広く用いられている最急降下法を用いて学習させられる。
【０１０１】
【表２】
【０１０２】
実験＃４の結果は、次の発見的規則を用いて得られた。
【０１０３】
規則：ファジイＭＦのパラメータを５０００００回の後に更新し始める。
【０１０４】
出力色空間の選択 本発明の開示では、色補正モデルの出力色空間としてＸＹＺ空間が主に用いられている。先に述べたように、機器独立色補正では、出力色空間はＬ＊ａ＊ｂ又はＸｎＹｎＺｎ（正規化されたＸＹＺ空間）でもよい。機器固有色補正では、カラー画像の撮像機器にとって色補正の出力となるならば、いかなる色空間でもよいし、又はユーザの特定の要求に従って任意に定義された色空間でもよい。出力色空間を変えるには、目標の出力データを色補正モデルの教示データセットに変えるだけで達成される。
【０１０５】
光源への依存性に関して上述したように、光源の色においてＲ＝Ｇ＝Ｂが保たれるように電子カラーカメラの出力値がホワイトバランス補正されている。ＸｎＹｎＺｎとＬ＊ａ＊ｂの色空間も、その定義において同様に動作し、３つの刺激値は光源の色の値によって正規化される。このような色空間は、正規化された色空間と称される。この動作は人間の目の色順応を表している。
【０１０６】
ＦＩＧ．１に示すように、電子カラーカメラの出力値は、ガンマ補正されたＲＧＢに基づいている。Ｌ＊ａ＊ｂの色空間の定義においても同様の動作が行われ、このような色空間は非線形の色空間と見なされる。非線形マッピングは、明度（人間の輝度認識の基準）との相関を表し、色の物理的特性よりむしろ人間の目によって認識された色を説明する。
【０１０７】
ＸＹＺのような正規化されていない線形の色空間は、複数光源色補正モデルの出力色空間として用いられるとき有効である。電子カラーカメラにおいて自動的に行われる光源の推定が間違っているために、電子カラーカメラによって撮像された画像の白色点が間違ってしまうことがある。このような場合のために、色補正モデルの出力空間がＸＹＺである場合は、白色点の補正は、画像の撮像後に電子カラーカメラの外で行われてもよい。出力空間が非線形の色空間である場合は、出力データは白色点の補正を行うためにいったん線形空間に供給されなければならないため、白色点補正はより複雑になる。
【０１０８】
光源への依存性に関して上述したように、電子カラーカメラの色変換は、そのホワイトバランスの設定に基づいて行われる機能である。撮像時の光源の推定が正しくても正しくなくても、電子カラーカメラの色変換は、例えばＲ／ＧとＢ／Ｇといった電子カラーカメラのホワイトバランス情報を参照して独自に決定される。したがって、入力画像の白色点が間違っていても、複数光源色補正モデルから出力されるＸＹＺ値は、元の色の物理的特性を正確に表している。ユーザは、白色点が電子カラーカメラによって撮像された画像において違っていると分かったときは、ユーザはまず、複数光源色補正モデルからのＸＹＺで示される画像データを出力し、次に、撮像時に行うとしたら計算処理上費用がかかりすぎてしまうような洗練された方法を用いて、画像の光源を推定し直すことができる。この方法によって、補正された色空間における画像データに対して再調整が行われるため、白色点だけでなく、その再調整された白色点の周辺に分布された色も正確になる。正規化されていない線形の色空間も、イメージセンサからの出力（生の画像データ）の部分に作られた空間となることができる。
【０１０９】
色の恒常性 画像の撮像時にどの光源が実際に使われても、Ｄ５０（ＣＩＥによって規定されている色温度が５０００Ｋの白色光）のような１つの定まった標準の光源下で画像が撮像されたかのような色を再現する電子カラーカメラを多くのユーザは好むことが知られている。これは、「色の恒常性」の色再現と呼ばれる。ＭＬＰ又はＣＡＮＦＩＳニューロ−ファジイモデルのいずれかを用いて、上述した複数光源色補正モデルの教示データセットを適切に修正することにより、上述した「色の恒常性」を持った色補正が容易に実現される。
【０１１０】
なお、本発明に適用できるニューラルネットワークの一例として、ＭＬＰを挙げているが、ラジアル基底関数ネットワーク（radial basis function network：ＲＢＦＮ）や、モジュラーニューラルネットワーク等の他の種類のニューラルネットワークを用いてもよい。
【０１１１】
また、本発明の各実施の形態はコンピュータ上で動作するソフトウェアとして実行されてもよいし、又はコンピュータ上で動作する画像処理ソフトウェアの機能を果たすものとして実行されてもよい。このような例では、そのソフトウェアによって画像データファイルが開かれてもよいし、また、本発明のどの実施の形態も、ＪＰＥＧ、ＪＩＦ又はＢＭＰフォーマットのファイルのような画像データに適用されて、そのような画像データに対して色補正が行われるようにしてもよい。
【０１１２】
更に、本発明に係る方法及び装置は電子カラーカメラの中のイメージセンサのようなカラー撮像機器の構成要素の特性付けを行うために適用されてもよい。さらにまた、このような特性付けは、そのようなイメージセンサの質が所望のものではない場合にそれを補正するのに用いられてもよい。
【０１１３】
特定の実施の形態のみが詳細に説明されたが、この分野において普通の能力を有する人は、ここで説明したことから逸脱することなく多くの応用が可能であることを十分に理解しているであろう。このような応用は全て、添付の請求項の範囲内に含まれるはずである。
【図面の簡単な説明】
【図１】
ＦＩＧ．１は、イメージスキャナと電子カラーカメラの両方に採用されている信号処理を示すブロック図である。
【図２】
ＦＩＧ．２は、ＦＩＧ．１の信号処理に続いて採用される逆の信号処理を示すブロック図である。
【図３】
ＦＩＧ．３は、補色電子カラーカメラにおいてよく用いられる信号処理を示すブロック図である。
【図４】
ＦＩＧ．４Ａは、電子カメラにおける色変換の逆写像（又はマッピング）の生成にニューラルネットワークを導入した本発明を適用した色補正装置の実施の形態を示すブロック図である。
【図５】
ＦＩＧ．４Ｂは、電子カメラにおける色変換の逆写像（又はマッピング）の生成に多層パーセプトロンを導入した本発明を適用した色補正装置の実施の形態を示すブロック図である。
【図６】
ＦＩＧ．５は、色補正され、出力空間で変換された画像の生成に単一の多層パーセプトロンを導入した本発明を適用した色補正装置の実施の形態を示すブロック図である。
【図７】
ＦＩＧ．６Ａは、コーシー（Cauchy）ステップとニュートン（Newton）ステップによって決定された区分的線形曲線を有し、θＣａｕｃｈｙを通る軌道によってθＮｏｗとθＮｅｗｔｏｎｙとを結ぶドッグレッグ（dogleg）軌道を示す図である。
【図８】
ＦＩＧ．６Ｂは、θＮｏｗに通じており、トラストリージョン（trust regio）内において制限されたレベンバーグ−マーカート（Levenberg-Marquardt）ステップに対する区分的線形近似であるドッグレッグ（dogleg）ステップを示す図である。
【図９】
ＦＩＧ．７は、単一の多層パーセプトロンアプローチと、従来のルックアップテーブルに基づいた（ＴＲＣ−マトリクス）アプローチとのＤ６５光源下での色差の比較を示すグラフである。
【図１０】
ＦＩＧ．８は、本発明を適用したＣＡＮＦＩＳニューロ−ファジイモデルの構成を示す図である。
【図１１】
ＦＩＧ．９は、代表的な光源と、それに関する「自然光」と「蛍光」の曲線を示すグラフである。
【図１２】
ＦＩＧ．１０は、変換されたホワイトバランス面での４つのベル形のメンバーシップ関数によるあいまいな分割を示すグラフである。
【図１３】
ＦＩＧ．１１は、ホワイトバランス面の元の座標におけるデータ分布を示す図である。
【図１４】
ＦＩＧ．１２は、ホワイトバランス面の正規化された座標におけるデータ分布を示す図である。
【図１５】
ＦＩＧ．１３は、ホワイトバランス面の変換された座標におけるニューラルネットワークによって変換されたデータ分布を示す図である。
【特許請求の範囲】
【請求項１】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、 ニューラルネットワークを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップとを有する色補正方法。
【請求項２】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項１記載の色補正方法。
【請求項３】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項１記載の色補正方法。
【請求項４】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、 多層パーセプトロンモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップとを有する色補正方法。
【請求項５】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項４記載の色補正方法。
【請求項６】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項４記載の色補正方法。
【請求項７】 上記多層パーセプトロンモデルは、レベンバーグ−マーカート式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグトラストリージョン（dogleg trust region）の実施に基づいて学習することを特徴とする請求項４記載の色補正方法。
【請求項８】 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項４記載の色補正方法。
【請求項９】 各ニューラルネットワークの教示データを、標準光源下での測色値として用いるステップを更に有する請求項４記載の色補正方法。
【請求項１０】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、 強制ニューロ−ファジイ干渉システムモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップとを有する色補正方法。
【請求項１１】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項１０記載の色補正方法。
【請求項１２】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項１０記載の色補正方法。
【請求項１３】 ファジイメンバーシップ関数からなる集積部は、カラー画像の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプトロンの出力の加重和を計算することを特徴とする請求項１０記載の色補正方法。
【請求項１４】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築するステップを更に有する請求項１３記載の色補正方法。
【請求項１５】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項１０記載の色補正方法。
【請求項１６】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項１３記載の色補正方法。
【請求項１７】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項１３記載の色補正方法。
【請求項１８】 上記ファジイメンバーシップ関数の少なくとも２つは重複することを特徴とする請求項１３乃至１７のいずれか１項に記載の色補正方法。
【請求項１９】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、 スイッチングを有する強制ニューロ−ファジイ干渉システムを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップを有する色補正方法。
【請求項２０】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項１０記載の色補正方法。
【請求項２１】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項１０記載の色補正方法。
【請求項２２】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項１０記載の色補正方法。
【請求項２３】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項１０記載の色補正方法。
【請求項２４】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、 上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定し、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うニューラルネットワークを備える色補正装置。
【請求項２５】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項２４記載の色補正装置。
【請求項２６】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項２４記載の色補正装置。
【請求項２７】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、 上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定し、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行う多層パーセプトロンモデルを備える色補正装置。
【請求項２８】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項２７記載の色補正装置。
【請求項２９】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項２７記載の色補正装置。
【請求項３０】 上記多層パーセプトロンモデルは、レベンバーグ−マーカート式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグトラストリージョン（dogleg trust region）に基づいて学習することを特徴とする請求項２７記載の色補正装置。
【請求項３１】 上記多層パーセプトロンモデルは、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力することを特徴とする請求項２７記載の色補正装置。
【請求項３２】 上記多層パーセプトロンモデルは、各ニューラルネットワークの教示データを、標準光源下での測色値として用いることを特徴とする請求項２７記載の色補正装置。
【請求項３３】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、 上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定し、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行う強制ニューロ−ファジイ干渉システムモデルを備える色補正装置。
【請求項３４】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項３３記載の色補正装置。
【請求項３５】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項３３記載の色補正装置。
【請求項３６】 ファジイメンバーシップ関数からなる集積部は、カラー画像の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプトロンの出力の加重和を計算することを特徴とする請求項３３記載の色補正装置。
【請求項３７】 ファジイメンバーシップ関数は、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって構築されることを特徴とする請求項３６記載の色補正装置。
【請求項３８】 上記強制ニューロ−ファジイ干渉システムモデルは、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより学習することを特徴とする請求項３３記載の色補正装置。
【請求項３９】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルは、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより学習することを特徴とする請求項３６記載の色補正装置。
【請求項４０】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルは、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより学習することを特徴とする請求項３６記載の色補正装置。
【請求項４１】 上記ファジイメンバーシップ関数の少なくとも２つは重複することを特徴とする請求項３６乃至４０のいずれか１項に記載の色補正装置。
【請求項４２】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、 上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定する、スイッチングを有する強制ニューロ−ファジイ干渉システムを備える色補正装置。
【請求項４３】 強制ニューロ−ファジイ干渉システムは、代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけ、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力することを特徴とする請求項３３記載の色補正装置。
【請求項４４】 強制ニューロ−ファジイ干渉システムは、代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけ、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力することを特徴とする請求項３３記載の色補正装置。
【請求項４５】 強制ニューロ−ファジイ干渉システムは、代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけ、標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いることを特徴とする請求項３３記載の色補正装置。
【請求項４６】 強制ニューロ−ファジイ干渉システムは、代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけ、標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いることを特徴とする請求項３３記載の色補正装置。
【請求項４７】 電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、上記記録媒体は、 ニューラルネットワークを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを上記記録媒体に記録するステップによって用意される記録媒体。
【請求項４８】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項４７記載の記録媒体。
【請求項４９】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項４７記載の記録媒体。
【請求項５０】 電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、上記記録媒体は、 多層パーセプトロンモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを上記記録媒体に記録するステップによって用意される記録媒体。
【請求項５１】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項５０記載の記録媒体。
【請求項５２】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項５０記載の記録媒体。
【請求項５３】 上記多層パーセプトロンモデルは、レベンバーグ−マーカート式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグトラストリージョン（dogleg trust region）に基づいて学習することを特徴とする請求項５０記載の記録媒体。
【請求項５４】 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項５４記載の記録媒体。
【請求項５５】 各ニューラルネットワークの教示データを、標準光源下での測色値として用いるステップを更に有する請求項５０記載の記録媒体。
【請求項５６】 電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、上記記録媒体は、 強制ニューロ−ファジイ干渉システムモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを上記記録媒体に記録するステップによって用意される記録媒体。
【請求項５７】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項５６記載の記録媒体。
【請求項５８】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項５６記載の記録媒体。
【請求項５９】 ファジイメンバーシップ関数からなる集積部は、カラー画像の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプトロンの出力の加重和を計算することを特徴とする請求項５６記載の記録媒体。
【請求項６０】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築するステップを更に有する請求項５９記載の記録媒体。
【請求項６１】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項５６記載の記録媒体。
【請求項６２】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項５９記載の記録媒体。
【請求項６３】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項５９記載の記録媒体。
【請求項６４】 上記ファジイメンバーシップ関数の少なくとも２つは重複することを特徴とする請求項５９乃至６３のいずれか１項に記載の記録媒体。
【請求項６５】 電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、上記記録媒体は、 スイッチングを有する強制ニューロ−ファジイ干渉システムを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記補正されたデータを表すデータを上記記録媒体に記録するステップによって用意される記録媒体。
【請求項６６】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項５６記載の記録媒体。
【請求項６７】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項５６記載の記録媒体。
【請求項６８】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項５６記載の記録媒体。
【請求項６９】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項５６記載の記録媒体。
【請求項７０】 電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、 ニューラルネットワークを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方法。
【請求項７１】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項７０記載のデータ伝送方法。
【請求項７２】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項７０記載のデータ伝送方法。
【請求項７３】 電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、 多層パーセプトロンモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方法。
【請求項７４】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項７３記載のデータ伝送方法。
【請求項７５】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項７３記載のデータ伝送方法。
【請求項７６】 上記多層パーセプトロンモデルは、レベンバーグ−マーカート式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグトラストリージョン（dogleg trust region）に基づいて学習することを特徴とする請求項７３記載のデータ伝送方法。
【請求項７７】 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項７３記載のデータ伝送方法。
【請求項７８】 各ニューラルネットワークの教示データを、標準光源下での測色値として用いるステップを更に有する請求項７９記載のデータ伝送方法。
【請求項７９】 電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、 強制ニューロ−ファジイ干渉システムモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方法。
【請求項８０】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項７９記載のデータ伝送方法。
【請求項８１】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項７９記載のデータ伝送方法。
【請求項８２】 ファジイメンバーシップ関数からなる集積部は、カラー画像の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプトロンの出力の加重和を計算することを特徴とする請求項７９記載のデータ伝送方法。
【請求項８３】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築するステップを更に有する請求項８２記載のデータ伝送方法。
【請求項８４】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項７９記載のデータ伝送方法。
【請求項８５】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項８２記載のデータ伝送方法。
【請求項８６】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項８２記載のデータ伝送方法。
【請求項８７】 上記ファジイメンバーシップ関数の少なくとも２つは重複することを特徴とする請求項８２乃至８６のいずれか１項に記載のデータ伝送方法。
【請求項８８】 電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、 スイッチングを有する強制ニューロ−ファジイ干渉システムを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方法。
【請求項８９】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９０】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９１】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９２】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９３】 上記カラー画像を表すデータは、上記光源に関する情報を含んでいることを特徴とする請求項１、４又は１０のいずれか１項に記載の色補正方法。
【請求項９４】 上記カラー画像を表すデータは、上記光源に関する情報を含んでいることを特徴とする請求項２４、２７又は３３のいずれか１項に記載の色補正装置。
【請求項９５】 電子カメラによって撮像された画像データを記録するデータ記録方法において、 カラー画像を撮像して、上記画像を表すデータを出力するステップと、 上記撮像されたカラー画像における光源を推定して、上記推定された光源を表すデータを出力するステップと、 上記画像を表すデータと上記推定された光源を表すデータとを記録するステップとを有するデータ記録方法。
【請求項９６】 電子カメラによって撮像された画像データを伝送するデータ伝送方法において、 カラー画像を撮像して、上記画像を表すデータを出力するステップと、 上記撮像されたカラー画像における光源を推定して、上記推定された光源を表すデータを出力するステップと、 上記画像を表すデータと上記推定された光源を表すデータとを伝送するステップとを有するデータ伝送方法。
【請求項１】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、 ニューラルネットワークを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップとを有する色補正方法。
【請求項２】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項１記載の色補正方法。
【請求項３】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項１記載の色補正方法。
【請求項４】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、 多層パーセプトロンモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップとを有する色補正方法。
【請求項５】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項４記載の色補正方法。
【請求項６】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項４記載の色補正方法。
【請求項７】 上記多層パーセプトロンモデルは、レベンバーグ−マーカート式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグトラストリージョン（dogleg trust region）の実施に基づいて学習することを特徴とする請求項４記載の色補正方法。
【請求項８】 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項４記載の色補正方法。
【請求項９】 各ニューラルネットワークの教示データを、標準光源下での測色値として用いるステップを更に有する請求項４記載の色補正方法。
【請求項１０】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、 強制ニューロ−ファジイ干渉システムモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップとを有する色補正方法。
【請求項１１】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項１０記載の色補正方法。
【請求項１２】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項１０記載の色補正方法。
【請求項１３】 ファジイメンバーシップ関数からなる集積部は、カラー画像の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプトロンの出力の加重和を計算することを特徴とする請求項１０記載の色補正方法。
【請求項１４】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築するステップを更に有する請求項１３記載の色補正方法。
【請求項１５】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項１０記載の色補正方法。
【請求項１６】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項１３記載の色補正方法。
【請求項１７】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項１３記載の色補正方法。
【請求項１８】 上記ファジイメンバーシップ関数の少なくとも２つは重複することを特徴とする請求項１３乃至１７のいずれか１項に記載の色補正方法。
【請求項１９】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正方法において、 スイッチングを有する強制ニューロ−ファジイ干渉システムを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップを有する色補正方法。
【請求項２０】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項１０記載の色補正方法。
【請求項２１】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項１０記載の色補正方法。
【請求項２２】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項１０記載の色補正方法。
【請求項２３】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項１０記載の色補正方法。
【請求項２４】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、 上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定し、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うニューラルネットワークを備える色補正装置。
【請求項２５】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項２４記載の色補正装置。
【請求項２６】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項２４記載の色補正装置。
【請求項２７】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、 上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定し、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行う多層パーセプトロンモデルを備える色補正装置。
【請求項２８】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項２７記載の色補正装置。
【請求項２９】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項２７記載の色補正装置。
【請求項３０】 上記多層パーセプトロンモデルは、レベンバーグ−マーカート式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグトラストリージョン（dogleg trust region）に基づいて学習することを特徴とする請求項２７記載の色補正装置。
【請求項３１】 上記多層パーセプトロンモデルは、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力することを特徴とする請求項２７記載の色補正装置。
【請求項３２】 上記多層パーセプトロンモデルは、各ニューラルネットワークの教示データを、標準光源下での測色値として用いることを特徴とする請求項２７記載の色補正装置。
【請求項３３】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、 上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定し、上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行う強制ニューロ−ファジイ干渉システムモデルを備える色補正装置。
【請求項３４】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項３３記載の色補正装置。
【請求項３５】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項３３記載の色補正装置。
【請求項３６】 ファジイメンバーシップ関数からなる集積部は、カラー画像の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプトロンの出力の加重和を計算することを特徴とする請求項３３記載の色補正装置。
【請求項３７】 ファジイメンバーシップ関数は、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって構築されることを特徴とする請求項３６記載の色補正装置。
【請求項３８】 上記強制ニューロ−ファジイ干渉システムモデルは、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより学習することを特徴とする請求項３３記載の色補正装置。
【請求項３９】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルは、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより学習することを特徴とする請求項３６記載の色補正装置。
【請求項４０】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルは、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより学習することを特徴とする請求項３６記載の色補正装置。
【請求項４１】 上記ファジイメンバーシップ関数の少なくとも２つは重複することを特徴とする請求項３６乃至４０のいずれか１項に記載の色補正装置。
【請求項４２】 電子カラーカメラによって撮像されたカラー画像の色補正を行う色補正装置において、 上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定する、スイッチングを有する強制ニューロ−ファジイ干渉システムを備える色補正装置。
【請求項４３】 強制ニューロ−ファジイ干渉システムは、代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけ、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力することを特徴とする請求項３３記載の色補正装置。
【請求項４４】 強制ニューロ−ファジイ干渉システムは、代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけ、上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力することを特徴とする請求項３３記載の色補正装置。
【請求項４５】 強制ニューロ−ファジイ干渉システムは、代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけ、標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いることを特徴とする請求項３３記載の色補正装置。
【請求項４６】 強制ニューロ−ファジイ干渉システムは、代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけ、標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いることを特徴とする請求項３３記載の色補正装置。
【請求項４７】 電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、上記記録媒体は、 ニューラルネットワークを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを上記記録媒体に記録するステップによって用意される記録媒体。
【請求項４８】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項４７記載の記録媒体。
【請求項４９】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項４７記載の記録媒体。
【請求項５０】 電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、上記記録媒体は、 多層パーセプトロンモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを上記記録媒体に記録するステップによって用意される記録媒体。
【請求項５１】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項５０記載の記録媒体。
【請求項５２】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項５０記載の記録媒体。
【請求項５３】 上記多層パーセプトロンモデルは、レベンバーグ−マーカート式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグトラストリージョン（dogleg trust region）に基づいて学習することを特徴とする請求項５０記載の記録媒体。
【請求項５４】 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項５４記載の記録媒体。
【請求項５５】 各ニューラルネットワークの教示データを、標準光源下での測色値として用いるステップを更に有する請求項５０記載の記録媒体。
【請求項５６】 電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、上記記録媒体は、 強制ニューロ−ファジイ干渉システムモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを上記記録媒体に記録するステップによって用意される記録媒体。
【請求項５７】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項５６記載の記録媒体。
【請求項５８】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項５６記載の記録媒体。
【請求項５９】 ファジイメンバーシップ関数からなる集積部は、カラー画像の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプトロンの出力の加重和を計算することを特徴とする請求項５６記載の記録媒体。
【請求項６０】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築するステップを更に有する請求項５９記載の記録媒体。
【請求項６１】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項５６記載の記録媒体。
【請求項６２】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項５９記載の記録媒体。
【請求項６３】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項５９記載の記録媒体。
【請求項６４】 上記ファジイメンバーシップ関数の少なくとも２つは重複することを特徴とする請求項５９乃至６３のいずれか１項に記載の記録媒体。
【請求項６５】 電子カラーカメラによって撮像されたカラー画像の色補正データが記録された記録媒体において、上記記録媒体は、 スイッチングを有する強制ニューロ−ファジイ干渉システムを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記補正されたデータを表すデータを上記記録媒体に記録するステップによって用意される記録媒体。
【請求項６６】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項５６記載の記録媒体。
【請求項６７】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項５６記載の記録媒体。
【請求項６８】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項５６記載の記録媒体。
【請求項６９】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項５６記載の記録媒体。
【請求項７０】 電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、 ニューラルネットワークを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方法。
【請求項７１】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項７０記載のデータ伝送方法。
【請求項７２】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項７０記載のデータ伝送方法。
【請求項７３】 電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、 多層パーセプトロンモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方法。
【請求項７４】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項７３記載のデータ伝送方法。
【請求項７５】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項７３記載のデータ伝送方法。
【請求項７６】 上記多層パーセプトロンモデルは、レベンバーグ−マーカート式のアルゴリズム（Levenberg-Marquardt type algorithm）のドッグレッグトラストリージョン（dogleg trust region）に基づいて学習することを特徴とする請求項７３記載のデータ伝送方法。
【請求項７７】 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項７３記載のデータ伝送方法。
【請求項７８】 各ニューラルネットワークの教示データを、標準光源下での測色値として用いるステップを更に有する請求項７９記載のデータ伝送方法。
【請求項７９】 電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、 強制ニューロ−ファジイ干渉システムモデルを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記光源は複数の光源からなっており、上記カラー画像を表すデータに対して補正を行うステップと、 上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方法。
【請求項８０】 上記電子カラーカメラは少なくとも１つの静止画像を撮像することを特徴とする請求項７９記載のデータ伝送方法。
【請求項８１】 上記電子カラーカメラは動画像の連続を撮像することを特徴とする請求項７９記載のデータ伝送方法。
【請求項８２】 ファジイメンバーシップ関数からなる集積部は、カラー画像の撮像時における光源の推定に基づいて、ローカルエキスパート多層パーセプトロンの出力の加重和を計算することを特徴とする請求項７９記載のデータ伝送方法。
【請求項８３】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築するステップを更に有する請求項８２記載のデータ伝送方法。
【請求項８４】 上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項７９記載のデータ伝送方法。
【請求項８５】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項８２記載のデータ伝送方法。
【請求項８６】 ファジイメンバーシップ関数及びローカルエキスパート多層パーセプトロンの全てのパラメータは、パラメータ更新の発見的規則に従って同時に更新され、上記強制ニューロ−ファジイ干渉システムモデルにおいて推定された光源の特性付けを行うために、ホワイトバランス面に対してニューラルネットワークの非線形の座標変換を行うことによって、ファジイメンバーシップ関数を構築することにより、上記強制ニューロ−ファジイ干渉システムモデルを学習するステップを更に有する請求項８２記載のデータ伝送方法。
【請求項８７】 上記ファジイメンバーシップ関数の少なくとも２つは重複することを特徴とする請求項８２乃至８６のいずれか１項に記載のデータ伝送方法。
【請求項８８】 電子カラーカメラによって撮像されたカラー画像の色補正されたデータを伝送するデータ伝送方法において、 スイッチングを有する強制ニューロ−ファジイ干渉システムを用いて、上記カラー画像の推定された光源に基づいて上記カラー画像を表すデータに対する補正を決定するステップと、 上記補正されたデータを表すデータを伝送するステップを有するデータ伝送方法。
【請求項８９】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９０】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 上記色補正された画像の出力色空間を、上記光源の色度座標により正規化しない空間として出力するステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９１】 代表的な光源それぞれに対応する別々のニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９２】 代表的な光源それぞれに対応するニューラルネットワークを用いて、色変換逆マップ（color conversion inverse map）を見つけるステップと、 標準的な光源下で、各ニューラルネットワークの教示データを測色値として用いるステップを更に有する請求項７９記載のデータ伝送方法。
【請求項９３】 上記カラー画像を表すデータは、上記光源に関する情報を含んでいることを特徴とする請求項１、４又は１０のいずれか１項に記載の色補正方法。
【請求項９４】 上記カラー画像を表すデータは、上記光源に関する情報を含んでいることを特徴とする請求項２４、２７又は３３のいずれか１項に記載の色補正装置。
【請求項９５】 電子カメラによって撮像された画像データを記録するデータ記録方法において、 カラー画像を撮像して、上記画像を表すデータを出力するステップと、 上記撮像されたカラー画像における光源を推定して、上記推定された光源を表すデータを出力するステップと、 上記画像を表すデータと上記推定された光源を表すデータとを記録するステップとを有するデータ記録方法。
【請求項９６】 電子カメラによって撮像された画像データを伝送するデータ伝送方法において、 カラー画像を撮像して、上記画像を表すデータを出力するステップと、 上記撮像されたカラー画像における光源を推定して、上記推定された光源を表すデータを出力するステップと、 上記画像を表すデータと上記推定された光源を表すデータとを伝送するステップとを有するデータ伝送方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公表番号】特表２００２−５４３６９５（Ｐ２００２−５４３６９５Ａ）
【公表日】平成１４年１２月１７日（２００２．１２．１７）
【国際特許分類】
【出願番号】特願２０００−６１４６７０（Ｐ２０００−６１４６７０）
【出願日】平成１２年４月２８日（２０００．４．２８）
【国際出願番号】ＰＣＴ／ＵＳ００／１１５０４
【国際公開番号】ＷＯ００／６５８４７
【国際公開日】平成１２年１１月２日（２０００．１１．２）
【出願人】
【氏名又は名称】ソニー株式会社
【Ｆターム（参考）】
【公表日】平成１４年１２月１７日（２００２．１２．１７）
【国際特許分類】
【出願日】平成１２年４月２８日（２０００．４．２８）
【国際出願番号】ＰＣＴ／ＵＳ００／１１５０４
【国際公開番号】ＷＯ００／６５８４７
【国際公開日】平成１２年１１月２日（２０００．１１．２）
【出願人】
【氏名又は名称】ソニー株式会社
【Ｆターム（参考）】
[ Back to top ]