画像色補正方法及び装置
【課題】 電子カメラの特性に適合した逆写像を生成して高精度な色再現を可能とし、また、どのような光源で撮像した画像に対しても常に適切な逆写像を与えることを可能とする。
【解決手段】 電子カメラによって撮像されたカラー画像の色誤差の補正を行う画像色補正装置であり、電子カメラにより撮像されたカラー画像データから、代表的な複数の光源＃１，＃２，＃３，・・・のそれぞれに対応した別個のニューラルネットワークを用いて色変換逆写像を求めるニューラルネットワークモジュール２１，２２，２３，・・・と、それら各ニューラルネットワークモジュールの出力信号から所望の信号を出力する出力処理モジュール１１とを備え、当該出力処理モジュール１１から出力された色変換逆写像に対して色誤差の補正を行う。
【解決手段】 電子カメラによって撮像されたカラー画像の色誤差の補正を行う画像色補正装置であり、電子カメラにより撮像されたカラー画像データから、代表的な複数の光源＃１，＃２，＃３，・・・のそれぞれに対応した別個のニューラルネットワークを用いて色変換逆写像を求めるニューラルネットワークモジュール２１，２２，２３，・・・と、それら各ニューラルネットワークモジュールの出力信号から所望の信号を出力する出力処理モジュール１１とを備え、当該出力処理モジュール１１から出力された色変換逆写像に対して色誤差の補正を行う。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、例えば電子カメラ等により得られるカラー画像データの色補正を行う画像色補正方法及び装置に関する。
【０００２】
【従来の技術】従来より、例えば電子カメラによって撮像したカラー画像に対して高精度な色再現性が求められる場合は、一般に、画像データを取り扱うコンピュータ上においてＩＣＣプロファイルフォーマットに即した方式、すなわちカラー画像データを一旦元の測色空間（ＸＹＺ又はＬ*ａ*ｂ）へ変換する手続きを経た後、色補正を行うようになされている。このような色補正を行うためには、電子カメラが撮像したカラー画像の色情報をどのような出力信号に変換しているのかを示す色変換写像の逆写像を求める必要がある。
【０００３】従来は、このような電子カメラの色補正に必要な色変換の逆写像の生成のために、イメージスキャナで使用されている方式を応用するのが一般的である。
【０００４】図４には、多くの電子カメラやイメージスキャナに採用されている信号処理のための基本的な構成例を示す。
【０００５】この図４において、端子１０１〜１０３は被写体光のＸＹＺ色空間に対応するデータであり、これらデータが画像センサ（イメージセンサ）１０４に入力されるものとしてモデル化している。当該画像センサ１０４からは色変換後のＲＧＢのデータが出力され、これらＲＧＢのデータはそれぞれ対応する１次元ルックアップテーブル（１Ｄ−ＬＵＴ）１５１〜１５３からなるガンマ補正回路１０５にてガンマ補正される。ガンマ補正回路１０５から出力されたＲＧＢのデータは、それぞれ対応する端子１０６〜１０８より出力される。なお、出力色空間を輝度と色差、すなわちＹＣＣにする場合には、これら端子１０６〜１０８より出力されたＲＧＢのデータを、３×３マトリクス回路１０９にてマトリクス演算することにより、ＹＣＣのデータに変換する。これらＹＣＣのデータはそれぞれ対応する端子１１０〜１１２より出力される。
【０００６】一方、上記図４の構成により得られたＲＧＢ或いはＹＣＣのデータに対して、電子カメラの色変換特性の逆写像を生成する場合には、図５に示すような構成が用いられる。
【０００７】この図５において、端子１１０〜１１２には、図４の構成にて出力色空間をＹＣＣとしたときのＹＣＣのデータが入力される。これらＹＣＣのデータは、３×３マトリクス回路１２２にてマトリクス演算されてＲＧＢのデータに変換される。このＲＧＢのデータはそれぞれ対応する端子１１６〜１１８に送られる。また、図４の構成にてＲＧＢのデータを出力する場合には、当該端子１１６〜１１８に直接ＲＧＢのデータが入力される。端子１１６〜１１８に入力されたＲＧＢのデータは、それぞれ対応する１次元ルックアップテーブル（１Ｄ−ＬＵＴ）１６１〜１６３にて補正処理された後、３×３マトリクス回路１２４によるマトリクス演算によりＸＹＺのデータに変換される。これらＸＹＺのデータは、それぞれ対応する端子１１９〜１２１より出力される。
【０００８】これら図４及び図５から明らかなように、図５は図４の逆方向モデルである。また、図５の構成では、図４の画像センサ１０４の色変換特性（ＸＹＺ→ＲＧＢ）の逆変換が、線形変換で近似されている。ここで、電子カメラの色信号処理理論によれば、電子カメラの色変換特性はＣＩＥ（国際照明委員会）で定めるｘｙｚ等色関数の線形結合で表されるのが理想であるとされ、画像センサや色分解プリズムの色特性設計指標となっている。したがって、通常ならば画像センサの色変換特性を線形変換で近似することは妥当であり、誤差も少ないものと考えてよい。
【０００９】
【発明が解決しようとする課題】しかしながら、実際には、図５のような逆写像生成のための構成を適用することが妥当でなくなるケースも存在する。これは主に、次の２つケースの場合である。
【００１０】第１のケースとして、画像センサの色変換特性が等色関数ｘｙｚの線形変換に十分近くないときである。これは、比較的低精度な民生用の電子カメラ画像を色補正して、比較的高精度な色再現性を要求する場合などに問題となる。
【００１１】第２のケースとして、電子カメラ内部の信号処理方式が、図４に示したような処理方式と異なるときである。その一例として、図６に示すような補色ＣＣＤカラーカメラの信号処理のための構成が考えられる。
【００１２】この図６において、端子１０１〜１０３は被写体光のＸＹＺ色空間に対応するデータであり、これらデータが画像センサ（イメージセンサ）１３１に入力されるものとしている。当該画像センサ１３１からは色変換後のシアン、マゼンタ、イエロー、グリーン（ＣＭＹＧ）のデータが出力され、これらＣＭＹＧのデータは４×３マトリクス回路１３２と３×３マトリクス回路１３３にてマトリクス演算された後、１次元ルックアップテーブル（１Ｄ−ＬＵＴ）１７１〜１７３からなるガンマ補正回路１３４にてガンマ補正される。当該ガンマ補正回路１３４から出力されたデータは、さらに２×３マトリクス回路１３５にてマトリクス演算され、ＵＶのデータとしてそれぞれ対応する端子１３７〜１３８より出力される。なお、ＹＣＣのＹのデータについては、４×３マトリクス回路１７４の出力から１Ｄ−ＬＵＴ１７４を介して生成され、端子１３６より出力される。
【００１３】上記第２のケースの例として挙げた上記図６のような構成は、現在多くの民生用電子カメラに使用されている補色方式カメラの構成であるが、図５の逆変換モデルとは構造的に一致しておらず、したがって図５の構成では高精度な逆写像を発生することはできない。また、この図６の構成の場合は、図４と図５の関係に相当するような、新たな補色カメラ用逆方向モデルを簡単に構成することはできない。すなわちそれは、内部処理で色空間の次元が一旦一つ増加するという理由による。
【００１４】さらに、電子カメラ特有の課題として、光源の変化の問題がある。すなわち、電子カメラの中では、撮像時の光源にかかわらず、白が白として記録されるように、ＲＧＢの信号に与えるゲインを調整する、いわゆるホワイトバランス（ＷＢ）調整と呼ばれる機能がある。電子カメラの色変換特性に含まれる理想からの誤差は、このホワイトバランスの設定によって変化するのが普通である。したがって、ある一つの光源に対して精度の良い逆写像を求めたとしても、別の光源においてはそれとは別の逆写像が必要とされる。
【００１５】既存方式では、色の逆変換用プロファイルデータ（逆写像を実現するためのデータで、実際に色補正を行う画像処理ソフトウェアがアクセスして使用するもの）を、代表的な光源数種類について準備し、ユーザが色補正を行いたい画像に対して、それを撮像したときの光源の記憶知識をもとに、最も適合すると思われるものをセレクトする方式が採られている。この方式では、ユーザに負担を強いるばかりか、プロファイルデータの選択が不適切であったり、用意されたプロファイルデータの中に撮像時の光源にうまく適合するものが存在しない場合に、適切な補正が行われないという問題が生ずる。
【００１６】上述したように、従来方式の逆写像生成方法では、イメージスキャナのそれを応用したものが主流であり、この方式では、電子カメラ方式やカメラの特性によっては十分な精度が得られないことがある。また、常に、光源が一定であるイメージスキャナに対し、撮像時の光源が特定できない電子カメラにおいて、どのような光源で撮像した画像に対しても常に適切な逆写像を与える方式は、現在のところ提案されていない。
【００１７】そこで、本発明はこのような状況に鑑みてなされたものであり、電子カメラの特性に適合した逆写像を生成して高精度な色再現を可能とし、また、どのような光源で撮像した画像に対しても常に適切な逆写像を与えることを可能とする、画像色補正方法及び装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】本発明の画像色補正方法は、電子カメラによって撮像されたカラー画像の色誤差の補正を行う画像色補正方法であり、電子カメラにより撮像されたカラー画像データからニューラルネットワークを用いて色変換逆写像を求め、当該ニューラルネットワークを用いて求めた色変換逆写像に対して色誤差の補正を行うことにより、上述した課題を解決する。
【００１９】本発明の画像色補正装置は、電子カメラによって撮像されたカラー画像の色誤差の補正を行う画像色補正装置であり、電子カメラにより撮像されたカラー画像データからニューラルネットワークを用いて色変換逆写像を求める逆写像生成手段を備え、当該ニューラルネットワークを用いて求めた色変換逆写像に対して色誤差の補正を行うことにより、上述した課題を解決する。
【００２０】また、本発明の画像色補正方法及び装置では、代表的な複数の光源のそれぞれに対応した別個のニューラルネットワーク或いはそれら各ニューラルネットワークの組み合わせを用いて、色変換逆写像を求めることにより、上述した課題を解決する。
【００２１】
【発明の実施の形態】本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００２２】本発明が適用される一実施の形態の画像色補正装置の構成を、図１に示す。
【００２３】この図１に示す本実施の形態の画像色補正装置は、前述した色再現補正精度の問題を解決するため、電子カメラにおける色変換の逆写像の生成にいわゆるニューラルネットワークを導入している。
【００２４】すなわち、図１において、端子１〜３には例えば前記図４の構成にて出力色空間をＹＣＣとしたときのＹＣＣのデータや、前記図６の構成にて出力されたＹＣＣのデータが入力される。これらＹＣＣのデータは、ニューラルネット回路４によりＸＹＺのデータに変換され、端子５〜７より出力される。なお、本実施の形態のニューラルネット回路４にて行われる色補正方式は、例えばプリンタなど、非線形性が強く簡単に図５のような逆構造モデルが作れない画像装置の色補正に関しては既に使用例があり、その具体的構成の図示は行わないが、現在のところ、電子カメラにこの方式を適用した技術については存在していない。
【００２５】ここで、電子カメラの色補正にニューラルネットワークの技術を適用した場合、当該ニューラルネットの教示データ対としては、補正しようとする電子カメラにおいて色空間内に適度に均一に分布する色の組み合わせ（以下、例えばカラーチャートとする）を撮像し、その結果得られた電子カメラからの出力信号を入力し、当該カラーチャートの測色値（ＸＹＺ）を所望する出力とするようなデータセットを用いれば良い。ニューラルネットワークの構成は、入出力層それぞれ３ノードを持ち、層数、隠れ層のノード数は、要求される補正精度などによって決定すればよい。また、ニューラルネットワークの学習アルゴリズムも、例えばいわゆる最急降下法や、最急降下法に慣性項を加えたもの、共役勾配法その他、要求される精度や収束時間、計算量によって使い分ければよい。
【００２６】次に、本発明実施の形態では、上記色再現補正精度の問題を解決することに加え、さらに光源変化に対する問題を解決するために、図２に示すように、入力層５ノード、出力層３ノードのニューラルネットワークからなるニューラルネット回路１０を用いている。
【００２７】すなわち、図２において、端子１〜３にはＹＣＣのデータが、また、端子８，９には後述するＲＧＢ信号の比率（例えばＲ／Ｇ，Ｂ／Ｇ）のデータが入力される。これらのデータは、ニューラルネット回路１０によりＸＹＺのデータに変換され、端子５〜７より出力される。
【００２８】ここで、この図２の例にて使用するニューラルネットワークについては、例えば以下の方法を用いて教育を行うようにする。
【００２９】第１のステップとして、上記カラーチャートに対して、電子カメラからの出力信号と測色値の組による教示データセットを、代表的な幾つかの光源＃１，＃２，＃３，・・・に対して生成する。
【００３０】第２のステップとして、それぞれの光源＃１，＃２，＃３，・・・について、ホワイトバランスを合わせるために必要とされたゲインの情報、或いはその光源における白を撮像した時の画像センサ出力におけるＲＧＢ信号の比率、例えばＲ／Ｇ，Ｂ／Ｇを教示データセットに加える。
【００３１】第３のステップとして、単一光源と同様にニューラルネットワークを教育するが、教示データとして光源＃１撮像時のカラーチャートデータを提示しているときは、同時にニューラルネットの残る２つの入力ノードに対し、その光源＃１におけるＲ／Ｇ，Ｂ／Ｇのデータを同様に提示する。以下、光源＃２，＃３，・・・でも同様に繰り返す。
【００３２】以上の方法によって、光源に依存する色変換特性の変化がニューラルネットワーク内に記憶され、色補正時に撮像した時のホワイトバランスデータを参照することで、自動的にその光源に適切な逆写像が生成されることになる。なお、教示データに含まれていた光源の何れにも一致しない光源においては、教示データに含まれていた代表的な光源間の特性を補間した形で逆写像を生成すれば、適切な逆写像を保つことができる。
【００３３】本実施の形態では、上述したことを実現するために、以上の操作とともに、電子カメラに撮像された画像データ（例えばいわゆるＪＰＥＧ形式などのフォーマットによるデータ）のコメント領域などに、撮像時のホワイトバランスデータを書き込むこととする。ホワイトバランスデータは、通常数バイト以内で表現できるデータなので、ファイルの大きさに与える影響は無視できる。また、後述するように、画像の色補正時にホワイトバランスの高精度化を同時に行おうとするような場合には、他に撮像時の露出データなど、光源推定の精度を向上させるのに役立つデータを付加してもよい。
【００３４】図３には、代表的な幾つかの光源＃１，＃２，＃３，・・・を用いたモジュラーニューラルネットワークによる電子カメラの多種光源補正のための具体的な一構成例を示す。
【００３５】この図３の構成は、代表的な幾つかの光源＃１，＃２，＃３，・・・に対する逆写像を全て別々のモジュールで独立させて行い、より高精度な補正の実現を目指すようにした構成例である。
【００３６】この図３において、端子１〜３にはＹＣＣのデータが入力され、端子８，９にはＲＧＢ信号の比率（Ｒ／Ｇ，Ｂ／Ｇ）のデータが入力される。ＹＣＣのデータは、代表的な各光源＃１，＃２，＃３，・・・をそれぞれ単一光源とした場合の各単一光源に対する逆写像を生成するための各ニューラルネットワークモジュール２１，２２，２３，２４，・・・・に入力する。各ニューラルネットワークモジュール２１，２２，２３，２４，・・・・の出力データは、一旦出力処理モジュール１１に集められる。
【００３７】出力処理モジュール１１は、端子８，９からのＲ／Ｇ，Ｂ／Ｇデータ、すなわちホワイトバランス情報も入力される。当該出力処理モジュール１１では、光源情報に基づいてどのモジュール２１，２２，２３，２４，・・・・からの出力データを採用するか判断した後、最終出力を行い、これら最終出力がＸＹＺのデータとして端子５〜７より出力される。なおここで、当該判断の方式としては、最も簡単には例えばあるニューラルネットワークモジュール一つの結果をセレクトする方法でもよいが、例えば出力処理モジュール１１にニューラルネットや例えばファジイメンバーシップ関数のセットなど、補間能力を持つユニットを使用するようにすれば、当該出力処理モジュール１１からは、代表的な光源以外の光源データが入力されたときにも適切に補間された逆写像が得られるような出力が得られることになる。
【００３８】また、この図３の全体のシステムを教育する方法としては、次のどの方式を用いてもよい。
【００３９】第１の教育方式として、各光源に対応する各ニューラルネットワークモジュールを、前述した図１の単一光源の場合と同様に独立して教育する方式を用いることができる。この場合、出力処理モジュール１１は、開発者の知見に基づき、Ｒ／Ｇ，Ｂ／Ｇ平面上において２次元のファジイメンバーシップ関数を、代表光源の周りに分布させる形で設計する。
【００４０】第２の教育方式として、第１の教育方式と同様であるが、出力処理モジュール１１に、入力されたＲ／Ｇ，Ｂ／Ｇデータに対してどのニューラルネットワークモジュールからの出力をどの程度採用すべきかを教育したニューラルネットワークを用いる。
【００４１】第３の教育方式として、構造は上記と同じであるが、全体のシステムをいわゆるＡＮＦＩＳなどのＮｅｕｒｏ−Ｆｕｚｚｙアルゴリズムによって同時に教育する。
【００４２】なお、この方式を適用する電子カメラの出力画像データに付加する情報は、前述の図２で説明したものとと同様である。
【００４３】また、応用例として、ニューラルネットワークの入力部にタスク分配ユニット（モジュール）を配し、入力されたＲ／Ｇ，Ｂ／Ｇのデータによって予めその結果が最終出力に関係しないニューラルネットワークモジュールの計算を停止し、計算速度向上を図る方式を用いても良い。
【００４４】これまでの説明では、ニューラルネットワークの出力色空間は、ＸＹＺを用いているが、出力色空間はＬ*ａ*ｂ*であっても良い。また、一旦測色空間へ変換する必要のない色補正を行う場合、ＲＧＢ、ＹＣＣ何れの空間を出力としても良い。これらは教示データの出力色空間を変更するだけで簡単に可能である。なお、輝度と色差信号による色空間をＹＣＣと総称しており、このＹＣＣにはＹＣRＣB，ＹＰbＰr，ＹＵＶなどを全て含む。
【００４５】また、出力色空間をＸＹＺと定めた場合、その空間は原画像の光源の色度情報で正規化したものではない。したがって、補正時の処理で、撮像時には行えないような光源推定方式を新たに導入することで、最終的な色補正画像の白色点精度（ホワイトバランス精度）を改善した画像を得るシステムを構築することも可能である。
【００４６】次に、上述したようなニューラルネットワークにおいて教示する入出力データ対の出力側データとしては、光源にかかわらず、例えばいわゆるＤ６５００光源におけるカラーチャートの測色値を用いるようにする。これにより、測色的に正しい色再現に補正するのではなく、被写体の分光反射率特性を再現する特性（color constancy）に補正したカラー画像を得るシステムを構成することが可能である。また、何れの場合においても、記憶色や人間の色に対する好みを考慮して教示データに変更を加え、より好まれる色再現に補正するシステムの構築が可能となる。
【００４７】以上のように、本実施の形態の画像色補正装置では、ニューラルネットワーク、モジュラーニューラルネットワーク又はファジーニューラルネットワークの形式で実現されるが、実際の画像の色補正処理においては以下の何れの方式を用いても良い。
【００４８】第１の処理方式として、上述したような画像色補正のための処理工程をそのままの形で画像ソフトウェア上に実装して計算を行うような処理方式を用いる。
【００４９】第２の処理方式として、上述したような画像色補正のための処理工程がソフトウェアとして実装起動され、撮像時の光源に依存する逆写像が特定される時点で、ＩＣＣプロファイルフォーマットに適合する３次元ルックアップテーブルデータを発生させ、汎用の画像ソフトウェアで実際の色変換処理を行わせるような処理方式を用いる。
【００５０】第３の処理方式として、上記第２の処理方式と同様であるが、ＩＣＣプロファイルを添付することを許容する画像フォーマットにおいては、上述したような画像色補正のための処理にて生成したＩＣＣプロファイルを画像ファイルに添付するような処理方式を用いる。
【００５１】第４の処理方式として、アナログ或いはディジタルＬＳＩによってハードウェアで実現するような処理方式を用いる。この方式によれば、ディジタルスチルカメラなどの内部で記録前に処理を行わせることも可能である。
【００５２】以上説明したように、本発明実施の形態によれば、電子カメラの色変換逆写像を求めるために、いわゆるニューラルネットワークの技術を導入していることいより、従来方式では十分な色補正精度が得られなかったような電子カメラについても高精度な色補正が可能となる。
【００５３】また、本実施の形態によれば、ニューラルネットワークによる色逆写像モジュールの入力に、更に撮像時に電子カメラ内部で行われたホワイトバランス情報を付け加えることにより、色補正処理時に、より高度な自動ホワイトバランス機能を再適用可能な色空間で画像データを出力できることになる。
【００５４】また、本実施の形態によれば、ニューラルネットワークによる逆写像モジュールを、代表的な数種類の光源に対して生成し、それらを組み合わせてモジューラニューラルネット、或いはファジイニューラルネットと呼ばれる構成を作るようにし、さらに、ニューラルネットワークに教示データを与える際に、色変換データと共に撮像時に電子カメラ内部で行われたホワイトバランスの情報を与えて、電子カメラの色変換特性の光源による変化を記憶させることにより、従来は手動方式しかなかった光源変化に対応して補正写像を変化させるための操作を自動化でき、如何なる光源に対しても適切な逆写像を発生可能としている。
【００５５】また、本実施の形態によれば、上述のような電子カメラ画像の色補正を目的とする撮像時の光源の変化に対応した逆写像生成処理において、出力色空間を光源の色度座標によって正規化しない空間、例えばＸＹＺ色空間とすることで、適切な後処理の導入によっては、より高精度にホワイトバランスのとれた画像へ色補正することを可能としている。
【００５６】さらに、本実施の形態によれば、上述のような電子カメラ画像の色補正を目的とする撮像時の光源の変化に対応した逆写像生成処理において、教示するターゲットデータを撮像時の光源下での測色値とするのではなく標準光源下での測色値とすることにより、結果として光源の変化にかかわらず、物体色の正確な再生を可能としている。すなわち、本実施の形態によれば、教示データ対の選択によって、補正後の画像を、原画像の色に対して、その測色値、分光反射特性、好まれる色、いずれにも指向させることができる。
【００５７】
【発明の効果】以上の説明で明らかなように、本発明においては、電子カメラにより撮像されたカラー画像データからニューラルネットワークを用いて色変換逆写像を求め、その色変換逆写像に対して色誤差の補正を行うことにより、電子カメラの特性に適合した逆写像を生成して高精度な色再現が可能となり、また、代表的な複数の光源のそれぞれに対応した別個のニューラルネットワーク或いはそれら各ニューラルネットワークの組み合わせを用いて色変換逆写像を求めることにより、どのような光源で撮像した画像に対しても常に適切な逆写像を与えることが可能となる。
【図面の簡単な説明】
【図１】電子カメラにおける色変換の逆写像の生成にニューラルネットワークの技術を導入した本実施の形態の画像色補正装置の概略構成を示す図である。
【図２】ニューラルネットワークにより光源変化に対応可能とした本実施の形態の画像色補正装置の概略構成を示す図である。
【図３】モジュラーニューラルネットワークによって光源変化に対応可能とした本実施の形態の画像色補正装置の概略構成を示す図である。
【図４】電子カメラやイメージスキャナに採用されている信号処理のための基本的な構成例を示す図である。
【図５】図４の構成により得られたＲＧＢ或いはＹＣＣのデータに対して、電子カメラの色変換特性の逆写像を生成するための構成例を示す図である。
【図６】電子カメラ内部の信号処理方式が図４に示した処理方式と異なる信号処理方式の例を説明するための構成を示す図である。
【符号の説明】
４，１０ ニューラルネット回路、 ２１〜２４ 光源＃１〜＃４に対応するニューラルネットワークモジュール、 １１ 出力処理モジュール
【０００１】
【発明の属する技術分野】本発明は、例えば電子カメラ等により得られるカラー画像データの色補正を行う画像色補正方法及び装置に関する。
【０００２】
【従来の技術】従来より、例えば電子カメラによって撮像したカラー画像に対して高精度な色再現性が求められる場合は、一般に、画像データを取り扱うコンピュータ上においてＩＣＣプロファイルフォーマットに即した方式、すなわちカラー画像データを一旦元の測色空間（ＸＹＺ又はＬ*ａ*ｂ）へ変換する手続きを経た後、色補正を行うようになされている。このような色補正を行うためには、電子カメラが撮像したカラー画像の色情報をどのような出力信号に変換しているのかを示す色変換写像の逆写像を求める必要がある。
【０００３】従来は、このような電子カメラの色補正に必要な色変換の逆写像の生成のために、イメージスキャナで使用されている方式を応用するのが一般的である。
【０００４】図４には、多くの電子カメラやイメージスキャナに採用されている信号処理のための基本的な構成例を示す。
【０００５】この図４において、端子１０１〜１０３は被写体光のＸＹＺ色空間に対応するデータであり、これらデータが画像センサ（イメージセンサ）１０４に入力されるものとしてモデル化している。当該画像センサ１０４からは色変換後のＲＧＢのデータが出力され、これらＲＧＢのデータはそれぞれ対応する１次元ルックアップテーブル（１Ｄ−ＬＵＴ）１５１〜１５３からなるガンマ補正回路１０５にてガンマ補正される。ガンマ補正回路１０５から出力されたＲＧＢのデータは、それぞれ対応する端子１０６〜１０８より出力される。なお、出力色空間を輝度と色差、すなわちＹＣＣにする場合には、これら端子１０６〜１０８より出力されたＲＧＢのデータを、３×３マトリクス回路１０９にてマトリクス演算することにより、ＹＣＣのデータに変換する。これらＹＣＣのデータはそれぞれ対応する端子１１０〜１１２より出力される。
【０００６】一方、上記図４の構成により得られたＲＧＢ或いはＹＣＣのデータに対して、電子カメラの色変換特性の逆写像を生成する場合には、図５に示すような構成が用いられる。
【０００７】この図５において、端子１１０〜１１２には、図４の構成にて出力色空間をＹＣＣとしたときのＹＣＣのデータが入力される。これらＹＣＣのデータは、３×３マトリクス回路１２２にてマトリクス演算されてＲＧＢのデータに変換される。このＲＧＢのデータはそれぞれ対応する端子１１６〜１１８に送られる。また、図４の構成にてＲＧＢのデータを出力する場合には、当該端子１１６〜１１８に直接ＲＧＢのデータが入力される。端子１１６〜１１８に入力されたＲＧＢのデータは、それぞれ対応する１次元ルックアップテーブル（１Ｄ−ＬＵＴ）１６１〜１６３にて補正処理された後、３×３マトリクス回路１２４によるマトリクス演算によりＸＹＺのデータに変換される。これらＸＹＺのデータは、それぞれ対応する端子１１９〜１２１より出力される。
【０００８】これら図４及び図５から明らかなように、図５は図４の逆方向モデルである。また、図５の構成では、図４の画像センサ１０４の色変換特性（ＸＹＺ→ＲＧＢ）の逆変換が、線形変換で近似されている。ここで、電子カメラの色信号処理理論によれば、電子カメラの色変換特性はＣＩＥ（国際照明委員会）で定めるｘｙｚ等色関数の線形結合で表されるのが理想であるとされ、画像センサや色分解プリズムの色特性設計指標となっている。したがって、通常ならば画像センサの色変換特性を線形変換で近似することは妥当であり、誤差も少ないものと考えてよい。
【０００９】
【発明が解決しようとする課題】しかしながら、実際には、図５のような逆写像生成のための構成を適用することが妥当でなくなるケースも存在する。これは主に、次の２つケースの場合である。
【００１０】第１のケースとして、画像センサの色変換特性が等色関数ｘｙｚの線形変換に十分近くないときである。これは、比較的低精度な民生用の電子カメラ画像を色補正して、比較的高精度な色再現性を要求する場合などに問題となる。
【００１１】第２のケースとして、電子カメラ内部の信号処理方式が、図４に示したような処理方式と異なるときである。その一例として、図６に示すような補色ＣＣＤカラーカメラの信号処理のための構成が考えられる。
【００１２】この図６において、端子１０１〜１０３は被写体光のＸＹＺ色空間に対応するデータであり、これらデータが画像センサ（イメージセンサ）１３１に入力されるものとしている。当該画像センサ１３１からは色変換後のシアン、マゼンタ、イエロー、グリーン（ＣＭＹＧ）のデータが出力され、これらＣＭＹＧのデータは４×３マトリクス回路１３２と３×３マトリクス回路１３３にてマトリクス演算された後、１次元ルックアップテーブル（１Ｄ−ＬＵＴ）１７１〜１７３からなるガンマ補正回路１３４にてガンマ補正される。当該ガンマ補正回路１３４から出力されたデータは、さらに２×３マトリクス回路１３５にてマトリクス演算され、ＵＶのデータとしてそれぞれ対応する端子１３７〜１３８より出力される。なお、ＹＣＣのＹのデータについては、４×３マトリクス回路１７４の出力から１Ｄ−ＬＵＴ１７４を介して生成され、端子１３６より出力される。
【００１３】上記第２のケースの例として挙げた上記図６のような構成は、現在多くの民生用電子カメラに使用されている補色方式カメラの構成であるが、図５の逆変換モデルとは構造的に一致しておらず、したがって図５の構成では高精度な逆写像を発生することはできない。また、この図６の構成の場合は、図４と図５の関係に相当するような、新たな補色カメラ用逆方向モデルを簡単に構成することはできない。すなわちそれは、内部処理で色空間の次元が一旦一つ増加するという理由による。
【００１４】さらに、電子カメラ特有の課題として、光源の変化の問題がある。すなわち、電子カメラの中では、撮像時の光源にかかわらず、白が白として記録されるように、ＲＧＢの信号に与えるゲインを調整する、いわゆるホワイトバランス（ＷＢ）調整と呼ばれる機能がある。電子カメラの色変換特性に含まれる理想からの誤差は、このホワイトバランスの設定によって変化するのが普通である。したがって、ある一つの光源に対して精度の良い逆写像を求めたとしても、別の光源においてはそれとは別の逆写像が必要とされる。
【００１５】既存方式では、色の逆変換用プロファイルデータ（逆写像を実現するためのデータで、実際に色補正を行う画像処理ソフトウェアがアクセスして使用するもの）を、代表的な光源数種類について準備し、ユーザが色補正を行いたい画像に対して、それを撮像したときの光源の記憶知識をもとに、最も適合すると思われるものをセレクトする方式が採られている。この方式では、ユーザに負担を強いるばかりか、プロファイルデータの選択が不適切であったり、用意されたプロファイルデータの中に撮像時の光源にうまく適合するものが存在しない場合に、適切な補正が行われないという問題が生ずる。
【００１６】上述したように、従来方式の逆写像生成方法では、イメージスキャナのそれを応用したものが主流であり、この方式では、電子カメラ方式やカメラの特性によっては十分な精度が得られないことがある。また、常に、光源が一定であるイメージスキャナに対し、撮像時の光源が特定できない電子カメラにおいて、どのような光源で撮像した画像に対しても常に適切な逆写像を与える方式は、現在のところ提案されていない。
【００１７】そこで、本発明はこのような状況に鑑みてなされたものであり、電子カメラの特性に適合した逆写像を生成して高精度な色再現を可能とし、また、どのような光源で撮像した画像に対しても常に適切な逆写像を与えることを可能とする、画像色補正方法及び装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】本発明の画像色補正方法は、電子カメラによって撮像されたカラー画像の色誤差の補正を行う画像色補正方法であり、電子カメラにより撮像されたカラー画像データからニューラルネットワークを用いて色変換逆写像を求め、当該ニューラルネットワークを用いて求めた色変換逆写像に対して色誤差の補正を行うことにより、上述した課題を解決する。
【００１９】本発明の画像色補正装置は、電子カメラによって撮像されたカラー画像の色誤差の補正を行う画像色補正装置であり、電子カメラにより撮像されたカラー画像データからニューラルネットワークを用いて色変換逆写像を求める逆写像生成手段を備え、当該ニューラルネットワークを用いて求めた色変換逆写像に対して色誤差の補正を行うことにより、上述した課題を解決する。
【００２０】また、本発明の画像色補正方法及び装置では、代表的な複数の光源のそれぞれに対応した別個のニューラルネットワーク或いはそれら各ニューラルネットワークの組み合わせを用いて、色変換逆写像を求めることにより、上述した課題を解決する。
【００２１】
【発明の実施の形態】本発明の好ましい実施の形態について、図面を参照しながら説明する。
【００２２】本発明が適用される一実施の形態の画像色補正装置の構成を、図１に示す。
【００２３】この図１に示す本実施の形態の画像色補正装置は、前述した色再現補正精度の問題を解決するため、電子カメラにおける色変換の逆写像の生成にいわゆるニューラルネットワークを導入している。
【００２４】すなわち、図１において、端子１〜３には例えば前記図４の構成にて出力色空間をＹＣＣとしたときのＹＣＣのデータや、前記図６の構成にて出力されたＹＣＣのデータが入力される。これらＹＣＣのデータは、ニューラルネット回路４によりＸＹＺのデータに変換され、端子５〜７より出力される。なお、本実施の形態のニューラルネット回路４にて行われる色補正方式は、例えばプリンタなど、非線形性が強く簡単に図５のような逆構造モデルが作れない画像装置の色補正に関しては既に使用例があり、その具体的構成の図示は行わないが、現在のところ、電子カメラにこの方式を適用した技術については存在していない。
【００２５】ここで、電子カメラの色補正にニューラルネットワークの技術を適用した場合、当該ニューラルネットの教示データ対としては、補正しようとする電子カメラにおいて色空間内に適度に均一に分布する色の組み合わせ（以下、例えばカラーチャートとする）を撮像し、その結果得られた電子カメラからの出力信号を入力し、当該カラーチャートの測色値（ＸＹＺ）を所望する出力とするようなデータセットを用いれば良い。ニューラルネットワークの構成は、入出力層それぞれ３ノードを持ち、層数、隠れ層のノード数は、要求される補正精度などによって決定すればよい。また、ニューラルネットワークの学習アルゴリズムも、例えばいわゆる最急降下法や、最急降下法に慣性項を加えたもの、共役勾配法その他、要求される精度や収束時間、計算量によって使い分ければよい。
【００２６】次に、本発明実施の形態では、上記色再現補正精度の問題を解決することに加え、さらに光源変化に対する問題を解決するために、図２に示すように、入力層５ノード、出力層３ノードのニューラルネットワークからなるニューラルネット回路１０を用いている。
【００２７】すなわち、図２において、端子１〜３にはＹＣＣのデータが、また、端子８，９には後述するＲＧＢ信号の比率（例えばＲ／Ｇ，Ｂ／Ｇ）のデータが入力される。これらのデータは、ニューラルネット回路１０によりＸＹＺのデータに変換され、端子５〜７より出力される。
【００２８】ここで、この図２の例にて使用するニューラルネットワークについては、例えば以下の方法を用いて教育を行うようにする。
【００２９】第１のステップとして、上記カラーチャートに対して、電子カメラからの出力信号と測色値の組による教示データセットを、代表的な幾つかの光源＃１，＃２，＃３，・・・に対して生成する。
【００３０】第２のステップとして、それぞれの光源＃１，＃２，＃３，・・・について、ホワイトバランスを合わせるために必要とされたゲインの情報、或いはその光源における白を撮像した時の画像センサ出力におけるＲＧＢ信号の比率、例えばＲ／Ｇ，Ｂ／Ｇを教示データセットに加える。
【００３１】第３のステップとして、単一光源と同様にニューラルネットワークを教育するが、教示データとして光源＃１撮像時のカラーチャートデータを提示しているときは、同時にニューラルネットの残る２つの入力ノードに対し、その光源＃１におけるＲ／Ｇ，Ｂ／Ｇのデータを同様に提示する。以下、光源＃２，＃３，・・・でも同様に繰り返す。
【００３２】以上の方法によって、光源に依存する色変換特性の変化がニューラルネットワーク内に記憶され、色補正時に撮像した時のホワイトバランスデータを参照することで、自動的にその光源に適切な逆写像が生成されることになる。なお、教示データに含まれていた光源の何れにも一致しない光源においては、教示データに含まれていた代表的な光源間の特性を補間した形で逆写像を生成すれば、適切な逆写像を保つことができる。
【００３３】本実施の形態では、上述したことを実現するために、以上の操作とともに、電子カメラに撮像された画像データ（例えばいわゆるＪＰＥＧ形式などのフォーマットによるデータ）のコメント領域などに、撮像時のホワイトバランスデータを書き込むこととする。ホワイトバランスデータは、通常数バイト以内で表現できるデータなので、ファイルの大きさに与える影響は無視できる。また、後述するように、画像の色補正時にホワイトバランスの高精度化を同時に行おうとするような場合には、他に撮像時の露出データなど、光源推定の精度を向上させるのに役立つデータを付加してもよい。
【００３４】図３には、代表的な幾つかの光源＃１，＃２，＃３，・・・を用いたモジュラーニューラルネットワークによる電子カメラの多種光源補正のための具体的な一構成例を示す。
【００３５】この図３の構成は、代表的な幾つかの光源＃１，＃２，＃３，・・・に対する逆写像を全て別々のモジュールで独立させて行い、より高精度な補正の実現を目指すようにした構成例である。
【００３６】この図３において、端子１〜３にはＹＣＣのデータが入力され、端子８，９にはＲＧＢ信号の比率（Ｒ／Ｇ，Ｂ／Ｇ）のデータが入力される。ＹＣＣのデータは、代表的な各光源＃１，＃２，＃３，・・・をそれぞれ単一光源とした場合の各単一光源に対する逆写像を生成するための各ニューラルネットワークモジュール２１，２２，２３，２４，・・・・に入力する。各ニューラルネットワークモジュール２１，２２，２３，２４，・・・・の出力データは、一旦出力処理モジュール１１に集められる。
【００３７】出力処理モジュール１１は、端子８，９からのＲ／Ｇ，Ｂ／Ｇデータ、すなわちホワイトバランス情報も入力される。当該出力処理モジュール１１では、光源情報に基づいてどのモジュール２１，２２，２３，２４，・・・・からの出力データを採用するか判断した後、最終出力を行い、これら最終出力がＸＹＺのデータとして端子５〜７より出力される。なおここで、当該判断の方式としては、最も簡単には例えばあるニューラルネットワークモジュール一つの結果をセレクトする方法でもよいが、例えば出力処理モジュール１１にニューラルネットや例えばファジイメンバーシップ関数のセットなど、補間能力を持つユニットを使用するようにすれば、当該出力処理モジュール１１からは、代表的な光源以外の光源データが入力されたときにも適切に補間された逆写像が得られるような出力が得られることになる。
【００３８】また、この図３の全体のシステムを教育する方法としては、次のどの方式を用いてもよい。
【００３９】第１の教育方式として、各光源に対応する各ニューラルネットワークモジュールを、前述した図１の単一光源の場合と同様に独立して教育する方式を用いることができる。この場合、出力処理モジュール１１は、開発者の知見に基づき、Ｒ／Ｇ，Ｂ／Ｇ平面上において２次元のファジイメンバーシップ関数を、代表光源の周りに分布させる形で設計する。
【００４０】第２の教育方式として、第１の教育方式と同様であるが、出力処理モジュール１１に、入力されたＲ／Ｇ，Ｂ／Ｇデータに対してどのニューラルネットワークモジュールからの出力をどの程度採用すべきかを教育したニューラルネットワークを用いる。
【００４１】第３の教育方式として、構造は上記と同じであるが、全体のシステムをいわゆるＡＮＦＩＳなどのＮｅｕｒｏ−Ｆｕｚｚｙアルゴリズムによって同時に教育する。
【００４２】なお、この方式を適用する電子カメラの出力画像データに付加する情報は、前述の図２で説明したものとと同様である。
【００４３】また、応用例として、ニューラルネットワークの入力部にタスク分配ユニット（モジュール）を配し、入力されたＲ／Ｇ，Ｂ／Ｇのデータによって予めその結果が最終出力に関係しないニューラルネットワークモジュールの計算を停止し、計算速度向上を図る方式を用いても良い。
【００４４】これまでの説明では、ニューラルネットワークの出力色空間は、ＸＹＺを用いているが、出力色空間はＬ*ａ*ｂ*であっても良い。また、一旦測色空間へ変換する必要のない色補正を行う場合、ＲＧＢ、ＹＣＣ何れの空間を出力としても良い。これらは教示データの出力色空間を変更するだけで簡単に可能である。なお、輝度と色差信号による色空間をＹＣＣと総称しており、このＹＣＣにはＹＣRＣB，ＹＰbＰr，ＹＵＶなどを全て含む。
【００４５】また、出力色空間をＸＹＺと定めた場合、その空間は原画像の光源の色度情報で正規化したものではない。したがって、補正時の処理で、撮像時には行えないような光源推定方式を新たに導入することで、最終的な色補正画像の白色点精度（ホワイトバランス精度）を改善した画像を得るシステムを構築することも可能である。
【００４６】次に、上述したようなニューラルネットワークにおいて教示する入出力データ対の出力側データとしては、光源にかかわらず、例えばいわゆるＤ６５００光源におけるカラーチャートの測色値を用いるようにする。これにより、測色的に正しい色再現に補正するのではなく、被写体の分光反射率特性を再現する特性（color constancy）に補正したカラー画像を得るシステムを構成することが可能である。また、何れの場合においても、記憶色や人間の色に対する好みを考慮して教示データに変更を加え、より好まれる色再現に補正するシステムの構築が可能となる。
【００４７】以上のように、本実施の形態の画像色補正装置では、ニューラルネットワーク、モジュラーニューラルネットワーク又はファジーニューラルネットワークの形式で実現されるが、実際の画像の色補正処理においては以下の何れの方式を用いても良い。
【００４８】第１の処理方式として、上述したような画像色補正のための処理工程をそのままの形で画像ソフトウェア上に実装して計算を行うような処理方式を用いる。
【００４９】第２の処理方式として、上述したような画像色補正のための処理工程がソフトウェアとして実装起動され、撮像時の光源に依存する逆写像が特定される時点で、ＩＣＣプロファイルフォーマットに適合する３次元ルックアップテーブルデータを発生させ、汎用の画像ソフトウェアで実際の色変換処理を行わせるような処理方式を用いる。
【００５０】第３の処理方式として、上記第２の処理方式と同様であるが、ＩＣＣプロファイルを添付することを許容する画像フォーマットにおいては、上述したような画像色補正のための処理にて生成したＩＣＣプロファイルを画像ファイルに添付するような処理方式を用いる。
【００５１】第４の処理方式として、アナログ或いはディジタルＬＳＩによってハードウェアで実現するような処理方式を用いる。この方式によれば、ディジタルスチルカメラなどの内部で記録前に処理を行わせることも可能である。
【００５２】以上説明したように、本発明実施の形態によれば、電子カメラの色変換逆写像を求めるために、いわゆるニューラルネットワークの技術を導入していることいより、従来方式では十分な色補正精度が得られなかったような電子カメラについても高精度な色補正が可能となる。
【００５３】また、本実施の形態によれば、ニューラルネットワークによる色逆写像モジュールの入力に、更に撮像時に電子カメラ内部で行われたホワイトバランス情報を付け加えることにより、色補正処理時に、より高度な自動ホワイトバランス機能を再適用可能な色空間で画像データを出力できることになる。
【００５４】また、本実施の形態によれば、ニューラルネットワークによる逆写像モジュールを、代表的な数種類の光源に対して生成し、それらを組み合わせてモジューラニューラルネット、或いはファジイニューラルネットと呼ばれる構成を作るようにし、さらに、ニューラルネットワークに教示データを与える際に、色変換データと共に撮像時に電子カメラ内部で行われたホワイトバランスの情報を与えて、電子カメラの色変換特性の光源による変化を記憶させることにより、従来は手動方式しかなかった光源変化に対応して補正写像を変化させるための操作を自動化でき、如何なる光源に対しても適切な逆写像を発生可能としている。
【００５５】また、本実施の形態によれば、上述のような電子カメラ画像の色補正を目的とする撮像時の光源の変化に対応した逆写像生成処理において、出力色空間を光源の色度座標によって正規化しない空間、例えばＸＹＺ色空間とすることで、適切な後処理の導入によっては、より高精度にホワイトバランスのとれた画像へ色補正することを可能としている。
【００５６】さらに、本実施の形態によれば、上述のような電子カメラ画像の色補正を目的とする撮像時の光源の変化に対応した逆写像生成処理において、教示するターゲットデータを撮像時の光源下での測色値とするのではなく標準光源下での測色値とすることにより、結果として光源の変化にかかわらず、物体色の正確な再生を可能としている。すなわち、本実施の形態によれば、教示データ対の選択によって、補正後の画像を、原画像の色に対して、その測色値、分光反射特性、好まれる色、いずれにも指向させることができる。
【００５７】
【発明の効果】以上の説明で明らかなように、本発明においては、電子カメラにより撮像されたカラー画像データからニューラルネットワークを用いて色変換逆写像を求め、その色変換逆写像に対して色誤差の補正を行うことにより、電子カメラの特性に適合した逆写像を生成して高精度な色再現が可能となり、また、代表的な複数の光源のそれぞれに対応した別個のニューラルネットワーク或いはそれら各ニューラルネットワークの組み合わせを用いて色変換逆写像を求めることにより、どのような光源で撮像した画像に対しても常に適切な逆写像を与えることが可能となる。
【図面の簡単な説明】
【図１】電子カメラにおける色変換の逆写像の生成にニューラルネットワークの技術を導入した本実施の形態の画像色補正装置の概略構成を示す図である。
【図２】ニューラルネットワークにより光源変化に対応可能とした本実施の形態の画像色補正装置の概略構成を示す図である。
【図３】モジュラーニューラルネットワークによって光源変化に対応可能とした本実施の形態の画像色補正装置の概略構成を示す図である。
【図４】電子カメラやイメージスキャナに採用されている信号処理のための基本的な構成例を示す図である。
【図５】図４の構成により得られたＲＧＢ或いはＹＣＣのデータに対して、電子カメラの色変換特性の逆写像を生成するための構成例を示す図である。
【図６】電子カメラ内部の信号処理方式が図４に示した処理方式と異なる信号処理方式の例を説明するための構成を示す図である。
【符号の説明】
４，１０ ニューラルネット回路、 ２１〜２４ 光源＃１〜＃４に対応するニューラルネットワークモジュール、 １１ 出力処理モジュール
【特許請求の範囲】
【請求項１】 電子カメラによって撮像されたカラー画像の色誤差の補正を行う画像色補正方法において、上記電子カメラにより撮像されたカラー画像データから、ニューラルネットワークを用いて色変換逆写像を求め、当該ニューラルネットワークを用いて求めた色変換逆写像に対して色誤差の補正を行うことを特徴とする画像色補正方法。
【請求項２】 上記ニューラルネットワークに教示データを与える際に、上記電子カメラの撮像時に行われたホワイトバランス情報を付加することを特徴とする請求項１記載の画像色補正方法。
【請求項３】 代表的な複数の光源のそれぞれに対応した別個のニューラルネットワーク或いはそれら各ニューラルネットワークの組み合わせを用いて、色変換逆写像を求めることを特徴とする請求項１記載の画像色補正方法。
【請求項４】 上記各ニューラルネットワークに教示データを与える際に、上記電子カメラの撮像時に行われたホワイトバランス情報を付加することを特徴とする請求項３記載の画像色補正方法。
【請求項５】 上記色変換逆写像の出力色空間を、光源の色度座標により正規化しない空間として出力することを特徴とする請求項３記載の画像色補正方法。
【請求項６】 上記各ニューラルネットワークの教示データを、標準光源下での測色値とすることを特徴とする請求項３記載の画像色補正方法。
【請求項７】 電子カメラによって撮像されたカラー画像の色誤差の補正を行う画像色補正装置において、上記電子カメラにより撮像されたカラー画像データから、ニューラルネットワークを用いて色変換逆写像を求める逆写像生成手段を備え、当該ニューラルネットワークを用いて求めた色変換逆写像に対して色誤差の補正を行うことを特徴とする画像色補正方法。
【請求項８】 上記逆写像生成手段では、上記ニューラルネットワークに教示データを与える際に、上記電子カメラの撮像時に行われたホワイトバランス情報を付加することを特徴とする請求項７記載の画像色補正装置。
【請求項９】 上記逆写像生成手段は、代表的な複数の光源のそれぞれに対応した別個のニューラルネットワーク或いはそれら各ニューラルネットワークの組み合わせを用いて、色変換逆写像を求めることを特徴とする請求項７記載の画像色補正装置。
【請求項１０】 上記逆写像生成手段では、上記各ニューラルネットワークに教示データを与える際に、上記電子カメラの撮像時に行われたホワイトバランス情報を付加することを特徴とする請求項９記載の画像色補正装置。
【請求項１１】 上記逆写像生成手段は、上記色変換逆写像の出力色空間を、光源の色度座標により正規化しない空間として出力することを特徴とする請求項９記載の画像色補正装置。
【請求項１２】 上記逆写像生成手段では、上記各ニューラルネットワークの教示データを、標準光源下での測色値とすることを特徴とする請求項９記載の画像色補正装置。
【請求項１】 電子カメラによって撮像されたカラー画像の色誤差の補正を行う画像色補正方法において、上記電子カメラにより撮像されたカラー画像データから、ニューラルネットワークを用いて色変換逆写像を求め、当該ニューラルネットワークを用いて求めた色変換逆写像に対して色誤差の補正を行うことを特徴とする画像色補正方法。
【請求項２】 上記ニューラルネットワークに教示データを与える際に、上記電子カメラの撮像時に行われたホワイトバランス情報を付加することを特徴とする請求項１記載の画像色補正方法。
【請求項３】 代表的な複数の光源のそれぞれに対応した別個のニューラルネットワーク或いはそれら各ニューラルネットワークの組み合わせを用いて、色変換逆写像を求めることを特徴とする請求項１記載の画像色補正方法。
【請求項４】 上記各ニューラルネットワークに教示データを与える際に、上記電子カメラの撮像時に行われたホワイトバランス情報を付加することを特徴とする請求項３記載の画像色補正方法。
【請求項５】 上記色変換逆写像の出力色空間を、光源の色度座標により正規化しない空間として出力することを特徴とする請求項３記載の画像色補正方法。
【請求項６】 上記各ニューラルネットワークの教示データを、標準光源下での測色値とすることを特徴とする請求項３記載の画像色補正方法。
【請求項７】 電子カメラによって撮像されたカラー画像の色誤差の補正を行う画像色補正装置において、上記電子カメラにより撮像されたカラー画像データから、ニューラルネットワークを用いて色変換逆写像を求める逆写像生成手段を備え、当該ニューラルネットワークを用いて求めた色変換逆写像に対して色誤差の補正を行うことを特徴とする画像色補正方法。
【請求項８】 上記逆写像生成手段では、上記ニューラルネットワークに教示データを与える際に、上記電子カメラの撮像時に行われたホワイトバランス情報を付加することを特徴とする請求項７記載の画像色補正装置。
【請求項９】 上記逆写像生成手段は、代表的な複数の光源のそれぞれに対応した別個のニューラルネットワーク或いはそれら各ニューラルネットワークの組み合わせを用いて、色変換逆写像を求めることを特徴とする請求項７記載の画像色補正装置。
【請求項１０】 上記逆写像生成手段では、上記各ニューラルネットワークに教示データを与える際に、上記電子カメラの撮像時に行われたホワイトバランス情報を付加することを特徴とする請求項９記載の画像色補正装置。
【請求項１１】 上記逆写像生成手段は、上記色変換逆写像の出力色空間を、光源の色度座標により正規化しない空間として出力することを特徴とする請求項９記載の画像色補正装置。
【請求項１２】 上記逆写像生成手段では、上記各ニューラルネットワークの教示データを、標準光源下での測色値とすることを特徴とする請求項９記載の画像色補正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０００−３１１２４３（Ｐ２０００−３１１２４３Ａ）
【公開日】平成１２年１１月７日（２０００．１１．７）
【国際特許分類】
【出願番号】特願平１１−１２２７３４
【出願日】平成１１年４月２８日（１９９９．４．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成１２年１１月７日（２０００．１１．７）
【国際特許分類】
【出願日】平成１１年４月２８日（１９９９．４．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]