画像処理装置、撮像装置、画像処理方法および画像処理プログラム
【課題】画像の補正精度を向上させる。
【解決手段】判定部１１は、入力画像信号の値が、色分布において分割された複数の分割領域ＳＰ１〜ＳＰ３のいずれに含まれるかを判定する。これらの複数の分割領域はＲＧＢの色成分ごとに定義されており、判定部１１は、入力画像信号の値が複数の分割領域のいずれに含まれるかを色成分ごとに判定する。画像補正部１２は、色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部１３から、入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、出力画像信号におけるＲＧＢの各出力値を、補正係数記憶部１３から読み出した対応する色成分についての補正係数を用いて算出する。
【解決手段】判定部１１は、入力画像信号の値が、色分布において分割された複数の分割領域ＳＰ１〜ＳＰ３のいずれに含まれるかを判定する。これらの複数の分割領域はＲＧＢの色成分ごとに定義されており、判定部１１は、入力画像信号の値が複数の分割領域のいずれに含まれるかを色成分ごとに判定する。画像補正部１２は、色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部１３から、入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、出力画像信号におけるＲＧＢの各出力値を、補正係数記憶部１３から読み出した対応する色成分についての補正係数を用いて算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
可視領域だけでなく赤外領域に対しても感度を有する撮像素子の分光感度特性は、等色感度から大きく逸脱する。このため、このような撮像素子を用いて人間が見た印象に近いカラー画像を撮影するためには、一般的に、撮像素子への光路上に赤外カットフィルタを配置する。また、赤外カットフィルタを光路外に退避させる機構を設けることで、上記の撮像素子を、カラー撮影と、暗視撮影などの高感度撮影の両方の用途に使用することができる。
【０００３】
一方、上記の撮像素子を使用してカラー画像を得るための他の方法として、撮像素子によって得られた画像信号に対して信号処理による色補正を施す方法もある。信号処理によって色補正する方法は、赤外カットフィルタを配置する方法と比較して、撮像装置を小型化できる点で有利であり、製造コストの面でも一般的に有利である。また、カラー撮影と高感度撮影との切り替えも容易になる。
【０００４】
信号処理による色補正方法の一例として、マトリクス係数を用いた信号処理を行う方法がある。例えば、赤外カットフィルタを用いない撮影によって得られた画像における色（補正対象色）と、赤外カットフィルタを用いた撮影によって得られた画像における色（目標色）との関係から、最小二乗法によりマトリクス係数を算出し、算出したマトリクス係数を用いて色補正を行う技術が提案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】豊田善隆，外３名、「カラー撮像可能な近赤外撮像装置の研究〜比視感度補正信号処理方式の開発〜」、映像情報メディア学会誌、２０１０年１月号、社団法人映像情報メディア学会、ｐ．１０１−１１０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、マトリクス係数を用いた信号処理による色補正では、補正の度合いが補正対象の色によって異なることが、カラー画像における色再現性の低下を招くという問題があった。
【０００７】
また、赤外カットフィルタを使用せずに撮影して得られた画像信号に対する色補正に限らず、信号処理による画像補正の度合いが補正対象の色によって異なる場合には、画像の補正精度が低下してしまう。
【０００８】
１つの側面では、本発明は、画像の補正精度を向上させた画像処理装置、撮像装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、判定部と画像補正部とを有する画像処理装置が提供される。判定部は、入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する。また、これらの複数の分割領域が入力画像信号に含まれる色成分ごとに定義されており、判定部は、入力画像信号の値が複数の分割領域のいずれに含まれるかを色成分ごとに判定する。画像補正部は、色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、入力画像信号を基に、出力画像信号における色成分ごとの出力値を、補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する。
【００１０】
また、上記目的を達成するために、上記の画像処理装置と同様の処理を実行する撮像装置および画像処理方法が提供される。
さらに、上記目的を達成するために、上記の画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。
【発明の効果】
【００１１】
１態様によれば、画像の補正精度を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態に係る画像処理装置を説明するための図である。
【図２】第２の実施の形態に係る撮像装置の構成例を示す図である。
【図３】撮像素子の分光感度特性の例を示すグラフである。
【図４】マクベスカラーチェッカの各色についての分光反射率特性の例を示すグラフである。
【図５】撮像素子における色成分ごとの分光感度特性の例を示す。
【図６】撮影対象とする青色系カラーサンプルの分光反射率特性の例を示す。
【図７】色成分ごとの入出力の関係を示すグラフである。
【図８】Ｒ成分についての入出力の関係を示すグラフである。
【図９】Ｇ成分についての入出力の関係を示すグラフである。
【図１０】Ｂ成分についての入出力の関係を示すグラフである。
【図１１】グループ分けおよび補正係数の設定を含む初期設定手順の例を示すフローチャートである。
【図１２】各カラーサンプルについての補正前の値を、ａ＊成分およびｂ＊成分による色度分布の座標系にプロットした様子を示すグラフの例（その１）である。
【図１３】各カラーサンプルについての補正前の値を、ａ＊成分およびｂ＊成分による色度分布の座標系にプロットした様子を示すグラフの例（その２）である。
【図１４】各カラーサンプルについての補正前の値を、ａ＊成分およびｂ＊成分による色度分布の座標系にプロットした様子を示すグラフの例（その３）である。
【図１５】境界直線テーブルの一例を示す図である。
【図１６】補正係数テーブルの一例を示す図である。
【図１７】色補正部の内部構成例を示すブロック図である。
【図１８】色補正部における色補正処理手順の例を示すフローチャートである。
【図１９】第３の実施の形態に係る画像処理装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００１３】
以下、実施の形態について図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像処理装置を説明するための図である。
【００１４】
図１に示す画像処理装置１は、判定部１１、画像補正部１２および補正係数記憶部１３を備える。判定部１１および画像補正部１２の処理は、例えば、画像処理装置１が備えるＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現される。補正係数記憶部１３は、例えば、ＨＤＤ（Hard Disk Drive）などの不揮発性記憶装置として実現される。なお、補正係数記憶部１３は、例えば、画像処理装置１の外部に設けられていてもよい。
【００１５】
判定部１１は、画像処理装置１に入力される入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する。ここで、複数の分割領域は、入力画像信号に含まれる色成分ごとに定義されている。判定部１１は、入力画像信号の値が複数の分割領域のいずれに含まれるかを、色成分ごとに判定する。
【００１６】
例えば、入力画像信号がＲ（Red）成分、Ｇ（Green）成分およびＢ（Blue）成分を含むものとすると、上記の複数の分割領域は、ＲＧＢの各成分について個別に定義される。図１の例では、ＲＧＢの各成分について３つずつの分割領域ＳＰ１〜ＳＰ３が定義されている。
【００１７】
また、分割領域は、例えば、所定の表色系における色分布の座標系を分割することで定義される。分割領域が定義される色分布の座標系は、入力画像信号と同じ表色系における座標系であってもよいし、入力画像信号とは異なる表色系における座標系であってもよい。また、分割領域が定義される色分布の座標系は、例えば、色度分布の座標系であってもよい。
【００１８】
図１では例として、Ｌ＊ａ＊ｂ＊表色系におけるａ＊成分とｂ＊成分による座標系２０を分割することで、分割領域が定義されている。ここで、座標系２０は、入力画像信号に基づくａ＊成分およびｂ＊成分の各値がとり得る範囲を示す。この例のように、分割領域が定義される色分布の座標系２０が、入力画像信号とは異なる表色系における座標系である場合、判定部１１は、入力画像信号を、分割領域が定義される色分布の座標系２０と同じ表色系の値に変換する。そして、判定部１１は、変換後の値がどの分割領域に含まれるかを、入力画像信号に含まれる色成分ごとに判定する。図１の例では、判定部１１は、ＲＧＢ表色系の信号である入力画像信号を、Ｌ＊ａ＊ｂ＊表色系の信号に変換する。そして、判定部１１は、変換後の信号成分のうちａ＊成分およびｂ＊成分の各値がどの分割領域に含まれるかを、ＲＧＢの各成分について判定する。
【００１９】
図１に示すように、Ｒ成分、Ｇ成分およびＢ成分のそれぞれについて、分割領域ＳＰ１〜ＳＰ３を任意に設定することが可能である。例えば、Ｒ成分についての分割領域ＳＰ１と、Ｇ成分についての分割領域ＳＰ１とを、座標系２０における異なる領域に設定することができる。
【００２０】
なお、図１の例では、ＲＧＢの各成分について分割領域が３つずつ定義されたが、各成分に定義される分割領域の数は２以上の任意の数とすることができる。また、ＲＧＢの各成分に定義される分割領域の数は同一でなくてもよい。
【００２１】
ここで、分割領域をどのような色分布の座標系に定義するかは、例えば、分割領域の設定のしやすさ（例えば、分割領域同士の境界の設定のしやすさ）や、判定部１１での判定処理手順の簡単さなどを加味して決定されればよい。例えば、分割領域を入力画像信号とは異なる表色系における座標系に定義することで、判定部１１での処理手順を簡易化できる、判定部１１での判定処理のために必要な情報量を小さくできる、といった効果が得られる可能性がある。
【００２２】
画像補正部１２は、入力画像信号に対して補正演算を行い、補正された画像信号を出力する。画像補正部１２は、出力画像信号における色成分ごとの出力値を、色成分ごとに個別の補正係数を用いて算出する。また、画像補正部１２は、色成分ごとの補正演算に用いる補正係数を、補正係数記憶部１３から読み出す。補正係数記憶部１３には、色成分ごとかつ分割領域ごとに、補正係数が登録されている。
【００２３】
ここで、例として、画像補正部１２は演算部１２ａ〜１２ｃを備えるものとする。また、補正係数記憶部１３には、ＲＧＢの各成分についての補正係数が個別に登録された補正係数テーブル１３ａ〜１３ｃが記録されているものとする。演算部１２ａは、補正係数テーブル１３ａから読み出した補正係数を用いて、出力画像信号におけるＲ成分の値を算出する。演算部１２ｂは、補正係数テーブル１３ｂから読み出した補正係数を用いて、出力画像信号におけるＧ成分の値を算出する。演算部１２ｃは、補正係数テーブル１３ｃから読み出した補正係数を用いて、出力画像信号におけるＢ成分の値を算出する。
【００２４】
また、補正係数テーブル１３ａには、Ｒ成分について定義された分割領域ＳＰ１，ＳＰ２，ＳＰ３のそれぞれに対応付けて、補正係数Ｃ１，Ｃ２，Ｃ３が登録されている。図示しないが、同様に、補正係数テーブル１３ｂには、Ｇ成分について定義された分割領域ＳＰ１，ＳＰ２，ＳＰ３のそれぞれに対応付けて、補正係数Ｃ１，Ｃ２，Ｃ３が登録されている。また、補正係数テーブル１３ｃには、Ｂ成分について定義された分割領域ＳＰ１，ＳＰ２，ＳＰ３のそれぞれに対応付けて、補正係数Ｃ１，Ｃ２，Ｃ３が登録されている。
【００２５】
補正係数テーブル１３ａ〜１３ｃのそれぞれに対しては、補正係数Ｃ１〜Ｃ３を任意に設定可能である。また、補正係数テーブル１３ａ〜１３ｃのそれぞれにおいては、複数の分割領域に同一の補正係数が登録されてもよい。換言すれば、ＲＧＢの各成分について、１つの補正係数が複数の分割領域（すなわち、座標系２０における連続していない領域）に対応付けられてもよい。
【００２６】
画像補正部１２は、補正係数記憶部１３から、判定部１１によって入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出す。そして、画像補正部１２は、入力画像信号を基に、出力画像信号における色成分ごとの出力値を、補正係数記憶部１３から読み出した対応する色成分についての補正係数を用いて算出する。
【００２７】
例えば、図１において、判定部１１が、Ｒ成分について、入力画像信号に基づくａ＊成分およびｂ＊成分の各値が分割領域ＳＰ１に含まれると判定したとする。この場合、画像補正部１２の演算部１２ａは、補正係数テーブル１３ａから、分割領域ＳＰ１に対応付けられた補正係数Ｃ１を読み出し、読み出した補正係数Ｃ１を用いてＲ成分の出力値を算出する。また、例えば、判定部１１が、Ｇ成分について、入力画像信号に基づくａ＊成分およびｂ＊成分の各値が分割領域ＳＰ２に含まれると判定したとする。この場合、画像補正部１２の演算部１２ｂは、補正係数テーブル１３ｂから、分割領域ＳＰ２に対応付けられた補正係数Ｃ２を読み出し、読み出した補正係数Ｃ２を用いてＧ成分の出力値を算出する。
【００２８】
以上説明した画像処理装置１によれば、入力画像信号の値に応じた適切な補正係数を用いて、画質を補正できるようになる。このため、補正係数を用いた補正演算による画質補正効果の度合いが、入力画像信号の値によって異なるような場合でも、補正後の画像の画質が向上する確率を高くすることができる。特に、補正演算による画質補正効果の度合い（補正演算によって信号の値がどの程度適正化されるかの度合い）が色成分ごとに異なる場合に、入力画像信号の値に応じて、色成分ごとの効果の度合いが考慮された適切な補正係数を選択できる。このため、補正精度が向上する。
【００２９】
例えば、補正演算による画質補正効果の度合いが入力画像信号の値に応じて異なる場合には、入力画像信号の値に応じて異なる補正係数を用いて補正演算を行うことで、補正精度を高めることができる。しかしながら、入力画像信号の値が、色成分間で共通に定義された複数の分割領域のいずれに含まれるかを判定する方法では、補正演算による画質補正効果の度合いが色成分ごとに異なる場合に、高い補正精度を得られない。補正精度をより向上させるためには、分割領域の数を増やし、対応する補正係数の数を増やす必要がある。
【００３０】
これに対して、本実施の形態のように、入力画像信号の値が、色成分ごとに定義された複数の分割領域のいずれに含まれるかを判定する方法では、補正演算による画質補正効果の度合いが色成分ごとに異なる場合でも、少ない補正係数を用いて補正精度を高めることができる。例えば、上記のように色成分間で共通の分割領域を定義する方法で、９通りの補正係数を用意した場合と、本実施の形態で、ＲＧＢの各成分について３通りずつの補正係数を用意した場合とを比較すると、本実施の形態では、画像補正部１２において２７通りの補正処理を実行することが可能になる。従って、少ない補正係数を用いて精度の高い補正を行うことができる。
【００３１】
〔第２の実施の形態〕
次に、上記の画像処理装置１の処理を、可視領域および赤外領域に感度を有する撮像素子によって得られた画像の色補正に対して用いた撮像装置の例について説明する。
【００３２】
図２は、第２の実施の形態に係る撮像装置の構成例を示す図である。
図２に示す撮像装置１００は、光学ブロック１０１、撮像素子１０２、Ａ／Ｄ（Analog/Digital）変換部１０３、画素補間部１０４、ＷＢ（White Balance）調整部１０５、色補正部１０６、γ補正部１０７、他の画質補正部１０８、表示／保存処理部１０９、ディスプレイ１１０、記録媒体１１１、切り替え制御部１１２および入力部１１３を備える。なお、この撮像装置１００は、例えば、一般的な民生用のデジタルスチルカメラとして使用できる他、監視カメラなどの業務用カメラとして使用することもできる。
【００３３】
光学ブロック１０１は、被写体からの光を撮像素子１０２に集光するためのレンズなどを備える。撮像素子１０２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、被写体から光学ブロック１０１を通じて入射した光を電気信号に変換する。この撮像素子１０２は、可視領域および赤外領域に対して感度を有する。また、光学ブロック１０１は、撮像素子１０２に対する赤外光の照射を阻止するための赤外カットフィルタを備えていない。
【００３４】
Ａ／Ｄ変換部１０３は、撮像素子１０２から出力されたアナログ画像信号をデジタル画像信号に変換する。画素補間部１０４は、Ａ／Ｄ変換部１０３から出力された画像信号を基に画素補間処理を行うことで、各画素についてのＲＧＢ各成分の信号を出力する。ＷＢ調整部１０５は、画素補間部１０４から出力されたＲＧＢ各成分の信号に対してゲインをかけることで、ホワイトバランスを調整する。
【００３５】
色補正部１０６は、カラー画像の撮影時に、ＷＢ調整部１０５から出力された画像信号に対して色補正処理を施す。前述のように、光学ブロック１０１は赤外カットフィルタを備えないので、撮像素子１０２から得られる画像の色は、人間が見た被写体の印象とは異なるものとなる。色補正部１０６は、撮像素子１０２から得られる画像の色が、人間が見た被写体の印象に近づくように、色再現性を改善するものである。
【００３６】
本実施の形態では、色補正部１０６は、マトリクス演算によって色補正処理を行う。ＷＢ調整部１０５から色補正部１０６に入力される入力画像信号のＲＧＢ各成分の値をＲｉｎ，Ｇｉｎ，Ｂｉｎとし、色補正部１０６からγ補正部１０７に出力される出力画像信号のＲＧＢ各成分の値をＲｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔとすると、色補正部１０６は、次の式（１）に従ってマトリクス演算を行う。
【００３７】
【数１】
【００３８】
なお、色補正部１０６での色補正処理は、切り替え制御部１１２からの要求に応じてオフにすることができる。色補正処理がオフのとき、色補正部１０６は、ＷＢ調整部１０５からの入力画像信号をそのままγ補正部１０７に出力する。
【００３９】
γ補正部１０７は、色補正部１０６から出力された画像信号に対してγ補正を施す。他の画質補正部１０８は、γ補正部１０７から出力された画像信号に対して、例えば彩度の補正などの他の種類の画質補正処理を施す。
【００４０】
表示／保存処理部１０９は、他の画質補正部１０８から出力された画像信号を表示用信号に変換し、ディスプレイ１１０に出力する。ディスプレイ１１０は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electroluminescence）ディスプレイなどの表示デバイスであり、表示／保存処理部１０９から出力された表示用信号を基に画像を表示する。
【００４１】
また、表示／保存処理部１０９は、他の画質補正部１０８から出力された画像信号を、ＪＰＥＧ（Joint Photographic Experts Group）方式などの所定の圧縮方式によって圧縮符号化し、符号化された画像データを記録媒体１１１に記録する。記録媒体１１１は、例えば、フラッシュメモリ、ＨＤＤなどの不揮発性記録媒体である。なお、表示／保存処理部１０９は、例えば、他の画質補正部１０８から出力された画像信号を、非圧縮のＲＡＷデータとして記録媒体１１１に記録してもよい。
【００４２】
切り替え制御部１１２は、入力部１１３から出力される選択信号に応じて、色補正部１０６における色補正処理のオン／オフを切り替える。切り替え制御部１１２は、カラー画像の撮影時には、色補正部１０６での色補正処理をオンにし、暗視撮影などの高感度撮影時には、色補正部１０６での色補正処理をオフにする。入力部１１３は、ユーザの入力操作に応じた選択信号を切り替え制御部１１２に供給する。
【００４３】
なお、実際には、入力部１１３によって高感度撮影を行うように設定された場合、撮像装置１００の内部では、例えば、他の画質補正部１０８などの処理によって、撮像によって得られた画像を白黒画像などの任意の２色の画像に変換する処理が行われる。
【００４４】
次に、色補正部１０６の処理について説明する。まず、色補正部１０６での処理手順を説明する前に、他の色補正方法（第１，第２の色補正方法）の手順とその問題点について述べる。
【００４５】
＜第１，第２の色補正方法＞
図３は、撮像素子の分光感度特性の例を示すグラフである。
本実施の形態で使用される撮像素子１０２は、図３の例のように、可視領域および赤外領域に対する感度を有する。人間が視認できない赤外領域に対しても感度を有することから、撮像素子１０２の分光感度特性は、人間の錐体感度特性とは大きく異なる。このため、このような撮像素子１０２を用いてカラー画像を撮影する場合には、撮像によって得られた画像の分光反射率特性が人間の錐体感度特性に近づくようにする仕組みが必要となる。一般的に、このような仕組みとしては、撮像素子の光路上に赤外カットフィルタを配置する方法と、赤外カットフィルタを用いずに、撮像素子によって得られた画像信号に対して信号処理を施す方法とがある。本実施の形態の色補正部１０６は、後者の方法により色補正を行うものである。
【００４６】
信号処理による色補正方法の例としては、マトリクス係数を用いた信号処理を行う方法（以下、「第１の色補正方法」と呼ぶ）がある。前述の「非特許文献１」にも、この第１の色補正方法の一例が記載されている。この第１の色補正方法は、入力画像信号に関係なく、単一のマトリクス係数を用いて色補正を行うものである。しかしながら、この第１の色補正方法には、「非特許文献１」にも記載があるように、撮影対象の色によって色補正による効果の度合いが異なり、色によっては画質が悪化してしまう場合もあるという問題がある。
【００４７】
図４は、マクベスカラーチェッカの各色についての分光反射率特性の例を示すグラフである。
図３のように赤外領域に感度を有する撮像素子１０２は、撮影対象の色についての可視領域の反射率に対する赤外領域の反射率が高くなるほど、多くの赤外領域のスペクトルを検知する。赤外領域のスペクトルが高くなるほど、得られる画像の信号におけるＲＧＢの各成分の強度差が小さくなるので、得られる画像は無彩色に近い画像となる。また、撮影対象の色によって分光反射率特性が異なることから、各撮影対象色を赤外カットフィルタを用いずに撮像素子１０２で撮影したとき、得られる画像の色はどの撮影対象色についても無彩色に近づくことにはなるが、その近づき方は色によって異なる。
【００４８】
例として、マクベスカラーチェッカにおける２４色のカラーサンプルを、赤外カットフィルタを用いずに撮影した場合、得られる画像の色の無彩色への近づき方はカラーサンプルごとに異なる。この理由は、図４に示すように、カラーサンプルごとに赤外領域での分光反射率特性が異なるからである。
【００４９】
上記の第１の色補正方法では、このような色ごとの赤外領域の反射率特性の違いが一因となって、撮影対象の色によって色補正の効果の度合いが異なってしまう。その結果、総合的に高い色補正精度を得ることができない。
【００５０】
このような問題点を解決する方法の一例として、撮影対象の色ごとに異なるマトリクス係数を用いて色補正を行う方法（以下、「第２の色補正方法」と呼ぶ）が考えられる。この第２の色補正方法によれば、撮影対象の色を細かく分類するほど、高い色補正精度を期待できる。逆に言うと、色補正精度を高くするためには、撮影対象の色を細かく分類する必要があるため、処理効率が低くなる、色の分類のために撮像装置に記録しておくべき情報量が多くなるといった問題がある。
【００５１】
さらに、図４の分光反射率特性によれば、可視領域での分光反射率特性が似ているカラーサンプル同士でも、赤外領域での分光反射率特性が大きく異なる場合がある。例えば、ブルー、シアン、パープルなどの青色系のカラーサンプルは、可視領域での分光反射率特性が類似しているとともに、可視領域での分光反射率と比較して、赤外領域での分光反射率が大きい。このため、これらの青色系カラーサンプルについての赤外領域での分光反射率の違いが、赤外カットフィルタを用いない撮影によって得られた画像の色に与える影響が大きくなり、その結果、無彩色への近づき方がカラーサンプルごとに大きく異なってしまう。
【００５２】
このことは、第２の色補正方法において、人間が見た色味の近い色に同じマトリクス係数を適用した場合、色再現性の向上効果には限度があることを意味する。また、高い色再現性効果を得ようとすると、青系などの同じ系統の色についてもさらに細かく分類し、分類した色ごとに個別のマトリクス係数を適用する必要が生じる。
【００５３】
＜本実施の形態での補正対象色のグループ分け方法＞
第２の色補正方法における上記問題点を解決するために、撮影対象の色の分類をＲＧＢの色成分ごとに変える方法を考える。一例として、以下の図５〜図７を用いて、青色系のカラーサンプルを撮影した場合の解析結果について説明する。
【００５４】
図５は、撮像素子における色成分ごとの分光感度特性の例を示す。
図５の左図は、入射光路上に赤外カットフィルタを配置しない場合の撮像素子１０２の分光感度特性の例を示す。図５の左図に示すように、入射光路上に赤外カットフィルタを配置しない場合、撮像素子１０２は、ＲＧＢの各成分ともに、赤外領域にも感度を有する。一方、図５の右図は、入射光路上に赤外カットフィルタを配置した場合の撮像素子１０２の分光感度特性の例を示す。図５の右図によれば、入射光路上に赤外カットフィルタを配置することで、ＲＧＢの各成分ともに、赤外領域における感度がほぼ０に低下することがわかる。
【００５５】
図６は、撮影対象とする青色系カラーサンプルの分光反射率特性の例を示す。
図６に示すように、撮影対象とする青色系カラーサンプルは、緑色系や赤色系に属する波長領域と比較して、青色系に属する波長領域および赤外領域における反射率が大きい。この図６のような特性を有するカラーサンプルを、図５のような特性を有する撮像素子１０２で撮影したときに得られる画像信号のＲＧＢ値は、図５の分光感度と図６の分光反射率とを色成分ごとに掛け合わせて積分することによって得られる。
【００５６】
赤外カットフィルタを使用せずに撮影したときに得られる画像信号のＲＧＢ値（「第１のＲＧＢ値」と呼ぶ）は、Ｒ＝０．７５，Ｇ＝０．７５，Ｂ＝１となる。なお、この第１のＲＧＢ値は、赤外カットフィルタを使用せずに撮像素子１０２で白色を撮影した場合の値によって規格化したものである。一方、赤外カットフィルタを使用して撮影したときに得られる画像信号のＲＧＢ値（「第２のＲＧＢ値」と呼ぶ）は、Ｒ＝０．５，Ｇ＝０．５，Ｂ＝１となる。なお、この第２のＲＧＢ値は、赤外カットフィルタを使用して撮像素子１０２で白色を撮影した場合の値によって規格化したものである。
【００５７】
図７は、色成分ごとの入出力の関係を示すグラフである。
上記の第１のＲＧＢ値は、色補正部１０６に対する入力画像信号（すなわち、補正前の画像信号）のＲＧＢ値に対応すると考えることができる。一方、第２のＲＧＢ値は、色補正部１０６からの出力画像信号の目標値（補正後の目標値）と考えることができる。そこで、図７は、第１のＲＧＢ値を入力、第２のＲＧＢ値を出力としたときの入出力の関係を、色成分ごとにグラフ化したものである。
【００５８】
図７の右図に示すように、Ｂ成分の値は補正前の値と目標値とで変化しない。これに対して、図７の左図および中央図に示すように、Ｒ成分、Ｇ成分の各値は、補正前の値より目標値の方がともに小さい。
【００５９】
ここで、撮影対象とするカラーサンプルを、補正前の値と目標値との関係から、色成分ごとに分類することを考える。ここでは例として、図７に示すように、ＲＧＢの各色成分について３通りに分類する。Ｒ成分についてはグループＲ１〜Ｒ３を定義し、Ｇ成分についてはグループＧ１〜Ｇ３を定義し、Ｂ成分についてはグループＢ１〜Ｂ３を定義する。
【００６０】
グループＲ１〜Ｒ３は、例えば、Ｒ成分の入出力関係を示すグラフ上の直線によって区分けされる。グループＲ１には、Ｒ成分についての補正前の値と目標値とがほぼ等しくなるようなカラーサンプルが分類される。一方、グループＲ３には、Ｒ成分についての補正前の値と比較して目標値が極端に小さくなるようなカラーサンプルが分類される。グループＲ２には、グループＲ１に分類されるカラーサンプルと、グループＲ３に分類されるカラーサンプルとの中間的な特性を有するカラーサンプルが分類される。
【００６１】
Ｇ成分についてのグループＧ１〜Ｇ３の関係は、グループＲ１〜Ｒ３の関係とほぼ同様である。グループＧ１〜Ｇ３は、例えば、Ｇ成分の入出力関係を示すグラフ上の直線によって区分けされる。Ｂ成分についてのグループＢ１〜Ｂ３の関係も、グループＲ１〜Ｒ３の関係とほぼ同様である。グループＢ１〜Ｂ３は、例えば、Ｂ成分の入出力関係を示すグラフ上の直線によって区分けされる。
【００６２】
図６のような特性を有する青色系カラーサンプルは、図７に示すように、Ｒ成分についてはグループＲ２に分類され、Ｇ成分についてはグループＧ２に分類され、Ｂ成分についてはグループＢ１に分類される。ここで、同じグループに分類されるカラーサンプルについては、同じ補正係数を用いて補正演算を行うことで、補正精度が向上すると考えられる。
【００６３】
図６のような特性を有するカラーサンプルを撮影した場合には、Ｒ成分の出力値の算出には、グループＲ２に対応するＲ成分用の補正係数（式（１）のマトリクス係数の第１行目成分に対応）を使用し、Ｇ成分の出力値の算出には、グループＧ２に対応するＧ成分用の補正係数（式（１）のマトリクス係数の第２行目成分に対応）を使用し、Ｂ成分の出力値の算出には、グループＢ１に対応するＢ成分用の補正係数（式（１）のマトリクス係数の第３行目成分に対応）を使用することで、良好な補正効果が得られると考えられる。
【００６４】
ここで、入出力の関係が類似するグループに属するＲ成分およびＧ成分の補正係数は、互いに近い値になると考えられる。これに対して、入出力の関係がＲ成分およびＧ成分と異なるＢ成分用の補正係数は、Ｒ成分用およびＧ成分用の補正係数とは大きく異なる値になると考えられる。
【００６５】
以上の解析結果に鑑みて、マクベスカラーチェッカの２４色について、上記と同様に補正前の値と目標値との値の関係を色成分別にグラフ化した結果を示す。図８は、Ｒ成分についての入出力の関係を示すグラフである。図９は、Ｇ成分についての入出力の関係を示すグラフである。図１０は、Ｂ成分についての入出力の関係を示すグラフである。
【００６６】
図８〜図１０では、例として、２４色のカラーサンプルを、色成分ごとに２本の境界直線によって３グループに分類する。図８では、グループＲ１，Ｒ２の境界は直線Ｌｒ１によって区切られ，グループＲ２，Ｒ３の境界は直線Ｌｒ２によって区切られている。図９では、グループＧ１，Ｇ２の境界は直線Ｌｇ１によって区切られ，グループＧ２，Ｇ３の境界は直線Ｌｇ２によって区切られている。図１０では、グループＢ１，Ｂ２の境界は直線Ｌｂ１によって区切られ，グループＢ２，Ｂ３の境界は直線Ｌｂ２によって区切られている。
【００６７】
図８〜図１０によれば、青色系のカラーサンプルは、Ｒ成分についてはグループＲ３に近い側に、Ｇ成分についてはグループＧ３に近い側に、Ｂ成分についてはグループＢ１に近い側に、概ね分類されることがわかる。一方、赤色系のカラーサンプルについては、Ｒ成分についてはグループＲ１に近い側に、Ｇ成分についてはグループＧ３に近い側に、Ｂ成分についてはグループＢ３に近い側に、概ね分類されることがわかる。また、緑色系のカラーサンプルについても赤色系と同様に、Ｒ成分についてはグループＲ１に近い側に、Ｇ成分についてはグループＧ３に近い側に、Ｂ成分についてはグループＢ３に近い側に、概ね分類されることがわかる。
【００６８】
このように、青色系のカラーサンプルと、赤色系および緑色系のカラーサンプルとは、補正前の値と目標値との関係が色成分ごとに異なる。このことから、前述の第２の色補正方法のように色ごとに異なるマトリクス係数を用いる方法と比較して、色成分ごとに定義されたグループに応じた補正係数（マトリクス係数の行成分）を用いて補正演算を行う方法の方が、補正精度を向上させることができる。
【００６９】
本実施の形態では、各色成分についての入出力関係のグラフから、２つの境界直線（例えば、Ｒ成分についての直線Ｌｒ１，Ｌｒ２）を用いてカラーサンプルを３つのグループに分類する。この分類処理においては、グループごとに個別の補正係数を用いて補正演算を行ったときに、同一グループに属する各カラーサンプルについての補正後の色成分ごとの出力値と、それらの各カラーサンプルに対応する目標色における色成分ごとの出力値との差分が一定範囲に収まるように、各カラーサンプルを色成分ごとにグループ化する。
【００７０】
例えば、Ｒ成分については、グループＲ１に属する各カラーサンプルについてグループＲ１用の補正係数を用いて補正演算を行ったときに、これらの各カラーサンプルについての補正後のＲ成分の値と、これらの各カラーサンプルに対応するＲ成分の目標値との差分が一定範囲に収まるように、グループＲ１，Ｒ２との境界である直線Ｌｒ１を設定する。なお、この場合のグループＲ１用の補正係数は、例えば、グループＲ１に属する各カラーサンプルについての補正前のＲＧＢ各成分の値と、これらの各カラーサンプルについてのＲ成分の目標値とから、最小二乗法によって計算される。
【００７１】
ところで、図８〜図１０によれば、赤色系、緑色系、青色系のように、同種の色味のカラーサンプル同士で、色成分ごとに属するグループが３種類のうちの同じグループになるとは、必ずしも言えない。ここで、図８〜図１０には例として、青色系の５つのカラーサンプル（Blue Sky，Purple Blue，Purple，Blue，Cyan）についてのグラフ上の位置を、丸印によって示している。
【００７２】
例えば、図８に示すＲ成分については、これら５つのカラーサンプルは２つのグループＲ２，Ｒ３に跨って分布し、図９に示すＧ成分についても、これら５つのカラーサンプルは２つのグループＧ２，Ｇ３に跨って分布する。また、図１０に示すＢ成分に至っては、これら５つのカラーサンプルは３つのグループＢ１〜Ｂ３に跨って分布する。このような状況では、例えば、青色系の５つのカラーサンプルを同じグループに分類して、色成分ごとに同じ補正係数を用いて補正演算を行った場合、カラーサンプルごとに補正後の値と目標値との誤差が大きく異なってしまい、高い補正精度が得られない。
【００７３】
この例のように、赤色系、緑色系、青色系など、人間が見た色味によってカラーサンプルを分類してしまうと、十分な補正精度を得ることができない。前述した第２の色補正方法のように、補正対象の色ごとに個別のマトリクス係数を用いて色補正を行った場合に、高い色補正精度が得られない理由も、上記のように補正対象の色と補正後の目標値との関係が複雑であることが一因と考えられる。
【００７４】
これに対して、本実施の形態では、人間が見た色味に関係なく、補正後の値が目標値に近くなるようなカラーサンプルを同じグループに分類するようにすることで、補正精度を向上させることができる。
【００７５】
また、色成分ごとにグループの分類が行われて、それらのグループごとに補正係数が設定されるので、最終的に色補正に使用されるマトリクス係数のパターン数は、各色成分のグループ数を掛け合わせた数になる。例えば、ＲＧＢの各成分について３つのグループを定義した場合、色補正の演算には２７通りのマトリクス係数を使用可能になる。このため、上記のように補正対象の色と補正後の目標値との関係が複雑であるにもかかわらず、あらかじめ用意しておく補正係数の数を少なくすることができる。
【００７６】
図１１は、グループ分けおよび補正係数の設定を含む初期設定手順の例を示すフローチャートである。この図１１の処理は、撮像装置１００の開発工程または製造工程において実行される。なお、ここでは例として、図１１に示す処理は図示しないコンピュータによって実行されるものとする。
【００７７】
［ステップＳ１１］コンピュータを操作する操作者は、複数のカラーサンプル（例えば、前述したマクベスカラーチェッカの２４色）のそれぞれについて、補正前のＲＧＢの各値と、補正後のＲＧＢの各目標値とを、コンピュータに設定する。ここで、補正前のＲＧＢの値は、撮像装置１００の撮像素子１０２と同様の仕様を有する撮像素子を用いて、各カラーサンプルを赤外カットフィルタを用いずに撮影することで得られる。一方、補正後のＲＧＢの目標値は、同じ撮像素子を用いて、各カラーサンプルを赤外カットフィルタを用いて撮影することで得られる。
【００７８】
［ステップＳ１２］コンピュータは、ステップＳ１３〜Ｓ１７の処理をＲ成分、Ｇ成分およびＢ成分のそれぞれについて実行する。
［ステップＳ１３］コンピュータは、処理対象の色成分についての入力（補正前の値）と出力（補正後の目標値）との関係を示すグラフ上に、２つの境界直線を設定する。これら２つの境界直線は、ともに正の傾きを有するとともに、入出力平面上で互いに交差しないように設定される。コンピュータは、設定した２つの境界直線によって、複数のカラーサンプルを３つのグループに分類する。例えば、処理対象がＲ成分の場合、コンピュータは、図８に示した直線Ｌｒ１，Ｌｒ２を任意に設定し、直線Ｌｒ１，Ｌｒ２を境界として、２４色のカラーサンプルをグループＲ１〜Ｒ３のいずれかに分類する。
【００７９】
［ステップＳ１４］コンピュータは、ステップＳ１３で設定したグループごとにそれぞれ補正係数を計算する。
ここで、１つのグループにｎ個（ただし、ｎは１以上の整数）のカラーサンプルが属するものとし、マトリクス係数は次の式（２）を基に求められる。
【００８０】
【数２】
【００８１】
式（２）において、Ｒｉｎ＿１，Ｒｉｎ＿２，・・・，Ｒｉｎ＿ｎは、各カラーサンプルの補正前のＲ成分の値を示し、Ｇｉｎ＿１，Ｇｉｎ＿２，・・・，Ｇｉｎ＿ｎは、各カラーサンプルの補正前のＧ成分の値を示し、Ｂｉｎ＿１，Ｂｉｎ＿２，・・・，Ｂｉｎ＿ｎは、各カラーサンプルの補正前のＢ成分の値を示す。また、Ｒｏｕｔ＿１，Ｒｏｕｔ＿２，・・・，Ｒｏｕｔ＿ｎは、各カラーサンプルの補正後のＲ成分の目標値を示し、Ｇｏｕｔ＿１，Ｇｏｕｔ＿２，・・・，Ｇｏｕｔ＿ｎは、各カラーサンプルの補正後のＧ成分の目標値を示し、Ｂｏｕｔ＿１，Ｂｏｕｔ＿２，・・・，Ｂｏｕｔ＿ｎは、各カラーサンプルの補正後のＢ成分の目標値を示す。
【００８２】
ステップＳ１４では、コンピュータは、グループごとに、グループに属するカラーサンプルについての補正前の値と補正後の目標値とを式（２）に代入し、グループごとのマトリクス係数を最小二乗法によって計算する。Ｒ成分が処理対象である場合、Ｒ成分の各グループの補正係数は、算出されたマトリクス係数における第１行目成分（αｒ，αｇ，αｂ）となる。また、Ｇ成分が処理対象である場合、Ｇ成分の各グループの補正係数は、算出されたマトリクス係数における第２行目成分（βｒ，βｇ，βｂ）となる。また、Ｂ成分が処理対象である場合、Ｂ成分の各グループの補正係数は、算出されたマトリクス係数における第３行目成分（γｒ，γｇ，γｂ）となる。
【００８３】
［ステップＳ１５］コンピュータは、ステップＳ１４で算出した補正係数をグループごとに式（２）に適用することにより、各カラーサンプルについての補正後の色成分の値を算出する。
【００８４】
［ステップＳ１６］コンピュータは、カラーサンプルごとに、ステップＳ１５で算出された補正後の色成分の値と、補正後の目標値との差分を計算する。コンピュータは、すべてのカラーサンプルについての差分があらかじめ決められたしきい値以内であるかを判定する。すべての差分がしきい値以内の場合、処理対象の色成分についてのループ内の処理が終了する。一方、差分がしきい値を超えるカラーサンプルが存在する場合、ステップＳ１７の処理が実行される。
【００８５】
［ステップＳ１７］コンピュータは、処理対象の色成分についての２つの境界直線のうち少なくとも一方を変更して、カラーサンプルのグループ分けを再度実行する。この後、ステップＳ１４の処理が実行される。すなわち、１つの色成分についてのループ内の処理では、３つのグループのそれぞれについての補正係数を用いて補正演算を行ったときに、すべてのカラーサンプルについて補正後の値と目標値との差分が一定値以内に収まるようになるまで、境界直線の設定およびグループ分けが繰り返し実行される。
【００８６】
なお、以上の処理では、境界直線を用いてカラーサンプルのグループ分けを行うことで、グループ分けの処理を単純化した。しかしながら、グループの境界は必ずしも直線でなくてもよく、例えば曲線によってグループを区分してもよい。グループの境界を直線以外のものにすることで、すべてのカラーサンプルについての補正後の値と目標値との差分を、より小さくできる可能性がある。
【００８７】
［ステップＳ１８］コンピュータは、色成分ごとのグループ分けを示す情報と、グループごとの補正係数とを、撮像装置１００に設定する情報として生成する。
ここで、グループ分けを示す情報とは、撮像装置１００の色補正部１０６が入力画像信号を基に所属グループの判定を行う際に必要になる情報である。ステップＳ１８では、例えば、ステップＳ１１〜Ｓ１７で利用した各カラーサンプルを、所属グループの判定に利用する色分布の座標系（以下、「判定用座標系」と呼ぶ）にプロットする。そして、判定用座標系におけるあるカラーサンプルの位置を含む領域を、分割領域としてそのカラーサンプルと同じグループに対応付ける。これにより、色補正部１０６に対する入力画像信号の値を上記の判定用座標系に投影した際に、その入力画像信号がどのグループに属するかを判定できるようになる。
【００８８】
判定用座標系としては、例えば、ＲＧＢ空間におけるＲ成分、Ｇ成分およびＢ成分の分布などを示す３次元以上の座標系や、Ｌ＊ａ＊ｂ＊空間あるいはＹＵＶ空間における色度分布などを示す２次元座標系が考えられる。ここで、判定用座標系としてＲＧＢ３次元空間を使用した場合、色補正部１０６は、入力画像信号の色空間（表色系）の変換を行わずにグループ判定を行うことができる。
【００８９】
一方、判定用座標系として２次元座標系を使用した場合には、判定用座標系における分割領域の境界の設定が簡単になる。例えば、色成分ごとに設定される分割領域の境界を、直線、曲線、円などの簡単な数式で表される境界線によって設定できるようになる。また、以下で説明するように、判定用座標系としてＬ＊ａ＊ｂ＊空間におけるａ＊成分とｂ＊成分による座標系を使用することで、色成分ごとに設定される分割領域の数（すなわち、同じ補正係数に対応付けられる分割領域の数）を少なくすることができる。この場合、所属グループ判定のために撮像装置１００に設定しておくべき情報の量を少なくすることができるとともに、判定処理手順を簡略化できる。
【００９０】
図１２〜図１４は、各カラーサンプルについての補正前の値を、ａ＊成分およびｂ＊成分による色度分布の座標系にプロットした様子を示すグラフの例である。
なお、図１２は、図８のようにカラーサンプルが分類された場合を示し、図１３は、図９のようにカラーサンプルが分類された場合を示し、図１４は、図１０のようにカラーサンプルが分類された場合を示す。図１２〜図１４では、座標系における各カラーサンプルの位置は同じであるが、各カラーサンプルがどのグループに属しているかが異なる。すなわち、図１２〜図１４では、グループを分類するための境界直線の配置のされ方が異なっている。
【００９１】
図１２によれば、Ｒ成分に関し、座標系上の直線Ｌｒ１’，Ｌｒ２’を境界として、各カラーサンプルを概ね図８のように分類することが可能となる。また、図１３によれば、Ｇ成分に関し、座標系上の直線Ｌｇ１’，Ｌｇ２’を境界として、各カラーサンプルを概ね図９のように分類することが可能となる。また、図１４によれば、Ｂ成分に関し、座標系上の直線Ｌｂ１’，Ｌｂ２’を境界として、各カラーサンプルを概ね図１０のように分類することが可能となる。
【００９２】
このようにＬ＊ａ＊ｂ＊空間に変換する方法を採用した場合、撮像装置１００は、例えば次の図１５，図１６に示すような情報を保持すればよい。
図１５は、境界直線テーブルの一例を示す図である。
【００９３】
撮像装置１００は、グループ分けを示す情報として、例えば図１５のような、色度分布の座標系における境界直線を示す情報を保持すればよい。図１５の境界直線テーブル２００では、ＲＧＢの各成分について、グループ１とグループ２との境界をなす境界直線１の数式と、グループ２とグループ３との境界をなす境界直線２の数式とが登録される。例えば、Ｒ成分については、グループＲ１，Ｒ２の境界をなす図１２の直線Ｌｒ１’の数式と、グループＲ２，Ｒ３の境界をなす図１２の直線Ｌｒ２’の数式とが登録される。
【００９４】
図１１のステップＳ１８では、コンピュータは例えば、各カラーサンプルについての補正前の値についての、色度分布の座標系上の位置から、色成分ごとの境界直線を設定し、設定した境界直線の数式を登録した境界直線テーブル２００を生成する。
【００９５】
なお、図１５の例では、同一色成分についての境界直線１，２では傾きの値を共通にすることで、色補正部１０６でのグループ判定処理が簡略化されるようにした。しかしながら、同一色成分についての境界直線１，２の傾きは、座標系上で各直線が交差しない範囲で任意に設定されてもよい。
【００９６】
また、撮像装置１００が保持するグループ分けを示す情報の他の例としては、上記各境界直線によって区分される座標系上の座標の値が、グループごとに対応付けられたテーブルなどが考えられる。
【００９７】
図１６は、補正係数テーブルの一例を示す図である。なお、この補正係数テーブル２１１〜２１３は、色補正部１０６がどのような色空間上でグループ判定を行う場合でも、共通に使用されるものである。
【００９８】
補正係数テーブル２１１には、Ｒ成分のグループ分け処理の結果、グループごとに算出された補正係数が登録される。これらの補正係数は、図１１でのＲ成分のグループ分け処理において、ステップＳ１６で条件が満たされたときにステップＳ１４で算出されていた、各グループについてのマトリクス係数の第１行目成分（αｒ，αｇ，αｂ）である。
【００９９】
補正係数テーブル２１２には、Ｇ成分のグループ分け処理の結果、グループごとに算出された補正係数が登録される。これらの補正係数は、図１１でのＧ成分のグループ分け処理において、ステップＳ１６で条件が満たされたときにステップＳ１４で算出されていた、各グループについてのマトリクス係数の第２行目成分（βｒ，βｇ，βｂ）である。
【０１００】
補正係数テーブル２１３には、Ｂ成分のグループ分け処理の結果、グループごとに算出された補正係数が登録される。これらの補正係数は、図１１でのＢ成分のグループ分け処理において、ステップＳ１６で条件が満たされたときにステップＳ１４で算出されていた、各グループについてのマトリクス係数の第３行目成分（γｒ，γｇ，γｂ）である。
【０１０１】
図１１のステップＳ１８では、コンピュータは例えば、色成分ごとのグループ分け処理によってグループごとに算出された補正係数を、補正係数テーブル２１１〜２１３に登録する。
【０１０２】
なお、以上の図１２〜図１６の説明では、色度分布の座標系における分割領域の境界線を直線としたが、例えば、境界線を曲線や円としてもよい。境界線を円にする場合には、例えば、色度分布の座標系の所定位置を中心とする、互いに半径が異なる複数の境界円を設定する。例えば２つの境界円を設定したものとすると、内側の境界円の内部を第１のグループに対応付け、内側の境界円と外側の境界円との間の領域を第２のグループに対応付け、外側の境界円の外部を第３のグループに対応付ける。
【０１０３】
＜実施の形態での色補正処理＞
次に、撮像装置１００が実行する色補正処理について説明する。図１７は、色補正部の内部構成例を示すブロック図である。
【０１０４】
色補正部１０６は、色空間変換部１２１、グループ判定部１２２、信号遅延部１２３およびマトリクス演算部１２４を備える。また、撮像装置１００は不揮発性メモリ１３０を備え、不揮発性メモリ１３０には、前述した境界直線テーブル２００および補正係数テーブル２１１〜２１３が記憶されている。色補正部１０６は、不揮発性メモリ１３０内の各テーブルを参照する。
【０１０５】
色空間変換部１２１は、ＷＢ調整部１０５から色補正部１０６に入力された入力画像信号におけるＲＧＢ各成分の値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を、Ｌ＊ａ＊ｂ＊空間の値に変換する。色空間変換部１２１は、変換によって得られたａ＊成分およびｂ＊成分の各値をグループ判定部１２２に出力する。
【０１０６】
グループ判定部１２２は、境界直線テーブル２００を参照して、色空間変換部１２１から出力されたａ＊成分およびｂ＊成分の各値を基に、入力画像信号が属するグループを色成分ごとに判定する。グループ判定部１２２は、境界直線テーブル２００においてＲ成分に対応付けられた２つの数式を基に、Ｒ成分についてのグループを判定する。また、グループ判定部１２２は、境界直線テーブル２００においてＧ成分に対応付けられた２つの数式を基に、Ｇ成分についてのグループを判定する。また、グループ判定部１２２は、境界直線テーブル２００においてＢ成分に対応付けられた２つの数式を基に、Ｂ成分についてのグループを判定する。
【０１０７】
グループ判定部１２２は、Ｒ成分について判定されたグループに対応付けられた補正係数を、補正係数テーブル２１１からマトリクス演算部１２４に出力させる。また、グループ判定部１２２は、Ｇ成分について判定されたグループに対応付けられた補正係数を、補正係数テーブル２１２からマトリクス演算部１２４に出力させる。また、グループ判定部１２２は、Ｂ成分について判定されたグループに対応付けられた補正係数を、補正係数テーブル２１３からマトリクス演算部１２４に出力させる。
【０１０８】
信号遅延部１２３は、色補正部１０６に入力された入力画像信号を、色空間変換部１２１およびグループ判定部１２２での処理時間の分だけ遅延させて、マトリクス演算部１２４に出力する。これにより、グループ判定部１２２の処理によって補正係数テーブル２１１〜２１３からマトリクス演算部１２４に出力される補正係数と、それらの補正係数を適用すべき画素とが一致する。
【０１０９】
マトリクス演算部１２４は、信号遅延部１２３から出力された画像信号におけるＲＧＢ各成分の値を基に、前述した式（１）に従ってマトリクス演算を実行する。マトリクス演算部１２４は、マトリクス演算の際に、補正係数テーブル２１１，２１２，２１３から出力された補正係数をそれぞれ第１行目成分、第２行目成分、第３行目成分として設定したマトリクス係数を使用する。
【０１１０】
マトリクス演算部１２４は、例えば、Ｒ成分演算部１２４ａ、Ｇ成分演算部１２４ｂおよびＢ成分演算部１２４ｃを備える。Ｒ成分演算部１２４ａは、補正係数テーブル２１１から出力された補正係数（αｒ，αｇ，αｂ）を用いて、Ｒｏｕｔ＝αｒ・Ｒｉｎ＋αｇ・Ｇｉｎ＋αｂ・Ｂｉｎの演算を行う。Ｇ成分演算部１２４ｂは、補正係数テーブル２１２から出力された補正係数（βｒ，βｇ，βｂ）を用いて、Ｇｏｕｔ＝βｒ・Ｒｉｎ＋βｇ・Ｇｉｎ＋βｂ・Ｂｉｎの演算を行う。Ｂ成分演算部１２４ｃは、補正係数テーブル２１３から出力された補正係数（γｒ，γｇ，γｂ）を用いて、Ｂｏｕｔ＝γｒ・Ｒｉｎ＋γｇ・Ｇｉｎ＋γｂ・Ｂｉｎの演算を行う。
【０１１１】
図１８は、色補正部における色補正処理手順の例を示すフローチャートである。この図１８は、色補正部１０６に入力される１画素分の入力された入力画像信号についての処理を示す。
【０１１２】
［ステップＳ２１］色空間変換部１２１は、入力画像信号におけるＲＧＢ各成分の値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を、Ｌ＊ａ＊ｂ＊空間の値に変換する。
［ステップＳ２２］グループ判定部１２２は、境界直線テーブル２００に登録された境界直線と、色空間変換部１２１から出力されたａ＊成分およびｂ＊成分の各値とを基に、入力画像信号が属するグループを色成分ごとに判定する。
【０１１３】
グループ判定部１２２は、境界直線テーブル２００においてＲ成分に対応付けられた２つの数式を基に、Ｒ成分についてのグループを例えば次の手順で判定する。
グループ判定部１２２は、色空間変換部１２１から出力されたａ＊成分の値を、Ｒ成分についての境界直線１のｘに代入して、ｙの値を算出する。グループ判定部１２２は、色空間変換部１２１から出力されたｂ＊成分の値が、算出されたｙの値より大きい場合、入力画像信号はグループＲ１に属すると判定する。
【０１１４】
一方、グループ判定部１２２は、ｂ＊成分の値がｙの値以下である場合、ａ＊成分の値を、Ｒ成分についての境界直線２のｘに代入して、ｙの値を算出する。グループ判定部１２２は、ｂ＊成分の値が、算出されたｙの値より大きい場合、入力画像信号はグループＲ２に属すると判定する。一方、グループ判定部１２２は、ｂ＊成分の値がｙの値以下である場合、入力画像信号はグループＲ３に属すると判定する。
【０１１５】
また、グループ判定部１２２は、境界直線テーブル２００においてＧ成分に対応付けられた２つの数式を基に、Ｒ成分の場合と同様の手順でＧ成分についてのグループを判定する。また、グループ判定部１２２は、境界直線テーブル２００においてＢ成分に対応付けられた２つの数式を基に、Ｒ成分の場合と同様の手順でＢ成分についてのグループを判定する。
【０１１６】
［ステップＳ２３］グループ判定部１２２の制御により、Ｒ成分について判定されたグループに対応付けられた補正係数が、補正係数テーブル２１１からマトリクス演算部１２４に読み出される。また、グループ判定部１２２の制御により、Ｇ成分について判定されたグループに対応付けられた補正係数が、補正係数テーブル２１２からマトリクス演算部１２４に読み出される。また、グループ判定部１２２の制御により、Ｂ成分について判定されたグループに対応付けられた補正係数が、補正係数テーブル２１３からマトリクス演算部１２４に読み出される。
【０１１７】
［ステップＳ２４］マトリクス演算部１２４のＲ成分演算部１２４ａ、Ｇ成分演算部１２４ｂおよびＢ成分演算部１２４ｃは、ステップＳ２１で変換対象とした入力画像信号のＲＧＢ各成分の値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を基に、補正係数テーブル２１１，２１２，２１３からそれぞれ出力された補正係数を用いて、Ｒ成分の出力値Ｒｏｕｔ、Ｇ成分の出力値ＧｏｕｔおよびＢ成分の出力値Ｂｏｕｔを演算する。これにより、マトリクス演算部１２４から、補正後の画像信号が出力される。
【０１１８】
以上説明した第２の実施の形態では、赤外カットフィルタを使用せずに撮影された画像信号を基に、色再現性の高いカラー画像を生成することができる。また、色補正に使用される補正係数が色成分ごとに複数用意されることで、色成分ごとに用意された補正係数の数を色成分の数だけ掛け合わせたパターン数のマトリクス係数が生成される。これにより、撮像装置１００内の不揮発性メモリ１３０にあらかじめ記憶しておく補正係数のデータ量を少なくすることができ、撮像装置１００の製造コストや回路規模を抑制することができる。
【０１１９】
〔第３の実施の形態〕
第２の実施の形態における色補正部１０６の処理は、撮像装置の外部に存在する画像処理装置において実現することもできる。また、この画像処理装置の処理は、１つまたは複数の半導体装置によって実現することもできる。
【０１２０】
ここでは、第３の実施の形態として、色補正部１０６の処理を実行する画像処理装置の一例について説明する。図１９は、第３の実施の形態に係る画像処理装置のハードウェア構成を示す図である。第３の実施の形態に係る画像処理装置３００は、図１９に示すようなコンピュータとして実現可能である。
【０１２１】
画像処理装置３００は、ＣＰＵ３０１によって装置全体が制御されている。ＣＰＵ３０１には、バス３０８を介して、ＲＡＭ（Random Access Memory）３０２と複数の周辺機器が接続されている。
【０１２２】
ＲＡＭ３０２は、画像処理装置３００の主記憶装置として使用される。ＲＡＭ３０２には、ＣＰＵ３０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ３０２には、ＣＰＵ３０１による処理に必要な各種データが格納される。
【０１２３】
バス３０８に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）３０３、グラフィック処理装置３０４、入力インタフェース（Ｉ／Ｆ）３０５、光学ドライブ装置３０６および通信インタフェース３０７がある。
【０１２４】
ＨＤＤ３０３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ３０３は、画像処理装置３００の二次記憶装置として使用される。ＨＤＤ３０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
【０１２５】
グラフィック処理装置３０４には、モニタ３０４ａが接続されている。グラフィック処理装置３０４は、ＣＰＵ３０１からの命令に従って、画像をモニタ３０４ａに表示させる。なお、モニタ３０４ａは、例えば、液晶ディスプレイである。
【０１２６】
入力インタフェース３０５には、例えば、キーボード３０５ａおよびマウス３０５ｂが接続されている。入力インタフェース３０５は、キーボード３０５ａやマウス３０５ｂからの出力信号をＣＰＵ３０１に送信する。なお、マウス３０５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【０１２７】
光学ドライブ装置３０６は、レーザ光などを利用して、光ディスク３０６ａに記録されたデータの読み取りを行う。光ディスク３０６ａは、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク３０６ａには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）などがある。
【０１２８】
通信インタフェース３０７は、ネットワーク３１０に接続されている。通信インタフェース３０７は、ネットワーク３１０を通じて他の機器との間で通信する。
ここで、第２の実施の形態の色補正部１０６の処理は、例えば、ＣＰＵ３０１が所定のプログラムを実行することによって実現される。また、色補正部１０６の処理の少なくとも一部が、グラフィック処理装置３０４内の回路などの専用の回路によって実現されてもよい。
【０１２９】
以上の画像処理装置３００によれば、赤外カットフィルタを使用せずに撮影されて得られた画像信号を、光ディスク３０６ａなどの可搬型記録媒体やネットワーク３１０などを通じて受信する。そして、受信した画像信号に対して色補正部１０６と同様の処理を実行することで、色再現性の高いカラー画像を生成することができる。
【０１３０】
なお、上記の各実施の形態に示した装置の処理機能は、コンピュータによって実現することができる。その場合、上記各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【０１３１】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１３２】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１３３】
以上の各実施の形態に関し、さらに以下の付記を開示する。
（付記１） 入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する判定部であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する判定部と、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する画像補正部と、
を有することを特徴とする画像処理装置。
【０１３４】
（付記２） 複数の補正対象色を、色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記各グループに対応する分割領域が、前記各グループに分類された前記補正対象色を含むように設定される、
ことを特徴とする付記１記載の画像処理装置。
【０１３５】
（付記３） 前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記所定のカラーサンプルを撮像することで得られた画像信号の値であることを特徴とする付記２記載の画像処理装置。
【０１３６】
（付記４） 前記複数の分割領域のそれぞれは、色度分布において分割された領域であり、
前記判定部は、前記入力画像信号の色差成分を基に、前記入力画像信号が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする付記１記載の画像処理装置。
【０１３７】
（付記５） 前記複数の分割領域のそれぞれは、Ｌ＊ａ＊ｂ＊表色系におけるａ＊成分およびｂ＊成分によるａ＊ｂ＊座標系が分割された領域であり、
前記判定部は、前記入力画像信号をＬ＊ａ＊ｂ＊表色系の値に変換し、変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする付記４記載の画像処理装置。
【０１３８】
（付記６） 前記複数の分割領域は、前記ａ＊ｂ＊座標系が直線、曲線、円のいずれかである境界線によって分割された領域であり、
前記判定部は、前記入力画像信号の表色系における色成分ごとに設定された、前記ａ＊ｂ＊座標系における前記境界線に基づいて、前記変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を判定する、
ことを特徴とする付記５記載の画像処理装置。
【０１３９】
（付記７） 複数の補正対象色を、前記入力画像信号の表色系における色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記境界線は、同一のグループに分類された前記補正対象色の前記ａ＊ｂ＊座標系における座標が前記境界線によって分割された同一の分割領域に含まれるように、前記入力画像信号の表色系における色成分ごとに設定される、
ことを特徴とする付記６記載の画像処理装置。
【０１４０】
（付記８） 前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記カラーサンプルを撮像することで得られた画像信号の値であることを特徴とする付記７記載の画像処理装置。
【０１４１】
（付記９） 前記画像補正部は、前記出力画像信号における色成分ごとの出力値を、マトリクス演算によって算出し、
前記補正係数は、マトリクス係数における行成分である、
ことを特徴とする付記１〜８のいずれか１つに記載の画像処理装置。
【０１４２】
（付記１０） 固体撮像素子と、
前記固体撮像素子によって得られた入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する判定部であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する判定部と、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する画像補正部と、
を有することを特徴とする撮像装置。
【０１４３】
（付記１１） 入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する処理であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する処理を実行し、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、
前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する、
ことを特徴とする画像処理方法。
【０１４４】
（付記１２） 複数の補正対象色を、色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記各グループに対応する分割領域が、前記各グループに分類された前記補正対象色を含むように設定される、
ことを特徴とする付記１１記載の画像処理方法。
【０１４５】
（付記１３） 前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記所定のカラーサンプルを撮像することで得られた画像信号の値であることを特徴とする付記１２記載の画像処理方法。
【０１４６】
（付記１４） 前記複数の分割領域のそれぞれは、色度分布において分割された領域であり、
前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを判定する処理では、前記入力画像信号の色差成分を基に、前記入力画像信号が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする付記１１記載の画像処理方法。
【０１４７】
（付記１５） 前記複数の分割領域のそれぞれは、Ｌ＊ａ＊ｂ＊表色系におけるａ＊成分およびｂ＊成分によるａ＊ｂ＊座標系が分割された領域であり、
前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを判定する処理では、前記入力画像信号をＬ＊ａ＊ｂ＊表色系の値に変換し、変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする付記１４記載の画像処理方法。
【０１４８】
（付記１６） 前記複数の分割領域は、前記ａ＊ｂ＊座標系が直線、曲線、円のいずれかである境界線によって分割された領域であり、
前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを判定する処理では、前記入力画像信号の表色系における色成分ごとに設定された、前記ａ＊ｂ＊座標系における前記境界線に基づいて、前記変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を判定する、
ことを特徴とする付記１５記載の画像処理方法。
【０１４９】
（付記１７） 複数の補正対象色を、前記入力画像信号の表色系における色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記境界線は、同一のグループに分類された前記補正対象色の前記ａ＊ｂ＊座標系における座標が前記境界線によって分割された同一の分割領域に含まれるように、前記入力画像信号の表色系における色成分ごとに設定される、
ことを特徴とする付記１６記載の画像処理方法。
【０１５０】
（付記１８） 前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記カラーサンプルを撮像することで得られた画像信号の値であることを特徴とする付記１７記載の画像処理方法。
【０１５１】
（付記１９） 前記出力画像信号における色成分ごとの出力値を補正係数を用いて算出する処理では、前記出力画像信号における色成分ごとの出力値を、マトリクス演算によって算出し、
前記補正係数は、マトリクス係数における行成分である、
ことを特徴とする付記１１〜１８のいずれか１つに記載の画像処理方法。
【０１５２】
（付記２０） 入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する処理であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する処理を実行し、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、
前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【符号の説明】
【０１５３】
１ 画像処理装置
１１ 判定部
１２ 画像補正部
１２ａ，１２ｂ，１２ｃ 演算部
１３ 補正係数記憶部
１３ａ，１３ｂ，１３ｃ 補正係数テーブル
２０ 座標系
ＳＰ１〜ＳＰ３ 分割領域
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
可視領域だけでなく赤外領域に対しても感度を有する撮像素子の分光感度特性は、等色感度から大きく逸脱する。このため、このような撮像素子を用いて人間が見た印象に近いカラー画像を撮影するためには、一般的に、撮像素子への光路上に赤外カットフィルタを配置する。また、赤外カットフィルタを光路外に退避させる機構を設けることで、上記の撮像素子を、カラー撮影と、暗視撮影などの高感度撮影の両方の用途に使用することができる。
【０００３】
一方、上記の撮像素子を使用してカラー画像を得るための他の方法として、撮像素子によって得られた画像信号に対して信号処理による色補正を施す方法もある。信号処理によって色補正する方法は、赤外カットフィルタを配置する方法と比較して、撮像装置を小型化できる点で有利であり、製造コストの面でも一般的に有利である。また、カラー撮影と高感度撮影との切り替えも容易になる。
【０００４】
信号処理による色補正方法の一例として、マトリクス係数を用いた信号処理を行う方法がある。例えば、赤外カットフィルタを用いない撮影によって得られた画像における色（補正対象色）と、赤外カットフィルタを用いた撮影によって得られた画像における色（目標色）との関係から、最小二乗法によりマトリクス係数を算出し、算出したマトリクス係数を用いて色補正を行う技術が提案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】豊田善隆，外３名、「カラー撮像可能な近赤外撮像装置の研究〜比視感度補正信号処理方式の開発〜」、映像情報メディア学会誌、２０１０年１月号、社団法人映像情報メディア学会、ｐ．１０１−１１０
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、マトリクス係数を用いた信号処理による色補正では、補正の度合いが補正対象の色によって異なることが、カラー画像における色再現性の低下を招くという問題があった。
【０００７】
また、赤外カットフィルタを使用せずに撮影して得られた画像信号に対する色補正に限らず、信号処理による画像補正の度合いが補正対象の色によって異なる場合には、画像の補正精度が低下してしまう。
【０００８】
１つの側面では、本発明は、画像の補正精度を向上させた画像処理装置、撮像装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、判定部と画像補正部とを有する画像処理装置が提供される。判定部は、入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する。また、これらの複数の分割領域が入力画像信号に含まれる色成分ごとに定義されており、判定部は、入力画像信号の値が複数の分割領域のいずれに含まれるかを色成分ごとに判定する。画像補正部は、色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、入力画像信号を基に、出力画像信号における色成分ごとの出力値を、補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する。
【００１０】
また、上記目的を達成するために、上記の画像処理装置と同様の処理を実行する撮像装置および画像処理方法が提供される。
さらに、上記目的を達成するために、上記の画像処理装置と同様の処理をコンピュータに実行させる画像処理プログラムが提供される。
【発明の効果】
【００１１】
１態様によれば、画像の補正精度を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施の形態に係る画像処理装置を説明するための図である。
【図２】第２の実施の形態に係る撮像装置の構成例を示す図である。
【図３】撮像素子の分光感度特性の例を示すグラフである。
【図４】マクベスカラーチェッカの各色についての分光反射率特性の例を示すグラフである。
【図５】撮像素子における色成分ごとの分光感度特性の例を示す。
【図６】撮影対象とする青色系カラーサンプルの分光反射率特性の例を示す。
【図７】色成分ごとの入出力の関係を示すグラフである。
【図８】Ｒ成分についての入出力の関係を示すグラフである。
【図９】Ｇ成分についての入出力の関係を示すグラフである。
【図１０】Ｂ成分についての入出力の関係を示すグラフである。
【図１１】グループ分けおよび補正係数の設定を含む初期設定手順の例を示すフローチャートである。
【図１２】各カラーサンプルについての補正前の値を、ａ＊成分およびｂ＊成分による色度分布の座標系にプロットした様子を示すグラフの例（その１）である。
【図１３】各カラーサンプルについての補正前の値を、ａ＊成分およびｂ＊成分による色度分布の座標系にプロットした様子を示すグラフの例（その２）である。
【図１４】各カラーサンプルについての補正前の値を、ａ＊成分およびｂ＊成分による色度分布の座標系にプロットした様子を示すグラフの例（その３）である。
【図１５】境界直線テーブルの一例を示す図である。
【図１６】補正係数テーブルの一例を示す図である。
【図１７】色補正部の内部構成例を示すブロック図である。
【図１８】色補正部における色補正処理手順の例を示すフローチャートである。
【図１９】第３の実施の形態に係る画像処理装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００１３】
以下、実施の形態について図面を参照して詳細に説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像処理装置を説明するための図である。
【００１４】
図１に示す画像処理装置１は、判定部１１、画像補正部１２および補正係数記憶部１３を備える。判定部１１および画像補正部１２の処理は、例えば、画像処理装置１が備えるＣＰＵ（Central Processing Unit）が所定のプログラムを実行することで実現される。補正係数記憶部１３は、例えば、ＨＤＤ（Hard Disk Drive）などの不揮発性記憶装置として実現される。なお、補正係数記憶部１３は、例えば、画像処理装置１の外部に設けられていてもよい。
【００１５】
判定部１１は、画像処理装置１に入力される入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する。ここで、複数の分割領域は、入力画像信号に含まれる色成分ごとに定義されている。判定部１１は、入力画像信号の値が複数の分割領域のいずれに含まれるかを、色成分ごとに判定する。
【００１６】
例えば、入力画像信号がＲ（Red）成分、Ｇ（Green）成分およびＢ（Blue）成分を含むものとすると、上記の複数の分割領域は、ＲＧＢの各成分について個別に定義される。図１の例では、ＲＧＢの各成分について３つずつの分割領域ＳＰ１〜ＳＰ３が定義されている。
【００１７】
また、分割領域は、例えば、所定の表色系における色分布の座標系を分割することで定義される。分割領域が定義される色分布の座標系は、入力画像信号と同じ表色系における座標系であってもよいし、入力画像信号とは異なる表色系における座標系であってもよい。また、分割領域が定義される色分布の座標系は、例えば、色度分布の座標系であってもよい。
【００１８】
図１では例として、Ｌ＊ａ＊ｂ＊表色系におけるａ＊成分とｂ＊成分による座標系２０を分割することで、分割領域が定義されている。ここで、座標系２０は、入力画像信号に基づくａ＊成分およびｂ＊成分の各値がとり得る範囲を示す。この例のように、分割領域が定義される色分布の座標系２０が、入力画像信号とは異なる表色系における座標系である場合、判定部１１は、入力画像信号を、分割領域が定義される色分布の座標系２０と同じ表色系の値に変換する。そして、判定部１１は、変換後の値がどの分割領域に含まれるかを、入力画像信号に含まれる色成分ごとに判定する。図１の例では、判定部１１は、ＲＧＢ表色系の信号である入力画像信号を、Ｌ＊ａ＊ｂ＊表色系の信号に変換する。そして、判定部１１は、変換後の信号成分のうちａ＊成分およびｂ＊成分の各値がどの分割領域に含まれるかを、ＲＧＢの各成分について判定する。
【００１９】
図１に示すように、Ｒ成分、Ｇ成分およびＢ成分のそれぞれについて、分割領域ＳＰ１〜ＳＰ３を任意に設定することが可能である。例えば、Ｒ成分についての分割領域ＳＰ１と、Ｇ成分についての分割領域ＳＰ１とを、座標系２０における異なる領域に設定することができる。
【００２０】
なお、図１の例では、ＲＧＢの各成分について分割領域が３つずつ定義されたが、各成分に定義される分割領域の数は２以上の任意の数とすることができる。また、ＲＧＢの各成分に定義される分割領域の数は同一でなくてもよい。
【００２１】
ここで、分割領域をどのような色分布の座標系に定義するかは、例えば、分割領域の設定のしやすさ（例えば、分割領域同士の境界の設定のしやすさ）や、判定部１１での判定処理手順の簡単さなどを加味して決定されればよい。例えば、分割領域を入力画像信号とは異なる表色系における座標系に定義することで、判定部１１での処理手順を簡易化できる、判定部１１での判定処理のために必要な情報量を小さくできる、といった効果が得られる可能性がある。
【００２２】
画像補正部１２は、入力画像信号に対して補正演算を行い、補正された画像信号を出力する。画像補正部１２は、出力画像信号における色成分ごとの出力値を、色成分ごとに個別の補正係数を用いて算出する。また、画像補正部１２は、色成分ごとの補正演算に用いる補正係数を、補正係数記憶部１３から読み出す。補正係数記憶部１３には、色成分ごとかつ分割領域ごとに、補正係数が登録されている。
【００２３】
ここで、例として、画像補正部１２は演算部１２ａ〜１２ｃを備えるものとする。また、補正係数記憶部１３には、ＲＧＢの各成分についての補正係数が個別に登録された補正係数テーブル１３ａ〜１３ｃが記録されているものとする。演算部１２ａは、補正係数テーブル１３ａから読み出した補正係数を用いて、出力画像信号におけるＲ成分の値を算出する。演算部１２ｂは、補正係数テーブル１３ｂから読み出した補正係数を用いて、出力画像信号におけるＧ成分の値を算出する。演算部１２ｃは、補正係数テーブル１３ｃから読み出した補正係数を用いて、出力画像信号におけるＢ成分の値を算出する。
【００２４】
また、補正係数テーブル１３ａには、Ｒ成分について定義された分割領域ＳＰ１，ＳＰ２，ＳＰ３のそれぞれに対応付けて、補正係数Ｃ１，Ｃ２，Ｃ３が登録されている。図示しないが、同様に、補正係数テーブル１３ｂには、Ｇ成分について定義された分割領域ＳＰ１，ＳＰ２，ＳＰ３のそれぞれに対応付けて、補正係数Ｃ１，Ｃ２，Ｃ３が登録されている。また、補正係数テーブル１３ｃには、Ｂ成分について定義された分割領域ＳＰ１，ＳＰ２，ＳＰ３のそれぞれに対応付けて、補正係数Ｃ１，Ｃ２，Ｃ３が登録されている。
【００２５】
補正係数テーブル１３ａ〜１３ｃのそれぞれに対しては、補正係数Ｃ１〜Ｃ３を任意に設定可能である。また、補正係数テーブル１３ａ〜１３ｃのそれぞれにおいては、複数の分割領域に同一の補正係数が登録されてもよい。換言すれば、ＲＧＢの各成分について、１つの補正係数が複数の分割領域（すなわち、座標系２０における連続していない領域）に対応付けられてもよい。
【００２６】
画像補正部１２は、補正係数記憶部１３から、判定部１１によって入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出す。そして、画像補正部１２は、入力画像信号を基に、出力画像信号における色成分ごとの出力値を、補正係数記憶部１３から読み出した対応する色成分についての補正係数を用いて算出する。
【００２７】
例えば、図１において、判定部１１が、Ｒ成分について、入力画像信号に基づくａ＊成分およびｂ＊成分の各値が分割領域ＳＰ１に含まれると判定したとする。この場合、画像補正部１２の演算部１２ａは、補正係数テーブル１３ａから、分割領域ＳＰ１に対応付けられた補正係数Ｃ１を読み出し、読み出した補正係数Ｃ１を用いてＲ成分の出力値を算出する。また、例えば、判定部１１が、Ｇ成分について、入力画像信号に基づくａ＊成分およびｂ＊成分の各値が分割領域ＳＰ２に含まれると判定したとする。この場合、画像補正部１２の演算部１２ｂは、補正係数テーブル１３ｂから、分割領域ＳＰ２に対応付けられた補正係数Ｃ２を読み出し、読み出した補正係数Ｃ２を用いてＧ成分の出力値を算出する。
【００２８】
以上説明した画像処理装置１によれば、入力画像信号の値に応じた適切な補正係数を用いて、画質を補正できるようになる。このため、補正係数を用いた補正演算による画質補正効果の度合いが、入力画像信号の値によって異なるような場合でも、補正後の画像の画質が向上する確率を高くすることができる。特に、補正演算による画質補正効果の度合い（補正演算によって信号の値がどの程度適正化されるかの度合い）が色成分ごとに異なる場合に、入力画像信号の値に応じて、色成分ごとの効果の度合いが考慮された適切な補正係数を選択できる。このため、補正精度が向上する。
【００２９】
例えば、補正演算による画質補正効果の度合いが入力画像信号の値に応じて異なる場合には、入力画像信号の値に応じて異なる補正係数を用いて補正演算を行うことで、補正精度を高めることができる。しかしながら、入力画像信号の値が、色成分間で共通に定義された複数の分割領域のいずれに含まれるかを判定する方法では、補正演算による画質補正効果の度合いが色成分ごとに異なる場合に、高い補正精度を得られない。補正精度をより向上させるためには、分割領域の数を増やし、対応する補正係数の数を増やす必要がある。
【００３０】
これに対して、本実施の形態のように、入力画像信号の値が、色成分ごとに定義された複数の分割領域のいずれに含まれるかを判定する方法では、補正演算による画質補正効果の度合いが色成分ごとに異なる場合でも、少ない補正係数を用いて補正精度を高めることができる。例えば、上記のように色成分間で共通の分割領域を定義する方法で、９通りの補正係数を用意した場合と、本実施の形態で、ＲＧＢの各成分について３通りずつの補正係数を用意した場合とを比較すると、本実施の形態では、画像補正部１２において２７通りの補正処理を実行することが可能になる。従って、少ない補正係数を用いて精度の高い補正を行うことができる。
【００３１】
〔第２の実施の形態〕
次に、上記の画像処理装置１の処理を、可視領域および赤外領域に感度を有する撮像素子によって得られた画像の色補正に対して用いた撮像装置の例について説明する。
【００３２】
図２は、第２の実施の形態に係る撮像装置の構成例を示す図である。
図２に示す撮像装置１００は、光学ブロック１０１、撮像素子１０２、Ａ／Ｄ（Analog/Digital）変換部１０３、画素補間部１０４、ＷＢ（White Balance）調整部１０５、色補正部１０６、γ補正部１０７、他の画質補正部１０８、表示／保存処理部１０９、ディスプレイ１１０、記録媒体１１１、切り替え制御部１１２および入力部１１３を備える。なお、この撮像装置１００は、例えば、一般的な民生用のデジタルスチルカメラとして使用できる他、監視カメラなどの業務用カメラとして使用することもできる。
【００３３】
光学ブロック１０１は、被写体からの光を撮像素子１０２に集光するためのレンズなどを備える。撮像素子１０２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、被写体から光学ブロック１０１を通じて入射した光を電気信号に変換する。この撮像素子１０２は、可視領域および赤外領域に対して感度を有する。また、光学ブロック１０１は、撮像素子１０２に対する赤外光の照射を阻止するための赤外カットフィルタを備えていない。
【００３４】
Ａ／Ｄ変換部１０３は、撮像素子１０２から出力されたアナログ画像信号をデジタル画像信号に変換する。画素補間部１０４は、Ａ／Ｄ変換部１０３から出力された画像信号を基に画素補間処理を行うことで、各画素についてのＲＧＢ各成分の信号を出力する。ＷＢ調整部１０５は、画素補間部１０４から出力されたＲＧＢ各成分の信号に対してゲインをかけることで、ホワイトバランスを調整する。
【００３５】
色補正部１０６は、カラー画像の撮影時に、ＷＢ調整部１０５から出力された画像信号に対して色補正処理を施す。前述のように、光学ブロック１０１は赤外カットフィルタを備えないので、撮像素子１０２から得られる画像の色は、人間が見た被写体の印象とは異なるものとなる。色補正部１０６は、撮像素子１０２から得られる画像の色が、人間が見た被写体の印象に近づくように、色再現性を改善するものである。
【００３６】
本実施の形態では、色補正部１０６は、マトリクス演算によって色補正処理を行う。ＷＢ調整部１０５から色補正部１０６に入力される入力画像信号のＲＧＢ各成分の値をＲｉｎ，Ｇｉｎ，Ｂｉｎとし、色補正部１０６からγ補正部１０７に出力される出力画像信号のＲＧＢ各成分の値をＲｏｕｔ，Ｇｏｕｔ，Ｂｏｕｔとすると、色補正部１０６は、次の式（１）に従ってマトリクス演算を行う。
【００３７】
【数１】
【００３８】
なお、色補正部１０６での色補正処理は、切り替え制御部１１２からの要求に応じてオフにすることができる。色補正処理がオフのとき、色補正部１０６は、ＷＢ調整部１０５からの入力画像信号をそのままγ補正部１０７に出力する。
【００３９】
γ補正部１０７は、色補正部１０６から出力された画像信号に対してγ補正を施す。他の画質補正部１０８は、γ補正部１０７から出力された画像信号に対して、例えば彩度の補正などの他の種類の画質補正処理を施す。
【００４０】
表示／保存処理部１０９は、他の画質補正部１０８から出力された画像信号を表示用信号に変換し、ディスプレイ１１０に出力する。ディスプレイ１１０は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electroluminescence）ディスプレイなどの表示デバイスであり、表示／保存処理部１０９から出力された表示用信号を基に画像を表示する。
【００４１】
また、表示／保存処理部１０９は、他の画質補正部１０８から出力された画像信号を、ＪＰＥＧ（Joint Photographic Experts Group）方式などの所定の圧縮方式によって圧縮符号化し、符号化された画像データを記録媒体１１１に記録する。記録媒体１１１は、例えば、フラッシュメモリ、ＨＤＤなどの不揮発性記録媒体である。なお、表示／保存処理部１０９は、例えば、他の画質補正部１０８から出力された画像信号を、非圧縮のＲＡＷデータとして記録媒体１１１に記録してもよい。
【００４２】
切り替え制御部１１２は、入力部１１３から出力される選択信号に応じて、色補正部１０６における色補正処理のオン／オフを切り替える。切り替え制御部１１２は、カラー画像の撮影時には、色補正部１０６での色補正処理をオンにし、暗視撮影などの高感度撮影時には、色補正部１０６での色補正処理をオフにする。入力部１１３は、ユーザの入力操作に応じた選択信号を切り替え制御部１１２に供給する。
【００４３】
なお、実際には、入力部１１３によって高感度撮影を行うように設定された場合、撮像装置１００の内部では、例えば、他の画質補正部１０８などの処理によって、撮像によって得られた画像を白黒画像などの任意の２色の画像に変換する処理が行われる。
【００４４】
次に、色補正部１０６の処理について説明する。まず、色補正部１０６での処理手順を説明する前に、他の色補正方法（第１，第２の色補正方法）の手順とその問題点について述べる。
【００４５】
＜第１，第２の色補正方法＞
図３は、撮像素子の分光感度特性の例を示すグラフである。
本実施の形態で使用される撮像素子１０２は、図３の例のように、可視領域および赤外領域に対する感度を有する。人間が視認できない赤外領域に対しても感度を有することから、撮像素子１０２の分光感度特性は、人間の錐体感度特性とは大きく異なる。このため、このような撮像素子１０２を用いてカラー画像を撮影する場合には、撮像によって得られた画像の分光反射率特性が人間の錐体感度特性に近づくようにする仕組みが必要となる。一般的に、このような仕組みとしては、撮像素子の光路上に赤外カットフィルタを配置する方法と、赤外カットフィルタを用いずに、撮像素子によって得られた画像信号に対して信号処理を施す方法とがある。本実施の形態の色補正部１０６は、後者の方法により色補正を行うものである。
【００４６】
信号処理による色補正方法の例としては、マトリクス係数を用いた信号処理を行う方法（以下、「第１の色補正方法」と呼ぶ）がある。前述の「非特許文献１」にも、この第１の色補正方法の一例が記載されている。この第１の色補正方法は、入力画像信号に関係なく、単一のマトリクス係数を用いて色補正を行うものである。しかしながら、この第１の色補正方法には、「非特許文献１」にも記載があるように、撮影対象の色によって色補正による効果の度合いが異なり、色によっては画質が悪化してしまう場合もあるという問題がある。
【００４７】
図４は、マクベスカラーチェッカの各色についての分光反射率特性の例を示すグラフである。
図３のように赤外領域に感度を有する撮像素子１０２は、撮影対象の色についての可視領域の反射率に対する赤外領域の反射率が高くなるほど、多くの赤外領域のスペクトルを検知する。赤外領域のスペクトルが高くなるほど、得られる画像の信号におけるＲＧＢの各成分の強度差が小さくなるので、得られる画像は無彩色に近い画像となる。また、撮影対象の色によって分光反射率特性が異なることから、各撮影対象色を赤外カットフィルタを用いずに撮像素子１０２で撮影したとき、得られる画像の色はどの撮影対象色についても無彩色に近づくことにはなるが、その近づき方は色によって異なる。
【００４８】
例として、マクベスカラーチェッカにおける２４色のカラーサンプルを、赤外カットフィルタを用いずに撮影した場合、得られる画像の色の無彩色への近づき方はカラーサンプルごとに異なる。この理由は、図４に示すように、カラーサンプルごとに赤外領域での分光反射率特性が異なるからである。
【００４９】
上記の第１の色補正方法では、このような色ごとの赤外領域の反射率特性の違いが一因となって、撮影対象の色によって色補正の効果の度合いが異なってしまう。その結果、総合的に高い色補正精度を得ることができない。
【００５０】
このような問題点を解決する方法の一例として、撮影対象の色ごとに異なるマトリクス係数を用いて色補正を行う方法（以下、「第２の色補正方法」と呼ぶ）が考えられる。この第２の色補正方法によれば、撮影対象の色を細かく分類するほど、高い色補正精度を期待できる。逆に言うと、色補正精度を高くするためには、撮影対象の色を細かく分類する必要があるため、処理効率が低くなる、色の分類のために撮像装置に記録しておくべき情報量が多くなるといった問題がある。
【００５１】
さらに、図４の分光反射率特性によれば、可視領域での分光反射率特性が似ているカラーサンプル同士でも、赤外領域での分光反射率特性が大きく異なる場合がある。例えば、ブルー、シアン、パープルなどの青色系のカラーサンプルは、可視領域での分光反射率特性が類似しているとともに、可視領域での分光反射率と比較して、赤外領域での分光反射率が大きい。このため、これらの青色系カラーサンプルについての赤外領域での分光反射率の違いが、赤外カットフィルタを用いない撮影によって得られた画像の色に与える影響が大きくなり、その結果、無彩色への近づき方がカラーサンプルごとに大きく異なってしまう。
【００５２】
このことは、第２の色補正方法において、人間が見た色味の近い色に同じマトリクス係数を適用した場合、色再現性の向上効果には限度があることを意味する。また、高い色再現性効果を得ようとすると、青系などの同じ系統の色についてもさらに細かく分類し、分類した色ごとに個別のマトリクス係数を適用する必要が生じる。
【００５３】
＜本実施の形態での補正対象色のグループ分け方法＞
第２の色補正方法における上記問題点を解決するために、撮影対象の色の分類をＲＧＢの色成分ごとに変える方法を考える。一例として、以下の図５〜図７を用いて、青色系のカラーサンプルを撮影した場合の解析結果について説明する。
【００５４】
図５は、撮像素子における色成分ごとの分光感度特性の例を示す。
図５の左図は、入射光路上に赤外カットフィルタを配置しない場合の撮像素子１０２の分光感度特性の例を示す。図５の左図に示すように、入射光路上に赤外カットフィルタを配置しない場合、撮像素子１０２は、ＲＧＢの各成分ともに、赤外領域にも感度を有する。一方、図５の右図は、入射光路上に赤外カットフィルタを配置した場合の撮像素子１０２の分光感度特性の例を示す。図５の右図によれば、入射光路上に赤外カットフィルタを配置することで、ＲＧＢの各成分ともに、赤外領域における感度がほぼ０に低下することがわかる。
【００５５】
図６は、撮影対象とする青色系カラーサンプルの分光反射率特性の例を示す。
図６に示すように、撮影対象とする青色系カラーサンプルは、緑色系や赤色系に属する波長領域と比較して、青色系に属する波長領域および赤外領域における反射率が大きい。この図６のような特性を有するカラーサンプルを、図５のような特性を有する撮像素子１０２で撮影したときに得られる画像信号のＲＧＢ値は、図５の分光感度と図６の分光反射率とを色成分ごとに掛け合わせて積分することによって得られる。
【００５６】
赤外カットフィルタを使用せずに撮影したときに得られる画像信号のＲＧＢ値（「第１のＲＧＢ値」と呼ぶ）は、Ｒ＝０．７５，Ｇ＝０．７５，Ｂ＝１となる。なお、この第１のＲＧＢ値は、赤外カットフィルタを使用せずに撮像素子１０２で白色を撮影した場合の値によって規格化したものである。一方、赤外カットフィルタを使用して撮影したときに得られる画像信号のＲＧＢ値（「第２のＲＧＢ値」と呼ぶ）は、Ｒ＝０．５，Ｇ＝０．５，Ｂ＝１となる。なお、この第２のＲＧＢ値は、赤外カットフィルタを使用して撮像素子１０２で白色を撮影した場合の値によって規格化したものである。
【００５７】
図７は、色成分ごとの入出力の関係を示すグラフである。
上記の第１のＲＧＢ値は、色補正部１０６に対する入力画像信号（すなわち、補正前の画像信号）のＲＧＢ値に対応すると考えることができる。一方、第２のＲＧＢ値は、色補正部１０６からの出力画像信号の目標値（補正後の目標値）と考えることができる。そこで、図７は、第１のＲＧＢ値を入力、第２のＲＧＢ値を出力としたときの入出力の関係を、色成分ごとにグラフ化したものである。
【００５８】
図７の右図に示すように、Ｂ成分の値は補正前の値と目標値とで変化しない。これに対して、図７の左図および中央図に示すように、Ｒ成分、Ｇ成分の各値は、補正前の値より目標値の方がともに小さい。
【００５９】
ここで、撮影対象とするカラーサンプルを、補正前の値と目標値との関係から、色成分ごとに分類することを考える。ここでは例として、図７に示すように、ＲＧＢの各色成分について３通りに分類する。Ｒ成分についてはグループＲ１〜Ｒ３を定義し、Ｇ成分についてはグループＧ１〜Ｇ３を定義し、Ｂ成分についてはグループＢ１〜Ｂ３を定義する。
【００６０】
グループＲ１〜Ｒ３は、例えば、Ｒ成分の入出力関係を示すグラフ上の直線によって区分けされる。グループＲ１には、Ｒ成分についての補正前の値と目標値とがほぼ等しくなるようなカラーサンプルが分類される。一方、グループＲ３には、Ｒ成分についての補正前の値と比較して目標値が極端に小さくなるようなカラーサンプルが分類される。グループＲ２には、グループＲ１に分類されるカラーサンプルと、グループＲ３に分類されるカラーサンプルとの中間的な特性を有するカラーサンプルが分類される。
【００６１】
Ｇ成分についてのグループＧ１〜Ｇ３の関係は、グループＲ１〜Ｒ３の関係とほぼ同様である。グループＧ１〜Ｇ３は、例えば、Ｇ成分の入出力関係を示すグラフ上の直線によって区分けされる。Ｂ成分についてのグループＢ１〜Ｂ３の関係も、グループＲ１〜Ｒ３の関係とほぼ同様である。グループＢ１〜Ｂ３は、例えば、Ｂ成分の入出力関係を示すグラフ上の直線によって区分けされる。
【００６２】
図６のような特性を有する青色系カラーサンプルは、図７に示すように、Ｒ成分についてはグループＲ２に分類され、Ｇ成分についてはグループＧ２に分類され、Ｂ成分についてはグループＢ１に分類される。ここで、同じグループに分類されるカラーサンプルについては、同じ補正係数を用いて補正演算を行うことで、補正精度が向上すると考えられる。
【００６３】
図６のような特性を有するカラーサンプルを撮影した場合には、Ｒ成分の出力値の算出には、グループＲ２に対応するＲ成分用の補正係数（式（１）のマトリクス係数の第１行目成分に対応）を使用し、Ｇ成分の出力値の算出には、グループＧ２に対応するＧ成分用の補正係数（式（１）のマトリクス係数の第２行目成分に対応）を使用し、Ｂ成分の出力値の算出には、グループＢ１に対応するＢ成分用の補正係数（式（１）のマトリクス係数の第３行目成分に対応）を使用することで、良好な補正効果が得られると考えられる。
【００６４】
ここで、入出力の関係が類似するグループに属するＲ成分およびＧ成分の補正係数は、互いに近い値になると考えられる。これに対して、入出力の関係がＲ成分およびＧ成分と異なるＢ成分用の補正係数は、Ｒ成分用およびＧ成分用の補正係数とは大きく異なる値になると考えられる。
【００６５】
以上の解析結果に鑑みて、マクベスカラーチェッカの２４色について、上記と同様に補正前の値と目標値との値の関係を色成分別にグラフ化した結果を示す。図８は、Ｒ成分についての入出力の関係を示すグラフである。図９は、Ｇ成分についての入出力の関係を示すグラフである。図１０は、Ｂ成分についての入出力の関係を示すグラフである。
【００６６】
図８〜図１０では、例として、２４色のカラーサンプルを、色成分ごとに２本の境界直線によって３グループに分類する。図８では、グループＲ１，Ｒ２の境界は直線Ｌｒ１によって区切られ，グループＲ２，Ｒ３の境界は直線Ｌｒ２によって区切られている。図９では、グループＧ１，Ｇ２の境界は直線Ｌｇ１によって区切られ，グループＧ２，Ｇ３の境界は直線Ｌｇ２によって区切られている。図１０では、グループＢ１，Ｂ２の境界は直線Ｌｂ１によって区切られ，グループＢ２，Ｂ３の境界は直線Ｌｂ２によって区切られている。
【００６７】
図８〜図１０によれば、青色系のカラーサンプルは、Ｒ成分についてはグループＲ３に近い側に、Ｇ成分についてはグループＧ３に近い側に、Ｂ成分についてはグループＢ１に近い側に、概ね分類されることがわかる。一方、赤色系のカラーサンプルについては、Ｒ成分についてはグループＲ１に近い側に、Ｇ成分についてはグループＧ３に近い側に、Ｂ成分についてはグループＢ３に近い側に、概ね分類されることがわかる。また、緑色系のカラーサンプルについても赤色系と同様に、Ｒ成分についてはグループＲ１に近い側に、Ｇ成分についてはグループＧ３に近い側に、Ｂ成分についてはグループＢ３に近い側に、概ね分類されることがわかる。
【００６８】
このように、青色系のカラーサンプルと、赤色系および緑色系のカラーサンプルとは、補正前の値と目標値との関係が色成分ごとに異なる。このことから、前述の第２の色補正方法のように色ごとに異なるマトリクス係数を用いる方法と比較して、色成分ごとに定義されたグループに応じた補正係数（マトリクス係数の行成分）を用いて補正演算を行う方法の方が、補正精度を向上させることができる。
【００６９】
本実施の形態では、各色成分についての入出力関係のグラフから、２つの境界直線（例えば、Ｒ成分についての直線Ｌｒ１，Ｌｒ２）を用いてカラーサンプルを３つのグループに分類する。この分類処理においては、グループごとに個別の補正係数を用いて補正演算を行ったときに、同一グループに属する各カラーサンプルについての補正後の色成分ごとの出力値と、それらの各カラーサンプルに対応する目標色における色成分ごとの出力値との差分が一定範囲に収まるように、各カラーサンプルを色成分ごとにグループ化する。
【００７０】
例えば、Ｒ成分については、グループＲ１に属する各カラーサンプルについてグループＲ１用の補正係数を用いて補正演算を行ったときに、これらの各カラーサンプルについての補正後のＲ成分の値と、これらの各カラーサンプルに対応するＲ成分の目標値との差分が一定範囲に収まるように、グループＲ１，Ｒ２との境界である直線Ｌｒ１を設定する。なお、この場合のグループＲ１用の補正係数は、例えば、グループＲ１に属する各カラーサンプルについての補正前のＲＧＢ各成分の値と、これらの各カラーサンプルについてのＲ成分の目標値とから、最小二乗法によって計算される。
【００７１】
ところで、図８〜図１０によれば、赤色系、緑色系、青色系のように、同種の色味のカラーサンプル同士で、色成分ごとに属するグループが３種類のうちの同じグループになるとは、必ずしも言えない。ここで、図８〜図１０には例として、青色系の５つのカラーサンプル（Blue Sky，Purple Blue，Purple，Blue，Cyan）についてのグラフ上の位置を、丸印によって示している。
【００７２】
例えば、図８に示すＲ成分については、これら５つのカラーサンプルは２つのグループＲ２，Ｒ３に跨って分布し、図９に示すＧ成分についても、これら５つのカラーサンプルは２つのグループＧ２，Ｇ３に跨って分布する。また、図１０に示すＢ成分に至っては、これら５つのカラーサンプルは３つのグループＢ１〜Ｂ３に跨って分布する。このような状況では、例えば、青色系の５つのカラーサンプルを同じグループに分類して、色成分ごとに同じ補正係数を用いて補正演算を行った場合、カラーサンプルごとに補正後の値と目標値との誤差が大きく異なってしまい、高い補正精度が得られない。
【００７３】
この例のように、赤色系、緑色系、青色系など、人間が見た色味によってカラーサンプルを分類してしまうと、十分な補正精度を得ることができない。前述した第２の色補正方法のように、補正対象の色ごとに個別のマトリクス係数を用いて色補正を行った場合に、高い色補正精度が得られない理由も、上記のように補正対象の色と補正後の目標値との関係が複雑であることが一因と考えられる。
【００７４】
これに対して、本実施の形態では、人間が見た色味に関係なく、補正後の値が目標値に近くなるようなカラーサンプルを同じグループに分類するようにすることで、補正精度を向上させることができる。
【００７５】
また、色成分ごとにグループの分類が行われて、それらのグループごとに補正係数が設定されるので、最終的に色補正に使用されるマトリクス係数のパターン数は、各色成分のグループ数を掛け合わせた数になる。例えば、ＲＧＢの各成分について３つのグループを定義した場合、色補正の演算には２７通りのマトリクス係数を使用可能になる。このため、上記のように補正対象の色と補正後の目標値との関係が複雑であるにもかかわらず、あらかじめ用意しておく補正係数の数を少なくすることができる。
【００７６】
図１１は、グループ分けおよび補正係数の設定を含む初期設定手順の例を示すフローチャートである。この図１１の処理は、撮像装置１００の開発工程または製造工程において実行される。なお、ここでは例として、図１１に示す処理は図示しないコンピュータによって実行されるものとする。
【００７７】
［ステップＳ１１］コンピュータを操作する操作者は、複数のカラーサンプル（例えば、前述したマクベスカラーチェッカの２４色）のそれぞれについて、補正前のＲＧＢの各値と、補正後のＲＧＢの各目標値とを、コンピュータに設定する。ここで、補正前のＲＧＢの値は、撮像装置１００の撮像素子１０２と同様の仕様を有する撮像素子を用いて、各カラーサンプルを赤外カットフィルタを用いずに撮影することで得られる。一方、補正後のＲＧＢの目標値は、同じ撮像素子を用いて、各カラーサンプルを赤外カットフィルタを用いて撮影することで得られる。
【００７８】
［ステップＳ１２］コンピュータは、ステップＳ１３〜Ｓ１７の処理をＲ成分、Ｇ成分およびＢ成分のそれぞれについて実行する。
［ステップＳ１３］コンピュータは、処理対象の色成分についての入力（補正前の値）と出力（補正後の目標値）との関係を示すグラフ上に、２つの境界直線を設定する。これら２つの境界直線は、ともに正の傾きを有するとともに、入出力平面上で互いに交差しないように設定される。コンピュータは、設定した２つの境界直線によって、複数のカラーサンプルを３つのグループに分類する。例えば、処理対象がＲ成分の場合、コンピュータは、図８に示した直線Ｌｒ１，Ｌｒ２を任意に設定し、直線Ｌｒ１，Ｌｒ２を境界として、２４色のカラーサンプルをグループＲ１〜Ｒ３のいずれかに分類する。
【００７９】
［ステップＳ１４］コンピュータは、ステップＳ１３で設定したグループごとにそれぞれ補正係数を計算する。
ここで、１つのグループにｎ個（ただし、ｎは１以上の整数）のカラーサンプルが属するものとし、マトリクス係数は次の式（２）を基に求められる。
【００８０】
【数２】
【００８１】
式（２）において、Ｒｉｎ＿１，Ｒｉｎ＿２，・・・，Ｒｉｎ＿ｎは、各カラーサンプルの補正前のＲ成分の値を示し、Ｇｉｎ＿１，Ｇｉｎ＿２，・・・，Ｇｉｎ＿ｎは、各カラーサンプルの補正前のＧ成分の値を示し、Ｂｉｎ＿１，Ｂｉｎ＿２，・・・，Ｂｉｎ＿ｎは、各カラーサンプルの補正前のＢ成分の値を示す。また、Ｒｏｕｔ＿１，Ｒｏｕｔ＿２，・・・，Ｒｏｕｔ＿ｎは、各カラーサンプルの補正後のＲ成分の目標値を示し、Ｇｏｕｔ＿１，Ｇｏｕｔ＿２，・・・，Ｇｏｕｔ＿ｎは、各カラーサンプルの補正後のＧ成分の目標値を示し、Ｂｏｕｔ＿１，Ｂｏｕｔ＿２，・・・，Ｂｏｕｔ＿ｎは、各カラーサンプルの補正後のＢ成分の目標値を示す。
【００８２】
ステップＳ１４では、コンピュータは、グループごとに、グループに属するカラーサンプルについての補正前の値と補正後の目標値とを式（２）に代入し、グループごとのマトリクス係数を最小二乗法によって計算する。Ｒ成分が処理対象である場合、Ｒ成分の各グループの補正係数は、算出されたマトリクス係数における第１行目成分（αｒ，αｇ，αｂ）となる。また、Ｇ成分が処理対象である場合、Ｇ成分の各グループの補正係数は、算出されたマトリクス係数における第２行目成分（βｒ，βｇ，βｂ）となる。また、Ｂ成分が処理対象である場合、Ｂ成分の各グループの補正係数は、算出されたマトリクス係数における第３行目成分（γｒ，γｇ，γｂ）となる。
【００８３】
［ステップＳ１５］コンピュータは、ステップＳ１４で算出した補正係数をグループごとに式（２）に適用することにより、各カラーサンプルについての補正後の色成分の値を算出する。
【００８４】
［ステップＳ１６］コンピュータは、カラーサンプルごとに、ステップＳ１５で算出された補正後の色成分の値と、補正後の目標値との差分を計算する。コンピュータは、すべてのカラーサンプルについての差分があらかじめ決められたしきい値以内であるかを判定する。すべての差分がしきい値以内の場合、処理対象の色成分についてのループ内の処理が終了する。一方、差分がしきい値を超えるカラーサンプルが存在する場合、ステップＳ１７の処理が実行される。
【００８５】
［ステップＳ１７］コンピュータは、処理対象の色成分についての２つの境界直線のうち少なくとも一方を変更して、カラーサンプルのグループ分けを再度実行する。この後、ステップＳ１４の処理が実行される。すなわち、１つの色成分についてのループ内の処理では、３つのグループのそれぞれについての補正係数を用いて補正演算を行ったときに、すべてのカラーサンプルについて補正後の値と目標値との差分が一定値以内に収まるようになるまで、境界直線の設定およびグループ分けが繰り返し実行される。
【００８６】
なお、以上の処理では、境界直線を用いてカラーサンプルのグループ分けを行うことで、グループ分けの処理を単純化した。しかしながら、グループの境界は必ずしも直線でなくてもよく、例えば曲線によってグループを区分してもよい。グループの境界を直線以外のものにすることで、すべてのカラーサンプルについての補正後の値と目標値との差分を、より小さくできる可能性がある。
【００８７】
［ステップＳ１８］コンピュータは、色成分ごとのグループ分けを示す情報と、グループごとの補正係数とを、撮像装置１００に設定する情報として生成する。
ここで、グループ分けを示す情報とは、撮像装置１００の色補正部１０６が入力画像信号を基に所属グループの判定を行う際に必要になる情報である。ステップＳ１８では、例えば、ステップＳ１１〜Ｓ１７で利用した各カラーサンプルを、所属グループの判定に利用する色分布の座標系（以下、「判定用座標系」と呼ぶ）にプロットする。そして、判定用座標系におけるあるカラーサンプルの位置を含む領域を、分割領域としてそのカラーサンプルと同じグループに対応付ける。これにより、色補正部１０６に対する入力画像信号の値を上記の判定用座標系に投影した際に、その入力画像信号がどのグループに属するかを判定できるようになる。
【００８８】
判定用座標系としては、例えば、ＲＧＢ空間におけるＲ成分、Ｇ成分およびＢ成分の分布などを示す３次元以上の座標系や、Ｌ＊ａ＊ｂ＊空間あるいはＹＵＶ空間における色度分布などを示す２次元座標系が考えられる。ここで、判定用座標系としてＲＧＢ３次元空間を使用した場合、色補正部１０６は、入力画像信号の色空間（表色系）の変換を行わずにグループ判定を行うことができる。
【００８９】
一方、判定用座標系として２次元座標系を使用した場合には、判定用座標系における分割領域の境界の設定が簡単になる。例えば、色成分ごとに設定される分割領域の境界を、直線、曲線、円などの簡単な数式で表される境界線によって設定できるようになる。また、以下で説明するように、判定用座標系としてＬ＊ａ＊ｂ＊空間におけるａ＊成分とｂ＊成分による座標系を使用することで、色成分ごとに設定される分割領域の数（すなわち、同じ補正係数に対応付けられる分割領域の数）を少なくすることができる。この場合、所属グループ判定のために撮像装置１００に設定しておくべき情報の量を少なくすることができるとともに、判定処理手順を簡略化できる。
【００９０】
図１２〜図１４は、各カラーサンプルについての補正前の値を、ａ＊成分およびｂ＊成分による色度分布の座標系にプロットした様子を示すグラフの例である。
なお、図１２は、図８のようにカラーサンプルが分類された場合を示し、図１３は、図９のようにカラーサンプルが分類された場合を示し、図１４は、図１０のようにカラーサンプルが分類された場合を示す。図１２〜図１４では、座標系における各カラーサンプルの位置は同じであるが、各カラーサンプルがどのグループに属しているかが異なる。すなわち、図１２〜図１４では、グループを分類するための境界直線の配置のされ方が異なっている。
【００９１】
図１２によれば、Ｒ成分に関し、座標系上の直線Ｌｒ１’，Ｌｒ２’を境界として、各カラーサンプルを概ね図８のように分類することが可能となる。また、図１３によれば、Ｇ成分に関し、座標系上の直線Ｌｇ１’，Ｌｇ２’を境界として、各カラーサンプルを概ね図９のように分類することが可能となる。また、図１４によれば、Ｂ成分に関し、座標系上の直線Ｌｂ１’，Ｌｂ２’を境界として、各カラーサンプルを概ね図１０のように分類することが可能となる。
【００９２】
このようにＬ＊ａ＊ｂ＊空間に変換する方法を採用した場合、撮像装置１００は、例えば次の図１５，図１６に示すような情報を保持すればよい。
図１５は、境界直線テーブルの一例を示す図である。
【００９３】
撮像装置１００は、グループ分けを示す情報として、例えば図１５のような、色度分布の座標系における境界直線を示す情報を保持すればよい。図１５の境界直線テーブル２００では、ＲＧＢの各成分について、グループ１とグループ２との境界をなす境界直線１の数式と、グループ２とグループ３との境界をなす境界直線２の数式とが登録される。例えば、Ｒ成分については、グループＲ１，Ｒ２の境界をなす図１２の直線Ｌｒ１’の数式と、グループＲ２，Ｒ３の境界をなす図１２の直線Ｌｒ２’の数式とが登録される。
【００９４】
図１１のステップＳ１８では、コンピュータは例えば、各カラーサンプルについての補正前の値についての、色度分布の座標系上の位置から、色成分ごとの境界直線を設定し、設定した境界直線の数式を登録した境界直線テーブル２００を生成する。
【００９５】
なお、図１５の例では、同一色成分についての境界直線１，２では傾きの値を共通にすることで、色補正部１０６でのグループ判定処理が簡略化されるようにした。しかしながら、同一色成分についての境界直線１，２の傾きは、座標系上で各直線が交差しない範囲で任意に設定されてもよい。
【００９６】
また、撮像装置１００が保持するグループ分けを示す情報の他の例としては、上記各境界直線によって区分される座標系上の座標の値が、グループごとに対応付けられたテーブルなどが考えられる。
【００９７】
図１６は、補正係数テーブルの一例を示す図である。なお、この補正係数テーブル２１１〜２１３は、色補正部１０６がどのような色空間上でグループ判定を行う場合でも、共通に使用されるものである。
【００９８】
補正係数テーブル２１１には、Ｒ成分のグループ分け処理の結果、グループごとに算出された補正係数が登録される。これらの補正係数は、図１１でのＲ成分のグループ分け処理において、ステップＳ１６で条件が満たされたときにステップＳ１４で算出されていた、各グループについてのマトリクス係数の第１行目成分（αｒ，αｇ，αｂ）である。
【００９９】
補正係数テーブル２１２には、Ｇ成分のグループ分け処理の結果、グループごとに算出された補正係数が登録される。これらの補正係数は、図１１でのＧ成分のグループ分け処理において、ステップＳ１６で条件が満たされたときにステップＳ１４で算出されていた、各グループについてのマトリクス係数の第２行目成分（βｒ，βｇ，βｂ）である。
【０１００】
補正係数テーブル２１３には、Ｂ成分のグループ分け処理の結果、グループごとに算出された補正係数が登録される。これらの補正係数は、図１１でのＢ成分のグループ分け処理において、ステップＳ１６で条件が満たされたときにステップＳ１４で算出されていた、各グループについてのマトリクス係数の第３行目成分（γｒ，γｇ，γｂ）である。
【０１０１】
図１１のステップＳ１８では、コンピュータは例えば、色成分ごとのグループ分け処理によってグループごとに算出された補正係数を、補正係数テーブル２１１〜２１３に登録する。
【０１０２】
なお、以上の図１２〜図１６の説明では、色度分布の座標系における分割領域の境界線を直線としたが、例えば、境界線を曲線や円としてもよい。境界線を円にする場合には、例えば、色度分布の座標系の所定位置を中心とする、互いに半径が異なる複数の境界円を設定する。例えば２つの境界円を設定したものとすると、内側の境界円の内部を第１のグループに対応付け、内側の境界円と外側の境界円との間の領域を第２のグループに対応付け、外側の境界円の外部を第３のグループに対応付ける。
【０１０３】
＜実施の形態での色補正処理＞
次に、撮像装置１００が実行する色補正処理について説明する。図１７は、色補正部の内部構成例を示すブロック図である。
【０１０４】
色補正部１０６は、色空間変換部１２１、グループ判定部１２２、信号遅延部１２３およびマトリクス演算部１２４を備える。また、撮像装置１００は不揮発性メモリ１３０を備え、不揮発性メモリ１３０には、前述した境界直線テーブル２００および補正係数テーブル２１１〜２１３が記憶されている。色補正部１０６は、不揮発性メモリ１３０内の各テーブルを参照する。
【０１０５】
色空間変換部１２１は、ＷＢ調整部１０５から色補正部１０６に入力された入力画像信号におけるＲＧＢ各成分の値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を、Ｌ＊ａ＊ｂ＊空間の値に変換する。色空間変換部１２１は、変換によって得られたａ＊成分およびｂ＊成分の各値をグループ判定部１２２に出力する。
【０１０６】
グループ判定部１２２は、境界直線テーブル２００を参照して、色空間変換部１２１から出力されたａ＊成分およびｂ＊成分の各値を基に、入力画像信号が属するグループを色成分ごとに判定する。グループ判定部１２２は、境界直線テーブル２００においてＲ成分に対応付けられた２つの数式を基に、Ｒ成分についてのグループを判定する。また、グループ判定部１２２は、境界直線テーブル２００においてＧ成分に対応付けられた２つの数式を基に、Ｇ成分についてのグループを判定する。また、グループ判定部１２２は、境界直線テーブル２００においてＢ成分に対応付けられた２つの数式を基に、Ｂ成分についてのグループを判定する。
【０１０７】
グループ判定部１２２は、Ｒ成分について判定されたグループに対応付けられた補正係数を、補正係数テーブル２１１からマトリクス演算部１２４に出力させる。また、グループ判定部１２２は、Ｇ成分について判定されたグループに対応付けられた補正係数を、補正係数テーブル２１２からマトリクス演算部１２４に出力させる。また、グループ判定部１２２は、Ｂ成分について判定されたグループに対応付けられた補正係数を、補正係数テーブル２１３からマトリクス演算部１２４に出力させる。
【０１０８】
信号遅延部１２３は、色補正部１０６に入力された入力画像信号を、色空間変換部１２１およびグループ判定部１２２での処理時間の分だけ遅延させて、マトリクス演算部１２４に出力する。これにより、グループ判定部１２２の処理によって補正係数テーブル２１１〜２１３からマトリクス演算部１２４に出力される補正係数と、それらの補正係数を適用すべき画素とが一致する。
【０１０９】
マトリクス演算部１２４は、信号遅延部１２３から出力された画像信号におけるＲＧＢ各成分の値を基に、前述した式（１）に従ってマトリクス演算を実行する。マトリクス演算部１２４は、マトリクス演算の際に、補正係数テーブル２１１，２１２，２１３から出力された補正係数をそれぞれ第１行目成分、第２行目成分、第３行目成分として設定したマトリクス係数を使用する。
【０１１０】
マトリクス演算部１２４は、例えば、Ｒ成分演算部１２４ａ、Ｇ成分演算部１２４ｂおよびＢ成分演算部１２４ｃを備える。Ｒ成分演算部１２４ａは、補正係数テーブル２１１から出力された補正係数（αｒ，αｇ，αｂ）を用いて、Ｒｏｕｔ＝αｒ・Ｒｉｎ＋αｇ・Ｇｉｎ＋αｂ・Ｂｉｎの演算を行う。Ｇ成分演算部１２４ｂは、補正係数テーブル２１２から出力された補正係数（βｒ，βｇ，βｂ）を用いて、Ｇｏｕｔ＝βｒ・Ｒｉｎ＋βｇ・Ｇｉｎ＋βｂ・Ｂｉｎの演算を行う。Ｂ成分演算部１２４ｃは、補正係数テーブル２１３から出力された補正係数（γｒ，γｇ，γｂ）を用いて、Ｂｏｕｔ＝γｒ・Ｒｉｎ＋γｇ・Ｇｉｎ＋γｂ・Ｂｉｎの演算を行う。
【０１１１】
図１８は、色補正部における色補正処理手順の例を示すフローチャートである。この図１８は、色補正部１０６に入力される１画素分の入力された入力画像信号についての処理を示す。
【０１１２】
［ステップＳ２１］色空間変換部１２１は、入力画像信号におけるＲＧＢ各成分の値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を、Ｌ＊ａ＊ｂ＊空間の値に変換する。
［ステップＳ２２］グループ判定部１２２は、境界直線テーブル２００に登録された境界直線と、色空間変換部１２１から出力されたａ＊成分およびｂ＊成分の各値とを基に、入力画像信号が属するグループを色成分ごとに判定する。
【０１１３】
グループ判定部１２２は、境界直線テーブル２００においてＲ成分に対応付けられた２つの数式を基に、Ｒ成分についてのグループを例えば次の手順で判定する。
グループ判定部１２２は、色空間変換部１２１から出力されたａ＊成分の値を、Ｒ成分についての境界直線１のｘに代入して、ｙの値を算出する。グループ判定部１２２は、色空間変換部１２１から出力されたｂ＊成分の値が、算出されたｙの値より大きい場合、入力画像信号はグループＲ１に属すると判定する。
【０１１４】
一方、グループ判定部１２２は、ｂ＊成分の値がｙの値以下である場合、ａ＊成分の値を、Ｒ成分についての境界直線２のｘに代入して、ｙの値を算出する。グループ判定部１２２は、ｂ＊成分の値が、算出されたｙの値より大きい場合、入力画像信号はグループＲ２に属すると判定する。一方、グループ判定部１２２は、ｂ＊成分の値がｙの値以下である場合、入力画像信号はグループＲ３に属すると判定する。
【０１１５】
また、グループ判定部１２２は、境界直線テーブル２００においてＧ成分に対応付けられた２つの数式を基に、Ｒ成分の場合と同様の手順でＧ成分についてのグループを判定する。また、グループ判定部１２２は、境界直線テーブル２００においてＢ成分に対応付けられた２つの数式を基に、Ｒ成分の場合と同様の手順でＢ成分についてのグループを判定する。
【０１１６】
［ステップＳ２３］グループ判定部１２２の制御により、Ｒ成分について判定されたグループに対応付けられた補正係数が、補正係数テーブル２１１からマトリクス演算部１２４に読み出される。また、グループ判定部１２２の制御により、Ｇ成分について判定されたグループに対応付けられた補正係数が、補正係数テーブル２１２からマトリクス演算部１２４に読み出される。また、グループ判定部１２２の制御により、Ｂ成分について判定されたグループに対応付けられた補正係数が、補正係数テーブル２１３からマトリクス演算部１２４に読み出される。
【０１１７】
［ステップＳ２４］マトリクス演算部１２４のＲ成分演算部１２４ａ、Ｇ成分演算部１２４ｂおよびＢ成分演算部１２４ｃは、ステップＳ２１で変換対象とした入力画像信号のＲＧＢ各成分の値（Ｒｉｎ，Ｇｉｎ，Ｂｉｎ）を基に、補正係数テーブル２１１，２１２，２１３からそれぞれ出力された補正係数を用いて、Ｒ成分の出力値Ｒｏｕｔ、Ｇ成分の出力値ＧｏｕｔおよびＢ成分の出力値Ｂｏｕｔを演算する。これにより、マトリクス演算部１２４から、補正後の画像信号が出力される。
【０１１８】
以上説明した第２の実施の形態では、赤外カットフィルタを使用せずに撮影された画像信号を基に、色再現性の高いカラー画像を生成することができる。また、色補正に使用される補正係数が色成分ごとに複数用意されることで、色成分ごとに用意された補正係数の数を色成分の数だけ掛け合わせたパターン数のマトリクス係数が生成される。これにより、撮像装置１００内の不揮発性メモリ１３０にあらかじめ記憶しておく補正係数のデータ量を少なくすることができ、撮像装置１００の製造コストや回路規模を抑制することができる。
【０１１９】
〔第３の実施の形態〕
第２の実施の形態における色補正部１０６の処理は、撮像装置の外部に存在する画像処理装置において実現することもできる。また、この画像処理装置の処理は、１つまたは複数の半導体装置によって実現することもできる。
【０１２０】
ここでは、第３の実施の形態として、色補正部１０６の処理を実行する画像処理装置の一例について説明する。図１９は、第３の実施の形態に係る画像処理装置のハードウェア構成を示す図である。第３の実施の形態に係る画像処理装置３００は、図１９に示すようなコンピュータとして実現可能である。
【０１２１】
画像処理装置３００は、ＣＰＵ３０１によって装置全体が制御されている。ＣＰＵ３０１には、バス３０８を介して、ＲＡＭ（Random Access Memory）３０２と複数の周辺機器が接続されている。
【０１２２】
ＲＡＭ３０２は、画像処理装置３００の主記憶装置として使用される。ＲＡＭ３０２には、ＣＰＵ３０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ３０２には、ＣＰＵ３０１による処理に必要な各種データが格納される。
【０１２３】
バス３０８に接続されている周辺機器としては、ＨＤＤ（Hard Disk Drive）３０３、グラフィック処理装置３０４、入力インタフェース（Ｉ／Ｆ）３０５、光学ドライブ装置３０６および通信インタフェース３０７がある。
【０１２４】
ＨＤＤ３０３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ３０３は、画像処理装置３００の二次記憶装置として使用される。ＨＤＤ３０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、二次記憶装置としては、フラッシュメモリなどの半導体記憶装置を使用することもできる。
【０１２５】
グラフィック処理装置３０４には、モニタ３０４ａが接続されている。グラフィック処理装置３０４は、ＣＰＵ３０１からの命令に従って、画像をモニタ３０４ａに表示させる。なお、モニタ３０４ａは、例えば、液晶ディスプレイである。
【０１２６】
入力インタフェース３０５には、例えば、キーボード３０５ａおよびマウス３０５ｂが接続されている。入力インタフェース３０５は、キーボード３０５ａやマウス３０５ｂからの出力信号をＣＰＵ３０１に送信する。なお、マウス３０５ｂは、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【０１２７】
光学ドライブ装置３０６は、レーザ光などを利用して、光ディスク３０６ａに記録されたデータの読み取りを行う。光ディスク３０６ａは、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク３０６ａには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（Rewritable）などがある。
【０１２８】
通信インタフェース３０７は、ネットワーク３１０に接続されている。通信インタフェース３０７は、ネットワーク３１０を通じて他の機器との間で通信する。
ここで、第２の実施の形態の色補正部１０６の処理は、例えば、ＣＰＵ３０１が所定のプログラムを実行することによって実現される。また、色補正部１０６の処理の少なくとも一部が、グラフィック処理装置３０４内の回路などの専用の回路によって実現されてもよい。
【０１２９】
以上の画像処理装置３００によれば、赤外カットフィルタを使用せずに撮影されて得られた画像信号を、光ディスク３０６ａなどの可搬型記録媒体やネットワーク３１０などを通じて受信する。そして、受信した画像信号に対して色補正部１０６と同様の処理を実行することで、色再現性の高いカラー画像を生成することができる。
【０１３０】
なお、上記の各実施の形態に示した装置の処理機能は、コンピュータによって実現することができる。その場合、上記各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷなどがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【０１３１】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１３２】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１３３】
以上の各実施の形態に関し、さらに以下の付記を開示する。
（付記１） 入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する判定部であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する判定部と、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する画像補正部と、
を有することを特徴とする画像処理装置。
【０１３４】
（付記２） 複数の補正対象色を、色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記各グループに対応する分割領域が、前記各グループに分類された前記補正対象色を含むように設定される、
ことを特徴とする付記１記載の画像処理装置。
【０１３５】
（付記３） 前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記所定のカラーサンプルを撮像することで得られた画像信号の値であることを特徴とする付記２記載の画像処理装置。
【０１３６】
（付記４） 前記複数の分割領域のそれぞれは、色度分布において分割された領域であり、
前記判定部は、前記入力画像信号の色差成分を基に、前記入力画像信号が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする付記１記載の画像処理装置。
【０１３７】
（付記５） 前記複数の分割領域のそれぞれは、Ｌ＊ａ＊ｂ＊表色系におけるａ＊成分およびｂ＊成分によるａ＊ｂ＊座標系が分割された領域であり、
前記判定部は、前記入力画像信号をＬ＊ａ＊ｂ＊表色系の値に変換し、変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする付記４記載の画像処理装置。
【０１３８】
（付記６） 前記複数の分割領域は、前記ａ＊ｂ＊座標系が直線、曲線、円のいずれかである境界線によって分割された領域であり、
前記判定部は、前記入力画像信号の表色系における色成分ごとに設定された、前記ａ＊ｂ＊座標系における前記境界線に基づいて、前記変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を判定する、
ことを特徴とする付記５記載の画像処理装置。
【０１３９】
（付記７） 複数の補正対象色を、前記入力画像信号の表色系における色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記境界線は、同一のグループに分類された前記補正対象色の前記ａ＊ｂ＊座標系における座標が前記境界線によって分割された同一の分割領域に含まれるように、前記入力画像信号の表色系における色成分ごとに設定される、
ことを特徴とする付記６記載の画像処理装置。
【０１４０】
（付記８） 前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記カラーサンプルを撮像することで得られた画像信号の値であることを特徴とする付記７記載の画像処理装置。
【０１４１】
（付記９） 前記画像補正部は、前記出力画像信号における色成分ごとの出力値を、マトリクス演算によって算出し、
前記補正係数は、マトリクス係数における行成分である、
ことを特徴とする付記１〜８のいずれか１つに記載の画像処理装置。
【０１４２】
（付記１０） 固体撮像素子と、
前記固体撮像素子によって得られた入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する判定部であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する判定部と、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する画像補正部と、
を有することを特徴とする撮像装置。
【０１４３】
（付記１１） 入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する処理であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する処理を実行し、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、
前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する、
ことを特徴とする画像処理方法。
【０１４４】
（付記１２） 複数の補正対象色を、色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記各グループに対応する分割領域が、前記各グループに分類された前記補正対象色を含むように設定される、
ことを特徴とする付記１１記載の画像処理方法。
【０１４５】
（付記１３） 前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記所定のカラーサンプルを撮像することで得られた画像信号の値であることを特徴とする付記１２記載の画像処理方法。
【０１４６】
（付記１４） 前記複数の分割領域のそれぞれは、色度分布において分割された領域であり、
前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを判定する処理では、前記入力画像信号の色差成分を基に、前記入力画像信号が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする付記１１記載の画像処理方法。
【０１４７】
（付記１５） 前記複数の分割領域のそれぞれは、Ｌ＊ａ＊ｂ＊表色系におけるａ＊成分およびｂ＊成分によるａ＊ｂ＊座標系が分割された領域であり、
前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを判定する処理では、前記入力画像信号をＬ＊ａ＊ｂ＊表色系の値に変換し、変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする付記１４記載の画像処理方法。
【０１４８】
（付記１６） 前記複数の分割領域は、前記ａ＊ｂ＊座標系が直線、曲線、円のいずれかである境界線によって分割された領域であり、
前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを判定する処理では、前記入力画像信号の表色系における色成分ごとに設定された、前記ａ＊ｂ＊座標系における前記境界線に基づいて、前記変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を判定する、
ことを特徴とする付記１５記載の画像処理方法。
【０１４９】
（付記１７） 複数の補正対象色を、前記入力画像信号の表色系における色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記境界線は、同一のグループに分類された前記補正対象色の前記ａ＊ｂ＊座標系における座標が前記境界線によって分割された同一の分割領域に含まれるように、前記入力画像信号の表色系における色成分ごとに設定される、
ことを特徴とする付記１６記載の画像処理方法。
【０１５０】
（付記１８） 前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記カラーサンプルを撮像することで得られた画像信号の値であることを特徴とする付記１７記載の画像処理方法。
【０１５１】
（付記１９） 前記出力画像信号における色成分ごとの出力値を補正係数を用いて算出する処理では、前記出力画像信号における色成分ごとの出力値を、マトリクス演算によって算出し、
前記補正係数は、マトリクス係数における行成分である、
ことを特徴とする付記１１〜１８のいずれか１つに記載の画像処理方法。
【０１５２】
（付記２０） 入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する処理であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する処理を実行し、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、
前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【符号の説明】
【０１５３】
１ 画像処理装置
１１ 判定部
１２ 画像補正部
１２ａ，１２ｂ，１２ｃ 演算部
１３ 補正係数記憶部
１３ａ，１３ｂ，１３ｃ 補正係数テーブル
２０ 座標系
ＳＰ１〜ＳＰ３ 分割領域
【特許請求の範囲】
【請求項１】
入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する判定部であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する判定部と、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する画像補正部と、
を有することを特徴とする画像処理装置。
【請求項２】
複数の補正対象色を、色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記各グループに対応する分割領域が、前記各グループに分類された前記補正対象色を含むように設定される、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記所定のカラーサンプルを撮像することで得られた画像信号の値であることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記複数の分割領域のそれぞれは、色度分布において分割された領域であり、
前記判定部は、前記入力画像信号の色差成分を基に、前記入力画像信号が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記複数の分割領域のそれぞれは、Ｌ＊ａ＊ｂ＊表色系におけるａ＊成分およびｂ＊成分によるａ＊ｂ＊座標系が分割された領域であり、
前記判定部は、前記入力画像信号をＬ＊ａ＊ｂ＊表色系の値に変換し、変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記複数の分割領域は、前記ａ＊ｂ＊座標系が直線、曲線、円のいずれかである境界線によって分割された領域であり、
前記判定部は、前記入力画像信号の表色系における色成分ごとに設定された、前記ａ＊ｂ＊座標系における前記境界線に基づいて、前記変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を判定する、
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
複数の補正対象色を、前記入力画像信号の表色系における色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記境界線は、同一のグループに分類された前記補正対象色の前記ａ＊ｂ＊座標系における座標が前記境界線によって分割された同一の分割領域に含まれるように、前記入力画像信号の表色系における色成分ごとに設定される、
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記カラーサンプルを撮像することで得られた画像信号の値であることを特徴とする請求項７記載の画像処理装置。
【請求項９】
固体撮像素子と、
前記固体撮像素子によって得られた入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する判定部であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する判定部と、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する画像補正部と、
を有することを特徴とする撮像装置。
【請求項１０】
入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する処理であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する処理を実行し、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、
前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する、
ことを特徴とする画像処理方法。
【請求項１１】
入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する処理であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する処理を実行し、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、
前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１】
入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する判定部であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する判定部と、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する画像補正部と、
を有することを特徴とする画像処理装置。
【請求項２】
複数の補正対象色を、色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記各グループに対応する分割領域が、前記各グループに分類された前記補正対象色を含むように設定される、
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記所定のカラーサンプルを撮像することで得られた画像信号の値であることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記複数の分割領域のそれぞれは、色度分布において分割された領域であり、
前記判定部は、前記入力画像信号の色差成分を基に、前記入力画像信号が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記複数の分割領域のそれぞれは、Ｌ＊ａ＊ｂ＊表色系におけるａ＊成分およびｂ＊成分によるａ＊ｂ＊座標系が分割された領域であり、
前記判定部は、前記入力画像信号をＬ＊ａ＊ｂ＊表色系の値に変換し、変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を、前記入力画像信号の表色系における色成分ごとに判定する、
ことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記複数の分割領域は、前記ａ＊ｂ＊座標系が直線、曲線、円のいずれかである境界線によって分割された領域であり、
前記判定部は、前記入力画像信号の表色系における色成分ごとに設定された、前記ａ＊ｂ＊座標系における前記境界線に基づいて、前記変換によって得られたａ＊成分およびｂ＊成分の各値が含まれる分割領域を判定する、
ことを特徴とする請求項５記載の画像処理装置。
【請求項７】
複数の補正対象色を、前記入力画像信号の表色系における色成分ごとに、前記複数の分割領域のそれぞれに対応する複数のグループのいずれかに分類して、前記複数の補正対象色のそれぞれについての補正後の色成分ごとの出力値を色成分ごとかつグループごとに個別の補正係数を用いて算出したときに、前記各補正対象色のそれぞれについての補正後の色成分ごとの出力値と、前記各補正対象色に対応する目標色における色成分ごとの値との差分が一定範囲に収まるように、前記補正対象色が色成分ごとに前記複数のグループのいずれかに分類され、
前記境界線は、同一のグループに分類された前記補正対象色の前記ａ＊ｂ＊座標系における座標が前記境界線によって分割された同一の分割領域に含まれるように、前記入力画像信号の表色系における色成分ごとに設定される、
ことを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記目標色は、入射光路上に赤外カットフィルタが配置された固体撮像素子によって所定のカラーサンプルを撮像することで得られた画像信号の値であり、当該目標色に対応する前記補正対象色は、入射光路上に赤外カットフィルタが配置されていない固体撮像素子によって前記カラーサンプルを撮像することで得られた画像信号の値であることを特徴とする請求項７記載の画像処理装置。
【請求項９】
固体撮像素子と、
前記固体撮像素子によって得られた入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する判定部であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する判定部と、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する画像補正部と、
を有することを特徴とする撮像装置。
【請求項１０】
入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する処理であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する処理を実行し、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、
前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する、
ことを特徴とする画像処理方法。
【請求項１１】
入力画像信号の値が、色分布において分割された複数の分割領域のいずれに含まれるかを判定する処理であって、前記複数の分割領域が前記入力画像信号に含まれる色成分ごとに定義されており、前記入力画像信号の値が前記複数の分割領域のいずれに含まれるかを色成分ごとに判定する処理を実行し、
色成分ごとかつ分割領域ごとに補正係数が登録された補正係数記憶部から、前記入力画像信号の値が含まれると判定された色成分ごとの分割領域にそれぞれ対応する補正係数を読み出し、
前記入力画像信号を基に、出力画像信号における色成分ごとの出力値を、前記補正係数記憶部から読み出した対応する色成分についての補正係数を用いて算出する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−８５０７４（Ｐ２０１３−８５０７４Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２２８８２（Ｐ２０１１−２２２８８２）
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月７日（２０１１．１０．７）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]