信号処理装置、信号処理プログラム、および電子カメラ
【課題】本発明は、色変換処理を画素ごとに変更するに際して、ノイズの影響を受けにくくすることを目的とする。
【解決手段】本発明は、色変換処理を実施する色変換部と、その色変換の係数群に適正係数群を設定する係数適正化部とを備える。この係数適正化部は、処理対象の画素を含むように局所域を設定し、局所域の画素信号に基づいて、平均色情報、平均輝度情報、および平坦度の少なくとも一つを含む『局所域の特徴情報』を算出する。係数適正化部は、この局所域の特徴情報に基づいて、処理対象の画素に使用する適正係数群を決定する。
【解決手段】本発明は、色変換処理を実施する色変換部と、その色変換の係数群に適正係数群を設定する係数適正化部とを備える。この係数適正化部は、処理対象の画素を含むように局所域を設定し、局所域の画素信号に基づいて、平均色情報、平均輝度情報、および平坦度の少なくとも一つを含む『局所域の特徴情報』を算出する。係数適正化部は、この局所域の特徴情報に基づいて、処理対象の画素に使用する適正係数群を決定する。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電子カメラ、ビデオカメラ、スキャナ、プリンタなどのカラー画像機器に適用される色変換処理技術に関する。
【０００２】
【従来の技術】
一般に、カラー画像機器には、画素信号に対し良好な色再現性を付与するために、そのカラー画像機器に固有の入出力特性などに合わせて、色変換処理（表色系の変換などを含む場合もある）を実施する色変換回路が搭載される。
ところで、色変換回路としては、大別して、スキャナやプリンタなどに多く使用されているルックアップテーブル回路と、電子カメラやビデオカメラなどに多く使用されているマトリクス回路とがある。
【０００３】
このうち、ルックアップテーブル回路は、各色の画素信号（Ｒ，Ｇ，Ｂ）それぞれについての変換後の画素信号（Ｒ’，Ｇ’，Ｂ’）を記憶するので、線形（１次）の色変換だけでなく高次の色変換が可能である。このような色変換では、画像機器の入出力特性に応じた複雑な色変換特性が設定可能になる。
したがって、ルックアップテーブル回路によれば、画素信号に対し高い色再現性が付与され、各色の絵柄が全て適正な色で表現されることとなる。しかし、記憶すべき情報量が多い分だけ、回路規模が増大するという欠点がある。
【０００４】
一方、マトリクス回路は、各色の画素信号（Ｒ，Ｇ，Ｂ）に対し共通の変換式（通常は３×３の１次の変換マトリクス）を記憶するだけなので、線形の色変換しかできない。
したがって、マトリクス回路によると、画素信号に対しあまり高い色再現性を付与することができず、全色の絵柄を全て適正な色で表現できるとは限らない。しかし、記憶すべき情報量が少なく演算が簡便な分だけ、回路規模が低く抑えられるという利点がある。
【０００５】
因みに、マトリクス回路において、変換の次数を増加させて色変換特性を曲線状に設定することが考えられる。しかし、例えば、変換次数を１つ増やしてそのカーブを２次曲線にするだけでも、変換マトリクスが３×９の規模に増大すると共に、それに適合するベクトル（Ｒ２，Ｇ２，Ｂ２，ＲＧ，ＧＢ，ＢＲ，Ｒ，Ｇ，Ｂ）を生成する必要も生じるので、変換の全体に要す乗除算回数は、＋２４というように、著しく増大する。したがって、マトリクス回路により色変換特性を３次や４次などの高次の曲線にするには、回路規模が著しく増大するのは言うまでもない。
【０００６】
このため、従来は、例えば、特許文献１や特許文献２に開示されたマトリクス回路のように、変換次数を１に抑えたまま変換マトリクスの係数群を予め複数種用意すると共に、それら係数群を、画素信号の属する色範囲に応じて選択使用することが試みられていた。これにより、回路規模を大幅に増大させることなく、色変換特性を適正な曲線に近づけることができる。
【０００７】
【特許文献１】
特開平６−６５８７号公報
【特許文献２】
特開平５−３００３６７号公報
【０００８】
【発明が解決しようとする課題】
本願発明者は、上述した従来技術では、画素信号に含まれるノイズによって色変換処理が敏感に変動してしまい、そのノイズが目立つような色変換処理を行ってしまうという問題点に気が付いた。
【０００９】
また、上述した従来技術では、１画素単位に色変換特性を変化させているため、色変換特性が大幅に変化する箇所が画面内に多数発生する。そのため、これら多数の箇所において、色変換特性の段差が偽信号（ノイズ）になって目立つという問題も懸念される。
【００１０】
そこで、本発明は、色変換処理を画素ごとに調整するに際して、このようなノイズを改善する技術を提供することを目的とする。
【００１１】
【課題を解決するための手段】
以下、本発明について説明する。
【００１２】
《請求項１》
請求項１の信号処理装置は、入力されたカラーの画素信号に変換マトリクスを乗算して色変換処理を実行する色変換部と、この変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、次のような解析部、対応設定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含むように局所域を設定し、その局所域の複数の画素信号から、平均的な色情報（以下『平均色情報』という）を算出する。例えば、この平均化の演算処理としては、平均値、加重平均値、メディアン値、最頻度値、最大最小を除いた平均値などを求める演算が好ましい。
一方、対応設定部には、『平均色情報』と『適正係数群』との対応関係が予め設定されている。
係数決定部は、解析部で求めた平均色情報をこの対応関係に照合し、処理対象の画素に使用する適正係数群を決定する。
上記構成の主たる特徴は、処理対象の１画素の色情報ではなく、局所域の平均色情報を用いて、色変換処理（つまり適正係数群）を調整している点である。
通常、処理対象の画素にノイズが多く含まれていても、局所域の平均的な値である平均色情報は、ノイズの影響が小さい。そのため、画素信号のノイズによって色変換処理が敏感に変動し、そのノイズが相乗的に目立ってしまうといった従来例の課題を適切に改善できる。
さらに、隣接する画素については、それぞれに設定される局所域の大半が重複する。そのため、隣接する画素間において、平均色情報は大きく変化しない。このことから、隣接する画素間で色変換処理の大幅変化は起こりにくく、色変換特性の段差が偽信号（ノイズ）になって目立つという現象が改善される。
また、画像のディテール部分（髪の毛などの細かいパターン）やエッジ近傍では、局所域内に多様な色情報が含まれる。そのため、その局所域の平均色情報としては、多様な色情報の一つ一つがさほど反映されず、中庸的な色情報となる。その結果、画像のディテール部分に対して、色変換処理を急激に変化させるような動作は起こりにくく、ディテール部分の微細かつ複雑な色変化を忠実に残すことも可能になる。
【００１３】
《請求項２》
請求項２の発明は、請求項１に記載の信号処理装置において、係数適正化部は、処理対象の画素を含む局所域の平均的な色相の彩度を選択的に上げる方向に、適正係数群を調整することを特徴とする。
上記構成では、処理対象の画素に対して、局所域の平均化された色相の彩度を上げる方向に色変換処理を施す。
したがって、局所域がほぼ一様な色相を示す箇所では、その一様な色相が平均色情報により強く明確に現れる。その結果、処理対象画素の色相が色鮮やかに変換される。例えば、大きな花や、人工的に塗り分けられた看板のように、ほぼ一様な色相を示す被写体は、一段と色鮮やかに再現される。
一方、局所域に多様な色相が含まれるような箇所では、平均化の過程で多様な色相が平滑化される。そのため、細かな画素単位に色相が強調されるというおそれがなく、画像を拡大表示した際に画素単位に現れる色ノイズが彩度の強調作用によって目立つなどの弊害を防止できる。
【００１４】
《請求項３》
請求項３の信号処理装置は、入力されたカラーの画素信号に変換マトリクスを乗算することによって色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、次のような解析部、対応設定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含む局所域を設定し、局所域の複数の画素信号から、平均的な輝度情報（以下『平均輝度情報』という）を算出する。例えば、この平均化の演算処理としては、平均値、加重平均値、メディアン値、最頻度値、最大最小を除いた平均値などを求める演算が好ましい。
対応設定部には、『平均輝度情報』と『適正係数群』との対応関係が予め設定される。
係数決定部は、解析部で求めた平均輝度情報に基づいて対応関係を照合し、処理対象の画素に使用する適正係数群を決定する。
上記構成の主たる特徴は、処理対象の１画素の輝度情報ではなく、局所域の平均輝度情報を用いて、色変換処理（つまり適正係数群）を調整している点である。
通常、処理対象の画素にノイズが多く含まれていても、局所域の平均的な値である平均輝度情報は、ノイズの影響が小さい。そのため、画素信号のノイズによって色変換処理が敏感に変動し、そのノイズが相乗的に目立ってしまうといった従来例の課題を適切に改善できる。
さらに、隣接する画素については、それぞれに設定される局所域の大半が重複する。そのため、隣接する画素間において、平均輝度情報は大幅に変化しづらい。このことから、隣接する画素間で色変換処理の大幅変化は起こりにくく、色変換特性の段差が偽信号（ノイズ）になって目立つという現象が改善される。
また、画像のディテール部分（髪の毛などの細かいパターン）やエッジ近傍では、局所域内に明暗差の大きな輝度情報が含まれる。この場合の平均輝度情報は、明暗バラツキの大きな輝度情報の一つ一つを反映されず、中庸的な輝度情報となる。その結果、画像のディテール部分において、色変換処理を画素単位に変化させるような動作は起こりにくく、ディテール部分の微細かつ複雑な色変化を忠実に残すことが可能になる。
【００１５】
《請求項４》
請求項４の発明は、請求項３に記載の信号処理装置において、係数適正化部は、処理対象の画素を含む局所域の平均的な輝度が所定の中間階調の範囲内であれば、彩度を上げる方向に適正係数群を調整し、それ以外であれば、彩度を下げる方向に適正係数群を調整することを特徴とする。
上記構成では、局所域の輝度がほぼ一様で、かつ所定の中間階調の範囲内にあれば、処理対象の画素は色鮮やかに彩度調整される。その結果、輝度が中間階調に集中する低コントラストの画像に対して、色のメリハリを強調することが可能になり、インパクトの強い良好な画像が得られる。
一方、局所域の輝度が一様に中間階調の範囲以外（明部または暗部）であれば、処理対象画素の彩度は極端に強調されない。したがって、明部において画素信号の信号レベルが彩度強調によって飽和したり、暗部の色ノイズが彩度強調によって目立ってしまうなどの弊害を的確に防止できる。
なお、エッジ部などでは、平均輝度情報が中間階調の範囲にあると判定されるケースが想定される。このようなケースでは、エッジ部に過度な彩度強調がかかって色ノイズが目立ってしまう。そこで、このようなケースでは、平坦度による判断を組み合わせることによって、エッジ部における彩度強調を抑止することが好ましい。
【００１６】
《請求項５》
請求項５の信号処理装置は、入力されたカラーの画素信号に変換マトリクスを乗算することによって色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、次のような解析部、対応設定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含む局所域を設定し、局所域の複数の画素信号に基づいて画素空間上の平坦度を算出する。
対応設定部は、『平坦度』と『適正係数群』との対応関係が予め設定される。係数決定部は、解析部で求めた平坦度に基づいて対応関係を照合し、処理対象の画素に使用する適正係数群を決定する。
上記構成の主たる特徴は、処理対象の１画素の情報ではなく、局所域の平坦度を用いて、色変換処理（つまり適正係数群）を調整している点である。
通常、ノイズレベルが大きくなるほど、画素信号の空間変化がランダムに大きくなり、平坦度は低いと判断される。したがって、局所域の平坦度を尺度にすることにより、ノイズ箇所を抽出してそのノイズ箇所に合わせた色変換処理を実施することが可能になる。その結果、従来例で述べたような画素単位に色変換処理を調節する際のノイズを改善することが可能になる。
また通常、画像のディテール部分（髪の毛などの細かいパターン）やエッジ近傍では、画素信号の空間変化が大きくなるため、平坦度は低いと判断される。逆に、画像の平坦領域は、画素信号の空間変化がなだらかで、平坦度が高いと判断される。
したがって、この平坦度を尺度にして色変換特性を調整することにより、平坦領域と非平坦領域（ノイズレベルの大きな部分、ディテール部分、エッジ近傍など）それぞれに合わせて、色変換処理を調整することが可能になる。
そのため、色境界に現れる偽色を目立たなくしたり、画像中の色境界やエッジ部において色のメリハリを強調することなどが可能になる。また例えば、平坦領域において、彩度強調によって画像全体の印象を色鮮やかにしたり、画像中で大面積を占める平坦領域（空など）の彩度強調を弱めることで画像全体の印象を落ち着いたものにすることなども可能になる。
【００１７】
《請求項６》
請求項６の発明は、請求項５に記載の信号処理装置において、係数適正化部は、処理対象の画素を含む局所域の平坦度が高いほど、彩度を上げる方向に適正係数群を調整し、平坦度が低いほど、彩度を下げる方向に適正係数群を調整することを特徴とする。
上記構成では、平坦領域に対して選択的に彩度を上げ、かつ非平坦域（ディテール部やエッジ部など）に対して選択的に彩度を下げる。その結果、平坦領域を色鮮やかにして画像全体の印象を華やかにしつつ、非平坦領域において偽色（例えば、倍率色収差）を目立たなくすることが可能になる。
【００１８】
《請求項７》
請求項７の信号処理装置は、入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、次のような解析部、収差判定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含む局所域を設定し、局所域の複数の画素信号に基づいて、平均色情報、平坦度を算出する。
収差判定部は、下記の条件（１）（２）を全て満足するか否かを判定する。
（１）平均色情報が、緑およびマゼンダのどちらかの色相範囲に入る。
（２）平坦度が予め定められた閾値よりも低くて色境界またはエッジ部であることを示す。
係数決定部は、収差判定部において条件（１）（２）の両方を満足すると、処理対象の画素に使用する係数群に、彩度を下げる適正係数群を決定する。
一般に、これらの条件（１）（２）の両方を満足する箇所は、倍率色収差の出現箇所である可能性が高い。したがって、この箇所において選択的に彩度（彩度強調も含む）を下げることによって、画像中に現れる倍率色収差を目立ちにくくすることが可能になる。
【００１９】
《請求項８》
請求項８に記載の発明は、入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、次のような解析部、肌判定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含む局所域を設定し、局所域の複数の画素信号に基づいて、平均色情報、平均輝度情報、平坦度を算出する。
肌判定部は、下記の条件（１）〜（３）を全て満足するか否かを判定する。
（１）平均色情報が、予め定められた肌色の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、肌の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より平坦で、肌の平坦度の範囲に入る。
係数決定部は、肌判定部において条件（１）〜（３）を全て満足すると、処理対象の画素に使用する係数群に、肌色の再現性を高める適正係数群を決定する。
一般に、これらの条件（１）〜（３）を全て満足する箇所は、人物被写体の肌部分である可能性が高い。したがって、この箇所において選択的に肌色の再現性を高めることにより、緑色や青色の背景に悪影響を与えることなく、肌色の再現性の高い画像を得ることができる。
なお、肌色の再現性を高める場合には、例えば、肌色の色相範囲の彩度を選択的に上げたり、血色の良い色相（ピンク寄りや赤寄り）に変化させることが好ましい。
【００２０】
《請求項９》
請求項９に記載の発明は、入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、解析部、青空判定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含む局所域を設定し、局所域の複数の画素信号に基づいて、平均色情報、平均輝度情報、平坦度を算出する。
青空判定部は、下記の条件（１）〜（３）を全て満足するか否かを判定する。
（１）平均色情報が、予め定められた青空の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、青空の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より平坦で、青空の平坦度の範囲に入る。
係数決定部は、青空判定部において条件（１）〜（３）を全て満足すると、処理対象の画素に使用する係数群に、青空の再現性を高める適正係数群を決定する。
一般に、これらの条件（１）〜（３）を全て満足する箇所は、青空部分である可能性が高い。したがって、この箇所において選択的に青空の色再現性を高めることにより、緑色や肌色などに悪影響を与えることなく、青空の再現性の高い良好な画像を得ることができる。
なお、青空の色の再現性を高める場合には、例えば、青空の色相範囲の彩度を選択的に上げたり、青空の色相をより鮮やかな紺色寄りに変化させることが好ましい。
【００２１】
《請求項１０》
請求項１０に記載の発明は、入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、係数適正化部は、処理対象の画素を含む局所域を設定し、局所域の画素信号に基づいて、平均色情報、平均輝度情報、および平坦度の少なくとも一つを含む局所域の特徴情報（局所域特徴情報）を算出する解析部と、『局所特徴情報』と『適正係数群』との対応関係が予め設定される対応設定部と、解析部で求めた局所特徴情報に基づいて対応関係を照合し、処理対象の画素に使用する適正係数群を決定する係数決定部とを含むことを特徴とする。
【００２２】
《請求項１１》
請求項１１の信号処理プログラムは、コンピュータを、請求項１ないし請求項１０のいずれか１項に記載の色変換部および係数適正化部として機能させることを特徴とする。
この信号処理ブログラムを使用することにより、コンピュータ上において、本発明の信号処理装置を実現することが可能になる。
【００２３】
《請求項１２》
請求項１２の電子カメラは、被写体を撮像してカラーの画素信号を生成する撮像部と、請求項１ないし請求項１０のいずれか１項に記載の信号処理装置とを備える。この信号処理装置は、撮像部により生成された画素信号に対して、色変換処理を施す。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００２５】
《実施形態》
［実施形態の構成説明］
図１は、本実施形態の電子カメラ１１を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。撮像素子１３の画像出力は、Ａ／Ｄ変換部１４およびホワイトバランス調整部１５を介して処理された後、バッファ１６に画像データとして格納される。
【００２６】
このバッファ１６内の画像データは、色補間部１７、階調変換部１８、色変換部１９、ノイズ除去部２０、および輪郭強調部２１を介して処理された後、不図示の記録媒体に圧縮記録される。
さらに、電子カメラ１１には、解析部２２、係数決定部２３、および対応設定部２４が設けられる。
この解析部２２および係数決定部２３は、マイクロプロセッサなどから構成される。一方、対応設定部２４はメモリなどから構成される。
なお、請求項記載の収差判定部、肌判定部、および青空判定部は、この対応設定部２４に含まれる。
【００２７】
［実施形態の動作説明］
図２の流れ図に、電子カメラ１１が色変換処理の適正係数群を画素単位に決定する動作を示す。
以下、この図２に示すステップ順に沿って、この本発明の特徴的動作について説明する。
【００２８】
ステップＳ１： 解析部２２は、色変換の処理対象とする画素を含む局所域を設定する。解析部２２は、この局所域に該当する複数の画素信号をバッファ１６から読み出す。
図３は、この局所域の一例を示す図である。この例では、処理対象の画素（太字で示す画素）を中心に、横９画素×縦７画素の範囲を局所域に設定する。この局所域のサイズについては、画像データの縦横画素数や出力解像度や印刷サイズや表示サイズに合わせて拡大縮小することが好ましい。
なお、処理対象が画面の端近くに位置する場合、局所域の設定範囲が画像データからはみ出す。
このような場合、画面の端を対称軸にして画素折り返しを行い、局所域の空白部分を画素折り返しで埋めることが好ましい。
また、処理対象の画素もしくは近傍の値を用いて、局所域の空白部分を埋めてもよい。
【００２９】
ステップＳ２： 解析部２２は、局所域に含まれる複数の画素信号に基づいて、平均輝度情報を次のような手順で求める。
まず、解析部２２は、この局所域の複数の画素信号を色毎に加算し、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を求める。
例えば、図３［Ａ］のように、ベイヤ配列のＢ行中のＧ画素（以下『Ｇｂ』）が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。（ただし、垂直位置ｙかつ水平位置ｘの画素信号は、Ｃｙｘと表記する。例えば、Ｃ２３は局所域中心の画素信号に該当する。以下同じ）
ＴΣ（Ｒ）＝（Ｃ１１＋Ｃ１３＋Ｃ１５＋Ｃ３１＋Ｃ３３＋Ｃ３５）
ＴΣ（Ｂ）＝（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ０６＋Ｃ２０＋Ｃ２２＋Ｃ２４＋Ｃ２６＋Ｃ４０＋Ｃ４２＋Ｃ４４＋Ｃ４６）
ＴΣ（Ｇ）＝（Ｃ０１＋Ｃ０３＋Ｃ０５＋Ｃ１０＋Ｃ１２＋Ｃ１４＋Ｃ１６＋Ｃ２１＋Ｃ２３＋Ｃ２５＋Ｃ３０＋Ｃ３２＋Ｃ３４＋Ｃ３６＋Ｃ４１＋Ｃ４３＋Ｃ４５）
また例えば、図３［Ｂ］のように、ベイヤ配列のＲ行中のＧ画素（以下『Ｇｒ』）が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ（Ｒ）＝（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ０６＋Ｃ２０＋Ｃ２２＋Ｃ２４＋Ｃ２６＋Ｃ４０＋Ｃ４２＋Ｃ４４＋Ｃ４６）
ＴΣ（Ｂ）＝（Ｃ１１＋Ｃ１３＋Ｃ１５＋Ｃ３１＋Ｃ３３＋Ｃ３５）
ＴΣ（Ｇ）＝（Ｃ０１＋Ｃ０３＋Ｃ０５＋Ｃ１０＋Ｃ１２＋Ｃ１４＋Ｃ１６＋Ｃ２１＋Ｃ２３＋Ｃ２５＋Ｃ３０＋Ｃ３２＋Ｃ３４＋Ｃ３６＋Ｃ４１＋Ｃ４３＋Ｃ４５）
また例えば、図３［Ｃ］のように、ベイヤ配列のＢ画素が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ（Ｒ）＝（Ｃ１０＋Ｃ１２＋Ｃ１４＋Ｃ１６＋Ｃ３０＋Ｃ３２＋Ｃ３４＋Ｃ３６）
ＴΣ（Ｂ）＝（Ｃ０１＋Ｃ０３＋Ｃ０５＋Ｃ２１＋Ｃ２３＋Ｃ２５＋Ｃ４１＋Ｃ４３＋Ｃ４５）
ＴΣ（Ｇ）＝（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ０６＋Ｃ１１＋Ｃ１３＋Ｃ１５＋Ｃ２０＋Ｃ２２＋Ｃ２４＋Ｃ２６＋Ｃ３１＋Ｃ３３＋Ｃ３５＋Ｃ４０＋Ｃ４２＋Ｃ４４＋Ｃ４６）
また例えば、図３［Ｄ］のように、ベイヤ配列のＲ画素が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ（Ｒ）＝（Ｃ０１＋Ｃ０３＋Ｃ０５＋Ｃ２１＋Ｃ２３＋Ｃ２５＋Ｃ４１＋Ｃ４３＋Ｃ４５）
ＴΣ（Ｂ）＝（Ｃ１０＋Ｃ１２＋Ｃ１４＋Ｃ１６＋Ｃ３０＋Ｃ３２＋Ｃ３４＋Ｃ３６）
ＴΣ（Ｇ）＝（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ０６＋Ｃ１１＋Ｃ１３＋Ｃ１５＋Ｃ２０＋Ｃ２２＋Ｃ２４＋Ｃ２６＋Ｃ３１＋Ｃ３３＋Ｃ３５＋Ｃ４０＋Ｃ４２＋Ｃ４４＋Ｃ４６）
解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）の総和を画素数で割って、平均輝度情報を算出する。この場合、色毎の視覚感度の比率（例えばＲ：Ｇ：Ｂ＝３：６：１）を重みにして加重平均をとることによって、視覚感度を考慮した平均輝度情報を求めてもよい。
【００３０】
ステップＳ３： 続いて、解析部２２は、平均色情報として、局所域の平均的な色度座標を下式を用いて算出する。
（Ｒ／Ｇ，Ｂ／Ｇ）＝（ＴΣ（Ｒ）／ＴΣ（Ｇ），ＴΣ（Ｂ）／ＴΣ（Ｇ））
なお、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）は、加算画素数に応じて正規化しておくことが好ましい。
このように求めた色度座標（Ｒ／Ｇ，Ｂ／Ｇ）からは、局所域の色相（図４参照）や彩度を識別することができる。
【００３１】
ステップＳ４： さらに、解析部２２は、局所域の平坦度を次の手順で求める。
なお、ここでは説明を簡明にするため、Ｇｂ画素が局所域の中心に位置するケース（図３［Ａ］参照）について説明する。その他のケースについては、局所域の色配置を考慮して同様の計算を行えば、平坦度を求めることができる。
【００３２】
（１）垂直方向の差分ＵＤ（Ｒ），ＵＤ（Ｂ），ＵＤ（Ｇ）
ＵＤ（Ｒ）＝｜（Ｃ１１＋Ｃ１３＋Ｃ１５）−（Ｃ３１＋Ｃ３３＋Ｃ３５）｜
ＵＤ（Ｂ）＝｜（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ０６）−（Ｃ４０＋Ｃ４２＋Ｃ４４＋Ｃ４６）｜
ＵＤ（Ｇ）＝｜（Ｃ０１＋Ｃ０３＋Ｃ０５＋Ｃ１０＋Ｃ１２＋Ｃ１４＋Ｃ１６）−（Ｃ３０＋Ｃ３２＋Ｃ３４＋Ｃ３６＋Ｃ４１＋Ｃ４３＋Ｃ４５）｜
【００３３】
（２）水平方向の差分ＬＲ（Ｒ），ＬＲ（Ｂ），ＬＲ（Ｇ）
ＬＲ（Ｒ）＝｜（Ｃ１１＋Ｃ３１）−（Ｃ１５＋Ｃ３５）｜
ＬＲ（Ｂ）＝｜（Ｃ００＋Ｃ０２＋Ｃ２０＋Ｃ２２＋Ｃ４０＋Ｃ４２）−（Ｃ０４＋Ｃ０６＋Ｃ２４＋Ｃ２６＋Ｃ４４＋Ｃ４６）｜
ＬＲ（Ｇ）＝｜（Ｃ０１＋Ｃ１０＋Ｃ１２＋Ｃ２１＋Ｃ３０＋Ｃ３２＋Ｃ４１）−（Ｃ０５＋Ｃ１４＋Ｃ１６＋Ｃ２５＋Ｃ３４＋Ｃ３６＋Ｃ４５）｜
【００３４】
（３）斜め右下方向の差分ＡＮ１（Ｒ），ＡＮ１（Ｂ），ＡＮ１（Ｇ）
ＡＮ１（Ｒ）＝｜（Ｃ１１＋Ｃ１３＋Ｃ３１）−（Ｃ１５＋Ｃ３３＋Ｃ３５）｜
ＡＮ１（Ｂ）＝｜（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ２０＋Ｃ２２＋Ｃ４０）−（Ｃ０６＋Ｃ２４＋Ｃ２６＋Ｃ４２＋Ｃ４４＋Ｃ４６）｜
ＡＮ１（Ｇ）＝｜（Ｃ０１＋Ｃ０３＋Ｃ１０＋Ｃ１２＋Ｃ２１＋Ｃ３０）−（Ｃ１６＋Ｃ２５＋Ｃ３４＋Ｃ３６＋Ｃ４３＋Ｃ４５）｜
【００３５】
（４）斜め右上方向の差分ＡＮ２（Ｒ），ＡＮ２（Ｂ），ＡＮ２（Ｇ）
ＡＮ２（Ｒ）＝｜（Ｃ１３＋Ｃ１５＋Ｃ３５）−（Ｃ１１＋Ｃ３１＋Ｃ３３）｜
ＡＮ２（Ｂ）＝｜（Ｃ０２＋Ｃ０４＋Ｃ０６＋Ｃ２４＋Ｃ２６＋Ｃ４６）−（Ｃ００＋Ｃ２０＋Ｃ２２＋Ｃ４０＋Ｃ４２＋Ｃ４４）｜
ＡＮ２（Ｇ）＝｜（Ｃ０３＋Ｃ０５＋Ｃ１４＋Ｃ１６＋Ｃ２５＋Ｃ３６）−（Ｃ１０＋Ｃ２１＋Ｃ３０＋Ｃ３２＋Ｃ４１＋Ｃ４３）｜
【００３６】
（５）色毎に最大差分ＳＴＥＰ（Ｒ），ＳＴＥＰ（Ｂ），ＳＴＥＰ（Ｇ）を求める。
ＳＴＥＰ（Ｒ）＝ＭＡＸ（ＵＤ（Ｒ），ＬＲ（Ｒ），ＡＮ１（Ｒ），ＡＮ２（Ｒ））
ＳＴＥＰ（Ｂ）＝ＭＡＸ（ＵＤ（Ｂ），ＬＲ（Ｂ），ＡＮ１（Ｂ），ＡＮ２（Ｂ））
ＳＴＥＰ（Ｇ）＝ＭＡＸ（ＵＤ（Ｇ），ＬＲ（Ｇ），ＡＮ１（Ｇ），ＡＮ２（Ｇ））
【００３７】
（６）色毎の最大差分ＳＴＥＰ（Ｒ），ＳＴＥＰ（Ｂ），ＳＴＥＰ（Ｇ）の平均値を算出する。この場合、色毎の視覚感度の比率（例えばＲ：Ｇ：Ｂ＝３：６：１）を重みにして加重平均をとることによって、視覚感度を考慮した平均値を求めてもよい。
このように求めた最大差分の平均値が大きいほど、局所域の平坦度が低いと評価できる。また逆に、この最大差分の平均値が小さいほど、局所域の平坦度が高いと評価できる。
【００３８】
ステップＳ５： 係数決定部２３は、平均輝度情報、平均色情報、および平坦度を解析部２２から情報取得する。
係数決定部２３は、これらの情報を対応設定部２４に記憶される下記条件に照合し、処理対象の画素が倍率色収差の箇所か否かを判定する。
（１）平均色情報が、緑およびマゼンダのいずれかの色相範囲に入る。
（２）平坦度が予め定められた閾値よりも低くて、色境界またはエッジ部であることを示す。ここでの閾値は、倍率色収差が目立ちはじめる平坦度に設定することが好ましい。
条件（１）（２）をいずれも満足すると、係数決定部２３は、処理対象が倍率色収差の発生箇所であると判断して、ステップＳ６に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ７に動作を移行する。
【００３９】
なお、下記の条件（３）（４）を判断に加えることで、より確実に倍率色収差の発生箇所か否かを判定してもよい。
（３）画面の周辺部である
（４）撮影光学系の情報（焦点距離、収差情報など）から倍率色収差の発生可能性が高い
ステップＳ６： このステップでは、処理対象の画素が、倍率色収差の発生箇所である可能性が高い。そこで、係数決定部２３は、彩度（特に緑およびマゼンダの彩度）を下げる方向に適正係数群を調整する。このような調整により、色変換部１９は、倍率色収差の発生画素を低い彩度に変換する。その結果、倍率色収差の目立たない良好な画像データが得られる。
【００４０】
ステップＳ７： 係数決定部２３は、対応設定部２４に記憶される下記条件に照合し、処理対象の画素が肌色の箇所か否かを判定する。
（１）平均色情報が、予め定められた肌色の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、肌の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より高く、肌の平坦度の範囲に入る。
ここでの閾値は、種々の撮影結果から肌の画像データを収集し、その画像データから決定することが好ましい。
条件（１）〜（３）をいずれも満足すると、係数決定部２３は、処理対象が肌色箇所であると判断して、ステップＳ８に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ９に動作を移行する。
【００４１】
ステップＳ８： このステップでは、処理対象の画素が、肌部分である可能性が高い。そこで、係数決定部２３は、肌色の色相範囲の彩度を選択的に上げたり、肌色の色相をピンク寄りや赤寄りに変化させることにより、肌色の再現性を高める。
このような調整により、人物の顔色が良くなるなど、色変換の結果として良好な画像データを得ることができる。
【００４２】
ステップＳ９： 係数決定部２３は、対応設定部２４に記憶される下記条件に照合し、処理対象の画素が青空の箇所か否かを判定する。
（１）平均色情報が、予め定められた青空の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、青空の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より平坦で、青空の平坦度の範囲に入る。
ここでの閾値は、種々の撮影結果から青空の画像データを収集し、その画像データから決定することが好ましい。
条件（１）〜（３）をいずれも満足すると、係数決定部２３は、処理対象が青空の箇所であると判断して、ステップＳ１０に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ１１に動作を移行する。
【００４３】
ステップＳ１０： このステップでは、処理対象の画素が、青空である可能性が高い。そこで、係数決定部２３は、青空の色相範囲の彩度を選択的に上げたり、青空の色相をより鮮やかな紺色寄りに変化させることにより、青空の再現性を高める。
このような調整により、青空が色鮮やかになるなど、色変換の結果として良好な画像データを得ることができる。
【００４４】
ステップＳ１１： 係数決定部２３は、対応設定部２４に記憶される対応関係を照合することにより、平均色情報が示す局所域の平均的な色相の彩度を選択的に高める方向に、適正係数群を調整する。なお、平均色情報の彩度が所定の閾値よりも低い場合は、無彩色に近い領域と判断して、ステップＳ１１の調整をバイパスすることが好ましい。
このような調整では、局所域が一様な色相を示すほど、その色相が色鮮やかに変換される。
また、処理対象に単発的な色ノイズが含まれていても、その色ノイズが局所域の平均的な色相と異なっていて目立つものであればあるほど、彩度強調される可能性は低くなる。そのため、画素単位の色変換特性の調整によって色ノイズが目立ってしまうという従来例の弊害を顕著に改善できる。
【００４５】
ステップＳ１２： 係数決定部２３は、対応設定部２４に記憶される対応関係を照合することにより、平均輝度情報が中間階調の範囲内か否かを判定する。
この中間階調の範囲は、彩度強調の弊害の少ない階調域に設定することが好ましい。
平均輝度情報が中間階調の範囲内であれば、係数決定部２３はステップＳ１３に動作を移行する。
一方、それ以外の場合、係数決定部２３はステップＳ１４に動作を移行する。
【００４６】
ステップＳ１３： 平均輝度情報が中間階調の範囲内にある場合、係数決定部２３は、彩度を上げる方向に適正係数群を調整する。図５は、このような調整傾向の一例を示す図である。
このような調整により、中間の階調域において色のメリハリが強調されることになり、色変換の結果として良好な画像データが得られる。
このような調整の後、係数決定部２３は、ステップＳ１５に動作を移行する。
【００４７】
ステップＳ１４： 平均輝度情報が中間階調の範囲以外にある場合、係数決定部２３は、彩度を下げる方向に適正係数群を調整する。図５は、このような調整傾向の一例を示す図である。
処理対象の画素がノイズによって中間階調の範囲内に入っても、局所域全体として明部または暗部であれば、彩度を下げる方向に色変換が為される。
その結果、暗部において色ノイズが目立ったり、明部において色飽和するなどの弊害を的確に抑制することができる。
【００４８】
ステップＳ１５： 係数決定部２３は、平坦度に基づいて、対応設定部２４の対応関係を照合することにより、適正係数群を調整する。
このとき、平坦度が高いほど、彩度を上げる方向に適正係数群が調整される。
逆に、平坦度が低いほど、彩度を下げる方向に適正係数群が調整される。
図６は、このような調整傾向の一例を示す図である。
このような調整により、エッジ部や色境界において彩度を下げ、偽色の発生を的確に防止することができる。逆に、平坦な領域については彩度を上げることによって、画像全体の印象を色鮮やかにすることができる。
【００４９】
《実施形態の補足事項など》
なお、上述した実施形態は、電子カメラに信号処理装置（解析部２２，係数決定部２３，対応設定部２４，および色変換部１９）を搭載するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、他のカラー画像機器に信号処理装置を搭載してもよい。
【００５０】
また、コンピュータを、色変換部１９，係数適正化部（解析部２２、係数決定部２３、および対応設定部２４など）として機能させる信号処理プログラムを作成してもよい。この信号処理プログラムを使用することにより、コンピュータ上において画像データ（特にＲＡＷデータ）に好適な色変換処理を施すことが可能になる。
【００５１】
さらに、上述した実施形態において、対応設定部２４に予め設定する対応関係は、局所域の特徴情報（例えば平均輝度情報、平均色情報、平坦度）を照合することで『適正係数群』を決定できるものであればなんでもよい。例えば、対応関係として、局所域の特徴情報に適正係数群の選択ナンバーを対応付けて記憶したルックアップテーブルを使用してもよい。また例えば、対応関係として、特徴情報から適正係数群の補正量を算出する演算式を使用してもよい。
【００５２】
【発明の効果】
本発明では、処理対象画素を含むように設定された局所域について、平均色情報、平均輝度情報、および平坦度などを求め、このような局所域の特徴情報に基づいて、色変換の係数を決定する。
【００５３】
この場合、局所域内での平均化の過程で、特徴情報のノイズが十分に抑制される。その結果、ノイズによって予想外の色変換処理を実施するなどのおそれが少ない。
【００５４】
さらに、近接する画素間では、各設定される局所域の大半が重複するため、局所域の単位で求める特徴情報は急激に変化しない。したがって、近接する画素間において、色変換の係数が急激に変化する可能性が低い。その結果、近接する画素間において色変換の係数が急激に変化して偽の色境界や偽色が多数発生するといった弊害を適切に抑制できる。
【図面の簡単な説明】
【図１】本実施形態の電子カメラ１１を示すブロック図である。
【図２】色変換の係数マトリクスを決定する動作の流れ図である。
【図３】局所域の一例を示す図である。
【図４】色度座標の一例を示す図である。
【図５】調整傾向の一例を示す図である。
【図６】調整傾向の一例を示す図である。
【符号の説明】
１１ 電子カメラ
１２ 撮影レンズ
１３ 撮像素子
１４ Ａ／Ｄ変換部
１５ ホワイトバランス調整部
１６ バッファ
１７ 色補間部
１８ 階調変換部
１９ 色変換部
２０ ノイズ除去部
２１ 輪郭強調部
２２ 解析部
２３ 係数決定部
２４ 対応設定部
【０００１】
【発明の属する技術分野】
本発明は、電子カメラ、ビデオカメラ、スキャナ、プリンタなどのカラー画像機器に適用される色変換処理技術に関する。
【０００２】
【従来の技術】
一般に、カラー画像機器には、画素信号に対し良好な色再現性を付与するために、そのカラー画像機器に固有の入出力特性などに合わせて、色変換処理（表色系の変換などを含む場合もある）を実施する色変換回路が搭載される。
ところで、色変換回路としては、大別して、スキャナやプリンタなどに多く使用されているルックアップテーブル回路と、電子カメラやビデオカメラなどに多く使用されているマトリクス回路とがある。
【０００３】
このうち、ルックアップテーブル回路は、各色の画素信号（Ｒ，Ｇ，Ｂ）それぞれについての変換後の画素信号（Ｒ’，Ｇ’，Ｂ’）を記憶するので、線形（１次）の色変換だけでなく高次の色変換が可能である。このような色変換では、画像機器の入出力特性に応じた複雑な色変換特性が設定可能になる。
したがって、ルックアップテーブル回路によれば、画素信号に対し高い色再現性が付与され、各色の絵柄が全て適正な色で表現されることとなる。しかし、記憶すべき情報量が多い分だけ、回路規模が増大するという欠点がある。
【０００４】
一方、マトリクス回路は、各色の画素信号（Ｒ，Ｇ，Ｂ）に対し共通の変換式（通常は３×３の１次の変換マトリクス）を記憶するだけなので、線形の色変換しかできない。
したがって、マトリクス回路によると、画素信号に対しあまり高い色再現性を付与することができず、全色の絵柄を全て適正な色で表現できるとは限らない。しかし、記憶すべき情報量が少なく演算が簡便な分だけ、回路規模が低く抑えられるという利点がある。
【０００５】
因みに、マトリクス回路において、変換の次数を増加させて色変換特性を曲線状に設定することが考えられる。しかし、例えば、変換次数を１つ増やしてそのカーブを２次曲線にするだけでも、変換マトリクスが３×９の規模に増大すると共に、それに適合するベクトル（Ｒ２，Ｇ２，Ｂ２，ＲＧ，ＧＢ，ＢＲ，Ｒ，Ｇ，Ｂ）を生成する必要も生じるので、変換の全体に要す乗除算回数は、＋２４というように、著しく増大する。したがって、マトリクス回路により色変換特性を３次や４次などの高次の曲線にするには、回路規模が著しく増大するのは言うまでもない。
【０００６】
このため、従来は、例えば、特許文献１や特許文献２に開示されたマトリクス回路のように、変換次数を１に抑えたまま変換マトリクスの係数群を予め複数種用意すると共に、それら係数群を、画素信号の属する色範囲に応じて選択使用することが試みられていた。これにより、回路規模を大幅に増大させることなく、色変換特性を適正な曲線に近づけることができる。
【０００７】
【特許文献１】
特開平６−６５８７号公報
【特許文献２】
特開平５−３００３６７号公報
【０００８】
【発明が解決しようとする課題】
本願発明者は、上述した従来技術では、画素信号に含まれるノイズによって色変換処理が敏感に変動してしまい、そのノイズが目立つような色変換処理を行ってしまうという問題点に気が付いた。
【０００９】
また、上述した従来技術では、１画素単位に色変換特性を変化させているため、色変換特性が大幅に変化する箇所が画面内に多数発生する。そのため、これら多数の箇所において、色変換特性の段差が偽信号（ノイズ）になって目立つという問題も懸念される。
【００１０】
そこで、本発明は、色変換処理を画素ごとに調整するに際して、このようなノイズを改善する技術を提供することを目的とする。
【００１１】
【課題を解決するための手段】
以下、本発明について説明する。
【００１２】
《請求項１》
請求項１の信号処理装置は、入力されたカラーの画素信号に変換マトリクスを乗算して色変換処理を実行する色変換部と、この変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、次のような解析部、対応設定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含むように局所域を設定し、その局所域の複数の画素信号から、平均的な色情報（以下『平均色情報』という）を算出する。例えば、この平均化の演算処理としては、平均値、加重平均値、メディアン値、最頻度値、最大最小を除いた平均値などを求める演算が好ましい。
一方、対応設定部には、『平均色情報』と『適正係数群』との対応関係が予め設定されている。
係数決定部は、解析部で求めた平均色情報をこの対応関係に照合し、処理対象の画素に使用する適正係数群を決定する。
上記構成の主たる特徴は、処理対象の１画素の色情報ではなく、局所域の平均色情報を用いて、色変換処理（つまり適正係数群）を調整している点である。
通常、処理対象の画素にノイズが多く含まれていても、局所域の平均的な値である平均色情報は、ノイズの影響が小さい。そのため、画素信号のノイズによって色変換処理が敏感に変動し、そのノイズが相乗的に目立ってしまうといった従来例の課題を適切に改善できる。
さらに、隣接する画素については、それぞれに設定される局所域の大半が重複する。そのため、隣接する画素間において、平均色情報は大きく変化しない。このことから、隣接する画素間で色変換処理の大幅変化は起こりにくく、色変換特性の段差が偽信号（ノイズ）になって目立つという現象が改善される。
また、画像のディテール部分（髪の毛などの細かいパターン）やエッジ近傍では、局所域内に多様な色情報が含まれる。そのため、その局所域の平均色情報としては、多様な色情報の一つ一つがさほど反映されず、中庸的な色情報となる。その結果、画像のディテール部分に対して、色変換処理を急激に変化させるような動作は起こりにくく、ディテール部分の微細かつ複雑な色変化を忠実に残すことも可能になる。
【００１３】
《請求項２》
請求項２の発明は、請求項１に記載の信号処理装置において、係数適正化部は、処理対象の画素を含む局所域の平均的な色相の彩度を選択的に上げる方向に、適正係数群を調整することを特徴とする。
上記構成では、処理対象の画素に対して、局所域の平均化された色相の彩度を上げる方向に色変換処理を施す。
したがって、局所域がほぼ一様な色相を示す箇所では、その一様な色相が平均色情報により強く明確に現れる。その結果、処理対象画素の色相が色鮮やかに変換される。例えば、大きな花や、人工的に塗り分けられた看板のように、ほぼ一様な色相を示す被写体は、一段と色鮮やかに再現される。
一方、局所域に多様な色相が含まれるような箇所では、平均化の過程で多様な色相が平滑化される。そのため、細かな画素単位に色相が強調されるというおそれがなく、画像を拡大表示した際に画素単位に現れる色ノイズが彩度の強調作用によって目立つなどの弊害を防止できる。
【００１４】
《請求項３》
請求項３の信号処理装置は、入力されたカラーの画素信号に変換マトリクスを乗算することによって色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、次のような解析部、対応設定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含む局所域を設定し、局所域の複数の画素信号から、平均的な輝度情報（以下『平均輝度情報』という）を算出する。例えば、この平均化の演算処理としては、平均値、加重平均値、メディアン値、最頻度値、最大最小を除いた平均値などを求める演算が好ましい。
対応設定部には、『平均輝度情報』と『適正係数群』との対応関係が予め設定される。
係数決定部は、解析部で求めた平均輝度情報に基づいて対応関係を照合し、処理対象の画素に使用する適正係数群を決定する。
上記構成の主たる特徴は、処理対象の１画素の輝度情報ではなく、局所域の平均輝度情報を用いて、色変換処理（つまり適正係数群）を調整している点である。
通常、処理対象の画素にノイズが多く含まれていても、局所域の平均的な値である平均輝度情報は、ノイズの影響が小さい。そのため、画素信号のノイズによって色変換処理が敏感に変動し、そのノイズが相乗的に目立ってしまうといった従来例の課題を適切に改善できる。
さらに、隣接する画素については、それぞれに設定される局所域の大半が重複する。そのため、隣接する画素間において、平均輝度情報は大幅に変化しづらい。このことから、隣接する画素間で色変換処理の大幅変化は起こりにくく、色変換特性の段差が偽信号（ノイズ）になって目立つという現象が改善される。
また、画像のディテール部分（髪の毛などの細かいパターン）やエッジ近傍では、局所域内に明暗差の大きな輝度情報が含まれる。この場合の平均輝度情報は、明暗バラツキの大きな輝度情報の一つ一つを反映されず、中庸的な輝度情報となる。その結果、画像のディテール部分において、色変換処理を画素単位に変化させるような動作は起こりにくく、ディテール部分の微細かつ複雑な色変化を忠実に残すことが可能になる。
【００１５】
《請求項４》
請求項４の発明は、請求項３に記載の信号処理装置において、係数適正化部は、処理対象の画素を含む局所域の平均的な輝度が所定の中間階調の範囲内であれば、彩度を上げる方向に適正係数群を調整し、それ以外であれば、彩度を下げる方向に適正係数群を調整することを特徴とする。
上記構成では、局所域の輝度がほぼ一様で、かつ所定の中間階調の範囲内にあれば、処理対象の画素は色鮮やかに彩度調整される。その結果、輝度が中間階調に集中する低コントラストの画像に対して、色のメリハリを強調することが可能になり、インパクトの強い良好な画像が得られる。
一方、局所域の輝度が一様に中間階調の範囲以外（明部または暗部）であれば、処理対象画素の彩度は極端に強調されない。したがって、明部において画素信号の信号レベルが彩度強調によって飽和したり、暗部の色ノイズが彩度強調によって目立ってしまうなどの弊害を的確に防止できる。
なお、エッジ部などでは、平均輝度情報が中間階調の範囲にあると判定されるケースが想定される。このようなケースでは、エッジ部に過度な彩度強調がかかって色ノイズが目立ってしまう。そこで、このようなケースでは、平坦度による判断を組み合わせることによって、エッジ部における彩度強調を抑止することが好ましい。
【００１６】
《請求項５》
請求項５の信号処理装置は、入力されたカラーの画素信号に変換マトリクスを乗算することによって色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、次のような解析部、対応設定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含む局所域を設定し、局所域の複数の画素信号に基づいて画素空間上の平坦度を算出する。
対応設定部は、『平坦度』と『適正係数群』との対応関係が予め設定される。係数決定部は、解析部で求めた平坦度に基づいて対応関係を照合し、処理対象の画素に使用する適正係数群を決定する。
上記構成の主たる特徴は、処理対象の１画素の情報ではなく、局所域の平坦度を用いて、色変換処理（つまり適正係数群）を調整している点である。
通常、ノイズレベルが大きくなるほど、画素信号の空間変化がランダムに大きくなり、平坦度は低いと判断される。したがって、局所域の平坦度を尺度にすることにより、ノイズ箇所を抽出してそのノイズ箇所に合わせた色変換処理を実施することが可能になる。その結果、従来例で述べたような画素単位に色変換処理を調節する際のノイズを改善することが可能になる。
また通常、画像のディテール部分（髪の毛などの細かいパターン）やエッジ近傍では、画素信号の空間変化が大きくなるため、平坦度は低いと判断される。逆に、画像の平坦領域は、画素信号の空間変化がなだらかで、平坦度が高いと判断される。
したがって、この平坦度を尺度にして色変換特性を調整することにより、平坦領域と非平坦領域（ノイズレベルの大きな部分、ディテール部分、エッジ近傍など）それぞれに合わせて、色変換処理を調整することが可能になる。
そのため、色境界に現れる偽色を目立たなくしたり、画像中の色境界やエッジ部において色のメリハリを強調することなどが可能になる。また例えば、平坦領域において、彩度強調によって画像全体の印象を色鮮やかにしたり、画像中で大面積を占める平坦領域（空など）の彩度強調を弱めることで画像全体の印象を落ち着いたものにすることなども可能になる。
【００１７】
《請求項６》
請求項６の発明は、請求項５に記載の信号処理装置において、係数適正化部は、処理対象の画素を含む局所域の平坦度が高いほど、彩度を上げる方向に適正係数群を調整し、平坦度が低いほど、彩度を下げる方向に適正係数群を調整することを特徴とする。
上記構成では、平坦領域に対して選択的に彩度を上げ、かつ非平坦域（ディテール部やエッジ部など）に対して選択的に彩度を下げる。その結果、平坦領域を色鮮やかにして画像全体の印象を華やかにしつつ、非平坦領域において偽色（例えば、倍率色収差）を目立たなくすることが可能になる。
【００１８】
《請求項７》
請求項７の信号処理装置は、入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、次のような解析部、収差判定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含む局所域を設定し、局所域の複数の画素信号に基づいて、平均色情報、平坦度を算出する。
収差判定部は、下記の条件（１）（２）を全て満足するか否かを判定する。
（１）平均色情報が、緑およびマゼンダのどちらかの色相範囲に入る。
（２）平坦度が予め定められた閾値よりも低くて色境界またはエッジ部であることを示す。
係数決定部は、収差判定部において条件（１）（２）の両方を満足すると、処理対象の画素に使用する係数群に、彩度を下げる適正係数群を決定する。
一般に、これらの条件（１）（２）の両方を満足する箇所は、倍率色収差の出現箇所である可能性が高い。したがって、この箇所において選択的に彩度（彩度強調も含む）を下げることによって、画像中に現れる倍率色収差を目立ちにくくすることが可能になる。
【００１９】
《請求項８》
請求項８に記載の発明は、入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、次のような解析部、肌判定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含む局所域を設定し、局所域の複数の画素信号に基づいて、平均色情報、平均輝度情報、平坦度を算出する。
肌判定部は、下記の条件（１）〜（３）を全て満足するか否かを判定する。
（１）平均色情報が、予め定められた肌色の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、肌の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より平坦で、肌の平坦度の範囲に入る。
係数決定部は、肌判定部において条件（１）〜（３）を全て満足すると、処理対象の画素に使用する係数群に、肌色の再現性を高める適正係数群を決定する。
一般に、これらの条件（１）〜（３）を全て満足する箇所は、人物被写体の肌部分である可能性が高い。したがって、この箇所において選択的に肌色の再現性を高めることにより、緑色や青色の背景に悪影響を与えることなく、肌色の再現性の高い画像を得ることができる。
なお、肌色の再現性を高める場合には、例えば、肌色の色相範囲の彩度を選択的に上げたり、血色の良い色相（ピンク寄りや赤寄り）に変化させることが好ましい。
【００２０】
《請求項９》
請求項９に記載の発明は、入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備える。
特に、この係数適正化部は、解析部、青空判定部、および係数決定部を有する。
まず、この解析部は、処理対象の画素を含む局所域を設定し、局所域の複数の画素信号に基づいて、平均色情報、平均輝度情報、平坦度を算出する。
青空判定部は、下記の条件（１）〜（３）を全て満足するか否かを判定する。
（１）平均色情報が、予め定められた青空の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、青空の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より平坦で、青空の平坦度の範囲に入る。
係数決定部は、青空判定部において条件（１）〜（３）を全て満足すると、処理対象の画素に使用する係数群に、青空の再現性を高める適正係数群を決定する。
一般に、これらの条件（１）〜（３）を全て満足する箇所は、青空部分である可能性が高い。したがって、この箇所において選択的に青空の色再現性を高めることにより、緑色や肌色などに悪影響を与えることなく、青空の再現性の高い良好な画像を得ることができる。
なお、青空の色の再現性を高める場合には、例えば、青空の色相範囲の彩度を選択的に上げたり、青空の色相をより鮮やかな紺色寄りに変化させることが好ましい。
【００２１】
《請求項１０》
請求項１０に記載の発明は、入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、係数適正化部は、処理対象の画素を含む局所域を設定し、局所域の画素信号に基づいて、平均色情報、平均輝度情報、および平坦度の少なくとも一つを含む局所域の特徴情報（局所域特徴情報）を算出する解析部と、『局所特徴情報』と『適正係数群』との対応関係が予め設定される対応設定部と、解析部で求めた局所特徴情報に基づいて対応関係を照合し、処理対象の画素に使用する適正係数群を決定する係数決定部とを含むことを特徴とする。
【００２２】
《請求項１１》
請求項１１の信号処理プログラムは、コンピュータを、請求項１ないし請求項１０のいずれか１項に記載の色変換部および係数適正化部として機能させることを特徴とする。
この信号処理ブログラムを使用することにより、コンピュータ上において、本発明の信号処理装置を実現することが可能になる。
【００２３】
《請求項１２》
請求項１２の電子カメラは、被写体を撮像してカラーの画素信号を生成する撮像部と、請求項１ないし請求項１０のいずれか１項に記載の信号処理装置とを備える。この信号処理装置は、撮像部により生成された画素信号に対して、色変換処理を施す。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
【００２５】
《実施形態》
［実施形態の構成説明］
図１は、本実施形態の電子カメラ１１を示すブロック図である。
図１において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の撮像面が配置される。撮像素子１３の画像出力は、Ａ／Ｄ変換部１４およびホワイトバランス調整部１５を介して処理された後、バッファ１６に画像データとして格納される。
【００２６】
このバッファ１６内の画像データは、色補間部１７、階調変換部１８、色変換部１９、ノイズ除去部２０、および輪郭強調部２１を介して処理された後、不図示の記録媒体に圧縮記録される。
さらに、電子カメラ１１には、解析部２２、係数決定部２３、および対応設定部２４が設けられる。
この解析部２２および係数決定部２３は、マイクロプロセッサなどから構成される。一方、対応設定部２４はメモリなどから構成される。
なお、請求項記載の収差判定部、肌判定部、および青空判定部は、この対応設定部２４に含まれる。
【００２７】
［実施形態の動作説明］
図２の流れ図に、電子カメラ１１が色変換処理の適正係数群を画素単位に決定する動作を示す。
以下、この図２に示すステップ順に沿って、この本発明の特徴的動作について説明する。
【００２８】
ステップＳ１： 解析部２２は、色変換の処理対象とする画素を含む局所域を設定する。解析部２２は、この局所域に該当する複数の画素信号をバッファ１６から読み出す。
図３は、この局所域の一例を示す図である。この例では、処理対象の画素（太字で示す画素）を中心に、横９画素×縦７画素の範囲を局所域に設定する。この局所域のサイズについては、画像データの縦横画素数や出力解像度や印刷サイズや表示サイズに合わせて拡大縮小することが好ましい。
なお、処理対象が画面の端近くに位置する場合、局所域の設定範囲が画像データからはみ出す。
このような場合、画面の端を対称軸にして画素折り返しを行い、局所域の空白部分を画素折り返しで埋めることが好ましい。
また、処理対象の画素もしくは近傍の値を用いて、局所域の空白部分を埋めてもよい。
【００２９】
ステップＳ２： 解析部２２は、局所域に含まれる複数の画素信号に基づいて、平均輝度情報を次のような手順で求める。
まず、解析部２２は、この局所域の複数の画素信号を色毎に加算し、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を求める。
例えば、図３［Ａ］のように、ベイヤ配列のＢ行中のＧ画素（以下『Ｇｂ』）が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。（ただし、垂直位置ｙかつ水平位置ｘの画素信号は、Ｃｙｘと表記する。例えば、Ｃ２３は局所域中心の画素信号に該当する。以下同じ）
ＴΣ（Ｒ）＝（Ｃ１１＋Ｃ１３＋Ｃ１５＋Ｃ３１＋Ｃ３３＋Ｃ３５）
ＴΣ（Ｂ）＝（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ０６＋Ｃ２０＋Ｃ２２＋Ｃ２４＋Ｃ２６＋Ｃ４０＋Ｃ４２＋Ｃ４４＋Ｃ４６）
ＴΣ（Ｇ）＝（Ｃ０１＋Ｃ０３＋Ｃ０５＋Ｃ１０＋Ｃ１２＋Ｃ１４＋Ｃ１６＋Ｃ２１＋Ｃ２３＋Ｃ２５＋Ｃ３０＋Ｃ３２＋Ｃ３４＋Ｃ３６＋Ｃ４１＋Ｃ４３＋Ｃ４５）
また例えば、図３［Ｂ］のように、ベイヤ配列のＲ行中のＧ画素（以下『Ｇｒ』）が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ（Ｒ）＝（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ０６＋Ｃ２０＋Ｃ２２＋Ｃ２４＋Ｃ２６＋Ｃ４０＋Ｃ４２＋Ｃ４４＋Ｃ４６）
ＴΣ（Ｂ）＝（Ｃ１１＋Ｃ１３＋Ｃ１５＋Ｃ３１＋Ｃ３３＋Ｃ３５）
ＴΣ（Ｇ）＝（Ｃ０１＋Ｃ０３＋Ｃ０５＋Ｃ１０＋Ｃ１２＋Ｃ１４＋Ｃ１６＋Ｃ２１＋Ｃ２３＋Ｃ２５＋Ｃ３０＋Ｃ３２＋Ｃ３４＋Ｃ３６＋Ｃ４１＋Ｃ４３＋Ｃ４５）
また例えば、図３［Ｃ］のように、ベイヤ配列のＢ画素が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ（Ｒ）＝（Ｃ１０＋Ｃ１２＋Ｃ１４＋Ｃ１６＋Ｃ３０＋Ｃ３２＋Ｃ３４＋Ｃ３６）
ＴΣ（Ｂ）＝（Ｃ０１＋Ｃ０３＋Ｃ０５＋Ｃ２１＋Ｃ２３＋Ｃ２５＋Ｃ４１＋Ｃ４３＋Ｃ４５）
ＴΣ（Ｇ）＝（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ０６＋Ｃ１１＋Ｃ１３＋Ｃ１５＋Ｃ２０＋Ｃ２２＋Ｃ２４＋Ｃ２６＋Ｃ３１＋Ｃ３３＋Ｃ３５＋Ｃ４０＋Ｃ４２＋Ｃ４４＋Ｃ４６）
また例えば、図３［Ｄ］のように、ベイヤ配列のＲ画素が処理対象の場合、解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）を、下式によって算出する。
ＴΣ（Ｒ）＝（Ｃ０１＋Ｃ０３＋Ｃ０５＋Ｃ２１＋Ｃ２３＋Ｃ２５＋Ｃ４１＋Ｃ４３＋Ｃ４５）
ＴΣ（Ｂ）＝（Ｃ１０＋Ｃ１２＋Ｃ１４＋Ｃ１６＋Ｃ３０＋Ｃ３２＋Ｃ３４＋Ｃ３６）
ＴΣ（Ｇ）＝（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ０６＋Ｃ１１＋Ｃ１３＋Ｃ１５＋Ｃ２０＋Ｃ２２＋Ｃ２４＋Ｃ２６＋Ｃ３１＋Ｃ３３＋Ｃ３５＋Ｃ４０＋Ｃ４２＋Ｃ４４＋Ｃ４６）
解析部２２は、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）の総和を画素数で割って、平均輝度情報を算出する。この場合、色毎の視覚感度の比率（例えばＲ：Ｇ：Ｂ＝３：６：１）を重みにして加重平均をとることによって、視覚感度を考慮した平均輝度情報を求めてもよい。
【００３０】
ステップＳ３： 続いて、解析部２２は、平均色情報として、局所域の平均的な色度座標を下式を用いて算出する。
（Ｒ／Ｇ，Ｂ／Ｇ）＝（ＴΣ（Ｒ）／ＴΣ（Ｇ），ＴΣ（Ｂ）／ＴΣ（Ｇ））
なお、色毎の加算値ＴΣ（Ｒ），ＴΣ（Ｂ），ＴΣ（Ｇ）は、加算画素数に応じて正規化しておくことが好ましい。
このように求めた色度座標（Ｒ／Ｇ，Ｂ／Ｇ）からは、局所域の色相（図４参照）や彩度を識別することができる。
【００３１】
ステップＳ４： さらに、解析部２２は、局所域の平坦度を次の手順で求める。
なお、ここでは説明を簡明にするため、Ｇｂ画素が局所域の中心に位置するケース（図３［Ａ］参照）について説明する。その他のケースについては、局所域の色配置を考慮して同様の計算を行えば、平坦度を求めることができる。
【００３２】
（１）垂直方向の差分ＵＤ（Ｒ），ＵＤ（Ｂ），ＵＤ（Ｇ）
ＵＤ（Ｒ）＝｜（Ｃ１１＋Ｃ１３＋Ｃ１５）−（Ｃ３１＋Ｃ３３＋Ｃ３５）｜
ＵＤ（Ｂ）＝｜（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ０６）−（Ｃ４０＋Ｃ４２＋Ｃ４４＋Ｃ４６）｜
ＵＤ（Ｇ）＝｜（Ｃ０１＋Ｃ０３＋Ｃ０５＋Ｃ１０＋Ｃ１２＋Ｃ１４＋Ｃ１６）−（Ｃ３０＋Ｃ３２＋Ｃ３４＋Ｃ３６＋Ｃ４１＋Ｃ４３＋Ｃ４５）｜
【００３３】
（２）水平方向の差分ＬＲ（Ｒ），ＬＲ（Ｂ），ＬＲ（Ｇ）
ＬＲ（Ｒ）＝｜（Ｃ１１＋Ｃ３１）−（Ｃ１５＋Ｃ３５）｜
ＬＲ（Ｂ）＝｜（Ｃ００＋Ｃ０２＋Ｃ２０＋Ｃ２２＋Ｃ４０＋Ｃ４２）−（Ｃ０４＋Ｃ０６＋Ｃ２４＋Ｃ２６＋Ｃ４４＋Ｃ４６）｜
ＬＲ（Ｇ）＝｜（Ｃ０１＋Ｃ１０＋Ｃ１２＋Ｃ２１＋Ｃ３０＋Ｃ３２＋Ｃ４１）−（Ｃ０５＋Ｃ１４＋Ｃ１６＋Ｃ２５＋Ｃ３４＋Ｃ３６＋Ｃ４５）｜
【００３４】
（３）斜め右下方向の差分ＡＮ１（Ｒ），ＡＮ１（Ｂ），ＡＮ１（Ｇ）
ＡＮ１（Ｒ）＝｜（Ｃ１１＋Ｃ１３＋Ｃ３１）−（Ｃ１５＋Ｃ３３＋Ｃ３５）｜
ＡＮ１（Ｂ）＝｜（Ｃ００＋Ｃ０２＋Ｃ０４＋Ｃ２０＋Ｃ２２＋Ｃ４０）−（Ｃ０６＋Ｃ２４＋Ｃ２６＋Ｃ４２＋Ｃ４４＋Ｃ４６）｜
ＡＮ１（Ｇ）＝｜（Ｃ０１＋Ｃ０３＋Ｃ１０＋Ｃ１２＋Ｃ２１＋Ｃ３０）−（Ｃ１６＋Ｃ２５＋Ｃ３４＋Ｃ３６＋Ｃ４３＋Ｃ４５）｜
【００３５】
（４）斜め右上方向の差分ＡＮ２（Ｒ），ＡＮ２（Ｂ），ＡＮ２（Ｇ）
ＡＮ２（Ｒ）＝｜（Ｃ１３＋Ｃ１５＋Ｃ３５）−（Ｃ１１＋Ｃ３１＋Ｃ３３）｜
ＡＮ２（Ｂ）＝｜（Ｃ０２＋Ｃ０４＋Ｃ０６＋Ｃ２４＋Ｃ２６＋Ｃ４６）−（Ｃ００＋Ｃ２０＋Ｃ２２＋Ｃ４０＋Ｃ４２＋Ｃ４４）｜
ＡＮ２（Ｇ）＝｜（Ｃ０３＋Ｃ０５＋Ｃ１４＋Ｃ１６＋Ｃ２５＋Ｃ３６）−（Ｃ１０＋Ｃ２１＋Ｃ３０＋Ｃ３２＋Ｃ４１＋Ｃ４３）｜
【００３６】
（５）色毎に最大差分ＳＴＥＰ（Ｒ），ＳＴＥＰ（Ｂ），ＳＴＥＰ（Ｇ）を求める。
ＳＴＥＰ（Ｒ）＝ＭＡＸ（ＵＤ（Ｒ），ＬＲ（Ｒ），ＡＮ１（Ｒ），ＡＮ２（Ｒ））
ＳＴＥＰ（Ｂ）＝ＭＡＸ（ＵＤ（Ｂ），ＬＲ（Ｂ），ＡＮ１（Ｂ），ＡＮ２（Ｂ））
ＳＴＥＰ（Ｇ）＝ＭＡＸ（ＵＤ（Ｇ），ＬＲ（Ｇ），ＡＮ１（Ｇ），ＡＮ２（Ｇ））
【００３７】
（６）色毎の最大差分ＳＴＥＰ（Ｒ），ＳＴＥＰ（Ｂ），ＳＴＥＰ（Ｇ）の平均値を算出する。この場合、色毎の視覚感度の比率（例えばＲ：Ｇ：Ｂ＝３：６：１）を重みにして加重平均をとることによって、視覚感度を考慮した平均値を求めてもよい。
このように求めた最大差分の平均値が大きいほど、局所域の平坦度が低いと評価できる。また逆に、この最大差分の平均値が小さいほど、局所域の平坦度が高いと評価できる。
【００３８】
ステップＳ５： 係数決定部２３は、平均輝度情報、平均色情報、および平坦度を解析部２２から情報取得する。
係数決定部２３は、これらの情報を対応設定部２４に記憶される下記条件に照合し、処理対象の画素が倍率色収差の箇所か否かを判定する。
（１）平均色情報が、緑およびマゼンダのいずれかの色相範囲に入る。
（２）平坦度が予め定められた閾値よりも低くて、色境界またはエッジ部であることを示す。ここでの閾値は、倍率色収差が目立ちはじめる平坦度に設定することが好ましい。
条件（１）（２）をいずれも満足すると、係数決定部２３は、処理対象が倍率色収差の発生箇所であると判断して、ステップＳ６に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ７に動作を移行する。
【００３９】
なお、下記の条件（３）（４）を判断に加えることで、より確実に倍率色収差の発生箇所か否かを判定してもよい。
（３）画面の周辺部である
（４）撮影光学系の情報（焦点距離、収差情報など）から倍率色収差の発生可能性が高い
ステップＳ６： このステップでは、処理対象の画素が、倍率色収差の発生箇所である可能性が高い。そこで、係数決定部２３は、彩度（特に緑およびマゼンダの彩度）を下げる方向に適正係数群を調整する。このような調整により、色変換部１９は、倍率色収差の発生画素を低い彩度に変換する。その結果、倍率色収差の目立たない良好な画像データが得られる。
【００４０】
ステップＳ７： 係数決定部２３は、対応設定部２４に記憶される下記条件に照合し、処理対象の画素が肌色の箇所か否かを判定する。
（１）平均色情報が、予め定められた肌色の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、肌の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より高く、肌の平坦度の範囲に入る。
ここでの閾値は、種々の撮影結果から肌の画像データを収集し、その画像データから決定することが好ましい。
条件（１）〜（３）をいずれも満足すると、係数決定部２３は、処理対象が肌色箇所であると判断して、ステップＳ８に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ９に動作を移行する。
【００４１】
ステップＳ８： このステップでは、処理対象の画素が、肌部分である可能性が高い。そこで、係数決定部２３は、肌色の色相範囲の彩度を選択的に上げたり、肌色の色相をピンク寄りや赤寄りに変化させることにより、肌色の再現性を高める。
このような調整により、人物の顔色が良くなるなど、色変換の結果として良好な画像データを得ることができる。
【００４２】
ステップＳ９： 係数決定部２３は、対応設定部２４に記憶される下記条件に照合し、処理対象の画素が青空の箇所か否かを判定する。
（１）平均色情報が、予め定められた青空の色相範囲に入る。
（２）平均輝度情報が、予め定められた閾値より明るくて、青空の輝度範囲に入る。
（３）平坦度が、予め定められた閾値より平坦で、青空の平坦度の範囲に入る。
ここでの閾値は、種々の撮影結果から青空の画像データを収集し、その画像データから決定することが好ましい。
条件（１）〜（３）をいずれも満足すると、係数決定部２３は、処理対象が青空の箇所であると判断して、ステップＳ１０に動作を移行する。
それ以外の場合、係数決定部２３は、ステップＳ１１に動作を移行する。
【００４３】
ステップＳ１０： このステップでは、処理対象の画素が、青空である可能性が高い。そこで、係数決定部２３は、青空の色相範囲の彩度を選択的に上げたり、青空の色相をより鮮やかな紺色寄りに変化させることにより、青空の再現性を高める。
このような調整により、青空が色鮮やかになるなど、色変換の結果として良好な画像データを得ることができる。
【００４４】
ステップＳ１１： 係数決定部２３は、対応設定部２４に記憶される対応関係を照合することにより、平均色情報が示す局所域の平均的な色相の彩度を選択的に高める方向に、適正係数群を調整する。なお、平均色情報の彩度が所定の閾値よりも低い場合は、無彩色に近い領域と判断して、ステップＳ１１の調整をバイパスすることが好ましい。
このような調整では、局所域が一様な色相を示すほど、その色相が色鮮やかに変換される。
また、処理対象に単発的な色ノイズが含まれていても、その色ノイズが局所域の平均的な色相と異なっていて目立つものであればあるほど、彩度強調される可能性は低くなる。そのため、画素単位の色変換特性の調整によって色ノイズが目立ってしまうという従来例の弊害を顕著に改善できる。
【００４５】
ステップＳ１２： 係数決定部２３は、対応設定部２４に記憶される対応関係を照合することにより、平均輝度情報が中間階調の範囲内か否かを判定する。
この中間階調の範囲は、彩度強調の弊害の少ない階調域に設定することが好ましい。
平均輝度情報が中間階調の範囲内であれば、係数決定部２３はステップＳ１３に動作を移行する。
一方、それ以外の場合、係数決定部２３はステップＳ１４に動作を移行する。
【００４６】
ステップＳ１３： 平均輝度情報が中間階調の範囲内にある場合、係数決定部２３は、彩度を上げる方向に適正係数群を調整する。図５は、このような調整傾向の一例を示す図である。
このような調整により、中間の階調域において色のメリハリが強調されることになり、色変換の結果として良好な画像データが得られる。
このような調整の後、係数決定部２３は、ステップＳ１５に動作を移行する。
【００４７】
ステップＳ１４： 平均輝度情報が中間階調の範囲以外にある場合、係数決定部２３は、彩度を下げる方向に適正係数群を調整する。図５は、このような調整傾向の一例を示す図である。
処理対象の画素がノイズによって中間階調の範囲内に入っても、局所域全体として明部または暗部であれば、彩度を下げる方向に色変換が為される。
その結果、暗部において色ノイズが目立ったり、明部において色飽和するなどの弊害を的確に抑制することができる。
【００４８】
ステップＳ１５： 係数決定部２３は、平坦度に基づいて、対応設定部２４の対応関係を照合することにより、適正係数群を調整する。
このとき、平坦度が高いほど、彩度を上げる方向に適正係数群が調整される。
逆に、平坦度が低いほど、彩度を下げる方向に適正係数群が調整される。
図６は、このような調整傾向の一例を示す図である。
このような調整により、エッジ部や色境界において彩度を下げ、偽色の発生を的確に防止することができる。逆に、平坦な領域については彩度を上げることによって、画像全体の印象を色鮮やかにすることができる。
【００４９】
《実施形態の補足事項など》
なお、上述した実施形態は、電子カメラに信号処理装置（解析部２２，係数決定部２３，対応設定部２４，および色変換部１９）を搭載するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、他のカラー画像機器に信号処理装置を搭載してもよい。
【００５０】
また、コンピュータを、色変換部１９，係数適正化部（解析部２２、係数決定部２３、および対応設定部２４など）として機能させる信号処理プログラムを作成してもよい。この信号処理プログラムを使用することにより、コンピュータ上において画像データ（特にＲＡＷデータ）に好適な色変換処理を施すことが可能になる。
【００５１】
さらに、上述した実施形態において、対応設定部２４に予め設定する対応関係は、局所域の特徴情報（例えば平均輝度情報、平均色情報、平坦度）を照合することで『適正係数群』を決定できるものであればなんでもよい。例えば、対応関係として、局所域の特徴情報に適正係数群の選択ナンバーを対応付けて記憶したルックアップテーブルを使用してもよい。また例えば、対応関係として、特徴情報から適正係数群の補正量を算出する演算式を使用してもよい。
【００５２】
【発明の効果】
本発明では、処理対象画素を含むように設定された局所域について、平均色情報、平均輝度情報、および平坦度などを求め、このような局所域の特徴情報に基づいて、色変換の係数を決定する。
【００５３】
この場合、局所域内での平均化の過程で、特徴情報のノイズが十分に抑制される。その結果、ノイズによって予想外の色変換処理を実施するなどのおそれが少ない。
【００５４】
さらに、近接する画素間では、各設定される局所域の大半が重複するため、局所域の単位で求める特徴情報は急激に変化しない。したがって、近接する画素間において、色変換の係数が急激に変化する可能性が低い。その結果、近接する画素間において色変換の係数が急激に変化して偽の色境界や偽色が多数発生するといった弊害を適切に抑制できる。
【図面の簡単な説明】
【図１】本実施形態の電子カメラ１１を示すブロック図である。
【図２】色変換の係数マトリクスを決定する動作の流れ図である。
【図３】局所域の一例を示す図である。
【図４】色度座標の一例を示す図である。
【図５】調整傾向の一例を示す図である。
【図６】調整傾向の一例を示す図である。
【符号の説明】
１１ 電子カメラ
１２ 撮影レンズ
１３ 撮像素子
１４ Ａ／Ｄ変換部
１５ ホワイトバランス調整部
１６ バッファ
１７ 色補間部
１８ 階調変換部
１９ 色変換部
２０ ノイズ除去部
２１ 輪郭強調部
２２ 解析部
２３ 係数決定部
２４ 対応設定部
【特許請求の範囲】
【請求項１】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号を処理して平均的な色情報（以下『平均色情報』という）を求める解析部と、
『前記平均色情報』と『前記適正係数群』との対応関係が予め設定される対応設定部と、
前記解析部で求めた前記平均色情報に基づいて前記対応関係を照合し、前記処理対象の画素に使用する前記適正係数群を決定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項２】
請求項１に記載の信号処理装置において、
前記係数適正化部は、前記処理対象の画素を含む前記局所域の平均的な色相の彩度を選択的に上げる方向に、前記処理対象の画素に使用する前記適正係数群を調整することを特徴とする信号処理装置。
【請求項３】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号を処理して平均的な輝度情報（以下『平均輝度情報』という）を求める解析部と、
『前記平均輝度情報』と『前記適正係数群』との対応関係が予め設定される対応設定部と、
前記解析部で求めた前記平均輝度情報に基づいて前記対応関係を照合し、前記処理対象の画素に使用する前記適正係数群を決定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項４】
請求項３に記載の信号処理装置において、
前記係数適正化部は、
前記処理対象の画素を含む前記局所域の平均的な輝度が所定の中間階調の範囲内であれば、彩度を上げる方向に前記適正係数群を調整し、それ以外であれば、彩度を下げる方向に前記適正係数群を調整することを特徴とする信号処理装置。
【請求項５】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号を処理して画素空間上の平坦度を求める解析部と、
『前記平坦度』と『前記適正係数群』との対応関係が予め設定される対応設定部と、
前記解析部で求めた前記平坦度に基づいて前記対応関係を照合し、前記処理対象の画素に使用する前記適正係数群を決定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項６】
請求項５に記載の信号処理装置において、
前記係数適正化部は、前記処理対象の画素を含む前記局所域の平坦度が高いほど、彩度を上げる方向に前記適正係数群を調整し、平坦度が低いほど、彩度を下げる方向に前記適正係数群を調整することを特徴とする信号処理装置。
【請求項７】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、および平坦度を算出する解析部と、
（１）前記平均色情報が、緑およびマゼンダのどちらかの色相範囲に入り、
（２）かつ平坦度が、予め定められた閾値よりも低く、色境界またはエッジ部であることを示すという条件を満足するか否かを判定する収差判定部と、
前記収差判定部において前記条件を満足すると、前記処理対象の画素に使用する前記係数群に、彩度を下げる前記適正係数群を設定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項８】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、平均輝度情報、および平坦度を算出する解析部と、
（１）前記平均色情報が、予め定められた肌色の色相範囲に入り、
（２）かつ平均輝度情報が、予め定められた閾値より明るくて、肌の輝度範囲に入り、
（３）かつ平坦度が、予め定められた閾値より平坦で、肌の平坦度の範囲に入るという条件を満足するか否かを判定する肌判定部と、
前記肌判定部において前記条件を満足すると、前記処理対象の画素に使用する前記係数群に、肌色の再現性を高める前記適正係数群を設定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項９】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、平均輝度情報、および平坦度を算出する解析部と、
（１）前記平均色情報が、予め定められた青空の色相範囲に入り、
（２）かつ平均輝度情報が、予め定められた閾値より明るくて、青空の輝度範囲に入り、
（３）かつ平坦度が、予め定められた閾値より平坦で、青空の平坦度の範囲に入るという条件を満足するか否かを判定する青空判定部と、
前記青空判定部において前記条件を満足すると、前記処理対象の画素に使用する前記係数群に、青空の再現性を高める前記適正係数群を設定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項１０】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、平均輝度情報、および平坦度の少なくとも一つを含む局所域の特徴情報（以下『局所特徴情報』という）を算出する解析部と、
『前記局所特徴情報』と『前記適正係数群』との対応関係が予め設定される対応設定部と、
前記解析部で求めた前記局所特徴情報に基づいて前記対応関係を照合し、前記処理対象の画素に使用する前記適正係数群を決定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項１１】
請求項１ないし請求項１０のいずれか１項に記載の前記色変換部、および前記係数適正化部として、コンピュータを機能させるための信号処理プログラム。
【請求項１２】
被写体を撮像して、カラーの画素信号を生成する撮像部と、
請求項１ないし請求項１０のいずれか１項に記載の信号処理装置とを備え、
前記信号処理装置は、前記撮像部により生成された前記画素信号に対して、前記色変換処理を施すことを特徴とする電子カメラ。
【請求項１】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号を処理して平均的な色情報（以下『平均色情報』という）を求める解析部と、
『前記平均色情報』と『前記適正係数群』との対応関係が予め設定される対応設定部と、
前記解析部で求めた前記平均色情報に基づいて前記対応関係を照合し、前記処理対象の画素に使用する前記適正係数群を決定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項２】
請求項１に記載の信号処理装置において、
前記係数適正化部は、前記処理対象の画素を含む前記局所域の平均的な色相の彩度を選択的に上げる方向に、前記処理対象の画素に使用する前記適正係数群を調整することを特徴とする信号処理装置。
【請求項３】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号を処理して平均的な輝度情報（以下『平均輝度情報』という）を求める解析部と、
『前記平均輝度情報』と『前記適正係数群』との対応関係が予め設定される対応設定部と、
前記解析部で求めた前記平均輝度情報に基づいて前記対応関係を照合し、前記処理対象の画素に使用する前記適正係数群を決定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項４】
請求項３に記載の信号処理装置において、
前記係数適正化部は、
前記処理対象の画素を含む前記局所域の平均的な輝度が所定の中間階調の範囲内であれば、彩度を上げる方向に前記適正係数群を調整し、それ以外であれば、彩度を下げる方向に前記適正係数群を調整することを特徴とする信号処理装置。
【請求項５】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号を処理して画素空間上の平坦度を求める解析部と、
『前記平坦度』と『前記適正係数群』との対応関係が予め設定される対応設定部と、
前記解析部で求めた前記平坦度に基づいて前記対応関係を照合し、前記処理対象の画素に使用する前記適正係数群を決定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項６】
請求項５に記載の信号処理装置において、
前記係数適正化部は、前記処理対象の画素を含む前記局所域の平坦度が高いほど、彩度を上げる方向に前記適正係数群を調整し、平坦度が低いほど、彩度を下げる方向に前記適正係数群を調整することを特徴とする信号処理装置。
【請求項７】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、および平坦度を算出する解析部と、
（１）前記平均色情報が、緑およびマゼンダのどちらかの色相範囲に入り、
（２）かつ平坦度が、予め定められた閾値よりも低く、色境界またはエッジ部であることを示すという条件を満足するか否かを判定する収差判定部と、
前記収差判定部において前記条件を満足すると、前記処理対象の画素に使用する前記係数群に、彩度を下げる前記適正係数群を設定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項８】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、平均輝度情報、および平坦度を算出する解析部と、
（１）前記平均色情報が、予め定められた肌色の色相範囲に入り、
（２）かつ平均輝度情報が、予め定められた閾値より明るくて、肌の輝度範囲に入り、
（３）かつ平坦度が、予め定められた閾値より平坦で、肌の平坦度の範囲に入るという条件を満足するか否かを判定する肌判定部と、
前記肌判定部において前記条件を満足すると、前記処理対象の画素に使用する前記係数群に、肌色の再現性を高める前記適正係数群を設定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項９】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、平均輝度情報、および平坦度を算出する解析部と、
（１）前記平均色情報が、予め定められた青空の色相範囲に入り、
（２）かつ平均輝度情報が、予め定められた閾値より明るくて、青空の輝度範囲に入り、
（３）かつ平坦度が、予め定められた閾値より平坦で、青空の平坦度の範囲に入るという条件を満足するか否かを判定する青空判定部と、
前記青空判定部において前記条件を満足すると、前記処理対象の画素に使用する前記係数群に、青空の再現性を高める前記適正係数群を設定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項１０】
入力されたカラーの画素信号に変換マトリクスを乗算することにより、色変換処理を実施する色変換部と、
前記変換マトリクスの係数群に適正係数群を設定する係数適正化部とを備え、
前記係数適正化部は、
処理対象の画素を含む局所域を設定し、前記局所域の複数の前記画素信号に基づいて、平均色情報、平均輝度情報、および平坦度の少なくとも一つを含む局所域の特徴情報（以下『局所特徴情報』という）を算出する解析部と、
『前記局所特徴情報』と『前記適正係数群』との対応関係が予め設定される対応設定部と、
前記解析部で求めた前記局所特徴情報に基づいて前記対応関係を照合し、前記処理対象の画素に使用する前記適正係数群を決定する係数決定部とを含むことを特徴とする信号処理装置。
【請求項１１】
請求項１ないし請求項１０のいずれか１項に記載の前記色変換部、および前記係数適正化部として、コンピュータを機能させるための信号処理プログラム。
【請求項１２】
被写体を撮像して、カラーの画素信号を生成する撮像部と、
請求項１ないし請求項１０のいずれか１項に記載の信号処理装置とを備え、
前記信号処理装置は、前記撮像部により生成された前記画素信号に対して、前記色変換処理を施すことを特徴とする電子カメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００５−２５４４８（Ｐ２００５−２５４４８Ａ）
【公開日】平成１７年１月２７日（２００５．１．２７）
【国際特許分類】
【出願番号】特願２００３−１８９５２０（Ｐ２００３−１８９５２０）
【出願日】平成１５年７月１日（２００３．７．１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成１７年１月２７日（２００５．１．２７）
【国際特許分類】
【出願日】平成１５年７月１日（２００３．７．１）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]