画像処理装置および撮像装置
【課題】信号レベルに依存するノイズ成分をより効果的に低減する。
【解決手段】画像処理装置は、複数の色成分からなる原画像信号Iに施すノイズ低減処理の用に供するノイズ低減処理パラメータT1,T2を設定し(3004)、原画像信号I中の各色成分間の相関係数rを演算し(3006)、この相関係数rに基づきノイズ低減処理パラメータT1,T2を補正し(3007)、補正されたノイズ低減処理パラメータT1,T2を用いて原画像信号I中のノイズを低減する(3002)。ノイズ低減処理パラメータT1,T2の補正では、色成分間の相関係数rに対して負の相関を持つ補正係数Cを算出し、ノイズ低減処理パラメータT1,T2にこの補正係数Cを掛けてノイズ低減処理パラメータT1,T2を補正する。
【解決手段】画像処理装置は、複数の色成分からなる原画像信号Iに施すノイズ低減処理の用に供するノイズ低減処理パラメータT1,T2を設定し(3004)、原画像信号I中の各色成分間の相関係数rを演算し(3006)、この相関係数rに基づきノイズ低減処理パラメータT1,T2を補正し(3007)、補正されたノイズ低減処理パラメータT1,T2を用いて原画像信号I中のノイズを低減する(3002)。ノイズ低減処理パラメータT1,T2の補正では、色成分間の相関係数rに対して負の相関を持つ補正係数Cを算出し、ノイズ低減処理パラメータT1,T2にこの補正係数Cを掛けてノイズ低減処理パラメータT1,T2を補正する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号に含まれるノイズの低減、特に信号レベルに依存するノイズの低減に関する。
【背景技術】
【０００２】
特許文献１では、輝度ノイズ量Nと濃度値に変換した信号レベルDの関係を、N=abcDにより関数化している。a、b、cは定数項であり、静的に与えられる。しかしながら、輝度ノイズ量は、撮影時の温度、露光時間、ゲインなどの要因により動的に変化するため、静的な定数項を用いるこの方法では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣っていた。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングは画像上の平坦部、エッジ部を区別することなく同等に処理するため、信号レベルからノイズ量が大と推定された領域にあるエッジ部が劣化してしまい、原信号の保存性が低かった。さらに、各色信号間に発生する色ノイズに関しては対応できない。
【０００３】
また、特許文献２では、入力信号を輝度信号と色差信号とに分離し、これらの信号に基づきエッジ強度を求め、エッジ部以外の平坦な領域で色差信号に平滑化処理を行っており、この平滑化処理は信号レベルにかかわらず固定的に行われる。しかしながら、色ノイズ量は信号レベルにより異なるため、平滑化処理を最適に制御することができず、色ノイズ成分の残存や原信号の劣化などが発生してしまう可能性がある。
【０００４】
そこで出願人は、ノイズモデルに基づくノイズコアリング処理において、色相の類似度を求め、領域に分割し、領域別にノイズモデルを適用する手法を提案している（特許文献３）。さらに、ノイズモデルに基づくノイズコアリング処理において、輝度レベルを推定するために注目画素とその周辺の平均値を用いてノイズモデルに基づくコアリングの閾値を求め、さらに、閾値内に属する画素の類似度に応じて、再度画像のセグメンテーションを行い、領域別にノイズモデルを適用する手法を提案している（特許文献４）。
【特許文献１】特開２００１−１５７０５７公報
【特許文献２】特開２００１−１７５８４３公報
【特許文献３】特開２００６−０２３９５９公報
【特許文献４】特開２００６−１０１００６公報
【非特許文献１】Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher, Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection, International Journal of Computer Vision, Volume 67, Issue 1 (April 2006) Pages: 111 - 136 Year of Publication: 2006
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の平均値を求める方法であると、特にノイズのエネルギーが大きい画像においては、そのノイズ量除いた値を平均値フィルタで除くために大きなカーネルのフィルタが必要となる。この場合、副作用として、エッジ部近辺において、近傍の画素レベルの影響によって正しい推定値が得られず、ノイズモデルを正しく適用することができない場合がある。また、ノイズモデルの類似度に応じたセグメンテーションにおいても、画像の構造要素を考慮していないので、エッジ部付近での挙動が期待通りの効果を示さない場合がある。
【０００６】
本発明は、このような従来技術の技術的課題を鑑みてなされたもので、信号レベルに依存するノイズ成分をより効果的に低減し、高画質なノイズ低減処理を行えるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、複数の色成分からなる原画像信号に施すノイズ低減処理の用に供するノイズ低減処理パラメータを設定するパラメータ設定手段と、前記原画像信号中の各色成分間の相関係数を演算する相関演算処理手段と、前記相関係数に基づき、前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、前記補正されたノイズ低減処理パラメータを用いて前記原画像信号中のノイズを低減するノイズ低減手段と、を備え、前記パラメータ補正手段は、前記色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置が提供される。
【０００８】
また、本発明の第２の態様によれば、色フィルタアレイを前面に配置した撮像素子と、前記撮像素子から得られた複数の色成分からなる原画像信号に施すノイズ低減処理の用に供するノイズ低減処理パラメータを設定するパラメータ設定手段と、前記原画像信号中の各色成分間の相関係数を演算する相関演算処理手段と、前記相関係数に基づき、前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、前記補正されたノイズ低減処理パラメータを用いて前記原画像信号中のノイズを低減するノイズ低減手段と、を備え、前記パラメータ補正手段は、前記色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置が提供される。
【発明の効果】
【０００９】
これらの態様によれば、色成分間の相関に応じてノイズ低減処理パラメータを補正するようにしたことにより、画像信号に含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１１】
＜第１の実施形態＞
図１は本発明の第1の実施形態に係る撮像装置のシステム構成図である。図１において、実線はデータ信号線、破線は制御信号線を表しており、各々の処理部は、システムコントローラー1000で制御される。
【００１２】
原画像は、レンズ1001を通してCCD、CMOS等の固体撮像素子1002で電気信号に変換され、撮像信号処理部1003においてCDS(Correlated Double Sampling)/差動サンプリング、アナログゲインの調整等が行われる。その後、A/D変換部1004でデジタル信号に変換され、デジタル信号処理部1005で所定の階調の画像信号（原画像信号I）に変換される。第１の実施形態においては、固体撮像素子1002はモノクロ用撮像素子、原画像信号Iはモノクロ信号である。
【００１３】
成分分離部3001では、原画像信号Iを第１成分Uと第２成分Vに分離する。第１成分Uは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号Iの骨格成分（幾何学的画像構造）であり、第２成分Vは、テクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分である。原画像信号Iがモノクロ信号であるので、原画像信号Iから分離される各成分U、Vはいずれも輝度成分となる。
【００１４】
なお、ここでは、説明を簡単にするために、原画像信号Iを２成分に分離する場合について説明するが、３成分以上に分離することも可能である。また、成分分離の方法には加算型分離と乗算型分離があり、その詳細については後述する。
【００１５】
ノイズ低減処理パラメータ設定部3004では、図２に示す信号レベル−ノイズ分散モデルまたはその近似データを参照して第１成分Uの信号レベルに対応するノイズの分散σ（ノイズ量）を取得する。第１成分Uは原画像信号Iの骨格成分であるので、第１成分Uの信号レベルから得られるノイズの分散σは、原画像信号Iに含まれていたノイズの分散σにほぼ等しい。そして、ノイズの分散σに応じたノイズ低減処理パラメータT1、T2を設定し、ノイズ低減処理部3002に伝送する。
【００１６】
ノイズ低減処理パラメータT1、T2は、例えば、次式(1)：
【００１７】
【数１】
【００１８】
により、それぞれノイズの分散σに比例する値に設定される。kは係数で、例えば1/2である。信号レベル−ノイズ分散モデルの詳細については後述する。
【００１９】
ノイズ低減処理部3002では、第２成分Vに対してノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理（コアリング処理）を行う。第２成分Vは原画像信号Iに含まれていたノイズと同等のノイズを含むので、この処理によれば、第２成分Vに含まれるノイズを効果的に低減することができる。そして、得られた値を補正第２成分V'として成分合成処理部3005に伝送する。軟判定閾値処理の詳細については後述する。
【００２０】
成分合成処理部3005では、第１成分Uと補正第２成分V'を所定の比率、例えば1:1の比率で合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。合成成分I'は、LCD等の表示素子2001に伝送されるとともに、圧縮回路2002を介して、フラッシュメモリ等で構成される記憶メディア2003に伝送される。
【００２１】
図３は、成分分離部3001から成分合成処理部3005までの処理に対応するフローチャートである。図中参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【００２２】
ステップＳ１１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【００２３】
ステップＳ１２では、第１成分Uの信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得する。そして、ノイズ低減処理パラメータT1、T2をノイズの分散σに応じて設定する。
【００２４】
ステップＳ１３では、第２成分Vに対してノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、第２成分Vに含まれているノイズを低減し、補正第２成分V'を得る。
【００２５】
ステップＳ１４では、第１成分Uと補正第２成分V'を合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【００２６】
続いて、成分分離部3001において行う原画像信号Iの成分分離の詳細について説明する。原画像信号Iから第１成分Uを抽出するとき、その基準として、平坦成分（緩やかに変化する成分）やエッジ成分を含む原画像信号Iの骨格成分が保持されるような処理を用いる。成分分離の手法には、上記の通り、加算型分離と乗算型分離があり、以下各手法について順に説明する。
【００２７】
加算型分離
加算型分離では、原画像信号Iが次式(2)で示すように、第１成分Uと第２成分Vの和として表される。
【００２８】
【数２】
【００２９】
ここでは、まず、有界変動関数とノルムを用いた分離方法を説明する。
【００３０】
分離を行うために、非特許文献１に記載のA2BC変分モデル(Aujol-Aubert-Blanc-Feraud-Chambolle model)を用いる。
【００３１】
最適解として求められる第１成分Uの性質としては、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、第１成分Uのエネルギーは次式(3)のTV(Total Variation)ノルムJ(U)で定義される。
【００３２】
【数３】
【００３３】
一方、式(2)中の第２成分Vの関数空間は振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって次式(4)のように表現された関数の空間であり、そのエネルギーは次式(5)のGノルム‖V‖Gとして定義される。
【００３４】
【数４】
【００３５】
【数５】
【００３６】
原画像信号Iの分離問題は、エネルギー汎関数を最小化する次式(6)の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。
【００３７】
【数６】
【００３８】
これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けるが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
【００３９】
その他の加算型分離方法の例としては、線形フィルタによる低域分離、メジアンフィルタ、モホロジフィルタ等による適応的平滑化を行うようにしてもよい。以下、有界変動関数によらない加算型分離の方法の例を示す。
【００４０】
例１：第１成分Uを原画像信号Iに対する直交基底展開の低次の成分とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例２：第１成分Uを原画像信号Iにメジアンフィルタ処理した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例３：第１成分Uを原画像信号Iに多値モホロジフィルタを掛けた結果とし、第２成分Vを原画像信号Ｉに対する第１成分Uの残差とする方法
例４： 第１成分Uを原画像信号Iに縮小処理を施し、さらに拡大処理を施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例５：第１成分Uを原画像信号IにBilateral Filterを施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
乗算型分離
続いて乗算型分離の方法について説明する。乗算型分離では、原画像信号Iが第１成分Uと第２成分Vの積によって表されるが、原画像信号Iを対数変換して対数原画像信号fとすると、次式(7)のように加算型分離問題に変換することができる。
【００４１】
【数７】
【００４２】
ここでは、前述と同様に有界変動関数とノルムを用いた分離方法を説明する。乗算型分離問題は対数領域において加算型分離と同様にA2BC変分モデルを用いて解くことができる。以下では、乗算型分離を前提として、対数領域におけるA2BC変分モデルについて簡単に述べる。
【００４３】
式(7)中の対数第１成分uの関数空間は、前述の加算型分離モデルの第１成分Uと同様に不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、対数第１成分uのエネルギーは次式(8)のTV(Total Variation)ノルムJ(u)で定義される。
【００４４】
【数８】
【００４５】
一方、式(7)中の対数第２成分vの関数空間は、振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式(9)のように表現された関数の空間であり、そのエネルギーは式(10)のGノルム‖v‖Gとして定義される。
【００４６】
【数９】
【００４７】
【数１０】
【００４８】
したがって、対数原画像信号fの分離問題は、エネルギー汎関数を最小化する次式(11)の変分問題として定式化される。
【００４９】
【数１１】
【００５０】
これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けているが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
【００５１】
続いて、ノイズ低減処理パラメータ設定部3004で参照する信号レベル−ノイズ分散モデルについて説明する。
【００５２】
原画像信号Iに含まれるノイズをガウスノイズとすると、ノイズの分散σ（ノイズ量）は、A/D変換直後の信号レベルL0に対して２次曲線的に増加する。これを特開2005-175718公報に開示されているように信号レベル−ノイズ分散モデルを２次関数で表すと、次式(12)が得られる。
【００５３】
【数１２】
【００５４】
ここで、α、β、γは定数項である。しかしながら、ノイズの分散σは信号レベルだけではなく、素子の温度やゲインによっても変化する。図４は、一例として、ある温度tにおけるゲインに関連する３種類のISO感度（ゲイン）100、200、400に対するノイズの分散σをプロットしている。個々の曲線は式(12)に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形で信号レベル−ノイズ分散モデルの定式化を行うと、
【００５５】
【数１３】
【００５６】
となる。ここで、αgt、βgt、γgtは温度t、ゲインgに応じて決まる定数項である。フルカラーの場合、このノイズモデルは各色独立に適用することができる。
【００５７】
しかしながら、第１の実施形態では、デジタル信号処理部1005の後段で成分分離、ノイズ低減処理を行うので、上記モデルをそのまま用いることはできない。そこで、上記信号レベル−ノイズ分散モデルの特性に加え、デジタル信号処理部1005の特性を考慮し、デジタル信号処理後の信号レベルについて信号レベル−ノイズ分散モデルを得る。
【００５８】
例えば、デジタル信号処理部1005が、12bitの入力信号を8bit出力信号に階調変換するKnee処理又はγ変換である場合、デジタル信号処理部1005は図５の様な入出力信号特性を有している。図中、L(12)はA/D変換直後の信号レベル、L(8)はデジタル信号処理後の信号レベルを表す。
【００５９】
したがって、式(12)あるいは(13)のA/D変換直後の信号レベル−ノイズ分散の特性と、図５の様なデジタル信号処理部1005の特性を考慮すると、デジタル信号処理後の信号レベルY(8)とノイズの分散σは、図２に示した単峰の曲線の関係（信号レベル−ノイズ分散モデル）となる。
【００６０】
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定している。なお、簡略化のために、図２に代えて、図２を折れ線で近似したデータを参照するようにしてもよい。
【００６１】
続いて、ノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理について説明する。
【００６２】
原画像信号Iから分離された第２成分Vは上記の通りノイズを含むので、ノイズ低減処理部3002では、以下に説明する軟判定閾値処理（コアリング処理）により第２成分Vに含まれるノイズを低減する。
【００６３】
軟判定閾値処理は、基準値をB、上限閾値をC1=B+T1 (T1>0)、下限閾値をC2=B+T2 (T2<0)とし、処理前の信号値Aと処理後の信号値Dの関係が次式(14)で表される信号処理である。
【００６４】
【数１４】
【００６５】
図６は軟判定閾値処理が行われる様子を示している。図６(a)に示す１次元の信号値Aに対して軟判定閾値処理を行うと、図６(b)に示す信号値Dが得られる。このとき基準値Bには信号値Aの移動平均を用いている。
【００６６】
第１の実施形態では、原画像信号Iから分離された第２成分Vに対して上記軟判定閾値処理を行う。第２成分Vは、原画像信号Iから骨格成分である第１成分を除いたものであるので、基準値Bは0と考えて良い。
【００６７】
図７は、上記成分分離、ノイズ低減処理により原画像信号Iのノイズが低減される様子を示している。
【００６８】
図７(a)は、１次元で表した原画像信号Iを示しており、ノイズを含んでいる。
【００６９】
図７(b)は、成分分離部3001によって原画像信号Iから分離された第１成分Uを示している。第１成分Uは平坦成分とエッジ成分を含む骨格成分であり、ノイズを殆ど含んでいない。
【００７０】
図７(c）は、成分分離部3001によって得られた第２成分Vを示している。第２成分Vは原画像信号Iに対する第１成分Uの残差成分であり、原画像信号Iに含まれていたノイズと同等のノイズを含んでいる。
【００７１】
図７(d)は、第２成分Vに対して軟判定閾値処理を行った結果である。補正第２成分V'は第２成分Vに比べてノイズが低減されている。信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得するためには、通常、ノイズの無い原信号を推定する必要があるが、第１の実施形態では、これに代えて骨格成分である第１成分Uの信号レベルを用いてノイズの分散σを取得するようにしている。なお、ここでは、簡単のために、図２に示した信号レベル−ノイズ分散モデルを折れ線で近似したデータを参照してノイズの分散σを取得した。
【００７２】
図７(e)は、成分合成処理部3005で図７(b)の第１成分Uと図７(d)の補正第２成分V'とを1:1で合成した結果である。図７の(a)と(e)を比較するとわかるように、合成成分I'は原画像信号Iに対してエッジ成分を保存しつつ、ノイズが低減されている。なお、合成時の混合比は任意に設定することができる。
【００７３】
続いて第１の実施形態の作用効果について説明する。
【００７４】
原画像信号Iに含まれる信号レベル依存のノイズを信号レベルから推定する場合、ノイズのない原画像信号Iを推定する必要があるが、骨格成分である第１成分Uの信号レベルを用いれば原画像信号Iに含まれるノイズを精度良く推定することができる。その一方で、原画像信号Iに対する第１成分Uの残差成分である第２成分Vには、原画像信号Iに含まれていたノイズと同等のノイズが分離される。
【００７５】
したがって、第１成分Uの信号レベルに基づき、第２成分Vのノイズを低減するためのノイズ低減処理パラメータT1、T2を設定し、これを用いて第２成分Vのノイズを低減するようにすれば、第２成分Vのノイズを効果的に低減することができ、高画質なノイズ低減処理を提供することができる。エッジ成分は骨格成分である第１成分に含まれるので、ノイズ低減処理によってエッジが劣化することはない。
【００７６】
なお、ノイズ低減処理の方法としては、信号レベル依存の信号処理であれば何れの方法でもよく、例えば、上記の通り、ノイズ低減処理パラメータT1、T2に応じた閾値と第２成分Vを比較して第２成分Vを補正する軟判定閾値処理を利用することができる。
【００７７】
また、成分分離の手法は、上記した加算型分離、乗算型分離の何れを用いても良く、また、２成分への分離のみならず、３成分以上に分離するようにしても構わない。また第２〜第Ｎ成分に対するノイズ低減処理は、上記軟判定閾値処理に限定されず、信号レベルに基づきノイズを低減する処理であれば、何れの方法でもよい。
【００７８】
＜第２の実施形態＞
第２の実施形態以降の実施形態はフルカラーに対応した実施形態である。第１の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【００７９】
図８は第２の実施形態に係る撮像装置のシステム構成図であり、固体撮像素子1012は色フィルタアレイを前面に配置したフルカラー用撮像素子である。固体撮像素子1012は、単板方式、複数板方式のいずれでも良い。
【００８０】
色成分分離部3008では第１成分Uを各色成分（R成分、G成分、B成分）に分離し、各色成分の信号レベルを取得する。
【００８１】
ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照し、ノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【００８２】
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離する。
【００８３】
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、第１の実施形態で説明した軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
【００８４】
図９は成分分離部3001から成分合成処理部3005までの処理の流れを示したフローチャートである。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【００８５】
ステップＳ２１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【００８６】
ステップＳ２２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
【００８７】
ステップＳ２３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照してノイズの分散σを色成分毎に取得する。そして各色成分のノイズの分散σに応じて第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2を設定する。
【００８８】
ステップＳ２４では、第２成分Vを各色成分に分離する。
【００８９】
ステップＳ２５では、第２成分Vの各色成分に対して、対応する色成分のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、軟判定閾値処理後の値を補正第２成分V'とする。
【００９０】
ステップＳ２６では、第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【００９１】
この第２の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【００９２】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【００９３】
＜第３の実施形態＞
図１０は第３の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【００９４】
第３の実施形態では色成分分離部3008に代えてY/C分離部3018を備える。Y/C分離部3018では、第１成分Uを輝度成分Yと色差成分Cb、Crに分離し、輝度成分Yの信号レベルを取得する。第１成分Uを構成するR成分、G成分、B成分から輝度成分Y、色差成分Cb、Crへの変換は、次式(15)により行われる。
【００９５】
【数１５】
【００９６】
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照して輝度成分Yの信号レベルに応じた各色成分のノイズの分散σを取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【００９７】
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離する。ノイズ低減処理部3002は上記軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
【００９８】
図１１は成分分離部3001から成分合成処理部3005までの処理を示したフローチャートである。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【００９９】
ステップＳ３１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０１００】
ステップＳ３２では、第１成分UをY/C成分に分離し、輝度成分Yの信号レベルを得る。
【０１０１】
ステップＳ３３では、第１成分Uの輝度成分Yの信号レベルに応じ、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じた第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2をそれぞれ設定する。
【０１０２】
ステップＳ３４では、第２成分Vを各色成分に分離する。
【０１０３】
ステップＳ３５では、第２成分Vの各色成分に対して、ノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、補正第２成分V'を得る。
【０１０４】
ステップＳ３６では、第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０１０５】
この第３の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【０１０６】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１０７】
また、この実施形態においては、第１成分から輝度成分Yを分離し、輝度成分Yの信号レベルに応じてノイズ低減処理パラメータT1、T2を設定するようにしているが、輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしても構わない。
【０１０８】
＜第４の実施形態＞
図１２は第４の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１０９】
第１の実施形態では、デジタル信号処理部1005の後段に、成分分離部3001〜成分合成処理部3005を配置しているが、第４の実施形態では、図１２に示すように、デジタル信号処理部1005の前段にこれらの要素を配置し、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
【０１１０】
そして、第４の実施形態では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散モデルを用いてノイズ低減処理パラメータT1、T2を色成分毎に設定する。第４の実施形態では、デジタル信号処理の前段で信号分離、ノイズ低減処理を行うので、信号レベル−ノイズ分散モデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを参照してノイズの分散σを取得する。
【０１１１】
その後の、軟判定閾値処理による第２成分Vのノイズ低減処理、第１成分Uと補正第２成分V'の合成処理に関しては、第２の実施形態と同様である。
【０１１２】
この第４の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合に適応し、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。また、デジタル画像処理部の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
【０１１３】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１１４】
また、この第４の実施形態では各色成分の信号レベルに基づきノイズの分散σを取得し、これに応じてノイズ低減処理パラメータT1、T2を設定するようにしているが、各色成分の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしてもよい。
【０１１５】
＜第５の実施形態＞
ノイズを含まないカラー画像において、3×3の近傍領域で評価した局所色間相互相関係数（以下、「相関係数」という。）は1に近い正値を示す一方で、ノイズを含むカラー画像では、相関係数が低下する画素を含むため、近傍領域で評価した相関係数は低下する。このことから、相関係数の値が小さいほど画像信号に含まれるノイズが多いといえる。
【０１１６】
そこで、第５の実施形態では、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正する。これにより、相関が高い領域では軟判定閾値処理での幅が狭まり、原画像信号Iを保持する様に作用する一方で、相関の低い領域では軟判定閾値処理での幅が広がって、原画像信号Iを平坦化することができ、より高精度のノイズ低減処理が実現できる。
【０１１７】
図１４は第５の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１１８】
デジタル信号処理部1005から出力された原画像信号I（フルカラー信号）は色成分分離部3022、相関演算処理部3006及びノイズ低減処理部3002に伝送される。
【０１１９】
色成分分離部3022は原画像信号Iを各色成分に分離し、代表信号レベル算出部3023では、分離された各色成分について所定の画素位置近傍の代表信号レベルを算出する。代表信号レベルを算出するにあたっては、線形フィルタ、メジアンフィルタ等の非線形フィルタ、バイラテラルフィルタ等の非線形拡散フィルタ、モホロジフィルタ等を使用することができる。
【０１２０】
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照して、各色成分の代表信号レベルに応じたノイズの分散σを取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１２１】
相関演算処理部3006では、後述する様に、注目画素位置を含む近傍領域での各色成分の相関係数を演算し、その最小値である最小相関係数rを出力する。
【０１２２】
パラメータ補正部3007では、最小相関係数rに基づき補正係数Cを算出し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けることで各色成分のノイズ低減処理パラメータT1、T2を補正する。
【０１２３】
ノイズ低減処理部3002では、補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、原画像信号Iに含まれる信号レベル依存のノイズを低減する。
【０１２４】
相関演算処理とノイズ低減処理パラメータT1、T2の補正
色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために原画像信号Iが１次元であるとして説明する。
【０１２５】
図１５、図１６は、原画像信号Iの画素位置と各色成分の信号レベルとの関係を示している。図１５に示す例では、色成分間に相関がなく、この場合、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 150 180 130
2 220 120 140
3 160 150 100
4 200 140 160
5 140 100 200
である。このとき、R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 -0.15836 -0.69668 -0.14106
となり、最小相関係数rは、-0.69668となる。
【０１２６】
一方、図１６に示す例では、色成分間に相関があり、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 100 120 150
2 150 160 180
3 170 160 180
4 100 120 90
5 90 100 100
である。このとき、R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 0.962099 0.866459 0.848117
となり、最小相関係数rは、0.848117となる。
【０１２７】
第５の実施形態では、最小相関係数rを用いてノイズ低減処理パラメータT1、T2をそれぞれ、次式(16)により補正する。
【０１２８】
【数１６】
【０１２９】
c=1とすると、ノイズ低減処理パラメータT1、T2の補正係数Cは(1-r)2となり、補正係数Cは、図１５の場合、2.878739で、図１６の場合、0.023069となる。
【０１３０】
したがって、図１５の様に色成分間に相関がない場合は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、原信号をより平滑化するように作用する。一方で、図１６の様に色成分間に相関がある場合は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正が行われる。
【０１３１】
このように、第５の実施形態によれば、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことで、原画像信号Iに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【０１３２】
なお、ここでは代表信号レベルからノイズの分散σを求め、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、代表信号レベルに代えて、全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１３３】
＜第６の実施形態＞
図１７は第６の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１３４】
第６の実施形態では、第４の実施形態と同様に、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して軟判定閾値処理を行う。したがって、第６の実施形態では、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で色フィルタアレイを通して得られた信号をデモザイキングする。
【０１３５】
また、デジタル信号処理を施す前に成分分離、ノイズ低減処理を行うので、ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベル−ノイズの分散σのモデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを参照して各色成分のノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を色成分毎に設定する。ノイズ低減処理パラメータT1、T2は、例えば、ノイズの分散σに比例する値に設定する。
【０１３６】
色成分間の相関による軟判定閾値処理のノイズ低減処理パラメータT1、T2の補正は、パラメータ補正部3007において第５の実施形態と同様に式(16)により行われる、また、ノイズ低減処理部3002では、補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を原画像信号Iに対して行い、原画像信号Iに含まれる信号レベル依存のノイズを低減する。
【０１３７】
色フィルタアレイ信号抽出部5000では、ノイズ低減処理後の画像信号から色フィルタアレイの配列に対応する位置の信号を取り出し、デジタル信号処理部1005に画像信号を伝送する。デジタル信号処理後の信号は後段の表示素子2001、記憶メディア2003へと伝送される。
【０１３８】
第６の実施形態では、第５の実施形態と同様に色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことで、原画像信号Iに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理により後者の成分が劣化するのを抑えることができる。
【０１３９】
なお、ここでは代表信号レベルからノイズの分散σを求め、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、代表信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１４０】
＜第７の実施形態＞
図１８は第７の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１４１】
第７の実施形態では、第２の実施形態に示した成分分離後の軟判定閾値処理と、第５、第６の実施形態に示した色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正を兼備する。ただし、第５、第６の実施形態と異なり、色成分間の相関演算は原画像信号Iから分離された第２成分Vに対して行う。
【０１４２】
原画像信号Iから分離された第１成分Uは色成分分離部3008に送られ、色成分分離部3008では各色成分の信号レベルを取得する。
【０１４３】
ノイズ低減処理パラメータ取得部3004では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散のモデルを参照してノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１４４】
原画像信号Iから分離された第２成分Vは、色成分分離部3009で各色成分に分離された後、相関演算処理部3006に伝送され、相関演算処理部3006では、第２成分Vに対して第５、第６の実施形態と同様に各色信号の相関演算処理を行い、最小相関係数rを算出する。
【０１４５】
パラメータ補正部3007では、最小相関係数rに基づきノイズ低減処理パラメータT1、T2の補正係数Cを演算し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けて各色成分のノイズ低減処理パラメータT1、T2を補正する。
【０１４６】
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、補正したノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。そして、得られた信号を補正第２成分V'として出力する。
【０１４７】
成分合成処理部3005では、第１成分Uと補正第２成分V'を所定の比率、例えば１：１の比率で合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０１４８】
相関演算処理とノイズ低減処理パラメータT1、T2の補正
色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために第２成分Vが１次元であるとして説明する。第２成分Vがテクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分であるので、第２成分Vはゼロを中心として変動する成分である。
【０１４９】
図１９、図２０は第２成分Vの画素位置と各色成分の信号レベルとの関係を示している。
【０１５０】
図１９に示す例では、色成分間に相関がなく、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 -5 7 2
2 4 -2 2
3 -2 4 4
4 1 -5 5
5 6 -1 2
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 -0.75148 -0.36622 -0.19914
となり、最小相関係数rは、-0.75148となる。
【０１５１】
一方、図２０の例では、色成分間に相関があり、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 1 0 -1
2 4 3 3
3 5 3 4
4 -2 -1 0
5 -1 0 -1
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 0.964023 0.911685 0.873891
となり、最小相関係数rは、0.873891となる。
【０１５２】
以上のようにして最小相関係数rを算出したら、ノイズ低減処理パラメータT1、T2は、第５の実施形態で用いた式(16)によりそれぞれ補正される。c=1とすると、ノイズ低減処理パラメータT1、T2の補正係数Cは(1-r)2となり、補正係数Cは、図１９の場合で3.0677、図２０の場合で0.01590となる。
【０１５３】
したがって、図１９の様に色成分間に相関がない場合は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、信号をより平滑化するように作用する。一方で、図２０の様に色成分間に相関がある場合は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正が行われる。
【０１５４】
図２１は、成分分離部3001から成分合成処理部3005までの処理に対応するフローチャートである。参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０１５５】
ステップＳ７１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０１５６】
ステップＳ７２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
【０１５７】
ステップＳ７３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、色成分毎にノイズ低減処理パラメータT1、T2を設定する。
【０１５８】
ステップＳ７４では、第２成分Vを各色成分に分離する。
【０１５９】
ステップＳ７５では、第２成分Vの各色成分の相関を演算し、最小相関係数rを算出する。
【０１６０】
ステップＳ７６では、最小相関係数rに基づき、ステップＳ７３で得られた各色信号のノイズ低減処理パラメータT1、T2の補正係数Cを算出する。
【０１６１】
ステップＳ７７では、ノイズ低減処理パラメータT1、T2に補正係数Cを掛けてノイズ低減処理パラメータT1、T2を補正する。そして、第２成分Vの各色成分に対して補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、補正第２成分V'を得る。
【０１６２】
ステップＳ７８では、第１成分Uと補正第２成分V'を合成して、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０１６３】
第７の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【０１６４】
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうちノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【０１６５】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１６６】
なお、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、第１成分から分離した輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１６７】
＜第８の実施形態＞
図２２は第８の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１６８】
第８の実施形態では、第４、第６の実施形態と同様に、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
【０１６９】
また、デジタル信号処理を施す前に成分分離、ノイズ低減処理を行うので、ノイズ低減処理パラメータ設定部3004は、各色成分の信号レベル−ノイズ分散のモデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを用いてノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１７０】
その後の軟判定閾値処理によるノイズ低減処理は他の実施形態と同様である。また、色成分間の相関によるノイズ低減処理パラメータT1、T2の補正は第５の実施形態と同様であり、最小相関係数rに応じて式(16)によりノイズ低減処理パラメータT1、T2が補正される。
【０１７１】
ノイズ低減処理部3002から出力される補正第２成分V'は、成分合成処理部3005で第１成分Uと合成される。色フィルタアレイ信号抽出部5000では、合成成分I'から色フィルタアレイの配列に対応する位置の信号を取り出し、デジタル信号処理部1005に画像信号を伝送する。
【０１７２】
この第８の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【０１７３】
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【０１７４】
また、デジタル信号処理部1005の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
【０１７５】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１７６】
また、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１７７】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【図面の簡単な説明】
【０１７８】
【図１】第１の実施形態に係る撮像装置のシステム構成図である。
【図２】デジタル信号処理後の信号レベル−ノイズ分散モデルである。
【図３】第１の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図４】A/D変換直後の信号レベルとノイズの分散の関係を示した特性図である。
【図５】デジタル信号処理部の入出力特性を示す特性図である。
【図６】軟判定閾値処理を説明するための図である。
【図７】ノイズ低減処理によりノイズが低減される様子を示した図である。
【図８】第２の実施形態に係る撮像装置のシステム構成図である。
【図９】第２の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図１０】第３の実施形態に係る撮像装置のシステム構成図である。
【図１１】第３の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図１２】第４の実施形態に係る撮像装置のシステム構成図である。
【図１３】デジタル信号処理前の信号レベル−ノイズ分散モデルである。
【図１４】第５の実施形態に係る撮像装置のシステム構成図である。
【図１５】色成分間に相関のない１次元の画像信号の例を示した図である。
【図１６】色成分間に相関のある１次元の画像信号の例を示した図である。
【図１７】第６の実施形態に係る撮像装置のシステム構成図である。
【図１８】第７の実施形態に係る撮像装置のシステム構成図である。
【図１９】色成分間に相関のない１次元の画像信号の例を示した図である。
【図２０】色成分間に相関のある１次元の画像信号の例を示した図である。
【図２１】第７の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図２２】第８の実施形態に係る撮像装置のシステム構成図である。
【符号の説明】
【０１７９】
1000 システムコントローラー
1002 固体撮像装置（モノクロ）
1012 固体撮像装置（フルカラー）
1005 デジタル信号処理部（デジタル信号処理手段）
3001 成分分離部（成分分離手段）
3002 ノイズ低減処理部（ノイズ低減手段）
3004 ノイズ低減処理パラメータ設定部（パラメータ設定手段）
3006 相関演算処理部（相関演算処理手段）
3007 パラメータ補正部（パラメータ補正手段）
3005 成分合成処理部（合成手段）
3008 色成分分離部（信号レベル取得手段）
3018 Y/C分離部（信号レベル取得手段）
3023 代表信号レベル算出部（信号レベル取得手段）
【技術分野】
【０００１】
本発明は、画像信号に含まれるノイズの低減、特に信号レベルに依存するノイズの低減に関する。
【背景技術】
【０００２】
特許文献１では、輝度ノイズ量Nと濃度値に変換した信号レベルDの関係を、N=abcDにより関数化している。a、b、cは定数項であり、静的に与えられる。しかしながら、輝度ノイズ量は、撮影時の温度、露光時間、ゲインなどの要因により動的に変化するため、静的な定数項を用いるこの方法では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣っていた。また、ノイズ量からフィルタリングの周波数特性を制御するが、このフィルタリングは画像上の平坦部、エッジ部を区別することなく同等に処理するため、信号レベルからノイズ量が大と推定された領域にあるエッジ部が劣化してしまい、原信号の保存性が低かった。さらに、各色信号間に発生する色ノイズに関しては対応できない。
【０００３】
また、特許文献２では、入力信号を輝度信号と色差信号とに分離し、これらの信号に基づきエッジ強度を求め、エッジ部以外の平坦な領域で色差信号に平滑化処理を行っており、この平滑化処理は信号レベルにかかわらず固定的に行われる。しかしながら、色ノイズ量は信号レベルにより異なるため、平滑化処理を最適に制御することができず、色ノイズ成分の残存や原信号の劣化などが発生してしまう可能性がある。
【０００４】
そこで出願人は、ノイズモデルに基づくノイズコアリング処理において、色相の類似度を求め、領域に分割し、領域別にノイズモデルを適用する手法を提案している（特許文献３）。さらに、ノイズモデルに基づくノイズコアリング処理において、輝度レベルを推定するために注目画素とその周辺の平均値を用いてノイズモデルに基づくコアリングの閾値を求め、さらに、閾値内に属する画素の類似度に応じて、再度画像のセグメンテーションを行い、領域別にノイズモデルを適用する手法を提案している（特許文献４）。
【特許文献１】特開２００１−１５７０５７公報
【特許文献２】特開２００１−１７５８４３公報
【特許文献３】特開２００６−０２３９５９公報
【特許文献４】特開２００６−１０１００６公報
【非特許文献１】Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher, Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection, International Journal of Computer Vision, Volume 67, Issue 1 (April 2006) Pages: 111 - 136 Year of Publication: 2006
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の平均値を求める方法であると、特にノイズのエネルギーが大きい画像においては、そのノイズ量除いた値を平均値フィルタで除くために大きなカーネルのフィルタが必要となる。この場合、副作用として、エッジ部近辺において、近傍の画素レベルの影響によって正しい推定値が得られず、ノイズモデルを正しく適用することができない場合がある。また、ノイズモデルの類似度に応じたセグメンテーションにおいても、画像の構造要素を考慮していないので、エッジ部付近での挙動が期待通りの効果を示さない場合がある。
【０００６】
本発明は、このような従来技術の技術的課題を鑑みてなされたもので、信号レベルに依存するノイズ成分をより効果的に低減し、高画質なノイズ低減処理を行えるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、複数の色成分からなる原画像信号に施すノイズ低減処理の用に供するノイズ低減処理パラメータを設定するパラメータ設定手段と、前記原画像信号中の各色成分間の相関係数を演算する相関演算処理手段と、前記相関係数に基づき、前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、前記補正されたノイズ低減処理パラメータを用いて前記原画像信号中のノイズを低減するノイズ低減手段と、を備え、前記パラメータ補正手段は、前記色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置が提供される。
【０００８】
また、本発明の第２の態様によれば、色フィルタアレイを前面に配置した撮像素子と、前記撮像素子から得られた複数の色成分からなる原画像信号に施すノイズ低減処理の用に供するノイズ低減処理パラメータを設定するパラメータ設定手段と、前記原画像信号中の各色成分間の相関係数を演算する相関演算処理手段と、前記相関係数に基づき、前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、前記補正されたノイズ低減処理パラメータを用いて前記原画像信号中のノイズを低減するノイズ低減手段と、を備え、前記パラメータ補正手段は、前記色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置が提供される。
【発明の効果】
【０００９】
これらの態様によれば、色成分間の相関に応じてノイズ低減処理パラメータを補正するようにしたことにより、画像信号に含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照しながら本発明の実施形態について説明する。
【００１１】
＜第１の実施形態＞
図１は本発明の第1の実施形態に係る撮像装置のシステム構成図である。図１において、実線はデータ信号線、破線は制御信号線を表しており、各々の処理部は、システムコントローラー1000で制御される。
【００１２】
原画像は、レンズ1001を通してCCD、CMOS等の固体撮像素子1002で電気信号に変換され、撮像信号処理部1003においてCDS(Correlated Double Sampling)/差動サンプリング、アナログゲインの調整等が行われる。その後、A/D変換部1004でデジタル信号に変換され、デジタル信号処理部1005で所定の階調の画像信号（原画像信号I）に変換される。第１の実施形態においては、固体撮像素子1002はモノクロ用撮像素子、原画像信号Iはモノクロ信号である。
【００１３】
成分分離部3001では、原画像信号Iを第１成分Uと第２成分Vに分離する。第１成分Uは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号Iの骨格成分（幾何学的画像構造）であり、第２成分Vは、テクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分である。原画像信号Iがモノクロ信号であるので、原画像信号Iから分離される各成分U、Vはいずれも輝度成分となる。
【００１４】
なお、ここでは、説明を簡単にするために、原画像信号Iを２成分に分離する場合について説明するが、３成分以上に分離することも可能である。また、成分分離の方法には加算型分離と乗算型分離があり、その詳細については後述する。
【００１５】
ノイズ低減処理パラメータ設定部3004では、図２に示す信号レベル−ノイズ分散モデルまたはその近似データを参照して第１成分Uの信号レベルに対応するノイズの分散σ（ノイズ量）を取得する。第１成分Uは原画像信号Iの骨格成分であるので、第１成分Uの信号レベルから得られるノイズの分散σは、原画像信号Iに含まれていたノイズの分散σにほぼ等しい。そして、ノイズの分散σに応じたノイズ低減処理パラメータT1、T2を設定し、ノイズ低減処理部3002に伝送する。
【００１６】
ノイズ低減処理パラメータT1、T2は、例えば、次式(1)：
【００１７】
【数１】
【００１８】
により、それぞれノイズの分散σに比例する値に設定される。kは係数で、例えば1/2である。信号レベル−ノイズ分散モデルの詳細については後述する。
【００１９】
ノイズ低減処理部3002では、第２成分Vに対してノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理（コアリング処理）を行う。第２成分Vは原画像信号Iに含まれていたノイズと同等のノイズを含むので、この処理によれば、第２成分Vに含まれるノイズを効果的に低減することができる。そして、得られた値を補正第２成分V'として成分合成処理部3005に伝送する。軟判定閾値処理の詳細については後述する。
【００２０】
成分合成処理部3005では、第１成分Uと補正第２成分V'を所定の比率、例えば1:1の比率で合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。合成成分I'は、LCD等の表示素子2001に伝送されるとともに、圧縮回路2002を介して、フラッシュメモリ等で構成される記憶メディア2003に伝送される。
【００２１】
図３は、成分分離部3001から成分合成処理部3005までの処理に対応するフローチャートである。図中参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【００２２】
ステップＳ１１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【００２３】
ステップＳ１２では、第１成分Uの信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得する。そして、ノイズ低減処理パラメータT1、T2をノイズの分散σに応じて設定する。
【００２４】
ステップＳ１３では、第２成分Vに対してノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、第２成分Vに含まれているノイズを低減し、補正第２成分V'を得る。
【００２５】
ステップＳ１４では、第１成分Uと補正第２成分V'を合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【００２６】
続いて、成分分離部3001において行う原画像信号Iの成分分離の詳細について説明する。原画像信号Iから第１成分Uを抽出するとき、その基準として、平坦成分（緩やかに変化する成分）やエッジ成分を含む原画像信号Iの骨格成分が保持されるような処理を用いる。成分分離の手法には、上記の通り、加算型分離と乗算型分離があり、以下各手法について順に説明する。
【００２７】
加算型分離
加算型分離では、原画像信号Iが次式(2)で示すように、第１成分Uと第２成分Vの和として表される。
【００２８】
【数２】
【００２９】
ここでは、まず、有界変動関数とノルムを用いた分離方法を説明する。
【００３０】
分離を行うために、非特許文献１に記載のA2BC変分モデル(Aujol-Aubert-Blanc-Feraud-Chambolle model)を用いる。
【００３１】
最適解として求められる第１成分Uの性質としては、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、第１成分Uのエネルギーは次式(3)のTV(Total Variation)ノルムJ(U)で定義される。
【００３２】
【数３】
【００３３】
一方、式(2)中の第２成分Vの関数空間は振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって次式(4)のように表現された関数の空間であり、そのエネルギーは次式(5)のGノルム‖V‖Gとして定義される。
【００３４】
【数４】
【００３５】
【数５】
【００３６】
原画像信号Iの分離問題は、エネルギー汎関数を最小化する次式(6)の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。
【００３７】
【数６】
【００３８】
これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けるが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
【００３９】
その他の加算型分離方法の例としては、線形フィルタによる低域分離、メジアンフィルタ、モホロジフィルタ等による適応的平滑化を行うようにしてもよい。以下、有界変動関数によらない加算型分離の方法の例を示す。
【００４０】
例１：第１成分Uを原画像信号Iに対する直交基底展開の低次の成分とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例２：第１成分Uを原画像信号Iにメジアンフィルタ処理した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例３：第１成分Uを原画像信号Iに多値モホロジフィルタを掛けた結果とし、第２成分Vを原画像信号Ｉに対する第１成分Uの残差とする方法
例４： 第１成分Uを原画像信号Iに縮小処理を施し、さらに拡大処理を施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例５：第１成分Uを原画像信号IにBilateral Filterを施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
乗算型分離
続いて乗算型分離の方法について説明する。乗算型分離では、原画像信号Iが第１成分Uと第２成分Vの積によって表されるが、原画像信号Iを対数変換して対数原画像信号fとすると、次式(7)のように加算型分離問題に変換することができる。
【００４１】
【数７】
【００４２】
ここでは、前述と同様に有界変動関数とノルムを用いた分離方法を説明する。乗算型分離問題は対数領域において加算型分離と同様にA2BC変分モデルを用いて解くことができる。以下では、乗算型分離を前提として、対数領域におけるA2BC変分モデルについて簡単に述べる。
【００４３】
式(7)中の対数第１成分uの関数空間は、前述の加算型分離モデルの第１成分Uと同様に不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、対数第１成分uのエネルギーは次式(8)のTV(Total Variation)ノルムJ(u)で定義される。
【００４４】
【数８】
【００４５】
一方、式(7)中の対数第２成分vの関数空間は、振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式(9)のように表現された関数の空間であり、そのエネルギーは式(10)のGノルム‖v‖Gとして定義される。
【００４６】
【数９】
【００４７】
【数１０】
【００４８】
したがって、対数原画像信号fの分離問題は、エネルギー汎関数を最小化する次式(11)の変分問題として定式化される。
【００４９】
【数１１】
【００５０】
これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けているが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
【００５１】
続いて、ノイズ低減処理パラメータ設定部3004で参照する信号レベル−ノイズ分散モデルについて説明する。
【００５２】
原画像信号Iに含まれるノイズをガウスノイズとすると、ノイズの分散σ（ノイズ量）は、A/D変換直後の信号レベルL0に対して２次曲線的に増加する。これを特開2005-175718公報に開示されているように信号レベル−ノイズ分散モデルを２次関数で表すと、次式(12)が得られる。
【００５３】
【数１２】
【００５４】
ここで、α、β、γは定数項である。しかしながら、ノイズの分散σは信号レベルだけではなく、素子の温度やゲインによっても変化する。図４は、一例として、ある温度tにおけるゲインに関連する３種類のISO感度（ゲイン）100、200、400に対するノイズの分散σをプロットしている。個々の曲線は式(12)に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgとし、上記を考慮した形で信号レベル−ノイズ分散モデルの定式化を行うと、
【００５５】
【数１３】
【００５６】
となる。ここで、αgt、βgt、γgtは温度t、ゲインgに応じて決まる定数項である。フルカラーの場合、このノイズモデルは各色独立に適用することができる。
【００５７】
しかしながら、第１の実施形態では、デジタル信号処理部1005の後段で成分分離、ノイズ低減処理を行うので、上記モデルをそのまま用いることはできない。そこで、上記信号レベル−ノイズ分散モデルの特性に加え、デジタル信号処理部1005の特性を考慮し、デジタル信号処理後の信号レベルについて信号レベル−ノイズ分散モデルを得る。
【００５８】
例えば、デジタル信号処理部1005が、12bitの入力信号を8bit出力信号に階調変換するKnee処理又はγ変換である場合、デジタル信号処理部1005は図５の様な入出力信号特性を有している。図中、L(12)はA/D変換直後の信号レベル、L(8)はデジタル信号処理後の信号レベルを表す。
【００５９】
したがって、式(12)あるいは(13)のA/D変換直後の信号レベル−ノイズ分散の特性と、図５の様なデジタル信号処理部1005の特性を考慮すると、デジタル信号処理後の信号レベルY(8)とノイズの分散σは、図２に示した単峰の曲線の関係（信号レベル−ノイズ分散モデル）となる。
【００６０】
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定している。なお、簡略化のために、図２に代えて、図２を折れ線で近似したデータを参照するようにしてもよい。
【００６１】
続いて、ノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理について説明する。
【００６２】
原画像信号Iから分離された第２成分Vは上記の通りノイズを含むので、ノイズ低減処理部3002では、以下に説明する軟判定閾値処理（コアリング処理）により第２成分Vに含まれるノイズを低減する。
【００６３】
軟判定閾値処理は、基準値をB、上限閾値をC1=B+T1 (T1>0)、下限閾値をC2=B+T2 (T2<0)とし、処理前の信号値Aと処理後の信号値Dの関係が次式(14)で表される信号処理である。
【００６４】
【数１４】
【００６５】
図６は軟判定閾値処理が行われる様子を示している。図６(a)に示す１次元の信号値Aに対して軟判定閾値処理を行うと、図６(b)に示す信号値Dが得られる。このとき基準値Bには信号値Aの移動平均を用いている。
【００６６】
第１の実施形態では、原画像信号Iから分離された第２成分Vに対して上記軟判定閾値処理を行う。第２成分Vは、原画像信号Iから骨格成分である第１成分を除いたものであるので、基準値Bは0と考えて良い。
【００６７】
図７は、上記成分分離、ノイズ低減処理により原画像信号Iのノイズが低減される様子を示している。
【００６８】
図７(a)は、１次元で表した原画像信号Iを示しており、ノイズを含んでいる。
【００６９】
図７(b)は、成分分離部3001によって原画像信号Iから分離された第１成分Uを示している。第１成分Uは平坦成分とエッジ成分を含む骨格成分であり、ノイズを殆ど含んでいない。
【００７０】
図７(c）は、成分分離部3001によって得られた第２成分Vを示している。第２成分Vは原画像信号Iに対する第１成分Uの残差成分であり、原画像信号Iに含まれていたノイズと同等のノイズを含んでいる。
【００７１】
図７(d)は、第２成分Vに対して軟判定閾値処理を行った結果である。補正第２成分V'は第２成分Vに比べてノイズが低減されている。信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得するためには、通常、ノイズの無い原信号を推定する必要があるが、第１の実施形態では、これに代えて骨格成分である第１成分Uの信号レベルを用いてノイズの分散σを取得するようにしている。なお、ここでは、簡単のために、図２に示した信号レベル−ノイズ分散モデルを折れ線で近似したデータを参照してノイズの分散σを取得した。
【００７２】
図７(e)は、成分合成処理部3005で図７(b)の第１成分Uと図７(d)の補正第２成分V'とを1:1で合成した結果である。図７の(a)と(e)を比較するとわかるように、合成成分I'は原画像信号Iに対してエッジ成分を保存しつつ、ノイズが低減されている。なお、合成時の混合比は任意に設定することができる。
【００７３】
続いて第１の実施形態の作用効果について説明する。
【００７４】
原画像信号Iに含まれる信号レベル依存のノイズを信号レベルから推定する場合、ノイズのない原画像信号Iを推定する必要があるが、骨格成分である第１成分Uの信号レベルを用いれば原画像信号Iに含まれるノイズを精度良く推定することができる。その一方で、原画像信号Iに対する第１成分Uの残差成分である第２成分Vには、原画像信号Iに含まれていたノイズと同等のノイズが分離される。
【００７５】
したがって、第１成分Uの信号レベルに基づき、第２成分Vのノイズを低減するためのノイズ低減処理パラメータT1、T2を設定し、これを用いて第２成分Vのノイズを低減するようにすれば、第２成分Vのノイズを効果的に低減することができ、高画質なノイズ低減処理を提供することができる。エッジ成分は骨格成分である第１成分に含まれるので、ノイズ低減処理によってエッジが劣化することはない。
【００７６】
なお、ノイズ低減処理の方法としては、信号レベル依存の信号処理であれば何れの方法でもよく、例えば、上記の通り、ノイズ低減処理パラメータT1、T2に応じた閾値と第２成分Vを比較して第２成分Vを補正する軟判定閾値処理を利用することができる。
【００７７】
また、成分分離の手法は、上記した加算型分離、乗算型分離の何れを用いても良く、また、２成分への分離のみならず、３成分以上に分離するようにしても構わない。また第２〜第Ｎ成分に対するノイズ低減処理は、上記軟判定閾値処理に限定されず、信号レベルに基づきノイズを低減する処理であれば、何れの方法でもよい。
【００７８】
＜第２の実施形態＞
第２の実施形態以降の実施形態はフルカラーに対応した実施形態である。第１の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【００７９】
図８は第２の実施形態に係る撮像装置のシステム構成図であり、固体撮像素子1012は色フィルタアレイを前面に配置したフルカラー用撮像素子である。固体撮像素子1012は、単板方式、複数板方式のいずれでも良い。
【００８０】
色成分分離部3008では第１成分Uを各色成分（R成分、G成分、B成分）に分離し、各色成分の信号レベルを取得する。
【００８１】
ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照し、ノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【００８２】
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離する。
【００８３】
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、第１の実施形態で説明した軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
【００８４】
図９は成分分離部3001から成分合成処理部3005までの処理の流れを示したフローチャートである。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【００８５】
ステップＳ２１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【００８６】
ステップＳ２２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
【００８７】
ステップＳ２３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照してノイズの分散σを色成分毎に取得する。そして各色成分のノイズの分散σに応じて第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2を設定する。
【００８８】
ステップＳ２４では、第２成分Vを各色成分に分離する。
【００８９】
ステップＳ２５では、第２成分Vの各色成分に対して、対応する色成分のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、軟判定閾値処理後の値を補正第２成分V'とする。
【００９０】
ステップＳ２６では、第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【００９１】
この第２の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【００９２】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【００９３】
＜第３の実施形態＞
図１０は第３の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【００９４】
第３の実施形態では色成分分離部3008に代えてY/C分離部3018を備える。Y/C分離部3018では、第１成分Uを輝度成分Yと色差成分Cb、Crに分離し、輝度成分Yの信号レベルを取得する。第１成分Uを構成するR成分、G成分、B成分から輝度成分Y、色差成分Cb、Crへの変換は、次式(15)により行われる。
【００９５】
【数１５】
【００９６】
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照して輝度成分Yの信号レベルに応じた各色成分のノイズの分散σを取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【００９７】
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離する。ノイズ低減処理部3002は上記軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
【００９８】
図１１は成分分離部3001から成分合成処理部3005までの処理を示したフローチャートである。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【００９９】
ステップＳ３１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０１００】
ステップＳ３２では、第１成分UをY/C成分に分離し、輝度成分Yの信号レベルを得る。
【０１０１】
ステップＳ３３では、第１成分Uの輝度成分Yの信号レベルに応じ、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じた第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2をそれぞれ設定する。
【０１０２】
ステップＳ３４では、第２成分Vを各色成分に分離する。
【０１０３】
ステップＳ３５では、第２成分Vの各色成分に対して、ノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、補正第２成分V'を得る。
【０１０４】
ステップＳ３６では、第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０１０５】
この第３の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【０１０６】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１０７】
また、この実施形態においては、第１成分から輝度成分Yを分離し、輝度成分Yの信号レベルに応じてノイズ低減処理パラメータT1、T2を設定するようにしているが、輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしても構わない。
【０１０８】
＜第４の実施形態＞
図１２は第４の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１０９】
第１の実施形態では、デジタル信号処理部1005の後段に、成分分離部3001〜成分合成処理部3005を配置しているが、第４の実施形態では、図１２に示すように、デジタル信号処理部1005の前段にこれらの要素を配置し、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
【０１１０】
そして、第４の実施形態では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散モデルを用いてノイズ低減処理パラメータT1、T2を色成分毎に設定する。第４の実施形態では、デジタル信号処理の前段で信号分離、ノイズ低減処理を行うので、信号レベル−ノイズ分散モデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを参照してノイズの分散σを取得する。
【０１１１】
その後の、軟判定閾値処理による第２成分Vのノイズ低減処理、第１成分Uと補正第２成分V'の合成処理に関しては、第２の実施形態と同様である。
【０１１２】
この第４の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合に適応し、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。また、デジタル画像処理部の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
【０１１３】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１１４】
また、この第４の実施形態では各色成分の信号レベルに基づきノイズの分散σを取得し、これに応じてノイズ低減処理パラメータT1、T2を設定するようにしているが、各色成分の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしてもよい。
【０１１５】
＜第５の実施形態＞
ノイズを含まないカラー画像において、3×3の近傍領域で評価した局所色間相互相関係数（以下、「相関係数」という。）は1に近い正値を示す一方で、ノイズを含むカラー画像では、相関係数が低下する画素を含むため、近傍領域で評価した相関係数は低下する。このことから、相関係数の値が小さいほど画像信号に含まれるノイズが多いといえる。
【０１１６】
そこで、第５の実施形態では、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正する。これにより、相関が高い領域では軟判定閾値処理での幅が狭まり、原画像信号Iを保持する様に作用する一方で、相関の低い領域では軟判定閾値処理での幅が広がって、原画像信号Iを平坦化することができ、より高精度のノイズ低減処理が実現できる。
【０１１７】
図１４は第５の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１１８】
デジタル信号処理部1005から出力された原画像信号I（フルカラー信号）は色成分分離部3022、相関演算処理部3006及びノイズ低減処理部3002に伝送される。
【０１１９】
色成分分離部3022は原画像信号Iを各色成分に分離し、代表信号レベル算出部3023では、分離された各色成分について所定の画素位置近傍の代表信号レベルを算出する。代表信号レベルを算出するにあたっては、線形フィルタ、メジアンフィルタ等の非線形フィルタ、バイラテラルフィルタ等の非線形拡散フィルタ、モホロジフィルタ等を使用することができる。
【０１２０】
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照して、各色成分の代表信号レベルに応じたノイズの分散σを取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１２１】
相関演算処理部3006では、後述する様に、注目画素位置を含む近傍領域での各色成分の相関係数を演算し、その最小値である最小相関係数rを出力する。
【０１２２】
パラメータ補正部3007では、最小相関係数rに基づき補正係数Cを算出し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けることで各色成分のノイズ低減処理パラメータT1、T2を補正する。
【０１２３】
ノイズ低減処理部3002では、補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、原画像信号Iに含まれる信号レベル依存のノイズを低減する。
【０１２４】
相関演算処理とノイズ低減処理パラメータT1、T2の補正
色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために原画像信号Iが１次元であるとして説明する。
【０１２５】
図１５、図１６は、原画像信号Iの画素位置と各色成分の信号レベルとの関係を示している。図１５に示す例では、色成分間に相関がなく、この場合、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 150 180 130
2 220 120 140
3 160 150 100
4 200 140 160
5 140 100 200
である。このとき、R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 -0.15836 -0.69668 -0.14106
となり、最小相関係数rは、-0.69668となる。
【０１２６】
一方、図１６に示す例では、色成分間に相関があり、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 100 120 150
2 150 160 180
3 170 160 180
4 100 120 90
5 90 100 100
である。このとき、R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 0.962099 0.866459 0.848117
となり、最小相関係数rは、0.848117となる。
【０１２７】
第５の実施形態では、最小相関係数rを用いてノイズ低減処理パラメータT1、T2をそれぞれ、次式(16)により補正する。
【０１２８】
【数１６】
【０１２９】
c=1とすると、ノイズ低減処理パラメータT1、T2の補正係数Cは(1-r)2となり、補正係数Cは、図１５の場合、2.878739で、図１６の場合、0.023069となる。
【０１３０】
したがって、図１５の様に色成分間に相関がない場合は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、原信号をより平滑化するように作用する。一方で、図１６の様に色成分間に相関がある場合は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正が行われる。
【０１３１】
このように、第５の実施形態によれば、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことで、原画像信号Iに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【０１３２】
なお、ここでは代表信号レベルからノイズの分散σを求め、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、代表信号レベルに代えて、全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１３３】
＜第６の実施形態＞
図１７は第６の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１３４】
第６の実施形態では、第４の実施形態と同様に、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して軟判定閾値処理を行う。したがって、第６の実施形態では、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で色フィルタアレイを通して得られた信号をデモザイキングする。
【０１３５】
また、デジタル信号処理を施す前に成分分離、ノイズ低減処理を行うので、ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベル−ノイズの分散σのモデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを参照して各色成分のノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を色成分毎に設定する。ノイズ低減処理パラメータT1、T2は、例えば、ノイズの分散σに比例する値に設定する。
【０１３６】
色成分間の相関による軟判定閾値処理のノイズ低減処理パラメータT1、T2の補正は、パラメータ補正部3007において第５の実施形態と同様に式(16)により行われる、また、ノイズ低減処理部3002では、補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を原画像信号Iに対して行い、原画像信号Iに含まれる信号レベル依存のノイズを低減する。
【０１３７】
色フィルタアレイ信号抽出部5000では、ノイズ低減処理後の画像信号から色フィルタアレイの配列に対応する位置の信号を取り出し、デジタル信号処理部1005に画像信号を伝送する。デジタル信号処理後の信号は後段の表示素子2001、記憶メディア2003へと伝送される。
【０１３８】
第６の実施形態では、第５の実施形態と同様に色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことで、原画像信号Iに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理により後者の成分が劣化するのを抑えることができる。
【０１３９】
なお、ここでは代表信号レベルからノイズの分散σを求め、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、代表信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１４０】
＜第７の実施形態＞
図１８は第７の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１４１】
第７の実施形態では、第２の実施形態に示した成分分離後の軟判定閾値処理と、第５、第６の実施形態に示した色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正を兼備する。ただし、第５、第６の実施形態と異なり、色成分間の相関演算は原画像信号Iから分離された第２成分Vに対して行う。
【０１４２】
原画像信号Iから分離された第１成分Uは色成分分離部3008に送られ、色成分分離部3008では各色成分の信号レベルを取得する。
【０１４３】
ノイズ低減処理パラメータ取得部3004では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散のモデルを参照してノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１４４】
原画像信号Iから分離された第２成分Vは、色成分分離部3009で各色成分に分離された後、相関演算処理部3006に伝送され、相関演算処理部3006では、第２成分Vに対して第５、第６の実施形態と同様に各色信号の相関演算処理を行い、最小相関係数rを算出する。
【０１４５】
パラメータ補正部3007では、最小相関係数rに基づきノイズ低減処理パラメータT1、T2の補正係数Cを演算し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けて各色成分のノイズ低減処理パラメータT1、T2を補正する。
【０１４６】
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、補正したノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。そして、得られた信号を補正第２成分V'として出力する。
【０１４７】
成分合成処理部3005では、第１成分Uと補正第２成分V'を所定の比率、例えば１：１の比率で合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０１４８】
相関演算処理とノイズ低減処理パラメータT1、T2の補正
色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために第２成分Vが１次元であるとして説明する。第２成分Vがテクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分であるので、第２成分Vはゼロを中心として変動する成分である。
【０１４９】
図１９、図２０は第２成分Vの画素位置と各色成分の信号レベルとの関係を示している。
【０１５０】
図１９に示す例では、色成分間に相関がなく、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 -5 7 2
2 4 -2 2
3 -2 4 4
4 1 -5 5
5 6 -1 2
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 -0.75148 -0.36622 -0.19914
となり、最小相関係数rは、-0.75148となる。
【０１５１】
一方、図２０の例では、色成分間に相関があり、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 1 0 -1
2 4 3 3
3 5 3 4
4 -2 -1 0
5 -1 0 -1
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 0.964023 0.911685 0.873891
となり、最小相関係数rは、0.873891となる。
【０１５２】
以上のようにして最小相関係数rを算出したら、ノイズ低減処理パラメータT1、T2は、第５の実施形態で用いた式(16)によりそれぞれ補正される。c=1とすると、ノイズ低減処理パラメータT1、T2の補正係数Cは(1-r)2となり、補正係数Cは、図１９の場合で3.0677、図２０の場合で0.01590となる。
【０１５３】
したがって、図１９の様に色成分間に相関がない場合は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、信号をより平滑化するように作用する。一方で、図２０の様に色成分間に相関がある場合は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正が行われる。
【０１５４】
図２１は、成分分離部3001から成分合成処理部3005までの処理に対応するフローチャートである。参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
【０１５５】
ステップＳ７１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
【０１５６】
ステップＳ７２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
【０１５７】
ステップＳ７３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、色成分毎にノイズ低減処理パラメータT1、T2を設定する。
【０１５８】
ステップＳ７４では、第２成分Vを各色成分に分離する。
【０１５９】
ステップＳ７５では、第２成分Vの各色成分の相関を演算し、最小相関係数rを算出する。
【０１６０】
ステップＳ７６では、最小相関係数rに基づき、ステップＳ７３で得られた各色信号のノイズ低減処理パラメータT1、T2の補正係数Cを算出する。
【０１６１】
ステップＳ７７では、ノイズ低減処理パラメータT1、T2に補正係数Cを掛けてノイズ低減処理パラメータT1、T2を補正する。そして、第２成分Vの各色成分に対して補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、補正第２成分V'を得る。
【０１６２】
ステップＳ７８では、第１成分Uと補正第２成分V'を合成して、原画像信号Iに対してノイズが低減された合成成分I'を得る。
【０１６３】
第７の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【０１６４】
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうちノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【０１６５】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１６６】
なお、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、第１成分から分離した輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１６７】
＜第８の実施形態＞
図２２は第８の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
【０１６８】
第８の実施形態では、第４、第６の実施形態と同様に、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
【０１６９】
また、デジタル信号処理を施す前に成分分離、ノイズ低減処理を行うので、ノイズ低減処理パラメータ設定部3004は、各色成分の信号レベル−ノイズ分散のモデルとして、図２に示したモデルではなく、図１３あるいは式(12)、(13)で表されるモデルを用いてノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
【０１７０】
その後の軟判定閾値処理によるノイズ低減処理は他の実施形態と同様である。また、色成分間の相関によるノイズ低減処理パラメータT1、T2の補正は第５の実施形態と同様であり、最小相関係数rに応じて式(16)によりノイズ低減処理パラメータT1、T2が補正される。
【０１７１】
ノイズ低減処理部3002から出力される補正第２成分V'は、成分合成処理部3005で第１成分Uと合成される。色フィルタアレイ信号抽出部5000では、合成成分I'から色フィルタアレイの配列に対応する位置の信号を取り出し、デジタル信号処理部1005に画像信号を伝送する。
【０１７２】
この第８の実施形態によれば、原画像信号Ｉが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理を行うことができる。
【０１７３】
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
【０１７４】
また、デジタル信号処理部1005の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
【０１７５】
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
【０１７６】
また、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
【０１７７】
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【図面の簡単な説明】
【０１７８】
【図１】第１の実施形態に係る撮像装置のシステム構成図である。
【図２】デジタル信号処理後の信号レベル−ノイズ分散モデルである。
【図３】第１の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図４】A/D変換直後の信号レベルとノイズの分散の関係を示した特性図である。
【図５】デジタル信号処理部の入出力特性を示す特性図である。
【図６】軟判定閾値処理を説明するための図である。
【図７】ノイズ低減処理によりノイズが低減される様子を示した図である。
【図８】第２の実施形態に係る撮像装置のシステム構成図である。
【図９】第２の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図１０】第３の実施形態に係る撮像装置のシステム構成図である。
【図１１】第３の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図１２】第４の実施形態に係る撮像装置のシステム構成図である。
【図１３】デジタル信号処理前の信号レベル−ノイズ分散モデルである。
【図１４】第５の実施形態に係る撮像装置のシステム構成図である。
【図１５】色成分間に相関のない１次元の画像信号の例を示した図である。
【図１６】色成分間に相関のある１次元の画像信号の例を示した図である。
【図１７】第６の実施形態に係る撮像装置のシステム構成図である。
【図１８】第７の実施形態に係る撮像装置のシステム構成図である。
【図１９】色成分間に相関のない１次元の画像信号の例を示した図である。
【図２０】色成分間に相関のある１次元の画像信号の例を示した図である。
【図２１】第７の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。
【図２２】第８の実施形態に係る撮像装置のシステム構成図である。
【符号の説明】
【０１７９】
1000 システムコントローラー
1002 固体撮像装置（モノクロ）
1012 固体撮像装置（フルカラー）
1005 デジタル信号処理部（デジタル信号処理手段）
3001 成分分離部（成分分離手段）
3002 ノイズ低減処理部（ノイズ低減手段）
3004 ノイズ低減処理パラメータ設定部（パラメータ設定手段）
3006 相関演算処理部（相関演算処理手段）
3007 パラメータ補正部（パラメータ補正手段）
3005 成分合成処理部（合成手段）
3008 色成分分離部（信号レベル取得手段）
3018 Y/C分離部（信号レベル取得手段）
3023 代表信号レベル算出部（信号レベル取得手段）
【特許請求の範囲】
【請求項１】
複数の色成分からなる原画像信号に施すノイズ低減処理の用に供するノイズ低減処理パラメータを設定するパラメータ設定手段と、
前記原画像信号中の各色成分間の相関係数を演算する相関演算処理手段と、
前記相関係数に基づき、前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
前記補正されたノイズ低減処理パラメータを用いて前記原画像信号中のノイズを低減するノイズ低減手段と、
を備え、
前記パラメータ補正手段は、前記色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記相関演算処理手段は、前記ノイズ低減を行う対象の注目画素を含む近傍領域での各色成分間の相関係数を演算することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
階調変換を行うデジタル信号処理手段をさらに備え、
前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とする画像処理装置。
【請求項４】
色フィルタアレイを前面に配置した撮像素子と、
前記撮像素子から得られた複数の色成分からなる原画像信号に施すノイズ低減処理の用に供するノイズ低減処理パラメータを設定するパラメータ設定手段と、
前記原画像信号中の各色成分間の相関係数を演算する相関演算処理手段と、
前記相関係数に基づき、前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
前記補正されたノイズ低減処理パラメータを用いて前記原画像信号中のノイズを低減するノイズ低減手段と、
を備え、
前記パラメータ補正手段は、前記色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記相関演算処理手段は、前記ノイズ低減を行う対象の注目画素を含む近傍領域での各色成分間の相関係数を演算することを特徴とする撮像装置。
【請求項６】
請求項４または５に記載の撮像装置において、
階調変換を行うデジタル信号処理手段をさらに備え、
前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とする撮像装置。
【請求項７】
請求項１に記載の画像処理装置において、
前記原画像信号中のノイズ低減を行う対象の注目画素とその近傍の領域での信号レベルを取得する信号レベル取得手段と、
を備え、
前記パラメータ設定手段は、前記信号レベルに基づいて前記ノイズ低減処理パラメータを設定することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とする画像処理装置。
【請求項９】
請求項７または８に記載の画像処理装置において、
前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、前記パラメータ補正手段は前記補正係数を
次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする画像処理装置。
【請求項１１】
請求項７から１０のいずれか一つに記載の画像処理装置において、
前記原画像信号は３種以上の色成分を含み、
前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする画像処理装置。
【請求項１２】
請求項４に記載の撮像装置であって、
前記原画像信号中のノイズ低減を行う対象の注目画素とその近傍の領域での信号レベルを取得する信号レベル取得手段をさらに備え、
前記パラメータ設定手段は、前記信号レベルに基づいて前記ノイズ低減処理パラメータを設定することを特徴とする撮像装置。
【請求項１３】
請求項１２に記載の撮像装置において、
前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とする撮像装置。
【請求項１４】
請求項１２または１３に記載の撮像装置において、
前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置。
【請求項１５】
請求項１４に記載の撮像装置において、
前記パラメータ補正手段は前記補正係数を
次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする撮像装置。
【請求項１６】
請求項１２から１５のいずれか一つに記載の撮像装置において、
前記原画像信号は３種以上の色成分を含み、
前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする撮像装置。
【請求項１】
複数の色成分からなる原画像信号に施すノイズ低減処理の用に供するノイズ低減処理パラメータを設定するパラメータ設定手段と、
前記原画像信号中の各色成分間の相関係数を演算する相関演算処理手段と、
前記相関係数に基づき、前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
前記補正されたノイズ低減処理パラメータを用いて前記原画像信号中のノイズを低減するノイズ低減手段と、
を備え、
前記パラメータ補正手段は、前記色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記相関演算処理手段は、前記ノイズ低減を行う対象の注目画素を含む近傍領域での各色成分間の相関係数を演算することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
階調変換を行うデジタル信号処理手段をさらに備え、
前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とする画像処理装置。
【請求項４】
色フィルタアレイを前面に配置した撮像素子と、
前記撮像素子から得られた複数の色成分からなる原画像信号に施すノイズ低減処理の用に供するノイズ低減処理パラメータを設定するパラメータ設定手段と、
前記原画像信号中の各色成分間の相関係数を演算する相関演算処理手段と、
前記相関係数に基づき、前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
前記補正されたノイズ低減処理パラメータを用いて前記原画像信号中のノイズを低減するノイズ低減手段と、
を備え、
前記パラメータ補正手段は、前記色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記相関演算処理手段は、前記ノイズ低減を行う対象の注目画素を含む近傍領域での各色成分間の相関係数を演算することを特徴とする撮像装置。
【請求項６】
請求項４または５に記載の撮像装置において、
階調変換を行うデジタル信号処理手段をさらに備え、
前記原画像信号は前記デジタル信号処理手段による前記階調変換前の信号であることを特徴とする撮像装置。
【請求項７】
請求項１に記載の画像処理装置において、
前記原画像信号中のノイズ低減を行う対象の注目画素とその近傍の領域での信号レベルを取得する信号レベル取得手段と、
を備え、
前記パラメータ設定手段は、前記信号レベルに基づいて前記ノイズ低減処理パラメータを設定することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とする画像処理装置。
【請求項９】
請求項７または８に記載の画像処理装置において、
前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、前記パラメータ補正手段は前記補正係数を
次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする画像処理装置。
【請求項１１】
請求項７から１０のいずれか一つに記載の画像処理装置において、
前記原画像信号は３種以上の色成分を含み、
前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする画像処理装置。
【請求項１２】
請求項４に記載の撮像装置であって、
前記原画像信号中のノイズ低減を行う対象の注目画素とその近傍の領域での信号レベルを取得する信号レベル取得手段をさらに備え、
前記パラメータ設定手段は、前記信号レベルに基づいて前記ノイズ低減処理パラメータを設定することを特徴とする撮像装置。
【請求項１３】
請求項１２に記載の撮像装置において、
前記ノイズ低減手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記原画像信号との比較結果に基づき前記原画像信号のノイズを低減することを特徴とする撮像装置。
【請求項１４】
請求項１２または１３に記載の撮像装置において、
前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正することを特徴とする撮像装置。
【請求項１５】
請求項１４に記載の撮像装置において、
前記パラメータ補正手段は前記補正係数を
次式：
C = (1-r)2
r:注目画素を含む近傍領域での色成分間の相関係数
により算出することを特徴とする撮像装置。
【請求項１６】
請求項１２から１５のいずれか一つに記載の撮像装置において、
前記原画像信号は３種以上の色成分を含み、
前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択することを特徴とする撮像装置。
【図１】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１７】
【図１８】
【図２１】
【図２２】
【図２】
【図５】
【図１３】
【図１５】
【図１６】
【図１９】
【図２０】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１７】
【図１８】
【図２１】
【図２２】
【図２】
【図５】
【図１３】
【図１５】
【図１６】
【図１９】
【図２０】
【公開番号】特開２０１０−１６６５９８（Ｐ２０１０−１６６５９８Ａ）
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願番号】特願２０１０−５３１６０（Ｐ２０１０−５３１６０）
【出願日】平成２２年３月１０日（２０１０．３．１０）
【分割の表示】特願２００７−２６５５（Ｐ２００７−２６５５）の分割
【原出願日】平成１９年１月１０日（２００７．１．１０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 刊行物名：映像メディア処理シンポジウム 第１１回シンポジウム資料 発行日 ：２００６（平成１８）年１１月８日
【出願人】（５９２２１８３００）学校法人神奈川大学 (243)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２２年７月２９日（２０１０．７．２９）
【国際特許分類】
【出願日】平成２２年３月１０日（２０１０．３．１０）
【分割の表示】特願２００７−２６５５（Ｐ２００７−２６５５）の分割
【原出願日】平成１９年１月１０日（２００７．１．１０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 刊行物名：映像メディア処理シンポジウム 第１１回シンポジウム資料 発行日 ：２００６（平成１８）年１１月８日
【出願人】（５９２２１８３００）学校法人神奈川大学 (243)
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]