画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法
【課題】少ない演算量で精度よくノイズレベルを予測して、画像信号にノイズ低減処理を施す画像処理装置を提供する。
【解決手段】 被写体像を撮像してＲＧＢ空間の画像信号を出力するイメージセンサ１１と、ＲＧＢ空間の画像信号からノイズレベルを予測するノイズレベル予測部５０と、ノイズレベル予測部５０により予測されたノイズレベルをＲＧＢ空間からＹＣｒＣｂ空間に変換するノイズレベル変換部６０と、イメージセンサ１１により撮像されたＲＧＢ空間の画像信号を、ＹＣｒＣｂ空間の画像信号に変換する第１の画像信号変換部２０と、ノイズレベル変換部６０によりＹＣｒＣｂ空間に変換されたノイズレベルに応じて、第１の画像信号変換部２０によりＹＣｒＣｂ色空間に変換された画像信号に含まれるノイズを低減するノイズ低減部３０とを備える。
【解決手段】 被写体像を撮像してＲＧＢ空間の画像信号を出力するイメージセンサ１１と、ＲＧＢ空間の画像信号からノイズレベルを予測するノイズレベル予測部５０と、ノイズレベル予測部５０により予測されたノイズレベルをＲＧＢ空間からＹＣｒＣｂ空間に変換するノイズレベル変換部６０と、イメージセンサ１１により撮像されたＲＧＢ空間の画像信号を、ＹＣｒＣｂ空間の画像信号に変換する第１の画像信号変換部２０と、ノイズレベル変換部６０によりＹＣｒＣｂ空間に変換されたノイズレベルに応じて、第１の画像信号変換部２０によりＹＣｒＣｂ色空間に変換された画像信号に含まれるノイズを低減するノイズ低減部３０とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段によって撮像された画像信号に含まれるノイズを低減する処理を行う画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法に関するものである。
【背景技術】
【０００２】
一般的に、画像信号に含まれるノイズ成分を低減するノイズ低減処理では、画像信号の輪郭情報を保存しつつ、ノイズ成分のみを平均化や閾値による判定処理によって平滑化しようとする。一般的なノイズ低減処理では、輪郭情報とノイズとの識別のために、一定の閾値、あるいはそれに対応するパラメータが用いられている。
【０００３】
一例として、ウェーブレット変換を用いたノイズ低減処理では、スレッショルドといわれるパラメータが、上述した輪郭情報とノイズとの識別のための情報として用いられている。
【０００４】
別の例として、イプシロンフィルタ（特許文献１）やバイラテラルフィルタ（特許文献２）として知られるノイズ低減処理では、注目画素と周辺画素との差の大きさに応じて重み付き加算を行うが、この重みを決定するための関数を画像信号のノイズレベルに応じて設定する必要がある。例えば、イプシロンフィルタでは矩形の広がりをもつ関数を用いて、この重みを決定している。また、バイラテラルフィルタでは、ガウス関数の広がりをもつ関数を用いて、この重みを決定している。この広がりを決定するパラメータは、ウェーブレット変換を用いたノイズ低減処理におけるスレッショルドと同様に、輪郭情報とノイズの識別のための閾値として用いられている。
【０００５】
これらのパラメータには、有効な画像情報とノイズを切り分けるための境界値としての意味合いがある。したがって、これらのパラメータを画像信号のノイズレベルに合わせて適切に設定することが、より効果的にノイズ低減処理を行うのにきわめて重要となる。
【０００６】
すなわち、より効果的にノイズ低減処理を行うのには、画像のノイズレベルを可能な限り正確に知ることが必要となる。
【０００７】
画像に含まれるノイズには、その画像の信号レベルに対して依存性があることが一般的に知られている。したがって、上述したようなノイズ低減処理に用いられるパラメータを画像信号の信号レベル、例えば輝度レベルに応じて制御することがノイズ低減処理の効果を高めるために有効である。
【０００８】
例えば、特許文献１には、イプシロンフィルタを基本とする画像ノイズ低減処理において、画像に含まれるノイズレベルを画素の値から計算で求めて、輪郭情報とノイズの識別のための閾値を制御する処理が記載されている。
【０００９】
また特許文献３においては、輪郭情報とノイズとの識別のために設定する閾値の制御精度を向上するため、閾値を求めるときにルックアップテーブルを使用する処理が記載されている。
【００１０】
特許文献１、３に記載された処理で精度良いノイズレベルの特定を可能にするためには、ノイズ低減処理の適用対象となる画像信号において、画素の値とそのノイズレベルに１対１の単純な関係が成立していなければならない。
【００１１】
しかしながら、実際の画像信号において、このような関係は限られた場合のみにしか成立しない。画素の値とそのノイズレベルに１対１の単純な関係が成立する画像信号は例えば次の１．〜５．のとおりである。
１． イメージセンサ、アナログ前処理、及びＡＤ変換器からなるアナログフロントエンドから得られた撮像信号
２． 未処理の画像信号に黒レベルオフセット補正処理を施した画像信号
３． 白黒カメラの画像処理系の任意の処理部から出力される画像信号
４． 色補正マトリクスがない３板カラーカメラにおいて、ホワイトバランス処理を経た後の画像信号、またはホワイトバランスとガンマ処理を経た後の画像信号
５． ３板カラーカメラにおいて色補正マトリクスの非対角要素の絶対値が対角要素の値に対して比較的少ない場合の色補正マトリクス処理後のＲＧＢ画像信号、あるいはそのＲＧＢ画像信号にホワイトバランス処理を施した後の画像信号、ホワイトバランスとガンマ処理を施したあとの画像信号、補間処理の前にホワイトバランスとガンマ補正処理を行うような構成をとる単板カメラシステムにおけるガンマ補正後の画像信号
なお、色補正マトリクスでの補正量が十分に少なければ精度が近似的に確保できる。
【００１２】
以上の、あるいは以上に類する画像信号においては、信号レベルとそのノイズレベルに１変数１出力の単純な関係が厳密にまたは近似的に成立しており、特許文献１、３で示されている方法で精度良くノイズレベルの特定が可能であり、適切に使用された場合には相応の効果を得る。
【００１３】
しかしながら、たとえば画像信号として極めて広く用いられるＹＣｂＣｒ色空間で表現された画像信号においては、上述したような一対一の関係が成立しておらず、理論的には３変数関数で表される複雑な関係を持つ。
【００１４】
例えば、特許文献４においては、平均輝度値から色ノイズ量を推定する画像処理が記載されている。しかしながら、たとえば輝度信号Ｙの信号レベルだけから精度良くＹのノイズレベルを知ることは、理論的に不可能で、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒの３つの信号レベルから輝度信号Ｙのノイズレベルを特定する必要がある。また、色差信号Ｃｂ、Ｃｒのノイズに関しても同様のノイズ特定方法が必要である。
【００１５】
こうした画像信号においては、上述した特許文献４に記載された画像処理を含め、１変数関数や１次元ルックアップテーブルで記述される関係では、精度の高いノイズレベル特定は理論的に不可能である。
【００１６】
特許文献５は、画素の色を判断してノイズ低減処理に係るパラメータを制御することが記載されているが、色の判断方法に関する具体的な処理について記載されていない。このノイズ低減処理では、色の判断結果からノイズレベルを特定してパラメータを制御するのではなく、色を判断し単に視覚的経験則からパラメータを制御している。すなわち、このノイズ低減処理では、色の判断をノイズレベル特定のためには使用していないため、画像に含まれる実際のノイズレベルに応じた適応制御を行おうという目的とは異なる。
【００１７】
また特許文献５には記載されていないが、「色の判断」という場合、それが１次元の情報に基づくことは常識的に考えられず、ＹＣｂＣｒ色空間のうちの色差信号Ｃｂ、Ｃｒ、すなわち２次元の信号を元に２変数関数または２次元ルックアップテーブルで判断する場合、またはＹＣｂＣｒ空間の全ての信号、すなわち３次元の信号を元に３変数関数または３次元ルックアップテーブルで判断する場合がありえる。２次元と３次元の場合では、ノイズレベル特定の精度という視点からは大きな差があることは特許文献５において記載されていない。これはこのノイズ低減処理に係るパラメータ制御がノイズレベル特定の視点に立たず、単に視覚的経験則に頼っていることの現れであるといえる。
【００１８】
特許文献６は、ＹＵＶ信号のうちＵＶ、すなわち２次元の信号を用いて、色の判断を行う処理が記載されている。この場合は、ノイズレベルを特定するために２変数関数または２次元ルックアップテーブルを使用していることになるが、上述の通り、ＹＣｂＣｒ空間と同様にＹＵＶ空間の信号においては、精度よいノイズレベル特定のためには３次元の情報を使用することが理論的に必須であるので、この方式の精度にはおのずと限界がある。この特許文献６においても、上述した特許文献５と同様にノイズレベルを特定するというステップを経ずに、視覚的経験則に頼る考え方に立脚している。
【００１９】
以上のように、特許文献５、６では２次元以上の信号の値を使用してノイズ低減処理に係るパラメータを操作する枠組みが示されてはいるものの、もっぱら人間の色に対する視覚特性をノイズ低減処理に係るパラメータの制御に反映させようとする試みであり、実際に画像に含まれるノイズレベルを精度良く特定しようとするものではない。従ってこれらを使用した画像に含まれるノイズ低減処理では、その精度や効果に限界がある。
【００２０】
以上の考察を実証する例として、図９Ａに信号処理前の画素値とノイズレベルの関係を、図９Ｂに同じ画像データを処理した後のＹＣｂＣｒ空間の各信号レベルとそのノイズレベルとの対応関係を示す。
【００２１】
図９Ａでは、信号レベルとノイズレベルとに、関数やルックアップテーブルで近似可能な明確な相関があることが観察できる。これに対して、図９Ｂに示す輝度信号Ｙでは、信号レベルとノイズレベルの間に一定の相関がみられるが、色差信号Ｃｂ、Ｃｒにおいては相関が見られず、このままで１次元的なモデリングが不可能であることは明らかである。
【００２２】
対策法としては、図９Ａに示した近似可能な信号値とノイズレベルとの関係から単純な直線近似式を導出して、この導出した近似式を特殊な方法で伝播計算し、その結果を３次元のルックアップテーブルなどに予め記憶させ、このルックアップテーブルを参照して３次元の信号レベルとノイズレベルを対応付ける方法がある。この方法では理論的に高精度なノイズレベル特定が可能であるが、３次元のルックアップテーブルに必要とされるメモリ量や補間の計算量増加が大きいのに加えて、ヘッドアンプやホワイトバランスのゲインなど、撮像状況によって変化する画像処理パラメータに伴ってＹ、Ｃｂ、Ｃｒのノイズレベルが変化することに対応するための再計算と書き換えが必要とされるのでさらに計算量を増加してしまった。
【００２３】
【特許文献１】特開２００５−３１１４５５号公報
【特許文献２】特開２００６−１８０２６８号公報
【特許文献３】特開２００５−３０３８０３号公報
【特許文献４】特開２００５−１７５７１８号公報
【特許文献５】特開２００４−４０２３５号公報
【特許文献６】特開２００４−１５１９０７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
本発明は、このような実情に鑑みて提案されたものであり、撮像手段から得られる画像信号と異なる色空間に変換された画像信号に対して、少ない演算量で精度よくノイズレベルを予測して、予測したノイズレベルに応じてノイズ低減処理を施す画像処理装置、画像処理方法、プログラム、撮像装置、及び、撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００２５】
上述した課題を解決するための手段として、本発明に係る画像処理装置は、撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理装置において、上記第１の色空間の画像信号からノイズレベルを予測する予測手段と、上記予測手段により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換手段と、上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する第１の画像信号変換手段と、上記ノイズレベル変換手段により第２の色空間に変換されたノイズレベルに応じて、上記第１の画像信号変換手段により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える。
【００２６】
また、本発明に係る画像処理方法は、撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理方法において、上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する。
【００２７】
また、本発明に係るプログラムは、撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理をコンピュータに実行させるためのプログラムにおいて、上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する画像処理をコンピュータに実行させる。
【００２８】
また、本発明に係る撮像装置は、被写体像を撮像して第１の色空間の画像信号を出力する撮像手段と、上記第１の色空間の画像信号からノイズレベルを予測する予測手段と、上記予測手段により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換手段と、上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換手段と、上記ノイズレベル変換手段により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換手段により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える。
【００２９】
また、本発明に係る撮像方法は、被写体像を撮像して第１の色空間の画像信号を出力する撮像工程と、上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、上記撮像工程により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する。
【発明の効果】
【００３０】
本発明では、撮像手段により撮像された第１の色空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベルを予測し、この予測したノイズレベルを第１の色空間から第２の色空間に変換するので、第２の色空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。したがって、本発明では、画像信号のノイズレベルに応じて、撮像手段から得られる画像信号と異なる色空間に変換された画像信号に含まれるノイズを少ない演算量で精度よく低減することができる。
【発明を実施するための最良の形態】
【００３１】
本発明が適用された画像処理装置は、画像信号に含まれるノイズを低減する処理を行うものであり、例えば図１に示すようなデジタルカメラ１に組み込まれる。以下では、デジタルカメラ１が備える撮像処理系によって撮像された画像信号に含まれるノイズを低減する画像処理を用いて本発明を実施するための最良の形態を説明する。
【００３２】
デジタルカメラ１は、図１に示すように、ＣＣＤやＣＭＯＳなどのイメージセンサ１１によって撮像された画像信号を、フラッシュメモリなどの記録媒体１９に記録する撮像装置である。具体的に、デジタルカメラ１は、イメージセンサ１１と、プリアンプ１２と、ホワイトバランス（ＷＢ）補正部１３と、補間処理部１４と、γ補正部１５と、ＹＣ処理部１６と、圧縮処理部１７と、記録処理部１８と、記録媒体１９とを備える。
【００３３】
イメージセンサ１１は、被写体からの光を受光して電気信号に変換するＣＣＤやＣＭＯＳなどの固体撮像素子である。具体的に、イメージセンサ１１は、赤色、緑色、及び青色からなる３原色の色フィルタが受光素子上にベイヤー配列された単板式の撮像素子である。すなわち、イメージセンサ１１は、赤色信号を出力する画素（以下、便宜上Ｒ画素という。）、緑色信号を出力する画素（以下、便宜上Ｇ画素という。）、及び、青色信号を出力する画素（以下、便宜上Ｂ画素という。）がベイヤー配列された電気信号を読み出してプリアンプ１２に供給する。
【００３４】
なお、イメージセンサ１１は単板式の撮像素子に限定されるものではなく、３板式の撮像素子を用いるようにしても良い。また、イメージセンサ１１の画素配列はベイヤー配列でなくても良い。
【００３５】
プリアンプ１２は、撮像条件に応じて、イメージセンサ１１から供給される電気信号を増幅する。このような増幅処理を行うのは、室内や夜間などの光量が少ない撮像条件においてイメージセンサ１１が出力する電気信号の信号レベルが小さく、逆に日中の屋外などの光量が多い撮像条件においてイメージセンサ１１が出力する電気信号の信号レベルが大きく、このような撮像条件に依存する信号レベルの変化を基準レベルに調整するためである。
【００３６】
このようにして、プリアンプ１２は、撮像条件に応じて増幅率を設定し、この増幅率でイメージセンサ１１から供給される電気信号を増幅してＷＢ補正部１３に供給する。
【００３７】
ＷＢ補正部１３は、プリアンプ１２から供給される電気信号に対して白色補正処理を施す。このような白色補正処理を施すのは、Ｒ画素、Ｇ画素、Ｂ画素毎にそれぞれ感光特性が異なることによって生じる信号レベルの変化を調整するためである。
【００３８】
このようにして、ＷＢ補正部１３は、プリアンプ１２によって増幅された電気信号に対して、Ｒ画素、Ｇ画素、Ｂ画素毎にそれぞれホワイトバランスゲインを設定して補正処理を施して補間処理部１４に供給する。
【００３９】
補間処理部１４は、ＷＢ補正部１３から供給されるＲ画素、Ｇ画素、Ｂ画素がベイヤー配列された電気信号に対して補間処理を施し、赤色信号、緑色信号、及び、青色信号がそれぞれ全画素からなるＲＧＢ空間の画像信号を生成してγ補正部１５に供給する。
【００４０】
γ補正部１５は、補間処理部１４から供給される画像信号の各色信号に対してγ変換を施し、γ補正した画像信号をＹＣ処理部１６に供給する。
【００４１】
ＹＣ処理部１６は、γ補正部１５から供給されるＲＧＢ空間の画像信号に対して、後述する変換処理を施して、画像を符号化する処理に適した色空間である輝度信号Ｙと、輝度信号Ｙに対して帯域幅の狭い２つの色差信号Ｃｒ、ＣｂとからなるＹＣｒＣｂ空間の画像信号に変換する。そして、ＹＣ処理部１６は、ＹＣｒＣｂ空間に変換した画像信号に対して、この画像信号に含まれるノイズ成分を低減する処理を施して圧縮処理部１７に供給する。
【００４２】
なお、本実施の形態では、色空間の変換処理としてＹＣｒＣｂ空間を用いるが、これに限定されるものではなく、例えばＹＵＶ空間などの他の色空間の画像信号に変換するようにしてもよい。
【００４３】
圧縮処理部１７は、ＹＣ処理部１６から供給されるＹＣｒＣｂ空間の画像信号に対して、画像の冗長性を低減してデータ量を圧縮してＪＰＥＧ形式などのデータ形式に変換し、圧縮した画像データを記録処理部１８に供給する。
【００４４】
記録処理部１８は、圧縮処理部１７から供給される圧縮された画像データを、例えばフラッシュメモリなどの不揮発性の記録媒体１９に記録する処理を行う。
【００４５】
以上のような構成からなるデジタルカメラ１において、以下では、イメージセンサ１１によって撮像された画像信号に含まれるノイズを低減する処理を行うＹＣ処理部１６の構成と動作に注目して説明する。
【００４６】
図２は、ＹＣ処理部１６の第１の実施例であるＹＣ処理部１００の構成を示す図である。
【００４７】
第１の実施例に係るＹＣ処理部１００は、図２に示すように、第１の画像信号変換部２０と、ノイズ低減部３０と、第２の画像信号変換部４０と、ノイズレベル予測部５０と、ノイズレベル変換部６０とを備える。
【００４８】
第１の画像信号変換部２０は、γ補正部１５から供給される画像信号を、ＲＧＢ空間からＹＣｒＣｂ空間に変換する処理部であって、色空間変換部２１と、ローパスフィルタ（ＬＰＦ）２２とを備える。
【００４９】
色空間変換部２１は、赤色信号と緑色信号と青色信号とからなるＲＧＢ色空間の画像信号を座標変換して、輝度信号Ｙと２つの色差信号Ｃｒ、ＣｂとからなるＹＣｒＣｂ空間の画像信号に変換する。なお、色空間変換部２１では、ＹＣｒＣｂへの座標変換と共に、色補正処理を行うようにしてもよい。
【００５０】
ＬＰＦ２２は、色空間変換部２１によりＹＣｒＣｂ空間に変換された画像信号のうち、２つの色差信号Ｃｒ、Ｃｂの帯域を、輝度信号Ｙの帯域に対して制限するため、色差信号Ｃｒ、Ｃｂにローパスフィルタリング処理を施す。
【００５１】
以上のような構成からなる第１の画像信号変換部２０では、輝度信号Ｙと、輝度信号Ｙに対して帯域が制限された２つの色差信号Ｃｒ、Ｃｂとからなる画像信号を、ノイズ低減部３０及び第２の画像信号変換部４０に供給する。
【００５２】
ノイズ低減部３０は、第１の画像信号変換部２０から供給されるＹＣｒＣｂ空間の画像信号に含まれるノイズを低減する処理部であって、例えば次のような構成となっている。すなわち、ノイズ低減部３０は、ローパスフィルタ（ＬＰＦ）３１と、減算器３２と、フィルタ部３３と、高域信号処理部３４と、加算器３５とを備える。
【００５３】
ノイズ低減部３０では、ローパスフィルタ３１と減算器３２とによって、輝度信号Ｙの帯域を高域と低域とに分離し、画像信号のエッジを保持するため輝度信号Ｙの高域成分を高域信号処理部３４に供給し、低域成分に含まれるノイズを低減するため輝度信号Ｙの低域成分をフィルタ部３３に供給する。
【００５４】
ローパスフィルタ３１は、第１の画像信号変換部２０から供給されるＹＣｒＣｂ空間の画像信号のうち、例えば輝度信号Ｙを２つの色差信号Ｃｒ、Ｃｂの帯域と同じ帯域となるように帯域を制限する。そして、ローパスフィルタ３１は、帯域を制限した輝度信号Ｙを減算器３２及びフィルタ部３３に供給する。
【００５５】
減算器３２は、第１の画像信号変換部２０から供給されるＹＣｒＣｂ空間の画像信号の輝度信号Ｙから、ローパスフィルタ３１で帯域が制限された輝度信号Ｙを減算して、輝度信号Ｙの高域成分のみを高域信号処理部３４に供給する。
【００５６】
フィルタ部３３は、輝度信号Ｙ、及び２つの色差信号Ｃｒ、Ｃｂに対して、それぞれεフィルタ処理を施すεフィルタ３３１、３３２、３３３から構成される。
【００５７】
すなわち、εフィルタ３３１は、ローパスフィルタ３１により帯域が制限された輝度信号Ｙに含まれるノイズを低減する。また、εフィルタ３３２は、第１の画像信号変換部２０から供給されるＹＣｒＣｂ空間の画像信号のうち、色差信号Ｃｒに含まれるノイズを低減する。また、εフィルタ３３３は、第１の画像信号変換部２０から供給されるＹＣｒＣｂ空間の画像信号のうち、色差信号Ｃｂに含まれるノイズを低減する。
【００５８】
ここで、各εフィルタ３３１、３３２、３３３が行うεフィルタリングは、ノイズ低減処理の一例であって、具体的には注目画素に対する周辺画素の画素値の差分が閾値に対して小さいときのみノイズであると判断して周辺画素から平滑化する処理である。したがって、εフィルタリングを適切に行うには、ノイズ判定に用いる閾値を、後述するノイズレベル変換部６０から供給される各信号のノイズレベルを制御指標として設定する必要がある。すなわち、フィルタ部３３では、後述するノイズレベル変換部６０から供給される各信号のノイズレベルを制御指標として、εフィルタ３３１、３３２、３３３のフィルタ特性を制御する。
【００５９】
なお、フィルタ部３３は、εフィルタリングに限定されるものではなく、閾値を用いてノイズ判別を行うバイラテラルフィルタなどのフィルタ処理を行うようにしてもよい。
【００６０】
高域信号処理部３４は、減算器３２から供給される輝度信号Ｙの高域成分のみからなる信号に対して、たとえばゲインによる変調やリミット処理などを施して加算器３５に供給する。
【００６１】
加算器３５は、フィルタ部３３のεフィルタ３３１から出力される輝度信号Ｙの低域成分の信号と、高域信号処理部３４から供給される輝度信号Ｙの高域成分の信号とを足し合わせて、帯域が制限されていない状態の輝度信号Ｙを出力する。
【００６２】
以上のような構成からなるノイズ低減部３０は、輝度信号Ｙのエッジを保存しつつ、フィルタ部３３によりεフィルタリング処理を施して、加算器３５から出力される輝度信号Ｙと、フィルタ部３３のεフィルタ３３２、３３３から出力される２つの色差信号Ｃｒ、Ｃｂとからなる画像信号を、後段の圧縮処理部１７に供給する。
【００６３】
また、ノイズ低減部３０では、フィルタ部３３においてεフィルタによるノイズ低減処理を行うのに、ノイズであるか否かを判断するための閾値を設定することを要する。ここで、ノイズ判別のための閾値は、通常、各信号のノイズレベルに基づいて算出され、本実施の形態では、各信号の標準偏差をノイズレベルとする。
【００６４】
しかしながら、ノイズ低減部３０が処理対象とするＹＣｂＣｒ空間の画像信号においては、信号の大きさとそのノイズレベルに１変数１出力の単純な関係は成立しておらず、精度良くノイズレベルを予測するには計算量が増大する。ここで、信号レベルとノイズレベルとの間の関係を複雑にする要因としては、第１の画像信号変換部２０によるＲＧＢ空間をＹＣｂＣｒ空間へ変換する処理を行うためのマトリクスの演算が挙げられる。
【００６５】
これに対して、ＹＣ処理部１００より前段で処理されるＲＧＢ空間の画像信号は、後述するように、信号とノイズレベルとの間に１変数１出力の関係が近似的に成り立ち、直線近似式でも実用的な精度で近似することができる。さらに、イメージセンサ１１から出力された信号に、Ｒ画素、Ｇ画素、Ｂ画素の各色信号毎に異なるゲイン補正、ホワイトバランス補正などの処理が行われたとしても、Ｒ、Ｇ、Ｂそれぞれでは比較的単純な関係が成立している。したがって、ＹＣｒＣｂ空間変換前のＲＧＢ空間の画像信号であれば、比較的単純な関係で実用的な精度のノイズレベル予測が可能である。
【００６６】
具体例として、図３にＹＣｂＣｒ空間に変換する前のＲＧＢ空間の画像信号の信号レベルとノイズレベルの関係を示す。図９Ｂに示すような、色差信号Ｃｂ、Ｃｒの信号とノイズレベルとの関係に比べてＲＧＢ空間の各色信号の方が信号レベルとノイズレベルとの間の相関が高い。
【００６７】
そこで、ＹＣ処理部１００では、イメージセンサ１１により撮像されたＲＧＢ空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベルを予測し、この予測したノイズレベルをＲＧＢ空間からＹＣｒＣｂ空間に変換し、このノイズレベルを指標としてノイズ低減部３０のフィルタ特性を制御するため、第２の画像信号変換部４０と、ノイズレベル予測部５０と、ノイズレベル変換部６０とが次のような構成を備える。
【００６８】
第２の画像信号変換部４０は、第１の画像信号変換部２０により変換されたＹＣｒＣｂ空間の画像信号を、ＹＣｒＣｂ空間からＲＧＢ空間に変換してノイズレベル予測部５０に供給するため、ローパスフィルタ４１と色空間変換部４２とを備える。
【００６９】
ローパスフィルタ４１は、第１の画像信号変換部２０により変換されたＹＣｒＣｂ空間の画像信号のうち、輝度信号Ｙを２つの色差信号Ｃｒ、Ｃｂの帯域と同じ帯域となるように帯域を制限する。そして、ローパスフィルタ４１は、帯域を制限した輝度信号Ｙを色空間変換部４２に供給する。
【００７０】
色空間変換部４２は、ローパスフィルタ４１によって帯域が揃えられた輝度信号Ｙ及び２つの色差信号Ｃｒ、Ｃｂからなる画像信号を、ＹＣｒＣｂ空間からＲＧＢ空間に座標変換する。そして、色空間変換部４２は、ＲＧＢ空間に変換された画像信号をノイズレベル予測部５０に供給する。
【００７１】
なお、必ずしも帯域が揃えられたＹＣｒＣｂ空間からＲＧＢ空間に変換された画像信号をノイズレベル予測部５０に供給しなければならないわけではなく、後述するような他の構成を用いてもよい。
【００７２】
ノイズレベル予測部５０は、第２の画像信号変換部４０から供給されるＲＧＢ空間の画像信号からノイズレベルを検出して、検出したノイズレベルをノイズレベル変換部６０に供給する。具体的に、ノイズレベル予測部５０は、ＲＧＢ空間の各色信号毎に、任意の信号レベルとノイズレベルとを対応付けた直線近似式が予め記憶されている予測式テーブル５１と、撮像状況に応じた直線近似式を予測式テーブル５１から参照して、参照した直線近似式からノイズレベルを算出するノイズレベル算出部５２とを備える。
【００７３】
予測式テーブル５１は、ＲＧＢ空間の各色信号において、任意の信号レベルとノイズレベルとを対応付けた直線近似式が予め記憶されている。予測式テーブル５１に記憶される直線近似式は、次のようにして導出される。
【００７４】
まず、ＹＣ処理部１００が組み込まれたデジタルカメラ１を用いてテスト色票を撮像して、ＲＧＢ空間の各信号の標準偏差σＲ、σＧ、σＢをノイズレベルとして測定し、これらの標準偏差σＲ、σＧ、σＢ分布を直線近似する。
【００７５】
ここで、各色信号ＲＧＢとノイズレベルσＲ、σＧ、σＢとの対応関係（すなわち近似直線のパラメータ）は撮影状況によって変化することを考慮に入れなければならない。
【００７６】
本実施の形態に係るデジタルカメラ１や動画像を撮像するカムコーダにおいては、被写体の明るさに応じて自動的に、あるいはユーザが任意に信号処理前のイメージセンサ１１出力に対して、上述したプリアンプ１２が一定の増幅率を設定する。また、デジタルカメラ１においては、光源に応じて各色信号Ｒ、Ｇ、Ｂの感度差を補正するため、ＷＢ補正部１３が各色信号にホワイトバランスゲインを設定する。実際にはこれらのゲインが撮像状況に応じて常に変動しており、ノイズレベルに影響を与えているため、ノイズレベルσＲ、σＧ、σＢの直線近似式はプリアンプの増幅率とホワイトバランスゲインとを変数とした関数として表される必要がある。
【００７７】
次に、ＲＧＢ信号値を入力値ｘとし、この信号値における信号の標準偏差σを直線近似した下記の近似式（１）を導出する処理を以下に示す。
【００７８】
【数１】
【００７９】
ここで、ＰとＱはそれぞれ直線の傾斜と切片であるが、いずれもプリアンプゲインとホワイトバランスゲインとを変数とした関数である。プリアンプゲインとホワイトバランスゲインとを乗じた値をｇとおき、下記式（２）（３）によりＰとＱを更に直線で近似する。
【００８０】
【数２】
【００８１】
【数３】
【００８２】
ここで、ａ、ｂ、ｃ、ｄはＰ、Ｑと同様に直線近似の定数である。これを式（１）に代入して、下記の式（４）を導出する。
【００８３】
【数４】
【００８４】
予め複数の光源及び明るさのもとで複数色の均一な画像を撮像して各々入力信号レベルｘに対するノイズレベルσを測定して、既知の入力信号レベルｘとノイズレベルの実測値σとからなるデータの総数をＮとし、下記の式（５）に示すような４元Ｎ連立方程式を作成する。
【００８５】
【数５】
【００８６】
式（５）を下記の式(６)のように表す。
【００８７】
【数６】
【００８８】
Ｂの二乗誤差を最小化するＸの解は、最小二乗法の公式から、下記の式（７）から求まる。
【００８９】
【数７】
【００９０】
そして、式（７）の演算結果を式（４）中の直線近似の定数ａ、ｂ、ｃ、ｄに代入することにより、入力信号レベルと撮像状況に応じた変数ｇとに応じたノイズレベルσの関数が導出される。
【００９１】
以上のようにして、ＲＧＢ空間におけるノイズレベルは、式（４）より、すなわち信号ｘとｇの関数として近似的に求まる。
【００９２】
ここで、ＲＧＢ空間における入力信号レベルとノイズレベルとを対応付けた直線近似式の例を図４に示す。図４は、プリアンプの増幅率が８で光源Ａにおける色信号Ｇのノイズレベルの実測値を○で示し、プリアンプの増幅率が３２で光源Ｄ６５における色信号Ｒのノイズレベルの実測値を□で示している。また、図４では、プリアンプの増幅率が８で光源Ａにおける色信号Ｇにおけるノイズレベルの直線近似式と、プリアンプの増幅率が３２で光源Ｄ６５における色信号Ｒにおけるノイズレベルの直線近似式とが実用的な精度で近似可能であることを示している。このように、図４に示した具体例のように、ノイズレベル予測部５０は、式（１）〜式（７）によって導出した直線近似式を用いて、色信号の信号レベルに対応するノイズレベルの値をおおよそ実用的な精度で予測することができる。
【００９３】
デジタルカメラ１では、プリアンプ１２の増幅率及びＷＢ補正部１３のホワイトバランスゲインを設定した各撮像状況毎に、任意の信号レベルとノイズレベルとを対応付けた直線近似式を、既知の信号レベルとノイズレベルの実測値を用いて式（１）〜式（７）により予め導出して、導出した直線近似式を予測式テーブル５１に記憶しておく。
【００９４】
ノイズレベル算出部５２は、導出された直線近似式を参照して、撮像状況、すなわちプリアンプ１２の増幅率及びＷＢ補正部１３のホワイトバランスゲインに応じた直線近似式を予測式テーブル５１から参照して、参照した直線近似式からノイズレベルを算出する。具体的に、ノイズレベル算出部５２は、フレームの更新タイミングを示す垂直同期信号に同期してプリアンプ１２の増幅率及びＷＢ補正部１３のホワイトバランスゲインを検出して、検出結果に応じた直線近似式を予測式テーブル５１から参照して、参照した直線近似式からノイズレベルを算出する。
【００９５】
なお、図４に示したノイズレベルσＲσＧσＢの予測では、式（４）によるパラメータ導出過程において、根拠とした測定データの分布範囲の外側において精度が著しく低下する場合がある。そこで、ノイズレベル算出部５２では、予測式テーブル５１に記憶されている式（１）〜式（７）によって導出した各直線近似式、例えば図４で示したプリアンプの増幅率が３２で光源Ｄ６５における色信号Ｒのノイズレベルに関する直線近似式に対して、図５に示すように式（４）の計算結果の上限と下限で所定の制限値を設定する。このようにして、ノイズレベル算出部５２は、直線近似式を用いて算出されるノイズレベルが上限下限において所定の制限値を超えているとき、制限値を画像信号のノイズレベルとして予測することによって、上述した精度の低下による予測誤差を低減することができる。
【００９６】
以上のような構成からなるノイズレベル予測部５０では、イメージセンサ１１により撮像されたＲＧＢ空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を、予め直線近似式として予測式テーブル５１に記憶しておき、ノイズレベル算出部５２がこの直線近似式を参照することで、比較的少ない演算量で精度よく入力信号レベルに対するノイズレベルを算出することができる。
【００９７】
ノイズレベル予測部５０で予測されたノイズレベルが供給されるノイズレベル変換部６０では、具体的には下記の式（８）により、ＲＧＢ空間の各色信号のノイズレベルσＲ、σＧ、σＢから、ＹＣｂＣｒ空間の各信号のノイズレベルσＹ、σＣｂ、σＣｒを求めて、求めたノイズレベルσＹ、σＣｂ、σＣｒをノイズ低減部３０に供給する。
【００９８】
【数８】
【００９９】
なお、行列ＭはＲＧＢ空間からＹＣｒＣｂ空間に座標変換するための変換行列である。なお、行列Ｍは、座標変換行列と、色補正処理を行うための変換行列とを乗じた行列としてもよい。
【０１００】
ここで、式（８）による変換処理において、ノイズレベルσＲ、σＧ、σＢからノイズレベルσＹ、σＣｂ、σＣｒに精度よく変換するには、各信号の帯域が揃っていることが必要である。
【０１０１】
ＹＣ処理部１００では、ノイズ低減部が輝度信号Ｙの帯域を分割して低域成分のみをεフィルタ３３１でフィルタリングしており、εフィルタ３３１に係る閾値が輝度信号Ｙの低域のみに行うこととしている。したがって、ノイズレベル変換部６０では、ノイズレベルを予測する対象のＹＣｂＣｒ空間の帯域を近似的に近いとみなして、ノイズレベルσＲ、σＧ、σＢからノイズレベルσＹ、σＣｂ、σＣｒに変換することができる。
【０１０２】
ここで、マクベスカラーパッチ２４色の色票をテスト色票の具体例として、ＲＧＢ空間で予測してＹＣｂＣｒ空間に変換したノイズレベルと、撮像画像から実測したＹＣｂＣｒ信号のノイズレベルの比較例を図６に示す。
【０１０３】
図６（Ａ）は、プリアンプの増幅率が８、Ａ光源における撮像状況において、横軸を色票番号、縦軸をノイズレベルとして、色差信号Ｃｒのノイズレベルの実測値を○表記の点を結んだ実線で示し、予測値を□表記の点を結んだ実線で示している。また、図６（Ｂ）は、プリアンプの増幅率が３２、Ｄ６５光源における撮像状況において、横軸を色票番号、縦軸をノイズレベルとして、色差信号Ｃｂのノイズレベルの実測値を○表記の点で結んだ実線で示し、予測値を□表記の点を結んだ実線で示している。
【０１０４】
図６（Ａ）、（Ｂ）に示すように、各撮像状況に応じて、ノイズレベル変換部６０で変換されたノイズレベルの予測値は、実測値が示すノイズレベルの変化に追従している。
【０１０５】
このようにして、ＹＣ処理部１００では、ノイズレベル予測部５０が、イメージセンサ１１により撮像されたＲＧＢ色空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベルを予測し、ノイズレベル変換部６０が、この予測したノイズレベルをＲＧＢ色空間からＹＣｒＣｂ空間に変換するので、図６の具体例に示すように、ＹＣｒＣｂ空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。
【０１０６】
したがって、ＹＣ処理部１００では、ノイズ低減部３０が、ノイズレベル変換部６０から供給されるノイズレベルσＹ、σＣｂ、σＣｒを制御指標として各εフィルタ３３１、３３２、３３３のフィルタ特性を制御して、イメージセンサ１１から得られる画像信号と異なる色空間であるＹＣｒＣｂ空間に変換された画像信号に含まれるノイズを精度よく低減することができる。
【０１０７】
具体的に、ノイズ低減部３０では、εフィルタ３３１、３３２、３３３の制御パラメータである各スレッショルドＴｈ＿Ｙ、Ｔｈ＿Ｃｂ、Ｔｈ＿Ｃｒの設定例として、下記式（９）〜（１１）のように、σＹ、σＣｂ、σＣｒの定数倍を用いる。
【０１０８】
Ｔｈ＿Ｙ＝ｋ＿ｙ×σＹ …（９）
Ｔｈ＿Ｃｂ＝ｋ＿ｃｂ×σＣｂ …（１０）
Ｔｈ＿Ｃｒ＝ｋ＿ｃｒ×σＣｒ …（１１）
【０１０９】
また、ノイズ低減部３０では、視覚的経験則を用いる方法と組み合わせて、各スレッショルドＴｈ＿Ｙ、Ｔｈ＿Ｃｂ、Ｔｈ＿Ｃｒを設定してもよい。この場合、ノイズ低減部３０は、Ｔｈ＿ｉ（ｉ＝ｙ，ｃｂ，ｃｒ）を直接制御するのではなく。検出した色に応じてｋ＿ｉを制御することで、測定に基づく正確なεフィルタ３３１、３３２、３３３のパラメータ制御と、視覚的経験則による知見をより高精度に統合することが可能となり、より高いノイズリダクション効果を実現することができる。
【０１１０】
以上のような構成からなる第１の実施例に係るＹＣ処理部１００では、第２の画像信号変換部４０がローパスフィルタ４１により輝度信号Ｙを２つの色差信号Ｃｒ、Ｃｂの帯域と同じ帯域となるように帯域を制限している。
【０１１１】
これに対して、第２の実施例に係るＹＣ処理部２００は、図７に示すように、ノイズ低減部３０が備えるローパスフィルタ３１によって帯域が揃えられた輝度信号Ｙ及び２つの色差信号Ｃｒ、Ｃｂからなる画像信号を色空間変換部４２に供給し、色空間変換部４２によりＹＣｒＣｂ空間からＲＧＢ空間に変換した画像信号をノイズレベル予測部５０に供給するものである。なお、第２の実施例に係るＹＣ処理部２００のうち、第１の実施例に係るＹＣ処理部１００と同様の処理部に関しては同様の符号を付して、その説明を省略する。
【０１１２】
このように、第２の実施例に係るＹＣ処理部２００では、ノイズ低減部３０内においてフィルタ部３３へ供給するために帯域が揃えられた輝度信号Ｙ及び２つの色差信号Ｃｒ、Ｃｂからなる画像信号を色空間変換部４２に供給することで、ローパスフィルタ４１を省略して第２の画像信号変換部４０の機能を実現することができる。したがって、第２の実施例に係るＹＣ処理部２００では、第１の実施例に係るＹＣ処理部１００と同様に、ＹＣｒＣｂ空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができるとともに、第１の実施例に係るＹＣ処理部１００に比べて回路規模を削減することができる。
【０１１３】
また、第１及び第２の実施例では、第２の画像信号変換部４０によりＹＣｒＣｂ空間からＲＧＢ空間に逆変換した画像信号をノイズレベル予測部５０に供給している。しかしながら、ＹＣ処理部１６は、ノイズレベル予測部５０にＲＧＢ空間の画像信号を供給するものであれば上述した実施例の構成に限定されるものではなく、例えば図８に示すような第３の実施例のような構成にしてもよい。
【０１１４】
すなわち、第３の実施例に係るＹＣ処理部３００は、上述したＹＣ処理部１００、２００と異なり、第２の画像信号変換部４０の代わりに、具体的には後述するローパスフィルタ７０を備えたものである。なお、第３の実施例に係るＹＣ処理部３００のうち、第１、第２の実施例に係るＹＣ処理部１００、２００と同様の処理部に関しては同様の符号を付して、その説明を省略する。
【０１１５】
第３の実施例に係るＹＣ処理部３００では、前段のγ補正部１５から供給されるＲＧＢ空間の画像信号を第１の画像信号変換部２０及びローパスフィルタ７０にそれぞれ供給する。そして、ＹＣ処理部３００では、ローパスフィルタ７０が、帯域制限処理を各色信号に施し、帯域を制限したＲＧＢ空間の画像信号をノイズレベル予測部５０に供給する。
【０１１６】
ローパスフィルタ７０は、γ補正部１５から供給されるＲＧＢ空間の画像信号に対して、仮にこの画像信号がＹＣｒＣｂ空間に変換されたとき輝度信号Ｙと２つの色差信号Ｃｒ、Ｃｂが共に帯域が揃った状態となるように、帯域制限処理を施す。
【０１１７】
このような処理をローパスフィルタ７０が施すのは、例えば、上述したようにノイズレベル変換部６０において精度よくノイズレベルをＲＧＢ空間からＹＣｒＣｂ空間に変換するのに、各信号の帯域が揃っていることが必要だからである。換言すれば、このローパスフィルタ７０の構成や特性の選択によって、ノイズ低減処理に適用されるスレッショルドの画素ごとのばらつきを調整することができ、その結果ノイズ低減処理の画質的効果を最適化することができる。
【０１１８】
なお、ローパスフィルタ７０以外に係る第３の実施例に係るＹＣ処理部３００が行う処理は、第１〜第２の実施例と同様なので、その説明を省略する。
【０１１９】
以上のように、本実施の形態に係るデジタルカメラ１では、ＹＣ処理部１６内において、ノイズレベル予測部５０がノイズレベルを予測し、ノイズレベル変換部６０がこの予測したノイズレベルをＲＧＢ色空間からＹＣｒＣｂ空間に変換するので、下記の理由により従来に比べて、ＹＣｒＣｂ空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。
【０１２０】
これは、画像信号に含まれるノイズに、その信号の大きさに対する依存性があり、その依存性に従ってスレッショルド制御を行うことがノイズ低減処理の効果を高めるために有効だからである。しかしながら、従来では、ＹＣｂＣｒ空間のような、多くの信号処理を経た後の画像信号におけるノイズにおいて、信号レベルとノイズレベルとの間に３次元的な複雑な関係があり、ノイズレベルの精度良い推定が困難で、効果的なノイズ低減処理を行うことができなかった。
【０１２１】
これに対して、イメージセンサ１１により撮像されたＲＧＢ色空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベル予測部５０がノイズレベルを予測するので、ＹＣ処理部１６では、従来に比べて、ＹＣｒＣｂ空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。よって、デジタルカメラ１では、ＹＣ処理部１６内において、ノイズ低減部３０が、ノイズレベル変換部６０から供給されるノイズレベルσＹ、σＣｒ、σＣｂを制御指標として各εフィルタ３３１、３３２、３３３のフィルタ特性を制御して、イメージセンサ１１から得られる画像信号と異なる色空間であるＹＣｒＣｂ空間に変換された画像信号に含まれるノイズを精度よく低減することができる。
【０１２２】
また、デジタルカメラ１では、プリアンプ１２の増幅率及びＷＢ補正部１３のホワイトバランスゲインに対応して、ＲＧＢ空間での信号レベルとノイズレベルの関係を簡単な直線近似式で近似して、この直線近似式を用いてノイズレベルを予測するので、撮像状況によって逐次変化するプリアンプゲインやホワイトバランスゲインに応じたＹＣｒＣｂノイズレベルの変化に容易に対応してノイズレベルを少ない演算量で精度よく予測することができる。これは、デジタルカメラ１やカムコーダにおいて、プリアンプゲインやホワイトバランスゲインが撮像状況に応じて頻繁に変更されており、例えばεフィルタリング処理のスレッショルドなどのようにノイズ低減処理系のフィルタパラメータもこのような変更に応じて追従して更新される必要があるからである。
【０１２３】
なお、上述したＹＣ処理部１６の具体例として示したＹＣ処理部１００、２００、３００は、個々の処理部を専用のハードウェアを用いて実装してもよく、または、ＲＡＭなどの記憶媒体に記憶されている画像処理プログラムを汎用のプロセッサに読み出すことによって実装するようにしてもよい。
【０１２４】
また、本発明は、上述したイメージセンサ１１から静止画像を取り込んで記録媒体１９に記録するデジタルカメラ１のみに適用されるものではなく、動画像を取り込んで動画像の画像信号に含まれるノイズを低減するカムコーダの信号処理系に適応することが可能である。また、本発明は、例えば撮像装置以外のコンピュータで実行される画像処理プログラムによってＹＣｒＣｂ空間の画像信号に含まれるノイズを低減する処理系にも適用する事が可能である。
【図面の簡単な説明】
【０１２５】
【図１】本発明が適用されたデジタルカメラの全体構成を示す図である。
【図２】第１の実施例に係るＹＣ処理部の構成を示す図である。
【図３】ＲＧＢ空間の画像信号の信号レベルとノイズレベルの関係を説明するための図である。
【図４】ＲＧＢ空間における入力信号レベルとノイズレベルとを対応付けた直線近似式を説明するための図である。
【図５】入力信号レベルとノイズレベルとを対応付けた直線近似式に上限と下限で所定の制限値を設定する処理について説明するための図である。
【図６】ＲＧＢ空間で予測してＹＣｂＣｒ空間に変換したノイズレベルと、撮像画像から実測したＹＣｂＣｒ信号のノイズレベルの比較例を示す図である。
【図７】第２の実施例に係るＹＣ処理部の構成を示す図である。
【図８】第３の実施例に係るＹＣ処理部の構成を示す図である。
【図９Ａ】信号処理前の画素値とノイズレベルの関係を説明するための図である。
【図９Ｂ】同じ画像データを処理した後のＹＣｂＣｒ空間の各信号レベルとそのノイズレベルとの対応関係を説明するための図である。
【符号の説明】
【０１２６】
１ デジタルカメラ、１１ イメージセンサ、１２ プリアンプ、１３ ＷＢ補正部、１４ 補間処理部、１５ γ補正部、１６、１００、２００、３００ ＹＣ処理部、１７ 圧縮処理部、１８ 記録処理部、１９ 記録媒体、２０ 第１の画像信号変換部、２１ 色空間変換部、２２、３１、４１、７０ ローパスフィルタ、３０ ノイズ低減部、３２ 減算器、３３ フィルタ部、３３１、３３２、３３３ εフィルタ、３４ 高域信号処理部、３５ 加算器、４０ 第２の画像信号変換部、４２ 色空間変換部、５０ ノイズレベル予測部、５１ 予測式テーブル、５２ ノイズレベル算出部、６０ ノイズレベル変換部、
【技術分野】
【０００１】
本発明は、撮像手段によって撮像された画像信号に含まれるノイズを低減する処理を行う画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法に関するものである。
【背景技術】
【０００２】
一般的に、画像信号に含まれるノイズ成分を低減するノイズ低減処理では、画像信号の輪郭情報を保存しつつ、ノイズ成分のみを平均化や閾値による判定処理によって平滑化しようとする。一般的なノイズ低減処理では、輪郭情報とノイズとの識別のために、一定の閾値、あるいはそれに対応するパラメータが用いられている。
【０００３】
一例として、ウェーブレット変換を用いたノイズ低減処理では、スレッショルドといわれるパラメータが、上述した輪郭情報とノイズとの識別のための情報として用いられている。
【０００４】
別の例として、イプシロンフィルタ（特許文献１）やバイラテラルフィルタ（特許文献２）として知られるノイズ低減処理では、注目画素と周辺画素との差の大きさに応じて重み付き加算を行うが、この重みを決定するための関数を画像信号のノイズレベルに応じて設定する必要がある。例えば、イプシロンフィルタでは矩形の広がりをもつ関数を用いて、この重みを決定している。また、バイラテラルフィルタでは、ガウス関数の広がりをもつ関数を用いて、この重みを決定している。この広がりを決定するパラメータは、ウェーブレット変換を用いたノイズ低減処理におけるスレッショルドと同様に、輪郭情報とノイズの識別のための閾値として用いられている。
【０００５】
これらのパラメータには、有効な画像情報とノイズを切り分けるための境界値としての意味合いがある。したがって、これらのパラメータを画像信号のノイズレベルに合わせて適切に設定することが、より効果的にノイズ低減処理を行うのにきわめて重要となる。
【０００６】
すなわち、より効果的にノイズ低減処理を行うのには、画像のノイズレベルを可能な限り正確に知ることが必要となる。
【０００７】
画像に含まれるノイズには、その画像の信号レベルに対して依存性があることが一般的に知られている。したがって、上述したようなノイズ低減処理に用いられるパラメータを画像信号の信号レベル、例えば輝度レベルに応じて制御することがノイズ低減処理の効果を高めるために有効である。
【０００８】
例えば、特許文献１には、イプシロンフィルタを基本とする画像ノイズ低減処理において、画像に含まれるノイズレベルを画素の値から計算で求めて、輪郭情報とノイズの識別のための閾値を制御する処理が記載されている。
【０００９】
また特許文献３においては、輪郭情報とノイズとの識別のために設定する閾値の制御精度を向上するため、閾値を求めるときにルックアップテーブルを使用する処理が記載されている。
【００１０】
特許文献１、３に記載された処理で精度良いノイズレベルの特定を可能にするためには、ノイズ低減処理の適用対象となる画像信号において、画素の値とそのノイズレベルに１対１の単純な関係が成立していなければならない。
【００１１】
しかしながら、実際の画像信号において、このような関係は限られた場合のみにしか成立しない。画素の値とそのノイズレベルに１対１の単純な関係が成立する画像信号は例えば次の１．〜５．のとおりである。
１． イメージセンサ、アナログ前処理、及びＡＤ変換器からなるアナログフロントエンドから得られた撮像信号
２． 未処理の画像信号に黒レベルオフセット補正処理を施した画像信号
３． 白黒カメラの画像処理系の任意の処理部から出力される画像信号
４． 色補正マトリクスがない３板カラーカメラにおいて、ホワイトバランス処理を経た後の画像信号、またはホワイトバランスとガンマ処理を経た後の画像信号
５． ３板カラーカメラにおいて色補正マトリクスの非対角要素の絶対値が対角要素の値に対して比較的少ない場合の色補正マトリクス処理後のＲＧＢ画像信号、あるいはそのＲＧＢ画像信号にホワイトバランス処理を施した後の画像信号、ホワイトバランスとガンマ処理を施したあとの画像信号、補間処理の前にホワイトバランスとガンマ補正処理を行うような構成をとる単板カメラシステムにおけるガンマ補正後の画像信号
なお、色補正マトリクスでの補正量が十分に少なければ精度が近似的に確保できる。
【００１２】
以上の、あるいは以上に類する画像信号においては、信号レベルとそのノイズレベルに１変数１出力の単純な関係が厳密にまたは近似的に成立しており、特許文献１、３で示されている方法で精度良くノイズレベルの特定が可能であり、適切に使用された場合には相応の効果を得る。
【００１３】
しかしながら、たとえば画像信号として極めて広く用いられるＹＣｂＣｒ色空間で表現された画像信号においては、上述したような一対一の関係が成立しておらず、理論的には３変数関数で表される複雑な関係を持つ。
【００１４】
例えば、特許文献４においては、平均輝度値から色ノイズ量を推定する画像処理が記載されている。しかしながら、たとえば輝度信号Ｙの信号レベルだけから精度良くＹのノイズレベルを知ることは、理論的に不可能で、輝度信号Ｙ、色差信号Ｃｂ、Ｃｒの３つの信号レベルから輝度信号Ｙのノイズレベルを特定する必要がある。また、色差信号Ｃｂ、Ｃｒのノイズに関しても同様のノイズ特定方法が必要である。
【００１５】
こうした画像信号においては、上述した特許文献４に記載された画像処理を含め、１変数関数や１次元ルックアップテーブルで記述される関係では、精度の高いノイズレベル特定は理論的に不可能である。
【００１６】
特許文献５は、画素の色を判断してノイズ低減処理に係るパラメータを制御することが記載されているが、色の判断方法に関する具体的な処理について記載されていない。このノイズ低減処理では、色の判断結果からノイズレベルを特定してパラメータを制御するのではなく、色を判断し単に視覚的経験則からパラメータを制御している。すなわち、このノイズ低減処理では、色の判断をノイズレベル特定のためには使用していないため、画像に含まれる実際のノイズレベルに応じた適応制御を行おうという目的とは異なる。
【００１７】
また特許文献５には記載されていないが、「色の判断」という場合、それが１次元の情報に基づくことは常識的に考えられず、ＹＣｂＣｒ色空間のうちの色差信号Ｃｂ、Ｃｒ、すなわち２次元の信号を元に２変数関数または２次元ルックアップテーブルで判断する場合、またはＹＣｂＣｒ空間の全ての信号、すなわち３次元の信号を元に３変数関数または３次元ルックアップテーブルで判断する場合がありえる。２次元と３次元の場合では、ノイズレベル特定の精度という視点からは大きな差があることは特許文献５において記載されていない。これはこのノイズ低減処理に係るパラメータ制御がノイズレベル特定の視点に立たず、単に視覚的経験則に頼っていることの現れであるといえる。
【００１８】
特許文献６は、ＹＵＶ信号のうちＵＶ、すなわち２次元の信号を用いて、色の判断を行う処理が記載されている。この場合は、ノイズレベルを特定するために２変数関数または２次元ルックアップテーブルを使用していることになるが、上述の通り、ＹＣｂＣｒ空間と同様にＹＵＶ空間の信号においては、精度よいノイズレベル特定のためには３次元の情報を使用することが理論的に必須であるので、この方式の精度にはおのずと限界がある。この特許文献６においても、上述した特許文献５と同様にノイズレベルを特定するというステップを経ずに、視覚的経験則に頼る考え方に立脚している。
【００１９】
以上のように、特許文献５、６では２次元以上の信号の値を使用してノイズ低減処理に係るパラメータを操作する枠組みが示されてはいるものの、もっぱら人間の色に対する視覚特性をノイズ低減処理に係るパラメータの制御に反映させようとする試みであり、実際に画像に含まれるノイズレベルを精度良く特定しようとするものではない。従ってこれらを使用した画像に含まれるノイズ低減処理では、その精度や効果に限界がある。
【００２０】
以上の考察を実証する例として、図９Ａに信号処理前の画素値とノイズレベルの関係を、図９Ｂに同じ画像データを処理した後のＹＣｂＣｒ空間の各信号レベルとそのノイズレベルとの対応関係を示す。
【００２１】
図９Ａでは、信号レベルとノイズレベルとに、関数やルックアップテーブルで近似可能な明確な相関があることが観察できる。これに対して、図９Ｂに示す輝度信号Ｙでは、信号レベルとノイズレベルの間に一定の相関がみられるが、色差信号Ｃｂ、Ｃｒにおいては相関が見られず、このままで１次元的なモデリングが不可能であることは明らかである。
【００２２】
対策法としては、図９Ａに示した近似可能な信号値とノイズレベルとの関係から単純な直線近似式を導出して、この導出した近似式を特殊な方法で伝播計算し、その結果を３次元のルックアップテーブルなどに予め記憶させ、このルックアップテーブルを参照して３次元の信号レベルとノイズレベルを対応付ける方法がある。この方法では理論的に高精度なノイズレベル特定が可能であるが、３次元のルックアップテーブルに必要とされるメモリ量や補間の計算量増加が大きいのに加えて、ヘッドアンプやホワイトバランスのゲインなど、撮像状況によって変化する画像処理パラメータに伴ってＹ、Ｃｂ、Ｃｒのノイズレベルが変化することに対応するための再計算と書き換えが必要とされるのでさらに計算量を増加してしまった。
【００２３】
【特許文献１】特開２００５−３１１４５５号公報
【特許文献２】特開２００６−１８０２６８号公報
【特許文献３】特開２００５−３０３８０３号公報
【特許文献４】特開２００５−１７５７１８号公報
【特許文献５】特開２００４−４０２３５号公報
【特許文献６】特開２００４−１５１９０７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２４】
本発明は、このような実情に鑑みて提案されたものであり、撮像手段から得られる画像信号と異なる色空間に変換された画像信号に対して、少ない演算量で精度よくノイズレベルを予測して、予測したノイズレベルに応じてノイズ低減処理を施す画像処理装置、画像処理方法、プログラム、撮像装置、及び、撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００２５】
上述した課題を解決するための手段として、本発明に係る画像処理装置は、撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理装置において、上記第１の色空間の画像信号からノイズレベルを予測する予測手段と、上記予測手段により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換手段と、上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する第１の画像信号変換手段と、上記ノイズレベル変換手段により第２の色空間に変換されたノイズレベルに応じて、上記第１の画像信号変換手段により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える。
【００２６】
また、本発明に係る画像処理方法は、撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理方法において、上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する。
【００２７】
また、本発明に係るプログラムは、撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理をコンピュータに実行させるためのプログラムにおいて、上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する画像処理をコンピュータに実行させる。
【００２８】
また、本発明に係る撮像装置は、被写体像を撮像して第１の色空間の画像信号を出力する撮像手段と、上記第１の色空間の画像信号からノイズレベルを予測する予測手段と、上記予測手段により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換手段と、上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換手段と、上記ノイズレベル変換手段により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換手段により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える。
【００２９】
また、本発明に係る撮像方法は、被写体像を撮像して第１の色空間の画像信号を出力する撮像工程と、上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、上記撮像工程により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する。
【発明の効果】
【００３０】
本発明では、撮像手段により撮像された第１の色空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベルを予測し、この予測したノイズレベルを第１の色空間から第２の色空間に変換するので、第２の色空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。したがって、本発明では、画像信号のノイズレベルに応じて、撮像手段から得られる画像信号と異なる色空間に変換された画像信号に含まれるノイズを少ない演算量で精度よく低減することができる。
【発明を実施するための最良の形態】
【００３１】
本発明が適用された画像処理装置は、画像信号に含まれるノイズを低減する処理を行うものであり、例えば図１に示すようなデジタルカメラ１に組み込まれる。以下では、デジタルカメラ１が備える撮像処理系によって撮像された画像信号に含まれるノイズを低減する画像処理を用いて本発明を実施するための最良の形態を説明する。
【００３２】
デジタルカメラ１は、図１に示すように、ＣＣＤやＣＭＯＳなどのイメージセンサ１１によって撮像された画像信号を、フラッシュメモリなどの記録媒体１９に記録する撮像装置である。具体的に、デジタルカメラ１は、イメージセンサ１１と、プリアンプ１２と、ホワイトバランス（ＷＢ）補正部１３と、補間処理部１４と、γ補正部１５と、ＹＣ処理部１６と、圧縮処理部１７と、記録処理部１８と、記録媒体１９とを備える。
【００３３】
イメージセンサ１１は、被写体からの光を受光して電気信号に変換するＣＣＤやＣＭＯＳなどの固体撮像素子である。具体的に、イメージセンサ１１は、赤色、緑色、及び青色からなる３原色の色フィルタが受光素子上にベイヤー配列された単板式の撮像素子である。すなわち、イメージセンサ１１は、赤色信号を出力する画素（以下、便宜上Ｒ画素という。）、緑色信号を出力する画素（以下、便宜上Ｇ画素という。）、及び、青色信号を出力する画素（以下、便宜上Ｂ画素という。）がベイヤー配列された電気信号を読み出してプリアンプ１２に供給する。
【００３４】
なお、イメージセンサ１１は単板式の撮像素子に限定されるものではなく、３板式の撮像素子を用いるようにしても良い。また、イメージセンサ１１の画素配列はベイヤー配列でなくても良い。
【００３５】
プリアンプ１２は、撮像条件に応じて、イメージセンサ１１から供給される電気信号を増幅する。このような増幅処理を行うのは、室内や夜間などの光量が少ない撮像条件においてイメージセンサ１１が出力する電気信号の信号レベルが小さく、逆に日中の屋外などの光量が多い撮像条件においてイメージセンサ１１が出力する電気信号の信号レベルが大きく、このような撮像条件に依存する信号レベルの変化を基準レベルに調整するためである。
【００３６】
このようにして、プリアンプ１２は、撮像条件に応じて増幅率を設定し、この増幅率でイメージセンサ１１から供給される電気信号を増幅してＷＢ補正部１３に供給する。
【００３７】
ＷＢ補正部１３は、プリアンプ１２から供給される電気信号に対して白色補正処理を施す。このような白色補正処理を施すのは、Ｒ画素、Ｇ画素、Ｂ画素毎にそれぞれ感光特性が異なることによって生じる信号レベルの変化を調整するためである。
【００３８】
このようにして、ＷＢ補正部１３は、プリアンプ１２によって増幅された電気信号に対して、Ｒ画素、Ｇ画素、Ｂ画素毎にそれぞれホワイトバランスゲインを設定して補正処理を施して補間処理部１４に供給する。
【００３９】
補間処理部１４は、ＷＢ補正部１３から供給されるＲ画素、Ｇ画素、Ｂ画素がベイヤー配列された電気信号に対して補間処理を施し、赤色信号、緑色信号、及び、青色信号がそれぞれ全画素からなるＲＧＢ空間の画像信号を生成してγ補正部１５に供給する。
【００４０】
γ補正部１５は、補間処理部１４から供給される画像信号の各色信号に対してγ変換を施し、γ補正した画像信号をＹＣ処理部１６に供給する。
【００４１】
ＹＣ処理部１６は、γ補正部１５から供給されるＲＧＢ空間の画像信号に対して、後述する変換処理を施して、画像を符号化する処理に適した色空間である輝度信号Ｙと、輝度信号Ｙに対して帯域幅の狭い２つの色差信号Ｃｒ、ＣｂとからなるＹＣｒＣｂ空間の画像信号に変換する。そして、ＹＣ処理部１６は、ＹＣｒＣｂ空間に変換した画像信号に対して、この画像信号に含まれるノイズ成分を低減する処理を施して圧縮処理部１７に供給する。
【００４２】
なお、本実施の形態では、色空間の変換処理としてＹＣｒＣｂ空間を用いるが、これに限定されるものではなく、例えばＹＵＶ空間などの他の色空間の画像信号に変換するようにしてもよい。
【００４３】
圧縮処理部１７は、ＹＣ処理部１６から供給されるＹＣｒＣｂ空間の画像信号に対して、画像の冗長性を低減してデータ量を圧縮してＪＰＥＧ形式などのデータ形式に変換し、圧縮した画像データを記録処理部１８に供給する。
【００４４】
記録処理部１８は、圧縮処理部１７から供給される圧縮された画像データを、例えばフラッシュメモリなどの不揮発性の記録媒体１９に記録する処理を行う。
【００４５】
以上のような構成からなるデジタルカメラ１において、以下では、イメージセンサ１１によって撮像された画像信号に含まれるノイズを低減する処理を行うＹＣ処理部１６の構成と動作に注目して説明する。
【００４６】
図２は、ＹＣ処理部１６の第１の実施例であるＹＣ処理部１００の構成を示す図である。
【００４７】
第１の実施例に係るＹＣ処理部１００は、図２に示すように、第１の画像信号変換部２０と、ノイズ低減部３０と、第２の画像信号変換部４０と、ノイズレベル予測部５０と、ノイズレベル変換部６０とを備える。
【００４８】
第１の画像信号変換部２０は、γ補正部１５から供給される画像信号を、ＲＧＢ空間からＹＣｒＣｂ空間に変換する処理部であって、色空間変換部２１と、ローパスフィルタ（ＬＰＦ）２２とを備える。
【００４９】
色空間変換部２１は、赤色信号と緑色信号と青色信号とからなるＲＧＢ色空間の画像信号を座標変換して、輝度信号Ｙと２つの色差信号Ｃｒ、ＣｂとからなるＹＣｒＣｂ空間の画像信号に変換する。なお、色空間変換部２１では、ＹＣｒＣｂへの座標変換と共に、色補正処理を行うようにしてもよい。
【００５０】
ＬＰＦ２２は、色空間変換部２１によりＹＣｒＣｂ空間に変換された画像信号のうち、２つの色差信号Ｃｒ、Ｃｂの帯域を、輝度信号Ｙの帯域に対して制限するため、色差信号Ｃｒ、Ｃｂにローパスフィルタリング処理を施す。
【００５１】
以上のような構成からなる第１の画像信号変換部２０では、輝度信号Ｙと、輝度信号Ｙに対して帯域が制限された２つの色差信号Ｃｒ、Ｃｂとからなる画像信号を、ノイズ低減部３０及び第２の画像信号変換部４０に供給する。
【００５２】
ノイズ低減部３０は、第１の画像信号変換部２０から供給されるＹＣｒＣｂ空間の画像信号に含まれるノイズを低減する処理部であって、例えば次のような構成となっている。すなわち、ノイズ低減部３０は、ローパスフィルタ（ＬＰＦ）３１と、減算器３２と、フィルタ部３３と、高域信号処理部３４と、加算器３５とを備える。
【００５３】
ノイズ低減部３０では、ローパスフィルタ３１と減算器３２とによって、輝度信号Ｙの帯域を高域と低域とに分離し、画像信号のエッジを保持するため輝度信号Ｙの高域成分を高域信号処理部３４に供給し、低域成分に含まれるノイズを低減するため輝度信号Ｙの低域成分をフィルタ部３３に供給する。
【００５４】
ローパスフィルタ３１は、第１の画像信号変換部２０から供給されるＹＣｒＣｂ空間の画像信号のうち、例えば輝度信号Ｙを２つの色差信号Ｃｒ、Ｃｂの帯域と同じ帯域となるように帯域を制限する。そして、ローパスフィルタ３１は、帯域を制限した輝度信号Ｙを減算器３２及びフィルタ部３３に供給する。
【００５５】
減算器３２は、第１の画像信号変換部２０から供給されるＹＣｒＣｂ空間の画像信号の輝度信号Ｙから、ローパスフィルタ３１で帯域が制限された輝度信号Ｙを減算して、輝度信号Ｙの高域成分のみを高域信号処理部３４に供給する。
【００５６】
フィルタ部３３は、輝度信号Ｙ、及び２つの色差信号Ｃｒ、Ｃｂに対して、それぞれεフィルタ処理を施すεフィルタ３３１、３３２、３３３から構成される。
【００５７】
すなわち、εフィルタ３３１は、ローパスフィルタ３１により帯域が制限された輝度信号Ｙに含まれるノイズを低減する。また、εフィルタ３３２は、第１の画像信号変換部２０から供給されるＹＣｒＣｂ空間の画像信号のうち、色差信号Ｃｒに含まれるノイズを低減する。また、εフィルタ３３３は、第１の画像信号変換部２０から供給されるＹＣｒＣｂ空間の画像信号のうち、色差信号Ｃｂに含まれるノイズを低減する。
【００５８】
ここで、各εフィルタ３３１、３３２、３３３が行うεフィルタリングは、ノイズ低減処理の一例であって、具体的には注目画素に対する周辺画素の画素値の差分が閾値に対して小さいときのみノイズであると判断して周辺画素から平滑化する処理である。したがって、εフィルタリングを適切に行うには、ノイズ判定に用いる閾値を、後述するノイズレベル変換部６０から供給される各信号のノイズレベルを制御指標として設定する必要がある。すなわち、フィルタ部３３では、後述するノイズレベル変換部６０から供給される各信号のノイズレベルを制御指標として、εフィルタ３３１、３３２、３３３のフィルタ特性を制御する。
【００５９】
なお、フィルタ部３３は、εフィルタリングに限定されるものではなく、閾値を用いてノイズ判別を行うバイラテラルフィルタなどのフィルタ処理を行うようにしてもよい。
【００６０】
高域信号処理部３４は、減算器３２から供給される輝度信号Ｙの高域成分のみからなる信号に対して、たとえばゲインによる変調やリミット処理などを施して加算器３５に供給する。
【００６１】
加算器３５は、フィルタ部３３のεフィルタ３３１から出力される輝度信号Ｙの低域成分の信号と、高域信号処理部３４から供給される輝度信号Ｙの高域成分の信号とを足し合わせて、帯域が制限されていない状態の輝度信号Ｙを出力する。
【００６２】
以上のような構成からなるノイズ低減部３０は、輝度信号Ｙのエッジを保存しつつ、フィルタ部３３によりεフィルタリング処理を施して、加算器３５から出力される輝度信号Ｙと、フィルタ部３３のεフィルタ３３２、３３３から出力される２つの色差信号Ｃｒ、Ｃｂとからなる画像信号を、後段の圧縮処理部１７に供給する。
【００６３】
また、ノイズ低減部３０では、フィルタ部３３においてεフィルタによるノイズ低減処理を行うのに、ノイズであるか否かを判断するための閾値を設定することを要する。ここで、ノイズ判別のための閾値は、通常、各信号のノイズレベルに基づいて算出され、本実施の形態では、各信号の標準偏差をノイズレベルとする。
【００６４】
しかしながら、ノイズ低減部３０が処理対象とするＹＣｂＣｒ空間の画像信号においては、信号の大きさとそのノイズレベルに１変数１出力の単純な関係は成立しておらず、精度良くノイズレベルを予測するには計算量が増大する。ここで、信号レベルとノイズレベルとの間の関係を複雑にする要因としては、第１の画像信号変換部２０によるＲＧＢ空間をＹＣｂＣｒ空間へ変換する処理を行うためのマトリクスの演算が挙げられる。
【００６５】
これに対して、ＹＣ処理部１００より前段で処理されるＲＧＢ空間の画像信号は、後述するように、信号とノイズレベルとの間に１変数１出力の関係が近似的に成り立ち、直線近似式でも実用的な精度で近似することができる。さらに、イメージセンサ１１から出力された信号に、Ｒ画素、Ｇ画素、Ｂ画素の各色信号毎に異なるゲイン補正、ホワイトバランス補正などの処理が行われたとしても、Ｒ、Ｇ、Ｂそれぞれでは比較的単純な関係が成立している。したがって、ＹＣｒＣｂ空間変換前のＲＧＢ空間の画像信号であれば、比較的単純な関係で実用的な精度のノイズレベル予測が可能である。
【００６６】
具体例として、図３にＹＣｂＣｒ空間に変換する前のＲＧＢ空間の画像信号の信号レベルとノイズレベルの関係を示す。図９Ｂに示すような、色差信号Ｃｂ、Ｃｒの信号とノイズレベルとの関係に比べてＲＧＢ空間の各色信号の方が信号レベルとノイズレベルとの間の相関が高い。
【００６７】
そこで、ＹＣ処理部１００では、イメージセンサ１１により撮像されたＲＧＢ空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベルを予測し、この予測したノイズレベルをＲＧＢ空間からＹＣｒＣｂ空間に変換し、このノイズレベルを指標としてノイズ低減部３０のフィルタ特性を制御するため、第２の画像信号変換部４０と、ノイズレベル予測部５０と、ノイズレベル変換部６０とが次のような構成を備える。
【００６８】
第２の画像信号変換部４０は、第１の画像信号変換部２０により変換されたＹＣｒＣｂ空間の画像信号を、ＹＣｒＣｂ空間からＲＧＢ空間に変換してノイズレベル予測部５０に供給するため、ローパスフィルタ４１と色空間変換部４２とを備える。
【００６９】
ローパスフィルタ４１は、第１の画像信号変換部２０により変換されたＹＣｒＣｂ空間の画像信号のうち、輝度信号Ｙを２つの色差信号Ｃｒ、Ｃｂの帯域と同じ帯域となるように帯域を制限する。そして、ローパスフィルタ４１は、帯域を制限した輝度信号Ｙを色空間変換部４２に供給する。
【００７０】
色空間変換部４２は、ローパスフィルタ４１によって帯域が揃えられた輝度信号Ｙ及び２つの色差信号Ｃｒ、Ｃｂからなる画像信号を、ＹＣｒＣｂ空間からＲＧＢ空間に座標変換する。そして、色空間変換部４２は、ＲＧＢ空間に変換された画像信号をノイズレベル予測部５０に供給する。
【００７１】
なお、必ずしも帯域が揃えられたＹＣｒＣｂ空間からＲＧＢ空間に変換された画像信号をノイズレベル予測部５０に供給しなければならないわけではなく、後述するような他の構成を用いてもよい。
【００７２】
ノイズレベル予測部５０は、第２の画像信号変換部４０から供給されるＲＧＢ空間の画像信号からノイズレベルを検出して、検出したノイズレベルをノイズレベル変換部６０に供給する。具体的に、ノイズレベル予測部５０は、ＲＧＢ空間の各色信号毎に、任意の信号レベルとノイズレベルとを対応付けた直線近似式が予め記憶されている予測式テーブル５１と、撮像状況に応じた直線近似式を予測式テーブル５１から参照して、参照した直線近似式からノイズレベルを算出するノイズレベル算出部５２とを備える。
【００７３】
予測式テーブル５１は、ＲＧＢ空間の各色信号において、任意の信号レベルとノイズレベルとを対応付けた直線近似式が予め記憶されている。予測式テーブル５１に記憶される直線近似式は、次のようにして導出される。
【００７４】
まず、ＹＣ処理部１００が組み込まれたデジタルカメラ１を用いてテスト色票を撮像して、ＲＧＢ空間の各信号の標準偏差σＲ、σＧ、σＢをノイズレベルとして測定し、これらの標準偏差σＲ、σＧ、σＢ分布を直線近似する。
【００７５】
ここで、各色信号ＲＧＢとノイズレベルσＲ、σＧ、σＢとの対応関係（すなわち近似直線のパラメータ）は撮影状況によって変化することを考慮に入れなければならない。
【００７６】
本実施の形態に係るデジタルカメラ１や動画像を撮像するカムコーダにおいては、被写体の明るさに応じて自動的に、あるいはユーザが任意に信号処理前のイメージセンサ１１出力に対して、上述したプリアンプ１２が一定の増幅率を設定する。また、デジタルカメラ１においては、光源に応じて各色信号Ｒ、Ｇ、Ｂの感度差を補正するため、ＷＢ補正部１３が各色信号にホワイトバランスゲインを設定する。実際にはこれらのゲインが撮像状況に応じて常に変動しており、ノイズレベルに影響を与えているため、ノイズレベルσＲ、σＧ、σＢの直線近似式はプリアンプの増幅率とホワイトバランスゲインとを変数とした関数として表される必要がある。
【００７７】
次に、ＲＧＢ信号値を入力値ｘとし、この信号値における信号の標準偏差σを直線近似した下記の近似式（１）を導出する処理を以下に示す。
【００７８】
【数１】
【００７９】
ここで、ＰとＱはそれぞれ直線の傾斜と切片であるが、いずれもプリアンプゲインとホワイトバランスゲインとを変数とした関数である。プリアンプゲインとホワイトバランスゲインとを乗じた値をｇとおき、下記式（２）（３）によりＰとＱを更に直線で近似する。
【００８０】
【数２】
【００８１】
【数３】
【００８２】
ここで、ａ、ｂ、ｃ、ｄはＰ、Ｑと同様に直線近似の定数である。これを式（１）に代入して、下記の式（４）を導出する。
【００８３】
【数４】
【００８４】
予め複数の光源及び明るさのもとで複数色の均一な画像を撮像して各々入力信号レベルｘに対するノイズレベルσを測定して、既知の入力信号レベルｘとノイズレベルの実測値σとからなるデータの総数をＮとし、下記の式（５）に示すような４元Ｎ連立方程式を作成する。
【００８５】
【数５】
【００８６】
式（５）を下記の式(６)のように表す。
【００８７】
【数６】
【００８８】
Ｂの二乗誤差を最小化するＸの解は、最小二乗法の公式から、下記の式（７）から求まる。
【００８９】
【数７】
【００９０】
そして、式（７）の演算結果を式（４）中の直線近似の定数ａ、ｂ、ｃ、ｄに代入することにより、入力信号レベルと撮像状況に応じた変数ｇとに応じたノイズレベルσの関数が導出される。
【００９１】
以上のようにして、ＲＧＢ空間におけるノイズレベルは、式（４）より、すなわち信号ｘとｇの関数として近似的に求まる。
【００９２】
ここで、ＲＧＢ空間における入力信号レベルとノイズレベルとを対応付けた直線近似式の例を図４に示す。図４は、プリアンプの増幅率が８で光源Ａにおける色信号Ｇのノイズレベルの実測値を○で示し、プリアンプの増幅率が３２で光源Ｄ６５における色信号Ｒのノイズレベルの実測値を□で示している。また、図４では、プリアンプの増幅率が８で光源Ａにおける色信号Ｇにおけるノイズレベルの直線近似式と、プリアンプの増幅率が３２で光源Ｄ６５における色信号Ｒにおけるノイズレベルの直線近似式とが実用的な精度で近似可能であることを示している。このように、図４に示した具体例のように、ノイズレベル予測部５０は、式（１）〜式（７）によって導出した直線近似式を用いて、色信号の信号レベルに対応するノイズレベルの値をおおよそ実用的な精度で予測することができる。
【００９３】
デジタルカメラ１では、プリアンプ１２の増幅率及びＷＢ補正部１３のホワイトバランスゲインを設定した各撮像状況毎に、任意の信号レベルとノイズレベルとを対応付けた直線近似式を、既知の信号レベルとノイズレベルの実測値を用いて式（１）〜式（７）により予め導出して、導出した直線近似式を予測式テーブル５１に記憶しておく。
【００９４】
ノイズレベル算出部５２は、導出された直線近似式を参照して、撮像状況、すなわちプリアンプ１２の増幅率及びＷＢ補正部１３のホワイトバランスゲインに応じた直線近似式を予測式テーブル５１から参照して、参照した直線近似式からノイズレベルを算出する。具体的に、ノイズレベル算出部５２は、フレームの更新タイミングを示す垂直同期信号に同期してプリアンプ１２の増幅率及びＷＢ補正部１３のホワイトバランスゲインを検出して、検出結果に応じた直線近似式を予測式テーブル５１から参照して、参照した直線近似式からノイズレベルを算出する。
【００９５】
なお、図４に示したノイズレベルσＲσＧσＢの予測では、式（４）によるパラメータ導出過程において、根拠とした測定データの分布範囲の外側において精度が著しく低下する場合がある。そこで、ノイズレベル算出部５２では、予測式テーブル５１に記憶されている式（１）〜式（７）によって導出した各直線近似式、例えば図４で示したプリアンプの増幅率が３２で光源Ｄ６５における色信号Ｒのノイズレベルに関する直線近似式に対して、図５に示すように式（４）の計算結果の上限と下限で所定の制限値を設定する。このようにして、ノイズレベル算出部５２は、直線近似式を用いて算出されるノイズレベルが上限下限において所定の制限値を超えているとき、制限値を画像信号のノイズレベルとして予測することによって、上述した精度の低下による予測誤差を低減することができる。
【００９６】
以上のような構成からなるノイズレベル予測部５０では、イメージセンサ１１により撮像されたＲＧＢ空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を、予め直線近似式として予測式テーブル５１に記憶しておき、ノイズレベル算出部５２がこの直線近似式を参照することで、比較的少ない演算量で精度よく入力信号レベルに対するノイズレベルを算出することができる。
【００９７】
ノイズレベル予測部５０で予測されたノイズレベルが供給されるノイズレベル変換部６０では、具体的には下記の式（８）により、ＲＧＢ空間の各色信号のノイズレベルσＲ、σＧ、σＢから、ＹＣｂＣｒ空間の各信号のノイズレベルσＹ、σＣｂ、σＣｒを求めて、求めたノイズレベルσＹ、σＣｂ、σＣｒをノイズ低減部３０に供給する。
【００９８】
【数８】
【００９９】
なお、行列ＭはＲＧＢ空間からＹＣｒＣｂ空間に座標変換するための変換行列である。なお、行列Ｍは、座標変換行列と、色補正処理を行うための変換行列とを乗じた行列としてもよい。
【０１００】
ここで、式（８）による変換処理において、ノイズレベルσＲ、σＧ、σＢからノイズレベルσＹ、σＣｂ、σＣｒに精度よく変換するには、各信号の帯域が揃っていることが必要である。
【０１０１】
ＹＣ処理部１００では、ノイズ低減部が輝度信号Ｙの帯域を分割して低域成分のみをεフィルタ３３１でフィルタリングしており、εフィルタ３３１に係る閾値が輝度信号Ｙの低域のみに行うこととしている。したがって、ノイズレベル変換部６０では、ノイズレベルを予測する対象のＹＣｂＣｒ空間の帯域を近似的に近いとみなして、ノイズレベルσＲ、σＧ、σＢからノイズレベルσＹ、σＣｂ、σＣｒに変換することができる。
【０１０２】
ここで、マクベスカラーパッチ２４色の色票をテスト色票の具体例として、ＲＧＢ空間で予測してＹＣｂＣｒ空間に変換したノイズレベルと、撮像画像から実測したＹＣｂＣｒ信号のノイズレベルの比較例を図６に示す。
【０１０３】
図６（Ａ）は、プリアンプの増幅率が８、Ａ光源における撮像状況において、横軸を色票番号、縦軸をノイズレベルとして、色差信号Ｃｒのノイズレベルの実測値を○表記の点を結んだ実線で示し、予測値を□表記の点を結んだ実線で示している。また、図６（Ｂ）は、プリアンプの増幅率が３２、Ｄ６５光源における撮像状況において、横軸を色票番号、縦軸をノイズレベルとして、色差信号Ｃｂのノイズレベルの実測値を○表記の点で結んだ実線で示し、予測値を□表記の点を結んだ実線で示している。
【０１０４】
図６（Ａ）、（Ｂ）に示すように、各撮像状況に応じて、ノイズレベル変換部６０で変換されたノイズレベルの予測値は、実測値が示すノイズレベルの変化に追従している。
【０１０５】
このようにして、ＹＣ処理部１００では、ノイズレベル予測部５０が、イメージセンサ１１により撮像されたＲＧＢ色空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベルを予測し、ノイズレベル変換部６０が、この予測したノイズレベルをＲＧＢ色空間からＹＣｒＣｂ空間に変換するので、図６の具体例に示すように、ＹＣｒＣｂ空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。
【０１０６】
したがって、ＹＣ処理部１００では、ノイズ低減部３０が、ノイズレベル変換部６０から供給されるノイズレベルσＹ、σＣｂ、σＣｒを制御指標として各εフィルタ３３１、３３２、３３３のフィルタ特性を制御して、イメージセンサ１１から得られる画像信号と異なる色空間であるＹＣｒＣｂ空間に変換された画像信号に含まれるノイズを精度よく低減することができる。
【０１０７】
具体的に、ノイズ低減部３０では、εフィルタ３３１、３３２、３３３の制御パラメータである各スレッショルドＴｈ＿Ｙ、Ｔｈ＿Ｃｂ、Ｔｈ＿Ｃｒの設定例として、下記式（９）〜（１１）のように、σＹ、σＣｂ、σＣｒの定数倍を用いる。
【０１０８】
Ｔｈ＿Ｙ＝ｋ＿ｙ×σＹ …（９）
Ｔｈ＿Ｃｂ＝ｋ＿ｃｂ×σＣｂ …（１０）
Ｔｈ＿Ｃｒ＝ｋ＿ｃｒ×σＣｒ …（１１）
【０１０９】
また、ノイズ低減部３０では、視覚的経験則を用いる方法と組み合わせて、各スレッショルドＴｈ＿Ｙ、Ｔｈ＿Ｃｂ、Ｔｈ＿Ｃｒを設定してもよい。この場合、ノイズ低減部３０は、Ｔｈ＿ｉ（ｉ＝ｙ，ｃｂ，ｃｒ）を直接制御するのではなく。検出した色に応じてｋ＿ｉを制御することで、測定に基づく正確なεフィルタ３３１、３３２、３３３のパラメータ制御と、視覚的経験則による知見をより高精度に統合することが可能となり、より高いノイズリダクション効果を実現することができる。
【０１１０】
以上のような構成からなる第１の実施例に係るＹＣ処理部１００では、第２の画像信号変換部４０がローパスフィルタ４１により輝度信号Ｙを２つの色差信号Ｃｒ、Ｃｂの帯域と同じ帯域となるように帯域を制限している。
【０１１１】
これに対して、第２の実施例に係るＹＣ処理部２００は、図７に示すように、ノイズ低減部３０が備えるローパスフィルタ３１によって帯域が揃えられた輝度信号Ｙ及び２つの色差信号Ｃｒ、Ｃｂからなる画像信号を色空間変換部４２に供給し、色空間変換部４２によりＹＣｒＣｂ空間からＲＧＢ空間に変換した画像信号をノイズレベル予測部５０に供給するものである。なお、第２の実施例に係るＹＣ処理部２００のうち、第１の実施例に係るＹＣ処理部１００と同様の処理部に関しては同様の符号を付して、その説明を省略する。
【０１１２】
このように、第２の実施例に係るＹＣ処理部２００では、ノイズ低減部３０内においてフィルタ部３３へ供給するために帯域が揃えられた輝度信号Ｙ及び２つの色差信号Ｃｒ、Ｃｂからなる画像信号を色空間変換部４２に供給することで、ローパスフィルタ４１を省略して第２の画像信号変換部４０の機能を実現することができる。したがって、第２の実施例に係るＹＣ処理部２００では、第１の実施例に係るＹＣ処理部１００と同様に、ＹＣｒＣｂ空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができるとともに、第１の実施例に係るＹＣ処理部１００に比べて回路規模を削減することができる。
【０１１３】
また、第１及び第２の実施例では、第２の画像信号変換部４０によりＹＣｒＣｂ空間からＲＧＢ空間に逆変換した画像信号をノイズレベル予測部５０に供給している。しかしながら、ＹＣ処理部１６は、ノイズレベル予測部５０にＲＧＢ空間の画像信号を供給するものであれば上述した実施例の構成に限定されるものではなく、例えば図８に示すような第３の実施例のような構成にしてもよい。
【０１１４】
すなわち、第３の実施例に係るＹＣ処理部３００は、上述したＹＣ処理部１００、２００と異なり、第２の画像信号変換部４０の代わりに、具体的には後述するローパスフィルタ７０を備えたものである。なお、第３の実施例に係るＹＣ処理部３００のうち、第１、第２の実施例に係るＹＣ処理部１００、２００と同様の処理部に関しては同様の符号を付して、その説明を省略する。
【０１１５】
第３の実施例に係るＹＣ処理部３００では、前段のγ補正部１５から供給されるＲＧＢ空間の画像信号を第１の画像信号変換部２０及びローパスフィルタ７０にそれぞれ供給する。そして、ＹＣ処理部３００では、ローパスフィルタ７０が、帯域制限処理を各色信号に施し、帯域を制限したＲＧＢ空間の画像信号をノイズレベル予測部５０に供給する。
【０１１６】
ローパスフィルタ７０は、γ補正部１５から供給されるＲＧＢ空間の画像信号に対して、仮にこの画像信号がＹＣｒＣｂ空間に変換されたとき輝度信号Ｙと２つの色差信号Ｃｒ、Ｃｂが共に帯域が揃った状態となるように、帯域制限処理を施す。
【０１１７】
このような処理をローパスフィルタ７０が施すのは、例えば、上述したようにノイズレベル変換部６０において精度よくノイズレベルをＲＧＢ空間からＹＣｒＣｂ空間に変換するのに、各信号の帯域が揃っていることが必要だからである。換言すれば、このローパスフィルタ７０の構成や特性の選択によって、ノイズ低減処理に適用されるスレッショルドの画素ごとのばらつきを調整することができ、その結果ノイズ低減処理の画質的効果を最適化することができる。
【０１１８】
なお、ローパスフィルタ７０以外に係る第３の実施例に係るＹＣ処理部３００が行う処理は、第１〜第２の実施例と同様なので、その説明を省略する。
【０１１９】
以上のように、本実施の形態に係るデジタルカメラ１では、ＹＣ処理部１６内において、ノイズレベル予測部５０がノイズレベルを予測し、ノイズレベル変換部６０がこの予測したノイズレベルをＲＧＢ色空間からＹＣｒＣｂ空間に変換するので、下記の理由により従来に比べて、ＹＣｒＣｂ空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。
【０１２０】
これは、画像信号に含まれるノイズに、その信号の大きさに対する依存性があり、その依存性に従ってスレッショルド制御を行うことがノイズ低減処理の効果を高めるために有効だからである。しかしながら、従来では、ＹＣｂＣｒ空間のような、多くの信号処理を経た後の画像信号におけるノイズにおいて、信号レベルとノイズレベルとの間に３次元的な複雑な関係があり、ノイズレベルの精度良い推定が困難で、効果的なノイズ低減処理を行うことができなかった。
【０１２１】
これに対して、イメージセンサ１１により撮像されたＲＧＢ色空間の画像信号において成立する信号レベルとノイズレベルとの間の単純な対応関係を利用してノイズレベル予測部５０がノイズレベルを予測するので、ＹＣ処理部１６では、従来に比べて、ＹＣｒＣｂ空間における画像信号のノイズレベルを少ない演算量で精度よく予測することができる。よって、デジタルカメラ１では、ＹＣ処理部１６内において、ノイズ低減部３０が、ノイズレベル変換部６０から供給されるノイズレベルσＹ、σＣｒ、σＣｂを制御指標として各εフィルタ３３１、３３２、３３３のフィルタ特性を制御して、イメージセンサ１１から得られる画像信号と異なる色空間であるＹＣｒＣｂ空間に変換された画像信号に含まれるノイズを精度よく低減することができる。
【０１２２】
また、デジタルカメラ１では、プリアンプ１２の増幅率及びＷＢ補正部１３のホワイトバランスゲインに対応して、ＲＧＢ空間での信号レベルとノイズレベルの関係を簡単な直線近似式で近似して、この直線近似式を用いてノイズレベルを予測するので、撮像状況によって逐次変化するプリアンプゲインやホワイトバランスゲインに応じたＹＣｒＣｂノイズレベルの変化に容易に対応してノイズレベルを少ない演算量で精度よく予測することができる。これは、デジタルカメラ１やカムコーダにおいて、プリアンプゲインやホワイトバランスゲインが撮像状況に応じて頻繁に変更されており、例えばεフィルタリング処理のスレッショルドなどのようにノイズ低減処理系のフィルタパラメータもこのような変更に応じて追従して更新される必要があるからである。
【０１２３】
なお、上述したＹＣ処理部１６の具体例として示したＹＣ処理部１００、２００、３００は、個々の処理部を専用のハードウェアを用いて実装してもよく、または、ＲＡＭなどの記憶媒体に記憶されている画像処理プログラムを汎用のプロセッサに読み出すことによって実装するようにしてもよい。
【０１２４】
また、本発明は、上述したイメージセンサ１１から静止画像を取り込んで記録媒体１９に記録するデジタルカメラ１のみに適用されるものではなく、動画像を取り込んで動画像の画像信号に含まれるノイズを低減するカムコーダの信号処理系に適応することが可能である。また、本発明は、例えば撮像装置以外のコンピュータで実行される画像処理プログラムによってＹＣｒＣｂ空間の画像信号に含まれるノイズを低減する処理系にも適用する事が可能である。
【図面の簡単な説明】
【０１２５】
【図１】本発明が適用されたデジタルカメラの全体構成を示す図である。
【図２】第１の実施例に係るＹＣ処理部の構成を示す図である。
【図３】ＲＧＢ空間の画像信号の信号レベルとノイズレベルの関係を説明するための図である。
【図４】ＲＧＢ空間における入力信号レベルとノイズレベルとを対応付けた直線近似式を説明するための図である。
【図５】入力信号レベルとノイズレベルとを対応付けた直線近似式に上限と下限で所定の制限値を設定する処理について説明するための図である。
【図６】ＲＧＢ空間で予測してＹＣｂＣｒ空間に変換したノイズレベルと、撮像画像から実測したＹＣｂＣｒ信号のノイズレベルの比較例を示す図である。
【図７】第２の実施例に係るＹＣ処理部の構成を示す図である。
【図８】第３の実施例に係るＹＣ処理部の構成を示す図である。
【図９Ａ】信号処理前の画素値とノイズレベルの関係を説明するための図である。
【図９Ｂ】同じ画像データを処理した後のＹＣｂＣｒ空間の各信号レベルとそのノイズレベルとの対応関係を説明するための図である。
【符号の説明】
【０１２６】
１ デジタルカメラ、１１ イメージセンサ、１２ プリアンプ、１３ ＷＢ補正部、１４ 補間処理部、１５ γ補正部、１６、１００、２００、３００ ＹＣ処理部、１７ 圧縮処理部、１８ 記録処理部、１９ 記録媒体、２０ 第１の画像信号変換部、２１ 色空間変換部、２２、３１、４１、７０ ローパスフィルタ、３０ ノイズ低減部、３２ 減算器、３３ フィルタ部、３３１、３３２、３３３ εフィルタ、３４ 高域信号処理部、３５ 加算器、４０ 第２の画像信号変換部、４２ 色空間変換部、５０ ノイズレベル予測部、５１ 予測式テーブル、５２ ノイズレベル算出部、６０ ノイズレベル変換部、
【特許請求の範囲】
【請求項１】
撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理装置において、
上記第１の色空間の画像信号からノイズレベルを予測する予測手段と、
上記予測手段により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換手段と、
上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する第１の画像信号変換手段と、
上記ノイズレベル変換手段により第２の色空間に変換されたノイズレベルに応じて、上記第１の画像信号変換手段により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える画像処理装置。
【請求項２】
上記第１の画像信号変換手段により第２の色空間に変換された画像信号を、上記第２の色空間から上記第１の色空間に変換する第２の画像信号変換手段を更に備え、
上記第１の色空間は、赤色信号と緑色信号と青色信号とからなる色空間であり、
上記第２の色空間は、輝度信号と、該輝度信号に比べて帯域幅が狭い２つの色差信号とからなる色空間であり、
上記第２の画像信号変換手段は、上記第１の画像信号変換手段により第２の色空間に変換された画像信号における上記輝度信号を上記２つの色差信号の帯域と同じ帯域となるように帯域を制限する帯域制限手段と、該帯域制限手段により帯域が制限された輝度信号と該２つの色差信号とからなる画像信号を、上記第２の色空間から上記第１の色空間に座標変換する座標変換手段とを有し、
上記予測手段は、上記第２の画像信号変換手段により第１の色空間に変換された画像信号から、ノイズレベルを予測することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記予測手段は、任意の信号レベルとノイズレベルとを対応付けた直線近似式を用いて、上記第１の色空間の画像信号からノイズレベルを予測することを特徴とする請求項１記載の画像処理装置。
【請求項４】
上記撮像手段により撮像された第１の色空間の画像信号は、撮像素子により撮像されて増幅手段により増幅された画像信号であり、
上記予測手段は、上記増幅手段の増幅率を参照し、該参照した増幅率に対応する上記直線近似式を用いて、上記第１の色空間の画像信号からノイズレベルを予測することを特徴とする請求項３記載の画像処理装置。
【請求項５】
上記撮像手段により撮像された第１の色空間の画像信号は、撮像素子により撮像されて白色補正手段により白色補正された画像信号であり、
上記予測手段は、上記白色補正手段の補正係数を参照し、該参照した補正係数に対応する上記直線近似式を用いて、上記第１の色空間の画像信号からノイズレベルを予測することを特徴とする請求項３記載の画像処理装置。
【請求項６】
上記予測手段は、上記直線近似式を用いて算出されるノイズレベルが所定の制限値を超えているとき、該制限値を上記画像信号のノイズレベルとして予測することを特徴とする請求項３記載の画像処理装置。
【請求項７】
撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理方法において、
上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、
上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、
上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、
上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する画像処理方法。
【請求項８】
撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理をコンピュータに実行させるためのプログラムにおいて、
上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、
上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、
上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、
上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する画像処理をコンピュータに実行させるためのプログラム。
【請求項９】
被写体像を撮像して第１の色空間の画像信号を出力する撮像手段と、
上記第１の色空間の画像信号からノイズレベルを予測する予測手段と、
上記予測手段により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換手段と、
上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換手段と、
上記ノイズレベル変換手段により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換手段により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える撮像装置。
【請求項１０】
被写体像を撮像して第１の色空間の画像信号を出力する撮像工程と、
上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、
上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、
上記撮像工程により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、
上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する撮像方法。
【請求項１】
撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理装置において、
上記第１の色空間の画像信号からノイズレベルを予測する予測手段と、
上記予測手段により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換手段と、
上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する第１の画像信号変換手段と、
上記ノイズレベル変換手段により第２の色空間に変換されたノイズレベルに応じて、上記第１の画像信号変換手段により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える画像処理装置。
【請求項２】
上記第１の画像信号変換手段により第２の色空間に変換された画像信号を、上記第２の色空間から上記第１の色空間に変換する第２の画像信号変換手段を更に備え、
上記第１の色空間は、赤色信号と緑色信号と青色信号とからなる色空間であり、
上記第２の色空間は、輝度信号と、該輝度信号に比べて帯域幅が狭い２つの色差信号とからなる色空間であり、
上記第２の画像信号変換手段は、上記第１の画像信号変換手段により第２の色空間に変換された画像信号における上記輝度信号を上記２つの色差信号の帯域と同じ帯域となるように帯域を制限する帯域制限手段と、該帯域制限手段により帯域が制限された輝度信号と該２つの色差信号とからなる画像信号を、上記第２の色空間から上記第１の色空間に座標変換する座標変換手段とを有し、
上記予測手段は、上記第２の画像信号変換手段により第１の色空間に変換された画像信号から、ノイズレベルを予測することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記予測手段は、任意の信号レベルとノイズレベルとを対応付けた直線近似式を用いて、上記第１の色空間の画像信号からノイズレベルを予測することを特徴とする請求項１記載の画像処理装置。
【請求項４】
上記撮像手段により撮像された第１の色空間の画像信号は、撮像素子により撮像されて増幅手段により増幅された画像信号であり、
上記予測手段は、上記増幅手段の増幅率を参照し、該参照した増幅率に対応する上記直線近似式を用いて、上記第１の色空間の画像信号からノイズレベルを予測することを特徴とする請求項３記載の画像処理装置。
【請求項５】
上記撮像手段により撮像された第１の色空間の画像信号は、撮像素子により撮像されて白色補正手段により白色補正された画像信号であり、
上記予測手段は、上記白色補正手段の補正係数を参照し、該参照した補正係数に対応する上記直線近似式を用いて、上記第１の色空間の画像信号からノイズレベルを予測することを特徴とする請求項３記載の画像処理装置。
【請求項６】
上記予測手段は、上記直線近似式を用いて算出されるノイズレベルが所定の制限値を超えているとき、該制限値を上記画像信号のノイズレベルとして予測することを特徴とする請求項３記載の画像処理装置。
【請求項７】
撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理方法において、
上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、
上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、
上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、
上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する画像処理方法。
【請求項８】
撮像手段により撮像された第１の色空間の画像信号を、該第１の色空間と異なる第２の色空間の画像信号に変換する画像処理をコンピュータに実行させるためのプログラムにおいて、
上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、
上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、
上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、
上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する画像処理をコンピュータに実行させるためのプログラム。
【請求項９】
被写体像を撮像して第１の色空間の画像信号を出力する撮像手段と、
上記第１の色空間の画像信号からノイズレベルを予測する予測手段と、
上記予測手段により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換手段と、
上記撮像手段により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換手段と、
上記ノイズレベル変換手段により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換手段により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減手段とを備える撮像装置。
【請求項１０】
被写体像を撮像して第１の色空間の画像信号を出力する撮像工程と、
上記第１の色空間の画像信号からノイズレベルを予測する予測工程と、
上記予測工程により予測されたノイズレベルを、上記第１の色空間から上記第２の色空間に変換するノイズレベル変換工程と、
上記撮像工程により撮像された画像信号を、上記第１の色空間から上記第２の色空間に変換する画像信号変換工程と、
上記ノイズレベル変換工程により第２の色空間に変換されたノイズレベルに応じて、上記画像信号変換工程により第２の色空間に変換された画像信号に含まれるノイズを低減するノイズ低減工程とを有する撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９Ａ】
【図９Ｂ】
【公開番号】特開２００９−１００３０２（Ｐ２００９−１００３０２Ａ）
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願番号】特願２００７−２７０４２２（Ｐ２００７−２７０４２２）
【出願日】平成１９年１０月１７日（２００７．１０．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年５月７日（２００９．５．７）
【国際特許分類】
【出願日】平成１９年１０月１７日（２００７．１０．１７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]