ノイズ低減装置、ノイズ低減方法、及び電子機器
【課題】データ量を低減し、処理を簡素化したノイズ低減装置であって、動き量の大きい画素についても十分なノイズ低減効果が得られるノイズ低減装置を提供すること。
【解決手段】ノイズ低減装置３０は、３次元ノイズ低減後のＲＡＷ画像信号に対して、所定の帯域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第１フィルタ後信号を得る第１のフィルタ及び色分離部３７と；３次元ノイズ低減後のＲＡＷ画像信号に対して、第１のフィルタ及び色分離部３７よりも高域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第２フィルタ後信号を得る第２のフィルタ及び色分離部３８と；各色の第１フィルタ後信号と、各色の第２フィルタ後信号とを、各画素の時間軸方向の動き量に応じて算出された重み係数によって色ごとに重み付け加算し、各色の出力信号を得る重み付け加算部４０と；を有することを特徴とする。
【解決手段】ノイズ低減装置３０は、３次元ノイズ低減後のＲＡＷ画像信号に対して、所定の帯域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第１フィルタ後信号を得る第１のフィルタ及び色分離部３７と；３次元ノイズ低減後のＲＡＷ画像信号に対して、第１のフィルタ及び色分離部３７よりも高域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第２フィルタ後信号を得る第２のフィルタ及び色分離部３８と；各色の第１フィルタ後信号と、各色の第２フィルタ後信号とを、各画素の時間軸方向の動き量に応じて算出された重み係数によって色ごとに重み付け加算し、各色の出力信号を得る重み付け加算部４０と；を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレームによって構成される動画像のノイズを低減するノイズ低減装置及びノイズ低減方法に関するもので、特に、データ量を低減し、処理を簡素化したノイズ低減装置及びノイズ低減方法に関する。また、本発明は、このノイズ低減装置を備えた電子機器に関する。
【背景技術】
【０００２】
近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によってデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が広く普及しつつある。そして、このような撮像装置や表示装置における、複数のフレームによって構成される動画像のノイズを低減するための、各種のノイズ低減技術が提案されている。
【０００３】
このノイズ低減技術の代表的なものとしては、空間的なローパスフィルタ（ＬＰＦ）を作用させることによってノイズを低減しようとする２次元ノイズ低減処理、及び、時間的に連続する２つのフレームの信号を加算することによって時間的なローパスフィルタ（ＬＰＦ）を作用させ、ノイズを低減しようとする３次元ノイズ低減処理が挙げられる。
【０００４】
また、この３次元ノイズ低減処理を利用したノイズ低減方法として、特許文献１には、撮像素子で生成されたＲＡＷ画像データに対して、画素補間による色分離前に３次元ノイズ低減処理を行うことで、データ量を低減し、処理を簡素化したノイズ低減方法が記載されている。なお、特許文献１のノイズ低減方法においては、時間的に連続する２つのフレームの差分によって算出された動き量が小さい画素には３次元ノイズ低減処理の影響が大きくなり、動き量が大きい画素には３次元ノイズ低減処理の影響が小さくなるような重み付けがなされる。
【特許文献１】特開２００５−１７５８６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のノイズ低減方法においては、データ量の低減及び処理の簡素化は達成されるものの、ノイズ低減のための処理としては３次元ノイズ低減処理を行っているのみであり、動き量の大きい画素については３次元ノイズ低減処理の影響が小さくなるような重み付けがなされることから、動き量の大きい画素についてはノイズ低減効果が殆ど得られないという問題がある。この問題を解決するためには、画素補間による色分離後に２次元ノイズ低減処理を行えばよいが、この場合には、２次元ノイズ低減処理を行うために、色ごとの信号値を複数ライン分記憶するメモリが必要となり、装置の大型化が問題となる。
【０００６】
上記の問題を鑑みて、本発明においては、データ量を低減し、処理を簡素化したノイズ低減装置及びノイズ低減方法であって、動き量の大きい画素についても十分なノイズ低減効果が得られるノイズ低減装置及びノイズ低減方法を提供することを目的とする。また、本発明は、このノイズ低減装置を備えた電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明においては、ノイズ低減装置は、外部より入力されたＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理部を有するノイズ低減装置であって、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、ノイズ低減処理及び色分離を同時に行い、各色のフィルタ後信号を得る複数のノイズ低減処理及び色分離部と、複数の前記ノイズ低減処理及び色分離部より入力された各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合部と、を有することを特徴とする。
【０００８】
本発明においては、ノイズ低減装置は、外部より入力されたＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理部を有するノイズ低減装置であって、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、ローパスフィルタを作用させると同時に色分離を行い、各色のフィルタ後信号を得る複数のフィルタ及び色分離部と、複数の前記フィルタ及び色分離部より入力された各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合部と、を有することを特徴とする。
【０００９】
また、本発明においては、上記構成のノイズ低減装置において、複数の前記フィルタ及び色分離部は、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、所定の帯域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第１フィルタ後信号を得る第１のフィルタ及び色分離部と、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、前記所定の帯域よりも高域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第２フィルタ後信号を得る第２のフィルタ及び色分離部と、によって構成され、前記混合部は、前記第１のフィルタ及び色分離部より入力された各色の前記第１フィルタ後信号と、前記第２のフィルタ及び色分離部より入力された各色の前記第２フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るものであって、外部より入力された前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出部と、前記動き検出部より入力された各画素の時間軸方向の前記動き量に応じて前記所定の重み係数を算出する重み係数検出部と、を有することが望ましい。
【００１０】
また、本発明においては、上記構成のノイズ低減装置において、複数の前記フィルタ及び色分離部は、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、空間的なローパスフィルタを作用させると同時に色分離を行い、各色の空間フィルタ後信号を得る空間フィルタ及び色分離部と、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、水平方向のローパスフィルタを作用させると同時に色分離を行い、各色の水平フィルタ後信号を得る水平フィルタ及び色分離部と、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、垂直方向のローパスフィルタを作用させると同時に色分離を行い、各色の垂直フィルタ後信号を得る垂直フィルタ及び色分離部と、によって構成され、前記混合部は、前記空間フィルタ及び色分離部より入力された各色の前記空間フィルタ後信号と、前記水平フィルタ及び色分離部より入力された各色の前記水平フィルタ後信号と、前記垂直フィルタ及び色分離部より入力された各色の前記垂直フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るものであって、外部より入力された前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出部と、前記動き検出部より入力された各画素の時間軸方向の前記動き量の水平方向相関値及び垂直方向相関値を算出する相関方向検出部と、前記動き検出部より入力された各画素の時間軸方向の前記動き量と、前記相関方向検出部より入力された各画素の時間軸方向の前記動き量の前記水平方向相関値及び前記垂直方向相関値とに応じて前記所定の重み係数を算出する重み係数検出部と、を有することが望ましい。
【００１１】
また、本発明においては、上記構成のノイズ低減装置において、前記所定の重み係数は、色ごとに異なることとしてもよい。
【００１２】
本発明においては、ノイズ低減方法は、動画を構成するＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理ステップを有するノイズ低減方法であって、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、ノイズ低減処理及び色分離を同時に行い、各色のフィルタ後信号を得る複数のノイズ低減処理及び色分離ステップと、複数の前記ノイズ低減処理及び色分離ステップで得られた各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合ステップと、を有することを特徴とする。
【００１３】
本発明においては、ノイズ低減方法は、動画を構成するＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減ステップを有するノイズ低減方法であって、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、ローパスフィルタを作用させると同時に色分離を行い、各色のフィルタ後信号を得る複数のフィルタ及び色分離ステップと、複数の前記フィルタ及び色分離部ステップで得られた各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合ステップと、を有することを特徴とする。
【００１４】
また、本発明においては、上記構成のノイズ低減方法において、複数の前記フィルタ及び色分離ステップは、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、所定の帯域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第１フィルタ後信号を得る第１のフィルタ及び色分離ステップと、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、前記所定の帯域よりも高域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第２フィルタ後信号を得る第２のフィルタ及び色分離ステップと、によって構成され、前記混合ステップは、前記第１のフィルタ及び色分離ステップで得られた各色の前記第１フィルタ後信号と、前記第２のフィルタ及び色分離ステップで得られた各色の前記第２フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るステップであって、動画を構成する前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出ステップと、前記動き検出ステップで得られた各画素の時間軸方向の前記動き量に応じて前記所定の重み係数を算出する重み係数検出ステップと、を有することが望ましい。
【００１５】
また、本発明においては、上記構成のノイズ低減方法において、複数の前記フィルタ及び色分離ステップは、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、空間的なローパスフィルタを作用させると同時に色分離を行い、各色の空間フィルタ後信号を得る空間フィルタ及び色分離ステップと、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、水平方向のローパスフィルタを作用させると同時に色分離を行い、各色の水平フィルタ後信号を得る水平フィルタ及び色分離ステップと、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、垂直方向のローパスフィルタを作用させると同時に色分離を行い、各色の垂直フィルタ後信号を得る垂直フィルタ及び色分離ステップと、によって構成され、前記混合ステップは、前記空間フィルタ及び色分離ステップで得られた各色の前記空間フィルタ後信号と、前記水平フィルタ及び色分離ステップで得られた各色の前記水平フィルタ後信号と、前記垂直フィルタ及び色分離ステップで得られた各色の前記垂直フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るステップであって、動画を構成する前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出ステップと、前記動き検出ステップで得られた各画素の時間軸方向の前記動き量の水平方向相関値及び垂直方向相関値を算出する相関方向検出ステップと、前記動き検出ステップで得られた各画素の時間軸方向の前記動き量と、前記相関方向検出ステップで得られた各画素の時間軸方向の前記動き量の前記水平方向相関値及び前記垂直方向相関値とに応じて前記所定の重み係数を算出する重み係数検出ステップと、を有することが望ましい。
【００１６】
また、本発明においては、上記構成のノイズ低減方法において、前記所定の重み係数は、色ごとに異なることとしてもよい。
【００１７】
本発明においては、電子機器は、動画を構成するＲＡＷ画像信号が外部入力又は撮像によって与えられるとともに、該動画のノイズを低減するノイズ低減装置を備えた電子機器であって、前記ノイズ低減装置は、上記構成のノイズ低減装置であることを特徴とする。
【発明の効果】
【００１８】
本発明のノイズ低減装置及びノイズ低減方法によると、３次元ノイズ低減後信号に対して、ローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の複数のフィルタ後信号を、所定の重み係数によって色ごとに重み付け加算することによって出力信号を得るので、データ量を低減し、処理を簡素化したノイズ低減装置及びノイズ低減方法であって、更に、３次元ノイズ低減処理によるノイズ低減効果が十分に得られない動き量の大きい画素についても、十分なノイズ低減効果を得ることができる。
【００１９】
また、本発明のノイズ低減装置及びノイズ低減方法によると、３次元ノイズ低減後信号に対して所定の帯域の空間的なローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の第１フィルタ後信号と、３次元ノイズ低減後信号に対して所定の帯域よりも高域の空間的なローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の第２フィルタ後信号とを、各画素の時間軸方向の動き量に応じて算出された重み係数によって色ごとに重み付け加算することによって出力信号を得るので、例えば、動き量の小さい画素に対しては、高域の空間的なローパスフィルタの影響を強める一方、低域の空間的なローパスフィルタの影響を弱め、動き量の大きい画素に対しては、低域の空間的なローパスフィルタの影響を強める一方、高域の空間的なローパスフィルタの影響を弱めることとすれば、動き量に応じた適切なノイズ低減処理を行うことができることから、十分なノイズ低減効果を得ることができ、また画像ぼけを抑制することができる。
【００２０】
また、本発明のノイズ低減装置及びノイズ低減方法によると、３次元ノイズ低減後信号に対して空間的なローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の空間フィルタ後信号と、３次元ノイズ低減後信号に対して水平方向のローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の水平フィルタ後信号と、３次元ノイズ低減後信号に対して垂直方向のローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の垂直フィルタ後信号とを、各画素の時間軸方向の動き量と、各画素の時間軸方向の動き量の水平方向相関値及び垂直方向相関値とに応じて算出された重み係数によって色ごとに重み付け加算することによって出力信号を得るので、例えば、動き量が大きく、動き量の水平方向相関値が大きい画素に対しては、水平方向のローパスフィルタの影響を強める一方、空間的なローパスフィルタ及び垂直方向のローパスフィルタの影響を弱め、動き量が大きく、動き量の垂直方向相関値が大きい画素に対しては、垂直方向のローパスフィルタの影響を強める一方、空間的なローパスフィルタ及び水平方向のローパスフィルタの影響を弱め、動き量が小さい画素に対しては、空間的なローパスフィルタの影響を強める一方、水平方向のローパスフィルタ及び垂直方向のローパスフィルタの影響を弱めることとすれば、各画素の時間軸方向の動き量と、各画素の時間軸方向の動き量の水平方向及び垂直方向の相関の強さに応じた適切なノイズ低減処理を行うことができることから、十分なノイズ低減効果を得ることができ、また画像ぼけを抑制することができる。
【００２１】
また、本発明のノイズ低減装置及びノイズ低減方法によると、所定の重み係数は色ごとに異なるので、例えば、色Ｇの第１フィルタ後信号の重みを、色Ｒ及び色Ｂの第１フィルタ後信号の重みと比較して小さくすれば、輝度信号への寄与度が高い色Ｇのぼけを抑制することができる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施の形態について、図面を参照して説明する。なお、以下では、本発明におけるノイズ低減方法を行うノイズ低減装置（以下では、「画像処理部」に含まれる）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。また、後述するが、同様のノイズ低減装置を備えるものであれば、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置であっても構わない。
【００２３】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２４】
図１の撮像装置は、被写体から入射される光を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と；イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と；外部から入力された音声を電気信号に変換するマイク３と；ＡＦＥ２からのデジタル信号となる画像信号に対して色分離処理及びノイズ低減処理を含む各種画像処理を施す画像処理部４と；マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と；画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と；圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ２０に記録するドライバ部７と；ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と；伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ９と；伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と；音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ１１と；各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するＴＧ（Timing Generator）１２と；撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と；各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と；ユーザからの指示が入力される操作部１５と；メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１６と；ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１７と；を備える。
【００２５】
このような構成の撮像装置において、イメージセンサ１は、透過率の異なる複数種類の色フィルタが各画素の表面に設置された固体撮像素子、即ち、単板式色フィルタを備えた固体撮像素子である。この色フィルタは、隣接する画素毎に異なる種類の色フィルタが設置される。したがって、イメージセンサ１から出力される映像信号は、各画素が単色の色情報しか持たない、いわゆるＲＡＷ画像信号となる。このようなイメージセンサ１に設置される単板式色フィルタとして、例えば、図２のようなＲ（Red）フィルタとＧ（Green）フィルタとＢ（Blue）フィルタとからなるベイヤーフィルタが構成される。この図２のベイヤーフィルタは、ＧフィルタとＲフィルタとが水平方向に交互に並ぶラインと、ＢフィルタとＧフィルタとが水平方向に交互に並ぶラインとを、垂直方向に交互に並ぶようにして備える。即ち、ＧフィルタとＢフィルタとが垂直方向に交互に並ぶラインと、ＲフィルタとＧフィルタとが垂直方向に交互に並ぶラインとが、水平方向に交互に並ぶ。このようなベイヤーフィルタを備えたイメージセンサ１において、ＲＧＢフィルタそれぞれを備えた画素よりＲＧＢ信号それぞれとなる映像信号が出力される。
【００２６】
そして、この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、ＴＧ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号である画像信号がデジタル信号に変換されて、画像処理部４に入力されると、ノイズ低減処理や色分離処理などの各種画像処理が施される。なお、画像処理部４の詳細については後述する。
【００２７】
そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。また、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００２８】
なお、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ２０に記録されるだけとなるが、その基本動作については動画撮影時の動作と同様である。また、この静止画像撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、イメージセンサ１によって撮影されている現時点の画像に対する圧縮信号が外部メモリ２０に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、イメージセンサ１によって撮影されている現時点の画像がディスプレイ９に表示され、ユーザが確認することができる。
【００２９】
このように撮像動作を行うとき、ＴＧ１２によって、ＡＦＥ２、映像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。また、静止画像撮影のときは、操作部１５によるシャッタ動作に基づいて、ＴＧ１２より、イメージセンサ１、ＡＦＥ２、映像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。
【００３０】
また、外部メモリ２０に記録された動画または画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。また、圧縮信号が画像信号のみより成るときは、ディスプレイ９に画像のみが再生されることとなる。
【００３１】
（ノイズ低減装置の第１の実施形態）
次に、画像処理部４に含まれるノイズ低減装置の第１の実施形態について説明する。図３は、本発明の第１の実施形態に係るノイズ低減装置３０の概略の構成を示すブロック図である。ノイズ低減装置３０は、外部及びフレームメモリ３４より信号が入力され、乗算器３５に信号を出力するノイズ検出部３１と；外部及びフレームメモリ３４より信号が入力され、帰還係数検出部３３及び重み係数検出部３９に信号を出力する動き検出部３２と；動き検出部３２より信号が入力され、乗算器３５に信号を出力する帰還係数検出部３３と；減算器３６より信号が入力され、ノイズ検出部３１及び動き検出部３２に信号を出力するフレームメモリ３４と；ノイズ検出部３１及び帰還係数検出部３３より信号が入力され、減算器３６に信号を出力する乗算器３５と；外部及び乗算器３５より信号が入力され、フレームメモリ３４、第１のフィルタ及び色分離部３７、及び第２のフィルタ及び色分離部３８に信号を出力する減算器３６と；減算器３６より信号が入力され、重み付け加算部４０に信号を出力する第１のフィルタ及び色分離部３７と；減算器３６より信号が入力され、重み付け加算部４０に信号を出力する第２のフィルタ及び色分離部３８と；動き検出部３２より信号が入力され、重み付け加算部４０に信号を出力する重み係数検出部３９と；第１のフィルタ及び色分離部３７、第２のフィルタ及び色分離部３８、及び重み係数検出部３９より信号が入力され、後段に信号を出力する重み付け加算部４０と；を有している。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図１の撮像装置のＡＦＥ２、あるいは画像処理部４のノイズ低減装置３０の前段階の画像処理を行う部分のことを指すものである。
【００３２】
ここで、ノイズ低減装置３０の動作の概略について説明する。まず、外部からの現フレームの信号（ベイヤーデータ）が、ノイズ検出部３１、動き検出部３２、及び減算器３６に入力される。また、フレームメモリ３４からの現フレームの１フレーム前の信号が、ノイズ検出部３１及び動き検出部３２に入力される。すると、ノイズ低減処理部３１は、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素のノイズ検出値を算出し、これを乗算器３５に出力する。
【００３３】
そして、次に、動き検出部３２が、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素の動き量を算出し、これを帰還係数検出部３３及び重み係数検出部３９に出力する。すると、帰還係数検出部３３が、動き検出部３２より入力された各画素の動き量から各画素の帰還係数ｋを算出し、これを乗算器３５に出力する。
【００３４】
そして、次に、乗算器３５が、ノイズ検出部３１より入力された各画素のノイズ検出値と、帰還係数検出部３３より入力された各画素の帰還係数ｋとを乗算し、得られた各画素の減算ノイズ値を減算器３６へ出力する。すると、減算器３６が、外部より入力された現フレームの信号から、乗算器３５より入力された各画素の減算ノイズ値を減算し、得られた３次元ノイズ低減後信号をフレームメモリ３４、第１のフィルタ及び色分離部３７、及び第２のフィルタ及び色分離部３８に出力する。
【００３５】
そして、次に、第１のフィルタ及び色分離部３７が、減算器３６より入力された３次元ノイズ低減後信号に対して空間的な（２次元の）ローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）を重み付け加算部４０に出力する。また、第２のフィルタ及び色分離部３８が、減算器３６より入力された３次元ノイズ低減後信号に対して、第１のフィルタ及び色分離部３７よりも高域の空間的な（２次元の）ローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）を重み付け加算部４０に出力する。また、重み係数検出部３９が、動き検出部３２より入力された各画素の動き量から各画素の重み係数αを算出し、これを重み付け加算部４０に出力する。
【００３６】
そして、次に、重み付け加算部４０が、第１のフィルタ及び色分離部３７より入力されたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）と、第２のフィルタ及び色分離部３８より入力されたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）とを、重み係数検出部３９より入力された各画素の重み係数αによって色ごとに重み付け加算し（つまり、Ｏ（Ｒ）＝Ｌ１（Ｒ）×α＋Ｌ２（Ｒ）×（１−α）、Ｏ（Ｇ）＝Ｌ１（Ｇ）×α＋Ｌ２（Ｇ）×（１−α）、Ｏ（Ｂ）＝Ｌ１（Ｂ）×α＋Ｌ２（Ｂ）×（１−α）である）、得られたＲ、Ｇ、Ｂ各色の出力信号Ｏ（Ｒ）、Ｏ（Ｇ）、Ｏ（Ｂ）を後段に出力する。
【００３７】
次に、ノイズ検出部３１の詳細について説明する。ノイズ検出部３１は、外部より入力された現フレームの信号から、フレームメモリ３４より入力された１フレーム前の信号を減算することによって得られた各画素の差分信号値ｘに対してノイズ検出値ｆ（ｘ）を算出し、これを乗算器３５に出力する。ここで、関数ｆ（ｘ）としては、例えば、以下の数１式及び図４に示されるようなものが用いられる。
【数１】
【００３８】
数１式及び図４に示される関数ｆ（ｘ）は、各画素の差分信号値ｘの絶対値が閾値ｔｈを超える場合にはノイズ検出値ｆ（ｘ）を抑えるものであり、これによって動き部分を誤ってノイズと検出してしまう誤動作を防止できる。
【００３９】
次に、動き検出部３２の詳細について説明する。図５は、動き検出部３２の概略の構成を示すブロック図である。動き検出部３２は、外部及びフレームメモリ３４より信号が入力され、絶対値化部３２２に信号を出力する減算器３２１と；減算器３２１より信号が入力され、フィルタ部３２３に信号を出力する絶対値化部３２２と；絶対値化部３２２より信号が入力され、帰還係数検出部３３に信号を出力するフィルタ部３２３と；を有している。
【００４０】
ここで、動き検出部３２の動作の概略について説明する。まず、外部からの現フレームの信号と、フレームメモリ３４からの１フレーム前の信号とが減算器３２１に入力される。すると、減算器３２１は、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号との差分を計算し、得られた差分信号を絶対値化部３２２に出力する。
【００４１】
そして、次に、絶対値化部３２２は、入力された差分信号を絶対値化し、得られた絶対値化信号をフィルタ部３２３に出力する。すると、フィルタ部３２３は、入力された絶対値化信号に対してローパスフィルタをかけることによって得られた各画素の動き量を帰還係数検出部３３に出力する。ここで、フィルタ部３２３によってローパスフィルタをかけることによって、ノイズ信号と動きを示す信号との分離精度が高められる。
【００４２】
次に、帰還係数検出部３３の詳細について説明する。帰還係数検出部３３は、動き検出部３２より入力された各画素の動き量ｙに対して各画素の帰還係数ｋ＝ｇ（ｙ）を算出し、これを乗算器３５に出力する。ここで、関数ｇ（ｙ）としては、例えば、以下の数２式及び図６に示されるようなものが用いられる。
【数２】
【００４３】
数２式及び図６に示される関数ｇ（ｙ）は、動き量ｙの増加に伴って一次関数的に帰還係数ｋが１から減少し、動き量ｙが閾値ｔｈＡ以上となると、帰還係数ｋが０となるものであり、これによって、動き量ｙの小さい画素に対するノイズ検出部３１によるノイズ低減効果、つまり、３次元ノイズ低減処理の効果を大きくし、動き量ｙの大きい画素に対するノイズ検出部３１によるノイズ低減効果、つまり、３次元ノイズ低減処理の効果を小さくしている。なお、この閾値ｔｈＡは、入力信号レベル及びノイズレベルに応じて決定することが望ましい。
【００４４】
次に、第１のフィルタ及び色分離部３７の詳細について説明する。なお、以下では注目画素の座標を（０、０）、その信号値をＳ（０、０）とし、注目画素から右にｘ画素、上にｙ画素の位置にある画素の座標を（ｘ、ｙ）、その信号値をＳ（ｘ、ｙ）と表すこととする。つまり、注目画素から右に２画素、上に２画素の位置にある画素の座標を（２、２）、その信号値をＳ（２、２）と表し、注目画素から左に２画素、下に２画素の位置にある画素の座標を（−２、−２）、その信号値をＳ（−２、−２）と表すこととする。
【００４５】
第１のフィルタ及び色分離部３７は、減算器３６より入力された３次元ノイズ低減後信号（ベイヤーデータ）に対して空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）を重み付け加算部４０に出力するものである。
【００４６】
具体的には、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、図７（ａ）に示されるフィルタを用いて色Ｇの信号値を取得し、図７（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｒについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００４７】
つまり、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、Ｌ１（Ｇ）＝１／１６×Ｓ（−１、２）＋１／１６×Ｓ（１、２）＋１／１６×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／１６×Ｓ（２、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／１６×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／１６×Ｓ（２、−１）＋１／１６×Ｓ（−１、−２）＋１／１６×Ｓ（１、−２）によって色Ｇの信号値が取得される。
【００４８】
また、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、Ｌ１（Ｂ）＝１／１６×Ｓ（−３、３）＋１／１６×Ｓ（−１、３）＋１／１６×Ｓ（１、３）＋１／１６×Ｓ（３、３）＋１／１６×Ｓ（−３、１）＋１／１６×Ｓ（−１、１）＋１／１６×Ｓ（１、１）＋１／１６×Ｓ（３、１）＋１／１６×Ｓ（−３、−１）＋１／１６×Ｓ（−１、−１）＋１／１６×Ｓ（１、−１）＋１／１６×Ｓ（３、−１）＋１／１６×Ｓ（−３、−３）＋１／１６×Ｓ（−１、−３）＋１／１６×Ｓ（１、−３）＋１／１６×Ｓ（３、−３）によって色Ｂの信号値が取得される。
【００４９】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、図８（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図８（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００５０】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、Ｌ１（Ｒ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／８×Ｓ（−３、０）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（３、０）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｒの信号値が取得される。
【００５１】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、Ｌ１（Ｂ）＝１／８×Ｓ（０、３）＋１／８×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（２、−１）＋１／８×Ｓ（０、−３）によって色Ｂの信号値が取得される。
【００５２】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、図９（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図９（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００５３】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、Ｌ１（Ｒ）＝１／８×Ｓ（０、３）＋１／８×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（２、−１）＋１／８×Ｓ（０、−３）によって色Ｒの信号値が取得される。
【００５４】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、Ｌ１（Ｂ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／８×Ｓ（−３、０）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（３、０）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｂの信号値が取得される。
【００５５】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、図１０（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図１０（ｂ）に示されるフィルタを用いて色Ｇの信号値を取得し、色Ｂについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００５６】
つまり、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、Ｌ１（Ｒ）＝１／１６×Ｓ（−３、３）＋１／１６×Ｓ（−１、３）＋１／１６×Ｓ（１、３）＋１／１６×Ｓ（３、３）＋１／１６×Ｓ（−３、１）＋１／１６×Ｓ（−１、１）＋１／１６×Ｓ（１、１）＋１／１６×Ｓ（３、１）＋１／１６×Ｓ（−３、−１）＋１／１６×Ｓ（−１、−１）＋１／１６×Ｓ（１、−１）＋１／１６×Ｓ（３、−１）＋１／１６×Ｓ（−３、−３）＋１／１６×Ｓ（−１、−３）＋１／１６×Ｓ（１、−３）＋１／１６×Ｓ（３、−３）によって色Ｒの信号値が取得される。
【００５７】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、Ｌ１（Ｇ）＝１／１６×Ｓ（−１、２）＋１／１６×Ｓ（１、２）＋１／１６×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／１６×Ｓ（２、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／１６×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／１６×Ｓ（２、−１）＋１／１６×Ｓ（−１、−２）＋１／１６×Ｓ（１、−２）によって色Ｇの信号値が取得される。
【００５８】
次に、第２のフィルタ及び色分離部３８の詳細について説明する。第２のフィルタ及び色分離部３８は、減算器３６より入力された３次元ノイズ低減後信号（ベイヤーデータ）に対して、第１のフィルタ及び色分離部３７よりも高域の空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）を重み付け加算部４０に出力するものである。
【００５９】
具体的には、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、図１１（ａ）に示されるフィルタを用いて色Ｇの信号値を取得し、図１１（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｒについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００６０】
つまり、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、Ｌ２（Ｇ）＝１／４×Ｓ（０、１）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／４×Ｓ（０、−１）によって色Ｇの信号値が取得される。
【００６１】
また、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、Ｌ２（Ｂ）＝１／４×Ｓ（−１、１）＋１／４×Ｓ（１、１）＋１／４×Ｓ（−１、−１）＋１／４×Ｓ（１、−１）によって色Ｂの信号値が取得される。
【００６２】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、図１２（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図１２（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００６３】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、Ｌ２（Ｒ）＝１／２×Ｓ（−１、０）＋１／２×Ｓ（１、０）によって色Ｒの信号値が取得される。
【００６４】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、Ｌ２（Ｂ）＝１／２×Ｓ（０、１）＋１／２×Ｓ（０、−１）によって色Ｂの信号値が取得される。
【００６５】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、図１３（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図１３（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００６６】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、Ｌ２（Ｒ）＝１／２×Ｓ（０、１）＋１／２×Ｓ（０、−１）によって色Ｒの信号値が取得される。
【００６７】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、Ｌ２（Ｂ）＝１／２×Ｓ（−１、０）＋１／２×Ｓ（１、０）によって色Ｂの信号値が取得される。
【００６８】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、図１４（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図１４（ｂ）に示されるフィルタを用いて色Ｇの信号値を取得し、色Ｂについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００６９】
つまり、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、Ｌ２（Ｒ）＝１／４×Ｓ（−１、１）＋１／４×Ｓ（１、１）＋１／４×Ｓ（−１、−１）＋１／４×Ｓ（１、−１）によって色Ｒの信号値が取得される。
【００７０】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、Ｌ２（Ｇ）＝１／４×Ｓ（０、１）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／４×Ｓ（０、−１）によって色Ｇの信号値が取得される。
【００７１】
ここで、第２のフィルタ及び色分離部３８の回路構成について説明する。図１５は、第２のフィルタ及び色分離部３８の回路構成を示すブロック図である。なお、以下では、ｘ及びｙは、−１、０、１の各値を取るものとする。
【００７２】
第２のフィルタ及び色分離部３８は、フィルタ係数ａ（ｘ、ｙ）を生成し、これを乗算器Ｍ（ｘ、ｙ）に出力する係数選択部Ａと；Ｓ（ｘ、ｙ）を記憶し、これを乗算器Ｍ（ｘ、ｙ）に出力するメモリｍ（ｘ、ｙ）と；ａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を算出し、これを加算器Ｐに出力する乗算器Ｍ（ｘ、ｙ）と；ａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を全て加算し、これを重み付け加算部４０に出力する加算機Ｐと；を有している。
【００７３】
次に、第２のフィルタ及び色分離部３８の動作の概略について説明する。まず、係数選択部Ａが、注目画素の水平アドレス及び垂直アドレスから、注目画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるか、注目画素がベイヤーデータにおいて色Ｇの信号値が得られている画素であるか、あるいは、注目画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるかを判定する。また、注目画素がベイヤーデータにおいて色Ｇの信号値が得られている画素である場合には、注目画素の左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるか、あるいは、注目画素の左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるかの判定も行う。
【００７４】
そして、次に、係数選択部Ａは、注目画素の判定結果に応じて、まず、色Ｒの信号値を取得するためのフィルタ係数ａ（ｘ、ｙ）を生成し、これを乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。そして、次に、各乗算器Ｍ（ｘ、ｙ）が、ａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を算出し、これを加算器Ｐに出力する。すると、加算機Ｐが、各乗算器Ｍ（ｘ、ｙ）から入力されたａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を全て加算し、得られた色Ｒの信号値を重み付け加算部４０に出力する。
【００７５】
そして、次に、係数選択部Ａは、注目画素の判定結果に応じて、色Ｇの信号値を取得するためのフィルタ係数ａ（ｘ、ｙ）を生成し、これを乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。そして、次に、各乗算器Ｍ（ｘ、ｙ）が、ａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を算出し、これを加算器Ｐに出力する。すると、加算機Ｐが、各乗算器Ｍ（ｘ、ｙ）から入力されたａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を全て加算し、得られた色Ｇの信号値を重み付け加算部４０に出力する。
【００７６】
そして、次に、係数選択部Ａは、注目画素の判定結果に応じて、色Ｂの信号値を取得するためのフィルタ係数ａ（ｘ、ｙ）を生成し、これを乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。そして、次に、各乗算器Ｍ（ｘ、ｙ）が、ａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を算出し、これを加算器Ｐに出力する。すると、加算機Ｐが、各乗算器Ｍ（ｘ、ｙ）から入力されたａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を全て加算し、得られた色Ｂの信号値を重み付け加算部４０に出力する。
【００７７】
次に、第２のフィルタ及び色分離部３８の動作について、注目画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である場合を例として具体的に説明する。この場合、係数選択部Ａが、まず、色Ｒの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝０、ａ（０、１）＝０、ａ（１、１）＝０、ａ（−１、０）＝０、ａ（０、０）＝１、ａ（１、０）＝０、ａ（−１、−１）＝０、ａ（０、−１）＝０、ａ（１、−１）＝０を生成し、これらを対応する乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。
【００７８】
すると、各乗算器Ｍ（ｘ、ｙ）及び加算器Ｐによって、Ｌ２（Ｒ）＝０×Ｓ（−１、１）＋０×Ｓ（０、１）＋０×Ｓ（１、１）＋０×Ｓ（−１、０）＋１×Ｓ（０、０）＋０×Ｓ（１、０）＋０×Ｓ（−１、−１）＋０×Ｓ（０、−１）＋０×Ｓ（１、−１）＝Ｓ（０、０）が算出され、重み付け加算部４０に出力される。
【００７９】
そして、次に、係数選択部Ａは、色Ｇの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝０、ａ（０、１）＝１／４、ａ（１、１）＝０、ａ（−１、０）＝１／４、ａ（０、０）＝０、ａ（１、０）＝１／４、ａ（−１、−１）＝０、ａ（０、−１）＝１／４、ａ（１、−１）＝０を生成し（図１１（ａ）参照）、これらを対応する乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。
【００８０】
すると、各乗算器Ｍ（ｘ、ｙ）及び加算器Ｐによって、Ｌ２（Ｇ）＝０×Ｓ（−１、１）＋１／４×Ｓ（０、１）＋０×Ｓ（１、１）＋１／４×Ｓ（−１、０）＋０×Ｓ（０、０）＋１／４×Ｓ（１、０）＋０×Ｓ（−１、−１）＋１／４×Ｓ（０、−１）＋０×Ｓ（１、−１）＝１／４×Ｓ（０、１）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／４×Ｓ（０、−１）が算出され、重み付け加算部４０に出力される。
【００８１】
そして、次に、係数選択部Ａは、色Ｂの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝１／４、ａ（０、１）＝０、ａ（１、１）＝１／４、ａ（−１、０）＝０、ａ（０、０）＝０、ａ（１、０）＝０、ａ（−１、−１）＝１／４、ａ（０、−１）＝０、ａ（１、−１）＝１／４を生成し（図１１（ｂ）参照）、これらを対応する乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。
【００８２】
すると、各乗算器Ｍ（ｘ、ｙ）及び加算器Ｐによって、Ｌ２（Ｂ）＝１／４×Ｓ（−１、１）＋０×Ｓ（０、１）＋１／４×Ｓ（１、１）＋０×Ｓ（−１、０）＋０×Ｓ（０、０）＋０×Ｓ（１、０）＋１／４×Ｓ（−１、−１）＋０×Ｓ（０、−１）＋１／４×Ｓ（１、−１）＝１／４×Ｓ（−１、１）＋１／４×Ｓ（１、１）＋１／４×Ｓ（−１、−１）＋１／４×Ｓ（１、−１）が算出され、重み付け加算部４０に出力される。
【００８３】
また、注目画素がベイヤーデータにおいて色Ｇの信号値が得られている画素であって、注目画素の左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である場合には、係数選択部Ａが、色Ｒの信号値を取得するためのフィルタ係数として、図１２（ａ）に示されるフィルタ係数を生成し、色Ｇの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝０、ａ（０、１）＝０、ａ（１、１）＝０、ａ（−１、０）＝０、ａ（０、０）＝１、ａ（１、０）＝０、ａ（−１、−１）＝０、ａ（０、−１）＝０、ａ（１、−１）＝０を生成し、色Ｂの信号値を取得するためのフィルタ係数として、図１２（ｂ）に示されるフィルタ係数を生成する点を除いては、注目画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である場合と同様である。
【００８４】
また、注目画素がベイヤーデータにおいて色Ｇの信号値が得られている画素であって、注目画素の左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である場合には、係数選択部Ａが、色Ｒの信号値を取得するためのフィルタ係数として、図１３（ａ）に示されるフィルタ係数を生成し、色Ｇの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝０、ａ（０、１）＝０、ａ（１、１）＝０、ａ（−１、０）＝０、ａ（０、０）＝１、ａ（１、０）＝０、ａ（−１、−１）＝０、ａ（０、−１）＝０、ａ（１、−１）＝０を生成し、色Ｂの信号値を取得するためのフィルタ係数として、図１３（ｂ）に示されるフィルタ係数を生成する点を除いては、注目画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である場合と同様である。
【００８５】
また、注目画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である場合には、係数選択部Ａが、色Ｒの信号値を取得するためのフィルタ係数として、図１４（ａ）に示されるフィルタ係数を生成し、色Ｇの信号値を取得するためのフィルタ係数として、図１４（ｂ）に示されるフィルタ係数を生成し、色Ｂの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝０、ａ（０、１）＝０、ａ（１、１）＝０、ａ（−１、０）＝０、ａ（０、０）＝１、ａ（１、０）＝０、ａ（−１、−１）＝０、ａ（０、−１）＝０、ａ（１、−１）＝０を生成する点を除いては、注目画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である場合と同様である。
【００８６】
なお、以上の説明においては、色Ｒ、色Ｇ、色Ｂの信号値を、１組の乗算器Ｍ（ｘ、ｙ）及び加算機Ｐを用いて直列的に取得するものとしたが、色Ｒ、色Ｇ、色Ｂ各々の信号値を、別々の乗算器Ｍ（ｘ、ｙ）及び加算機Ｐを用いて並列的に取得するものとしてもよい。この場合、メモリｍ（ｘ、ｙ）については、１組のメモリｍ（ｘ、ｙ）を共用する構成とすればよい。
【００８７】
なお、ここでは、説明の簡略化のために、第２のフィルタ及び色分離部３８の回路構成及びその動作について説明したが、第１のフィルタ及び色分離部３８の回路構成及びその動作についても、ｘ及びｙが−３、−２、−１、０、１、２、３の各値を取るものである点が異なるのみであり、その他の点は同一である。
【００８８】
次に、重み係数検出部３９の詳細について説明する。重み係数検出部３９は、動き検出部３２より入力された各画素の動き量ｙに対して各画素の重み係数α＝ｈ（ｙ）を算出し、これを重み付け加算部４０に出力する。ここで、関数ｈ（ｙ）としては、例えば、以下の数３式及び図１６に示されるようなものが用いられる。
【数３】
【００８９】
数３式及び図１６に示される関数ｈ（ｙ）は、動き量ｙの増加に伴って一次関数的に重み係数αが０から上昇し、動き量ｙが閾値ｔｈａ以上となると、重み係数αが１となるものであり、これによって、動き量ｙの小さい画素に対しては、低域の空間的なローパスフィルタを作用させる第１のフィルタ及び色分離部３７の影響を弱める一方、高域の空間的なローパスフィルタを作用させる第２のフィルタ及び色分離部３８の影響を強め、動き量ｙの大きい画素に対しては、低域の空間的なローパスフィルタを作用させる第１のフィルタ及び色分離部３７の影響を強める一方、高域の空間的なローパスフィルタを作用させる第２のフィルタ及び色分離部３８の影響を弱めている。なお、この閾値ｔｈａは、例えば、数２式及び図６に示される関数ｇ（ｙ）の閾値ｔｈＡと等しい値とすればよい。
【００９０】
上記構成のノイズ低減装置３０においては、第１のフィルタ及び色分離部３７と、第２のフィルタ及び色分離部３８とによって、空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離している。したがって、３次元ノイズ低減処理によるノイズ低減効果が十分に得られない動き量の大きい画素に対しても、空間的なローパスフィルタ（ＬＰＦ）を作用させることから、十分なノイズ低減を行うことができる。また、空間的なローパスフィルタ（ＬＰＦ）を作用させることと、色分離とを同時に行うことから、色ごとに空間的なローパスフィルタ（ＬＰＦ）を作用させる場合と比べてデータ量を低減し、処理を簡素化することができる。
【００９１】
（ノイズ低減装置の第２の実施形態）
次に、画像処理部４に含まれるノイズ低減装置の第２の実施形態について説明する。図１７は、本発明の第２の実施形態に係るノイズ低減装置５０の概略の構成を示すブロック図である。なお、ノイズ低減装置５０においては、第１の実施形態に係るノイズ低減装置３０と同一の部分には同一の符号を付し、その詳細な説明は省略する。ノイズ低減装置５０は、ノイズ低減装置３０と異なる構成として、動き検出部３２より入力された各画素の動き量から、色ごとに異なる各画素の重み係数α（Ｒ）、α（Ｇ）、α（Ｂ）を算出し、これを重み付け加算部５２に出力する重み係数検出部５１と；第１のフィルタ及び色分離部３７より入力されたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）と、第２のフィルタ及び色分離部３８より入力されたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）とを、重み係数検出部５１より入力された、色ごとに異なる各画素の重み係数α（Ｒ）、α（Ｇ）、α（Ｂ）によって色ごとに重み付け加算し、得られたＲ、Ｇ、Ｂ各色の出力信号Ｏ（Ｒ）、Ｏ（Ｇ）、Ｏ（Ｂ）を後段に出力する（つまり、Ｏ（Ｒ）＝Ｌ１（Ｒ）×α（Ｒ）＋Ｌ２（Ｒ）×（１−α（Ｒ））、Ｏ（Ｇ）＝Ｌ１（Ｇ）×α（Ｇ）＋Ｌ２（Ｇ）×（１−α（Ｇ））、Ｏ（Ｂ）＝Ｌ１（Ｂ）×α（Ｂ）＋Ｌ２（Ｂ）×（１−α（Ｂ））である）重み付け加算部５２と；を有している。
【００９２】
次に、重み係数検出部５１の詳細について説明する。重み係数検出部５１は、動き検出部３２より入力された各画素の動き量ｙに対して、色ごとに閾値ｔｈａを変えた、数３式及び図１６に示されるｈ（ｙ）を算出することによって、色ごとに異なる重み係数α（Ｒ）、α（Ｇ）、α（Ｂ）を算出し、これを重み付け加算部５２に出力する。
【００９３】
具体的には、色Ｒに対する閾値ｔｈａをｔｈＲとし、色Ｇに対する閾値ｔｈａをｔｈＧとし、色Ｂに対する閾値ｔｈａをｔｈＢとした場合には、ｔｈＲ＝ｔｈＢ＜ｔｈＧとすることが望ましい。これによると、輝度信号への寄与度が高い色Ｇのぼけを抑制することができる。
【００９４】
（ノイズ低減装置の第３の実施形態）
次に、画像処理部４に含まれるノイズ低減装置の第３の実施形態について説明する。図１８は、本発明の第３の実施形態に係るノイズ低減装置６０の概略の構成を示すブロック図である。なお、ノイズ低減装置６０においては、第１の実施形態に係るノイズ低減装置３０と同一の部分には同一の符号を付し、その詳細な説明は省略する。ノイズ低減装置６０は、ノイズ低減装置３０と異なる構成として、減算器３６より信号が入力され、重み付け加算部６６に信号を出力する水平フィルタ及び色分離部６１と；減算器３６より信号が入力され、重み付け加算部６６に信号を出力する垂直フィルタ及び色分離部６２と；動き検出部３２より信号が入力され、第２の重み係数検出部６５に信号を出力する相関方向検出部６３と；動き検出部３２より信号が入力され、第２の重み係数検出部６５に信号を出力する第１の重み係数検出部６４と；相関方向検出部６３及び第１の重み係数検出部６４より信号が入力され、重み付け加算部６６に信号を出力する第２の重み係数検出部６５と；第２のフィルタ及び色分離部３８、水平フィルタ及び色分離部６１、垂直フィルタ及び色分離部６２、及び第２の重み係数検出部６５より信号が入力され、後段に信号を出力する重み付け加算部６６と；を有している。また、ノイズ低減装置６０は、ノイズ低減装置３０が有していた第１のフィルタ及び色分離部３７を有していない。
【００９５】
ここで、ノイズ低減装置６０の動作の概略について説明する。まず、外部からの現フレームの信号（ベイヤーデータ）が、ノイズ検出部３１、動き検出部３２、及び減算器３６に入力される。また、フレームメモリ３４からの現フレームの１フレーム前の信号が、ノイズ検出部３１及び動き検出部３２に入力される。すると、ノイズ低減処理部３１は、第１の実施形態と同様に、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素のノイズ検出値を算出し、これを乗算器３５に出力する。
【００９６】
そして、次に、動き検出部３２が、第１の実施形態と同様に、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素の動き量を算出し、これを帰還係数検出部３３、相関方向検出部６３、及び第１の重み係数検出部６４に出力する。すると、帰還係数検出部３３が、第１の実施形態と同様に、動き検出部３２より入力された各画素の動き量から各画素の帰還係数ｋを算出し、これを乗算器３５に出力する。また、相関方向検出部６３が、動き検出部３２より入力された各画素の動き量から各画素の水平方向相関値ｄｖと、垂直方向相関値ｄｈを算出し、これを第２の重み係数検出部６５に出力する。また、第１の重み係数検出部６４が、動き検出部３２より入力された各画素の動き量から各画素の重み係数βを算出し、これを第２の重み係数検出部６５に出力する。
【００９７】
そして、次に、乗算器３５が、第１の実施形態と同様に、ノイズ検出部３１より入力された各画素のノイズ検出値と、帰還係数検出部３３より入力された各画素の帰還係数ｋとを乗算し、得られた各画素の減算ノイズ値を減算器３６へ出力する。すると、減算器３６が、第１の実施形態と同様に、外部より入力された現フレームの信号から、乗算器３５より入力された各画素の減算ノイズ値を減算し、得られた３次元ノイズ低減後信号をフレームメモリ３４、第２のフィルタ及び色分離部３８、水平フィルタ及び色分離部６１、及び垂直フィルタ及び色分離部６２に出力する。
【００９８】
そして、次に、第２のフィルタ及び色分離部３８が、第１の実施形態と同様に、減算器３６より入力された３次元ノイズ低減後信号に対して空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）を重み付け加算部６６に出力する。また、水平フィルタ及び色分離部６１が、減算器３６より入力された３次元ノイズ低減後信号に対して水平方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の水平フィルタ後信号ＬＨ（Ｒ）、ＬＨ（Ｇ）、ＬＨ（Ｂ）を重み付け加算部６６に出力する。また、垂直フィルタ及び色分離部６２が、減算器３６より入力された３次元ノイズ低減後信号に対して垂直方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の垂直フィルタ後信号ＬＶ（Ｒ）、ＬＶ（Ｇ）、ＬＶ（Ｂ）を重み付け加算部６６に出力する。また、第２の重み係数検出部６５が、相関方向検出部６３より入力された各画素の水平方向相関値ｄｖ及び垂直方向相関値ｄｈと、第１の重み係数検出部６４より入力された各画素の重み係数βとから、各画素の水平方向重み係数γと、垂直方向重み係数δとを算出し、これを重み付け加算部６６に出力する。
【００９９】
そして、次に、重み付け加算部６６が、第２のフィルタ及び色分離部３８より入力されたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）と、水平フィルタ及び色分離部６１より入力されたＲ、Ｇ、Ｂ各色の水平フィルタ後信号ＬＨ（Ｒ）、ＬＨ（Ｇ）、ＬＨ（Ｂ）と、垂直フィルタ及び色分離部６２より入力されたＲ、Ｇ、Ｂ各色の垂直フィルタ後信号ＬＶ（Ｒ）、ＬＶ（Ｇ）、ＬＶ（Ｂ）とを、第２の重み係数検出部６５より入力された各画素の水平方向重み係数γと、垂直方向重み係数δとによって色ごとに重み付け加算し（つまり、Ｏ（Ｒ）＝Ｌ（Ｒ）×（１−γ−δ）＋ＬＨ（Ｒ）×γ＋ＬＶ（Ｒ）×δ、Ｏ（Ｇ）＝Ｌ（Ｇ）×（１−γ−δ）＋ＬＨ（Ｇ）×γ＋ＬＶ（Ｇ）×δ、Ｏ（Ｂ）＝Ｌ（Ｂ）×（１−γ−δ）＋ＬＨ（Ｂ）×γ＋ＬＶ（Ｂ）×δである）、得られたＲ、Ｇ、Ｂ各色の出力信号Ｏ（Ｒ）、Ｏ（Ｇ）、Ｏ（Ｂ）を後段に出力する。
【０１００】
次に、水平フィルタ及び色分離部６１の詳細について説明する。水平フィルタ及び色分離部６１は、減算器３６より入力された３次元ノイズ低減後信号（ベイヤーデータ）に対して水平方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の水平フィルタ後信号ＬＨ（Ｒ）、ＬＨ（Ｇ）、ＬＨ（Ｂ）を重み付け加算部６６に出力するものである。
【０１０１】
具体的には、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、図１９（ａ）に示されるフィルタを用いて色Ｇの信号値を取得し、図１９（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｒについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１０２】
つまり、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、ＬＨ（Ｇ）＝１／８×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（２、−１）によって色Ｇの信号値が取得される。
【０１０３】
また、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、ＬＨ（Ｂ）＝１／８×Ｓ（−３、１）＋１／８×Ｓ（−１、１）＋１／８×Ｓ（１、１）＋１／８×Ｓ（３、１）＋１／８×Ｓ（−３、−１）＋１／８×Ｓ（−１、−１）＋１／８×Ｓ（１、−１）＋１／８×Ｓ（３、−１）によって色Ｂの信号値が取得される。
【０１０４】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、図２０（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２０（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１０５】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、ＬＨ（Ｒ）＝１／１６×Ｓ（−１、２）＋１／１６×Ｓ（１、２）＋１／８×Ｓ（−３、０）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／８×Ｓ（３、０）＋１／１６×Ｓ（−１、−２）＋１／１６×Ｓ（１、−２）によって色Ｒの信号値が取得される。
【０１０６】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、ＬＨ（Ｂ）＝１／８×Ｓ（−２、１）＋１／４×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−２、−１）＋１／４×Ｓ（０、−１）＋１／８×Ｓ（２、−１）によって色Ｂの信号値が取得される。
【０１０７】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、図２１（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２１（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１０８】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、ＬＨ（Ｒ）＝１／８×Ｓ（−２、１）＋１／４×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−２、−１）＋１／４×Ｓ（０、−１）＋１／８×Ｓ（２、−１）によって色Ｒの信号値が取得される。
【０１０９】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、ＬＨ（Ｂ）＝１／１６×Ｓ（−１、２）＋１／１６×Ｓ（１、２）＋１／８×Ｓ（−３、０）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／８×Ｓ（３、０）＋１／１６×Ｓ（−１、−２）＋１／１６×Ｓ（１、−２）によって色Ｂの信号値が取得される。
【０１１０】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、図２２（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２２（ｂ）に示されるフィルタを用いて色Ｇの信号値を取得し、色Ｂについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１１１】
つまり、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、ＬＨ（Ｒ）＝１／８×Ｓ（−３、１）＋１／８×Ｓ（−１、１）＋１／８×Ｓ（１、１）＋１／８×Ｓ（３、１）＋１／８×Ｓ（−３、−１）＋１／８×Ｓ（−１、−１）＋１／８×Ｓ（１、−１）＋１／８×Ｓ（３、−１）によって色Ｒの信号値が取得される。
【０１１２】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、ＬＨ（Ｇ）＝１／８×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（２、−１）によって色Ｇの信号値が取得される。
【０１１３】
なお、水平フィルタ及び色分離部６１の回路構成及びその動作については、上述した第２のフィルタ及び色分離部３８の回路構成及びその動作とほぼ同一であるので（ｘ及びｙが−３、−２、−１、０、１、２、３の各値を取るものである点が異なるのみ）、その説明は省略することとする。
【０１１４】
次に、垂直フィルタ及び色分離部６２の詳細について説明する。垂直フィルタ及び色分離部６２は、減算器３６より入力された３次元ノイズ低減後信号（ベイヤーデータ）に対して垂直方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の垂直フィルタ後信号ＬＶ（Ｒ）、ＬＶ（Ｇ）、ＬＶ（Ｂ）を重み付け加算部６６に出力するものである。
【０１１５】
具体的には、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、図２３（ａ）に示されるフィルタを用いて色Ｇの信号値を取得し、図２３（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｒについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１１６】
つまり、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、ＬＶ（Ｇ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／８×Ｓ（０、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｇの信号値が取得される。
【０１１７】
また、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、ＬＶ（Ｂ）＝１／８×Ｓ（−１、３）＋１／８×Ｓ（１、３）＋１／８×Ｓ（−１、１）＋１／８×Ｓ（１、１）＋１／８×Ｓ（−１、−１）＋１／８×Ｓ（１、−１）＋１／８×Ｓ（−１、−３）＋１／８×Ｓ（１、−３）によって色Ｂの信号値が取得される。
【０１１８】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、図２４（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２４（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１１９】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、ＬＶ（Ｒ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｒの信号値が取得される。
【０１２０】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、ＬＶ（Ｂ）＝１／８×Ｓ（０、３）＋１／１６×Ｓ（−２、１）＋１／４×Ｓ（０、１）＋１／１６×Ｓ（２、１）＋１／１６×Ｓ（−２、−１）＋１／４×Ｓ（０、−１）＋１／１６×Ｓ（２、−１）＋１／８×Ｓ（０、−３）によって色Ｂの信号値が取得される。
【０１２１】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、図２５（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２５（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１２２】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、ＬＶ（Ｒ）＝１／８×Ｓ（０、３）＋１／１６×Ｓ（−２、１）＋１／４×Ｓ（０、１）＋１／１６×Ｓ（２、１）＋１／１６×Ｓ（−２、−１）＋１／４×Ｓ（０、−１）＋１／１６×Ｓ（２、−１）＋１／８×Ｓ（０、−３）によって色Ｒの信号値が取得される。
【０１２３】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、ＬＶ（Ｂ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｂの信号値が取得される。
【０１２４】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、図２６（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２６（ｂ）に示されるフィルタを用いて色Ｇの信号値を取得し、色Ｂについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１２５】
つまり、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、ＬＶ（Ｒ）＝１／８×Ｓ（−１、３）＋１／８×Ｓ（１、３）＋１／８×Ｓ（−１、１）＋１／８×Ｓ（１、１）＋１／８×Ｓ（−１、−１）＋１／８×Ｓ（１、−１）＋１／８×Ｓ（−１、−３）＋１／８×Ｓ（１、−３）によって色Ｒの信号値が取得される。
【０１２６】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、ＬＶ（Ｇ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／８×Ｓ（０、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｇの信号値が取得される。
【０１２７】
なお、垂直フィルタ及び色分離部６２の回路構成及びその動作については、上述した第２のフィルタ及び色分離部３８の回路構成及びその動作とほぼ同一であるので（ｘ及びｙが−３、−２、−１、０、１、２、３の各値を取るものである点が異なるのみ）、その説明は省略することとする。
【０１２８】
次に、相関方向検出部６３の詳細について説明する。なお、以下では注目画素の座標を（０、０）、その動き量をＶ（０、０）とし、注目画素から右にｘ画素、上にｙ画素の位置にある画素の座標を（ｘ、ｙ）、その動き量をＶ（ｘ、ｙ）と表すこととする。つまり、注目画素から右に２画素、上に２画素の位置にある画素の座標を（２、２）、その動き量をＶ（２、２）と表し、注目画素から左に２画素、下に２画素の位置にある画素の座標を（−２、−２）、その動き量をＶ（−２、−２）と表すこととする。
【０１２９】
相関方向検出部６３は、動き検出部３２より入力された各画素の動き量に対して垂直方向勾配検出フィルタを作用させることによって、各画素の水平方向相関値ｄｖを算出し、また、動き検出部３２より入力された各画素の動き量に対して水平方向勾配検出フィルタを作用させることによって、各画素の垂直方向相関値ｄｈを算出し、これを第２の重み係数検出部６５に出力するものである。
【０１３０】
具体的には、各画素の動き量について、図２７（ａ）に示されるフィルタを用いて水平方向相関値ｄｖを算出し、図２７（ｂ）に示されるフィルタを用いて垂直方向相関値ｄｈを算出する。つまり、各画素の動き量について、ｄｖ＝Ｖ（−１、１）＋Ｖ（０、１）＋Ｖ（１、１）−Ｖ（−１、−１）−Ｖ（０、−１）−Ｖ（１、−１）によって水平方向相関値ｄｖが算出され、ｄｈ＝Ｖ（−１、１）＋Ｖ（−１、０）＋Ｖ（−１、−１）−Ｖ（１、１）−Ｖ（１、０）−Ｖ（１、−１）によって垂直方向相関値ｄｈが算出される。
【０１３１】
なお、相関方向検出部６３の回路構成及びその動作については、上述した第２のフィルタ及び色分離部３８の回路構成及びその動作とほぼ同一であるので（各メモリｍ（ｘ、ｙ）が信号値Ｓ（ｘ、ｙ）ではなく、動き量Ｖ（ｘ、ｙ）を記憶及び出力し、また、係数選択部Ａが各色の信号値の取得のためのフィルタ係数を生成するのではなく、水平方向相関値ｄｖ及び垂直方向相関値ｄｈの算出のためのフィルタ係数を生成する点が異なるのみ）、その説明は省略することとする。
【０１３２】
次に、第１の重み係数検出部６４の詳細について説明する。第１の重み係数検出部６４は、動き検出部３２より入力された各画素の動き量ｙに対して、数３式及び図１６に示されるｈ（ｙ）を算出することによって、各画素の重み係数βを算出し、これを第２の重み係数検出部６５に出力する。
【０１３３】
次に、第２の重み係数検出部６５の詳細について説明する。第２の重み係数検出部６５は、相関方向検出部６３より入力された各画素の水平方向相関値ｄｖ及び垂直方向相関値ｄｈと、第１の重み係数検出部６４より入力された各画素の重み係数βとに対して、以下の数４式を用いて各画素の水平方向重み係数γと、垂直方向重み係数δとを算出し、これを重み付け加算部６６に出力する。
【数４】
【０１３４】
このとき、水平方向重み係数γは、重み係数βと、水平方向相関値ｄｖとの増加に伴って増加する。そして、重み係数βは動き量の増加に伴って増加し、また、水平方向相関値ｄｖは動き量が水平方向に強い相関を持つ場合に増加することから、動き量が大きく、動き量が水平方向に強い相関を持つ場合には、この場合に適した水平フィルタ及び色分離部６１の影響が強められることとなる。
【０１３５】
また、垂直方向重み係数δは、重み係数βと、垂直方向相関値ｄｈとの増加に伴って増加する。そして、重み係数βは動き量の増加に伴って増加し、また、垂直方向相関値ｄｈは動き量が垂直方向に強い相関を持つ場合に増加することから、動き量が大きく、動き量が垂直方向に強い相関を持つ場合には、この場合に適した垂直フィルタ及び色分離部６２の影響が強められることとなる。
【０１３６】
（ノイズ低減装置の第４の実施形態）
次に、画像処理部４に含まれるノイズ低減装置の第４の実施形態について説明する。図２８は、本発明の第４の実施形態に係るノイズ低減装置７０の概略の構成を示すブロック図である。なお、ノイズ低減装置７０においては、第１の実施形態に係るノイズ低減装置３０及び第３の実施形態に係るノイズ低減装置６０と同一の部分には同一の符号を付し、その詳細な説明は省略する。ノイズ低減装置７０は、ノイズ低減装置３０及びノイズ低減装置６０と異なる構成として、相関方向検出部６３及び第１の重み係数検出部６４より信号が入力され、重み付け加算部７２に信号を出力する第２の重み係数検出部７１と；第１のフィルタ及び色分離部３７、第２のフィルタ及び色分離部３８、水平フィルタ及び色分離部６１、垂直フィルタ及び色分離部６２、及び第２の重み係数検出部７１より信号が入力され、後段に信号を出力する重み付け加算部７２と；を有している。
【０１３７】
ここで、ノイズ低減装置７０の動作の概略について説明する。まず、外部からの現フレームの信号（ベイヤーデータ）が、ノイズ検出部３１、動き検出部３２、及び減算器３６に入力される。また、フレームメモリ３４からの現フレームの１フレーム前の信号が、ノイズ検出部３１及び動き検出部３２に入力される。すると、第１の実施形態と同様に、ノイズ低減処理部３１は、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素のノイズ検出値を算出し、これを乗算器３５に出力する。
【０１３８】
そして、次に、動き検出部３２が、第１の実施形態と同様に、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素の動き量を算出し、これを帰還係数検出部３３、相関方向検出部６３、及び第１の重み係数検出部６４に出力する。すると、帰還係数検出部３３が、第１の実施形態と同様に、動き検出部３２より入力された各画素の動き量から各画素の帰還係数ｋを算出し、これを乗算器３５に出力する。また、相関方向検出部６３が、第３の実施形態と同様に、動き検出部３２より入力された各画素の動き量から各画素の水平方向相関値ｄｖと、垂直方向相関値ｄｈを算出し、これを第２の重み係数検出部７１に出力する。また、第１の重み係数検出部６４が、第３の実施形態と同様に、動き検出部３２より入力された各画素の動き量から各画素の重み係数βを算出し、これを第２の重み係数検出部７１に出力する。
【０１３９】
そして、次に、乗算器３５が、第１の実施形態と同様に、ノイズ検出部３１より入力された各画素のノイズ検出値と、帰還係数検出部３３より入力された各画素の帰還係数ｋとを乗算し、得られた各画素の減算ノイズ値を減算器３６へ出力する。すると、減算器３６が、第１の実施形態と同様に、外部より入力された現フレームの信号から、乗算器３５より入力された各画素の減算ノイズ値を減算し、得られた３次元ノイズ低減後信号をフレームメモリ３４、第１のフィルタ及び色分離部３７、第２のフィルタ及び色分離部３８、水平フィルタ及び色分離部６１、及び垂直フィルタ及び色分離部６２に出力する。
【０１４０】
そして、次に、第１のフィルタ及び色分離部３７が、第１の実施形態と同様に、減算器３６より入力された３次元ノイズ低減後信号に対して空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）を重み付け加算部７２に出力する。また、第２のフィルタ及び色分離部３８が、第１の実施形態と同様に、減算器３６より入力された３次元ノイズ低減後信号に対して、第１のフィルタ及び色分離部３７よりも高域の空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）を重み付け加算部７２に出力する。
【０１４１】
また、水平フィルタ及び色分離部６１が、第３の実施形態と同様に、減算器３６より入力された３次元ノイズ低減後信号に対して水平方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の水平フィルタ後信号ＬＨ（Ｒ）、ＬＨ（Ｇ）、ＬＨ（Ｂ）を重み付け加算部７２に出力する。また、垂直フィルタ及び色分離部６２が、第３の実施形態と同様に、減算器３６より入力された３次元ノイズ低減後信号に対して垂直方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の垂直フィルタ後信号ＬＶ（Ｒ）、ＬＶ（Ｇ）、ＬＶ（Ｂ）を重み付け加算部７２に出力する。また、第２の重み係数検出部７１が、相関方向検出部６３より入力された各画素の水平方向相関値ｄｖ及び垂直方向相関値ｄｈと、第１の重み係数検出部６４より入力された各画素の重み係数βとから、各画素の第１重み係数εと、水平方向重み係数γと、垂直方向重み係数δとを算出し、これを重み付け加算部７２に出力する。
【０１４２】
そして、次に、重み付け加算部７２が、第１のフィルタ及び色分離部３７より入力されたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）と、第２のフィルタ及び色分離部３８より入力されたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）と、水平フィルタ及び色分離部６１より入力されたＲ、Ｇ、Ｂ各色の水平フィルタ後信号ＬＨ（Ｒ）、ＬＨ（Ｇ）、ＬＨ（Ｂ）と、垂直フィルタ及び色分離部６２より入力されたＲ、Ｇ、Ｂ各色の垂直フィルタ後信号ＬＶ（Ｒ）、ＬＶ（Ｇ）、ＬＶ（Ｂ）とを、第２の重み係数検出部７１より入力された各画素の第１重み係数εと、水平方向重み係数γと、垂直方向重み係数δとによって色ごとに重み付け加算し（つまり、Ｏ（Ｒ）＝Ｌ１（Ｒ）×ε＋ＬＨ（Ｒ）×γ＋ＬＶ（Ｒ）×δ＋Ｌ２（Ｒ）×（１−γ−δ−ε）、Ｏ（Ｇ）＝Ｌ１（Ｇ）×ε＋ＬＨ（Ｇ）×γ＋ＬＶ（Ｇ）×δ＋Ｌ２（Ｇ）×（１−γ−δ−ε）、Ｏ（Ｂ）＝Ｌ１（Ｂ）×ε＋ＬＨ（Ｂ）×γ＋ＬＶ（Ｂ）×δ＋Ｌ２（Ｂ）×（１−γ−δ−ε）である）得られたＲ、Ｇ、Ｂ各色の出力信号Ｏ（Ｒ）、Ｏ（Ｇ）、Ｏ（Ｂ）を後段に出力する。
【０１４３】
次に、第２の重み係数検出部７１の詳細について説明する。第２の重み係数検出部７１は、各画素について、水平方向相関値ｄｖと、垂直方向相関値ｄｈとの和が閾値Ｔｈξより小さければ、第１重み係数ε＝β、水平方向重み係数γ＝０、垂直方向重み係数δ＝０と算出する一方、水平方向相関値ｄｖと、垂直方向相関値ｄｈとの和が閾値Ｔｈξ以上であれば、第１重み係数ε＝０とし、水平方向重み係数γと、垂直方向重み係数δとは数４式を用いて算出し、これを重み付け加算部７２へ出力する。
【０１４４】
このとき、水平方向相関値ｄｖと、垂直方向相関値ｄｈとの和が閾値Ｔｈξより小さければ、つまり、動き量の水平方向の相関の強さと、動き量の垂直方向の相関の強さとの和が小さい場合には、この場合に適するように、第１のフィルタ及び色分離部３７と、第２のフィルタ及び色分離部３８との影響が強められる一方、水平フィルタ及び色分離部６１と、垂直フィルタ及び色分離部６２との影響は無くなることとなる。また、水平方向相関値ｄｖと、垂直方向相関値ｄｈとの和が閾値Ｔｈξより大きければ、つまり、動き量の水平方向の相関の強さと、動き量の垂直方向の相関の強さとの和が大きい場合には、この場合に適するように、水平フィルタ及び色分離部６１と、垂直フィルタ及び色分離部６２との影響が強められる一方、第１のフィルタ及び色分離部３７による影響はなくなり、第２のフィルタ及び色分離部３８による影響が弱められることとなる。
【０１４５】
なお、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明におけるノイズ低減方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明におけるノイズ低減方法を利用可能である。図２９に、本発明におけるノイズ低減方法を行うノイズ低減装置（以下では、「画像処理部」に含まれる）を備えた表示装置を示す。
【０１４６】
図２９に示す表示装置は、図１に示す撮像装置と同様、画像処理部４、ディスプレイ９、ＴＧ１２、ＣＰＵ１３、メモリ１４、操作部１５、及び、バス回線１６、１７を備える。そして、外部で受信した放送信号を選局するチューナ部２１と、チューナ部２１で選局した放送信号を復調する復調部２２と、外部から入力されたデジタル信号となる圧縮信号が入力されるインターフェース２３とを、更に備える。
【０１４７】
この図２９の表示装置は、放送信号を受信する場合は、チューナ部２１で所望のチャンネルの放送信号を選局した後、復調部２２で放送信号を復調することで、画像信号が得られる。
【０１４８】
そして、操作部１５によって画像の表示が指示されると、復調部２２で得られた画像信号が、画像処理部４に与えられ、上述のノイズ低減処理や色分離処理を含む各種画像処理が施された後に、得られた表示信号がディスプレイ９に与えられ、画像の表示がなされる。なお、図２９においては省略したが、図１に示す撮像装置と同様に、音声出力回路部１０、スピーカ１１などを有することによって音声の出力を可能とする構成とすることも可能である。
【０１４９】
なお、本発明は上記の実施形態に限定されず、本発明の主旨を逸脱しない範囲で種々の変更が可能である。例えば、上記の第３の実施形態及び第４の実施形態においては、各画素の第１重み係数εと、水平方向重み係数γと、垂直方向重み係数δとを各色Ｒ、Ｇ、Ｂについて共通としたが、第２の実施形態と同様に、色ごとに異なるものとしてもよい。また、上記の実施形態においては、ＲＡＷ画像信号は、ベイヤーデータであることとしたが、これに限られるものではない。また、上記の実施形態においては、イメージセンサ１が有する色フィルタは原色系のフィルタであることとしたが、補色系のフィルタであってもよい。
【産業上の利用可能性】
【０１５０】
本発明は、複数のフレームによって構成される動画像のノイズを低減するノイズ低減方法及びノイズ低減装置として有効である。また、本発明は、このノイズ低減装置を備えた電子機器として有効である。
【図面の簡単な説明】
【０１５１】
【図１】撮像装置の内部構成を示すブロック図。
【図２】イメージセンサ１に設置されたフィルタの配置を示す説明図。
【図３】ノイズ低減装置３０の概略の構成を示すブロック図。
【図４】関数ｆ（ｘ）を示すグラフ。
【図５】動き検出部３２の概略の構成を示すブロック図。
【図６】関数ｇ（ｙ）を示すグラフ。
【図７】第１のフィルタ及び色分離部３７において、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図８】第１のフィルタ及び色分離部３７において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図９】第１のフィルタ及び色分離部３７において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図１０】第１のフィルタ及び色分離部３７において、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図１１】第２のフィルタ及び色分離部３８において、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図１２】第２のフィルタ及び色分離部３８において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図１３】第２のフィルタ及び色分離部３８において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図１４】第２のフィルタ及び色分離部３８において、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図１５】第２のフィルタ及び色分離部３８の回路構成を示すブロック図。
【図１６】関数ｈ（ｙ）を示すグラフ。
【図１７】ノイズ低減装置５０の概略の構成を示すブロック図。
【図１８】ノイズ低減装置６０の概略の構成を示すブロック図。
【図１９】水平フィルタ及び色分離部６１において、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図２０】水平フィルタ及び色分離部６１において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図２１】水平フィルタ及び色分離部６１において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図２２】水平フィルタ及び色分離部６１において、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図２３】垂直フィルタ及び色分離部６２において、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図２４】垂直フィルタ及び色分離部６２において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図２５】垂直フィルタ及び色分離部６２において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図２６】垂直フィルタ及び色分離部６２において、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図２７】垂直方向勾配検出フィルタ及び水平方向勾配検出フィルタを示す説明図。
【図２８】ノイズ低減装置７０の概略の構成を示すブロック図。
【図２９】表示装置の内部構成を示すブロック図。
【符号の説明】
【０１５２】
３０、５０、６０、７０ ノイズ低減装置
３２ 動き検出部
３７ 第１のフィルタ及び色分離部（フィルタ及び色分離部）
３８ 第２のフィルタ及び色分離部（フィルタ及び色分離部、空間フィルタ及び色分離部）
３９、５１ 重み係数検出部
４０、５２、６６、７２ 重み付け加算部
６１ 水平フィルタ及び色分離部（フィルタ及び色分離部）
６２ 垂直フィルタ及び色分離部（フィルタ及び色分離部）
６３ 相関方向検出部
６４ 第１の重み係数検出部
６５、７１ 第２の重み係数検出部
【技術分野】
【０００１】
本発明は、複数のフレームによって構成される動画像のノイズを低減するノイズ低減装置及びノイズ低減方法に関するもので、特に、データ量を低減し、処理を簡素化したノイズ低減装置及びノイズ低減方法に関する。また、本発明は、このノイズ低減装置を備えた電子機器に関する。
【背景技術】
【０００２】
近年、各種デジタル技術の発展に伴い、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子によってデジタル画像を撮影するデジタルカメラやデジタルビデオなどといった撮像装置や、デジタル画像を表示する液晶ディスプレイやプラズマテレビなどといった表示装置が広く普及しつつある。そして、このような撮像装置や表示装置における、複数のフレームによって構成される動画像のノイズを低減するための、各種のノイズ低減技術が提案されている。
【０００３】
このノイズ低減技術の代表的なものとしては、空間的なローパスフィルタ（ＬＰＦ）を作用させることによってノイズを低減しようとする２次元ノイズ低減処理、及び、時間的に連続する２つのフレームの信号を加算することによって時間的なローパスフィルタ（ＬＰＦ）を作用させ、ノイズを低減しようとする３次元ノイズ低減処理が挙げられる。
【０００４】
また、この３次元ノイズ低減処理を利用したノイズ低減方法として、特許文献１には、撮像素子で生成されたＲＡＷ画像データに対して、画素補間による色分離前に３次元ノイズ低減処理を行うことで、データ量を低減し、処理を簡素化したノイズ低減方法が記載されている。なお、特許文献１のノイズ低減方法においては、時間的に連続する２つのフレームの差分によって算出された動き量が小さい画素には３次元ノイズ低減処理の影響が大きくなり、動き量が大きい画素には３次元ノイズ低減処理の影響が小さくなるような重み付けがなされる。
【特許文献１】特開２００５−１７５８６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１のノイズ低減方法においては、データ量の低減及び処理の簡素化は達成されるものの、ノイズ低減のための処理としては３次元ノイズ低減処理を行っているのみであり、動き量の大きい画素については３次元ノイズ低減処理の影響が小さくなるような重み付けがなされることから、動き量の大きい画素についてはノイズ低減効果が殆ど得られないという問題がある。この問題を解決するためには、画素補間による色分離後に２次元ノイズ低減処理を行えばよいが、この場合には、２次元ノイズ低減処理を行うために、色ごとの信号値を複数ライン分記憶するメモリが必要となり、装置の大型化が問題となる。
【０００６】
上記の問題を鑑みて、本発明においては、データ量を低減し、処理を簡素化したノイズ低減装置及びノイズ低減方法であって、動き量の大きい画素についても十分なノイズ低減効果が得られるノイズ低減装置及びノイズ低減方法を提供することを目的とする。また、本発明は、このノイズ低減装置を備えた電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明においては、ノイズ低減装置は、外部より入力されたＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理部を有するノイズ低減装置であって、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、ノイズ低減処理及び色分離を同時に行い、各色のフィルタ後信号を得る複数のノイズ低減処理及び色分離部と、複数の前記ノイズ低減処理及び色分離部より入力された各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合部と、を有することを特徴とする。
【０００８】
本発明においては、ノイズ低減装置は、外部より入力されたＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理部を有するノイズ低減装置であって、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、ローパスフィルタを作用させると同時に色分離を行い、各色のフィルタ後信号を得る複数のフィルタ及び色分離部と、複数の前記フィルタ及び色分離部より入力された各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合部と、を有することを特徴とする。
【０００９】
また、本発明においては、上記構成のノイズ低減装置において、複数の前記フィルタ及び色分離部は、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、所定の帯域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第１フィルタ後信号を得る第１のフィルタ及び色分離部と、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、前記所定の帯域よりも高域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第２フィルタ後信号を得る第２のフィルタ及び色分離部と、によって構成され、前記混合部は、前記第１のフィルタ及び色分離部より入力された各色の前記第１フィルタ後信号と、前記第２のフィルタ及び色分離部より入力された各色の前記第２フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るものであって、外部より入力された前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出部と、前記動き検出部より入力された各画素の時間軸方向の前記動き量に応じて前記所定の重み係数を算出する重み係数検出部と、を有することが望ましい。
【００１０】
また、本発明においては、上記構成のノイズ低減装置において、複数の前記フィルタ及び色分離部は、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、空間的なローパスフィルタを作用させると同時に色分離を行い、各色の空間フィルタ後信号を得る空間フィルタ及び色分離部と、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、水平方向のローパスフィルタを作用させると同時に色分離を行い、各色の水平フィルタ後信号を得る水平フィルタ及び色分離部と、前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、垂直方向のローパスフィルタを作用させると同時に色分離を行い、各色の垂直フィルタ後信号を得る垂直フィルタ及び色分離部と、によって構成され、前記混合部は、前記空間フィルタ及び色分離部より入力された各色の前記空間フィルタ後信号と、前記水平フィルタ及び色分離部より入力された各色の前記水平フィルタ後信号と、前記垂直フィルタ及び色分離部より入力された各色の前記垂直フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るものであって、外部より入力された前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出部と、前記動き検出部より入力された各画素の時間軸方向の前記動き量の水平方向相関値及び垂直方向相関値を算出する相関方向検出部と、前記動き検出部より入力された各画素の時間軸方向の前記動き量と、前記相関方向検出部より入力された各画素の時間軸方向の前記動き量の前記水平方向相関値及び前記垂直方向相関値とに応じて前記所定の重み係数を算出する重み係数検出部と、を有することが望ましい。
【００１１】
また、本発明においては、上記構成のノイズ低減装置において、前記所定の重み係数は、色ごとに異なることとしてもよい。
【００１２】
本発明においては、ノイズ低減方法は、動画を構成するＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理ステップを有するノイズ低減方法であって、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、ノイズ低減処理及び色分離を同時に行い、各色のフィルタ後信号を得る複数のノイズ低減処理及び色分離ステップと、複数の前記ノイズ低減処理及び色分離ステップで得られた各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合ステップと、を有することを特徴とする。
【００１３】
本発明においては、ノイズ低減方法は、動画を構成するＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減ステップを有するノイズ低減方法であって、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、ローパスフィルタを作用させると同時に色分離を行い、各色のフィルタ後信号を得る複数のフィルタ及び色分離ステップと、複数の前記フィルタ及び色分離部ステップで得られた各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合ステップと、を有することを特徴とする。
【００１４】
また、本発明においては、上記構成のノイズ低減方法において、複数の前記フィルタ及び色分離ステップは、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、所定の帯域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第１フィルタ後信号を得る第１のフィルタ及び色分離ステップと、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、前記所定の帯域よりも高域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第２フィルタ後信号を得る第２のフィルタ及び色分離ステップと、によって構成され、前記混合ステップは、前記第１のフィルタ及び色分離ステップで得られた各色の前記第１フィルタ後信号と、前記第２のフィルタ及び色分離ステップで得られた各色の前記第２フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るステップであって、動画を構成する前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出ステップと、前記動き検出ステップで得られた各画素の時間軸方向の前記動き量に応じて前記所定の重み係数を算出する重み係数検出ステップと、を有することが望ましい。
【００１５】
また、本発明においては、上記構成のノイズ低減方法において、複数の前記フィルタ及び色分離ステップは、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、空間的なローパスフィルタを作用させると同時に色分離を行い、各色の空間フィルタ後信号を得る空間フィルタ及び色分離ステップと、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、水平方向のローパスフィルタを作用させると同時に色分離を行い、各色の水平フィルタ後信号を得る水平フィルタ及び色分離ステップと、前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、垂直方向のローパスフィルタを作用させると同時に色分離を行い、各色の垂直フィルタ後信号を得る垂直フィルタ及び色分離ステップと、によって構成され、前記混合ステップは、前記空間フィルタ及び色分離ステップで得られた各色の前記空間フィルタ後信号と、前記水平フィルタ及び色分離ステップで得られた各色の前記水平フィルタ後信号と、前記垂直フィルタ及び色分離ステップで得られた各色の前記垂直フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るステップであって、動画を構成する前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出ステップと、前記動き検出ステップで得られた各画素の時間軸方向の前記動き量の水平方向相関値及び垂直方向相関値を算出する相関方向検出ステップと、前記動き検出ステップで得られた各画素の時間軸方向の前記動き量と、前記相関方向検出ステップで得られた各画素の時間軸方向の前記動き量の前記水平方向相関値及び前記垂直方向相関値とに応じて前記所定の重み係数を算出する重み係数検出ステップと、を有することが望ましい。
【００１６】
また、本発明においては、上記構成のノイズ低減方法において、前記所定の重み係数は、色ごとに異なることとしてもよい。
【００１７】
本発明においては、電子機器は、動画を構成するＲＡＷ画像信号が外部入力又は撮像によって与えられるとともに、該動画のノイズを低減するノイズ低減装置を備えた電子機器であって、前記ノイズ低減装置は、上記構成のノイズ低減装置であることを特徴とする。
【発明の効果】
【００１８】
本発明のノイズ低減装置及びノイズ低減方法によると、３次元ノイズ低減後信号に対して、ローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の複数のフィルタ後信号を、所定の重み係数によって色ごとに重み付け加算することによって出力信号を得るので、データ量を低減し、処理を簡素化したノイズ低減装置及びノイズ低減方法であって、更に、３次元ノイズ低減処理によるノイズ低減効果が十分に得られない動き量の大きい画素についても、十分なノイズ低減効果を得ることができる。
【００１９】
また、本発明のノイズ低減装置及びノイズ低減方法によると、３次元ノイズ低減後信号に対して所定の帯域の空間的なローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の第１フィルタ後信号と、３次元ノイズ低減後信号に対して所定の帯域よりも高域の空間的なローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の第２フィルタ後信号とを、各画素の時間軸方向の動き量に応じて算出された重み係数によって色ごとに重み付け加算することによって出力信号を得るので、例えば、動き量の小さい画素に対しては、高域の空間的なローパスフィルタの影響を強める一方、低域の空間的なローパスフィルタの影響を弱め、動き量の大きい画素に対しては、低域の空間的なローパスフィルタの影響を強める一方、高域の空間的なローパスフィルタの影響を弱めることとすれば、動き量に応じた適切なノイズ低減処理を行うことができることから、十分なノイズ低減効果を得ることができ、また画像ぼけを抑制することができる。
【００２０】
また、本発明のノイズ低減装置及びノイズ低減方法によると、３次元ノイズ低減後信号に対して空間的なローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の空間フィルタ後信号と、３次元ノイズ低減後信号に対して水平方向のローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の水平フィルタ後信号と、３次元ノイズ低減後信号に対して垂直方向のローパスフィルタを作用させると同時に色分離を行うことによって得られた各色の垂直フィルタ後信号とを、各画素の時間軸方向の動き量と、各画素の時間軸方向の動き量の水平方向相関値及び垂直方向相関値とに応じて算出された重み係数によって色ごとに重み付け加算することによって出力信号を得るので、例えば、動き量が大きく、動き量の水平方向相関値が大きい画素に対しては、水平方向のローパスフィルタの影響を強める一方、空間的なローパスフィルタ及び垂直方向のローパスフィルタの影響を弱め、動き量が大きく、動き量の垂直方向相関値が大きい画素に対しては、垂直方向のローパスフィルタの影響を強める一方、空間的なローパスフィルタ及び水平方向のローパスフィルタの影響を弱め、動き量が小さい画素に対しては、空間的なローパスフィルタの影響を強める一方、水平方向のローパスフィルタ及び垂直方向のローパスフィルタの影響を弱めることとすれば、各画素の時間軸方向の動き量と、各画素の時間軸方向の動き量の水平方向及び垂直方向の相関の強さに応じた適切なノイズ低減処理を行うことができることから、十分なノイズ低減効果を得ることができ、また画像ぼけを抑制することができる。
【００２１】
また、本発明のノイズ低減装置及びノイズ低減方法によると、所定の重み係数は色ごとに異なるので、例えば、色Ｇの第１フィルタ後信号の重みを、色Ｒ及び色Ｂの第１フィルタ後信号の重みと比較して小さくすれば、輝度信号への寄与度が高い色Ｇのぼけを抑制することができる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施の形態について、図面を参照して説明する。なお、以下では、本発明におけるノイズ低減方法を行うノイズ低減装置（以下では、「画像処理部」に含まれる）を備えたデジタルカメラやデジタルビデオなどの撮像装置を例に挙げて説明する。また、後述するが、同様のノイズ低減装置を備えるものであれば、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置であっても構わない。
【００２３】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２４】
図１の撮像装置は、被写体から入射される光を電気信号に変換するＣＣＤまたはＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と；イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog FrontEnd）２と；外部から入力された音声を電気信号に変換するマイク３と；ＡＦＥ２からのデジタル信号となる画像信号に対して色分離処理及びノイズ低減処理を含む各種画像処理を施す画像処理部４と；マイク３からのアナログ信号である音声信号をデジタル信号に変換する音声処理部５と；画像処理部４からの画像信号と音声処理部５からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部６と；圧縮処理部６で圧縮符号化された圧縮符号化信号を外部メモリ２０に記録するドライバ部７と；ドライバ部７で外部メモリ２０から読み出した圧縮符号化信号を伸長して復号する伸長処理部８と；伸長処理部８で復号されて得られた画像信号による画像の表示を行うディスプレイ９と；伸長処理部８からの音声信号をアナログ信号に変換する音声出力回路部１０と；音声出力回路部１０からの音声信号に基づいて音声を再生出力するスピーカ１１と；各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するＴＧ（Timing Generator）１２と；撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１３と；各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１４と；ユーザからの指示が入力される操作部１５と；メモリ１４と各ブロックとの間でデータのやりとりを行うためのバス回線１６と；ＣＰＵ１３と各ブロックとの間でデータのやりとりを行うためのバス回線１７と；を備える。
【００２５】
このような構成の撮像装置において、イメージセンサ１は、透過率の異なる複数種類の色フィルタが各画素の表面に設置された固体撮像素子、即ち、単板式色フィルタを備えた固体撮像素子である。この色フィルタは、隣接する画素毎に異なる種類の色フィルタが設置される。したがって、イメージセンサ１から出力される映像信号は、各画素が単色の色情報しか持たない、いわゆるＲＡＷ画像信号となる。このようなイメージセンサ１に設置される単板式色フィルタとして、例えば、図２のようなＲ（Red）フィルタとＧ（Green）フィルタとＢ（Blue）フィルタとからなるベイヤーフィルタが構成される。この図２のベイヤーフィルタは、ＧフィルタとＲフィルタとが水平方向に交互に並ぶラインと、ＢフィルタとＧフィルタとが水平方向に交互に並ぶラインとを、垂直方向に交互に並ぶようにして備える。即ち、ＧフィルタとＢフィルタとが垂直方向に交互に並ぶラインと、ＲフィルタとＧフィルタとが垂直方向に交互に並ぶラインとが、水平方向に交互に並ぶ。このようなベイヤーフィルタを備えたイメージセンサ１において、ＲＧＢフィルタそれぞれを備えた画素よりＲＧＢ信号それぞれとなる映像信号が出力される。
【００２６】
そして、この撮像装置において、撮像動作を行うことが操作部１５によって指示されると、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ２に出力される。このとき、イメージセンサ１では、ＴＧ１２からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ２において、アナログ信号である画像信号がデジタル信号に変換されて、画像処理部４に入力されると、ノイズ低減処理や色分離処理などの各種画像処理が施される。なお、画像処理部４の詳細については後述する。
【００２７】
そして、画像処理部４で画像処理が施された画像信号が圧縮処理部６に与えられる。このとき、マイク３に音声入力されることで得られたアナログ信号である音声信号が、音声処理部５でデジタル信号に変換されて、圧縮処理部６に与えられる。これにより、圧縮処理部６では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化してドライバ部７に与えて、外部メモリ２０に記録させる。また、このとき、外部メモリ２０に記録された圧縮信号がドライバ部７によって読み出されて伸長処理部８に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ９に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。
【００２８】
なお、上述では、動画撮影時の動作について説明したが、静止画像撮影が指示された場合においても、マイク３による音声信号の取得がなく、画像信号のみの圧縮信号が外部メモリ２０に記録されるだけとなるが、その基本動作については動画撮影時の動作と同様である。また、この静止画像撮影の場合、操作部１５によって撮影された静止画像に対する圧縮信号が外部メモリ２０に記録されるだけでなく、イメージセンサ１によって撮影されている現時点の画像に対する圧縮信号が外部メモリ２０に一時的に記録される。これにより、現在撮影されている画像に対する圧縮信号が伸長処理部８で伸長されることで、イメージセンサ１によって撮影されている現時点の画像がディスプレイ９に表示され、ユーザが確認することができる。
【００２９】
このように撮像動作を行うとき、ＴＧ１２によって、ＡＦＥ２、映像処理部４、音声処理部５、圧縮処理部６、及び伸長処理部８に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。また、静止画像撮影のときは、操作部１５によるシャッタ動作に基づいて、ＴＧ１２より、イメージセンサ１、ＡＦＥ２、映像処理部４、及び、圧縮処理部６それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させる。
【００３０】
また、外部メモリ２０に記録された動画または画像を再生することが、操作部１５を通じて指示されると、外部メモリ２０に記録された圧縮信号は、ドライバ部７によって読み出されて伸長処理部８に与えられる。そして、伸長処理部８において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ９に与えられて画像が再生されるとともに、音声信号が音声出力回路部１０を介してスピーカ１１に与えられて音声が再生される。これにより、外部メモリ２０に記録された圧縮信号に基づく動画が音声とともに再生される。また、圧縮信号が画像信号のみより成るときは、ディスプレイ９に画像のみが再生されることとなる。
【００３１】
（ノイズ低減装置の第１の実施形態）
次に、画像処理部４に含まれるノイズ低減装置の第１の実施形態について説明する。図３は、本発明の第１の実施形態に係るノイズ低減装置３０の概略の構成を示すブロック図である。ノイズ低減装置３０は、外部及びフレームメモリ３４より信号が入力され、乗算器３５に信号を出力するノイズ検出部３１と；外部及びフレームメモリ３４より信号が入力され、帰還係数検出部３３及び重み係数検出部３９に信号を出力する動き検出部３２と；動き検出部３２より信号が入力され、乗算器３５に信号を出力する帰還係数検出部３３と；減算器３６より信号が入力され、ノイズ検出部３１及び動き検出部３２に信号を出力するフレームメモリ３４と；ノイズ検出部３１及び帰還係数検出部３３より信号が入力され、減算器３６に信号を出力する乗算器３５と；外部及び乗算器３５より信号が入力され、フレームメモリ３４、第１のフィルタ及び色分離部３７、及び第２のフィルタ及び色分離部３８に信号を出力する減算器３６と；減算器３６より信号が入力され、重み付け加算部４０に信号を出力する第１のフィルタ及び色分離部３７と；減算器３６より信号が入力され、重み付け加算部４０に信号を出力する第２のフィルタ及び色分離部３８と；動き検出部３２より信号が入力され、重み付け加算部４０に信号を出力する重み係数検出部３９と；第１のフィルタ及び色分離部３７、第２のフィルタ及び色分離部３８、及び重み係数検出部３９より信号が入力され、後段に信号を出力する重み付け加算部４０と；を有している。なお、以下では、現フレームの信号は外部から入力されることとするが、この外部とは、図１の撮像装置のＡＦＥ２、あるいは画像処理部４のノイズ低減装置３０の前段階の画像処理を行う部分のことを指すものである。
【００３２】
ここで、ノイズ低減装置３０の動作の概略について説明する。まず、外部からの現フレームの信号（ベイヤーデータ）が、ノイズ検出部３１、動き検出部３２、及び減算器３６に入力される。また、フレームメモリ３４からの現フレームの１フレーム前の信号が、ノイズ検出部３１及び動き検出部３２に入力される。すると、ノイズ低減処理部３１は、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素のノイズ検出値を算出し、これを乗算器３５に出力する。
【００３３】
そして、次に、動き検出部３２が、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素の動き量を算出し、これを帰還係数検出部３３及び重み係数検出部３９に出力する。すると、帰還係数検出部３３が、動き検出部３２より入力された各画素の動き量から各画素の帰還係数ｋを算出し、これを乗算器３５に出力する。
【００３４】
そして、次に、乗算器３５が、ノイズ検出部３１より入力された各画素のノイズ検出値と、帰還係数検出部３３より入力された各画素の帰還係数ｋとを乗算し、得られた各画素の減算ノイズ値を減算器３６へ出力する。すると、減算器３６が、外部より入力された現フレームの信号から、乗算器３５より入力された各画素の減算ノイズ値を減算し、得られた３次元ノイズ低減後信号をフレームメモリ３４、第１のフィルタ及び色分離部３７、及び第２のフィルタ及び色分離部３８に出力する。
【００３５】
そして、次に、第１のフィルタ及び色分離部３７が、減算器３６より入力された３次元ノイズ低減後信号に対して空間的な（２次元の）ローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）を重み付け加算部４０に出力する。また、第２のフィルタ及び色分離部３８が、減算器３６より入力された３次元ノイズ低減後信号に対して、第１のフィルタ及び色分離部３７よりも高域の空間的な（２次元の）ローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）を重み付け加算部４０に出力する。また、重み係数検出部３９が、動き検出部３２より入力された各画素の動き量から各画素の重み係数αを算出し、これを重み付け加算部４０に出力する。
【００３６】
そして、次に、重み付け加算部４０が、第１のフィルタ及び色分離部３７より入力されたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）と、第２のフィルタ及び色分離部３８より入力されたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）とを、重み係数検出部３９より入力された各画素の重み係数αによって色ごとに重み付け加算し（つまり、Ｏ（Ｒ）＝Ｌ１（Ｒ）×α＋Ｌ２（Ｒ）×（１−α）、Ｏ（Ｇ）＝Ｌ１（Ｇ）×α＋Ｌ２（Ｇ）×（１−α）、Ｏ（Ｂ）＝Ｌ１（Ｂ）×α＋Ｌ２（Ｂ）×（１−α）である）、得られたＲ、Ｇ、Ｂ各色の出力信号Ｏ（Ｒ）、Ｏ（Ｇ）、Ｏ（Ｂ）を後段に出力する。
【００３７】
次に、ノイズ検出部３１の詳細について説明する。ノイズ検出部３１は、外部より入力された現フレームの信号から、フレームメモリ３４より入力された１フレーム前の信号を減算することによって得られた各画素の差分信号値ｘに対してノイズ検出値ｆ（ｘ）を算出し、これを乗算器３５に出力する。ここで、関数ｆ（ｘ）としては、例えば、以下の数１式及び図４に示されるようなものが用いられる。
【数１】
【００３８】
数１式及び図４に示される関数ｆ（ｘ）は、各画素の差分信号値ｘの絶対値が閾値ｔｈを超える場合にはノイズ検出値ｆ（ｘ）を抑えるものであり、これによって動き部分を誤ってノイズと検出してしまう誤動作を防止できる。
【００３９】
次に、動き検出部３２の詳細について説明する。図５は、動き検出部３２の概略の構成を示すブロック図である。動き検出部３２は、外部及びフレームメモリ３４より信号が入力され、絶対値化部３２２に信号を出力する減算器３２１と；減算器３２１より信号が入力され、フィルタ部３２３に信号を出力する絶対値化部３２２と；絶対値化部３２２より信号が入力され、帰還係数検出部３３に信号を出力するフィルタ部３２３と；を有している。
【００４０】
ここで、動き検出部３２の動作の概略について説明する。まず、外部からの現フレームの信号と、フレームメモリ３４からの１フレーム前の信号とが減算器３２１に入力される。すると、減算器３２１は、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号との差分を計算し、得られた差分信号を絶対値化部３２２に出力する。
【００４１】
そして、次に、絶対値化部３２２は、入力された差分信号を絶対値化し、得られた絶対値化信号をフィルタ部３２３に出力する。すると、フィルタ部３２３は、入力された絶対値化信号に対してローパスフィルタをかけることによって得られた各画素の動き量を帰還係数検出部３３に出力する。ここで、フィルタ部３２３によってローパスフィルタをかけることによって、ノイズ信号と動きを示す信号との分離精度が高められる。
【００４２】
次に、帰還係数検出部３３の詳細について説明する。帰還係数検出部３３は、動き検出部３２より入力された各画素の動き量ｙに対して各画素の帰還係数ｋ＝ｇ（ｙ）を算出し、これを乗算器３５に出力する。ここで、関数ｇ（ｙ）としては、例えば、以下の数２式及び図６に示されるようなものが用いられる。
【数２】
【００４３】
数２式及び図６に示される関数ｇ（ｙ）は、動き量ｙの増加に伴って一次関数的に帰還係数ｋが１から減少し、動き量ｙが閾値ｔｈＡ以上となると、帰還係数ｋが０となるものであり、これによって、動き量ｙの小さい画素に対するノイズ検出部３１によるノイズ低減効果、つまり、３次元ノイズ低減処理の効果を大きくし、動き量ｙの大きい画素に対するノイズ検出部３１によるノイズ低減効果、つまり、３次元ノイズ低減処理の効果を小さくしている。なお、この閾値ｔｈＡは、入力信号レベル及びノイズレベルに応じて決定することが望ましい。
【００４４】
次に、第１のフィルタ及び色分離部３７の詳細について説明する。なお、以下では注目画素の座標を（０、０）、その信号値をＳ（０、０）とし、注目画素から右にｘ画素、上にｙ画素の位置にある画素の座標を（ｘ、ｙ）、その信号値をＳ（ｘ、ｙ）と表すこととする。つまり、注目画素から右に２画素、上に２画素の位置にある画素の座標を（２、２）、その信号値をＳ（２、２）と表し、注目画素から左に２画素、下に２画素の位置にある画素の座標を（−２、−２）、その信号値をＳ（−２、−２）と表すこととする。
【００４５】
第１のフィルタ及び色分離部３７は、減算器３６より入力された３次元ノイズ低減後信号（ベイヤーデータ）に対して空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）を重み付け加算部４０に出力するものである。
【００４６】
具体的には、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、図７（ａ）に示されるフィルタを用いて色Ｇの信号値を取得し、図７（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｒについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００４７】
つまり、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、Ｌ１（Ｇ）＝１／１６×Ｓ（−１、２）＋１／１６×Ｓ（１、２）＋１／１６×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／１６×Ｓ（２、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／１６×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／１６×Ｓ（２、−１）＋１／１６×Ｓ（−１、−２）＋１／１６×Ｓ（１、−２）によって色Ｇの信号値が取得される。
【００４８】
また、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、Ｌ１（Ｂ）＝１／１６×Ｓ（−３、３）＋１／１６×Ｓ（−１、３）＋１／１６×Ｓ（１、３）＋１／１６×Ｓ（３、３）＋１／１６×Ｓ（−３、１）＋１／１６×Ｓ（−１、１）＋１／１６×Ｓ（１、１）＋１／１６×Ｓ（３、１）＋１／１６×Ｓ（−３、−１）＋１／１６×Ｓ（−１、−１）＋１／１６×Ｓ（１、−１）＋１／１６×Ｓ（３、−１）＋１／１６×Ｓ（−３、−３）＋１／１６×Ｓ（−１、−３）＋１／１６×Ｓ（１、−３）＋１／１６×Ｓ（３、−３）によって色Ｂの信号値が取得される。
【００４９】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、図８（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図８（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００５０】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、Ｌ１（Ｒ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／８×Ｓ（−３、０）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（３、０）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｒの信号値が取得される。
【００５１】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、Ｌ１（Ｂ）＝１／８×Ｓ（０、３）＋１／８×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（２、−１）＋１／８×Ｓ（０、−３）によって色Ｂの信号値が取得される。
【００５２】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、図９（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図９（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００５３】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、Ｌ１（Ｒ）＝１／８×Ｓ（０、３）＋１／８×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（２、−１）＋１／８×Ｓ（０、−３）によって色Ｒの信号値が取得される。
【００５４】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、Ｌ１（Ｂ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／８×Ｓ（−３、０）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（３、０）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｂの信号値が取得される。
【００５５】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、図１０（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図１０（ｂ）に示されるフィルタを用いて色Ｇの信号値を取得し、色Ｂについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００５６】
つまり、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、Ｌ１（Ｒ）＝１／１６×Ｓ（−３、３）＋１／１６×Ｓ（−１、３）＋１／１６×Ｓ（１、３）＋１／１６×Ｓ（３、３）＋１／１６×Ｓ（−３、１）＋１／１６×Ｓ（−１、１）＋１／１６×Ｓ（１、１）＋１／１６×Ｓ（３、１）＋１／１６×Ｓ（−３、−１）＋１／１６×Ｓ（−１、−１）＋１／１６×Ｓ（１、−１）＋１／１６×Ｓ（３、−１）＋１／１６×Ｓ（−３、−３）＋１／１６×Ｓ（−１、−３）＋１／１６×Ｓ（１、−３）＋１／１６×Ｓ（３、−３）によって色Ｒの信号値が取得される。
【００５７】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、Ｌ１（Ｇ）＝１／１６×Ｓ（−１、２）＋１／１６×Ｓ（１、２）＋１／１６×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／１６×Ｓ（２、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／１６×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／１６×Ｓ（２、−１）＋１／１６×Ｓ（−１、−２）＋１／１６×Ｓ（１、−２）によって色Ｇの信号値が取得される。
【００５８】
次に、第２のフィルタ及び色分離部３８の詳細について説明する。第２のフィルタ及び色分離部３８は、減算器３６より入力された３次元ノイズ低減後信号（ベイヤーデータ）に対して、第１のフィルタ及び色分離部３７よりも高域の空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）を重み付け加算部４０に出力するものである。
【００５９】
具体的には、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、図１１（ａ）に示されるフィルタを用いて色Ｇの信号値を取得し、図１１（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｒについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００６０】
つまり、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、Ｌ２（Ｇ）＝１／４×Ｓ（０、１）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／４×Ｓ（０、−１）によって色Ｇの信号値が取得される。
【００６１】
また、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、Ｌ２（Ｂ）＝１／４×Ｓ（−１、１）＋１／４×Ｓ（１、１）＋１／４×Ｓ（−１、−１）＋１／４×Ｓ（１、−１）によって色Ｂの信号値が取得される。
【００６２】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、図１２（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図１２（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００６３】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、Ｌ２（Ｒ）＝１／２×Ｓ（−１、０）＋１／２×Ｓ（１、０）によって色Ｒの信号値が取得される。
【００６４】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、Ｌ２（Ｂ）＝１／２×Ｓ（０、１）＋１／２×Ｓ（０、−１）によって色Ｂの信号値が取得される。
【００６５】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、図１３（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図１３（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００６６】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、Ｌ２（Ｒ）＝１／２×Ｓ（０、１）＋１／２×Ｓ（０、−１）によって色Ｒの信号値が取得される。
【００６７】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、Ｌ２（Ｂ）＝１／２×Ｓ（−１、０）＋１／２×Ｓ（１、０）によって色Ｂの信号値が取得される。
【００６８】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、図１４（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図１４（ｂ）に示されるフィルタを用いて色Ｇの信号値を取得し、色Ｂについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【００６９】
つまり、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、Ｌ２（Ｒ）＝１／４×Ｓ（−１、１）＋１／４×Ｓ（１、１）＋１／４×Ｓ（−１、−１）＋１／４×Ｓ（１、−１）によって色Ｒの信号値が取得される。
【００７０】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、Ｌ２（Ｇ）＝１／４×Ｓ（０、１）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／４×Ｓ（０、−１）によって色Ｇの信号値が取得される。
【００７１】
ここで、第２のフィルタ及び色分離部３８の回路構成について説明する。図１５は、第２のフィルタ及び色分離部３８の回路構成を示すブロック図である。なお、以下では、ｘ及びｙは、−１、０、１の各値を取るものとする。
【００７２】
第２のフィルタ及び色分離部３８は、フィルタ係数ａ（ｘ、ｙ）を生成し、これを乗算器Ｍ（ｘ、ｙ）に出力する係数選択部Ａと；Ｓ（ｘ、ｙ）を記憶し、これを乗算器Ｍ（ｘ、ｙ）に出力するメモリｍ（ｘ、ｙ）と；ａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を算出し、これを加算器Ｐに出力する乗算器Ｍ（ｘ、ｙ）と；ａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を全て加算し、これを重み付け加算部４０に出力する加算機Ｐと；を有している。
【００７３】
次に、第２のフィルタ及び色分離部３８の動作の概略について説明する。まず、係数選択部Ａが、注目画素の水平アドレス及び垂直アドレスから、注目画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるか、注目画素がベイヤーデータにおいて色Ｇの信号値が得られている画素であるか、あるいは、注目画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるかを判定する。また、注目画素がベイヤーデータにおいて色Ｇの信号値が得られている画素である場合には、注目画素の左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるか、あるいは、注目画素の左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるかの判定も行う。
【００７４】
そして、次に、係数選択部Ａは、注目画素の判定結果に応じて、まず、色Ｒの信号値を取得するためのフィルタ係数ａ（ｘ、ｙ）を生成し、これを乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。そして、次に、各乗算器Ｍ（ｘ、ｙ）が、ａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を算出し、これを加算器Ｐに出力する。すると、加算機Ｐが、各乗算器Ｍ（ｘ、ｙ）から入力されたａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を全て加算し、得られた色Ｒの信号値を重み付け加算部４０に出力する。
【００７５】
そして、次に、係数選択部Ａは、注目画素の判定結果に応じて、色Ｇの信号値を取得するためのフィルタ係数ａ（ｘ、ｙ）を生成し、これを乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。そして、次に、各乗算器Ｍ（ｘ、ｙ）が、ａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を算出し、これを加算器Ｐに出力する。すると、加算機Ｐが、各乗算器Ｍ（ｘ、ｙ）から入力されたａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を全て加算し、得られた色Ｇの信号値を重み付け加算部４０に出力する。
【００７６】
そして、次に、係数選択部Ａは、注目画素の判定結果に応じて、色Ｂの信号値を取得するためのフィルタ係数ａ（ｘ、ｙ）を生成し、これを乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。そして、次に、各乗算器Ｍ（ｘ、ｙ）が、ａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を算出し、これを加算器Ｐに出力する。すると、加算機Ｐが、各乗算器Ｍ（ｘ、ｙ）から入力されたａ（ｘ、ｙ）×Ｓ（ｘ、ｙ）を全て加算し、得られた色Ｂの信号値を重み付け加算部４０に出力する。
【００７７】
次に、第２のフィルタ及び色分離部３８の動作について、注目画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である場合を例として具体的に説明する。この場合、係数選択部Ａが、まず、色Ｒの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝０、ａ（０、１）＝０、ａ（１、１）＝０、ａ（−１、０）＝０、ａ（０、０）＝１、ａ（１、０）＝０、ａ（−１、−１）＝０、ａ（０、−１）＝０、ａ（１、−１）＝０を生成し、これらを対応する乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。
【００７８】
すると、各乗算器Ｍ（ｘ、ｙ）及び加算器Ｐによって、Ｌ２（Ｒ）＝０×Ｓ（−１、１）＋０×Ｓ（０、１）＋０×Ｓ（１、１）＋０×Ｓ（−１、０）＋１×Ｓ（０、０）＋０×Ｓ（１、０）＋０×Ｓ（−１、−１）＋０×Ｓ（０、−１）＋０×Ｓ（１、−１）＝Ｓ（０、０）が算出され、重み付け加算部４０に出力される。
【００７９】
そして、次に、係数選択部Ａは、色Ｇの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝０、ａ（０、１）＝１／４、ａ（１、１）＝０、ａ（−１、０）＝１／４、ａ（０、０）＝０、ａ（１、０）＝１／４、ａ（−１、−１）＝０、ａ（０、−１）＝１／４、ａ（１、−１）＝０を生成し（図１１（ａ）参照）、これらを対応する乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。
【００８０】
すると、各乗算器Ｍ（ｘ、ｙ）及び加算器Ｐによって、Ｌ２（Ｇ）＝０×Ｓ（−１、１）＋１／４×Ｓ（０、１）＋０×Ｓ（１、１）＋１／４×Ｓ（−１、０）＋０×Ｓ（０、０）＋１／４×Ｓ（１、０）＋０×Ｓ（−１、−１）＋１／４×Ｓ（０、−１）＋０×Ｓ（１、−１）＝１／４×Ｓ（０、１）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／４×Ｓ（０、−１）が算出され、重み付け加算部４０に出力される。
【００８１】
そして、次に、係数選択部Ａは、色Ｂの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝１／４、ａ（０、１）＝０、ａ（１、１）＝１／４、ａ（−１、０）＝０、ａ（０、０）＝０、ａ（１、０）＝０、ａ（−１、−１）＝１／４、ａ（０、−１）＝０、ａ（１、−１）＝１／４を生成し（図１１（ｂ）参照）、これらを対応する乗算器Ｍ（ｘ、ｙ）に出力する。また、各メモリｍ（ｘ、ｙ）がＳ（ｘ、ｙ）を乗算器Ｍ（ｘ、ｙ）に出力する。
【００８２】
すると、各乗算器Ｍ（ｘ、ｙ）及び加算器Ｐによって、Ｌ２（Ｂ）＝１／４×Ｓ（−１、１）＋０×Ｓ（０、１）＋１／４×Ｓ（１、１）＋０×Ｓ（−１、０）＋０×Ｓ（０、０）＋０×Ｓ（１、０）＋１／４×Ｓ（−１、−１）＋０×Ｓ（０、−１）＋１／４×Ｓ（１、−１）＝１／４×Ｓ（−１、１）＋１／４×Ｓ（１、１）＋１／４×Ｓ（−１、−１）＋１／４×Ｓ（１、−１）が算出され、重み付け加算部４０に出力される。
【００８３】
また、注目画素がベイヤーデータにおいて色Ｇの信号値が得られている画素であって、注目画素の左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である場合には、係数選択部Ａが、色Ｒの信号値を取得するためのフィルタ係数として、図１２（ａ）に示されるフィルタ係数を生成し、色Ｇの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝０、ａ（０、１）＝０、ａ（１、１）＝０、ａ（−１、０）＝０、ａ（０、０）＝１、ａ（１、０）＝０、ａ（−１、−１）＝０、ａ（０、−１）＝０、ａ（１、−１）＝０を生成し、色Ｂの信号値を取得するためのフィルタ係数として、図１２（ｂ）に示されるフィルタ係数を生成する点を除いては、注目画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である場合と同様である。
【００８４】
また、注目画素がベイヤーデータにおいて色Ｇの信号値が得られている画素であって、注目画素の左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である場合には、係数選択部Ａが、色Ｒの信号値を取得するためのフィルタ係数として、図１３（ａ）に示されるフィルタ係数を生成し、色Ｇの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝０、ａ（０、１）＝０、ａ（１、１）＝０、ａ（−１、０）＝０、ａ（０、０）＝１、ａ（１、０）＝０、ａ（−１、−１）＝０、ａ（０、−１）＝０、ａ（１、−１）＝０を生成し、色Ｂの信号値を取得するためのフィルタ係数として、図１３（ｂ）に示されるフィルタ係数を生成する点を除いては、注目画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である場合と同様である。
【００８５】
また、注目画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である場合には、係数選択部Ａが、色Ｒの信号値を取得するためのフィルタ係数として、図１４（ａ）に示されるフィルタ係数を生成し、色Ｇの信号値を取得するためのフィルタ係数として、図１４（ｂ）に示されるフィルタ係数を生成し、色Ｂの信号値を取得するためのフィルタ係数として、ａ（−１、１）＝０、ａ（０、１）＝０、ａ（１、１）＝０、ａ（−１、０）＝０、ａ（０、０）＝１、ａ（１、０）＝０、ａ（−１、−１）＝０、ａ（０、−１）＝０、ａ（１、−１）＝０を生成する点を除いては、注目画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である場合と同様である。
【００８６】
なお、以上の説明においては、色Ｒ、色Ｇ、色Ｂの信号値を、１組の乗算器Ｍ（ｘ、ｙ）及び加算機Ｐを用いて直列的に取得するものとしたが、色Ｒ、色Ｇ、色Ｂ各々の信号値を、別々の乗算器Ｍ（ｘ、ｙ）及び加算機Ｐを用いて並列的に取得するものとしてもよい。この場合、メモリｍ（ｘ、ｙ）については、１組のメモリｍ（ｘ、ｙ）を共用する構成とすればよい。
【００８７】
なお、ここでは、説明の簡略化のために、第２のフィルタ及び色分離部３８の回路構成及びその動作について説明したが、第１のフィルタ及び色分離部３８の回路構成及びその動作についても、ｘ及びｙが−３、−２、−１、０、１、２、３の各値を取るものである点が異なるのみであり、その他の点は同一である。
【００８８】
次に、重み係数検出部３９の詳細について説明する。重み係数検出部３９は、動き検出部３２より入力された各画素の動き量ｙに対して各画素の重み係数α＝ｈ（ｙ）を算出し、これを重み付け加算部４０に出力する。ここで、関数ｈ（ｙ）としては、例えば、以下の数３式及び図１６に示されるようなものが用いられる。
【数３】
【００８９】
数３式及び図１６に示される関数ｈ（ｙ）は、動き量ｙの増加に伴って一次関数的に重み係数αが０から上昇し、動き量ｙが閾値ｔｈａ以上となると、重み係数αが１となるものであり、これによって、動き量ｙの小さい画素に対しては、低域の空間的なローパスフィルタを作用させる第１のフィルタ及び色分離部３７の影響を弱める一方、高域の空間的なローパスフィルタを作用させる第２のフィルタ及び色分離部３８の影響を強め、動き量ｙの大きい画素に対しては、低域の空間的なローパスフィルタを作用させる第１のフィルタ及び色分離部３７の影響を強める一方、高域の空間的なローパスフィルタを作用させる第２のフィルタ及び色分離部３８の影響を弱めている。なお、この閾値ｔｈａは、例えば、数２式及び図６に示される関数ｇ（ｙ）の閾値ｔｈＡと等しい値とすればよい。
【００９０】
上記構成のノイズ低減装置３０においては、第１のフィルタ及び色分離部３７と、第２のフィルタ及び色分離部３８とによって、空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離している。したがって、３次元ノイズ低減処理によるノイズ低減効果が十分に得られない動き量の大きい画素に対しても、空間的なローパスフィルタ（ＬＰＦ）を作用させることから、十分なノイズ低減を行うことができる。また、空間的なローパスフィルタ（ＬＰＦ）を作用させることと、色分離とを同時に行うことから、色ごとに空間的なローパスフィルタ（ＬＰＦ）を作用させる場合と比べてデータ量を低減し、処理を簡素化することができる。
【００９１】
（ノイズ低減装置の第２の実施形態）
次に、画像処理部４に含まれるノイズ低減装置の第２の実施形態について説明する。図１７は、本発明の第２の実施形態に係るノイズ低減装置５０の概略の構成を示すブロック図である。なお、ノイズ低減装置５０においては、第１の実施形態に係るノイズ低減装置３０と同一の部分には同一の符号を付し、その詳細な説明は省略する。ノイズ低減装置５０は、ノイズ低減装置３０と異なる構成として、動き検出部３２より入力された各画素の動き量から、色ごとに異なる各画素の重み係数α（Ｒ）、α（Ｇ）、α（Ｂ）を算出し、これを重み付け加算部５２に出力する重み係数検出部５１と；第１のフィルタ及び色分離部３７より入力されたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）と、第２のフィルタ及び色分離部３８より入力されたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）とを、重み係数検出部５１より入力された、色ごとに異なる各画素の重み係数α（Ｒ）、α（Ｇ）、α（Ｂ）によって色ごとに重み付け加算し、得られたＲ、Ｇ、Ｂ各色の出力信号Ｏ（Ｒ）、Ｏ（Ｇ）、Ｏ（Ｂ）を後段に出力する（つまり、Ｏ（Ｒ）＝Ｌ１（Ｒ）×α（Ｒ）＋Ｌ２（Ｒ）×（１−α（Ｒ））、Ｏ（Ｇ）＝Ｌ１（Ｇ）×α（Ｇ）＋Ｌ２（Ｇ）×（１−α（Ｇ））、Ｏ（Ｂ）＝Ｌ１（Ｂ）×α（Ｂ）＋Ｌ２（Ｂ）×（１−α（Ｂ））である）重み付け加算部５２と；を有している。
【００９２】
次に、重み係数検出部５１の詳細について説明する。重み係数検出部５１は、動き検出部３２より入力された各画素の動き量ｙに対して、色ごとに閾値ｔｈａを変えた、数３式及び図１６に示されるｈ（ｙ）を算出することによって、色ごとに異なる重み係数α（Ｒ）、α（Ｇ）、α（Ｂ）を算出し、これを重み付け加算部５２に出力する。
【００９３】
具体的には、色Ｒに対する閾値ｔｈａをｔｈＲとし、色Ｇに対する閾値ｔｈａをｔｈＧとし、色Ｂに対する閾値ｔｈａをｔｈＢとした場合には、ｔｈＲ＝ｔｈＢ＜ｔｈＧとすることが望ましい。これによると、輝度信号への寄与度が高い色Ｇのぼけを抑制することができる。
【００９４】
（ノイズ低減装置の第３の実施形態）
次に、画像処理部４に含まれるノイズ低減装置の第３の実施形態について説明する。図１８は、本発明の第３の実施形態に係るノイズ低減装置６０の概略の構成を示すブロック図である。なお、ノイズ低減装置６０においては、第１の実施形態に係るノイズ低減装置３０と同一の部分には同一の符号を付し、その詳細な説明は省略する。ノイズ低減装置６０は、ノイズ低減装置３０と異なる構成として、減算器３６より信号が入力され、重み付け加算部６６に信号を出力する水平フィルタ及び色分離部６１と；減算器３６より信号が入力され、重み付け加算部６６に信号を出力する垂直フィルタ及び色分離部６２と；動き検出部３２より信号が入力され、第２の重み係数検出部６５に信号を出力する相関方向検出部６３と；動き検出部３２より信号が入力され、第２の重み係数検出部６５に信号を出力する第１の重み係数検出部６４と；相関方向検出部６３及び第１の重み係数検出部６４より信号が入力され、重み付け加算部６６に信号を出力する第２の重み係数検出部６５と；第２のフィルタ及び色分離部３８、水平フィルタ及び色分離部６１、垂直フィルタ及び色分離部６２、及び第２の重み係数検出部６５より信号が入力され、後段に信号を出力する重み付け加算部６６と；を有している。また、ノイズ低減装置６０は、ノイズ低減装置３０が有していた第１のフィルタ及び色分離部３７を有していない。
【００９５】
ここで、ノイズ低減装置６０の動作の概略について説明する。まず、外部からの現フレームの信号（ベイヤーデータ）が、ノイズ検出部３１、動き検出部３２、及び減算器３６に入力される。また、フレームメモリ３４からの現フレームの１フレーム前の信号が、ノイズ検出部３１及び動き検出部３２に入力される。すると、ノイズ低減処理部３１は、第１の実施形態と同様に、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素のノイズ検出値を算出し、これを乗算器３５に出力する。
【００９６】
そして、次に、動き検出部３２が、第１の実施形態と同様に、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素の動き量を算出し、これを帰還係数検出部３３、相関方向検出部６３、及び第１の重み係数検出部６４に出力する。すると、帰還係数検出部３３が、第１の実施形態と同様に、動き検出部３２より入力された各画素の動き量から各画素の帰還係数ｋを算出し、これを乗算器３５に出力する。また、相関方向検出部６３が、動き検出部３２より入力された各画素の動き量から各画素の水平方向相関値ｄｖと、垂直方向相関値ｄｈを算出し、これを第２の重み係数検出部６５に出力する。また、第１の重み係数検出部６４が、動き検出部３２より入力された各画素の動き量から各画素の重み係数βを算出し、これを第２の重み係数検出部６５に出力する。
【００９７】
そして、次に、乗算器３５が、第１の実施形態と同様に、ノイズ検出部３１より入力された各画素のノイズ検出値と、帰還係数検出部３３より入力された各画素の帰還係数ｋとを乗算し、得られた各画素の減算ノイズ値を減算器３６へ出力する。すると、減算器３６が、第１の実施形態と同様に、外部より入力された現フレームの信号から、乗算器３５より入力された各画素の減算ノイズ値を減算し、得られた３次元ノイズ低減後信号をフレームメモリ３４、第２のフィルタ及び色分離部３８、水平フィルタ及び色分離部６１、及び垂直フィルタ及び色分離部６２に出力する。
【００９８】
そして、次に、第２のフィルタ及び色分離部３８が、第１の実施形態と同様に、減算器３６より入力された３次元ノイズ低減後信号に対して空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）を重み付け加算部６６に出力する。また、水平フィルタ及び色分離部６１が、減算器３６より入力された３次元ノイズ低減後信号に対して水平方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の水平フィルタ後信号ＬＨ（Ｒ）、ＬＨ（Ｇ）、ＬＨ（Ｂ）を重み付け加算部６６に出力する。また、垂直フィルタ及び色分離部６２が、減算器３６より入力された３次元ノイズ低減後信号に対して垂直方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の垂直フィルタ後信号ＬＶ（Ｒ）、ＬＶ（Ｇ）、ＬＶ（Ｂ）を重み付け加算部６６に出力する。また、第２の重み係数検出部６５が、相関方向検出部６３より入力された各画素の水平方向相関値ｄｖ及び垂直方向相関値ｄｈと、第１の重み係数検出部６４より入力された各画素の重み係数βとから、各画素の水平方向重み係数γと、垂直方向重み係数δとを算出し、これを重み付け加算部６６に出力する。
【００９９】
そして、次に、重み付け加算部６６が、第２のフィルタ及び色分離部３８より入力されたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）と、水平フィルタ及び色分離部６１より入力されたＲ、Ｇ、Ｂ各色の水平フィルタ後信号ＬＨ（Ｒ）、ＬＨ（Ｇ）、ＬＨ（Ｂ）と、垂直フィルタ及び色分離部６２より入力されたＲ、Ｇ、Ｂ各色の垂直フィルタ後信号ＬＶ（Ｒ）、ＬＶ（Ｇ）、ＬＶ（Ｂ）とを、第２の重み係数検出部６５より入力された各画素の水平方向重み係数γと、垂直方向重み係数δとによって色ごとに重み付け加算し（つまり、Ｏ（Ｒ）＝Ｌ（Ｒ）×（１−γ−δ）＋ＬＨ（Ｒ）×γ＋ＬＶ（Ｒ）×δ、Ｏ（Ｇ）＝Ｌ（Ｇ）×（１−γ−δ）＋ＬＨ（Ｇ）×γ＋ＬＶ（Ｇ）×δ、Ｏ（Ｂ）＝Ｌ（Ｂ）×（１−γ−δ）＋ＬＨ（Ｂ）×γ＋ＬＶ（Ｂ）×δである）、得られたＲ、Ｇ、Ｂ各色の出力信号Ｏ（Ｒ）、Ｏ（Ｇ）、Ｏ（Ｂ）を後段に出力する。
【０１００】
次に、水平フィルタ及び色分離部６１の詳細について説明する。水平フィルタ及び色分離部６１は、減算器３６より入力された３次元ノイズ低減後信号（ベイヤーデータ）に対して水平方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の水平フィルタ後信号ＬＨ（Ｒ）、ＬＨ（Ｇ）、ＬＨ（Ｂ）を重み付け加算部６６に出力するものである。
【０１０１】
具体的には、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、図１９（ａ）に示されるフィルタを用いて色Ｇの信号値を取得し、図１９（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｒについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１０２】
つまり、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、ＬＨ（Ｇ）＝１／８×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（２、−１）によって色Ｇの信号値が取得される。
【０１０３】
また、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、ＬＨ（Ｂ）＝１／８×Ｓ（−３、１）＋１／８×Ｓ（−１、１）＋１／８×Ｓ（１、１）＋１／８×Ｓ（３、１）＋１／８×Ｓ（−３、−１）＋１／８×Ｓ（−１、−１）＋１／８×Ｓ（１、−１）＋１／８×Ｓ（３、−１）によって色Ｂの信号値が取得される。
【０１０４】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、図２０（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２０（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１０５】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、ＬＨ（Ｒ）＝１／１６×Ｓ（−１、２）＋１／１６×Ｓ（１、２）＋１／８×Ｓ（−３、０）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／８×Ｓ（３、０）＋１／１６×Ｓ（−１、−２）＋１／１６×Ｓ（１、−２）によって色Ｒの信号値が取得される。
【０１０６】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、ＬＨ（Ｂ）＝１／８×Ｓ（−２、１）＋１／４×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−２、−１）＋１／４×Ｓ（０、−１）＋１／８×Ｓ（２、−１）によって色Ｂの信号値が取得される。
【０１０７】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、図２１（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２１（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１０８】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、ＬＨ（Ｒ）＝１／８×Ｓ（−２、１）＋１／４×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−２、−１）＋１／４×Ｓ（０、−１）＋１／８×Ｓ（２、−１）によって色Ｒの信号値が取得される。
【０１０９】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、ＬＨ（Ｂ）＝１／１６×Ｓ（−１、２）＋１／１６×Ｓ（１、２）＋１／８×Ｓ（−３、０）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／８×Ｓ（３、０）＋１／１６×Ｓ（−１、−２）＋１／１６×Ｓ（１、−２）によって色Ｂの信号値が取得される。
【０１１０】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、図２２（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２２（ｂ）に示されるフィルタを用いて色Ｇの信号値を取得し、色Ｂについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１１１】
つまり、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、ＬＨ（Ｒ）＝１／８×Ｓ（−３、１）＋１／８×Ｓ（−１、１）＋１／８×Ｓ（１、１）＋１／８×Ｓ（３、１）＋１／８×Ｓ（−３、−１）＋１／８×Ｓ（−１、−１）＋１／８×Ｓ（１、−１）＋１／８×Ｓ（３、−１）によって色Ｒの信号値が取得される。
【０１１２】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、ＬＨ（Ｇ）＝１／８×Ｓ（−２、１）＋１／８×Ｓ（０、１）＋１／８×Ｓ（２、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（−２、−１）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（２、−１）によって色Ｇの信号値が取得される。
【０１１３】
なお、水平フィルタ及び色分離部６１の回路構成及びその動作については、上述した第２のフィルタ及び色分離部３８の回路構成及びその動作とほぼ同一であるので（ｘ及びｙが−３、−２、−１、０、１、２、３の各値を取るものである点が異なるのみ）、その説明は省略することとする。
【０１１４】
次に、垂直フィルタ及び色分離部６２の詳細について説明する。垂直フィルタ及び色分離部６２は、減算器３６より入力された３次元ノイズ低減後信号（ベイヤーデータ）に対して垂直方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の垂直フィルタ後信号ＬＶ（Ｒ）、ＬＶ（Ｇ）、ＬＶ（Ｂ）を重み付け加算部６６に出力するものである。
【０１１５】
具体的には、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、図２３（ａ）に示されるフィルタを用いて色Ｇの信号値を取得し、図２３（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｒについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１１６】
つまり、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、ＬＶ（Ｇ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／８×Ｓ（０、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｇの信号値が取得される。
【０１１７】
また、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素については、ＬＶ（Ｂ）＝１／８×Ｓ（−１、３）＋１／８×Ｓ（１、３）＋１／８×Ｓ（−１、１）＋１／８×Ｓ（１、１）＋１／８×Ｓ（−１、−１）＋１／８×Ｓ（１、−１）＋１／８×Ｓ（−１、−３）＋１／８×Ｓ（１、−３）によって色Ｂの信号値が取得される。
【０１１８】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、図２４（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２４（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１１９】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、ＬＶ（Ｒ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｒの信号値が取得される。
【０１２０】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素であるものについては、ＬＶ（Ｂ）＝１／８×Ｓ（０、３）＋１／１６×Ｓ（−２、１）＋１／４×Ｓ（０、１）＋１／１６×Ｓ（２、１）＋１／１６×Ｓ（−２、−１）＋１／４×Ｓ（０、−１）＋１／１６×Ｓ（２、−１）＋１／８×Ｓ（０、−３）によって色Ｂの信号値が取得される。
【０１２１】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、図２５（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２５（ｂ）に示されるフィルタを用いて色Ｂの信号値を取得し、色Ｇについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１２２】
つまり、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、ＬＶ（Ｒ）＝１／８×Ｓ（０、３）＋１／１６×Ｓ（−２、１）＋１／４×Ｓ（０、１）＋１／１６×Ｓ（２、１）＋１／１６×Ｓ（−２、−１）＋１／４×Ｓ（０、−１）＋１／１６×Ｓ（２、−１）＋１／８×Ｓ（０、−３）によって色Ｒの信号値が取得される。
【０１２３】
また、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素であるものについては、ＬＶ（Ｂ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／４×Ｓ（−１、０）＋１／４×Ｓ（１、０）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｂの信号値が取得される。
【０１２４】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、図２６（ａ）に示されるフィルタを用いて色Ｒの信号値を取得し、図２６（ｂ）に示されるフィルタを用いて色Ｇの信号値を取得し、色Ｂについてはベイヤーデータにおいて得られている信号値をそのまま用いることとする。
【０１２５】
つまり、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、ＬＶ（Ｒ）＝１／８×Ｓ（−１、３）＋１／８×Ｓ（１、３）＋１／８×Ｓ（−１、１）＋１／８×Ｓ（１、１）＋１／８×Ｓ（−１、−１）＋１／８×Ｓ（１、−１）＋１／８×Ｓ（−１、−３）＋１／８×Ｓ（１、−３）によって色Ｒの信号値が取得される。
【０１２６】
また、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素については、ＬＶ（Ｇ）＝１／８×Ｓ（−１、２）＋１／８×Ｓ（１、２）＋１／８×Ｓ（０、１）＋１／８×Ｓ（−１、０）＋１／８×Ｓ（１、０）＋１／８×Ｓ（０、−１）＋１／８×Ｓ（−１、−２）＋１／８×Ｓ（１、−２）によって色Ｇの信号値が取得される。
【０１２７】
なお、垂直フィルタ及び色分離部６２の回路構成及びその動作については、上述した第２のフィルタ及び色分離部３８の回路構成及びその動作とほぼ同一であるので（ｘ及びｙが−３、−２、−１、０、１、２、３の各値を取るものである点が異なるのみ）、その説明は省略することとする。
【０１２８】
次に、相関方向検出部６３の詳細について説明する。なお、以下では注目画素の座標を（０、０）、その動き量をＶ（０、０）とし、注目画素から右にｘ画素、上にｙ画素の位置にある画素の座標を（ｘ、ｙ）、その動き量をＶ（ｘ、ｙ）と表すこととする。つまり、注目画素から右に２画素、上に２画素の位置にある画素の座標を（２、２）、その動き量をＶ（２、２）と表し、注目画素から左に２画素、下に２画素の位置にある画素の座標を（−２、−２）、その動き量をＶ（−２、−２）と表すこととする。
【０１２９】
相関方向検出部６３は、動き検出部３２より入力された各画素の動き量に対して垂直方向勾配検出フィルタを作用させることによって、各画素の水平方向相関値ｄｖを算出し、また、動き検出部３２より入力された各画素の動き量に対して水平方向勾配検出フィルタを作用させることによって、各画素の垂直方向相関値ｄｈを算出し、これを第２の重み係数検出部６５に出力するものである。
【０１３０】
具体的には、各画素の動き量について、図２７（ａ）に示されるフィルタを用いて水平方向相関値ｄｖを算出し、図２７（ｂ）に示されるフィルタを用いて垂直方向相関値ｄｈを算出する。つまり、各画素の動き量について、ｄｖ＝Ｖ（−１、１）＋Ｖ（０、１）＋Ｖ（１、１）−Ｖ（−１、−１）−Ｖ（０、−１）−Ｖ（１、−１）によって水平方向相関値ｄｖが算出され、ｄｈ＝Ｖ（−１、１）＋Ｖ（−１、０）＋Ｖ（−１、−１）−Ｖ（１、１）−Ｖ（１、０）−Ｖ（１、−１）によって垂直方向相関値ｄｈが算出される。
【０１３１】
なお、相関方向検出部６３の回路構成及びその動作については、上述した第２のフィルタ及び色分離部３８の回路構成及びその動作とほぼ同一であるので（各メモリｍ（ｘ、ｙ）が信号値Ｓ（ｘ、ｙ）ではなく、動き量Ｖ（ｘ、ｙ）を記憶及び出力し、また、係数選択部Ａが各色の信号値の取得のためのフィルタ係数を生成するのではなく、水平方向相関値ｄｖ及び垂直方向相関値ｄｈの算出のためのフィルタ係数を生成する点が異なるのみ）、その説明は省略することとする。
【０１３２】
次に、第１の重み係数検出部６４の詳細について説明する。第１の重み係数検出部６４は、動き検出部３２より入力された各画素の動き量ｙに対して、数３式及び図１６に示されるｈ（ｙ）を算出することによって、各画素の重み係数βを算出し、これを第２の重み係数検出部６５に出力する。
【０１３３】
次に、第２の重み係数検出部６５の詳細について説明する。第２の重み係数検出部６５は、相関方向検出部６３より入力された各画素の水平方向相関値ｄｖ及び垂直方向相関値ｄｈと、第１の重み係数検出部６４より入力された各画素の重み係数βとに対して、以下の数４式を用いて各画素の水平方向重み係数γと、垂直方向重み係数δとを算出し、これを重み付け加算部６６に出力する。
【数４】
【０１３４】
このとき、水平方向重み係数γは、重み係数βと、水平方向相関値ｄｖとの増加に伴って増加する。そして、重み係数βは動き量の増加に伴って増加し、また、水平方向相関値ｄｖは動き量が水平方向に強い相関を持つ場合に増加することから、動き量が大きく、動き量が水平方向に強い相関を持つ場合には、この場合に適した水平フィルタ及び色分離部６１の影響が強められることとなる。
【０１３５】
また、垂直方向重み係数δは、重み係数βと、垂直方向相関値ｄｈとの増加に伴って増加する。そして、重み係数βは動き量の増加に伴って増加し、また、垂直方向相関値ｄｈは動き量が垂直方向に強い相関を持つ場合に増加することから、動き量が大きく、動き量が垂直方向に強い相関を持つ場合には、この場合に適した垂直フィルタ及び色分離部６２の影響が強められることとなる。
【０１３６】
（ノイズ低減装置の第４の実施形態）
次に、画像処理部４に含まれるノイズ低減装置の第４の実施形態について説明する。図２８は、本発明の第４の実施形態に係るノイズ低減装置７０の概略の構成を示すブロック図である。なお、ノイズ低減装置７０においては、第１の実施形態に係るノイズ低減装置３０及び第３の実施形態に係るノイズ低減装置６０と同一の部分には同一の符号を付し、その詳細な説明は省略する。ノイズ低減装置７０は、ノイズ低減装置３０及びノイズ低減装置６０と異なる構成として、相関方向検出部６３及び第１の重み係数検出部６４より信号が入力され、重み付け加算部７２に信号を出力する第２の重み係数検出部７１と；第１のフィルタ及び色分離部３７、第２のフィルタ及び色分離部３８、水平フィルタ及び色分離部６１、垂直フィルタ及び色分離部６２、及び第２の重み係数検出部７１より信号が入力され、後段に信号を出力する重み付け加算部７２と；を有している。
【０１３７】
ここで、ノイズ低減装置７０の動作の概略について説明する。まず、外部からの現フレームの信号（ベイヤーデータ）が、ノイズ検出部３１、動き検出部３２、及び減算器３６に入力される。また、フレームメモリ３４からの現フレームの１フレーム前の信号が、ノイズ検出部３１及び動き検出部３２に入力される。すると、第１の実施形態と同様に、ノイズ低減処理部３１は、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素のノイズ検出値を算出し、これを乗算器３５に出力する。
【０１３８】
そして、次に、動き検出部３２が、第１の実施形態と同様に、外部より入力された現フレームの信号と、フレームメモリ３４より入力された１フレーム前の信号とから各画素の動き量を算出し、これを帰還係数検出部３３、相関方向検出部６３、及び第１の重み係数検出部６４に出力する。すると、帰還係数検出部３３が、第１の実施形態と同様に、動き検出部３２より入力された各画素の動き量から各画素の帰還係数ｋを算出し、これを乗算器３５に出力する。また、相関方向検出部６３が、第３の実施形態と同様に、動き検出部３２より入力された各画素の動き量から各画素の水平方向相関値ｄｖと、垂直方向相関値ｄｈを算出し、これを第２の重み係数検出部７１に出力する。また、第１の重み係数検出部６４が、第３の実施形態と同様に、動き検出部３２より入力された各画素の動き量から各画素の重み係数βを算出し、これを第２の重み係数検出部７１に出力する。
【０１３９】
そして、次に、乗算器３５が、第１の実施形態と同様に、ノイズ検出部３１より入力された各画素のノイズ検出値と、帰還係数検出部３３より入力された各画素の帰還係数ｋとを乗算し、得られた各画素の減算ノイズ値を減算器３６へ出力する。すると、減算器３６が、第１の実施形態と同様に、外部より入力された現フレームの信号から、乗算器３５より入力された各画素の減算ノイズ値を減算し、得られた３次元ノイズ低減後信号をフレームメモリ３４、第１のフィルタ及び色分離部３７、第２のフィルタ及び色分離部３８、水平フィルタ及び色分離部６１、及び垂直フィルタ及び色分離部６２に出力する。
【０１４０】
そして、次に、第１のフィルタ及び色分離部３７が、第１の実施形態と同様に、減算器３６より入力された３次元ノイズ低減後信号に対して空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）を重み付け加算部７２に出力する。また、第２のフィルタ及び色分離部３８が、第１の実施形態と同様に、減算器３６より入力された３次元ノイズ低減後信号に対して、第１のフィルタ及び色分離部３７よりも高域の空間的なローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）を重み付け加算部７２に出力する。
【０１４１】
また、水平フィルタ及び色分離部６１が、第３の実施形態と同様に、減算器３６より入力された３次元ノイズ低減後信号に対して水平方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の水平フィルタ後信号ＬＨ（Ｒ）、ＬＨ（Ｇ）、ＬＨ（Ｂ）を重み付け加算部７２に出力する。また、垂直フィルタ及び色分離部６２が、第３の実施形態と同様に、減算器３６より入力された３次元ノイズ低減後信号に対して垂直方向のローパスフィルタ（ＬＰＦ）を作用させると同時に色分離を行い、得られたＲ、Ｇ、Ｂ各色の垂直フィルタ後信号ＬＶ（Ｒ）、ＬＶ（Ｇ）、ＬＶ（Ｂ）を重み付け加算部７２に出力する。また、第２の重み係数検出部７１が、相関方向検出部６３より入力された各画素の水平方向相関値ｄｖ及び垂直方向相関値ｄｈと、第１の重み係数検出部６４より入力された各画素の重み係数βとから、各画素の第１重み係数εと、水平方向重み係数γと、垂直方向重み係数δとを算出し、これを重み付け加算部７２に出力する。
【０１４２】
そして、次に、重み付け加算部７２が、第１のフィルタ及び色分離部３７より入力されたＲ、Ｇ、Ｂ各色の第１フィルタ後信号Ｌ１（Ｒ）、Ｌ１（Ｇ）、Ｌ１（Ｂ）と、第２のフィルタ及び色分離部３８より入力されたＲ、Ｇ、Ｂ各色の第２フィルタ後信号Ｌ２（Ｒ）、Ｌ２（Ｇ）、Ｌ２（Ｂ）と、水平フィルタ及び色分離部６１より入力されたＲ、Ｇ、Ｂ各色の水平フィルタ後信号ＬＨ（Ｒ）、ＬＨ（Ｇ）、ＬＨ（Ｂ）と、垂直フィルタ及び色分離部６２より入力されたＲ、Ｇ、Ｂ各色の垂直フィルタ後信号ＬＶ（Ｒ）、ＬＶ（Ｇ）、ＬＶ（Ｂ）とを、第２の重み係数検出部７１より入力された各画素の第１重み係数εと、水平方向重み係数γと、垂直方向重み係数δとによって色ごとに重み付け加算し（つまり、Ｏ（Ｒ）＝Ｌ１（Ｒ）×ε＋ＬＨ（Ｒ）×γ＋ＬＶ（Ｒ）×δ＋Ｌ２（Ｒ）×（１−γ−δ−ε）、Ｏ（Ｇ）＝Ｌ１（Ｇ）×ε＋ＬＨ（Ｇ）×γ＋ＬＶ（Ｇ）×δ＋Ｌ２（Ｇ）×（１−γ−δ−ε）、Ｏ（Ｂ）＝Ｌ１（Ｂ）×ε＋ＬＨ（Ｂ）×γ＋ＬＶ（Ｂ）×δ＋Ｌ２（Ｂ）×（１−γ−δ−ε）である）得られたＲ、Ｇ、Ｂ各色の出力信号Ｏ（Ｒ）、Ｏ（Ｇ）、Ｏ（Ｂ）を後段に出力する。
【０１４３】
次に、第２の重み係数検出部７１の詳細について説明する。第２の重み係数検出部７１は、各画素について、水平方向相関値ｄｖと、垂直方向相関値ｄｈとの和が閾値Ｔｈξより小さければ、第１重み係数ε＝β、水平方向重み係数γ＝０、垂直方向重み係数δ＝０と算出する一方、水平方向相関値ｄｖと、垂直方向相関値ｄｈとの和が閾値Ｔｈξ以上であれば、第１重み係数ε＝０とし、水平方向重み係数γと、垂直方向重み係数δとは数４式を用いて算出し、これを重み付け加算部７２へ出力する。
【０１４４】
このとき、水平方向相関値ｄｖと、垂直方向相関値ｄｈとの和が閾値Ｔｈξより小さければ、つまり、動き量の水平方向の相関の強さと、動き量の垂直方向の相関の強さとの和が小さい場合には、この場合に適するように、第１のフィルタ及び色分離部３７と、第２のフィルタ及び色分離部３８との影響が強められる一方、水平フィルタ及び色分離部６１と、垂直フィルタ及び色分離部６２との影響は無くなることとなる。また、水平方向相関値ｄｖと、垂直方向相関値ｄｈとの和が閾値Ｔｈξより大きければ、つまり、動き量の水平方向の相関の強さと、動き量の垂直方向の相関の強さとの和が大きい場合には、この場合に適するように、水平フィルタ及び色分離部６１と、垂直フィルタ及び色分離部６２との影響が強められる一方、第１のフィルタ及び色分離部３７による影響はなくなり、第２のフィルタ及び色分離部３８による影響が弱められることとなる。
【０１４５】
なお、上述の説明において、図１に示すような構成の撮像装置を例に挙げて、本発明におけるノイズ低減方法について説明したが、撮像装置に限らず、液晶ディスプレイやプラズマテレビなどの画像のデジタル処理を行う表示装置においても、本発明におけるノイズ低減方法を利用可能である。図２９に、本発明におけるノイズ低減方法を行うノイズ低減装置（以下では、「画像処理部」に含まれる）を備えた表示装置を示す。
【０１４６】
図２９に示す表示装置は、図１に示す撮像装置と同様、画像処理部４、ディスプレイ９、ＴＧ１２、ＣＰＵ１３、メモリ１４、操作部１５、及び、バス回線１６、１７を備える。そして、外部で受信した放送信号を選局するチューナ部２１と、チューナ部２１で選局した放送信号を復調する復調部２２と、外部から入力されたデジタル信号となる圧縮信号が入力されるインターフェース２３とを、更に備える。
【０１４７】
この図２９の表示装置は、放送信号を受信する場合は、チューナ部２１で所望のチャンネルの放送信号を選局した後、復調部２２で放送信号を復調することで、画像信号が得られる。
【０１４８】
そして、操作部１５によって画像の表示が指示されると、復調部２２で得られた画像信号が、画像処理部４に与えられ、上述のノイズ低減処理や色分離処理を含む各種画像処理が施された後に、得られた表示信号がディスプレイ９に与えられ、画像の表示がなされる。なお、図２９においては省略したが、図１に示す撮像装置と同様に、音声出力回路部１０、スピーカ１１などを有することによって音声の出力を可能とする構成とすることも可能である。
【０１４９】
なお、本発明は上記の実施形態に限定されず、本発明の主旨を逸脱しない範囲で種々の変更が可能である。例えば、上記の第３の実施形態及び第４の実施形態においては、各画素の第１重み係数εと、水平方向重み係数γと、垂直方向重み係数δとを各色Ｒ、Ｇ、Ｂについて共通としたが、第２の実施形態と同様に、色ごとに異なるものとしてもよい。また、上記の実施形態においては、ＲＡＷ画像信号は、ベイヤーデータであることとしたが、これに限られるものではない。また、上記の実施形態においては、イメージセンサ１が有する色フィルタは原色系のフィルタであることとしたが、補色系のフィルタであってもよい。
【産業上の利用可能性】
【０１５０】
本発明は、複数のフレームによって構成される動画像のノイズを低減するノイズ低減方法及びノイズ低減装置として有効である。また、本発明は、このノイズ低減装置を備えた電子機器として有効である。
【図面の簡単な説明】
【０１５１】
【図１】撮像装置の内部構成を示すブロック図。
【図２】イメージセンサ１に設置されたフィルタの配置を示す説明図。
【図３】ノイズ低減装置３０の概略の構成を示すブロック図。
【図４】関数ｆ（ｘ）を示すグラフ。
【図５】動き検出部３２の概略の構成を示すブロック図。
【図６】関数ｇ（ｙ）を示すグラフ。
【図７】第１のフィルタ及び色分離部３７において、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図８】第１のフィルタ及び色分離部３７において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図９】第１のフィルタ及び色分離部３７において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図１０】第１のフィルタ及び色分離部３７において、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図１１】第２のフィルタ及び色分離部３８において、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図１２】第２のフィルタ及び色分離部３８において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図１３】第２のフィルタ及び色分離部３８において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図１４】第２のフィルタ及び色分離部３８において、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図１５】第２のフィルタ及び色分離部３８の回路構成を示すブロック図。
【図１６】関数ｈ（ｙ）を示すグラフ。
【図１７】ノイズ低減装置５０の概略の構成を示すブロック図。
【図１８】ノイズ低減装置６０の概略の構成を示すブロック図。
【図１９】水平フィルタ及び色分離部６１において、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図２０】水平フィルタ及び色分離部６１において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図２１】水平フィルタ及び色分離部６１において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図２２】水平フィルタ及び色分離部６１において、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図２３】垂直フィルタ及び色分離部６２において、ベイヤーデータにおいて色Ｒの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図２４】垂直フィルタ及び色分離部６２において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｒの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図２５】垂直フィルタ及び色分離部６２において、ベイヤーデータにおいて色Ｇの信号値が得られている注目画素のうち、左右の画素がベイヤーデータにおいて色Ｂの信号値が得られている画素である注目画素に用いられるフィルタを示す説明図。
【図２６】垂直フィルタ及び色分離部６２において、ベイヤーデータにおいて色Ｂの信号値が得られている注目画素に用いられるフィルタを示す説明図。
【図２７】垂直方向勾配検出フィルタ及び水平方向勾配検出フィルタを示す説明図。
【図２８】ノイズ低減装置７０の概略の構成を示すブロック図。
【図２９】表示装置の内部構成を示すブロック図。
【符号の説明】
【０１５２】
３０、５０、６０、７０ ノイズ低減装置
３２ 動き検出部
３７ 第１のフィルタ及び色分離部（フィルタ及び色分離部）
３８ 第２のフィルタ及び色分離部（フィルタ及び色分離部、空間フィルタ及び色分離部）
３９、５１ 重み係数検出部
４０、５２、６６、７２ 重み付け加算部
６１ 水平フィルタ及び色分離部（フィルタ及び色分離部）
６２ 垂直フィルタ及び色分離部（フィルタ及び色分離部）
６３ 相関方向検出部
６４ 第１の重み係数検出部
６５、７１ 第２の重み係数検出部
【特許請求の範囲】
【請求項１】
外部より入力されたＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理部を有するノイズ低減装置であって、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、ノイズ低減処理及び色分離を同時に行い、各色のフィルタ後信号を得る複数のノイズ低減処理及び色分離部と、
複数の前記ノイズ低減処理及び色分離部より入力された各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合部と、
を有することを特徴とするノイズ低減装置。
【請求項２】
外部より入力されたＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理部を有するノイズ低減装置であって、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、ローパスフィルタを作用させると同時に色分離を行い、各色のフィルタ後信号を得る複数のフィルタ及び色分離部と、
複数の前記フィルタ及び色分離部より入力された各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合部と、
を有することを特徴とするノイズ低減装置。
【請求項３】
複数の前記フィルタ及び色分離部は、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、所定の帯域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第１フィルタ後信号を得る第１のフィルタ及び色分離部と、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、前記所定の帯域よりも高域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第２フィルタ後信号を得る第２のフィルタ及び色分離部と、
によって構成され、
前記混合部は、前記第１のフィルタ及び色分離部より入力された各色の前記第１フィルタ後信号と、前記第２のフィルタ及び色分離部より入力された各色の前記第２フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るものであって、
外部より入力された前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出部と、
前記動き検出部より入力された各画素の時間軸方向の前記動き量に応じて前記所定の重み係数を算出する重み係数検出部と、
を有することを特徴とする請求項２に記載のノイズ低減装置。
【請求項４】
複数の前記フィルタ及び色分離部は、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、空間的なローパスフィルタを作用させると同時に色分離を行い、各色の空間フィルタ後信号を得る空間フィルタ及び色分離部と、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、水平方向のローパスフィルタを作用させると同時に色分離を行い、各色の水平フィルタ後信号を得る水平フィルタ及び色分離部と、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、垂直方向のローパスフィルタを作用させると同時に色分離を行い、各色の垂直フィルタ後信号を得る垂直フィルタ及び色分離部と、
によって構成され、
前記混合部は、前記空間フィルタ及び色分離部より入力された各色の前記空間フィルタ後信号と、前記水平フィルタ及び色分離部より入力された各色の前記水平フィルタ後信号と、前記垂直フィルタ及び色分離部より入力された各色の前記垂直フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るものであって、
外部より入力された前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出部と、
前記動き検出部より入力された各画素の時間軸方向の前記動き量の水平方向相関値及び垂直方向相関値を算出する相関方向検出部と、
前記動き検出部より入力された各画素の時間軸方向の前記動き量と、前記相関方向検出部より入力された各画素の時間軸方向の前記動き量の前記水平方向相関値及び前記垂直方向相関値とに応じて前記所定の重み係数を算出する重み係数検出部と、
を有することを特徴とする請求項２に記載のノイズ低減装置。
【請求項５】
前記所定の重み係数は、色ごとに異なることを特徴とする請求項３又は４に記載のノイズ低減装置。
【請求項６】
動画を構成するＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理ステップを有するノイズ低減方法であって、
前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、ノイズ低減処理及び色分離を同時に行い、各色のフィルタ後信号を得る複数のノイズ低減処理及び色分離ステップと、
複数の前記ノイズ低減処理及び色分離ステップで得られた各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合ステップと、
を有することを特徴とするノイズ低減方法。
【請求項７】
動画を構成するＲＡＷ画像信号が外部入力又は撮像によって与えられるとともに、該動画のノイズを低減するノイズ低減装置を備えた電子機器であって、
前記ノイズ低減装置は、請求項１から５のいずれか１項に記載のノイズ低減装置であることを特徴とする電子機器。
【請求項１】
外部より入力されたＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理部を有するノイズ低減装置であって、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、ノイズ低減処理及び色分離を同時に行い、各色のフィルタ後信号を得る複数のノイズ低減処理及び色分離部と、
複数の前記ノイズ低減処理及び色分離部より入力された各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合部と、
を有することを特徴とするノイズ低減装置。
【請求項２】
外部より入力されたＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理部を有するノイズ低減装置であって、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、ローパスフィルタを作用させると同時に色分離を行い、各色のフィルタ後信号を得る複数のフィルタ及び色分離部と、
複数の前記フィルタ及び色分離部より入力された各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合部と、
を有することを特徴とするノイズ低減装置。
【請求項３】
複数の前記フィルタ及び色分離部は、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、所定の帯域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第１フィルタ後信号を得る第１のフィルタ及び色分離部と、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、前記所定の帯域よりも高域の空間的なローパスフィルタを作用させると同時に色分離を行い、各色の第２フィルタ後信号を得る第２のフィルタ及び色分離部と、
によって構成され、
前記混合部は、前記第１のフィルタ及び色分離部より入力された各色の前記第１フィルタ後信号と、前記第２のフィルタ及び色分離部より入力された各色の前記第２フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るものであって、
外部より入力された前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出部と、
前記動き検出部より入力された各画素の時間軸方向の前記動き量に応じて前記所定の重み係数を算出する重み係数検出部と、
を有することを特徴とする請求項２に記載のノイズ低減装置。
【請求項４】
複数の前記フィルタ及び色分離部は、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、空間的なローパスフィルタを作用させると同時に色分離を行い、各色の空間フィルタ後信号を得る空間フィルタ及び色分離部と、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、水平方向のローパスフィルタを作用させると同時に色分離を行い、各色の水平フィルタ後信号を得る水平フィルタ及び色分離部と、
前記３次元ノイズ低減処理部より入力された前記３次元ノイズ低減後信号に対して、垂直方向のローパスフィルタを作用させると同時に色分離を行い、各色の垂直フィルタ後信号を得る垂直フィルタ及び色分離部と、
によって構成され、
前記混合部は、前記空間フィルタ及び色分離部より入力された各色の前記空間フィルタ後信号と、前記水平フィルタ及び色分離部より入力された各色の前記水平フィルタ後信号と、前記垂直フィルタ及び色分離部より入力された各色の前記垂直フィルタ後信号とを、色ごとに所定の重み係数によって重み付け加算し、各色の前記出力信号を得るものであって、
外部より入力された前記ＲＡＷ画像信号と、１フレーム前の前記３次元ノイズ低減後信号との差分値を算出することによって各画素の時間軸方向の動き量を得る動き検出部と、
前記動き検出部より入力された各画素の時間軸方向の前記動き量の水平方向相関値及び垂直方向相関値を算出する相関方向検出部と、
前記動き検出部より入力された各画素の時間軸方向の前記動き量と、前記相関方向検出部より入力された各画素の時間軸方向の前記動き量の前記水平方向相関値及び前記垂直方向相関値とに応じて前記所定の重み係数を算出する重み係数検出部と、
を有することを特徴とする請求項２に記載のノイズ低減装置。
【請求項５】
前記所定の重み係数は、色ごとに異なることを特徴とする請求項３又は４に記載のノイズ低減装置。
【請求項６】
動画を構成するＲＡＷ画像信号に対して３次元ノイズ低減処理を施し、３次元ノイズ低減後信号を得る３次元ノイズ低減処理ステップを有するノイズ低減方法であって、
前記３次元ノイズ低減処理ステップで得られた前記３次元ノイズ低減後信号に対して、ノイズ低減処理及び色分離を同時に行い、各色のフィルタ後信号を得る複数のノイズ低減処理及び色分離ステップと、
複数の前記ノイズ低減処理及び色分離ステップで得られた各色の前記フィルタ後信号を混合し、各色の出力信号を得る混合ステップと、
を有することを特徴とするノイズ低減方法。
【請求項７】
動画を構成するＲＡＷ画像信号が外部入力又は撮像によって与えられるとともに、該動画のノイズを低減するノイズ低減装置を備えた電子機器であって、
前記ノイズ低減装置は、請求項１から５のいずれか１項に記載のノイズ低減装置であることを特徴とする電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２００８−２５２７６７（Ｐ２００８−２５２７６７Ａ）
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願番号】特願２００７−９４４８１（Ｐ２００７−９４４８１）
【出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２０年１０月１６日（２００８．１０．１６）
【国際特許分類】
【出願日】平成１９年３月３０日（２００７．３．３０）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]