信号処理装置
【課題】左右対称性を有するとともに位相のずれを防止する信号処理装置を実現する。
【解決手段】Ｘ方向一次元フィルタ１４４は入力された二次元画像信号の各ラインを水平方向に左から右へ処理する。ラインＦＩＬＯメモリ１４３は入力された二次元画像信号の各ラインについて水平方向に画素の順序を反転する。これにより、Ｘ方向一次元フィルタ１４５は入力された二次元画像信号の各ラインを水平方向に右から左へ処理する。ラインＦＩＬＯメモリ１４６はＸ方向一次元フィルタ１４４の出力の各ラインについて水平方向に画素の順序を反転する。一次元画像合成部１４７はラインＦＩＬＯメモリ１４６およびＸ方向一次元フィルタ１４５の出力を合成する。Ｙ方向一次元フィルタ１４８は一次元画像合成部１４７の出力を二次元画像信号における垂直方向に上から下へ処理する。
【解決手段】Ｘ方向一次元フィルタ１４４は入力された二次元画像信号の各ラインを水平方向に左から右へ処理する。ラインＦＩＬＯメモリ１４３は入力された二次元画像信号の各ラインについて水平方向に画素の順序を反転する。これにより、Ｘ方向一次元フィルタ１４５は入力された二次元画像信号の各ラインを水平方向に右から左へ処理する。ラインＦＩＬＯメモリ１４６はＸ方向一次元フィルタ１４４の出力の各ラインについて水平方向に画素の順序を反転する。一次元画像合成部１４７はラインＦＩＬＯメモリ１４６およびＸ方向一次元フィルタ１４５の出力を合成する。Ｙ方向一次元フィルタ１４８は一次元画像合成部１４７の出力を二次元画像信号における垂直方向に上から下へ処理する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理装置に関し、特に一次元信号または二次元信号のノイズを低減させるフィルタ、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、ディジタルスチルカメラなどの電子撮像装置が急速に普及している。このような電子撮像装置では、低照度条件において明るい画像を撮影する機能が強く望まれている。低照度条件における明るさを向上する方策としては、撮像素子自体の感度向上、低速シャッターと手ぶれ補正との組み合わせ、明るいレンズの使用、または、信号処理によるゲインアップなどが挙げられる。
【０００３】
この中でゲインアップは、係数の設定のみで実現できるため過大なコストアップを伴うことなく実現できる場合が多く、また他の方策との組み合わせが両立することから、極めて有用な方策であると考えられる。一方、このゲインアップは信号振幅と同時にノイズ振幅も拡大するため、一様な強さでゲインアップを行うと結果画像のノイズが多くなるおそれが生じ得る。
【０００４】
そこで、ゲインアップの結果として美しい画像を得るためには、画像中のエッジ部分はぼかさないようにノイズ低減効果を抑え、それ以外には強いノイズ低減効果を施すような適応的なノイズ低減フィルタが必要になる。このノイズ低減フィルタは、画像のノイズ部分を強力に平均化する一方で、画像に表れた模様において意味のある詳細部分を残すフィルタである。このようなフィルタは、画像のそれぞれの部分によって特性を適応的に変化させることにより実現される。
【０００５】
二次元の画像信号を扱うノイズ低減フィルタは、一次元のフィルタを組み合わせることにより実現することができる。例えば、一次元のフィルタをカスケードに繋げて多次元フィルタを構成する画像処理方式が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開平５−１９９４３３号公報（図３）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ノイズ低減フィルタを実現するための基本構成としては、有限インパルス応答（ＦＩＲ：Finite Impulse Response）フィルタおよび無限インパルス応答（ＩＩＲ：Infinite Impulse Response）フィルタが知られている。何れの場合であっても、基本的には信号と係数との畳み込みによって実現されるが、そのノイズ低減効果は、係数群がカバーする信号領域の大きさによって限定される。すなわち、ノイズ低減効果を高めるためには、等価的なタップ数を増やす必要がある。この点、ＩＩＲフィルタは、フィルタの出力を入力側にフィードバックする経路を有するため、等価的なタップ数の大きいフィルタを安価なコストで実現することができるという利点がある。
【０００７】
しかしながら、一般に、ＩＩＲフィルタにおいては、直線位相特性を実現することが困難であり、インパルス応答の左右対称性を保つことが難しい。左右非対称なフィルタをノイズ低減の目的でＸ座標軸方向の空間的な画像処理に用いると、ノイズ低減性能に方向性が生じるおそれがある。例えば、右が明るく左が暗い縦エッジと、右が暗く左が明るい縦エッジとでは、ノイズ低減性能が異なってしまう。
【０００８】
さらに、ＩＩＲフィルタにおいては、フィルタ特性を変化させた場合に同時に遅延特性が変化するという問題がある。すなわち、等価的なタップ数が少ないフィルタと多いフィルタを適応的に切り替えて使用する場合、両者のフィルタの遅延は一般には一致しないため、フィルタ結果の画像は適応的な切り替えに伴う画のずれが生じることとなる。画のずれを回避するためには可変長の遅延メモリを設け、適応的な画像の切り替えに伴って遅延を変える必要が生じる。
【０００９】
例えば、図２０のように特性の異なる３つのＩＩＲフィルタを想定する。ここでは、（ａ）よりも（ｂ）の方がノイズ低減効果は高く、（ｂ）よりも（ｃ）の方がノイズ低減効果は高い。この図から明らかなように、従来のＩＩＲフィルタにおいては、フィルタの特性を変化させると、フィルタのピーク値を示す中心点９９がずれて、位相がずれていくことになる。
【００１０】
そこで、本発明は、このようなＩＩＲフィルタの問題点を解消し、左右対称性を有するとともに位相のずれを生じない信号処理装置を実現することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、時系列に入力される有限長の一次元信号を処理する信号処理装置であって、上記一次元信号を先頭から所定位置に至るまで入力された順に一次元のインパルス応答特性による変換を行う第１のフィルタ手段と、上記第１のフィルタ手段の出力の順序を反対に並び替える第１の反転手段と、上記所定位置から末尾に至るまで入力された上記一次元信号の順序を反対に並び替える第２の反転手段と、上記第２の反転手段の出力について一次元のインパルス応答特性による変換を順次行う第２のフィルタ手段と、上記第１の反転手段の出力と上記第２のフィルタ手段の出力とを順次合成する合成手段とを具備することを特徴とする信号処理装置である。これにより、上記所定位置を中心として左右対称に一次元信号を変換させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記第１または第２のフィルタ手段は、その入力された信号に対してそれぞれ異なる出力信号を出力する複数の一次元基底フィルタと、上記複数の一次元基底フィルタによる出力信号を線形結合することによって減衰特性の異なる複数のガウシアンフィルタを形成させる線形結合手段と、上記入力された信号に基づいて上記異なる複数のガウシアンフィルタの出力の何れかを選択する選択手段とを具備するようにしてもよい。これにより、複数のガウシアンフィルタの出力の中から入力された信号に適したものを選択させるという作用をもたらす。
【００１３】
また、この場合において、上記複数の一次元基底フィルタの各々は、指数関数特性を備えた無限インパルス応答フィルタを用いることができる。また、上記線形結合手段は、上記線形結合の係数を切り替えることによってインパルス応答特性を可変にすることができる。
【００１４】
また、本発明の第２の側面は、第１および第２の方向にそれぞれ有限長を有する二次元画像信号を処理する信号処理装置であって、上記二次元画像信号を上記第２の方向の所定位置に至るまで入力された順に二次元のインパルス応答特性による変換を行う第１のフィルタ手段と、上記第１のフィルタ手段の出力の順序を上記第２の方向について反対に並び替える第１の反転手段と、上記第２の方向の上記所定位置から入力された上記二次元画像信号の順序を上記第２の方向について反対に並び替える第２の反転手段と、上記第２の反転手段の出力について二次元のインパルス応答特性による変換を順次行う第２のフィルタ手段と、上記第１の反転手段の出力と上記第２のフィルタ手段の出力とを順次合成する合成手段とを具備することを特徴とする信号処理装置である。これにより、上記所定位置を中心として対称に二次元信号を変換させるという作用をもたらす。
【００１５】
また、この第２の側面において、上記第１または第２のフィルタ手段は、その入力された信号に対して第１の半直線に対応付けられた一次元のインパルス応答特性による変換を行う第１段階のフィルタ手段と、上記第１段階のフィルタ手段の出力に対して上記第１の半直線とは異なる方向の第２の半直線に対応付けられた一次元のインパルス応答特性による変換を行う第２段階のフィルタ手段とを具備するようにしてもよい。これにより、２段階の一次元の変換を組み合わせて、二次元信号を変換させるという作用をもたらす。
【００１６】
また、この場合において、上記第１の半直線を上記二次元画像信号における水平方向の半直線として、上記第２の半直線を上記二次元画像信号における垂直方向の半直線とすることができる。また、上記第１の半直線を上記二次元画像信号における垂直方向の半直線として、上記第２の半直線を上記二次元画像信号における水平方向の半直線とすることができる。また、上記第１の半直線を上記二次元画像信号における水平方向および垂直方向の半直線として、上記第２の半直線は上記二次元画像信号における斜め方向の半直線とすることができる。また、上記第１の半直線を上記二次元画像信号における斜め方向の半直線として、上記第２の半直線は上記二次元画像信号における水平方向および垂直方向の半直線とすることができる。
【００１７】
また、この第２の側面において、上記第１段階のフィルタ手段が、上記入力された信号に対する一次元のインパルス応答特性によるフィルタ結果を非正規化画素値として出力するとともに、所定の定数値の連続信号に対する一次元のインパルス応答特性の定常値を重みとして出力し、上記合成手段が、上記非正規化画素値と上記重みの比に上記所定の定数値を乗じたものを合成結果として出力するようにしてもよい。これにより、フィルタの強さによらない正規化された値を出力させるという作用をもたらす。
【発明の効果】
【００１８】
本発明によれば、左右対称性を有するとともに位相のずれを防止する信号処理装置を実現することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１９】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
図１は、本発明の実施の形態における信号処理装置の一例としての適応フィルタ（Adaptive Filter）１００の一構成例を示す図である。この適応フィルタ１００には、入力画像メモリ１０１から時系列に有限長の二次元画像信号が入力される。適応フィルタ１００は、入力画像メモリ１０１から供給された二次元の画像信号についてノイズを低減する処理を施して、その結果を出力画像メモリ１０９に出力する。
【００２１】
なお、ここでは、画像信号における画素データとして、赤（Ｒ：Red）、緑（Ｇ：Green）および青（Ｂ：Blue）の３チャンネルからなる例を示すが、これに限定されるものではない。例えば、輝度１チャンネルおよび色差２チャンネルの３チャンネル画像であってもよく、また、１チャンネルの白黒画像であってもよい。
【００２２】
この適応フィルタ１００は、２つの二次元フィルタ１４０および１５０と、２つのフレームＦＩＬＯメモリ１３０および１６０と、二次元画像合成部１７０とを備えている。入力画像メモリ１０１の出力側には二次元フィルタ１４０およびフレームＦＩＬＯメモリ１３０が接続されており、さらに二次元フィルタ１４０の出力側にはフレームＦＩＬＯメモリ１６０が接続され、フレームＦＩＬＯメモリ１３０の出力側には二次元フィルタ１５０が接続されている。フレームＦＩＬＯメモリ１６０および二次元フィルタ１５０の出力側には二次元画像合成部１７０が接続されている。この二次元画像合成部１７０の出力側には出力画像メモリ１０９が接続されている。
【００２３】
二次元フィルタ１４０は、図２の二次元画像信号における上部領域１４についてノイズ低減処理として、二次元のインパルス応答特性による変換処理を行うものである。一方、二次元フィルタ１５０は、図２の二次元画像信号における下部領域１５についてノイズ低減処理として、二次元のインパルス応答特性による変換処理を行うものである。
【００２４】
フレームＦＩＬＯメモリ１３０は、入力画像メモリ１０１から供給された二次元画像信号を１フレームとして、ライン毎に垂直方向にＦＩＬＯ（First-In Last-Out）処理を行うものである。すなわち、フレームＦＩＬＯメモリ１３０の出力側に接続する二次元フィルタ１５０には、二次元画像信号が最終ラインから順次供給されていくことになる。
【００２５】
フレームＦＩＬＯメモリ１６０は、二次元フィルタ１４０によって処理の施された二次元画像信号を１フレームとして、ライン毎に垂直方向にＦＩＬＯ処理を行うものである。すなわち、フレームＦＩＬＯメモリ１６０の出力側に接続する二次元画像合成部１７０には、二次元画像信号が最終ラインから順次供給されていくことになる。
【００２６】
このようにして、二次元画像合成部１７０には、二次元フィルタ１５０から下部領域１５に対応する二次元画像信号が最終ラインから順次供給され、フレームＦＩＬＯメモリ１６０から上部領域１４に対応する二次元画像信号が最終ラインから順次供給される。二次元画像合成部１７０は両者から供給された二次元画像信号を合成して、その結果を出力画像メモリ１０９に出力する。
【００２７】
ここで、二次元フィルタ１４０および１５０は入力される二次元画像信号のラインの順序が反対であることを除いて処理内容は同じであるため、実装の際には二次元フィルタを１つだけ用意して、時分割で二次元フィルタ１４０または１５０として切り替えて用いるようにしてもよい。
【００２８】
また、フレームＦＩＬＯメモリ１３０および１６０はそれぞれが二次元画像信号の垂直方向の信号順序反転を行うものであり、一般的な半導体メモリから構成され得る。これらフレームＦＩＬＯメモリ１３０および１６０は、メモリへの書込み時と読出し時に垂直方向の座標（Ｙ座標）の増減方向を反対にすることによって、書き込んだときとは垂直方向に上下反転した二次元画像信号を読み出すことができる。
【００２９】
出力画像メモリ１０９への書き込み時のアドレス計算においては、垂直方向の座標（Ｙ座標）の増減方向を入力画像メモリ１０１の読出し時と反対にすることにより、上下反転していない画像を出力画像メモリ１０９に書き込むことができる。
【００３０】
なお、二次元フィルタ１４０（１５０）および二次元画像合成部１７０の内部構成例については後述する。
【００３１】
図２は、本発明の実施の形態における信号処理の対象となる二次元画像信号の領域の一部を示す図である。ここでは、正方形の各領域が二次元画像信号の各画素に対応している。各画素には便宜上、水平方向（Ｘ座標）および垂直方向（Ｙ座標）からなる二次元座標（Ｘ，Ｙ）が付与されている。
【００３２】
座標（０，０）に該当する中心画素１１が、画像処理出力を求める対象であり、中心画素１１の周囲の画素に基づいて中心画素１１の出力画素が求められる。その際、中心画素１１を含む上部領域１４に関する処理が二次元フィルタ１４０に割り当てられ、中心画素１１を含む下部領域１５に関する処理が二次元フィルタ１５０に割り当てられる。
【００３３】
二次元画像信号によるフレームの水平方向の１行分のデータはラインと呼ばれる。フレームＦＩＬＯメモリ１３０および１６０は、二次元画像信号をフレーム内の先頭ラインから順次入力され、フレーム全体を一旦保持した後、入力した順序とは垂直方向を反転させて末尾ラインから順次出力する。すなわち、フレームＦＩＬＯメモリ１３０は、座標（−４，４）から座標（４，４）までの９画素分の画像信号を１ラインとして保持し、続いて座標（−４，３）から座標（４，３）までの９画素分の画像信号を他の１ラインとして保持する。フレームＦＩＬＯメモリ１３０は、同様の要領で順次各ラインを保持し、座標（−４，−４）から座標（４，−４）までの９画素分の画像信号を１ラインとして保持した後に、今度は最後に保持した座標（−４，−４）から座標（４，−４）までの９画素分のラインから順次出力していく。なお、フレームＦＩＬＯメモリ１３０および１６０において、１ライン内の画像信号の順序は反転されない。
【００３４】
図３は、本発明の実施の形態における二次元フィルタの第１の構成例を示す図である。ここでは、適応フィルタ１００における二次元フィルタ１４０の構成例を示しているが、二次元フィルタ１５０も同様の構成を有する。
【００３５】
この二次元フィルタ１４０は、２つのＸ方向一次元フィルタ１４４および１４５と、２つのラインＦＩＬＯメモリ１４３および１４６と、一次元画像合成部１４７と、Ｙ方向一次元フィルタ１４８とを備えている。入力側にはＸ方向一次元フィルタ１４４およびラインＦＩＬＯメモリ１４３が接続されており、さらにＸ方向一次元フィルタ１４４の出力側にはラインＦＩＬＯメモリ１４６が接続され、ラインＦＩＬＯメモリ１４３の出力側にはＸ方向一次元フィルタ１４５が接続されている。ラインＦＩＬＯメモリ１４６およびＸ方向一次元フィルタ１４５の出力側には一次元画像合成部１４７が接続されている。また、一次元画像合成部１４７の出力側にはＹ方向一次元フィルタ１４８が接続されている。
【００３６】
Ｘ方向一次元フィルタ１４４は、入力された二次元画像信号の各ラインを水平方向に左から右へ、一次元のインパルス応答特性による変換処理を行うものである。一方、Ｘ方向一次元フィルタ１４５は、入力された二次元画像信号の各ラインを水平方向に右から左へ、一次元のインパルス応答特性による変換処理を行うものである。
【００３７】
ラインＦＩＬＯメモリ１４３は、入力された二次元画像信号の各ラインについて水平方向にＦＩＬＯ処理を行って画素の順序を反転させるものである。すなわち、ラインＦＩＬＯメモリ１４３の出力側に接続するＸ方向一次元フィルタ１４５には、二次元画像信号の各ラインがそのラインにおける最終画素（右端）から順次供給されていくことになる。
【００３８】
ラインＦＩＬＯメモリ１４６は、Ｘ方向一次元フィルタ１４４によって処理の施された二次元画像信号の各ラインについて水平方向にＦＩＬＯ処理を行うものである。すなわち、ラインＦＩＬＯメモリ１４６の出力側に接続する一次元画像合成部１４７には、二次元画像信号の各ラインがそのラインにおける最終画素（右端）から順次供給されていくことになる。
【００３９】
このようにして、一次元画像合成部１４７には、Ｘ方向一次元フィルタ１４５から二次元画像信号の各ラインの画素が最終画素（右端）から順次供給され、ラインＦＩＬＯメモリ１４６から二次元画像信号の各ラインの画素が最終画素（右端）から順次供給される。一次元画像合成部１４７は両者から供給された二次元画像信号をライン毎に合成して、その結果をＹ方向一次元フィルタ１４８に出力する。
【００４０】
ここで、Ｘ方向一次元フィルタ１４４および１４５は入力される二次元画像信号の各ラインにおける画素の順序が反対であることを除いて処理内容は同じであるため、実装の際にはＸ方向一次元フィルタを１つだけ用意して、時分割でＸ方向一次元フィルタ１４４および１４５として切り替えて用いるようにしてもよい。
【００４１】
Ｙ方向一次元フィルタ１４８は、ライン毎に合成された信号を垂直方向に一次元のインパルス応答特性による変換処理を行うものである。すなわち、Ｘ方向一次元フィルタ１４４および１４５が第１段階のフィルタとして機能し、Ｙ方向一次元フィルタ１４８が第２段階のフィルタとして機能することになる。
【００４２】
なお、Ｘ方向一次元フィルタ１４４（１４５）、一次元画像合成部１４７およびＹ方向一次元フィルタ１４８の内部構成例については後述する。
【００４３】
図４は、本発明の実施の形態における二次元フィルタの第１の構成例による二次元画像信号の処理方向を示す図である。信号処理の対象となる二次元画像信号は、図２により説明したとおり、上部領域１４および下部領域１５に分けて処理される。
【００４４】
上部領域１４では、Ｘ方向一次元フィルタ１４４および１４５により生成された中間結果について、Ｙ方向一次元フィルタ１４８により半直線１４８ａに沿った処理を行うことにより、中心画素１１における出力が得られる。
【００４５】
ここで、座標（０，０）における中間結果は、Ｘ方向一次元フィルタ１４４により半直線１４４ａに沿った処理を行うことにより得られた結果と、Ｘ方向一次元フィルタ１４５により半直線１４５ａに沿った処理を行うことにより得られた結果とを合成した結果である。座標（０，０）はＸ方向一次元フィルタ１４４および１４５の何れの処理対象にも含まれて加算されるため、Ｘ方向一次元フィルタ１４４および１４５による処理の際の重みを１／２にしておく必要がある。
【００４６】
同様に、座標（０，１）における中間結果は、Ｘ方向一次元フィルタ１４４により半直線１４４ｂに沿った処理を行うことにより得られた結果と、Ｘ方向一次元フィルタ１４５により半直線１４５ｂに沿った処理を行うことにより得られた結果とを合成した結果である。座標（０，１）はＸ方向一次元フィルタ１４４および１４５の何れの処理対象にも含まれて加算されるため、Ｘ方向一次元フィルタ１４４および１４５の処理の際に予め重みを１／２にしておく必要がある点も同様である。その他の半直線１４８ａにおける中間結果も、座標（０，１）の場合と同様に求めることができる。
【００４７】
また、下部領域１５についても、垂直方向が反転する点を除いて同様であり、２つのＸ方向一次元フィルタにより生成された半直線１５４ａ乃至ｅおよび半直線１５５ａ乃至ｅ上の中間結果について、Ｙ方向一次元フィルタにより半直線１５８ａに沿った処理を行うことにより、中心画素１１における出力が得られる。
【００４８】
但し、半直線１４４ａおよび１４５ａに対応する中間結果と、半直線１５４ａおよび１５５ａに対応する中間結果は、座標（０，０）における結果を計算する際に２回加算されることになるため、何れもＹ方向一次元フィルタ１４８による処理の際の重みを１／２にしておく必要がある。
【００４９】
図５は、本発明の実施の形態におけるフィルタによる信号処理の概要を示す図である。従来のＩＩＲフィルタでは、左右対称性を持たせることが難しく、また、図２０により説明したように、フィルタ特性を変化させるとフィルタのピーク値を示す中心点９９がずれて、位相がずれるという問題があった。これに対して、本発明の実施の形態におけるフィルタでは、中心点９１を中心として半分（この例では左半分）のみを利用することによって、この問題を解消している。
【００５０】
すなわち、Ｘ方向一次元フィルタ１４４によって１ラインの前半部分を処理し、その後、１ラインの後半部分を反転させてＸ方向一次元フィルタ１４５によって処理する。これにより、左右対称性を担保するとともに、位相のずれを防止するという効果を得ることができる。
【００５１】
なお、ここでは、一次元フィルタにおける作用について説明したが、二次元フィルタ全体としても同様の作用を有する。すなわち、二次元フィルタ１４０によって上部領域１４を処理し、その後、下部領域１５を反転させて二次元フィルタ１５０によって処理することより、同様の効果を得ることができる。
【００５２】
図６は、本発明の実施の形態におけるＸ方向一次元フィルタ１４４の構成例を示す図である。このＸ方向一次元フィルタ１４４は、５つのＸ方向基底フィルタ６１０乃至６５０と、マトリクス乗算器６６０と、フィルタ選択部６７０とを備えている。
【００５３】
Ｘ方向一次元フィルタ１４４への入力信号は、Ｘ方向基底フィルタ６１０乃至６５０、マトリクス乗算器６６０およびフィルタ選択部６７０に供給される。Ｘ方向基底フィルタ６１０乃至６５０の出力はマトリクス乗算器６６０に供給される。マトリクス乗算器６６０の出力はフィルタ選択部６７０に供給される。
【００５４】
Ｘ方向基底フィルタ６１０乃至６５０は、それぞれ異なる指数関数に準ずる特性を有するフィルタであり、入力信号に対して指数関数に準ずる特性を有する一次元のインパルス応答を生成するものである。Ｘ方向基底フィルタ６１０乃至６５０は、フィルタ係数ｋが互いに異なる。この例では、Ｘ方向基底フィルタ６１０の場合はｋ＝１／２、Ｘ方向基底フィルタ６２０の場合はｋ＝５／８、Ｘ方向基底フィルタ６３０の場合はｋ＝３／４、Ｘ方向基底フィルタ６４０の場合はｋ＝１３／１６、Ｘ方向基底フィルタ６５０の場合はｋ＝７／８にそれぞれ設定されている。
【００５５】
マトリクス乗算器６６０は、Ｘ方向基底フィルタ６１０乃至６５０の出力に対して所定の係数によるマトリクス乗算を行い、これらを線形結合することによって複数のガウス関数特性を有するガウシアンフィルタの出力を生成するものである。
【００５６】
フィルタ選択部６７０は、Ｘ方向一次元フィルタ１４４への入力信号に基づいて、マトリクス乗算器６６０によって生成された複数のガウシアンフィルタの出力の何れかを選択するものである。入力信号がエッジ部分であることを示していれば弱いガウシアンフィルタを選択し、それ以外であれば強いガウシアンフィルタを選択することにより、画像信号の内容に応じたノイズ低減効果を得ることができる。
【００５７】
なお、ここでは、Ｘ方向一次元フィルタ１４４を例に挙げてその構成例を説明したが、Ｘ方向一次元フィルタ１４５の構成も同様である。
【００５８】
図７は、本発明の実施の形態におけるＸ方向基底フィルタ６１０の構成例を示す図である。このＸ方向基底フィルタ６１０は、画素信号のチャンネル毎に、加算器６１１と、画素遅延部６１３と、定数乗算器６１４とを備える。Ｘ方向基底フィルタ６１０への入力は加算器６１１に供給される。加算器６１１の出力は画素遅延部６１３に供給される。画素遅延部６１３の出力は外部に出力されるとともに、定数乗算器６１４に供給される。定数乗算器６１４の出力は加算器６１１にフィードバックされる。
【００５９】
加算器６１１は、Ｘ方向基底フィルタ６１０に入力された画素信号と定数乗算器６１４の出力とを加算するものである。画素遅延部６１３は、加算器６１１から供給された値を１画素分遅延させるものである。定数乗算器６１４は、画素遅延部６１３の出力に対してフィルタ係数ｋを乗じて加算器６１１にフィードバックするものである。このＸ方向基底フィルタ６１０では、フィルタ係数ｋは「１／２」である。
【００６０】
このＸ方向基底フィルタ６１０による座標（ｘ，ｙ）における出力Ｆch, k, x, yは、次式（数１）により表される。
【数１】
【００６１】
ここで、チャンネルｃｈは、赤緑青の各色の画素値（Pixel）をそれぞれ表すＲＰ、ＧＰおよびＢＰに加えて、各色の重み（Weight）をそれぞれ表すＲＷ、ＧＷおよびＢＷを含む６チャンネルの何れかを意味する。ＲＰ、ＧＰおよびＢＰについては、指数関数で表されるインパルス応答と隣接画素群を畳み込んだものになる。一方、ＲＷ、ＧＷおよびＢＷについては定数とみなして、画素値の最大値ＩｎMAXに「ｋ／（１−ｋ）」を乗じた定数値を常に出力する。
【００６２】
なお、ここでは、Ｘ方向基底フィルタ６１０を例に挙げてその構成例を説明したが、他のＸ方向基底フィルタ６２０乃至６５０の構成もフィルタ係数ｋの値を除いて同様である。
【００６３】
このようにして得られたＸ方向基底フィルタ６１０乃至６５０の出力は、マトリクス乗算器６６０による乗算によって、強さの異なる複数のガウス関数特性を有するガウシアンフィルタの出力の要素となる。マトリクス乗算器６６０における乗算係数の一例は次式（数２）により表される。
【数２】
【００６４】
ここでは、５つの異なる指数関数に準ずる特性を有する基底フィルタの出力に基づいて、９個の強さの異なるガウシアンフィルタの出力Ｇch, 1〜9が生成される例が示されている。さらにＧch, 0として、対応するチャンネルの入力信号が出力される（Ｇch, 0＝Ｉｎch, 0）。ここで、末尾の数字が大きいほど、ガウシアンフィルタの幅が広く、すなわち強いフィルタであることを意味する。
【００６５】
このようにして得られた１０個の強さの異なるガウシアンフィルタの出力Ｇch, 0〜9の中から、フィルタ選択部６７０はチャンネル毎に何れかの出力を選択する。フィルタ選択部６７０は、ガウシアンフィルタの選択基準として、次式（数３）により各チャンネルを異なる次元と考えた場合の正規化された四次元距離Ｄn, mを計算する。なお、各色の係数（０．５または１）は色の信頼度によるものである。
【数３】
【００６６】
ここで、σR、σGおよびσBは、画素値の標準偏差である。本発明の実施の形態において、これらの値は画像の撮影に使用した撮像素子に起因するノイズの標準偏差を画素値の関数として表す理論式を求め、入力画素の画素値を理論式に適用する計算によって求めている。なお、これら標準偏差は、フィルタ中心の画素値の近傍の画素値の統計量から実測することもできる。
【００６７】
また、上式（数３）において重みを考慮した画素値ＧR, t、ＧG, t、ＧB, tは次式（数４）により表される。
【数４】
【００６８】
このようにして求められた四次元距離Ｄn, mに基づいて、フィルタ選択部６７０は、ガウシアンフィルタの出力Ｇch, 0〜9の中から一つを次式（数５）により選択する。すなわち、入力信号との距離が所定値よりも大きいか否かを、フィルタの強さの弱い方から順番に調べて、条件に合致するガウシアンフィルタが見つかった時点でそのガウシアンフィルタを選択する。
【数５】
【００６９】
上式（数５）において、四次元距離Ｄn, mの比較対象となる「０．６」乃至「２．２」の定数は、フィルタの強さを決定する要因であり、ノイズリダクション性能と画質の調整の目的で適宜変更することが可能である。上式ではＤn, mの添え字が大きくなるにつれて単調増加しているが、これは一例であり、例えば同じ値に設定してもよい。
【００７０】
図８は、本発明の実施の形態における一次元画像合成部１４７の構成例を示す図である。この一次元画像合成部１４７は、チャンネル毎に加算器７０１および定数乗算器７０２を備えている。
【００７１】
加算器７０１の各々は、ラインＦＩＬＯメモリ１４６およびＸ方向一次元フィルタ１４５の出力をチャンネル毎に加算するものである。
【００７２】
定数乗算器７０２は、各々の加算器７０１の出力に対して定数値ｊを乗算するものである。この乗算は画像処理の途中におけるオーバーフローを防止するためのものであり、例えばｊ＝１／３２とすることができる。
【００７３】
これにより、後段のＹ方向一次元フィルタ１４８には、ＲＰ、ＲＷ、ＧＰ、ＧＷ、ＢＰおよびＢＷの６チャンネル分の画素信号が供給される。
【００７４】
図９は、本発明の実施の形態におけるＹ方向一次元フィルタ１４８の構成例を示す図である。このＹ方向一次元フィルタ１４８は、５つのＹ方向基底フィルタ７１０乃至７５０と、マトリクス乗算器７６０と、フィルタ選択部７７０とを備えており、基底フィルタの処理方向がＹ方向である点を除いて図６のＸ方向一次元フィルタ１４４と同様の構成を有している。
【００７５】
なお、Ｘ方向一次元フィルタ１４４と同様に、Ｙ方向基底フィルタ７１０乃至７５０は、フィルタ係数ｋが互いに異なる。この例では、Ｙ方向基底フィルタ７１０の場合はｋ＝１／２、Ｙ方向基底フィルタ７２０の場合はｋ＝５／８、Ｙ方向基底フィルタ７３０の場合はｋ＝３／４、Ｙ方向基底フィルタ７４０の場合はｋ＝１３／１６、Ｙ方向基底フィルタ７５０の場合はｋ＝７／８にそれぞれ設定されている。
【００７６】
図１０は、本発明の実施の形態におけるＹ方向基底フィルタ７１０の構成例を示す図である。このＹ方向基底フィルタ７１０は、画素信号のチャンネル毎に、加算器７１１と、ライン遅延部７１２と、定数乗算器７１４とを備える。Ｙ方向基底フィルタ７１０への入力は加算器７１１に供給される。加算器７１１の出力はライン遅延部７１２に供給される。ライン遅延部７１２の出力は外部に出力されるとともに、定数乗算器７１４に供給される。定数乗算器７１４の出力は加算器７１１にフィードバックされる。
【００７７】
このＹ方向基底フィルタ７１０は、図７により説明したＸ方向基底フィルタ６１０と比べて、加算器の出力の遅延がライン方向（Ｙ方向）である点で異なる。また、前段のＸ方向一次元フィルタ１４４および１４５によって重みが付与されていることから、ライン毎に個別に計算する必要があるため、重み（ＩｎRW、ＩｎGW、ＩｎBW）についてもフィルタ処理が行われる。すなわち、このＹ方向基底フィルタ７１０による座標（ｘ，ｙ）における出力Ｆch, k, x, yは、次式（数６）により表される。
【数６】
【００７８】
なお、他のＹ方向基底フィルタ７２０乃至７５０の構成もフィルタ係数ｋの値を除いて同様である。
【００７９】
このようにして得られたＹ方向基底フィルタ７２０乃至７５０の出力は、マトリクス乗算器７６０による乗算によって、強さの異なる複数のガウス関数特性を有するガウシアンフィルタの出力の要素となる。マトリクス乗算器７６０における乗算係数は上述のマトリクス乗算器６６０の場合と同様のものを利用することができる。
【００８０】
マトリクス乗算器７６０によって得られた１０個の強さの異なるガウシアンフィルタの出力Ｇch, 0〜9の中から、フィルタ選択部７７０はチャンネル毎に何れかの出力を選択する。フィルタ選択部７７０は、ガウシアンフィルタの選択基準として、既述の式（数３）によって四次元距離Ｄn, mを計算する。但し、この場合の画素値ＧR, t、ＧG, t、ＧB, tは次式（数７）により表される。
【数７】
【００８１】
すなわち、フィルタ選択部６７０では四次元距離の正規化のために固定値（ＩｎMAX）が使用されるが（数４）、このフィルタ選択部７７０では実際の重みが使用される点で異なる。なお、ガウシアンフィルタの選択式（数５）はフィルタ選択部６７０の場合と同様である。
【００８２】
図１１は、本発明の実施の形態における二次元画像合成部１７０の構成例を示す図である。この二次元画像合成部１７０は、チャンネル毎に加算器１７１を備えるとともに、色毎に定数乗算器１７２および除算器１７３を備えている。
【００８３】
加算器１７１の各々は、フレームＦＩＬＯメモリ１６０および二次元フィルタ１５０の出力をチャンネル毎に加算するものである。
【００８４】
定数乗算器１７２は、各色の画素値を担当する加算器１７１の出力に対して定数値ＩｎMAXを乗算するものである。また、除算器１７３は、各色の重みを担当する加算器１７１の出力によって定数乗算器１７２の出力を除算するものである。ガウシアンフィルタの強さが強くなると図５からも明らかなように面積が広くなる。この面積をフィルタの強さによらず一定にするために、除算器１７３による除算が行われて正規化される。
【００８５】
これにより、後段の出力画像メモリ１０９には、各色について重みに応じて正規化された画素信号が供給される。
【００８６】
なお、本発明の実施の形態では、フィルタ係数の異なる５つの基底フィルタの出力に基づいて、マトリクス乗算器６６０（または７６０）において９個の強さの異なるガウシアンフィルタの出力Ｇch, 1〜9を生成する例について説明したが（数２）、これに限定されるものではない。例えば、５つの基底フィルタの出力に基づいて９個の強さの異なるガウシアンフィルタの出力Ｇch, 1〜9を生成する場合には、次式（数８）により計算することができる。但し、Ｇch, 0＝Ｉｎch, 0、ｃｈ∈｛ＲＰ，ＧＰ，ＢＰ，ＲＷ，ＧＷ，ＢＷ｝である。
【数８】
【００８７】
また、例えば、３つの基底フィルタの出力に基づいて９個の強さの異なるガウシアンフィルタの出力Ｇch, 1〜9を生成する場合には、次式（数９）により計算することができる。但し、Ｇch, 0＝Ｉｎch, 0、ｃｈ∈｛ＲＰ，ＧＰ，ＢＰ，ＲＷ，ＧＷ，ＢＷ｝である。
【数９】
【００８８】
このように基底フィルタの数を減らした場合には、近似精度が劣化するおそれはあるが、計算コストを低減することができる。なお、マトリクス乗算器６６０とマトリクス乗算器７６０とで異なる乗算係数を用いてもよい。
【００８９】
また、上式（数９）よりも強い基底フィルタを組み合わせると次式（数１０）のように計算することもできる。
【数１０】
【００９０】
ここでは、強いフィルタにおいては目標とするフィルタに対する誤差が非常に大きくなるため、Ｇch, 7までしか係数を定義していない。この場合、フィルタ選択においてＧch, 7より強いフィルタはすべてＧch, 7とみなして扱うことにより、既述のフィルタ選択基準（数５）を用いることができる。
【００９１】
また、本発明の実施の形態では、マトリクス乗算器６６０（または７６０）において、入力信号との四次元距離Ｄn, mが所定値よりも大きいか否かを用いてフィルタ選択基準としたが（数５）、これに限定されるものではない。例えば、次式（数１１）のように、１段階強いフィルタの結果と入力信号との間の重み付き四次元距離の差が定数値を下回ることを追加条件とするようにしてもよい。これにより、強さのより弱いフィルタが選択されるようになる。
【数１１】
【００９２】
なお、上式において、比較対象となる定数値は「０．０」から「０．８」まで単調増加する値を使用しているが、これは一例であり、任意の値に設定することができる。
【００９３】
また、他のフィルタ選択基準として、例えば、次式（数１２）のように、あるフィルタの結果とそれより１段階強いフィルタ結果との間の重み付き四次元距離の差が定数値を下回ることを追加条件とするようにしてもよい。これにより、やはり、強さのより弱いフィルタが選択されるようになる。
【数１２】
【００９４】
なお、上式において、比較対象となる定数値は「０．０」から「０．８」まで単調増加する値を使用しているが、これは一例であり、任意の値に設定することができる。
【００９５】
図１２は、本発明の実施の形態における二次元フィルタの第２の構成例を示す図である。ここでは、適応フィルタ１００における二次元フィルタ１４０の構成例として二次元フィルタ２４０を示しているが、二次元フィルタ１５０の構成例として適用してもよい。
【００９６】
この二次元フィルタ２４０は、Ｙ方向一次元フィルタ２４２と、２つのＸ方向一次元フィルタ２４４および２４５と、２つのラインＦＩＬＯメモリ２４３および２４６と、一次元画像合成部２４７とを備えている。入力側にはＹ方向一次元フィルタ２４２が接続されており、このＹ方向一次元フィルタ２４２の出力側にはＸ方向一次元フィルタ２４４およびラインＦＩＬＯメモリ２４３が接続されている。さらにＸ方向一次元フィルタ２４４の出力側にはラインＦＩＬＯメモリ２４６が接続され、ラインＦＩＬＯメモリ２４３の出力側にはＸ方向一次元フィルタ２４５が接続されている。ラインＦＩＬＯメモリ２４６およびＸ方向一次元フィルタ２４５の出力側には一次元画像合成部２４７が接続されている。
【００９７】
この二次元フィルタ２４０は、二次元画像信号に対する画像処理の順序が異なる点を除き、図３により説明した二次元フィルタ１４０と同様の構成を有している。すなわち、二次元フィルタ１４０では第１段階のフィルタによりＸ方向の処理を行い、第２段階のフィルタによりＹ方向の処理を行うが、この二次元フィルタ２４０では第１段階のフィルタによりＹ方向の処理を行い、第２段階のフィルタによりＸ方向の処理を行う。
【００９８】
Ｙ方向一次元フィルタ２４２の構成は、Ｙ方向一次元フィルタ１４８の構成（図９）と同様である。但し、Ｙ方向一次元フィルタ２４２は第１段階のフィルタとして機能するため、入力信号として重みは供給されない。したがって、Ｘ方向一次元フィルタ１４４の場合（数１）と同様に、ＲＷ、ＧＷおよびＢＷについては定数とみなして、画素値の最大値ＩｎMAXに「ｋ／（１−ｋ）」を乗じた定数値を常に出力する。
【００９９】
Ｘ方向一次元フィルタ２４４（２４５）の構成は、Ｘ方向一次元フィルタ１４４（１４５）の構成（図６）と同様である。但し、Ｘ方向一次元フィルタ２４４（２４５）は第２段階のフィルタとして機能するため、Ｙ方向一次元フィルタ２４２から各色の重みが供給される。したがって、Ｙ方向一次元フィルタ１４８の場合（数６）と同様に、重みについてもフィルタ処理が行われる。
【０１００】
図１３は、本発明の実施の形態における二次元フィルタの第２の構成例による二次元画像信号の処理方向を示す図である。信号処理の対象となる二次元画像信号は、図２により説明したとおり、上部領域１４および下部領域１５に分けて処理される。
【０１０１】
上部領域１４では、以下の２方向の中間結果の合成結果によって中心画素１１における出力が得られる。その中間結果の一方は、Ｙ方向一次元フィルタ２４２により半直線２４２ａ、２４２ｃ、２４２ｅ、２４２ｇ、２４２ｉに沿った処理を行った結果に対して、Ｘ方向一次元フィルタ２４４により半直線２４４ａに沿った処理を行うことにより得られる。また、もう一方の中間結果は、Ｙ方向一次元フィルタ２４２により半直線２４２ｂ、２４２ｄ、２４２ｆ、２４２ｈ、２４２ｊに沿った処理を行った結果に対して、Ｘ方向一次元フィルタ２４５により半直線２４５ａに沿った処理を行うことにより得られる。いずれの場合も、座標（０，０）を含む水平線上の画素は上部領域１４と下部領域１５とで２回計算されるため、予め重みを１／２にしておく必要がある。
【０１０２】
下部領域１５においても、同様に、Ｙ方向一次元フィルタによる結果をＸ方向一次元フィルタにより処理することにより中心画素１１における出力が得られる。
【０１０３】
図１４は、本発明の実施の形態における二次元フィルタの第３の構成例を示す図である。ここでは、適応フィルタ１００における二次元フィルタ１４０の構成例として二次元フィルタ３４０を示しているが、二次元フィルタ１５０の構成例として適用してもよい。
【０１０４】
この二次元フィルタ３４０は、Ｙ方向一次元フィルタ３４２と、２つのＸ方向一次元フィルタ３４１および３４６と、２つのラインＦＩＬＯメモリ３４３および３５５と、ラインＦＩＦＯメモリ３４５と、３つの一次元画像合成部３４４、３４８および３５８と、２つの斜め方向一次元フィルタ３４７および３４９とを備えている。
【０１０５】
入力側にはＸ方向一次元フィルタ３４１、Ｙ方向一次元フィルタ３４２およびラインＦＩＬＯメモリ３４３が接続されている。Ｙ方向一次元フィルタ３４２の出力側にはラインＦＩＦＯメモリ３４５が接続され、ラインＦＩＬＯメモリ３４３の出力側にはＸ方向一次元フィルタ３４６が接続されている。ラインＦＩＦＯメモリ３４５およびＸ方向一次元フィルタ３４６の出力側には一次元画像合成部３４８が接続されており、両者の出力が合成される。この一次元画像合成部３４８の出力側には斜め方向一次元フィルタ３４９が接続され、さらに斜め方向一次元フィルタ３４９の出力側には一次元画像合成部３５８が接続されている。
【０１０６】
また、Ｘ方向一次元フィルタ３４１およびＹ方向一次元フィルタ３４２の出力側には一次元画像合成部３４４が接続されており、両者の出力が合成される。この一次元画像合成部３４４の出力側には斜め方向一次元フィルタ３４７が接続され、さらに斜め方向一次元フィルタ３４７の出力側にはラインＦＩＬＯメモリ３５５が接続されている。そして、このラインＦＩＬＯメモリ３５５の出力側には一次元画像合成部３５８が接続されている。
【０１０７】
この二次元フィルタ３４０では、第１段階のフィルタとして、Ｙ方向一次元フィルタ３４２とＸ方向一次元フィルタ３４１および３４６によってＸ方向およびＹ方向の処理を行い、第２段階のフィルタとして斜め方向一次元フィルタ３４７および３４９により斜め方向の処理を行う。ＦＩＬＯメモリ３４３および３５５は、既述のとおり、入力された二次元画像信号を１フレームとして、ライン毎に垂直方向にＦＩＬＯ処理を行うものである。一方、ラインＦＩＦＯメモリ３４５は、入力された二次元画像信号を１フレームとして、ライン毎に垂直方向にＦＩＦＯ（First-In First-Out）処理を行うものであり、ラインの順序の入れ替えは行わない。すなわち、ラインＦＩＦＯメモリ３４５は、タイミングを合わせるために用いられているものである。
【０１０８】
Ｙ方向一次元フィルタ３４２の構成は、二次元フィルタの第２の構成例におけるＹ方向一次元フィルタ２４２の構成と同様である。また、Ｘ方向一次元フィルタ３４１（３４６）の構成は、二次元フィルタの第１の構成例におけるＸ方向一次元フィルタ１４４（１４５）の構成と同様である。なお、斜め方向一次元フィルタ３４７（３４９）の内部構成例については後述する。
【０１０９】
図１５は、本発明の実施の形態における二次元フィルタの第３の構成例による二次元画像信号の処理方向を示す図である。信号処理の対象となる二次元画像信号は、図２により説明したとおり、上部領域１４および下部領域１５に分けて処理される。
【０１１０】
上部領域１４では、斜め方向一次元フィルタ３４７により半直線３４７ａに沿った処理を行うことにより得られた結果と、斜め方向一次元フィルタ３４９により半直線３４９ａに沿った処理を行うことにより得られた結果とを一次元画像合成部３５８によって合成することにより、中心画素１１における出力が得られる。
【０１１１】
斜め方向一次元フィルタ３４７に入力される中間結果は、Ｘ方向一次元フィルタ３４１により半直線３４１ａ、３４１ｂ、３４１ｃ、３４１ｄ、３４１ｅに沿った処理を行うことにより得られた結果と、Ｙ方向一次元フィルタ３４２により半直線３４２ａ、３４２ｃ、３４２ｅ、３４２ｇ、３４２ｉに沿った処理を行うことにより得られた結果とを一次元画像合成部３４４によって合成することにより得られる。
【０１１２】
同様に、斜め方向一次元フィルタ３４９に入力される中間結果は、Ｘ方向一次元フィルタ３４６により半直線３４６ａ、３４６ｂ、３４６ｃ、３４６ｄ、３４６ｅに沿った処理を行うことにより得られた結果と、Ｙ方向一次元フィルタ３４２により半直線３４２ｂ、３４２ｄ、３４２ｆ、３４２ｈ、３４２ｊに沿った処理を行うことにより得られた結果とを一次元画像合成部３４８によって合成することにより得られる。
【０１１３】
下部領域１５においても、同様に、Ｘ方向一次元フィルタおよびＹ方向一次元フィルタによる結果を斜め方向一次元フィルタにより処理することにより中心画素１１における出力が得られる。
【０１１４】
なお、Ｘ方向一次元フィルタおよびＹ方向一次元フィルタにおいて、中心画素１１を通る水平垂直線上の画素はすべて２回フィルタ計算に考慮されるため、予め１／２の重みをかけておく必要がある。
【０１１５】
図１６は、本発明の実施の形態における斜め方向一次元フィルタ３４７の構成例を示す図である。この斜め方向一次元フィルタ３４７は、５つの斜め方向基底フィルタ８１０乃至８５０と、マトリクス乗算器８６０と、フィルタ選択部８７０とを備えており、基底フィルタの処理方向が斜め方向である点を除いて図６のＸ方向一次元フィルタ１４４と同様の構成を有している。
【０１１６】
なお、Ｘ方向一次元フィルタ１４４と同様に、斜め方向基底フィルタ８１０乃至８５０は、フィルタ係数ｋが互いに異なる。この例では、斜め方向基底フィルタ８１０の場合はｋ＝１／２、斜め方向基底フィルタ８２０の場合はｋ＝５／８、斜め方向基底フィルタ８３０の場合はｋ＝３／４、斜め方向基底フィルタ８４０の場合はｋ＝１３／１６、斜め方向基底フィルタ８５０の場合はｋ＝７／８にそれぞれ設定されている。
【０１１７】
なお、ここでは、斜め方向一次元フィルタ３４７を例に挙げてその構成例を説明したが、斜め方向一次元フィルタ３４９の構成も同様である。
【０１１８】
図１７は、本発明の実施の形態における斜め方向基底フィルタ８１０の構成例を示す図である。この斜め方向基底フィルタ８１０は、画素信号のチャンネル毎に、加算器８１１と、ライン遅延部８１２と、画素遅延部８１３と、定数乗算器８１４とを備える。斜め方向基底フィルタ８１０への入力は加算器８１１に供給される。加算器８１１の出力はライン遅延部８１２に供給される。ライン遅延部８１２の出力は外部に出力されるとともに、画素遅延部８１３に供給され、定数乗算器８１４によってフィルタ係数ｋが乗算されて加算器８１１にフィードバックされる。
【０１１９】
この斜め方向基底フィルタ８１０は、Ｘ方向基底フィルタ６１０（図７）やＹ方向基底フィルタ７１０（図１０）と比べて、加算器の出力の遅延がライン方向（Ｙ方向）および画素方向（Ｘ方向）の組合せである点で異なる。また、前段のＹ方向一次元フィルタ３４２およびＸ方向一次元フィルタ３４１および３４６によって重みが付与されていることから、ライン毎に個別に計算する必要があるため、重みについてもフィルタ処理が行われる点はＹ方向基底フィルタ６１０と同様である。
【０１２０】
ここでは、ライン方向および画素方向に１つずつ遅延させることにより４５°の角度を生じさせる例について説明したが、これに限定されるものではない。ライン遅延部８１２および画素遅延部８１３における遅延量を調整することにより、任意の角度の基底フィルタを生成することができる。例えば、画素方向に１つ、ライン方向に２つ遅延させることにより、桂馬飛びの基底フィルタを構成することができる。
【０１２１】
なお、他の斜め方向基底フィルタ８２０乃至８５０の構成もフィルタ係数ｋの値を除いて同様である。
【０１２２】
図１８は、本発明の実施の形態における二次元フィルタの第４の構成例を示す図である。ここでは、適応フィルタ１００における二次元フィルタ１４０の構成例として二次元フィルタ４４０を示しているが、二次元フィルタ１５０の構成例として適用してもよい。
【０１２３】
この二次元フィルタ４４０は、２つの斜め方向一次元フィルタ４４２および４４３と、３つのラインＦＩＬＯメモリ４４１、４４４および４４９と、２つのＸ方向一次元フィルタ４４５および４４７と、Ｙ方向一次元フィルタ４４８と、２つの一次元画像合成部４４６および４５６とを備えている。
【０１２４】
入力側には斜め方向一次元フィルタ４４２およびラインＦＩＬＯメモリ４４１が接続されている。斜め方向一次元フィルタ４４２の出力側にはラインＦＩＬＯメモリ４４４およびＸ方向一次元フィルタ４４７が接続されている。Ｘ方向一次元フィルタ４４７の出力側にはラインＦＩＬＯメモリ４４９が接続されている。
【０１２５】
また、ラインＦＩＬＯメモリ４４１の出力側には斜め方向一次元フィルタ４４３が接続されている。この斜め方向一次元フィルタ４４３の出力側にはＸ方向一次元フィルタ４４５および一次元画像合成部４４６が接続されている。一次元画像合成部４４６の出力側にはＹ方向一次元フィルタ４４８が接続されている。
【０１２６】
一次元画像合成部４５６は、Ｘ方向一次元フィルタ４４５、Ｙ方向一次元フィルタ４４８およびラインＦＩＬＯメモリ４４９の出力側に接続され、これらの出力を合成する。
【０１２７】
この二次元フィルタ４４０では、第１段階のフィルタとして、斜め方向一次元フィルタ４４２および４４３により斜め方向の処理を行い、第２段階のフィルタとしてＸ方向一次元フィルタ４４５および４４７とＹ方向一次元フィルタ４４８によってＸ方向およびＹ方向の処理を行う。
【０１２８】
Ｙ方向一次元フィルタ４４８の構成は、二次元フィルタの第２の構成例におけるＹ方向一次元フィルタ２４２の構成と同様である。また、Ｘ方向一次元フィルタ４４５（４４７）の構成は、二次元フィルタの第１の構成例におけるＸ方向一次元フィルタ１４４（１４５）の構成と同様である。また、斜め方向一次元フィルタ４４２（４４３）の構成は、二次元フィルタの第３の構成例における斜め方向一次元フィルタ３４７（３４９）と同様である。
【０１２９】
また、一次元画像合成部４５６の構成は、二次元フィルタの第１の構成例における一次元画像合成部１４７（図８）を３入力に拡張したものであり、各入力における各色の画素値および重みをチャンネル毎に加算して定数を乗算するものである。
【０１３０】
図１９は、本発明の実施の形態における二次元フィルタの第４の構成例による二次元画像信号の処理方向を示す図である。信号処理の対象となる二次元画像信号は、図２により説明したとおり、上部領域１４および下部領域１５に分けて処理される。
【０１３１】
上部領域１４では、Ｘ方向一次元フィルタ４４７により半直線４４７ａに沿った処理を行うことにより得られた結果と、Ｙ方向一次元フィルタ４４８により半直線４４８ａに沿った処理を行うことにより得られた結果と、Ｘ方向一次元フィルタ４４５により半直線４４５ａに沿った処理を行うことにより得られた結果とを一次元画像合成部４５６によって合成することにより、中心画素１１における出力が得られる。
【０１３２】
Ｘ方向一次元フィルタ４４７に入力される中間結果は、斜め方向一次元フィルタ４４２により半直線４４２ａ、４４２ｃ、４４２ｅ、４４２ｇ、４４２ｉに沿った処理を行うことにより得られた結果として得られる。
【０１３３】
Ｙ方向一次元フィルタ４４８に入力される中間結果は、斜め方向一次元フィルタ４４２により半直線４４２ｂ、４４２ｄ、４４２ｆ、４４２ｈ、４４２ｊに沿った処理を行うことにより得られた結果と、斜め方向一次元フィルタ４４３により半直線４４３ｂ、４４３ｄ、４４３ｆ、４４３ｈ、４４３ｊに沿った処理を行うことにより得られた結果とを一次元画像合成部４４６によって合成することにより得られる。
【０１３４】
Ｘ方向一次元フィルタ４４５に入力される中間結果は、斜め方向一次元フィルタ４４３により半直線４４３ａ、４４３ｃ、４４３ｅ、４４３ｇ、４４３ｉに沿った処理を行うことにより得られた結果として得られる。
【０１３５】
下部領域１５においても、同様に、斜め方向一次元フィルタによる結果をＸ方向一次元フィルタおよびＹ方向一次元フィルタにより処理することにより中心画素１１における出力が得られる。
【０１３６】
なお、Ｘ方向一次元フィルタおよびＹ方向一次元フィルタにおいて、中心画素１１を通る斜め４５°線上の画素と、水平線上の画素とは全て２回フィルタ計算に考慮されるため、これらの画素には予め１／２の重みをかけておく必要がある。
【０１３７】
このように、本発明の実施の形態によれば、二次元フィルタ（１４０および１５０）や一次元フィルタ（１４４等）において、中心点を中心として半分のみを利用することにより、左右対称性を担保するとともに、位相のずれを防止するという効果を得ることができる。
【０１３８】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１３９】
すなわち、請求項１において、第１のフィルタ手段は例えばＸ方向一次元フィルタ１４４に対応する。また、第１の反転手段は例えばラインＦＩＬＯメモリ１４６に対応する。また、第２の反転手段は例えばラインＦＩＬＯメモリ１４３に対応する。また、第２のフィルタ手段は例えばＸ方向一次元フィルタ１４５に対応する。また、合成手段は例えば一次元画像合成部１４７に対応する。
【０１４０】
また、請求項２において、一次元基底フィルタは例えばＸ方向基底フィルタ６１０乃至６５０に対応する。また、線形結合手段は例えばマトリクス乗算器６６０に対応する。また、選択手段は例えばフィルタ選択部６７０に対応する。
【０１４１】
また、請求項５において、第１のフィルタ手段は例えば二次元フィルタ１４０に対応する。また、第１の反転手段は例えばフレームＦＩＬＯメモリ１６０に対応する。また、第２の反転手段は例えばフレームＦＩＬＯメモリ１３０に対応する。また、第２のフィルタ手段は例えば二次元フィルタ１５０に対応する。また、合成手段は例えば二次元画像合成部１７０に対応する。
【０１４２】
また、請求項６において、第１段階のフィルタ手段は例えばＸ方向一次元フィルタ１４４および１４５、Ｙ方向一次元フィルタ２４２、Ｘ方向一次元フィルタ３４１および３４６、Ｙ方向一次元フィルタ３４２、または、斜め方向一次元フィルタ４４２および４４３に対応する。また、第２段階のフィルタ手段は例えばＹ方向一次元フィルタ１４８、Ｘ方向一次元フィルタ２４４および２４５、斜め方向一次元フィルタ３４７および３４９、Ｘ方向一次元フィルタ４４５および４４７、または、Ｙ方向一次元フィルタ４４８に対応する。
【０１４３】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０１４４】
【図１】本発明の実施の形態における信号処理装置の一例としての適応フィルタ１００の一構成例を示す図である。
【図２】本発明の実施の形態における信号処理の対象となる二次元画像信号の領域の一部を示す図である。
【図３】本発明の実施の形態における二次元フィルタの第１の構成例を示す図である。
【図４】本発明の実施の形態における二次元フィルタの第１の構成例による二次元画像信号の処理方向を示す図である。
【図５】本発明の実施の形態におけるフィルタによる信号処理の概要を示す図である。
【図６】本発明の実施の形態におけるＸ方向一次元フィルタ１４４の構成例を示す図である。
【図７】本発明の実施の形態におけるＸ方向基底フィルタ６１０の構成例を示す図である。
【図８】本発明の実施の形態における一次元画像合成部１４７の構成例を示す図である。
【図９】本発明の実施の形態におけるＹ方向一次元フィルタ１４８の構成例を示す図である。
【図１０】本発明の実施の形態におけるＹ方向基底フィルタ７１０の構成例を示す図である。
【図１１】本発明の実施の形態における二次元画像合成部１７０の構成例を示す図である。
【図１２】本発明の実施の形態における二次元フィルタの第２の構成例を示す図である。
【図１３】本発明の実施の形態における二次元フィルタの第２の構成例による二次元画像信号の処理方向を示す図である。
【図１４】本発明の実施の形態における二次元フィルタの第３の構成例を示す図である。
【図１５】本発明の実施の形態における二次元フィルタの第３の構成例による二次元画像信号の処理方向を示す図である。
【図１６】本発明の実施の形態における斜め方向一次元フィルタ３４７の構成例を示す図である。
【図１７】本発明の実施の形態における斜め方向基底フィルタ８１０の構成例を示す図である。
【図１８】本発明の実施の形態における二次元フィルタの第４の構成例を示す図である。
【図１９】本発明の実施の形態における二次元フィルタの第４の構成例による二次元画像信号の処理方向を示す図である。
【図２０】従来のＩＩＲフィルタによる信号処理の概要を示す図である。
【符号の説明】
【０１４５】
１００ 適応フィルタ
１０１ 入力画像メモリ
１０９ 出力画像メモリ
１３０、１６０ フレームＦＩＬＯメモリ
１４０、１５０ 二次元フィルタ
１４３、１４６ ラインＦＩＬＯメモリ
１４４、１４５ Ｘ方向一次元フィルタ
１４７ 一次元画像合成部
１４８ Ｙ方向一次元フィルタ
１７０ 二次元画像合成部
１７１ 加算器
１７２ 定数乗算器
１７３ 除算器
２４０ 二次元フィルタ
２４２ Ｙ方向一次元フィルタ
２４３、２４６ ラインＦＩＬＯメモリ
２４４、２４５ Ｘ方向一次元フィルタ
２４７ 一次元画像合成部
３４０ 二次元フィルタ
３４１、３４６ Ｘ方向一次元フィルタ
３４２ Ｙ方向一次元フィルタ
３４３、３５５ ラインＦＩＬＯメモリ
３４４、３４８、３５８ 一次元画像合成部
３４５ ラインＦＩＦＯメモリ
３４７、３４９ 斜め方向一次元フィルタ
４４０ 二次元フィルタ
４４１、４４４、４４９ ラインＦＩＬＯメモリ
４４２、４４３ 斜め方向一次元フィルタ
４４５、４４７ Ｘ方向一次元フィルタ
４４６、４５６ 一次元画像合成部
４４８ Ｙ方向一次元フィルタ
６１０〜６５０ Ｘ方向基底フィルタ
６１１、７１１、８１１ 加算器
６１３、８１３ 画素遅延部
６１４、７１４、８１４ 定数乗算器
６６０、７６０、８６０ マトリクス乗算器
６７０、７７０、８７０ フィルタ選択部
７０１ 加算器
７０２ 定数乗算器
７１０〜７５０ Ｙ方向基底フィルタ
７１２、８１２ ライン遅延部
８１０〜８５０ 斜め方向基底フィルタ
【技術分野】
【０００１】
本発明は、信号処理装置に関し、特に一次元信号または二次元信号のノイズを低減させるフィルタ、および、その処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、ディジタルスチルカメラなどの電子撮像装置が急速に普及している。このような電子撮像装置では、低照度条件において明るい画像を撮影する機能が強く望まれている。低照度条件における明るさを向上する方策としては、撮像素子自体の感度向上、低速シャッターと手ぶれ補正との組み合わせ、明るいレンズの使用、または、信号処理によるゲインアップなどが挙げられる。
【０００３】
この中でゲインアップは、係数の設定のみで実現できるため過大なコストアップを伴うことなく実現できる場合が多く、また他の方策との組み合わせが両立することから、極めて有用な方策であると考えられる。一方、このゲインアップは信号振幅と同時にノイズ振幅も拡大するため、一様な強さでゲインアップを行うと結果画像のノイズが多くなるおそれが生じ得る。
【０００４】
そこで、ゲインアップの結果として美しい画像を得るためには、画像中のエッジ部分はぼかさないようにノイズ低減効果を抑え、それ以外には強いノイズ低減効果を施すような適応的なノイズ低減フィルタが必要になる。このノイズ低減フィルタは、画像のノイズ部分を強力に平均化する一方で、画像に表れた模様において意味のある詳細部分を残すフィルタである。このようなフィルタは、画像のそれぞれの部分によって特性を適応的に変化させることにより実現される。
【０００５】
二次元の画像信号を扱うノイズ低減フィルタは、一次元のフィルタを組み合わせることにより実現することができる。例えば、一次元のフィルタをカスケードに繋げて多次元フィルタを構成する画像処理方式が提案されている（例えば、特許文献１参照。）。
【特許文献１】特開平５−１９９４３３号公報（図３）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ノイズ低減フィルタを実現するための基本構成としては、有限インパルス応答（ＦＩＲ：Finite Impulse Response）フィルタおよび無限インパルス応答（ＩＩＲ：Infinite Impulse Response）フィルタが知られている。何れの場合であっても、基本的には信号と係数との畳み込みによって実現されるが、そのノイズ低減効果は、係数群がカバーする信号領域の大きさによって限定される。すなわち、ノイズ低減効果を高めるためには、等価的なタップ数を増やす必要がある。この点、ＩＩＲフィルタは、フィルタの出力を入力側にフィードバックする経路を有するため、等価的なタップ数の大きいフィルタを安価なコストで実現することができるという利点がある。
【０００７】
しかしながら、一般に、ＩＩＲフィルタにおいては、直線位相特性を実現することが困難であり、インパルス応答の左右対称性を保つことが難しい。左右非対称なフィルタをノイズ低減の目的でＸ座標軸方向の空間的な画像処理に用いると、ノイズ低減性能に方向性が生じるおそれがある。例えば、右が明るく左が暗い縦エッジと、右が暗く左が明るい縦エッジとでは、ノイズ低減性能が異なってしまう。
【０００８】
さらに、ＩＩＲフィルタにおいては、フィルタ特性を変化させた場合に同時に遅延特性が変化するという問題がある。すなわち、等価的なタップ数が少ないフィルタと多いフィルタを適応的に切り替えて使用する場合、両者のフィルタの遅延は一般には一致しないため、フィルタ結果の画像は適応的な切り替えに伴う画のずれが生じることとなる。画のずれを回避するためには可変長の遅延メモリを設け、適応的な画像の切り替えに伴って遅延を変える必要が生じる。
【０００９】
例えば、図２０のように特性の異なる３つのＩＩＲフィルタを想定する。ここでは、（ａ）よりも（ｂ）の方がノイズ低減効果は高く、（ｂ）よりも（ｃ）の方がノイズ低減効果は高い。この図から明らかなように、従来のＩＩＲフィルタにおいては、フィルタの特性を変化させると、フィルタのピーク値を示す中心点９９がずれて、位相がずれていくことになる。
【００１０】
そこで、本発明は、このようなＩＩＲフィルタの問題点を解消し、左右対称性を有するとともに位相のずれを生じない信号処理装置を実現することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、時系列に入力される有限長の一次元信号を処理する信号処理装置であって、上記一次元信号を先頭から所定位置に至るまで入力された順に一次元のインパルス応答特性による変換を行う第１のフィルタ手段と、上記第１のフィルタ手段の出力の順序を反対に並び替える第１の反転手段と、上記所定位置から末尾に至るまで入力された上記一次元信号の順序を反対に並び替える第２の反転手段と、上記第２の反転手段の出力について一次元のインパルス応答特性による変換を順次行う第２のフィルタ手段と、上記第１の反転手段の出力と上記第２のフィルタ手段の出力とを順次合成する合成手段とを具備することを特徴とする信号処理装置である。これにより、上記所定位置を中心として左右対称に一次元信号を変換させるという作用をもたらす。
【００１２】
また、この第１の側面において、上記第１または第２のフィルタ手段は、その入力された信号に対してそれぞれ異なる出力信号を出力する複数の一次元基底フィルタと、上記複数の一次元基底フィルタによる出力信号を線形結合することによって減衰特性の異なる複数のガウシアンフィルタを形成させる線形結合手段と、上記入力された信号に基づいて上記異なる複数のガウシアンフィルタの出力の何れかを選択する選択手段とを具備するようにしてもよい。これにより、複数のガウシアンフィルタの出力の中から入力された信号に適したものを選択させるという作用をもたらす。
【００１３】
また、この場合において、上記複数の一次元基底フィルタの各々は、指数関数特性を備えた無限インパルス応答フィルタを用いることができる。また、上記線形結合手段は、上記線形結合の係数を切り替えることによってインパルス応答特性を可変にすることができる。
【００１４】
また、本発明の第２の側面は、第１および第２の方向にそれぞれ有限長を有する二次元画像信号を処理する信号処理装置であって、上記二次元画像信号を上記第２の方向の所定位置に至るまで入力された順に二次元のインパルス応答特性による変換を行う第１のフィルタ手段と、上記第１のフィルタ手段の出力の順序を上記第２の方向について反対に並び替える第１の反転手段と、上記第２の方向の上記所定位置から入力された上記二次元画像信号の順序を上記第２の方向について反対に並び替える第２の反転手段と、上記第２の反転手段の出力について二次元のインパルス応答特性による変換を順次行う第２のフィルタ手段と、上記第１の反転手段の出力と上記第２のフィルタ手段の出力とを順次合成する合成手段とを具備することを特徴とする信号処理装置である。これにより、上記所定位置を中心として対称に二次元信号を変換させるという作用をもたらす。
【００１５】
また、この第２の側面において、上記第１または第２のフィルタ手段は、その入力された信号に対して第１の半直線に対応付けられた一次元のインパルス応答特性による変換を行う第１段階のフィルタ手段と、上記第１段階のフィルタ手段の出力に対して上記第１の半直線とは異なる方向の第２の半直線に対応付けられた一次元のインパルス応答特性による変換を行う第２段階のフィルタ手段とを具備するようにしてもよい。これにより、２段階の一次元の変換を組み合わせて、二次元信号を変換させるという作用をもたらす。
【００１６】
また、この場合において、上記第１の半直線を上記二次元画像信号における水平方向の半直線として、上記第２の半直線を上記二次元画像信号における垂直方向の半直線とすることができる。また、上記第１の半直線を上記二次元画像信号における垂直方向の半直線として、上記第２の半直線を上記二次元画像信号における水平方向の半直線とすることができる。また、上記第１の半直線を上記二次元画像信号における水平方向および垂直方向の半直線として、上記第２の半直線は上記二次元画像信号における斜め方向の半直線とすることができる。また、上記第１の半直線を上記二次元画像信号における斜め方向の半直線として、上記第２の半直線は上記二次元画像信号における水平方向および垂直方向の半直線とすることができる。
【００１７】
また、この第２の側面において、上記第１段階のフィルタ手段が、上記入力された信号に対する一次元のインパルス応答特性によるフィルタ結果を非正規化画素値として出力するとともに、所定の定数値の連続信号に対する一次元のインパルス応答特性の定常値を重みとして出力し、上記合成手段が、上記非正規化画素値と上記重みの比に上記所定の定数値を乗じたものを合成結果として出力するようにしてもよい。これにより、フィルタの強さによらない正規化された値を出力させるという作用をもたらす。
【発明の効果】
【００１８】
本発明によれば、左右対称性を有するとともに位相のずれを防止する信号処理装置を実現することができるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００１９】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２０】
図１は、本発明の実施の形態における信号処理装置の一例としての適応フィルタ（Adaptive Filter）１００の一構成例を示す図である。この適応フィルタ１００には、入力画像メモリ１０１から時系列に有限長の二次元画像信号が入力される。適応フィルタ１００は、入力画像メモリ１０１から供給された二次元の画像信号についてノイズを低減する処理を施して、その結果を出力画像メモリ１０９に出力する。
【００２１】
なお、ここでは、画像信号における画素データとして、赤（Ｒ：Red）、緑（Ｇ：Green）および青（Ｂ：Blue）の３チャンネルからなる例を示すが、これに限定されるものではない。例えば、輝度１チャンネルおよび色差２チャンネルの３チャンネル画像であってもよく、また、１チャンネルの白黒画像であってもよい。
【００２２】
この適応フィルタ１００は、２つの二次元フィルタ１４０および１５０と、２つのフレームＦＩＬＯメモリ１３０および１６０と、二次元画像合成部１７０とを備えている。入力画像メモリ１０１の出力側には二次元フィルタ１４０およびフレームＦＩＬＯメモリ１３０が接続されており、さらに二次元フィルタ１４０の出力側にはフレームＦＩＬＯメモリ１６０が接続され、フレームＦＩＬＯメモリ１３０の出力側には二次元フィルタ１５０が接続されている。フレームＦＩＬＯメモリ１６０および二次元フィルタ１５０の出力側には二次元画像合成部１７０が接続されている。この二次元画像合成部１７０の出力側には出力画像メモリ１０９が接続されている。
【００２３】
二次元フィルタ１４０は、図２の二次元画像信号における上部領域１４についてノイズ低減処理として、二次元のインパルス応答特性による変換処理を行うものである。一方、二次元フィルタ１５０は、図２の二次元画像信号における下部領域１５についてノイズ低減処理として、二次元のインパルス応答特性による変換処理を行うものである。
【００２４】
フレームＦＩＬＯメモリ１３０は、入力画像メモリ１０１から供給された二次元画像信号を１フレームとして、ライン毎に垂直方向にＦＩＬＯ（First-In Last-Out）処理を行うものである。すなわち、フレームＦＩＬＯメモリ１３０の出力側に接続する二次元フィルタ１５０には、二次元画像信号が最終ラインから順次供給されていくことになる。
【００２５】
フレームＦＩＬＯメモリ１６０は、二次元フィルタ１４０によって処理の施された二次元画像信号を１フレームとして、ライン毎に垂直方向にＦＩＬＯ処理を行うものである。すなわち、フレームＦＩＬＯメモリ１６０の出力側に接続する二次元画像合成部１７０には、二次元画像信号が最終ラインから順次供給されていくことになる。
【００２６】
このようにして、二次元画像合成部１７０には、二次元フィルタ１５０から下部領域１５に対応する二次元画像信号が最終ラインから順次供給され、フレームＦＩＬＯメモリ１６０から上部領域１４に対応する二次元画像信号が最終ラインから順次供給される。二次元画像合成部１７０は両者から供給された二次元画像信号を合成して、その結果を出力画像メモリ１０９に出力する。
【００２７】
ここで、二次元フィルタ１４０および１５０は入力される二次元画像信号のラインの順序が反対であることを除いて処理内容は同じであるため、実装の際には二次元フィルタを１つだけ用意して、時分割で二次元フィルタ１４０または１５０として切り替えて用いるようにしてもよい。
【００２８】
また、フレームＦＩＬＯメモリ１３０および１６０はそれぞれが二次元画像信号の垂直方向の信号順序反転を行うものであり、一般的な半導体メモリから構成され得る。これらフレームＦＩＬＯメモリ１３０および１６０は、メモリへの書込み時と読出し時に垂直方向の座標（Ｙ座標）の増減方向を反対にすることによって、書き込んだときとは垂直方向に上下反転した二次元画像信号を読み出すことができる。
【００２９】
出力画像メモリ１０９への書き込み時のアドレス計算においては、垂直方向の座標（Ｙ座標）の増減方向を入力画像メモリ１０１の読出し時と反対にすることにより、上下反転していない画像を出力画像メモリ１０９に書き込むことができる。
【００３０】
なお、二次元フィルタ１４０（１５０）および二次元画像合成部１７０の内部構成例については後述する。
【００３１】
図２は、本発明の実施の形態における信号処理の対象となる二次元画像信号の領域の一部を示す図である。ここでは、正方形の各領域が二次元画像信号の各画素に対応している。各画素には便宜上、水平方向（Ｘ座標）および垂直方向（Ｙ座標）からなる二次元座標（Ｘ，Ｙ）が付与されている。
【００３２】
座標（０，０）に該当する中心画素１１が、画像処理出力を求める対象であり、中心画素１１の周囲の画素に基づいて中心画素１１の出力画素が求められる。その際、中心画素１１を含む上部領域１４に関する処理が二次元フィルタ１４０に割り当てられ、中心画素１１を含む下部領域１５に関する処理が二次元フィルタ１５０に割り当てられる。
【００３３】
二次元画像信号によるフレームの水平方向の１行分のデータはラインと呼ばれる。フレームＦＩＬＯメモリ１３０および１６０は、二次元画像信号をフレーム内の先頭ラインから順次入力され、フレーム全体を一旦保持した後、入力した順序とは垂直方向を反転させて末尾ラインから順次出力する。すなわち、フレームＦＩＬＯメモリ１３０は、座標（−４，４）から座標（４，４）までの９画素分の画像信号を１ラインとして保持し、続いて座標（−４，３）から座標（４，３）までの９画素分の画像信号を他の１ラインとして保持する。フレームＦＩＬＯメモリ１３０は、同様の要領で順次各ラインを保持し、座標（−４，−４）から座標（４，−４）までの９画素分の画像信号を１ラインとして保持した後に、今度は最後に保持した座標（−４，−４）から座標（４，−４）までの９画素分のラインから順次出力していく。なお、フレームＦＩＬＯメモリ１３０および１６０において、１ライン内の画像信号の順序は反転されない。
【００３４】
図３は、本発明の実施の形態における二次元フィルタの第１の構成例を示す図である。ここでは、適応フィルタ１００における二次元フィルタ１４０の構成例を示しているが、二次元フィルタ１５０も同様の構成を有する。
【００３５】
この二次元フィルタ１４０は、２つのＸ方向一次元フィルタ１４４および１４５と、２つのラインＦＩＬＯメモリ１４３および１４６と、一次元画像合成部１４７と、Ｙ方向一次元フィルタ１４８とを備えている。入力側にはＸ方向一次元フィルタ１４４およびラインＦＩＬＯメモリ１４３が接続されており、さらにＸ方向一次元フィルタ１４４の出力側にはラインＦＩＬＯメモリ１４６が接続され、ラインＦＩＬＯメモリ１４３の出力側にはＸ方向一次元フィルタ１４５が接続されている。ラインＦＩＬＯメモリ１４６およびＸ方向一次元フィルタ１４５の出力側には一次元画像合成部１４７が接続されている。また、一次元画像合成部１４７の出力側にはＹ方向一次元フィルタ１４８が接続されている。
【００３６】
Ｘ方向一次元フィルタ１４４は、入力された二次元画像信号の各ラインを水平方向に左から右へ、一次元のインパルス応答特性による変換処理を行うものである。一方、Ｘ方向一次元フィルタ１４５は、入力された二次元画像信号の各ラインを水平方向に右から左へ、一次元のインパルス応答特性による変換処理を行うものである。
【００３７】
ラインＦＩＬＯメモリ１４３は、入力された二次元画像信号の各ラインについて水平方向にＦＩＬＯ処理を行って画素の順序を反転させるものである。すなわち、ラインＦＩＬＯメモリ１４３の出力側に接続するＸ方向一次元フィルタ１４５には、二次元画像信号の各ラインがそのラインにおける最終画素（右端）から順次供給されていくことになる。
【００３８】
ラインＦＩＬＯメモリ１４６は、Ｘ方向一次元フィルタ１４４によって処理の施された二次元画像信号の各ラインについて水平方向にＦＩＬＯ処理を行うものである。すなわち、ラインＦＩＬＯメモリ１４６の出力側に接続する一次元画像合成部１４７には、二次元画像信号の各ラインがそのラインにおける最終画素（右端）から順次供給されていくことになる。
【００３９】
このようにして、一次元画像合成部１４７には、Ｘ方向一次元フィルタ１４５から二次元画像信号の各ラインの画素が最終画素（右端）から順次供給され、ラインＦＩＬＯメモリ１４６から二次元画像信号の各ラインの画素が最終画素（右端）から順次供給される。一次元画像合成部１４７は両者から供給された二次元画像信号をライン毎に合成して、その結果をＹ方向一次元フィルタ１４８に出力する。
【００４０】
ここで、Ｘ方向一次元フィルタ１４４および１４５は入力される二次元画像信号の各ラインにおける画素の順序が反対であることを除いて処理内容は同じであるため、実装の際にはＸ方向一次元フィルタを１つだけ用意して、時分割でＸ方向一次元フィルタ１４４および１４５として切り替えて用いるようにしてもよい。
【００４１】
Ｙ方向一次元フィルタ１４８は、ライン毎に合成された信号を垂直方向に一次元のインパルス応答特性による変換処理を行うものである。すなわち、Ｘ方向一次元フィルタ１４４および１４５が第１段階のフィルタとして機能し、Ｙ方向一次元フィルタ１４８が第２段階のフィルタとして機能することになる。
【００４２】
なお、Ｘ方向一次元フィルタ１４４（１４５）、一次元画像合成部１４７およびＹ方向一次元フィルタ１４８の内部構成例については後述する。
【００４３】
図４は、本発明の実施の形態における二次元フィルタの第１の構成例による二次元画像信号の処理方向を示す図である。信号処理の対象となる二次元画像信号は、図２により説明したとおり、上部領域１４および下部領域１５に分けて処理される。
【００４４】
上部領域１４では、Ｘ方向一次元フィルタ１４４および１４５により生成された中間結果について、Ｙ方向一次元フィルタ１４８により半直線１４８ａに沿った処理を行うことにより、中心画素１１における出力が得られる。
【００４５】
ここで、座標（０，０）における中間結果は、Ｘ方向一次元フィルタ１４４により半直線１４４ａに沿った処理を行うことにより得られた結果と、Ｘ方向一次元フィルタ１４５により半直線１４５ａに沿った処理を行うことにより得られた結果とを合成した結果である。座標（０，０）はＸ方向一次元フィルタ１４４および１４５の何れの処理対象にも含まれて加算されるため、Ｘ方向一次元フィルタ１４４および１４５による処理の際の重みを１／２にしておく必要がある。
【００４６】
同様に、座標（０，１）における中間結果は、Ｘ方向一次元フィルタ１４４により半直線１４４ｂに沿った処理を行うことにより得られた結果と、Ｘ方向一次元フィルタ１４５により半直線１４５ｂに沿った処理を行うことにより得られた結果とを合成した結果である。座標（０，１）はＸ方向一次元フィルタ１４４および１４５の何れの処理対象にも含まれて加算されるため、Ｘ方向一次元フィルタ１４４および１４５の処理の際に予め重みを１／２にしておく必要がある点も同様である。その他の半直線１４８ａにおける中間結果も、座標（０，１）の場合と同様に求めることができる。
【００４７】
また、下部領域１５についても、垂直方向が反転する点を除いて同様であり、２つのＸ方向一次元フィルタにより生成された半直線１５４ａ乃至ｅおよび半直線１５５ａ乃至ｅ上の中間結果について、Ｙ方向一次元フィルタにより半直線１５８ａに沿った処理を行うことにより、中心画素１１における出力が得られる。
【００４８】
但し、半直線１４４ａおよび１４５ａに対応する中間結果と、半直線１５４ａおよび１５５ａに対応する中間結果は、座標（０，０）における結果を計算する際に２回加算されることになるため、何れもＹ方向一次元フィルタ１４８による処理の際の重みを１／２にしておく必要がある。
【００４９】
図５は、本発明の実施の形態におけるフィルタによる信号処理の概要を示す図である。従来のＩＩＲフィルタでは、左右対称性を持たせることが難しく、また、図２０により説明したように、フィルタ特性を変化させるとフィルタのピーク値を示す中心点９９がずれて、位相がずれるという問題があった。これに対して、本発明の実施の形態におけるフィルタでは、中心点９１を中心として半分（この例では左半分）のみを利用することによって、この問題を解消している。
【００５０】
すなわち、Ｘ方向一次元フィルタ１４４によって１ラインの前半部分を処理し、その後、１ラインの後半部分を反転させてＸ方向一次元フィルタ１４５によって処理する。これにより、左右対称性を担保するとともに、位相のずれを防止するという効果を得ることができる。
【００５１】
なお、ここでは、一次元フィルタにおける作用について説明したが、二次元フィルタ全体としても同様の作用を有する。すなわち、二次元フィルタ１４０によって上部領域１４を処理し、その後、下部領域１５を反転させて二次元フィルタ１５０によって処理することより、同様の効果を得ることができる。
【００５２】
図６は、本発明の実施の形態におけるＸ方向一次元フィルタ１４４の構成例を示す図である。このＸ方向一次元フィルタ１４４は、５つのＸ方向基底フィルタ６１０乃至６５０と、マトリクス乗算器６６０と、フィルタ選択部６７０とを備えている。
【００５３】
Ｘ方向一次元フィルタ１４４への入力信号は、Ｘ方向基底フィルタ６１０乃至６５０、マトリクス乗算器６６０およびフィルタ選択部６７０に供給される。Ｘ方向基底フィルタ６１０乃至６５０の出力はマトリクス乗算器６６０に供給される。マトリクス乗算器６６０の出力はフィルタ選択部６７０に供給される。
【００５４】
Ｘ方向基底フィルタ６１０乃至６５０は、それぞれ異なる指数関数に準ずる特性を有するフィルタであり、入力信号に対して指数関数に準ずる特性を有する一次元のインパルス応答を生成するものである。Ｘ方向基底フィルタ６１０乃至６５０は、フィルタ係数ｋが互いに異なる。この例では、Ｘ方向基底フィルタ６１０の場合はｋ＝１／２、Ｘ方向基底フィルタ６２０の場合はｋ＝５／８、Ｘ方向基底フィルタ６３０の場合はｋ＝３／４、Ｘ方向基底フィルタ６４０の場合はｋ＝１３／１６、Ｘ方向基底フィルタ６５０の場合はｋ＝７／８にそれぞれ設定されている。
【００５５】
マトリクス乗算器６６０は、Ｘ方向基底フィルタ６１０乃至６５０の出力に対して所定の係数によるマトリクス乗算を行い、これらを線形結合することによって複数のガウス関数特性を有するガウシアンフィルタの出力を生成するものである。
【００５６】
フィルタ選択部６７０は、Ｘ方向一次元フィルタ１４４への入力信号に基づいて、マトリクス乗算器６６０によって生成された複数のガウシアンフィルタの出力の何れかを選択するものである。入力信号がエッジ部分であることを示していれば弱いガウシアンフィルタを選択し、それ以外であれば強いガウシアンフィルタを選択することにより、画像信号の内容に応じたノイズ低減効果を得ることができる。
【００５７】
なお、ここでは、Ｘ方向一次元フィルタ１４４を例に挙げてその構成例を説明したが、Ｘ方向一次元フィルタ１４５の構成も同様である。
【００５８】
図７は、本発明の実施の形態におけるＸ方向基底フィルタ６１０の構成例を示す図である。このＸ方向基底フィルタ６１０は、画素信号のチャンネル毎に、加算器６１１と、画素遅延部６１３と、定数乗算器６１４とを備える。Ｘ方向基底フィルタ６１０への入力は加算器６１１に供給される。加算器６１１の出力は画素遅延部６１３に供給される。画素遅延部６１３の出力は外部に出力されるとともに、定数乗算器６１４に供給される。定数乗算器６１４の出力は加算器６１１にフィードバックされる。
【００５９】
加算器６１１は、Ｘ方向基底フィルタ６１０に入力された画素信号と定数乗算器６１４の出力とを加算するものである。画素遅延部６１３は、加算器６１１から供給された値を１画素分遅延させるものである。定数乗算器６１４は、画素遅延部６１３の出力に対してフィルタ係数ｋを乗じて加算器６１１にフィードバックするものである。このＸ方向基底フィルタ６１０では、フィルタ係数ｋは「１／２」である。
【００６０】
このＸ方向基底フィルタ６１０による座標（ｘ，ｙ）における出力Ｆch, k, x, yは、次式（数１）により表される。
【数１】
【００６１】
ここで、チャンネルｃｈは、赤緑青の各色の画素値（Pixel）をそれぞれ表すＲＰ、ＧＰおよびＢＰに加えて、各色の重み（Weight）をそれぞれ表すＲＷ、ＧＷおよびＢＷを含む６チャンネルの何れかを意味する。ＲＰ、ＧＰおよびＢＰについては、指数関数で表されるインパルス応答と隣接画素群を畳み込んだものになる。一方、ＲＷ、ＧＷおよびＢＷについては定数とみなして、画素値の最大値ＩｎMAXに「ｋ／（１−ｋ）」を乗じた定数値を常に出力する。
【００６２】
なお、ここでは、Ｘ方向基底フィルタ６１０を例に挙げてその構成例を説明したが、他のＸ方向基底フィルタ６２０乃至６５０の構成もフィルタ係数ｋの値を除いて同様である。
【００６３】
このようにして得られたＸ方向基底フィルタ６１０乃至６５０の出力は、マトリクス乗算器６６０による乗算によって、強さの異なる複数のガウス関数特性を有するガウシアンフィルタの出力の要素となる。マトリクス乗算器６６０における乗算係数の一例は次式（数２）により表される。
【数２】
【００６４】
ここでは、５つの異なる指数関数に準ずる特性を有する基底フィルタの出力に基づいて、９個の強さの異なるガウシアンフィルタの出力Ｇch, 1〜9が生成される例が示されている。さらにＧch, 0として、対応するチャンネルの入力信号が出力される（Ｇch, 0＝Ｉｎch, 0）。ここで、末尾の数字が大きいほど、ガウシアンフィルタの幅が広く、すなわち強いフィルタであることを意味する。
【００６５】
このようにして得られた１０個の強さの異なるガウシアンフィルタの出力Ｇch, 0〜9の中から、フィルタ選択部６７０はチャンネル毎に何れかの出力を選択する。フィルタ選択部６７０は、ガウシアンフィルタの選択基準として、次式（数３）により各チャンネルを異なる次元と考えた場合の正規化された四次元距離Ｄn, mを計算する。なお、各色の係数（０．５または１）は色の信頼度によるものである。
【数３】
【００６６】
ここで、σR、σGおよびσBは、画素値の標準偏差である。本発明の実施の形態において、これらの値は画像の撮影に使用した撮像素子に起因するノイズの標準偏差を画素値の関数として表す理論式を求め、入力画素の画素値を理論式に適用する計算によって求めている。なお、これら標準偏差は、フィルタ中心の画素値の近傍の画素値の統計量から実測することもできる。
【００６７】
また、上式（数３）において重みを考慮した画素値ＧR, t、ＧG, t、ＧB, tは次式（数４）により表される。
【数４】
【００６８】
このようにして求められた四次元距離Ｄn, mに基づいて、フィルタ選択部６７０は、ガウシアンフィルタの出力Ｇch, 0〜9の中から一つを次式（数５）により選択する。すなわち、入力信号との距離が所定値よりも大きいか否かを、フィルタの強さの弱い方から順番に調べて、条件に合致するガウシアンフィルタが見つかった時点でそのガウシアンフィルタを選択する。
【数５】
【００６９】
上式（数５）において、四次元距離Ｄn, mの比較対象となる「０．６」乃至「２．２」の定数は、フィルタの強さを決定する要因であり、ノイズリダクション性能と画質の調整の目的で適宜変更することが可能である。上式ではＤn, mの添え字が大きくなるにつれて単調増加しているが、これは一例であり、例えば同じ値に設定してもよい。
【００７０】
図８は、本発明の実施の形態における一次元画像合成部１４７の構成例を示す図である。この一次元画像合成部１４７は、チャンネル毎に加算器７０１および定数乗算器７０２を備えている。
【００７１】
加算器７０１の各々は、ラインＦＩＬＯメモリ１４６およびＸ方向一次元フィルタ１４５の出力をチャンネル毎に加算するものである。
【００７２】
定数乗算器７０２は、各々の加算器７０１の出力に対して定数値ｊを乗算するものである。この乗算は画像処理の途中におけるオーバーフローを防止するためのものであり、例えばｊ＝１／３２とすることができる。
【００７３】
これにより、後段のＹ方向一次元フィルタ１４８には、ＲＰ、ＲＷ、ＧＰ、ＧＷ、ＢＰおよびＢＷの６チャンネル分の画素信号が供給される。
【００７４】
図９は、本発明の実施の形態におけるＹ方向一次元フィルタ１４８の構成例を示す図である。このＹ方向一次元フィルタ１４８は、５つのＹ方向基底フィルタ７１０乃至７５０と、マトリクス乗算器７６０と、フィルタ選択部７７０とを備えており、基底フィルタの処理方向がＹ方向である点を除いて図６のＸ方向一次元フィルタ１４４と同様の構成を有している。
【００７５】
なお、Ｘ方向一次元フィルタ１４４と同様に、Ｙ方向基底フィルタ７１０乃至７５０は、フィルタ係数ｋが互いに異なる。この例では、Ｙ方向基底フィルタ７１０の場合はｋ＝１／２、Ｙ方向基底フィルタ７２０の場合はｋ＝５／８、Ｙ方向基底フィルタ７３０の場合はｋ＝３／４、Ｙ方向基底フィルタ７４０の場合はｋ＝１３／１６、Ｙ方向基底フィルタ７５０の場合はｋ＝７／８にそれぞれ設定されている。
【００７６】
図１０は、本発明の実施の形態におけるＹ方向基底フィルタ７１０の構成例を示す図である。このＹ方向基底フィルタ７１０は、画素信号のチャンネル毎に、加算器７１１と、ライン遅延部７１２と、定数乗算器７１４とを備える。Ｙ方向基底フィルタ７１０への入力は加算器７１１に供給される。加算器７１１の出力はライン遅延部７１２に供給される。ライン遅延部７１２の出力は外部に出力されるとともに、定数乗算器７１４に供給される。定数乗算器７１４の出力は加算器７１１にフィードバックされる。
【００７７】
このＹ方向基底フィルタ７１０は、図７により説明したＸ方向基底フィルタ６１０と比べて、加算器の出力の遅延がライン方向（Ｙ方向）である点で異なる。また、前段のＸ方向一次元フィルタ１４４および１４５によって重みが付与されていることから、ライン毎に個別に計算する必要があるため、重み（ＩｎRW、ＩｎGW、ＩｎBW）についてもフィルタ処理が行われる。すなわち、このＹ方向基底フィルタ７１０による座標（ｘ，ｙ）における出力Ｆch, k, x, yは、次式（数６）により表される。
【数６】
【００７８】
なお、他のＹ方向基底フィルタ７２０乃至７５０の構成もフィルタ係数ｋの値を除いて同様である。
【００７９】
このようにして得られたＹ方向基底フィルタ７２０乃至７５０の出力は、マトリクス乗算器７６０による乗算によって、強さの異なる複数のガウス関数特性を有するガウシアンフィルタの出力の要素となる。マトリクス乗算器７６０における乗算係数は上述のマトリクス乗算器６６０の場合と同様のものを利用することができる。
【００８０】
マトリクス乗算器７６０によって得られた１０個の強さの異なるガウシアンフィルタの出力Ｇch, 0〜9の中から、フィルタ選択部７７０はチャンネル毎に何れかの出力を選択する。フィルタ選択部７７０は、ガウシアンフィルタの選択基準として、既述の式（数３）によって四次元距離Ｄn, mを計算する。但し、この場合の画素値ＧR, t、ＧG, t、ＧB, tは次式（数７）により表される。
【数７】
【００８１】
すなわち、フィルタ選択部６７０では四次元距離の正規化のために固定値（ＩｎMAX）が使用されるが（数４）、このフィルタ選択部７７０では実際の重みが使用される点で異なる。なお、ガウシアンフィルタの選択式（数５）はフィルタ選択部６７０の場合と同様である。
【００８２】
図１１は、本発明の実施の形態における二次元画像合成部１７０の構成例を示す図である。この二次元画像合成部１７０は、チャンネル毎に加算器１７１を備えるとともに、色毎に定数乗算器１７２および除算器１７３を備えている。
【００８３】
加算器１７１の各々は、フレームＦＩＬＯメモリ１６０および二次元フィルタ１５０の出力をチャンネル毎に加算するものである。
【００８４】
定数乗算器１７２は、各色の画素値を担当する加算器１７１の出力に対して定数値ＩｎMAXを乗算するものである。また、除算器１７３は、各色の重みを担当する加算器１７１の出力によって定数乗算器１７２の出力を除算するものである。ガウシアンフィルタの強さが強くなると図５からも明らかなように面積が広くなる。この面積をフィルタの強さによらず一定にするために、除算器１７３による除算が行われて正規化される。
【００８５】
これにより、後段の出力画像メモリ１０９には、各色について重みに応じて正規化された画素信号が供給される。
【００８６】
なお、本発明の実施の形態では、フィルタ係数の異なる５つの基底フィルタの出力に基づいて、マトリクス乗算器６６０（または７６０）において９個の強さの異なるガウシアンフィルタの出力Ｇch, 1〜9を生成する例について説明したが（数２）、これに限定されるものではない。例えば、５つの基底フィルタの出力に基づいて９個の強さの異なるガウシアンフィルタの出力Ｇch, 1〜9を生成する場合には、次式（数８）により計算することができる。但し、Ｇch, 0＝Ｉｎch, 0、ｃｈ∈｛ＲＰ，ＧＰ，ＢＰ，ＲＷ，ＧＷ，ＢＷ｝である。
【数８】
【００８７】
また、例えば、３つの基底フィルタの出力に基づいて９個の強さの異なるガウシアンフィルタの出力Ｇch, 1〜9を生成する場合には、次式（数９）により計算することができる。但し、Ｇch, 0＝Ｉｎch, 0、ｃｈ∈｛ＲＰ，ＧＰ，ＢＰ，ＲＷ，ＧＷ，ＢＷ｝である。
【数９】
【００８８】
このように基底フィルタの数を減らした場合には、近似精度が劣化するおそれはあるが、計算コストを低減することができる。なお、マトリクス乗算器６６０とマトリクス乗算器７６０とで異なる乗算係数を用いてもよい。
【００８９】
また、上式（数９）よりも強い基底フィルタを組み合わせると次式（数１０）のように計算することもできる。
【数１０】
【００９０】
ここでは、強いフィルタにおいては目標とするフィルタに対する誤差が非常に大きくなるため、Ｇch, 7までしか係数を定義していない。この場合、フィルタ選択においてＧch, 7より強いフィルタはすべてＧch, 7とみなして扱うことにより、既述のフィルタ選択基準（数５）を用いることができる。
【００９１】
また、本発明の実施の形態では、マトリクス乗算器６６０（または７６０）において、入力信号との四次元距離Ｄn, mが所定値よりも大きいか否かを用いてフィルタ選択基準としたが（数５）、これに限定されるものではない。例えば、次式（数１１）のように、１段階強いフィルタの結果と入力信号との間の重み付き四次元距離の差が定数値を下回ることを追加条件とするようにしてもよい。これにより、強さのより弱いフィルタが選択されるようになる。
【数１１】
【００９２】
なお、上式において、比較対象となる定数値は「０．０」から「０．８」まで単調増加する値を使用しているが、これは一例であり、任意の値に設定することができる。
【００９３】
また、他のフィルタ選択基準として、例えば、次式（数１２）のように、あるフィルタの結果とそれより１段階強いフィルタ結果との間の重み付き四次元距離の差が定数値を下回ることを追加条件とするようにしてもよい。これにより、やはり、強さのより弱いフィルタが選択されるようになる。
【数１２】
【００９４】
なお、上式において、比較対象となる定数値は「０．０」から「０．８」まで単調増加する値を使用しているが、これは一例であり、任意の値に設定することができる。
【００９５】
図１２は、本発明の実施の形態における二次元フィルタの第２の構成例を示す図である。ここでは、適応フィルタ１００における二次元フィルタ１４０の構成例として二次元フィルタ２４０を示しているが、二次元フィルタ１５０の構成例として適用してもよい。
【００９６】
この二次元フィルタ２４０は、Ｙ方向一次元フィルタ２４２と、２つのＸ方向一次元フィルタ２４４および２４５と、２つのラインＦＩＬＯメモリ２４３および２４６と、一次元画像合成部２４７とを備えている。入力側にはＹ方向一次元フィルタ２４２が接続されており、このＹ方向一次元フィルタ２４２の出力側にはＸ方向一次元フィルタ２４４およびラインＦＩＬＯメモリ２４３が接続されている。さらにＸ方向一次元フィルタ２４４の出力側にはラインＦＩＬＯメモリ２４６が接続され、ラインＦＩＬＯメモリ２４３の出力側にはＸ方向一次元フィルタ２４５が接続されている。ラインＦＩＬＯメモリ２４６およびＸ方向一次元フィルタ２４５の出力側には一次元画像合成部２４７が接続されている。
【００９７】
この二次元フィルタ２４０は、二次元画像信号に対する画像処理の順序が異なる点を除き、図３により説明した二次元フィルタ１４０と同様の構成を有している。すなわち、二次元フィルタ１４０では第１段階のフィルタによりＸ方向の処理を行い、第２段階のフィルタによりＹ方向の処理を行うが、この二次元フィルタ２４０では第１段階のフィルタによりＹ方向の処理を行い、第２段階のフィルタによりＸ方向の処理を行う。
【００９８】
Ｙ方向一次元フィルタ２４２の構成は、Ｙ方向一次元フィルタ１４８の構成（図９）と同様である。但し、Ｙ方向一次元フィルタ２４２は第１段階のフィルタとして機能するため、入力信号として重みは供給されない。したがって、Ｘ方向一次元フィルタ１４４の場合（数１）と同様に、ＲＷ、ＧＷおよびＢＷについては定数とみなして、画素値の最大値ＩｎMAXに「ｋ／（１−ｋ）」を乗じた定数値を常に出力する。
【００９９】
Ｘ方向一次元フィルタ２４４（２４５）の構成は、Ｘ方向一次元フィルタ１４４（１４５）の構成（図６）と同様である。但し、Ｘ方向一次元フィルタ２４４（２４５）は第２段階のフィルタとして機能するため、Ｙ方向一次元フィルタ２４２から各色の重みが供給される。したがって、Ｙ方向一次元フィルタ１４８の場合（数６）と同様に、重みについてもフィルタ処理が行われる。
【０１００】
図１３は、本発明の実施の形態における二次元フィルタの第２の構成例による二次元画像信号の処理方向を示す図である。信号処理の対象となる二次元画像信号は、図２により説明したとおり、上部領域１４および下部領域１５に分けて処理される。
【０１０１】
上部領域１４では、以下の２方向の中間結果の合成結果によって中心画素１１における出力が得られる。その中間結果の一方は、Ｙ方向一次元フィルタ２４２により半直線２４２ａ、２４２ｃ、２４２ｅ、２４２ｇ、２４２ｉに沿った処理を行った結果に対して、Ｘ方向一次元フィルタ２４４により半直線２４４ａに沿った処理を行うことにより得られる。また、もう一方の中間結果は、Ｙ方向一次元フィルタ２４２により半直線２４２ｂ、２４２ｄ、２４２ｆ、２４２ｈ、２４２ｊに沿った処理を行った結果に対して、Ｘ方向一次元フィルタ２４５により半直線２４５ａに沿った処理を行うことにより得られる。いずれの場合も、座標（０，０）を含む水平線上の画素は上部領域１４と下部領域１５とで２回計算されるため、予め重みを１／２にしておく必要がある。
【０１０２】
下部領域１５においても、同様に、Ｙ方向一次元フィルタによる結果をＸ方向一次元フィルタにより処理することにより中心画素１１における出力が得られる。
【０１０３】
図１４は、本発明の実施の形態における二次元フィルタの第３の構成例を示す図である。ここでは、適応フィルタ１００における二次元フィルタ１４０の構成例として二次元フィルタ３４０を示しているが、二次元フィルタ１５０の構成例として適用してもよい。
【０１０４】
この二次元フィルタ３４０は、Ｙ方向一次元フィルタ３４２と、２つのＸ方向一次元フィルタ３４１および３４６と、２つのラインＦＩＬＯメモリ３４３および３５５と、ラインＦＩＦＯメモリ３４５と、３つの一次元画像合成部３４４、３４８および３５８と、２つの斜め方向一次元フィルタ３４７および３４９とを備えている。
【０１０５】
入力側にはＸ方向一次元フィルタ３４１、Ｙ方向一次元フィルタ３４２およびラインＦＩＬＯメモリ３４３が接続されている。Ｙ方向一次元フィルタ３４２の出力側にはラインＦＩＦＯメモリ３４５が接続され、ラインＦＩＬＯメモリ３４３の出力側にはＸ方向一次元フィルタ３４６が接続されている。ラインＦＩＦＯメモリ３４５およびＸ方向一次元フィルタ３４６の出力側には一次元画像合成部３４８が接続されており、両者の出力が合成される。この一次元画像合成部３４８の出力側には斜め方向一次元フィルタ３４９が接続され、さらに斜め方向一次元フィルタ３４９の出力側には一次元画像合成部３５８が接続されている。
【０１０６】
また、Ｘ方向一次元フィルタ３４１およびＹ方向一次元フィルタ３４２の出力側には一次元画像合成部３４４が接続されており、両者の出力が合成される。この一次元画像合成部３４４の出力側には斜め方向一次元フィルタ３４７が接続され、さらに斜め方向一次元フィルタ３４７の出力側にはラインＦＩＬＯメモリ３５５が接続されている。そして、このラインＦＩＬＯメモリ３５５の出力側には一次元画像合成部３５８が接続されている。
【０１０７】
この二次元フィルタ３４０では、第１段階のフィルタとして、Ｙ方向一次元フィルタ３４２とＸ方向一次元フィルタ３４１および３４６によってＸ方向およびＹ方向の処理を行い、第２段階のフィルタとして斜め方向一次元フィルタ３４７および３４９により斜め方向の処理を行う。ＦＩＬＯメモリ３４３および３５５は、既述のとおり、入力された二次元画像信号を１フレームとして、ライン毎に垂直方向にＦＩＬＯ処理を行うものである。一方、ラインＦＩＦＯメモリ３４５は、入力された二次元画像信号を１フレームとして、ライン毎に垂直方向にＦＩＦＯ（First-In First-Out）処理を行うものであり、ラインの順序の入れ替えは行わない。すなわち、ラインＦＩＦＯメモリ３４５は、タイミングを合わせるために用いられているものである。
【０１０８】
Ｙ方向一次元フィルタ３４２の構成は、二次元フィルタの第２の構成例におけるＹ方向一次元フィルタ２４２の構成と同様である。また、Ｘ方向一次元フィルタ３４１（３４６）の構成は、二次元フィルタの第１の構成例におけるＸ方向一次元フィルタ１４４（１４５）の構成と同様である。なお、斜め方向一次元フィルタ３４７（３４９）の内部構成例については後述する。
【０１０９】
図１５は、本発明の実施の形態における二次元フィルタの第３の構成例による二次元画像信号の処理方向を示す図である。信号処理の対象となる二次元画像信号は、図２により説明したとおり、上部領域１４および下部領域１５に分けて処理される。
【０１１０】
上部領域１４では、斜め方向一次元フィルタ３４７により半直線３４７ａに沿った処理を行うことにより得られた結果と、斜め方向一次元フィルタ３４９により半直線３４９ａに沿った処理を行うことにより得られた結果とを一次元画像合成部３５８によって合成することにより、中心画素１１における出力が得られる。
【０１１１】
斜め方向一次元フィルタ３４７に入力される中間結果は、Ｘ方向一次元フィルタ３４１により半直線３４１ａ、３４１ｂ、３４１ｃ、３４１ｄ、３４１ｅに沿った処理を行うことにより得られた結果と、Ｙ方向一次元フィルタ３４２により半直線３４２ａ、３４２ｃ、３４２ｅ、３４２ｇ、３４２ｉに沿った処理を行うことにより得られた結果とを一次元画像合成部３４４によって合成することにより得られる。
【０１１２】
同様に、斜め方向一次元フィルタ３４９に入力される中間結果は、Ｘ方向一次元フィルタ３４６により半直線３４６ａ、３４６ｂ、３４６ｃ、３４６ｄ、３４６ｅに沿った処理を行うことにより得られた結果と、Ｙ方向一次元フィルタ３４２により半直線３４２ｂ、３４２ｄ、３４２ｆ、３４２ｈ、３４２ｊに沿った処理を行うことにより得られた結果とを一次元画像合成部３４８によって合成することにより得られる。
【０１１３】
下部領域１５においても、同様に、Ｘ方向一次元フィルタおよびＹ方向一次元フィルタによる結果を斜め方向一次元フィルタにより処理することにより中心画素１１における出力が得られる。
【０１１４】
なお、Ｘ方向一次元フィルタおよびＹ方向一次元フィルタにおいて、中心画素１１を通る水平垂直線上の画素はすべて２回フィルタ計算に考慮されるため、予め１／２の重みをかけておく必要がある。
【０１１５】
図１６は、本発明の実施の形態における斜め方向一次元フィルタ３４７の構成例を示す図である。この斜め方向一次元フィルタ３４７は、５つの斜め方向基底フィルタ８１０乃至８５０と、マトリクス乗算器８６０と、フィルタ選択部８７０とを備えており、基底フィルタの処理方向が斜め方向である点を除いて図６のＸ方向一次元フィルタ１４４と同様の構成を有している。
【０１１６】
なお、Ｘ方向一次元フィルタ１４４と同様に、斜め方向基底フィルタ８１０乃至８５０は、フィルタ係数ｋが互いに異なる。この例では、斜め方向基底フィルタ８１０の場合はｋ＝１／２、斜め方向基底フィルタ８２０の場合はｋ＝５／８、斜め方向基底フィルタ８３０の場合はｋ＝３／４、斜め方向基底フィルタ８４０の場合はｋ＝１３／１６、斜め方向基底フィルタ８５０の場合はｋ＝７／８にそれぞれ設定されている。
【０１１７】
なお、ここでは、斜め方向一次元フィルタ３４７を例に挙げてその構成例を説明したが、斜め方向一次元フィルタ３４９の構成も同様である。
【０１１８】
図１７は、本発明の実施の形態における斜め方向基底フィルタ８１０の構成例を示す図である。この斜め方向基底フィルタ８１０は、画素信号のチャンネル毎に、加算器８１１と、ライン遅延部８１２と、画素遅延部８１３と、定数乗算器８１４とを備える。斜め方向基底フィルタ８１０への入力は加算器８１１に供給される。加算器８１１の出力はライン遅延部８１２に供給される。ライン遅延部８１２の出力は外部に出力されるとともに、画素遅延部８１３に供給され、定数乗算器８１４によってフィルタ係数ｋが乗算されて加算器８１１にフィードバックされる。
【０１１９】
この斜め方向基底フィルタ８１０は、Ｘ方向基底フィルタ６１０（図７）やＹ方向基底フィルタ７１０（図１０）と比べて、加算器の出力の遅延がライン方向（Ｙ方向）および画素方向（Ｘ方向）の組合せである点で異なる。また、前段のＹ方向一次元フィルタ３４２およびＸ方向一次元フィルタ３４１および３４６によって重みが付与されていることから、ライン毎に個別に計算する必要があるため、重みについてもフィルタ処理が行われる点はＹ方向基底フィルタ６１０と同様である。
【０１２０】
ここでは、ライン方向および画素方向に１つずつ遅延させることにより４５°の角度を生じさせる例について説明したが、これに限定されるものではない。ライン遅延部８１２および画素遅延部８１３における遅延量を調整することにより、任意の角度の基底フィルタを生成することができる。例えば、画素方向に１つ、ライン方向に２つ遅延させることにより、桂馬飛びの基底フィルタを構成することができる。
【０１２１】
なお、他の斜め方向基底フィルタ８２０乃至８５０の構成もフィルタ係数ｋの値を除いて同様である。
【０１２２】
図１８は、本発明の実施の形態における二次元フィルタの第４の構成例を示す図である。ここでは、適応フィルタ１００における二次元フィルタ１４０の構成例として二次元フィルタ４４０を示しているが、二次元フィルタ１５０の構成例として適用してもよい。
【０１２３】
この二次元フィルタ４４０は、２つの斜め方向一次元フィルタ４４２および４４３と、３つのラインＦＩＬＯメモリ４４１、４４４および４４９と、２つのＸ方向一次元フィルタ４４５および４４７と、Ｙ方向一次元フィルタ４４８と、２つの一次元画像合成部４４６および４５６とを備えている。
【０１２４】
入力側には斜め方向一次元フィルタ４４２およびラインＦＩＬＯメモリ４４１が接続されている。斜め方向一次元フィルタ４４２の出力側にはラインＦＩＬＯメモリ４４４およびＸ方向一次元フィルタ４４７が接続されている。Ｘ方向一次元フィルタ４４７の出力側にはラインＦＩＬＯメモリ４４９が接続されている。
【０１２５】
また、ラインＦＩＬＯメモリ４４１の出力側には斜め方向一次元フィルタ４４３が接続されている。この斜め方向一次元フィルタ４４３の出力側にはＸ方向一次元フィルタ４４５および一次元画像合成部４４６が接続されている。一次元画像合成部４４６の出力側にはＹ方向一次元フィルタ４４８が接続されている。
【０１２６】
一次元画像合成部４５６は、Ｘ方向一次元フィルタ４４５、Ｙ方向一次元フィルタ４４８およびラインＦＩＬＯメモリ４４９の出力側に接続され、これらの出力を合成する。
【０１２７】
この二次元フィルタ４４０では、第１段階のフィルタとして、斜め方向一次元フィルタ４４２および４４３により斜め方向の処理を行い、第２段階のフィルタとしてＸ方向一次元フィルタ４４５および４４７とＹ方向一次元フィルタ４４８によってＸ方向およびＹ方向の処理を行う。
【０１２８】
Ｙ方向一次元フィルタ４４８の構成は、二次元フィルタの第２の構成例におけるＹ方向一次元フィルタ２４２の構成と同様である。また、Ｘ方向一次元フィルタ４４５（４４７）の構成は、二次元フィルタの第１の構成例におけるＸ方向一次元フィルタ１４４（１４５）の構成と同様である。また、斜め方向一次元フィルタ４４２（４４３）の構成は、二次元フィルタの第３の構成例における斜め方向一次元フィルタ３４７（３４９）と同様である。
【０１２９】
また、一次元画像合成部４５６の構成は、二次元フィルタの第１の構成例における一次元画像合成部１４７（図８）を３入力に拡張したものであり、各入力における各色の画素値および重みをチャンネル毎に加算して定数を乗算するものである。
【０１３０】
図１９は、本発明の実施の形態における二次元フィルタの第４の構成例による二次元画像信号の処理方向を示す図である。信号処理の対象となる二次元画像信号は、図２により説明したとおり、上部領域１４および下部領域１５に分けて処理される。
【０１３１】
上部領域１４では、Ｘ方向一次元フィルタ４４７により半直線４４７ａに沿った処理を行うことにより得られた結果と、Ｙ方向一次元フィルタ４４８により半直線４４８ａに沿った処理を行うことにより得られた結果と、Ｘ方向一次元フィルタ４４５により半直線４４５ａに沿った処理を行うことにより得られた結果とを一次元画像合成部４５６によって合成することにより、中心画素１１における出力が得られる。
【０１３２】
Ｘ方向一次元フィルタ４４７に入力される中間結果は、斜め方向一次元フィルタ４４２により半直線４４２ａ、４４２ｃ、４４２ｅ、４４２ｇ、４４２ｉに沿った処理を行うことにより得られた結果として得られる。
【０１３３】
Ｙ方向一次元フィルタ４４８に入力される中間結果は、斜め方向一次元フィルタ４４２により半直線４４２ｂ、４４２ｄ、４４２ｆ、４４２ｈ、４４２ｊに沿った処理を行うことにより得られた結果と、斜め方向一次元フィルタ４４３により半直線４４３ｂ、４４３ｄ、４４３ｆ、４４３ｈ、４４３ｊに沿った処理を行うことにより得られた結果とを一次元画像合成部４４６によって合成することにより得られる。
【０１３４】
Ｘ方向一次元フィルタ４４５に入力される中間結果は、斜め方向一次元フィルタ４４３により半直線４４３ａ、４４３ｃ、４４３ｅ、４４３ｇ、４４３ｉに沿った処理を行うことにより得られた結果として得られる。
【０１３５】
下部領域１５においても、同様に、斜め方向一次元フィルタによる結果をＸ方向一次元フィルタおよびＹ方向一次元フィルタにより処理することにより中心画素１１における出力が得られる。
【０１３６】
なお、Ｘ方向一次元フィルタおよびＹ方向一次元フィルタにおいて、中心画素１１を通る斜め４５°線上の画素と、水平線上の画素とは全て２回フィルタ計算に考慮されるため、これらの画素には予め１／２の重みをかけておく必要がある。
【０１３７】
このように、本発明の実施の形態によれば、二次元フィルタ（１４０および１５０）や一次元フィルタ（１４４等）において、中心点を中心として半分のみを利用することにより、左右対称性を担保するとともに、位相のずれを防止するという効果を得ることができる。
【０１３８】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【０１３９】
すなわち、請求項１において、第１のフィルタ手段は例えばＸ方向一次元フィルタ１４４に対応する。また、第１の反転手段は例えばラインＦＩＬＯメモリ１４６に対応する。また、第２の反転手段は例えばラインＦＩＬＯメモリ１４３に対応する。また、第２のフィルタ手段は例えばＸ方向一次元フィルタ１４５に対応する。また、合成手段は例えば一次元画像合成部１４７に対応する。
【０１４０】
また、請求項２において、一次元基底フィルタは例えばＸ方向基底フィルタ６１０乃至６５０に対応する。また、線形結合手段は例えばマトリクス乗算器６６０に対応する。また、選択手段は例えばフィルタ選択部６７０に対応する。
【０１４１】
また、請求項５において、第１のフィルタ手段は例えば二次元フィルタ１４０に対応する。また、第１の反転手段は例えばフレームＦＩＬＯメモリ１６０に対応する。また、第２の反転手段は例えばフレームＦＩＬＯメモリ１３０に対応する。また、第２のフィルタ手段は例えば二次元フィルタ１５０に対応する。また、合成手段は例えば二次元画像合成部１７０に対応する。
【０１４２】
また、請求項６において、第１段階のフィルタ手段は例えばＸ方向一次元フィルタ１４４および１４５、Ｙ方向一次元フィルタ２４２、Ｘ方向一次元フィルタ３４１および３４６、Ｙ方向一次元フィルタ３４２、または、斜め方向一次元フィルタ４４２および４４３に対応する。また、第２段階のフィルタ手段は例えばＹ方向一次元フィルタ１４８、Ｘ方向一次元フィルタ２４４および２４５、斜め方向一次元フィルタ３４７および３４９、Ｘ方向一次元フィルタ４４５および４４７、または、Ｙ方向一次元フィルタ４４８に対応する。
【０１４３】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【０１４４】
【図１】本発明の実施の形態における信号処理装置の一例としての適応フィルタ１００の一構成例を示す図である。
【図２】本発明の実施の形態における信号処理の対象となる二次元画像信号の領域の一部を示す図である。
【図３】本発明の実施の形態における二次元フィルタの第１の構成例を示す図である。
【図４】本発明の実施の形態における二次元フィルタの第１の構成例による二次元画像信号の処理方向を示す図である。
【図５】本発明の実施の形態におけるフィルタによる信号処理の概要を示す図である。
【図６】本発明の実施の形態におけるＸ方向一次元フィルタ１４４の構成例を示す図である。
【図７】本発明の実施の形態におけるＸ方向基底フィルタ６１０の構成例を示す図である。
【図８】本発明の実施の形態における一次元画像合成部１４７の構成例を示す図である。
【図９】本発明の実施の形態におけるＹ方向一次元フィルタ１４８の構成例を示す図である。
【図１０】本発明の実施の形態におけるＹ方向基底フィルタ７１０の構成例を示す図である。
【図１１】本発明の実施の形態における二次元画像合成部１７０の構成例を示す図である。
【図１２】本発明の実施の形態における二次元フィルタの第２の構成例を示す図である。
【図１３】本発明の実施の形態における二次元フィルタの第２の構成例による二次元画像信号の処理方向を示す図である。
【図１４】本発明の実施の形態における二次元フィルタの第３の構成例を示す図である。
【図１５】本発明の実施の形態における二次元フィルタの第３の構成例による二次元画像信号の処理方向を示す図である。
【図１６】本発明の実施の形態における斜め方向一次元フィルタ３４７の構成例を示す図である。
【図１７】本発明の実施の形態における斜め方向基底フィルタ８１０の構成例を示す図である。
【図１８】本発明の実施の形態における二次元フィルタの第４の構成例を示す図である。
【図１９】本発明の実施の形態における二次元フィルタの第４の構成例による二次元画像信号の処理方向を示す図である。
【図２０】従来のＩＩＲフィルタによる信号処理の概要を示す図である。
【符号の説明】
【０１４５】
１００ 適応フィルタ
１０１ 入力画像メモリ
１０９ 出力画像メモリ
１３０、１６０ フレームＦＩＬＯメモリ
１４０、１５０ 二次元フィルタ
１４３、１４６ ラインＦＩＬＯメモリ
１４４、１４５ Ｘ方向一次元フィルタ
１４７ 一次元画像合成部
１４８ Ｙ方向一次元フィルタ
１７０ 二次元画像合成部
１７１ 加算器
１７２ 定数乗算器
１７３ 除算器
２４０ 二次元フィルタ
２４２ Ｙ方向一次元フィルタ
２４３、２４６ ラインＦＩＬＯメモリ
２４４、２４５ Ｘ方向一次元フィルタ
２４７ 一次元画像合成部
３４０ 二次元フィルタ
３４１、３４６ Ｘ方向一次元フィルタ
３４２ Ｙ方向一次元フィルタ
３４３、３５５ ラインＦＩＬＯメモリ
３４４、３４８、３５８ 一次元画像合成部
３４５ ラインＦＩＦＯメモリ
３４７、３４９ 斜め方向一次元フィルタ
４４０ 二次元フィルタ
４４１、４４４、４４９ ラインＦＩＬＯメモリ
４４２、４４３ 斜め方向一次元フィルタ
４４５、４４７ Ｘ方向一次元フィルタ
４４６、４５６ 一次元画像合成部
４４８ Ｙ方向一次元フィルタ
６１０〜６５０ Ｘ方向基底フィルタ
６１１、７１１、８１１ 加算器
６１３、８１３ 画素遅延部
６１４、７１４、８１４ 定数乗算器
６６０、７６０、８６０ マトリクス乗算器
６７０、７７０、８７０ フィルタ選択部
７０１ 加算器
７０２ 定数乗算器
７１０〜７５０ Ｙ方向基底フィルタ
７１２、８１２ ライン遅延部
８１０〜８５０ 斜め方向基底フィルタ
【特許請求の範囲】
【請求項１】
時系列に入力される有限長の一次元信号を処理する信号処理装置であって、
前記一次元信号を先頭から所定位置に至るまで入力された順に一次元のインパルス応答特性による変換を行う第１のフィルタ手段と、
前記第１のフィルタ手段の出力の順序を反対に並び替える第１の反転手段と、
前記所定位置から末尾に至るまで入力された前記一次元信号の順序を反対に並び替える第２の反転手段と、
前記第２の反転手段の出力について一次元のインパルス応答特性による変換を順次行う第２のフィルタ手段と、
前記第１の反転手段の出力と前記第２のフィルタ手段の出力とを順次合成する合成手段と
を具備することを特徴とする信号処理装置。
【請求項２】
前記第１または第２のフィルタ手段は、
その入力された信号に対してそれぞれ異なる出力信号を出力する複数の一次元基底フィルタと、
前記複数の一次元基底フィルタによる出力信号を線形結合することによって減衰特性の異なる複数のガウシアンフィルタを形成させる線形結合手段と、
前記入力された信号に基づいて前記異なる複数のガウシアンフィルタの出力の何れかを選択する選択手段と
を具備することを特徴とする請求項１記載の信号処理装置。
【請求項３】
前記複数の一次元基底フィルタの各々は、指数関数特性を備えた無限インパルス応答フィルタであることを特徴とする請求項２記載の信号処理装置。
【請求項４】
前記線形結合手段は、前記線形結合の係数を切り替えることによってインパルス応答特性を可変にすることを特徴とする請求項２記載の信号処理装置。
【請求項５】
第１および第２の方向にそれぞれ有限長を有する二次元画像信号を処理する信号処理装置であって、
前記二次元画像信号を前記第２の方向の所定位置に至るまで入力された順に二次元のインパルス応答特性による変換を行う第１のフィルタ手段と、
前記第１のフィルタ手段の出力の順序を前記第２の方向について反対に並び替える第１の反転手段と、
前記第２の方向の前記所定位置から入力された前記二次元画像信号の順序を前記第２の方向について反対に並び替える第２の反転手段と、
前記第２の反転手段の出力について二次元のインパルス応答特性による変換を順次行う第２のフィルタ手段と、
前記第１の反転手段の出力と前記第２のフィルタ手段の出力とを順次合成する合成手段と
を具備することを特徴とする信号処理装置。
【請求項６】
前記第１または第２のフィルタ手段は、
その入力された信号に対して第１の半直線に対応付けられた一次元のインパルス応答特性による変換を行う第１段階のフィルタ手段と、
前記第１段階のフィルタ手段の出力に対して前記第１の半直線とは異なる方向の第２の半直線に対応付けられた一次元のインパルス応答特性による変換を行う第２段階のフィルタ手段と
を具備することを特徴とする請求項５記載の信号処理装置。
【請求項７】
前記第１の半直線は前記二次元画像信号における水平方向の半直線であって、
前記第２の半直線は前記二次元画像信号における垂直方向の半直線である
ことを特徴とする請求項６記載の信号処理装置。
【請求項８】
前記第１の半直線は前記二次元画像信号における垂直方向の半直線であって、
前記第２の半直線は前記二次元画像信号における水平方向の半直線である
ことを特徴とする請求項６記載の信号処理装置。
【請求項９】
前記第１の半直線は前記二次元画像信号における水平方向および垂直方向の半直線であって、
前記第２の半直線は前記二次元画像信号における斜め方向の半直線である
ことを特徴とする請求項６記載の信号処理装置。
【請求項１０】
前記第１の半直線は前記二次元画像信号における斜め方向の半直線であって、
前記第２の半直線は前記二次元画像信号における水平方向および垂直方向の半直線である
ことを特徴とする請求項６記載の信号処理装置。
【請求項１１】
前記第１段階のフィルタ手段は、前記入力された信号に対する一次元のインパルス応答特性によるフィルタ結果を非正規化画素値として出力するとともに、所定の定数値の連続信号に対する一次元のインパルス応答特性の定常値を重みとして出力し、
前記合成手段は、前記非正規化画素値と前記重みの比に前記所定の定数値を乗じたものを合成結果として出力する
ことを特徴とする請求項６記載の信号処理装置。
【請求項１】
時系列に入力される有限長の一次元信号を処理する信号処理装置であって、
前記一次元信号を先頭から所定位置に至るまで入力された順に一次元のインパルス応答特性による変換を行う第１のフィルタ手段と、
前記第１のフィルタ手段の出力の順序を反対に並び替える第１の反転手段と、
前記所定位置から末尾に至るまで入力された前記一次元信号の順序を反対に並び替える第２の反転手段と、
前記第２の反転手段の出力について一次元のインパルス応答特性による変換を順次行う第２のフィルタ手段と、
前記第１の反転手段の出力と前記第２のフィルタ手段の出力とを順次合成する合成手段と
を具備することを特徴とする信号処理装置。
【請求項２】
前記第１または第２のフィルタ手段は、
その入力された信号に対してそれぞれ異なる出力信号を出力する複数の一次元基底フィルタと、
前記複数の一次元基底フィルタによる出力信号を線形結合することによって減衰特性の異なる複数のガウシアンフィルタを形成させる線形結合手段と、
前記入力された信号に基づいて前記異なる複数のガウシアンフィルタの出力の何れかを選択する選択手段と
を具備することを特徴とする請求項１記載の信号処理装置。
【請求項３】
前記複数の一次元基底フィルタの各々は、指数関数特性を備えた無限インパルス応答フィルタであることを特徴とする請求項２記載の信号処理装置。
【請求項４】
前記線形結合手段は、前記線形結合の係数を切り替えることによってインパルス応答特性を可変にすることを特徴とする請求項２記載の信号処理装置。
【請求項５】
第１および第２の方向にそれぞれ有限長を有する二次元画像信号を処理する信号処理装置であって、
前記二次元画像信号を前記第２の方向の所定位置に至るまで入力された順に二次元のインパルス応答特性による変換を行う第１のフィルタ手段と、
前記第１のフィルタ手段の出力の順序を前記第２の方向について反対に並び替える第１の反転手段と、
前記第２の方向の前記所定位置から入力された前記二次元画像信号の順序を前記第２の方向について反対に並び替える第２の反転手段と、
前記第２の反転手段の出力について二次元のインパルス応答特性による変換を順次行う第２のフィルタ手段と、
前記第１の反転手段の出力と前記第２のフィルタ手段の出力とを順次合成する合成手段と
を具備することを特徴とする信号処理装置。
【請求項６】
前記第１または第２のフィルタ手段は、
その入力された信号に対して第１の半直線に対応付けられた一次元のインパルス応答特性による変換を行う第１段階のフィルタ手段と、
前記第１段階のフィルタ手段の出力に対して前記第１の半直線とは異なる方向の第２の半直線に対応付けられた一次元のインパルス応答特性による変換を行う第２段階のフィルタ手段と
を具備することを特徴とする請求項５記載の信号処理装置。
【請求項７】
前記第１の半直線は前記二次元画像信号における水平方向の半直線であって、
前記第２の半直線は前記二次元画像信号における垂直方向の半直線である
ことを特徴とする請求項６記載の信号処理装置。
【請求項８】
前記第１の半直線は前記二次元画像信号における垂直方向の半直線であって、
前記第２の半直線は前記二次元画像信号における水平方向の半直線である
ことを特徴とする請求項６記載の信号処理装置。
【請求項９】
前記第１の半直線は前記二次元画像信号における水平方向および垂直方向の半直線であって、
前記第２の半直線は前記二次元画像信号における斜め方向の半直線である
ことを特徴とする請求項６記載の信号処理装置。
【請求項１０】
前記第１の半直線は前記二次元画像信号における斜め方向の半直線であって、
前記第２の半直線は前記二次元画像信号における水平方向および垂直方向の半直線である
ことを特徴とする請求項６記載の信号処理装置。
【請求項１１】
前記第１段階のフィルタ手段は、前記入力された信号に対する一次元のインパルス応答特性によるフィルタ結果を非正規化画素値として出力するとともに、所定の定数値の連続信号に対する一次元のインパルス応答特性の定常値を重みとして出力し、
前記合成手段は、前記非正規化画素値と前記重みの比に前記所定の定数値を乗じたものを合成結果として出力する
ことを特徴とする請求項６記載の信号処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００８−７１２００（Ｐ２００８−７１２００Ａ）
【公開日】平成２０年３月２７日（２００８．３．２７）
【国際特許分類】
【出願番号】特願２００６−２５００６７（Ｐ２００６−２５００６７）
【出願日】平成１８年９月１４日（２００６．９．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年３月２７日（２００８．３．２７）
【国際特許分類】
【出願日】平成１８年９月１４日（２００６．９．１４）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]