ノイズ除去装置並びにプログラムおよび方法
【課題】多重解像度変換と方向性を有するフィルタ処理を組み合わせたノイズ除去方法において、細かい構造に対応した方向判別とノイズの影響を受けない方向判別を両立するとともに、演算規模の縮小を図ることができるノイズ除去方法およびプログラム並びに装置を提供することを目的とする。
【解決手段】入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、各帯域画像信号に対してそれぞれノイズ除去処理を施すノイズ除去装置であって、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別する方向判別手段と、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去手段と、を備える。
【解決手段】入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、各帯域画像信号に対してそれぞれノイズ除去処理を施すノイズ除去装置であって、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別する方向判別手段と、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去手段と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理に関し、特に画像のノイズを除去するノイズ除去装置並びにプログラムおよび方法に関するものである。
【背景技術】
【０００２】
画像信号に含まれるノイズ信号を除去するノイズ除去装置においては、ローパスフィルタによる平滑化処理が広く行われている。しかし、ローパスフィルタによる平滑化処理によりノイズを低減させようとすると、画像信号に含まれるエッジ成分にも平滑化がかかるため、画像の鮮鋭度が低下してしまうという問題がある。
【０００３】
この問題に対処する方法として、特許文献１では画像に含まれるエッジ成分の方向を検出し、当該方向に沿った平滑化処理を適用することで、画像の鮮鋭度を低下させることなくノイズを低減する方式が示されている。また、特許文献２においては、エッジ成分の方向を検出する際に参照する画像を、原画像ではなく、原画像に対してローパスフィルタ処理を施した画像とすることで、方向判別結果を安定させる方式が示されている。
【０００４】
また、多重解像度変換を用いたノイズ除去方法が非特許文献１にて開示されている。これは、画像信号をフィルタバンクやラプラシアンピラミッドの手法を用いて複数の周波数帯域の信号に分割し、それぞれの帯域の信号に対して何らかのノイズ除去処理を施した後、これらを再合成するものであり、分割した帯域それぞれに適した強度のノイズ除去処理を行えるという利点を有する。
【０００５】
図１４にラプラシアンピラミッドによる多重解像度変換と、それを用いたノイズ除去の一例を示す。図１４において、入力画像１００は、フィルタ処理・縮小処理部１０１にてローパスフィルタ処理後に縮小される。この処理により、画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、次段のフィルタ処理・縮小処理部１１０に供給され、順次さらに縮小されていく。縮小された画像は、拡大処理部１０２にて元の画像サイズに拡大された後、減算器１０３にて差分信号が作成される。
【０００６】
この差分信号は、フィルタ処理・縮小処理部１０１で用いられたローパスフィルタ特性により遮断された高域成分に相当する。この高域成分を多く含む差分信号に対して、ＮＲ処理部５００にてノイズ除去処理を施す。次段の処理でも同様に、フィルタ処理・縮小処理部１１０、拡大処理部１１１、減算器１１２により、次段に相当する帯域の信号が生成され、これに対してＮＲ処理部５０１でノイズ除去処理を適用する。このようにして順次の帯域分割された信号に対してノイズ除去処理が適用されることとなる。
【０００７】
最も低周波の帯域におけるＮＲ処理部５０２の出力は、低域側の信号と加算器１２４で加算され、拡大処理部１２５によって拡大された後、高域側の処理に送られる。このようにして順次低域側から信号が再合成されていき、最終的に最高域の信号が加算器１０９により加算されて、出力画像５０３となる。
【０００８】
特許文献３においては、図１４におけるＮＲ処理部５００、５０１、５０２を、特許文献１に類似の方向性を有するフィルタ処理を用いた構成にする方式が示されている。また、方向判別に用いる画像については、特許文献２に示されるようなローパスフィルタ処理を施した画像とするために、多重解像度変換における低域側の画像を用いて方向判別をする方式、あるいは、低域側の画像を用いて方向判別した結果と、注目帯域を含む画像を用いて方向判別した結果を組み合わせる方式が示されている。
【特許文献１】特開昭５５−１３３１７９号公報
【特許文献２】特開平８−２０２８７０号公報
【特許文献３】特開２００１−５７６７７号公報
【非特許文献１】Surendra Ranganath, “Image Filtering Using Multiresolution Representations”, IEEE Trans. On Pattern Anal. MachineIntell. , Vol. PAMI-13 No.5, May, 1991
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところが、多重解像度変換と方向性を有するフィルタ処理を組み合わせたノイズ除去装置においては、方向判別に使用する画像を低域側の画像とすると、低域側の画像の解像度が低すぎるために、細かい構造に対応した方向判別結果を得ることができず、ノイズ除去の結果として細かい構造をつぶしてしまうという問題がある。他方、方向判別に使用する画像を、注目帯域を含む画像とすると、ノイズ除去前の画像であることから方向判別結果がノイズの影響を強く受け、所望のノイズ除去結果を得ることができないという問題がある。
【００１０】
特許文献２においては、方向判別に使用する参照画像を、原画像に対してローパスフィルタを適用したものとしており、このローパスフィルタの強度を調整することで、上記トレードオフの関係にある問題に対処することが可能である。しかし、多重解像度変換においては、各帯域の画像が既に生成されており、演算規模削減の観点からこれら画像を利用することが望ましく、別途所望の特性によるローパスフィルタ処理をすることは望ましくない。
【００１１】
特許文献３においては、低域側の画像を用いた方向判別結果と、注目帯域を含む画像を用いた方向判別結果を組み合わせることで、上記トレードオフの関係にある問題に対処する方式が開示されているが、方向判別処理を２回計算する必要があり、これも演算規模削減の観点から望ましいとはいえない。
【００１２】
本発明は、上記問題に鑑みてなされたもので、多重解像度変換と方向性を有するフィルタ処理を組み合わせたノイズ除去装置において、細かい構造に対応した方向判別とノイズの影響を受けない方向判別を両立するとともに、演算規模の縮小を図ることができるノイズ除去装置並びにプログラムおよび方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明に係るノイズ除去装置は、入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、各帯域画像信号に対してそれぞれノイズ除去処理を施すノイズ除去装置であって、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別する方向判別手段と、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去手段と、を備えたことを特徴とする。
【００１４】
ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数を含む第１の画像信号には、高域成分が含まれているため、細かい構造のエッジが存在し、これを用いて方向判別をすることにより精度の高い方向判別が可能な反面、高域成分に含まれるノイズの影響を強く受けるという欠点がある。他方、ノイズ除去の対象となる帯域画像信号の周波数帯域よりも低域側の周波数を含む第２の画像信号は、細かい構造のエッジは存在しない反面、ノイズも少ないため安定した方向判別が可能となる。
したがって、本発明のノイズ除去装置によれば、第１の画像信号と第２の画像信号とを用いて、ノイズ除去の対象となる帯域画像信号のエッジ成分の方向を判別することで、細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現することができる。
【００１５】
本発明に係るノイズ除去装置は、入入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、各帯域画像信号に対してそれぞれノイズ除去処理を施すノイズ除去装置であって、ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別する方向判別手段と、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去手段と、を備えたことを特徴とする。
【００１６】
ノイズ除去の対象となる帯域画像信号には、高域成分が含まれているため、細かい構造のエッジが存在し、これを用いて方向判別をすることにより精度の高い方向判別が可能な反面、高域成分に含まれるノイズの影響を強く受けるという欠点がある。他方、ノイズ除去の対象となる帯域画像信号の周波数帯域よりも低域側の周波数を含む第２の画像信号は、細かい構造のエッジは存在しない反面、ノイズも少ないため安定した方向判別が可能となる。
したがって、本発明のノイズ除去装置によれば、ノイズ除去の対象となる帯域画像信号と第２の画像信号とを用いて、ノイズ除去の対象となる帯域画像信号のエッジ成分の方向を判別することで、細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現することができる。
また、ノイズ除去の対象となる帯域画像信号と第２の画像信号とを用いて第１の画像信号を生成するので、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数を含む第１の画像信号を保持する必要がなくなる。これにより、画像保持のために必要とされるメモリ量を削減できる。
【００１７】
本発明に係るノイズ除去プログラムは、入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の処理と、各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の処理とをコンピュータに実行させるノイズ除去プログラムであって、前記第２の処理は、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズの除去を行うことを特徴とする。
【００１８】
本発明に係るノイズ除去プログラムは、入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の処理と、各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の処理とをコンピュータに実行させるノイズ除去プログラムであって、前記第２の処理は、ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズの除去を行うことを特徴とする。
【００１９】
本発明に係る撮像システムは、上記のノイズ除去装置を備えることを特徴とする。
【００２０】
本発明の撮像システムによれば、撮像される画像のノイズレベルやユーザの好みに適した画像を得ることが可能となる。
【００２１】
本発明に係るノイズ除去方法は、入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の工程と、各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の工程とを有し、前記第２の工程は、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去することを特徴とする。
【００２２】
本発明に係るノイズ除去方法は、入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の工程と、各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の工程とを有し、前記第２の工程は、ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去することを特徴とする。
【発明の効果】
【００２３】
本発明によれば、細かい構造に対応した方向判別とノイズの影響を受けない方向判別を両立するとともに、演算規模の縮小を図ることが可能となる。
【発明を実施するための最良の形態】
【００２４】
［第１の実施形態］
以下に、本発明の第１の実施形態に係るノイズ除去装置並びにプログラムおよび方法について、図面を参照して説明する。
図１は本実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
本実施形態に係るノイズ除去装置は、ラプラシアンピラミッドにより多重解像度変換を施す多重解像度変換部と、各帯域の信号に対してノイズ除去をするＮＲ処理部１０５，１１３，１２１とを備えている。
【００２５】
上記多重解像度変換部は、複数段のフィルタ処理・縮小処理部１０１，１１０，１１８と、各フィルタ処理・縮小処理部１０１，１１０，１１８に対応して設けられる拡大処理部１０２，１１１，１１９と、ノイズ除去後の画像を用いて信号を再合成する合成部とを備えている。
このような構成において、入力画像１００は、フィルタ処理・縮小処理部１０１にてローパスフィルタ処理後に縮小される。この処理により、画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、次段のフィルタ処理・縮小処理部１１０に供給され、順次さらに縮小されていく。縮小された画像は、ＮＲ処理部１０５に与えられ、ＮＲ処理部１０５によってノイズ除去処理が施される。本実施形態では、ノイズ除去部としてＮＲ処理を施すＮＲ処理部１０５を一例に挙げて説明するが、この例に限定されない。
【００２６】
フィルタ処理・縮小処理部１０１にて縮小された画像は、拡大処理部１０２にて元の画像サイズに拡大された後、減算器１０３へ出力される。減算器１０３では、入力画像１００と拡大処理部１０２から与えられた画像との減算を行うことによって帯域画像信号１０４が作成される。この帯域画像信号１０４は、フィルタ処理・縮小処理部１０１で用いられたローパスフィルタ特性により遮断された高域部分の信号に相当する。
【００２７】
この高域成分を多く含む帯域画像信号１０４に対して、ＮＲ処理部１０５にてノイズ除去処理を施す。次段の処理でも同様に、フィルタ処理・縮小処理部１１０、拡大処理部１１１、減算器１１２により、次段に相当する帯域画像信号が生成され、これに対してＮＲ処理部１１３でノイズ除去処理を適用する。このようにして順次の帯域分割された信号に対してノイズ除去処理が適用されることとなる。
【００２８】
ＮＲ処理部１２１の出力は、合成部の加算器１２４によって低域側の信号に加算され、合成部の拡大処理部１２５によって拡大された後、高域側の処理に送られる。このようにして順次低域側から信号が再合成されていき、最終的に最高域の信号が加算器１０９により加算されて、出力画像１２６となる。
【００２９】
次にＮＲ処理部１０５の詳細について説明する。
ＮＲ処理部１０５においては、帯域画像信号１０４を入力とし、ＮＲ処理結果１０６を出力とする。ここで、ＮＲ処理は、方向性を有するフィルタ処理に基づいて行われることを前提とし、その方向の判別のために、第１の画像信号１０７と第２の画像信号１０８とを用いて第１の参照画像を作成する。第１の画像信号１０７は、その周波数成分として帯域画像信号１０４を含み、かつ、それよりも低域側の信号も含む。第２の画像信号１０８は、ノイズ除去処理後の低域側の信号である。他の帯域のＮＲ処理部であるＮＲ処理部１１３、１２１においても同様に、第１の画像信号１１４、１２２と第２の画像信号１１５、１２３とを用いてそれぞれ第１の参照画像を作成する。
【００３０】
図２にＮＲ処理部１０５の詳細な内容を示す。
方向判別処理部２００は、第１の画像信号１０７と第２の画像信号１０８を用いて方向判別を行い、方向判別結果２０１を方向性フィルタ処理部２０２に出力する。方向性フィルタ処理部２０２は帯域画像信号１０４に対して、方向判別結果２０１が示すエッジの方向に基づきフィルタ係数、あるいは、フィルタ処理を決定してフィルタ処理を施す。そのフィルタ処理結果に対してコアリング処理部２０３は、微小信号をゼロにするようなコアリング処理を行い、ＮＲ処理結果１０６とする。ここで、コアリング処理とは、典型的には、入力信号の絶対値が閾値以下の場合にその信号を一律ゼロとし、閾値より大きい場合には絶対値を閾値だけ減じた信号とするような処理である。
なお、他の帯域のＮＲ処理部１１３やＮＲ処理部１２１は、ＮＲ処理部１０５と同様の処理を行うので説明を省略する。
【００３１】
次に、方向判別処理部２００の動作の詳細について、図３を参照して説明する。
ここでは、ある注目画素におけるエッジの方向を判別する際に、注目画素の周囲５×５の画素ブロックを用いる場合を例として説明する。なお、このブロックサイズは必要に応じて７×７等他のサイズにすることも可能である。
【００３２】
図３のＡ００〜Ａ４４は、第１の画像信号１０７における画素ブロックの画素を示し、中心画素Ａ２２が注目画素位置に相当する。同じくＢ００〜Ｂ４４は、第２の画像信号１０８における画素ブロックの画素を示し、中心画素Ｂ２２が注目画素位置に相当する。
本実施形態における方向判別処理においては、これら画素を組み合わせた参照画像の画素ブロックとして、中央の注目画素のみを第１の画像信号１０７の画素Ａ２２を用い、その他の画素は第２の画像信号１０８の画素を用いるものとする。
【００３３】
図４は上述のように組み合わせて生成した参照画像の画素ブロックから方向を判別する様子を示した図である。
本実施形態では判別するエッジの方向を図４のような４方向としている。方向数については必要に応じて８方向等に増やすことも可能である。方向判別においては、方向１から方向４までについて、どれが最もエッジに沿った方向であるかを決定するため、それぞれの方向について評価値を計算する。評価値としては様々な物が考えられるが、本実施形態においては、以下の評価値を使用する。
E1 = | A22−B23 | + | A22−B24 | + | A22−B21 | + | A22−B20 |
E2 = | A22−B13 | + | A22−B04 | + | A22−B31 | + | A22−B40 |
E3 = | A22−B12 | + | A22−B02 | + | A22−B32 | + | A22−B42 |
E4 = | A22−B11 | + | A22−B00 | + | A22−B33 | + | A22−B44 |
【００３４】
E1からE4はそれぞれ方向１から方向４に対応した評価値であり、評価する方向においてエッジが存在する場合はこの評価値が大きくなり、エッジが存在しない場合には小さくなる特徴を有する。そこで、E1からE4の中で最小値を検出し、それに対応する方向はエッジが存在しないと判断することで、その方向をエッジに沿った方向と判定する。
【００３５】
第１の画像信号１０７には高域成分が含まれているため、細かい構造のエッジが存在し、これを用いて方向判別をすることにより精度の高い方向判別が可能な反面、高域成分に含まれるノイズの影響を強く受けるという欠点がある。第２の画像信号１０８はノイズ除去済みの低域成分のみからなる画像であるから、細かい構造のエッジは存在しない反面、ノイズも少ないため安定した方向判別が可能となる。
本実施形態においては、中央の注目画素のみを第１の画像信号１０７の画素とすることで、細かい構造物の変化にも対応した方向判別を実現すると共に、その他の画素についてはノイズの少ない第２の画像信号１０８から得ることによって、ノイズに影響されない安定した方向判別を実現することが可能となる。
なお、本実施形態においては中央の１画素のみを第１の画像信号１０７の画素に置き換えたが、例えば、中央の３×３画素を置き換えの対象とすることも可能であり、このように置き換えの範囲を調整することで、精度の高い方向判別とノイズに強い安定した方向判別というトレードオフの関係を調整することが可能となる。
【００３６】
以上説明したように、本実施形態に係るノイズ除去装置によれば、第１の画像信号１０７と第２の画像信号１０８とを用いて、ノイズ除去の対象となる帯域画像信号のエッジ成分の方向を判別することで、第１の画像信号１０７と第２の画像信号１０８とのトレードオフの関係を調整することができる。これにより、入力画像の細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現できる。
また、第１の画像信号１０７の画素と第２の画像信号１０８の画素とを部分的に置き換えるという容易な処理により第１の参照画像を作成するので、少ない演算量や回路規模でのノイズ除去が可能となる。さらに、第１の画像信号１０７および第２の画像信号１０８として、多重解像度変換において既に生成されている画像を用いるので、第１の参照画像を更に容易に生成することができる。
また、第２の画像信号１０８は、ノイズ除去済みの低域成分のみからなる画像信号であるから、より安定した方向判別が可能となる。
【００３７】
なお、本実施形態において、第１の画像信号１０７は、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数からなる画像として説明しているが、この信号に対して何らかのフィルタ処理を加えて加工されていてもよい。
また、第２の画像信号１０８は、ノイズ除去処理が行われ、かつ、ノイズ除去の対象となる帯域画像信号の周波数帯域よりも低域側の周波数からなる画像として説明しているが、ノイズ除去がなされる前の信号とすることも可能である。例えば、上述した第２の画像信号１０８に代えて、図１の拡大処理手段１０２の出力等を採用することとしてもよい。さらに、第２の画像信号１０８は、ノイズ除去の対象となる帯域画像信号と必ずしも隣接する必要はない。例えば、上述した第２の画像信号１０８に代えて、拡大処理手段１１９からの出力画像１２３を適当な画像サイズに拡大した上で採用することとしてもよい。
【００３８】
〔第２の実施形態〕
次に、本発明の第２の実施形態について、図５を用いて説明する。
本実施形態に係るノイズ除去装置並びにプログラムおよび方法が第１の実施形態と異なる点は、第１の画像信号と第２の画像信号を所定の比率により重み付き平均化処理をして第１の参照画像を生成する点である。以下、本実施形態に係るノイズ除去装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００３９】
第２の実施形態においては、第１の実施形態における方向判別処理部２００の動作を変更する。この点につき、図５を参照しながら説明する。
第１の実施形態においては、第１の画像信号１０７の画素ブロックと第２の画像信号１０８の画素ブロックにおいて、どちらかの画素を選択して方向判別に使用する画素ブロックを構成することにより、精度の高い方向判別とノイズに強い安定した方向判別を両立する上でのトレードオフの関係を調整していた。一方、第２の実施形態においては、これら画素から新たな画素値を計算して、方向判別に使用する参照画像の画素ブロックを構成する。
【００４０】
図５におけるＣ００からＣ４４は、方向判別に使用する参照画像の画素であり、これらは第１の画像信号１０７の画素値と第２の画像信号１０８の画素値との重みづけ平均値として、以下の（１）式により算出する。
Cij = wij * Aij + (1−wij) * Bij（i,j = 0, … ,4）・・・（１）
ここでwijは重みであり、１に近づけば第１の画像信号１０７が優先されることにより、精度の高い方向判別が優先され、０に近づけば第２の画像信号１０８が優先されることにより、ノイズに強い安定した方向判別が優先されることとなる。この重みwijは、画素ブロックの位置によっても異なる値とすることができる。例えば、これにより中心部に近い部分はwijを１に近い値として、周辺部に行くに従って０に近い値とすることにより、第１の実施形態のような構成に近づけることも可能となる。
【００４１】
本実施形態においては、第１の画像信号１０７と第２の画像信号１０８から新たな画素ブロックを計算する必要があるため、演算量、あるいは、回路規模が増えるという問題も生ずる。しかし、重みwijを中心部に近い部分のみで値を持ち、周辺部ではゼロと設定することにより、実質的な演算量の増大は抑えることができる。また、方向判別の方向数が多い場合等を想定すると、評価値の計算に多くの演算量が必要とされるため、第１の画像信号１０７からなる画素ブロックと第２の画像信号１０８からなる画素ブロックのそれぞれについて方向判別を行う場合に比べて、演算量や回路規模の増大は少ないと考えられる。
【００４２】
以上のように、本実施形態に係るノイズ除去装置によれば、第１の画像信号１０７と第２の画像信号１０８の重み付き平均化処理をすることで、トレ−ドオフの関係にある第１の画像信号１０７と第２の画像信号１０８の特性の調整を、より細かく制御することが可能となる。また、第１の画像信号１０７および第２の画像信号１０８として、多重解像度変換において既に生成されている画像を用いることによって、より容易に第１の参照画像を生成することができる。さらに、第１の画像信号１０７と第２の画像信号１０８の重み付けを変更することによって、入力画像に応じたノイズ除去をより細かく行うことが可能となる。
【００４３】
〔第３の実施形態〕
次に、本発明の第３の実施形態について、図６を用いて説明する。
本実施形態に係るノイズ除去装置並びにプログラムおよび方法が前述の各実施形態と異なる点は、エッジ成分の方向判別する際に使用する画像信号である。以下、本実施形態のノイズ除去装置について、前述の各実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４４】
図６は、本実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
第１の実施形態においては、ＮＲ処理部が方向判別のために使用する画像は、高域成分を含む第１の画像信号１０７と、低域成分からなる画像である第２の画像信号１０８であった。一方、第３の実施形態においては、これを帯域画像信号１０４と、低域成分からなる第２の画像信号１０８とする。以下、このように構成する趣旨について説明する。
【００４５】
第１の実施形態において、第１の画像信号１０７から、フィルタ処理・縮小処理部１０１、拡大処理部１０２を経て減算器１０３で減算して得られた帯域成分が帯域画像信号１０４なのであるから、低域画像に対して帯域画像信号１０４を加算すれば、第１の画像信号１０７が得られることとなる。ここでいう低域画像とは、次段以降のＮＲ処理部によりノイズ除去処理が行われた低域画像である第２の画像信号１０８とは、厳密には異なるものであるが、概ね近似できると考えられる。したがって、第２の画像信号１０８と帯域画像信号１０４を適宜加算することにより、高域成分を含んだ画像が生成できることとなり、これを用いて方向判別を行えば、細かい構造に沿った方向判別も可能となる。そして、ＮＲ処理部３００に入力する画像信号として第１の画像信号１０７が不要となるから、この分画像を保持するために必要とされるメモリ量を削減できるという利点がある。
【００４６】
図７にＮＲ処理部３００の詳細な内容を示す。第１の実施形態と異なり、方向判別処理部４００は帯域画像信号１０４と低域成分からなる第２の画像信号１０８を用いて方向判別を行う。この動作の詳細について図８を参照しながら説明する。
図８中のＤ００からＤ４４は、帯域画像信号１０４の各値であり、中心値Ｄ２２が注目画素位置に相当する。同じくＢ００〜Ｂ４４は、第２の画像信号１０８における画素ブロックの画素を示し、中心画素Ｂ２２が注目画素位置に相当する。本実施形態における方向判別処理においては、これらを組み合わせた画素ブロックとして、中央の注目画素のみを帯域画像信号１０４と第２の画像信号１０８を加算した画素値であるＥ２２とし、その他の画素は第２の画像信号１０８の画素を用いるものとする。
【００４７】
前述の通り、Ｅ２２には高域成分が含まれることとなるため、中央の注目画素のみをこれと置き換えることにより、細かい構造の変化にも対応した方向判別を実現すると共に、その他の画素についてはノイズの少ない第２の画像信号１０８から得ることによって、ノイズに影響されない安定した方向判別を実現することが可能となる。
本実施形態においては中央の１画素のみを置き換えたが、例えば、中央の３×３画素について加算演算をした上で置き換えの対象とすることも可能であり、このように置き換えの範囲を調整することで、精度の高い方向判別とノイズに強い安定した方向判別を両立する上でのトレードオフの関係を調整することが可能となる。
【００４８】
以上のように、本実施形態に係るノイズ除去装置によれば、ノイズ除去の対象となる帯域画像信号１０４と第２の画像信号１０８とを用いてノイズ除去処理を行うので、第１の実施形態のように第１の画像信号１０７を保持する必要がなくなる。これにより、画像保持のために必要とされるメモリ量を削減できる。
【００４９】
〔第４の実施形態〕
次に、本発明の第４の実施形態について、図９を用いて説明する。
本実施形態に係るノイズ除去装置並びにプログラムおよび方法が第３の実施形態と異なる点は、ノイズ除去の対象となる帯域画像信号に所定の比率を乗じて得られる画像と前記第２の画像信号とを加算して得られる画像を用いて第２の参照画像を生成する点である。以下、本実施形態のノイズ除去装置について、第３の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５０】
本実施形態においては、第３の実施形態における方向判別処理部４００の動作を変更する。この点につき、図９を参照しながら説明する。
本実施形態においては、ノイズ除去の対象となる帯域画像信号１０４と第２の画像信号１０８の重み付き加算をして方向判別に使用する画素ブロックを構成する。図９におけるＦ００からＦ４４は、方向判別に使用する画素であり、これらは帯域画像信号１０４に所定のゲインを乗じた信号と、第２の画像信号１０８の画素値の和として、以下の（２）式により算出する。
Fij = Bij + wij * Dij（i,j = 0, … ,4）・・・（２）
ここでwijは重みであり、wijが１の場合には第３の実施形態と同様に単純な加算となり、方向判別に高域成分を含む画像を使用することとなる。０の場合には、高域成分は含まれないこととなり、低域成分のみから方向判別がなされる。１より大きくした場合には、高域成分を強調した画像により方向判別をすることとなり、より細かい構造を考慮した方向判別が行われる反面、ノイズに対して安定性が低下することとなる。この重みwijは、画素ブロック内の位置によっても異なる値とすることができる。例えば、これにより中心部に近い部分は１に近い値をとり、周辺部に行くに従って０に近い値とすることにより、第３の実施形態のような構成に近づけることも可能となる。
【００５１】
以上のように、本実施形態に係るノイズ除去装置によれば、第３の実施形態と同様に第１の画像信号１０７を保持する必要がない他、トレードオフの関係にある帯域画像信号１０４と第２の画像信号１０８の特性の調整を、より細かく制御することが可能となる。また、帯域画像信号１０４および第２の画像信号１０８として、多重解像度変換において既に生成されている画像を用いることによって、より簡易に第２の参照画像を生成することができる。さらに、重み付けを変更することによって、入力画像に応じたノイズ除去をより細かく行うことが可能となる。
【００５２】
〔第５の実施形態〕
次に、本発明の第５の実施形態について、図１０を用いて説明する。
本実施形態は、前述の各実施形態において説明したノイズ除去装置をデジタルカメラ等の撮像システムに組み込んだ形態である。以下に、本実施形態に係る撮像システムついて主に図１０を参照して説明する。なお、前述の各実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５３】
本実施形態に係る撮像システムは、レンズ系５００と、ＣＣＤ５０１と、画像処理部５０２と、ノイズ除去部５０３と、画像圧縮部５０４と、記録メディア５０５と、ノイズ除去条件設定部５０６と、ノイズ除去パラメータ設定部５０７とを主な構成要素として備えている。
【００５４】
レンズ系５００を通してＣＣＤ５０１で撮像された画像信号は、画像処理部５０２においてホワイトバランス処理やエッジ強調処理、色信号処理等が施された後、ノイズ除去部５０３においてノイズ除去がなされる。ノイズが除去された画像信号は、画像圧縮部５０４でＪＰＥＧ形式等に圧縮された後、メモリーカード等の記録メディア５０５に保存される。ノイズ除去部５０３は、前述の各実施形態において説明したノイズ除去装置を適用したものである。
【００５５】
ノイズの除去にあたっては、画像処理部５０２が出力する画像信号をＲＧＢ信号からなる画像とし、ノイズ除去部５０３において３面からなるＲＧＢ画像に対して個別にノイズ除去処理をしてもよいし、画像処理部５０２が出力する信号をＹＣbＣrとして、ノイズ除去部５０３において３面からなるＹＣbＣr画像に対して個別にノイズ除去処理をしてもよい。さらには、画像処理部５０２はＲＧＢ信号を出力し、ノイズ除去部５０３内でＲＧＢ信号をＹＣbＣr信号等に変換した後に、３面からなるＹＣbＣr画像に対して個別にノイズ除去処理をしてもよい。また、ノイズ除去部５０３と画像処理部５０２は本実施形態のように分離する必要はなく、例えば、画像処理部５０２のエッジ強調処理とノイズ除去部５０３の処理順序を入れ替えることも可能である。また、ノイズ除去部５０３は、上述したいずれかの実施形態に係るノイズ除去装置が備える機能を有している。
【００５６】
ノイズ除去部５０３の動作は、ノイズ除去パラメータ設定部５０７により制御される。ノイズ除去パラメータ設定部５０７には、ノイズ除去パラメータとして、必要とされるノイズ除去の強度に応じた複数のパラメータ候補が工場出荷時に記憶されている。ノイズ除去パラメータ設定部５０７は、ユーザのノイズ除去強度に関する設定値や、ノイズ除去条件設定部５０６からのＩＳＯ感度情報等に基づいてノイズ除去の強度を決定し、当該複数のパラメータ候補から適当なパラメータを選択してノイズ除去部５０３のノイズ除去動作を制御する。
【００５７】
このノイズ除去に関するパラメータの中には、本発明に関する構成の選択等も含まれることとしてもよい。例えば、第１の実施形態に対応するノイズ除去方法をノイズ除去部５０３に適用した場合、以下のようなパラメータを候補として、ノイズ除去パラメータ設定部５０７に記憶させてもよい。
第１の実施形態においては方向判別に使用する参照画像を、高周波成分を含む第１の画像信号１０７と低周波成分からなる第２の画像信号１０８の組み合わせにより生成していた。この組み合わせに関する選択として、注目画素位置のみ第１の画像信号１０７の画素とするのか、注目画素の周辺３×３画素とするのか、あるいは全てを第１の画像信号１０７、あるいは、第２の画像信号１０８とするのかというような選択がありうる。この選択により、細かい構造の変化にも対応した方向判別と、ノイズに影響されない安定した方向判別のバランスが決定される。したがって、図１１に示すように、パラメータ候補として上述のような参照画像の生成方法を複数設定しておき、予め設定された条件に基づいて第１の参照画像を生成してもよい。ノイズ除去パラメータ設定部５０７は、適当な構成をユーザ設定やＩＳＯ感度情報等から選択し、ノイズ除去部５０３を制御する。
【００５８】
なお、多重解像度の各帯域における設定は同一である必要はなく、高域における設定と低域における設定が異なっていても良い。例えば、各帯域画像信号について図１１に示す条件を予め設定しておき、該条件に基づいて第１の参照画像を生成しても良い。
また、ノイズのレベルによって多重解像度変換の縮小回数を予め設定しておき、入力画像信号のノイズの大きさに応じて多重解像度変換の縮小回数を決定してもよい。
さらに、ノイズ除去部５０３は、前述の各実施形態のどれか一つを選択するのではなく、パラメータによりいずれの実施形態に係るノイズ除去方法を選択することとしてもよい。例えば、撮像条件（ＩＳＯ感度等）に応じて、多重解像度変換における解像度変換の回数を変化させる。
【００５９】
以上のように、少なくともいずれかの実施形態に係るノイズ除去方法を採用して、撮像システムを構成することにより、入力画像の細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現することができる。また、この構成をユーザ設定やＩＳＯ感度情報等により適宜変更することにより、撮像される画像のノイズレベルやユーザの好みに適した画像を得ることが可能な撮像システムとすることが可能となる。
【００６０】
なお、上述した各実施形態では、ノイズ除去装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、ノイズ除去装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述のノイズ除去装置と同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。
【００６１】
上記のソフトウェアによる具体的な処理について、図１２に示すフローチャートに基づいて以下に説明する。
まず、入力画像信号は、多重解像度変換が行われることにより順次縮小され、複数の縮小画像が生成される（Ｓ１）。
次に、各縮小画像は、縮小前の画像サイズに拡大され（Ｓ２）、縮小前のそれぞれの画像との減算が行われることにより、ノイズ除去の対象となる帯域画像信号がそれぞれ作成される（Ｓ３）。
次に、作成された各帯域画像信号に対してノイズ除去処理が施される（Ｓ４）。
そして、ノイズ除去がされた後の各帯域画像信号は再合成され、再合成された画像信号は出力画像信号として出力される（Ｓ５）。
【００６２】
次にノイズ除去処理（Ｓ４）の詳細について主に図１３を参照して説明する。ここでは、一例として、上述の処理において作成された複数の帯域画像信号のうち、図１に示される帯域画像信号１０４のノイズ除去処理について説明する。
まず、ノイズ除去処理では方向判別処理により、エッジの方向が特定される（Ｓ１１）。この処理では、第１の画像信号１０７と第２の画像信号１０８とを用いて第１の参照画像を作成し、この第１の参照画像に基づいてノイズ除去の対象となる帯域画像信号１０４の方向判別処理が行われる。
次に、方向判別処理の結果が示すエッジの方向に基づきフィルタ係数等が決定され、ノイズ除去の対象となる帯域画像信号１０４に対してフィルタ処理が施される（Ｓ１２）。
次に、フィルタ処理が施された帯域画像信号に対して、微小信号をゼロにするようなコアリング処理が行われ、ノイズ除去がされた帯域画像信号１０６として出力される（Ｓ１３）。
【００６３】
なお、上記の例において、多重解像度変換の一段目の処理において作成される帯域画像信号１０４について説明したが、多重解像度変換の二段目以降の処理において作成される各帯域画像信号においても同様の処理が行われる。
さらに、上記において、第１の実施形態に対応するノイズ除去方法について説明したが、他の実施形態についても同様に、ソフトウェアにて処理することが可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明の第１の実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
【図２】図１に示すノイズ除去装置のＮＲ処理部の機能ブロック図である。
【図３】図２に示す方向判別処理部の動作を説明する図である。
【図４】図２に示す方向判別処理部の動作を説明する図である。
【図５】本発明の第２の実施形態に係る方向判別処理部の動作を説明する図である。
【図６】本発明の第３の実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
【図７】図６に示すノイズ除去装置のＮＲ処理部の機能ブロック図である。
【図８】図７に示す方向判別処理部の動作を説明する図である。
【図９】本発明の第４の実施形態に係る方向判別処理部の動作を説明する図である。
【図１０】本発明の第５の実施形態に係る撮像システムの概略構成図である。
【図１１】第１の参照画像の生成方法の条件を示す条件設定表である。
【図１２】本発明に係るノイズ除去方法のフローチャートである。
【図１３】図１２におけるノイズ除去処理のフローチャートである。
【図１４】従来のノイズ除去装置を示す機能ブロック図である。
【符号の説明】
【００６５】
１００ 入力画像
１０１，１１０，１１８ フィルタ処理・縮小処理部
１０４ 帯域画像信号
１０５，１１３，１２１，３００，３０１，３０２ ＮＲ処理部
１０７，１１４，１２２ 第１の画像信号
１０８，１１５，１２３ 第２の画像信号
２００，４００ 方向判別処理部
２０２ 方向性フィルタ処理部
【技術分野】
【０００１】
本発明は画像処理に関し、特に画像のノイズを除去するノイズ除去装置並びにプログラムおよび方法に関するものである。
【背景技術】
【０００２】
画像信号に含まれるノイズ信号を除去するノイズ除去装置においては、ローパスフィルタによる平滑化処理が広く行われている。しかし、ローパスフィルタによる平滑化処理によりノイズを低減させようとすると、画像信号に含まれるエッジ成分にも平滑化がかかるため、画像の鮮鋭度が低下してしまうという問題がある。
【０００３】
この問題に対処する方法として、特許文献１では画像に含まれるエッジ成分の方向を検出し、当該方向に沿った平滑化処理を適用することで、画像の鮮鋭度を低下させることなくノイズを低減する方式が示されている。また、特許文献２においては、エッジ成分の方向を検出する際に参照する画像を、原画像ではなく、原画像に対してローパスフィルタ処理を施した画像とすることで、方向判別結果を安定させる方式が示されている。
【０００４】
また、多重解像度変換を用いたノイズ除去方法が非特許文献１にて開示されている。これは、画像信号をフィルタバンクやラプラシアンピラミッドの手法を用いて複数の周波数帯域の信号に分割し、それぞれの帯域の信号に対して何らかのノイズ除去処理を施した後、これらを再合成するものであり、分割した帯域それぞれに適した強度のノイズ除去処理を行えるという利点を有する。
【０００５】
図１４にラプラシアンピラミッドによる多重解像度変換と、それを用いたノイズ除去の一例を示す。図１４において、入力画像１００は、フィルタ処理・縮小処理部１０１にてローパスフィルタ処理後に縮小される。この処理により、画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、次段のフィルタ処理・縮小処理部１１０に供給され、順次さらに縮小されていく。縮小された画像は、拡大処理部１０２にて元の画像サイズに拡大された後、減算器１０３にて差分信号が作成される。
【０００６】
この差分信号は、フィルタ処理・縮小処理部１０１で用いられたローパスフィルタ特性により遮断された高域成分に相当する。この高域成分を多く含む差分信号に対して、ＮＲ処理部５００にてノイズ除去処理を施す。次段の処理でも同様に、フィルタ処理・縮小処理部１１０、拡大処理部１１１、減算器１１２により、次段に相当する帯域の信号が生成され、これに対してＮＲ処理部５０１でノイズ除去処理を適用する。このようにして順次の帯域分割された信号に対してノイズ除去処理が適用されることとなる。
【０００７】
最も低周波の帯域におけるＮＲ処理部５０２の出力は、低域側の信号と加算器１２４で加算され、拡大処理部１２５によって拡大された後、高域側の処理に送られる。このようにして順次低域側から信号が再合成されていき、最終的に最高域の信号が加算器１０９により加算されて、出力画像５０３となる。
【０００８】
特許文献３においては、図１４におけるＮＲ処理部５００、５０１、５０２を、特許文献１に類似の方向性を有するフィルタ処理を用いた構成にする方式が示されている。また、方向判別に用いる画像については、特許文献２に示されるようなローパスフィルタ処理を施した画像とするために、多重解像度変換における低域側の画像を用いて方向判別をする方式、あるいは、低域側の画像を用いて方向判別した結果と、注目帯域を含む画像を用いて方向判別した結果を組み合わせる方式が示されている。
【特許文献１】特開昭５５−１３３１７９号公報
【特許文献２】特開平８−２０２８７０号公報
【特許文献３】特開２００１−５７６７７号公報
【非特許文献１】Surendra Ranganath, “Image Filtering Using Multiresolution Representations”, IEEE Trans. On Pattern Anal. MachineIntell. , Vol. PAMI-13 No.5, May, 1991
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところが、多重解像度変換と方向性を有するフィルタ処理を組み合わせたノイズ除去装置においては、方向判別に使用する画像を低域側の画像とすると、低域側の画像の解像度が低すぎるために、細かい構造に対応した方向判別結果を得ることができず、ノイズ除去の結果として細かい構造をつぶしてしまうという問題がある。他方、方向判別に使用する画像を、注目帯域を含む画像とすると、ノイズ除去前の画像であることから方向判別結果がノイズの影響を強く受け、所望のノイズ除去結果を得ることができないという問題がある。
【００１０】
特許文献２においては、方向判別に使用する参照画像を、原画像に対してローパスフィルタを適用したものとしており、このローパスフィルタの強度を調整することで、上記トレードオフの関係にある問題に対処することが可能である。しかし、多重解像度変換においては、各帯域の画像が既に生成されており、演算規模削減の観点からこれら画像を利用することが望ましく、別途所望の特性によるローパスフィルタ処理をすることは望ましくない。
【００１１】
特許文献３においては、低域側の画像を用いた方向判別結果と、注目帯域を含む画像を用いた方向判別結果を組み合わせることで、上記トレードオフの関係にある問題に対処する方式が開示されているが、方向判別処理を２回計算する必要があり、これも演算規模削減の観点から望ましいとはいえない。
【００１２】
本発明は、上記問題に鑑みてなされたもので、多重解像度変換と方向性を有するフィルタ処理を組み合わせたノイズ除去装置において、細かい構造に対応した方向判別とノイズの影響を受けない方向判別を両立するとともに、演算規模の縮小を図ることができるノイズ除去装置並びにプログラムおよび方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明に係るノイズ除去装置は、入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、各帯域画像信号に対してそれぞれノイズ除去処理を施すノイズ除去装置であって、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別する方向判別手段と、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去手段と、を備えたことを特徴とする。
【００１４】
ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数を含む第１の画像信号には、高域成分が含まれているため、細かい構造のエッジが存在し、これを用いて方向判別をすることにより精度の高い方向判別が可能な反面、高域成分に含まれるノイズの影響を強く受けるという欠点がある。他方、ノイズ除去の対象となる帯域画像信号の周波数帯域よりも低域側の周波数を含む第２の画像信号は、細かい構造のエッジは存在しない反面、ノイズも少ないため安定した方向判別が可能となる。
したがって、本発明のノイズ除去装置によれば、第１の画像信号と第２の画像信号とを用いて、ノイズ除去の対象となる帯域画像信号のエッジ成分の方向を判別することで、細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現することができる。
【００１５】
本発明に係るノイズ除去装置は、入入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、各帯域画像信号に対してそれぞれノイズ除去処理を施すノイズ除去装置であって、ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別する方向判別手段と、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去手段と、を備えたことを特徴とする。
【００１６】
ノイズ除去の対象となる帯域画像信号には、高域成分が含まれているため、細かい構造のエッジが存在し、これを用いて方向判別をすることにより精度の高い方向判別が可能な反面、高域成分に含まれるノイズの影響を強く受けるという欠点がある。他方、ノイズ除去の対象となる帯域画像信号の周波数帯域よりも低域側の周波数を含む第２の画像信号は、細かい構造のエッジは存在しない反面、ノイズも少ないため安定した方向判別が可能となる。
したがって、本発明のノイズ除去装置によれば、ノイズ除去の対象となる帯域画像信号と第２の画像信号とを用いて、ノイズ除去の対象となる帯域画像信号のエッジ成分の方向を判別することで、細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現することができる。
また、ノイズ除去の対象となる帯域画像信号と第２の画像信号とを用いて第１の画像信号を生成するので、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数を含む第１の画像信号を保持する必要がなくなる。これにより、画像保持のために必要とされるメモリ量を削減できる。
【００１７】
本発明に係るノイズ除去プログラムは、入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の処理と、各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の処理とをコンピュータに実行させるノイズ除去プログラムであって、前記第２の処理は、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズの除去を行うことを特徴とする。
【００１８】
本発明に係るノイズ除去プログラムは、入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の処理と、各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の処理とをコンピュータに実行させるノイズ除去プログラムであって、前記第２の処理は、ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズの除去を行うことを特徴とする。
【００１９】
本発明に係る撮像システムは、上記のノイズ除去装置を備えることを特徴とする。
【００２０】
本発明の撮像システムによれば、撮像される画像のノイズレベルやユーザの好みに適した画像を得ることが可能となる。
【００２１】
本発明に係るノイズ除去方法は、入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の工程と、各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の工程とを有し、前記第２の工程は、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去することを特徴とする。
【００２２】
本発明に係るノイズ除去方法は、入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の工程と、各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の工程とを有し、前記第２の工程は、ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去することを特徴とする。
【発明の効果】
【００２３】
本発明によれば、細かい構造に対応した方向判別とノイズの影響を受けない方向判別を両立するとともに、演算規模の縮小を図ることが可能となる。
【発明を実施するための最良の形態】
【００２４】
［第１の実施形態］
以下に、本発明の第１の実施形態に係るノイズ除去装置並びにプログラムおよび方法について、図面を参照して説明する。
図１は本実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
本実施形態に係るノイズ除去装置は、ラプラシアンピラミッドにより多重解像度変換を施す多重解像度変換部と、各帯域の信号に対してノイズ除去をするＮＲ処理部１０５，１１３，１２１とを備えている。
【００２５】
上記多重解像度変換部は、複数段のフィルタ処理・縮小処理部１０１，１１０，１１８と、各フィルタ処理・縮小処理部１０１，１１０，１１８に対応して設けられる拡大処理部１０２，１１１，１１９と、ノイズ除去後の画像を用いて信号を再合成する合成部とを備えている。
このような構成において、入力画像１００は、フィルタ処理・縮小処理部１０１にてローパスフィルタ処理後に縮小される。この処理により、画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、次段のフィルタ処理・縮小処理部１１０に供給され、順次さらに縮小されていく。縮小された画像は、ＮＲ処理部１０５に与えられ、ＮＲ処理部１０５によってノイズ除去処理が施される。本実施形態では、ノイズ除去部としてＮＲ処理を施すＮＲ処理部１０５を一例に挙げて説明するが、この例に限定されない。
【００２６】
フィルタ処理・縮小処理部１０１にて縮小された画像は、拡大処理部１０２にて元の画像サイズに拡大された後、減算器１０３へ出力される。減算器１０３では、入力画像１００と拡大処理部１０２から与えられた画像との減算を行うことによって帯域画像信号１０４が作成される。この帯域画像信号１０４は、フィルタ処理・縮小処理部１０１で用いられたローパスフィルタ特性により遮断された高域部分の信号に相当する。
【００２７】
この高域成分を多く含む帯域画像信号１０４に対して、ＮＲ処理部１０５にてノイズ除去処理を施す。次段の処理でも同様に、フィルタ処理・縮小処理部１１０、拡大処理部１１１、減算器１１２により、次段に相当する帯域画像信号が生成され、これに対してＮＲ処理部１１３でノイズ除去処理を適用する。このようにして順次の帯域分割された信号に対してノイズ除去処理が適用されることとなる。
【００２８】
ＮＲ処理部１２１の出力は、合成部の加算器１２４によって低域側の信号に加算され、合成部の拡大処理部１２５によって拡大された後、高域側の処理に送られる。このようにして順次低域側から信号が再合成されていき、最終的に最高域の信号が加算器１０９により加算されて、出力画像１２６となる。
【００２９】
次にＮＲ処理部１０５の詳細について説明する。
ＮＲ処理部１０５においては、帯域画像信号１０４を入力とし、ＮＲ処理結果１０６を出力とする。ここで、ＮＲ処理は、方向性を有するフィルタ処理に基づいて行われることを前提とし、その方向の判別のために、第１の画像信号１０７と第２の画像信号１０８とを用いて第１の参照画像を作成する。第１の画像信号１０７は、その周波数成分として帯域画像信号１０４を含み、かつ、それよりも低域側の信号も含む。第２の画像信号１０８は、ノイズ除去処理後の低域側の信号である。他の帯域のＮＲ処理部であるＮＲ処理部１１３、１２１においても同様に、第１の画像信号１１４、１２２と第２の画像信号１１５、１２３とを用いてそれぞれ第１の参照画像を作成する。
【００３０】
図２にＮＲ処理部１０５の詳細な内容を示す。
方向判別処理部２００は、第１の画像信号１０７と第２の画像信号１０８を用いて方向判別を行い、方向判別結果２０１を方向性フィルタ処理部２０２に出力する。方向性フィルタ処理部２０２は帯域画像信号１０４に対して、方向判別結果２０１が示すエッジの方向に基づきフィルタ係数、あるいは、フィルタ処理を決定してフィルタ処理を施す。そのフィルタ処理結果に対してコアリング処理部２０３は、微小信号をゼロにするようなコアリング処理を行い、ＮＲ処理結果１０６とする。ここで、コアリング処理とは、典型的には、入力信号の絶対値が閾値以下の場合にその信号を一律ゼロとし、閾値より大きい場合には絶対値を閾値だけ減じた信号とするような処理である。
なお、他の帯域のＮＲ処理部１１３やＮＲ処理部１２１は、ＮＲ処理部１０５と同様の処理を行うので説明を省略する。
【００３１】
次に、方向判別処理部２００の動作の詳細について、図３を参照して説明する。
ここでは、ある注目画素におけるエッジの方向を判別する際に、注目画素の周囲５×５の画素ブロックを用いる場合を例として説明する。なお、このブロックサイズは必要に応じて７×７等他のサイズにすることも可能である。
【００３２】
図３のＡ００〜Ａ４４は、第１の画像信号１０７における画素ブロックの画素を示し、中心画素Ａ２２が注目画素位置に相当する。同じくＢ００〜Ｂ４４は、第２の画像信号１０８における画素ブロックの画素を示し、中心画素Ｂ２２が注目画素位置に相当する。
本実施形態における方向判別処理においては、これら画素を組み合わせた参照画像の画素ブロックとして、中央の注目画素のみを第１の画像信号１０７の画素Ａ２２を用い、その他の画素は第２の画像信号１０８の画素を用いるものとする。
【００３３】
図４は上述のように組み合わせて生成した参照画像の画素ブロックから方向を判別する様子を示した図である。
本実施形態では判別するエッジの方向を図４のような４方向としている。方向数については必要に応じて８方向等に増やすことも可能である。方向判別においては、方向１から方向４までについて、どれが最もエッジに沿った方向であるかを決定するため、それぞれの方向について評価値を計算する。評価値としては様々な物が考えられるが、本実施形態においては、以下の評価値を使用する。
E1 = | A22−B23 | + | A22−B24 | + | A22−B21 | + | A22−B20 |
E2 = | A22−B13 | + | A22−B04 | + | A22−B31 | + | A22−B40 |
E3 = | A22−B12 | + | A22−B02 | + | A22−B32 | + | A22−B42 |
E4 = | A22−B11 | + | A22−B00 | + | A22−B33 | + | A22−B44 |
【００３４】
E1からE4はそれぞれ方向１から方向４に対応した評価値であり、評価する方向においてエッジが存在する場合はこの評価値が大きくなり、エッジが存在しない場合には小さくなる特徴を有する。そこで、E1からE4の中で最小値を検出し、それに対応する方向はエッジが存在しないと判断することで、その方向をエッジに沿った方向と判定する。
【００３５】
第１の画像信号１０７には高域成分が含まれているため、細かい構造のエッジが存在し、これを用いて方向判別をすることにより精度の高い方向判別が可能な反面、高域成分に含まれるノイズの影響を強く受けるという欠点がある。第２の画像信号１０８はノイズ除去済みの低域成分のみからなる画像であるから、細かい構造のエッジは存在しない反面、ノイズも少ないため安定した方向判別が可能となる。
本実施形態においては、中央の注目画素のみを第１の画像信号１０７の画素とすることで、細かい構造物の変化にも対応した方向判別を実現すると共に、その他の画素についてはノイズの少ない第２の画像信号１０８から得ることによって、ノイズに影響されない安定した方向判別を実現することが可能となる。
なお、本実施形態においては中央の１画素のみを第１の画像信号１０７の画素に置き換えたが、例えば、中央の３×３画素を置き換えの対象とすることも可能であり、このように置き換えの範囲を調整することで、精度の高い方向判別とノイズに強い安定した方向判別というトレードオフの関係を調整することが可能となる。
【００３６】
以上説明したように、本実施形態に係るノイズ除去装置によれば、第１の画像信号１０７と第２の画像信号１０８とを用いて、ノイズ除去の対象となる帯域画像信号のエッジ成分の方向を判別することで、第１の画像信号１０７と第２の画像信号１０８とのトレードオフの関係を調整することができる。これにより、入力画像の細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現できる。
また、第１の画像信号１０７の画素と第２の画像信号１０８の画素とを部分的に置き換えるという容易な処理により第１の参照画像を作成するので、少ない演算量や回路規模でのノイズ除去が可能となる。さらに、第１の画像信号１０７および第２の画像信号１０８として、多重解像度変換において既に生成されている画像を用いるので、第１の参照画像を更に容易に生成することができる。
また、第２の画像信号１０８は、ノイズ除去済みの低域成分のみからなる画像信号であるから、より安定した方向判別が可能となる。
【００３７】
なお、本実施形態において、第１の画像信号１０７は、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数からなる画像として説明しているが、この信号に対して何らかのフィルタ処理を加えて加工されていてもよい。
また、第２の画像信号１０８は、ノイズ除去処理が行われ、かつ、ノイズ除去の対象となる帯域画像信号の周波数帯域よりも低域側の周波数からなる画像として説明しているが、ノイズ除去がなされる前の信号とすることも可能である。例えば、上述した第２の画像信号１０８に代えて、図１の拡大処理手段１０２の出力等を採用することとしてもよい。さらに、第２の画像信号１０８は、ノイズ除去の対象となる帯域画像信号と必ずしも隣接する必要はない。例えば、上述した第２の画像信号１０８に代えて、拡大処理手段１１９からの出力画像１２３を適当な画像サイズに拡大した上で採用することとしてもよい。
【００３８】
〔第２の実施形態〕
次に、本発明の第２の実施形態について、図５を用いて説明する。
本実施形態に係るノイズ除去装置並びにプログラムおよび方法が第１の実施形態と異なる点は、第１の画像信号と第２の画像信号を所定の比率により重み付き平均化処理をして第１の参照画像を生成する点である。以下、本実施形態に係るノイズ除去装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００３９】
第２の実施形態においては、第１の実施形態における方向判別処理部２００の動作を変更する。この点につき、図５を参照しながら説明する。
第１の実施形態においては、第１の画像信号１０７の画素ブロックと第２の画像信号１０８の画素ブロックにおいて、どちらかの画素を選択して方向判別に使用する画素ブロックを構成することにより、精度の高い方向判別とノイズに強い安定した方向判別を両立する上でのトレードオフの関係を調整していた。一方、第２の実施形態においては、これら画素から新たな画素値を計算して、方向判別に使用する参照画像の画素ブロックを構成する。
【００４０】
図５におけるＣ００からＣ４４は、方向判別に使用する参照画像の画素であり、これらは第１の画像信号１０７の画素値と第２の画像信号１０８の画素値との重みづけ平均値として、以下の（１）式により算出する。
Cij = wij * Aij + (1−wij) * Bij（i,j = 0, … ,4）・・・（１）
ここでwijは重みであり、１に近づけば第１の画像信号１０７が優先されることにより、精度の高い方向判別が優先され、０に近づけば第２の画像信号１０８が優先されることにより、ノイズに強い安定した方向判別が優先されることとなる。この重みwijは、画素ブロックの位置によっても異なる値とすることができる。例えば、これにより中心部に近い部分はwijを１に近い値として、周辺部に行くに従って０に近い値とすることにより、第１の実施形態のような構成に近づけることも可能となる。
【００４１】
本実施形態においては、第１の画像信号１０７と第２の画像信号１０８から新たな画素ブロックを計算する必要があるため、演算量、あるいは、回路規模が増えるという問題も生ずる。しかし、重みwijを中心部に近い部分のみで値を持ち、周辺部ではゼロと設定することにより、実質的な演算量の増大は抑えることができる。また、方向判別の方向数が多い場合等を想定すると、評価値の計算に多くの演算量が必要とされるため、第１の画像信号１０７からなる画素ブロックと第２の画像信号１０８からなる画素ブロックのそれぞれについて方向判別を行う場合に比べて、演算量や回路規模の増大は少ないと考えられる。
【００４２】
以上のように、本実施形態に係るノイズ除去装置によれば、第１の画像信号１０７と第２の画像信号１０８の重み付き平均化処理をすることで、トレ−ドオフの関係にある第１の画像信号１０７と第２の画像信号１０８の特性の調整を、より細かく制御することが可能となる。また、第１の画像信号１０７および第２の画像信号１０８として、多重解像度変換において既に生成されている画像を用いることによって、より容易に第１の参照画像を生成することができる。さらに、第１の画像信号１０７と第２の画像信号１０８の重み付けを変更することによって、入力画像に応じたノイズ除去をより細かく行うことが可能となる。
【００４３】
〔第３の実施形態〕
次に、本発明の第３の実施形態について、図６を用いて説明する。
本実施形態に係るノイズ除去装置並びにプログラムおよび方法が前述の各実施形態と異なる点は、エッジ成分の方向判別する際に使用する画像信号である。以下、本実施形態のノイズ除去装置について、前述の各実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４４】
図６は、本実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
第１の実施形態においては、ＮＲ処理部が方向判別のために使用する画像は、高域成分を含む第１の画像信号１０７と、低域成分からなる画像である第２の画像信号１０８であった。一方、第３の実施形態においては、これを帯域画像信号１０４と、低域成分からなる第２の画像信号１０８とする。以下、このように構成する趣旨について説明する。
【００４５】
第１の実施形態において、第１の画像信号１０７から、フィルタ処理・縮小処理部１０１、拡大処理部１０２を経て減算器１０３で減算して得られた帯域成分が帯域画像信号１０４なのであるから、低域画像に対して帯域画像信号１０４を加算すれば、第１の画像信号１０７が得られることとなる。ここでいう低域画像とは、次段以降のＮＲ処理部によりノイズ除去処理が行われた低域画像である第２の画像信号１０８とは、厳密には異なるものであるが、概ね近似できると考えられる。したがって、第２の画像信号１０８と帯域画像信号１０４を適宜加算することにより、高域成分を含んだ画像が生成できることとなり、これを用いて方向判別を行えば、細かい構造に沿った方向判別も可能となる。そして、ＮＲ処理部３００に入力する画像信号として第１の画像信号１０７が不要となるから、この分画像を保持するために必要とされるメモリ量を削減できるという利点がある。
【００４６】
図７にＮＲ処理部３００の詳細な内容を示す。第１の実施形態と異なり、方向判別処理部４００は帯域画像信号１０４と低域成分からなる第２の画像信号１０８を用いて方向判別を行う。この動作の詳細について図８を参照しながら説明する。
図８中のＤ００からＤ４４は、帯域画像信号１０４の各値であり、中心値Ｄ２２が注目画素位置に相当する。同じくＢ００〜Ｂ４４は、第２の画像信号１０８における画素ブロックの画素を示し、中心画素Ｂ２２が注目画素位置に相当する。本実施形態における方向判別処理においては、これらを組み合わせた画素ブロックとして、中央の注目画素のみを帯域画像信号１０４と第２の画像信号１０８を加算した画素値であるＥ２２とし、その他の画素は第２の画像信号１０８の画素を用いるものとする。
【００４７】
前述の通り、Ｅ２２には高域成分が含まれることとなるため、中央の注目画素のみをこれと置き換えることにより、細かい構造の変化にも対応した方向判別を実現すると共に、その他の画素についてはノイズの少ない第２の画像信号１０８から得ることによって、ノイズに影響されない安定した方向判別を実現することが可能となる。
本実施形態においては中央の１画素のみを置き換えたが、例えば、中央の３×３画素について加算演算をした上で置き換えの対象とすることも可能であり、このように置き換えの範囲を調整することで、精度の高い方向判別とノイズに強い安定した方向判別を両立する上でのトレードオフの関係を調整することが可能となる。
【００４８】
以上のように、本実施形態に係るノイズ除去装置によれば、ノイズ除去の対象となる帯域画像信号１０４と第２の画像信号１０８とを用いてノイズ除去処理を行うので、第１の実施形態のように第１の画像信号１０７を保持する必要がなくなる。これにより、画像保持のために必要とされるメモリ量を削減できる。
【００４９】
〔第４の実施形態〕
次に、本発明の第４の実施形態について、図９を用いて説明する。
本実施形態に係るノイズ除去装置並びにプログラムおよび方法が第３の実施形態と異なる点は、ノイズ除去の対象となる帯域画像信号に所定の比率を乗じて得られる画像と前記第２の画像信号とを加算して得られる画像を用いて第２の参照画像を生成する点である。以下、本実施形態のノイズ除去装置について、第３の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５０】
本実施形態においては、第３の実施形態における方向判別処理部４００の動作を変更する。この点につき、図９を参照しながら説明する。
本実施形態においては、ノイズ除去の対象となる帯域画像信号１０４と第２の画像信号１０８の重み付き加算をして方向判別に使用する画素ブロックを構成する。図９におけるＦ００からＦ４４は、方向判別に使用する画素であり、これらは帯域画像信号１０４に所定のゲインを乗じた信号と、第２の画像信号１０８の画素値の和として、以下の（２）式により算出する。
Fij = Bij + wij * Dij（i,j = 0, … ,4）・・・（２）
ここでwijは重みであり、wijが１の場合には第３の実施形態と同様に単純な加算となり、方向判別に高域成分を含む画像を使用することとなる。０の場合には、高域成分は含まれないこととなり、低域成分のみから方向判別がなされる。１より大きくした場合には、高域成分を強調した画像により方向判別をすることとなり、より細かい構造を考慮した方向判別が行われる反面、ノイズに対して安定性が低下することとなる。この重みwijは、画素ブロック内の位置によっても異なる値とすることができる。例えば、これにより中心部に近い部分は１に近い値をとり、周辺部に行くに従って０に近い値とすることにより、第３の実施形態のような構成に近づけることも可能となる。
【００５１】
以上のように、本実施形態に係るノイズ除去装置によれば、第３の実施形態と同様に第１の画像信号１０７を保持する必要がない他、トレードオフの関係にある帯域画像信号１０４と第２の画像信号１０８の特性の調整を、より細かく制御することが可能となる。また、帯域画像信号１０４および第２の画像信号１０８として、多重解像度変換において既に生成されている画像を用いることによって、より簡易に第２の参照画像を生成することができる。さらに、重み付けを変更することによって、入力画像に応じたノイズ除去をより細かく行うことが可能となる。
【００５２】
〔第５の実施形態〕
次に、本発明の第５の実施形態について、図１０を用いて説明する。
本実施形態は、前述の各実施形態において説明したノイズ除去装置をデジタルカメラ等の撮像システムに組み込んだ形態である。以下に、本実施形態に係る撮像システムついて主に図１０を参照して説明する。なお、前述の各実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００５３】
本実施形態に係る撮像システムは、レンズ系５００と、ＣＣＤ５０１と、画像処理部５０２と、ノイズ除去部５０３と、画像圧縮部５０４と、記録メディア５０５と、ノイズ除去条件設定部５０６と、ノイズ除去パラメータ設定部５０７とを主な構成要素として備えている。
【００５４】
レンズ系５００を通してＣＣＤ５０１で撮像された画像信号は、画像処理部５０２においてホワイトバランス処理やエッジ強調処理、色信号処理等が施された後、ノイズ除去部５０３においてノイズ除去がなされる。ノイズが除去された画像信号は、画像圧縮部５０４でＪＰＥＧ形式等に圧縮された後、メモリーカード等の記録メディア５０５に保存される。ノイズ除去部５０３は、前述の各実施形態において説明したノイズ除去装置を適用したものである。
【００５５】
ノイズの除去にあたっては、画像処理部５０２が出力する画像信号をＲＧＢ信号からなる画像とし、ノイズ除去部５０３において３面からなるＲＧＢ画像に対して個別にノイズ除去処理をしてもよいし、画像処理部５０２が出力する信号をＹＣbＣrとして、ノイズ除去部５０３において３面からなるＹＣbＣr画像に対して個別にノイズ除去処理をしてもよい。さらには、画像処理部５０２はＲＧＢ信号を出力し、ノイズ除去部５０３内でＲＧＢ信号をＹＣbＣr信号等に変換した後に、３面からなるＹＣbＣr画像に対して個別にノイズ除去処理をしてもよい。また、ノイズ除去部５０３と画像処理部５０２は本実施形態のように分離する必要はなく、例えば、画像処理部５０２のエッジ強調処理とノイズ除去部５０３の処理順序を入れ替えることも可能である。また、ノイズ除去部５０３は、上述したいずれかの実施形態に係るノイズ除去装置が備える機能を有している。
【００５６】
ノイズ除去部５０３の動作は、ノイズ除去パラメータ設定部５０７により制御される。ノイズ除去パラメータ設定部５０７には、ノイズ除去パラメータとして、必要とされるノイズ除去の強度に応じた複数のパラメータ候補が工場出荷時に記憶されている。ノイズ除去パラメータ設定部５０７は、ユーザのノイズ除去強度に関する設定値や、ノイズ除去条件設定部５０６からのＩＳＯ感度情報等に基づいてノイズ除去の強度を決定し、当該複数のパラメータ候補から適当なパラメータを選択してノイズ除去部５０３のノイズ除去動作を制御する。
【００５７】
このノイズ除去に関するパラメータの中には、本発明に関する構成の選択等も含まれることとしてもよい。例えば、第１の実施形態に対応するノイズ除去方法をノイズ除去部５０３に適用した場合、以下のようなパラメータを候補として、ノイズ除去パラメータ設定部５０７に記憶させてもよい。
第１の実施形態においては方向判別に使用する参照画像を、高周波成分を含む第１の画像信号１０７と低周波成分からなる第２の画像信号１０８の組み合わせにより生成していた。この組み合わせに関する選択として、注目画素位置のみ第１の画像信号１０７の画素とするのか、注目画素の周辺３×３画素とするのか、あるいは全てを第１の画像信号１０７、あるいは、第２の画像信号１０８とするのかというような選択がありうる。この選択により、細かい構造の変化にも対応した方向判別と、ノイズに影響されない安定した方向判別のバランスが決定される。したがって、図１１に示すように、パラメータ候補として上述のような参照画像の生成方法を複数設定しておき、予め設定された条件に基づいて第１の参照画像を生成してもよい。ノイズ除去パラメータ設定部５０７は、適当な構成をユーザ設定やＩＳＯ感度情報等から選択し、ノイズ除去部５０３を制御する。
【００５８】
なお、多重解像度の各帯域における設定は同一である必要はなく、高域における設定と低域における設定が異なっていても良い。例えば、各帯域画像信号について図１１に示す条件を予め設定しておき、該条件に基づいて第１の参照画像を生成しても良い。
また、ノイズのレベルによって多重解像度変換の縮小回数を予め設定しておき、入力画像信号のノイズの大きさに応じて多重解像度変換の縮小回数を決定してもよい。
さらに、ノイズ除去部５０３は、前述の各実施形態のどれか一つを選択するのではなく、パラメータによりいずれの実施形態に係るノイズ除去方法を選択することとしてもよい。例えば、撮像条件（ＩＳＯ感度等）に応じて、多重解像度変換における解像度変換の回数を変化させる。
【００５９】
以上のように、少なくともいずれかの実施形態に係るノイズ除去方法を採用して、撮像システムを構成することにより、入力画像の細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現することができる。また、この構成をユーザ設定やＩＳＯ感度情報等により適宜変更することにより、撮像される画像のノイズレベルやユーザの好みに適した画像を得ることが可能な撮像システムとすることが可能となる。
【００６０】
なお、上述した各実施形態では、ノイズ除去装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、ノイズ除去装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述のノイズ除去装置と同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。
【００６１】
上記のソフトウェアによる具体的な処理について、図１２に示すフローチャートに基づいて以下に説明する。
まず、入力画像信号は、多重解像度変換が行われることにより順次縮小され、複数の縮小画像が生成される（Ｓ１）。
次に、各縮小画像は、縮小前の画像サイズに拡大され（Ｓ２）、縮小前のそれぞれの画像との減算が行われることにより、ノイズ除去の対象となる帯域画像信号がそれぞれ作成される（Ｓ３）。
次に、作成された各帯域画像信号に対してノイズ除去処理が施される（Ｓ４）。
そして、ノイズ除去がされた後の各帯域画像信号は再合成され、再合成された画像信号は出力画像信号として出力される（Ｓ５）。
【００６２】
次にノイズ除去処理（Ｓ４）の詳細について主に図１３を参照して説明する。ここでは、一例として、上述の処理において作成された複数の帯域画像信号のうち、図１に示される帯域画像信号１０４のノイズ除去処理について説明する。
まず、ノイズ除去処理では方向判別処理により、エッジの方向が特定される（Ｓ１１）。この処理では、第１の画像信号１０７と第２の画像信号１０８とを用いて第１の参照画像を作成し、この第１の参照画像に基づいてノイズ除去の対象となる帯域画像信号１０４の方向判別処理が行われる。
次に、方向判別処理の結果が示すエッジの方向に基づきフィルタ係数等が決定され、ノイズ除去の対象となる帯域画像信号１０４に対してフィルタ処理が施される（Ｓ１２）。
次に、フィルタ処理が施された帯域画像信号に対して、微小信号をゼロにするようなコアリング処理が行われ、ノイズ除去がされた帯域画像信号１０６として出力される（Ｓ１３）。
【００６３】
なお、上記の例において、多重解像度変換の一段目の処理において作成される帯域画像信号１０４について説明したが、多重解像度変換の二段目以降の処理において作成される各帯域画像信号においても同様の処理が行われる。
さらに、上記において、第１の実施形態に対応するノイズ除去方法について説明したが、他の実施形態についても同様に、ソフトウェアにて処理することが可能である。
【図面の簡単な説明】
【００６４】
【図１】本発明の第１の実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
【図２】図１に示すノイズ除去装置のＮＲ処理部の機能ブロック図である。
【図３】図２に示す方向判別処理部の動作を説明する図である。
【図４】図２に示す方向判別処理部の動作を説明する図である。
【図５】本発明の第２の実施形態に係る方向判別処理部の動作を説明する図である。
【図６】本発明の第３の実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
【図７】図６に示すノイズ除去装置のＮＲ処理部の機能ブロック図である。
【図８】図７に示す方向判別処理部の動作を説明する図である。
【図９】本発明の第４の実施形態に係る方向判別処理部の動作を説明する図である。
【図１０】本発明の第５の実施形態に係る撮像システムの概略構成図である。
【図１１】第１の参照画像の生成方法の条件を示す条件設定表である。
【図１２】本発明に係るノイズ除去方法のフローチャートである。
【図１３】図１２におけるノイズ除去処理のフローチャートである。
【図１４】従来のノイズ除去装置を示す機能ブロック図である。
【符号の説明】
【００６５】
１００ 入力画像
１０１，１１０，１１８ フィルタ処理・縮小処理部
１０４ 帯域画像信号
１０５，１１３，１２１，３００，３０１，３０２ ＮＲ処理部
１０７，１１４，１２２ 第１の画像信号
１０８，１１５，１２３ 第２の画像信号
２００，４００ 方向判別処理部
２０２ 方向性フィルタ処理部
【特許請求の範囲】
【請求項１】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、各帯域画像信号に対してそれぞれノイズ除去処理を施すノイズ除去装置であって、
ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別する方向判別手段と、
前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去手段と、
を備えたことを特徴とするノイズ除去装置。
【請求項２】
前記方向判別手段は、
前記第１の画像信号から取得する注目画素位置の画素値と、前記第２の画像信号から取得するそのほかの画素位置の画素値とを用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項１に記載のノイズ除去装置。
【請求項３】
前記方向判別手段は、
前記第１の画像信号から取得する注目画素位置およびその周辺の所定範囲の画素位置の画素値と、前記第２の画像信号から取得するそのほかの画素位置の画素値とを用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項１に記載のノイズ除去装置。
【請求項４】
前記方向判別手段は、
前記第１の画像信号と前記第２の画像信号との加重平均を行うことで算出した画像信号を用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項１に記載のノイズ除去装置。
【請求項５】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、各帯域画像信号に対してそれぞれノイズ除去処理を施すノイズ除去装置であって、
ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別する方向判別手段と、
前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去手段と、
を備えたことを特徴とするノイズ除去装置。
【請求項６】
前記方向判別手段は、
ノイズ除去の対象となる帯域画像信号から取得する注目画素位置の画素値と、前記第２の画像信号から取得するそのほかの画素位置の画素値とを用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項５に記載のノイズ除去装置。
【請求項７】
前記方向判別手段は、
ノイズ除去の対象となる帯域画像信号から取得する注目画素位置およびその周辺の所定範囲の画素位置の画素値と、前記第２の画像信号から取得するそのほかの画素位置の画素値とを用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項５に記載のノイズ除去装置。
【請求項８】
前記方向判別手段は、
ノイズ除去の対象となる帯域画像信号と前記第２の画像信号との加重平均を行うことで算出した画像信号を用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項５に記載のノイズ除去装置。
【請求項９】
前記加重平均の比率は変更可能とされている請求項４または８に記載のノイズ除去装置。
【請求項１０】
前記第２の画像信号は、ノイズ除去の対象となる帯域画像信号の周波数帯域よりも低域側の帯域の帯域画像信号に対してノイズ除去処理が行われた信号に基づいて生成された画像信号であることを特徴とする請求項１から９のいずれかに記載のノイズ除去装置。
【請求項１１】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の処理と、
各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の処理と
をコンピュータに実行させるノイズ除去プログラムであって、
前記第２の処理は、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズの除去を行うノイズ除去プログラム。
【請求項１２】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の処理と、
各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の処理と
をコンピュータに実行させるノイズ除去プログラムであって、
前記第２の処理は、ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズの除去を行うノイズ除去プログラム。
【請求項１３】
請求項１から１０のいずれかに記載のノイズ除去装置を備える撮像システム。
【請求項１４】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の工程と、
各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の工程と
を有し、
前記第２の工程は、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去方法。
【請求項１５】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の工程と、
各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の工程と
を有し、
前記第２の工程は、ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去方法。
【請求項１】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、各帯域画像信号に対してそれぞれノイズ除去処理を施すノイズ除去装置であって、
ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別する方向判別手段と、
前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去手段と、
を備えたことを特徴とするノイズ除去装置。
【請求項２】
前記方向判別手段は、
前記第１の画像信号から取得する注目画素位置の画素値と、前記第２の画像信号から取得するそのほかの画素位置の画素値とを用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項１に記載のノイズ除去装置。
【請求項３】
前記方向判別手段は、
前記第１の画像信号から取得する注目画素位置およびその周辺の所定範囲の画素位置の画素値と、前記第２の画像信号から取得するそのほかの画素位置の画素値とを用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項１に記載のノイズ除去装置。
【請求項４】
前記方向判別手段は、
前記第１の画像信号と前記第２の画像信号との加重平均を行うことで算出した画像信号を用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項１に記載のノイズ除去装置。
【請求項５】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、各帯域画像信号に対してそれぞれノイズ除去処理を施すノイズ除去装置であって、
ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別する方向判別手段と、
前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去手段と、
を備えたことを特徴とするノイズ除去装置。
【請求項６】
前記方向判別手段は、
ノイズ除去の対象となる帯域画像信号から取得する注目画素位置の画素値と、前記第２の画像信号から取得するそのほかの画素位置の画素値とを用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項５に記載のノイズ除去装置。
【請求項７】
前記方向判別手段は、
ノイズ除去の対象となる帯域画像信号から取得する注目画素位置およびその周辺の所定範囲の画素位置の画素値と、前記第２の画像信号から取得するそのほかの画素位置の画素値とを用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項５に記載のノイズ除去装置。
【請求項８】
前記方向判別手段は、
ノイズ除去の対象となる帯域画像信号と前記第２の画像信号との加重平均を行うことで算出した画像信号を用いて前記帯域画像信号のエッジ成分の方向を判別することを特徴とする請求項５に記載のノイズ除去装置。
【請求項９】
前記加重平均の比率は変更可能とされている請求項４または８に記載のノイズ除去装置。
【請求項１０】
前記第２の画像信号は、ノイズ除去の対象となる帯域画像信号の周波数帯域よりも低域側の帯域の帯域画像信号に対してノイズ除去処理が行われた信号に基づいて生成された画像信号であることを特徴とする請求項１から９のいずれかに記載のノイズ除去装置。
【請求項１１】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の処理と、
各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の処理と
をコンピュータに実行させるノイズ除去プログラムであって、
前記第２の処理は、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズの除去を行うノイズ除去プログラム。
【請求項１２】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の処理と、
各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の処理と
をコンピュータに実行させるノイズ除去プログラムであって、
前記第２の処理は、ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズの除去を行うノイズ除去プログラム。
【請求項１３】
請求項１から１０のいずれかに記載のノイズ除去装置を備える撮像システム。
【請求項１４】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の工程と、
各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の工程と
を有し、
前記第２の工程は、ノイズ除去の対象となる帯域画像信号の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去方法。
【請求項１５】
入力画像信号を多重解像度変換することによって、互いに異なる周波数帯域を有する複数の帯域画像信号を作成する第１の工程と、
各帯域画像信号に対してそれぞれノイズ除去処理を施す第２の工程と
を有し、
前記第２の工程は、ノイズ除去の対象となる帯域画像信号と、該帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、該帯域画像信号のエッジ成分の方向を判別し、前記エッジ成分の方向に応じて、該帯域画像信号のノイズを除去するノイズ除去方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００８−２９３４２４（Ｐ２００８−２９３４２４Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１４０６７４（Ｐ２００７−１４０６７４）
【出願日】平成１９年５月２８日（２００７．５．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２８日（２００７．５．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]