ノイズ除去装置並びにプログラムおよび方法
【課題】方向性フィルタ処理によりエッジ保存性能の高いノイズ除去を実現するとともに、平坦部において問題となる模様状のノイズを低演算量、低回路規模で除去するノイズ除去装置並びにプログラムおよび方法を提供することを目的とする。
【解決手段】入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理を施し、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理を適用するノイズ除去装置であって、複数の方向に関する評価値を計算する評価値計算手段と、前記評価値からエッジ成分の方向を判別する方向判別処理手段と、前記評価値から平坦部かエッジ部かを判別する平坦度判別処理手段と前記方向判別処理手段の結果により前記フィルタ処理を施す方向性フィルタ処理手段と、前記平坦度判別処理手段の結果により前記コアリング処理を行うコアリング処理手段と、を備えた。
【解決手段】入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理を施し、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理を適用するノイズ除去装置であって、複数の方向に関する評価値を計算する評価値計算手段と、前記評価値からエッジ成分の方向を判別する方向判別処理手段と、前記評価値から平坦部かエッジ部かを判別する平坦度判別処理手段と前記方向判別処理手段の結果により前記フィルタ処理を施す方向性フィルタ処理手段と、前記平坦度判別処理手段の結果により前記コアリング処理を行うコアリング処理手段と、を備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理に関し、特に画像のノイズを除去するノイズ除去装置並びにプログラムおよび方法に関するものである。
【背景技術】
【０００２】
画像信号に含まれるノイズ信号を除去するノイズ除去方法においては、ローパスフィルタによる平滑化処理が広く行われている。しかし、ローパスフィルタによる平滑化処理によりノイズを低減させようとすると、画像信号に含まれるエッジ成分にも平滑化がかかるため、画像の鮮鋭度が低下してしまうという問題がある。
【０００３】
この問題に対処する方法として、特許文献１では画像に含まれるエッジ成分の方向を検出し、当該方向に沿った平滑化処理を適用することで、画像の鮮鋭度を低下させることなくノイズを低減する方式が示されている。
【０００４】
また、上述のような方向性を有するフィルタによるノイズ除去の応用例が幾つか開示されている。特許文献２においては、エッジ成分の方向を検出する際に参照する画像を、原画像ではなく、原画像に対してローパスフィルタ処理を施した画像とすることで、方向判別処理結果を安定させる方式が示されており、特許文献３においては、多重解像度変換に基づくノイズ除去に際し、変換された各帯域の信号に対して方向性を有するフィルタを適用する方式が示されている。さらに、特許文献４には、後述のように適応的にコアリング閾値を変化させる例が示されている。
【０００５】
図１０に方向性を有するフィルタによるノイズ除去方法を説明する図を示す。
図１０において、入力画像４００は、ノイズ除去が施され、出力画像４０４とされる。入力画像４００は、方向判別処理部４０１にて注目画素におけるエッジの方向が検出され、この結果である方向判別結果４０２が方向性フィルタ処理部４０３に出力される。方向性フィルタ処理部４０３は、入力画像４００に対して、方向判別結果４０２が示すエッジの方向に基づきフィルタ係数、あるいは、フィルタ処理方法を決定してフィルタ処理を施す。
【０００６】
次に、方向判別処理部４０１の動作の詳細について図５を参照して説明する。
図５のＡ００〜Ａ４４は、入力画像４００における画素ブロックの画素を示し、中心画素Ａ２２が注目画素に相当する。方向判別処理においては、方向１から方向４までについて、どれが最もエッジに沿った方向であるかを決定するため、それぞれの方向について評価値を計算する。評価値としては様々な物が考えられるが、演算量が比較的少ないものとしては、以下のような評価値が考えられる。
E1 = | A22−A23 | + | A22−A24 | + | A22−A21 | + | A22−A20 |
E2 = | A22−A13 | + | A22−A04 | + | A22−A31 | + | A22−A40 |
E3 = | A22−A12 | + | A22−A02 | + | A22−A32 | + | A22−A42 |
E4 = | A22−A11 | + | A22−A00 | + | A22−A33 | + | A22−A44 |
【０００７】
E1からE4はそれぞれ方向１から方向４に対応した評価値であり、評価する方向においてエッジが存在する場合はこの評価値が大きくなり、エッジが存在しない場合には小さくなる特徴を有する。そこで、E1からE4の中で最小値を検出し、それに対応する方向はエッジが存在しないと判断することで、その方向をエッジに沿った方向と判定する。
【特許文献１】特開昭５５−１３３１７９号公報
【特許文献２】特開平８−２０２８７０号公報
【特許文献３】特開２００１−５７６７７号公報
【特許文献４】特開２００５−２９５４８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、方向性を有するフィルタは、エッジの保存能力が高い反面、平坦部等に存在するノイズを微小なエッジと捉えてこれを保存する傾向があり、これにより出力画像に模様状のノイズが残留するという問題がある。この問題に対処するために模様状のノイズを削除することを目的として、コアリング処理と組み合わせることが考えられる。ここで、コアリング処理とは、典型的には、入力信号の絶対値が閾値以下の場合にその信号を一律ゼロとし、閾値より大きい場合には絶対値を閾値だけ減じた信号とするような処理である。
【０００９】
このようにすれば、ノイズが方向性フィルタ処理により微小な模様状のノイズとして残留したとしても、その後のコアリング処理により値の大きいエッジ成分にはそれほど影響を与えずに、微小なノイズを除去することができる。しかし、ノイズ量が大きい場合には、残留する模様状のノイズ量も大きく、これをコアリング処理で除去するためには閾値を大きくする必要がある。そうすると、エッジ成分に対する影響も無視できなくなり、方向性フィルタによりエッジを保存した効果が減殺されてしまう。
【００１０】
そこで、コアリング処理においても、エッジ部と平坦部とを判別して、エッジ部では閾値を小さく、平坦部では閾値を大きくするような処理が必要とされる。特許文献４は、このように適応的にコアリング閾値を変化させる例であるが、エッジ部か平坦部かの判定には、注目画素の周辺領域における画素値の変化を観察する必要があり、演算量が大きくなっていた。
【００１１】
以上のように、画像に含まれるエッジ成分の方向を判別し（方向判別処理）、当該方向に沿った平滑化処理（フィルタ処理）を適用することで、画像の鮮鋭度を低下させることなくノイズを低減させることができるが、ノイズを効果的に除去するためには、エッジ部と平坦部とを判別して（平坦度判別処理）、それぞれについてコアリング閾値を変化させる必要がある。しかし、従来技術においては前述の方向判別処理と平坦度判別処理とを異なる指標に基づいて算出し、各処理を別々に行っていたので、結果として演算量が大きくなるという問題があった。
【００１２】
本発明は、上記問題に鑑みてなされたもので、方向性フィルタ処理によりエッジ保存性能の高いノイズ除去を実現するとともに、平坦部において問題となる模様状のノイズを低演算量、低回路規模で除去するノイズ除去装置並びにプログラムおよび方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明に係るノイズ除去装置は、入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理を施し、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理を適用するノイズ除去装置であって、複数の方向に関する評価値を計算する評価値計算手段と、前記評価値からエッジ成分の方向を判別する方向判別処理手段と、前記評価値から平坦部かエッジ部かを判別する平坦度判別処理手段と前記方向判別処理手段の結果により前記フィルタ処理を施す方向性フィルタ処理手段と、前記平坦度判別処理手段の結果により前記コアリング処理を行うコアリング処理手段と、を備えたことを特徴とする。
【００１４】
本発明のノイズ除去装置によれば、方向判別処理と平坦部判別処理において評価値演算を共通化するので、平坦部において問題となる模様状のノイズを低演算量、低回路規模で除去することが可能となる。
【００１５】
本発明に係るノイズ除去プログラムは、入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理と、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理とをコンピュータに実行させるノイズ除去プログラムであって、複数の方向に関する評価値を計算する評価値計算処理と、前記評価値からエッジ成分の方向を判別する方向判別処理と、前記評価値から平坦部かエッジ部かを判別する平坦度判別処理とを行い、前記方向判別処理の結果に基づいた前記フィルタ処理と、前記平坦度判別処理の結果に基づいた前記コアリング処理とをコンピュータに実行させることを特徴とする。
【００１６】
本発明に係る撮像システムは、上記のノイズ除去装置を備えることを特徴とする。
【００１７】
本発明の撮像システムによれば、撮像される画像のノイズレベルやユーザの好みに適した画像を得ることが可能となる。
【００１８】
本発明に係るノイズ除去方法は、入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理を施し、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理を適用するノイズ除去方法であって、複数の方向に関する評価値を計算する評価値計算工程と、前記評価値からエッジ成分の方向を判別する方向判別処理工程と、前記評価値から平坦部かエッジ部かを判別する平坦度判別処理工程とを有し、前記方向判別工程の結果により前記フィルタ処理を制御し、前記平坦度判別工程の結果により前記コアリング処理を制御することを特徴とする。
【発明の効果】
【００１９】
本発明のノイズ除去装置並びにプログラムおよび方法によれば、方向性フィルタ処理によりエッジ保存性能の高いノイズ除去を実現するとともに、平坦部において問題となる模様状のノイズを低演算量、低回路規模で除去することが可能となる。
【発明を実施するための最良の形態】
【００２０】
［第１の実施形態］
以下に、本発明に係るノイズ除去装置並びにプログラムおよび方法の第１の実施形態について、図面を参照して説明する。
図１は、本実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
本実施形態に係るノイズ除去装置は、入力画像に対して複数の方向に関する評価値を計算する評価値計算部１０３と、評価値計算部１０３より与えられた評価値からエッジ成分の方向を判別する方向判別処理部１０５と、評価値計算部１０３より与えられた評価値から平坦部かエッジ部かを判別する平坦度判別処理部１０７と、方向判別処理部１０５の結果に基づいてフィルタ処理を行う方向性フィルタ処理部１０１と、平坦度判別処理部１０７の結果に基づいてコアリング処理を行うコアリング処理部１０２とを備えている。
【００２１】
上記構成を有するノイズ除去装置において、入力画像１００は、方向性フィルタ処理部１０１により、エッジ方向に沿った方向にフィルタ処理がなされた後、コアリング処理部１０２により、平坦部での残留ノイズがエッジ部に比べてより強く除去され、出力画像１０９となる。ここで、方向性フィルタ処理部１０１で適用されるフィルタ特性は、方向判別処理部１０５の出力である方向判別結果１０６により制御される。
【００２２】
評価値計算部１０３は、方向判別の候補となる方向それぞれに対応する評価値１０４を、入力画像１００を参照して計算し、方向判別処理部１０５は、この評価値１０４を基にして方向判別処理を行う。また、評価値１０４は平坦度判別処理部１０７にも出力され、平坦度判別処理部１０７は画像の注目画素が平坦部に位置するのかエッジ部に位置するのかを表す平坦度判別処理結果１０８をコアリング処理部１０２に出力し、コアリング処理の強度を制御する。
【００２３】
以下、各処理部の詳細について主に図５を参照して説明する。
まず、評価値計算部１０３と方向判別処理部１０５について説明する。ここでは、ある注目画素におけるエッジの方向を判別する際に、注目画素の周囲５×５の画素ブロックを用いるとし、判別するエッジの方向を４方向とした場合を例として説明する。なお、このブロックサイズは必要に応じて７×７等他のサイズにすることも可能であり、方向数については必要に応じて８方向等に増やすことも可能である。
【００２４】
図５のＡ００〜Ａ４４を、入力画像１００における画素ブロックの画素とみなし、中心画素Ａ２２が注目画素位置に相当するものとする。方向判別においては、方向１から方向４までについて、どれが最もエッジに沿った方向であるかを決定するため、評価値計算部１０３において、それぞれの方向について評価値を計算する。評価値としては様々な物が考えられるが、本実施形態においては以下の評価値を使用する。
E1 = | A22−A23 | + | A22−A24 | + | A22−A21 | + | A22−A20 |
E2 = | A22−A13 | + | A22−A04 | + | A22−A31 | + | A22−A40 |
E3 = | A22−A12 | + | A22−A02 | + | A22−A32 | + | A22−A42 |
E4 = | A22−A11 | + | A22−A00 | + | A22−A33 | + | A22−A44 |
【００２５】
E1からE4はそれぞれ方向１から方向４に対応した評価値１０４であり、評価する方向においてエッジが存在する場合はこの評価値１０４が大きくなり、エッジが存在しない場合には小さくなる特徴を有する。方向判別処理部１０５では、評価値１０４のE1からE4の中で最小値を検出し、それに対応する方向はエッジが存在しないと判断することで、その方向をエッジに沿った方向と判定し、方向判別結果１０６とする。
【００２６】
次に、評価値計算部１０３と平坦度判別処理部１０７について説明する。
平坦度判別処理部１０７は、評価値計算部１０３が計算した評価値１０４を基に、画像の注目画素が平坦部に位置するのかエッジ部に位置するのかを表す平坦度判別処理結果１０８を出力する。本実施形態における評価値E1からE4は、当該方向がエッジをまたぐ場合に値が大きくなるという特性を有する。そこで、平坦度判別処理部１０７は、E1からE4の最大値を計算し、この最大値をもって平坦度を表す平坦度判別処理結果１０８とする。この値が大きければ、注目画素周辺に強いエッジ信号が存在することとなり、この値が小さければ、注目画素周辺には強いエッジ信号が存在しないこととなり、平坦部としての特性が強いこととなる。
【００２７】
コアリング処理部１０２は、平坦度判別処理結果１０８を受け取り、この値に応じて当該注目画素におけるコアリング閾値を設定し、コアリング処理を行う。平坦度判別処理結果１０８が小さい値の場合には、当該注目画素が平坦部に存在するので、コアリング閾値を大きくし、平坦度判別処理結果１０８が大きい値の場合には、エッジ部に相当することとなるので、コアリング閾値を小さくする。このようなコアリング閾値と平坦度判別処理結果１０８との関係が図２に示されている。例えば、コアリング処理部１０２は、予め設定された図２に示す関係をコアリング閾値設定テーブルとして記憶しておき、算出された平坦度判別処理結果１０８に対応するコアリング閾値をコアリング閾値設定テーブルから読み出すことによって、コアリング閾値を設定する。
【００２８】
以上のように、本実施形態に係るノイズ除去方法によれば、方向判別処理と平坦部判別処理において評価値演算を共通化することで、平坦部において問題となる模様状のノイズを低演算量、低回路規模で除去することが可能となる。
【００２９】
〔第２の実施形態〕
次に、本発明の第２の実施形態について、図３を用いて説明する。
本実施形態に係るノイズ除去装置並びにプログラムおよび方法が第１の実施形態と異なる点は、入力された画像を少なくとも２つの帯域画像に分割し、各帯域画像それぞれについて、評価値を計算し、該評価値を用いて方向判別処理および平坦度判別処理を行う点である。以下、本実施形態のノイズ除去方法およびプログラム並びに装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００３０】
図３は本実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。ここでは、ラプラシアンピラミッドによる多重解像度変換に基づくノイズ除去方法を例として説明する。
本実施形態に係るノイズ除去装置は、ラプラシアンピラミッドにより多重解像度変換を施す多重解像度変換部と、各帯域の信号に対してノイズ除去をするＮＲ処理部とを備えている。
【００３１】
上記多重解像度変換部は、複数段のフィルタ処理・縮小処理部２０１，２１０，２１８と、各フィルタ処理・縮小処理部２０１，２１０，２１８に対応して設けられる拡大処理部２０２，２１１，２１９と、ノイズ除去後の画像を用いて信号を再合成する合成部とを備えている。
このような構成において、入力画像２００は、フィルタ処理・縮小処理部２０１にてローパスフィルタ処理後に縮小される。この処理により、画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、次段のフィルタ処理・縮小処理部２１０に供給され、順次さらに縮小されていく。
【００３２】
このように縮小された画像は、拡大処理部２０２にて元の画像サイズに拡大された後、減算器２０３にて帯域画像２０４が作成される。この帯域画像２０４は、フィルタ処理・縮小処理部２０１で用いられたローパスフィルタ特性により遮断された高域部分の信号に相当する。この高域成分を多く含む帯域画像２０４に対して、ＮＲ処理部２０５にてノイズ除去処理を施す。次段の処理でも同様に、フィルタ処理・縮小処理部２１０、拡大処理部２１１、減算器２１２により、次段に相当する帯域画像が生成され、これに対してＮＲ処理部２１３でノイズ除去処理を適用する。このようにして順次の帯域分割された信号に対してノイズ除去処理が適用されることとなる。
【００３３】
ＮＲ処理部２２１の出力は、低域側の信号と加算器２２４で加算され、拡大処理部２２５によって拡大された後、高域側の処理に送られる。このようにして順次低域側から信号が再合成されていき、最終的に最高域の信号が加算器２０９により加算されて、出力画像２２６となる。
【００３４】
図４は、ＮＲ処理部２０５の詳細を示した図である。なお、他の帯域におけるＮＲ処理部であるＮＲ処理部２１３やＮＲ処理部２２１等は、ＮＲ処理部２０５と同様の構成なので説明を省略する。
帯域画像２０４は、方向性フィルタ処理部３０１により、エッジ方向に沿った方向にフィルタ処理がなされた後、コアリング処理部３０２により、平坦部での残留ノイズがエッジ部に比べてより強く除去され、出力信号２０６となる。方向性フィルタ処理部３０１で適用されるフィルタ特性は、方向判別処理部３０５の出力である方向判別処理結果３０６により制御される。
【００３５】
方向判別処理部３０５では、評価値計算部３０３にて計算された評価値３０４を基に、方向判別処理が実行される。また、評価値３０４は平坦度判別処理部３０７にも出力され、平坦度判別処理部３０７は画像の注目画素が平坦部に位置するのかエッジ部に位置するのかを表す平坦度判別処理結果３０８をコアリング処理部３０２に出力し、コアリング処理の強度を制御する。
【００３６】
評価値計算部３０３は、第１の実施形態における評価値計算部１０３と同様に、注目画素におけるエッジの方向を判別するための評価値を計算するものである。
ここで、第１の実施形態においては、入力画像１００から画素ブロックを生成し（Ａ００〜Ａ４４）、評価値E1〜E4を計算していた。これに対し、本実施形態においては、帯域画像２０４を含む高域画像（第１の画像）２０７と、低域画像（第２の画像）２０８から画素ブロックを生成し、第１の実施形態と同様の評価値を生成するものとする。
【００３７】
当該画素ブロックを生成するにあたっては、低域画像２０８のみから画素ブロックを生成すれば、ノイズによる影響の少ない方向判別を実現できる。また、高域画像２０７のみから画素ブロックを生成すれば、ノイズによる影響は残るものの、エッジ成分を含む高域成分を有することから細かい構造物に対応した方向判別が実現できる。あるいは、高域画像２０７と低域画像２０８を組み合わせて画素ブロックを生成することも可能である。例えば、高域画像２０７と低域画像２０８との加重平均を行うことで、双方の特性を有する画像（第３の画像）を生成することが可能である。高域画像２０７と低域画像２０８を組み合わせた場合には、高域画像２０７および低域画像２０８の双方の特性を利用することによって、入力画像の細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現することができる。
なお、評価値計算部３０３は、上述した複数の画素ブロックの生成方法を帯域画像２０４の特性等に応じて選択可能な構成としてもよい。
【００３８】
評価値３０４は、第１の実施形態におけるE1からE4と同様であり、それぞれ方向１から方向４に対応しており、評価する方向においてエッジが存在する場合はこの評価値３０４が大きくなり、エッジが存在しない場合には小さくなる特徴を有する。方向判別処理部３０５では、評価値３０４のE1からE4の中で最小値を検出し、それに対応する方向はエッジが存在しないと判断することで、その方向をエッジに沿った方向と判定し、方向判別処理結果３０６とする。
【００３９】
評価値計算部３０３において計算された評価値３０４は、第１の実施形態と同様に、平坦度判別処理部３０７において利用され、画像の注目画素が平坦部に位置するのかエッジ部に位置するのかを表す平坦度判別処理結果３０８が計算される。コアリング処理部３０２は、第１の実施形態と同様に、平坦度判別処理結果３０８を受け取り、この値に応じて当該注目画素におけるコアリング閾値を設定し、コアリング処理を行う。
【００４０】
以上のように、本実施形態に係るノイズ除去装置によれば、多重解像度変換に基づくノイズ除去と、方向性フィルタ処理を組み合わせて実現することによって、より効率的にノイズを除去することが可能となる。
また、多重解像度変換に基づくノイズ除去と、方向性フィルタ処理によりエッジ保存性能の高いノイズ除去を組み合わせて実現する際でも、本実施形態のように各帯域におけるＮＲ処理において、方向判別処理と平坦部判別処理における評価値演算を共通化することで、平坦部において問題となる模様状のノイズを低演算量、低回路規模で除去することが可能となる。
【００４１】
なお、本実施形態においては、方向判別処理部３０５と平坦度判別処理部３０７で使用する評価値３０４を同一のものとしているが、これを異なるものとした場合でも、同一の評価値計算部３０３にて計算できるのであれば、低回路規模で実現するという効果は依然として得ることができる。例えば、方向判別処理においては、画像の細かい構造に対応した方向判別処理を実現するために、その評価値は高域画像２０７を用いて計算し、平坦度判別処理はノイズの影響を受けにくい安定した判別処理を実現するために、低域画像２０８を用いて計算することも可能である。この場合、評価値計算部３０３の回路を双方の評価値演算に利用することにより、回路規模の削減が可能となる。
また、本実施形態においては、複数の帯域画像に分割して各帯域画像にノイズ除去を行う方法として、ラプラシアンピラミッドによる多重解像度変換に基づくノイズ除去方法を例として説明したが、この例に限定されるものではない。
【００４２】
〔第３の実施形態〕
次に、本発明の第３の実施形態について、図６を用いて説明する。
本実施形態は、前述の各実施形態において説明したノイズ除去装置をデジタルカメラ等の撮像システムに組み込んだ形態である。以下に、本実施形態に係る撮像システムついて図６を参照して説明する。なお、前述の各実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４３】
本実施形態に係る撮像システムは、レンズ系５００と、ＣＣＤ５０１と、画像処理部５０２と、ノイズ除去部５０３と、画像圧縮部５０４と、記録メディア５０５と、ノイズ除去条件設定部５０６と、ノイズ除去パラメータ設定部５０７とを主な構成要素として備えている。
【００４４】
レンズ系５００を通してＣＣＤ５０１で撮像された画像信号は、画像処理部５０２においてホワイトバランス処理やエッジ強調処理、色信号処理等が施された後、ノイズ除去部５０３においてノイズ除去がなされる。ノイズが除去された画像信号は、画像圧縮部５０４でＪＰＥＧ形式等に圧縮された後、メモリーカード等の記録メディア５０５に保存される。ノイズ除去部５０３は、前述の各実施形態において説明したノイズ除去装置を適用したものである。
【００４５】
ノイズの除去にあたっては、画像処理部５０２が出力する画像信号をＲＧＢ信号からなる画像とし、ノイズ除去部５０３において３面からなるＲＧＢ画像に対して個別にノイズ除去処理をしてもよいし、画像処理部５０２が出力する信号をＹＣbＣrとして、ノイズ除去部５０３において３面からなるＹＣbＣr画像に対して個別にノイズ除去処理をしてもよい。さらには、画像処理部５０２はＲＧＢ信号を出力し、ノイズ除去部５０３内でＲＧＢ信号をＹＣbＣr信号等に変換した後に、３面からなるＹＣbＣr画像に対して個別にノイズ除去処理をしてもよい。また、ノイズ除去部５０３と画像処理部５０２は本実施形態のように分離する必要はなく、例えば、画像処理部５０２のエッジ強調処理とノイズ除去部５０３の処理順序を入れ替えることも可能である。また、ノイズ除去部５０３は、上述したいずれかの実施形態に係るノイズ除去装置が備える機能を有している。
【００４６】
ノイズ除去部５０３の動作は、ノイズ除去パラメータ設定部５０７により制御される。ノイズ除去パラメータ設定部５０７には、ノイズ除去パラメータとして、必要とされるノイズ除去の強度に応じた複数のパラメータ候補が工場出荷時に記憶されている。ノイズ除去パラメータ設定部５０７は、ユーザのノイズ除去強度に関する設定値や、ノイズ除去条件設定部５０６からのＩＳＯ感度情報等に基づいてノイズ除去の強度を決定し、当該複数のパラメータ候補から適当なパラメータを選択してノイズ除去部５０３のノイズ除去動作を制御する。
【００４７】
このノイズ除去に関するパラメータの中には、本発明に関する構成の選択等も含まれることとしてもよい。例えば、第２の実施形態に対応するノイズ除去方法をノイズ除去部５０３に適用した場合、以下のようなパラメータを候補として、ノイズ除去パラメータ設定部５０７に記憶させてもよい。
第２の実施形態においては方向判別に使用する参照画像を、高周波成分を含む高域画像２０７と低周波成分からなる低域画像２０８の組み合わせにより生成していた。この組み合わせに関する選択として、注目画素位置のみ高域画像２０７の画素とするのか、注目画素の周辺３×３画素とするのか、あるいは全てを高域画像２０７、あるいは、低域画像２０８とするのかというような選択がありうる。この選択により、細かい構造の変化にも対応した方向判別と、ノイズに影響されない安定した方向判別のバランスが決定される。したがって、図７に示すように、パラメータ候補として上述のような参照画像の生成方法を複数設定しておき、予め設定された条件に基づいて参照画像を生成してもよい。ノイズ除去パラメータ設定部５０７は、適当な構成をユーザ設定やＩＳＯ感度情報等から選択し、ノイズ除去部５０３を制御する。
【００４８】
なお、多重解像度の各帯域における設定は同一である必要はなく、高域における設定と低域における設定が異なっていても良い。例えば、各帯域画像信号について図７に示す条件を予め設定しておき、該条件に基づいて参照画像を生成しても良い。
また、ノイズのレベルによって多重解像度変換の縮小回数を予め設定しておき、入力画像信号のノイズの大きさに応じて多重解像度変換の縮小回数を決定してもよい。
さらに、ノイズ除去部５０３は、前述の各実施形態のどれか一つを選択するのではなく、パラメータによりいずれの実施形態に係るノイズ除去方法を選択することとしてもよい。例えば、撮像条件（ＩＳＯ感度等）に応じて、多重解像度変換における解像度変換の回数を変化させる。
【００４９】
以上のように、少なくともいずれかの実施形態に係るノイズ除去方法を採用して、撮像システムを構成することにより、入力画像の細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現することができる。また、この構成をユーザ設定やＩＳＯ感度情報等により適宜変更することにより、撮像される画像のノイズレベルやユーザの好みに適した画像を得ることが可能な撮像システムとすることが可能となる。
【００５０】
なお、上述した各実施形態では、ノイズ除去装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、ノイズ除去装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述のノイズ除去装置と同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。
【００５１】
上記のソフトウェアによる具体的な処理について、図８に示すフローチャートに基づいて以下に説明する。
まず、入力画像信号は、多重解像度変換が行われることにより順次縮小され、複数の縮小画像が生成される（Ｓ１）。
次に、各縮小画像は、縮小前の画像サイズに拡大され（Ｓ２）、縮小前のそれぞれの画像との減算が行われることにより、ノイズ除去の対象となる帯域画像がそれぞれ作成される（Ｓ３）。
次に、作成された各帯域画像に対してノイズ除去処理が施される（Ｓ４）。
そして、ノイズ除去がされた後の各帯域画像は再合成され、再合成された画像は出力画像として出力される（Ｓ５）。
【００５２】
次にノイズ除去処理（Ｓ４）の詳細について主に図９を参照して説明する。ここでは、一例として、上述の処理において作成された複数の帯域画像のうち、図３に示される帯域画像２０４のノイズ除去処理について説明する。
まず、ノイズ除去処理では、エッジに沿った方向を判別するために、各方向について評価値の計算が行われる（Ｓ１１）。この処理では、高域画像２０７と低域画像２０８とを用いて参照画像を作成し、この参照画像の各方向について評価値の計算が行われる。
次に、各方向についての評価値に基づいて方向判別処理が行われる（Ｓ１２）。具体的には各評価値の中で最小値を検出し、該評価値に対応する方向にはエッジが存在しないと判断される。これにより、該評価値に対応する方向はエッジに沿った方向であると判定される。
次に、方向判別処理の結果が示すエッジの方向に基づきフィルタ係数等が決定され、ノイズ除去の対象となる帯域画像２０４に対してフィルタ処理が施される（Ｓ１３）。
次に、各方向についての評価値に基づいて平坦度判別処理が行われる（Ｓ１４）。具体的には、各評価値の中で最大値を検出し、該評価値が大きければ注目画素周辺に強いエッジ信号が存在することとなり、該評価値が小さければ強いエッジ信号が存在しないと判断される。これにより、注目画素が平坦部に位置するのか、あるいはエッジ部に位置するのかを表す平坦度が判定される。
次に、フィルタ処理が施された帯域画像に対して、微小信号をゼロにするようなコアリング処理が行われ、ノイズ除去がされた帯域画像２０６として出力される（Ｓ１５）。
【００５３】
なお、上記の例において、多重解像度変換の一段目の処理において作成される帯域画像２０４について説明したが、多重解像度変換の二段目以降の処理において作成される各帯域画像においても同様の処理が行われる。
さらに、上記において、第２の実施形態に対応するノイズ除去方法について説明したが、他の実施形態についても同様に、ソフトウェアにて処理することが可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の第１の実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
【図２】図１のノイズ除去装置のコアリング閾値と平坦度判別結果との関係を示すグラフである。
【図３】本発明の第２の実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
【図４】図３に示すノイズ除去装置のＮＲ処理部の機能ブロック図である。
【図５】方向判別処理部の動作を説明する図である。
【図６】本発明の第３の実施形態に係る撮像システムの概略構成図である。
【図７】画素ブロックの生成方法の条件を示す条件設定表である。
【図８】本発明に係るノイズ除去方法のフローチャートである。
【図９】図８におけるノイズ除去処理のフローチャートである。
【図１０】従来のノイズ除去装置が備える機能を展開して示した機能ブロック図である。
【符号の説明】
【００５５】
１００ 入力画像
１０１，３０１ 方向性フィルタ処理部
１０２，３０２ コアリング処理部
１０３，３０３ 評価値計算部
１０４，３０４ 評価値
１０５，３０５ 方向判別処理部
１０７，３０７ 平坦度判別処理部
２０４ 帯域画像
２０７ 高域画像
２０８ 低域画像
【技術分野】
【０００１】
本発明は画像処理に関し、特に画像のノイズを除去するノイズ除去装置並びにプログラムおよび方法に関するものである。
【背景技術】
【０００２】
画像信号に含まれるノイズ信号を除去するノイズ除去方法においては、ローパスフィルタによる平滑化処理が広く行われている。しかし、ローパスフィルタによる平滑化処理によりノイズを低減させようとすると、画像信号に含まれるエッジ成分にも平滑化がかかるため、画像の鮮鋭度が低下してしまうという問題がある。
【０００３】
この問題に対処する方法として、特許文献１では画像に含まれるエッジ成分の方向を検出し、当該方向に沿った平滑化処理を適用することで、画像の鮮鋭度を低下させることなくノイズを低減する方式が示されている。
【０００４】
また、上述のような方向性を有するフィルタによるノイズ除去の応用例が幾つか開示されている。特許文献２においては、エッジ成分の方向を検出する際に参照する画像を、原画像ではなく、原画像に対してローパスフィルタ処理を施した画像とすることで、方向判別処理結果を安定させる方式が示されており、特許文献３においては、多重解像度変換に基づくノイズ除去に際し、変換された各帯域の信号に対して方向性を有するフィルタを適用する方式が示されている。さらに、特許文献４には、後述のように適応的にコアリング閾値を変化させる例が示されている。
【０００５】
図１０に方向性を有するフィルタによるノイズ除去方法を説明する図を示す。
図１０において、入力画像４００は、ノイズ除去が施され、出力画像４０４とされる。入力画像４００は、方向判別処理部４０１にて注目画素におけるエッジの方向が検出され、この結果である方向判別結果４０２が方向性フィルタ処理部４０３に出力される。方向性フィルタ処理部４０３は、入力画像４００に対して、方向判別結果４０２が示すエッジの方向に基づきフィルタ係数、あるいは、フィルタ処理方法を決定してフィルタ処理を施す。
【０００６】
次に、方向判別処理部４０１の動作の詳細について図５を参照して説明する。
図５のＡ００〜Ａ４４は、入力画像４００における画素ブロックの画素を示し、中心画素Ａ２２が注目画素に相当する。方向判別処理においては、方向１から方向４までについて、どれが最もエッジに沿った方向であるかを決定するため、それぞれの方向について評価値を計算する。評価値としては様々な物が考えられるが、演算量が比較的少ないものとしては、以下のような評価値が考えられる。
E1 = | A22−A23 | + | A22−A24 | + | A22−A21 | + | A22−A20 |
E2 = | A22−A13 | + | A22−A04 | + | A22−A31 | + | A22−A40 |
E3 = | A22−A12 | + | A22−A02 | + | A22−A32 | + | A22−A42 |
E4 = | A22−A11 | + | A22−A00 | + | A22−A33 | + | A22−A44 |
【０００７】
E1からE4はそれぞれ方向１から方向４に対応した評価値であり、評価する方向においてエッジが存在する場合はこの評価値が大きくなり、エッジが存在しない場合には小さくなる特徴を有する。そこで、E1からE4の中で最小値を検出し、それに対応する方向はエッジが存在しないと判断することで、その方向をエッジに沿った方向と判定する。
【特許文献１】特開昭５５−１３３１７９号公報
【特許文献２】特開平８−２０２８７０号公報
【特許文献３】特開２００１−５７６７７号公報
【特許文献４】特開２００５−２９５４８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、方向性を有するフィルタは、エッジの保存能力が高い反面、平坦部等に存在するノイズを微小なエッジと捉えてこれを保存する傾向があり、これにより出力画像に模様状のノイズが残留するという問題がある。この問題に対処するために模様状のノイズを削除することを目的として、コアリング処理と組み合わせることが考えられる。ここで、コアリング処理とは、典型的には、入力信号の絶対値が閾値以下の場合にその信号を一律ゼロとし、閾値より大きい場合には絶対値を閾値だけ減じた信号とするような処理である。
【０００９】
このようにすれば、ノイズが方向性フィルタ処理により微小な模様状のノイズとして残留したとしても、その後のコアリング処理により値の大きいエッジ成分にはそれほど影響を与えずに、微小なノイズを除去することができる。しかし、ノイズ量が大きい場合には、残留する模様状のノイズ量も大きく、これをコアリング処理で除去するためには閾値を大きくする必要がある。そうすると、エッジ成分に対する影響も無視できなくなり、方向性フィルタによりエッジを保存した効果が減殺されてしまう。
【００１０】
そこで、コアリング処理においても、エッジ部と平坦部とを判別して、エッジ部では閾値を小さく、平坦部では閾値を大きくするような処理が必要とされる。特許文献４は、このように適応的にコアリング閾値を変化させる例であるが、エッジ部か平坦部かの判定には、注目画素の周辺領域における画素値の変化を観察する必要があり、演算量が大きくなっていた。
【００１１】
以上のように、画像に含まれるエッジ成分の方向を判別し（方向判別処理）、当該方向に沿った平滑化処理（フィルタ処理）を適用することで、画像の鮮鋭度を低下させることなくノイズを低減させることができるが、ノイズを効果的に除去するためには、エッジ部と平坦部とを判別して（平坦度判別処理）、それぞれについてコアリング閾値を変化させる必要がある。しかし、従来技術においては前述の方向判別処理と平坦度判別処理とを異なる指標に基づいて算出し、各処理を別々に行っていたので、結果として演算量が大きくなるという問題があった。
【００１２】
本発明は、上記問題に鑑みてなされたもので、方向性フィルタ処理によりエッジ保存性能の高いノイズ除去を実現するとともに、平坦部において問題となる模様状のノイズを低演算量、低回路規模で除去するノイズ除去装置並びにプログラムおよび方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明に係るノイズ除去装置は、入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理を施し、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理を適用するノイズ除去装置であって、複数の方向に関する評価値を計算する評価値計算手段と、前記評価値からエッジ成分の方向を判別する方向判別処理手段と、前記評価値から平坦部かエッジ部かを判別する平坦度判別処理手段と前記方向判別処理手段の結果により前記フィルタ処理を施す方向性フィルタ処理手段と、前記平坦度判別処理手段の結果により前記コアリング処理を行うコアリング処理手段と、を備えたことを特徴とする。
【００１４】
本発明のノイズ除去装置によれば、方向判別処理と平坦部判別処理において評価値演算を共通化するので、平坦部において問題となる模様状のノイズを低演算量、低回路規模で除去することが可能となる。
【００１５】
本発明に係るノイズ除去プログラムは、入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理と、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理とをコンピュータに実行させるノイズ除去プログラムであって、複数の方向に関する評価値を計算する評価値計算処理と、前記評価値からエッジ成分の方向を判別する方向判別処理と、前記評価値から平坦部かエッジ部かを判別する平坦度判別処理とを行い、前記方向判別処理の結果に基づいた前記フィルタ処理と、前記平坦度判別処理の結果に基づいた前記コアリング処理とをコンピュータに実行させることを特徴とする。
【００１６】
本発明に係る撮像システムは、上記のノイズ除去装置を備えることを特徴とする。
【００１７】
本発明の撮像システムによれば、撮像される画像のノイズレベルやユーザの好みに適した画像を得ることが可能となる。
【００１８】
本発明に係るノイズ除去方法は、入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理を施し、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理を適用するノイズ除去方法であって、複数の方向に関する評価値を計算する評価値計算工程と、前記評価値からエッジ成分の方向を判別する方向判別処理工程と、前記評価値から平坦部かエッジ部かを判別する平坦度判別処理工程とを有し、前記方向判別工程の結果により前記フィルタ処理を制御し、前記平坦度判別工程の結果により前記コアリング処理を制御することを特徴とする。
【発明の効果】
【００１９】
本発明のノイズ除去装置並びにプログラムおよび方法によれば、方向性フィルタ処理によりエッジ保存性能の高いノイズ除去を実現するとともに、平坦部において問題となる模様状のノイズを低演算量、低回路規模で除去することが可能となる。
【発明を実施するための最良の形態】
【００２０】
［第１の実施形態］
以下に、本発明に係るノイズ除去装置並びにプログラムおよび方法の第１の実施形態について、図面を参照して説明する。
図１は、本実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
本実施形態に係るノイズ除去装置は、入力画像に対して複数の方向に関する評価値を計算する評価値計算部１０３と、評価値計算部１０３より与えられた評価値からエッジ成分の方向を判別する方向判別処理部１０５と、評価値計算部１０３より与えられた評価値から平坦部かエッジ部かを判別する平坦度判別処理部１０７と、方向判別処理部１０５の結果に基づいてフィルタ処理を行う方向性フィルタ処理部１０１と、平坦度判別処理部１０７の結果に基づいてコアリング処理を行うコアリング処理部１０２とを備えている。
【００２１】
上記構成を有するノイズ除去装置において、入力画像１００は、方向性フィルタ処理部１０１により、エッジ方向に沿った方向にフィルタ処理がなされた後、コアリング処理部１０２により、平坦部での残留ノイズがエッジ部に比べてより強く除去され、出力画像１０９となる。ここで、方向性フィルタ処理部１０１で適用されるフィルタ特性は、方向判別処理部１０５の出力である方向判別結果１０６により制御される。
【００２２】
評価値計算部１０３は、方向判別の候補となる方向それぞれに対応する評価値１０４を、入力画像１００を参照して計算し、方向判別処理部１０５は、この評価値１０４を基にして方向判別処理を行う。また、評価値１０４は平坦度判別処理部１０７にも出力され、平坦度判別処理部１０７は画像の注目画素が平坦部に位置するのかエッジ部に位置するのかを表す平坦度判別処理結果１０８をコアリング処理部１０２に出力し、コアリング処理の強度を制御する。
【００２３】
以下、各処理部の詳細について主に図５を参照して説明する。
まず、評価値計算部１０３と方向判別処理部１０５について説明する。ここでは、ある注目画素におけるエッジの方向を判別する際に、注目画素の周囲５×５の画素ブロックを用いるとし、判別するエッジの方向を４方向とした場合を例として説明する。なお、このブロックサイズは必要に応じて７×７等他のサイズにすることも可能であり、方向数については必要に応じて８方向等に増やすことも可能である。
【００２４】
図５のＡ００〜Ａ４４を、入力画像１００における画素ブロックの画素とみなし、中心画素Ａ２２が注目画素位置に相当するものとする。方向判別においては、方向１から方向４までについて、どれが最もエッジに沿った方向であるかを決定するため、評価値計算部１０３において、それぞれの方向について評価値を計算する。評価値としては様々な物が考えられるが、本実施形態においては以下の評価値を使用する。
E1 = | A22−A23 | + | A22−A24 | + | A22−A21 | + | A22−A20 |
E2 = | A22−A13 | + | A22−A04 | + | A22−A31 | + | A22−A40 |
E3 = | A22−A12 | + | A22−A02 | + | A22−A32 | + | A22−A42 |
E4 = | A22−A11 | + | A22−A00 | + | A22−A33 | + | A22−A44 |
【００２５】
E1からE4はそれぞれ方向１から方向４に対応した評価値１０４であり、評価する方向においてエッジが存在する場合はこの評価値１０４が大きくなり、エッジが存在しない場合には小さくなる特徴を有する。方向判別処理部１０５では、評価値１０４のE1からE4の中で最小値を検出し、それに対応する方向はエッジが存在しないと判断することで、その方向をエッジに沿った方向と判定し、方向判別結果１０６とする。
【００２６】
次に、評価値計算部１０３と平坦度判別処理部１０７について説明する。
平坦度判別処理部１０７は、評価値計算部１０３が計算した評価値１０４を基に、画像の注目画素が平坦部に位置するのかエッジ部に位置するのかを表す平坦度判別処理結果１０８を出力する。本実施形態における評価値E1からE4は、当該方向がエッジをまたぐ場合に値が大きくなるという特性を有する。そこで、平坦度判別処理部１０７は、E1からE4の最大値を計算し、この最大値をもって平坦度を表す平坦度判別処理結果１０８とする。この値が大きければ、注目画素周辺に強いエッジ信号が存在することとなり、この値が小さければ、注目画素周辺には強いエッジ信号が存在しないこととなり、平坦部としての特性が強いこととなる。
【００２７】
コアリング処理部１０２は、平坦度判別処理結果１０８を受け取り、この値に応じて当該注目画素におけるコアリング閾値を設定し、コアリング処理を行う。平坦度判別処理結果１０８が小さい値の場合には、当該注目画素が平坦部に存在するので、コアリング閾値を大きくし、平坦度判別処理結果１０８が大きい値の場合には、エッジ部に相当することとなるので、コアリング閾値を小さくする。このようなコアリング閾値と平坦度判別処理結果１０８との関係が図２に示されている。例えば、コアリング処理部１０２は、予め設定された図２に示す関係をコアリング閾値設定テーブルとして記憶しておき、算出された平坦度判別処理結果１０８に対応するコアリング閾値をコアリング閾値設定テーブルから読み出すことによって、コアリング閾値を設定する。
【００２８】
以上のように、本実施形態に係るノイズ除去方法によれば、方向判別処理と平坦部判別処理において評価値演算を共通化することで、平坦部において問題となる模様状のノイズを低演算量、低回路規模で除去することが可能となる。
【００２９】
〔第２の実施形態〕
次に、本発明の第２の実施形態について、図３を用いて説明する。
本実施形態に係るノイズ除去装置並びにプログラムおよび方法が第１の実施形態と異なる点は、入力された画像を少なくとも２つの帯域画像に分割し、各帯域画像それぞれについて、評価値を計算し、該評価値を用いて方向判別処理および平坦度判別処理を行う点である。以下、本実施形態のノイズ除去方法およびプログラム並びに装置について、第１の実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００３０】
図３は本実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。ここでは、ラプラシアンピラミッドによる多重解像度変換に基づくノイズ除去方法を例として説明する。
本実施形態に係るノイズ除去装置は、ラプラシアンピラミッドにより多重解像度変換を施す多重解像度変換部と、各帯域の信号に対してノイズ除去をするＮＲ処理部とを備えている。
【００３１】
上記多重解像度変換部は、複数段のフィルタ処理・縮小処理部２０１，２１０，２１８と、各フィルタ処理・縮小処理部２０１，２１０，２１８に対応して設けられる拡大処理部２０２，２１１，２１９と、ノイズ除去後の画像を用いて信号を再合成する合成部とを備えている。
このような構成において、入力画像２００は、フィルタ処理・縮小処理部２０１にてローパスフィルタ処理後に縮小される。この処理により、画像サイズは水平方向、垂直方向共に半分となる。縮小された画像は、次段のフィルタ処理・縮小処理部２１０に供給され、順次さらに縮小されていく。
【００３２】
このように縮小された画像は、拡大処理部２０２にて元の画像サイズに拡大された後、減算器２０３にて帯域画像２０４が作成される。この帯域画像２０４は、フィルタ処理・縮小処理部２０１で用いられたローパスフィルタ特性により遮断された高域部分の信号に相当する。この高域成分を多く含む帯域画像２０４に対して、ＮＲ処理部２０５にてノイズ除去処理を施す。次段の処理でも同様に、フィルタ処理・縮小処理部２１０、拡大処理部２１１、減算器２１２により、次段に相当する帯域画像が生成され、これに対してＮＲ処理部２１３でノイズ除去処理を適用する。このようにして順次の帯域分割された信号に対してノイズ除去処理が適用されることとなる。
【００３３】
ＮＲ処理部２２１の出力は、低域側の信号と加算器２２４で加算され、拡大処理部２２５によって拡大された後、高域側の処理に送られる。このようにして順次低域側から信号が再合成されていき、最終的に最高域の信号が加算器２０９により加算されて、出力画像２２６となる。
【００３４】
図４は、ＮＲ処理部２０５の詳細を示した図である。なお、他の帯域におけるＮＲ処理部であるＮＲ処理部２１３やＮＲ処理部２２１等は、ＮＲ処理部２０５と同様の構成なので説明を省略する。
帯域画像２０４は、方向性フィルタ処理部３０１により、エッジ方向に沿った方向にフィルタ処理がなされた後、コアリング処理部３０２により、平坦部での残留ノイズがエッジ部に比べてより強く除去され、出力信号２０６となる。方向性フィルタ処理部３０１で適用されるフィルタ特性は、方向判別処理部３０５の出力である方向判別処理結果３０６により制御される。
【００３５】
方向判別処理部３０５では、評価値計算部３０３にて計算された評価値３０４を基に、方向判別処理が実行される。また、評価値３０４は平坦度判別処理部３０７にも出力され、平坦度判別処理部３０７は画像の注目画素が平坦部に位置するのかエッジ部に位置するのかを表す平坦度判別処理結果３０８をコアリング処理部３０２に出力し、コアリング処理の強度を制御する。
【００３６】
評価値計算部３０３は、第１の実施形態における評価値計算部１０３と同様に、注目画素におけるエッジの方向を判別するための評価値を計算するものである。
ここで、第１の実施形態においては、入力画像１００から画素ブロックを生成し（Ａ００〜Ａ４４）、評価値E1〜E4を計算していた。これに対し、本実施形態においては、帯域画像２０４を含む高域画像（第１の画像）２０７と、低域画像（第２の画像）２０８から画素ブロックを生成し、第１の実施形態と同様の評価値を生成するものとする。
【００３７】
当該画素ブロックを生成するにあたっては、低域画像２０８のみから画素ブロックを生成すれば、ノイズによる影響の少ない方向判別を実現できる。また、高域画像２０７のみから画素ブロックを生成すれば、ノイズによる影響は残るものの、エッジ成分を含む高域成分を有することから細かい構造物に対応した方向判別が実現できる。あるいは、高域画像２０７と低域画像２０８を組み合わせて画素ブロックを生成することも可能である。例えば、高域画像２０７と低域画像２０８との加重平均を行うことで、双方の特性を有する画像（第３の画像）を生成することが可能である。高域画像２０７と低域画像２０８を組み合わせた場合には、高域画像２０７および低域画像２０８の双方の特性を利用することによって、入力画像の細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現することができる。
なお、評価値計算部３０３は、上述した複数の画素ブロックの生成方法を帯域画像２０４の特性等に応じて選択可能な構成としてもよい。
【００３８】
評価値３０４は、第１の実施形態におけるE1からE4と同様であり、それぞれ方向１から方向４に対応しており、評価する方向においてエッジが存在する場合はこの評価値３０４が大きくなり、エッジが存在しない場合には小さくなる特徴を有する。方向判別処理部３０５では、評価値３０４のE1からE4の中で最小値を検出し、それに対応する方向はエッジが存在しないと判断することで、その方向をエッジに沿った方向と判定し、方向判別処理結果３０６とする。
【００３９】
評価値計算部３０３において計算された評価値３０４は、第１の実施形態と同様に、平坦度判別処理部３０７において利用され、画像の注目画素が平坦部に位置するのかエッジ部に位置するのかを表す平坦度判別処理結果３０８が計算される。コアリング処理部３０２は、第１の実施形態と同様に、平坦度判別処理結果３０８を受け取り、この値に応じて当該注目画素におけるコアリング閾値を設定し、コアリング処理を行う。
【００４０】
以上のように、本実施形態に係るノイズ除去装置によれば、多重解像度変換に基づくノイズ除去と、方向性フィルタ処理を組み合わせて実現することによって、より効率的にノイズを除去することが可能となる。
また、多重解像度変換に基づくノイズ除去と、方向性フィルタ処理によりエッジ保存性能の高いノイズ除去を組み合わせて実現する際でも、本実施形態のように各帯域におけるＮＲ処理において、方向判別処理と平坦部判別処理における評価値演算を共通化することで、平坦部において問題となる模様状のノイズを低演算量、低回路規模で除去することが可能となる。
【００４１】
なお、本実施形態においては、方向判別処理部３０５と平坦度判別処理部３０７で使用する評価値３０４を同一のものとしているが、これを異なるものとした場合でも、同一の評価値計算部３０３にて計算できるのであれば、低回路規模で実現するという効果は依然として得ることができる。例えば、方向判別処理においては、画像の細かい構造に対応した方向判別処理を実現するために、その評価値は高域画像２０７を用いて計算し、平坦度判別処理はノイズの影響を受けにくい安定した判別処理を実現するために、低域画像２０８を用いて計算することも可能である。この場合、評価値計算部３０３の回路を双方の評価値演算に利用することにより、回路規模の削減が可能となる。
また、本実施形態においては、複数の帯域画像に分割して各帯域画像にノイズ除去を行う方法として、ラプラシアンピラミッドによる多重解像度変換に基づくノイズ除去方法を例として説明したが、この例に限定されるものではない。
【００４２】
〔第３の実施形態〕
次に、本発明の第３の実施形態について、図６を用いて説明する。
本実施形態は、前述の各実施形態において説明したノイズ除去装置をデジタルカメラ等の撮像システムに組み込んだ形態である。以下に、本実施形態に係る撮像システムついて図６を参照して説明する。なお、前述の各実施形態と共通する点については説明を省略し、異なる点について主に説明する。
【００４３】
本実施形態に係る撮像システムは、レンズ系５００と、ＣＣＤ５０１と、画像処理部５０２と、ノイズ除去部５０３と、画像圧縮部５０４と、記録メディア５０５と、ノイズ除去条件設定部５０６と、ノイズ除去パラメータ設定部５０７とを主な構成要素として備えている。
【００４４】
レンズ系５００を通してＣＣＤ５０１で撮像された画像信号は、画像処理部５０２においてホワイトバランス処理やエッジ強調処理、色信号処理等が施された後、ノイズ除去部５０３においてノイズ除去がなされる。ノイズが除去された画像信号は、画像圧縮部５０４でＪＰＥＧ形式等に圧縮された後、メモリーカード等の記録メディア５０５に保存される。ノイズ除去部５０３は、前述の各実施形態において説明したノイズ除去装置を適用したものである。
【００４５】
ノイズの除去にあたっては、画像処理部５０２が出力する画像信号をＲＧＢ信号からなる画像とし、ノイズ除去部５０３において３面からなるＲＧＢ画像に対して個別にノイズ除去処理をしてもよいし、画像処理部５０２が出力する信号をＹＣbＣrとして、ノイズ除去部５０３において３面からなるＹＣbＣr画像に対して個別にノイズ除去処理をしてもよい。さらには、画像処理部５０２はＲＧＢ信号を出力し、ノイズ除去部５０３内でＲＧＢ信号をＹＣbＣr信号等に変換した後に、３面からなるＹＣbＣr画像に対して個別にノイズ除去処理をしてもよい。また、ノイズ除去部５０３と画像処理部５０２は本実施形態のように分離する必要はなく、例えば、画像処理部５０２のエッジ強調処理とノイズ除去部５０３の処理順序を入れ替えることも可能である。また、ノイズ除去部５０３は、上述したいずれかの実施形態に係るノイズ除去装置が備える機能を有している。
【００４６】
ノイズ除去部５０３の動作は、ノイズ除去パラメータ設定部５０７により制御される。ノイズ除去パラメータ設定部５０７には、ノイズ除去パラメータとして、必要とされるノイズ除去の強度に応じた複数のパラメータ候補が工場出荷時に記憶されている。ノイズ除去パラメータ設定部５０７は、ユーザのノイズ除去強度に関する設定値や、ノイズ除去条件設定部５０６からのＩＳＯ感度情報等に基づいてノイズ除去の強度を決定し、当該複数のパラメータ候補から適当なパラメータを選択してノイズ除去部５０３のノイズ除去動作を制御する。
【００４７】
このノイズ除去に関するパラメータの中には、本発明に関する構成の選択等も含まれることとしてもよい。例えば、第２の実施形態に対応するノイズ除去方法をノイズ除去部５０３に適用した場合、以下のようなパラメータを候補として、ノイズ除去パラメータ設定部５０７に記憶させてもよい。
第２の実施形態においては方向判別に使用する参照画像を、高周波成分を含む高域画像２０７と低周波成分からなる低域画像２０８の組み合わせにより生成していた。この組み合わせに関する選択として、注目画素位置のみ高域画像２０７の画素とするのか、注目画素の周辺３×３画素とするのか、あるいは全てを高域画像２０７、あるいは、低域画像２０８とするのかというような選択がありうる。この選択により、細かい構造の変化にも対応した方向判別と、ノイズに影響されない安定した方向判別のバランスが決定される。したがって、図７に示すように、パラメータ候補として上述のような参照画像の生成方法を複数設定しておき、予め設定された条件に基づいて参照画像を生成してもよい。ノイズ除去パラメータ設定部５０７は、適当な構成をユーザ設定やＩＳＯ感度情報等から選択し、ノイズ除去部５０３を制御する。
【００４８】
なお、多重解像度の各帯域における設定は同一である必要はなく、高域における設定と低域における設定が異なっていても良い。例えば、各帯域画像信号について図７に示す条件を予め設定しておき、該条件に基づいて参照画像を生成しても良い。
また、ノイズのレベルによって多重解像度変換の縮小回数を予め設定しておき、入力画像信号のノイズの大きさに応じて多重解像度変換の縮小回数を決定してもよい。
さらに、ノイズ除去部５０３は、前述の各実施形態のどれか一つを選択するのではなく、パラメータによりいずれの実施形態に係るノイズ除去方法を選択することとしてもよい。例えば、撮像条件（ＩＳＯ感度等）に応じて、多重解像度変換における解像度変換の回数を変化させる。
【００４９】
以上のように、少なくともいずれかの実施形態に係るノイズ除去方法を採用して、撮像システムを構成することにより、入力画像の細かい構造の変化にも対応しつつ、ノイズに影響されない安定した方向判別を実現することができる。また、この構成をユーザ設定やＩＳＯ感度情報等により適宜変更することにより、撮像される画像のノイズレベルやユーザの好みに適した画像を得ることが可能な撮像システムとすることが可能となる。
【００５０】
なお、上述した各実施形態では、ノイズ除去装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、ノイズ除去装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を備えている。そして、ＣＰＵが上記記憶媒体に記録されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述のノイズ除去装置と同様の処理を実現させる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。
【００５１】
上記のソフトウェアによる具体的な処理について、図８に示すフローチャートに基づいて以下に説明する。
まず、入力画像信号は、多重解像度変換が行われることにより順次縮小され、複数の縮小画像が生成される（Ｓ１）。
次に、各縮小画像は、縮小前の画像サイズに拡大され（Ｓ２）、縮小前のそれぞれの画像との減算が行われることにより、ノイズ除去の対象となる帯域画像がそれぞれ作成される（Ｓ３）。
次に、作成された各帯域画像に対してノイズ除去処理が施される（Ｓ４）。
そして、ノイズ除去がされた後の各帯域画像は再合成され、再合成された画像は出力画像として出力される（Ｓ５）。
【００５２】
次にノイズ除去処理（Ｓ４）の詳細について主に図９を参照して説明する。ここでは、一例として、上述の処理において作成された複数の帯域画像のうち、図３に示される帯域画像２０４のノイズ除去処理について説明する。
まず、ノイズ除去処理では、エッジに沿った方向を判別するために、各方向について評価値の計算が行われる（Ｓ１１）。この処理では、高域画像２０７と低域画像２０８とを用いて参照画像を作成し、この参照画像の各方向について評価値の計算が行われる。
次に、各方向についての評価値に基づいて方向判別処理が行われる（Ｓ１２）。具体的には各評価値の中で最小値を検出し、該評価値に対応する方向にはエッジが存在しないと判断される。これにより、該評価値に対応する方向はエッジに沿った方向であると判定される。
次に、方向判別処理の結果が示すエッジの方向に基づきフィルタ係数等が決定され、ノイズ除去の対象となる帯域画像２０４に対してフィルタ処理が施される（Ｓ１３）。
次に、各方向についての評価値に基づいて平坦度判別処理が行われる（Ｓ１４）。具体的には、各評価値の中で最大値を検出し、該評価値が大きければ注目画素周辺に強いエッジ信号が存在することとなり、該評価値が小さければ強いエッジ信号が存在しないと判断される。これにより、注目画素が平坦部に位置するのか、あるいはエッジ部に位置するのかを表す平坦度が判定される。
次に、フィルタ処理が施された帯域画像に対して、微小信号をゼロにするようなコアリング処理が行われ、ノイズ除去がされた帯域画像２０６として出力される（Ｓ１５）。
【００５３】
なお、上記の例において、多重解像度変換の一段目の処理において作成される帯域画像２０４について説明したが、多重解像度変換の二段目以降の処理において作成される各帯域画像においても同様の処理が行われる。
さらに、上記において、第２の実施形態に対応するノイズ除去方法について説明したが、他の実施形態についても同様に、ソフトウェアにて処理することが可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の第１の実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
【図２】図１のノイズ除去装置のコアリング閾値と平坦度判別結果との関係を示すグラフである。
【図３】本発明の第２の実施形態に係るノイズ除去装置が備える機能を展開して示した機能ブロック図である。
【図４】図３に示すノイズ除去装置のＮＲ処理部の機能ブロック図である。
【図５】方向判別処理部の動作を説明する図である。
【図６】本発明の第３の実施形態に係る撮像システムの概略構成図である。
【図７】画素ブロックの生成方法の条件を示す条件設定表である。
【図８】本発明に係るノイズ除去方法のフローチャートである。
【図９】図８におけるノイズ除去処理のフローチャートである。
【図１０】従来のノイズ除去装置が備える機能を展開して示した機能ブロック図である。
【符号の説明】
【００５５】
１００ 入力画像
１０１，３０１ 方向性フィルタ処理部
１０２，３０２ コアリング処理部
１０３，３０３ 評価値計算部
１０４，３０４ 評価値
１０５，３０５ 方向判別処理部
１０７，３０７ 平坦度判別処理部
２０４ 帯域画像
２０７ 高域画像
２０８ 低域画像
【特許請求の範囲】
【請求項１】
入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理を施し、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理を適用するノイズ除去装置であって、
複数の方向に関する評価値を計算する評価値計算手段と、
前記評価値からエッジ成分の方向を判別する方向判別処理手段と、
前記評価値から平坦部かエッジ部かを判別する平坦度判別処理手段と
前記方向判別処理手段の結果により前記フィルタ処理を施す方向性フィルタ処理手段と、
前記平坦度判別処理手段の結果により前記コアリング処理を行うコアリング処理手段と、
を備えたノイズ除去装置。
【請求項２】
入力された画像を少なくとも２つの帯域画像に分割し、各前記帯域画像それぞれについて、前記評価値を計算し、該評価値を用いて方向判別処理および平坦度判別処理を行う請求項１に記載のノイズ除去装置。
【請求項３】
前記評価値計算手段は、ノイズ除去の対象となる帯域画像の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像を用いて前記評価値を計算する請求項２に記載のノイズ除去装置。
【請求項４】
前記評価値計算手段は、ノイズ除去の対象となる帯域画像の周波数帯域よりも低域側の周波数の情報を含む第２の画像を用いて前記評価値を計算する請求項２に記載のノイズ除去装置。
【請求項５】
前記評価値計算手段は、ノイズ除去の対象となる帯域画像の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像と、該帯域画像の周波数帯域よりも低域側の周波数の情報を含む第２の画像との加重平均を行うことで算出した第３の画像を用いて前記評価値を計算する請求項２に記載のノイズ除去装置。
【請求項６】
前記評価値計算手段は、ノイズ除去の対象となる帯域画像の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像と、ノイズ除去の対象となる帯域画像の周波数帯域よりも低域側の周波数の情報を含む第２の画像と、前記第１の画像と前記第２の画像との加重平均を行うことで算出した第３の画像のうち少なくともいずれか１つを選択し、選択した画像を用いて前記評価値を計算する請求項２に記載のノイズ除去装置。
【請求項７】
前記評価値計算手段では、評価する方向について画素値変化の大きさに相当する評価値を計算し、
前記方向判別処理手段では、前記評価値の最小値を基にして方向判別をし、
前記平坦度判別処理手段では、前記評価値の最大値を基にして平坦度判別をする請求項１から６のいずれかに記載のノイズ除去装置。
【請求項８】
入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理と、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理とをコンピュータに実行させるノイズ除去プログラムであって、
複数の方向に関する評価値を計算する評価値計算処理と、
前記評価値からエッジ成分の方向を判別する方向判別処理と、
前記評価値から平坦部かエッジ部かを判別する平坦度判別処理と
を含み、
前記方向判別処理の結果に基づいた前記フィルタ処理と、前記平坦度判別処理の結果に基づいた前記コアリング処理とをコンピュータに実行させるノイズ除去プログラム。
【請求項９】
請求項１から７のいずれかに記載のノイズ除去装置を備える撮像システム。
【請求項１０】
入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理を施し、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理を適用するノイズ除去方法であって、
複数の方向に関する評価値を計算する評価値計算工程と、
前記評価値からエッジ成分の方向を判別する方向判別処理工程と、
前記評価値から平坦部かエッジ部かを判別する平坦度判別処理工程と
を有し、
前記方向判別処理工程の結果により前記フィルタ処理を制御し、前記平坦度判別処理工程の結果により前記コアリング処理を制御するノイズ除去方法。
【請求項１】
入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理を施し、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理を適用するノイズ除去装置であって、
複数の方向に関する評価値を計算する評価値計算手段と、
前記評価値からエッジ成分の方向を判別する方向判別処理手段と、
前記評価値から平坦部かエッジ部かを判別する平坦度判別処理手段と
前記方向判別処理手段の結果により前記フィルタ処理を施す方向性フィルタ処理手段と、
前記平坦度判別処理手段の結果により前記コアリング処理を行うコアリング処理手段と、
を備えたノイズ除去装置。
【請求項２】
入力された画像を少なくとも２つの帯域画像に分割し、各前記帯域画像それぞれについて、前記評価値を計算し、該評価値を用いて方向判別処理および平坦度判別処理を行う請求項１に記載のノイズ除去装置。
【請求項３】
前記評価値計算手段は、ノイズ除去の対象となる帯域画像の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像を用いて前記評価値を計算する請求項２に記載のノイズ除去装置。
【請求項４】
前記評価値計算手段は、ノイズ除去の対象となる帯域画像の周波数帯域よりも低域側の周波数の情報を含む第２の画像を用いて前記評価値を計算する請求項２に記載のノイズ除去装置。
【請求項５】
前記評価値計算手段は、ノイズ除去の対象となる帯域画像の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像と、該帯域画像の周波数帯域よりも低域側の周波数の情報を含む第２の画像との加重平均を行うことで算出した第３の画像を用いて前記評価値を計算する請求項２に記載のノイズ除去装置。
【請求項６】
前記評価値計算手段は、ノイズ除去の対象となる帯域画像の周波数帯域および該周波数帯域よりも低域側の周波数の情報を含む第１の画像と、ノイズ除去の対象となる帯域画像の周波数帯域よりも低域側の周波数の情報を含む第２の画像と、前記第１の画像と前記第２の画像との加重平均を行うことで算出した第３の画像のうち少なくともいずれか１つを選択し、選択した画像を用いて前記評価値を計算する請求項２に記載のノイズ除去装置。
【請求項７】
前記評価値計算手段では、評価する方向について画素値変化の大きさに相当する評価値を計算し、
前記方向判別処理手段では、前記評価値の最小値を基にして方向判別をし、
前記平坦度判別処理手段では、前記評価値の最大値を基にして平坦度判別をする請求項１から６のいずれかに記載のノイズ除去装置。
【請求項８】
入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理と、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理とをコンピュータに実行させるノイズ除去プログラムであって、
複数の方向に関する評価値を計算する評価値計算処理と、
前記評価値からエッジ成分の方向を判別する方向判別処理と、
前記評価値から平坦部かエッジ部かを判別する平坦度判別処理と
を含み、
前記方向判別処理の結果に基づいた前記フィルタ処理と、前記平坦度判別処理の結果に基づいた前記コアリング処理とをコンピュータに実行させるノイズ除去プログラム。
【請求項９】
請求項１から７のいずれかに記載のノイズ除去装置を備える撮像システム。
【請求項１０】
入力された画像に対して、該画像に含まれるエッジ成分の方向に応じたフィルタ処理を施し、前記画像の平坦部とエッジ部とで異なる特性を有するコアリング処理を適用するノイズ除去方法であって、
複数の方向に関する評価値を計算する評価値計算工程と、
前記評価値からエッジ成分の方向を判別する方向判別処理工程と、
前記評価値から平坦部かエッジ部かを判別する平坦度判別処理工程と
を有し、
前記方向判別処理工程の結果により前記フィルタ処理を制御し、前記平坦度判別処理工程の結果により前記コアリング処理を制御するノイズ除去方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−２９３４２５（Ｐ２００８−２９３４２５Ａ）
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願番号】特願２００７−１４０６７５（Ｐ２００７−１４０６７５）
【出願日】平成１９年５月２８日（２００７．５．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２０年１２月４日（２００８．１２．４）
【国際特許分類】
【出願日】平成１９年５月２８日（２００７．５．２８）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]