撮像装置、画像処理装置および画像処理方法
【課題】階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができる撮像装置を提供する。
【解決手段】本発明の撮像装置１０００は、撮像された画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行う。撮像装置１０００は、階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う階調補正処理部１０３と、画像信号を複数の周波数成分に分離するウェーブレット変換部１０６と、ウェーブレット変換部１０６により複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うコアリング処理部１０９と、コアリング閾値を階調補正カーブに基づいて設定するコアリング閾値設定部１０８とを備えている。コアリング処理部１０９は、コアリング閾値設定部１０８により設定されるコアリング閾値に基づいてコアリングを行う。
【解決手段】本発明の撮像装置１０００は、撮像された画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行う。撮像装置１０００は、階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う階調補正処理部１０３と、画像信号を複数の周波数成分に分離するウェーブレット変換部１０６と、ウェーブレット変換部１０６により複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うコアリング処理部１０９と、コアリング閾値を階調補正カーブに基づいて設定するコアリング閾値設定部１０８とを備えている。コアリング処理部１０９は、コアリング閾値設定部１０８により設定されるコアリング閾値に基づいてコアリングを行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行う撮像装置、画像処理装置および画像処理方法に関する。撮像装置は、主にデジタルスチルカメラやデジタルビデオカメラ等に代表される。
【背景技術】
【０００２】
一般的なデジタルカメラ等の撮像装置では、階調補正カーブ（トーンカーブ）を用いて撮像画像の明暗を強調することにより、画像のコントラストを強くしたり、弱くしたりする階調補正が行われている。階調補正カーブは、入力画像の画素値と出力画像の画素値とを互いに対応付ける。撮像装置では、階調補正カーブに表される入出力特性に基づいて、画像の明暗を対応付け、輝度信号等の信号を増幅または減衰させる変換処理が行われて、画像の階調補正がなされる。
【０００３】
ここで、ノイズが付加された画像に対して、上述の階調補正カーブを用いて階調補正を行うと、階調補正カーブに表される入出力特性次第では、本来強調したくないノイズ成分まで強調されてしまうことがあった。例えば、入力信号を増幅して出力信号を出力するように階調補正カーブが設定されていた場合、出力信号においては、もともと入力信号に含まれるノイズ成分も同じ比率で増幅されてしまい、本来強調したくないノイズ成分まで強調されてしまっていた。
【０００４】
従来、画像のノイズを低減する方法として、例えば、注目画素と周辺画素の画素値の加算平均を算出することによって、ローパスフィルタと呼ばれる平滑化フィルタを作用させて、ノイズとみなされた高周波成分を抑制することにより、画像のノイズを除去する方法が知られている。
【０００５】
また、画像のノイズを低減する別の方法として、多重解像度変換の１つであるウェーブレット変換（Wavelet Transform）を利用したノイズ低減方法が知られている。ウェーブレット変換を利用したノイズ低減方法の一例として、例えば、１９９４年にドノホ（Donoho）らにより提案されたウェーブレット縮退（Wavelet shrinkage）を利用した方法が知られている（例えば、非特許文献１参照）。このウェーブレット縮退を利用したノイズ低減方法では、次のようにして、画像のノイズを低減している。
【０００６】
まず、ウェーブレット変換を用いて、画像信号を低域周波数帯および高域周波数帯のサブバンドに分離して、更に低域周波数帯の画像信号に対して同様の分離処理を繰り返す。これにより、画像信号を周波数成分毎のサブバンドに分離することができる。次に、ウェーブレット変換で得られた画像の高域周波数成分に対して、絶対値の小さいウェーブレット変換係数はノイズ成分であるとみなして、コアリング処理を行う。コアリング処理では、ウェーブレット変換により得られたウェーブレット変換係数の絶対値が予め設定された閾値よりも小さい場合、当該ウェーブレット変換係数を０に置き換える処理を行う。そして、コアリング処理後に、画像の高域周波数成分および低域周波数成分に対してウェーブレット逆変換を行うことにより、信号が再構成される。これにより、ノイズが低減された画像が得られる。
【０００７】
なお、ウェーブレット変換を利用したノイズ低減法の一例が、例えば特許文献１にも開示されている。
【非特許文献１】中野宏毅、山本鎭男、吉田靖夫著、「ウェーブレットによる信号処理と画像処理」、初版、日本、共立出版、2004年4月10日 発行、p.101
【特許文献１】特開２００４−１７３０７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の撮像装置では、階調補正後のノイズ除去処理をローパスフィルタで行う場合、選択されたローパスフィルタの特性により、１つの画像に対して一律にノイズ除去の強さが決定されてしまう。また、ウェーブレット変換を利用する場合は、１つの画像に対して同一のコアリング閾値が適用されている。一方、ノイズ低減前に行われる階調補正では、階調補正カーブの入出力特性により、輝度毎にノイズ増幅の度合いが異なってくる。
【０００９】
このように、従来は、階調補正の際に生じるノイズ増幅の度合いが考慮されておらず、ノイズ増幅度合いの変化に拘らず、フィルタ係数やコアリング閾値が一律に決まっていたため、ノイズ増幅度合いに応じたノイズ低減を行えず、本来強調されて欲しくないノイズ成分を抑制できないことがあるという問題があった。
【００１０】
本発明は、上記従来の問題を解決するためになされたもので、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができる撮像装置、画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、撮像された画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うように構成された撮像装置であって、階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う階調補正部と、前記画像信号を複数の周波数成分に分離するウェーブレット変換部と、前記ウェーブレット変換部により前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うコアリング処理部と、前記コアリング処理部が前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するコアリング閾値設定部とを備え、前記コアリング処理部は、前記コアリング閾値設定部により設定される前記コアリング閾値に基づいて、前記コアリングを行う構成を有している。
【００１２】
この構成により、コアリングを行うためのコアリング閾値が、階調補正カーブに表される入出力特性に対応して設定される。階調補正によるノイズ増幅度合いは、階調補正の入出力特性に応じて変わる。従って、階調補正カーブに基づいて、コアリング閾値を設定することにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができる。
【００１３】
また、本発明の撮像装置は、前記コアリング閾値設定部が、前記階調補正カーブに基づき、ウェーブレット変換の対象領域の輝度に対応する階調補正の入出力比に応じて、前記コアリング閾値を調整する構成を有している。
【００１４】
この構成により、コアリングを行うためのコアリング閾値を、階調補正カーブに表される入出力比に応じて設定できるので、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができる。
【００１５】
また、本発明の撮像装置は、前記コアリング処理部により前記コアリングが行われた画像信号に対して、ウェーブレット逆変換を行って、画像信号を再構成するウェーブレット逆変換部を備えている。
【００１６】
この構成により、ウェーブレット変換され、コアリングが行われた各周波数成分から、階調補正を行う際に生じるノイズ増幅の度合いに応じてノイズ成分が抑制された画像を再構成できる。
【００１７】
また、本発明の画像補正装置は、画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うように構成された画像処理装置であって、階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う階調補正部と、前記画像信号を複数の周波数成分に分離するウェーブレット変換部と、前記ウェーブレット変換部により前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うコアリング処理部と、前記コアリング処理部が前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するコアリング閾値設定部とを備え、前記コアリング処理部は、前記コアリング閾値設定部により設定される前記コアリング閾値に基づいて、前記コアリングを行う構成を有している。
【００１８】
この構成は、撮像装置の画像処理技術に限定されない。すなわち、画像処理装置は、撮像装置に設けられても、設けられなくてもよい。そして、本発明の画像処理が、撮像装置で撮像された画像だけでなく、一般的な画像に対して施されてもよい。この構成によっても、上述した本発明の利点が得られる。
【００１９】
また、本発明の画像処理プログラムは、画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とをコンピュータに実行させる画像処理プログラムであって、階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行うステップと、前記画像信号を複数の周波数成分に分離するステップと、前記画像信号を分離するステップにより前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うステップと、前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するステップとを前記コンピュータに実行させ、前記コアリングを行うステップでは、前記コアリング閾値を設定するステップにより設定される前記コアリング閾値に基づいて、前記コアリングを行う構成を有している。
【００２０】
この構成も撮像装置に限定されない。この構成によっても、上述した本発明の利点が得られる。
【００２１】
また、本発明の別の態様は、上述の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２２】
また、本発明の画像処理方法は、画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うための画像処理方法であって、階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行うステップと、前記画像信号を複数の周波数成分に分離するステップと、前記画像信号を分離するステップにより前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うステップと、前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するステップとを含み、前記コアリングを行うステップでは、前記コアリング閾値を設定するステップにより設定される前記コアリング閾値に基づいて、前記コアリングを行う。
【００２３】
この画像処理方法の適用対象も、撮像装置に限定されない。この画像処理方法によっても、上述した本発明の利点が得られる。
【発明の効果】
【００２４】
本発明は、ウェーブレット変換を用いたノイズ低減におけるコアリング閾値を、階調補正カーブに表される入出力特性に基づいて設定することにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができるという効果を有する撮像装置、画像処理装置および画像処理方法を提供することができるものである。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態に係る撮像装置について、図を用いて説明する。
本発明の実施の形態に係る撮像装置のブロック図を図１に示す。図１に示されるように、本発明の実施の形態に係る撮像装置１０００は、撮像素子１０１と、画像メモリ１０２と、階調補正処理部１０３と、階調補正カーブ生成部１０４と、輝度信号生成部１０５と、ウェーブレット変換部１０６と、コアリング閾値制御カーブ生成部１０７と、コアリング閾値設定部１０８と、コアリング処理部１０９と、ウェーブレット逆変換部１１０と、画像表示部１１１とを備えている。
【００２６】
撮像素子１０１は、画像を撮像するためのもので、入力される被写体の画像を光電変換する。画像メモリ１０２は、撮像素子１０１で得られた画像を格納する。階調補正処理部１０３は、階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う。ここで、階調補正カーブはトーンカーブとも呼ばれ、階調補正の入出力特性を表すものである。階調補正カーブは、階調補正カーブ生成部１０４により生成される。なお、階調補正処理部１０３は、本発明の階調補正部に相当する。
【００２７】
階調補正カーブの一例を図２に示す。図２に示されるように、階調補正カーブでは、横軸が元画像の階調（入力信号の輝度Ｙａ）を示しており、左に行くほど画像の暗い部分であり、右に行くほど画像の明るい部分である。また、縦軸は、補正後の画像の階調（出力Ｙｂ）を示している。このように、階調補正カーブでは、入力信号の輝度Ｙａおよび出力Ｙｂが互いに関係付けられている。
【００２８】
従って、入力信号の輝度Ｙａが１つ決まると、出力Ｙｂが階調補正カーブに基づいて１つ決定される。図２において、ラインＡは画像信号のコントラストを強くする階調補正カーブであり、ラインＢは画像信号の変換前後でコントラストの変化の無い階調補正カーブであり、ラインＣは画像信号のコントラストを弱める階調補正カーブである。なお、図２で示される階調補正カーブは本実施態様を説明するための一例である。
【００２９】
階調補正カーブ生成部１０４は、画像に対して階調補正を行うための階調補正カーブを生成する。階調補正カーブを生成する際に、階調補正カーブ生成部１０４では、図２で示されるようなラインＡ、ラインＢ、ラインＣを事前に登録しておいてもよいし、ユーザがマニュアル操作により変更して、独自の階調補正カーブを作成してもよいし、ユーザが所望する画像が得られるように自動的に階調補正カーブを導き出してくれる何らかのアルゴリズムを適用してもよく、階調補正の基となる階調補正カーブを読み出すことが可能であれば、いかなる構成を適用しても構わない。
【００３０】
輝度信号生成部１０５は、画像メモリ１０２に格納されている画像に対して、輝度信号を生成する。輝度信号とは、画像の明るさ（輝度）を表す信号で、Ｙ信号とも呼ばれている。例えば、輝度信号をＹとし、３原色画像信号の大きさをＲ、Ｇ、Ｂとしたとき、輝度信号Ｙは、Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３という算出式を用いて算出することができる。なお、ここで示した輝度信号Ｙの算出式は、本実施形態を説明するための一例に過ぎず、輝度信号を例示した以外の算出式を用いて算出してもよい。
【００３１】
ここで、階調補正カーブによる入出力比を説明するための図を図３に示す。図３では、図２に示されたラインＡを階調補正カーブとしている。ここで、入力信号の輝度値Ｙａがαで、出力Ｙｂがβであるとする。この場合において、階調補正カーブにおける階調補正の入出力比Ｒは、Ｒ＝β／αとなる。
【００３２】
次に、図２で示されるラインＡを階調補正カーブとした場合の入出力信号の一例を、階調補正に伴うノイズ増幅度合いとともに、図４に示す。図４（ａ）は階調補正カーブにおける入力信号の輝度Ｙａと出力Ｙｂとの関係を示す図であって、入力信号の輝度別に階調補正が施されることを説明する図であり、図４（ｂ）は入力信号の輝度Ｙａ１、Ｙａ２、Ｙａ３と出力Ｙｂ１、Ｙｂ２、Ｙｂ３との関係を示す図である。
【００３３】
図４（ａ）に示されるように、階調補正カーブであるラインＡに基づいて、入力信号の各輝度Ｙａ１、Ｙａ２、Ｙａ３が出力Ｙｂ１、Ｙｂ２、Ｙｂ３に変換される。階調補正カーブは、上述した通り、階調補正の入出力特性を表している。例えば、入力信号の輝度Ｙａ１については、Ｙａ＝Ｙａ１の線とラインＡとが交わる点まで増幅され、出力Ｙｂ１に変換される。同様にして、入力信号の輝度Ｙａ２、Ｙａ２も出力Ｙｂ２、Ｙｂ３に変換される。このようにして、階調補正カーブによる階調補正が入力信号の輝度毎に行われ、出力信号が出力される。
【００３４】
ここで、図４（ａ）に示されるように、入力信号の輝度Ｙａには固定のノイズ成分Ｚａが含まれており、各入力信号の輝度Ｙａ１、Ｙａ２、Ｙａ３も同じノイズ成分Ｚａを含んでいる。
【００３５】
図４（ｂ）では、図内の左から右に向けて、入力信号の輝度Ｙａ１と出力Ｙｂ１との関係、入力信号の輝度Ｙａ２と出力Ｙｂ２との関係、入力信号の輝度Ｙａ３と出力Ｙｂ３との関係が示されている。
【００３６】
図４（ｂ）に示されるように、入力信号の輝度Ｙａの中に含まれているノイズ成分Ｚａが、階調補正の入出力比Ｒに応じて、増幅されている。すなわち、入力信号の輝度Ｙａ１が出力Ｙｂ１に変換されることにより、ノイズ成分Ｚａが、入力信号の輝度Ｙａ１に対応する入出力比Ｒ＝Ｙｂ１／Ｙａ１に応じて、ノイズ成分Ｚｂ１に増幅されている。同様に、入力信号の輝度Ｙａ２が出力Ｙｂ２に変換されることにより、ノイズ成分Ｚａが、入力信号の輝度Ｙａ２に対応する入出力比Ｒ＝Ｙｂ２／Ｙａ２に応じて、ノイズ成分Ｚｂ２に増幅されている。更に同様に、入力信号の輝度Ｙａ３が出力Ｙｂ３に変換されることにより、ノイズ成分Ｚａが、入力信号の輝度Ｙａ３に対応する階調補正の入出力比Ｒ＝Ｙｂ３／Ｙａ３に応じて、ノイズ成分Ｚｂ３に増幅されている。このように、入力信号の輝度が、階調補正カーブの入出力比に応じて増減されるとき、入力信号に含まれるノイズ成分も、階調補正カーブの入出力比に応じて増減される。輝度によって入出力比が異なるために、ノイズ増幅度合いも輝度によって変化する。なお、図の例のように、階調補正カーブが画像のコントラストを強めるラインＡである場合、輝度が小さい信号の方が、ノイズ増幅度合いが大きく、変換後のノイズ成分が大きくなっている。
【００３７】
ウェーブレット変換部１０６は、階調補正処理部１０３により階調補正された画像に対して、ウェーブレット変換を行う。ウェーブレット変換部１０６は、次のように画像信号を複数の周波数成分に分離することにより、階調補正された画像に対してウェーブレット変換を行う。ウェーブレット変換部１０６によるウェーブレット変換の一例を図に基づいて説明する。ｌｅｖｅｌ−１のウェーブレット変換過程図を図４に示す。ウェーブレット変換とは、一種のサブバンド符号化であり、多重解像度変換の１つである。ｌｅｖｅｌはサブバンド分解を行った回数を示し、ｌｅｖｅｌ−１では１回のサブバンド分解を行い、ｌｅｖｅｌ−２では２回のサブバンド分解を行っている。
【００３８】
図５に示されるように、ｌｅｖｅｌ−１のウェーブレット変換では、まず、ローパスフィルタ（ＬＰＦ）およびハイパスフィルタ（ＨＰＦ）を用いて、画像信号を低域周波数成分と高域周波数成分とに分離することにより、サブバンド分解している。更に、サブバンド分解後の画像信号の低域周波数成分および高域周波成分を、ＬＰＦおよびＨＰＦを用いて、サブバンド分解する。
【００３９】
このように、ＬＰＦによって低域信号成分を含む低周波帯域に、ＨＰＦによって高域信号成分を含む高周波帯域に、画像信号が順次サブバンド分解されて、低域信号成分（ＬＬとする）と水平、垂直、斜めの高域信号成分（それぞれをＨＬ、ＬＨ、ＨＨとする）を得ることができる。この際、１段目のＬＰＦおよびＨＰＦを用いたサブバンド分解では、画像に対して水平分割がなされ、２段目のＬＰＦおよびＨＰＦを用いたサブバンド分解では、画像に対して垂直分解がなされる。更に、低域信号成分に対して、次々に上記同様のサブバンド分解することにより、上位レベルのウェーブレット変換を行うことができる。
【００４０】
次に、ウェーブレット変換の計算方法を説明する。ここでは、Ｈａａｒ基底によるウェーブレット変換を例に、ウェーブレット変換の計算方法を図６、図７に基づいて説明する。Ｈａａｒ基底によるウェーブレット変換は、帯域分離の精度は低いが、フィルタ係数が「１」と「−１」の２つのみで構成されている点で、簡素な変換手法の一つとして知られている。
【００４１】
図６はウェーブレット変換前後の過程を示す図であって、図６（ａ）は元画像を示す図であり、図６（ｂ）はｌｅｖｅｌ−１のウェーブレット変換後の各周波数成分の分離状態を示す図であり、図６（ｃ）はｌｅｖｅｌ−２のウェーブレット変換後の各周波数成分の分離状態を示す図である。図６（ａ）および図６（ｂ）に示されるように、元画像の画像信号に対してウェーブレット変換を行うことにより、１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨの各周波数成分に分離される。ここで、ＬＬ、ＬＨ、ＨＬ、ＨＨの前に付された数字は、ウェーブレット変換のレベルを示している。また、ｌｅｖｅｌ−２のウェーブレット変換では、ｌｅｖｅｌ−１のウェーブレット変換後の画像信号の低域成分１ＬＬに対して、更にウェーブレット変換を行う。この結果、図６（ｃ）に示されるように、ｌｅｖｅｌ−１のウェーブレット変換後の画像信号の低域成分１ＬＬが、２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨの各周波数成分に分離される。
【００４２】
ウェーブレット変換の対象領域が水平２段、垂直２段の構成の場合について、ウェーブレット変換後の画素信号の各周波数成分の算出式について説明する。ウェーブレット変換の対象領域が水平２段、垂直２段の構成の場合における２次元の水平・垂直２画素の各成分を示す図を図７（ａ）に示す。また、ウェーブレット変換後の高域信号成分および低域信号成分を算出するための計算式を示す図を図７（ｂ）に示す。
【００４３】
図７（ａ）に示されるように、２次元の水平・垂直２画素の成分を［Ａ、Ｂ、Ｃ、Ｄ］と表すことができる。そして、この場合において、ｌｅｖｅｌ−１のウェーブレット変換後の画像信号の低域成分ＬＬは、図７（ｂ）に示されるように、ＬＬ＝Ａ＋Ｂ＋Ｃ＋Ｄの算出式によって算出することができる。また、水平、垂直、斜めの各高域信号成分ＨＬ、ＬＨ、ＨＨは、ＨＬ＝Ａ−Ｂ＋Ｃ−Ｄ、ＬＨ＝Ａ＋Ｂ−Ｃ−Ｄ、ＨＨ＝Ａ−Ｂ−Ｃ＋Ｄの算出式によって算出することができる。ＬＬ、ＨＬ、ＬＨ、ＨＨはウェーブレット係数やウェーブレット変換係数とも呼ばれる。なお、図７（ｂ）で示される各算出式では、ＬＬ、ＬＨ、ＨＬ、ＨＨの前に付されるべきウェーブレット変換のレベルの表示を省略している。
【００４４】
図６（ｃ）で示されたｌｅｖｅｌ−２のウェーブレット変換後の画像信号の低域成分２ＬＬおよび高域成分２ＨＬ、２ＬＨ、２ＨＨも、図７（ｂ）に示される算出式に準じて算出することができる。
【００４５】
以上のとおり、ウェーブレット変換部１０６は、画像信号を複数の周波数成分ＬＬ、ＨＬ、ＬＨ、ＨＨに分離する。この際、ウェーブレット変換部１０６は、２次元の水平・垂直２画素の各成分［Ａ、Ｂ、Ｃ、Ｄ］から画像信号の各周波数成分［ＬＬ、ＨＬ、ＬＨ、ＨＨ］を算出する。
【００４６】
コアリング閾値制御カーブ生成部１０７は、コアリング処理部１０９が行うコアリング処理の閾値（コアリング閾値とする）の制御の基となる特性カーブ（コアリング閾値制御カーブとする）を生成する。コアリング閾値制御カーブは、コアリング閾値設定部１０８がコアリング閾値を設定する際に用いられる。なお、コアリング閾値の設定およびコアリング処理については、コアリング閾値設定部１０８およびコアリング処理部１０９の説明にて、詳しく説明する。
【００４７】
ここで、コアリング閾値制御カーブは、下記の本発明の原理に従って、コアリング閾値を可変制御するためのものである。上述の図４（ｂ）を用いて説明したように、階調補正処理部１０３により階調補正カーブに基づいて階調補正された後は、固定のノイズ成分Ｚａも、階調補正カーブに基づき、入力信号の輝度に対応する階調補正の入出力比Ｒ＝β／αに応じて増幅される。そのため、輝度が小さいほど、変換後のノイズ成分が大きくなる場合がある。従って、ノイズ低減のためのコアリングを行うためのコアリング閾値を設定する際に、階調補正による変換結果が反映されるように、階調補正カーブの特性に基づいて、コアリング閾値を設定することにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、適応的なノイズ低減が可能となる。図４（ｂ）で示した例では、輝度が小さい方が、変換後のノイズ成分が大きくなるので、ノイズ低減のためのコアリング閾値は低輝度側で大きくする必要があることが分かる。
【００４８】
コアリング閾値制御カーブを階調補正カーブとの関係で具体的に示した図を図８に示す。図８（ａ）は、コントラストを強める階調補正カーブＭを用いた場合におけるコアリング閾値制御カーブの一例を示す図であって、ここでの階調補正カーブＭは図２で示されるラインＡに対応している。図８（ｂ）は、コントラストを弱める階調補正カーブＮを用いた場合におけるコアリング閾値制御カーブの一例を示す図であって、ここでの階調補正カーブＮは図２で示されるラインＣに対応している。
【００４９】
図８（ａ）および図８（ｂ）において、Ｒ＝β／α（点線）は、階調補正カーブＭ、Ｎから得られる入出力比のカーブである。コアリング閾値制御カーブＲｓは、入出力比のカーブＲに沿って、コアリング閾値制御カーブＲｓが入出力比のカーブＲと一致するように設定される。ただし、図示のように、入力信号の輝度が低い領域では、コアリング閾値制御カーブＲｓが調整され、これによりコアリング閾値制御カーブＲｓが入出力比のカーブＲから離れる。なお、以下の説明では、コアリング制御閾値制御カーブＲｓ上の点の値も、同じ符号を用いて、コアリング閾制御値Ｒｓと呼ぶ。
【００５０】
上記の低輝度領域でのコアリング閾値制御カーブＲｓの調整について説明する。図８（ａ）に示されるように、入力信号の輝度値が低い場合、階調補正カーブＭにおける階調補正カーブＭにおける入出力比Ｒの値が極端に大きくなり過ぎる場合がある。また、図８（ｂ）に示されるように、入力信号の輝度値が低い場合、階調補正カーブＮにおける入出力比Ｒの値が極端に小さくなり過ぎる場合がある。これに対して、極端に信号成分が小さく、輝度値が低い場合には、階調補正カーブによっては変換されたノイズ成分の変化が小さい場合がある。そこで、図示のように、輝度値が０のときのＲｓを適当な値（図の例ではＲｓ＝１）に設定する。そして、この点（輝度＝０、Ｒｓ＝１）を、入出力比Ｒのカーブと直線で結んで、コアリング閾値制御カーブＲｓを生成する。
【００５１】
コアリング閾値制御カーブＲｓは、具体的には、下記のようにして生成される。上記のように、輝度値０のときのＲｓを１とする（図８（ａ）のｉ１、図８（ｂ）のｊ１）。また、入出力比Ｒを所定輝度値以上で有効にするための閾値を設定する。この閾値をＲ有効化閾値と呼ぶ。有効化はＲ＝Ｒｓにすることを意味し、Ｒ有効化閾値は、Ｒ＝Ｒｓの範囲の開始端の輝度値である。輝度値がＲ有効化閾値のときのＲｓが、図８（ａ）のｉ２、図８（ｂ）のｊ２に相当する。さらに、入出力比ＲをＲｓとしてサンプリングする間隔を決めるパラメータを設定する。上記のＲ有効化閾値が開始点とされて、このサンプリング間隔で入出力比ＲがＲｓとして順次算出される（図８（ａ）のｉ３、ｉ４、ｉ５・・・、図８（ｂ）のｊ３、ｊ４、ｊ５・・・）。これらの点が結ばれて、コアリング閾値制御カーブが生成される。
【００５２】
なお、Ｒ有効化閾値は、上記のように入出力比のカーブＲとコアリング閾値制御カーブＲｓが同一になる開始点である。このＲ有効化閾値および上記のサンプリング間隔は自由に決めることが可能である。Ｒ有効化閾値に応じて、低輝度側のどの範囲でコアリング閾値制御カーブＲｓを入出力比Ｒから離れさせるかが決まる。また、サンプリング間隔により、コアリング閾値Ｒｓの設定の細かさが変わる。そこで、要求される処理精度等に応じて、Ｒ有効化閾値とサンプリング間隔が設定される。
【００５３】
コアリング閾値制御カーブを生成する処理を図９に示す。図９に示されるように、まず、コアリング閾値制御カーブ生成部１０７は、階調補正カーブの入出力特性により、階調補正カーブの入出力比Ｒ＝β／αを計算し、当該Ｒの値を順次プロットして、Ｒカーブを作成する（ステップ（以下、Ｓと称する）９０１）。次に、Ｒカーブを基に、実際にコアリング閾値の制御の基となるＲｓを作成する（Ｓ９０２）。ここでは、コアリング閾値制御カーブ生成部１０７は、輝度値が０の時はＲｓ＝１と設定し、事前に設定してあるサンプリング開始輝度の閾値（上述のＲ有効化閾値）とサンプリング間隔とを読み込み、この設定を基にＲｓをサンプリングして、その結果を結ぶことにより、コアリング閾値制御カーブＲｓとする。
【００５４】
図８（ａ）および図８（ｂ）に示す例では、有効輝度値（Ｒ有効化閾値）を４０、サンプリング間隔を２０としたコアリング閾値制御カーブＲｓを示している。図８（ａ）に示す例では、入力信号の輝度値が０に対応する点ｉ１、有効輝度値に対応する点ｉ２およびサンプリングした結果である各点ｉ３〜ｉ１３を結ぶことにより、コアリング閾値制御カーブＲｓが生成される。図８（ｂ）に示す例では、入力信号の輝度値が０に対応する点ｊ１、有効輝度値に対応する点ｊ２およびサンプリングした結果である各点ｊ３〜ｊ１３を結ぶことにより、コアリング閾値制御カーブＲｓが生成される。
【００５５】
コアリング閾値設定部１０８は、コアリング閾値制御カーブＲｓに基づいて、コアリング処理部１０９がコアリングを行うためのコアリング閾値Ｔｈｒを生成する。この際、コアリング閾値設定部１０８は、ウェーブレット変換部１０６でウェーブレット変換する対象領域の平均輝度値Ｙａｖｅを、前述の輝度信号生成部１０５により生成された輝度信号から計算し、また、コアリング閾値制御カーブ生成部１０７により生成されたコアリング閾値制御カーブＲｓを読み出す。そして、コアリング閾値設定部１０８は、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅに対応するＲｓ値から、コアリング閾値Ｔｈｒを設定する。コアリング閾値Ｔｈｒは、上述の通り、コアリング処理部１０９がコアリングを行う際に用いる閾値である。
【００５６】
コアリング閾値Ｔｈｒは、Ｒｓ値から下記のように計算される。対象画像に対して、デフォルトとして持っているコアリング閾値をＴｈｄｅｆとする。Ｔｈｄｅｆは、予め設定され、記憶されていてよい。コアリング閾値制御カーブＲｓと、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅとから求められる値をＲｓ’とする。Ｒｓ’は、Ｙａｖｅに対応するコアリング閾値制御カーブＲｓ上の値である。そして、実際にコアリングに使用されるコアリング閾値Ｔｈｒは、Ｔｈｒ＝Ｔｈｄｅｆ×Ｒｓ’×ｔの算出式により算出される。ここで、ｔは微調整用係数である。
【００５７】
コアリング閾値設定部により生成されたコアリング閾値Ｔｈｒの一例を図１０に示す。図１０（ａ）はコントラストを強める階調補正カーブを用いた場合におけるコアリング閾値の一例を示す図であり、図１０（ｂ）はコントラストを弱める階調補正カーブを用いた場合におけるコアリング閾値の一例を示す図である。図１０（ａ）では、図８（ａ）に示されたコアリング閾値制御カーブＲｓを基に、Ｔｈｄｅｆ＝５、ｔ＝０．５とした際に算出されたコアリング閾値Ｔｈｒが、横軸を輝度とした曲線で示されている。図１０（ｂ）では、図８（ｂ）に示されたコアリング閾値制御カーブＲｓを基に、Ｔｈｄｅｆ＝５、ｔ＝０．５とした際に算出されたコアリング閾値Ｔｈｒが、横軸を輝度とした曲線で示されている。
【００５８】
図１０（ａ）および図１０（ｂ）に示されるように、コアリング閾値Ｔｈｒは、輝度に応じて変化する曲線で表され、コアリング閾値制御カーブＲｓに基づいて設定されている。また、コアリング閾値制御カーブＲｓは、階調補正カーブにおける階調補正の入出力比Ｒ＝β／αに基づいて設定されているので、コアリング閾値Ｔｈｒは、階調補正カーブにおける階調補正の入出力比Ｒ=β／αに基づいて設定されている。従って、コアリング閾値設定部１０８は、階調補正カーブにおける階調補正の入出力比Ｒ＝β／αに応じて、コアリング閾値Ｔｈｒを調整することができる。
【００５９】
ここで、図４（ａ）および図４（ｂ）を用いて説明したように、入力信号の輝度の中に含まれているノイズ成分は、階調補正カーブにおける階調補正の入出力比Ｒ＝β／αに応じて増幅されている。従って、コアリング閾値設定部１０８は、コアリング閾値Ｔｈｒを設定する際に、階調補正カーブにおける階調補正の入出力比Ｒ＝β／αを反映することにより、階調補正を行う際に生じるノイズの増幅度合いに応じたコアリング閾値Ｔｈｒを設定することができる。すなわち、階調補正を行う際に生じるノイズの増幅度合いに応じて、ノイズ成分が大きくなる場合には、ノイズ除去または低減の強度を決定するコアリング閾値Ｔｈｒを大きくする方向に作用させ、ノイズ成分が小さくなる場合には、コアリング閾値Ｔｈｒを小さくする方向に作用させることができる。これにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、適応的なノイズ低減が可能となる。
【００６０】
コアリング閾値を設定する処理を図１１に示す。図１１に示されるように、コアリング閾値設定部１０８は、まず、ウェーブレット変換の対象領域の画素の平均輝度値Ｙａｖｅを求める（Ｓ１１０１）。次に、コアリング閾値設定部１０８は、コアリング閾値制御カーブ生成部１０７により生成されたコアリング閾値制御カーブＲｓを読み出し、Ｙａｖｅに対応するコアリング閾値制御カーブ値Ｒｓ’を求める（Ｓ１１０２）。次に、コアリング閾値設定部１０８は、本画像にデフォルトとして設定されているコアリング閾値Ｔｈｄｅｆと微調整用係数ｔを読み出す（Ｓ１１０３）。そして、コアリング閾値設定部１０８は、コアリング閾値ＴｈｒをＴｈｒ＝Ｔｈｄｅｆ×Ｒｓ’×ｔの算出式から計算する（Ｓ１１０４）。以上のようにして、コアリング閾値設定部１０８は、コアリング閾値Ｔｈｒを、輝度値に応じて変化する曲線で設定する。
【００６１】
ここで、コアリング処理部１０９がコアリングに実際に使用するコアリング閾値Ｔｈｒは、次のように、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅ毎に設定される。コアリング閾値Ｔｈｒがウェーブレット変換の対象領域の平均輝度値Ｙａｖｅ毎に設定されることを具体的に説明するための図を図１２に示す。図１２では、図１１（ａ）の結果に基に、ウェーブレット変換の対象領域の平均輝度値ＹａｖｅがＹａｖｅ＝５０、１５０であったときのコアリング閾値Ｔｈｒを示している。
【００６２】
図１２に示されるように、例えば、ウェーブレット変換の対象領域の平均輝度値ＹａｖｅがＹａｖｅ＝５０である場合、コアリング閾値ＴｈｒがＴｈｒ＝Ｔｈａに設定される。同様にして、例えば、ウェーブレット変換の対象領域の平均輝度値ＹａｖｅがＹａｖｅ＝１５０である場合、コアリング閾値ＴｈｒがＴｈｒ＝Ｔｈｂに設定される。このように、コアリング処理部１０９がコアリングに実際に使用するコアリング閾値Ｔｈｒは、コアリング閾値設定部１０８により、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅ毎に設定される。
【００６３】
図１２では、より詳細には、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅ毎に階調補正の入出力比Ｒ＝β／αが異なっており、この入出力比Ｒからコアリング閾値が設定される。従って、コアリング閾値Ｔｈｒが、ウェーブレット変換の対象領域毎の輝度に対する階調補正の入出力比Ｒに応じて設定できる。
【００６４】
コアリング処理部１０９は、コアリング閾値設定部１０８により設定されるコアリング閾値Ｔｈｒに基づいて、ウェーブレット変換部１０６により複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行う。ここでは、コアリング処理部１０９は、ウェーブレット変換で得られた画像の高域周波数成分に対して、コアリング処理を行う。コアリング処理では、ウェーブレット変換により得られたウェーブレット変換係数の絶対値がコアリング閾値Ｔｈｒよりも小さい場合、当該ウェーブレット変換係数を０に置き換える処理を行う。
【００６５】
具体的には、コアリング処理部１０９は、ウェーブレット変換部１０６で分離された画像の高域成分信号と、コアリング閾値設定部１０８により設定されたコアリング閾値Ｔｈｒとを用いて、画像の高域成分に対して、コアリング処理を行う。コアリング処理部１０９は、画像の高域成分の係数（ウェーブレット係数、ウェーブレット変換係数）の絶対値がコアリング閾値よりも小さい値の係数を０に置き換えることによってコアリング処理を行い、画像に含まれるノイズを低減する。なお、上記画像の高域成分は、例えば、図６（ｂ）において、１ＨＬ、１ＬＨ、１ＨＨであり、図６（ｃ）において、１ＨＬ、１ＬＨ、１ＨＨ、２ＨＬ、２ＬＨ、２ＨＨである。
【００６６】
コアリング閾値に基づいたコアリング処理におけるコアリング入出力特性の一例を図１３に示す。図１３には、図１２の結果を基に設定されたコアリング閾値Ｔｈａ、Ｔｈｂに基づいてコアリングを行った際のコアリング入出力特性が示されている。図１３（ａ）には、コアリング閾値Ｔｈａに基づくコアリング入出力特性であり、図１３（ｂ）には、コアリング閾値Ｔｈｂに基づくコアリング入出力特性である。図１３（ａ）および図１３（ｂ）では、横軸を入力（ｉｎ）、縦軸を出力（ｏｕｔ）としている。
【００６７】
図１３（ａ）および図１３（ｂ）に示されるように、コアリング処理部１０９によるコアリング処理において、入力される係数（ウェーブレット係数、ウェーブレット変換係数）の値がコアリング閾値Ｔｈａ、Ｔｈｂの絶対値以下の場合、当該入力される係数の値は０に置き換えられる。一方、入力される係数（ウェーブレット係数、ウェーブレット変換係数）の値がコアリング閾値Ｔｈａ、Ｔｈｂの絶対値よりも大きい場合は、出力係数は入力係数からコアリング閾値Ｔｈａ、Ｔｈｂを減算した値になる（入力係数が負のときはコアリング閾値Ｔｈａ、Ｔｈｂが加算される）。このようなコアリング処理は、ソフトコアリングと呼ばれている。
【００６８】
ウェーブレット逆変換部１１０は、コアリング処理部１０９によりコアリングが行われた画像信号に対して、ウェーブレット逆変換を行って、画像信号を再構成する。詳細には、ウェーブレット逆変換部１０９は、コアリング処理部１０９によりコアリングされた高域成分と、ウェーブレット変換部１０６で得られた低域成分とを用いて、ウェーブレット逆変換を行って、画像信号を再構成する。
【００６９】
ウェーブレット逆変換部１１０によるウェーブレット逆変換の一例を図に基づいて説明する。ｌｅｖｅｌ−１のウェーブレット逆変換過程図を図１４に示す。図１４に示されるように、帯域分割により得られた画像信号の各周波数成分ＬＬ、ＬＨ、ＨＬ、ＨＨから、ウェーブレット変換時のサブバンド分割過程で使用した基底関数から生成される再構成用のＬＰＦ’とＨＰＦ’とを用いて、画像信号を再構成することができる。まず、ＬＰＦ’を通過した低域成分ＬＬと、ＨＰＦ’を通過した垂直高域成分ＬＨとが合成され、ＬＰＦ’を通過した水平高域成分ＨＬと、ＨＰＦ’を通過した斜め高域成分ＨＨとが合成される。そして、低域成分ＬＬおよび垂直高域成分ＬＨの合成信号がＬＰＦ’を通過し、水平高域成分ＨＬおよび斜め高域成分ＨＨの合成信号がＨＰＦ’を通過し、ＬＰＦ’、ＨＰＦ’を通過した各合成信号を合成すると、再構成信号として、画像信号が再構成される。
【００７０】
次に、ウェーブレット逆変換の実際の計算方法の例を説明する。ここでは、図５、図６を用いて説明したＨａａｒ基底を用いる。そして、ｌｅｖｅｌ−１のウェーブレット変換を行うことにより得られた結果である各周波数成分［ＬＬ、ＬＨ、ＨＬ、ＨＨ］から２次元の水平・垂直２画素の成分［Ａ、Ｂ、Ｃ、Ｄ］を再構成する計算方法を図１５、図１６を用いて説明する。
【００７１】
図１５はウェーブレット逆変換前後の過程を示す図であって、図１５（ａ）はｌｅｖｅｌ−１のウェーブレット変換後の各周波数成分の分離状態を示す図であり、図１５（ｂ）は再構成後の元画像を示す図である。図１５（ａ）および図１５（ｂ）に示されるように、ウェーブレット変換されている画像信号の各周波数成分１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨに対して、ウェーブレット逆変換を行うことにより、元画像が再構成される。ここで、ＬＬ、ＬＨ、ＨＬ、ＨＨの前に付された数字は、ウェーブレット変換のレベルを示している。
【００７２】
ウェーブレット変換の対象領域が水平２段、垂直２段の構成であった場合について、ウェーブレット逆変換後の画素の成分の算出式について説明する。ウェーブレット変換の対象領域が水平２段、垂直２段の構成の場合における再構成画像を、図１６（ａ）に示す。
図１６（ａ）に示されるように、２次元の水平・垂直２画素の成分［Ａ、Ｂ、Ｃ、Ｄ］となっており、図７（ａ）と同じ構成となっている。このときの画素の成分［Ａ、Ｂ、Ｃ、Ｄ］の算出式を図１６（ｂ）に示す。
【００７３】
図１６（ｂ）に示されるように、［Ａ、Ｂ、Ｃ、Ｄ］の各画素の成分は、Ａ＝（ＬＬ＋ＨＬ＋ＬＨ＋ＨＨ）／４、Ｂ＝（ＬＬ―ＨＬ＋ＬＨ―ＨＨ）／４、Ｃ＝（ＬＬ＋ＨＬ―ＬＨ―ＨＨ）／４、Ｄ＝（ＬＬ―ＨＬ―ＬＨ＋ＨＨ）／４の算出式によって算出することができる。以上の通り、ウェーブレット逆変換部１１０は、コアリング処理部１０９によりコアリングが行われた画像信号に対して、ウェーブレット逆変換を行って、画像信号を再構成する。この際、ウェーブレット逆変換部１１０は、画像信号の各周波数成分［ＬＬ、ＬＨ、ＨＬ、ＨＨ］から２次元の水平・垂直２画素の成分［Ａ、Ｂ、Ｃ、Ｄ］を算出する。
【００７４】
ここで、図１６（ｂ）で示される各算出式では、ＬＬ、ＬＨ、ＨＬ、ＨＨの前に付されるべきウェーブレット変換のレベルの表示を省略している。なお、高域分割により得られた画像信号の各周波数成分がｌｅｖｅｌ−２以上のウェーブレット変換により得られていた場合、上位ｌｅｖｅｌから再構成されたＬＬ成分と、下位ｌｅｖｅｌの高域成分を、図１６（ｂ）で示される算出式に従って同様に、順次ウェーブレット逆変換を施すことにより、画像を再構成することができる。
【００７５】
画像表示部１１１は、ウェーブレット逆変換部１１０によって、ウェーブレット逆変換された画像を表示する。画像表示部１１１は例えば液晶表示装置や有機ＥＬ表示装置などにより構成される。
【００７６】
次に、本発明の実施の形態に係る撮像装置の動作説明を行う。本発明の実施の形態に係る撮像装置の動作フローを図１７に示す。図１７に示されるように、まず、撮像素子１０１が被写体画像を撮像する（Ｓ１７０１）。撮像素子１０１により撮像された画像は、画像メモリ１０２に格納される。次に、階調補正処理部１０３が、画像メモリ１０２に格納されている画像に対して、画像信号のコントラストを補正する階調補正を行う（Ｓ１７０２）。このとき、階調補正処理部１０３は、階調補正カーブ生成部１０４により生成された階調補正カーブに基づいて、輝度信号生成部１０５により生成された輝度信号を、階調補正後の出力に変換する。ここで、図４（ａ）および図４（ｂ）を用いて説明したように、入力信号の輝度が、階調補正カーブにおける階調補正の入出力比Ｒに応じて増減される。また、入力信号に含まれるノイズ成分も、階調補正カーブにおける階調補正の入出力比Ｒに応じて増減される。
【００７７】
次に、ウェーブレット変換部１０６が、階調補正処理部１０３により階調補正された画像信号に対して、複数の周波数成分に分離するウェーブレット変換を行う（Ｓ１７０３）。ここでは、ウェーブレット変換部１０６は、画像信号を低域周波数成分および高域周波数成分に分離することにより、サブバンド分解する。例えばウェーブレット変換部１０６がｌｅｖｅｌ−１のウェーブレット変換を行うことにより、図５および図６（ｂ）に示されるように、低域信号成分（ＬＬ）と水平、垂直、斜めの高域信号成分（ＨＬ、ＬＨ、ＨＨ）とを得ることができる。また、図７で説明したように、ウェーブレット変換部１０６は、階調補正処理部１０３により階調補正された画像信号に対してウェーブレット変換を行うことにより、各周波数成分ＬＬ、ＨＬ、ＬＨ、ＨＨを算出する。
【００７８】
次に、コアリング閾値設定部１０８がコアリング閾値を設定し（Ｓ１７０４）、コアリング処理部１０９が、コアリング閾値設定部１０８により設定されたコアリング閾値Ｔｈｒに基づいて、ウェーブレット変換部１０６により分離された画像信号に対して、ノイズ低減のためのコアリングを行う（Ｓ１７０５）。コアリング閾値設定部１０８は、上述の通り、ウェーブレット変換部１０６でウェーブレット変換する対象領域の平均輝度値Ｙａｖｅを、輝度信号生成部１０５により生成された輝度信号から計算し、コアリング閾値制御カーブ生成部１０７により生成されたコアリング閾値制御カーブＲｓを読み出し、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅに対応するＲｓ値からコアリング閾値Ｔｈｒを設定する。コアリング処理部１０９は、図１３（ａ）および図１３（ｂ）を用いて例示したように入力される係数（ウェーブレット係数、ウェーブレット変換係数）の値がコアリング閾値の絶対値よりも小さい場合、当該入力される係数の値を０に置き換えて出力する。コアリング処理部１１０によるコアリング処理は、ウェーブレット変換により分離された画像の周波数成分毎に行われる。
【００７９】
ここで、上述の通り、コアリング閾値設定部１０８は、コアリング閾値Ｔｈｒを設定する際に、階調補正カーブにおける階調補正の入出力比Ｒ＝β／αを反映することにより、階調補正を行う際に生じるノイズの増幅度合いに応じたコアリング閾値Ｔｈｒを設定することができる。すなわち、階調補正を行う際に生じるノイズの増幅度合いに応じて、ノイズ成分が大きくなる場合には、ノイズ除去または低減の強度を決定するコアリング閾値Ｔｈｒを大きくする方向に作用させ、ノイズ成分が小さくなる場合には、コアリング閾値Ｔｈｒを小さくする方向に作用させることができる。これにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、適応的なノイズ低減が可能となる。
【００８０】
次に、ウェーブレット逆変換部１１０が、コアリング処理部１０９によりコアリングされた画像の各周波数成分に対して、ウェーブレット逆変換を行って、画像を再構成する（Ｓ１７０６）。ここでは、ウェーブレット逆変換部１０９は、コアリング処理部１０９によりコアリングされた高域成分と、ウェーブレット変換部１０６で得られた低域成分とを用いて、ウェーブレット逆変換を行って、画像信号を再構成する。これにより、図１５、図１６に例示したように、例えばＨａａｒ基底によるｌｅｖｅｌ−１のウェーブレット変換を行うことにより得られた結果である各周波数成分［ＬＬ、ＬＨ、ＨＬ、ＨＨ］から２次元の水平・垂直２画素の成分［Ａ、Ｂ、Ｃ、Ｄ］を再構成して、元画像を再構成する。これにより、ウェーブレット変換され、コアリングが行われた輝度信号の各周波数成分を合成でき、階調補正を行う際に生じるノイズ増幅の度合いに応じてノイズ成分が抑制された画像を再構成できる。
【００８１】
次に、ウェーブレット逆変換部１１０のウェーブレット逆変換によって再構成された画像が、画像表示部１１１により表示される（Ｓ１７０７）。
【００８２】
以上のようにして、本発明の実施の形態に係る撮像装置１０００によれば、ノイズ低減のためのコアリングを行うためのコアリング閾値Ｔｈｒが、コアリング閾値設定部１０８により、階調補正カーブに基づいて設定される。階調補正によるノイズ増幅度合いは、階調補正カーブの入出力特性に応じて変わる。従って、階調補正の入出力特性に応じてコアリング閾値を設定することにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができる。この結果、ノイズ除去不足や高域成分の過度の除去によるボケが軽減され、また、ノイズの強調を抑えつつ、適用した階調補正カーブによる階調補正の効果を反映した画像を得ることが可能となる。
【００８３】
また、本発明の実施の形態に係る撮像装置１０００によれば、ノイズ低減のためのコアリングを行うためのコアリング閾値が、コアリング閾値設定部１０８により、階調補正カーブに基づき、ウェーブレット変換の対象領域の輝度に対応する階調補正の入出力比Ｒに応じて調整されるので、コアリングを行うためのコアリング閾値Ｔｈｒを、階調補正カーブに表される階調補正の入出力比Ｒに応じて設定でき、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができる。
【００８４】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００８５】
上記実施の形態では、本発明に係る撮像装置、画像処理装置および画像処理方法について具体的に説明した。しかし、本発明はこれらに限定されない。本発明は、上述した画像処理方法の各ステップをコンピュータに実行させる画像補正プログラムであってもよく、また、この画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。
【産業上の利用可能性】
【００８６】
以上のように、本発明は、コアリングを行うためのコアリング閾値が、階調補正カーブに表される入出力特性に対応して設定されるので、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができるという効果を有し、撮像装置等に有用である。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施の形態に係る撮像装置のブロック図
【図２】階調補正カーブの一例を示す図
【図３】階調補正カーブによる入出力比を説明するための図
【図４】（ａ）階調補正カーブにおける入力信号の輝度Ｙａと出力Ｙｂとの関係を示す図であって、入力信号の輝度別に階調補正が施されることを説明する図 （ｂ）入力信号の輝度Ｙａ１、Ｙａ２、Ｙａ３と出力Ｙｂ１、Ｙｂ２、Ｙｂ３との関係を示す図
【図５】ｌｅｖｅｌ−１のウェーブレット変換過程図
【図６】（ａ）元画像を示す図 （ｂ）ｌｅｖｅｌ−１のウェーブレット変換後の各周波数成分の分離状態を示す図 （ｃ）ｌｅｖｅｌ−２のウェーブレット変換後の各周波数成分の分離状態を示す図
【図７】（ａ）ウェーブレット変換の対象領域が水平２段、垂直２段の構成の場合における２次元の水平・垂直２画素の各成分を示す図 （ｂ）ウェーブレット変換後の高域信号成分および低域信号成分を算出するための算出式を示す図
【図８】（ａ）コントラストを強める階調補正カーブを用いた場合におけるコアリング閾値制御カーブの一例を示す図 （ｂ）コントラストを弱める階調補正カーブを用いた場合におけるコアリング閾値制御カーブの一例を示す図
【図９】コアリング閾値制御カーブを生成する処理を示す図
【図１０】（ａ）コントラストを強める階調補正カーブを用いた場合におけるコアリング閾値の一例を示す図 （ｂ）コントラストを弱める階調補正カーブを用いた場合におけるコアリング閾値の一例を示す図
【図１１】コアリング閾値を設定する処理を示す図
【図１２】コアリング閾値Ｔｈｒがウェーブレット変換の対象領域の平均輝度値Ｙａｖｅ毎に設定されることを具体的に説明するための図
【図１３】コアリング閾値に基づいたコアリング処理におけるコアリング入出力特性の一例
【図１４】ｌｅｖｅｌ−１のウェーブレット逆変換過程図
【図１５】（ａ）ｌｅｖｅｌ−１のウェーブレット変換後の各周波数成分の分離状態を示す図 （ｂ）再構成後の元画像を示す図
【図１６】（ａ）ウェーブレット変換の対象領域が水平２段、垂直２段の構成の場合における再構成画像を示す図 （ｂ）ウェーブレット逆変換後の２次元の水平・垂直２画素の成分を算出するための算出式を示す図
【図１７】本発明の実施の形態に係る撮像装置の動作フロー
【符号の説明】
【００８８】
１０１ 撮像素子
１０２ 画像メモリ
１０３ 階調補正処理部
１０４ 階調補正カーブ生成部
１０５ 輝度信号生成部
１０６ ウェーブレット変換部
１０７ コアリング閾値制御カーブ生成部
１０８ コアリング閾値設定部
１０９ コアリング処理部
１１０ ウェーブレット逆変換部
１１１ 画像表示部
１０００ 撮像装置
【技術分野】
【０００１】
本発明は、画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行う撮像装置、画像処理装置および画像処理方法に関する。撮像装置は、主にデジタルスチルカメラやデジタルビデオカメラ等に代表される。
【背景技術】
【０００２】
一般的なデジタルカメラ等の撮像装置では、階調補正カーブ（トーンカーブ）を用いて撮像画像の明暗を強調することにより、画像のコントラストを強くしたり、弱くしたりする階調補正が行われている。階調補正カーブは、入力画像の画素値と出力画像の画素値とを互いに対応付ける。撮像装置では、階調補正カーブに表される入出力特性に基づいて、画像の明暗を対応付け、輝度信号等の信号を増幅または減衰させる変換処理が行われて、画像の階調補正がなされる。
【０００３】
ここで、ノイズが付加された画像に対して、上述の階調補正カーブを用いて階調補正を行うと、階調補正カーブに表される入出力特性次第では、本来強調したくないノイズ成分まで強調されてしまうことがあった。例えば、入力信号を増幅して出力信号を出力するように階調補正カーブが設定されていた場合、出力信号においては、もともと入力信号に含まれるノイズ成分も同じ比率で増幅されてしまい、本来強調したくないノイズ成分まで強調されてしまっていた。
【０００４】
従来、画像のノイズを低減する方法として、例えば、注目画素と周辺画素の画素値の加算平均を算出することによって、ローパスフィルタと呼ばれる平滑化フィルタを作用させて、ノイズとみなされた高周波成分を抑制することにより、画像のノイズを除去する方法が知られている。
【０００５】
また、画像のノイズを低減する別の方法として、多重解像度変換の１つであるウェーブレット変換（Wavelet Transform）を利用したノイズ低減方法が知られている。ウェーブレット変換を利用したノイズ低減方法の一例として、例えば、１９９４年にドノホ（Donoho）らにより提案されたウェーブレット縮退（Wavelet shrinkage）を利用した方法が知られている（例えば、非特許文献１参照）。このウェーブレット縮退を利用したノイズ低減方法では、次のようにして、画像のノイズを低減している。
【０００６】
まず、ウェーブレット変換を用いて、画像信号を低域周波数帯および高域周波数帯のサブバンドに分離して、更に低域周波数帯の画像信号に対して同様の分離処理を繰り返す。これにより、画像信号を周波数成分毎のサブバンドに分離することができる。次に、ウェーブレット変換で得られた画像の高域周波数成分に対して、絶対値の小さいウェーブレット変換係数はノイズ成分であるとみなして、コアリング処理を行う。コアリング処理では、ウェーブレット変換により得られたウェーブレット変換係数の絶対値が予め設定された閾値よりも小さい場合、当該ウェーブレット変換係数を０に置き換える処理を行う。そして、コアリング処理後に、画像の高域周波数成分および低域周波数成分に対してウェーブレット逆変換を行うことにより、信号が再構成される。これにより、ノイズが低減された画像が得られる。
【０００７】
なお、ウェーブレット変換を利用したノイズ低減法の一例が、例えば特許文献１にも開示されている。
【非特許文献１】中野宏毅、山本鎭男、吉田靖夫著、「ウェーブレットによる信号処理と画像処理」、初版、日本、共立出版、2004年4月10日 発行、p.101
【特許文献１】特開２００４−１７３０７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の撮像装置では、階調補正後のノイズ除去処理をローパスフィルタで行う場合、選択されたローパスフィルタの特性により、１つの画像に対して一律にノイズ除去の強さが決定されてしまう。また、ウェーブレット変換を利用する場合は、１つの画像に対して同一のコアリング閾値が適用されている。一方、ノイズ低減前に行われる階調補正では、階調補正カーブの入出力特性により、輝度毎にノイズ増幅の度合いが異なってくる。
【０００９】
このように、従来は、階調補正の際に生じるノイズ増幅の度合いが考慮されておらず、ノイズ増幅度合いの変化に拘らず、フィルタ係数やコアリング閾値が一律に決まっていたため、ノイズ増幅度合いに応じたノイズ低減を行えず、本来強調されて欲しくないノイズ成分を抑制できないことがあるという問題があった。
【００１０】
本発明は、上記従来の問題を解決するためになされたもので、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができる撮像装置、画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の撮像装置は、撮像された画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うように構成された撮像装置であって、階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う階調補正部と、前記画像信号を複数の周波数成分に分離するウェーブレット変換部と、前記ウェーブレット変換部により前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うコアリング処理部と、前記コアリング処理部が前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するコアリング閾値設定部とを備え、前記コアリング処理部は、前記コアリング閾値設定部により設定される前記コアリング閾値に基づいて、前記コアリングを行う構成を有している。
【００１２】
この構成により、コアリングを行うためのコアリング閾値が、階調補正カーブに表される入出力特性に対応して設定される。階調補正によるノイズ増幅度合いは、階調補正の入出力特性に応じて変わる。従って、階調補正カーブに基づいて、コアリング閾値を設定することにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができる。
【００１３】
また、本発明の撮像装置は、前記コアリング閾値設定部が、前記階調補正カーブに基づき、ウェーブレット変換の対象領域の輝度に対応する階調補正の入出力比に応じて、前記コアリング閾値を調整する構成を有している。
【００１４】
この構成により、コアリングを行うためのコアリング閾値を、階調補正カーブに表される入出力比に応じて設定できるので、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができる。
【００１５】
また、本発明の撮像装置は、前記コアリング処理部により前記コアリングが行われた画像信号に対して、ウェーブレット逆変換を行って、画像信号を再構成するウェーブレット逆変換部を備えている。
【００１６】
この構成により、ウェーブレット変換され、コアリングが行われた各周波数成分から、階調補正を行う際に生じるノイズ増幅の度合いに応じてノイズ成分が抑制された画像を再構成できる。
【００１７】
また、本発明の画像補正装置は、画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うように構成された画像処理装置であって、階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う階調補正部と、前記画像信号を複数の周波数成分に分離するウェーブレット変換部と、前記ウェーブレット変換部により前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うコアリング処理部と、前記コアリング処理部が前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するコアリング閾値設定部とを備え、前記コアリング処理部は、前記コアリング閾値設定部により設定される前記コアリング閾値に基づいて、前記コアリングを行う構成を有している。
【００１８】
この構成は、撮像装置の画像処理技術に限定されない。すなわち、画像処理装置は、撮像装置に設けられても、設けられなくてもよい。そして、本発明の画像処理が、撮像装置で撮像された画像だけでなく、一般的な画像に対して施されてもよい。この構成によっても、上述した本発明の利点が得られる。
【００１９】
また、本発明の画像処理プログラムは、画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とをコンピュータに実行させる画像処理プログラムであって、階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行うステップと、前記画像信号を複数の周波数成分に分離するステップと、前記画像信号を分離するステップにより前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うステップと、前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するステップとを前記コンピュータに実行させ、前記コアリングを行うステップでは、前記コアリング閾値を設定するステップにより設定される前記コアリング閾値に基づいて、前記コアリングを行う構成を有している。
【００２０】
この構成も撮像装置に限定されない。この構成によっても、上述した本発明の利点が得られる。
【００２１】
また、本発明の別の態様は、上述の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２２】
また、本発明の画像処理方法は、画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うための画像処理方法であって、階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行うステップと、前記画像信号を複数の周波数成分に分離するステップと、前記画像信号を分離するステップにより前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うステップと、前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するステップとを含み、前記コアリングを行うステップでは、前記コアリング閾値を設定するステップにより設定される前記コアリング閾値に基づいて、前記コアリングを行う。
【００２３】
この画像処理方法の適用対象も、撮像装置に限定されない。この画像処理方法によっても、上述した本発明の利点が得られる。
【発明の効果】
【００２４】
本発明は、ウェーブレット変換を用いたノイズ低減におけるコアリング閾値を、階調補正カーブに表される入出力特性に基づいて設定することにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができるという効果を有する撮像装置、画像処理装置および画像処理方法を提供することができるものである。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態に係る撮像装置について、図を用いて説明する。
本発明の実施の形態に係る撮像装置のブロック図を図１に示す。図１に示されるように、本発明の実施の形態に係る撮像装置１０００は、撮像素子１０１と、画像メモリ１０２と、階調補正処理部１０３と、階調補正カーブ生成部１０４と、輝度信号生成部１０５と、ウェーブレット変換部１０６と、コアリング閾値制御カーブ生成部１０７と、コアリング閾値設定部１０８と、コアリング処理部１０９と、ウェーブレット逆変換部１１０と、画像表示部１１１とを備えている。
【００２６】
撮像素子１０１は、画像を撮像するためのもので、入力される被写体の画像を光電変換する。画像メモリ１０２は、撮像素子１０１で得られた画像を格納する。階調補正処理部１０３は、階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う。ここで、階調補正カーブはトーンカーブとも呼ばれ、階調補正の入出力特性を表すものである。階調補正カーブは、階調補正カーブ生成部１０４により生成される。なお、階調補正処理部１０３は、本発明の階調補正部に相当する。
【００２７】
階調補正カーブの一例を図２に示す。図２に示されるように、階調補正カーブでは、横軸が元画像の階調（入力信号の輝度Ｙａ）を示しており、左に行くほど画像の暗い部分であり、右に行くほど画像の明るい部分である。また、縦軸は、補正後の画像の階調（出力Ｙｂ）を示している。このように、階調補正カーブでは、入力信号の輝度Ｙａおよび出力Ｙｂが互いに関係付けられている。
【００２８】
従って、入力信号の輝度Ｙａが１つ決まると、出力Ｙｂが階調補正カーブに基づいて１つ決定される。図２において、ラインＡは画像信号のコントラストを強くする階調補正カーブであり、ラインＢは画像信号の変換前後でコントラストの変化の無い階調補正カーブであり、ラインＣは画像信号のコントラストを弱める階調補正カーブである。なお、図２で示される階調補正カーブは本実施態様を説明するための一例である。
【００２９】
階調補正カーブ生成部１０４は、画像に対して階調補正を行うための階調補正カーブを生成する。階調補正カーブを生成する際に、階調補正カーブ生成部１０４では、図２で示されるようなラインＡ、ラインＢ、ラインＣを事前に登録しておいてもよいし、ユーザがマニュアル操作により変更して、独自の階調補正カーブを作成してもよいし、ユーザが所望する画像が得られるように自動的に階調補正カーブを導き出してくれる何らかのアルゴリズムを適用してもよく、階調補正の基となる階調補正カーブを読み出すことが可能であれば、いかなる構成を適用しても構わない。
【００３０】
輝度信号生成部１０５は、画像メモリ１０２に格納されている画像に対して、輝度信号を生成する。輝度信号とは、画像の明るさ（輝度）を表す信号で、Ｙ信号とも呼ばれている。例えば、輝度信号をＹとし、３原色画像信号の大きさをＲ、Ｇ、Ｂとしたとき、輝度信号Ｙは、Ｙ＝（Ｒ＋Ｇ＋Ｂ）／３という算出式を用いて算出することができる。なお、ここで示した輝度信号Ｙの算出式は、本実施形態を説明するための一例に過ぎず、輝度信号を例示した以外の算出式を用いて算出してもよい。
【００３１】
ここで、階調補正カーブによる入出力比を説明するための図を図３に示す。図３では、図２に示されたラインＡを階調補正カーブとしている。ここで、入力信号の輝度値Ｙａがαで、出力Ｙｂがβであるとする。この場合において、階調補正カーブにおける階調補正の入出力比Ｒは、Ｒ＝β／αとなる。
【００３２】
次に、図２で示されるラインＡを階調補正カーブとした場合の入出力信号の一例を、階調補正に伴うノイズ増幅度合いとともに、図４に示す。図４（ａ）は階調補正カーブにおける入力信号の輝度Ｙａと出力Ｙｂとの関係を示す図であって、入力信号の輝度別に階調補正が施されることを説明する図であり、図４（ｂ）は入力信号の輝度Ｙａ１、Ｙａ２、Ｙａ３と出力Ｙｂ１、Ｙｂ２、Ｙｂ３との関係を示す図である。
【００３３】
図４（ａ）に示されるように、階調補正カーブであるラインＡに基づいて、入力信号の各輝度Ｙａ１、Ｙａ２、Ｙａ３が出力Ｙｂ１、Ｙｂ２、Ｙｂ３に変換される。階調補正カーブは、上述した通り、階調補正の入出力特性を表している。例えば、入力信号の輝度Ｙａ１については、Ｙａ＝Ｙａ１の線とラインＡとが交わる点まで増幅され、出力Ｙｂ１に変換される。同様にして、入力信号の輝度Ｙａ２、Ｙａ２も出力Ｙｂ２、Ｙｂ３に変換される。このようにして、階調補正カーブによる階調補正が入力信号の輝度毎に行われ、出力信号が出力される。
【００３４】
ここで、図４（ａ）に示されるように、入力信号の輝度Ｙａには固定のノイズ成分Ｚａが含まれており、各入力信号の輝度Ｙａ１、Ｙａ２、Ｙａ３も同じノイズ成分Ｚａを含んでいる。
【００３５】
図４（ｂ）では、図内の左から右に向けて、入力信号の輝度Ｙａ１と出力Ｙｂ１との関係、入力信号の輝度Ｙａ２と出力Ｙｂ２との関係、入力信号の輝度Ｙａ３と出力Ｙｂ３との関係が示されている。
【００３６】
図４（ｂ）に示されるように、入力信号の輝度Ｙａの中に含まれているノイズ成分Ｚａが、階調補正の入出力比Ｒに応じて、増幅されている。すなわち、入力信号の輝度Ｙａ１が出力Ｙｂ１に変換されることにより、ノイズ成分Ｚａが、入力信号の輝度Ｙａ１に対応する入出力比Ｒ＝Ｙｂ１／Ｙａ１に応じて、ノイズ成分Ｚｂ１に増幅されている。同様に、入力信号の輝度Ｙａ２が出力Ｙｂ２に変換されることにより、ノイズ成分Ｚａが、入力信号の輝度Ｙａ２に対応する入出力比Ｒ＝Ｙｂ２／Ｙａ２に応じて、ノイズ成分Ｚｂ２に増幅されている。更に同様に、入力信号の輝度Ｙａ３が出力Ｙｂ３に変換されることにより、ノイズ成分Ｚａが、入力信号の輝度Ｙａ３に対応する階調補正の入出力比Ｒ＝Ｙｂ３／Ｙａ３に応じて、ノイズ成分Ｚｂ３に増幅されている。このように、入力信号の輝度が、階調補正カーブの入出力比に応じて増減されるとき、入力信号に含まれるノイズ成分も、階調補正カーブの入出力比に応じて増減される。輝度によって入出力比が異なるために、ノイズ増幅度合いも輝度によって変化する。なお、図の例のように、階調補正カーブが画像のコントラストを強めるラインＡである場合、輝度が小さい信号の方が、ノイズ増幅度合いが大きく、変換後のノイズ成分が大きくなっている。
【００３７】
ウェーブレット変換部１０６は、階調補正処理部１０３により階調補正された画像に対して、ウェーブレット変換を行う。ウェーブレット変換部１０６は、次のように画像信号を複数の周波数成分に分離することにより、階調補正された画像に対してウェーブレット変換を行う。ウェーブレット変換部１０６によるウェーブレット変換の一例を図に基づいて説明する。ｌｅｖｅｌ−１のウェーブレット変換過程図を図４に示す。ウェーブレット変換とは、一種のサブバンド符号化であり、多重解像度変換の１つである。ｌｅｖｅｌはサブバンド分解を行った回数を示し、ｌｅｖｅｌ−１では１回のサブバンド分解を行い、ｌｅｖｅｌ−２では２回のサブバンド分解を行っている。
【００３８】
図５に示されるように、ｌｅｖｅｌ−１のウェーブレット変換では、まず、ローパスフィルタ（ＬＰＦ）およびハイパスフィルタ（ＨＰＦ）を用いて、画像信号を低域周波数成分と高域周波数成分とに分離することにより、サブバンド分解している。更に、サブバンド分解後の画像信号の低域周波数成分および高域周波成分を、ＬＰＦおよびＨＰＦを用いて、サブバンド分解する。
【００３９】
このように、ＬＰＦによって低域信号成分を含む低周波帯域に、ＨＰＦによって高域信号成分を含む高周波帯域に、画像信号が順次サブバンド分解されて、低域信号成分（ＬＬとする）と水平、垂直、斜めの高域信号成分（それぞれをＨＬ、ＬＨ、ＨＨとする）を得ることができる。この際、１段目のＬＰＦおよびＨＰＦを用いたサブバンド分解では、画像に対して水平分割がなされ、２段目のＬＰＦおよびＨＰＦを用いたサブバンド分解では、画像に対して垂直分解がなされる。更に、低域信号成分に対して、次々に上記同様のサブバンド分解することにより、上位レベルのウェーブレット変換を行うことができる。
【００４０】
次に、ウェーブレット変換の計算方法を説明する。ここでは、Ｈａａｒ基底によるウェーブレット変換を例に、ウェーブレット変換の計算方法を図６、図７に基づいて説明する。Ｈａａｒ基底によるウェーブレット変換は、帯域分離の精度は低いが、フィルタ係数が「１」と「−１」の２つのみで構成されている点で、簡素な変換手法の一つとして知られている。
【００４１】
図６はウェーブレット変換前後の過程を示す図であって、図６（ａ）は元画像を示す図であり、図６（ｂ）はｌｅｖｅｌ−１のウェーブレット変換後の各周波数成分の分離状態を示す図であり、図６（ｃ）はｌｅｖｅｌ−２のウェーブレット変換後の各周波数成分の分離状態を示す図である。図６（ａ）および図６（ｂ）に示されるように、元画像の画像信号に対してウェーブレット変換を行うことにより、１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨの各周波数成分に分離される。ここで、ＬＬ、ＬＨ、ＨＬ、ＨＨの前に付された数字は、ウェーブレット変換のレベルを示している。また、ｌｅｖｅｌ−２のウェーブレット変換では、ｌｅｖｅｌ−１のウェーブレット変換後の画像信号の低域成分１ＬＬに対して、更にウェーブレット変換を行う。この結果、図６（ｃ）に示されるように、ｌｅｖｅｌ−１のウェーブレット変換後の画像信号の低域成分１ＬＬが、２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨの各周波数成分に分離される。
【００４２】
ウェーブレット変換の対象領域が水平２段、垂直２段の構成の場合について、ウェーブレット変換後の画素信号の各周波数成分の算出式について説明する。ウェーブレット変換の対象領域が水平２段、垂直２段の構成の場合における２次元の水平・垂直２画素の各成分を示す図を図７（ａ）に示す。また、ウェーブレット変換後の高域信号成分および低域信号成分を算出するための計算式を示す図を図７（ｂ）に示す。
【００４３】
図７（ａ）に示されるように、２次元の水平・垂直２画素の成分を［Ａ、Ｂ、Ｃ、Ｄ］と表すことができる。そして、この場合において、ｌｅｖｅｌ−１のウェーブレット変換後の画像信号の低域成分ＬＬは、図７（ｂ）に示されるように、ＬＬ＝Ａ＋Ｂ＋Ｃ＋Ｄの算出式によって算出することができる。また、水平、垂直、斜めの各高域信号成分ＨＬ、ＬＨ、ＨＨは、ＨＬ＝Ａ−Ｂ＋Ｃ−Ｄ、ＬＨ＝Ａ＋Ｂ−Ｃ−Ｄ、ＨＨ＝Ａ−Ｂ−Ｃ＋Ｄの算出式によって算出することができる。ＬＬ、ＨＬ、ＬＨ、ＨＨはウェーブレット係数やウェーブレット変換係数とも呼ばれる。なお、図７（ｂ）で示される各算出式では、ＬＬ、ＬＨ、ＨＬ、ＨＨの前に付されるべきウェーブレット変換のレベルの表示を省略している。
【００４４】
図６（ｃ）で示されたｌｅｖｅｌ−２のウェーブレット変換後の画像信号の低域成分２ＬＬおよび高域成分２ＨＬ、２ＬＨ、２ＨＨも、図７（ｂ）に示される算出式に準じて算出することができる。
【００４５】
以上のとおり、ウェーブレット変換部１０６は、画像信号を複数の周波数成分ＬＬ、ＨＬ、ＬＨ、ＨＨに分離する。この際、ウェーブレット変換部１０６は、２次元の水平・垂直２画素の各成分［Ａ、Ｂ、Ｃ、Ｄ］から画像信号の各周波数成分［ＬＬ、ＨＬ、ＬＨ、ＨＨ］を算出する。
【００４６】
コアリング閾値制御カーブ生成部１０７は、コアリング処理部１０９が行うコアリング処理の閾値（コアリング閾値とする）の制御の基となる特性カーブ（コアリング閾値制御カーブとする）を生成する。コアリング閾値制御カーブは、コアリング閾値設定部１０８がコアリング閾値を設定する際に用いられる。なお、コアリング閾値の設定およびコアリング処理については、コアリング閾値設定部１０８およびコアリング処理部１０９の説明にて、詳しく説明する。
【００４７】
ここで、コアリング閾値制御カーブは、下記の本発明の原理に従って、コアリング閾値を可変制御するためのものである。上述の図４（ｂ）を用いて説明したように、階調補正処理部１０３により階調補正カーブに基づいて階調補正された後は、固定のノイズ成分Ｚａも、階調補正カーブに基づき、入力信号の輝度に対応する階調補正の入出力比Ｒ＝β／αに応じて増幅される。そのため、輝度が小さいほど、変換後のノイズ成分が大きくなる場合がある。従って、ノイズ低減のためのコアリングを行うためのコアリング閾値を設定する際に、階調補正による変換結果が反映されるように、階調補正カーブの特性に基づいて、コアリング閾値を設定することにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、適応的なノイズ低減が可能となる。図４（ｂ）で示した例では、輝度が小さい方が、変換後のノイズ成分が大きくなるので、ノイズ低減のためのコアリング閾値は低輝度側で大きくする必要があることが分かる。
【００４８】
コアリング閾値制御カーブを階調補正カーブとの関係で具体的に示した図を図８に示す。図８（ａ）は、コントラストを強める階調補正カーブＭを用いた場合におけるコアリング閾値制御カーブの一例を示す図であって、ここでの階調補正カーブＭは図２で示されるラインＡに対応している。図８（ｂ）は、コントラストを弱める階調補正カーブＮを用いた場合におけるコアリング閾値制御カーブの一例を示す図であって、ここでの階調補正カーブＮは図２で示されるラインＣに対応している。
【００４９】
図８（ａ）および図８（ｂ）において、Ｒ＝β／α（点線）は、階調補正カーブＭ、Ｎから得られる入出力比のカーブである。コアリング閾値制御カーブＲｓは、入出力比のカーブＲに沿って、コアリング閾値制御カーブＲｓが入出力比のカーブＲと一致するように設定される。ただし、図示のように、入力信号の輝度が低い領域では、コアリング閾値制御カーブＲｓが調整され、これによりコアリング閾値制御カーブＲｓが入出力比のカーブＲから離れる。なお、以下の説明では、コアリング制御閾値制御カーブＲｓ上の点の値も、同じ符号を用いて、コアリング閾制御値Ｒｓと呼ぶ。
【００５０】
上記の低輝度領域でのコアリング閾値制御カーブＲｓの調整について説明する。図８（ａ）に示されるように、入力信号の輝度値が低い場合、階調補正カーブＭにおける階調補正カーブＭにおける入出力比Ｒの値が極端に大きくなり過ぎる場合がある。また、図８（ｂ）に示されるように、入力信号の輝度値が低い場合、階調補正カーブＮにおける入出力比Ｒの値が極端に小さくなり過ぎる場合がある。これに対して、極端に信号成分が小さく、輝度値が低い場合には、階調補正カーブによっては変換されたノイズ成分の変化が小さい場合がある。そこで、図示のように、輝度値が０のときのＲｓを適当な値（図の例ではＲｓ＝１）に設定する。そして、この点（輝度＝０、Ｒｓ＝１）を、入出力比Ｒのカーブと直線で結んで、コアリング閾値制御カーブＲｓを生成する。
【００５１】
コアリング閾値制御カーブＲｓは、具体的には、下記のようにして生成される。上記のように、輝度値０のときのＲｓを１とする（図８（ａ）のｉ１、図８（ｂ）のｊ１）。また、入出力比Ｒを所定輝度値以上で有効にするための閾値を設定する。この閾値をＲ有効化閾値と呼ぶ。有効化はＲ＝Ｒｓにすることを意味し、Ｒ有効化閾値は、Ｒ＝Ｒｓの範囲の開始端の輝度値である。輝度値がＲ有効化閾値のときのＲｓが、図８（ａ）のｉ２、図８（ｂ）のｊ２に相当する。さらに、入出力比ＲをＲｓとしてサンプリングする間隔を決めるパラメータを設定する。上記のＲ有効化閾値が開始点とされて、このサンプリング間隔で入出力比ＲがＲｓとして順次算出される（図８（ａ）のｉ３、ｉ４、ｉ５・・・、図８（ｂ）のｊ３、ｊ４、ｊ５・・・）。これらの点が結ばれて、コアリング閾値制御カーブが生成される。
【００５２】
なお、Ｒ有効化閾値は、上記のように入出力比のカーブＲとコアリング閾値制御カーブＲｓが同一になる開始点である。このＲ有効化閾値および上記のサンプリング間隔は自由に決めることが可能である。Ｒ有効化閾値に応じて、低輝度側のどの範囲でコアリング閾値制御カーブＲｓを入出力比Ｒから離れさせるかが決まる。また、サンプリング間隔により、コアリング閾値Ｒｓの設定の細かさが変わる。そこで、要求される処理精度等に応じて、Ｒ有効化閾値とサンプリング間隔が設定される。
【００５３】
コアリング閾値制御カーブを生成する処理を図９に示す。図９に示されるように、まず、コアリング閾値制御カーブ生成部１０７は、階調補正カーブの入出力特性により、階調補正カーブの入出力比Ｒ＝β／αを計算し、当該Ｒの値を順次プロットして、Ｒカーブを作成する（ステップ（以下、Ｓと称する）９０１）。次に、Ｒカーブを基に、実際にコアリング閾値の制御の基となるＲｓを作成する（Ｓ９０２）。ここでは、コアリング閾値制御カーブ生成部１０７は、輝度値が０の時はＲｓ＝１と設定し、事前に設定してあるサンプリング開始輝度の閾値（上述のＲ有効化閾値）とサンプリング間隔とを読み込み、この設定を基にＲｓをサンプリングして、その結果を結ぶことにより、コアリング閾値制御カーブＲｓとする。
【００５４】
図８（ａ）および図８（ｂ）に示す例では、有効輝度値（Ｒ有効化閾値）を４０、サンプリング間隔を２０としたコアリング閾値制御カーブＲｓを示している。図８（ａ）に示す例では、入力信号の輝度値が０に対応する点ｉ１、有効輝度値に対応する点ｉ２およびサンプリングした結果である各点ｉ３〜ｉ１３を結ぶことにより、コアリング閾値制御カーブＲｓが生成される。図８（ｂ）に示す例では、入力信号の輝度値が０に対応する点ｊ１、有効輝度値に対応する点ｊ２およびサンプリングした結果である各点ｊ３〜ｊ１３を結ぶことにより、コアリング閾値制御カーブＲｓが生成される。
【００５５】
コアリング閾値設定部１０８は、コアリング閾値制御カーブＲｓに基づいて、コアリング処理部１０９がコアリングを行うためのコアリング閾値Ｔｈｒを生成する。この際、コアリング閾値設定部１０８は、ウェーブレット変換部１０６でウェーブレット変換する対象領域の平均輝度値Ｙａｖｅを、前述の輝度信号生成部１０５により生成された輝度信号から計算し、また、コアリング閾値制御カーブ生成部１０７により生成されたコアリング閾値制御カーブＲｓを読み出す。そして、コアリング閾値設定部１０８は、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅに対応するＲｓ値から、コアリング閾値Ｔｈｒを設定する。コアリング閾値Ｔｈｒは、上述の通り、コアリング処理部１０９がコアリングを行う際に用いる閾値である。
【００５６】
コアリング閾値Ｔｈｒは、Ｒｓ値から下記のように計算される。対象画像に対して、デフォルトとして持っているコアリング閾値をＴｈｄｅｆとする。Ｔｈｄｅｆは、予め設定され、記憶されていてよい。コアリング閾値制御カーブＲｓと、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅとから求められる値をＲｓ’とする。Ｒｓ’は、Ｙａｖｅに対応するコアリング閾値制御カーブＲｓ上の値である。そして、実際にコアリングに使用されるコアリング閾値Ｔｈｒは、Ｔｈｒ＝Ｔｈｄｅｆ×Ｒｓ’×ｔの算出式により算出される。ここで、ｔは微調整用係数である。
【００５７】
コアリング閾値設定部により生成されたコアリング閾値Ｔｈｒの一例を図１０に示す。図１０（ａ）はコントラストを強める階調補正カーブを用いた場合におけるコアリング閾値の一例を示す図であり、図１０（ｂ）はコントラストを弱める階調補正カーブを用いた場合におけるコアリング閾値の一例を示す図である。図１０（ａ）では、図８（ａ）に示されたコアリング閾値制御カーブＲｓを基に、Ｔｈｄｅｆ＝５、ｔ＝０．５とした際に算出されたコアリング閾値Ｔｈｒが、横軸を輝度とした曲線で示されている。図１０（ｂ）では、図８（ｂ）に示されたコアリング閾値制御カーブＲｓを基に、Ｔｈｄｅｆ＝５、ｔ＝０．５とした際に算出されたコアリング閾値Ｔｈｒが、横軸を輝度とした曲線で示されている。
【００５８】
図１０（ａ）および図１０（ｂ）に示されるように、コアリング閾値Ｔｈｒは、輝度に応じて変化する曲線で表され、コアリング閾値制御カーブＲｓに基づいて設定されている。また、コアリング閾値制御カーブＲｓは、階調補正カーブにおける階調補正の入出力比Ｒ＝β／αに基づいて設定されているので、コアリング閾値Ｔｈｒは、階調補正カーブにおける階調補正の入出力比Ｒ=β／αに基づいて設定されている。従って、コアリング閾値設定部１０８は、階調補正カーブにおける階調補正の入出力比Ｒ＝β／αに応じて、コアリング閾値Ｔｈｒを調整することができる。
【００５９】
ここで、図４（ａ）および図４（ｂ）を用いて説明したように、入力信号の輝度の中に含まれているノイズ成分は、階調補正カーブにおける階調補正の入出力比Ｒ＝β／αに応じて増幅されている。従って、コアリング閾値設定部１０８は、コアリング閾値Ｔｈｒを設定する際に、階調補正カーブにおける階調補正の入出力比Ｒ＝β／αを反映することにより、階調補正を行う際に生じるノイズの増幅度合いに応じたコアリング閾値Ｔｈｒを設定することができる。すなわち、階調補正を行う際に生じるノイズの増幅度合いに応じて、ノイズ成分が大きくなる場合には、ノイズ除去または低減の強度を決定するコアリング閾値Ｔｈｒを大きくする方向に作用させ、ノイズ成分が小さくなる場合には、コアリング閾値Ｔｈｒを小さくする方向に作用させることができる。これにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、適応的なノイズ低減が可能となる。
【００６０】
コアリング閾値を設定する処理を図１１に示す。図１１に示されるように、コアリング閾値設定部１０８は、まず、ウェーブレット変換の対象領域の画素の平均輝度値Ｙａｖｅを求める（Ｓ１１０１）。次に、コアリング閾値設定部１０８は、コアリング閾値制御カーブ生成部１０７により生成されたコアリング閾値制御カーブＲｓを読み出し、Ｙａｖｅに対応するコアリング閾値制御カーブ値Ｒｓ’を求める（Ｓ１１０２）。次に、コアリング閾値設定部１０８は、本画像にデフォルトとして設定されているコアリング閾値Ｔｈｄｅｆと微調整用係数ｔを読み出す（Ｓ１１０３）。そして、コアリング閾値設定部１０８は、コアリング閾値ＴｈｒをＴｈｒ＝Ｔｈｄｅｆ×Ｒｓ’×ｔの算出式から計算する（Ｓ１１０４）。以上のようにして、コアリング閾値設定部１０８は、コアリング閾値Ｔｈｒを、輝度値に応じて変化する曲線で設定する。
【００６１】
ここで、コアリング処理部１０９がコアリングに実際に使用するコアリング閾値Ｔｈｒは、次のように、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅ毎に設定される。コアリング閾値Ｔｈｒがウェーブレット変換の対象領域の平均輝度値Ｙａｖｅ毎に設定されることを具体的に説明するための図を図１２に示す。図１２では、図１１（ａ）の結果に基に、ウェーブレット変換の対象領域の平均輝度値ＹａｖｅがＹａｖｅ＝５０、１５０であったときのコアリング閾値Ｔｈｒを示している。
【００６２】
図１２に示されるように、例えば、ウェーブレット変換の対象領域の平均輝度値ＹａｖｅがＹａｖｅ＝５０である場合、コアリング閾値ＴｈｒがＴｈｒ＝Ｔｈａに設定される。同様にして、例えば、ウェーブレット変換の対象領域の平均輝度値ＹａｖｅがＹａｖｅ＝１５０である場合、コアリング閾値ＴｈｒがＴｈｒ＝Ｔｈｂに設定される。このように、コアリング処理部１０９がコアリングに実際に使用するコアリング閾値Ｔｈｒは、コアリング閾値設定部１０８により、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅ毎に設定される。
【００６３】
図１２では、より詳細には、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅ毎に階調補正の入出力比Ｒ＝β／αが異なっており、この入出力比Ｒからコアリング閾値が設定される。従って、コアリング閾値Ｔｈｒが、ウェーブレット変換の対象領域毎の輝度に対する階調補正の入出力比Ｒに応じて設定できる。
【００６４】
コアリング処理部１０９は、コアリング閾値設定部１０８により設定されるコアリング閾値Ｔｈｒに基づいて、ウェーブレット変換部１０６により複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行う。ここでは、コアリング処理部１０９は、ウェーブレット変換で得られた画像の高域周波数成分に対して、コアリング処理を行う。コアリング処理では、ウェーブレット変換により得られたウェーブレット変換係数の絶対値がコアリング閾値Ｔｈｒよりも小さい場合、当該ウェーブレット変換係数を０に置き換える処理を行う。
【００６５】
具体的には、コアリング処理部１０９は、ウェーブレット変換部１０６で分離された画像の高域成分信号と、コアリング閾値設定部１０８により設定されたコアリング閾値Ｔｈｒとを用いて、画像の高域成分に対して、コアリング処理を行う。コアリング処理部１０９は、画像の高域成分の係数（ウェーブレット係数、ウェーブレット変換係数）の絶対値がコアリング閾値よりも小さい値の係数を０に置き換えることによってコアリング処理を行い、画像に含まれるノイズを低減する。なお、上記画像の高域成分は、例えば、図６（ｂ）において、１ＨＬ、１ＬＨ、１ＨＨであり、図６（ｃ）において、１ＨＬ、１ＬＨ、１ＨＨ、２ＨＬ、２ＬＨ、２ＨＨである。
【００６６】
コアリング閾値に基づいたコアリング処理におけるコアリング入出力特性の一例を図１３に示す。図１３には、図１２の結果を基に設定されたコアリング閾値Ｔｈａ、Ｔｈｂに基づいてコアリングを行った際のコアリング入出力特性が示されている。図１３（ａ）には、コアリング閾値Ｔｈａに基づくコアリング入出力特性であり、図１３（ｂ）には、コアリング閾値Ｔｈｂに基づくコアリング入出力特性である。図１３（ａ）および図１３（ｂ）では、横軸を入力（ｉｎ）、縦軸を出力（ｏｕｔ）としている。
【００６７】
図１３（ａ）および図１３（ｂ）に示されるように、コアリング処理部１０９によるコアリング処理において、入力される係数（ウェーブレット係数、ウェーブレット変換係数）の値がコアリング閾値Ｔｈａ、Ｔｈｂの絶対値以下の場合、当該入力される係数の値は０に置き換えられる。一方、入力される係数（ウェーブレット係数、ウェーブレット変換係数）の値がコアリング閾値Ｔｈａ、Ｔｈｂの絶対値よりも大きい場合は、出力係数は入力係数からコアリング閾値Ｔｈａ、Ｔｈｂを減算した値になる（入力係数が負のときはコアリング閾値Ｔｈａ、Ｔｈｂが加算される）。このようなコアリング処理は、ソフトコアリングと呼ばれている。
【００６８】
ウェーブレット逆変換部１１０は、コアリング処理部１０９によりコアリングが行われた画像信号に対して、ウェーブレット逆変換を行って、画像信号を再構成する。詳細には、ウェーブレット逆変換部１０９は、コアリング処理部１０９によりコアリングされた高域成分と、ウェーブレット変換部１０６で得られた低域成分とを用いて、ウェーブレット逆変換を行って、画像信号を再構成する。
【００６９】
ウェーブレット逆変換部１１０によるウェーブレット逆変換の一例を図に基づいて説明する。ｌｅｖｅｌ−１のウェーブレット逆変換過程図を図１４に示す。図１４に示されるように、帯域分割により得られた画像信号の各周波数成分ＬＬ、ＬＨ、ＨＬ、ＨＨから、ウェーブレット変換時のサブバンド分割過程で使用した基底関数から生成される再構成用のＬＰＦ’とＨＰＦ’とを用いて、画像信号を再構成することができる。まず、ＬＰＦ’を通過した低域成分ＬＬと、ＨＰＦ’を通過した垂直高域成分ＬＨとが合成され、ＬＰＦ’を通過した水平高域成分ＨＬと、ＨＰＦ’を通過した斜め高域成分ＨＨとが合成される。そして、低域成分ＬＬおよび垂直高域成分ＬＨの合成信号がＬＰＦ’を通過し、水平高域成分ＨＬおよび斜め高域成分ＨＨの合成信号がＨＰＦ’を通過し、ＬＰＦ’、ＨＰＦ’を通過した各合成信号を合成すると、再構成信号として、画像信号が再構成される。
【００７０】
次に、ウェーブレット逆変換の実際の計算方法の例を説明する。ここでは、図５、図６を用いて説明したＨａａｒ基底を用いる。そして、ｌｅｖｅｌ−１のウェーブレット変換を行うことにより得られた結果である各周波数成分［ＬＬ、ＬＨ、ＨＬ、ＨＨ］から２次元の水平・垂直２画素の成分［Ａ、Ｂ、Ｃ、Ｄ］を再構成する計算方法を図１５、図１６を用いて説明する。
【００７１】
図１５はウェーブレット逆変換前後の過程を示す図であって、図１５（ａ）はｌｅｖｅｌ−１のウェーブレット変換後の各周波数成分の分離状態を示す図であり、図１５（ｂ）は再構成後の元画像を示す図である。図１５（ａ）および図１５（ｂ）に示されるように、ウェーブレット変換されている画像信号の各周波数成分１ＬＬ、１ＬＨ、１ＨＬ、１ＨＨに対して、ウェーブレット逆変換を行うことにより、元画像が再構成される。ここで、ＬＬ、ＬＨ、ＨＬ、ＨＨの前に付された数字は、ウェーブレット変換のレベルを示している。
【００７２】
ウェーブレット変換の対象領域が水平２段、垂直２段の構成であった場合について、ウェーブレット逆変換後の画素の成分の算出式について説明する。ウェーブレット変換の対象領域が水平２段、垂直２段の構成の場合における再構成画像を、図１６（ａ）に示す。
図１６（ａ）に示されるように、２次元の水平・垂直２画素の成分［Ａ、Ｂ、Ｃ、Ｄ］となっており、図７（ａ）と同じ構成となっている。このときの画素の成分［Ａ、Ｂ、Ｃ、Ｄ］の算出式を図１６（ｂ）に示す。
【００７３】
図１６（ｂ）に示されるように、［Ａ、Ｂ、Ｃ、Ｄ］の各画素の成分は、Ａ＝（ＬＬ＋ＨＬ＋ＬＨ＋ＨＨ）／４、Ｂ＝（ＬＬ―ＨＬ＋ＬＨ―ＨＨ）／４、Ｃ＝（ＬＬ＋ＨＬ―ＬＨ―ＨＨ）／４、Ｄ＝（ＬＬ―ＨＬ―ＬＨ＋ＨＨ）／４の算出式によって算出することができる。以上の通り、ウェーブレット逆変換部１１０は、コアリング処理部１０９によりコアリングが行われた画像信号に対して、ウェーブレット逆変換を行って、画像信号を再構成する。この際、ウェーブレット逆変換部１１０は、画像信号の各周波数成分［ＬＬ、ＬＨ、ＨＬ、ＨＨ］から２次元の水平・垂直２画素の成分［Ａ、Ｂ、Ｃ、Ｄ］を算出する。
【００７４】
ここで、図１６（ｂ）で示される各算出式では、ＬＬ、ＬＨ、ＨＬ、ＨＨの前に付されるべきウェーブレット変換のレベルの表示を省略している。なお、高域分割により得られた画像信号の各周波数成分がｌｅｖｅｌ−２以上のウェーブレット変換により得られていた場合、上位ｌｅｖｅｌから再構成されたＬＬ成分と、下位ｌｅｖｅｌの高域成分を、図１６（ｂ）で示される算出式に従って同様に、順次ウェーブレット逆変換を施すことにより、画像を再構成することができる。
【００７５】
画像表示部１１１は、ウェーブレット逆変換部１１０によって、ウェーブレット逆変換された画像を表示する。画像表示部１１１は例えば液晶表示装置や有機ＥＬ表示装置などにより構成される。
【００７６】
次に、本発明の実施の形態に係る撮像装置の動作説明を行う。本発明の実施の形態に係る撮像装置の動作フローを図１７に示す。図１７に示されるように、まず、撮像素子１０１が被写体画像を撮像する（Ｓ１７０１）。撮像素子１０１により撮像された画像は、画像メモリ１０２に格納される。次に、階調補正処理部１０３が、画像メモリ１０２に格納されている画像に対して、画像信号のコントラストを補正する階調補正を行う（Ｓ１７０２）。このとき、階調補正処理部１０３は、階調補正カーブ生成部１０４により生成された階調補正カーブに基づいて、輝度信号生成部１０５により生成された輝度信号を、階調補正後の出力に変換する。ここで、図４（ａ）および図４（ｂ）を用いて説明したように、入力信号の輝度が、階調補正カーブにおける階調補正の入出力比Ｒに応じて増減される。また、入力信号に含まれるノイズ成分も、階調補正カーブにおける階調補正の入出力比Ｒに応じて増減される。
【００７７】
次に、ウェーブレット変換部１０６が、階調補正処理部１０３により階調補正された画像信号に対して、複数の周波数成分に分離するウェーブレット変換を行う（Ｓ１７０３）。ここでは、ウェーブレット変換部１０６は、画像信号を低域周波数成分および高域周波数成分に分離することにより、サブバンド分解する。例えばウェーブレット変換部１０６がｌｅｖｅｌ−１のウェーブレット変換を行うことにより、図５および図６（ｂ）に示されるように、低域信号成分（ＬＬ）と水平、垂直、斜めの高域信号成分（ＨＬ、ＬＨ、ＨＨ）とを得ることができる。また、図７で説明したように、ウェーブレット変換部１０６は、階調補正処理部１０３により階調補正された画像信号に対してウェーブレット変換を行うことにより、各周波数成分ＬＬ、ＨＬ、ＬＨ、ＨＨを算出する。
【００７８】
次に、コアリング閾値設定部１０８がコアリング閾値を設定し（Ｓ１７０４）、コアリング処理部１０９が、コアリング閾値設定部１０８により設定されたコアリング閾値Ｔｈｒに基づいて、ウェーブレット変換部１０６により分離された画像信号に対して、ノイズ低減のためのコアリングを行う（Ｓ１７０５）。コアリング閾値設定部１０８は、上述の通り、ウェーブレット変換部１０６でウェーブレット変換する対象領域の平均輝度値Ｙａｖｅを、輝度信号生成部１０５により生成された輝度信号から計算し、コアリング閾値制御カーブ生成部１０７により生成されたコアリング閾値制御カーブＲｓを読み出し、ウェーブレット変換の対象領域の平均輝度値Ｙａｖｅに対応するＲｓ値からコアリング閾値Ｔｈｒを設定する。コアリング処理部１０９は、図１３（ａ）および図１３（ｂ）を用いて例示したように入力される係数（ウェーブレット係数、ウェーブレット変換係数）の値がコアリング閾値の絶対値よりも小さい場合、当該入力される係数の値を０に置き換えて出力する。コアリング処理部１１０によるコアリング処理は、ウェーブレット変換により分離された画像の周波数成分毎に行われる。
【００７９】
ここで、上述の通り、コアリング閾値設定部１０８は、コアリング閾値Ｔｈｒを設定する際に、階調補正カーブにおける階調補正の入出力比Ｒ＝β／αを反映することにより、階調補正を行う際に生じるノイズの増幅度合いに応じたコアリング閾値Ｔｈｒを設定することができる。すなわち、階調補正を行う際に生じるノイズの増幅度合いに応じて、ノイズ成分が大きくなる場合には、ノイズ除去または低減の強度を決定するコアリング閾値Ｔｈｒを大きくする方向に作用させ、ノイズ成分が小さくなる場合には、コアリング閾値Ｔｈｒを小さくする方向に作用させることができる。これにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、適応的なノイズ低減が可能となる。
【００８０】
次に、ウェーブレット逆変換部１１０が、コアリング処理部１０９によりコアリングされた画像の各周波数成分に対して、ウェーブレット逆変換を行って、画像を再構成する（Ｓ１７０６）。ここでは、ウェーブレット逆変換部１０９は、コアリング処理部１０９によりコアリングされた高域成分と、ウェーブレット変換部１０６で得られた低域成分とを用いて、ウェーブレット逆変換を行って、画像信号を再構成する。これにより、図１５、図１６に例示したように、例えばＨａａｒ基底によるｌｅｖｅｌ−１のウェーブレット変換を行うことにより得られた結果である各周波数成分［ＬＬ、ＬＨ、ＨＬ、ＨＨ］から２次元の水平・垂直２画素の成分［Ａ、Ｂ、Ｃ、Ｄ］を再構成して、元画像を再構成する。これにより、ウェーブレット変換され、コアリングが行われた輝度信号の各周波数成分を合成でき、階調補正を行う際に生じるノイズ増幅の度合いに応じてノイズ成分が抑制された画像を再構成できる。
【００８１】
次に、ウェーブレット逆変換部１１０のウェーブレット逆変換によって再構成された画像が、画像表示部１１１により表示される（Ｓ１７０７）。
【００８２】
以上のようにして、本発明の実施の形態に係る撮像装置１０００によれば、ノイズ低減のためのコアリングを行うためのコアリング閾値Ｔｈｒが、コアリング閾値設定部１０８により、階調補正カーブに基づいて設定される。階調補正によるノイズ増幅度合いは、階調補正カーブの入出力特性に応じて変わる。従って、階調補正の入出力特性に応じてコアリング閾値を設定することにより、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができる。この結果、ノイズ除去不足や高域成分の過度の除去によるボケが軽減され、また、ノイズの強調を抑えつつ、適用した階調補正カーブによる階調補正の効果を反映した画像を得ることが可能となる。
【００８３】
また、本発明の実施の形態に係る撮像装置１０００によれば、ノイズ低減のためのコアリングを行うためのコアリング閾値が、コアリング閾値設定部１０８により、階調補正カーブに基づき、ウェーブレット変換の対象領域の輝度に対応する階調補正の入出力比Ｒに応じて調整されるので、コアリングを行うためのコアリング閾値Ｔｈｒを、階調補正カーブに表される階調補正の入出力比Ｒに応じて設定でき、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができる。
【００８４】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【００８５】
上記実施の形態では、本発明に係る撮像装置、画像処理装置および画像処理方法について具体的に説明した。しかし、本発明はこれらに限定されない。本発明は、上述した画像処理方法の各ステップをコンピュータに実行させる画像補正プログラムであってもよく、また、この画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体であってもよい。
【産業上の利用可能性】
【００８６】
以上のように、本発明は、コアリングを行うためのコアリング閾値が、階調補正カーブに表される入出力特性に対応して設定されるので、階調補正を行う際に生じるノイズ増幅の度合いに応じて、ノイズ成分を抑制することができるという効果を有し、撮像装置等に有用である。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施の形態に係る撮像装置のブロック図
【図２】階調補正カーブの一例を示す図
【図３】階調補正カーブによる入出力比を説明するための図
【図４】（ａ）階調補正カーブにおける入力信号の輝度Ｙａと出力Ｙｂとの関係を示す図であって、入力信号の輝度別に階調補正が施されることを説明する図 （ｂ）入力信号の輝度Ｙａ１、Ｙａ２、Ｙａ３と出力Ｙｂ１、Ｙｂ２、Ｙｂ３との関係を示す図
【図５】ｌｅｖｅｌ−１のウェーブレット変換過程図
【図６】（ａ）元画像を示す図 （ｂ）ｌｅｖｅｌ−１のウェーブレット変換後の各周波数成分の分離状態を示す図 （ｃ）ｌｅｖｅｌ−２のウェーブレット変換後の各周波数成分の分離状態を示す図
【図７】（ａ）ウェーブレット変換の対象領域が水平２段、垂直２段の構成の場合における２次元の水平・垂直２画素の各成分を示す図 （ｂ）ウェーブレット変換後の高域信号成分および低域信号成分を算出するための算出式を示す図
【図８】（ａ）コントラストを強める階調補正カーブを用いた場合におけるコアリング閾値制御カーブの一例を示す図 （ｂ）コントラストを弱める階調補正カーブを用いた場合におけるコアリング閾値制御カーブの一例を示す図
【図９】コアリング閾値制御カーブを生成する処理を示す図
【図１０】（ａ）コントラストを強める階調補正カーブを用いた場合におけるコアリング閾値の一例を示す図 （ｂ）コントラストを弱める階調補正カーブを用いた場合におけるコアリング閾値の一例を示す図
【図１１】コアリング閾値を設定する処理を示す図
【図１２】コアリング閾値Ｔｈｒがウェーブレット変換の対象領域の平均輝度値Ｙａｖｅ毎に設定されることを具体的に説明するための図
【図１３】コアリング閾値に基づいたコアリング処理におけるコアリング入出力特性の一例
【図１４】ｌｅｖｅｌ−１のウェーブレット逆変換過程図
【図１５】（ａ）ｌｅｖｅｌ−１のウェーブレット変換後の各周波数成分の分離状態を示す図 （ｂ）再構成後の元画像を示す図
【図１６】（ａ）ウェーブレット変換の対象領域が水平２段、垂直２段の構成の場合における再構成画像を示す図 （ｂ）ウェーブレット逆変換後の２次元の水平・垂直２画素の成分を算出するための算出式を示す図
【図１７】本発明の実施の形態に係る撮像装置の動作フロー
【符号の説明】
【００８８】
１０１ 撮像素子
１０２ 画像メモリ
１０３ 階調補正処理部
１０４ 階調補正カーブ生成部
１０５ 輝度信号生成部
１０６ ウェーブレット変換部
１０７ コアリング閾値制御カーブ生成部
１０８ コアリング閾値設定部
１０９ コアリング処理部
１１０ ウェーブレット逆変換部
１１１ 画像表示部
１０００ 撮像装置
【特許請求の範囲】
【請求項１】
撮像された画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うように構成された撮像装置であって、
階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う階調補正部と、
前記画像信号を複数の周波数成分に分離するウェーブレット変換部と、
前記ウェーブレット変換部により前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うコアリング処理部と、
前記コアリング処理部が前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するコアリング閾値設定部とを備え、
前記コアリング処理部は、前記コアリング閾値設定部により設定される前記コアリング閾値に基づいて、前記コアリングを行うことを特徴とする撮像装置。
【請求項２】
前記コアリング閾値設定部は、前記階調補正カーブに基づき、ウェーブレット変換の対象領域の輝度に対応する階調補正の入出力比に応じて、前記コアリング閾値を調整することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記コアリング処理部により前記コアリングが行われた画像信号に対して、ウェーブレット逆変換を行って、画像信号を再構成するウェーブレット逆変換部を備えたことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うように構成された画像処理装置であって、
階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う階調補正部と、
前記画像信号を複数の周波数成分に分離するウェーブレット変換部と、
前記ウェーブレット変換部により前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うコアリング処理部と、
前記コアリング処理部が前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するコアリング閾値設定部とを備え、
前記コアリング処理部は、前記コアリング閾値設定部により設定される前記コアリング閾値に基づいて、前記コアリングを行うことを特徴とする画像処理装置。
【請求項５】
画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とをコンピュータに実行させる画像処理プログラムであって、
階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行うステップと、
前記画像信号を複数の周波数成分に分離するステップと、
前記画像信号を分離するステップにより前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うステップと、
前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するステップとを前記コンピュータに実行させ、
前記コアリングを行うステップでは、前記コアリング閾値を設定するステップにより設定される前記コアリング閾値に基づいて、前記コアリングを行うことを特徴とする画像処理プログラム。
【請求項６】
請求項５に記載された画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項７】
画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うための画像処理方法であって、
階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行うステップと、
前記画像信号を複数の周波数成分に分離するステップと、
前記画像信号を分離するステップにより前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うステップと、
前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するステップとを含み、
前記コアリングを行うステップでは、前記コアリング閾値を設定するステップにより設定される前記コアリング閾値に基づいて、前記コアリングを行うことを特徴とする画像処理方法。
【請求項１】
撮像された画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うように構成された撮像装置であって、
階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う階調補正部と、
前記画像信号を複数の周波数成分に分離するウェーブレット変換部と、
前記ウェーブレット変換部により前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うコアリング処理部と、
前記コアリング処理部が前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するコアリング閾値設定部とを備え、
前記コアリング処理部は、前記コアリング閾値設定部により設定される前記コアリング閾値に基づいて、前記コアリングを行うことを特徴とする撮像装置。
【請求項２】
前記コアリング閾値設定部は、前記階調補正カーブに基づき、ウェーブレット変換の対象領域の輝度に対応する階調補正の入出力比に応じて、前記コアリング閾値を調整することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記コアリング処理部により前記コアリングが行われた画像信号に対して、ウェーブレット逆変換を行って、画像信号を再構成するウェーブレット逆変換部を備えたことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うように構成された画像処理装置であって、
階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行う階調補正部と、
前記画像信号を複数の周波数成分に分離するウェーブレット変換部と、
前記ウェーブレット変換部により前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うコアリング処理部と、
前記コアリング処理部が前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するコアリング閾値設定部とを備え、
前記コアリング処理部は、前記コアリング閾値設定部により設定される前記コアリング閾値に基づいて、前記コアリングを行うことを特徴とする画像処理装置。
【請求項５】
画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とをコンピュータに実行させる画像処理プログラムであって、
階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行うステップと、
前記画像信号を複数の周波数成分に分離するステップと、
前記画像信号を分離するステップにより前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うステップと、
前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するステップとを前記コンピュータに実行させ、
前記コアリングを行うステップでは、前記コアリング閾値を設定するステップにより設定される前記コアリング閾値に基づいて、前記コアリングを行うことを特徴とする画像処理プログラム。
【請求項６】
請求項５に記載された画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項７】
画像に対して、階調補正と、ウェーブレット変換を用いたノイズ低減とを行うための画像処理方法であって、
階調補正の入出力特性を表す階調補正カーブに基づいて、画像信号のコントラストを補正する階調補正を行うステップと、
前記画像信号を複数の周波数成分に分離するステップと、
前記画像信号を分離するステップにより前記複数の周波数成分に分離された画像信号に対して、ノイズ低減のためのコアリングを行うステップと、
前記コアリングを行うためのコアリング閾値を、前記階調補正カーブに基づいて設定するステップとを含み、
前記コアリングを行うステップでは、前記コアリング閾値を設定するステップにより設定される前記コアリング閾値に基づいて、前記コアリングを行うことを特徴とする画像処理方法。
【図３】
【図９】
【図１１】
【図１３】
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【図９】
【図１１】
【図１３】
【図１】
【図２】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１２】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００８−１９９４４８（Ｐ２００８−１９９４４８Ａ）
【公開日】平成２０年８月２８日（２００８．８．２８）
【国際特許分類】
【出願番号】特願２００７−３４５５２（Ｐ２００７−３４５５２）
【出願日】平成１９年２月１５日（２００７．２．１５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２０年８月２８日（２００８．８．２８）
【国際特許分類】
【出願日】平成１９年２月１５日（２００７．２．１５）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]