ノイズ低減装置、ノイズ低減方法、ノイズ低減プログラム、記録媒体
【課題】エッジなど人間が画像を知覚する上で重要な要素を保存しつつノイズ低減を行い、カラー画像における非加法性のノイズを適切に低減する、ノイズ低減理装置等を提供すること。
【解決手段】カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減装置１００であって、所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を近傍領域から抽出し、類似領域の画素の代表値ベクトルを算出する代表値ベクトル算出手段１０３と、注目画素の注目画素ベクトルと前記代表値ベクトルとの差分ベクトルを、色空間の特定方向に射影する差分射影手段１０５と、代表値ベクトルに、特定方向に射影された前記差分ベクトルを加えたベクトルの要素を、注目画素の画素値に置き換える画素値修正手段１０６と、を有することを特徴とする。
【解決手段】カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減装置１００であって、所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を近傍領域から抽出し、類似領域の画素の代表値ベクトルを算出する代表値ベクトル算出手段１０３と、注目画素の注目画素ベクトルと前記代表値ベクトルとの差分ベクトルを、色空間の特定方向に射影する差分射影手段１０５と、代表値ベクトルに、特定方向に射影された前記差分ベクトルを加えたベクトルの要素を、注目画素の画素値に置き換える画素値修正手段１０６と、を有することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー画像のノイズを低減するノイズ低減理装置、ノイズ低減方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
スキャナやデジタルカメラ等の撮像機器により撮影した画像には、撮像素子及び回路の特性上、暗電流ノイズ、熱雑音、ショットノイズなどのノイズが含まれる。高画質の画像を得るためには、これらのノイズを低減する処理を施さなければならない。しかし、単純にローパスフィルタを用いてノイズを低減すると、エッジなど人間が画像を知覚する上で重要な要素も同時に失われて画質が劣化する。そこで、画像の領域の特性に応じて、適応的にノイズ低減を行う技術が必要となる。
【０００３】
そのようなノイズ低減技術の一つとして、εフィルタが提案されている（例えば、非特許文献1参照。）。εフィルタでは、注目画素との信号差が一定閾値以下となる周辺画素をフィルタ処理に用いることで、エッジなどの信号差の大きい成分を保存しつつノイズを低減することを可能としている。
【０００４】
また、バイラテラルフィルタを用いたノイズ低減技術が提案されている（例えば、非特許文献２参照。）。バイラテラルフィルタは、注目画素との信号差及び空間距離によってフィルタの重み係数を作成しフィルタ処理を行う方法であり、εフィルタ同様、エッジの保存とノイズ低減を両立させることができる。なお、バイラテラルフィルタに準ずる原理によるノイズ低減は他にも提案されている（例えば、特許文献１，２参照。）。
しかしながら、εフィルタやバイラテラルフィルタには、背景部分のような振幅の小さい信号成分が失われやすいという問題がある。そこで、この問題を解決する技術が提案されている（例えば、特許文献３参照。）。特許文献３には、εフィルタ出力値と注目画素値を注目画素近傍の空間周波数に応じた割合で加重加算する技術が開示されている。
【０００５】
しかしながら、特許文献３記載の方法でも、ショットノイズなど非加法性のノイズに対応できず、また、カラー画像に対するノイズ低減性能が悪い、という問題がある。カラー画像における非加法性ノイズの低減技術が提案されている(例えば、非特許文献３参照。)が、この方法は画像のセグメンテーション、統計量の算出に多大な処理コストがかかるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記従来技術の問題を鑑みたものであり、エッジなど人間が画像を知覚する上で重要な要素を保存しつつノイズ低減を行い、さらに振幅の小さい信号を保存し、カラー画像における非加法性のノイズを高精度に少ない処理コストで低減する、ノイズ低減理装置、ノイズ低減方法、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減装置であって、所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出する代表値ベクトル算出手段と、注目画素の注目画素ベクトルと前記代表値ベクトルとの差分ベクトルを、前記色空間の特定方向に射影する差分射影手段と、前記代表値ベクトルに、前記特定方向に射影された前記差分ベクトルを加えたベクトルの要素を、注目画素の画素値に置き換える画素値修正手段と、を有することを特徴とする。
【発明の効果】
【０００８】
エッジなど人間が画像を知覚する上で重要な要素を保存しつつノイズ低減を行い、カラー画像における非加法性のノイズを適切に低減する、ノイズ低減理装置、ノイズ低減方法、プログラム及び記憶媒体を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】デジタルカメラの概略構成図の一例である。
【図２】ノイズ低減装置の機能ブロック図の一例である。
【図３】ノイズ低減処理の手順を示すフローチャート図の一例である。
【図４】平均、分散の算出を模式的に説明する図の一例である。
【図５】ステップＳ１０３の詳細フローの一例を示すフローチャート図である。
【図６】信号値（画素値）に対するノイズの分散をプロットした図の一例である。
【図７】ノイズの分散を推定するための関数の一例を示す図である。
【図８】差分ベクトルｓの変換を模式的に説明する図の一例である。
【図９】ステップＳ１０５の詳細フローの一例を示すフローチャート図である。
【図１０】特定方向eと類似領域の平均値のＲＧＢ比率一定方向の関係を示す図である。
【図１１】ノイズ低減装置の機能ブロック図の一例である（実施例２）。
【図１２】ノイズ低減処理の手順を示すフローチャート図の一例である（実施例２）。
【図１３】ノイズ低減装置の機能ブロック図の一例である（実施例３）。
【図１４】ノイズ低減処理の手順を示すフローチャート図の一例である（実施例３）。
【図１５】ステップＳ２０１の詳細フローの一例を示すフローチャート図である。
【図１６】ノイズ低減装置の機能ブロック図の一例である（実施例４）。
【図１７】ノイズ低減処理の手順を示すフローチャート図の一例である（実施例４）。
【図１８】フィルタサイズが5×5の場合のフィルタの一例を示す図である。
【図１９】ノイズ低減装置の機能ブロック図の一例である（実施例５）。
【図２０】ノイズ低減処理の手順を示すフローチャート図の一例を示す（実施例５）。
【図２１】差分ベクトルの二次元方向への射影を模式的に示す図の一例である。
【図２２】差分ベクトルの三次元方向への射影を模式的に示す図の一例である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。
【実施例１】
【００１１】
本実施例では、一つの画素がＲＧＢの３つの成分を持つカラー画像から、信号値に大きさが依存する非加法性のノイズを低減するノイズ低減装置１００について説明する。以下、信号値を画素値という場合がある。本実施例のノイズ低減装置１００は、デジタルカメラ、スキャナ、カメラ付き携帯などカラー画像を撮影する機器であれば好適に適用できる。また、コンピュータが記憶媒体から読み出したり、ネットワークを介して取得したカラー画像に本実施例のノイズ低減処理を施すこともできる。
【００１２】
図１は、デジタルカメラの概略構成図の一例を示す。デジタルカメラの構成そのものは公知のものを利用できる。デジタルカメラは、例えば、像を撮影する撮像部１１と、撮像部１１により得られた画像信号に処理を施す信号処理部１８と、デジカメ全体を制御する主制御部１７、画像データを記憶するフレームメモリ１９、及び、その他の部品と接続されるI/F（インタフェース）２１、を有する。I/F２１ には画像を表示する表示部２２と、画像データを保存したり画像データを読み出すための外部メモリ２３、及び、記憶媒体２４を装着するメモリカード装着部２４とが接続されている。ノイズ低減処理は、例えば信号処理部１８と主制御部１７に実装されるが、実装例は図に限定されるものではない。
【００１３】
撮像部１１は、レンズ１２、絞り１３、電子シャッター１４、光電変換素子１５及び前処理部１６を有する。光電変換素子１５は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device)が使用される。撮像部１１は不図示のカラーフィルタ（原色系又は補色系のいずれでもよい）を有し、例えばセル状に配列されたＲ、Ｇ、Ｂ各色毎に１つの光電変換素子１５が配置されている。
【００１４】
前処理部１６は、プリアンプやＡＧＣ（自動利得制御）等のアナログ信号処理やＡ／Ｄ変換器を備えており、光電変換素子１５により出力されたアナログ映像信号に対して増幅・クランプ等の前処理を施した後、アナログ映像信号をデジタル映像信号に変換する。
【００１５】
信号処理部１８は、ＤＳＰ等を有し、撮像部１１から得られたデジタル信号に対して色分解、ホワイトバランス調整、γ補正等の種々の画像処理を施す。信号処理部１８は処理した画像データをフレームメモリ１９に格納したり、格納した画像データをフレームメモリ１９から読み出し、ノイズ低減などの画像処理を施すことができる。フレームメモリ１９には、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリが使用される。
【００１６】
フレームメモリ１９から読み出された画像データは、信号処理部１８において画像圧縮等の信号処理が施された後、I/F２１を介して外部メモリ２３又はメモリカード装着部２４に装着された記憶媒体２５に記憶される。外部メモリ２３は、フラッシュメモリ等の不揮発メモリであり、記憶媒体２５はＵＳＢメモリ、ＳＤメモリカード、光磁気ディスクなどの脱着可能な可搬型の不揮発メモリである。ＩＦ２１はこれらを切り替えて利用できる。また、不図示の通信ユニットにより画像データをサーバに送信したり、サーバから画像データを受信して外部メモリ２３に記憶してもよい。この場合、通信ユニットは、携帯電話網や無線／有線ＬＡＮ網に接続して、画像データを送受信する。
【００１７】
フレームメモリ１９、外部メモリ２３又は記憶媒体２５から読み出された画像データは、表示部２２に表示される。表示部２２は、液晶ディスプレイや有機ＥＬディスプレイ等、デジタルカメラの筐体に設置されている。表示部２２はタッチパネルを一体に有する。このタッチパネルと、筐体に設けられたキーボードにより、ユーザの操作を入力することができる。
【００１８】
主制御部１７、又は、主制御部１７と信号処理部１８は、マイコンやＬＳＩなどにより構成される。したがって、例えば、主制御部、信号処理部及びフレームメモリ１９が、ノイズ低減装置１００を構成する主要部の一例である。マイコンは、主にＣＰＵ、ＲＡＭ、ＥＥＰＲＯＭ、ＡＳＩＣ、等がバスで接続されたコンピュータを実体とし、ＥＥＰＲＯＭに記憶されたノイズ低減プログラム２０をＣＰＵが実行することで、以下で説明するノイズ低減処理が画像データに施される。また、ＡＳＩＣ等のハードウェアによりノイズ低減処理を実装してもよい。ノイズ低減プログラム２０は、予め、ＥＥＰＲＯＭに記憶された状態でデジタルカメラと共に出荷される。また、記憶媒体２５にノイズ低減プログラム２０を記憶させて配布し、I/F２１を介してノイズ低減プログラム２０をＥＥＰＲＯＭに読み込むことができる。また、ネットワークを介してノイズ低減プログラム２０をＥＥＰＲＯＭにダウンロードしてもよい。
【００１９】
〔ノイズ低減処理〕
図２はノイズ低減装置１００の機能ブロック図の一例を、図３はノイズ低減処理の手順を示すフローチャート図の一例をそれぞれ示す。
【００２０】
ノイズ低減装置１００は画像データ（以下、処理対象画像３１という）を入力とし、ノイズ低減画像３２を出力する。ノイズ低減装置１００は、画像取得部１０１、注目画素選択部１０２、平均・分散算出部１０３、ノイズ分散推定部１０４、差分変換部１０５、加算部１０６、及び、画素選択済み判定部１０７を有する。各機能ブロックは、ＣＰＵがノイズ低減プログラム２０を実行することで実現される。以下、各機能ブロックについて、図３のフローチャート図に沿って説明する。
【００２１】
＜Ｓ１０１＞ステップＳ１０１では、画像取得部１０１がフレームメモリ１９から処理対象画像３１を取得する。処理対象画像３１は、デジタルカメラが直接撮影した以外の画像データでもよい。
【００２２】
＜Ｓ１０２＞ステップＳ１０２では、注目画素選択部１０２が、処理対象画像３１の複数の画素の中から注目画素を選択する。たとえばラスタ走査により順次、注目画素を選択すればよく、全ての画素を選択する方法であれば走査方法はどのようなものでもよい。
【００２３】
＜Ｓ１０３＞ステップＳ１０３では、平均・分散算出部１０３が、注目画素の近傍領域における画素の画素値の平均、分散を算出する。ここではεフィルタやバイラテラルフィルタなどの方法を取ることができる。一例として次の方法を示す。
【００２４】
図４は、平均、分散の算出を模式的に説明する図の一例である。近傍画素は実際にはカラーである。まず、平均・分散算出部１０３は、注目画素を中心とした特定ウィンドウ内の近傍画素を選択する。特定ウィンドウの大きさは予め定められていてもよいし、ユーザが設定したノイズ低減処理の強度に応じて可変となっていてもよい。図では（９×９）画素の矩形が特定ウィンドウである。
【００２５】
そして、平均・分散算出部１０３が、注目画素と各近傍画素の類似度を算出する。類似度として、例えばＲＧＢ空間でのユークリッド距離の逆数を用いることができる。類似度が特定閾値以上の近傍画素を、平均、分散の演算に用いることとする。こうすることで、注目画素と色合いの近似した近傍画素を抽出し、エッジを保存しながらノイズを低減できる。なお、類似度は画素単位で算出し、平均値はＲ、Ｇ、Ｂ毎に算出する。
【００２６】
図４では、注目画素を中心とする球内にある画素が、注目画素との類似度が特定閾値以上の近傍画素となる。以下、特定半径の球内を類似領域という。
【００２７】
平均・分散算出部１０３は、次の公式を用いて分散を算出する。
【００２８】
【数１】
ここでVar(X)は確率変数Xの分散、Cov(X, Y)は確率変数XとYの共分散、E(X)は確率変数Xの期待値を示す。すなわち、画素値を二乗したデータ、異なる色成分の画素値を乗算したデータ、元の画素値、を組み合わせることで、類似領域の画素の分散・共分散（フィルタ処理）を算出することができる。なお、処理コスト削減の面から共分散は算出せず0と置いてもよい。
【００２９】
図５は、ステップＳ１０３の詳細フローの一例を示す。ｘは、近傍画素の画素値であり、ＲＧＢの各成分を要素として持つ３次元ベクトルである。平均・分散算出部１０３は、変数μ、Σ、ｎに初期値であるゼロを設定する（Ｓ１３０１）。
【００３０】
ついで、平均・分散算出部１０３は、特定ウィンドウの近傍画素の画素値を取得し（Ｓ１３０２）、注目画素との類似度を算出する（Ｓ１３０３）。
【００３１】
平均・分散算出部１０３は、類似度が特定閾値以上か否かを判定する（Ｓ１３０４）。類似度が特定閾値以上の場合（Ｓ１３０４のＹｅｓ）、その近傍画素が平均、分散の算出対象なので、平均・分散算出部１０３は、変数μにｘを、変数ΣにｘｘＴを、変数ｎにｎ＋１を、それぞれ加える（Ｓ１３０５）。なお、「Ｔ」は転置を表す。
【００３２】
ついで、平均・分散算出部１０３は、特定ウィンドウ内の全ての近傍画素を選択したか否かを判定する（Ｓ１３０６）。特定ウィンドウ内の全ての近傍画素を選択していない場合（Ｓ１３０５のＮｏ）、ステップＳ１０３２に戻り上記の処理を繰り返す。
【００３３】
特定ウィンドウ内の全ての近傍画素を選択した場合（Ｓ１３０５のＹｅｓ）、平均・分散算出部１０３は、「μ／ｎ」、「Σ／ｎ−μμＴ」をそれぞれ算出する（Ｓ１３０７）。二乗和から平均を引く一般的な分散算出と同様の結果が、少ない計算量で得られる。
【００３４】
図５の処理の結果、μが類似領域の平均値ベクトルとして、Σが分散共分散行列として得られる。Σの対角成分は類似領域の分散である。なお、類似領域の平均でなく、中央値や最頻値など種々の代表値を採用することができる。平均等の代表値に、輝度やホワイトバランスを修正する定数を加えたり乗じてもよい。
【００３５】
＜Ｓ１０３の変形例＞
ステップＳ１０３の平均、分散の算出方法には種々のバリエーションを取りうる。例えば、実施例１では類似領域の画素に対し単純に平均・分散を求めたが、類似領域の画素の画素値に重み付けをして平均・分散を求めてもよい。バイラテラルフィルタのように、注目画素との類似度と相対位置をフィルタの重み係数に反映させることも有効である。例えば、平均・分散算出部１０３は、類似度が大きいほど大きな重み係数を画素値に与えて平均・分散を算出する。
【００３６】
また、上記実施例ではＲＧＢ空間でのユークリッド距離を類似度の算出に用いたが、類似度算出にLnノルム(nは自然数)を用いてもよい。また、色空間には、L*a*b*表色系、ＸＹＺ表色系等、適宜選択できる。この場合、平均・分散算出部１０３は、特定ウィンドウ内の画素の画素値（ＲＧＢ）を選択した表色系の画素値に変換する。変換公式は既知である。
【００３７】
平均・分散算出部１０３は、このＲＧＢ空間とは別の色空間でのノルムを用いることもできる。たとえば、L*a*b*などの等色空間のユークリッドノルムを用いると、人間の知覚に近い色の類似度を得ることができる。
【００３８】
＜Ｓ１０４＞図３に戻りステップＳ１０４では、ノイズ分散推定部１０４が、ノイズの分散を推定する。
図６は信号値（画素値）に対するノイズの分散をプロットした図の一例である。ショットノイズでは信号値とノイズの分散に比例関係が見られる。このように、一般にノイズの分散は画素値に依存する。
【００３９】
したがって、画素値からノイズの分散を推定する関数を導出しておくことが可能になる。なお、ノイズの分散はＲＧＢの各成分ごとに求めるので、ノイズの分散を推定する関数もＲ、Ｇ、Ｂの各成分毎に導出しておく。
【００４０】
注目画素のノイズを低減するためには、注目画素に含まれる平均的なノイズを知りたいので、ノイズ分散推定部１０４は、類似領域のノイズの分散を求める。図７は、類似領域のノイズの分散を推定するための関数の一例を示す。ノイズ分散推定部１０４は、平均値ベクトルμの各成分に基づき図７の関数を利用して、類似領域のノイズの分散σ2を求める。
【００４１】
これを各色成分に適用して各成分のノイズの分散を求める。求めたノイズの分散を対角成分に置いた行列をノイズの分散共分散行列Σnoizeとする。多くの場合はノイズの分散共分散行列の非対角成分（共分散）を0と置くことができる。ノイズの共分散が無視できない場合は、分散推定間数と同様に共分散の推定関数を同定し、それを用いて共分散を推定し分散共分散行列を算出する。
【００４２】
＜Ｓ１０５＞図３に戻りステップＳ１０５では、差分変換部１０５が注目画素ｇの注目画素ベクトルｇから類似領域の平均値ベクトルμを引き、得られた差分（以下、差分ベクトルｓという）の方向と大きさを変換する。
【００４３】
図８は、差分ベクトルｓの変換を模式的に説明する図の一例である。図８（ａ）に示すように、差分変換部１０５は、まず、特定方向eに差分ベクトルｓを射影する。特定方向ｅとして、類似領域の平均値ベクトルμの成分（Ｒ、Ｇ、Ｂ）と同じＲＧＢ比率となる一定方向（以下、ＲＧＢ一定比率方向という）を取ることができる。この方向を特定方向ｅとすることで、注目画素の画素値が類似領域色合いとずれることを防ぐことができる。また、射影することで、差分ベクトルｓが、類似領域の色合いの方向に変換され、かつ、長さが低減されるので、類似領域の画素と異なる色合いをもたらすノイズやその大きさを低減する効果が得られる。
【００４４】
そして、更に好ましくは、差分変換部１０５は、類似領域のノイズの分散共分散行列Σnoizeを用いて射影した差分ベクトルｓに明示的にノイズを低減する処理を施す。図８（ｂ）に示すように、差分変換部１０５は、射影したベクトルの大きさに（テクスチャ量）/（ノイズ量+テクスチャ量）の値を乗じる。これにより、ノイズ量及びテクスチャ量に応じてノイズ低減の強度を適応的に制御することができる。
【００４５】
なお、ノイズ量はノイズの分散共分散行列Σnoizeのうち特定方向eの分散、テクスチャ量は類似領域の分散共分散行列からノイズの分散共分散行列Σnoizeを引いて得られる分散共分散行列の特定方向eの分散である。一般に分散共分散行列がΣであるとき、特定方向e（単位ベクトル）の分散σe2は次式で求めることができる。
【００４６】
【数２】
テクスチャ量は類似領域の分散共分散行列からノイズの分散共分散行列Σnoizeを引いて得られるものであるから、実質的には射影した差分ベクトルｓの大きさに（テクスチャ量）/（ノイズ量+テクスチャ量）＝{1−（ノイズの分散のe方向の大きさ）/（類似領域の分散のe方向の大きさ）}を乗算すればよい。
【００４７】
図９は、ステップＳ１０５の詳細フローの一例を示す。図９の手順は一例に過ぎず、同様の結果を得られる限り各ステップの内容・順序を入れ替えることができる。注目画素ベクトルgは注目画素の画素値（ＲＧＢのベクトル）、Σtotal はステップＳ１３０５のΣと同じもので類似領域の分散共分散行列である。
【００４８】
まず、差分変換部１０５は、差分ベクトルｓを算出する（Ｓ１５０１）。
ｓ ← ｇ−μ
ついで、差分変換部１０５は、差分ベクトルｓを特定方向ｅに射影する（Ｓ１５０２）。
ｓ ← ｅｅTｓ
ついで、差分変換部１０５は、ノイズの分散共分散行列Σnoizeの特定方向ｅの大きさと、類似領域の分散共分散行列Σtotalの特定方向eの大きさをそれぞれ求め、両者の比率を１から引くことで、重みｗを算出する（Ｓ１５０３）。すなわち、非加法性のノイズを低減できる。
ｗ ← １−（ｅTΣnoiseｅ）／（ｅTΣtotalｅ）
差分変換部１０５は、射影した差分ベクトルｓの大きさを変換する（Ｓ１５０３）。
ｓ ← ｗｓ
以上の処理で、色合いを損なうことなく、ノイズ量及びテクスチャ量に応じてノイズ低減の強度を適応的に制御することができる。
【００４９】
＜Ｓ１０５の変形例＞
差分ベクトルｓをＲＧＢ比率一定の方向に射影するのでなく、射影方向に輝度方向を用いることも有用である。この場合はわずかに色が変わる可能性があるが、ＲＧＢ空間において輝度方向は一定なので、特定方向ｅが類似領域毎に（すなわち注目画素に）依存せず一定となり、処理の高速化が図れる。輝度とＲＧＢには、「輝度 = 0.299R + 0.587G + 0.114B」の関係があるので、例えばＲＧＢ空間の（０．３ ０．６ ０．１）と原点を通る方向が特定方向ｅである。
【００５０】
また、射影したベクトルに乗ずる係数も、ノイズ量が多くなれば小さくなり、テクスチャ量が多くなれば大きくなるような特性を持たせることができれば、よりノイズを効率的に低減できる。たとえば、任意の定数αとβを用いて、「α×（ノイズ量）/（ノイズ量+テクスチャ量）＋β」とする。α、βを１以上とすれば、重みｗをより小さくでき、ノイズを大きく低減することになる。α、βを１より小さくすれば、重みｗをより大きくでき、テクスチャやエッジを保存しやすくできる。αとβをパラメータとして、設計者が実現したい画質に合わせて設定することができる。
【００５１】
＜Ｓ１０６＞図３に戻り、ステップＳ１０６では、加算部１０６が変換した差分ベクトルｓを類似領域の平均値ベクトルμに加算する。差分ベクトルｓを射影して平均値ベクトルμに加算することで、フィルタ処理で削られる高周波を付加となり、振幅の小さい新合成分を保存することが可能となる。なお、実施例２にて説明するように、はじめに図９と同一内容の線形変換の行列を算出し、それと平均値ベクトルμをかけ合わせてもよい。加算部１０６は、加算して得られたベクトルの要素ＲＧＢにより、注目画素の画素値を置き換える。
【００５２】
＜Ｓ１０７＞ステップＳ１０７では、画素選択済み判定部１０７が処理対象画像３１のすべての画素を選択したか否かを判定する。まだ選択されていない画素がある場合は、ステップＳ１０２に進み、全ての画素を選択した場合は、ノイズ低減装置１００がノイズ低減画像３２を出力する。ノイズ低減画像３２は、例えばフレームメモリ１９にいったん記憶され、その後、外部メモリ２３又は記憶媒体２４に記憶される。
【００５３】
〔ＲＧＢ以外のカラー画像のノイズ低減〕
ＲＧＢ以外のカラー画像にも、本実施例のノイズ低減方法を好適に適用することができる。ＲＧＢ以外のカラー画像の場合は、ノイズ低減装置１００の前段に、色空間をＲＧＢに変換する処理部を、ノイズ低減装置１００の後段に、ＲＧＢから元の色空間に戻す処理部を追加すればよい。これらの変換公式は既知である。
【００５４】
または、ノイズ低減装置１００に、色変換を行わずに処理対象画像３１を入力し、色空間の変換が必要となる処理ステップ（類似度算出Ｓ１０３、特定方向への射影Ｓ１０５）でのみ部分的に色変換を行ってもよい。
【００５５】
〔ベイヤ配列上での実行〕
また、カラーで撮影する場合、光電変換素子１５毎に赤、青、緑の輝度を表すベイヤ(Bayer)配列型のフィルタを有することが多い。このようなベイヤ配列型のフィルタを介して撮影された処理対象画像３１に対しても、本発明を適用することができる。
【００５６】
例えば、ノイズ低減装置１００の前処理部１６に、ベイヤ配列のデータをＲＧＢデータに補間する（同時化する）回路を設け、ノイズ低減装置１００の後段にＲＧＢデータをベイヤ配列上に間引く処理部を設けることができる。また、例えば、ベイヤ配列型のデータを直接ノイズ低減装置１００に入力し、ひとつの画素に対してＲＧＢが必要となる箇所（類似度算出Ｓ１０３、特定方向への射影Ｓ１０５）でのみ一時的にＲＧＢ補間（同時化）を行うこともできる。
【００５７】
以上説明したように、本実施例のノイズ低減装置１００は、ノイズ低減処理による画素値変化を色空間の特定方向ｅに制約しているため、色ずれを起こさず色ノイズを効果的に低減することができる。また、ノイズ量及びテクスチャ量に応じてノイズ低減の強度を可変にするので、信号値に大きさが依存する非加法性ノイズを、元の画像のテクスチャの量を勘案して適切に低減することができる。
【実施例２】
【００５８】
実施例１では、差分ベクトルｓを特定方向eに射影して類似領域の平均値ベクトルμに加算するという処理を行った。ここで、特定方向eに、類似領域の平均のＲＧＢ比率一定の方向を用いる場合、特定方向ｅは類似領域の画素の平均値ベクトルμの方向と同じである。
【００５９】
図１０（ａ）は、特定方向eとＲＧＢ比率一定方向の関係を示す図である。すなわち、平均値ベクトルμの方向と特定方向ｅが一致する。したがって、差分ベクトルｓをＲＧＢ一定比率方向に射影して類似領域の画素の平均値ベクトルμに加算するという処理は、平均値ベクトルμをスカラー倍することに等しい。
【００６０】
本実施例では、このことを利用し、図３のステップＳ１０５及びＳ１０６の処理を、適切な乗算数ηを求める処理と、類似領域の画素の平均値ベクトルμにスカラーである乗算数ηを乗算する処理で代替したノイズ低減装置１００について説明する。
【００６１】
図１１はノイズ低減装置１００の機能ブロック図の一例を、図１２はノイズ低減処理の手順を示すフローチャート図の一例をそれぞれ示す。なお、図１１において図２と同一部には同一の符号を付しその説明は省略し、図１２において図３と同一部には同一の符号を付しその説明は省略する。
【００６２】
＜Ｓ１０５−２＞ステップＳ１５０−２において、乗算数算出部１０５１は、乗算数ηを算出する。乗算数ηの算出には次式を用いることができる。
【００６３】
【数３】
ここで平均値ベクトルμはＲＧＢ一定比率方向を、gは注目画素ベクトルを、 Σnoiseはノイズの分散共分散行列Σnoiseを、Σtotalは類似領域の分散共分散行列Σtotalを、それぞれ表す。これは、上述の例でe=μ/|μ|とおいて式を変形することで導くことができるため、同一の処理結果となる。本実施例の処理が処理コストが低いという利点がある。
【００６４】
＜Ｓ１０６−２＞ステップＳ１６０−２において、乗算部１０６１は平均値ベクトルμをスカラーη倍する。
図１０（ｂ）は乗算後の類似領域の平均（ＲＧＢのベクトル）を示す。乗算前の類似領域のＲＧＢ一定比率方向を乗算数η倍することでμ←η×μが得られ、乗算後のμが実施例１の「μ＋ｓ」に等しいことがわかる。
【００６５】
本実施例のノイズ低減装置１００は、より小さい処理コストで実施例１と同等の効果を得ることができる。
【００６６】
〔実施例１と実施例２の等価性〕
実施例２において、特定方向eにＲＧＢ比率一定方向を用いる場合は、類似領域の平均値ベクトルμを乗算数η倍することで、差分ベクトルｓを特定方向eに射影して類似領域の平均値ベクトルμに加算するという処理と等しいと説明した。両者が等価であることを説明する。
【００６７】
実施例１の処理は次式で表すことができる。
【００６８】
【数４】
式（６）は、差分ベクトル「ｇ−μ」を線形変換してμに加算する処理を意味する。なお、ｖについては式（５）に示したとおりである。
【００６９】
式（６）の右辺は次のように変形することができる。
【００７０】
【数５】
式（７）は、μに係数を乗じる処理になっている。また、式（７）の中カッコ｛｝の中の変数は、式（４）の乗算数ηと同じである。したがって、特定方向eをＲＧＢ比率一定方向とする場合、差分ベクトルｓを特定方向eに射影して類似領域の平均値ベクトルμに加算するという処理は、類似領域の平均μをη倍する処理と等しいことがわかる。したがって、実施例１と実施例２は等価であることがわかる。
【実施例３】
【００７１】
本実施例では、類似領域の画素の最大分散方向に差分ベクトルｓを射影しノイズを低減するノイズ低減装置１００について説明する。
【００７２】
図１３は本実施例におけるノイズ低減装置１００の機能ブロック図の一例である。図１３において図２と同一部には同一の符号を付しその説明は省略する。図１３の機能ブロック図では、最大分散方向算出部２０１を有する点で図２と異なる。また、差分変換部２０２は実施例1の差分変換部１０５と異なる動作をする。
【００７３】
図１４はノイズ低減処理の手順を示すフローチャート図の一例を示す。図１４において図３と同一ステップには同一の符号を付しその説明は省略する。
【００７４】
＜Ｓ２０１＞
ステップＳ１０４までの処理により、類似領域の平均値ベクトルμ、Σtotal 、及び、Σnoiseが算出されている。ステップＳ２０１では、最大分散方向算出部２０１が、類似領域の画素の本来の画素値の色空間における最大分散方向を算出する。具体的には次の手順で行う。
【００７５】
図１５は、ステップＳ２０１の詳細フローの一例を示す。
【００７６】
まず、最大分散方向算出部２０１は、類似領域の画素の分散共分散行列Σtotalから、ノイズの分散共分散行列Σnoiseを減算する（Ｓ２０１１）。
Σtotal −Σnoise
最大分散方向算出部２０１は、得られた行列の固有値と固有ベクトルを求める（Ｓ２０１２）。分散共分散行列の固有ベクトルは、与えられたデータの分散がどちらの方向を向いているかを示す。また、固有値は、その方向に対してどの程度の大きさで分散が広がっているか、つまりどの程度ばらついているかを示す。したがって、分散共分散行列の固有値が最大になる固有ベクトルを求めることで、最大分散方向が得られる（Ｓ２０１３）。
【００７７】
＜Ｓ２０２＞
ステップＳ２０２では、差分変換部２０２は、最大分散方向を特定方向eとして実施例１と同様の処理を行う。すなわち、差分変換部２０２は、注目画素ベクトルｇから類似領域の平均値ベクトルμを引き、得られた差分ベクトルｓを、最大分散方向に射影する。そして、類似領域の分散共分散行列Σtotalを用いて、射影した差分ベクトルｓにノイズを低減する処理を施す。
【００７８】
最大分散方向に差分ベクトルｓを射影することで、ＲＧＢ比率一定方向や輝度方向と異なり、元の画像の性質をより強く反映することができる。ノイズ低減による微細信号の劣化を低減することができる。また、エッジを保存しやすくできる。
【実施例４】
【００７９】
本実施例では、ノイズ量、テクスチャ量の算出に画素値の分散共分散行列からではなく、空間周波数を用いるノイズ低減装置１００について説明する。
【００８０】
図１６は、本実施例における機能ブロック図の一例を示す。図１６において図２と同一部には同一の符号を付しその説明は省略する。図１６では、平均・分散出部１０３の代わりに平均・周波数算出部３０１を、ノイズ分散推定部１０４の代わりにノイズ量算出部３０２を、を有する。また、差分変換部３０３は、差分変換部１０５と同等の作用を提供する。
【００８１】
図１７は、ノイズ低減処理の手順を示すフローチャート図の一例を示す。図１７において図３と同一ステップには同一の符号を付しその説明は省略する。
【００８２】
＜Ｓ３０１＞
ステップＳ３０1では、平均・周波数算出部３０１が類似領域の画素の平均値ベクトルμと特定周波数の強度ベクトルを算出する。平均の算出方法は実施例１と同じなので省略する。特定周波数の強度ベクトルを算出するため、平均・周波数算出部３０１は、類似領域の画素の特定周波数の強度を各色（ＲＧＢ）成分のフィルタ応答により求める。
【００８３】
図１８は、フィルタサイズが5×5の場合のフィルタの一例を示す。なお、フィルタ演算には平均値演算に用いた画素のみを使用する。用いるフィルタを調整することで、処理対象画像３１から所望の周波数成分を抽出できる。例えば、エッジを抽出するフィルタや平滑化するフィルタが知られている。図１８は、高周波成分を抽出するフィルタの例である。
【００８４】
処理対象画像３１に含まれるノイズは空間周波数に依存する性質を持つ場合があることが知られている。実施例１のように画素値の平均からノイズを推定すると、処理対象画像３１の全ての周波数成分からノイズを推定することになり、周波数成分によっては適切なノイズ低減でないことが生じることがある。
【００８５】
これに対し、この空間周波数による強度調節の方法は、低減したいノイズの周波数に合わせてノイズ低減強度を調節する側面と、残したいテクスチャの周波数に合わせてノイズ低減強度を調節する側面、の二つ側面を有する。すなわち、ある周波数帯におけるノイズとテクスチャの量をノイズ低減強度に反映させることができる。分散によるノイズの推定が全周波数帯を対象とするのに対して、特定の周波数帯を対象とすることが可能となる。したがって、特定の周波数帯のノイズとテクスチャの量をノイズ低減強度に反映させればいいことが分かっている場合に効果的なノイズ低減処理を実現できる。
【００８６】
＜Ｓ３０２＞
ステップＳ３０２では、ノイズ強度算出部３０２がノイズ強度を算出する。ノイズ強度を算出するため、類似領域の画素の平均からノイズの特定周波数の強度を返す関数を予め同定しておく。この関数は、図７と同様なので省略する。これを各色成分に適用してノイズの特定周波数の強度ベクトルを求める。
【００８７】
＜Ｓ３０３＞
ステップＳ３０３では、差分変換部３０３が差分ベクトルｓを変換する。以降の手順は実施例１と同様である。差分変換部３０３は特定方向eに差分ベクトルｓを射影してから、その大きさを変える。特定方向eとしては、ＲＧＢ比率一定方向、輝度方向、最大分散方向等とすることができる。
【００８８】
差分変換部３０３は、ステップＳ３０２で算出された、ノイズの特定周波数の強度ベクトルを特定方向eに射影したベクトルの大きさをノイズ量とする。また、特定方向eに射影された差分ベクトルｓからノイズの特定周波数の強度ベクトルを減算して得られたベクトルの大きさをテクスチャ量とする。このノイズ量とテクスチャ量を用いて、例えば、ステップＳ１５０３のようにして差分ベクトルｓの射影ベクトルの大きさを変更する。なお、特定方向ｅをＲＧＢ比率一定方向とした場合は、実施例２のように、類似領域の平均値ベクトルμをη倍してもよい。
【００８９】
本実施例のノイズ低減装置１００は、フィルタにより特定周波数の成分を抽出しノイズの強度を算出するので、所望の周波数成分のノイズを低減しやすくできる。
【実施例５】
【００９０】
これまでの実施例では、差分ベクトルｓの射影方向を特定方向ｅに変換したが、本実施例では、差分ベクトルｓを、特定方向ｅと特定方向ｅに垂直な方向のそれぞれのノイズ量に応じて変換するノイズ低減装置１００について説明する。いわば、差分ベクトルｓをＲＧＢ空間における二次元部分空間にて変換することになる。
【００９１】
図１９は、本実施例における機能ブロック図の一例を示す。図１９において図２と同一部には同一の符号を付しその説明は省略する。図１９では、差分変換部４０１を有する。
【００９２】
図２０は、ノイズ低減処理の手順を示すフローチャート図の一例を示す。図２０において図３と同一ステップには同一の符号を付しその説明は省略する。
【００９３】
＜Ｓ４０１＞
処理ステップＳ４０１では、差分変換部４０１が、差分ベクトルｓの、特定方向eの分散と、特定方向eに垂直な方向ｅ⊥の分散、それぞれついて大きさを変換する。
図２１は、差分ベクトルｓの二次元方向への射影を模式的に示す図の一例である。図２１（ａ）に示すように、差分ベクトルｓと特定方向ｅを含む平面が一意に定まる。また、ノイズ量はＲＧＢ成分毎に求められている。特定方向eの分散の求め方は実施例１と同じである。特定方向eに垂直な方向ｅ⊥のノイズ量は、ノイズの分散共分散行列Σnoizeのうち特定方向eに垂直な方向ｅ⊥の分散である。特定方向eに垂直な方向ｅ⊥のテクスチャ量は、類似領域の分散共分散行列Σtotalからノイズの分散共分散行列Σnoizeを引いて得られる分散共分散行列の特定方向eに垂直な方向ｅ⊥の分散である。
【００９４】
図２１（ｂ）は、それぞれの方向において（テクスチャ量）/（ノイズ量＋テクスチャ量）で大きさを変換した差分ベクトルｓの一例を示す。特定方向ｅと、垂直な方向ｅ⊥の２つの方向に対し、差分ベクトルｓを各方向のノイズ量に応じて変換することで、特定方向ｅに近づける方向で変換できる。したがって、特定方向ｅと垂直な方向のテクスチャ量がノイズ量に比して大きければ、射影される差分ベクトルｓに注目画素の情報を多く残すことができる。逆に、特定方向ｅと垂直な方向のテクスチャ量がノイズ量に比して小さければ、射影される差分ベクトルｓを類似領域の平均値ベクトルμに近くすることでノイズを低減できる。なお、特定方向ｅはＲＧＢ比率一定方向、輝度方向、又は、最大分散方向のいずれでもよい。
【００９５】
また、例えば特定方向eを輝度方向に取った場合、特定方向eに垂直な方向ｅ⊥の差分ベクトルｓの大きさを特定方向eの大きさよりも高い比率で縮小することができる。輝度方向と垂直な方向は人間の眼の感度が低いので、特定方向eに垂直方向の差分ベクトルｓをその方向のノイズ量より大きく圧縮しても、人間の視覚が感じる変化は小さい。したがって、人間の視覚に重要な輝度成分を保存したまま、効率的にカラーノイズを低減することができる。
【００９６】
本実施例のノイズ低減装置１００によれば、差分ベクトルｓをＲＧＢ空間における二次元部分空間にて変換することで、ノイズ量に応じて注目画素の情報を適切に圧縮しながら、カラー画像のノイズを低減できる。
【実施例６】
【００９７】
実施例１では差分ベクトルｓを特定方向ｅの一次元方向に射影し、実施例５では差分ベクトルｓを二次元部分空間のベクトルに変換することでノイズを低減した。本実施例では、差分ベクトルｓを三次元部分空間のベクトルに変換することでノイズを低減するノイズ低減装置１００について説明する。すなわち、本実施例のノイズ低減装置１００は、三次元の色空間（ＲＧＢ色空間）におけるノイズの低減を一般化したものである。
【００９８】
なお、本実施例の機能ブロック図は、図２又は図１９と同様であり、特に差分変換部１０５又は差分変換部４０１を三次元空間の処理に拡張したものである。また、ノイズ低減の手順は図３又は図２０と等しい。
【００９９】
実施例１，５を一般化すると、差分ベクトルｓを線形変換し、類似領域の平均値ベクトルに加算する処理となる。具体的には、類似領域の平均値ベクトルμ、注目画素値ベクトルg、線形変換の行列Wを用いて次の式で出力画素値fを算出する処理に相当する。
【０１００】
【数６】
行列Wはたとえば次のように設定することができる。
【０１０１】
【数７】
Σnoiseはノイズの分散共分散行列、Σtextureはテクスチャの分散共分散行列である。テクスチャの分散共分散行列Σtextureは、類似領域の分散共分散行列Σtotal からノイズの分散共分散行列Σnoiseを引いたものである。したがって、式（９）から、行列Wは、三次元空間のそれぞれの方向で（テクスチャ量）/（ノイズ量＋テクスチャ量）の演算を可能とする行列であることがわかる。
【０１０２】
式（８）は、差分ベクトル（ｇ−μ）を三次元空間で線形変換し、平均値ベクトルμに加算する処理であるので、色空間における所望の３方向、それぞれについてノイズ量とテクスチャ量のバランスを勘案して、差分ベクトルｓを三次元空間のベクトルに変換することができる。
【０１０３】
図２２は、差分ベクトルｓの三次元方向への射影を模式的に示す図の一例である。方向e1, e2, e3はWの固有ベクトルの方向である。注目画素ｇが含むノイズ量を求めておけば、図示するように、方向e1, e2, e3それぞれについて、（テクスチャ量）/（ノイズ量＋テクスチャ量）に対応した変換が可能になる。変換後の各方向の分散から出力画素値のベクトルｆが求められる。
【０１０４】
ノイズ量に対してテクスチャ量が多い方向では注目画素値に近い値となり、出力画素値に注目画素の情報を多く残すことができる。その逆に、ノイズ量に対してテクスチャ量が少ない方向では類似領域の平均に近い値となるので適切にノイズを低減できる。
【０１０５】
また、特定方向e0（単位ベクトル）の分散を相対的に多く残すことで、人間の知覚上有用な成分を選択的に多く残すことも可能である。そのためには線形変換の行列Wを次のように設定する。
【０１０６】
【数８】
ここでIは3×3の単位行列である。αは設計パラメータであり、特定方向e0の分散の強調の程度を指定する。αが大きいほど、特定方向e0の分散を強調しやすくできる。特定方向e0としてはこれまで説明したようにＲＧＢ比率一定方向、輝度方向、最大分散方向等を取ることができる。
【０１０７】
また、より設計の自由度を高く持たせて、3×3のパラメータ行列A, Bを用いて、次のように設定してもよい。
【０１０８】
【数９】
式（１１）は、実施例１の＜Ｓ１０５の変形例＞で説明した、「α×（ノイズ量）/（ノイズ量+テクスチャ量）＋β」と同等である。すなわち、ＡとＢを調整することで、射影したベクトルに乗ずる係数も、ノイズ量が多くなれば小さくなり、テクスチャ量が多くなれば大きくなるような特性を持たせることができる。
【０１０９】
本実施例のノイズ低減装置１００は、ＲＧＢ空間のノイズの低減を、三次元部分空間に一般化して、各方向のノイズ量の大きさに応じて、注目画素の情報を多く残したり、類似領域の平均に近い値としたりすることができる。
【０１１０】
以上説明したように、本実施形態のノイズ低減装置１００は、注目画素から類似度が閾値内の画素をフィルタ処理することで、エッジなど人間が画像を知覚する上で重要な要素を保存しつつノイズ低減を行うことができ、差分ベクトルを例えば平均値ベクトルμに加算することで振幅の小さい信号を保存でき、カラー画像における非加法性のノイズを推定してノイズ量とテクスチャ量に応じてフィルタ処理の出力を変換することで、信号値に大きさが依存する非加法性ノイズを、元の画像のテクスチャの量を勘案して適切に低減することができる。また、ノイズ低減処理による画素値変化を色空間の特定方向に制約しているため、色ずれを起こさず色ノイズを効果的に低減することができる。
【符号の説明】
【０１１１】
１１ 撮像部
２０ ノイズ低減プログラム
２４ 記憶媒体
３１ 処理対象画像
３２ ノイズ低減画像
１００ ノイズ低減装置
１０１ 画像取得部
１０２ 注目画素選択部
１０３ 平均・分散推定部
１０４ ノイズ分散推定部
１０５ 差分変換部
１０６ 加算部
１０７ 画素選択済み判定部
【先行技術文献】
【特許文献】
【０１１２】
【特許文献１】特開２００８−２０５７３７号公報
【特許文献２】特開２００７−２８８４３９号公報
【特許文献３】特開２００２−２５９９６５号公報
【非特許文献】
【０１１３】
【非特許文献１】原島 博, 小田島 薫, 鹿喰 善明, 宮川 洋, "ε-分離非線形ディジタルフィルタとその応用," 電子情報通信学会論文誌 A , Vol.J65-A, No.4, pp.297-304, 1982.
【非特許文献２】CC. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images," Proc. Sixth Int'l Conf. Computer Vision, pp. 839-846, 1998.
【非特許文献３】Ce Liu, et al., "Automatic Estimation and Removal of Noise from a Single Image," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 30, no. 2, pp. 299-314, 2008.
【技術分野】
【０００１】
本発明は、カラー画像のノイズを低減するノイズ低減理装置、ノイズ低減方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
スキャナやデジタルカメラ等の撮像機器により撮影した画像には、撮像素子及び回路の特性上、暗電流ノイズ、熱雑音、ショットノイズなどのノイズが含まれる。高画質の画像を得るためには、これらのノイズを低減する処理を施さなければならない。しかし、単純にローパスフィルタを用いてノイズを低減すると、エッジなど人間が画像を知覚する上で重要な要素も同時に失われて画質が劣化する。そこで、画像の領域の特性に応じて、適応的にノイズ低減を行う技術が必要となる。
【０００３】
そのようなノイズ低減技術の一つとして、εフィルタが提案されている（例えば、非特許文献1参照。）。εフィルタでは、注目画素との信号差が一定閾値以下となる周辺画素をフィルタ処理に用いることで、エッジなどの信号差の大きい成分を保存しつつノイズを低減することを可能としている。
【０００４】
また、バイラテラルフィルタを用いたノイズ低減技術が提案されている（例えば、非特許文献２参照。）。バイラテラルフィルタは、注目画素との信号差及び空間距離によってフィルタの重み係数を作成しフィルタ処理を行う方法であり、εフィルタ同様、エッジの保存とノイズ低減を両立させることができる。なお、バイラテラルフィルタに準ずる原理によるノイズ低減は他にも提案されている（例えば、特許文献１，２参照。）。
しかしながら、εフィルタやバイラテラルフィルタには、背景部分のような振幅の小さい信号成分が失われやすいという問題がある。そこで、この問題を解決する技術が提案されている（例えば、特許文献３参照。）。特許文献３には、εフィルタ出力値と注目画素値を注目画素近傍の空間周波数に応じた割合で加重加算する技術が開示されている。
【０００５】
しかしながら、特許文献３記載の方法でも、ショットノイズなど非加法性のノイズに対応できず、また、カラー画像に対するノイズ低減性能が悪い、という問題がある。カラー画像における非加法性ノイズの低減技術が提案されている(例えば、非特許文献３参照。)が、この方法は画像のセグメンテーション、統計量の算出に多大な処理コストがかかるという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は上記従来技術の問題を鑑みたものであり、エッジなど人間が画像を知覚する上で重要な要素を保存しつつノイズ低減を行い、さらに振幅の小さい信号を保存し、カラー画像における非加法性のノイズを高精度に少ない処理コストで低減する、ノイズ低減理装置、ノイズ低減方法、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減装置であって、所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出する代表値ベクトル算出手段と、注目画素の注目画素ベクトルと前記代表値ベクトルとの差分ベクトルを、前記色空間の特定方向に射影する差分射影手段と、前記代表値ベクトルに、前記特定方向に射影された前記差分ベクトルを加えたベクトルの要素を、注目画素の画素値に置き換える画素値修正手段と、を有することを特徴とする。
【発明の効果】
【０００８】
エッジなど人間が画像を知覚する上で重要な要素を保存しつつノイズ低減を行い、カラー画像における非加法性のノイズを適切に低減する、ノイズ低減理装置、ノイズ低減方法、プログラム及び記憶媒体を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】デジタルカメラの概略構成図の一例である。
【図２】ノイズ低減装置の機能ブロック図の一例である。
【図３】ノイズ低減処理の手順を示すフローチャート図の一例である。
【図４】平均、分散の算出を模式的に説明する図の一例である。
【図５】ステップＳ１０３の詳細フローの一例を示すフローチャート図である。
【図６】信号値（画素値）に対するノイズの分散をプロットした図の一例である。
【図７】ノイズの分散を推定するための関数の一例を示す図である。
【図８】差分ベクトルｓの変換を模式的に説明する図の一例である。
【図９】ステップＳ１０５の詳細フローの一例を示すフローチャート図である。
【図１０】特定方向eと類似領域の平均値のＲＧＢ比率一定方向の関係を示す図である。
【図１１】ノイズ低減装置の機能ブロック図の一例である（実施例２）。
【図１２】ノイズ低減処理の手順を示すフローチャート図の一例である（実施例２）。
【図１３】ノイズ低減装置の機能ブロック図の一例である（実施例３）。
【図１４】ノイズ低減処理の手順を示すフローチャート図の一例である（実施例３）。
【図１５】ステップＳ２０１の詳細フローの一例を示すフローチャート図である。
【図１６】ノイズ低減装置の機能ブロック図の一例である（実施例４）。
【図１７】ノイズ低減処理の手順を示すフローチャート図の一例である（実施例４）。
【図１８】フィルタサイズが5×5の場合のフィルタの一例を示す図である。
【図１９】ノイズ低減装置の機能ブロック図の一例である（実施例５）。
【図２０】ノイズ低減処理の手順を示すフローチャート図の一例を示す（実施例５）。
【図２１】差分ベクトルの二次元方向への射影を模式的に示す図の一例である。
【図２２】差分ベクトルの三次元方向への射影を模式的に示す図の一例である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。
【実施例１】
【００１１】
本実施例では、一つの画素がＲＧＢの３つの成分を持つカラー画像から、信号値に大きさが依存する非加法性のノイズを低減するノイズ低減装置１００について説明する。以下、信号値を画素値という場合がある。本実施例のノイズ低減装置１００は、デジタルカメラ、スキャナ、カメラ付き携帯などカラー画像を撮影する機器であれば好適に適用できる。また、コンピュータが記憶媒体から読み出したり、ネットワークを介して取得したカラー画像に本実施例のノイズ低減処理を施すこともできる。
【００１２】
図１は、デジタルカメラの概略構成図の一例を示す。デジタルカメラの構成そのものは公知のものを利用できる。デジタルカメラは、例えば、像を撮影する撮像部１１と、撮像部１１により得られた画像信号に処理を施す信号処理部１８と、デジカメ全体を制御する主制御部１７、画像データを記憶するフレームメモリ１９、及び、その他の部品と接続されるI/F（インタフェース）２１、を有する。I/F２１ には画像を表示する表示部２２と、画像データを保存したり画像データを読み出すための外部メモリ２３、及び、記憶媒体２４を装着するメモリカード装着部２４とが接続されている。ノイズ低減処理は、例えば信号処理部１８と主制御部１７に実装されるが、実装例は図に限定されるものではない。
【００１３】
撮像部１１は、レンズ１２、絞り１３、電子シャッター１４、光電変換素子１５及び前処理部１６を有する。光電変換素子１５は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device)が使用される。撮像部１１は不図示のカラーフィルタ（原色系又は補色系のいずれでもよい）を有し、例えばセル状に配列されたＲ、Ｇ、Ｂ各色毎に１つの光電変換素子１５が配置されている。
【００１４】
前処理部１６は、プリアンプやＡＧＣ（自動利得制御）等のアナログ信号処理やＡ／Ｄ変換器を備えており、光電変換素子１５により出力されたアナログ映像信号に対して増幅・クランプ等の前処理を施した後、アナログ映像信号をデジタル映像信号に変換する。
【００１５】
信号処理部１８は、ＤＳＰ等を有し、撮像部１１から得られたデジタル信号に対して色分解、ホワイトバランス調整、γ補正等の種々の画像処理を施す。信号処理部１８は処理した画像データをフレームメモリ１９に格納したり、格納した画像データをフレームメモリ１９から読み出し、ノイズ低減などの画像処理を施すことができる。フレームメモリ１９には、ＶＲＡＭ、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリが使用される。
【００１６】
フレームメモリ１９から読み出された画像データは、信号処理部１８において画像圧縮等の信号処理が施された後、I/F２１を介して外部メモリ２３又はメモリカード装着部２４に装着された記憶媒体２５に記憶される。外部メモリ２３は、フラッシュメモリ等の不揮発メモリであり、記憶媒体２５はＵＳＢメモリ、ＳＤメモリカード、光磁気ディスクなどの脱着可能な可搬型の不揮発メモリである。ＩＦ２１はこれらを切り替えて利用できる。また、不図示の通信ユニットにより画像データをサーバに送信したり、サーバから画像データを受信して外部メモリ２３に記憶してもよい。この場合、通信ユニットは、携帯電話網や無線／有線ＬＡＮ網に接続して、画像データを送受信する。
【００１７】
フレームメモリ１９、外部メモリ２３又は記憶媒体２５から読み出された画像データは、表示部２２に表示される。表示部２２は、液晶ディスプレイや有機ＥＬディスプレイ等、デジタルカメラの筐体に設置されている。表示部２２はタッチパネルを一体に有する。このタッチパネルと、筐体に設けられたキーボードにより、ユーザの操作を入力することができる。
【００１８】
主制御部１７、又は、主制御部１７と信号処理部１８は、マイコンやＬＳＩなどにより構成される。したがって、例えば、主制御部、信号処理部及びフレームメモリ１９が、ノイズ低減装置１００を構成する主要部の一例である。マイコンは、主にＣＰＵ、ＲＡＭ、ＥＥＰＲＯＭ、ＡＳＩＣ、等がバスで接続されたコンピュータを実体とし、ＥＥＰＲＯＭに記憶されたノイズ低減プログラム２０をＣＰＵが実行することで、以下で説明するノイズ低減処理が画像データに施される。また、ＡＳＩＣ等のハードウェアによりノイズ低減処理を実装してもよい。ノイズ低減プログラム２０は、予め、ＥＥＰＲＯＭに記憶された状態でデジタルカメラと共に出荷される。また、記憶媒体２５にノイズ低減プログラム２０を記憶させて配布し、I/F２１を介してノイズ低減プログラム２０をＥＥＰＲＯＭに読み込むことができる。また、ネットワークを介してノイズ低減プログラム２０をＥＥＰＲＯＭにダウンロードしてもよい。
【００１９】
〔ノイズ低減処理〕
図２はノイズ低減装置１００の機能ブロック図の一例を、図３はノイズ低減処理の手順を示すフローチャート図の一例をそれぞれ示す。
【００２０】
ノイズ低減装置１００は画像データ（以下、処理対象画像３１という）を入力とし、ノイズ低減画像３２を出力する。ノイズ低減装置１００は、画像取得部１０１、注目画素選択部１０２、平均・分散算出部１０３、ノイズ分散推定部１０４、差分変換部１０５、加算部１０６、及び、画素選択済み判定部１０７を有する。各機能ブロックは、ＣＰＵがノイズ低減プログラム２０を実行することで実現される。以下、各機能ブロックについて、図３のフローチャート図に沿って説明する。
【００２１】
＜Ｓ１０１＞ステップＳ１０１では、画像取得部１０１がフレームメモリ１９から処理対象画像３１を取得する。処理対象画像３１は、デジタルカメラが直接撮影した以外の画像データでもよい。
【００２２】
＜Ｓ１０２＞ステップＳ１０２では、注目画素選択部１０２が、処理対象画像３１の複数の画素の中から注目画素を選択する。たとえばラスタ走査により順次、注目画素を選択すればよく、全ての画素を選択する方法であれば走査方法はどのようなものでもよい。
【００２３】
＜Ｓ１０３＞ステップＳ１０３では、平均・分散算出部１０３が、注目画素の近傍領域における画素の画素値の平均、分散を算出する。ここではεフィルタやバイラテラルフィルタなどの方法を取ることができる。一例として次の方法を示す。
【００２４】
図４は、平均、分散の算出を模式的に説明する図の一例である。近傍画素は実際にはカラーである。まず、平均・分散算出部１０３は、注目画素を中心とした特定ウィンドウ内の近傍画素を選択する。特定ウィンドウの大きさは予め定められていてもよいし、ユーザが設定したノイズ低減処理の強度に応じて可変となっていてもよい。図では（９×９）画素の矩形が特定ウィンドウである。
【００２５】
そして、平均・分散算出部１０３が、注目画素と各近傍画素の類似度を算出する。類似度として、例えばＲＧＢ空間でのユークリッド距離の逆数を用いることができる。類似度が特定閾値以上の近傍画素を、平均、分散の演算に用いることとする。こうすることで、注目画素と色合いの近似した近傍画素を抽出し、エッジを保存しながらノイズを低減できる。なお、類似度は画素単位で算出し、平均値はＲ、Ｇ、Ｂ毎に算出する。
【００２６】
図４では、注目画素を中心とする球内にある画素が、注目画素との類似度が特定閾値以上の近傍画素となる。以下、特定半径の球内を類似領域という。
【００２７】
平均・分散算出部１０３は、次の公式を用いて分散を算出する。
【００２８】
【数１】
ここでVar(X)は確率変数Xの分散、Cov(X, Y)は確率変数XとYの共分散、E(X)は確率変数Xの期待値を示す。すなわち、画素値を二乗したデータ、異なる色成分の画素値を乗算したデータ、元の画素値、を組み合わせることで、類似領域の画素の分散・共分散（フィルタ処理）を算出することができる。なお、処理コスト削減の面から共分散は算出せず0と置いてもよい。
【００２９】
図５は、ステップＳ１０３の詳細フローの一例を示す。ｘは、近傍画素の画素値であり、ＲＧＢの各成分を要素として持つ３次元ベクトルである。平均・分散算出部１０３は、変数μ、Σ、ｎに初期値であるゼロを設定する（Ｓ１３０１）。
【００３０】
ついで、平均・分散算出部１０３は、特定ウィンドウの近傍画素の画素値を取得し（Ｓ１３０２）、注目画素との類似度を算出する（Ｓ１３０３）。
【００３１】
平均・分散算出部１０３は、類似度が特定閾値以上か否かを判定する（Ｓ１３０４）。類似度が特定閾値以上の場合（Ｓ１３０４のＹｅｓ）、その近傍画素が平均、分散の算出対象なので、平均・分散算出部１０３は、変数μにｘを、変数ΣにｘｘＴを、変数ｎにｎ＋１を、それぞれ加える（Ｓ１３０５）。なお、「Ｔ」は転置を表す。
【００３２】
ついで、平均・分散算出部１０３は、特定ウィンドウ内の全ての近傍画素を選択したか否かを判定する（Ｓ１３０６）。特定ウィンドウ内の全ての近傍画素を選択していない場合（Ｓ１３０５のＮｏ）、ステップＳ１０３２に戻り上記の処理を繰り返す。
【００３３】
特定ウィンドウ内の全ての近傍画素を選択した場合（Ｓ１３０５のＹｅｓ）、平均・分散算出部１０３は、「μ／ｎ」、「Σ／ｎ−μμＴ」をそれぞれ算出する（Ｓ１３０７）。二乗和から平均を引く一般的な分散算出と同様の結果が、少ない計算量で得られる。
【００３４】
図５の処理の結果、μが類似領域の平均値ベクトルとして、Σが分散共分散行列として得られる。Σの対角成分は類似領域の分散である。なお、類似領域の平均でなく、中央値や最頻値など種々の代表値を採用することができる。平均等の代表値に、輝度やホワイトバランスを修正する定数を加えたり乗じてもよい。
【００３５】
＜Ｓ１０３の変形例＞
ステップＳ１０３の平均、分散の算出方法には種々のバリエーションを取りうる。例えば、実施例１では類似領域の画素に対し単純に平均・分散を求めたが、類似領域の画素の画素値に重み付けをして平均・分散を求めてもよい。バイラテラルフィルタのように、注目画素との類似度と相対位置をフィルタの重み係数に反映させることも有効である。例えば、平均・分散算出部１０３は、類似度が大きいほど大きな重み係数を画素値に与えて平均・分散を算出する。
【００３６】
また、上記実施例ではＲＧＢ空間でのユークリッド距離を類似度の算出に用いたが、類似度算出にLnノルム(nは自然数)を用いてもよい。また、色空間には、L*a*b*表色系、ＸＹＺ表色系等、適宜選択できる。この場合、平均・分散算出部１０３は、特定ウィンドウ内の画素の画素値（ＲＧＢ）を選択した表色系の画素値に変換する。変換公式は既知である。
【００３７】
平均・分散算出部１０３は、このＲＧＢ空間とは別の色空間でのノルムを用いることもできる。たとえば、L*a*b*などの等色空間のユークリッドノルムを用いると、人間の知覚に近い色の類似度を得ることができる。
【００３８】
＜Ｓ１０４＞図３に戻りステップＳ１０４では、ノイズ分散推定部１０４が、ノイズの分散を推定する。
図６は信号値（画素値）に対するノイズの分散をプロットした図の一例である。ショットノイズでは信号値とノイズの分散に比例関係が見られる。このように、一般にノイズの分散は画素値に依存する。
【００３９】
したがって、画素値からノイズの分散を推定する関数を導出しておくことが可能になる。なお、ノイズの分散はＲＧＢの各成分ごとに求めるので、ノイズの分散を推定する関数もＲ、Ｇ、Ｂの各成分毎に導出しておく。
【００４０】
注目画素のノイズを低減するためには、注目画素に含まれる平均的なノイズを知りたいので、ノイズ分散推定部１０４は、類似領域のノイズの分散を求める。図７は、類似領域のノイズの分散を推定するための関数の一例を示す。ノイズ分散推定部１０４は、平均値ベクトルμの各成分に基づき図７の関数を利用して、類似領域のノイズの分散σ2を求める。
【００４１】
これを各色成分に適用して各成分のノイズの分散を求める。求めたノイズの分散を対角成分に置いた行列をノイズの分散共分散行列Σnoizeとする。多くの場合はノイズの分散共分散行列の非対角成分（共分散）を0と置くことができる。ノイズの共分散が無視できない場合は、分散推定間数と同様に共分散の推定関数を同定し、それを用いて共分散を推定し分散共分散行列を算出する。
【００４２】
＜Ｓ１０５＞図３に戻りステップＳ１０５では、差分変換部１０５が注目画素ｇの注目画素ベクトルｇから類似領域の平均値ベクトルμを引き、得られた差分（以下、差分ベクトルｓという）の方向と大きさを変換する。
【００４３】
図８は、差分ベクトルｓの変換を模式的に説明する図の一例である。図８（ａ）に示すように、差分変換部１０５は、まず、特定方向eに差分ベクトルｓを射影する。特定方向ｅとして、類似領域の平均値ベクトルμの成分（Ｒ、Ｇ、Ｂ）と同じＲＧＢ比率となる一定方向（以下、ＲＧＢ一定比率方向という）を取ることができる。この方向を特定方向ｅとすることで、注目画素の画素値が類似領域色合いとずれることを防ぐことができる。また、射影することで、差分ベクトルｓが、類似領域の色合いの方向に変換され、かつ、長さが低減されるので、類似領域の画素と異なる色合いをもたらすノイズやその大きさを低減する効果が得られる。
【００４４】
そして、更に好ましくは、差分変換部１０５は、類似領域のノイズの分散共分散行列Σnoizeを用いて射影した差分ベクトルｓに明示的にノイズを低減する処理を施す。図８（ｂ）に示すように、差分変換部１０５は、射影したベクトルの大きさに（テクスチャ量）/（ノイズ量+テクスチャ量）の値を乗じる。これにより、ノイズ量及びテクスチャ量に応じてノイズ低減の強度を適応的に制御することができる。
【００４５】
なお、ノイズ量はノイズの分散共分散行列Σnoizeのうち特定方向eの分散、テクスチャ量は類似領域の分散共分散行列からノイズの分散共分散行列Σnoizeを引いて得られる分散共分散行列の特定方向eの分散である。一般に分散共分散行列がΣであるとき、特定方向e（単位ベクトル）の分散σe2は次式で求めることができる。
【００４６】
【数２】
テクスチャ量は類似領域の分散共分散行列からノイズの分散共分散行列Σnoizeを引いて得られるものであるから、実質的には射影した差分ベクトルｓの大きさに（テクスチャ量）/（ノイズ量+テクスチャ量）＝{1−（ノイズの分散のe方向の大きさ）/（類似領域の分散のe方向の大きさ）}を乗算すればよい。
【００４７】
図９は、ステップＳ１０５の詳細フローの一例を示す。図９の手順は一例に過ぎず、同様の結果を得られる限り各ステップの内容・順序を入れ替えることができる。注目画素ベクトルgは注目画素の画素値（ＲＧＢのベクトル）、Σtotal はステップＳ１３０５のΣと同じもので類似領域の分散共分散行列である。
【００４８】
まず、差分変換部１０５は、差分ベクトルｓを算出する（Ｓ１５０１）。
ｓ ← ｇ−μ
ついで、差分変換部１０５は、差分ベクトルｓを特定方向ｅに射影する（Ｓ１５０２）。
ｓ ← ｅｅTｓ
ついで、差分変換部１０５は、ノイズの分散共分散行列Σnoizeの特定方向ｅの大きさと、類似領域の分散共分散行列Σtotalの特定方向eの大きさをそれぞれ求め、両者の比率を１から引くことで、重みｗを算出する（Ｓ１５０３）。すなわち、非加法性のノイズを低減できる。
ｗ ← １−（ｅTΣnoiseｅ）／（ｅTΣtotalｅ）
差分変換部１０５は、射影した差分ベクトルｓの大きさを変換する（Ｓ１５０３）。
ｓ ← ｗｓ
以上の処理で、色合いを損なうことなく、ノイズ量及びテクスチャ量に応じてノイズ低減の強度を適応的に制御することができる。
【００４９】
＜Ｓ１０５の変形例＞
差分ベクトルｓをＲＧＢ比率一定の方向に射影するのでなく、射影方向に輝度方向を用いることも有用である。この場合はわずかに色が変わる可能性があるが、ＲＧＢ空間において輝度方向は一定なので、特定方向ｅが類似領域毎に（すなわち注目画素に）依存せず一定となり、処理の高速化が図れる。輝度とＲＧＢには、「輝度 = 0.299R + 0.587G + 0.114B」の関係があるので、例えばＲＧＢ空間の（０．３ ０．６ ０．１）と原点を通る方向が特定方向ｅである。
【００５０】
また、射影したベクトルに乗ずる係数も、ノイズ量が多くなれば小さくなり、テクスチャ量が多くなれば大きくなるような特性を持たせることができれば、よりノイズを効率的に低減できる。たとえば、任意の定数αとβを用いて、「α×（ノイズ量）/（ノイズ量+テクスチャ量）＋β」とする。α、βを１以上とすれば、重みｗをより小さくでき、ノイズを大きく低減することになる。α、βを１より小さくすれば、重みｗをより大きくでき、テクスチャやエッジを保存しやすくできる。αとβをパラメータとして、設計者が実現したい画質に合わせて設定することができる。
【００５１】
＜Ｓ１０６＞図３に戻り、ステップＳ１０６では、加算部１０６が変換した差分ベクトルｓを類似領域の平均値ベクトルμに加算する。差分ベクトルｓを射影して平均値ベクトルμに加算することで、フィルタ処理で削られる高周波を付加となり、振幅の小さい新合成分を保存することが可能となる。なお、実施例２にて説明するように、はじめに図９と同一内容の線形変換の行列を算出し、それと平均値ベクトルμをかけ合わせてもよい。加算部１０６は、加算して得られたベクトルの要素ＲＧＢにより、注目画素の画素値を置き換える。
【００５２】
＜Ｓ１０７＞ステップＳ１０７では、画素選択済み判定部１０７が処理対象画像３１のすべての画素を選択したか否かを判定する。まだ選択されていない画素がある場合は、ステップＳ１０２に進み、全ての画素を選択した場合は、ノイズ低減装置１００がノイズ低減画像３２を出力する。ノイズ低減画像３２は、例えばフレームメモリ１９にいったん記憶され、その後、外部メモリ２３又は記憶媒体２４に記憶される。
【００５３】
〔ＲＧＢ以外のカラー画像のノイズ低減〕
ＲＧＢ以外のカラー画像にも、本実施例のノイズ低減方法を好適に適用することができる。ＲＧＢ以外のカラー画像の場合は、ノイズ低減装置１００の前段に、色空間をＲＧＢに変換する処理部を、ノイズ低減装置１００の後段に、ＲＧＢから元の色空間に戻す処理部を追加すればよい。これらの変換公式は既知である。
【００５４】
または、ノイズ低減装置１００に、色変換を行わずに処理対象画像３１を入力し、色空間の変換が必要となる処理ステップ（類似度算出Ｓ１０３、特定方向への射影Ｓ１０５）でのみ部分的に色変換を行ってもよい。
【００５５】
〔ベイヤ配列上での実行〕
また、カラーで撮影する場合、光電変換素子１５毎に赤、青、緑の輝度を表すベイヤ(Bayer)配列型のフィルタを有することが多い。このようなベイヤ配列型のフィルタを介して撮影された処理対象画像３１に対しても、本発明を適用することができる。
【００５６】
例えば、ノイズ低減装置１００の前処理部１６に、ベイヤ配列のデータをＲＧＢデータに補間する（同時化する）回路を設け、ノイズ低減装置１００の後段にＲＧＢデータをベイヤ配列上に間引く処理部を設けることができる。また、例えば、ベイヤ配列型のデータを直接ノイズ低減装置１００に入力し、ひとつの画素に対してＲＧＢが必要となる箇所（類似度算出Ｓ１０３、特定方向への射影Ｓ１０５）でのみ一時的にＲＧＢ補間（同時化）を行うこともできる。
【００５７】
以上説明したように、本実施例のノイズ低減装置１００は、ノイズ低減処理による画素値変化を色空間の特定方向ｅに制約しているため、色ずれを起こさず色ノイズを効果的に低減することができる。また、ノイズ量及びテクスチャ量に応じてノイズ低減の強度を可変にするので、信号値に大きさが依存する非加法性ノイズを、元の画像のテクスチャの量を勘案して適切に低減することができる。
【実施例２】
【００５８】
実施例１では、差分ベクトルｓを特定方向eに射影して類似領域の平均値ベクトルμに加算するという処理を行った。ここで、特定方向eに、類似領域の平均のＲＧＢ比率一定の方向を用いる場合、特定方向ｅは類似領域の画素の平均値ベクトルμの方向と同じである。
【００５９】
図１０（ａ）は、特定方向eとＲＧＢ比率一定方向の関係を示す図である。すなわち、平均値ベクトルμの方向と特定方向ｅが一致する。したがって、差分ベクトルｓをＲＧＢ一定比率方向に射影して類似領域の画素の平均値ベクトルμに加算するという処理は、平均値ベクトルμをスカラー倍することに等しい。
【００６０】
本実施例では、このことを利用し、図３のステップＳ１０５及びＳ１０６の処理を、適切な乗算数ηを求める処理と、類似領域の画素の平均値ベクトルμにスカラーである乗算数ηを乗算する処理で代替したノイズ低減装置１００について説明する。
【００６１】
図１１はノイズ低減装置１００の機能ブロック図の一例を、図１２はノイズ低減処理の手順を示すフローチャート図の一例をそれぞれ示す。なお、図１１において図２と同一部には同一の符号を付しその説明は省略し、図１２において図３と同一部には同一の符号を付しその説明は省略する。
【００６２】
＜Ｓ１０５−２＞ステップＳ１５０−２において、乗算数算出部１０５１は、乗算数ηを算出する。乗算数ηの算出には次式を用いることができる。
【００６３】
【数３】
ここで平均値ベクトルμはＲＧＢ一定比率方向を、gは注目画素ベクトルを、 Σnoiseはノイズの分散共分散行列Σnoiseを、Σtotalは類似領域の分散共分散行列Σtotalを、それぞれ表す。これは、上述の例でe=μ/|μ|とおいて式を変形することで導くことができるため、同一の処理結果となる。本実施例の処理が処理コストが低いという利点がある。
【００６４】
＜Ｓ１０６−２＞ステップＳ１６０−２において、乗算部１０６１は平均値ベクトルμをスカラーη倍する。
図１０（ｂ）は乗算後の類似領域の平均（ＲＧＢのベクトル）を示す。乗算前の類似領域のＲＧＢ一定比率方向を乗算数η倍することでμ←η×μが得られ、乗算後のμが実施例１の「μ＋ｓ」に等しいことがわかる。
【００６５】
本実施例のノイズ低減装置１００は、より小さい処理コストで実施例１と同等の効果を得ることができる。
【００６６】
〔実施例１と実施例２の等価性〕
実施例２において、特定方向eにＲＧＢ比率一定方向を用いる場合は、類似領域の平均値ベクトルμを乗算数η倍することで、差分ベクトルｓを特定方向eに射影して類似領域の平均値ベクトルμに加算するという処理と等しいと説明した。両者が等価であることを説明する。
【００６７】
実施例１の処理は次式で表すことができる。
【００６８】
【数４】
式（６）は、差分ベクトル「ｇ−μ」を線形変換してμに加算する処理を意味する。なお、ｖについては式（５）に示したとおりである。
【００６９】
式（６）の右辺は次のように変形することができる。
【００７０】
【数５】
式（７）は、μに係数を乗じる処理になっている。また、式（７）の中カッコ｛｝の中の変数は、式（４）の乗算数ηと同じである。したがって、特定方向eをＲＧＢ比率一定方向とする場合、差分ベクトルｓを特定方向eに射影して類似領域の平均値ベクトルμに加算するという処理は、類似領域の平均μをη倍する処理と等しいことがわかる。したがって、実施例１と実施例２は等価であることがわかる。
【実施例３】
【００７１】
本実施例では、類似領域の画素の最大分散方向に差分ベクトルｓを射影しノイズを低減するノイズ低減装置１００について説明する。
【００７２】
図１３は本実施例におけるノイズ低減装置１００の機能ブロック図の一例である。図１３において図２と同一部には同一の符号を付しその説明は省略する。図１３の機能ブロック図では、最大分散方向算出部２０１を有する点で図２と異なる。また、差分変換部２０２は実施例1の差分変換部１０５と異なる動作をする。
【００７３】
図１４はノイズ低減処理の手順を示すフローチャート図の一例を示す。図１４において図３と同一ステップには同一の符号を付しその説明は省略する。
【００７４】
＜Ｓ２０１＞
ステップＳ１０４までの処理により、類似領域の平均値ベクトルμ、Σtotal 、及び、Σnoiseが算出されている。ステップＳ２０１では、最大分散方向算出部２０１が、類似領域の画素の本来の画素値の色空間における最大分散方向を算出する。具体的には次の手順で行う。
【００７５】
図１５は、ステップＳ２０１の詳細フローの一例を示す。
【００７６】
まず、最大分散方向算出部２０１は、類似領域の画素の分散共分散行列Σtotalから、ノイズの分散共分散行列Σnoiseを減算する（Ｓ２０１１）。
Σtotal −Σnoise
最大分散方向算出部２０１は、得られた行列の固有値と固有ベクトルを求める（Ｓ２０１２）。分散共分散行列の固有ベクトルは、与えられたデータの分散がどちらの方向を向いているかを示す。また、固有値は、その方向に対してどの程度の大きさで分散が広がっているか、つまりどの程度ばらついているかを示す。したがって、分散共分散行列の固有値が最大になる固有ベクトルを求めることで、最大分散方向が得られる（Ｓ２０１３）。
【００７７】
＜Ｓ２０２＞
ステップＳ２０２では、差分変換部２０２は、最大分散方向を特定方向eとして実施例１と同様の処理を行う。すなわち、差分変換部２０２は、注目画素ベクトルｇから類似領域の平均値ベクトルμを引き、得られた差分ベクトルｓを、最大分散方向に射影する。そして、類似領域の分散共分散行列Σtotalを用いて、射影した差分ベクトルｓにノイズを低減する処理を施す。
【００７８】
最大分散方向に差分ベクトルｓを射影することで、ＲＧＢ比率一定方向や輝度方向と異なり、元の画像の性質をより強く反映することができる。ノイズ低減による微細信号の劣化を低減することができる。また、エッジを保存しやすくできる。
【実施例４】
【００７９】
本実施例では、ノイズ量、テクスチャ量の算出に画素値の分散共分散行列からではなく、空間周波数を用いるノイズ低減装置１００について説明する。
【００８０】
図１６は、本実施例における機能ブロック図の一例を示す。図１６において図２と同一部には同一の符号を付しその説明は省略する。図１６では、平均・分散出部１０３の代わりに平均・周波数算出部３０１を、ノイズ分散推定部１０４の代わりにノイズ量算出部３０２を、を有する。また、差分変換部３０３は、差分変換部１０５と同等の作用を提供する。
【００８１】
図１７は、ノイズ低減処理の手順を示すフローチャート図の一例を示す。図１７において図３と同一ステップには同一の符号を付しその説明は省略する。
【００８２】
＜Ｓ３０１＞
ステップＳ３０1では、平均・周波数算出部３０１が類似領域の画素の平均値ベクトルμと特定周波数の強度ベクトルを算出する。平均の算出方法は実施例１と同じなので省略する。特定周波数の強度ベクトルを算出するため、平均・周波数算出部３０１は、類似領域の画素の特定周波数の強度を各色（ＲＧＢ）成分のフィルタ応答により求める。
【００８３】
図１８は、フィルタサイズが5×5の場合のフィルタの一例を示す。なお、フィルタ演算には平均値演算に用いた画素のみを使用する。用いるフィルタを調整することで、処理対象画像３１から所望の周波数成分を抽出できる。例えば、エッジを抽出するフィルタや平滑化するフィルタが知られている。図１８は、高周波成分を抽出するフィルタの例である。
【００８４】
処理対象画像３１に含まれるノイズは空間周波数に依存する性質を持つ場合があることが知られている。実施例１のように画素値の平均からノイズを推定すると、処理対象画像３１の全ての周波数成分からノイズを推定することになり、周波数成分によっては適切なノイズ低減でないことが生じることがある。
【００８５】
これに対し、この空間周波数による強度調節の方法は、低減したいノイズの周波数に合わせてノイズ低減強度を調節する側面と、残したいテクスチャの周波数に合わせてノイズ低減強度を調節する側面、の二つ側面を有する。すなわち、ある周波数帯におけるノイズとテクスチャの量をノイズ低減強度に反映させることができる。分散によるノイズの推定が全周波数帯を対象とするのに対して、特定の周波数帯を対象とすることが可能となる。したがって、特定の周波数帯のノイズとテクスチャの量をノイズ低減強度に反映させればいいことが分かっている場合に効果的なノイズ低減処理を実現できる。
【００８６】
＜Ｓ３０２＞
ステップＳ３０２では、ノイズ強度算出部３０２がノイズ強度を算出する。ノイズ強度を算出するため、類似領域の画素の平均からノイズの特定周波数の強度を返す関数を予め同定しておく。この関数は、図７と同様なので省略する。これを各色成分に適用してノイズの特定周波数の強度ベクトルを求める。
【００８７】
＜Ｓ３０３＞
ステップＳ３０３では、差分変換部３０３が差分ベクトルｓを変換する。以降の手順は実施例１と同様である。差分変換部３０３は特定方向eに差分ベクトルｓを射影してから、その大きさを変える。特定方向eとしては、ＲＧＢ比率一定方向、輝度方向、最大分散方向等とすることができる。
【００８８】
差分変換部３０３は、ステップＳ３０２で算出された、ノイズの特定周波数の強度ベクトルを特定方向eに射影したベクトルの大きさをノイズ量とする。また、特定方向eに射影された差分ベクトルｓからノイズの特定周波数の強度ベクトルを減算して得られたベクトルの大きさをテクスチャ量とする。このノイズ量とテクスチャ量を用いて、例えば、ステップＳ１５０３のようにして差分ベクトルｓの射影ベクトルの大きさを変更する。なお、特定方向ｅをＲＧＢ比率一定方向とした場合は、実施例２のように、類似領域の平均値ベクトルμをη倍してもよい。
【００８９】
本実施例のノイズ低減装置１００は、フィルタにより特定周波数の成分を抽出しノイズの強度を算出するので、所望の周波数成分のノイズを低減しやすくできる。
【実施例５】
【００９０】
これまでの実施例では、差分ベクトルｓの射影方向を特定方向ｅに変換したが、本実施例では、差分ベクトルｓを、特定方向ｅと特定方向ｅに垂直な方向のそれぞれのノイズ量に応じて変換するノイズ低減装置１００について説明する。いわば、差分ベクトルｓをＲＧＢ空間における二次元部分空間にて変換することになる。
【００９１】
図１９は、本実施例における機能ブロック図の一例を示す。図１９において図２と同一部には同一の符号を付しその説明は省略する。図１９では、差分変換部４０１を有する。
【００９２】
図２０は、ノイズ低減処理の手順を示すフローチャート図の一例を示す。図２０において図３と同一ステップには同一の符号を付しその説明は省略する。
【００９３】
＜Ｓ４０１＞
処理ステップＳ４０１では、差分変換部４０１が、差分ベクトルｓの、特定方向eの分散と、特定方向eに垂直な方向ｅ⊥の分散、それぞれついて大きさを変換する。
図２１は、差分ベクトルｓの二次元方向への射影を模式的に示す図の一例である。図２１（ａ）に示すように、差分ベクトルｓと特定方向ｅを含む平面が一意に定まる。また、ノイズ量はＲＧＢ成分毎に求められている。特定方向eの分散の求め方は実施例１と同じである。特定方向eに垂直な方向ｅ⊥のノイズ量は、ノイズの分散共分散行列Σnoizeのうち特定方向eに垂直な方向ｅ⊥の分散である。特定方向eに垂直な方向ｅ⊥のテクスチャ量は、類似領域の分散共分散行列Σtotalからノイズの分散共分散行列Σnoizeを引いて得られる分散共分散行列の特定方向eに垂直な方向ｅ⊥の分散である。
【００９４】
図２１（ｂ）は、それぞれの方向において（テクスチャ量）/（ノイズ量＋テクスチャ量）で大きさを変換した差分ベクトルｓの一例を示す。特定方向ｅと、垂直な方向ｅ⊥の２つの方向に対し、差分ベクトルｓを各方向のノイズ量に応じて変換することで、特定方向ｅに近づける方向で変換できる。したがって、特定方向ｅと垂直な方向のテクスチャ量がノイズ量に比して大きければ、射影される差分ベクトルｓに注目画素の情報を多く残すことができる。逆に、特定方向ｅと垂直な方向のテクスチャ量がノイズ量に比して小さければ、射影される差分ベクトルｓを類似領域の平均値ベクトルμに近くすることでノイズを低減できる。なお、特定方向ｅはＲＧＢ比率一定方向、輝度方向、又は、最大分散方向のいずれでもよい。
【００９５】
また、例えば特定方向eを輝度方向に取った場合、特定方向eに垂直な方向ｅ⊥の差分ベクトルｓの大きさを特定方向eの大きさよりも高い比率で縮小することができる。輝度方向と垂直な方向は人間の眼の感度が低いので、特定方向eに垂直方向の差分ベクトルｓをその方向のノイズ量より大きく圧縮しても、人間の視覚が感じる変化は小さい。したがって、人間の視覚に重要な輝度成分を保存したまま、効率的にカラーノイズを低減することができる。
【００９６】
本実施例のノイズ低減装置１００によれば、差分ベクトルｓをＲＧＢ空間における二次元部分空間にて変換することで、ノイズ量に応じて注目画素の情報を適切に圧縮しながら、カラー画像のノイズを低減できる。
【実施例６】
【００９７】
実施例１では差分ベクトルｓを特定方向ｅの一次元方向に射影し、実施例５では差分ベクトルｓを二次元部分空間のベクトルに変換することでノイズを低減した。本実施例では、差分ベクトルｓを三次元部分空間のベクトルに変換することでノイズを低減するノイズ低減装置１００について説明する。すなわち、本実施例のノイズ低減装置１００は、三次元の色空間（ＲＧＢ色空間）におけるノイズの低減を一般化したものである。
【００９８】
なお、本実施例の機能ブロック図は、図２又は図１９と同様であり、特に差分変換部１０５又は差分変換部４０１を三次元空間の処理に拡張したものである。また、ノイズ低減の手順は図３又は図２０と等しい。
【００９９】
実施例１，５を一般化すると、差分ベクトルｓを線形変換し、類似領域の平均値ベクトルに加算する処理となる。具体的には、類似領域の平均値ベクトルμ、注目画素値ベクトルg、線形変換の行列Wを用いて次の式で出力画素値fを算出する処理に相当する。
【０１００】
【数６】
行列Wはたとえば次のように設定することができる。
【０１０１】
【数７】
Σnoiseはノイズの分散共分散行列、Σtextureはテクスチャの分散共分散行列である。テクスチャの分散共分散行列Σtextureは、類似領域の分散共分散行列Σtotal からノイズの分散共分散行列Σnoiseを引いたものである。したがって、式（９）から、行列Wは、三次元空間のそれぞれの方向で（テクスチャ量）/（ノイズ量＋テクスチャ量）の演算を可能とする行列であることがわかる。
【０１０２】
式（８）は、差分ベクトル（ｇ−μ）を三次元空間で線形変換し、平均値ベクトルμに加算する処理であるので、色空間における所望の３方向、それぞれについてノイズ量とテクスチャ量のバランスを勘案して、差分ベクトルｓを三次元空間のベクトルに変換することができる。
【０１０３】
図２２は、差分ベクトルｓの三次元方向への射影を模式的に示す図の一例である。方向e1, e2, e3はWの固有ベクトルの方向である。注目画素ｇが含むノイズ量を求めておけば、図示するように、方向e1, e2, e3それぞれについて、（テクスチャ量）/（ノイズ量＋テクスチャ量）に対応した変換が可能になる。変換後の各方向の分散から出力画素値のベクトルｆが求められる。
【０１０４】
ノイズ量に対してテクスチャ量が多い方向では注目画素値に近い値となり、出力画素値に注目画素の情報を多く残すことができる。その逆に、ノイズ量に対してテクスチャ量が少ない方向では類似領域の平均に近い値となるので適切にノイズを低減できる。
【０１０５】
また、特定方向e0（単位ベクトル）の分散を相対的に多く残すことで、人間の知覚上有用な成分を選択的に多く残すことも可能である。そのためには線形変換の行列Wを次のように設定する。
【０１０６】
【数８】
ここでIは3×3の単位行列である。αは設計パラメータであり、特定方向e0の分散の強調の程度を指定する。αが大きいほど、特定方向e0の分散を強調しやすくできる。特定方向e0としてはこれまで説明したようにＲＧＢ比率一定方向、輝度方向、最大分散方向等を取ることができる。
【０１０７】
また、より設計の自由度を高く持たせて、3×3のパラメータ行列A, Bを用いて、次のように設定してもよい。
【０１０８】
【数９】
式（１１）は、実施例１の＜Ｓ１０５の変形例＞で説明した、「α×（ノイズ量）/（ノイズ量+テクスチャ量）＋β」と同等である。すなわち、ＡとＢを調整することで、射影したベクトルに乗ずる係数も、ノイズ量が多くなれば小さくなり、テクスチャ量が多くなれば大きくなるような特性を持たせることができる。
【０１０９】
本実施例のノイズ低減装置１００は、ＲＧＢ空間のノイズの低減を、三次元部分空間に一般化して、各方向のノイズ量の大きさに応じて、注目画素の情報を多く残したり、類似領域の平均に近い値としたりすることができる。
【０１１０】
以上説明したように、本実施形態のノイズ低減装置１００は、注目画素から類似度が閾値内の画素をフィルタ処理することで、エッジなど人間が画像を知覚する上で重要な要素を保存しつつノイズ低減を行うことができ、差分ベクトルを例えば平均値ベクトルμに加算することで振幅の小さい信号を保存でき、カラー画像における非加法性のノイズを推定してノイズ量とテクスチャ量に応じてフィルタ処理の出力を変換することで、信号値に大きさが依存する非加法性ノイズを、元の画像のテクスチャの量を勘案して適切に低減することができる。また、ノイズ低減処理による画素値変化を色空間の特定方向に制約しているため、色ずれを起こさず色ノイズを効果的に低減することができる。
【符号の説明】
【０１１１】
１１ 撮像部
２０ ノイズ低減プログラム
２４ 記憶媒体
３１ 処理対象画像
３２ ノイズ低減画像
１００ ノイズ低減装置
１０１ 画像取得部
１０２ 注目画素選択部
１０３ 平均・分散推定部
１０４ ノイズ分散推定部
１０５ 差分変換部
１０６ 加算部
１０７ 画素選択済み判定部
【先行技術文献】
【特許文献】
【０１１２】
【特許文献１】特開２００８−２０５７３７号公報
【特許文献２】特開２００７−２８８４３９号公報
【特許文献３】特開２００２−２５９９６５号公報
【非特許文献】
【０１１３】
【非特許文献１】原島 博, 小田島 薫, 鹿喰 善明, 宮川 洋, "ε-分離非線形ディジタルフィルタとその応用," 電子情報通信学会論文誌 A , Vol.J65-A, No.4, pp.297-304, 1982.
【非特許文献２】CC. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images," Proc. Sixth Int'l Conf. Computer Vision, pp. 839-846, 1998.
【非特許文献３】Ce Liu, et al., "Automatic Estimation and Removal of Noise from a Single Image," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 30, no. 2, pp. 299-314, 2008.
【特許請求の範囲】
【請求項１】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減装置であって、
所定の色空間において注目画素との類似度が閾値以上である類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出する代表値ベクトル算出手段と、
注目画素の注目画素ベクトルと前記代表値ベクトルとの差分ベクトルを、前記色空間の特定方向に射影する差分射影手段と、
前記代表値ベクトルに、前記特定方向に射影された前記差分ベクトルを加えたベクトルの要素を、注目画素の画素値に置き換える画素値修正手段と、
を有することを特徴とするノイズ低減装置。
【請求項２】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減装置であって、
所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出する代表値ベクトル算出手段と、
前記代表値ベクトルに含まれるノイズ量及び注目画素の画素値に基づき、乗算数を算出する乗算数算出手段と、
前記代表値ベクトルに前記乗算数を乗算する乗算手段と、
前記乗算数が乗算された前記代表値ベクトルの要素を、注目画素の画素値に置き換える画素値修正手段と、
を有することを特徴とするノイズ低減装置。
【請求項３】
前記差分射影手段は、前記代表値ベクトルに含まれるノイズ量及びテクスチャ量に応じた変換係数を用いて、前記差分ベクトルに線形変換を施す、
ことを特徴とする請求項１記載のノイズ低減装置。
【請求項４】
前記差分射影手段は、前記特定方向に射影された前記差分ベクトルの大きさを、
前記代表値ベクトルに含まれるノイズ量及びテクスチャ量に応じて変更する、
ことを特徴とする請求項３記載のノイズ低減装置。
【請求項５】
前記差分射影手段は、前記代表値ベクトルに含まれるノイズ量及びテクスチャ量に応じて、前記差分ベクトルの長さを、前記特定方向、及び、前記特定方向に対し垂直方向、のそれぞれの方向おいて変更する、
ことを特徴とする請求項３記載のノイズ低減装置。
【請求項６】
前記特定方向は、前記代表値ベクトルの要素とＲＧＢ比率が一定のＲＧＢ比率一定定方向である、
ことを特徴とする請求項４又は５記載のノイズ低減装置。
【請求項７】
前記特定方向は、輝度方向である、
ことを特徴とする請求項４又は５記載のノイズ低減装置。
【請求項８】
前記類似領域の画素の画素値の最大分散方向を求める最大分散方向算出手段を有し、
前記特定方向を該最大分散方向とする、
ことを特徴とする請求項４又は５記載のノイズ低減装置。
【請求項９】
前記代表値ベクトルは、前記類似領域の画素の画素値の平均情報を有し、
画素値に含まれるノイズ量の分散と画素値の関係を登録したマップに基づき、前記平均情報に対応したノイズ量を前記代表値ベクトルに含まれるノイズ量と推定するノイズ量推定手段、
を有することを特徴とする請求項３記載のノイズ低減装置。
【請求項１０】
前記ノイズ量推定手段は、前記代表値ベクトルの分散から前記類似領域のノイズ量の分散を減じてテクスチャ量を算出する、
ことを特徴とする請求項９記載のノイズ低減装置。
【請求項１１】
前記ノイズ量推定手段は、前記類似領域の画素に周波数変換を施し、周波数変換された画素の前記平均情報に基づき前記代表値ベクトルに含まれるノイズ量を推定すると共に、前記テクスチャ量を算出する、
ことを特徴とする請求項１０記載のノイズ低減装置。
【請求項１２】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減方法であって、
代表値ベクトル算出手段が、所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出するステップと、
差分射影手段が、注目画素の注目画素ベクトルと前記代表値ベクトルとの差分ベクトルを、前記色空間の特定方向に射影するステップと、
画素値修正手段が、前記代表値ベクトルに、前記特定方向に射影された前記差分ベクトルを加えたベクトルの要素を、注目画素の画素値に置き換えるステップと、
を有することを特徴とするノイズ低減方法。
【請求項１３】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減方法であって、
代表値ベクトル算出手段が、所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出するステップと、
乗算数算出手段が、前記代表値ベクトルに含まれるノイズ量及び注目画素の画素値に基づき乗算数を算出するステップと、
乗算手段が、前記代表値ベクトルに前記乗算数を乗算するステップと、
画素値修正手段が、前記乗算数が乗算された前記代表値ベクトルの要素を、注目画素の画素値に置き換えるステップと、
を有することを特徴とするノイズ低減方法。
【請求項１４】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減プログラムであって、
コンピュータに、
前記カラー画像を入力するステップと、
所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出するステップと、
注目画素の注目画素ベクトルと前記代表値ベクトルとの差分ベクトルを、前記色空間の特定方向に射影するステップと、
前記代表値ベクトルに、前記特定方向に射影された前記差分ベクトルを加えたベクトルの要素を、注目画素の画素値に置き換えるステップと、
画素値が置き換えられた前記カラー画像を記憶装置に記憶するステップと、
を実行させるノイズ低減プログラム。
【請求項１５】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減プログラムであって、
コンピュータに、
前記カラー画像を入力するステップと、
所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出するステップと、
前記代表値ベクトルに含まれるノイズ量及び注目画素の画素値に基づき乗算数を算出するステップと、
前記代表値ベクトルに前記乗算数を乗算するステップと、
前記乗算数が乗算された前記代表値ベクトルの要素を、注目画素の画素値に置き換えるステップと、
画素値が置き換えられた前記カラー画像を記憶装置に記憶するステップと、
を実行させるノイズ低減プログラム。
【請求項１６】
請求項１４又は１５いずれか記載のノイズ低減プログラムを記憶した記憶媒体。
【請求項１】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減装置であって、
所定の色空間において注目画素との類似度が閾値以上である類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出する代表値ベクトル算出手段と、
注目画素の注目画素ベクトルと前記代表値ベクトルとの差分ベクトルを、前記色空間の特定方向に射影する差分射影手段と、
前記代表値ベクトルに、前記特定方向に射影された前記差分ベクトルを加えたベクトルの要素を、注目画素の画素値に置き換える画素値修正手段と、
を有することを特徴とするノイズ低減装置。
【請求項２】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減装置であって、
所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出する代表値ベクトル算出手段と、
前記代表値ベクトルに含まれるノイズ量及び注目画素の画素値に基づき、乗算数を算出する乗算数算出手段と、
前記代表値ベクトルに前記乗算数を乗算する乗算手段と、
前記乗算数が乗算された前記代表値ベクトルの要素を、注目画素の画素値に置き換える画素値修正手段と、
を有することを特徴とするノイズ低減装置。
【請求項３】
前記差分射影手段は、前記代表値ベクトルに含まれるノイズ量及びテクスチャ量に応じた変換係数を用いて、前記差分ベクトルに線形変換を施す、
ことを特徴とする請求項１記載のノイズ低減装置。
【請求項４】
前記差分射影手段は、前記特定方向に射影された前記差分ベクトルの大きさを、
前記代表値ベクトルに含まれるノイズ量及びテクスチャ量に応じて変更する、
ことを特徴とする請求項３記載のノイズ低減装置。
【請求項５】
前記差分射影手段は、前記代表値ベクトルに含まれるノイズ量及びテクスチャ量に応じて、前記差分ベクトルの長さを、前記特定方向、及び、前記特定方向に対し垂直方向、のそれぞれの方向おいて変更する、
ことを特徴とする請求項３記載のノイズ低減装置。
【請求項６】
前記特定方向は、前記代表値ベクトルの要素とＲＧＢ比率が一定のＲＧＢ比率一定定方向である、
ことを特徴とする請求項４又は５記載のノイズ低減装置。
【請求項７】
前記特定方向は、輝度方向である、
ことを特徴とする請求項４又は５記載のノイズ低減装置。
【請求項８】
前記類似領域の画素の画素値の最大分散方向を求める最大分散方向算出手段を有し、
前記特定方向を該最大分散方向とする、
ことを特徴とする請求項４又は５記載のノイズ低減装置。
【請求項９】
前記代表値ベクトルは、前記類似領域の画素の画素値の平均情報を有し、
画素値に含まれるノイズ量の分散と画素値の関係を登録したマップに基づき、前記平均情報に対応したノイズ量を前記代表値ベクトルに含まれるノイズ量と推定するノイズ量推定手段、
を有することを特徴とする請求項３記載のノイズ低減装置。
【請求項１０】
前記ノイズ量推定手段は、前記代表値ベクトルの分散から前記類似領域のノイズ量の分散を減じてテクスチャ量を算出する、
ことを特徴とする請求項９記載のノイズ低減装置。
【請求項１１】
前記ノイズ量推定手段は、前記類似領域の画素に周波数変換を施し、周波数変換された画素の前記平均情報に基づき前記代表値ベクトルに含まれるノイズ量を推定すると共に、前記テクスチャ量を算出する、
ことを特徴とする請求項１０記載のノイズ低減装置。
【請求項１２】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減方法であって、
代表値ベクトル算出手段が、所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出するステップと、
差分射影手段が、注目画素の注目画素ベクトルと前記代表値ベクトルとの差分ベクトルを、前記色空間の特定方向に射影するステップと、
画素値修正手段が、前記代表値ベクトルに、前記特定方向に射影された前記差分ベクトルを加えたベクトルの要素を、注目画素の画素値に置き換えるステップと、
を有することを特徴とするノイズ低減方法。
【請求項１３】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減方法であって、
代表値ベクトル算出手段が、所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出するステップと、
乗算数算出手段が、前記代表値ベクトルに含まれるノイズ量及び注目画素の画素値に基づき乗算数を算出するステップと、
乗算手段が、前記代表値ベクトルに前記乗算数を乗算するステップと、
画素値修正手段が、前記乗算数が乗算された前記代表値ベクトルの要素を、注目画素の画素値に置き換えるステップと、
を有することを特徴とするノイズ低減方法。
【請求項１４】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減プログラムであって、
コンピュータに、
前記カラー画像を入力するステップと、
所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出するステップと、
注目画素の注目画素ベクトルと前記代表値ベクトルとの差分ベクトルを、前記色空間の特定方向に射影するステップと、
前記代表値ベクトルに、前記特定方向に射影された前記差分ベクトルを加えたベクトルの要素を、注目画素の画素値に置き換えるステップと、
画素値が置き換えられた前記カラー画像を記憶装置に記憶するステップと、
を実行させるノイズ低減プログラム。
【請求項１５】
カラー画像の注目画素の画素値に、注目画素を含む近傍領域の画素の画素値を用いてノイズ低減処理を施すノイズ低減プログラムであって、
コンピュータに、
前記カラー画像を入力するステップと、
所定の色空間において注目画素との類似度が閾値以上の類似領域に含まれる画素を前記近傍領域から抽出し、前記類似領域の画素の代表値ベクトルを算出するステップと、
前記代表値ベクトルに含まれるノイズ量及び注目画素の画素値に基づき乗算数を算出するステップと、
前記代表値ベクトルに前記乗算数を乗算するステップと、
前記乗算数が乗算された前記代表値ベクトルの要素を、注目画素の画素値に置き換えるステップと、
画素値が置き換えられた前記カラー画像を記憶装置に記憶するステップと、
を実行させるノイズ低減プログラム。
【請求項１６】
請求項１４又は１５いずれか記載のノイズ低減プログラムを記憶した記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２０１０−２１８１１０（Ｐ２０１０−２１８１１０Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６２８７６（Ｐ２００９−６２８７６）
【出願日】平成２１年３月１６日（２００９．３．１６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１６日（２００９．３．１６）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]