説明

ノイズ除去装置,ノイズ除去方法及びノイズ除去プログラム

【課題】カラー信号に対するコアリング処理に際し,色信号間の相関を考慮して複数のコアリング幅を設定したコアリング処理を施すことで,不自然なアーティファクトの発生を防ぐことのできるノイズ除去装置を提供する。
【解決手段】本発明に係るノイズ除去装置は,映像信号を少なくとも2つ以上の帯域信号に分解する分解部109と,少なくとも1つ以上の前記帯域信号毎に複数のコアリング範囲を設定するパラメータ設定部107と,前記帯域信号毎に前記複数のコアリング範囲に基づきコアリング処理を行うコアリング部108を備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像処理に関し,特に画像のノイズを除去する技術に関する。
【背景技術】
【0002】
画像信号に含まれるノイズ信号を除去するノイズ除去装置において,多重解像度変換を用いたノイズ除去方法が広く知られている。多重解像度変換は画像信号をフィルタバンクやラプラシアンピラミッドの手法を用いて複数の周波数帯域の信号に分割するものであり,ノイズ除去においては分割した帯域それぞれに適した強度のノイズ除去処理を行うことができるという利点を有する。
【0003】
特許文献1においては,多重解像度変換手法としてウェーブレット変換を用いたノイズ低減処理が開示されている。これは原画像データに対してウェーブレット変換を施し,複数の周波数帯域成分を得た後,帯域成分毎にコアリング処理を行うことでノイズ低減処理を施す。コアリング後の帯域成分は逆ウェーブレット変換により再合成し,ノイズ低減処理がなされた画像データを得る。
【特許文献1】特開平9-212623号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
上述の特開平9-212623号公報に記載されたものは,帯域成分に対するコアリングにより,信号値の絶対値が所定の閾値以下の場合,強制的に0とする。前記手法は放射線画像等の輝度信号に対するものであり,カラー信号に適用する場合は色信号毎に独立に処理がかかる。このため,色信号毎の相関性が考慮されず,コアリングにより相関が崩れる結果,エッジ部に偽色などの不自然なアーティファクトが発生しやすいという課題がある。
【0005】
本発明は上記事情を鑑みてなされたものであり,カラー信号に対するコアリング処理に際し,色信号間の相関を考慮して複数のコアリング幅を設定したコアリング処理を施すことで,不自然なアーティファクトの発生を防ぐことのできるノイズ除去装置を提供することを目的としている。
【課題を解決するための手段】
【0006】
本発明に係るノイズ除去装置,ノイズ除去方法及びノイズ除去プログラムは,映像信号を少なくとも2つ以上の帯域信号に分解し,少なくとも1つ以上の前記帯域信号に関して複数のコアリング範囲を設定し,前記複数のコアリング範囲に基づきコアリング処理を行う。
【発明の効果】
【0007】
本発明によれば,多重解像度変換を用いたノイズ低減に際し,偽色などのアーティファクトの発生を抑制した高画質なノイズ除去処理が可能となる。
【発明を実施するための最良の形態】
【0008】
以下,添付図面を参照しながら本発明の実施形態について説明する。
【0009】
図1は本発明に係る撮像装置のシステム構成図であり,光学系101,撮像素子102,A/D変換部(以下,A/D)103,信号処理部104,バッファ105,分解部109,バッファ110,ノイズ推定部106,パラメータ設定部107,コアリング部108,合成部113,出力部114,システムコントローラ100からなる。
【0010】
撮像素子102はA/D103を介して信号処理部104へ接続されている。信号処理部104はバッファ105へ接続されている。バッファ105は分解部109へ接続されている。分解部109はノイズ推定部106,バッファ110へ接続されている。ノイズ推定部106,バッファ110はパラメータ設定部107へ接続されている。パラメータ設定部107はコアリング部108に接続されている。バッファ110はコアリング部108に双方向に接続されている。バッファ110は合成部113を介して出力部114へ接続されている。
【0011】
各処理部はシステムコントローラ100に接続しており,システムコントローラ100により動作を制御される。実線はデータ信号線,破線は制御信号線を表している。
【0012】
撮像素子102は,システムコントローラ100の制御に基づき,光学系101を通して撮像素子102面上に結像した光学像をアナログ画像信号として出力する。前記アナログ画像信号はA/D103へ転送される。
【0013】
なお,撮像素子102は色フィルタアレイを前面に配置したカラー用撮像素子である。撮像素子102は,単板方式,多板方式のいずれでも良い。
【0014】
A/D103はアナログ画像信号をデジタル信号に変換し,信号処理部104へ転送する。
【0015】
信号処理部104はデジタル信号に対し所定の信号処理を施し,所定の階調のカラー三板画像信号(以降,原画像信号I)を生成する。
【0016】
原画像信号IはR,G,Bの各色信号により構成されている。各色信号は以降,Ir,Ig,Ibと呼称する。原画像信号Iはバッファ105へ一時的に記憶された後,分解部109へ転送される。
【0017】
分解部109は,システムコントローラ100の制御に基づき,バッファ105に記憶されている原画像信号Iを読み出して,各色信号Ir,Ig,Ibに対し所定のn段階(nは1以上の整数)の多重解像度分解を行い,分解の段階数i(iは1以上n以下の整数)の高周波成分,低周波成分を生成し,バッファ110,ノイズ推定部106へ記録する。多重解像度分解の詳細については後述する。
【0018】
なお本実施形態における多重解像度分解は、Harr基底による直交ウェーブレット変換を行っているが、双直交ウェーブレット基底等も含め、全てのウェーブレット基底が適用可能である。また、サブサンプリングを行わないタイプの(各レベルの各ウェーブレット係数が入力画素と同じ数になるよう)冗長性を持たせたウェーブレット変換(Stationary wavelet transform等)を適用することも可能である。
【0019】
ノイズ推定部106は,システムコントローラ100の制御に基づき,分解部109から高周波成分、低周波成分を読み出し,あらかじめ設定したノイズ量のモデルを用いて,各色信号の高周波成分に対して画素毎にノイズ量を推定し,パラメータ設定部107へ転送する。ノイズ量推定の詳細については後述する。
【0020】
パラメータ設定部107は,システムコントローラ100の制御に基づき,ノイズ推定部106からノイズ量を,バッファ110から分解の段階数i(iは1以上n以下の整数)の高周波成分,低周波成分を読み込む。
【0021】
読み込んだノイズ量,高周波成分,低周波成分に基づき,後述するコアリング部108でのコアリング処理において適用される種々のパラメータを設定し,これをコアリング部108へ転送する。
【0022】
ここで,コアリング処理とは,典型的には,入力信号が下限閾値,上限閾値により設定されたコアリング範囲以内に属する場合に,その信号値を一律ゼロとし,コアリング範囲を外れる場合には閾値だけ減算,または加算した信号値とするような処理をさしている。
【0023】
前述のパラメータは,後段のコアリング部108において,色信号Ir,Ig,Ibを分解した高周波成分に対するコアリング処理時に適用されるものであり,コアリング処理において入力される信号値を所定の値に変換する変換関数を規定するものである。
【0024】
ただし,一般にコアリング範囲(すなわち下限閾値,上限閾値)は変換関数内に一つ設定されるが,本実施形態における変換関数は複数のコアリング範囲(複数の下限閾値,上限閾値の組,および各コアリング範囲に対応する出力値)を設ける構成となっている。またパラメータの設定は,各色信号独立に行われるわけではなく,コアリング処理対象の色信号とその他の色信号間の相関性を考慮した設定がなされる。
【0025】
コアリング部108は,システムコントローラ100の制御に基づき,バッファ110から分解の段階数iの高周波成分,パラメータ設定部107から各高周波成分に対応する前述の複数のコアリング範囲を有する変換関数を規定する種々のパラメータを読み込み,読み込んだ高周波成分に対し,特定の信号値を一定値に変換するコアリング処理を施すことでノイズ低減処理を実施する。
【0026】
パラメータ設定方法,及びコアリング処理については後述する。なお,このコアリング部108にてノイズ低減された各高周波成分はバッファ110へ転送され,補正前の高周波成分に上書きされるようになっている。
【0027】
合成部113は,システムコントローラ100の制御に基づき,全ての分解の段階数の高周波成分に対するノイズ低減が完了した後に,バッファ110から上記低周波成分および上記各補正処理がなされた高周波成分を読み込んで,多重解像度合成処理を行うことで,補正された画像信号を合成する。
【0028】
多重解像度合成処理の詳細については後述する。
【0029】
合成した映像信号は,出力部114へ転送される。出力部114は合成した映像信号に対して公知の圧縮処理などを行った後,メモリカードなどの記録媒体へ記録して保存する。
【0030】
[分解部]
次に,図2を参照して,分解部109の構成について説明する。
【0031】
この分解部109は,データ読取部200と,バッファ201と,水平ハイパスフィルタ202と,水平ローパスフィルタ203と,サブサンプラ204と,サブサンプラ205と,垂直ハイパスフィルタ206と,垂直ローパスフィルタ207と,垂直ハイパスフィルタ208と,垂直ローパスフィルタ209と,サブサンプラ210と,サブサンプラ211と,サブサンプラ212と,サブサンプラ213と,切換部214と,データ転送制御部215と,基底関数ROM216と,フィルタ係数読取部217とを含んでいる。
【0032】
バッファ105は,データ読取部200を介して,バッファ201へ接続されている。バッファ201は,水平ハイパスフィルタ202および水平ローパスフィルタ203へ接続されている。水平ハイパスフィルタ202は,サブサンプラ204を介して,垂直ハイパスフィルタ206および垂直ローパスフィルタ207へ接続されている。水平ローパスフィルタ203は,サブサンプラ205を介して,垂直ハイパスフィルタ208および垂直ローパスフィルタ209へ接続されている。垂直ハイパスフィルタ206はサブサンプラ210へ,垂直ローパスフィルタ207はサブサンプラ211へ,垂直ハイパスフィルタ208はサブサンプラ212へ,垂直ローパスフィルタ209はサブサンプラ213へ,それぞれ接続されている。サブサンプラ210,サブサンプラ211,サブサンプラ212,サブサンプラ213は,切換部214へそれぞれ接続されている。サブサンプラ213は,さらに,データ転送制御部215へも接続されている。切換部214は,バッファ110へ接続されている。データ転送制御部215は,バッファ201へ接続されている。基底関数ROM216は,フィルタ係数読取部217へ接続されている。フィルタ係数読取部217は,水平ハイパスフィルタ202,水平ローパスフィルタ203,垂直ハイパスフィルタ206,垂直ローパスフィルタ207,垂直ハイパスフィルタ208,垂直ローパスフィルタ209へそれぞれ接続されている。
【0033】
基底関数ROM216には,Harr関数やDaubecies関数などのウェーブレット変換に用いられるフィルタ係数が記録されている。これらの内の,例えば,Harr関数におけるハイパスフィルタの係数を式(1)に,ローパスフィルタの係数を式(2)に,それぞれ示す。
【0034】
【数1】

【0035】
【数2】

【0036】
なお,これらのフィルタ係数は,水平方向と垂直方向とに共通して用いられる。
【0037】
フィルタ係数読取部217は,基底関数ROM216からフィルタ係数を読み込んで,水平ハイパスフィルタ202,垂直ハイパスフィルタ206,垂直ハイパスフィルタ208へハイパスフィルタ係数を,水平ローパスフィルタ203,垂直ローパスフィルタ207,垂直ローパスフィルタ209へローパスフィルタ係数を,それぞれ転送する。
【0038】
こうして,各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に,データ読取部200は,バッファ105から原画像信号Iを読み込んで,バッファ201へ転送する。
【0039】
バッファ201上の原画像信号Iは,水平ハイパスフィルタ202,水平ローパスフィルタ203,垂直ハイパスフィルタ206,垂直ローパスフィルタ207,垂直ハイパスフィルタ208,垂直ローパスフィルタ209によって水平および垂直方向のフィルタリング処理がなされる。
【0040】
ここで,サブサンプラ204,サブサンプラ205は,入力映像信号を水平方向に1/2にサブサンプリングし,サブサンプラ210,サブサンプラ211,サブサンプラ212,サブサンプラ213は入力映像信号を垂直方向に1/2にサブサンプリングする。
【0041】
従って,サブサンプラ210の出力は水平垂直両方向の高周波成分HHv1を,サブサンプラ211の出力は水平方向の高周波成分Hh1を,サブサンプラ212の出力は垂直方向の高周波成分Hv1を,サブサンプラ213の出力は低周波成分LL1を,それぞれ与えることになる。
【0042】
切換部214は,上記3つの高周波成分HHv1,Hh1,Hv1と低周波成分LL1とを,バッファ110へ順次転送する。
【0043】
また,データ転送制御部215は,サブサンプラ213からの低周波成分LL1をバッファ201へ転送する。
【0044】
こうしてバッファ201上に記憶された低周波成分LL1は,上述と同様のフィルタリング処理により2段階目の分解が行われて,3つの高周波成分HHv2,Hh2,Hv2と低周波成分LL2とが出力される。
【0045】
上述したような過程は,所定のn段階の分解が行われるまで反復されるように制御される。n段階の分解が終了すると,バッファ110には,高周波成分HHvi,Hhi,Hviおよび低周波成分LLi(i=1〜n)が保存されることになる。
【0046】
[ノイズ推定部]
次に,図3を参照して,ノイズ推定部106におけるノイズ量の推定方法について説明する。
【0047】
ノイズ推定部106では,原画像信号Iに対し,あらかじめ実測に基づき測定された信号レベル−ノイズモデル(以降,ノイズモデル)が記録され,ノイズモデルを参照することで,原画像信号Iの信号値に対するノイズ量σを推定する。
【0048】
以下ノイズモデルについて説明する。
【0049】
ノイズ量σは,A/D103変換直後の信号レベルに対して2次曲線的に増加する。これを特開2005-175718公報に開示されているように信号レベル−ノイズ分散モデルを2次関数で表すと,式(3)が得られる。
【0050】
【数3】

【0051】
ここで,α,β,γは定数項であり,L0はA/D103変換直後の信号レベルを表す。しかしながら,ノイズ量σは信号レベルだけではなく,素子の温度やゲインによっても変化する。図3は,一例として,ある温度tにおけるゲインに関連する3種類のISO感度(ゲイン)100,200,400に対するノイズ量σをプロットしている。個々の曲線は式(3)に示される形態をしているが,その係数はゲインに関連するISO感度により異なる。温度をt,ゲインをgとし,上記を考慮した形でノイズモデルの定式化を行うと式(4a)と表すことができる。
【0052】
【数4a】

【0053】
となる。ここで,αgt,βgt,γgtは温度t,ゲインgに応じて決まる定数項である。カラー映像信号の場合,このノイズモデルは各色信号に対して独立に適用する。
【0054】
また,ウェーブレット変換により分解された各色信号それぞれに対する各高周波成分に関しても同様に,式(4b)に示すようなノイズモデルを構築することが可能である。
【0055】
【数4b】

【0056】
ここでLLiは分解の段階iの低周波成分の信号値を表す。
【0057】
ノイズ推定部106では,各色信号の低周波成分毎の信号値(通常は注目画素を含む近傍領域での信号値の平均)に基づいて,上述のノイズモデルを参照することで,ノイズ量σを推定し,パラメータ設定部107へ転送する。同時に対象としているノイズモデルが取るノイズ量σの最大値σmax(例えば図3においてはL=250付近で最大のノイズ量σの値をとり,この場合250をσmaxとする)もパラメータ設定部107へ転送する。
【0058】
[パラメータ設定]
次に,図4を参照して,パラメータ設定部107の動作の詳細について説明する。
【0059】
パラメータ設定部107はパラメータ算出部300,色差・色和算出部301,変換関数規定部302を含んでいる。
【0060】
バッファ110は色差・色和算出部301に接続されている。ノイズ推定部106,色差・色和算出部301はパラメータ算出部300へ接続されている。パラメータ算出部300は変換関数規定部302へ接続されている。変換関数規定部302はコアリング部108へ接続されている。
【0061】
パラメータ設定部107では,ノイズ推定部106からノイズ量,およびノイズ量の最大値を,バッファ110から各色信号に対する高周波成分を取得する。はじめにノイズ量,ノイズ量最大値,高周波成分に基づきコアリング処理に用いるパラメータを設定する。設定したパラメータを用いて,高周波成分に対しコアリング処理を行う。
【0062】
ここでは例として,色信号Igの高周波成分に対しパラメータを設定する場合について説明する。
【0063】
まず,色差・色和算出部301はバッファ110から色信号Ir,Ig,Ibに対する高周波成分Hri,Hgi,Hbi(iは分解の段階数)を取得する。Hri,Hgi,Hbiから注目画素を中心とする所定サイズの矩形領域(本実施例では周囲5×5近傍)の信号値ブロックを抽出する。
【0064】
次に抽出したブロックに属する信号値を用いて,式(5)で定義される色差Cr,Cb,色和Ar,Abを算出する。
【0065】
【数5】

【0066】
ここでHrik,Hgvk,Hbikは上記ブロック内に属するHri,Hgi,Hbiの各信号値であり,Kは信号値の個数を示している。算出した色差Cr,Cb,色和Ar,Abはパラメータ算出部300へ転送される。
【0067】
パラメータ算出では色差CrとCbを比較し,大きい方の値を選択してCとする。Cに基づきコアリング位置設定用のパラメータα'をFc(C)(α':0〜1)として設定する。
【0068】
ここでFc()は,予め求め記録しておいた色差の最大値Cmaxに基づいて,入力値を0〜1の範囲に正規化する所定の関数である。
【0069】
同様に,色和ArとAbを比較し,大きい方の値を選択してAとする。Aに基づきコアリング位置設定用のパラメータβ'をFa(A)(β':0〜1)として設定する。
【0070】
ここでFa()は,予め求め記録しておいた色和の最大値Amaxに基づいて,入力値を0〜1の範囲に正規化する所定の関数である。
【0071】
また,パラメータ算出部300はノイズ推定部106からノイズ量σ,及びノイズ量最大値σmaxを取得する。ノイズ量σ,及びノイズ量最大値σmaxに基づき,式(6)で定義されるコアリング幅調整のためのパラメータλを設定する。
【0072】
【数6】

【0073】
ここでλcは所定の定数である。λはノイズレベルが高くなるほど,大きくなるように設定されている。
【0074】
以上のように算出したパラメータα',β',λは変換関数規定部302へ転送される。
【0075】
変換関数規定部302では,パラメータα',β',λ,及びHri,Hgi,Hbiに基づきコアリングに適用される変換関数を規定する。
【0076】
HriとHbiの符号が一致し,Hri>0,Hbi>0,Hri>Hbiの場合は,変換関数を,例えば式(7a)のような複数の区間Wj(j=0〜10)から構成される折線関数により規定する。
【0077】
ここで,Tbj,Tujは区間Wjの下限値,上限値を,Hgi'jは出力値を表しており,α',β',λ,及びHri,Hgi,Hbiに基づいて算出される。
【0078】
ここで,区間W1,W3,W5,W7のように出力が一定値の区間をコアリング範囲区間と定義し,変換関数内には複数のコアリング範囲区間が設定されるものとする。
【0079】
変換関数は連続しており,また非コアリング範囲区間における関数の傾きを1と固定しているため,コアリング範囲区間における下限値,上限値,及び出力値がわかれば,その他の非コアリング範囲区間における出力値も一意に算出することが可能である。
【0080】
また,非コアリング範囲区間における変換関数と一次関数Hgi'j=Hgiとの差分は傾きがいずれも1であるため,区間内においては,一定値となる。
【0081】
本実施例においては,コアリング部108における変換関数規定のため,コアリング範囲区間に関する下限値,上限値,及び出力値とともに,非コアリング範囲区間における下限値,上限値,及び,非コアリング範囲区間における変換関数と上記一次関数Hgi'j=Hgiとの差分値を,コアリング部108へ転送する。
【0082】
図5(a)に式(7a)により規定される変換関数を示す。
【0083】
【数7a】

【0084】
また,Hri>0,Hbi>0,Hri<Hbiの場合は,式(7a)において,HbiをHri,HriをHbiに置換することにより,コアリング範囲区間,及び出力値を算出することができる。
【0085】
Hri<0,Hbi<0,|Hri|>|Hbi|の場合は,式(7a)において,Hbiを-Hbi,Hriを-Hri,α'をβ',β'をα'に置換することによりコアリング範囲区間,及び出力値を算出することができる。
【0086】
Hri<0,Hbi<0,|Hri|<|Hbi|の場合は,式(7a)において,Hbiを-Hri,Hriを-Hbi,α'をβ',β'をα'に置換することによりコアリング範囲区間,及び出力値を算出することができる。
【0087】
HriとHbiの符号が一致せず,Hri>0,Hbi<0,|Hri|>|Hbi|の場合は,変換関数を,例えば式(7b)のように規定する。上述と同様にコアリング範囲区間に対する下限値,上限値,及び出力値とともに,非コアリング範囲区間に対する下限値,上限値,及び,非コアリング範囲区間における変換関数と一次関数Hgi'j=Hgiとの差分値をコアリング部へ転送する。
【0088】
図5(b)に式(7b)により規定される変換関数を示す。
【0089】
【数7b】

【0090】
また,Hri>0,Hbi<0,|Hri|<|Hbi|の場合は,式(7b)において,Hriを-Hbi,-HbiをHri,α'をβ',β'をα'に置換することによりコアリング範囲区間,及び出力値を算出することができる。
【0091】
Hri<0,Hbi>0,|Hri|>|Hbi|の場合は,式(7b)において,-HbiをHbi,Hriを-Hri,α'をβ',β'をα'に置換することによりコアリング範囲区間,及び出力値を算出することができる。
【0092】
Hri<0,Hbi>0,|Hri|<|Hbi|の場合は,式(7b)において,HriをHbi,-Hbiを-Hriに置換することによりコアリング範囲区間,及び出力値を算出することができる。
【0093】
他のHri,Hbiに対するコアリングの変換関数については,Hgiの変換関数に対し,Hri,Hgi,Hbiを入れ替えれば容易にHri,またはHbiに対する変換関数が算出可能でる。
【0094】
また,上記の処理では色差,色和を考慮して変換関数を構成したが,色差のみを考慮する場合は式(7a),式(7b)において,β'を0に置換したコアリング範囲区間,及び出力値を算出し,色和のみを考慮する場合は,α'を0に置換したコアリング範囲区間,及び出力値を算出し変換関数を規定すればよい。
【0095】
以上のように,全てレベルの高周波成分に対して複数のコアリング範囲をもつ変換関数を算出し,これに基づくコアリングを行うことで,信号値の大きな(振幅の大きな)区間では,より強い平滑化がかかるようになり,また処理対象とする色信号値と,他の色信号値間の類似度が高い区間にコアリング範囲を設けることで,類似度の強い信号値を強制的に他の色信号値と置き換えるといった,色の相関性を考慮した平滑化が可能となる。
【0096】
[コアリング部]
次に,図6を参照して,コアリング部108の動作の詳細について説明する。
【0097】
コアリング部108は範囲特定部400,加算・減算部401,置換部402を含んでいる。
【0098】
パラメータ設定部107は範囲特定部400,加算・減算部401,置換部402に接続されている。
【0099】
バッファ110は範囲特定部400に接続されている。範囲特定部400は加算・減算部401,置換部402に接続されている。加算・減算部401,置換部402は合成部113へ接続されている。
【0100】
まず,範囲特定部400はパラメータ設定部107から前述のコアリング範囲区間に対する下限値,上限値を取得する。また,バッファ110から色信号毎の高周波成分を順次取得する。ここで高周波成分の信号値をコアリング範囲区間の下限値,上限値と比較し,コアリング範囲区間に属する場合は,高周波成分の信号値を置換部402へ転送する。コアリング範囲区間外に属する場合は,加算・減算部401へ転送する。
【0101】
置換部402では,高周波成分の信号値が所属するコアリング範囲区間に対応する出力値をパラメータ設定部107から取得し,それを信号値として置換する。置換された信号値は合成部113へ転送される。
【0102】
加算・減算部401ではパラメータ設定部107から上述の非コアリング範囲区間における変換関数と上記一次関数Hg'n=Hgとの差分値を取得し,それを高周波成分の信号値に対し,前述の差分値を加算し,これを合成部113へ転送する。
【0103】
[合成部]
次に,図7を参照して,合成部113の作用について説明する。
【0104】
合成部113は,データ読取部500と,切換部501と,アップサンプラ502と,アップサンプラ503と,アップサンプラ504と,アップサンプラ505と,垂直ハイパスフィルタ506と,垂直ローパスフィルタ507と,垂直ハイパスフィルタ508と,垂直ローパスフィルタ509と,アップサンプラ510と,アップサンプラ511と,水平ハイパスフィルタ512と,水平ローパスフィルタ513と,バッファ514と,データ転送制御部515と,基底関数ROM516と,フィルタ係数読取部517と,を含んでいる。
【0105】
バッファ110は,データ読取部500を介して切換部501へ接続されている。切換部501は,アップサンプラ502とアップサンプラ503とアップサンプラ504とアップサンプラ505とへそれぞれ接続されている。アップサンプラ502は垂直ハイパスフィルタ506へ,アップサンプラ503は垂直ローパスフィルタ507へ,アップサンプラ504は垂直ハイパスフィルタ508へ,アップサンプラ505は垂直ローパスフィルタ509へ,それぞれ接続されている。垂直ハイパスフィルタ506と垂直ローパスフィルタ507とは,アップサンプラ510へそれぞれ接続されている。垂直ハイパスフィルタ508と垂直ローパスフィルタ509とは,アップサンプラ511へそれぞれ接続されている。アップサンプラ510は水平ハイパスフィルタ512へ,アップサンプラ511は水平ローパスフィルタ513へ,それぞれ接続されている。水平ハイパスフィルタ512と水平ローパスフィルタ513とは,バッファ514へそれぞれ接続されている。バッファ514は,出力部114とデータ転送制御部515とへそれぞれ接続されている。データ転送制御部515は,切換部501へ接続されている。基底関数ROM516は,フィルタ係数読取部517へ接続されている。フィルタ係数読取部517は,垂直ハイパスフィルタ506と垂直ローパスフィルタ507と垂直ハイパスフィルタ508と垂直ローパスフィルタ509と水平ハイパスフィルタ512と水平ローパスフィルタ513とへそれぞれ接続されている。
【0106】
基底関数ROM516には,Harr関数やDaubechies関数などの逆ウェーブレット変換に用いられるフィルタ係数が記録されている。
【0107】
フィルタ係数読取部517は,基底関数ROM516からフィルタ係数を読み込んで,垂直ハイパスフィルタ506,垂直ハイパスフィルタ508,水平ハイパスフィルタ512へハイパスフィルタ係数を,垂直ローパスフィルタ507,垂直ローパスフィルタ509,水平ローパスフィルタ513へローパスフィルタ係数を,それぞれ転送する。
【0108】
こうして,各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に,データ読取部500は,バッファ110からコアリング処理がなされた三種類の高周波成分HHv"n,Hh"n,Hv"nおよび低周波成分Lnを読み込んで,切換部501へ転送する。
【0109】
切換部501は,高周波成分HHv"nをアップサンプラ502を介して垂直ハイパスフィルタ506へ,高周波成分Hh"nをアップサンプラ503を介して垂直ローパスフィルタ507へ,高周波成分Hv"nをアップサンプラ504を介して垂直ハイパスフィルタ508へ,低周波成分Lnをアップサンプラ505を介して垂直ローパスフィルタ509へ,それぞれ転送し,垂直方向のフィルタリング処理を実行させる。
【0110】
さらに,垂直ハイパスフィルタ506および垂直ローパスフィルタ507からの周波数成分はアップサンプラ510を介して水平ハイパスフィルタ512へ,垂直ハイパスフィルタ508および垂直ローパスフィルタ509からの周波数成分はアップサンプラ511を介して水平ローパスフィルタ513へ,それぞれ転送されて,水平方向のフィルタリング処理がなされる。水平ハイパスフィルタ512および水平ローパスフィルタ513からの周波数成分は,バッファ514へ転送されて一つに合成されることにより,補正処理がなされた低周波成分L"n-1が生成される。
【0111】
ここで,アップサンプラ502,アップサンプラ503,アップサンプラ504,アップサンプラ505は入力周波数成分を垂直方向に2倍にアップサンプリングするものであり,アップサンプラ510,アップサンプラ511は入力周波数成分を水平方向に2倍にアップサンプリングするものである。
【0112】
データ転送制御部515は,バッファ514から低周波成分L"n-1を読み出して,読み出した低周波成分L"n-1を切換部501へ転送する。
【0113】
また,データ読取部500は,バッファ110から補正処理がなされた三種類の高周波成分HHv"n-1,Hh"n-1,Hv"n-1を読み込んで,切換部501へ転送する。
【0114】
その後,分解の段階数n−1の周波数成分に対して,上述と同様のフィルタリング処理がなされ,低周波成分L"n-2がバッファ514へ出力される。このような過程は,所定のn段階の合成が行われるまで反復される。こうしてバッファ514には,最終的に,補正処理がなされた低周波成分L”0が出力される。そしてバッファ514は,この低周波成分L”0を出力部114へ転送する。
【0115】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。
【0116】
例えば、本実施形態では、パラメータ設定部107において、コアリング幅調整のためのパラメータλをノイズ量σに基づく式(6)により設定したが、パラメータ設定部107を、図9に示すパラメータ設定部900に置換することで、ML(Maximum Likelihood)推定によりλを設定する構成とすることもできる。
【0117】
パラメータ設定部900は、パラメータ設定部107からパラメータ算出部300をパラメータ算出部901に置換した構成となっている。
【0118】
バッファ110はパラメータ算出部901、色差・色和算出部301、変換関数規定部302に接続されている。ノイズ推定部106、色差・色和算出部301はパラメータ算出部901に接続されている。パラメータ算出部901は変換関数規定部302に接続されている。変換関数規定部302はコアリング部108に接続されている。
【0119】
パラメータ算出部901は、ノイズ推定部106からノイズ量σnを、バッファ110から低周波成分、及び高周波成分を取得し、式(8)に基づきλを算出する。
【0120】
【数8】

【0121】
ここでεは所定の係数(ε=1.0)を表す。
【0122】
また、LLi、Hiは色信号Ir,Ig,Ibに対する低周波成分LLri, LLgi, LLbi、高周波成分Hri,Hgi,Hbi(iは分解の段階数)を表す。
【0123】
jは、注目画素を中心としてHiから抽出した所定サイズの矩形領域内に含まれるM個の画素を表しており、Hi (j)はHiの画素jにおける高周波成分を表す。
【0124】
本実施例においては5×5画素領域を抽出することとし、M=25としている。
【0125】
max[]はML推定を表し、σs2は注目画素に対して推定されたHiの実効値を表している。
【0126】
パラメータλ、及び第1の実施形態と同様に算出したα、βは変換関数規定部302へ転送される。
【0127】
ML推定により、ノイズ量に応じて精度良くλを設定することができるため、以降のノイズ低減処理において、効果的なノイズ低減が可能となる。
【0128】
[フロー]
上述ではハードウェアによる処理を前提としていたが,このような構成に限定されるものでもない。例えば撮像素子102からの原画像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録するとともに,撮像条件などの付随情報(例えば,ISO感度などの撮像条件など)をヘッダ情報として記録媒体に記録しておく。そして,別途のソフトウェアである画像処理プログラムをコンピュータに実行させて,記録媒体の情報をコンピュータに読み取らせ,処理することも可能である。
【0129】
なお,撮像部からコンピュータへの各種情報の伝送は,記録媒体を介して行うに限らず,通信回線等を介して行うようにしても構わない。
【0130】
図8を参照して,画像処理プログラムによる処理のメインルーチンを説明する。
【0131】
この処理を開始すると,まず,映像信号を読み込むとともに,撮像素子102の温度や露光条件,画像処理条件などのヘッダ情報を読み込む(ステップS01)。
【0132】
次に,分解の段階数を示す変数iを0に初期化する(ステップS02)。
【0133】
次に,分解の段階数iを1増分する(ステップS03)。
【0134】
次に,原画像信号を構成する色信号毎に,分解の段階数iの解像度分解を行い,高周波成分と低周波成分とを取得する(ステップS04)。
【0135】
次に,ノイズモデルに基づき,ノイズ量を推定する(ステップS05)。
【0136】
次に,色成分毎の高周波成分に基づき,色差,色和を算出する(ステップS06)。
【0137】
次に,S05で推定したノイズ量からλ,S06で算出した色差,色和からα',β'を算出する(ステップS07)。
【0138】
続いて,分解の段階数iの高周波成分に対してS07で算出したλ,α',β'により規定される変換関数に基づくコアリング処理を行う(ステップS08)。
【0139】
その後,分解の段階数iが,規定のn以下であるか否かを判定し(ステップS09),n以下である場合には,上記ステップS03へ戻って次の分解の段階数について上述したような処理を繰り返して行う。また,分解の段階数iが規定のnを超えたと判定された場合には,低周波成分を出力する(ステップS09)。
【0140】
そして,補正処理がなされた高周波成分と低周波成分とを用いて,n段階の多重解像度合成を行い,補正された映像信号を生成する(ステップS10)。
【0141】
最後に公知の圧縮処理などを行った後,処理後の映像信号を出力して(ステップS11),一連の処理を終了する。
【0142】
以上,本発明の実施形態について説明したが,上記実施形態は本発明の適用例の一つを示したに過ぎず,本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
【図面の簡単な説明】
【0143】
【図1】本発明に係る撮像装置のシステム構成図である。
【図2】分解部の構成図である。
【図3】ノイズモデルを説明するための図である。
【図4】パラメータ設定部の構成図である。
【図5】コアリング処理の際の変換関数を示す図である。
【図6】コアリング部の構成図である。
【図7】合成部の構成図である。
【図8】画像処理プログラムによる処理のメインルーチンのフローチャートである。
【図9】パラメータ設定部の構成図である。
【符号の説明】
【0144】
107 パラメータ設定部
108 コアリング部
109 分解部

【特許請求の範囲】
【請求項1】
映像信号に対してノイズ除去を行うノイズ除去装置において,
前記映像信号を少なくとも2つ以上の帯域信号に分解する分解手段と,
少なくとも1つ以上の前記帯域信号に関して複数のコアリング範囲を設定する設定手段と,
前記複数のコアリング範囲に基づきコアリング処理を行うコアリング手段と,
を備えたことを特徴とするノイズ除去装置。
【請求項2】
請求項1に記載のノイズ除去装置において,
前記設定手段は,前記コアリング範囲に対して固定の出力値を設定し,
前記コアリング手段は,前記帯域信号内の前記コアリング範囲に属する信号値を前記出力値に変換し,前記コアリング範囲に属さない信号値を補正することを特徴とするノイズ除去装置。
【請求項3】
請求項2に記載のノイズ除去装置において,
前記映像信号は複数の色成分から構成され,
前記色成分毎に前記分解手段,前記設定手段,前記コアリング手段を適用することを特徴とするノイズ除去装置。
【請求項4】
請求項3に記載のノイズ除去装置において,
前記設定手段は,複数の前記色成分間の信号値の演算値に基づき前記コアリング範囲を設定することを特徴とするノイズ除去装置。
【請求項5】
請求項4に記載のノイズ除去装置において,
前記演算値は前記色成分間の信号値の減算値,加算値のうちの少なくとも1つ以上に基づく演算により算出されることを特徴とするノイズ除去装置。
【請求項6】
請求項2から5のいずれか1つに記載のノイズ除去装置において,
前記設定手段は,前記映像信号,または前記帯域信号に対するノイズ量を推定するノイズ推定手段を備え,前記ノイズ量に基づき前記コアリング範囲を調整することを特徴とするノイズ除去装置。
【請求項7】
請求項1から6のいずれか1つに記載のノイズ除去装置において,
前記分解手段は,ウェーブレット変換を用いるものであることを特徴とするノイズ除去装置。
【請求項8】
請求項1から7のいずれか1つに記載のノイズ除去装置において,
前記コアリング処理後の複数の帯域信号を合成する合成手段を備えることを特徴とするノイズ除去装置。
【請求項9】
映像信号に対するノイズ除去方法において,
前記映像信号を少なくとも2つ以上の帯域信号に分解することと,
少なくとも1つ以上の前記帯域信号毎に複数のコアリング範囲を設定することと,
前記帯域信号毎に前記複数のコアリング範囲に基づきコアリング処理を行うことと,
を含むことを特徴とするノイズ除去方法。
【請求項10】
映像信号に対するノイズ除去を行うノイズ除去プログラムであって,
前記映像信号を少なくとも2つ以上の帯域信号に分解するステップと,
少なくとも1つ以上の前記帯域信号毎に複数のコアリング範囲を設定するステップと,
前記帯域信号毎に前記複数のコアリング範囲に基づきコアリング処理を行うステップと,
を含むことを特徴とするノイズ除去プログラム。

【図1】
image rotate

【図2】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図3】
image rotate


【公開番号】特開2009−77393(P2009−77393A)
【公開日】平成21年4月9日(2009.4.9)
【国際特許分類】
【出願番号】特願2008−222369(P2008−222369)
【出願日】平成20年8月29日(2008.8.29)
【出願人】(000000376)オリンパス株式会社 (11,466)
【出願人】(592218300)学校法人神奈川大学 (243)
【Fターム(参考)】