動画像雑音除去装置、その方法およびそのプログラム
【課題】信号対雑音比が低い動画像信号であっても、精度よく雑音を除去することが可能な動画像雑音除去装置を提供する。
【解決手段】動画像雑音除去装置１は、動画像信号を、時間方向にウェーブレット分解し、さらに、空間方向にウェーブレット分解する時間・空間ウェーブレット分解手段１０と、時間方向および空間方向にウェーブレット分解された周波数成分に対して異なる閾値を設定し、ウェーブレット縮退を行う時間・空間ウェーブレット縮退手段３０と、ウェーブレット縮退された周波数成分を、空間方向にウェーブレット再構成し、さらに、時間方向にウェーブレット再構成することで動画像信号を生成する時間・空間ウェーブレット再構成手段４０と、を備えることを特徴とする。
【解決手段】動画像雑音除去装置１は、動画像信号を、時間方向にウェーブレット分解し、さらに、空間方向にウェーブレット分解する時間・空間ウェーブレット分解手段１０と、時間方向および空間方向にウェーブレット分解された周波数成分に対して異なる閾値を設定し、ウェーブレット縮退を行う時間・空間ウェーブレット縮退手段３０と、ウェーブレット縮退された周波数成分を、空間方向にウェーブレット再構成し、さらに、時間方向にウェーブレット再構成することで動画像信号を生成する時間・空間ウェーブレット再構成手段４０と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号から雑音を除去する動画像雑音除去装置、その方法およびそのプログラムに関する。
【背景技術】
【０００２】
一般に、静止画像から雑音（ノイズ）を除去する雑音除去法として、メディアンフィルタ（Median Filter）、ＴＶ（Total Variation）法、ウェーブレット縮退（Wavelet Shrinkage）法等の非線形処理を利用する手法が知られている。
例えば、ウェーブレット縮退法は、画像信号を離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）により分解（ウェーブレット分解）して求めたＤＷＴ展開係数について、閾値関数（Threshold Function）により雑音の信号レベルを“０”に向けて減衰させてから、ウェーブレット逆変換（ＩＤＷＴ：Inverse Discrete Wavelet Transform）を行う非線形な手法である（非特許文献１参照）。この手法を用いると、画像信号が特定のＤＷＴ展開係数に集中し、画像信号の展開係数の絶対値が雑音の展開係数の絶対値よりも大きい場合、ほぼ原画像信号の特徴を損なわずに雑音除去を行うことができる。
【０００３】
一方、動画像における雑音除去法としては、動き補償とフィルタ処理とにより雑音を除去する手法が一般的である（特許文献１，２参照）。
例えば、特許文献１には、動画像において、現画像と１フレーム前の画像との差分により、現画像からノイズを減算する値を求め、ノイズを除去する技術が開示されている。また、特許文献１には、ノイズを減算する値を求める際に、現画像と１フレーム前の画像との前後画素から画像の形状判定を行い、フレーム間で形状について相関がある場合には、現画像に対するノイズ除去の割合を小さくするように制御する技術が開示されている。
【０００４】
また、例えば、特許文献２には、動画像において、フレーム間の局所的な動きベクトルにより、前に入力されたフレームに対して動き補正を行う際に、フレーム間の低域通過フィルタの係数を制御し、動画像におけるボケを最小限に抑えて雑音を低減させる技術が開示されている。
【特許文献１】特開２００８−１１３３５２号公報
【特許文献２】特開平７−２８８７１９号公報
【非特許文献１】D. L. Donoho, “De-noising by soft-thresholding,” IEEE Trans. Inform.Theory, vol.41, pp.613-627, May 1995.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、従来の動画像における雑音除去法は、信号対雑音比が低い場合、動き検出精度が低下するため、自ずと雑音除去性能も低下してしまうという問題がある。
また、近年の動画像はスーパーハイビジョン（ＳＨＶ）のように高精細化しており、このような高精細動画像は、撮像素子１画素あたりの受光面積が小さいため、撮影条件によって信号対雑音比が低下してしまう。よって、従来の雑音除去法では、動画像から精度よく雑音を除去することができないという問題がある。さらに、このような不要な雑音成分は、動画像の主観画質の劣化のみならず、符号化効率の低下をも招くことになる。
【０００６】
本発明は、以上のような課題を解決するためになされたものであり、信号対雑音比が低い動画像信号であっても、精度よく雑音を除去することが可能な動画像雑音除去装置、その方法およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の動画像雑音除去装置は、動画像信号に含まれる雑音を除去する動画像雑音除去装置であって、時間方向分解手段と、空間方向分解手段と、縮退手段と、空間方向再構成手段と、時間方向再構成手段と、を備える構成とした。
【０００８】
かかる構成において、動画像雑音除去装置は、時間方向分解手段によって、動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する。この各展開係数は、動画像信号の複数のフレームごとに、１次元１階離散ウェーブレット変換を行うことで生成することができる。
【０００９】
また、動画像雑音除去装置は、空間方向分解手段によって、時間高周波展開係数と時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する。この各展開係数は、時間高周波展開係数と時間低周波展開係数とに対して２次元１階離散ウェーブレット変換を行うことで生成することができる。
【００１０】
これによって、動画像信号は、時間方向および空間方向の各周波数成分に分解されることになる。そして、動画像雑音除去装置は、周波数成分ごとの雑音特性に応じて個別に雑音を除去することが可能になる。
【００１１】
すなわち、動画像雑音除去装置は、縮退手段によって、時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、時間高周波・空間高周波展開係数よりも時間低周波・空間展開係数の方に大きい閾値を設定して、ウェーブレット縮退法により、当該閾値以下の周波数成分の信号レベルを減衰させる。これによって、動画像雑音除去装置は、信号対雑音比が大きい時間低周波成分の閾値を大きくして雑音を除去することができる。
【００１２】
そして、動画像雑音除去装置は、空間方向再構成手段によって、縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、空間方向分解手段で時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する。この空間方向のウェーブレット再構成は、各展開係数に対して２次元１階離散ウェーブレット逆変換を行うことで、時間高周波展開係数および時間低周波展開係数の周波数成分に再構成することができる。
【００１３】
そして、動画像雑音除去装置は、時間方向再構成手段によって、空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する。この時間方向のウェーブレット再構成は、各展開係数に対して１次元１階離散ウェーブレット逆変換を行うことで、周波数成分を動画像信号に再構成することができる。
【００１４】
また、請求項２に記載の動画像雑音除去装置は、請求項１に記載の動画像雑音除去装置において、時間高周波・空間高周波孤立点除去手段を備える構成とした。
【００１５】
かかる構成において、動画像雑音除去装置は、時間高周波・空間高周波孤立点除去手段によって、時間高周波・空間高周波展開係数を２値化処理する。このように、時間高周波・空間高周波展開係数を２値化処理することで、当該係数を２値化画像として扱うことができる。そして、動画像雑音除去装置は、時間高周波・空間高周波孤立点除去手段によって、２値化画像内で周辺画素の値と異なる独立した画素の値を周辺画素の値に置き換える等の処理を行うことで、孤立点を除去する。これによって、動画像雑音除去装置は、縮退手段がウェーブレット縮退を行う前に、時間高周波・空間高周波展開係数における雑音を除去する。
【００１６】
さらに、請求項３に記載の動画像雑音除去装置は、請求項１または請求項２に記載の動画像雑音除去装置において、時間高周波・空間低周波孤立点除去手段を備える構成とした。
【００１７】
かかる構成において、動画像雑音除去装置は、時間高周波・空間低周波孤立点除去手段によって、時間高周波・空間低周波展開係数を２値化処理する。このように、時間高周波・空間低周波展開係数を２値化処理することで、当該係数を２値化画像として扱うことができる。そして、動画像雑音除去装置は、時間高周波・空間低周波孤立点除去手段によって、２値化画像内で周辺画素の値と異なる独立した画素の値を周辺画素の値に置き換える等の処理を行うことで、孤立点を除去する。これによって、動画像雑音除去装置は、空間方向再構成手段がウェーブレット再構成を行う前に、時間高周波・空間低周波展開係数における雑音を除去する。
【００１８】
また、請求項４に記載の動画像雑音除去装置は、請求項１から請求項３のいずれか一項に記載の動画像雑音除去装置において、最大雑音特性記憶手段を備える構成とした。
【００１９】
かかる構成において、動画像雑音除去装置は、最大雑音特性記憶手段に、動画像信号の元の動画像を撮影したカメラにより暗部撮影した暗部動画像信号を時間方向および空間方向にウェーブレット分解した各展開係数の最大値をカメラの雑音特性として予め記憶しておく。そして、動画像雑音除去装置は、縮退手段によって、最大雑音特性記憶手段に記憶されている各展開係数の最大値と、時間低周波・空間展開係数の絶対値との差分により算出した閾値を基準として、時間低周波・空間展開係数の信号レベルを減衰させる。これによって、動画像雑音除去装置は、時間低周波・空間展開係数における雑音を除去する。
【００２０】
さらに、請求項５に記載の動画像雑音除去装置は、請求項１から請求項４のいずれか一項に記載の動画像雑音除去装置において、中央雑音特性記憶手段を備える構成とした。
【００２１】
かかる構成において、動画像雑音除去装置は、中央雑音特性記憶手段に、動画像信号の元の動画像を撮影したカメラにより暗部撮影した暗部動画像信号を時間方向および空間方向にウェーブレット分解した各展開係数の中央値をカメラの雑音特性として予め記憶しておく。そして、動画像雑音除去装置は、縮退手段によって、中央雑音特性記憶手段に記憶されている各展開係数の中央値と、時間高周波・空間高周波展開係数の絶対値との差分により算出した閾値を基準として、時間高周波・空間高周波展開係数の信号レベルを減衰させる。これによって、動画像雑音除去装置は、時間高周波・空間高周波展開係数における雑音を除去する。
【００２２】
また、請求項６に記載の動画像雑音除去方法は、動画像信号に含まれる雑音を除去する動画像雑音除去方法であって、時間方向分解ステップと、空間方向分解ステップと、縮退ステップと、空間方向再構成ステップと、時間方向再構成ステップと、を含む手順とした。
【００２３】
かかる手順において、動画像雑音除去方法は、時間方向分解ステップで、時間方向分解手段により、動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する。続けて、動画像雑音除去方法は、空間方向分解ステップで、空間方向分解手段により、時間高周波展開係数と時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する。
【００２４】
そして、動画像雑音除去方法は、縮退ステップで、縮退手段により、時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、時間高周波・空間高周波展開係数よりも時間低周波・空間展開係数の方に大きい閾値を設定して、ウェーブレット縮退法により、当該閾値以下の周波数成分の信号レベルを減衰させる。
【００２５】
その後、動画像雑音除去方法は、空間方向再構成ステップで、空間方向再構成手段により、縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、空間方向分解手段で前記時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する。続けて、動画像雑音除去方法は、時間方向再構成ステップで、時間方向再構成手段により、空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する。
【００２６】
さらに、請求項７に記載の動画像雑音除去プログラムは、動画像信号に含まれる雑音を除去するために、コンピュータを、時間方向分解手段、空間方向分解手段、縮退手段、空間方向再構成手段、時間方向再構成手段、として機能させる構成とした。
【００２７】
かかる構成において、動画像雑音除去プログラムは、時間方向分解手段によって、動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する。また、動画像雑音除去プログラムは、空間方向分解手段によって、時間高周波展開係数と時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する。
【００２８】
そして、動画像雑音除去プログラムは、縮退手段によって、時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、時間高周波・空間高周波展開係数よりも時間低周波・空間展開係数の方に大きい閾値を設定して、ウェーブレット縮退法により、当該閾値以下の周波数成分の信号レベルを減衰させる。
【００２９】
そして、動画像雑音除去プログラムは、空間方向再構成手段によって、縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、空間方向分解手段で時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する。また、動画像雑音除去プログラムは、時間方向再構成手段によって、空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する。
【発明の効果】
【００３０】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，６，７に記載の発明によれば、動画像信号を時間方向および空間方向にウェーブレット分解した周波数成分ごとに、その特性に応じて雑音を除去することができるため、信号対雑音比が低い動画像であっても、精度よく雑音を除去することができる。また、請求項１，６，７に記載の発明によれば、動画像信号の時間高周波・空間高周波の周波数成分における雑音成分をより大きく除去するため、原信号を劣化させることなく、当該周波数成分の特性であるカメラの熱雑音や撮影時の微小なカメラブレ等を除去することができる。
【００３１】
請求項２，３に記載の発明によれば、動画像信号の時間高周波・空間高周波の周波数成分や時間高周波・空間低周波の周波数成分から雑音成分を除去することができる。さらに、請求項２に記載の発明によれば、縮退手段におけるウェーブレット縮退を行う前に孤立点の雑音成分を除去するため、縮退手段において、効率的に雑音除去を行うことができる。
【００３２】
請求項４，５に記載の発明によれば、時間低周波成分の信号対雑音比が、元の動画像信号の信号対雑音比よりも大きい方向に偏るという特性に応じて、時間高周波成分よりも時間低周波成分の方により大きい閾値を設定して、ウェーブレット縮退を行うため、精度よく雑音を除去することができる。
【発明を実施するための最良の形態】
【００３３】
［動画像雑音除去方法の概要］
まず、本発明における動画像雑音除去方法（以下、本手法）の概要について説明する。本手法は、ウェーブレット縮退法を時間方向に拡張するものである。
【００３４】
動画像信号を時間方向および空間方向に離散ウェーブレット分解した場合、時間低周波成分は、時間方向の信号相関が高いため、信号対雑音比が元の動画像信号よりも大きい方向に偏る。
【００３５】
一方、時間高周波・空間高周波成分は、３次元スペクトルからほぼ雑音成分と考えられる。ここで、動画像信号を構成するフレームにおいて、ｘｙ座標系の時刻ｔにおける原画像をｓ（ｘ，ｙ，ｔ）、雑音成分をｎ（ｘ，ｙ，ｔ）としたとき、雑音を含んだ動画像信号Ｆ（ｘ，ｙ，ｔ）は、以下の（１）式で表すことができる。
【００３６】
【数１】
【００３７】
この雑音成分ｎ（ｘ，ｙ，ｔ）は、動画像を撮影したカメラの熱雑音成分であるため、白色性およびガウス性を持つ。すなわち、雑音成分ｎ（ｘ，ｙ，ｔ）は、生起確率が正規分布に従い、かつ、全周波数帯でほぼ等しいエネルギー分布を持ち、時間方向および空間方向の相関が低いという特徴を有している。
【００３８】
そこで、本手法は、動画像信号を時間方向および空間方向に離散ウェーブレット分解した時間低周波成分においては、ウェーブレット縮退法における閾値を大きくし、時間高周波・空間高周波成分においては、ウェーブレット縮退法における閾値を小さくすることで動画像信号の雑音を除去する。
以下、本手法を実現するための最良の実施形態について図面を参照して説明する。
【００３９】
［動画像雑音除去装置の構成］
まず、図１を参照して、本発明の実施形態に係る動画像雑音除去装置の構成について説明する。図１は、本発明の実施形態に係る動画像雑音除去装置の構成を示すブロック構成図である。
【００４０】
この動画像雑音除去装置１は、動画像信号を時間方向および空間方向に離散ウェーブレット分解を適用し、時間方向および空間方向においてウェーブレット縮退を行うことで、動画像信号に含まれる雑音を除去するものである。ここでは、動画像雑音除去装置１は、時間・空間ウェーブレット分解手段１０と、雑音特性記憶手段２０と、時間・空間ウェーブレット縮退手段３０と、時間・空間ウェーブレット再構成手段４０と、を備えている。
【００４１】
時間・空間ウェーブレット分解手段１０は、外部から動画像信号を入力し、時間方向ならびに空間方向にウェーブレット分解するものである。この動画像信号は、例えば、スーパーハイビジョン（ＳＨＶ）のような高精細動画像信号とすることができる。ここでは、時間・空間ウェーブレット分解手段１０は、時間方向分解手段１１と、空間方向分解手段１２と、を備えている。
【００４２】
時間方向分解手段１１は、動画像信号を、時間方向にウェーブレット分解するものである。この時間方向分解手段１１は、図示を省略したクロック回路から出力されるクロックに同期して、ウェーブレット係数長分のフレーム単位で動画像信号を入力し、フレームのすべての水平、垂直座標において、１次元１階離散ウェーブレット変換（ＤＷＴ）を行うことで、時間方向の低周波成分である時間低周波展開係数（時間低周波成分）Ｌ１Ｔと、時間方向の高周波成分である時間高周波展開係数（時間高周波成分）Ｈ１Ｔと、にウェーブレット分解する。
【００４３】
すなわち、時間方向分解手段１１は、図２に示すように、時間方向のウェーブレット係数長分のフレーム画像Ｆ（ｔ）、Ｆ（ｔ＋１）、Ｆ（ｔ＋２）、Ｆ（ｔ＋３）、…を、すべての（ｘ，ｙ）の画素値についてウェーブレット変換することで、時間低周波展開係数Ｌ１Ｔおよび時間高周波展開係数Ｈ１Ｔの各ウェーブレット展開係数に分解（ウェーブレット分解）する。
【００４４】
なお、ウェーブレット係数およびその長さは、使用するウェーブレットによって異なる。例えば、Ｄａｕｂｅｃｈｉｅｓの２次のウェーブレットを用いた場合、ウェーブレット係数として［−０．１２９４ ０．２２４１ ０．８３６５ ０．４８３０］の４つの係数（ウェーブレット係数長＝“４”）を用いることができる。このウェーブレット係数長が、時間方向のフレーム数となる。
この時間方向分解手段１１は、ウェーブレット分解した時間低周波展開係数Ｌ１Ｔおよび時間高周波展開係数Ｈ１Ｔを空間方向分解手段１２に出力する。
【００４５】
空間方向分解手段１２は、時間方向分解手段１１で分解された時間低周波展開係数Ｌ１Ｔと時間高周波展開係数Ｈ１Ｔとをそれぞれ空間方向の周波数成分にウェーブレット分解するものである。ここでは、空間方向分解手段１２は、時間低周波分解手段１２ａと、時間高周波分解手段１２ｂと、を備えている。
【００４６】
時間低周波分解手段１２ａは、時間方向分解手段１１で分解された時間低周波展開係数Ｌ１Ｔを、空間方向にウェーブレット分解するものである。この時間低周波分解手段１２ａは、時間低周波展開係数Ｌ１Ｔに対して、２次元１階ＤＷＴを行うことで、時間低周波成分をさらに空間方向にウェーブレット分解したウェーブレット展開係数（Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）を生成する。この生成されたウェーブレット展開係数（Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）は、時間・空間ウェーブレット縮退手段３０に出力される。
【００４７】
時間高周波分解手段１２ｂは、時間方向分解手段１１で分解された時間高周波展開係数Ｈ１Ｔを、空間方向にウェーブレット分解するものである。この時間高周波分解手段１２ｂは、時間高周波展開係数Ｈ１Ｔに対して、２次元１階ＤＷＴを行うことで、時間高周波成分をさらに空間方向にウェーブレット分解したウェーブレット展開係数（Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）を生成する。この生成されたウェーブレット展開係数（Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）は、時間・空間ウェーブレット縮退手段３０に出力される。
【００４８】
すなわち、空間方向分解手段１２は、図３（ａ）に示すように、動画像信号を時間方向にウェーブレット分解した時間低周波展開係数Ｌ１Ｔを２次元画像としたとき、当該画像を水平および垂直方向の周波数成分に４分割したウェーブレット展開係数（Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）を生成する。また、空間方向分解手段１２は、図３（ｂ）に示すように、動画像信号を時間方向にウェーブレット分解した時間高周波展開係数Ｈ１Ｔを２次元画像としたとき、当該画像を水平および垂直方向の周波数成分に４分割したウェーブレット展開係数（Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）を生成する。
【００４９】
なお、時間・空間ウェーブレット分解手段１０が生成するウェーブレット展開係数は、図４に示すように、３次元スペクトルの領域図として表すことができる。図４は、動画像信号の時間−空間１階ＤＷＴ領域図であって、空間方向における水平周波数μ（水平最高周波数μｍａｘ）、垂直周波数ν（垂直最高周波数νｍａｘ）、時間方向の時間周波数ｆ（時間最高周波数ｆｍａｘ）を３軸としている。
【００５０】
ここで、図５を参照して、時間方向および空間方向にウェーブレット分解されたウェーブレット展開係数の特性について説明する。図５は、図４の時間−空間１階ＤＷＴ領域図に動画像信号内における動物体の移動速度のスペクトル平面を対応付けた図である。なお、図５（ａ）は、フレーム内の画素Ｆ（ｘ，ｙ）の動物体のフレーム間水平・垂直移動速度（ｘｖ，ｙｖ）∈ｍｖにおいて、ｘｖ＝１、ｙｖ＝１におけるスペクトル平面、図５（ｂ）は、ｘｖ＝２、ｙｖ＝２におけるスペクトル平面を、それぞれ時間−空間１階ＤＷＴ領域図に対応付けている。
【００５１】
〔時間低周波成分（時間低周波展開係数Ｌ１Ｔ）の特性〕
まず、動画像信号の時間低周波成分である時間低周波展開係数Ｌ１Ｔの特性について説明する。
【００５２】
時間低周波展開係数Ｌ１Ｔを空間方向にウェーブレット分解したウェーブレット展開係数Ｌ１ＴＨＨ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓは、ｘｖ≦１，ｙｖ≦１の原画像ｓ成分（前記（１）式参照）のうち、水平および垂直最高周波数μｍａｘ，νｍａｘに対し、μｍａｘ／２，νｍａｘ／２以上の時間低周波・空間高周波成分である。また、ウェーブレット展開係数Ｌ１ＴＬＬ１Ｓは、ｘｖ＞１，ｙｖ＞１の原画像ｓ成分（前記（１）式参照）のうち、水平および垂直最高周波数μｍａｘ，νｍａｘに対し、μｍａｘ／２，νｍａｘ／２未満の時間低周波・空間低周波成分である。
【００５３】
この時間低周波・空間高周波成分（Ｌ１ＴＨＨ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ）、および、時間低周波・空間低周波成分（Ｌ１ＴＬＬ１Ｓ）は、原画像ｓ成分の時間方向に対する相関が、雑音成分ｎ（前記（１）式参照）に比べて非常に高い特性を有している。
【００５４】
つまり、動画像信号Ｆにおいて、時間低周波・空間高周波成分および時間低周波・空間低周波成分のウェーブレット展開係数の原画像ｓ成分と雑音成分ｎとの絶対値差は、原画像ｓ成分と雑音成分ｎとの絶対値差よりも大きい。すなわち、時間低周波成分の信号対雑音比は、元の動画像信号の信号対雑音比よりも大きい方向に偏るという特性を有している。
【００５５】
これは、動画像信号から雑音を除去するには、時間高周波成分よりも時間低周波成分の方により大きい閾値を設定して、ウェーブレット縮退法を適用した方が、精度よく雑音を除去することができることを意味している。
【００５６】
〔時間高周波成分（時間高周波展開係数Ｈ１Ｔ）の特性〕
次に、動画像信号の時間高周波成分である時間高周波展開係数Ｈ１Ｔの特性について説明する。
【００５７】
時間高周波展開係数Ｈ１Ｔを空間方向にウェーブレット分解したウェーブレット展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓは、ｘｖ≦２，ｙｖ≦２の原画像ｓ成分（前記（１）式参照）のうち、水平および垂直最高周波数μｍａｘ，νｍａｘに対し、μｍａｘ／２，νｍａｘ／２以上の時間高周波・空間高周波成分である。
この時間高周波・空間高周波成分（Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ）は、各方向エッジ成分の微小移動成分以外は、熱雑音や撮影時の微小なカメラぶれ等と考えられる。
【００５８】
また、ウェーブレット展開係数Ｈ１ＴＬＬ１Ｓは、ｘｖ＞２，ｙｖ＞２の原画像ｓ成分（前記（１）式参照）のうち、水平および垂直最高周波数μｍａｘ，νｍａｘに対し、μｍａｘ／２，νｍａｘ／２未満の時間高周波・空間低周波成分である。
【００５９】
この時間高周波・空間低周波成分（Ｈ１ＴＬＬ１Ｓ）は、前景と背景のテクスチャが大きく異なる移動領域と考えられ、原画像ｓ成分の時間方向に対する相関が低い特性を有している。特に、原画像ｓ成分の動領域の輝度が低く、動領域と背景の輝度差が大きい場合、動画像信号Ｆにおいて、時間高周波・空間低周波成分のウェーブレット展開係数の原画像ｓ成分と雑音成分ｎとの絶対値差は小さい。つまり、時間高周波成分は、微小動き成分以外は、ほぼ雑音成分であることから、孤立点雑音除去法により、精度よく雑音を除去することができることを意味している。
【００６０】
以上説明したような時間低周波成分と時間高周波成分の特性に基づいて、動画像雑音除去装置１は、動画像信号から雑音を除去する。図１に戻って、動画像雑音除去装置１が雑音を除去する構成について説明する。
【００６１】
雑音特性記憶手段（最大雑音特性記憶手段、中央雑音特性記憶手段）２０は、動画像信号の元の動画像を撮影したカメラにより暗部撮影した暗部動画像信号を時間方向および空間方向にウェーブレット分解した各展開係数の最大値および中央値をカメラの雑音特性として予め記憶するものであって、ハードディスク等の一般的な記憶装置である。
【００６２】
この雑音特性記憶手段２０には、図６に示すように、カメラＣで撮影した動画像信号Ｎ（ｘ，ｙ，ｔ）を時間方向および空間方向にウェーブレット分解（時間−空間ＤＷＴ）したウェーブレット展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ，Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓのそれぞれについての最大値および中央値を記憶しておく。
【００６３】
なお、この雑音特性記憶手段２０に記憶するカメラの雑音特性を求める際に行う時間−空間ＤＷＴは、時間・空間ウェーブレット分解手段１０で行ってもよく、この時間・空間ウェーブレット分解手段１０で分解されたそれぞれのウェーブレット展開係数から、最大値および中央値を求める雑音特性生成手段（図示せず）を介して、雑音特性記憶手段２０に最大値および中央値の書き込みを行ってもよい。
この雑音特性記憶手段２０に記憶された雑音特性（最大値、中央値）は、時間・空間ウェーブレット縮退手段３０によって参照される。
【００６４】
時間・空間ウェーブレット縮退手段３０は、時間・空間ウェーブレット分解手段１０で分解された各ウェーブレット展開係数を、ウェーブレット縮退法により、雑音の信号レベルを“０”に向けて減衰させるものである。ここでは、時間・空間ウェーブレット縮退手段３０は、時間高周波孤立点除去手段３１と、縮退手段３２と、を備えている。
【００６５】
時間高周波孤立点除去手段３１は、時間・空間ウェーブレット分解手段１０の時間高周波分解手段１２ｂで分解された時間方向の高周波成分であるウェーブレット展開係数（Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）について、孤立点を除去するものである。ここでは、時間高周波孤立点除去手段３１は、空間高周波孤立点除去手段３１ａと、空間低周波孤立点除去手段３１ｂと、を備えている。
【００６６】
空間高周波孤立点除去手段（時間高周波・空間高周波孤立点除去手段）３１ａは、空間方向分解手段１２の時間高周波分解手段１２ｂで分解されたウェーブレット展開係数のうちで、水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓから孤立点を除去するものである。
【００６７】
ここでは、空間高周波孤立点除去手段３１ａは、時間高周波・空間高周波展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓを２次元の画像（例えば、｜Ｈ１ＴＨＨ１Ｓ（ｘ，ｙ）｜）とみなし、予め定めた閾値により２値化処理し、２値化画像Ｂ（ｘ，ｙ）上で孤立する点を除去することとする。
【００６８】
例えば、空間高周波孤立点除去手段３１ａは、図７に示すように、時間高周波・空間高周波展開係数のうちのＨ１ＴＨＨ１Ｓから２値化画像Ｂ（ｘ，ｙ）を生成する。そして、空間高周波孤立点除去手段３１ａは、対象画素（ｘ，ｙ）の周辺画素を含む所定領域（例えば、３×３画素領域）の画素値合計Ｂ３×３（ｘ，ｙ）が、予め定めた閾値θＨ＊＊以下であれば、当該対象画素を孤立点雑音とみなし、｜Ｈ１ＴＨＨ１Ｓ（ｘ，ｙ）｜＝０とする。この閾値θＨ＊＊は、エッジ成分の消失を防止するため、例えば、θＨ＊＊＝３とする。
【００６９】
なお、空間高周波孤立点除去手段３１ａは、他の時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓについても、Ｈ１ＴＨＨ１Ｓと同様の処理により孤立点を除去する。
この孤立点が除去された時間高周波・空間高周波展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓは、縮退手段３２に出力される。
【００７０】
空間低周波孤立点除去手段（時間高周波・空間低周波孤立点除去手段）３１ｂは、空間方向分解手段１２の時間高周波分解手段１２ｂで分解されたウェーブレット展開係数のうちで、時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓから孤立点を除去するものである。
【００７１】
この空間低周波孤立点除去手段３１ｂは、空間高周波孤立点除去手段３１ａの手法と同様、図７で説明したように、時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓを２値化処理し、２値化画像Ｂ（ｘ，ｙ）上で孤立する点を除去する。
【００７２】
すなわち、空間低周波孤立点除去手段３１ｂは、時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓから２値化画像Ｂ（ｘ，ｙ）を生成する。そして、空間低周波孤立点除去手段３１ｂは、対象画素（ｘ，ｙ）の周辺画素を含む所定領域（例えば、３×３画素領域）の画素値合計Ｂ３×３（ｘ，ｙ）が、予め定めた閾値θＨＬＬ以下であれば、当該対象画素を孤立点雑音とみなし、｜Ｈ１ＴＬＬ１Ｓ（ｘ，ｙ）｜＝０とする。この閾値θＨＬＬは、Ｈ１ＴＬＬ１Ｓが空間低周波成分であることから、θＨ＊＊よりも大きな値、例えばθＨＬＬ＝４とする。
この孤立点が除去された時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓは、時間・空間ウェーブレット再構成手段４０に出力される。
【００７３】
縮退手段３２は、時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓと、時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓとにおいて、ウェーブレット縮退法により、時間高周波・空間高周波展開係数よりも時間低周波・空間展開係数の方に大きい閾値を設定して、当該閾値以下の周波数成分の信号レベルを減衰させるものである。ここでは、縮退手段３２は、時間低周波縮退手段３２ａと、時間高周波縮退手段３２ｂと、を備えている。
【００７４】
時間低周波縮退手段３２ａは、空間方向分解手段１２の時間低周波分解手段１２ａで分解されたウェーブレット展開係数（時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）について、閾値関数を設定し、その閾値関数で演算した閾値以下の周波数成分を“０”に減衰させるものである。
【００７５】
この時間低周波縮退手段３２ａは、雑音特性記憶手段２０に記憶されている雑音特性のうち、対応する周波数成分のウェーブレット展開係数の最大値を用いて、ウェーブレット縮退を行う。すなわち、時間低周波縮退手段３２ａは、図８に示すように、暗部撮影した動画像信号をウェーブレット分解した時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓのそれぞれの最大値ｎＮ（Ｌ１ＴＬＬ１Ｓ），ｎＮ（Ｌ１ＴＬＨ１Ｓ），ｎＮ（Ｌ１ＴＨＬ１Ｓ），ｎＮ（Ｌ１ＴＨＨ１Ｓ）を用いて、ウェーブレット縮退を行う。
【００７６】
具体的には、時間低周波縮退手段３２ａは、雑音特性記憶手段２０に記憶されているウェーブレット展開係数の最大値をｎＮ（＊）、離散ウェーブレット分解を行った際のウェーブレット係数長をｗｌとしたとき、以下の（２）式に示す閾値関数を設定し、当該関数により算出される閾値Ｔｈ（ｉ，ｎＮ（＊））によるソフト閾値（Soft-Threshold）処理よって、周波数成分を“０”に減衰させるウェーブレット縮退を実行する。
【００７７】
【数２】
【００７８】
ただし、ｓｇｎ（ｉ）は、ｉの符号を返す関数とする。
【００７９】
このように、時間低周波縮退手段３２ａは、前記した時間低周波成分の特性、すなわち、動画像信号Ｆにおいて、時間低周波・空間高周波成分および時間低周波・空間低周波成分のウェーブレット展開係数の原画像ｓ成分と雑音成分ｎとの絶対値差は、原画像ｓ成分と雑音成分ｎとの絶対値差よりも大きいという特性から、雑音成分の最大値を閾値とすることで、雑音成分を精度よく除去することができる。
【００８０】
時間高周波縮退手段３２ｂは、空間方向分解手段１２でウェーブレット分解され、さらに、時間高周波孤立点除去手段３１で孤立点が除去された水平または垂直方向の少なくとも一方に高周波成分を含むウェーブレット展開係数（時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）について、閾値関数を設定し、その閾値関数で演算した閾値以下の周波数成分を“０”に減衰させるものである。
【００８１】
この時間高周波縮退手段３２ｂは、時間低周波縮退手段３２ａと同様、前記（２）式に示す閾値関数を設定し、閾値Ｔｈ（ｉ，ｎＮ（＊））によって、周波数成分を“０”に減衰させるウェーブレット縮退を行う。ただし、時間高周波縮退手段３２ｂは、ｎＮ（＊）として、カメラで暗部撮影した動画像Ｎ（ｘ，ｙ，ｔ）を時間方向および空間方向に離散ウェーブレット変換したウェーブレット展開係数の最大値を用いるのではなく、雑音特性記憶手段２０に記憶されているウェーブレット展開係数の中央値を用いることとする。すなわち、時間高周波縮退手段３２ｂは、図９に示すように、暗部撮影した動画像信号をウェーブレット分解した時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓのそれぞれの中央値ｎＮ（Ｈ１ＴＬＨ１Ｓ），ｎＮ（Ｈ１ＴＨＬ１Ｓ），ｎＮ（Ｈ１ＴＨＨ１Ｓ）を用いて、ウェーブレット縮退を行う。
【００８２】
このように、時間高周波縮退手段３２ｂは、前記した時間高周波成分の特性、すなわち、動画像信号Ｆにおいて、時間高周波・空間低周波成分のウェーブレット展開係数の原画像ｓ成分と雑音成分ｎとの絶対値差は小さいという特性から、時間低周波成分に対して設定した閾値（最大値）よりも小さい閾値（中央値）を設定して雑音を除去するため、元信号成分の劣化を抑えつつ雑音を除去することができる。
【００８３】
なお、この縮退手段３２において、時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓについては、ウェーブレット縮退を行っていない。これは、時間高周波・空間低周波成分に縮退処理を行うと、動領域と背景との境界近傍に画像の乱れ（アーティファクト）が発生しやすくなるからである。
【００８４】
この縮退手段３２でウェーブレット縮退されたウェーブレット展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓは、時間・空間ウェーブレット再構成手段４０に出力される。
【００８５】
時間・空間ウェーブレット再構成手段４０は、時間・空間ウェーブレット縮退手段３０で雑音の信号レベルを減衰させたウェーブレット展開係数を、空間方向および時間方向にそれぞれウェーブレット再構成することで動画像信号を生成するものである。ここでは、時間・空間ウェーブレット再構成手段４０は、空間方向再構成手段４１と、時間方向再構成手段４２と、を備えている。
【００８６】
空間方向再構成手段４１は、ウェーブレット展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ，Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓを、空間方向にウェーブレット再構成するものである。
【００８７】
ここでは、空間方向再構成手段４１は、時間高周波孤立点除去手段３１で孤立点が除去された時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓと、縮退手段３２でウェーブレット縮退された時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ、および、時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓとに対して、２次元１階離散ウェーブレット逆変換（ＩＤＷＴ）を行う。これによって、ウェーブレット展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ，Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓは、時間高周波展開係数Ｈ１Ｔと、時間低周波展開係数Ｌ１Ｔとに再構成されることになる。
【００８８】
時間方向再構成手段４２は、空間方向再構成手段４１で再構成された周波数成分（ウェーブレット展開係数）を、時間方向にウェーブレット再構成するものである。ここでは、時間方向再構成手段４２は、空間方向再構成手段４１で再構成された時間高周波展開係数Ｈ１Ｔと、時間低周波展開係数Ｌ１Ｔとに対して、１次元１階ＩＤＷＴを行うことで、動画像信号を生成する。
【００８９】
以上説明したように動画像雑音除去装置１を構成することで、動画像雑音除去装置１は、動画像信号の時間低周波成分の信号対雑音比が、元の動画像信号の信号対雑音比よりも大きい方向に偏るという特性を利用してウェーブレット縮退により雑音を除去することができる。さらに、動画像雑音除去装置１は、動画像信号の時間高周波成分が、微小動き成分以外はほぼ雑音成分であるというと特性を利用して、孤立点雑音を適用することで、雑音を除去することができる。
【００９０】
以上、本発明の最良の実施形態について説明したが、動画像雑音除去装置１は、時間高周波孤立点除去手段３１を構成から省略した簡易な構成とすることも可能である。この場合、時間高周波分解手段１２ｂは、分解した時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓを、縮退手段３２の時間高周波縮退手段３２ｂに出力することとする。また、時間高周波分解手段１２ｂは、分解した時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓを、時間・空間ウェーブレット再構成手段４０の空間方向再構成手段４１に出力する。これによって、動画像雑音除去装置１は、ウェーブレット縮退を時間方向に適用して効果的に動画像信号の雑音を除去することができる。
【００９１】
なお、動画像雑音除去装置１は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、動画像雑音除去装置１は、コンピュータを、前記した各手段として機能させる動画像雑音除去プログラムにより動作させることができる。この動画像雑音除去プログラムは、ネットワークを介して配信することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００９２】
［動画像雑音除去装置の動作］
次に、図１０を参照（構成については適宜図１参照）して、本発明の実施形態に係る動画像雑音除去装置の動作（動画像雑音除去方法）について説明する。図１０は、本発明の実施形態に係る動画像雑音除去装置の動作を示す流れ図である。
【００９３】
〔時間方向分解ステップ〕
まず、動画像雑音除去装置１は、時間・空間ウェーブレット分解手段１０の時間方向分解手段１１によって、クロック（ＣＬＫ）に同期して動画像信号をフレーム単位で入力し、１次元１階離散ウェーブレット変換（ＤＷＴ）を行う（ステップＳ１）。これによって、動画像信号は、時間方向にウェーブレット分解され、時間高周波展開係数Ｈ１Ｔと時間低周波展開係数Ｌ１Ｔとに分解される。
【００９４】
〔空間方向分解ステップ〕
そして、動画像雑音除去装置１は、空間方向分解手段１２によって、ステップＳ１で分解された時間高周波展開係数Ｈ１Ｔおよび時間低周波展開係数Ｌ１Ｔに対して、２次元１階ウェーブレット変換を行う。
【００９５】
すなわち、動画像雑音除去装置１は、時間高周波分解手段１２ｂによって、ステップＳ１で分解された時間高周波展開係数Ｈ１Ｔに対して、２次元１階ＤＷＴを行うことで、時間高周波成分をさらに空間方向にウェーブレット分解したウェーブレット展開係数（Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）を生成する（ステップＳ２）。
【００９６】
さらに、動画像雑音除去装置１は、時間低周波分解手段１２ａによって、ステップＳ１で分解された時間低周波展開係数Ｌ１Ｔに対して、２次元１階ＤＷＴを行うことで、時間低周波成分をさらに空間方向にウェーブレット分解したウェーブレット展開係数（Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）を生成する（ステップＳ３）。
なお、このステップＳ２およびステップＳ３は、順番を逆にして動作させてもよいし、並行して動作させることとしてもよい。
【００９７】
〔縮退ステップ〕
そして、動画像雑音除去装置１は、時間・空間ウェーブレット縮退手段３０によって、ステップＳ２およびステップＳ３でウェーブレット分解されたウェーブレット展開係数に対して、ウェーブレット縮退法による縮退処理を行う。
【００９８】
ここでは、まず、動画像雑音除去装置１は、時間高周波孤立点除去手段３１の空間高周波孤立点除去手段３１ａによって、ステップＳ２で分解されたウェーブレット展開係数のうちで、水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓから孤立点を除去する（ステップＳ４）。また、動画像雑音除去装置１は、時間高周波孤立点除去手段３１の空間低周波孤立点除去手段３１ｂによって、ステップＳ２で分解されたウェーブレット展開係数のうちで、時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓから孤立点を除去する（ステップＳ５）。なお、このステップＳ４およびステップＳ５は、順番を逆にして動作させてもよいし、並行して動作させることとしてもよい。
【００９９】
そして、動画像雑音除去装置１は、縮退手段３２の時間高周波縮退手段３２ｂによって、ステップＳ４で孤立点が除去された時間高周波・空間高周波展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓについて、閾値関数（前記（２）式参照）を設定し、その閾値関数で演算した閾値以下の周波数成分を“０”に減衰させるウェーブレット縮退を行う（ステップＳ６）。なお、このステップＳ６で行うウェーブレット縮退において、前記（２）式の閾値Ｔｈ（ｉ，ｎＮ（＊））におけるｎＮ（＊）には、動画像を撮影したカメラで暗部撮影した動画像信号をウェーブレット分解した時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓのそれぞれの中央値ｎＮ（Ｈ１ＴＬＨ１Ｓ），ｎＮ（Ｈ１ＴＨＬ１Ｓ），ｎＮ（Ｈ１ＴＨＨ１Ｓ）を用いることとする。
【０１００】
また、動画像雑音除去装置１は、縮退手段３２の時間低周波縮退手段３２ａによって、ステップＳ３で分解されたウェーブレット展開係数（時間低周波空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）について、閾値関数（前記（２）式参照）を設定し、その閾値関数で演算した閾値以下の周波数成分を“０”に減衰させるウェーブレット縮退を行う（ステップＳ７）。なお、このステップＳ７で行うウェーブレット縮退において、前記（２）式の閾値Ｔｈ（ｉ，ｎＮ（＊））におけるｎＮ（＊）には、動画像を撮影したカメラで暗部撮影した動画像信号をウェーブレット分解した時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓのそれぞれの最大値ｎＮ（Ｌ１ＴＬＬ１Ｓ），ｎＮ（Ｌ１ＴＬＨ１Ｓ），ｎＮ（Ｌ１ＴＨＬ１Ｓ），ｎＮ（Ｌ１ＴＨＨ１Ｓ）を用いることとする。
なお、このステップＳ６およびステップＳ７の順番を逆にして動作させてもよいし、並行して動作させることとしてもよい。
【０１０１】
〔空間方向再構成ステップ〕
そして、動画像雑音除去装置１は、時間・空間ウェーブレット再構成手段４０の空間方向再構成手段４１によって、ステップＳ５で孤立点が除去された時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓと、ステップＳ６でウェーブレット縮退された時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓと、ステップＳ７でウェーブレット縮退された時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓとに対して、２次元１階離散ウェーブレット逆変換（ＩＤＷＴ）を行う（ステップＳ８）。これによって、各ウェーブレット展開係数が、時間高周波展開係数Ｈ１Ｔと、時間低周波展開係数Ｌ１Ｔとに再構成される。
【０１０２】
〔時間方向再構成ステップ〕
そして、動画像雑音除去装置１は、時間・空間ウェーブレット再構成手段４０の時間方向再構成手段４２によって、ステップＳ８で再構成された時間高周波展開係数Ｈ１Ｔと、時間低周波展開係数Ｌ１Ｔとに対して、１次元１階離散ウェーブレット逆変換（ＩＤＷＴ）を行う（ステップＳ９）。これによって、雑音が除去された雑音除去画像が生成されることになる。
【０１０３】
そして、動画像雑音除去装置１は、動画像信号のフレームを入力するごとに、ステップＳ１〜Ｓ９の動作を順次行うことで、時系列に雑音除去画像が生成され、雑音が除去された動画像信号が生成されることになる。
【０１０４】
以上説明したように、動画像雑音除去装置１は、動画像信号に対して時間方向および空間方向にウェーブレット分解した後に、各ウェーブレット展開係数の特性に応じて雑音を除去するため、動画像信号から精度よく雑音を除去することができる。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施形態に係る動画像雑音除去装置の構成を示すブロック構成図である。
【図２】時間方向の離散ウェーブレット変換（ＤＷＴ）を説明するための説明図である。
【図３】空間方向の離散ウェーブレット変換（ＤＷＴ）を説明するための説明図である。
【図４】動画像信号の時間−空間１階離散ウェーブレット変換（ＤＷＴ）領域図である。
【図５】時間−空間１階ＤＷＴ領域図に動画像信号内における動物体の移動速度のスペクトル平面を対応付けた図である。
【図６】カメラの熱雑音特性を測定する手法を説明するための説明図である。
【図７】孤立点雑音を除去する手法を説明するための説明図である。
【図８】時間低周波成分のウェーブレット縮退と熱雑音特性との関係を説明するための説明図である。
【図９】時間高周波・空間高周波成分のウェーブレット縮退と熱雑音特性との関係を説明するための説明図である。
【図１０】本発明の実施形態に係る動画像雑音除去装置の動作を示す流れ図である。
【符号の説明】
【０１０６】
１ 動画像雑音除去装置
１０ 時間・空間ウェーブレット分解手段
１１ 時間方向分解手段
１２ 空間方向分解手段
１２ａ 時間低周波分解手段
１２ｂ 時間高周波分解手段
２０ 雑音特性記憶手段（最大雑音特性記憶手段、中央雑音特性記憶手段）
３０ 時間・空間ウェーブレット縮退手段
３１ 時間高周波孤立点除去手段
３１ａ 空間高周波孤立点除去手段（時間高周波・空間高周波孤立点除去手段）
３１ｂ 空間低周波孤立点除去手段（時間高周波・空間低周波孤立点除去手段）
３２ 縮退手段
３２ａ 時間低周波縮退手段
３２ｂ 時間高周波縮退手段
４０ 時間・空間ウェーブレット再構成手段
４１ 空間方向再構成手段
４２ 時間方向再構成手段
【技術分野】
【０００１】
本発明は、動画像信号から雑音を除去する動画像雑音除去装置、その方法およびそのプログラムに関する。
【背景技術】
【０００２】
一般に、静止画像から雑音（ノイズ）を除去する雑音除去法として、メディアンフィルタ（Median Filter）、ＴＶ（Total Variation）法、ウェーブレット縮退（Wavelet Shrinkage）法等の非線形処理を利用する手法が知られている。
例えば、ウェーブレット縮退法は、画像信号を離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）により分解（ウェーブレット分解）して求めたＤＷＴ展開係数について、閾値関数（Threshold Function）により雑音の信号レベルを“０”に向けて減衰させてから、ウェーブレット逆変換（ＩＤＷＴ：Inverse Discrete Wavelet Transform）を行う非線形な手法である（非特許文献１参照）。この手法を用いると、画像信号が特定のＤＷＴ展開係数に集中し、画像信号の展開係数の絶対値が雑音の展開係数の絶対値よりも大きい場合、ほぼ原画像信号の特徴を損なわずに雑音除去を行うことができる。
【０００３】
一方、動画像における雑音除去法としては、動き補償とフィルタ処理とにより雑音を除去する手法が一般的である（特許文献１，２参照）。
例えば、特許文献１には、動画像において、現画像と１フレーム前の画像との差分により、現画像からノイズを減算する値を求め、ノイズを除去する技術が開示されている。また、特許文献１には、ノイズを減算する値を求める際に、現画像と１フレーム前の画像との前後画素から画像の形状判定を行い、フレーム間で形状について相関がある場合には、現画像に対するノイズ除去の割合を小さくするように制御する技術が開示されている。
【０００４】
また、例えば、特許文献２には、動画像において、フレーム間の局所的な動きベクトルにより、前に入力されたフレームに対して動き補正を行う際に、フレーム間の低域通過フィルタの係数を制御し、動画像におけるボケを最小限に抑えて雑音を低減させる技術が開示されている。
【特許文献１】特開２００８−１１３３５２号公報
【特許文献２】特開平７−２８８７１９号公報
【非特許文献１】D. L. Donoho, “De-noising by soft-thresholding,” IEEE Trans. Inform.Theory, vol.41, pp.613-627, May 1995.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、従来の動画像における雑音除去法は、信号対雑音比が低い場合、動き検出精度が低下するため、自ずと雑音除去性能も低下してしまうという問題がある。
また、近年の動画像はスーパーハイビジョン（ＳＨＶ）のように高精細化しており、このような高精細動画像は、撮像素子１画素あたりの受光面積が小さいため、撮影条件によって信号対雑音比が低下してしまう。よって、従来の雑音除去法では、動画像から精度よく雑音を除去することができないという問題がある。さらに、このような不要な雑音成分は、動画像の主観画質の劣化のみならず、符号化効率の低下をも招くことになる。
【０００６】
本発明は、以上のような課題を解決するためになされたものであり、信号対雑音比が低い動画像信号であっても、精度よく雑音を除去することが可能な動画像雑音除去装置、その方法およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の動画像雑音除去装置は、動画像信号に含まれる雑音を除去する動画像雑音除去装置であって、時間方向分解手段と、空間方向分解手段と、縮退手段と、空間方向再構成手段と、時間方向再構成手段と、を備える構成とした。
【０００８】
かかる構成において、動画像雑音除去装置は、時間方向分解手段によって、動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する。この各展開係数は、動画像信号の複数のフレームごとに、１次元１階離散ウェーブレット変換を行うことで生成することができる。
【０００９】
また、動画像雑音除去装置は、空間方向分解手段によって、時間高周波展開係数と時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する。この各展開係数は、時間高周波展開係数と時間低周波展開係数とに対して２次元１階離散ウェーブレット変換を行うことで生成することができる。
【００１０】
これによって、動画像信号は、時間方向および空間方向の各周波数成分に分解されることになる。そして、動画像雑音除去装置は、周波数成分ごとの雑音特性に応じて個別に雑音を除去することが可能になる。
【００１１】
すなわち、動画像雑音除去装置は、縮退手段によって、時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、時間高周波・空間高周波展開係数よりも時間低周波・空間展開係数の方に大きい閾値を設定して、ウェーブレット縮退法により、当該閾値以下の周波数成分の信号レベルを減衰させる。これによって、動画像雑音除去装置は、信号対雑音比が大きい時間低周波成分の閾値を大きくして雑音を除去することができる。
【００１２】
そして、動画像雑音除去装置は、空間方向再構成手段によって、縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、空間方向分解手段で時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する。この空間方向のウェーブレット再構成は、各展開係数に対して２次元１階離散ウェーブレット逆変換を行うことで、時間高周波展開係数および時間低周波展開係数の周波数成分に再構成することができる。
【００１３】
そして、動画像雑音除去装置は、時間方向再構成手段によって、空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する。この時間方向のウェーブレット再構成は、各展開係数に対して１次元１階離散ウェーブレット逆変換を行うことで、周波数成分を動画像信号に再構成することができる。
【００１４】
また、請求項２に記載の動画像雑音除去装置は、請求項１に記載の動画像雑音除去装置において、時間高周波・空間高周波孤立点除去手段を備える構成とした。
【００１５】
かかる構成において、動画像雑音除去装置は、時間高周波・空間高周波孤立点除去手段によって、時間高周波・空間高周波展開係数を２値化処理する。このように、時間高周波・空間高周波展開係数を２値化処理することで、当該係数を２値化画像として扱うことができる。そして、動画像雑音除去装置は、時間高周波・空間高周波孤立点除去手段によって、２値化画像内で周辺画素の値と異なる独立した画素の値を周辺画素の値に置き換える等の処理を行うことで、孤立点を除去する。これによって、動画像雑音除去装置は、縮退手段がウェーブレット縮退を行う前に、時間高周波・空間高周波展開係数における雑音を除去する。
【００１６】
さらに、請求項３に記載の動画像雑音除去装置は、請求項１または請求項２に記載の動画像雑音除去装置において、時間高周波・空間低周波孤立点除去手段を備える構成とした。
【００１７】
かかる構成において、動画像雑音除去装置は、時間高周波・空間低周波孤立点除去手段によって、時間高周波・空間低周波展開係数を２値化処理する。このように、時間高周波・空間低周波展開係数を２値化処理することで、当該係数を２値化画像として扱うことができる。そして、動画像雑音除去装置は、時間高周波・空間低周波孤立点除去手段によって、２値化画像内で周辺画素の値と異なる独立した画素の値を周辺画素の値に置き換える等の処理を行うことで、孤立点を除去する。これによって、動画像雑音除去装置は、空間方向再構成手段がウェーブレット再構成を行う前に、時間高周波・空間低周波展開係数における雑音を除去する。
【００１８】
また、請求項４に記載の動画像雑音除去装置は、請求項１から請求項３のいずれか一項に記載の動画像雑音除去装置において、最大雑音特性記憶手段を備える構成とした。
【００１９】
かかる構成において、動画像雑音除去装置は、最大雑音特性記憶手段に、動画像信号の元の動画像を撮影したカメラにより暗部撮影した暗部動画像信号を時間方向および空間方向にウェーブレット分解した各展開係数の最大値をカメラの雑音特性として予め記憶しておく。そして、動画像雑音除去装置は、縮退手段によって、最大雑音特性記憶手段に記憶されている各展開係数の最大値と、時間低周波・空間展開係数の絶対値との差分により算出した閾値を基準として、時間低周波・空間展開係数の信号レベルを減衰させる。これによって、動画像雑音除去装置は、時間低周波・空間展開係数における雑音を除去する。
【００２０】
さらに、請求項５に記載の動画像雑音除去装置は、請求項１から請求項４のいずれか一項に記載の動画像雑音除去装置において、中央雑音特性記憶手段を備える構成とした。
【００２１】
かかる構成において、動画像雑音除去装置は、中央雑音特性記憶手段に、動画像信号の元の動画像を撮影したカメラにより暗部撮影した暗部動画像信号を時間方向および空間方向にウェーブレット分解した各展開係数の中央値をカメラの雑音特性として予め記憶しておく。そして、動画像雑音除去装置は、縮退手段によって、中央雑音特性記憶手段に記憶されている各展開係数の中央値と、時間高周波・空間高周波展開係数の絶対値との差分により算出した閾値を基準として、時間高周波・空間高周波展開係数の信号レベルを減衰させる。これによって、動画像雑音除去装置は、時間高周波・空間高周波展開係数における雑音を除去する。
【００２２】
また、請求項６に記載の動画像雑音除去方法は、動画像信号に含まれる雑音を除去する動画像雑音除去方法であって、時間方向分解ステップと、空間方向分解ステップと、縮退ステップと、空間方向再構成ステップと、時間方向再構成ステップと、を含む手順とした。
【００２３】
かかる手順において、動画像雑音除去方法は、時間方向分解ステップで、時間方向分解手段により、動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する。続けて、動画像雑音除去方法は、空間方向分解ステップで、空間方向分解手段により、時間高周波展開係数と時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する。
【００２４】
そして、動画像雑音除去方法は、縮退ステップで、縮退手段により、時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、時間高周波・空間高周波展開係数よりも時間低周波・空間展開係数の方に大きい閾値を設定して、ウェーブレット縮退法により、当該閾値以下の周波数成分の信号レベルを減衰させる。
【００２５】
その後、動画像雑音除去方法は、空間方向再構成ステップで、空間方向再構成手段により、縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、空間方向分解手段で前記時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する。続けて、動画像雑音除去方法は、時間方向再構成ステップで、時間方向再構成手段により、空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する。
【００２６】
さらに、請求項７に記載の動画像雑音除去プログラムは、動画像信号に含まれる雑音を除去するために、コンピュータを、時間方向分解手段、空間方向分解手段、縮退手段、空間方向再構成手段、時間方向再構成手段、として機能させる構成とした。
【００２７】
かかる構成において、動画像雑音除去プログラムは、時間方向分解手段によって、動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する。また、動画像雑音除去プログラムは、空間方向分解手段によって、時間高周波展開係数と時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する。
【００２８】
そして、動画像雑音除去プログラムは、縮退手段によって、時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、時間高周波・空間高周波展開係数よりも時間低周波・空間展開係数の方に大きい閾値を設定して、ウェーブレット縮退法により、当該閾値以下の周波数成分の信号レベルを減衰させる。
【００２９】
そして、動画像雑音除去プログラムは、空間方向再構成手段によって、縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、空間方向分解手段で時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する。また、動画像雑音除去プログラムは、時間方向再構成手段によって、空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する。
【発明の効果】
【００３０】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，６，７に記載の発明によれば、動画像信号を時間方向および空間方向にウェーブレット分解した周波数成分ごとに、その特性に応じて雑音を除去することができるため、信号対雑音比が低い動画像であっても、精度よく雑音を除去することができる。また、請求項１，６，７に記載の発明によれば、動画像信号の時間高周波・空間高周波の周波数成分における雑音成分をより大きく除去するため、原信号を劣化させることなく、当該周波数成分の特性であるカメラの熱雑音や撮影時の微小なカメラブレ等を除去することができる。
【００３１】
請求項２，３に記載の発明によれば、動画像信号の時間高周波・空間高周波の周波数成分や時間高周波・空間低周波の周波数成分から雑音成分を除去することができる。さらに、請求項２に記載の発明によれば、縮退手段におけるウェーブレット縮退を行う前に孤立点の雑音成分を除去するため、縮退手段において、効率的に雑音除去を行うことができる。
【００３２】
請求項４，５に記載の発明によれば、時間低周波成分の信号対雑音比が、元の動画像信号の信号対雑音比よりも大きい方向に偏るという特性に応じて、時間高周波成分よりも時間低周波成分の方により大きい閾値を設定して、ウェーブレット縮退を行うため、精度よく雑音を除去することができる。
【発明を実施するための最良の形態】
【００３３】
［動画像雑音除去方法の概要］
まず、本発明における動画像雑音除去方法（以下、本手法）の概要について説明する。本手法は、ウェーブレット縮退法を時間方向に拡張するものである。
【００３４】
動画像信号を時間方向および空間方向に離散ウェーブレット分解した場合、時間低周波成分は、時間方向の信号相関が高いため、信号対雑音比が元の動画像信号よりも大きい方向に偏る。
【００３５】
一方、時間高周波・空間高周波成分は、３次元スペクトルからほぼ雑音成分と考えられる。ここで、動画像信号を構成するフレームにおいて、ｘｙ座標系の時刻ｔにおける原画像をｓ（ｘ，ｙ，ｔ）、雑音成分をｎ（ｘ，ｙ，ｔ）としたとき、雑音を含んだ動画像信号Ｆ（ｘ，ｙ，ｔ）は、以下の（１）式で表すことができる。
【００３６】
【数１】
【００３７】
この雑音成分ｎ（ｘ，ｙ，ｔ）は、動画像を撮影したカメラの熱雑音成分であるため、白色性およびガウス性を持つ。すなわち、雑音成分ｎ（ｘ，ｙ，ｔ）は、生起確率が正規分布に従い、かつ、全周波数帯でほぼ等しいエネルギー分布を持ち、時間方向および空間方向の相関が低いという特徴を有している。
【００３８】
そこで、本手法は、動画像信号を時間方向および空間方向に離散ウェーブレット分解した時間低周波成分においては、ウェーブレット縮退法における閾値を大きくし、時間高周波・空間高周波成分においては、ウェーブレット縮退法における閾値を小さくすることで動画像信号の雑音を除去する。
以下、本手法を実現するための最良の実施形態について図面を参照して説明する。
【００３９】
［動画像雑音除去装置の構成］
まず、図１を参照して、本発明の実施形態に係る動画像雑音除去装置の構成について説明する。図１は、本発明の実施形態に係る動画像雑音除去装置の構成を示すブロック構成図である。
【００４０】
この動画像雑音除去装置１は、動画像信号を時間方向および空間方向に離散ウェーブレット分解を適用し、時間方向および空間方向においてウェーブレット縮退を行うことで、動画像信号に含まれる雑音を除去するものである。ここでは、動画像雑音除去装置１は、時間・空間ウェーブレット分解手段１０と、雑音特性記憶手段２０と、時間・空間ウェーブレット縮退手段３０と、時間・空間ウェーブレット再構成手段４０と、を備えている。
【００４１】
時間・空間ウェーブレット分解手段１０は、外部から動画像信号を入力し、時間方向ならびに空間方向にウェーブレット分解するものである。この動画像信号は、例えば、スーパーハイビジョン（ＳＨＶ）のような高精細動画像信号とすることができる。ここでは、時間・空間ウェーブレット分解手段１０は、時間方向分解手段１１と、空間方向分解手段１２と、を備えている。
【００４２】
時間方向分解手段１１は、動画像信号を、時間方向にウェーブレット分解するものである。この時間方向分解手段１１は、図示を省略したクロック回路から出力されるクロックに同期して、ウェーブレット係数長分のフレーム単位で動画像信号を入力し、フレームのすべての水平、垂直座標において、１次元１階離散ウェーブレット変換（ＤＷＴ）を行うことで、時間方向の低周波成分である時間低周波展開係数（時間低周波成分）Ｌ１Ｔと、時間方向の高周波成分である時間高周波展開係数（時間高周波成分）Ｈ１Ｔと、にウェーブレット分解する。
【００４３】
すなわち、時間方向分解手段１１は、図２に示すように、時間方向のウェーブレット係数長分のフレーム画像Ｆ（ｔ）、Ｆ（ｔ＋１）、Ｆ（ｔ＋２）、Ｆ（ｔ＋３）、…を、すべての（ｘ，ｙ）の画素値についてウェーブレット変換することで、時間低周波展開係数Ｌ１Ｔおよび時間高周波展開係数Ｈ１Ｔの各ウェーブレット展開係数に分解（ウェーブレット分解）する。
【００４４】
なお、ウェーブレット係数およびその長さは、使用するウェーブレットによって異なる。例えば、Ｄａｕｂｅｃｈｉｅｓの２次のウェーブレットを用いた場合、ウェーブレット係数として［−０．１２９４ ０．２２４１ ０．８３６５ ０．４８３０］の４つの係数（ウェーブレット係数長＝“４”）を用いることができる。このウェーブレット係数長が、時間方向のフレーム数となる。
この時間方向分解手段１１は、ウェーブレット分解した時間低周波展開係数Ｌ１Ｔおよび時間高周波展開係数Ｈ１Ｔを空間方向分解手段１２に出力する。
【００４５】
空間方向分解手段１２は、時間方向分解手段１１で分解された時間低周波展開係数Ｌ１Ｔと時間高周波展開係数Ｈ１Ｔとをそれぞれ空間方向の周波数成分にウェーブレット分解するものである。ここでは、空間方向分解手段１２は、時間低周波分解手段１２ａと、時間高周波分解手段１２ｂと、を備えている。
【００４６】
時間低周波分解手段１２ａは、時間方向分解手段１１で分解された時間低周波展開係数Ｌ１Ｔを、空間方向にウェーブレット分解するものである。この時間低周波分解手段１２ａは、時間低周波展開係数Ｌ１Ｔに対して、２次元１階ＤＷＴを行うことで、時間低周波成分をさらに空間方向にウェーブレット分解したウェーブレット展開係数（Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）を生成する。この生成されたウェーブレット展開係数（Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）は、時間・空間ウェーブレット縮退手段３０に出力される。
【００４７】
時間高周波分解手段１２ｂは、時間方向分解手段１１で分解された時間高周波展開係数Ｈ１Ｔを、空間方向にウェーブレット分解するものである。この時間高周波分解手段１２ｂは、時間高周波展開係数Ｈ１Ｔに対して、２次元１階ＤＷＴを行うことで、時間高周波成分をさらに空間方向にウェーブレット分解したウェーブレット展開係数（Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）を生成する。この生成されたウェーブレット展開係数（Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）は、時間・空間ウェーブレット縮退手段３０に出力される。
【００４８】
すなわち、空間方向分解手段１２は、図３（ａ）に示すように、動画像信号を時間方向にウェーブレット分解した時間低周波展開係数Ｌ１Ｔを２次元画像としたとき、当該画像を水平および垂直方向の周波数成分に４分割したウェーブレット展開係数（Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）を生成する。また、空間方向分解手段１２は、図３（ｂ）に示すように、動画像信号を時間方向にウェーブレット分解した時間高周波展開係数Ｈ１Ｔを２次元画像としたとき、当該画像を水平および垂直方向の周波数成分に４分割したウェーブレット展開係数（Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）を生成する。
【００４９】
なお、時間・空間ウェーブレット分解手段１０が生成するウェーブレット展開係数は、図４に示すように、３次元スペクトルの領域図として表すことができる。図４は、動画像信号の時間−空間１階ＤＷＴ領域図であって、空間方向における水平周波数μ（水平最高周波数μｍａｘ）、垂直周波数ν（垂直最高周波数νｍａｘ）、時間方向の時間周波数ｆ（時間最高周波数ｆｍａｘ）を３軸としている。
【００５０】
ここで、図５を参照して、時間方向および空間方向にウェーブレット分解されたウェーブレット展開係数の特性について説明する。図５は、図４の時間−空間１階ＤＷＴ領域図に動画像信号内における動物体の移動速度のスペクトル平面を対応付けた図である。なお、図５（ａ）は、フレーム内の画素Ｆ（ｘ，ｙ）の動物体のフレーム間水平・垂直移動速度（ｘｖ，ｙｖ）∈ｍｖにおいて、ｘｖ＝１、ｙｖ＝１におけるスペクトル平面、図５（ｂ）は、ｘｖ＝２、ｙｖ＝２におけるスペクトル平面を、それぞれ時間−空間１階ＤＷＴ領域図に対応付けている。
【００５１】
〔時間低周波成分（時間低周波展開係数Ｌ１Ｔ）の特性〕
まず、動画像信号の時間低周波成分である時間低周波展開係数Ｌ１Ｔの特性について説明する。
【００５２】
時間低周波展開係数Ｌ１Ｔを空間方向にウェーブレット分解したウェーブレット展開係数Ｌ１ＴＨＨ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓは、ｘｖ≦１，ｙｖ≦１の原画像ｓ成分（前記（１）式参照）のうち、水平および垂直最高周波数μｍａｘ，νｍａｘに対し、μｍａｘ／２，νｍａｘ／２以上の時間低周波・空間高周波成分である。また、ウェーブレット展開係数Ｌ１ＴＬＬ１Ｓは、ｘｖ＞１，ｙｖ＞１の原画像ｓ成分（前記（１）式参照）のうち、水平および垂直最高周波数μｍａｘ，νｍａｘに対し、μｍａｘ／２，νｍａｘ／２未満の時間低周波・空間低周波成分である。
【００５３】
この時間低周波・空間高周波成分（Ｌ１ＴＨＨ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ）、および、時間低周波・空間低周波成分（Ｌ１ＴＬＬ１Ｓ）は、原画像ｓ成分の時間方向に対する相関が、雑音成分ｎ（前記（１）式参照）に比べて非常に高い特性を有している。
【００５４】
つまり、動画像信号Ｆにおいて、時間低周波・空間高周波成分および時間低周波・空間低周波成分のウェーブレット展開係数の原画像ｓ成分と雑音成分ｎとの絶対値差は、原画像ｓ成分と雑音成分ｎとの絶対値差よりも大きい。すなわち、時間低周波成分の信号対雑音比は、元の動画像信号の信号対雑音比よりも大きい方向に偏るという特性を有している。
【００５５】
これは、動画像信号から雑音を除去するには、時間高周波成分よりも時間低周波成分の方により大きい閾値を設定して、ウェーブレット縮退法を適用した方が、精度よく雑音を除去することができることを意味している。
【００５６】
〔時間高周波成分（時間高周波展開係数Ｈ１Ｔ）の特性〕
次に、動画像信号の時間高周波成分である時間高周波展開係数Ｈ１Ｔの特性について説明する。
【００５７】
時間高周波展開係数Ｈ１Ｔを空間方向にウェーブレット分解したウェーブレット展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓは、ｘｖ≦２，ｙｖ≦２の原画像ｓ成分（前記（１）式参照）のうち、水平および垂直最高周波数μｍａｘ，νｍａｘに対し、μｍａｘ／２，νｍａｘ／２以上の時間高周波・空間高周波成分である。
この時間高周波・空間高周波成分（Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ）は、各方向エッジ成分の微小移動成分以外は、熱雑音や撮影時の微小なカメラぶれ等と考えられる。
【００５８】
また、ウェーブレット展開係数Ｈ１ＴＬＬ１Ｓは、ｘｖ＞２，ｙｖ＞２の原画像ｓ成分（前記（１）式参照）のうち、水平および垂直最高周波数μｍａｘ，νｍａｘに対し、μｍａｘ／２，νｍａｘ／２未満の時間高周波・空間低周波成分である。
【００５９】
この時間高周波・空間低周波成分（Ｈ１ＴＬＬ１Ｓ）は、前景と背景のテクスチャが大きく異なる移動領域と考えられ、原画像ｓ成分の時間方向に対する相関が低い特性を有している。特に、原画像ｓ成分の動領域の輝度が低く、動領域と背景の輝度差が大きい場合、動画像信号Ｆにおいて、時間高周波・空間低周波成分のウェーブレット展開係数の原画像ｓ成分と雑音成分ｎとの絶対値差は小さい。つまり、時間高周波成分は、微小動き成分以外は、ほぼ雑音成分であることから、孤立点雑音除去法により、精度よく雑音を除去することができることを意味している。
【００６０】
以上説明したような時間低周波成分と時間高周波成分の特性に基づいて、動画像雑音除去装置１は、動画像信号から雑音を除去する。図１に戻って、動画像雑音除去装置１が雑音を除去する構成について説明する。
【００６１】
雑音特性記憶手段（最大雑音特性記憶手段、中央雑音特性記憶手段）２０は、動画像信号の元の動画像を撮影したカメラにより暗部撮影した暗部動画像信号を時間方向および空間方向にウェーブレット分解した各展開係数の最大値および中央値をカメラの雑音特性として予め記憶するものであって、ハードディスク等の一般的な記憶装置である。
【００６２】
この雑音特性記憶手段２０には、図６に示すように、カメラＣで撮影した動画像信号Ｎ（ｘ，ｙ，ｔ）を時間方向および空間方向にウェーブレット分解（時間−空間ＤＷＴ）したウェーブレット展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ，Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓのそれぞれについての最大値および中央値を記憶しておく。
【００６３】
なお、この雑音特性記憶手段２０に記憶するカメラの雑音特性を求める際に行う時間−空間ＤＷＴは、時間・空間ウェーブレット分解手段１０で行ってもよく、この時間・空間ウェーブレット分解手段１０で分解されたそれぞれのウェーブレット展開係数から、最大値および中央値を求める雑音特性生成手段（図示せず）を介して、雑音特性記憶手段２０に最大値および中央値の書き込みを行ってもよい。
この雑音特性記憶手段２０に記憶された雑音特性（最大値、中央値）は、時間・空間ウェーブレット縮退手段３０によって参照される。
【００６４】
時間・空間ウェーブレット縮退手段３０は、時間・空間ウェーブレット分解手段１０で分解された各ウェーブレット展開係数を、ウェーブレット縮退法により、雑音の信号レベルを“０”に向けて減衰させるものである。ここでは、時間・空間ウェーブレット縮退手段３０は、時間高周波孤立点除去手段３１と、縮退手段３２と、を備えている。
【００６５】
時間高周波孤立点除去手段３１は、時間・空間ウェーブレット分解手段１０の時間高周波分解手段１２ｂで分解された時間方向の高周波成分であるウェーブレット展開係数（Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）について、孤立点を除去するものである。ここでは、時間高周波孤立点除去手段３１は、空間高周波孤立点除去手段３１ａと、空間低周波孤立点除去手段３１ｂと、を備えている。
【００６６】
空間高周波孤立点除去手段（時間高周波・空間高周波孤立点除去手段）３１ａは、空間方向分解手段１２の時間高周波分解手段１２ｂで分解されたウェーブレット展開係数のうちで、水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓから孤立点を除去するものである。
【００６７】
ここでは、空間高周波孤立点除去手段３１ａは、時間高周波・空間高周波展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓを２次元の画像（例えば、｜Ｈ１ＴＨＨ１Ｓ（ｘ，ｙ）｜）とみなし、予め定めた閾値により２値化処理し、２値化画像Ｂ（ｘ，ｙ）上で孤立する点を除去することとする。
【００６８】
例えば、空間高周波孤立点除去手段３１ａは、図７に示すように、時間高周波・空間高周波展開係数のうちのＨ１ＴＨＨ１Ｓから２値化画像Ｂ（ｘ，ｙ）を生成する。そして、空間高周波孤立点除去手段３１ａは、対象画素（ｘ，ｙ）の周辺画素を含む所定領域（例えば、３×３画素領域）の画素値合計Ｂ３×３（ｘ，ｙ）が、予め定めた閾値θＨ＊＊以下であれば、当該対象画素を孤立点雑音とみなし、｜Ｈ１ＴＨＨ１Ｓ（ｘ，ｙ）｜＝０とする。この閾値θＨ＊＊は、エッジ成分の消失を防止するため、例えば、θＨ＊＊＝３とする。
【００６９】
なお、空間高周波孤立点除去手段３１ａは、他の時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓについても、Ｈ１ＴＨＨ１Ｓと同様の処理により孤立点を除去する。
この孤立点が除去された時間高周波・空間高周波展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓは、縮退手段３２に出力される。
【００７０】
空間低周波孤立点除去手段（時間高周波・空間低周波孤立点除去手段）３１ｂは、空間方向分解手段１２の時間高周波分解手段１２ｂで分解されたウェーブレット展開係数のうちで、時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓから孤立点を除去するものである。
【００７１】
この空間低周波孤立点除去手段３１ｂは、空間高周波孤立点除去手段３１ａの手法と同様、図７で説明したように、時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓを２値化処理し、２値化画像Ｂ（ｘ，ｙ）上で孤立する点を除去する。
【００７２】
すなわち、空間低周波孤立点除去手段３１ｂは、時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓから２値化画像Ｂ（ｘ，ｙ）を生成する。そして、空間低周波孤立点除去手段３１ｂは、対象画素（ｘ，ｙ）の周辺画素を含む所定領域（例えば、３×３画素領域）の画素値合計Ｂ３×３（ｘ，ｙ）が、予め定めた閾値θＨＬＬ以下であれば、当該対象画素を孤立点雑音とみなし、｜Ｈ１ＴＬＬ１Ｓ（ｘ，ｙ）｜＝０とする。この閾値θＨＬＬは、Ｈ１ＴＬＬ１Ｓが空間低周波成分であることから、θＨ＊＊よりも大きな値、例えばθＨＬＬ＝４とする。
この孤立点が除去された時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓは、時間・空間ウェーブレット再構成手段４０に出力される。
【００７３】
縮退手段３２は、時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓと、時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓとにおいて、ウェーブレット縮退法により、時間高周波・空間高周波展開係数よりも時間低周波・空間展開係数の方に大きい閾値を設定して、当該閾値以下の周波数成分の信号レベルを減衰させるものである。ここでは、縮退手段３２は、時間低周波縮退手段３２ａと、時間高周波縮退手段３２ｂと、を備えている。
【００７４】
時間低周波縮退手段３２ａは、空間方向分解手段１２の時間低周波分解手段１２ａで分解されたウェーブレット展開係数（時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）について、閾値関数を設定し、その閾値関数で演算した閾値以下の周波数成分を“０”に減衰させるものである。
【００７５】
この時間低周波縮退手段３２ａは、雑音特性記憶手段２０に記憶されている雑音特性のうち、対応する周波数成分のウェーブレット展開係数の最大値を用いて、ウェーブレット縮退を行う。すなわち、時間低周波縮退手段３２ａは、図８に示すように、暗部撮影した動画像信号をウェーブレット分解した時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓのそれぞれの最大値ｎＮ（Ｌ１ＴＬＬ１Ｓ），ｎＮ（Ｌ１ＴＬＨ１Ｓ），ｎＮ（Ｌ１ＴＨＬ１Ｓ），ｎＮ（Ｌ１ＴＨＨ１Ｓ）を用いて、ウェーブレット縮退を行う。
【００７６】
具体的には、時間低周波縮退手段３２ａは、雑音特性記憶手段２０に記憶されているウェーブレット展開係数の最大値をｎＮ（＊）、離散ウェーブレット分解を行った際のウェーブレット係数長をｗｌとしたとき、以下の（２）式に示す閾値関数を設定し、当該関数により算出される閾値Ｔｈ（ｉ，ｎＮ（＊））によるソフト閾値（Soft-Threshold）処理よって、周波数成分を“０”に減衰させるウェーブレット縮退を実行する。
【００７７】
【数２】
【００７８】
ただし、ｓｇｎ（ｉ）は、ｉの符号を返す関数とする。
【００７９】
このように、時間低周波縮退手段３２ａは、前記した時間低周波成分の特性、すなわち、動画像信号Ｆにおいて、時間低周波・空間高周波成分および時間低周波・空間低周波成分のウェーブレット展開係数の原画像ｓ成分と雑音成分ｎとの絶対値差は、原画像ｓ成分と雑音成分ｎとの絶対値差よりも大きいという特性から、雑音成分の最大値を閾値とすることで、雑音成分を精度よく除去することができる。
【００８０】
時間高周波縮退手段３２ｂは、空間方向分解手段１２でウェーブレット分解され、さらに、時間高周波孤立点除去手段３１で孤立点が除去された水平または垂直方向の少なくとも一方に高周波成分を含むウェーブレット展開係数（時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）について、閾値関数を設定し、その閾値関数で演算した閾値以下の周波数成分を“０”に減衰させるものである。
【００８１】
この時間高周波縮退手段３２ｂは、時間低周波縮退手段３２ａと同様、前記（２）式に示す閾値関数を設定し、閾値Ｔｈ（ｉ，ｎＮ（＊））によって、周波数成分を“０”に減衰させるウェーブレット縮退を行う。ただし、時間高周波縮退手段３２ｂは、ｎＮ（＊）として、カメラで暗部撮影した動画像Ｎ（ｘ，ｙ，ｔ）を時間方向および空間方向に離散ウェーブレット変換したウェーブレット展開係数の最大値を用いるのではなく、雑音特性記憶手段２０に記憶されているウェーブレット展開係数の中央値を用いることとする。すなわち、時間高周波縮退手段３２ｂは、図９に示すように、暗部撮影した動画像信号をウェーブレット分解した時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓのそれぞれの中央値ｎＮ（Ｈ１ＴＬＨ１Ｓ），ｎＮ（Ｈ１ＴＨＬ１Ｓ），ｎＮ（Ｈ１ＴＨＨ１Ｓ）を用いて、ウェーブレット縮退を行う。
【００８２】
このように、時間高周波縮退手段３２ｂは、前記した時間高周波成分の特性、すなわち、動画像信号Ｆにおいて、時間高周波・空間低周波成分のウェーブレット展開係数の原画像ｓ成分と雑音成分ｎとの絶対値差は小さいという特性から、時間低周波成分に対して設定した閾値（最大値）よりも小さい閾値（中央値）を設定して雑音を除去するため、元信号成分の劣化を抑えつつ雑音を除去することができる。
【００８３】
なお、この縮退手段３２において、時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓについては、ウェーブレット縮退を行っていない。これは、時間高周波・空間低周波成分に縮退処理を行うと、動領域と背景との境界近傍に画像の乱れ（アーティファクト）が発生しやすくなるからである。
【００８４】
この縮退手段３２でウェーブレット縮退されたウェーブレット展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓは、時間・空間ウェーブレット再構成手段４０に出力される。
【００８５】
時間・空間ウェーブレット再構成手段４０は、時間・空間ウェーブレット縮退手段３０で雑音の信号レベルを減衰させたウェーブレット展開係数を、空間方向および時間方向にそれぞれウェーブレット再構成することで動画像信号を生成するものである。ここでは、時間・空間ウェーブレット再構成手段４０は、空間方向再構成手段４１と、時間方向再構成手段４２と、を備えている。
【００８６】
空間方向再構成手段４１は、ウェーブレット展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ，Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓを、空間方向にウェーブレット再構成するものである。
【００８７】
ここでは、空間方向再構成手段４１は、時間高周波孤立点除去手段３１で孤立点が除去された時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓと、縮退手段３２でウェーブレット縮退された時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ、および、時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓとに対して、２次元１階離散ウェーブレット逆変換（ＩＤＷＴ）を行う。これによって、ウェーブレット展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ，Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓは、時間高周波展開係数Ｈ１Ｔと、時間低周波展開係数Ｌ１Ｔとに再構成されることになる。
【００８８】
時間方向再構成手段４２は、空間方向再構成手段４１で再構成された周波数成分（ウェーブレット展開係数）を、時間方向にウェーブレット再構成するものである。ここでは、時間方向再構成手段４２は、空間方向再構成手段４１で再構成された時間高周波展開係数Ｈ１Ｔと、時間低周波展開係数Ｌ１Ｔとに対して、１次元１階ＩＤＷＴを行うことで、動画像信号を生成する。
【００８９】
以上説明したように動画像雑音除去装置１を構成することで、動画像雑音除去装置１は、動画像信号の時間低周波成分の信号対雑音比が、元の動画像信号の信号対雑音比よりも大きい方向に偏るという特性を利用してウェーブレット縮退により雑音を除去することができる。さらに、動画像雑音除去装置１は、動画像信号の時間高周波成分が、微小動き成分以外はほぼ雑音成分であるというと特性を利用して、孤立点雑音を適用することで、雑音を除去することができる。
【００９０】
以上、本発明の最良の実施形態について説明したが、動画像雑音除去装置１は、時間高周波孤立点除去手段３１を構成から省略した簡易な構成とすることも可能である。この場合、時間高周波分解手段１２ｂは、分解した時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓを、縮退手段３２の時間高周波縮退手段３２ｂに出力することとする。また、時間高周波分解手段１２ｂは、分解した時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓを、時間・空間ウェーブレット再構成手段４０の空間方向再構成手段４１に出力する。これによって、動画像雑音除去装置１は、ウェーブレット縮退を時間方向に適用して効果的に動画像信号の雑音を除去することができる。
【００９１】
なお、動画像雑音除去装置１は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、動画像雑音除去装置１は、コンピュータを、前記した各手段として機能させる動画像雑音除去プログラムにより動作させることができる。この動画像雑音除去プログラムは、ネットワークを介して配信することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００９２】
［動画像雑音除去装置の動作］
次に、図１０を参照（構成については適宜図１参照）して、本発明の実施形態に係る動画像雑音除去装置の動作（動画像雑音除去方法）について説明する。図１０は、本発明の実施形態に係る動画像雑音除去装置の動作を示す流れ図である。
【００９３】
〔時間方向分解ステップ〕
まず、動画像雑音除去装置１は、時間・空間ウェーブレット分解手段１０の時間方向分解手段１１によって、クロック（ＣＬＫ）に同期して動画像信号をフレーム単位で入力し、１次元１階離散ウェーブレット変換（ＤＷＴ）を行う（ステップＳ１）。これによって、動画像信号は、時間方向にウェーブレット分解され、時間高周波展開係数Ｈ１Ｔと時間低周波展開係数Ｌ１Ｔとに分解される。
【００９４】
〔空間方向分解ステップ〕
そして、動画像雑音除去装置１は、空間方向分解手段１２によって、ステップＳ１で分解された時間高周波展開係数Ｈ１Ｔおよび時間低周波展開係数Ｌ１Ｔに対して、２次元１階ウェーブレット変換を行う。
【００９５】
すなわち、動画像雑音除去装置１は、時間高周波分解手段１２ｂによって、ステップＳ１で分解された時間高周波展開係数Ｈ１Ｔに対して、２次元１階ＤＷＴを行うことで、時間高周波成分をさらに空間方向にウェーブレット分解したウェーブレット展開係数（Ｈ１ＴＬＬ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓ）を生成する（ステップＳ２）。
【００９６】
さらに、動画像雑音除去装置１は、時間低周波分解手段１２ａによって、ステップＳ１で分解された時間低周波展開係数Ｌ１Ｔに対して、２次元１階ＤＷＴを行うことで、時間低周波成分をさらに空間方向にウェーブレット分解したウェーブレット展開係数（Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）を生成する（ステップＳ３）。
なお、このステップＳ２およびステップＳ３は、順番を逆にして動作させてもよいし、並行して動作させることとしてもよい。
【００９７】
〔縮退ステップ〕
そして、動画像雑音除去装置１は、時間・空間ウェーブレット縮退手段３０によって、ステップＳ２およびステップＳ３でウェーブレット分解されたウェーブレット展開係数に対して、ウェーブレット縮退法による縮退処理を行う。
【００９８】
ここでは、まず、動画像雑音除去装置１は、時間高周波孤立点除去手段３１の空間高周波孤立点除去手段３１ａによって、ステップＳ２で分解されたウェーブレット展開係数のうちで、水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓから孤立点を除去する（ステップＳ４）。また、動画像雑音除去装置１は、時間高周波孤立点除去手段３１の空間低周波孤立点除去手段３１ｂによって、ステップＳ２で分解されたウェーブレット展開係数のうちで、時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓから孤立点を除去する（ステップＳ５）。なお、このステップＳ４およびステップＳ５は、順番を逆にして動作させてもよいし、並行して動作させることとしてもよい。
【００９９】
そして、動画像雑音除去装置１は、縮退手段３２の時間高周波縮退手段３２ｂによって、ステップＳ４で孤立点が除去された時間高周波・空間高周波展開係数Ｈ１ＴＨＨ１Ｓ，Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓについて、閾値関数（前記（２）式参照）を設定し、その閾値関数で演算した閾値以下の周波数成分を“０”に減衰させるウェーブレット縮退を行う（ステップＳ６）。なお、このステップＳ６で行うウェーブレット縮退において、前記（２）式の閾値Ｔｈ（ｉ，ｎＮ（＊））におけるｎＮ（＊）には、動画像を撮影したカメラで暗部撮影した動画像信号をウェーブレット分解した時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓのそれぞれの中央値ｎＮ（Ｈ１ＴＬＨ１Ｓ），ｎＮ（Ｈ１ＴＨＬ１Ｓ），ｎＮ（Ｈ１ＴＨＨ１Ｓ）を用いることとする。
【０１００】
また、動画像雑音除去装置１は、縮退手段３２の時間低周波縮退手段３２ａによって、ステップＳ３で分解されたウェーブレット展開係数（時間低周波空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓ）について、閾値関数（前記（２）式参照）を設定し、その閾値関数で演算した閾値以下の周波数成分を“０”に減衰させるウェーブレット縮退を行う（ステップＳ７）。なお、このステップＳ７で行うウェーブレット縮退において、前記（２）式の閾値Ｔｈ（ｉ，ｎＮ（＊））におけるｎＮ（＊）には、動画像を撮影したカメラで暗部撮影した動画像信号をウェーブレット分解した時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓのそれぞれの最大値ｎＮ（Ｌ１ＴＬＬ１Ｓ），ｎＮ（Ｌ１ＴＬＨ１Ｓ），ｎＮ（Ｌ１ＴＨＬ１Ｓ），ｎＮ（Ｌ１ＴＨＨ１Ｓ）を用いることとする。
なお、このステップＳ６およびステップＳ７の順番を逆にして動作させてもよいし、並行して動作させることとしてもよい。
【０１０１】
〔空間方向再構成ステップ〕
そして、動画像雑音除去装置１は、時間・空間ウェーブレット再構成手段４０の空間方向再構成手段４１によって、ステップＳ５で孤立点が除去された時間高周波・空間低周波展開係数Ｈ１ＴＬＬ１Ｓと、ステップＳ６でウェーブレット縮退された時間高周波・空間高周波展開係数Ｈ１ＴＬＨ１Ｓ，Ｈ１ＴＨＬ１Ｓ，Ｈ１ＴＨＨ１Ｓと、ステップＳ７でウェーブレット縮退された時間低周波・空間展開係数Ｌ１ＴＬＬ１Ｓ，Ｌ１ＴＬＨ１Ｓ，Ｌ１ＴＨＬ１Ｓ，Ｌ１ＴＨＨ１Ｓとに対して、２次元１階離散ウェーブレット逆変換（ＩＤＷＴ）を行う（ステップＳ８）。これによって、各ウェーブレット展開係数が、時間高周波展開係数Ｈ１Ｔと、時間低周波展開係数Ｌ１Ｔとに再構成される。
【０１０２】
〔時間方向再構成ステップ〕
そして、動画像雑音除去装置１は、時間・空間ウェーブレット再構成手段４０の時間方向再構成手段４２によって、ステップＳ８で再構成された時間高周波展開係数Ｈ１Ｔと、時間低周波展開係数Ｌ１Ｔとに対して、１次元１階離散ウェーブレット逆変換（ＩＤＷＴ）を行う（ステップＳ９）。これによって、雑音が除去された雑音除去画像が生成されることになる。
【０１０３】
そして、動画像雑音除去装置１は、動画像信号のフレームを入力するごとに、ステップＳ１〜Ｓ９の動作を順次行うことで、時系列に雑音除去画像が生成され、雑音が除去された動画像信号が生成されることになる。
【０１０４】
以上説明したように、動画像雑音除去装置１は、動画像信号に対して時間方向および空間方向にウェーブレット分解した後に、各ウェーブレット展開係数の特性に応じて雑音を除去するため、動画像信号から精度よく雑音を除去することができる。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施形態に係る動画像雑音除去装置の構成を示すブロック構成図である。
【図２】時間方向の離散ウェーブレット変換（ＤＷＴ）を説明するための説明図である。
【図３】空間方向の離散ウェーブレット変換（ＤＷＴ）を説明するための説明図である。
【図４】動画像信号の時間−空間１階離散ウェーブレット変換（ＤＷＴ）領域図である。
【図５】時間−空間１階ＤＷＴ領域図に動画像信号内における動物体の移動速度のスペクトル平面を対応付けた図である。
【図６】カメラの熱雑音特性を測定する手法を説明するための説明図である。
【図７】孤立点雑音を除去する手法を説明するための説明図である。
【図８】時間低周波成分のウェーブレット縮退と熱雑音特性との関係を説明するための説明図である。
【図９】時間高周波・空間高周波成分のウェーブレット縮退と熱雑音特性との関係を説明するための説明図である。
【図１０】本発明の実施形態に係る動画像雑音除去装置の動作を示す流れ図である。
【符号の説明】
【０１０６】
１ 動画像雑音除去装置
１０ 時間・空間ウェーブレット分解手段
１１ 時間方向分解手段
１２ 空間方向分解手段
１２ａ 時間低周波分解手段
１２ｂ 時間高周波分解手段
２０ 雑音特性記憶手段（最大雑音特性記憶手段、中央雑音特性記憶手段）
３０ 時間・空間ウェーブレット縮退手段
３１ 時間高周波孤立点除去手段
３１ａ 空間高周波孤立点除去手段（時間高周波・空間高周波孤立点除去手段）
３１ｂ 空間低周波孤立点除去手段（時間高周波・空間低周波孤立点除去手段）
３２ 縮退手段
３２ａ 時間低周波縮退手段
３２ｂ 時間高周波縮退手段
４０ 時間・空間ウェーブレット再構成手段
４１ 空間方向再構成手段
４２ 時間方向再構成手段
【特許請求の範囲】
【請求項１】
動画像信号に含まれる雑音を除去する動画像雑音除去装置であって、
前記動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する時間方向分解手段と、
前記時間高周波展開係数と前記時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する空間方向分解手段と、
前記時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、前記時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、前記時間高周波・空間高周波展開係数よりも前記時間低周波・空間展開係数の方に大きい閾値を設定して、ウェーブレット縮退法により、当該閾値以下の周波数成分の信号レベルを減衰させる縮退手段と、
この縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、前記空間方向分解手段で前記時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する空間方向再構成手段と、
この空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する時間方向再構成手段と、
を備えることを特徴とする動画像雑音除去装置。
【請求項２】
前記時間高周波・空間高周波展開係数を２値化処理し、孤立点を除去する時間高周波・空間高周波孤立点除去手段を備え、
前記縮退手段が、前記時間高周波・空間高周波孤立点除去手段により孤立点が除去された時間高周波・空間高周波展開係数について、周波数成分の信号レベルを減衰させることを特徴とする請求項１に記載の動画像雑音除去装置。
【請求項３】
前記時間高周波・空間低周波展開係数を２値化処理し、孤立点を除去する時間高周波・空間低周波孤立点除去手段を備え、
前記空間方向再構成手段が、前記時間高周波・空間低周波孤立点除去手段により孤立点を除去された時間高周波・空間低周波展開係数を用いて、ウェーブレット再構成を行うことを特徴とする請求項１または請求項２に記載の動画像雑音除去装置。
【請求項４】
前記動画像信号の元の動画像を撮影したカメラにより暗部撮影した暗部動画像信号を時間方向および空間方向にウェーブレット分解した各展開係数の最大値を前記カメラの雑音特性として予め記憶する最大雑音特性記憶手段を備え、
前記縮退手段が、前記最大雑音特性記憶手段に記憶されている各展開係数の最大値と、前記時間低周波・空間展開係数の絶対値との差分により算出した閾値により、前記時間低周波・空間展開係数の信号レベルを減衰させることを特徴とする請求項１から請求項３のいずれか一項に記載の動画像雑音除去装置。
【請求項５】
前記動画像信号の元の動画像を撮影したカメラにより暗部撮影した暗部動画像信号を時間方向および空間方向にウェーブレット分解した各展開係数の中央値を前記カメラの雑音特性として予め記憶する中央雑音特性記憶手段を備え、
前記縮退手段が、前記中央雑音特性記憶手段に記憶されている各展開係数の中央値と、前記時間高周波・空間高周波展開係数の絶対値との差分により算出した閾値により、前記時間高周波・空間高周波展開係数の信号レベルを減衰させることを特徴とする請求項１から請求項４のいずれか一項に記載の動画像雑音除去装置。
【請求項６】
動画像信号に含まれる雑音を除去する動画像雑音除去方法であって、
時間方向にウェーブレット分解を行う時間方向分解手段により、前記動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する時間方向分解ステップと、
空間方向にウェーブレット分解を行う空間方向分解手段により、前記時間高周波展開係数と前記時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する空間方向分解ステップと、
前記時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、前記時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、ウェーブレット縮退法により雑音を減衰させる縮退手段により、前記時間高周波・空間高周波展開係数よりも前記時間低周波・空間展開係数の方に大きい閾値を設定して、当該閾値以下の周波数成分の信号レベルを減衰させる縮退ステップと、
空間方向にウェーブレット再構成を行う空間方向再構成手段により、前記縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、前記空間方向分解手段で前記時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する空間方向再構成ステップと、
時間方向にウェーブレット再構成を行う時間方向再構成手段により、前記空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する時間方向再構成ステップと、
を含むことを特徴とする動画像雑音除去方法。
【請求項７】
動画像信号に含まれる雑音を除去するために、コンピュータを、
前記動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する時間方向分解手段、
前記時間高周波展開係数と前記時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する空間方向分解手段、
前記時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、前記時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、前記時間高周波・空間高周波展開係数よりも前記時間低周波・空間展開係数の方に大きい閾値を設定して、ウェーブレット縮退法により、当該閾値以下の周波数成分の信号レベルを減衰させる縮退手段、
この縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、前記空間方向分解手段で前記時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する空間方向再構成手段、
この空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する時間方向再構成手段、
として機能させることを特徴とする動画像雑音除去プログラム。
【請求項１】
動画像信号に含まれる雑音を除去する動画像雑音除去装置であって、
前記動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する時間方向分解手段と、
前記時間高周波展開係数と前記時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する空間方向分解手段と、
前記時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、前記時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、前記時間高周波・空間高周波展開係数よりも前記時間低周波・空間展開係数の方に大きい閾値を設定して、ウェーブレット縮退法により、当該閾値以下の周波数成分の信号レベルを減衰させる縮退手段と、
この縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、前記空間方向分解手段で前記時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する空間方向再構成手段と、
この空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する時間方向再構成手段と、
を備えることを特徴とする動画像雑音除去装置。
【請求項２】
前記時間高周波・空間高周波展開係数を２値化処理し、孤立点を除去する時間高周波・空間高周波孤立点除去手段を備え、
前記縮退手段が、前記時間高周波・空間高周波孤立点除去手段により孤立点が除去された時間高周波・空間高周波展開係数について、周波数成分の信号レベルを減衰させることを特徴とする請求項１に記載の動画像雑音除去装置。
【請求項３】
前記時間高周波・空間低周波展開係数を２値化処理し、孤立点を除去する時間高周波・空間低周波孤立点除去手段を備え、
前記空間方向再構成手段が、前記時間高周波・空間低周波孤立点除去手段により孤立点を除去された時間高周波・空間低周波展開係数を用いて、ウェーブレット再構成を行うことを特徴とする請求項１または請求項２に記載の動画像雑音除去装置。
【請求項４】
前記動画像信号の元の動画像を撮影したカメラにより暗部撮影した暗部動画像信号を時間方向および空間方向にウェーブレット分解した各展開係数の最大値を前記カメラの雑音特性として予め記憶する最大雑音特性記憶手段を備え、
前記縮退手段が、前記最大雑音特性記憶手段に記憶されている各展開係数の最大値と、前記時間低周波・空間展開係数の絶対値との差分により算出した閾値により、前記時間低周波・空間展開係数の信号レベルを減衰させることを特徴とする請求項１から請求項３のいずれか一項に記載の動画像雑音除去装置。
【請求項５】
前記動画像信号の元の動画像を撮影したカメラにより暗部撮影した暗部動画像信号を時間方向および空間方向にウェーブレット分解した各展開係数の中央値を前記カメラの雑音特性として予め記憶する中央雑音特性記憶手段を備え、
前記縮退手段が、前記中央雑音特性記憶手段に記憶されている各展開係数の中央値と、前記時間高周波・空間高周波展開係数の絶対値との差分により算出した閾値により、前記時間高周波・空間高周波展開係数の信号レベルを減衰させることを特徴とする請求項１から請求項４のいずれか一項に記載の動画像雑音除去装置。
【請求項６】
動画像信号に含まれる雑音を除去する動画像雑音除去方法であって、
時間方向にウェーブレット分解を行う時間方向分解手段により、前記動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する時間方向分解ステップと、
空間方向にウェーブレット分解を行う空間方向分解手段により、前記時間高周波展開係数と前記時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する空間方向分解ステップと、
前記時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、前記時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、ウェーブレット縮退法により雑音を減衰させる縮退手段により、前記時間高周波・空間高周波展開係数よりも前記時間低周波・空間展開係数の方に大きい閾値を設定して、当該閾値以下の周波数成分の信号レベルを減衰させる縮退ステップと、
空間方向にウェーブレット再構成を行う空間方向再構成手段により、前記縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、前記空間方向分解手段で前記時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する空間方向再構成ステップと、
時間方向にウェーブレット再構成を行う時間方向再構成手段により、前記空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する時間方向再構成ステップと、
を含むことを特徴とする動画像雑音除去方法。
【請求項７】
動画像信号に含まれる雑音を除去するために、コンピュータを、
前記動画像信号を、時間方向の高周波成分である時間高周波展開係数と時間方向の低周波成分である時間低周波展開係数とにウェーブレット分解する時間方向分解手段、
前記時間高周波展開係数と前記時間低周波展開係数とをそれぞれ空間方向の周波数成分にウェーブレット分解する空間方向分解手段、
前記時間高周波展開係数を空間方向にウェーブレット分解した水平または垂直方向の少なくとも一方に高周波成分を含む時間高周波・空間高周波展開係数と、前記時間低周波展開係数を空間方向にウェーブレット分解した時間低周波・空間展開係数とにおいて、前記時間高周波・空間高周波展開係数よりも前記時間低周波・空間展開係数の方に大きい閾値を設定して、ウェーブレット縮退法により、当該閾値以下の周波数成分の信号レベルを減衰させる縮退手段、
この縮退手段で信号レベルを減衰された時間高周波・空間高周波展開係数および時間低周波・空間展開係数と、前記空間方向分解手段で前記時間高周波展開係数をウェーブレット分解した空間方向の低周波成分である時間高周波・空間低周波展開係数とを、空間方向にウェーブレット再構成する空間方向再構成手段、
この空間方向再構成手段で再構成された周波数成分を、時間方向にウェーブレット再構成することで動画像信号を生成する時間方向再構成手段、
として機能させることを特徴とする動画像雑音除去プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−４５７１１（Ｐ２０１０−４５７１１Ａ）
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願番号】特願２００８−２０９６９６（Ｐ２００８−２０９６９６）
【出願日】平成２０年８月１８日（２００８．８．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２２年２月２５日（２０１０．２．２５）
【国際特許分類】
【出願日】平成２０年８月１８日（２００８．８．１８）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]