ノイズ低減装置及びノイズ低減プログラム
【課題】動画像を構成するフレーム画像内の領域を動きのある動領域か動きのない静領域かに判別した領域判別結果に従って、それぞれの領域に適したノイズ低減処理を施すノイズ低減装置及びそのプログラムを提供する。
【解決手段】 ノイズ低減装置１は、静領域に対して時間軸方向における高周波数成分を低減する高周波数成分低減手段２１を備えた静領域用のノイズ低減処理手段である静領域処理手段２０と、動領域に対して画像を空間周波数成分に変換するＤＣＴ処理手段３２と高空間周波数成分を低減するコアリング処理手段３３とコアリング処理後の空間周波数成分を画像の変換する逆ＤＣＴ処理手段３４とを備えた動領域用のノイズ低減処理手段である動領域処理手段３０と、を備え、領域判別マップＲ（ｔｎ）に従って、ノイズ低減処理を切り替える。
【解決手段】 ノイズ低減装置１は、静領域に対して時間軸方向における高周波数成分を低減する高周波数成分低減手段２１を備えた静領域用のノイズ低減処理手段である静領域処理手段２０と、動領域に対して画像を空間周波数成分に変換するＤＣＴ処理手段３２と高空間周波数成分を低減するコアリング処理手段３３とコアリング処理後の空間周波数成分を画像の変換する逆ＤＣＴ処理手段３４とを備えた動領域用のノイズ低減処理手段である動領域処理手段３０と、を備え、領域判別マップＲ（ｔｎ）に従って、ノイズ低減処理を切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を構成するフレーム画像内の領域が、動きのある動領域か動きのない静領域かを示す判別結果に基づいて、動領域と静領域とで適応的にノイズ低減処理を切り替えるノイズ低減装置及びノイズ低減プログラムに関する。
【背景技術】
【０００２】
動画像に重畳されたノイズの低減処理を効率的にするために、動画像を構成するフレーム画像内の領域が、動きのある動領域か動きのない静領域かを判別し、判別結果に応じて適応的にノイズ低減処理する方法がある。例えば、特許文献１（図１及び図２、段落００３９〜段落００６２参照）では、ＭＵＳＥ信号をデジタル化し、動き検出の結果、静領域に対して選択的に強いノイズ低減処理を行うノイズリダクション回路が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−１６５１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、ＭＵＳＥ信号が動領域では元々高空間周波数成分が損なわれている特性を利用しており、特に動領域に対する具体的なノイズ低減処理については記載されていない。
そこで、本発明は、フレーム画像内の領域が、動領域か静領域かを判別した結果に基づいて動領域と静領域に適したノイズ低減処理を行い、動画像に重畳されたノイズを、画像の劣化を抑制しつつ低減するノイズ低減装置及びノイズ低減プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記した目的を達成するために、請求項１に記載したノイズ低減装置は、動画像を構成するフレーム画像の画像平面内の領域が、当該フレーム画像に対して時間軸方向に前後のフレーム画像に対して変化のある動領域か、変化のない静領域か、の２種類の領域の何れであるかを判別する領域判別信号に従って、動領域と静領域とにそれぞれ異なるノイズ低減処理を施すことにより、動画像に重畳されたノイズを低減させるノイズ低減装置であって、動領域処理手段と、高周波数成分低減手段を備えた静領域処理手段と、を備え、前記動領域処理手段は、動領域処理ブロック分割手段と、動領域処理ブロック直交変換手段と、コアリングレベル設定手段と、コアリング処理手段と、動領域処理ブロック逆直交変換手段と、を備える構成とした。
【０００６】
かかる構成によれば、ノイズ低減装置の静領域処理手段は、高周波数成分低減手段によって、領域判別信号が静領域を示すフレーム画像の領域に対して、当該領域中の画素ごとに、当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を参照して高周波数成分を低減する。
一方、ノイズ低減装置の動領域処理手段は、動領域処理ブロック分割手段によって、領域判別信号が動領域を示すフレーム画像の領域に対して、予め定められた形状の動領域処理の単位ブロックである動領域処理ブロックに分割する。動領域処理手段は、次に、動領域処理ブロック直交変換手段によって、動領域処理ブロック分割手段により分割された動領域処理ブロックごとに直交変換をして、動領域処理ブロックを構成する画素データを空間周波数成分に変換する。また、動領域処理手段は、コアリングレベル設定手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分に対してコアリング処理をするときのコアリングレベルをコアリング処理手段に予め設定しておく。次に、動領域処理手段は、コアリング処理手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分中の各交流成分からコアリングレベル設定手段により設定されたコアリングレベルを減じるコアリング処理をする。そして、動領域処理手段は、動領域処理ブロック逆直交変換処理手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分中の直流成分とコアリング処理手段によりコアリング処理された交流成分とからなる空間周波数成分に逆直交変換処理を施して画素データに変換することで、高空間周波数成分を低減する。
これによって、ノイズ低減装置は、静領域において時間軸方向のノイズを低減し、動領域において画像平面内のノイズを低減する。
【０００７】
請求項２に記載のノイズ低減装置は、請求項１に記載のノイズ低減装置において、コアリングレベル設定手段は、設定用ノイズレベル検出手段を備える構成とした。
【０００８】
かかる構成によれば、ノイズ低減装置のコアリングレベル設定手段は、設定用ノイズレベル検出手段によって、入力したフレーム画像からノイズレベルを検出し、検出したノイズレベルをコアリングレベルとしてコアリング処理手段に設定する。
これによって、ノイズ低減装置は、ノイズレベルをコアリングレベルとしてコアリング処理を行う。
【０００９】
請求項３に記載のノイズ低減装置は、請求項１に記載のノイズ低減装置において、コアリングレベル設定手段は、設定用ノイズレベル検出手段とコアリングレベル調整手段とを備える構成とした。
【００１０】
かかる構成によれば、ノイズ低減装置のコアリングレベル設定手段は、まず、設定用ノイズレベル検出手段によって、入力したフレーム画像からノイズレベルを検出する。そして、コアリングレベル設定手段は、コアリングレベル調整手段によって、設定用ノイズレベル検出手段により検出されたノイズレベルに、予め設定された０乃至１の値のノイズレベル調整値を乗じてコアリングレベルを算出して、コアリング処理手段に設定する。
これによって、ノイズ低減装置は、ノイズレベル以下のコアリングレベルに調整してコアリング処理を行う。
【００１１】
請求項４に記載のノイズ低減装置は、請求項２又は請求項３に記載のノイズ低減装置において、設定用ノイズレベル検出手段は、ノイズ検出ブロック分割手段とノイズ検出ブロック直交変換手段と交流成分平均算出手段と最小値抽出手段とを備える構成とした。
【００１２】
かかる構成によれば、ノイズ低減装置の設定用ノイズレベル検出手段は、ノイズ検出ブロック分割手段によって、フレーム画像を複数の画素からなる複数の予め定められた形状のノイズレベル検出の単位ブロックであるノイズ検出ブロックに分割する。次に、設定用ノイズレベル検出手段は、ノイズ検出ブロック直交変換手段によって、ノイズ検出ブロック分割手段により分割されたノイズ検出ブロックを直交変換して空間周波数成分に変換する。続いて、設定用ノイズレベル検出手段は、交流成分平均算出手段によって、ノイズ検出ブロック直交変換手段により変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する。そして、設定用ノイズレベル検出手段は、最小値抽出手段によって、交流成分平均算出手段によりノイズ検出ブロックごとに算出された交流成分平均の中から最小値を抽出し、ノイズレベルとして出力する。
これによって、ノイズ低減装置は、フレーム画像の複数の箇所から検出したノイズレベル候補である交流成分平均からノイズレベルを決定する。
【００１３】
請求項５に記載のノイズ低減装置は、請求項２又は請求項３に記載のノイズ低減装置において、設定用ノイズレベル検出手段は、ノイズ検出ブロック分割手段と低空間周波数成分抑制手段とノイズ検出ブロック直交変換手段と最小値抽出手段とを備える構成とした。
【００１４】
かかる構成によれば、設定用ノイズレベル検出手段は、ノイズ検出ブロック分割手段によって、フレーム画像を複数の画素からなる複数の予め定められた形状のノイズ検出の単位ブロックであるノイズ検出ブロックに分割する。次に、設定用ノイズレベル検出手段は、低空間周波数成分抑制手段によって、ノイズ検出ブロック分割手段により分割されたノイズ検出ブロックの画像データから低空間周波数成分を抑制する。次に、設定用ノイズレベル検出手段は、ノイズ検出ブロック直交変換手段によって、低空間周波成分抑制手段により低空間周波成分が抑制された画像データを直交変換して空間周波数成分に変換する。続いて、設定用ノイズレベル検出手段は、交流成分平均算出手段によって、ノイズ検出ブロック直交変換手段により変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する。そして、設定用ノイズレベル検出手段は、最小値抽出手段によって、交流成分平均算出手段によりノイズ検出ブロックごとに抽出された複数の前記交流成分平均から最小値を抽出し、ノイズレベルとして出力する。
これによって、ノイズ低減装置は、画像信号成分が主体である低空間周波数を抑制した画像からノイズレベルを検出する。
【００１５】
請求項６に記載のノイズ低減装置は、請求項１乃至請求項３の何れか一項に記載のノイズ低減装置において、更に、動領域処理ブロック輝度算出手段を備え、コアリングレベル設定手段は、輝度別コアリングレベルを設定するとともに、コアリング処理手段は輝度別コアリングレベルを用いてコアリング処理をすることとした。
【００１６】
かかる構成によれば、ノイズ低減装置は、動領域処理ブロック輝度算出手段によって、動領域処理ブロック分割手段によって分割された動領域処理ブロック内の輝度レベルを算出する。
一方、ノイズ低減装置は、コアリングレベル設定手段によって、輝度レベルに応じてコアリングレベルが定められた輝度別コアリングレベルをコアリング処理手段に設定する。そして、ノイズ低減装置は、コアリング処理手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分中の各交流成分から、動領域処理ブロック輝度算出手段により算出した輝度レベルに対応するコアリングレベル設定手段により設定された輝度別コアリングレベルを減じるコアリング処理をする。
これによって、ノイズ低減装置は、動領域において、輝度に応じたコアリングレベルでコアリング処理を行う。
【００１７】
請求項７に記載のノイズ低減装置は、請求項６に記載のノイズ低減装置において、設定用ノイズ検出手段は、ノイズ検出ブロック分割手段とノイズ検出ブロック直交変換手段と交流成分平均算出手段とノイズ検出ブロック輝度算出手段と輝度別最小値抽出手段とを備える構成とした。
【００１８】
かかる構成によれば、ノイズ低減装置の設定用ノイズ検出手段は、ノイズ検出ブロック分割手段によって、フレーム画像を複数の画素からなる複数の予め定められた形状のノイズレベル検出の単位ブロックであるノイズ検出ブロックに分割する。次に、設定用ノイズレベル検出手段は、ノイズ検出ブロック直交変換手段によって、ノイズ検出ブロック分割手段により分割されたノイズ検出ブロックを直交変換して空間周波数成分に変換する。続いて、設定用ノイズレベル検出手段は、交流成分平均算出手段によって、ノイズ検出ブロック直交変換手段により変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する。
一方、設定用ノイズレベル検出手段は、ノイズ検出ブロック輝度算出手段によって、ノイズ検出ブロック分割手段によって分割されたノイズ検出ブロック内の輝度レベルを算出する。
そして、設定用ノイズレベル検出手段は、輝度別最小値抽出手段によって、交流成分平均算出手段により算出された交流成分平均を、ノイズ検出ブロック輝度算出手段により算出された輝度レベルごとに、フレーム画像中の複数のノイズ検出ブロックに対応する交流成分平均から最小値を抽出して各輝度レベルにおける輝度別ノイズレベルとして出力する。
これによって、ノイズ低減装置は、フレーム画像の複数の箇所から検出した輝度別に分類されたノイズレベル候補である交流成分平均の中から、それぞれの輝度レベルにおけるノイズレベルを決定する。
【００１９】
請求項８に記載のノイズ低減装置は、請求項７に記載のノイズ低減装置において、コアリングレベル設定手段は、更に検証用ノイズレベル検出手段を備えるとともに、設定用ノイズレベル検出手段は、更にノイズレベル検証手段と補間処理手段とを備える構成とした。
【００２０】
かかる構成によれば、ノイズ低減装置のコアリングレベル設定手段は、検証用ノイズレベル検出手段によって、予め予備撮影（プリスキャン）して得られたフレーム画像から、設定用ノイズレベル検出手段によって検出される輝度別ノイズレベルの有効性を検証するための検証用ノイズレベルを検出しておく。
次に、コアリングレベル設定手段の設定用ノイズレベル検出手段は、ノイズレベル検証手段によって、輝度別最小値抽出手段により抽出された各輝度別ノイズレベルが検証用ノイズレベル検出手段により予め検出しておいた検証用ノイズレベルに対して、予め定められた所定の範囲外にあるときに、当該輝度別ノイズレベルを有効でないとして排除する。そして、設定用ノイズレベル検出手段は、補間処理手段によって、ノイズレベル検証手段により排除された輝度レベルに対応するノイズレベルを、排除されなかった輝度レベルにおけるノイズレベルから補間処理して算出し、１組の輝度別ノイズレベルを完成させる。
これによって、ノイズ低減装置は、動画像を構成するフレーム画像から一旦検出した輝度別ノイズレベルから有効でないデータを排除し、有効なデータから輝度別ノイズレベルを再構成する。そして、ノイズ低減装置は、有効な輝度別のノイズレベルに基づいて算出した輝度別ノイズレベルを用いてコアリングレベルを設定する。
【００２１】
請求項９に記載のノイズ低減装置は、請求項１乃至請求項８の何れか一項に記載のノイズ低減装置において、高周波数成分低減手段として平均化フィルタを用いることとした。
【００２２】
かかる構成によれば、ノイズ低減装置の静領域処理手段は、平均化フィルタによって、領域判別信号が静領域を示すフレーム画像の領域に対して、処理対象のフレーム画像及び当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を平均化処理する。
これによって、ノイズ低減装置は、静領域において、時間軸方向に急激な変化を鈍らせた画像に変換する。
【００２３】
請求項１０に記載のノイズ低減装置は、請求項１乃至請求項８の何れか一項に記載のノイズ低減装置において、高周波数成分低減手段としてメディアンフィルタを用いることとした。
【００２４】
かかる構成によれば、ノイズ低減装置の静領域処理手段は、メディアンフィルタによって、領域判別信号が静領域を示すフレーム画像の領域に対して、処理対象のフレーム画像及び当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素から中央値を選択する。
これによって、ノイズ低減装置は、静領域において、時間軸方向に突出した孤立点などを除去した画像に変換する。
【００２５】
請求項１１に記載のノイズ低減プログラムは、動画像を構成するフレーム画像の画像平面内の領域が、当該フレーム画像に対して時間軸方向に前後のフレーム画像に対して変化のある動領域か、変化のない静領域か、の２種類の領域の何れであるかを判別する領域判別信号に従って、動領域と静領域とにそれぞれ異なるノイズ低減処理を施すことにより、動画像に重畳されたノイズを低減させるために、コンピュータを、高周波数成分低減手段、動領域処理ブロック分割手段、動領域処理ブロック直交変換手段、コアリングレベル設定手段、コアリング処理手段、動領域処理ブロック逆直交変換手段、として機能させることとした。
【００２６】
かかる構成によれば、ノイズ低減プログラムは、高周波数成分低減手段によって、領域判別信号が静領域を示すフレーム画像の領域に対して、当該領域中の画素ごとに、当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を参照して高周波数成分を低減する。
一方、ノイズ低減プログラムは、動領域処理ブロック分割手段によって、領域判別信号が動領域を示すフレーム画像の領域に対して、予め定められた形状の動領域処理の単位ブロックである動領域処理ブロックに分割する。次に、ノイズ低減プログラムは、動領域処理ブロック直交変換手段によって、動領域処理ブロック分割手段により分割された動領域処理ブロックごとに直交変換をして、動領域処理ブロックを構成する画素データを空間周波数成分に変換する。また、ノイズ低減プログラムは、コアリングレベル設定手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分に対してコアリング処理をするときのコアリングレベルをコアリング処理手段に予め設定しておく。次に、ノイズ低減プログラムは、コアリング処理手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分中の各交流成分からコアリングレベル設定手段により設定されたコアリングレベルを減じるコアリング処理をする。そして、ノイズ低減プログラムは、動領域処理ブロック逆直交変換処理手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分中の直流成分とコアリング処理手段によりコアリング処理された交流成分とからなる空間周波数成分に逆直交変換処理を施して画素データに変換することで、高空間周波数成分を低減する。
これによって、ノイズ低減プログラムは、静領域において時間軸方向のノイズを低減し、動領域において画像平面内のノイズを低減する。
【発明の効果】
【００２７】
請求項１又は請求項１１に記載の発明によれば、静領域においては元々画像信号の変化がない時間軸方向における急峻な変化を鈍らせるため、画像信号を劣化させることなく時間軸方向に変化するノイズを低減することができる。また、動領域においてはコアリング処理によって粒状性のノイズ成分が多く含まれる高空間周波数成分ほど大きく低減するため、粒状性ノイズを効果的に低減することができる一方で、動領域では画像がぼけても認識されにくいという視覚特性のため、動領域の画像信号の劣化を抑えながら画像平面内のノイズを低減することができる。
【００２８】
請求項２に記載の発明によれば、フレーム画像から検出したノイズレベルをコアリングレベルとして用いてコアリング処理をするため、動領域においてノイズ成分を適切に低減することができる。
【００２９】
請求項３に記載の発明によれば、コアリングレベルがノイズレベルを超えない範囲で調整できるため、動領域においてノイズ低減と画像のボケとのバランスを考慮したノイズ低減処理を行うことができる。
【００３０】
請求項４に記載の発明によれば、コアリングレベル設定の基となるノイズレベルを、フレーム画像の複数の箇所から検出したノイズレベル候補である交流成分平均から抽出して決定するため適切なコアリングレベルを設定することができる。そのため、動領域において適切なノイズ低減をすることができる。
【００３１】
請求項５に記載の発明によれば、画像信号成分が主体である低空間周波数を抑制した画像からノイズレベルを検出するため、より適切なコアリングレベルを設定することができ、その結果、動領域において、より適切なノイズ低減をすることができる。
【００３２】
請求項６に記載の発明によれば、動領域において、輝度に応じたコアリングレベルでコアリング処理を行うため、輝度レベルごとに信号対雑音比が異なる場合であっても、ノイズ低減と画像のボケの程度が一定したノイズ低減をすることができる。
【００３３】
請求項７に記載の発明によれば、コアリングレベル設定の基となる輝度別ノイズレベルを、フレーム画像の複数の箇所から検出した輝度別に分類されたノイズレベル候補である交流成分平均の中の最小値を、それぞれの輝度レベルにおけるノイズレベルとして抽出するため、適切に輝度別ノイズレベルを検出することができる。そのため、当該輝度別ノイズレベルに基づいて設定される輝度別のコアリングレベルを用いて、動領域において適切なノイズ低減をすることができる。
【００３４】
請求項８に記載の発明によれば、フレーム画像から一旦検出した輝度別ノイズレベルから有効でないデータを排除し、有効なデータから輝度別ノイズレベルを再構成するため、適切に輝度別ノイズレベルを検出することができる。そのため、当該輝度別ノイズレベルに基づいて設定される輝度別のコアリングレベルを用いて、動領域において安定して適切なノイズ低減をすることができる。
【００３５】
請求項９に記載の発明によれば、静領域において、時間軸方向に急激な変化を鈍らせた画像に変換するため、時間軸方向に急激に変化するノイズを効果的に低減することができる。
【００３６】
請求項１０に記載の発明によれば、静領域において、時間軸方向に突出した孤立点などを除去した画像に変換するため、時間軸方向に大きく変化する画像信号を保存しつつ、粒状性ノイズのような時間軸方向に小さく変化するノイズを効果的に低減することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明に係る第１実施形態のノイズ低減装置を含むノイズ低減システムの構成を示すブロック図である。
【図２】本発明に係るノイズ低減装置における領域判別の単位を説明するための模式図である。
【図３】本発明に係るノイズ低減装置において時間軸方向における複数の画素を参照する様子を説明するための模式図である。
【図４】本発明に係るノイズ低減装置における離散コサイン変換を説明するための説明図であり、（１）はブロックの画素の配列、（２）は変換後のＤＣＴ係数の配列を示す。
【図５】本発明に係るノイズ低減装置におけるコアリング処理の様子を説明するための模式図であり、（１）はコアリング処理前のＤＣＴ係数、（２）はコアリング処理後のＤＣＴ係数を示す。
【図６】本発明に係る第１実施形態のノイズ低減装置におけるコアリングレベル設定手段の構成を示すブロック図である。
【図７】本発明におけるノイズレベル検出のためにフレーム画像をブロック分割する様子を示す模式図であり、（１）はブロック分割の一例を示す模式図であり、（２）はブロック分割の他の例を示す模式図である。
【図８】本発明における領域判別装置の構成を示すブロック図である。
【図９】本発明における連続するフレーム間のブロックの関係を説明するための模式図である。
【図１０】本発明におけるノイズレベル設定手段の構成を示すブロック図である。
【図１１】本発明における第１実施形態のノイズ低減装置を含むノイズ低減システムの処理の流れを示すフロー図である。
【図１２】本発明に係る第１実施形態のノイズ低減装置における静領域処理手段による静領域処理の流れを示すフロー図である。
【図１３】本発明に係る第１実施形態のノイズ低減装置における動領域処理手段による動領域処理の流れを示すフロー図である。
【図１４】本発明に係る第１実施形態のノイズ低減装置におけるコアリングレベル設定手段によるコアリングレベル設定処理の流れを示すフロー図である。
【図１５】本発明における領域判別装置の処理の流れを示すフロー図である。
【図１６】本発明における領域判別装置のノイズレベル設定手段の処理の流れを示すフロー図である。
【図１７】本発明に係る第１実施形態の変形例のノイズ低減装置におけるコアリングレベル設定手段の構成を示すブロック図である。
【図１８】本発明におけるコアリングレベル設定手段におけるＨＰＦ処理を説明するための説明図であり、（１）は画像にＨＰＦを適用する様子を示す説明図であり、（２）はＨＰＦ処理における演算を説明するための説明図であり、（３）はＨＰＦの空間周波数に対する応答特性を示すグラフである。
【図１９】本発明に係る第１実施形態の変形例のノイズ低減装置におけるコアリングレベル設定手段の処理の流れを示すフロー図である。
【図２０】本発明に係る第２実施形態のノイズ低減装置を含むノイズ低減システムの構成を示すブロック図である。
【図２１】本発明に係る第２実施形態のノイズ低減装置におけるコアリングレベル設定手段の構成を示すブロック図である。
【図２２】本発明における補間処理を説明するための説明図である。
【図２３】本発明に係る第２実施形態のノイズ低減装置を含むノイズ低減システムの処理の流れを示すフロー図である。
【図２４】本発明に係る第２実施形態のノイズ低減装置における動領域処理手段による動領域処理の流れを示すフロー図である。
【図２５】本発明に係る第２実施形態のノイズ低減装置におけるコアリングレベル設定手段によるコアリングレベル設定処理の流れを示すフロー図である。
【発明を実施するための形態】
【００３８】
以下、本発明の実施形態について、適宜図面を参照して詳細に説明する。
［第１実施形態のノイズ低減装置を含むノイズ低減システムの構成］
まず、図１を参照して、本発明の第１実施形態のノイズ低減装置を含むノイズ低減システムの構成について説明する。
【００３９】
図１に示した第１実施形態のノイズ低減装置１を含むノイズ低減システム１００は、ノイズ低減装置１と領域判別装置２とを備えて構成されており、動画像Ｆを入力して、ノイズ低減した動画像Ｆ’を出力するノイズ低減システムである。
また、第１実施形態のノイズ低減装置１は、フレームメモリ１０，１１，１２と、静領域処理手段２０と、動領域処理手段３０と、処理選択手段５０と、フレームメモリ６０とを備えて構成されている。
【００４０】
第１実施形態のノイズ低減装置１は、領域判別装置２によって動画像Ｆを構成する各フレーム画像Ｆ（ｔｎ）を、予め定めた形状のブロックごとに動領域か静領域かを判別した結果である領域判別マップ（領域判別信号）Ｒ（ｔｎ）を用いて、フレーム画像Ｆ（ｔｎ）に重畳されているノイズを、当該領域判別マップＲ（ｔｎ）に応じて動領域と静領域とでそれぞれ異なる処理を施してフレーム画像Ｆ’（ｔｎ）を順次算出し、ノイズ低減した動画像Ｆ’を生成するものである。
【００４１】
ここで、図２を参照して領域判別装置２による領域判別の単位について説明する。
図２に示したように、領域判別装置２は、フレーム画像Ｆ（ｔｎ）を、５（画素）×５（ライン）の形状（サイズ）のブロック（領域判別ブロック）ＢＢに分割し、それぞれのブロックＢＢごとに静領域か動領域かを示す領域判別マップＲ（ｔｎ）を出力するものである。なお、ブロックＢＢの形状は、５×５に限定されるものではなく、４×４や８×８であってもよく、８×４のように水平方向と垂直方向とでサイズが異なるものでもよく、また、画素ごとに領域判別を行うものであってもよい。
領域判別装置２の詳細については後記する。
【００４２】
以下、図１を参照（適宜図２参照）して、第１実施形態のノイズ低減装置１の各部の構成について説明する。
［第１実施形態のノイズ低減装置の構成］
フレームメモリ１０，１１，１２は、ノイズ低減装置１に入力される動画像Ｆを構成する時間軸方向に連続する３つのフレーム画像Ｆ（ｔｎ−１）、Ｆ（ｔｎ）、Ｆ（ｔｎ＋１）を一時的に記憶する記憶手段である。
【００４３】
フレームメモリ１０は、ノイズ低減装置１にフレーム画像Ｆ（ｔｎ）が入力されると、既に記憶していた時間軸上で前のフレーム画像（ｔｎ−１）をフレームメモリ１１に出力するとともに、新しく入力されたフレーム画像Ｆ（ｔｎ）を記憶する。そして、フレームメモリ１０は、次のフレーム画像Ｆ（ｔｎ＋１）が入力されるまで、フレーム画像Ｆ（ｔｎ）を記憶保持するとともに、適宜に記憶しているフレーム画像Ｆ（ｔｎ）を静領域処理手段２０に出力する。
【００４４】
ノイズ低減装置１にフレーム画像Ｆ（ｔｎ）が入力され、フレームメモリ１０からフレームメモリ１１にフレーム画像Ｆ（ｔｎ−１）が出力されると、フレームメモリ１１は、既に記憶していた時間軸上で更に前のフレーム画像（ｔｎ−２）をフレームメモリ１２に出力するとともに、フレームメモリ１０から入力したフレーム画像Ｆ（ｔｎ−１）を記憶する。そして、ノイズ低減装置１に、更に次のフレーム画像Ｆ（ｔｎ＋１）が入力されるまで、フレーム画像Ｆ（ｔｎ−１）を保持するとともに、適宜に記憶しているフレーム画像Ｆ（ｔｎ−１）を静領域処理手段２０及び動領域処理手段３０に出力する。
【００４５】
ノイズ低減装置１にフレーム画像Ｆ（ｔｎ）が入力され、フレームメモリ１１からフレームメモリ１２にフレーム画像Ｆ（ｔｎ−２）が出力されると、フレームメモリ１２は、フレーム画像Ｆ（ｔｎ−２）を入力して記憶する。そして、ノイズ低減装置１に、更に次のフレーム画像Ｆ（ｔｎ＋１）が入力されるまで、フレーム画像Ｆ（ｔｎ−２）を保持するとともに、適宜に記憶しているフレーム画像Ｆ（ｔｎ−２）を静領域処理手段２０に出力する。
【００４６】
以上説明したように、フレームメモリ１０，１１，１２は、それぞれ時間軸上で連続する３つのフレーム画像Ｆ（ｔｎ），Ｆ（ｔｎ−１），Ｆ（ｔｎ−２）を記憶している状態において、ノイズ低減装置１に、次のフレーム画像Ｆ（ｔｎ＋１）が入力されると、フレームメモリ１０，１１，１２に記憶されているフレーム画像Ｆ（ｔｎ），Ｆ（ｔｎ−１），Ｆ（ｔｎ−２）は順次隣接するフレームメモリにシフトする。その結果、図１に示したように、フレームメモリ１０，１１，１２は、それぞれフレーム画像Ｆ（ｔｎ＋１），Ｆ（ｔｎ），Ｆ（ｔｎ−１）を記憶した状態となり、静領域処理手段２０は、時間軸上で連続する３つのフレーム画像Ｆ（ｔｎ＋１），Ｆ（ｔｎ），Ｆ（ｔｎ−１）を参照することができるようになる。
同様にして、直列に接続するフレームメモリを増加することにより、更に多数のフレーム画像を参照することができる。
【００４７】
静領域処理手段２０は、高周波数成分低減手段２１を備えて構成されており、高周波数成分低減手段２１によって、フレームメモリ１０，１１及び１２から、それぞれフレーム画像Ｆ（ｔｎ＋１）、Ｆ（ｔｎ）及びＦ（ｔｎ−１）を入力し、領域判別装置２から入力した領域判別マップＲ（ｔｎ）において静領域であることを示す領域（ブロックＢＢ）に対して、時間軸方向における高周波数成分を低減して、静領域フレーム画像Ｆｓ（ｔｎ）として処理選択手段５０に出力する。
高周波数成分低減手段２１は、例えば、時間軸方向における複数の画素を参照して平均化フィルタ処理を施す線形フィルタや、時間軸方向における複数の画素を参照してメディアンフィルタ処理を施す非線形フィルタを用いることができる。
【００４８】
ここで、図３を参照して時間軸方向における高周波数成分の低減処理について説明する。
高周波数成分低減手段２１は、図３に示したように、時間軸方向に連続する３つのフレーム画像Ｆ（ｔｎ＋１）、Ｆ（ｔｎ）及びＦ（ｔｎ−１）の画像平面内の同じ位置（ｉ，ｊ）における画素Ｆ（ｔｎ＋１）（ｉ，ｊ）、Ｆ（ｔｎ）（ｉ，ｊ）及びＦ（ｔｎ−１）（ｉ，ｊ）を参照して、処理対象である注目フレームの注目画素Ｆ（ｔｎ）（ｉ，ｊ）に対する処理を施すものである。ここで、ｉ及びｊは、それぞれフレーム画像内の水平方向及び垂直方向の位置を示すインデックスである。
【００４９】
時間軸方向における画素の平均化フィルタ処理とは、時間軸方向に連続するフレーム画像Ｆ（ｔｎ＋１）、Ｆ（ｔｎ）及びＦ（ｔｎ−１）などの画像平面内の同じ位置の画素の平均を算出し、処理対象である注目フレームの注目画素の値とするものである。連続する３つのフレームを参照する場合は、式（１−１）のようにして時間軸方向における平均化フィルタ処理を行うことができる。
【００５０】
Ｆｓ（ｔｎ）（ｉ，ｊ）＝
｛ Ｆ（ｔｎ−１）（ｉ，ｊ）
＋ Ｆ（ｔｎ ）（ｉ，ｊ）
＋ Ｆ（ｔｎ＋１）（ｉ，ｊ） ｝ ／ ３ …式（１−１）
【００５１】
時間軸方向における平均化フィルタ処理では、時間軸方向の画像の変化が抑圧される。すなわち、激しい動きを鈍くするものである。ここで、時間軸方向に変化する粒状ノイズ、例えば、フレームごとにノイズが出現したり消滅したりするノイズは、画像のちらつきとして認識される。時間軸方向に平均化フィルタ処理することにより、このようなちらつきとして認識されるノイズを効果的に低減することができる。一方、静領域とは、画像信号の変化のない領域のことであるから、時間軸方向において平均化フィルタ処理を施しても本来の画質が劣化することはない。そのため、総合的に見ると、ノイズが低減して画質が向上する静領域に適したノイズ低減処理である。
【００５２】
また、時間軸方向におけるメディアンフィルタ処理とは、時間軸方向に連続するフレーム画像Ｆ（ｔｎ＋１）、Ｆ（ｔｎ）及びＦ（ｔｎ−１）などの画像平面内の同じ位置の画素の中央値を算出し、処理対象である注目フレームの注目画素の値とするものである。連続する３つのフレームを参照する場合は、式（１−２）のようにして時間軸方向におけるメディアンフィルタ処理を行うことができる。
【００５３】
Ｆｓ（ｔｎ）（ｉ，ｊ）＝
ｍｅｄｉａｎ（
Ｆ（ｔｎ−１）（ｉ，ｊ），Ｆ（ｔｎ）（ｉ，ｊ），Ｆ（ｔｎ＋１）（ｉ，ｊ））
…式（１−２）
但し、ｍｅｄｉａｎ（ａ，ｂ，ｃ）は、ａ，ｂ，ｃの内の中央値を出力する関数である。
【００５４】
メディアンフィルタ処理は、信号の変化を平坦化する一種のＬＰＦ（ローパス・フィルタ）としての機能を有するものであるが、信号の立ち上がり又は立ち下がりエッジを保存する特性を有している。従って、信号振幅の大きい画像信号に、粒状性ノイズのような小振幅のノイズが重畳されている場合、小振幅信号には平坦化作用が働き、画像信号のエッジの急峻な大振幅信号はその急峻さや位置が損なわれることなく出力される。
【００５５】
なお、時間軸方向における平均化フィルタ処理やメディアンフィルタ処理において、参照するフレームは３フレームに限定されず、２フレームや５フレームなどとすることもできる。また、例えば、平均化フィルタ処理において、３フレームの平均化処理の場合で５ｄＢ、５フレームの平均化処理では７ｄＢのノイズレベルの低減効果を得ることができる。
【００５６】
図１に戻って（適宜図２参照）、動領域処理手段３０は、ブロック分割手段（動領域処理ブロック分割手段）３１と、ＤＣＴ（離散コサイン変換）処理手段（動領域処理ブロック直交変換手段）３２と、コアリング処理手段３３と、逆ＤＣＴ（逆離散コサイン変換）処理手段（動領域処理ブロック逆直交変換手段）３４と、コアリングレベル設定手段４０とを備えて構成されている。
動領域処理手段３０は、フレームメモリ１１からフレーム画像Ｆ（ｔｎ）を入力し、領域判別装置２から入力した領域判別マップＲ（ｔｎ）において動領域であることを示す領域（ブロックＢＢ）に対して、画像平面内における高空間周波数成分を低減した処理を施して、動領域フレーム画像Ｆｄ（ｔｎ）として処理選択手段５０に出力するものである。
【００５７】
第１実施形態のノイズ低減装置１における動領域処理手段３０は、画像平面内における高空間周波数成分を低減する処理法として、コアリング処理を用いる。
ここで、図４及び図５を参照して、コアリング処理について説明する。
【００５８】
第１実施形態のノイズ低減装置１における動領域処理手段３０は、図４の（１）に示したように、画素ｐ１１〜ｐ５５からなる処理対象の５×５の画素配列を、直交変換であるＤＣＴ処理をして、図４の（２）に示したように、空間周波数成分を示す係数ｘ１１〜ｘ５５からなる５×５の係数配列であるＤＣＴ係数ＫＤＣＴに変換する。ここで、係数ｘ１１は直流成分を示し、他の係数ｘ１２〜ｘ５５は交流成分を示す。また、交流成分を示す各係数ｘ１２〜ｘ５５は、係数配列の右側ほど水平方向の空間周波数が高く、下側ほど垂直方向の空間周波数が高い成分を表す。
【００５９】
なお、ＤＣＴ処理の単位となる画素配列（ブロック（動領域処理ブロック）Ｂ）のサイズは５×５に限定されるものではないが、領域判別の単位であるブロックＢＢの形状と同じとすることで、処理の切り替えを効率的に行うことができる。また、静領域処理と動領域処理を並列に行って、両者の処理結果を処理選択手段５０で選択するように構成する場合は、領域判別のブロックＢＢの形状と動領域処理のブロックＢの形状とを独立して設定することができる。
また、画像を空間周波数成分に変換する直交変換の手法としては、ＤＣＴのほかに、離散フーリエ変換やアダマール変換などを用いることもできる。
ここでは、直交変換としてＤＣＴを用い、ＤＣＴ処理の単位であるブロックＢは、領域判別の単位であるブロックＢＢと同じである場合について説明する。
【００６０】
コアリング処理とは、図５の（１）に示したように、ノイズのＲＭＳ（Root Mean Square：二乗平均平方根）値に相当する振幅分をコアリングレベルＥＣＯＲとして予め設定しておき、交流成分を示す各ＤＣＴ係数ｘａ、ｘｂ、…、ｘｇからコアリングレベルＥＣＯＲを減じることで、図５の（２）に示したように交流成分を一律に低減させる。そして、直流成分とコアリング処理を施した交流成分の係数ｘ’ａ、ｘ’ｂ、…、ｘ’ｇからなるＤＣＴ係数を逆ＤＣＴ処理（逆直交変換処理）することにより、高空間周波数成分を低減した画像に変換することができる。
【００６１】
図５に示したＤＣＴ係数ｘａ、ｘｂ、…、ｘｇは、図４の（２）に示したＤＣＴ係数ＫＤＣＴの交流成分を示す係数ｘ１２〜ｘ５５を空間周波数が低い方から高い方へ模式的に並べたものである。コアリング処理では、一般的に、高空間周波数成分の低減率が高くなるため、特に粒状性ノイズのような高空間周波数成分を多く含むノイズを効果的に低減できる。また、高空間周波数成分が低減されることで画像にボケが生じるが、時間軸方向に画像の変化がある動領域においては、画質劣化として認識されにくいという視覚特性がある。そのため、総合的に見ると、ノイズが低減して画質が向上する動領域に適したノイズ低減処理である。
【００６２】
図１に戻って、動領域処理手段３０のブロック分割手段（動領域処理ブロック分割手段）３１は、処理対象である注目フレームＦ（ｔｎ）を、ＤＣＴ処理の単位である５×５のブロック（動領域処理ブロック）Ｂに分割し、ブロックＢごとに当該ブロックＢを構成する画素データをＤＣＴ処理手段３２に出力する。
【００６３】
ＤＣＴ処理手段（動領域処理ブロック直交変換手段）３２は、ブロック分割手段３１から入力したブロックＢの画素データをＤＣＴ処理して、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換し、コアリング処理手段３３に出力する。
【００６４】
コアリング処理手段３３は、ＤＣＴ処理手段３２から入力したＤＣＴ係数ＫＤＣＴの交流成分を示す各係数ｘ１２〜ｘ５５から、コアリングレベル設定手段４０のコアリングレベル調整手段４２から入力したコアリングレベルＥＣＯＲを減じるコアリング処理を行い、直流成分を示す係数ｘ１１とコアリング処理後の交流成分を示す係数ｘ’１２〜ｘ’５５とからなるＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段３４に出力する。
【００６５】
逆ＤＣＴ処理手段（動領域処理ブロック逆直交変換手段）３４は、コアリング処理手段３３から入力したコアリング処理後のＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理して（図４に示したＤＣＴ処理の逆方向の変換処理）、高空間周波数成分が低減された５×５のサイズの画像に変換し、ブロックＢＢに対応する動領域フレーム画像Ｆｄ（ｔｎ）として処理選択手段５０に出力する。
【００６６】
コアリングレベル設定手段４０は、設定用ノイズレベル検出手段４１とコアリングレベル調整手段４２とを備えて構成されており、フレーム画像Ｆ（ｔｎ）に重畳されている画像平面内のノイズレベルＥを検出し、検出したノイズレベルＥと外部から入力したコアリングレベル調整値αとに基づいてコアリングレベルＥＣＯＲを調整し、コアリング処理手段３３に出力してコアリング処理のために設定するものである。
【００６７】
次に、図６及び図７を参照（適宜図１参照）して、第１実施形態におけるコアリングレベル設定手段４０の詳細な構成について説明する。
【００６８】
図６に示した第１実施形態における設定用ノイズレベル検出手段４１は、フレーム画像Ｆ（ｔｎ）を、予め定めた形状のブロック（ノイズ検出ブロック）Ｃに分割し、ブロックＣごとにＤＣＴ処理して空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換し、交流成分の平均である交流成分平均ＫＡＶＥを算出する。そしてフレーム画像Ｆ（ｔｎ）内の各ブロックＣにおける交流成分平均ＫＡＶＥの中から最小値を抽出し、抽出した交流成分平均ＫＡＶＥの最小値をノイズレベルＥとするものである。
【００６９】
設定用ノイズレベル検出手段４１は、ブロック分割手段４１ａと、ＤＣＴ処理手段４１ｂと、交流成分平均算出手段４１ｃと、最小値抽出手段４１ｄとを備えて構成されている。設定用ノイズレベル検出手段４１は、コアリングレベルＥＣＯＲを設定するための基となるノイズレベルを検出するものである。
【００７０】
ブロック分割手段（ノイズ検出ブロック分割手段）４１ａは、プリスキャン（予備撮影）して得たフレーム画像Ｆ（ｔｎ）を、予め定められた形状のブロック（ノイズ検出ブロック）Ｃに分割し、分割した各ブロックＣごとに、ブロックＣを構成する画素データをＤＣＴ処理手段４１ｂに出力する。第１実施形態における設定用ノイズレベル検出手段４１は、図７の（１）に点線で示したように、フレーム画像Ｆ（ｔｎ）を、まず３２×３２のブロックに分割し、各３２×３２サイズのブロックの一部にハッチングを施して示した１１×１１のブロックＣを構成する画素データを参照する。例えば、フレーム画像Ｆ（ｔｎ）の画像サイズがフルハイビジョンサイズである１９２０×１０８０の場合には、水平方向に１９２０／３２＝６０ブロック、垂直方向に１０８０／３２≒３３ブロックに分割し、フレーム画像Ｆ（ｔｎ）内の６０×３３＝１９８０箇所の１１×１１サイズのブロックＣを構成する画素データを順次にＤＣＴ処理手段４１ｂに出力する。
【００７１】
カメラ撮影において画像に重畳される粒状性ノイズは、主として高空間周波数成分を多く含むため、ノイズレベル検出のために用いる画像には、エッジや細密な模様などが含まれない平坦な画像領域、すなわち画像信号として高空間周波数成分を多く含まない画像領域が適している。このような画像領域の高空間周波数成分の大きさによってノイズレベルを評価することができる。そこで、分割した複数のブロックＣの中の、少なくとも１個のブロックＣが前記したような平坦画像領域に割り当てられればノイズレベルを適切に検出することができる。従って、第１実施形態の設定用ノイズレベル検出手段４１は、フレーム画像Ｆ（ｔｎ）の全領域を参照する必要はなく、全領域から一部の領域を間引いて参照するものである。
【００７２】
ここで、エッジなどの高空間周波数成分を多く含む画像が、１フレーム内に５００箇所程度含まれることが実験的に分かっているため、少なくとも１個のブロックＣが、エッジなどを含まない平坦な画像領域に割り当てられるように、ブロックＣの参照箇所は５００箇所以上とすることが望ましい。そこで、第１実施形態では、フルハイビジョンサイズの画像に適用した場合、前記したように１９８０箇所のブロックＣを参照するように構成されている。
なお、プリスキャン時には、画像の高空間周波数成分を抑制するために、わざとフォーカスをぼかして撮影するようにしてもよい。
【００７３】
また、図７の（２）に点線で示したように、フレーム画像Ｆ（ｔｎ）の全領域を１１×
１１の形状のブロックに分割し、これらのブロック中からハッチングを施して示したブロックＣを選択して、ノイズレベル検出のために参照するようにしてもよい。図７の（２）に示した例では、水平方向、垂直方向ともに、３ブロックに１ブロックの割合で抽出しているため、フレーム画像Ｆ（ｔｎ）が、フルハイビジョンサイズの画像の場合では、水平方向に１９２０／１１／３≒５８ブロック、垂直方向に１０８０／１１／３≒３２ブロックであり、合計で５８×３２＝１８５６箇所のブロックＣを参照することができる。
【００７４】
ＤＣＴ処理手段（ノイズ検出ブロック直交変換手段）４１ｂは、ブロック分割手段４１ａから入力したブロックＣを構成する画素配列を、ＤＣＴ処理手段３２と同様にＤＣＴ処理して、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換して、交流成分平均算出手段４１ｃに出力する。なお、ブロックＣを構成する画素サイズが１１×１１の場合には、空間周波数成分ｘ１１〜ｘ１１ １１（水平方向に１番目かつ垂直方向に１番目の成分から、水平方向に１１番目かつ垂直方向に１１番目の成分）までの１２１個の要素からなるＤＣＴ係数ＫＤＣＴに変換される。図４の（２）と同様にＤＣＴ係数ＫＤＣＴを表すと、何れのサイズの場合でも、配列の左上の要素ｘ１１が直流成分であり、右側ほど水平方向の空間周波数が高く、下側ほど垂直方向の空間周波数の高い成分の係数を示す。
【００７５】
交流成分平均算出手段４１ｃは、ＤＣＴ処理手段４１ｂからＤＣＴ係数ＫＤＣＴ入力し、ＤＣＴ係数ＫＤＣＴの交流成分を示す係数の平均である交流成分平均ＫＡＶＥを算出して、算出した交流成分平均ＫＡＶＥを最小値抽出手段４１ｄに出力する。
【００７６】
ここで、交流成分平均ＫＡＶＥは、交流成分を示す各係数ｘ１２〜ｘ１１ １１（水平方向に１番目かつ垂直方向に２番目の成分から、水平方向に１１番目かつ垂直方向に１１番目の成分までの１２０個の係数）の単純平均やＲＭＳ（Root Mean Square：二乗平均平方根）とすることができる。また、交流成分平均ＫＡＶＥは、例えば、高空間周波数成分ほど重みを大きくした加重平均や、係数配列において右下の三角領域に配列される高空間周波数成分のみの平均を算出して用いるようにしてもよい。特に粒状性ノイズは高空間周波数成分が主体であるため、高空間周波数成分の量を重点的に評価することで、コアリング処理で除去すべきノイズレベルを適切に検出することができる。
【００７７】
最小値抽出手段４１ｄは、交流成分平均算出手段４１ｃからブロックＣごとに入力される交流成分平均ＫＡＶＥの中から内の最小値を抽出し、抽出した最小値をフレーム画像Ｆ（ｔｎ）から検出したノイズレベルＥとして、コアリングレベル調整手段４２に出力する。
【００７８】
コアリングレベル調整手段４２は、最小値抽出手段４１ｄから入力したノイズレベルＥに、不図示のキーボードやマウス、調整つまみなどの入力手段を介して外部から入力されたコアリングレベル調整値αを乗じてコアリングレベルＥＣＯＲを算出し、コアリング処理手段３３に出力する。
【００７９】
第１実施形態におけるコアリングレベル設定手段４０では、設定用ノイズレベル検出手段４１で検出したノイズレベルＥにコアリングレベル調整値を乗じて、コアリングレベルＥＣＯＲを調整できるように構成している。これは、ノイズレベルＥをコアリングレベルＥＣＯＲとしてコアリング処理した場合に、ノイズが十分に低減される一方で、画像信号の高空間周波数成分が低減され過ぎてノイズ低減処理後の画像の鮮鋭度が低下し過ぎないように調整するためである。
【００８０】
コアリングレベル調整値αは、０〜１の任意の実数値とすることができるが、外部からコアリングレベル調整値αを入力せずに、例えば、信号対雑音比が５ｄＢ（＝１０ｌｏｇ（１−α））程度改善できるように、常にα＝０．７として、ノイズレベルＥを調整してコアリングレベルＥＣＯＲとするようにしてもよい。また、固定した調整値としてα＝０．７とするか、調整を行わずにα＝１とするかを外部から選択可能なように構成してもよい。
なお、常にノイズレベルＥをコアリングレベルＥＣＯＲとして用いる場合は、コアリングレベル調整手段４２は省略することができる。
【００８１】
図１に戻って、ノイズ低減装置１の構成について説明を続ける。
処理選択手段５０は、静領域処理手段２０及び動領域処理手段３０から、それぞれ静領域フレーム画像Ｆｓ（ｔｎ）及び動領域フレーム画像Ｆｄ（ｔｎ）を入力し、領域判別装置２から入力した領域判別マップＲ（ｔｎ）に従って、静領域であることを示す領域に対しては、静領域フレーム画像Ｆｓ（ｔｎ）をフレームメモリ６０に出力し、動領域であることを示す領域に対しては、動領域フレーム画像Ｆｄ（ｔｎ）をフレームメモリ６０に出力する。
【００８２】
フレームメモリ６０は、処理選択手段５０によって領域判別マップＲ（ｔｎ）に従って、ブロックＢＢごとに選択された静領域フレーム画像Ｆｓ（ｔｎ）又は動領域フレーム画像Ｆｄ（ｔｎ）を順次記憶し、１フレーム分蓄積すると、ノイズ低減処理されたフレーム画像Ｆ’（ｔｎ）として外部に出力する記憶手段である。
【００８３】
なお、第１実施形態のノイズ低減装置１では、静領域処理手段２０及び動領域処理手段３０は、領域判別装置２から入力した領域判別マップＲ（ｔｎ）に従って、択一的に処理を行うようにしたが、静領域処理手段２０及び動領域処理手段３０によって、領域判別マップＲ（ｔｎ）に関わらず、フレーム画像Ｆ（ｔｎ）の全領域に対して、それぞれ並行して処理を行うようにし、処理選択手段５０によって、静領域処理手段２０又は動領域処理手段３０の処理結果である静領域フレーム画像Ｆｓ（ｔｎ）又は動領域フレーム画像Ｆｄ（ｔｎ）を、択一的に選択してフレームメモリ６０に出力するようにしてもよい。
【００８４】
領域判別装置２は、ノイズ低減システム１００に入力される動画像Ｆを構成するフレーム画像Ｆ（ｔｎ）を順次に入力し、入力したフレーム画像Ｆ（ｔｎ）を予め定めた形状である５×５のサイズのブロックＢＢごとに、当該ブロックが動領域か静領域かを判別し、その領域判別結果と当該ブロックのフレーム画像Ｆ（ｔｎ）の画像平面における位置とを対応づけた領域判別マップＲ（ｔｎ）を作成する。そして、領域判別装置２は、作成した領域判別マップＲ（ｔｎ）を静領域処理手段２０、動領域処理手段３０及び処理選択手段５０に出力する。
【００８５】
ここで、図８を参照して、領域判別装置２の構成について詳細に説明する。
図８に示した領域判別装置２は、動画像を構成するフレーム画像Ｆ（ｔｎ―２）、Ｆ（ｔｎ―１）、Ｆ（ｔｎ）、Ｆ（ｔｎ＋１）、Ｆ（ｔｎ＋２）…、を順次に入力し、フレームごとに、フレーム画像Ｆ（ｔｎ）などをブロックＢＢ（領域判別ブロック）に分割して、各ブロックＢＢが動きのある動領域か、動きのない静領域かを判別し、各ブロックＢＢの領域判別結果ｒとフレーム画像Ｆ（ｔｎ）の画像面内における当該ブロックＢＢの位置とを対応づけて構成した領域判別マップＲ（ｔｎ）を出力する。
なお、Ｆ（ｔｎ）及びＲ（ｔｎ）は、それぞれ時間ｔｎにおけるフレーム画像及び領域判別マップを示し、後記するように、フレーム画像Ｆ（ｔｎ）の入力に対する領域判別マップＲ（ｔｎ）は、１フレーム周期遅れて出力される。
【００８６】
図８に示した領域判別装置２は、ブロック分割手段２１０と、ブロック画素記憶手段２１１と、差分平均算出手段２１２と、正規化手段２１３と、最大値抽出手段２１４と、領域判別手段２１５と、領域判別マップ記憶手段２１６と、差分計算設定手段２１７と、ノイズレベル設定手段２１８と、判別閾値設定手段２１９と、を備えて構成されている。
【００８７】
ブロック分割手段２１０は、フレーム順次で入力される動画像を構成するフレーム画像Ｆ（ｔｎ）を、画像面内で５×５画素の形状のブロック（領域判別ブロック）ＢＢに分割して、ブロックＢＢごとに、ブロックＢＢを構成する画素データをブロック画素記憶手段２１１に出力する。
【００８８】
ここで、図２及び図９を参照（適宜図８参照）して、領域判別装置２における領域判別の単位であるブロックＢＢの分割と、フレーム間のブロックＢＢの参照の様子について説明する。
【００８９】
ブロック分割手段２１０は、フレーム画像Ｆ（ｔｎ）内を、予め定めた形状として図２に示した５×５画素の形状のブロックＢＢに分割し、順次に各ブロックＢＢを構成する画素データをブロック画素記憶手段２１１の後フレーム画素記憶手段２１１１に出力する。
また、ブロック分割手段２１０は、図９に示したように、時間軸方向に連続する各フレーム画像Ｆ（ｔｎ−１）、Ｆ（ｔｎ）、Ｆ（ｔｎ＋１）を順次にブロック分割する際に、それぞれ画像面内の同じ位置に対応するブロックＢＢｎ−１、ＢＢｎ、ＢＢｎ＋１が分割されるようにする。
【００９０】
ここで、ブロックＢＢの形状（サイズ）は、画像信号の高空間周波数成分を十分に検出できる大きさが必要であり、３×３よりも大きいことが好ましい。一方、画像領域をきめ細かく領域判別するためにはブロックＢＢのサイズは小さい方が好ましく、１１×１１より小さいことが好ましい。ここでは、ブロックＢＢの形状を５×５として説明する。
また、ブロックＢＢの形状は、５×５、４×４、７×７、８×８のように正方形に限定されず、例えば、８×４のように横方向（水平方向）と縦方向（垂直方向）とでサイズを異なるようにしてもよい。
【００９１】
図８に戻って（適宜図２及び図９参照）、ブロック画素記憶手段２１１は、直列に接続された後フレーム画素記憶手段２１１１、注目フレーム画素記憶手段２１１２及び前フレーム画素記憶手段２１１３を備えて構成されている。ブロック画素記憶手段２１１は、ブロック分割手段２１０から順次に出力されるブロックＢＢの画素データを記憶し、連続する３つのフレームにおいて、画像平面内の同じ位置に対応するブロックＢＢ３、ＢＢ２、ＢＢ１の画素データを読み出して、同時に参照できるようにするための記憶手段である。
なお、ブロックＢＢ１は、時間軸方向に連続する３つのフレームの内の、時間軸上で前のフレーム（前フレーム）におけるブロックを示し、ブロックＢＢ２は、時間軸上で中央のフレーム（処理対象となる注目フレーム）におけるブロックを示し、ブロックＢＢ３は、時間軸上で後のフレーム（後フレーム）におけるブロックを示すものとする。
【００９２】
後フレーム画素記憶手段２１１１は、ブロック分割手段２１０から入力して記憶したフレーム画像Ｆ（ｔｎ）におけるブロックＢＢｎの画素データを、後フレームのブロックＢＢ３の画素データとして差分平均算出手段２１２の差分算出手段２１２１に出力する。
また、後フレーム画素記憶手段２１１１は、１フレームの処理が終了すると、不図示のフレーム同期信号に同期して、記憶している画素データを注目フレーム画素記憶手段２１１２に出力する。そして、ブロック分割手段２１０から入力される次のフレーム画像、すなわち時間ｔｎ＋１におけるフレーム画像Ｆ（ｔｎ＋１）のブロックＢＢｎ＋１の画素データを、次の後フレームのブロックＢＢ３の画素データとして記憶する。
【００９３】
一方、注目フレーム画素記憶手段２１１２は、後フレーム画素記憶手段２１１１がフレーム画像Ｆ（ｔｎ）におけるブロックＢＢｎの画素データを後フレームのブロックＢＢ３の画素データとして出力している期間に、時間軸上で前のフレーム画像Ｆ（ｔｎ−１）におけるブロックＢＢｎ―１の画素データを、注目フレームのブロックＢＢ２の画素データとして差分算出手段２１２１に出力する。１フレームの処理が終了すると、注目フレーム画素記憶手段２１１２は、不図示のフレーム同期信号に同期して、記憶している画素データを前フレーム画素記憶手段２１１３に出力するとともに、後フレーム画素記憶手段２１１１から入力されるフレーム画像Ｆ（ｔｎ）のブロックＢＢｎの画素データを、次の注目フレームにおけるブロックＢＢ２の画素データとして記憶する。
【００９４】
同様に、前フレーム画素記憶手段２１１３は、注目フレーム画素記憶手段２１１２がフレーム画像Ｆ（ｔｎ−１）におけるブロックＢＢｎ―１の画素データを注目フレームのブロックＢＢ２の画素データとして出力している期間に、時間軸上で更に前のフレーム画像Ｆ（ｔｎ−２）におけるブロックＢＢｎ―２（不図示）画素データを、前フレームのブロックＢＢ１の画素データとして差分算出手段２１２１に出力する。１フレームの処理が終了すると、前フレーム画素記憶手段２１１３は、不図示のフレーム同期信号に同期して、注目フレーム画素記憶手段２１１２から入力されるフレーム画像Ｆ（ｔｎ―１）のブロックＢＢｎ―１の画素データを、次の前フレームにおけるブロックＢＢ１の画素データとして記憶する。
【００９５】
以上のようにして、ブロック画素記憶手段２１１は、ブロック分割手段２１０からフレームごとに入力したブロックＢＢの画素データを、フレーム同期信号に同期して、後フレーム画素記憶手段２１１１、注目フレーム画素記憶手段２１１２及び前フレーム画素記憶手段２１１３にシフトして記憶する。そして、後フレーム画素記憶手段２１１１、注目フレーム画素記憶手段２１１２及び前フレーム画素記憶手段２１１３は、それぞれブロックＢＢ３、ＢＢ２、ＢＢ１の画素データとして記憶した連続する３つのフレームの画素データを差分算出手段２１２１に出力することで、差分算出手段２１２１は、注目フレームと前後のフレームの、画像平面内の同じ位置から分割された処理対象である注目ブロックＢＢのデータを同時に参照することができる。
【００９６】
差分平均算出手段２１２は、差分算出手段２１２１と、平均算出手段２１２２と、を備えて構成されており、注目ブロックＢＢ内の画素のフレーム間の差分の大きさの平均である差分平均Ｇ１、Ｇ２、Ｇ３を、注目ブロックＢＢ内の画像の動きの大きさを示す量（動き成分量）として算出して、正規化手段２１３に出力するものである。
【００９７】
差分算出手段２１２１は、ブロック画素記憶手段２１１の前フレーム画素記憶手段２１１３、注目フレーム画素記憶手段２１１２及び後フレーム画素記憶手段２１１１から出力されるブロックＢＢ１、ＢＢ２、ＢＢ３の画素データを入力し、差分計算設定手段２１７から入力する設定値ＳＥＬに従って、画素ごとにフレーム間の差分Ｄ１、Ｄ２、Ｄ３を算出して平均算出手段２１２２に出力する。
【００９８】
ここで、ブロックＢ１、差分Ｄ１などのブロック内の位置（ｉ，ｊ）における画素値及び差分値を、それぞれＢ１（ｉ，ｊ）、Ｄ１（ｉ，ｊ）のように表すと、式（２−１）〜式（２−３）のような関係となる。
【００９９】
Ｄ１（ｉ，ｊ） ＝ ＢＢ１（ｉ，ｊ） − ＢＢ２（ｉ，ｊ） …式（２−１）
Ｄ２（ｉ，ｊ） ＝ ＢＢ２（ｉ，ｊ） − ＢＢ３（ｉ，ｊ） …式（２−２）
Ｄ３（ｉ，ｊ） ＝ ＢＢ１（ｉ，ｊ） − ＢＢ３（ｉ，ｊ） …式（２−３）
【０１００】
なお、設定値ＳＥＬは、前記した３種類の差分Ｄ１、Ｄ２、Ｄ３から、実際に算出する差分の種別を選択するための選択信号である。
例えば、“０”又は“１”の値をとるものであり、設定値ＳＥＬが“１”の場合は、差分平均算出手段２１２におけるフレーム間の差分平均として、前フレームと注目フレームとの間、後フレームと注目フレームとの間、及び前フレームと後フレームとの間の３種類の組み合わせによる差分平均を算出する。また、設定値ＳＥＬが“０”の場合は、差分平均算出手段２１２におけるフレーム間の差分平均として、前フレームと後フレームとの間の差分平均のみを算出し、計算の簡略化を選択できるようになっている。
【０１０１】
平均算出手段２１２２は、差分算出手段２１２１から差分Ｄ１、Ｄ２、Ｄ３を入力し、当該３種類の差分Ｄ１、Ｄ２、Ｄ３ごとに、差分の大きさの平均である差分平均Ｇ１、Ｇ２、Ｇ３を算出して正規化手段２１３に出力する。なお、差分計算設定手段２１７から入力した設定値ＳＥＬが“０”の場合には、平均算出手段２１２２は、差分平均Ｇ３のみを算出して正規化手段２１３に出力する。
【０１０２】
ここで、差分平均Ｇ１は、式（３−１）及び式（３−２）に示したように、差分Ｄ１（ｉ，ｊ）の絶対値の平均やＲＭＳ（Root Mean Square：二乗平均平方根）とすることができる。また、式（３−３）に示したように、ＲＭＳの平方根の計算を省略して二乗平均を差分平均Ｇ１として用いるようにしてもよい。差分平均Ｇ２、Ｇ３についても同様である。
【０１０３】
Ｇ１ ＝ Σ｜Ｄ１（ｉ，ｊ）｜／Ｎ …式（３−１）
Ｇ１ ＝ √｛ΣＤ１（ｉ，ｊ）２／Ｎ｝ …式（３−２）
Ｇ１ ＝ ΣＤ１（ｉ，ｊ）２／Ｎ …式（３−３）
【０１０４】
但し、式（３−１）〜式（３−３）において、ＮはブロックＢＢ内の画素数を示し、５×５サイズの場合はＮ＝２５である。また、ｉ及びｊは、それぞれ画素のブロックＢＢ内における水平方向及び垂直方向の位置を示すインデックスであり、Σは、ブロックＢＢ内のすべての画素位置（ｉ，ｊ）についての和を表すものとする。
【０１０５】
正規化手段２１３は、差分平均算出手段２１２から入力した差分平均Ｇ１、Ｇ２、Ｇ３を、ノイズレベル設定手段２１８から入力したノイズレベルＥＥで除することにより正規化して、正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３を算出し、算出した正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３を最大値抽出手段２１４に出力する。
【０１０６】
ここで、ノイズレベルか、あるいは誤判別を低減するためノイズレベルを少し超えたレベルかを予め判別閾値として設定しておき、画像の動き成分量として算出した差分平均Ｇ１、Ｇ２又はＧ３の何れかが判別閾値を超えた場合に、当該ブロックを画像に動きがある動領域と判別することができる。しかし、一般的に、領域判別する動画像ごとにＳＮＲ（信号対雑音比）は異なるため、適切に領域判別を行うためには、動画像ごとに判別閾値をチューニングする必要が生じる。
【０１０７】
そこで、ここでは、当該動画像に重畳されているノイズレベルＥＥを検出し、ノイズレベルＥＥで差分平均Ｇ１、Ｇ２、Ｇ３を除して正規化した正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３と、予め定めた判別閾値ＴＨＲを比較することで領域判別を行うものである。
これによって、動画像ごとに判別閾値ＴＨＲをチューニングする必要がなくなる。また、判別処理対象の動画像に関わらず、各動画像に共通の判別閾値ＴＨＲを調整して動領域の抽出漏れを低減したり、逆に動領域の検出過多を低減したりすることも可能である。
【０１０８】
最大値抽出手段２１４は、ブロックごとに、正規化手段２１３から入力した３つの正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３の内の最大値である最大正規化差分平均Ｇ’ｍａｘを抽出し、抽出した最大正規化差分平均Ｇ’ｍａｘを領域判別手段２１５に出力する。
【０１０９】
画像が時々刻々変化する動画像において、注目フレーム及び前後フレームの相互間で最も変化量の大きいフレーム間の正規化差分平均である最大正規化差分平均Ｇ’ｍａｘを、注目フレームにおける画像の動き成分量とすることで、動き成分量をより適切に検出することができる。
【０１１０】
なお、差分計算設定手段２１７によって設定値ＳＥＬに“０”が設定されている場合は、最大値抽出手段２１４に、正規化手段２１３からは正規化差分平均Ｇ’３のみが入力されるため、最大値の抽出処理をすることなく、正規化差分平均Ｇ’３を最大正規化差分平均Ｇ’ｍａｘとして領域判別手段２１５に出力する。
また、差分平均算出手段２１２が、常に差分平均Ｇ３のみ算出するように構成する場合は、最大値抽出手段２１４は省略することができる。
【０１１１】
領域判別手段２１５は、最大値抽出手段２１４から入力した正規化差分平均の最大正規化差分平均Ｇ’ｍａｘと、判別閾値設定手段２１９から入力した判別閾値ＴＨＲとを比較し、最大正規化差分平均Ｇ’ｍａｘが判別閾値ＴＨＲよりも大きいときに、注目ブロックＢＢを動領域であると判別し、最大正規化差分平均Ｇ’ｍａｘが判別閾値ＴＨＲ以下の場合に、注目ブロックＢＢを静領域と判別し、領域判別結果ｒを領域判別マップ記憶手段２１６に出力する。
なお、領域判別結果ｒは、例えば、動領域と判別したときは“１”の値をとり、静領域と判別したときは“０”の値をとるようにすることができる。
【０１１２】
領域判別マップ記憶手段２１６は、領域判別手段２１５から入力した領域判別結果ｒを、当該判別対象となった注目ブロックＢＢのフレーム画像Ｆ（ｔｎ）の画像面内における位置に対応づけた領域判別マップＲ（ｔｎ）として記憶する記憶手段である。領域判別マップ記憶手段２１６に記憶された領域判別マップＲ（ｔｎ）は、ノイズ低減装置１によるフレーム画像Ｆ（ｔｎ）の処理に同期してノイズ低減装置１に出力される。
ここで、注目フレーム画像Ｆ（ｔｎ）に対する領域判別結果ｒは、１フレーム周期後に入力されるフレーム画像Ｆ（ｔｎ＋１）を参照して出力されるため、フレーム画像Ｆ（ｔｎ）を入力する期間に出力される領域判別マップは、１フレーム周期前の、時間ｔｎ−１におけるフレーム画像Ｆ（ｔｎ−１）に対する領域判別マップＲ（ｔｎ−１）である。
【０１１３】
また、ノイズ低減装置１が、領域判別装置２による領域判別結果ｒの算出に同期して並行して処理を行うようにして、領域判別装置２は、領域判別マップＲ（ｔｎ）を作成せずに、領域判別手段２１５が判別した領域判別結果ｒを順次にノイズ低減装置１に出力するように構成してもよい。
【０１１４】
差分計算設定手段２１７は、前記したように、差分平均算出手段２１２において３つの差分平均Ｇ１、Ｇ２、Ｇ３を算出するか、１つの差分平均Ｇ３を算出するかを選択する設定値ＳＥＬを差分平均算出手段２１２に出力する。設定値ＳＥＬは、不図示のスイッチやキーボード、マウスなどの入力手段を介して操作者が設定できるように構成されている。
【０１１５】
ノイズレベル設定手段２１８は、フレーム画像Ｆ（ｔｎ）を入力して、入力したフレーム画像Ｆ（ｔｎ）からノイズレベルＥＥを検出し、検出したノイズレベルＥＥを正規化手段２１３に出力して差分平均Ｇ１、Ｇ２、Ｇ３の正規化のために設定する。
【０１１６】
ノイズレベル設定手段２１８は、判別対象となる動画像の入力に先立って、当該動画像を生成するカメラを用いて、濃淡のある通常の風景などをプリスキャン（予備撮影）し、プリスキャンして得たフレーム画像Ｆ（ｔｎ）から、前記したカメラで本スキャン（本番の撮影）したときに動画像に重畳されると推測される画像平面内のノイズレベルＥＥを検出するものである。
ノイズレベル設定手段２１８の詳細な構成については後記する。
【０１１７】
判別閾値設定手段２１９は、領域判別のために用いる判別閾値ＴＨＲを設定し、領域判別手段２１５に出力する。判別閾値ＴＨＲは、不図示の調整つまみやキーボード、マウスなどの入力手段を介して操作者が設定できるように構成されている。
【０１１８】
次に、図１０を参照（適宜図８参照）して、ノイズレベル設定手段２１８について詳細に説明する。
【０１１９】
図１０に示したノイズレベル設定手段２１８は、フレーム画像Ｆ（ｔｎ）を、予め定めた形状のブロックＣＣに分割し、ブロックＣＣごとに直流成分を除去した直流成分除去画像ＣＣ’を算出して、この直流成分除去画像ＣＣ’を構成する各画素データの大きさの平均である画素平均Ｈに基づいて画像面内のノイズレベルＥＥを検出し、前記した正規化手段２１３による正規化処理に用いるために設定するものである。
ノイズレベル設定手段２１８は、ブロック分割手段２１８１と、直流成分除去画像算出手段２１８２と、画素平均算出手段２１８３と、最小値抽出手段２１８４とを備えて構成されている。
【０１２０】
ブロック分割手段２１８１は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を、予め定められた形状のブロックＣＣに分割し、分割したブロックＣＣごとに、ブロックＣＣを構成する画素データを直流成分除去画像算出手段２１８２に出力する。ノイズレベル設定手段２１８のブロック分割手段２１８１は、前記したコアリングレベル設定手段４０のブロック分割手段４１ａと同様に、図７の（１）又は（２）に示したブロックＣと同形状のブロックＣＣに分割し、ブロックＣＣを構成する画素データを順次に直流成分除去画像算出手段２１８２に出力する。
【０１２１】
なお、領域判別装置２のノイズレベル設定手段２１８に入力するプレスキャンして得たフレーム画像は、ノイズ低減装置１のコアリングレベル設定手段４０に入力するフレーム画像と同一のフレーム画像を用いることができる。
【０１２２】
直流成分除去画像算出手段２１８２は、ＤＣＴ処理手段２１８２ａと、直流成分除去手段２１８２ｂと、逆ＤＣＴ処理手段２１８２ｃとを備えて構成されており、ブロック分割手段２１８１から入力したブロックＣＣごとに、少なくとも直流成分を除去した直流成分除去画像ＣＣ’を算出して画素平均算出手段２１８３に出力するものである。
【０１２３】
ＤＣＴ処理手段２１８２ａは、ブロック分割手段２１８１から入力したブロックＣＣを構成する画素データをＤＣＴ処理してＤＣＴ係数ＫＤＣＴに変換し、変換したＤＣＴ係数ＫＤＣＴを直流成分除去手段２１８２ｂに出力する。
ＤＣＴ処理手段２１８２ａは、図６に示したコアリングレベル設定手段４０のＤＣＴ処理手段４１ｂと同様であるので、詳細な説明は省略する。
【０１２４】
直流成分除去手段２１８２ｂは、ＤＣＴ処理手段２１８２ａから入力したＤＣＴ係数ＫＤＣＴから、少なくとも直流成分を除去（係数ｘ１１（図４の（２）参照）を“０”に置き換える）し、少なくとも直流成分を除去したＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段２１８２ｃに出力する。
【０１２５】
なお、直流成分除去手段２１８２ｂは、直流成分を示す係数ｘ１１のみを除去してもよいが、直流成分及び直流成分近傍、すなわち低い空間周波数側の交流成分も除去するようにしてもよい。これによって、画像信号に比べて高空間周波数成分を多く含む粒状性ノイズを主とするノイズレベルを、より的確に検出することができる。
【０１２６】
逆ＤＣＴ処理手段２１８２ｃは、直流成分除去手段２１８２ｂから入力した直流成分係数ｘ１１が除去されたＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理して画素データの配列からなる直流成分除去画像ＣＣ’を算出し、画素平均算出手段２１８３に出力する。
【０１２７】
画素平均算出手段２１８３は、逆ＤＣＴ処理手段２１８２ｃから入力した直流成分除去画像ＣＣ’を構成する画素データの大きさの平均である画素平均Ｈを、ブロックごとに算出して、最小値抽出手段２１８４に出力する。
【０１２８】
ここで、元のブロックＣＣの画像が濃淡変化の全くない平坦画像、すなわちブロックＣを構成する画素データの値がすべて同値である場合は、ＤＣＴ係数ＫＤＣＴの交流成分はすべて“０”であるから、ブロックＣの平均輝度（濃淡レベル）を示す直流成分係数ｘ１１を除去してから、逆ＤＣＴ処理して算出した直流成分除去画像ＣＣ’を構成する画素データはすべて“０”となる。そして、濃淡変化が大きいほど、直流成分除去画像ＣＣ’を構成する画素データは、その大きさである画素データの絶対値が大きな値を持つようになる。
画素平均算出手段２１８３は、各ブロックＣＣに対応する直流成分除去画像ＣＣ’の画素平均Ｈを算出し、フレーム画像Ｆ（ｔｎ）におけるノイズレベルＥＥの候補値として順次に最小値抽出手段２１８４に出力する。
【０１２９】
なお、ノイズレベル設定手段２１８の画素平均算出手段２１８３は、画素平均Ｈの算出方法として、直流成分除去画像ＣＣ’を構成する画素データのＲＭＳ（二乗平均平方根）を算出する。
また、画素平均Ｈは、画素データのＲＭＳの他、画素データの絶対値の平均としてもよく、計算を簡略化するためにＲＭＳの平方根算出を省略した画素データの二乗平均としてもよい。
【０１３０】
最小値抽出手段２１８４は、画素平均算出手段２１８３からブロックＣＣごとに入力される画素平均Ｈの内の最小値を抽出し、抽出した最小値をフレーム画像Ｆ（ｔｎ）から検出したノイズレベルＥＥとして、正規化手段２１３に出力する。
【０１３１】
なお、ノイズレベルＥＥに替えて、コアリングレベル設定手段４０の設定用ノイズレベル検出手段４１によって出力されるノイズレベルＥを用いることもできる。この場合は、ノイズレベル設定手段２１８を省略して構成することができる。
【０１３２】
以上、ノイズ低減装置１を含むノイズ低減システム１００の構成について説明したが、本発明はこれに限定されるものではない。例えば、ノイズ低減装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（ノイズ低減プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１３３】
［第１実施形態のノイズ低減装置を含むノイズ低減システムの動作］
次に、図１１を参照（適宜図１、図６及び図８参照）して、第１実施形態のノイズ低減装置１を含むノイズ低減システム１００の動作について説明する。
【０１３４】
図１１に示したように、ノイズ低減システム１００は、不図示のカメラでプリスキャンして得たフレーム画像Ｆ（ｔｎ）をノイズ低減装置１及び領域判別装置２に入力し（ステップＳ１１）、ノイズ低減装置１のコアリングレベル設定手段４０によって、フレーム画像Ｆ（ｔｎ）に重畳されたノイズレベルＥを検出し、検出したノイズレベルＥにコアリングレベル調整値αを乗じてコアリングレベルＥＣＯＲを算出して、ノイズ低減装置１のコアリング処理手段３３に設定する（ステップＳ１２）。
【０１３５】
ノイズ低減システム１００は、ステップＳ１２に続いて、又は並行して、領域判別装置２のノイズレベル設定手段２１８によって、ステップＳ１１でプリスキャンして得たフレーム画像Ｆ（ｔｎ）に重畳されたノイズレベルＥＥを検出し、正規化処理のために当該ノイズレベル設定手段２１８の正規化手段２１３に出力して設定する（ステップＳ１３）。
なお、領域判別装置２が、ノイズレベルＥＥに替えて、ノイズレベルＥを用いるよう構成する場合は、ステップＳ１３は省略することができる。
【０１３６】
次に、不図示のカメラによって本スキャンが開始され（ステップＳ１４）、ノイズ低減システム１００のノイズ低減装置１及び領域判別装置２にフレーム画像Ｆ（ｔｎ）を入力すると（ステップＳ１５）、領域判別装置２によって、フレーム画像Ｆ（ｔｎ）をブロックＢＢに分割し（ステップＳ１６）、ブロックＢＢごとに動領域か静領域かを示す領域判別マップＲ（ｔｎ）を作成する（ステップＳ１７）。
【０１３７】
ノイズ低減システム１００は、ノイズ低減装置１によって、ステップＳ１７で領域判別装置２が作成した領域判別マップＲ（ｔｎ）を参照してブロックＢＢごとに領域判別結果ｒを確認し（ステップＳ１８）、注目ブロックＢＢが動領域である場合は（ステップＳ１８でＹｅｓ）、ノイズ低減装置１の動領域処理手段３０によって、ステップＳ１６で分割したフレーム画像Ｆ（ｔｎ）の注目ブロックＢＢに対応する画像をブロックＢとして分割して動領域処理を施し、動領域フレーム画像Ｆｄ（ｔｎ）を算出して処理選択手段５０に出力する（ステップＳ１９）。一方、注目ブロックＢＢが静領域である場合は（ステップＳ１８でＮｏ）、ノイズ低減装置１の静領域処理手段２０によって、ステップＳ１６で分割したフレーム画像Ｆ（ｔｎ）の注目ブロックＢＢに対応する画像をブロックＢとして分割し、静領域処理を施し、静領域フレーム画像Ｆｓ（ｔｎ）を算出して処理選択手段５０に出力する（ステップＳ２０）。
【０１３８】
ノイズ低減システム１００は、ノイズ低減装置１の処理選択手段５０によって、ステップＳ１７で領域判別装置２が作成した領域判別マップＲ（ｔｎ）を参照して注目ブロックＢＢが動領域である場合はステップＳ１９で動領域処理手段３０から入力した動領域フレーム画像Ｆｄ（ｔｎ）を選択してフレームメモリ６０に記憶し、注目ブロックＢＢが静領域である場合はステップＳ２０で静領域処理手段２０から入力した静領域フレーム画像Ｆｓ（ｔｎ）を選択してフレームメモリ６０に記憶する（ステップＳ２１）。
【０１３９】
ノイズ低減システム１００は、領域判別装置２によって、注目フレームにおいて未処理のブロックＢＢがあるか確認し（ステップＳ２２），未処理のブロックＢＢがある場合は（ステップＳ２２でＹｅｓ）、ステップＳ１８に戻って、次の注目ブロックＢＢ対する一連のノイズ低減処理を続ける。一方、未処理のブロックＢＢがない場合は（ステップＳ２２でＮｏ）、ノイズ低減システム１００は、ノイズ低減装置１によって、ノイズ低減装置１のフレームメモリ６０に蓄積されたノイズ低減したフレーム画像Ｆ’（ｔｎ）を読み出して、外部に出力する（ステップＳ２３）。
【０１４０】
ノイズ低減システム１００は、次のフレーム画像Ｆ（ｔｎ＋１）の入力があるか確認し（ステップＳ２４）、次のフレーム画像Ｆ（ｔｎ＋１）の入力がある場合は（ステップＳ２４でＹｅｓ）、ステップＳ１５に戻って、次のフレーム画像Ｆ（ｔｎ＋１）に対する一連のノイズ低減処理を続ける。一方、次のフレーム画像Ｆ（ｔｎ＋１）の入力がない場合は（ステップＳ２４でＮｏ）、ノイズ低減システム１００は処理を終了する。
【０１４１】
次に、図１２を参照（適宜図８参照）して、ノイズ低減装置１の静領域処理手段２０の動作について説明する。なお、図１２に示したフロー図の処理は、図１１に示したステップＳ２０の処理に相当する。
【０１４２】
ノイズ低減装置１の静領域処理手段２０は、高周波数成分低減手段２１によって、注目ブロックＢＢの位置に対応する注目フレーム及び前後フレームの画素データを、それぞれフレームメモリ１１，１０及び１２から入力する（ステップＳ３１）。
【０１４３】
静領域処理手段２０は、ブロックＢＢを構成する各画素に対して、時間軸方向におけるノイズ低減処理として、平均化フィルタ処理又はメディアンフィルタ処理を施すことによって高周波数成分を除去し、ブロックＢＢの位置における静領域フレーム画像Ｆｓ（ｔｎ）として処理選択手段５０に出力する（ステップＳ３２）。
【０１４４】
次に、図１３を参照（適宜図８参照）して、ノイズ低減装置１の動領域処理手段３０の動作について説明する。なお、図１３に示したフロー図の処理は、図１１に示したステップＳ１９の処理に相当する。
【０１４５】
ノイズ低減装置１の動領域処理手段３０は、ブロック分割手段３１によって、注目ブロックＢＢの位置に対応する注目フレームの画像をブロックＢとしてフレームメモリ１１から分割して、当該ブロックＢを構成する画素データを入力する（ステップＳ４１）。
【０１４６】
次に動領域処理手段３０は、ＤＣＴ処理手段３２によって、ステップＳ４１で入力したブロックＢを構成する画素データをＤＣＴ処理して、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換し、変換したＤＣＴ係数ＫＤＣＴをコアリング処理手段３３に出力する（ステップＳ４２）。
【０１４７】
動領域処理手段３０は、コアリング処理手段３３によって、ステップＳ４２でＤＣＴ処理手段３２から入力したＤＣＴ係数ＫＤＣＴの交流成分を示す各係数から、図１１のステップＳ１２でコアリングレベル設定手段４０から予め入力して設定しておいたコアリングレベルＥＣＯＲを減じ、未処理の直流成分を示す係数とコアリングレベルＥＣＯＲを減じた交流成分を示す各係数とからなるＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段３４に出力する（ステップＳ４３）。
【０１４８】
動領域処理手段３０は、ステップＳ４３でコアリング処理手段３３から入力したＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理して、高空間周波数成分が低減された画像に変換し、ブロックＢＢの位置における動領域フレーム画像Ｆｄ（ｔｎ）として処理選択手段５０に出力する（ステップＳ４４）。
【０１４９】
次に、図１４を参照（適宜図６及び図１参照）して、ノイズ低減装置１のコアリングレベル設定手段４０の動作について説明する。なお、図１４に示したフロー図の処理は、図１１に示したステップＳ１２の処理に相当する。
【０１５０】
図１４に示したように、コアリングレベル設定手段４０は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を入力すると（ステップＳ６１）、当該フレーム画像Ｆ（ｔｎ）を設定用ノイズレベル検出手段４１のブロック分割手段４１ａによって、全領域を３２×３２のブロックに分割し、更にブロックごとに１１×１１のブロックＣをノイズレベル検出のための参照領域として分割して（ステップＳ６２）、ブロックＣごとに、各ブロックＣを構成する画素データをＤＣＴ処理手段４１ｂに出力する（ステップＳ６３）。
【０１５１】
コアリングレベル設定手段４０は、ＤＣＴ処理手段４１ｂによって、ステップＳ６３でブロック分割手段４１ａから入力したブロックＣの画素データをＤＣＴ処理し、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換して、交流成分平均算出手段４１ｃに出力する（ステップＳ６４）。
【０１５２】
続いて、コアリングレベル設定手段４０は、交流成分平均算出手段４１ｃによって、ステップＳ６４でＤＣＴ処理手段４１ｂから入力したＤＣＴ係数ＫＤＣＴの交流成分を示す係数の平均である交流成分平均ＫＡＶＥを算出し、最小値抽出手段４１ｄに出力する（ステップＳ６５）。
【０１５３】
そして、コアリングレベル設定手段４０は、一つのブロックＣの交流成分平均ＫＡＶＥの算出が終わると、未処理のブロックＣが残ってないかを確認し（ステップＳ６６）、未処理のブロックＣが残っている場合は（ステップＳ６６でＹｅｓ）、ステップＳ６３に戻って、次のブロックＣについて交流成分平均ＫＡＶＥを求める一連の処理を行う。
【０１５４】
一方、未処理のブロックＣがない場合は（ステップＳ６６でＮｏ）、コアリングレベル設定手段４０は、最小値抽出手段４１ｄによって、交流成分平均算出手段４１ｃから入力した、フレーム画像Ｆ（ｔｎ）内の各ブロックＣにおける交流成分平均ＫＡＶＥから最小値を抽出し、抽出した最小値をノイズレベルＥとしてコアリングレベル調整手段４２に出力する（ステップＳ６７）。
【０１５５】
コアリングレベル設定手段４０は、コアリングレベル調整手段４２によって、ステップＳ６７で最小値抽出手段４１ｄから入力したノイズレベルＥに、予め外部から入力したコアリングレベル調整値αを乗じてコアリングレベルＥＣＯＲを算出し、算出したコアリングレベルＥＣＯＲを動領域処理手段３０のコアリング処理手段３３に出力してコアリング処理のために設定する（ステップＳ６８）。
【０１５６】
以上、第１実施形態のノイズ低減装置１におけるコアリングレベル設定手段４０の動作について説明したが、コアリングレベル設定手段４０は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を解析してノイズレベルＥを検出することに限定されるものではない。例えば、本スキャンして得た最初のフレーム画像Ｆ（ｔ１）を解析してノイズレベルＥを検出するように構成してもよく、本スキャンして得たフレーム画像Ｆ（ｔｎ）ごとにノイズレベルＥを検出するように構成してもよい。
【０１５７】
また、ノイズレベルＥの検出は、１つのフレーム画像Ｆ（ｔｎ）からだけではなく、複数のフレーム画像からブロックＣを分割して、これらのブロックＣの交流成分平均ＫＡＶＥを求め、最小値を抽出してノイズレベルＥを検出するようにしてもよい。
【０１５８】
次に、図１５を参照（適宜図８及び図１０参照）して、領域判別装置２の動作について説明する。
【０１５９】
図１５に示したように、領域判別装置２は、まず、不図示のカメラで急激な濃淡変化の少ない画像をプリスキャンしたフレーム画像Ｆ（ｔｎ）を入力し（ステップＳ８１）、ノイズレベル設定手段２１８によってフレーム画像Ｆ（ｔｎ）に重畳されたノイズレベルＥＥを検出し、正規化処理に用いるために検出したノイズレベルＥＥを正規化手段２１３に出力して設定する（ステップＳ８２）。
【０１６０】
不図示のカメラによって本スキャンが開始されると（ステップＳ８３）、領域判別装置２は、順次に入力されるフレーム画像Ｆ（ｔｎ）を（ステップＳ８４）、ブロック分割手段２１０によって、５×５の形状のブロックＢＢに分割し（ステップＳ８５）、ブロックＢＢごとに、分割したブロックＢＢを構成する画素データをブロック画素記憶手段２１１の後フレーム画素記憶手段２１１１に記憶する（ステップＳ８６）。なお、このとき複数のフレーム画像Ｆ（ｔｎ−１）、Ｆ（ｔｎ−２）が領域判別装置２に入力されており、ブロック画素記憶手段２１１の注目フレーム画素記憶手段２１１２にはフレーム画像Ｆ（ｔｎ−１）から分割した各ブロックＢＢの画素データが記憶され、前フレーム画素記憶手段２１１３にはフレーム画像Ｆ（ｔｎ−２）から分割した各ブロックＢＢの画素データが記憶されているものとする。従って、フレーム画像Ｆ（ｔｎ）を新しく入力する期間は、１フレーム前のフレーム画像Ｆ（ｔｎ−１）が判別処理の対象となる注目フレームとなる。
【０１６１】
領域判別装置２は、ブロック画素記憶手段２１１の前フレーム画素記憶手段２１１３、注目フレーム画素記憶手段２１１２及び後フレーム画素記憶手段２１１１に記憶されている、各フレームにおけるブロックＢＢを構成する画素データを、それぞれブロックＢＢ１、ブロックＢＢ２及びブロックＢＢ３を構成する画素データとして、ブロックＢＢごとに順次に読み出し、差分平均算出手段２１２の差分算出手段２１２１に出力して、注目フレーム及び前後フレームにおける各ブロックＢＢの位置の画素データを同時に参照できるようにする（ステップＳ８７）。
【０１６２】
領域判別装置２は、差分算出手段２１２１によってステップＳ８７でブロック画素記憶手段２１１から入力したブロックＢＢ１、ＢＢ２、ＢＢ３を構成する各画素データの差分（フレーム間差分）Ｄ１、Ｄ２、Ｄ３を算出し、平均算出手段２１２２によって各差分Ｄ１、Ｄ２、Ｄ３ごとに、ブロックＢＢにおける差分平均Ｇ１、Ｇ２、Ｇ３を算出して正規化手段２１３に出力する（ステップＳ８８）。
なお、領域判別装置２は、差分計算設定手段２１７によって予め設定しておいた設定値ＳＥＬが“０”の場合には、差分算出手段２１２１によって差分Ｄ３のみを算出し、以降の処理においては差分Ｄ１及び差分Ｄ２に関する処理は行わないように制御する。
【０１６３】
領域判別装置２は、正規化手段２１３によって、ステップＳ８８で差分平均算出手段２１２から入力した差分平均Ｇ１、Ｇ２、Ｇ３を、ステップＳ８２でノイズレベル設定手段２１８によって設定されたノイズレベルＥＥで除することによって正規化し、正規化した正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３を最大値抽出手段２１４に出力する（ステップＳ８９）。
【０１６４】
領域判別装置２は、最大値抽出手段２１４によって、ステップＳ８９で正規化手段２１３から入力した３つの正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３から最大値である最大正規化差分平均Ｇ’ｍａｘを抽出し、領域判別手段２１５に出力する（ステップＳ９０）。
【０１６５】
領域判別装置２は、領域判別手段２１５によって、ステップＳ９０で最大値抽出手段２１４から入力した最大正規化差分平均Ｇ’ｍａｘと、予め判別閾値設定手段２１９によって設定しておいた判別閾値ＴＨＲとを比較する。そして、最大正規化差分平均Ｇ’ｍａｘが判別閾値ＴＨＲよりも大きい場合は、領域判別処理の対象である注目ブロックＢＢを動領域であると判別して領域判別結果ｒに“１”を設定し、最大正規化差分平均Ｇ’ｍａｘが判別閾値ＴＨＲ以下の場合は、領域判別処理の対象である注目ブロックＢＢを静領域であると判別して領域判別結果ｒに“０”を設定し（ステップＳ９１）、領域判別結果ｒを注目フレーム画像Ｆ（ｔｎ―１）における当該注目ブロックＢＢの位置に対応づけて領域判別マップ記憶手段２１６に記憶する（ステップＳ９２）。
【０１６６】
領域判別装置２は、１つのブロックＢＢの領域判別処理が終わると、注目フレーム画像Ｆ（ｔｎ―１）において未処理のブロックＢＢがないかを確認し（ステップＳ９３）、未処理のブロックＢＢがある場合は（ステップＳ９３でＹｅｓ）、ステップＳ８７に戻り、次のブロックＢＢの一連の領域判別処理を行う。
また、未処理のブロックＢＢがない場合は（ステップＳ９３でＮｏ）、領域判別装置２は、ブロック画素記憶手段２１１によって、注目フレーム画素記憶手段２１１２に記憶されているフレーム画像Ｆ（ｔｎ−１）における各ブロックＢＢの画素データを前フレーム画素記憶手段２１１３にシフトするとともに、後フレーム画素記憶手段２１１１に記憶されているフレーム画像Ｆ（ｔｎ）における各ブロックＢＢの画素データを注目フレーム画素記憶手段２１１２にシフトする（ステップＳ９４）。
【０１６７】
領域判別装置２は、次のフレーム画像Ｆ（ｔｎ＋１）の入力があるかどうかを確認し（ステップＳ９５）、入力がある場合は（ステップＳ９５でＹｅｓ）、ステップＳ８４に戻って、次のフレーム画像Ｆ（ｔｎ＋１）を前フレームとして追加入力し、フレーム画像Ｆ（ｔｎ）に対する領域判別処理を行う。
次のフレーム画像Ｆ（ｔｎ＋１）の入力がない場合は（ステップＳ９５でＮｏ）、領域判別装置２は処理を終了する。
【０１６８】
次に、図１６を参照（適宜図１０及び図８参照）して、領域判別装置２のノイズレベル設定手段２１８の動作について説明する。なお、図１６に示した処理は、図１５に示した処理のステップＳ８１〜ステップＳ８２に相当する。
【０１６９】
図１６に示したように、ノイズレベル設定手段２１８は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を入力すると（ステップＳ１０１）、当該フレーム画像Ｆ（ｔｎ）をブロック分割手段２１８１によって、全領域を３２×３２のブロックに分割し、更にブロックごとに１１×１１のブロックＣＣをノイズレベル検出のための参照領域として分割して（ステップＳ１０２）、ブロックＣＣごとに、各ブロックＣＣを構成する画素データを直流成分除去画像算出手段２１８２のＤＣＴ処理手段２１８２ａに出力する（ステップＳ１０３）。
【０１７０】
ノイズレベル設定手段２１８は、ＤＣＴ処理手段２１８２ａによって、ステップＳ１０３でブロック分割手段２１８１から入力したブロックＣＣの画素データをＤＣＴ処理し、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換して、直流成分除去手段２１８２ｂに出力する（ステップＳ１０４）。続いて、ノイズレベル設定手段２１８は、直流成分除去手段２１８２ｂによって、ステップＳ１０４でＤＣＴ処理手段２１８２ａから入力したＤＣＴ係数ＫＤＣＴから直流成分を示す係数ｘ１１（図４参照）を除去し、係数ｘ１１を除去したＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段２１８２ｃに出力する（ステップＳ１０５）。そして、ノイズレベル設定手段２１８は、逆ＤＣＴ処理手段２１８２ｃによって、ステップＳ１０５で直流成分除去手段２１８２ｂから入力した直流成分除去後のＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理して直流成分除去画像ＣＣ’に変換し、変換した直流成分除去画像ＣＣ’を構成する画素データを画素平均算出手段２１８３に出力する（ステップＳ１０６）。
【０１７１】
ノイズレベル設定手段２１８は、画素平均算出手段２１８３によって、ステップＳ１０６で逆ＤＣＴ処理手段２１８２ｃから入力した直流成分除去画像ＣＣ’を構成する画素データの平均である画素平均Ｈを算出し、算出した画素平均Ｈを最小値抽出手段２１８４に出力する（ステップＳ１０７）。
【０１７２】
ノイズレベル設定手段２１８は、一つのブロックＣＣの画素平均Ｈの算出が終わると、未処理のブロックＣＣが残ってないかを確認し（ステップＳ１０８）、未処理のブロックＣＣが残っている場合は（ステップＳ１０８でＹｅｓ）、ステップＳ１０３に戻って、次のブロックＣＣについて画素平均Ｈを求める一連の処理を行う。
【０１７３】
一方、未処理のブロックＣＣがない場合は（ステップＳ１０８でＮｏ）、ノイズレベル設定手段２１８は、最小値抽出手段２１８４によって、画素平均算出手段２１８３から入力した、フレーム画像Ｆ（ｔｎ）内の各ブロックＣＣにおける画素平均Ｈの中から最小値を抽出し、抽出した最小値をノイズレベルＥＥとして正規化手段２１３に出力して正規化処理に用いるために設定する（ステップＳ１０９）。以上でノイズレベル設定手段２１８は処理を終了する。
【０１７４】
以上、ノイズレベル設定手段２１８の動作について説明したが、ノイズレベル設定手段２１８は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を解析してノイズレベルＥＥを検出することに限定されるものではない。例えば、本スキャンして得た最初のフレーム画像Ｆ（ｔ１）を解析してノイズレベルＥＥを検出するように構成してもよく、本スキャンして得たフレーム画像Ｆ（ｔｎ）ごとにノイズレベルＥＥを検出するように構成してもよい。
【０１７５】
また、ノイズレベルＥＥの検出は、１つのフレーム画像Ｆ（ｔｎ）からだけではなく、複数のフレーム画像からブロックＣＣを分割して、これらのブロックＣＣの画素平均Ｈを求め、最小値を抽出してノイズレベルＥＥを検出するようにしてもよい。
【０１７６】
［第１実施形態の変形例］
次に、図１７を参照して、本発明の第１実施形態の変形例のノイズ低減装置ついて説明する。
【０１７７】
第１実施形態の変形例のノイズ低減装置は、図６に示した第１実施形態のノイズ低減装置１における動領域処理手段３０のコアリングレベル設定手段４０に替えて、図１７に示したコアリングレベル設定手段４０Ａを備えるように構成するものである。他の構成要素については第１実施形態と同様であるので説明は省略する。
【０１７８】
図１７に示した第１実施形態の変形例のノイズ低減装置におけるコアリングレベル設定手段４０Ａは、図６に示した第１実施形態におけるコアリングレベル設定手段４０に対して、ブロック分割手段４１ａとＤＣＴ処理手段４１ｂとの間に、ＨＰＦ（ハイパス・フィルタ）処理手段（低空間周波数成分抑制手段）４１ｅを設けたことである。
なお、図６に示した第１実施形態におけるコアリングレベル設定手段４０と同じ構成要素については、同じ符号を付して説明は適宜省略する。
【０１７９】
コアリングレベル設定手段４０Ａは、ＨＰＦ処理手段４１ｅによって、ブロック分割手段４１ａから入力したブロックＣの画像に対して低空間周波数成分を抑制してから、ＤＣＴ処理手段４１ｂによって、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換する。
これによって、ノイズ成分が多く含まれる高空間周波数成分を、画像信号成分が主体である低空間周波数成分に対して相対的に強調することができる。このため、交流成分平均算出手段４１ｃによって算出される交流成分の平均である交流成分平均ＫＡＶＥに、ノイズ成分の多寡をより適切に反映することができる。
その結果、当該交流成分平均ＫＡＶＥに基づいて設定されるコアリングレベルＥＣＯＲを用いてコアリング処理を行うことにより、より適切にノイズ成分を低減することができる。
【０１８０】
次に、図１８を参照（適宜図１７参照）して、ＨＰＦ処理手段４１ｅによるＨＰＦ処理手段４１ｅ処理について説明する。
【０１８１】
図１８の（１）に示したように、ＨＰＦ処理手段４１ｅは、ブロック分割手段４１ａから入力したブロックＣを構成する各画素Ｃ（ｉ，ｊ）に対して、縦方向（垂直方向）に隣接する画素Ｃ（ｉ，ｊ−１）及び画素Ｃ（ｉ，ｊ＋１）を参照し、図１８の（２）に示したＨＰＦのフィルタ係数ＫＨＰＦの各係数と空間的に対応する画素値との積和演算を式（４）のように行う。
【０１８２】
Ｃ’（ｉ，ｊ） ＝
Ｃ（ｉ，ｊ−１）×（−１／２）
＋ Ｃ（ｉ，ｊ）×１
＋ Ｃ（ｉ，ｊ＋１）×（−１／２） …式（４）
【０１８３】
また、このＨＰＦの垂直方向の空間周波数に対する応答特性は、図１８の（３）に示したように低空間周波数成分ほど伝達率が低く、直流成分（空間周波数＝０）に対する伝達率は０である。従って、図１８の（２）に示したＨＰＦ処理を行うことによりブロックＣの画像から低空間周波数成分を抑制した画像を算出することができる。
なお、図１８の（３）において、ｆＮｙはナイキスト周波数を示す。また、図１８の（２）に示したＨＰＦは、水平方向に関してはフィルタ処理をしないため、水平方向の空間周波数成分は変化しない。
【０１８４】
また、ブロックＣのサイズが１１画素×１１ラインの場合は、上端及び下端のラインの画素は、それぞれ上方に隣接する画素及び下方に隣接する画素を参照できない。そのため、上端及び下端のラインの画素についてはＨＰＦ処理をすることができないので、ＨＰＦ処理後のブロックＣ’の有効なサイズは１１画素×９ラインとなる。従って、ＨＰＦ処理手段４１ｅは、この有効な１１×９のサイズの直流成分除去画像Ｃ’を構成する画素データをＤＣＴ処理手段４１ｂに出力する。
【０１８５】
なお、ブロックＣのサイズを１１画素×１３ラインとして、ＨＰＦ処理後のブロックＣ’の有効なサイズが１１画素×１１ラインとなるように構成してもよい。
また、ＨＰＦ処理手段４１ｅで用いるＨＰＦのフィルタ係数ＫＨＰＦは、図１８の（２）に示したものに限定されず、画像信号成分を多く含む低空間周波数の交流成分の少なくとも一部を抑制するものであれば用いることができる。
【０１８６】
図１７に戻って、ＤＣＴ処理手段４１ｂは、ＨＰＦ処理手段４１ｅから入力した低空間周波数成分が抑制された画像Ｃ’をＤＣＴ処理し、１１×９の係数からなるＤＣＴ係数ＫＤＣＴに変換し、変換したＤＣＴ係数ＫＤＣＴを交流成分平均算出手段４１ｃに出力する。
【０１８７】
交流成分平均算出手段４１ｃは、ＤＣＴ処理手段４１ｂから入力した１１×９の係数配列であるＤＣＴ係数ＫＤＣＴの直流成分を除く、交流成分を示す係数の平均である交流成分平均ＫＡＶＥを算出して最小値抽出手段４１ｄに出力する。
【０１８８】
コアリングレベル設定手段４０Ａの他の構成要素は、図６に示した第１実施形態におけるコアリングレベル設定手段４０と同様であるので、説明は省略する。
【０１８９】
［第１実施形態の変形例のコアリングレベル設定手段の動作］
次に、図１９を参照（適宜図１７参照）して、第１実施形態の変形例のノイズ低減装置におけるコアリングレベル設定手段４０Ａの動作について説明する。
【０１９０】
図１９に示した第１実施形態の変形例のコアリングレベル設定手段４０Ａによる処理において、ステップＳ１２１〜ステップＳ１２３、及びステップＳ１２５〜ステップＳ１２９は、それぞれ図１４に示した第１実施形態におけるコアリングレベル設定手段４０による処理におけるステップＳ６１〜ステップＳ６３、及びステップＳ６４〜ステップＳ６８と同様であるので、説明は適宜省略する。
【０１９１】
コアリングレベル設定手段４０Ａは、ＨＰＦ処理手段４１ｅによって、ステップＳ１２３でブロック分割手段４１ａから入力したブロックＣの画素データをＨＰＦ処理して、低空間周波数成分を抑制した画像Ｃ’をＤＣＴ処理手段４１ｂに出力する（ステップＳ１２４）。
【０１９２】
コアリングレベル設定手段４０Ａは、ＤＣＴ処理手段４１ｂによって、ステップＳ１２４でＨＰＦ処理手段４１ｅから入力した低空間周波数成分を抑制した画像Ｃ’の画素データをＤＣＴ処理し、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換して、交流成分平均算出手段４１ｃに出力する（ステップＳ１２５）。
【０１９３】
続いて、コアリングレベル設定手段４０Ａは、交流成分平均算出手段４１ｃによって、ステップＳ１２５でＤＣＴ処理手段４１ｂから入力したＤＣＴ係数ＫＤＣＴの交流成分を示す係数の平均である交流成分平均ＫＡＶＥを算出し、最小値抽出手段４１ｄに出力する（ステップＳ１２６）。
【０１９４】
他のステップは、前記したように、図１４に示した第１実施形態におけるコアリングレベル設定手段４０による処理と同様であるので説明は省略する。
【０１９５】
［第２実施形態のノイズ低減装置を含むノイズ低減システムの構成］
次に、図２０を参照（適宜図１参照）して、第２実施形態のノイズ低減装置１Ａを含むノイズ低減システム１００Ａの構成について説明する。
【０１９６】
図２０に示したノイズ低減システム１００Ａは、第２実施形態のノイズ低減装置１Ａと領域判別装置２とを備えて構成されている。また、第２実施形態のノイズ低減装置１Ａは、フレームメモリ１０，１１，１２と、静領域処理手段２０と、動領域処理手段３０Ａと、処理選択手段５０と、フレームメモリ６０とを備えて構成されている。
【０１９７】
第２実施形態のノイズ低減装置１Ａは、図１に示した第１実施形態のノイズ低減装置１とは、動領域処理手段３０に替えて動領域処理手段３０Ａを備えたことが異なり、更に詳細には、動領域処理手段３０Ａは、コアリング処理手段３３及びコアリングレベル設定手段４０に替えて、それぞれコアリング処理手段３３Ａ及びコアリングレベル設定手段４０Ｂを備えるとともに、輝度算出手段（動領域処理ブロック輝度算出手段）３５を更に備えることが異なる。
【０１９８】
第２実施形態のノイズ低減装置１Ａは、コアリングレベル設定手段４０Ｂによって、コアリング処理手段３３ＡでＤＣＴ係数ＫＤＣＴの交流成分をコアリング処理するときに、ＤＣＴ係数ＫＤＣＴを算出したブロックＢの輝度レベルＬに応じて輝度別に設定したコアリングレベルである輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を用いる。
【０１９９】
これは、画像によっては輝度レベルごとに信号対雑音比が異なるため、コアリング処理においてコアリングレベルを輝度別に設定して用いることにより、すべての輝度レベルにおいてＤＣＴ係数ＫＤＣＴの交流成分を適切にコアリング処理してノイズ低減することができるようにするものである。
【０２００】
以下、第２実施形態のノイズ低減装置１Ａの各部の構成について説明する。ここで、図１に示した第１実施形態のノイズ低減装置１と同じ構成要素については、同じ符号を付して説明は適宜省略する。
【０２０１】
コアリング処理手段３３Ａは、ＤＣＴ処理手段３２から入力したブロックＢのＤＣＴ係数ＫＤＣＴの交流成分から、コアリングレベル設定手段４０Ｂから入力した輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７の中の何れかを用いて減ずることによってコアリング処理し、未処理の直流成分を示す係数とコアリング処理した交流成分を示す係数とからなるＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段３４に出力する。
【０２０２】
ここで、コアリングレベル設定手段４０Ｂから入力する輝度別コアリングレベルＥＣＯＲ０〜輝度別コアリングレベルＥＣＯＲ７は、それぞれ、輝度をＬ０（暗）〜Ｌ７（明）までの７つの輝度ランクに区分したときの輝度ランクＬ０〜輝度ランクＬ７に適用するコアリングレベルである。
コアリング処理手段３３Ａは、輝度算出手段３５から入力したブロックＢの輝度Ｌが属する輝度ランクＬ０〜Ｌ７に対応するコアリングレベルを、輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７の中から選択してコアリング処理に用いる。
【０２０３】
コアリングレベル設定手段４０Ｂは、フレーム画像Ｆ（ｔｎ）を入力して、フレーム画像Ｆ（ｔｎ）からノイズレベルを輝度別に検出して、検出した輝度別のノイズレベルに基づいて輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を算出してコアリング処理手段３３Ａに出力してコアリング処理のために設定する。
コアリングレベル設定手段４０Ｂの詳細については後記する。
【０２０４】
輝度算出手段（動領域処理ブロック輝度算出手段）３５は、ブロック分割手段３１から処理対象である注目ブロックＢの画素データを入力して、ブロックＢを構成する５×５＝２５個の画素データの平均を算出し、算出した当該平均を輝度Ｌとしてコアリング処理手段３３Ａに出力する。
なお、第２実施形態における輝度算出手段３５は、輝度Ｌとして、ブロックＢを構成する５×５＝２５個の画素データの単純平均を用いるが、これに限定されるものではない。例えば、５×５の中心に位置する画素データを用いてもよいし、５×５の中心ほど加重を大きくする加重平均を算出して用いてもよく、５×５の中央値を抽出して用いるようにしてもよい。
【０２０５】
次に、図２１を参照（適宜図２０参照）して、第２実施形態のノイズ低減装置１Ａにおけるコアリングレベル設定手段４０Ｂの構成について詳細に説明する。
図２１に示したように、第２実施形態におけるコアリングレベル設定手段４０Ｂは、設定用ノイズレベル検出手段４１Ｂと、コアリングレベル調整手段４２Ｂと、検証用ノイズレベル検出手段４３とを備えて構成されている。また、設定用ノイズレベル検出手段４１Ｂは、ブロック分割手段４１ａと、ＤＣＴ処理手段４１ｂと、交流成分平均算出手段４１ｃと、輝度別最小値抽出手段４１ｆと、ノイズレベル検証手段４１ｇと、補間処理手段４１ｈと、輝度算出手段（ノイズ検出ブロック輝度算出手段）４１ｉとを備えて構成されている。
【０２０６】
ここで、設定用ノイズレベル検出手段４１Ｂは、本スキャンして順次入力されるフレーム画像Ｆ（ｔｎ）から輝度別ノイズレベルＥ０〜Ｅ７を算出してコアリングレベル調整手段４２Ｂに出力するものである。
そして、コアリングレベル調整手段４２Ｂは、設定用ノイズレベル検出手段４１Ｂから入力した輝度別ノイズレベルＥ０〜Ｅ７に、外部から入力したコアリングレベル調整値αを乗じて輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を算出してコアリング処理手段３３Ａに出力する。
また、検証用ノイズレベル検出手段４３は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）からノイズレベルを予め検出し、当該ノイズレベルを、設定用ノイズレベル検出手段４１Ｂによって算出した輝度別ノイズレベルＥ０〜Ｅ７の有効性を検証するための検証値であるＳＩＦＴ値（検証用ノイズレベル）として設定用ノイズレベル検出手段４１Ｂのノイズレベル検証手段４１ｇに出力するものである。
【０２０７】
続いて、設定用ノイズレベル検出手段４１Ｂの構成について詳細に説明する。
設定用ノイズレベル検出手段４１Ｂは、図６に示した設定用ノイズレベル検出手段４１とは、ブロック分割手段４１ａ及び最小値抽出手段４１ｄに替えて、それぞれブロック分割手段４１Ｂａ及び輝度別最小値抽出手段４１ｆを備えことと、ノイズレベル検証手段４１ｇと補間処理手段４１ｈと輝度算出手段４１ｉとを更に備えることとが異なる。
なお、設定用ノイズレベル検出手段４１Ｂにおいて、図６に示した設定用ノイズレベル検出手段４１と同じ構成要素については、同じ符号を付して説明は適宜省略する。
【０２０８】
設定用ノイズレベル検出手段４１Ｂのブロック分割手段（ノイズ検出ブロック分割手段）４１Ｂａは、本スキャンして順次入力されるフレーム画像Ｆ（ｔｎ）を、１１×１１の形状のブロックＣに分割し、分割した各ブロックＣを構成する画素データをブロックごとにＤＣＴ処理手段４１ｂ及び輝度算出手段４１ｉに出力する。
設定用ノイズレベル検出手段４１Ｂのブロック分割手段４１Ｂａは、図６に示した第１実施形態の設定用ノイズレベル検出手段４１のブロック分割手段４１ａと異なり、入力したフレーム画像Ｆ（ｔｎ）の全領域を隈無く１１×１１の形状のブロックＣに分割し、間引くことなく、すべてのブロックＣについて、各ブロックＣを構成する画素データをブロックＣごとにＤＣＴ処理手段４１ｂに出力する。
これは、輝度別にノイズレベルを検出する際に、輝度ランクによってブロックＣの割当数が不足するのを防止するためである。
【０２０９】
設定用ノイズレベル検出手段４１Ｂの交流成分平均算出手段４１ｃは、本スキャンして順次入力されるフレーム画像Ｆ（ｔｎ）から分割したブロックＣごとに、交流成分平均ＫＡＶＥを算出して輝度別最小値抽出手段４１ｆに出力する。
【０２１０】
輝度別最小値抽出手段４１ｆは、交流成分平均算出手段４１ｃからブロックＣごとに交流成分平均ＫＡＶＥを入力するとともに、当該入力した交流成分平均ＫＡＶＥを算出したブロックＣの平均輝度ＬＡＶＥを、輝度算出手段４１ｉから交流成分平均ＫＡＶＥに対応づけて入力する。そして、輝度別最小値抽出手段４１ｆは、交流成分平均ＫＡＶＥを、各交流成分平均ＫＡＶＥに対応づけられた平均輝度ＬＡＶＥに基づいて、予め定めた輝度レンジごとに区分した８つの輝度ランクＬ０〜Ｌ７の何れかに分類し、輝度ランクＬ０〜Ｌ７ごとに、すなわち輝度別に交流成分平均ＫＡＶＥの最小値を抽出する。輝度別最小値抽出手段４１ｆは、抽出した輝度ランクごとの交流成分平均ＫＡＶＥの最小値を、輝度別ノイズレベルＥ０〜Ｅ７としてノイズレベル検証手段４１ｇに出力する。
【０２１１】
なお、交流成分平均ＫＡＶＥが１個も分類されなかった輝度ランクＬ０〜Ｌ７の輝度別ノイズレベルＥ０〜Ｅ７がある場合は、輝度別最小値抽出手段４１ｆは、その輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７の値として“０”又は有効でないことを示すデータをノイズレベル検証手段４１ｇに出力する。
【０２１２】
ノイズレベル検証手段４１ｇは、輝度別最小値抽出手段４１ｆから輝度別ノイズレベルＥ０〜Ｅ７を入力し、入力した輝度別ノイズレベルＥ０〜Ｅ７の有効性を検証するものである。
【０２１３】
フレーム画像Ｆ（ｔｎ）内から複数の輝度ランクＬ０〜Ｌ７に区分して輝度別ノイズレベルＥ０〜Ｅ７を検出する場合、入力したフレーム画像Ｆ（ｔｎ）内に、すべての輝度ランクＬ０〜Ｌ７において、それぞれの輝度ランクＬ０〜Ｌ７に属する平均輝度ＬＡＶＥを有するブロックＣが、十分な数だけ割り当てられるとは限らない。例えば、フレーム画像Ｆ（ｔｎ）がある輝度に偏った明るさの画像であった場合には、当該輝度が属する輝度ランクＬ０〜Ｌ７以外の輝度ランクＬ０〜Ｌ７に属する交流成分平均ＫＡＶＥは、非常に少ない数しか分類されないことが生じる。そのとき、その非常に少ない交流成分平均ＫＡＶＥから最小値を抽出しても、当該交流成分平均ＫＡＶＥを算出した基のブロックＣが、エッジや細密な模様を含む画像であった場合、当該交流成分平均ＫＡＶＥは画像信号成分の影響を大きく受けているためノイズレベルとして採用するのは不適切である。
【０２１４】
そこで、第２実施形態のノイズ低減装置１Ａにおけるコアリングレベル設定手段４０Ｂでは、検証用ノイズレベル検出手段４３によって、プリスキャンして得たフレーム画像Ｆ（ｔｎ）から、当該フレーム画像Ｆ（ｔｎ）を生成したカメラによってフレーム画像Ｆ（ｔｎ）に重畳される画像面内のノイズレベルを適切に検出しておき、当該ノイズレベルを検証値であるＳＩＦＴ値（検証用ノイズレベル）として設定用ノイズレベル検出手段４１Ｂのノイズレベル検証手段４１ｇに出力する。そして、設定用ノイズレベル検出手段４１Ｂは、輝度別最小値抽出手段４１ｆによって、本スキャンして得た各フレーム画像Ｆ（ｔｎ）から算出した各輝度別ノイズレベルＥ０〜Ｅ７をＳＩＦＴ値と比較して、所定の範囲内にある場合に、その輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を有効であると判断し、その輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７の値をそのまま補間処理手段４１ｈに出力する。
また、設定用ノイズレベル検出手段４１Ｂは、輝度別最小値抽出手段４１ｆによって、各輝度別ノイズレベルＥ０〜Ｅ７をＳＩＦＴ値と比較して、所定の範囲内にない場合には、その輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を有効でないと判断し、その輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７の値に“０”又は有効でないことを示すデータを設定して補間処理手段４１ｈに出力する。これによって、輝度別ノイズレベルＥ０〜Ｅ７から不適切なノイズレベルデータを排除することができる。
【０２１５】
輝度別最小値抽出手段４１ｆによって出力された輝度別ノイズレベルＥ０〜Ｅ７が、ＳＩＦＴ値と比較して有効であると判断する範囲としては、各輝度別ノイズレベルＥ０〜Ｅ７の値とＳＩＦＴ値との比が−６（１０ｌｏｇ０．２５）ｄＢ〜＋３（１０ｌｏｇ２）ｄＢとすることができる。すなわち、各輝度別ノイズレベルＥ０〜Ｅ７の値が、ＳＩＦＴ値の０．２５倍〜２倍の範囲にあるときに、当該輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を有効であると判断する。
【０２１６】
なお、有効範囲は、ここで示した範囲に限定されるものではなく、フレーム画像Ｆ（ｔｎ）を生成するカメラなど、第２実施形態のノイズ低減装置１Ａを適用するシステムによって適宜に変更してもよい。
【０２１７】
補間処理手段４１ｈは、ノイズレベル検証手段４１ｇから輝度別ノイズレベルＥ０〜Ｅ７を入力し、未検出又はノイズレベル検証手段４１ｇで有効でないとして排除された輝度別ノイズレベルＥ０〜Ｅ７がある場合に、当該有効でない輝度別ノイズレベルＥ０〜Ｅ７の値を、近傍の輝度ランクＬ０〜Ｌ７の有効な輝度別ノイズレベルＥ０〜Ｅ７を参照して補間処理するものである。補間処理手段４１ｈは、有効でない輝度別ノイズレベルＥ０〜Ｅ７の値を、補間処理して算出した値で置き換えた輝度別ノイズレベルＥ０〜Ｅ７をコアリングレベル調整手段４２Ｂに出力する。
なお、コアリングレベル調整をせずに常に輝度別ノイズレベルＥ０〜Ｅ７を輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７として用いるよう構成することもでき、この場合は、コアリングレベル調整手段４２Ｂは省略することができる。
【０２１８】
ここで、図２２を参照（適宜図２１参照）して、補間処理手段４１ｈによる補間処理の手法について説明する。
図２２は、ノイズレベル検証手段４１ｇから補間処理手段４１ｈに出力された輝度別ノイズレベルＥ０〜Ｅ７の様子を模式的に示したものである。横軸は輝度Ｌを示し、縦軸はノイズレベルの大きさＥを示す。
なお、輝度算出手段４１ｉから出力される輝度Ｌは、０〜２５５の２５６階調の値を取るものとし、輝度レンジを３２階調ずつ均等に、輝度ランクＬ０（暗）から輝度ランクＬ７（明）の８ランクに区分している。また、各輝度ランクＬ０〜Ｌ７の輝度の代表値は、各輝度レンジの中央値としている。そして、図２２において、●で示した輝度別ノイズレベルＥ１，Ｅ３，Ｅ４，Ｅ５，Ｅ６は、有効であると判断されたデータであり、○で示した輝度ランクＬ０，Ｌ２，Ｌ７は、そのデータが有効でないと判断された（又は未検出の）輝度ランクであり、補間処理によって輝度別ノイズレベルＥ０，Ｅ２，Ｅ７を算出する必要があるものとする。
【０２１９】
そこで、まず高輝度側及び低輝度側に有効なデータがある輝度ランクＬ２における輝度別ノイズレベルＥ２の補間処理について説明する。
このように、両側に参照できる有効なデータがある場合は、有効なデータ間を直線補間して内挿によって輝度別ノイズレベルを算出する。すなわち、最寄りの有効なデータである輝度ランクＬ１及びＬ３の輝度別ノイズレベルＥ１及びＥ３を参照する。また、各輝度ランクＬ１及びＬ３における輝度Ｌは、それぞれの代表値４８及び１１２とし、輝度ランクＬ２の代表値８０におけるノイズレベルを輝度別ノイズレベルＥ２として算出する。
【０２２０】
図２２に示した例では、２点（４８，Ｅ１）及び（１１２，Ｅ３）を結ぶ線分Ａ１３の中点におけるノイズレベルＥがＥ２の値であるから、式（５−１）で輝度別ノイズレベルＥ２を算出することができる。
【０２２１】
Ｅ２ ＝ （Ｅ１＋Ｅ３）／２ …式（５−１）
【０２２２】
次に、低輝度側に参照するデータがない輝度ランクＬ０における輝度別ノイズレベルＥ０の補間処理について説明する。
このように、低輝度側に参照できるデータがない場合は、高輝度側の有効な互いに隣接する２点のデータを参照し、外挿により輝度別ノイズレベルを算出する。なお、既に補間処理により輝度別ノイズレベルが算出されている輝度ランクのデータは、他の有効でない輝度別ノイズレベルを補間処理によって算出するときには、有効なデータとして参照することができる。すなわち、高輝度側の互いに隣接する有効なデータとして、輝度ランクＬ１及びＬ３を参照しても、輝度ランクＬ１及び既に補間処理によって輝度別ノイズレベルＥ２が算出された輝度ランクＬ２を参照するようにしてもよい。以降の説明は、輝度ランクＬ１及びＬ２を参照した場合について説明する。
【０２２３】
輝度ランクＬ０における輝度別ノイズレベルＥ０は、点（４８，Ｅ１）から低輝度側に延ばした半直線Ａ０１の、輝度ランクＬ０の代表値である輝度Ｌ＝１６におけるノイズレベルＥを算出する。
この半直線Ａ０１は、点（４８，Ｅ１）を通り、傾きの大きさが（Ｅｍａｘ−Ｅｍｉｎ）／２５６であり、傾きの向きが参照する２点（４８，Ｅ１）及び（８０，Ｅ２）を結ぶ線分の傾きの向きと同じとする。なお、Ｅｍａｘ及びＥｍｉｎは、それぞれ有効な輝度別ノイズレベルＥ１，Ｅ３，Ｅ４，Ｅ５，Ｅ６の内の、最大値及び最小値を示し、図２２に示した例では、Ｅｍａｘ＝Ｅ４、Ｅｍｉｎ＝Ｅ１である。そして、外挿する際の半直線の傾きの大きさを、有効な輝度別ノイズレベルＥ１，Ｅ３，Ｅ４，Ｅ５，Ｅ６から見積もることができる平均的な勾配とすることで、外挿による補間処理にありがちな異常値の算出を防止することができる。
以上より、輝度ランクＬ０における輝度別ノイズレベルＥ０は、式（５−２）のようにして算出することができる。
【０２２４】
Ｅ０ ＝
Ｅ１−Ｓｉｇｎ（Ｅ２−Ｅ１）×（Ｅｍａｘ−Ｅｍｉｎ）×（４８−１６）／２５６
…式（５−２）
【０２２５】
なお、Ｓｉｇｎ（ ）は、（ ）内の値が正の場合は＋１、負の場合は−１、０の場合は０を返す符号関数である。
【０２２６】
次に、高輝度側に参照するデータがない輝度ランクＬ７における輝度別ノイズレベルＥ７の補間処理について説明する。
このように、高輝度側に参照できるデータがない場合は、前記した低輝度側に算出するデータがない場合と同様に、低輝度側の有効な互いに隣接する２点のデータを参照し、外挿により輝度別ノイズレベルを算出する。
図２２に示した例では、輝度ランクＬ６及びＬ５における輝度別ノイズレベルＥ６及びＥ５を参照して、輝度ランクＬ７における輝度別ノイズレベルＥ７を算出する。
【０２２７】
輝度ランクＬ７における輝度別ノイズレベルＥ７は、点（２０８，Ｅ６）から高輝度側にのばした半直線Ａ６７の、輝度ランクＬ７の代表値である輝度Ｌ＝２４０におけるノイズレベルＥを算出する。
この半直線Ａ６７は、点（２０８，Ｅ６）を通り、傾きの大きさが（Ｅｍａｘ−Ｅｍｉｎ）／２５６であり、傾きの向きが参照する２点（１７６，Ｅ５）及び（２０８，Ｅ６）を結ぶ線分の傾きの向きと同じとする。
輝度ランクＬ７における輝度別ノイズレベルＥ７は、式（５−３）のようにして算出することができる。
【０２２８】
Ｅ７ ＝
Ｅ６−Ｓｉｇｎ（Ｅ５−Ｅ６）×（Ｅｍａｘ−Ｅｍｉｎ）×（２４０−２０８）／２５６
…式（５−３）
【０２２９】
なお、補間処理手段４１ｈは、ノイズレベル検証手段４１ｇから入力した輝度別ノイズレベルＥ０〜Ｅ７の内で、有効なデータが１個のみであった場合は、その有効なデータを他の有効でない輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７の値とする。また、ノイズレベル検証手段４１ｇから入力した輝度別ノイズレベルＥ０〜Ｅ７の内で、有効なデータがなかった場合は、検証用ノイズレベル検出手段４３から入力したＳＩＦＴ値を輝度別ノイズレベルＥ０〜Ｅ７の値とするようにしてもよい。
【０２３０】
図２１に戻って、輝度算出手段（ノイズ検出ブロック輝度算出手段）４１ｉは、ブロック分割手段４１Ｂａから、フレーム画像Ｆ（ｔｎ）から分割したブロックＣを構成する画素データを入力し、当該ブロックＣを構成する画素データの平均である平均輝度ＬＡＶＥを算出して輝度別最小値抽出手段４１ｆに出力する。
【０２３１】
また、検証用ノイズレベル検出手段４３は、図６に示した第１実施形態の設定用ノイズレベル検出手段４１と同様の構成とすることができるため、詳細な構成の説明は省略する。検証用ノイズレベル検出手段４３は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）から画像平面内のノイズレベルを検出し、検出したノイズレベルをＳＩＦＴ値（検証用ノイズレベル）として設定用ノイズレベル検出手段４１Ｂのノイズレベル検証手段４１ｇに出力する。
【０２３２】
［第２実施形態のノイズ低減装置を含むノイズ低減システムの動作］
次に、図２３を参照（適宜図２０及び図２１参照）して、第２実施形態のノイズ低減装置１Ａを含むノイズ低減システム１００Ａの動作について説明する。
【０２３３】
図２３に示したように、ノイズ低減システム１００Ａは、まず、不図示のカメラで急激な濃淡変化の少ない画像をプリスキャンしたフレーム画像Ｆ（ｔｎ）をノイズ低減装置１Ａ及び領域判別装置２に入力し（ステップＳ１４１）、ノイズ低減装置１Ａのコアリングレベル設定手段４０Ｂによってフレーム画像Ｆ（ｔｎ）に重畳されたノイズレベルを検出して、コアリングレベル設定手段４０Ｂ内の設定用ノイズレベル検出手段４１Ｂのノイズレベル検証手段４１ｇに、輝度別ノイズレベルＥ０〜Ｅ７の有効性の検証値であるＳＩＦＴ値として保持する（ステップＳ１４２）。
【０２３４】
ノイズ低減システム１００Ａは、ステップＳ１４２に続いて、又は並行して、領域判別装置２のノイズレベル設定手段２１８によって、ステップＳ１４１でプリスキャンして得たフレーム画像Ｆ（ｔｎ）に重畳されたノイズレベルＥＥを検出し、正規化処理のために当該ノイズレベル設定手段２１８の正規化手段２１３に出力して設定する（ステップＳ１４３）。
なお、領域判別装置２が、ノイズレベルＥＥに替えて、ノイズ低減装置１Ａの検証用ノイズレベル検出手段４３によって検出したＳＩＦＴ値を用いるように構成することもできる。この場合は、ステップＳ１４３は省略することができる。
【０２３５】
次に、不図示のカメラによって本スキャンが開始され（ステップＳ１４４）、ノイズ低減システム１００Ａがフレーム画像Ｆ（ｔｎ）を入力すると（ステップＳ１４５）、ノイズ低減システム１００Ａは、ノイズ低減装置１Ａのコアリングレベル設定手段４０Ｂによって、ステップＳ１４２で検出して保持しておいたＳＩＦＴ値を参照しながら、輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を算出して、ノイズ低減装置１Ａの動領域処理手段３０Ａのコアリング処理手段３３Ａに出力してコアリング処理のために設定する（ステップＳ１４６）。
【０２３６】
次に、ノイズ低減システム１００Ａは、領域判別装置２によって、フレーム画像Ｆ（ｔｎ）をブロックＢＢに分割し（ステップＳ１４７）、ブロックＢＢごとに動領域か静領域かを示す領域判別マップＲ（ｔｎ）を作成する（ステップＳ１４８）。
【０２３７】
ノイズ低減システム１００Ａは、ノイズ低減装置１Ａによって、ステップＳ１４８で領域判別装置２が作成した領域判別マップＲ（ｔｎ）を参照してブロックＢＢごとに領域判別結果ｒを確認し（ステップＳ１４９）、注目ブロックＢＢが動領域である場合は（ステップＳ１４９でＹｅｓ）、ノイズ低減装置１Ａの動領域処理手段３０Ａによって、ステップＳ１４７で分割したフレーム画像Ｆ（ｔｎ）の注目ブロックＢＢに対応する画像をブロックＢとして分割して、ステップＳ１４６で設定した輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を用いて動領域処理を施し、動領域フレーム画像Ｆｄ（ｔｎ）を算出して処理選択手段５０に出力する（ステップＳ１５０）。
一方、注目ブロックＢＢが静領域である場合は（ステップＳ１４９でＮｏ）、ノイズ低減装置１Ａの静領域処理手段２０によって、ステップＳ１４７で分割したフレーム画像Ｆ（ｔｎ）の注目ブロックＢＢに対応する画像をブロックＢとして分割し、静領域処理を施し、静領域フレーム画像Ｆｓ（ｔｎ）を算出して処理選択手段５０に出力する（ステップＳ１５１）。
【０２３８】
ノイズ低減システム１００Ａは、ノイズ低減装置１Ａの処理選択手段５０によって、ステップＳ１４８で領域判別装置２が作成した領域判別マップＲ（ｔｎ）を参照して注目ブロックＢＢが動領域である場合はステップＳ１５０で動領域処理手段３０Ａから入力した動領域フレーム画像Ｆｄ（ｔｎ）を選択してフレームメモリ６０に記憶し、注目ブロックＢＢが静領域である場合はステップＳ１５１で静領域処理手段２０から入力した静領域フレーム画像Ｆｓ（ｔｎ）を選択してフレームメモリ６０に記憶する（ステップＳ１５２）。
【０２３９】
ノイズ低減システム１００Ａは、領域判別装置２によって、注目フレームにおいて未処理のブロックＢＢがあるか確認し（ステップＳ１５３），未処理のブロックＢＢがある場合は（ステップＳ１５３でＹｅｓ）、ステップＳ１４９に戻って、次の注目ブロックＢＢ対する一連のノイズ低減処理を続ける。
一方、未処理のブロックＢＢがない場合は（ステップＳ１５３でＮｏ）、ノイズ低減システム１００Ａは、ノイズ低減装置１Ａによって、ノイズ低減装置１のフレームメモリ６０に蓄積されたノイズ低減したフレーム画像Ｆ’（ｔｎ）を読み出して、外部に出力する（ステップＳ１５４）。
【０２４０】
ノイズ低減システム１００Ａは、次のフレーム画像Ｆ（ｔｎ＋１）の入力があるか確認し（ステップＳ１５５）、次のフレーム画像Ｆ（ｔｎ＋１）の入力がある場合は（ステップＳ１５５でＹｅｓ）、ステップＳ１４５に戻って、次のフレーム画像Ｆ（ｔｎ＋１）に対する一連のノイズ低減処理を続ける。
一方、次のフレーム画像Ｆ（ｔｎ＋１）の入力がない場合は（ステップＳ１５５でＮｏ）、ノイズ低減システム１００Ａは処理を終了する。
【０２４１】
次に、図２４を参照（適宜図２０参照）して、第２実施形態のノイズ低減装置１Ａにおける動領域処理手段３０Ａの動作について説明する。なお、図２４に示したフロー図の処理は、図２３に示したステップＳ１５０の処理に相当する。
【０２４２】
第２実施形態のノイズ低減装置１Ａにおける動領域処理手段３０Ａは、ブロック分割手段３１によって、注目ブロックＢＢの位置に対応する注目フレームの画像をブロックＢとしてフレームメモリ１１から分割して、当該ブロックＢを構成する画素データを入力する（ステップＳ１６１）。
【０２４３】
次に動領域処理手段３０Ａは、輝度算出手段３５によって、ステップＳ１６１で入力したブロックＢを構成する画素データの平均を算出して当該ブロックＢにおける輝度Ｌとしてコアリング処理手段３３Ａに出力する（ステップＳ１６２）。
【０２４４】
動領域処理手段３０Ａは、ＤＣＴ処理手段３２によって、ステップＳ１６１で入力したブロックＢを構成する画素データをＤＣＴ処理して、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換し、変換したＤＣＴ係数ＫＤＣＴをコアリング処理手段３３Ａに出力する（ステップＳ１６３）。
なお、ステップＳ１６２とステップＳ１６３とはどちらを先に処理してもよく、並行して処理を行うようにしてもよい。
また、ステップＳ１６２の処理において、ブロックＢの輝度Ｌとして、ブロックＢを構成する画素データの単純平均を用いる場合は、ＤＣＴ処理手段３２によって算出するＤＣＴ係数ＫＤＣＴの直流成分を示す係数を流用することができるため、ステップＳ１６２を削除することができる。
【０２４５】
動領域処理手段３０Ａは、コアリング処理手段３３Ａによって、図２３のステップＳ１４６でコアリングレベル設定手段４０Ｂから予め入力して設定しておいた輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７の中から、ステップＳ１６２で輝度算出手段３５から入力した輝度Ｌに対応する輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を選択する。そして、ステップＳ１６３でＤＣＴ処理手段３２から入力したＤＣＴ係数ＫＤＣＴの交流成分を示す各係数から選択した輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を減じ、未処理の直流成分を示す係数と輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を減じた交流成分を示す各係数とからなるＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段３４に出力する（ステップＳ１６４）。
【０２４６】
動領域処理手段３０Ａは、ステップＳ１６４でコアリング処理手段３３Ａから入力したＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理して、高空間周波数成分が低減された画像に変換し、ブロックＢＢの位置における動領域フレーム画像Ｆｄ（ｔｎ）として処理選択手段５０に出力する（ステップＳ１６５）。
【０２４７】
次に、図２５を参照（適宜図２１及び図２０参照）して、第２実施形態のノイズ低減装置１Ａにおけるコアリングレベル設定手段４０Ｂの動作について説明する。なお、図２５に示したフロー図の処理は、図２３に示したステップＳ１４１〜ステップＳ１４２及びステップＳ１４６の処理に相当する。
【０２４８】
図２５に示したように、コアリングレベル設定手段４０Ｂは、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を入力して（ステップＳ１７１）、検証用ノイズレベル検出手段４３によって、設定用ノイズレベル検出手段４１Ｂによって検出される輝度別ノイズレベルＥ０〜Ｅ７の検証のための検証値であるＳＩＦＴ値を算出し、設定用ノイズレベル検出手段４１Ｂのノイズレベル検証手段４１ｇに出力する（ステップＳ１７２）。
【０２４９】
本スキャンが開始され（ステップＳ１７３）、コアリングレベル設定手段４０Ｂにフレーム画像Ｆ（ｔｎ）を入力すると（ステップＳ１７４）、コアリングレベル設定手段４０Ｂは、ステップＳ１７４で入力したフレーム画像Ｆ（ｔｎ）をブロック分割手段４１Ｂａによって、全領域を１１×１１の形状のノイズレベル検出用のブロックＣに分割し（ステップＳ１７５）、分割したすべてのブロックＣについて、ブロックＣごとに１１×１１のブロックＣを構成する画素データをＤＣＴ処理手段４１ｂ及び輝度算出手段４１ｉに出力する（ステップＳ１７６）。
【０２５０】
コアリングレベル設定手段４０Ｂは、輝度算出手段４１ｉによって、ステップＳ１７６でブロック分割手段４１Ｂａから入力したブロックＣを構成する画素データの平均を算出し、当該ブロックＣの平均輝度ＬＡＶＥとして、輝度別最小値抽出手段４１ｆに出力する（ステップＳ１７７）。
【０２５１】
コアリングレベル設定手段４０Ｂにおける、ステップＳ１７８〜ステップＳ１８０は、それぞれ図１４に示した第１実施形態のコアリングレベル設定手段４０の処理におけるステップＳ６４〜ステップＳ６６と同様であるので、説明は省略する。
【０２５２】
コアリングレベル設定手段４０Ｂは、輝度別最小値抽出手段４１ｆによって、ステップＳ１７９で交流成分平均算出手段４１ｃから入力した交流成分平均ＫＡＶＥを、ステップＳ１７７で輝度算出手段４１ｉから入力した当該交流成分平均ＫＡＶＥを算出したブロックＣの平均輝度ＬＡＶＥを参照して、８つの輝度ランクＬ０〜Ｌ７の何れかに分類し、輝度ランクＬ０〜Ｌ７ごとに分類された交流成分平均ＫＡＶＥの最小値を抽出し、輝度別ノイズレベルＥ０〜Ｅ７としてノイズレベル検証手段４１ｇに出力する（ステップＳ１８１）。
【０２５３】
コアリングレベル設定手段４０Ｂは、ノイズレベル検証手段４１ｇによって、ステップＳ１７２で検証用ノイズレベル検出手段４３から入力したＳＩＦＴ値と、ステップＳ１８１で輝度別最小値抽出手段４１ｆから入力した各輝度別ノイズレベルＥ０〜Ｅ７とを比較し、各輝度別ノイズレベルが有効かどうかを検証して、有効でないと判断した輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を排除し、有効でない輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を排除した後の輝度別ノイズレベルＥ０〜Ｅ７を補間処理手段４１ｈに出力する（ステップＳ１８２）。
【０２５４】
コアリングレベル設定手段４０Ｂは、補間処理手段４１ｈによって、ステップＳ１８２でノイズレベル検証手段４１ｇから入力した輝度別ノイズレベルＥ０〜Ｅ７において、有効でない輝度別ノイズレベルＥ０〜Ｅ７が含まれているかどうかを確認し、有効でない輝度別ノイズレベルが含まれている場合には、当該有効でない輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を、有効な輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７のデータを参照して補間処理によって算出し、全輝度ランクについて有効な輝度別ノイズレベルＥ０〜Ｅ７としてコアリングレベル調整手段４２Ｂに出力する（ステップＳ１８３）。
【０２５５】
コアリングレベル設定手段４０Ｂは、コアリングレベル調整手段４２Ｂによって、ステップＳ１８３で補間処理手段４１ｈから入力した各輝度別ノイズレベルＥ０〜Ｅ７に、予め外部から入力したコアリングレベル調整値αを乗じて輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を算出し、算出した輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を動領域処理手段３０Ａのコアリング処理手段３３Ａに出力してコアリング処理のために設定する（ステップＳ１８４）。
【０２５６】
コアリングレベル設定手段４０Ｂは、次のフレーム画像Ｆ（ｔｎ＋１）の入力があるか確認し（ステップＳ１８５）、次のフレーム画像Ｆ（ｔｎ＋１）の入力がある場合は（ステップＳ１８５でＹｅｓ）、ステップＳ１７４に戻って、次のフレーム画像Ｆ（ｔｎ＋１）に対する一連のコアリングレベル設定処理を続ける。一方、次のフレーム画像Ｆ（ｔｎ＋１）の入力がない場合は（ステップＳ１８５でＮｏ）、コアリングレベル設定手段４０Ｂは処理を終了する。
【符号の説明】
【０２５７】
１、１Ａ ノイズ低減装置
２ 領域判別装置
１０、１１、１２ フレームメモリ
２０ 静領域処理手段
２１ 高周波数成分低減手段
３０、３０Ａ 動領域処理手段
３１ ブロック分割手段（動領域処理ブロック分割手段）
３２ ＤＣＴ処理手段（動領域処理ブロック直交変換手段）
３３、３３Ａ コアリング処理手段
３４ 逆ＤＣＴ処理手段（動領域処理ブロック逆直交変換手段）
３５ 輝度算出手段（動領域処理ブロック輝度算出手段）
４０、４０Ａ、４０Ｂ コアリングレベル設定手段
４１、４１Ａ、４１Ｂ 設定用ノイズレベル検出手段
４１ａ、４１Ｂａ ブロック分割手段（ノイズ検出ブロック分割手段）
４１ｂ ＤＣＴ処理手段（ノイズ検出ブロック直交変換手段）
４１ｃ 交流成分平均算出手段
４１ｄ 最小値抽出手段
４１ｅ ＨＰＦ処理手段（低空間周波数成分抑制手段）
４１ｆ 輝度別最小値抽出手段
４１ｇ ノイズレベル検証手段
４１ｈ 補間処理手段
４１ｉ 輝度算出手段（ノイズ検出ブロック輝度算出手段）
４２、４２Ｂ コアリングレベル調整手段
４３ 検証用ノイズレベル検出手段
５０ 処理選択手段
６０ フレームメモリ
１００、１００Ａ ノイズ低減システム
２１０ ブロック分割手段（領域判別ブロック分割手段）
Ｂ ブロック（動領域処理ブロック）
ＢＢ ブロック（領域判別ブロック）
Ｃ ブロック（ノイズ検出ブロック）
Ｅ ノイズレベル
Ｅ０〜Ｅ７ 輝度別ノイズレベル
ＥＣＯＲ コアリングレベル
ＥＣＯＲ０〜ＥＣＯＲ７ 輝度別コアリングレベル
Ｆ（ｔｎ） フレーム画像
Ｒ（ｔｎ） 領域判別マップ（領域判別信号）
【技術分野】
【０００１】
本発明は、動画像を構成するフレーム画像内の領域が、動きのある動領域か動きのない静領域かを示す判別結果に基づいて、動領域と静領域とで適応的にノイズ低減処理を切り替えるノイズ低減装置及びノイズ低減プログラムに関する。
【背景技術】
【０００２】
動画像に重畳されたノイズの低減処理を効率的にするために、動画像を構成するフレーム画像内の領域が、動きのある動領域か動きのない静領域かを判別し、判別結果に応じて適応的にノイズ低減処理する方法がある。例えば、特許文献１（図１及び図２、段落００３９〜段落００６２参照）では、ＭＵＳＥ信号をデジタル化し、動き検出の結果、静領域に対して選択的に強いノイズ低減処理を行うノイズリダクション回路が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−１６５１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、ＭＵＳＥ信号が動領域では元々高空間周波数成分が損なわれている特性を利用しており、特に動領域に対する具体的なノイズ低減処理については記載されていない。
そこで、本発明は、フレーム画像内の領域が、動領域か静領域かを判別した結果に基づいて動領域と静領域に適したノイズ低減処理を行い、動画像に重畳されたノイズを、画像の劣化を抑制しつつ低減するノイズ低減装置及びノイズ低減プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記した目的を達成するために、請求項１に記載したノイズ低減装置は、動画像を構成するフレーム画像の画像平面内の領域が、当該フレーム画像に対して時間軸方向に前後のフレーム画像に対して変化のある動領域か、変化のない静領域か、の２種類の領域の何れであるかを判別する領域判別信号に従って、動領域と静領域とにそれぞれ異なるノイズ低減処理を施すことにより、動画像に重畳されたノイズを低減させるノイズ低減装置であって、動領域処理手段と、高周波数成分低減手段を備えた静領域処理手段と、を備え、前記動領域処理手段は、動領域処理ブロック分割手段と、動領域処理ブロック直交変換手段と、コアリングレベル設定手段と、コアリング処理手段と、動領域処理ブロック逆直交変換手段と、を備える構成とした。
【０００６】
かかる構成によれば、ノイズ低減装置の静領域処理手段は、高周波数成分低減手段によって、領域判別信号が静領域を示すフレーム画像の領域に対して、当該領域中の画素ごとに、当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を参照して高周波数成分を低減する。
一方、ノイズ低減装置の動領域処理手段は、動領域処理ブロック分割手段によって、領域判別信号が動領域を示すフレーム画像の領域に対して、予め定められた形状の動領域処理の単位ブロックである動領域処理ブロックに分割する。動領域処理手段は、次に、動領域処理ブロック直交変換手段によって、動領域処理ブロック分割手段により分割された動領域処理ブロックごとに直交変換をして、動領域処理ブロックを構成する画素データを空間周波数成分に変換する。また、動領域処理手段は、コアリングレベル設定手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分に対してコアリング処理をするときのコアリングレベルをコアリング処理手段に予め設定しておく。次に、動領域処理手段は、コアリング処理手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分中の各交流成分からコアリングレベル設定手段により設定されたコアリングレベルを減じるコアリング処理をする。そして、動領域処理手段は、動領域処理ブロック逆直交変換処理手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分中の直流成分とコアリング処理手段によりコアリング処理された交流成分とからなる空間周波数成分に逆直交変換処理を施して画素データに変換することで、高空間周波数成分を低減する。
これによって、ノイズ低減装置は、静領域において時間軸方向のノイズを低減し、動領域において画像平面内のノイズを低減する。
【０００７】
請求項２に記載のノイズ低減装置は、請求項１に記載のノイズ低減装置において、コアリングレベル設定手段は、設定用ノイズレベル検出手段を備える構成とした。
【０００８】
かかる構成によれば、ノイズ低減装置のコアリングレベル設定手段は、設定用ノイズレベル検出手段によって、入力したフレーム画像からノイズレベルを検出し、検出したノイズレベルをコアリングレベルとしてコアリング処理手段に設定する。
これによって、ノイズ低減装置は、ノイズレベルをコアリングレベルとしてコアリング処理を行う。
【０００９】
請求項３に記載のノイズ低減装置は、請求項１に記載のノイズ低減装置において、コアリングレベル設定手段は、設定用ノイズレベル検出手段とコアリングレベル調整手段とを備える構成とした。
【００１０】
かかる構成によれば、ノイズ低減装置のコアリングレベル設定手段は、まず、設定用ノイズレベル検出手段によって、入力したフレーム画像からノイズレベルを検出する。そして、コアリングレベル設定手段は、コアリングレベル調整手段によって、設定用ノイズレベル検出手段により検出されたノイズレベルに、予め設定された０乃至１の値のノイズレベル調整値を乗じてコアリングレベルを算出して、コアリング処理手段に設定する。
これによって、ノイズ低減装置は、ノイズレベル以下のコアリングレベルに調整してコアリング処理を行う。
【００１１】
請求項４に記載のノイズ低減装置は、請求項２又は請求項３に記載のノイズ低減装置において、設定用ノイズレベル検出手段は、ノイズ検出ブロック分割手段とノイズ検出ブロック直交変換手段と交流成分平均算出手段と最小値抽出手段とを備える構成とした。
【００１２】
かかる構成によれば、ノイズ低減装置の設定用ノイズレベル検出手段は、ノイズ検出ブロック分割手段によって、フレーム画像を複数の画素からなる複数の予め定められた形状のノイズレベル検出の単位ブロックであるノイズ検出ブロックに分割する。次に、設定用ノイズレベル検出手段は、ノイズ検出ブロック直交変換手段によって、ノイズ検出ブロック分割手段により分割されたノイズ検出ブロックを直交変換して空間周波数成分に変換する。続いて、設定用ノイズレベル検出手段は、交流成分平均算出手段によって、ノイズ検出ブロック直交変換手段により変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する。そして、設定用ノイズレベル検出手段は、最小値抽出手段によって、交流成分平均算出手段によりノイズ検出ブロックごとに算出された交流成分平均の中から最小値を抽出し、ノイズレベルとして出力する。
これによって、ノイズ低減装置は、フレーム画像の複数の箇所から検出したノイズレベル候補である交流成分平均からノイズレベルを決定する。
【００１３】
請求項５に記載のノイズ低減装置は、請求項２又は請求項３に記載のノイズ低減装置において、設定用ノイズレベル検出手段は、ノイズ検出ブロック分割手段と低空間周波数成分抑制手段とノイズ検出ブロック直交変換手段と最小値抽出手段とを備える構成とした。
【００１４】
かかる構成によれば、設定用ノイズレベル検出手段は、ノイズ検出ブロック分割手段によって、フレーム画像を複数の画素からなる複数の予め定められた形状のノイズ検出の単位ブロックであるノイズ検出ブロックに分割する。次に、設定用ノイズレベル検出手段は、低空間周波数成分抑制手段によって、ノイズ検出ブロック分割手段により分割されたノイズ検出ブロックの画像データから低空間周波数成分を抑制する。次に、設定用ノイズレベル検出手段は、ノイズ検出ブロック直交変換手段によって、低空間周波成分抑制手段により低空間周波成分が抑制された画像データを直交変換して空間周波数成分に変換する。続いて、設定用ノイズレベル検出手段は、交流成分平均算出手段によって、ノイズ検出ブロック直交変換手段により変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する。そして、設定用ノイズレベル検出手段は、最小値抽出手段によって、交流成分平均算出手段によりノイズ検出ブロックごとに抽出された複数の前記交流成分平均から最小値を抽出し、ノイズレベルとして出力する。
これによって、ノイズ低減装置は、画像信号成分が主体である低空間周波数を抑制した画像からノイズレベルを検出する。
【００１５】
請求項６に記載のノイズ低減装置は、請求項１乃至請求項３の何れか一項に記載のノイズ低減装置において、更に、動領域処理ブロック輝度算出手段を備え、コアリングレベル設定手段は、輝度別コアリングレベルを設定するとともに、コアリング処理手段は輝度別コアリングレベルを用いてコアリング処理をすることとした。
【００１６】
かかる構成によれば、ノイズ低減装置は、動領域処理ブロック輝度算出手段によって、動領域処理ブロック分割手段によって分割された動領域処理ブロック内の輝度レベルを算出する。
一方、ノイズ低減装置は、コアリングレベル設定手段によって、輝度レベルに応じてコアリングレベルが定められた輝度別コアリングレベルをコアリング処理手段に設定する。そして、ノイズ低減装置は、コアリング処理手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分中の各交流成分から、動領域処理ブロック輝度算出手段により算出した輝度レベルに対応するコアリングレベル設定手段により設定された輝度別コアリングレベルを減じるコアリング処理をする。
これによって、ノイズ低減装置は、動領域において、輝度に応じたコアリングレベルでコアリング処理を行う。
【００１７】
請求項７に記載のノイズ低減装置は、請求項６に記載のノイズ低減装置において、設定用ノイズ検出手段は、ノイズ検出ブロック分割手段とノイズ検出ブロック直交変換手段と交流成分平均算出手段とノイズ検出ブロック輝度算出手段と輝度別最小値抽出手段とを備える構成とした。
【００１８】
かかる構成によれば、ノイズ低減装置の設定用ノイズ検出手段は、ノイズ検出ブロック分割手段によって、フレーム画像を複数の画素からなる複数の予め定められた形状のノイズレベル検出の単位ブロックであるノイズ検出ブロックに分割する。次に、設定用ノイズレベル検出手段は、ノイズ検出ブロック直交変換手段によって、ノイズ検出ブロック分割手段により分割されたノイズ検出ブロックを直交変換して空間周波数成分に変換する。続いて、設定用ノイズレベル検出手段は、交流成分平均算出手段によって、ノイズ検出ブロック直交変換手段により変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する。
一方、設定用ノイズレベル検出手段は、ノイズ検出ブロック輝度算出手段によって、ノイズ検出ブロック分割手段によって分割されたノイズ検出ブロック内の輝度レベルを算出する。
そして、設定用ノイズレベル検出手段は、輝度別最小値抽出手段によって、交流成分平均算出手段により算出された交流成分平均を、ノイズ検出ブロック輝度算出手段により算出された輝度レベルごとに、フレーム画像中の複数のノイズ検出ブロックに対応する交流成分平均から最小値を抽出して各輝度レベルにおける輝度別ノイズレベルとして出力する。
これによって、ノイズ低減装置は、フレーム画像の複数の箇所から検出した輝度別に分類されたノイズレベル候補である交流成分平均の中から、それぞれの輝度レベルにおけるノイズレベルを決定する。
【００１９】
請求項８に記載のノイズ低減装置は、請求項７に記載のノイズ低減装置において、コアリングレベル設定手段は、更に検証用ノイズレベル検出手段を備えるとともに、設定用ノイズレベル検出手段は、更にノイズレベル検証手段と補間処理手段とを備える構成とした。
【００２０】
かかる構成によれば、ノイズ低減装置のコアリングレベル設定手段は、検証用ノイズレベル検出手段によって、予め予備撮影（プリスキャン）して得られたフレーム画像から、設定用ノイズレベル検出手段によって検出される輝度別ノイズレベルの有効性を検証するための検証用ノイズレベルを検出しておく。
次に、コアリングレベル設定手段の設定用ノイズレベル検出手段は、ノイズレベル検証手段によって、輝度別最小値抽出手段により抽出された各輝度別ノイズレベルが検証用ノイズレベル検出手段により予め検出しておいた検証用ノイズレベルに対して、予め定められた所定の範囲外にあるときに、当該輝度別ノイズレベルを有効でないとして排除する。そして、設定用ノイズレベル検出手段は、補間処理手段によって、ノイズレベル検証手段により排除された輝度レベルに対応するノイズレベルを、排除されなかった輝度レベルにおけるノイズレベルから補間処理して算出し、１組の輝度別ノイズレベルを完成させる。
これによって、ノイズ低減装置は、動画像を構成するフレーム画像から一旦検出した輝度別ノイズレベルから有効でないデータを排除し、有効なデータから輝度別ノイズレベルを再構成する。そして、ノイズ低減装置は、有効な輝度別のノイズレベルに基づいて算出した輝度別ノイズレベルを用いてコアリングレベルを設定する。
【００２１】
請求項９に記載のノイズ低減装置は、請求項１乃至請求項８の何れか一項に記載のノイズ低減装置において、高周波数成分低減手段として平均化フィルタを用いることとした。
【００２２】
かかる構成によれば、ノイズ低減装置の静領域処理手段は、平均化フィルタによって、領域判別信号が静領域を示すフレーム画像の領域に対して、処理対象のフレーム画像及び当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を平均化処理する。
これによって、ノイズ低減装置は、静領域において、時間軸方向に急激な変化を鈍らせた画像に変換する。
【００２３】
請求項１０に記載のノイズ低減装置は、請求項１乃至請求項８の何れか一項に記載のノイズ低減装置において、高周波数成分低減手段としてメディアンフィルタを用いることとした。
【００２４】
かかる構成によれば、ノイズ低減装置の静領域処理手段は、メディアンフィルタによって、領域判別信号が静領域を示すフレーム画像の領域に対して、処理対象のフレーム画像及び当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素から中央値を選択する。
これによって、ノイズ低減装置は、静領域において、時間軸方向に突出した孤立点などを除去した画像に変換する。
【００２５】
請求項１１に記載のノイズ低減プログラムは、動画像を構成するフレーム画像の画像平面内の領域が、当該フレーム画像に対して時間軸方向に前後のフレーム画像に対して変化のある動領域か、変化のない静領域か、の２種類の領域の何れであるかを判別する領域判別信号に従って、動領域と静領域とにそれぞれ異なるノイズ低減処理を施すことにより、動画像に重畳されたノイズを低減させるために、コンピュータを、高周波数成分低減手段、動領域処理ブロック分割手段、動領域処理ブロック直交変換手段、コアリングレベル設定手段、コアリング処理手段、動領域処理ブロック逆直交変換手段、として機能させることとした。
【００２６】
かかる構成によれば、ノイズ低減プログラムは、高周波数成分低減手段によって、領域判別信号が静領域を示すフレーム画像の領域に対して、当該領域中の画素ごとに、当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を参照して高周波数成分を低減する。
一方、ノイズ低減プログラムは、動領域処理ブロック分割手段によって、領域判別信号が動領域を示すフレーム画像の領域に対して、予め定められた形状の動領域処理の単位ブロックである動領域処理ブロックに分割する。次に、ノイズ低減プログラムは、動領域処理ブロック直交変換手段によって、動領域処理ブロック分割手段により分割された動領域処理ブロックごとに直交変換をして、動領域処理ブロックを構成する画素データを空間周波数成分に変換する。また、ノイズ低減プログラムは、コアリングレベル設定手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分に対してコアリング処理をするときのコアリングレベルをコアリング処理手段に予め設定しておく。次に、ノイズ低減プログラムは、コアリング処理手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分中の各交流成分からコアリングレベル設定手段により設定されたコアリングレベルを減じるコアリング処理をする。そして、ノイズ低減プログラムは、動領域処理ブロック逆直交変換処理手段によって、動領域処理ブロック直交変換手段により変換された空間周波数成分中の直流成分とコアリング処理手段によりコアリング処理された交流成分とからなる空間周波数成分に逆直交変換処理を施して画素データに変換することで、高空間周波数成分を低減する。
これによって、ノイズ低減プログラムは、静領域において時間軸方向のノイズを低減し、動領域において画像平面内のノイズを低減する。
【発明の効果】
【００２７】
請求項１又は請求項１１に記載の発明によれば、静領域においては元々画像信号の変化がない時間軸方向における急峻な変化を鈍らせるため、画像信号を劣化させることなく時間軸方向に変化するノイズを低減することができる。また、動領域においてはコアリング処理によって粒状性のノイズ成分が多く含まれる高空間周波数成分ほど大きく低減するため、粒状性ノイズを効果的に低減することができる一方で、動領域では画像がぼけても認識されにくいという視覚特性のため、動領域の画像信号の劣化を抑えながら画像平面内のノイズを低減することができる。
【００２８】
請求項２に記載の発明によれば、フレーム画像から検出したノイズレベルをコアリングレベルとして用いてコアリング処理をするため、動領域においてノイズ成分を適切に低減することができる。
【００２９】
請求項３に記載の発明によれば、コアリングレベルがノイズレベルを超えない範囲で調整できるため、動領域においてノイズ低減と画像のボケとのバランスを考慮したノイズ低減処理を行うことができる。
【００３０】
請求項４に記載の発明によれば、コアリングレベル設定の基となるノイズレベルを、フレーム画像の複数の箇所から検出したノイズレベル候補である交流成分平均から抽出して決定するため適切なコアリングレベルを設定することができる。そのため、動領域において適切なノイズ低減をすることができる。
【００３１】
請求項５に記載の発明によれば、画像信号成分が主体である低空間周波数を抑制した画像からノイズレベルを検出するため、より適切なコアリングレベルを設定することができ、その結果、動領域において、より適切なノイズ低減をすることができる。
【００３２】
請求項６に記載の発明によれば、動領域において、輝度に応じたコアリングレベルでコアリング処理を行うため、輝度レベルごとに信号対雑音比が異なる場合であっても、ノイズ低減と画像のボケの程度が一定したノイズ低減をすることができる。
【００３３】
請求項７に記載の発明によれば、コアリングレベル設定の基となる輝度別ノイズレベルを、フレーム画像の複数の箇所から検出した輝度別に分類されたノイズレベル候補である交流成分平均の中の最小値を、それぞれの輝度レベルにおけるノイズレベルとして抽出するため、適切に輝度別ノイズレベルを検出することができる。そのため、当該輝度別ノイズレベルに基づいて設定される輝度別のコアリングレベルを用いて、動領域において適切なノイズ低減をすることができる。
【００３４】
請求項８に記載の発明によれば、フレーム画像から一旦検出した輝度別ノイズレベルから有効でないデータを排除し、有効なデータから輝度別ノイズレベルを再構成するため、適切に輝度別ノイズレベルを検出することができる。そのため、当該輝度別ノイズレベルに基づいて設定される輝度別のコアリングレベルを用いて、動領域において安定して適切なノイズ低減をすることができる。
【００３５】
請求項９に記載の発明によれば、静領域において、時間軸方向に急激な変化を鈍らせた画像に変換するため、時間軸方向に急激に変化するノイズを効果的に低減することができる。
【００３６】
請求項１０に記載の発明によれば、静領域において、時間軸方向に突出した孤立点などを除去した画像に変換するため、時間軸方向に大きく変化する画像信号を保存しつつ、粒状性ノイズのような時間軸方向に小さく変化するノイズを効果的に低減することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明に係る第１実施形態のノイズ低減装置を含むノイズ低減システムの構成を示すブロック図である。
【図２】本発明に係るノイズ低減装置における領域判別の単位を説明するための模式図である。
【図３】本発明に係るノイズ低減装置において時間軸方向における複数の画素を参照する様子を説明するための模式図である。
【図４】本発明に係るノイズ低減装置における離散コサイン変換を説明するための説明図であり、（１）はブロックの画素の配列、（２）は変換後のＤＣＴ係数の配列を示す。
【図５】本発明に係るノイズ低減装置におけるコアリング処理の様子を説明するための模式図であり、（１）はコアリング処理前のＤＣＴ係数、（２）はコアリング処理後のＤＣＴ係数を示す。
【図６】本発明に係る第１実施形態のノイズ低減装置におけるコアリングレベル設定手段の構成を示すブロック図である。
【図７】本発明におけるノイズレベル検出のためにフレーム画像をブロック分割する様子を示す模式図であり、（１）はブロック分割の一例を示す模式図であり、（２）はブロック分割の他の例を示す模式図である。
【図８】本発明における領域判別装置の構成を示すブロック図である。
【図９】本発明における連続するフレーム間のブロックの関係を説明するための模式図である。
【図１０】本発明におけるノイズレベル設定手段の構成を示すブロック図である。
【図１１】本発明における第１実施形態のノイズ低減装置を含むノイズ低減システムの処理の流れを示すフロー図である。
【図１２】本発明に係る第１実施形態のノイズ低減装置における静領域処理手段による静領域処理の流れを示すフロー図である。
【図１３】本発明に係る第１実施形態のノイズ低減装置における動領域処理手段による動領域処理の流れを示すフロー図である。
【図１４】本発明に係る第１実施形態のノイズ低減装置におけるコアリングレベル設定手段によるコアリングレベル設定処理の流れを示すフロー図である。
【図１５】本発明における領域判別装置の処理の流れを示すフロー図である。
【図１６】本発明における領域判別装置のノイズレベル設定手段の処理の流れを示すフロー図である。
【図１７】本発明に係る第１実施形態の変形例のノイズ低減装置におけるコアリングレベル設定手段の構成を示すブロック図である。
【図１８】本発明におけるコアリングレベル設定手段におけるＨＰＦ処理を説明するための説明図であり、（１）は画像にＨＰＦを適用する様子を示す説明図であり、（２）はＨＰＦ処理における演算を説明するための説明図であり、（３）はＨＰＦの空間周波数に対する応答特性を示すグラフである。
【図１９】本発明に係る第１実施形態の変形例のノイズ低減装置におけるコアリングレベル設定手段の処理の流れを示すフロー図である。
【図２０】本発明に係る第２実施形態のノイズ低減装置を含むノイズ低減システムの構成を示すブロック図である。
【図２１】本発明に係る第２実施形態のノイズ低減装置におけるコアリングレベル設定手段の構成を示すブロック図である。
【図２２】本発明における補間処理を説明するための説明図である。
【図２３】本発明に係る第２実施形態のノイズ低減装置を含むノイズ低減システムの処理の流れを示すフロー図である。
【図２４】本発明に係る第２実施形態のノイズ低減装置における動領域処理手段による動領域処理の流れを示すフロー図である。
【図２５】本発明に係る第２実施形態のノイズ低減装置におけるコアリングレベル設定手段によるコアリングレベル設定処理の流れを示すフロー図である。
【発明を実施するための形態】
【００３８】
以下、本発明の実施形態について、適宜図面を参照して詳細に説明する。
［第１実施形態のノイズ低減装置を含むノイズ低減システムの構成］
まず、図１を参照して、本発明の第１実施形態のノイズ低減装置を含むノイズ低減システムの構成について説明する。
【００３９】
図１に示した第１実施形態のノイズ低減装置１を含むノイズ低減システム１００は、ノイズ低減装置１と領域判別装置２とを備えて構成されており、動画像Ｆを入力して、ノイズ低減した動画像Ｆ’を出力するノイズ低減システムである。
また、第１実施形態のノイズ低減装置１は、フレームメモリ１０，１１，１２と、静領域処理手段２０と、動領域処理手段３０と、処理選択手段５０と、フレームメモリ６０とを備えて構成されている。
【００４０】
第１実施形態のノイズ低減装置１は、領域判別装置２によって動画像Ｆを構成する各フレーム画像Ｆ（ｔｎ）を、予め定めた形状のブロックごとに動領域か静領域かを判別した結果である領域判別マップ（領域判別信号）Ｒ（ｔｎ）を用いて、フレーム画像Ｆ（ｔｎ）に重畳されているノイズを、当該領域判別マップＲ（ｔｎ）に応じて動領域と静領域とでそれぞれ異なる処理を施してフレーム画像Ｆ’（ｔｎ）を順次算出し、ノイズ低減した動画像Ｆ’を生成するものである。
【００４１】
ここで、図２を参照して領域判別装置２による領域判別の単位について説明する。
図２に示したように、領域判別装置２は、フレーム画像Ｆ（ｔｎ）を、５（画素）×５（ライン）の形状（サイズ）のブロック（領域判別ブロック）ＢＢに分割し、それぞれのブロックＢＢごとに静領域か動領域かを示す領域判別マップＲ（ｔｎ）を出力するものである。なお、ブロックＢＢの形状は、５×５に限定されるものではなく、４×４や８×８であってもよく、８×４のように水平方向と垂直方向とでサイズが異なるものでもよく、また、画素ごとに領域判別を行うものであってもよい。
領域判別装置２の詳細については後記する。
【００４２】
以下、図１を参照（適宜図２参照）して、第１実施形態のノイズ低減装置１の各部の構成について説明する。
［第１実施形態のノイズ低減装置の構成］
フレームメモリ１０，１１，１２は、ノイズ低減装置１に入力される動画像Ｆを構成する時間軸方向に連続する３つのフレーム画像Ｆ（ｔｎ−１）、Ｆ（ｔｎ）、Ｆ（ｔｎ＋１）を一時的に記憶する記憶手段である。
【００４３】
フレームメモリ１０は、ノイズ低減装置１にフレーム画像Ｆ（ｔｎ）が入力されると、既に記憶していた時間軸上で前のフレーム画像（ｔｎ−１）をフレームメモリ１１に出力するとともに、新しく入力されたフレーム画像Ｆ（ｔｎ）を記憶する。そして、フレームメモリ１０は、次のフレーム画像Ｆ（ｔｎ＋１）が入力されるまで、フレーム画像Ｆ（ｔｎ）を記憶保持するとともに、適宜に記憶しているフレーム画像Ｆ（ｔｎ）を静領域処理手段２０に出力する。
【００４４】
ノイズ低減装置１にフレーム画像Ｆ（ｔｎ）が入力され、フレームメモリ１０からフレームメモリ１１にフレーム画像Ｆ（ｔｎ−１）が出力されると、フレームメモリ１１は、既に記憶していた時間軸上で更に前のフレーム画像（ｔｎ−２）をフレームメモリ１２に出力するとともに、フレームメモリ１０から入力したフレーム画像Ｆ（ｔｎ−１）を記憶する。そして、ノイズ低減装置１に、更に次のフレーム画像Ｆ（ｔｎ＋１）が入力されるまで、フレーム画像Ｆ（ｔｎ−１）を保持するとともに、適宜に記憶しているフレーム画像Ｆ（ｔｎ−１）を静領域処理手段２０及び動領域処理手段３０に出力する。
【００４５】
ノイズ低減装置１にフレーム画像Ｆ（ｔｎ）が入力され、フレームメモリ１１からフレームメモリ１２にフレーム画像Ｆ（ｔｎ−２）が出力されると、フレームメモリ１２は、フレーム画像Ｆ（ｔｎ−２）を入力して記憶する。そして、ノイズ低減装置１に、更に次のフレーム画像Ｆ（ｔｎ＋１）が入力されるまで、フレーム画像Ｆ（ｔｎ−２）を保持するとともに、適宜に記憶しているフレーム画像Ｆ（ｔｎ−２）を静領域処理手段２０に出力する。
【００４６】
以上説明したように、フレームメモリ１０，１１，１２は、それぞれ時間軸上で連続する３つのフレーム画像Ｆ（ｔｎ），Ｆ（ｔｎ−１），Ｆ（ｔｎ−２）を記憶している状態において、ノイズ低減装置１に、次のフレーム画像Ｆ（ｔｎ＋１）が入力されると、フレームメモリ１０，１１，１２に記憶されているフレーム画像Ｆ（ｔｎ），Ｆ（ｔｎ−１），Ｆ（ｔｎ−２）は順次隣接するフレームメモリにシフトする。その結果、図１に示したように、フレームメモリ１０，１１，１２は、それぞれフレーム画像Ｆ（ｔｎ＋１），Ｆ（ｔｎ），Ｆ（ｔｎ−１）を記憶した状態となり、静領域処理手段２０は、時間軸上で連続する３つのフレーム画像Ｆ（ｔｎ＋１），Ｆ（ｔｎ），Ｆ（ｔｎ−１）を参照することができるようになる。
同様にして、直列に接続するフレームメモリを増加することにより、更に多数のフレーム画像を参照することができる。
【００４７】
静領域処理手段２０は、高周波数成分低減手段２１を備えて構成されており、高周波数成分低減手段２１によって、フレームメモリ１０，１１及び１２から、それぞれフレーム画像Ｆ（ｔｎ＋１）、Ｆ（ｔｎ）及びＦ（ｔｎ−１）を入力し、領域判別装置２から入力した領域判別マップＲ（ｔｎ）において静領域であることを示す領域（ブロックＢＢ）に対して、時間軸方向における高周波数成分を低減して、静領域フレーム画像Ｆｓ（ｔｎ）として処理選択手段５０に出力する。
高周波数成分低減手段２１は、例えば、時間軸方向における複数の画素を参照して平均化フィルタ処理を施す線形フィルタや、時間軸方向における複数の画素を参照してメディアンフィルタ処理を施す非線形フィルタを用いることができる。
【００４８】
ここで、図３を参照して時間軸方向における高周波数成分の低減処理について説明する。
高周波数成分低減手段２１は、図３に示したように、時間軸方向に連続する３つのフレーム画像Ｆ（ｔｎ＋１）、Ｆ（ｔｎ）及びＦ（ｔｎ−１）の画像平面内の同じ位置（ｉ，ｊ）における画素Ｆ（ｔｎ＋１）（ｉ，ｊ）、Ｆ（ｔｎ）（ｉ，ｊ）及びＦ（ｔｎ−１）（ｉ，ｊ）を参照して、処理対象である注目フレームの注目画素Ｆ（ｔｎ）（ｉ，ｊ）に対する処理を施すものである。ここで、ｉ及びｊは、それぞれフレーム画像内の水平方向及び垂直方向の位置を示すインデックスである。
【００４９】
時間軸方向における画素の平均化フィルタ処理とは、時間軸方向に連続するフレーム画像Ｆ（ｔｎ＋１）、Ｆ（ｔｎ）及びＦ（ｔｎ−１）などの画像平面内の同じ位置の画素の平均を算出し、処理対象である注目フレームの注目画素の値とするものである。連続する３つのフレームを参照する場合は、式（１−１）のようにして時間軸方向における平均化フィルタ処理を行うことができる。
【００５０】
Ｆｓ（ｔｎ）（ｉ，ｊ）＝
｛ Ｆ（ｔｎ−１）（ｉ，ｊ）
＋ Ｆ（ｔｎ ）（ｉ，ｊ）
＋ Ｆ（ｔｎ＋１）（ｉ，ｊ） ｝ ／ ３ …式（１−１）
【００５１】
時間軸方向における平均化フィルタ処理では、時間軸方向の画像の変化が抑圧される。すなわち、激しい動きを鈍くするものである。ここで、時間軸方向に変化する粒状ノイズ、例えば、フレームごとにノイズが出現したり消滅したりするノイズは、画像のちらつきとして認識される。時間軸方向に平均化フィルタ処理することにより、このようなちらつきとして認識されるノイズを効果的に低減することができる。一方、静領域とは、画像信号の変化のない領域のことであるから、時間軸方向において平均化フィルタ処理を施しても本来の画質が劣化することはない。そのため、総合的に見ると、ノイズが低減して画質が向上する静領域に適したノイズ低減処理である。
【００５２】
また、時間軸方向におけるメディアンフィルタ処理とは、時間軸方向に連続するフレーム画像Ｆ（ｔｎ＋１）、Ｆ（ｔｎ）及びＦ（ｔｎ−１）などの画像平面内の同じ位置の画素の中央値を算出し、処理対象である注目フレームの注目画素の値とするものである。連続する３つのフレームを参照する場合は、式（１−２）のようにして時間軸方向におけるメディアンフィルタ処理を行うことができる。
【００５３】
Ｆｓ（ｔｎ）（ｉ，ｊ）＝
ｍｅｄｉａｎ（
Ｆ（ｔｎ−１）（ｉ，ｊ），Ｆ（ｔｎ）（ｉ，ｊ），Ｆ（ｔｎ＋１）（ｉ，ｊ））
…式（１−２）
但し、ｍｅｄｉａｎ（ａ，ｂ，ｃ）は、ａ，ｂ，ｃの内の中央値を出力する関数である。
【００５４】
メディアンフィルタ処理は、信号の変化を平坦化する一種のＬＰＦ（ローパス・フィルタ）としての機能を有するものであるが、信号の立ち上がり又は立ち下がりエッジを保存する特性を有している。従って、信号振幅の大きい画像信号に、粒状性ノイズのような小振幅のノイズが重畳されている場合、小振幅信号には平坦化作用が働き、画像信号のエッジの急峻な大振幅信号はその急峻さや位置が損なわれることなく出力される。
【００５５】
なお、時間軸方向における平均化フィルタ処理やメディアンフィルタ処理において、参照するフレームは３フレームに限定されず、２フレームや５フレームなどとすることもできる。また、例えば、平均化フィルタ処理において、３フレームの平均化処理の場合で５ｄＢ、５フレームの平均化処理では７ｄＢのノイズレベルの低減効果を得ることができる。
【００５６】
図１に戻って（適宜図２参照）、動領域処理手段３０は、ブロック分割手段（動領域処理ブロック分割手段）３１と、ＤＣＴ（離散コサイン変換）処理手段（動領域処理ブロック直交変換手段）３２と、コアリング処理手段３３と、逆ＤＣＴ（逆離散コサイン変換）処理手段（動領域処理ブロック逆直交変換手段）３４と、コアリングレベル設定手段４０とを備えて構成されている。
動領域処理手段３０は、フレームメモリ１１からフレーム画像Ｆ（ｔｎ）を入力し、領域判別装置２から入力した領域判別マップＲ（ｔｎ）において動領域であることを示す領域（ブロックＢＢ）に対して、画像平面内における高空間周波数成分を低減した処理を施して、動領域フレーム画像Ｆｄ（ｔｎ）として処理選択手段５０に出力するものである。
【００５７】
第１実施形態のノイズ低減装置１における動領域処理手段３０は、画像平面内における高空間周波数成分を低減する処理法として、コアリング処理を用いる。
ここで、図４及び図５を参照して、コアリング処理について説明する。
【００５８】
第１実施形態のノイズ低減装置１における動領域処理手段３０は、図４の（１）に示したように、画素ｐ１１〜ｐ５５からなる処理対象の５×５の画素配列を、直交変換であるＤＣＴ処理をして、図４の（２）に示したように、空間周波数成分を示す係数ｘ１１〜ｘ５５からなる５×５の係数配列であるＤＣＴ係数ＫＤＣＴに変換する。ここで、係数ｘ１１は直流成分を示し、他の係数ｘ１２〜ｘ５５は交流成分を示す。また、交流成分を示す各係数ｘ１２〜ｘ５５は、係数配列の右側ほど水平方向の空間周波数が高く、下側ほど垂直方向の空間周波数が高い成分を表す。
【００５９】
なお、ＤＣＴ処理の単位となる画素配列（ブロック（動領域処理ブロック）Ｂ）のサイズは５×５に限定されるものではないが、領域判別の単位であるブロックＢＢの形状と同じとすることで、処理の切り替えを効率的に行うことができる。また、静領域処理と動領域処理を並列に行って、両者の処理結果を処理選択手段５０で選択するように構成する場合は、領域判別のブロックＢＢの形状と動領域処理のブロックＢの形状とを独立して設定することができる。
また、画像を空間周波数成分に変換する直交変換の手法としては、ＤＣＴのほかに、離散フーリエ変換やアダマール変換などを用いることもできる。
ここでは、直交変換としてＤＣＴを用い、ＤＣＴ処理の単位であるブロックＢは、領域判別の単位であるブロックＢＢと同じである場合について説明する。
【００６０】
コアリング処理とは、図５の（１）に示したように、ノイズのＲＭＳ（Root Mean Square：二乗平均平方根）値に相当する振幅分をコアリングレベルＥＣＯＲとして予め設定しておき、交流成分を示す各ＤＣＴ係数ｘａ、ｘｂ、…、ｘｇからコアリングレベルＥＣＯＲを減じることで、図５の（２）に示したように交流成分を一律に低減させる。そして、直流成分とコアリング処理を施した交流成分の係数ｘ’ａ、ｘ’ｂ、…、ｘ’ｇからなるＤＣＴ係数を逆ＤＣＴ処理（逆直交変換処理）することにより、高空間周波数成分を低減した画像に変換することができる。
【００６１】
図５に示したＤＣＴ係数ｘａ、ｘｂ、…、ｘｇは、図４の（２）に示したＤＣＴ係数ＫＤＣＴの交流成分を示す係数ｘ１２〜ｘ５５を空間周波数が低い方から高い方へ模式的に並べたものである。コアリング処理では、一般的に、高空間周波数成分の低減率が高くなるため、特に粒状性ノイズのような高空間周波数成分を多く含むノイズを効果的に低減できる。また、高空間周波数成分が低減されることで画像にボケが生じるが、時間軸方向に画像の変化がある動領域においては、画質劣化として認識されにくいという視覚特性がある。そのため、総合的に見ると、ノイズが低減して画質が向上する動領域に適したノイズ低減処理である。
【００６２】
図１に戻って、動領域処理手段３０のブロック分割手段（動領域処理ブロック分割手段）３１は、処理対象である注目フレームＦ（ｔｎ）を、ＤＣＴ処理の単位である５×５のブロック（動領域処理ブロック）Ｂに分割し、ブロックＢごとに当該ブロックＢを構成する画素データをＤＣＴ処理手段３２に出力する。
【００６３】
ＤＣＴ処理手段（動領域処理ブロック直交変換手段）３２は、ブロック分割手段３１から入力したブロックＢの画素データをＤＣＴ処理して、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換し、コアリング処理手段３３に出力する。
【００６４】
コアリング処理手段３３は、ＤＣＴ処理手段３２から入力したＤＣＴ係数ＫＤＣＴの交流成分を示す各係数ｘ１２〜ｘ５５から、コアリングレベル設定手段４０のコアリングレベル調整手段４２から入力したコアリングレベルＥＣＯＲを減じるコアリング処理を行い、直流成分を示す係数ｘ１１とコアリング処理後の交流成分を示す係数ｘ’１２〜ｘ’５５とからなるＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段３４に出力する。
【００６５】
逆ＤＣＴ処理手段（動領域処理ブロック逆直交変換手段）３４は、コアリング処理手段３３から入力したコアリング処理後のＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理して（図４に示したＤＣＴ処理の逆方向の変換処理）、高空間周波数成分が低減された５×５のサイズの画像に変換し、ブロックＢＢに対応する動領域フレーム画像Ｆｄ（ｔｎ）として処理選択手段５０に出力する。
【００６６】
コアリングレベル設定手段４０は、設定用ノイズレベル検出手段４１とコアリングレベル調整手段４２とを備えて構成されており、フレーム画像Ｆ（ｔｎ）に重畳されている画像平面内のノイズレベルＥを検出し、検出したノイズレベルＥと外部から入力したコアリングレベル調整値αとに基づいてコアリングレベルＥＣＯＲを調整し、コアリング処理手段３３に出力してコアリング処理のために設定するものである。
【００６７】
次に、図６及び図７を参照（適宜図１参照）して、第１実施形態におけるコアリングレベル設定手段４０の詳細な構成について説明する。
【００６８】
図６に示した第１実施形態における設定用ノイズレベル検出手段４１は、フレーム画像Ｆ（ｔｎ）を、予め定めた形状のブロック（ノイズ検出ブロック）Ｃに分割し、ブロックＣごとにＤＣＴ処理して空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換し、交流成分の平均である交流成分平均ＫＡＶＥを算出する。そしてフレーム画像Ｆ（ｔｎ）内の各ブロックＣにおける交流成分平均ＫＡＶＥの中から最小値を抽出し、抽出した交流成分平均ＫＡＶＥの最小値をノイズレベルＥとするものである。
【００６９】
設定用ノイズレベル検出手段４１は、ブロック分割手段４１ａと、ＤＣＴ処理手段４１ｂと、交流成分平均算出手段４１ｃと、最小値抽出手段４１ｄとを備えて構成されている。設定用ノイズレベル検出手段４１は、コアリングレベルＥＣＯＲを設定するための基となるノイズレベルを検出するものである。
【００７０】
ブロック分割手段（ノイズ検出ブロック分割手段）４１ａは、プリスキャン（予備撮影）して得たフレーム画像Ｆ（ｔｎ）を、予め定められた形状のブロック（ノイズ検出ブロック）Ｃに分割し、分割した各ブロックＣごとに、ブロックＣを構成する画素データをＤＣＴ処理手段４１ｂに出力する。第１実施形態における設定用ノイズレベル検出手段４１は、図７の（１）に点線で示したように、フレーム画像Ｆ（ｔｎ）を、まず３２×３２のブロックに分割し、各３２×３２サイズのブロックの一部にハッチングを施して示した１１×１１のブロックＣを構成する画素データを参照する。例えば、フレーム画像Ｆ（ｔｎ）の画像サイズがフルハイビジョンサイズである１９２０×１０８０の場合には、水平方向に１９２０／３２＝６０ブロック、垂直方向に１０８０／３２≒３３ブロックに分割し、フレーム画像Ｆ（ｔｎ）内の６０×３３＝１９８０箇所の１１×１１サイズのブロックＣを構成する画素データを順次にＤＣＴ処理手段４１ｂに出力する。
【００７１】
カメラ撮影において画像に重畳される粒状性ノイズは、主として高空間周波数成分を多く含むため、ノイズレベル検出のために用いる画像には、エッジや細密な模様などが含まれない平坦な画像領域、すなわち画像信号として高空間周波数成分を多く含まない画像領域が適している。このような画像領域の高空間周波数成分の大きさによってノイズレベルを評価することができる。そこで、分割した複数のブロックＣの中の、少なくとも１個のブロックＣが前記したような平坦画像領域に割り当てられればノイズレベルを適切に検出することができる。従って、第１実施形態の設定用ノイズレベル検出手段４１は、フレーム画像Ｆ（ｔｎ）の全領域を参照する必要はなく、全領域から一部の領域を間引いて参照するものである。
【００７２】
ここで、エッジなどの高空間周波数成分を多く含む画像が、１フレーム内に５００箇所程度含まれることが実験的に分かっているため、少なくとも１個のブロックＣが、エッジなどを含まない平坦な画像領域に割り当てられるように、ブロックＣの参照箇所は５００箇所以上とすることが望ましい。そこで、第１実施形態では、フルハイビジョンサイズの画像に適用した場合、前記したように１９８０箇所のブロックＣを参照するように構成されている。
なお、プリスキャン時には、画像の高空間周波数成分を抑制するために、わざとフォーカスをぼかして撮影するようにしてもよい。
【００７３】
また、図７の（２）に点線で示したように、フレーム画像Ｆ（ｔｎ）の全領域を１１×
１１の形状のブロックに分割し、これらのブロック中からハッチングを施して示したブロックＣを選択して、ノイズレベル検出のために参照するようにしてもよい。図７の（２）に示した例では、水平方向、垂直方向ともに、３ブロックに１ブロックの割合で抽出しているため、フレーム画像Ｆ（ｔｎ）が、フルハイビジョンサイズの画像の場合では、水平方向に１９２０／１１／３≒５８ブロック、垂直方向に１０８０／１１／３≒３２ブロックであり、合計で５８×３２＝１８５６箇所のブロックＣを参照することができる。
【００７４】
ＤＣＴ処理手段（ノイズ検出ブロック直交変換手段）４１ｂは、ブロック分割手段４１ａから入力したブロックＣを構成する画素配列を、ＤＣＴ処理手段３２と同様にＤＣＴ処理して、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換して、交流成分平均算出手段４１ｃに出力する。なお、ブロックＣを構成する画素サイズが１１×１１の場合には、空間周波数成分ｘ１１〜ｘ１１ １１（水平方向に１番目かつ垂直方向に１番目の成分から、水平方向に１１番目かつ垂直方向に１１番目の成分）までの１２１個の要素からなるＤＣＴ係数ＫＤＣＴに変換される。図４の（２）と同様にＤＣＴ係数ＫＤＣＴを表すと、何れのサイズの場合でも、配列の左上の要素ｘ１１が直流成分であり、右側ほど水平方向の空間周波数が高く、下側ほど垂直方向の空間周波数の高い成分の係数を示す。
【００７５】
交流成分平均算出手段４１ｃは、ＤＣＴ処理手段４１ｂからＤＣＴ係数ＫＤＣＴ入力し、ＤＣＴ係数ＫＤＣＴの交流成分を示す係数の平均である交流成分平均ＫＡＶＥを算出して、算出した交流成分平均ＫＡＶＥを最小値抽出手段４１ｄに出力する。
【００７６】
ここで、交流成分平均ＫＡＶＥは、交流成分を示す各係数ｘ１２〜ｘ１１ １１（水平方向に１番目かつ垂直方向に２番目の成分から、水平方向に１１番目かつ垂直方向に１１番目の成分までの１２０個の係数）の単純平均やＲＭＳ（Root Mean Square：二乗平均平方根）とすることができる。また、交流成分平均ＫＡＶＥは、例えば、高空間周波数成分ほど重みを大きくした加重平均や、係数配列において右下の三角領域に配列される高空間周波数成分のみの平均を算出して用いるようにしてもよい。特に粒状性ノイズは高空間周波数成分が主体であるため、高空間周波数成分の量を重点的に評価することで、コアリング処理で除去すべきノイズレベルを適切に検出することができる。
【００７７】
最小値抽出手段４１ｄは、交流成分平均算出手段４１ｃからブロックＣごとに入力される交流成分平均ＫＡＶＥの中から内の最小値を抽出し、抽出した最小値をフレーム画像Ｆ（ｔｎ）から検出したノイズレベルＥとして、コアリングレベル調整手段４２に出力する。
【００７８】
コアリングレベル調整手段４２は、最小値抽出手段４１ｄから入力したノイズレベルＥに、不図示のキーボードやマウス、調整つまみなどの入力手段を介して外部から入力されたコアリングレベル調整値αを乗じてコアリングレベルＥＣＯＲを算出し、コアリング処理手段３３に出力する。
【００７９】
第１実施形態におけるコアリングレベル設定手段４０では、設定用ノイズレベル検出手段４１で検出したノイズレベルＥにコアリングレベル調整値を乗じて、コアリングレベルＥＣＯＲを調整できるように構成している。これは、ノイズレベルＥをコアリングレベルＥＣＯＲとしてコアリング処理した場合に、ノイズが十分に低減される一方で、画像信号の高空間周波数成分が低減され過ぎてノイズ低減処理後の画像の鮮鋭度が低下し過ぎないように調整するためである。
【００８０】
コアリングレベル調整値αは、０〜１の任意の実数値とすることができるが、外部からコアリングレベル調整値αを入力せずに、例えば、信号対雑音比が５ｄＢ（＝１０ｌｏｇ（１−α））程度改善できるように、常にα＝０．７として、ノイズレベルＥを調整してコアリングレベルＥＣＯＲとするようにしてもよい。また、固定した調整値としてα＝０．７とするか、調整を行わずにα＝１とするかを外部から選択可能なように構成してもよい。
なお、常にノイズレベルＥをコアリングレベルＥＣＯＲとして用いる場合は、コアリングレベル調整手段４２は省略することができる。
【００８１】
図１に戻って、ノイズ低減装置１の構成について説明を続ける。
処理選択手段５０は、静領域処理手段２０及び動領域処理手段３０から、それぞれ静領域フレーム画像Ｆｓ（ｔｎ）及び動領域フレーム画像Ｆｄ（ｔｎ）を入力し、領域判別装置２から入力した領域判別マップＲ（ｔｎ）に従って、静領域であることを示す領域に対しては、静領域フレーム画像Ｆｓ（ｔｎ）をフレームメモリ６０に出力し、動領域であることを示す領域に対しては、動領域フレーム画像Ｆｄ（ｔｎ）をフレームメモリ６０に出力する。
【００８２】
フレームメモリ６０は、処理選択手段５０によって領域判別マップＲ（ｔｎ）に従って、ブロックＢＢごとに選択された静領域フレーム画像Ｆｓ（ｔｎ）又は動領域フレーム画像Ｆｄ（ｔｎ）を順次記憶し、１フレーム分蓄積すると、ノイズ低減処理されたフレーム画像Ｆ’（ｔｎ）として外部に出力する記憶手段である。
【００８３】
なお、第１実施形態のノイズ低減装置１では、静領域処理手段２０及び動領域処理手段３０は、領域判別装置２から入力した領域判別マップＲ（ｔｎ）に従って、択一的に処理を行うようにしたが、静領域処理手段２０及び動領域処理手段３０によって、領域判別マップＲ（ｔｎ）に関わらず、フレーム画像Ｆ（ｔｎ）の全領域に対して、それぞれ並行して処理を行うようにし、処理選択手段５０によって、静領域処理手段２０又は動領域処理手段３０の処理結果である静領域フレーム画像Ｆｓ（ｔｎ）又は動領域フレーム画像Ｆｄ（ｔｎ）を、択一的に選択してフレームメモリ６０に出力するようにしてもよい。
【００８４】
領域判別装置２は、ノイズ低減システム１００に入力される動画像Ｆを構成するフレーム画像Ｆ（ｔｎ）を順次に入力し、入力したフレーム画像Ｆ（ｔｎ）を予め定めた形状である５×５のサイズのブロックＢＢごとに、当該ブロックが動領域か静領域かを判別し、その領域判別結果と当該ブロックのフレーム画像Ｆ（ｔｎ）の画像平面における位置とを対応づけた領域判別マップＲ（ｔｎ）を作成する。そして、領域判別装置２は、作成した領域判別マップＲ（ｔｎ）を静領域処理手段２０、動領域処理手段３０及び処理選択手段５０に出力する。
【００８５】
ここで、図８を参照して、領域判別装置２の構成について詳細に説明する。
図８に示した領域判別装置２は、動画像を構成するフレーム画像Ｆ（ｔｎ―２）、Ｆ（ｔｎ―１）、Ｆ（ｔｎ）、Ｆ（ｔｎ＋１）、Ｆ（ｔｎ＋２）…、を順次に入力し、フレームごとに、フレーム画像Ｆ（ｔｎ）などをブロックＢＢ（領域判別ブロック）に分割して、各ブロックＢＢが動きのある動領域か、動きのない静領域かを判別し、各ブロックＢＢの領域判別結果ｒとフレーム画像Ｆ（ｔｎ）の画像面内における当該ブロックＢＢの位置とを対応づけて構成した領域判別マップＲ（ｔｎ）を出力する。
なお、Ｆ（ｔｎ）及びＲ（ｔｎ）は、それぞれ時間ｔｎにおけるフレーム画像及び領域判別マップを示し、後記するように、フレーム画像Ｆ（ｔｎ）の入力に対する領域判別マップＲ（ｔｎ）は、１フレーム周期遅れて出力される。
【００８６】
図８に示した領域判別装置２は、ブロック分割手段２１０と、ブロック画素記憶手段２１１と、差分平均算出手段２１２と、正規化手段２１３と、最大値抽出手段２１４と、領域判別手段２１５と、領域判別マップ記憶手段２１６と、差分計算設定手段２１７と、ノイズレベル設定手段２１８と、判別閾値設定手段２１９と、を備えて構成されている。
【００８７】
ブロック分割手段２１０は、フレーム順次で入力される動画像を構成するフレーム画像Ｆ（ｔｎ）を、画像面内で５×５画素の形状のブロック（領域判別ブロック）ＢＢに分割して、ブロックＢＢごとに、ブロックＢＢを構成する画素データをブロック画素記憶手段２１１に出力する。
【００８８】
ここで、図２及び図９を参照（適宜図８参照）して、領域判別装置２における領域判別の単位であるブロックＢＢの分割と、フレーム間のブロックＢＢの参照の様子について説明する。
【００８９】
ブロック分割手段２１０は、フレーム画像Ｆ（ｔｎ）内を、予め定めた形状として図２に示した５×５画素の形状のブロックＢＢに分割し、順次に各ブロックＢＢを構成する画素データをブロック画素記憶手段２１１の後フレーム画素記憶手段２１１１に出力する。
また、ブロック分割手段２１０は、図９に示したように、時間軸方向に連続する各フレーム画像Ｆ（ｔｎ−１）、Ｆ（ｔｎ）、Ｆ（ｔｎ＋１）を順次にブロック分割する際に、それぞれ画像面内の同じ位置に対応するブロックＢＢｎ−１、ＢＢｎ、ＢＢｎ＋１が分割されるようにする。
【００９０】
ここで、ブロックＢＢの形状（サイズ）は、画像信号の高空間周波数成分を十分に検出できる大きさが必要であり、３×３よりも大きいことが好ましい。一方、画像領域をきめ細かく領域判別するためにはブロックＢＢのサイズは小さい方が好ましく、１１×１１より小さいことが好ましい。ここでは、ブロックＢＢの形状を５×５として説明する。
また、ブロックＢＢの形状は、５×５、４×４、７×７、８×８のように正方形に限定されず、例えば、８×４のように横方向（水平方向）と縦方向（垂直方向）とでサイズを異なるようにしてもよい。
【００９１】
図８に戻って（適宜図２及び図９参照）、ブロック画素記憶手段２１１は、直列に接続された後フレーム画素記憶手段２１１１、注目フレーム画素記憶手段２１１２及び前フレーム画素記憶手段２１１３を備えて構成されている。ブロック画素記憶手段２１１は、ブロック分割手段２１０から順次に出力されるブロックＢＢの画素データを記憶し、連続する３つのフレームにおいて、画像平面内の同じ位置に対応するブロックＢＢ３、ＢＢ２、ＢＢ１の画素データを読み出して、同時に参照できるようにするための記憶手段である。
なお、ブロックＢＢ１は、時間軸方向に連続する３つのフレームの内の、時間軸上で前のフレーム（前フレーム）におけるブロックを示し、ブロックＢＢ２は、時間軸上で中央のフレーム（処理対象となる注目フレーム）におけるブロックを示し、ブロックＢＢ３は、時間軸上で後のフレーム（後フレーム）におけるブロックを示すものとする。
【００９２】
後フレーム画素記憶手段２１１１は、ブロック分割手段２１０から入力して記憶したフレーム画像Ｆ（ｔｎ）におけるブロックＢＢｎの画素データを、後フレームのブロックＢＢ３の画素データとして差分平均算出手段２１２の差分算出手段２１２１に出力する。
また、後フレーム画素記憶手段２１１１は、１フレームの処理が終了すると、不図示のフレーム同期信号に同期して、記憶している画素データを注目フレーム画素記憶手段２１１２に出力する。そして、ブロック分割手段２１０から入力される次のフレーム画像、すなわち時間ｔｎ＋１におけるフレーム画像Ｆ（ｔｎ＋１）のブロックＢＢｎ＋１の画素データを、次の後フレームのブロックＢＢ３の画素データとして記憶する。
【００９３】
一方、注目フレーム画素記憶手段２１１２は、後フレーム画素記憶手段２１１１がフレーム画像Ｆ（ｔｎ）におけるブロックＢＢｎの画素データを後フレームのブロックＢＢ３の画素データとして出力している期間に、時間軸上で前のフレーム画像Ｆ（ｔｎ−１）におけるブロックＢＢｎ―１の画素データを、注目フレームのブロックＢＢ２の画素データとして差分算出手段２１２１に出力する。１フレームの処理が終了すると、注目フレーム画素記憶手段２１１２は、不図示のフレーム同期信号に同期して、記憶している画素データを前フレーム画素記憶手段２１１３に出力するとともに、後フレーム画素記憶手段２１１１から入力されるフレーム画像Ｆ（ｔｎ）のブロックＢＢｎの画素データを、次の注目フレームにおけるブロックＢＢ２の画素データとして記憶する。
【００９４】
同様に、前フレーム画素記憶手段２１１３は、注目フレーム画素記憶手段２１１２がフレーム画像Ｆ（ｔｎ−１）におけるブロックＢＢｎ―１の画素データを注目フレームのブロックＢＢ２の画素データとして出力している期間に、時間軸上で更に前のフレーム画像Ｆ（ｔｎ−２）におけるブロックＢＢｎ―２（不図示）画素データを、前フレームのブロックＢＢ１の画素データとして差分算出手段２１２１に出力する。１フレームの処理が終了すると、前フレーム画素記憶手段２１１３は、不図示のフレーム同期信号に同期して、注目フレーム画素記憶手段２１１２から入力されるフレーム画像Ｆ（ｔｎ―１）のブロックＢＢｎ―１の画素データを、次の前フレームにおけるブロックＢＢ１の画素データとして記憶する。
【００９５】
以上のようにして、ブロック画素記憶手段２１１は、ブロック分割手段２１０からフレームごとに入力したブロックＢＢの画素データを、フレーム同期信号に同期して、後フレーム画素記憶手段２１１１、注目フレーム画素記憶手段２１１２及び前フレーム画素記憶手段２１１３にシフトして記憶する。そして、後フレーム画素記憶手段２１１１、注目フレーム画素記憶手段２１１２及び前フレーム画素記憶手段２１１３は、それぞれブロックＢＢ３、ＢＢ２、ＢＢ１の画素データとして記憶した連続する３つのフレームの画素データを差分算出手段２１２１に出力することで、差分算出手段２１２１は、注目フレームと前後のフレームの、画像平面内の同じ位置から分割された処理対象である注目ブロックＢＢのデータを同時に参照することができる。
【００９６】
差分平均算出手段２１２は、差分算出手段２１２１と、平均算出手段２１２２と、を備えて構成されており、注目ブロックＢＢ内の画素のフレーム間の差分の大きさの平均である差分平均Ｇ１、Ｇ２、Ｇ３を、注目ブロックＢＢ内の画像の動きの大きさを示す量（動き成分量）として算出して、正規化手段２１３に出力するものである。
【００９７】
差分算出手段２１２１は、ブロック画素記憶手段２１１の前フレーム画素記憶手段２１１３、注目フレーム画素記憶手段２１１２及び後フレーム画素記憶手段２１１１から出力されるブロックＢＢ１、ＢＢ２、ＢＢ３の画素データを入力し、差分計算設定手段２１７から入力する設定値ＳＥＬに従って、画素ごとにフレーム間の差分Ｄ１、Ｄ２、Ｄ３を算出して平均算出手段２１２２に出力する。
【００９８】
ここで、ブロックＢ１、差分Ｄ１などのブロック内の位置（ｉ，ｊ）における画素値及び差分値を、それぞれＢ１（ｉ，ｊ）、Ｄ１（ｉ，ｊ）のように表すと、式（２−１）〜式（２−３）のような関係となる。
【００９９】
Ｄ１（ｉ，ｊ） ＝ ＢＢ１（ｉ，ｊ） − ＢＢ２（ｉ，ｊ） …式（２−１）
Ｄ２（ｉ，ｊ） ＝ ＢＢ２（ｉ，ｊ） − ＢＢ３（ｉ，ｊ） …式（２−２）
Ｄ３（ｉ，ｊ） ＝ ＢＢ１（ｉ，ｊ） − ＢＢ３（ｉ，ｊ） …式（２−３）
【０１００】
なお、設定値ＳＥＬは、前記した３種類の差分Ｄ１、Ｄ２、Ｄ３から、実際に算出する差分の種別を選択するための選択信号である。
例えば、“０”又は“１”の値をとるものであり、設定値ＳＥＬが“１”の場合は、差分平均算出手段２１２におけるフレーム間の差分平均として、前フレームと注目フレームとの間、後フレームと注目フレームとの間、及び前フレームと後フレームとの間の３種類の組み合わせによる差分平均を算出する。また、設定値ＳＥＬが“０”の場合は、差分平均算出手段２１２におけるフレーム間の差分平均として、前フレームと後フレームとの間の差分平均のみを算出し、計算の簡略化を選択できるようになっている。
【０１０１】
平均算出手段２１２２は、差分算出手段２１２１から差分Ｄ１、Ｄ２、Ｄ３を入力し、当該３種類の差分Ｄ１、Ｄ２、Ｄ３ごとに、差分の大きさの平均である差分平均Ｇ１、Ｇ２、Ｇ３を算出して正規化手段２１３に出力する。なお、差分計算設定手段２１７から入力した設定値ＳＥＬが“０”の場合には、平均算出手段２１２２は、差分平均Ｇ３のみを算出して正規化手段２１３に出力する。
【０１０２】
ここで、差分平均Ｇ１は、式（３−１）及び式（３−２）に示したように、差分Ｄ１（ｉ，ｊ）の絶対値の平均やＲＭＳ（Root Mean Square：二乗平均平方根）とすることができる。また、式（３−３）に示したように、ＲＭＳの平方根の計算を省略して二乗平均を差分平均Ｇ１として用いるようにしてもよい。差分平均Ｇ２、Ｇ３についても同様である。
【０１０３】
Ｇ１ ＝ Σ｜Ｄ１（ｉ，ｊ）｜／Ｎ …式（３−１）
Ｇ１ ＝ √｛ΣＤ１（ｉ，ｊ）２／Ｎ｝ …式（３−２）
Ｇ１ ＝ ΣＤ１（ｉ，ｊ）２／Ｎ …式（３−３）
【０１０４】
但し、式（３−１）〜式（３−３）において、ＮはブロックＢＢ内の画素数を示し、５×５サイズの場合はＮ＝２５である。また、ｉ及びｊは、それぞれ画素のブロックＢＢ内における水平方向及び垂直方向の位置を示すインデックスであり、Σは、ブロックＢＢ内のすべての画素位置（ｉ，ｊ）についての和を表すものとする。
【０１０５】
正規化手段２１３は、差分平均算出手段２１２から入力した差分平均Ｇ１、Ｇ２、Ｇ３を、ノイズレベル設定手段２１８から入力したノイズレベルＥＥで除することにより正規化して、正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３を算出し、算出した正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３を最大値抽出手段２１４に出力する。
【０１０６】
ここで、ノイズレベルか、あるいは誤判別を低減するためノイズレベルを少し超えたレベルかを予め判別閾値として設定しておき、画像の動き成分量として算出した差分平均Ｇ１、Ｇ２又はＧ３の何れかが判別閾値を超えた場合に、当該ブロックを画像に動きがある動領域と判別することができる。しかし、一般的に、領域判別する動画像ごとにＳＮＲ（信号対雑音比）は異なるため、適切に領域判別を行うためには、動画像ごとに判別閾値をチューニングする必要が生じる。
【０１０７】
そこで、ここでは、当該動画像に重畳されているノイズレベルＥＥを検出し、ノイズレベルＥＥで差分平均Ｇ１、Ｇ２、Ｇ３を除して正規化した正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３と、予め定めた判別閾値ＴＨＲを比較することで領域判別を行うものである。
これによって、動画像ごとに判別閾値ＴＨＲをチューニングする必要がなくなる。また、判別処理対象の動画像に関わらず、各動画像に共通の判別閾値ＴＨＲを調整して動領域の抽出漏れを低減したり、逆に動領域の検出過多を低減したりすることも可能である。
【０１０８】
最大値抽出手段２１４は、ブロックごとに、正規化手段２１３から入力した３つの正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３の内の最大値である最大正規化差分平均Ｇ’ｍａｘを抽出し、抽出した最大正規化差分平均Ｇ’ｍａｘを領域判別手段２１５に出力する。
【０１０９】
画像が時々刻々変化する動画像において、注目フレーム及び前後フレームの相互間で最も変化量の大きいフレーム間の正規化差分平均である最大正規化差分平均Ｇ’ｍａｘを、注目フレームにおける画像の動き成分量とすることで、動き成分量をより適切に検出することができる。
【０１１０】
なお、差分計算設定手段２１７によって設定値ＳＥＬに“０”が設定されている場合は、最大値抽出手段２１４に、正規化手段２１３からは正規化差分平均Ｇ’３のみが入力されるため、最大値の抽出処理をすることなく、正規化差分平均Ｇ’３を最大正規化差分平均Ｇ’ｍａｘとして領域判別手段２１５に出力する。
また、差分平均算出手段２１２が、常に差分平均Ｇ３のみ算出するように構成する場合は、最大値抽出手段２１４は省略することができる。
【０１１１】
領域判別手段２１５は、最大値抽出手段２１４から入力した正規化差分平均の最大正規化差分平均Ｇ’ｍａｘと、判別閾値設定手段２１９から入力した判別閾値ＴＨＲとを比較し、最大正規化差分平均Ｇ’ｍａｘが判別閾値ＴＨＲよりも大きいときに、注目ブロックＢＢを動領域であると判別し、最大正規化差分平均Ｇ’ｍａｘが判別閾値ＴＨＲ以下の場合に、注目ブロックＢＢを静領域と判別し、領域判別結果ｒを領域判別マップ記憶手段２１６に出力する。
なお、領域判別結果ｒは、例えば、動領域と判別したときは“１”の値をとり、静領域と判別したときは“０”の値をとるようにすることができる。
【０１１２】
領域判別マップ記憶手段２１６は、領域判別手段２１５から入力した領域判別結果ｒを、当該判別対象となった注目ブロックＢＢのフレーム画像Ｆ（ｔｎ）の画像面内における位置に対応づけた領域判別マップＲ（ｔｎ）として記憶する記憶手段である。領域判別マップ記憶手段２１６に記憶された領域判別マップＲ（ｔｎ）は、ノイズ低減装置１によるフレーム画像Ｆ（ｔｎ）の処理に同期してノイズ低減装置１に出力される。
ここで、注目フレーム画像Ｆ（ｔｎ）に対する領域判別結果ｒは、１フレーム周期後に入力されるフレーム画像Ｆ（ｔｎ＋１）を参照して出力されるため、フレーム画像Ｆ（ｔｎ）を入力する期間に出力される領域判別マップは、１フレーム周期前の、時間ｔｎ−１におけるフレーム画像Ｆ（ｔｎ−１）に対する領域判別マップＲ（ｔｎ−１）である。
【０１１３】
また、ノイズ低減装置１が、領域判別装置２による領域判別結果ｒの算出に同期して並行して処理を行うようにして、領域判別装置２は、領域判別マップＲ（ｔｎ）を作成せずに、領域判別手段２１５が判別した領域判別結果ｒを順次にノイズ低減装置１に出力するように構成してもよい。
【０１１４】
差分計算設定手段２１７は、前記したように、差分平均算出手段２１２において３つの差分平均Ｇ１、Ｇ２、Ｇ３を算出するか、１つの差分平均Ｇ３を算出するかを選択する設定値ＳＥＬを差分平均算出手段２１２に出力する。設定値ＳＥＬは、不図示のスイッチやキーボード、マウスなどの入力手段を介して操作者が設定できるように構成されている。
【０１１５】
ノイズレベル設定手段２１８は、フレーム画像Ｆ（ｔｎ）を入力して、入力したフレーム画像Ｆ（ｔｎ）からノイズレベルＥＥを検出し、検出したノイズレベルＥＥを正規化手段２１３に出力して差分平均Ｇ１、Ｇ２、Ｇ３の正規化のために設定する。
【０１１６】
ノイズレベル設定手段２１８は、判別対象となる動画像の入力に先立って、当該動画像を生成するカメラを用いて、濃淡のある通常の風景などをプリスキャン（予備撮影）し、プリスキャンして得たフレーム画像Ｆ（ｔｎ）から、前記したカメラで本スキャン（本番の撮影）したときに動画像に重畳されると推測される画像平面内のノイズレベルＥＥを検出するものである。
ノイズレベル設定手段２１８の詳細な構成については後記する。
【０１１７】
判別閾値設定手段２１９は、領域判別のために用いる判別閾値ＴＨＲを設定し、領域判別手段２１５に出力する。判別閾値ＴＨＲは、不図示の調整つまみやキーボード、マウスなどの入力手段を介して操作者が設定できるように構成されている。
【０１１８】
次に、図１０を参照（適宜図８参照）して、ノイズレベル設定手段２１８について詳細に説明する。
【０１１９】
図１０に示したノイズレベル設定手段２１８は、フレーム画像Ｆ（ｔｎ）を、予め定めた形状のブロックＣＣに分割し、ブロックＣＣごとに直流成分を除去した直流成分除去画像ＣＣ’を算出して、この直流成分除去画像ＣＣ’を構成する各画素データの大きさの平均である画素平均Ｈに基づいて画像面内のノイズレベルＥＥを検出し、前記した正規化手段２１３による正規化処理に用いるために設定するものである。
ノイズレベル設定手段２１８は、ブロック分割手段２１８１と、直流成分除去画像算出手段２１８２と、画素平均算出手段２１８３と、最小値抽出手段２１８４とを備えて構成されている。
【０１２０】
ブロック分割手段２１８１は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を、予め定められた形状のブロックＣＣに分割し、分割したブロックＣＣごとに、ブロックＣＣを構成する画素データを直流成分除去画像算出手段２１８２に出力する。ノイズレベル設定手段２１８のブロック分割手段２１８１は、前記したコアリングレベル設定手段４０のブロック分割手段４１ａと同様に、図７の（１）又は（２）に示したブロックＣと同形状のブロックＣＣに分割し、ブロックＣＣを構成する画素データを順次に直流成分除去画像算出手段２１８２に出力する。
【０１２１】
なお、領域判別装置２のノイズレベル設定手段２１８に入力するプレスキャンして得たフレーム画像は、ノイズ低減装置１のコアリングレベル設定手段４０に入力するフレーム画像と同一のフレーム画像を用いることができる。
【０１２２】
直流成分除去画像算出手段２１８２は、ＤＣＴ処理手段２１８２ａと、直流成分除去手段２１８２ｂと、逆ＤＣＴ処理手段２１８２ｃとを備えて構成されており、ブロック分割手段２１８１から入力したブロックＣＣごとに、少なくとも直流成分を除去した直流成分除去画像ＣＣ’を算出して画素平均算出手段２１８３に出力するものである。
【０１２３】
ＤＣＴ処理手段２１８２ａは、ブロック分割手段２１８１から入力したブロックＣＣを構成する画素データをＤＣＴ処理してＤＣＴ係数ＫＤＣＴに変換し、変換したＤＣＴ係数ＫＤＣＴを直流成分除去手段２１８２ｂに出力する。
ＤＣＴ処理手段２１８２ａは、図６に示したコアリングレベル設定手段４０のＤＣＴ処理手段４１ｂと同様であるので、詳細な説明は省略する。
【０１２４】
直流成分除去手段２１８２ｂは、ＤＣＴ処理手段２１８２ａから入力したＤＣＴ係数ＫＤＣＴから、少なくとも直流成分を除去（係数ｘ１１（図４の（２）参照）を“０”に置き換える）し、少なくとも直流成分を除去したＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段２１８２ｃに出力する。
【０１２５】
なお、直流成分除去手段２１８２ｂは、直流成分を示す係数ｘ１１のみを除去してもよいが、直流成分及び直流成分近傍、すなわち低い空間周波数側の交流成分も除去するようにしてもよい。これによって、画像信号に比べて高空間周波数成分を多く含む粒状性ノイズを主とするノイズレベルを、より的確に検出することができる。
【０１２６】
逆ＤＣＴ処理手段２１８２ｃは、直流成分除去手段２１８２ｂから入力した直流成分係数ｘ１１が除去されたＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理して画素データの配列からなる直流成分除去画像ＣＣ’を算出し、画素平均算出手段２１８３に出力する。
【０１２７】
画素平均算出手段２１８３は、逆ＤＣＴ処理手段２１８２ｃから入力した直流成分除去画像ＣＣ’を構成する画素データの大きさの平均である画素平均Ｈを、ブロックごとに算出して、最小値抽出手段２１８４に出力する。
【０１２８】
ここで、元のブロックＣＣの画像が濃淡変化の全くない平坦画像、すなわちブロックＣを構成する画素データの値がすべて同値である場合は、ＤＣＴ係数ＫＤＣＴの交流成分はすべて“０”であるから、ブロックＣの平均輝度（濃淡レベル）を示す直流成分係数ｘ１１を除去してから、逆ＤＣＴ処理して算出した直流成分除去画像ＣＣ’を構成する画素データはすべて“０”となる。そして、濃淡変化が大きいほど、直流成分除去画像ＣＣ’を構成する画素データは、その大きさである画素データの絶対値が大きな値を持つようになる。
画素平均算出手段２１８３は、各ブロックＣＣに対応する直流成分除去画像ＣＣ’の画素平均Ｈを算出し、フレーム画像Ｆ（ｔｎ）におけるノイズレベルＥＥの候補値として順次に最小値抽出手段２１８４に出力する。
【０１２９】
なお、ノイズレベル設定手段２１８の画素平均算出手段２１８３は、画素平均Ｈの算出方法として、直流成分除去画像ＣＣ’を構成する画素データのＲＭＳ（二乗平均平方根）を算出する。
また、画素平均Ｈは、画素データのＲＭＳの他、画素データの絶対値の平均としてもよく、計算を簡略化するためにＲＭＳの平方根算出を省略した画素データの二乗平均としてもよい。
【０１３０】
最小値抽出手段２１８４は、画素平均算出手段２１８３からブロックＣＣごとに入力される画素平均Ｈの内の最小値を抽出し、抽出した最小値をフレーム画像Ｆ（ｔｎ）から検出したノイズレベルＥＥとして、正規化手段２１３に出力する。
【０１３１】
なお、ノイズレベルＥＥに替えて、コアリングレベル設定手段４０の設定用ノイズレベル検出手段４１によって出力されるノイズレベルＥを用いることもできる。この場合は、ノイズレベル設定手段２１８を省略して構成することができる。
【０１３２】
以上、ノイズ低減装置１を含むノイズ低減システム１００の構成について説明したが、本発明はこれに限定されるものではない。例えば、ノイズ低減装置１は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム（ノイズ低減プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【０１３３】
［第１実施形態のノイズ低減装置を含むノイズ低減システムの動作］
次に、図１１を参照（適宜図１、図６及び図８参照）して、第１実施形態のノイズ低減装置１を含むノイズ低減システム１００の動作について説明する。
【０１３４】
図１１に示したように、ノイズ低減システム１００は、不図示のカメラでプリスキャンして得たフレーム画像Ｆ（ｔｎ）をノイズ低減装置１及び領域判別装置２に入力し（ステップＳ１１）、ノイズ低減装置１のコアリングレベル設定手段４０によって、フレーム画像Ｆ（ｔｎ）に重畳されたノイズレベルＥを検出し、検出したノイズレベルＥにコアリングレベル調整値αを乗じてコアリングレベルＥＣＯＲを算出して、ノイズ低減装置１のコアリング処理手段３３に設定する（ステップＳ１２）。
【０１３５】
ノイズ低減システム１００は、ステップＳ１２に続いて、又は並行して、領域判別装置２のノイズレベル設定手段２１８によって、ステップＳ１１でプリスキャンして得たフレーム画像Ｆ（ｔｎ）に重畳されたノイズレベルＥＥを検出し、正規化処理のために当該ノイズレベル設定手段２１８の正規化手段２１３に出力して設定する（ステップＳ１３）。
なお、領域判別装置２が、ノイズレベルＥＥに替えて、ノイズレベルＥを用いるよう構成する場合は、ステップＳ１３は省略することができる。
【０１３６】
次に、不図示のカメラによって本スキャンが開始され（ステップＳ１４）、ノイズ低減システム１００のノイズ低減装置１及び領域判別装置２にフレーム画像Ｆ（ｔｎ）を入力すると（ステップＳ１５）、領域判別装置２によって、フレーム画像Ｆ（ｔｎ）をブロックＢＢに分割し（ステップＳ１６）、ブロックＢＢごとに動領域か静領域かを示す領域判別マップＲ（ｔｎ）を作成する（ステップＳ１７）。
【０１３７】
ノイズ低減システム１００は、ノイズ低減装置１によって、ステップＳ１７で領域判別装置２が作成した領域判別マップＲ（ｔｎ）を参照してブロックＢＢごとに領域判別結果ｒを確認し（ステップＳ１８）、注目ブロックＢＢが動領域である場合は（ステップＳ１８でＹｅｓ）、ノイズ低減装置１の動領域処理手段３０によって、ステップＳ１６で分割したフレーム画像Ｆ（ｔｎ）の注目ブロックＢＢに対応する画像をブロックＢとして分割して動領域処理を施し、動領域フレーム画像Ｆｄ（ｔｎ）を算出して処理選択手段５０に出力する（ステップＳ１９）。一方、注目ブロックＢＢが静領域である場合は（ステップＳ１８でＮｏ）、ノイズ低減装置１の静領域処理手段２０によって、ステップＳ１６で分割したフレーム画像Ｆ（ｔｎ）の注目ブロックＢＢに対応する画像をブロックＢとして分割し、静領域処理を施し、静領域フレーム画像Ｆｓ（ｔｎ）を算出して処理選択手段５０に出力する（ステップＳ２０）。
【０１３８】
ノイズ低減システム１００は、ノイズ低減装置１の処理選択手段５０によって、ステップＳ１７で領域判別装置２が作成した領域判別マップＲ（ｔｎ）を参照して注目ブロックＢＢが動領域である場合はステップＳ１９で動領域処理手段３０から入力した動領域フレーム画像Ｆｄ（ｔｎ）を選択してフレームメモリ６０に記憶し、注目ブロックＢＢが静領域である場合はステップＳ２０で静領域処理手段２０から入力した静領域フレーム画像Ｆｓ（ｔｎ）を選択してフレームメモリ６０に記憶する（ステップＳ２１）。
【０１３９】
ノイズ低減システム１００は、領域判別装置２によって、注目フレームにおいて未処理のブロックＢＢがあるか確認し（ステップＳ２２），未処理のブロックＢＢがある場合は（ステップＳ２２でＹｅｓ）、ステップＳ１８に戻って、次の注目ブロックＢＢ対する一連のノイズ低減処理を続ける。一方、未処理のブロックＢＢがない場合は（ステップＳ２２でＮｏ）、ノイズ低減システム１００は、ノイズ低減装置１によって、ノイズ低減装置１のフレームメモリ６０に蓄積されたノイズ低減したフレーム画像Ｆ’（ｔｎ）を読み出して、外部に出力する（ステップＳ２３）。
【０１４０】
ノイズ低減システム１００は、次のフレーム画像Ｆ（ｔｎ＋１）の入力があるか確認し（ステップＳ２４）、次のフレーム画像Ｆ（ｔｎ＋１）の入力がある場合は（ステップＳ２４でＹｅｓ）、ステップＳ１５に戻って、次のフレーム画像Ｆ（ｔｎ＋１）に対する一連のノイズ低減処理を続ける。一方、次のフレーム画像Ｆ（ｔｎ＋１）の入力がない場合は（ステップＳ２４でＮｏ）、ノイズ低減システム１００は処理を終了する。
【０１４１】
次に、図１２を参照（適宜図８参照）して、ノイズ低減装置１の静領域処理手段２０の動作について説明する。なお、図１２に示したフロー図の処理は、図１１に示したステップＳ２０の処理に相当する。
【０１４２】
ノイズ低減装置１の静領域処理手段２０は、高周波数成分低減手段２１によって、注目ブロックＢＢの位置に対応する注目フレーム及び前後フレームの画素データを、それぞれフレームメモリ１１，１０及び１２から入力する（ステップＳ３１）。
【０１４３】
静領域処理手段２０は、ブロックＢＢを構成する各画素に対して、時間軸方向におけるノイズ低減処理として、平均化フィルタ処理又はメディアンフィルタ処理を施すことによって高周波数成分を除去し、ブロックＢＢの位置における静領域フレーム画像Ｆｓ（ｔｎ）として処理選択手段５０に出力する（ステップＳ３２）。
【０１４４】
次に、図１３を参照（適宜図８参照）して、ノイズ低減装置１の動領域処理手段３０の動作について説明する。なお、図１３に示したフロー図の処理は、図１１に示したステップＳ１９の処理に相当する。
【０１４５】
ノイズ低減装置１の動領域処理手段３０は、ブロック分割手段３１によって、注目ブロックＢＢの位置に対応する注目フレームの画像をブロックＢとしてフレームメモリ１１から分割して、当該ブロックＢを構成する画素データを入力する（ステップＳ４１）。
【０１４６】
次に動領域処理手段３０は、ＤＣＴ処理手段３２によって、ステップＳ４１で入力したブロックＢを構成する画素データをＤＣＴ処理して、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換し、変換したＤＣＴ係数ＫＤＣＴをコアリング処理手段３３に出力する（ステップＳ４２）。
【０１４７】
動領域処理手段３０は、コアリング処理手段３３によって、ステップＳ４２でＤＣＴ処理手段３２から入力したＤＣＴ係数ＫＤＣＴの交流成分を示す各係数から、図１１のステップＳ１２でコアリングレベル設定手段４０から予め入力して設定しておいたコアリングレベルＥＣＯＲを減じ、未処理の直流成分を示す係数とコアリングレベルＥＣＯＲを減じた交流成分を示す各係数とからなるＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段３４に出力する（ステップＳ４３）。
【０１４８】
動領域処理手段３０は、ステップＳ４３でコアリング処理手段３３から入力したＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理して、高空間周波数成分が低減された画像に変換し、ブロックＢＢの位置における動領域フレーム画像Ｆｄ（ｔｎ）として処理選択手段５０に出力する（ステップＳ４４）。
【０１４９】
次に、図１４を参照（適宜図６及び図１参照）して、ノイズ低減装置１のコアリングレベル設定手段４０の動作について説明する。なお、図１４に示したフロー図の処理は、図１１に示したステップＳ１２の処理に相当する。
【０１５０】
図１４に示したように、コアリングレベル設定手段４０は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を入力すると（ステップＳ６１）、当該フレーム画像Ｆ（ｔｎ）を設定用ノイズレベル検出手段４１のブロック分割手段４１ａによって、全領域を３２×３２のブロックに分割し、更にブロックごとに１１×１１のブロックＣをノイズレベル検出のための参照領域として分割して（ステップＳ６２）、ブロックＣごとに、各ブロックＣを構成する画素データをＤＣＴ処理手段４１ｂに出力する（ステップＳ６３）。
【０１５１】
コアリングレベル設定手段４０は、ＤＣＴ処理手段４１ｂによって、ステップＳ６３でブロック分割手段４１ａから入力したブロックＣの画素データをＤＣＴ処理し、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換して、交流成分平均算出手段４１ｃに出力する（ステップＳ６４）。
【０１５２】
続いて、コアリングレベル設定手段４０は、交流成分平均算出手段４１ｃによって、ステップＳ６４でＤＣＴ処理手段４１ｂから入力したＤＣＴ係数ＫＤＣＴの交流成分を示す係数の平均である交流成分平均ＫＡＶＥを算出し、最小値抽出手段４１ｄに出力する（ステップＳ６５）。
【０１５３】
そして、コアリングレベル設定手段４０は、一つのブロックＣの交流成分平均ＫＡＶＥの算出が終わると、未処理のブロックＣが残ってないかを確認し（ステップＳ６６）、未処理のブロックＣが残っている場合は（ステップＳ６６でＹｅｓ）、ステップＳ６３に戻って、次のブロックＣについて交流成分平均ＫＡＶＥを求める一連の処理を行う。
【０１５４】
一方、未処理のブロックＣがない場合は（ステップＳ６６でＮｏ）、コアリングレベル設定手段４０は、最小値抽出手段４１ｄによって、交流成分平均算出手段４１ｃから入力した、フレーム画像Ｆ（ｔｎ）内の各ブロックＣにおける交流成分平均ＫＡＶＥから最小値を抽出し、抽出した最小値をノイズレベルＥとしてコアリングレベル調整手段４２に出力する（ステップＳ６７）。
【０１５５】
コアリングレベル設定手段４０は、コアリングレベル調整手段４２によって、ステップＳ６７で最小値抽出手段４１ｄから入力したノイズレベルＥに、予め外部から入力したコアリングレベル調整値αを乗じてコアリングレベルＥＣＯＲを算出し、算出したコアリングレベルＥＣＯＲを動領域処理手段３０のコアリング処理手段３３に出力してコアリング処理のために設定する（ステップＳ６８）。
【０１５６】
以上、第１実施形態のノイズ低減装置１におけるコアリングレベル設定手段４０の動作について説明したが、コアリングレベル設定手段４０は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を解析してノイズレベルＥを検出することに限定されるものではない。例えば、本スキャンして得た最初のフレーム画像Ｆ（ｔ１）を解析してノイズレベルＥを検出するように構成してもよく、本スキャンして得たフレーム画像Ｆ（ｔｎ）ごとにノイズレベルＥを検出するように構成してもよい。
【０１５７】
また、ノイズレベルＥの検出は、１つのフレーム画像Ｆ（ｔｎ）からだけではなく、複数のフレーム画像からブロックＣを分割して、これらのブロックＣの交流成分平均ＫＡＶＥを求め、最小値を抽出してノイズレベルＥを検出するようにしてもよい。
【０１５８】
次に、図１５を参照（適宜図８及び図１０参照）して、領域判別装置２の動作について説明する。
【０１５９】
図１５に示したように、領域判別装置２は、まず、不図示のカメラで急激な濃淡変化の少ない画像をプリスキャンしたフレーム画像Ｆ（ｔｎ）を入力し（ステップＳ８１）、ノイズレベル設定手段２１８によってフレーム画像Ｆ（ｔｎ）に重畳されたノイズレベルＥＥを検出し、正規化処理に用いるために検出したノイズレベルＥＥを正規化手段２１３に出力して設定する（ステップＳ８２）。
【０１６０】
不図示のカメラによって本スキャンが開始されると（ステップＳ８３）、領域判別装置２は、順次に入力されるフレーム画像Ｆ（ｔｎ）を（ステップＳ８４）、ブロック分割手段２１０によって、５×５の形状のブロックＢＢに分割し（ステップＳ８５）、ブロックＢＢごとに、分割したブロックＢＢを構成する画素データをブロック画素記憶手段２１１の後フレーム画素記憶手段２１１１に記憶する（ステップＳ８６）。なお、このとき複数のフレーム画像Ｆ（ｔｎ−１）、Ｆ（ｔｎ−２）が領域判別装置２に入力されており、ブロック画素記憶手段２１１の注目フレーム画素記憶手段２１１２にはフレーム画像Ｆ（ｔｎ−１）から分割した各ブロックＢＢの画素データが記憶され、前フレーム画素記憶手段２１１３にはフレーム画像Ｆ（ｔｎ−２）から分割した各ブロックＢＢの画素データが記憶されているものとする。従って、フレーム画像Ｆ（ｔｎ）を新しく入力する期間は、１フレーム前のフレーム画像Ｆ（ｔｎ−１）が判別処理の対象となる注目フレームとなる。
【０１６１】
領域判別装置２は、ブロック画素記憶手段２１１の前フレーム画素記憶手段２１１３、注目フレーム画素記憶手段２１１２及び後フレーム画素記憶手段２１１１に記憶されている、各フレームにおけるブロックＢＢを構成する画素データを、それぞれブロックＢＢ１、ブロックＢＢ２及びブロックＢＢ３を構成する画素データとして、ブロックＢＢごとに順次に読み出し、差分平均算出手段２１２の差分算出手段２１２１に出力して、注目フレーム及び前後フレームにおける各ブロックＢＢの位置の画素データを同時に参照できるようにする（ステップＳ８７）。
【０１６２】
領域判別装置２は、差分算出手段２１２１によってステップＳ８７でブロック画素記憶手段２１１から入力したブロックＢＢ１、ＢＢ２、ＢＢ３を構成する各画素データの差分（フレーム間差分）Ｄ１、Ｄ２、Ｄ３を算出し、平均算出手段２１２２によって各差分Ｄ１、Ｄ２、Ｄ３ごとに、ブロックＢＢにおける差分平均Ｇ１、Ｇ２、Ｇ３を算出して正規化手段２１３に出力する（ステップＳ８８）。
なお、領域判別装置２は、差分計算設定手段２１７によって予め設定しておいた設定値ＳＥＬが“０”の場合には、差分算出手段２１２１によって差分Ｄ３のみを算出し、以降の処理においては差分Ｄ１及び差分Ｄ２に関する処理は行わないように制御する。
【０１６３】
領域判別装置２は、正規化手段２１３によって、ステップＳ８８で差分平均算出手段２１２から入力した差分平均Ｇ１、Ｇ２、Ｇ３を、ステップＳ８２でノイズレベル設定手段２１８によって設定されたノイズレベルＥＥで除することによって正規化し、正規化した正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３を最大値抽出手段２１４に出力する（ステップＳ８９）。
【０１６４】
領域判別装置２は、最大値抽出手段２１４によって、ステップＳ８９で正規化手段２１３から入力した３つの正規化差分平均Ｇ’１、Ｇ’２、Ｇ’３から最大値である最大正規化差分平均Ｇ’ｍａｘを抽出し、領域判別手段２１５に出力する（ステップＳ９０）。
【０１６５】
領域判別装置２は、領域判別手段２１５によって、ステップＳ９０で最大値抽出手段２１４から入力した最大正規化差分平均Ｇ’ｍａｘと、予め判別閾値設定手段２１９によって設定しておいた判別閾値ＴＨＲとを比較する。そして、最大正規化差分平均Ｇ’ｍａｘが判別閾値ＴＨＲよりも大きい場合は、領域判別処理の対象である注目ブロックＢＢを動領域であると判別して領域判別結果ｒに“１”を設定し、最大正規化差分平均Ｇ’ｍａｘが判別閾値ＴＨＲ以下の場合は、領域判別処理の対象である注目ブロックＢＢを静領域であると判別して領域判別結果ｒに“０”を設定し（ステップＳ９１）、領域判別結果ｒを注目フレーム画像Ｆ（ｔｎ―１）における当該注目ブロックＢＢの位置に対応づけて領域判別マップ記憶手段２１６に記憶する（ステップＳ９２）。
【０１６６】
領域判別装置２は、１つのブロックＢＢの領域判別処理が終わると、注目フレーム画像Ｆ（ｔｎ―１）において未処理のブロックＢＢがないかを確認し（ステップＳ９３）、未処理のブロックＢＢがある場合は（ステップＳ９３でＹｅｓ）、ステップＳ８７に戻り、次のブロックＢＢの一連の領域判別処理を行う。
また、未処理のブロックＢＢがない場合は（ステップＳ９３でＮｏ）、領域判別装置２は、ブロック画素記憶手段２１１によって、注目フレーム画素記憶手段２１１２に記憶されているフレーム画像Ｆ（ｔｎ−１）における各ブロックＢＢの画素データを前フレーム画素記憶手段２１１３にシフトするとともに、後フレーム画素記憶手段２１１１に記憶されているフレーム画像Ｆ（ｔｎ）における各ブロックＢＢの画素データを注目フレーム画素記憶手段２１１２にシフトする（ステップＳ９４）。
【０１６７】
領域判別装置２は、次のフレーム画像Ｆ（ｔｎ＋１）の入力があるかどうかを確認し（ステップＳ９５）、入力がある場合は（ステップＳ９５でＹｅｓ）、ステップＳ８４に戻って、次のフレーム画像Ｆ（ｔｎ＋１）を前フレームとして追加入力し、フレーム画像Ｆ（ｔｎ）に対する領域判別処理を行う。
次のフレーム画像Ｆ（ｔｎ＋１）の入力がない場合は（ステップＳ９５でＮｏ）、領域判別装置２は処理を終了する。
【０１６８】
次に、図１６を参照（適宜図１０及び図８参照）して、領域判別装置２のノイズレベル設定手段２１８の動作について説明する。なお、図１６に示した処理は、図１５に示した処理のステップＳ８１〜ステップＳ８２に相当する。
【０１６９】
図１６に示したように、ノイズレベル設定手段２１８は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を入力すると（ステップＳ１０１）、当該フレーム画像Ｆ（ｔｎ）をブロック分割手段２１８１によって、全領域を３２×３２のブロックに分割し、更にブロックごとに１１×１１のブロックＣＣをノイズレベル検出のための参照領域として分割して（ステップＳ１０２）、ブロックＣＣごとに、各ブロックＣＣを構成する画素データを直流成分除去画像算出手段２１８２のＤＣＴ処理手段２１８２ａに出力する（ステップＳ１０３）。
【０１７０】
ノイズレベル設定手段２１８は、ＤＣＴ処理手段２１８２ａによって、ステップＳ１０３でブロック分割手段２１８１から入力したブロックＣＣの画素データをＤＣＴ処理し、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換して、直流成分除去手段２１８２ｂに出力する（ステップＳ１０４）。続いて、ノイズレベル設定手段２１８は、直流成分除去手段２１８２ｂによって、ステップＳ１０４でＤＣＴ処理手段２１８２ａから入力したＤＣＴ係数ＫＤＣＴから直流成分を示す係数ｘ１１（図４参照）を除去し、係数ｘ１１を除去したＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段２１８２ｃに出力する（ステップＳ１０５）。そして、ノイズレベル設定手段２１８は、逆ＤＣＴ処理手段２１８２ｃによって、ステップＳ１０５で直流成分除去手段２１８２ｂから入力した直流成分除去後のＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理して直流成分除去画像ＣＣ’に変換し、変換した直流成分除去画像ＣＣ’を構成する画素データを画素平均算出手段２１８３に出力する（ステップＳ１０６）。
【０１７１】
ノイズレベル設定手段２１８は、画素平均算出手段２１８３によって、ステップＳ１０６で逆ＤＣＴ処理手段２１８２ｃから入力した直流成分除去画像ＣＣ’を構成する画素データの平均である画素平均Ｈを算出し、算出した画素平均Ｈを最小値抽出手段２１８４に出力する（ステップＳ１０７）。
【０１７２】
ノイズレベル設定手段２１８は、一つのブロックＣＣの画素平均Ｈの算出が終わると、未処理のブロックＣＣが残ってないかを確認し（ステップＳ１０８）、未処理のブロックＣＣが残っている場合は（ステップＳ１０８でＹｅｓ）、ステップＳ１０３に戻って、次のブロックＣＣについて画素平均Ｈを求める一連の処理を行う。
【０１７３】
一方、未処理のブロックＣＣがない場合は（ステップＳ１０８でＮｏ）、ノイズレベル設定手段２１８は、最小値抽出手段２１８４によって、画素平均算出手段２１８３から入力した、フレーム画像Ｆ（ｔｎ）内の各ブロックＣＣにおける画素平均Ｈの中から最小値を抽出し、抽出した最小値をノイズレベルＥＥとして正規化手段２１３に出力して正規化処理に用いるために設定する（ステップＳ１０９）。以上でノイズレベル設定手段２１８は処理を終了する。
【０１７４】
以上、ノイズレベル設定手段２１８の動作について説明したが、ノイズレベル設定手段２１８は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を解析してノイズレベルＥＥを検出することに限定されるものではない。例えば、本スキャンして得た最初のフレーム画像Ｆ（ｔ１）を解析してノイズレベルＥＥを検出するように構成してもよく、本スキャンして得たフレーム画像Ｆ（ｔｎ）ごとにノイズレベルＥＥを検出するように構成してもよい。
【０１７５】
また、ノイズレベルＥＥの検出は、１つのフレーム画像Ｆ（ｔｎ）からだけではなく、複数のフレーム画像からブロックＣＣを分割して、これらのブロックＣＣの画素平均Ｈを求め、最小値を抽出してノイズレベルＥＥを検出するようにしてもよい。
【０１７６】
［第１実施形態の変形例］
次に、図１７を参照して、本発明の第１実施形態の変形例のノイズ低減装置ついて説明する。
【０１７７】
第１実施形態の変形例のノイズ低減装置は、図６に示した第１実施形態のノイズ低減装置１における動領域処理手段３０のコアリングレベル設定手段４０に替えて、図１７に示したコアリングレベル設定手段４０Ａを備えるように構成するものである。他の構成要素については第１実施形態と同様であるので説明は省略する。
【０１７８】
図１７に示した第１実施形態の変形例のノイズ低減装置におけるコアリングレベル設定手段４０Ａは、図６に示した第１実施形態におけるコアリングレベル設定手段４０に対して、ブロック分割手段４１ａとＤＣＴ処理手段４１ｂとの間に、ＨＰＦ（ハイパス・フィルタ）処理手段（低空間周波数成分抑制手段）４１ｅを設けたことである。
なお、図６に示した第１実施形態におけるコアリングレベル設定手段４０と同じ構成要素については、同じ符号を付して説明は適宜省略する。
【０１７９】
コアリングレベル設定手段４０Ａは、ＨＰＦ処理手段４１ｅによって、ブロック分割手段４１ａから入力したブロックＣの画像に対して低空間周波数成分を抑制してから、ＤＣＴ処理手段４１ｂによって、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換する。
これによって、ノイズ成分が多く含まれる高空間周波数成分を、画像信号成分が主体である低空間周波数成分に対して相対的に強調することができる。このため、交流成分平均算出手段４１ｃによって算出される交流成分の平均である交流成分平均ＫＡＶＥに、ノイズ成分の多寡をより適切に反映することができる。
その結果、当該交流成分平均ＫＡＶＥに基づいて設定されるコアリングレベルＥＣＯＲを用いてコアリング処理を行うことにより、より適切にノイズ成分を低減することができる。
【０１８０】
次に、図１８を参照（適宜図１７参照）して、ＨＰＦ処理手段４１ｅによるＨＰＦ処理手段４１ｅ処理について説明する。
【０１８１】
図１８の（１）に示したように、ＨＰＦ処理手段４１ｅは、ブロック分割手段４１ａから入力したブロックＣを構成する各画素Ｃ（ｉ，ｊ）に対して、縦方向（垂直方向）に隣接する画素Ｃ（ｉ，ｊ−１）及び画素Ｃ（ｉ，ｊ＋１）を参照し、図１８の（２）に示したＨＰＦのフィルタ係数ＫＨＰＦの各係数と空間的に対応する画素値との積和演算を式（４）のように行う。
【０１８２】
Ｃ’（ｉ，ｊ） ＝
Ｃ（ｉ，ｊ−１）×（−１／２）
＋ Ｃ（ｉ，ｊ）×１
＋ Ｃ（ｉ，ｊ＋１）×（−１／２） …式（４）
【０１８３】
また、このＨＰＦの垂直方向の空間周波数に対する応答特性は、図１８の（３）に示したように低空間周波数成分ほど伝達率が低く、直流成分（空間周波数＝０）に対する伝達率は０である。従って、図１８の（２）に示したＨＰＦ処理を行うことによりブロックＣの画像から低空間周波数成分を抑制した画像を算出することができる。
なお、図１８の（３）において、ｆＮｙはナイキスト周波数を示す。また、図１８の（２）に示したＨＰＦは、水平方向に関してはフィルタ処理をしないため、水平方向の空間周波数成分は変化しない。
【０１８４】
また、ブロックＣのサイズが１１画素×１１ラインの場合は、上端及び下端のラインの画素は、それぞれ上方に隣接する画素及び下方に隣接する画素を参照できない。そのため、上端及び下端のラインの画素についてはＨＰＦ処理をすることができないので、ＨＰＦ処理後のブロックＣ’の有効なサイズは１１画素×９ラインとなる。従って、ＨＰＦ処理手段４１ｅは、この有効な１１×９のサイズの直流成分除去画像Ｃ’を構成する画素データをＤＣＴ処理手段４１ｂに出力する。
【０１８５】
なお、ブロックＣのサイズを１１画素×１３ラインとして、ＨＰＦ処理後のブロックＣ’の有効なサイズが１１画素×１１ラインとなるように構成してもよい。
また、ＨＰＦ処理手段４１ｅで用いるＨＰＦのフィルタ係数ＫＨＰＦは、図１８の（２）に示したものに限定されず、画像信号成分を多く含む低空間周波数の交流成分の少なくとも一部を抑制するものであれば用いることができる。
【０１８６】
図１７に戻って、ＤＣＴ処理手段４１ｂは、ＨＰＦ処理手段４１ｅから入力した低空間周波数成分が抑制された画像Ｃ’をＤＣＴ処理し、１１×９の係数からなるＤＣＴ係数ＫＤＣＴに変換し、変換したＤＣＴ係数ＫＤＣＴを交流成分平均算出手段４１ｃに出力する。
【０１８７】
交流成分平均算出手段４１ｃは、ＤＣＴ処理手段４１ｂから入力した１１×９の係数配列であるＤＣＴ係数ＫＤＣＴの直流成分を除く、交流成分を示す係数の平均である交流成分平均ＫＡＶＥを算出して最小値抽出手段４１ｄに出力する。
【０１８８】
コアリングレベル設定手段４０Ａの他の構成要素は、図６に示した第１実施形態におけるコアリングレベル設定手段４０と同様であるので、説明は省略する。
【０１８９】
［第１実施形態の変形例のコアリングレベル設定手段の動作］
次に、図１９を参照（適宜図１７参照）して、第１実施形態の変形例のノイズ低減装置におけるコアリングレベル設定手段４０Ａの動作について説明する。
【０１９０】
図１９に示した第１実施形態の変形例のコアリングレベル設定手段４０Ａによる処理において、ステップＳ１２１〜ステップＳ１２３、及びステップＳ１２５〜ステップＳ１２９は、それぞれ図１４に示した第１実施形態におけるコアリングレベル設定手段４０による処理におけるステップＳ６１〜ステップＳ６３、及びステップＳ６４〜ステップＳ６８と同様であるので、説明は適宜省略する。
【０１９１】
コアリングレベル設定手段４０Ａは、ＨＰＦ処理手段４１ｅによって、ステップＳ１２３でブロック分割手段４１ａから入力したブロックＣの画素データをＨＰＦ処理して、低空間周波数成分を抑制した画像Ｃ’をＤＣＴ処理手段４１ｂに出力する（ステップＳ１２４）。
【０１９２】
コアリングレベル設定手段４０Ａは、ＤＣＴ処理手段４１ｂによって、ステップＳ１２４でＨＰＦ処理手段４１ｅから入力した低空間周波数成分を抑制した画像Ｃ’の画素データをＤＣＴ処理し、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換して、交流成分平均算出手段４１ｃに出力する（ステップＳ１２５）。
【０１９３】
続いて、コアリングレベル設定手段４０Ａは、交流成分平均算出手段４１ｃによって、ステップＳ１２５でＤＣＴ処理手段４１ｂから入力したＤＣＴ係数ＫＤＣＴの交流成分を示す係数の平均である交流成分平均ＫＡＶＥを算出し、最小値抽出手段４１ｄに出力する（ステップＳ１２６）。
【０１９４】
他のステップは、前記したように、図１４に示した第１実施形態におけるコアリングレベル設定手段４０による処理と同様であるので説明は省略する。
【０１９５】
［第２実施形態のノイズ低減装置を含むノイズ低減システムの構成］
次に、図２０を参照（適宜図１参照）して、第２実施形態のノイズ低減装置１Ａを含むノイズ低減システム１００Ａの構成について説明する。
【０１９６】
図２０に示したノイズ低減システム１００Ａは、第２実施形態のノイズ低減装置１Ａと領域判別装置２とを備えて構成されている。また、第２実施形態のノイズ低減装置１Ａは、フレームメモリ１０，１１，１２と、静領域処理手段２０と、動領域処理手段３０Ａと、処理選択手段５０と、フレームメモリ６０とを備えて構成されている。
【０１９７】
第２実施形態のノイズ低減装置１Ａは、図１に示した第１実施形態のノイズ低減装置１とは、動領域処理手段３０に替えて動領域処理手段３０Ａを備えたことが異なり、更に詳細には、動領域処理手段３０Ａは、コアリング処理手段３３及びコアリングレベル設定手段４０に替えて、それぞれコアリング処理手段３３Ａ及びコアリングレベル設定手段４０Ｂを備えるとともに、輝度算出手段（動領域処理ブロック輝度算出手段）３５を更に備えることが異なる。
【０１９８】
第２実施形態のノイズ低減装置１Ａは、コアリングレベル設定手段４０Ｂによって、コアリング処理手段３３ＡでＤＣＴ係数ＫＤＣＴの交流成分をコアリング処理するときに、ＤＣＴ係数ＫＤＣＴを算出したブロックＢの輝度レベルＬに応じて輝度別に設定したコアリングレベルである輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を用いる。
【０１９９】
これは、画像によっては輝度レベルごとに信号対雑音比が異なるため、コアリング処理においてコアリングレベルを輝度別に設定して用いることにより、すべての輝度レベルにおいてＤＣＴ係数ＫＤＣＴの交流成分を適切にコアリング処理してノイズ低減することができるようにするものである。
【０２００】
以下、第２実施形態のノイズ低減装置１Ａの各部の構成について説明する。ここで、図１に示した第１実施形態のノイズ低減装置１と同じ構成要素については、同じ符号を付して説明は適宜省略する。
【０２０１】
コアリング処理手段３３Ａは、ＤＣＴ処理手段３２から入力したブロックＢのＤＣＴ係数ＫＤＣＴの交流成分から、コアリングレベル設定手段４０Ｂから入力した輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７の中の何れかを用いて減ずることによってコアリング処理し、未処理の直流成分を示す係数とコアリング処理した交流成分を示す係数とからなるＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段３４に出力する。
【０２０２】
ここで、コアリングレベル設定手段４０Ｂから入力する輝度別コアリングレベルＥＣＯＲ０〜輝度別コアリングレベルＥＣＯＲ７は、それぞれ、輝度をＬ０（暗）〜Ｌ７（明）までの７つの輝度ランクに区分したときの輝度ランクＬ０〜輝度ランクＬ７に適用するコアリングレベルである。
コアリング処理手段３３Ａは、輝度算出手段３５から入力したブロックＢの輝度Ｌが属する輝度ランクＬ０〜Ｌ７に対応するコアリングレベルを、輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７の中から選択してコアリング処理に用いる。
【０２０３】
コアリングレベル設定手段４０Ｂは、フレーム画像Ｆ（ｔｎ）を入力して、フレーム画像Ｆ（ｔｎ）からノイズレベルを輝度別に検出して、検出した輝度別のノイズレベルに基づいて輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を算出してコアリング処理手段３３Ａに出力してコアリング処理のために設定する。
コアリングレベル設定手段４０Ｂの詳細については後記する。
【０２０４】
輝度算出手段（動領域処理ブロック輝度算出手段）３５は、ブロック分割手段３１から処理対象である注目ブロックＢの画素データを入力して、ブロックＢを構成する５×５＝２５個の画素データの平均を算出し、算出した当該平均を輝度Ｌとしてコアリング処理手段３３Ａに出力する。
なお、第２実施形態における輝度算出手段３５は、輝度Ｌとして、ブロックＢを構成する５×５＝２５個の画素データの単純平均を用いるが、これに限定されるものではない。例えば、５×５の中心に位置する画素データを用いてもよいし、５×５の中心ほど加重を大きくする加重平均を算出して用いてもよく、５×５の中央値を抽出して用いるようにしてもよい。
【０２０５】
次に、図２１を参照（適宜図２０参照）して、第２実施形態のノイズ低減装置１Ａにおけるコアリングレベル設定手段４０Ｂの構成について詳細に説明する。
図２１に示したように、第２実施形態におけるコアリングレベル設定手段４０Ｂは、設定用ノイズレベル検出手段４１Ｂと、コアリングレベル調整手段４２Ｂと、検証用ノイズレベル検出手段４３とを備えて構成されている。また、設定用ノイズレベル検出手段４１Ｂは、ブロック分割手段４１ａと、ＤＣＴ処理手段４１ｂと、交流成分平均算出手段４１ｃと、輝度別最小値抽出手段４１ｆと、ノイズレベル検証手段４１ｇと、補間処理手段４１ｈと、輝度算出手段（ノイズ検出ブロック輝度算出手段）４１ｉとを備えて構成されている。
【０２０６】
ここで、設定用ノイズレベル検出手段４１Ｂは、本スキャンして順次入力されるフレーム画像Ｆ（ｔｎ）から輝度別ノイズレベルＥ０〜Ｅ７を算出してコアリングレベル調整手段４２Ｂに出力するものである。
そして、コアリングレベル調整手段４２Ｂは、設定用ノイズレベル検出手段４１Ｂから入力した輝度別ノイズレベルＥ０〜Ｅ７に、外部から入力したコアリングレベル調整値αを乗じて輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を算出してコアリング処理手段３３Ａに出力する。
また、検証用ノイズレベル検出手段４３は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）からノイズレベルを予め検出し、当該ノイズレベルを、設定用ノイズレベル検出手段４１Ｂによって算出した輝度別ノイズレベルＥ０〜Ｅ７の有効性を検証するための検証値であるＳＩＦＴ値（検証用ノイズレベル）として設定用ノイズレベル検出手段４１Ｂのノイズレベル検証手段４１ｇに出力するものである。
【０２０７】
続いて、設定用ノイズレベル検出手段４１Ｂの構成について詳細に説明する。
設定用ノイズレベル検出手段４１Ｂは、図６に示した設定用ノイズレベル検出手段４１とは、ブロック分割手段４１ａ及び最小値抽出手段４１ｄに替えて、それぞれブロック分割手段４１Ｂａ及び輝度別最小値抽出手段４１ｆを備えことと、ノイズレベル検証手段４１ｇと補間処理手段４１ｈと輝度算出手段４１ｉとを更に備えることとが異なる。
なお、設定用ノイズレベル検出手段４１Ｂにおいて、図６に示した設定用ノイズレベル検出手段４１と同じ構成要素については、同じ符号を付して説明は適宜省略する。
【０２０８】
設定用ノイズレベル検出手段４１Ｂのブロック分割手段（ノイズ検出ブロック分割手段）４１Ｂａは、本スキャンして順次入力されるフレーム画像Ｆ（ｔｎ）を、１１×１１の形状のブロックＣに分割し、分割した各ブロックＣを構成する画素データをブロックごとにＤＣＴ処理手段４１ｂ及び輝度算出手段４１ｉに出力する。
設定用ノイズレベル検出手段４１Ｂのブロック分割手段４１Ｂａは、図６に示した第１実施形態の設定用ノイズレベル検出手段４１のブロック分割手段４１ａと異なり、入力したフレーム画像Ｆ（ｔｎ）の全領域を隈無く１１×１１の形状のブロックＣに分割し、間引くことなく、すべてのブロックＣについて、各ブロックＣを構成する画素データをブロックＣごとにＤＣＴ処理手段４１ｂに出力する。
これは、輝度別にノイズレベルを検出する際に、輝度ランクによってブロックＣの割当数が不足するのを防止するためである。
【０２０９】
設定用ノイズレベル検出手段４１Ｂの交流成分平均算出手段４１ｃは、本スキャンして順次入力されるフレーム画像Ｆ（ｔｎ）から分割したブロックＣごとに、交流成分平均ＫＡＶＥを算出して輝度別最小値抽出手段４１ｆに出力する。
【０２１０】
輝度別最小値抽出手段４１ｆは、交流成分平均算出手段４１ｃからブロックＣごとに交流成分平均ＫＡＶＥを入力するとともに、当該入力した交流成分平均ＫＡＶＥを算出したブロックＣの平均輝度ＬＡＶＥを、輝度算出手段４１ｉから交流成分平均ＫＡＶＥに対応づけて入力する。そして、輝度別最小値抽出手段４１ｆは、交流成分平均ＫＡＶＥを、各交流成分平均ＫＡＶＥに対応づけられた平均輝度ＬＡＶＥに基づいて、予め定めた輝度レンジごとに区分した８つの輝度ランクＬ０〜Ｌ７の何れかに分類し、輝度ランクＬ０〜Ｌ７ごとに、すなわち輝度別に交流成分平均ＫＡＶＥの最小値を抽出する。輝度別最小値抽出手段４１ｆは、抽出した輝度ランクごとの交流成分平均ＫＡＶＥの最小値を、輝度別ノイズレベルＥ０〜Ｅ７としてノイズレベル検証手段４１ｇに出力する。
【０２１１】
なお、交流成分平均ＫＡＶＥが１個も分類されなかった輝度ランクＬ０〜Ｌ７の輝度別ノイズレベルＥ０〜Ｅ７がある場合は、輝度別最小値抽出手段４１ｆは、その輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７の値として“０”又は有効でないことを示すデータをノイズレベル検証手段４１ｇに出力する。
【０２１２】
ノイズレベル検証手段４１ｇは、輝度別最小値抽出手段４１ｆから輝度別ノイズレベルＥ０〜Ｅ７を入力し、入力した輝度別ノイズレベルＥ０〜Ｅ７の有効性を検証するものである。
【０２１３】
フレーム画像Ｆ（ｔｎ）内から複数の輝度ランクＬ０〜Ｌ７に区分して輝度別ノイズレベルＥ０〜Ｅ７を検出する場合、入力したフレーム画像Ｆ（ｔｎ）内に、すべての輝度ランクＬ０〜Ｌ７において、それぞれの輝度ランクＬ０〜Ｌ７に属する平均輝度ＬＡＶＥを有するブロックＣが、十分な数だけ割り当てられるとは限らない。例えば、フレーム画像Ｆ（ｔｎ）がある輝度に偏った明るさの画像であった場合には、当該輝度が属する輝度ランクＬ０〜Ｌ７以外の輝度ランクＬ０〜Ｌ７に属する交流成分平均ＫＡＶＥは、非常に少ない数しか分類されないことが生じる。そのとき、その非常に少ない交流成分平均ＫＡＶＥから最小値を抽出しても、当該交流成分平均ＫＡＶＥを算出した基のブロックＣが、エッジや細密な模様を含む画像であった場合、当該交流成分平均ＫＡＶＥは画像信号成分の影響を大きく受けているためノイズレベルとして採用するのは不適切である。
【０２１４】
そこで、第２実施形態のノイズ低減装置１Ａにおけるコアリングレベル設定手段４０Ｂでは、検証用ノイズレベル検出手段４３によって、プリスキャンして得たフレーム画像Ｆ（ｔｎ）から、当該フレーム画像Ｆ（ｔｎ）を生成したカメラによってフレーム画像Ｆ（ｔｎ）に重畳される画像面内のノイズレベルを適切に検出しておき、当該ノイズレベルを検証値であるＳＩＦＴ値（検証用ノイズレベル）として設定用ノイズレベル検出手段４１Ｂのノイズレベル検証手段４１ｇに出力する。そして、設定用ノイズレベル検出手段４１Ｂは、輝度別最小値抽出手段４１ｆによって、本スキャンして得た各フレーム画像Ｆ（ｔｎ）から算出した各輝度別ノイズレベルＥ０〜Ｅ７をＳＩＦＴ値と比較して、所定の範囲内にある場合に、その輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を有効であると判断し、その輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７の値をそのまま補間処理手段４１ｈに出力する。
また、設定用ノイズレベル検出手段４１Ｂは、輝度別最小値抽出手段４１ｆによって、各輝度別ノイズレベルＥ０〜Ｅ７をＳＩＦＴ値と比較して、所定の範囲内にない場合には、その輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を有効でないと判断し、その輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７の値に“０”又は有効でないことを示すデータを設定して補間処理手段４１ｈに出力する。これによって、輝度別ノイズレベルＥ０〜Ｅ７から不適切なノイズレベルデータを排除することができる。
【０２１５】
輝度別最小値抽出手段４１ｆによって出力された輝度別ノイズレベルＥ０〜Ｅ７が、ＳＩＦＴ値と比較して有効であると判断する範囲としては、各輝度別ノイズレベルＥ０〜Ｅ７の値とＳＩＦＴ値との比が−６（１０ｌｏｇ０．２５）ｄＢ〜＋３（１０ｌｏｇ２）ｄＢとすることができる。すなわち、各輝度別ノイズレベルＥ０〜Ｅ７の値が、ＳＩＦＴ値の０．２５倍〜２倍の範囲にあるときに、当該輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を有効であると判断する。
【０２１６】
なお、有効範囲は、ここで示した範囲に限定されるものではなく、フレーム画像Ｆ（ｔｎ）を生成するカメラなど、第２実施形態のノイズ低減装置１Ａを適用するシステムによって適宜に変更してもよい。
【０２１７】
補間処理手段４１ｈは、ノイズレベル検証手段４１ｇから輝度別ノイズレベルＥ０〜Ｅ７を入力し、未検出又はノイズレベル検証手段４１ｇで有効でないとして排除された輝度別ノイズレベルＥ０〜Ｅ７がある場合に、当該有効でない輝度別ノイズレベルＥ０〜Ｅ７の値を、近傍の輝度ランクＬ０〜Ｌ７の有効な輝度別ノイズレベルＥ０〜Ｅ７を参照して補間処理するものである。補間処理手段４１ｈは、有効でない輝度別ノイズレベルＥ０〜Ｅ７の値を、補間処理して算出した値で置き換えた輝度別ノイズレベルＥ０〜Ｅ７をコアリングレベル調整手段４２Ｂに出力する。
なお、コアリングレベル調整をせずに常に輝度別ノイズレベルＥ０〜Ｅ７を輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７として用いるよう構成することもでき、この場合は、コアリングレベル調整手段４２Ｂは省略することができる。
【０２１８】
ここで、図２２を参照（適宜図２１参照）して、補間処理手段４１ｈによる補間処理の手法について説明する。
図２２は、ノイズレベル検証手段４１ｇから補間処理手段４１ｈに出力された輝度別ノイズレベルＥ０〜Ｅ７の様子を模式的に示したものである。横軸は輝度Ｌを示し、縦軸はノイズレベルの大きさＥを示す。
なお、輝度算出手段４１ｉから出力される輝度Ｌは、０〜２５５の２５６階調の値を取るものとし、輝度レンジを３２階調ずつ均等に、輝度ランクＬ０（暗）から輝度ランクＬ７（明）の８ランクに区分している。また、各輝度ランクＬ０〜Ｌ７の輝度の代表値は、各輝度レンジの中央値としている。そして、図２２において、●で示した輝度別ノイズレベルＥ１，Ｅ３，Ｅ４，Ｅ５，Ｅ６は、有効であると判断されたデータであり、○で示した輝度ランクＬ０，Ｌ２，Ｌ７は、そのデータが有効でないと判断された（又は未検出の）輝度ランクであり、補間処理によって輝度別ノイズレベルＥ０，Ｅ２，Ｅ７を算出する必要があるものとする。
【０２１９】
そこで、まず高輝度側及び低輝度側に有効なデータがある輝度ランクＬ２における輝度別ノイズレベルＥ２の補間処理について説明する。
このように、両側に参照できる有効なデータがある場合は、有効なデータ間を直線補間して内挿によって輝度別ノイズレベルを算出する。すなわち、最寄りの有効なデータである輝度ランクＬ１及びＬ３の輝度別ノイズレベルＥ１及びＥ３を参照する。また、各輝度ランクＬ１及びＬ３における輝度Ｌは、それぞれの代表値４８及び１１２とし、輝度ランクＬ２の代表値８０におけるノイズレベルを輝度別ノイズレベルＥ２として算出する。
【０２２０】
図２２に示した例では、２点（４８，Ｅ１）及び（１１２，Ｅ３）を結ぶ線分Ａ１３の中点におけるノイズレベルＥがＥ２の値であるから、式（５−１）で輝度別ノイズレベルＥ２を算出することができる。
【０２２１】
Ｅ２ ＝ （Ｅ１＋Ｅ３）／２ …式（５−１）
【０２２２】
次に、低輝度側に参照するデータがない輝度ランクＬ０における輝度別ノイズレベルＥ０の補間処理について説明する。
このように、低輝度側に参照できるデータがない場合は、高輝度側の有効な互いに隣接する２点のデータを参照し、外挿により輝度別ノイズレベルを算出する。なお、既に補間処理により輝度別ノイズレベルが算出されている輝度ランクのデータは、他の有効でない輝度別ノイズレベルを補間処理によって算出するときには、有効なデータとして参照することができる。すなわち、高輝度側の互いに隣接する有効なデータとして、輝度ランクＬ１及びＬ３を参照しても、輝度ランクＬ１及び既に補間処理によって輝度別ノイズレベルＥ２が算出された輝度ランクＬ２を参照するようにしてもよい。以降の説明は、輝度ランクＬ１及びＬ２を参照した場合について説明する。
【０２２３】
輝度ランクＬ０における輝度別ノイズレベルＥ０は、点（４８，Ｅ１）から低輝度側に延ばした半直線Ａ０１の、輝度ランクＬ０の代表値である輝度Ｌ＝１６におけるノイズレベルＥを算出する。
この半直線Ａ０１は、点（４８，Ｅ１）を通り、傾きの大きさが（Ｅｍａｘ−Ｅｍｉｎ）／２５６であり、傾きの向きが参照する２点（４８，Ｅ１）及び（８０，Ｅ２）を結ぶ線分の傾きの向きと同じとする。なお、Ｅｍａｘ及びＥｍｉｎは、それぞれ有効な輝度別ノイズレベルＥ１，Ｅ３，Ｅ４，Ｅ５，Ｅ６の内の、最大値及び最小値を示し、図２２に示した例では、Ｅｍａｘ＝Ｅ４、Ｅｍｉｎ＝Ｅ１である。そして、外挿する際の半直線の傾きの大きさを、有効な輝度別ノイズレベルＥ１，Ｅ３，Ｅ４，Ｅ５，Ｅ６から見積もることができる平均的な勾配とすることで、外挿による補間処理にありがちな異常値の算出を防止することができる。
以上より、輝度ランクＬ０における輝度別ノイズレベルＥ０は、式（５−２）のようにして算出することができる。
【０２２４】
Ｅ０ ＝
Ｅ１−Ｓｉｇｎ（Ｅ２−Ｅ１）×（Ｅｍａｘ−Ｅｍｉｎ）×（４８−１６）／２５６
…式（５−２）
【０２２５】
なお、Ｓｉｇｎ（ ）は、（ ）内の値が正の場合は＋１、負の場合は−１、０の場合は０を返す符号関数である。
【０２２６】
次に、高輝度側に参照するデータがない輝度ランクＬ７における輝度別ノイズレベルＥ７の補間処理について説明する。
このように、高輝度側に参照できるデータがない場合は、前記した低輝度側に算出するデータがない場合と同様に、低輝度側の有効な互いに隣接する２点のデータを参照し、外挿により輝度別ノイズレベルを算出する。
図２２に示した例では、輝度ランクＬ６及びＬ５における輝度別ノイズレベルＥ６及びＥ５を参照して、輝度ランクＬ７における輝度別ノイズレベルＥ７を算出する。
【０２２７】
輝度ランクＬ７における輝度別ノイズレベルＥ７は、点（２０８，Ｅ６）から高輝度側にのばした半直線Ａ６７の、輝度ランクＬ７の代表値である輝度Ｌ＝２４０におけるノイズレベルＥを算出する。
この半直線Ａ６７は、点（２０８，Ｅ６）を通り、傾きの大きさが（Ｅｍａｘ−Ｅｍｉｎ）／２５６であり、傾きの向きが参照する２点（１７６，Ｅ５）及び（２０８，Ｅ６）を結ぶ線分の傾きの向きと同じとする。
輝度ランクＬ７における輝度別ノイズレベルＥ７は、式（５−３）のようにして算出することができる。
【０２２８】
Ｅ７ ＝
Ｅ６−Ｓｉｇｎ（Ｅ５−Ｅ６）×（Ｅｍａｘ−Ｅｍｉｎ）×（２４０−２０８）／２５６
…式（５−３）
【０２２９】
なお、補間処理手段４１ｈは、ノイズレベル検証手段４１ｇから入力した輝度別ノイズレベルＥ０〜Ｅ７の内で、有効なデータが１個のみであった場合は、その有効なデータを他の有効でない輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７の値とする。また、ノイズレベル検証手段４１ｇから入力した輝度別ノイズレベルＥ０〜Ｅ７の内で、有効なデータがなかった場合は、検証用ノイズレベル検出手段４３から入力したＳＩＦＴ値を輝度別ノイズレベルＥ０〜Ｅ７の値とするようにしてもよい。
【０２３０】
図２１に戻って、輝度算出手段（ノイズ検出ブロック輝度算出手段）４１ｉは、ブロック分割手段４１Ｂａから、フレーム画像Ｆ（ｔｎ）から分割したブロックＣを構成する画素データを入力し、当該ブロックＣを構成する画素データの平均である平均輝度ＬＡＶＥを算出して輝度別最小値抽出手段４１ｆに出力する。
【０２３１】
また、検証用ノイズレベル検出手段４３は、図６に示した第１実施形態の設定用ノイズレベル検出手段４１と同様の構成とすることができるため、詳細な構成の説明は省略する。検証用ノイズレベル検出手段４３は、プリスキャンして得たフレーム画像Ｆ（ｔｎ）から画像平面内のノイズレベルを検出し、検出したノイズレベルをＳＩＦＴ値（検証用ノイズレベル）として設定用ノイズレベル検出手段４１Ｂのノイズレベル検証手段４１ｇに出力する。
【０２３２】
［第２実施形態のノイズ低減装置を含むノイズ低減システムの動作］
次に、図２３を参照（適宜図２０及び図２１参照）して、第２実施形態のノイズ低減装置１Ａを含むノイズ低減システム１００Ａの動作について説明する。
【０２３３】
図２３に示したように、ノイズ低減システム１００Ａは、まず、不図示のカメラで急激な濃淡変化の少ない画像をプリスキャンしたフレーム画像Ｆ（ｔｎ）をノイズ低減装置１Ａ及び領域判別装置２に入力し（ステップＳ１４１）、ノイズ低減装置１Ａのコアリングレベル設定手段４０Ｂによってフレーム画像Ｆ（ｔｎ）に重畳されたノイズレベルを検出して、コアリングレベル設定手段４０Ｂ内の設定用ノイズレベル検出手段４１Ｂのノイズレベル検証手段４１ｇに、輝度別ノイズレベルＥ０〜Ｅ７の有効性の検証値であるＳＩＦＴ値として保持する（ステップＳ１４２）。
【０２３４】
ノイズ低減システム１００Ａは、ステップＳ１４２に続いて、又は並行して、領域判別装置２のノイズレベル設定手段２１８によって、ステップＳ１４１でプリスキャンして得たフレーム画像Ｆ（ｔｎ）に重畳されたノイズレベルＥＥを検出し、正規化処理のために当該ノイズレベル設定手段２１８の正規化手段２１３に出力して設定する（ステップＳ１４３）。
なお、領域判別装置２が、ノイズレベルＥＥに替えて、ノイズ低減装置１Ａの検証用ノイズレベル検出手段４３によって検出したＳＩＦＴ値を用いるように構成することもできる。この場合は、ステップＳ１４３は省略することができる。
【０２３５】
次に、不図示のカメラによって本スキャンが開始され（ステップＳ１４４）、ノイズ低減システム１００Ａがフレーム画像Ｆ（ｔｎ）を入力すると（ステップＳ１４５）、ノイズ低減システム１００Ａは、ノイズ低減装置１Ａのコアリングレベル設定手段４０Ｂによって、ステップＳ１４２で検出して保持しておいたＳＩＦＴ値を参照しながら、輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を算出して、ノイズ低減装置１Ａの動領域処理手段３０Ａのコアリング処理手段３３Ａに出力してコアリング処理のために設定する（ステップＳ１４６）。
【０２３６】
次に、ノイズ低減システム１００Ａは、領域判別装置２によって、フレーム画像Ｆ（ｔｎ）をブロックＢＢに分割し（ステップＳ１４７）、ブロックＢＢごとに動領域か静領域かを示す領域判別マップＲ（ｔｎ）を作成する（ステップＳ１４８）。
【０２３７】
ノイズ低減システム１００Ａは、ノイズ低減装置１Ａによって、ステップＳ１４８で領域判別装置２が作成した領域判別マップＲ（ｔｎ）を参照してブロックＢＢごとに領域判別結果ｒを確認し（ステップＳ１４９）、注目ブロックＢＢが動領域である場合は（ステップＳ１４９でＹｅｓ）、ノイズ低減装置１Ａの動領域処理手段３０Ａによって、ステップＳ１４７で分割したフレーム画像Ｆ（ｔｎ）の注目ブロックＢＢに対応する画像をブロックＢとして分割して、ステップＳ１４６で設定した輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を用いて動領域処理を施し、動領域フレーム画像Ｆｄ（ｔｎ）を算出して処理選択手段５０に出力する（ステップＳ１５０）。
一方、注目ブロックＢＢが静領域である場合は（ステップＳ１４９でＮｏ）、ノイズ低減装置１Ａの静領域処理手段２０によって、ステップＳ１４７で分割したフレーム画像Ｆ（ｔｎ）の注目ブロックＢＢに対応する画像をブロックＢとして分割し、静領域処理を施し、静領域フレーム画像Ｆｓ（ｔｎ）を算出して処理選択手段５０に出力する（ステップＳ１５１）。
【０２３８】
ノイズ低減システム１００Ａは、ノイズ低減装置１Ａの処理選択手段５０によって、ステップＳ１４８で領域判別装置２が作成した領域判別マップＲ（ｔｎ）を参照して注目ブロックＢＢが動領域である場合はステップＳ１５０で動領域処理手段３０Ａから入力した動領域フレーム画像Ｆｄ（ｔｎ）を選択してフレームメモリ６０に記憶し、注目ブロックＢＢが静領域である場合はステップＳ１５１で静領域処理手段２０から入力した静領域フレーム画像Ｆｓ（ｔｎ）を選択してフレームメモリ６０に記憶する（ステップＳ１５２）。
【０２３９】
ノイズ低減システム１００Ａは、領域判別装置２によって、注目フレームにおいて未処理のブロックＢＢがあるか確認し（ステップＳ１５３），未処理のブロックＢＢがある場合は（ステップＳ１５３でＹｅｓ）、ステップＳ１４９に戻って、次の注目ブロックＢＢ対する一連のノイズ低減処理を続ける。
一方、未処理のブロックＢＢがない場合は（ステップＳ１５３でＮｏ）、ノイズ低減システム１００Ａは、ノイズ低減装置１Ａによって、ノイズ低減装置１のフレームメモリ６０に蓄積されたノイズ低減したフレーム画像Ｆ’（ｔｎ）を読み出して、外部に出力する（ステップＳ１５４）。
【０２４０】
ノイズ低減システム１００Ａは、次のフレーム画像Ｆ（ｔｎ＋１）の入力があるか確認し（ステップＳ１５５）、次のフレーム画像Ｆ（ｔｎ＋１）の入力がある場合は（ステップＳ１５５でＹｅｓ）、ステップＳ１４５に戻って、次のフレーム画像Ｆ（ｔｎ＋１）に対する一連のノイズ低減処理を続ける。
一方、次のフレーム画像Ｆ（ｔｎ＋１）の入力がない場合は（ステップＳ１５５でＮｏ）、ノイズ低減システム１００Ａは処理を終了する。
【０２４１】
次に、図２４を参照（適宜図２０参照）して、第２実施形態のノイズ低減装置１Ａにおける動領域処理手段３０Ａの動作について説明する。なお、図２４に示したフロー図の処理は、図２３に示したステップＳ１５０の処理に相当する。
【０２４２】
第２実施形態のノイズ低減装置１Ａにおける動領域処理手段３０Ａは、ブロック分割手段３１によって、注目ブロックＢＢの位置に対応する注目フレームの画像をブロックＢとしてフレームメモリ１１から分割して、当該ブロックＢを構成する画素データを入力する（ステップＳ１６１）。
【０２４３】
次に動領域処理手段３０Ａは、輝度算出手段３５によって、ステップＳ１６１で入力したブロックＢを構成する画素データの平均を算出して当該ブロックＢにおける輝度Ｌとしてコアリング処理手段３３Ａに出力する（ステップＳ１６２）。
【０２４４】
動領域処理手段３０Ａは、ＤＣＴ処理手段３２によって、ステップＳ１６１で入力したブロックＢを構成する画素データをＤＣＴ処理して、空間周波数成分を示すＤＣＴ係数ＫＤＣＴに変換し、変換したＤＣＴ係数ＫＤＣＴをコアリング処理手段３３Ａに出力する（ステップＳ１６３）。
なお、ステップＳ１６２とステップＳ１６３とはどちらを先に処理してもよく、並行して処理を行うようにしてもよい。
また、ステップＳ１６２の処理において、ブロックＢの輝度Ｌとして、ブロックＢを構成する画素データの単純平均を用いる場合は、ＤＣＴ処理手段３２によって算出するＤＣＴ係数ＫＤＣＴの直流成分を示す係数を流用することができるため、ステップＳ１６２を削除することができる。
【０２４５】
動領域処理手段３０Ａは、コアリング処理手段３３Ａによって、図２３のステップＳ１４６でコアリングレベル設定手段４０Ｂから予め入力して設定しておいた輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７の中から、ステップＳ１６２で輝度算出手段３５から入力した輝度Ｌに対応する輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を選択する。そして、ステップＳ１６３でＤＣＴ処理手段３２から入力したＤＣＴ係数ＫＤＣＴの交流成分を示す各係数から選択した輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を減じ、未処理の直流成分を示す係数と輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を減じた交流成分を示す各係数とからなるＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理手段３４に出力する（ステップＳ１６４）。
【０２４６】
動領域処理手段３０Ａは、ステップＳ１６４でコアリング処理手段３３Ａから入力したＤＣＴ係数Ｋ’ＤＣＴを逆ＤＣＴ処理して、高空間周波数成分が低減された画像に変換し、ブロックＢＢの位置における動領域フレーム画像Ｆｄ（ｔｎ）として処理選択手段５０に出力する（ステップＳ１６５）。
【０２４７】
次に、図２５を参照（適宜図２１及び図２０参照）して、第２実施形態のノイズ低減装置１Ａにおけるコアリングレベル設定手段４０Ｂの動作について説明する。なお、図２５に示したフロー図の処理は、図２３に示したステップＳ１４１〜ステップＳ１４２及びステップＳ１４６の処理に相当する。
【０２４８】
図２５に示したように、コアリングレベル設定手段４０Ｂは、プリスキャンして得たフレーム画像Ｆ（ｔｎ）を入力して（ステップＳ１７１）、検証用ノイズレベル検出手段４３によって、設定用ノイズレベル検出手段４１Ｂによって検出される輝度別ノイズレベルＥ０〜Ｅ７の検証のための検証値であるＳＩＦＴ値を算出し、設定用ノイズレベル検出手段４１Ｂのノイズレベル検証手段４１ｇに出力する（ステップＳ１７２）。
【０２４９】
本スキャンが開始され（ステップＳ１７３）、コアリングレベル設定手段４０Ｂにフレーム画像Ｆ（ｔｎ）を入力すると（ステップＳ１７４）、コアリングレベル設定手段４０Ｂは、ステップＳ１７４で入力したフレーム画像Ｆ（ｔｎ）をブロック分割手段４１Ｂａによって、全領域を１１×１１の形状のノイズレベル検出用のブロックＣに分割し（ステップＳ１７５）、分割したすべてのブロックＣについて、ブロックＣごとに１１×１１のブロックＣを構成する画素データをＤＣＴ処理手段４１ｂ及び輝度算出手段４１ｉに出力する（ステップＳ１７６）。
【０２５０】
コアリングレベル設定手段４０Ｂは、輝度算出手段４１ｉによって、ステップＳ１７６でブロック分割手段４１Ｂａから入力したブロックＣを構成する画素データの平均を算出し、当該ブロックＣの平均輝度ＬＡＶＥとして、輝度別最小値抽出手段４１ｆに出力する（ステップＳ１７７）。
【０２５１】
コアリングレベル設定手段４０Ｂにおける、ステップＳ１７８〜ステップＳ１８０は、それぞれ図１４に示した第１実施形態のコアリングレベル設定手段４０の処理におけるステップＳ６４〜ステップＳ６６と同様であるので、説明は省略する。
【０２５２】
コアリングレベル設定手段４０Ｂは、輝度別最小値抽出手段４１ｆによって、ステップＳ１７９で交流成分平均算出手段４１ｃから入力した交流成分平均ＫＡＶＥを、ステップＳ１７７で輝度算出手段４１ｉから入力した当該交流成分平均ＫＡＶＥを算出したブロックＣの平均輝度ＬＡＶＥを参照して、８つの輝度ランクＬ０〜Ｌ７の何れかに分類し、輝度ランクＬ０〜Ｌ７ごとに分類された交流成分平均ＫＡＶＥの最小値を抽出し、輝度別ノイズレベルＥ０〜Ｅ７としてノイズレベル検証手段４１ｇに出力する（ステップＳ１８１）。
【０２５３】
コアリングレベル設定手段４０Ｂは、ノイズレベル検証手段４１ｇによって、ステップＳ１７２で検証用ノイズレベル検出手段４３から入力したＳＩＦＴ値と、ステップＳ１８１で輝度別最小値抽出手段４１ｆから入力した各輝度別ノイズレベルＥ０〜Ｅ７とを比較し、各輝度別ノイズレベルが有効かどうかを検証して、有効でないと判断した輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を排除し、有効でない輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を排除した後の輝度別ノイズレベルＥ０〜Ｅ７を補間処理手段４１ｈに出力する（ステップＳ１８２）。
【０２５４】
コアリングレベル設定手段４０Ｂは、補間処理手段４１ｈによって、ステップＳ１８２でノイズレベル検証手段４１ｇから入力した輝度別ノイズレベルＥ０〜Ｅ７において、有効でない輝度別ノイズレベルＥ０〜Ｅ７が含まれているかどうかを確認し、有効でない輝度別ノイズレベルが含まれている場合には、当該有効でない輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７を、有効な輝度ランクの輝度別ノイズレベルＥ０〜Ｅ７のデータを参照して補間処理によって算出し、全輝度ランクについて有効な輝度別ノイズレベルＥ０〜Ｅ７としてコアリングレベル調整手段４２Ｂに出力する（ステップＳ１８３）。
【０２５５】
コアリングレベル設定手段４０Ｂは、コアリングレベル調整手段４２Ｂによって、ステップＳ１８３で補間処理手段４１ｈから入力した各輝度別ノイズレベルＥ０〜Ｅ７に、予め外部から入力したコアリングレベル調整値αを乗じて輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を算出し、算出した輝度別コアリングレベルＥＣＯＲ０〜ＥＣＯＲ７を動領域処理手段３０Ａのコアリング処理手段３３Ａに出力してコアリング処理のために設定する（ステップＳ１８４）。
【０２５６】
コアリングレベル設定手段４０Ｂは、次のフレーム画像Ｆ（ｔｎ＋１）の入力があるか確認し（ステップＳ１８５）、次のフレーム画像Ｆ（ｔｎ＋１）の入力がある場合は（ステップＳ１８５でＹｅｓ）、ステップＳ１７４に戻って、次のフレーム画像Ｆ（ｔｎ＋１）に対する一連のコアリングレベル設定処理を続ける。一方、次のフレーム画像Ｆ（ｔｎ＋１）の入力がない場合は（ステップＳ１８５でＮｏ）、コアリングレベル設定手段４０Ｂは処理を終了する。
【符号の説明】
【０２５７】
１、１Ａ ノイズ低減装置
２ 領域判別装置
１０、１１、１２ フレームメモリ
２０ 静領域処理手段
２１ 高周波数成分低減手段
３０、３０Ａ 動領域処理手段
３１ ブロック分割手段（動領域処理ブロック分割手段）
３２ ＤＣＴ処理手段（動領域処理ブロック直交変換手段）
３３、３３Ａ コアリング処理手段
３４ 逆ＤＣＴ処理手段（動領域処理ブロック逆直交変換手段）
３５ 輝度算出手段（動領域処理ブロック輝度算出手段）
４０、４０Ａ、４０Ｂ コアリングレベル設定手段
４１、４１Ａ、４１Ｂ 設定用ノイズレベル検出手段
４１ａ、４１Ｂａ ブロック分割手段（ノイズ検出ブロック分割手段）
４１ｂ ＤＣＴ処理手段（ノイズ検出ブロック直交変換手段）
４１ｃ 交流成分平均算出手段
４１ｄ 最小値抽出手段
４１ｅ ＨＰＦ処理手段（低空間周波数成分抑制手段）
４１ｆ 輝度別最小値抽出手段
４１ｇ ノイズレベル検証手段
４１ｈ 補間処理手段
４１ｉ 輝度算出手段（ノイズ検出ブロック輝度算出手段）
４２、４２Ｂ コアリングレベル調整手段
４３ 検証用ノイズレベル検出手段
５０ 処理選択手段
６０ フレームメモリ
１００、１００Ａ ノイズ低減システム
２１０ ブロック分割手段（領域判別ブロック分割手段）
Ｂ ブロック（動領域処理ブロック）
ＢＢ ブロック（領域判別ブロック）
Ｃ ブロック（ノイズ検出ブロック）
Ｅ ノイズレベル
Ｅ０〜Ｅ７ 輝度別ノイズレベル
ＥＣＯＲ コアリングレベル
ＥＣＯＲ０〜ＥＣＯＲ７ 輝度別コアリングレベル
Ｆ（ｔｎ） フレーム画像
Ｒ（ｔｎ） 領域判別マップ（領域判別信号）
【特許請求の範囲】
【請求項１】
動画像を構成するフレーム画像の画像平面内の領域が、当該フレーム画像に対して時間軸方向に前後のフレーム画像に対して変化のある動領域か、変化のない静領域か、の２種類の領域の何れであるかを判別する領域判別信号に従って、前記動領域と前記静領域とにそれぞれ異なるノイズ低減処理を施すことにより、前記動画像に重畳されたノイズを低減させるノイズ低減装置であって、
前記領域判別信号が動領域であることを示す前記フレーム画像の領域に対して、当該動領域中の画像に重畳された画像平面内のノイズを低減処理する動領域処理手段と、
前記領域判別信号が静領域であることを示す前記フレーム画像の領域に対して、当該静領域中の画素ごとに、当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を参照して高周波数成分を低減する処理をする高周波数成分低減手段を備えた静領域処理手段と、を備え、
前記動領域処理手段は、予め定められた形状の動領域処理の単位ブロックである動領域処理ブロックに分割する動領域処理ブロック分割手段と、前記動領域処理ブロック分割手段によって分割された動領域処理ブロックごとに直交変換をして、前記動領域処理ブロックを構成する画素データを空間周波数成分に変換する動領域処理ブロック直交変換手段と、前記動領域処理ブロック直交変換手段によって変換された空間周波数成分に対してコアリング処理をするときのコアリングレベルを設定するコアリングレベル設定手段と、前記動領域処理ブロック直交変換手段によって変換された空間周波数成分中の各交流成分から前記コアリングレベル設定手段によって設定されたコアリングレベルを減じるコアリング処理をするコアリング処理手段と、前記動領域処理ブロック直交変換手段によって変換された空間周波数成分中の直流成分と前記コアリング処理手段によってコアリング処理された交流成分とからなる空間周波数成分に逆直交変換処理を施して画素データに変換する動領域処理ブロック逆直交変換手段と、を備えることを特徴とするノイズ低減装置。
【請求項２】
前記コアリングレベル設定手段は、前記フレーム画像からコアリングレベル設定のためのノイズレベルを検出する設定用ノイズレベル検出手段を備え、前記設定用ノイズレベル検出手段によって検出したノイズレベルを前記コアリングレベルとして設定することを特徴とする請求項１に記載のノイズ低減装置。
【請求項３】
前記コアリングレベル設定手段は、前記フレーム画像からコアリングレベル設定のためのノイズレベルを検出する設定用ノイズレベル検出手段と、前記設定用ノイズレベル検出手段によって検出されたノイズレベルに、予め設定された０乃至１の値のノイズレベル調整値を乗じて算出したコアリングレベルを設定するコアリングレベル調整手段とを備えることを特徴とする請求項１に記載のノイズ低減装置。
【請求項４】
前記設定用ノイズレベル検出手段は、前記フレーム画像を複数の画素からなる複数の予め定められた形状のノイズレベル検出の単位ブロックであるノイズ検出ブロックに分割するノイズ検出ブロック分割手段と、前記ノイズ検出ブロック分割手段によって分割されたノイズ検出ブロックを直交変換して空間周波数成分に変換するノイズ検出ブロック直交変換手段と、前記ノイズ検出ブロック直交変換手段によって変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する交流成分平均算出手段と、前記交流成分平均算出手段によって前記ノイズ検出ブロックごとに算出された交流成分平均から最小値を抽出し、前記ノイズレベルとして出力する最小値抽出手段とを備えることを特徴とする請求項２又は請求項３に記載のノイズ低減装置。
【請求項５】
前記設定用ノイズレベル検出手段は、前記フレーム画像を複数の画素からなる複数の予め定められた形状のノイズ検出の単位ブロックであるノイズ検出ブロックに分割するノイズ検出ブロック分割手段と、前記ノイズ検出ブロック分割手段によって分割されたノイズ検出ブロックの画像データから低空間周波数成分を抑制する低空間周波数成分抑制手段と、前記低空間周波成分抑制手段によって低空間周波成分が抑制された画像データを直交変換して空間周波数成分に変換するノイズ検出ブロック直交変換手段と、前記ノイズ検出ブロック直交変換手段によって変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する交流成分平均算出手段と、前記交流成分平均算出手段によって前記ノイズ検出ブロックごとに抽出された複数の前記交流成分平均から最小値を抽出し、前記ノイズレベルとして出力する最小値抽出手段とを備えることを特徴とする請求項２又は請求項３に記載のノイズ低減装置。
【請求項６】
更に、前記動領域処理ブロック分割手段によって分割された動領域処理ブロック内の輝度レベルを算出する動領域処理ブロック輝度算出手段を備え、
前記コアリングレベル設定手段は、輝度レベルに応じてコアリングレベルが定められた輝度別コアリングレベルを設定するとともに、前記コアリング処理手段は、前記動領域処理ブロック直交変換手段によって変換された空間周波数成分中の各交流成分から、前記動領域処理ブロック輝度算出手段によって算出した輝度レベルに対応する前記コアリングレベル設定手段によって設定された輝度別コアリングレベルを減じるコアリング処理をすることを特徴とする請求項１乃至請求項３の何れか一項に記載のノイズ低減装置。
【請求項７】
前記設定用ノイズレベル検出手段は、前記フレーム画像を複数の画素からなる複数の予め定められた形状のノイズレベル検出の単位ブロックであるノイズ検出ブロックに分割するノイズ検出ブロック分割手段と、前記ノイズ検出ブロック分割手段によって分割されたノイズ検出ブロックを直交変換して空間周波数成分に変換するノイズ検出ブロック直交変換手段と、前記ノイズ検出ブロック直交変換手段によって変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する交流成分平均算出手段と、前記ノイズ検出ブロック分割手段によって分割されたノイズ検出ブロック内の輝度レベルを算出するノイズ検出ブロック輝度算出手段と、前記交流成分平均算出手段によって算出された交流成分平均を、前記ノイズ検出ブロック輝度算出手段によって算出された輝度レベルごとに、フレーム画像中の複数のノイズ検出ブロックに対応する交流成分平均から最小値を抽出して各輝度レベルにおける前記輝度別ノイズレベルとして出力する輝度別最小値抽出手段とを備えることを特徴とする請求項６に記載のノイズ低減装置。
【請求項８】
前記コアリングレベル設定手段は、更に、前記設定用ノイズレベル検出手段によって検出された輝度別ノイズレベルの有効性を検証するための検証用ノイズレベルを、予備撮影によって得られたフレーム画像から検出する検証用ノイズレベル検出手段を備え、
前記設定用ノイズレベル検出手段は、前記輝度別最小値抽出手段によって抽出された各輝度別ノイズレベルが前記検証用ノイズレベル検出手段によって検出された検証用ノイズレベルに対して、予め定められた所定の範囲外にあるときに、当該輝度別ノイズレベルを排除するノイズレベル検証手段と、前記ノイズレベル検証手段によって排除された輝度レベルに対応するノイズレベルを、排除されなかった輝度レベルにおけるノイズレベルから補間処理して算出する補間処理手段とを更に備えることを特徴とする請求項７に記載のノイズ低減装置。
【請求項９】
前記高周波数成分低減手段は、前記フレーム画像及び前記フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を平均化処理する平均化フィルタであることを特徴とする請求項１乃至請求項８の何れか一項に記載のノイズ低減装置。
【請求項１０】
前記高周波数成分低減手段は、前記フレーム画像及び前記フレーム画像に対して時間軸方向に前後の複数のフレーム画像の画像平面内の同じ位置の画素から中央値を選択するメディアンフィルタであることを特徴とする請求項１乃至請求項８の何れか一項に記載のノイズ低減装置。
【請求項１１】
動画像を構成するフレーム画像の画像平面内の領域が、当該フレーム画像に対して時間軸方向に前後のフレーム画像に対して変化のある動領域か、変化のない静領域か、の２種類の領域の何れであるかを判別する領域判別信号に従って、前記動領域と前記静領域とにそれぞれ異なるノイズ低減処理を施すことにより、前記動画像に重畳されたノイズを低減させるために、コンピュータを、
前記領域判別信号が静領域であることを示す前記フレーム画像の領域に対して、当該静領域中の画素ごとに、当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を参照して高周波数成分を低減する処理をする高周波数成分低減手段、
前記領域判別信号が動領域であることを示す前記フレーム画像の領域に対して、予め定められた形状の動領域処理の単位ブロックである動領域処理ブロックに分割する動領域処理ブロック分割手段、
前記動領域処理ブロック分割手段によって分割された動領域処理ブロックごとに直交変換をして、前記動領域処理ブロックを構成する画素データを空間周波数成分に変換する動領域処理ブロック直交変換手段、
前記動領域処理ブロック直交変換手段によって変換された空間周波数成分に対してコアリング処理をするときのコアリングレベルを設定するコアリングレベル設定手段、
前記動領域処理ブロック直交変換手段によって変換された空間周波数成分中の各交流成分から前記コアリングレベル設定手段によって設定されたコアリングレベルを減じるコアリング処理をするコアリング処理手段、
前記動領域処理ブロック直交変換手段によって変換された空間周波数成分中の直流成分と前記コアリング処理手段によってコアリング処理された交流成分とからなる空間周波数成分に逆直交変換処理を施して画素データに変換する動領域処理ブロック逆直交変換手段、として機能させることを特徴とするノイズ低減プログラム。
【請求項１】
動画像を構成するフレーム画像の画像平面内の領域が、当該フレーム画像に対して時間軸方向に前後のフレーム画像に対して変化のある動領域か、変化のない静領域か、の２種類の領域の何れであるかを判別する領域判別信号に従って、前記動領域と前記静領域とにそれぞれ異なるノイズ低減処理を施すことにより、前記動画像に重畳されたノイズを低減させるノイズ低減装置であって、
前記領域判別信号が動領域であることを示す前記フレーム画像の領域に対して、当該動領域中の画像に重畳された画像平面内のノイズを低減処理する動領域処理手段と、
前記領域判別信号が静領域であることを示す前記フレーム画像の領域に対して、当該静領域中の画素ごとに、当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を参照して高周波数成分を低減する処理をする高周波数成分低減手段を備えた静領域処理手段と、を備え、
前記動領域処理手段は、予め定められた形状の動領域処理の単位ブロックである動領域処理ブロックに分割する動領域処理ブロック分割手段と、前記動領域処理ブロック分割手段によって分割された動領域処理ブロックごとに直交変換をして、前記動領域処理ブロックを構成する画素データを空間周波数成分に変換する動領域処理ブロック直交変換手段と、前記動領域処理ブロック直交変換手段によって変換された空間周波数成分に対してコアリング処理をするときのコアリングレベルを設定するコアリングレベル設定手段と、前記動領域処理ブロック直交変換手段によって変換された空間周波数成分中の各交流成分から前記コアリングレベル設定手段によって設定されたコアリングレベルを減じるコアリング処理をするコアリング処理手段と、前記動領域処理ブロック直交変換手段によって変換された空間周波数成分中の直流成分と前記コアリング処理手段によってコアリング処理された交流成分とからなる空間周波数成分に逆直交変換処理を施して画素データに変換する動領域処理ブロック逆直交変換手段と、を備えることを特徴とするノイズ低減装置。
【請求項２】
前記コアリングレベル設定手段は、前記フレーム画像からコアリングレベル設定のためのノイズレベルを検出する設定用ノイズレベル検出手段を備え、前記設定用ノイズレベル検出手段によって検出したノイズレベルを前記コアリングレベルとして設定することを特徴とする請求項１に記載のノイズ低減装置。
【請求項３】
前記コアリングレベル設定手段は、前記フレーム画像からコアリングレベル設定のためのノイズレベルを検出する設定用ノイズレベル検出手段と、前記設定用ノイズレベル検出手段によって検出されたノイズレベルに、予め設定された０乃至１の値のノイズレベル調整値を乗じて算出したコアリングレベルを設定するコアリングレベル調整手段とを備えることを特徴とする請求項１に記載のノイズ低減装置。
【請求項４】
前記設定用ノイズレベル検出手段は、前記フレーム画像を複数の画素からなる複数の予め定められた形状のノイズレベル検出の単位ブロックであるノイズ検出ブロックに分割するノイズ検出ブロック分割手段と、前記ノイズ検出ブロック分割手段によって分割されたノイズ検出ブロックを直交変換して空間周波数成分に変換するノイズ検出ブロック直交変換手段と、前記ノイズ検出ブロック直交変換手段によって変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する交流成分平均算出手段と、前記交流成分平均算出手段によって前記ノイズ検出ブロックごとに算出された交流成分平均から最小値を抽出し、前記ノイズレベルとして出力する最小値抽出手段とを備えることを特徴とする請求項２又は請求項３に記載のノイズ低減装置。
【請求項５】
前記設定用ノイズレベル検出手段は、前記フレーム画像を複数の画素からなる複数の予め定められた形状のノイズ検出の単位ブロックであるノイズ検出ブロックに分割するノイズ検出ブロック分割手段と、前記ノイズ検出ブロック分割手段によって分割されたノイズ検出ブロックの画像データから低空間周波数成分を抑制する低空間周波数成分抑制手段と、前記低空間周波成分抑制手段によって低空間周波成分が抑制された画像データを直交変換して空間周波数成分に変換するノイズ検出ブロック直交変換手段と、前記ノイズ検出ブロック直交変換手段によって変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する交流成分平均算出手段と、前記交流成分平均算出手段によって前記ノイズ検出ブロックごとに抽出された複数の前記交流成分平均から最小値を抽出し、前記ノイズレベルとして出力する最小値抽出手段とを備えることを特徴とする請求項２又は請求項３に記載のノイズ低減装置。
【請求項６】
更に、前記動領域処理ブロック分割手段によって分割された動領域処理ブロック内の輝度レベルを算出する動領域処理ブロック輝度算出手段を備え、
前記コアリングレベル設定手段は、輝度レベルに応じてコアリングレベルが定められた輝度別コアリングレベルを設定するとともに、前記コアリング処理手段は、前記動領域処理ブロック直交変換手段によって変換された空間周波数成分中の各交流成分から、前記動領域処理ブロック輝度算出手段によって算出した輝度レベルに対応する前記コアリングレベル設定手段によって設定された輝度別コアリングレベルを減じるコアリング処理をすることを特徴とする請求項１乃至請求項３の何れか一項に記載のノイズ低減装置。
【請求項７】
前記設定用ノイズレベル検出手段は、前記フレーム画像を複数の画素からなる複数の予め定められた形状のノイズレベル検出の単位ブロックであるノイズ検出ブロックに分割するノイズ検出ブロック分割手段と、前記ノイズ検出ブロック分割手段によって分割されたノイズ検出ブロックを直交変換して空間周波数成分に変換するノイズ検出ブロック直交変換手段と、前記ノイズ検出ブロック直交変換手段によって変換された空間周波数成分から予め定められた空間周波数の交流成分の平均である交流成分平均を算出する交流成分平均算出手段と、前記ノイズ検出ブロック分割手段によって分割されたノイズ検出ブロック内の輝度レベルを算出するノイズ検出ブロック輝度算出手段と、前記交流成分平均算出手段によって算出された交流成分平均を、前記ノイズ検出ブロック輝度算出手段によって算出された輝度レベルごとに、フレーム画像中の複数のノイズ検出ブロックに対応する交流成分平均から最小値を抽出して各輝度レベルにおける前記輝度別ノイズレベルとして出力する輝度別最小値抽出手段とを備えることを特徴とする請求項６に記載のノイズ低減装置。
【請求項８】
前記コアリングレベル設定手段は、更に、前記設定用ノイズレベル検出手段によって検出された輝度別ノイズレベルの有効性を検証するための検証用ノイズレベルを、予備撮影によって得られたフレーム画像から検出する検証用ノイズレベル検出手段を備え、
前記設定用ノイズレベル検出手段は、前記輝度別最小値抽出手段によって抽出された各輝度別ノイズレベルが前記検証用ノイズレベル検出手段によって検出された検証用ノイズレベルに対して、予め定められた所定の範囲外にあるときに、当該輝度別ノイズレベルを排除するノイズレベル検証手段と、前記ノイズレベル検証手段によって排除された輝度レベルに対応するノイズレベルを、排除されなかった輝度レベルにおけるノイズレベルから補間処理して算出する補間処理手段とを更に備えることを特徴とする請求項７に記載のノイズ低減装置。
【請求項９】
前記高周波数成分低減手段は、前記フレーム画像及び前記フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を平均化処理する平均化フィルタであることを特徴とする請求項１乃至請求項８の何れか一項に記載のノイズ低減装置。
【請求項１０】
前記高周波数成分低減手段は、前記フレーム画像及び前記フレーム画像に対して時間軸方向に前後の複数のフレーム画像の画像平面内の同じ位置の画素から中央値を選択するメディアンフィルタであることを特徴とする請求項１乃至請求項８の何れか一項に記載のノイズ低減装置。
【請求項１１】
動画像を構成するフレーム画像の画像平面内の領域が、当該フレーム画像に対して時間軸方向に前後のフレーム画像に対して変化のある動領域か、変化のない静領域か、の２種類の領域の何れであるかを判別する領域判別信号に従って、前記動領域と前記静領域とにそれぞれ異なるノイズ低減処理を施すことにより、前記動画像に重畳されたノイズを低減させるために、コンピュータを、
前記領域判別信号が静領域であることを示す前記フレーム画像の領域に対して、当該静領域中の画素ごとに、当該フレーム画像に対して時間軸方向に前後のフレーム画像の画像平面内の同じ位置の画素を参照して高周波数成分を低減する処理をする高周波数成分低減手段、
前記領域判別信号が動領域であることを示す前記フレーム画像の領域に対して、予め定められた形状の動領域処理の単位ブロックである動領域処理ブロックに分割する動領域処理ブロック分割手段、
前記動領域処理ブロック分割手段によって分割された動領域処理ブロックごとに直交変換をして、前記動領域処理ブロックを構成する画素データを空間周波数成分に変換する動領域処理ブロック直交変換手段、
前記動領域処理ブロック直交変換手段によって変換された空間周波数成分に対してコアリング処理をするときのコアリングレベルを設定するコアリングレベル設定手段、
前記動領域処理ブロック直交変換手段によって変換された空間周波数成分中の各交流成分から前記コアリングレベル設定手段によって設定されたコアリングレベルを減じるコアリング処理をするコアリング処理手段、
前記動領域処理ブロック直交変換手段によって変換された空間周波数成分中の直流成分と前記コアリング処理手段によってコアリング処理された交流成分とからなる空間周波数成分に逆直交変換処理を施して画素データに変換する動領域処理ブロック逆直交変換手段、として機能させることを特徴とするノイズ低減プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１０−１７１６１５（Ｐ２０１０−１７１６１５Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１１０９１（Ｐ２００９−１１０９１）
【出願日】平成２１年１月２１日（２００９．１．２１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２１日（２００９．１．２１）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]