画像処理装置および方法、プログラム、並びに記録媒体
【課題】画像のノイズを低減させるために、正確にノイズを計測することができるようにする。
【解決手段】第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、ＮＲ画面に対する動き補償が行われ、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、入力画面の画素値と動き補償されたＮＲ画面の画素値から得られる所定の値を、時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、入力画面のノイズが計測され、計測されたノイズに対応する加算比率が決定され、決定された加算比率に応じて定まる係数を乗じることにより、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面に前記時間加算ノイズ低減処理が施される。
【解決手段】第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、ＮＲ画面に対する動き補償が行われ、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、入力画面の画素値と動き補償されたＮＲ画面の画素値から得られる所定の値を、時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、入力画面のノイズが計測され、計測されたノイズに対応する加算比率が決定され、決定された加算比率に応じて定まる係数を乗じることにより、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面に前記時間加算ノイズ低減処理が施される。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、画像のノイズを低減させるために、正確にノイズを計測することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
動画の映像信号は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、映像信号は符号化歪やノイズ成分とは相関がないので、映像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、歪やノイズ成分のみが小さくなるから、歪やノイズを低減することができる。
【０００３】
このような映像信号の特性を利用してノイズを低減する装置として、画像の動きを検出するフレーム巡回型ノイズ低減装置がある。
【０００４】
従来のノイズ低減装置は、動きベクトルを検出し、動きベクトルに基づいて動き成分を求め、画像の動き成分に応じて加算比率を変え、加算比率に基づいて現フレームの画素と前フレームの対応画素を加重平均して出力映像信号を生成する構成とされている。従って、動き補償した対応画素を累積的に加重平均することとなり、残像の発生を防止しながらノイズを低減できるようになされている。
【０００５】
ノイズを低減する際には、例えば、入力画像に含まれるノイズ量を正しく計測し、ノイズ量に応じた処理を実行することが重要となる。例えば、時間加算ノイズ低減処理では、もともと入力画像のノイズが少ない場合、時間加算において本来足し込むべきでない動き補償の誤りまで足し込んでしまい、出力画像がかえって劣化してしまう場合がある。また、例えば、画面内ノイズ低減処理では、本来のノイズより強いノイズを想定してノイズ低減処理を施すと、解像感が低下してしまう場合がある。
【０００６】
このように、ノイズを低減する際には、例えば、入力画像に含まれるノイズ量を正しく計測し、ノイズ量に応じた処理を実行する必要がある。
【０００７】
また、検出された動きベクトルに基づいて、入力画素の動きが判定され、その判定結果に基づいて、その入力画素の静止している部分のノイズ量を推定し、ノイズ量に基づいて、その入力画素の信頼性を表す入力信頼度が計算され、入力画素と、その入力画素に対応する、１フレーム前の出力画素との重み付け加算が、それぞれの入力信頼度と出力信頼度から求められた値を重みとして行われるようにすることも提案されている（例えば、特許文献１参照）。
【０００８】
特許文献１によれば、データのＳ／Ｎが変動する場合であっても、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響することを抑止することができる。
【０００９】
また、入力映像信号のシーンチェンジ信号に基づいてノイズレベル検出を制御すると共に、ノイズレベル検出結果に基づいて、非線形処理の強さを制御することで、２つ以上の異なる映像信号源から合成された映像信号が入力された場合でも、ノイズレベルを正確に検出できるようにする技術も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−１２６０６１号公報
【特許文献２】特開２００１−０６１０８１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところで、従来の技術では、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測することが一般的であった。その際ノイズを正しく計測するためには、ＮＲ画面のノイズは完全に除去されていることが前提となる。
【００１２】
しかしながら、時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が最大化されるため、特に最初のフレームではノイズ低減効果がまだ弱く、ノイズを正しく計測出来ないという問題がある。
【００１３】
本技術はこのような状況に鑑みて開示するものであり、画像のノイズを低減させるために、正確にノイズを計測することができるようにするものである。
【課題を解決するための手段】
【００１４】
本技術の第１の側面は、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置である。
【００１５】
前記ノイズ計測部は、前記入力画面の画素と、前記動き補償されたＮＲ画面の画素との差分値を演算する差分演算部と、前記演算された差分値の分散値を算出して取得する分散取得部と、前記時間加算ノイズ低減処理における巡回履歴に基づいて、前記取得された分散値を補正する補正部とを備えるようにすることができる。
【００１６】
前記ノイズ計測部は、前記入力画面を構成する所定の画素数からなるブロック毎に前記ノイズを計測するとともに、前記入力画面のブロックの画素値と、前記動き補償されたＮＲ画面において対応するブロックの画素値とに基づいて差分特徴量を算出し、前記差分特徴量が閾値以上となるブロックについて前記ノイズの計測の対象から除外するようにすることができる。
【００１７】
前記ノイズ計測部により計測されたノイズに対応するフィルタ閾値に基づいて前記入力画面に面内ノイズ低減処理を施す面内ノイズ低減部をさらに備えるようにすることができる。
【００１８】
本技術の一側面は、動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、ノイズ計測部が、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測し、加算比率決定部が、前記計測されたノイズに対応する加算比率を決定し、時間加算ノイズ低減部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップを含む画像処理方法である。
【００１９】
本技術の一側面は、コンピュータを、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置として機能させるプログラムである。
【００２０】
本技術の一側面においては、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償が行われ、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズが計測され、前記計測されたノイズに対応する加算比率が決定され、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理が施される。
【発明の効果】
【００２１】
本技術によれば、画像のノイズを低減させるために、正確にノイズを計測することができる。
【図面の簡単な説明】
【００２２】
【図１】時間加算ノイズ低減処理を説明する図である。
【図２】従来のＩＩＲフィルタの構成例を示すブロック図である。
【図３】時系列で処理を重ねるにつれて大きくなるノイズ低減効果を説明する図である。
【図４】本技術を適用したノイズ低減装置の一実施の形態に係る構成例を示すブロック図である。
【図５】差分特徴量の算出の例を説明する図である。
【図６】時間加算ノイズ低減処理の例を説明するフローチャートである。
【図７】ノイズ計算処理の例を説明するフローチャートである。
【図８】本技術を適用したノイズ低減装置の別の実施の形態に係る構成例を示すブロック図である。
【図９】時間加算および画面内ノイズ低減処理の例を説明するフローチャートである。
【図１０】本技術の効果を説明する図である。
【図１１】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２４】
最初に時間加算ノイズ低減処理について説明する。時間加算ノイズ低減処理は、フレーム巡回型ノイズ低減処理とも称される。
【００２５】
例えば、動画の映像信号（画像信号）は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、映像信号は符号化歪やノイズ成分とは相関がないので、画像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、歪やノイズ成分のみが小さくなるから、歪やノイズを低減することができる。このような画像信号の特性を利用してノイズを低減する方式が、フレーム巡回型ノイズ低減処理である。フレーム巡回型ノイズ低減処理を行うノイズ低減装置は、ＩＩＲ（Infinite impulse response）フィルタとも称される。
【００２６】
いま、フレーム１、フレーム２、・・・フレームｎにおけるノイズの標準偏差がσである場合を考える。
【００２７】
フレーム１、フレーム２、・・・フレームｎのそれぞれにおける画面内の全画素を、Ｘ1、Ｘ2、・・・Ｘnで表し、画素の分散を求める関数をＶで表すと、各フレームの画面におけるノイズ量は、式（１）により表される。
【００２８】
【数１】
・・・（１）
【００２９】
なお、式（１）におけるσの二乗が各フレームの画面におけるノイズ量を表すことになる。
【００３０】
また、フレーム１、フレーム２、・・・フレームｎのそれぞれにおける画面内の画素値の平均値は、式（２）により表される。
【００３１】
【数２】
・・・（２）
【００３２】
そうすると、対数の法則より式（３）が導出される。
【００３３】
【数３】
・・・（３）
【００３４】
式（３）より、フレーム１、フレーム２、・・・フレームｎの画素値を加算していくことによりノイズを低減できることが分かる。
【００３５】
すなわち、図１に示されるように、例えば、動画像を構成するｎ枚の画面を時間方向に加算することにより、ノイズ量を１／ｎに低減した画面を生成することが可能となる。時間加算ノイズ低減処理では、このようにして画像のノイズを低減（Noise Reduction：ＮＲ）するようになされている。
【００３６】
図２は、従来のＩＩＲフィルタの構成例を示すブロック図である。同図におけるＩＩＲフィルタ２０は、入力端子３１から入力された動画像のノイズを低減し、出力端子３２から出力するようになされている。
【００３７】
図２のＩＩＲフィルタ２０は、ノイズ計測部４１、加算比率算出部４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部４３、乗算器４４、乗算器４５、加算器４６、およびバッファ４７を有する構成とされている。
【００３８】
入力端子３１から入力された第ｎ番目のフレーム（以下、適宜入力画面と称することにする）ノイズ計測部４１とＭＥ／ＭＣ部４３に入力される。
【００３９】
ノイズ計測部４１は、入力画面のノイズの標準偏差σを算出し、加算比率算出部４２に供給する。例えば、ノイズ計測部４１は、後述するように、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（以下、適宜ＮＲ画面と称する）を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
【００４０】
加算比率算出部４２は、ノイズの標準偏差σに応じた加算比率αを算出する。そして、乗算器４５には係数αが供給され、乗算器４４には係数（１−α）が供給される。
【００４１】
バッファ４７には、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。
【００４２】
ＭＥ／ＭＣ部４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、加算比率算出部４２と乗算器４５に出力する。
【００４３】
乗算器４４は、入力画面の画素ｘnのそれぞれに係数（１−α）を乗じる処理を行う。
【００４４】
乗算器４５は、動き補償されたＮＲ画面の画素ｘn-1のそれぞれに係数αを乗じる処理を行う。
【００４５】
加算器４６は、乗算器４４と乗算器４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータを生成する。そして、その画像のデータが出力端子３２から出力される。
【００４６】
このようにして、ＩＩＲフィルタ２０による時間加算ノイズ低減処理が施される。上述したように、ノイズ計測部４１は、入力画面のノイズの標準偏差σを算出し、加算比率算出部４２に供給し、加算比率算出部４２は、ノイズの標準偏差σに応じた加算比率αを算出するようになされている。
【００４７】
このように、時間加算ノイズ低減処理によってノイズを低減する際には、入力画像に含まれるノイズ量を正しく計測し、ノイズ量に応じた処理を実行する必要がある。これは、例えば、もともと入力画像のノイズが少ない場合、時間加算において本来足し込むべきでない動き補償の誤りまで足し込んでしまい、出力画像がかえって劣化してしまう場合などがあるからである。
【００４８】
また、上述したように、例えば、動画像を構成するｎ枚の画面を時間方向に加算することにより、ノイズ量を１／ｎに低減した画面を生成することが可能となる。
【００４９】
いま、動画像の各フレームの画面におけるノイズの標準変化の値が一律にσであるとした場合、各フレームの画面におけるノイズ量はσの二乗で表される。
【００５０】
そうすると、図３に示されるように、第１番目のフレームの画面（入力画面［1］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［1］）のノイズ量はσの二乗となる。また、第２番目のフレームの画面（入力画面［2］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［2］）のノイズ量はσの二乗を２で割った値となる。同様に、第３番目のフレームの画面（入力画面［3］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［3］）のノイズ量はσの二乗を３で割った値となり、・・・第ｎ番目のフレームの画面（入力画面［n］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［n］）のノイズ量はσの二乗をｎで割った値となる。
【００５１】
すなわち、時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が大きくなるのである。ここで、時間加算ノイズ低減処理（フレーム巡回型ノイズ低減処理）における時系列の処理の回数ｎは巡回履歴とも称される。
【００５２】
このことから、式（４）が導出される。なお、式（４）では、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測できるものとしている。
【００５３】
【数４】
・・・（４）
【００５４】
式（４）においては、画素の分散を求める関数をＶで表し、ｃiは入力画面の各画素を表しており、ｍiはＮＲ画面の各画素を表している。なお、式（４）における巡回履歴ｎは、入力画面を処理するまでに施された時系列の処理の回数を意味し、例えば、入力画面が第４番目のフレームである場合、ｎは３となる。
【００５５】
さらに、式（４）より式（５）を導出することができる。
【００５６】
【数５】
・・・（５）
【００５７】
式（５）より、ＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測する場合、巡回履歴ｎを特定しなければ、正確なノイズを計測することができないことが分かる。
【００５８】
そこで、本技術では、例えば、ＩＩＲフィルタのノイズ計測部におけるノイズの計測の際に巡回履歴を用いて計測値を補正するようにする。
【００５９】
図４は、本技術を適用したノイズ低減装置の一実施の形態に係る構成例を示すブロック図である。同図に示されるノイズ低減装置１２０は、例えば、ＩＩＲフィルタとして構成される。
【００６０】
図４のノイズ低減装置（ＩＩＲフィルタ）１２０は、ノイズ計測部１４１、時間加算ＮＲ部１４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部１４３、およびバッファ１４７を有する構成とされている。
【００６１】
入力端子１３１から入力された時刻ｔのフレーム（入力画面）は、ノイズ計測部１４１、ＭＥ／ＭＣ部１４３、および時間加算ＮＲ部１４２に入力される。
【００６２】
バッファ１４７には、時刻ｔ−１のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。
【００６３】
ＭＥ／ＭＣ部１４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部１４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、時間加算ＮＲ部１４２と減算器１６１に出力する。
【００６４】
ノイズ計測部１４１は、入力画面のノイズの標準偏差σの二乗値をノイズ量として時間加算ＮＲ部１４２に供給する。ノイズ計測部１４１は、後述するように、ＮＲ画面を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
【００６５】
ノイズ計測部１４１は、減算器１６１、分散取得部１６２、および補正部１６３を有する構成とされている。
【００６６】
減算器１６１は、入力画面の各画素の値と、動き補償後のＮＲ画面において対応する各画素の値の差分を算出する。すなわち、減算器１６１は、式（４）における（ｃi−ｍi）の演算を行う。
【００６７】
分散取得部１６２は、減算器１６１から出力される差分値の分散を演算して取得する。すなわち、分散取得部１６２により、式（４）における最も左の項の演算が行われる。そして、分散取得部１６２は、演算結果を補正部１６３に出力する。
【００６８】
補正部１６３は、時間加算ＮＲ部１４２から巡回履歴ｎを取得し、分散取得部１６２から出力される演算結果の値を補正する。補正部１６３は、ｎ／（ｎ＋１）を分散取得部１６２から出力される演算結果の値に乗じることによって補正する。
【００６９】
補正部１６３の処理結果の値が、入力画面のノイズ量としてノイズ計測部１４１から出力されることになる。
【００７０】
なお、ノイズ計測部１４１が入力画面のノイズを計測する際には、所定の画素数からなるブロック毎に差分を算出し、差分値の分散の取得およびその補正を行うようになされている。
【００７１】
例えば、図５に示されるように、動き補償後のＮＲ画面と入力画面において、同じ位置の９×９画素の矩形のブロックを抽出し、それらのブロック内の画素値の差分を算出し、差分値の分散の取得およびその補正が行われる。
【００７２】
図５に示されるようなブロックの抽出は、動き補償後のＮＲ画面と入力画面のそれぞれにおいてブロックをラスタスキャンにより移動させ、ブロックを移動させる都度、抽出される。そして、抽出されたブロックのそれぞれについて、ブロック内の画素値の差分を算出し、差分値の分散の取得およびその補正が行われる。
【００７３】
１画面分のブロックが抽出された後、ブロック毎のノイズ量を積算し、さらにその値が正規化されるなどして入力画面のノイズ量として出力される。
【００７４】
また、ブロック毎のノイズ量を積算する際に、後述する差分特徴量を算出して閾値と比較することにより、閾値以上の差分特徴量が算出されたブロックのノイズ量を積算しないようになされている。閾値以上の差分特徴量を有するブロックでは、動き補償の誤りが生じていると考えられるからである。
【００７５】
時間加算ＮＲ部１４２の構成は、図２を参照して上述した場合と同様である。すなわち、時間加算ＮＲ部１４２は、ノイズ量に応じた加算比率αを算出する加算比率算出部を有している。そして、入力画面の画素に係数（１−α）が乗じられ、動き補償されたＮＲ画面の画素に係数αを乗じられて加算されるようになされている。
【００７６】
すなわち、時間加算ＮＲ部１４２においては、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施される。これにより、時刻ｔ＋１のフレームの各画素に時間加算ノイズ低減処理が施す際に用いられるＮＲ画面が生成されるのである。
【００７７】
次に、図６のフローチャートを参照して、図４のノイズ低減装置１２０による時間加算ノイズ低減処理の例について説明する。
【００７８】
ステップＳ２１において、入力端子１３１から画像のデータが入力される。すなわち、ノイズを低減させるべき画像のデータが入力される。
【００７９】
ステップＳ２２において、ＭＥ／ＭＣ部１４３は、動きベクトルに基づいてＮＲ画面の動き補償を行う。このとき、例えば、入力画面とＮＲ画面（バッファ１４７に保持されている、時刻ｔ−１のフレームに対してノイズ低減処理が施された画像のデータ）とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測し動きベクトルが算出され、動き補償が行われる。
【００８０】
ステップＳ２３において、ノイズ計測部１４１は、入力画面のノイズ量（σの二乗）を計算する。これにより後述するようにノイズ量が算出される。
【００８１】
ステップＳ２４において、時間加算ＮＲ部１４２は、ステップＳ２３の処理で算出されたノイズ量に基づいて加算比率を決定する。このとき、例えば、ノイズ量に対応付けられて記憶されている加算比率の値が読み出されることにより、加算比率の値αが決定される。なお、ノイズ量に対応する加算比率は、時間加算ＮＲ部１４２に予め記憶されているものとする。
【００８２】
ステップＳ２５において、ＮＲ画面が生成される。すなわち、入力画面の画素に係数（１−α）を乗じる処理を行い、動き補償されたＮＲ画面の画素に係数αを乗じる処理が行われ、対応する画素毎に加算して時刻ｔのフレームに対してノイズ低減処理が施された画像のデータが生成される。
【００８３】
つまり、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施され、時刻ｔのフレームについてのＮＲ画面が生成されるのである。
【００８４】
なお、生成されたＮＲ画面は、出力端子１３２から出力されるとともに、バッファ１４７に保持される。
【００８５】
このようにして時間加算ノイズ低減処理が実行される。
【００８６】
次に、図７のフローチャートを参照して、図６のステップＳ２３のノイズ計算処理の詳細な例について説明する。
【００８７】
ステップＳ４１において、入力画面とＮＲ画面から所定の画素数のブロックが抽出される。このとき、例えば、図５に示されるように、動き補償後のＮＲ画面と入力画面において、同じ位置の９×９画素の矩形のブロックが抽出される。
【００８８】
ステップＳ４２において、差分特徴量ｄが演算される。ここで、差分特徴量ｄは、ステップＳ２１の処理で抽出されたブロック内の画素の値の差分の平均値の絶対値として算出される。
【００８９】
ステップＳ４３において、ステップＳ４２の処理で得られた差分特徴量ｄの値が予め設定された閾値と比較される。ステップＳ４３において、差分特徴量ｄが閾値以上ではないと判定された場合、処理は、ステップＳ４４に進む。
【００９０】
ステップＳ４４において、減算器１６１は、入力画面の各画素の値と、動き補償後のＮＲ画面において対応する各画素の値の差分を算出する。すなわち、減算器１６１は、式（４）における（ｃi−ｍi）の演算を行う。
【００９１】
なお、ステップＳ４４の処理は、ステップＳ４２の処理とともにまとめて１つの処理として同時に実行されるようにしてもよい。
【００９２】
ステップＳ４５において、分散取得部１６２は、ステップＳ４４の処理で得られた差分値の分散を演算して取得する。これにより、式（４）における最も左の項の演算が行われる。
【００９３】
ステップＳ４６において、補正部１６３は、時間加算ＮＲ部１４２から巡回履歴ｎを取得し、ｎの値を特定する。
【００９４】
ステップＳ４７において、補正部１６３は、ステップＳ４６の処理で特定された巡回履歴ｎの値に基づいて、ステップＳ４５の処理結果として分散取得部１６２から出力される値を補正する。このとき、補正部１６３は、ｎ／（ｎ＋１）を分散取得部１６２から出力される演算結果の値に乗じることによって補正する。
【００９５】
ステップＳ４８において、ステップＳ４７の処理結果の値を、当該ブロックのノイズ量として足し込む。
【００９６】
なお、ステップＳ４３において、差分特徴量ｄが閾値以上であると判定された場合、ステップＳ４４乃至ステップＳ４８の処理はスキップされる。閾値以上の差分特徴量を有するブロックでは、動き補償の誤りが生じていると考えられるからである。つまり、差分特徴量ｄが閾値以上であるブロックは、ノイズの計測を行うにあたって無効なブロックとして無視されるようになされている。
【００９７】
ステップＳ４９において、１画面分の処理が終わったか否かが判定される。すなわち、例えば、図５に示されるように、動き補償後のＮＲ画面と入力画面のそれぞれにおいてブロックをラスタスキャンにより移動させ、１画面分のブロックを抽出し、各ブロックについて上述した処理がなされたか否かが判定される。
【００９８】
ステップＳ４９において、まだ１画面分の処理が終わっていないと判定された場合、処理は、ステップＳ４１に戻り、それ以降の処理が繰り返し実行される。
【００９９】
ステップＳ４９において、１画面分の処理が終わったと判定された場合、処理は、ステップＳ５０に進む。
【０１００】
ステップＳ５０において、これまでにステップＳ４８の処理で足し込まれたノイズ量が正規化される。すなわち、足し込まれたノイズ量が有効なブロック（差分特徴量ｄが閾値未満であるブロック）数で除されるなどして正規化される。
【０１０１】
ステップＳ５１において、ステップＳ４９の処理で正規化されたノイズ量が、入力画面のノイズ量として出力される。
【０１０２】
このようにして、ノイズ計算処理が実行される。
【０１０３】
従来の技術では、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測することが一般的であった。その際ノイズを正しく計測するためには、ＮＲ画面のノイズは完全に除去されていることが前提となる。
【０１０４】
しかしながら、時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が最大化されるため、特に最初のフレームではノイズ低減効果がまだ弱く、ノイズを正しく計測出来ないという問題があった。
【０１０５】
これに対して、本技術では、ノイズ量の値を得る際に、巡回履歴を取得して補正するようにした。従って、本技術によれば、画像のノイズを低減させるために、正確にノイズを計測することができる。
【０１０６】
ところで、以上においては、時間加算ノイズ低減処理によって入力画面のノイズを低減する際に、加算比率を決定するために必要となる情報として入力画面のノイズを計測する例について説明した。しかし、本技術により計測されたノイズを、例えば、時間加算ノイズ低減処理以外の方式によって入力画面のノイズを低減する際に必要となる情報として用いるようにしてもよい。
【０１０７】
図８は、本技術を適用したノイズ低減装置の別の実施の形態に係る構成例を示すブロック図である。同図に示されるノイズ低減装置２２０は、例えば、ＩＩＲフィルタとして構成されるが、ノイズ低減装置２２０は、時間加算ノイズ低減処理のみではなく、画面内ノイズ低減処理によって入力画面のノイズを低減するようになされている。
【０１０８】
図８のノイズ低減装置（ＩＩＲフィルタ）２２０は、ノイズ計測部２４１、時間加算ＮＲ部２４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部２４３、画面内ＮＲ部２４４、およびバッファ２４７を有する構成とされている。
【０１０９】
ノイズ低減装置２２０の場合、入力端子２３１から入力された時刻ｔのフレーム（入力画面）は、ノイズ計測部２４１、ＭＥ／ＭＣ部２４３、および画面内ＮＲ部２４４に入力される。
【０１１０】
画面内ＮＲ部２４４は、例えば、εフィルタにより入力画面のノイズを低減するようになされている。εフィルタは、非線形平滑化フィルタ、すなわち、画素値の急峻な変化を損なうことなく当該画素値を平滑化する際に有効なディジタルフィルタであり、画像のエッジを保存したまま平滑化し、その結果得られた平滑化画像を画面内ノイズ低減処理結果の画像として出力する。例えば、フィルタ窓の中心の値であるフィルタ中央値を基準レベルとし、基準レベルから±εの範囲外の値の画素の値を置き換えることで平滑化するとともに、フィルタ窓の位置をずらしながらこのような処理が繰り返され、画像が平滑化されていく。
【０１１１】
従って、画面内ＮＲ部２４４による画面内ノイズ低減処理では、時間加算ＮＲ部２４２による時間加算ノイズ低減処理の場合と異なり、１フレーム（または１時刻）前の入力画面のノイズを低減した画像（ＮＲ画面）を用いずに、現在の入力画面のノイズが低減される。
【０１１２】
εフィルタのフィルタ閾値εは、通常、処理対象の画像のノイズ量に基づいて計算される。このフィルタ閾値εを計算する際に、ノイズ計測部２４１により計測された入力画面のノイズ量が用いられるようになされている。
【０１１３】
図８におけるノイズ計測部２４１、時間加算ＮＲ部２４２、ＭＥ／ＭＣ部２４３、およびバッファ２４７は、それぞれ図４におけるノイズ計測部１４１、時間加算ＮＲ部１４２、ＭＥ／ＭＣ部１４３、およびバッファ１４７と同様の機能ブロックなので詳細な説明は省略する。ただし、時間加算ＮＲ部２４２は、時間加算ＮＲ部１４２の場合と異なり、画面内ＮＲ部２４４から出力された画像（画面内ＮＲ後の入力画面）の画素値と、ＮＲ画面の画素値とを用いた重み付け加算を行うようになされている。
【０１１４】
このように、ノイズ低減装置２２０の場合、時間加算ノイズ低減処理に先立って、画面内ノイズ低減処理が施されるようになされている。そして、時間加算ノイズ低減処理および画面内ノイズ低減処理の双方において、ノイズ計測部２４１により計測された入力画面のノイズ量が用いられるようになされている。
【０１１５】
次に、図９のフローチャートを参照して、図８のノイズ低減装置２２０による時間加算および画面内ノイズ低減処理の例について説明する。
【０１１６】
ステップＳ１０１において、入力端子２３１から画像のデータが入力される。すなわち、ノイズを低減させるべき画像のデータが入力される。
【０１１７】
ステップＳ１０２において、ＭＥ／ＭＣ部２４３は、動きベクトルに基づいてＮＲ画面の動き補償を行う。このとき、例えば、入力画面とＮＲ画面（バッファ２４７に保持されている、時刻ｔ−１のフレームに対してノイズ低減処理が施された画像のデータ）とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測し動きベクトルが算出され、動き補償が行われる。
【０１１８】
ステップＳ１０３において、ノイズ計測部２４１は、入力画面のノイズ量（σの二乗）を計算する。これによりノイズ量が算出される。なお、図９のステップＳ１０３におけるノイズ計算処理は、図７を参照して上述した場合と同様の処理なので、詳細な説明は省略する。
【０１１９】
ステップＳ１０４において、画面内ＮＲ部２４４は、ステップＳ１０３の処理で計算されたノイズ量に基づいて、εフィルタのフィルタ閾値εを算出し、フィルタ閾値を決定する。
【０１２０】
ステップＳ１０５において、画面内ＮＲ部２４４は、ステップＳ１０４の処理で算出されたフィルタ閾値に基づいて入力画面を平滑化する。このとき、例えば、フィルタ窓の中心の値であるフィルタ中央値を基準レベルとし、基準レベルから±εの範囲外の値の画素の値を置き換えることで平滑化するとともに、フィルタ窓の位置をずらしながらこのような処理が繰り返され、入力画面が平滑化される。
【０１２１】
ステップＳ１０６において、時間加算ＮＲ部２４２は、ステップＳ１０３の処理で算出されたノイズ量に基づいて加算比率を決定する。このとき、例えば、ノイズ量に対応付けられて記憶されている加算比率の値が読み出されることにより、加算比率の値αが決定される。なお、ノイズ量に対応する加算比率は、時間加算ＮＲ部２４２に予め記憶されているものとする。
【０１２２】
ステップＳ１０７において、ＮＲ画面が生成される。すなわち、画面内ＮＲ後の入力画面の画素に係数（１−α）を乗じる処理を行い、動き補償されたＮＲ画面の画素に係数αを乗じる処理が行われ、対応する画素毎に加算して時刻ｔのフレームに対してノイズ低減処理が施された画像のデータが生成される。
【０１２３】
つまり、画面内ＮＲ後の入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施され、時刻ｔのフレームについてのＮＲ画面が生成されるのである。
【０１２４】
なお、生成されたＮＲ画面は、出力端子２３２から出力されるとともに、バッファ２４７に保持される。
【０１２５】
このようにして時間加算および画面内ノイズ低減処理が実行される。このようにすることで、より効果的に入力画面のノイズを低減させることができる。
【０１２６】
図１０は、本技術の効果を説明する図である。同図は、縦軸が計測されたノイズの標準偏差σの値とされ、横軸が巡回履歴の値とされ、巡回履歴の変化に伴うノイズの計測結果の変化がグラフとして示されている。なお、図１０における入力画面のノイズの標準編差は、どのフレーム（巡回履歴）においても一律にσ＝１０である。従って、正しくノイズが計測されている場合、計測結果は巡回履歴に関わらず常にσ＝１０である。
【０１２７】
図１０の線３０１は、従来の方式により計測された計測結果を表している。なお、従来の方式は、例えば、図４のノイズ計測部１４１において補正部１６３が除去された構成とされ、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を算出し、その分散値をそのままノイズとして計測するものである。
【０１２８】
図１０の線３０２は、本技術を用いた方式により計測された計測結果を表している。本技術を用いた方式では、例えば、図４のノイズ計測部１４１により、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を算出し、その分散値をさらに巡回履歴に基づいて補正した値をノイズとして計測する。
【０１２９】
図１０に示されるように、線３０１の場合、巡回履歴が略１乃至１０程度の部分において、計測結果σの値が１０から大きく乖離している。これに対して、線３０２の場合、巡回履歴の値に関わらず、計測結果σの値がほぼ一様に１０とされている。
【０１３０】
図１０より、従来の方式では、巡回履歴が浅い場合、ノイズを正しく計測出来ないことが分かる。時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が最大化されるため、特に最初のフレームではノイズ低減効果がまだ弱く、ノイズを正しく計測出来ないからである。そして、本技術により従来の方式の問題点が改善されたことが分かる。
【０１３１】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１３２】
図１１において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３３】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１３４】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１３５】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１３６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１３７】
なお、この記録媒体は、図１１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１３８】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４０】
なお、本技術は以下のような構成も取ることができる。
【０１４１】
（１）第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部と
を備える画像処理装置。
（２）前記ノイズ計測部は、
前記入力画面の画素と、前記動き補償されたＮＲ画面の画素との差分値を演算する差分演算部と、
前記演算された差分値の分散値を算出して取得する分散取得部と、
前記時間加算ノイズ低減処理における巡回履歴に基づいて、前記取得された分散値を補正する補正部とを備える
（１）に記載の画像処理装置。
（３）前記ノイズ計測部は、
前記入力画面を構成する所定の画素数からなるブロック毎に前記ノイズを計測するとともに、
前記入力画面のブロックの画素値と、前記動き補償されたＮＲ画面において対応するブロックの画素値とに基づいて差分特徴量を算出し、
前記差分特徴量が閾値以上となるブロックについて前記ノイズの計測の対象から除外する
（１）または（２）に記載の画像処理装置。
（４）前記ノイズ計測部により計測されたノイズに対応するフィルタ閾値に基づいて前記入力画面に面内ノイズ低減処理を施す面内ノイズ低減部をさらに備える
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
ノイズ計測部が、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測し、
加算比率決定部が、前記計測されたノイズに対応する加算比率を決定し、
時間加算ノイズ低減部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む画像処理方法。
（６）コンピュータを、
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置として機能させる
プログラム。
（７）請求項６に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１４２】
１２０ ノイズ低減装置， １３１ 入力端子， １３２ 出力端子， １４１ ノイズ計測部， １４２ 時間加算ＮＲ部， １４３ ＭＥ／ＭＣ部， １４７ バッファ， １６１ 減算器， １６２ 分散取得部， １６３ 補正部， ２２０ ノイズ低減装置， ２３１ 入力端子， ２３２ 出力端子， ２４１ ノイズ付加部， ２４２ 時間加算ＮＲ部， ２４３ ＭＥ／ＭＣ部， ２４４ 画面内ＮＲ部， ２４７ バッファ
【技術分野】
【０００１】
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、特に、画像のノイズを低減させるために、正確にノイズを計測することができるようにする画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
動画の映像信号は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、映像信号は符号化歪やノイズ成分とは相関がないので、映像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、歪やノイズ成分のみが小さくなるから、歪やノイズを低減することができる。
【０００３】
このような映像信号の特性を利用してノイズを低減する装置として、画像の動きを検出するフレーム巡回型ノイズ低減装置がある。
【０００４】
従来のノイズ低減装置は、動きベクトルを検出し、動きベクトルに基づいて動き成分を求め、画像の動き成分に応じて加算比率を変え、加算比率に基づいて現フレームの画素と前フレームの対応画素を加重平均して出力映像信号を生成する構成とされている。従って、動き補償した対応画素を累積的に加重平均することとなり、残像の発生を防止しながらノイズを低減できるようになされている。
【０００５】
ノイズを低減する際には、例えば、入力画像に含まれるノイズ量を正しく計測し、ノイズ量に応じた処理を実行することが重要となる。例えば、時間加算ノイズ低減処理では、もともと入力画像のノイズが少ない場合、時間加算において本来足し込むべきでない動き補償の誤りまで足し込んでしまい、出力画像がかえって劣化してしまう場合がある。また、例えば、画面内ノイズ低減処理では、本来のノイズより強いノイズを想定してノイズ低減処理を施すと、解像感が低下してしまう場合がある。
【０００６】
このように、ノイズを低減する際には、例えば、入力画像に含まれるノイズ量を正しく計測し、ノイズ量に応じた処理を実行する必要がある。
【０００７】
また、検出された動きベクトルに基づいて、入力画素の動きが判定され、その判定結果に基づいて、その入力画素の静止している部分のノイズ量を推定し、ノイズ量に基づいて、その入力画素の信頼性を表す入力信頼度が計算され、入力画素と、その入力画素に対応する、１フレーム前の出力画素との重み付け加算が、それぞれの入力信頼度と出力信頼度から求められた値を重みとして行われるようにすることも提案されている（例えば、特許文献１参照）。
【０００８】
特許文献１によれば、データのＳ／Ｎが変動する場合であっても、Ｓ／Ｎの悪いデータが、Ｓ／Ｎの良いデータに影響することを抑止することができる。
【０００９】
また、入力映像信号のシーンチェンジ信号に基づいてノイズレベル検出を制御すると共に、ノイズレベル検出結果に基づいて、非線形処理の強さを制御することで、２つ以上の異なる映像信号源から合成された映像信号が入力された場合でも、ノイズレベルを正確に検出できるようにする技術も提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−１２６０６１号公報
【特許文献２】特開２００１−０６１０８１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところで、従来の技術では、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測することが一般的であった。その際ノイズを正しく計測するためには、ＮＲ画面のノイズは完全に除去されていることが前提となる。
【００１２】
しかしながら、時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が最大化されるため、特に最初のフレームではノイズ低減効果がまだ弱く、ノイズを正しく計測出来ないという問題がある。
【００１３】
本技術はこのような状況に鑑みて開示するものであり、画像のノイズを低減させるために、正確にノイズを計測することができるようにするものである。
【課題を解決するための手段】
【００１４】
本技術の第１の側面は、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置である。
【００１５】
前記ノイズ計測部は、前記入力画面の画素と、前記動き補償されたＮＲ画面の画素との差分値を演算する差分演算部と、前記演算された差分値の分散値を算出して取得する分散取得部と、前記時間加算ノイズ低減処理における巡回履歴に基づいて、前記取得された分散値を補正する補正部とを備えるようにすることができる。
【００１６】
前記ノイズ計測部は、前記入力画面を構成する所定の画素数からなるブロック毎に前記ノイズを計測するとともに、前記入力画面のブロックの画素値と、前記動き補償されたＮＲ画面において対応するブロックの画素値とに基づいて差分特徴量を算出し、前記差分特徴量が閾値以上となるブロックについて前記ノイズの計測の対象から除外するようにすることができる。
【００１７】
前記ノイズ計測部により計測されたノイズに対応するフィルタ閾値に基づいて前記入力画面に面内ノイズ低減処理を施す面内ノイズ低減部をさらに備えるようにすることができる。
【００１８】
本技術の一側面は、動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、ノイズ計測部が、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測し、加算比率決定部が、前記計測されたノイズに対応する加算比率を決定し、時間加算ノイズ低減部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップを含む画像処理方法である。
【００１９】
本技術の一側面は、コンピュータを、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置として機能させるプログラムである。
【００２０】
本技術の一側面においては、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償が行われ、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズが計測され、前記計測されたノイズに対応する加算比率が決定され、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理が施される。
【発明の効果】
【００２１】
本技術によれば、画像のノイズを低減させるために、正確にノイズを計測することができる。
【図面の簡単な説明】
【００２２】
【図１】時間加算ノイズ低減処理を説明する図である。
【図２】従来のＩＩＲフィルタの構成例を示すブロック図である。
【図３】時系列で処理を重ねるにつれて大きくなるノイズ低減効果を説明する図である。
【図４】本技術を適用したノイズ低減装置の一実施の形態に係る構成例を示すブロック図である。
【図５】差分特徴量の算出の例を説明する図である。
【図６】時間加算ノイズ低減処理の例を説明するフローチャートである。
【図７】ノイズ計算処理の例を説明するフローチャートである。
【図８】本技術を適用したノイズ低減装置の別の実施の形態に係る構成例を示すブロック図である。
【図９】時間加算および画面内ノイズ低減処理の例を説明するフローチャートである。
【図１０】本技術の効果を説明する図である。
【図１１】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
【００２４】
最初に時間加算ノイズ低減処理について説明する。時間加算ノイズ低減処理は、フレーム巡回型ノイズ低減処理とも称される。
【００２５】
例えば、動画の映像信号（画像信号）は、フレーム周期で類似の画像情報が繰り返される信号であり、フレーム間の相関が非常に強い。一方、映像信号は符号化歪やノイズ成分とは相関がないので、画像信号をフレーム単位で時間平均すると、信号成分はほとんど変化せず、歪やノイズ成分のみが小さくなるから、歪やノイズを低減することができる。このような画像信号の特性を利用してノイズを低減する方式が、フレーム巡回型ノイズ低減処理である。フレーム巡回型ノイズ低減処理を行うノイズ低減装置は、ＩＩＲ（Infinite impulse response）フィルタとも称される。
【００２６】
いま、フレーム１、フレーム２、・・・フレームｎにおけるノイズの標準偏差がσである場合を考える。
【００２７】
フレーム１、フレーム２、・・・フレームｎのそれぞれにおける画面内の全画素を、Ｘ1、Ｘ2、・・・Ｘnで表し、画素の分散を求める関数をＶで表すと、各フレームの画面におけるノイズ量は、式（１）により表される。
【００２８】
【数１】
・・・（１）
【００２９】
なお、式（１）におけるσの二乗が各フレームの画面におけるノイズ量を表すことになる。
【００３０】
また、フレーム１、フレーム２、・・・フレームｎのそれぞれにおける画面内の画素値の平均値は、式（２）により表される。
【００３１】
【数２】
・・・（２）
【００３２】
そうすると、対数の法則より式（３）が導出される。
【００３３】
【数３】
・・・（３）
【００３４】
式（３）より、フレーム１、フレーム２、・・・フレームｎの画素値を加算していくことによりノイズを低減できることが分かる。
【００３５】
すなわち、図１に示されるように、例えば、動画像を構成するｎ枚の画面を時間方向に加算することにより、ノイズ量を１／ｎに低減した画面を生成することが可能となる。時間加算ノイズ低減処理では、このようにして画像のノイズを低減（Noise Reduction：ＮＲ）するようになされている。
【００３６】
図２は、従来のＩＩＲフィルタの構成例を示すブロック図である。同図におけるＩＩＲフィルタ２０は、入力端子３１から入力された動画像のノイズを低減し、出力端子３２から出力するようになされている。
【００３７】
図２のＩＩＲフィルタ２０は、ノイズ計測部４１、加算比率算出部４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部４３、乗算器４４、乗算器４５、加算器４６、およびバッファ４７を有する構成とされている。
【００３８】
入力端子３１から入力された第ｎ番目のフレーム（以下、適宜入力画面と称することにする）ノイズ計測部４１とＭＥ／ＭＣ部４３に入力される。
【００３９】
ノイズ計測部４１は、入力画面のノイズの標準偏差σを算出し、加算比率算出部４２に供給する。例えば、ノイズ計測部４１は、後述するように、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（以下、適宜ＮＲ画面と称する）を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
【００４０】
加算比率算出部４２は、ノイズの標準偏差σに応じた加算比率αを算出する。そして、乗算器４５には係数αが供給され、乗算器４４には係数（１−α）が供給される。
【００４１】
バッファ４７には、第ｎ−１番目のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。
【００４２】
ＭＥ／ＭＣ部４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、加算比率算出部４２と乗算器４５に出力する。
【００４３】
乗算器４４は、入力画面の画素ｘnのそれぞれに係数（１−α）を乗じる処理を行う。
【００４４】
乗算器４５は、動き補償されたＮＲ画面の画素ｘn-1のそれぞれに係数αを乗じる処理を行う。
【００４５】
加算器４６は、乗算器４４と乗算器４５から出力される画素値を、対応する画素毎に加算して第ｎ番目のフレームに対してノイズ低減処理が施された画像のデータを生成する。そして、その画像のデータが出力端子３２から出力される。
【００４６】
このようにして、ＩＩＲフィルタ２０による時間加算ノイズ低減処理が施される。上述したように、ノイズ計測部４１は、入力画面のノイズの標準偏差σを算出し、加算比率算出部４２に供給し、加算比率算出部４２は、ノイズの標準偏差σに応じた加算比率αを算出するようになされている。
【００４７】
このように、時間加算ノイズ低減処理によってノイズを低減する際には、入力画像に含まれるノイズ量を正しく計測し、ノイズ量に応じた処理を実行する必要がある。これは、例えば、もともと入力画像のノイズが少ない場合、時間加算において本来足し込むべきでない動き補償の誤りまで足し込んでしまい、出力画像がかえって劣化してしまう場合などがあるからである。
【００４８】
また、上述したように、例えば、動画像を構成するｎ枚の画面を時間方向に加算することにより、ノイズ量を１／ｎに低減した画面を生成することが可能となる。
【００４９】
いま、動画像の各フレームの画面におけるノイズの標準変化の値が一律にσであるとした場合、各フレームの画面におけるノイズ量はσの二乗で表される。
【００５０】
そうすると、図３に示されるように、第１番目のフレームの画面（入力画面［1］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［1］）のノイズ量はσの二乗となる。また、第２番目のフレームの画面（入力画面［2］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［2］）のノイズ量はσの二乗を２で割った値となる。同様に、第３番目のフレームの画面（入力画面［3］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［3］）のノイズ量はσの二乗を３で割った値となり、・・・第ｎ番目のフレームの画面（入力画面［n］）に対して時間加算ノイズ低減処理が施された画面（ＮＲ画面［n］）のノイズ量はσの二乗をｎで割った値となる。
【００５１】
すなわち、時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が大きくなるのである。ここで、時間加算ノイズ低減処理（フレーム巡回型ノイズ低減処理）における時系列の処理の回数ｎは巡回履歴とも称される。
【００５２】
このことから、式（４）が導出される。なお、式（４）では、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測できるものとしている。
【００５３】
【数４】
・・・（４）
【００５４】
式（４）においては、画素の分散を求める関数をＶで表し、ｃiは入力画面の各画素を表しており、ｍiはＮＲ画面の各画素を表している。なお、式（４）における巡回履歴ｎは、入力画面を処理するまでに施された時系列の処理の回数を意味し、例えば、入力画面が第４番目のフレームである場合、ｎは３となる。
【００５５】
さらに、式（４）より式（５）を導出することができる。
【００５６】
【数５】
・・・（５）
【００５７】
式（５）より、ＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測する場合、巡回履歴ｎを特定しなければ、正確なノイズを計測することができないことが分かる。
【００５８】
そこで、本技術では、例えば、ＩＩＲフィルタのノイズ計測部におけるノイズの計測の際に巡回履歴を用いて計測値を補正するようにする。
【００５９】
図４は、本技術を適用したノイズ低減装置の一実施の形態に係る構成例を示すブロック図である。同図に示されるノイズ低減装置１２０は、例えば、ＩＩＲフィルタとして構成される。
【００６０】
図４のノイズ低減装置（ＩＩＲフィルタ）１２０は、ノイズ計測部１４１、時間加算ＮＲ部１４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部１４３、およびバッファ１４７を有する構成とされている。
【００６１】
入力端子１３１から入力された時刻ｔのフレーム（入力画面）は、ノイズ計測部１４１、ＭＥ／ＭＣ部１４３、および時間加算ＮＲ部１４２に入力される。
【００６２】
バッファ１４７には、時刻ｔ−１のフレームに対してノイズ低減処理が施された画像（ＮＲ画面）のデータが保持されている。
【００６３】
ＭＥ／ＭＣ部１４３は、例えば、入力画面とＮＲ画面とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測する。これにより、動きベクトルが算出される。そして、ＭＥ／ＭＣ部１４３は、動きベクトルに基づいてＮＲ画面の動き補償を行い、時間加算ＮＲ部１４２と減算器１６１に出力する。
【００６４】
ノイズ計測部１４１は、入力画面のノイズの標準偏差σの二乗値をノイズ量として時間加算ＮＲ部１４２に供給する。ノイズ計測部１４１は、後述するように、ＮＲ画面を動き補償した画像と、入力画面との差分をノイズと推定し、入力画面のノイズの標準偏差σを算出する。
【００６５】
ノイズ計測部１４１は、減算器１６１、分散取得部１６２、および補正部１６３を有する構成とされている。
【００６６】
減算器１６１は、入力画面の各画素の値と、動き補償後のＮＲ画面において対応する各画素の値の差分を算出する。すなわち、減算器１６１は、式（４）における（ｃi−ｍi）の演算を行う。
【００６７】
分散取得部１６２は、減算器１６１から出力される差分値の分散を演算して取得する。すなわち、分散取得部１６２により、式（４）における最も左の項の演算が行われる。そして、分散取得部１６２は、演算結果を補正部１６３に出力する。
【００６８】
補正部１６３は、時間加算ＮＲ部１４２から巡回履歴ｎを取得し、分散取得部１６２から出力される演算結果の値を補正する。補正部１６３は、ｎ／（ｎ＋１）を分散取得部１６２から出力される演算結果の値に乗じることによって補正する。
【００６９】
補正部１６３の処理結果の値が、入力画面のノイズ量としてノイズ計測部１４１から出力されることになる。
【００７０】
なお、ノイズ計測部１４１が入力画面のノイズを計測する際には、所定の画素数からなるブロック毎に差分を算出し、差分値の分散の取得およびその補正を行うようになされている。
【００７１】
例えば、図５に示されるように、動き補償後のＮＲ画面と入力画面において、同じ位置の９×９画素の矩形のブロックを抽出し、それらのブロック内の画素値の差分を算出し、差分値の分散の取得およびその補正が行われる。
【００７２】
図５に示されるようなブロックの抽出は、動き補償後のＮＲ画面と入力画面のそれぞれにおいてブロックをラスタスキャンにより移動させ、ブロックを移動させる都度、抽出される。そして、抽出されたブロックのそれぞれについて、ブロック内の画素値の差分を算出し、差分値の分散の取得およびその補正が行われる。
【００７３】
１画面分のブロックが抽出された後、ブロック毎のノイズ量を積算し、さらにその値が正規化されるなどして入力画面のノイズ量として出力される。
【００７４】
また、ブロック毎のノイズ量を積算する際に、後述する差分特徴量を算出して閾値と比較することにより、閾値以上の差分特徴量が算出されたブロックのノイズ量を積算しないようになされている。閾値以上の差分特徴量を有するブロックでは、動き補償の誤りが生じていると考えられるからである。
【００７５】
時間加算ＮＲ部１４２の構成は、図２を参照して上述した場合と同様である。すなわち、時間加算ＮＲ部１４２は、ノイズ量に応じた加算比率αを算出する加算比率算出部を有している。そして、入力画面の画素に係数（１−α）が乗じられ、動き補償されたＮＲ画面の画素に係数αを乗じられて加算されるようになされている。
【００７６】
すなわち、時間加算ＮＲ部１４２においては、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施される。これにより、時刻ｔ＋１のフレームの各画素に時間加算ノイズ低減処理が施す際に用いられるＮＲ画面が生成されるのである。
【００７７】
次に、図６のフローチャートを参照して、図４のノイズ低減装置１２０による時間加算ノイズ低減処理の例について説明する。
【００７８】
ステップＳ２１において、入力端子１３１から画像のデータが入力される。すなわち、ノイズを低減させるべき画像のデータが入力される。
【００７９】
ステップＳ２２において、ＭＥ／ＭＣ部１４３は、動きベクトルに基づいてＮＲ画面の動き補償を行う。このとき、例えば、入力画面とＮＲ画面（バッファ１４７に保持されている、時刻ｔ−１のフレームに対してノイズ低減処理が施された画像のデータ）とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測し動きベクトルが算出され、動き補償が行われる。
【００８０】
ステップＳ２３において、ノイズ計測部１４１は、入力画面のノイズ量（σの二乗）を計算する。これにより後述するようにノイズ量が算出される。
【００８１】
ステップＳ２４において、時間加算ＮＲ部１４２は、ステップＳ２３の処理で算出されたノイズ量に基づいて加算比率を決定する。このとき、例えば、ノイズ量に対応付けられて記憶されている加算比率の値が読み出されることにより、加算比率の値αが決定される。なお、ノイズ量に対応する加算比率は、時間加算ＮＲ部１４２に予め記憶されているものとする。
【００８２】
ステップＳ２５において、ＮＲ画面が生成される。すなわち、入力画面の画素に係数（１−α）を乗じる処理を行い、動き補償されたＮＲ画面の画素に係数αを乗じる処理が行われ、対応する画素毎に加算して時刻ｔのフレームに対してノイズ低減処理が施された画像のデータが生成される。
【００８３】
つまり、入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施され、時刻ｔのフレームについてのＮＲ画面が生成されるのである。
【００８４】
なお、生成されたＮＲ画面は、出力端子１３２から出力されるとともに、バッファ１４７に保持される。
【００８５】
このようにして時間加算ノイズ低減処理が実行される。
【００８６】
次に、図７のフローチャートを参照して、図６のステップＳ２３のノイズ計算処理の詳細な例について説明する。
【００８７】
ステップＳ４１において、入力画面とＮＲ画面から所定の画素数のブロックが抽出される。このとき、例えば、図５に示されるように、動き補償後のＮＲ画面と入力画面において、同じ位置の９×９画素の矩形のブロックが抽出される。
【００８８】
ステップＳ４２において、差分特徴量ｄが演算される。ここで、差分特徴量ｄは、ステップＳ２１の処理で抽出されたブロック内の画素の値の差分の平均値の絶対値として算出される。
【００８９】
ステップＳ４３において、ステップＳ４２の処理で得られた差分特徴量ｄの値が予め設定された閾値と比較される。ステップＳ４３において、差分特徴量ｄが閾値以上ではないと判定された場合、処理は、ステップＳ４４に進む。
【００９０】
ステップＳ４４において、減算器１６１は、入力画面の各画素の値と、動き補償後のＮＲ画面において対応する各画素の値の差分を算出する。すなわち、減算器１６１は、式（４）における（ｃi−ｍi）の演算を行う。
【００９１】
なお、ステップＳ４４の処理は、ステップＳ４２の処理とともにまとめて１つの処理として同時に実行されるようにしてもよい。
【００９２】
ステップＳ４５において、分散取得部１６２は、ステップＳ４４の処理で得られた差分値の分散を演算して取得する。これにより、式（４）における最も左の項の演算が行われる。
【００９３】
ステップＳ４６において、補正部１６３は、時間加算ＮＲ部１４２から巡回履歴ｎを取得し、ｎの値を特定する。
【００９４】
ステップＳ４７において、補正部１６３は、ステップＳ４６の処理で特定された巡回履歴ｎの値に基づいて、ステップＳ４５の処理結果として分散取得部１６２から出力される値を補正する。このとき、補正部１６３は、ｎ／（ｎ＋１）を分散取得部１６２から出力される演算結果の値に乗じることによって補正する。
【００９５】
ステップＳ４８において、ステップＳ４７の処理結果の値を、当該ブロックのノイズ量として足し込む。
【００９６】
なお、ステップＳ４３において、差分特徴量ｄが閾値以上であると判定された場合、ステップＳ４４乃至ステップＳ４８の処理はスキップされる。閾値以上の差分特徴量を有するブロックでは、動き補償の誤りが生じていると考えられるからである。つまり、差分特徴量ｄが閾値以上であるブロックは、ノイズの計測を行うにあたって無効なブロックとして無視されるようになされている。
【００９７】
ステップＳ４９において、１画面分の処理が終わったか否かが判定される。すなわち、例えば、図５に示されるように、動き補償後のＮＲ画面と入力画面のそれぞれにおいてブロックをラスタスキャンにより移動させ、１画面分のブロックを抽出し、各ブロックについて上述した処理がなされたか否かが判定される。
【００９８】
ステップＳ４９において、まだ１画面分の処理が終わっていないと判定された場合、処理は、ステップＳ４１に戻り、それ以降の処理が繰り返し実行される。
【００９９】
ステップＳ４９において、１画面分の処理が終わったと判定された場合、処理は、ステップＳ５０に進む。
【０１００】
ステップＳ５０において、これまでにステップＳ４８の処理で足し込まれたノイズ量が正規化される。すなわち、足し込まれたノイズ量が有効なブロック（差分特徴量ｄが閾値未満であるブロック）数で除されるなどして正規化される。
【０１０１】
ステップＳ５１において、ステップＳ４９の処理で正規化されたノイズ量が、入力画面のノイズ量として出力される。
【０１０２】
このようにして、ノイズ計算処理が実行される。
【０１０３】
従来の技術では、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を得ることで、入力画面のノイズ量を計測することが一般的であった。その際ノイズを正しく計測するためには、ＮＲ画面のノイズは完全に除去されていることが前提となる。
【０１０４】
しかしながら、時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が最大化されるため、特に最初のフレームではノイズ低減効果がまだ弱く、ノイズを正しく計測出来ないという問題があった。
【０１０５】
これに対して、本技術では、ノイズ量の値を得る際に、巡回履歴を取得して補正するようにした。従って、本技術によれば、画像のノイズを低減させるために、正確にノイズを計測することができる。
【０１０６】
ところで、以上においては、時間加算ノイズ低減処理によって入力画面のノイズを低減する際に、加算比率を決定するために必要となる情報として入力画面のノイズを計測する例について説明した。しかし、本技術により計測されたノイズを、例えば、時間加算ノイズ低減処理以外の方式によって入力画面のノイズを低減する際に必要となる情報として用いるようにしてもよい。
【０１０７】
図８は、本技術を適用したノイズ低減装置の別の実施の形態に係る構成例を示すブロック図である。同図に示されるノイズ低減装置２２０は、例えば、ＩＩＲフィルタとして構成されるが、ノイズ低減装置２２０は、時間加算ノイズ低減処理のみではなく、画面内ノイズ低減処理によって入力画面のノイズを低減するようになされている。
【０１０８】
図８のノイズ低減装置（ＩＩＲフィルタ）２２０は、ノイズ計測部２４１、時間加算ＮＲ部２４２、ＭＥ(ME: Motion Estimation)／ＭＣ（MC: Motion Compensation）部２４３、画面内ＮＲ部２４４、およびバッファ２４７を有する構成とされている。
【０１０９】
ノイズ低減装置２２０の場合、入力端子２３１から入力された時刻ｔのフレーム（入力画面）は、ノイズ計測部２４１、ＭＥ／ＭＣ部２４３、および画面内ＮＲ部２４４に入力される。
【０１１０】
画面内ＮＲ部２４４は、例えば、εフィルタにより入力画面のノイズを低減するようになされている。εフィルタは、非線形平滑化フィルタ、すなわち、画素値の急峻な変化を損なうことなく当該画素値を平滑化する際に有効なディジタルフィルタであり、画像のエッジを保存したまま平滑化し、その結果得られた平滑化画像を画面内ノイズ低減処理結果の画像として出力する。例えば、フィルタ窓の中心の値であるフィルタ中央値を基準レベルとし、基準レベルから±εの範囲外の値の画素の値を置き換えることで平滑化するとともに、フィルタ窓の位置をずらしながらこのような処理が繰り返され、画像が平滑化されていく。
【０１１１】
従って、画面内ＮＲ部２４４による画面内ノイズ低減処理では、時間加算ＮＲ部２４２による時間加算ノイズ低減処理の場合と異なり、１フレーム（または１時刻）前の入力画面のノイズを低減した画像（ＮＲ画面）を用いずに、現在の入力画面のノイズが低減される。
【０１１２】
εフィルタのフィルタ閾値εは、通常、処理対象の画像のノイズ量に基づいて計算される。このフィルタ閾値εを計算する際に、ノイズ計測部２４１により計測された入力画面のノイズ量が用いられるようになされている。
【０１１３】
図８におけるノイズ計測部２４１、時間加算ＮＲ部２４２、ＭＥ／ＭＣ部２４３、およびバッファ２４７は、それぞれ図４におけるノイズ計測部１４１、時間加算ＮＲ部１４２、ＭＥ／ＭＣ部１４３、およびバッファ１４７と同様の機能ブロックなので詳細な説明は省略する。ただし、時間加算ＮＲ部２４２は、時間加算ＮＲ部１４２の場合と異なり、画面内ＮＲ部２４４から出力された画像（画面内ＮＲ後の入力画面）の画素値と、ＮＲ画面の画素値とを用いた重み付け加算を行うようになされている。
【０１１４】
このように、ノイズ低減装置２２０の場合、時間加算ノイズ低減処理に先立って、画面内ノイズ低減処理が施されるようになされている。そして、時間加算ノイズ低減処理および画面内ノイズ低減処理の双方において、ノイズ計測部２４１により計測された入力画面のノイズ量が用いられるようになされている。
【０１１５】
次に、図９のフローチャートを参照して、図８のノイズ低減装置２２０による時間加算および画面内ノイズ低減処理の例について説明する。
【０１１６】
ステップＳ１０１において、入力端子２３１から画像のデータが入力される。すなわち、ノイズを低減させるべき画像のデータが入力される。
【０１１７】
ステップＳ１０２において、ＭＥ／ＭＣ部２４３は、動きベクトルに基づいてＮＲ画面の動き補償を行う。このとき、例えば、入力画面とＮＲ画面（バッファ２４７に保持されている、時刻ｔ−１のフレームに対してノイズ低減処理が施された画像のデータ）とを用いたブロックマッチング処理などを行うことにより、画面の動きを予測し動きベクトルが算出され、動き補償が行われる。
【０１１８】
ステップＳ１０３において、ノイズ計測部２４１は、入力画面のノイズ量（σの二乗）を計算する。これによりノイズ量が算出される。なお、図９のステップＳ１０３におけるノイズ計算処理は、図７を参照して上述した場合と同様の処理なので、詳細な説明は省略する。
【０１１９】
ステップＳ１０４において、画面内ＮＲ部２４４は、ステップＳ１０３の処理で計算されたノイズ量に基づいて、εフィルタのフィルタ閾値εを算出し、フィルタ閾値を決定する。
【０１２０】
ステップＳ１０５において、画面内ＮＲ部２４４は、ステップＳ１０４の処理で算出されたフィルタ閾値に基づいて入力画面を平滑化する。このとき、例えば、フィルタ窓の中心の値であるフィルタ中央値を基準レベルとし、基準レベルから±εの範囲外の値の画素の値を置き換えることで平滑化するとともに、フィルタ窓の位置をずらしながらこのような処理が繰り返され、入力画面が平滑化される。
【０１２１】
ステップＳ１０６において、時間加算ＮＲ部２４２は、ステップＳ１０３の処理で算出されたノイズ量に基づいて加算比率を決定する。このとき、例えば、ノイズ量に対応付けられて記憶されている加算比率の値が読み出されることにより、加算比率の値αが決定される。なお、ノイズ量に対応する加算比率は、時間加算ＮＲ部２４２に予め記憶されているものとする。
【０１２２】
ステップＳ１０７において、ＮＲ画面が生成される。すなわち、画面内ＮＲ後の入力画面の画素に係数（１−α）を乗じる処理を行い、動き補償されたＮＲ画面の画素に係数αを乗じる処理が行われ、対応する画素毎に加算して時刻ｔのフレームに対してノイズ低減処理が施された画像のデータが生成される。
【０１２３】
つまり、画面内ＮＲ後の入力画面の画素値および動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、入力画面の各画素に時間加算ノイズ低減処理が施され、時刻ｔのフレームについてのＮＲ画面が生成されるのである。
【０１２４】
なお、生成されたＮＲ画面は、出力端子２３２から出力されるとともに、バッファ２４７に保持される。
【０１２５】
このようにして時間加算および画面内ノイズ低減処理が実行される。このようにすることで、より効果的に入力画面のノイズを低減させることができる。
【０１２６】
図１０は、本技術の効果を説明する図である。同図は、縦軸が計測されたノイズの標準偏差σの値とされ、横軸が巡回履歴の値とされ、巡回履歴の変化に伴うノイズの計測結果の変化がグラフとして示されている。なお、図１０における入力画面のノイズの標準編差は、どのフレーム（巡回履歴）においても一律にσ＝１０である。従って、正しくノイズが計測されている場合、計測結果は巡回履歴に関わらず常にσ＝１０である。
【０１２７】
図１０の線３０１は、従来の方式により計測された計測結果を表している。なお、従来の方式は、例えば、図４のノイズ計測部１４１において補正部１６３が除去された構成とされ、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を算出し、その分散値をそのままノイズとして計測するものである。
【０１２８】
図１０の線３０２は、本技術を用いた方式により計測された計測結果を表している。本技術を用いた方式では、例えば、図４のノイズ計測部１４１により、ノイズ低減処理が施されたＮＲ画面と入力画面との差分値の分散を算出し、その分散値をさらに巡回履歴に基づいて補正した値をノイズとして計測する。
【０１２９】
図１０に示されるように、線３０１の場合、巡回履歴が略１乃至１０程度の部分において、計測結果σの値が１０から大きく乖離している。これに対して、線３０２の場合、巡回履歴の値に関わらず、計測結果σの値がほぼ一様に１０とされている。
【０１３０】
図１０より、従来の方式では、巡回履歴が浅い場合、ノイズを正しく計測出来ないことが分かる。時間加算ノイズ低減処理では、時系列で処理を重ねるにつれてノイズ低減効果が最大化されるため、特に最初のフレームではノイズ低減効果がまだ弱く、ノイズを正しく計測出来ないからである。そして、本技術により従来の方式の問題点が改善されたことが分かる。
【０１３１】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１１に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
【０１３２】
図１１において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３３】
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
【０１３４】
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１３５】
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
【０１３６】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
【０１３７】
なお、この記録媒体は、図１１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
【０１３８】
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１４０】
なお、本技術は以下のような構成も取ることができる。
【０１４１】
（１）第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部と
を備える画像処理装置。
（２）前記ノイズ計測部は、
前記入力画面の画素と、前記動き補償されたＮＲ画面の画素との差分値を演算する差分演算部と、
前記演算された差分値の分散値を算出して取得する分散取得部と、
前記時間加算ノイズ低減処理における巡回履歴に基づいて、前記取得された分散値を補正する補正部とを備える
（１）に記載の画像処理装置。
（３）前記ノイズ計測部は、
前記入力画面を構成する所定の画素数からなるブロック毎に前記ノイズを計測するとともに、
前記入力画面のブロックの画素値と、前記動き補償されたＮＲ画面において対応するブロックの画素値とに基づいて差分特徴量を算出し、
前記差分特徴量が閾値以上となるブロックについて前記ノイズの計測の対象から除外する
（１）または（２）に記載の画像処理装置。
（４）前記ノイズ計測部により計測されたノイズに対応するフィルタ閾値に基づいて前記入力画面に面内ノイズ低減処理を施す面内ノイズ低減部をさらに備える
（１）乃至（３）のいずれかに記載の画像処理装置。
（５）動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
ノイズ計測部が、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測し、
加算比率決定部が、前記計測されたノイズに対応する加算比率を決定し、
時間加算ノイズ低減部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む画像処理方法。
（６）コンピュータを、
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置として機能させる
プログラム。
（７）請求項６に記載のプログラムが記録されている記録媒体。
【符号の説明】
【０１４２】
１２０ ノイズ低減装置， １３１ 入力端子， １３２ 出力端子， １４１ ノイズ計測部， １４２ 時間加算ＮＲ部， １４３ ＭＥ／ＭＣ部， １４７ バッファ， １６１ 減算器， １６２ 分散取得部， １６３ 補正部， ２２０ ノイズ低減装置， ２３１ 入力端子， ２３２ 出力端子， ２４１ ノイズ付加部， ２４２ 時間加算ＮＲ部， ２４３ ＭＥ／ＭＣ部， ２４４ 画面内ＮＲ部， ２４７ バッファ
【特許請求の範囲】
【請求項１】
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部と
を備える画像処理装置。
【請求項２】
前記ノイズ計測部は、
前記入力画面の画素と、前記動き補償されたＮＲ画面の画素との差分値を演算する差分演算部と、
前記演算された差分値の分散値を算出して取得する分散取得部と、
前記時間加算ノイズ低減処理における巡回履歴に基づいて、前記取得された分散値を補正する補正部とを備える
請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ計測部は、
前記入力画面を構成する所定の画素数からなるブロック毎に前記ノイズを計測するとともに、
前記入力画面のブロックの画素値と、前記動き補償されたＮＲ画面において対応するブロックの画素値とに基づいて差分特徴量を算出し、
前記差分特徴量が閾値以上となるブロックについて前記ノイズの計測の対象から除外する
請求項１に記載の画像処理装置。
【請求項４】
前記ノイズ計測部により計測されたノイズに対応するフィルタ閾値に基づいて前記入力画面に面内ノイズ低減処理を施す面内ノイズ低減部をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
ノイズ計測部が、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測し、
加算比率決定部が、前記計測されたノイズに対応する加算比率を決定し、
時間加算ノイズ低減部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む画像処理方法。
【請求項６】
コンピュータを、
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置として機能させる
プログラム。
【請求項７】
請求項６に記載のプログラムが記録されている記録媒体。
【請求項１】
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部と
を備える画像処理装置。
【請求項２】
前記ノイズ計測部は、
前記入力画面の画素と、前記動き補償されたＮＲ画面の画素との差分値を演算する差分演算部と、
前記演算された差分値の分散値を算出して取得する分散取得部と、
前記時間加算ノイズ低減処理における巡回履歴に基づいて、前記取得された分散値を補正する補正部とを備える
請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ計測部は、
前記入力画面を構成する所定の画素数からなるブロック毎に前記ノイズを計測するとともに、
前記入力画面のブロックの画素値と、前記動き補償されたＮＲ画面において対応するブロックの画素値とに基づいて差分特徴量を算出し、
前記差分特徴量が閾値以上となるブロックについて前記ノイズの計測の対象から除外する
請求項１に記載の画像処理装置。
【請求項４】
前記ノイズ計測部により計測されたノイズに対応するフィルタ閾値に基づいて前記入力画面に面内ノイズ低減処理を施す面内ノイズ低減部をさらに備える
請求項１に記載の画像処理装置。
【請求項５】
動き補償部が、第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行い、
ノイズ計測部が、入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測し、
加算比率決定部が、前記計測されたノイズに対応する加算比率を決定し、
時間加算ノイズ低減部が、前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施すステップ
を含む画像処理方法。
【請求項６】
コンピュータを、
第ｎ−１番目のフレームの画像に対して時間加算ノイズ低減処理が施された画像をＮＲ画面とし、前記ＮＲ画面に対する動き補償を行う動き補償部と、
入力された画像のデータにおいて第ｎ番目のフレームの画像を入力画面とし、前記入力画面の画素値と前記動き補償されたＮＲ画面の画素値から得られる所定の値を、前記時間加算ノイズ低減処理における巡回履歴に基づいて補正することで、前記入力画面のノイズを計測するノイズ計測部と、
前記計測されたノイズに対応する加算比率を決定する加算比率決定部と、
前記決定された加算比率に応じて定まる係数を乗じることにより、前記入力画面の画素値および前記動き補償されたＮＲ画面において対応する画素値とを重み付け加算することで、前記入力画面に前記時間加算ノイズ低減処理を施す時間加算ノイズ低減部とを備える画像処理装置として機能させる
プログラム。
【請求項７】
請求項６に記載のプログラムが記録されている記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２２７７９１（Ｐ２０１２−２２７７９１Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１１−９４４５６（Ｐ２０１１−９４４５６）
【出願日】平成２３年４月２０日（２０１１．４．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２３年４月２０日（２０１１．４．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]