説明

ビデオ処理システムにおける画像ノイズの高速且つロバストな推定のための装置及び方法

単一のビデオ画像のみを使用してディジタルビデオ処理システムにおいて画像ノイズ推定値を決定するための方法及び装置が記載される。本方法及び装置において、ビデオ画像における複数のSAD値が計算される。各々のSAD値に対して、SAD値は、各々は見込みノイズ推定値に対応する複数の所定のSAD値範囲のうちの一つ又はそれより多くの範囲に入るかどうかについて決定がなされる。当該決定は所定のSAD値範囲の全てに対して並列になされる。SAD値範囲の各々の一つに対して、所定のSAD値の範囲に入るSAD値の数がカウントされる。所定の基準に合致するカウント値を有する見込み画像ノイズ推定値がそれから、ディジタルビデオ処理システムにおける画像ノイズ推定値として選択される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明はビデオ画像ノイズ推定(評価)(video image noise estimation)に関する。更に特定されると本発明は、単一画像でのビデオ処理システムにおけるビデオ画像ノイズを推定する(見積る)ための装置及び方法に関する。
【背景技術】
【0002】
テレビジョン受信器は通常、宙を介して送信されるか、又はケーブルテレビジョン(CATV)システムを介して分散される高周波(無線周波数)放送ビデオ信号(radio frequency(RF) broadcast video signal)を復調(demodulate)すると共にビデオ復号化(video decode)する(NTSC,PAL等)。結果としてもたらされるビデオ信号はそれから、結果としてもたらされるビデオ画像が表示されるディスプレイデバイスを駆動するために使用される。当該受信器において画質は通常、スペクトルが送信チャネルによって形づくられると共にビデオ信号の復調及び復号化によって形づくられるガウス雑音(ノイズ)(Gaussian noise)から構成されるチャネルノイズによって低下させられ得る。チャネルノイズがもたらされている場合のように復号化ビデオ信号が劣化されている場合、ビデオ処理システムは通常、表示された画像(ピクチャ(picture))の質を改善するために使用される。
【0003】
複数のよく知られているビデオ処理アルゴリズムが画像ノイズ低減のために使用されている。これらのアルゴリズムのうちのいくつかは、いわゆる“シグマフィルタ(sigma filter)”を使用して空間領域(空間ドメイン(spatial domain))でノイズ低減を行う。これらのアルゴリズムは、必要以上に劣化させることなく画像上のノイズの効果を低減するあるレベルのフィルタリングを適応可能な態様で行うために画像ノイズ振幅の推定を必要とする。しかしながら画像ノイズ推定は計算が非常に多く集中しており、それ故にリアルタイムビデオ処理(real−time video processing)に必要とされる高い速度で行うことが困難となる。
【0004】
このような画像ノイズ推定アルゴリズムの例は、De Haan氏他による米国特許第5,657,401号公報に開示されている。米国特許第5,657,401号公報に記載の方法及び装置は基本的に、隣接する画素(ピクセル(pixel))間の差(SAD)の絶対値の単純和を得ると共に各々の和は、下限(lower bound)と上界(upper bound)とが両方ともノイズ推定の現在値によって決定される特定の範囲内に入るかどうかを決定する。前記範囲内に入るこれらのSADの数はそれから、現在のビデオ画像に渡って計数(カウント)される。カウントが特定の閾値数を超える場合、現在のノイズ推定は有効とみなされる。そうでない場合、異なる推定が試みられなければならない。しかしながらノイズ推定値は正確に、当該アルゴリズムが決定しなければならない値になるため、ノイズ推定値の連続した“試行(trial)”値は、正確な値が見つけられるまで使用されなければならない。各々の推定は通常、実際インタレースフィールド(interlaced field)から構成される一つのビデオ画像を必要とするので、多くとも二つの当該推定が各々のビデオフレームに対して行われ得る。このように当該方法は所望されないことに、正確な結果に収束(集中)する前に不確定な数のフレームを必要とし、ノイズレベルが(わずかな量でさえ)変化し、再び不確定な数のフレームは新たな結果に収束することが必要とされる場合、全プロシージャは繰り返されることが必要とされ得る。
【発明の開示】
【発明が解決しようとする課題】
【0005】
提供されるノイズ推定方法は通常ハードウエアで実現され、一つの画像において収束すると共にハードウエアで効率的に実現され得るノイズ推定方法は非常に好ましい。
【課題を解決するための手段】
【0006】
単一のビデオ画像のみを使用してディジタルビデオ処理システムにおいて画像ノイズ推定値を決定するための方法及び装置が記載される。本方法及び装置において、ビデオ画像における複数のSAD値が計算される。各々のSAD値に対して、SAD値は、各々は見込み(将来)ノイズ推定値(prospective noise estimate value)に対応する複数の所定のSAD値範囲のうちの一つ又はそれより多くの範囲に入るかどうかについて決定がなされる。当該決定は所定のSAD値範囲の全てに対して並列(並行)で(同時に)なされる。各々の見込みノイズ推定値に対する所定のSAD値の範囲に入るSAD値の数がカウントされる。所定の基準に合致するカウント値を有する見込みノイズ推定値がそれから、ディジタルビデオ処理システムにおけるノイズ推定値として選択される。
【発明を実施するための最良の形態】
【0007】
図1は本発明によるノイズ推定器の機能(関数)部及び構造体を示すブロック図である。ノイズ推定器は、差信号決定ブロック10、範囲比較ブロック12、カウンタブロック14、及びノイズ推定セレクタブロック16を含む。ノイズ推定器はハードウエア、例えば半導体チップ等の上で形成される集積回路として実現されてもよい。ノイズ推定器は特に、復号化されたビデオ信号が劣化されているときに、表示画像の質を改善するためのディジタルビデオ処理システムにおける使用を目的としている。通常の当業者の一人は当然のことながらノイズ推定器が他の用途においても有用になり得ることを認識するであろう。
【0008】
差信号決定ブロック10はビデオ画像信号を入力し、ビデオ画像信号の各々のビデオ画像における隣接する画像の間の差の絶対値の和を取得し、SAD信号を生成する。
【0009】
差信号決定ブロック10によって生成されるSAD信号は範囲比較ブロック12にもたらされる。範囲比較ブロック12は、各々が、上界値(upper boundary value)と下界値(lower boundary value)とによって区切られる(範囲を定められる)所定のSAD値範囲で書き込まれる(プログラムされる)比較器デバイスの並列アレイから構成されてもよい。SAD値範囲の各々の一つは見込みノイズ推定値に対応する。範囲比較ブロック12は、同時且つ並列態様で各々のSAD値を全ての所定のSAD値範囲と比較する。この並列比較の間、アレイにおける各々の比較器デバイスは、現在のSAD値が自身の書き込まれたSAD値範囲の上界値と下界値との範囲内にあるかどうかを決定する。このプロセスは、単一のビデオ画像において計算されるSAD値に対して繰り返される。
【0010】
カウンタブロック14は、カウンタNest=0,Nest=1,Nest=2,Nest=3...Nest=n−2,Nest=n−1の並列アレイを含む。基本的に、カウンタの比較器デバイスの一つとの関連性のために、カウンタの各々の一つは見込みノイズ推定値の一つに関連付けられる。カウンタの関連比較器デバイスが現在のSAD値は、今度は見込みノイズ推定値の一つに対応する比較器デバイスの所定のSAD値範囲の上界値と下界値との範囲内にもたらされていることを決定するたびに、カウンタのカウントは1のインクリメントで増加される。
【0011】
カウンタNest=0,Nest=1,Nest=2,Nest=3...Nest=n−2,Nest=n−1のカウンタ値はノイズ推定セレクタブロック16にもたらされる。ノイズ推定セレクタブロック16はカウンタのカウント値、好ましくは全てのカウンタのカウント値を同時に調査し、いくつかの基準に基づいてノイズ推定値として見込みノイズ推定値の一つを選択する。ノイズ推定値を選択するために使用され得る一つの具体的な方法は、特定された閾値数を超える最小カウント値を識別することにある。前記カウント値に関連付けられる見込みノイズ推定値はそれからノイズ推定値として選択される。ノイズ推定ブロック16は、カウント値に基づいてノイズ推定値を選択するための他の何れかの所望の選択方法を使用してもよい。
【0012】
SAD値の各々を全ての所定のSAD値範囲と並列に比較することによって、本発明のノイズ推定器は単一のビデオ画像において収束し得る(正確なノイズ推定値を生成し得る)。更に所定のSAD値範囲の数は通常小さいため(例えば一つの具体的な実施例において16の所定のSAD値範囲のみが使用される)、現在のディジタル技術が使用される場合、カウンタに必要とされるシリコン面積はわずかとなる。
【0013】
範囲比較ブロック14において使用される各々の比較器デバイスは二つの比較器を使用してもよく、一方は所定のSAD値範囲の上界値に対して範囲比較を実行し、他方は所定のSAD値範囲の下界値に対して範囲比較を実行する。このようにより早い段階で記載されているように、関連比較器デバイスが現在のSAD値は、自身の書き込まれた所定のSAD値範囲の上界値と下界値との範囲内にもたらされていることを決定するたびに、カウンタNest=0,Nest=1,Nest=2,Nest=3...Nest=n−2,Nest=n−1のカウントは1のインクリメントで増加される。
【0014】
好ましい実施例において、範囲比較ブロック12は、現在のSAD値が、所定のSAD値範囲の下界値よりも下か、又は所定のSAD値範囲の上界値よりも上かの何れかとなる全てのカウンタNest=0,Nest=1,Nest=2,Nest=3...Nest=n−2,Nest=n−1のインクリメントを停止させる。カウンタをインクリメントするこの方法は、範囲比較の上界値が見込みノイズ推定値の単調増加関数となるという認識に基づいている。この認識により、見込みノイズ推定値は、現在のSAD値が上界値に等しいか、又は上界値を超える最大値の前記推定値よりも小さくなる全てのカウンタはインクリメントされないという結果がもたらされる。ここでも見込みノイズ推定値で単調に増加する下界値に対する同様な認識により、見込みノイズ推定値は、現在のSAD値が下界値よりも小さくなる最小値の前記推定値よりも大きくなる全てのカウンタもインクリメントされないことが示される。結局、見込みノイズ推定値の連続的な(隣接する)範囲(contiguous range)に対応するカウンタのみがインクリメントされるか、又は逆に下限よりも下、若しくは上限よりも上(両方とも現在のSAD値によって決定される)の全てのカウンタのインクリメントが停止(禁止)される。従って範囲比較ブロック12は、所定のSAD値範囲の上界値と所定のSAD値範囲の下界値との両方に対する範囲比較を実行するための非常に簡略化された論理を使用し、これにより、現在のディジタル技術が使用されるときシリコン面積が更に低減される。
【0015】
カウンタ停止は、図2のブロック図に示されている論理部を使用して本発明により実現されてもよい。SAD信号は上界及び下界ルックアップテーブル20及び22に同時にもたらされる。ルックアップテーブルは好ましくは、リードオンリメモリのような単一のルックアップテーブルで実現されるが、本発明のこの態様を示すために、二つの別個のルックアップテーブルとして示されている。更にルックアップテーブルを使用する代わりに、ディジタル論理技術を使用して本発明のカウンタ停止論理が実現されてもよい。
【0016】
図2に示されているように、上界ルックアップテーブル20が現在のSAD値を所定のSAD値範囲の上界値と並列態様で比較し、それによりディジタル信号出力INH0UB,INH1UB,INH2UB,INH3UB...INHN−2UB,INHn−1UBの並列アレイの形態で、現在のSAD値は上界値よりも上か、又は下かの同時決定(contemporaneous determination)がもたらされる。特に各々の上界値に対して上界ルックアップテーブル20は、現在のSAD値が上界値よりも上になる場合、“1”に対応する高電圧(例えば5ボルト)によって表されるディジタル信号を出力するか、又は現在のSAD値が上界値よりも下になる場合、“0”に対応する低電圧(例えば0ボルト)によって表されるディジタル信号を出力する。各々の上界値に対してなされる決定からもたらされるディジタル信号出力は、論理和ゲート(OR gate)アレイ24における各々の論理和ゲートの第一の入力部にもたらされる。
【0017】
同様に、下界ルックアップテーブル22が現在のSAD値を所定のSAD値範囲の下界値と並列態様で比較し、それによりディジタル信号出力INH0LB,INH1LB,INH2LB,INH3LB...INHN−2LB,INHn−1LBの並列アレイの形態で、現在のSAD値は下界値よりも下か、又は上かの同時決定がもたらされる。特に各々の下界値に対して下界ルックアップテーブル22は、現在のSAD値が下界値よりも下になる場合、“1”に対応する高電圧(例えば5ボルト)によって表されるディジタル信号を出力するか、又は現在のSAD値が下界値よりも上になる場合、“0”に対応する低電圧(例えば0ボルト)によって表されるディジタル信号を出力する。各々の下界値に対してなされる決定からもたらされるディジタル信号出力は、論理和ゲートアレイ24における各々の論理和ゲートの第二の入力部にもたらされる。
【0018】
論理和ゲートアレイ24における各々の論理和ゲートはディジタル信号出力INH0,INH1,INH2,INH3...INHN−2,INHn−1の並列アレイを生成し、それらはカウンタブロック14のカウンタNest=0,Nest=1,Nest=2,Nest=3...Nest=n−2,Nest=n−1にもたらされる(図1)。自身の各々の論理和ゲートの出力が1になる場合、すなわち1が論理和ゲートの入力部の一つ又は両方にもたらされる場合、カウンタのインクリメントは停止される。自身の各々の論理和ゲートの出力が0になる場合、すなわち0が論理和ゲートの両方の入力部にもたらされる場合、カウンタのインクリメントがもたらされる。
【0019】
図3に示されているように、上界ルックアップテーブル20のディジタル信号出力INH0UB,INH1UB,INH2UB,INH3UB...INHN−2UB,INHn−1UBに対応する0及び1の並列縦アレイ(parallel vertical array)は、SAD値を増加させる関数(機能)として、下界ルックアップテーブル22のディジタル信号出力INH0LB,INH1LB,INH2LB,INH3LB...INHN−2LB,INHn−1LBに対応する0及び1の並列縦アレイよりも離れて間隔を置いて配置される。差分出力間隔(ディファレンシャルアウトプットスペーシング(differential output spacing))は、見込みノイズ推定値を増加させる関数として所定のSAD値範囲の上界値がこれらの範囲の下界値よりも高速に増加することを表している。すなわち所与の見込みノイズ推定値に対して上界値は、下界値の1(単位(unity))倍よりも大きな数倍の値と等しくなる。例えば見込みノイズ推定値の関数として上界値は下界値よりも1.5倍速く増加してもよい。従って所与のSAD値に対して所定のSAD値範囲のオーバラッピングが発生する。このようにカウンタインクリメントは、上界値と下界値とが両方とも0になる、オーバラップするSAD値範囲のセットに対してもたらされる。自身の関連する論理和ゲートの両方の入力値は0になり、今度は論理和ゲートの出力部において0が生成されるため、これにより対応するカウンタのインクリメントが生成される。他方でカウンタインクリメントは、上界ルックアップテーブル出力と下界ルックアップテーブル出力との両方、又は何れか一方が1になる場合に停止される。自身の関連する論理和ゲートの一方又は両方の入力が1になり、今度は論理和ゲートの出力部において1が生成されるため、これにより対応するカウンタのインクリメントは停止される。
【0020】
図2及び3に示されている論理により、現在のSADが所定のSAD値範囲の上界値と下界値との範囲内にもたらされていないときにカウンタの停止は可能になる。更にこの論理は有利なことにかなりの量のシリコン面積を必要としない。本発明のノイズ推定器は、限定されないがテレビジョン受信器、テレビジョン放送システム、並びに高度ビデオ処理回路及び関連するビデオ処理ソフトウエアを含むパーソナルコンピュータ(PC)等を含むいかなる好適に構成されたビデオ処理システムでも実現され得る。更にハードウエアとして実現されることに加えてノイズ推定器は、コンピュータにより実行可能な命令及びPCのハードディスク上、又はCD−ROMディスク(R)、DVDディスク(R)、及びフロッピーディスク(R)等となり得る取り外し可能な(リムーバブル)記憶媒体(removable storage medium)上に記憶されるデータとして実現されてもよい。
【0021】
前述の発明は上記実施例を参照して記載されている一方、様々な変形及び変更が本発明の範囲を逸脱することなくなされ得る。従ってこのような変形及び変更は請求項の範囲内とみなされる。
【図面の簡単な説明】
【0022】
【図1】本発明によるノイズ推定器を示すブロック図である。
【図2】本発明によるカウンタ抑制のために使用される論理部を示すブロック図である。
【図3】SAD値を増加させる関数として図2の上界及び下界ルックアップテーブルのディジタル出力値を示す概略図である。

【特許請求の範囲】
【請求項1】
単一のビデオ画像のみを使用してディジタルビデオ処理システムにおいて画像ノイズ推定値を決定する方法であって、
複数の所定のSAD値範囲をもたらし、各々の所定のSAD値範囲は見込み画像ノイズ推定値に対応するステップと、
前記ビデオ画像において計算されるSAD値が一つ又はそれより多くの前記所定のSAD値範囲に入るかどうかを並列態様で決定するステップと、
前記ビデオ画像において計算される他のSAD値に対して前記決定するステップを繰り返すステップと、
前記見込み画像ノイズ推定値の各々の一つに対して、前記見込み画像ノイズ推定値の対応する所定のSAD値範囲に入るSAD値の数をカウントするステップと、
所定の基準に適合するカウント値を有する前記見込み画像ノイズ推定値を前記画像ノイズ推定値として選択するステップと
を有する方法。
【請求項2】
前記所定の基準が、特定の閾値数を超えるカウントの最小数を有する前記見込み画像ノイズ推定値を有する請求項1に記載の方法。
【請求項3】
前記決定するステップが、並列態様で前記SAD値を前記所定のSAD値範囲と比較することによって実行される請求項1に記載の方法。
【請求項4】
前記所定のSAD値範囲の各々は上界値及び下界値によって区切られる請求項1に記載の方法。
【請求項5】
前記上界値及び下界値は、画像ノイズ推定値を増加させる関数として単調に増加する請求項4に記載の方法。
【請求項6】
前記上界値は前記下界値よりも高速に増加する請求項5に記載の方法。
【請求項7】
単一のビデオ画像のみを使用してディジタルビデオ処理システムにおいて画像ノイズ推定値を決定するための装置であって、
複数の所定のSAD値範囲で書き込まれ、各々の所定のSAD値範囲は見込み画像ノイズ推定値に対応し、前記ビデオ画像において計算される現在のSAD値が一つ又はそれより多くの前記所定のSAD値範囲に入るかどうかを並列態様で決定し、前記ビデオ画像において計算される他のSAD値に対する決定を行う範囲比較デバイスと、
前記所定のSAD値範囲に入るSAD値をカウントするためのカウンタと、
所定の基準に適合するカウント値を有する前記見込み画像ノイズ推定値を前記画像ノイズ推定値として選択するためのセレクタと
を有する装置。
【請求項8】
前記所定の基準が、特定の閾値数を超えるカウントの最小数を有する前記見込み画像ノイズ推定値を有する請求項7に記載の装置。
【請求項9】
前記範囲比較デバイスは、並列態様で前記現在のSAD値を前記所定のSAD値範囲と比較するための比較器の並列アレイを含む請求項7に記載の装置。
【請求項10】
前記範囲比較デバイスは、並列態様で前記現在のSAD値を前記所定のSAD値範囲と比較するための少なくとも一つのルックアップテーブルを含む請求項7に記載の装置。
【請求項11】
前記範囲比較デバイスは、並列態様で前記現在のSAD値を前記所定のSAD値範囲と比較するためのディジタル論理部を含む請求項7に記載の装置。
【請求項12】
前記所定のSAD値範囲の各々は上界値及び下界値によって区切られる請求項7に記載の装置。
【請求項13】
前記上界値及び下界値は、ノイズ推定値を増加させる関数として単調に増加する請求項12に記載の装置。
【請求項14】
前記上界値は前記下界値よりも高速に増加する請求項13に記載の装置。
【請求項15】
前記範囲比較デバイスは、前記現在のSAD値が、前記所定のSAD値範囲の下界値よりも下か、又は前記所定のSAD値範囲の上界値よりも上かの何れかとなる前記カウンタのインクリメントを停止させるための手段を含む請求項14に記載の装置。
【請求項16】
単一のビデオ画像のみを使用してディジタルビデオ処理システムにおいて画像ノイズ推定値を決定するためのメモリ媒体であって、
各々は見込み画像ノイズ推定値に対応する複数の所定のSAD値範囲をもたらすためのコードと、
前記ビデオ画像において計算されるSAD値が一つ又はそれより多くの前記所定のSAD値範囲に入るかどうかを並列態様で決定し、前記ビデオ画像において計算される他のSAD値に対する決定を繰り返すためのコードと、
前記見込み画像ノイズ推定値の対応する所定のSAD値範囲の各々に入る前記SAD値の数をカウントするためのコードと、
所定の基準に適合するカウント値を有する前記見込み画像ノイズ推定値を前記画像ノイズ推定値として選択するためのコードと
を有するメモリ媒体。
【請求項17】
前記所定の基準が、特定の閾値数を超えるカウントの最小数を有する前記見込み画像ノイズ推定値を有する請求項16に記載のメモリ媒体。
【請求項18】
前記決定するためのコードが、並列態様で前記SAD値を前記所定のSAD値範囲と比較するためのコードを含む請求項16に記載のメモリ媒体。
【請求項19】
前記所定のSAD値範囲の各々は上界値及び下界値によって区切られる請求項16に記載のメモリ媒体。
【請求項20】
前記上界値及び下界値は、画像ノイズ推定値を増加させる関数として単調に増加する請求項19に記載のメモリ媒体。
【請求項21】
前記上界値は前記下界値よりも高速に増加する請求項20に記載のメモリ媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公表番号】特表2006−502616(P2006−502616A)
【公表日】平成18年1月19日(2006.1.19)
【国際特許分類】
【出願番号】特願2004−541067(P2004−541067)
【出願日】平成15年9月24日(2003.9.24)
【国際出願番号】PCT/IB2003/004195
【国際公開番号】WO2004/032526
【国際公開日】平成16年4月15日(2004.4.15)
【出願人】(590000248)コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【氏名又は名称原語表記】Koninklijke Philips Electronics N.V.
【住所又は居所原語表記】Groenewoudseweg 1,5621 BA Eindhoven, The Netherlands
【Fターム(参考)】