ブロックアーティファクトの検出
ビデオ信号中のブロックアーティファクトを検出するブロックアーティファクト検出装置（１００）が開示される。ブロックアーティファクト検出装置（１００）は、前記ビデオ信号に基づいて傾斜信号を計算する計算手段（１０２）と、前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立する確立手段（１０４）と、 サンプル間距離のヒストグラムを決定するヒストグラム決定手段と（１０６）を有し、前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記ブロックアーティファクト検出装置は更に、前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成する解析手段（１０８）を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号中のブロックアーティファクトを検出するブロックアーティファクト検出装置に関する。
【０００２】
本発明は更に、
入力画像のシーケンスに対応するビデオ信号を受信する受信手段と、
かようなブロックアーティファクト検出装置と、
前記入力画像のシーケンスに基づいて出力画像のシーケンスを算出する画像処理ユニットであって、前記ブロックアーティファクト検出装置によって制御される画像処理ユニットと、
を有する画像処理機器に関する。
【０００３】
本発明は更に、ビデオ信号中のブロックアーティファクトを検出する方法に関する。
【０００４】
本発明は更に、コンピュータ装置によってロードされるコンピュータプログラムであって、ビデオ信号中のブロックアーティファクトを検出するための命令を有し、前記コンピュータ装置は処理手段とメモリとを有するコンピュータプログラムに関する。
【背景技術】
【０００５】
例えばＭＰＥＧ２又はＨ．２６４のようなディジタルのブロックベースのエンコード方式によって引き起こされる、ビデオフレーム中の所謂ブロッキングアーティファクト（blocking artifact）又はブロックアーティファクト（block artifact）の出現は、ビデオ処理の分野において次第に増大している問題となっている。特に高画質表示装置においては、知覚される画像の質は、これらのアーティファクトによってかなり劣化させられ得る。更に悪いことに、画像強調ユニットが、元のマテリアル（material）のエッジ（edge）を強調するだけでなく、これらのブロック−エッジ・アーティファクトを増大させ、画像品質を更に劣化させ得る。
【０００６】
ブロックアーティファクトは、例えばテレビジョンのような消費者装置による受信の前の伝送回路においてもたらされる。ブロックアーティファクトの出現は、個々の画素のブロックを独立して処理する、不完全で損失の大きい圧縮方式によって引き起こされる。これらのディジタルコーディングのアーティファクトは、例えば衛星伝送の前の損失の大きな圧縮において出現し得、その後にビデオ信号が更にアナログ手段によって放送され得る。かような典型的な場合においては、ブロックの位置及びサイズに関する情報、又はディジタル圧縮からの他のいずれのパラメータもが、アナログビデオ信号において直接には利用可能ではない。ブロックアーティファクトの存在及び視認性を推定するためには、ビデオ信号から当該情報を抽出し、アーティファクトを位置特定し、該アーティファクトの視認性を測定する装置及び方法が必要とされる。
【０００７】
ブロックアーティファクト・インジケータは、該タイプの情報を表す。ブロックアーティファクト・インジケータは、更なる画像処理を制御するために利用されることができる。例えば、比較的多くのブロックアーティファクトを伴うビデオ信号に遭遇した場合に、鮮明化（sharpening）ユニットを制御する（又はオフにする）ために利用されることができる。代替として、例えば平滑化（smoothing）のような処理が、これらのブロックアーティファクトを低減するために利用されることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
最初のパラグラフにおいて記載された種類の方法の実施例は、国際特許出願公開ＷＯ０１／２０９１２より知られている。この既知の方法は、傾斜（gradient）フィルタにより入力信号をフィルタリングしてフィルタリングされた信号を供給するステップと、前記フィルタリングされた信号を処理してブロッキングアーティファクトをグリッド中の位置の関数として識別及び計数するためのアーティファクトブロックレベル基準即ちブロックアーティファクト・インジケータを算出するステップとを有する。この既知の方法は、所定のブロックグリッドサイズの限られたセットに対しては適切に動作する。不運にも、受信されたビデオ信号のブロックアーティファクトの実際の空間的なサイズはしばしば、前記所定のブロックグリッドサイズの限られたセットのサイズとは異なる。このことは、伝送から受信までの回路のどこかにおける、ビデオ信号により表される画像データの空間的なスケーリングによる。
【０００９】
本発明の目的は、比較的頑強な、最初のパラグラフに記載された種類のブロックアーティファクト検出装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の本目的は、
前記ビデオ信号に基づいて傾斜信号を計算する計算手段と、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立する確立手段と、
サンプル間距離のヒストグラムを決定するヒストグラム決定手段と、
を有し、前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記ブロックアーティファクト検出装置は更に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成する解析手段を有するブロックアーティファクト検出装置により達成される。
【００１１】
本発明の重要な側面は、サンプル間距離のヒストグラムが、スライドするウィンドウ内で、傾斜信号のそれぞれの局所的な最大値に対応するサンプルの群のサンプル間の全ての距離に基づいて作成される点である。このことは、サンプルのリストの一部に位置する移動する開口内のサンプル間の全ての距離を意味する。それ故、隣接するサンプル間の距離のみではなく、空間的に近接するサンプル間の全ての相互距離が考慮に入れられる。加えて、前記ヒストグラムを確立する間に、適用される先験的な距離、即ち考慮される所定の数の画素距離はない。このことは、例えば８個の画素のサンプルの間の距離のみではなく、整数個の画素によって表現される開口の範囲内のサンプル間の全ての距離が計数されることを意味する。全ての距離の情報を有するヒストグラムの適切な解析により、ブロックアーティファクト・インジケータが提供される。前記解析は、前記ヒストグラムからの、特定のサンプル間距離に対応する優位なビン（bin）の選択を有し、任意に当該ビンの値と隣接するビンの値との組み合わせをも有する。
【００１２】
本発明によるブロックアーティファクト検出装置の実施例においては、ブロックアーティファクト・インジケータは、ブロックアーティファクトの空間的なサイズに対応し、ブロックアーティファクト・インジケータは、特定のサンプル間距離に関連する。ブロックアーティファクトの空間的なサイズは、選択されたビン、即ちサンプル間距離を直接適用することにより、比較的容易に決定され得る。ブロックアーティファクト・インジケータは好ましくは、隣接するビンの値と共に当該ビンの値に基づき計算される。このことは、サブ画素（sub-pixel）の精度でブロックアーティファクトの空間的なサイズを計算することを可能とする。ビデオデータの空間的なスケーリングのため、ブロックサイズは例えば１０＋２／３画素のようになり得る。
【００１３】
本発明によるブロックアーティファクト検出装置の実施例においては、ブロックアーティファクト・インジケータが、ブロックアーティファクトの視認性の尺度に対応し、ブロックアーティファクト・インジケータは特定のサンプル間距離の出現の頻度に関連する。特定のサンプル間距離の出現の頻度又は相対的な出現の頻度は、ブロックアーティファクトの視認性の優れたインジケータであることが分かっている。任意に、ブロックアーティファクトの視認性の尺度に対応するブロックアーティファクト・インジケータの計算のため、選択されたビンの２つの隣接するビンの値もが考慮に入れられる。
【００１４】
本発明によるブロックアーティファクト検出装置の実施例においては、サンプル間距離のヒストグラムは重み付けされたヒストグラムである。このことは、距離が計数されるだけではなく、各距離のヒストグラムへの寄与がそれぞれの重みに基づくことを意味する。例えば、第１の距離の重み付けは、サンプルの第１のものの局所的な最大値に基づく。任意に、第１の距離の重み付けは、サンプルの第２のものの局所的な最大値にも基づく。好ましくは、第１の距離の重み付けは、前記サンプルの第１のものに対応するサブ部分を有する傾斜信号の一部に基づく。換言すれば、前記局所的な最大値の周りの傾斜信号の値が、前記重み付けのために考慮される。重み付けされたヒストグラムの適用の利点は、ノイズに対する頑強さが更に増大させられる点である。
【００１５】
本発明によるブロックアーティファクト検出装置の実施例においては、傾斜信号は、ビデオの信号の幾つかのビデオ線のそれぞれの画素値の合計によって計算される第１の中間信号に基づいて計算される。該合計は、ローパスフィルタリングの一種である。本実施例の利点は、ノイズに対する頑強さが更に増大させられる点である。
【００１６】
本発明によるブロックアーティファクト検出装置の実施例においては、ビデオ信号の連続する画素値間の絶対差の計算に基づく、第１の中間信号のハイパスフィルタリングによって、傾斜信号が計算される。該ハイパスフィルタリングは、有意な局所的な最大値のリストを生成するために、頑強な閾値法を適用することを可能とする。このことは、所定の閾値を下回る値を持つ有意でない局所的な最大値が無視されることを意味する。
【００１７】
本発明の更なる目的は、最初のパラグラフに記載された種類の画像処理機器であって、比較的頑強なブロックアーティファクト検出装置を有する機器を提供することにある。
【００１８】
本発明の本目的は、
前記ビデオ信号に基づいて傾斜信号を計算する計算手段と、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立する確立手段と、
サンプル間距離のヒストグラムを決定するヒストグラム決定手段と、
を有し、前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記ブロックアーティファクト検出装置は更に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成する解析手段を有するブロックアーティファクト検出装置によって達成される。
【００１９】
前記画像処理機器は、例えば出力画像を表示するための表示装置のような、付加的な構成要素を有しても良い。前記画像処理ユニットは、以下の画像処理のタイプのうち１以上をサポートしても良い。
−ビデオ圧縮、即ち例えばＭＰＥＧ規格によるエンコード又はデコード。
−デインタレーシング。インタレーシングは、奇数番目又は偶数番目の画像線を交互に送信する、一般的なビデオ放送手順である。デインタレーシングは、完全な垂直方向の解像度を復元することを試みる。即ち、各画像について奇数番目の線と偶数番目の線とを同時に利用可能とすることを試みる。
−画像レート変換。一連の元の入力画像から、より大きな一連の出力画像が算出される。出力画像は、時間的に２つの元の入力画像の間に配置される。
−時間ノイズ削減。空間的な処理を含んでも良く、空間−時間ノイズ削減に帰着しても良い。
前記画像処理機器は、例えばＴＶ、セットトップボックス、ＶＣＲ（Video Cassette Recorder）プレイヤ、衛星チューナ、ＤＶＤ（Digital Versatile Disk）プレイヤ又はレコーダであっても良い。
【００２０】
本発明の更なる目的は、比較的頑強な、最初のパラグラフに記載された種類の方法を提供することにある。
【００２１】
本発明の本目的は、
前記ビデオ信号に基づいて傾斜信号を計算するステップと、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立するステップと、
サンプル間距離のヒストグラムを決定するステップと、
を有し、前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記方法は更に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成するステップを有する方法によって達成される。
【００２２】
本発明の更なる目的は、最初のパラグラフに記載された種類のコンピュータプログラムであって、比較的頑強なコンピュータプログラムを提供することにある。
【００２３】
本発明の本目的は、前記ビデオ信号に基づいて傾斜信号を計算するステップと、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立するステップと、
サンプル間距離のヒストグラムを決定するステップと、
を実行する機能を前記処理手段に備えさせ、ここで前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記コンピュータプログラムは更に、ロードされた後に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成するステップを実行する機能を前記処理手段に備えさせるコンピュータプログラムによって達成される。
【００２４】
前記ブロックアーティファクト検出装置の変更及び変形は、記載される画像処理機器、方法及びコンピュータプログラムの変更及び変形に対応しても良い。
【００２５】
本発明によるブロックアーティファクト検出装置、画像処理機器、方法及びコンピュータプログラムのこれらの及び他の態様は、以下に説明される実装及び実施例に関して、及び添付する図を参照しながら説明され、明らかとなるであろう。
【００２６】
図を通して、同一の参照番号が類似の部分を示すために利用される。
【発明を実施するための最良の形態】
【００２７】
図１は、本発明によるブロックアーティファクト検出装置１００の実施例を模式的に示す。ブロックアーティファクト検出装置１００は、入力コネクタ１１０においてビデオ信号を供給され、出力コネクタ１１２において、検出されたブロックアーティファクトを表す制御信号を供給するように構成される。前記制御信号は、前記検出されたブロックアーティファクトに関連する。ブロックアーティファクト検出装置１００は、
−前記ビデオ信号に基づき傾斜信号
【数１】
を計算する計算ユニット１０２と、
−前記傾斜信号のそれぞれの局所的な最大値４０２乃至４０８に対応するサンプルのリストを確立する最大検出ユニット１０４と、
−サンプル間距離のヒストグラムを決定するヒストグラム決定ユニット１０６と、
を有する。ここで前記サンプル間距離の第１のものは、前記サンプルのうちの第１のものと前記サンプルのうちの第２のものとの間の第１の距離に対応する。前記サンプルのうちの第２のものは、前記サンプルのうちの第１のものに後続するものである。ブロックアーティファクト検出装置１００は、更に、
−前記サンプル間距離のヒストグラムを解析し、該ヒストグラムに基づいてブロックアーティファクト・インジケータを生成する解析ユニット１０８を有する。
【００２８】
好ましくは、ヒストグラム決定ユニット１０６は、図５に関連して示される重み付けされたヒストグラムを生成するように構成される。本手段は、別個の発明として見ることができる。好ましくは、スライドするウィンドウ内の全てのサンプル間距離が決定される。ブロックアーティファクト検出装置１００の動作は、図２乃至７と共に説明される。
【００２９】
計算ユニット１０２、最大検出ユニット１０４、ヒストグラム決定ユニット１０６及び解析ユニット１０８は、１つのプロセッサを用いて実装されても良い。通常、これらの機能はソフトウェアプログラムの制御下で実行される。実行の間、通常前記ソフトウェアプログラムはＲＡＭのようなメモリにロードされ、該メモリから実行される。前記プログラムは、ＲＯＭ、ハードディスク又は磁気及び／又は光記憶装置のようなバックグラウンドメモリからロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定用途向け集積回路が、開示される機能を提供する。
【００３０】
図２は、「National Geographic Channel」から取り込まれた入力画像、とりわけ輝度フィールドを示す。高い圧縮率の結果としての通常のブロックの様相に注意されたい。本例においては、１０＋２／３画素の周期でブロックアーティファクトが出現している。画像形式は標準画質（Standard Definition、ＤＳ）即ちそれぞれ７２０画素の２８８個の線である。以下、ブロックアーティファクト・インジケータがどのように計算されるかが説明される。該計算は、垂直なエッジの検出に基づく。次いで同様なアプローチが水平のエッジに対しても適用される。
【００３１】
要素Ｉｉｊを持つＭ×Ｎの画像
【数２】
を定義する。ここで、ｉ及びｊは整数のグリッド位置である。最初のステップは、傾斜信号の計算である。該計算は、要素が以下の式１によって規定される、水平傾斜ベクトル
【数３】
の絶対値の計算を有する。
Ｄｉｊ＝｜Ｉｉ＋１，ｊ−Ｉｉｊ｜ （１）
【００３２】
次いで、全ての有意な遷移、換言すればエッジ上に位置するいずれの画素もが計数される。かくして、ｙ方向に沿って、絶対値の傾斜が第１の所定の閾値θを超える回数が計数される。θの典型的な値は２に等しく、
【数４】
の値は０から２５５に亘る。このことは、以下の要素Ｓｊを持つベクトル
【数５】
に導く。
【数６】
ここでｊ＝１、２、・・・、Ｎ及びＴ（ｘ）は、以下の式３のように規定されるステップ関数である。
【数７】
図２の画像に基づく
【数８】
の例が、図３に示される。
【００３３】
画像
【数９】
が顕著なＭＰＥＧブロックアーティファクトを含む場合、
【数１０】
が規則的な間隔でピーク即ち局所的な最大値を持つ信号であることが予期される。次のステップは、これらのピークの繰り返し周期を検出することである。式２は、絶対値の傾斜
【数１１】
の行方向の合計のみよりも、元の画像エッジの影響、即ちＭＰＥＧブロックアーティファクトではないものに対して、より頑強である多ピーク信号を提供することが分かっている。このことは、比較的小さな傾斜と同様に、大きな傾斜も単純に計数されるという概念から理解され得る。このことは、平均Ｓに対する、比較的大きな傾斜の相対的な寄与を低減する。典型的なＭＰＥＧブロックアーティファクトは、非常に大きな傾斜を生成することは予期されないが、明らかに視認可能となるのに十分に大きくなることが予期される。それ故目的は、平均のエッジサイズを見出すことよりも、垂直な画像の列にどれだけ頻繁にエッジが見つかるかを見出すことである。後者の場合においては、元のマテリアルにおける大きなエッジが、より中程度のＭＰＥＧブロックエッジではなく、
【数１２】
における優位ピークに帰着し得る。
【００３４】
【数１３】
におけるいずれの顕著なピークも、疑わしいブロックエッジ即ちブロックアーティファクトの結果であると考えられる。疑わしいブロックエッジを見出すため、
【数１４】
におけるピークの検出が必要とされる。どのピークが第２の所定の閾値αを超えており、有意なピークとして考えられるかを決定する前に、
【数１５】
の低周波トレンド（trend）が
【数１６】
から除去される。このことは実質的にハイパスフィルタリングであり、各値Ｓｊから、直接の２ｎ＋１のサイズの隣接点ｊ−ｎ、ｊ−ｎ＋１、・・・、ｊ＋ｎの平均を減算することにより達成される。ｎの典型的な値はｎ＝４である。トレンド除去（detrend）されたエッジの計数ｓｊは、以下の式４に規定される。
【数１７】
図４は、図３のエッジ計数信号
【数１８】
に基づく、トレンド除去されたエッジ計数
【数１９】
を示す。点線４００は、第２の所定の閾値αに対応する。点４０２乃至４０８は、第２の所定の閾値αを超える検出されたピークを示す。
【数２０】
をトレンド除去することは実質的に、直接に隣接する点に対してＳｊを正規化すること、又は換言すれば、ｊにおいて見出されたエッジの量をｊの隣で見出されたエッジの量と比較することに帰着する。このことは、細かいテクスチャを持つ細かい領域において、概して多くのエッジが検出されると考えられるため、意味をなす。それ故、エッジが絶対値の意味で高いだけでなく、相対値の意味でも高い場合に、該エッジが考慮に入れられる。
【００３５】
次のステップは、有意なピーク即ち局所的な最大値の検出である。第２の所定の閾値αを超える
【数２１】
の部分がＮｅｄｇｅ個あると仮定する。このことは、前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストが、Ｎｅｄｇｅ個のサンプルを有することを意味する。ｋ番目のピーク５０４の先頭及び末尾の位置は、以下のように定義される。
ｍｋ≦ｊ≦ｎｋである場合、ｓｊ≧α（ｋ＝１，２，・・・，Ｎｅｄｇｅ） （５）
ｋ番目のピーク５０４の位置ｐｋは、
【数２２】
の局所的な最大値が出現するインデクスｊである。
【数２３】
本ピーク検出は、図４に示されたトレンド除去されたエッジ計数
【数２４】
の一部について、図５に示される。ｍｋ５０２は、点線４００によって示される第２の所定の閾値αを超える最初の画素にあり、ｎｋ５０６は第２の所定の閾値αを超える最後の画素にある。このときｋ番目のピークのボリューム（volume）Ｖｋは、以下のように定義される。
【数２５】
好ましくは、該ボリュームＶｋは、ピーク間のヒストグラム、即ちサンプル間距離のヒストグラムにおける重みとして利用される。
【００３６】
トレンド除去されたエッジ計数
【数２６】
が、繰り返しのピーク即ち有意なサンプル間距離を有するか否かを決定するため、限られた近傍即ちウィンドウ又は開口内のピーク間の距離のヒストグラムを計算することにより、解析を開始しても良い。この隣接するＮｈｉｓｔの制限は、スケーリング因子を考慮に入れ、予期される最大のブロックサイズによって決定される。典型的な値は、Ｎｈｉｓｔ＝３８個の画素である。ピーク間距離ヒストグラム
【数２７】
は、以下のＣコードによって計算されても良い。
for (k = 1;
k < Nedge: k++){
i = 1;
while(((d = p[k + i] - p[ k ]) < Nhist) && (k + i <= Nedge)){
H[d] += 1; /* ヒストグラムに１を追加*/
i += 1;
}
}
【００３７】
上述の計算において、
【数２８】
はいずれのエッジ視認性を明確に考慮に入れておらず、単にピーク間距離のみを計数している。従って、ブロックエッジの程度にかかわらず、繰り返し出現するエッジを計数している。好ましくは、重み付けされたピーク間距離ヒストグラム
【数２９】
が計算される。図６は、重み付けされたピーク間距離ヒストグラム
【数３０】
を示す。基本周期、即ちブロックアーティファクトのグリッドサイズは整数でなく、１０＋２／３であることに留意されたい。このことは、ヒストグラムのボリュームが単一のビンに集中させられておらず、例えばビンｄ＝１０とｄ＝１１と、及びビンｄ＝２１とｄ＝２２と、のようなビンの対に集中させられているという事実に起因する。エッジ視認性を重みとしてヒストグラム
【数３１】
において考慮に入れるため、式７において定義されるようなエッジのボリュームの尺度Ｖｋが、重みとして利用される。本方法においては、２つのサンプルの間の距離は、両方のサンプルのボリュームを用いて重み付けされる。重み付けされたピーク間距離ヒストグラム
【数３２】
は、以下のＣコードにより計算されても良い。
for (k = 1;
k < Nedge: k++){
i = 1;
while(((d = p[k + 1] - p[ k ]) < Nhist) && (k + 1 <= Nedge)){
H[d] += (V[k] + V[k + i]) / 2; /* ヒストグラムに重みとしてボリュームを追加*/
i += 1;
}
}
ここでV[k]は、式７において定義されたＶｋに対応する。
【００３８】
次いで、繰り返しのピークを決定するために、重み付けられたピーク間距離ヒストグラム
【数３３】
は、それぞれのとり得る基本周期ｄの整数ｋ倍、即ちｋ・ｄでサンプリングされる。
【数３４】
基礎を成す基本周期がｄであれば、ヒストグラムは整数倍のｋ・ｄでピークをつくるであろう。それ故、ｇ（ｄ）は、実際の基礎を成す基本周期ｄについて、最大値に達するであろう。ｇ（ｄ）の明確な最初の最大値の位置が、このとき前記基礎を成す基本周期のインジケータとして考えられる。ｇ（ｄ）の最初のピークを見出すことは、最初の顕著なヒストグラムのビンＨｄの検出よりも、基礎を成す基本周期ｄの安定した推定に導くことが分かっている。その理由は、実際的な場合においては、１×ｄにおけるヒストグラムが常に顕著であるというわけではないように見えるからである。例えば、基本周期が実際にはｄ＝８であると仮定すると、幾つかの場合においてＨ８はそれ程顕著ではなく、一方Ｈ１６及びＨ２４は明らかに顕著であるように見える。かような場合は、最初のピークがＨｄではなくｇ（ｄ）において検索される場合には、必ずしも問題をもたらさない。ｇ（ｄ）の例として図７を参照されたい。本図７においては、ピーク間距離ｄは０．２の間隔でサンプリングされる。
【００３９】
本発明の一態様は、ブロックアーティファクト検出装置が、処理回路において以前に利用されたコーディングパラメータに関する情報の更なる必要なしに、ブロッキングアーティファクトの視認性を示す制御信号を生成するように構成される点である。テレビジョンセット、及び例えばＤＶＤ＋ＲＷ及びハードディスクレコーダのようなビデオ記録装置における処理は、かなりの量のブロッキングエッジが検出されるこれらの場合に適合させられても良い。第１のブロックアーティファクト・インジケータは、ブロックアーティファクトの視認性の尺度に対応する。前記第１のブロックアーティファクト・インジケータは、特定のサンプル間距離の出現の頻度に関連し、好ましくは前記特定のサンプル間距離の出現の相対的な頻度を含む、幾つかの値の平均に等しい。
【００４０】
本発明の他の態様は、ブロックアーティファクト検出装置が、アナログビデオ信号中に明確に存在にしない情報の必要なしに、ブロッキンググリッドの１以上の大きさを示す制御信号を供給するように構成される点である。適用されたコーディング方式が８画素の幅及び高さを持つブロックを利用すると仮定すると、この情報はスケーリング操作が適用されたか否かを示すため、処理によって利用されることもできる。ブロックアーティファクトの空間的なサイズに対応する第２のブロックアーティファクト・インジケータｄは、特定のサンプル間距離に関連する。しかしながら、第２のブロックアーティファクト・インジケータｄは、整数値を持つ特定のサンプル間距離に必ずしも等しくない。
【００４１】
図８は、本発明による画像処理機器４００の実施例を模式的に示す。該機器は、
入力画像のシーケンスに対応するビデオ信号を受信する受信手段８０２と、
図１に関連して説明されたような、ビデオ信号におけるブロックアーティファクトを検出するブロックアーティファクト検出装置１００と、
前記入力画像のシーケンスに基づき出力画像のシーケンスを算出する画像処理ユニットであって、前記ブロックアーティファクト検出装置によって制御される画像処理ユニット８０４と、
画像処理ユニット８０４の出力画像を表示する表示装置８０６と、
を有する。前記信号は、アンテナ又はケーブルを介して受信される放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はディジタル・バーサタイル・ディスク（ＤＶＤ）のような記憶装置からの信号であっても良い。前記信号は、入力コネクタ８１０において供給される。画像処理機器８００は、例えばＴＶであっても良い。代替として、画像処理機器８００は、任意の表示装置を有しないが、表示装置８０６を有する機器に前記出力画像を供給する。このとき画像処理機器８００は、例えばセットトップボックス、衛星チューナ、ＶＣＲプレイヤ、ＤＶＤプレイヤ又はレコーダであっても良い。任意に、画像処理機器８００は、ハードディスクのような記憶手段、又は例えば光ディスクのような着脱可能な媒体に記憶するための手段を有する。画像処理機器８００は、映画スタジオ又は放送局によって利用されるシステムであっても良い。
【００４２】
上述の実施例は、本発明を限定するものではなく説明するものであって、当業者は添付される請求の範囲から逸脱することなく代替の実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprising）」なる語は、請求項に列挙されていない要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記するユニット請求項において、これらの手段の幾つかは、同一のハードウェアのアイテムによって実施化されても良い。
【図面の簡単な説明】
【００４３】
【図１】ブロックアーティファクト検出装置の実施例を模式的に示す。
【図２】入力画像を示す。
【図３】図２の画像に基づく傾斜信号Ｓの例を示す。
【図４】図３の傾斜信号Ｓに基づくトレンド除去された傾斜信号ｓを示す。
【図５】図４に示されたトレンド除去された傾斜信号ｓの一部を示す。
【図６】重み付けされたピーク間距離ヒストグラムＨｗを示す。
【図７】ｇ（ｄ）の例を示す。
【図８】本発明による画像処理機器４００の実施例を模式的に示す。
【技術分野】
【０００１】
本発明は、ビデオ信号中のブロックアーティファクトを検出するブロックアーティファクト検出装置に関する。
【０００２】
本発明は更に、
入力画像のシーケンスに対応するビデオ信号を受信する受信手段と、
かようなブロックアーティファクト検出装置と、
前記入力画像のシーケンスに基づいて出力画像のシーケンスを算出する画像処理ユニットであって、前記ブロックアーティファクト検出装置によって制御される画像処理ユニットと、
を有する画像処理機器に関する。
【０００３】
本発明は更に、ビデオ信号中のブロックアーティファクトを検出する方法に関する。
【０００４】
本発明は更に、コンピュータ装置によってロードされるコンピュータプログラムであって、ビデオ信号中のブロックアーティファクトを検出するための命令を有し、前記コンピュータ装置は処理手段とメモリとを有するコンピュータプログラムに関する。
【背景技術】
【０００５】
例えばＭＰＥＧ２又はＨ．２６４のようなディジタルのブロックベースのエンコード方式によって引き起こされる、ビデオフレーム中の所謂ブロッキングアーティファクト（blocking artifact）又はブロックアーティファクト（block artifact）の出現は、ビデオ処理の分野において次第に増大している問題となっている。特に高画質表示装置においては、知覚される画像の質は、これらのアーティファクトによってかなり劣化させられ得る。更に悪いことに、画像強調ユニットが、元のマテリアル（material）のエッジ（edge）を強調するだけでなく、これらのブロック−エッジ・アーティファクトを増大させ、画像品質を更に劣化させ得る。
【０００６】
ブロックアーティファクトは、例えばテレビジョンのような消費者装置による受信の前の伝送回路においてもたらされる。ブロックアーティファクトの出現は、個々の画素のブロックを独立して処理する、不完全で損失の大きい圧縮方式によって引き起こされる。これらのディジタルコーディングのアーティファクトは、例えば衛星伝送の前の損失の大きな圧縮において出現し得、その後にビデオ信号が更にアナログ手段によって放送され得る。かような典型的な場合においては、ブロックの位置及びサイズに関する情報、又はディジタル圧縮からの他のいずれのパラメータもが、アナログビデオ信号において直接には利用可能ではない。ブロックアーティファクトの存在及び視認性を推定するためには、ビデオ信号から当該情報を抽出し、アーティファクトを位置特定し、該アーティファクトの視認性を測定する装置及び方法が必要とされる。
【０００７】
ブロックアーティファクト・インジケータは、該タイプの情報を表す。ブロックアーティファクト・インジケータは、更なる画像処理を制御するために利用されることができる。例えば、比較的多くのブロックアーティファクトを伴うビデオ信号に遭遇した場合に、鮮明化（sharpening）ユニットを制御する（又はオフにする）ために利用されることができる。代替として、例えば平滑化（smoothing）のような処理が、これらのブロックアーティファクトを低減するために利用されることができる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
最初のパラグラフにおいて記載された種類の方法の実施例は、国際特許出願公開ＷＯ０１／２０９１２より知られている。この既知の方法は、傾斜（gradient）フィルタにより入力信号をフィルタリングしてフィルタリングされた信号を供給するステップと、前記フィルタリングされた信号を処理してブロッキングアーティファクトをグリッド中の位置の関数として識別及び計数するためのアーティファクトブロックレベル基準即ちブロックアーティファクト・インジケータを算出するステップとを有する。この既知の方法は、所定のブロックグリッドサイズの限られたセットに対しては適切に動作する。不運にも、受信されたビデオ信号のブロックアーティファクトの実際の空間的なサイズはしばしば、前記所定のブロックグリッドサイズの限られたセットのサイズとは異なる。このことは、伝送から受信までの回路のどこかにおける、ビデオ信号により表される画像データの空間的なスケーリングによる。
【０００９】
本発明の目的は、比較的頑強な、最初のパラグラフに記載された種類のブロックアーティファクト検出装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の本目的は、
前記ビデオ信号に基づいて傾斜信号を計算する計算手段と、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立する確立手段と、
サンプル間距離のヒストグラムを決定するヒストグラム決定手段と、
を有し、前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記ブロックアーティファクト検出装置は更に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成する解析手段を有するブロックアーティファクト検出装置により達成される。
【００１１】
本発明の重要な側面は、サンプル間距離のヒストグラムが、スライドするウィンドウ内で、傾斜信号のそれぞれの局所的な最大値に対応するサンプルの群のサンプル間の全ての距離に基づいて作成される点である。このことは、サンプルのリストの一部に位置する移動する開口内のサンプル間の全ての距離を意味する。それ故、隣接するサンプル間の距離のみではなく、空間的に近接するサンプル間の全ての相互距離が考慮に入れられる。加えて、前記ヒストグラムを確立する間に、適用される先験的な距離、即ち考慮される所定の数の画素距離はない。このことは、例えば８個の画素のサンプルの間の距離のみではなく、整数個の画素によって表現される開口の範囲内のサンプル間の全ての距離が計数されることを意味する。全ての距離の情報を有するヒストグラムの適切な解析により、ブロックアーティファクト・インジケータが提供される。前記解析は、前記ヒストグラムからの、特定のサンプル間距離に対応する優位なビン（bin）の選択を有し、任意に当該ビンの値と隣接するビンの値との組み合わせをも有する。
【００１２】
本発明によるブロックアーティファクト検出装置の実施例においては、ブロックアーティファクト・インジケータは、ブロックアーティファクトの空間的なサイズに対応し、ブロックアーティファクト・インジケータは、特定のサンプル間距離に関連する。ブロックアーティファクトの空間的なサイズは、選択されたビン、即ちサンプル間距離を直接適用することにより、比較的容易に決定され得る。ブロックアーティファクト・インジケータは好ましくは、隣接するビンの値と共に当該ビンの値に基づき計算される。このことは、サブ画素（sub-pixel）の精度でブロックアーティファクトの空間的なサイズを計算することを可能とする。ビデオデータの空間的なスケーリングのため、ブロックサイズは例えば１０＋２／３画素のようになり得る。
【００１３】
本発明によるブロックアーティファクト検出装置の実施例においては、ブロックアーティファクト・インジケータが、ブロックアーティファクトの視認性の尺度に対応し、ブロックアーティファクト・インジケータは特定のサンプル間距離の出現の頻度に関連する。特定のサンプル間距離の出現の頻度又は相対的な出現の頻度は、ブロックアーティファクトの視認性の優れたインジケータであることが分かっている。任意に、ブロックアーティファクトの視認性の尺度に対応するブロックアーティファクト・インジケータの計算のため、選択されたビンの２つの隣接するビンの値もが考慮に入れられる。
【００１４】
本発明によるブロックアーティファクト検出装置の実施例においては、サンプル間距離のヒストグラムは重み付けされたヒストグラムである。このことは、距離が計数されるだけではなく、各距離のヒストグラムへの寄与がそれぞれの重みに基づくことを意味する。例えば、第１の距離の重み付けは、サンプルの第１のものの局所的な最大値に基づく。任意に、第１の距離の重み付けは、サンプルの第２のものの局所的な最大値にも基づく。好ましくは、第１の距離の重み付けは、前記サンプルの第１のものに対応するサブ部分を有する傾斜信号の一部に基づく。換言すれば、前記局所的な最大値の周りの傾斜信号の値が、前記重み付けのために考慮される。重み付けされたヒストグラムの適用の利点は、ノイズに対する頑強さが更に増大させられる点である。
【００１５】
本発明によるブロックアーティファクト検出装置の実施例においては、傾斜信号は、ビデオの信号の幾つかのビデオ線のそれぞれの画素値の合計によって計算される第１の中間信号に基づいて計算される。該合計は、ローパスフィルタリングの一種である。本実施例の利点は、ノイズに対する頑強さが更に増大させられる点である。
【００１６】
本発明によるブロックアーティファクト検出装置の実施例においては、ビデオ信号の連続する画素値間の絶対差の計算に基づく、第１の中間信号のハイパスフィルタリングによって、傾斜信号が計算される。該ハイパスフィルタリングは、有意な局所的な最大値のリストを生成するために、頑強な閾値法を適用することを可能とする。このことは、所定の閾値を下回る値を持つ有意でない局所的な最大値が無視されることを意味する。
【００１７】
本発明の更なる目的は、最初のパラグラフに記載された種類の画像処理機器であって、比較的頑強なブロックアーティファクト検出装置を有する機器を提供することにある。
【００１８】
本発明の本目的は、
前記ビデオ信号に基づいて傾斜信号を計算する計算手段と、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立する確立手段と、
サンプル間距離のヒストグラムを決定するヒストグラム決定手段と、
を有し、前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記ブロックアーティファクト検出装置は更に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成する解析手段を有するブロックアーティファクト検出装置によって達成される。
【００１９】
前記画像処理機器は、例えば出力画像を表示するための表示装置のような、付加的な構成要素を有しても良い。前記画像処理ユニットは、以下の画像処理のタイプのうち１以上をサポートしても良い。
−ビデオ圧縮、即ち例えばＭＰＥＧ規格によるエンコード又はデコード。
−デインタレーシング。インタレーシングは、奇数番目又は偶数番目の画像線を交互に送信する、一般的なビデオ放送手順である。デインタレーシングは、完全な垂直方向の解像度を復元することを試みる。即ち、各画像について奇数番目の線と偶数番目の線とを同時に利用可能とすることを試みる。
−画像レート変換。一連の元の入力画像から、より大きな一連の出力画像が算出される。出力画像は、時間的に２つの元の入力画像の間に配置される。
−時間ノイズ削減。空間的な処理を含んでも良く、空間−時間ノイズ削減に帰着しても良い。
前記画像処理機器は、例えばＴＶ、セットトップボックス、ＶＣＲ（Video Cassette Recorder）プレイヤ、衛星チューナ、ＤＶＤ（Digital Versatile Disk）プレイヤ又はレコーダであっても良い。
【００２０】
本発明の更なる目的は、比較的頑強な、最初のパラグラフに記載された種類の方法を提供することにある。
【００２１】
本発明の本目的は、
前記ビデオ信号に基づいて傾斜信号を計算するステップと、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立するステップと、
サンプル間距離のヒストグラムを決定するステップと、
を有し、前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記方法は更に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成するステップを有する方法によって達成される。
【００２２】
本発明の更なる目的は、最初のパラグラフに記載された種類のコンピュータプログラムであって、比較的頑強なコンピュータプログラムを提供することにある。
【００２３】
本発明の本目的は、前記ビデオ信号に基づいて傾斜信号を計算するステップと、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立するステップと、
サンプル間距離のヒストグラムを決定するステップと、
を実行する機能を前記処理手段に備えさせ、ここで前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記コンピュータプログラムは更に、ロードされた後に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成するステップを実行する機能を前記処理手段に備えさせるコンピュータプログラムによって達成される。
【００２４】
前記ブロックアーティファクト検出装置の変更及び変形は、記載される画像処理機器、方法及びコンピュータプログラムの変更及び変形に対応しても良い。
【００２５】
本発明によるブロックアーティファクト検出装置、画像処理機器、方法及びコンピュータプログラムのこれらの及び他の態様は、以下に説明される実装及び実施例に関して、及び添付する図を参照しながら説明され、明らかとなるであろう。
【００２６】
図を通して、同一の参照番号が類似の部分を示すために利用される。
【発明を実施するための最良の形態】
【００２７】
図１は、本発明によるブロックアーティファクト検出装置１００の実施例を模式的に示す。ブロックアーティファクト検出装置１００は、入力コネクタ１１０においてビデオ信号を供給され、出力コネクタ１１２において、検出されたブロックアーティファクトを表す制御信号を供給するように構成される。前記制御信号は、前記検出されたブロックアーティファクトに関連する。ブロックアーティファクト検出装置１００は、
−前記ビデオ信号に基づき傾斜信号
【数１】
を計算する計算ユニット１０２と、
−前記傾斜信号のそれぞれの局所的な最大値４０２乃至４０８に対応するサンプルのリストを確立する最大検出ユニット１０４と、
−サンプル間距離のヒストグラムを決定するヒストグラム決定ユニット１０６と、
を有する。ここで前記サンプル間距離の第１のものは、前記サンプルのうちの第１のものと前記サンプルのうちの第２のものとの間の第１の距離に対応する。前記サンプルのうちの第２のものは、前記サンプルのうちの第１のものに後続するものである。ブロックアーティファクト検出装置１００は、更に、
−前記サンプル間距離のヒストグラムを解析し、該ヒストグラムに基づいてブロックアーティファクト・インジケータを生成する解析ユニット１０８を有する。
【００２８】
好ましくは、ヒストグラム決定ユニット１０６は、図５に関連して示される重み付けされたヒストグラムを生成するように構成される。本手段は、別個の発明として見ることができる。好ましくは、スライドするウィンドウ内の全てのサンプル間距離が決定される。ブロックアーティファクト検出装置１００の動作は、図２乃至７と共に説明される。
【００２９】
計算ユニット１０２、最大検出ユニット１０４、ヒストグラム決定ユニット１０６及び解析ユニット１０８は、１つのプロセッサを用いて実装されても良い。通常、これらの機能はソフトウェアプログラムの制御下で実行される。実行の間、通常前記ソフトウェアプログラムはＲＡＭのようなメモリにロードされ、該メモリから実行される。前記プログラムは、ＲＯＭ、ハードディスク又は磁気及び／又は光記憶装置のようなバックグラウンドメモリからロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定用途向け集積回路が、開示される機能を提供する。
【００３０】
図２は、「National Geographic Channel」から取り込まれた入力画像、とりわけ輝度フィールドを示す。高い圧縮率の結果としての通常のブロックの様相に注意されたい。本例においては、１０＋２／３画素の周期でブロックアーティファクトが出現している。画像形式は標準画質（Standard Definition、ＤＳ）即ちそれぞれ７２０画素の２８８個の線である。以下、ブロックアーティファクト・インジケータがどのように計算されるかが説明される。該計算は、垂直なエッジの検出に基づく。次いで同様なアプローチが水平のエッジに対しても適用される。
【００３１】
要素Ｉｉｊを持つＭ×Ｎの画像
【数２】
を定義する。ここで、ｉ及びｊは整数のグリッド位置である。最初のステップは、傾斜信号の計算である。該計算は、要素が以下の式１によって規定される、水平傾斜ベクトル
【数３】
の絶対値の計算を有する。
Ｄｉｊ＝｜Ｉｉ＋１，ｊ−Ｉｉｊ｜ （１）
【００３２】
次いで、全ての有意な遷移、換言すればエッジ上に位置するいずれの画素もが計数される。かくして、ｙ方向に沿って、絶対値の傾斜が第１の所定の閾値θを超える回数が計数される。θの典型的な値は２に等しく、
【数４】
の値は０から２５５に亘る。このことは、以下の要素Ｓｊを持つベクトル
【数５】
に導く。
【数６】
ここでｊ＝１、２、・・・、Ｎ及びＴ（ｘ）は、以下の式３のように規定されるステップ関数である。
【数７】
図２の画像に基づく
【数８】
の例が、図３に示される。
【００３３】
画像
【数９】
が顕著なＭＰＥＧブロックアーティファクトを含む場合、
【数１０】
が規則的な間隔でピーク即ち局所的な最大値を持つ信号であることが予期される。次のステップは、これらのピークの繰り返し周期を検出することである。式２は、絶対値の傾斜
【数１１】
の行方向の合計のみよりも、元の画像エッジの影響、即ちＭＰＥＧブロックアーティファクトではないものに対して、より頑強である多ピーク信号を提供することが分かっている。このことは、比較的小さな傾斜と同様に、大きな傾斜も単純に計数されるという概念から理解され得る。このことは、平均Ｓに対する、比較的大きな傾斜の相対的な寄与を低減する。典型的なＭＰＥＧブロックアーティファクトは、非常に大きな傾斜を生成することは予期されないが、明らかに視認可能となるのに十分に大きくなることが予期される。それ故目的は、平均のエッジサイズを見出すことよりも、垂直な画像の列にどれだけ頻繁にエッジが見つかるかを見出すことである。後者の場合においては、元のマテリアルにおける大きなエッジが、より中程度のＭＰＥＧブロックエッジではなく、
【数１２】
における優位ピークに帰着し得る。
【００３４】
【数１３】
におけるいずれの顕著なピークも、疑わしいブロックエッジ即ちブロックアーティファクトの結果であると考えられる。疑わしいブロックエッジを見出すため、
【数１４】
におけるピークの検出が必要とされる。どのピークが第２の所定の閾値αを超えており、有意なピークとして考えられるかを決定する前に、
【数１５】
の低周波トレンド（trend）が
【数１６】
から除去される。このことは実質的にハイパスフィルタリングであり、各値Ｓｊから、直接の２ｎ＋１のサイズの隣接点ｊ−ｎ、ｊ−ｎ＋１、・・・、ｊ＋ｎの平均を減算することにより達成される。ｎの典型的な値はｎ＝４である。トレンド除去（detrend）されたエッジの計数ｓｊは、以下の式４に規定される。
【数１７】
図４は、図３のエッジ計数信号
【数１８】
に基づく、トレンド除去されたエッジ計数
【数１９】
を示す。点線４００は、第２の所定の閾値αに対応する。点４０２乃至４０８は、第２の所定の閾値αを超える検出されたピークを示す。
【数２０】
をトレンド除去することは実質的に、直接に隣接する点に対してＳｊを正規化すること、又は換言すれば、ｊにおいて見出されたエッジの量をｊの隣で見出されたエッジの量と比較することに帰着する。このことは、細かいテクスチャを持つ細かい領域において、概して多くのエッジが検出されると考えられるため、意味をなす。それ故、エッジが絶対値の意味で高いだけでなく、相対値の意味でも高い場合に、該エッジが考慮に入れられる。
【００３５】
次のステップは、有意なピーク即ち局所的な最大値の検出である。第２の所定の閾値αを超える
【数２１】
の部分がＮｅｄｇｅ個あると仮定する。このことは、前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストが、Ｎｅｄｇｅ個のサンプルを有することを意味する。ｋ番目のピーク５０４の先頭及び末尾の位置は、以下のように定義される。
ｍｋ≦ｊ≦ｎｋである場合、ｓｊ≧α（ｋ＝１，２，・・・，Ｎｅｄｇｅ） （５）
ｋ番目のピーク５０４の位置ｐｋは、
【数２２】
の局所的な最大値が出現するインデクスｊである。
【数２３】
本ピーク検出は、図４に示されたトレンド除去されたエッジ計数
【数２４】
の一部について、図５に示される。ｍｋ５０２は、点線４００によって示される第２の所定の閾値αを超える最初の画素にあり、ｎｋ５０６は第２の所定の閾値αを超える最後の画素にある。このときｋ番目のピークのボリューム（volume）Ｖｋは、以下のように定義される。
【数２５】
好ましくは、該ボリュームＶｋは、ピーク間のヒストグラム、即ちサンプル間距離のヒストグラムにおける重みとして利用される。
【００３６】
トレンド除去されたエッジ計数
【数２６】
が、繰り返しのピーク即ち有意なサンプル間距離を有するか否かを決定するため、限られた近傍即ちウィンドウ又は開口内のピーク間の距離のヒストグラムを計算することにより、解析を開始しても良い。この隣接するＮｈｉｓｔの制限は、スケーリング因子を考慮に入れ、予期される最大のブロックサイズによって決定される。典型的な値は、Ｎｈｉｓｔ＝３８個の画素である。ピーク間距離ヒストグラム
【数２７】
は、以下のＣコードによって計算されても良い。
for (k = 1;
k < Nedge: k++){
i = 1;
while(((d = p[k + i] - p[ k ]) < Nhist) && (k + i <= Nedge)){
H[d] += 1; /* ヒストグラムに１を追加*/
i += 1;
}
}
【００３７】
上述の計算において、
【数２８】
はいずれのエッジ視認性を明確に考慮に入れておらず、単にピーク間距離のみを計数している。従って、ブロックエッジの程度にかかわらず、繰り返し出現するエッジを計数している。好ましくは、重み付けされたピーク間距離ヒストグラム
【数２９】
が計算される。図６は、重み付けされたピーク間距離ヒストグラム
【数３０】
を示す。基本周期、即ちブロックアーティファクトのグリッドサイズは整数でなく、１０＋２／３であることに留意されたい。このことは、ヒストグラムのボリュームが単一のビンに集中させられておらず、例えばビンｄ＝１０とｄ＝１１と、及びビンｄ＝２１とｄ＝２２と、のようなビンの対に集中させられているという事実に起因する。エッジ視認性を重みとしてヒストグラム
【数３１】
において考慮に入れるため、式７において定義されるようなエッジのボリュームの尺度Ｖｋが、重みとして利用される。本方法においては、２つのサンプルの間の距離は、両方のサンプルのボリュームを用いて重み付けされる。重み付けされたピーク間距離ヒストグラム
【数３２】
は、以下のＣコードにより計算されても良い。
for (k = 1;
k < Nedge: k++){
i = 1;
while(((d = p[k + 1] - p[ k ]) < Nhist) && (k + 1 <= Nedge)){
H[d] += (V[k] + V[k + i]) / 2; /* ヒストグラムに重みとしてボリュームを追加*/
i += 1;
}
}
ここでV[k]は、式７において定義されたＶｋに対応する。
【００３８】
次いで、繰り返しのピークを決定するために、重み付けられたピーク間距離ヒストグラム
【数３３】
は、それぞれのとり得る基本周期ｄの整数ｋ倍、即ちｋ・ｄでサンプリングされる。
【数３４】
基礎を成す基本周期がｄであれば、ヒストグラムは整数倍のｋ・ｄでピークをつくるであろう。それ故、ｇ（ｄ）は、実際の基礎を成す基本周期ｄについて、最大値に達するであろう。ｇ（ｄ）の明確な最初の最大値の位置が、このとき前記基礎を成す基本周期のインジケータとして考えられる。ｇ（ｄ）の最初のピークを見出すことは、最初の顕著なヒストグラムのビンＨｄの検出よりも、基礎を成す基本周期ｄの安定した推定に導くことが分かっている。その理由は、実際的な場合においては、１×ｄにおけるヒストグラムが常に顕著であるというわけではないように見えるからである。例えば、基本周期が実際にはｄ＝８であると仮定すると、幾つかの場合においてＨ８はそれ程顕著ではなく、一方Ｈ１６及びＨ２４は明らかに顕著であるように見える。かような場合は、最初のピークがＨｄではなくｇ（ｄ）において検索される場合には、必ずしも問題をもたらさない。ｇ（ｄ）の例として図７を参照されたい。本図７においては、ピーク間距離ｄは０．２の間隔でサンプリングされる。
【００３９】
本発明の一態様は、ブロックアーティファクト検出装置が、処理回路において以前に利用されたコーディングパラメータに関する情報の更なる必要なしに、ブロッキングアーティファクトの視認性を示す制御信号を生成するように構成される点である。テレビジョンセット、及び例えばＤＶＤ＋ＲＷ及びハードディスクレコーダのようなビデオ記録装置における処理は、かなりの量のブロッキングエッジが検出されるこれらの場合に適合させられても良い。第１のブロックアーティファクト・インジケータは、ブロックアーティファクトの視認性の尺度に対応する。前記第１のブロックアーティファクト・インジケータは、特定のサンプル間距離の出現の頻度に関連し、好ましくは前記特定のサンプル間距離の出現の相対的な頻度を含む、幾つかの値の平均に等しい。
【００４０】
本発明の他の態様は、ブロックアーティファクト検出装置が、アナログビデオ信号中に明確に存在にしない情報の必要なしに、ブロッキンググリッドの１以上の大きさを示す制御信号を供給するように構成される点である。適用されたコーディング方式が８画素の幅及び高さを持つブロックを利用すると仮定すると、この情報はスケーリング操作が適用されたか否かを示すため、処理によって利用されることもできる。ブロックアーティファクトの空間的なサイズに対応する第２のブロックアーティファクト・インジケータｄは、特定のサンプル間距離に関連する。しかしながら、第２のブロックアーティファクト・インジケータｄは、整数値を持つ特定のサンプル間距離に必ずしも等しくない。
【００４１】
図８は、本発明による画像処理機器４００の実施例を模式的に示す。該機器は、
入力画像のシーケンスに対応するビデオ信号を受信する受信手段８０２と、
図１に関連して説明されたような、ビデオ信号におけるブロックアーティファクトを検出するブロックアーティファクト検出装置１００と、
前記入力画像のシーケンスに基づき出力画像のシーケンスを算出する画像処理ユニットであって、前記ブロックアーティファクト検出装置によって制御される画像処理ユニット８０４と、
画像処理ユニット８０４の出力画像を表示する表示装置８０６と、
を有する。前記信号は、アンテナ又はケーブルを介して受信される放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はディジタル・バーサタイル・ディスク（ＤＶＤ）のような記憶装置からの信号であっても良い。前記信号は、入力コネクタ８１０において供給される。画像処理機器８００は、例えばＴＶであっても良い。代替として、画像処理機器８００は、任意の表示装置を有しないが、表示装置８０６を有する機器に前記出力画像を供給する。このとき画像処理機器８００は、例えばセットトップボックス、衛星チューナ、ＶＣＲプレイヤ、ＤＶＤプレイヤ又はレコーダであっても良い。任意に、画像処理機器８００は、ハードディスクのような記憶手段、又は例えば光ディスクのような着脱可能な媒体に記憶するための手段を有する。画像処理機器８００は、映画スタジオ又は放送局によって利用されるシステムであっても良い。
【００４２】
上述の実施例は、本発明を限定するものではなく説明するものであって、当業者は添付される請求の範囲から逸脱することなく代替の実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprising）」なる語は、請求項に列挙されていない要素又はステップの存在を除外するものではない。要素に先行する「１つの（a又はan）」なる語は、複数のかような要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記するユニット請求項において、これらの手段の幾つかは、同一のハードウェアのアイテムによって実施化されても良い。
【図面の簡単な説明】
【００４３】
【図１】ブロックアーティファクト検出装置の実施例を模式的に示す。
【図２】入力画像を示す。
【図３】図２の画像に基づく傾斜信号Ｓの例を示す。
【図４】図３の傾斜信号Ｓに基づくトレンド除去された傾斜信号ｓを示す。
【図５】図４に示されたトレンド除去された傾斜信号ｓの一部を示す。
【図６】重み付けされたピーク間距離ヒストグラムＨｗを示す。
【図７】ｇ（ｄ）の例を示す。
【図８】本発明による画像処理機器４００の実施例を模式的に示す。
【特許請求の範囲】
【請求項１】
ビデオ信号中のブロックアーティファクトを検出するブロックアーティファクト検出装置であって、前記ブロックアーティファクト検出装置は、
前記ビデオ信号に基づいて傾斜信号を計算する計算手段と、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立する確立手段と、
サンプル間距離のヒストグラムを決定するヒストグラム決定手段と、
を有し、前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記ブロックアーティファクト検出装置は更に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成する解析手段を有するブロックアーティファクト検出装置。
【請求項２】
前記ブロックアーティファクト・インジケータは、前記ブロックアーティファクトの空間的なサイズに対応し、前記ブロックアーティファクト・インジケータは、特定のサンプル間距離に関連する、請求項１に記載のブロックアーティファクト検出装置。
【請求項３】
前記ブロックアーティファクト・インジケータは、前記ブロックアーティファクトの視認性の尺度に対応し、前記ブロックアーティファクト・インジケータは、特定のサンプル間距離の出現の頻度に関連する、請求項１に記載のブロックアーティファクト検出装置。
【請求項４】
前記サンプル間距離のヒストグラムは、重み付けされたヒストグラムである、請求項１に記載のブロックアーティファクト検出装置。
【請求項５】
前記第１の距離の重み付けは、前記サンプルの第１のものの局所的な最大値に基づく、請求項４に記載のブロックアーティファクト検出装置。
【請求項６】
前記第１の距離の重み付けは、前記サンプルの第１のものに対応するサブ部分を有する傾斜信号の一部に基づく、請求項５に記載のブロックアーティファクト検出装置。
【請求項７】
前記傾斜信号は、前記ビデオ信号の幾つかのビデオ線のそれぞれの画素値の合計によって計算された、第１の中間信号に基づいて計算される、請求項１に記載のブロックアーティファクト検出装置。
【請求項８】
前記傾斜信号は、前記ビデオ信号の連続する画素値間の絶対差の計算に基づく第１の中間信号のハイパスフィルタリングによって計算される、請求項１に記載のブロックアーティファクト検出装置。
【請求項９】
入力画像のシーケンスに対応するビデオ信号を受信する受信手段と、
請求項１に記載の、ビデオ信号中のブロックアーティファクトを検出するブロックアーティファクト検出装置と、
前記入力画像のシーケンスに基づいて出力画像のシーケンスを算出する画像処理ユニットであって、前記ブロックアーティファクト検出装置によって制御される画像処理ユニットと、
を有する画像処理機器。
【請求項１０】
前記出力画像を表示する表示装置を更に有することを特徴とする、請求項９に記載の画像処理機器。
【請求項１１】
ビデオ信号中のブロックアーティファクトを検出する方法であって、前記方法は、
前記ビデオ信号に基づいて傾斜信号を計算するステップと、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立するステップと、
サンプル間距離のヒストグラムを決定するステップと、
を有し、前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記方法は更に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成するステップを有する方法。
【請求項１２】
ビデオ信号中のブロックアーティファクトを検出する命令を有する、コンピュータ装置によってロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段及びメモリを有し、前記コンピュータプログラムは、ロードされた後に、
前記ビデオ信号に基づいて傾斜信号を計算するステップと、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立するステップと、
サンプル間距離のヒストグラムを決定するステップと、
を実行する機能を前記処理手段に備えさせ、ここで前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記コンピュータプログラムは更に、ロードされた後に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成するステップを実行する機能を前記処理手段に備えさせるコンピュータプログラム。
【請求項１】
ビデオ信号中のブロックアーティファクトを検出するブロックアーティファクト検出装置であって、前記ブロックアーティファクト検出装置は、
前記ビデオ信号に基づいて傾斜信号を計算する計算手段と、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立する確立手段と、
サンプル間距離のヒストグラムを決定するヒストグラム決定手段と、
を有し、前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記ブロックアーティファクト検出装置は更に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成する解析手段を有するブロックアーティファクト検出装置。
【請求項２】
前記ブロックアーティファクト・インジケータは、前記ブロックアーティファクトの空間的なサイズに対応し、前記ブロックアーティファクト・インジケータは、特定のサンプル間距離に関連する、請求項１に記載のブロックアーティファクト検出装置。
【請求項３】
前記ブロックアーティファクト・インジケータは、前記ブロックアーティファクトの視認性の尺度に対応し、前記ブロックアーティファクト・インジケータは、特定のサンプル間距離の出現の頻度に関連する、請求項１に記載のブロックアーティファクト検出装置。
【請求項４】
前記サンプル間距離のヒストグラムは、重み付けされたヒストグラムである、請求項１に記載のブロックアーティファクト検出装置。
【請求項５】
前記第１の距離の重み付けは、前記サンプルの第１のものの局所的な最大値に基づく、請求項４に記載のブロックアーティファクト検出装置。
【請求項６】
前記第１の距離の重み付けは、前記サンプルの第１のものに対応するサブ部分を有する傾斜信号の一部に基づく、請求項５に記載のブロックアーティファクト検出装置。
【請求項７】
前記傾斜信号は、前記ビデオ信号の幾つかのビデオ線のそれぞれの画素値の合計によって計算された、第１の中間信号に基づいて計算される、請求項１に記載のブロックアーティファクト検出装置。
【請求項８】
前記傾斜信号は、前記ビデオ信号の連続する画素値間の絶対差の計算に基づく第１の中間信号のハイパスフィルタリングによって計算される、請求項１に記載のブロックアーティファクト検出装置。
【請求項９】
入力画像のシーケンスに対応するビデオ信号を受信する受信手段と、
請求項１に記載の、ビデオ信号中のブロックアーティファクトを検出するブロックアーティファクト検出装置と、
前記入力画像のシーケンスに基づいて出力画像のシーケンスを算出する画像処理ユニットであって、前記ブロックアーティファクト検出装置によって制御される画像処理ユニットと、
を有する画像処理機器。
【請求項１０】
前記出力画像を表示する表示装置を更に有することを特徴とする、請求項９に記載の画像処理機器。
【請求項１１】
ビデオ信号中のブロックアーティファクトを検出する方法であって、前記方法は、
前記ビデオ信号に基づいて傾斜信号を計算するステップと、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立するステップと、
サンプル間距離のヒストグラムを決定するステップと、
を有し、前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記方法は更に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成するステップを有する方法。
【請求項１２】
ビデオ信号中のブロックアーティファクトを検出する命令を有する、コンピュータ装置によってロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段及びメモリを有し、前記コンピュータプログラムは、ロードされた後に、
前記ビデオ信号に基づいて傾斜信号を計算するステップと、
前記傾斜信号のそれぞれの局所的な最大値に対応するサンプルのリストを確立するステップと、
サンプル間距離のヒストグラムを決定するステップと、
を実行する機能を前記処理手段に備えさせ、ここで前記サンプル間距離の第１のものは、前記サンプルの第１のものと前記サンプルの第１のものに後続する前記サンプルの第２のものとの間の第１の距離に対応し、前記サンプル間距離の第２のものは、前記サンプルの第１のものと前記サンプルの第２のものに後続する前記サンプルの第３のものとの間の第２の距離に対応し、前記コンピュータプログラムは更に、ロードされた後に、
前記サンプル間距離のヒストグラムを解析し、前記ヒストグラムに基づいてブロックアーティファクト・インジケータを生成するステップを実行する機能を前記処理手段に備えさせるコンピュータプログラム。
【図１】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【公表番号】特表２００７−５０１５６１（Ｐ２００７−５０１５６１Ａ）
【公表日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願番号】特願２００６−５２２４６４（Ｐ２００６−５２２４６４）
【出願日】平成１６年７月２９日（２００４．７．２９）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１３２２
【国際公開番号】ＷＯ２００５／０１５９１５
【国際公開日】平成１７年２月１７日（２００５．２．１７）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １，５６２１ ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
【公表日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願日】平成１６年７月２９日（２００４．７．２９）
【国際出願番号】ＰＣＴ／ＩＢ２００４／０５１３２２
【国際公開番号】ＷＯ２００５／０１５９１５
【国際公開日】平成１７年２月１７日（２００５．２．１７）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １，５６２１ ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
[ Back to top ]