説明

ビデオイメージシーケンスのエンコーディング前のプリプロセシングデバイス及び方法

本発明は、ビデオイメージシーケンス(Ei)のエンコーディング前のプリプロセシングデバイス及び方法に関する。
本発明によればデバイスは、ビデオイメージシーケンス(Ei)に対して複数のモルフォロジー処理ステップを実行する手段(3,5,7,9)と、各モルフォロジー処理ステップの後、モルフォロジー処理の結果に対して重み付けを実行するための手段(4,6,8,10)を有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ビデオイメージシーケンスのエンコーディング前のプリプロセシングデバイス及び方法に関する。
【0002】
イメージエンコーディングデバイスは、当該デバイスがエンコードするイメージの時間又は空間エントロピーが低減するに連れて、一層有効性が増す。
【0003】
従って、エンコーディングを一層良好にするためにイメージエンコーディングデバイスは、イメージが処理されるイメージプリプロセシングデバイスと関連付けられることが屡々である。
【0004】
公知のように、ビデオシーケンスのエントロピーを低減するためのプリプロセシングデバイスは、イントラモードでのイメージエンコーディングコストの主要な原因である高周波成分を除去しさえする。
【0005】
1次元又は2次元ローパスフィルタ、Nagaoフィルタ、平均化フィルタ及びメディアンフィルタを有する多数のフィルタを利用可能である。
【0006】
これらの各方法の主要な欠点は:
−インターレースされたビデオの各フレームは、イメージの垂直方向解像度の1/2しか有していないので、空間的定義での、殊に、垂直方向軸での低減が過度に可視であり、
−対象が不鮮明になり、
−輪郭が劣化するという点にある。
【0007】
本発明は従来技術の前記各欠点の少なくとも1つの解決を提案する。
【0008】
この課題を解決するために、本発明は、ビデオイメージシーケンスのエンコーディング前のプリプロセシングデバイスにおいて、
ビデオイメージシーケンスで、複数のモルフォロジー処理ステップを実行する手段と、
各モルフォロジー処理ステップ後に、重み付けを、前記各プロセシングステップの1つに従属するビデオシーケンスに加えるミキサを有することを提案するものである。
【0009】
生のモルフォロジー処理を実行することは、イメージの質に取り返しのつかない効果を及ぼすことがある。各モルフォロジーな演算子間にミキサを設けることによって、演算子の生の結果と、同じ演算子の入力を混合することによって、この処理の作用に重み付けすることができる。
【0010】
有利な実施例によると、デバイスは、複数のモルフォロジー処理ステップを実行する前に、ビデオイメージシーケンスの複雑性を測定する手段を有する。
【0011】
実際には、イメージの空間的エントロピーを低減するためのプリプロセシングは、主に、高い複雑性のイメージ用に推奨される。従って、プリプロセシングは、イメージの複雑性に従って制御することができ、イメージの複雑性に適合させることができる。
【0012】
有利には、前記ビデオイメージシーケンスの複雑性を測定する手段は、イントライメージ相関を測定する。
【0013】
有利な実施例によると、複雑性を測定する手段は、各ミキサ用の重み付け係数を計算する。
【0014】
有利には、重み付け係数は、各ミキサに対して同一である。
【0015】
有利には、重み付け係数は、イントライメージ相関に対して反比例する。
【0016】
有利には、複数のモルフォロジー処理ステップを実行する手段と、ミキサは、ビデオ信号の輝度成分に処理ステップを、ピクセル毎に、各イメージに対して実行する。
【0017】
有利には、デバイスは、以下を有する:
イントライメージ相関を測定する前に前記ビデオイメージシーケンスをデインタレーシングする手段と、
最後の重み付けの後、前記ビデオイメージシーケンスをインタレース(interlacing)する手段を有する。
【0018】
こうすることによって、イメージの垂直方向の完全な定義を有するプログレッシブなフレームを得ることができる。
【0019】
その際、イメージの水平方向及び垂直方向の両方の軸で処理するバイアスを用いずに考慮することができる。
【0020】
本発明は、ビデオイメージシーケンスのエンコーディング前のプリプロセシング方法に関する。
【0021】
本発明によれば方法は、
ビデオイメージシーケンスで、複数のモルフォロジー処理ステップを実行するステップと、
各モルフォロジー処理ステップの後、モルフォロジー処理の結果に重み付けを加えるための複数の重み付けステップを有する。
【0022】
以下、本発明について、図示の実施例を用いて詳細に説明する。なお、本発明はそれらの実施形態に限定されるものではない。その際:
図1は、本発明のデバイスの有利な実施例を示す図、
図2は、現時点でのイメージの複雑性を定義するために考慮されるカレントポイントPの近傍を示す図である。
【0023】
なお、以下で説明するモジュールは、物理的に区別することのできるユニットに対応させてもよいし、対応させなくてもよい機能ユニットである。例えば、当該の各モジュールまたはその幾つかを単一のコンポーネントにまとめることもできるし、同一のソフトウェアの種々の機能とすることもできる。これとは逆に、場合によっては幾つかのモジュールを、複数の別個の物理的なエンティティによって構成してもよい。
【0024】
プリエンコーディングデバイスのインプットのビデオ信号Eiは、インターレースされたビデオ信号である。
【0025】
プリエンコーディングデバイスのパフォーマンスを改善するために、ビデオ信号Eiは、デインターレーサ1によってデインターレースされる。デインターレーサ1は、当業者には公知の、ビデオ信号Eiの3つの連続フィールドに基づくデインタレース方法を使って、ビデオ信号Eiのフィールド毎のライン数を2倍にする。その際、プログレッシブフォーマットが得られ、その際、各フィールドは、フレームになり、イメージの完全な垂直方向の定義を有しており、その結果、垂直方向の軸で処理を実行することができる。
【0026】
信号Eは、デインターレーサ1のアウトプットで得られる。
【0027】
その際、イメージの完全な解析が実行される。実際には、空間エントロピー低減は、主に、高空間エントロピーを有するイメージに対して適用される。
【0028】
従って、デバイスは、各イメージの相関を測定するアップストリーム手段2を有している。
【0029】
図2は、モジュール2内の現時点のイメージの複雑性を計算するために考慮される近傍の例を示す。
【0030】
イメージの各ピクセル毎に、現時点のポイントと、当該ポイントに隣接する4つのポイントの輝度を使って、ピクセル結果"Rp"が計算される。
Rp - [abs(P - PC-1,0)) + abs{P - P(0,-1)) + abs{P - P(0,+1)) 4- abs(P - P(+1,0))]/ 4
その際、これらの各ピクセル結果は、1つのフレーム上に蓄積される。
【数1】

【0031】
この相関測定は、ピクセルと当該ピクセルの隣接各ピクセル間の、1つのイメージ上の、平均偏差を確認するために使われる。イメージ内の定義上の関心のある情報が、その際得られる。
【0032】
別の実施例では、イメージの複雑性のもっと完全な定義を得るために、これらの式を変更することができる。イメージの複雑性を計算の際に考慮して、現時点のピクセルの近傍を拡大することもできる。
【0033】
この測定から、入力イメージの複雑性の関数として、係数Kが範囲[0,1]内で計算される。
【0034】
以下の表は、Cintraの関数として示した係数Kの各値を示す(但し、例示にすぎない)。
【0035】
Cintraの値は、8ピクセルでエンコードされ、従って、0及び255である。
【表1】

【0036】
相関が非常に強い場合、イメージのプリプロセシングは、依然として実行されるが、しかし、係数Kの値によって示されるように、小さな割合で実行される。
【0037】
逆に、弱い相関は、強いエントロピーのインディケータである。ランダムノイズの例(弱い)は、良い例である(高エントロピー)。
【0038】
係数Kは、有利な実施例の場合と同様に各ミキサ毎に同一にするとよく、又は、ミキサ毎に全て異なっているようにしてもよい。
【0039】
図1のデバイスで実行されるプロセシングは、ビデオの輝度成分にのみ実行される。
【0040】
実際には、クロミナンス成分のプロセシングは、色内の不都合なアーチファクトを生起することがあり、とりわけ、イメージの複雑性の大部分を有するのは、輝度成分である。
【0041】
モジュール2のアウトプットの信号Ein(信号Eと同じ)は、その際、モジュール3でエロージョン(erosion:浸食)演算される。構造化要素は、3x3の窓、つまり、3行×3列の窓を、現時点のピクセル、又は9ピクセルの周りに有している。しかし、窓のサイズがエロージョン演算処理のシビアさ(程度)に正比例するように、別の窓サイズを考慮してもよい。
【0042】
従って、モジュール3は、入力ビデオ信号Einの各ピクセル毎に、当該ピクセルの新たな輝度値を計算する。
【0043】
従って、モジュール3のアウトプットのビデオ信号T0は、エロージョン演算された信号Einを示し、又は、従って、各ピクセル毎に、ビデオ信号T0に関連して変更された、当該ピクセルの輝度値は、ビデオ信号T0の構造要素の最少値(一部分である)に相応する。
【0044】
その際、信号T0は、ミキサ4に伝送される。ミキサ4は、インプットとして、モジュール2によって伝送された係数Kを受信する。
【0045】
ミキサ4は、アウトプットとして、以下の式による信号S0を形成する:
S0 = KxT0 + (1 - K)xEin
信号S0は、ダイラテーション(エキスパンション:膨張)モジュール5にインプットされる。
【0046】
ダイラテーション(エキスパンション)演算は、サイズ3x3=9ピクセルの現時点のピクセル上で中心に位置している構造要素の各要素の中で、最大の輝度値を有するピクセルを保持することからなる。
【0047】
ダイラテーション(エキスパンション)モジュールは、アウトプットとして、新たなビデオ信号T1を形成し、ミキサ6のインプットに伝送する。ミキサ6は、インプットとして重み付け係数Kを受信する。
【0048】
ミキサ6は、それから、各ピクセル毎に、インプットとして受信される輝度値を重み付けすることによって以下の式に相応する信号S1を形成する:
S1 = KxT1 + (1 - K)xS0
信号S1は、それから、第2のダイラテーション(エキスパンション)モジュール7にインプットされる。
【0049】
ダイラテーション(エキスパンション)モジュール7は、その際、信号S1にダイラテーション(エキスパンション)演算を実行する。ダイラテーション(エキスパンション)演算は、サイズ3x3=9ピクセルの現時点のピクセル上で中心に位置している構造要素の各要素の中で、最大の輝度値を有するピクセルを保持することからなる。
【0050】
モジュール7は、それから、アウトプットとして、信号T2を形成し、この信号T2は、ミキサ8にインプットされ、ミキサ8は、受信された各ピクセル毎に、受信された信号の輝度成分を重み付けする。ミキサ8は、インプットとして重み付け係数Kも受信する。
【0051】
ミキサ8は、アウトプットとして、以下の式による信号S2を形成する:
S2 = KxT2 + (1 - K)xS1
信号S2は、その際、第2のエロージョンモジュール7インプットされる。
【0052】
モジュール9は、信号S2にエロージョン演算を実行し、エロージョン演算は、前述のように、現時点のピクセルを、予め定義された構造要素の各ピクセルのうち、最少のピクセルで代替することからなる。
【0053】
エロージョンモジュール9は、アウトプットとして信号T3を形成し、信号T3は、第4のミキサ10にインプットされる。
【0054】
ミキサは、アウトプットとして、以下の式による信号S3を形成する:
S3 = KxT3 + (1 - K)xS2
信号S3は、それから、インターレーサ11のインプットに伝送され、インターレーサ11は、プリプロセシングデバイスのビデオアウトプットSiを得るために、信号S3をインターレースするのに使用され、ビデオアウトプットSiは、それから、エンコーディングデバイスに伝送される。
入力されたビデオ信号Siは、それから、低減された空間エントロピーから利点を得て、ビデオ信号の後続のエンコーディングが一層容易になる。その後、何らかのエンコーディングタイプを考慮することができる。
【0055】
当然、本発明は、上述の実施例に限定されるものではない。関連するミキサの個数を変えることができるように、プリプロセシングデバイスのモルフォロジー演算の回数を変えることを考慮することができるということは、当業者には、公知のことである。
【0056】
エロージョン演算に続いてダイラテーション(エキスパンション)演算を行うことは、オープニング演算と呼ばれる。ダイラテーション(エキスパンション)演算に続いてエロージョン演算を行うことは、クロージング演算と呼ばれる。
【図面の簡単な説明】
【0057】
【図1】本発明のデバイスの有利な実施例を示す図
【図2】現時点でのイメージの複雑性を定義するために考慮されるカレントポイントPの近傍を示す図

【特許請求の範囲】
【請求項1】
ビデオイメージシーケンス(E)のエンコーディング前のプリプロセシングデバイスにおいて、
ビデオイメージシーケンス(Ei)に対して複数のモルフォロジー処理ステップを実行する手段(3,5,7,9)と、
前記各モルフォロジー処理ステップの後、前記モルフォロジー処理の結果に対して重み付けを実行するための手段(4,6,8,10)を有することを特徴とするプリプロセシングデバイス。
【請求項2】
複数のモルフォロジー処理ステップを実行する前に、前記ビデオイメージシーケンス(Ei)の複雑性を測定する手段(2)を有する請求項1記載のデバイス。
【請求項3】
前記ビデオイメージシーケンス(Ei)の複雑性を測定する手段は、イントライメージ相関を測定する請求項2記載のデバイス。
【請求項4】
複雑性を測定する手段は、各ミキサ(4,6,8,10)用の重み付け係数(K)を計算する請求項3記載のデバイス。
【請求項5】
重み付け係数(K)は、各ミキサ(4,6,8,10)に対して同一である請求項4記載のデバイス。
【請求項6】
重み付け係数(K)は、イントライメージ相関に対して反比例している請求項4又は5記載のデバイス。
【請求項7】
複数のモルフォロジー処理ステップを実行する手段(3,5,7,9)及びミキサ(4,6,8,10)は、ビデオ信号の輝度成分に対して、ピクセル毎に、各イメージに対して前記各モルフォロジー処理ステップを実行する請求項1から6迄の何れか1記載のデバイス。
【請求項8】
請求項1から7までのいずれか1項記載のデバイスにおいて、
イントライメージ相関を測定する前に前記ビデオイメージシーケンス(Ei)をデインタレース(deinterlacing)する手段(1)と、
最後の重み付けの後、前記ビデオシーケンス(Ei)をインタレース(interlacing)する手段(11)を有するデバイス。
【請求項9】
複数のモルフォロジー処理ステップを実行する手段は、オープニング演算を実行してからクロージング演算を後続する請求項1から8迄の何れか1記載のデバイス。
【請求項10】
ビデオイメージシーケンスのエンコーディング前のプリプロセシング方法において、
ビデオイメージシーケンス(Ei)で、複数のモルフォロジー処理ステップを実行するステップと、
各モルフォロジー処理ステップの後、モルフォロジー処理の結果に重み付けを加えるための複数の重み付けステップを有することを特徴とするプリプロセシング方法。

【図1】
image rotate

【図2】
image rotate


【公表番号】特表2008−504762(P2008−504762A)
【公表日】平成20年2月14日(2008.2.14)
【国際特許分類】
【出願番号】特願2007−518590(P2007−518590)
【出願日】平成17年6月22日(2005.6.22)
【国際出願番号】PCT/EP2005/052908
【国際公開番号】WO2006/003102
【国際公開日】平成18年1月12日(2006.1.12)
【出願人】(501263810)トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Thomson Licensing 
【住所又は居所原語表記】46 Quai A. Le Gallo, F−92100 Boulogne−Billancourt, France
【Fターム(参考)】