説明

順次走査変換機構を用いた多重記述符号化映像送信

多重記述符号化(MDC)は無線システム及びインターネットを含むネットワーク上でビデオデータをロバストに送信する有効な技術として知られている。方法は、ビデオ信号(20)がインタレースされ、符号化前に多重ストリームに分割され、別々の送信チャネル(308,310)上で送信されることを含む。受信器(320)側では、順次走査変換アルゴリズムが適用され、元のビデオ信号(20)を形成するためにストリームが再編される。インタレース技術及び順次走査変換技術の使用は既存の装置の変更なしにビデオ送信のロバスト性を向上させる。

【発明の詳細な説明】
【発明の詳細な説明】
【0001】
本発明は一般にネットワーク上でのビデオシーケンスの伝送に関する。より詳しくは、本発明はネットワークのエラーが発生しやすいチャネル上でロバストな映像の送受信をする方法に関する。
【0002】
無線システムやインターネットでの通信が多くなっているため、このようなネットワーク上でビデオストリームを信頼性高く送受信する方法が開発されている。多重記述符号化(MDC)はこのような通信に対して効果的であることが証明されている技術である。MDCはビデオ信号の複数のコード値または記述へのビデオストリームの分割及び誤り耐性のための分割チャネル上での記述の送信を含む。この技術により記述の一部を用いて許容範囲の信号品質を得ることができ、受信する部分の数の増加により品質が向上する。ビデオストリームを分割する1つの方法は、奇数と偶数のフレームに分割して、個々にストリームを符号化するものである。ストリームの1つが受信されたとき、そのフレームはフレームレートの半分でデコードされ得る。ビデオストリームの相関性質により、送信中に消失するかもしれない中間フレームが動き補償誤り隠ぺい技術を用いて再生される。
【0003】
動き補償誤り隠ぺいを用いた技術の例は、多重状態符号化、ビデオ冗長コード化(VRC)及び多重記述動き補償(MDMC)である。一般に、多重状態符号化システムはビデオストリームを受信し、多重状態符号化の使用により映像を個々に符号化可能なパケットストリームに符号化する符号器と、多重ストリームを受信し、シングルストリームに結合し、元のビデオストリームを再現するために受信したストリームを復号する受信器を含む。
【0004】
図1を参照すると、従来のVRCエンコーダの簡単なブロック図が示されている。ここでは、一連のフレーム10を有するビデオ信号が送信される。奇数フレーム10aと偶数フレーム10bが分割され、2つの標準化コーダ12を用いて符号化され、ネットワーク上で記述が送信される。送信中にフレーム10が破損したり消失したりした場合、他のデータストリームや記述の周辺フレームからの補間により標準化デコーダを用いてフレーム10は再現され得る。ここでは空間的情報が得られないので、純粋に時間的情報を用いて再現が行われる。空間的情報は得られない。さらに、信号は分割され符号化されていることから、フレーム間の時間間隔は比較的大きく、このことは符号化効率を下げる。
【0005】
MDMC技術の実施はシステムにより良い符号化効率を与える。ここでは、非標準化コーダ/デコーダが使用されている。MDMCを用いると、交互のフレームのための符号化された情報をそれぞれ有する2つの記述が生成され得る。符号化中に過去の奇数フレームと偶数フレームの両方をエンコーダに使用させる時間予測器が用いられる。これはネットワークの受信側でデコーダにより記述が1つだけ受信されたときに、エンコーダとデコーダとの間に不整合を作り出す。不整合送信エラーを克服するために、この不整合エラーははっきりと復号される。MDMCでは時間フィルタのような符号化パラメータは、符号化効率と誤り耐性の間の所望のトレードオフに合わせられ得る。このように、MDMCシステムは符号化効率と誤り耐性の間に適度な柔軟性を与える。
【0006】
MDMC符号化の使用はVRCスキームに符号化効率の利点を与えるが、MDMC符号化は従来の映像表示装置には存在しない非標準化コーダ/デコーダを必要とする。従って、従来の装置を用いて、効率的かつ誤り耐性のあるように、エラーの起こりやすいネットワーク上で映像情報を送信する方法の要求がある。
【0007】
本発明は上述の要求を満たす。本発明の原理によれば、改良された映像信号送受信方法が提供される。ネットワークの送信器側では、プログレッシブビデオシーケンス(20)がインタレース走査され、インタレース走査シーケンスが複数のストリームに分割される。複数のストリームはエンコーダを用いて符号化され、ストリームはネットワークの独立したチャネル上を送信される。好ましくは、シーケンスは2つの信号のストリームに分割される。ネットワークの受信器側では、2つのストリームが受信され、別々に復号される。もし送信エラーがなければ、復号したストリームは元のプログレッシブビデオシーケンス(20)に再編される。しかし、もし送信エラーがある場合は、信号の破損したストリームを再現するために順次走査変換アルゴリズムが用いられる。
【0008】
本発明自体と同様に、その構成と動作についての新規性のある特徴は、添付した説明とともに添付した図面から非常に良く理解でき、図面において同様の参照文字は同様の部分を示す。
【0009】
現在ほとんどのビデオ画像はDVDのようにデジタル形式になっているので、ビデオはしばしばプログレッシブ形式で格納される。図2はネットワーク上での送信のために、MPEG−2やMPEG−4エンコーダのような標準化ビデオエンコーダ22で符号化されるプログレッシブ画像A,B,Cを有するビデオシーケンス20を表す簡単化したブロック図を示す。
【0010】
図3A、図3B及び図4を参照して、本発明の原理による同じビデオシーケンス20の送信装置及び送信方法について説明する。ビデオシーケンス20のそれぞれのプログレッシブ画像A、B及びCは奇数及び偶数のフィールド(例えばAo、Ae、Bo、Be、Co、Ce)を有する。送信器300では、ビデオ信号20が順次走査変換器302によりインタレースされる。インタレースは画像を偶数走査線と奇数走査線に分割することによる2つの要素への垂直サブサンプリングを含む。これは図4に示すように偶数走査線のみ含む画像(以下偶数フィールドという)と奇数走査線のみ含む画像(以下奇数フィールドという)を生じさせる。ここで、元の走査線は失われてはいない、つまり上述のインタレースを行う前と後とで走査線の数の合計は同じであることに注目することは重要である。インタレース信号30は偶数フィールド32と奇数フィールド34のビデオストリームに分けられる。偶数フィールドと奇数フィールドのビデオストリームが標準化MPEG−2/4エンコーダ304、306で別々に符号化され、符号化後それぞれ予測ベクトル及び残余を有する2つの記述を生成する。符号化された記述は独立チャネル308、310上を受信器320へ送信される。
【0011】
受信器320では符号化信号の両方のストリームが標準化MPEG−2/4デコーダ322、324を用いて復号される。もしストリームが送信エラーなしに受信、復号された場合、復号されたストリームは元のプログレッシブビデオシーケンス20を形成するために再編される。
【0012】
しかし、もし送信中にストリームの1つが破損する又はストリーム内のフィールドが消失した場合、本発明は正しく受信された情報から破損又は消失した情報を推測する方法を与える。本発明の原理によれば、標準順次走査変換技術を用いる順次走査変換器326が破損又は消失した情報の推測に用いられる。一般に、順次走査変換はインタレースの逆処理とみなされる。順次走査変換はインタレースされたビデオについて垂直分解能を2倍にし、ビデオのインタレースサンプリングにより起こるサブサンプリングアーチファクトを除去することを目的ともする。順次走査変換の参考資料として、順次走査変換技術の要約及び例がG.de Haan and E.B.Bellers,“De-interlacing:an overview,”Proceedings of the IEEE,86(9):1839-1857,September 1998及びE.B.Bellers and G.de Haan,“De-interlacing:A key technology for scan rate conversion,”Elsevier Science book Advances in Image Communications,vol.9,September 2000に記載されている。現在多くの順次走査変換技術が存在し、多くの新しい順次走査変換技術が開発されている。本発明に従って用いられる特別な順次走査変換技術は“De-Interlacing Image Signals”というタイトルの共有の米国特許6,618,094にみられ、その内容を参照することによりここに全体が組み込まれる。この技術を用いて、3つの順次走査変換されたビデオ信号を得るためにビデオ信号に少なくとも3つの順次走査変換アルゴリズムが適用され、アルゴリズムの異なる大部分は特定の利点を有し、1つの時空間近接ピクセルを補間位置へコピーするアルゴリズムは無い。3つの順次走査変換信号から1つの出力信号を得るために順序統計フィルタを用いてもよい。
【0013】
図5は画像の受信していないフィールドを再生するために本発明に従って順次走査変換をどのように用いるかの一例を示す。この例では、画像Bの奇数フィールドBoが送信中に消失する。良好に受信されたBeフィールド及び再編された画像Aの情報に基づき順次走査変換器は消失したBoフィールドを再生することができる。ここで、この再生を行うことができる順次走査変換器はフィールド挿入とライン反復を本質的に切り替える垂直時間メジアンフィルタである。補間されたサンプルは前のフィールドでの垂直近接と時間近接の中間値として形成される。このように、空間的情報と時間的情報から消失したフィールドが補間される。
【0014】
上述の好ましい実施形態ではビデオシーケンスを奇数及び偶数フィールドの2つのストリームに分割し、2つの独立したチャネル上で送信される2つの記述を生成していたが、他の変形物も可能である。例えば、当業者は、ビデオシーケンスは複数の多重ストリームに分割でき、他のパラメータを用いて分割できることがわかる。
【0015】
本発明は多重記述符号化を用いた従来のビデオ送信方法よりも有利な点を与える。上述のように、本発明による方法は送信中に符号化フィールドが破損した場合にプログレッシブビデオを再生するために順次走査変換技術を用いる。このように、時間的情報だけでなく空間的情報も用いられ(一方、いわゆる動き適応又は動き補償の場合、例えば方向性順次走査変換器では空間的情報のみ用いられる)、それゆえ信頼性のないチャネルが使用されるときでさえビデオの高品質再生を成すことができる。さらに、従来の標準化デコーダにおける既存の後処理技術を用いて誤り隠ぺいを達成することができる。
【0016】
ここで示したような多重記述符号化スキームの特定の実施例は、前述のように十分に必要性を満たし利点を与えることができるが、構成や回路の多くの変更および発明の本質及び目的を逸脱しない発明の大きく異なる実施例や応用が考えつくことがわかる。ここでの公開及び記載は単に実例であり、決して限定を意図したものではない。それどころか、発明は添付した請求の範囲により定義される発明の本質及び目的の範囲に含まれるすべての変形物、同等物及び代替物におよぶ。
【図面の簡単な説明】
【0017】
【図1】従来技術のVRCエンコーダの簡単化したブロック図である。
【図2】現在プログレッシブビデオ信号がネットワーク上でどのように送信されているかを示す簡単化した図である。
【図3A】本発明の原理によるネットワーク上でプログレッシブビデオ信号を通信するための送信器及び受信器を示す簡単化したブロック図である。
【図3B】本発明の原理によるネットワーク上でプログレッシブビデオ信号を通信するための送信器及び受信器を示す簡単化したブロック図である。
【図4】本発明の原理によるインタレースビデオ信号の説明を示すものである。
【図5】本発明の原理による消失または破損したビデオ画像の再現を示すものである。

【特許請求の範囲】
【請求項1】
ビデオ信号をインタレースするステップと、
ビデオ信号を多重ストリームに分割するステップと、
複数のエンコーダを用いてビデオ信号のストリームを符号化するステップと、
符号化した信号の分割ストリームをネットワークへ送信するステップ
を含むプログレッシブビデオシーケンスを送信する方法。
【請求項2】
ビデオ信号を多重ストリームに分割するステップは、ビデオ信号を奇数フィールドのストリームと偶数フィールドのストリームに分割することを含むことを特徴とする請求項1に記載の方法。
【請求項3】
ネットワークから符号化した信号の分割ストリームを受信するステップと、
複数のデコーダを用いてビデオ信号の分割ストリームを復号するステップと、
順次走査変換器を用いてビデオ信号を順次走査変換するステップと、
プログレッシブビデオシーケンスを形成するためにストリームを再編するステップ
を含むプログレッシブビデオシーケンスを受信する方法。
【請求項4】
プログレッシブビデオシーケンスは一連のビデオ画像を有し、順次走査変換器は1つ又は複数の近接画像に基づいて破損した画像を再生することを特徴とする請求項3に記載の方法。
【請求項5】
順次走査変換器は受信した信号からの時間情報を用いて破損した信号を再生することを特徴とする請求項4に記載の方法。
【請求項6】
順次走査変換器は受信した信号からの空間情報及び時間情報を用いて破損した信号を再生することを特徴とする請求項3に記載の方法。
【請求項7】
受信器にて符号化ストリームを受信するステップと、
受信したビデオのストリームを復号するステップと、
順次走査変換アルゴリズムを用いて消失したフィールドの任意の部分を再生するステップ
を含むプログレッシブビデオを受信する改良法。
【請求項8】
順次走査変換アルゴリズムは消失したフィールドを再生するために受信したストリームからの空間的情報及び時間的情報を用いることを特徴とる請求項7に記載の方法。
【請求項9】
ビデオを分割するステップはビデオを奇数フィールドのストリームと偶数フィールドのストリームに分割することを有し、前記奇数フィールドはビデオの奇数走査線を含み、前記偶数フィールドはビデオの偶数走査線を含むことを特徴とする請求項8に記載の方法。
【請求項10】
ビデオシーケンスをインタレースする手段と、
インタレースしたシーケンスを信号の多重ストリームに分割する手段と、
信号の多重ストリームを別々に符号化する手段と、
符号化信号の多重ストリームを独立したチャネル上で送信する手段と、
を備えるプログレッシブビデオシーケンスをネットワークへ送信する装置。
【請求項11】
符号化信号の多重ストリームを受信する手段と、
信号の多重ストリームを別々に復号する手段と、
信号の復号ストリームを順次走査変換する手段と、
復号ストリームをビデオシーケンスに再編する手段と、
を備えるプログレッシブビデオシーケンスをネットワークから受信する装置。
【請求項12】
順次走査変換する手段は破損した信号を再生するために時間的情報を用いることを特徴とする請求項11に記載の装置。
【請求項13】
順次走査変換する手段は受信された破損した信号からの空間的情報及び時間的情報を用いることを特徴とする請求項11に記載の装置。
【請求項14】
ネットワーク上を送信中に破損した信号を再生するために順次走査変換が行われることを特徴とする請求項11に記載の受信器。

【図1】
image rotate

【図2】
image rotate

【図3A】
image rotate

【図3B】
image rotate

【図4】
image rotate

【図5】
image rotate


【公表番号】特表2007−531377(P2007−531377A)
【公表日】平成19年11月1日(2007.11.1)
【国際特許分類】
【出願番号】特願2007−504553(P2007−504553)
【出願日】平成17年3月23日(2005.3.23)
【国際出願番号】PCT/IB2005/051004
【国際公開番号】WO2005/094084
【国際公開日】平成17年10月6日(2005.10.6)
【出願人】(590000248)コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Fターム(参考)】