説明

動画像データ復号化装置

【発明の詳細な説明】
【0001】
【目次】以下の順序で本発明を説明する。
産業上の利用分野従来の技術発明が解決しようとする課題課題を解決するための手段(図3)
作用(図4及び図5)
実施例(図1〜図6)
発明の効果
【0002】
【産業上の利用分野】本発明は動画像データ復号化装置に関し、いわゆるコンパクトデイスクやいわゆるDAT(digital audio taperecorder)カセツト、またハードデイスク等の記録媒体から動画像データを再生する場合に適用して好適なものである。
【0003】
【従来の技術】従来、動画をデイジタル記録するには情報量が極めて多いため、これを記録/再生するには連続的な伝送速度が極めて高い記録媒体が要求される。例えばNTSC方式によるビデオ信号をデイジタル記録する場合には、記録情報量の大きいいわゆるビデオデイスクを用いて記録/再生するようになされている。
【0004】ところがより小型の(すなわち記録情報量の少ない)記録媒体にいわゆるビデオデイスクの場合と同様の発生情報量の動画像データを長時間記録するためには、ビデオ信号を高能率符号化して記録し、またその読み出し信号を能率良く復号化する手段が不可欠となる。
【0005】このような要求に応えるべく、画像信号の高能率符号化方式が提案されており、その1つにMPEG(Moving Picture Experts Group)方式が存在する。このMPEG方式は、まず時間軸方向の冗長度を落とすため、画像間の差分をとり、その後空間軸方向の冗長度を落とすため、デイスクリートコサイン変換(DCT)するようになされている。
【0006】
【発明が解決しようとする課題】ところでこのようなMPEG方式においては、復号化の前段に復号化装置が設けられるが、この復号化装置の誤り符号訂正能力では訂正できない誤りが生じた場合、その箇所で画像の部分的な欠落が生じ、そのままでは画像を表示すると見苦しいものになる。
【0007】そこでこの画像の部分的な欠落を補正するため、従来2つの方法が提案されている。一つは欠落した画像部分と同位置に位置する部分画像として過去のフレーム画像を欠落部分にはめ込むことにより修整するフレーム間補間方法であり、もう一つは欠落した画像部分の周辺画素から補間された画像を欠落部分にはめ込むことにより修正するフレーム内補間方法である。
【0008】ところがフレーム間補間方法は、動きの少ない画像部分では有効であるが、動きが激しい部分では欠落部分と周辺部分を滑らかにつなげることができず、欠落が目立つて必ずしも良好な結果が得られないという問題があつた。
【0009】またフレーム内補間方法は、フレーム内補間方法の場合とは逆に動きの大きな画像部分では欠落が目立たないように修正できるが、動きが小さい画像部分では画像が尾を引いたようになり、修正が不自然になる問題があつた。
【0010】本発明は以上の点を考慮してなされたもので、復号側で符号誤りを訂正できない伝送エラーが生じた場合にも、欠落画像の動きの大小に係わらず、画像の欠落が目立たないよう画像を復号することができる動画像データ復号化装置を提案しようとするものである。
【0011】
【課題を解決するための手段】かかる課題を解決するため本発明においては、順次入力される動画像データS21を復号する動画像データ復号化装置20において、動画像データS21の符号誤りを訂正し、再生デイジタル信号S22を出力すると共に、動画像データS21に誤り訂正できない符号誤りを検出すると誤り検出信号S23を出力する誤り検出/訂正手段23と、再生デイジタル信号S22から動きベクトルデータS30と画像データS24とを分離するデマルチプレクサ手段24と、フレームデータを記憶するフレームメモリ29と、可変長復号化し、逆量子化し、離散コサイン逆変換された画像データに、フレームメモリ29から読み出した動き補償データS28を加算して復号画像データS29を生成するフレームデータ生成手段28と、フレームメモリから読み出した基準フレームデータS32と動きベクトルS30、S31から予測画像データS33を生成する動き補償手段34と、誤り検出信号S23が出力された場合に、復号画像データS29のフレームメモリ29への書き込みを中止する切換手段30と、ベクトルデータS30を記憶する動きベクトルメモリ32と、誤り検出信号S23が出力された場合に、動きベクトルS30の動きベクトルメモリ32への書き込みを中止する切換手段31と、誤り検出信号S23が出力された場合に、動きベクトルメモリ32から動きベクトル動き補償手段34へ入力する切換手段33と、フレームメモリ29から読み出された復号画像データS42と遅延された誤り検出信号S23と遅延された動きベクトルメモリ32から読み出された動きベクトルS41とに基づいて補間画像データS43を生成し、遅延された動きベクトルデータS41の動き量が所定値に対して大きいかを判断し、動きベクトルの動き量が所定の値より大きい場合には、フレームメモリ29から読み出した欠落が生じた画素に隣接した4画素に基づいて補間画像を生成し、遅延された動きベクトルデータS41の動き量が所定値より小さい場合には、欠落の生じた画素データを予測画像で置き換えて補間画像生成する補間画像生成手段40と、を具え、誤り検出信号S23が出力されない場合には、フレームデータ生成手段28によつて生成された復号画像データS29を切換手段30を介してフレームメモリ29より出力するようにし、誤り検出信号S23が出力されたときには、補間画像生成手段40によつて生成されたデータS43をフレームメモリ29より出力するようにする。
【0012】
【作用】動画像データS21を復号する際、誤り訂正できない符号誤りが検出された場合には、誤り検出信号S23が出力された動画像データS21に対応する動きベクトルS41の動き量に基づいて画像データS24に補間画像データS43又は予測画像データS33を合成して出力することにより、復号される動画像データS21の動きの大小に係わらず、符号誤りがによる欠落を目立たないように修整することができる。
【0013】
【実施例】以下図面について、本発明の一実施例を詳述する。
【0014】図1において1は全体として動画像データ符号化装置(エンコーダ)を示し、アナログ動画像信号をデイジタルデータに変換してなる入力画像データS1を入力端子2より入力するようになされている。このとき入力画像データS1は、図2に示すようにイントラフレームI、プレデイクトフレームP及びバイデイレクシヨナルフレームBで構成されている。
【0015】ここでイントラフレームI(I0 、I1 ……)は、フレーム内のみでデータ圧縮されて伝送されるフレームであり、プレデイクトフレームP(P0 、P1 ……)は、片方向から動き予測されるフレームであり、バイデイレクシヨナルフレームB(B0 、B1 、B2 、B3 ……)は、両方向から動き予測されるフレームである。
【0016】差分データ生成回路3は、入力端子2より入力画像データS1を入力すると共にフレームメモリ4よりフレームメモリ4に格納されている前フレームの前フレーム画像データS2を入力するようになされている。ここで差分データ生成回路3は、入力画像データS1と前フレーム画像データS2との差分を求めて差分データS3を発生し、デイスクリートコサイン変換DCT(discrete cosine transform )回路5に出力する。
【0017】デイスクリートコサイン変換回路5は、画像の2次元相関を利用して、差分データS3を微小ブロツク単位でデイスクリートコサイン変換し、その結果得られる変換データS4を量子化回路Q(quantizer )6に出力するようになされている。量子化回路6は、変換データS4を所定の量子化ステツプサイズで量子化すると、その結果出力端に得られる量子化データS5を可変長符号化VLC(variable length code)回路7に出力する。
【0018】ここで可変長符号化回路7は、量子化データS5を可変長符号化処理してなる可変長符号化データS6をマルチプレクサ8に出力する。マルチプレクサ8は、エンコーダ9より入力される動きベクトルデータS7を可変長符号化データS6に多重化すると、バツフア回路10を介して伝送データS8として送出するようになされている。
【0019】また動画像データ符号化装置1は、局部復号回路系11を有しており、伝送データS8として伝送される量子化データS5を局部復号し、フレームメモリ4に供給するようになされている。局部復号回路系11は、量子化データS5を逆量子化回路(Q-1)12に入力すると、量子化データS5を代表値に逆量子化して逆量子化データS10に変換して量子化前の変換データを復号し、デイスクリートコサイン逆変換(DCT-1)回路13に供給する。
【0020】デイスクリートコサイン逆変換回路13は、逆量子化回路12で復号された逆量子化データS10をデイスクリートコサイン変換回路5とは逆の変換処理で復号画像データS11に変換し、フレームデータ生成回路14に出力する。ここでフレームデータ生成回路14は、フレームメモリ4からフイードバツクされるフレーム画像データS2と復号画像データS11を加算して伝送データS8として出力された画像データを復元し、フレームメモリ4に順次格納するようになされている。
【0021】さらに動画像データ符号化装置1は、入力画像データS1を動きベクトル演算回路18に入力して動きベクトルを求めると、動きデータS15として動き補償回路19及びエンコーダ9に供給するようになされている。ここで動き補償回路19は、フレームメモリ4から復号画像データS16を読み出すと共に、当該復号画像データS16を動き補償する動き予測データS17をフレームメモリ4に出力するようになされている。
【0022】またエンコーダ9は、動きベクトル演算回路18で求められた動きデータS15を符号化し、動きベクトルデータS7としてマルチプレクサ8に出力するようになされている。
【0023】これに対して図3において20は全体として動画像データ復号化装置(デコーダ)を示し、記録媒体から読み出された再生データS21を入力端子21よりバツフア回路22を介して符号誤り検出/訂正回路23に入力するようになされている。
【0024】ここで符号誤り検出/訂正回路23は、再生データS21から画像データに含まれる誤りを検出すると共に訂正し、訂正後の再生画像データS22をデマルチプレクサ回路24に出力する。また符号誤り検出/訂正回路23は、符号誤りを訂正できないブロツクを検出すると出力される画像データの切り換えを制御する切換信号S23を出力するようになされている。
【0025】デマルチプレクサ回路24は、再生画像データS22から動きベクトルデータを分離し、差分画像情報データS24として可変長復号化回路(VLC-1)25に供給し、可変長符号符号化回路7で符号化される前の復号画像データS25を復号して逆量子化回路(Q-1)26に供給する。
【0026】逆量子化回路26は、復号画像データS25を代表値に逆量子化して逆量子化データS26に変換すると、デイスクリートコサイン逆変換回路27でデイスクリートコサイン変換回路5とは逆の変換処理で復号画像データS27に変換し、フレームデータ生成回路28に出力するようになされている。
【0027】またフレームデータ生成回路28は、フレームメモリ29から読み出される動き補償データS28に復号画像データS27を加算して復号画像データS29を復号し、切換回路30を介してフレームメモリ29より出力するようになされている。
【0028】ここで切換回路30は、符号誤り検出訂正回路23から供給される切換信号S23でオン/オフ制御され、符号誤り検出訂正回路23で再生データS21に訂正できない符号誤りが検出された場合には、フレームメモリ29に復号画像データS29を記憶させないようになされている。
【0029】またデマクチプレクサ回路24は、再生画像データS22からベクトルデータを分離すると、現動きベクトルデータS30として切換回路31を介して動きベクトルメモリ32に供給するようになされている。
【0030】ここで切換回路31は、符号誤り検出/訂正回路23で再生データS21に訂正できない符号誤りが検出されない場合、過去3フレーム分の動きベクトルを保持する動きベクトルメモリ32に現動きベクトルデータS30を供給するようになされている。
【0031】切換回路33は、符号誤り検出/訂正回路23から供給される切換信号S23で切り換え制御されるようになされており、現フレームの再生データS21に訂正できない符号誤りが検出されない場合には、現動きベクトルデータS30を動き補償回路34に供給し、又は訂正できない符号誤りが検出された場合には、動きベクトルメモリ32に保持されている前動きベクトルデータS31を動き補償回路34に供給するようになれている。
【0032】動き補償回路34は、フレームメモリ29から基準フレームデータS32を入力すると現又は前動きベクトルデータS30又はS31に基づいて予測ブロツク画像を生成し、予測画像データS33としてフレームメモリ29に格納するようになされている。
【0033】フレームメモリ29は、訂正できない符号誤りが発生した場合には、対応するブロツク部分の画像データとして前動きベクトルS31で生成した予測画像データS33を一旦置き換えて記憶するようになされていると共に、出力画像データS34として出力するようになされている。
【0034】ここでフレームメモリ29は、前動きベクトルデータS31の動き量が所定値に対して大きい場合には、補間回路40から新たに入力される補間画像データS43を予測画像データS33に置き換えて記憶し、出力画像データS34として出力するようになされている。
【0035】補間回路40は、遅延回路41を介して動きベクトルメモリ32から動きベクトルデータS41を入力すると共に、遅延回路42を介して切換信号S23を入力し、動きベクトルデータS41の動き量が予め設定されたしきい値に対して大きい場合には、フレームメモリ29から読み出した4画素分の画像データS42(図4において欠落が生じた画素をXとした場合の隣接ブロツクの画素A、B、C、D)に基づいて補間画像データS43を生成するようになされている。
【0036】ここで補間回路40は、当該フレーム内補間処理をするには注目ブロツクRの上下左右4ブロツク内に位置する4画素分の画像データ(a、b、c、d)を要するため、注目画素Rの下側に隣接するブロツクの復号が終了を待つて画素データを補間するようになされている。因みに補間回路40は、注目ブロツクRが画面最下列に位置する場合には、動き補償回路34によるフレーム間補間処理が終了した後、直ちにフレーム内補間処理を開始するようになされている。
【0037】ここで遅延回路41及び42は、補間回路40が現在復号化が終了した又はフレーム間修正が終了したブロツクの1列(1スライス)過去のブロツクを修正できるように、動きベクトルデータS41及び切換信号S23を遅延するようになされている。
【0038】以上の構成において、動画像データ復号化装置20は記録媒体より順次再生データS21を読み出すと、バツフア回路22を介して符号誤り検出訂正回路23に入力する。
【0039】ここで動画像データ復号化装置20は、符号誤り検出訂正回路23で再生データS21の符号誤りを訂正できる場合には、誤り検出訂正符号に基づいて訂正された訂正画像データS22をデマルチプレクサ回路24、可変長復号化回路25、逆量子化回路26及びデイスクリートコサイン逆変換回路27を順次介してフレームデータ生成回路28に供給する。
【0040】フレームデータ生成回路28は、フレームメモリ29に基準フレームとして記憶されているイントラフレームI0を動き補償してなる動き補償データS28に復号データS27を加算して復号画像データS29を復号すると、切換回路30を介してフレームメモリ29に供給し、プレデイクトフレームP0及びバイデイレクシヨナルフレームB0、B1……の画像データを順次復号し、復号画像データS34として出力する。
【0041】これに対して動画像データ復号化装置20は、符号誤り検出訂正回路23で再生データS21の符号誤りを訂正できないブロツクが検出された場合には、切換信号S23を切換回路30、31に出力して復号画像データS29及び現動きベクトルデータS30のフレームメモリ29及び動きベクトルメモリ32への書き込みを中止する。
【0042】また動画像データ復号化装置20は、切換信号S23を動きベクトルメモリ32及び切換回路33に出力して動きベクトルメモリ32に格納されている過去のフレームの対応ブロツクにおける動きベクトルを読み出して動き補償回路34に供給し、過去の動きベクトルから予測した予測画像データS33で該当画素に置き換える。
【0043】このとき補間回路40は、遅延回路41を介して入力される動きベクトルデータS41の動き量が所定値に対して大きいか否かを判別し、動き量が所定値に対して小さい場合には、フレームメモリ29は、欠落が生じた画素Xの画素データxを予測画像データS33で置き換えてることによりフレーム間補間されたフレーム画像を出力画像データS34として出力する。
【0044】これに対して補間回路40は、動き量が所定値に対して大きい場合には、誤り訂正できない符号誤りが生じた画素Xが生じた注目ブロツクRに隣接するブロツクの4画素(A、B、C、D)から注目画素Xの画像データを生成し、補間画像データS43として出力する。
【0045】ここで隣接ブロツク内の4画素A、B、C、Dは、注目画素Xと同列又は同行に位置し、注目ブロツクXに隣接する画素であり、各画素値はa、b、c、dである。また当該4画素A、B、C、Dと注目画素X間の距離をLA、LB、LC、LDとすると、注目画素Xの画素値xは、次式
【数1】


による直線補間により求められ、補間画像データS43としてフレームメモリ29に出力される。
【0046】このときフレームメモリ29は、誤り訂正できない符号誤りが生じた注目画素Xの画素値xを一旦記憶された予測画像データS33に代えて当該フレーム内補間により生成された補間画像データS43に新たに書き換え、出力画像データS34として出力する。
【0047】これに対して誤り訂正できない符号誤りが生じた注目画素Xを含む注目ブロツクRが画面の最外周ブロツクである場合や隣接ブロツクのうちの1つが誤り訂正できない符号誤りが生じているブロツクの場合には、隣接ブロツクから4画素A、B、C、Dを参照できないため、検出できない隣接ブロツクに対して反対側の隣接ブロツクの画素を用いて画素値xを求める。
【0048】例えば図4において、左側の隣接ブロツクが参照できないため、画素Bの画素値bを得ることができない場合には、
【数2】


を(1)式に代入し、注目画素Xの画素値xを求める。
【0049】また誤り訂正できない符号誤りが生じた注目画素Xを含む注目ブロツクRの左右両隣りに位置する隣接ブロツクを参照できない場合には、
【数3】


により画素値xを求めて、欠落が生じた画素の画像が周辺部分に対して目立たないように補正する。
【0050】以上の構成によれば、動画像データをブロツク単位で復号して再生する動画像データ復号化装置において、再生される動画像データに誤り訂正できない符号誤りが検出された場合には、過去のフレームでの動きベクトルに基づいて過去のフレームから生成される予測画像で該当するブロツクの画像を一旦置き換え、さらに当該予測に用いた動きベクトルの動き量が大きい場合には、さらに周辺画素から補間した補間画像に置き換えることにより、欠落が生じた画像の動きの大小に係わらず、符号誤りによる欠落が目立たないように欠落画像を修正することができる。
【0051】なお上述の実施例においては、画像をフレーム単位で動き予測する場合について述べたが、本発明はこれに限らず、フイールド単位で動き予測するシステムにも適用することができる。
【0052】また上述の実施例においては、デイスクリートコサイン変換DCT及びフレーム間での動き予測を用いたシステムに適用する場合について述べたが、本発明はこれに限らず、フレーム間での予測処理を実行する動画像データ復号化装置に適用して好適なものである。
【0053】さらに上述の実施例においては、誤り訂正できない符号誤りが生じた画像データをフレーム間補間する際、当該画像データに対応する過去の動きベクトルにより動き補償された画像データにより補間する場合について述べたが、本発明はこれに限らず、過去のフレームの該当ブロツク内の画素データで置き換えるようにしても良い。
【0054】さらに上述の実施例においては、誤り訂正できない符号誤りが生じたとき、過去のフレームの動きベクトルを用いてフレーム内又はフレーム間補間処理をする場合について述べたが、本発明はこれに限らず、同一フレーム内の隣接ブロツクの動きベクトルを用いて補間処理するようにしても良い。例えば注目ブロツクRに対して復号化の終了している左隣又は上側のブロツクの動きベクトルを用いるようにすれば良い。
【0055】さらに上述の実施例においては、誤り訂正できない符号誤りが生じた注目画素Xを含む注目ブロツクRの左右両隣りに位置する隣接ブロツクを参照できないとき、(3)式を用いて注目画素Xの画素値xを求める場合について述べたが、本発明はこれに限らず、注目ブロツクRの上下方向に隣接する隣接ブロツクを参照できない場合には、同様にして注目画素Xの画素値xを求めることができる。
【0056】さらに上述の実施例においては、図2に示す構成のシーケンス、すなわちI0 、B0 、B1 、P0 、B2 、B3 、P1 、B4 、B5 、I1 ……の場合について述べたが、本発明はこれに限らず、イントラフレームI、プレデイレクトリフレームP及びバイデイレクシヨナリフレームBによる種々の組み合わせでのシーケンスの場合にも適用し得る。
【0057】さらに上述の実施例においては、動きベクトルメモリ32に過去3フレーム分の動きベクトルを記憶させる場合について述べたが、本発明はこれに限らず、過去複数フレームの動きベクトルを記憶する場合に広く適用し得る。
【0058】
【発明の効果】上述のように本発明によれば、誤り訂正できない符号誤りが検出された場合には、符号誤りが検出された動画像データに対応する動きベクトルの動き量に応じて、■画像データと予測画像データ(基準フレームデータと動きベクトルとに基づいて得る)又は■画像データと補間画像データ(復号画像データと遅延された誤り検出信号と遅延された動きベクトルとに基づいて得る)、とを、合成して復号することにより、復号画像の動きの大小に応じて、符号誤りによる画像の欠落部分を常に周辺画像に対して滑らかに修整することができる。
【図面の簡単な説明】
【図1】本発明の動画像データ符号化装置の一実施例の構成を示すブロツク図である。
【図2】そのフレーム間動き予測の説明に供する略線図である。
【図3】本発明の動画像データ復号化装置の一実施例の構成を示すブロツク図である。
【図4】そのブロツク補間の説明に供する略線図である。
【図5】フレーム内補間処理の説明に供する略線図である。
【図6】他の実施例の説明に供する略線図である。
【符号の説明】
1……動画像データ符号化装置、20……動画像データ復号化装置、21……入力端子、22……バツフア回路、23……符号誤り検出/訂正回路、24……デマルチプレクサ回路、25……可変長復号化回路、26……逆量子化回路、27……デイスクリートコサイン逆変換回路、28……フレームデータ生成回路、29……フレームメモリ、30、31、33……切換回路、32……動きベクトルメモリ、34……動き補償回路、40……補間回路、41、42……遅延回路。

【特許請求の範囲】
【請求項1】順次入力される動画像データを復号する動画像データ復号化装置において、上記動画像データの符号誤りを訂正し、再生デイジタル信号を出力すると共に、上記動画像データに誤り訂正できない符号誤りを検出すると誤り検出信号を出力する誤り検出/訂正手段と、上記再生デイジタル信号から動きベクトルデータと画像データとを分離するデマルチプレクサ手段と、フレームデータを記憶するフレームメモリと、可変長復号化し、逆量子化し、離散コサイン逆変換された上記画像データに、フレームメモリから読み出した動き補償データを加算して復号画像データを生成するフレームデータ生成手段と、上記フレームメモリから読み出した基準フレームデータと動きベクトルから予測画像データを生成する動き補償手段と、上記誤り検出信号が出力された場合に、上記復号画像データの上記フレームメモリへの書き込みを中止する切換手段と、上記ベクトルデータを記憶する動きベクトルメモリと、上記誤り検出信号が出力された場合に、上記動きベクトルの上記動きベクトルメモリへの書き込みを中止する切換手段と、上記誤り検出信号が出力された場合に、上記動きベクトルメモリから動きベクトル動き補償手段へ入力する切換手段と、上記フレームメモリから読み出された復号画像データと遅延された上記誤り検出信号と遅延された上記動きベクトルメモリから読み出された動きベクトルとに基づいて補間画像データを生成し、遅延された上記動きベクトルデータの動き量が所定値に対して大きいかを判断し、上記動きベクトルの動き量が所定の値より大きい場合には、上記フレームメモリから読み出した欠落が生じた画素に隣接した4画素に基づいて補間画像を生成し、遅延された上記動きベクトルデータの動き量が所定値より小さい場合には、欠落の生じた画素データを上記予測画像で置き換えて補間画像生成する補間画像生成手段と、を具え、上記誤り検出信号が出力されない場合には、上記フレームデータ生成手段によつて生成された復号画像データを上記切換手段を介して上記フレームメモリより出力するようにし、上記誤り検出信号が出力されたときには、記補間画像生成手段によつて生成されたデータを上記フレームメモリより出力するようにしたことを特徴とする動画像データ復号化装置。
【請求項2】上記順次入力される動画像データは、デイスク状光記録媒体より読み出した動画像データであることを特徴とする請求項1に記載に記録の動画像データ復号化装置。

【図2】
image rotate


【図4】
image rotate


【図5】
image rotate


【図6】
image rotate


【図1】
image rotate


【図3】
image rotate


【特許番号】特許第3159327号(P3159327)
【登録日】平成13年2月16日(2001.2.16)
【発行日】平成13年4月23日(2001.4.23)
【国際特許分類】
【出願番号】特願平3−342413
【出願日】平成3年11月30日(1991.11.30)
【公開番号】特開平5−153573
【公開日】平成5年6月18日(1993.6.18)
【審査請求日】平成10年11月30日(1998.11.30)
【出願人】(000002185)ソニー株式会社 (34,172)
【参考文献】
【文献】特開 平3−209998(JP,A)
【文献】特開 平1−144873(JP,A)
【文献】特開 平3−139083(JP,A)