画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置
【課題】 同一のビットストリームから、画像１枚分の参照画像メモリを持つ復号化装置、又は画像２枚分の参照画像メモリを持つ復号化装置のいずれでも復号化を可能とする。
【解決手段】 Ｎ枚毎の画像信号に対しそれぞれＮ枚前の画像を予測画像として前方予測符号化を行ってビットストリームＡを生成し、Ｎ枚毎の画像信号以外の画像信号に対し、それぞれＮ枚毎の画像信号を予測画像として前方予測符号化を行ってビットストリームＢを生成し、それぞれ前後２枚のＮ枚毎の画像信号を予測画像として後方予測符号化を行ってビットストリームＣを生成し、ビットストリームＡにはビットストリームＢ，Ｃで共通に使用できる共通ヘッダを付加し、ビットストリームＢ，Ｃからはこの共通ヘッダを除いて、並列に伝送する。
【解決手段】 Ｎ枚毎の画像信号に対しそれぞれＮ枚前の画像を予測画像として前方予測符号化を行ってビットストリームＡを生成し、Ｎ枚毎の画像信号以外の画像信号に対し、それぞれＮ枚毎の画像信号を予測画像として前方予測符号化を行ってビットストリームＢを生成し、それぞれ前後２枚のＮ枚毎の画像信号を予測画像として後方予測符号化を行ってビットストリームＣを生成し、ビットストリームＡにはビットストリームＢ，Ｃで共通に使用できる共通ヘッダを付加し、ビットストリームＢ，Ｃからはこの共通ヘッダを除いて、並列に伝送する。
【発明の詳細な説明】
【０００１】
【０００２】
【産業上の利用分野】本発明は、動画像信号を、例えば光磁気ディスクや磁気テープなどの記録媒体に記録し、これを再生してディスプレイなどに表示したり、テレビ会議システム、テレビ電話システム、放送用機器など、動画像信号を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合などに用いて好適な画像信号伝送方法及び画像信号伝送装置、並びに画像信号復号化方法及び画像信号復号化装置に関するものである。
【０００３】
【従来の技術】例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。
【０００４】上記ライン相関を利用する場合には、画像信号を、例えばＤＣＴ（離散コサイン変換）処理するなどして圧縮することができる。
【０００５】また、フレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図１３のＡに示すように、時刻ｔ＝ｔ１，ｔ２，ｔ３において、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれぞれ発生しているとき、フレーム画像ＰＣ１とＰＣ２の画像信号の差を演算して、図１３のＢに示すように画像ＰＣ１２を生成し、また、図１３のＡのフレーム画像ＰＣ２とＰＣ３の差を演算して、図１３のＢの画像ＰＣ２３を生成する。通常、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。すなわち、図１３のＢに示す画像ＰＣ１２においては、図１３のＡのフレーム画像ＰＣ１とＰＣ２の画像信号の差として、図１３のＢの画像ＰＣ１２の図中斜線で示す部分の信号が得られ、また、図１３のＢに示す画像ＰＣ２３においては、図１３のＡのフレーム画像ＰＣ２とＰＣ３の画像信号の差として、図１３のＢの画像ＰＣ２３の図中斜線で示す部分の信号が得られる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。
【０００６】しかしながら、上記差分信号のみを伝送したのでは、元の画像を復元することができない。そこで、各フレームの画像を、Ｉピクチャ（イントラ符号化画像：Intra-coded picture)、Ｐピクチャ（前方予測符号化画像： Perdictive-codedpicture)またはＢピクチャ（両方向予測符号化画像： Bidirectionally-codedpicture)の３種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。
【０００７】即ち、例えば図１４のＡ及びＢに示すように、フレームＦ１乃至Ｆ１７までの１７フレームの画像信号をグループオブピクチャとし、処理の１単位とする。そして、その先頭のフレームＦ１の画像信号はＩピクチャとして符号化し、第２番目のフレームＦ２はＢピクチャとして、また第３番目のフレームＦ３はＰピクチャとして、それぞれ処理する。以下、第４番目以降のフレームＦ４乃至Ｆ１７は、ＢピクチャまたはＰピクチャとして交互に処理する。
【０００８】Ｉピクチャの画像信号としては、その１フレーム分の画像信号をそのまま伝送する。これに対して、Ｐピクチャの画像信号としては、基本的には、図１４R>４のＡに示すように、それより時間的に先行するＩピクチャまたはＰピクチャの画像信号からの差分を符号化して伝送する。さらにＢピクチャの画像信号としては、基本的には、図１４のＢに示すように、時間的に先行するフレームまたは後行するフレームの両方の平均値からの差分を求め、その差分を符号化して伝送する。
【０００９】図１５のＡ及びＢは、このようにして、動画像信号を符号化する方法の原理を示している。なお、図１５のＡには動画像信号のフレームのデータを、図１５R>５のＢには伝送されるフレームデータを模式的に示している。この図１５に示すように、最初のフレームＦ１はＩピクチャすなわち非補間フレームとして処理されるため、そのまま伝送データＦ１Ｘ（伝送非補間フレームデータ）として伝送路に伝送される（イントラ符号化）。これに対して、第２のフレームＦ２は、Ｂピクチャすなわち補間フレームとして処理されるため、時間的に先行する上記フレームＦ１と、時間的に後行するフレームＦ３（フレーム間符号化の非補間フレーム）の平均値との差分が演算され、その差分が伝送データ（伝送補間フレームデータ）Ｆ２Ｘとして伝送される。
【００１０】但し、このＢピクチャとしての処理は、さらに細かく説明すると、マクロブロック単位で切り替えが可能な４種類のモードが存在する。その第１の処理は、元のフレームＦ２のデータを図中破線の矢印ＳＰ１で示すようにそのまま伝送データＦ２Ｘとして伝送するものであり（イントラ符号化モード）、Ｉピクチャにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、図中破線矢印ＳＰ２で示すようにその差分を伝送するものである（後方予測モード）。第３の処理は、図中破線矢印ＳＰ３で示すように時間的に先行するフレームＦ１との差分を伝送するものである（前方予測モード）。さらに第４の処理は、図中破線矢印ＳＰ４で示すように時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分を生成し、これを伝送データＦ２Ｘとして伝送するものである（両方向予測モード）。
【００１１】この４つの方法のうち、伝送データが最も少なくなる方法がマクロブロック単位で採用される。
【００１２】尚、差分データを伝送するときには、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（前方予測の場合のフレームＦ１とＦ２の間の動きベクトル）、もしくは動きベクトルｘ２（後方予測の場合のフレームＦ３とＦ２の間の動きベクトル）、または動きベクトルｘ１とｘ２の両方（両方向予測の場合）が、差分データとともに伝送される。
【００１３】また、ＰピクチャのフレームＦ３（フレーム間符号化の非補間フレーム）は、時間的に先行するフレームＦ１を予測画像として、このフレームＦ１との差分信号（破線矢印ＳＰ３で示す）と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（前方予測モード）。あるいはまた、元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送（破線矢印ＳＰ１で示す）される（イントラ符号化モード）。このＰピクチャにおいて、いずれの方法により伝送されるかは、Ｂピクチャにおける場合と同様であり、伝送データがより少なくなる方がマクロブロック単位で選択される。
【００１４】なお、ＢピクチャのフレームＦ４とＰピクチャのフレームＦ５も上述同様に処理され、伝送データＦ４Ｘ、Ｆ５Ｘ、動きベクトルｘ４，ｘ５，ｘ６等が得られる。
【００１５】図１６は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号化する装置の構成例を示している。符号化装置１は、入力された映像信号を符号化し、伝送路としての記録媒体３に伝送して記録するようになされている。そして、復号化装置２は、記録媒体３に記録された信号を再生し、これを復号して出力するようになされている。
【００１６】先ず、符号化装置１においては、入力端子１０を介して入力された映像信号ＶＤが前処理回路１１に入力され、そこで輝度信号と色信号（この例の場合、色差信号）が分離され、それぞれＡ／Ｄ変換器１２，１３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２，１３によりＡ／Ｄ変換されてディジタル信号となった映像信号は、フレームメモリ１４に供給され、記憶される。このフレームメモリ１４では、輝度信号を輝度信号フレームメモリ１５に、また、色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。
【００１７】フォーマット変換回路１７は、フレームメモリ１４に記憶されたフレームフォーマットの信号を、ブロックフォーマットの信号に変換する。即ち、図１７の（Ａ）に示すように、フレームメモリ１４に記憶された映像信号は、１ライン当りＨドットのラインがＶライン集められたフレームフォーマットのデータとされている。フォーマット変換回路１７は、この１フレームの信号を、１６ラインを単位としてＮ個のスライスに区分する。そして、各スライスは、図１７の（Ｂ）に示すように、Ｍ個のマクロブロックに分割される。各マクロブロックは、図１７の（Ｃ）に示すように、１６×１６個の画素（ドット）に対応する輝度信号により構成され、この輝度信号は、図１７の（Ｃ）に示すように、さらに８×８ドットを単位とするブロックＹ［１］乃至Ｙ［４］に区分される。そして、この１６×１６ドットの輝度信号には、８×８ドットのＣｂ信号と、８×８ドットのＣｒ信号が対応される。
【００１８】このように、ブロックフォーマットに変換されたデータは、フォーマット変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）が行われる。その詳細については、図１８を参照して後述する。
【００１９】エンコーダ１８によりエンコードされた信号は、ビットストリームとして伝送路に出力され、例えば記録媒体３に記録される。
【００２０】記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給され、デコードされる。デコーダ３１の詳細については、図２１を参照して後述する。
【００２１】デコーダ３１によりデコードされたデータは、フォーマット変換回路３２に入力され、ブロックフォーマットからフレームフォーマットに変換される。そして、フレームフォーマットの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給され、記憶され、色差信号は色差信号フレームメモリ３５に供給され、記憶される。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／Ａ変換され、後処理回路３８に供給され、合成される。この出力映像信号は、出力端子３０から図示せぬ例えばＣＲＴなどのディスプレイに出力され、表示される。
【００２２】次に図１８を参照して、エンコーダ１８の構成例について説明する。
【００２３】入力端子４９を介して供給された符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予め定められている（例えば、図１４に示したように、フレームＦ１乃至Ｆ１７により構成されるグループオブピクチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。
【００２４】Ｉピクチャとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送、記憶され、Ｂピクチャとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部（参照原画像部）５１ｂに転送、記憶され、Ｐピクチャとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送、記憶される。
【００２５】また、次のタイミングにおいて、さらにＢピクチャ（例えば前記フレームＦ４）またはＰピクチャ（前記フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチャ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチャ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチャ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。
【００２６】フレームメモリ５１に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り換え回路５２において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。さらにまた予測判定回路５４の制御の下に、演算部５３において、イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードによる演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応してマクロブロック単位で決定される。このため、動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でもよい）及び、その予測誤差信号に対応するイントラ符号化モードの評価値をマクロブロック単位で生成する。
【００２７】ここで、予測モード切り換え回路５２におけるフレーム予測モードとフィールド予測モードについて説明する。
【００２８】フレーム予測モードが設定された場合においては、予測モード切り換え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロックＹ［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出力する。即ち、この場合においては、図１９のＡに示すように、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。なお、図１９の各マクロブロック中の実線は奇数フィールド（第１フィールドのライン）のラインのデータを、破線は偶数フィールド（第２フィールドのライン）のラインのデータを示し、図１９の図中ａ及びｂは動き補償の単位を示している。このフレーム予測モードにおいては、４個の輝度ブロック（マクロブロック）を単位として予測が行われ、４個の輝度ブロックに対して１個の動きベクトルが対応される。
【００２９】これに対して、予測モード切り換え回路５２は、フィールド予測モードが設定された場合、図１９のＡに示す構成で動きベクトル検出回路５０より入力される信号を、図１９のＢに示すように、４個の輝度ブロックのうち、輝度ブロックＹ［１］とＹ［２］を、例えば奇数フィールドのラインのドットによりのみ構成させ、他の２個の輝度ブロックＹ［３］とＹ［４］を、偶数フィールドのラインのデータにより構成させて、演算部５３に出力する。この場合においては、２個の輝度ブロックＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロックＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。
【００３０】尚、色差信号は、フレーム予測モードの場合、図１９のＡに示すように、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算部５３に供給される。また、フィールド予測モードの場合、図１９のＢに示すように、各色差ブロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブロックＹ［１］，Ｙ［２］に対応する奇数フィールドの色差信号とされ、下半分（４ライン）が、輝度ブロックＹ［３］，Ｙ［４］に対応する偶数フィールドの色差信号とされる。
【００３１】また、動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、各マクロブロックに対し、イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれの予測を行なうか及びフレーム予測モード、フィールド予測モードのどちらで処理するかを決定するためのイントラ符号化モードの評価値及び各予測誤差の絶対値和をマクロブロック単位で生成する。
【００３２】即ち、イントラ符号化モードの評価値として、これから符号化される参照画像のマクロブロックの信号Ａijとその平均値との差の絶対値和Σ｜Ａij−（Ａijの平均値）｜を求める。また、前方予測の予測誤差の絶対値和として、フレーム予測モード及びフィールド予測モードそれぞれにおける、参照画像のマクロブロックの信号Ａijと、予測画像のマクロブロックの信号Ｂijの差（Ａij−Ｂij）の絶対値｜Ａij−Ｂij｜の和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）フレーム予測モード及びフィールド予測モードの場合のそれぞれに対して求める。
【００３３】これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、フレーム予測モード、フィールド予測モードそれぞれにおける前方予測、後方予測及び両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インター(inter) 予測の予測誤差の絶対値和として選択する。さらに、このインター予測の予測誤差の絶対値和と、イントラ符号化モードの評価値とを比較し、その小さい方を選択し、この選択した値に対応するモードを予測モード及びフレーム／フィールド予測モードとして選択する。即ち、イントラ符号化モードの評価値の方が小さければ、イントラ符号化モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうち、対応する絶対値和が最も小さかったモードが予測モード及びフレーム／フィールド予測モードとして設定される。
【００３４】上述したように、予測モード切り換え回路５２は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、予測判定回路５４により選択されたモードに対応する図１９で示したような構成で、演算部５３に供給する。また動きベクトル検出回路５０は、予測判定回路５４により選択された予測モードに対応する予測画像と参照画像との間の動きベクトルを出力し、後述する可変長符号化回路５８と動き補償回路６４に供給する。なお、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【００３５】予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチャの画像データを読み出しているとき、予測モードとして、イントラ符号化モード（動き補償を行わないモード）を設定し、演算部５３のスイッチ５３ｄを接点ａ側に切り換える。これにより、Ｉピクチャの画像データがＤＣＴモード切り換え回路５５に入力される。
【００３６】このＤＣＴモード切り換え回路５５は、図２０２０のＡまたはＢに示すように、４個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態（フレームＤＣＴモード）、または、分離された状態（フィールドＤＣＴモード）、のいずれかの状態にして、ＤＣＴ回路５６に出力する。
【００３７】即ち、ＤＣＴモード切り換え回路５５は、奇数フィールドと偶数フィールドのデータを混在してＤＣＴ処理した場合における符号化効率と、分離した状態においてＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。
【００３８】例えば、入力された信号を、図２０のＡに示すように、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和（または自乗和）を求める。また、入力された信号を、図２０のＢに示すように、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和（または自乗和）を求める。さらに、両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。即ち、前者の方が小さければ、フレームＤＣＴモードを設定し、後者の方が小さければ、フィールドＤＣＴモードを設定する。
【００３９】そして、選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグを、可変長符号化回路５８に出力する。
【００４０】予測モード切り換え回路５２におけるフレーム／フィールド予測モード（図１９参照）と、このＤＣＴモード切り換え回路５５におけるＤＣＴモード（図２０２０参照）を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。
【００４１】予測モード切り換え回路５２において、フレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り換え回路５５においても、フレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り換え回路５２において、フィールド予測モード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択された場合、ＤＣＴモード切り換え回路５５において、フィールドＤＣＴモード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択される可能性が高い。
【００４２】しかしながら、必ずしも常にそのようになされるわけではなく、予測モード切り換え回路５２においては、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り換え回路５５においては、符号化効率が良好となるようにモードが決定される。
【００４３】ＤＣＴモード切り換え回路５５より出力されたＩピクチャの画像データは、ＤＣＴ回路５６に入力され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路５７に入力され、送信バッファ５９のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、可変長符号化回路５８に入力される。
【００４４】可変長符号化回路５８は、量子化回路５７より供給される量子化ステップ（スケール）に対応して、量子化回路５７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン(Huffman) 符号などの可変長符号に変換し、送信バッファ５９に出力する。
【００４５】可変長符号化回路５８にはまた、量子化回路５７より量子化ステップ（スケール）、予測判定回路５４より予測モード（イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれが設定されたかを示すモード）、動きベクトル検出回路５０より動きベクトル、予測判定回路５４より予測フラグ（フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ）、及びＤＣＴモード切り換え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモードまたはフィールドＤＣＴモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。
【００４６】送信バッファ５９は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。
【００４７】送信バッファ５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ５９は、量子化制御信号によって量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ５９のオーバフローまたはアンダフローが防止される。
【００４８】そして、送信バッファ５９に蓄積されたデータは、所定のタイミングで読み出され、出力端子６９を介して伝送路に出力され、例えば記録媒体３に記録される。
【００４９】一方、量子化回路５７より出力されたＩピクチャのデータは、逆量子化回路６０に入力され、量子化回路５７より供給される量子化ステップに対応して逆量子化される。逆量子化回路６０の出力は、ＩＤＣＴ（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された後、演算器６２を介してフレームメモリ６３の前方予測画像部６３ａに供給され、記憶される。
【００５０】ところで動きベクトル検出回路５０は、シーケンシャルに入力される各フレームの画像データを、たとえば、前述したようにＩ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチャとして処理した後、次に入力されたフレームの画像をＢピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチャとして処理する。Ｂピクチャは、後方予測及び両方向予測を伴う可能性があるため、後方予測画像としてのＰピクチャが先に用意されていないと、復号することができないからである。
【００５１】そこで動きベクトル検出回路５０は、Ｉピクチャの処理の次に、後方原画像部５１ｃに記憶されているＰピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのイントラ符号化モードの評価値及びフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測判定回路５４に供給される。予測判定回路５４は、このＰピクチャのマクロブロックのイントラ符号化モードの評価値及び予測誤差の絶対値和に対応して、フレーム予測モード、フィールド予測モードの何れか、及びイントラ符号化モード、前方予測モードのいずれの予測モードかをマクロブロック単位で設定する。
【００５２】演算部５３はイントラ符号化モードが設定されたとき、スイッチ５３ｄを上述したように接点ａ側に切り換える。従って、このデータは、Ｉピクチャのデータと同様に、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、このデータは、逆量子化回路６０、ＩＤＣＴ回路６１、演算器６２を介してフレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。
【００５３】一方、前方予測モードの時、スイッチ５３ｄが接点ｂに切り換えられるとともに、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（いまの場合Ｉピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００５４】動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り換え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された、このマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、この差分データは、逆量子化回路６０、ＩＤＣＴ回路６１により局所的に復号され、演算器６２に入力される。
【００５５】この演算器６２にはまた、演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、ＩＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチャの画像データが得られる。このＰピクチャの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。尚、実際には、演算器６２に供給される、ＩＤＣＴ回路の出力する差分データのデータ構造と予測画像データのデータ構造とは、同じである必要があるため、フレーム／フィールド予測モードとフレーム／フィールドＤＣＴモードが、異なる場合に備えてデータの並べ換えを行う回路が必要であるが、簡単のため省略する。
【００５６】動きベクトル検出回路５０は、このように、ＩピクチャとＰピクチャのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチャの処理を実行する。予測判定回路５４は、マクロブロック単位でのイントラ符号化モードの評価値及びフレーム間差分の絶対値和の大きさに対応して、フレーム／フィールド予測モードを設定し、また、予測モードをイントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。
【００５７】上述したように、イントラ符号化モードまたは前方予測モードの時、スイッチ５３ｄは接点ａまたはｂに切り換えられる。このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。
【００５８】これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ５３ｄは、接点ｃまたはｄにそれぞれ切り換えられる。
【００５９】スイッチ５３ｄが接点ｃに切り換えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００６０】動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは、予測モード切り換え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データを減算し、その差分を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。
【００６１】スイッチ５３ｄが接点ｄに切り換えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、フレーム予測モードの場合、前方予測画像用と後方予測画像用の２つ、フィールド予測モードの場合は、前方予測画像用に２つ、後方予測画像用の２つの計４つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００６２】動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは、動きベクトル検出回路５０より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。
【００６３】Ｂピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。
【００６４】尚、フレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り換えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り換えて出力することができる。
【００６５】以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図１９R>９及び図２０に示すマクロブロックを単位として処理され、伝送される。尚、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【００６６】次に、図２１は、図１６のデコーダ３１の一例の構成を示すブロック図である。伝送路（記録媒体３）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、入力端子８０を介して受信バッファ８１に一時記憶された後、復号回路９０の可変長復号化回路８２に供給される。可変長復号化回路８２は、受信バッファ８１より供給されたデータを可変長復号化し、動きベクトル、予測モード、予測フラグ及びＤＣＴフラグを動き補償回路８７に、また、量子化ステップを逆量子化回路８３に、それぞれ出力するとともに、復号された画像データを逆量子化回路８３に出力する。
【００６７】逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化ステップに従って逆量子化し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８４で、逆ＤＣＴ処理され、演算器８５に供給される。
【００６８】ＩＤＣＴ回路８４より供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部８６ａに供給されて記憶される。また、このデータは、フォーマット変換回路３２（図１６）に出力される。
【００６９】ＩＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチャのデータであって、前方予測モードで符号化されたマクロブロックのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている、１フレーム前の画像データ（Ｉピクチャのデータ）が読み出され、動き補償回路８７で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。そして、演算器８５において、ＩＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され、出力される。この加算されたデータ、即ち、復号されたＰピクチャのデータは、演算器８５に後に入力される画像データ（ＢピクチャまたはＰピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部８６ｂに供給されて記憶される。
【００７０】Ｐピクチャのデータであっても、イントラ符号化モードで符号化されたマクロブロックのデータは、Ｉピクチャのデータと同様に、演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。
【００７１】このＰピクチャは、次のＢピクチャの次に表示されるべき画像であるため、この時点では、まだフォーマット変換回路３２へ出力されない（上述したように、Ｂピクチャの後に入力されたＰピクチャが、Ｂピクチャより先に処理され、伝送されている）。
【００７２】ＩＤＣＴ回路８４より供給された画像データが、Ｂピクチャのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチャの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチャの画像データ（後方予測モードの場合）、または、その両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において、可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。但し、動き補償を必要としない場合（イントラ符号化モードの場合）、予測画像は生成されない。
【００７３】このようにして、動き補償回路８７で動き補償が施されたデータは、演算器８５において、ＩＤＣＴ回路８４の出力と加算される。この加算出力は、出力端子９１を介してフォーマット変換回路３２に出力される。
【００７４】但し、この加算出力はＢピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。
【００７５】Ｂピクチャの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチャの画像データが読み出され、動き補償回路８７及び演算器８５を介して再生画像として出力される。但し、このとき、動き補償及び加算は行われない。
【００７６】尚、このデコーダ３１には、図１８のエンコーダ１８における予測モード切り換え回路５２とＤＣＴモード切り換え回路５５に対応する回路が図示されていないが、これらの回路に対応する処理、即ち、奇数フィールドと偶数フィールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路８７が実行する。
【００７７】また、以上においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。但し、この場合、動きベクトルは、輝度信号用のものを、垂直方向及び水平方向に１／２にしたものが用いられる。
【００７８】
【発明が解決しようとする課題】以上のように、従来の画像信号符号化および復号化方法によれば、２枚の予測画像を用いた両方向予測（すなわちＢピクチャを用いた符号化／復号化）が可能であるが、この場合メモリ量が大きくなる。また、１枚の予測画像を用いた前方予測（即ちＰピクチャを用いた符号化／復号化）又は後方予測（すなわち予測モードをイントラ符号化モード及び後方予測モードのみに限定したＢピクチャを用いた符号化／復号化）のみに限定すれば、メモリ量は削減可能であるが、画質が低下する。
【００７９】さらに上記両方向予測を用いて生成したビットストリームと、前方予測（後方予測）のみに限定して生成したビットストリームには、相互互換性がないという課題がある。
【００８０】現実的には、同一の信号から、画像１枚分の容量をもつ参照画像メモリを持つデコーダでも画像２枚分の参照画像メモリを持つデコーダでもデコードが可能であって、画像２枚分の参照画像メモリをもつデコーダを用いた場合は、両方向予測によって画質が向上するような、ビットストリームの互換性があることが望ましい。
【００８１】本発明はこのような状況に鑑みてなされたものであり、同一のビットストリームから、画像１枚分の参照画像メモリを持つ前方予測（後方予測）のみが可能なデコーダでデコードが可能であり、さらに画像２枚分の参照画像メモリを持つ両方向予測が可能なデコーダでデコードした場合には、画質が向上する様にでき、予測用参照画像メモリの量の異なるデコーダでそれぞれデコードが可能となるような互換性をもたせたビットストリームの画像信号伝送並びに復号化方法及びその装置に関するものである。
【００８２】
【課題を解決するための手段】ここで、本発明においては、３種類のビットストリームが生成される。すなわち、第１の符号化として、Ｎ枚の画像毎に、Ｉピクチャ及びＰピクチャとして符号化を行い第１のビットストリームを生成する。第２の符号化としては、上記第１の符号化において符号化されなかった（Ｎ−１）枚の画像を、第１の符号化で符号化された画像の局所復号画像を予測画像に用いて、Ｐピクチャ又は予測モードに制限を設けたＢピクチャ（イントラ符号化モード及び後方予測モードのみ選択が可能）として符号化を行い第２のビットストリームを生成する。第３の符号化としては、上記第１の符号化において符号化されなかった（Ｎ−１）枚の画像を、第１の符号化で符号化された画像の局所復号画像を予測画像に用いて、Ｂピクチャとして符号化を行い、第３のビットストリームを生成する。
【００８３】ここで、１枚の参照画像メモリを持つ前方予測（後方予測）のみが可能なデコーダでデコードする場合には、第１のビットストリームと第２のビットストリームを組み合わせることによって、復号を行う。１枚の参照画像メモリを用いることによって、第１のビットストリームからＩピクチャ及びＰピクチャとして符号化された画像信号を復号する。また、その復号画像を上記１枚の参照画像メモリに記憶し、この復号画像を予測画像に用いて、第２のビットストリームからＰピクチャ又は予測モードに制限を設けたＢピクチャ（イントラ符号化モード及び後方予測モードのみ選択が可能）として符号化された画像信号を復号する。
【００８４】これに対して、２枚の参照画像メモリを持つ両方向予測が可能なデコーダでデコードする場合には、第１のビットストリームと第３のビットストリームを組み合わせることによって復号を行う。２枚の参照画像メモリの内の１枚を用いることによって第１のビットストリームからＩピクチャ及びＰピクチャとして符号化された画像信号を復号する。またその復号画像を２枚の参照画像メモリに記憶し、この２枚の復号画像を予測画像に用いて第３のビットストリームからＢピクチャとして符号化された画像信号を復号する。
【００８５】本発明は、この符号化並びに復号化によって、予測用参照画像メモリの量の異なるデコーダでデコードが可能となるような、互換性を持つことを特徴としている。さらに、本発明は、上記第２，第３の符号化された信号の一部のヘッダ情報を上記第１の符号化された信号に付加して第１のビットストリームとし、第２，第３のビットストリームはこれらのヘッダ情報を除いたものとしている。
【００８６】
【作用】本発明によれば、同一のビットストリームから、画像１枚分の参照画像メモリを持つ前方予測（後方予測）のみが可能な復号化装置で復号化が可能となり、さらに画像２枚分の参照画像メモリを持つ両方向予測が可能な復号化装置で復号化した場合、画質が向上する様にでき、予測用参照画像メモリの量の異なる復号化装置で、それぞれ復号化することが可能となる。
【００８７】
【実施例】以下、本発明の実施例について図面を参照しながら説明する。
【００８８】ここで、本実施例の具体的な説明に先立ち、本実施例の予測画像について簡単に説明する。
【００８９】本実施例では、前記前方予測，後方予測，両方向予測等の予測の手法によって、必要となる参照画像メモリの枚数が限定される。先ず、前方予測のみで画像間距離が１の場合を図１に示す。この場合、前方予測に１枚前の画像の復号画像を用いるため、１枚の参照画像メモリが必要となる。すなわち、この場合、画像はＩピクチャとＰピクチャのみとなり、全て前方予測（但し、イントラ符号化モードによるマクロブロックを含んでもよい）によって画像を構成する。
【００９０】これに対して、両方向予測を行うことができるシステム（デコーダ）の場合を、図２に示す。この場合、前述した従来例で示したとおり前方予測用画像メモリおよび後方予測用画像メモリによる２枚の参照画像メモリが必要となる。すなわち、この場合、画像はＩピクチャ，Ｐピクチャ，Ｂピクチャとなる。
【００９１】本発明実施例では、上記参照画像を１枚とするデコーダでも、また、参照画像を２枚とするデコーダでもデコードが可能な、互換性を持った符号化方式に関して説明する。
【００９２】先ず、第１の実施例として、以下に示す２種類のデコーダでの互換性を持つ符号化方式／復号化方式に関して説明する。すなわち、第１に、１枚の参照画像メモリを持つ場合で前方予測のみが可能なデコーダと、第２に、２枚の参照画像メモリを持つ場合で両方向予測が可能なデコーダに対して互換性を有する符号化方式／復号化方式について説明する。
【００９３】上記符号化方式から説明する。
【００９４】図３を用いて本発明実施例の予測方式について説明する。この図３において、各画像に示してあるＩ，Ｐ，ＢはそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを表し、Ｐ’はＰピクチャを表している。また図中矢印は、予測で参照する画像間の予測の方向を示してある。
【００９５】この符号化においては、３種類のビットストリームが生成される。これらを図３の上から順に、第１のビットストリームであるビットストリームＡ（伝送チャネル（０）で伝送）、第２のビットストリームであるビットストリームＢ（伝送チャネル（１）で伝送）、第３のビットストリームであるビットストリームＣ (伝送チャネル（２）で伝送）とする。
【００９６】上記ビットストリームＡにおいては、それぞれの画像間の距離を２枚間隔（Ｎ＝２）として前方予測を行ったデータ（Ｐピクチャのデータ）及びＩピクチャのデータが符号化される。
【００９７】上記ビットストリームＢにおいては、上記ビットストリームＡで符号化されなかった１枚の画像を（Ｎ−１枚の画像すなわち上記ビットストリームＡに示すＩ，Ｐピクチャ間のＰ′ピクチャを）、ビットストリームＡの局所復号画像（Ｉ，Ｐピクチャ）を予測画像に用いて前方予測を行ったデータ（Ｐ′ピクチャのデータ）が符号化される。
【００９８】上記ビットストリームＣにおいては、上記ビットストリームＡで符号化されなかった１枚（Ｎ−１）の画像を（上記ビットストリームＢで符号化する画像を）、上記ビットストリームＡの前後２枚の局所復号画像（Ｉ又はＰピクチャ）を用いて両方向予測を行ったデータ（Ｂピクチャのデータ）が符号化される。
【００９９】ここで、上記ビットストリームＡは予測の基本となるビットストリームであり、上記ビットストリームＢおよびビットストリームＣは、それぞれ差し替え可能な、ビットストリームＡとの組み合わせによりデコードが可能となるビットストリームである。
【０１００】上述した本実施例の符号化によって生成されたビットストリームは、その組み合わせによって、エンコーダのローカルデコーダ及びデコーダに必要なメモリ枚数が変化する。
【０１０１】すなわち、第１に、ビットストリームＡ＋ビットストリームＢの組合せの場合には、エンコーダのローカルデコーダは少なくとも１枚の参照画像メモリを持つ必要があり、このローカルデコーダでは、イントラ符号化及び前方予測符号化されたデータのみの局所復号（ローカルデコード）が可能となる。
【０１０２】この場合のエンコーダブロックダイヤグラムを図４に示す。なお、この図４に示すエンコーダにおいて、前述した図１８に示した各構成要素と同一のものについては同一の指示符号を付してその説明については省略している。この図４は、フレームメモリ１６３の参照画像用のメモリが１枚（前方予測画像部６３ａのみ）で、予測として演算部１５３のスイッチ５３ｅの接点ａ，ｂにおけるイントラ符号化と前方予測のみが可能なエンコーダである。
【０１０３】このエンコーダでは、符号化は、図３に示すＰ’，Ｉ１，Ｐ’２，Ｐ３，Ｐ’４，Ｐ５・・・の順に行われる。但し、伝送チャネル（１）で伝送される画像のデータ（すなわちビットストリームＢのデータ）は局所復号（ローカルデコード）されない。まず、ビットストリームＢのＰ’の画像が、ビットストリームＡのＰの局所復号画像を予測画像に用いてＰピクチャとして符号化される。但し、このＰ’の画像は局所復号されない。次にＩ１の画像が図１８と同様に符号化され、量子化回路５７から出力されたＩ１の量子化係数は可変長符号化回路５８及び逆量子化回路６０に供給される。逆量子化回路６０，ＩＤＣＴ回路６１は上記Ｉ１の量子化係数を局所復号（ローカルデコード）し、フレームメモリ１６３に供給する。次にＰ’２の画像が、フレームメモリ１６３に記憶されたＩ１の局所復号画像を予測画像として図１８と同様に符号化される。量子化回路５７から出力されたＰ’２の量子化係数は可変長符号化回路５８にのみ供給され、逆量子化回路６０には供給されない。よって、フレームメモリ１６３にはＩ１の局所復号画像がそのまま保持される。次にＰ３の画像が、フレームメモリ１６３に記憶されたＩ１の局所復号画像を予測画像として図１８と同様に符号化される。量子化回路５７から出力されたＰ３の量子化係数は可変長符号化回路５８及び逆量子化回路６０に供給される。逆量子化回路６０，ＩＤＣＴ回路６１，演算器１６２は上記Ｐ３の量子化係数を局所復号（ローカルデコード）し、フレームメモリ１６３に供給する。同様にして以下Ｐ’４，Ｐ５・・・の順に符号化が行われる。
【０１０４】このようにして、この図４の構成によれば、Ｉピクチャ及びＰピクチャのみのビットストリームＡ＋ＰピクチャのみのビットストリームＢからなるビットストリームが得られる。
【０１０５】送信バッファ５９から出力されたビットストリームは、分離回路７０において、伝送チャネル（０）を用いて伝送するビットストリームＡと伝送チャネル（１）を用いて伝送するビットストリームＢに分離される。
【０１０６】次に、第２に、ビットストリームＡ＋ビットストリームＣの組合せの場合には、エンコーダのローカルデコーダは少なくとも２枚の参照画像メモリを持つ必要があり、このローカルデコーダでは両方向予測符号化されたデータも復号可能となる。
【０１０７】この場合のエンコーダブロックダイヤグラムは、従来の方式で説明した図１８における、２枚の参照画像（前方予測画像部６３ａ及び後方予測画像部６３ｂ）を用いたエンコーダと同様である。
【０１０８】但し、本実施例においては、図１８のエンコーダに加え、図４のエンコーダと同様に送信バッファ５９の先に分離回路が設けらる。この分離回路において、エンコードされたビットストリームＡ＋ビットストリームＣが、伝送チャネル（０）を用いて伝送するビットストリームＡと伝送チャネル（２）を用いて伝送するビットストリームＣに分離される。尚、ビットストリームＡ，Ｂ，Ｃを３並列で伝送する場合には、この分離回路は、ビットストリームＣのみを伝送チャネル（２）に供給する。符号化の順序は、Ｉ１，Ｂ，Ｐ３，Ｂ２，Ｐ５，Ｂ４，Ｐ７・・・である。
【０１０９】次に、復号化方式について説明する。
【０１１０】先ず、第１に、ビットストリームＡ＋ビットストリームＢの組合せのデコードの場合は、デコーダは少なくとも１枚の参照画像メモリを持つ必要があり、このデコーダでは、イントラ符号化及び前方予測符号化されたデータのみが復号可能となる。
【０１１１】この場合のデコーダブロックダイヤグラムを図５に示す。なお、この図５に示すデコーダ（復号回路）１９０において、前述した図２１に示した各構成要素と同一のものについては同一の指示符号を付してその説明については省略している。この復号化回路１９０では、フレームメモリ１８６の参照画像用のメモリが１枚（前方予測画像部８６ａのみ）で、イントラ符号化、前方予測符号化されたデータのみのデコードを行うことが可能である。この図５の構成によれば、Ｉピクチャ及びＰピクチャのみのビットストリームＡ＋ＰピクチャのみのビットストリームＢの組合せを復号化することが可能である。
【０１１２】多重化回路７９は、別々のチャネルで伝送されたビットストリームＡとビットストリームＢを符号化の順序と同様になるように多重化して、ビットストリームＡ＋ビットストリームＢを生成する。多重化されたビットストリームは、受信バッファ８１に供給され、以下図２１の場合と同様に復号化が行われる。但し、ビットストリームＢの復号化画像は、フレームメモリ１８６へは供給されない。
【０１１３】次に、第２に、ビットストリームＡ＋ビットストリームＣの組合せのデコードの場合は、デコーダが２枚の参照画像メモリを持つ必要があり、このデコーダでは両方向予測も可能となる。
【０１１４】この場合のデコーダブロックダイヤグラムは、従来の方式で説明した図２１における、２枚の参照画像を用いたデコーダ（復号回路９０）によって、デコードが可能である。但し、本実施例においては、図２１のデコーダに加え、図５のデコーダと同様に受信バッファ８１の前に多重化回路が設けらる。この多重化回路において、別々のチャネルで伝送されたビットストリームＡとビットストリームＣを符号化の順序と同様になるように多重化して、ビットストリームＡ＋ビットストリームＣを生成する。
【０１１５】さらに、上記ビットストリームの構成について説明する。
【０１１６】先ず、第１に、本実施例では、各ビットストリームを例えばいわゆるサイマルキャスト(simulcast) 方式で伝送する。ビットストリームを当該サイマルキャスト方式によって伝送する場合を図６に示す。
【０１１７】この図６において、ビットストリームＡ（伝送チャネル（０））には、１枚おきの画像データがＩ，Ｐ，Ｐ，・・・の順に格納されている。各画像データは画像の階層構造にしたがって、ピクチャヘッダ（ＰＨ）、スライスヘッダ（ＳＨ）、マクロブロックヘッダ（ＭＢ Ｈ）を持ち、さらにマクロブロックヘッダ（ＭＢ Ｈ）はマクロブロック単位で動きベクトル（ＭＶ）、予測モード情報、ＤＣＴ係数データ（ＣＯＥＦ）から構成されている。予測モード情報は、前方予測（ＦＷ）、イントラ（ＩＮＴＲＡ）、両方向予測（ＢＩ−ＤＩＲ）からなる。
【０１１８】これに対して、ビットストリームＢ（伝送チャネル（１））には、ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの局所復号画像を予測画像に用いて予測符号化を行ったＰピクチャのデータが、上述と同様に、Ｐ′，Ｐ′，Ｐ′，・・・の順に格納されている。
【０１１９】さらにビットストリームＣ（伝送チャネル（２））には、ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの前方／後方２枚の局所復号画像を予測画像に用いて予測符号化を行ったＢピクチャのデータが、上述と同様に、Ｂ, Ｂ, Ｂ，・・・の順に格納されている。
【０１２０】このようなことから、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＢをデコードすることによって、Ｉ、Ｐ′、Ｐ、Ｐ′、Ｐ、・・・が再生されるようになる。またこの時、予測には前方予測のみ用いられるので、画像メモリ１枚でのデコードが可能である。
【０１２１】また、上記ビットストリームＢをビットストリームＣに置き換えた場合には、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、・・・が再生されるようになる。またこの時、予測には両方向予測を用いるため、デコードの際には画像メモリ２枚が必要となる。
【０１２２】次に、第２に、上記サイマルキャスト方式に更にビットストリームＢ、Ｃのヘッダを共通化する手法（以下、プライオリティ・ブレーク・ポイント、ＰＢＰ：Priority Break Point手法と呼ぶ）を導入した場合について説明する。
【０１２３】上記プライオリティ・ブレーク・ポイント（以下ＰＢＰと記す）を伝送に導入した場合を図７に示す。
【０１２４】この図７において、各画像データは画像の階層構造にしたがって、前述同様にピクチャヘッダ（ＰＨ）、スライスヘッダ（ＳＨ）、マクロブロックヘッダ（ＭＢ Ｈ）を持ち、マクロブロック単位で動きベクトル（ＭＶ）、予測モード情報（ＦＷ，ＩＮＴＲＡ，ＢＩ−ＤＩＲ）、係数データ（ＣＯＥＦ）から構成されている。
【０１２５】図７のビットストリームＡでは、１枚おきに予測を行い、画像データがＩ，Ｐ，Ｐ，・・・の順に生成されている。ここで、ビットストリームＡにおいて伝送されない画像（上記１枚おきの画像の間の画像）に関しては、ヘッダ情報のみ（ピクチャヘッダと複数のスライスヘッダ）をビットストリームＡに含ませる。このヘッダ情報は、ビットストリームＢおよびビットストリームＣで共通に利用できる共通ヘッダ（Common Header)とする。各スライスヘッダは、上記ＰＢＰに関する情報を持つ。上記ＰＢＰは、情報をどのレベルまで送るかどうかを示す情報であり、これを制御することで、伝送の際にヘッダ情報のみを伝送したり、マクロブロックの動きベクトルまでを伝送したりすることなどが可能になる。ここでは、スライスヘッダまでを伝送するように制御する。尚、この実施例におけるエンコーダのブロックは、基本的に上述したサイマルキャストの場合と同様であるが、可変長符号化回路５８は、各スライスヘッダに上記ＰＢＰに関する情報を付加する。
【０１２６】これに対して、ビットストリームＢには、上記ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの局所復号画像を予測画像に用いて予測を行ったＰピクチャのデータのうちで、上記ヘッダ（コモンヘッダ）を除いたマクロブロックレイヤ以下のデータが、Ｐ′，Ｐ′，Ｐ′，・・・の順に格納されている。
【０１２７】さらにビットストリームＣには、上記ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの前方／後方２枚の局所復号画像を予測画像を用いて予測を行ったＢピクチャのデータのうちで、コモンヘッダを除いたマクロブロックレイヤ（層）以下のデータが、Ｂ, Ｂ, Ｂ, ・・・の順に格納されている。
【０１２８】このようなことから、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＢをデコードすることによって、Ｉ、Ｐ′、Ｐ、Ｐ′、Ｐ、・・・が再生されるようになる。なお、この時、Ｐ′ピクチャのヘッダ情報はビットストリームＡから、マクロブロックレイヤ以下のデータはビットストリームＢから復号される。予測には前方予測のみなので、画像メモリ１枚でのデコードが可能である。
【０１２９】また、上記ビットストリームＢをビットストリームＣに置き換えた場合には、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、・・・が再生されるようになる。この時、Ｂピクチャのヘッダ情報はビットストリームＡから、マクロブロックレイヤ以下のデータはビットストリームＣから復号される。またこの時、予測には両方向予測を用いるため、デコードの際には画像メモリ２枚が必要となる。
【０１３０】次に、本発明の第２の実施例として、以下に示す２種類のデコーダでの互換性を持つ符号化方式／復号化方式に関して説明する。
【０１３１】すなわち、第１に、１枚の参照画像メモリを持つ場合で、前方予測及び後方予測のみが可能なデコーダと、第２に、２枚の参照画像メモリを持つ場合で両方向予測が可能なデコーダに対して互換性を有する符号化方式／復号化方式について説明する。
【０１３２】上記符号化方式から説明する。
【０１３３】図８を用いて本発明の第２の実施例の予測方式について説明する。この図８において、各画像に示してあるＩ，Ｐ，Ｂはそれぞれ前記図３同様にＩピクチャ、Ｐピクチャ、Ｂピクチャを表し、Ｐ’は、予測モードがイントラ符号化モード及び後方予測モードのみに制限されたＢピクチャを表している。また図中矢印は、予測で参照する画像間の予測の方向を示してある。
【０１３４】この第２の実施例の符号化においても、３種類のビットストリームが生成される。これらを図８の上から順に、第１のビットストリームであるビットストリームＡ（伝送チャネル（０）で伝送）、第２のビットストリームであるビットストリームＢ（伝送チャネル（１）で伝送）、第３のビットストリームであるビットストリームＣ (伝送チャネル（２）で伝送）とする。
【０１３５】上記ビットストリームＡにおいては、それぞれの画像間の距離を２枚間隔（Ｎ＝２）で、前方予測を行ったＰピクチャ及びＩピクチャのデータが符号化される。
【０１３６】上記ビットストリームＢにおいては、上記ビットストリームＡで符号化されなかった１枚（Ｎ−１）の画像を、ビットストリームＡの局所復号画像を予測画像として用いて後方予測を行ったＢピクチャ（但し予測モードは、イントラ符号化と後方予測モードのみ）のデータが符号化される。
【０１３７】上記ビットストリームＣにおいては、上記ビットストリームＢで符号化する画像に対して、上記ビットストリームＡの前後２枚の局所復号画像を予測画像に用いて両方向予測を行ったＢピクチャのデータが符号化される。
【０１３８】ここで、第２の実施例においても、上記ビットストリームＡは予測の基本となるビットストリームであり、上記ビットストリームＢおよびビットストリームＣは、それぞれ差し替え可能な、ビットストリームＡとの組み合わせによりデコードが可能となるビットストリームである。
【０１３９】第２の実施例も、符号化によって生成されたビットストリームは、その組み合わせによって、エンコーダのローカルデコーダ及びデコーダに必要なメモリ枚数が変化する。
【０１４０】すなわち、第１に、ビットストリームＡ＋ビットストリームＢの組合せのエンコードの場合には、エンコーダのローカルデコーダは少なくとも１枚の参照画像メモリが必要であり、イントラ符号化、前方予測符号化及び後方予測符号化されたデータのみの局所復号（ローカルデコード）が可能となる。
【０１４１】この場合のエンコーダブロックダイヤグラムを図９に示す。なお、この図９に示すエンコーダにおいて、前述した図１８に示した各構成要素と同一のものについては同一の指示符号を付してその説明については省略している。この図９は、フレームメモリ２６３の参照画像用のメモリが１枚（予測画像部６３ｃ）で、予測として演算部２５３のスイッチ５３ｆの接点ａ，ｂ，ｃにおけるイントラ符号化と前方予測と後方予測を行うことが可能なエンコーダである。この図９の構成によれば、Ｉピクチャ及びＰピクチャのみのビットストリームＡ＋予測には後方予測のみを用いたＢピクチャ（イントラ符号化モードによるマクロブロックを含んでも良い）のビットストリームＢの組合せを符号化することが可能である。
【０１４２】このエンコーダでは、符号化は、図８に示すＩ１，Ｐ’，Ｐ３，Ｐ’２，Ｐ５，Ｐ’４・・・の順に行われる。但し、伝送チャネル（１）で伝送される画像のデータ（すなわちビットストリームＢのデータ）は局所復号（ローカルデコード）されない。先ず、Ｉ１の画像が図１８と同様に符号化され、量子化回路５７から出力されたＩ１の量子化係数は可変長符号化回路５８及び逆量子化回路６０に供給される。逆量子化回路６０，ＩＤＣＴ回路６１は上記Ｉ１の量子化係数を局所復号（ローカルデコード）し、フレームメモリ２６３に供給する。次にＰ’の画像が、フレームメモリ２６３に記憶されたＩ１の局所復号画像を予測画像として図１８と同様に符号化される。但し、このＰ’の画像はローカルデコードされない。次にＰ３の画像が、フレームメモリ２６３に記憶されたＩ１の局所復号画像を予測画像として図１８と同様に符号化される。量子化回路５７から出力されたＰ３の量子化係数は可変長符号化回路５８及び逆量子化回路６０に供給される。逆量子化回路６０，ＩＤＣＴ回路６１，演算器１６２は上記Ｐ３の量子化係数を局所復号（ローカルデコード）し、フレームメモリ２６３に供給する。次にＰ’２の画像が、フレームメモリ２６３に記憶されたＰ３の局所復号画像を予測画像として図１８と同様に符号化される。量子化回路５７から出力されたＰ’２の量子化係数は可変長符号化回路５８にのみ供給され、逆量子化回路６０には供給されない。よって、フレームメモリ２６３にはＰ３の局所復号画像がそのまま保持される。同様にして以下Ｐ５，Ｐ’４・・・の順に符号化が行われる。
【０１４３】このようにして、この図４の構成によれば、Ｉピクチャ及びＰピクチャのみのビットストリームＡ＋インラ符号化及び後方予測のみのＢピクチャのビットストリームＢからなるビットストリームが得られる。送信バッファ５９から出力されたビットストリームは、分離回路７０において、伝送チャネル（０）を用いて伝送するビットストリームＡと伝送チャネル（１）を用いて伝送するビットストリームＢに分離される。
【０１４４】次に、第２に、ビットストリームＡ＋ビットストリームＣの組合せの場合には、エンコーダのローカルデコーダは少なくとも２枚の参照画像メモリを持つ必要があり、このローカルデコーダでは両方向予測符号化されたデータも復号可能となる。
【０１４５】この場合のエンコーダブロックダイヤグラムは、従来の方式で説明した図１８における、２枚の参照画像（前方予測画像部６３ａ及び後方予測画像部６３ｂ）を用いたエンコーダによって、エンコードが可能である。
【０１４６】但し、本実施例においては、図１８のエンコーダに加え、図９のエンコーダと同様に送信バッファ５９の先に分離回路が設けらる。この分離回路において、エンコードされたビットストリームＡ＋ビットストリームＣが、伝送チャネル（０）を用いて伝送するビットストリームＡと伝送チャネル（２）を用いて伝送するビットストリームＣに分離される。尚、ビットストリームＡ，Ｂ，Ｃを３並列で伝送する場合には、この分離回路は、ビットストリームＣのみを伝送チャネル（２）に供給する。符号化の順序は、Ｉ１，Ｂ，Ｐ３，Ｂ２，Ｐ５，Ｂ４，Ｐ７・・・である。
【０１４７】次に、第２の実施例の復号化方式について説明する。
【０１４８】先ず、第１に、ビットストリームＡ＋ビットストリームＢの組合せのデコードの場合において、デコーダは少なくとも１枚の参照画像メモリを持つ必要があり、このデコーダでは、イントラ符号化、前方予測及び後方予測されたデータのみが復号可能となる。
【０１４９】この場合のデコーダブロックダイヤグラムを図１０に示す。なお、この図１０に示すデコーダ（復号回路）２９０において、前述した図２１に示した各構成要素と同一のものについては同一の指示符号を付してその説明については省略している。この復号化回路２９０ではフレームメモリ２８６の参照画像用のメモリが１枚（予測画像部８６ｃ）で、イントラ符号化、前方予測、後方予測のデコードを行うことが可能である。この図１０の構成によれば、Ｉピクチャ及びＰピクチャのみのビットストリームＡ＋予測には後方予測のみを用いたＢピクチャ（イントラ符号化モードによるマクロブロックを含んでも良い）のビットストリームＢの組合せを復号化することが可能である。多重化回路７９は、別々のチャネルで伝送されたビットストリームＡとビットストリームＢを符号化の順序と同様になるように多重化して、ビットストリームＡ＋ビットストリームＢを生成する。多重化されたビットストリームは、受信バッファ８１に供給され、以下図２１の場合と同様に復号化が行われる。但し、ビットストリームＢの復号化画像は、フレームメモリ２８６へは供給されない。
【０１５０】次に、第２に、ビットストリームＡ＋ビットストリームＣの組合せのデコードの場合には、デコーダは２枚の参照画像メモリを持つ必要があり、このデコーダでは両方向予測も可能となる。
【０１５１】この場合のデコーダブロックダイヤグラムは、従来の方式で説明した図２１における、２枚の参照画像を用いたデコーダ（復号回路９０）によって、デコードが可能である。但し、本実施例においては、図２１のデコーダに加え、図１０のデコーダと同様に受信バッファ８１の前に多重化回路が設けられる。この多重化回路において、別々のチャネルで伝送されたビットストリームＡとビットストリームＣを符号化の順序と同様になるように多重化して、ビットストリームＡ＋ビットストリームＣを生成する。
【０１５２】さらに、第２の実施例におけるビットストリームの構成について説明する。先ず、第１に、各ビットストリームを前述同様のサイマルキャスト方式で伝送する。当該サイマルキャスト方式によって伝送する場合を図１１に示す。
【０１５３】この図１１において、ビットストリームＡ（伝送チャネル（０））には、１枚おきの画像データがＩ，Ｐ，Ｐ，・・・の順に格納されている。各画像データは画像の階層構造にしたがって、ピクチャヘッダ（ＰＨ）、スライスヘッダ（ＳＨ）、マクロブロックヘッダ（ＭＢ Ｈ）を持ち、マクロブロックヘッダはマクロブロック単位で動きベクトル（ＭＶ）、予測モード情報（ＦＷ，ＩＮＴＲＡ，ＢＩ−ＤＩＦ，及び後方予測（ＢＷ））、係数データ（ＣＯＥＦ）から構成されている。
【０１５４】これに対して、ビットストリームＢ（伝送チャネル（１））には、ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの画像を予測画像に用いて後方予測を行ったＰ′ピクチャのデータが前述と同様に、Ｐ′，Ｐ′，Ｐ′，・・・の順に格納されている。
【０１５５】さらにビットストリームＣ（伝送チャネル（２））には、ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの前方／後方２枚の画像を予測画像に用いて予測を行ったＢピクチャのデータが、Ｂ, Ｂ, Ｂ，・・・の順に格納されている。
【０１５６】このようなことから、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＢをデコードすることによって、Ｉ、Ｐ′、Ｐ、Ｐ′、Ｐ、‥‥が再生される。またこの時、予測には予測画像は１枚のみなので、画像メモリ１枚でのデコードが可能である。
【０１５７】さらに、上記ビットストリームＢをビットストリームＣに置き換えた場合には、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、・・・が再生される。またこの時、予測には両方向予測を用いるため、デコーダに画像メモリ２枚が必要となる。
【０１５８】次に、この第２の実施例において、第２に、ビットストリームＢ、Ｃのヘッダを共通化した場合として、前述同様にプライオリティ・ブレーク・ポイント（ＰＢＰ）の手法を導入した場合について説明する。尚、この実施例におけるエンコーダは、上述したサイマルキャストの場合と同様であるが、可変長符号化回路５８は、各スライスヘッダにＰＢＰに関する情報を付加する。
【０１５９】上記プライオリティ・ブレーク・ポイント（ＰＢＰ）を伝送に導入した場合を図１２に示す。
【０１６０】この図１２においても、各画像データは画像の階層構造にしたがって、ピクチャヘッダ（ＰＨ）、スライスヘッダ（ＳＨ）、マクロブロックヘッダ（ＭＢ Ｈ）を持ち、マクロブロック単位で動きベクトル（ＭＶ）、予測モード情報（ＦＷ，ＩＮＴＲＡ，ＢＷ，ＢＩ−ＤＩＲ）、係数データ（ＣＯＥＦ）から構成されている。
【０１６１】図１２のビットストリームＡでは、１枚おきに予測を行い、画像データがＩ，Ｐ，Ｐ，・・・の順に生成されている。またここで読みとばされた画像に関しては、ヘッダ情報のみ（ピクチャヘッダと複数のスライスヘッダからなるコモンヘッダ）がビットストリームに含ませる。この第２の実施例でも、上記ＰＢＰの情報を制御することで、ヘッダのみを伝送したり、マクロブロックの動きベクトルまでを伝送したりすることなどが可能になる。本実施例でも、スライスヘッダまでを伝送するように制御する。
【０１６２】これに対して、ビットストリームＢには、上記ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの画像を予測画像に用いて後方予測を行ったＰ′ピクチャのデータのうちで、コモンヘッダを除いたマクロブロックレイヤ以下のデータが、Ｐ′，Ｐ′，Ｐ′，・・・の順に格納されている。
【０１６３】さらにビットストリームＣには、上記ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡにおける前方／後方２枚の画像を予測画像に用いて予測を行ったＢピクチャのデータのうちで、上記コモンヘッダを除いたマクロブロックレイヤ以下のデータが、Ｂ, Ｂ, Ｂ, ・・・の順に格納されている。
【０１６４】このようなことから、この第２の実施例においても、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＢをデコードすることによって、Ｐピクチャを前方予測で、Ｐ′ピクチャを後方予測で復号することによって、Ｉ、Ｐ′、Ｐ、Ｐ′、Ｐ、・・・が再生される。この時、Ｐ′のヘッダ情報はビットストリームＡから、マクロブロックレイヤ以下のデータはビットストリームＢから復号される。この第２の実施例においても、予測には前方予測或いは後方予測の一方向の予測のみなので、画像メモリ１枚でのデコードが可能である。
【０１６５】また、上記ビットストリームＢをビットストリームＣに置き換えた場合には、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、・・・が再生される。この時、Ｂピクチャのヘッダ情報はビットストリームＡから、マクロブロックレイヤ以下のデータはビットストリームＣから復号される。またこの時、予測には両方向予測を用いるため、デコーダには画像メモリ２枚が必要となる。
【０１６６】
【発明の効果】本発明の画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置においては、同一のビットストリームから、画像１枚分の参照画像メモリを持つ前方予測（後方予測）のみが可能な復号化装置で復号化が可能となり、さらに画像２枚分の参照画像メモリを持つ両方向予測が可能な復号化装置で復号化した場合には、画質が向上するように復号化することが可能となる。
【図面の簡単な説明】
【図１】本発明実施例において画像がＩ，Ｐ，Ｐ，Ｐ，・・・である場合の予測方法を説明するための図である。
【図２】本発明実施例における画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合の予測方法を説明するための図である。
【図３】第１の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合の互換性を考慮した場合の予測方法（ビットストリームＢを前方予測）を説明するための図である。
【図４】第１の実施例における前方予測のみのエンコーダの概略構成を示すブロック回路図である。
【図５】第１の実施例における前方予測のみのデコーダの概略構成を示すブロック回路図である。
【図６】第１の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合の互換性を考慮した場合のビットストリーム伝送（ビットストリームＢを前方予測、Simulcast 方式）を説明するための図である。
【図７】第１の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合のビットストリーム伝送（ビットストリームＢを前方予測、 Priority Break Point を利用）を説明するための図である。
【図８】第２の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合の互換性を考慮した場合の予測方法（ビットストリームＢを後方予測）を説明するための図である。
【図９】第２の実施例における後方予測によるエンコーダの概略構成を示すブロック回路図である。
【図１０】第２の実施例における後方予測によるデコーダの概略構成を示すブロック回路図である。
【図１１】第２の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合の互換性を考慮した場合のビットストリーム伝送（ビットストリームＢを前方予測、Simulcast 方式）を説明するための図である。
【図１２】第２の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合のビットストリーム伝送（ビットストリームＢを前方予測、 Priority Break Point を利用）を説明するための図である。
【図１３】高能率符号化の原理を説明する図である。
【図１４】画像データを圧縮する場合におけるピクチャのタイプを説明する図である。
【図１５】動画像信号を符号化する原理を説明する図である。
【図１６】従来の画像信号符号化装置と復号化装置の構成例を示すブロック回路図である。
【図１７】図１６におけるフォーマット変換回路１７のフォーマット変換の動作を説明する図である。
【図１８】図１６におけるエンコーダ１８の構成例を示すブロック回路図である。
【図１９】図１８の予測モード切り換え回路５２の動作を説明する図である。
【図２０】図１８のＤＣＴモード切り換え回路５５の動作を説明する図である。
【図２１】図１６のデコーダ３１の構成例を示すブロック回路図である。
【符号の説明】
１ 符号化装置、 ２ 復号化装置、 ３ 記録媒体、 １２，１３ Ａ／Ｄ変換器、 １４ フレームメモリ、 １５ 輝度信号フレームメモリ、 １６色差信号フレームメモリ 、 １７ フォーマット変換回路、 １８ エンコーダ、 ３１ デコーダ、 ３２ フォーマット変換回路、 ３３ フレームメモリ、 ３４ 輝度信号フレームメモリ、 ３５ 色差信号フレームメモリ、 ３６，３７ Ｄ／Ａ変換器、 ５０ 動きベクトル検出回路、 ５１ フレームメモリ、 ５２ 予測モード切り換え回路、 ５３，１５３，２５３ 演算部、５４ 予測判定回路、 ５５ ＤＣＴモード切り換え回路、 ５６ ＤＣＴ回路、 ５７ 量子化回路、 ５８ 可変長符号化回路、 ５９ 送信バッファ、６０ 逆量子化回路、 ６１ ＩＤＣＴ回路、 ６２，１６２ 演算器、 ６３，１６３，２６３ フレームメモリ、 ６４，１６４，２６４ 動き補償回路、７０ 分離回路、 ７９ 多重化回路、 ８１ 受信バッファ、 ８２ 可変長復号化回路、 ８３ 逆量子化回路、 ８４ ＩＤＣＴ回路、 ８５ 演算器、 ８６，１８６，２８６ フレームメモリ、 ８７ 動き補償回路
【０００１】
【０００２】
【産業上の利用分野】本発明は、動画像信号を、例えば光磁気ディスクや磁気テープなどの記録媒体に記録し、これを再生してディスプレイなどに表示したり、テレビ会議システム、テレビ電話システム、放送用機器など、動画像信号を伝送路を介して送信側から受信側に伝送し、受信側において、これを受信し、表示する場合などに用いて好適な画像信号伝送方法及び画像信号伝送装置、並びに画像信号復号化方法及び画像信号復号化装置に関するものである。
【０００３】
【従来の技術】例えば、テレビ会議システム、テレビ電話システムなどのように、動画像信号を遠隔地に伝送するシステムにおいては、伝送路を効率良く利用するため、映像信号のライン相関やフレーム間相関を利用して、画像信号を圧縮符号化するようになされている。
【０００４】上記ライン相関を利用する場合には、画像信号を、例えばＤＣＴ（離散コサイン変換）処理するなどして圧縮することができる。
【０００５】また、フレーム間相関を利用すると、画像信号をさらに圧縮して符号化することが可能となる。例えば図１３のＡに示すように、時刻ｔ＝ｔ１，ｔ２，ｔ３において、フレーム画像ＰＣ１，ＰＣ２，ＰＣ３がそれぞれ発生しているとき、フレーム画像ＰＣ１とＰＣ２の画像信号の差を演算して、図１３のＢに示すように画像ＰＣ１２を生成し、また、図１３のＡのフレーム画像ＰＣ２とＰＣ３の差を演算して、図１３のＢの画像ＰＣ２３を生成する。通常、時間的に隣接するフレームの画像は、それ程大きな変化を有していないため、両者の差を演算すると、その差分信号は小さな値のものとなる。すなわち、図１３のＢに示す画像ＰＣ１２においては、図１３のＡのフレーム画像ＰＣ１とＰＣ２の画像信号の差として、図１３のＢの画像ＰＣ１２の図中斜線で示す部分の信号が得られ、また、図１３のＢに示す画像ＰＣ２３においては、図１３のＡのフレーム画像ＰＣ２とＰＣ３の画像信号の差として、図１３のＢの画像ＰＣ２３の図中斜線で示す部分の信号が得られる。そこで、この差分信号を符号化すれば、符号量を圧縮することができる。
【０００６】しかしながら、上記差分信号のみを伝送したのでは、元の画像を復元することができない。そこで、各フレームの画像を、Ｉピクチャ（イントラ符号化画像：Intra-coded picture)、Ｐピクチャ（前方予測符号化画像： Perdictive-codedpicture)またはＢピクチャ（両方向予測符号化画像： Bidirectionally-codedpicture)の３種類のピクチャのいずれかのピクチャとし、画像信号を圧縮符号化するようにしている。
【０００７】即ち、例えば図１４のＡ及びＢに示すように、フレームＦ１乃至Ｆ１７までの１７フレームの画像信号をグループオブピクチャとし、処理の１単位とする。そして、その先頭のフレームＦ１の画像信号はＩピクチャとして符号化し、第２番目のフレームＦ２はＢピクチャとして、また第３番目のフレームＦ３はＰピクチャとして、それぞれ処理する。以下、第４番目以降のフレームＦ４乃至Ｆ１７は、ＢピクチャまたはＰピクチャとして交互に処理する。
【０００８】Ｉピクチャの画像信号としては、その１フレーム分の画像信号をそのまま伝送する。これに対して、Ｐピクチャの画像信号としては、基本的には、図１４R>４のＡに示すように、それより時間的に先行するＩピクチャまたはＰピクチャの画像信号からの差分を符号化して伝送する。さらにＢピクチャの画像信号としては、基本的には、図１４のＢに示すように、時間的に先行するフレームまたは後行するフレームの両方の平均値からの差分を求め、その差分を符号化して伝送する。
【０００９】図１５のＡ及びＢは、このようにして、動画像信号を符号化する方法の原理を示している。なお、図１５のＡには動画像信号のフレームのデータを、図１５R>５のＢには伝送されるフレームデータを模式的に示している。この図１５に示すように、最初のフレームＦ１はＩピクチャすなわち非補間フレームとして処理されるため、そのまま伝送データＦ１Ｘ（伝送非補間フレームデータ）として伝送路に伝送される（イントラ符号化）。これに対して、第２のフレームＦ２は、Ｂピクチャすなわち補間フレームとして処理されるため、時間的に先行する上記フレームＦ１と、時間的に後行するフレームＦ３（フレーム間符号化の非補間フレーム）の平均値との差分が演算され、その差分が伝送データ（伝送補間フレームデータ）Ｆ２Ｘとして伝送される。
【００１０】但し、このＢピクチャとしての処理は、さらに細かく説明すると、マクロブロック単位で切り替えが可能な４種類のモードが存在する。その第１の処理は、元のフレームＦ２のデータを図中破線の矢印ＳＰ１で示すようにそのまま伝送データＦ２Ｘとして伝送するものであり（イントラ符号化モード）、Ｉピクチャにおける場合と同様の処理となる。第２の処理は、時間的に後のフレームＦ３からの差分を演算し、図中破線矢印ＳＰ２で示すようにその差分を伝送するものである（後方予測モード）。第３の処理は、図中破線矢印ＳＰ３で示すように時間的に先行するフレームＦ１との差分を伝送するものである（前方予測モード）。さらに第４の処理は、図中破線矢印ＳＰ４で示すように時間的に先行するフレームＦ１と後行するフレームＦ３の平均値との差分を生成し、これを伝送データＦ２Ｘとして伝送するものである（両方向予測モード）。
【００１１】この４つの方法のうち、伝送データが最も少なくなる方法がマクロブロック単位で採用される。
【００１２】尚、差分データを伝送するときには、差分を演算する対象となるフレームの画像（予測画像）との間の動きベクトルｘ１（前方予測の場合のフレームＦ１とＦ２の間の動きベクトル）、もしくは動きベクトルｘ２（後方予測の場合のフレームＦ３とＦ２の間の動きベクトル）、または動きベクトルｘ１とｘ２の両方（両方向予測の場合）が、差分データとともに伝送される。
【００１３】また、ＰピクチャのフレームＦ３（フレーム間符号化の非補間フレーム）は、時間的に先行するフレームＦ１を予測画像として、このフレームＦ１との差分信号（破線矢印ＳＰ３で示す）と、動きベクトルｘ３が演算され、これが伝送データＦ３Ｘとして伝送される（前方予測モード）。あるいはまた、元のフレームＦ３のデータがそのまま伝送データＦ３Ｘとして伝送（破線矢印ＳＰ１で示す）される（イントラ符号化モード）。このＰピクチャにおいて、いずれの方法により伝送されるかは、Ｂピクチャにおける場合と同様であり、伝送データがより少なくなる方がマクロブロック単位で選択される。
【００１４】なお、ＢピクチャのフレームＦ４とＰピクチャのフレームＦ５も上述同様に処理され、伝送データＦ４Ｘ、Ｆ５Ｘ、動きベクトルｘ４，ｘ５，ｘ６等が得られる。
【００１５】図１６は、上述した原理に基づいて、動画像信号を符号化して伝送し、これを復号化する装置の構成例を示している。符号化装置１は、入力された映像信号を符号化し、伝送路としての記録媒体３に伝送して記録するようになされている。そして、復号化装置２は、記録媒体３に記録された信号を再生し、これを復号して出力するようになされている。
【００１６】先ず、符号化装置１においては、入力端子１０を介して入力された映像信号ＶＤが前処理回路１１に入力され、そこで輝度信号と色信号（この例の場合、色差信号）が分離され、それぞれＡ／Ｄ変換器１２，１３でＡ／Ｄ変換される。Ａ／Ｄ変換器１２，１３によりＡ／Ｄ変換されてディジタル信号となった映像信号は、フレームメモリ１４に供給され、記憶される。このフレームメモリ１４では、輝度信号を輝度信号フレームメモリ１５に、また、色差信号を色差信号フレームメモリ１６に、それぞれ記憶させる。
【００１７】フォーマット変換回路１７は、フレームメモリ１４に記憶されたフレームフォーマットの信号を、ブロックフォーマットの信号に変換する。即ち、図１７の（Ａ）に示すように、フレームメモリ１４に記憶された映像信号は、１ライン当りＨドットのラインがＶライン集められたフレームフォーマットのデータとされている。フォーマット変換回路１７は、この１フレームの信号を、１６ラインを単位としてＮ個のスライスに区分する。そして、各スライスは、図１７の（Ｂ）に示すように、Ｍ個のマクロブロックに分割される。各マクロブロックは、図１７の（Ｃ）に示すように、１６×１６個の画素（ドット）に対応する輝度信号により構成され、この輝度信号は、図１７の（Ｃ）に示すように、さらに８×８ドットを単位とするブロックＹ［１］乃至Ｙ［４］に区分される。そして、この１６×１６ドットの輝度信号には、８×８ドットのＣｂ信号と、８×８ドットのＣｒ信号が対応される。
【００１８】このように、ブロックフォーマットに変換されたデータは、フォーマット変換回路１７からエンコーダ１８に供給され、ここでエンコード（符号化）が行われる。その詳細については、図１８を参照して後述する。
【００１９】エンコーダ１８によりエンコードされた信号は、ビットストリームとして伝送路に出力され、例えば記録媒体３に記録される。
【００２０】記録媒体３より再生されたデータは、復号化装置２のデコーダ３１に供給され、デコードされる。デコーダ３１の詳細については、図２１を参照して後述する。
【００２１】デコーダ３１によりデコードされたデータは、フォーマット変換回路３２に入力され、ブロックフォーマットからフレームフォーマットに変換される。そして、フレームフォーマットの輝度信号は、フレームメモリ３３の輝度信号フレームメモリ３４に供給され、記憶され、色差信号は色差信号フレームメモリ３５に供給され、記憶される。輝度信号フレームメモリ３４と色差信号フレームメモリ３５より読み出された輝度信号と色差信号は、Ｄ／Ａ変換器３６と３７によりそれぞれＤ／Ａ変換され、後処理回路３８に供給され、合成される。この出力映像信号は、出力端子３０から図示せぬ例えばＣＲＴなどのディスプレイに出力され、表示される。
【００２２】次に図１８を参照して、エンコーダ１８の構成例について説明する。
【００２３】入力端子４９を介して供給された符号化されるべき画像データは、マクロブロック単位で動きベクトル検出回路５０に入力される。動きベクトル検出回路５０は、予め設定されている所定のシーケンスに従って、各フレームの画像データを、Ｉピクチャ、Ｐピクチャ、またはＢピクチャとして処理する。シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂのいずれのピクチャとして処理するかは、予め定められている（例えば、図１４に示したように、フレームＦ１乃至Ｆ１７により構成されるグループオブピクチャが、Ｉ，Ｂ，Ｐ，Ｂ，Ｐ，・・・Ｂ，Ｐとして処理される）。
【００２４】Ｉピクチャとして処理されるフレーム（例えばフレームＦ１）の画像データは、動きベクトル検出回路５０からフレームメモリ５１の前方原画像部５１ａに転送、記憶され、Ｂピクチャとして処理されるフレーム（例えばフレームＦ２）の画像データは、原画像部（参照原画像部）５１ｂに転送、記憶され、Ｐピクチャとして処理されるフレーム（例えばフレームＦ３）の画像データは、後方原画像部５１ｃに転送、記憶される。
【００２５】また、次のタイミングにおいて、さらにＢピクチャ（例えば前記フレームＦ４）またはＰピクチャ（前記フレームＦ５）として処理すべきフレームの画像が入力されたとき、それまで後方原画像部５１ｃに記憶されていた最初のＰピクチャ（フレームＦ３）の画像データが、前方原画像部５１ａに転送され、次のＢピクチャ（フレームＦ４）の画像データが、原画像部５１ｂに記憶（上書き）され、次のＰピクチャ（フレームＦ５）の画像データが、後方原画像部５１ｃに記憶（上書き）される。このような動作が順次繰り返される。
【００２６】フレームメモリ５１に記憶された各ピクチャの信号は、そこから読み出され、予測モード切り換え回路５２において、フレーム予測モード処理、またはフィールド予測モード処理が行なわれる。さらにまた予測判定回路５４の制御の下に、演算部５３において、イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードによる演算が行なわれる。これらの処理のうち、いずれの処理を行なうかは、予測誤差信号（処理の対象とされている参照画像と、これに対する予測画像との差分）に対応してマクロブロック単位で決定される。このため、動きベクトル検出回路５０は、この判定に用いられる予測誤差信号の絶対値和（自乗和でもよい）及び、その予測誤差信号に対応するイントラ符号化モードの評価値をマクロブロック単位で生成する。
【００２７】ここで、予測モード切り換え回路５２におけるフレーム予測モードとフィールド予測モードについて説明する。
【００２８】フレーム予測モードが設定された場合においては、予測モード切り換え回路５２は、動きベクトル検出回路５０より供給される４個の輝度ブロックＹ［１］乃至Ｙ［４］を、そのまま後段の演算部５３に出力する。即ち、この場合においては、図１９のＡに示すように、各輝度ブロックに奇数フィールドのラインのデータと、偶数フィールドのラインのデータとが混在した状態となっている。なお、図１９の各マクロブロック中の実線は奇数フィールド（第１フィールドのライン）のラインのデータを、破線は偶数フィールド（第２フィールドのライン）のラインのデータを示し、図１９の図中ａ及びｂは動き補償の単位を示している。このフレーム予測モードにおいては、４個の輝度ブロック（マクロブロック）を単位として予測が行われ、４個の輝度ブロックに対して１個の動きベクトルが対応される。
【００２９】これに対して、予測モード切り換え回路５２は、フィールド予測モードが設定された場合、図１９のＡに示す構成で動きベクトル検出回路５０より入力される信号を、図１９のＢに示すように、４個の輝度ブロックのうち、輝度ブロックＹ［１］とＹ［２］を、例えば奇数フィールドのラインのドットによりのみ構成させ、他の２個の輝度ブロックＹ［３］とＹ［４］を、偶数フィールドのラインのデータにより構成させて、演算部５３に出力する。この場合においては、２個の輝度ブロックＹ［１］とＹ［２］に対して、１個の動きベクトルが対応され、他の２個の輝度ブロックＹ［３］とＹ［４］に対して、他の１個の動きベクトルが対応される。
【００３０】尚、色差信号は、フレーム予測モードの場合、図１９のＡに示すように、奇数フィールドのラインのデータと偶数フィールドのラインのデータとが混在する状態で、演算部５３に供給される。また、フィールド予測モードの場合、図１９のＢに示すように、各色差ブロックＣｂ，Ｃｒの上半分（４ライン）が、輝度ブロックＹ［１］，Ｙ［２］に対応する奇数フィールドの色差信号とされ、下半分（４ライン）が、輝度ブロックＹ［３］，Ｙ［４］に対応する偶数フィールドの色差信号とされる。
【００３１】また、動きベクトル検出回路５０は、次のようにして、予測判定回路５４において、各マクロブロックに対し、イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれの予測を行なうか及びフレーム予測モード、フィールド予測モードのどちらで処理するかを決定するためのイントラ符号化モードの評価値及び各予測誤差の絶対値和をマクロブロック単位で生成する。
【００３２】即ち、イントラ符号化モードの評価値として、これから符号化される参照画像のマクロブロックの信号Ａijとその平均値との差の絶対値和Σ｜Ａij−（Ａijの平均値）｜を求める。また、前方予測の予測誤差の絶対値和として、フレーム予測モード及びフィールド予測モードそれぞれにおける、参照画像のマクロブロックの信号Ａijと、予測画像のマクロブロックの信号Ｂijの差（Ａij−Ｂij）の絶対値｜Ａij−Ｂij｜の和Σ｜Ａij−Ｂij｜を求める。また、後方予測と両方向予測の予測誤差の絶対値和も、前方予測における場合と同様に（その予測画像を前方予測における場合と異なる予測画像に変更して）フレーム予測モード及びフィールド予測モードの場合のそれぞれに対して求める。
【００３３】これらの絶対値和は、予測判定回路５４に供給される。予測判定回路５４は、フレーム予測モード、フィールド予測モードそれぞれにおける前方予測、後方予測及び両方向予測の予測誤差の絶対値和のうち、最も小さいものを、インター(inter) 予測の予測誤差の絶対値和として選択する。さらに、このインター予測の予測誤差の絶対値和と、イントラ符号化モードの評価値とを比較し、その小さい方を選択し、この選択した値に対応するモードを予測モード及びフレーム／フィールド予測モードとして選択する。即ち、イントラ符号化モードの評価値の方が小さければ、イントラ符号化モードが設定される。インター予測の予測誤差の絶対値和の方が小さければ、前方予測、後方予測または両方向予測モードのうち、対応する絶対値和が最も小さかったモードが予測モード及びフレーム／フィールド予測モードとして設定される。
【００３４】上述したように、予測モード切り換え回路５２は、参照画像のマクロブロックの信号を、フレームまたはフィールド予測モードのうち、予測判定回路５４により選択されたモードに対応する図１９で示したような構成で、演算部５３に供給する。また動きベクトル検出回路５０は、予測判定回路５４により選択された予測モードに対応する予測画像と参照画像との間の動きベクトルを出力し、後述する可変長符号化回路５８と動き補償回路６４に供給する。なお、この動きベクトルとしては、対応する予測誤差の絶対値和が最小となるものが選択される。
【００３５】予測判定回路５４は、動きベクトル検出回路５０が前方原画像部５１ａよりＩピクチャの画像データを読み出しているとき、予測モードとして、イントラ符号化モード（動き補償を行わないモード）を設定し、演算部５３のスイッチ５３ｄを接点ａ側に切り換える。これにより、Ｉピクチャの画像データがＤＣＴモード切り換え回路５５に入力される。
【００３６】このＤＣＴモード切り換え回路５５は、図２０２０のＡまたはＢに示すように、４個の輝度ブロックのデータを、奇数フィールドのラインと偶数フィールドのラインが混在する状態（フレームＤＣＴモード）、または、分離された状態（フィールドＤＣＴモード）、のいずれかの状態にして、ＤＣＴ回路５６に出力する。
【００３７】即ち、ＤＣＴモード切り換え回路５５は、奇数フィールドと偶数フィールドのデータを混在してＤＣＴ処理した場合における符号化効率と、分離した状態においてＤＣＴ処理した場合の符号化効率とを比較し、符号化効率の良好なモードを選択する。
【００３８】例えば、入力された信号を、図２０のＡに示すように、奇数フィールドと偶数フィールドのラインが混在する構成とし、上下に隣接する奇数フィールドのラインの信号と偶数フィールドのラインの信号の差を演算し、さらにその絶対値の和（または自乗和）を求める。また、入力された信号を、図２０のＢに示すように、奇数フィールドと偶数フィールドのラインが分離した構成とし、上下に隣接する奇数フィールドのライン同士の信号の差と、偶数フィールドのライン同士の信号の差を演算し、それぞれの絶対値の和（または自乗和）を求める。さらに、両者（絶対値和）を比較し、小さい値に対応するＤＣＴモードを設定する。即ち、前者の方が小さければ、フレームＤＣＴモードを設定し、後者の方が小さければ、フィールドＤＣＴモードを設定する。
【００３９】そして、選択したＤＣＴモードに対応する構成のデータをＤＣＴ回路５６に出力するとともに、選択したＤＣＴモードを示すＤＣＴフラグを、可変長符号化回路５８に出力する。
【００４０】予測モード切り換え回路５２におけるフレーム／フィールド予測モード（図１９参照）と、このＤＣＴモード切り換え回路５５におけるＤＣＴモード（図２０２０参照）を比較して明らかなように、輝度ブロックに関しては、両者の各モードにおけるデータ構造は実質的に同一である。
【００４１】予測モード切り換え回路５２において、フレーム予測モード（奇数ラインと偶数ラインが混在するモード）が選択された場合、ＤＣＴモード切り換え回路５５においても、フレームＤＣＴモード（奇数ラインと偶数ラインが混在するモード）が選択される可能性が高く、また予測モード切り換え回路５２において、フィールド予測モード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択された場合、ＤＣＴモード切り換え回路５５において、フィールドＤＣＴモード（奇数フィールドと偶数フィールドのデータが分離されたモード）が選択される可能性が高い。
【００４２】しかしながら、必ずしも常にそのようになされるわけではなく、予測モード切り換え回路５２においては、予測誤差の絶対値和が小さくなるようにモードが決定され、ＤＣＴモード切り換え回路５５においては、符号化効率が良好となるようにモードが決定される。
【００４３】ＤＣＴモード切り換え回路５５より出力されたＩピクチャの画像データは、ＤＣＴ回路５６に入力され、ＤＣＴ（離散コサイン変換）処理され、ＤＣＴ係数に変換される。このＤＣＴ係数は、量子化回路５７に入力され、送信バッファ５９のデータ蓄積量（バッファ蓄積量）に対応した量子化ステップで量子化された後、可変長符号化回路５８に入力される。
【００４４】可変長符号化回路５８は、量子化回路５７より供給される量子化ステップ（スケール）に対応して、量子化回路５７より供給される画像データ（いまの場合、Ｉピクチャのデータ）を、例えばハフマン(Huffman) 符号などの可変長符号に変換し、送信バッファ５９に出力する。
【００４５】可変長符号化回路５８にはまた、量子化回路５７より量子化ステップ（スケール）、予測判定回路５４より予測モード（イントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれが設定されたかを示すモード）、動きベクトル検出回路５０より動きベクトル、予測判定回路５４より予測フラグ（フレーム予測モードまたはフィールド予測モードのいずれが設定されたかを示すフラグ）、及びＤＣＴモード切り換え回路５５が出力するＤＣＴフラグ（フレームＤＣＴモードまたはフィールドＤＣＴモードのいずれが設定されたかを示すフラグ）が入力されており、これらも可変長符号化される。
【００４６】送信バッファ５９は、入力されたデータを一時蓄積し、蓄積量に対応するデータを量子化回路５７に出力する。
【００４７】送信バッファ５９は、そのデータ残量が許容上限値まで増量すると、量子化制御信号によって量子化回路５７の量子化スケールを大きくすることにより、量子化データのデータ量を低下させる。また、これとは逆に、データ残量が許容下限値まで減少すると、送信バッファ５９は、量子化制御信号によって量子化回路５７の量子化スケールを小さくすることにより、量子化データのデータ量を増大させる。このようにして、送信バッファ５９のオーバフローまたはアンダフローが防止される。
【００４８】そして、送信バッファ５９に蓄積されたデータは、所定のタイミングで読み出され、出力端子６９を介して伝送路に出力され、例えば記録媒体３に記録される。
【００４９】一方、量子化回路５７より出力されたＩピクチャのデータは、逆量子化回路６０に入力され、量子化回路５７より供給される量子化ステップに対応して逆量子化される。逆量子化回路６０の出力は、ＩＤＣＴ（逆ＤＣＴ）回路６１に入力され、逆ＤＣＴ処理された後、演算器６２を介してフレームメモリ６３の前方予測画像部６３ａに供給され、記憶される。
【００５０】ところで動きベクトル検出回路５０は、シーケンシャルに入力される各フレームの画像データを、たとえば、前述したようにＩ，Ｂ，Ｐ，Ｂ，Ｐ，Ｂ・・・のピクチャとしてそれぞれ処理する場合、最初に入力されたフレームの画像データをＩピクチャとして処理した後、次に入力されたフレームの画像をＢピクチャとして処理する前に、さらにその次に入力されたフレームの画像データをＰピクチャとして処理する。Ｂピクチャは、後方予測及び両方向予測を伴う可能性があるため、後方予測画像としてのＰピクチャが先に用意されていないと、復号することができないからである。
【００５１】そこで動きベクトル検出回路５０は、Ｉピクチャの処理の次に、後方原画像部５１ｃに記憶されているＰピクチャの画像データの処理を開始する。そして、上述した場合と同様に、マクロブロック単位でのイントラ符号化モードの評価値及びフレーム間差分（予測誤差）の絶対値和が、動きベクトル検出回路５０から予測判定回路５４に供給される。予測判定回路５４は、このＰピクチャのマクロブロックのイントラ符号化モードの評価値及び予測誤差の絶対値和に対応して、フレーム予測モード、フィールド予測モードの何れか、及びイントラ符号化モード、前方予測モードのいずれの予測モードかをマクロブロック単位で設定する。
【００５２】演算部５３はイントラ符号化モードが設定されたとき、スイッチ５３ｄを上述したように接点ａ側に切り換える。従って、このデータは、Ｉピクチャのデータと同様に、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、このデータは、逆量子化回路６０、ＩＤＣＴ回路６１、演算器６２を介してフレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。
【００５３】一方、前方予測モードの時、スイッチ５３ｄが接点ｂに切り換えられるとともに、フレームメモリ６３の前方予測画像部６３ａに記憶されている画像（いまの場合Ｉピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より前方予測モードの設定が指令されたとき、前方予測画像部６３ａの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００５４】動き補償回路６４より出力された予測画像データは、演算器５３ａに供給される。演算器５３ａは、予測モード切り換え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された、このマクロブロックに対応する予測画像データを減算し、その差分（予測誤差）を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。また、この差分データは、逆量子化回路６０、ＩＤＣＴ回路６１により局所的に復号され、演算器６２に入力される。
【００５５】この演算器６２にはまた、演算器５３ａに供給されている予測画像データと同一のデータが供給されている。演算器６２は、ＩＤＣＴ回路６１が出力する差分データに、動き補償回路６４が出力する予測画像データを加算する。これにより、元の（復号した）Ｐピクチャの画像データが得られる。このＰピクチャの画像データは、フレームメモリ６３の後方予測画像部６３ｂに供給され、記憶される。尚、実際には、演算器６２に供給される、ＩＤＣＴ回路の出力する差分データのデータ構造と予測画像データのデータ構造とは、同じである必要があるため、フレーム／フィールド予測モードとフレーム／フィールドＤＣＴモードが、異なる場合に備えてデータの並べ換えを行う回路が必要であるが、簡単のため省略する。
【００５６】動きベクトル検出回路５０は、このように、ＩピクチャとＰピクチャのデータが前方予測画像部６３ａと後方予測画像部６３ｂにそれぞれ記憶された後、次にＢピクチャの処理を実行する。予測判定回路５４は、マクロブロック単位でのイントラ符号化モードの評価値及びフレーム間差分の絶対値和の大きさに対応して、フレーム／フィールド予測モードを設定し、また、予測モードをイントラ符号化モード、前方予測モード、後方予測モード、または両方向予測モードのいずれかに設定する。
【００５７】上述したように、イントラ符号化モードまたは前方予測モードの時、スイッチ５３ｄは接点ａまたはｂに切り換えられる。このとき、Ｐピクチャにおける場合と同様の処理が行われ、データが伝送される。
【００５８】これに対して、後方予測モードまたは両方向予測モードが設定された時、スイッチ５３ｄは、接点ｃまたはｄにそれぞれ切り換えられる。
【００５９】スイッチ５３ｄが接点ｃに切り換えられている後方予測モードの時、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より後方予測モードの設定が指令されたとき、後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトルに対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００６０】動き補償回路６４より出力された予測画像データは、演算器５３ｂに供給される。演算器５３ｂは、予測モード切り換え回路５２より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データを減算し、その差分を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。
【００６１】スイッチ５３ｄが接点ｄに切り換えられている両方向予測モードの時、前方予測画像部６３ａに記憶されている画像（いまの場合、Ｉピクチャの画像）データと、後方予測画像部６３ｂに記憶されている画像（いまの場合、Ｐピクチャの画像）データが読み出され、動き補償回路６４により、動きベクトル検出回路５０が出力する動きベクトルに対応して動き補償される。すなわち、動き補償回路６４は、予測判定回路５４より両方向予測モードの設定が指令されたとき、前方予測画像部６３ａと後方予測画像部６３ｂの読み出しアドレスを、動きベクトル検出回路５０がいま出力しているマクロブロックの位置に対応する位置から動きベクトル（この場合の動きベクトルは、フレーム予測モードの場合、前方予測画像用と後方予測画像用の２つ、フィールド予測モードの場合は、前方予測画像用に２つ、後方予測画像用の２つの計４つとなる）に対応する分だけずらしてデータを読み出し、予測画像データを生成する。
【００６２】動き補償回路６４より出力された予測画像データは、演算器５３ｃに供給される。演算器５３ｃは、動きベクトル検出回路５０より供給された参照画像のマクロブロックのデータから、動き補償回路６４より供給された予測画像データの平均値を減算し、その差分を出力する。この差分データは、ＤＣＴモード切り換え回路５５、ＤＣＴ回路５６、量子化回路５７、可変長符号化回路５８、送信バッファ５９を介して伝送路に伝送される。
【００６３】Ｂピクチャの画像は、他の画像の予測画像とされることがないため、フレームメモリ６３には記憶されない。
【００６４】尚、フレームメモリ６３において、前方予測画像部６３ａと後方予測画像部６３ｂは、必要に応じてバンク切り換えが行われ、所定の参照画像に対して、一方または他方に記憶されているものを、前方予測画像あるいは後方予測画像として切り換えて出力することができる。
【００６５】以上においては、輝度ブロックを中心として説明をしたが、色差ブロックについても同様に、図１９R>９及び図２０に示すマクロブロックを単位として処理され、伝送される。尚、色差ブロックを処理する場合の動きベクトルは、対応する輝度ブロックの動きベクトルを垂直方向と水平方向に、それぞれ１／２にしたものが用いられる。
【００６６】次に、図２１は、図１６のデコーダ３１の一例の構成を示すブロック図である。伝送路（記録媒体３）を介して伝送された符号化された画像データは、図示せぬ受信回路で受信されたり、再生装置で再生され、入力端子８０を介して受信バッファ８１に一時記憶された後、復号回路９０の可変長復号化回路８２に供給される。可変長復号化回路８２は、受信バッファ８１より供給されたデータを可変長復号化し、動きベクトル、予測モード、予測フラグ及びＤＣＴフラグを動き補償回路８７に、また、量子化ステップを逆量子化回路８３に、それぞれ出力するとともに、復号された画像データを逆量子化回路８３に出力する。
【００６７】逆量子化回路８３は、可変長復号化回路８２より供給された画像データを、同じく可変長復号化回路８２より供給された量子化ステップに従って逆量子化し、ＩＤＣＴ回路８４に出力する。逆量子化回路８３より出力されたデータ（ＤＣＴ係数）は、ＩＤＣＴ回路８４で、逆ＤＣＴ処理され、演算器８５に供給される。
【００６８】ＩＤＣＴ回路８４より供給された画像データが、Ｉピクチャのデータである場合、そのデータは演算器８５より出力され、演算器８５に後に入力される画像データ（ＰまたはＢピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の前方予測画像部８６ａに供給されて記憶される。また、このデータは、フォーマット変換回路３２（図１６）に出力される。
【００６９】ＩＤＣＴ回路８４より供給された画像データが、その１フレーム前の画像データを予測画像データとするＰピクチャのデータであって、前方予測モードで符号化されたマクロブロックのデータである場合、フレームメモリ８６の前方予測画像部８６ａに記憶されている、１フレーム前の画像データ（Ｉピクチャのデータ）が読み出され、動き補償回路８７で可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施される。そして、演算器８５において、ＩＤＣＴ回路８４より供給された画像データ（差分のデータ）と加算され、出力される。この加算されたデータ、即ち、復号されたＰピクチャのデータは、演算器８５に後に入力される画像データ（ＢピクチャまたはＰピクチャのデータ）の予測画像データ生成のために、フレームメモリ８６の後方予測画像部８６ｂに供給されて記憶される。
【００７０】Ｐピクチャのデータであっても、イントラ符号化モードで符号化されたマクロブロックのデータは、Ｉピクチャのデータと同様に、演算器８５で特に処理は行わず、そのまま後方予測画像部８６ｂに記憶される。
【００７１】このＰピクチャは、次のＢピクチャの次に表示されるべき画像であるため、この時点では、まだフォーマット変換回路３２へ出力されない（上述したように、Ｂピクチャの後に入力されたＰピクチャが、Ｂピクチャより先に処理され、伝送されている）。
【００７２】ＩＤＣＴ回路８４より供給された画像データが、Ｂピクチャのデータである場合、可変長復号化回路８２より供給された予測モードに対応して、フレームメモリ８６の前方予測画像部８６ａに記憶されているＩピクチャの画像データ（前方予測モードの場合）、後方予測画像部８６ｂに記憶されているＰピクチャの画像データ（後方予測モードの場合）、または、その両方の画像データ（両方向予測モードの場合）が読み出され、動き補償回路８７において、可変長復号化回路８２より出力された動きベクトルに対応する動き補償が施されて、予測画像が生成される。但し、動き補償を必要としない場合（イントラ符号化モードの場合）、予測画像は生成されない。
【００７３】このようにして、動き補償回路８７で動き補償が施されたデータは、演算器８５において、ＩＤＣＴ回路８４の出力と加算される。この加算出力は、出力端子９１を介してフォーマット変換回路３２に出力される。
【００７４】但し、この加算出力はＢピクチャのデータであり、他の画像の予測画像生成のために利用されることがないため、フレームメモリ８６には記憶されない。
【００７５】Ｂピクチャの画像が出力された後、後方予測画像部８６ｂに記憶されているＰピクチャの画像データが読み出され、動き補償回路８７及び演算器８５を介して再生画像として出力される。但し、このとき、動き補償及び加算は行われない。
【００７６】尚、このデコーダ３１には、図１８のエンコーダ１８における予測モード切り換え回路５２とＤＣＴモード切り換え回路５５に対応する回路が図示されていないが、これらの回路に対応する処理、即ち、奇数フィールドと偶数フィールドのラインの信号が分離された構成を、元の混在する構成に必要に応じて戻す処理は、動き補償回路８７が実行する。
【００７７】また、以上においては、輝度信号の処理について説明したが、色差信号の処理も同様に行われる。但し、この場合、動きベクトルは、輝度信号用のものを、垂直方向及び水平方向に１／２にしたものが用いられる。
【００７８】
【発明が解決しようとする課題】以上のように、従来の画像信号符号化および復号化方法によれば、２枚の予測画像を用いた両方向予測（すなわちＢピクチャを用いた符号化／復号化）が可能であるが、この場合メモリ量が大きくなる。また、１枚の予測画像を用いた前方予測（即ちＰピクチャを用いた符号化／復号化）又は後方予測（すなわち予測モードをイントラ符号化モード及び後方予測モードのみに限定したＢピクチャを用いた符号化／復号化）のみに限定すれば、メモリ量は削減可能であるが、画質が低下する。
【００７９】さらに上記両方向予測を用いて生成したビットストリームと、前方予測（後方予測）のみに限定して生成したビットストリームには、相互互換性がないという課題がある。
【００８０】現実的には、同一の信号から、画像１枚分の容量をもつ参照画像メモリを持つデコーダでも画像２枚分の参照画像メモリを持つデコーダでもデコードが可能であって、画像２枚分の参照画像メモリをもつデコーダを用いた場合は、両方向予測によって画質が向上するような、ビットストリームの互換性があることが望ましい。
【００８１】本発明はこのような状況に鑑みてなされたものであり、同一のビットストリームから、画像１枚分の参照画像メモリを持つ前方予測（後方予測）のみが可能なデコーダでデコードが可能であり、さらに画像２枚分の参照画像メモリを持つ両方向予測が可能なデコーダでデコードした場合には、画質が向上する様にでき、予測用参照画像メモリの量の異なるデコーダでそれぞれデコードが可能となるような互換性をもたせたビットストリームの画像信号伝送並びに復号化方法及びその装置に関するものである。
【００８２】
【課題を解決するための手段】ここで、本発明においては、３種類のビットストリームが生成される。すなわち、第１の符号化として、Ｎ枚の画像毎に、Ｉピクチャ及びＰピクチャとして符号化を行い第１のビットストリームを生成する。第２の符号化としては、上記第１の符号化において符号化されなかった（Ｎ−１）枚の画像を、第１の符号化で符号化された画像の局所復号画像を予測画像に用いて、Ｐピクチャ又は予測モードに制限を設けたＢピクチャ（イントラ符号化モード及び後方予測モードのみ選択が可能）として符号化を行い第２のビットストリームを生成する。第３の符号化としては、上記第１の符号化において符号化されなかった（Ｎ−１）枚の画像を、第１の符号化で符号化された画像の局所復号画像を予測画像に用いて、Ｂピクチャとして符号化を行い、第３のビットストリームを生成する。
【００８３】ここで、１枚の参照画像メモリを持つ前方予測（後方予測）のみが可能なデコーダでデコードする場合には、第１のビットストリームと第２のビットストリームを組み合わせることによって、復号を行う。１枚の参照画像メモリを用いることによって、第１のビットストリームからＩピクチャ及びＰピクチャとして符号化された画像信号を復号する。また、その復号画像を上記１枚の参照画像メモリに記憶し、この復号画像を予測画像に用いて、第２のビットストリームからＰピクチャ又は予測モードに制限を設けたＢピクチャ（イントラ符号化モード及び後方予測モードのみ選択が可能）として符号化された画像信号を復号する。
【００８４】これに対して、２枚の参照画像メモリを持つ両方向予測が可能なデコーダでデコードする場合には、第１のビットストリームと第３のビットストリームを組み合わせることによって復号を行う。２枚の参照画像メモリの内の１枚を用いることによって第１のビットストリームからＩピクチャ及びＰピクチャとして符号化された画像信号を復号する。またその復号画像を２枚の参照画像メモリに記憶し、この２枚の復号画像を予測画像に用いて第３のビットストリームからＢピクチャとして符号化された画像信号を復号する。
【００８５】本発明は、この符号化並びに復号化によって、予測用参照画像メモリの量の異なるデコーダでデコードが可能となるような、互換性を持つことを特徴としている。さらに、本発明は、上記第２，第３の符号化された信号の一部のヘッダ情報を上記第１の符号化された信号に付加して第１のビットストリームとし、第２，第３のビットストリームはこれらのヘッダ情報を除いたものとしている。
【００８６】
【作用】本発明によれば、同一のビットストリームから、画像１枚分の参照画像メモリを持つ前方予測（後方予測）のみが可能な復号化装置で復号化が可能となり、さらに画像２枚分の参照画像メモリを持つ両方向予測が可能な復号化装置で復号化した場合、画質が向上する様にでき、予測用参照画像メモリの量の異なる復号化装置で、それぞれ復号化することが可能となる。
【００８７】
【実施例】以下、本発明の実施例について図面を参照しながら説明する。
【００８８】ここで、本実施例の具体的な説明に先立ち、本実施例の予測画像について簡単に説明する。
【００８９】本実施例では、前記前方予測，後方予測，両方向予測等の予測の手法によって、必要となる参照画像メモリの枚数が限定される。先ず、前方予測のみで画像間距離が１の場合を図１に示す。この場合、前方予測に１枚前の画像の復号画像を用いるため、１枚の参照画像メモリが必要となる。すなわち、この場合、画像はＩピクチャとＰピクチャのみとなり、全て前方予測（但し、イントラ符号化モードによるマクロブロックを含んでもよい）によって画像を構成する。
【００９０】これに対して、両方向予測を行うことができるシステム（デコーダ）の場合を、図２に示す。この場合、前述した従来例で示したとおり前方予測用画像メモリおよび後方予測用画像メモリによる２枚の参照画像メモリが必要となる。すなわち、この場合、画像はＩピクチャ，Ｐピクチャ，Ｂピクチャとなる。
【００９１】本発明実施例では、上記参照画像を１枚とするデコーダでも、また、参照画像を２枚とするデコーダでもデコードが可能な、互換性を持った符号化方式に関して説明する。
【００９２】先ず、第１の実施例として、以下に示す２種類のデコーダでの互換性を持つ符号化方式／復号化方式に関して説明する。すなわち、第１に、１枚の参照画像メモリを持つ場合で前方予測のみが可能なデコーダと、第２に、２枚の参照画像メモリを持つ場合で両方向予測が可能なデコーダに対して互換性を有する符号化方式／復号化方式について説明する。
【００９３】上記符号化方式から説明する。
【００９４】図３を用いて本発明実施例の予測方式について説明する。この図３において、各画像に示してあるＩ，Ｐ，ＢはそれぞれＩピクチャ、Ｐピクチャ、Ｂピクチャを表し、Ｐ’はＰピクチャを表している。また図中矢印は、予測で参照する画像間の予測の方向を示してある。
【００９５】この符号化においては、３種類のビットストリームが生成される。これらを図３の上から順に、第１のビットストリームであるビットストリームＡ（伝送チャネル（０）で伝送）、第２のビットストリームであるビットストリームＢ（伝送チャネル（１）で伝送）、第３のビットストリームであるビットストリームＣ (伝送チャネル（２）で伝送）とする。
【００９６】上記ビットストリームＡにおいては、それぞれの画像間の距離を２枚間隔（Ｎ＝２）として前方予測を行ったデータ（Ｐピクチャのデータ）及びＩピクチャのデータが符号化される。
【００９７】上記ビットストリームＢにおいては、上記ビットストリームＡで符号化されなかった１枚の画像を（Ｎ−１枚の画像すなわち上記ビットストリームＡに示すＩ，Ｐピクチャ間のＰ′ピクチャを）、ビットストリームＡの局所復号画像（Ｉ，Ｐピクチャ）を予測画像に用いて前方予測を行ったデータ（Ｐ′ピクチャのデータ）が符号化される。
【００９８】上記ビットストリームＣにおいては、上記ビットストリームＡで符号化されなかった１枚（Ｎ−１）の画像を（上記ビットストリームＢで符号化する画像を）、上記ビットストリームＡの前後２枚の局所復号画像（Ｉ又はＰピクチャ）を用いて両方向予測を行ったデータ（Ｂピクチャのデータ）が符号化される。
【００９９】ここで、上記ビットストリームＡは予測の基本となるビットストリームであり、上記ビットストリームＢおよびビットストリームＣは、それぞれ差し替え可能な、ビットストリームＡとの組み合わせによりデコードが可能となるビットストリームである。
【０１００】上述した本実施例の符号化によって生成されたビットストリームは、その組み合わせによって、エンコーダのローカルデコーダ及びデコーダに必要なメモリ枚数が変化する。
【０１０１】すなわち、第１に、ビットストリームＡ＋ビットストリームＢの組合せの場合には、エンコーダのローカルデコーダは少なくとも１枚の参照画像メモリを持つ必要があり、このローカルデコーダでは、イントラ符号化及び前方予測符号化されたデータのみの局所復号（ローカルデコード）が可能となる。
【０１０２】この場合のエンコーダブロックダイヤグラムを図４に示す。なお、この図４に示すエンコーダにおいて、前述した図１８に示した各構成要素と同一のものについては同一の指示符号を付してその説明については省略している。この図４は、フレームメモリ１６３の参照画像用のメモリが１枚（前方予測画像部６３ａのみ）で、予測として演算部１５３のスイッチ５３ｅの接点ａ，ｂにおけるイントラ符号化と前方予測のみが可能なエンコーダである。
【０１０３】このエンコーダでは、符号化は、図３に示すＰ’，Ｉ１，Ｐ’２，Ｐ３，Ｐ’４，Ｐ５・・・の順に行われる。但し、伝送チャネル（１）で伝送される画像のデータ（すなわちビットストリームＢのデータ）は局所復号（ローカルデコード）されない。まず、ビットストリームＢのＰ’の画像が、ビットストリームＡのＰの局所復号画像を予測画像に用いてＰピクチャとして符号化される。但し、このＰ’の画像は局所復号されない。次にＩ１の画像が図１８と同様に符号化され、量子化回路５７から出力されたＩ１の量子化係数は可変長符号化回路５８及び逆量子化回路６０に供給される。逆量子化回路６０，ＩＤＣＴ回路６１は上記Ｉ１の量子化係数を局所復号（ローカルデコード）し、フレームメモリ１６３に供給する。次にＰ’２の画像が、フレームメモリ１６３に記憶されたＩ１の局所復号画像を予測画像として図１８と同様に符号化される。量子化回路５７から出力されたＰ’２の量子化係数は可変長符号化回路５８にのみ供給され、逆量子化回路６０には供給されない。よって、フレームメモリ１６３にはＩ１の局所復号画像がそのまま保持される。次にＰ３の画像が、フレームメモリ１６３に記憶されたＩ１の局所復号画像を予測画像として図１８と同様に符号化される。量子化回路５７から出力されたＰ３の量子化係数は可変長符号化回路５８及び逆量子化回路６０に供給される。逆量子化回路６０，ＩＤＣＴ回路６１，演算器１６２は上記Ｐ３の量子化係数を局所復号（ローカルデコード）し、フレームメモリ１６３に供給する。同様にして以下Ｐ’４，Ｐ５・・・の順に符号化が行われる。
【０１０４】このようにして、この図４の構成によれば、Ｉピクチャ及びＰピクチャのみのビットストリームＡ＋ＰピクチャのみのビットストリームＢからなるビットストリームが得られる。
【０１０５】送信バッファ５９から出力されたビットストリームは、分離回路７０において、伝送チャネル（０）を用いて伝送するビットストリームＡと伝送チャネル（１）を用いて伝送するビットストリームＢに分離される。
【０１０６】次に、第２に、ビットストリームＡ＋ビットストリームＣの組合せの場合には、エンコーダのローカルデコーダは少なくとも２枚の参照画像メモリを持つ必要があり、このローカルデコーダでは両方向予測符号化されたデータも復号可能となる。
【０１０７】この場合のエンコーダブロックダイヤグラムは、従来の方式で説明した図１８における、２枚の参照画像（前方予測画像部６３ａ及び後方予測画像部６３ｂ）を用いたエンコーダと同様である。
【０１０８】但し、本実施例においては、図１８のエンコーダに加え、図４のエンコーダと同様に送信バッファ５９の先に分離回路が設けらる。この分離回路において、エンコードされたビットストリームＡ＋ビットストリームＣが、伝送チャネル（０）を用いて伝送するビットストリームＡと伝送チャネル（２）を用いて伝送するビットストリームＣに分離される。尚、ビットストリームＡ，Ｂ，Ｃを３並列で伝送する場合には、この分離回路は、ビットストリームＣのみを伝送チャネル（２）に供給する。符号化の順序は、Ｉ１，Ｂ，Ｐ３，Ｂ２，Ｐ５，Ｂ４，Ｐ７・・・である。
【０１０９】次に、復号化方式について説明する。
【０１１０】先ず、第１に、ビットストリームＡ＋ビットストリームＢの組合せのデコードの場合は、デコーダは少なくとも１枚の参照画像メモリを持つ必要があり、このデコーダでは、イントラ符号化及び前方予測符号化されたデータのみが復号可能となる。
【０１１１】この場合のデコーダブロックダイヤグラムを図５に示す。なお、この図５に示すデコーダ（復号回路）１９０において、前述した図２１に示した各構成要素と同一のものについては同一の指示符号を付してその説明については省略している。この復号化回路１９０では、フレームメモリ１８６の参照画像用のメモリが１枚（前方予測画像部８６ａのみ）で、イントラ符号化、前方予測符号化されたデータのみのデコードを行うことが可能である。この図５の構成によれば、Ｉピクチャ及びＰピクチャのみのビットストリームＡ＋ＰピクチャのみのビットストリームＢの組合せを復号化することが可能である。
【０１１２】多重化回路７９は、別々のチャネルで伝送されたビットストリームＡとビットストリームＢを符号化の順序と同様になるように多重化して、ビットストリームＡ＋ビットストリームＢを生成する。多重化されたビットストリームは、受信バッファ８１に供給され、以下図２１の場合と同様に復号化が行われる。但し、ビットストリームＢの復号化画像は、フレームメモリ１８６へは供給されない。
【０１１３】次に、第２に、ビットストリームＡ＋ビットストリームＣの組合せのデコードの場合は、デコーダが２枚の参照画像メモリを持つ必要があり、このデコーダでは両方向予測も可能となる。
【０１１４】この場合のデコーダブロックダイヤグラムは、従来の方式で説明した図２１における、２枚の参照画像を用いたデコーダ（復号回路９０）によって、デコードが可能である。但し、本実施例においては、図２１のデコーダに加え、図５のデコーダと同様に受信バッファ８１の前に多重化回路が設けらる。この多重化回路において、別々のチャネルで伝送されたビットストリームＡとビットストリームＣを符号化の順序と同様になるように多重化して、ビットストリームＡ＋ビットストリームＣを生成する。
【０１１５】さらに、上記ビットストリームの構成について説明する。
【０１１６】先ず、第１に、本実施例では、各ビットストリームを例えばいわゆるサイマルキャスト(simulcast) 方式で伝送する。ビットストリームを当該サイマルキャスト方式によって伝送する場合を図６に示す。
【０１１７】この図６において、ビットストリームＡ（伝送チャネル（０））には、１枚おきの画像データがＩ，Ｐ，Ｐ，・・・の順に格納されている。各画像データは画像の階層構造にしたがって、ピクチャヘッダ（ＰＨ）、スライスヘッダ（ＳＨ）、マクロブロックヘッダ（ＭＢ Ｈ）を持ち、さらにマクロブロックヘッダ（ＭＢ Ｈ）はマクロブロック単位で動きベクトル（ＭＶ）、予測モード情報、ＤＣＴ係数データ（ＣＯＥＦ）から構成されている。予測モード情報は、前方予測（ＦＷ）、イントラ（ＩＮＴＲＡ）、両方向予測（ＢＩ−ＤＩＲ）からなる。
【０１１８】これに対して、ビットストリームＢ（伝送チャネル（１））には、ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの局所復号画像を予測画像に用いて予測符号化を行ったＰピクチャのデータが、上述と同様に、Ｐ′，Ｐ′，Ｐ′，・・・の順に格納されている。
【０１１９】さらにビットストリームＣ（伝送チャネル（２））には、ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの前方／後方２枚の局所復号画像を予測画像に用いて予測符号化を行ったＢピクチャのデータが、上述と同様に、Ｂ, Ｂ, Ｂ，・・・の順に格納されている。
【０１２０】このようなことから、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＢをデコードすることによって、Ｉ、Ｐ′、Ｐ、Ｐ′、Ｐ、・・・が再生されるようになる。またこの時、予測には前方予測のみ用いられるので、画像メモリ１枚でのデコードが可能である。
【０１２１】また、上記ビットストリームＢをビットストリームＣに置き換えた場合には、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、・・・が再生されるようになる。またこの時、予測には両方向予測を用いるため、デコードの際には画像メモリ２枚が必要となる。
【０１２２】次に、第２に、上記サイマルキャスト方式に更にビットストリームＢ、Ｃのヘッダを共通化する手法（以下、プライオリティ・ブレーク・ポイント、ＰＢＰ：Priority Break Point手法と呼ぶ）を導入した場合について説明する。
【０１２３】上記プライオリティ・ブレーク・ポイント（以下ＰＢＰと記す）を伝送に導入した場合を図７に示す。
【０１２４】この図７において、各画像データは画像の階層構造にしたがって、前述同様にピクチャヘッダ（ＰＨ）、スライスヘッダ（ＳＨ）、マクロブロックヘッダ（ＭＢ Ｈ）を持ち、マクロブロック単位で動きベクトル（ＭＶ）、予測モード情報（ＦＷ，ＩＮＴＲＡ，ＢＩ−ＤＩＲ）、係数データ（ＣＯＥＦ）から構成されている。
【０１２５】図７のビットストリームＡでは、１枚おきに予測を行い、画像データがＩ，Ｐ，Ｐ，・・・の順に生成されている。ここで、ビットストリームＡにおいて伝送されない画像（上記１枚おきの画像の間の画像）に関しては、ヘッダ情報のみ（ピクチャヘッダと複数のスライスヘッダ）をビットストリームＡに含ませる。このヘッダ情報は、ビットストリームＢおよびビットストリームＣで共通に利用できる共通ヘッダ（Common Header)とする。各スライスヘッダは、上記ＰＢＰに関する情報を持つ。上記ＰＢＰは、情報をどのレベルまで送るかどうかを示す情報であり、これを制御することで、伝送の際にヘッダ情報のみを伝送したり、マクロブロックの動きベクトルまでを伝送したりすることなどが可能になる。ここでは、スライスヘッダまでを伝送するように制御する。尚、この実施例におけるエンコーダのブロックは、基本的に上述したサイマルキャストの場合と同様であるが、可変長符号化回路５８は、各スライスヘッダに上記ＰＢＰに関する情報を付加する。
【０１２６】これに対して、ビットストリームＢには、上記ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの局所復号画像を予測画像に用いて予測を行ったＰピクチャのデータのうちで、上記ヘッダ（コモンヘッダ）を除いたマクロブロックレイヤ以下のデータが、Ｐ′，Ｐ′，Ｐ′，・・・の順に格納されている。
【０１２７】さらにビットストリームＣには、上記ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの前方／後方２枚の局所復号画像を予測画像を用いて予測を行ったＢピクチャのデータのうちで、コモンヘッダを除いたマクロブロックレイヤ（層）以下のデータが、Ｂ, Ｂ, Ｂ, ・・・の順に格納されている。
【０１２８】このようなことから、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＢをデコードすることによって、Ｉ、Ｐ′、Ｐ、Ｐ′、Ｐ、・・・が再生されるようになる。なお、この時、Ｐ′ピクチャのヘッダ情報はビットストリームＡから、マクロブロックレイヤ以下のデータはビットストリームＢから復号される。予測には前方予測のみなので、画像メモリ１枚でのデコードが可能である。
【０１２９】また、上記ビットストリームＢをビットストリームＣに置き換えた場合には、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、・・・が再生されるようになる。この時、Ｂピクチャのヘッダ情報はビットストリームＡから、マクロブロックレイヤ以下のデータはビットストリームＣから復号される。またこの時、予測には両方向予測を用いるため、デコードの際には画像メモリ２枚が必要となる。
【０１３０】次に、本発明の第２の実施例として、以下に示す２種類のデコーダでの互換性を持つ符号化方式／復号化方式に関して説明する。
【０１３１】すなわち、第１に、１枚の参照画像メモリを持つ場合で、前方予測及び後方予測のみが可能なデコーダと、第２に、２枚の参照画像メモリを持つ場合で両方向予測が可能なデコーダに対して互換性を有する符号化方式／復号化方式について説明する。
【０１３２】上記符号化方式から説明する。
【０１３３】図８を用いて本発明の第２の実施例の予測方式について説明する。この図８において、各画像に示してあるＩ，Ｐ，Ｂはそれぞれ前記図３同様にＩピクチャ、Ｐピクチャ、Ｂピクチャを表し、Ｐ’は、予測モードがイントラ符号化モード及び後方予測モードのみに制限されたＢピクチャを表している。また図中矢印は、予測で参照する画像間の予測の方向を示してある。
【０１３４】この第２の実施例の符号化においても、３種類のビットストリームが生成される。これらを図８の上から順に、第１のビットストリームであるビットストリームＡ（伝送チャネル（０）で伝送）、第２のビットストリームであるビットストリームＢ（伝送チャネル（１）で伝送）、第３のビットストリームであるビットストリームＣ (伝送チャネル（２）で伝送）とする。
【０１３５】上記ビットストリームＡにおいては、それぞれの画像間の距離を２枚間隔（Ｎ＝２）で、前方予測を行ったＰピクチャ及びＩピクチャのデータが符号化される。
【０１３６】上記ビットストリームＢにおいては、上記ビットストリームＡで符号化されなかった１枚（Ｎ−１）の画像を、ビットストリームＡの局所復号画像を予測画像として用いて後方予測を行ったＢピクチャ（但し予測モードは、イントラ符号化と後方予測モードのみ）のデータが符号化される。
【０１３７】上記ビットストリームＣにおいては、上記ビットストリームＢで符号化する画像に対して、上記ビットストリームＡの前後２枚の局所復号画像を予測画像に用いて両方向予測を行ったＢピクチャのデータが符号化される。
【０１３８】ここで、第２の実施例においても、上記ビットストリームＡは予測の基本となるビットストリームであり、上記ビットストリームＢおよびビットストリームＣは、それぞれ差し替え可能な、ビットストリームＡとの組み合わせによりデコードが可能となるビットストリームである。
【０１３９】第２の実施例も、符号化によって生成されたビットストリームは、その組み合わせによって、エンコーダのローカルデコーダ及びデコーダに必要なメモリ枚数が変化する。
【０１４０】すなわち、第１に、ビットストリームＡ＋ビットストリームＢの組合せのエンコードの場合には、エンコーダのローカルデコーダは少なくとも１枚の参照画像メモリが必要であり、イントラ符号化、前方予測符号化及び後方予測符号化されたデータのみの局所復号（ローカルデコード）が可能となる。
【０１４１】この場合のエンコーダブロックダイヤグラムを図９に示す。なお、この図９に示すエンコーダにおいて、前述した図１８に示した各構成要素と同一のものについては同一の指示符号を付してその説明については省略している。この図９は、フレームメモリ２６３の参照画像用のメモリが１枚（予測画像部６３ｃ）で、予測として演算部２５３のスイッチ５３ｆの接点ａ，ｂ，ｃにおけるイントラ符号化と前方予測と後方予測を行うことが可能なエンコーダである。この図９の構成によれば、Ｉピクチャ及びＰピクチャのみのビットストリームＡ＋予測には後方予測のみを用いたＢピクチャ（イントラ符号化モードによるマクロブロックを含んでも良い）のビットストリームＢの組合せを符号化することが可能である。
【０１４２】このエンコーダでは、符号化は、図８に示すＩ１，Ｐ’，Ｐ３，Ｐ’２，Ｐ５，Ｐ’４・・・の順に行われる。但し、伝送チャネル（１）で伝送される画像のデータ（すなわちビットストリームＢのデータ）は局所復号（ローカルデコード）されない。先ず、Ｉ１の画像が図１８と同様に符号化され、量子化回路５７から出力されたＩ１の量子化係数は可変長符号化回路５８及び逆量子化回路６０に供給される。逆量子化回路６０，ＩＤＣＴ回路６１は上記Ｉ１の量子化係数を局所復号（ローカルデコード）し、フレームメモリ２６３に供給する。次にＰ’の画像が、フレームメモリ２６３に記憶されたＩ１の局所復号画像を予測画像として図１８と同様に符号化される。但し、このＰ’の画像はローカルデコードされない。次にＰ３の画像が、フレームメモリ２６３に記憶されたＩ１の局所復号画像を予測画像として図１８と同様に符号化される。量子化回路５７から出力されたＰ３の量子化係数は可変長符号化回路５８及び逆量子化回路６０に供給される。逆量子化回路６０，ＩＤＣＴ回路６１，演算器１６２は上記Ｐ３の量子化係数を局所復号（ローカルデコード）し、フレームメモリ２６３に供給する。次にＰ’２の画像が、フレームメモリ２６３に記憶されたＰ３の局所復号画像を予測画像として図１８と同様に符号化される。量子化回路５７から出力されたＰ’２の量子化係数は可変長符号化回路５８にのみ供給され、逆量子化回路６０には供給されない。よって、フレームメモリ２６３にはＰ３の局所復号画像がそのまま保持される。同様にして以下Ｐ５，Ｐ’４・・・の順に符号化が行われる。
【０１４３】このようにして、この図４の構成によれば、Ｉピクチャ及びＰピクチャのみのビットストリームＡ＋インラ符号化及び後方予測のみのＢピクチャのビットストリームＢからなるビットストリームが得られる。送信バッファ５９から出力されたビットストリームは、分離回路７０において、伝送チャネル（０）を用いて伝送するビットストリームＡと伝送チャネル（１）を用いて伝送するビットストリームＢに分離される。
【０１４４】次に、第２に、ビットストリームＡ＋ビットストリームＣの組合せの場合には、エンコーダのローカルデコーダは少なくとも２枚の参照画像メモリを持つ必要があり、このローカルデコーダでは両方向予測符号化されたデータも復号可能となる。
【０１４５】この場合のエンコーダブロックダイヤグラムは、従来の方式で説明した図１８における、２枚の参照画像（前方予測画像部６３ａ及び後方予測画像部６３ｂ）を用いたエンコーダによって、エンコードが可能である。
【０１４６】但し、本実施例においては、図１８のエンコーダに加え、図９のエンコーダと同様に送信バッファ５９の先に分離回路が設けらる。この分離回路において、エンコードされたビットストリームＡ＋ビットストリームＣが、伝送チャネル（０）を用いて伝送するビットストリームＡと伝送チャネル（２）を用いて伝送するビットストリームＣに分離される。尚、ビットストリームＡ，Ｂ，Ｃを３並列で伝送する場合には、この分離回路は、ビットストリームＣのみを伝送チャネル（２）に供給する。符号化の順序は、Ｉ１，Ｂ，Ｐ３，Ｂ２，Ｐ５，Ｂ４，Ｐ７・・・である。
【０１４７】次に、第２の実施例の復号化方式について説明する。
【０１４８】先ず、第１に、ビットストリームＡ＋ビットストリームＢの組合せのデコードの場合において、デコーダは少なくとも１枚の参照画像メモリを持つ必要があり、このデコーダでは、イントラ符号化、前方予測及び後方予測されたデータのみが復号可能となる。
【０１４９】この場合のデコーダブロックダイヤグラムを図１０に示す。なお、この図１０に示すデコーダ（復号回路）２９０において、前述した図２１に示した各構成要素と同一のものについては同一の指示符号を付してその説明については省略している。この復号化回路２９０ではフレームメモリ２８６の参照画像用のメモリが１枚（予測画像部８６ｃ）で、イントラ符号化、前方予測、後方予測のデコードを行うことが可能である。この図１０の構成によれば、Ｉピクチャ及びＰピクチャのみのビットストリームＡ＋予測には後方予測のみを用いたＢピクチャ（イントラ符号化モードによるマクロブロックを含んでも良い）のビットストリームＢの組合せを復号化することが可能である。多重化回路７９は、別々のチャネルで伝送されたビットストリームＡとビットストリームＢを符号化の順序と同様になるように多重化して、ビットストリームＡ＋ビットストリームＢを生成する。多重化されたビットストリームは、受信バッファ８１に供給され、以下図２１の場合と同様に復号化が行われる。但し、ビットストリームＢの復号化画像は、フレームメモリ２８６へは供給されない。
【０１５０】次に、第２に、ビットストリームＡ＋ビットストリームＣの組合せのデコードの場合には、デコーダは２枚の参照画像メモリを持つ必要があり、このデコーダでは両方向予測も可能となる。
【０１５１】この場合のデコーダブロックダイヤグラムは、従来の方式で説明した図２１における、２枚の参照画像を用いたデコーダ（復号回路９０）によって、デコードが可能である。但し、本実施例においては、図２１のデコーダに加え、図１０のデコーダと同様に受信バッファ８１の前に多重化回路が設けられる。この多重化回路において、別々のチャネルで伝送されたビットストリームＡとビットストリームＣを符号化の順序と同様になるように多重化して、ビットストリームＡ＋ビットストリームＣを生成する。
【０１５２】さらに、第２の実施例におけるビットストリームの構成について説明する。先ず、第１に、各ビットストリームを前述同様のサイマルキャスト方式で伝送する。当該サイマルキャスト方式によって伝送する場合を図１１に示す。
【０１５３】この図１１において、ビットストリームＡ（伝送チャネル（０））には、１枚おきの画像データがＩ，Ｐ，Ｐ，・・・の順に格納されている。各画像データは画像の階層構造にしたがって、ピクチャヘッダ（ＰＨ）、スライスヘッダ（ＳＨ）、マクロブロックヘッダ（ＭＢ Ｈ）を持ち、マクロブロックヘッダはマクロブロック単位で動きベクトル（ＭＶ）、予測モード情報（ＦＷ，ＩＮＴＲＡ，ＢＩ−ＤＩＦ，及び後方予測（ＢＷ））、係数データ（ＣＯＥＦ）から構成されている。
【０１５４】これに対して、ビットストリームＢ（伝送チャネル（１））には、ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの画像を予測画像に用いて後方予測を行ったＰ′ピクチャのデータが前述と同様に、Ｐ′，Ｐ′，Ｐ′，・・・の順に格納されている。
【０１５５】さらにビットストリームＣ（伝送チャネル（２））には、ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの前方／後方２枚の画像を予測画像に用いて予測を行ったＢピクチャのデータが、Ｂ, Ｂ, Ｂ，・・・の順に格納されている。
【０１５６】このようなことから、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＢをデコードすることによって、Ｉ、Ｐ′、Ｐ、Ｐ′、Ｐ、‥‥が再生される。またこの時、予測には予測画像は１枚のみなので、画像メモリ１枚でのデコードが可能である。
【０１５７】さらに、上記ビットストリームＢをビットストリームＣに置き換えた場合には、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、・・・が再生される。またこの時、予測には両方向予測を用いるため、デコーダに画像メモリ２枚が必要となる。
【０１５８】次に、この第２の実施例において、第２に、ビットストリームＢ、Ｃのヘッダを共通化した場合として、前述同様にプライオリティ・ブレーク・ポイント（ＰＢＰ）の手法を導入した場合について説明する。尚、この実施例におけるエンコーダは、上述したサイマルキャストの場合と同様であるが、可変長符号化回路５８は、各スライスヘッダにＰＢＰに関する情報を付加する。
【０１５９】上記プライオリティ・ブレーク・ポイント（ＰＢＰ）を伝送に導入した場合を図１２に示す。
【０１６０】この図１２においても、各画像データは画像の階層構造にしたがって、ピクチャヘッダ（ＰＨ）、スライスヘッダ（ＳＨ）、マクロブロックヘッダ（ＭＢ Ｈ）を持ち、マクロブロック単位で動きベクトル（ＭＶ）、予測モード情報（ＦＷ，ＩＮＴＲＡ，ＢＷ，ＢＩ−ＤＩＲ）、係数データ（ＣＯＥＦ）から構成されている。
【０１６１】図１２のビットストリームＡでは、１枚おきに予測を行い、画像データがＩ，Ｐ，Ｐ，・・・の順に生成されている。またここで読みとばされた画像に関しては、ヘッダ情報のみ（ピクチャヘッダと複数のスライスヘッダからなるコモンヘッダ）がビットストリームに含ませる。この第２の実施例でも、上記ＰＢＰの情報を制御することで、ヘッダのみを伝送したり、マクロブロックの動きベクトルまでを伝送したりすることなどが可能になる。本実施例でも、スライスヘッダまでを伝送するように制御する。
【０１６２】これに対して、ビットストリームＢには、上記ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡの画像を予測画像に用いて後方予測を行ったＰ′ピクチャのデータのうちで、コモンヘッダを除いたマクロブロックレイヤ以下のデータが、Ｐ′，Ｐ′，Ｐ′，・・・の順に格納されている。
【０１６３】さらにビットストリームＣには、上記ビットストリームＡにおいて伝送されない画像に対して、上記ビットストリームＡにおける前方／後方２枚の画像を予測画像に用いて予測を行ったＢピクチャのデータのうちで、上記コモンヘッダを除いたマクロブロックレイヤ以下のデータが、Ｂ, Ｂ, Ｂ, ・・・の順に格納されている。
【０１６４】このようなことから、この第２の実施例においても、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＢをデコードすることによって、Ｐピクチャを前方予測で、Ｐ′ピクチャを後方予測で復号することによって、Ｉ、Ｐ′、Ｐ、Ｐ′、Ｐ、・・・が再生される。この時、Ｐ′のヘッダ情報はビットストリームＡから、マクロブロックレイヤ以下のデータはビットストリームＢから復号される。この第２の実施例においても、予測には前方予測或いは後方予測の一方向の予測のみなので、画像メモリ１枚でのデコードが可能である。
【０１６５】また、上記ビットストリームＢをビットストリームＣに置き換えた場合には、別々の伝送チャネルで伝送されるビットストリームＡおよびビットストリームＣをデコードすることによって、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、・・・が再生される。この時、Ｂピクチャのヘッダ情報はビットストリームＡから、マクロブロックレイヤ以下のデータはビットストリームＣから復号される。またこの時、予測には両方向予測を用いるため、デコーダには画像メモリ２枚が必要となる。
【０１６６】
【発明の効果】本発明の画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置においては、同一のビットストリームから、画像１枚分の参照画像メモリを持つ前方予測（後方予測）のみが可能な復号化装置で復号化が可能となり、さらに画像２枚分の参照画像メモリを持つ両方向予測が可能な復号化装置で復号化した場合には、画質が向上するように復号化することが可能となる。
【図面の簡単な説明】
【図１】本発明実施例において画像がＩ，Ｐ，Ｐ，Ｐ，・・・である場合の予測方法を説明するための図である。
【図２】本発明実施例における画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合の予測方法を説明するための図である。
【図３】第１の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合の互換性を考慮した場合の予測方法（ビットストリームＢを前方予測）を説明するための図である。
【図４】第１の実施例における前方予測のみのエンコーダの概略構成を示すブロック回路図である。
【図５】第１の実施例における前方予測のみのデコーダの概略構成を示すブロック回路図である。
【図６】第１の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合の互換性を考慮した場合のビットストリーム伝送（ビットストリームＢを前方予測、Simulcast 方式）を説明するための図である。
【図７】第１の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合のビットストリーム伝送（ビットストリームＢを前方予測、 Priority Break Point を利用）を説明するための図である。
【図８】第２の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合の互換性を考慮した場合の予測方法（ビットストリームＢを後方予測）を説明するための図である。
【図９】第２の実施例における後方予測によるエンコーダの概略構成を示すブロック回路図である。
【図１０】第２の実施例における後方予測によるデコーダの概略構成を示すブロック回路図である。
【図１１】第２の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合の互換性を考慮した場合のビットストリーム伝送（ビットストリームＢを前方予測、Simulcast 方式）を説明するための図である。
【図１２】第２の実施例における画像がＩ，Ｐ，Ｐ，Ｐ，・・・とある場合と画像がＩ，Ｐ，Ｂ，Ｐ，・・・である場合のビットストリーム伝送（ビットストリームＢを前方予測、 Priority Break Point を利用）を説明するための図である。
【図１３】高能率符号化の原理を説明する図である。
【図１４】画像データを圧縮する場合におけるピクチャのタイプを説明する図である。
【図１５】動画像信号を符号化する原理を説明する図である。
【図１６】従来の画像信号符号化装置と復号化装置の構成例を示すブロック回路図である。
【図１７】図１６におけるフォーマット変換回路１７のフォーマット変換の動作を説明する図である。
【図１８】図１６におけるエンコーダ１８の構成例を示すブロック回路図である。
【図１９】図１８の予測モード切り換え回路５２の動作を説明する図である。
【図２０】図１８のＤＣＴモード切り換え回路５５の動作を説明する図である。
【図２１】図１６のデコーダ３１の構成例を示すブロック回路図である。
【符号の説明】
１ 符号化装置、 ２ 復号化装置、 ３ 記録媒体、 １２，１３ Ａ／Ｄ変換器、 １４ フレームメモリ、 １５ 輝度信号フレームメモリ、 １６色差信号フレームメモリ 、 １７ フォーマット変換回路、 １８ エンコーダ、 ３１ デコーダ、 ３２ フォーマット変換回路、 ３３ フレームメモリ、 ３４ 輝度信号フレームメモリ、 ３５ 色差信号フレームメモリ、 ３６，３７ Ｄ／Ａ変換器、 ５０ 動きベクトル検出回路、 ５１ フレームメモリ、 ５２ 予測モード切り換え回路、 ５３，１５３，２５３ 演算部、５４ 予測判定回路、 ５５ ＤＣＴモード切り換え回路、 ５６ ＤＣＴ回路、 ５７ 量子化回路、 ５８ 可変長符号化回路、 ５９ 送信バッファ、６０ 逆量子化回路、 ６１ ＩＤＣＴ回路、 ６２，１６２ 演算器、 ６３，１６３，２６３ フレームメモリ、 ６４，１６４，２６４ 動き補償回路、７０ 分離回路、 ７９ 多重化回路、 ８１ 受信バッファ、 ８２ 可変長復号化回路、 ８３ 逆量子化回路、 ８４ ＩＤＣＴ回路、 ８５ 演算器、 ８６，１８６，２８６ フレームメモリ、 ８７ 動き補償回路
【特許請求の範囲】
【請求項１】 画像信号伝送方法において、Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測画像として前方予測符号化を行って第１の符号化信号を生成し、上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ上記Ｎ枚毎の画像信号を予測画像として前方予測符号化又は後方予測符号化を行って第２の符号化信号を生成し、上記第１の符号化信号に上記第２の符号化信号の一部のヘッダ情報を付加した第１のビットストリームと上記第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを並列に伝送することを特徴とする画像信号伝送方法。
【請求項２】 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行い第３の符号化信号を生成し、上記第３の符号化信号から上記一部のヘッダ情報を除いた第３のビットストリームを、上記第１のビットストリーム及び上記第２のビットストリームと並列に伝送することを特徴とする請求項１記載の画像信号伝送方法。
【請求項３】 画像信号伝送方法において、Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測画像として前方予測符号化を行って第１の符号化信号を生成し、上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行い第２の符号化信号を生成し、上記第１の符号化信号に上記第２の符号化信号の一部のヘッダ情報を付加した第１のビットストリームと上記第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを並列に伝送することを特徴とする画像信号伝送方法。
【請求項４】 画像信号復号化方法において、それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそれぞれＮ枚前の画像を予測画像として前方予測符号化を行って生成された第１の符号化信号と一部のヘッダ情報からなる第１のビットストリームと、上記Ｎ枚毎の画像信号以外の画像信号に対しそれぞれ上記Ｎ枚毎の画像信号を予測画像として前方予測符号化又は後方予測符号化を行って生成された第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを組み合わせ、組み合わされた上記ビットストリームを１枚の参照画像メモリを用いて予測復号化することを特徴とする画像信号復号化方法。
【請求項５】 画像信号復号化方法において、それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそれぞれＮ枚前の画像を予測画像として前方予測符号化を行って生成された第１の符号化信号と一部のヘッダ情報からなる第１のビットストリームと、上記Ｎ枚毎の画像信号以外の画像信号に対しそれぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行って生成された第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを組み合わせ、組み合わされた上記ビットストリームを２枚の参照画像メモリを用いて予測復号化することを特徴とする画像信号復号化方法。
【請求項６】 画像信号伝送装置において、Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測画像として前方予測符号化を行って第１の符号化信号を生成する符号化手段と、上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ上記Ｎ枚毎の画像信号を予測画像として前方予測符号化又は後方予測符号化を行って第２の符号化信号を生成する符号化手段と、上記第１の符号化信号に上記第２の符号化信号の一部のヘッダ情報を付加した第１のビットストリームと上記第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを並列に伝送する伝送手段とを有することを特徴とする画像信号伝送装置。
【請求項７】 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行い第３の符号化信号を生成する第３の符号化手段と、上記第３の符号化信号から上記一部のヘッダ情報を除いた第３のビットストームを、上記第１のビットストリーム及び上記第２のビットストリームと並列に伝送する伝送手段とを有することを特徴とする請求項６記載の画像信号伝送装置。
【請求項８】 画像信号伝送装置において、Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測画像として前方予測符号化を行って第１の符号化信号を生成する符号化手段と、上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行い第２の符号化信号を生成する符号化手段と、上記第１の符号化信号に上記第２の符号化信号の一部のヘッダ情報を付加した第１のビットストリームと上記第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを並列に伝送する伝送手段とを有することを特徴とする画像信号伝送装置。
【請求項９】 画像信号復号化装置において、それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそれぞれＮ枚前の画像を予測画像として前方予測符号化を行って生成された第１の符号化信号と一部のヘッダ情報からなる第１のビットストリームと、上記Ｎ枚毎の画像信号以外の画像信号に対しそれぞれ上記Ｎ枚毎の画像信号を予測画像として前方予測符号化又は後方予測符号化を行って生成された第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを組み合わせる手段と、組み合わされた上記ビットストリームを１枚の参照画像メモリを用いて予測復号化する復号化手段とを有することを特徴とする画像信号復号化装置。
【請求項１０】 画像信号復号化装置において、それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそれぞれＮ枚前の画像を予測画像として前方予測符号化を行って生成された第１の符号化信号と一部のヘッダ情報からなる第１のビットストリームと、上記Ｎ枚毎の画像信号以外の画像信号に対しそれぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行って生成された第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを組み合わせる手段と、組み合わされた上記ビットストリームを２枚の参照画像メモリを用いて予測復号化する復号化手段とを有することを特徴とする画像信号復号化装置。
【請求項１】 画像信号伝送方法において、Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測画像として前方予測符号化を行って第１の符号化信号を生成し、上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ上記Ｎ枚毎の画像信号を予測画像として前方予測符号化又は後方予測符号化を行って第２の符号化信号を生成し、上記第１の符号化信号に上記第２の符号化信号の一部のヘッダ情報を付加した第１のビットストリームと上記第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを並列に伝送することを特徴とする画像信号伝送方法。
【請求項２】 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行い第３の符号化信号を生成し、上記第３の符号化信号から上記一部のヘッダ情報を除いた第３のビットストリームを、上記第１のビットストリーム及び上記第２のビットストリームと並列に伝送することを特徴とする請求項１記載の画像信号伝送方法。
【請求項３】 画像信号伝送方法において、Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測画像として前方予測符号化を行って第１の符号化信号を生成し、上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行い第２の符号化信号を生成し、上記第１の符号化信号に上記第２の符号化信号の一部のヘッダ情報を付加した第１のビットストリームと上記第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを並列に伝送することを特徴とする画像信号伝送方法。
【請求項４】 画像信号復号化方法において、それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそれぞれＮ枚前の画像を予測画像として前方予測符号化を行って生成された第１の符号化信号と一部のヘッダ情報からなる第１のビットストリームと、上記Ｎ枚毎の画像信号以外の画像信号に対しそれぞれ上記Ｎ枚毎の画像信号を予測画像として前方予測符号化又は後方予測符号化を行って生成された第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを組み合わせ、組み合わされた上記ビットストリームを１枚の参照画像メモリを用いて予測復号化することを特徴とする画像信号復号化方法。
【請求項５】 画像信号復号化方法において、それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそれぞれＮ枚前の画像を予測画像として前方予測符号化を行って生成された第１の符号化信号と一部のヘッダ情報からなる第１のビットストリームと、上記Ｎ枚毎の画像信号以外の画像信号に対しそれぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行って生成された第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを組み合わせ、組み合わされた上記ビットストリームを２枚の参照画像メモリを用いて予測復号化することを特徴とする画像信号復号化方法。
【請求項６】 画像信号伝送装置において、Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測画像として前方予測符号化を行って第１の符号化信号を生成する符号化手段と、上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ上記Ｎ枚毎の画像信号を予測画像として前方予測符号化又は後方予測符号化を行って第２の符号化信号を生成する符号化手段と、上記第１の符号化信号に上記第２の符号化信号の一部のヘッダ情報を付加した第１のビットストリームと上記第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを並列に伝送する伝送手段とを有することを特徴とする画像信号伝送装置。
【請求項７】 上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行い第３の符号化信号を生成する第３の符号化手段と、上記第３の符号化信号から上記一部のヘッダ情報を除いた第３のビットストームを、上記第１のビットストリーム及び上記第２のビットストリームと並列に伝送する伝送手段とを有することを特徴とする請求項６記載の画像信号伝送装置。
【請求項８】 画像信号伝送装置において、Ｎ枚毎の画像信号に対し、それぞれＮ枚前の画像を予測画像として前方予測符号化を行って第１の符号化信号を生成する符号化手段と、上記Ｎ枚毎の画像信号以外の画像信号に対し、それぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行い第２の符号化信号を生成する符号化手段と、上記第１の符号化信号に上記第２の符号化信号の一部のヘッダ情報を付加した第１のビットストリームと上記第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを並列に伝送する伝送手段とを有することを特徴とする画像信号伝送装置。
【請求項９】 画像信号復号化装置において、それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそれぞれＮ枚前の画像を予測画像として前方予測符号化を行って生成された第１の符号化信号と一部のヘッダ情報からなる第１のビットストリームと、上記Ｎ枚毎の画像信号以外の画像信号に対しそれぞれ上記Ｎ枚毎の画像信号を予測画像として前方予測符号化又は後方予測符号化を行って生成された第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを組み合わせる手段と、組み合わされた上記ビットストリームを１枚の参照画像メモリを用いて予測復号化する復号化手段とを有することを特徴とする画像信号復号化装置。
【請求項１０】 画像信号復号化装置において、それぞれ並列に伝送された、Ｎ枚毎の画像信号に対しそれぞれＮ枚前の画像を予測画像として前方予測符号化を行って生成された第１の符号化信号と一部のヘッダ情報からなる第１のビットストリームと、上記Ｎ枚毎の画像信号以外の画像信号に対しそれぞれ前後２枚の上記Ｎ枚毎の画像信号を予測画像として両方向予測符号化を行って生成された第２の符号化信号から上記一部のヘッダ情報を除いた第２のビットストリームとを組み合わせる手段と、組み合わされた上記ビットストリームを２枚の参照画像メモリを用いて予測復号化する復号化手段とを有することを特徴とする画像信号復号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図９】
【図１２】
【図１３】
【図１４】
【図１５】
【図１９】
【図１６】
【図１７】
【図１８】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図９】
【図１２】
【図１３】
【図１４】
【図１５】
【図１９】
【図１６】
【図１７】
【図１８】
【図２０】
【図２１】
【公開番号】特開２００１−１７７８４１（Ｐ２００１−１７７８４１Ａ）
【公開日】平成１３年６月２９日（２００１．６．２９）
【国際特許分類】
【出願番号】特願２０００−３８６０５４（Ｐ２０００−３８６０５４）
【分割の表示】特願平６−４４２０２の分割
【出願日】平成６年３月１５日（１９９４．３．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【公開日】平成１３年６月２９日（２００１．６．２９）
【国際特許分類】
【分割の表示】特願平６−４４２０２の分割
【出願日】平成６年３月１５日（１９９４．３．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
[ Back to top ]