動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置および動画像予測復号プログラム
【課題】参照画像の格納及び解放を明示的に指示することなく、高品質の参照画像をより長い間バッファに格納して当該参照画像をより多くの対象画像の符号化に用いることで、高い圧縮率で予測符号化を行うこと。
【解決手段】符号化装置は、参照画像を用いて予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該対象画像に対する当該他の画像の依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化手段と、圧縮画像データを復号して得られた再生画像を参照画像として格納するフレームメモリと、バッファを制御するバッファ管理器とを備える。バッファ管理器は、フレームメモリ内の複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、削除する参照画像を決定する。
【解決手段】符号化装置は、参照画像を用いて予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該対象画像に対する当該他の画像の依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化手段と、圧縮画像データを復号して得られた再生画像を参照画像として格納するフレームメモリと、バッファを制御するバッファ管理器とを備える。バッファ管理器は、フレームメモリ内の複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、削除する参照画像を決定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一形態は、動画像予測符号化の方法、装置およびプログラム、並びに、動画像予測復号の方法、装置およびプログラムに関するものであり、とりわけ、画面間の予測符号化に用いられるバッファ内にある参照画像の管理に関するものである。
【背景技術】
【０００２】
動画像データの伝送や蓄積を効率よく行うために圧縮符号化技術が用いられる。具体的には、ＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化及び復号処理を行う。符号化効率を高めるために画面内予測符号化あるいは画面間予測符号化が用いられる。
【０００３】
画面内予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（過去に圧縮された画像データを復元することで得られる画像信号）を用いて予測信号を生成する。そして、その予測信号を対象ブロックの信号から減算して差分信号を生成し、この差分信号を符号化する。画面間予測符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照して信号の変位を検索し、その変位（動き）を補償して予測信号を生成する。そして、その予測信号を対象ブロックの信号から減算して差分信号を生成し、この差分信号を符号化する。動きの検索及び補償を行うために参照される既再生の画像を参照画像という。
【０００４】
Ｈ．２６４の画面間予測符号化では、過去に符号化され再生された複数の参照画像が参照され、動き検索により、誤差の最も少ない画像信号が対象ブロックに対する最適な予測信号として選択される。続いて、対象ブロックの画素信号とその最適な予測信号との差分が計算される。そして、その差分信号に対して離散コサイン変換及び量子化が行われ、量子化された信号がエントロピー符号化される。このような処理と同時に、対象ブロックに対する最適な予測信号をどの参照画像から取得するかに関する情報（「参照インデックス」という）、および当該最適な予測信号を参照画像のどの領域から取得するかに関する情報（「動きベクトル」という）も符号化される。Ｈ．２６４では、再生された４乃至５枚の画像が参照画像としてフレームメモリまたは再生画像バッファ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ（ＤＰＢ））に格納される。
【０００５】
複数枚の参照画像の管理方法として、適応メモリ管理方法及び移動窓メモリ管理方法がある。適応メモリ管理方法は、参照画像の格納及び解放に関する管理を明示的に指示する方法である。これに対して移動窓メモリ管理方法は、複数の参照画像の中で最も古い参照画像（すなわち、いちばん長い時間バッファ内に存在する参照画像）をバッファから削除した上で、復号した再生画像を参照画像として格納する非明示的な方法である。参照画像に関するこれら二種類の管理方法は下記非特許文献１に記載されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】大久保榮 監修，角野慎也，菊池義浩，鈴木輝彦 共編、インプレス標準教科書シリーズ Ｈ．２６４／ＡＶＣ教科書、株式会社インプレスネットビジネスカンパニー、２００４年、ｐ．１７１−１７２
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、適応メモリ管理方法では、メモリの管理情報を明示的に復号装置に送る必要があるので、その分だけ符号量が増えてしまう。一方で、移動窓メモリ管理方法では、明示的に管理情報を送る必要がない代わりに、品質の優れた参照画像を柔軟に指定することができないため、画像間の予測性能に限界がある。高画質の参照画像（一般に細かく量子化され、優れた画質を持つ参照画像）を用いて予測符号化することで圧縮率を高めることができるのであるが、移動窓メモリ管理方法では、このような高画質の参照画像が先にバッファから削除されるので、後続の画像を高い効率で予測符号化することが難しくなる。
【０００８】
そのため、参照画像の格納及び解放を明示的に指示することなく、高品質の参照画像をより長い間バッファに格納して当該参照画像をより多くの対象画像の符号化に用いることで、より高い圧縮率で予測符号化を行うことが要請されている。
【課題を解決するための手段】
【０００９】
本発明の一形態に係る動画像予測符号化装置は、動画像を構成する複数の対象画像を受け付ける入力手段と、過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該対象画像に対する当該他の画像の依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化手段と、圧縮画像データを復号して再生画像を生成する復号手段と、再生画像を、後続の画像を符号化するために用いる参照画像として格納するバッファと、バッファを制御するバッファ管理手段とを備え、バッファ管理手段が、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１０】
本発明の一形態に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、動画像を構成する複数の対象画像を受け付ける入力ステップと、過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該他の画像の当該対象画像への依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化ステップと、圧縮画像データを復号して再生画像を生成する復号ステップと、再生画像を、後続の画像を符号化するために用いる参照画像としてバッファに格納する格納ステップと、バッファを制御するバッファ管理ステップとを含み、バッファ管理ステップでは、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１１】
本発明の一形態に係る動画像予測符号化プログラムは、動画像を構成する複数の対象画像を受け付ける入力手段と、過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該対象画像に対する当該他の画像の依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化手段と、圧縮画像データを復号して再生画像を生成する復号手段と、再生画像を、後続の画像を符号化するために用いる参照画像として格納するバッファと、バッファを制御するバッファ管理手段とをコンピュータに実行させ、バッファ管理手段が、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１２】
本発明の一形態に係る動画像予測復号装置は、動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力手段であって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力手段と、圧縮画像データを復号して再生画像を生成する復号手段と、再生画像を、後続の画像を復号するために用いられる参照画像として格納するバッファと、バッファを制御するバッファ管理手段とを備え、バッファ管理手段が、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１３】
本発明の一形態に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力ステップであって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力ステップと、圧縮画像データを復号して再生画像を生成する復号ステップと、再生画像を、後続の画像を復号するために用いられる参照画像としてバッファに格納する格納ステップと、バッファを制御するバッファ管理ステップとを含み、バッファ管理ステップでは、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１４】
本発明の一形態に係る動画像予測復号プログラムは、動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力手段であって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力手段と、圧縮画像データを復号して再生画像を生成する復号手段と、再生画像を、後続の画像を復号するために用いられる参照画像として格納するバッファと、バッファを制御するバッファ管理手段とをコンピュータに実行させ、バッファ管理手段が、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１５】
このような形態によれば、バッファに格納されている参照画像の出力順序情報および依存度情報の少なくとも一つに基づいて、削除しようとする参照画像が決定される。そのため、明示的に管理情報を送ることなく、品質の優れた参照画像をより長い間バッファに格納して、当該参照画像をより多くの対象画像の符号化または復号に用いることができる。その結果、高い圧縮率で予測符号化を行うことができる。
【発明の効果】
【００１６】
本発明の一側面によれば、参照画像の格納及び解放を明示的に指示することなく、高品質の参照画像をより長い間バッファに格納して当該参照画像をより多くの対象画像の符号化に用いることで、高い圧縮率で予測符号化を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係る動画像予測符号化装置を示すブロック図である。
【図２】実施形態に係る動画像予測復号装置を示すブロック図である。
【図３】符号化処理及び復号処理の概要を示すフローチャートである。
【図４】図３に示す参照画像の管理の詳細を示すフローチャートである。
【図５】実施形態における参照画像の管理方法の第１例を示す図ある。
【図６】実施形態における参照画像の管理方法の第２例を示す図ある。
【図７】実施形態に係る動画像予測符号化プログラムを示すブロック図である。
【図８】実施形態に係る動画像予測復号プログラムを示すブロック図である。
【図９】プログラムが実行されるコンピュータのハードウェア構成を示す図である。
【図１０】図９に示すコンピュータの斜視図である。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
【００１９】
まず、図１を用いて、実施形態に係る動画像予測符号化装置（以下では単に「符号化装置」という）１００について説明する。図１は符号化装置１００を示すブロック図である。符号化装置１００は第１入力端子（入力手段）１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ（バッファまたはＤＰＢともいう）１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、第２入力端子１１３、およびバッファ管理器（バッファ管理手段）１１４を備えている。減算器１０５、変換器１０６、および量子化器１０７は符号化手段に対応する。逆量子化器１０８、逆変換器１０９、および加算器１１０は復号手段に対応する。
【００２０】
第１入力端子１０１は、複数枚の画像からなる動画像の信号を受け付けてブロック分割器１０２に出力する手段である。
【００２１】
ブロック分割器１０２は、第１入力端子１０１から入力された信号で表される、符号化の対象となる画像（対象画像）を、複数の領域に分割する手段である。この分割により生成される領域を「対象ブロック」という。本実施形態では、ブロック分割器１０２はその画像を８ｘ８の画素からなるブロックに分割するが、それ以外のブロックの大きさまたは形に画像を分割してもよい。ブロック分割器１０２は、対象ブロックの信号を予測信号生成器１０３および減算器１０５に出力する。
【００２２】
予測信号生成器１０３は、符号化処理の対象となる対象ブロックに対して予測信号を生成する手段である。本実施形態では、予測信号生成器１０３は画面間予測および画面内予測という２種類の予測方法を用いて予測信号を生成する。
【００２３】
画面間予測では、予測信号生成器１０３は、過去に符号化された後に復元された再生画像を参照画像として、この参照画像から、対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。場合に応じて、予測信号生成器１０３は対象ブロックを再分割し、再分割された小領域に対して画面間予測方法を決定してもよい。この場合には、予測信号生成器１０３は、各種の分割方法の中から対象ブロック全体に対して最も効率の良い分割方法を決定し、各小領域の動き情報を決定する。
【００２４】
予測信号生成器１０３は、ブロック分割器１０２から入力された対象ブロックと、フレームメモリ１０４から読み出した参照画像とを用いる。予測信号生成器１０３は、過去に符号化され復元された１枚以上の画像を参照画像として用いる。動き情報の決定方法や小領域の分割方法についての詳細は、従来技術であるＨ．２６４の方法と同じである。予測信号生成器１０３は、小領域の分割方法および各小領域に対応する参照画像及び動き情報に基づいてフレームメモリ１０４から参照画像を取得し、予測信号を生成する。
【００２５】
一方、画面内予測では、予測信号生成器１０３は、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には、予測信号生成器１０３は同じ画面内にある既再生の画素信号をフレームメモリ１０４から取得し、これらの信号を外挿することによって画面内予測信号を生成する。画面内予測信号の生成方法は、従来の技術であるＨ．２６４の方法と同じである。
【００２６】
予測信号生成器１０３は、画面間予測及び画面内予測により生成した予測信号のうち誤差が最小の予測信号を減算器１０５に出力する。
【００２７】
画面間予測により生成した予測信号を出力する場合には、予測信号生成器１０３は決定した動き情報および小領域の分割方法の情報をエントロピー符号化器１１１に出力する。これらの情報はエントロピー符号化器１１１により符号化された上で出力端子１１２から送出される。また、予測信号生成器１０３は、複数の参照画像のうちどの参照画像から予測信号を取得するかを示す情報（参照インデックス）もエントロピー符号化器１１１に出力する。
【００２８】
画面内予測により生成した予測信号を出力する場合には、予測信号生成器１０３は外挿の方法に関する情報をエントロピー符号化器１１１に出力する。この情報はエントロピー符号化器１１１により符号化された上で出力端子１１２から送出される。
【００２９】
減算器１０５は、ブロック分割器１０２から入力された対象ブロックの信号から、予測信号生成器１０３から入力された予測信号を減算することで、残差信号を生成する手段である。減算器１０５はその残差信号を変換器１０６に出力する。
【００３０】
変換器１０６は、減算器１０５から入力された残差信号を離散コサイン変換する手段である。量子化器１０７は、その離散コサイン変換により得られた変換係数を量子化する手段である。
【００３１】
エントロピー符号化器１１１は、量子化器１０７から入力された変換係数を符号化し、符号化された変換係数を予測方法に関する情報とともに出力端子１１２に出力する手段である。出力端子１１２は、これらの情報を外部に出力する手段である。
【００３２】
後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は逆処理により復元される。このために、逆量子化器１０８、逆変換器１０９、および加算器１１０が用いられる。
【００３３】
逆量子化器１０８は、量子化された変換係数を逆量子化する手段である。逆変換器１０９は、逆離散コサイン変換により残差信号を復元する手段である。加算器１１０は、復元された残差信号に、予測信号生成器１０３から入力された予測信号を加算して、対象ブロックの信号を再生する手段である。加算器１１０は再生された信号（再生画像）を参照画像としてフレームメモリ１０４に格納する。
【００３４】
なお、本実施形態では変換器１０６および逆変換器１０９を用いているが、これらの変換器に代わる他の変換処理を用いてもよい。場合によっては、変換器１０６および逆変換器１０９を省略してもよい。
【００３５】
フレームメモリ１０４は有限であり、すべての再生画像を参照画像として格納することは不可能である。そのため、フレームメモリ１０４は後続の画像の符号化および復号に用いられる再生画像のみを格納する。本実施形態では、フレームメモリ１０４は最大で４または５枚の再生画像を参照画像として格納する。
【００３６】
バッファ管理器１１４はこのフレームメモリ１０４を制御する手段である。具体的には、バッファ管理器１１４は第２入力端子１１３により受け付けられた各画像のＰＯＣ（Picture Output Count）番号および依存度情報（Ｄ＿ＩＤ（dependency ID）番号）を用いて、所定のルールに従って参照画像のリストを管理する。
【００３７】
ＰＯＣ番号は画像の出力順序を示す情報であり、出力順序情報ともいう。依存度情報は、当該情報を有する画像が他の画像からどのくらい多く参照されるかを示す情報である。言い換えれば、依存度情報は、当該情報を有する画像に対する他の画像の依存度を示す情報である。本実施形態では、他の画像からより多く参照される重要な参照画像に小さなＤ＿ＩＤ番号が割り当てられる。すなわち、Ｄ＿ＩＤ番号が小さい参照画像ほど、他の画像から多く参照される。ＰＯＣ番号および依存度情報は各画像に設定される。なお、Ｄ＿ＩＤ番号は、dependency IDの他に、temporal ID、priority ID、prediction ID、reference ID、hierarchy ID、level ID、persistence ID、あるいはlong-term IDと呼んでもよい。
【００３８】
上述したように、Ｄ＿ＩＤ番号の値の大きさによって、当該Ｄ＿ＩＤ番号を有する画像がどのくらい多く他の画像に参照されるかが表される。二つの画像の間でＤ＿ＩＤ番号の値が異なる場合には、Ｄ＿ＩＤ番号が小さい方の画像は、Ｄ＿ＩＤ番号が大きい方の画像の再生に必要とされる。しかし、Ｄ＿ＩＤ番号が大きい方の画像は、Ｄ＿ＩＤ番号が小さい方の画像の再生には用いられない。二つの画像のＤ＿ＩＤ番号が等しい場合には、これら二つの画像は相互に相手を参照可能である。
【００３９】
例えば、Ｄ＿ＩＤ番号の値がＤａである参照画像Ｐａと、Ｄ＿ＩＤ番号の値がＤｂである参照画像Ｐｂとがあるとする。この場合に、Ｄａ＜Ｄｂであれば、参照画像Ｐａは参照画像Ｐｂの再生に必要とされるが、参照画像Ｐｂは参照画像Ｐａの再生に用いられない。Ｄａ＝Ｄｂの場合には、参照画像Ｐａ，Ｐｂは互いに相手を参照してもよい。もしＤａ＞Ｄｂであれば、参照画像Ｐａは参照画像Ｐｂの再生に用いられないが、参照画像Ｐｂは参照画像Ｐａの再生に必要とされる。
【００４０】
本実施形態では、Ｄ＿ＩＤ番号の値として０，１，２，３の４つの値を用いる。Ｄ＿ＩＤ番号が３である画像は参照画像として用いられない。各画像のＤ＿ＩＤ番号は符号化装置１００により決定される。本実施形態では、細かく量子化される画像のＤ＿ＩＤ番号には小さい値が設定される。あるいは、時間階層（スケーラブル）符号化においては、ベースとなる階層の画像のＤ＿ＩＤ番号に０を設定し、第ｑ階層の画像のＤ＿ＩＤ番号にｑを設定してもよい。
【００４１】
各画像のＰＯＣ番号およびＤ＿ＩＤ番号は、画像の符号化方法（画面内予測符号化または画面間予測符号化）を示す符号化タイプと共にバッファ管理器１１４からエントロピー符号化器１１１に送られる。そして、これら３種類の情報はエントロピー符号化器１１１により符号化されて、圧縮された画像データとともに出力端子１１２から送出される。
【００４２】
バッファ管理器１１４は、フレームメモリ１０４に格納されている各参照画像が持つＰＯＣ番号およびＤ＿ＩＤ番号に基づいて、対象画像の符号化および復号に用いられる参照画像のリストを管理する。したがって、参照画像に関する情報を明示的に符号化して復号装置に伝送する必要がない。バッファ管理器１１４の詳細については後述する。
【００４３】
次に、図２を用いて、実施形態に係る動画像予測復号装置（以下では単に「復号装置」という）２００について説明する。図２は復号装置２００を示すブロック図である。復号装置２００は、入力端子（入力手段）２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、フレームメモリ（バッファ）２０７、予測信号生成器２０８、およびバッファ管理器（バッファ管理手段）２０９を備えている。逆量子化器２０３、逆変換器２０４、及び加算器２０５は復号手段に対応する。なお、復号手段としてこれらの構成要素以外のものを用いてもよいし、逆変換器２０４を省略してもよい。
【００４４】
入力端子２０１は、上記の符号化装置１００により圧縮（符号化）され送出されたデータ（圧縮画像データ）を取得する手段である。圧縮画像データは、画像を複数のブロックに分割することで生成された対象ブロックを予測し符号化された残差信号と、予測信号の生成に関連する情報とを含む。各画像にはＰＯＣ番号および依存度情報（Ｄ＿ＩＤ番号）が付加されている。画面間予測の場合には、圧縮画像データはブロック分割に関する情報（ブロックのサイズ）や動き情報を予測信号の生成に関連する情報として含んでいる。画面内予測の場合には、圧縮画像データは外挿方法に関する情報を予測信号の生成に関連する情報として含んでいる。
【００４５】
データ解析器２０２は、各画像のＰＯＣ番号および依存度情報Ｄ＿ＩＤ番号と、当該画像を分割して得られた対象ブロックの残差信号と、予測信号の生成に関連する情報と、量子化パラメータとを圧縮画像データから抽出する手段である。
【００４６】
逆量子化器２０３は対象ブロックの残差信号を量子化パラメータに基づいて逆量子化する手段である。逆変換器２０４は、逆量子化された残差信号を逆離散コサイン変換する手段である。
【００４７】
予測信号生成器２０８は、予測信号の生成に関連する情報に対応する参照画像をフレームメモリ２０７から取得し、その参照画像から予測信号を生成する手段である。予測信号生成器２０８は生成した予測信号を加算器２０５に出力する。加算器２０５は、逆変換器２０４から入力された残差信号にその予測信号を加算することで対象ブロック信号を再生する手段である。加算器２０５はその対象ブロック信号を出力端子２０６に出力するととともにフレームメモリ２０７に格納する。
【００４８】
フレームメモリ２０７は、後続の画像の復号および再生に用いられる再生画像を参照画像として格納する手段である。
【００４９】
バッファ管理器２０９はフレームメモリ２０７を制御する手段である。具体的には、バッファ管理器２０９は、データ解析器２０２から入力された各画像のＰＯＣ番号およびＤ＿ＩＤ番号を用いて、所定のルールに従って参照画像のリストを管理する。バッファ管理器２０９の詳細については後述する。
【００５０】
次に、図３〜６を用いて、符号化装置１００のバッファ管理器１１４および復号装置２００のバッファ管理器２０９によるフレームメモリ１０４，２０７の制御方法を説明する。図３は動画像予測符号化方法及び動画像予測復号方法の概要を示すフローチャートであり、図４は図３に示す参照画像の管理の詳細を示すフローチャートである。図５は実施形態における参照画像の管理方法の第１例を示す図であり、図６は当該管理方法の第２例を示す図である。
【００５１】
バッファ管理器は再生画像をフレームメモリ内の参照画像として管理する。まず、バッファ管理器はフレームメモリを符号化（または復号）処理を開始する前の初期状態とするために、フレームメモリを参照画像の無い「空」の状態に初期化する。
【００５２】
符号化（または復号）処理が始まると、フレームメモリ内の参照画像の管理（更新）が行われ（ステップ３２０）、その参照画像を用いて対象画像（ｋ）に対する符号化または復号の処理が実行される（ステップ３４０）。再生された画像は後続の画像の参照画像として用いられるため、フレームメモリ内に格納される。この一連の処理は最後の画像まで繰り返される（ステップ３５０参照）。なお、図３においてステップ３２０の処理はステップ３４０の前に行われているが、ステップ３２０の処理をステップ３４０の後に行ってもよい。
【００５３】
参照画像の管理の詳細を説明する。ここで、次に処理（符号化または復号）される対象画像を画像（ｋ）とし、この画像（ｋ）の前に再生された画像を再生画像（ｋ−１）とする。まず、バッファ管理器は再生画像（ｋ−１）を参照画像として用いるかどうかを判定する（ステップ４２０）。本実施形態では、再生画像（ｋ−１）のＤ＿ＩＤ番号が３である場合は（ステップＳ４２０；ＮＯ）、バッファ管理器はその再生画像を参照画像として用いない。
【００５４】
再生画像（ｋ−１）のＤ＿ＩＤ番号が３以外である場合は（ステップＳ４２０；ＹＥＳ）、バッファ管理器は後続の処理に必要となる情報を取得する（ステップ４３０）。具体的にはバッファ管理器は画像（ｋ）のＰＯＣ番号をＰＯＣｋに、フレームメモリの最大値（格納可能な画像数の最大値）をｂｕｆｆｅｒ＿ｓｉｚｅに、既にフレームメモリに参照画像として登録されている画像の枚数をＮに代入する（ステップ４３０）。次に、バッファ管理器は画像の枚数Ｎがフレームメモリの最大値未満であるか否かを判定する（ステップ４４０）。もしＮ＜ｂｕｆｆｅｒ＿ｓｉｚｅである場合、すなわちフレームメモリにまだ空きがある場合には（ステップ４４０；ＹＥＳ）、バッファ管理器はＮを増分し（ステップ４７０）、再生画像（ｋ−１）を参照画像としてフレームメモリに登録する（ステップ４８０）。この際に、バッファ管理器は再生画像（ｋ−１）に「used for reference」というラベルを付ける。
【００５５】
一方、フレームメモリが満杯になっている場合には（ステップ４４０；ＮＯ）、バッファ管理器はフレームメモリから削除する参照画像を特定する（ステップ４５０）。バッファ管理器は、まず、フレームメモリに登録されている参照画像のうち最大のＤ＿ＩＤ番号を持つ参照画像の中から、ＰＯＣ番号がＰＯＣｋよりも小さい参照画像を特定する。続いて、バッファ管理器は特定した参照画像のうちＰＯＣ番号が最小である参照画像を最終的に「不要参照画像（unused for reference）」として特定する。もし、このような条件を満たす参照画像が存在しない場合には、バッファ管理器は２番目に大きいＤ＿ＩＤ番号を持つ参照画像の中から、ＰＯＣ番号がＰＯＣｋよりも小さい参照画像を特定し、特定した参照画像のうちＰＯＣ番号が最小である参照画像を不要参照画像とする。不要参照画像が見つかるまで、バッファ管理器は処理の基準となるＤ＿ＩＤ番号の値を一つずつ下げながら同様の処理を繰り返す。続いて、バッファ管理器は不要参照画像をフレームメモリから消去し（ステップ４６０）、その後に再生画像（ｋ−１）を参照画像としてフレームメモリに登録する（ステップ４８０）。
【００５６】
図５，６を用いて、このような参照画像の管理の具体例を示す。図５の例は対象画像の並べ替えが無い場合の処理である。符号５０１は対象画像を再生（復号）する順番（または時間）を示す。領域５０２内の正方形（５０５，５２０，５４０，５６０，５８０，５８１，…）は再生される対象画像を示している。領域５０３内の長方形（５００，５１０，５３０，５５０，５７０，５９０，…）は対象画像の再生処理の前後におけるフレームメモリ内の状態（すなわち、参照画像リスト）を示している。本例では、フレームメモリは最大で４枚の画像を格納できることとする。図５内の凡例で示されるように、画像を示す正方形の中央に書かれている数値はＰＯＣ番号であり、上付きの数値はＤ＿ＩＤ番号である。本実施形態では、Ｄ＿ＩＤ番号＝ｍである画像を参照して符号化及び復号される画像のＤ＿ＩＤ番号には（ｍ＋１）という値を割り当てるが、他の規則によりＤ＿ＩＤ番号の値を決定してもよい。
【００５７】
ＰＯＣ番号＝０の対象画像５０５を再生した時点では、フレームメモリは空である。すなわち、参照画像のリストには何も登録されていない。対象画像５０５が再生されると、その再生画像が参照画像としてフレームメモリに格納されるとともに、その再生画像のＰＯＣ番号およびＤ＿ＩＤ番号がフレームメモリに登録される（状態５１０）。その後、対象画像５２０，５４０，５６０が再生されてフレームメモリに格納される（状態５３０，５５０，５７０）。対象画像５６０が再生されてフレームメモリに格納されると、フレームメモリが満杯になる（状態５７０）。
【００５８】
画像５８０が再生された時点ではフレームメモリが満杯なので、フレームメモリ内の参照画像を削除して当該フレームメモリ内に空き領域を確保する必要がある。本実施形態では、図４におけるステップ４５０において、フレームメモリ内で最大のＤ＿ＩＤ番号を有し、且つ次に再生される対象画像のＰＯＣ番号（＝ＰＯＣｋ）よりも小さいＰＯＣ番号を有する参照画像のうち、ＰＯＣ番号が最小である参照画像が不要参照画像として特定される。画像５８０を再生する時点では、参照画像リスト５７０の中で最大のＤ＿ＩＤ番号「２」を有するものは参照画像５７１，５７２であり、これら二つの画像のＰＯＣ番号は次に再生される対象画像５８１のＰＯＣ番号「５」よりも小さい。したがって、これら二つの画像の中でＰＯＣ番号が最小（ＰＯＣ番号＝１）である参照画像５７１が不要参照画像として特定される。したがって、この参照画像５７１がフレームメモリから削除された上で、対象画像５８０が再生されて参照画像としてフレームメモリに格納される（状態５９０）。
【００５９】
これ以降も同様の処理が実行されて、フレームメモリ内の状態は符号５９１，５９２，５９３，５９４，…で示されるように移り変わる。このように、品質が悪いためにあまり参照されない参照画像（Ｄ＿ＩＤ番号が大きい参照画像）のうち、対象画像から最も離れた位置にある参照画像を削除することにより、品質が良く且つ対象画像により近い再生画像を参照画像としてフレームメモリに格納することができる。その結果、予測符号化を効率よく行うことができる。図５の例では画像を出力順（表示順）に処理するので、次に再生される対象画像のＰＯＣ番号（＝ＰＯＣｋ）は常に、フレームメモリ内のどの参照画像のＰＯＣ番号よりも大きい。したがって、図４のステップ４５０において「参照画像のＰＯＣ番号がＰＯＣｋよりも小さい」という条件を省略してもよい。
【００６０】
図６の例は対象画像を並べ替えた場合の処理である。符号６２１は対象画像を復号する順番（または時間）を示す。領域６２２内の正方形（６０１，６０２，６０４，６０６，６０８，６２０，６４０，６６０，６６１，６７０，６８０，…）は再生される対象画像を示している。領域６２３内の長方形（６００，６１０，６１２，６１４，６１６，６１８，６３０，６５０，６５１，６９０，６９５，…）は対象画像の復号処理の前後におけるフレームメモリ内の参照画像の状態（参照画像リスト）を示している。図６の例では、フレームメモリは最大で５枚の画像を格納できることとする。各画像のＰＯＣ番号及びＤ＿ＩＤ番号の表し方は図５と同様である。
【００６１】
図６の例では、対象画像の復号順はその出力順（表示順）と異なる。例えばＰＯＣ番号＝０の対象画像６０１を再生した後に、ＰＯＣ番号＝８の対象画像６０２を再生し、その次にＰＯＣ番号＝４の対象画像６０４を再生する。このように出力順（表示順）と異なる順序で画像を符号化及び復号することで「双方向予測」ができるため、高い圧縮効率で動画像を符号化することができる。
【００６２】
処理はフレームメモリが空の状態（状態６００）から開始する。まず、対象画像６０１，６０２，６０４，６０６，６０８が順に再生されてフレームメモリに格納される。対象画像６０８がフレームメモリに格納されると、フレームメモリが満杯になる（状態６１８）。
【００６３】
続いて、これらの参照画像を用いて４個の対象画像６２０を順に再生する。対象画像６２０は「非参照画像」（他の画像を復号する際には参照されない画像）であるため、再生された対象画像６２０はフレームメモリに格納されることなく出力端子から送出される。したがって、フレームメモリの状態６３０は状態６１８から変わらない。
【００６４】
次にＰＯＣ番号＝１６の画像６４０が再生される。画像６４０は参照画像になり得るので、フレームメモリ内の参照画像を削除して当該フレームメモリに空き領域を確保する必要がある。本実施形態では、図４におけるステップ４５０において、フレームメモリ内で最大のＤ＿ＩＤ番号を有し、且つ次に再生される対象画像のＰＯＣ番号（ＰＯＣｋ）よりも小さいＰＯＣ番号を有する参照画像のうち、ＰＯＣ番号が最小である参照画像が不要参照画像として特定される。画像６４０を再生する時点では、参照画像リスト６３０の中で最大のＤ＿ＩＤ番号「２」を有するものは参照画像６３１，６３２であり、これら二つの画像のＰＯＣ番号は次に再生される対象画像６６０のＰＯＣ番号「１２」よりも小さい。したがって、これら二つの画像の中でＰＯＣ番号が最小（ＰＯＣ番号＝２）である参照画像６３１が不要参照画像として特定される。その結果、この参照画像６３１がフレームメモリから削除された上で、対象画像６４０が再生されて参照画像としてフレームメモリに格納される（状態６５０）。
【００６５】
次に、ＰＯＣ番号＝１４の対象画像６７０を再生する場合について説明する。対象画像６７０は参照画像になり得るので、フレームメモリ内の参照画像を削除して当該フレームメモリに空き領域を確保する必要がある。
【００６６】
この際のステップ４５０の処理では、まず、最大のＤ＿ＩＤ番号「２」を持ち、且つ次に処理される対象画像６８０のＰＯＣ番号「９」よりも小さいＰＯＣ番号を持つ参照画像が検索されるが、この条件を満たす参照画像はリスト６９０に存在しない。そこで次に、２番目に大きいＤ＿ＩＤ番号「１」を持ち、且つ次に処理される対象画像６８０のＰＯＣ番号「９」よりも小さいＰＯＣ番号を持つ参照画像が検索されるが、この条件を満たす参照画像もリスト６９０に存在しない。
【００６７】
そこで次に、Ｄ＿ＩＤ番号「０」を持ち、且つ次に処理される対象画像６８０のＰＯＣ番号「９」よりも小さいＰＯＣ番号を持つ参照画像が検索され、参照画像６９１，６９２が特定される。したがって、これら二つの画像の中でＰＯＣ番号が最小（ＰＯＣ番号＝０）である参照画像６９１が不要参照画像として特定される。これにより、参照画像６９１がフレームメモリから削除された上で、対象画像６７０が再生されて参照画像としてフレームメモリに格納される（状態６９５）。
【００６８】
このように、「ＰＯＣ番号が次に処理される対象画像６８０のＰＯＣ番号よりも小さい」との条件があるために、参照画像リスト６９５にはＰＯＣ番号＝１０の参照画像６９６が残される。ＰＯＣ番号＝９の対象画像は、ＰＯＣ番号＝０の参照画像よりもＰＯＣ番号＝１０の参照画像に近い位置にあるので、上記のように参照画像を管理することで、参照画像との間で時間軸上での相関が高い対象画像を効率よく予測符号化することができる。
【００６９】
図５，６に示すように、図４のステップ４５０における条件を予測符号化の構造に応じて下記ａ〜ｃのいずれかとすることが可能である。
【００７０】
（ａ）所定のＤ＿ＩＤ番号（例えば最大のＤ＿ＩＤ番号）を持つ参照画像のうち最小のＰＯＣ番号を持つ参照画像を不要参照画像とする。この手法は、図５に示すように対象画像の並べ替えがない場合に適用可能である。
（ｂ）所定のＤ＿ＩＤ番号（例えば最大のＤ＿ＩＤ番号）を持ち、且つ次に処理される対象画像のものよりも小さいＰＯＣ番号を持つ参照画像のうち、ＰＯＣ番号が最小である参照画像を不要参照画像とする。この手法は、画像の並べ替えがある場合に適用可能である。
（ｃ）次に処理される対象画像のものよりも小さいＰＯＣ番号を持つ参照画像のうち、ＰＯＣ番号が最小である参照画像を不要参照画像とする。この手法は、全ての画像のＤ＿ＩＤ番号が同じ場合に適用可能である。
【００７１】
なお、図４〜６の説明は符号化処理における復号および再生処理についても同様である。
【００７２】
上述した図６の例は「双方向予測」の符号化構造に該当する場合である。双方向予測を行うために、二つの予測信号を取得し、これらの信号を平均（または重み付き平均）化して最終の予測信号を生成する。二つの予測信号を取得するには、フレームメモリに格納されている参照画像を論理的に二つの参照画像リスト、すなわちＬｉｓｔ０とＬｉｓｔ１とに分けて、第１の予測信号はＬｉｓｔ０に含まれている複数の参照画像から、第２の予測信号はＬｉｓｔ１に含まれている複数の参照画像から、それぞれ取得する。各対象ブロックについて、どのリストから予測信号を取得するかについての指示は、符号化装置にて誤差最小法に基づいて決定した上で復号装置に伝送される。
【００７３】
本実施形態では、フレームメモリ内の参照画像のＰＯＣ番号及びＤ＿ＩＤ番号を用いて論理的参照画像リストＬｉｓｔ０およびＬｉｓｔ１を以下の手順で用意する。
【００７４】
（１）フレームメモリにある複数の参照画像をセットＡ（Ｓｅｔ Ａ）とセットＢ（Ｓｅｔ Ｂ）とに分ける。セットＡには対象画像のＰＯＣ番号より小さいＰＯＣ番号を持つ参照画像を含ませ、セットＢには対象画像のＰＯＣ番号より大きいＰＯＣ番号を持つ参照画像を含ませる。
（２）セットＡ及びセットＢの各参照画像の順番をソートする。具体的には、Ｄ＿ＩＤ番号の小さい参照画像（すなわち重要な参照画像）がリストの先に並ぶように、ソートを行う。同じＤ＿ＩＤ番号の参照画像については、対象画像のＰＯＣ番号に近いものがリストの先に並ぶように、ソートを行う。
（３）（２）でソートされたセットＡをＬｉｓｔ０とする。セットＡのサイズ（セットＡに登録されている参照画像の数）がＬｉｓｔ０のサイズ（Ｌｉｓｔ０に登録可能な参照画像の最大数）より小さい場合は、上記ソートされたセットＢをＬｉｓｔ０に加える。ただし、セットＡと重複する参照画像は取り除く。本実施形態では、Ｌｉｓｔ０のサイズはフレームメモリの大きさと同じである。
（４）（２）でソートされたセットＢをＬｉｓｔ１とする。セットＢのサイズ（セットＢに登録されている参照画像の数）がＬｉｓｔ１のサイズ（Ｌｉｓｔ１に登録可能な参照画像の最大数）より小さい場合は、上記ソートされたセットＡをＬｉｓｔ１に加える。ただし、セットＢと重複する参照画像は取り除く。本実施形態では、Ｌｉｓｔ１のサイズはフレームメモリの大きさと同じである。
【００７５】
このようにＰＯＣ番号とＤ＿ＩＤ番号とに基づいて、品質が良くかつより対象画像に近い再生画像を参照画像リストの先に配置して、当該再生画像がより参照され易くすることにより、対象画像との相関が高い良質な参照画像による予測信号を生成することができる。そしてこれにより、符号化効率を向上させる効果を得ることができる。
【００７６】
上記の処理に関する擬似コードは下記のように書ける。
cIdx = 0
offsetB = min(size(List1), size(Set B));
for( i=0; i < size(Set A) &&cIdx < size(List0); cIdx++,i++ )
List0[ cIdx ] = Set A[ i ]
for( i=0; i < size(Set B) &&cIdx < size(List0); cIdx++,i++ )
List0[ cIdx ] = Set B[ (i +offsetB) % size(Set B) ]
cIdx = 0
offsetA = min(size(List0), size(Set A));
for( i=0; i < size(Set B) &&cIdx < size(List1); cIdx++,i++ )
List1[ cIdx ] = Set B[ i ]
for( i=0; i < size(Set A) &&cIdx < size(List1); cIdx++,i++ )
List1[ cIdx ] = Set A[ (i +offsetA) % size(Set A) ]
【００７７】
本実施形態では、より多く参照される重要な参照画像に小さいＤ＿ＩＤ番号を割り当てたが、そのような重要な参照画像に大きなＤ＿ＩＤ番号を割り当ててもよい。この場合には、図４のステップ４５０において、Ｄ＿ＩＤ番号が最小である参照画像から順に不要参照画像の有無を判定すればよい（必要に応じて、不要参照画像が見つかるまでＤ＿ＩＤ番号を一つずつ増やしながら探索処理を繰り返す）。
【００７８】
本実施形態ではＰＯＣｋが「次に処理される画像のＰＯＣ番号」を示したが、その代わりに既にバッファにある参照画像のＰＯＣ番号を用いた条件を設定してもよい。すなわち、ＰＯＣｋを「最小のＤ＿ＩＤ番号を持つ参照画像のＰＯＣ番号のうち２番目に大きいＰＯＣ番号」としてもよい。
【００７９】
本実施形態ではＰＯＣ番号を用いたが、表示時刻、復号順あるいは復号時刻、フレーム番号などを画像の順番を示す情報として用いてもよい。
【００８０】
次に、図７〜１０を用いて、本実施形態に係るプログラムについて説明する。図７は実施形態に係る動画像予測符号化プログラムを示すブロック図である。図８は実施形態に係る動画像予測復号プログラムを示すブロック図である。図９はコンピュータ３０のハードウェア構成を示す図であり、図１０はコンピュータ３０の斜視図である。
【００８１】
動画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０２、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、エントロピー符号化モジュールＰ１１１、及びバッファ管理モジュールＰ１１４を備えている。各モジュールの機能は、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、及びバッファ管理器１１４の機能と同様である。
【００８２】
動画像予測復号プログラムＰ２００は、データ解析モジュールＰ２０２、逆量子化モジュールＰ２０３、逆変換モジュールＰ２０４、加算モジュールＰ２０５、記憶モジュールＰ２０７、予測信号生成モジュールＰ２０８、及びバッファ管理モジュールＰ２０９を備えている。各モジュールの機能は、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、フレームメモリ２０７、予測信号生成器２０８、及びバッファ管理器２０９の機能と同様である。
【００８３】
動画像予測符号化プログラムＰ１００及び動画像予測復号プログラムＰ２００は、図９，１０に示す記録媒体１０により提供される。コンピュータ３０は、動画像予測符号化プログラムＰ１００を読み込んで実行した場合には符号化装置１００として機能し、動画像予測復号プログラムＰ２００を読み込んで実行した場合には復号装置２００として機能する。なお、プログラムＰ１００，Ｐ２００を実行する機器はコンピュータ３０に限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話機などでもよい。
【００８４】
図９に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置やＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイ（表示装置）１８と、入力装置であるマウス２０及びキーボード２２と、データの送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。記録媒体１０が読取装置１２に挿入されると、コンピュータ３０は記録媒体１０に格納された動画像予測符号化プログラムあるいは動画像予測復号プログラムにアクセス可能になり、このプログラムを読み込んで実行することで、符号化装置１００または復号装置２００として動作する。
【００８５】
図１０に示すように、動画像予測符号化プログラム及び動画像復号プログラムは、搬送波に重畳されたデータ信号４０としてネットワークを介して提供されてもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像予測符号化プログラムもしくは動画像復号プログラムをメモリ１６に格納し、そのプログラムを実行することで、符号化装置１００または復号装置２００として動作する。
【００８６】
以上説明したように、本実施形態によれば、バッファ（フレームメモリ１０４，２０７）に格納されている参照画像の出力順序情報（ＰＯＣ番号）および依存度情報（Ｄ＿ＩＤ番号）の少なくとも一つに基づいて、削除しようとする参照画像が決定される。そのため、明示的に管理情報を送ることなく、品質の優れた参照画像をより長い間バッファに格納して、当該参照画像をより多くの対象画像の符号化または復号に用いることができる。その結果、画像の圧縮率を高めることができる。具体的には、品質の優れない参照画像に大きいＤ＿ＩＤ番号を割り当て、これらの参照画像の中から、対象画像から最も離れている参照画像を順番に削除することにより、品質が良く且つより対象画像に近い再生画像を参照画像としてバッファに格納することができる。その結果、対象画像との相関が高い参照画像を確保して、効率よく予測符号化を行うことができる。
【００８７】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００８８】
上記実施形態ではバッファ管理器がフレームメモリ内の参照画像を直接的に制御したが、「参照画像リスト」という論理手段を介してフレームメモリ内の画像を参照画像にマッピングする場合にも、本発明の手法を適用できる。
【符号の説明】
【００８９】
１００…動画像予測符号化装置、１０１…第１入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…第２入力端子、１１４…バッファ管理器、２００…動画像予測復号装置、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…フレームメモリ、２０８…予測信号生成器、２０９…バッファ管理器、Ｐ１００…動画像予測符号化プログラム、Ｐ１０２…ブロック分割モジュール、Ｐ１０３…予測信号生成モジュール、Ｐ１０４…記憶モジュール、Ｐ１０５…減算モジュール、Ｐ１０６…変換モジュール、Ｐ１０７…量子化モジュール、Ｐ１０８…逆量子化モジュール、Ｐ１０９…逆変換モジュール、Ｐ１１０…加算モジュール、Ｐ１１１…エントロピー符号化モジュール、Ｐ１１４…バッファ管理モジュール、Ｐ２００…動画像予測復号プログラム、Ｐ２０２…データ解析モジュール、Ｐ２０３…逆量子化モジュール、Ｐ２０４…逆変換モジュール、Ｐ２０５…加算モジュール、Ｐ２０７…記憶モジュール、Ｐ２０８…予測信号生成モジュール、Ｐ２０９…バッファ管理モジュール。
【技術分野】
【０００１】
本発明の一形態は、動画像予測符号化の方法、装置およびプログラム、並びに、動画像予測復号の方法、装置およびプログラムに関するものであり、とりわけ、画面間の予測符号化に用いられるバッファ内にある参照画像の管理に関するものである。
【背景技術】
【０００２】
動画像データの伝送や蓄積を効率よく行うために圧縮符号化技術が用いられる。具体的には、ＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化及び復号処理を行う。符号化効率を高めるために画面内予測符号化あるいは画面間予測符号化が用いられる。
【０００３】
画面内予測符号化では、対象ブロックと同じ画面内にある隣接する既再生の画像信号（過去に圧縮された画像データを復元することで得られる画像信号）を用いて予測信号を生成する。そして、その予測信号を対象ブロックの信号から減算して差分信号を生成し、この差分信号を符号化する。画面間予測符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照して信号の変位を検索し、その変位（動き）を補償して予測信号を生成する。そして、その予測信号を対象ブロックの信号から減算して差分信号を生成し、この差分信号を符号化する。動きの検索及び補償を行うために参照される既再生の画像を参照画像という。
【０００４】
Ｈ．２６４の画面間予測符号化では、過去に符号化され再生された複数の参照画像が参照され、動き検索により、誤差の最も少ない画像信号が対象ブロックに対する最適な予測信号として選択される。続いて、対象ブロックの画素信号とその最適な予測信号との差分が計算される。そして、その差分信号に対して離散コサイン変換及び量子化が行われ、量子化された信号がエントロピー符号化される。このような処理と同時に、対象ブロックに対する最適な予測信号をどの参照画像から取得するかに関する情報（「参照インデックス」という）、および当該最適な予測信号を参照画像のどの領域から取得するかに関する情報（「動きベクトル」という）も符号化される。Ｈ．２６４では、再生された４乃至５枚の画像が参照画像としてフレームメモリまたは再生画像バッファ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ（ＤＰＢ））に格納される。
【０００５】
複数枚の参照画像の管理方法として、適応メモリ管理方法及び移動窓メモリ管理方法がある。適応メモリ管理方法は、参照画像の格納及び解放に関する管理を明示的に指示する方法である。これに対して移動窓メモリ管理方法は、複数の参照画像の中で最も古い参照画像（すなわち、いちばん長い時間バッファ内に存在する参照画像）をバッファから削除した上で、復号した再生画像を参照画像として格納する非明示的な方法である。参照画像に関するこれら二種類の管理方法は下記非特許文献１に記載されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】大久保榮 監修，角野慎也，菊池義浩，鈴木輝彦 共編、インプレス標準教科書シリーズ Ｈ．２６４／ＡＶＣ教科書、株式会社インプレスネットビジネスカンパニー、２００４年、ｐ．１７１−１７２
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、適応メモリ管理方法では、メモリの管理情報を明示的に復号装置に送る必要があるので、その分だけ符号量が増えてしまう。一方で、移動窓メモリ管理方法では、明示的に管理情報を送る必要がない代わりに、品質の優れた参照画像を柔軟に指定することができないため、画像間の予測性能に限界がある。高画質の参照画像（一般に細かく量子化され、優れた画質を持つ参照画像）を用いて予測符号化することで圧縮率を高めることができるのであるが、移動窓メモリ管理方法では、このような高画質の参照画像が先にバッファから削除されるので、後続の画像を高い効率で予測符号化することが難しくなる。
【０００８】
そのため、参照画像の格納及び解放を明示的に指示することなく、高品質の参照画像をより長い間バッファに格納して当該参照画像をより多くの対象画像の符号化に用いることで、より高い圧縮率で予測符号化を行うことが要請されている。
【課題を解決するための手段】
【０００９】
本発明の一形態に係る動画像予測符号化装置は、動画像を構成する複数の対象画像を受け付ける入力手段と、過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該対象画像に対する当該他の画像の依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化手段と、圧縮画像データを復号して再生画像を生成する復号手段と、再生画像を、後続の画像を符号化するために用いる参照画像として格納するバッファと、バッファを制御するバッファ管理手段とを備え、バッファ管理手段が、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１０】
本発明の一形態に係る動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、動画像を構成する複数の対象画像を受け付ける入力ステップと、過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該他の画像の当該対象画像への依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化ステップと、圧縮画像データを復号して再生画像を生成する復号ステップと、再生画像を、後続の画像を符号化するために用いる参照画像としてバッファに格納する格納ステップと、バッファを制御するバッファ管理ステップとを含み、バッファ管理ステップでは、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１１】
本発明の一形態に係る動画像予測符号化プログラムは、動画像を構成する複数の対象画像を受け付ける入力手段と、過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該対象画像に対する当該他の画像の依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化手段と、圧縮画像データを復号して再生画像を生成する復号手段と、再生画像を、後続の画像を符号化するために用いる参照画像として格納するバッファと、バッファを制御するバッファ管理手段とをコンピュータに実行させ、バッファ管理手段が、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１２】
本発明の一形態に係る動画像予測復号装置は、動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力手段であって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力手段と、圧縮画像データを復号して再生画像を生成する復号手段と、再生画像を、後続の画像を復号するために用いられる参照画像として格納するバッファと、バッファを制御するバッファ管理手段とを備え、バッファ管理手段が、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１３】
本発明の一形態に係る動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力ステップであって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力ステップと、圧縮画像データを復号して再生画像を生成する復号ステップと、再生画像を、後続の画像を復号するために用いられる参照画像としてバッファに格納する格納ステップと、バッファを制御するバッファ管理ステップとを含み、バッファ管理ステップでは、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１４】
本発明の一形態に係る動画像予測復号プログラムは、動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力手段であって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力手段と、圧縮画像データを復号して再生画像を生成する復号手段と、再生画像を、後続の画像を復号するために用いられる参照画像として格納するバッファと、バッファを制御するバッファ管理手段とをコンピュータに実行させ、バッファ管理手段が、バッファに格納されている複数の参照画像の出力順序情報及び依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する。
【００１５】
このような形態によれば、バッファに格納されている参照画像の出力順序情報および依存度情報の少なくとも一つに基づいて、削除しようとする参照画像が決定される。そのため、明示的に管理情報を送ることなく、品質の優れた参照画像をより長い間バッファに格納して、当該参照画像をより多くの対象画像の符号化または復号に用いることができる。その結果、高い圧縮率で予測符号化を行うことができる。
【発明の効果】
【００１６】
本発明の一側面によれば、参照画像の格納及び解放を明示的に指示することなく、高品質の参照画像をより長い間バッファに格納して当該参照画像をより多くの対象画像の符号化に用いることで、高い圧縮率で予測符号化を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態に係る動画像予測符号化装置を示すブロック図である。
【図２】実施形態に係る動画像予測復号装置を示すブロック図である。
【図３】符号化処理及び復号処理の概要を示すフローチャートである。
【図４】図３に示す参照画像の管理の詳細を示すフローチャートである。
【図５】実施形態における参照画像の管理方法の第１例を示す図ある。
【図６】実施形態における参照画像の管理方法の第２例を示す図ある。
【図７】実施形態に係る動画像予測符号化プログラムを示すブロック図である。
【図８】実施形態に係る動画像予測復号プログラムを示すブロック図である。
【図９】プログラムが実行されるコンピュータのハードウェア構成を示す図である。
【図１０】図９に示すコンピュータの斜視図である。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。
【００１９】
まず、図１を用いて、実施形態に係る動画像予測符号化装置（以下では単に「符号化装置」という）１００について説明する。図１は符号化装置１００を示すブロック図である。符号化装置１００は第１入力端子（入力手段）１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ（バッファまたはＤＰＢともいう）１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、第２入力端子１１３、およびバッファ管理器（バッファ管理手段）１１４を備えている。減算器１０５、変換器１０６、および量子化器１０７は符号化手段に対応する。逆量子化器１０８、逆変換器１０９、および加算器１１０は復号手段に対応する。
【００２０】
第１入力端子１０１は、複数枚の画像からなる動画像の信号を受け付けてブロック分割器１０２に出力する手段である。
【００２１】
ブロック分割器１０２は、第１入力端子１０１から入力された信号で表される、符号化の対象となる画像（対象画像）を、複数の領域に分割する手段である。この分割により生成される領域を「対象ブロック」という。本実施形態では、ブロック分割器１０２はその画像を８ｘ８の画素からなるブロックに分割するが、それ以外のブロックの大きさまたは形に画像を分割してもよい。ブロック分割器１０２は、対象ブロックの信号を予測信号生成器１０３および減算器１０５に出力する。
【００２２】
予測信号生成器１０３は、符号化処理の対象となる対象ブロックに対して予測信号を生成する手段である。本実施形態では、予測信号生成器１０３は画面間予測および画面内予測という２種類の予測方法を用いて予測信号を生成する。
【００２３】
画面間予測では、予測信号生成器１０３は、過去に符号化された後に復元された再生画像を参照画像として、この参照画像から、対象ブロックに対する誤差の最も小さい予測信号を与える動き情報を求める。場合に応じて、予測信号生成器１０３は対象ブロックを再分割し、再分割された小領域に対して画面間予測方法を決定してもよい。この場合には、予測信号生成器１０３は、各種の分割方法の中から対象ブロック全体に対して最も効率の良い分割方法を決定し、各小領域の動き情報を決定する。
【００２４】
予測信号生成器１０３は、ブロック分割器１０２から入力された対象ブロックと、フレームメモリ１０４から読み出した参照画像とを用いる。予測信号生成器１０３は、過去に符号化され復元された１枚以上の画像を参照画像として用いる。動き情報の決定方法や小領域の分割方法についての詳細は、従来技術であるＨ．２６４の方法と同じである。予測信号生成器１０３は、小領域の分割方法および各小領域に対応する参照画像及び動き情報に基づいてフレームメモリ１０４から参照画像を取得し、予測信号を生成する。
【００２５】
一方、画面内予測では、予測信号生成器１０３は、対象ブロックに空間的に隣接する既再生の画素値を用いて画面内予測信号を生成する。具体的には、予測信号生成器１０３は同じ画面内にある既再生の画素信号をフレームメモリ１０４から取得し、これらの信号を外挿することによって画面内予測信号を生成する。画面内予測信号の生成方法は、従来の技術であるＨ．２６４の方法と同じである。
【００２６】
予測信号生成器１０３は、画面間予測及び画面内予測により生成した予測信号のうち誤差が最小の予測信号を減算器１０５に出力する。
【００２７】
画面間予測により生成した予測信号を出力する場合には、予測信号生成器１０３は決定した動き情報および小領域の分割方法の情報をエントロピー符号化器１１１に出力する。これらの情報はエントロピー符号化器１１１により符号化された上で出力端子１１２から送出される。また、予測信号生成器１０３は、複数の参照画像のうちどの参照画像から予測信号を取得するかを示す情報（参照インデックス）もエントロピー符号化器１１１に出力する。
【００２８】
画面内予測により生成した予測信号を出力する場合には、予測信号生成器１０３は外挿の方法に関する情報をエントロピー符号化器１１１に出力する。この情報はエントロピー符号化器１１１により符号化された上で出力端子１１２から送出される。
【００２９】
減算器１０５は、ブロック分割器１０２から入力された対象ブロックの信号から、予測信号生成器１０３から入力された予測信号を減算することで、残差信号を生成する手段である。減算器１０５はその残差信号を変換器１０６に出力する。
【００３０】
変換器１０６は、減算器１０５から入力された残差信号を離散コサイン変換する手段である。量子化器１０７は、その離散コサイン変換により得られた変換係数を量子化する手段である。
【００３１】
エントロピー符号化器１１１は、量子化器１０７から入力された変換係数を符号化し、符号化された変換係数を予測方法に関する情報とともに出力端子１１２に出力する手段である。出力端子１１２は、これらの情報を外部に出力する手段である。
【００３２】
後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、圧縮された対象ブロックの信号は逆処理により復元される。このために、逆量子化器１０８、逆変換器１０９、および加算器１１０が用いられる。
【００３３】
逆量子化器１０８は、量子化された変換係数を逆量子化する手段である。逆変換器１０９は、逆離散コサイン変換により残差信号を復元する手段である。加算器１１０は、復元された残差信号に、予測信号生成器１０３から入力された予測信号を加算して、対象ブロックの信号を再生する手段である。加算器１１０は再生された信号（再生画像）を参照画像としてフレームメモリ１０４に格納する。
【００３４】
なお、本実施形態では変換器１０６および逆変換器１０９を用いているが、これらの変換器に代わる他の変換処理を用いてもよい。場合によっては、変換器１０６および逆変換器１０９を省略してもよい。
【００３５】
フレームメモリ１０４は有限であり、すべての再生画像を参照画像として格納することは不可能である。そのため、フレームメモリ１０４は後続の画像の符号化および復号に用いられる再生画像のみを格納する。本実施形態では、フレームメモリ１０４は最大で４または５枚の再生画像を参照画像として格納する。
【００３６】
バッファ管理器１１４はこのフレームメモリ１０４を制御する手段である。具体的には、バッファ管理器１１４は第２入力端子１１３により受け付けられた各画像のＰＯＣ（Picture Output Count）番号および依存度情報（Ｄ＿ＩＤ（dependency ID）番号）を用いて、所定のルールに従って参照画像のリストを管理する。
【００３７】
ＰＯＣ番号は画像の出力順序を示す情報であり、出力順序情報ともいう。依存度情報は、当該情報を有する画像が他の画像からどのくらい多く参照されるかを示す情報である。言い換えれば、依存度情報は、当該情報を有する画像に対する他の画像の依存度を示す情報である。本実施形態では、他の画像からより多く参照される重要な参照画像に小さなＤ＿ＩＤ番号が割り当てられる。すなわち、Ｄ＿ＩＤ番号が小さい参照画像ほど、他の画像から多く参照される。ＰＯＣ番号および依存度情報は各画像に設定される。なお、Ｄ＿ＩＤ番号は、dependency IDの他に、temporal ID、priority ID、prediction ID、reference ID、hierarchy ID、level ID、persistence ID、あるいはlong-term IDと呼んでもよい。
【００３８】
上述したように、Ｄ＿ＩＤ番号の値の大きさによって、当該Ｄ＿ＩＤ番号を有する画像がどのくらい多く他の画像に参照されるかが表される。二つの画像の間でＤ＿ＩＤ番号の値が異なる場合には、Ｄ＿ＩＤ番号が小さい方の画像は、Ｄ＿ＩＤ番号が大きい方の画像の再生に必要とされる。しかし、Ｄ＿ＩＤ番号が大きい方の画像は、Ｄ＿ＩＤ番号が小さい方の画像の再生には用いられない。二つの画像のＤ＿ＩＤ番号が等しい場合には、これら二つの画像は相互に相手を参照可能である。
【００３９】
例えば、Ｄ＿ＩＤ番号の値がＤａである参照画像Ｐａと、Ｄ＿ＩＤ番号の値がＤｂである参照画像Ｐｂとがあるとする。この場合に、Ｄａ＜Ｄｂであれば、参照画像Ｐａは参照画像Ｐｂの再生に必要とされるが、参照画像Ｐｂは参照画像Ｐａの再生に用いられない。Ｄａ＝Ｄｂの場合には、参照画像Ｐａ，Ｐｂは互いに相手を参照してもよい。もしＤａ＞Ｄｂであれば、参照画像Ｐａは参照画像Ｐｂの再生に用いられないが、参照画像Ｐｂは参照画像Ｐａの再生に必要とされる。
【００４０】
本実施形態では、Ｄ＿ＩＤ番号の値として０，１，２，３の４つの値を用いる。Ｄ＿ＩＤ番号が３である画像は参照画像として用いられない。各画像のＤ＿ＩＤ番号は符号化装置１００により決定される。本実施形態では、細かく量子化される画像のＤ＿ＩＤ番号には小さい値が設定される。あるいは、時間階層（スケーラブル）符号化においては、ベースとなる階層の画像のＤ＿ＩＤ番号に０を設定し、第ｑ階層の画像のＤ＿ＩＤ番号にｑを設定してもよい。
【００４１】
各画像のＰＯＣ番号およびＤ＿ＩＤ番号は、画像の符号化方法（画面内予測符号化または画面間予測符号化）を示す符号化タイプと共にバッファ管理器１１４からエントロピー符号化器１１１に送られる。そして、これら３種類の情報はエントロピー符号化器１１１により符号化されて、圧縮された画像データとともに出力端子１１２から送出される。
【００４２】
バッファ管理器１１４は、フレームメモリ１０４に格納されている各参照画像が持つＰＯＣ番号およびＤ＿ＩＤ番号に基づいて、対象画像の符号化および復号に用いられる参照画像のリストを管理する。したがって、参照画像に関する情報を明示的に符号化して復号装置に伝送する必要がない。バッファ管理器１１４の詳細については後述する。
【００４３】
次に、図２を用いて、実施形態に係る動画像予測復号装置（以下では単に「復号装置」という）２００について説明する。図２は復号装置２００を示すブロック図である。復号装置２００は、入力端子（入力手段）２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、フレームメモリ（バッファ）２０７、予測信号生成器２０８、およびバッファ管理器（バッファ管理手段）２０９を備えている。逆量子化器２０３、逆変換器２０４、及び加算器２０５は復号手段に対応する。なお、復号手段としてこれらの構成要素以外のものを用いてもよいし、逆変換器２０４を省略してもよい。
【００４４】
入力端子２０１は、上記の符号化装置１００により圧縮（符号化）され送出されたデータ（圧縮画像データ）を取得する手段である。圧縮画像データは、画像を複数のブロックに分割することで生成された対象ブロックを予測し符号化された残差信号と、予測信号の生成に関連する情報とを含む。各画像にはＰＯＣ番号および依存度情報（Ｄ＿ＩＤ番号）が付加されている。画面間予測の場合には、圧縮画像データはブロック分割に関する情報（ブロックのサイズ）や動き情報を予測信号の生成に関連する情報として含んでいる。画面内予測の場合には、圧縮画像データは外挿方法に関する情報を予測信号の生成に関連する情報として含んでいる。
【００４５】
データ解析器２０２は、各画像のＰＯＣ番号および依存度情報Ｄ＿ＩＤ番号と、当該画像を分割して得られた対象ブロックの残差信号と、予測信号の生成に関連する情報と、量子化パラメータとを圧縮画像データから抽出する手段である。
【００４６】
逆量子化器２０３は対象ブロックの残差信号を量子化パラメータに基づいて逆量子化する手段である。逆変換器２０４は、逆量子化された残差信号を逆離散コサイン変換する手段である。
【００４７】
予測信号生成器２０８は、予測信号の生成に関連する情報に対応する参照画像をフレームメモリ２０７から取得し、その参照画像から予測信号を生成する手段である。予測信号生成器２０８は生成した予測信号を加算器２０５に出力する。加算器２０５は、逆変換器２０４から入力された残差信号にその予測信号を加算することで対象ブロック信号を再生する手段である。加算器２０５はその対象ブロック信号を出力端子２０６に出力するととともにフレームメモリ２０７に格納する。
【００４８】
フレームメモリ２０７は、後続の画像の復号および再生に用いられる再生画像を参照画像として格納する手段である。
【００４９】
バッファ管理器２０９はフレームメモリ２０７を制御する手段である。具体的には、バッファ管理器２０９は、データ解析器２０２から入力された各画像のＰＯＣ番号およびＤ＿ＩＤ番号を用いて、所定のルールに従って参照画像のリストを管理する。バッファ管理器２０９の詳細については後述する。
【００５０】
次に、図３〜６を用いて、符号化装置１００のバッファ管理器１１４および復号装置２００のバッファ管理器２０９によるフレームメモリ１０４，２０７の制御方法を説明する。図３は動画像予測符号化方法及び動画像予測復号方法の概要を示すフローチャートであり、図４は図３に示す参照画像の管理の詳細を示すフローチャートである。図５は実施形態における参照画像の管理方法の第１例を示す図であり、図６は当該管理方法の第２例を示す図である。
【００５１】
バッファ管理器は再生画像をフレームメモリ内の参照画像として管理する。まず、バッファ管理器はフレームメモリを符号化（または復号）処理を開始する前の初期状態とするために、フレームメモリを参照画像の無い「空」の状態に初期化する。
【００５２】
符号化（または復号）処理が始まると、フレームメモリ内の参照画像の管理（更新）が行われ（ステップ３２０）、その参照画像を用いて対象画像（ｋ）に対する符号化または復号の処理が実行される（ステップ３４０）。再生された画像は後続の画像の参照画像として用いられるため、フレームメモリ内に格納される。この一連の処理は最後の画像まで繰り返される（ステップ３５０参照）。なお、図３においてステップ３２０の処理はステップ３４０の前に行われているが、ステップ３２０の処理をステップ３４０の後に行ってもよい。
【００５３】
参照画像の管理の詳細を説明する。ここで、次に処理（符号化または復号）される対象画像を画像（ｋ）とし、この画像（ｋ）の前に再生された画像を再生画像（ｋ−１）とする。まず、バッファ管理器は再生画像（ｋ−１）を参照画像として用いるかどうかを判定する（ステップ４２０）。本実施形態では、再生画像（ｋ−１）のＤ＿ＩＤ番号が３である場合は（ステップＳ４２０；ＮＯ）、バッファ管理器はその再生画像を参照画像として用いない。
【００５４】
再生画像（ｋ−１）のＤ＿ＩＤ番号が３以外である場合は（ステップＳ４２０；ＹＥＳ）、バッファ管理器は後続の処理に必要となる情報を取得する（ステップ４３０）。具体的にはバッファ管理器は画像（ｋ）のＰＯＣ番号をＰＯＣｋに、フレームメモリの最大値（格納可能な画像数の最大値）をｂｕｆｆｅｒ＿ｓｉｚｅに、既にフレームメモリに参照画像として登録されている画像の枚数をＮに代入する（ステップ４３０）。次に、バッファ管理器は画像の枚数Ｎがフレームメモリの最大値未満であるか否かを判定する（ステップ４４０）。もしＮ＜ｂｕｆｆｅｒ＿ｓｉｚｅである場合、すなわちフレームメモリにまだ空きがある場合には（ステップ４４０；ＹＥＳ）、バッファ管理器はＮを増分し（ステップ４７０）、再生画像（ｋ−１）を参照画像としてフレームメモリに登録する（ステップ４８０）。この際に、バッファ管理器は再生画像（ｋ−１）に「used for reference」というラベルを付ける。
【００５５】
一方、フレームメモリが満杯になっている場合には（ステップ４４０；ＮＯ）、バッファ管理器はフレームメモリから削除する参照画像を特定する（ステップ４５０）。バッファ管理器は、まず、フレームメモリに登録されている参照画像のうち最大のＤ＿ＩＤ番号を持つ参照画像の中から、ＰＯＣ番号がＰＯＣｋよりも小さい参照画像を特定する。続いて、バッファ管理器は特定した参照画像のうちＰＯＣ番号が最小である参照画像を最終的に「不要参照画像（unused for reference）」として特定する。もし、このような条件を満たす参照画像が存在しない場合には、バッファ管理器は２番目に大きいＤ＿ＩＤ番号を持つ参照画像の中から、ＰＯＣ番号がＰＯＣｋよりも小さい参照画像を特定し、特定した参照画像のうちＰＯＣ番号が最小である参照画像を不要参照画像とする。不要参照画像が見つかるまで、バッファ管理器は処理の基準となるＤ＿ＩＤ番号の値を一つずつ下げながら同様の処理を繰り返す。続いて、バッファ管理器は不要参照画像をフレームメモリから消去し（ステップ４６０）、その後に再生画像（ｋ−１）を参照画像としてフレームメモリに登録する（ステップ４８０）。
【００５６】
図５，６を用いて、このような参照画像の管理の具体例を示す。図５の例は対象画像の並べ替えが無い場合の処理である。符号５０１は対象画像を再生（復号）する順番（または時間）を示す。領域５０２内の正方形（５０５，５２０，５４０，５６０，５８０，５８１，…）は再生される対象画像を示している。領域５０３内の長方形（５００，５１０，５３０，５５０，５７０，５９０，…）は対象画像の再生処理の前後におけるフレームメモリ内の状態（すなわち、参照画像リスト）を示している。本例では、フレームメモリは最大で４枚の画像を格納できることとする。図５内の凡例で示されるように、画像を示す正方形の中央に書かれている数値はＰＯＣ番号であり、上付きの数値はＤ＿ＩＤ番号である。本実施形態では、Ｄ＿ＩＤ番号＝ｍである画像を参照して符号化及び復号される画像のＤ＿ＩＤ番号には（ｍ＋１）という値を割り当てるが、他の規則によりＤ＿ＩＤ番号の値を決定してもよい。
【００５７】
ＰＯＣ番号＝０の対象画像５０５を再生した時点では、フレームメモリは空である。すなわち、参照画像のリストには何も登録されていない。対象画像５０５が再生されると、その再生画像が参照画像としてフレームメモリに格納されるとともに、その再生画像のＰＯＣ番号およびＤ＿ＩＤ番号がフレームメモリに登録される（状態５１０）。その後、対象画像５２０，５４０，５６０が再生されてフレームメモリに格納される（状態５３０，５５０，５７０）。対象画像５６０が再生されてフレームメモリに格納されると、フレームメモリが満杯になる（状態５７０）。
【００５８】
画像５８０が再生された時点ではフレームメモリが満杯なので、フレームメモリ内の参照画像を削除して当該フレームメモリ内に空き領域を確保する必要がある。本実施形態では、図４におけるステップ４５０において、フレームメモリ内で最大のＤ＿ＩＤ番号を有し、且つ次に再生される対象画像のＰＯＣ番号（＝ＰＯＣｋ）よりも小さいＰＯＣ番号を有する参照画像のうち、ＰＯＣ番号が最小である参照画像が不要参照画像として特定される。画像５８０を再生する時点では、参照画像リスト５７０の中で最大のＤ＿ＩＤ番号「２」を有するものは参照画像５７１，５７２であり、これら二つの画像のＰＯＣ番号は次に再生される対象画像５８１のＰＯＣ番号「５」よりも小さい。したがって、これら二つの画像の中でＰＯＣ番号が最小（ＰＯＣ番号＝１）である参照画像５７１が不要参照画像として特定される。したがって、この参照画像５７１がフレームメモリから削除された上で、対象画像５８０が再生されて参照画像としてフレームメモリに格納される（状態５９０）。
【００５９】
これ以降も同様の処理が実行されて、フレームメモリ内の状態は符号５９１，５９２，５９３，５９４，…で示されるように移り変わる。このように、品質が悪いためにあまり参照されない参照画像（Ｄ＿ＩＤ番号が大きい参照画像）のうち、対象画像から最も離れた位置にある参照画像を削除することにより、品質が良く且つ対象画像により近い再生画像を参照画像としてフレームメモリに格納することができる。その結果、予測符号化を効率よく行うことができる。図５の例では画像を出力順（表示順）に処理するので、次に再生される対象画像のＰＯＣ番号（＝ＰＯＣｋ）は常に、フレームメモリ内のどの参照画像のＰＯＣ番号よりも大きい。したがって、図４のステップ４５０において「参照画像のＰＯＣ番号がＰＯＣｋよりも小さい」という条件を省略してもよい。
【００６０】
図６の例は対象画像を並べ替えた場合の処理である。符号６２１は対象画像を復号する順番（または時間）を示す。領域６２２内の正方形（６０１，６０２，６０４，６０６，６０８，６２０，６４０，６６０，６６１，６７０，６８０，…）は再生される対象画像を示している。領域６２３内の長方形（６００，６１０，６１２，６１４，６１６，６１８，６３０，６５０，６５１，６９０，６９５，…）は対象画像の復号処理の前後におけるフレームメモリ内の参照画像の状態（参照画像リスト）を示している。図６の例では、フレームメモリは最大で５枚の画像を格納できることとする。各画像のＰＯＣ番号及びＤ＿ＩＤ番号の表し方は図５と同様である。
【００６１】
図６の例では、対象画像の復号順はその出力順（表示順）と異なる。例えばＰＯＣ番号＝０の対象画像６０１を再生した後に、ＰＯＣ番号＝８の対象画像６０２を再生し、その次にＰＯＣ番号＝４の対象画像６０４を再生する。このように出力順（表示順）と異なる順序で画像を符号化及び復号することで「双方向予測」ができるため、高い圧縮効率で動画像を符号化することができる。
【００６２】
処理はフレームメモリが空の状態（状態６００）から開始する。まず、対象画像６０１，６０２，６０４，６０６，６０８が順に再生されてフレームメモリに格納される。対象画像６０８がフレームメモリに格納されると、フレームメモリが満杯になる（状態６１８）。
【００６３】
続いて、これらの参照画像を用いて４個の対象画像６２０を順に再生する。対象画像６２０は「非参照画像」（他の画像を復号する際には参照されない画像）であるため、再生された対象画像６２０はフレームメモリに格納されることなく出力端子から送出される。したがって、フレームメモリの状態６３０は状態６１８から変わらない。
【００６４】
次にＰＯＣ番号＝１６の画像６４０が再生される。画像６４０は参照画像になり得るので、フレームメモリ内の参照画像を削除して当該フレームメモリに空き領域を確保する必要がある。本実施形態では、図４におけるステップ４５０において、フレームメモリ内で最大のＤ＿ＩＤ番号を有し、且つ次に再生される対象画像のＰＯＣ番号（ＰＯＣｋ）よりも小さいＰＯＣ番号を有する参照画像のうち、ＰＯＣ番号が最小である参照画像が不要参照画像として特定される。画像６４０を再生する時点では、参照画像リスト６３０の中で最大のＤ＿ＩＤ番号「２」を有するものは参照画像６３１，６３２であり、これら二つの画像のＰＯＣ番号は次に再生される対象画像６６０のＰＯＣ番号「１２」よりも小さい。したがって、これら二つの画像の中でＰＯＣ番号が最小（ＰＯＣ番号＝２）である参照画像６３１が不要参照画像として特定される。その結果、この参照画像６３１がフレームメモリから削除された上で、対象画像６４０が再生されて参照画像としてフレームメモリに格納される（状態６５０）。
【００６５】
次に、ＰＯＣ番号＝１４の対象画像６７０を再生する場合について説明する。対象画像６７０は参照画像になり得るので、フレームメモリ内の参照画像を削除して当該フレームメモリに空き領域を確保する必要がある。
【００６６】
この際のステップ４５０の処理では、まず、最大のＤ＿ＩＤ番号「２」を持ち、且つ次に処理される対象画像６８０のＰＯＣ番号「９」よりも小さいＰＯＣ番号を持つ参照画像が検索されるが、この条件を満たす参照画像はリスト６９０に存在しない。そこで次に、２番目に大きいＤ＿ＩＤ番号「１」を持ち、且つ次に処理される対象画像６８０のＰＯＣ番号「９」よりも小さいＰＯＣ番号を持つ参照画像が検索されるが、この条件を満たす参照画像もリスト６９０に存在しない。
【００６７】
そこで次に、Ｄ＿ＩＤ番号「０」を持ち、且つ次に処理される対象画像６８０のＰＯＣ番号「９」よりも小さいＰＯＣ番号を持つ参照画像が検索され、参照画像６９１，６９２が特定される。したがって、これら二つの画像の中でＰＯＣ番号が最小（ＰＯＣ番号＝０）である参照画像６９１が不要参照画像として特定される。これにより、参照画像６９１がフレームメモリから削除された上で、対象画像６７０が再生されて参照画像としてフレームメモリに格納される（状態６９５）。
【００６８】
このように、「ＰＯＣ番号が次に処理される対象画像６８０のＰＯＣ番号よりも小さい」との条件があるために、参照画像リスト６９５にはＰＯＣ番号＝１０の参照画像６９６が残される。ＰＯＣ番号＝９の対象画像は、ＰＯＣ番号＝０の参照画像よりもＰＯＣ番号＝１０の参照画像に近い位置にあるので、上記のように参照画像を管理することで、参照画像との間で時間軸上での相関が高い対象画像を効率よく予測符号化することができる。
【００６９】
図５，６に示すように、図４のステップ４５０における条件を予測符号化の構造に応じて下記ａ〜ｃのいずれかとすることが可能である。
【００７０】
（ａ）所定のＤ＿ＩＤ番号（例えば最大のＤ＿ＩＤ番号）を持つ参照画像のうち最小のＰＯＣ番号を持つ参照画像を不要参照画像とする。この手法は、図５に示すように対象画像の並べ替えがない場合に適用可能である。
（ｂ）所定のＤ＿ＩＤ番号（例えば最大のＤ＿ＩＤ番号）を持ち、且つ次に処理される対象画像のものよりも小さいＰＯＣ番号を持つ参照画像のうち、ＰＯＣ番号が最小である参照画像を不要参照画像とする。この手法は、画像の並べ替えがある場合に適用可能である。
（ｃ）次に処理される対象画像のものよりも小さいＰＯＣ番号を持つ参照画像のうち、ＰＯＣ番号が最小である参照画像を不要参照画像とする。この手法は、全ての画像のＤ＿ＩＤ番号が同じ場合に適用可能である。
【００７１】
なお、図４〜６の説明は符号化処理における復号および再生処理についても同様である。
【００７２】
上述した図６の例は「双方向予測」の符号化構造に該当する場合である。双方向予測を行うために、二つの予測信号を取得し、これらの信号を平均（または重み付き平均）化して最終の予測信号を生成する。二つの予測信号を取得するには、フレームメモリに格納されている参照画像を論理的に二つの参照画像リスト、すなわちＬｉｓｔ０とＬｉｓｔ１とに分けて、第１の予測信号はＬｉｓｔ０に含まれている複数の参照画像から、第２の予測信号はＬｉｓｔ１に含まれている複数の参照画像から、それぞれ取得する。各対象ブロックについて、どのリストから予測信号を取得するかについての指示は、符号化装置にて誤差最小法に基づいて決定した上で復号装置に伝送される。
【００７３】
本実施形態では、フレームメモリ内の参照画像のＰＯＣ番号及びＤ＿ＩＤ番号を用いて論理的参照画像リストＬｉｓｔ０およびＬｉｓｔ１を以下の手順で用意する。
【００７４】
（１）フレームメモリにある複数の参照画像をセットＡ（Ｓｅｔ Ａ）とセットＢ（Ｓｅｔ Ｂ）とに分ける。セットＡには対象画像のＰＯＣ番号より小さいＰＯＣ番号を持つ参照画像を含ませ、セットＢには対象画像のＰＯＣ番号より大きいＰＯＣ番号を持つ参照画像を含ませる。
（２）セットＡ及びセットＢの各参照画像の順番をソートする。具体的には、Ｄ＿ＩＤ番号の小さい参照画像（すなわち重要な参照画像）がリストの先に並ぶように、ソートを行う。同じＤ＿ＩＤ番号の参照画像については、対象画像のＰＯＣ番号に近いものがリストの先に並ぶように、ソートを行う。
（３）（２）でソートされたセットＡをＬｉｓｔ０とする。セットＡのサイズ（セットＡに登録されている参照画像の数）がＬｉｓｔ０のサイズ（Ｌｉｓｔ０に登録可能な参照画像の最大数）より小さい場合は、上記ソートされたセットＢをＬｉｓｔ０に加える。ただし、セットＡと重複する参照画像は取り除く。本実施形態では、Ｌｉｓｔ０のサイズはフレームメモリの大きさと同じである。
（４）（２）でソートされたセットＢをＬｉｓｔ１とする。セットＢのサイズ（セットＢに登録されている参照画像の数）がＬｉｓｔ１のサイズ（Ｌｉｓｔ１に登録可能な参照画像の最大数）より小さい場合は、上記ソートされたセットＡをＬｉｓｔ１に加える。ただし、セットＢと重複する参照画像は取り除く。本実施形態では、Ｌｉｓｔ１のサイズはフレームメモリの大きさと同じである。
【００７５】
このようにＰＯＣ番号とＤ＿ＩＤ番号とに基づいて、品質が良くかつより対象画像に近い再生画像を参照画像リストの先に配置して、当該再生画像がより参照され易くすることにより、対象画像との相関が高い良質な参照画像による予測信号を生成することができる。そしてこれにより、符号化効率を向上させる効果を得ることができる。
【００７６】
上記の処理に関する擬似コードは下記のように書ける。
cIdx = 0
offsetB = min(size(List1), size(Set B));
for( i=0; i < size(Set A) &&cIdx < size(List0); cIdx++,i++ )
List0[ cIdx ] = Set A[ i ]
for( i=0; i < size(Set B) &&cIdx < size(List0); cIdx++,i++ )
List0[ cIdx ] = Set B[ (i +offsetB) % size(Set B) ]
cIdx = 0
offsetA = min(size(List0), size(Set A));
for( i=0; i < size(Set B) &&cIdx < size(List1); cIdx++,i++ )
List1[ cIdx ] = Set B[ i ]
for( i=0; i < size(Set A) &&cIdx < size(List1); cIdx++,i++ )
List1[ cIdx ] = Set A[ (i +offsetA) % size(Set A) ]
【００７７】
本実施形態では、より多く参照される重要な参照画像に小さいＤ＿ＩＤ番号を割り当てたが、そのような重要な参照画像に大きなＤ＿ＩＤ番号を割り当ててもよい。この場合には、図４のステップ４５０において、Ｄ＿ＩＤ番号が最小である参照画像から順に不要参照画像の有無を判定すればよい（必要に応じて、不要参照画像が見つかるまでＤ＿ＩＤ番号を一つずつ増やしながら探索処理を繰り返す）。
【００７８】
本実施形態ではＰＯＣｋが「次に処理される画像のＰＯＣ番号」を示したが、その代わりに既にバッファにある参照画像のＰＯＣ番号を用いた条件を設定してもよい。すなわち、ＰＯＣｋを「最小のＤ＿ＩＤ番号を持つ参照画像のＰＯＣ番号のうち２番目に大きいＰＯＣ番号」としてもよい。
【００７９】
本実施形態ではＰＯＣ番号を用いたが、表示時刻、復号順あるいは復号時刻、フレーム番号などを画像の順番を示す情報として用いてもよい。
【００８０】
次に、図７〜１０を用いて、本実施形態に係るプログラムについて説明する。図７は実施形態に係る動画像予測符号化プログラムを示すブロック図である。図８は実施形態に係る動画像予測復号プログラムを示すブロック図である。図９はコンピュータ３０のハードウェア構成を示す図であり、図１０はコンピュータ３０の斜視図である。
【００８１】
動画像予測符号化プログラムＰ１００は、ブロック分割モジュールＰ１０２、予測信号生成モジュールＰ１０３、記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、エントロピー符号化モジュールＰ１１１、及びバッファ管理モジュールＰ１１４を備えている。各モジュールの機能は、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、及びバッファ管理器１１４の機能と同様である。
【００８２】
動画像予測復号プログラムＰ２００は、データ解析モジュールＰ２０２、逆量子化モジュールＰ２０３、逆変換モジュールＰ２０４、加算モジュールＰ２０５、記憶モジュールＰ２０７、予測信号生成モジュールＰ２０８、及びバッファ管理モジュールＰ２０９を備えている。各モジュールの機能は、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、フレームメモリ２０７、予測信号生成器２０８、及びバッファ管理器２０９の機能と同様である。
【００８３】
動画像予測符号化プログラムＰ１００及び動画像予測復号プログラムＰ２００は、図９，１０に示す記録媒体１０により提供される。コンピュータ３０は、動画像予測符号化プログラムＰ１００を読み込んで実行した場合には符号化装置１００として機能し、動画像予測復号プログラムＰ２００を読み込んで実行した場合には復号装置２００として機能する。なお、プログラムＰ１００，Ｐ２００を実行する機器はコンピュータ３０に限定されず、ＣＰＵを具備しソフトウエアによる処理や制御を行なうＤＶＤプレーヤ、セットトップボックス、携帯電話機などでもよい。
【００８４】
図９に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置やＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイ（表示装置）１８と、入力装置であるマウス２０及びキーボード２２と、データの送受信を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。記録媒体１０が読取装置１２に挿入されると、コンピュータ３０は記録媒体１０に格納された動画像予測符号化プログラムあるいは動画像予測復号プログラムにアクセス可能になり、このプログラムを読み込んで実行することで、符号化装置１００または復号装置２００として動作する。
【００８５】
図１０に示すように、動画像予測符号化プログラム及び動画像復号プログラムは、搬送波に重畳されたデータ信号４０としてネットワークを介して提供されてもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像予測符号化プログラムもしくは動画像復号プログラムをメモリ１６に格納し、そのプログラムを実行することで、符号化装置１００または復号装置２００として動作する。
【００８６】
以上説明したように、本実施形態によれば、バッファ（フレームメモリ１０４，２０７）に格納されている参照画像の出力順序情報（ＰＯＣ番号）および依存度情報（Ｄ＿ＩＤ番号）の少なくとも一つに基づいて、削除しようとする参照画像が決定される。そのため、明示的に管理情報を送ることなく、品質の優れた参照画像をより長い間バッファに格納して、当該参照画像をより多くの対象画像の符号化または復号に用いることができる。その結果、画像の圧縮率を高めることができる。具体的には、品質の優れない参照画像に大きいＤ＿ＩＤ番号を割り当て、これらの参照画像の中から、対象画像から最も離れている参照画像を順番に削除することにより、品質が良く且つより対象画像に近い再生画像を参照画像としてバッファに格納することができる。その結果、対象画像との相関が高い参照画像を確保して、効率よく予測符号化を行うことができる。
【００８７】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【００８８】
上記実施形態ではバッファ管理器がフレームメモリ内の参照画像を直接的に制御したが、「参照画像リスト」という論理手段を介してフレームメモリ内の画像を参照画像にマッピングする場合にも、本発明の手法を適用できる。
【符号の説明】
【００８９】
１００…動画像予測符号化装置、１０１…第１入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…第２入力端子、１１４…バッファ管理器、２００…動画像予測復号装置、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…フレームメモリ、２０８…予測信号生成器、２０９…バッファ管理器、Ｐ１００…動画像予測符号化プログラム、Ｐ１０２…ブロック分割モジュール、Ｐ１０３…予測信号生成モジュール、Ｐ１０４…記憶モジュール、Ｐ１０５…減算モジュール、Ｐ１０６…変換モジュール、Ｐ１０７…量子化モジュール、Ｐ１０８…逆量子化モジュール、Ｐ１０９…逆変換モジュール、Ｐ１１０…加算モジュール、Ｐ１１１…エントロピー符号化モジュール、Ｐ１１４…バッファ管理モジュール、Ｐ２００…動画像予測復号プログラム、Ｐ２０２…データ解析モジュール、Ｐ２０３…逆量子化モジュール、Ｐ２０４…逆変換モジュール、Ｐ２０５…加算モジュール、Ｐ２０７…記憶モジュール、Ｐ２０８…予測信号生成モジュール、Ｐ２０９…バッファ管理モジュール。
【特許請求の範囲】
【請求項１】
動画像を構成する複数の対象画像を受け付ける入力手段と、
過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該対象画像に対する当該他の画像の依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化手段と、
前記圧縮画像データを復号して再生画像を生成する復号手段と、
前記再生画像を、後続の画像を符号化するために用いる参照画像として格納するバッファと、
前記バッファを制御するバッファ管理手段と
を備え、
前記バッファ管理手段が、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測符号化装置。
【請求項２】
動画像予測符号化装置により実行される動画像予測符号化方法であって、
動画像を構成する複数の対象画像を受け付ける入力ステップと、
過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該他の画像の当該対象画像への依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化ステップと、
前記圧縮画像データを復号して再生画像を生成する復号ステップと、
前記再生画像を、後続の画像を符号化するために用いる参照画像としてバッファに格納する格納ステップと、
前記バッファを制御するバッファ管理ステップと
を含み、
前記バッファ管理ステップでは、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測符号化方法。
【請求項３】
動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力手段であって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、前記対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の前記対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力手段と、
前記圧縮画像データを復号して再生画像を生成する復号手段と、
前記再生画像を、後続の画像を復号するために用いられる参照画像として格納するバッファと、
前記バッファを制御するバッファ管理手段と
を備え、
前記バッファ管理手段が、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測復号装置。
【請求項４】
動画像予測復号装置により実行される動画像予測復号方法であって、
動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力ステップであって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、前記対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の前記対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力ステップと、
前記圧縮画像データを復号して再生画像を生成する復号ステップと、
前記再生画像を、後続の画像を復号するために用いられる参照画像としてバッファに格納する格納ステップと、
前記バッファを制御するバッファ管理ステップと
を含み、
前記バッファ管理ステップでは、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測復号方法。
【請求項５】
動画像を構成する複数の対象画像を受け付ける入力手段と、
過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該対象画像に対する当該他の画像の依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化手段と、
前記圧縮画像データを復号して再生画像を生成する復号手段と、
前記再生画像を、後続の画像を符号化するために用いる参照画像として格納するバッファと、
前記バッファを制御するバッファ管理手段と
をコンピュータに実行させ、
前記バッファ管理手段が、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測符号化プログラム。
【請求項６】
動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力手段であって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、前記対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の前記対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力手段と、
前記圧縮画像データを復号して再生画像を生成する復号手段と、
前記再生画像を、後続の画像を復号するために用いられる参照画像として格納するバッファと、
前記バッファを制御するバッファ管理手段と
をコンピュータに実行させ、
前記バッファ管理手段が、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測復号プログラム。
【請求項１】
動画像を構成する複数の対象画像を受け付ける入力手段と、
過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該対象画像に対する当該他の画像の依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化手段と、
前記圧縮画像データを復号して再生画像を生成する復号手段と、
前記再生画像を、後続の画像を符号化するために用いる参照画像として格納するバッファと、
前記バッファを制御するバッファ管理手段と
を備え、
前記バッファ管理手段が、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測符号化装置。
【請求項２】
動画像予測符号化装置により実行される動画像予測符号化方法であって、
動画像を構成する複数の対象画像を受け付ける入力ステップと、
過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該他の画像の当該対象画像への依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化ステップと、
前記圧縮画像データを復号して再生画像を生成する復号ステップと、
前記再生画像を、後続の画像を符号化するために用いる参照画像としてバッファに格納する格納ステップと、
前記バッファを制御するバッファ管理ステップと
を含み、
前記バッファ管理ステップでは、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測符号化方法。
【請求項３】
動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力手段であって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、前記対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の前記対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力手段と、
前記圧縮画像データを復号して再生画像を生成する復号手段と、
前記再生画像を、後続の画像を復号するために用いられる参照画像として格納するバッファと、
前記バッファを制御するバッファ管理手段と
を備え、
前記バッファ管理手段が、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測復号装置。
【請求項４】
動画像予測復号装置により実行される動画像予測復号方法であって、
動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力ステップであって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、前記対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の前記対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力ステップと、
前記圧縮画像データを復号して再生画像を生成する復号ステップと、
前記再生画像を、後続の画像を復号するために用いられる参照画像としてバッファに格納する格納ステップと、
前記バッファを制御するバッファ管理ステップと
を含み、
前記バッファ管理ステップでは、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測復号方法。
【請求項５】
動画像を構成する複数の対象画像を受け付ける入力手段と、
過去に符号化された後に復号および再生された少なくとも一つの画像を参照画像として用いて各対象画像を予測符号化し、予測符号化された対象画像の出力順序を示す出力順序情報と、他の画像を予測符号化する際の当該対象画像に対する当該他の画像の依存度を示す依存度情報とを当該対象画像に付加することで圧縮画像データを生成する符号化手段と、
前記圧縮画像データを復号して再生画像を生成する復号手段と、
前記再生画像を、後続の画像を符号化するために用いる参照画像として格納するバッファと、
前記バッファを制御するバッファ管理手段と
をコンピュータに実行させ、
前記バッファ管理手段が、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測符号化プログラム。
【請求項６】
動画像を構成する複数の対象画像のそれぞれについての圧縮画像データを受け付ける入力手段であって、該圧縮画像データが、過去に復号および再生された少なくとも一つの画像を参照画像として用いて予測符号化されたデータと、前記対象画像の出力順序を示す出力順序情報と、他の対象画像を予測符号化する際の前記対象画像に対する当該他の画像の依存度を示す依存度情報とを含む、該入力手段と、
前記圧縮画像データを復号して再生画像を生成する復号手段と、
前記再生画像を、後続の画像を復号するために用いられる参照画像として格納するバッファと、
前記バッファを制御するバッファ管理手段と
をコンピュータに実行させ、
前記バッファ管理手段が、前記バッファに格納されている複数の参照画像の前記出力順序情報及び前記依存度情報の少なくとも一つに基づいて、当該複数の参照画像の中から削除する参照画像を決定する、
動画像予測復号プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１３−１０６０９０（Ｐ２０１３−１０６０９０Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４６７７６（Ｐ２０１１−２４６７７６）
【出願日】平成２３年１１月１０日（２０１１．１１．１０）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１０日（２０１１．１１．１０）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]