画像符号化装置、画像符号化方法及び画像符号化プログラム

【課題】動き補償予測を使用する際の符号化効率を向上させる。
【解決手段】予測モード判定部１０９は符号化対象ブロックの動き情報として、符号化対象ブロックに空間的又は時間的に隣接する参照ブロックの動き情報を特定するための情報、及び符号化対象ブロックの動きベクトルと参照ブロックの動きベクトルとの差分ベクトルを使用するモードを選択可能である。多重化部１１２は予測誤差信号の符号化データと、動き情報の符号化データとを多重化する。予測モード判定部１０９は前記予測モードにおいて符号化対象ブロックに空間的又は時間的に隣接する複数の参照ブロック候補のそれぞれの動き情報の符号量を算出せずに、復号側と共通の規則に従い符号化対象ブロックが使用する動き情報を取得する参照ブロックを特定する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償予測を用いた動画像符号化技術に関し、特に動き補償予測に利用する画像符号化装置、画像符号化方法及び画像符号化プログラムに関する。
【背景技術】
【０００２】
ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４（以後、ＡＶＣ）等に代表される動画像符号化では、時間方向の相関を利用した情報圧縮として、符号化対象となる画像信号である符号化対象ピクチャに対して、既に符号化され復号された局部復号信号を参照ピクチャとして用い、所定の符号化処理単位で、対象ピクチャと参照ピクチャとの間での動き量（以後、動きベクトル）を検出し、予測信号を生成する動き補償予測が用いられる。
【０００３】
ＡＶＣでは、動き補償予測において１つの参照ピクチャから１本の動きベクトルを利用して単一方向に予測信号を生成する片方向予測と、２つの参照ピクチャから２本の動きベクトルを利用して双方向に予測信号を生成する双方向予測が用いられる。これらを所定の符号化処理単位となる１６×１６画素の２次元ブロック内で処理対象となっているブロック（以後、予測対象ブロック）の大きさを可変にする手法や、複数の参照ピクチャの中から予測に用いる参照ピクチャを選択する手法に適用することで、予測信号の情報量を削減している。符号化側では、予測モード情報や参照画像を指定する情報を選択して伝送し、復号側では、伝送された予測モード情報や参照画像を指定する情報に従って動き補償予測処理が施される。
【０００４】
動きベクトルについては、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルを予測動きベクトル（以降、予測ベクトル）とし、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。
【０００５】
更に、ＡＶＣにおいては、予測対象ブロックと同一位置にある参照ピクチャのブロックの符号化に用いられた動きベクトルを利用して、符号化ベクトルを伝送することなく動き補償予測を実現するダイレクト動き補償予測が知られている。
【０００６】
また、他の符号化ベクトルを伝送しない手法として、処理対象ブロックに隣接するブロックの動き情報を利用して、動き補償予測を実現する動き補償予測が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−２７６４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したダイレクト動き補償予測は、予測対象ブロックと同一位置にある参照ピクチャのブロックにおける時間方向の動きの連続性に着目し、上述した符号化ベクトルを伝送しない動き補償予測は、予測対象ブロックと予測対象ブロックに隣接する符号化済ブロックにおける空間方向の動きの連続性に着目することで、他のブロックの動き情報をそのまま利用する。これにより、差分ベクトルを符号化ベクトルとして符号化せずに符号化効率を向上させている。
【０００９】
しかしながら、動きの連続性が十分保たれていない場合や、他ブロックの動き情報における動きベクトルが正確な動きを示していない場合などに、他のブロックの動き情報をそのまま利用する方式を用いた際には、ずれの生じた動き情報を用いた予測画像が生成される。その場合、精度良い動き補償予測画像を生成できず、符号化効率が向上しないという難しい面がある。
【００１０】
また、差分動きベクトルを符号化せずに動き補償を行わない場合には、差分動きベクトルを符号化する従来の動き補償予測が用いられるが、従来の動き補償予測を行う際には、予測モード情報や参照画像の指定情報、更に指定された参照画像に対して用いられる動きベクトルを予測ベクトルとの差分ベクトルとして、それぞれ符号化する必要がある。この場合、動き補償予測手法を指定する符号量が増大し、十分に符号化効率が向上しないという難しい面がある。
【００１１】
本発明はこうした状況に鑑みてなされたものであり、その目的は、動き補償予測を使用する際の符号化効率を向上させる技術を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明のある態様の画像符号化装置は、動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化する画像符号化装置であって、符号化対象ブロックの動き情報として、前記符号化対象ブロックに空間的又は時間的に隣接する参照ブロックの動き情報を特定するための情報、及び前記符号化対象ブロックの動きベクトルと前記参照ブロックの動きベクトルとの差分ベクトルを使用する予測モードを選択可能な予測モード判定部（１０９）と、前記予測モード判定部（１０９）から供給される動き情報をもとに生成される予測信号と、前記符号化対象ブロックの画像信号との差分である予測誤差信号を符号化する予測誤差信号符号化部（１０３）と、前記予測モード判定部（１０９）から供給される動き情報を符号化する動き情報符号化部（１１０）と、前記予測誤差信号符号化部（１０３）から供給される符号化データと、前記動き情報符号化部（１１０）から供給される符号化データとを多重化する多重化部（１１２）と、を備える。前記予測モード判定部（１０９）は、前記予測モードにおいて前記符号化対象ブロックに空間的又は時間的に隣接する複数の参照ブロック候補のそれぞれの動き情報の符号量を算出せずに、復号側と共通の規則に従い前記符号化対象ブロックが使用する動き情報を取得する参照ブロックを特定し、前記動き情報符号化部（１１０）は、前記差分ベクトルを符号化し、前記参照ブロックの動き情報を特定するための情報の符号化を省略する。
【００１３】
前記複数の参照ブロック候補を、所定の優先順位に従って登録した候補リストを生成する候補リスト生成部（１２００）をさらに備えてもよい。前記予測モード判定部（１０９）は、前記候補リスト内から所定の条件で抽出した参照ブロック候補を、前記符号化対象ブロックが使用する動き情報を取得する参照ブロックに特定してもよい。
【００１４】
前記予測モード判定部（１０９）は、前記候補リスト内で最も優先順位が高い参照ブロック候補を、前記符号化対象ブロックが使用する動き情報を取得する参照ブロックに特定してもよい。例えば、前記複数の参照ブロック候補が優先順位が高い順に候補リストに登録されている場合、前記予測モード判定部（１０９）は、前記候補リスト内で最初の参照ブロック候補を、前記符号化対象ブロックが使用する動き情報を取得する参照ブロックに特定してもよい。
【００１５】
前記予測モード判定部（１０９）は、前記候補リスト内で双方向予測の動き情報を持つ参照ブロック候補のうち、最も優先順位が高い参照ブロック候補を、前記符号化対象ブロックが使用する動き情報を取得する参照ブロックに特定してもよい。
【００１６】
前記予測モード判定部（１０９）は、前記候補リスト内で最も優先順位が低い参照ブロック候補を、前記符号化対象ブロックが使用する動き情報を取得する参照ブロックに特定してもよい。前記予測モード判定部（１０９）は、前記符号化対象ブロックの動き情報として、前記差分ベクトルを使用せず、前記符号化対象ブロックに空間的又は時間的に隣接する参照ブロックの動き情報を特定するための情報を使用する別の予測モードも選択可能であり、当該予測モードにおいて前記符号化対象ブロックに空間的又は時間的に隣接する複数の参照ブロック候補のそれぞれの動き情報の符号量を算出して、その符号量をもとに前記符号化対象ブロックが使用する動き情報を取得する参照ブロックを特定し、前記動き情報符号化部（１１０）は、前記別の予測モードにおいて前記参照ブロックの動き情報を特定するための情報を符号化してもよい。
【００１７】
前記予測モード判定部（１０９）は、参照ブロック候補の動き情報から特定される、空間隣接か時間隣接かの違い、予測方向、動きベクトルのスケーリングの有無、及び前記符号化対象ブロックとの時間距離の少なくとも一つを参照して、前記差分ベクトルの対象となる参照画像を選択してもよい。
【００１８】
前記予測モード判定部（１０９）は、参照ブロック候補の動き情報から取得される予測方向が片方向の場合、その片方向の動きベクトルを用いて他方の動きベクトルを生成し、双方向の動きベクトルを生成してもよい。
【００１９】
前記予測モード判定部（１０９）は、参照ブロック候補の動き情報により指定される双方向の参照画像の内、一方の参照画像と前記参照ブロック間の動きベクトルを修正するための差分ベクトルを生成した後、当該差分ベクトルをもとに他方の参照画像と前記参照ブロック間の動きベクトルを修正してもよい。
【００２０】
前記予測モード判定部（１０９）は、前記差分ベクトルをもとに他方の参照画像と前記参照ブロック間の動きベクトルを修正するか否か、前記参照ブロック候補の動き情報の特性に応じて切り替えてもよい。
【００２１】
本発明の別の態様は、画像符号化方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化する画像符号化方法であって、符号化対象ブロックの動き情報として、前記符号化対象ブロックに空間的又は時間的に隣接する参照ブロックの動き情報を特定するための情報、及び前記符号化対象ブロックの動きベクトルと前記参照ブロックの動きベクトルとの差分ベクトルを使用する予測モードを選択するステップと、前記動き情報をもとに生成される予測信号と、前記符号化対象ブロックの画像信号との差分である予測誤差信号を符号化するステップと、前記動き情報を符号化するステップと、前記予測誤差信号の符号化データと、前記動き情報の符号化データとを多重化するステップと、を備える。前記予測モードを選択するステップは、前記予測モードにおいて前記符号化対象ブロックに空間的又は時間的に隣接する複数の参照ブロック候補のそれぞれの動き情報の符号量を算出せずに、復号側と共通の規則に従い前記符号化対象ブロックが使用する動き情報を取得する参照ブロックを特定し、前記動き情報を符号化するステップは、前記差分ベクトルを符号化し、前記参照ブロックの動き情報を特定するための情報の符号化を省略する。
【００２２】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００２３】
本発明によれば、動き補償予測を使用する際の符号化効率を向上させることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態１に係る動画像符号化装置の構成を示す図である。
【図２】符号化対象画像の一例を示す図である。
【図３】予測ブロックサイズの詳細な定義を示す図である。
【図４】図４（ａ）〜（ｄ）は、動き補償予測の予測方向について説明するための図である。
【図５】本発明の実施の形態１に係る動画像符号化装置における符号化処理の動作の流れ示すフローチャートである。
【図６】本発明の実施の形態１に係る動画像復号装置の構成を示す図である。
【図７】本発明の実施の形態１に係る動画像復号装置における復号処理の動作の流れを示すフローチャートである。
【図８】図８（ａ）、（ｂ）は、本発明の実施の形態１における動き補償予測において使用される動き情報を符号化するための３つの予測モードを説明するための図である。
【図９】動き補償予測および動き補償予測を実施しない画面内予測における、動き補償の予測方向と、参照画像を定義する情報、及び符号化する動きベクトル数の関連に関して説明するための図である。
【図１０】実施の形態１の動画像符号化装置におけるモード判定部の詳細な構成を示す図である。
【図１１】予測ベクトル算出部の構成を示す図である。
【図１２】結合動き情報算出部の構成を示す図である。
【図１３】結合動き修正動き補償予測生成部の構成を示す図である。
【図１４】図１０の予測モード判定部を介して動作する、図５のステップＳ５０２である動き補償予測モード／予測信号生成の動作について説明するためのフローチャートである。
【図１５】図１４のステップＳ１４００における結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。
【図１６】空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。
【図１７】空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。
【図１８】時間結合動き情報候補リスト生成に用いる時間候補ブロック群を示す図である。
【図１９】時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。
【図２０】時間結合動き情報に対する基準動きベクトル値ＣｏｌＭｖに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。
【図２１】図１９のステップＳ１４０１における結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【図２２】図１４のステップＳ１４０２における結合動き修正予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【図２３】図２３（ａ）〜（ｃ）は、結合動き修正予測モードにおける結合動き情報に対するスケーリング処理の概念を示す図である。
【図２４】各結合動き情報に対して存在するスケーリングされて生成した動きベクトル数を示す図である。
【図２５】図２５（ａ）〜（ｃ）は、実施の形態１における差分動きベクトル伝送参照画像確定アルゴリズムを示す概念図である。
【図２６】図２２のステップＳ２２０２の詳細動作を説明するためのフローチャートである。
【図２７】図２６のステップＳ２６０１の詳細動作を説明するためのフローチャートである。
【図２８】図２７のステップＳ２７０２の詳細動作を説明するためのフローチャートである。
【図２９】図１４のステップＳ１４０３の詳細動作を説明するためのフローチャートである。
【図３０】図２９のステップＳ２９０１の詳細動作を説明するためのフローチャートである。
【図３１】空間動き情報利用予測ベクトル候補リスト生成の詳細動作を説明するためのフローチャートである。
【図３２】時間動き情報利用予測ベクトル候補リスト生成の詳細動作を説明するためのフローチャートである。
【図３３】図１４のステップＳ１４０４の詳細動作を説明するためのフローチャートである。
【図３４】図５のステップＳ５０４の詳細動作を説明するためのフローチャートである。
【図３５】実施の形態１における動き予測フラグの一例を示す図である。
【図３６】図３４のフローチャートで示した、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスの一例を示す図である。
【図３７】図６に示した実施の形態１の動画像復号装置における動き情報復号部の詳細な構成を示す図である。
【図３８】図７のステップＳ７０１の詳細動作を説明するためのフローチャートである。
【図３９】図３８のステップＳ３８０２の詳細動作を説明するためのフローチャートである。
【図４０】図３８のステップＳ３８０７の詳細動作を説明するためのフローチャートである。
【図４１】図３８のステップＳ３８１０の詳細動作を説明するためのフローチャートである。
【図４２】図３８のステップＳ３８１１の詳細動作を説明するためのフローチャートである。
【図４３】実施の形態２における動き予測モードの構成を示す図である。
【図４４】実施の形態２における、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスを示す図である。
【図４５】実施の形態２の動画像符号化装置における動き情報符号化データ生成処理を説明するためのフローチャートである。
【図４６】実施の形態２の動画像復号装置における動き情報復号処理を説明するためのフローチャートである。
【図４７】実施の形態３における、図１０の結合動き修正動き補償予測生成部における詳細構成を示す図である。
【図４８】実施の形態３における結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。
【図４９】図４９（ａ）〜（ｃ）は、実施の形態４における距離優先アルゴリズムを示す概念図である。
【図５０】実施の形態４における、双方向動きベクトル値、差分ベクトルを伝送する参照画像確定処理を説明するためのフローチャートである。
【図５１】図５１（ａ）〜（ｃ）は、実施の形態５における、結合動き情報が空間ＢｉＰｒｅｄである場合、空間ＵｎｉＰｒｅｄである場合、時間ＢｉＰｒｅｄである場合における、差分ベクトルを伝送する参照画像を特定する処理構成の概念図を示す図である。
【図５２】実施の形態５における、各予測モードにおける伝送する動き情報の関係を示す図である。
【図５３】実施の形態５における双方向動きベクトル値、差分ベクトルを伝送する参照画像確定処理を説明するためのフローチャートである。
【図５４】実施の形態５における、符号化シンタックスの一例を示す図である。
【図５５】実施の形態５の動画像符号化装置における動き情報符号化データ生成処理を説明するためのフローチャートである。
【図５６】実施の形態５の動画像復号装置における結合動き修正予測動き情報復号処理を説明するためのフローチャートである。
【図５７】図５７（ａ）、（ｂ）は、実施の形態５における常に２つの参照画像を送る構成における空間ＢｉＰｒｅｄ及び空間ＵｎｉＰｒｅｄの差分ベクトルの状態の概念図を示す図である。
【図５８】常に２つの参照画像に対して差分ベクトルを伝送する構成を取る場合に採用可能な符号化シンタックスの一例を示す図である。
【図５９】図５９（ａ）、（ｂ）は、実施の形態６における差分ベクトルの２つの参照画像に対する作用を示す概念図である。
【図６０】実施の形態６における、２つの参照画像の結合動きベクトル値を基準とした動きベクトル探索手法の一例を示す図である。
【図６１】実施の形態６における結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。
【図６２】実施の形態６における結合動き修正予測動き情報復号処理を説明するためのフローチャートである。
【図６３】実施の形態６における差分ベクトルの作用を両方の参照画像に適用する別構成を示す概念図である。
【図６４】図６４（ａ）〜（ｃ）は、実施の形態７における結合動き修正予測モードの差分ベクトル伝送手法を示す概念図である。
【図６５】実施の形態８の動画像符号化装置における結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。
【図６６】実施の形態８における別構成の結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。
【図６７】実施の形態８の動画像復号装置における結合動き修正予測動き情報復号処理を説明するためのフローチャートである。
【図６８】結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄＵｎａｒｙ符号列を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面とともに本発明の実施の形態に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラムの好適な実施の形態について詳細に説明する。なお、図面の説明には同一要素には同一符号を付与して重複する説明を省略する。
【００２６】
（実施の形態１）
［動画像符号化装置全体構成］
図１は、本発明の実施の形態１に係る動画像符号化装置の構成を示す図である。以下、各部の動作について説明する。実施の形態１に係る動画像符号化装置は、入力端子１００、減算部１０１、直交変換・量子化部１０２、予測誤差符号化部１０３、逆量子化・逆変換部１０４、加算部１０５、復号画像メモリ１０６、動きベクトル検出部１０７、動き補償予測部１０８、予測モード判定部１０９、動き情報符号化部１１０、動き情報メモリ１１１、多重化部１１２、及び出力端子１１３を備える。
【００２７】
入力端子１００より入力される画像信号から符号化処理対象の予測ブロックの画像信号が、予測ブロックの位置情報と予測ブロックサイズに基づいて切り出され、予測ブロックの画像信号は、減算部１０１、動きベクトル検出部１０７及び予測モード判定部１０９に供給される。
【００２８】
図２は、符号化対象画像の一例を示す図である。実施の形態１に係る予測ブロックサイズに関しては、図２に示すように符号化対象画像が６４×６４画素の符号化ブロック（ＣＵ）単位で符号化処理され、予測ブロックは符号化ブロックが更に分割された単位で構成される。最大予測ブロックサイズは符号化ブロックと同じ６４×６４画素で、最小予測ブロックサイズは４×４画素である。符号化ブロックの予測ブロックへの分割構成は、非分割（２Ｎ×２Ｎ）、水平・垂直への分割（Ｎ×Ｎ）、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ）が可能である。水平・垂直への分割の場合のみ、更に分割された予測ブロックを符号化ブロックとして階層的に予測ブロックに分割でき、その階層をＣＵ分割数で表現する。
【００２９】
図３は、予測ブロックサイズの詳細な定義を示す図である。ＣＵ分割数が０であって最大の予測ブロックサイズである６４画素×６４画素から、ＣＵ分割数が３であって最小の予測ブロックサイズである４画素×４画素までの１３の予測ブロックサイズが存在することになる。
【００３０】
本発明の実施の形態１に係る予測ブロックの分割構成に関して、この組み合わせに限定されない。また、動画像符号化装置における予測ブロックサイズの選択は、符号化ブロック単位で符号化効率のより良い構造を適応的に選択することが可能であるが、実施の形態１は予測ブロック単位での画面間予測及び画面間動き情報の符号化に注目したものであるため、最適な予測ブロックサイズの選択に関する構成要素及び説明を省略する。以降の動画像符号化装置の動作に関しては、選択した予測ブロックサイズ単位で施される動作を説明する。
【００３１】
図１に戻り、減算部１０１は、入力端子１００より供給される画像信号と予測モード判定部１０９より供給される予測信号を減算して予測誤差信号を算出し、予測誤差信号を直交変換・量子化部１０２に供給する。
【００３２】
直交変換・量子化部１０２は、減算部１０１より供給される予測誤差信号に直交変換及び量子化を施し、量子化された予測誤差信号を予測誤差符号化部１０３及び逆量子化・逆変換部１０４に供給する。
【００３３】
予測誤差符号化部１０３は、直交変換・量子化部１０２より供給される量子化された予測誤差信号をエントロピー符号化して、予測誤差信号に対する符号列を生成して、多重化部１１２に供給する。
【００３４】
逆量子化・逆変換部１０４は、直交変換・量子化部１０２より供給される量子化された予測誤差信号に対して、逆量子化や逆直交変換などの処理を行い、復号予測誤差信号を生成し加算部１０５に供給する。
【００３５】
加算部１０５は、逆量子化・逆変換部１０４より供給される復号予測誤差信号と、予測モード判定部１０９より供給される予測信号を加算して、復号画像信号を生成し、復号画像信号を復号画像メモリ１０６に供給する。
【００３６】
復号画像メモリ１０６は、加算部１０５より供給される復号画像信号を格納する。また、画像全体の復号が完了した復号画像については参照画像として１以上の所定画像数記憶し、参照画像信号を動きベクトル検出部１０７と動き補償予測部１０８に供給する。
【００３７】
動きベクトル検出部１０７は、入力端子１００より供給される予測ブロックの画像信号と、復号画像メモリ１０６に記憶された参照画像信号の入力を受けて、各参照画像に対する動きベクトルを検出し、動きベクトル値を予測モード判定部１０９に供給する。
【００３８】
一般的な動きベクトルの検出方法は、画像信号と同一位置より所定の移動量だけ移動させた参照画像に相当する画像信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、画素毎の差分絶対値の総和ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）や、画素毎の二乗誤差値の総和ＳＳＥ（ＳｕｍｏｆＳｑｕａｒｅＥｒｒｏｒ）等を利用する。さらに、動きベクトルの符号化に関わる符号量も誤差評価値に含めることも可能である。
【００３９】
動き補償予測部１０８は、予測モード判定部１０９より指定される参照画像指定情報と、動きベクトル値に従って、復号画像メモリ１０６内の参照画像指定情報で示される参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。
【００４０】
予測モード判定部１０９より指定される予測モードが片方向予測の場合には、１つの参照画像から取得した予測信号を動き補償予測信号とし、予測モードが双方向予測の場合には、２つの参照画像から取得した予測信号を重みづけ平均したものを動き補償予測信号とし、動き補償予測信号を予測モード判定部１０９に供給する。ここでは双方向予測の重みづけ平均の比率を１：１とする。
【００４１】
図４（ａ）〜（ｄ）は、動き補償予測の予測方向について説明するための図である。単一の参照画像からの予測を行う処理を片方向予測と定義し、片方向の場合はＬ０方向またはＬ１方向という２つの参照画像管理リストに登録された参照画像のいずれか一方を利用する。
【００４２】
図４（ａ）は片方向であってＬ０方向の参照画像（ＲｅｆＬ０Ｐｉｃ）が符号化対象画像（ＣｕｒＰｉｃ）より前の時刻にある場合を示している。図４（ｂ）は片方向であってＬ０方向の参照画像が符号化対象画像より後の時刻にある場合を示している。同様に、図４（ａ）および図４（ｂ）のＬ０方向の参照画像をＬ１方向の参照画像（ＲｅｆＬ１Ｐｉｃ）に置き換えて片方向予測を行うこともできる。
【００４３】
２つの参照画像からの予測を行う処理を双方向予測と定義し、双方向の場合はＬ０方向とＬ１方向の双方を利用してＢＩ方向と表現する。図４（ｃ）は双方向であってＬ０方向の参照画像が符号化対象画像より前の時刻にあって、Ｌ１方向の参照画像が符号化対象画像より後の時刻にある場合を示している。図４（ｄ）は双方向であってＬ０方向の参照画像とＬ１方向の参照画像が符号化対象画像より前の時刻にある場合を示している。このように、Ｌ０／Ｌ１の予測方向と時間の関係は、Ｌ０が過去方向、Ｌ１が未来方向とは限定されずに用いることが可能である。
【００４４】
実施の形態１では、参照画像及び符号化対象画像の時刻を示す情報としてＰＯＣ（ＰｉｃｔｕｒｅＯｒｄｅｒＣｏｕｎｔ）を用いる。ＰＯＣはＡＶＣで定義された画像の表示順序を示すカウンタである。画像の表示順序が１増加するとＰＯＣも１増加する。したがって、画像間のＰＯＣ差から画像間の時間差（距離）を取得できる。
【００４５】
図１に戻り、予測モード判定部１０９は、動きベクトル検出部１０７より入力される各参照画像に対して検出された動きベクトル値と、動き情報メモリ１１１に格納された動き情報（予測方向、動きベクトル値、及び参照画像指定情報）をもとに、実施の形態１において定義した動き補償予測モードのそれぞれに対して用いられる、参照画像指定情報と動きベクトル値を動き補償予測部１０８に設定する。設定した値によって、動き補償予測部１０８から供給される動き補償予測信号と、入力端子１００より供給される予測ブロックの画像信号を用いて、最適な動き補償予測モードを決定する。
【００４６】
予測モード判定部１０９は、決定した予測モード、及び予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を、動き情報符号化部１１０に供給し、決定した予測モード及びその予測モードに対する、予測方向、動きベクトル値、及び参照画像指定情報を動き情報メモリ１１１に供給すると共に、減算部１０１及び加算部１０５に決定した予測モードに対応する予測信号を供給する。
【００４７】
動画像符号化装置において、基準とする参照画像を符号化するために同一画面内の符号化済画像を用いて予測を行う画面内予測が行われるが、実施の形態１は画面間予測に注目したものであるため、画面内予測に関連する構成要素は省略する。予測モード判定部１０９の詳細な構成については後述する。
【００４８】
動き情報符号化部１１０は、予測モード判定部１０９より供給される予測モード、及び予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を所定のシンタックス構造に従って符号化することで、動き情報の符号列を生成し、多重化部１１２に供給する。動き情報符号化部１１０の詳細な構成については後述する。
【００４９】
動き情報メモリ１１１は、予測モード判定部１０９より供給される動き情報（予測方向、動きベクトル、及び参照画像インデックス）を、最小予測ブロックサイズ単位を基準として所定画像分記憶する。処理対象の予測ブロックの隣接ブロックの動き情報を空間候補ブロック群とし、処理対象の予測ブロックと同一位置にあるＣｏｌＰｉｃ上のブロックとその周辺ブロックの動き情報を時間候補ブロック群とする。
【００５０】
ＣｏｌＰｉｃとは、処理対象の予測ブロックとは別の復号済みの画像であって、復号画像メモリ１０６に参照画像として記憶されている。実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像としたが、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中に、ＣｏｌＰｉｃに用いる参照画像を直接指定することも可能である。
【００５１】
動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として予測モード判定部１０９に供給する。多重化部１１２は、予測誤差符号化部１０３から供給される予測誤差の符号化列と、動き情報符号化部１１０から供給される動き情報の符号化列を多重化することで符号化ビットストリームを生成し、出力端子１１３経由で、記録媒体・伝送路等に当該符号化ビットストリームを出力する。
【００５２】
図１に示した動画像符号化装置の構成は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。
【００５３】
図５は、本発明の実施の形態１に係る動画像符号化装置における符号化処理の動作の流れ示すフローチャートである。予測ブロック単位毎に、入力端子１００より処理対象の予測ブロック画像を取得する（Ｓ５００）。動きベクトル検出部１０７は、処理対象の予測ブロック画像と復号画像メモリ１０６に格納された複数の参照画像より、参照画像毎の動きベクトル値を算出する（Ｓ５０１）。
【００５４】
続いて、予測モード判定部１０９は、動きベクトル検出部１０７より供給される動きベクトルと、動き情報メモリ１１１に格納された動き情報を用いて、実施の形態１において定義した動き補償予測モードのそれぞれに対する予測信号を、動き補償予測部１０８を用いて取得し、最適な予測モードを選択し、予測信号を生成する（Ｓ５０２）。ステップＳ５０２の処理の詳細については後述する。
【００５５】
続いて、減算部１０１は、処理対象の予測ブロック画像と予測モード判定部１０９より供給された予測信号との差分を予測誤差信号として算出する（Ｓ５０３）。動き情報符号化部１１０は、予測モード判定部１０９より供給される予測モード、及び予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を所定のシンタックス構造に従って符号化し、動き情報の符号化データを生成する（Ｓ５０４）。ステップＳ５０４の処理の詳細については後述する。
【００５６】
続いて、予測誤差符号化部１０３は、直交変換・量子化部１０２で生成された量子化された予測誤差信号をエントロピー符号化して、予測誤差の符号化データを生成する（Ｓ５０５）。多重化部１１２は、動き情報符号化部１１０から供給される動き情報の符号化データと、予測誤差符号化部１０３から供給される予測誤差の符号化データを多重化し、符号化ビットストリームを生成する（Ｓ５０６）。
【００５７】
加算部１０５は、逆量子化・逆変換部１０４より供給される復号予測誤差信号と、予測モード判定部１０９より供給される予測信号を加算して、復号画像信号を生成する（Ｓ５０７）。加算部１０５によって、生成された復号画像信号が復号画像メモリ１０６に供給、格納され、以降に符号化する符号化画像の動き補償予測処理に用いられる（Ｓ５０８）。動き情報メモリ１１１は、動きベクトル検出部１０７より供給される動き情報（予測方向、動きベクトル、及び参照画像指定情報）を最小の予測ブロックサイズ単位で格納する（Ｓ５０９）。
【００５８】
［動画像復号装置全体構成］
図６は、本発明の実施の形態１に係る動画像復号装置の構成を示す図である。以下、各部の動作について説明する。実施の形態１に係る動画像復号装置は、入力端子６００、多重分離部６０１、予測差分情報復号部６０２、逆量子化・逆変換部６０３、加算部６０４、復号画像メモリ６０５、動き情報復号部６０６、動き情報メモリ６０７、動き補償予測部６０８、及び出力端子６０９を備える。
【００５９】
入力端子６００より符号化ビットストリームが多重分離部６０１に供給される。多重分離部６０１は、供給された符号化ビットストリームの符号列を予測誤差情報の符号化列と、予測モード、並びに予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報で構成される動き情報の符号化列に分離する。当該予測誤差情報の符号化列を予測差分情報復号部６０２に供給し、当該動き情報の符号化列を動き情報復号部６０６に供給する。
【００６０】
予測差分情報復号部６０２は、多重分離部６０１より供給された予測誤差情報の符号化列を復号し、量子化された予測誤差信号を生成する。予測差分情報復号部６０２は、生成した量子化された予測誤差信号を逆量子化・逆変換部６０３に供給する。
【００６１】
逆量子化・逆変換部６０３は、予測差分情報復号部６０２より供給される量子化された予測誤差信号を逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、復号予測誤差信号を加算部６０４に供給する。
【００６２】
加算部６０４は、逆量子化・逆変換部６０３より供給される復号予測誤差信号と、動き補償予測部６０８より供給される予測信号を加算して復号画像信号を生成し、復号画像信号を復号画像メモリ６０５に供給する。
【００６３】
復号画像メモリ６０５は、図１の動画像符号化装置における復号画像メモリ１０６と同じ機能を有し、加算部６０４から供給された復号画像信号を格納し、参照画像信号を動き補償予測部６０８に供給する。また、復号画像メモリ６０５は、格納された復号画像信号を再生時刻に合わせて、画像の表示順序に従い出力端子６０９に供給する。
【００６４】
動き情報復号部６０６は、多重分離部６０１より供給される動き情報の符号化列より、予測モード、並びに予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を動き情報として復号する。復号した動き情報と、動き情報メモリ６０７より供給される候補ブロック群の動き情報より、動き補償予測に用いる予測方向、動きベクトル及び参照画像指定情報を再生し、動き補償予測部６０８に供給する。また、動き情報復号部６０６は再生した動き情報を、動き情報メモリ６０７に供給する。動き情報復号部６０６の詳細な構成については後述する。
【００６５】
動き情報メモリ６０７は、図１の動画像符号化装置における動き情報メモリ１１１と同じ機能を持ち、動き情報復号部６０６より供給される再生した動き情報を最小予測ブロックサイズ単位を基準として所定画像分記憶する。また、動き情報メモリ６０７は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として動き情報復号部６０６に供給する。
【００６６】
動き補償予測部６０８は、図１の動画像符号化装置における動き補償予測部１０８と同じ機能を持ち、動き情報復号部６０６より供給される動き情報に基づいて、復号画像メモリ６０５内の参照画像指定情報が示す参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。動き補償予測の予測方向が双方向であれば、各予測方向の予測信号を平均したものを予測信号として生成し、予測信号を加算部６０４に供給する。
【００６７】
出力端子６０９は、復号画像メモリ６０５より供給された復号画像信号を、ディスプレイなどの表示媒体に出力することで、復号画像信号が再生される。
【００６８】
図６に示した動画像復号装置の構成も、図１に示した動画像符号化装置の構成と同様に、ＣＰＵ、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。
【００６９】
図７は、本発明の実施の形態１に係る動画像復号装置における復号処理の動作の流れを示すフローチャートである。多重分離部６０１は、入力端子６００より供給された符号化ビットストリームを予測誤差情報の符号化列と、動き情報の符号化列に分離する（Ｓ７００）。分離された動き情報の符号化列は動き情報復号部６０６に供給され、動き情報メモリ６０７より供給される候補ブロック群の動き情報を用いて、復号対象ブロックの動き情報を復号する（Ｓ７０１）。
【００７０】
分離された予測誤差情報の符号化列は、予測差分情報復号部６０２に供給され、量子化された予測誤差信号として復号され、逆量子化・逆変換部６０３で逆量子化や逆直交変換などの処理を施されることで、復号予測誤差信号が生成される（Ｓ７０２）。ステップＳ７０２の処理の詳細については後述する。
【００７１】
動き情報復号部６０６より、復号対象ブロックの動き情報が動き補償予測部６０８に供給され、動き補償予測部６０８は動き情報にしたがって動き補償予測を行い予測信号を算出する（Ｓ７０３）。加算部６０４は、逆量子化・逆変換部６０３から供給された復号予測誤差信号と、動き補償予測部６０８から供給された予測信号とを加算し、復号画像信号を生成する（Ｓ７０４）。
【００７２】
加算部６０４より供給された復号画像信号は、復号画像メモリ６０５に格納される（Ｓ７０５）と共に、動き情報復号部６０６より供給された復号対象ブロックの動き情報が動き情報メモリ６０７に格納される（Ｓ７０６）。これで、予測ブロック単位の復号処理が終了する。
【００７３】
［実施の形態１の詳細機能説明］
本発明の実施の形態１に係る動画像符号化装置の予測モード判定部１０９及び動き情報符号化部１１０の動作、図５のフローチャートにおけるステップＳ５０２及びステップＳ５０４の処理、並びに本発明の実施の形態１に係る動画像復号装置における動き情報復号部６０６の動作、図７のフローチャートにおけるステップＳ７０２の処理の詳細動作を、以下説明する。
【００７４】
［実施の形態１における動き補償予測モードの定義］
図８（ａ）、（ｂ）は、本発明の実施の形態１における動き補償予測において使用される動き情報を符号化するための３つの予測モードを説明するための図である。第一の予測モードは、予測対象ブロックと当該予測対象ブロックに隣接する符号化済ブロックにおける時間方向や空間方向の動きの連続性を用いて、当該予測対象ブロックは自身の動き情報を直接符号化せずに、空間及び時間的に隣接するブロックの動き情報を符号化に使用する手法であり、結合予測モード（マージモード）と呼ぶ。
【００７５】
結合予測モードの場合には、複数の隣接ブロック候補より選択的に結合する動き情報が定義でき、動き情報は使用する隣接ブロックを指定する情報（インデックス）を符号化することで、指定情報をもとに取得した動き情報をそのまま動き補償予測に用いる。更に、結合予測モードにおいては、予測差分情報を符号化伝送せずに、結合予測モードで予測された予測信号を復号ピクチャとするＳｋｉｐモードを定義し、結合した動き情報のみの少ない情報で復号画像が再生できる構成を有する。Ｓｋｉｐモードにおいて伝送する動き情報は、結合予測モードと同様に隣接ブロックを定義する指定情報となる。
【００７６】
第二の予測モードは、動き情報の構成要素を個別にすべて符号化し、予測ブロックに対して予測誤差の少ない動き情報を伝送する手法であり、動き検出予測モードと呼ぶ。動き検出予測モードは、従来の動き補償予測の動き情報の符号化と同様に、参照画像を特定するための情報（参照画像インデックス）と、動きベクトルを特定するための情報が別々に符号化される。
【００７７】
動き検出予測モードには、片方向予測と双方向予測のどちらを使用するか予測モードで指示し、片方向予測の場合には１つの参照画像に対する参照画像を特定する情報と、動きベクトルの予測ベクトルとの差分ベクトルを符号化する。双方向予測の場合には２つの参照画像に対する参照画像を特定する情報と、動きベクトルがそれぞれ個別に符号化される。動きベクトルに対する予測ベクトルは、ＡＶＣと同様に隣接ブロックの動き情報から生成されるが、結合予測モードと同様に、複数の隣接ブロック候補より予測ベクトルに用いる動きベクトルを選択でき、動きベクトルは予測ベクトルに使用する隣接ブロックを指定する情報（インデックス）と差分ベクトルの２つを符号化することで伝送される。
【００７８】
第三の予測モードは、隣接ブロックの動き情報に対して、動きベクトル値を修正するための差分ベクトル値を追加で符号化することで、隣接ブロックから生成される動き情報に対して一部の動きベクトルに対する修正を行い、動き情報として符号化する手法であり、結合動き修正予測モード（マージＭＶＤモード）と呼ぶ。結合動き修正予測モードにおいて伝送する動き情報は、隣接ブロックを指定する情報を暗黙的に指定するため、修正する動きベクトルに対する差分ベクトル値のみとなる。実施の形態１における、結合動き修正予測モードでは、差分ベクトル値は常に１つ伝送され、動き補償予測の予測方向は双方向予測となる。
【００７９】
この結合動き修正予測モードを有する構成が、結合動き修正予測モードを有さない従来の構成に対して符号化効率を向上させる要因となる。つまり、結合動き修正予測モードでは、結合予測モードにおいて符号化する情報を暗黙的に定義し、動きベクトルを修正するための差分ベクトルのみを符号化する。これにより、動きの連続性が十分保たれていない場合や、他ブロックの動き情報における動きベクトルが正確な動きを示していない場合などに、隣接ブロックから生成される動き情報に対して、動きベクトルのみを修正することで、予測残差が少ない動き補償予測信号を生成する動き情報を、少ない情報で表現することができる。
【００８０】
図９は、動き補償予測および動き補償予測を実施しない画面内予測における、動き補償の予測方向と、参照画像を定義する情報、及び符号化する動きベクトル数の関連に関して説明するための図である。
【００８１】
動き検出予測モードの内、予測方向が片方向である片方向予測モード（ＵｎｉＰｒｅｄ）の場合は、符号化する動き情報として１つの符号化ベクトル（差分ベクトル）、１つの参照画像インデックス、１つの予測ベクトルインデックスが伝送される。
【００８２】
同様に予測方向が双方向である双方向予測モード（ＢｉＰｒｅｄ）の場合は、符号化する動き情報として２つの符号化ベクトル（差分ベクトル）、２つの参照画像インデックス、２つの予測ベクトルインデックスが伝送される。
【００８３】
結合予測モード（Ｍｅｒｇｅ）の場合には、１つの結合動き情報インデックスのみが符号化する動き情報として伝送され、動き情報に基づいて片方向もしくは双方向の動き補償予測が施される。
【００８４】
結合動き修正予測モード（ＭｅｒｇｅＭｖｄ）の場合には、１つの符号化ベクトル（差分ベクトル）が符号化する動き情報として伝送され、暗黙的に取得された動き情報と動きベクトルの修正情報（差分ベクトル）に従って、双方向の動き補償予測が施される。
【００８５】
動き補償予測を実施しない予測符号化モードであるイントラモード（Ｉｎｔｒａ）においては、動き情報は符号化されない。
【００８６】
隣接する動き情報との時間的・空間的な相関性が非常に高い場合には、結合予測モードが有効な動き補償予測モードとして選択される。相関性が低い場合もしくは一部の動き情報のみが有効に予測ブロックの動き情報として利用できる場合には、動き検出予測モードが有効な動き補償予測モードとして選択される。相関性が高いが動きに微小なずれを生じている場合や、隣接するブロックの動き情報が正確な動きを示していない場合、また大部分の動き情報が有効であるが一部の動き情報のみ相関性が十分でない場合などに、結合動き修正予測モードが有効な動き補償予測モードとして選択される。このように、状況に応じて、符号化効率の高い動き補償予測を選択できる。
【００８７】
［実施の形態１における動画像符号化装置における予測モード判定部の詳細動作説明］
図１０は、実施の形態１の動画像符号化装置における予測モード判定部１０９の詳細な構成を示す図である。予測モード判定部１０９は、最適な動き補償予測モードを決定する機能を有する。
【００８８】
予測モード判定部１０９は、片方向動き補償予測生成部１０００、双方向動き補償予測生成部１００１、予測誤差算出部１００２、予測ベクトル算出部１００３、差分ベクトル算出部１００４、動き情報符号量算出部１００５、予測モード評価部１００６、結合動き情報算出部１００７、結合動き補償予測生成部１００８、及び結合動き修正動き補償予測生成部１００９を含む。
【００８９】
図１における予測モード判定部１０９に対して、動きベクトル検出部１０７より入力された動きベクトル値が、片方向動き補償予測生成部１０００、双方向動き補償予測生成部１００１、及び結合動き修正動き補償予測生成部１００９に供給され、動き情報メモリ１１１より入力された動き情報が、予測ベクトル算出部１００３、及び結合動き情報算出部１００７に供給される。
【００９０】
また、動き補償予測部１０８に対して、片方向動き補償予測生成部１０００、双方向動き補償予測生成部１００１、結合動き補償予測生成部１００８、及び結合動き修正動き補償予測生成部１００９から、動き補償予測に用いる参照画像指定情報と動きベクトルが出力される。また、動き補償予測部１０８より、生成された動き補償予測画像が予測誤差算出部１００２に供給される。予測誤差算出部１００２には更に、入力端子１００より符号化対象となる予測ブロックの画像信号が供給される。
【００９１】
また、予測モード評価部１００６から、動き情報符号化部１１０に対して符号化する動き情報と確定した予測モード情報を供給し、動き情報メモリ１１１に動き情報を供給し、動き補償予測信号を減算部１０１及び加算部１０５に供給する。
【００９２】
片方向動き補償予測生成部１０００は、片方向予測に使用可能な各参照画像に対して算出された動きベクトル値を受信し、参照画像指定情報を予測ベクトル算出部１００３に供給し、参照画像指定情報と動きベクトルを動き補償予測部１０８に出力する。
【００９３】
双方向動き補償予測生成部１００１も同様に、双方向予測に使用可能な各参照画像に対して算出された動きベクトル値を受信し、それぞれの参照画像に対する参照画像指定情報を予測ベクトル算出部１００３に供給し、それぞれの参照画像に対する参照画像指定情報と動きベクトルを動き補償予測部１０８に出力する。
【００９４】
予測誤差算出部１００２は、入力された動き補償予測画像と処理対象の予測ブロック画像より、予測誤差評価値を算出する。誤差評価値を算出するための演算としては、動きベクトル検出における誤差評価値と同様に、画素毎の差分絶対値の総和ＳＡＤや、画素毎の二乗誤差値の総和ＳＳＥ等を使用できる。更に、予測残差の符号化を行う際に施される、直交変換・量子化を行うことによって復号画像に生じる歪成分の量を加味することで、より正確な誤差評価値が算出可能である。この場合には、予測誤差算出部１００２内に、図１における減算部１０１、直交変換・量子化部１０２、逆量子化・逆変換部１０４、加算部１０５の機能を有することで実現できる。予測誤差算出部１００２は、各予測モードにおいて算出された予測誤差評価値と、動き補償予測信号を予測モード評価部１００６に供給する。
【００９５】
予測ベクトル算出部１００３は、片方向動き補償予測生成部１０００及び双方向動き補償予測生成部１００１より参照画像指定情報を供給され、動き情報メモリ１１１から供給される隣接ブロックの動き情報における候補ブロック群より、指定された参照画像に対する動きベクトル値を特定する。そして、複数の予測ベクトルを予測ベクトル候補リストと共に生成し、差分ベクトル算出部１００４に、参照画像指定情報と共に供給する。
【００９６】
図１１は、予測ベクトル算出部１００３の構成を示す図である。予測ベクトル算出部１００３は、予測ベクトル候補リスト生成部１１００及び予測ベクトル候補リスト削除部１１０１を含み、候補ブロック群より所定の順番で予測ベクトルの候補を作成し、その中から同一の動きベクトル値を示す候補を削除することで、有効な予測ベクトルのみを予測ベクトル候補として登録する。予測ベクトル算出部１００３の詳細動作に関しては、後述する。
【００９７】
図１０に戻り、差分ベクトル算出部１００４は、予測ベクトル算出部１００３より供給された、予測ベクトル候補のそれぞれに対して、片方向動き補償予測生成部１０００及び双方向動き補償予測生成部１００１から供給される動きベクトル値との差分を計算し、差分ベクトル値を算出する。算出された差分ベクトル値と予測ベクトル候補に対する指定情報である予測ベクトルインデックスを符号化した際の符号量が最も少ない情報量で、動きベクトル値を表現出来る差分ベクトルとなる。従って、最も少ない情報量である予測ベクトルに対する予測ベクトルインデックスと差分ベクトル値を参照画像指定情報と共に、動き情報符号量算出部１００５に供給する。
【００９８】
動き情報符号量算出部１００５は、差分ベクトル算出部１００４より供給される、片方向予測モード及び双方向予測モードの差分ベクトル値、参照画像指定情報、予測ベクトルインデックス、予測モードより、各予測モードにおける動き情報に要する符号量を算出する。また、動き情報符号量算出部１００５は、結合動き補償予測生成部１００８より、結合予測モードにおいて伝送する必要がある、結合動き情報インデックスと予測モードを示すための情報を受け取り、結合予測モードにおける動き情報に要する符号量を算出する。
【００９９】
同様に、動き情報符号量算出部１００５は、結合動き修正動き補償予測生成部１００９より、結合動き修正予測モードにおいて伝送する必要がある差分ベクトル値と予測モードを示すための情報を受け取り、結合動き修正予測モードにおける動き情報に要する符号量を算出する。動き情報符号量算出部１００５は、各予測モードにおいて算出された動き情報及び動き情報に要する符号量を予測モード評価部１００６に供給する。
【０１００】
予測モード評価部１００６は、予測誤差算出部１００２より供給された各予測モードの予測誤差評価値と、動き情報符号量算出部１００５から供給された各予測モードの動き情報符号量を用いて、各予測モードの総合動き補償予測誤差評価値を算出し、最も少ない評価値である予測モードを選択し、選択した予測モードと選択した予測モードに対する動き情報を、動き情報符号化部１１０及び動き情報メモリ１１１に出力する。また、予測モード評価部１００６は同様に、予測誤差算出部１００２より供給された動き補償予測信号に対して、選択した予測モードにおける予測信号を選択して減算部１０１及び加算部１０５に出力する。
【０１０１】
結合動き情報算出部１００７は、動き情報メモリ１１１より供給される隣接ブロックの動き情報における候補ブロック群を用いて、片方向であるか双方向であるかを示す予測方向、参照画像指定情報、動きベクトル値で構成される動き情報として、複数の動き情報を結合動き情報候補リストと共に生成し、結合動き補償予測生成部１００８及び結合動き修正動き補償予測生成部１００９に供給する。
【０１０２】
図１２は、結合動き情報算出部１００７の構成を示す図である。結合動き情報算出部１００７は、結合動き情報候補リスト生成部１２００及び結合動き情報候補リスト削除部１２０１を含む。結合動き情報算出部１００７は、候補ブロック群より所定の順番で動き情報の候補を作成し、その中から、動き情報の各要素（予測方向、参照画像指定情報、及び動きベクトル値）が全て同一の値を示している候補を削除することで、有効な動き情報のみを結合動き情報候補として登録する。結合動き情報算出部１００７の詳細動作に関しては、後述する。
【０１０３】
図１０に戻り、結合動き補償予測生成部１００８は、結合動き情報算出部１００７より供給された結合動き情報候補リストより、登録された結合動き情報候補のそれぞれに対して、動き情報より、予測方向に応じて１つの参照画像（片方向）もしくは２つの参照画像（双方向）の参照画像指定情報と動きベクトル値を動き補償予測部１０８に指定して、動き補償予測画像を生成すると共に、それぞれの結合動き情報インデックスを動き情報符号量算出部１００５に供給する。結合動き補償予測生成部１００８の詳細動作に関しては、後述する。
【０１０４】
図１０の構成では、それぞれの結合動き情報インデックスにおける予測モード評価は、予測モード評価部１００６で施されるが、予測誤差評価値及び動き情報符号量を予測誤差算出部１００２及び動き情報符号量算出部１００５より受け取り、結合動き補償予測生成部１００８内で、最適な結合動き補償予測の結合動きインデックスを確定させた後に、他の予測モードを含めた最適予測モードの評価を行う構成を取ることも可能である。
【０１０５】
結合動き修正動き補償予測生成部１００９は、結合動き情報算出部１００７より供給された結合動き情報候補リスト、登録された結合動き情報候補に対して、双方向の動き情報を算出する。そして、その中で動きベクトル値を修正する参照画像を特定し、特定した参照画像の参照画像指定情報に対して、動きベクトル検出部１０７で検出された動きベクトル値を入力し、差分ベクトル値を計算する。そして、双方向の参照画像指定情報と修正した動きベクトル値を含む、動き補償予測に用いる動きベクトル値を動き補償予測部１０８に指定して、動き補償予測画像を生成すると共に、それぞれに差分ベクトル値を動き情報符号量算出部１００５に供給する。
【０１０６】
図１３は、結合動き修正動き補償予測生成部１００９の構成を示す図である。結合動き修正動き補償予測生成部１００９は、結合動き情報確定部１３００、基準参照画像・動き修正参照画像選択部１３０１、動き修正参照画像動きベクトル取得部１３０２、結合動き情報修正動き補償予測生成部１３０３、及び差分ベクトル算出部１３０４を含む。
【０１０７】
結合動き情報確定部１３００は、登録された結合動き情報候補に対して１つの結合動き情報を確定させる機能を有し、基準参照画像・動き修正参照画像選択部１３０１は確定した１つの結合動き情報に対して、双方向の動き情報を算出して動きベクトル値を修正する参照画像を特定する機能を有する。動き修正参照画像動きベクトル取得部１３０２は特定した参照画像の参照画像指定情報に対する動きベクトル値を入力する機能を有する。結合動き情報修正動き補償予測生成部１３０３は動き補償予測に用いる動きベクトル値と参照画像指定情報を動き補償予測部１０８に出力する機能をする。差分ベクトル算出部１３０４は基準参照画像・動き修正参照画像選択部１３０１で算出された動き情報の動きベクトル値と、動きベクトル検出部１０７から入力された動きベクトル値の差分ベクトル値を算出する機能を有する。結合動き修正動き補償予測生成部１００９の詳細動作は後述する。
【０１０８】
図１４は、図１０の予測モード判定部１０９を介して動作する、図５のステップＳ５０２である動き補償予測モード／予測信号生成の動作について説明するためのフローチャートである。最初に、結合動き情報候補リスト生成を行い（Ｓ１４００）、結合予測モード評価値を生成する（Ｓ１４０１）。
【０１０９】
続いて、ステップＳ１４００で生成された結合動き情報候補リストを用いて、結合動き修正予測モード評価値を生成し（Ｓ１４０２）、片方向予測モード評価値を生成し（Ｓ１４０３）、双方向予測モード評価値を生成し（Ｓ１４０４）、生成した評価値を比較することで最適な予測モードを選択する（Ｓ１４０５）。ただし、ステップＳ１４０１、ステップＳ１４０２、ステップＳ１４０３、及びステップＳ１４０４の評価値生成の順序はこの順序に限らない。
【０１１０】
選択された予測モードに従い予測信号を出力し（Ｓ１４０６）、選択された予測モードに従い動き情報を出力する（Ｓ１４０７）ことで、予測ブロック単位の動き補償予測モード／予測信号生成処理が終了する。ステップＳ１４００、ステップＳ１４０１、ステップＳ１４０２、ステップＳ１４０３、及びステップＳ１４０４の詳細動作に関しては後述する。
【０１１１】
図１５は、図１４のステップＳ１４００における結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。この動作は、図１０の結合動き情報算出部１００７における構成の詳細動作を示している。図１２の結合動き情報候補リスト生成部１２００は、動き情報メモリ１１１より供給される空間候補ブロック群から領域外である候補ブロックやイントラモードである候補ブロックを除いた候補ブロック群から、空間結合動き情報候補リストを生成する（Ｓ１５００）。空間結合動き情報候補リスト生成の詳細な動作は後述する。
【０１１２】
結合動き情報候補リスト生成部１２００は、続いて動き情報メモリ１１１より供給される時間候補ブロック群から領域外である候補ブロックやイントラモードである候補ブロックを除いた候補ブロック群から、時間結合動き情報候補リストを生成する（Ｓ１５０１）。時間結合動き情報候補リスト生成の詳細な動作は後述する。
【０１１３】
続いて、結合動き情報候補リスト削除部１２０１において、生成された空間結合動き情報候補リストと時間結合動き情報候補リストを統合した結合動き情報候補リストより、重複している動き情報を持つ結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残して削除して動き情報候補リストを更新する（Ｓ１５０２）。
【０１１４】
最後に、上記処理において隣接ブロックに有効な動き情報が存在せず、結合動き情報候補が存在しない場合（Ｓ１５０３：ＹＥＳ）、固定の動き情報を結合動き情報候補リストに追加して（Ｓ１５０４）、処理を終了する。実施の形態１における固定の動き情報としては、予測方向が双方向で、参照画像指定情報（インデックス）が０、２つの動きベクトル値が共に（０，０）の値を設定する。実施の形態１における固定の動き情報としては、上記設定には限定されず、暗黙的に指定できる手法で設定されることにより、動画像復号装置においても同じ動き情報が再現できる。なお、上記処理において隣接ブロックに有効な動き情報が存在し、結合動き情報候補が存在する場合（Ｓ１５０３：ＮＯ）、ステップＳ１５０４をスキップして、処理を終了する。
【０１１５】
動き情報メモリ１１１より、結合動き情報算出部１００７に供給される動き情報の候補ブロック群には、空間候補ブロック群と時間候補ブロック群が含まれる。まず、空間結合動き情報候補リスト生成について説明する。
【０１１６】
図１６は、空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。空間候補ブロック群は、符号化対象画像の予測対象ブロックに隣接している同一画像のブロックを示す。ブロック群は、その管理が最小予測ブロックサイズ単位で行われ、図１６に示すようなＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ、Ｄ、Ｅの位置のブロックが隣接するブロック群となる。候補ブロックの位置は、最小予測ブロックサイズの単位で管理されるが、隣接ブロックの予測ブロックサイズが最小予測ブロックサイズよりも大きな場合には、予測ブロックサイズ内の全ての候補ブロックに同一の動き情報が格納される。実施の形態１においては、これら隣接するブロック群の内、空間候補ブロック群をブロックＡ１、ブロックＢ１、ブロックＣ、ブロックＤの４ブロックとする。
【０１１７】
図１７は、空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。空間候補ブロック群に含まれる４つの候補ブロックであるブロックＡ１、ブロックＢ１、ブロックＣ、ブロックＤについて以下の処理を繰り返し行う（Ｓ１７００からＳ１７０３）。
【０１１８】
最初に候補ブロックの有効性を検査する（Ｓ１７０１）。候補ブロックが領域外でなくイントラモードでない場合（Ｓ１７０１：ＹＥＳ）、候補ブロックは有効となる。候補ブロックが有効であれば、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ１７０２）。
【０１１９】
ここでは、空間結合動き情報候補リストには４以下の候補ブロックの動き情報が含まれるとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであり、候補ブロックの有効性によって空間結合動き情報候補リストの数が変動すればよく、これに限定されない。なお、候補ブロックが領域外またはイントラモードの場合（Ｓ１７０１：ＮＯ）、ステップＳ１７０２をスキップし、次の候補ブロックの有効／無効判定が行われる。
【０１２０】
続いて、時間結合動き情報候補リスト生成について説明する。図１８は、時間結合動き情報候補リスト生成に用いる時間候補ブロック群を示す図である。時間候補ブロック群は、予測対象ブロックとは別の復号済みの画像ＣｏｌＰｉｃにおける予測対象ブロックと同位置及びその周辺にあるブロックを示す。図１８におけるＡ１〜Ａ４、Ｂ１〜Ｂ４、Ｃ、Ｄ、Ｅ、Ｆ１〜Ｆ４、Ｇ１〜Ｇ４、Ｈ、Ｉ１〜Ｉ１６の位置のブロックが、時間的に隣接するブロック群となる。実施の形態１においては、これら時間的に隣接するブロック群の内、時間候補ブロック群をブロックＨとブロックＩ６の２ブロックとする。
【０１２１】
図１９は、時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。時間候補ブロック群に含まれる２つの候補ブロックであるブロックＨとブロックＩ６について（ステップＳ１９００、ステップＳ１９０５）、候補ブロックの有効性を検査する（Ｓ１９０１）。候補ブロックが有効である場合（Ｓ１９０１：ＹＥＳ）、ステップＳ１９０２〜ステップＳ１９０４の処理が行われ、生成された動き情報が時間結合動き情報候補リストに登録され、処理が終了する。候補ブロックが画面領域外の位置を示す場合や、候補ブロックがイントラ予測ブロックである場合（Ｓ１９０１：ＮＯ）、候補ブロックが有効でなく、次の候補ブロックの有効／無効判定が行われる。
【０１２２】
候補ブロックが有効である場合（Ｓ１９０１：ＹＥＳ）、候補ブロックの動き情報をもとに結合動き情報候補に登録する参照画像選択候補を確定する（Ｓ１９０２）。実施の形態１ではＬ０方向の参照画像を、Ｌ０方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とし、Ｌ１方向の参照画像を、Ｌ１方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とする。
【０１２３】
ここでの参照画像選択候補の確定手法は、Ｌ０方向の参照画像とＬ１方向の参照画像が決定できればよく、これに限定されない。符号化処理と復号処理で同一の手法で参照画像を確定することで、符号化時に意図した参照画像を確定できる。他の確定手法としては、例えばＬ０方向の参照画像及びＬ１方向の参照画像の参照画像インデックスが０である参照画像を選択する手法や、空間隣接ブロックが使用しているＬ０参照画像及びＬ１参照画像で、最も多く使用されている参照画像を予測対象ブロックにおける参照画像として選択する手法や、符号化ストリーム中で各方向の参照画像を指定する手法を用いることが可能である。
【０１２４】
次に、候補ブロックの動き情報をもとに結合動き情報候補に登録する動きベクトル値を確定する（Ｓ１９０３）。実施の形態１における、時間結合動き情報は、候補ブロックの動き情報で有効な予測方向である動きベクトル値をもとに、双方向の動き情報を算出する。候補ブロックの予測方向がＬ０予測もしくはＬ１予測の片方向の場合には、予測に用いられている方向（Ｌ０方向或いはＬ１方向）の動き情報を選択し、その参照画像指定情報と動きベクトル値を双方向動き情報生成の基準値とする。
【０１２５】
候補ブロックの予測方向が双方向である場合には、Ｌ０予測或いはＬ１予測のどちらか一方の動き情報を基準値として選択する。基準値の選択方法は、例えばＣｏｌＰｉｃと同じ予測方向に存在する動き情報を選択する、候補ブロックのＬ０予測、Ｌ１予測のそれぞれの参照画像でＣｏｌＰｉｃとの画像間距離が近い方を選択する、或いは候補ブロックのＬ０予測、Ｌ１予測のそれぞれの動きベクトルが符号化処理対象画像と交差する方を選択する等が挙げられる。
【０１２６】
双方向動き情報生成の基準とする動きベクトル値が確定したら、結合動き情報候補に登録する動きベクトル値を算出する。
【０１２７】
図２０は、時間結合動き情報に対する基準動きベクトル値ＣｏｌＭｖに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。基準動きベクトル値ＣｏｌＭｖに対するＣｏｌＰｉｃと候補ブロックの基準とする動きベクトルの対象となる参照画像との画像間距離をＣｏｌＤｉｓｔとする。Ｌ０予測、Ｌ１予測の各参照画像と処理対象画像との画像間距離をＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｕｒＬ１Ｄｉｓｔとする。ＣｏｌＭｖを、ＣｏｌＤｉｓｔとＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｒｒＬ１Ｄｉｓｔの距離比率でスケーリングした動きベクトルを、それぞれに登録する動きベクトルとする。具体的には、登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔは、下記式１、２で算出される。
ｍｖＬ０ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ０Ｄｉｓｔ／ＣｏｌＤｉｓｔ・・・（式１）
ｍｖＬ１ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ１Ｄｉｓｔ／ＣｏｌＤｉｓｔ・・・（式２）
となる。
【０１２８】
図１９に戻り、このようにして生成された、双方向の参照画像選択情報（インデックス）と、動きベクトル値を結合動き情報候補に追加し（Ｓ１９０４）、時間結合動き情報候補リスト作成処理が終了する。
【０１２９】
図２１は、図１９のステップＳ１４０１における結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。この動作は、図１０の結合動き補償予測生成部１００８を用いた構成の詳細動作を示している。
【０１３０】
最初に予測誤差評価値を最大値に設定し、予測誤差が最小となる結合動き情報インデックスを初期化（例えば、−１などのリスト外の値）する（Ｓ２１００）。結合動き情報候補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理を繰り返し行う（Ｓ２１０１からＳ２１０９）。
【０１３１】
先ず、結合動き情報候補リストよりインデックスｉに格納された動き情報を取得する（Ｓ２１０２）。続いて動き情報符号量を算出する（Ｓ２１０３）。結合予測モードにおいては、結合動き情報インデックスのみが符号化されるので、結合動き情報インデックスのみが動き情報符号量となる。結合動き情報インデックスの符号列としては、実施の形態１では、ＴｒｕｎｃａｔｅｄＵｎａｒｙ符号列を用いる。
【０１３２】
続いて、動き情報の予測方向が片方向である場合（Ｓ２１０４：ＹＥＳ）、１つの参照画像に対する参照画像指定情報と動きベクトルを、図１における動き補償予測部１０８に設定して、片方向動き補償予測ブロックを生成する（Ｓ２１０５）。動き情報が片方向でない場合（Ｓ２１０４：ＮＯ）、２つの参照画像に対する参照画像指定情報と動きベクトルを動き補償予測部１０８に設定して、双方向動き補償予測ブロックを生成する（Ｓ２１０６）。
【０１３３】
続いて、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出し（Ｓ２１０７）、予測誤差評価値が最小値である場合には評価値を更新すると共に、予測誤差最小インデックスを更新する（Ｓ２１０８）。
【０１３４】
全ての結合動き情報候補についての予測誤差評価値が比較された結果、選択された予測誤差最小インデックスを、結合予測モードで用いる結合動き情報インデックスとして、予測誤差最小値、動き補償予測ブロックと共に出力し（Ｓ２１１０）、結合予測モード評価値生成処理を終了する。
【０１３５】
図２２は、図１４のステップＳ１４０２における結合動き修正予測モード評価値生成の詳細動作を説明するためのフローチャートである。この動作は、図１０の結合動き修正動き補償予測生成部１００９を用いた構成の詳細動作を示している。
【０１３６】
最初に結合動き情報リストより動き情報を利用するインデックスｉを決定する（Ｓ２２００）。実施の形態１においては、結合動き情報候補リスト生成処理により生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとした場合に、リストの先頭であるｉ＝０の結合動き情報候補を確定した動き情報として用いる。
【０１３７】
次に、結合動き情報候補リストより確定したインデックスｉに格納された動き情報を取得する（Ｓ２２０１）。続いて、取得した動き情報より双方向予測の動きベクトル値と参照画像指定情報、及び差分ベクトルを伝送する参照画像となる動き修正参照画像を確定する（Ｓ２２０２）。ステップＳ２２０２の詳細動作に関しては、後述する。
【０１３８】
次に、ステップＳ２２０２により確定された動き補正参照画像に対して、図１の動きベクトル検出部１０７より動き補正参照画像に対する検出した動きベクトル値を入力する（Ｓ２２０３）。入力された動きベクトル値を動き補償予測に用いるため、結合動き情報候補より算出された動き情報における、動き補正参照画像の動きベクトル値との差分ベクトルが生成される（Ｓ２２０４）。
【０１３９】
続いて、動き情報符号量を算出する（Ｓ２２０５）。結合動き修正予測モードにおいては、差分ベクトル値のみが符号化されることで、必要な動き情報が伝送される。そのため差分ベクトル値の符号量が加算され、結合動き修正予測モードにおける動き情報符号量となる。
【０１４０】
結合修正動き予測モードの場合に、結合動き情報より生成された双方向予測の動きベクトルと参照画像選択情報に対して、動き修正参照画像に対する修正した動きベクトルのみを入れ替えた動き情報を、図１における動き補償予測部１０８に設定して、双方向動き補償予測ブロックを生成する（Ｓ２２０６）。
【０１４１】
続いて、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出する（Ｓ２２０７）。
【０１４２】
選択された結合動き情報インデックスｉにおいて生成された予測誤差評価値を、動き補償予測ブロックと共に出力し（Ｓ２２０８）、結合動き修正予測モード評価値生成処理を終了する。
【０１４３】
次に、ステップＳ２２０２の詳細動作を説明する前に、結合動き修正予測モードにおける結合動き情報に対するスケーリング処理の説明を行う。図２３（ａ）〜（ｃ）は、結合動き修正予測モードにおける結合動き情報に対するスケーリング処理の概念を示す図である。結合動き情報としては、図２３（ａ）に示す空間隣接ブロックから算出された予測方向が双方向である空間ＢｉＰｒｅｄと、図２３（ｂ）に示す空間隣接ブロックから算出された予測方向が片方向である空間ＵｎｉＰｒｅｄと、図２３（ｃ）に示す時間隣接ブロックから算出された時間ＢｉＰｒｅｄが存在する。
【０１４４】
実施の形態１における、結合動き情報に対するスケーリング処理は、双方向の動き情報が取得できる空間ＢｉＰｒｅｄ及び時間ＢｉＰｒｅｄにおいては、結合動き情報算出時に施された動きベクトルをそのまま用い、時間ＵｎｉＰｒｅｄに関しては、片方向で定義されている動きベクトル値を、符号化対象画像とＬ０画像、Ｌ１画像との距離比率でスケーリングすることで、使用されていなかった方向の動き情報を生成する。
【０１４５】
図２４は、各結合動き情報に対して存在するスケーリングされて生成した動きベクトル数を示す図である。空間ＵｎｉＰｒｅｄが上記スケーリング処理における１個、空間ＢｉＰｒｅｄは結合動き情報算出時にスケーリング処理が施されていないため０個、時間ＢｉＰｒｅｄは結合動き情報算出時の２つの動きベクトル値の算出時にスケーリング処理が施されているため２個となる。
【０１４６】
上記スケーリング処理が施された動きベクトル値は、隣接ブロックで使用された動きベクトル値をそのまま動きベクトル値として採用した結合動き情報と比較すると、スケーリングによる演算誤差の影響や、動き量の時間変化が一定でない場合の影響があり、その動き情報の精度にずれが生じている可能性が高い。また、隣接ブロックに使用された動きベクトル値は、符号化対象から時間的に離れた参照画像になるほど画面の変化が大きくなるため、その値の精度が低下する。
【０１４７】
実施の形態１においては、これらの結合動き情報に登録された動きベクトルの算出時の特性を利用して、差分ベクトルを送って動きベクトルを修正する必要のある動きベクトルを、付加情報を伝送することなく特定し、差分ベクトルのみを追加で符号化する。これにより、動き補償予測の予測精度が高い動き情報を、少ない動き情報の伝送で実現することができる。
【０１４８】
実施の形態１においては、スケーリングされて算出された動きベクトル値を持つ参照画像を優先的に、差分ベクトルを伝送する動き修正参照画像に設定する。２つの動きベクトルが共にスケーリングされている場合や、共にスケーリングされていない場合には、予測対象画像からの時間的距離が離れた参照画像を、差分ベクトルを伝送する動き修正参照画像に設定する。
【０１４９】
図２５（ａ）〜（ｃ）は、実施の形態１における差分動きベクトル伝送参照画像確定アルゴリズムを示す概念図である。図２５（ａ）に示す空間ＢｉＰｒｅｄでは、スケーリングされた動きベクトルが０個のため、時間的距離の遠い参照画像の動きベクトルに差分ベクトルを追加する。図２５（ｂ）に示す空間ＵｎｉＰｒｅｄでは、スケーリングされた動きベクトルが１個のため、スケーリングされた動きベクトルに差分ベクトルを追加する。図２５（ｃ）に示す時間ＢｉＰｒｅｄでは、スケーリングされた動きベクトルが２個のため、時間的距離の遠い参照画像の動きベクトルに差分ベクトルを追加する。
【０１５０】
図２６は、図２２のステップＳ２２０２の詳細動作を説明するためのフローチャートである。図２２のステップＳ２２０２では、上記差分ベクトルを伝送する参照画像の確定処理が行われる。
【０１５１】
最初に、取得した結合動き情報の予測方向が片方向である場合には（Ｓ２６００：ＹＥＳ）、空間ＵｎｉＰｒｅｄで導出された結合動き情報であり、双方向の動き補償予測を行うための第２参照画像と第２参照画像の動きベクトル値を確定する処理を行う（Ｓ２６０１）。ステップＳ２６０１の詳細動作に関しては、後述する。
【０１５２】
続いて、双方向の参照画像の動きベクトル値のうちスケーリングされた動きベクトルが片方向の１つの動きベクトルのみである場合（Ｓ２６０２：ＹＥＳ）、スケーリングされた動きベクトル値を持つ参照画像を動き修正参照画像に設定する（Ｓ２６０３）。
【０１５３】
スケーリングされた動きベクトルが片方向の１つの動きベクトルでない場合（Ｓ２６０２：ＮＯ）、符号化対象画像、Ｌ０参照画像、Ｌ１参照画像の時間情報を示すＰＯＣ値を取得し、それぞれＰＯＣｃｕｒ、ＰＯＣ＿Ｌ０、ＰＯＣ＿Ｌ１に設定する（Ｓ２６０４）。
【０１５４】
符号化対象画像と２つの参照画像の間での時間的距離を下記式３で比較する。
ａｂｓ（ＰＯＣｃｕｒ−ＰＯＣ＿Ｌ０）＞ａｂｓ（ＰＯＣｃｕｒ−ＰＯＣ＿Ｌ１）
・・・（式３）
【０１５５】
上記式３を満たす場合（Ｓ２６０５：ＹＥＳ）、Ｌ０参照画像が遠い参照画像と判断し、Ｌ０参照画像を動き修正参照画像に設定する（Ｓ２６０６）。上記式３を満たさない場合（Ｓ２６０５：ＮＯ）、Ｌ１参照画像を動き修正参照画像に設定する（Ｓ２６０７）。以上で、双方向の動きベクトル値と差分ベクトルを伝送する参照画像を確定する処理が終了する。
【０１５６】
図２７は、図２６のステップＳ２６０１の詳細動作を説明するためのフローチャートである。最初に、結合動き情報に格納されている動き情報がＬ０予測であった場合（Ｓ２７００：ＹＥＳ）、第２参照画像としてＬ１予測の参照画像インデックスを確定する（Ｓ２７０１）。Ｌ０予測でない場合（Ｓ２７００：ＮＯ）、第２参照画像としてＬ０予測の参照画像インデックスを確定する（Ｓ２７０２）。ステップＳ２７０２における参照画像インデックスの確定処理に関しては、後述する。
【０１５７】
続いて、符号化対象画像、結合動き情報に格納されている参照画像、第２参照画像のＰＯＣ値を取得し、ＰＯＣｃｕｒ、ＰＯＣ＿Ｌｘ、ＰＯＣ＿Ｌｙに設定する（Ｓ２７０３）。上記ＰＯＣ値を用いて、結合動き情報に格納されている動きベクトル値を２つの参照画像と符号化対象画像との距離比率でスケーリングする（Ｓ２７０４）。
【０１５８】
結合動き情報に格納されている動き情報がＬ０予測であった場合（Ｓ２７０５：ＹＥＳ）、スケーリングして生成された動きベクトル値をＬ１予測の参照画像に対する基準動きベクトル値として設定する（Ｓ２７０６）。Ｌ０予測でない場合（Ｓ２７０５：ＮＯ）、スケーリングして生成された動きベクトル値をＬ０予測の参照画像に対する基準動きベクトル値として設定し（Ｓ２７０７）、処理を終了する。
【０１５９】
図２８は、図２７のステップＳ２７０２の詳細動作を説明するためのフローチャートである。図２７のステップＳ２７０２では、参照画像インデックスを確定する処理が行われる。
【０１６０】
最初に、結合動き情報に格納されている参照画像を基準参照画像として取得するとともに、第２参照画像を設定する予測方向における参照画像リストを第２参照画像候補リストとして取得する（Ｓ２８００）。
【０１６１】
次に、符号化対象画像を挟んで基準参照画像と反対方向の時間位置に存在する参照画像が第２参照画像候補リスト内に存在するかを調べる（Ｓ２８０１）。存在する場合（Ｓ２８０１：ＹＥＳ）、その中で最も符号化対象画像に近い時間位置に存在する参照画像を第２参照画像に対する参照画像インデックスとして確定する（Ｓ２８０２）。存在しない場合（Ｓ２８０１：ＮＯ）、符号化対象に最も近い時間位置に存在する参照画像を第２参照画像候補と設定し（Ｓ２８０３）、基準参照画像と第２参照画像候補が同一画像であるかを調べる（Ｓ２８０４）。
【０１６２】
基準参照画像と第２参照画像候補が同一画像でない場合（Ｓ２８０４：ＮＯ）、第２参照画像候補を第２参照画像に対する参照画像インデックスとして確定する（Ｓ２８０５）。基準参照画像と第２参照画像候補が同一画像である場合（Ｓ２８０４：ＹＥＳ）、他の参照画像が第２参照画像候補リストに存在するかを調べる（Ｓ２８０６）。存在する場合（Ｓ２８０６：ＹＥＳ）、時間位置で次に符号化対象画像に近い参照画像を取得し、第２参照画像に対する参照画像インデックスとして確定する（Ｓ２８０７）。他の参照画像が存在しない場合（Ｓ２８０６：ＮＯ）、ステップＳ２８０５に進み、第２参照画像候補を第２参照画像に対する参照画像インデックスとして確定する。以上で全ての場合における第２参照画像に対する参照画像インデックスが確定し、処理を終了する。
【０１６３】
実施の形態１における第２参照画像の確定アルゴリズムは、動き補償予測処理が双方向予測において符号化対象画像を挟んで反対方向に存在する参照画像で構成される補間型（内挿型）の双方向予測の方が、符号化対象画像を挟まずに同一方向に存在する参照画像で構成する補間（外挿型）の双方向予測よりも、動きや物体の時間変化の影響を平均化できるために予測精度が良い点、符号化対象画像から近い参照画像の方が動きや物体の時間変化の影響が少なく動き補償予測の精度が良い点、同じ参照画像を重ね合わせて生成する予測画像よりも、２つの異なる参照画像より生成される双方向予測画像の方が動きを正しく捉えた場合の予測画像の予測精度が高い点の３つの知見に基づく確定アルゴリズムである。この手法により、双方向予測に適した参照画像を第２参照画像として設定できる利点がある。
【０１６４】
しかしながら、上述した参照画像インデックスの確定処理に関しては、第２参照画像の参照画像インデックスが確定できればよく、異なる確定アルゴリズムを用いることも可能である。符号化処理と復号処理で同一の手法で参照画像を確定することで、符号化時に意図した参照画像を確定できる。他の確定方法として、他ブロックの動き情報における動きベクトルが正確な動きを示していない場合に、同じ参照画像を重ね合わせて生成する予測画像を用いることで、参照画像に微小な変化を加えた動き補償予測信号を新たな候補として加えることが出来る効果を重視して、図２８のフローチャートにおける、基準参照画像と第２参照画像候補が同一画像であるかを調べる処理であるステップＳ２８０４を無くして、同一画像であっても第２参照画像候補として確定する方法を用いることができる。
【０１６５】
更に他の確定方法として、第２参照画像として確定する予測方向の参照画像の中で、単純に符号化対象画像に最も近い距離にある参照画像を選択する方法や、常に参照画像インデックスが０で示される参照画像を取得する方法や、空間隣接ブロックが使用しているＬ０参照画像及びＬ１参照画像で、最も多く使用されている参照画像を予測対象ブロックにおける参照画像として選択する方法などの、時間ＢｉＰｒｅｄにおける参照画像確定処理に用いた確定手段を用いることも可能である。また、図２８に示したアルゴリズムを用いて、時間ＢｉＰｒｅｄにおける参照画像確定処理に応用することも可能である。
【０１６６】
図２９は、図１４のステップＳ１４０３の詳細動作を説明するためのフローチャートである。図１４のステップＳ１４０３では、片方向予測モード評価値生成処理が行われる。
【０１６７】
最初に、片方向予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する（Ｓ２９００）。続いて、予測ベクトル候補リストを生成し（Ｓ２９０１）、予測ベクトルの中から最適予測ベクトルを選択し、差分ベクトルを生成する（Ｓ２９０２）。最適予測ベクトルの選択手法は、予測ベクトルと伝送する動きベクトルの差分ベクトルを実際に符号化する際の符号量が最も少ないものを選択することが望ましいが、単純に差分ベクトルの水平・垂直成分の絶対値の総和が小さいものを選択するなどの手法で、簡易的に算出してもよい。ステップＳ２９０１の詳細動作については、後述する。
【０１６８】
続いて、動き情報符号量を算出する（Ｓ２９０３）。片方向予測モードの場合に、符号化する動き情報としては、１つの参照画像に対する、参照画像指定情報、差分ベクトル値、及び予測ベクトルインデックスの３要素となり、各々符号化された符号量の総量が動き情報符号量として算出される。実施の形態１における予測ベクトルインデックスの符号列生成手法としては、結合動き情報インデックスの符号列と同様にＴｒｕｎｃａｔｅｄＵｎａｒｙ符号列を用いるものとする。
【０１６９】
続いて、１つの参照画像に対する参照画像指定情報と動きベクトルを図１における動き補償予測部１０８に設定して、片方向動き補償予測ブロックを生成する（Ｓ２９０４）。さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出し（Ｓ２９０５）、予測誤差評価値と、１つの参照画像に対する動き情報である、参照画像指定情報と差分ベクトル値と予測ベクトルインデックスを動き補償予測ブロックと共に出力し（Ｓ２９０６）、片方向予測モード評価値生成処理を終了する。
【０１７０】
図３０は、図２９のステップＳ２９０１の詳細動作を説明するためのフローチャートである。図２９のステップＳ２９０１では、予測ベクトル候補リスト生成が行われる。この動作は、図１０の予測ベクトル算出部１００３における構成の詳細動作を示している。
【０１７１】
図１１の予測ベクトル候補リスト生成部１１００は、動き情報メモリ１１１より供給される空間候補ブロック群から領域外である候補ブロックや、イントラモードである候補ブロックを除いた候補ブロック群から空間動き情報利用予測ベクトル候補リストを生成する（Ｓ３０００）。空間動き情報利用予測ベクトル候補リスト生成の詳細な動作は後述する。
【０１７２】
予測ベクトル候補リスト生成部１１００は、続いて動き情報メモリ１１１より供給される時間候補ブロック群から領域外である候補ブロックやイントラモードである候補ブロックを除いた候補ブロック群から時間動き情報利用予測ベクトル候補リストを生成する（Ｓ３００１）。時間動き情報利用予測ベクトル候補リスト生成の詳細な動作は後述する。
【０１７３】
続いて、予測ベクトル候補リスト削除部１１０１は、生成された空間動き情報利用予測ベクトル候補リストと時間動き情報利用予測ベクトル候補リストを統合した予測ベクトル候補リストより、重複している動きベクトルを持つ予測ベクトル候補が複数存在する場合には１つの予測ベクトル候補を残して削除して予測ベクトル候補リストを更新する（Ｓ３００２）。
【０１７４】
最後に、上記処理において隣接ブロックに有効な動き情報が存在せず、予測ベクトル候補が存在しない場合（Ｓ３００３：ＹＥＳ）、固定ベクトル値（０，０）を予測ベクトル候補リストに追加して（Ｓ３００４）、処理を終了する。
【０１７５】
図３１は、空間動き情報利用予測ベクトル候補リスト生成の詳細動作を説明するためのフローチャートである。動き情報メモリ１１１より、予測ベクトル算出部１００３に供給される動き情報の候補ブロック群には、空間候補ブロック群と時間候補ブロック群が含まれる。空間候補ブロック群と時間候補ブロック群の概念は、図１６や図１８に示した、結合動き情報に対する動き情報の候補ブロックと同様である。
【０１７６】
実施の形態１においては、空間候補ブロック群としては図１６におけるブロックＡ１、ブロックＢ１、ブロックＣ、ブロックＤの４ブロックとする。実施の形態１において、候補ブロックの数や位置に関しては限定されず、また結合動き情報において用いる候補ブロックの数や位置と、予測ベクトルにおいて用いる候補ブロックの数や位置は、一致しても一致しなくてもかまわない。
【０１７７】
最初に、空間候補ブロック群に含まれる４つの候補ブロックであるブロックＡ１、ブロックＢ１、ブロックＣ、ブロックＤについて以下の処理を繰り返し行う（Ｓ３１００からＳ３１０３）。
【０１７８】
最初に候補ブロックにおいて指定した参照画像における動きベクトル値の有効性を検査する（Ｓ３１０１）。候補ブロックが領域外でなくイントラモードでない場合だけでなく、片方向予測で指定した参照画像が使用されない場合や、参照インデックスが異なる場合に、動きベクトル値は無効となる。ただし、実施の形態１においては、片方向予測で指定した参照画像が使用されない場合や、参照インデックスが異なる場合に、他の参照画像の動きベクトル値をスケーリングして動きベクトルを求めるなどの追加の処理を行い、有効な動きベクトルとして扱うことも可能であり、上記動きベクトル値の有効／無効判断手法は、実施の形態１の手法に限定されない。
【０１７９】
続いて、動きベクトル値が有効であれば（Ｓ３１０１：ＹＥＳ）、候補ブロックの動きベクトル値を予測ベクトル候補リストに追加する（Ｓ３１０２）。動きベクトル値が無効であれば（Ｓ３１０１：ＮＯ）、ステップＳ３１０２をスキップし、次の候補ブロックの動きベクトル値の有効／無効判断を行う。
【０１８０】
図３２は、時間動き情報利用予測ベクトル候補リスト生成の詳細動作を説明するためのフローチャートである。実施の形態１においては、図１８における時間的に隣接するブロック群の内、時間候補ブロック群をブロックＨとブロックＩ６の２ブロックとする。時間動き情報利用予測ベクトル候補リスト生成においても、候補ブロックの数や位置に関しては限定されず、また結合動き情報において用いる候補ブロックの数や位置と別に設定することが可能である。
【０１８１】
時間候補ブロック群に含まれる２つの候補ブロックであるブロックＨとブロックＩ６について（ステップ３２００、ステップＳ３２０４）、候補ブロックの有効性を検査する（Ｓ３２０１）。候補ブロックが有効である場合（Ｓ３２０１：ＹＥＳ）、ステップＳ３２０２〜ステップＳ３２０３の処理が行われ、生成された動きベクトル値が予測ベクトル候補リストに登録され、処理が終了する。候補ブロックが画面領域外の位置を示す場合や、候補ブロックがイントラ予測ブロックである場合には、候補ブロックが有効でなく（Ｓ３２０１：ＮＯ）、次の候補ブロックの有効／無効判定が行われる。
【０１８２】
候補ブロックが有効である場合（Ｓ３２０１：ＹＥＳ）、候補ブロックの動き情報をもとに予測ベクトル候補に登録する動きベクトル値を確定する（Ｓ３２０２）。確定した動きベクトル値を予測ベクトル候補リストに追加して（Ｓ３２０３）、時間動き情報利用予測ベクトル候補リスト生成が終了する。
【０１８３】
図３３は、図１４のステップＳ１４０４の詳細動作を説明するためのフローチャートである。図１４のステップＳ１４０４では、双方向予測モード評価値生成処理が行われる。
【０１８４】
最初に、Ｌ０予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する（Ｓ３３００）。続いて、Ｌ０予測ベクトル候補リストを生成し（Ｓ３３０１）、予測ベクトルの中からＬ０予測における最適予測ベクトルを選択し、差分ベクトルを生成する（Ｓ３３０２）。これらの処理は、図２９のフローチャート内の片方向予測モード評価値生成処理における、ステップ２９００〜ステップＳ２９０２までの処理と同じ処理である。
【０１８５】
続いて、Ｌ１予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する（Ｓ３３０３）。続いて、Ｌ１予測ベクトル候補リストを生成し（Ｓ３３０４）、予測ベクトルの中からＬ１予測における最適予測ベクトルを選択し、差分ベクトルを生成する（Ｓ３３０５）。これらの処理も同様に、図２９のフローチャート内の片方向予測モード評価値生成処理における、ステップ２９００〜ステップＳ２９０２までの処理と同じ処理である。
【０１８６】
続いて、動き情報符号量を算出する（Ｓ３３０６）。双方向予測モードの場合には、符号化する動き情報としては、Ｌ０とＬ１の２つの参照画像に対する、参照画像指定情報、差分ベクトル値、及び予測ベクトルインデックスの計６要素となり、各々符号化された符号量の総量が動き情報符号量として算出される。そのため、結合予測モードや結合動き修正予測モードと比較して、符号化される動き情報の符号量は大きくなる。
【０１８７】
続いて、２つの参照画像に対する参照画像指定情報と動きベクトルを図１における動き補償予測部１０８に設定して、双方向動き補償予測ブロックを生成する（Ｓ３３０７）。さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出し（Ｓ３３０８）、予測誤差評価値と、Ｌ０、Ｌ１の２つの参照画像に対する動き情報である、２つの参照画像指定情報と２つの差分ベクトル値と２つの予測ベクトルインデックスを動き補償予測ブロックと共に出力し（Ｓ３３０９）、双方向予測モード評価値生成処理を終了する。
【０１８８】
以上の処理が、実施の形態１における動画像符号化装置における予測モード判定部１０９の詳細動作となる。
【０１８９】
［実施の形態１における動画像符号化装置における動き情報符号化部の詳細動作説明］
図３４は、図５のステップＳ５０４の詳細動作を説明するためのフローチャートである。図５のステップＳ５０４の処理は、実施の形態１の動画像符号化装置の動き情報符号化部１１０における、各動き補償予測モードに対する動き情報を符号化する処理を示す。
【０１９０】
動き情報符号化部１１０には、予測モード判定部１０９において決定された動き補償予測モードにおける、予測モードを示す情報と、各予測モードの動き情報を表現するために必要な情報が供給され、動き情報符号化部１１０は動き情報符号化データ生成処理を開始する。
【０１９１】
最初に、予測モードが結合予測モードである場合（Ｓ３４００：ＹＥＳ）、ステップＳ３４０１に進み、対象となる予測ブロックで予測誤差信号を符号化しない（Ｓｋｉｐモード）状態である場合（Ｓ３４０１：ＹＥＳ）、Ｓｋｉｐフラグを符号化し（Ｓ３４０２）、そうでない場合（Ｓ３４０１：ＮＯ）、マージフラグを１として符号化する（Ｓ３４０３）。
【０１９２】
Ｓｋｉｐフラグ或いはマージフラグを符号化した後、結合動き情報候補リストが１より大きい場合（Ｓ３４０４：ＹＥＳ）、結合動き情報インデックスを符号化し（Ｓ３４０５）、処理を終了する。結合動き情報候補リストが１の場合（Ｓ３４０４：ＮＯ）、結合動き情報が特定できるため、結合動き情報インデックスは伝送されない。
【０１９３】
次に、予測モードが結合予測モードでない場合（Ｓ３４００：ＮＯ）、マージフラグを０として符号化する（Ｓ３４０６）。続いて、予測モードが結合動き修正予測モードである場合（Ｓ３４０７：ＹＥＳ）、結合動き修正予測モードの動き情報伝送が行われる。結合動き修正予測モードを特定するためのマージＭｖｄフラグを１で符号化する（Ｓ３４０８）。
【０１９４】
続いて、結合動き修正予測モードで暗黙で特定された動き修正参照画像の動きベクトル値に対して、結合動き情報の動き修正参照画像の修正前動きベクトルとの差分ベクトル値を符号化し（Ｓ３４０９）、処理を終了する。結合動き修正予測モードにおいては、結合動き情報インデックスは伝送されない。
【０１９５】
一方、予測モードが結合動き修正予測モードでない場合（Ｓ３４０７：ＮＯ）、最初に結合動き修正予測モードでないことを示すためにマージＭｖｄフラグを０で符号化する（Ｓ３４１０）。続いて、動き予測フラグを符号化する（Ｓ３４１１）。動き予測フラグは、予測方向が片方向予測であるか双方向予測であるかを指示する情報として符号化される。
【０１９６】
図３５は、実施の形態１における動き予測フラグの一例を示す図である。動き予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）として、片方向を示す値（Ｐｒｅｄ＿ＬＣ）が０、双方向を示す値（Ｐｒｅｄ＿ＢＩ）が１で符号化される。
【０１９７】
図３４に戻り、動き予測フラグで示された予測方向が片方向予測である場合（Ｓ３４１２：ＹＥＳ）、片方向予測モードの動き情報伝送が行われる。最初に、参照画像指定情報（インデックス）を符号化し（Ｓ３４１３）、続いて、差分ベクトルを符号化する（Ｓ３４１４）。予測ベクトル候補リストが１より大きい場合（Ｓ３４１５：ＹＥＳ）、予測ベクトルインデックスを符号化し（Ｓ３４１６）、処理を終了する。予測ベクトル候補リストが１の場合（Ｓ３４１５：ＮＯ）、予測ベクトルが特定できるため、インデックスは伝送されない。
【０１９８】
動き予測フラグで示された予測方向が片方向予測でない場合（Ｓ３４１２：ＮＯ）において、予測モードは双方向予測モードとなり、双方向予測モードの動き情報伝送が行われる。続いて、Ｌ０予測の動き情報であるＬ０参照画像指定情報を符号化し（Ｓ３４１７）、Ｌ０差分ベクトル値を符号化する（Ｓ３４１８）。Ｌ０予測の予測ベクトル候補リストが１より大きい場合（Ｓ３４１９：ＹＥＳ）、Ｌ０予測ベクトルインデックスを符号化する（Ｓ３４２０）。Ｌ０予測の予測ベクトル候補リストが１の場合（Ｓ３４１９：ＮＯ）、Ｌ０予測ベクトルインデックスは伝送されない。
【０１９９】
続いて、Ｌ１予測の動き情報であるＬ１参照画像指定情報を符号化し（Ｓ３４２１）、Ｌ１差分ベクトル値を符号化する（Ｓ３４２２）。Ｌ１予測の予測ベクトル候補リストが１より大きい場合（Ｓ３４２３：ＹＥＳ）、Ｌ１予測ベクトルインデックスを符号化する（Ｓ３４２４）。Ｌ１予測の予測ベクトル候補リストが１の場合（Ｓ３４２３：ＮＯ）、Ｌ１予測ベクトルインデックスは伝送されない。以上の処理により、動き情報符号化データの生成が終了する。
【０２００】
図３６は、図３４のフローチャートで示した、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスの一例を示す。図３６の符号化シンタックスにおいては、Ｓｋｉｐフラグの伝送は予測ブロック単位での動き情報の符号化より上の階層での符号化ブロック単位で選択される。従って、上位の符号化ブロックの単位で、図３４の予測誤差信号を符号化しない（Ｓｋｉｐモード）状態であるか否かの判定（Ｓ３４０１）が行われる。
【０２０１】
［実施の形態１における動画像復号装置における動き情報復号部の詳細動作説明］
図３７は、図６に示した実施の形態１の動画像復号装置における動き情報復号部６０６の詳細な構成を示す図である。動き情報復号部６０６は、動き情報ビットストリーム復号部３７００、予測ベクトル算出部３７０１、ベクトル加算部３７０２、片方向動き補償予測復号部３７０３、双方向動き補償予測復号部３７０４、結合動き情報算出部３７０５、結合動き補償予測復号部３７０６、及び結合動き修正動き補償予測復号部３７０７を含む。
【０２０２】
図６における動き情報復号部６０６に対して、多重分離部６０１より入力された動き情報ビットストリームが、動き情報ビットストリーム復号部３７００に供給され、動き情報メモリ６０７より入力された動き情報が、予測ベクトル算出部３７０１、及び結合動き情報算出部３７０５に供給される。
【０２０３】
また、動き補償予測部６０８に対して、片方向動き補償予測復号部３７０３、双方向動き補償予測復号部３７０４、結合動き補償予測復号部３７０６、及び結合動き修正動き補償予測復号部３７０７から、動き補償予測に用いる参照画像指定情報と動きベクトルが出力され、予測方向を示す情報を含めた復号された動き情報が、動き情報メモリ６０７に格納される。
【０２０４】
動き情報ビットストリーム復号部３７００は、多重分離部６０１より入力された動き情報ビットストリームを符号化シンタックスに従って復号していくことで、伝送された予測モードと、予測モードに応じた動き情報を生成する。生成した動き情報の中で、結合動き情報インデックスは、予測モードに応じて結合動き補償予測復号部３７０６に供給され、参照画像指定情報が予測ベクトル算出部３７０１に供給され、予測ベクトルインデックスがベクトル加算部３７０２に供給され、差分ベクトル値が予測モードに応じてベクトル加算部３７０２、もしくは結合動き修正動き補償予測復号部３７０７に供給される。
【０２０５】
予測ベクトル算出部３７０１は、動き情報メモリ６０７より供給された隣接ブロックの動き情報と、動き情報ビットストリーム復号部３７００より供給された参照画像指定情報から、動き補償予測の対象となる参照画像に対する予測ベクトル候補リストを生成し、参照画像指定情報と共にベクトル加算部３７０２に供給する。予測ベクトル算出部３７０１の動作に関しては、図１０の動画像符号化装置における予測ベクトル算出部１００３と同一の動作が行われ、符号化時の予測ベクトル候補リストと同一の候補リストが生成される。
【０２０６】
ベクトル加算部３７０２は、予測ベクトル算出部３７０１より供給された予測ベクトル候補リスト及び参照画像指定情報と、動き情報ビットストリーム復号部３７００から供給された予測ベクトルインデックス及び差分ベクトルより、予測ベクトルインデックスで示された位置に登録された予測ベクトル値と差分ベクトル値を加算することで、動き補償予測対象となる参照画像に対しての動きベクトル値が再生される。再生された動きベクトル値は、参照画像指定情報と共に、予測モードに応じて片方向動き補償予測復号部３７０３、もしくは双方向動き補償予測復号部３７０４に供給される。
【０２０７】
片方向動き補償予測復号部３７０３は、ベクトル加算部３７０２より１つの参照画像に対する、再生された動きベクトル値と参照画像指定情報が供給され、動きベクトル値と参照画像指定情報を動き補償予測部６０８に設定することで、動き補償予測信号を生成する。
【０２０８】
双方向動き補償予測復号部３７０４は、ベクトル加算部３７０２より双方向の２つの参照画像に対する、再生された動きベクトル値と参照画像指定情報が供給され、動きベクトル値と参照画像指定情報を動き補償予測部６０８に設定することで、動き補償予測信号を生成する。
【０２０９】
結合動き情報算出部３７０５は、動き情報メモリ６０７から供給される隣接ブロックの動き情報より、結合動き情報候補リストを生成し、結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値を、予測モードに応じて結合動き補償予測復号部３７０６、もしくは結合動き修正動き補償予測復号部３７０７に供給する。
【０２１０】
結合動き情報算出部３７０５の動作に関しては、図１０の動画像符号化装置における結合動き情報算出部１００７と同一の動作が行われ、符号化時の結合動き情報候補リストと同一の候補リストが生成される。
【０２１１】
結合動き補償予測復号部３７０６は、結合動き情報算出部３７０５より供給される結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値と、動き情報ビットストリーム復号部３７００より供給される結合動き情報インデックスより、結合動き情報インデックスで示された結合動き情報候補リストにおける参照画像指定情報と動きベクトル値を再生し、動き補償予測部６０８に設定することで、動き補償予測信号を生成する。
【０２１２】
結合動き修正動き補償予測復号部３７０７は、結合動き情報算出部３７０５より供給される結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値より、結合動き修正予測モードに対する動き情報を算出し、動き修正参照画像を確定する。そして、動き修正参照画像の動きベクトル値に対して動き情報ビットストリーム復号部３７００より供給される差分ベクトル値を加算することで、双方向予測の参照画像指定情報と動きベクトル値を再生し、動き補償予測部６０８に設定することで、動き補償予測信号を生成する。
【０２１３】
図３８は、図７のステップＳ７０１の詳細動作を説明するためのフローチャートである。動き情報ビットストリーム復号部３７００、予測ベクトル算出部３７０１、結合動き情報算出部３７０５、及び結合動き修正動き補償予測復号部３７０７により、図７のステップＳ７０１における動き情報復号処理が行われる。
【０２１４】
動き情報復号処理は、図３６のシンタックス構造で符号化された符号化ビットストリームより動き情報を復号する処理である。最初に符号化ブロックの所定単位でＳｋｉｐフラグを復号する（Ｓ３８００）。以降は予測ブロック単位の処理となる。ＳｋｉｐフラグがＳｋｉｐモードを示している場合（Ｓ３８０１：ＹＥＳ）、結合予測動き情報復号を行う（Ｓ３８０２）。ステップＳ３８０２の詳細処理については、後述する。
【０２１５】
Ｓｋｉｐモードでない場合（Ｓ３８０１：ＮＯ）、マージフラグを復号する（Ｓ３８０３）。マージフラグが１を示している場合（Ｓ３８０４：ＹＥＳ）、ステップＳ３８０２の結合予測動き情報復号に進む。
【０２１６】
マージフラグが１でない場合（Ｓ３８０４：ＮＯ）、マージＭｖｄフラグを復号する（Ｓ３８０５）。マージＭｖｄフラグが１でない場合（Ｓ３８０６：ＮＯ）、動き予測フラグを復号する（Ｓ３８０７）。動き予測フラグが片方向予測モードである場合（Ｓ３８０８：ＹＥＳ）、即ち図３５におけるｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇがＰｒｅｄ＿ＬＣを示す場合、片方向予測動き情報復号を行う（Ｓ３８０９）。ステップＳ３８０９の詳細動作については、後述する。
【０２１７】
動き予測フラグが片方向予測モードを示していない場合（Ｓ３８０８：ＮＯ）、双方向予測動き情報復号が行われる（Ｓ３８１０）。また、マージＭｖｄフラグが１である場合（Ｓ３８０６：ＹＥＳ）には、結合動き修正予測動き情報復号が行われる（Ｓ３８１１）。ステップＳ３８１０、及びステップＳ３８１１の詳細動作については、後述する。
【０２１８】
図３９は、図３８のステップＳ３８０２の詳細動作を説明するためのフローチャートである。図３８のステップＳ３８０２では、結合予測動き情報復号処理が行われる。
【０２１９】
最初に予測モードに結合予測モードを設定し（Ｓ３９００）、結合動き情報候補リストを生成する（Ｓ３９０１）。ステップＳ３９０１の処理は、図１４のフローチャート内の、動画像符号化装置における結合動き情報候補リスト生成であるステップＳ１４０１と同一の処理である。
【０２２０】
結合動き情報候補リストが１よりも大きい場合（Ｓ３９０２：ＹＥＳ）、即ち複数の結合動き情報候補がある場合には、結合動き情報インデックスを復号し（Ｓ３９０３）、結合動き情報候補リストが１つの場合（Ｓ３９０２：ＮＯ）、結合動き情報インデックスに０を設定する（Ｓ３９０４）。
【０２２１】
続いて、結合動き情報候補リストより、結合動き情報インデックスで示す位置に格納されている動き情報を取得する（Ｓ３９０５）。取得する動き情報としては、片方向／双方向を示す予測方向、参照画像指定情報、動きベクトル値となる。生成された動き情報は、結合予測モードの動き情報として格納され（Ｓ３９０６）、結合動き補償予測復号部３７０６に供給される。
【０２２２】
図４０は、図３８のステップＳ３８０９の詳細動作を説明するためのフローチャートである。図３８のステップＳ３８０９では、片方向予測動き情報復号処理が行われる。
【０２２３】
最初に参照画像指定情報を復号し（Ｓ４０００）、差分ベクトル値を復号する（Ｓ４００１）。次に、予測ベクトル候補リストを生成し（Ｓ４００２）、予測ベクトル候補リストが１より大きい場合（Ｓ４００３：ＹＥＳ）、予測ベクトルインデックスを復号し（Ｓ４００４）、予測ベクトル候補リストが１の場合（Ｓ４００３：ＮＯ）、予測ベクトルインデックスに０を設定する（Ｓ４００５）。
【０２２４】
ここで、ステップＳ４００２では、動画像符号化装置における図２９のフローチャートのステップＳ２９０１と同様の処理が行われる。次に、予測ベクトル候補リストより、予測ベクトルインデックスで示す位置に格納されている動きベクトル値を取得する（Ｓ４００６）。復号した差分ベクトル値と動きベクトル値を加算することで動きベクトルを再生する（Ｓ４００７）。生成された動き情報として、１つの参照画像に対する参照画像指定情報と動きベクトル値が、片方向予測モードの動き情報として格納され（Ｓ４００８）、片方向動き補償予測復号部３７０３に供給される。
【０２２５】
図４１は、図３８のステップＳ３８１０の詳細動作を説明するためのフローチャートである。図３８のステップＳ３８１０では、双方向予測動き情報復号処理が行われる。
【０２２６】
最初にＬ０予測の参照画像指定情報を復号し（Ｓ４１００）、差分ベクトル値を復号する（Ｓ４１０１）。次に、Ｌ０予測の予測ベクトル候補リストを生成し（Ｓ４１０２）、予測ベクトル候補リストが１より大きい場合（Ｓ４１０３：ＹＥＳ）、Ｌ０予測の予測ベクトルインデックスを復号する（Ｓ４１０４）。予測ベクトル候補リストが１の場合（Ｓ４１０３：ＮＯ）、Ｌ０予測の予測ベクトルインデックスに０を設定する（Ｓ４１０５）。ステップＳ４１０２では、動画像符号化装置における図３３のフローチャートのステップＳ３３０１と同様の処理が行われる。
【０２２７】
次に、予測ベクトル候補リストより、Ｌ０予測の予測ベクトルインデックスで示す位置に格納されている動きベクトル値を取得する（Ｓ４１０６）。復号した差分ベクトル値と動きベクトル値を加算することで動きベクトルを再生する（Ｓ４１０７）。
【０２２８】
続いて、同様の動き情報復号処理がＬ１予測の参照画像に対して行われる。Ｌ１予測の参照画像指定情報を復号し（Ｓ４１０８）、差分ベクトル値を復号する（Ｓ４１０９）。Ｌ１予測の予測ベクトル候補リストを生成し（Ｓ４１１０）、予測ベクトル候補リストが１より大きい場合（Ｓ４１１１：ＹＥＳ）、Ｌ１予測の予測ベクトルインデックスを復号する（Ｓ４１１２）。予測ベクトル候補リストが１の場合（Ｓ４１１１：ＮＯ）、Ｌ１予測の予測ベクトルインデックスに０を設定する（Ｓ４１１３）。ステップＳ４１１３では、動画像符号化装置における図３３のフローチャートのステップＳ３３０４と同様の処理が行われる。
【０２２９】
次に、予測ベクトル候補リストより、Ｌ１予測の予測ベクトルインデックスで示す位置に格納されている動きベクトル値を取得する（Ｓ４１１４）。復号した差分ベクトル値と動きベクトル値を加算することで動きベクトルを再生する（Ｓ４１１５）。生成された動き情報として、２つの参照画像に対する参照画像指定情報と動きベクトル値が、双方向予測モードの動き情報として格納され（Ｓ４１１６）、双方向動き補償予測復号部３７０４に供給される。
【０２３０】
図４２は、図３８のステップＳ３８１１の詳細動作を説明するためのフローチャートである。図３８のステップＳ３８１１では、結合動き修正予測動き情報復号処理が行われる。
【０２３１】
最初に予測モードに結合動き修正予測モードを設定し（Ｓ４２００）、結合動き情報候補リストを生成する（Ｓ４２０１）。ステップＳ４２０１では、動画像符号化装置における図１４のフローチャートのステップＳ１４０１と同一の処理が行われる。
【０２３２】
続いて、結合動き情報候補リストより動き情報を使用するインデックスｉを暗黙で指定する（Ｓ４２０２）。インデックスｉに関しては、実施の形態１の動画像符号化装置における図２２のフローチャートのステップＳ２２００と同様の指定を行い、結合動き情報候補リスト生成処理により生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとした場合に、リストの先頭であるｉ＝０の結合動き情報候補を確定した動き情報として用いる。
【０２３３】
続いて、結合動き情報候補リストより、結合動き情報インデックスｉで示す位置に格納されている動き情報を取得する（Ｓ４２０３）。取得する動き情報としては、片方向／双方向を示す予測方向、参照画像指定情報、動きベクトル値となる。
【０２３４】
次に、取得された動き情報をもとに、結合動き修正動き補償予測復号部３７０７において、双方向動きベクトル値と差分ベクトルを伝送する参照画像確定処理を行う（Ｓ４２０４）。ステップＳ４２０４では、動画像符号化装置における図２２のフローチャートのステップＳ２２０２と同一の処理が行われる。更に詳細な処理内容に関しては、図２６、図２７、図２８に示されるフローチャートの処理が施され、動画像符号化装置と同じ双方向動きベクトル値と差分ベクトルを伝送する参照画像の確定が行われる。
【０２３５】
次に、確定した差分ベクトルを伝送する参照画像である動き修正参照画像に対して、動き情報として格納された修正前の動きベクトル値に対する、差分ベクトルを復号し（Ｓ４２０５）、修正前の動きベクトル値に差分ベクトルを加算することで、動き修正参照画像の動きベクトル値を算出する（Ｓ４２０６）。
【０２３６】
結合動き情報インデックスｉで示す位置に格納されている動き情報に対して、予測方向は双方向に設定されると共に、動き情報が片方向予測であった場合の第２参照画像を指定する参照画像指定情報と動き修正参照画像における更新された動きベクトル値が、動き情報として格納され（Ｓ４２０７）、結合動き修正動き補償予測復号部３７０７より、図６における動き補償予測部６０８及び動き情報メモリ６０７に出力される。
【０２３７】
実施の形態１における、動画像符号化装置及び動画像復号装置においては、従来の動画像符号化手法であるＡＶＣにおける動き補償予測に対して、より多くの隣接ブロックの動き情報を選択候補として用いることで、周囲の動き情報をより有効に利用できる候補として登録し、周囲の動き情報に対して動きベクトル値の修正情報を差分ベクトルとして符号化する構成を取る新規の予測モードである結合動き修正予測モードを用いた。これにより、動き情報の相関性が高いが動きの連続性が十分保たれていない場合や、他ブロックの動き情報における動きベクトルが予測残差を符号化した際の歪などの要因で正確な動きに対してずれを生じている場合などに、隣接ブロックから生成される動き情報に対して、少ない情報で適切な動きベクトルの修正が出来、少ない付加情報で予測残差が少ない動き補償予測信号を生成する、符号化装置及び復号装置を実現できる。
【０２３８】
また、実施の形態１における、動画像符号化装置及び動画像復号装置においては、動きベクトルを修正する参照画像の設定を、周囲の動き情報に格納された予測モードや周囲の動き情報から結合する動き情報を取得する際の取得方法を基準に、結合する動き情報における動きベクトルの信頼度を評価し、修正する必要のある参照画像を特定する。これにより、符号化時に伝送する指定情報を追加せずに、適切な動きベクトルの修正を可能とする効果を有する。
【０２３９】
また、実施の形態１における、動画像符号化装置及び動画像復号装置においては、結合予測モードで用いられる結合動き情報候補リストより所定の規則に従い１つの動き情報を特定し、結合動き修正予測モードの基準参照画像及び基準動きベクトルが決定・算出される。そのため、結合動き修正予測モードでは、結合動き情報候補リスト生成処理における、図１２の結合動き情報候補リスト削除部１２０１及び図１５のＳ１５０２の処理が不要になり演算量が削減できるとともに、動き情報候補を生成するための新たな処理を最小限に抑制し、動き情報候補の選択に要する処理の負荷も最小限に抑制しつつ、付加情報を少なく符号化できる。
【０２４０】
また、実施の形態１における、動画像符号化装置及び動画像復号装置においては、少ない負荷と符号量で双方向予測を行う結合動き修正予測モードを増やすことができ、以降に符号化・復号するブロックで参照する隣接ブロックの動き情報を増やすことができるため、符号化効率を向上させることができる。
【０２４１】
結合動き情報候補リストには、優先順位が高い順に、少なくとも一つの結合動き情報候補が登録されている。例えば、複数の結合動き情報候補のうち、符号化対象ブロックに対する隣接度が相対的に高い順に結合動き情報候補が選択され、結合動き情報候補リストに登録される。また、空間候補ブロックが時間候補ブロックより先に選択される。実施の形態１の結合動き修正予測モードにおける、動き情報を使用するインデックスｉを黙示的に指定する処理（動画像符号化装置：図２２のＳ２２００、動画像復号装置：図４２のＳ４２０２）は、結合動き情報候補リスト生成処理により生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとした場合に、リストの先頭であるｉ＝０の結合動き情報候補を、動き情報を使用するインデックスとして確定する処理になっているが、１つのインデックスを特定する機能を有すればよく、他の確定アルゴリズムを用いてもよい。
【０２４２】
例えば、結合動き情報候補リストの最後の結合動き情報候補であるｉ＝ｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１の結合動き情報候補をインデックスとして確定するアルゴリズムや、結合動き情報候補リストのインデックスの小さい順に結合動き情報の内容を確認し、最初に空間ＢｉＰｒｅｄもしくは時間ＢｉＰＲｅｄの動き情報（即ち、双方向予測の動き情報）が格納されたインデックスを結合動き修正予測モードにおけるインデックスとして確定してもよい。
【０２４３】
インデックスｉ＝０を暗黙のインデックスとして特定する場合には、結合予測モードにおいて優先度の高い動き情報を用いることで、有効な動き情報を使用できる可能性が高くなると共に、リストの最初の動き情報を固定で取得することができるため、動き情報の取得処理がシンプルに構成できる利点がある。
【０２４４】
インデックスｉ＝ｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１を暗黙のインデックスとして特定する場合には、結合予測モードにおいて優先度の低い動き情報を用いることで、結合予測モードにおいて選択されにくい動き情報に差分ベクトルを加え、有効な動き情報として伝送することが可能となり、結合予測モードとの選択における情報量における重複度を少なくすることが出来る利点がある。
【０２４５】
結合動き情報候補リストのインデックスの小さい順に結合動き情報の内容を確認し、最初に空間ＢｉＰｒｅｄもしくは時間ＢｉＰＲｅｄの動き情報が格納されたインデックスを、暗黙のインデックスとして特定する場合には、有効な動き情報がより多く格納されている可能性の高いＢｉＰｒｅｄの動き情報を優先的に用いることにより、結合動き修正予測モードにおいて、品質の良い動き補償予測ブロックを生成する可能性を高めることが出来る利点がある。
【０２４６】
これらのインデックスを特定するアルゴリズムに関しては、１つの手法を固定的に適用する構成に加えて、所定単位に上記アルゴリズムを特定する情報を符号化することで、選択的にインデックスの取得アルゴリズムを切り替えることも可能である。
【０２４７】
（実施の形態２）
次に、本発明の実施の形態２についての説明を行う。実施の形態２は、実施の形態１に対して、結合動き修正予測モードを符号化する際の符号化処理が異なる。図４３は、実施の形態２における動き予測モードの構成を示す図である。実施の形態１における、予測方向が片方向予測であるか双方向予測であるかを指示する情報として符号化される動き予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）を、実施の形態２においては、図４３に示すように、動き予測モード（ｉｎｔｅｒ＿ｐｒｅｄ＿ｍｏｄｅ）として、結合動き修正予測モードを示す値（Ｐｒｅｄ＿ＭｅｒｇｅＭｖｄ）が０、片方向を示す値（Ｐｒｅｄ＿ＬＣ）が１、双方向を示す値（Ｐｒｅｄ＿ＢＩ）が２で符号化を行う。このため、実施の形態１におけるマージＭｖｄフラグを伝送する必要は無くなり、３つの予測モードを識別する２つのフラグが１つのモード情報に統合される。
【０２４８】
実施の形態２のシンタックスを使用すると、予測モードの発生頻度に偏りの大きい場合に、算術符号化などの発生頻度に応じた情報量で符号化できるエントロピー符号化を用いることで、予測モードに対する符号量を削減することが可能となる。
【０２４９】
図４４は、実施の形態２における、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスを示す図である。実施の形態２における、動画像符号化装置及び動画像復号装置は、図３４で示された動き情報符号化データ生成処理のフローチャート、及び図３８で示された動き情報復号処理のフローチャートに記載された処理の一部のみが、実施の形態１における、動画像符号化装置及び動画像復号装置と異なる動作を行う。
【０２５０】
図４５は、実施の形態２の動画像符号化装置における動き情報符号化データ生成処理を説明するためのフローチャートである。以下、図３４のフローチャートに示す動作と異なる部分のみを説明する。
【０２５１】
図４５のフローチャートにおいては、図３４で示されたフローチャートにおけるマージＭｖｄフラグの符号化処理であるステップＳ３４０８及びステップＳ３４１０と、動き予測フラグの符号化処理であるステップＳ３４１１の処理が無くなり、動き予測モードの符号化処理であるステップＳ４５００が新たに加わる処理構成を取る。
【０２５２】
予測モードが結合予測モードでない場合（Ｓ３４００：ＮＯ）、マージフラグを０で符号化し（Ｓ３４０１）、動き予測モードを符号化し（Ｓ４５００）、予測モードが結合動き修正予測モードであるか否か判断する（Ｓ３４０７）。
【０２５３】
予測モードが結合動き修正予測モードである場合（Ｓ３４０７：ＹＥＳ）、マージＭｖｄモードを符号化する処理（Ｓ３４０８）を介さず、差分ベクトル値を符号化する処理（Ｓ３４０９）に直接繋がると共に、予測モードが結合動き修正予測モードでない場合（Ｓ３４０７：ＮＯ）にも、マージＭｖｄモードを符号化する処理（Ｓ３４１０）を介さず、片方向予測モードであるか否かを判定する処理（Ｓ３４１２）に直接繋がる処理構成となる。
【０２５４】
図４６は、実施の形態２の動画像復号装置における動き情報復号処理を説明するためのフローチャートである。以下、図３８のフローチャートに示す動作と異なる部分のみを説明する。
【０２５５】
図４６のフローチャートにおいては、図３８で示されたフローチャートにおけるマージＭｖｄフラグの復号処理であるステップＳ３８０５と、マージＭｖｄフラグが１であるか否かを判断する処理であるステップＳ３８０６、及び動き予測フラグの復号処理であるステップＳ３８０７の処理が無くなり、動き予測モードの復号処理であるステップＳ４６００と、動き予測モードが結合動き修正予測モードであるか否かを判定する処理であるステップＳ４６０１が新たに加わる処理構成を取る。
【０２５６】
マージフラグが１でない場合（Ｓ３８０４：ＮＯ）、動き予測モードを復号し（Ｓ４６００）、動き予測モードが結合動き修正予測モードであるか否かを判定する（Ｓ４６０１）。また、動き予測モードが結合動き修正予測モードでない場合（Ｓ４６０１：ＮＯ）には、動き予測モードが片方向予測モードであるか否かを判断する処理（Ｓ３８０８）を行う。動き予測モードが結合動き修正予測モードである場合（Ｓ４６０１：ＹＥＳ）には、結合動き修正予測動き情報復号処理を行う（Ｓ３８１１）。
【０２５７】
（実施の形態３）
次に、本発明の実施の形態３についての説明を行う。実施の形態３においては、実施の形態１に対して、結合動き修正動き補償予測モードで動き情報を符号化する際に適した動きベクトル値を、動き修正を行う参照画像と基準となる動きベクトル値が確定した後に、その周囲の動きに対して動きベクトルを検出することで、より予測効率の高い動き補償予測を実現出来る。
【０２５８】
実施の形態３における、動画像符号化装置及び動画像復号装置と、実施の形態１における、動画像符号化装置及び動画像復号装置とを比較すると、動画像復号装置は同じであり、動画像符号化装置の構成の一部が異なる。具体的には、実施の形態１の動画像符号化装置に対して、図１０の結合動き修正動き補償予測生成部１００９における詳細構成である図１３のブロック構成、及びその具体的処理を説明するフローチャートである図２２に示された結合動き修正予測モード評価値生成処理が、異なる構成を取る。
【０２５９】
図４７は、実施の形態３における、図１０の結合動き修正動き補償予測生成部１００９における詳細構成を示す図である。結合動き修正動き補償予測生成部１００９は、結合動き情報確定部１３００、基準参照画像・動き修正参照画像選択部１３０１、動き修正参照画像動きベクトル検出部４７００、結合動き情報修正動き補償予測生成部１３０３、及び差分ベクトル算出部１３０４を含む。
【０２６０】
結合動き情報確定部１３００、基準参照画像・動き修正参照画像選択部１３０１、結合動き情報修正動き補償予測生成部１３０３、及び差分ベクトル算出部１３０４に関しては、図１３に示した実施の形態１と同じ動作が行われ、図１３における動き修正参照画像動きベクトル取得部１３０２の機能が、動き修正参照画像動きベクトル検出部４７００の機能に置き換わった構成を取る。
【０２６１】
動き修正参照画像動きベクトル検出部４７００には、入力端子１００より符号化対象ブロックの画像信号と、復号画像メモリ１０６に記憶された参照画像信号が入力され、動き修正参照画像動きベクトル検出部４７００は、基準参照画像・動き修正参照画像選択部１３０１より供給される、基準参照画像指定情報／基準参照画像動きベクトル値、及び動き修正参照画像指定情報／動き修正参照画像予測ベクトル値を用いて、動き修正参照画像に対する動きベクトルを検出する。
【０２６２】
実施の形態３においては、上記機能を有するため、図１の予測モード判定部１０９に復号画像メモリ１０６からの入力が加わると共に、図１０の結合動き修正動き補償予測生成部１００９に、入力画像信号と復号画像メモリ１０６からの入力が加わる。
【０２６３】
動き修正参照画像に対する動きベクトルの検出においては、２つの参照画像の内、基準参照画像に対しては確定した動きベクトル値で画像信号と同一位置より動きベクトル値だけ移動させた参照画像に相当する画像信号を取得する。動き修正参照画像に対しては動き情報として設定された動き修正参照画像予測ベクトル値を中心とした所定範囲の動きに対して、画像信号と同一位置より動き量だけ移動させた参照画像に相当する画像信号を取得し、２つの画像信号の加算平均を取った画像信号（双方向予測に相当する画像信号となる）を生成する。そして、符号化対象となる予測ブロック画像との誤差評価値を算出し、誤差評価値が最小となる動き修正参照画像の動き量を動き修正参照画像動きベクトルとする。
【０２６４】
動き修正参照画像の動きベクトルの探索範囲がそのまま、伝送される差分ベクトルの値の範囲となるため、結合動き修正予測モードにおいて符号化に適した動きベクトルとしては、少ない探索範囲で良い。例えば水平・垂直に±２画素程度の範囲で探索を行うことで、結合動き修正予測モードに有効な動きベクトルを検出可能である。差分ベクトルの符号量に関しても換算し、誤差評価値に加えることにより、より精度の良い動きベクトル検出が可能である。
【０２６５】
動き修正参照画像動きベクトル検出部４７００により生成された、動き修正参照画像に対する動きベクトル値は、結合動き情報修正動き補償予測生成部１３０３及び差分ベクトル算出部１３０４に供給される。
【０２６６】
図４８は、実施の形態３における結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。図４８のフローチャートは、実施の形態１における結合動き修正予測モード評価値生成処理のフローチャートである図２２に対して、動き修正参照画像の動きベクトル値を取得する処理であるステップＳ２２０３が無くなり、代わりに動き修正参照画像の結合動きベクトル値を基準に動きベクトルを補正する処理であるステップＳ４８００が加わる構成を取る。
【０２６７】
ステップＳ４８００では、動き修正参照画像の結合動きベクトル値を基準に動きベクトルを探索し、検出された修正参照画像動きベクトル値を補正された動きベクトルとして格納する処理となる。
【０２６８】
実施の形態３においては、結合動き修正予測モードの特性に合わせて、差分ベクトルを生成する基準となる動き情報から生成された動き修正参照画像の動きベクトル値を中心とした微小範囲において、２つの参照画像を用いた予測誤差の判定を行い、動き補償予測に用いる動きベクトル値を確定する。これにより、結合動き修正予測モードにおける最適な動き補償予測信号を予測モードの候補として用いることが出来、符号化効率を向上させることができる。
【０２６９】
実施の形態３において、動きベクトルを探索する処理であるステップＳ４８００における、別の方法として、ステップＳ４８００の前に、実施の形態１における図１の動きベクトル検出部１０７より動き補正参照画像に対する検出した動きベクトル値を入力する処理であるステップＳ２２０３を行い、ステップＳ４８００の代わりに、入力した動きベクトル値を基準に動きベクトルを探索する方法を用いることも可能である。
【０２７０】
上述した別の方法は、隣接ブロックの動き情報と大きく異なる、動き修正参照画像の補正される動きベクトルを検出することが可能であり、その場合には、結合動き修正予測モードが双方向予測モードに対して、双方向の参照画像指定情報及び予測ベクトル候補のインデックスを伝送しないことで、少ない動き情報で符号化できる効果を発揮できる。
【０２７１】
上述した別の方法は、ステップＳ４８００の動き修正参照画像の結合動きベクトル値を基準に動きベクトルを探索する方法と併用して、結果として検出される動きベクトル値の予測誤差が少ない動きベクトル値を用いることも可能であり、隣接ブロックの動き情報と微妙に異なる動きと大きく異なる動きの両方に対して、動き修正参照画像の補正される動きベクトルとして適切な動きベクトル値を検出することが可能となる。
【０２７２】
（実施の形態４）
次に、本発明の実施の形態４についての説明を行う。実施の形態４においては、実施の形態１に対して、動き修正参照画像判定のアルゴリズムが異なる。実施の形態４においては、動き修正参照画像を判定する基準が符号化対象画像と参照画像の時間的距離を基準とする手法をとる。
【０２７３】
図４９（ａ）〜（ｃ）は、実施の形態４における距離優先アルゴリズムを示す概念図である。図４９（ａ）〜（ｃ）に示すように、結合動き情報が空間ＢｉＰｒｅｄである場合、空間ＵｎｉＰｒｅｄである場合、時間ＢｉＰｒｅｄである場合のすべてにおいて、導出されたＬ０参照画像、Ｌ１参照画像の内で、符号化対象画像に時間的に遠い参照画像を、動きベクトルの信頼度が低いと判定し、差分ベクトルを伝送する修正動き参照画像に設定する。
【０２７４】
動きの連続性が高い動画像シーケンスの場合には、符号化対象画像により近い参照画像からの動きベクトルの信頼度が高くなるため、遠い参照画像に対して動きベクトル値を補正することで、より適した動き補償予測信号が生成できる。
【０２７５】
実施の形態４においては、実施の形態１における、動画像符号化装置及び動画像復号装置のそれぞれに適用される、図２６に示した双方向動きベクトル値、差分ベクトルを伝送する参照画像確定処理のフローチャートが異なる処理になる。
【０２７６】
図５０は、実施の形態４における、双方向動きベクトル値、差分ベクトルを伝送する参照画像確定処理を説明するためのフローチャートである。図５０のフローチャートは、実施の形態１における図２６のフローチャートに対して、スケーリングされた動きベクトルが片方向（１つ）であるか否かの判定処理であるステップＳ２６０２と、片方向であった場合（Ｓ２６０２：ＹＥＳ）における、スケーリングされた動きベクトルを持つ参照画像を修正参照画像に設定する処理であるステップＳ２６０３が無くなった処理構成となる。
【０２７７】
（実施の形態５）
次に、本発明の実施の形態５についての説明を行う。実施の形態５においては、実施の形態１に対して、結合動き修正動き補償予測モードで動き修正を行う参照画像をスケーリングを用いて生成された動きベクトルに対して全て設定し、２つのスケーリング動きベクトルを有する場合には、２つの差分ベクトルを符号化する構成を取る。
【０２７８】
実施の形態５においては、スケーリング処理で生成された際の動きベクトルの精度が直接空間隣接ブロックの動き情報を適用した場合の動きベクトルよりも低いという判断基準で、スケーリング処理で生成された動きベクトルを持つ参照画像の全てに差分ベクトルを伝送する。
【０２７９】
図５１（ａ）〜（ｃ）は、実施の形態５における、結合動き情報が空間ＢｉＰｒｅｄである場合、空間ＵｎｉＰｒｅｄである場合、時間ＢｉＰｒｅｄである場合における、差分ベクトルを伝送する参照画像を特定する処理構成の概念図を示す。実施の形態５においては、実施の形態１と同様に、図２４に示されるように結合動き情報の種類に応じて、スケーリングされた動きベクトルが動き情報として生成される。
【０２８０】
図５１（ａ）に示すように結合動き情報が空間ＢｉＰｒｅｄである場合には、スケーリングベクトル数が０であるため、実施の形態１と同様に、差分ベクトルを伝送する参照画像は符号化画像からの時間距離の長い参照画像を選択する。
【０２８１】
図５１（ｂ）に示すように結合動き情報が空間ＵｎｉＰｒｅｄである場合には、スケーリングベクトル数が１であるため、実施の形態１と同様に、スケーリングされた動きベクトルを持つ１つの参照画像が、差分ベクトルを伝送する参照画像として指定される。
【０２８２】
図５１（ｃ）に示すように結合動き情報が時間ＢｉＰｒｅｄである場合には、スケーリングベクトル数が２であるため、実施の形態１と異なり、スケーリングされた動きベクトルを持つ２つの参照画像が、差分ベクトルを伝送する参照画像として指定される。
【０２８３】
図５２は、実施の形態５における、各予測モードにおける伝送する動き情報の関係を示す図である。実施の形態５においては、結合動き修正予測モードの場合にて、空間ＵｎｉＰｒｅｄ及び空間ＢｉＰｒｅｄの場合には、１つの差分ベクトルを伝送することで、動き情報を符号化する。時間ＢｉＰｒｅｄの場合には、２つの差分ベクトルを伝送することで、動き情報を符号化する。
【０２８４】
実施の形態５における動画像符号化装置及び動画像復号装置は、実施の形態１における動画像符号化装置及び動画像復号装置と比較し、図２６に示した双方向動きベクトル値、差分ベクトルを伝送する参照画像確定処理のフローチャート、図３４に示した動画像符号化装置による動き情報符号化データ生成処理のフローチャート、及び図４２に示した動画像復号装置による結合動き修正予測動き情報復号処理のフローチャートの処理が一部異なる。
【０２８５】
図５３は、実施の形態５における双方向動きベクトル値、差分ベクトルを伝送する参照画像確定処理を説明するためのフローチャートである。双方向動きベクトル値、差分ベクトルを伝送する参照画像確定処理は、実施の形態１における図２６のフローチャートに対して、スケーリングされた動きベクトル数が１であるか否かの判断処理であるステップＳ２６０２を無くし、スケーリングされた動きベクトル数を管理するパラメータであるＳｃａｌｅｄ＿Ｍｅｒｇｅ＿ｒｅｆ＿ｎｕｍを新たに設けて条件判断を行う。
【０２８６】
双方向の参照画像の動きベクトル値のうちスケーリングされた動きベクトルの数をＳｃａｌｅｄ＿Ｍｅｒｇｅ＿ｒｅｆ＿ｎｕｍに設定する処理を行う（Ｓ５３００）。Ｓｃａｌｅｄ＿Ｍｅｒｇｅ＿ｒｅｆ＿ｎｕｍが１の場合（Ｓ５３０１：ＹＥＳ）、スケーリングされた動きベクトルを持つ参照画像を動き修正参照画像に設定する（Ｓ２６０３）。Ｓｃａｌｅｄ＿Ｍｅｒｇｅ＿ｒｅｆ＿ｎｕｍが２の場合（Ｓ５３０２：ＹＥＳ）、両方の参照画像を動き修正参照画像に設定する（Ｓ５３０３）。Ｓｃａｌｅｄ＿Ｍｅｒｇｅ＿ｒｅｆ＿ｎｕｍが０の場合（Ｓ５３０２：ＮＯ）、実施の形態１と同様に距離に応じた参照画像を設定するためのステップＳ２６０４に進む。
【０２８７】
図５４は、実施の形態５における、符号化シンタックスの一例を示す図である。動き修正予測動き情報復号処理において生成するＳｃａｌｅｄ＿Ｍｅｒｇｅ＿ｒｅｆ＿ｎｕｍをもとに、差分ベクトルを２つ（水平・垂直で計４要素）伝送するか、１つ（計２要素）伝送するかが切り替わる構成になっている。
【０２８８】
図５５は、実施の形態５の動画像符号化装置における動き情報符号化データ生成処理を説明するためのフローチャートである。動き情報符号化データ生成処理は、実施の形態１における図３４のフローチャートに対して、マージＭｖｄフラグを符号化する処理（Ｓ３４０８）の後に、Ｓｃａｌｅｄ＿Ｍｅｒｇｅ＿ｒｅｆ＿ｎｕｍが２である場合（Ｓ５５００：ＹＥＳ）、Ｌ０差分ベクトル値を符号化し（Ｓ５５０１）、更にＬ１差分ベクトル値を符号化する（Ｓ５５０２）処理が新たに加わる処理構成となる。
【０２８９】
図５６は、実施の形態５の動画像復号装置における結合動き修正予測動き情報復号処理を説明するためのフローチャートである。結合動き修正予測動き情報復号処理は、実施の形態１における図４２のフローチャートに対して、図５３で示した双方向動きベクトル値、差分ベクトルを伝送する参照画像確定処理（Ｓ４２０４）の後に、Ｓｃａｌｅｄ＿Ｍｅｒｇｅ＿ｒｅｆ＿ｎｕｍが２である場合（Ｓ５６００：ＹＥＳ）、Ｌ０差分ベクトル値を復号し（Ｓ５６０１）、Ｌ０参照画像の動き情報より算出された動きベクトル値に加算することでＬ０参照画像の動きベクトル値を算出する（Ｓ５６０２）。更にＬ１差分ベクトル値を復号し（Ｓ５６０３）、Ｌ１参照画像の動き情報より算出された動きベクトル値に加算することでＬ１参照画像の動きベクトル値を算出する（Ｓ５６０４）処理が、新たに加わる処理構成となる。
【０２９０】
また、実施の形態５における別の構成として、常に２つの参照画像に対して差分ベクトルを伝送する構成を取ることも可能である。図５７（ａ）、（ｂ）は、実施の形態５における常に２つの参照画像を送る構成における空間ＢｉＰｒｅｄ及び空間ＵｎｉＰｒｅｄの差分ベクトルの状態の概念図を示す。図５７（ａ）は空間ＢｉＰｒｅｄにおいて２本の差分ベクトルを伝送する例を示し、図５７（ｂ）は空間ＵｎｉＰｒｅｄにおいて２本の差分ベクトルを伝送する例を示す。
【０２９１】
図５８は、常に２つの参照画像に対して差分ベクトルを伝送する構成を取る場合に採用可能な符号化シンタックスの一例を示す図である。結合動き修正予測モードであるｍｅｒｇｅ＿ｍｖｄ＿ｆｌａｇが１の場合には、常に２つの差分ベクトル（計４要素）が符号化される。
【０２９２】
（実施の形態６）
次に、本発明の実施の形態６についての説明を行う。実施の形態６においては、実施の形態１に対して、結合動き修正予測モードにおいて伝送する１つの差分ベクトル値を２つの参照画像に作用する構成を取る。
【０２９３】
図５９（ａ）、（ｂ）は、実施の形態６における差分ベクトルの２つの参照画像に対する作用を示す概念図である。図５９（ａ）、（ｂ）に示すように、１つの差分ベクトルが伝送され、差分ベクトル値を双方向予測の両方の参照画像に対して補正ベクトル値として作用させる。
【０２９４】
実施の形態１においては、差分ベクトル値は、動き修正参照画像として選択された１つの参照画像に対して、結合動き情報より生成された動きベクトル値と動き補償予測に用いた動きベクトル値の差分を示していた。実施の形態１における差分ベクトルは、結合動き情報における動きベクトルの一部にずれがあるが、正しい（結合動き情報による動きをそのまま反映させることが可能な）動きベクトルも存在し、その動きベクトルを信頼した状態における補正情報である。
【０２９５】
実施の形態６における差分ベクトルは、動き情報の時間相関（時間的連続性）が高く保たれている状態における、結合動き情報全体に対する補正情報となり、特に結合動き情報が時間ＢｉＰｒｅｄの場合などの時間相関をもとに生成された動き情報の補正において、少ない情報で有効な補正情報が伝送され、符号化効率を向上できる。
【０２９６】
実施の形態６における差分ベクトルの作用は、差分ベクトルを送る基準参照画像においては、実施の形態１における差分ベクトルと同様に、結合動き情報より生成された動きベクトル値と動き補償予測に用いた動きベクトル値の差分を示す。差分ベクトルを送る基準参照画像でない、双方向予測の他方の参照画像においては、その作用に２つの手法を用いることが可能である。
【０２９７】
１つは、図５９（ａ）に示すように、差分ベクトルをスケーリングした値が、他方の参照画像における結合動き情報より生成された動きベクトル値と動き補償予測に用いた動きベクトル値の差分を示す（ミラータイプ）手法である。もう１つは、図５９（ｂ）に示すように、スケーリングを行わずに、基準参照画像と同様に差分ベクトル値が他方の参照画像における結合動き情報より生成された動きベクトル値と動き補償予測に用いた動きベクトル値の差分を示す（平行移動タイプ）手法である。
【０２９８】
以降の実施の形態６の説明においては、ミラータイプの差分ベクトルの作用手法を用いるが、ミラータイプと平行移動タイプの手法を、動画像の特性や符号化時の予測構造などにより適応的に切り替えることも可能である。
【０２９９】
実施の形態６における動画像符号化装置と、実施の構成１における動画像符号化装置との構成の違いは、図１０の結合動き修正動き補償予測生成部１００９における詳細構成である図１３のブロック構成、及びその具体的処理を説明するフローチャートである図２２に示された結合動き修正予測モード評価値生成処理である。実施の形態６における動画像復号装置と、実施の構成１における動画像復号装置との構成の違いは、図４２に示した結合動き修正予測動き情報復号処理の処理フローチャートである。
【０３００】
実施の形態６における図１３のブロック構成は、実施の形態３における図１０の結合動き修正動き補償予測生成部１００９における詳細構成である図４７と同じ構成を取る。図６０は、実施の形態６における、２つの参照画像の結合動きベクトル値を基準とした動きベクトル探索手法の一例を示す図である。
【０３０１】
動き修正参照画像動きベクトル検出部４７００が差分ベクトルの候補としての検出範囲に対して、動き修正参照画像に対してはそのまま差分ベクトルとして、基準参照画像に対してはスケーリングされた差分ベクトルとして結合動き情報より生成された各々の参照画像に対する動きベクトル値に対して作用させて取得した画像信号を、加算平均することで生成し、符号化対象となる予測ブロック画像との誤差評価値を算出し、誤差評価値が最小となる動き修正参照画像の動き量を動き修正参照画像動きベクトルとする。
【０３０２】
実施の形態６における説明では、他の実施の形態との処理の共通性を取るために、動き修正参照画像の差分ベクトル値を、伝送する差分ベクトル値に設定しているが、基準参照画像の差分ベクトル値を、伝送する差分ベクトル値に設定する手法をとることも可能であり、これに限定されない。つまり、実施の形態６のミラータイプの差分ベクトルを伝送する構成では、どちらの参照画像を基準に差分動きベクトルを伝送しても良いため、通常は、差分ベクトルの符号量を小さくするため、符号化対象画像から距離の近い方の参照画像を動き修正参照画像に設定し、動き修正参照画像に対する差分動きベクトルを伝送する。他方（符号化対象画像から距離の遠い又は同一）の参照画像では、伝送する差分動きベクトルに対して倍率の絶対値が１以上のスケーリング処理を行い、伝送した差分動きベクトルと同じかそれ以上の大きさのスケーリング差分動きベクトルを得る。
【０３０３】
図６１は、実施の形態６における結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。実施の形態１における結合動き修正予測モード評価値生成処理のフローチャートである図２２に対して、動き修正参照画像の動きベクトル値を取得する処理であるステップＳ２２０３が無くなり、代わりに２つの参照画像の結合動きベクトル値を基準に動きベクトルを補正する処理であるステップＳ６５００が加わる。
【０３０４】
ステップＳ６５００では、基準参照画像と動き修正参照画像のそれぞれの結合動きベクトル値を基準に、動き修正参照画像の補正動き量に対してスケーリングされた動き量が基準参照画像の補正動き量になるようにして、動きベクトルを探索し、それぞれの参照画像に補正動き量を加算した動きベクトル値を格納する処理となる。
【０３０５】
図６２は、実施の形態６における結合動き修正予測動き情報復号処理を説明するためのフローチャートである。実施の形態１における結合動き修正予測動き情報復号処理のフローチャートである図４２に対して、動き修正参照画像の動きベクトル値を算出する処理であるステップＳ４２０６が無くなり、代わりに動き修正参照画像及び他方の参照画像（基準参照画像）の動きベクトル値を算出する処理であるステップＳ６６００が加わる。
【０３０６】
動きベクトル値の算出は、復号した差分ベクトル値を動き修正参照画像に対する動き情報より生成された動きベクトル値に加算し、差分ベクトル値をスケーリングした値を基準参照画像に対する動きベクトル値に加算することで、２つの参照画像の動きベクトル値を算出する。
【０３０７】
図６３は、実施の形態６における差分ベクトルの作用を両方の参照画像に適用する別構成を示す概念図である。差分ベクトルをその対象となる参照画像の結合動き情報の動きベクトルに加算して復号した動きベクトル値をスケーリングすることにより、他方の参照画像の動きベクトル値を生成する手法も考えられ、ミラータイプにおける動き補償予測信号とほぼ同等の予測信号が生成できる。
【０３０８】
この手法は、結合動き情報が時間ＢｉＰｒｅｄの場合に、結合動き情報候補生成処理と結合動き修正予測動き情報復号処理を統合して行うことで実現出来る。この手法では、結合動き情報の動きベクトルに差分動きベクトルを加算した後にスケーリング処理が１回のみ行われるため、スケーリングの演算精度に起因する劣化が発生しにくく、より精度の良い動き補償予測信号を生成できる。
【０３０９】
また、実施の形態６と他の実施の形態を結合動き情報の特性によって切り替える構成を取ることも拡張構成として可能であり、時間ＢｉＰｒｅｄなどの実施の形態６の有効性が高い条件において採用し、他の条件では実施の形態１を施すことで、更に効率のよい動き情報の伝送が可能となる。例えば、実施の形態６の有効性が高い条件とは、符号化対象画像と基準参照画像との距離が、符号化対象画像と動き修正参照画像の距離と同一の場合である。この場合、伝送する差分ベクトルをスケーリングせずに（スケーリング倍率の絶対値が１）他方の参照画像に対する差分ベクトルを算出できるため、スケーリングの演算精度に起因する劣化が発生しない。
【０３１０】
（実施の形態７）
次に、本発明の実施の形態７についての説明を行う。実施の形態７においては、実施の形態１に対して、結合動き修正予測モードにおいて、暗黙に特定した結合動き情報が空間ＵｎｉＰｒｅｄの場合に、動き情報をそのまま片方向予測として用いる構成をとる。
【０３１１】
図６４（ａ）〜（ｃ）は、実施の形態７における結合動き修正予測モードの差分ベクトル伝送手法を示す概念図である。結合動き情報が空間ＵｎｉＰｒｅｄで生成される場合に、図６４（ｂ）に示すように空間ＵｎｉＰｒｅｄの場合には片方向予測のままで差分ベクトルを伝送し、動きベクトルを補正する。この場合の空間ＵｎｉＰｒｅｄでは、基準参照画像を設定せず、片方向予測で指定される参照画像を動き修正参照画像に指定する。
【０３１２】
実施の形態７における、結合動き修正予測モードにおいては、結合動き情報が空間ＵｎｉＰｒｅｄであった場合に、片方向予測が用いられた点を双方向の動き補償予測が有効でないととらえ、片方向予測の動きベクトル値に対して差分ベクトルを伝送することで、片方向予測に対する有効な動き補償予測を生成できる利点を有する。
【０３１３】
（実施の形態８）
次に、本発明の実施の形態８についての説明を行う。実施の形態８においては、実施の形態１に対して、結合予測モードにおいて表現可能な、結合動き修正予測モードで差分ベクトルが（０，０）の場合に、復号される動きベクトル値に差分動きベクトルが（０，０）以外の場合と別の定義を行う事で、符号化する動き情報の冗長性を削減しつつ新たな動き情報の候補を伝送可能にする構成を取る。
【０３１４】
実施の形態８においては、復号時に結合動き修正予測モードにおいて差分ベクトル値が０である場合に、動きベクトル値として固定値である（０，０）ベクトルを復号する構成を取る。尚、復号する動きベクトル値自体は、暗黙で復号できる値であれば良く、（０，０）でない固定値を設定したり、結合動き情報として算出される動きベクトル値に対して、所定の値を加算したり（ある程度の差分ベクトル符号量を有する値）、上記条件用の動きベクトル値を隣接ブロックの別の動き情報を用いて取得する構成も、実施の形態８における効果を実現する構成とすることが可能である。
【０３１５】
実施の形態８における動画像符号化装置と実施の形態１の動画像符号化装置との構成の違いは、図２２に示される結合動き修正予測モード評価値生成処理である。また、実施の形態８の動画像復号装置と実施の形態１の動画像復号装置との構成の違いは、図４２で示される結合動き修正予測動き情報復号処理である。
【０３１６】
図６５は、実施の形態８の動画像符号化装置における結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。実施の形態８における結合動き修正予測モード評価値生成処理は、図２２で示された実施の形態１における処理に対して、動き修正参照画像の動きベクトルを取得する処理であるステップＳ２２０３の後に、動き修正参照画像の動きベクトルが（０，０）であるか否かの判定処理であるステップＳ７７００と、差分ベクトルに（０，０）を設定する処理であるステップＳ７７０１と、動き修正参照画像の動きベクトルを固定値に置き換える処理であるステップＳ７７０２が加わり、差分ベクトル値生成処理であるステップＳ２２０４の後に、差分ベクトルが（０，０）であるか否かの判定処理であるステップＳ７７０３が加わる構成を取る。
【０３１７】
図１の動きベクトル検出部１０７より取得した動き修正画像に対する動きベクトル値が（０，０）となる場合（Ｓ７７００：ＹＥＳ）、実施の形態８における結合動き修正予測モードにおいては、差分ベクトルを（０，０）に設定することで少ない符号量で動き情報が符号化できるため、差分ベクトル値を（０，０）に設定し（Ｓ７７０１）、結合動き情報より設定された動き修正画像に対する動きベクトル値に固定値である（０，０）を設定して（Ｓ７７０２）、以降の双方向動き補償予測信号生成処理を行う。
【０３１８】
また、動き修正画像に対する動きベクトル値と、結合動き情報より設定された動き修正画像に対する動きベクトル値が同一である場合には、差分ベクトル値が（０，０）となるため、差分ベクトル値が（０，０）の場合（Ｓ７７０３：ＹＥＳ）、結合動き情報より設定された動き修正画像に対する動きベクトル値に固定値である（０，０）を設定して（Ｓ７７０２）、以降の双方向動き補償予測信号生成処理を行い、予測誤差値を評価することで、（０，０）ベクトルを用いた動き補償予測を選択候補としてモード判定を行うことが可能となる。
【０３１９】
実施の形態８において、実施の形態３の動画像符号化装置のように、結合動き修正予測モード評価値生成の中で、動きベクトルの探索を可能とする構成を取る場合には、結合動き修正予測モード評価値生成処理を行うことが可能である。図６６は、実施の形態８における別構成の結合動き修正予測モード評価値生成処理を説明するためのフローチャートである。図２２で示された実施の形態１における処理に対して、動き修正参照画像の動きベクトルを取得する処理であるステップＳ２２０３が無くなり、代わりに動き修正参照画像の結合動きベクトル値を基準に差分ベクトル（０，０）の場合を除いて動きベクトルを検出する処理であるステップＳ７８００、動き修正参照画像の動きベクトル値を固定値（０，０）にした際の予測誤差を算出するステップＳ７８０１、補正した動きベクトル値により予測誤差と動きベクトル値を固定値（０，０）での予測誤差を比較する処理であるステップＳ７８０２、及び動き修正参照画像の結合動きベクトル値を固定値に置き換え、差分ベクトルを（０，０）に設定する処理であるステップＳ７８０３が加わる構成を取る。
【０３２０】
ステップＳ７８００では、結合動き情報から算出した修正参照画像の動きベクトル値をそのまま利用する条件を排除しているため、動きベクトルの補正が０になる差分ベクトル（０，０）での動きベクトル探索を行わないことで、動きベクトル値の候補に登録されないようにする。
【０３２１】
その後で、動き修正参照画像の動きベクトル値を固定値に指定した状態の予測誤差評価値を算出し（Ｓ７８０１）、ステップＳ７８００で検出された動きベクトル値を用いた場合に予測誤差評価値と比較して、固定値における予測誤差が少ない場合（Ｓ７８０２：ＹＥＳ）、動き修正参照画像の結合動きベクトル値を固定値に置き換えて、差分ベクトル値を０に設定して（Ｓ７８０３）、動き情報符号量算出処理であるステップＳ２２０５に進む。
【０３２２】
上記処理を行うことで、実施の形態８で結合動き修正予測モードが取りうる動き情報の中で最良の動き補償予測を可能とする動き情報を生成でき、符号化効率を向上できる。
【０３２３】
図６７は、実施の形態８の動画像復号装置における結合動き修正予測動き情報復号処理を説明するためのフローチャートである。実施の形態８における結合動き修正予測動き情報復号処理は、図４２で示された実施の形態１における処理に対して、差分ベクトル値を復号する処理であるステップＳ４２０５の後に、差分ベクトル値が（０，０）であるか否かを判定する処理であるステップＳ７９００と、動き修正参照画像の動きベクトル値を固定値に置き換える処理であるステップ７９０１が加わる構成を取る。
【０３２４】
実施の形態８における動画像復号装置においては、上述したように差分ベクトルが０の場合（Ｓ７９００：ＹＥＳ）、復号される動きベクトル値を固定値（０，０）に設定するために動き修正参照画像の動きベクトル値を固定値（０，０）に置き換える（Ｓ７９０１）。ステップＳ７９０１の後で、動き修正参照画像の動きベクトル値を算出する（Ｓ４２０８）ことで、固定値（０，０）に差分ベクトル（０，０）が加算された復号値として、固定値が動き修正参照画像の動きベクトル値として算出される。
【０３２５】
実施の形態８において、結合動き修正予測モードの全ての結合動き情報候補に対して、差分ベクトル値が（０，０）の場合の固定値置換え処理を行っているが、空間ＵｎｉＰｒｅｄの場合には、結合予測モードにおける動き情報と結合動き修正予測モードにおける動き情報は異なる。つまり、空間ＵｎｉＰｒｅｄの場合には、結合予測モードにおける動き情報と結合動き修正予測モードに間に機能の重複が存在しないため、差分ベクトル（０，０）の条件で動きベクトルを固定値に置き換える必要はなく、結合動き情報の種類に応じて、置換え処理を行うか否かを切り替える手法を用いる事が可能であり、より適した動き情報の表現を可能とする。
【０３２６】
以上述べた実施の形態において、双方向予測が利用可能なピクチャ（Ｂピクチャ）を前提に説明したが、適応双方向予測を有さないピクチャ（Ｐピクチャ）においても、本発明の実施の形態を適用することは可能である。つまり、本発明の実施の形態をＰピクチャに適用すると、結合動き修正予測モードでは、常に片方向予測で動き補償を行うことになり、結合予測モードで指定される参照画像と同一の参照画像に対して差分ベクトルを加算し、動きベクトルを修正する処理を行う。
【０３２７】
これにより、動き検出予測モードを選択する場合と比較して、結合予測モードと同一の予測動きベクトルを利用すること、及び、動き検出予測モードで必要となる参照画像指定情報が不要となる。そのため、結合動き修正予測モードが統合予測モードと動き検出予測モードの間の性質を持つ予測モードとなり、隣接する動き情報との時間的・空間的な相関性が高いが動きに微小なずれを生じている場合や、隣接するブロックの動き情報が正確な動きを示していない場合などに、符号化効率を向上させることができる。
【０３２８】
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【０３２９】
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
【０３３０】
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
【０３３１】
また、以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０３３２】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【０３３３】
実施の形態１の図２１のフローチャートの説明では、結合動き情報インデックスの符号列としては、ＴｒｕｎｃａｔｅｄＵｎａｒｙ符号列を用いる例を説明した。ここで、ＴｒｕｎｃａｔｅｄＵｎａｒｙ符号列の具体例を挙げる。
【０３３４】
図６８は、結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄＵｎａｒｙ符号列を示す図である。ＴｒｕｎｃａｔｅｄＵｎａｒｙ符号列を用いて結合動き情報インデックスの値を符号化する場合には、結合動き情報候補数が少ないほど、結合動き情報インデックスに割り当てられる符号ビットが小さくなる。例えば、結合動き情報インデックスが１である場合、結合動き情報候補数が２個であれば‘１’の１ビットで表現されるが、結合動き情報候補数が３個であれば‘１０’の２ビットで表現される。なお、ここでは上記のように結合動き情報インデックスの符号化にＴｒｕｎｃａｔｅｄＵｎａｒｙ符号列を利用しているが、他の符号列生成手法を用いることも可能であり、これに限定されない。
【符号の説明】
【０３３５】
１００入力端子、１０１減算部、１０２直交変換・量子化部、１０３予測誤差符号化部、１０４逆量子化・逆変換部、１０５加算部、１０６復号画像メモリ、１０７動きベクトル検出部、１０８動き補償予測部、１０９予測モード判定部、１１０動き情報符号化部、１１１動き情報メモリ、１１２多重化部、１１３出力端子、６００入力端子、６０１多重分離部、６０２予測差分情報復号部、６０３逆量子化・逆変換部、６０４加算部、６０５復号画像メモリ、６０６動き情報復号部、６０７動き情報メモリ、６０８動き補償予測部、６０９出力端子、１０００片方向動き補償予測生成部、１００１双方向動き補償予測生成部、１００２予測誤差算出部、１００３予測ベクトル算出部、１００４差分ベクトル算出部、１００５動き情報符号量算出部、１００６予測モード評価部、１００７結合動き情報算出部、１００８結合動き補償予測生成部、１００９結合動き修正動き補償予測生成部、１１００予測ベクトル候補リスト生成部、１１０１予測ベクトル候補リスト削除部、１２００結合動き情報候補リスト生成部、１２０１結合動き情報候補リスト削除部、１３００結合動き情報確定部、１３０１基準参照画像・動き修正参照画像選択部、１３０２動き修正参照画像動きベクトル取得部、１３０３結合動き情報修正動き補償予測生成部、１３０４差分ベクトル算出部、３７００動き情報ビットストリーム復号部、３７０１予測ベクトル算出部、３７０２ベクトル加算部、３７０３片方向動き補償予測復号部、３７０４双方向動き補償予測復号部、３７０５結合動き情報算出部、３７０６結合動き補償予測復号部、３７０７結合動き修正動き補償予測復号部、４７００動き修正参照画像動きベクトル検出部、５９００，６０００結合動き修正動き情報算出部。

【特許請求の範囲】
【請求項１】
動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化する画像符号化装置であって、
符号化対象ブロックの動き情報として、前記符号化対象ブロックに空間的又は時間的に隣接する参照ブロックの動き情報を特定するための情報、及び前記符号化対象ブロックの動きベクトルと前記参照ブロックの動きベクトルとの差分ベクトルを使用する予測モードを選択可能な予測モード判定部と、
前記予測モード判定部から供給される動き情報をもとに生成される予測信号と、前記符号化対象ブロックの画像信号との差分である予測誤差信号を符号化する予測誤差信号符号化部と、
前記予測モード判定部から供給される動き情報を符号化する動き情報符号化部と、
前記予測誤差信号符号化部から供給される符号化データと、前記動き情報符号化部から供給される符号化データとを多重化する多重化部と、を備え、
前記予測モード判定部は、前記予測モードにおいて前記符号化対象ブロックに空間的又は時間的に隣接する複数の参照ブロック候補のそれぞれの動き情報の符号量を算出せずに、復号側と共通の規則に従い前記符号化対象ブロックが使用する動き情報を取得する参照ブロックを特定し、
前記動き情報符号化部は、前記差分ベクトルを符号化し、前記参照ブロックの動き情報を特定するための情報の符号化を省略する、
ことを特徴とする画像符号化装置。
【請求項２】
前記複数の参照ブロック候補を、所定の優先順位に従って登録した候補リストを生成する候補リスト生成部をさらに備え、
前記予測モード判定部は、前記候補リスト内から所定の条件で抽出した参照ブロック候補を、前記符号化対象ブロックが使用する動き情報を取得する参照ブロックに特定する、
ことを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記予測モード判定部は、前記候補リスト内で最も優先順位が高い参照ブロック候補を、前記符号化対象ブロックが使用する動き情報を取得する参照ブロックに特定する、
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記予測モード判定部は、前記候補リスト内で双方向予測の動き情報を持つ参照ブロック候補のうち、最も優先順位が高い参照ブロック候補を、前記符号化対象ブロックが使用する動き情報を取得する参照ブロックに特定する、
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項５】
前記予測モード判定部は、前記候補リスト内で最も優先順位が低い参照ブロック候補を、前記符号化対象ブロックが使用する動き情報を取得する参照ブロックに特定し、
前記予測モード判定部は、前記符号化対象ブロックの動き情報として、前記差分ベクトルを使用せず、前記符号化対象ブロックに空間的又は時間的に隣接する参照ブロックの動き情報を特定するための情報を使用する別の予測モードも選択可能であり、当該予測モードにおいて前記符号化対象ブロックに空間的又は時間的に隣接する複数の参照ブロック候補のそれぞれの動き情報の符号量を算出して、その符号量をもとに前記符号化対象ブロックが使用する動き情報を取得する参照ブロックを特定し、
前記動き情報符号化部は、前記別の予測モードにおいて前記参照ブロックの動き情報を特定するための情報を符号化する、
ことを特徴とする請求項２に記載の画像符号化装置。
【請求項６】
動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化する画像符号化方法であって、
符号化対象ブロックの動き情報として、前記符号化対象ブロックに隣接する参照ブロックの動き情報を特定するための情報、及び前記符号化対象ブロックの動きベクトルと前記参照ブロックの動きベクトルとの差分ベクトルを使用する予測モードを選択するステップと、
前記動き情報をもとに生成される予測信号と、前記符号化対象ブロックの画像信号との差分である予測誤差信号を符号化するステップと、
前記動き情報を符号化するステップと、
前記予測誤差信号の符号化データと、前記動き情報の符号化データとを多重化するステップと、を備え、
前記予測モードを選択するステップは、前記予測モードにおいて前記符号化対象ブロックに空間的又は時間的に隣接する複数の参照ブロック候補のそれぞれの動き情報の符号量を算出せずに、復号側と共通の規則に従い前記符号化対象ブロックが使用する動き情報を取得する参照ブロックを特定し、
前記動き情報を符号化するステップは、前記差分ベクトルを符号化し、前記参照ブロックの動き情報を特定するための情報の符号化を省略する、
ことを特徴とする画像符号化方法。
【請求項７】
動画像の各ピクチャを分割したブロック単位で動きベクトルを検出して符号化する画像符号化プログラムであって、
符号化対象ブロックの動き情報として、前記符号化対象ブロックに空間的又は時間的に隣接する参照ブロックの動き情報を特定するための情報、及び前記符号化対象ブロックの動きベクトルと前記参照ブロックの動きベクトルとの差分ベクトルを使用する予測モードを選択する処理と、
前記動き情報をもとに生成される予測信号と、前記符号化対象ブロックの画像信号との差分である予測誤差信号を符号化する処理と、
前記動き情報を符号化する処理と、
前記予測誤差信号の符号化データと、前記動き情報の符号化データとを多重化する処理と、をコンピュータに実行させ、
前記予測モードを選択する処理は、前記予測モードにおいて前記符号化対象ブロックに空間的又は時間的に隣接する複数の参照ブロック候補のそれぞれの動き情報の符号量を算出せずに、復号側と共通の規則に従い前記符号化対象ブロックが使用する動き情報を取得する参照ブロックを特定し、
前記動き情報を符号化する処理は、前記差分ベクトルを符号化し、前記参照ブロックの動き情報を特定するための情報の符号化を省略する、
ことを特徴とする画像符号化プログラム。

【図１】