動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
【課題】隣接ブロックの動き情報を使用して符号化を行う際、処理負荷を抑える。
【解決手段】結合動き情報算出部２６０５は、復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する。動き情報ビットストリーム復号部２６００は、動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する。加算部６０４は、動き情報候補を示すインデックスにもとづいて動き情報候補リストから選択された動き情報候補を復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された復号対象予測ブロックの予測誤差信号とを加算して復号対象予測ブロックの画像信号を再生する。結合動き情報算出部２６０５は、所定の大きさ以下の復号対象予測ブロックでは、動き情報候補に含まれる参照画像の指定情報を同一の値に設定する。
【解決手段】結合動き情報算出部２６０５は、復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する。動き情報ビットストリーム復号部２６００は、動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する。加算部６０４は、動き情報候補を示すインデックスにもとづいて動き情報候補リストから選択された動き情報候補を復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された復号対象予測ブロックの予測誤差信号とを加算して復号対象予測ブロックの画像信号を再生する。結合動き情報算出部２６０５は、所定の大きさ以下の復号対象予測ブロックでは、動き情報候補に含まれる参照画像の指定情報を同一の値に設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償予測を用いた動画像復号技術に関し、特に動き補償予測に利用する動画像復号装置、動画像復号方法及び動画像復号プログラムに関する。
【背景技術】
【０００２】
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（以後、ＡＶＣ）等に代表される動画像符号化では、時間方向の相関を利用した情報圧縮として、符号化対象となる画像信号である符号化対象ピクチャに対して、既に符号化され復号された局部復号信号を参照ピクチャとして用い、所定の符号化処理単位で、対象ピクチャと参照ピクチャとの間での動き量（以後、動きベクトル）を検出し、予測信号を生成する動き補償予測が用いられる。
【０００３】
ＡＶＣでは、動き補償予測において１つの参照ピクチャから１本の動きベクトルを利用して単一方向に予測信号を生成する片方向予測と、２つの参照ピクチャから２本の動きベクトルを利用して双方向に予測信号を生成する双方向予測が用いられる。これらを所定の符号化処理単位となる１６×１６画素の２次元ブロック内で処理対象となっているブロック（以後、予測対象ブロック）の大きさを可変にする手法や、複数の参照ピクチャの中から予測に用いる参照ピクチャを選択する手法に適用することで、予測信号の情報量を削減している。符号化側では、予測モード情報や参照画像を指定する情報を選択して伝送し、復号側では、伝送された予測モード情報や参照画像を指定する情報に従って動き補償予測処理が施される。
【０００４】
動きベクトルについては、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルから予測動きベクトル（以降、予測ベクトル）を算出し、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。
【０００５】
更に、ＡＶＣにおいては、予測対象ブロックと同一位置にある参照ピクチャのブロックの符号化に用いられた動きベクトルを利用して、符号化ベクトルを伝送することなく動き補償予測を実現するダイレクト動き補償予測が用いられている。
【０００６】
また、他の符号化ベクトルを伝送しない手法として、処理対象ブロックに隣接するブロックの動き情報を利用して、動き補償予測を実現する動き補償予測が知られている（例えば、特許文献１参照）。
【０００７】
特許文献１のように、符号化ベクトルを伝送しない動き補償予測は、予測対象ブロックと予測対象ブロックに隣接する符号化済ブロックにおける空間方向の動きの連続性に着目することで、他のブロックの動き情報をそのまま利用する。これにより、差分ベクトルを符号化ベクトルとして符号化せずに符号化効率を向上させている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１０−２７６４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、隣接ブロックの動き情報である参照画像の指定情報をそのまま用いて動き補償を行う場合、さまざまな参照画像から動き補償予測を行う可能性があり、動き補償予測に必要なメモリバンド幅が増大する。
【００１０】
本発明はこうした状況に鑑みてなされたものであり、その目的は、隣接ブロックの動き情報を使用して符号化を行う場合に、処理負荷が少なく、動き情報の符号化効率を向上させる技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある態様の画像復号装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号装置であって、復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成部（２６０５）と、前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号部（２６００）と、前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号部（６０２）と、復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算部（６０４）とを備える。前記動き情報候補リスト生成部（２６０５）は、所定の大きさ以下の前記復号対象予測ブロックでは、前記動き情報候補に含まれる参照画像の指定情報を同一の値に設定する。
【００１２】
本発明の別の態様もまた、画像復号装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号装置であって、復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成部（２６０５）と、前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号部（２６００）と、前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号部（６０２）と、復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算部（６０４）とを備える。前記動き情報候補リスト生成部（２６０５）は、所定の大きさの領域内の復号順で二番目以降に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報を、前記所定の大きさの領域内の復号順で一番目に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報と同一の値に設定する。
【００１３】
本発明のさらに別の態様は、画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号方法であって、復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとを備える。前記動き情報候補リスト生成ステップは、所定の大きさ以下の前記復号対象予測ブロックでは、前記動き情報候補に含まれる参照画像の指定情報を同一の値に設定する。
【００１４】
本発明のさらに別の態様もまた、画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号方法であって、復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとを備える。前記動き情報候補リスト生成ステップは、所定の大きさの領域内の復号順で二番目以降に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報を、前記所定の大きさの領域内の復号順で一番目に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報と同一の値に設定する。
【００１５】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１６】
本発明によれば、隣接ブロックの動き情報を利用した動き補償予測を行うことで符号化効率を維持しつつ、動き補償予測のメモリバンド幅削減等により処理の複雑度を抑制することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１に係る動画像符号化装置の構成を示す図である。
【図２】符号化対象画像の一例を示す図である。
【図３】予測ブロックサイズの詳細な定義を示す図である。
【図４】図４（ａ）〜（ｄ）は、動き補償予測の予測方向について説明するための図である。
【図５】本発明の実施の形態１に係る動画像符号化装置における符号化処理の動作の流れ示すフローチャートである。
【図６】本発明の実施の形態１に係る動画像復号装置の構成を示す図である。
【図７】本発明の実施の形態１に係る動画像復号装置における復号処理の動作の流れを示すフローチャートである。
【図８】図８（ａ）、（ｂ）は、本発明の実施の形態１における動き補償予測において使用される動き情報を符号化するための２つの予測モードを説明するための図である。
【図９】動き補償予測および動き補償予測を実施しない画面内予測における、動き補償の予測方向と、参照画像を定義する情報、及び符号化する動きベクトル数の関連に関して説明するための図である。
【図１０】実施の形態１の動画像符号化装置におけるモード判定部の詳細な構成を示す図である。
【図１１】結合動き情報算出部の構成を示す図である。
【図１２】図１０の予測モード判定部を介して動作する、図５のステップＳ５０２である動き補償予測モード／予測信号生成の動作について説明するためのフローチャートである。
【図１３】図１２のステップＳ１２００における結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。
【図１４】空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。
【図１５】空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。
【図１６】時間結合動き情報候補リスト生成に用いる時間候補ブロック群を示す図である。
【図１７】時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。
【図１８】時間結合動き情報に対する基準動きベクトル値ｍｖＣｏｌに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。
【図１９】図１２のステップＳ１２０１における結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【図２０】実施の形態１に係る、結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を示す図である。
【図２１】図１２のステップＳ１２０２の詳細動作を説明するためのフローチャートである。
【図２２】図１２のステップＳ１２０３の詳細動作を説明するためのフローチャートである。
【図２３】図５のステップＳ５０４の詳細動作を説明するためのフローチャートである。
【図２４】実施の形態１における動き予測フラグの一例を示す図である。
【図２５】図２３のフローチャートで示した、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスの一例を示す図である。
【図２６】図６に示した実施の形態１の動画像復号装置における動き情報復号部の詳細な構成を示す図である。
【図２７】図７のステップＳ７０１の詳細動作を説明するためのフローチャートである。
【図２８】実施の形態２に係る、空間結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【図２９】実施の形態２に係る、時間結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【図３０】結合動き情報候補リストの生成の様子を示す図である。
【図３１】実施の形態１に係る、参照画像指定情報の例である。
【図３２】実施の形態２に係る、参照画像指定情報の例である。
【発明を実施するための形態】
【００１８】
以下、図面とともに本発明の実施の形態に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラムの好適な実施の形態について詳細に説明する。なお、図面の説明には同一要素には同一符号を付与して重複する説明を省略する。
【００１９】
（実施の形態１）
［動画像符号化装置全体構成］
図１は、本発明の実施の形態１に係る動画像符号化装置の構成を示す図である。以下、各部の動作について説明する。実施の形態１に係る動画像符号化装置は、入力端子１００、減算部１０１、直交変換・量子化部１０２、予測誤差符号化部１０３、逆量子化・逆変換部１０４、加算部１０５、復号画像メモリ１０６、動きベクトル検出部１０７、動き補償予測部１０８、予測モード判定部１０９、動き情報符号化部１１０、動き情報メモリ１１１、多重化部１１２、及び出力端子１１３を備える。
【００２０】
入力端子１００より入力される画像信号から符号化処理対象の予測ブロックの画像信号が、予測ブロックの位置情報と予測ブロックサイズに基づいて切り出され、予測ブロックの画像信号は、減算部１０１、動きベクトル検出部１０７及び予測モード判定部１０９に供給される。
【００２１】
図２は、符号化対象画像の一例を示す図である。実施の形態１に係る予測ブロックサイズに関しては、図２に示すように符号化対象画像が６４×６４画素の符号化ブロック（ＣＵ）単位で符号化処理され、予測ブロックは符号化ブロックが更に分割された単位で構成される。最大予測ブロックサイズは符号化ブロックと同じ６４×６４画素で、最小予測ブロックサイズは４×４画素である。符号化ブロックの予測ブロックへの分割構成は、非分割（２Ｎ×２Ｎ）、水平・垂直への分割（Ｎ×Ｎ）、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ）が可能である。水平・垂直への分割の場合のみ、更に分割された予測ブロックを符号化ブロックとして階層的に予測ブロックに分割でき、その階層をＣＵ分割数で表現する。
【００２２】
図３は、予測ブロックサイズの詳細な定義を示す図である。ＣＵ分割数が０であって最大の予測ブロックサイズである６４画素×６４画素から、ＣＵ分割数が３であって最小の予測ブロックサイズである４画素×４画素までの１３の予測ブロックサイズが存在することになる。
【００２３】
本発明の実施の形態１に係る予測ブロックの分割構成に関して、この組み合わせに限定されない。また、動画像符号化装置における予測ブロックサイズの選択は、符号化ブロック単位で符号化効率のより良い構造を適応的に選択することが可能であるが、実施の形態１は予測ブロック単位での画面間予測及び画面間動き情報の符号化に注目したものであるため、最適な予測ブロックサイズの選択に関する構成要素及び説明を省略する。以降の動画像符号化装置の動作に関しては、選択した予測ブロックサイズ単位で施される動作を説明する。
【００２４】
図１に戻り、減算部１０１は、入力端子１００より供給される画像信号と予測モード判定部１０９より供給される予測信号を減算して予測誤差信号を算出し、予測誤差信号を直交変換・量子化部１０２に供給する。
【００２５】
直交変換・量子化部１０２は、減算部１０１より供給される予測誤差信号に直交変換及び量子化を施し、量子化された予測誤差信号を予測誤差符号化部１０３及び逆量子化・逆変換部１０４に供給する。
【００２６】
予測誤差符号化部１０３は、直交変換・量子化部１０２より供給される量子化された予測誤差信号をエントロピー符号化して、予測誤差信号に対する符号列を生成して、多重化部１１２に供給する。
【００２７】
逆量子化・逆変換部１０４は、直交変換・量子化部１０２より供給される量子化された予測誤差信号に対して、逆量子化や逆直交変換などの処理を行い、復号予測誤差信号を生成し加算部１０５に供給する。
【００２８】
加算部１０５は、逆量子化・逆変換部１０４より供給される復号予測誤差信号と、予測モード判定部１０９より供給される予測信号を加算して、復号画像信号を生成し、復号画像信号を復号画像メモリ１０６に供給する。
【００２９】
復号画像メモリ１０６は、加算部１０５より供給される復号画像信号を格納する。また、画像全体の復号が完了した復号画像については参照画像として１以上の所定画像数記憶し、参照画像信号を動きベクトル検出部１０７と動き補償予測部１０８に供給する。
【００３０】
動きベクトル検出部１０７は、入力端子１００より供給される予測ブロックの画像信号と、復号画像メモリ１０６に記憶された参照画像信号の入力を受けて、各参照画像に対する動きベクトルを検出し、動きベクトル値を予測モード判定部１０９に供給する。
【００３１】
一般的な動きベクトルの検出方法は、画像信号と同一位置より所定の移動量だけ移動させた参照画像に相当する画像信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、画素毎の差分絶対値の総和ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、画素毎の二乗誤差値の総和ＳＳＥ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｅｒｒｏｒ）等を利用する。さらに、動きベクトルの符号化に関わる符号量も誤差評価値に含めることも可能である。
【００３２】
動き補償予測部１０８は、予測モード判定部１０９より指定される参照画像指定情報と、動きベクトル値に従って、復号画像メモリ１０６内の参照画像指定情報で示される参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。
【００３３】
予測モード判定部１０９より指定される予測モードが片方向予測の場合には、１つの参照画像から取得した予測信号を動き補償予測信号とし、予測モードが双方向予測の場合には、２つの参照画像から取得した予測信号を重みづけ平均したものを動き補償予測信号とし、動き補償予測信号を予測モード判定部１０９に供給する。ここでは双方向予測の重みづけ平均の比率を１：１とする。
【００３４】
図４（ａ）〜（ｄ）は、動き補償予測の予測方向について説明するための図である。単一の参照画像からの予測を行う処理を片方向予測と定義し、片方向の場合はＬ０方向またはＬ１方向という２つの参照画像管理リストに登録された参照画像のいずれか一方を利用する。
【００３５】
図４（ａ）は片方向であってＬ０方向の参照画像（ＲｅｆＬ０Ｐｉｃ）が符号化対象画像（ＣｕｒＰｉｃ）より前の時刻にある場合を示している。図４（ｂ）は片方向であってＬ０方向の参照画像が符号化対象画像より後の時刻にある場合を示している。同様に、図４（ａ）および図４（ｂ）のＬ０方向の参照画像をＬ１方向の参照画像（ＲｅｆＬ１Ｐｉｃ）に置き換えて片方向予測を行うこともできる。
【００３６】
２つの参照画像からの予測を行う処理を双方向予測と定義し、双方向の場合はＬ０方向とＬ１方向の双方を利用してＢＩ方向と表現する。図４（ｃ）は双方向であってＬ０方向の参照画像が符号化対象画像より前の時刻にあって、Ｌ１方向の参照画像が符号化対象画像より後の時刻にある場合を示している。図４（ｄ）は双方向であってＬ０方向の参照画像とＬ１方向の参照画像が符号化対象画像より前の時刻にある場合を示している。このように、Ｌ０／Ｌ１の予測方向と時間の関係は、Ｌ０が過去方向、Ｌ１が未来方向とは限定されずに用いることが可能である。
【００３７】
実施の形態１では、参照画像及び符号化対象画像の時刻を示す情報としてＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）を用いる。ＰＯＣはＡＶＣで定義された画像の表示順序を示すカウンタである。画像の表示順序が１増加するとＰＯＣも１増加する。したがって、画像間のＰＯＣ差から画像間の時間差（距離）を取得できる。
【００３８】
図１に戻り、予測モード判定部１０９は、動きベクトル検出部１０７より入力される各参照画像に対して検出された動きベクトル値と、動き情報メモリ１１１に格納された動き情報（予測方向、動きベクトル値、及び参照画像指定情報）をもとに、実施の形態１において定義した動き補償予測モードのそれぞれに対して用いられる、参照画像指定情報と動きベクトル値を動き補償予測部１０８に設定する。設定した値によって、動き補償予測部１０８から供給される動き補償予測信号と、入力端子１００より供給される予測ブロックの画像信号を用いて、最適な動き補償予測モードを決定する。
【００３９】
予測モード判定部１０９は、決定した予測モード、及び予測モードに応じた予測方向、動きベクトル、及び予測対象ブロックが所定サイズよりも大きい場合には参照画像指定情報を特定する情報を、動き情報符号化部１１０に供給し、決定した予測モード及びその予測モードに対する、予測方向、動きベクトル値、及び参照画像指定情報を動き情報メモリ１１１に供給すると共に、減算部１０１及び加算部１０５に決定した予測モードに対応する予測信号を供給する。
【００４０】
動画像符号化装置において、基準とする参照画像を符号化するために同一画面内の符号化済画像を用いて予測を行う画面内予測が行われるが、実施の形態１は画面間予測に注目したものであるため、画面内予測に関連する構成要素は省略する。予測モード判定部１０９の詳細な構成については後述する。
【００４１】
動き情報符号化部１１０は、予測モード判定部１０９より供給される予測モード、及び予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を所定のシンタックス構造に従って符号化することで、動き情報の符号列を生成し、多重化部１１２に供給する。動き情報符号化部１１０の詳細な構成については後述する。
【００４２】
動き情報メモリ１１１は、予測モード判定部１０９より供給される動き情報（予測方向、動きベクトル、及び参照画像インデックス）を、最小予測ブロックサイズ単位を基準として所定画像分記憶する。処理対象の予測ブロックの隣接ブロックを空間候補ブロック群とし、復号済みの参照画像ＣｏｌＰｉｃ上で処理対象の予測ブロックと同一位置にあるブロックとその周辺ブロックを時間候補ブロック群とする。
【００４３】
ＣｏｌＰｉｃとは、処理対象の画像とは別の復号済みの画像であって、復号画像メモリ１０６に参照画像として記憶されている。実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像としたが、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中に、ＣｏｌＰｉｃに用いる参照画像を直接指定することも可能である。
【００４４】
動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として予測モード判定部１０９に供給する。多重化部１１２は、予測誤差符号化部１０３から供給される予測誤差の符号化列と、動き情報符号化部１１０から供給される動き情報の符号化列を多重化することで符号化ビットストリームを生成し、出力端子１１３経由で、記録媒体・伝送路等に当該符号化ビットストリームを出力する。
【００４５】
図１に示した動画像符号化装置の構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。
【００４６】
図５は、本発明の実施の形態１に係る動画像符号化装置における符号化処理の動作の流れ示すフローチャートである。予測ブロック単位毎に、入力端子１００より処理対象の予測ブロック画像を取得する（Ｓ５００）。動きベクトル検出部１０７は、処理対象の予測ブロック画像と復号画像メモリ１０６に格納された複数の参照画像より、参照画像毎の動きベクトル値を算出する（Ｓ５０１）。
【００４７】
続いて、予測モード判定部１０９は、動きベクトル検出部１０７より供給される動きベクトルと、動き情報メモリ１１１に格納された動き情報を用いて、実施の形態１において定義した各動き補償予測モードに対する予測信号を、動き補償予測部１０８を用いて取得し、最適な予測モードを選択し、予測信号を生成する（Ｓ５０２）。ステップＳ５０２の処理の詳細については後述する。
【００４８】
続いて、減算部１０１は、処理対象の予測ブロック画像と予測モード判定部１０９より供給された予測信号との差分を予測誤差信号として算出する（Ｓ５０３）。動き情報符号化部１１０は、予測モード判定部１０９より供給される予測モード、及び予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を所定のシンタックス構造に従って符号化し、動き情報の符号化データを生成する（Ｓ５０４）。ステップＳ５０４の処理の詳細については後述する。
【００４９】
続いて、予測誤差符号化部１０３は、直交変換・量子化部１０２で生成された量子化された予測誤差信号をエントロピー符号化して、予測誤差の符号化データを生成する（Ｓ５０５）。多重化部１１２は、動き情報符号化部１１０から供給される動き情報の符号化データと、予測誤差符号化部１０３から供給される予測誤差の符号化データを多重化し、符号化ビットストリームを生成する（Ｓ５０６）。
【００５０】
加算部１０５は、逆量子化・逆変換部１０４より供給される復号予測誤差信号と、予測モード判定部１０９より供給される予測信号を加算して、復号画像信号を生成する（Ｓ５０７）。加算部１０５によって、生成された復号画像信号が復号画像メモリ１０６に供給、格納され、以降に符号化する符号化画像の動き補償予測処理に用いられる（Ｓ５０８）。動き情報メモリ１１１は、動きベクトル検出部１０７より供給される動き情報（予測方向、動きベクトル、及び参照画像指定情報）を最小の予測ブロックサイズ単位で格納する（Ｓ５０９）。
【００５１】
［動画像復号装置全体構成］
図６は、本発明の実施の形態１に係る動画像復号装置の構成を示す図である。以下、各部の動作について説明する。実施の形態１に係る動画像復号装置は、入力端子６００、多重分離部６０１、予測差分情報復号部６０２、逆量子化・逆変換部６０３、加算部６０４、復号画像メモリ６０５、動き情報復号部６０６、動き情報メモリ６０７、動き補償予測部６０８、及び出力端子６０９を備える。
【００５２】
入力端子６００より符号化ビットストリームが多重分離部６０１に供給される。多重分離部６０１は、供給された符号化ビットストリームの符号列を予測誤差情報の符号化列と、予測モード、並びに予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報で構成される動き情報の符号化列に分離する。当該予測誤差情報の符号化列を予測差分情報復号部６０２に供給し、当該動き情報の符号化列を動き情報復号部６０６に供給する。
【００５３】
予測差分情報復号部６０２は、多重分離部６０１より供給された予測誤差情報の符号化列を復号し、量子化された予測誤差信号を生成する。予測差分情報復号部６０２は、生成した量子化された予測誤差信号を逆量子化・逆変換部６０３に供給する。
【００５４】
逆量子化・逆変換部６０３は、予測差分情報復号部６０２より供給される量子化された予測誤差信号を逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、復号予測誤差信号を加算部６０４に供給する。
【００５５】
加算部６０４は、逆量子化・逆変換部６０３より供給される復号予測誤差信号と、動き補償予測部６０８より供給される予測信号を加算して復号画像信号を生成し、復号画像信号を復号画像メモリ６０５に供給する。
【００５６】
復号画像メモリ６０５は、図１の動画像符号化装置における復号画像メモリ１０６と同じ機能を有し、加算部６０４から供給された復号画像信号を格納し、参照画像信号を動き補償予測部６０８に供給する。また、復号画像メモリ６０５は、格納された復号画像信号を再生時刻に合わせて、画像の表示順序に従い出力端子６０９に供給する。
【００５７】
動き情報復号部６０６は、多重分離部６０１より供給される動き情報の符号化列より、予測モード、並びに予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を動き情報として復号する。復号した動き情報と、動き情報メモリ６０７より供給される候補ブロック群の動き情報より、動き補償予測に用いる予測方向、動きベクトル及び参照画像指定情報を再生し、動き補償予測部６０８に供給する。また、動き情報復号部６０６は再生した動き情報を、動き情報メモリ６０７に供給する。動き情報復号部６０６の詳細な構成については後述する。
【００５８】
動き情報メモリ６０７は、図１の動画像符号化装置における動き情報メモリ１１１と同じ機能を持ち、動き情報復号部６０６より供給される再生した動き情報を最小予測ブロックサイズ単位を基準として所定画像分記憶する。また、動き情報メモリ６０７は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として動き情報復号部６０６に供給する。
【００５９】
動き補償予測部６０８は、図１の動画像符号化装置における動き補償予測部１０８と同じ機能を持ち、動き情報復号部６０６より供給される動き情報に基づいて、復号画像メモリ６０５内の参照画像指定情報が示す参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。動き補償予測の予測方向が双方向であれば、各予測方向の予測信号を平均したものを予測信号として生成し、予測信号を加算部６０４に供給する。
【００６０】
出力端子６０９は、復号画像メモリ６０５より供給された復号画像信号を、ディスプレイなどの表示媒体に出力することで、復号画像信号が再生される。
【００６１】
図６に示した動画像復号装置の構成も、図１に示した動画像符号化装置の構成と同様に、ＣＰＵ、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。
【００６２】
図７は、本発明の実施の形態１に係る動画像復号装置における復号処理の動作の流れを示すフローチャートである。多重分離部６０１は、入力端子６００より供給された符号化ビットストリームを予測誤差情報の符号化列と、動き情報の符号化列に分離する（Ｓ７００）。分離された動き情報の符号化列は動き情報復号部６０６に供給され、動き情報メモリ６０７より供給される候補ブロック群の動き情報を用いて、復号対象ブロックの動き情報を復号する（Ｓ７０１）。
【００６３】
分離された予測誤差情報の符号化列は、予測差分情報復号部６０２に供給され、量子化された予測誤差信号として復号され、逆量子化・逆変換部６０３で逆量子化や逆直交変換などの処理を施されることで、復号予測誤差信号が生成される（Ｓ７０２）。ステップＳ７０２の処理の詳細については後述する。
【００６４】
動き情報復号部６０６より、復号対象ブロックの動き情報が動き補償予測部６０８に供給され、動き補償予測部６０８は動き情報にしたがって動き補償予測を行い予測信号を算出する（Ｓ７０３）。加算部６０４は、逆量子化・逆変換部６０３から供給された復号予測誤差信号と、動き補償予測部６０８から供給された予測信号とを加算し、復号画像信号を生成する（Ｓ７０４）。
【００６５】
加算部６０４より供給された復号画像信号は、復号画像メモリ６０５に格納される（Ｓ７０５）と共に、動き情報復号部６０６より供給された復号対象ブロックの動き情報が動き情報メモリ６０７に格納される（Ｓ７０６）。これで、予測ブロック単位の復号処理が終了する。
【００６６】
［実施の形態１の詳細機能説明］
本発明の実施の形態１に係る動画像符号化装置の予測モード判定部１０９及び動き情報符号化部１１０の動作、図５のフローチャートにおけるステップＳ５０２及びステップＳ５０４の処理、並びに本発明の実施の形態１に係る動画像復号装置における動き情報復号部６０６の動作、図７のフローチャートにおけるステップＳ７０２の処理の詳細動作を、以下説明する。
【００６７】
［実施の形態１における動き補償予測モードの定義］
図８（ａ）、（ｂ）は、本発明の実施の形態１における動き補償予測において使用される動き情報を符号化するための２つの予測モードを説明するための図である。第一の予測モードは、予測対象ブロックと当該予測対象ブロックに隣接する符号化済ブロックにおける時間方向や空間方向の動きの連続性を用いて、当該予測対象ブロックは自身の動き情報を直接符号化せずに、空間及び時間的に隣接するブロックの動き情報を符号化に使用する手法であり、結合予測モード（マージモード）と呼ぶ。
【００６８】
結合予測モードの場合には、複数の隣接ブロック候補より選択的に結合する動き情報が定義でき、動き情報は使用する隣接ブロックを指定する情報（インデックス）を符号化することで、指定情報をもとに取得した動き情報をそのまま動き補償予測に用いる。更に、結合予測モードにおいては、予測差分情報を符号化伝送せずに、結合予測モードで予測された予測信号を復号ピクチャとするＳｋｉｐモードを定義し、結合した動き情報のみの少ない情報で復号画像が再生できる構成を有する。Ｓｋｉｐモードにおいて伝送する動き情報は、結合予測モードと同様に隣接ブロックを定義する指定情報となる。
【００６９】
第二の予測モードは、動き情報の構成要素を個別にすべて符号化し、予測ブロックに対して予測誤差の少ない動き情報を伝送する手法であり、動き検出予測モードと呼ぶ。動き検出予測モードは、従来の動き補償予測の動き情報の符号化と同様に、参照画像を特定するための情報（参照画像インデックス）と、動きベクトルを特定するための情報が別々に符号化される。
【００７０】
動き検出予測モードには、片方向予測と双方向予測のどちらを使用するか予測モードで指示し、片方向予測の場合には１つの参照画像に対する参照画像を特定する情報と、動きベクトルの予測ベクトルとの差分ベクトルを符号化する。双方向予測の場合には２つの参照画像に対する参照画像を特定する情報と、動きベクトルがそれぞれ個別に符号化される。動きベクトルに対する予測ベクトルは、ＡＶＣと同様に隣接ブロックの動き情報から生成されるが、結合予測モードと同様に、複数の隣接ブロック候補より予測ベクトルに用いる動きベクトルを選択できる。動き検出予測モードにおいては、予測ベクトルに使用する隣接ブロックを指定する情報（インデックス）は、結合予測モードにおける動き情報と同一の候補より指定する。ただし、動き検出予測モードの予測ベクトルの候補は結合予測モードと同一のものに限定されない。動き検出予測モードの動きベクトルは予測ベクトルに使用する隣接ブロックを指定する情報（インデックス）と差分ベクトルの２つを符号化することで伝送される。
【００７１】
図９は、動き補償予測および動き補償予測を実施しない画面内予測における、動き補償の予測方向と、参照画像を定義する情報、及び符号化する動きベクトル数の関連に関して説明するための図である。
【００７２】
動き検出予測モードの内、予測方向が片方向である片方向予測モード（ＵｎｉＰｒｅｄ）の場合は、符号化する動き情報として１つの符号化ベクトル（差分ベクトル）、１つの参照画像インデックス、１つの予測ベクトルインデックスが伝送される。
【００７３】
同様に予測方向が双方向である双方向予測モード（ＢｉＰｒｅｄ）の場合は、符号化する動き情報として２つの符号化ベクトル（差分ベクトル）、２つの参照画像インデックス、１つの結合動き情報インデックスが伝送される。
【００７４】
結合予測モード（マージモード）の場合には、１つの結合動き情報インデックスのみが符号化する動き情報として伝送され、動き情報に基づいて片方向もしくは双方向の動き補償予測が施される。
【００７５】
動き補償予測を実施しない予測符号化モードであるイントラモード（Ｉｎｔｒａ）においては、動き情報は符号化されず、画面内予測に用いる情報が符号化される。
【００７６】
隣接する動き情報との時間的・空間的な相関性が高い場合には、結合予測モードが有効な動き補償予測モードとして選択される。相関性が低い場合もしくは一部の動き情報のみが有効に予測ブロックの動き情報として利用できる場合には、動き検出予測モードが有効な動き補償予測モードとして選択される。
【００７７】
［実施の形態１における動画像符号化装置における予測モード判定部の詳細動作説明］
図１０は、実施の形態１の動画像符号化装置における予測モード判定部１０９の詳細な構成を示す図である。予測モード判定部１０９は、最適な動き補償予測モードを決定する機能を有する。
【００７８】
予測モード判定部１０９は、片方向動き補償予測生成部１０００、双方向動き補償予測生成部１００１、予測誤差算出部１００２、予測ベクトル算出部１００３、差分ベクトル算出部１００４、動き情報符号量算出部１００５、予測モード評価部１００６、結合動き情報算出部１００７、及び結合動き補償予測生成部１００８を含む。
【００７９】
図１における予測モード判定部１０９に対して、動きベクトル検出部１０７より入力された動きベクトル値が、片方向動き補償予測生成部１０００、及び双方向動き補償予測生成部１００１に供給され、動き情報メモリ１１１より入力された動き情報が、結合動き情報算出部１００７に供給される。
【００８０】
また、動き補償予測部１０８に対して、片方向動き補償予測生成部１０００、双方向動き補償予測生成部１００１、及び結合動き補償予測生成部１００８から、動き補償予測に用いる参照画像指定情報と動きベクトルが出力される。また、動き補償予測部１０８より、生成された動き補償予測画像が予測誤差算出部１００２に供給される。予測誤差算出部１００２には更に、入力端子１００より符号化対象となる予測ブロックの画像信号が供給される。
【００８１】
また、予測モード評価部１００６から、動き情報符号化部１１０に対して符号化する動き情報と確定した予測モード情報を供給し、動き情報メモリ１１１に動き情報を供給し、動き補償予測信号を減算部１０１及び加算部１０５に供給する。
【００８２】
片方向動き補償予測生成部１０００は、片方向予測に使用可能な各参照画像に対して算出された動きベクトル値を受信し、参照画像指定情報を予測ベクトル算出部１００３に供給し、参照画像指定情報と動きベクトルを動き補償予測部１０８に出力する。
【００８３】
双方向動き補償予測生成部１００１も同様に、双方向予測に使用可能な各参照画像に対して算出された動きベクトル値を受信し、それぞれの参照画像に対する参照画像指定情報を予測ベクトル算出部１００３に供給し、それぞれの参照画像に対する参照画像指定情報と動きベクトルを動き補償予測部１０８に出力する。
【００８４】
予測誤差算出部１００２は、入力された動き補償予測画像と処理対象の予測ブロック画像より、予測誤差評価値を算出する。誤差評価値を算出するための演算としては、動きベクトル検出における誤差評価値と同様に、画素毎の差分絶対値の総和ＳＡＤや、画素毎の二乗誤差値の総和ＳＳＥ等を使用できる。更に、予測残差の符号化を行う際に施される、直交変換・量子化を行うことによって復号画像に生じる歪成分の量を加味することで、より正確な誤差評価値が算出可能である。この場合には、予測誤差算出部１００２内に、図１における減算部１０１、直交変換・量子化部１０２、逆量子化・逆変換部１０４、加算部１０５の機能を有することで実現できる。予測誤差算出部１００２は、各予測モードにおいて算出された予測誤差評価値と、動き補償予測信号を予測モード評価部１００６に供給する。
【００８５】
予測ベクトル算出部１００３は、片方向動き補償予測生成部１０００及び双方向動き補償予測生成部１００１より参照画像指定情報を供給され、結合動き情報算出部１００７から供給される結合動き情報候補リストより、登録された結合動き情報候補のそれぞれに対して、動き情報より指定された参照画像に対する動きベクトル値を特定する。そして、複数の予測ベクトルを結合動き情報候補リストと共に生成し、差分ベクトル算出部１００４に、参照画像指定情報と共に供給する。
【００８６】
差分ベクトル算出部１００４は、予測ベクトル算出部１００３より供給された、予測ベクトル候補のそれぞれに対して、片方向動き補償予測生成部１０００及び双方向動き補償予測生成部１００１から供給される動きベクトル値との差分を計算し、差分ベクトル値を算出する。算出された差分ベクトル値と予測ベクトル候補に対する指定情報である予測ベクトルインデックスを符号化した際の符号量が最も少ない情報量で表現出来る、予測ベクトルインデックスと差分ベクトルの組合せが特定される。最も少ない情報量で表現出来る、予測ベクトルインデックスと差分ベクトル値を参照画像指定情報と共に、動き情報符号量算出部１００５に供給する。
【００８７】
動き情報符号量算出部１００５は、差分ベクトル算出部１００４より供給される、片方向予測モード及び双方向予測モードの差分ベクトル値、参照画像指定情報、予測ベクトルインデックス、予測モードより、各予測モードにおける動き情報に要する符号量を算出する。また、動き情報符号量算出部１００５は、結合動き補償予測生成部１００８より、結合予測モードにおいて伝送する必要がある、結合動き情報インデックスと予測モードを示すための情報を受け取り、結合予測モードにおける動き情報に要する符号量を算出する。動き情報符号量算出部１００５は、各予測モードにおいて算出された動き情報及び動き情報に要する符号量を予測モード評価部１００６に供給する。
【００８８】
予測モード評価部１００６は、予測誤差算出部１００２より供給された各予測モードの予測誤差評価値と、動き情報符号量算出部１００５から供給された各予測モードの動き情報符号量を用いて、各予測モードの総合動き補償予測誤差評価値を算出し、最も少ない評価値である予測モードを選択し、選択した予測モードと選択した予測モードに対する動き情報を、動き情報符号化部１１０及び動き情報メモリ１１１に出力する。また、予測モード評価部１００６は同様に、予測誤差算出部１００２より供給された動き補償予測信号に対して、選択した予測モードにおける予測信号を選択して減算部１０１及び加算部１０５に出力する。
【００８９】
結合動き情報算出部１００７は、動き情報メモリ１１１より供給される隣接ブロックの動き情報における候補ブロック群を用いて、片方向であるか双方向であるかを示す予測方向、参照画像指定情報、動きベクトル値で構成される動き情報として、複数の動き情報を結合動き情報候補リストと共に生成し、結合動き補償予測生成部１００８に供給する。
【００９０】
図１１は、結合動き情報算出部１００７の構成を示す図である。結合動き情報算出部１００７は、結合動き情報候補リスト生成部１１００及び結合動き情報候補リスト削除部１１０１を含む。結合動き情報算出部１００７は、候補ブロック群より所定の順番で動き情報の候補を作成し、その中から、動き情報の各要素（予測方向、参照画像指定情報、及び動きベクトル値）が全て同一の値を示している候補を削除することで、有効な動き情報のみを結合動き情報候補として登録する。結合動き情報算出部１００７の詳細動作に関しては、後述する。
【００９１】
図１０に戻り、結合動き補償予測生成部１００８は、結合動き情報算出部１００７より供給された結合動き情報候補リストより、登録された結合動き情報候補のそれぞれに対して、動き情報より、予測方向に応じて１つの参照画像（片方向）もしくは２つの参照画像（双方向）の参照画像指定情報と動きベクトル値を動き補償予測部１０８に指定して、動き補償予測画像を生成すると共に、それぞれの結合動き情報インデックスを動き情報符号量算出部１００５に供給する。結合動き補償予測生成部１００８の詳細動作に関しては、後述する。
【００９２】
図１０の構成では、それぞれの結合動き情報インデックスにおける予測モード評価は、予測モード評価部１００６で施されるが、予測誤差評価値及び動き情報符号量を予測誤差算出部１００２及び動き情報符号量算出部１００５より受け取り、結合動き補償予測生成部１００８内で、最適な結合動き補償予測の結合動きインデックスを確定させた後に、他の予測モードを含めた最適予測モードの評価を行う構成を取ることも可能である。
【００９３】
図１２は、図１０の予測モード判定部１０９を介して動作する、図５のステップＳ５０２である動き補償予測モード／予測信号生成の動作について説明するためのフローチャートである。最初に、結合動き情報候補リスト生成を行い（Ｓ１２００）、結合予測モード評価値を生成する（Ｓ１２０１）。
【００９４】
続いて、片方向予測モード評価値を生成し（Ｓ１２０２）、双方向予測モード評価値を生成し（Ｓ１２０３）、生成した評価値を比較することで最適な予測モードを選択する（Ｓ１２０４）。ただし、ステップＳ１２０１、ステップＳ１２０２、及びステップＳ１２０３の評価値生成の順序はこの順序に限らない。
【００９５】
選択された予測モードに従い予測信号を出力し（Ｓ１２０５）、選択された予測モードに従い動き情報を出力する（Ｓ１２０６）ことで、予測ブロック単位の動き補償予測モード／予測信号生成処理が終了する。ステップＳ１２００、ステップＳ１２０１、ステップＳ１２０２、及びステップＳ１２０３の詳細動作に関しては後述する。
【００９６】
図１３は、図１２のステップＳ１２００における結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。この動作は、図１０の結合動き情報算出部１００７における構成の詳細動作を示している。図１１の結合動き情報候補リスト生成部１１００は、動き情報メモリ１１１より供給される空間候補ブロック群から領域外である候補ブロックやイントラモードである候補ブロックを除いた候補ブロック群から、空間結合動き情報候補リストを生成する（Ｓ１３００）。空間結合動き情報候補リスト生成の詳細な動作は後述する。
【００９７】
結合動き情報候補リスト生成部１１００は、続いて動き情報メモリ１１１より供給される時間候補ブロック群から領域外である候補ブロックやイントラモードである候補ブロックを除いた候補ブロック群から、時間結合動き情報候補リストを生成する（Ｓ１３０１）。時間結合動き情報候補リスト生成の詳細な動作は後述する。
【００９８】
続いて、結合動き情報候補リスト削除部１１０１において、生成された空間結合動き情報候補リストと時間結合動き情報候補リストを統合した結合動き情報候補リストより、重複している動き情報を持つ結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残して削除して動き情報候補リストを更新する（Ｓ１３０２）。
【００９９】
最後に、上記処理において隣接ブロックに有効な動き情報が存在せず、結合動き情報候補が存在しない場合（Ｓ１３０３：ＹＥＳ）、固定の動き情報を結合動き情報候補リストに追加して（Ｓ１３０４）、処理を終了する。実施の形態１では固定の動き情報として、予測方向が双方向で、参照画像指定情報（インデックス）が０、２つの動きベクトル値が共に（０，０）の値を設定する。実施の形態１における固定の動き情報としては、上記設定には限定されず、暗黙的に指定できる手法で設定されることにより、動画像復号装置においても同じ動き情報が再現できる。なお、上記処理において隣接ブロックに有効な動き情報が存在し、結合動き情報候補が存在する場合（Ｓ１３０３：ＮＯ）、ステップＳ１３０４をスキップして、処理を終了する。
【０１００】
動き情報メモリ１１１より、結合動き情報算出部１００７に供給される動き情報の候補ブロック群には、空間候補ブロック群と時間候補ブロック群が含まれる。まず、空間結合動き情報候補リスト生成について説明する。
【０１０１】
図１４は、空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。空間候補ブロック群は、符号化対象画像の予測対象ブロックに隣接している同一画像のブロックを示す。ブロック群は、その管理が最小予測ブロックサイズ単位で行われ、図１４に示すようなＡ０〜Ａ４、Ｂ０〜Ｂ５の位置のブロックが隣接するブロック群となる。候補ブロックの位置は、最小予測ブロックサイズの単位で管理されるが、隣接ブロックの予測ブロックサイズが最小予測ブロックサイズよりも大きな場合には、予測ブロックサイズ内の全ての候補ブロックに同一の動き情報が格納される。実施の形態１においては、これら隣接するブロック群の内、空間候補ブロック群をブロックＡ１、ブロックＢ１、ブロックＢ０、ブロックＡ０、ブロックＢ５の５ブロックとする。
【０１０２】
図１５は、空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。空間候補ブロック群に含まれる５つの候補ブロックであるブロックＡ１、ブロックＢ１、ブロックＢ０、ブロックＡ０、ブロックＢ５について以下の処理を繰り返し行う（Ｓ１５００からＳ１５０９）。
【０１０３】
最初に候補ブロックの有効性を検査する（Ｓ１５０１）。候補ブロックが領域外でなくイントラモードでない場合（Ｓ１５０１：ＹＥＳ）、候補ブロックは有効となる。次に、予測対象ブロックが所定サイズよりも大きい場合（Ｓ１５０２：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ１５０３）。予測対象ブロックが所定サイズよりも大きくない場合（Ｓ１５０２：ＮＯ）、動き情報が片方向である場合（Ｓ１５０４：ＹＥＳ）には、Ｌ０方向の参照画像インデックスが０であるかどうかを判定し、０である場合（Ｓ１５０５：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ１５０３）。Ｌ０方向の参照画像インデックスが０であるかどうかを判定し、０でない場合（Ｓ１５０５：ＮＯ）、参照画像インデックスを０として（Ｓ１５０７）、参照画像インデックスを０とした動きベクトルを参照画像距離比率でスケーリングする（Ｓ１５０８）。動きベクトルのスケーリングの詳細については、時間結合動き情報候補リスト生成で説明する。動き情報が片方向でない場合（Ｓ１５０４：ＮＯ）には、Ｌ０方向の参照画像インデックス及びＬ１方向の参照画像インデックスが双方とも０であるかどうかを判定し、双方とも０である場合（Ｓ１５０６：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ１５０３）。Ｌ０方向の参照画像インデックス及びＬ１方向の参照画像インデックスが双方とも０であるかどうかを判定し、どちらかが０でない場合（Ｓ１５０６：ＮＯ）、０でない参照画像インデックスを０として（Ｓ１５０７）、参照画像インデックスを０とした動きベクトルを参照画像距離比率でスケーリングする（Ｓ１５０８）。
【０１０４】
図３０に実施の形態１における結合動き情報候補リストの生成の様子を示す。図３０（ａ）は、予測対象ブロックが所定サイズより大きい場合の結合動き情報候補リストである。参照画像インデックス隣接ブロックの状態を引き継ぐ。図３０（ｂ）は、予測対象ブロックが所定サイズより大きくない場合の結合動き情報候補リストである。参照画像インデックスは０に固定され、隣接ブロックの参照画像インデックスが０でない候補の動きベクトルはスケーリングされる。
【０１０５】
図１５のフローチャートでは、参照画像インデックスが０でない場合に、参照画像インデックスを０として空間結合動き情報候補を生成したが、参照画像インデックスが０でない場合には空間結合動き情報候補として登録しないことも可能である。また、各結合動き情報候補に対してスケーリングを行うことによる処理負荷を抑制するために、参照画像インデックスが０でない場合にも参照画像インデックスを０としてスケーリングを行わずに登録することも可能である。
【０１０６】
ここでは、空間結合動き情報候補リストには５以下の候補ブロックの動き情報が含まれるとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであり、候補ブロックの有効性によって空間結合動き情報候補リストの数が変動すればよく、これに限定されない。なお、候補ブロックが領域外またはイントラモードの場合（Ｓ１５０１：ＮＯ）、ステップＳ１５０２〜Ｓ１５０８をスキップし、次の候補ブロックの有効／無効判定が行われる。
【０１０７】
続いて、時間結合動き情報候補リスト生成について説明する。図１６は、時間結合動き情報候補リスト生成に用いる時間候補ブロック群を示す図である。時間候補ブロック群は、予測対象ブロックを含む対象画像とは別の復号済みの参照画像ＣｏｌＰｉｃにおける予測対象ブロックと同位置及びその周辺にあるブロックを示す。図１６におけるＡ０〜Ａ４、Ｂ０〜Ｂ５、Ｆ０〜Ｆ４、Ｇ１〜Ｇ４、Ｈ、Ｉ１〜Ｉ１６の位置のブロックが、時間的に隣接するブロック群となる。実施の形態１においては、これら時間的に隣接するブロック群の内、時間候補ブロック群をブロックＨとブロックＩ６の２ブロックとする。
【０１０８】
図１７は、時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。時間候補ブロック群に含まれる２つの候補ブロックであるブロックＨとブロックＩ６について（ステップＳ１７００、ステップＳ１７０７）、候補ブロックの有効性を検査する（Ｓ１７０１）。候補ブロックが有効である場合（Ｓ１７０１：ＹＥＳ）、ステップＳ１７０２〜ステップＳ１７０６の処理が行われ、生成された動き情報が時間結合動き情報候補リストに登録され、処理が終了する。候補ブロックが画面領域外の位置を示す場合や、候補ブロックがイントラ予測ブロックである場合（Ｓ１７０１：ＮＯ）、候補ブロックが有効でなく、次の候補ブロックの有効／無効判定が行われる。
【０１０９】
候補ブロックが有効である場合（Ｓ１７０１：ＹＥＳ）、予測対象ブロックが所定サイズよりも大きい場合（Ｓ１７０２：ＹＥＳ）、候補ブロックの動き情報をもとに結合動き情報候補に登録する参照画像選択候補を確定する（Ｓ１７０３）。実施の形態１ではＬ０方向の参照画像を、Ｌ０方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とし、Ｌ１方向の参照画像を、Ｌ１方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とする。
【０１１０】
ここでの参照画像選択候補の確定手法は、Ｌ０方向の参照画像とＬ１方向の参照画像が決定できればよく、これに限定されない。符号化処理と復号処理で同一の手法で参照画像を確定することで、符号化時に意図した参照画像を確定できる。他の確定手法としては、空間隣接ブロックが使用しているＬ０参照画像及びＬ１参照画像で、最も多く使用されている参照画像を予測対象ブロックにおける参照画像として選択する手法や、符号化ストリーム中で各方向の参照画像を指定する手法を用いることが可能である。
【０１１１】
予測対象ブロックが所定サイズよりも大きくない場合（Ｓ１７０２：ＮＯ）、Ｌ０方向の参照画像及びＬ１方向の参照画像の参照画像インデックスを０とする（Ｓ１７０４）。
【０１１２】
次に、候補ブロックの動き情報をもとに結合動き情報候補に登録する動きベクトル値を確定する（Ｓ１７０５）。実施の形態１における、時間結合動き情報は、候補ブロックの動き情報で有効な予測方向である動きベクトル値をもとに、双方向の動き情報を算出する。候補ブロックの予測方向がＬ０予測もしくはＬ１予測の片方向の場合には、予測に用いられている方向（Ｌ０方向或いはＬ１方向）の動き情報を選択し、その参照画像指定情報と動きベクトル値を双方向動き情報生成の基準値とする。
【０１１３】
候補ブロックの予測方向が双方向である場合には、Ｌ０予測或いはＬ１予測のどちらか一方の動き情報を基準値として選択する。基準値の選択方法は、例えばＣｏｌＰｉｃと同じ予測方向に存在する動き情報を選択する、候補ブロックのＬ０予測、Ｌ１予測のそれぞれの参照画像でＣｏｌＰｉｃとの画像間距離が近い方を選択する、或いは候補ブロックのＬ０予測、Ｌ１予測のそれぞれの動きベクトルが符号化処理対象画像と交差する方を選択する、符号化ストリーム中でＬ０予測或いはＬ１予測のどちらを基準値として使用するか指定する手法等が挙げられる。
【０１１４】
双方向動き情報生成の基準とする動きベクトル値が確定したら、結合動き情報候補に登録する動きベクトル値を算出する。
【０１１５】
図１８は、時間結合動き情報に対する基準動きベクトル値ｍｖＣｏｌに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。基準動きベクトル値ｍｖＣｏｌに対するＣｏｌＰｉｃと候補ブロックの基準とする動きベクトルの対象となる参照画像との画像間距離をＣｏｌＤｉｓｔとする。Ｌ０予測、Ｌ１予測の各参照画像と処理対象画像との画像間距離をそれぞれＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｕｒＬ１Ｄｉｓｔとする。ｍｖＣｏｌを、ＣｏｌＤｉｓｔとＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｒｒＬ１Ｄｉｓｔの距離比率でスケーリングした動きベクトルを、それぞれのリストの動きベクトルとして登録する。具体的には、登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔは、下記式１、２で算出される。
ｍｖＬ０ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ０Ｄｉｓｔ／ＣｏｌＤｉｓｔ ・・・（式１）
ｍｖＬ１ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ１Ｄｉｓｔ／ＣｏｌＤｉｓｔ ・・・（式２）
となる。
【０１１６】
ただし、式１及び式２は、Ｌ０予測及びＬ１予測に対して同一のｍｖＣｏｌを基準ベクトルとする例であり、Ｌ０予測及びＬ１予測で異なるｍｖＣｏｌを使用する場合には、それぞれｍｖＣｏｌＬ０、ｍｖＣｏｌＬ１とする。
【０１１７】
図１７に戻り、このようにして生成された、双方向の参照画像選択情報（インデックス）と、動きベクトル値を結合動き情報候補に追加し（Ｓ１７０６）、時間結合動き情報候補リスト作成処理が終了する。
【０１１８】
図１９は、図１２のステップＳ１２０１における結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。この動作は、図１０の結合動き補償予測生成部１００８を用いた構成の詳細動作を示している。
【０１１９】
最初に予測誤差評価値を最大値に設定し、予測誤差が最小となる結合動き情報インデックスを初期化（例えば、−１などのリスト外の値）する（Ｓ１９００）。結合動き情報候補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理を繰り返し行う（Ｓ１９０１からＳ１９０９）。
【０１２０】
先ず、結合動き情報候補リストよりインデックスｉに格納された動き情報を取得する（Ｓ１９０２）。続いて動き情報符号量を算出する（Ｓ１９０３）。結合予測モードにおいては、結合動き情報インデックスのみが符号化されるので、結合動き情報インデックスのみが動き情報符号量となる。結合動き情報インデックスの符号列としては、実施の形態１では、Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いる。
【０１２１】
図２０は、結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を示す図である。Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いて結合動き情報インデックスの値を符号化する場合には、結合動き情報候補数が少ないほど、結合動き情報インデックスに割り当てられる符号ビットが小さくなる。例えば、結合動き情報インデックスが１である場合、結合動き情報候補数が２個であれば'１'の１ビットで表現されるが、結合動き情報候補数が３個であれば'１０'の２ビットで表現される。なお、ここでは上記のように結合動き情報インデックスの符号化にＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を利用しているが、他の符号列生成手法を用いることも可能であり、これに限定されない。
【０１２２】
図１９に戻り、動き情報の予測方向が片方向である場合（Ｓ１９０４：ＹＥＳ）、１つの参照画像に対する参照画像指定情報と動きベクトルを、図１における動き補償予測部１０８に設定して、片方向動き補償予測ブロックを生成する（Ｓ１９０５）。動き情報が片方向でない場合（Ｓ１９０４：ＮＯ）、２つの参照画像に対する参照画像指定情報と動きベクトルを動き補償予測部１０８に設定して、双方向動き補償予測ブロックを生成する（Ｓ１９０６）。
【０１２３】
続いて、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出し（Ｓ１９０７）、予測誤差評価値が最小値である場合には評価値を更新すると共に、予測誤差最小インデックスを更新する（Ｓ１９０８）。
【０１２４】
全ての結合動き情報候補についての予測誤差評価値が比較された結果、選択された予測誤差最小インデックスを、結合予測モードで用いる結合動き情報インデックスとして、予測誤差最小値、動き補償予測ブロックと共に出力し（Ｓ１９１０）、結合予測モード評価値生成処理を終了する。
【０１２５】
図２１は、図１２のステップＳ１２０２の詳細動作を説明するためのフローチャートである。図１２のステップＳ１２０２では、片方向予測モード評価値生成処理が行われる。
【０１２６】
最初に、片方向予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する（Ｓ２１００）。ここで、所定ブロックサイズより大きい予測対象ブロックの参照画像指定情報は自由に設定できるが、所定ブロックサイズ以下の予測対象ブロックの参照画像指定情報は、０に固定される。続いて、最小動き情報符号量を最大値に設定し、動き情報符号量が最小となる結合動き情報インデックスを初期化（例えば、−１などのリスト外の値）する（Ｓ２１０１）。結合動き情報候補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理を繰り返し行う（Ｓ２１０２からＳ２１０８）。ただし、片方向予測モードの予測ベクトル候補数は結合動き情報候補リストの数ｎｕｍ＿ｏｆ＿ｉｎｄｅｘと同一であることに限定されず、ｎｕｍ＿ｏｆ＿ｉｎｄｅｘと異なる値に設定することも可能である。
【０１２７】
先ず、結合動き情報算出部１００７より入力された結合動き情報候補リストより、インデックスｉに格納された動き情報を取得する（Ｓ２１０３）。続いて、取得した動き情報より参照画像指定情報で指定される参照画像に対する候補インデックスｉの予測ベクトル値を生成する（Ｓ２１０４）。
【０１２８】
続いて、生成された予測ベクトル値と動きベクトル値との水平・垂直成分の差分値を算出し、差分ベクトルを生成する（Ｓ２１０５）。
【０１２９】
続いて、動き情報符号量を算出する（Ｓ２１０６）。片方向予測モードの場合に、符号化する動き情報としては、１つの参照画像に対する、参照画像指定情報、差分ベクトル値、及び結合動き情報インデックスの３要素となり、各々符号化された符号量の総量が動き情報符号量として算出される。動き情報符号量が、最小動き情報符号量よりも小さい場合には、最小動き情報符号量を更新すると共に、動き情報符号量最小インデックスを更新する（Ｓ２１０７）。すべての候補インデックスに対する動き情報符号量の算出を行うことで（Ｓ２１０８）、最小動き情報符号量と動き情報符号量最小インデックスが算出される。
【０１３０】
続いて、１つの参照画像に対する参照画像指定情報と動きベクトルを図１における動き補償予測部１０８に設定して、片方向動き補償予測ブロックを生成する（Ｓ２１０９）。さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と、算出された最小動き情報符号量より、予測誤差評価値を算出し（Ｓ２１１０）、予測誤差評価値、並びに１つの参照画像に対する動き情報である、参照画像指定情報、差分ベクトル値、及び算出された動き情報符号量最小インデックスである結合動き情報インデックスを動き補償予測ブロックと共に出力し（Ｓ２１１１）、片方向予測モード評価値生成処理を終了する。
【０１３１】
図２２は、図１２のステップＳ１２０３の詳細動作を説明するためのフローチャートである。図１２のステップＳ１２０３では、双方向予測モード評価値生成処理が行われる。
【０１３２】
最初に、Ｌ０予測及びＬ１予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する（Ｓ２２００）。ここで、所定ブロックサイズより大きい予測対象ブロックの参照画像指定情報は自由に設定できるが、所定ブロックサイズ以下の予測対象ブロックの参照画像指定情報は、０に固定される。続いて、最小動き情報符号量を最大値に設定し、動き情報符号量が最小となる結合動き情報インデックスを初期化（例えば、−１などのリスト外の値）する（Ｓ２２０１）。結合動き情報候補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理を繰り返し行う（Ｓ２２０２からＳ２２１０）。ただし、双方向予測モードの予測ベクトル候補数は結合動き情報候補リストの数ｎｕｍ＿ｏｆ＿ｉｎｄｅｘと同一であることに限定されず、ｎｕｍ＿ｏｆ＿ｉｎｄｅｘと異なる値に設定することも可能である。
【０１３３】
先ず、結合動き情報算出部１００７より入力された結合動き情報候補リストより、インデックスｉに格納された動き情報を取得する（Ｓ２２０３）。続いて、取得した動き情報より参照画像指定情報で指定されるＬ０参照画像に対する候補インデックスｉの予測ベクトル値を生成する（Ｓ２２０４）。
【０１３４】
続いて、生成された予測ベクトル値と動きベクトル値との水平・垂直成分の差分値を算出し、Ｌ０予測に対する差分ベクトルを生成する（Ｓ２２０５）。
【０１３５】
続いて、取得した動き情報より参照画像指定情報で指定されるＬ１参照画像に対する候補インデックスｉの予測ベクトル値を生成する（Ｓ２２０６）。生成された予測ベクトル値と動きベクトル値との水平・垂直成分の差分値を算出し、Ｌ１予測に対する差分ベクトルを生成する（Ｓ２２０７）。
【０１３６】
続いて、動き情報符号量を算出する（Ｓ２２０８）。双方向予測モードの場合には、符号化する動き情報としては、Ｌ０とＬ１の２つの参照画像に対する、参照画像指定情報、差分ベクトル値と、１つの結合動き情報インデックスの計５要素となり、各々符号化された符号量の総量が動き情報符号量として算出される。そのため、結合予測モードと比較して、符号化される動き情報の符号量は大きくなるが、すべての参照画像を予測対象画像として指定出来、すべての動きベクトルを指定可能であるため、より予測残差の少ない動き補償予測ブロックを生成することができる。動き情報符号量が、最小動き情報符号量よりも小さい場合には、最小動き情報符号量を更新すると共に、動き情報符号量最小インデックスを更新する（Ｓ２２０９）。すべての候補インデックスに対する動き情報符号量の算出を行うことで（Ｓ２２１０）、最小動き情報符号量と動き情報符号量最小インデックスが算出される。
【０１３７】
続いて、２つの参照画像に対する参照画像指定情報と動きベクトルを図１における動き補償予測部１０８に設定して、双方向動き補償予測ブロックを生成する（Ｓ２２１１）。さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と、算出された最小動き情報符号量より、予測誤差評価値を算出し（Ｓ２２１２）、予測誤差評価値、並びにＬ０、Ｌ１の２つの参照画像に対する動き情報である、２つの参照画像指定情報、２つの差分ベクトル値、及び算出された動き情報量最小インデックスである、１つの結合動き情報インデックスを動き補償予測ブロックと共に出力し（Ｓ２２１３）、双方向予測モード評価値生成処理を終了する。
【０１３８】
以上の処理が、実施の形態１における動画像符号化装置における予測モード判定部１０９の詳細動作となる。
【０１３９】
［実施の形態１における動画像符号化装置における動き情報符号化部の詳細動作説明］
図２３は、図５のステップＳ５０４の詳細動作を説明するためのフローチャートである。図５のステップＳ５０４の処理は、実施の形態１の動画像符号化装置の動き情報符号化部１１０における、各動き補償予測モードに対する動き情報を符号化する処理を示す。
【０１４０】
動き情報符号化部１１０には、予測モード判定部１０９において決定された動き補償予測モードにおける、予測モードを示す情報と、各予測モードの動き情報を表現するために必要な情報が供給され、動き情報符号化部１１０は動き情報符号化データ生成処理を開始する。
【０１４１】
最初に、予測モードが結合予測モードである場合（Ｓ２３００：ＹＥＳ）、ステップＳ２３０１に進み、対象となる予測ブロックで予測誤差信号を符号化しない（Ｓｋｉｐモード）状態である場合（Ｓ２３０１：ＹＥＳ）、Ｓｋｉｐフラグを符号化し（Ｓ２３０２）、そうでない場合（Ｓ２３０１：ＮＯ）、マージフラグを１として符号化する（Ｓ２３０３）。
【０１４２】
Ｓｋｉｐフラグ或いはマージフラグを符号化した後、結合動き情報候補リストが１より大きい場合（Ｓ２３０４：ＹＥＳ）、結合動き情報インデックスを符号化し（Ｓ２３０５）、処理を終了する。結合動き情報候補リストが１の場合（Ｓ２３０４：ＮＯ）、結合動き情報が特定できるため、結合動き情報インデックスは伝送されない。
【０１４３】
次に、予測モードが結合予測モードでない場合（Ｓ２３００：ＮＯ）、マージフラグを０として符号化する（Ｓ２３０６）。続いて、動き予測フラグを符号化する（Ｓ２３０７）。動き予測フラグは、予測方向が片方向予測であるか双方向予測であるかを指示する情報として符号化される。
【０１４４】
図２４は、実施の形態１における動き予測フラグの一例を示す図である。動き予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）として、片方向を示す値（Ｐｒｅｄ＿ＬＣ）が０、双方向を示す値（Ｐｒｅｄ＿ＢＩ）が１で符号化される。
【０１４５】
図２３に戻り、結合動き情報候補リストが１より大きい場合（Ｓ２３０８：ＹＥＳ）、片方向予測もしくは双方向予測に用いられる結合動き情報インデックスを符号化する（Ｓ２３０９）。結合動き情報候補リストが１の場合（Ｓ２３０８：ＮＯ）、結合動き情報インデックスは伝送されない。
【０１４６】
次に、動き予測フラグで示された予測方向が片方向予測である場合（Ｓ２３１０：ＹＥＳ）、片方向予測モードの動き情報伝送が行われる。最初に、予測対象ブロックサイズが所定サイズよりも大きい場合（Ｓ２３１１：ＹＥＳ）、参照画像指定情報（インデックス）を符号化する（Ｓ２３１２）。予測対象ブロックサイズが所定サイズよりも大きくない場合（Ｓ２３１１：ＮＯ）、参照画像インデックスは０に固定され伝送されないため、参照画像指定情報は符号化しない。続いて、差分ベクトルを符号化し（Ｓ２３１３）、処理を終了する。
【０１４７】
一方、動き予測フラグで示された予測方向が片方向予測でない場合（Ｓ２３１０：ＮＯ）、予測モードは双方向予測モードとなり、双方向予測モードの動き情報伝送が行われる。最初に、予測対象ブロックサイズが所定サイズよりも大きい場合（Ｓ２３１４：ＹＥＳ）、Ｌ０予測の動き情報であるＬ０参照画像指定情報を符号化する（Ｓ２３１５）。予測対象ブロックサイズが所定サイズよりも大きくない場合（Ｓ２３１４：ＮＯ）、参照画像インデックスは０に固定され伝送されないため、Ｌ０参照画像指定情報は符号化しない。続いて、Ｌ０差分ベクトル値を符号化する（Ｓ２３１６）。
【０１４８】
続いて、予測対象ブロックサイズが所定サイズよりも大きい場合（Ｓ２３１７：ＹＥＳ）、Ｌ１予測の動き情報であるＬ１参照画像指定情報を符号化する（Ｓ２３１８）。予測対象ブロックサイズが所定サイズよりも大きくない場合（Ｓ２３１７：ＮＯ）、参照画像インデックスは０に固定され伝送されないため、Ｌ０参照画像指定情報は符号化しない。続いて、Ｌ１差分ベクトル値を符号化する（Ｓ２３１９）。以上の処理により、動き情報符号化データの生成が終了する。
【０１４９】
図２５は、図２３のフローチャートで示した、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスの一例を示す。動き検出モードの片方向予測モード、双方向予測モードそれぞれについて、予測対象ブロックサイズ（ｃｕｒＰｕＳｉｚｅ）が所定ブロックサイズ（ｓａｍｅＲｅｆＰｕＳｉｚｅ）より大きい場合にのみ、参照画像指定情報（ｒｅｆ＿ｉｄｘ）が伝送される。予測対象ブロックサイズ（ｃｕｒＰｕＳｉｚｅ）が所定ブロックサイズ（ｓａｍｅＲｅｆＰｕＳｉｚｅ）以下の場合、参照画像指定情報（ｒｅｆ＿ｉｄｘ）は伝送されず値は０となる。
【０１５０】
図２５の符号化シンタックスにおいては、Ｓｋｉｐフラグの伝送は予測ブロック単位での動き情報の符号化より上位階層である符号化ブロック単位で行われる。従って、上位の符号化ブロックの単位で、図２３の予測誤差信号を符号化しない（Ｓｋｉｐモード）状態であるか否かの判定（Ｓ２３０１）が行われる。
【０１５１】
［実施の形態１における動画像復号装置における動き情報復号部の詳細動作説明］
図２６は、図６に示した実施の形態１の動画像復号装置における動き情報復号部６０６の詳細な構成を示す図である。動き情報復号部６０６は、動き情報ビットストリーム復号部２６００、予測ベクトル算出部２６０１、ベクトル加算部２６０２、片方向動き補償予測復号部２６０３、双方向動き補償予測復号部２６０４、及び結合動き情報算出部２６０５、結合動き補償予測復号部２６０６を含む。
【０１５２】
図６における動き情報復号部６０６に対して、多重分離部６０１より入力された動き情報ビットストリームが、動き情報ビットストリーム復号部２６００に供給され、動き情報メモリ６０７より入力された動き情報が、予測ベクトル算出部２６０１、及び結合動き情報算出部２６０５に供給される。
【０１５３】
また、動き補償予測部６０８に対して、片方向動き補償予測復号部２６０３、双方向動き補償予測復号部２６０４、及び結合動き補償予測復号部２６０６から、動き補償予測に用いる参照画像指定情報と動きベクトルが出力され、予測方向を示す情報を含めた復号された動き情報が、動き情報メモリ６０７に格納される。
【０１５４】
動き情報ビットストリーム復号部２６００は、多重分離部６０１より入力された動き情報ビットストリームを符号化シンタックスに従って復号していくことで、伝送された予測モードと、予測モードに応じた動き情報を生成する。生成した動き情報の中で、結合動き情報インデックスは、予測モードに応じて結合動き補償予測復号部２６０６又は予測ベクトル算出部２６０１に供給され、予測対象ブロックのサイズが所定ブロックサイズより大きい場合、参照画像指定情報が予測ベクトル算出部２６０１に供給され、予測ベクトルがベクトル加算部２６０２に供給され、差分ベクトル値がベクトル加算部２６０２に供給される。
【０１５５】
予測ベクトル算出部２６０１は、動き情報ビットストリーム復号部２６００より供給又は暗黙的に０に固定された参照画像指定情報と、結合動き情報算出部２６０５より供給された、結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値から、動き補償予測の対象となる参照画像に対する結合動き情報候補リストに対する予測ベクトルを生成し、参照画像指定情報、結合動き情報候補リストと共にベクトル加算部２６０２に供給する。予測ベクトル算出部２６０１の動作に関しては、図１０の動画像符号化装置における予測ベクトル算出部１００３と同一の動作が行われ、符号化時の予測ベクトルと同一の予測ベクトルが生成される。
【０１５６】
ベクトル加算部２６０２は、予測ベクトル算出部２６０１より供給された結合動き情報候補リストに対する予測ベクトル、結合動き情報候補リスト、及び参照画像指定情報と、動き情報ビットストリーム復号部２６００から供給された結合動き情報インデックス及び差分ベクトルより、結合動き情報インデックスで示された位置に登録された予測ベクトル値と差分ベクトル値を加算することで、動き補償予測対象となる参照画像に対しての動きベクトル値が再生される。再生された動きベクトル値は、参照画像指定情報と共に、予測モードに応じて片方向動き補償予測復号部２６０３、もしくは双方向動き補償予測復号部２６０４に供給される。
【０１５７】
片方向動き補償予測復号部２６０３は、ベクトル加算部２６０２より１つの参照画像に対する、再生された動きベクトル値と参照画像指定情報が供給され、動きベクトル値と参照画像指定情報を動き補償予測部６０８に設定することで、動き補償予測信号を生成する。
【０１５８】
双方向動き補償予測復号部２６０４は、ベクトル加算部２６０２より双方向の２つの参照画像に対する、再生された動きベクトル値と参照画像指定情報が供給され、動きベクトル値と参照画像指定情報を動き補償予測部６０８に設定することで、動き補償予測信号を生成する。
【０１５９】
結合動き情報算出部２６０５は、動き情報メモリ６０７から供給される隣接ブロックの動き情報より、結合動き情報候補リストを生成し、結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値を、予測モードに応じて予測ベクトル算出部２６０１、もしくは結合動き補償予測復号部２６０６に供給する。
【０１６０】
結合動き情報算出部２６０５の動作に関しては、図１０の動画像符号化装置における結合動き情報算出部１００７と同一の動作が行われ、符号化時の結合動き情報候補リストと同一の候補リストが生成される。
【０１６１】
結合動き補償予測復号部２６０６は、結合動き情報算出部２６０５より供給される結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値と、動き情報ビットストリーム復号部２６００より供給される結合動き情報インデックスより、結合動き情報インデックスで示された結合動き情報候補リストにおける参照画像指定情報と動きベクトル値を再生し、動き補償予測部６０８に設定することで、動き補償予測信号を生成する。
【０１６２】
図２７は、図７のステップＳ７０１の詳細動作を説明するためのフローチャートである。動き情報ビットストリーム復号部２６００、予測ベクトル算出部２６０１、及び結合動き情報算出部２６０５により、図７のステップＳ７０１における動き情報復号処理が行われる。
【０１６３】
動き情報復号処理は、図２５のシンタックス構造で符号化された符号化ビットストリームより動き情報を復号する処理である。最初に符号化ブロックの所定単位でＳｋｉｐフラグを復号する（Ｓ２７００）。以降は予測ブロック単位の処理となる。ＳｋｉｐフラグがＳｋｉｐモードを示している場合（Ｓ２７０１：ＹＥＳ）、結合予測動き情報復号を行う（Ｓ２７０２）。結合予測動き情報の復号は、図２３のＳ２３０４〜Ｓ２３０５の符号化処理を復号処理に置き換えるだけなので詳細な説明を省略する。
【０１６４】
Ｓｋｉｐモードでない場合（Ｓ２７０１：ＮＯ）、マージフラグを復号する（Ｓ２７０３）。マージフラグが１を示している場合（Ｓ２７０４：ＹＥＳ）、ステップＳ２７０２の結合予測動き情報復号に進む。
【０１６５】
マージフラグが１でない場合（Ｓ２７０４：ＮＯ）、動き予測フラグを復号する（Ｓ２７０５）。動き予測フラグが片方向予測モードである場合（Ｓ２７０６：ＹＥＳ）、即ち図２５におけるｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇがＰｒｅｄ＿ＬＣを示す場合、片方向予測動き情報復号を行う（Ｓ２７０７）。片方向予測動き情報の復号は、図２３のＳ２３１１〜Ｓ２３１３の符号化処理を復号処理に置き換えるだけなので詳細な説明を省略する。
動き予測フラグが片方向予測モードを示していない場合（Ｓ２７０６：ＮＯ）、双方向予測動き情報復号が行われる（Ｓ２７０８）。双方向予測動き情報の復号は、図２３のＳ２３１４〜Ｓ２３１９の符号化処理を復号処理に置き換えるだけなので詳細な説明を省略する。
【０１６６】
実施の形態１における、動画像符号化装置及び動画像復号装置においては、所定のブロックサイズ以下の予測ブロックについて、参照画像指定情報（ｒｅｆ＿ｉｄｘ）を固定し、動き補償予測に用いることができる参照画像を所定ブロックサイズ内で同一の画像に制限することで、所定ブロックサイズ内で複数の参照画像から動き補償予測を行う必要がなくなり、動き補償予測部１０８、６０８では所定ブロックサイズ内での復号画像メモリ１０６または６０５に格納されている参照画像にアクセスする回数が各予測方向で１回で済むので、メモリバンド幅を削減できる。さらに、動画像符号化装置において、所定ブロックサイズ内で参照画像が固定されることで、動きベクトル検出部１０７、予測モード判定部１０９で評価すべき参照画像の枚数が減少するため、処理量を削減することができる。
【０１６７】
実施の形態１における、動画像符号化装置及び動画像復号装置においては、所定のブロックサイズ以下の予測ブロックの参照画像が、固定の参照画像指定情報で取得できるため符号化・復号化処理が簡略化できる。実施の形態１における、動画像符号化装置及び動画像復号装置においては、参照画像を制限する所定ブロックサイズの指定は、固定的に定義しても良いし、プロファイル、レベルに応じて定義しても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に記述し伝送できるようにして、符号化側で選択できるようにしても良い。
【０１６８】
実施の形態１における、動画像符号化装置及び動画像復号装置においては、所定のブロックサイズ以下の予測ブロックで固定する参照画像インデックスの値を０としたが、これは、参照画像インデックスの値が０の参照画像が最も選択される確率が高いからである。ただし、参照画像指定の固定方法はこれに限定されない。例えば、参照画像インデックスを０以外の他の値（１、２など）としても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に記述し伝送できるようにして、符号化側で選択できるようにしても良い。
【０１６９】
（実施の形態２）
次に、本発明の実施の形態２についての説明を行う。実施の形態１においては、所定のブロックサイズ以下で動き補償予測に用いることができる参照画像を参照画像インデックスの値が０の参照画像に固定したのに対して、実施の形態２においては、動き補償予測に用いることができる参照画像の制限を所定のブロックサイズ以下の第二インター予測ブロック以降の予測ブロックに緩和する。具体的には、動画像符号化装置の結合動き情報算出部１００７、動画像復号装置の結合動き情報算出部２６０５の動作、及び空間結合予測モード評価値生成ステップＳ１３００、時間結合予測モード評価値生成ステップＳ１３０１の処理が異なり、その他の構成及び処理は実施の形態１と同様である。
【０１７０】
図２８は、実施の形態２における、図１３のＳ１３００における空間結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【０１７１】
第一インター予測ブロックとは、所定のブロックサイズ内の符号化又は復号順で最初のインター予測ブロックである。また、第二インター予測ブロックとは、所定のブロックサイズ内の符号化又は復号順で最初でないインター予測ブロックである。
【０１７２】
実施の形態１における空間結合予測モード評価値生成のフローチャートである図１５との差異は、予測対象ブロックが所定のブロックサイズで最初に発生する予測ブロックである第一インター予測ブロックであるかどうかを判定する処理を追加し（Ｓ２８０２）、参照画像インデックスの判定を参照画像インデックスの値が０かどうかではなく、第一インター予測ブロックの参照画像インデックスと所定のブロックサイズで第一インター予測ブロック以外の予測ブロックである第二インター予測ブロックの参照画像インデックスが同一であるかどうかの判定に変更し（Ｓ２８０６、Ｓ２８０７）、第二インター予測ブロックの参照画像インデックスが第一インター予測ブロックの参照画像インデックスと同一でない場合（Ｓ２８０６、Ｓ２８０７：ＮＯ）、第二インター予測ブロックの参照画像インデックスの値を第一インター予測ブロックの参照画像インデックスと同一にする処理に変更する（Ｓ２８０８）。
【０１７３】
予測対象ブロックが第一インター予測ブロックである場合は（Ｓ２８０２：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ２８０４）。予測対象ブロックが第一インター予測ブロックでない場合（Ｓ２８０２：ＮＯ）は、予測対象ブロックが所定サイズよりも大きいかどうか判定する処理（Ｓ２８０３）に進み、以降の処理は図１５の実施の形態１のＳ１５０５〜Ｓ１５０７処理を２８０６〜Ｓ２８０８に置き換え、その他の処理は同一である。
【０１７４】
図２９は、実施の形態２における、図１３のＳ１３０１における時間結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【０１７５】
実施の形態１における空間結合予測モード評価値生成のフローチャートである図１７との差異は、予測対象ブロックが第一インター予測ブロックであるかどうかを判定する処理を追加しているところである（Ｓ２９０２）。予測対象ブロックが第一インター予測ブロックでない場合は（Ｓ２９０２：ＮＯ）、予測対象ブロックが所定サイズよりも大きいかどうか判定する処理（Ｓ２９０３）に進み、以降の処理は図１７の実施の形態１のＳ１７０４の処理をＳ２９０５に置き換え、その他の処理は同一である。ステップＳ２９０５では、第二インター予測ブロックの参照画像インデックスの値を第一インター予測ブロックの参照画像インデックスと同一の値に変更する。予測対象ブロックが第一インター予測ブロックである場合は（Ｓ２９０２：ＹＥＳ）、実施の形態１と同様にＳ２９０４に進む。
【０１７６】
また、実施の形態２においては、図２１の片方向予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する処理（Ｓ２１００）の詳細が実施の形態１と異なる。実施の形態１では、所定ブロックサイズ以下の予測対象ブロックの参照画像インデックスは、０に固定していたが、実施の形態２では、第二インター予測ブロックの所定ブロックサイズ以下の予測対象ブロックの参照画像インデックスの値は、第一インター予測ブロックの参照画像インデックスの値に固定される。
【０１７７】
同様に、実施の形態２においては、図２２のＬ０予測及びＬ１予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する処理（Ｓ２２００）の詳細が実施の形態１と異なる。実施の形態１では、所定ブロックサイズ以下の第二インター予測ブロックの参照画像インデックスの値は、０に固定していたが、実施の形態２では、所定ブロックサイズ以下の第二インター予測ブロックの参照画像インデックスの値は、第一インター予測ブロックの参照画像インデックスの値に固定される。
【０１７８】
図３１に実施の形態１における８ｘ８ブロック以下の予測対象ブロックの参照画像を同一にする場合の、８ｘ８ブロック内の各４ｘ４ブロックの参照画像指定情報の例を示す。図３１（ａ）は、第一インター予測ブロックが結合予測モードの場合の例であり、図３１（ｂ）は、第一インター予測ブロックが動き検出モードの場合の例である。実施の形態１では第一インター予測ブロックの予測モードがどちらの場合でも、参照画像指定情報は０に固定される。 一方、図３２に実施の形態２における８ｘ８ブロック以下の予測対象ブロックの参照画像を同一にする場合の、８ｘ８ブロック内の各４ｘ４ブロックの参照画像指定情報の例を示す。図３１の場合と同様に、図３２（ａ）は、第一インター予測ブロックが結合予測モードの場合の例であり、図３２（ｂ）は、第一インター予測ブロックが動き検出モードの場合の例である。実施の形態２においては、第一インター予測ブロックが結合予測モードの場合（図３２（ａ））、参照画像指定情報は、８ｘ８ブロックより大きいサイズのブロックと同様に、すべての参照画像が自由に指定可能である。第二インター予測ブロックでは、予測モードが結合予測モードであろうと、動き検出予測モードであろうと、参照画像指定情報は、第一インター予測ブロックの参照画像指定情報に固定される。また、第一インター予測ブロックが動き検出モードの場合（図３２（ｂ））、第一インター予測ブロックの参照画像指定情報は、実施の形態１と同様に０に固定される。第二インター予測ブロックでは、予測モードが結合予測モードであろうと、動き検出予測モードであろうと、参照画像指定情報は、第一インター予測ブロックの参照画像指定情報に固定される。つまり、第一インター予測ブロックが動き検出モードの場合には、８ｘ８ブロック内の各４ｘ４ブロックの参照画像指定情報は０に固定されるため、実施の形態１と同一の結果となる。
【０１７９】
実施の形態２においても、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスは図２５に示す実施の形態１と同様である。ただし、動き検出モードの片方向予測モード、双方向予測モードそれぞれについて、予測ブロックのサイズ（ｃｕｒＰｕＳｉｚｅ）が所定ブロックサイズ（ｓａｍｅＲｅｆＰｕＳｉｚｅ）以下であり、且つ所定ブロックサイズ内の第一インター予測ブロックである場合は、参照画像指定情報（ｒｅｆ＿ｉｄｘ）は伝送されず０であることは実施の形態１と同様であるが、結合予測モードでは所定ブロックサイズ内の第一インター予測ブロックでも参照画像指定情報（ｒｅｆ＿ｉｄｘ）が０でない値をとることが可能であり、予測ブロックのサイズ（ｃｕｒＰｕＳｉｚｅ）が所定ブロックサイズ（ｓａｍｅＲｅｆＰｕＳｉｚｅ）以下であり、且つ所定ブロックサイズ内の第二インター予測ブロックである場合は、参照画像指定情報（ｒｅｆ＿ｉｄｘ）は伝送されず第一インター予測ブロックで使用した参照画像指定情報を引き継ぐことが実施の形態１と異なる。
【０１８０】
実施の形態２における、動画像符号化装置及び動画像復号装置においては、所定のブロックサイズ以下の第二インター予測ブロックでは、第一インター予測ブロックで使用した参照画像指定情報を引き継ぐことで、動き補償予測に用いる参照画像の制限を緩和することで符号化効率の低下を抑制しつつ、動き補償予測に用いることができる参照画像を所定ブロックサイズ内で同一の画像に制限することで、所定ブロックサイズ内で複数の参照画像から動き補償予測を行う必要がなくなり、１つの参照画像からのみ動き補償予測を行うので、動き補償予測部１０８、６０８では所定ブロックサイズ内での復号画像メモリ１０６または６０５に格納されている参照画像にアクセスする回数が各予測方向で１回で済むので、メモリバンド幅を削減できる。さらに、動画像符号化装置において、所定ブロックサイズ内で参照画像が固定されることで、動きベクトル検出部１０７、予測モード判定部１０９で評価すべき参照画像の枚数が減少するため、処理量を削減することができる。
【０１８１】
また、実施の形態２における、動画像符号化装置及び動画像復号装置においては、所定のブロックサイズ以下の第一インター予測ブロックでは、所定のブロックサイズよりも大きいサイズのブロックと同様に参照画像制限のない結合予測モードを使用でき、実施の形態１と比較して符号化効率を向上させることができる。
【０１８２】
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【０１８３】
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
【０１８４】
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
【０１８５】
また、以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１８６】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１８７】
１００ 入力端子、 １０１ 減算部、 １０２ 直交変換・量子化部、 １０３ 予測誤差符号化部、 １０４ 逆量子化・逆変換部、 １０５ 加算部、 １０６ 復号画像メモリ、 １０７ 動きベクトル検出部、 １０８ 動き補償予測部、 １０９ 予測モード判定部、 １１０ 動き情報符号化部、 １１１ 動き情報メモリ、 １１２ 多重化部、 １１３ 出力端子、 ６００ 入力端子、 ６０１ 多重分離部、 ６０２ 予測差分情報復号部、 ６０３ 逆量子化・逆変換部、 ６０４ 加算部、 ６０５ 復号画像メモリ、 ６０６ 動き情報復号部、 ６０７ 動き情報メモリ、 ６０８ 動き補償予測部、 ６０９ 出力端子、 １０００ 片方向動き補償予測生成部、 １００１ 双方向動き補償予測生成部、 １００２ 予測誤差算出部、 １００３ 予測ベクトル算出部、 １００４ 差分ベクトル算出部、 １００５ 動き情報符号量算出部、 １００６ 予測モード評価部、 １００７ 結合動き情報算出部、 １００８ 結合動き補償予測生成部、 １１００ 結合動き情報候補リスト生成部、 １１０１ 結合動き情報候補リスト削除部、 ２６００ 動き情報ビットストリーム復号部、 ２６０１ 予測ベクトル算出部、 ２６０２ ベクトル加算部、 ２６０３ 片方向動き補償予測復号部、 ２６０４ 双方向動き補償予測復号部、 ２６０５ 結合動き情報算出部、 ２６０６ 結合動き補償予測復号部。
【技術分野】
【０００１】
本発明は、動き補償予測を用いた動画像復号技術に関し、特に動き補償予測に利用する動画像復号装置、動画像復号方法及び動画像復号プログラムに関する。
【背景技術】
【０００２】
ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４（以後、ＡＶＣ）等に代表される動画像符号化では、時間方向の相関を利用した情報圧縮として、符号化対象となる画像信号である符号化対象ピクチャに対して、既に符号化され復号された局部復号信号を参照ピクチャとして用い、所定の符号化処理単位で、対象ピクチャと参照ピクチャとの間での動き量（以後、動きベクトル）を検出し、予測信号を生成する動き補償予測が用いられる。
【０００３】
ＡＶＣでは、動き補償予測において１つの参照ピクチャから１本の動きベクトルを利用して単一方向に予測信号を生成する片方向予測と、２つの参照ピクチャから２本の動きベクトルを利用して双方向に予測信号を生成する双方向予測が用いられる。これらを所定の符号化処理単位となる１６×１６画素の２次元ブロック内で処理対象となっているブロック（以後、予測対象ブロック）の大きさを可変にする手法や、複数の参照ピクチャの中から予測に用いる参照ピクチャを選択する手法に適用することで、予測信号の情報量を削減している。符号化側では、予測モード情報や参照画像を指定する情報を選択して伝送し、復号側では、伝送された予測モード情報や参照画像を指定する情報に従って動き補償予測処理が施される。
【０００４】
動きベクトルについては、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルから予測動きベクトル（以降、予測ベクトル）を算出し、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。
【０００５】
更に、ＡＶＣにおいては、予測対象ブロックと同一位置にある参照ピクチャのブロックの符号化に用いられた動きベクトルを利用して、符号化ベクトルを伝送することなく動き補償予測を実現するダイレクト動き補償予測が用いられている。
【０００６】
また、他の符号化ベクトルを伝送しない手法として、処理対象ブロックに隣接するブロックの動き情報を利用して、動き補償予測を実現する動き補償予測が知られている（例えば、特許文献１参照）。
【０００７】
特許文献１のように、符号化ベクトルを伝送しない動き補償予測は、予測対象ブロックと予測対象ブロックに隣接する符号化済ブロックにおける空間方向の動きの連続性に着目することで、他のブロックの動き情報をそのまま利用する。これにより、差分ベクトルを符号化ベクトルとして符号化せずに符号化効率を向上させている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１０−２７６４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、隣接ブロックの動き情報である参照画像の指定情報をそのまま用いて動き補償を行う場合、さまざまな参照画像から動き補償予測を行う可能性があり、動き補償予測に必要なメモリバンド幅が増大する。
【００１０】
本発明はこうした状況に鑑みてなされたものであり、その目的は、隣接ブロックの動き情報を使用して符号化を行う場合に、処理負荷が少なく、動き情報の符号化効率を向上させる技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある態様の画像復号装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号装置であって、復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成部（２６０５）と、前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号部（２６００）と、前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号部（６０２）と、復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算部（６０４）とを備える。前記動き情報候補リスト生成部（２６０５）は、所定の大きさ以下の前記復号対象予測ブロックでは、前記動き情報候補に含まれる参照画像の指定情報を同一の値に設定する。
【００１２】
本発明の別の態様もまた、画像復号装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号装置であって、復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成部（２６０５）と、前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号部（２６００）と、前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号部（６０２）と、復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算部（６０４）とを備える。前記動き情報候補リスト生成部（２６０５）は、所定の大きさの領域内の復号順で二番目以降に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報を、前記所定の大きさの領域内の復号順で一番目に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報と同一の値に設定する。
【００１３】
本発明のさらに別の態様は、画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号方法であって、復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとを備える。前記動き情報候補リスト生成ステップは、所定の大きさ以下の前記復号対象予測ブロックでは、前記動き情報候補に含まれる参照画像の指定情報を同一の値に設定する。
【００１４】
本発明のさらに別の態様もまた、画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号方法であって、復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとを備える。前記動き情報候補リスト生成ステップは、所定の大きさの領域内の復号順で二番目以降に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報を、前記所定の大きさの領域内の復号順で一番目に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報と同一の値に設定する。
【００１５】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１６】
本発明によれば、隣接ブロックの動き情報を利用した動き補償予測を行うことで符号化効率を維持しつつ、動き補償予測のメモリバンド幅削減等により処理の複雑度を抑制することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態１に係る動画像符号化装置の構成を示す図である。
【図２】符号化対象画像の一例を示す図である。
【図３】予測ブロックサイズの詳細な定義を示す図である。
【図４】図４（ａ）〜（ｄ）は、動き補償予測の予測方向について説明するための図である。
【図５】本発明の実施の形態１に係る動画像符号化装置における符号化処理の動作の流れ示すフローチャートである。
【図６】本発明の実施の形態１に係る動画像復号装置の構成を示す図である。
【図７】本発明の実施の形態１に係る動画像復号装置における復号処理の動作の流れを示すフローチャートである。
【図８】図８（ａ）、（ｂ）は、本発明の実施の形態１における動き補償予測において使用される動き情報を符号化するための２つの予測モードを説明するための図である。
【図９】動き補償予測および動き補償予測を実施しない画面内予測における、動き補償の予測方向と、参照画像を定義する情報、及び符号化する動きベクトル数の関連に関して説明するための図である。
【図１０】実施の形態１の動画像符号化装置におけるモード判定部の詳細な構成を示す図である。
【図１１】結合動き情報算出部の構成を示す図である。
【図１２】図１０の予測モード判定部を介して動作する、図５のステップＳ５０２である動き補償予測モード／予測信号生成の動作について説明するためのフローチャートである。
【図１３】図１２のステップＳ１２００における結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。
【図１４】空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。
【図１５】空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。
【図１６】時間結合動き情報候補リスト生成に用いる時間候補ブロック群を示す図である。
【図１７】時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。
【図１８】時間結合動き情報に対する基準動きベクトル値ｍｖＣｏｌに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。
【図１９】図１２のステップＳ１２０１における結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【図２０】実施の形態１に係る、結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を示す図である。
【図２１】図１２のステップＳ１２０２の詳細動作を説明するためのフローチャートである。
【図２２】図１２のステップＳ１２０３の詳細動作を説明するためのフローチャートである。
【図２３】図５のステップＳ５０４の詳細動作を説明するためのフローチャートである。
【図２４】実施の形態１における動き予測フラグの一例を示す図である。
【図２５】図２３のフローチャートで示した、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスの一例を示す図である。
【図２６】図６に示した実施の形態１の動画像復号装置における動き情報復号部の詳細な構成を示す図である。
【図２７】図７のステップＳ７０１の詳細動作を説明するためのフローチャートである。
【図２８】実施の形態２に係る、空間結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【図２９】実施の形態２に係る、時間結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【図３０】結合動き情報候補リストの生成の様子を示す図である。
【図３１】実施の形態１に係る、参照画像指定情報の例である。
【図３２】実施の形態２に係る、参照画像指定情報の例である。
【発明を実施するための形態】
【００１８】
以下、図面とともに本発明の実施の形態に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラム、並びに動画像復号装置、動画像復号方法、動画像復号プログラムの好適な実施の形態について詳細に説明する。なお、図面の説明には同一要素には同一符号を付与して重複する説明を省略する。
【００１９】
（実施の形態１）
［動画像符号化装置全体構成］
図１は、本発明の実施の形態１に係る動画像符号化装置の構成を示す図である。以下、各部の動作について説明する。実施の形態１に係る動画像符号化装置は、入力端子１００、減算部１０１、直交変換・量子化部１０２、予測誤差符号化部１０３、逆量子化・逆変換部１０４、加算部１０５、復号画像メモリ１０６、動きベクトル検出部１０７、動き補償予測部１０８、予測モード判定部１０９、動き情報符号化部１１０、動き情報メモリ１１１、多重化部１１２、及び出力端子１１３を備える。
【００２０】
入力端子１００より入力される画像信号から符号化処理対象の予測ブロックの画像信号が、予測ブロックの位置情報と予測ブロックサイズに基づいて切り出され、予測ブロックの画像信号は、減算部１０１、動きベクトル検出部１０７及び予測モード判定部１０９に供給される。
【００２１】
図２は、符号化対象画像の一例を示す図である。実施の形態１に係る予測ブロックサイズに関しては、図２に示すように符号化対象画像が６４×６４画素の符号化ブロック（ＣＵ）単位で符号化処理され、予測ブロックは符号化ブロックが更に分割された単位で構成される。最大予測ブロックサイズは符号化ブロックと同じ６４×６４画素で、最小予測ブロックサイズは４×４画素である。符号化ブロックの予測ブロックへの分割構成は、非分割（２Ｎ×２Ｎ）、水平・垂直への分割（Ｎ×Ｎ）、水平方向のみへの分割（２Ｎ×Ｎ）、垂直方向のみへの分割（Ｎ×２Ｎ）が可能である。水平・垂直への分割の場合のみ、更に分割された予測ブロックを符号化ブロックとして階層的に予測ブロックに分割でき、その階層をＣＵ分割数で表現する。
【００２２】
図３は、予測ブロックサイズの詳細な定義を示す図である。ＣＵ分割数が０であって最大の予測ブロックサイズである６４画素×６４画素から、ＣＵ分割数が３であって最小の予測ブロックサイズである４画素×４画素までの１３の予測ブロックサイズが存在することになる。
【００２３】
本発明の実施の形態１に係る予測ブロックの分割構成に関して、この組み合わせに限定されない。また、動画像符号化装置における予測ブロックサイズの選択は、符号化ブロック単位で符号化効率のより良い構造を適応的に選択することが可能であるが、実施の形態１は予測ブロック単位での画面間予測及び画面間動き情報の符号化に注目したものであるため、最適な予測ブロックサイズの選択に関する構成要素及び説明を省略する。以降の動画像符号化装置の動作に関しては、選択した予測ブロックサイズ単位で施される動作を説明する。
【００２４】
図１に戻り、減算部１０１は、入力端子１００より供給される画像信号と予測モード判定部１０９より供給される予測信号を減算して予測誤差信号を算出し、予測誤差信号を直交変換・量子化部１０２に供給する。
【００２５】
直交変換・量子化部１０２は、減算部１０１より供給される予測誤差信号に直交変換及び量子化を施し、量子化された予測誤差信号を予測誤差符号化部１０３及び逆量子化・逆変換部１０４に供給する。
【００２６】
予測誤差符号化部１０３は、直交変換・量子化部１０２より供給される量子化された予測誤差信号をエントロピー符号化して、予測誤差信号に対する符号列を生成して、多重化部１１２に供給する。
【００２７】
逆量子化・逆変換部１０４は、直交変換・量子化部１０２より供給される量子化された予測誤差信号に対して、逆量子化や逆直交変換などの処理を行い、復号予測誤差信号を生成し加算部１０５に供給する。
【００２８】
加算部１０５は、逆量子化・逆変換部１０４より供給される復号予測誤差信号と、予測モード判定部１０９より供給される予測信号を加算して、復号画像信号を生成し、復号画像信号を復号画像メモリ１０６に供給する。
【００２９】
復号画像メモリ１０６は、加算部１０５より供給される復号画像信号を格納する。また、画像全体の復号が完了した復号画像については参照画像として１以上の所定画像数記憶し、参照画像信号を動きベクトル検出部１０７と動き補償予測部１０８に供給する。
【００３０】
動きベクトル検出部１０７は、入力端子１００より供給される予測ブロックの画像信号と、復号画像メモリ１０６に記憶された参照画像信号の入力を受けて、各参照画像に対する動きベクトルを検出し、動きベクトル値を予測モード判定部１０９に供給する。
【００３１】
一般的な動きベクトルの検出方法は、画像信号と同一位置より所定の移動量だけ移動させた参照画像に相当する画像信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、画素毎の差分絶対値の総和ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、画素毎の二乗誤差値の総和ＳＳＥ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｅｒｒｏｒ）等を利用する。さらに、動きベクトルの符号化に関わる符号量も誤差評価値に含めることも可能である。
【００３２】
動き補償予測部１０８は、予測モード判定部１０９より指定される参照画像指定情報と、動きベクトル値に従って、復号画像メモリ１０６内の参照画像指定情報で示される参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。
【００３３】
予測モード判定部１０９より指定される予測モードが片方向予測の場合には、１つの参照画像から取得した予測信号を動き補償予測信号とし、予測モードが双方向予測の場合には、２つの参照画像から取得した予測信号を重みづけ平均したものを動き補償予測信号とし、動き補償予測信号を予測モード判定部１０９に供給する。ここでは双方向予測の重みづけ平均の比率を１：１とする。
【００３４】
図４（ａ）〜（ｄ）は、動き補償予測の予測方向について説明するための図である。単一の参照画像からの予測を行う処理を片方向予測と定義し、片方向の場合はＬ０方向またはＬ１方向という２つの参照画像管理リストに登録された参照画像のいずれか一方を利用する。
【００３５】
図４（ａ）は片方向であってＬ０方向の参照画像（ＲｅｆＬ０Ｐｉｃ）が符号化対象画像（ＣｕｒＰｉｃ）より前の時刻にある場合を示している。図４（ｂ）は片方向であってＬ０方向の参照画像が符号化対象画像より後の時刻にある場合を示している。同様に、図４（ａ）および図４（ｂ）のＬ０方向の参照画像をＬ１方向の参照画像（ＲｅｆＬ１Ｐｉｃ）に置き換えて片方向予測を行うこともできる。
【００３６】
２つの参照画像からの予測を行う処理を双方向予測と定義し、双方向の場合はＬ０方向とＬ１方向の双方を利用してＢＩ方向と表現する。図４（ｃ）は双方向であってＬ０方向の参照画像が符号化対象画像より前の時刻にあって、Ｌ１方向の参照画像が符号化対象画像より後の時刻にある場合を示している。図４（ｄ）は双方向であってＬ０方向の参照画像とＬ１方向の参照画像が符号化対象画像より前の時刻にある場合を示している。このように、Ｌ０／Ｌ１の予測方向と時間の関係は、Ｌ０が過去方向、Ｌ１が未来方向とは限定されずに用いることが可能である。
【００３７】
実施の形態１では、参照画像及び符号化対象画像の時刻を示す情報としてＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）を用いる。ＰＯＣはＡＶＣで定義された画像の表示順序を示すカウンタである。画像の表示順序が１増加するとＰＯＣも１増加する。したがって、画像間のＰＯＣ差から画像間の時間差（距離）を取得できる。
【００３８】
図１に戻り、予測モード判定部１０９は、動きベクトル検出部１０７より入力される各参照画像に対して検出された動きベクトル値と、動き情報メモリ１１１に格納された動き情報（予測方向、動きベクトル値、及び参照画像指定情報）をもとに、実施の形態１において定義した動き補償予測モードのそれぞれに対して用いられる、参照画像指定情報と動きベクトル値を動き補償予測部１０８に設定する。設定した値によって、動き補償予測部１０８から供給される動き補償予測信号と、入力端子１００より供給される予測ブロックの画像信号を用いて、最適な動き補償予測モードを決定する。
【００３９】
予測モード判定部１０９は、決定した予測モード、及び予測モードに応じた予測方向、動きベクトル、及び予測対象ブロックが所定サイズよりも大きい場合には参照画像指定情報を特定する情報を、動き情報符号化部１１０に供給し、決定した予測モード及びその予測モードに対する、予測方向、動きベクトル値、及び参照画像指定情報を動き情報メモリ１１１に供給すると共に、減算部１０１及び加算部１０５に決定した予測モードに対応する予測信号を供給する。
【００４０】
動画像符号化装置において、基準とする参照画像を符号化するために同一画面内の符号化済画像を用いて予測を行う画面内予測が行われるが、実施の形態１は画面間予測に注目したものであるため、画面内予測に関連する構成要素は省略する。予測モード判定部１０９の詳細な構成については後述する。
【００４１】
動き情報符号化部１１０は、予測モード判定部１０９より供給される予測モード、及び予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を所定のシンタックス構造に従って符号化することで、動き情報の符号列を生成し、多重化部１１２に供給する。動き情報符号化部１１０の詳細な構成については後述する。
【００４２】
動き情報メモリ１１１は、予測モード判定部１０９より供給される動き情報（予測方向、動きベクトル、及び参照画像インデックス）を、最小予測ブロックサイズ単位を基準として所定画像分記憶する。処理対象の予測ブロックの隣接ブロックを空間候補ブロック群とし、復号済みの参照画像ＣｏｌＰｉｃ上で処理対象の予測ブロックと同一位置にあるブロックとその周辺ブロックを時間候補ブロック群とする。
【００４３】
ＣｏｌＰｉｃとは、処理対象の画像とは別の復号済みの画像であって、復号画像メモリ１０６に参照画像として記憶されている。実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像とする。なお、実施の形態１では、ＣｏｌＰｉｃは直前に復号した参照画像としたが、表示順で直前の参照画像や表示順で直後の参照画像でもよく、符号化ストリーム中に、ＣｏｌＰｉｃに用いる参照画像を直接指定することも可能である。
【００４４】
動き情報メモリ１１１は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として予測モード判定部１０９に供給する。多重化部１１２は、予測誤差符号化部１０３から供給される予測誤差の符号化列と、動き情報符号化部１１０から供給される動き情報の符号化列を多重化することで符号化ビットストリームを生成し、出力端子１１３経由で、記録媒体・伝送路等に当該符号化ビットストリームを出力する。
【００４５】
図１に示した動画像符号化装置の構成は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。
【００４６】
図５は、本発明の実施の形態１に係る動画像符号化装置における符号化処理の動作の流れ示すフローチャートである。予測ブロック単位毎に、入力端子１００より処理対象の予測ブロック画像を取得する（Ｓ５００）。動きベクトル検出部１０７は、処理対象の予測ブロック画像と復号画像メモリ１０６に格納された複数の参照画像より、参照画像毎の動きベクトル値を算出する（Ｓ５０１）。
【００４７】
続いて、予測モード判定部１０９は、動きベクトル検出部１０７より供給される動きベクトルと、動き情報メモリ１１１に格納された動き情報を用いて、実施の形態１において定義した各動き補償予測モードに対する予測信号を、動き補償予測部１０８を用いて取得し、最適な予測モードを選択し、予測信号を生成する（Ｓ５０２）。ステップＳ５０２の処理の詳細については後述する。
【００４８】
続いて、減算部１０１は、処理対象の予測ブロック画像と予測モード判定部１０９より供給された予測信号との差分を予測誤差信号として算出する（Ｓ５０３）。動き情報符号化部１１０は、予測モード判定部１０９より供給される予測モード、及び予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を所定のシンタックス構造に従って符号化し、動き情報の符号化データを生成する（Ｓ５０４）。ステップＳ５０４の処理の詳細については後述する。
【００４９】
続いて、予測誤差符号化部１０３は、直交変換・量子化部１０２で生成された量子化された予測誤差信号をエントロピー符号化して、予測誤差の符号化データを生成する（Ｓ５０５）。多重化部１１２は、動き情報符号化部１１０から供給される動き情報の符号化データと、予測誤差符号化部１０３から供給される予測誤差の符号化データを多重化し、符号化ビットストリームを生成する（Ｓ５０６）。
【００５０】
加算部１０５は、逆量子化・逆変換部１０４より供給される復号予測誤差信号と、予測モード判定部１０９より供給される予測信号を加算して、復号画像信号を生成する（Ｓ５０７）。加算部１０５によって、生成された復号画像信号が復号画像メモリ１０６に供給、格納され、以降に符号化する符号化画像の動き補償予測処理に用いられる（Ｓ５０８）。動き情報メモリ１１１は、動きベクトル検出部１０７より供給される動き情報（予測方向、動きベクトル、及び参照画像指定情報）を最小の予測ブロックサイズ単位で格納する（Ｓ５０９）。
【００５１】
［動画像復号装置全体構成］
図６は、本発明の実施の形態１に係る動画像復号装置の構成を示す図である。以下、各部の動作について説明する。実施の形態１に係る動画像復号装置は、入力端子６００、多重分離部６０１、予測差分情報復号部６０２、逆量子化・逆変換部６０３、加算部６０４、復号画像メモリ６０５、動き情報復号部６０６、動き情報メモリ６０７、動き補償予測部６０８、及び出力端子６０９を備える。
【００５２】
入力端子６００より符号化ビットストリームが多重分離部６０１に供給される。多重分離部６０１は、供給された符号化ビットストリームの符号列を予測誤差情報の符号化列と、予測モード、並びに予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報で構成される動き情報の符号化列に分離する。当該予測誤差情報の符号化列を予測差分情報復号部６０２に供給し、当該動き情報の符号化列を動き情報復号部６０６に供給する。
【００５３】
予測差分情報復号部６０２は、多重分離部６０１より供給された予測誤差情報の符号化列を復号し、量子化された予測誤差信号を生成する。予測差分情報復号部６０２は、生成した量子化された予測誤差信号を逆量子化・逆変換部６０３に供給する。
【００５４】
逆量子化・逆変換部６０３は、予測差分情報復号部６０２より供給される量子化された予測誤差信号を逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、復号予測誤差信号を加算部６０４に供給する。
【００５５】
加算部６０４は、逆量子化・逆変換部６０３より供給される復号予測誤差信号と、動き補償予測部６０８より供給される予測信号を加算して復号画像信号を生成し、復号画像信号を復号画像メモリ６０５に供給する。
【００５６】
復号画像メモリ６０５は、図１の動画像符号化装置における復号画像メモリ１０６と同じ機能を有し、加算部６０４から供給された復号画像信号を格納し、参照画像信号を動き補償予測部６０８に供給する。また、復号画像メモリ６０５は、格納された復号画像信号を再生時刻に合わせて、画像の表示順序に従い出力端子６０９に供給する。
【００５７】
動き情報復号部６０６は、多重分離部６０１より供給される動き情報の符号化列より、予測モード、並びに予測モードに応じた予測方向、動きベクトル、及び参照画像指定情報を特定する情報を動き情報として復号する。復号した動き情報と、動き情報メモリ６０７より供給される候補ブロック群の動き情報より、動き補償予測に用いる予測方向、動きベクトル及び参照画像指定情報を再生し、動き補償予測部６０８に供給する。また、動き情報復号部６０６は再生した動き情報を、動き情報メモリ６０７に供給する。動き情報復号部６０６の詳細な構成については後述する。
【００５８】
動き情報メモリ６０７は、図１の動画像符号化装置における動き情報メモリ１１１と同じ機能を持ち、動き情報復号部６０６より供給される再生した動き情報を最小予測ブロックサイズ単位を基準として所定画像分記憶する。また、動き情報メモリ６０７は、空間候補ブロック群と時間候補ブロック群の動き情報を、候補ブロック群の動き情報として動き情報復号部６０６に供給する。
【００５９】
動き補償予測部６０８は、図１の動画像符号化装置における動き補償予測部１０８と同じ機能を持ち、動き情報復号部６０６より供給される動き情報に基づいて、復号画像メモリ６０５内の参照画像指定情報が示す参照画像を、動きベクトル値だけ予測ブロックの画像信号と同一位置より移動させた位置の画像信号を取得して予測信号を生成する。動き補償予測の予測方向が双方向であれば、各予測方向の予測信号を平均したものを予測信号として生成し、予測信号を加算部６０４に供給する。
【００６０】
出力端子６０９は、復号画像メモリ６０５より供給された復号画像信号を、ディスプレイなどの表示媒体に出力することで、復号画像信号が再生される。
【００６１】
図６に示した動画像復号装置の構成も、図１に示した動画像符号化装置の構成と同様に、ＣＰＵ、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアによっても実現可能である。
【００６２】
図７は、本発明の実施の形態１に係る動画像復号装置における復号処理の動作の流れを示すフローチャートである。多重分離部６０１は、入力端子６００より供給された符号化ビットストリームを予測誤差情報の符号化列と、動き情報の符号化列に分離する（Ｓ７００）。分離された動き情報の符号化列は動き情報復号部６０６に供給され、動き情報メモリ６０７より供給される候補ブロック群の動き情報を用いて、復号対象ブロックの動き情報を復号する（Ｓ７０１）。
【００６３】
分離された予測誤差情報の符号化列は、予測差分情報復号部６０２に供給され、量子化された予測誤差信号として復号され、逆量子化・逆変換部６０３で逆量子化や逆直交変換などの処理を施されることで、復号予測誤差信号が生成される（Ｓ７０２）。ステップＳ７０２の処理の詳細については後述する。
【００６４】
動き情報復号部６０６より、復号対象ブロックの動き情報が動き補償予測部６０８に供給され、動き補償予測部６０８は動き情報にしたがって動き補償予測を行い予測信号を算出する（Ｓ７０３）。加算部６０４は、逆量子化・逆変換部６０３から供給された復号予測誤差信号と、動き補償予測部６０８から供給された予測信号とを加算し、復号画像信号を生成する（Ｓ７０４）。
【００６５】
加算部６０４より供給された復号画像信号は、復号画像メモリ６０５に格納される（Ｓ７０５）と共に、動き情報復号部６０６より供給された復号対象ブロックの動き情報が動き情報メモリ６０７に格納される（Ｓ７０６）。これで、予測ブロック単位の復号処理が終了する。
【００６６】
［実施の形態１の詳細機能説明］
本発明の実施の形態１に係る動画像符号化装置の予測モード判定部１０９及び動き情報符号化部１１０の動作、図５のフローチャートにおけるステップＳ５０２及びステップＳ５０４の処理、並びに本発明の実施の形態１に係る動画像復号装置における動き情報復号部６０６の動作、図７のフローチャートにおけるステップＳ７０２の処理の詳細動作を、以下説明する。
【００６７】
［実施の形態１における動き補償予測モードの定義］
図８（ａ）、（ｂ）は、本発明の実施の形態１における動き補償予測において使用される動き情報を符号化するための２つの予測モードを説明するための図である。第一の予測モードは、予測対象ブロックと当該予測対象ブロックに隣接する符号化済ブロックにおける時間方向や空間方向の動きの連続性を用いて、当該予測対象ブロックは自身の動き情報を直接符号化せずに、空間及び時間的に隣接するブロックの動き情報を符号化に使用する手法であり、結合予測モード（マージモード）と呼ぶ。
【００６８】
結合予測モードの場合には、複数の隣接ブロック候補より選択的に結合する動き情報が定義でき、動き情報は使用する隣接ブロックを指定する情報（インデックス）を符号化することで、指定情報をもとに取得した動き情報をそのまま動き補償予測に用いる。更に、結合予測モードにおいては、予測差分情報を符号化伝送せずに、結合予測モードで予測された予測信号を復号ピクチャとするＳｋｉｐモードを定義し、結合した動き情報のみの少ない情報で復号画像が再生できる構成を有する。Ｓｋｉｐモードにおいて伝送する動き情報は、結合予測モードと同様に隣接ブロックを定義する指定情報となる。
【００６９】
第二の予測モードは、動き情報の構成要素を個別にすべて符号化し、予測ブロックに対して予測誤差の少ない動き情報を伝送する手法であり、動き検出予測モードと呼ぶ。動き検出予測モードは、従来の動き補償予測の動き情報の符号化と同様に、参照画像を特定するための情報（参照画像インデックス）と、動きベクトルを特定するための情報が別々に符号化される。
【００７０】
動き検出予測モードには、片方向予測と双方向予測のどちらを使用するか予測モードで指示し、片方向予測の場合には１つの参照画像に対する参照画像を特定する情報と、動きベクトルの予測ベクトルとの差分ベクトルを符号化する。双方向予測の場合には２つの参照画像に対する参照画像を特定する情報と、動きベクトルがそれぞれ個別に符号化される。動きベクトルに対する予測ベクトルは、ＡＶＣと同様に隣接ブロックの動き情報から生成されるが、結合予測モードと同様に、複数の隣接ブロック候補より予測ベクトルに用いる動きベクトルを選択できる。動き検出予測モードにおいては、予測ベクトルに使用する隣接ブロックを指定する情報（インデックス）は、結合予測モードにおける動き情報と同一の候補より指定する。ただし、動き検出予測モードの予測ベクトルの候補は結合予測モードと同一のものに限定されない。動き検出予測モードの動きベクトルは予測ベクトルに使用する隣接ブロックを指定する情報（インデックス）と差分ベクトルの２つを符号化することで伝送される。
【００７１】
図９は、動き補償予測および動き補償予測を実施しない画面内予測における、動き補償の予測方向と、参照画像を定義する情報、及び符号化する動きベクトル数の関連に関して説明するための図である。
【００７２】
動き検出予測モードの内、予測方向が片方向である片方向予測モード（ＵｎｉＰｒｅｄ）の場合は、符号化する動き情報として１つの符号化ベクトル（差分ベクトル）、１つの参照画像インデックス、１つの予測ベクトルインデックスが伝送される。
【００７３】
同様に予測方向が双方向である双方向予測モード（ＢｉＰｒｅｄ）の場合は、符号化する動き情報として２つの符号化ベクトル（差分ベクトル）、２つの参照画像インデックス、１つの結合動き情報インデックスが伝送される。
【００７４】
結合予測モード（マージモード）の場合には、１つの結合動き情報インデックスのみが符号化する動き情報として伝送され、動き情報に基づいて片方向もしくは双方向の動き補償予測が施される。
【００７５】
動き補償予測を実施しない予測符号化モードであるイントラモード（Ｉｎｔｒａ）においては、動き情報は符号化されず、画面内予測に用いる情報が符号化される。
【００７６】
隣接する動き情報との時間的・空間的な相関性が高い場合には、結合予測モードが有効な動き補償予測モードとして選択される。相関性が低い場合もしくは一部の動き情報のみが有効に予測ブロックの動き情報として利用できる場合には、動き検出予測モードが有効な動き補償予測モードとして選択される。
【００７７】
［実施の形態１における動画像符号化装置における予測モード判定部の詳細動作説明］
図１０は、実施の形態１の動画像符号化装置における予測モード判定部１０９の詳細な構成を示す図である。予測モード判定部１０９は、最適な動き補償予測モードを決定する機能を有する。
【００７８】
予測モード判定部１０９は、片方向動き補償予測生成部１０００、双方向動き補償予測生成部１００１、予測誤差算出部１００２、予測ベクトル算出部１００３、差分ベクトル算出部１００４、動き情報符号量算出部１００５、予測モード評価部１００６、結合動き情報算出部１００７、及び結合動き補償予測生成部１００８を含む。
【００７９】
図１における予測モード判定部１０９に対して、動きベクトル検出部１０７より入力された動きベクトル値が、片方向動き補償予測生成部１０００、及び双方向動き補償予測生成部１００１に供給され、動き情報メモリ１１１より入力された動き情報が、結合動き情報算出部１００７に供給される。
【００８０】
また、動き補償予測部１０８に対して、片方向動き補償予測生成部１０００、双方向動き補償予測生成部１００１、及び結合動き補償予測生成部１００８から、動き補償予測に用いる参照画像指定情報と動きベクトルが出力される。また、動き補償予測部１０８より、生成された動き補償予測画像が予測誤差算出部１００２に供給される。予測誤差算出部１００２には更に、入力端子１００より符号化対象となる予測ブロックの画像信号が供給される。
【００８１】
また、予測モード評価部１００６から、動き情報符号化部１１０に対して符号化する動き情報と確定した予測モード情報を供給し、動き情報メモリ１１１に動き情報を供給し、動き補償予測信号を減算部１０１及び加算部１０５に供給する。
【００８２】
片方向動き補償予測生成部１０００は、片方向予測に使用可能な各参照画像に対して算出された動きベクトル値を受信し、参照画像指定情報を予測ベクトル算出部１００３に供給し、参照画像指定情報と動きベクトルを動き補償予測部１０８に出力する。
【００８３】
双方向動き補償予測生成部１００１も同様に、双方向予測に使用可能な各参照画像に対して算出された動きベクトル値を受信し、それぞれの参照画像に対する参照画像指定情報を予測ベクトル算出部１００３に供給し、それぞれの参照画像に対する参照画像指定情報と動きベクトルを動き補償予測部１０８に出力する。
【００８４】
予測誤差算出部１００２は、入力された動き補償予測画像と処理対象の予測ブロック画像より、予測誤差評価値を算出する。誤差評価値を算出するための演算としては、動きベクトル検出における誤差評価値と同様に、画素毎の差分絶対値の総和ＳＡＤや、画素毎の二乗誤差値の総和ＳＳＥ等を使用できる。更に、予測残差の符号化を行う際に施される、直交変換・量子化を行うことによって復号画像に生じる歪成分の量を加味することで、より正確な誤差評価値が算出可能である。この場合には、予測誤差算出部１００２内に、図１における減算部１０１、直交変換・量子化部１０２、逆量子化・逆変換部１０４、加算部１０５の機能を有することで実現できる。予測誤差算出部１００２は、各予測モードにおいて算出された予測誤差評価値と、動き補償予測信号を予測モード評価部１００６に供給する。
【００８５】
予測ベクトル算出部１００３は、片方向動き補償予測生成部１０００及び双方向動き補償予測生成部１００１より参照画像指定情報を供給され、結合動き情報算出部１００７から供給される結合動き情報候補リストより、登録された結合動き情報候補のそれぞれに対して、動き情報より指定された参照画像に対する動きベクトル値を特定する。そして、複数の予測ベクトルを結合動き情報候補リストと共に生成し、差分ベクトル算出部１００４に、参照画像指定情報と共に供給する。
【００８６】
差分ベクトル算出部１００４は、予測ベクトル算出部１００３より供給された、予測ベクトル候補のそれぞれに対して、片方向動き補償予測生成部１０００及び双方向動き補償予測生成部１００１から供給される動きベクトル値との差分を計算し、差分ベクトル値を算出する。算出された差分ベクトル値と予測ベクトル候補に対する指定情報である予測ベクトルインデックスを符号化した際の符号量が最も少ない情報量で表現出来る、予測ベクトルインデックスと差分ベクトルの組合せが特定される。最も少ない情報量で表現出来る、予測ベクトルインデックスと差分ベクトル値を参照画像指定情報と共に、動き情報符号量算出部１００５に供給する。
【００８７】
動き情報符号量算出部１００５は、差分ベクトル算出部１００４より供給される、片方向予測モード及び双方向予測モードの差分ベクトル値、参照画像指定情報、予測ベクトルインデックス、予測モードより、各予測モードにおける動き情報に要する符号量を算出する。また、動き情報符号量算出部１００５は、結合動き補償予測生成部１００８より、結合予測モードにおいて伝送する必要がある、結合動き情報インデックスと予測モードを示すための情報を受け取り、結合予測モードにおける動き情報に要する符号量を算出する。動き情報符号量算出部１００５は、各予測モードにおいて算出された動き情報及び動き情報に要する符号量を予測モード評価部１００６に供給する。
【００８８】
予測モード評価部１００６は、予測誤差算出部１００２より供給された各予測モードの予測誤差評価値と、動き情報符号量算出部１００５から供給された各予測モードの動き情報符号量を用いて、各予測モードの総合動き補償予測誤差評価値を算出し、最も少ない評価値である予測モードを選択し、選択した予測モードと選択した予測モードに対する動き情報を、動き情報符号化部１１０及び動き情報メモリ１１１に出力する。また、予測モード評価部１００６は同様に、予測誤差算出部１００２より供給された動き補償予測信号に対して、選択した予測モードにおける予測信号を選択して減算部１０１及び加算部１０５に出力する。
【００８９】
結合動き情報算出部１００７は、動き情報メモリ１１１より供給される隣接ブロックの動き情報における候補ブロック群を用いて、片方向であるか双方向であるかを示す予測方向、参照画像指定情報、動きベクトル値で構成される動き情報として、複数の動き情報を結合動き情報候補リストと共に生成し、結合動き補償予測生成部１００８に供給する。
【００９０】
図１１は、結合動き情報算出部１００７の構成を示す図である。結合動き情報算出部１００７は、結合動き情報候補リスト生成部１１００及び結合動き情報候補リスト削除部１１０１を含む。結合動き情報算出部１００７は、候補ブロック群より所定の順番で動き情報の候補を作成し、その中から、動き情報の各要素（予測方向、参照画像指定情報、及び動きベクトル値）が全て同一の値を示している候補を削除することで、有効な動き情報のみを結合動き情報候補として登録する。結合動き情報算出部１００７の詳細動作に関しては、後述する。
【００９１】
図１０に戻り、結合動き補償予測生成部１００８は、結合動き情報算出部１００７より供給された結合動き情報候補リストより、登録された結合動き情報候補のそれぞれに対して、動き情報より、予測方向に応じて１つの参照画像（片方向）もしくは２つの参照画像（双方向）の参照画像指定情報と動きベクトル値を動き補償予測部１０８に指定して、動き補償予測画像を生成すると共に、それぞれの結合動き情報インデックスを動き情報符号量算出部１００５に供給する。結合動き補償予測生成部１００８の詳細動作に関しては、後述する。
【００９２】
図１０の構成では、それぞれの結合動き情報インデックスにおける予測モード評価は、予測モード評価部１００６で施されるが、予測誤差評価値及び動き情報符号量を予測誤差算出部１００２及び動き情報符号量算出部１００５より受け取り、結合動き補償予測生成部１００８内で、最適な結合動き補償予測の結合動きインデックスを確定させた後に、他の予測モードを含めた最適予測モードの評価を行う構成を取ることも可能である。
【００９３】
図１２は、図１０の予測モード判定部１０９を介して動作する、図５のステップＳ５０２である動き補償予測モード／予測信号生成の動作について説明するためのフローチャートである。最初に、結合動き情報候補リスト生成を行い（Ｓ１２００）、結合予測モード評価値を生成する（Ｓ１２０１）。
【００９４】
続いて、片方向予測モード評価値を生成し（Ｓ１２０２）、双方向予測モード評価値を生成し（Ｓ１２０３）、生成した評価値を比較することで最適な予測モードを選択する（Ｓ１２０４）。ただし、ステップＳ１２０１、ステップＳ１２０２、及びステップＳ１２０３の評価値生成の順序はこの順序に限らない。
【００９５】
選択された予測モードに従い予測信号を出力し（Ｓ１２０５）、選択された予測モードに従い動き情報を出力する（Ｓ１２０６）ことで、予測ブロック単位の動き補償予測モード／予測信号生成処理が終了する。ステップＳ１２００、ステップＳ１２０１、ステップＳ１２０２、及びステップＳ１２０３の詳細動作に関しては後述する。
【００９６】
図１３は、図１２のステップＳ１２００における結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。この動作は、図１０の結合動き情報算出部１００７における構成の詳細動作を示している。図１１の結合動き情報候補リスト生成部１１００は、動き情報メモリ１１１より供給される空間候補ブロック群から領域外である候補ブロックやイントラモードである候補ブロックを除いた候補ブロック群から、空間結合動き情報候補リストを生成する（Ｓ１３００）。空間結合動き情報候補リスト生成の詳細な動作は後述する。
【００９７】
結合動き情報候補リスト生成部１１００は、続いて動き情報メモリ１１１より供給される時間候補ブロック群から領域外である候補ブロックやイントラモードである候補ブロックを除いた候補ブロック群から、時間結合動き情報候補リストを生成する（Ｓ１３０１）。時間結合動き情報候補リスト生成の詳細な動作は後述する。
【００９８】
続いて、結合動き情報候補リスト削除部１１０１において、生成された空間結合動き情報候補リストと時間結合動き情報候補リストを統合した結合動き情報候補リストより、重複している動き情報を持つ結合動き情報候補が複数存在する場合には１つの結合動き情報候補を残して削除して動き情報候補リストを更新する（Ｓ１３０２）。
【００９９】
最後に、上記処理において隣接ブロックに有効な動き情報が存在せず、結合動き情報候補が存在しない場合（Ｓ１３０３：ＹＥＳ）、固定の動き情報を結合動き情報候補リストに追加して（Ｓ１３０４）、処理を終了する。実施の形態１では固定の動き情報として、予測方向が双方向で、参照画像指定情報（インデックス）が０、２つの動きベクトル値が共に（０，０）の値を設定する。実施の形態１における固定の動き情報としては、上記設定には限定されず、暗黙的に指定できる手法で設定されることにより、動画像復号装置においても同じ動き情報が再現できる。なお、上記処理において隣接ブロックに有効な動き情報が存在し、結合動き情報候補が存在する場合（Ｓ１３０３：ＮＯ）、ステップＳ１３０４をスキップして、処理を終了する。
【０１００】
動き情報メモリ１１１より、結合動き情報算出部１００７に供給される動き情報の候補ブロック群には、空間候補ブロック群と時間候補ブロック群が含まれる。まず、空間結合動き情報候補リスト生成について説明する。
【０１０１】
図１４は、空間結合動き情報候補リスト生成に用いる空間候補ブロック群を示す図である。空間候補ブロック群は、符号化対象画像の予測対象ブロックに隣接している同一画像のブロックを示す。ブロック群は、その管理が最小予測ブロックサイズ単位で行われ、図１４に示すようなＡ０〜Ａ４、Ｂ０〜Ｂ５の位置のブロックが隣接するブロック群となる。候補ブロックの位置は、最小予測ブロックサイズの単位で管理されるが、隣接ブロックの予測ブロックサイズが最小予測ブロックサイズよりも大きな場合には、予測ブロックサイズ内の全ての候補ブロックに同一の動き情報が格納される。実施の形態１においては、これら隣接するブロック群の内、空間候補ブロック群をブロックＡ１、ブロックＢ１、ブロックＢ０、ブロックＡ０、ブロックＢ５の５ブロックとする。
【０１０２】
図１５は、空間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。空間候補ブロック群に含まれる５つの候補ブロックであるブロックＡ１、ブロックＢ１、ブロックＢ０、ブロックＡ０、ブロックＢ５について以下の処理を繰り返し行う（Ｓ１５００からＳ１５０９）。
【０１０３】
最初に候補ブロックの有効性を検査する（Ｓ１５０１）。候補ブロックが領域外でなくイントラモードでない場合（Ｓ１５０１：ＹＥＳ）、候補ブロックは有効となる。次に、予測対象ブロックが所定サイズよりも大きい場合（Ｓ１５０２：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ１５０３）。予測対象ブロックが所定サイズよりも大きくない場合（Ｓ１５０２：ＮＯ）、動き情報が片方向である場合（Ｓ１５０４：ＹＥＳ）には、Ｌ０方向の参照画像インデックスが０であるかどうかを判定し、０である場合（Ｓ１５０５：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ１５０３）。Ｌ０方向の参照画像インデックスが０であるかどうかを判定し、０でない場合（Ｓ１５０５：ＮＯ）、参照画像インデックスを０として（Ｓ１５０７）、参照画像インデックスを０とした動きベクトルを参照画像距離比率でスケーリングする（Ｓ１５０８）。動きベクトルのスケーリングの詳細については、時間結合動き情報候補リスト生成で説明する。動き情報が片方向でない場合（Ｓ１５０４：ＮＯ）には、Ｌ０方向の参照画像インデックス及びＬ１方向の参照画像インデックスが双方とも０であるかどうかを判定し、双方とも０である場合（Ｓ１５０６：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ１５０３）。Ｌ０方向の参照画像インデックス及びＬ１方向の参照画像インデックスが双方とも０であるかどうかを判定し、どちらかが０でない場合（Ｓ１５０６：ＮＯ）、０でない参照画像インデックスを０として（Ｓ１５０７）、参照画像インデックスを０とした動きベクトルを参照画像距離比率でスケーリングする（Ｓ１５０８）。
【０１０４】
図３０に実施の形態１における結合動き情報候補リストの生成の様子を示す。図３０（ａ）は、予測対象ブロックが所定サイズより大きい場合の結合動き情報候補リストである。参照画像インデックス隣接ブロックの状態を引き継ぐ。図３０（ｂ）は、予測対象ブロックが所定サイズより大きくない場合の結合動き情報候補リストである。参照画像インデックスは０に固定され、隣接ブロックの参照画像インデックスが０でない候補の動きベクトルはスケーリングされる。
【０１０５】
図１５のフローチャートでは、参照画像インデックスが０でない場合に、参照画像インデックスを０として空間結合動き情報候補を生成したが、参照画像インデックスが０でない場合には空間結合動き情報候補として登録しないことも可能である。また、各結合動き情報候補に対してスケーリングを行うことによる処理負荷を抑制するために、参照画像インデックスが０でない場合にも参照画像インデックスを０としてスケーリングを行わずに登録することも可能である。
【０１０６】
ここでは、空間結合動き情報候補リストには５以下の候補ブロックの動き情報が含まれるとしたが、空間候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも１以上の処理済みのブロックであり、候補ブロックの有効性によって空間結合動き情報候補リストの数が変動すればよく、これに限定されない。なお、候補ブロックが領域外またはイントラモードの場合（Ｓ１５０１：ＮＯ）、ステップＳ１５０２〜Ｓ１５０８をスキップし、次の候補ブロックの有効／無効判定が行われる。
【０１０７】
続いて、時間結合動き情報候補リスト生成について説明する。図１６は、時間結合動き情報候補リスト生成に用いる時間候補ブロック群を示す図である。時間候補ブロック群は、予測対象ブロックを含む対象画像とは別の復号済みの参照画像ＣｏｌＰｉｃにおける予測対象ブロックと同位置及びその周辺にあるブロックを示す。図１６におけるＡ０〜Ａ４、Ｂ０〜Ｂ５、Ｆ０〜Ｆ４、Ｇ１〜Ｇ４、Ｈ、Ｉ１〜Ｉ１６の位置のブロックが、時間的に隣接するブロック群となる。実施の形態１においては、これら時間的に隣接するブロック群の内、時間候補ブロック群をブロックＨとブロックＩ６の２ブロックとする。
【０１０８】
図１７は、時間結合動き情報候補リスト生成の詳細動作を説明するためのフローチャートである。時間候補ブロック群に含まれる２つの候補ブロックであるブロックＨとブロックＩ６について（ステップＳ１７００、ステップＳ１７０７）、候補ブロックの有効性を検査する（Ｓ１７０１）。候補ブロックが有効である場合（Ｓ１７０１：ＹＥＳ）、ステップＳ１７０２〜ステップＳ１７０６の処理が行われ、生成された動き情報が時間結合動き情報候補リストに登録され、処理が終了する。候補ブロックが画面領域外の位置を示す場合や、候補ブロックがイントラ予測ブロックである場合（Ｓ１７０１：ＮＯ）、候補ブロックが有効でなく、次の候補ブロックの有効／無効判定が行われる。
【０１０９】
候補ブロックが有効である場合（Ｓ１７０１：ＹＥＳ）、予測対象ブロックが所定サイズよりも大きい場合（Ｓ１７０２：ＹＥＳ）、候補ブロックの動き情報をもとに結合動き情報候補に登録する参照画像選択候補を確定する（Ｓ１７０３）。実施の形態１ではＬ０方向の参照画像を、Ｌ０方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とし、Ｌ１方向の参照画像を、Ｌ１方向の参照画像のうち処理対象画像に最も近い距離にある参照画像とする。
【０１１０】
ここでの参照画像選択候補の確定手法は、Ｌ０方向の参照画像とＬ１方向の参照画像が決定できればよく、これに限定されない。符号化処理と復号処理で同一の手法で参照画像を確定することで、符号化時に意図した参照画像を確定できる。他の確定手法としては、空間隣接ブロックが使用しているＬ０参照画像及びＬ１参照画像で、最も多く使用されている参照画像を予測対象ブロックにおける参照画像として選択する手法や、符号化ストリーム中で各方向の参照画像を指定する手法を用いることが可能である。
【０１１１】
予測対象ブロックが所定サイズよりも大きくない場合（Ｓ１７０２：ＮＯ）、Ｌ０方向の参照画像及びＬ１方向の参照画像の参照画像インデックスを０とする（Ｓ１７０４）。
【０１１２】
次に、候補ブロックの動き情報をもとに結合動き情報候補に登録する動きベクトル値を確定する（Ｓ１７０５）。実施の形態１における、時間結合動き情報は、候補ブロックの動き情報で有効な予測方向である動きベクトル値をもとに、双方向の動き情報を算出する。候補ブロックの予測方向がＬ０予測もしくはＬ１予測の片方向の場合には、予測に用いられている方向（Ｌ０方向或いはＬ１方向）の動き情報を選択し、その参照画像指定情報と動きベクトル値を双方向動き情報生成の基準値とする。
【０１１３】
候補ブロックの予測方向が双方向である場合には、Ｌ０予測或いはＬ１予測のどちらか一方の動き情報を基準値として選択する。基準値の選択方法は、例えばＣｏｌＰｉｃと同じ予測方向に存在する動き情報を選択する、候補ブロックのＬ０予測、Ｌ１予測のそれぞれの参照画像でＣｏｌＰｉｃとの画像間距離が近い方を選択する、或いは候補ブロックのＬ０予測、Ｌ１予測のそれぞれの動きベクトルが符号化処理対象画像と交差する方を選択する、符号化ストリーム中でＬ０予測或いはＬ１予測のどちらを基準値として使用するか指定する手法等が挙げられる。
【０１１４】
双方向動き情報生成の基準とする動きベクトル値が確定したら、結合動き情報候補に登録する動きベクトル値を算出する。
【０１１５】
図１８は、時間結合動き情報に対する基準動きベクトル値ｍｖＣｏｌに対する、Ｌ０予測、Ｌ１予測に対して登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔの算出手法を説明するための図である。基準動きベクトル値ｍｖＣｏｌに対するＣｏｌＰｉｃと候補ブロックの基準とする動きベクトルの対象となる参照画像との画像間距離をＣｏｌＤｉｓｔとする。Ｌ０予測、Ｌ１予測の各参照画像と処理対象画像との画像間距離をそれぞれＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｕｒＬ１Ｄｉｓｔとする。ｍｖＣｏｌを、ＣｏｌＤｉｓｔとＣｕｒｒＬ０Ｄｉｓｔ、ＣｕｒｒＬ１Ｄｉｓｔの距離比率でスケーリングした動きベクトルを、それぞれのリストの動きベクトルとして登録する。具体的には、登録する動きベクトル値ｍｖＬ０ｔ、ｍｖＬ１ｔは、下記式１、２で算出される。
ｍｖＬ０ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ０Ｄｉｓｔ／ＣｏｌＤｉｓｔ ・・・（式１）
ｍｖＬ１ｔ＝ｍｖＣｏｌ×ＣｕｒｒＬ１Ｄｉｓｔ／ＣｏｌＤｉｓｔ ・・・（式２）
となる。
【０１１６】
ただし、式１及び式２は、Ｌ０予測及びＬ１予測に対して同一のｍｖＣｏｌを基準ベクトルとする例であり、Ｌ０予測及びＬ１予測で異なるｍｖＣｏｌを使用する場合には、それぞれｍｖＣｏｌＬ０、ｍｖＣｏｌＬ１とする。
【０１１７】
図１７に戻り、このようにして生成された、双方向の参照画像選択情報（インデックス）と、動きベクトル値を結合動き情報候補に追加し（Ｓ１７０６）、時間結合動き情報候補リスト作成処理が終了する。
【０１１８】
図１９は、図１２のステップＳ１２０１における結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。この動作は、図１０の結合動き補償予測生成部１００８を用いた構成の詳細動作を示している。
【０１１９】
最初に予測誤差評価値を最大値に設定し、予測誤差が最小となる結合動き情報インデックスを初期化（例えば、−１などのリスト外の値）する（Ｓ１９００）。結合動き情報候補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理を繰り返し行う（Ｓ１９０１からＳ１９０９）。
【０１２０】
先ず、結合動き情報候補リストよりインデックスｉに格納された動き情報を取得する（Ｓ１９０２）。続いて動き情報符号量を算出する（Ｓ１９０３）。結合予測モードにおいては、結合動き情報インデックスのみが符号化されるので、結合動き情報インデックスのみが動き情報符号量となる。結合動き情報インデックスの符号列としては、実施の形態１では、Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いる。
【０１２１】
図２０は、結合動き情報候補数が５の場合のＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を示す図である。Ｔｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を用いて結合動き情報インデックスの値を符号化する場合には、結合動き情報候補数が少ないほど、結合動き情報インデックスに割り当てられる符号ビットが小さくなる。例えば、結合動き情報インデックスが１である場合、結合動き情報候補数が２個であれば'１'の１ビットで表現されるが、結合動き情報候補数が３個であれば'１０'の２ビットで表現される。なお、ここでは上記のように結合動き情報インデックスの符号化にＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列を利用しているが、他の符号列生成手法を用いることも可能であり、これに限定されない。
【０１２２】
図１９に戻り、動き情報の予測方向が片方向である場合（Ｓ１９０４：ＹＥＳ）、１つの参照画像に対する参照画像指定情報と動きベクトルを、図１における動き補償予測部１０８に設定して、片方向動き補償予測ブロックを生成する（Ｓ１９０５）。動き情報が片方向でない場合（Ｓ１９０４：ＮＯ）、２つの参照画像に対する参照画像指定情報と動きベクトルを動き補償予測部１０８に設定して、双方向動き補償予測ブロックを生成する（Ｓ１９０６）。
【０１２３】
続いて、動き補償予測ブロックと予測対象ブロックの予測誤差と動き情報符号量より、予測誤差評価値を算出し（Ｓ１９０７）、予測誤差評価値が最小値である場合には評価値を更新すると共に、予測誤差最小インデックスを更新する（Ｓ１９０８）。
【０１２４】
全ての結合動き情報候補についての予測誤差評価値が比較された結果、選択された予測誤差最小インデックスを、結合予測モードで用いる結合動き情報インデックスとして、予測誤差最小値、動き補償予測ブロックと共に出力し（Ｓ１９１０）、結合予測モード評価値生成処理を終了する。
【０１２５】
図２１は、図１２のステップＳ１２０２の詳細動作を説明するためのフローチャートである。図１２のステップＳ１２０２では、片方向予測モード評価値生成処理が行われる。
【０１２６】
最初に、片方向予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する（Ｓ２１００）。ここで、所定ブロックサイズより大きい予測対象ブロックの参照画像指定情報は自由に設定できるが、所定ブロックサイズ以下の予測対象ブロックの参照画像指定情報は、０に固定される。続いて、最小動き情報符号量を最大値に設定し、動き情報符号量が最小となる結合動き情報インデックスを初期化（例えば、−１などのリスト外の値）する（Ｓ２１０１）。結合動き情報候補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理を繰り返し行う（Ｓ２１０２からＳ２１０８）。ただし、片方向予測モードの予測ベクトル候補数は結合動き情報候補リストの数ｎｕｍ＿ｏｆ＿ｉｎｄｅｘと同一であることに限定されず、ｎｕｍ＿ｏｆ＿ｉｎｄｅｘと異なる値に設定することも可能である。
【０１２７】
先ず、結合動き情報算出部１００７より入力された結合動き情報候補リストより、インデックスｉに格納された動き情報を取得する（Ｓ２１０３）。続いて、取得した動き情報より参照画像指定情報で指定される参照画像に対する候補インデックスｉの予測ベクトル値を生成する（Ｓ２１０４）。
【０１２８】
続いて、生成された予測ベクトル値と動きベクトル値との水平・垂直成分の差分値を算出し、差分ベクトルを生成する（Ｓ２１０５）。
【０１２９】
続いて、動き情報符号量を算出する（Ｓ２１０６）。片方向予測モードの場合に、符号化する動き情報としては、１つの参照画像に対する、参照画像指定情報、差分ベクトル値、及び結合動き情報インデックスの３要素となり、各々符号化された符号量の総量が動き情報符号量として算出される。動き情報符号量が、最小動き情報符号量よりも小さい場合には、最小動き情報符号量を更新すると共に、動き情報符号量最小インデックスを更新する（Ｓ２１０７）。すべての候補インデックスに対する動き情報符号量の算出を行うことで（Ｓ２１０８）、最小動き情報符号量と動き情報符号量最小インデックスが算出される。
【０１３０】
続いて、１つの参照画像に対する参照画像指定情報と動きベクトルを図１における動き補償予測部１０８に設定して、片方向動き補償予測ブロックを生成する（Ｓ２１０９）。さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と、算出された最小動き情報符号量より、予測誤差評価値を算出し（Ｓ２１１０）、予測誤差評価値、並びに１つの参照画像に対する動き情報である、参照画像指定情報、差分ベクトル値、及び算出された動き情報符号量最小インデックスである結合動き情報インデックスを動き補償予測ブロックと共に出力し（Ｓ２１１１）、片方向予測モード評価値生成処理を終了する。
【０１３１】
図２２は、図１２のステップＳ１２０３の詳細動作を説明するためのフローチャートである。図１２のステップＳ１２０３では、双方向予測モード評価値生成処理が行われる。
【０１３２】
最初に、Ｌ０予測及びＬ１予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する（Ｓ２２００）。ここで、所定ブロックサイズより大きい予測対象ブロックの参照画像指定情報は自由に設定できるが、所定ブロックサイズ以下の予測対象ブロックの参照画像指定情報は、０に固定される。続いて、最小動き情報符号量を最大値に設定し、動き情報符号量が最小となる結合動き情報インデックスを初期化（例えば、−１などのリスト外の値）する（Ｓ２２０１）。結合動き情報候補リスト生成処理により、生成された結合動き情報候補リストの数をｎｕｍ＿ｏｆ＿ｉｎｄｅｘとすると、ｉ＝０からｎｕｍ＿ｏｆ＿ｉｎｄｅｘ−１までの結合動き情報候補について以下の処理を繰り返し行う（Ｓ２２０２からＳ２２１０）。ただし、双方向予測モードの予測ベクトル候補数は結合動き情報候補リストの数ｎｕｍ＿ｏｆ＿ｉｎｄｅｘと同一であることに限定されず、ｎｕｍ＿ｏｆ＿ｉｎｄｅｘと異なる値に設定することも可能である。
【０１３３】
先ず、結合動き情報算出部１００７より入力された結合動き情報候補リストより、インデックスｉに格納された動き情報を取得する（Ｓ２２０３）。続いて、取得した動き情報より参照画像指定情報で指定されるＬ０参照画像に対する候補インデックスｉの予測ベクトル値を生成する（Ｓ２２０４）。
【０１３４】
続いて、生成された予測ベクトル値と動きベクトル値との水平・垂直成分の差分値を算出し、Ｌ０予測に対する差分ベクトルを生成する（Ｓ２２０５）。
【０１３５】
続いて、取得した動き情報より参照画像指定情報で指定されるＬ１参照画像に対する候補インデックスｉの予測ベクトル値を生成する（Ｓ２２０６）。生成された予測ベクトル値と動きベクトル値との水平・垂直成分の差分値を算出し、Ｌ１予測に対する差分ベクトルを生成する（Ｓ２２０７）。
【０１３６】
続いて、動き情報符号量を算出する（Ｓ２２０８）。双方向予測モードの場合には、符号化する動き情報としては、Ｌ０とＬ１の２つの参照画像に対する、参照画像指定情報、差分ベクトル値と、１つの結合動き情報インデックスの計５要素となり、各々符号化された符号量の総量が動き情報符号量として算出される。そのため、結合予測モードと比較して、符号化される動き情報の符号量は大きくなるが、すべての参照画像を予測対象画像として指定出来、すべての動きベクトルを指定可能であるため、より予測残差の少ない動き補償予測ブロックを生成することができる。動き情報符号量が、最小動き情報符号量よりも小さい場合には、最小動き情報符号量を更新すると共に、動き情報符号量最小インデックスを更新する（Ｓ２２０９）。すべての候補インデックスに対する動き情報符号量の算出を行うことで（Ｓ２２１０）、最小動き情報符号量と動き情報符号量最小インデックスが算出される。
【０１３７】
続いて、２つの参照画像に対する参照画像指定情報と動きベクトルを図１における動き補償予測部１０８に設定して、双方向動き補償予測ブロックを生成する（Ｓ２２１１）。さらに、動き補償予測ブロックと予測対象ブロックの予測誤差と、算出された最小動き情報符号量より、予測誤差評価値を算出し（Ｓ２２１２）、予測誤差評価値、並びにＬ０、Ｌ１の２つの参照画像に対する動き情報である、２つの参照画像指定情報、２つの差分ベクトル値、及び算出された動き情報量最小インデックスである、１つの結合動き情報インデックスを動き補償予測ブロックと共に出力し（Ｓ２２１３）、双方向予測モード評価値生成処理を終了する。
【０１３８】
以上の処理が、実施の形態１における動画像符号化装置における予測モード判定部１０９の詳細動作となる。
【０１３９】
［実施の形態１における動画像符号化装置における動き情報符号化部の詳細動作説明］
図２３は、図５のステップＳ５０４の詳細動作を説明するためのフローチャートである。図５のステップＳ５０４の処理は、実施の形態１の動画像符号化装置の動き情報符号化部１１０における、各動き補償予測モードに対する動き情報を符号化する処理を示す。
【０１４０】
動き情報符号化部１１０には、予測モード判定部１０９において決定された動き補償予測モードにおける、予測モードを示す情報と、各予測モードの動き情報を表現するために必要な情報が供給され、動き情報符号化部１１０は動き情報符号化データ生成処理を開始する。
【０１４１】
最初に、予測モードが結合予測モードである場合（Ｓ２３００：ＹＥＳ）、ステップＳ２３０１に進み、対象となる予測ブロックで予測誤差信号を符号化しない（Ｓｋｉｐモード）状態である場合（Ｓ２３０１：ＹＥＳ）、Ｓｋｉｐフラグを符号化し（Ｓ２３０２）、そうでない場合（Ｓ２３０１：ＮＯ）、マージフラグを１として符号化する（Ｓ２３０３）。
【０１４２】
Ｓｋｉｐフラグ或いはマージフラグを符号化した後、結合動き情報候補リストが１より大きい場合（Ｓ２３０４：ＹＥＳ）、結合動き情報インデックスを符号化し（Ｓ２３０５）、処理を終了する。結合動き情報候補リストが１の場合（Ｓ２３０４：ＮＯ）、結合動き情報が特定できるため、結合動き情報インデックスは伝送されない。
【０１４３】
次に、予測モードが結合予測モードでない場合（Ｓ２３００：ＮＯ）、マージフラグを０として符号化する（Ｓ２３０６）。続いて、動き予測フラグを符号化する（Ｓ２３０７）。動き予測フラグは、予測方向が片方向予測であるか双方向予測であるかを指示する情報として符号化される。
【０１４４】
図２４は、実施の形態１における動き予測フラグの一例を示す図である。動き予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）として、片方向を示す値（Ｐｒｅｄ＿ＬＣ）が０、双方向を示す値（Ｐｒｅｄ＿ＢＩ）が１で符号化される。
【０１４５】
図２３に戻り、結合動き情報候補リストが１より大きい場合（Ｓ２３０８：ＹＥＳ）、片方向予測もしくは双方向予測に用いられる結合動き情報インデックスを符号化する（Ｓ２３０９）。結合動き情報候補リストが１の場合（Ｓ２３０８：ＮＯ）、結合動き情報インデックスは伝送されない。
【０１４６】
次に、動き予測フラグで示された予測方向が片方向予測である場合（Ｓ２３１０：ＹＥＳ）、片方向予測モードの動き情報伝送が行われる。最初に、予測対象ブロックサイズが所定サイズよりも大きい場合（Ｓ２３１１：ＹＥＳ）、参照画像指定情報（インデックス）を符号化する（Ｓ２３１２）。予測対象ブロックサイズが所定サイズよりも大きくない場合（Ｓ２３１１：ＮＯ）、参照画像インデックスは０に固定され伝送されないため、参照画像指定情報は符号化しない。続いて、差分ベクトルを符号化し（Ｓ２３１３）、処理を終了する。
【０１４７】
一方、動き予測フラグで示された予測方向が片方向予測でない場合（Ｓ２３１０：ＮＯ）、予測モードは双方向予測モードとなり、双方向予測モードの動き情報伝送が行われる。最初に、予測対象ブロックサイズが所定サイズよりも大きい場合（Ｓ２３１４：ＹＥＳ）、Ｌ０予測の動き情報であるＬ０参照画像指定情報を符号化する（Ｓ２３１５）。予測対象ブロックサイズが所定サイズよりも大きくない場合（Ｓ２３１４：ＮＯ）、参照画像インデックスは０に固定され伝送されないため、Ｌ０参照画像指定情報は符号化しない。続いて、Ｌ０差分ベクトル値を符号化する（Ｓ２３１６）。
【０１４８】
続いて、予測対象ブロックサイズが所定サイズよりも大きい場合（Ｓ２３１７：ＹＥＳ）、Ｌ１予測の動き情報であるＬ１参照画像指定情報を符号化する（Ｓ２３１８）。予測対象ブロックサイズが所定サイズよりも大きくない場合（Ｓ２３１７：ＮＯ）、参照画像インデックスは０に固定され伝送されないため、Ｌ０参照画像指定情報は符号化しない。続いて、Ｌ１差分ベクトル値を符号化する（Ｓ２３１９）。以上の処理により、動き情報符号化データの生成が終了する。
【０１４９】
図２５は、図２３のフローチャートで示した、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスの一例を示す。動き検出モードの片方向予測モード、双方向予測モードそれぞれについて、予測対象ブロックサイズ（ｃｕｒＰｕＳｉｚｅ）が所定ブロックサイズ（ｓａｍｅＲｅｆＰｕＳｉｚｅ）より大きい場合にのみ、参照画像指定情報（ｒｅｆ＿ｉｄｘ）が伝送される。予測対象ブロックサイズ（ｃｕｒＰｕＳｉｚｅ）が所定ブロックサイズ（ｓａｍｅＲｅｆＰｕＳｉｚｅ）以下の場合、参照画像指定情報（ｒｅｆ＿ｉｄｘ）は伝送されず値は０となる。
【０１５０】
図２５の符号化シンタックスにおいては、Ｓｋｉｐフラグの伝送は予測ブロック単位での動き情報の符号化より上位階層である符号化ブロック単位で行われる。従って、上位の符号化ブロックの単位で、図２３の予測誤差信号を符号化しない（Ｓｋｉｐモード）状態であるか否かの判定（Ｓ２３０１）が行われる。
【０１５１】
［実施の形態１における動画像復号装置における動き情報復号部の詳細動作説明］
図２６は、図６に示した実施の形態１の動画像復号装置における動き情報復号部６０６の詳細な構成を示す図である。動き情報復号部６０６は、動き情報ビットストリーム復号部２６００、予測ベクトル算出部２６０１、ベクトル加算部２６０２、片方向動き補償予測復号部２６０３、双方向動き補償予測復号部２６０４、及び結合動き情報算出部２６０５、結合動き補償予測復号部２６０６を含む。
【０１５２】
図６における動き情報復号部６０６に対して、多重分離部６０１より入力された動き情報ビットストリームが、動き情報ビットストリーム復号部２６００に供給され、動き情報メモリ６０７より入力された動き情報が、予測ベクトル算出部２６０１、及び結合動き情報算出部２６０５に供給される。
【０１５３】
また、動き補償予測部６０８に対して、片方向動き補償予測復号部２６０３、双方向動き補償予測復号部２６０４、及び結合動き補償予測復号部２６０６から、動き補償予測に用いる参照画像指定情報と動きベクトルが出力され、予測方向を示す情報を含めた復号された動き情報が、動き情報メモリ６０７に格納される。
【０１５４】
動き情報ビットストリーム復号部２６００は、多重分離部６０１より入力された動き情報ビットストリームを符号化シンタックスに従って復号していくことで、伝送された予測モードと、予測モードに応じた動き情報を生成する。生成した動き情報の中で、結合動き情報インデックスは、予測モードに応じて結合動き補償予測復号部２６０６又は予測ベクトル算出部２６０１に供給され、予測対象ブロックのサイズが所定ブロックサイズより大きい場合、参照画像指定情報が予測ベクトル算出部２６０１に供給され、予測ベクトルがベクトル加算部２６０２に供給され、差分ベクトル値がベクトル加算部２６０２に供給される。
【０１５５】
予測ベクトル算出部２６０１は、動き情報ビットストリーム復号部２６００より供給又は暗黙的に０に固定された参照画像指定情報と、結合動き情報算出部２６０５より供給された、結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値から、動き補償予測の対象となる参照画像に対する結合動き情報候補リストに対する予測ベクトルを生成し、参照画像指定情報、結合動き情報候補リストと共にベクトル加算部２６０２に供給する。予測ベクトル算出部２６０１の動作に関しては、図１０の動画像符号化装置における予測ベクトル算出部１００３と同一の動作が行われ、符号化時の予測ベクトルと同一の予測ベクトルが生成される。
【０１５６】
ベクトル加算部２６０２は、予測ベクトル算出部２６０１より供給された結合動き情報候補リストに対する予測ベクトル、結合動き情報候補リスト、及び参照画像指定情報と、動き情報ビットストリーム復号部２６００から供給された結合動き情報インデックス及び差分ベクトルより、結合動き情報インデックスで示された位置に登録された予測ベクトル値と差分ベクトル値を加算することで、動き補償予測対象となる参照画像に対しての動きベクトル値が再生される。再生された動きベクトル値は、参照画像指定情報と共に、予測モードに応じて片方向動き補償予測復号部２６０３、もしくは双方向動き補償予測復号部２６０４に供給される。
【０１５７】
片方向動き補償予測復号部２６０３は、ベクトル加算部２６０２より１つの参照画像に対する、再生された動きベクトル値と参照画像指定情報が供給され、動きベクトル値と参照画像指定情報を動き補償予測部６０８に設定することで、動き補償予測信号を生成する。
【０１５８】
双方向動き補償予測復号部２６０４は、ベクトル加算部２６０２より双方向の２つの参照画像に対する、再生された動きベクトル値と参照画像指定情報が供給され、動きベクトル値と参照画像指定情報を動き補償予測部６０８に設定することで、動き補償予測信号を生成する。
【０１５９】
結合動き情報算出部２６０５は、動き情報メモリ６０７から供給される隣接ブロックの動き情報より、結合動き情報候補リストを生成し、結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値を、予測モードに応じて予測ベクトル算出部２６０１、もしくは結合動き補償予測復号部２６０６に供給する。
【０１６０】
結合動き情報算出部２６０５の動作に関しては、図１０の動画像符号化装置における結合動き情報算出部１００７と同一の動作が行われ、符号化時の結合動き情報候補リストと同一の候補リストが生成される。
【０１６１】
結合動き補償予測復号部２６０６は、結合動き情報算出部２６０５より供給される結合動き情報候補リストとリスト内の構成要素である結合動き情報候補の参照画像指定情報と動きベクトル値と、動き情報ビットストリーム復号部２６００より供給される結合動き情報インデックスより、結合動き情報インデックスで示された結合動き情報候補リストにおける参照画像指定情報と動きベクトル値を再生し、動き補償予測部６０８に設定することで、動き補償予測信号を生成する。
【０１６２】
図２７は、図７のステップＳ７０１の詳細動作を説明するためのフローチャートである。動き情報ビットストリーム復号部２６００、予測ベクトル算出部２６０１、及び結合動き情報算出部２６０５により、図７のステップＳ７０１における動き情報復号処理が行われる。
【０１６３】
動き情報復号処理は、図２５のシンタックス構造で符号化された符号化ビットストリームより動き情報を復号する処理である。最初に符号化ブロックの所定単位でＳｋｉｐフラグを復号する（Ｓ２７００）。以降は予測ブロック単位の処理となる。ＳｋｉｐフラグがＳｋｉｐモードを示している場合（Ｓ２７０１：ＹＥＳ）、結合予測動き情報復号を行う（Ｓ２７０２）。結合予測動き情報の復号は、図２３のＳ２３０４〜Ｓ２３０５の符号化処理を復号処理に置き換えるだけなので詳細な説明を省略する。
【０１６４】
Ｓｋｉｐモードでない場合（Ｓ２７０１：ＮＯ）、マージフラグを復号する（Ｓ２７０３）。マージフラグが１を示している場合（Ｓ２７０４：ＹＥＳ）、ステップＳ２７０２の結合予測動き情報復号に進む。
【０１６５】
マージフラグが１でない場合（Ｓ２７０４：ＮＯ）、動き予測フラグを復号する（Ｓ２７０５）。動き予測フラグが片方向予測モードである場合（Ｓ２７０６：ＹＥＳ）、即ち図２５におけるｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇがＰｒｅｄ＿ＬＣを示す場合、片方向予測動き情報復号を行う（Ｓ２７０７）。片方向予測動き情報の復号は、図２３のＳ２３１１〜Ｓ２３１３の符号化処理を復号処理に置き換えるだけなので詳細な説明を省略する。
動き予測フラグが片方向予測モードを示していない場合（Ｓ２７０６：ＮＯ）、双方向予測動き情報復号が行われる（Ｓ２７０８）。双方向予測動き情報の復号は、図２３のＳ２３１４〜Ｓ２３１９の符号化処理を復号処理に置き換えるだけなので詳細な説明を省略する。
【０１６６】
実施の形態１における、動画像符号化装置及び動画像復号装置においては、所定のブロックサイズ以下の予測ブロックについて、参照画像指定情報（ｒｅｆ＿ｉｄｘ）を固定し、動き補償予測に用いることができる参照画像を所定ブロックサイズ内で同一の画像に制限することで、所定ブロックサイズ内で複数の参照画像から動き補償予測を行う必要がなくなり、動き補償予測部１０８、６０８では所定ブロックサイズ内での復号画像メモリ１０６または６０５に格納されている参照画像にアクセスする回数が各予測方向で１回で済むので、メモリバンド幅を削減できる。さらに、動画像符号化装置において、所定ブロックサイズ内で参照画像が固定されることで、動きベクトル検出部１０７、予測モード判定部１０９で評価すべき参照画像の枚数が減少するため、処理量を削減することができる。
【０１６７】
実施の形態１における、動画像符号化装置及び動画像復号装置においては、所定のブロックサイズ以下の予測ブロックの参照画像が、固定の参照画像指定情報で取得できるため符号化・復号化処理が簡略化できる。実施の形態１における、動画像符号化装置及び動画像復号装置においては、参照画像を制限する所定ブロックサイズの指定は、固定的に定義しても良いし、プロファイル、レベルに応じて定義しても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に記述し伝送できるようにして、符号化側で選択できるようにしても良い。
【０１６８】
実施の形態１における、動画像符号化装置及び動画像復号装置においては、所定のブロックサイズ以下の予測ブロックで固定する参照画像インデックスの値を０としたが、これは、参照画像インデックスの値が０の参照画像が最も選択される確率が高いからである。ただし、参照画像指定の固定方法はこれに限定されない。例えば、参照画像インデックスを０以外の他の値（１、２など）としても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に記述し伝送できるようにして、符号化側で選択できるようにしても良い。
【０１６９】
（実施の形態２）
次に、本発明の実施の形態２についての説明を行う。実施の形態１においては、所定のブロックサイズ以下で動き補償予測に用いることができる参照画像を参照画像インデックスの値が０の参照画像に固定したのに対して、実施の形態２においては、動き補償予測に用いることができる参照画像の制限を所定のブロックサイズ以下の第二インター予測ブロック以降の予測ブロックに緩和する。具体的には、動画像符号化装置の結合動き情報算出部１００７、動画像復号装置の結合動き情報算出部２６０５の動作、及び空間結合予測モード評価値生成ステップＳ１３００、時間結合予測モード評価値生成ステップＳ１３０１の処理が異なり、その他の構成及び処理は実施の形態１と同様である。
【０１７０】
図２８は、実施の形態２における、図１３のＳ１３００における空間結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【０１７１】
第一インター予測ブロックとは、所定のブロックサイズ内の符号化又は復号順で最初のインター予測ブロックである。また、第二インター予測ブロックとは、所定のブロックサイズ内の符号化又は復号順で最初でないインター予測ブロックである。
【０１７２】
実施の形態１における空間結合予測モード評価値生成のフローチャートである図１５との差異は、予測対象ブロックが所定のブロックサイズで最初に発生する予測ブロックである第一インター予測ブロックであるかどうかを判定する処理を追加し（Ｓ２８０２）、参照画像インデックスの判定を参照画像インデックスの値が０かどうかではなく、第一インター予測ブロックの参照画像インデックスと所定のブロックサイズで第一インター予測ブロック以外の予測ブロックである第二インター予測ブロックの参照画像インデックスが同一であるかどうかの判定に変更し（Ｓ２８０６、Ｓ２８０７）、第二インター予測ブロックの参照画像インデックスが第一インター予測ブロックの参照画像インデックスと同一でない場合（Ｓ２８０６、Ｓ２８０７：ＮＯ）、第二インター予測ブロックの参照画像インデックスの値を第一インター予測ブロックの参照画像インデックスと同一にする処理に変更する（Ｓ２８０８）。
【０１７３】
予測対象ブロックが第一インター予測ブロックである場合は（Ｓ２８０２：ＹＥＳ）、候補ブロックの動き情報を空間結合動き情報候補リストに追加する（Ｓ２８０４）。予測対象ブロックが第一インター予測ブロックでない場合（Ｓ２８０２：ＮＯ）は、予測対象ブロックが所定サイズよりも大きいかどうか判定する処理（Ｓ２８０３）に進み、以降の処理は図１５の実施の形態１のＳ１５０５〜Ｓ１５０７処理を２８０６〜Ｓ２８０８に置き換え、その他の処理は同一である。
【０１７４】
図２９は、実施の形態２における、図１３のＳ１３０１における時間結合予測モード評価値生成の詳細動作を説明するためのフローチャートである。
【０１７５】
実施の形態１における空間結合予測モード評価値生成のフローチャートである図１７との差異は、予測対象ブロックが第一インター予測ブロックであるかどうかを判定する処理を追加しているところである（Ｓ２９０２）。予測対象ブロックが第一インター予測ブロックでない場合は（Ｓ２９０２：ＮＯ）、予測対象ブロックが所定サイズよりも大きいかどうか判定する処理（Ｓ２９０３）に進み、以降の処理は図１７の実施の形態１のＳ１７０４の処理をＳ２９０５に置き換え、その他の処理は同一である。ステップＳ２９０５では、第二インター予測ブロックの参照画像インデックスの値を第一インター予測ブロックの参照画像インデックスと同一の値に変更する。予測対象ブロックが第一インター予測ブロックである場合は（Ｓ２９０２：ＹＥＳ）、実施の形態１と同様にＳ２９０４に進む。
【０１７６】
また、実施の形態２においては、図２１の片方向予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する処理（Ｓ２１００）の詳細が実施の形態１と異なる。実施の形態１では、所定ブロックサイズ以下の予測対象ブロックの参照画像インデックスは、０に固定していたが、実施の形態２では、第二インター予測ブロックの所定ブロックサイズ以下の予測対象ブロックの参照画像インデックスの値は、第一インター予測ブロックの参照画像インデックスの値に固定される。
【０１７７】
同様に、実施の形態２においては、図２２のＬ０予測及びＬ１予測に対する参照画像指定情報（インデックス）と動きベクトル値を取得する処理（Ｓ２２００）の詳細が実施の形態１と異なる。実施の形態１では、所定ブロックサイズ以下の第二インター予測ブロックの参照画像インデックスの値は、０に固定していたが、実施の形態２では、所定ブロックサイズ以下の第二インター予測ブロックの参照画像インデックスの値は、第一インター予測ブロックの参照画像インデックスの値に固定される。
【０１７８】
図３１に実施の形態１における８ｘ８ブロック以下の予測対象ブロックの参照画像を同一にする場合の、８ｘ８ブロック内の各４ｘ４ブロックの参照画像指定情報の例を示す。図３１（ａ）は、第一インター予測ブロックが結合予測モードの場合の例であり、図３１（ｂ）は、第一インター予測ブロックが動き検出モードの場合の例である。実施の形態１では第一インター予測ブロックの予測モードがどちらの場合でも、参照画像指定情報は０に固定される。 一方、図３２に実施の形態２における８ｘ８ブロック以下の予測対象ブロックの参照画像を同一にする場合の、８ｘ８ブロック内の各４ｘ４ブロックの参照画像指定情報の例を示す。図３１の場合と同様に、図３２（ａ）は、第一インター予測ブロックが結合予測モードの場合の例であり、図３２（ｂ）は、第一インター予測ブロックが動き検出モードの場合の例である。実施の形態２においては、第一インター予測ブロックが結合予測モードの場合（図３２（ａ））、参照画像指定情報は、８ｘ８ブロックより大きいサイズのブロックと同様に、すべての参照画像が自由に指定可能である。第二インター予測ブロックでは、予測モードが結合予測モードであろうと、動き検出予測モードであろうと、参照画像指定情報は、第一インター予測ブロックの参照画像指定情報に固定される。また、第一インター予測ブロックが動き検出モードの場合（図３２（ｂ））、第一インター予測ブロックの参照画像指定情報は、実施の形態１と同様に０に固定される。第二インター予測ブロックでは、予測モードが結合予測モードであろうと、動き検出予測モードであろうと、参照画像指定情報は、第一インター予測ブロックの参照画像指定情報に固定される。つまり、第一インター予測ブロックが動き検出モードの場合には、８ｘ８ブロック内の各４ｘ４ブロックの参照画像指定情報は０に固定されるため、実施の形態１と同一の結果となる。
【０１７９】
実施の形態２においても、動き情報符号化データ生成処理によって生成される符号化ストリームのシンタックスは図２５に示す実施の形態１と同様である。ただし、動き検出モードの片方向予測モード、双方向予測モードそれぞれについて、予測ブロックのサイズ（ｃｕｒＰｕＳｉｚｅ）が所定ブロックサイズ（ｓａｍｅＲｅｆＰｕＳｉｚｅ）以下であり、且つ所定ブロックサイズ内の第一インター予測ブロックである場合は、参照画像指定情報（ｒｅｆ＿ｉｄｘ）は伝送されず０であることは実施の形態１と同様であるが、結合予測モードでは所定ブロックサイズ内の第一インター予測ブロックでも参照画像指定情報（ｒｅｆ＿ｉｄｘ）が０でない値をとることが可能であり、予測ブロックのサイズ（ｃｕｒＰｕＳｉｚｅ）が所定ブロックサイズ（ｓａｍｅＲｅｆＰｕＳｉｚｅ）以下であり、且つ所定ブロックサイズ内の第二インター予測ブロックである場合は、参照画像指定情報（ｒｅｆ＿ｉｄｘ）は伝送されず第一インター予測ブロックで使用した参照画像指定情報を引き継ぐことが実施の形態１と異なる。
【０１８０】
実施の形態２における、動画像符号化装置及び動画像復号装置においては、所定のブロックサイズ以下の第二インター予測ブロックでは、第一インター予測ブロックで使用した参照画像指定情報を引き継ぐことで、動き補償予測に用いる参照画像の制限を緩和することで符号化効率の低下を抑制しつつ、動き補償予測に用いることができる参照画像を所定ブロックサイズ内で同一の画像に制限することで、所定ブロックサイズ内で複数の参照画像から動き補償予測を行う必要がなくなり、１つの参照画像からのみ動き補償予測を行うので、動き補償予測部１０８、６０８では所定ブロックサイズ内での復号画像メモリ１０６または６０５に格納されている参照画像にアクセスする回数が各予測方向で１回で済むので、メモリバンド幅を削減できる。さらに、動画像符号化装置において、所定ブロックサイズ内で参照画像が固定されることで、動きベクトル検出部１０７、予測モード判定部１０９で評価すべき参照画像の枚数が減少するため、処理量を削減することができる。
【０１８１】
また、実施の形態２における、動画像符号化装置及び動画像復号装置においては、所定のブロックサイズ以下の第一インター予測ブロックでは、所定のブロックサイズよりも大きいサイズのブロックと同様に参照画像制限のない結合予測モードを使用でき、実施の形態１と比較して符号化効率を向上させることができる。
【０１８２】
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【０１８３】
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
【０１８４】
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
【０１８５】
また、以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１８６】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１８７】
１００ 入力端子、 １０１ 減算部、 １０２ 直交変換・量子化部、 １０３ 予測誤差符号化部、 １０４ 逆量子化・逆変換部、 １０５ 加算部、 １０６ 復号画像メモリ、 １０７ 動きベクトル検出部、 １０８ 動き補償予測部、 １０９ 予測モード判定部、 １１０ 動き情報符号化部、 １１１ 動き情報メモリ、 １１２ 多重化部、 １１３ 出力端子、 ６００ 入力端子、 ６０１ 多重分離部、 ６０２ 予測差分情報復号部、 ６０３ 逆量子化・逆変換部、 ６０４ 加算部、 ６０５ 復号画像メモリ、 ６０６ 動き情報復号部、 ６０７ 動き情報メモリ、 ６０８ 動き補償予測部、 ６０９ 出力端子、 １０００ 片方向動き補償予測生成部、 １００１ 双方向動き補償予測生成部、 １００２ 予測誤差算出部、 １００３ 予測ベクトル算出部、 １００４ 差分ベクトル算出部、 １００５ 動き情報符号量算出部、 １００６ 予測モード評価部、 １００７ 結合動き情報算出部、 １００８ 結合動き補償予測生成部、 １１００ 結合動き情報候補リスト生成部、 １１０１ 結合動き情報候補リスト削除部、 ２６００ 動き情報ビットストリーム復号部、 ２６０１ 予測ベクトル算出部、 ２６０２ ベクトル加算部、 ２６０３ 片方向動き補償予測復号部、 ２６０４ 双方向動き補償予測復号部、 ２６０５ 結合動き情報算出部、 ２６０６ 結合動き補償予測復号部。
【特許請求の範囲】
【請求項１】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号装置であって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成部と、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号部と、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号部と、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算部とを備え、
前記動き情報候補リスト生成部は、所定の大きさ以下の前記復号対象予測ブロックでは、前記動き情報候補に含まれる参照画像の指定情報を同一の値に設定することを特徴とする画像復号装置。
【請求項２】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号装置であって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成部と、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号部と、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号部と、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算部とを備え、
前記動き情報候補リスト生成部は、所定の大きさの領域内の復号順で二番目以降に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報を、前記所定の大きさの領域内の復号順で一番目に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報と同一の値に設定することを特徴とする画像復号装置。
【請求項３】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号方法であって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとを備え、
前記動き情報候補リスト生成ステップは、所定の大きさ以下の前記復号対象予測ブロックでは、前記動き情報候補に含まれる参照画像の指定情報を同一の値に設定することを特徴とする画像復号方法。
【請求項４】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号方法であって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとを備え、
前記動き情報候補リスト生成ステップは、所定の大きさの領域内の復号順で二番目以降に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報を、前記所定の大きさの領域内の復号順で一番目に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報と同一の値に設定することを特徴とする画像復号方法。
【請求項５】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号プログラムであって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとをコンピュータに実行させ、
前記動き情報候補リスト生成ステップは、所定の大きさ以下の前記復号対象予測ブロックでは、前記動き情報候補に含まれる参照画像の指定情報を同一の値に設定することを特徴とする画像復号プログラム。
【請求項６】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号プログラムであって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとをコンピュータに実行させ、
前記動き情報候補リスト生成ステップは、所定の大きさの領域内の復号順で二番目以降に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報を、前記所定の大きさの領域内の復号順で一番目に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報と同一の値に設定することを特徴とする画像復号プログラム。
【請求項１】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号装置であって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成部と、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号部と、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号部と、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算部とを備え、
前記動き情報候補リスト生成部は、所定の大きさ以下の前記復号対象予測ブロックでは、前記動き情報候補に含まれる参照画像の指定情報を同一の値に設定することを特徴とする画像復号装置。
【請求項２】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号装置であって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成部と、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号部と、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号部と、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算部とを備え、
前記動き情報候補リスト生成部は、所定の大きさの領域内の復号順で二番目以降に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報を、前記所定の大きさの領域内の復号順で一番目に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報と同一の値に設定することを特徴とする画像復号装置。
【請求項３】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号方法であって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとを備え、
前記動き情報候補リスト生成ステップは、所定の大きさ以下の前記復号対象予測ブロックでは、前記動き情報候補に含まれる参照画像の指定情報を同一の値に設定することを特徴とする画像復号方法。
【請求項４】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号方法であって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとを備え、
前記動き情報候補リスト生成ステップは、所定の大きさの領域内の復号順で二番目以降に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報を、前記所定の大きさの領域内の復号順で一番目に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報と同一の値に設定することを特徴とする画像復号方法。
【請求項５】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号プログラムであって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとをコンピュータに実行させ、
前記動き情報候補リスト生成ステップは、所定の大きさ以下の前記復号対象予測ブロックでは、前記動き情報候補に含まれる参照画像の指定情報を同一の値に設定することを特徴とする画像復号プログラム。
【請求項６】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて符号化された符号列を復号する動画像復号プログラムであって、
復号対象予測ブロックに空間的又は時間的に隣接する複数のブロックの有する各動き情報を動き情報候補として登録した動き情報候補リストを生成する動き情報候補リスト生成ステップと、
前記動き情報候補リストから選択すべき動き情報候補を示すインデックスを復号する動き情報復号ステップと、
前記復号対象予測ブロックの予測誤差信号の符号化データを復号する予測誤差信号復号ステップと、
復号された動き情報候補を示すインデックスにもとづいて前記動き情報候補リストから選択された動き情報候補を前記復号対象予測ブロックの動き情報として使用することにより生成される予測信号と、復号された前記復号対象予測ブロックの予測誤差信号とを加算して前記復号対象予測ブロックの画像信号を再生する加算ステップとをコンピュータに実行させ、
前記動き情報候補リスト生成ステップは、所定の大きさの領域内の復号順で二番目以降に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報を、前記所定の大きさの領域内の復号順で一番目に動き補償予測を用いて復号する前記復号対象予測ブロックの参照画像の指定情報と同一の値に設定することを特徴とする画像復号プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２０１３−８５１３１（Ｐ２０１３−８５１３１Ａ）
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願番号】特願２０１１−２２３８６６（Ｐ２０１１−２２３８６６）
【出願日】平成２３年１０月１１日（２０１１．１０．１１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年５月９日（２０１３．５．９）
【国際特許分類】
【出願日】平成２３年１０月１１日（２０１１．１０．１１）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]