動画像復号装置、動画像復号方法及び動画像復号プログラム
【課題】動き補償でブロック毎に参照する動き情報の候補数が固定されていたため、符号化効率が上がらなかった。
【解決手段】インター予測情報導出部２０５は、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する。
マージ候補補充部２３６は、復号対象の予測ブロックを含むピクチャと参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する。動き補償予測部２０６は、補充後のインター予測情報の候補から選択したインター予測情報の候補により復号対象の予測ブロックのインター予測を行う。
【解決手段】インター予測情報導出部２０５は、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する。
マージ候補補充部２３６は、復号対象の予測ブロックを含むピクチャと参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する。動き補償予測部２０６は、補充後のインター予測情報の候補から選択したインター予測情報の候補により復号対象の予測ブロックのインター予測を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像復号技術に関し、特に動き補償予測を利用した動画像復号技術に関する。
【背景技術】
【０００２】
動画像の圧縮符号化方式の代表的なものとして、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の規格がある。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では、ピクチャを複数の矩形ブロックに分割し、すでに符号化・復号したピクチャを参照ピクチャとし、参照ピクチャからの動きを予測する動き補償が用いられている。この動き補償により動きを予測する手法をインター予測または動き補償予測と呼ぶ。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４でのインター予測では、複数のピクチャを参照ピクチャとして用いることができ、これらの複数の参照ピクチャから最も適した参照ピクチャをブロック毎に選択して動き補償を行う。そこで、それぞれの参照ピクチャには参照インデックスが割り当てられ、この参照インデックスにより、参照ピクチャを特定する。なお、Ｂピクチャでは、符号化・復号済みの参照ピクチャから最大で２枚を選択してインター予測に用いることができる。それらの２枚の参照ピクチャからの予測をそれぞれ主に前方向の予測として使われるＬ０予測（リスト０予測）、主に後方向の予測として使われるＬ１予測（リスト１予測）として区別している。
【０００３】
さらに、Ｌ０予測とＬ１予測の２つのインター予測を共に用いる双予測も定義されている。双予測の場合は、Ｌ０予測、Ｌ１予測のそれぞれのインター予測された信号に重み付け係数を掛け算し、オフセット値を加算して重畳し、最終的なインター予測画像信号を生成する。重み付け予測に用いる重み付け係数及びオフセット値はピクチャ単位で各リストの参照ピクチャ毎に代表的な値が設定され、符号化される。インター予測に関する符号化情報には、ブロック毎に、Ｌ０予測とＬ１予測、双予測を区別する予測モード、ブロック毎の参照リスト毎に、参照ピクチャを特定する参照インデックス、ブロックの移動方向・移動量を表す動きベクトルがあり、これらの符号化情報を符号化・復号する。
【０００４】
さらに、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では、符号化／復号済みのブロックのインター予測情報から符号化／復号対象のブロックのインター予測情報を生成するダイレクトモードが定義されている。ダイレクトモードはインター予測情報の符号化が不要となるので、符号化効率が向上する。
【０００５】
時間方向のインター予測情報の相関を利用する時間ダイレクトモードについて図３１を用いて説明する。Ｌ１の参照インデックスが０に登録されているピクチャを基準ピクチャcolPicとする。基準ピクチャcolPic内で符号化／復号対象ブロックと同じ位置のブロックを基準ブロックとする。
【０００６】
基準ブロックがＬ０予測を用いて符号化されていれば、基準ブロックのＬ０の動きベクトルを基準動きベクトルmvColとし、基準ブロックがＬ０予測を用いて符号化されておらず、Ｌ１予測を用いて符号化されていれば、基準ブロックのＬ１の動きベクトルを基準動きベクトルmvColとする。基準動きベクトルmvColが参照するピクチャを時間ダイレクトモードのＬ０の参照ピクチャとし、基準ピクチャcolPicを時間ダイレクトモードのＬ１の参照ピクチャとする。
【０００７】
基準動きベクトルmvColからスケーリング演算処理により時間ダイレクトモードのＬ０の動きベクトルmvL0とＬ１の動きベクトルmvL1を導出する。
【０００８】
基準ピクチャcolPicのＰＯＣから、時間ダイレクトモードのＬ０の参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｄを導出する。なお、ＰＯＣは符号化されるピクチャに関連付けられる変数とし、ピクチャの出力／表示順序で１ずつ増加する値が設定される。２つのピクチャのＰＯＣの差が時間軸方向でのピクチャ間距離を示す。
ｔｄ＝基準ピクチャcolPicのＰＯＣ−時間ダイレクトモードのＬ０の参照ピクチャのＰＯＣ
【０００９】
符号化／復号対象ピクチャのＰＯＣから時間ダイレクトモードのＬ０の参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｂを導出する。
ｔｂ＝符号化／復号対象ピクチャのＰＯＣ−時間ダイレクトモードのＬ０の参照ピクチャのＰＯＣ
【００１０】
基準動きベクトルmvColからスケーリング演算処理により時間ダイレクトモードのＬ０の動きベクトルmvL0を導出する。
mvL0＝ｔｂ / ｔｄ * mvCol
【００１１】
時間ダイレクトモードのＬ０の動きベクトルmvL0から基準動きベクトルmvColを減算しＬ１の動きベクトルmvL1を導出する。
mvL1＝mvL0 - mvCol
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００４−１２９１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
従来の方法では、動き補償でブロック毎に参照する動き情報の候補の数が固定されていたため、符号化効率が上がらないことがあった。
【００１４】
このような状況下、本発明者らは、動き補償予測を使用する動画像符号化方式において、符号化情報をより一層圧縮し、全体の符号量を削減する必要性を認識するに至った。
【００１５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、符号化情報の候補を算出することにより、符号化情報の符号量の削減を図って符号化効率を向上させる動画像復号技術を提供することにある。
【課題を解決するための手段】
【００１６】
上記課題を解決するために、本発明のある態様の動画像復号装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出部（２３０、２３１、２３２）と、前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充部（２３６）と、前記候補補充部による補充後の前記インター予測情報の候補から１つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測部（２０６）とを備える。
【００１７】
本発明の別の態様もまた、動画像復号装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部（２３０、２３１、２３２）と、前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部（２３６）と、前記候補補充部による補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部（２０６）とを備える。
【００１８】
本発明のさらに別の態様もまた、動画像復号装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部（２３０、２３１、２３２）と、前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部（２３６）と、前記候補補充部による補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部（２０６）とを備える。
【００１９】
本発明のさらに別の態様は、動画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出ステップと、前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充ステップと、前記候補補充ステップによる補充後の前記インター予測情報の候補から１つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとを備える。
【００２０】
本発明のさらに別の態様もまた、動画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備える。
【００２１】
本発明のさらに別の態様もまた、動画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備える。
【００２２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００２３】
本発明によれば、伝送する符号化情報の発生符号量を削減させて、符号化効率を向上させることができる。
【図面の簡単な説明】
【００２４】
【図１】実施の形態に係る動きベクトルの予測方法を実行する動画像符号化装置の構成を示すブロック図である。
【図２】実施の形態に係る動きベクトルの予測方法を実行する動画像復号装置の構成を示すブロック図である。
【図３】ツリーブロック、符号化ブロックを説明する図である。
【図４】予測ブロックの分割モードを説明する図である。
【図５】マージモードでの空間マージ候補の予測ブロックを説明する図である。
【図６】マージモードでの空間マージ候補の予測ブロックを説明する図である。
【図７】マージモードでの空間マージ候補の予測ブロックを説明する図である。
【図８】マージモードでの空間マージ候補の予測ブロックを説明する図である。
【図９】マージモードでの時間マージ候補の予測ブロックを説明する図である。
【図１０】マージモードに関する予測ブロック単位でのビットストリームのシンタックスを説明する図である。
【図１１】マージインデックスのシンタックス要素のエントロピー符号の一例を説明する図である。
【図１２】図１の動画像符号化装置のインター予測情報導出部の詳細な構成を示すブロック図である。
【図１３】図２の動画像復号装置のインター予測情報導出部の詳細な構成を示すブロック図である。
【図１４】マージモードのマージ候補の導出処理及びマージ候補リストの構築処理手順を説明するフローチャートである。
【図１５】マージモードの空間マージ候補導出処理手順を説明するフローチャートである。
【図１６】マージモードの時間マージ候補の参照インデックスの導出処理手順を説明するフローチャートである。
【図１７】マージモードの時間マージ候補導出処理手順を説明するフローチャートである。
【図１８】マージモードの異なる時間のピクチャの導出処理手順を説明するフローチャートである。
【図１９】マージモードの異なる時間のピクチャの予測ブロックの導出処理手順を説明するフローチャートである。
【図２０】マージモードの時間マージ候補導出処理手順を説明するフローチャートである。
【図２１】マージモードの時間マージ候補導出処理手順を説明するフローチャートである。
【図２２】動きベクトルのスケーリング演算処理手順を説明するフローチャートである。
【図２３】動きベクトルのスケーリング演算処理手順を説明するフローチャートである。
【図２４】マージモードのマージ候補リストへのマージ候補の登録処理手順を説明するフローチャートである。
【図２５】マージモードのマージ候補リストへのマージ候補の補充（導出・登録）処理手順を説明するフローチャートである。
【図２６】図２５のスライスタイプslice_typeがＰスライスでの整数倍のスケーリング単予測マージ候補の補充処理手順を説明するフローチャートである。
【図２７】図２６の整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行うスケーリング単予測マージ候補の補充処理手順を説明するフローチャートである。
【図２８】図２５のスライスタイプslice_typeがＢスライスでの整数倍のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。
【図２９】図２８の整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行う第１のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。
【図３０】図２８の−１倍のスケール係数ScaleFactorとしてスケーリング演算処理を行う第２のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。
【図３１】従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の時間ダイレクトモードを説明する図である。
【発明を実施するための形態】
【００２５】
本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形ブロックに分割し、ピクチャ間でブロック単位に動き補償を行う動画像符号化における符号化効率を向上させる為に、符号化対象ブロックに隣接するブロックまたは符号化済みのピクチャのブロックの動きベクトルから複数の予測動きベクトルを導出し、符号化対象のブロックの動きベクトルと選択された予測動きベクトルとの差分ベクトルを算出して符号化することによって符号量を削減する。あるいは、符号化対象ブロックに隣接するブロックまたは符号化済みのピクチャのブロックの符号化情報を利用することにより、符号化対象ブロックの符号化情報を導出することによって符号量を削減する。また、動画像の復号の場合は、復号対象ブロックに隣接するブロックまたは復号済みのピクチャのブロックの動きベクトルから複数の予測動きベクトルを算出し、符号化ストリームから復号された差分ベクトルと選択された予測動きベクトルとから復号対象のブロックの動きベクトルを算出して復号する。あるいは、復号対象ブロックに隣接するブロックまたは復号済みのピクチャのブロックの符号化情報を利用することにより、復号対象ブロックの符号化情報を導出する。
【００２６】
まず、本実施の形態において使用する技術、及び技術用語を定義する。
【００２７】
（ツリーブロック、符号化ブロックについて）
実施の形態では、ピクチャを１つまたは複数分割したスライスが符号化の基本単位となっており、スライス毎にスライスの種類を示す情報であるスライスタイプが設定される。図３に示されるように、スライス内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、スライス内での符号化／復号対象ブロック（符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。）を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは１つの輝度信号と２つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて、２のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を階層的に４分割（縦横に２分割ずつ）して、ブロックサイズの小さいブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも１つの輝度信号と２つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、２のべき乗のサイズで自由に設定することができる。
【００２８】
図３においては、符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものである。符号化ブロックＢは、ツリーブロックを４分割してできた符号化ブロックである。符号化ブロックＣは、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックである。符号化ブロックＤは、ツリーブロックを４分割してできたブロックをさらに階層的に２度４分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。
【００２９】
（予測モードについて）
符号化ブロック単位で、符号化／復号済み（符号化処理においては符号化した信号を復号したピクチャ、予測ブロック、画像信号等に用い、復号処理においては復号したピクチャ、予測ブロック、画像信号等に用いる。以下、断りのない限り、この意味で用いる。）の周囲の画像信号から予測を行うイントラ予測（MODE_INTRA）、及び符号化／復号済みのピクチャの画像信号から予測を行うインター予測（MODE_INTER）を切り替える。このイントラ予測（MODE_INTRA）とインター予測（MODE_INTER）を識別するモードを予測モード（PredMode）と定義する。予測モード（PredMode）はイントラ予測（MODE_INTRA）、またはインター予測（MODE_INTER）を値として持ち、選択して符号化できる。
【００３０】
（分割モード、予測ブロック、予測ユニットについて）
ピクチャ内をブロックに分割してイントラ予測（MODE_INTRA）及びインター予測（MODE_INTER）を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モード（PartMode）と定義する。さらに、この分割されたブロックを予測ブロックと定義する。図４に示すように、符号化ブロックの輝度信号の分割方法に応じて４種類の分割モード（PartMode）を定義する。
符号化ブロックの輝度信号を分割せず１つの予測ブロックとみなしたもの（図４（ａ））の分割モード（PartMode）を２Ｎ×２Ｎ分割（PART_2Nx2N）、符号化ブロックの輝度信号を水平方向に２分割し、２つの予測ブロックとしたもの（図４（ｂ））の分割モード（PartMode）を２Ｎ×Ｎ分割（PART_2NxN）、符号化ブロックの輝度信号を垂直方向に分割し、符号化ブロックを２つの予測ブロックとしたもの（図４（ｃ））の分割モード（PartMode）をＮ×２Ｎ分割（PART_Nx2N）、符号化ブロックの輝度信号を水平と垂直の均等分割により４つの予測ブロックとしたもの（図４（ｄ））の分割モード（PartMode）をＮ×Ｎ分割（PART_NxN）とそれぞれ定義する。なお、イントラ予測（MODE_INTRA）のＮ×Ｎ分割（PART_NxN）を除き、各分割モード（PartMode）毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。
【００３１】
符号化ブロック内部において、各予測ブロックを特定する為に、０から開始する番号を、符号化順序で、符号化ブロック内部に存在する予測ブロックに対して割り当てる。この番号を分割インデックスPartIdxと定義する。図４の符号化ブロックの各予測ブロックの中に記述された数字は、その予測ブロックの分割インデックスPartIdxを表す。図４（ｂ）に示す２Ｎ×Ｎ分割（PART_2NxN）では上の予測ブロックの分割インデックスPartIdxを０とし、下の予測ブロックの分割インデックスPartIdxを１とする。図４（ｃ）に示すＮ×２Ｎ分割（PART_Nx2N）では左の予測ブロックの分割インデックスPartIdxを０とし、右の予測ブロックの分割インデックスPartIdxを１とする。図４（ｄ）に示すＮ×Ｎ分割（PART_NxN）では、左上の予測ブロックの分割インデックスPartIdxを０とし、右上の予測ブロックの分割インデックスPartIdxを１とし、左下の予測ブロックの分割インデックスPartIdxを２とし、右下の予測ブロックの分割インデックスPartIdxを３とする。
【００３２】
予測モード（PredMode）がインター予測（MODE_INTER）では、最小の符号化ブロックである符号化ブロックＤ以外では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、及びＮ×２Ｎ分割（PART_Nx2N）を定義し、最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、及びＮ×２Ｎ分割（PART_Nx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
【００３３】
（ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置）
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号の画面の一番左上の輝度信号の画素の位置を原点（０，０）とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を（ｘ，ｙ）の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の１画素単位である。輝度信号と色差信号で画像サイズ（画素数）が同じである色差フォーマットが４：４：４の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ（画素数）が異なる色差フォーマットが４：２：０、４：２：２の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の１画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。
【００３４】
（インター予測モード、参照リストについて）
本発明の実施の形態においては、符号化／復号済みのピクチャの画像信号から予測を行うインター予測では、複数の復号済みのピクチャを参照ピクチャとして用いることができる。複数の参照ピクチャから選択された参照ピクチャを特定するため、予測ブロック毎に参照インデックスを付ける。予測ブロック毎に任意の２枚の参照ピクチャを選択してインター予測ことができ、インター予測モードとしてＬ０予測（Pred_L0）、Ｌ１予測（Pred_L1）、双予測（Pred_BI）がある。参照ピクチャはリスト構造のＬ０（参照リスト０）とＬ１（参照リスト１）で管理され、Ｌ０またはＬ１の参照インデックスを指定することにより参照ピクチャを特定することができる。Ｌ０予測（Pred_L0）はＬ０で管理されている参照ピクチャを参照するインター予測であり、Ｌ１予測（Pred_L1）はＬ１で管理されている参照ピクチャを参照するインター予測であり、双予測（Pred_BI）はＬ０予測とＬ１予測が共に行われ、Ｌ０とＬ１のそれぞれで管理されている１つずつの参照ピクチャを参照するインター予測である。スライスタイプがＰスライスのインター予測ではＬ０予測のみが利用でき、スライスタイプがＢスライスのインター予測ではＬ０予測、Ｌ１予測、Ｌ０予測とＬ１予測を平均または重み付け加算する双予測（Pred_BI）が利用できる。以降の処理において出力に添え字ＬＸが付いている定数、変数に関しては、Ｌ０、Ｌ１ごとに処理が行われることを前提とする。
【００３５】
（マージモード、マージ候補）
マージモードとは、符号化／復号対象の予測ブロックの予測モード、参照インデックス、動きベクトル等のインター予測情報を符号化／復号するのではなく、符号化／復号対象の予測ブロックと同一ピクチャ内でその符号化／復号対象の予測ブロックに隣接する予測ブロック、あるいは符号化／復号対象の予測ブロックと時間的に異なる符号化／復号済みのピクチャの符号化／復号対象の予測ブロックと同一位置あるいはその付近（近傍の位置）に存在する予測ブロックのインター予測情報から符号化／復号対象の予測ブロックのインター予測情報を導出することによりインター予測を行うモードである。符号化／復号対象の予測ブロックと同一ピクチャ内でその符号化／復号対象の予測ブロックに隣接する予測ブロック及びその予測ブロックのインター予測情報を空間マージ候補、符号化／復号対象の予測ブロックと時間的に異なる符号化／復号済みのピクチャの符号化／復号対象の予測ブロックと同一位置あるいはその付近（近傍の位置）に存在する予測ブロック及びその予測ブロックのインター予測情報から導出されるインター予測情報を時間マージ候補とする。それぞれのマージ候補はマージ候補リストに登録され、マージインデックスによりインター予測で用いるマージ候補を特定する。
【００３６】
（隣接する予測ブロックについて）
図５、図６、図７及び図８は符号化／復号対象の予測ブロックと同一ピクチャ内でその符号化／復号対象の予測ブロックに隣接する予測ブロックを説明する図である。図９は符号化／復号対象の予測ブロックと時間的に異なる符号化／復号済みのピクチャにおいて、符号化／復号対象の予測ブロックと同一位置あるいはその付近に存在する既に符号化／復号済みの予測ブロックを説明する図である。図５、図６、図７、図８及び図９を用いて符号化／復号対象の予測ブロックの空間方向に隣接する予測ブロック、及び異なる時間の同一位置の予測ブロックについて説明する。
【００３７】
図５に示すように、符号化／復号対象の予測ブロックと同一ピクチャ内でその符号化／復号対象の予測ブロックの左側の辺に隣接する予測ブロックＡ、上側の辺に隣接する予測ブロックＢ、右上の頂点に隣接する予測ブロックＣ、左下の頂点に隣接する予測ブロックＤ、および左上の頂点に隣接する予測ブロックＥを空間方向に隣接する予測ブロックと定義する。
【００３８】
なお、図６に示すように、符号化／復号対象の予測ブロックの左側の辺に隣接する予測ブロックのサイズが符号化／復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては左側の辺に隣接する予測ブロックの中で最も下の予測ブロックＡ１０だけを左側の辺に隣接する予測ブロックＡとする。
【００３９】
同様に、符号化／復号対象の予測ブロックの上側の辺に隣接する予測ブロックのサイズが符号化／復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては左側の辺に隣接する予測ブロックの中で最も右の予測ブロックＢ１０だけを上側の辺に隣接する予測ブロックＢ１とする。
【００４０】
なお、図７に示すように、符号化／復号対象の予測ブロックの左側に隣接する予測ブロックＦのサイズが符号化／復号対象の予測ブロックより大きい場合にも、前記条件に従い、左側に隣接する予測ブロックＦがその符号化／復号対象の予測ブロックの左側の辺に隣接していれば予測ブロックＡとし、符号化／復号対象の予測ブロックの左下の頂点に隣接していれば予測ブロックＤとし、符号化／復号対象の予測ブロックの左上の頂点に隣接していれば予測ブロックＥとする。図６の例では、予測ブロックＡ、予測ブロックＥ及び予測ブロックＥは同一の予測ブロックとなる。
【００４１】
なお、図８に示すように、符号化／復号対象の予測ブロックの上側に隣接する予測ブロックＧのサイズが符号化／復号対象の予測ブロックより大きい場合にも、前記条件に従い、上側に隣接する予測ブロックＧがその符号化／復号対象の予測ブロックの上側の辺に隣接していれば予測ブロックＢとし、符号化／復号対象の予測ブロックの右上の頂点に隣接していれば予測ブロックＣとし、符号化／復号対象の予測ブロックの左上の頂点に隣接していれば予測ブロックＥとする。図８の例では、予測ブロックＢ、予測ブロックＣ及び予測ブロックＥは同一の予測ブロックとなる。
【００４２】
図９に示すように、符号化／復号対象の予測ブロックと時間的に異なる符号化／復号済みのピクチャにおいて、符号化／復号対象の予測ブロックと同一位置あるいはその付近に存在する既に符号化／復号済みの予測ブロックＴ０およびＴ１を異なる時間の同一位置の予測ブロックと定義する。
【００４３】
（ＰＯＣについて）
ＰＯＣは符号化されるピクチャに関連付けられる変数とし、ピクチャの出力／表示順序で１ずつ増加する値が設定される。ＰＯＣの値によって、同じピクチャであるかを判別したり、出力／表示順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりすることができる。例えば、２つのピクチャのＰＯＣが同じ値を持つ場合、同一のピクチャであると判断できる。２つのピクチャのＰＯＣが違う値を持つ場合、ＰＯＣの値が小さいピクチャのほうが、先に出力／表示されるピクチャであると判断でき、２つのピクチャのＰＯＣの差が時間軸方向でのピクチャ間距離を示す。
【００４４】
以下、図面と共に本発明の実施の形態を説明する。図１は本発明の実施の形態に係る動画像符号化装置の構成を示すブロック図である。実施の形態の動画像符号化装置は、画像メモリ１０１、ヘッダ情報設定部１１７、動きベクトル検出部１０２、差分動きベクトル算出部１０３、インター予測情報導出部１０４、動き補償予測部１０５、イントラ予測部１０６、予測方法決定部１０７、残差信号生成部１０８、直交変換・量子化部１０９、第１符号化ビット列生成部１１８、第２符号化ビット列生成部１１０、第３符号化ビット列生成部１１１、多重化部１１２、逆量子化・逆直交変換部１１３、復号画像信号重畳部１１４、符号化情報格納メモリ１１５、および復号画像メモリ１１６を備える。
【００４５】
ヘッダ情報設定部１１７は、シーケンス、ピクチャ、スライス単位の情報を設定する。設定されたシーケンス、ピクチャ、スライス単位の情報はインター予測情報導出部１０４、第１符号化ビット列生成部１１８に供給するとともに、図示していないがすべてのブロックに供給する。
【００４６】
画像メモリ１０１は、撮影／表示時間順に供給された符号化対象のピクチャの画像信号を一時格納する。画像メモリ１０１は、格納された符号化対象のピクチャの画像信号を、所定の画素ブロック単位で、動きベクトル検出部１０２、予測方法決定部１０７、および残差信号生成部１０８に供給する。その際、撮影／表示時間順に格納されたピクチャの画像信号は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ１０１から出力される。
【００４７】
動きベクトル検出部１０２は、画像メモリ１０１から供給される画像信号と復号画像メモリ１１６から供給される参照ピクチャ間でブロックマッチング等により各予測ブロックサイズ、各予測モードのそれぞれの動きベクトルを各予測ブロック単位で検出し、検出された動きベクトルを動き補償予測部１０５、差分動きベクトル算出部１０３、および予測方法決定部１０７に供給する。
【００４８】
差分動きベクトル算出部１０３は、符号化情報格納メモリ１１５に記憶されている既に符号化された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を算出して予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から最適な予測動きベクトルを選択し、動きベクトル検出部１０２が検出した動きベクトルと予測動きベクトルから差分動きベクトルを算出し、算出された差分動きベクトルを予測方法決定部１０７に供給する。さらに、予測動きベクトルリストに登録された予測動きベクトルの候補から選択された予測動きベクトルを特定する予測動きベクトルインデックスを予測方法決定部１０７に供給する。
【００４９】
インター予測情報導出部１０４は、マージモードでのマージ候補を導出する。符号化情報格納メモリ１１５に記憶されている既に符号化された予測ブロックの符号化情報を用いて、複数のマージ候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から適したマージ候補を選択し、選択されたマージ候補の各予測ブロックのＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を動き補償予測部１０５に供給するとともに、選択されたマージ候補を特定するマージインデックスを予測方法決定部１０７に供給する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報導出部１０４の詳細な構成と動作は後述する。
【００５０】
動き補償予測部１０５は、動きベクトル検出部１０２およびインター予測情報導出部１０４により検出された動きベクトルを用いて参照ピクチャからインター予測（動き補償予測）により予測画像信号を生成し、予測画像信号を予測方法決定部１０７に供給する。なお、Ｌ０予測、及びＬ１予測では、片方向の予測を行う。双予測（Pred_BI）の場合は、双方向の予測を行い、Ｌ０予測、Ｌ１予測のそれぞれのインター予測された信号に適応的に重み係数を掛け算し、オフセット値を加算して重畳し、最終的な予測画像信号を生成する。
【００５１】
イントラ予測部１０６は、各イントラ予測モードについてイントラ予測を行う。復号画像メモリ１１６に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、複数のイントラ予測モードの中から適したイントラ予測モードを選択し、選択されたイントラ予測モード、及び選択されたイントラ予測モードに応じた予測画像信号を予測方法決定部１０７に供給する。
【００５２】
予測方法決定部１０７は符号化情報及び残差信号の符号量、予測画像信号と画像信号との間の歪量等を評価することにより、複数の予測方法の中から、最適な符号化ブロック単位でインター予測（PRED_INTER）かイントラ予測（PRED_INTRA）かを判別する予測モードPredMode、分割モードPartModeを決定し、インター予測（PRED_INTER）では予測ブロック単位でマージモードか否かを決定し、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、Ｌ０、Ｌ１の参照インデックス、差分動きベクトル等を決定して、決定に応じた符号化情報を第２符号化ビット列生成部１１０に供給する。
【００５３】
さらに、予測方法決定部１０７は、決定された予測方法を示す情報、及び決定された予測方法に応じた動きベクトル等を含む符号化情報を符号化情報格納メモリ１１５に格納する。ここで格納する符号化情報は、各符号化ブロックの予測モードPredMode、分割モードPartMode、各予測ブロックのＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。なお、予測モードPredModeがインター予測（MODE_INTER）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は共に０である。一方、予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は０である。インター予測モードがＬ１予測（Pred_L1）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は１である。インター予測モードが双予測（Pred_BI）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は共に１である。予測方法決定部１０７は、決定された予測モードに応じた予測画像信号を残差信号生成部１０８と復号画像信号重畳部１１４に供給する。
【００５４】
残差信号生成部１０８は、符号化する画像信号と予測画像信号との減算を行うことにより残差信号を生成し、直交変換・量子化部１０９に供給する。
直交変換・量子化部１０９は、残差信号に対して量子化パラメータに応じて直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、第３符号化ビット列生成部１１１と逆量子化・逆直交変換部１１３に供給する。さらに、直交変換・量子化部１０９は、量子化パラメータを符号化情報格納メモリ１１５に格納する。
【００５５】
第１符号化ビット列生成部１１８は、ヘッダ情報設定部１１７で設定されたシーケンス、ピクチャ、スライス単位の情報を符号化する。第１の符号化ビット列を生成し、多重化部１１２に供給する。
【００５６】
第２符号化ビット列生成部１１０は、符号化ブロック及び予測ブロック毎に予測方法決定部１０７によって決定された予測方法に応じた符号化情報を符号化する。具体的には、符号化ブロック毎の予測モードPredMode、分割モードPartMode、インター予測（PRED_INTER）の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトルに関する情報等の符号化情報を後述する規定のシンタックス規則に従って符号化して第２の符号化ビット列を生成し、多重化部１１２に供給する。
【００５７】
第３符号化ビット列生成部１１１は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第３の符号化ビット列を生成し、多重化部１１２に供給する。多重化部１１２で、第１の符号化ビット列、第２の符号化ビット列および第３の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。
【００５８】
逆量子化・逆直交変換部１１３は、直交変換・量子化部１０９から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１１４に供給する。復号画像信号重畳部１１４は、予測方法決定部１０７による決定に応じた予測画像信号と逆量子化・逆直交変換部１１３で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１１６に格納する。なお、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、復号画像メモリ１１６に格納されることもある。
【００５９】
図２は図１の動画像符号化装置に対応した本発明の実施の形態に係る動画像復号装置の構成を示すブロックである。実施の形態の動画像復号装置は、分離部２０１、第１符号化ビット列復号部２１２、第２符号化ビット列復号部２０２、第３符号化ビット列復号部２０３、動きベクトル算出部２０４、インター予測情報導出部２０５、動き補償予測部２０６、イントラ予測部２０７、逆量子化・逆直交変換部２０８、復号画像信号重畳部２０９、符号化情報格納メモリ２１０、および復号画像メモリ２１１を備える。
【００６０】
図２の動画像復号装置の復号処理は、図１の動画像符号化装置の内部に設けられている復号処理に対応するものであるから、図２の動き補償予測部２０６、逆量子化・逆直交変換部２０８、復号画像信号重畳部２０９、符号化情報格納メモリ２１０、および復号画像メモリ２１１の各構成は、図１の動画像符号化装置の動き補償予測部１０５、逆量子化・逆直交変換部１１３、復号画像信号重畳部１１４、符号化情報格納メモリ１１５、および復号画像メモリ１１６の各構成とそれぞれ対応する機能を有する。
【００６１】
分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、分離された符号化ビット列が第１符号化ビット列復号部２１２、第２符号化ビット列復号部２０２、第３符号化ビット列復号部２０３に供給される。
【００６２】
第１符号化ビット列復号部２１２は、供給された符号化ビット列を復号して、シーケンス、ピクチャ、スライス単位の情報を得る。得られたシーケンス、ピクチャ、スライス単位の情報は図示していないがすべてのブロックに供給される。
【００６３】
第２符号化ビット列復号部２０２は、供給された符号化ビット列を復号して、符号化ブロック単位の情報、及び、予測ブロック単位の符号化情報を得る。具体的には、符号化ブロック単位でインター予測（PRED_INTER）かイントラ予測（PRED_INTRA）かを判別する予測モードPredMode、分割モードPartMode、インター予測（PRED_INTER）の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトル等に関する符号化情報を後述する規定のシンタックス規則に従って復号し、符号化情報を動きベクトル算出部２０４、インター予測情報導出部２０５またはイントラ予測部２０７に供給する。
【００６４】
第３符号化ビット列復号部２０３は、供給された符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０８に供給する。
【００６５】
動きベクトル算出部２０４は、復号対象の予測ブロックの予測モードPredModeがインター予測（PRED_INTER）でマージモードでない時に、符号化情報格納メモリ２１０に記憶されている既に復号された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を導出して後述する予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から、第２符号化ビット列復号部２０２で復号され供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、第２符号化ビット列復号部２０２で復号された差分ベクトルと選択された予測動きベクトルから動きベクトルを算出し、他の符号化情報とともに動き補償予測部２０６に供給するとともに、符号化情報格納メモリ２１０に格納する。ここで供給・格納する予測ブロックの符号化情報は、予測モードPredMode、分割モードPartMode、Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は０である。インター予測モードがＬ１予測（Pred_L1）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は１である。インター予測モードが双予測（Pred_BI）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は共に１である。
【００６６】
インター予測情報導出部２０５は、復号対象の予測ブロックの予測モードPredModeがインター予測（PRED_INTER）でマージモードの時に、マージ候補を導出する。符号化情報格納メモリ２１０に記憶されている既に復号された予測ブロックの符号化情報を用いて、複数のマージの候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から第２符号化ビット列復号部２０２で復号され供給されるマージインデックスに対応したマージ候補を選択し、選択されたマージ候補のＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を動き補償予測部２０６に供給するとともに、符号化情報格納メモリ２１０に格納する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報導出部２０５の詳細な構成と動作は後述する。
【００６７】
動き補償予測部２０６は、動きベクトル算出部２０４またはインター予測情報導出部２０５で算出されたインター予測情報を用いて復号画像メモリ２１１に格納されている参照ピクチャからインター予測（動き補償予測）により予測画像信号を生成し、予測画像信号を復号画像信号重畳部２０９に供給する。なお、双予測（Pred_BI）の場合は、Ｌ０予測、Ｌ１予測の２つの動き補償予測画像信号に適応的に重み係数を掛け算して重畳し、最終的な予測画像信号を生成する。
【００６８】
イントラ予測部２０７は、復号対象の予測ブロックの予測モードPredModeがイントラ予測（PRED_INTRA）の時に、イントラ予測を行う。第１符号化ビット列復号部で復号された符号化情報にはイントラ予測モードが含まれており、イントラ予測モードに応じて、復号画像メモリ２１１に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、予測画像信号を復号画像信号重畳部２０９に供給する。Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]を共に０に設定し、符号化情報格納メモリ２１０に格納する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。
【００６９】
逆量子化・逆直交変換部２０８は、第２符号化ビット列復号部２０２で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
【００７０】
復号画像信号重畳部２０９は、動き補償予測部２０６でインター予測された予測画像信号、またはイントラ予測部２０７でイントラ予測された予測画像信号と、逆量子化・逆直交変換部２０８により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、復号画像メモリ２１１に格納する。復号画像メモリ２１１に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２１１に格納されることもある。
【００７１】
次に、本実施の形態に係る動きベクトルの予測方法を備える動画像符号化装置により符号化され、復号装置により復号される動画像のビットストリームの符号化および復号の共通規則であるシンタックスについて説明する。
【００７２】
図１０は予測ブロック単位に記述されるシンタックス規則を示す。予測ブロックの予測モードPredModeの値がインター予測（MODE_INTER）の場合、マージモードかどうかを示すmerge_flag[x0][y0]が設置される。ここで、x0、y0は輝度信号のピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、merge_flag[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージモードかどうかを示すフラグである。
【００７３】
次に、merge_flag[x0][y0]が１の場合、マージモードであることを示し、参照するマージ候補のリストであるマージリストのインデックスのシンタックス要素merge_idx[x0][y0]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、merge_idx[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージインデックスである。マージインデックスをエントロピー符号化／復号する場合、マージ候補数が小さい程、小さい符号量で符号化／復号することができ、少ない処理量で符号化／復号することができる。図１１はマージインデックスのシンタックス要素merge_idx[x0][y0]のエントロピー符号（コード）の一例である。マージ候補数が３の場合、マージインデックスが0, 1, 2の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそれぞれ'０'、'１０'、'１１'となる。マージ候補数が４の場合、マージインデックスが0, 1, 2, 3の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそれぞれ'０'、'１０'、'１１０'、'１１１'となる。マージ候補数が５の場合、マージインデックスが0, 1, 2, 3, 4の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそれぞれ'０'、'１０'、'１１０'、'１１１０'、'１１１１'となる。つまり、マージ候補数がわっている場合、マージ候補数が少ない方がマージインデックスを小さい符号量で表現可能である。本実施例においては、図１１に示すようにスライス単位で設定されるマージ候補数に基づいて、マージインデックスのそれぞれの値を示す符号を切り替えることで符号量を削減する。
【００７４】
一方、merge_flag[x0][y0]が０の場合、マージモードでないことを示し、スライスタイプがＢスライスの場合、インター予測モードを識別するシンタックス要素inter_pred_flag[x0][y0]が設置され、このシンタックス要素でＬ０予測（Pred_L0）、Ｌ１予測（Pred_L1）、双予測（Pred_BI）を識別する。Ｌ０、Ｌ１ごとに、参照ピクチャを特定するための参照インデックスのシンタックス要素ref_idx_l0[x0][y0]、ref_idx_l1[x0][y0]、動きベクトル検出にて求められた予測ブロックの動きベクトルと予測動きベクトルとの差分である差分動きベクトルのシンタックス要素mvd_l0[x0][y0][j]、mvd_l1[x0][y0][j]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、ref_idx_l0[x0][y0]、mvd_l0[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブロックのＬ０の参照インデックス、及び差分動きベクトルであり、ref_idx_l1[x0][y0]、mvd_l1[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブロックのＬ１の参照インデックス、及び差分動きベクトルである。また、ｊは差分動きベクトルの成分を表し、ｊが０はｘ成分を、ｊが１はｙ成分を表す。次に、参照する予測動きベクトルの候補のリストである予測動きベクトルリストのインデックスのシンタックス要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのＬ０、Ｌ１の予測動きベクトルインデックスである。本発明の本実施の形態においてはこれらの候補数の値を２と設定する。
【００７５】
実施の形態に係るインター予測情報導出方法は、図１の動画像符号化装置のインター予測情報導出部１０４及び図２の動画像復号装置のインター予測情報導出部２０５において実施される。
【００７６】
実施の形態に係るインター予測情報導出方法は、符号化ブロックを構成する予測ブロック単位に、符号化及び復号の処理の何れでも実施される。予測ブロックの予測モードPredModeがインター予測（MODE_INTER）で、マージモードの場合に、符号化の場合、符号化済みの予測ブロックの予測モード、参照インデックス、動きベクトルを利用して符号化対象の予測ブロックの予測モード、参照インデックス、動きベクトルを導出する際、復号の場合、復号済みの予測ブロックの予測モード、参照インデックス、動きベクトルを利用して復号対象の予測ブロックの予測モード、参照インデックス、動きベクトルを導出する際に実施される。
【００７７】
マージモードは図５、図６、図７及び図８を用いて説明した左に隣接する予測ブロックＡ、上に隣接する予測ブロックＢ、右上に隣接する予測ブロックＣ、左下に隣接する予測ブロックＤ、左上に隣接する予測ブロックＥに加えて、図９を用いて説明した異なる時間の同一位置あるいはその付近に存在する予測ブロックＣｏｌ（Ｔ０、Ｔ１のいずれか）の予測ブロックを候補とする。動画像符号化装置のインター予測情報導出部１０４、及び動画像復号装置のインター予測情報導出部２０５はそれらの候補を符号化側と復号側で共通の規定の順序でマージ候補リストに登録し、動画像符号化装置のインター予測情報導出部１０４がマージ候補リストの要素を特定するマージインデックスを決定して第２符号化ビット列生成部１１０を経由して符号化し、動画像復号装置のインター予測情報導出部２０５は第２符号化ビット列復号部２０２で復号されたマージインデックスが供給されて、そのマージインデックスに応じた予測ブロックをマージ候補リストから選択し、その選択されたマージ候補の予測モード、参照インデックス、動きベクトル等のインター予測情報を用いて、動き補償予測を行う。
【００７８】
スライス単位でマージ候補リストmergeCandListに登録される最終的なマージ候補数finalNumMergeCandを設定する。本実施の形態においては、finalNumMVPCandを５に設定する。
【００７９】
実施の形態に係るインター予測情報導出方法を図面を用いて説明する。図１２は、図１の動画像符号化装置のインター予測情報導出部１０４の詳細な構成を示す図である。また、図１３は、図２の動画像復号装置のインター予測情報導出部２０５の詳細な構成を示す図である。
【００８０】
図１２及び図１３の太枠線で囲まれる部分はそれぞれ、インター予測情報導出部１０４及びインター予測情報導出部２０５を示している。
【００８１】
更に、それらの内部の太点線で囲まれる部分は後述するインター予測情報導出方法の動作部を示しており、実施の形態の動画像符号化装置と対応する動画像復号装置にも同様に設置され、符号化と復号で矛盾しない同一の判定結果を得られるようにしている。
【００８２】
インター予測情報導出部１０４は、空間マージ候補生成部１３０、時間マージ候補の参照インデックス導出部１３１、時間マージ候補生成部１３２、マージ候補登録部１３３、マージ候補同一判定部１３４、マージ候補数制限部１３５、マージ候補補充部１３６、および符号化情報選択部１３７を含む。
【００８３】
インター予測情報導出部２０５は、空間マージ候補生成部２３０、時間マージ候補の参照インデックス導出部２３１、時間マージ候補生成部２３２、マージ候補登録部２３３、マージ候補同一判定部２３４、マージ候補数制限部２３５、マージ候補補充部２３６、および符号化情報選択部２３７を含む。
【００８４】
図１４は本発明の実施の形態による動画像符号化装置のインター予測情報導出部１０４及び動画像復号装置のインター予測情報導出部２０５とで共通する機能を有するマージ候補の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートである。
以下、諸過程を順を追って説明する。なお、以下の説明においては特に断りのない限りスライスタイプslice_typeがＢスライスの場合について説明するが、Ｐスライスの場合にも適用できる。ただし、スライスタイプslice_typeがＰスライスの場合、インター予測モードとしてＬ０予測（Pred_L0）だけがあり、Ｌ１予測（Pred_L1）、双予測（Pred_BI）がないので、Ｌ１に纏わる処理を省略することができる。
【００８５】
動画像符号化装置のインター予測情報導出部１０４の空間マージ候補生成部１３０及び動画像復号装置のインター予測情報導出部２０５の空間マージ候補生成部２３０では、符号化／復号対象ブロックに隣接するそれぞれの予測ブロックＡ，Ｂ，Ｃ，Ｄ，Ｅからの空間マージ候補Ａ，Ｂ，Ｃ，Ｄ，Ｅを導出する。ここで、Ａ，Ｂ，Ｃ，Ｄ，ＥまたはＣｏｌのいずれかを示すＮを定義する。予測ブロックＮのインター予測情報がマージ候補Ｎとして利用できるかどうかを示すフラグavailableFlagN、Ｌ０の参照インデックスrefIdxL0N及びＬ１の参照インデックスrefIdxL1N、Ｌ０予測が行われるかどうかを示すＬ０予測フラグpredFlagL0NおよびＬ１予測が行われるかどうかを示すＬ１予測フラグpredFlagL1N、Ｌ０の動きベクトルmvL0N、Ｌ１の動きベクトルmvL1Nを出力する（ステップＳ１０１）。
ステップＳ１０１の詳細な処理手順については図１５のフローチャートを用いて後ほど詳細に説明する。
【００８６】
続いて、動画像符号化装置のインター予測情報導出部１０４の時間マージ候補の参照インデックス導出部１３１及び動画像復号装置のインター予測情報導出部２０５の時間マージ候補の参照インデックス導出部２３１では、符号化／復号対象ブロックに隣接する予測ブロックから時間マージ候補の参照インデックスを導出する（ステップＳ１０２）。スライスタイプslice_typeがＰスライスで時間マージ候補のインター予測情報を用いてインター予測を行う場合は、Ｌ０予測（Pred_L0）を行うために、Ｌ０の参照インデックスだけを導出し、スライスタイプslice_typeがＢスライスで時間マージ候補のインター予測情報を用いてインター予測を行う場合は、双予測（Pred_BI）を行うために、Ｌ０とＬ１のそれぞれの参照インデックスを導出する。ステップＳ１０２の詳細な処理手順については図１６のフローチャートを用いて後ほど詳細に説明する。
【００８７】
続いて、動画像符号化装置のインター予測情報導出部１０４の時間マージ候補生成部１３２及び動画像復号装置のインター予測情報導出部２０５の時間マージ候補生成部２３２では、異なる時間のピクチャからの時間マージ候補を導出し、利用できるかどうかを示すフラグavailableFlagCol、Ｌ０予測が行われるかどうかを示すＬ０予測フラグpredFlagL0ColおよびＬ１予測が行われるかどうかを示すＬ１予測フラグpredFlagL1Col、及びＬ０の動きベクトルmvL0N、Ｌ１の動きベクトルmvL1Nを出力する（ステップＳ１０３）。ステップＳ１０３の詳細な処理手順については図１７のフローチャートを用いて後ほど詳細に説明する。
【００８８】
続いて、動画像符号化装置のインター予測情報導出部１０４のマージ候補登録部１３３及び動画像復号装置のインター予測情報導出部２０５のマージ候補登録部２３３では、マージ候補リストmergeCandListを作成し、予測ベクトルの候補Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｃｏｌを追加する（ステップＳ１０４）。ステップＳ１０４の詳細な処理手順については図２４のフローチャートを用いて後ほど詳細に説明する。
【００８９】
続いて、動画像符号化装置のインター予測情報導出部１０４のマージ候補同一判定部１３４及び動画像復号装置のインター予測情報導出部２０５のマージ候補同一判定部２３４では、マージ候補リストmergeCandList内で、マージ候補が同じ参照インデックスの動きベクトルが同じ値を持っている場合に、最も小さい順番のマージ候補を除いてそのマージ候補を取り除く（ステップＳ１０５）。
【００９０】
続いて、動画像符号化装置のインター予測情報導出部１０４のマージ候補数制限部１３５及び動画像復号装置のインター予測情報導出部２０５のマージ候補数制限部２３５では、マージ候補リストmergeCandList内に登録されているマージ候補の数をカウントし、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが、最終マージ候補数finalNumMergeCandより大きい場合（ステップＳ１０６のＹＥＳ）、マージ候補リストmergeCandList内のインデックスｉが(finalNumMergeCand-1)よりも大きいすべてのマージ候補を削除することでマージ候補を最終マージ候補数finalNumMergeCandに制限し、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandの値を最終マージ候補数finalNumMergeCandに更新する（ステップＳ１０７）。
【００９１】
続いて、動画像符号化装置のインター予測情報導出部１０４のマージ候補補充部１３６及び動画像復号装置のインター予測情報導出部２０５のマージ候補補充部２３６では、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが、最終マージ候補数finalNumMergeCandより小さい場合（ステップＳ１０８のＹＥＳ）、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが最終マージ候補数finalNumMergeCandを上限としてマージ候補を補充（導出・登録）する（ステップＳ１０９）。最終マージ候補数finalNumMergeCandを上限として、Ｐスライスでは、すでにマージ候補リストmergeCandList内に登録されているマージ候補を基に動きベクトルを整数倍でスケーリングすることにより導出されるインター予測モードが単予測であるＬ０予測（Pred_L0）のマージ候補を追加する。Ｂスライスでは、すでにマージ候補リストmergeCandList内に登録されているマージ候補を基にの一方の動きベクトルを整数倍でスケーリングすることにより導出されるインター予測モードが双予測（Pred_BI）のマージ候補を追加する。ステップＳ１０９の詳細な処理手順については図２５のフローチャートを用いて後ほど詳細に説明する。
【００９２】
本実施の形態においては、スライス単位で最終候補数finalNumMVPCandを固定した数に設定している。最終候補数finalNumMVPCandを固定する理由は最終候補数finalNumMVPCandがマージ候補リストの構築状態に応じて変動すると、エントロピー復号とマージ候補リストの構築に依存関係が生じ、復号側では予測ブロック毎にマージ候補リストを構築し最終候補数finalNumMVPCandを導出してからでないと、マージインデックスをエントロピー復号することができず、マージインデックスの復号に遅延が生じるとともにエントロピー復号が複雑になるためである。さらに、エントロピー復号が異なる時間のピクチャの予測ブロックから導出されたマージ候補Colを含むマージ候補リストの構築状態に依存すると、別のピクチャの符号化ビット列の復号時にエラーが発生した際に現在のピクチャの符号化ビット列もそのエラーの影響を受けて正常な最終候補数finalNumMVPCandを導出することができず正常にエントロピー復号を続けることができない問題がある。本実施の形態の様にスライス単位で最終候補数finalNumMVPCandを固定した数に設定すると、予測ブロック単位での最終候補数finalNumMVPCandの導出が不要となり、マージ候補リストの構築と独立して、マージインデックスをエントロピー復号することができるとともに、別のピクチャの符号化ビット列の復号時にエラーが発生してもその影響を受けずに現在のピクチャの符号化ビット列のエントロピー復号を続けることができる。
【００９３】
次に、図１４のステップＳ１０１の処理手順である符号化／復号対象ブロックに隣接する予測ブロックＮからのマージ候補Ｎの導出方法について詳細に説明する。図１５は図１４のステップＳ１０１の空間マージ候補導出処理手順を説明するフローチャートである。
Ｎには隣接する予測ブロックの領域を表すＡ（左側）、Ｂ（上側）、Ｃ（右上）、Ｄ（左下）またはＥ（左上）が入る。なお、本実施の形態においては、空間マージ候補数の上限値maxNumSpatialMergeCandを４とし、隣接する５つの予測ブロックから最大４つの空間マージ候補を導出する。
【００９４】
図１５で、変数ＮをＡとして符号化／復号対象の予測ブロックの左側に隣接する予測ブロックＡの符号化情報を調べてマージ候補Ａを導出し、変数ＮをＢとして上側に隣接する予測ブロックＢの符号化情報を調べてマージ候補Ｂを導出し、変数ＮをＣとして右上側に隣接する予測ブロックＣの符号化情報を調べてマージ候補Ｃを導出し、変数ＮをＤとして左下側に隣接する予測ブロックＤの符号化情報を調べてマージ候補Ｄを導出し、変数ＮをＥとして左上側に隣接する予測ブロックＥの符号化情報を調べてマージ候補Ｅを導出する（ステップＳ１１０１〜ステップＳ１１１２）。
【００９５】
まず、これまでに導出できた（availableFlagが１となった）空間マージ候補の合計が空間マージ候補数の上限値maxNumSpatialMergeCandの場合（ステップＳ１１０２のＹＥＳ）、すなわち４つの空間マージ候補が導出された場合、マージ候補ＮのフラグavailableFlagNを０に設定し（ステップＳ１１０５）、マージ候補Ｎの動きベクトルmvL0N, mvL1Nの値を共に（０，０）に設定し（ステップＳ１１０６）、マージ候補ＮのフラグpredFlagL0N、predFlagL1Nの値を共に０に設定し（ステップＳ１１０７）、本空間マージ候補導出処理を終了する。
本実施の形態においては、隣接する予測ブロックから４つのマージ候補を導出するので、既に４つの空間マージ候補が導出された場合はそれ以上の空間マージ候補の導出処理を行う必要がない。
【００９６】
一方、これまでに導出できた（availableFlagが１となった）空間マージ候補の合計が空間マージ候補数の上限値maxNumSpatialMergeCandでない場合（ステップＳ１１０２のＮＯ）、符号化／復号対象の予測ブロックに隣接する予測ブロックＮを特定し、それぞれの予測ブロックＮが利用できる場合は符号化情報格納メモリ１１５または２１０から予測ブロックＮの符号化情報を取得する（ステップＳ１１０３）。
【００９７】
隣接する予測ブロックＮが利用できないか、予測ブロックＮの予測モードPredModeがイントラ予測（MODE_INTRA）である場合（ステップＳ１１０４のＮＯ）、マージ候補ＮのフラグavailableFlagNの値を０に設定し（ステップＳ１１０５）、マージ候補Ｎの動きベクトルmvL0N, mvL1Nの値を共に（０，０）に設定し（ステップＳ１１０６）、マージ候補ＮのフラグpredFlagL0N、predFlagL1Nの値を共に０に設定する（ステップＳ１１０７）。
【００９８】
一方、隣接する予測ブロックＮが利用でき、予測ブロックＮの予測モードPredModeがイントラ予測（MODE_INTRA）でない場合（ステップＳ１１０４のＹＥＳ）、予測ブロックＮのインター予測情報をマージ候補Ｎのインター予測情報とする。マージ候補ＮのフラグavailableFlagNの値を１に設定し（ステップＳ１１０８）、マージ候補Ｎの動きベクトルmvL0N, mvL1Nをそれぞれ予測ブロックＮの動きベクトルmvL0N[xN][yN], mvL1N[xN][yN]と同じ値に設定し（ステップＳ１１０９）、マージ候補Ｎの参照インデックスrefIdxL0N, refIdxL1Nをそれぞれ予測ブロックＮの参照インデックスrefIdxL0[xN][yN], refIdxL1[xN][yN]と同じ値に設定し（ステップＳ１１１０）、マージ候補ＮのフラグpredFlagL0N, predFlagL1Nをそれぞれ予測ブロックＮのフラグpredFlagL0[xN][yN], predFlagL1[xN][yN]に設定する（ステップＳ１１１１）。ここで、xN、yNはピクチャ内での予測ブロックＮの左上の画素の位置を示すインデックスである。
【００９９】
以上のステップＳ１１０２〜ステップＳ１１１１の処理をＮ＝Ａ，Ｂ，Ｃ，Ｄ，Ｅについてそれぞれ繰り返す（ステップＳ１１０１〜ステップＳ１１１２）。
【０１００】
次に、図１４のＳ１０２の時間マージ候補の参照インデックスを導出する方法について詳細に説明する。時間マージ候補のＬ０とＬ１のそれぞれの参照インデックスを導出する。
【０１０１】
本実施の形態においては、空間マージ候補の参照インデックス、即ち符号化／復号対象ブロックに隣接する予測ブロックで利用された参照インデックスを利用して時間マージ候補の参照インデックスを導出する。これは、時間マージ候補が選択される場合において、符号化／復号対象の予測ブロックの参照インデックスは空間マージ候補となる符号化／復号対象ブロックに隣接する予測ブロックの参照インデックスと高い相関を持つからである。特に、本実施の形態においては、符号化／復号対象の予測ブロックの左の辺に隣接する予測ブロックＡ、及び上の辺に隣接する予測ブロックＢの参照インデックスだけを利用する。なぜなら、空間マージ候補でもある隣接する予測ブロックＡ，Ｂ，Ｃ，Ｄ，Ｅの中でも符号化／復号対象の予測ブロックの辺に接している予測ブロックＡ，Ｂは、符号化／復号対象の予測ブロックの頂点のみに接している予測ブロックＣ，Ｄ，Ｅよりも相関が高いからである。相対的に相関の低い予測ブロックＣ，Ｄ，Ｅを利用せずに、利用する予測ブロックを予測ブロックＡ，Ｂに限定することで、時間マージ候補の参照インデックスの導出による符号化効率の改善効果を得るとともに、時間マージ候補の参照インデックス導出処理に関する演算量及びメモリアクセス量を削減する。
【０１０２】
本実施の形態では、予測ブロックＡ、予測ブロックＢが共にＬＸ予測（Ｌ０またはＬ１で、時間マージ候補の参照インデックスの導出対象のリストをＬＸとし、ＬＸを用いた予測をＬＸ予測とする。以下、断りのない限り、この意味で用いる。）を行う場合は予測ブロックＡ、予測ブロックＢのＬＸの参照インデックスの値の小さい方を時間マージ候補のＬＸの参照インデックスの値として採用する。ただし、予測ブロックＡ、予測ブロックＢのいずれか一方しかＬＸ予測を行わない場合はＬＸ予測を行う方の予測ブロックのＬＸの参照インデックスの値を時間マージ候補のＬＸの参照インデックスの値として採用し、予測ブロックＡ、予測ブロックＢが共にＬＸ予測を行わない場合は時間マージ候補のＬＸの参照インデックスの値をデフォルト値の０とする。
【０１０３】
予測ブロックＡ、予測ブロックＢが共にＬＸ予測を行わない場合に時間マージ候補のＬＸの参照インデックスのデフォルト値を０とする理由は、インター予測において参照インデックスの値が０に対応する参照ピクチャが最も選択される確率が高いからである。ただし、これに限定されず、参照インデックスのデフォルト値を０以外の値（１、２など）としても良いし、シーケンス単位、ピクチャ単位、またはスライス単位で符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。
【０１０４】
図１６は本実施の形態の図１４のステップＳ１０２の時間マージ候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、符号化情報格納メモリ１１５または２１０から左に隣接する予測ブロックＡの符号化情報、及び予測ブロックＢの符号化情報を取得する（ステップＳ２１０１、ステップＳ２１０２）。
続くステップＳ２１０４からステップＳ２１１０までの処理をＬ０，Ｌ１それぞれにおいて行う（ステップＳ２１０３〜Ｓ２１１１）。なお、時間マージ候補のＬ０の参照インデックスを導出する際にはＬＸはＬ０に設定され、Ｌ１の参照インデックスを導出する際にはＬＸはＬ１に設定される。ただし、スライスタイプslice_typeがＰスライスの場合、インター予測モードとしてＬ０予測（Pred_L0）だけがあり、Ｌ１予測（Pred_L1）、双予測（Pred_BI）がないので、Ｌ１に纏わる処理を省略することができる。
【０１０５】
予測ブロックＡのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xA][yA]と予測ブロックＢのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が共に０でない場合（ステップＳ２１０４のＹＥＳ）、時間マージ候補のＬＸの参照インデックスrefIdxLXColを予測ブロックＡのＬＸの参照インデックスrefIdxLX[xA][yA]と予測ブロックＢのＬＸの参照インデックスrefIdxLX[xB][yB]の値の小さい方と同じ値に設定する（ステップＳ２１０５）。ここで、xA、yAはピクチャ内での予測ブロックＡの左上の画素の位置を示すインデックスである。ここで、xB、yBはピクチャ内での予測ブロックＢの左上の画素の位置を示すインデックスである。
【０１０６】
なお、本実施の形態においては、予測ブロックＮ（Ｎ＝Ａ，Ｂ）において、予測ブロックＮが符号化／復号対象のスライス外で利用できない場合や予測ブロックＮが符号化／復号順序で符号化／復号対象の予測ブロックよりも後のために符号化／復号されておらず利用できない場合や予測ブロックＮの予測モードPredModeがインター予測（MODE_INTER）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、予測ブロックＮのＬ１予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に０である。ここで、xN、yNはピクチャ内での予測ブロックＮの左上の画素の位置を示すインデックスである。
予測ブロックＮの予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、予測ブロックＮのＬ０予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は０である。予測ブロックＮのインター予測モードがＬ１予測（Pred_L1）の場合、予測ブロックＮのＬ０予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は１である。予測ブロックＮのインター予測モードが双予測（Pred_BI）の場合、予測ブロックＮのＬ０予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に１である。
【０１０７】
予測ブロックＡのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が０でなく、予測ブロックＢのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が０である場合（ステップＳ２１０４のＮＯで、ステップＳ２１０６のＹＥＳ）、時間マージ候補のＬＸの参照インデックスrefIdxLXColを予測ブロックＡのＬＸの参照インデックスrefIdxLX[xA][yA]と同じ値に設定する（ステップＳ２１０７）。ここで、xA、yAはピクチャ内での予測ブロックＡの左上の画素の位置を示すインデックスであり、xB、yBはピクチャ内での予測ブロックＢの左上の画素の位置を示すインデックスである。
【０１０８】
予測ブロックＡのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が０であり、予測ブロックＢのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が０でない場合（ステップＳ２１０４のＮＯで、ステップＳ２１０６のＮＯで、ステップＳ２１０８のＹＥＳ）、時間マージ候補のＬＸの参照インデックスrefIdxLXColを予測ブロックＢのＬＸの参照インデックスpredFlagLX[xB][yB]と同じ値に設定する（ステップＳ２１０９）。
【０１０９】
予測ブロックＡのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xA][yA]と予測ブロックＢのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が共に０である場合（ステップＳ２１０４のＮＯで、ステップＳ２１０６のＮＯで、ステップＳ２１０８のＮＯ）、時間マージ候補のＬＸの参照インデックスrefIdxLXColをデフォルト値の０に設定する（ステップＳ２１１０）。
【０１１０】
Ｌ０，Ｌ１それぞれにおいて行うステップＳ２１０４からステップＳ２１１０までの処理を行い（ステップＳ２１０３〜Ｓ２１１１）、本参照インデックス導出処理を終了する。
【０１１１】
次に、図１４のＳ１０３の異なる時間のマージ候補の導出方法について詳細に説明する。図１７は図１４のステップＳ１０３の時間マージ候補導出処理手順を説明するフローチャートである。
【０１１２】
まず、図２６のビットストリームの符号化および復号の共通規則であるシンタックス規則の一例に示すように、スライス単位でスライスヘッダに記述されるスライスタイプslice_typeと時間方向の予測動きベクトルの候補、またはマージ候補を導出する際に用いる異なる時間のピクチャcolPicが処理対象の予測ブロックが含まれるピクチャのＬ０の参照リスト或いはＬ１の参照リストのどちらに登録されている参照ピクチャを使用するかを示すフラグcollocated_from_l0_flagにより、異なる時間のピクチャcolPicを導出する（ステップＳ３１０１）。
【０１１３】
図１８は図１７のステップＳ３１０１の異なる時間のピクチャcolPicの導出処理手順を説明するフローチャートである。スライスタイプslice_typeがＢスライスで、フラグcollocated_from_l0_flagが０の場合（ステップＳ３２０１のＹＥＳ、ステップＳ３２０２のＹＥＳ）、RefPicList1[0]、すなわち参照リストＬ１の参照インデックスが０のピクチャが異なる時間のピクチャcolPicとなる（ステップＳ３２０３）。そうでない場合、すなわちスライスタイプslice_typeがＢスライスで前述のフラグcollocated_from_l0_flagが１の場合（ステップＳ３２０１のＹＥＳ、ステップＳ３２０２のＮＯ）、またはスライスタイプslice_typeがＰスライスの場合（ステップＳ３２０１のＮＯ、Ｓ３２０４のＹＥＳ）、RefPicList0[0]、すなわち参照リストＬ０の参照インデックスが０のピクチャが異なる時間のピクチャcolPicとなる（ステップＳ３２０５）。
【０１１４】
次に、図１７のフローチャートに戻り、異なる時間の予測ブロックcolPUを導出し、符号化情報を取得する（ステップＳ３１０２）。
【０１１５】
図１９は図１７のステップＳ３１０２の異なる時間のピクチャcolPicの予測ブロックcolPUの導出処理手順を説明するフローチャートである。
【０１１６】
まず、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の右下（外側）に位置する予測ブロックを異なる時間の予測ブロックcolPUとする（ステップＳ３３０１）。この予測ブロックは図９の予測ブロックＴ０に相当する。
【０１１７】
次に、異なる時間の予測ブロックcolPUの符号化情報を取得する（ステップＳ３３０２）。異なる時間の予測ブロックcolPUのPredModeが利用できないか、異なる時間の予測ブロックcolPUの予測モードPredModeがイントラ予測（MODE_INTRA）である場合（ステップＳ３３０３のＹＥＳ、ステップＳ３３０４のＹＥＳ）、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の中央左上に位置する予測ブロックを異なる時間の予測ブロックcolPUとする（ステップＳ３３０５）。この予測ブロックは図９の予測ブロックＴ１に相当する。
【０１１８】
次に、図１７のフローチャートに戻り、符号化／復号対象の予測ブロックと同位置の他ピクチャの予測ブロックから導出されるＬ０の予測動きベクトルmvL0Colと時間マージ候補Ｃｏｌが有効か否かを示すフラグavailableFlagL0Colを導出するとともに（ステップＳ３１０３）、Ｌ１の予測動きベクトルmvL1Colと時間マージ候補Ｃｏｌが有効か否かを示すフラグavailableFlagL1Colを導出する。さらに、フラグavailableFlagL0Col またはフラグavailableFlagL1Colが1の場合に、時間マージ候補Ｃｏｌが有効か否かを示すフラグavailableFlagColを1に設定する。
【０１１９】
図２０は図１７のステップＳ３１０３、ステップＳ３１０４の時間マージ候補のインター予測情報の導出処理手順を説明するフローチャートである。Ｌ０またはＬ１で、時間マージ候補の導出対象のリストをＬＸとし、ＬＸを用いた予測をＬＸ予測とする。以下、断りのない限り、この意味で用いる。時間マージ候補のＬ０の導出処理であるステップＳ３１０３として呼び出される際には、ＬＸがＬ０となり、時間マージ候補のＬ１の導出処理であるステップＳ３１０４として呼び出される際には、ＬＸがＬ１となる。
【０１２０】
異なる時間の予測ブロックcolPUの予測モードPredModeがイントラ予測（MODE_INTRA）か、利用できない場合（ステップＳ３４０１のＮＯ、ステップＳ３４０２のＮＯ）、フラグavailableFlagLXColとフラグpredFlagLXColを共に０とし（ステップＳ３４０３）、動きベクトルmvLXColを（０，０）として（ステップＳ３４０４）、本時間マージ候補のインター予測情報の導出処理を終了する。
【０１２１】
予測ブロックcolPUが利用できて予測モードPredModeがイントラ予測（MODE_INTRA）でない場合（ステップＳ３４０１のＹＥＳ、ステップＳ３４０２のＹＥＳ）、以下の手順でmvColとrefIdxColとavailableFlagColを導出する。
【０１２２】
予測ブロックcolPUのＬ０予測が利用されているかどうかを示すフラグPredFlagL0[xPCol][yPCol]が０の場合（ステップＳ３４０５のＹＥＳ）、予測ブロックcolPUの予測モードはPred_L1であるので、動きベクトルmvColが予測ブロックcolPUのＬ１の動きベクトルであるMvL1[xPCol][yPCol]と同じ値に設定され（ステップＳ３４０６）、参照インデックスrefIdxColがＬ１の参照インデックスRefIdxL1[xPCol][yPCol]と同じ値に設定され（ステップＳ３４０７）、リストListColがＬ１に設定される（ステップＳ３４０８）。ここで、xPCol、yPColは異なる時間のピクチャcolPic内での予測ブロックcolPUの左上の画素の位置を示すインデックスである。
【０１２３】
一方、予測ブロックcolPUのＬ０予測フラグPredFlagL0[xPCol][yPCol]が０でない場合（図２０のステップＳ３４０５のＮＯ）、予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が０かどうかを判定する。予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が０の場合（ステップＳ３４０９のＹＥＳ）、動きベクトルmvColが予測ブロックcolPUのＬ０の動きベクトルであるMvL0[xPCol][yPCol]と同じ値に設定され（ステップＳ３４１０）、参照インデックスrefIdxColがＬ０の参照インデックスRefIdxL0[xPCol][yPCol]と同じ値に設定され（ステップＳ３４１１）、リストListColがＬ０に設定される（ステップＳ３４１２）。
【０１２４】
予測ブロックcolPUのＬ０予測フラグPredFlagL0[xPCol][yPCol]と予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が共に０でない場合（ステップＳ３４０５のＮＯ、ステップＳ３４０９のＮＯ）、予測ブロックcolPUのインター予測モードは双予測（Pred_BI）であるので、Ｌ０、Ｌ１の２つの動きベクトルから、一方を選択する（ステップＳ３４１３）。
【０１２５】
図２１は予測ブロックcolPUのインター予測モードが双予測（Pred_BI）のときの時間マージ候補のインター予測情報の導出処理手順を示すフローチャートである。
【０１２６】
まず、すべての参照リストに登録されているすべてのピクチャのＰＯＣが現在の符号化／復号対象ピクチャのＰＯＣより小さいかどうかを判定し（ステップＳ３５０１）、予測ブロックcolPUのすべての参照リストであるＬ０及びＬ１に登録されているすべてのピクチャのＰＯＣが現在の符号化／復号対象ピクチャのＰＯＣより小さい場合で（ステップＳ３５０１のＹＥＳ）、ＬＸがＬ０、即ち符号化／復号対象ピクチャのＬ０の動きベクトルの予測ベクトル候補を導出している場合（ステップＳ３５０２のＹＥＳ）、予測ブロックcolPUのＬ０の方のインター予測情報を選択し、ＬＸがＬ１、即ち符号化／復号対象ピクチャのＬ１の動きベクトルの予測ベクトル候補を導出している場合（ステップＳ３５０２のＮＯ）、予測ブロックcolPUのＬ１の方のインター予測情報を選択する。一方、予測ブロックcolPUのすべての参照リストＬ０及びＬ１に登録されているピクチャのＰＯＣの少なくとも１つが現在の符号化／復号対象ピクチャのＰＯＣより大きい場合で（ステップＳ３５０１のＮＯ）、フラグcollocated_from_l0_flagが０の場合（ステップＳ３５０３のＹＥＳ）、予測ブロックcolPUのＬ０の方のインター予測情報を選択し、フラグcollocated_from_l0_flagが１の場合（ステップＳ３５０３のＮＯ）、予測ブロックcolPUのＬ１の方のインター予測情報を選択する。
【０１２７】
予測ブロックcolPUのＬ０の方のインター予測情報を選択する場合（ステップのＹＥＳ、ステップＳ３５０３のＹＥＳ）、動きベクトルmvColがMvL0[xPCol][yPCol]と同じ値に設定され（ステップＳ３５０４）、参照インデックスrefIdxColがRefIdxL0[xPCol][yPCol]と同じ値に設定され（ステップＳ３５０５）、リストListColがＬ０に設定される（ステップＳ３５０６）。
【０１２８】
予測ブロックcolPUのＬ１の方のインター予測情報を選択する場合（ステップＳ２５０２のＮＯ、ステップＳ３５０３のＮＯ）、動きベクトルmvColがMvL1[xPCol][yPCol]と同じ値に設定され（ステップＳ３５０７）、参照インデックスrefIdxColがRefIdxL1[xPCol][yPCol]と同じ値に設定され（ステップＳ３５０８）、リストListColがＬ１に設定される（ステップＳ３５０９）。
【０１２９】
図２０に戻り、予測ブロックcolPUからインター予測情報が取得できたらフラグavailableFlagLXColとフラグpredFlagLXColを共に１とする（ステップＳ３４１４）。
【０１３０】
続いて、動きベクトルmvColをスケーリングして時間マージ候補のＬＸの動きベクトルmvLXColとする（ステップＳ３４１５）。この動きベクトルのスケーリング演算処理手順を図２２及び図２３を用いて説明する。
【０１３１】
図２２は図２０のステップＳ３４１５の動きベクトルのスケーリング演算処理手順を示すフローチャートである。
【０１３２】
異なる時間のピクチャcolPicのＰＯＣから、予測ブロックcolPUのリストListColで参照する参照インデックスrefIdxColに対応する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｄを導出する（ステップＳ３６０１）。なお、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣの方が表示順序で前の場合、ピクチャ間距離ｔｄは正の値となり、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣの方が表示順序で後の場合、ピクチャ間距離ｔｄは負の値となる。
ｔｄ＝異なる時間のピクチャcolPicのＰＯＣ−予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣ
【０１３３】
現在の符号化／復号対象ピクチャのＰＯＣから図１４のステップＳ１０２で導出された時間マージ候補のＬＸの参照インデックスに対応する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｂを導出する（ステップＳ３６０２）。なお、現在の符号化／復号対象ピクチャよりも現在の符号化／復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離ｔｂは正の値となり、現在の符号化／復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離ｔｂは負の値となる。
ｔｂ＝現在の符号化／復号対象ピクチャのＰＯＣ−時間マージ候補のＬＸの参照インデックスに対応する参照ピクチャのＰＯＣ
【０１３４】
続いて、ピクチャ間距離ｔｄとｔｂを比較し（ステップＳ３６０３）、ピクチャ間距離ｔｄとｔｂが等しい場合（ステップＳ３６０３のＹＥＳ）、時間マージ候補のＬＸの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定して（ステップＳ３６０４）、本スケーリング演算処理を終了する。
mvLXCol＝mvCol
【０１３５】
一方、ピクチャ間距離ｔｄとｔｂが等しくない場合（ステップＳ３６０３のＮＯ）、次式によりmvColにスケール係数ｔｂ／ｔｄを乗じることでスケーリング演算処理を行い（ステップＳ３６０５）、スケールされた時間マージ候補のＬＸの動きベクトルmvLXColを得る。
mvLXCol＝ｔｂ / ｔｄ * mvCol
【０１３６】
また、ステップＳ３６０５のスケーリング演算を整数精度の演算で行う場合の例を図２３に示す。図２３のステップＳ３６０６〜ステップＳ３６０８の処理が、図２２のステップＳ３６０５の処理に相当する。
【０１３７】
まず、図２２のフローチャートと同様に、ピクチャ間距離ｔｄとピクチャ間距離ｔｂを導出する（ステップＳ３６０１、ステップＳ３６０２）。
【０１３８】
続いて、ピクチャ間距離ｔｄとｔｂを比較し（ステップＳ３６０３）、ピクチャ間距離ｔｄとｔｂが等しい場合（ステップＳ３６０３のＹＥＳ）、図２２のフローチャートと同様に、時間マージ候補のＬＸの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定して（ステップＳ３６０４）、本スケーリング演算処理を終了する。
mvLXCol＝mvCol
【０１３９】
一方、ピクチャ間距離ｔｄとｔｂが等しくない場合（ステップＳ３６０３のＮＯ）、次式により変数ｔｘを導出する（ステップＳ３６０６）。
tx = ( 16384 + Abs( td / 2 ) ) / td
【０１４０】
続いて、次式によりスケール係数DistScaleFactorを導出する（ステップＳ３６０７）。
DistScaleFactor = ( tb * tx + 32 ) >> 6
【０１４１】
続いて、次式により、スケールされた時間マージ候補のＬＸの動きベクトルmvLXColを得る（ステップＳ３６０８）。
mvLXCol = ClipMv( Sign( DistScaleFactor * mvCol ) * ( (Abs( DistScaleFactor * mvCol ) + 127 ) >> 8 ) )
【０１４２】
次に、図１４のステップＳ１０４のマージ候補をマージ候補リストに登録する方法について詳細に説明する。図２４はマージ候補リストへのマージ候補の登録処理手順を示すフローチャートである。本方式では、優先順位をつけて、優先順位の高いものからマージ候補リストmergeCandListに予測動きベクトルの候補を登録することで、マージインデックスmerge_idx[x0][y0]の符号量を削減する。優先順位の高い要素をマージ候補リストの前方に配置することで、符号量を削減する。例えば、マージ候補リストmergeCandListの要素が５個の場合、マージ候補リストのインデックス０を「０」、インデックス１を「１０」、インデックス２を「１１０」、インデックス３を「１１１０」、インデックス４を「１１１１０」とすることで、インデックス０を表す符号量が１ビットとなり、インデックス０に発生頻度が高いと考えられる要素を登録することで、符号量を削減する。
【０１４３】
マージ候補リストmergeCandListはリスト構造を成し、マージ候補リスト内部の所在を示すマージインデックスと、インデックスに対応するマージ候補を要素として格納する記憶領域が設けられている。マージインデックスの数字は０から開始され、マージ候補リストmergeCandListの記憶領域に、マージ候補が格納される。以降の処理では、マージ候補リストmergeCandListに登録されたマージインデックスｉのマージ候補となる予測ブロックは、mergeCandList[i]で表すこととし、マージ候補リストmergeCandListとは配列表記をすることで区別することとする。
【０１４４】
まず、availableFlagAが１の場合（ステップＳ４１０１のＹＥＳ）、マージ候補リストmergeCandListの先頭にマージ候補Ａを登録する（ステップＳ４１０２）。
続いて、availableFlagBが１の場合（ステップＳ４１０３のＹＥＳ）、マージ候補リストmergeCandListの最後にマージ候補Ｂを登録する（ステップＳ４１０４）。
続いて、availableFlagCが１の場合（ステップＳ４１０５のＹＥＳ）、マージ候補リストmergeCandListの最後にマージ候補Ｃを登録する（ステップＳ４１０６）。
続いて、availableFlagDが１の場合（ステップＳ４１０７のＹＥＳ）、マージ候補リストmergeCandListの最後にマージ候補Ｄを登録する（ステップＳ４１０８）。
続いて、availableFlagEが１の場合（ステップＳ４１０９のＹＥＳ）、マージ候補リストmergeCandListの最後にマージ候補Ｅを登録する（ステップＳ４１１０）。
続いて、availableFlagColが１の場合（ステップＳ４１０９のＹＥＳ）、マージ候補リストmergeCandListの最後にマージ候補Ｃｏｌを登録する（ステップＳ４１１０）。
【０１４５】
なお、マージモードにおいて、左に隣接する予測ブロックＡ及び上に隣接する予測ブロックＢは符号化／復号対象の予測ブロックと一体となる動きになることが多いので、予測ブロックＡ、Ｂのインター予測情報が取得できる場合には、マージ候補Ａ、Ｂを他のマージ候補Ｃ，Ｄ，Ｅ，Ｃｏｌよりも優先的にマージ候補リストの前方に登録する。
【０１４６】
図１２において、動画像符号化装置のインター予測情報導出部１０４の符号化情報選択部１３７では、マージ候補リストに登録されているマージ候補の中から、マージ候補を選択し、マージインデックスおよびマージインデックスに対応するマージ候補のインター予測情報を動き補償予測部１０５に供給する。
【０１４７】
マージ候補の選択においては、予測方法決定部１０７と同様の方法を用いることができる。それぞれのマージ候補ごとに符号化情報及び残差信号の符号量と予測画像信号と画像信号との間の符号化歪を導出し、最も少ない発生符号量と符号化歪となるマージ候補が決定される。それぞれのマージ候補毎にマージモードの符号化情報であるマージインデックスのシンタックス要素merge_idxのエントロピー符号化を行い、符号化情報の符号量を算出する。さらに、それぞれのマージ候補毎に動き補償予測部１０５と同様の方法で各マージ候補のインター予測情報に応じて動き補償した予測画像信号と、画像メモリ１０１から供給される符号化対象の画像信号との予測残差信号を符号化した予測残差信号の符号量を算出する。符号化情報、即ちマージインデックスの符号量と予測残差信号の符号量とが加算された総発生符号量を算出し評価値とする。
【０１４８】
また、こうした予測残差信号を符号化後に、歪量評価の為に復号し、符号化により生じる元の画像信号との誤差を表す比率として符号化歪が算出される。これら総発生符号量と符号化歪とをマージ候補毎に比較することで、少ない発生符号量と符号化歪となる符号化情報が決定される。決定された符号化情報に対応するマージインデックスが、予測ブロック単位の第２のシンタックスパターンで表されるフラグmerge_idxとして符号化される。
尚、ここで算出される発生符号量は、符号化過程をシミュレートしたものであることが望ましいが、簡便に近似したり、概算することも可能である。
【０１４９】
一方、図１３において、動画像符号化装置のインター予測情報導出部２０５の符号化情報選択部２３７では、マージ候補リストに登録されているマージ候補の中から、供給されたマージインデックスに対応するマージ候補を選択し、マージ候補のインター予測情報を動き補償予測部２０６に供給するとともに、符号化情報格納メモリ２１０に格納する。
【０１５０】
次に、図１４のステップＳ１０９のマージ候補を補充（導出・登録）する方法について詳細に説明する。図２５はマージ候補の補充処理手順を示すフローチャートである。設定された最終マージ候補数finalNumMergeCandを上限として、すでにマージ候補リストmergeCandList内に登録されているマージ候補を基に新たなマージ候補を生成し、マージ候補リストに登録することでマージ候補数を補充し、マージ候補の選択の幅を広げて、符号量を削減する。
【０１５１】
スライスタイプslice_typeがＰスライスの場合（ステップＳ５１０１のＹＥＳ）、整数倍のスケール係数を導出し、インター予測モードがＬ０予測（Pred_L0）の整数倍のスケーリング単予測マージ候補を補充（導出・登録）する（ステップＳ５１０３）。スライスタイプslice_typeがＢスライスの場合（ステップＳ５１０１のＮＯ、ステップＳ５１０２のＹＥＳ）、整数倍のスケール係数を導出し、インター予測モードが双予測（Pred_BI）の整数倍のスケーリング双予測マージ候補を補充（導出・登録）する（ステップＳ５１０４）。
【０１５２】
次に、図２５のＳ５１０３のスライスタイプslice_typeがＰスライスでの整数倍のスケーリング単予測マージ候補の補充（導出・登録）方法について詳細に説明する。図２６は図２５のステップＳ５１０３のスライスタイプslice_typeがＰスライスでの整数倍のスケーリング単予測マージ候補の補充処理手順を説明するフローチャートである。
【０１５３】
まず、Ｌ０の参照ピクチャRefPicListL0の参照ピクチャの数が１より大きいかどうかを判別し、参照ピクチャの数が１以下の場合（ステップＳ５２０１のＮＯ）、図２６のスケーリング単予測マージ候補補充処理手順を終了する。一方、参照ピクチャの数が１より大きい場合（ステップＳ５２０１のＹＥＳ）、マージ候補リストのマージインデックスｉ、スケールされたマージ候補数を示す変数numScaledCandを０に初期化し、これまでにマージ候補リストに登録されたマージ候補数を示す変数である第一マージ候補数numFirstMergeCandを現在のマージ候補数numMergeCandの値に設定する（ステップＳ５２０２）。続いて、ステップＳ５２０３以降の繰り返し処理を行う。現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCandより小さい場合に（ステップＳ５２０４のＹＥＳ）、ステップＳ５２０５以降の処理を行い、現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCand以上の場合に（ステップＳ５２０４のＮＯ）、図２６のスケーリング単予測マージ候補補充処理手順を終了する。次に、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCandより小さい場合に（Ｓ５２０５のＹＥＳ）、ステップＳ５２０６以降の処理を行い、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCand以上の場合に（Ｓ５２０５のＮＯ）、図２６のスケーリング単予測マージ候補補充処理手順を終了する。最大スケーリングマージ候補導出処理回数maxNumScaledCandを大きくすると、演算処理回数は大きくなるが、マージ候補の選択の幅が広がり、符号化効率が向上する。例えば、最終マージ候補数finalNumMergeCandの値が５の場合、マージ候補導出処理回数maxNumScaledCandの値は１から３程度に規定するとよい。
【０１５４】
次に、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合（ステップＳ５２０６のＹＥＳ）、図２７のスケーリング単予測マージ候補補充処理を行い（ステップＳ５２０７）、ピクチャ間距離の値が１でない場合（ステップＳ５２０６のＮＯ）、図２７のスケーリング単予測マージ候補補充処理を行わず、ステップＳ５２０８以降の処理を行う。本実施の形態においては、スライスタイプslice_typeがＰスライスの際に、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合にのみ整数倍のスケール係数ScaleFactorを導出するスケーリング単予測マージ候補の補充処理を行う。このように、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合にのみスケーリング単予測マージ候補の補充を行うことで、スケール係数ScaleFactorの導出処理を単純化するとともに、演算量の多い除算を含むスケーリング演算処理を除外し、除算に比べて演算量の少ない乗算のみによるスケーリング演算処理を行う。
【０１５５】
図２７は図２６のステップＳ５２０７の整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行うスケーリング単予測マージ候補の補充処理手順を説明するフローチャートである。既にマージ候補リストに登録されているマージ候補のＬ０の動きベクトルから整数倍によるスケーリング演算処理によりＬ０の動きベクトルを導出して単予測マージ候補とする。
【０１５６】
まず、スケーリング単予測マージ候補のＬ０の参照インデックスrefIdxL0Scaledをマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬ０の参照インデックスrefIdxL0とは別の発生確率の高いインデックス値に設定する（ステップＳ５３０１〜Ｓ５３０３）。マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬ０の参照インデックスrefIdxL0が第１のデフォルト値の０の場合（ステップＳ５３０１のＹＥＳ）、スケーリング単予測マージ候補のＬ０の参照インデックスrefIdxL0Scaledを第２のデフォルト値の１に設定し（ステップＳ５３０２）、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬ０の参照インデックスrefIdxL0が第１のデフォルト値の０でない場合（ステップＳ５３０１のＮＯ）、スケーリング単予測マージ候補のＬ０の参照インデックスrefIdxL0Scaledを第１のデフォルト値の０に設定する（ステップＳ５３０３）。第１のデフォルト値は最も発生確率の高い参照インデックスの値に規定され、第２のデフォルト値は２番目に発生確率の高い参照インデックスの値に規定される。本実施の形態においては、最も発生確率の高い参照インデックスが０であるものとして第１のデフォルト値を０に規定し、２番目に発生確率の高い参照インデックスが１であるものとして第２のデフォルト値を１に規定する。ただし、これに限定されず、参照インデックスの第１及び第２のデフォルト値を別の値としても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に参照インデックスの第１及び第２のデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。
【０１５７】
続いて、次式により、スケール係数ScaleFactorを、現在のピクチャのＰＯＣから、Ｌ０の参照インデックスrefIdxL0Scaledに対応する参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値に設定する（ステップＳ５３０４）。
ScaleFactor＝現在のピクチャのＰＯＣ−Ｌ０の参照インデックスrefIdxL0Scaledに対応する参照ピクチャのＰＯＣ
【０１５８】
なお、ピクチャ間距離、及びスケール係数ScaleFactorは正の値に限らず、負の値となることもある。
【０１５９】
本実施の形態においては、図２６のステップＳ５２０６において、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合にのみ、スケーリング単予測マージ候補の補充処理を行うことにしているため、スケール係数ScaleFactorを、現在のピクチャのＰＯＣから、Ｌ０の参照インデックスrefIdxL0Scaledに対応する参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値に設定することができ、スケール係数ScaleFactor導出処理を単純化することができる。さらに、スケール係数ScaleFactorは整数となり、演算量の多い除算を伴わない整数倍のスケーリング演算処理を行うことができる。
【０１６０】
続いて、次式によりマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬ０の動きベクトルmvL0にスケール係数ScaleFactorを乗じることでスケーリング演算処理を行い、スケールされた単予測マージ候補のＬ０の動きベクトルmvL0Scaledを導出する（ステップＳ５３０５）。
mvL0Scaled＝ScaleFactor * mergeCandList[i]のＬ０の動きベクトルmvL0
【０１６１】
続いて、フラグpredFlagL0Scaledを１に設定し、フラグpredFlagL1Scaledを０に設定する（ステップＳ５３０６）。
【０１６２】
続いて、スケールされた単予測マージ候補数numScaledCandがmaxNumScaledCandに１を加算する（ステップＳ５３０７）。
【０１６３】
続いて、マージ候補リストmergeCandList内に登録されているすべてのマージ候補と導出されたスケーリング単予測マージ候補を比較する（ステップＳ５３０８）。マージ候補リスト内に導出されたスケーリング単予測マージ候補と同じマージ候補が存在しない場合（ステップＳ５３０９のＹＥＳ）、マージ候補リストmergeCandListの最後に導出されたスケーリング単予測マージ候補を登録し（ステップＳ５３１０）、現在のマージ候補数numMergeCandに１を加算し（ステップＳ５３１１）、図２７のスケーリング単予測マージ候補補充処理を終了する。マージ候補リスト内に導出されたスケーリング単予測マージ候補と同じマージ候補が存在する場合（ステップＳ５３０９のＮＯ）、導出されたスケーリング単予測マージ候補をマージ候補リストに登録せずに、図２７のスケーリング単予測マージ候補補充処理を終了する。
【０１６４】
再び、図２６に戻り、インデックスｉに１を加算する（ステップＳ５２０８）。
【０１６５】
インデックスｉが第一マージ候補数numFirstMergeCandより小さい場合は、ステップＳ５２０４からステップＳ５２０８までの処理を繰り返し（ステップＳ５２０３〜Ｓ５２０９）、条件を満たさない場合に、図２７のスケーリング単予測マージ候補補充処理を終了する。
【０１６６】
次に、図２５のＳ５１０４のスライスタイプslice_typeがＢスライスでのスケーリング双予測マージ候補の補充（導出・登録）方法について詳細に説明する。図２８は図２５のステップＳ５１０４のスライスタイプslice_typeがＢスライスでの整数倍のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。
【０１６７】
まず、マージ候補リストのインデックスｉ、スケールされたマージ候補数を示す変数numScaledCandを０に初期化し、これまでにマージ候補リストに登録されたマージ候補数を示す変数である第一マージ候補数numFirstMergeCandを現在のマージ候補数numMergeCandの値に設定する（ステップＳ５４０１）。続いて、ステップＳ５４０２以降の繰り返し処理を行う。変数ｊを０に初期化する（ステップＳ５４０３）。続いて、ステップＳ５４０４以降の繰り返し処理を行う。現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCandより小さい場合に（ステップＳ５４０５のＹＥＳ）、ステップＳ５４０６以降の処理を行い、現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCand以上の場合に（ステップＳ５４０５のＮＯ）、図２８のスケーリング双予測マージ候補補充処理手順を終了する。次に、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCandより小さい場合に（Ｓ５４０６のＹＥＳ）、ステップＳ５４０７以降の処理を行い、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCand以上の場合に（Ｓ５４０６のＮＯ）、図２８のスケーリング双予測マージ候補補充処理手順を終了する。次に、変数ｊが０の際に（ステップＳ５４０７のＹＥＳ）、ＬＸはＬ０、ＬＹはＬ１とし（ステップＳ５４０８）、変数ｊが１の際に（ステップＳ５４０７のＮＯ）、ＬＸはＬ１、ＬＹはＬ０とする（ステップＳ５４０９）。続いて、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]でＬＸ予測されている場合（ステップＳ５４１０のＹＥＳ）、ステップＳ５４１１以降のスケーリング双予測マージ候補補充処理を行い、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]でＬＸ予測されていない場合（ステップＳ５４１０のＮＯ）、ステップＳ５４１１からステップＳ５４１３のスケーリング双予測マージ候補補充処理を行わずに、ステップＳ５４１４以降の処理を行う。
【０１６８】
次に、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬＸ予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合（ステップＳ５４１１のＹＥＳ）、図２９の第１のスケーリング双予測マージ候補の補充処理を行い（ステップＳ５４１２）、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬＸ予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１でない場合（ステップＳ５４１１のＮＯ）、図３０の第２のスケーリング双予測マージ候補の補充処理を行う（ステップＳ５４１３）。本実施の形態においては、スライスタイプslice_typeがＢスライスの際に、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合に整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行う第１のスケーリング双予測マージ候補の補充処理を行う。さらに、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１でない場合に−１倍のスケール係数ScaleFactorとして、−１倍に対応するフレーム間距離の参照ピクチャを選択し、スケーリング演算処理を行う第２のスケーリング双予測マージ候補の補充処理を行う。このように、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合にのみスケール係数ScaleFactorを算出し、導出されるピクチャ間距離の値が１でない場合は−１倍のスケール係数ScaleFactorとし、−１倍に対応するフレーム間距離の参照ピクチャを選択することで、スケール係数ScaleFactorの導出処理を単純化するとともに、演算量の多い除算を含むスケーリング演算処理を除外し、除算に比べて演算量の少ない乗算のみによるスケーリング演算処理を行う。
【０１６９】
図２９は図２８のステップＳ５４１２の整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行う第１のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。既にマージ候補リストに登録されているマージ候補のＬ０またはＬ１の一方の動きベクトルから整数倍によるスケーリング演算処理によりもう一方の動きベクトルを導出してこれら２つの動きベクトルを利用する双予測マージ候補とする。
【０１７０】
まず、ＬＹの参照インデックスｋを０に初期化する（ステップＳ５５０１）。続いて、ステップＳ５５０２以降の繰り返し処理を行う。マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬＸ予測の参照ピクチャのＰＯＣとＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣが異なる場合（ステップＳ５５０３−１のＹＥＳ）、ステップＳ５５０４−１以降の整数倍によるスケーリング演算処理を行い、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬＸ予測の参照ピクチャのＰＯＣとＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣが同じ場合（ステップＳ５５０３−１のＮＯ）、ステップＳ５５０４−１以降の処理を行わずに、参照インデックスｋに１を加算する（Ｓ５５１３）。参照インデックスｋがＬＹの参照インデックス数numRefIdxLYより小さい場合は（ステップＳ５５０２〜Ｓ５５１４）、再びステップＳ５５０３−１の条件判断を行い（ステップＳ５５０３−１）、参照インデックスｋがＬＹの参照インデックス数numRefIdxLYに達した場合は、図２９の第１のスケーリング双予測マージ候補補充処理を終了する。ただし、図２９の第１のスケーリング双予測マージ候補の補充処理手順においては、ＬＹの参照リストRefPicListLYには同じ参照ピクチャが複数登録されることが無いので、ステップＳ５５０３−１の条件が２回以上ＮＯとなることが無く、ステップＳ５５０２からＳ５５１４までの繰り返し処理が３回以上繰り返されることは無い。
【０１７１】
ステップＳ５５０３−１においてＹＥＳの場合、次式により、スケール係数ScaleFactorを、現在のピクチャのＰＯＣから、ＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣを減算することにより導出されるピクチャ間距離の値に設定する（ステップＳ５５０４−１）。
ScalingFactor＝現在のピクチャのＰＯＣ−ＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣ
【０１７２】
なお、ピクチャ間距離、及びスケール係数ScaleFactorは正の値に限らず、負の値となることもある。
【０１７３】
本実施の形態においては、図２８のステップＳ５４１１において、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬＸ予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合にのみ、第１のスケーリング双予測マージ候補の補充処理を行うことにしているため、スケール係数ScaleFactorを、現在のピクチャのＰＯＣから、ＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣを減算することにより導出されるピクチャ間距離の値に設定することができ、スケール係数ScaleFactor導出処理を単純化することができる。さらに、スケール係数ScaleFactorは整数となり、演算量の多い除算を伴わない整数倍のスケーリング演算処理を行うことができる。
【０１７４】
続いて、スケールされた双予測マージ候補のＬＸの動きベクトルmvLXScaledをマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸの動きベクトルmvLXの値に設定し、次式によりマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸの動きベクトルmvLXにスケール係数ScaleFactorを乗じることでスケーリング演算処理を行い、スケールされた双予測マージ候補のＬＹの動きベクトルmvLYScaledを導出する（ステップＳ５５０５）。
mvLXScaled＝mergeCandList[i]のＬＸの動きベクトルmvLX
mvLYScaled＝ScaleFactor * mergeCandList[i]のＬＸの動きベクトルmvLX
【０１７５】
続いて、スケールされた双予測マージ候補のＬＸの参照インデックスrefIdxLXScaledをマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸの参照インデックスrefIdxLXの値に設定し、スケールされた双予測マージ候補のＬＹの参照インデックスrefIdxLYScaledを参照インデックスｋの値に設定する（ステップＳ５５０６）。
【０１７６】
続いて、フラグpredFlagL0Scaled及びフラグpredFlagL1Scaledを共に１に設定する（ステップＳ５５０７）。
【０１７７】
続いて、スケールされたマージ候補数numScaledCandがmaxNumScaledCandに１を加算する（ステップＳ５５０８）。
【０１７８】
続いて、マージ候補リストmergeCandList内に登録されているすべてのマージ候補と導出されたスケーリング双予測マージ候補を比較する（ステップＳ５５０９）。マージ候補リスト内に導出されたスケーリング双予測マージ候補と同じマージ候補が存在しない場合（ステップＳ５５１０のＹＥＳ）、導出されたスケーリング双予測マージ候補をマージ候補リストに登録し（ステップＳ５５１１）、現在のマージ候補数numMergeCandに１を加算し（ステップＳ５５１２）、図２９のスケーリング双予測マージ候補補充処理を終了する。マージ候補リスト内に導出されたスケーリング双予測マージ候補と同じマージ候補が存在する場合（ステップＳ５５１０のＮＯ）、導出されたスケーリング双予測マージ候補をマージ候補リストに登録せずに、図２９のスケーリング双予測マージ候補補充処理を終了する。
【０１７９】
次に、図２８のステップＳ５４１３の第２のスケーリング双予測マージ候補の補充処理手順を説明する。図３０は図２８のステップＳ５４１３の−１倍のスケール係数ScaleFactorとしてスケーリング演算処理を行う第２のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。既にマージ候補リストに登録されているマージ候補のＬ０またはＬ１の一方の動きベクトルから−１倍によるスケーリング演算処理によりもう一方の動きベクトルを導出してこれら２つの動きベクトルを利用する双予測マージ候補とする。図３０の第２のスケーリング双予測マージ候補の補充処理手順は、図２９の第１のスケーリング双予測マージ候補の補充処理手順とはステップ５５０３−１及びステップ５５０４−１がそれぞれステップＳ５５０３−２及びステップ５５０４−２となっている点が異なり、それ以外のステップの処理は同じである。そこで、図２９の第１のスケーリング双予測マージ候補の補充処理手順と異なるステップＳ５５０３−２及びステップ５５０４−２についてのみ説明する。
【０１８０】
現在のピクチャのＰＯＣからマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸ予測の参照ピクチャのＰＯＣを減算したピクチャ間距離と、現在のピクチャのＰＯＣからＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣを減算したピクチャ間距離の大きさ（絶対値の値）が同じで正負の符号が異なる場合（ステップＳ５５０３−２のＹＥＳ）、ステップＳ５５０４−２以降の−１倍によるスケーリング演算処理を行い、それ以外の場合（ステップＳ５５０３−２のＮＯ）、ステップＳ５５１３以降の処理を行う。
【０１８１】
ステップＳ５５０３−２においてＹＥＳの場合、スケール係数ScaleFactorを−１に設定する（ステップＳ５５０４−２）。
【０１８２】
本実施の形態においては、図３０のステップＳ５５０３−２において、現在のピクチャのＰＯＣからマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸ予測の参照ピクチャのＰＯＣを減算したピクチャ間距離と、現在のピクチャのＰＯＣからＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣを減算したピクチャ間距離の大きさ（絶対値の値）が同じで正負の符号が異なる場合を判別して、その条件を満たすＬＹの参照インデックスｋに決定することとし、スケール係数ScaleFactorを−１に設定することで、スケール係数ScaleFactor導出処理を単純化している。さらに、スケール係数ScaleFactorは−１であるので、演算量の多い除算を伴わないスケーリング演算処理を行うことができる。
【０１８３】
続くステップＳ５５０５以降の処理は図２９と同様である。ただし、ステップＳ５５０５において、スケール係数ScaleFactorは−１であるので、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸの動きベクトルmvLXにスケール係数ScaleFactorである−１を乗算することで、スケールされた双予測マージ候補のＬＹの動きベクトルmvLYScaledを導出する代わりに、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸの動きベクトルmvLXの正負の符号を反転した値にスケールされた双予測マージ候補のＬＹの動きベクトルmvLYScaledを設定してもよい。
【０１８４】
再び図２８に戻り、変数ｊに１を加算する（ステップＳ５４１４）。
変数ｊが２より小さい場合に、ステップＳ５４０５からステップＳ５４１４までの処理を繰り返す（ステップＳ５４０４〜Ｓ５４１５）。
【０１８５】
ステップＳ５４０４〜Ｓ５４１５の繰り返し処理が終了した後、インデックスｉに１を加算する（ステップＳ５４１６）。
【０１８６】
インデックスｉが第一マージ候補数numFirstMergeCandより小さい場合は、ステップＳ５４０３からステップＳ５４１６までの処理を繰り返し（ステップＳ５４０２〜Ｓ５４１７）、条件を満たさない場合に、図２８のスケーリング双予測マージ候補補充処理手順を終了する。
【０１８７】
なお、本実施の形態においては、図２８のスケーリング双予測マージ候補補充処理において、ステップＳ５４１２の第１のスケーリング双予測マージ候補補充処理とＳ５４１３の第２のスケーリング双予測マージ候補補充処理を共に利用するものとして説明したが、いずれか一方のみを利用する構成であってもよい。
【０１８８】
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【０１８９】
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
【０１９０】
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
【０１９１】
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１９２】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１９３】
１０１ 画像メモリ、 １１７ ヘッダ情報設定部、 １０２ 動きベクトル検出部、 １０３ 差分動きベクトル算出部、 １０４ インター予測情報導出部、 １０５ 動き補償予測部、 １０６ イントラ予測部、 １０７ 予測方法決定部、 １０８ 残差信号生成部、 １０９ 直交変換・量子化部、 １１８ 第１符号化ビット列生成部、１１０ 第２符号化ビット列生成部、 １１１ 第３符号化ビット列生成部、 １１２ 多重化部、 １１３ 逆量子化・逆直交変換部、 １１４ 復号画像信号重畳部、 １１５ 符号化情報格納メモリ、 １１６ 復号画像メモリ、 １３０ 空間マージ候補生成部、 １３１ 時間マージ候補の参照インデックス導出部、 １３２ 時間マージ候補生成部、 １３３ マージ候補登録部、 １３４ マージ候補同一判定部、 １３５ マージ候補数制限部、 １３６ マージ候補補充部、 １３７ 符号化情報選択部、 ２０１ 分離部、 ２１２ 第１符号化ビット列復号部、 ２０２ 第２符号化ビット列復号部、 ２０３ 第３符号化ビット列復号部、 ２０４ 動きベクトル算出部、 ２０５ インター予測情報導出部、 ２０６ 動き補償予測部、 ２０７ イントラ予測部、 ２０８ 逆量子化・逆直交変換部、 ２０９ 復号画像信号重畳部、 ２１０ 符号化情報格納メモリ、 ２１１ 復号画像メモリ、 ２３０ 空間マージ候補生成部、 ２３１ 時間マージ候補の参照インデックス導出部、 ２３２ 時間マージ候補生成部、 ２３３ マージ候補登録部、 ２３４ マージ候補同一判定部、 ２３５ マージ候補数制限部、 ２３６ マージ候補補充部、 ２３７ 符号化情報選択部。
【技術分野】
【０００１】
本発明は、動画像復号技術に関し、特に動き補償予測を利用した動画像復号技術に関する。
【背景技術】
【０００２】
動画像の圧縮符号化方式の代表的なものとして、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の規格がある。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では、ピクチャを複数の矩形ブロックに分割し、すでに符号化・復号したピクチャを参照ピクチャとし、参照ピクチャからの動きを予測する動き補償が用いられている。この動き補償により動きを予測する手法をインター予測または動き補償予測と呼ぶ。ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４でのインター予測では、複数のピクチャを参照ピクチャとして用いることができ、これらの複数の参照ピクチャから最も適した参照ピクチャをブロック毎に選択して動き補償を行う。そこで、それぞれの参照ピクチャには参照インデックスが割り当てられ、この参照インデックスにより、参照ピクチャを特定する。なお、Ｂピクチャでは、符号化・復号済みの参照ピクチャから最大で２枚を選択してインター予測に用いることができる。それらの２枚の参照ピクチャからの予測をそれぞれ主に前方向の予測として使われるＬ０予測（リスト０予測）、主に後方向の予測として使われるＬ１予測（リスト１予測）として区別している。
【０００３】
さらに、Ｌ０予測とＬ１予測の２つのインター予測を共に用いる双予測も定義されている。双予測の場合は、Ｌ０予測、Ｌ１予測のそれぞれのインター予測された信号に重み付け係数を掛け算し、オフセット値を加算して重畳し、最終的なインター予測画像信号を生成する。重み付け予測に用いる重み付け係数及びオフセット値はピクチャ単位で各リストの参照ピクチャ毎に代表的な値が設定され、符号化される。インター予測に関する符号化情報には、ブロック毎に、Ｌ０予測とＬ１予測、双予測を区別する予測モード、ブロック毎の参照リスト毎に、参照ピクチャを特定する参照インデックス、ブロックの移動方向・移動量を表す動きベクトルがあり、これらの符号化情報を符号化・復号する。
【０００４】
さらに、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４では、符号化／復号済みのブロックのインター予測情報から符号化／復号対象のブロックのインター予測情報を生成するダイレクトモードが定義されている。ダイレクトモードはインター予測情報の符号化が不要となるので、符号化効率が向上する。
【０００５】
時間方向のインター予測情報の相関を利用する時間ダイレクトモードについて図３１を用いて説明する。Ｌ１の参照インデックスが０に登録されているピクチャを基準ピクチャcolPicとする。基準ピクチャcolPic内で符号化／復号対象ブロックと同じ位置のブロックを基準ブロックとする。
【０００６】
基準ブロックがＬ０予測を用いて符号化されていれば、基準ブロックのＬ０の動きベクトルを基準動きベクトルmvColとし、基準ブロックがＬ０予測を用いて符号化されておらず、Ｌ１予測を用いて符号化されていれば、基準ブロックのＬ１の動きベクトルを基準動きベクトルmvColとする。基準動きベクトルmvColが参照するピクチャを時間ダイレクトモードのＬ０の参照ピクチャとし、基準ピクチャcolPicを時間ダイレクトモードのＬ１の参照ピクチャとする。
【０００７】
基準動きベクトルmvColからスケーリング演算処理により時間ダイレクトモードのＬ０の動きベクトルmvL0とＬ１の動きベクトルmvL1を導出する。
【０００８】
基準ピクチャcolPicのＰＯＣから、時間ダイレクトモードのＬ０の参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｄを導出する。なお、ＰＯＣは符号化されるピクチャに関連付けられる変数とし、ピクチャの出力／表示順序で１ずつ増加する値が設定される。２つのピクチャのＰＯＣの差が時間軸方向でのピクチャ間距離を示す。
ｔｄ＝基準ピクチャcolPicのＰＯＣ−時間ダイレクトモードのＬ０の参照ピクチャのＰＯＣ
【０００９】
符号化／復号対象ピクチャのＰＯＣから時間ダイレクトモードのＬ０の参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｂを導出する。
ｔｂ＝符号化／復号対象ピクチャのＰＯＣ−時間ダイレクトモードのＬ０の参照ピクチャのＰＯＣ
【００１０】
基準動きベクトルmvColからスケーリング演算処理により時間ダイレクトモードのＬ０の動きベクトルmvL0を導出する。
mvL0＝ｔｂ / ｔｄ * mvCol
【００１１】
時間ダイレクトモードのＬ０の動きベクトルmvL0から基準動きベクトルmvColを減算しＬ１の動きベクトルmvL1を導出する。
mvL1＝mvL0 - mvCol
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００４−１２９１９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
従来の方法では、動き補償でブロック毎に参照する動き情報の候補の数が固定されていたため、符号化効率が上がらないことがあった。
【００１４】
このような状況下、本発明者らは、動き補償予測を使用する動画像符号化方式において、符号化情報をより一層圧縮し、全体の符号量を削減する必要性を認識するに至った。
【００１５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、符号化情報の候補を算出することにより、符号化情報の符号量の削減を図って符号化効率を向上させる動画像復号技術を提供することにある。
【課題を解決するための手段】
【００１６】
上記課題を解決するために、本発明のある態様の動画像復号装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出部（２３０、２３１、２３２）と、前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充部（２３６）と、前記候補補充部による補充後の前記インター予測情報の候補から１つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測部（２０６）とを備える。
【００１７】
本発明の別の態様もまた、動画像復号装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部（２３０、２３１、２３２）と、前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部（２３６）と、前記候補補充部による補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部（２０６）とを備える。
【００１８】
本発明のさらに別の態様もまた、動画像復号装置である。この装置は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部（２３０、２３１、２３２）と、前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部（２３６）と、前記候補補充部による補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部（２０６）とを備える。
【００１９】
本発明のさらに別の態様は、動画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出ステップと、前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充ステップと、前記候補補充ステップによる補充後の前記インター予測情報の候補から１つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとを備える。
【００２０】
本発明のさらに別の態様もまた、動画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備える。
【００２１】
本発明のさらに別の態様もまた、動画像復号方法である。この方法は、動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備える。
【００２２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００２３】
本発明によれば、伝送する符号化情報の発生符号量を削減させて、符号化効率を向上させることができる。
【図面の簡単な説明】
【００２４】
【図１】実施の形態に係る動きベクトルの予測方法を実行する動画像符号化装置の構成を示すブロック図である。
【図２】実施の形態に係る動きベクトルの予測方法を実行する動画像復号装置の構成を示すブロック図である。
【図３】ツリーブロック、符号化ブロックを説明する図である。
【図４】予測ブロックの分割モードを説明する図である。
【図５】マージモードでの空間マージ候補の予測ブロックを説明する図である。
【図６】マージモードでの空間マージ候補の予測ブロックを説明する図である。
【図７】マージモードでの空間マージ候補の予測ブロックを説明する図である。
【図８】マージモードでの空間マージ候補の予測ブロックを説明する図である。
【図９】マージモードでの時間マージ候補の予測ブロックを説明する図である。
【図１０】マージモードに関する予測ブロック単位でのビットストリームのシンタックスを説明する図である。
【図１１】マージインデックスのシンタックス要素のエントロピー符号の一例を説明する図である。
【図１２】図１の動画像符号化装置のインター予測情報導出部の詳細な構成を示すブロック図である。
【図１３】図２の動画像復号装置のインター予測情報導出部の詳細な構成を示すブロック図である。
【図１４】マージモードのマージ候補の導出処理及びマージ候補リストの構築処理手順を説明するフローチャートである。
【図１５】マージモードの空間マージ候補導出処理手順を説明するフローチャートである。
【図１６】マージモードの時間マージ候補の参照インデックスの導出処理手順を説明するフローチャートである。
【図１７】マージモードの時間マージ候補導出処理手順を説明するフローチャートである。
【図１８】マージモードの異なる時間のピクチャの導出処理手順を説明するフローチャートである。
【図１９】マージモードの異なる時間のピクチャの予測ブロックの導出処理手順を説明するフローチャートである。
【図２０】マージモードの時間マージ候補導出処理手順を説明するフローチャートである。
【図２１】マージモードの時間マージ候補導出処理手順を説明するフローチャートである。
【図２２】動きベクトルのスケーリング演算処理手順を説明するフローチャートである。
【図２３】動きベクトルのスケーリング演算処理手順を説明するフローチャートである。
【図２４】マージモードのマージ候補リストへのマージ候補の登録処理手順を説明するフローチャートである。
【図２５】マージモードのマージ候補リストへのマージ候補の補充（導出・登録）処理手順を説明するフローチャートである。
【図２６】図２５のスライスタイプslice_typeがＰスライスでの整数倍のスケーリング単予測マージ候補の補充処理手順を説明するフローチャートである。
【図２７】図２６の整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行うスケーリング単予測マージ候補の補充処理手順を説明するフローチャートである。
【図２８】図２５のスライスタイプslice_typeがＢスライスでの整数倍のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。
【図２９】図２８の整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行う第１のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。
【図３０】図２８の−１倍のスケール係数ScaleFactorとしてスケーリング演算処理を行う第２のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。
【図３１】従来のＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４の時間ダイレクトモードを説明する図である。
【発明を実施するための形態】
【００２５】
本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形ブロックに分割し、ピクチャ間でブロック単位に動き補償を行う動画像符号化における符号化効率を向上させる為に、符号化対象ブロックに隣接するブロックまたは符号化済みのピクチャのブロックの動きベクトルから複数の予測動きベクトルを導出し、符号化対象のブロックの動きベクトルと選択された予測動きベクトルとの差分ベクトルを算出して符号化することによって符号量を削減する。あるいは、符号化対象ブロックに隣接するブロックまたは符号化済みのピクチャのブロックの符号化情報を利用することにより、符号化対象ブロックの符号化情報を導出することによって符号量を削減する。また、動画像の復号の場合は、復号対象ブロックに隣接するブロックまたは復号済みのピクチャのブロックの動きベクトルから複数の予測動きベクトルを算出し、符号化ストリームから復号された差分ベクトルと選択された予測動きベクトルとから復号対象のブロックの動きベクトルを算出して復号する。あるいは、復号対象ブロックに隣接するブロックまたは復号済みのピクチャのブロックの符号化情報を利用することにより、復号対象ブロックの符号化情報を導出する。
【００２６】
まず、本実施の形態において使用する技術、及び技術用語を定義する。
【００２７】
（ツリーブロック、符号化ブロックについて）
実施の形態では、ピクチャを１つまたは複数分割したスライスが符号化の基本単位となっており、スライス毎にスライスの種類を示す情報であるスライスタイプが設定される。図３に示されるように、スライス内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、スライス内での符号化／復号対象ブロック（符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。）を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは１つの輝度信号と２つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて、２のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を階層的に４分割（縦横に２分割ずつ）して、ブロックサイズの小さいブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも１つの輝度信号と２つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、２のべき乗のサイズで自由に設定することができる。
【００２８】
図３においては、符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものである。符号化ブロックＢは、ツリーブロックを４分割してできた符号化ブロックである。符号化ブロックＣは、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックである。符号化ブロックＤは、ツリーブロックを４分割してできたブロックをさらに階層的に２度４分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。
【００２９】
（予測モードについて）
符号化ブロック単位で、符号化／復号済み（符号化処理においては符号化した信号を復号したピクチャ、予測ブロック、画像信号等に用い、復号処理においては復号したピクチャ、予測ブロック、画像信号等に用いる。以下、断りのない限り、この意味で用いる。）の周囲の画像信号から予測を行うイントラ予測（MODE_INTRA）、及び符号化／復号済みのピクチャの画像信号から予測を行うインター予測（MODE_INTER）を切り替える。このイントラ予測（MODE_INTRA）とインター予測（MODE_INTER）を識別するモードを予測モード（PredMode）と定義する。予測モード（PredMode）はイントラ予測（MODE_INTRA）、またはインター予測（MODE_INTER）を値として持ち、選択して符号化できる。
【００３０】
（分割モード、予測ブロック、予測ユニットについて）
ピクチャ内をブロックに分割してイントラ予測（MODE_INTRA）及びインター予測（MODE_INTER）を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モード（PartMode）と定義する。さらに、この分割されたブロックを予測ブロックと定義する。図４に示すように、符号化ブロックの輝度信号の分割方法に応じて４種類の分割モード（PartMode）を定義する。
符号化ブロックの輝度信号を分割せず１つの予測ブロックとみなしたもの（図４（ａ））の分割モード（PartMode）を２Ｎ×２Ｎ分割（PART_2Nx2N）、符号化ブロックの輝度信号を水平方向に２分割し、２つの予測ブロックとしたもの（図４（ｂ））の分割モード（PartMode）を２Ｎ×Ｎ分割（PART_2NxN）、符号化ブロックの輝度信号を垂直方向に分割し、符号化ブロックを２つの予測ブロックとしたもの（図４（ｃ））の分割モード（PartMode）をＮ×２Ｎ分割（PART_Nx2N）、符号化ブロックの輝度信号を水平と垂直の均等分割により４つの予測ブロックとしたもの（図４（ｄ））の分割モード（PartMode）をＮ×Ｎ分割（PART_NxN）とそれぞれ定義する。なお、イントラ予測（MODE_INTRA）のＮ×Ｎ分割（PART_NxN）を除き、各分割モード（PartMode）毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。
【００３１】
符号化ブロック内部において、各予測ブロックを特定する為に、０から開始する番号を、符号化順序で、符号化ブロック内部に存在する予測ブロックに対して割り当てる。この番号を分割インデックスPartIdxと定義する。図４の符号化ブロックの各予測ブロックの中に記述された数字は、その予測ブロックの分割インデックスPartIdxを表す。図４（ｂ）に示す２Ｎ×Ｎ分割（PART_2NxN）では上の予測ブロックの分割インデックスPartIdxを０とし、下の予測ブロックの分割インデックスPartIdxを１とする。図４（ｃ）に示すＮ×２Ｎ分割（PART_Nx2N）では左の予測ブロックの分割インデックスPartIdxを０とし、右の予測ブロックの分割インデックスPartIdxを１とする。図４（ｄ）に示すＮ×Ｎ分割（PART_NxN）では、左上の予測ブロックの分割インデックスPartIdxを０とし、右上の予測ブロックの分割インデックスPartIdxを１とし、左下の予測ブロックの分割インデックスPartIdxを２とし、右下の予測ブロックの分割インデックスPartIdxを３とする。
【００３２】
予測モード（PredMode）がインター予測（MODE_INTER）では、最小の符号化ブロックである符号化ブロックＤ以外では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、及びＮ×２Ｎ分割（PART_Nx2N）を定義し、最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、及びＮ×２Ｎ分割（PART_Nx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
【００３３】
（ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置）
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号の画面の一番左上の輝度信号の画素の位置を原点（０，０）とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を（ｘ，ｙ）の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の１画素単位である。輝度信号と色差信号で画像サイズ（画素数）が同じである色差フォーマットが４：４：４の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ（画素数）が異なる色差フォーマットが４：２：０、４：２：２の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の１画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。
【００３４】
（インター予測モード、参照リストについて）
本発明の実施の形態においては、符号化／復号済みのピクチャの画像信号から予測を行うインター予測では、複数の復号済みのピクチャを参照ピクチャとして用いることができる。複数の参照ピクチャから選択された参照ピクチャを特定するため、予測ブロック毎に参照インデックスを付ける。予測ブロック毎に任意の２枚の参照ピクチャを選択してインター予測ことができ、インター予測モードとしてＬ０予測（Pred_L0）、Ｌ１予測（Pred_L1）、双予測（Pred_BI）がある。参照ピクチャはリスト構造のＬ０（参照リスト０）とＬ１（参照リスト１）で管理され、Ｌ０またはＬ１の参照インデックスを指定することにより参照ピクチャを特定することができる。Ｌ０予測（Pred_L0）はＬ０で管理されている参照ピクチャを参照するインター予測であり、Ｌ１予測（Pred_L1）はＬ１で管理されている参照ピクチャを参照するインター予測であり、双予測（Pred_BI）はＬ０予測とＬ１予測が共に行われ、Ｌ０とＬ１のそれぞれで管理されている１つずつの参照ピクチャを参照するインター予測である。スライスタイプがＰスライスのインター予測ではＬ０予測のみが利用でき、スライスタイプがＢスライスのインター予測ではＬ０予測、Ｌ１予測、Ｌ０予測とＬ１予測を平均または重み付け加算する双予測（Pred_BI）が利用できる。以降の処理において出力に添え字ＬＸが付いている定数、変数に関しては、Ｌ０、Ｌ１ごとに処理が行われることを前提とする。
【００３５】
（マージモード、マージ候補）
マージモードとは、符号化／復号対象の予測ブロックの予測モード、参照インデックス、動きベクトル等のインター予測情報を符号化／復号するのではなく、符号化／復号対象の予測ブロックと同一ピクチャ内でその符号化／復号対象の予測ブロックに隣接する予測ブロック、あるいは符号化／復号対象の予測ブロックと時間的に異なる符号化／復号済みのピクチャの符号化／復号対象の予測ブロックと同一位置あるいはその付近（近傍の位置）に存在する予測ブロックのインター予測情報から符号化／復号対象の予測ブロックのインター予測情報を導出することによりインター予測を行うモードである。符号化／復号対象の予測ブロックと同一ピクチャ内でその符号化／復号対象の予測ブロックに隣接する予測ブロック及びその予測ブロックのインター予測情報を空間マージ候補、符号化／復号対象の予測ブロックと時間的に異なる符号化／復号済みのピクチャの符号化／復号対象の予測ブロックと同一位置あるいはその付近（近傍の位置）に存在する予測ブロック及びその予測ブロックのインター予測情報から導出されるインター予測情報を時間マージ候補とする。それぞれのマージ候補はマージ候補リストに登録され、マージインデックスによりインター予測で用いるマージ候補を特定する。
【００３６】
（隣接する予測ブロックについて）
図５、図６、図７及び図８は符号化／復号対象の予測ブロックと同一ピクチャ内でその符号化／復号対象の予測ブロックに隣接する予測ブロックを説明する図である。図９は符号化／復号対象の予測ブロックと時間的に異なる符号化／復号済みのピクチャにおいて、符号化／復号対象の予測ブロックと同一位置あるいはその付近に存在する既に符号化／復号済みの予測ブロックを説明する図である。図５、図６、図７、図８及び図９を用いて符号化／復号対象の予測ブロックの空間方向に隣接する予測ブロック、及び異なる時間の同一位置の予測ブロックについて説明する。
【００３７】
図５に示すように、符号化／復号対象の予測ブロックと同一ピクチャ内でその符号化／復号対象の予測ブロックの左側の辺に隣接する予測ブロックＡ、上側の辺に隣接する予測ブロックＢ、右上の頂点に隣接する予測ブロックＣ、左下の頂点に隣接する予測ブロックＤ、および左上の頂点に隣接する予測ブロックＥを空間方向に隣接する予測ブロックと定義する。
【００３８】
なお、図６に示すように、符号化／復号対象の予測ブロックの左側の辺に隣接する予測ブロックのサイズが符号化／復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては左側の辺に隣接する予測ブロックの中で最も下の予測ブロックＡ１０だけを左側の辺に隣接する予測ブロックＡとする。
【００３９】
同様に、符号化／復号対象の予測ブロックの上側の辺に隣接する予測ブロックのサイズが符号化／復号対象の予測ブロックより小さく、複数存在する場合には、本実施の形態においては左側の辺に隣接する予測ブロックの中で最も右の予測ブロックＢ１０だけを上側の辺に隣接する予測ブロックＢ１とする。
【００４０】
なお、図７に示すように、符号化／復号対象の予測ブロックの左側に隣接する予測ブロックＦのサイズが符号化／復号対象の予測ブロックより大きい場合にも、前記条件に従い、左側に隣接する予測ブロックＦがその符号化／復号対象の予測ブロックの左側の辺に隣接していれば予測ブロックＡとし、符号化／復号対象の予測ブロックの左下の頂点に隣接していれば予測ブロックＤとし、符号化／復号対象の予測ブロックの左上の頂点に隣接していれば予測ブロックＥとする。図６の例では、予測ブロックＡ、予測ブロックＥ及び予測ブロックＥは同一の予測ブロックとなる。
【００４１】
なお、図８に示すように、符号化／復号対象の予測ブロックの上側に隣接する予測ブロックＧのサイズが符号化／復号対象の予測ブロックより大きい場合にも、前記条件に従い、上側に隣接する予測ブロックＧがその符号化／復号対象の予測ブロックの上側の辺に隣接していれば予測ブロックＢとし、符号化／復号対象の予測ブロックの右上の頂点に隣接していれば予測ブロックＣとし、符号化／復号対象の予測ブロックの左上の頂点に隣接していれば予測ブロックＥとする。図８の例では、予測ブロックＢ、予測ブロックＣ及び予測ブロックＥは同一の予測ブロックとなる。
【００４２】
図９に示すように、符号化／復号対象の予測ブロックと時間的に異なる符号化／復号済みのピクチャにおいて、符号化／復号対象の予測ブロックと同一位置あるいはその付近に存在する既に符号化／復号済みの予測ブロックＴ０およびＴ１を異なる時間の同一位置の予測ブロックと定義する。
【００４３】
（ＰＯＣについて）
ＰＯＣは符号化されるピクチャに関連付けられる変数とし、ピクチャの出力／表示順序で１ずつ増加する値が設定される。ＰＯＣの値によって、同じピクチャであるかを判別したり、出力／表示順序でのピクチャ間の前後関係を判別したり、ピクチャ間の距離を導出したりすることができる。例えば、２つのピクチャのＰＯＣが同じ値を持つ場合、同一のピクチャであると判断できる。２つのピクチャのＰＯＣが違う値を持つ場合、ＰＯＣの値が小さいピクチャのほうが、先に出力／表示されるピクチャであると判断でき、２つのピクチャのＰＯＣの差が時間軸方向でのピクチャ間距離を示す。
【００４４】
以下、図面と共に本発明の実施の形態を説明する。図１は本発明の実施の形態に係る動画像符号化装置の構成を示すブロック図である。実施の形態の動画像符号化装置は、画像メモリ１０１、ヘッダ情報設定部１１７、動きベクトル検出部１０２、差分動きベクトル算出部１０３、インター予測情報導出部１０４、動き補償予測部１０５、イントラ予測部１０６、予測方法決定部１０７、残差信号生成部１０８、直交変換・量子化部１０９、第１符号化ビット列生成部１１８、第２符号化ビット列生成部１１０、第３符号化ビット列生成部１１１、多重化部１１２、逆量子化・逆直交変換部１１３、復号画像信号重畳部１１４、符号化情報格納メモリ１１５、および復号画像メモリ１１６を備える。
【００４５】
ヘッダ情報設定部１１７は、シーケンス、ピクチャ、スライス単位の情報を設定する。設定されたシーケンス、ピクチャ、スライス単位の情報はインター予測情報導出部１０４、第１符号化ビット列生成部１１８に供給するとともに、図示していないがすべてのブロックに供給する。
【００４６】
画像メモリ１０１は、撮影／表示時間順に供給された符号化対象のピクチャの画像信号を一時格納する。画像メモリ１０１は、格納された符号化対象のピクチャの画像信号を、所定の画素ブロック単位で、動きベクトル検出部１０２、予測方法決定部１０７、および残差信号生成部１０８に供給する。その際、撮影／表示時間順に格納されたピクチャの画像信号は、符号化順序に並べ替えられて、画素ブロック単位で、画像メモリ１０１から出力される。
【００４７】
動きベクトル検出部１０２は、画像メモリ１０１から供給される画像信号と復号画像メモリ１１６から供給される参照ピクチャ間でブロックマッチング等により各予測ブロックサイズ、各予測モードのそれぞれの動きベクトルを各予測ブロック単位で検出し、検出された動きベクトルを動き補償予測部１０５、差分動きベクトル算出部１０３、および予測方法決定部１０７に供給する。
【００４８】
差分動きベクトル算出部１０３は、符号化情報格納メモリ１１５に記憶されている既に符号化された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を算出して予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から最適な予測動きベクトルを選択し、動きベクトル検出部１０２が検出した動きベクトルと予測動きベクトルから差分動きベクトルを算出し、算出された差分動きベクトルを予測方法決定部１０７に供給する。さらに、予測動きベクトルリストに登録された予測動きベクトルの候補から選択された予測動きベクトルを特定する予測動きベクトルインデックスを予測方法決定部１０７に供給する。
【００４９】
インター予測情報導出部１０４は、マージモードでのマージ候補を導出する。符号化情報格納メモリ１１５に記憶されている既に符号化された予測ブロックの符号化情報を用いて、複数のマージ候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から適したマージ候補を選択し、選択されたマージ候補の各予測ブロックのＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を動き補償予測部１０５に供給するとともに、選択されたマージ候補を特定するマージインデックスを予測方法決定部１０７に供給する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報導出部１０４の詳細な構成と動作は後述する。
【００５０】
動き補償予測部１０５は、動きベクトル検出部１０２およびインター予測情報導出部１０４により検出された動きベクトルを用いて参照ピクチャからインター予測（動き補償予測）により予測画像信号を生成し、予測画像信号を予測方法決定部１０７に供給する。なお、Ｌ０予測、及びＬ１予測では、片方向の予測を行う。双予測（Pred_BI）の場合は、双方向の予測を行い、Ｌ０予測、Ｌ１予測のそれぞれのインター予測された信号に適応的に重み係数を掛け算し、オフセット値を加算して重畳し、最終的な予測画像信号を生成する。
【００５１】
イントラ予測部１０６は、各イントラ予測モードについてイントラ予測を行う。復号画像メモリ１１６に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、複数のイントラ予測モードの中から適したイントラ予測モードを選択し、選択されたイントラ予測モード、及び選択されたイントラ予測モードに応じた予測画像信号を予測方法決定部１０７に供給する。
【００５２】
予測方法決定部１０７は符号化情報及び残差信号の符号量、予測画像信号と画像信号との間の歪量等を評価することにより、複数の予測方法の中から、最適な符号化ブロック単位でインター予測（PRED_INTER）かイントラ予測（PRED_INTRA）かを判別する予測モードPredMode、分割モードPartModeを決定し、インター予測（PRED_INTER）では予測ブロック単位でマージモードか否かを決定し、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、Ｌ０、Ｌ１の参照インデックス、差分動きベクトル等を決定して、決定に応じた符号化情報を第２符号化ビット列生成部１１０に供給する。
【００５３】
さらに、予測方法決定部１０７は、決定された予測方法を示す情報、及び決定された予測方法に応じた動きベクトル等を含む符号化情報を符号化情報格納メモリ１１５に格納する。ここで格納する符号化情報は、各符号化ブロックの予測モードPredMode、分割モードPartMode、各予測ブロックのＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。なお、予測モードPredModeがインター予測（MODE_INTER）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は共に０である。一方、予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は０である。インター予測モードがＬ１予測（Pred_L1）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は１である。インター予測モードが双予測（Pred_BI）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xP][yP]、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xP][yP]は共に１である。予測方法決定部１０７は、決定された予測モードに応じた予測画像信号を残差信号生成部１０８と復号画像信号重畳部１１４に供給する。
【００５４】
残差信号生成部１０８は、符号化する画像信号と予測画像信号との減算を行うことにより残差信号を生成し、直交変換・量子化部１０９に供給する。
直交変換・量子化部１０９は、残差信号に対して量子化パラメータに応じて直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、第３符号化ビット列生成部１１１と逆量子化・逆直交変換部１１３に供給する。さらに、直交変換・量子化部１０９は、量子化パラメータを符号化情報格納メモリ１１５に格納する。
【００５５】
第１符号化ビット列生成部１１８は、ヘッダ情報設定部１１７で設定されたシーケンス、ピクチャ、スライス単位の情報を符号化する。第１の符号化ビット列を生成し、多重化部１１２に供給する。
【００５６】
第２符号化ビット列生成部１１０は、符号化ブロック及び予測ブロック毎に予測方法決定部１０７によって決定された予測方法に応じた符号化情報を符号化する。具体的には、符号化ブロック毎の予測モードPredMode、分割モードPartMode、インター予測（PRED_INTER）の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトルに関する情報等の符号化情報を後述する規定のシンタックス規則に従って符号化して第２の符号化ビット列を生成し、多重化部１１２に供給する。
【００５７】
第３符号化ビット列生成部１１１は、直交変換及び量子化された残差信号を規定のシンタックス規則に従ってエントロピー符号化して第３の符号化ビット列を生成し、多重化部１１２に供給する。多重化部１１２で、第１の符号化ビット列、第２の符号化ビット列および第３の符号化ビット列を規定のシンタックス規則に従って多重化し、ビットストリームを出力する。
【００５８】
逆量子化・逆直交変換部１１３は、直交変換・量子化部１０９から供給された直交変換・量子化された残差信号を逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１１４に供給する。復号画像信号重畳部１１４は、予測方法決定部１０７による決定に応じた予測画像信号と逆量子化・逆直交変換部１１３で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、復号画像メモリ１１６に格納する。なお、復号画像に対して符号化によるブロック歪等の歪を減少させるフィルタリング処理を施して、復号画像メモリ１１６に格納されることもある。
【００５９】
図２は図１の動画像符号化装置に対応した本発明の実施の形態に係る動画像復号装置の構成を示すブロックである。実施の形態の動画像復号装置は、分離部２０１、第１符号化ビット列復号部２１２、第２符号化ビット列復号部２０２、第３符号化ビット列復号部２０３、動きベクトル算出部２０４、インター予測情報導出部２０５、動き補償予測部２０６、イントラ予測部２０７、逆量子化・逆直交変換部２０８、復号画像信号重畳部２０９、符号化情報格納メモリ２１０、および復号画像メモリ２１１を備える。
【００６０】
図２の動画像復号装置の復号処理は、図１の動画像符号化装置の内部に設けられている復号処理に対応するものであるから、図２の動き補償予測部２０６、逆量子化・逆直交変換部２０８、復号画像信号重畳部２０９、符号化情報格納メモリ２１０、および復号画像メモリ２１１の各構成は、図１の動画像符号化装置の動き補償予測部１０５、逆量子化・逆直交変換部１１３、復号画像信号重畳部１１４、符号化情報格納メモリ１１５、および復号画像メモリ１１６の各構成とそれぞれ対応する機能を有する。
【００６１】
分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、分離された符号化ビット列が第１符号化ビット列復号部２１２、第２符号化ビット列復号部２０２、第３符号化ビット列復号部２０３に供給される。
【００６２】
第１符号化ビット列復号部２１２は、供給された符号化ビット列を復号して、シーケンス、ピクチャ、スライス単位の情報を得る。得られたシーケンス、ピクチャ、スライス単位の情報は図示していないがすべてのブロックに供給される。
【００６３】
第２符号化ビット列復号部２０２は、供給された符号化ビット列を復号して、符号化ブロック単位の情報、及び、予測ブロック単位の符号化情報を得る。具体的には、符号化ブロック単位でインター予測（PRED_INTER）かイントラ予測（PRED_INTRA）かを判別する予測モードPredMode、分割モードPartMode、インター予測（PRED_INTER）の場合、マージモードかどうかを判別するフラグ、マージモードの場合はマージインデックス、マージモードでない場合はインター予測モード、予測動きベクトルインデックス、差分動きベクトル等に関する符号化情報を後述する規定のシンタックス規則に従って復号し、符号化情報を動きベクトル算出部２０４、インター予測情報導出部２０５またはイントラ予測部２０７に供給する。
【００６４】
第３符号化ビット列復号部２０３は、供給された符号化ビット列を復号して直交変換・量子化された残差信号を算出し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０８に供給する。
【００６５】
動きベクトル算出部２０４は、復号対象の予測ブロックの予測モードPredModeがインター予測（PRED_INTER）でマージモードでない時に、符号化情報格納メモリ２１０に記憶されている既に復号された画像信号の符号化情報を用いて、複数の予測動きベクトルの候補を導出して後述する予測動きベクトルリストに登録し、予測動きベクトルリストに登録された複数の予測動きベクトルの候補の中から、第２符号化ビット列復号部２０２で復号され供給される予測動きベクトルインデックスに応じた予測動きベクトルを選択し、第２符号化ビット列復号部２０２で復号された差分ベクトルと選択された予測動きベクトルから動きベクトルを算出し、他の符号化情報とともに動き補償予測部２０６に供給するとともに、符号化情報格納メモリ２１０に格納する。ここで供給・格納する予測ブロックの符号化情報は、予測モードPredMode、分割モードPartMode、Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等である。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は０である。インター予測モードがＬ１予測（Pred_L1）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は１である。インター予測モードが双予測（Pred_BI）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1は共に１である。
【００６６】
インター予測情報導出部２０５は、復号対象の予測ブロックの予測モードPredModeがインター予測（PRED_INTER）でマージモードの時に、マージ候補を導出する。符号化情報格納メモリ２１０に記憶されている既に復号された予測ブロックの符号化情報を用いて、複数のマージの候補を導出して後述するマージ候補リストに登録し、マージ候補リストに登録された複数のマージ候補の中から第２符号化ビット列復号部２０２で復号され供給されるマージインデックスに対応したマージ候補を選択し、選択されたマージ候補のＬ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]、Ｌ０、Ｌ１の参照インデックスrefIdxL0[xP][yP], refIdxL1[xP][yP]、Ｌ０、Ｌ１の動きベクトルmvL0[xP][yP], mvL1[xP][yP]等のインター予測情報を動き補償予測部２０６に供給するとともに、符号化情報格納メモリ２１０に格納する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。インター予測情報導出部２０５の詳細な構成と動作は後述する。
【００６７】
動き補償予測部２０６は、動きベクトル算出部２０４またはインター予測情報導出部２０５で算出されたインター予測情報を用いて復号画像メモリ２１１に格納されている参照ピクチャからインター予測（動き補償予測）により予測画像信号を生成し、予測画像信号を復号画像信号重畳部２０９に供給する。なお、双予測（Pred_BI）の場合は、Ｌ０予測、Ｌ１予測の２つの動き補償予測画像信号に適応的に重み係数を掛け算して重畳し、最終的な予測画像信号を生成する。
【００６８】
イントラ予測部２０７は、復号対象の予測ブロックの予測モードPredModeがイントラ予測（PRED_INTRA）の時に、イントラ予測を行う。第１符号化ビット列復号部で復号された符号化情報にはイントラ予測モードが含まれており、イントラ予測モードに応じて、復号画像メモリ２１１に格納されている復号済みの画像信号からイントラ予測により予測画像信号を生成し、予測画像信号を復号画像信号重畳部２０９に供給する。Ｌ０予測、及びＬ１予測を利用するかどうかを示すフラグpredFlagL0[xP][yP], predFlagL1[xP][yP]を共に０に設定し、符号化情報格納メモリ２１０に格納する。ここで、xP、yPはピクチャ内での予測ブロックの左上の画素の位置を示すインデックスである。
【００６９】
逆量子化・逆直交変換部２０８は、第２符号化ビット列復号部２０２で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
【００７０】
復号画像信号重畳部２０９は、動き補償予測部２０６でインター予測された予測画像信号、またはイントラ予測部２０７でイントラ予測された予測画像信号と、逆量子化・逆直交変換部２０８により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、復号画像メモリ２１１に格納する。復号画像メモリ２１１に格納する際には、復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、復号画像メモリ２１１に格納されることもある。
【００７１】
次に、本実施の形態に係る動きベクトルの予測方法を備える動画像符号化装置により符号化され、復号装置により復号される動画像のビットストリームの符号化および復号の共通規則であるシンタックスについて説明する。
【００７２】
図１０は予測ブロック単位に記述されるシンタックス規則を示す。予測ブロックの予測モードPredModeの値がインター予測（MODE_INTER）の場合、マージモードかどうかを示すmerge_flag[x0][y0]が設置される。ここで、x0、y0は輝度信号のピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、merge_flag[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージモードかどうかを示すフラグである。
【００７３】
次に、merge_flag[x0][y0]が１の場合、マージモードであることを示し、参照するマージ候補のリストであるマージリストのインデックスのシンタックス要素merge_idx[x0][y0]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、merge_idx[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのマージインデックスである。マージインデックスをエントロピー符号化／復号する場合、マージ候補数が小さい程、小さい符号量で符号化／復号することができ、少ない処理量で符号化／復号することができる。図１１はマージインデックスのシンタックス要素merge_idx[x0][y0]のエントロピー符号（コード）の一例である。マージ候補数が３の場合、マージインデックスが0, 1, 2の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそれぞれ'０'、'１０'、'１１'となる。マージ候補数が４の場合、マージインデックスが0, 1, 2, 3の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそれぞれ'０'、'１０'、'１１０'、'１１１'となる。マージ候補数が５の場合、マージインデックスが0, 1, 2, 3, 4の時、マージインデックスのシンタックス要素merge_idx[x0][y0]の符号はそれぞれ'０'、'１０'、'１１０'、'１１１０'、'１１１１'となる。つまり、マージ候補数がわっている場合、マージ候補数が少ない方がマージインデックスを小さい符号量で表現可能である。本実施例においては、図１１に示すようにスライス単位で設定されるマージ候補数に基づいて、マージインデックスのそれぞれの値を示す符号を切り替えることで符号量を削減する。
【００７４】
一方、merge_flag[x0][y0]が０の場合、マージモードでないことを示し、スライスタイプがＢスライスの場合、インター予測モードを識別するシンタックス要素inter_pred_flag[x0][y0]が設置され、このシンタックス要素でＬ０予測（Pred_L0）、Ｌ１予測（Pred_L1）、双予測（Pred_BI）を識別する。Ｌ０、Ｌ１ごとに、参照ピクチャを特定するための参照インデックスのシンタックス要素ref_idx_l0[x0][y0]、ref_idx_l1[x0][y0]、動きベクトル検出にて求められた予測ブロックの動きベクトルと予測動きベクトルとの差分である差分動きベクトルのシンタックス要素mvd_l0[x0][y0][j]、mvd_l1[x0][y0][j]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、ref_idx_l0[x0][y0]、mvd_l0[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブロックのＬ０の参照インデックス、及び差分動きベクトルであり、ref_idx_l1[x0][y0]、mvd_l1[x0][y0][j]はそれぞれピクチャ内の(x0, y0)に位置する予測ブロックのＬ１の参照インデックス、及び差分動きベクトルである。また、ｊは差分動きベクトルの成分を表し、ｊが０はｘ成分を、ｊが１はｙ成分を表す。次に、参照する予測動きベクトルの候補のリストである予測動きベクトルリストのインデックスのシンタックス要素mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]が設置される。ここで、x0、y0はピクチャ内での予測ブロックの左上の画素の位置を示すインデックスであり、mvp_idx_l0[x0][y0]、mvp_idx_l1[x0][y0]はピクチャ内の(x0, y0)に位置する予測ブロックのＬ０、Ｌ１の予測動きベクトルインデックスである。本発明の本実施の形態においてはこれらの候補数の値を２と設定する。
【００７５】
実施の形態に係るインター予測情報導出方法は、図１の動画像符号化装置のインター予測情報導出部１０４及び図２の動画像復号装置のインター予測情報導出部２０５において実施される。
【００７６】
実施の形態に係るインター予測情報導出方法は、符号化ブロックを構成する予測ブロック単位に、符号化及び復号の処理の何れでも実施される。予測ブロックの予測モードPredModeがインター予測（MODE_INTER）で、マージモードの場合に、符号化の場合、符号化済みの予測ブロックの予測モード、参照インデックス、動きベクトルを利用して符号化対象の予測ブロックの予測モード、参照インデックス、動きベクトルを導出する際、復号の場合、復号済みの予測ブロックの予測モード、参照インデックス、動きベクトルを利用して復号対象の予測ブロックの予測モード、参照インデックス、動きベクトルを導出する際に実施される。
【００７７】
マージモードは図５、図６、図７及び図８を用いて説明した左に隣接する予測ブロックＡ、上に隣接する予測ブロックＢ、右上に隣接する予測ブロックＣ、左下に隣接する予測ブロックＤ、左上に隣接する予測ブロックＥに加えて、図９を用いて説明した異なる時間の同一位置あるいはその付近に存在する予測ブロックＣｏｌ（Ｔ０、Ｔ１のいずれか）の予測ブロックを候補とする。動画像符号化装置のインター予測情報導出部１０４、及び動画像復号装置のインター予測情報導出部２０５はそれらの候補を符号化側と復号側で共通の規定の順序でマージ候補リストに登録し、動画像符号化装置のインター予測情報導出部１０４がマージ候補リストの要素を特定するマージインデックスを決定して第２符号化ビット列生成部１１０を経由して符号化し、動画像復号装置のインター予測情報導出部２０５は第２符号化ビット列復号部２０２で復号されたマージインデックスが供給されて、そのマージインデックスに応じた予測ブロックをマージ候補リストから選択し、その選択されたマージ候補の予測モード、参照インデックス、動きベクトル等のインター予測情報を用いて、動き補償予測を行う。
【００７８】
スライス単位でマージ候補リストmergeCandListに登録される最終的なマージ候補数finalNumMergeCandを設定する。本実施の形態においては、finalNumMVPCandを５に設定する。
【００７９】
実施の形態に係るインター予測情報導出方法を図面を用いて説明する。図１２は、図１の動画像符号化装置のインター予測情報導出部１０４の詳細な構成を示す図である。また、図１３は、図２の動画像復号装置のインター予測情報導出部２０５の詳細な構成を示す図である。
【００８０】
図１２及び図１３の太枠線で囲まれる部分はそれぞれ、インター予測情報導出部１０４及びインター予測情報導出部２０５を示している。
【００８１】
更に、それらの内部の太点線で囲まれる部分は後述するインター予測情報導出方法の動作部を示しており、実施の形態の動画像符号化装置と対応する動画像復号装置にも同様に設置され、符号化と復号で矛盾しない同一の判定結果を得られるようにしている。
【００８２】
インター予測情報導出部１０４は、空間マージ候補生成部１３０、時間マージ候補の参照インデックス導出部１３１、時間マージ候補生成部１３２、マージ候補登録部１３３、マージ候補同一判定部１３４、マージ候補数制限部１３５、マージ候補補充部１３６、および符号化情報選択部１３７を含む。
【００８３】
インター予測情報導出部２０５は、空間マージ候補生成部２３０、時間マージ候補の参照インデックス導出部２３１、時間マージ候補生成部２３２、マージ候補登録部２３３、マージ候補同一判定部２３４、マージ候補数制限部２３５、マージ候補補充部２３６、および符号化情報選択部２３７を含む。
【００８４】
図１４は本発明の実施の形態による動画像符号化装置のインター予測情報導出部１０４及び動画像復号装置のインター予測情報導出部２０５とで共通する機能を有するマージ候補の導出処理及びマージ候補リストの構築処理の手順を説明するフローチャートである。
以下、諸過程を順を追って説明する。なお、以下の説明においては特に断りのない限りスライスタイプslice_typeがＢスライスの場合について説明するが、Ｐスライスの場合にも適用できる。ただし、スライスタイプslice_typeがＰスライスの場合、インター予測モードとしてＬ０予測（Pred_L0）だけがあり、Ｌ１予測（Pred_L1）、双予測（Pred_BI）がないので、Ｌ１に纏わる処理を省略することができる。
【００８５】
動画像符号化装置のインター予測情報導出部１０４の空間マージ候補生成部１３０及び動画像復号装置のインター予測情報導出部２０５の空間マージ候補生成部２３０では、符号化／復号対象ブロックに隣接するそれぞれの予測ブロックＡ，Ｂ，Ｃ，Ｄ，Ｅからの空間マージ候補Ａ，Ｂ，Ｃ，Ｄ，Ｅを導出する。ここで、Ａ，Ｂ，Ｃ，Ｄ，ＥまたはＣｏｌのいずれかを示すＮを定義する。予測ブロックＮのインター予測情報がマージ候補Ｎとして利用できるかどうかを示すフラグavailableFlagN、Ｌ０の参照インデックスrefIdxL0N及びＬ１の参照インデックスrefIdxL1N、Ｌ０予測が行われるかどうかを示すＬ０予測フラグpredFlagL0NおよびＬ１予測が行われるかどうかを示すＬ１予測フラグpredFlagL1N、Ｌ０の動きベクトルmvL0N、Ｌ１の動きベクトルmvL1Nを出力する（ステップＳ１０１）。
ステップＳ１０１の詳細な処理手順については図１５のフローチャートを用いて後ほど詳細に説明する。
【００８６】
続いて、動画像符号化装置のインター予測情報導出部１０４の時間マージ候補の参照インデックス導出部１３１及び動画像復号装置のインター予測情報導出部２０５の時間マージ候補の参照インデックス導出部２３１では、符号化／復号対象ブロックに隣接する予測ブロックから時間マージ候補の参照インデックスを導出する（ステップＳ１０２）。スライスタイプslice_typeがＰスライスで時間マージ候補のインター予測情報を用いてインター予測を行う場合は、Ｌ０予測（Pred_L0）を行うために、Ｌ０の参照インデックスだけを導出し、スライスタイプslice_typeがＢスライスで時間マージ候補のインター予測情報を用いてインター予測を行う場合は、双予測（Pred_BI）を行うために、Ｌ０とＬ１のそれぞれの参照インデックスを導出する。ステップＳ１０２の詳細な処理手順については図１６のフローチャートを用いて後ほど詳細に説明する。
【００８７】
続いて、動画像符号化装置のインター予測情報導出部１０４の時間マージ候補生成部１３２及び動画像復号装置のインター予測情報導出部２０５の時間マージ候補生成部２３２では、異なる時間のピクチャからの時間マージ候補を導出し、利用できるかどうかを示すフラグavailableFlagCol、Ｌ０予測が行われるかどうかを示すＬ０予測フラグpredFlagL0ColおよびＬ１予測が行われるかどうかを示すＬ１予測フラグpredFlagL1Col、及びＬ０の動きベクトルmvL0N、Ｌ１の動きベクトルmvL1Nを出力する（ステップＳ１０３）。ステップＳ１０３の詳細な処理手順については図１７のフローチャートを用いて後ほど詳細に説明する。
【００８８】
続いて、動画像符号化装置のインター予測情報導出部１０４のマージ候補登録部１３３及び動画像復号装置のインター予測情報導出部２０５のマージ候補登録部２３３では、マージ候補リストmergeCandListを作成し、予測ベクトルの候補Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｃｏｌを追加する（ステップＳ１０４）。ステップＳ１０４の詳細な処理手順については図２４のフローチャートを用いて後ほど詳細に説明する。
【００８９】
続いて、動画像符号化装置のインター予測情報導出部１０４のマージ候補同一判定部１３４及び動画像復号装置のインター予測情報導出部２０５のマージ候補同一判定部２３４では、マージ候補リストmergeCandList内で、マージ候補が同じ参照インデックスの動きベクトルが同じ値を持っている場合に、最も小さい順番のマージ候補を除いてそのマージ候補を取り除く（ステップＳ１０５）。
【００９０】
続いて、動画像符号化装置のインター予測情報導出部１０４のマージ候補数制限部１３５及び動画像復号装置のインター予測情報導出部２０５のマージ候補数制限部２３５では、マージ候補リストmergeCandList内に登録されているマージ候補の数をカウントし、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが、最終マージ候補数finalNumMergeCandより大きい場合（ステップＳ１０６のＹＥＳ）、マージ候補リストmergeCandList内のインデックスｉが(finalNumMergeCand-1)よりも大きいすべてのマージ候補を削除することでマージ候補を最終マージ候補数finalNumMergeCandに制限し、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandの値を最終マージ候補数finalNumMergeCandに更新する（ステップＳ１０７）。
【００９１】
続いて、動画像符号化装置のインター予測情報導出部１０４のマージ候補補充部１３６及び動画像復号装置のインター予測情報導出部２０５のマージ候補補充部２３６では、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが、最終マージ候補数finalNumMergeCandより小さい場合（ステップＳ１０８のＹＥＳ）、マージ候補リストmergeCandList内に登録されているマージ候補数numMergeCandが最終マージ候補数finalNumMergeCandを上限としてマージ候補を補充（導出・登録）する（ステップＳ１０９）。最終マージ候補数finalNumMergeCandを上限として、Ｐスライスでは、すでにマージ候補リストmergeCandList内に登録されているマージ候補を基に動きベクトルを整数倍でスケーリングすることにより導出されるインター予測モードが単予測であるＬ０予測（Pred_L0）のマージ候補を追加する。Ｂスライスでは、すでにマージ候補リストmergeCandList内に登録されているマージ候補を基にの一方の動きベクトルを整数倍でスケーリングすることにより導出されるインター予測モードが双予測（Pred_BI）のマージ候補を追加する。ステップＳ１０９の詳細な処理手順については図２５のフローチャートを用いて後ほど詳細に説明する。
【００９２】
本実施の形態においては、スライス単位で最終候補数finalNumMVPCandを固定した数に設定している。最終候補数finalNumMVPCandを固定する理由は最終候補数finalNumMVPCandがマージ候補リストの構築状態に応じて変動すると、エントロピー復号とマージ候補リストの構築に依存関係が生じ、復号側では予測ブロック毎にマージ候補リストを構築し最終候補数finalNumMVPCandを導出してからでないと、マージインデックスをエントロピー復号することができず、マージインデックスの復号に遅延が生じるとともにエントロピー復号が複雑になるためである。さらに、エントロピー復号が異なる時間のピクチャの予測ブロックから導出されたマージ候補Colを含むマージ候補リストの構築状態に依存すると、別のピクチャの符号化ビット列の復号時にエラーが発生した際に現在のピクチャの符号化ビット列もそのエラーの影響を受けて正常な最終候補数finalNumMVPCandを導出することができず正常にエントロピー復号を続けることができない問題がある。本実施の形態の様にスライス単位で最終候補数finalNumMVPCandを固定した数に設定すると、予測ブロック単位での最終候補数finalNumMVPCandの導出が不要となり、マージ候補リストの構築と独立して、マージインデックスをエントロピー復号することができるとともに、別のピクチャの符号化ビット列の復号時にエラーが発生してもその影響を受けずに現在のピクチャの符号化ビット列のエントロピー復号を続けることができる。
【００９３】
次に、図１４のステップＳ１０１の処理手順である符号化／復号対象ブロックに隣接する予測ブロックＮからのマージ候補Ｎの導出方法について詳細に説明する。図１５は図１４のステップＳ１０１の空間マージ候補導出処理手順を説明するフローチャートである。
Ｎには隣接する予測ブロックの領域を表すＡ（左側）、Ｂ（上側）、Ｃ（右上）、Ｄ（左下）またはＥ（左上）が入る。なお、本実施の形態においては、空間マージ候補数の上限値maxNumSpatialMergeCandを４とし、隣接する５つの予測ブロックから最大４つの空間マージ候補を導出する。
【００９４】
図１５で、変数ＮをＡとして符号化／復号対象の予測ブロックの左側に隣接する予測ブロックＡの符号化情報を調べてマージ候補Ａを導出し、変数ＮをＢとして上側に隣接する予測ブロックＢの符号化情報を調べてマージ候補Ｂを導出し、変数ＮをＣとして右上側に隣接する予測ブロックＣの符号化情報を調べてマージ候補Ｃを導出し、変数ＮをＤとして左下側に隣接する予測ブロックＤの符号化情報を調べてマージ候補Ｄを導出し、変数ＮをＥとして左上側に隣接する予測ブロックＥの符号化情報を調べてマージ候補Ｅを導出する（ステップＳ１１０１〜ステップＳ１１１２）。
【００９５】
まず、これまでに導出できた（availableFlagが１となった）空間マージ候補の合計が空間マージ候補数の上限値maxNumSpatialMergeCandの場合（ステップＳ１１０２のＹＥＳ）、すなわち４つの空間マージ候補が導出された場合、マージ候補ＮのフラグavailableFlagNを０に設定し（ステップＳ１１０５）、マージ候補Ｎの動きベクトルmvL0N, mvL1Nの値を共に（０，０）に設定し（ステップＳ１１０６）、マージ候補ＮのフラグpredFlagL0N、predFlagL1Nの値を共に０に設定し（ステップＳ１１０７）、本空間マージ候補導出処理を終了する。
本実施の形態においては、隣接する予測ブロックから４つのマージ候補を導出するので、既に４つの空間マージ候補が導出された場合はそれ以上の空間マージ候補の導出処理を行う必要がない。
【００９６】
一方、これまでに導出できた（availableFlagが１となった）空間マージ候補の合計が空間マージ候補数の上限値maxNumSpatialMergeCandでない場合（ステップＳ１１０２のＮＯ）、符号化／復号対象の予測ブロックに隣接する予測ブロックＮを特定し、それぞれの予測ブロックＮが利用できる場合は符号化情報格納メモリ１１５または２１０から予測ブロックＮの符号化情報を取得する（ステップＳ１１０３）。
【００９７】
隣接する予測ブロックＮが利用できないか、予測ブロックＮの予測モードPredModeがイントラ予測（MODE_INTRA）である場合（ステップＳ１１０４のＮＯ）、マージ候補ＮのフラグavailableFlagNの値を０に設定し（ステップＳ１１０５）、マージ候補Ｎの動きベクトルmvL0N, mvL1Nの値を共に（０，０）に設定し（ステップＳ１１０６）、マージ候補ＮのフラグpredFlagL0N、predFlagL1Nの値を共に０に設定する（ステップＳ１１０７）。
【００９８】
一方、隣接する予測ブロックＮが利用でき、予測ブロックＮの予測モードPredModeがイントラ予測（MODE_INTRA）でない場合（ステップＳ１１０４のＹＥＳ）、予測ブロックＮのインター予測情報をマージ候補Ｎのインター予測情報とする。マージ候補ＮのフラグavailableFlagNの値を１に設定し（ステップＳ１１０８）、マージ候補Ｎの動きベクトルmvL0N, mvL1Nをそれぞれ予測ブロックＮの動きベクトルmvL0N[xN][yN], mvL1N[xN][yN]と同じ値に設定し（ステップＳ１１０９）、マージ候補Ｎの参照インデックスrefIdxL0N, refIdxL1Nをそれぞれ予測ブロックＮの参照インデックスrefIdxL0[xN][yN], refIdxL1[xN][yN]と同じ値に設定し（ステップＳ１１１０）、マージ候補ＮのフラグpredFlagL0N, predFlagL1Nをそれぞれ予測ブロックＮのフラグpredFlagL0[xN][yN], predFlagL1[xN][yN]に設定する（ステップＳ１１１１）。ここで、xN、yNはピクチャ内での予測ブロックＮの左上の画素の位置を示すインデックスである。
【００９９】
以上のステップＳ１１０２〜ステップＳ１１１１の処理をＮ＝Ａ，Ｂ，Ｃ，Ｄ，Ｅについてそれぞれ繰り返す（ステップＳ１１０１〜ステップＳ１１１２）。
【０１００】
次に、図１４のＳ１０２の時間マージ候補の参照インデックスを導出する方法について詳細に説明する。時間マージ候補のＬ０とＬ１のそれぞれの参照インデックスを導出する。
【０１０１】
本実施の形態においては、空間マージ候補の参照インデックス、即ち符号化／復号対象ブロックに隣接する予測ブロックで利用された参照インデックスを利用して時間マージ候補の参照インデックスを導出する。これは、時間マージ候補が選択される場合において、符号化／復号対象の予測ブロックの参照インデックスは空間マージ候補となる符号化／復号対象ブロックに隣接する予測ブロックの参照インデックスと高い相関を持つからである。特に、本実施の形態においては、符号化／復号対象の予測ブロックの左の辺に隣接する予測ブロックＡ、及び上の辺に隣接する予測ブロックＢの参照インデックスだけを利用する。なぜなら、空間マージ候補でもある隣接する予測ブロックＡ，Ｂ，Ｃ，Ｄ，Ｅの中でも符号化／復号対象の予測ブロックの辺に接している予測ブロックＡ，Ｂは、符号化／復号対象の予測ブロックの頂点のみに接している予測ブロックＣ，Ｄ，Ｅよりも相関が高いからである。相対的に相関の低い予測ブロックＣ，Ｄ，Ｅを利用せずに、利用する予測ブロックを予測ブロックＡ，Ｂに限定することで、時間マージ候補の参照インデックスの導出による符号化効率の改善効果を得るとともに、時間マージ候補の参照インデックス導出処理に関する演算量及びメモリアクセス量を削減する。
【０１０２】
本実施の形態では、予測ブロックＡ、予測ブロックＢが共にＬＸ予測（Ｌ０またはＬ１で、時間マージ候補の参照インデックスの導出対象のリストをＬＸとし、ＬＸを用いた予測をＬＸ予測とする。以下、断りのない限り、この意味で用いる。）を行う場合は予測ブロックＡ、予測ブロックＢのＬＸの参照インデックスの値の小さい方を時間マージ候補のＬＸの参照インデックスの値として採用する。ただし、予測ブロックＡ、予測ブロックＢのいずれか一方しかＬＸ予測を行わない場合はＬＸ予測を行う方の予測ブロックのＬＸの参照インデックスの値を時間マージ候補のＬＸの参照インデックスの値として採用し、予測ブロックＡ、予測ブロックＢが共にＬＸ予測を行わない場合は時間マージ候補のＬＸの参照インデックスの値をデフォルト値の０とする。
【０１０３】
予測ブロックＡ、予測ブロックＢが共にＬＸ予測を行わない場合に時間マージ候補のＬＸの参照インデックスのデフォルト値を０とする理由は、インター予測において参照インデックスの値が０に対応する参照ピクチャが最も選択される確率が高いからである。ただし、これに限定されず、参照インデックスのデフォルト値を０以外の値（１、２など）としても良いし、シーケンス単位、ピクチャ単位、またはスライス単位で符号化ストリーム内に参照インデックスのデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。
【０１０４】
図１６は本実施の形態の図１４のステップＳ１０２の時間マージ候補の参照インデックスの導出処理手順を説明するフローチャートである。まず、符号化情報格納メモリ１１５または２１０から左に隣接する予測ブロックＡの符号化情報、及び予測ブロックＢの符号化情報を取得する（ステップＳ２１０１、ステップＳ２１０２）。
続くステップＳ２１０４からステップＳ２１１０までの処理をＬ０，Ｌ１それぞれにおいて行う（ステップＳ２１０３〜Ｓ２１１１）。なお、時間マージ候補のＬ０の参照インデックスを導出する際にはＬＸはＬ０に設定され、Ｌ１の参照インデックスを導出する際にはＬＸはＬ１に設定される。ただし、スライスタイプslice_typeがＰスライスの場合、インター予測モードとしてＬ０予測（Pred_L0）だけがあり、Ｌ１予測（Pred_L1）、双予測（Pred_BI）がないので、Ｌ１に纏わる処理を省略することができる。
【０１０５】
予測ブロックＡのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xA][yA]と予測ブロックＢのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が共に０でない場合（ステップＳ２１０４のＹＥＳ）、時間マージ候補のＬＸの参照インデックスrefIdxLXColを予測ブロックＡのＬＸの参照インデックスrefIdxLX[xA][yA]と予測ブロックＢのＬＸの参照インデックスrefIdxLX[xB][yB]の値の小さい方と同じ値に設定する（ステップＳ２１０５）。ここで、xA、yAはピクチャ内での予測ブロックＡの左上の画素の位置を示すインデックスである。ここで、xB、yBはピクチャ内での予測ブロックＢの左上の画素の位置を示すインデックスである。
【０１０６】
なお、本実施の形態においては、予測ブロックＮ（Ｎ＝Ａ，Ｂ）において、予測ブロックＮが符号化／復号対象のスライス外で利用できない場合や予測ブロックＮが符号化／復号順序で符号化／復号対象の予測ブロックよりも後のために符号化／復号されておらず利用できない場合や予測ブロックＮの予測モードPredModeがインター予測（MODE_INTER）の場合、Ｌ０予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、予測ブロックＮのＬ１予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に０である。ここで、xN、yNはピクチャ内での予測ブロックＮの左上の画素の位置を示すインデックスである。
予測ブロックＮの予測モードPredModeがインター予測（MODE_INTER）で、インター予測モードがＬ０予測（Pred_L0）の場合、予測ブロックＮのＬ０予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]は１, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は０である。予測ブロックＮのインター予測モードがＬ１予測（Pred_L1）の場合、予測ブロックＮのＬ０予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]は０, Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は１である。予測ブロックＮのインター予測モードが双予測（Pred_BI）の場合、予測ブロックＮのＬ０予測を利用するかどうかを示すフラグpredFlagL0[xN][yN]、Ｌ１予測を利用するかどうかを示すフラグpredFlagL1[xN][yN]は共に１である。
【０１０７】
予測ブロックＡのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が０でなく、予測ブロックＢのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が０である場合（ステップＳ２１０４のＮＯで、ステップＳ２１０６のＹＥＳ）、時間マージ候補のＬＸの参照インデックスrefIdxLXColを予測ブロックＡのＬＸの参照インデックスrefIdxLX[xA][yA]と同じ値に設定する（ステップＳ２１０７）。ここで、xA、yAはピクチャ内での予測ブロックＡの左上の画素の位置を示すインデックスであり、xB、yBはピクチャ内での予測ブロックＢの左上の画素の位置を示すインデックスである。
【０１０８】
予測ブロックＡのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xA][yA]が０であり、予測ブロックＢのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が０でない場合（ステップＳ２１０４のＮＯで、ステップＳ２１０６のＮＯで、ステップＳ２１０８のＹＥＳ）、時間マージ候補のＬＸの参照インデックスrefIdxLXColを予測ブロックＢのＬＸの参照インデックスpredFlagLX[xB][yB]と同じ値に設定する（ステップＳ２１０９）。
【０１０９】
予測ブロックＡのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xA][yA]と予測ブロックＢのＬＸ予測を行うかどうかを示すフラグpredFlagLX[xB][yB]が共に０である場合（ステップＳ２１０４のＮＯで、ステップＳ２１０６のＮＯで、ステップＳ２１０８のＮＯ）、時間マージ候補のＬＸの参照インデックスrefIdxLXColをデフォルト値の０に設定する（ステップＳ２１１０）。
【０１１０】
Ｌ０，Ｌ１それぞれにおいて行うステップＳ２１０４からステップＳ２１１０までの処理を行い（ステップＳ２１０３〜Ｓ２１１１）、本参照インデックス導出処理を終了する。
【０１１１】
次に、図１４のＳ１０３の異なる時間のマージ候補の導出方法について詳細に説明する。図１７は図１４のステップＳ１０３の時間マージ候補導出処理手順を説明するフローチャートである。
【０１１２】
まず、図２６のビットストリームの符号化および復号の共通規則であるシンタックス規則の一例に示すように、スライス単位でスライスヘッダに記述されるスライスタイプslice_typeと時間方向の予測動きベクトルの候補、またはマージ候補を導出する際に用いる異なる時間のピクチャcolPicが処理対象の予測ブロックが含まれるピクチャのＬ０の参照リスト或いはＬ１の参照リストのどちらに登録されている参照ピクチャを使用するかを示すフラグcollocated_from_l0_flagにより、異なる時間のピクチャcolPicを導出する（ステップＳ３１０１）。
【０１１３】
図１８は図１７のステップＳ３１０１の異なる時間のピクチャcolPicの導出処理手順を説明するフローチャートである。スライスタイプslice_typeがＢスライスで、フラグcollocated_from_l0_flagが０の場合（ステップＳ３２０１のＹＥＳ、ステップＳ３２０２のＹＥＳ）、RefPicList1[0]、すなわち参照リストＬ１の参照インデックスが０のピクチャが異なる時間のピクチャcolPicとなる（ステップＳ３２０３）。そうでない場合、すなわちスライスタイプslice_typeがＢスライスで前述のフラグcollocated_from_l0_flagが１の場合（ステップＳ３２０１のＹＥＳ、ステップＳ３２０２のＮＯ）、またはスライスタイプslice_typeがＰスライスの場合（ステップＳ３２０１のＮＯ、Ｓ３２０４のＹＥＳ）、RefPicList0[0]、すなわち参照リストＬ０の参照インデックスが０のピクチャが異なる時間のピクチャcolPicとなる（ステップＳ３２０５）。
【０１１４】
次に、図１７のフローチャートに戻り、異なる時間の予測ブロックcolPUを導出し、符号化情報を取得する（ステップＳ３１０２）。
【０１１５】
図１９は図１７のステップＳ３１０２の異なる時間のピクチャcolPicの予測ブロックcolPUの導出処理手順を説明するフローチャートである。
【０１１６】
まず、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の右下（外側）に位置する予測ブロックを異なる時間の予測ブロックcolPUとする（ステップＳ３３０１）。この予測ブロックは図９の予測ブロックＴ０に相当する。
【０１１７】
次に、異なる時間の予測ブロックcolPUの符号化情報を取得する（ステップＳ３３０２）。異なる時間の予測ブロックcolPUのPredModeが利用できないか、異なる時間の予測ブロックcolPUの予測モードPredModeがイントラ予測（MODE_INTRA）である場合（ステップＳ３３０３のＹＥＳ、ステップＳ３３０４のＹＥＳ）、異なる時間のピクチャcolPic内で処理対象の予測ブロックと同一位置の中央左上に位置する予測ブロックを異なる時間の予測ブロックcolPUとする（ステップＳ３３０５）。この予測ブロックは図９の予測ブロックＴ１に相当する。
【０１１８】
次に、図１７のフローチャートに戻り、符号化／復号対象の予測ブロックと同位置の他ピクチャの予測ブロックから導出されるＬ０の予測動きベクトルmvL0Colと時間マージ候補Ｃｏｌが有効か否かを示すフラグavailableFlagL0Colを導出するとともに（ステップＳ３１０３）、Ｌ１の予測動きベクトルmvL1Colと時間マージ候補Ｃｏｌが有効か否かを示すフラグavailableFlagL1Colを導出する。さらに、フラグavailableFlagL0Col またはフラグavailableFlagL1Colが1の場合に、時間マージ候補Ｃｏｌが有効か否かを示すフラグavailableFlagColを1に設定する。
【０１１９】
図２０は図１７のステップＳ３１０３、ステップＳ３１０４の時間マージ候補のインター予測情報の導出処理手順を説明するフローチャートである。Ｌ０またはＬ１で、時間マージ候補の導出対象のリストをＬＸとし、ＬＸを用いた予測をＬＸ予測とする。以下、断りのない限り、この意味で用いる。時間マージ候補のＬ０の導出処理であるステップＳ３１０３として呼び出される際には、ＬＸがＬ０となり、時間マージ候補のＬ１の導出処理であるステップＳ３１０４として呼び出される際には、ＬＸがＬ１となる。
【０１２０】
異なる時間の予測ブロックcolPUの予測モードPredModeがイントラ予測（MODE_INTRA）か、利用できない場合（ステップＳ３４０１のＮＯ、ステップＳ３４０２のＮＯ）、フラグavailableFlagLXColとフラグpredFlagLXColを共に０とし（ステップＳ３４０３）、動きベクトルmvLXColを（０，０）として（ステップＳ３４０４）、本時間マージ候補のインター予測情報の導出処理を終了する。
【０１２１】
予測ブロックcolPUが利用できて予測モードPredModeがイントラ予測（MODE_INTRA）でない場合（ステップＳ３４０１のＹＥＳ、ステップＳ３４０２のＹＥＳ）、以下の手順でmvColとrefIdxColとavailableFlagColを導出する。
【０１２２】
予測ブロックcolPUのＬ０予測が利用されているかどうかを示すフラグPredFlagL0[xPCol][yPCol]が０の場合（ステップＳ３４０５のＹＥＳ）、予測ブロックcolPUの予測モードはPred_L1であるので、動きベクトルmvColが予測ブロックcolPUのＬ１の動きベクトルであるMvL1[xPCol][yPCol]と同じ値に設定され（ステップＳ３４０６）、参照インデックスrefIdxColがＬ１の参照インデックスRefIdxL1[xPCol][yPCol]と同じ値に設定され（ステップＳ３４０７）、リストListColがＬ１に設定される（ステップＳ３４０８）。ここで、xPCol、yPColは異なる時間のピクチャcolPic内での予測ブロックcolPUの左上の画素の位置を示すインデックスである。
【０１２３】
一方、予測ブロックcolPUのＬ０予測フラグPredFlagL0[xPCol][yPCol]が０でない場合（図２０のステップＳ３４０５のＮＯ）、予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が０かどうかを判定する。予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が０の場合（ステップＳ３４０９のＹＥＳ）、動きベクトルmvColが予測ブロックcolPUのＬ０の動きベクトルであるMvL0[xPCol][yPCol]と同じ値に設定され（ステップＳ３４１０）、参照インデックスrefIdxColがＬ０の参照インデックスRefIdxL0[xPCol][yPCol]と同じ値に設定され（ステップＳ３４１１）、リストListColがＬ０に設定される（ステップＳ３４１２）。
【０１２４】
予測ブロックcolPUのＬ０予測フラグPredFlagL0[xPCol][yPCol]と予測ブロックcolPUのＬ１予測フラグPredFlagL1[xPCol][yPCol]が共に０でない場合（ステップＳ３４０５のＮＯ、ステップＳ３４０９のＮＯ）、予測ブロックcolPUのインター予測モードは双予測（Pred_BI）であるので、Ｌ０、Ｌ１の２つの動きベクトルから、一方を選択する（ステップＳ３４１３）。
【０１２５】
図２１は予測ブロックcolPUのインター予測モードが双予測（Pred_BI）のときの時間マージ候補のインター予測情報の導出処理手順を示すフローチャートである。
【０１２６】
まず、すべての参照リストに登録されているすべてのピクチャのＰＯＣが現在の符号化／復号対象ピクチャのＰＯＣより小さいかどうかを判定し（ステップＳ３５０１）、予測ブロックcolPUのすべての参照リストであるＬ０及びＬ１に登録されているすべてのピクチャのＰＯＣが現在の符号化／復号対象ピクチャのＰＯＣより小さい場合で（ステップＳ３５０１のＹＥＳ）、ＬＸがＬ０、即ち符号化／復号対象ピクチャのＬ０の動きベクトルの予測ベクトル候補を導出している場合（ステップＳ３５０２のＹＥＳ）、予測ブロックcolPUのＬ０の方のインター予測情報を選択し、ＬＸがＬ１、即ち符号化／復号対象ピクチャのＬ１の動きベクトルの予測ベクトル候補を導出している場合（ステップＳ３５０２のＮＯ）、予測ブロックcolPUのＬ１の方のインター予測情報を選択する。一方、予測ブロックcolPUのすべての参照リストＬ０及びＬ１に登録されているピクチャのＰＯＣの少なくとも１つが現在の符号化／復号対象ピクチャのＰＯＣより大きい場合で（ステップＳ３５０１のＮＯ）、フラグcollocated_from_l0_flagが０の場合（ステップＳ３５０３のＹＥＳ）、予測ブロックcolPUのＬ０の方のインター予測情報を選択し、フラグcollocated_from_l0_flagが１の場合（ステップＳ３５０３のＮＯ）、予測ブロックcolPUのＬ１の方のインター予測情報を選択する。
【０１２７】
予測ブロックcolPUのＬ０の方のインター予測情報を選択する場合（ステップのＹＥＳ、ステップＳ３５０３のＹＥＳ）、動きベクトルmvColがMvL0[xPCol][yPCol]と同じ値に設定され（ステップＳ３５０４）、参照インデックスrefIdxColがRefIdxL0[xPCol][yPCol]と同じ値に設定され（ステップＳ３５０５）、リストListColがＬ０に設定される（ステップＳ３５０６）。
【０１２８】
予測ブロックcolPUのＬ１の方のインター予測情報を選択する場合（ステップＳ２５０２のＮＯ、ステップＳ３５０３のＮＯ）、動きベクトルmvColがMvL1[xPCol][yPCol]と同じ値に設定され（ステップＳ３５０７）、参照インデックスrefIdxColがRefIdxL1[xPCol][yPCol]と同じ値に設定され（ステップＳ３５０８）、リストListColがＬ１に設定される（ステップＳ３５０９）。
【０１２９】
図２０に戻り、予測ブロックcolPUからインター予測情報が取得できたらフラグavailableFlagLXColとフラグpredFlagLXColを共に１とする（ステップＳ３４１４）。
【０１３０】
続いて、動きベクトルmvColをスケーリングして時間マージ候補のＬＸの動きベクトルmvLXColとする（ステップＳ３４１５）。この動きベクトルのスケーリング演算処理手順を図２２及び図２３を用いて説明する。
【０１３１】
図２２は図２０のステップＳ３４１５の動きベクトルのスケーリング演算処理手順を示すフローチャートである。
【０１３２】
異なる時間のピクチャcolPicのＰＯＣから、予測ブロックcolPUのリストListColで参照する参照インデックスrefIdxColに対応する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｄを導出する（ステップＳ３６０１）。なお、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣの方が表示順序で前の場合、ピクチャ間距離ｔｄは正の値となり、異なる時間のピクチャcolPicよりも予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣの方が表示順序で後の場合、ピクチャ間距離ｔｄは負の値となる。
ｔｄ＝異なる時間のピクチャcolPicのＰＯＣ−予測ブロックcolPUのリストListColで参照する参照ピクチャのＰＯＣ
【０１３３】
現在の符号化／復号対象ピクチャのＰＯＣから図１４のステップＳ１０２で導出された時間マージ候補のＬＸの参照インデックスに対応する参照ピクチャのＰＯＣを減算してピクチャ間距離ｔｂを導出する（ステップＳ３６０２）。なお、現在の符号化／復号対象ピクチャよりも現在の符号化／復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で前の場合、ピクチャ間距離ｔｂは正の値となり、現在の符号化／復号対象ピクチャのリストＬＸで参照する参照ピクチャの方が表示順序で後の場合、ピクチャ間距離ｔｂは負の値となる。
ｔｂ＝現在の符号化／復号対象ピクチャのＰＯＣ−時間マージ候補のＬＸの参照インデックスに対応する参照ピクチャのＰＯＣ
【０１３４】
続いて、ピクチャ間距離ｔｄとｔｂを比較し（ステップＳ３６０３）、ピクチャ間距離ｔｄとｔｂが等しい場合（ステップＳ３６０３のＹＥＳ）、時間マージ候補のＬＸの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定して（ステップＳ３６０４）、本スケーリング演算処理を終了する。
mvLXCol＝mvCol
【０１３５】
一方、ピクチャ間距離ｔｄとｔｂが等しくない場合（ステップＳ３６０３のＮＯ）、次式によりmvColにスケール係数ｔｂ／ｔｄを乗じることでスケーリング演算処理を行い（ステップＳ３６０５）、スケールされた時間マージ候補のＬＸの動きベクトルmvLXColを得る。
mvLXCol＝ｔｂ / ｔｄ * mvCol
【０１３６】
また、ステップＳ３６０５のスケーリング演算を整数精度の演算で行う場合の例を図２３に示す。図２３のステップＳ３６０６〜ステップＳ３６０８の処理が、図２２のステップＳ３６０５の処理に相当する。
【０１３７】
まず、図２２のフローチャートと同様に、ピクチャ間距離ｔｄとピクチャ間距離ｔｂを導出する（ステップＳ３６０１、ステップＳ３６０２）。
【０１３８】
続いて、ピクチャ間距離ｔｄとｔｂを比較し（ステップＳ３６０３）、ピクチャ間距離ｔｄとｔｂが等しい場合（ステップＳ３６０３のＹＥＳ）、図２２のフローチャートと同様に、時間マージ候補のＬＸの動きベクトルmvLXColを動きベクトルmvColと同じ値に設定して（ステップＳ３６０４）、本スケーリング演算処理を終了する。
mvLXCol＝mvCol
【０１３９】
一方、ピクチャ間距離ｔｄとｔｂが等しくない場合（ステップＳ３６０３のＮＯ）、次式により変数ｔｘを導出する（ステップＳ３６０６）。
tx = ( 16384 + Abs( td / 2 ) ) / td
【０１４０】
続いて、次式によりスケール係数DistScaleFactorを導出する（ステップＳ３６０７）。
DistScaleFactor = ( tb * tx + 32 ) >> 6
【０１４１】
続いて、次式により、スケールされた時間マージ候補のＬＸの動きベクトルmvLXColを得る（ステップＳ３６０８）。
mvLXCol = ClipMv( Sign( DistScaleFactor * mvCol ) * ( (Abs( DistScaleFactor * mvCol ) + 127 ) >> 8 ) )
【０１４２】
次に、図１４のステップＳ１０４のマージ候補をマージ候補リストに登録する方法について詳細に説明する。図２４はマージ候補リストへのマージ候補の登録処理手順を示すフローチャートである。本方式では、優先順位をつけて、優先順位の高いものからマージ候補リストmergeCandListに予測動きベクトルの候補を登録することで、マージインデックスmerge_idx[x0][y0]の符号量を削減する。優先順位の高い要素をマージ候補リストの前方に配置することで、符号量を削減する。例えば、マージ候補リストmergeCandListの要素が５個の場合、マージ候補リストのインデックス０を「０」、インデックス１を「１０」、インデックス２を「１１０」、インデックス３を「１１１０」、インデックス４を「１１１１０」とすることで、インデックス０を表す符号量が１ビットとなり、インデックス０に発生頻度が高いと考えられる要素を登録することで、符号量を削減する。
【０１４３】
マージ候補リストmergeCandListはリスト構造を成し、マージ候補リスト内部の所在を示すマージインデックスと、インデックスに対応するマージ候補を要素として格納する記憶領域が設けられている。マージインデックスの数字は０から開始され、マージ候補リストmergeCandListの記憶領域に、マージ候補が格納される。以降の処理では、マージ候補リストmergeCandListに登録されたマージインデックスｉのマージ候補となる予測ブロックは、mergeCandList[i]で表すこととし、マージ候補リストmergeCandListとは配列表記をすることで区別することとする。
【０１４４】
まず、availableFlagAが１の場合（ステップＳ４１０１のＹＥＳ）、マージ候補リストmergeCandListの先頭にマージ候補Ａを登録する（ステップＳ４１０２）。
続いて、availableFlagBが１の場合（ステップＳ４１０３のＹＥＳ）、マージ候補リストmergeCandListの最後にマージ候補Ｂを登録する（ステップＳ４１０４）。
続いて、availableFlagCが１の場合（ステップＳ４１０５のＹＥＳ）、マージ候補リストmergeCandListの最後にマージ候補Ｃを登録する（ステップＳ４１０６）。
続いて、availableFlagDが１の場合（ステップＳ４１０７のＹＥＳ）、マージ候補リストmergeCandListの最後にマージ候補Ｄを登録する（ステップＳ４１０８）。
続いて、availableFlagEが１の場合（ステップＳ４１０９のＹＥＳ）、マージ候補リストmergeCandListの最後にマージ候補Ｅを登録する（ステップＳ４１１０）。
続いて、availableFlagColが１の場合（ステップＳ４１０９のＹＥＳ）、マージ候補リストmergeCandListの最後にマージ候補Ｃｏｌを登録する（ステップＳ４１１０）。
【０１４５】
なお、マージモードにおいて、左に隣接する予測ブロックＡ及び上に隣接する予測ブロックＢは符号化／復号対象の予測ブロックと一体となる動きになることが多いので、予測ブロックＡ、Ｂのインター予測情報が取得できる場合には、マージ候補Ａ、Ｂを他のマージ候補Ｃ，Ｄ，Ｅ，Ｃｏｌよりも優先的にマージ候補リストの前方に登録する。
【０１４６】
図１２において、動画像符号化装置のインター予測情報導出部１０４の符号化情報選択部１３７では、マージ候補リストに登録されているマージ候補の中から、マージ候補を選択し、マージインデックスおよびマージインデックスに対応するマージ候補のインター予測情報を動き補償予測部１０５に供給する。
【０１４７】
マージ候補の選択においては、予測方法決定部１０７と同様の方法を用いることができる。それぞれのマージ候補ごとに符号化情報及び残差信号の符号量と予測画像信号と画像信号との間の符号化歪を導出し、最も少ない発生符号量と符号化歪となるマージ候補が決定される。それぞれのマージ候補毎にマージモードの符号化情報であるマージインデックスのシンタックス要素merge_idxのエントロピー符号化を行い、符号化情報の符号量を算出する。さらに、それぞれのマージ候補毎に動き補償予測部１０５と同様の方法で各マージ候補のインター予測情報に応じて動き補償した予測画像信号と、画像メモリ１０１から供給される符号化対象の画像信号との予測残差信号を符号化した予測残差信号の符号量を算出する。符号化情報、即ちマージインデックスの符号量と予測残差信号の符号量とが加算された総発生符号量を算出し評価値とする。
【０１４８】
また、こうした予測残差信号を符号化後に、歪量評価の為に復号し、符号化により生じる元の画像信号との誤差を表す比率として符号化歪が算出される。これら総発生符号量と符号化歪とをマージ候補毎に比較することで、少ない発生符号量と符号化歪となる符号化情報が決定される。決定された符号化情報に対応するマージインデックスが、予測ブロック単位の第２のシンタックスパターンで表されるフラグmerge_idxとして符号化される。
尚、ここで算出される発生符号量は、符号化過程をシミュレートしたものであることが望ましいが、簡便に近似したり、概算することも可能である。
【０１４９】
一方、図１３において、動画像符号化装置のインター予測情報導出部２０５の符号化情報選択部２３７では、マージ候補リストに登録されているマージ候補の中から、供給されたマージインデックスに対応するマージ候補を選択し、マージ候補のインター予測情報を動き補償予測部２０６に供給するとともに、符号化情報格納メモリ２１０に格納する。
【０１５０】
次に、図１４のステップＳ１０９のマージ候補を補充（導出・登録）する方法について詳細に説明する。図２５はマージ候補の補充処理手順を示すフローチャートである。設定された最終マージ候補数finalNumMergeCandを上限として、すでにマージ候補リストmergeCandList内に登録されているマージ候補を基に新たなマージ候補を生成し、マージ候補リストに登録することでマージ候補数を補充し、マージ候補の選択の幅を広げて、符号量を削減する。
【０１５１】
スライスタイプslice_typeがＰスライスの場合（ステップＳ５１０１のＹＥＳ）、整数倍のスケール係数を導出し、インター予測モードがＬ０予測（Pred_L0）の整数倍のスケーリング単予測マージ候補を補充（導出・登録）する（ステップＳ５１０３）。スライスタイプslice_typeがＢスライスの場合（ステップＳ５１０１のＮＯ、ステップＳ５１０２のＹＥＳ）、整数倍のスケール係数を導出し、インター予測モードが双予測（Pred_BI）の整数倍のスケーリング双予測マージ候補を補充（導出・登録）する（ステップＳ５１０４）。
【０１５２】
次に、図２５のＳ５１０３のスライスタイプslice_typeがＰスライスでの整数倍のスケーリング単予測マージ候補の補充（導出・登録）方法について詳細に説明する。図２６は図２５のステップＳ５１０３のスライスタイプslice_typeがＰスライスでの整数倍のスケーリング単予測マージ候補の補充処理手順を説明するフローチャートである。
【０１５３】
まず、Ｌ０の参照ピクチャRefPicListL0の参照ピクチャの数が１より大きいかどうかを判別し、参照ピクチャの数が１以下の場合（ステップＳ５２０１のＮＯ）、図２６のスケーリング単予測マージ候補補充処理手順を終了する。一方、参照ピクチャの数が１より大きい場合（ステップＳ５２０１のＹＥＳ）、マージ候補リストのマージインデックスｉ、スケールされたマージ候補数を示す変数numScaledCandを０に初期化し、これまでにマージ候補リストに登録されたマージ候補数を示す変数である第一マージ候補数numFirstMergeCandを現在のマージ候補数numMergeCandの値に設定する（ステップＳ５２０２）。続いて、ステップＳ５２０３以降の繰り返し処理を行う。現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCandより小さい場合に（ステップＳ５２０４のＹＥＳ）、ステップＳ５２０５以降の処理を行い、現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCand以上の場合に（ステップＳ５２０４のＮＯ）、図２６のスケーリング単予測マージ候補補充処理手順を終了する。次に、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCandより小さい場合に（Ｓ５２０５のＹＥＳ）、ステップＳ５２０６以降の処理を行い、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCand以上の場合に（Ｓ５２０５のＮＯ）、図２６のスケーリング単予測マージ候補補充処理手順を終了する。最大スケーリングマージ候補導出処理回数maxNumScaledCandを大きくすると、演算処理回数は大きくなるが、マージ候補の選択の幅が広がり、符号化効率が向上する。例えば、最終マージ候補数finalNumMergeCandの値が５の場合、マージ候補導出処理回数maxNumScaledCandの値は１から３程度に規定するとよい。
【０１５４】
次に、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合（ステップＳ５２０６のＹＥＳ）、図２７のスケーリング単予測マージ候補補充処理を行い（ステップＳ５２０７）、ピクチャ間距離の値が１でない場合（ステップＳ５２０６のＮＯ）、図２７のスケーリング単予測マージ候補補充処理を行わず、ステップＳ５２０８以降の処理を行う。本実施の形態においては、スライスタイプslice_typeがＰスライスの際に、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合にのみ整数倍のスケール係数ScaleFactorを導出するスケーリング単予測マージ候補の補充処理を行う。このように、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合にのみスケーリング単予測マージ候補の補充を行うことで、スケール係数ScaleFactorの導出処理を単純化するとともに、演算量の多い除算を含むスケーリング演算処理を除外し、除算に比べて演算量の少ない乗算のみによるスケーリング演算処理を行う。
【０１５５】
図２７は図２６のステップＳ５２０７の整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行うスケーリング単予測マージ候補の補充処理手順を説明するフローチャートである。既にマージ候補リストに登録されているマージ候補のＬ０の動きベクトルから整数倍によるスケーリング演算処理によりＬ０の動きベクトルを導出して単予測マージ候補とする。
【０１５６】
まず、スケーリング単予測マージ候補のＬ０の参照インデックスrefIdxL0Scaledをマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬ０の参照インデックスrefIdxL0とは別の発生確率の高いインデックス値に設定する（ステップＳ５３０１〜Ｓ５３０３）。マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬ０の参照インデックスrefIdxL0が第１のデフォルト値の０の場合（ステップＳ５３０１のＹＥＳ）、スケーリング単予測マージ候補のＬ０の参照インデックスrefIdxL0Scaledを第２のデフォルト値の１に設定し（ステップＳ５３０２）、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬ０の参照インデックスrefIdxL0が第１のデフォルト値の０でない場合（ステップＳ５３０１のＮＯ）、スケーリング単予測マージ候補のＬ０の参照インデックスrefIdxL0Scaledを第１のデフォルト値の０に設定する（ステップＳ５３０３）。第１のデフォルト値は最も発生確率の高い参照インデックスの値に規定され、第２のデフォルト値は２番目に発生確率の高い参照インデックスの値に規定される。本実施の形態においては、最も発生確率の高い参照インデックスが０であるものとして第１のデフォルト値を０に規定し、２番目に発生確率の高い参照インデックスが１であるものとして第２のデフォルト値を１に規定する。ただし、これに限定されず、参照インデックスの第１及び第２のデフォルト値を別の値としても良いし、シーケンスレベル、ピクチャレベル、またはスライスレベルで符号化ストリーム内に参照インデックスの第１及び第２のデフォルト値を示すシンタックス要素を設置し伝送できるようにして、符号化側で選択できるようにしても良い。
【０１５７】
続いて、次式により、スケール係数ScaleFactorを、現在のピクチャのＰＯＣから、Ｌ０の参照インデックスrefIdxL0Scaledに対応する参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値に設定する（ステップＳ５３０４）。
ScaleFactor＝現在のピクチャのＰＯＣ−Ｌ０の参照インデックスrefIdxL0Scaledに対応する参照ピクチャのＰＯＣ
【０１５８】
なお、ピクチャ間距離、及びスケール係数ScaleFactorは正の値に限らず、負の値となることもある。
【０１５９】
本実施の形態においては、図２６のステップＳ５２０６において、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合にのみ、スケーリング単予測マージ候補の補充処理を行うことにしているため、スケール係数ScaleFactorを、現在のピクチャのＰＯＣから、Ｌ０の参照インデックスrefIdxL0Scaledに対応する参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値に設定することができ、スケール係数ScaleFactor導出処理を単純化することができる。さらに、スケール係数ScaleFactorは整数となり、演算量の多い除算を伴わない整数倍のスケーリング演算処理を行うことができる。
【０１６０】
続いて、次式によりマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬ０の動きベクトルmvL0にスケール係数ScaleFactorを乗じることでスケーリング演算処理を行い、スケールされた単予測マージ候補のＬ０の動きベクトルmvL0Scaledを導出する（ステップＳ５３０５）。
mvL0Scaled＝ScaleFactor * mergeCandList[i]のＬ０の動きベクトルmvL0
【０１６１】
続いて、フラグpredFlagL0Scaledを１に設定し、フラグpredFlagL1Scaledを０に設定する（ステップＳ５３０６）。
【０１６２】
続いて、スケールされた単予測マージ候補数numScaledCandがmaxNumScaledCandに１を加算する（ステップＳ５３０７）。
【０１６３】
続いて、マージ候補リストmergeCandList内に登録されているすべてのマージ候補と導出されたスケーリング単予測マージ候補を比較する（ステップＳ５３０８）。マージ候補リスト内に導出されたスケーリング単予測マージ候補と同じマージ候補が存在しない場合（ステップＳ５３０９のＹＥＳ）、マージ候補リストmergeCandListの最後に導出されたスケーリング単予測マージ候補を登録し（ステップＳ５３１０）、現在のマージ候補数numMergeCandに１を加算し（ステップＳ５３１１）、図２７のスケーリング単予測マージ候補補充処理を終了する。マージ候補リスト内に導出されたスケーリング単予測マージ候補と同じマージ候補が存在する場合（ステップＳ５３０９のＮＯ）、導出されたスケーリング単予測マージ候補をマージ候補リストに登録せずに、図２７のスケーリング単予測マージ候補補充処理を終了する。
【０１６４】
再び、図２６に戻り、インデックスｉに１を加算する（ステップＳ５２０８）。
【０１６５】
インデックスｉが第一マージ候補数numFirstMergeCandより小さい場合は、ステップＳ５２０４からステップＳ５２０８までの処理を繰り返し（ステップＳ５２０３〜Ｓ５２０９）、条件を満たさない場合に、図２７のスケーリング単予測マージ候補補充処理を終了する。
【０１６６】
次に、図２５のＳ５１０４のスライスタイプslice_typeがＢスライスでのスケーリング双予測マージ候補の補充（導出・登録）方法について詳細に説明する。図２８は図２５のステップＳ５１０４のスライスタイプslice_typeがＢスライスでの整数倍のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。
【０１６７】
まず、マージ候補リストのインデックスｉ、スケールされたマージ候補数を示す変数numScaledCandを０に初期化し、これまでにマージ候補リストに登録されたマージ候補数を示す変数である第一マージ候補数numFirstMergeCandを現在のマージ候補数numMergeCandの値に設定する（ステップＳ５４０１）。続いて、ステップＳ５４０２以降の繰り返し処理を行う。変数ｊを０に初期化する（ステップＳ５４０３）。続いて、ステップＳ５４０４以降の繰り返し処理を行う。現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCandより小さい場合に（ステップＳ５４０５のＹＥＳ）、ステップＳ５４０６以降の処理を行い、現在のマージ候補数numMergeCandが最終マージ候補数finalNumMergeCand以上の場合に（ステップＳ５４０５のＮＯ）、図２８のスケーリング双予測マージ候補補充処理手順を終了する。次に、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCandより小さい場合に（Ｓ５４０６のＹＥＳ）、ステップＳ５４０７以降の処理を行い、スケールされたマージ候補数numScaledCandが規定された最大スケーリングマージ候補導出処理回数maxNumScaledCand以上の場合に（Ｓ５４０６のＮＯ）、図２８のスケーリング双予測マージ候補補充処理手順を終了する。次に、変数ｊが０の際に（ステップＳ５４０７のＹＥＳ）、ＬＸはＬ０、ＬＹはＬ１とし（ステップＳ５４０８）、変数ｊが１の際に（ステップＳ５４０７のＮＯ）、ＬＸはＬ１、ＬＹはＬ０とする（ステップＳ５４０９）。続いて、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]でＬＸ予測されている場合（ステップＳ５４１０のＹＥＳ）、ステップＳ５４１１以降のスケーリング双予測マージ候補補充処理を行い、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]でＬＸ予測されていない場合（ステップＳ５４１０のＮＯ）、ステップＳ５４１１からステップＳ５４１３のスケーリング双予測マージ候補補充処理を行わずに、ステップＳ５４１４以降の処理を行う。
【０１６８】
次に、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬＸ予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合（ステップＳ５４１１のＹＥＳ）、図２９の第１のスケーリング双予測マージ候補の補充処理を行い（ステップＳ５４１２）、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬＸ予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１でない場合（ステップＳ５４１１のＮＯ）、図３０の第２のスケーリング双予測マージ候補の補充処理を行う（ステップＳ５４１３）。本実施の形態においては、スライスタイプslice_typeがＢスライスの際に、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合に整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行う第１のスケーリング双予測マージ候補の補充処理を行う。さらに、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１でない場合に−１倍のスケール係数ScaleFactorとして、−１倍に対応するフレーム間距離の参照ピクチャを選択し、スケーリング演算処理を行う第２のスケーリング双予測マージ候補の補充処理を行う。このように、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬ０予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合にのみスケール係数ScaleFactorを算出し、導出されるピクチャ間距離の値が１でない場合は−１倍のスケール係数ScaleFactorとし、−１倍に対応するフレーム間距離の参照ピクチャを選択することで、スケール係数ScaleFactorの導出処理を単純化するとともに、演算量の多い除算を含むスケーリング演算処理を除外し、除算に比べて演算量の少ない乗算のみによるスケーリング演算処理を行う。
【０１６９】
図２９は図２８のステップＳ５４１２の整数倍のスケール係数ScaleFactorを導出してスケーリング演算処理を行う第１のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。既にマージ候補リストに登録されているマージ候補のＬ０またはＬ１の一方の動きベクトルから整数倍によるスケーリング演算処理によりもう一方の動きベクトルを導出してこれら２つの動きベクトルを利用する双予測マージ候補とする。
【０１７０】
まず、ＬＹの参照インデックスｋを０に初期化する（ステップＳ５５０１）。続いて、ステップＳ５５０２以降の繰り返し処理を行う。マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬＸ予測の参照ピクチャのＰＯＣとＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣが異なる場合（ステップＳ５５０３−１のＹＥＳ）、ステップＳ５５０４−１以降の整数倍によるスケーリング演算処理を行い、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬＸ予測の参照ピクチャのＰＯＣとＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣが同じ場合（ステップＳ５５０３−１のＮＯ）、ステップＳ５５０４−１以降の処理を行わずに、参照インデックスｋに１を加算する（Ｓ５５１３）。参照インデックスｋがＬＹの参照インデックス数numRefIdxLYより小さい場合は（ステップＳ５５０２〜Ｓ５５１４）、再びステップＳ５５０３−１の条件判断を行い（ステップＳ５５０３−１）、参照インデックスｋがＬＹの参照インデックス数numRefIdxLYに達した場合は、図２９の第１のスケーリング双予測マージ候補補充処理を終了する。ただし、図２９の第１のスケーリング双予測マージ候補の補充処理手順においては、ＬＹの参照リストRefPicListLYには同じ参照ピクチャが複数登録されることが無いので、ステップＳ５５０３−１の条件が２回以上ＮＯとなることが無く、ステップＳ５５０２からＳ５５１４までの繰り返し処理が３回以上繰り返されることは無い。
【０１７１】
ステップＳ５５０３−１においてＹＥＳの場合、次式により、スケール係数ScaleFactorを、現在のピクチャのＰＯＣから、ＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣを減算することにより導出されるピクチャ間距離の値に設定する（ステップＳ５５０４−１）。
ScalingFactor＝現在のピクチャのＰＯＣ−ＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣ
【０１７２】
なお、ピクチャ間距離、及びスケール係数ScaleFactorは正の値に限らず、負の値となることもある。
【０１７３】
本実施の形態においては、図２８のステップＳ５４１１において、現在のピクチャのＰＯＣから、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]で参照されるＬＸ予測の参照ピクチャのＰＯＣを減算することにより導出されるピクチャ間距離の値が１の場合にのみ、第１のスケーリング双予測マージ候補の補充処理を行うことにしているため、スケール係数ScaleFactorを、現在のピクチャのＰＯＣから、ＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣを減算することにより導出されるピクチャ間距離の値に設定することができ、スケール係数ScaleFactor導出処理を単純化することができる。さらに、スケール係数ScaleFactorは整数となり、演算量の多い除算を伴わない整数倍のスケーリング演算処理を行うことができる。
【０１７４】
続いて、スケールされた双予測マージ候補のＬＸの動きベクトルmvLXScaledをマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸの動きベクトルmvLXの値に設定し、次式によりマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸの動きベクトルmvLXにスケール係数ScaleFactorを乗じることでスケーリング演算処理を行い、スケールされた双予測マージ候補のＬＹの動きベクトルmvLYScaledを導出する（ステップＳ５５０５）。
mvLXScaled＝mergeCandList[i]のＬＸの動きベクトルmvLX
mvLYScaled＝ScaleFactor * mergeCandList[i]のＬＸの動きベクトルmvLX
【０１７５】
続いて、スケールされた双予測マージ候補のＬＸの参照インデックスrefIdxLXScaledをマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸの参照インデックスrefIdxLXの値に設定し、スケールされた双予測マージ候補のＬＹの参照インデックスrefIdxLYScaledを参照インデックスｋの値に設定する（ステップＳ５５０６）。
【０１７６】
続いて、フラグpredFlagL0Scaled及びフラグpredFlagL1Scaledを共に１に設定する（ステップＳ５５０７）。
【０１７７】
続いて、スケールされたマージ候補数numScaledCandがmaxNumScaledCandに１を加算する（ステップＳ５５０８）。
【０１７８】
続いて、マージ候補リストmergeCandList内に登録されているすべてのマージ候補と導出されたスケーリング双予測マージ候補を比較する（ステップＳ５５０９）。マージ候補リスト内に導出されたスケーリング双予測マージ候補と同じマージ候補が存在しない場合（ステップＳ５５１０のＹＥＳ）、導出されたスケーリング双予測マージ候補をマージ候補リストに登録し（ステップＳ５５１１）、現在のマージ候補数numMergeCandに１を加算し（ステップＳ５５１２）、図２９のスケーリング双予測マージ候補補充処理を終了する。マージ候補リスト内に導出されたスケーリング双予測マージ候補と同じマージ候補が存在する場合（ステップＳ５５１０のＮＯ）、導出されたスケーリング双予測マージ候補をマージ候補リストに登録せずに、図２９のスケーリング双予測マージ候補補充処理を終了する。
【０１７９】
次に、図２８のステップＳ５４１３の第２のスケーリング双予測マージ候補の補充処理手順を説明する。図３０は図２８のステップＳ５４１３の−１倍のスケール係数ScaleFactorとしてスケーリング演算処理を行う第２のスケーリング双予測マージ候補の補充処理手順を説明するフローチャートである。既にマージ候補リストに登録されているマージ候補のＬ０またはＬ１の一方の動きベクトルから−１倍によるスケーリング演算処理によりもう一方の動きベクトルを導出してこれら２つの動きベクトルを利用する双予測マージ候補とする。図３０の第２のスケーリング双予測マージ候補の補充処理手順は、図２９の第１のスケーリング双予測マージ候補の補充処理手順とはステップ５５０３−１及びステップ５５０４−１がそれぞれステップＳ５５０３−２及びステップ５５０４−２となっている点が異なり、それ以外のステップの処理は同じである。そこで、図２９の第１のスケーリング双予測マージ候補の補充処理手順と異なるステップＳ５５０３−２及びステップ５５０４−２についてのみ説明する。
【０１８０】
現在のピクチャのＰＯＣからマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸ予測の参照ピクチャのＰＯＣを減算したピクチャ間距離と、現在のピクチャのＰＯＣからＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣを減算したピクチャ間距離の大きさ（絶対値の値）が同じで正負の符号が異なる場合（ステップＳ５５０３−２のＹＥＳ）、ステップＳ５５０４−２以降の−１倍によるスケーリング演算処理を行い、それ以外の場合（ステップＳ５５０３−２のＮＯ）、ステップＳ５５１３以降の処理を行う。
【０１８１】
ステップＳ５５０３−２においてＹＥＳの場合、スケール係数ScaleFactorを−１に設定する（ステップＳ５５０４−２）。
【０１８２】
本実施の形態においては、図３０のステップＳ５５０３−２において、現在のピクチャのＰＯＣからマージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸ予測の参照ピクチャのＰＯＣを減算したピクチャ間距離と、現在のピクチャのＰＯＣからＬＹの参照インデックスｋに対応する参照ピクチャRefPicListLY[k]のＰＯＣを減算したピクチャ間距離の大きさ（絶対値の値）が同じで正負の符号が異なる場合を判別して、その条件を満たすＬＹの参照インデックスｋに決定することとし、スケール係数ScaleFactorを−１に設定することで、スケール係数ScaleFactor導出処理を単純化している。さらに、スケール係数ScaleFactorは−１であるので、演算量の多い除算を伴わないスケーリング演算処理を行うことができる。
【０１８３】
続くステップＳ５５０５以降の処理は図２９と同様である。ただし、ステップＳ５５０５において、スケール係数ScaleFactorは−１であるので、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸの動きベクトルmvLXにスケール係数ScaleFactorである−１を乗算することで、スケールされた双予測マージ候補のＬＹの動きベクトルmvLYScaledを導出する代わりに、マージ候補リストに登録されているインデックスiで示されるマージ候補mergeCandList[i]のＬＸの動きベクトルmvLXの正負の符号を反転した値にスケールされた双予測マージ候補のＬＹの動きベクトルmvLYScaledを設定してもよい。
【０１８４】
再び図２８に戻り、変数ｊに１を加算する（ステップＳ５４１４）。
変数ｊが２より小さい場合に、ステップＳ５４０５からステップＳ５４１４までの処理を繰り返す（ステップＳ５４０４〜Ｓ５４１５）。
【０１８５】
ステップＳ５４０４〜Ｓ５４１５の繰り返し処理が終了した後、インデックスｉに１を加算する（ステップＳ５４１６）。
【０１８６】
インデックスｉが第一マージ候補数numFirstMergeCandより小さい場合は、ステップＳ５４０３からステップＳ５４１６までの処理を繰り返し（ステップＳ５４０２〜Ｓ５４１７）、条件を満たさない場合に、図２８のスケーリング双予測マージ候補補充処理手順を終了する。
【０１８７】
なお、本実施の形態においては、図２８のスケーリング双予測マージ候補補充処理において、ステップＳ５４１２の第１のスケーリング双予測マージ候補補充処理とＳ５４１３の第２のスケーリング双予測マージ候補補充処理を共に利用するものとして説明したが、いずれか一方のみを利用する構成であってもよい。
【０１８８】
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【０１８９】
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
【０１９０】
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
【０１９１】
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１９２】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１９３】
１０１ 画像メモリ、 １１７ ヘッダ情報設定部、 １０２ 動きベクトル検出部、 １０３ 差分動きベクトル算出部、 １０４ インター予測情報導出部、 １０５ 動き補償予測部、 １０６ イントラ予測部、 １０７ 予測方法決定部、 １０８ 残差信号生成部、 １０９ 直交変換・量子化部、 １１８ 第１符号化ビット列生成部、１１０ 第２符号化ビット列生成部、 １１１ 第３符号化ビット列生成部、 １１２ 多重化部、 １１３ 逆量子化・逆直交変換部、 １１４ 復号画像信号重畳部、 １１５ 符号化情報格納メモリ、 １１６ 復号画像メモリ、 １３０ 空間マージ候補生成部、 １３１ 時間マージ候補の参照インデックス導出部、 １３２ 時間マージ候補生成部、 １３３ マージ候補登録部、 １３４ マージ候補同一判定部、 １３５ マージ候補数制限部、 １３６ マージ候補補充部、 １３７ 符号化情報選択部、 ２０１ 分離部、 ２１２ 第１符号化ビット列復号部、 ２０２ 第２符号化ビット列復号部、 ２０３ 第３符号化ビット列復号部、 ２０４ 動きベクトル算出部、 ２０５ インター予測情報導出部、 ２０６ 動き補償予測部、 ２０７ イントラ予測部、 ２０８ 逆量子化・逆直交変換部、 ２０９ 復号画像信号重畳部、 ２１０ 符号化情報格納メモリ、 ２１１ 復号画像メモリ、 ２３０ 空間マージ候補生成部、 ２３１ 時間マージ候補の参照インデックス導出部、 ２３２ 時間マージ候補生成部、 ２３３ マージ候補登録部、 ２３４ マージ候補同一判定部、 ２３５ マージ候補数制限部、 ２３６ マージ候補補充部、 ２３７ 符号化情報選択部。
【特許請求の範囲】
【請求項１】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、
復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出部と、
前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充部と、
前記候補補充部による補充後の前記インター予測情報の候補から１つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測部とを備えることを特徴とする動画像復号装置。
【請求項２】
前記候補補充部は、
前記ピクチャ間距離が１であるインター予測情報の候補における参照ピクチャの参照インデックスが第１の規定値である場合、前記新たなインター予測情報の候補における参照ピクチャの参照インデックスを第２の規定値に設定し、
前記ピクチャ間距離が１であるインター予測情報の候補における参照ピクチャの参照インデックスが第１の規定値でない場合、前記新たなインター予測情報の候補における参照ピクチャの参照インデックスを第１の規定値に設定することを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部と、
前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部と、
前記候補補充部による補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部とを備えることを特徴とする動画像復号装置。
【請求項４】
前記候補補充部は、
前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものを第２予測の動きベクトルとする場合は、第２予測の参照ピクチャの参照インデックスを０から順番に調べて、整数倍にスケーリング演算された第２予測の動きベクトルに合った参照インデックスに設定し、
前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとする場合は、第１予測の参照ピクチャの参照インデックスを０から順番に調べて、整数倍にスケーリング演算された第１予測の動きベクトルに合った参照インデックスに設定することを特徴とする請求項３に記載の動画像復号装置。
【請求項５】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部と、
前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部と、
前記候補補充部による補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部とを備えることを特徴とする動画像復号装置。
【請求項６】
前記候補補充部は、
前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものを第２予測の動きベクトルとする場合は、第２予測の参照ピクチャの参照インデックスを０から順番に調べて、−１倍にスケーリング演算された第２予測の動きベクトルに合った参照インデックスに設定し、
前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとする場合は、第１予測の参照ピクチャの参照インデックスを０から順番に調べて、−１倍にスケーリング演算された第１予測の動きベクトルに合った参照インデックスに設定することを特徴とする請求項５に記載の動画像復号装置。
【請求項７】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、
復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記インター予測情報の候補から１つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとを備えることを特徴とする動画像復号方法。
【請求項８】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備えることを特徴とする動画像復号方法。
【請求項９】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備えることを特徴とする動画像復号方法。
【請求項１０】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号プログラムであって、
復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記インター予測情報の候補から１つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。
【請求項１１】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号プログラムであって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。
【請求項１２】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号プログラムであって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。
【請求項１】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、
復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出部と、
前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充部と、
前記候補補充部による補充後の前記インター予測情報の候補から１つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測部とを備えることを特徴とする動画像復号装置。
【請求項２】
前記候補補充部は、
前記ピクチャ間距離が１であるインター予測情報の候補における参照ピクチャの参照インデックスが第１の規定値である場合、前記新たなインター予測情報の候補における参照ピクチャの参照インデックスを第２の規定値に設定し、
前記ピクチャ間距離が１であるインター予測情報の候補における参照ピクチャの参照インデックスが第１の規定値でない場合、前記新たなインター予測情報の候補における参照ピクチャの参照インデックスを第１の規定値に設定することを特徴とする請求項１に記載の動画像復号装置。
【請求項３】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部と、
前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部と、
前記候補補充部による補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部とを備えることを特徴とする動画像復号装置。
【請求項４】
前記候補補充部は、
前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものを第２予測の動きベクトルとする場合は、第２予測の参照ピクチャの参照インデックスを０から順番に調べて、整数倍にスケーリング演算された第２予測の動きベクトルに合った参照インデックスに設定し、
前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとする場合は、第１予測の参照ピクチャの参照インデックスを０から順番に調べて、整数倍にスケーリング演算された第１予測の動きベクトルに合った参照インデックスに設定することを特徴とする請求項３に記載の動画像復号装置。
【請求項５】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号装置であって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出部と、
前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充部と、
前記候補補充部による補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測部とを備えることを特徴とする動画像復号装置。
【請求項６】
前記候補補充部は、
前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものを第２予測の動きベクトルとする場合は、第２予測の参照ピクチャの参照インデックスを０から順番に調べて、−１倍にスケーリング演算された第２予測の動きベクトルに合った参照インデックスに設定し、
前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとする場合は、第１予測の参照ピクチャの参照インデックスを０から順番に調べて、−１倍にスケーリング演算された第１予測の動きベクトルに合った参照インデックスに設定することを特徴とする請求項５に記載の動画像復号装置。
【請求項７】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、
復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記インター予測情報の候補から１つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとを備えることを特徴とする動画像復号方法。
【請求項８】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備えることを特徴とする動画像復号方法。
【請求項９】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号方法であって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとを備えることを特徴とする動画像復号方法。
【請求項１０】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号プログラムであって、
復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含むインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと前記参照ピクチャのピクチャ間距離が１であるインター予測情報の候補の動きベクトルを整数倍することによりスケーリング演算して、新たなインター予測情報の候補を生成し、インター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記インター予測情報の候補から１つのインター予測情報の候補を選択して、その選択したインター予測情報の候補により前記復号対象の予測ブロックのインター予測を行う動き補償予測ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。
【請求項１１】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号プログラムであって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第１予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第１予測の動きベクトルを整数倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと前記第２予測の前記参照ピクチャのピクチャ間距離が１である双予測のインター予測情報の候補において、前記第２予測の動きベクトルを整数倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。
【請求項１２】
動画像の各ピクチャを分割したブロック単位で動き補償予測を用いて前記動画像が符号化された符号化ビット列を復号する動画像復号プログラムであって、
Ｂスライスにおける復号対象の予測ブロックに隣接する予測ブロック、または復号対象の予測ブロックと時間的に異なる復号済みのピクチャにおける前記復号対象の予測ブロックと同一位置あるいはその付近に存在する予測ブロックから、動きベクトルの情報と参照ピクチャの情報とを含む双予測のインター予測情報の候補を導出する予測情報導出ステップと、
前記復号対象の予測ブロックを含むピクチャと第１予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第１予測の動きベクトルを−１倍にスケーリング演算したものをもう一方の第２予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成するか、あるいは、前記復号対象の予測ブロックを含むピクチャと第２予測の参照ピクチャのピクチャ間距離が１以外の双予測のインター予測情報の候補において、前記第２予測の動きベクトルを−１倍にスケーリング演算したものを第１予測の動きベクトルとすることにより、新たな双予測のインター予測情報の候補を生成し、双予測のインター予測情報の候補として補充する候補補充ステップと、
前記候補補充ステップによる補充後の前記双予測のインター予測情報の候補から１つの双予測のインター予測情報の候補を選択して、その選択した双予測のインター予測情報の候補により前記復号対象の予測ブロックの双予測のインター予測を行う動き補償予測ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【公開番号】特開２０１３−１０２２６０（Ｐ２０１３−１０２２６０Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１１−２４３４１０（Ｐ２０１１−２４３４１０）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]