動画像復号化装置および動画像復号化方法
【課題】動画像復号化装置において、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化した符号列を復号化する場合に、画面間予測復号化において、輝度成分の動きベクトルから色差成分の動きベクトルを正確に算出することを可能とする。
【解決手段】本発明に係る動画像復号化装置２００は、色差サンプル位置情報解析部２０６において、復号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報を取得することで、画面間予測復号化において輝度成分の動きベクトルから色差成分の動きベクトルを算出する際に、前記色差サンプル位置情報に基づいた補正を行うことで正確な動きベクトルを算出することを可能とする。
【解決手段】本発明に係る動画像復号化装置２００は、色差サンプル位置情報解析部２０６において、復号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報を取得することで、画面間予測復号化において輝度成分の動きベクトルから色差成分の動きベクトルを算出する際に、前記色差サンプル位置情報に基づいた補正を行うことで正確な動きベクトルを算出することを可能とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログレッシブ形式の動画像信号およびインターレース形式の動画像信号を入力として符号化されたものを復号化する動画像復号化装置および動画像復号化方法に関するものである。
【背景技術】
【０００２】
近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣと呼ばれる次世代画像符号化方式の標準化活動が進んでいる。
【０００３】
このような動画像の符号化では、符号化対象ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ブロックとの差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像の生成を行い、得られた予測画像と符号化対象ブロックとの差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。
【０００４】
また復号化では、前記符号化処理によって生成された符号列を解析して予測情報および残差係数情報を取得し、予測情報を用いて画面間予測復号化および画面内予測復号化を行って予測画像を生成し、残差係数情報に対して逆量子化および逆直交変換を行って差分画像を生成し、得られた予測画像と差分画像を加算することで最終的な出力画像を復元する。
【０００５】
このとき符号化および復号化の対象となる動画像の形式として、プログレッシブ形式とインターレース形式との２種類の形式がある。
【０００６】
プログレッシブ形式は、１画面全ての画素を同時に撮像し１枚のフレームとする形式である。一方、インターレース形式は、１画面の画素のうち偶数行目の画素のみを撮像したトップフィールドと奇数行目の画素のみを撮像したボトムフィールドとの２枚のフィールドで１枚のフレームを構成する形式である。
【０００７】
プログレッシブ形式の動画像に対しては、図３にあるように１枚のフレームを１枚のピクチャとして符号化する。例えばＦｒｍ３はＰ＿Ｆｒｍ１として符号化されている。画面間予測では符号化順で先に符号化が完了しているピクチャのみを参照することができる。そこで、図３にあるように表示順で入力されたピクチャを符号化順に並び替えることによって、画面間予測における参照ピクチャの参照をより効果的に行うことが可能となる。例えば、Ｐ＿Ｆｒｍ１はＩ＿Ｆｒｍ０のみが参照可能であり、Ｂ＿Ｆｒｍ２はＩ＿Ｆｒｍ０とＰ＿Ｆｒｍ１が参照可能である。これを表示順に置き換えて考えると、Ｐ＿Ｆｒｍ１はＦｒｍ３に相当するので前方向にあるＦｒｍ０のみが参照可能であるが、Ｂ＿Ｆｒｍ２はＦｒｍ１に相当するので前方向にあるＦｒｍ０だけでなく、後方向にあるＦｒｍ３も同時に参照可能となる。なお、Ｉ＿Ｆｒｍ０は他のピクチャを参照することなく画面内予測のみを行うピクチャである。
【０００８】
一方、インターレース形式の動画像に対しては、最も簡単な方法として図４にあるように１枚のフィールドを１枚のピクチャとして符号化する方法がある。例えばＦｌｄＴ６とＦｌｄＢ７はそれぞれＰ＿ＦｌｄＴ２とＰ＿ＦｌｄＢ３のように個別のフィールド構造のピクチャとして符号化されている。このように表示順で入力されたピクチャを符号化順に並び替えることによって、プログレッシブ形式の符号化と同様に画面間予測における参照ピクチャの参照をより効果的に行うことが可能となる。
【０００９】
図３および図４で説明した各ピクチャは輝度成分の画素と色差成分の画素とから構成されている。図５は、輝度成分と色差成分のそれぞれを画素値として取得するときのサンプル位置関係を説明するための図である。図中の×記号は輝度成分のサンプル位置、○記号は色差成分のサンプル位置を示している。
【００１０】
一般に人間の目は色差成分の変化に対して鈍感である。そのため、１つのピクチャにおけるデータ量を削減するために色差成分を間引く方法が用いられる。間引き方法はいくつかの種類がある。たとえば、図５（ａ）は水平垂直方向ともに色差成分を１／２に間引く方法を示す。これは、４：２：０サンプリングと呼ばれる。この４：２：０サンプリングの場合、色差成分の垂直方向のサンプル位置は輝度成分のサンプル位置とは一致しない。つまり、色差成分は、輝度成分の中間の位置にサンプルされる。
【００１１】
また、図５（ｂ）は水平方向のみ１／２に間引く方法を示す。これは、４：２：２サンプリングと呼ばれる。さらに、図５（ｃ）は間引きを行わない場合を示す。これは、４：４：４サンプリングと呼ばれる。
【００１２】
図６は、水平垂直方向ともに１／２に間引く場合のプログレッシブ形式におけるフレーム構造とインターレース形式におけるフィールド構造とでのサンプル位置関係を示している。前述のとおり、フレーム構造では、全てのサンプル位置の画素を同時に撮像し１枚のフレームとするが、フィールド構造では、輝度成分と色差成分のそれぞれに対して、偶数行目の画素のみを撮像したトップフィールドと奇数行目の画素のみを撮像したボトムフィールドとの２枚のフィールドに分けられる。このとき、色差成分の垂直方向のサンプル位置は輝度成分のサンプル位置に対し、トップフィールドでは偶数行目に対して下方向に１／４画素ずらした位置、ボトムフィールドでは奇数行目に対して上方向に１／４画素ずらした位置となっている。
【００１３】
次に、現在規格化が行われているＨＥＶＣの画面間予測符号化について図７を用いて詳しく説明する。画面間予測符号化は、既に符号化が完了しているピクチャ（以下、参照ピクチャと称す）から生成される予測画像を用いて符号化する方式である。予測画像を生成する際、符号化対象ブロックと最も画素値の構成が近くなるようなブロック領域を参照ピクチャから探索して予測画像とする。これにより、符号化対象ブロックと予測画像との差分画像の情報量を最小化できる。このとき、符号化対象ブロックの画素位置に対する予測画像として探索されたブロック領域の画素位置の移動量を動きベクトル（ＭＶ）と呼ぶ。
【００１４】
符号列に記述される動きベクトルは、輝度成分の画素位置の移動量に関する情報のみである。そのため、色差成分の予測画像を生成するための動きベクトルは、前記輝度成分の動きベクトルの値を間引きの割合に応じてスケーリングすることで算出する。図７において、色差成分は輝度成分に対して水平垂直方向ともに１／２に間引かれている。よって、色差成分の動きベクトルの値は、輝度成分の動きベクトルの値（−４、−６）に対して水平垂直方向ともに１／２にスケーリングした値（−２、−３）が適用される（非特許文献１）。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】JCTVC D503 : Working Draft 2 of High-Efficiency Video Coding (03/2011)
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら上記従来のＨＥＶＣの画面間予測符号化の構成では、図３のようにインターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合、輝度成分の動きベクトルの値から色差成分の動きベクトルの値を適切に求めることができなくなる。
【００１７】
図８は、符号化対象ピクチャがボトムフィールドで、参照ピクチャがトップフィールドである場合を示す。このとき、輝度成分と色差成分の動きベクトルの関係は図８に示すようになる。なお、図８では説明の簡略化のため、トップフィールドの輝度成分の垂直方向の位置と、ボトムフィールドの輝度成分の垂直方向の位置とが同じ位置になるように並べて記載している。このとき、色差成分の垂直方向のサンプル位置は、図６を用いて説明したように、輝度成分のサンプル位置に対し、トップフィールドでは偶数行目に対して下方向に１／４画素ずらした位置、ボトムフィールドでは奇数行目に対して上方向に１／４画素ずらした位置、言い換えると偶数行目に対して下方向に３／４画素ずらした位置となっている。
【００１８】
図８の例では、輝度成分の動きベクトルの値が（−６、２）であるため、上記従来のＨＥＶＣの画面間予測符号化の構成に従うと、水平垂直方向ともに１／２にスケーリングした値である（−３、１）が色差成分の動きベクトルとして算出される。具体的には、輝度成分に関しては、符号化対象ピクチャにおける注目ブロックの左上の画素の位置は（６、２）であり、参照ピクチャにおける動きベクトルによって選択されたブロックの左上の画素の位置は（０、４）となっているのに対し、色差成分に関しては、符号化対象ピクチャにおける注目ブロックの左上の画素の位置は（３、１）であり、参照ピクチャにおける動きベクトルによって選択されたブロックの左上の画素の位置は（０、２）となっている。しかし、輝度成分のサンプル位置と色差成分のサンプル位置とを同じスケールで対応付けて考えると、水平垂直方向ともにそのまま１／２にスケーリングした値を用いると、輝度成分の動きベクトルと色差成分の動きベクトルとが同じ方向を示していないことになる。つまり、図８のように２つの動きベクトルの矢印が平行関係でなくなってしまっている。
【００１９】
本発明は上記課題を解決するものであり、ＨＥＶＣを用いた動画像復号化装置において、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして復号化する場合でも、画面間予測符号化において、輝度成分の動きベクトルから色差成分の動きベクトルを正確に算出することを可能とする。
【課題を解決するための手段】
【００２０】
本発明の動画像符号化装置は、インターレース形式またはプログレッシブ形式の動画像形式を有し、輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化して得られる符号列を、ピクチャ単位で復号化する動画像復号化装置であって、前記符号列のヘッダ領域を解析し、前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報および、前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて生成されたピクチャ内における前記色差成分のサンプル位置に関するサンプル位置情報を取得するサンプル位置情報解析部と、前記符号列のヘッダ領域を解析し、前記輝度成分を符号化処理単位であるブロック毎に符号化する際に適用した動きベクトルを取得し、さらに前記色差成分のサンプル位置情報に基づいて前記輝度成分の動きベクトルを補正することにより、前記ブロックにおける前記色差成分を符号化する際に適用した動きベクトルを算出する動きベクトル算出部と、前記算出した輝度成分の動きベクトルおよび前記色差成分の動きベクトルを用いて、前記符号列を復号化単位であるブロック毎に復号化し、前記ピクチャを取得するピクチャデータ復号化部と、前記表示制御情報がプログレッシブ形式を示す場合、前記取得したピクチャを１枚のフレームと設定し前記フレームを表示順に１枚ずつ出力し、一方前記表示制御情報がインターレース形式を示す場合、前記取得したピクチャを１枚のフィールドと設定し、対になるトップフィールドとボトムフィールドを取得した時点で表示順に出力するピクチャメモリと、を備える。
【００２１】
また好ましくは、前記サンプル位置情報解析部は、前記ピクチャ内における前記色差成分のサンプル位置と前記輝度成分のサンプル位置とのずれを示すシフト量を前記色差成分のサンプル位置情報として取得し、前記ピクチャデータ復号化部は、前記符号列におけるヘッダ領域のうちピクチャ単位で生成する領域から前記サンプル位置情報を取得する。
【００２２】
また好ましくは、前記動きベクトル算出部は、復号化対象ピクチャにおいて生成したサンプル位置情報と、前記ピクチャ復号化対象ピクチャが参照する参照ピクチャにおいて生成したサンプル位置情報との差分値に基づいて、前記輝度成分の動きベクトルを補正することにより、前記色差成分の動きベクトルを算出する。
【００２３】
また好ましくは、前記サンプル位置情報解析部は、復号化対象ピクチャにおける色差成分のサンプル位置と、前記復号化対象ピクチャが参照する参照ピクチャにおける色差成分のサンプル位置とのずれを示すシフト量を前記サンプル位置情報として取得し、前記ピクチャデータ復号化部は、前記符号列におけるヘッダ領域のうち前記参照ピクチャを指定するための情報を記述する領域から前記サンプル位置情報を格納する。
【００２４】
また好ましくは、前記動きベクトル算出部は、復号化対象である前記ブロックが参照する参照ピクチャに対応づけられた前記サンプル位置情報を用いて、前記輝度成分の動きベクトルを補正することにより、前記色差成分の動きベクトルを算出する。
【００２５】
また好ましくは、前記色差成分のサンプル位置情報は、垂直成分のみの情報を有する。
【００２６】
また好ましくは、前記色差成分のサンプル位置情報は、垂直成分と水平成分の両方の情報を有する。
【００２７】
また好ましくは、前記色差成分のサンプル位置情報は、復号化対象ピクチャが、インターレース形式のトップフィールドであるか、インターレース形式のボトムフィールドであるかを示す情報である。
【００２８】
また好ましくは、前記サンプル位置情報解析部は、ピクチャ全体の符号化制御情報を記述するヘッダ領域から前記色差成分のサンプル位置情報を取得する。
【００２９】
また好ましくは、前記サンプル位置情報解析部は、前記ピクチャを分割した単位であるスライスに関する符号化制御情報を記述するヘッダ領域から前記色差成分のサンプル位置情報を取得する。
【００３０】
また好ましくは、前記シフト量は、輝度成分のサンプル位置の間隔の１／４を１単位とした値である。
【００３１】
なお、本発明は、このような動画像符号化および動画像復号化装置として実現することができるだけでなく、このような動画像符号化および動画像復号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。
【発明の効果】
【００３２】
以上より、本発明における動画像符号化装置は、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合でも、画面間予測符号化において、輝度成分の動きベクトルから色差成分の動きベクトルを正確に算出することができる。
【００３３】
また、本発明における動画像復号化装置は、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化した符号列を復号化する場合でも、画面間予測復号化において、輝度成分の動きベクトルから色差成分の動きベクトルを正確に算出することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態１に係る動画像符号化装置を示すブロック図である。
【図２】本発明の実施の形態２に係る動画像復号化装置を示すブロック図である。
【図３】従来のプログレッシブ形式の動画像の符号化方法を説明するための概念図である。
【図４】従来のインターレース形式の動画像の符号化方法を説明するための概念図である。
【図５】輝度成分と色差成分のサンプル位置の関係を説明するための概念図である。
【図６】インターレース形式における輝度成分と色差成分のサンプル位置の関係を説明するための概念図である。
【図７】従来の画面間予測における輝度成分の動きベクトルから色差成分の動きベクトルを算出する一例を説明するための概念図である。
【図８】従来の画面間予測における輝度成分の動きベクトルから色差成分の動きベクトルを算出する別の一例を説明するための概念図である。
【図９】本発明の実施の形態１に係る符号化処理のフローチャートである。
【図１０】本発明の実施の形態における輝度成分の動きベクトルから色差成分の動きベクトルを算出する一例を説明するための概念図である。
【図１１】本発明の実施の形態における輝度成分の動きベクトルから色差成分の動きベクトルを算出する別の一例を説明するための概念図である。
【図１２】本発明の実施の形態における輝度成分の動きベクトルから色差成分の動きベクトルを算出するさらに別の一例を説明するための概念図である。
【図１３】本発明の実施の形態によって生成される符号列の構成を説明するための概念図である。
【図１４】本発明の実施の形態によって生成されるスライスヘッダのシンタックスの一例を説明するための概念図である。
【図１５】本発明の実施の形態によって生成されるスライスヘッダのシンタックスの別の一例を説明するための概念図である。
【図１６】本発明の実施の形態によって生成される符号列の別の構成を説明するための概念図である。
【図１７】本発明の実施の形態によって生成されるピクチャヘッダのシンタックスの一例を説明するための概念図である。
【図１８】本発明の実施の形態２に係る復号化処理のフローチャートである。
【発明を実施するための形態】
【００３５】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。
【００３６】
（符号化装置全体の処理説明）
図１は、本発明の実施の形態に係る動画像符号化装置１００のブロック図である。動画像符号化装置１００は、ピクチャ単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理する。そして、動画像符号化装置１００は、符号列を生成する。
【００３７】
この動画像符号化装置１００は、ピクチャメモリ１０１と、予測残差符号化部１０２と、予測残差復号化部１０３と、ローカルバッファ１０４と、予測符号化部１０５と、量子化値決定部１０６と、符号列生成部１０７と、色差サンプル位置情報生成部１０８とを備えている。
【００３８】
ピクチャメモリ１０１は、表示を行う順にピクチャ単位で入力される入力画像信号１５１を、符号化を行う順にピクチャの並び替えを行って蓄積する。入力画像信号１５１はプログレッシブ形式とインターレース形式との双方があり、プログレッシブ形式の場合は１枚のフレームを１枚のピクチャとして、インターレース形式の場合は１枚のフィールドを１枚のピクチャとして以降の符号化処理を適用する。
【００３９】
次に、ピクチャメモリ１０１は、差分演算部１０９および予測符号化部１０５からの読出し命令を受けると当該読出し命令に係る画像信号をそれぞれ出力する。このとき、各々のピクチャは複数の画素から構成される符号化単位であるブロックに分割される。このブロックは、例えば水平６４×垂直６４画素、水平３２×垂直３２画素、水平１６×垂直１６画素から成る。なお、本実施形態における動画像符号化装置１００ではブロック単位で以降の処理が行われる。
【００４０】
予測残差符号化部１０２は、差分演算部１０９から出力される差分画像信号１５２に対して直交変換を行う。さらに、予測残差符号化部１０２は、得られた各周波数成分の直交変換係数に対し量子化を行うことで残差符号化信号１５３を生成する。そして、予測残差符号化部１０２は、予測残差復号化部１０３および符号列生成部１０７に、残差符号化信号１５３を出力する。このとき予測残差符号化部１０２は、量子化値決定部１０６において決定された量子化値を用いて直交変換係数を量子化する。
【００４１】
予測残差復号化部１０３は、予測残差符号化部１０２から出力される残差符号化信号１５３に対して、逆量子化および逆直交変換することで差分画像情報の復元を行い、生成した残差復号化信号１５４を加算演算部１１０に出力する。
【００４２】
ローカルバッファ１０４は、加算演算部１１０から出力される再構成画像信号１５５を格納する。この再構成画像信号１５５は、現在符号化対象となっているピクチャ以降のピクチャの符号化における予測符号化処理において参照用の画素データとして使用される。ローカルバッファ１０４は、予測符号化部１０５からの読出し命令に応じて、格納している再構成画像信号１５５を画素データとして予測符号化部１０５へ出力する。
【００４３】
予測符号化部１０５は、ピクチャメモリ１０１から出力される画像信号を基に、画面内予測、または画面間予測を用いて予測画像信号１５６を生成し、差分演算部１０９および加算演算部１１０に出力する。なお、予測符号化部１０５は、画面間予測を行う際は、ローカルバッファ１０４に蓄積される既に符号化済みのピクチャの再構成画像信号１５５を用いる。また、画面内予測を行う際は、符号化対象ブロックに隣接する既に符号化済みのブロックの再構成画像信号１５５を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくできるかを推定して行われる。予測符号化部１０５は、予測方法に関する情報である予測情報信号１５７を、符号列生成部１０７に出力する。
【００４４】
量子化値決定部１０６は、ピクチャメモリ１０１に格納されるピクチャに基づいて、予測残差符号化部１０２で差分画像信号１５２を量子化する際の量子化値を決定する。なお、量子化値決定１０６における量子化値の決定方法は、符号列信号１５９のビットレートが目標とするするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の決定方法を用いてもよい。
【００４５】
符号列生成部１０７は、予測残差符号化部１０２が出力する残差符号化信号１５３と、予測符号化部１０５が出力する予測情報信号１５７と、量子化値決定部１０６が出力する量子化値と、色差サンプル位置情報生成部１０８が出力する色差サンプル位置情報信号１５８に対して可変長符号化を施すことで符号列信号１５９を生成する。
【００４６】
色差サンプル位置情報生成部１０８は、外部から指定される動画像形式に関する情報、例えば、符号化対象の動画像がプログレッシブ形式であるかインターレース形式であるかの情報、もしくは符号化対象の動画像の輝度成分に対する色差成分の間引き方法に関する情報を基に、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係を示す色差サンプル位置情報を生成する。生成された色差サンプル位置情報信号１５８は予測符号化部１０５および符号列生成部１０７に出力される。
【００４７】
ここで、色差サンプル位置情報としては、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、輝度成分の座標空間上においてどれくらいずれているかを示すシフト量で定義される。従来の技術で説明した図６の例を用いて詳しく説明する。ここで、図６に示すピクチャの座標空間は、最も左上の画素位置の座標を（０，０）とする。さらに、垂直下方向または水平右方向に変位するにつれ座標がプラスとなるように座標空間を設定する。例えば、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、水平方向に０画素分、垂直方向に０．５画素分下にずれている。よってシフト量は（０、０．５）となる。同様に、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．２５画素分下にずれている。よってシフト量は（０、０．２５）となる。また、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．７５画素分下にずれている。よってシフト量は（０、０．７５）となる。
【００４８】
差分演算部１０９は、ピクチャメモリ１０１から読み出された画像信号と予測符号化部１０５から出力される予測画像信号１５６との差分値である差分画像信号１５２を生成し、予測残差符号化部１０２に出力する。
【００４９】
加算演算部１１０は、予測残差復号化部１０３から出力される残差復号化信号１５４と予測符号化部１０５から出力される予測画像信号１５６とを加算することにより再構成画像信号１５５を生成し、ローカルバッファ１０４に出力する。
【００５０】
（色差サンプル位置情報生成の処理全体説明）
ここで、色差サンプル位置情報生成部１０８で色差サンプル位置情報信号１５８を生成し、符号列生成部１０７で符号列を生成する方法、および予測符号化部１０５で画面間予測符号化を行う方法について、図９の符号化処理全体のフローチャートを用いて具体的に説明する。
【００５１】
まず、ステップＳ９０１において、符号列生成部１０７はシーケンス単位のヘッダ領域の符号列生成を行う。シーケンス単位のヘッダ領域には、符号化および復号化制御においてシーケンス全体で共通に必要となる情報が記述される。
【００５２】
次に、ステップＳ９０２において、色差サンプル位置情報生成部１０８は、外部から指定される動画像形式に関する情報、例えば、符号化対象の動画像がプログレッシブ形式であるかインターレース形式であるかの情報、もしくは符号化対象の動画像の輝度成分に対する色差成分の間引き方法に関する情報を基に、符号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報信号１５８を生成する。
【００５３】
次に、ステップＳ９０３において、符号列生成部１０７はピクチャ単位およびスライス単位のヘッダ領域の符号列生成を行う。ピクチャ単位のヘッダ領域には、符号化および復号化制御において符号化対象ピクチャ全体で共通に必要となる情報が記述される。また、スライス単位のヘッダ領域には、符号化および復号化制御において符号化対象ピクチャに属する複数のブロックから構成されるスライス全体で共通に必要となる情報、および符号化対象ピクチャ全体で共通に必要となる情報が記述される。このとき、ステップＳ９０２において生成された色差サンプル位置情報が、ピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域に記述される。
【００５４】
最後に、ステップＳ９０４において、図１を用いて説明した符号化対象ピクチャの一連の符号化処理を行いピクチャデータの符号列生成を行う。このとき、予測符号化部１０５では、ステップＳ９０２において生成された色差サンプル位置情報を用いて、輝度成分の動きベクトルから色差成分の動きベクトルを算出することで画面間予測処理が行われる。
【００５５】
符号化対象ピクチャの処理が完了すると、ステップＳ９０２に戻って次のピクチャの符号化処理に移り、シーケンス内の全てのピクチャの符号化処理が完了するまでステップＳ９０２からステップＳ９０４の処理を繰り返す。
【００５６】
（色差成分の動きベクトル算出方法について）
ここで、予測符号化部１０５において画面間予測を行う際に、輝度成分の動きベクトルから色差成分の動きベクトルを算出する方法について詳しく説明する。
【００５７】
画面間予測では、符号列に記述される動きベクトルは輝度成分の画素位置の移動量に関する情報のみとなっている。そのため、色差成分の予測画像を生成するための動きベクトルは、間引きの割合に応じて、前記輝度成分の動きベクトルの値をスケーリングすることで算出する。
【００５８】
このとき、本実施の形態では、図７および図８を用いて説明した従来の技術とは異なり、（数１）および（数２）に示す方法により色差サンプル位置情報を用いてスケーリングの補正を行うことで、輝度成分と色差成分のサンプル位置がどのような関係にあっても正確な色差成分の動きベクトルを算出することが可能である。
【００５９】
ここで、ＣＭＶｘは算出する色差成分の動きベクトルの水平方向を示す値とする。ＣＭＶｙは算出する色差成分の動きベクトルの垂直方向を示す値とする。さらに、ＬＭＶｘは対応する輝度成分の動きベクトルの水平方向を示す値とする。また、ＬＭＶｙは対応する輝度成分の動きベクトルの垂直方向を示す値とする。さらに、ＣｕｒＳｆｔｘは符号化対象ピクチャの色差サンプル位置のシフト量の水平方向を示す値とする。ＣｕｒＳｆｔｙは符号化対象ピクチャの色差サンプル位置のシフト量の垂直方向を示す値とする。ＲｅｆＳｆｔｘは参照ピクチャの色差サンプル位置のシフト量の水平方向を示す値とする。さらに、ＲｅｆＳｆｔｙは参照ピクチャの色差サンプル位置のシフト量の垂直方向を示す値とする。
【００６０】
下記の（数１）および（数２）は、色差成分が輝度成分に対して水平垂直方向ともに１／２に間引かれている場合の処理を示している。なお、説明の簡略化のため、（数１）および（数２）では、ＣＭＶｘ、ＣＭＶｙの単位を、値１で色差成分の１画素とする。さらに、ＬＭＶｘ、ＬＭＶｙの単位を、値１で輝度成分の１画素とする。そして、ＣｕｒＳｆｔｘ、ＣｕｒＳｆｔｙ、ＲｅｆＳｆｔｘ、ＲｅｆＳｆｔｙの単位を、値１で輝度成分の１画素とする。
【００６１】
（数１）ＣＭＶｘ＝(ＬＭＶｘ＋(ＣｕｒＳｆｔｘ−ＲｅｆＳｆｔｘ））／２
（数２）ＣＭＶｙ＝(ＬＭＶｙ＋(ＣｕｒＳｆｔｙ−ＲｅｆＳｆｔｙ））／２
なお、ＨＥＶＣやＨ．２６４の動画像符号化方式では、輝度成分の動きベクトルは１／４画素精度の値を、色差成分の動きベクトルは１／８画素精度の値をとることが可能である。この画素精度の違いを考慮して、（数１）および（数２）は、（数３）および（数４）のように表現することも可能である。このとき、（数３）および（数４）では、ＣＭＶｘ、ＣＭＶｙの単位を、値１で色差成分の１／８画素とする。さらに、ＬＭＶｘ、ＬＭＶｙの単位を、値１で輝度成分の１／４画素とする。そして、ＣｕｒＳｆｔｘ、ＣｕｒＳｆｔｙ、ＲｅｆＳｆｔｘ、ＲｅｆＳｆｔｙの単位を、値１で輝度成分の１／４画素に相当とする。
【００６２】
（数３）ＣＭＶｘ＝ＬＭＶｘ＋(ＣｕｒＳｆｔｘ−ＲｅｆＳｆｔｘ)
（数４）ＣＭＶｙ＝ＬＭＶｙ＋(ＣｕｒＳｆｔｙ−ＲｅｆＳｆｔｙ)
図１０は、符号化対象の動画像がプログレッシブ形式であり、符号化対象ピクチャも参照ピクチャもフレーム構造である場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は、符号化対象ピクチャについても参照ピクチャについても（０、０．５）となる。輝度成分の動きベクトルの値が（−４、−６）であるため、（数１）および（数２）に従って色差成分の動きベクトルの値を算出すると（−２、−３）となる。なお、（数３）および（数４）の表現に置き換えると、色差サンプル位置のシフト量は（０、２）であり、輝度成分の動きベクトルの値は（−１６、−２４）、生成される色差成分の動きベクトルの値は（−１６、−２４）となる。
【００６３】
一方、図１１は、符号化対象の動画像がインターレース形式であり、符号化対象ピクチャがボトムフィールドで、参照ピクチャがトップフィールドであった場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は、符号化対象ピクチャは（０、０．７５）、参照ピクチャは（０、０．２５）となる。輝度成分の動きベクトルの値が（−６、２）であるため、（数１）および（数２）に従って色差成分の動きベクトルの値を算出すると（−３、１．２５）となる。なお、（数３）および（数４）の表現に置き換えると、色差サンプル位置のシフト量は、符号化対象ピクチャが（０、３）、参照ピクチャが（０、１）であり、輝度成分の動きベクトルの値は（−２４、８）、生成される色差成分の動きベクトルの値は（−２４、１０）となる。
【００６４】
同様に、図１２は、符号化対象の動画像がインターレース形式であり、符号化対象ピクチャがトップフィールドで、参照ピクチャがボトムフィールドであった場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は、符号化対象ピクチャは（０、０．２５）、参照ピクチャは（０、０．７５）となる。輝度成分の動きベクトルの値が（−６、２）であるため、（数１）および（数２）に従って色差成分の動きベクトルの値を算出すると（−３、０．７５）となる。なお、（数３）および（数４）の表現に置き換えると、色差サンプル位置のシフト量は、符号化対象ピクチャが（０、１）、参照ピクチャが（０、３）であり、輝度成分の動きベクトルの値は（−２４、８）、生成される色差成分の動きベクトルの値は（−２４、６）となる。
【００６５】
このように、図８を用いて説明した従来の技術では、色差成分の動きベクトルを正確に求めることができず、輝度成分の動きベクトルと色差成分の動きベクトルとが平行関係になかったが、本発明による図１１および図１２の例では、色差成分の動きベクトルを正確に求めることが可能となり、輝度成分の動きベクトルと色差成分の動きベクトルとが平行関係になっているのが分かる。
【００６６】
なお、符号化対象の動画像がプログレッシブ形式である場合は、前述のとおり符号化対象ピクチャと参照ピクチャの色差サンプル位置のシフト量は常に同じ値になるため、（数１）および（数２）、もしくは（数３）および（数４）で説明した処理を行わず、従来の技術と同様に間引きの割合に応じてそのままスケーリングすることで算出してもよい。
【００６７】
また、符号化対象の動画像がインターレース形式であった場合でも、図５を用いて説明した色差成分の間引き方法が、図５（ｂ）のように４：２：２サンプリングと呼ばれる水平方向のみ１／２に間引く方法や、図５（ｃ）のように４：４：４サンプリングと呼ばれる間引きを行わない方法であった場合、前述のプログレッシブ形式の場合と同様に、符号化対象ピクチャと参照ピクチャの色差サンプル位置のシフト量は常に同じ値になるため、（数１）および（数２）、もしくは（数３）および（数４）で説明した処理を行わず、従来の技術と同様に間引きの割合に応じてそのままスケーリングすることで算出してもよい。
【００６８】
また、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、（数１）もしくは（数３）で説明した処理を行わず、（数２）もしくは（数４）で説明した処理のみを行うという構成にしてもよい。
【００６９】
（符号列１５９のシンタックス構成に関して）
次に、本実施の形態によって生成される符号列１５９の構成を、図１３を用いて説明する。
【００７０】
生成される符号列１５９は、シーケンス単位の符号化制御情報を記述したシーケンスヘッダ領域、ピクチャ単位の符号化制御情報を記述したピクチャヘッダ領域、スライス単位の符号化制御情報を記述したスライスヘッダ領域、およびスライスデータで構成されている。このとき、図９におけるステップＳ９０２で生成した色差サンプル位置情報はスライスヘッダ領域に記述される。
【００７１】
ここで、色差サンプル位置情報が記述されるスライスヘッダ領域のシンタックスについて図１４を用いて詳しく説明する。なお、図１４では本発明に関連するシンタックス以外は省略して記載している。
【００７２】
図１４（ａ）では、色差サンプル位置情報として、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘとｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙとがスライスヘッダ領域に記述されている。
【００７３】
ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘは、符号化対象ピクチャにおける、色差成分のサンプル位置が輝度成分のサンプル位置に対して、輝度成分の座標空間上においてどれくらいずれているかを示す水平方向のシフト量であり、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙは同垂直方向のシフト量である。例えば、従来の技術で説明した図６の例を用いると、シフト量を（ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘ、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙ）と表現したとき、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合は（０、０．５）となり、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は（０、０．２５）となり、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は（０、０．７５）となる。
【００７４】
なお、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙの値の単位は任意であり、例えば、値１が輝度成分の１／４画素に相当するように表現した場合は、図６（ａ）は（０、２）、図６（ｂ）は（０、１）、図６（ｃ）は（０、３）となる。
【００７５】
なお、符号化対象の動画像がプログレッシブ形式である場合は、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となる。そのため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００７６】
また、符号化対象の動画像がインターレース形式であった場合でも、図５を用いて説明した色差成分の間引き方法が、図５（ｂ）のように４：２：２サンプリングと呼ばれる水平方向のみ１／２に間引く方法や、図５（ｃ）のように４：４：４サンプリングと呼ばれる間引きを行わない方法であった場合、前述のプログレッシブ形式の場合と同様に、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となる。そのため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００７７】
また、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘを記述せずに、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙのみを記述するようにしてもよい。
【００７８】
また、図１４（ａ）のように色差サンプル位置のシフト量を直接記述せずに、例えば、図１４（ｂ）のｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃように別の意味を持たせたパラメータから間接的に色差サンプル位置のシフト量を指定するようにしてもよい。
【００７９】
ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃは、０のときは、符号化対象ピクチャの色差成分は輝度成分に対して水平垂直ともに１／２に間引いたもの（４：２：０サンプル）であり、さらにインターレース形式のトップフィールドであることを示す。つまり、図６（ｂ）の構造のピクチャであることを示す。また、１のときは、符号化対象ピクチャの色差成分は輝度成分に対して水平垂直ともに１／２に間引いたもの（４：２：０サンプル）であり、さらにインターレース形式のボトムフィールドであることを示す。つまり、図６（ｃ）の構造のピクチャであることを示す。また、２のときは、それ以外の構造のピクチャであることを示す。
【００８０】
これにより、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃが、０のときは色差サンプル位置のシフト量が（０、０．２５）であり、１のときは色差サンプル位置のシフト量が（０、０．７５）であり、２のときは色差サンプル位置のシフト量が（０、０．５）もしくは（０、０）であることを間接的に指定することが可能となる。
【００８１】
なお、前述のｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃと同じ情報を、色差成分の間引き方法を示す情報と、インターレース形式のトップフィールドであるかボトムフィールドであるかを示す情報とに分けて記述する構成としてもよい。このとき、色差成分の間引き方法を示す情報として、例えば、図５（ａ）の４：２：０サンプリング、図５（ｂ）の４：２：２サンプリング、図５（ｃ）の４：４：４サンプリングのいずれかを示す情報とし、シーケンス全体で共通に必要となる情報としてシーケンス単位のヘッダ領域に記述する方法がある。一方、インターレース形式のトップフィールドであるかボトムフィールドであるかを示す情報として、例えば、値０のときはインターレース形式のトップフィールド、値１のときはインターレース形式のボトムフィールドを示すパラメータとし、ピクチャ全体で共通に必要となる情報としてピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域に記述する方法がある。
【００８２】
なお、図１４を用いて説明した色差サンプル位置情報は、符号化対象ピクチャに対して１つのみを対応付けるものである。しかし、１つのピクチャは複数のスライスから構成されているため、色差サンプル位置情報が記述されているスライスヘッダも複数符号化される。そのため、図１４を用いて説明した各パラメータは、対象となるスライスが属するピクチャにおいて常に同じ値が記述されることになる。
【００８３】
（符号列１５９の他のシンタックス構成に関して）
ここで、色差サンプル位置情報が記述されるスライスヘッダ領域のシンタックスの別の構成について図１５を用いて詳しく説明する。なお、図１５では本発明に関連するシンタックス以外は省略して記載している。
【００８４】
図１４を用いて説明した構成では、符号化対象ピクチャにおける色差サンプル位置のシフト量を１組だけ色差サンプル位置情報としてスライスヘッダに記述していた。しかし、図１５は、画面間予測における参照ピクチャの枚数分だけ色差サンプル位置情報として、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘとｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙをスライスヘッダに記述している。
【００８５】
ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘは、符号化対象ピクチャと参照ピクチャとにおける色差成分のサンプル位置の相対位置関係が、符号化対象ピクチャと参照ピクチャとにおける輝度成分のサンプル位置の相対位置関係に対して、どれだけずれているかを示す水平方向のシフト量である。
【００８６】
また、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙは、符号化対象ピクチャと参照ピクチャとにおける色差成分のサンプル位置の相対位置関係が、符号化対象ピクチャと参照ピクチャとにおける輝度成分のサンプル位置の相対位置関係に対して、どれだけずれているかを示す垂直方向のシフト量である。
【００８７】
例えば、シフト量を（ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘ、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙ）と表現したとき、図１０のように符号化対象ピクチャと参照ピクチャがフレーム構造であった場合は（０、０）となり、図１１のように符号化対象ピクチャがボトムフィールド構造で参照ピクチャがトップフィールド構造であった場合は（０、０．５）となり、図１２のように符号化対象ピクチャがボトムフィールド構造で参照ピクチャがトップフィールド構造であった場合は（０、−０．５）となる。
【００８８】
言い換えると、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙは、（数１）および（数２）における、（ＣｕｒＳｆｔｘ−ＲｅｆＳｆｔｘ）および（ＣｕｒＳｆｔｙ−ＲｅｆＳｆｔｙ）の値に相当する。要するに、図１５の構成を用いると（数１）および（数２）は、（数５）および（数６）のように単純化することができる。なお、ＭＶＳｆｔｘはｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘの値であり、ＭＶＳｆｔｙはｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙの値であり、ＭＶＳｆｔｘおよびＭＶＳｆｔｙの単位は、値１で輝度成分の１画素に相当するものとする。
【００８９】
（数５）ＣＭＶｘ＝(ＬＭＶｘ＋ＭＶＳｆｔｘ)／２
（数６）ＣＭＶｙ＝(ＬＭＶｙ＋ＭＶＳｆｔｙ)／２
また同様に、（数５）および（数６）も（数７）および（数８）のように単純化することができる。このとき、ＭＶＳｆｔｘおよびＭＶＳｆｔｙの単位は、値１で輝度成分の１／４画素に相当するものとする。
【００９０】
（数７）ＣＭＶｘ＝ＬＭＶｘ＋ＭＶＳｆｔｘ
（数８）ＣＭＶｙ＝ＬＭＶｙ＋ＭＶＳｆｔｙ
なお、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙの値の単位は任意である。例えば、値１が輝度成分の１／４画素に相当するとした場合は、図１０では（０、０）、図１１では（０、２）、図１２では（０、−２）となる。
【００９１】
なお、符号化対象の動画像がプログレッシブ形式である場合は、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となるので、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００９２】
また、符号化対象の動画像がインターレース形式であった場合でも、図５を用いて説明した色差成分の間引き方法が、図５（ｂ）のように４：２：２サンプリングと呼ばれる水平方向のみ１／２に間引く方法や、図５（ｃ）のように４：４：４サンプリングと呼ばれる間引きを行わない方法であった場合、前述のプログレッシブ形式の場合と同様に、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となるので、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００９３】
また、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘを記述せずに、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙのみを記述するようにしてもよい。
【００９４】
なお、図１５を用いて説明した色差サンプル位置情報は、参照ピクチャ毎に１つずつ対応付けるものである。また、１つのピクチャは複数のスライスから構成されているため、色差サンプル位置情報が記述されているスライスヘッダも複数符号化される。そのため、図１５を用いて説明した各パラメータは、１つのピクチャに属する複数のスライスがそれぞれ異なる参照ピクチャを指定する場合はスライス毎に異なる値が記述されるが、１つのピクチャに属する複数のスライスが常に同じ参照ピクチャを指定する場合は、対象となるスライスが属するピクチャにおいて常に同じ値が記述されることになる。
【００９５】
（符号列１５９の他のシンタックス構成に関して）
ここで、本実施の形態によって生成される符号列１５９における別のシンタックス構成を図１６に基づいて説明する。
【００９６】
生成される符号列１５９は、図１３を用いて説明した符号列の構成と同様に、シーケンス単位の符号化制御情報を記述したシーケンスヘッダ領域、ピクチャ単位の符号化制御情報を記述したピクチャヘッダ領域、スライス単位の符号化制御情報を記述したスライスヘッダ領域、およびスライスデータで構成されている。このとき、図１３を用いて説明した符号列の構成とは異なり、色差サンプル位置情報はスライスヘッダ領域ではなくピクチャヘッダ領域に記述されている。
【００９７】
色差サンプル位置情報が記述されるピクチャヘッダ領域のシンタックスについては図１７に示す通りであり、図１４を用いて説明した内容と全く同様であるので説明を省略する。なお、ピクチャヘッダはピクチャ毎に１つずつのみが生成されるため、色差サンプル位置情報もピクチャ毎に１つずつのみが指定可能であり、対象ピクチャ内の全てのスライスで共通して使用される。
【００９８】
なお、本実施の形態で説明した全てのパラメータ名およびパラメータ値については一例であり、これ以外のパラメータ名およびパラメータ値を用いて同様の機能を実現してもよい。
【００９９】
このように、本実施の形態による動画像符号化装置を用いることにより、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合でも、画面間予測符号化において、輝度成分の動きベクトルから色差成分の動きベクトルを正確に算出することができる。
【０１００】
（実施の形態２）
以下、本発明の実施の形態２について、図面を参照しながら説明する。
【０１０１】
（復号化装置全体の処理説明）
図２は、本発明の実施の形態に係る動画像復号化装置２００のブロック図である。動画像復号化装置２００は、実施の形態１で説明した動画像符号化装置によって生成された符号列に対し、ブロック単位で復号化処理する。そして、動画像復号化装置２００は、出力画像を生成する。
【０１０２】
この動画像復号化装置２００は、符号列解析部２０１と、予測残差復号化部２０２と、ピクチャメモリ２０３と、予測復号化部２０４と、量子化値決定部２０５と、色差サンプル位置情報解析部２０６を備えている。
【０１０３】
符号列解析部２０１は、入力された符号列信号２５１に対して可変長復号化を施すことによりヘッダ情報の解析およびブロック単位のピクチャデータの解析を行う。符号列解析部２０１は、解析して得られる残差符号化信号２５２を予測残差復号化部２０２へ出力する。また、符号列解析部２０１は、予測情報信号２５６を予測復号化部２０４へ出力する。さらに、符号列解析部２０１は、量子化値情報を量子化値決定部２０５へ出力する。そして、符号列解析部２０１は、色差サンプル位置情報信号２５７を色差サンプル位置情報解析部２０６へ出力する。
【０１０４】
予測残差復号化部２０２は、符号列解析部２０１から出力される残差符号化信号２５２に対して、逆量子化および逆直交変換を行うことで残差復号化信号２５３を生成し、加算演算部２０７に出力する。このとき予測残差復号化部２０２は、量子化値決定部２０５において決定された量子化値を用いて残差符号化信号２５２を逆量子化する。
【０１０５】
ピクチャメモリ２０３は、加算演算部２０７から出力される再構成画像信号２５５を格納する。この再構成画像信号２５５は、現在復号化対象となっているピクチャ以降のピクチャの復号化における予測復号化処理において参照用の画素データとして使用される。ピクチャメモリ２０３は、予測復号化部２０４からの読出し命令に応じて、格納している再構成画像信号２５５を画素データとして予測復号化部２０４へ出力する。
【０１０６】
また同時に、ピクチャメモリ２０４は、格納している再構成画像信号２５５を出力画像信号２５８として外部に出力する。出力画像信号２５８はプログレッシブ形式とインターレース形式との双方があり、プログレッシブ形式の場合は１枚のピクチャを１枚のフレームとして、インターレース形式の場合は１枚のピクチャを１枚のフィールドとして、表示順に並び替えることによって出力される。
【０１０７】
予測復号化部２０４は、符号列解析部２０１から出力される予測情報信号２５６を基に、画面内予測、または画面間予測を用いて予測画像信号２５４を生成し、加算演算部２０７に出力する。なお、予測復号化部２０４は、画面間予測を用いる際は、ピクチャメモリ２０３に蓄積される既に復号化済みのピクチャの再構成画像信号２５５を用いる。また、画面内予測を用いる際は、復号化対象ブロックに隣接する既に復号化済みのブロックの再構成画像信号２５５を用いる。画面内予測を用いるか画面間予測を用いるかの判定については、入力される予測情報信号２５６に従って行われる。
【０１０８】
色差サンプル位置情報解析部２０６は、符号列解析部２０１から出力される色差サンプル位置情報信号２５７を解析して、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係を示す色差サンプル位置情報を取得する。取得された色差サンプル位置情報は予測符号化部２０４に出力される。
【０１０９】
ここで、色差サンプル位置情報としては、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、輝度成分の座標空間上においてどれくらいずれているかを示すシフト量で定義される。従来の技術で説明した図６の例を用いて詳しく説明する。ここで、図６に示すピクチャの座標空間は、最も左上の画素位置の座標を（０，０）とする。さらに、垂直下方向または水平右方向に変位するにつれ座標がプラスとなるように座標空間を設定する。例えば、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、水平方向に０画素分、垂直方向に０．５画素分下にずれている。よってシフト量は（０、０．５）となる。同様に、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．２５画素分下にずれている。よってシフト量は（０、０．２５）となる。また、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．７５画素分下にずれている。よってシフト量は（０、０．７５）となる。
【０１１０】
加算演算部２０７は、予測残差復号化部２０２から出力される残差復号化信号２５３と予測復号化部２０４から出力される予測画像信号２５４を加算することによって再構成画像信号２５５を生成し、ピクチャメモリ２０３に出力する。
【０１１１】
（色差サンプル位置情報の処理全体説明）
ここで、符号列解析部２０１で符号列を解析して得られた情報を基に、色差サンプル位置情報解析部２０６で色差サンプル位置情報を取得し、予測復号化部２０４で予測画像を生成する方法について、図１８の復号化処理全体のフローチャートを用いて具体的に説明する。
【０１１２】
まず、ステップＳ１８０１において、符号列解析部２０１はシーケンス単位のヘッダ領域の符号列解析を行う。シーケンス単位のヘッダ領域には、復号化制御においてシーケンス全体で共通に必要となる情報が記述されている。
【０１１３】
次に、ステップＳ１８０２において、符号列解析部２０１はピクチャ単位およびスライス単位のヘッダ領域の符号列解析を行う。ピクチャ単位のヘッダ領域には、復号化制御において復号化対象ピクチャ全体で共通に必要となる情報が記述されている。また、スライス単位のヘッダ領域には、復号化制御において復号化対象ピクチャに属する複数のブロックから構成されるスライス全体で共通に必要となる情報、および復号化対象ピクチャ全体で共通に必要となる情報が記述されている。このとき、色差サンプル位置情報信号２５７が、ピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域から取得される。
【０１１４】
次に、ステップＳ１８０３において、色差サンプル位置情報解析部２０６は、ステップＳ１８０２で取得された色差サンプル位置情報信号２５７を解析して、符号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報を生成する。
【０１１５】
最後に、ステップＳ１８０４において、図２を用いて説明した復号化対象ピクチャの一連の復号化処理を行い復号化画像の生成を行う。このとき、予測復号化部２０４では、ステップＳ１８０３において解析された色差サンプル位置情報を用いて、輝度成分の動きベクトルから色差成分の動きベクトルを算出することで画面間予測処理が行われる。
【０１１６】
復号化対象ピクチャの処理が完了すると、ステップＳ１８０２に戻って次のピクチャの復号化処理に移り、シーケンス内の全てのピクチャの復号化処理が完了するまでステップＳ１８０２からステップＳ１８０４の処理を繰り返す。
【０１１７】
（色差成分の動きベクトル算出方法について）
ここで、予測復号化部２０４において画面間予測を行う際に、輝度成分の動きベクトルから色差成分の動きベクトルを算出する方法について説明する。
【０１１８】
画面間予測では、符号列に記述されている動きベクトルは輝度成分の画素位置の移動量に関する情報のみである。そのため、色差成分の予測画像を生成するための動きベクトルは、前記輝度成分の動きベクトルの値を間引きの割合に応じてスケーリングすることで算出する。
【０１１９】
このとき本実施の形態では、色差サンプル位置情報を用いて、実施の形態１で（数１）から（数８）および図１０から図１２を用いて説明した動画像符号化装置における画面間予測の処理と全く同様の処理を行うことで、色差成分の動きベクトルを生成する。よって、復号化対象ピクチャが、プログレッシブ形式に属するフレーム構造であっても、さらにインターレース形式に属するトップフィールド構造もしくはボトムフィールド構造であっても、もしくはそれ以外の理由により輝度成分のサンプル位置と色差成分のサンプル位置とが一致していない場合においても、常に正確に輝度成分の動きベクトルから色差成分の動きベクトルを算出して画面間予測を行うことができる。
【０１２０】
（符号列２５１のシンタックス構成に関して）
最後に、本実施の形態で復号化対象とする符号列２５１の構成およびシンタックスは、実施の形態１で図１３から図１７を用いて説明したものと全く同様であるので、ここでは説明を省略する。
【０１２１】
このように、本実施の形態による動画像復号化装置を用いることにより、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化した符号列を復号化する場合でも、画面間予測復号化において、輝度成分の動きベクトルから色差成分の動きベクトルを正確に算出することができる。
【０１２２】
（その他の実施形態）
さらに、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１２３】
また、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【０１２４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１２５】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【０１２６】
また、本発明は、上述した動画像符号化装置および動画像復号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。
【０１２７】
また、上記実施の形態に係る、動画像符号化装置および動画像復号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【産業上の利用可能性】
【０１２８】
本発明は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、及びパーソナルコンピューター等における、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置や、前記動画像符号化データを復号化して復号化画像を生成する動画像復号化装置として有用である。
【符号の説明】
【０１２９】
１００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 予測残差復号化部
１０４ ローカルバッファ
１０５ 予測符号化部
１０６ 量子化値決定部
１０７ 符号列生成部
１０８ 色差サンプル位置情報生成部
１０９ 差分演算部
１１０ 加算演算部
１５１ 入力画像信号
１５２ 差分画像信号
１５３ 残差符号化信号
１５４ 残差復号化信号
１５５ 再構成画像信号
１５６ 予測画像信号
１５７ 予測情報信号
１５８ 色差サンプル位置情報信号
１５９ 符号列信号
２００ 動画像復号化装置
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ ピクチャメモリ
２０４ 予測復号化部
２０５ 量子化値決定部
２０６ 色差サンプル位置情報解析部
２０７ 加算演算部
２５１ 符号列信号
２５２ 残差符号化信号
２５３ 残差復号化信号
２５４ 予測画像信号
２５５ 再構成画像信号
２５６ 予測情報信号
２５７ 色差サンプル位置情報信号
２５８ 出力画像信号
【技術分野】
【０００１】
本発明は、プログレッシブ形式の動画像信号およびインターレース形式の動画像信号を入力として符号化されたものを復号化する動画像復号化装置および動画像復号化方法に関するものである。
【背景技術】
【０００２】
近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣと呼ばれる次世代画像符号化方式の標準化活動が進んでいる。
【０００３】
このような動画像の符号化では、符号化対象ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ブロックとの差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像の生成を行い、得られた予測画像と符号化対象ブロックとの差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。
【０００４】
また復号化では、前記符号化処理によって生成された符号列を解析して予測情報および残差係数情報を取得し、予測情報を用いて画面間予測復号化および画面内予測復号化を行って予測画像を生成し、残差係数情報に対して逆量子化および逆直交変換を行って差分画像を生成し、得られた予測画像と差分画像を加算することで最終的な出力画像を復元する。
【０００５】
このとき符号化および復号化の対象となる動画像の形式として、プログレッシブ形式とインターレース形式との２種類の形式がある。
【０００６】
プログレッシブ形式は、１画面全ての画素を同時に撮像し１枚のフレームとする形式である。一方、インターレース形式は、１画面の画素のうち偶数行目の画素のみを撮像したトップフィールドと奇数行目の画素のみを撮像したボトムフィールドとの２枚のフィールドで１枚のフレームを構成する形式である。
【０００７】
プログレッシブ形式の動画像に対しては、図３にあるように１枚のフレームを１枚のピクチャとして符号化する。例えばＦｒｍ３はＰ＿Ｆｒｍ１として符号化されている。画面間予測では符号化順で先に符号化が完了しているピクチャのみを参照することができる。そこで、図３にあるように表示順で入力されたピクチャを符号化順に並び替えることによって、画面間予測における参照ピクチャの参照をより効果的に行うことが可能となる。例えば、Ｐ＿Ｆｒｍ１はＩ＿Ｆｒｍ０のみが参照可能であり、Ｂ＿Ｆｒｍ２はＩ＿Ｆｒｍ０とＰ＿Ｆｒｍ１が参照可能である。これを表示順に置き換えて考えると、Ｐ＿Ｆｒｍ１はＦｒｍ３に相当するので前方向にあるＦｒｍ０のみが参照可能であるが、Ｂ＿Ｆｒｍ２はＦｒｍ１に相当するので前方向にあるＦｒｍ０だけでなく、後方向にあるＦｒｍ３も同時に参照可能となる。なお、Ｉ＿Ｆｒｍ０は他のピクチャを参照することなく画面内予測のみを行うピクチャである。
【０００８】
一方、インターレース形式の動画像に対しては、最も簡単な方法として図４にあるように１枚のフィールドを１枚のピクチャとして符号化する方法がある。例えばＦｌｄＴ６とＦｌｄＢ７はそれぞれＰ＿ＦｌｄＴ２とＰ＿ＦｌｄＢ３のように個別のフィールド構造のピクチャとして符号化されている。このように表示順で入力されたピクチャを符号化順に並び替えることによって、プログレッシブ形式の符号化と同様に画面間予測における参照ピクチャの参照をより効果的に行うことが可能となる。
【０００９】
図３および図４で説明した各ピクチャは輝度成分の画素と色差成分の画素とから構成されている。図５は、輝度成分と色差成分のそれぞれを画素値として取得するときのサンプル位置関係を説明するための図である。図中の×記号は輝度成分のサンプル位置、○記号は色差成分のサンプル位置を示している。
【００１０】
一般に人間の目は色差成分の変化に対して鈍感である。そのため、１つのピクチャにおけるデータ量を削減するために色差成分を間引く方法が用いられる。間引き方法はいくつかの種類がある。たとえば、図５（ａ）は水平垂直方向ともに色差成分を１／２に間引く方法を示す。これは、４：２：０サンプリングと呼ばれる。この４：２：０サンプリングの場合、色差成分の垂直方向のサンプル位置は輝度成分のサンプル位置とは一致しない。つまり、色差成分は、輝度成分の中間の位置にサンプルされる。
【００１１】
また、図５（ｂ）は水平方向のみ１／２に間引く方法を示す。これは、４：２：２サンプリングと呼ばれる。さらに、図５（ｃ）は間引きを行わない場合を示す。これは、４：４：４サンプリングと呼ばれる。
【００１２】
図６は、水平垂直方向ともに１／２に間引く場合のプログレッシブ形式におけるフレーム構造とインターレース形式におけるフィールド構造とでのサンプル位置関係を示している。前述のとおり、フレーム構造では、全てのサンプル位置の画素を同時に撮像し１枚のフレームとするが、フィールド構造では、輝度成分と色差成分のそれぞれに対して、偶数行目の画素のみを撮像したトップフィールドと奇数行目の画素のみを撮像したボトムフィールドとの２枚のフィールドに分けられる。このとき、色差成分の垂直方向のサンプル位置は輝度成分のサンプル位置に対し、トップフィールドでは偶数行目に対して下方向に１／４画素ずらした位置、ボトムフィールドでは奇数行目に対して上方向に１／４画素ずらした位置となっている。
【００１３】
次に、現在規格化が行われているＨＥＶＣの画面間予測符号化について図７を用いて詳しく説明する。画面間予測符号化は、既に符号化が完了しているピクチャ（以下、参照ピクチャと称す）から生成される予測画像を用いて符号化する方式である。予測画像を生成する際、符号化対象ブロックと最も画素値の構成が近くなるようなブロック領域を参照ピクチャから探索して予測画像とする。これにより、符号化対象ブロックと予測画像との差分画像の情報量を最小化できる。このとき、符号化対象ブロックの画素位置に対する予測画像として探索されたブロック領域の画素位置の移動量を動きベクトル（ＭＶ）と呼ぶ。
【００１４】
符号列に記述される動きベクトルは、輝度成分の画素位置の移動量に関する情報のみである。そのため、色差成分の予測画像を生成するための動きベクトルは、前記輝度成分の動きベクトルの値を間引きの割合に応じてスケーリングすることで算出する。図７において、色差成分は輝度成分に対して水平垂直方向ともに１／２に間引かれている。よって、色差成分の動きベクトルの値は、輝度成分の動きベクトルの値（−４、−６）に対して水平垂直方向ともに１／２にスケーリングした値（−２、−３）が適用される（非特許文献１）。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】JCTVC D503 : Working Draft 2 of High-Efficiency Video Coding (03/2011)
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら上記従来のＨＥＶＣの画面間予測符号化の構成では、図３のようにインターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合、輝度成分の動きベクトルの値から色差成分の動きベクトルの値を適切に求めることができなくなる。
【００１７】
図８は、符号化対象ピクチャがボトムフィールドで、参照ピクチャがトップフィールドである場合を示す。このとき、輝度成分と色差成分の動きベクトルの関係は図８に示すようになる。なお、図８では説明の簡略化のため、トップフィールドの輝度成分の垂直方向の位置と、ボトムフィールドの輝度成分の垂直方向の位置とが同じ位置になるように並べて記載している。このとき、色差成分の垂直方向のサンプル位置は、図６を用いて説明したように、輝度成分のサンプル位置に対し、トップフィールドでは偶数行目に対して下方向に１／４画素ずらした位置、ボトムフィールドでは奇数行目に対して上方向に１／４画素ずらした位置、言い換えると偶数行目に対して下方向に３／４画素ずらした位置となっている。
【００１８】
図８の例では、輝度成分の動きベクトルの値が（−６、２）であるため、上記従来のＨＥＶＣの画面間予測符号化の構成に従うと、水平垂直方向ともに１／２にスケーリングした値である（−３、１）が色差成分の動きベクトルとして算出される。具体的には、輝度成分に関しては、符号化対象ピクチャにおける注目ブロックの左上の画素の位置は（６、２）であり、参照ピクチャにおける動きベクトルによって選択されたブロックの左上の画素の位置は（０、４）となっているのに対し、色差成分に関しては、符号化対象ピクチャにおける注目ブロックの左上の画素の位置は（３、１）であり、参照ピクチャにおける動きベクトルによって選択されたブロックの左上の画素の位置は（０、２）となっている。しかし、輝度成分のサンプル位置と色差成分のサンプル位置とを同じスケールで対応付けて考えると、水平垂直方向ともにそのまま１／２にスケーリングした値を用いると、輝度成分の動きベクトルと色差成分の動きベクトルとが同じ方向を示していないことになる。つまり、図８のように２つの動きベクトルの矢印が平行関係でなくなってしまっている。
【００１９】
本発明は上記課題を解決するものであり、ＨＥＶＣを用いた動画像復号化装置において、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして復号化する場合でも、画面間予測符号化において、輝度成分の動きベクトルから色差成分の動きベクトルを正確に算出することを可能とする。
【課題を解決するための手段】
【００２０】
本発明の動画像符号化装置は、インターレース形式またはプログレッシブ形式の動画像形式を有し、輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化して得られる符号列を、ピクチャ単位で復号化する動画像復号化装置であって、前記符号列のヘッダ領域を解析し、前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報および、前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて生成されたピクチャ内における前記色差成分のサンプル位置に関するサンプル位置情報を取得するサンプル位置情報解析部と、前記符号列のヘッダ領域を解析し、前記輝度成分を符号化処理単位であるブロック毎に符号化する際に適用した動きベクトルを取得し、さらに前記色差成分のサンプル位置情報に基づいて前記輝度成分の動きベクトルを補正することにより、前記ブロックにおける前記色差成分を符号化する際に適用した動きベクトルを算出する動きベクトル算出部と、前記算出した輝度成分の動きベクトルおよび前記色差成分の動きベクトルを用いて、前記符号列を復号化単位であるブロック毎に復号化し、前記ピクチャを取得するピクチャデータ復号化部と、前記表示制御情報がプログレッシブ形式を示す場合、前記取得したピクチャを１枚のフレームと設定し前記フレームを表示順に１枚ずつ出力し、一方前記表示制御情報がインターレース形式を示す場合、前記取得したピクチャを１枚のフィールドと設定し、対になるトップフィールドとボトムフィールドを取得した時点で表示順に出力するピクチャメモリと、を備える。
【００２１】
また好ましくは、前記サンプル位置情報解析部は、前記ピクチャ内における前記色差成分のサンプル位置と前記輝度成分のサンプル位置とのずれを示すシフト量を前記色差成分のサンプル位置情報として取得し、前記ピクチャデータ復号化部は、前記符号列におけるヘッダ領域のうちピクチャ単位で生成する領域から前記サンプル位置情報を取得する。
【００２２】
また好ましくは、前記動きベクトル算出部は、復号化対象ピクチャにおいて生成したサンプル位置情報と、前記ピクチャ復号化対象ピクチャが参照する参照ピクチャにおいて生成したサンプル位置情報との差分値に基づいて、前記輝度成分の動きベクトルを補正することにより、前記色差成分の動きベクトルを算出する。
【００２３】
また好ましくは、前記サンプル位置情報解析部は、復号化対象ピクチャにおける色差成分のサンプル位置と、前記復号化対象ピクチャが参照する参照ピクチャにおける色差成分のサンプル位置とのずれを示すシフト量を前記サンプル位置情報として取得し、前記ピクチャデータ復号化部は、前記符号列におけるヘッダ領域のうち前記参照ピクチャを指定するための情報を記述する領域から前記サンプル位置情報を格納する。
【００２４】
また好ましくは、前記動きベクトル算出部は、復号化対象である前記ブロックが参照する参照ピクチャに対応づけられた前記サンプル位置情報を用いて、前記輝度成分の動きベクトルを補正することにより、前記色差成分の動きベクトルを算出する。
【００２５】
また好ましくは、前記色差成分のサンプル位置情報は、垂直成分のみの情報を有する。
【００２６】
また好ましくは、前記色差成分のサンプル位置情報は、垂直成分と水平成分の両方の情報を有する。
【００２７】
また好ましくは、前記色差成分のサンプル位置情報は、復号化対象ピクチャが、インターレース形式のトップフィールドであるか、インターレース形式のボトムフィールドであるかを示す情報である。
【００２８】
また好ましくは、前記サンプル位置情報解析部は、ピクチャ全体の符号化制御情報を記述するヘッダ領域から前記色差成分のサンプル位置情報を取得する。
【００２９】
また好ましくは、前記サンプル位置情報解析部は、前記ピクチャを分割した単位であるスライスに関する符号化制御情報を記述するヘッダ領域から前記色差成分のサンプル位置情報を取得する。
【００３０】
また好ましくは、前記シフト量は、輝度成分のサンプル位置の間隔の１／４を１単位とした値である。
【００３１】
なお、本発明は、このような動画像符号化および動画像復号化装置として実現することができるだけでなく、このような動画像符号化および動画像復号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。
【発明の効果】
【００３２】
以上より、本発明における動画像符号化装置は、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合でも、画面間予測符号化において、輝度成分の動きベクトルから色差成分の動きベクトルを正確に算出することができる。
【００３３】
また、本発明における動画像復号化装置は、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化した符号列を復号化する場合でも、画面間予測復号化において、輝度成分の動きベクトルから色差成分の動きベクトルを正確に算出することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態１に係る動画像符号化装置を示すブロック図である。
【図２】本発明の実施の形態２に係る動画像復号化装置を示すブロック図である。
【図３】従来のプログレッシブ形式の動画像の符号化方法を説明するための概念図である。
【図４】従来のインターレース形式の動画像の符号化方法を説明するための概念図である。
【図５】輝度成分と色差成分のサンプル位置の関係を説明するための概念図である。
【図６】インターレース形式における輝度成分と色差成分のサンプル位置の関係を説明するための概念図である。
【図７】従来の画面間予測における輝度成分の動きベクトルから色差成分の動きベクトルを算出する一例を説明するための概念図である。
【図８】従来の画面間予測における輝度成分の動きベクトルから色差成分の動きベクトルを算出する別の一例を説明するための概念図である。
【図９】本発明の実施の形態１に係る符号化処理のフローチャートである。
【図１０】本発明の実施の形態における輝度成分の動きベクトルから色差成分の動きベクトルを算出する一例を説明するための概念図である。
【図１１】本発明の実施の形態における輝度成分の動きベクトルから色差成分の動きベクトルを算出する別の一例を説明するための概念図である。
【図１２】本発明の実施の形態における輝度成分の動きベクトルから色差成分の動きベクトルを算出するさらに別の一例を説明するための概念図である。
【図１３】本発明の実施の形態によって生成される符号列の構成を説明するための概念図である。
【図１４】本発明の実施の形態によって生成されるスライスヘッダのシンタックスの一例を説明するための概念図である。
【図１５】本発明の実施の形態によって生成されるスライスヘッダのシンタックスの別の一例を説明するための概念図である。
【図１６】本発明の実施の形態によって生成される符号列の別の構成を説明するための概念図である。
【図１７】本発明の実施の形態によって生成されるピクチャヘッダのシンタックスの一例を説明するための概念図である。
【図１８】本発明の実施の形態２に係る復号化処理のフローチャートである。
【発明を実施するための形態】
【００３５】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。
【００３６】
（符号化装置全体の処理説明）
図１は、本発明の実施の形態に係る動画像符号化装置１００のブロック図である。動画像符号化装置１００は、ピクチャ単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理する。そして、動画像符号化装置１００は、符号列を生成する。
【００３７】
この動画像符号化装置１００は、ピクチャメモリ１０１と、予測残差符号化部１０２と、予測残差復号化部１０３と、ローカルバッファ１０４と、予測符号化部１０５と、量子化値決定部１０６と、符号列生成部１０７と、色差サンプル位置情報生成部１０８とを備えている。
【００３８】
ピクチャメモリ１０１は、表示を行う順にピクチャ単位で入力される入力画像信号１５１を、符号化を行う順にピクチャの並び替えを行って蓄積する。入力画像信号１５１はプログレッシブ形式とインターレース形式との双方があり、プログレッシブ形式の場合は１枚のフレームを１枚のピクチャとして、インターレース形式の場合は１枚のフィールドを１枚のピクチャとして以降の符号化処理を適用する。
【００３９】
次に、ピクチャメモリ１０１は、差分演算部１０９および予測符号化部１０５からの読出し命令を受けると当該読出し命令に係る画像信号をそれぞれ出力する。このとき、各々のピクチャは複数の画素から構成される符号化単位であるブロックに分割される。このブロックは、例えば水平６４×垂直６４画素、水平３２×垂直３２画素、水平１６×垂直１６画素から成る。なお、本実施形態における動画像符号化装置１００ではブロック単位で以降の処理が行われる。
【００４０】
予測残差符号化部１０２は、差分演算部１０９から出力される差分画像信号１５２に対して直交変換を行う。さらに、予測残差符号化部１０２は、得られた各周波数成分の直交変換係数に対し量子化を行うことで残差符号化信号１５３を生成する。そして、予測残差符号化部１０２は、予測残差復号化部１０３および符号列生成部１０７に、残差符号化信号１５３を出力する。このとき予測残差符号化部１０２は、量子化値決定部１０６において決定された量子化値を用いて直交変換係数を量子化する。
【００４１】
予測残差復号化部１０３は、予測残差符号化部１０２から出力される残差符号化信号１５３に対して、逆量子化および逆直交変換することで差分画像情報の復元を行い、生成した残差復号化信号１５４を加算演算部１１０に出力する。
【００４２】
ローカルバッファ１０４は、加算演算部１１０から出力される再構成画像信号１５５を格納する。この再構成画像信号１５５は、現在符号化対象となっているピクチャ以降のピクチャの符号化における予測符号化処理において参照用の画素データとして使用される。ローカルバッファ１０４は、予測符号化部１０５からの読出し命令に応じて、格納している再構成画像信号１５５を画素データとして予測符号化部１０５へ出力する。
【００４３】
予測符号化部１０５は、ピクチャメモリ１０１から出力される画像信号を基に、画面内予測、または画面間予測を用いて予測画像信号１５６を生成し、差分演算部１０９および加算演算部１１０に出力する。なお、予測符号化部１０５は、画面間予測を行う際は、ローカルバッファ１０４に蓄積される既に符号化済みのピクチャの再構成画像信号１５５を用いる。また、画面内予測を行う際は、符号化対象ブロックに隣接する既に符号化済みのブロックの再構成画像信号１５５を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくできるかを推定して行われる。予測符号化部１０５は、予測方法に関する情報である予測情報信号１５７を、符号列生成部１０７に出力する。
【００４４】
量子化値決定部１０６は、ピクチャメモリ１０１に格納されるピクチャに基づいて、予測残差符号化部１０２で差分画像信号１５２を量子化する際の量子化値を決定する。なお、量子化値決定１０６における量子化値の決定方法は、符号列信号１５９のビットレートが目標とするするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の決定方法を用いてもよい。
【００４５】
符号列生成部１０７は、予測残差符号化部１０２が出力する残差符号化信号１５３と、予測符号化部１０５が出力する予測情報信号１５７と、量子化値決定部１０６が出力する量子化値と、色差サンプル位置情報生成部１０８が出力する色差サンプル位置情報信号１５８に対して可変長符号化を施すことで符号列信号１５９を生成する。
【００４６】
色差サンプル位置情報生成部１０８は、外部から指定される動画像形式に関する情報、例えば、符号化対象の動画像がプログレッシブ形式であるかインターレース形式であるかの情報、もしくは符号化対象の動画像の輝度成分に対する色差成分の間引き方法に関する情報を基に、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係を示す色差サンプル位置情報を生成する。生成された色差サンプル位置情報信号１５８は予測符号化部１０５および符号列生成部１０７に出力される。
【００４７】
ここで、色差サンプル位置情報としては、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、輝度成分の座標空間上においてどれくらいずれているかを示すシフト量で定義される。従来の技術で説明した図６の例を用いて詳しく説明する。ここで、図６に示すピクチャの座標空間は、最も左上の画素位置の座標を（０，０）とする。さらに、垂直下方向または水平右方向に変位するにつれ座標がプラスとなるように座標空間を設定する。例えば、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、水平方向に０画素分、垂直方向に０．５画素分下にずれている。よってシフト量は（０、０．５）となる。同様に、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．２５画素分下にずれている。よってシフト量は（０、０．２５）となる。また、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．７５画素分下にずれている。よってシフト量は（０、０．７５）となる。
【００４８】
差分演算部１０９は、ピクチャメモリ１０１から読み出された画像信号と予測符号化部１０５から出力される予測画像信号１５６との差分値である差分画像信号１５２を生成し、予測残差符号化部１０２に出力する。
【００４９】
加算演算部１１０は、予測残差復号化部１０３から出力される残差復号化信号１５４と予測符号化部１０５から出力される予測画像信号１５６とを加算することにより再構成画像信号１５５を生成し、ローカルバッファ１０４に出力する。
【００５０】
（色差サンプル位置情報生成の処理全体説明）
ここで、色差サンプル位置情報生成部１０８で色差サンプル位置情報信号１５８を生成し、符号列生成部１０７で符号列を生成する方法、および予測符号化部１０５で画面間予測符号化を行う方法について、図９の符号化処理全体のフローチャートを用いて具体的に説明する。
【００５１】
まず、ステップＳ９０１において、符号列生成部１０７はシーケンス単位のヘッダ領域の符号列生成を行う。シーケンス単位のヘッダ領域には、符号化および復号化制御においてシーケンス全体で共通に必要となる情報が記述される。
【００５２】
次に、ステップＳ９０２において、色差サンプル位置情報生成部１０８は、外部から指定される動画像形式に関する情報、例えば、符号化対象の動画像がプログレッシブ形式であるかインターレース形式であるかの情報、もしくは符号化対象の動画像の輝度成分に対する色差成分の間引き方法に関する情報を基に、符号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報信号１５８を生成する。
【００５３】
次に、ステップＳ９０３において、符号列生成部１０７はピクチャ単位およびスライス単位のヘッダ領域の符号列生成を行う。ピクチャ単位のヘッダ領域には、符号化および復号化制御において符号化対象ピクチャ全体で共通に必要となる情報が記述される。また、スライス単位のヘッダ領域には、符号化および復号化制御において符号化対象ピクチャに属する複数のブロックから構成されるスライス全体で共通に必要となる情報、および符号化対象ピクチャ全体で共通に必要となる情報が記述される。このとき、ステップＳ９０２において生成された色差サンプル位置情報が、ピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域に記述される。
【００５４】
最後に、ステップＳ９０４において、図１を用いて説明した符号化対象ピクチャの一連の符号化処理を行いピクチャデータの符号列生成を行う。このとき、予測符号化部１０５では、ステップＳ９０２において生成された色差サンプル位置情報を用いて、輝度成分の動きベクトルから色差成分の動きベクトルを算出することで画面間予測処理が行われる。
【００５５】
符号化対象ピクチャの処理が完了すると、ステップＳ９０２に戻って次のピクチャの符号化処理に移り、シーケンス内の全てのピクチャの符号化処理が完了するまでステップＳ９０２からステップＳ９０４の処理を繰り返す。
【００５６】
（色差成分の動きベクトル算出方法について）
ここで、予測符号化部１０５において画面間予測を行う際に、輝度成分の動きベクトルから色差成分の動きベクトルを算出する方法について詳しく説明する。
【００５７】
画面間予測では、符号列に記述される動きベクトルは輝度成分の画素位置の移動量に関する情報のみとなっている。そのため、色差成分の予測画像を生成するための動きベクトルは、間引きの割合に応じて、前記輝度成分の動きベクトルの値をスケーリングすることで算出する。
【００５８】
このとき、本実施の形態では、図７および図８を用いて説明した従来の技術とは異なり、（数１）および（数２）に示す方法により色差サンプル位置情報を用いてスケーリングの補正を行うことで、輝度成分と色差成分のサンプル位置がどのような関係にあっても正確な色差成分の動きベクトルを算出することが可能である。
【００５９】
ここで、ＣＭＶｘは算出する色差成分の動きベクトルの水平方向を示す値とする。ＣＭＶｙは算出する色差成分の動きベクトルの垂直方向を示す値とする。さらに、ＬＭＶｘは対応する輝度成分の動きベクトルの水平方向を示す値とする。また、ＬＭＶｙは対応する輝度成分の動きベクトルの垂直方向を示す値とする。さらに、ＣｕｒＳｆｔｘは符号化対象ピクチャの色差サンプル位置のシフト量の水平方向を示す値とする。ＣｕｒＳｆｔｙは符号化対象ピクチャの色差サンプル位置のシフト量の垂直方向を示す値とする。ＲｅｆＳｆｔｘは参照ピクチャの色差サンプル位置のシフト量の水平方向を示す値とする。さらに、ＲｅｆＳｆｔｙは参照ピクチャの色差サンプル位置のシフト量の垂直方向を示す値とする。
【００６０】
下記の（数１）および（数２）は、色差成分が輝度成分に対して水平垂直方向ともに１／２に間引かれている場合の処理を示している。なお、説明の簡略化のため、（数１）および（数２）では、ＣＭＶｘ、ＣＭＶｙの単位を、値１で色差成分の１画素とする。さらに、ＬＭＶｘ、ＬＭＶｙの単位を、値１で輝度成分の１画素とする。そして、ＣｕｒＳｆｔｘ、ＣｕｒＳｆｔｙ、ＲｅｆＳｆｔｘ、ＲｅｆＳｆｔｙの単位を、値１で輝度成分の１画素とする。
【００６１】
（数１）ＣＭＶｘ＝(ＬＭＶｘ＋(ＣｕｒＳｆｔｘ−ＲｅｆＳｆｔｘ））／２
（数２）ＣＭＶｙ＝(ＬＭＶｙ＋(ＣｕｒＳｆｔｙ−ＲｅｆＳｆｔｙ））／２
なお、ＨＥＶＣやＨ．２６４の動画像符号化方式では、輝度成分の動きベクトルは１／４画素精度の値を、色差成分の動きベクトルは１／８画素精度の値をとることが可能である。この画素精度の違いを考慮して、（数１）および（数２）は、（数３）および（数４）のように表現することも可能である。このとき、（数３）および（数４）では、ＣＭＶｘ、ＣＭＶｙの単位を、値１で色差成分の１／８画素とする。さらに、ＬＭＶｘ、ＬＭＶｙの単位を、値１で輝度成分の１／４画素とする。そして、ＣｕｒＳｆｔｘ、ＣｕｒＳｆｔｙ、ＲｅｆＳｆｔｘ、ＲｅｆＳｆｔｙの単位を、値１で輝度成分の１／４画素に相当とする。
【００６２】
（数３）ＣＭＶｘ＝ＬＭＶｘ＋(ＣｕｒＳｆｔｘ−ＲｅｆＳｆｔｘ)
（数４）ＣＭＶｙ＝ＬＭＶｙ＋(ＣｕｒＳｆｔｙ−ＲｅｆＳｆｔｙ)
図１０は、符号化対象の動画像がプログレッシブ形式であり、符号化対象ピクチャも参照ピクチャもフレーム構造である場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は、符号化対象ピクチャについても参照ピクチャについても（０、０．５）となる。輝度成分の動きベクトルの値が（−４、−６）であるため、（数１）および（数２）に従って色差成分の動きベクトルの値を算出すると（−２、−３）となる。なお、（数３）および（数４）の表現に置き換えると、色差サンプル位置のシフト量は（０、２）であり、輝度成分の動きベクトルの値は（−１６、−２４）、生成される色差成分の動きベクトルの値は（−１６、−２４）となる。
【００６３】
一方、図１１は、符号化対象の動画像がインターレース形式であり、符号化対象ピクチャがボトムフィールドで、参照ピクチャがトップフィールドであった場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は、符号化対象ピクチャは（０、０．７５）、参照ピクチャは（０、０．２５）となる。輝度成分の動きベクトルの値が（−６、２）であるため、（数１）および（数２）に従って色差成分の動きベクトルの値を算出すると（−３、１．２５）となる。なお、（数３）および（数４）の表現に置き換えると、色差サンプル位置のシフト量は、符号化対象ピクチャが（０、３）、参照ピクチャが（０、１）であり、輝度成分の動きベクトルの値は（−２４、８）、生成される色差成分の動きベクトルの値は（−２４、１０）となる。
【００６４】
同様に、図１２は、符号化対象の動画像がインターレース形式であり、符号化対象ピクチャがトップフィールドで、参照ピクチャがボトムフィールドであった場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は、符号化対象ピクチャは（０、０．２５）、参照ピクチャは（０、０．７５）となる。輝度成分の動きベクトルの値が（−６、２）であるため、（数１）および（数２）に従って色差成分の動きベクトルの値を算出すると（−３、０．７５）となる。なお、（数３）および（数４）の表現に置き換えると、色差サンプル位置のシフト量は、符号化対象ピクチャが（０、１）、参照ピクチャが（０、３）であり、輝度成分の動きベクトルの値は（−２４、８）、生成される色差成分の動きベクトルの値は（−２４、６）となる。
【００６５】
このように、図８を用いて説明した従来の技術では、色差成分の動きベクトルを正確に求めることができず、輝度成分の動きベクトルと色差成分の動きベクトルとが平行関係になかったが、本発明による図１１および図１２の例では、色差成分の動きベクトルを正確に求めることが可能となり、輝度成分の動きベクトルと色差成分の動きベクトルとが平行関係になっているのが分かる。
【００６６】
なお、符号化対象の動画像がプログレッシブ形式である場合は、前述のとおり符号化対象ピクチャと参照ピクチャの色差サンプル位置のシフト量は常に同じ値になるため、（数１）および（数２）、もしくは（数３）および（数４）で説明した処理を行わず、従来の技術と同様に間引きの割合に応じてそのままスケーリングすることで算出してもよい。
【００６７】
また、符号化対象の動画像がインターレース形式であった場合でも、図５を用いて説明した色差成分の間引き方法が、図５（ｂ）のように４：２：２サンプリングと呼ばれる水平方向のみ１／２に間引く方法や、図５（ｃ）のように４：４：４サンプリングと呼ばれる間引きを行わない方法であった場合、前述のプログレッシブ形式の場合と同様に、符号化対象ピクチャと参照ピクチャの色差サンプル位置のシフト量は常に同じ値になるため、（数１）および（数２）、もしくは（数３）および（数４）で説明した処理を行わず、従来の技術と同様に間引きの割合に応じてそのままスケーリングすることで算出してもよい。
【００６８】
また、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、（数１）もしくは（数３）で説明した処理を行わず、（数２）もしくは（数４）で説明した処理のみを行うという構成にしてもよい。
【００６９】
（符号列１５９のシンタックス構成に関して）
次に、本実施の形態によって生成される符号列１５９の構成を、図１３を用いて説明する。
【００７０】
生成される符号列１５９は、シーケンス単位の符号化制御情報を記述したシーケンスヘッダ領域、ピクチャ単位の符号化制御情報を記述したピクチャヘッダ領域、スライス単位の符号化制御情報を記述したスライスヘッダ領域、およびスライスデータで構成されている。このとき、図９におけるステップＳ９０２で生成した色差サンプル位置情報はスライスヘッダ領域に記述される。
【００７１】
ここで、色差サンプル位置情報が記述されるスライスヘッダ領域のシンタックスについて図１４を用いて詳しく説明する。なお、図１４では本発明に関連するシンタックス以外は省略して記載している。
【００７２】
図１４（ａ）では、色差サンプル位置情報として、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘとｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙとがスライスヘッダ領域に記述されている。
【００７３】
ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘは、符号化対象ピクチャにおける、色差成分のサンプル位置が輝度成分のサンプル位置に対して、輝度成分の座標空間上においてどれくらいずれているかを示す水平方向のシフト量であり、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙは同垂直方向のシフト量である。例えば、従来の技術で説明した図６の例を用いると、シフト量を（ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘ、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙ）と表現したとき、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合は（０、０．５）となり、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は（０、０．２５）となり、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は（０、０．７５）となる。
【００７４】
なお、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙの値の単位は任意であり、例えば、値１が輝度成分の１／４画素に相当するように表現した場合は、図６（ａ）は（０、２）、図６（ｂ）は（０、１）、図６（ｃ）は（０、３）となる。
【００７５】
なお、符号化対象の動画像がプログレッシブ形式である場合は、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となる。そのため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００７６】
また、符号化対象の動画像がインターレース形式であった場合でも、図５を用いて説明した色差成分の間引き方法が、図５（ｂ）のように４：２：２サンプリングと呼ばれる水平方向のみ１／２に間引く方法や、図５（ｃ）のように４：４：４サンプリングと呼ばれる間引きを行わない方法であった場合、前述のプログレッシブ形式の場合と同様に、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となる。そのため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００７７】
また、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘを記述せずに、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙのみを記述するようにしてもよい。
【００７８】
また、図１４（ａ）のように色差サンプル位置のシフト量を直接記述せずに、例えば、図１４（ｂ）のｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃように別の意味を持たせたパラメータから間接的に色差サンプル位置のシフト量を指定するようにしてもよい。
【００７９】
ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃは、０のときは、符号化対象ピクチャの色差成分は輝度成分に対して水平垂直ともに１／２に間引いたもの（４：２：０サンプル）であり、さらにインターレース形式のトップフィールドであることを示す。つまり、図６（ｂ）の構造のピクチャであることを示す。また、１のときは、符号化対象ピクチャの色差成分は輝度成分に対して水平垂直ともに１／２に間引いたもの（４：２：０サンプル）であり、さらにインターレース形式のボトムフィールドであることを示す。つまり、図６（ｃ）の構造のピクチャであることを示す。また、２のときは、それ以外の構造のピクチャであることを示す。
【００８０】
これにより、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃが、０のときは色差サンプル位置のシフト量が（０、０．２５）であり、１のときは色差サンプル位置のシフト量が（０、０．７５）であり、２のときは色差サンプル位置のシフト量が（０、０．５）もしくは（０、０）であることを間接的に指定することが可能となる。
【００８１】
なお、前述のｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃと同じ情報を、色差成分の間引き方法を示す情報と、インターレース形式のトップフィールドであるかボトムフィールドであるかを示す情報とに分けて記述する構成としてもよい。このとき、色差成分の間引き方法を示す情報として、例えば、図５（ａ）の４：２：０サンプリング、図５（ｂ）の４：２：２サンプリング、図５（ｃ）の４：４：４サンプリングのいずれかを示す情報とし、シーケンス全体で共通に必要となる情報としてシーケンス単位のヘッダ領域に記述する方法がある。一方、インターレース形式のトップフィールドであるかボトムフィールドであるかを示す情報として、例えば、値０のときはインターレース形式のトップフィールド、値１のときはインターレース形式のボトムフィールドを示すパラメータとし、ピクチャ全体で共通に必要となる情報としてピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域に記述する方法がある。
【００８２】
なお、図１４を用いて説明した色差サンプル位置情報は、符号化対象ピクチャに対して１つのみを対応付けるものである。しかし、１つのピクチャは複数のスライスから構成されているため、色差サンプル位置情報が記述されているスライスヘッダも複数符号化される。そのため、図１４を用いて説明した各パラメータは、対象となるスライスが属するピクチャにおいて常に同じ値が記述されることになる。
【００８３】
（符号列１５９の他のシンタックス構成に関して）
ここで、色差サンプル位置情報が記述されるスライスヘッダ領域のシンタックスの別の構成について図１５を用いて詳しく説明する。なお、図１５では本発明に関連するシンタックス以外は省略して記載している。
【００８４】
図１４を用いて説明した構成では、符号化対象ピクチャにおける色差サンプル位置のシフト量を１組だけ色差サンプル位置情報としてスライスヘッダに記述していた。しかし、図１５は、画面間予測における参照ピクチャの枚数分だけ色差サンプル位置情報として、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘとｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙをスライスヘッダに記述している。
【００８５】
ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘは、符号化対象ピクチャと参照ピクチャとにおける色差成分のサンプル位置の相対位置関係が、符号化対象ピクチャと参照ピクチャとにおける輝度成分のサンプル位置の相対位置関係に対して、どれだけずれているかを示す水平方向のシフト量である。
【００８６】
また、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙは、符号化対象ピクチャと参照ピクチャとにおける色差成分のサンプル位置の相対位置関係が、符号化対象ピクチャと参照ピクチャとにおける輝度成分のサンプル位置の相対位置関係に対して、どれだけずれているかを示す垂直方向のシフト量である。
【００８７】
例えば、シフト量を（ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘ、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙ）と表現したとき、図１０のように符号化対象ピクチャと参照ピクチャがフレーム構造であった場合は（０、０）となり、図１１のように符号化対象ピクチャがボトムフィールド構造で参照ピクチャがトップフィールド構造であった場合は（０、０．５）となり、図１２のように符号化対象ピクチャがボトムフィールド構造で参照ピクチャがトップフィールド構造であった場合は（０、−０．５）となる。
【００８８】
言い換えると、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙは、（数１）および（数２）における、（ＣｕｒＳｆｔｘ−ＲｅｆＳｆｔｘ）および（ＣｕｒＳｆｔｙ−ＲｅｆＳｆｔｙ）の値に相当する。要するに、図１５の構成を用いると（数１）および（数２）は、（数５）および（数６）のように単純化することができる。なお、ＭＶＳｆｔｘはｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘの値であり、ＭＶＳｆｔｙはｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙの値であり、ＭＶＳｆｔｘおよびＭＶＳｆｔｙの単位は、値１で輝度成分の１画素に相当するものとする。
【００８９】
（数５）ＣＭＶｘ＝(ＬＭＶｘ＋ＭＶＳｆｔｘ)／２
（数６）ＣＭＶｙ＝(ＬＭＶｙ＋ＭＶＳｆｔｙ)／２
また同様に、（数５）および（数６）も（数７）および（数８）のように単純化することができる。このとき、ＭＶＳｆｔｘおよびＭＶＳｆｔｙの単位は、値１で輝度成分の１／４画素に相当するものとする。
【００９０】
（数７）ＣＭＶｘ＝ＬＭＶｘ＋ＭＶＳｆｔｘ
（数８）ＣＭＶｙ＝ＬＭＶｙ＋ＭＶＳｆｔｙ
なお、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙの値の単位は任意である。例えば、値１が輝度成分の１／４画素に相当するとした場合は、図１０では（０、０）、図１１では（０、２）、図１２では（０、−２）となる。
【００９１】
なお、符号化対象の動画像がプログレッシブ形式である場合は、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となるので、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００９２】
また、符号化対象の動画像がインターレース形式であった場合でも、図５を用いて説明した色差成分の間引き方法が、図５（ｂ）のように４：２：２サンプリングと呼ばれる水平方向のみ１／２に間引く方法や、図５（ｃ）のように４：４：４サンプリングと呼ばれる間引きを行わない方法であった場合、前述のプログレッシブ形式の場合と同様に、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となるので、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００９３】
また、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｘを記述せずに、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｍｖ＿ｓｈｉｆｔ＿ｙのみを記述するようにしてもよい。
【００９４】
なお、図１５を用いて説明した色差サンプル位置情報は、参照ピクチャ毎に１つずつ対応付けるものである。また、１つのピクチャは複数のスライスから構成されているため、色差サンプル位置情報が記述されているスライスヘッダも複数符号化される。そのため、図１５を用いて説明した各パラメータは、１つのピクチャに属する複数のスライスがそれぞれ異なる参照ピクチャを指定する場合はスライス毎に異なる値が記述されるが、１つのピクチャに属する複数のスライスが常に同じ参照ピクチャを指定する場合は、対象となるスライスが属するピクチャにおいて常に同じ値が記述されることになる。
【００９５】
（符号列１５９の他のシンタックス構成に関して）
ここで、本実施の形態によって生成される符号列１５９における別のシンタックス構成を図１６に基づいて説明する。
【００９６】
生成される符号列１５９は、図１３を用いて説明した符号列の構成と同様に、シーケンス単位の符号化制御情報を記述したシーケンスヘッダ領域、ピクチャ単位の符号化制御情報を記述したピクチャヘッダ領域、スライス単位の符号化制御情報を記述したスライスヘッダ領域、およびスライスデータで構成されている。このとき、図１３を用いて説明した符号列の構成とは異なり、色差サンプル位置情報はスライスヘッダ領域ではなくピクチャヘッダ領域に記述されている。
【００９７】
色差サンプル位置情報が記述されるピクチャヘッダ領域のシンタックスについては図１７に示す通りであり、図１４を用いて説明した内容と全く同様であるので説明を省略する。なお、ピクチャヘッダはピクチャ毎に１つずつのみが生成されるため、色差サンプル位置情報もピクチャ毎に１つずつのみが指定可能であり、対象ピクチャ内の全てのスライスで共通して使用される。
【００９８】
なお、本実施の形態で説明した全てのパラメータ名およびパラメータ値については一例であり、これ以外のパラメータ名およびパラメータ値を用いて同様の機能を実現してもよい。
【００９９】
このように、本実施の形態による動画像符号化装置を用いることにより、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合でも、画面間予測符号化において、輝度成分の動きベクトルから色差成分の動きベクトルを正確に算出することができる。
【０１００】
（実施の形態２）
以下、本発明の実施の形態２について、図面を参照しながら説明する。
【０１０１】
（復号化装置全体の処理説明）
図２は、本発明の実施の形態に係る動画像復号化装置２００のブロック図である。動画像復号化装置２００は、実施の形態１で説明した動画像符号化装置によって生成された符号列に対し、ブロック単位で復号化処理する。そして、動画像復号化装置２００は、出力画像を生成する。
【０１０２】
この動画像復号化装置２００は、符号列解析部２０１と、予測残差復号化部２０２と、ピクチャメモリ２０３と、予測復号化部２０４と、量子化値決定部２０５と、色差サンプル位置情報解析部２０６を備えている。
【０１０３】
符号列解析部２０１は、入力された符号列信号２５１に対して可変長復号化を施すことによりヘッダ情報の解析およびブロック単位のピクチャデータの解析を行う。符号列解析部２０１は、解析して得られる残差符号化信号２５２を予測残差復号化部２０２へ出力する。また、符号列解析部２０１は、予測情報信号２５６を予測復号化部２０４へ出力する。さらに、符号列解析部２０１は、量子化値情報を量子化値決定部２０５へ出力する。そして、符号列解析部２０１は、色差サンプル位置情報信号２５７を色差サンプル位置情報解析部２０６へ出力する。
【０１０４】
予測残差復号化部２０２は、符号列解析部２０１から出力される残差符号化信号２５２に対して、逆量子化および逆直交変換を行うことで残差復号化信号２５３を生成し、加算演算部２０７に出力する。このとき予測残差復号化部２０２は、量子化値決定部２０５において決定された量子化値を用いて残差符号化信号２５２を逆量子化する。
【０１０５】
ピクチャメモリ２０３は、加算演算部２０７から出力される再構成画像信号２５５を格納する。この再構成画像信号２５５は、現在復号化対象となっているピクチャ以降のピクチャの復号化における予測復号化処理において参照用の画素データとして使用される。ピクチャメモリ２０３は、予測復号化部２０４からの読出し命令に応じて、格納している再構成画像信号２５５を画素データとして予測復号化部２０４へ出力する。
【０１０６】
また同時に、ピクチャメモリ２０４は、格納している再構成画像信号２５５を出力画像信号２５８として外部に出力する。出力画像信号２５８はプログレッシブ形式とインターレース形式との双方があり、プログレッシブ形式の場合は１枚のピクチャを１枚のフレームとして、インターレース形式の場合は１枚のピクチャを１枚のフィールドとして、表示順に並び替えることによって出力される。
【０１０７】
予測復号化部２０４は、符号列解析部２０１から出力される予測情報信号２５６を基に、画面内予測、または画面間予測を用いて予測画像信号２５４を生成し、加算演算部２０７に出力する。なお、予測復号化部２０４は、画面間予測を用いる際は、ピクチャメモリ２０３に蓄積される既に復号化済みのピクチャの再構成画像信号２５５を用いる。また、画面内予測を用いる際は、復号化対象ブロックに隣接する既に復号化済みのブロックの再構成画像信号２５５を用いる。画面内予測を用いるか画面間予測を用いるかの判定については、入力される予測情報信号２５６に従って行われる。
【０１０８】
色差サンプル位置情報解析部２０６は、符号列解析部２０１から出力される色差サンプル位置情報信号２５７を解析して、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係を示す色差サンプル位置情報を取得する。取得された色差サンプル位置情報は予測符号化部２０４に出力される。
【０１０９】
ここで、色差サンプル位置情報としては、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、輝度成分の座標空間上においてどれくらいずれているかを示すシフト量で定義される。従来の技術で説明した図６の例を用いて詳しく説明する。ここで、図６に示すピクチャの座標空間は、最も左上の画素位置の座標を（０，０）とする。さらに、垂直下方向または水平右方向に変位するにつれ座標がプラスとなるように座標空間を設定する。例えば、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、水平方向に０画素分、垂直方向に０．５画素分下にずれている。よってシフト量は（０、０．５）となる。同様に、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．２５画素分下にずれている。よってシフト量は（０、０．２５）となる。また、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．７５画素分下にずれている。よってシフト量は（０、０．７５）となる。
【０１１０】
加算演算部２０７は、予測残差復号化部２０２から出力される残差復号化信号２５３と予測復号化部２０４から出力される予測画像信号２５４を加算することによって再構成画像信号２５５を生成し、ピクチャメモリ２０３に出力する。
【０１１１】
（色差サンプル位置情報の処理全体説明）
ここで、符号列解析部２０１で符号列を解析して得られた情報を基に、色差サンプル位置情報解析部２０６で色差サンプル位置情報を取得し、予測復号化部２０４で予測画像を生成する方法について、図１８の復号化処理全体のフローチャートを用いて具体的に説明する。
【０１１２】
まず、ステップＳ１８０１において、符号列解析部２０１はシーケンス単位のヘッダ領域の符号列解析を行う。シーケンス単位のヘッダ領域には、復号化制御においてシーケンス全体で共通に必要となる情報が記述されている。
【０１１３】
次に、ステップＳ１８０２において、符号列解析部２０１はピクチャ単位およびスライス単位のヘッダ領域の符号列解析を行う。ピクチャ単位のヘッダ領域には、復号化制御において復号化対象ピクチャ全体で共通に必要となる情報が記述されている。また、スライス単位のヘッダ領域には、復号化制御において復号化対象ピクチャに属する複数のブロックから構成されるスライス全体で共通に必要となる情報、および復号化対象ピクチャ全体で共通に必要となる情報が記述されている。このとき、色差サンプル位置情報信号２５７が、ピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域から取得される。
【０１１４】
次に、ステップＳ１８０３において、色差サンプル位置情報解析部２０６は、ステップＳ１８０２で取得された色差サンプル位置情報信号２５７を解析して、符号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報を生成する。
【０１１５】
最後に、ステップＳ１８０４において、図２を用いて説明した復号化対象ピクチャの一連の復号化処理を行い復号化画像の生成を行う。このとき、予測復号化部２０４では、ステップＳ１８０３において解析された色差サンプル位置情報を用いて、輝度成分の動きベクトルから色差成分の動きベクトルを算出することで画面間予測処理が行われる。
【０１１６】
復号化対象ピクチャの処理が完了すると、ステップＳ１８０２に戻って次のピクチャの復号化処理に移り、シーケンス内の全てのピクチャの復号化処理が完了するまでステップＳ１８０２からステップＳ１８０４の処理を繰り返す。
【０１１７】
（色差成分の動きベクトル算出方法について）
ここで、予測復号化部２０４において画面間予測を行う際に、輝度成分の動きベクトルから色差成分の動きベクトルを算出する方法について説明する。
【０１１８】
画面間予測では、符号列に記述されている動きベクトルは輝度成分の画素位置の移動量に関する情報のみである。そのため、色差成分の予測画像を生成するための動きベクトルは、前記輝度成分の動きベクトルの値を間引きの割合に応じてスケーリングすることで算出する。
【０１１９】
このとき本実施の形態では、色差サンプル位置情報を用いて、実施の形態１で（数１）から（数８）および図１０から図１２を用いて説明した動画像符号化装置における画面間予測の処理と全く同様の処理を行うことで、色差成分の動きベクトルを生成する。よって、復号化対象ピクチャが、プログレッシブ形式に属するフレーム構造であっても、さらにインターレース形式に属するトップフィールド構造もしくはボトムフィールド構造であっても、もしくはそれ以外の理由により輝度成分のサンプル位置と色差成分のサンプル位置とが一致していない場合においても、常に正確に輝度成分の動きベクトルから色差成分の動きベクトルを算出して画面間予測を行うことができる。
【０１２０】
（符号列２５１のシンタックス構成に関して）
最後に、本実施の形態で復号化対象とする符号列２５１の構成およびシンタックスは、実施の形態１で図１３から図１７を用いて説明したものと全く同様であるので、ここでは説明を省略する。
【０１２１】
このように、本実施の形態による動画像復号化装置を用いることにより、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化した符号列を復号化する場合でも、画面間予測復号化において、輝度成分の動きベクトルから色差成分の動きベクトルを正確に算出することができる。
【０１２２】
（その他の実施形態）
さらに、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１２３】
また、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【０１２４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１２５】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【０１２６】
また、本発明は、上述した動画像符号化装置および動画像復号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。
【０１２７】
また、上記実施の形態に係る、動画像符号化装置および動画像復号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【産業上の利用可能性】
【０１２８】
本発明は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、及びパーソナルコンピューター等における、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置や、前記動画像符号化データを復号化して復号化画像を生成する動画像復号化装置として有用である。
【符号の説明】
【０１２９】
１００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 予測残差復号化部
１０４ ローカルバッファ
１０５ 予測符号化部
１０６ 量子化値決定部
１０７ 符号列生成部
１０８ 色差サンプル位置情報生成部
１０９ 差分演算部
１１０ 加算演算部
１５１ 入力画像信号
１５２ 差分画像信号
１５３ 残差符号化信号
１５４ 残差復号化信号
１５５ 再構成画像信号
１５６ 予測画像信号
１５７ 予測情報信号
１５８ 色差サンプル位置情報信号
１５９ 符号列信号
２００ 動画像復号化装置
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ ピクチャメモリ
２０４ 予測復号化部
２０５ 量子化値決定部
２０６ 色差サンプル位置情報解析部
２０７ 加算演算部
２５１ 符号列信号
２５２ 残差符号化信号
２５３ 残差復号化信号
２５４ 予測画像信号
２５５ 再構成画像信号
２５６ 予測情報信号
２５７ 色差サンプル位置情報信号
２５８ 出力画像信号
【特許請求の範囲】
【請求項１】
インターレース形式またはプログレッシブ形式の動画像形式を有し、輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化して得られる符号列を、ピクチャ単位で復号化する動画像復号化装置であって、
前記符号列のヘッダ領域を解析し、前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報および、前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて生成されたピクチャ内における前記色差成分のサンプル位置に関するサンプル位置情報を取得するサンプル位置情報解析部と、
前記符号列のヘッダ領域を解析し、前記輝度成分を符号化処理単位であるブロック毎に符号化する際に適用した動きベクトルを取得し、さらに前記色差成分のサンプル位置情報に基づいて前記輝度成分の動きベクトルを補正することにより、前記ブロックにおける前記色差成分を符号化する際に適用した動きベクトルを算出する動きベクトル算出部と、
前記算出した輝度成分の動きベクトルおよび前記色差成分の動きベクトルを用いて、前記符号列を復号化単位であるブロック毎に復号化し、前記ピクチャを取得するピクチャデータ復号化部と、
前記表示制御情報がプログレッシブ形式を示す場合、前記取得したピクチャを１枚のフレームと設定し前記フレームを表示順に１枚ずつ出力し、一方前記表示制御情報がインターレース形式を示す場合、前記取得したピクチャを１枚のフィールドと設定し、対になるトップフィールドとボトムフィールドを取得した時点で表示順に出力するピクチャメモリと、を備える、
動画像復号化装置。
【請求項２】
前記サンプル位置情報解析部は、前記ピクチャ内における前記色差成分のサンプル位置と前記輝度成分のサンプル位置とのずれを示すシフト量を前記色差成分のサンプル位置情報として取得し、
前記ピクチャデータ復号化部は、前記符号列におけるヘッダ領域のうちピクチャ単位で生成する領域から前記サンプル位置情報を取得する請求項１に記載の動画像復号化装置。
【請求項３】
前記動きベクトル算出部は、復号化対象ピクチャにおいて生成したサンプル位置情報と、前記ピクチャ復号化対象ピクチャが参照する参照ピクチャにおいて生成したサンプル位置情報との差分値に基づいて、前記輝度成分の動きベクトルを補正することにより、前記色差成分の動きベクトルを算出する請求項２に記載の動画像復号化装置。
【請求項４】
前記サンプル位置情報解析部は、復号化対象ピクチャにおける色差成分のサンプル位置と、前記復号化対象ピクチャが参照する参照ピクチャにおける色差成分のサンプル位置とのずれを示すシフト量を前記サンプル位置情報として取得し、
前記ピクチャデータ復号化部は、前記符号列におけるヘッダ領域のうち前記参照ピクチャを指定するための情報を記述する領域から前記サンプル位置情報を格納する請求項１に記載の動画像復号化装置。
【請求項５】
前記動きベクトル算出部は、復号化対象である前記ブロックが参照する参照ピクチャに対応づけられた前記サンプル位置情報を用いて、前記輝度成分の動きベクトルを補正することにより、前記色差成分の動きベクトルを算出する請求項４に記載の動画像復号化装置。
【請求項６】
前記色差成分のサンプル位置情報は、垂直成分のみの情報を有する請求項１に記載の動画像復号化装置。
【請求項７】
前記色差成分のサンプル位置情報は、垂直成分と水平成分の両方の情報を有する請求項１に記載の動画像復号化装置。
【請求項８】
前記色差成分のサンプル位置情報は、復号化対象ピクチャが、インターレース形式のトップフィールドであるか、インターレース形式のボトムフィールドであるかを示す情報である請求項１に記載の動画像復号化装置。
【請求項９】
前記サンプル位置情報解析部は、ピクチャ全体の符号化制御情報を記述するヘッダ領域から前記色差成分のサンプル位置情報を取得する請求項１に記載の動画像復号化装置。
【請求項１０】
前記サンプル位置情報解析部は、前記ピクチャを分割した単位であるスライスに関する符号化制御情報を記述するヘッダ領域から前記色差成分のサンプル位置情報を取得する請求項１に記載の動画像復号化装置。
【請求項１１】
前記シフト量は、輝度成分のサンプル位置の間隔の１／４を１単位とした値である請求項２または請求項４に記載の動画像復号化装置。
【請求項１２】
インターレース形式またはプログレッシブ形式の動画像形式を有し、輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化して得られる符号列を、ピクチャ単位で復号化する動画像復号化方法であって、
前記符号列のヘッダ領域を解析し、前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報および、前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて生成されたピクチャ内における前記色差成分のサンプル位置に関するサンプル位置情報を取得し、
前記符号列のヘッダ領域を解析し、前記輝度成分を符号化処理単位であるブロック毎に符号化する際に適用した動きベクトルを取得し、さらに前記色差成分のサンプル位置情報に基づいて前記輝度成分の動きベクトルを補正することにより、前記ブロックにおける前記色差成分を符号化する際に適用した動きベクトルを算出し、
前記算出した輝度成分の動きベクトルおよび前記色差成分の動きベクトルを用いて、前記符号列を復号化単位であるブロック毎に復号化し、前記ピクチャを取得し、
前記表示制御情報がプログレッシブ形式を示す場合、前記取得したピクチャを１枚のフレームと設定し前記フレームを表示順に１枚ずつ出力し、一方前記表示制御情報がインターレース形式を示す場合、前記取得したピクチャを１枚のフィールドと設定し、対になるトップフィールドとボトムフィールドを取得した時点で表示順に出力する、
動画像復号化方法。
【請求項１】
インターレース形式またはプログレッシブ形式の動画像形式を有し、輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化して得られる符号列を、ピクチャ単位で復号化する動画像復号化装置であって、
前記符号列のヘッダ領域を解析し、前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報および、前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて生成されたピクチャ内における前記色差成分のサンプル位置に関するサンプル位置情報を取得するサンプル位置情報解析部と、
前記符号列のヘッダ領域を解析し、前記輝度成分を符号化処理単位であるブロック毎に符号化する際に適用した動きベクトルを取得し、さらに前記色差成分のサンプル位置情報に基づいて前記輝度成分の動きベクトルを補正することにより、前記ブロックにおける前記色差成分を符号化する際に適用した動きベクトルを算出する動きベクトル算出部と、
前記算出した輝度成分の動きベクトルおよび前記色差成分の動きベクトルを用いて、前記符号列を復号化単位であるブロック毎に復号化し、前記ピクチャを取得するピクチャデータ復号化部と、
前記表示制御情報がプログレッシブ形式を示す場合、前記取得したピクチャを１枚のフレームと設定し前記フレームを表示順に１枚ずつ出力し、一方前記表示制御情報がインターレース形式を示す場合、前記取得したピクチャを１枚のフィールドと設定し、対になるトップフィールドとボトムフィールドを取得した時点で表示順に出力するピクチャメモリと、を備える、
動画像復号化装置。
【請求項２】
前記サンプル位置情報解析部は、前記ピクチャ内における前記色差成分のサンプル位置と前記輝度成分のサンプル位置とのずれを示すシフト量を前記色差成分のサンプル位置情報として取得し、
前記ピクチャデータ復号化部は、前記符号列におけるヘッダ領域のうちピクチャ単位で生成する領域から前記サンプル位置情報を取得する請求項１に記載の動画像復号化装置。
【請求項３】
前記動きベクトル算出部は、復号化対象ピクチャにおいて生成したサンプル位置情報と、前記ピクチャ復号化対象ピクチャが参照する参照ピクチャにおいて生成したサンプル位置情報との差分値に基づいて、前記輝度成分の動きベクトルを補正することにより、前記色差成分の動きベクトルを算出する請求項２に記載の動画像復号化装置。
【請求項４】
前記サンプル位置情報解析部は、復号化対象ピクチャにおける色差成分のサンプル位置と、前記復号化対象ピクチャが参照する参照ピクチャにおける色差成分のサンプル位置とのずれを示すシフト量を前記サンプル位置情報として取得し、
前記ピクチャデータ復号化部は、前記符号列におけるヘッダ領域のうち前記参照ピクチャを指定するための情報を記述する領域から前記サンプル位置情報を格納する請求項１に記載の動画像復号化装置。
【請求項５】
前記動きベクトル算出部は、復号化対象である前記ブロックが参照する参照ピクチャに対応づけられた前記サンプル位置情報を用いて、前記輝度成分の動きベクトルを補正することにより、前記色差成分の動きベクトルを算出する請求項４に記載の動画像復号化装置。
【請求項６】
前記色差成分のサンプル位置情報は、垂直成分のみの情報を有する請求項１に記載の動画像復号化装置。
【請求項７】
前記色差成分のサンプル位置情報は、垂直成分と水平成分の両方の情報を有する請求項１に記載の動画像復号化装置。
【請求項８】
前記色差成分のサンプル位置情報は、復号化対象ピクチャが、インターレース形式のトップフィールドであるか、インターレース形式のボトムフィールドであるかを示す情報である請求項１に記載の動画像復号化装置。
【請求項９】
前記サンプル位置情報解析部は、ピクチャ全体の符号化制御情報を記述するヘッダ領域から前記色差成分のサンプル位置情報を取得する請求項１に記載の動画像復号化装置。
【請求項１０】
前記サンプル位置情報解析部は、前記ピクチャを分割した単位であるスライスに関する符号化制御情報を記述するヘッダ領域から前記色差成分のサンプル位置情報を取得する請求項１に記載の動画像復号化装置。
【請求項１１】
前記シフト量は、輝度成分のサンプル位置の間隔の１／４を１単位とした値である請求項２または請求項４に記載の動画像復号化装置。
【請求項１２】
インターレース形式またはプログレッシブ形式の動画像形式を有し、輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化して得られる符号列を、ピクチャ単位で復号化する動画像復号化方法であって、
前記符号列のヘッダ領域を解析し、前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報および、前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて生成されたピクチャ内における前記色差成分のサンプル位置に関するサンプル位置情報を取得し、
前記符号列のヘッダ領域を解析し、前記輝度成分を符号化処理単位であるブロック毎に符号化する際に適用した動きベクトルを取得し、さらに前記色差成分のサンプル位置情報に基づいて前記輝度成分の動きベクトルを補正することにより、前記ブロックにおける前記色差成分を符号化する際に適用した動きベクトルを算出し、
前記算出した輝度成分の動きベクトルおよび前記色差成分の動きベクトルを用いて、前記符号列を復号化単位であるブロック毎に復号化し、前記ピクチャを取得し、
前記表示制御情報がプログレッシブ形式を示す場合、前記取得したピクチャを１枚のフレームと設定し前記フレームを表示順に１枚ずつ出力し、一方前記表示制御情報がインターレース形式を示す場合、前記取得したピクチャを１枚のフィールドと設定し、対になるトップフィールドとボトムフィールドを取得した時点で表示順に出力する、
動画像復号化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−３４１５９（Ｐ２０１３−３４１５９Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１７５８１７（Ｐ２０１１−１７５８１７）
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]