動画像符号化装置および動画像符号化方法
【課題】動画像符号化装置において画面内予測符号化を行う際に、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードで適切な色差成分の予測画像を生成することを可能とする。
【解決手段】本発明に係る動画像符号化装置１００は、色差サンプル位置情報生成部１０８において、符号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報を生成し符号列に記述することで、画面内予測符号化における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードで処理を行う際に、使用する輝度成分の画素を色差サンプル位置情報に基づいた補正を行うことで正確な予測画像を生成することを可能とする。
【解決手段】本発明に係る動画像符号化装置１００は、色差サンプル位置情報生成部１０８において、符号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報を生成し符号列に記述することで、画面内予測符号化における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードで処理を行う際に、使用する輝度成分の画素を色差サンプル位置情報に基づいた補正を行うことで正確な予測画像を生成することを可能とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログレッシブ形式の動画像信号およびインターレース形式の動画像信号を入力として符号化する動画像符号化装置および動画像符号化方法に関するものである。
【背景技術】
【０００２】
近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣと呼ばれる次世代画像符号化方式の標準化活動が進んでいる。
【０００３】
このような動画像の符号化では、符号化対象ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ブロックとの差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像の生成を行い、得られた予測画像と符号化対象ブロックとの差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。
【０００４】
また復号化では、前記符号化処理によって生成された符号列を解析して予測情報および残差係数情報を取得し、予測情報を用いて画面間予測復号化および画面内予測復号化を行って予測画像を生成し、残差係数情報に対して逆量子化および逆直交変換を行って差分画像を生成し、得られた予測画像と差分画像を加算することで最終的な出力画像を復元する。
【０００５】
このとき符号化および復号化の対象となる動画像の形式として、プログレッシブ形式とインターレース形式との２種類の形式がある。
【０００６】
プログレッシブ形式は、１画面全ての画素を同時に撮像し１枚のフレームとする形式である。一方、インターレース形式は、１画面の画素のうち偶数行目の画素のみを撮像したトップフィールドと奇数行目の画素のみを撮像したボトムフィールドとの２枚のフィールドで１枚のフレームを構成する形式である。
【０００７】
プログレッシブ形式の動画像に対しては、図３にあるように１枚のフレームを１枚のピクチャとして符号化する。例えばＦｒｍ３はＰ＿Ｆｒｍ１として符号化されている。画面間予測では符号化順で先に符号化が完了しているピクチャのみを参照することができる。そこで、図３にあるように表示順で入力されたピクチャを符号化順に並び替えることによって、画面間予測における参照ピクチャの参照をより効果的に行うことが可能となる。例えば、Ｐ＿Ｆｒｍ１はＩ＿Ｆｒｍ０のみが参照可能であり、Ｂ＿Ｆｒｍ２はＩ＿Ｆｒｍ０とＰ＿Ｆｒｍ１が参照可能である。これを表示順に置き換えて考えると、Ｐ＿Ｆｒｍ１はＦｒｍ３に相当するので前方向にあるＦｒｍ０のみが参照可能であるが、Ｂ＿Ｆｒｍ２はＦｒｍ１に相当するので前方向にあるＦｒｍ０だけでなく、後方向にあるＦｒｍ３も同時に参照可能となる。なお、Ｉ＿Ｆｒｍ０は他のピクチャを参照することなく画面内予測のみを行うピクチャである。
【０００８】
一方、インターレース形式の動画像に対しては、最も簡単な方法として図４にあるように１枚のフィールドを１枚のピクチャとして符号化する方法がある。例えばＦｌｄＴ６とＦｌｄＢ７はそれぞれＰ＿ＦｌｄＴ２とＰ＿ＦｌｄＢ３のように個別のフィールド構造のピクチャとして符号化されている。このように表示順で入力されたピクチャを符号化順に並び替えることによって、プログレッシブ形式の符号化と同様に画面間予測における参照ピクチャの参照をより効果的に行うことが可能となる。
【０００９】
図３および図４で説明した各ピクチャは輝度成分の画素と色差成分の画素とから構成されている。図５は、輝度成分と色差成分のそれぞれを画素値として取得するときのサンプル位置関係を説明するための図である。図中の×記号は輝度成分のサンプル位置、○記号は色差成分のサンプル位置を示している。
【００１０】
一般に人間の目は色差成分の変化に対して鈍感である。そのため、１つのピクチャにおけるデータ量を削減するために色差成分を間引く方法が用いられる。間引き方法はいくつかの種類がある。たとえば、図５（ａ）は水平垂直方向ともに色差成分を１／２に間引く方法を示す。これは、４：２：０サンプリングと呼ばれる。この４：２：０サンプリングの場合、色差成分の垂直方向のサンプル位置は輝度成分のサンプル位置とは一致しない。つまり、色差成分は、輝度成分の中間の位置にサンプルされる。
【００１１】
また、図５（ｂ）は水平方向のみ１／２に間引く方法を示す。これは、４：２：２サンプリングと呼ばれる。さらに、図５（ｃ）は間引きを行わない場合を示す。これは、４：４：４サンプリングと呼ばれる。
【００１２】
図６は、水平垂直方向ともに１／２に間引く場合のプログレッシブ形式におけるフレーム構造とインターレース形式におけるフィールド構造とでのサンプル位置関係を示している。前述のとおり、フレーム構造では、全てのサンプル位置の画素を同時に撮像し１枚のフレームとするが、フィールド構造では、輝度成分と色差成分のそれぞれに対して、偶数行目の画素のみを撮像したトップフィールドと奇数行目の画素のみを撮像したボトムフィールドとの２枚のフィールドに分けられる。このとき、色差成分の垂直方向のサンプル位置は輝度成分のサンプル位置に対し、トップフィールドでは偶数行目に対して下方向に１／４画素ずらした位置、ボトムフィールドでは奇数行目に対して上方向に１／４画素ずらした位置となっている。
【００１３】
次に、現在規格化が行われているＨＥＶＣの画面内予測符号化について図７を用いて詳しく説明する。画面内予測符号化では、符号化対象ブロックに隣接する既に符号化が完了しているブロックの画素を参照して、符号化対象ブロックと最も画素値の構成が近くなるような予測画像を生成する予測モードを選択する。これにより、符号化対象ブロックと予測画像との差分画像の情報量が最小化される。前記予測モードは、例えば、符号化対象ブロックの左隣接画素を右方向に延長して予測画像を生成するモード、符号化対象ブロックの左隣接画素および上隣接画素を右下方向に延長して予測画像を生成するモード等がある。前記予測モードは、輝度成分の予測画像を生成するための予測モードと、色差成分の予測画像を生成するための予測モードとが、それぞれ個別に定義され符号列に記述される。
【００１４】
基本的に、輝度成分の画面内予測では輝度成分の隣接画素を参照して予測画像を生成し、色差成分の画面内予測では色差成分の隣接画素を参照して予測画像を生成する。しかし、色差成分の予測モードの１つとして、対応する輝度成分の画面内予測によって生成された予測画像を用いて色差成分の予測画像を生成する特別な予測モードがある。この予測モードは、図７に示すように、まず輝度成分の予測画像をダウンサンプルすることによって色差成分の画素数と一致するように変換して中間予測画像を生成する。さらに符号化対象ブロックに隣接する輝度成分および色差成分の画素を参照して、前記中間予測画像の画素値を補正することで、色差成分の予測画像を生成する。
【００１５】
図７の例では、色差成分は輝度成分に対して水平垂直方向ともに１／２に間引いている。そのため、ダウンサンプルを行う際には、水平方向における偶数列目の上下２画素の輝度成分の平均値を求めることで中間予測画像の画素値とする。さらに、中間予測画像の画素値の補正のために符号化対象ブロックに隣接する輝度成分を参照する際には、上隣接画素に関しては偶数列目の画素のみを参照し、左隣接画素に関しては上下２画素の中間位置、つまり上下２画素の平均値に置き換えて参照する（非特許文献１および非特許文献２）。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】JCTVC D503 : Working Draft 2 of High-Efficiency Video Coding (03/2011)
【非特許文献２】JCTVC-E266 : Chroma intra prediction by reconstructed luma samples (03/2011)
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら上記従来のＨＥＶＣの画面内予測符号化の構成では、図３のようにインターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードにおいて、適切な予測画像を生成することができなくなる。
【００１８】
図８は、符号化対象ピクチャがトップフィールドであった場合の、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードの例である。このとき、色差成分の垂直方向のサンプル位置は、図６を用いて説明したように、偶数行目の輝度成分のサンプル位置に対して下方向に１／４画素ずらした位置となっている。
【００１９】
図８の例では、上記従来のＨＥＶＣの画面内予測符号化の構成に従って、ダウンサンプルを行う際に、偶数列目の上下２画素の輝度成分の中間位置の画素値を中間予測画像の画素値とし、また、中間予測画像の画素値の補正を行う際に、左隣接の上下２画素の輝度成分の中間位置の画素値を参照している。
【００２０】
しかし、前述のとおり、色差成分の垂直方向のサンプル位置は、輝度成分の垂直方向のサンプル位置の中間ではなく１／４画素ずらした位置であるため、ダウンサンプルおよび中間予測画像の画素値の補正において、上下２画素の輝度成分の中間位置の画素値を使用すると、位相のずれた予測画像が生成されてしまう。
【００２１】
本発明は上記課題を解決するものであり、ＨＥＶＣを用いた動画像符号化装置において、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合でも、画面内予測符号化において、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて、適切な色差成分の予測画像を生成することを可能とする。
【課題を解決するための手段】
【００２２】
本発明の動画像符号化装置は、輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化する動画像符号化装置であって、前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報、および前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて、符号化対象ピクチャにおける前記色差成分のサンプル位置に関するサンプル位置情報を生成するサンプル位置情報生成部と、前記符号化対象ピクチャにおける符号化処理単位であるブロック毎に、前記ブロックに隣接する既に符号化済みのブロックに含まれる輝度成分の画素である第１隣接画素を用いて輝度成分の画面内予測画像を生成し、加えて、生成した前記輝度成分の画面内予測画像、前記第１隣接画素、前記ブロックに隣接する既に符号化済みのブロックの色差成分の画素である第２隣接画素、および前記サンプル位置情報に基づいて、色差成分の画面内予測画像を生成する予測符号化部と、前記生成した輝度成分の画面内予測画像および前記色差成分の画面内予測画像に基づいて、前記符号化対象ピクチャを前記ブロックごとに符号化処理し、符号列を生成するピクチャデータ符号化部と、を備える。
【００２３】
また好ましくは、前記予測符号化部は、前記サンプル位置情報に基づいて、前記輝度成分の画面内予測画像をダウンサンプリングすることにより前記色差成分の画素数と同じ画素数の中間予測画像を生成し、生成した前記中間予測画像に含まれる画素値を補正することにより、前記色差成分の画面内予測画像を生成する。
【００２４】
また好ましくは、前記予測符号化部は、前記サンプル位置情報に基づいて、前記第１隣接画素を補正することにより補正隣接画素を生成し、生成した補正隣接画素および前記第２隣接画素の画素値の相関関係を用いて、前記輝度成分の画面内予測画像から前記色差成分の画面内予測画像を生成する。
【００２５】
また好ましくは、前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と、前記輝度成分のサンプル位置とのずれを示すシフト量を前記サンプル位置情報として生成する。
【００２６】
また好ましくは、前記予測符号化部は、生成する前記中間予測画像の各画素のサンプル位置が、前記サンプル位置情報に示される前記色差成分のサンプル位置と一致するように、前記中間予測画像の各画素の値を前記輝度成分の画面内予測画像を構成する１つ以上の画素の値を用いて内挿補間することによって算出する。
【００２７】
また好ましくは、前記予測符号化部は、生成する前記補正隣接画素の各画素のサンプル位置が、前記サンプル位置情報に示される前記色差成分のサンプル位置と一致するように、前記補正隣接画素の各画素の値を１つ以上の前記第１隣接画素の値を用いて内挿補間することによって算出する。
【００２８】
また好ましくは、前記サンプル位置情報生成部は、前記動画像形式情報がインターレース形式を示す場合にのみ、前記動画像信号をフィールド構造としたときの前記色差成分のサンプル位置と前記輝度成分のサンプル位置とのずれを示す情報を有するサンプル位置情報を生成する。
【００２９】
また好ましくは、前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と前記輝度成分のサンプル位置との垂直方向に対するずれを示す情報のみを有するサンプル位置情報を生成する。
【００３０】
また好ましくは、前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と前記輝度成分のサンプル位置との垂直方向および水平方向に対するずれを示す情報を有するサンプル位置情報を生成する。
【００３１】
また好ましくは、前記サンプル位置情報生成部は、前記符号化対象ピクチャが、インターレース形式のトップフィールドであるか、インターレース形式のボトムフィールドであるかを示す情報を有するサンプル位置情報を生成する。
【００３２】
また好ましくは、前記ピクチャデータ符号化部は、前記符号列のヘッダ領域のうちピクチャ全体の符号化制御情報を記述する領域に、前記サンプル位置情報を記述する。
【００３３】
また好ましくは、前記ピクチャデータ符号化部は、前記符号列のヘッダ領域のうちピクチャを分割した単位であるスライスに関する符号化制御情報を記述する領域に、前記サンプル位置情報を記述する。
【００３４】
また好ましくは、前記シフト量は、前記輝度成分のサンプル位置の間隔の１／４を１単位とした値である。
【００３５】
なお、本発明は、このような動画像符号化および動画像復号化装置として実現することができるだけでなく、このような動画像符号化および動画像復号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。
【発明の効果】
【００３６】
以上より、本発明における動画像符号化装置は、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合でも、画面内予測復号化において、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて、適切な色差成分の予測画像を生成することができる。
【００３７】
また、本発明における動画像復号化装置は、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化した符号列を復号化する場合でも、画面内予測復号化において、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて、適切な色差成分の予測画像を生成することができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態１に係る動画像符号化装置を示すブロック図である。
【図２】本発明の実施の形態２に係る動画像復号化装置を示すブロック図である。
【図３】従来のプログレッシブ形式の動画像の符号化方法を説明するための概念図である。
【図４】従来のインターレース形式の動画像の符号化方法を説明するための概念図である。
【図５】輝度成分と色差成分のサンプル位置の関係を説明するための概念図である。
【図６】インターレース形式における輝度成分と色差成分のサンプル位置の関係を説明するための概念図である。
【図７】従来の画面内予測における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードの一例を説明するための概念図である。
【図８】従来の画面内予測における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードの別の一例を説明するための概念図である。
【図９】本発明の実施の形態１に係る符号化処理のフローチャートである。
【図１０】本発明の実施の形態における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードの一例を説明するための概念図である。
【図１１】本発明の実施の形態における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードの別の一例を説明するための概念図である。
【図１２】本発明の実施の形態における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードのさらに別の一例を説明するための概念図である。
【図１３】本発明の実施の形態によって生成される符号列の構成を説明するための概念図である。
【図１４】本発明の実施の形態によって生成されるスライスヘッダのシンタックスの一例を説明するための概念図である。
【図１５】本発明の実施の形態によって生成される符号列の別の構成を説明するための概念図である。
【図１６】本発明の実施の形態によって生成されるピクチャヘッダのシンタックスの一例を説明するための概念図である。
【図１７】本発明の実施の形態２に係る復号化処理のフローチャートである。
【発明を実施するための形態】
【００３９】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。
【００４０】
（符号化装置全体の処理説明）
図１は、本発明の実施の形態に係る動画像符号化装置１００のブロック図である。動画像符号化装置１００は、ピクチャ単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理する。そして、動画像符号化装置１００は、符号列を生成する。
【００４１】
この動画像符号化装置１００は、ピクチャメモリ１０１と、予測残差符号化部１０２と、予測残差復号化部１０３と、ローカルバッファ１０４と、予測符号化部１０５と、量子化値決定部１０６と、符号列生成部１０７と、色差サンプル位置情報生成部１０８とを備えている。
【００４２】
ピクチャメモリ１０１は、表示を行う順にピクチャ単位で入力される入力画像信号１５１を、符号化を行う順にピクチャの並び替えを行って蓄積する。入力画像信号１５１はプログレッシブ形式とインターレース形式との双方があり、プログレッシブ形式の場合は１枚のフレームを１枚のピクチャとして、インターレース形式の場合は１枚のフィールドを１枚のピクチャとして以降の符号化処理を適用する。
【００４３】
次に、ピクチャメモリ１０１は、差分演算部１０９および予測符号化部１０５からの読出し命令を受けると当該読出し命令に係る画像信号をそれぞれ出力する。このとき、各々のピクチャは複数の画素から構成される符号化単位であるブロックに分割される。このブロックは、例えば水平６４×垂直６４画素、水平３２×垂直３２画素、水平１６×垂直１６画素から成る。なお、本実施形態における動画像符号化装置１００ではブロック単位で以降の処理が行われる。
【００４４】
予測残差符号化部１０２は、差分演算部１０９から出力される差分画像信号１５２に対して直交変換を行う。さらに、予測残差符号化部１０２は、得られた各周波数成分の直交変換係数に対し量子化を行うことで残差符号化信号１５３を生成する。そして、予測残差符号化部１０２は、予測残差復号化部１０３および符号列生成部１０７に、残差符号化信号１５３を出力する。このとき予測残差符号化部１０２は、量子化値決定部１０６において決定された量子化値を用いて直交変換係数を量子化する。
【００４５】
予測残差復号化部１０３は、予測残差符号化部１０２から出力される残差符号化信号１５３に対して、逆量子化および逆直交変換することで差分画像情報の復元を行い、生成した残差復号化信号１５４を加算演算部１１０に出力する。
【００４６】
ローカルバッファ１０４は、加算演算部１１０から出力される再構成画像信号１５５を格納する。この再構成画像信号１５５は、現在符号化対象となっているピクチャ以降のピクチャの符号化における予測符号化処理において参照用の画素データとして使用される。ローカルバッファ１０４は、予測符号化部１０５からの読出し命令に応じて、格納している再構成画像信号１５５を画素データとして予測符号化部１０５へ出力する。
【００４７】
予測符号化部１０５は、ピクチャメモリ１０１から出力される画像信号を基に、画面内予測、または画面間予測を用いて予測画像信号１５６を生成し、差分演算部１０９および加算演算部１１０に出力する。なお、予測符号化部１０５は、画面間予測を行う際は、ローカルバッファ１０４に蓄積される既に符号化済みのピクチャの再構成画像信号１５５を用いる。また、画面内予測を行う際は、符号化対象ブロックに隣接する既に符号化済みのブロックの再構成画像信号１５５を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくできるかを推定して行われる。予測符号化部１０５は、予測方法に関する情報である予測情報信号１５７を、符号列生成部１０７に出力する。
【００４８】
量子化値決定部１０６は、ピクチャメモリ１０１に格納されるピクチャに基づいて、予測残差符号化部１０２で差分画像信号１５２を量子化する際の量子化値を決定する。なお、量子化値決定１０６における量子化値の決定方法は、符号列信号１５９のビットレートが目標とするするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の決定方法を用いてもよい。
【００４９】
符号列生成部１０７は、予測残差符号化部１０２が出力する残差符号化信号１５３と、予測符号化部１０５が出力する予測情報信号１５７と、量子化値決定部１０６が出力する量子化値と、色差サンプル位置情報生成部１０８が出力する色差サンプル位置情報信号１５８に対して可変長符号化を施すことで符号列信号１５９を生成する。
【００５０】
色差サンプル位置情報生成部１０８は、外部から指定される動画像形式に関する情報、例えば、符号化対象の動画像がプログレッシブ形式であるかインターレース形式であるかの情報、もしくは符号化対象の動画像の輝度成分に対する色差成分の間引き方法に関する情報を基に、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係を示す色差サンプル位置情報を生成する。生成された色差サンプル位置情報信号１５８は予測符号化部１０５および符号列生成部１０７に出力される。
【００５１】
ここで、色差サンプル位置情報としては、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、輝度成分の座標空間上においてどれくらいずれているかを示すシフト量で定義される。従来の技術で説明した図６の例を用いて詳しく説明する。ここで、図６に示すピクチャの座標空間は、最も左上の画素位置の座標を（０，０）とする。さらに、垂直下方向または水平右方向に変位するにつれ座標がプラスとなるように座標空間を設定する。例えば、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、水平方向に０画素分、垂直方向に０．５画素分下にずれている。よってシフト量は（０、０．５）となる。同様に、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．２５画素分下にずれている。よってシフト量は（０、０．２５）となる。また、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．７５画素分下にずれている。よってシフト量は（０、０．７５）となる。
【００５２】
差分演算部１０９は、ピクチャメモリ１０１から読み出された画像信号と予測符号化部１０５から出力される予測画像信号１５６との差分値である差分画像信号１５２を生成し、予測残差符号化部１０２に出力する。
【００５３】
加算演算部１１０は、予測残差復号化部１０３から出力される残差復号化信号１５４と予測符号化部１０５から出力される予測画像信号１５６とを加算することにより再構成画像信号１５５を生成し、ローカルバッファ１０４に出力する。
【００５４】
（色差サンプル位置情報生成の処理全体説明）
ここで、色差サンプル位置情報生成部１０８で色差サンプル位置情報信号１５８を生成し、符号列生成部１０７で符号列を生成する方法、および予測符号化部１０５で画面間予測符号化を行う方法について、図９の符号化処理全体のフローチャートを用いて具体的に説明する。
【００５５】
まず、ステップＳ９０１において、符号列生成部１０７はシーケンス単位のヘッダ領域の符号列生成を行う。シーケンス単位のヘッダ領域には、符号化および復号化制御においてシーケンス全体で共通に必要となる情報が記述される。
【００５６】
次に、ステップＳ９０２において、色差サンプル位置情報生成部１０８は、外部から指定される動画像形式に関する情報、例えば、符号化対象の動画像がプログレッシブ形式であるかインターレース形式であるかの情報、もしくは符号化対象の動画像の輝度成分に対する色差成分の間引き方法に関する情報を基に、符号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報信号１５８を生成する。
【００５７】
次に、ステップＳ９０３において、符号列生成部１０７はピクチャ単位およびスライス単位のヘッダ領域の符号列生成を行う。ピクチャ単位のヘッダ領域には、符号化および復号化制御において符号化対象ピクチャ全体で共通に必要となる情報が記述される。また、スライス単位のヘッダ領域には、符号化および復号化制御において符号化対象ピクチャに属する複数のブロックから構成されるスライス全体で共通に必要となる情報、および符号化対象ピクチャ全体で共通に必要となる情報が記述される。このとき、ステップＳ９０２において生成された色差サンプル位置情報が、ピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域に記述される。
【００５８】
最後に、ステップＳ９０４において、図１を用いて説明した符号化対象ピクチャの一連の符号化処理を行いピクチャデータの符号列生成を行う。このとき、予測符号化部１０５では、ステップＳ９０２において生成された色差サンプル位置情報を用いて、輝度成分の予測画像を用いて色差成分の予測画像を生成することで画面内予測処理が行われる。
【００５９】
符号化対象ピクチャの処理が完了すると、ステップＳ９０２に戻って次のピクチャの符号化処理に移り、シーケンス内の全てのピクチャの符号化処理が完了するまでステップＳ９０２からステップＳ９０４の処理を繰り返す。
【００６０】
（色差成分の予測画像の生成方法）
ここで、予測符号化部１０５において画面内予測を行う際に、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて予測画像を生成する方法について詳しく説明する。
【００６１】
前記予測モードでは、対応する輝度成分の画面内予測によって生成された予測画像を用いて、まず輝度成分の予測画像をダウンサンプルすることによって色差成分の画素数と一致するように変換して中間予測画像を生成する。さらに、前記予測モードは、符号化対象ブロックに隣接する輝度成分および色差成分の画素を参照して前記中間予測画像の画素値を補正することで、色差成分の予測画像を生成する。
【００６２】
このとき、本実施の形態では、図７および図８を用いて説明した従来の技術とは異なり、使用する輝度成分の画素を色差サンプル位置情報に基づいて補正することで、輝度成分と色差成分のサンプル位置がどのような関係にあっても正確な色差成分の予測画像を生成することが可能である。
【００６３】
（中間予測画像の生成方法）
まず、輝度成分の予測画像をダウンサンプルする処理においては、（数１）に示す方法を用いて中間予測画像の画素値を算出する。
【００６４】
なお、Ｍ[ｘ、ｙ]は算出する中間予測画像の画素位置（ｘ、ｙ）における画素値とする。また、Ｌ[ｘ、ｙ]は参照する輝度成分の予測画像の画素位置（ｘ、ｙ）における画素値とする。さらに、Ｓｆｔｘは符号化対象ピクチャの色差サンプル位置のシフト量の水平方向とする。Ｓｆｔｙは符号化対象ピクチャの色差サンプル位置のシフト量の垂直方向とする。
【００６５】
（数１）は色差成分が輝度成分に対して水平垂直方向ともに１／２に間引かれている場合の処理を示している。また、ｘ、ｙの取りうる範囲は符号化対象ブロックのサイズに依存するが、例えば、符号化対象ブロックのサイズが輝度成分は８×８画素、色差成分は４×４画素であった場合、ｘ、ｙはそれぞれ０から３の値をとる。なお、説明の簡略化のため、では、Ｓｆｔｘ、Ｓｆｔｙの単位は、値１で輝度成分の１画素に相当するものとして表現している。
【００６６】
（数１）Ｍ[ｘ,ｙ]＝(１−Ｓｆｔｘ)×(１−Ｓｆｔｙ)×Ｌ[２ｘ,２ｙ]
＋Ｓｆｔｘ×(１−Ｓｆｔｙ)×Ｌ[２ｘ＋１,２ｙ]
＋(１−Ｓｆｔｘ)×Ｓｆｔｙ×Ｌ[２ｘ,２ｙ＋１]
＋Ｓｆｔｘ×Ｓｆｔｙ×Ｌ[２ｘ＋１,２ｙ＋１]
なお、（数１）では小数を用いた演算が必要になるため、Ｓｆｔｘ、Ｓｆｔｙの単位を、値１で輝度成分の１／４画素に相当するものとして、（数２）のように表現することも可能である。これにより各演算を整数のみで行うことが可能となる。
【００６７】
（数２）Ｍ[ｘ,ｙ]＝((４−Ｓｆｔｘ)×(４−Ｓｆｔｙ)×Ｌ[２ｘ,２ｙ]
＋Ｓｆｔｘ×(４−Ｓｆｔｙ)×Ｌ[２ｘ＋１,２ｙ]
＋(４−Ｓｆｔｘ)×Ｓｆｔｙ×Ｌ[２ｘ,２ｙ＋１]
＋Ｓｆｔｘ×Ｓｆｔｙ×Ｌ[２ｘ＋１,２ｙ＋１])／１６
（補正に利用する輝度成分の隣接画素生成方法）
次に、中間予測画像の画素値を補正するために参照する輝度成分の隣接画素については、（数３）および（数４）に示す方法を用いて算出した画素値を使用する。
【００６８】
なお、Ｍｒ[ｘ]は上隣接画素として使用する画素値とする。さらに、Ｍｒ[ｙ]は左隣接画素として使用する画素値とする。また、Ｌｒ[ｘ]は、輝度成分の予測画像を生成する際に実際に利用した画素値であって、符号化対象ブロックの上側に隣接する輝度成分の画素値とする。Ｌｒ[ｙ]は輝度成分の予測画像を生成する際に実際に利用した画素値であって、符号化対象ブロックの左側に隣接する輝度成分の画素値とする。さらに、Ｓｆｔｘは符号化対象ピクチャの色差サンプル位置のシフト量の水平方向とする。そして、Ｓｆｔｙは符号化対象ピクチャの色差サンプル位置のシフト量の垂直方向とする。
【００６９】
（数３）および（数４）は色差成分が輝度成分に対して水平垂直方向ともに１／２に間引かれている場合の処理を示している。また、ｘ、ｙの取りうる範囲は符号化対象ブロックのサイズに依存するが、例えば、符号化対象ブロックのサイズが輝度成分は８×８画素、色差成分は４×４画素であった場合、ｘ、ｙはそれぞれ０から３の値をとる。なお、説明の簡略化のため、（数３）および（数４）では、Ｓｆｔｘ、Ｓｆｔｙの単位は、値１で輝度成分の１画素に相当するものとして表現している。
【００７０】
（数３）Ｍｒ[ｘ]＝(１−Ｓｆｔｘ)×Ｌｒ[２ｘ]＋Ｓｆｔｘ×Ｌｒ[２ｘ＋１]
（数４）Ｍｒ[ｙ]＝(１−Ｓｆｔｙ)×Ｌｒ[２ｙ]＋Ｓｆｔｙ×Ｌｒ[２ｙ＋１]
なお、（数３）および（数４）では小数を用いた演算が必要になるため、Ｓｆｔｘ、Ｓｆｔｙの単位を、値１で輝度成分の１／４画素に相当するものとして、（数５）および（数６）のように表現することも可能である。これにより各演算を整数のみで行うことが可能となる。
【００７１】
（数５）Ｍｒ[ｘ]＝((４−Ｓｆｔｘ)×Ｌｒ[２ｘ]＋Ｓｆｔｘ×Ｌｒ[２ｘ＋１])／４
（数６）Ｍｒ[ｙ]＝((４−Ｓｆｔｙ)×Ｌｒ[２ｙ]＋Ｓｆｔｙ×Ｌｒ[２ｙ＋１])／４
（中間予測画像の画素値補正方法）
中間予測画像の画素値の補正は、まず、符号化対象ブロックに隣接する既に符号化済みである輝度成分の画素値と色差成分の画素値の相関関係を求める。このとき、輝度成分の画素値は、（数３）および（数４）または（数５）および（数６）で算出した値を利用する。
【００７２】
次に、前記中間予測画像の画素値と補正して求める色差成分の予測画像の画素値とが、上記により求めた相関関係と同じ関係性になるように、前記中間予測画像を補正し、色差成分の予測画像を生成する。
【００７３】
本実施形態の場合、上記処理によって参照する輝度成分の画素を色差成分の画素と位相が一致するように補正している。これにより、正確な画素値の関係性を求めることが可能となる。その結果、精度の高い色差成分の予測画像を生成することが可能となる。
【００７４】
図１０は、符号化対象の動画像がプログレッシブ形式であり、符号化対象ピクチャがフレーム構造である場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は（０、０．５）となる。輝度成分の予測画像をダウンサンプルすることによって得られる中間予測画像の各画素値は、（数１）に従って算出すると、偶数列目の上下２画素の中間位置に相当する画素値となる。また、中間予測画像の画素値の補正を行うために参照する輝度成分の隣接画素の画素値は、（数３）および（数４）に従って算出すると、上隣接画素に関しては偶数列目の画素値そのまま、左隣接画素に関しては上下２画素の中間位置に相当する画素値となる。なお、（数２）および（数５）および（数６）の表現に置き換えると、色差サンプル位置のシフト量は（０、２）となるが、算出される結果は全く同じ値となる。
【００７５】
一方、図１１は、符号化対象の動画像がインターレース形式であり、符号化対象ピクチャがトップフィールドであった場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は（０、０．２５）となる。輝度成分の予測画像をダウンサンプルすることによって得られる中間予測画像の各画素値は、（数１）に従って算出すると、偶数列目の上下２画素の中間位置から上方向に１／４画素シフトした位置に相当する画素値となる。また、中間予測画像の画素値の補正を行うために参照する輝度成分の隣接画素の画素値は、（数３）および（数４）に従って算出すると、上隣接画素に関しては偶数列目の画素値そのまま、左隣接画素に関しては上下２画素の中間位置から上方向に１／４画素シフトした位置に相当する画素値となる。なお、（数２）および（数５）および（数６）の表現に置き換えると、色差サンプル位置のシフト量は（０、１）となるが、算出される結果は全く同じ値となる。
【００７６】
同様に、図１２は、符号化対象の動画像がインターレース形式であり、符号化対象ピクチャがボトムフィールドであった場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は（０、０．７５）となる。輝度成分の予測画像をダウンサンプルすることによって得られる中間予測画像の各画素値は、（数１）に従って算出すると、偶数列目の上下２画素の中間位置から下方向に１／４画素シフトした位置に相当する画素値となる。また、中間予測画像の画素値の補正を行うために参照する輝度成分の隣接画素の画素値は、（数３）および（数４）に従って算出すると、上隣接画素に関しては偶数列目の画素値そのまま、左隣接画素に関しては上下２画素の中間位置から下方向に１／４画素シフトした位置に相当する画素値となる。なお、（数２）および（数５）および（数６）の表現に置き換えると、色差サンプル位置のシフト量は（０、３）となるが、算出される結果は全く同じ値となる。
【００７７】
このように、図８を用いて説明した従来の技術では、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係と、色差成分の画面内予測画像を生成するために使用される輝度成分の画素位置の関係とが一致していなかったが、本発明による図１１および図１２の例では、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係と、色差成分の画面内予測画像を生成するために使用される輝度成分の画素位置の関係とが一致し、正確な色差成分の画面内予測画像が生成できる。
【００７８】
なお、符号化対象の動画像がプログレッシブ形式である場合は、従来の方法を用いても本発明の方法を用いても、常に正確な色差成分の画面内予測画像が生成できるため、（数１）および（数３）および（数４）、もしくは（数２）および（数５）および（数６）で説明した処理を行わず、従来の技術と同様の方法で色差成分の画面内予測画像を生成してもよい。
【００７９】
また、符号化対象の動画像がインターレース形式であった場合でも、図５を用いて説明した色差成分の間引き方法が、図５（ｂ）のように４：２：２サンプリングと呼ばれる水平方向のみ１／２に間引く方法や、図５（ｃ）のように４：４：４サンプリングと呼ばれる間引きを行わない方法であった場合、前述のプログレッシブ形式の場合と同様に、従来の方法を用いても本発明の方法を用いても、常に正確な色差成分の画面内予測画像が生成できるため、（数１）および（数３）および（数４）、もしくは（数２）および（数５）および（数６）で説明した処理を行わず、従来の技術と同様の方法で色差成分の画面内予測画像を生成してもよい。
【００８０】
また、輝度成分の予測画像をダウンサンプルする処理においては、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、（数１）もしくは（数２）で説明した処理の替わりに、（数７）もしくは（数８）による処理を用いてもよい。
【００８１】
（数７）Ｍ[ｘ,ｙ]＝(１−Ｓｆｔｙ)×Ｌ[２ｘ,２ｙ]＋Ｓｆｔｙ×Ｌ[２ｘ,２ｙ＋１]
（数８）Ｍ[ｘ,ｙ]＝((４−Ｓｆｔｙ)×Ｌ[２ｘ,２ｙ]＋Ｓｆｔｙ×Ｌ[２ｘ,２ｙ＋１])／４
また、中間予測画像の画素値を補正するために参照する輝度成分の隣接画素については、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、上隣接画素として使用する画素値は（数３）もしくは（数５）で説明した処理を行わずに偶数列目の画素値をそのまま適用し、左隣接画素として使用する画素値のみ（数４）もしくは（数６）で説明した処理を用いて算出するという構成にしてもよい。
【００８２】
また、輝度成分の予測画像をダウンサンプルする処理においては、（数１）および（数２）のように周辺の４つの輝度成分の画素を用いる方法、もしくは、（数７）および（数８）のように周辺の２つの輝度成分の画素を用いる方法を説明したが、これらの代わりに、例えば、周辺の６つの輝度成分の画素を用いたり、もしくは、それ以外の個数の輝度成分の画素を用いた処理を行ってもよい。
【００８３】
また、（数１）から（数８）で説明したそれぞれの算出処理はあくまで一例であり、色差サンプル位置情報を用いて色差成分の位相が適切な位置となるように制御される算出処理であればこれ以外の算出式を用いてもよい。
【００８４】
また、本実施の形態では、輝度成分の予測画像をダウンサンプルする処理と、中間予測画像の画素値を補正するために参照する輝度成分の隣接画素を算出する処理との、それぞれにおいて色差サンプル位置情報による位相制御を行ったが、例えば、前者の処理でのみ色差サンプル位置情報による位相制御を行うという構成にしても、逆に、後者の処理でのみ色差サンプル位置情報による位相制御を行うという構成にしてもよい。
【００８５】
（符号列１５９のシンタックス構成に関して）
次に、本実施の形態によって生成される符号列１５９の構成を、図１３を用いて説明する。
【００８６】
生成される符号列１５９は、シーケンス単位の符号化制御情報を記述したシーケンスヘッダ領域、ピクチャ単位の符号化制御情報を記述したピクチャヘッダ領域、スライス単位の符号化制御情報を記述したスライスヘッダ領域、およびスライスデータで構成されている。このとき、図９におけるステップＳ９０２で生成した色差サンプル位置情報はスライスヘッダ領域に記述される。
【００８７】
ここで、色差サンプル位置情報が記述されるスライスヘッダ領域のシンタックスについて図１４を用いて詳しく説明する。なお、図１４では本発明に関連するシンタックス以外は省略して記載している。
【００８８】
図１４（ａ）では、色差サンプル位置情報として、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘとｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙとがスライスヘッダ領域に記述されている。
【００８９】
ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘは、符号化対象ピクチャにおける、色差成分のサンプル位置が輝度成分のサンプル位置に対して、輝度成分の座標空間上においてどれくらいずれているかを示す水平方向のシフト量であり、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙは同垂直方向のシフト量である。例えば、従来の技術で説明した図６の例を用いると、シフト量を（ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘ、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙ）と表現したとき、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合は（０、０．５）となり、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は（０、０．２５）となり、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は（０、０．７５）となる。
【００９０】
なお、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙの値の単位は任意であり、例えば、値１が輝度成分の１／４画素に相当するように表現した場合は、図６（ａ）は（０、２）、図６（ｂ）は（０、１）、図６（ｃ）は（０、３）となる。
【００９１】
なお、符号化対象の動画像がプログレッシブ形式である場合は、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となる。そのため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００９２】
また、符号化対象の動画像がインターレース形式であった場合でも、図５を用いて説明した色差成分の間引き方法が、図５（ｂ）のように４：２：２サンプリングと呼ばれる水平方向のみ１／２に間引く方法や、図５（ｃ）のように４：４：４サンプリングと呼ばれる間引きを行わない方法であった場合、前述のプログレッシブ形式の場合と同様に、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となる。そのため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００９３】
また、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘを記述せずに、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙのみを記述するようにしてもよい。
【００９４】
また、図１４（ａ）のように色差サンプル位置のシフト量を直接記述せずに、例えば、図１４（ｂ）のｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃように別の意味を持たせたパラメータから間接的に色差サンプル位置のシフト量を指定するようにしてもよい。
【００９５】
ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃは、０のときは、符号化対象ピクチャの色差成分は輝度成分に対して水平垂直ともに１／２に間引いたもの（４：２：０サンプル）であり、さらにインターレース形式のトップフィールドであることを示す。つまり、図６（ｂ）の構造のピクチャであることを示す。また、１のときは、符号化対象ピクチャの色差成分は輝度成分に対して水平垂直ともに１／２に間引いたもの（４：２：０サンプル）であり、さらにインターレース形式のボトムフィールドであることを示す。つまり、図６（ｃ）の構造のピクチャであることを示す。また、２のときは、それ以外の構造のピクチャであることを示す。
【００９６】
これにより、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃが、０のときは色差サンプル位置のシフト量が（０、０．２５）であり、１のときは色差サンプル位置のシフト量が（０、０．７５）であり、２のときは色差サンプル位置のシフト量が（０、０．５）もしくは（０、０）であることを間接的に指定することが可能となる。
【００９７】
なお、前述のｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃと同じ情報を、色差成分の間引き方法を示す情報と、インターレース形式のトップフィールドであるかボトムフィールドであるかを示す情報とに分けて記述する構成としてもよい。このとき、色差成分の間引き方法を示す情報として、例えば、図５（ａ）の４：２：０サンプリング、図５（ｂ）の４：２：２サンプリング、図５（ｃ）の４：４：４サンプリングのいずれかを示す情報とし、シーケンス全体で共通に必要となる情報としてシーケンス単位のヘッダ領域に記述する方法がある。一方、インターレース形式のトップフィールドであるかボトムフィールドであるかを示す情報として、例えば、値０のときはインターレース形式のトップフィールド、値１のときはインターレース形式のボトムフィールドを示すパラメータとし、ピクチャ全体で共通に必要となる情報としてピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域に記述する方法がある。
【００９８】
なお、図１４を用いて説明した色差サンプル位置情報は、符号化対象ピクチャに対して１つのみを対応付けるものである。しかし、１つのピクチャは複数のスライスから構成されているため、色差サンプル位置情報が記述されているスライスヘッダも複数符号化される。そのため、図１４を用いて説明した各パラメータは、対象となるスライスが属するピクチャにおいて常に同じ値が記述されることになる。
【００９９】
（符号列１５９の他のシンタックス構成に関して）
ここで、本実施の形態によって生成される符号列１５９における別のシンタックス構成を図１５に基づいて説明する。
【０１００】
生成される符号列１５９は、図１３を用いて説明した符号列の構成と同様に、シーケンス単位の符号化制御情報を記述したシーケンスヘッダ領域、ピクチャ単位の符号化制御情報を記述したピクチャヘッダ領域、スライス単位の符号化制御情報を記述したスライスヘッダ領域、およびスライスデータで構成されている。このとき、図１３を用いて説明した符号列の構成とは異なり、色差サンプル位置情報はスライスヘッダ領域ではなくピクチャヘッダ領域に記述されている。
【０１０１】
色差サンプル位置情報が記述されるピクチャヘッダ領域のシンタックスについては図１６に示す通りであり、図１４を用いて説明した内容と全く同様であるので説明を省略する。なお、ピクチャヘッダはピクチャ毎に１つずつのみが生成されるため、色差サンプル位置情報もピクチャ毎に１つずつのみが指定可能であり、対象ピクチャ内の全てのスライスで共通して使用される。
【０１０２】
なお、本実施の形態で説明した全てのパラメータ名およびパラメータ値については一例であり、これ以外のパラメータ名およびパラメータ値を用いて同様の機能を実現してもよい。
【０１０３】
このように、本実施の形態による動画像符号化装置を用いることにより、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合でも、画面内予測符号化において、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて、適切な色差成分の予測画像を生成することができる。
【０１０４】
（実施の形態２）
以下、本発明の実施の形態２について、図面を参照しながら説明する。
【０１０５】
（復号化装置全体の処理説明）
図２は、本発明の実施の形態に係る動画像復号化装置２００のブロック図である。動画像復号化装置２００は、実施の形態１で説明した動画像符号化装置によって生成された符号列に対し、ブロック単位で復号化処理する。そして、動画像復号化装置２００は、出力画像を生成する。
【０１０６】
この動画像復号化装置２００は、符号列解析部２０１と、予測残差復号化部２０２と、ピクチャメモリ２０３と、予測復号化部２０４と、量子化値決定部２０５と、色差サンプル位置情報解析部２０６を備えている。
【０１０７】
符号列解析部２０１は、入力された符号列信号２５１に対して可変長復号化を施すことによりヘッダ情報の解析およびブロック単位のピクチャデータの解析を行う。符号列解析部２０１は、解析して得られる残差符号化信号２５２を予測残差復号化部２０２へ出力する。また、符号列解析部２０１は、予測情報信号２５６を予測復号化部２０４へ出力する。さらに、符号列解析部２０１は、量子化値情報を量子化値決定部２０５へ出力する。そして、符号列解析部２０１は、色差サンプル位置情報信号２５７を色差サンプル位置情報解析部２０６へ出力する。
【０１０８】
予測残差復号化部２０２は、符号列解析部２０１から出力される残差符号化信号２５２に対して、逆量子化および逆直交変換を行うことで残差復号化信号２５３を生成し、加算演算部２０７に出力する。このとき予測残差復号化部２０２は、量子化値決定部２０５において決定された量子化値を用いて残差符号化信号２５２を逆量子化する。
【０１０９】
ピクチャメモリ２０３は、加算演算部２０７から出力される再構成画像信号２５５を格納する。この再構成画像信号２５５は、現在復号化対象となっているピクチャ以降のピクチャの復号化における予測復号化処理において参照用の画素データとして使用される。ピクチャメモリ２０３は、予測復号化部２０４からの読出し命令に応じて、格納している再構成画像信号２５５を画素データとして予測復号化部２０４へ出力する。
【０１１０】
また同時に、ピクチャメモリ２０４は、格納している再構成画像信号２５５を出力画像信号２５８として外部に出力する。出力画像信号２５８はプログレッシブ形式とインターレース形式との双方があり、プログレッシブ形式の場合は１枚のピクチャを１枚のフレームとして、インターレース形式の場合は１枚のピクチャを１枚のフィールドとして、表示順に並び替えることによって出力される。
【０１１１】
予測復号化部２０４は、符号列解析部２０１から出力される予測情報信号２５６を基に、画面内予測、または画面間予測を用いて予測画像信号２５４を生成し、加算演算部２０７に出力する。なお、予測復号化部２０４は、画面間予測を用いる際は、ピクチャメモリ２０３に蓄積される既に復号化済みのピクチャの再構成画像信号２５５を用いる。また、画面内予測を用いる際は、復号化対象ブロックに隣接する既に復号化済みのブロックの再構成画像信号２５５を用いる。画面内予測を用いるか画面間予測を用いるかの判定については、入力される予測情報信号２５６に従って行われる。
【０１１２】
色差サンプル位置情報解析部２０６は、符号列解析部２０１から出力される色差サンプル位置情報信号２５７を解析して、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係を示す色差サンプル位置情報を取得する。取得された色差サンプル位置情報は予測符号化部２０４に出力される。
【０１１３】
ここで、色差サンプル位置情報としては、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、輝度成分の座標空間上においてどれくらいずれているかを示すシフト量で定義される。従来の技術で説明した図６の例を用いて詳しく説明する。ここで、図６に示すピクチャの座標空間は、最も左上の画素位置の座標を（０，０）とする。さらに、垂直下方向または水平右方向に変位するにつれ座標がプラスとなるように座標空間を設定する。例えば、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、水平方向に０画素分、垂直方向に０．５画素分下にずれている。よってシフト量は（０、０．５）となる。同様に、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．２５画素分下にずれている。よってシフト量は（０、０．２５）となる。また、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．７５画素分下にずれている。よってシフト量は（０、０．７５）となる。
【０１１４】
加算演算部２０７は、予測残差復号化部２０２から出力される残差復号化信号２５３と予測復号化部２０４から出力される予測画像信号２５４を加算することによって再構成画像信号２５５を生成し、ピクチャメモリ２０３に出力する。
【０１１５】
（色差サンプル位置情報の処理全体説明）
ここで、符号列解析部２０１で符号列を解析して得られた情報を基に、色差サンプル位置情報解析部２０６で色差サンプル位置情報を取得し、予測復号化部２０４で予測画像を生成する方法について、図１７の復号化処理全体のフローチャートを用いて具体的に説明する。
【０１１６】
まず、ステップＳ１７０１において、符号列解析部２０１はシーケンス単位のヘッダ領域の符号列解析を行う。シーケンス単位のヘッダ領域には、復号化制御においてシーケンス全体で共通に必要となる情報が記述されている。
【０１１７】
次に、ステップＳ１７０２において、符号列解析部２０１はピクチャ単位およびスライス単位のヘッダ領域の符号列解析を行う。ピクチャ単位のヘッダ領域には、復号化制御において復号化対象ピクチャ全体で共通に必要となる情報が記述されている。また、スライス単位のヘッダ領域には、復号化制御において復号化対象ピクチャに属する複数のブロックから構成されるスライス全体で共通に必要となる情報、および復号化対象ピクチャ全体で共通に必要となる情報が記述されている。このとき、色差サンプル位置情報信号２５７が、ピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域から取得される。
【０１１８】
次に、ステップＳ１７０３において、色差サンプル位置情報解析部２０６は、ステップＳ１７０２で取得された色差サンプル位置情報信号２５７を解析して、符号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報を生成する。
【０１１９】
最後に、ステップＳ１７０４において、図２を用いて説明した復号化対象ピクチャの一連の復号化処理を行い復号化画像の生成を行う。このとき、予測復号化部２０４では、ステップＳ１７０３において解析された色差サンプル位置情報を用いて、輝度成分の予測画像を用いて色差成分の予測画像を生成することで画面内予測処理が行われる。
【０１２０】
復号化対象ピクチャの処理が完了すると、ステップＳ１７０２に戻って次のピクチャの復号化処理に移り、シーケンス内の全てのピクチャの復号化処理が完了するまでステップＳ１７０２からステップＳ１７０４の処理を繰り返す。
【０１２１】
（色差Ｉｎｔｒａ予測画像生成について）
ここで、予測復号化部２０４において画面内予測を行う際に、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて予測画像を生成する方法について詳しく説明する。
【０１２２】
前記予測モードでは、対応する輝度成分の画面内予測によって生成された予測画像を用いて、まず輝度成分の予測画像をダウンサンプルすることによって色差成分の画素数と一致するように変換して中間予測画像を生成し、さらに復号化対象ブロックに隣接する輝度成分および色差成分の画素を参照して前記中間予測画像の画素値を補正することで、色差成分の予測画像を生成する。
【０１２３】
このとき本実施の形態では、色差サンプル位置情報を用いて、実施の形態１で（数１）から（数８）および図１０から図１２を用いて説明した動画像符号化装置における画面内予測の処理と全く同様の処理を行うことで、色差成分の予測画像を生成する。よって、復号化対象ピクチャが、プログレッシブ形式に属するフレーム構造であっても、インターレース形式に属するトップフィールド構造もしくはボトムフィールド構造であっても、もしくはそれ以外の理由により輝度成分のサンプル位置と色差成分のサンプル位置とが一致していない場合においても、常に正確に輝度成分の予測画像を用いて色差成分の予測画像を生成する画面内予測を行うことができる。
【０１２４】
（符号列２５１のシンタックス構成に関して）
最後に、本実施の形態で復号化対象とする符号列２５１の構成およびシンタックスは、実施の形態１で図１３から図１６を用いて説明したものと全く同様であるので、ここでは説明を省略する。
【０１２５】
このように、本実施の形態による動画像復号化装置を用いることにより、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化した符号列を復号化する場合でも、画面内予測復号化において、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて、適切な色差成分の予測画像を生成することができる。
【０１２６】
（その他の実施形態）
さらに、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１２７】
また、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【０１２８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１２９】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【０１３０】
また、本発明は、上述した動画像符号化装置および動画像復号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。
【０１３１】
また、上記実施の形態に係る、動画像符号化装置および動画像復号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【産業上の利用可能性】
【０１３２】
本発明は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、及びパーソナルコンピューター等における、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置や、前記動画像符号化データを復号化して復号化画像を生成する動画像復号化装置として有用である。
【符号の説明】
【０１３３】
１００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 予測残差復号化部
１０４ ローカルバッファ
１０５ 予測符号化部
１０６ 量子化値決定部
１０７ 符号列生成部
１０８ 色差サンプル位置情報生成部
１０９ 差分演算部
１１０ 加算演算部
１５１ 入力画像信号
１５２ 差分画像信号
１５３ 残差符号化信号
１５４ 残差復号化信号
１５５ 再構成画像信号
１５６ 予測画像信号
１５７ 予測情報信号
１５８ 色差サンプル位置情報信号
１５９ 符号列信号
２００ 動画像復号化装置
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ ピクチャメモリ
２０４ 予測復号化部
２０５ 量子化値決定部
２０６ 色差サンプル位置情報解析部
２０７ 加算演算部
２５１ 符号列信号
２５２ 残差符号化信号
２５３ 残差復号化信号
２５４ 予測画像信号
２５５ 再構成画像信号
２５６ 予測情報信号
２５７ 色差サンプル位置情報信号
２５８ 出力画像信号
【技術分野】
【０００１】
本発明は、プログレッシブ形式の動画像信号およびインターレース形式の動画像信号を入力として符号化する動画像符号化装置および動画像符号化方法に関するものである。
【背景技術】
【０００２】
近年、マルチメディアアプリケーションの発展に伴い、画像、音声及びテキストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。また、ディジタル化された画像は膨大なデータ量を持つため、蓄積及び伝送のためには、画像の情報圧縮技術が不可欠である。一方で、圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。例えば、画像圧縮技術の標準規格としては、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ／ＩＥＣ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣなどがある。また、現在は、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同によるＨＥＶＣと呼ばれる次世代画像符号化方式の標準化活動が進んでいる。
【０００３】
このような動画像の符号化では、符号化対象ピクチャを符号化単位ブロックに分割し、ブロック毎に時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ブロックとの差分画像を取得する。また空間的な冗長性の削減を目的とする画面内予測符号化では、周辺の符号化済みブロックの画素情報から予測画像の生成を行い、得られた予測画像と符号化対象ブロックとの差分画像を取得する。さらに得られた差分画像に対して離散コサイン変換等の直交変換および量子化を行い、可変長符号化を用いて符号列を生成することで情報量が圧縮される。
【０００４】
また復号化では、前記符号化処理によって生成された符号列を解析して予測情報および残差係数情報を取得し、予測情報を用いて画面間予測復号化および画面内予測復号化を行って予測画像を生成し、残差係数情報に対して逆量子化および逆直交変換を行って差分画像を生成し、得られた予測画像と差分画像を加算することで最終的な出力画像を復元する。
【０００５】
このとき符号化および復号化の対象となる動画像の形式として、プログレッシブ形式とインターレース形式との２種類の形式がある。
【０００６】
プログレッシブ形式は、１画面全ての画素を同時に撮像し１枚のフレームとする形式である。一方、インターレース形式は、１画面の画素のうち偶数行目の画素のみを撮像したトップフィールドと奇数行目の画素のみを撮像したボトムフィールドとの２枚のフィールドで１枚のフレームを構成する形式である。
【０００７】
プログレッシブ形式の動画像に対しては、図３にあるように１枚のフレームを１枚のピクチャとして符号化する。例えばＦｒｍ３はＰ＿Ｆｒｍ１として符号化されている。画面間予測では符号化順で先に符号化が完了しているピクチャのみを参照することができる。そこで、図３にあるように表示順で入力されたピクチャを符号化順に並び替えることによって、画面間予測における参照ピクチャの参照をより効果的に行うことが可能となる。例えば、Ｐ＿Ｆｒｍ１はＩ＿Ｆｒｍ０のみが参照可能であり、Ｂ＿Ｆｒｍ２はＩ＿Ｆｒｍ０とＰ＿Ｆｒｍ１が参照可能である。これを表示順に置き換えて考えると、Ｐ＿Ｆｒｍ１はＦｒｍ３に相当するので前方向にあるＦｒｍ０のみが参照可能であるが、Ｂ＿Ｆｒｍ２はＦｒｍ１に相当するので前方向にあるＦｒｍ０だけでなく、後方向にあるＦｒｍ３も同時に参照可能となる。なお、Ｉ＿Ｆｒｍ０は他のピクチャを参照することなく画面内予測のみを行うピクチャである。
【０００８】
一方、インターレース形式の動画像に対しては、最も簡単な方法として図４にあるように１枚のフィールドを１枚のピクチャとして符号化する方法がある。例えばＦｌｄＴ６とＦｌｄＢ７はそれぞれＰ＿ＦｌｄＴ２とＰ＿ＦｌｄＢ３のように個別のフィールド構造のピクチャとして符号化されている。このように表示順で入力されたピクチャを符号化順に並び替えることによって、プログレッシブ形式の符号化と同様に画面間予測における参照ピクチャの参照をより効果的に行うことが可能となる。
【０００９】
図３および図４で説明した各ピクチャは輝度成分の画素と色差成分の画素とから構成されている。図５は、輝度成分と色差成分のそれぞれを画素値として取得するときのサンプル位置関係を説明するための図である。図中の×記号は輝度成分のサンプル位置、○記号は色差成分のサンプル位置を示している。
【００１０】
一般に人間の目は色差成分の変化に対して鈍感である。そのため、１つのピクチャにおけるデータ量を削減するために色差成分を間引く方法が用いられる。間引き方法はいくつかの種類がある。たとえば、図５（ａ）は水平垂直方向ともに色差成分を１／２に間引く方法を示す。これは、４：２：０サンプリングと呼ばれる。この４：２：０サンプリングの場合、色差成分の垂直方向のサンプル位置は輝度成分のサンプル位置とは一致しない。つまり、色差成分は、輝度成分の中間の位置にサンプルされる。
【００１１】
また、図５（ｂ）は水平方向のみ１／２に間引く方法を示す。これは、４：２：２サンプリングと呼ばれる。さらに、図５（ｃ）は間引きを行わない場合を示す。これは、４：４：４サンプリングと呼ばれる。
【００１２】
図６は、水平垂直方向ともに１／２に間引く場合のプログレッシブ形式におけるフレーム構造とインターレース形式におけるフィールド構造とでのサンプル位置関係を示している。前述のとおり、フレーム構造では、全てのサンプル位置の画素を同時に撮像し１枚のフレームとするが、フィールド構造では、輝度成分と色差成分のそれぞれに対して、偶数行目の画素のみを撮像したトップフィールドと奇数行目の画素のみを撮像したボトムフィールドとの２枚のフィールドに分けられる。このとき、色差成分の垂直方向のサンプル位置は輝度成分のサンプル位置に対し、トップフィールドでは偶数行目に対して下方向に１／４画素ずらした位置、ボトムフィールドでは奇数行目に対して上方向に１／４画素ずらした位置となっている。
【００１３】
次に、現在規格化が行われているＨＥＶＣの画面内予測符号化について図７を用いて詳しく説明する。画面内予測符号化では、符号化対象ブロックに隣接する既に符号化が完了しているブロックの画素を参照して、符号化対象ブロックと最も画素値の構成が近くなるような予測画像を生成する予測モードを選択する。これにより、符号化対象ブロックと予測画像との差分画像の情報量が最小化される。前記予測モードは、例えば、符号化対象ブロックの左隣接画素を右方向に延長して予測画像を生成するモード、符号化対象ブロックの左隣接画素および上隣接画素を右下方向に延長して予測画像を生成するモード等がある。前記予測モードは、輝度成分の予測画像を生成するための予測モードと、色差成分の予測画像を生成するための予測モードとが、それぞれ個別に定義され符号列に記述される。
【００１４】
基本的に、輝度成分の画面内予測では輝度成分の隣接画素を参照して予測画像を生成し、色差成分の画面内予測では色差成分の隣接画素を参照して予測画像を生成する。しかし、色差成分の予測モードの１つとして、対応する輝度成分の画面内予測によって生成された予測画像を用いて色差成分の予測画像を生成する特別な予測モードがある。この予測モードは、図７に示すように、まず輝度成分の予測画像をダウンサンプルすることによって色差成分の画素数と一致するように変換して中間予測画像を生成する。さらに符号化対象ブロックに隣接する輝度成分および色差成分の画素を参照して、前記中間予測画像の画素値を補正することで、色差成分の予測画像を生成する。
【００１５】
図７の例では、色差成分は輝度成分に対して水平垂直方向ともに１／２に間引いている。そのため、ダウンサンプルを行う際には、水平方向における偶数列目の上下２画素の輝度成分の平均値を求めることで中間予測画像の画素値とする。さらに、中間予測画像の画素値の補正のために符号化対象ブロックに隣接する輝度成分を参照する際には、上隣接画素に関しては偶数列目の画素のみを参照し、左隣接画素に関しては上下２画素の中間位置、つまり上下２画素の平均値に置き換えて参照する（非特許文献１および非特許文献２）。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】JCTVC D503 : Working Draft 2 of High-Efficiency Video Coding (03/2011)
【非特許文献２】JCTVC-E266 : Chroma intra prediction by reconstructed luma samples (03/2011)
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら上記従来のＨＥＶＣの画面内予測符号化の構成では、図３のようにインターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードにおいて、適切な予測画像を生成することができなくなる。
【００１８】
図８は、符号化対象ピクチャがトップフィールドであった場合の、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードの例である。このとき、色差成分の垂直方向のサンプル位置は、図６を用いて説明したように、偶数行目の輝度成分のサンプル位置に対して下方向に１／４画素ずらした位置となっている。
【００１９】
図８の例では、上記従来のＨＥＶＣの画面内予測符号化の構成に従って、ダウンサンプルを行う際に、偶数列目の上下２画素の輝度成分の中間位置の画素値を中間予測画像の画素値とし、また、中間予測画像の画素値の補正を行う際に、左隣接の上下２画素の輝度成分の中間位置の画素値を参照している。
【００２０】
しかし、前述のとおり、色差成分の垂直方向のサンプル位置は、輝度成分の垂直方向のサンプル位置の中間ではなく１／４画素ずらした位置であるため、ダウンサンプルおよび中間予測画像の画素値の補正において、上下２画素の輝度成分の中間位置の画素値を使用すると、位相のずれた予測画像が生成されてしまう。
【００２１】
本発明は上記課題を解決するものであり、ＨＥＶＣを用いた動画像符号化装置において、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合でも、画面内予測符号化において、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて、適切な色差成分の予測画像を生成することを可能とする。
【課題を解決するための手段】
【００２２】
本発明の動画像符号化装置は、輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化する動画像符号化装置であって、前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報、および前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて、符号化対象ピクチャにおける前記色差成分のサンプル位置に関するサンプル位置情報を生成するサンプル位置情報生成部と、前記符号化対象ピクチャにおける符号化処理単位であるブロック毎に、前記ブロックに隣接する既に符号化済みのブロックに含まれる輝度成分の画素である第１隣接画素を用いて輝度成分の画面内予測画像を生成し、加えて、生成した前記輝度成分の画面内予測画像、前記第１隣接画素、前記ブロックに隣接する既に符号化済みのブロックの色差成分の画素である第２隣接画素、および前記サンプル位置情報に基づいて、色差成分の画面内予測画像を生成する予測符号化部と、前記生成した輝度成分の画面内予測画像および前記色差成分の画面内予測画像に基づいて、前記符号化対象ピクチャを前記ブロックごとに符号化処理し、符号列を生成するピクチャデータ符号化部と、を備える。
【００２３】
また好ましくは、前記予測符号化部は、前記サンプル位置情報に基づいて、前記輝度成分の画面内予測画像をダウンサンプリングすることにより前記色差成分の画素数と同じ画素数の中間予測画像を生成し、生成した前記中間予測画像に含まれる画素値を補正することにより、前記色差成分の画面内予測画像を生成する。
【００２４】
また好ましくは、前記予測符号化部は、前記サンプル位置情報に基づいて、前記第１隣接画素を補正することにより補正隣接画素を生成し、生成した補正隣接画素および前記第２隣接画素の画素値の相関関係を用いて、前記輝度成分の画面内予測画像から前記色差成分の画面内予測画像を生成する。
【００２５】
また好ましくは、前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と、前記輝度成分のサンプル位置とのずれを示すシフト量を前記サンプル位置情報として生成する。
【００２６】
また好ましくは、前記予測符号化部は、生成する前記中間予測画像の各画素のサンプル位置が、前記サンプル位置情報に示される前記色差成分のサンプル位置と一致するように、前記中間予測画像の各画素の値を前記輝度成分の画面内予測画像を構成する１つ以上の画素の値を用いて内挿補間することによって算出する。
【００２７】
また好ましくは、前記予測符号化部は、生成する前記補正隣接画素の各画素のサンプル位置が、前記サンプル位置情報に示される前記色差成分のサンプル位置と一致するように、前記補正隣接画素の各画素の値を１つ以上の前記第１隣接画素の値を用いて内挿補間することによって算出する。
【００２８】
また好ましくは、前記サンプル位置情報生成部は、前記動画像形式情報がインターレース形式を示す場合にのみ、前記動画像信号をフィールド構造としたときの前記色差成分のサンプル位置と前記輝度成分のサンプル位置とのずれを示す情報を有するサンプル位置情報を生成する。
【００２９】
また好ましくは、前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と前記輝度成分のサンプル位置との垂直方向に対するずれを示す情報のみを有するサンプル位置情報を生成する。
【００３０】
また好ましくは、前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と前記輝度成分のサンプル位置との垂直方向および水平方向に対するずれを示す情報を有するサンプル位置情報を生成する。
【００３１】
また好ましくは、前記サンプル位置情報生成部は、前記符号化対象ピクチャが、インターレース形式のトップフィールドであるか、インターレース形式のボトムフィールドであるかを示す情報を有するサンプル位置情報を生成する。
【００３２】
また好ましくは、前記ピクチャデータ符号化部は、前記符号列のヘッダ領域のうちピクチャ全体の符号化制御情報を記述する領域に、前記サンプル位置情報を記述する。
【００３３】
また好ましくは、前記ピクチャデータ符号化部は、前記符号列のヘッダ領域のうちピクチャを分割した単位であるスライスに関する符号化制御情報を記述する領域に、前記サンプル位置情報を記述する。
【００３４】
また好ましくは、前記シフト量は、前記輝度成分のサンプル位置の間隔の１／４を１単位とした値である。
【００３５】
なお、本発明は、このような動画像符号化および動画像復号化装置として実現することができるだけでなく、このような動画像符号化および動画像復号化装置に含まれる各手段と同等の処理をプログラムや集積回路としても実現することもできる。
【発明の効果】
【００３６】
以上より、本発明における動画像符号化装置は、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合でも、画面内予測復号化において、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて、適切な色差成分の予測画像を生成することができる。
【００３７】
また、本発明における動画像復号化装置は、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化した符号列を復号化する場合でも、画面内予測復号化において、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて、適切な色差成分の予測画像を生成することができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施の形態１に係る動画像符号化装置を示すブロック図である。
【図２】本発明の実施の形態２に係る動画像復号化装置を示すブロック図である。
【図３】従来のプログレッシブ形式の動画像の符号化方法を説明するための概念図である。
【図４】従来のインターレース形式の動画像の符号化方法を説明するための概念図である。
【図５】輝度成分と色差成分のサンプル位置の関係を説明するための概念図である。
【図６】インターレース形式における輝度成分と色差成分のサンプル位置の関係を説明するための概念図である。
【図７】従来の画面内予測における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードの一例を説明するための概念図である。
【図８】従来の画面内予測における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードの別の一例を説明するための概念図である。
【図９】本発明の実施の形態１に係る符号化処理のフローチャートである。
【図１０】本発明の実施の形態における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードの一例を説明するための概念図である。
【図１１】本発明の実施の形態における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードの別の一例を説明するための概念図である。
【図１２】本発明の実施の形態における輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードのさらに別の一例を説明するための概念図である。
【図１３】本発明の実施の形態によって生成される符号列の構成を説明するための概念図である。
【図１４】本発明の実施の形態によって生成されるスライスヘッダのシンタックスの一例を説明するための概念図である。
【図１５】本発明の実施の形態によって生成される符号列の別の構成を説明するための概念図である。
【図１６】本発明の実施の形態によって生成されるピクチャヘッダのシンタックスの一例を説明するための概念図である。
【図１７】本発明の実施の形態２に係る復号化処理のフローチャートである。
【発明を実施するための形態】
【００３９】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照しながら説明する。
【００４０】
（符号化装置全体の処理説明）
図１は、本発明の実施の形態に係る動画像符号化装置１００のブロック図である。動画像符号化装置１００は、ピクチャ単位で入力された動画像をブロックに分割し、ブロック単位で符号化処理する。そして、動画像符号化装置１００は、符号列を生成する。
【００４１】
この動画像符号化装置１００は、ピクチャメモリ１０１と、予測残差符号化部１０２と、予測残差復号化部１０３と、ローカルバッファ１０４と、予測符号化部１０５と、量子化値決定部１０６と、符号列生成部１０７と、色差サンプル位置情報生成部１０８とを備えている。
【００４２】
ピクチャメモリ１０１は、表示を行う順にピクチャ単位で入力される入力画像信号１５１を、符号化を行う順にピクチャの並び替えを行って蓄積する。入力画像信号１５１はプログレッシブ形式とインターレース形式との双方があり、プログレッシブ形式の場合は１枚のフレームを１枚のピクチャとして、インターレース形式の場合は１枚のフィールドを１枚のピクチャとして以降の符号化処理を適用する。
【００４３】
次に、ピクチャメモリ１０１は、差分演算部１０９および予測符号化部１０５からの読出し命令を受けると当該読出し命令に係る画像信号をそれぞれ出力する。このとき、各々のピクチャは複数の画素から構成される符号化単位であるブロックに分割される。このブロックは、例えば水平６４×垂直６４画素、水平３２×垂直３２画素、水平１６×垂直１６画素から成る。なお、本実施形態における動画像符号化装置１００ではブロック単位で以降の処理が行われる。
【００４４】
予測残差符号化部１０２は、差分演算部１０９から出力される差分画像信号１５２に対して直交変換を行う。さらに、予測残差符号化部１０２は、得られた各周波数成分の直交変換係数に対し量子化を行うことで残差符号化信号１５３を生成する。そして、予測残差符号化部１０２は、予測残差復号化部１０３および符号列生成部１０７に、残差符号化信号１５３を出力する。このとき予測残差符号化部１０２は、量子化値決定部１０６において決定された量子化値を用いて直交変換係数を量子化する。
【００４５】
予測残差復号化部１０３は、予測残差符号化部１０２から出力される残差符号化信号１５３に対して、逆量子化および逆直交変換することで差分画像情報の復元を行い、生成した残差復号化信号１５４を加算演算部１１０に出力する。
【００４６】
ローカルバッファ１０４は、加算演算部１１０から出力される再構成画像信号１５５を格納する。この再構成画像信号１５５は、現在符号化対象となっているピクチャ以降のピクチャの符号化における予測符号化処理において参照用の画素データとして使用される。ローカルバッファ１０４は、予測符号化部１０５からの読出し命令に応じて、格納している再構成画像信号１５５を画素データとして予測符号化部１０５へ出力する。
【００４７】
予測符号化部１０５は、ピクチャメモリ１０１から出力される画像信号を基に、画面内予測、または画面間予測を用いて予測画像信号１５６を生成し、差分演算部１０９および加算演算部１１０に出力する。なお、予測符号化部１０５は、画面間予測を行う際は、ローカルバッファ１０４に蓄積される既に符号化済みのピクチャの再構成画像信号１５５を用いる。また、画面内予測を行う際は、符号化対象ブロックに隣接する既に符号化済みのブロックの再構成画像信号１５５を用いる。画面内予測を用いるか画面間予測を用いるかのモード判定方法については、どちらの予測方法がより残差信号の情報量を少なくできるかを推定して行われる。予測符号化部１０５は、予測方法に関する情報である予測情報信号１５７を、符号列生成部１０７に出力する。
【００４８】
量子化値決定部１０６は、ピクチャメモリ１０１に格納されるピクチャに基づいて、予測残差符号化部１０２で差分画像信号１５２を量子化する際の量子化値を決定する。なお、量子化値決定１０６における量子化値の決定方法は、符号列信号１５９のビットレートが目標とするするビットレートに近づくように量子化値を設定する、いわゆるレート制御に基づく量子化値の決定方法を用いてもよい。
【００４９】
符号列生成部１０７は、予測残差符号化部１０２が出力する残差符号化信号１５３と、予測符号化部１０５が出力する予測情報信号１５７と、量子化値決定部１０６が出力する量子化値と、色差サンプル位置情報生成部１０８が出力する色差サンプル位置情報信号１５８に対して可変長符号化を施すことで符号列信号１５９を生成する。
【００５０】
色差サンプル位置情報生成部１０８は、外部から指定される動画像形式に関する情報、例えば、符号化対象の動画像がプログレッシブ形式であるかインターレース形式であるかの情報、もしくは符号化対象の動画像の輝度成分に対する色差成分の間引き方法に関する情報を基に、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係を示す色差サンプル位置情報を生成する。生成された色差サンプル位置情報信号１５８は予測符号化部１０５および符号列生成部１０７に出力される。
【００５１】
ここで、色差サンプル位置情報としては、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、輝度成分の座標空間上においてどれくらいずれているかを示すシフト量で定義される。従来の技術で説明した図６の例を用いて詳しく説明する。ここで、図６に示すピクチャの座標空間は、最も左上の画素位置の座標を（０，０）とする。さらに、垂直下方向または水平右方向に変位するにつれ座標がプラスとなるように座標空間を設定する。例えば、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、水平方向に０画素分、垂直方向に０．５画素分下にずれている。よってシフト量は（０、０．５）となる。同様に、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．２５画素分下にずれている。よってシフト量は（０、０．２５）となる。また、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．７５画素分下にずれている。よってシフト量は（０、０．７５）となる。
【００５２】
差分演算部１０９は、ピクチャメモリ１０１から読み出された画像信号と予測符号化部１０５から出力される予測画像信号１５６との差分値である差分画像信号１５２を生成し、予測残差符号化部１０２に出力する。
【００５３】
加算演算部１１０は、予測残差復号化部１０３から出力される残差復号化信号１５４と予測符号化部１０５から出力される予測画像信号１５６とを加算することにより再構成画像信号１５５を生成し、ローカルバッファ１０４に出力する。
【００５４】
（色差サンプル位置情報生成の処理全体説明）
ここで、色差サンプル位置情報生成部１０８で色差サンプル位置情報信号１５８を生成し、符号列生成部１０７で符号列を生成する方法、および予測符号化部１０５で画面間予測符号化を行う方法について、図９の符号化処理全体のフローチャートを用いて具体的に説明する。
【００５５】
まず、ステップＳ９０１において、符号列生成部１０７はシーケンス単位のヘッダ領域の符号列生成を行う。シーケンス単位のヘッダ領域には、符号化および復号化制御においてシーケンス全体で共通に必要となる情報が記述される。
【００５６】
次に、ステップＳ９０２において、色差サンプル位置情報生成部１０８は、外部から指定される動画像形式に関する情報、例えば、符号化対象の動画像がプログレッシブ形式であるかインターレース形式であるかの情報、もしくは符号化対象の動画像の輝度成分に対する色差成分の間引き方法に関する情報を基に、符号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報信号１５８を生成する。
【００５７】
次に、ステップＳ９０３において、符号列生成部１０７はピクチャ単位およびスライス単位のヘッダ領域の符号列生成を行う。ピクチャ単位のヘッダ領域には、符号化および復号化制御において符号化対象ピクチャ全体で共通に必要となる情報が記述される。また、スライス単位のヘッダ領域には、符号化および復号化制御において符号化対象ピクチャに属する複数のブロックから構成されるスライス全体で共通に必要となる情報、および符号化対象ピクチャ全体で共通に必要となる情報が記述される。このとき、ステップＳ９０２において生成された色差サンプル位置情報が、ピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域に記述される。
【００５８】
最後に、ステップＳ９０４において、図１を用いて説明した符号化対象ピクチャの一連の符号化処理を行いピクチャデータの符号列生成を行う。このとき、予測符号化部１０５では、ステップＳ９０２において生成された色差サンプル位置情報を用いて、輝度成分の予測画像を用いて色差成分の予測画像を生成することで画面内予測処理が行われる。
【００５９】
符号化対象ピクチャの処理が完了すると、ステップＳ９０２に戻って次のピクチャの符号化処理に移り、シーケンス内の全てのピクチャの符号化処理が完了するまでステップＳ９０２からステップＳ９０４の処理を繰り返す。
【００６０】
（色差成分の予測画像の生成方法）
ここで、予測符号化部１０５において画面内予測を行う際に、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて予測画像を生成する方法について詳しく説明する。
【００６１】
前記予測モードでは、対応する輝度成分の画面内予測によって生成された予測画像を用いて、まず輝度成分の予測画像をダウンサンプルすることによって色差成分の画素数と一致するように変換して中間予測画像を生成する。さらに、前記予測モードは、符号化対象ブロックに隣接する輝度成分および色差成分の画素を参照して前記中間予測画像の画素値を補正することで、色差成分の予測画像を生成する。
【００６２】
このとき、本実施の形態では、図７および図８を用いて説明した従来の技術とは異なり、使用する輝度成分の画素を色差サンプル位置情報に基づいて補正することで、輝度成分と色差成分のサンプル位置がどのような関係にあっても正確な色差成分の予測画像を生成することが可能である。
【００６３】
（中間予測画像の生成方法）
まず、輝度成分の予測画像をダウンサンプルする処理においては、（数１）に示す方法を用いて中間予測画像の画素値を算出する。
【００６４】
なお、Ｍ[ｘ、ｙ]は算出する中間予測画像の画素位置（ｘ、ｙ）における画素値とする。また、Ｌ[ｘ、ｙ]は参照する輝度成分の予測画像の画素位置（ｘ、ｙ）における画素値とする。さらに、Ｓｆｔｘは符号化対象ピクチャの色差サンプル位置のシフト量の水平方向とする。Ｓｆｔｙは符号化対象ピクチャの色差サンプル位置のシフト量の垂直方向とする。
【００６５】
（数１）は色差成分が輝度成分に対して水平垂直方向ともに１／２に間引かれている場合の処理を示している。また、ｘ、ｙの取りうる範囲は符号化対象ブロックのサイズに依存するが、例えば、符号化対象ブロックのサイズが輝度成分は８×８画素、色差成分は４×４画素であった場合、ｘ、ｙはそれぞれ０から３の値をとる。なお、説明の簡略化のため、では、Ｓｆｔｘ、Ｓｆｔｙの単位は、値１で輝度成分の１画素に相当するものとして表現している。
【００６６】
（数１）Ｍ[ｘ,ｙ]＝(１−Ｓｆｔｘ)×(１−Ｓｆｔｙ)×Ｌ[２ｘ,２ｙ]
＋Ｓｆｔｘ×(１−Ｓｆｔｙ)×Ｌ[２ｘ＋１,２ｙ]
＋(１−Ｓｆｔｘ)×Ｓｆｔｙ×Ｌ[２ｘ,２ｙ＋１]
＋Ｓｆｔｘ×Ｓｆｔｙ×Ｌ[２ｘ＋１,２ｙ＋１]
なお、（数１）では小数を用いた演算が必要になるため、Ｓｆｔｘ、Ｓｆｔｙの単位を、値１で輝度成分の１／４画素に相当するものとして、（数２）のように表現することも可能である。これにより各演算を整数のみで行うことが可能となる。
【００６７】
（数２）Ｍ[ｘ,ｙ]＝((４−Ｓｆｔｘ)×(４−Ｓｆｔｙ)×Ｌ[２ｘ,２ｙ]
＋Ｓｆｔｘ×(４−Ｓｆｔｙ)×Ｌ[２ｘ＋１,２ｙ]
＋(４−Ｓｆｔｘ)×Ｓｆｔｙ×Ｌ[２ｘ,２ｙ＋１]
＋Ｓｆｔｘ×Ｓｆｔｙ×Ｌ[２ｘ＋１,２ｙ＋１])／１６
（補正に利用する輝度成分の隣接画素生成方法）
次に、中間予測画像の画素値を補正するために参照する輝度成分の隣接画素については、（数３）および（数４）に示す方法を用いて算出した画素値を使用する。
【００６８】
なお、Ｍｒ[ｘ]は上隣接画素として使用する画素値とする。さらに、Ｍｒ[ｙ]は左隣接画素として使用する画素値とする。また、Ｌｒ[ｘ]は、輝度成分の予測画像を生成する際に実際に利用した画素値であって、符号化対象ブロックの上側に隣接する輝度成分の画素値とする。Ｌｒ[ｙ]は輝度成分の予測画像を生成する際に実際に利用した画素値であって、符号化対象ブロックの左側に隣接する輝度成分の画素値とする。さらに、Ｓｆｔｘは符号化対象ピクチャの色差サンプル位置のシフト量の水平方向とする。そして、Ｓｆｔｙは符号化対象ピクチャの色差サンプル位置のシフト量の垂直方向とする。
【００６９】
（数３）および（数４）は色差成分が輝度成分に対して水平垂直方向ともに１／２に間引かれている場合の処理を示している。また、ｘ、ｙの取りうる範囲は符号化対象ブロックのサイズに依存するが、例えば、符号化対象ブロックのサイズが輝度成分は８×８画素、色差成分は４×４画素であった場合、ｘ、ｙはそれぞれ０から３の値をとる。なお、説明の簡略化のため、（数３）および（数４）では、Ｓｆｔｘ、Ｓｆｔｙの単位は、値１で輝度成分の１画素に相当するものとして表現している。
【００７０】
（数３）Ｍｒ[ｘ]＝(１−Ｓｆｔｘ)×Ｌｒ[２ｘ]＋Ｓｆｔｘ×Ｌｒ[２ｘ＋１]
（数４）Ｍｒ[ｙ]＝(１−Ｓｆｔｙ)×Ｌｒ[２ｙ]＋Ｓｆｔｙ×Ｌｒ[２ｙ＋１]
なお、（数３）および（数４）では小数を用いた演算が必要になるため、Ｓｆｔｘ、Ｓｆｔｙの単位を、値１で輝度成分の１／４画素に相当するものとして、（数５）および（数６）のように表現することも可能である。これにより各演算を整数のみで行うことが可能となる。
【００７１】
（数５）Ｍｒ[ｘ]＝((４−Ｓｆｔｘ)×Ｌｒ[２ｘ]＋Ｓｆｔｘ×Ｌｒ[２ｘ＋１])／４
（数６）Ｍｒ[ｙ]＝((４−Ｓｆｔｙ)×Ｌｒ[２ｙ]＋Ｓｆｔｙ×Ｌｒ[２ｙ＋１])／４
（中間予測画像の画素値補正方法）
中間予測画像の画素値の補正は、まず、符号化対象ブロックに隣接する既に符号化済みである輝度成分の画素値と色差成分の画素値の相関関係を求める。このとき、輝度成分の画素値は、（数３）および（数４）または（数５）および（数６）で算出した値を利用する。
【００７２】
次に、前記中間予測画像の画素値と補正して求める色差成分の予測画像の画素値とが、上記により求めた相関関係と同じ関係性になるように、前記中間予測画像を補正し、色差成分の予測画像を生成する。
【００７３】
本実施形態の場合、上記処理によって参照する輝度成分の画素を色差成分の画素と位相が一致するように補正している。これにより、正確な画素値の関係性を求めることが可能となる。その結果、精度の高い色差成分の予測画像を生成することが可能となる。
【００７４】
図１０は、符号化対象の動画像がプログレッシブ形式であり、符号化対象ピクチャがフレーム構造である場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は（０、０．５）となる。輝度成分の予測画像をダウンサンプルすることによって得られる中間予測画像の各画素値は、（数１）に従って算出すると、偶数列目の上下２画素の中間位置に相当する画素値となる。また、中間予測画像の画素値の補正を行うために参照する輝度成分の隣接画素の画素値は、（数３）および（数４）に従って算出すると、上隣接画素に関しては偶数列目の画素値そのまま、左隣接画素に関しては上下２画素の中間位置に相当する画素値となる。なお、（数２）および（数５）および（数６）の表現に置き換えると、色差サンプル位置のシフト量は（０、２）となるが、算出される結果は全く同じ値となる。
【００７５】
一方、図１１は、符号化対象の動画像がインターレース形式であり、符号化対象ピクチャがトップフィールドであった場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は（０、０．２５）となる。輝度成分の予測画像をダウンサンプルすることによって得られる中間予測画像の各画素値は、（数１）に従って算出すると、偶数列目の上下２画素の中間位置から上方向に１／４画素シフトした位置に相当する画素値となる。また、中間予測画像の画素値の補正を行うために参照する輝度成分の隣接画素の画素値は、（数３）および（数４）に従って算出すると、上隣接画素に関しては偶数列目の画素値そのまま、左隣接画素に関しては上下２画素の中間位置から上方向に１／４画素シフトした位置に相当する画素値となる。なお、（数２）および（数５）および（数６）の表現に置き換えると、色差サンプル位置のシフト量は（０、１）となるが、算出される結果は全く同じ値となる。
【００７６】
同様に、図１２は、符号化対象の動画像がインターレース形式であり、符号化対象ピクチャがボトムフィールドであった場合の例である。このとき、色差サンプル位置情報として指定されるシフト量は（０、０．７５）となる。輝度成分の予測画像をダウンサンプルすることによって得られる中間予測画像の各画素値は、（数１）に従って算出すると、偶数列目の上下２画素の中間位置から下方向に１／４画素シフトした位置に相当する画素値となる。また、中間予測画像の画素値の補正を行うために参照する輝度成分の隣接画素の画素値は、（数３）および（数４）に従って算出すると、上隣接画素に関しては偶数列目の画素値そのまま、左隣接画素に関しては上下２画素の中間位置から下方向に１／４画素シフトした位置に相当する画素値となる。なお、（数２）および（数５）および（数６）の表現に置き換えると、色差サンプル位置のシフト量は（０、３）となるが、算出される結果は全く同じ値となる。
【００７７】
このように、図８を用いて説明した従来の技術では、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係と、色差成分の画面内予測画像を生成するために使用される輝度成分の画素位置の関係とが一致していなかったが、本発明による図１１および図１２の例では、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係と、色差成分の画面内予測画像を生成するために使用される輝度成分の画素位置の関係とが一致し、正確な色差成分の画面内予測画像が生成できる。
【００７８】
なお、符号化対象の動画像がプログレッシブ形式である場合は、従来の方法を用いても本発明の方法を用いても、常に正確な色差成分の画面内予測画像が生成できるため、（数１）および（数３）および（数４）、もしくは（数２）および（数５）および（数６）で説明した処理を行わず、従来の技術と同様の方法で色差成分の画面内予測画像を生成してもよい。
【００７９】
また、符号化対象の動画像がインターレース形式であった場合でも、図５を用いて説明した色差成分の間引き方法が、図５（ｂ）のように４：２：２サンプリングと呼ばれる水平方向のみ１／２に間引く方法や、図５（ｃ）のように４：４：４サンプリングと呼ばれる間引きを行わない方法であった場合、前述のプログレッシブ形式の場合と同様に、従来の方法を用いても本発明の方法を用いても、常に正確な色差成分の画面内予測画像が生成できるため、（数１）および（数３）および（数４）、もしくは（数２）および（数５）および（数６）で説明した処理を行わず、従来の技術と同様の方法で色差成分の画面内予測画像を生成してもよい。
【００８０】
また、輝度成分の予測画像をダウンサンプルする処理においては、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、（数１）もしくは（数２）で説明した処理の替わりに、（数７）もしくは（数８）による処理を用いてもよい。
【００８１】
（数７）Ｍ[ｘ,ｙ]＝(１−Ｓｆｔｙ)×Ｌ[２ｘ,２ｙ]＋Ｓｆｔｙ×Ｌ[２ｘ,２ｙ＋１]
（数８）Ｍ[ｘ,ｙ]＝((４−Ｓｆｔｙ)×Ｌ[２ｘ,２ｙ]＋Ｓｆｔｙ×Ｌ[２ｘ,２ｙ＋１])／４
また、中間予測画像の画素値を補正するために参照する輝度成分の隣接画素については、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、上隣接画素として使用する画素値は（数３）もしくは（数５）で説明した処理を行わずに偶数列目の画素値をそのまま適用し、左隣接画素として使用する画素値のみ（数４）もしくは（数６）で説明した処理を用いて算出するという構成にしてもよい。
【００８２】
また、輝度成分の予測画像をダウンサンプルする処理においては、（数１）および（数２）のように周辺の４つの輝度成分の画素を用いる方法、もしくは、（数７）および（数８）のように周辺の２つの輝度成分の画素を用いる方法を説明したが、これらの代わりに、例えば、周辺の６つの輝度成分の画素を用いたり、もしくは、それ以外の個数の輝度成分の画素を用いた処理を行ってもよい。
【００８３】
また、（数１）から（数８）で説明したそれぞれの算出処理はあくまで一例であり、色差サンプル位置情報を用いて色差成分の位相が適切な位置となるように制御される算出処理であればこれ以外の算出式を用いてもよい。
【００８４】
また、本実施の形態では、輝度成分の予測画像をダウンサンプルする処理と、中間予測画像の画素値を補正するために参照する輝度成分の隣接画素を算出する処理との、それぞれにおいて色差サンプル位置情報による位相制御を行ったが、例えば、前者の処理でのみ色差サンプル位置情報による位相制御を行うという構成にしても、逆に、後者の処理でのみ色差サンプル位置情報による位相制御を行うという構成にしてもよい。
【００８５】
（符号列１５９のシンタックス構成に関して）
次に、本実施の形態によって生成される符号列１５９の構成を、図１３を用いて説明する。
【００８６】
生成される符号列１５９は、シーケンス単位の符号化制御情報を記述したシーケンスヘッダ領域、ピクチャ単位の符号化制御情報を記述したピクチャヘッダ領域、スライス単位の符号化制御情報を記述したスライスヘッダ領域、およびスライスデータで構成されている。このとき、図９におけるステップＳ９０２で生成した色差サンプル位置情報はスライスヘッダ領域に記述される。
【００８７】
ここで、色差サンプル位置情報が記述されるスライスヘッダ領域のシンタックスについて図１４を用いて詳しく説明する。なお、図１４では本発明に関連するシンタックス以外は省略して記載している。
【００８８】
図１４（ａ）では、色差サンプル位置情報として、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘとｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙとがスライスヘッダ領域に記述されている。
【００８９】
ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘは、符号化対象ピクチャにおける、色差成分のサンプル位置が輝度成分のサンプル位置に対して、輝度成分の座標空間上においてどれくらいずれているかを示す水平方向のシフト量であり、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙは同垂直方向のシフト量である。例えば、従来の技術で説明した図６の例を用いると、シフト量を（ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘ、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙ）と表現したとき、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合は（０、０．５）となり、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は（０、０．２５）となり、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は（０、０．７５）となる。
【００９０】
なお、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙの値の単位は任意であり、例えば、値１が輝度成分の１／４画素に相当するように表現した場合は、図６（ａ）は（０、２）、図６（ｂ）は（０、１）、図６（ｃ）は（０、３）となる。
【００９１】
なお、符号化対象の動画像がプログレッシブ形式である場合は、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となる。そのため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００９２】
また、符号化対象の動画像がインターレース形式であった場合でも、図５を用いて説明した色差成分の間引き方法が、図５（ｂ）のように４：２：２サンプリングと呼ばれる水平方向のみ１／２に間引く方法や、図５（ｃ）のように４：４：４サンプリングと呼ばれる間引きを行わない方法であった場合、前述のプログレッシブ形式の場合と同様に、シーケンスに属する全てのピクチャの色差サンプル位置のシフト量は同じ値となる。そのため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘおよびｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙを記述せずに予め定義された固定値として符号化処理を行うようにしてもよい。
【００９３】
また、符号化対象の動画像がプログレッシブ形式である場合もインターレースである場合も、色差サンプル位置の水平方向のシフト量は常に０であるため、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｘを記述せずに、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｓｈｉｆｔ＿ｙのみを記述するようにしてもよい。
【００９４】
また、図１４（ａ）のように色差サンプル位置のシフト量を直接記述せずに、例えば、図１４（ｂ）のｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃように別の意味を持たせたパラメータから間接的に色差サンプル位置のシフト量を指定するようにしてもよい。
【００９５】
ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃは、０のときは、符号化対象ピクチャの色差成分は輝度成分に対して水平垂直ともに１／２に間引いたもの（４：２：０サンプル）であり、さらにインターレース形式のトップフィールドであることを示す。つまり、図６（ｂ）の構造のピクチャであることを示す。また、１のときは、符号化対象ピクチャの色差成分は輝度成分に対して水平垂直ともに１／２に間引いたもの（４：２：０サンプル）であり、さらにインターレース形式のボトムフィールドであることを示す。つまり、図６（ｃ）の構造のピクチャであることを示す。また、２のときは、それ以外の構造のピクチャであることを示す。
【００９６】
これにより、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃが、０のときは色差サンプル位置のシフト量が（０、０．２５）であり、１のときは色差サンプル位置のシフト量が（０、０．７５）であり、２のときは色差サンプル位置のシフト量が（０、０．５）もしくは（０、０）であることを間接的に指定することが可能となる。
【００９７】
なお、前述のｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｉｄｃと同じ情報を、色差成分の間引き方法を示す情報と、インターレース形式のトップフィールドであるかボトムフィールドであるかを示す情報とに分けて記述する構成としてもよい。このとき、色差成分の間引き方法を示す情報として、例えば、図５（ａ）の４：２：０サンプリング、図５（ｂ）の４：２：２サンプリング、図５（ｃ）の４：４：４サンプリングのいずれかを示す情報とし、シーケンス全体で共通に必要となる情報としてシーケンス単位のヘッダ領域に記述する方法がある。一方、インターレース形式のトップフィールドであるかボトムフィールドであるかを示す情報として、例えば、値０のときはインターレース形式のトップフィールド、値１のときはインターレース形式のボトムフィールドを示すパラメータとし、ピクチャ全体で共通に必要となる情報としてピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域に記述する方法がある。
【００９８】
なお、図１４を用いて説明した色差サンプル位置情報は、符号化対象ピクチャに対して１つのみを対応付けるものである。しかし、１つのピクチャは複数のスライスから構成されているため、色差サンプル位置情報が記述されているスライスヘッダも複数符号化される。そのため、図１４を用いて説明した各パラメータは、対象となるスライスが属するピクチャにおいて常に同じ値が記述されることになる。
【００９９】
（符号列１５９の他のシンタックス構成に関して）
ここで、本実施の形態によって生成される符号列１５９における別のシンタックス構成を図１５に基づいて説明する。
【０１００】
生成される符号列１５９は、図１３を用いて説明した符号列の構成と同様に、シーケンス単位の符号化制御情報を記述したシーケンスヘッダ領域、ピクチャ単位の符号化制御情報を記述したピクチャヘッダ領域、スライス単位の符号化制御情報を記述したスライスヘッダ領域、およびスライスデータで構成されている。このとき、図１３を用いて説明した符号列の構成とは異なり、色差サンプル位置情報はスライスヘッダ領域ではなくピクチャヘッダ領域に記述されている。
【０１０１】
色差サンプル位置情報が記述されるピクチャヘッダ領域のシンタックスについては図１６に示す通りであり、図１４を用いて説明した内容と全く同様であるので説明を省略する。なお、ピクチャヘッダはピクチャ毎に１つずつのみが生成されるため、色差サンプル位置情報もピクチャ毎に１つずつのみが指定可能であり、対象ピクチャ内の全てのスライスで共通して使用される。
【０１０２】
なお、本実施の形態で説明した全てのパラメータ名およびパラメータ値については一例であり、これ以外のパラメータ名およびパラメータ値を用いて同様の機能を実現してもよい。
【０１０３】
このように、本実施の形態による動画像符号化装置を用いることにより、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化する場合でも、画面内予測符号化において、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて、適切な色差成分の予測画像を生成することができる。
【０１０４】
（実施の形態２）
以下、本発明の実施の形態２について、図面を参照しながら説明する。
【０１０５】
（復号化装置全体の処理説明）
図２は、本発明の実施の形態に係る動画像復号化装置２００のブロック図である。動画像復号化装置２００は、実施の形態１で説明した動画像符号化装置によって生成された符号列に対し、ブロック単位で復号化処理する。そして、動画像復号化装置２００は、出力画像を生成する。
【０１０６】
この動画像復号化装置２００は、符号列解析部２０１と、予測残差復号化部２０２と、ピクチャメモリ２０３と、予測復号化部２０４と、量子化値決定部２０５と、色差サンプル位置情報解析部２０６を備えている。
【０１０７】
符号列解析部２０１は、入力された符号列信号２５１に対して可変長復号化を施すことによりヘッダ情報の解析およびブロック単位のピクチャデータの解析を行う。符号列解析部２０１は、解析して得られる残差符号化信号２５２を予測残差復号化部２０２へ出力する。また、符号列解析部２０１は、予測情報信号２５６を予測復号化部２０４へ出力する。さらに、符号列解析部２０１は、量子化値情報を量子化値決定部２０５へ出力する。そして、符号列解析部２０１は、色差サンプル位置情報信号２５７を色差サンプル位置情報解析部２０６へ出力する。
【０１０８】
予測残差復号化部２０２は、符号列解析部２０１から出力される残差符号化信号２５２に対して、逆量子化および逆直交変換を行うことで残差復号化信号２５３を生成し、加算演算部２０７に出力する。このとき予測残差復号化部２０２は、量子化値決定部２０５において決定された量子化値を用いて残差符号化信号２５２を逆量子化する。
【０１０９】
ピクチャメモリ２０３は、加算演算部２０７から出力される再構成画像信号２５５を格納する。この再構成画像信号２５５は、現在復号化対象となっているピクチャ以降のピクチャの復号化における予測復号化処理において参照用の画素データとして使用される。ピクチャメモリ２０３は、予測復号化部２０４からの読出し命令に応じて、格納している再構成画像信号２５５を画素データとして予測復号化部２０４へ出力する。
【０１１０】
また同時に、ピクチャメモリ２０４は、格納している再構成画像信号２５５を出力画像信号２５８として外部に出力する。出力画像信号２５８はプログレッシブ形式とインターレース形式との双方があり、プログレッシブ形式の場合は１枚のピクチャを１枚のフレームとして、インターレース形式の場合は１枚のピクチャを１枚のフィールドとして、表示順に並び替えることによって出力される。
【０１１１】
予測復号化部２０４は、符号列解析部２０１から出力される予測情報信号２５６を基に、画面内予測、または画面間予測を用いて予測画像信号２５４を生成し、加算演算部２０７に出力する。なお、予測復号化部２０４は、画面間予測を用いる際は、ピクチャメモリ２０３に蓄積される既に復号化済みのピクチャの再構成画像信号２５５を用いる。また、画面内予測を用いる際は、復号化対象ブロックに隣接する既に復号化済みのブロックの再構成画像信号２５５を用いる。画面内予測を用いるか画面間予測を用いるかの判定については、入力される予測情報信号２５６に従って行われる。
【０１１２】
色差サンプル位置情報解析部２０６は、符号列解析部２０１から出力される色差サンプル位置情報信号２５７を解析して、輝度成分のサンプル位置に対する色差成分のサンプル位置の関係を示す色差サンプル位置情報を取得する。取得された色差サンプル位置情報は予測符号化部２０４に出力される。
【０１１３】
ここで、色差サンプル位置情報としては、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、輝度成分の座標空間上においてどれくらいずれているかを示すシフト量で定義される。従来の技術で説明した図６の例を用いて詳しく説明する。ここで、図６に示すピクチャの座標空間は、最も左上の画素位置の座標を（０，０）とする。さらに、垂直下方向または水平右方向に変位するにつれ座標がプラスとなるように座標空間を設定する。例えば、符号化対象ピクチャが図６（ａ）のようなフレーム構造であった場合、色差成分の（０、０）位置の画素が、輝度成分の（０、０）位置の画素に対して、水平方向に０画素分、垂直方向に０．５画素分下にずれている。よってシフト量は（０、０．５）となる。同様に、符号化対象ピクチャが図６（ｂ）のようなトップフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．２５画素分下にずれている。よってシフト量は（０、０．２５）となる。また、符号化対象ピクチャが図６（ｃ）のようなボトムフィールド構造であった場合は、水平方向に０画素分、垂直方向に０．７５画素分下にずれている。よってシフト量は（０、０．７５）となる。
【０１１４】
加算演算部２０７は、予測残差復号化部２０２から出力される残差復号化信号２５３と予測復号化部２０４から出力される予測画像信号２５４を加算することによって再構成画像信号２５５を生成し、ピクチャメモリ２０３に出力する。
【０１１５】
（色差サンプル位置情報の処理全体説明）
ここで、符号列解析部２０１で符号列を解析して得られた情報を基に、色差サンプル位置情報解析部２０６で色差サンプル位置情報を取得し、予測復号化部２０４で予測画像を生成する方法について、図１７の復号化処理全体のフローチャートを用いて具体的に説明する。
【０１１６】
まず、ステップＳ１７０１において、符号列解析部２０１はシーケンス単位のヘッダ領域の符号列解析を行う。シーケンス単位のヘッダ領域には、復号化制御においてシーケンス全体で共通に必要となる情報が記述されている。
【０１１７】
次に、ステップＳ１７０２において、符号列解析部２０１はピクチャ単位およびスライス単位のヘッダ領域の符号列解析を行う。ピクチャ単位のヘッダ領域には、復号化制御において復号化対象ピクチャ全体で共通に必要となる情報が記述されている。また、スライス単位のヘッダ領域には、復号化制御において復号化対象ピクチャに属する複数のブロックから構成されるスライス全体で共通に必要となる情報、および復号化対象ピクチャ全体で共通に必要となる情報が記述されている。このとき、色差サンプル位置情報信号２５７が、ピクチャ単位のヘッダ領域、もしくはスライス単位のヘッダ領域から取得される。
【０１１８】
次に、ステップＳ１７０３において、色差サンプル位置情報解析部２０６は、ステップＳ１７０２で取得された色差サンプル位置情報信号２５７を解析して、符号化対象ピクチャの色差成分のサンプル位置が輝度成分のサンプル位置に対してどのような位置関係にあるかを示す色差サンプル位置情報を生成する。
【０１１９】
最後に、ステップＳ１７０４において、図２を用いて説明した復号化対象ピクチャの一連の復号化処理を行い復号化画像の生成を行う。このとき、予測復号化部２０４では、ステップＳ１７０３において解析された色差サンプル位置情報を用いて、輝度成分の予測画像を用いて色差成分の予測画像を生成することで画面内予測処理が行われる。
【０１２０】
復号化対象ピクチャの処理が完了すると、ステップＳ１７０２に戻って次のピクチャの復号化処理に移り、シーケンス内の全てのピクチャの復号化処理が完了するまでステップＳ１７０２からステップＳ１７０４の処理を繰り返す。
【０１２１】
（色差Ｉｎｔｒａ予測画像生成について）
ここで、予測復号化部２０４において画面内予測を行う際に、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて予測画像を生成する方法について詳しく説明する。
【０１２２】
前記予測モードでは、対応する輝度成分の画面内予測によって生成された予測画像を用いて、まず輝度成分の予測画像をダウンサンプルすることによって色差成分の画素数と一致するように変換して中間予測画像を生成し、さらに復号化対象ブロックに隣接する輝度成分および色差成分の画素を参照して前記中間予測画像の画素値を補正することで、色差成分の予測画像を生成する。
【０１２３】
このとき本実施の形態では、色差サンプル位置情報を用いて、実施の形態１で（数１）から（数８）および図１０から図１２を用いて説明した動画像符号化装置における画面内予測の処理と全く同様の処理を行うことで、色差成分の予測画像を生成する。よって、復号化対象ピクチャが、プログレッシブ形式に属するフレーム構造であっても、インターレース形式に属するトップフィールド構造もしくはボトムフィールド構造であっても、もしくはそれ以外の理由により輝度成分のサンプル位置と色差成分のサンプル位置とが一致していない場合においても、常に正確に輝度成分の予測画像を用いて色差成分の予測画像を生成する画面内予測を行うことができる。
【０１２４】
（符号列２５１のシンタックス構成に関して）
最後に、本実施の形態で復号化対象とする符号列２５１の構成およびシンタックスは、実施の形態１で図１３から図１６を用いて説明したものと全く同様であるので、ここでは説明を省略する。
【０１２５】
このように、本実施の形態による動画像復号化装置を用いることにより、インターレース形式の動画像を入力として１枚のフィールドを１枚のピクチャとして符号化した符号列を復号化する場合でも、画面内予測復号化において、輝度成分の予測画像を用いて色差成分の予測画像を生成する予測モードを用いて、適切な色差成分の予測画像を生成することができる。
【０１２６】
（その他の実施形態）
さらに、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を備えるプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。なお、記録媒体としてはフレキシブルディスクに限らず、光ディスク、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１２７】
また、上記実施の形態で示した動画像符号化装置および動画像復号化装置に含まれる各手段と同等の機能を集積回路であるＬＳＩとして実現してもよい。これらは一部または全てを含むように１チップ化されてもよい。またＬＳＩは集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【０１２８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１２９】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【０１３０】
また、本発明は、上述した動画像符号化装置および動画像復号化装置を含む、放送局から放送される放送波を圧縮し、記録を行うＤＶＤレコーダー、ＢＤレコーダー等の放送波記録装置に適用しても構わない。
【０１３１】
また、上記実施の形態に係る、動画像符号化装置および動画像復号化装置、またはその変形例の機能のうち少なくとも一部を組み合わせてもよい。
【産業上の利用可能性】
【０１３２】
本発明は、例えば、ビデオカメラ、デジタルカメラ、ビデオレコーダ、携帯電話、及びパーソナルコンピューター等における、入力画像を構成する各ピクチャを符号化して動画像符号化データとして出力する動画像符号化装置や、前記動画像符号化データを復号化して復号化画像を生成する動画像復号化装置として有用である。
【符号の説明】
【０１３３】
１００ 動画像符号化装置
１０１ ピクチャメモリ
１０２ 予測残差符号化部
１０３ 予測残差復号化部
１０４ ローカルバッファ
１０５ 予測符号化部
１０６ 量子化値決定部
１０７ 符号列生成部
１０８ 色差サンプル位置情報生成部
１０９ 差分演算部
１１０ 加算演算部
１５１ 入力画像信号
１５２ 差分画像信号
１５３ 残差符号化信号
１５４ 残差復号化信号
１５５ 再構成画像信号
１５６ 予測画像信号
１５７ 予測情報信号
１５８ 色差サンプル位置情報信号
１５９ 符号列信号
２００ 動画像復号化装置
２０１ 符号列解析部
２０２ 予測残差復号化部
２０３ ピクチャメモリ
２０４ 予測復号化部
２０５ 量子化値決定部
２０６ 色差サンプル位置情報解析部
２０７ 加算演算部
２５１ 符号列信号
２５２ 残差符号化信号
２５３ 残差復号化信号
２５４ 予測画像信号
２５５ 再構成画像信号
２５６ 予測情報信号
２５７ 色差サンプル位置情報信号
２５８ 出力画像信号
【特許請求の範囲】
【請求項１】
輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化する動画像符号化装置であって、
前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報、および前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて、符号化対象ピクチャにおける前記色差成分のサンプル位置に関するサンプル位置情報を生成するサンプル位置情報生成部と、
前記符号化対象ピクチャにおける符号化処理単位であるブロック毎に、前記ブロックに隣接する既に符号化済みのブロックに含まれる輝度成分の画素である第１隣接画素を用いて輝度成分の画面内予測画像を生成し、加えて、生成した前記輝度成分の画面内予測画像、前記第１隣接画素、前記ブロックに隣接する既に符号化済みのブロックの色差成分の画素である第２隣接画素、および前記サンプル位置情報に基づいて、色差成分の画面内予測画像を生成する予測符号化部と、
前記生成した輝度成分の画面内予測画像および前記色差成分の画面内予測画像に基づいて、前記符号化対象ピクチャを前記ブロックごとに符号化処理し、符号列を生成するピクチャデータ符号化部と、を備える、
動画像符号化装置。
【請求項２】
前記予測符号化部は、前記サンプル位置情報に基づいて、前記輝度成分の画面内予測画像をダウンサンプリングすることにより前記色差成分の画素数と同じ画素数の中間予測画像を生成し、生成した前記中間予測画像に含まれる画素値を補正することにより、前記色差成分の画面内予測画像を生成する請求項１に記載の動画像符号化装置。
【請求項３】
前記予測符号化部は、前記サンプル位置情報に基づいて、前記第１隣接画素を補正することにより補正隣接画素を生成し、生成した補正隣接画素および前記第２隣接画素の画素値の相関関係を用いて、前記輝度成分の画面内予測画像から前記色差成分の画面内予測画像を生成する請求項１に記載の動画像符号化装置。
【請求項４】
前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と、前記輝度成分のサンプル位置とのずれを示すシフト量を前記サンプル位置情報として生成する請求項１から請求項３のいずれかに記載の動画像符号化装置。
【請求項５】
前記予測符号化部は、生成する前記中間予測画像の各画素のサンプル位置が、前記サンプル位置情報に示される前記色差成分のサンプル位置と一致するように、前記中間予測画像の各画素の値を前記輝度成分の画面内予測画像を構成する１つ以上の画素の値を用いて内挿補間することによって算出する請求項２に記載の動画像符号化装置。
【請求項６】
前記予測符号化部は、生成する前記補正隣接画素の各画素のサンプル位置が、前記サンプル位置情報に示される前記色差成分のサンプル位置と一致するように、前記補正隣接画素の各画素の値を１つ以上の前記第１隣接画素の値を用いて内挿補間することによって算出する請求項３に記載の動画像符号化装置。
【請求項７】
前記サンプル位置情報生成部は、前記動画像形式情報がインターレース形式を示す場合にのみ、前記動画像信号をフィールド構造としたときの前記色差成分のサンプル位置と前記輝度成分のサンプル位置とのずれを示す情報を有するサンプル位置情報を生成する請求項１に記載の動画像符号化装置。
【請求項８】
前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と前記輝度成分のサンプル位置との垂直方向に対するずれを示す情報のみを有するサンプル位置情報を生成する請求項１に記載の動画像符号化装置。
【請求項９】
前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と前記輝度成分のサンプル位置との垂直方向および水平方向に対するずれを示す情報を有するサンプル位置情報を生成する請求項１に記載の動画像符号化装置。
【請求項１０】
前記サンプル位置情報生成部は、前記符号化対象ピクチャが、インターレース形式のトップフィールドであるか、インターレース形式のボトムフィールドであるかを示す情報を有するサンプル位置情報を生成する請求項１に記載の動画像符号化装置。
【請求項１１】
前記ピクチャデータ符号化部は、前記符号列のヘッダ領域のうちピクチャ全体の符号化制御情報を記述する領域に、前記サンプル位置情報を記述する請求項１に記載の動画像符号化装置。
【請求項１２】
前記ピクチャデータ符号化部は、前記符号列のヘッダ領域のうちピクチャを分割した単位であるスライスに関する符号化制御情報を記述する領域に、前記サンプル位置情報を記述する請求項１に記載の動画像符号化装置。
【請求項１３】
前記シフト量は、前記輝度成分のサンプル位置の間隔の１／４を１単位とした値である請求項４に記載の動画像符号化装置。
【請求項１４】
輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化する動画像符号化方法であって、
前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報、および前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて、符号化対象ピクチャにおける前記色差成分のサンプル位置に関するサンプル位置情報を生成し、
前記符号化対象ピクチャにおける符号化処理単位であるブロック毎に、前記ブロックに隣接する既に符号化済みのブロックに含まれる輝度成分の画素である第１隣接画素を用いて輝度成分の画面内予測画像を生成し、加えて、生成した前記輝度成分の画面内予測画像、前記第１隣接画素、前記ブロックに隣接する既に符号化済みのブロックの色差成分の画素である第２隣接画素、および前記サンプル位置情報に基づいて、色差成分の画面内予測画像を生成し、
前記生成した輝度成分の画面内予測画像および前記色差成分の画面内予測画像に基づいて、前記符号化対象ピクチャを前記ブロックごとに符号化処理し、符号列を生成する、
動画像符号化方法。
【請求項１】
輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化する動画像符号化装置であって、
前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報、および前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて、符号化対象ピクチャにおける前記色差成分のサンプル位置に関するサンプル位置情報を生成するサンプル位置情報生成部と、
前記符号化対象ピクチャにおける符号化処理単位であるブロック毎に、前記ブロックに隣接する既に符号化済みのブロックに含まれる輝度成分の画素である第１隣接画素を用いて輝度成分の画面内予測画像を生成し、加えて、生成した前記輝度成分の画面内予測画像、前記第１隣接画素、前記ブロックに隣接する既に符号化済みのブロックの色差成分の画素である第２隣接画素、および前記サンプル位置情報に基づいて、色差成分の画面内予測画像を生成する予測符号化部と、
前記生成した輝度成分の画面内予測画像および前記色差成分の画面内予測画像に基づいて、前記符号化対象ピクチャを前記ブロックごとに符号化処理し、符号列を生成するピクチャデータ符号化部と、を備える、
動画像符号化装置。
【請求項２】
前記予測符号化部は、前記サンプル位置情報に基づいて、前記輝度成分の画面内予測画像をダウンサンプリングすることにより前記色差成分の画素数と同じ画素数の中間予測画像を生成し、生成した前記中間予測画像に含まれる画素値を補正することにより、前記色差成分の画面内予測画像を生成する請求項１に記載の動画像符号化装置。
【請求項３】
前記予測符号化部は、前記サンプル位置情報に基づいて、前記第１隣接画素を補正することにより補正隣接画素を生成し、生成した補正隣接画素および前記第２隣接画素の画素値の相関関係を用いて、前記輝度成分の画面内予測画像から前記色差成分の画面内予測画像を生成する請求項１に記載の動画像符号化装置。
【請求項４】
前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と、前記輝度成分のサンプル位置とのずれを示すシフト量を前記サンプル位置情報として生成する請求項１から請求項３のいずれかに記載の動画像符号化装置。
【請求項５】
前記予測符号化部は、生成する前記中間予測画像の各画素のサンプル位置が、前記サンプル位置情報に示される前記色差成分のサンプル位置と一致するように、前記中間予測画像の各画素の値を前記輝度成分の画面内予測画像を構成する１つ以上の画素の値を用いて内挿補間することによって算出する請求項２に記載の動画像符号化装置。
【請求項６】
前記予測符号化部は、生成する前記補正隣接画素の各画素のサンプル位置が、前記サンプル位置情報に示される前記色差成分のサンプル位置と一致するように、前記補正隣接画素の各画素の値を１つ以上の前記第１隣接画素の値を用いて内挿補間することによって算出する請求項３に記載の動画像符号化装置。
【請求項７】
前記サンプル位置情報生成部は、前記動画像形式情報がインターレース形式を示す場合にのみ、前記動画像信号をフィールド構造としたときの前記色差成分のサンプル位置と前記輝度成分のサンプル位置とのずれを示す情報を有するサンプル位置情報を生成する請求項１に記載の動画像符号化装置。
【請求項８】
前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と前記輝度成分のサンプル位置との垂直方向に対するずれを示す情報のみを有するサンプル位置情報を生成する請求項１に記載の動画像符号化装置。
【請求項９】
前記サンプル位置情報生成部は、前記符号化対象ピクチャにおける前記色差成分のサンプル位置と前記輝度成分のサンプル位置との垂直方向および水平方向に対するずれを示す情報を有するサンプル位置情報を生成する請求項１に記載の動画像符号化装置。
【請求項１０】
前記サンプル位置情報生成部は、前記符号化対象ピクチャが、インターレース形式のトップフィールドであるか、インターレース形式のボトムフィールドであるかを示す情報を有するサンプル位置情報を生成する請求項１に記載の動画像符号化装置。
【請求項１１】
前記ピクチャデータ符号化部は、前記符号列のヘッダ領域のうちピクチャ全体の符号化制御情報を記述する領域に、前記サンプル位置情報を記述する請求項１に記載の動画像符号化装置。
【請求項１２】
前記ピクチャデータ符号化部は、前記符号列のヘッダ領域のうちピクチャを分割した単位であるスライスに関する符号化制御情報を記述する領域に、前記サンプル位置情報を記述する請求項１に記載の動画像符号化装置。
【請求項１３】
前記シフト量は、前記輝度成分のサンプル位置の間隔の１／４を１単位とした値である請求項４に記載の動画像符号化装置。
【請求項１４】
輝度成分および色差成分によって構成される動画像信号をピクチャ単位で符号化する動画像符号化方法であって、
前記動画像信号の動画像形式がインターレース形式およびプログレッシブ形式のうちいずれの形式であるかを示す動画像形式情報、および前記輝度成分に対する前記色差成分の間引き方法に関する間引き情報に基づいて、符号化対象ピクチャにおける前記色差成分のサンプル位置に関するサンプル位置情報を生成し、
前記符号化対象ピクチャにおける符号化処理単位であるブロック毎に、前記ブロックに隣接する既に符号化済みのブロックに含まれる輝度成分の画素である第１隣接画素を用いて輝度成分の画面内予測画像を生成し、加えて、生成した前記輝度成分の画面内予測画像、前記第１隣接画素、前記ブロックに隣接する既に符号化済みのブロックの色差成分の画素である第２隣接画素、および前記サンプル位置情報に基づいて、色差成分の画面内予測画像を生成し、
前記生成した輝度成分の画面内予測画像および前記色差成分の画面内予測画像に基づいて、前記符号化対象ピクチャを前記ブロックごとに符号化処理し、符号列を生成する、
動画像符号化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−３４１６０（Ｐ２０１３−３４１６０Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１１−１７６０６６（Ｐ２０１１−１７６０６６）
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願日】平成２３年８月１１日（２０１１．８．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]