動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法およびストリームデータ
【課題】同数の画素を有するＮ個（Ｎは２以上の整数）の成分画像からなる画像に対して、簡易なハードウェア構成で符号化処理を行う動画像符号化装置を提供する。
【解決手段】動画像符号化装置は、１つの画像を構成するＮ個の色成分画像を取得する取得手段と、Ｎ個の色成分画像に対応して設けられ、対応する色成分画像を画面内予測符号化または画面間予測符号化によって符号化するＮ個の符号化手段と、Ｎ個の符号化部から出力されたＮ個の符号列を合成し、１個の符号列信号を出力する信号合成手段とを具備し、Ｎ個の符号化手段は、画面内予測符号化または画面間予測符号化の予測モードを独立または共通に使用可能であり、信号合成手段は、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを、符号列信号に挿入し、予測モードフラグは、Ｎ個の色成分画像が独立して符号化されたか否かを示す情報を含む。
【解決手段】動画像符号化装置は、１つの画像を構成するＮ個の色成分画像を取得する取得手段と、Ｎ個の色成分画像に対応して設けられ、対応する色成分画像を画面内予測符号化または画面間予測符号化によって符号化するＮ個の符号化手段と、Ｎ個の符号化部から出力されたＮ個の符号列を合成し、１個の符号列信号を出力する信号合成手段とを具備し、Ｎ個の符号化手段は、画面内予測符号化または画面間予測符号化の予測モードを独立または共通に使用可能であり、信号合成手段は、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを、符号列信号に挿入し、予測モードフラグは、Ｎ個の色成分画像が独立して符号化されたか否かを示す情報を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１枚の画像が同一画素数を有するＮ個（Ｎは２以上の整数）の成分画像で構成される画像を符号化または復号する場合の、動画像符号化装置、動画像復号装置およびストリームデータに関するものである。
【背景技術】
【０００２】
ＩＳＯ／ＩＥＣ傘下のＭＰＥＧ（Moving Picture Experts Group）で制定されたＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）規格（非特許文献１）では、ＲＧＢフォーマットの動画像を符号化する方法が規定されている。ここでは、ＲＧＢデータを従来のＹＵＶデータにマッピングし（Ｇ信号がＹ信号に、Ｂ信号がＵ信号に、Ｒ信号がＶ信号にマッピングされる）、符号化および復号を行う方法が規定されている。
【０００３】
上記従来の方法では、ＲＧＢ信号に対して従来のＹＵＶデータの符号化方法および復号方法と同じ方法を用いて符号化および復号を行う。従来のＹＵＶデータの符号化においては、ＵデータとＶデータに対する面内予測方法は同一であるが、Ｙデータに対する面内予測方法はＵデータ／Ｖデータに対する面内予測方法とは異なる。そのため、ＲＧＢデータにマッピングした場合には、ＲデータとＢデータに対する面内予測方法は同一であるが、Ｇデータに対する面内予測方法はＲデータ／Ｂデータに対する面内予測方法とは異なることになる。
【０００４】
従来のＹＵＶデータの符号化においては、Ｙデータに対する動きベクトルが、ＵデータとＶデータに対する動き補償で用いられる。そのため、ＲＧＢデータにマッピングした場合には、Ｇデータに対する動きベクトルが、ＲデータとＢデータに対する動き補償で用いられることになる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Draft of Version4 of H.264/AVC (ITU-T Recommendation H.264 and ISO/IEC 14496-10 (MPEG-4 Part 10) Advanced Video Coding, JVT-N050d1, 2005.1.28.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、業務用の機器（テレビカメラ等）では民生用よりもはるかに高解像度かつ高品質の画像を符号化する必要性が高まっている。上記従来技術におけるＹＵＶ信号は、民生用であるため４：２：０フォーマットまたは４：２：２フォーマットが主流である。一方、業務用では、高解像度かつ高品質の画像を符号化するために、ＲＧＢ信号の４：４：４フォーマットが用いられる。上記従来のＲＧＢデータをＹＵＶデータにマッピングする手法では、ＲＧＢ信号の４：４：４フォーマットを高解像度かつ高品質の画像を符号化することが困難である。
【０００７】
さらに、ＲＧＢ４：４：４フォーマットの高解像度画像を符号化処理／復号処理するために、Ｒデータ、Ｇデータ、Ｂデータに対応し、並列に動作する３つのエンコーダ／デコーダを備える装置構成が考えられる。この場合でも、上記従来技術のマッピングのためには、エンコーダ間でブロック毎に情報（面内処理方法や動きベクトル）の受け渡しのためのインターフェース回路を各エンコーダ／デコーダに設けることが必要となる。そのため、エンコーダやデコーダの構成が複雑になり、回路規模が増加するという問題がある。
【０００８】
本発明は上記従来の課題を解決するものであり、同数の画素を有するＮ個（Ｎは２以上の整数）の成分画像からなる画像に対して、簡易なハードウェア構成で符号化処理、復号処理を行う動画像符号化装置、動画像復号装置およびストリームデータを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の動画像符号化装置は、１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像を取得する取得手段と、前記Ｎ個の色成分画像に対応して設けられ、対応する色成分画像を画面内予測符号化または画面間予測符号化によって符号化するＮ個の符号化手段と、前記Ｎ個の符号化部から出力されたＮ個の前記符号列を合成し、１個の符号列信号を出力する信号合成手段とを具備する。前記Ｎ個の符号化手段は、画面内予測符号化または画面間予測符号化の予測モードを独立または共通に使用可能である。前記信号合成手段は、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを、符号列信号に挿入する。前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む。この構成によれば、１つの成分画像に１つの符号化手段が対応するので、業務用のより高解像度の画像に対しても効率よく符号化することができる。
【００１０】
ここで、前記Ｎ個の符号化手段は、画面内予測符号化における予測モードを独立に決定するようにしてもよい。この構成によれば、各符号化手段が独立に決定した予測モードの画面内予測符号化を行うので、Ｎ個の符号化手段の間で面内符号化における各ブロックの予測モードの受け渡しをする必要がなくなる。その結果、予測モードの受け渡しをするインターフェースを各符号化手段が備える必要がなく、各符号化手段が、例えばＬＳＩやボードとして構成される場合に、ブロック毎の予測モードを受け渡すインターフェース回路が不要なので、回路規模の増加を最小限に抑えることができる。
【００１１】
また、各符号化手段が上記の予測モードを独立に決定するので、画面内予測符号化による符号化効率を向上させることができる。
【００１２】
ここで、前記Ｎ個の符号化手段は、画面間予測符号化に用いられる動きベクトルを独立に決定するようにしてもよい。この構成によれば、各符号化手段が独立に決定した動きベクトルを用いて画面間予測符号化を行うので、Ｎ個の符号化手段の間で画面間符号化における予測モードの受け渡しをする必要がなくなる。その結果、予測モードの受け渡しをするインターフェースを各符号化手段が備える必要がなく、各符号化手段が、例えばＬＳＩやボードとして構成される場合に、回路規模の増加を最小限に抑えることができる。
【００１３】
ここで、前記Ｎ個の符号化手段は、画面内予測符号化における予測モードを独立に決定し、前記Ｎ個の符号化手段のうちの１つは、画面間予測符号化に用いられる動きベクトルを決定し、前記Ｎ個の符号化手段は、前記動きベクトルを共通に用いて画面間予測符号化を行うようにしてもよい。この構成によれば、画面内予測符号化における符号化効率を向上させることができる。しかも、前記Ｎ個の符号化手段のうちの１つだけが、動きベクトルを決定する回路（動き推定回路）を備えればよく、他の符号化手段規模は備える必要がない。一般的に、動き推定回路は規模が大きいので、上記の他の符号化手段の回路面積を大幅に削減することができる。
【００１４】
ここで、前記Ｎ個の符号化手段は、画面内予測符号化の予測モードを独立または共通に使用可能であり、前記信号合成手段は、Ｎ個の色成分画像と画面内予測符号化の予測モードとの対応を示す符号化情報を、符号列信号に挿入するようにしてもよい。この構成によれば、画像復号化装置は、符号化情報が挿入された符号列信号によって、Ｎ個の符号化手段のうちのどの符号化手段の間で画面内予測符号化の予測モードが共通かを容易に判別することができ、復号処理を簡易化することができる。
【００１５】
ここで、前記符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、色成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる色成分画像を示す割当情報を含むようにしてもよい。この構成によれば、画像復号化装置は、予測モードの数、予測モードの識別子および割当情報を判別することによって、復号処理を簡易化することができる。
【００１６】
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、（ｃ）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示すようにしてもよい。この構成によれば、上記（ａ）から（ｃ）の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは２ビットでよい。
【００１７】
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。この構成によれば、上記（ｃ）を用いないで、上記（ａ）か（ｂ）の何れかを用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは１ビットでよい。
【００１８】
ここで、前記符号化情報は、第１予測モードフラグを含み、第１予測モードフラグは、（ｉ）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、（ｉｉ）そうでないこと、の何れかを示し、第１予測モードフラグが（ｉｉ）を示すとき、前記符号化情報はさらに第２予測モードフラグを含み、第２予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。この構成によれば、上記（ａ）、（ｂ）、（ｉ）の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは上記１ビットまたは２ビットでよい。
【００１９】
ここで、前記Ｎ個の符号化手段はＮ個の半導体集積装置として構成してもよい。この構成によれば、画像の画素数が非常に多い場合に（例えばＨＤＴＶ画像以上の画素数を有する超高解像度の場合に）、一つの符号化手段で画像を符号化処理するのが困難な場合でも、成分画像毎に効率よく符号化することができる。
【００２０】
また、本発明の動画像復号化装置は、符号化された動画像を示す符号列信号から、１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像に対応するＮ個の符号列を分離する分離手段と、前記Ｎ個の符号列に対応して設けられ、対応する符号列を画面内予測復号化または画面間予測復号化によって復号化するＮ個の復号化手段と、Ｎ個の復号化手段からのＮ個の色成分画像を１つの画像に合成する画像合成手段とを備える。前記分離手段は、前記符号列信号から、Ｎ個の色成分画像と画面内予測復号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを分離する。前記Ｎ個の復号化手段は、前記予測モードフラグに従って面内予測復号化を行う。前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む。
【００２１】
この構成によれば、Ｎ個の復号化手段の間で面内符号化における各ブロックの予測モードの受け渡しをする必要がなくなる。その結果、予測モードの受け渡しをするインターフェースを各復号化手段が備える必要がなく、各復号化手段が、例えばＬＳＩやボードとして構成される場合に、ブロック毎の予測モードを受け渡すインターフェース回路が不要なので、回路規模の増加を最小限に抑えることができる。
【００２２】
ここで、前記Ｎ個の復号化手段は、独立した予測モードで面内予測復号化を行うようにしてもよい。
【００２３】
ここで、前記Ｎ個の復号化手段は、独立した動きベクトルを用いて画面間予測復号化を行うようにしてもよい。
【００２４】
ここで、前記Ｎ個の復号化手段は、独立した予測モードで面内予測復号化を行い、共通の動きベクトルを用いて画面間予測復号化を行うようにしてもよい。
【００２５】
ここで、前記分離手段は、前記符号化信号から、Ｎ個の色成分画像と画面内予測復号化の予測モードとの対応を示す符号化情報を分離し、前記Ｎ個の復号化手段は、前記符号化情報に従って面内予測復号化を行うようにしてもよい。
【００２６】
ここで、前記符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、色成分画像に共通の予測モードが存在する場合には、予測モードが共通に割り当てられる色成分画像を示す割当情報を含むようにしてもよい。
【００２７】
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。
【００２８】
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、（ｃ）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示すようにしてもよい。
【００２９】
ここで、前記符号化情報は、第１予測モードフラグを含み、第１予測モードフラグは、（ｉ）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、（ｉｉ）そうでないこと、の何れかを示し、第１予測モードフラグが（ｉｉ）を示すとき、前記符号化情報はさらに第２予測モードフラグを含み、第２予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。
【００３０】
ここで、前記Ｎ個の復号化手段はＮ個の半導体集積装置として構成してもよい。
【００３１】
また、本発明のストリームデータは、コンピュータ読み取り可能なストリームデータであって、前記ストリームデータは、Ｎ個の符号列および予測モードフラグとを含み、前記Ｎ個の符号列は、１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像を表し、前記予測モードフラグは、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す情報と、前記N個の色成分画像が独立して符号化されたか否かを示す情報とを含む。
【発明の効果】
【００３２】
以上の様に、本発明の動画像符号化装置、動画像復号装置および符号列フォーマットを用いることにより、各信号の符号化処理および復号処理を独立して行うことが可能となり符号化装置や復号装置の構成を簡易化することができ、その実用的価値が高い。
【図面の簡単な説明】
【００３３】
【図１】図１は、本発明の実施の形態１における動画像符号化装置の一構成例を示すブロック図である。
【図２】図２は、符号化部の一構成例を示すブロック図である。
【図３】図３は、ＲＧＢ４：４：４フォーマットを示す模式図である。
【図４】図４は、面内予測方法を説明するための模式図である。
【図５Ａ】図５Ａは、マクロブロック単位に多重化されたモード情報および３つ符号列を示すデータストリームを示す図である。
【図５Ｂ】図５Ｂは、スライス単位に多重化されたモード情報および３つ符号列を示すデータストリームを示す図である。
【図５Ｃ】図５Ｃは、独立して面内符号化されたことを示す情報（フラグ）を含むデータストリームを示す図である。
【図５Ｄ】図５Ｄは、データストリームのフォーマットを示す模式図である。
【図５Ｅ】図５Ｅは、データストリームのフォーマットを示す模式図である。
【図６】図６は、実施の形態１の第１の変形例における符号化部の構成を示すブロック図である。
【図７】図７は、実施の形態１の第２の変形例における動画像符号化装置の一構成例を示すブロック図である。
【図８】図８は、Ｇ信号を符号化する符号化部の構成例を示したブロック図である。
【図９】図９は、Ｒ（またはＢ）信号を符号化する符号化部の一構成例を示した図である。
【図１０】図１０は、実施の形態２における動画像符号化装置の一構成例を示すブロック図である。
【図１１】図１１は、符号化部の一構成例を示すブロック図である。
【図１２】図１２は、面内符号化における予測モードを示す説明図である。
【図１３Ａ】図１３Ａは、データストリームのフォーマットを示す図である。
【図１３Ｂ】図１３Ｂは、データストリームのフォーマットを示す図である。
【図１３Ｃ】図１３Ｃは、データストリームのフォーマットを示す図である。
【図１３Ｄ】図１３Ｄは、データストリームのフォーマットを示す図である。
【図１３Ｅ】図１３Ｅは、予測モードフラグの一例を示す図である。
【図１３Ｆ】図１３Ｆは、予測モードフラグの一例を示す図である。
【図１３Ｇ】図１３Ｇは、予測モードフラグの一例を示す図である。
【図１４】図１４は、実施の形態３における動画像復号装置の一構成例を示すブロック図である。
【図１５】図１５は、復号部の構成を示すブロック図である。
【図１６】図１６は、復号部の他の構成例を示すブロック図である。
【図１７】図１７は、本発明の適用例としてビデオカメラの構成を示すブロック図である。
【発明を実施するための形態】
【００３４】
（実施の形態１）
本実施の形態では、１つの画像を構成するＮ個の成分画像であって、当該画像と同数の画素を有するＮ個（Ｎは２以上の整数）の成分画像を取得する取得部と、Ｎ個の成分画像に対応して設けられ、対応する成分画像を画面内予測符号化によって符号化するＮ個の符号化部と、Ｎ個の符号化部ら出力されたＮ個の符号列を１個の符号列信号を合成する信号合成手段とを備える動画像符号化装置について説明する。このＮ個の符号化部は、画面内予測符号化における予測モードを独立に決定する。１つの成分画像に１つの符号化部が対応し、各符号化部は、画面内予測符号化における予測モードを独立に決定するので、業務用のより高解像度の画像に対しても効率よく符号化することができる。以下では、Ｎは、ＲＧＢに対応する３とする。
【００３５】
図１は、本発明の実施の形態１における動画像符号化装置の一構成例を示すブロック図である。動画像符号化装置１００は、信号分離部１０１、３つの符号化部１０２、１０３、１０４、符号列合成部１０５、制御部１０６から構成される。
【００３６】
信号分離部１０１には、入力信号ＩＮが入力される。入力信号ＩＮは、ＲＧＢ４：４：４フォーマットの動画像信号である。ここでＲＧＢ４：４：４フォーマットとは、図３に示すように、各画素がＲ信号、Ｇ信号、Ｂ信号の３つの信号の組み合わせで表現され、かつ１ピクチャ内のＲ信号、Ｇ信号、Ｂ信号の画素数が同一であるフォーマットを指す。例えば、Ｒ信号、Ｇ信号、Ｂ信号の各画素が８ビットで表現されている場合には、ＲＧＢ信号の１画素は２４ビットで表現されることになる。
【００３７】
信号分離部１０１に入力された入力ＲＧＢ信号ＩＮは、Ｒ信号のみから構成されるＲ入力信号ＩＮ＿Ｒ、Ｇ信号のみから構成されるＧ入力信号ＩＮ＿Ｇ、Ｂ信号のみから構成されるＢ入力信号ＩＮ＿Ｂの３つに分離され、それぞれは符号化部１０２、１０３、１０４に入力される。
【００３８】
符号化部１０２、１０３、１０４の構成を図２に示す。以下では、Ｒ入力信号ＩＮ＿Ｒの符号化処理を行う符号化部１０２の動作について説明するが、その構成と動作はＧ入力信号ＩＮ＿Ｇの符号化処理を行う符号化部１０３、Ｂ入力信号ＩＮ＿Ｂの符号化処理を行う符号化部１０４についても同様である。
【００３９】
符号化部１０２は図２に示すように、フレームメモリ２０１、差分部２０２、周波数変換部２０３、量子化部２０４、可変長符号化部２０５、逆量子化部２０６、逆周波数変換部２０７、加算部２０８、参照ピクチャメモリ２０９、面内予測方法決定部２１０、面内予測部２１２、制御部２１６、確率テーブル保持部２１７から構成される。
【００４０】
符号化部１０２は、入力画像ＩＮ＿Ｒの各ピクチャを画面内予測符号化（イントラ）ピクチャとして符号化する。
【００４１】
入力画像ＩＮ＿Ｒはフレームメモリ２０１に格納された後、ブロック単位（例えば水平１６画素、垂直１６画素の大きさを有するマクロブロック単位）でフレームメモリ２０１から出力されるとする。
【００４２】
フレームメモリ２０１から出力されたマクロブロックは、面内予測方法決定部２１０に入力される。面内予測決定部２１０では、入力されたマクロブロックに対してどのように画面内予測符号化を行うかを決定する。具体的には、面内予測決定部２１０は、入力されたマクロブロックでの面内予測ブロックサイズと、ブロック毎の面内予測モードとを決定する。面内予測サイズは、水平４画素×垂直４画素、水平８画素×垂直８画素または水平１６画素×垂直１６画素のいずれかに決定される。面内予測モードは、例えばＭＰＥＧ−４ＡＶＣ規格に定められている面内予測方法に従って決定される。
【００４３】
図４は、ＭＰＥＧ−４ＡＶＣ規格に定められている面内予測方法を説明するための模式図である。同図において、面内予測に使用される周辺画素（図中の破線よりも上側部分）は、既に符号化処理が完了し、参照ピクチャメモリ２０９に蓄積されているものとする。４画素×４画素の面内予測の対象ブロック４０１の面内予測では、同図の黒丸の画素群４０２が用いられる。面内予測モードはブロック毎に決定され、例えば、水平４画素×垂直４画素の面内予測ブロックに対しては９通りの予測モードから１つ決定され、水平１６画素×垂直１６画素の面内予測ブロックに対しては４通りの予測モードから１つ決定される。水平４画素×垂直４画素の面内予測ブロックに対する予測モードの説明図を図１２に示す。
【００４４】
面内予測サイズは、水平４画素×垂直４画素、水平８画素×垂直８画素または水平１６画素×垂直１６画素のいずれかに決定される。
【００４５】
図１２は、図４に示した画素群４０２を用いる予測方向を示す模式図である。予測モード０は、垂直（vertical）方向に画素群４０２を予測値とする。同様に、予測モード１は水平（horizontal）方向、予測モード３は斜め左下（diagonal down left）方向、予測モード４は斜め右下（diagonal down right）、予測モード５は垂直の右寄り（vertical right）、予測モード６は水平の下寄り（horizontal down）、予測モード７は垂直の左寄り（vertical right）を予測方向とする。モード２は方向ではなく平均を予測値とする。なお、水平１６画素×垂直１６画素ブロックの面内予測では４通りの予測モードがある。
【００４６】
面内予測決定部２１０によって決定された面内予測方法ＩＰＭは面内予測部２１２、可変長符号化部２０５に対して出力される。面内予測ブロックサイズおよびブロック毎の予測モードについては、面内予測部２１２では、面内予測方法決定部２１０で決定された面内予測方法ＩＰＭに基づき、参照ピクチャメモリ２０９から面内参照画素を取得して面内予測画像ＩＰを生成し、それを差分部２０２に対して出力する。
【００４７】
差分部２０２には、フレームメモリ２０１からの入力画像のマクロブロックと、面内予測部２１２により生成された面内予測画像ＩＰとが入力され、入力画像と面内予測画像ＩＰとの差分画像が生成され、周波数変換部２０３に対して出力される。
【００４８】
周波数変換部２０３は、予測部２１２により生成された差分画像に対して周波数変換を施して周波数変換係数を出力する。
【００４９】
量子化部２０４は、周波数変換部２０３により生成された周波数変換係数に対して量子化処理を行い、量子化周波数変換係数ＱＴを出力する。ここで量子化処理とは、周波数変換係数を所定の値（量子化ステップ）により除する処理のことを指す。この量子化ステップは、制御部２１６から与えられるものとする（量子化ステップは制御部１０６からの制御信号ＣＴＬに含まれていても良い）。量子化周波数変換係数ＱＴは、可変長符号化部２０５、逆量子化部２０６に対して出力される。
【００５０】
量子化周波数変換係数ＱＴは、逆量子化部２０６で逆量子化処理を施され、さらに逆周波数変換部２０７で逆周波数変換処理を施され、復号差分画像ＬＤＤとなる。復号差分画像ＬＤＤは、加算部２０８で面内予測画像ＩＰと加算されて復号画像ＬＤとなり、参照ピクチャメモリ２０９に蓄積される。参照ピクチャメモリ２０９に蓄積された復号画像は、以降の符号化処理において参照画像として用いられる。
【００５１】
可変長符号化部２０５は、量子化部２０４から入力された量子化周波数変換係数ＱＴ、面内予測方法決定部２１０から入力された面内予測方法ＩＰＭ等に対して可変長符号化を行い、符号列ＳＴ＿Ｒを出力する。
【００５２】
ここで可変長符号化部２０５において用いられる可変長符号化方法の一つとして、国際標準動画像符号化方式Ｈ．２６４で採用されているコンテキスト適応型算術符号化方式がある。コンテキスト適応型算術符号化方式とは、可変長符号化対象データや既に可変長符号化が終了しているデータに応じて（コンテキスト適応）、算術符号化で用いられる確率テーブルを切り替える方式である。例えば、量子化周波数変換係数ＱＴを可変長符号化する際のコンテキストとしては、面内予測におけるブロックサイズや周波数変換のブロックサイズ等が用いられる。ここで確率テーブルは、確率テーブル保持部２１７に保持されているものとする。
【００５３】
符号化部１０２、１０３、１０４から出力された符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂは、符号列合成部１０５に入力される。符号列合成部１０５では、入力された３つの符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂを一つの符号列ＳＴに多重化して出力する。その際、符号列合成部１０５は、成分画像の予測モードを示すモード情報を符号列信号に挿入する。３つの符号列とモード情報とを１つの符号列に多重化する方法としては、ブロックやマクロブロックを単位として多重化する方法、ピクチャやスライスを単位として多重化する方法、等がある。図５Ａ、図５Ｂに多重化の例を示す。
【００５４】
図５Ａは、マクロブロック単位に多重化されたモード情報および３つ符号列を示すデータストリームを示す図である。このようにブロックやマクロブロックを単位として多重化すると、従来のＹＵＶ画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。
【００５５】
図５Ｂは、モード情報および３つ符号列がスライス単位に多重化されたデータストリームを示す図である。このように、ピクチャやスライスを単位として多重化すると、多重化の単位が大きくなるために多重化処理の際の符号列の切り替え処理が少なくなり、多重化処理の簡易化を図ることができるという効果を有する。
【００５６】
さらには、ＲＧＢの各信号が独立して面内符号化されたことを示す情報（フラグ）を符号列中に記述しても良い。この情報は、独立して面内予測化の予測モードが決定されたことを示すフラグであってもよいし、または符号列中にＲＧＢ各信号に対する面内予測化の予測モードを示す情報であってもよい。この情報（フラグ）は、シーケンス全体のヘッダや付加情報部に記述すれば良い。この場合のデータストリームの構成例を図５Ｃに示す。これにより、この符号列を復号装置が復号する際に、ＲＧＢ信号を独立して復号することができるかどうかを簡易に判断することができる。
【００５７】
以上のように本発明の動画像符号化装置では、ＲＧＢ４：４：４フォーマットの動画像を入力画像とし、入力信号からＲ信号、Ｇ信号、Ｂ信号を分離し、各信号に対して異なる符号化部を用い、独立して画面内予測符号化する。この際、各信号の符号化における面内予測では、各信号で独立して面内予測方法を決定する。また、各信号の符号化における算術符号化を用いた可変長符号化においては、各信号で独立して確率テーブルを保持する（信号間での確率テーブルの共有は行わない）。
【００５８】
このような動作により、各信号の符号化を完全に独立して行うことが可能となり（各符号化部で相互にデータや情報転送等を行うことが不要となり）、符号化効率を犠牲にすることなく符号化装置の構成を簡易化することができる。例えば、入力画像の画素数が非常に多く（例えばＨＤＴＶ画像以上の画素数を有する場合）、一つの符号化装置で処理をするのは困難な場合に、本発明は非常に有用である。またこの場合には、ＲＧＢ信号はすべて同じ画素数を有することから、各信号の符号化部はハードウェア的に全く同じ構成にすることが可能となる。また各信号で独立して面内予測方法を決定した場合、符号列構成としては、信号毎に面内予測方法を示す情報が記述されることになる。これにより、この符号列を復号する際にもＲＧＢ信号を独立して復号することが可能となり、復号処理の簡易化に効果を有する。
【００５９】
なお、本実施の形態においては、ＲＧＢ４：４：４フォーマットの入力画像、すなわち３色の要素を有する画像を扱う場合について説明したが、この要素数は３色以外の値（例えば４色や６色、等）であっても同様の構成で符号化処理を実現することが可能であり、またそれにより本実施の形態で得られるものと同様の効果を得ることができる。
【００６０】
（第１の変形例）
実施の形態１における第１の変形例について説明する。この変形例では、画面内予測符号化だけでなく、画面間符号化も実行可能な３個の符号化部を備える動画像符号化装置について説明する。動画像符号化において、３個の符号化部は、画面内予測符号化における予測モードを独立に決定し、また、画面間予測符号化に用いられる動きベクトルを独立に決定する。
【００６１】
第１の変形例における動画像符号化装置は、図１に示した符号化部１０２、１０３、１０４の代わりに、符号化部１０２ａ、１０３ａ、１０４ａを備える。符号化部１０２ａ、１０３ａ、１０４ａは、画面内予測符号化と画面間符号化とを選択的に行うようになっている。
【００６２】
図６は、符号化部１０２ａ（または１０３ａ、１０４ａ）の構成を示すブロック図である。符号化部１０２ａは、図２に示した符号化部１０２に対して、動き推定部６１１、動き補償部６１３、スイッチ６１４、６１５、符号化モード決定部６１８を追加した構成となっている。
【００６３】
符号化部１０２は入力画像ＩＮ＿Ｒの各ピクチャを画面内予測符号化（イントラ）ピクチャとして符号化したが、符号化部１０２ａでは、入力画像ＩＮ＿Ｒのピクチャを画面間予測符号化（インター）ピクチャとして符号化することができる点が異なる。
【００６４】
符号化部１０２ａで入力画像ＩＮ＿Ｒのピクチャを画面内予測符号化ピクチャとして符号化する場合の処理方法は実施の形態１で説明した内容と同様であるので説明は割愛する。
【００６５】
入力画像ＩＮ＿Ｒのピクチャを画面間予測符号化ピクチャとして符号化する場合の動作について説明する。
【００６６】
入力画像ＩＮ＿Ｒはフレームメモリ２０１に格納された後、ブロック単位（例えば水平１６画素、垂直１６画素の大きさを有するマクロブロック単位）でフレームメモリ２０１から出力されるとする。
【００６７】
フレームメモリ２０１から出力されたマクロブロックは、面内予測方法決定部２１０に入力される（制御部２１６によりスイッチ６１４は「ａ」に接続される）。この場合の面内予測決定部２１０および面内予測部２１２の動作は実施の形態１で説明した内容と同様であるので説明は割愛する。面内予測方法は面内予測部２１２と符号化モード決定部６１８とに対して出力される。
【００６８】
フレームメモリ２０１から再度出力されたマクロブロックは、動き推定部６１１に入力される（制御部２１６によりスイッチ６１４は「ｂ」に接続される）。動き推定部６１１では、入力されたマクロブロックについて、参照ピクチャ（参照ピクチャメモリ２０９に保持されている符号化済みのピクチャであり、符号化対象ピクチャとは異なるピクチャ）に対する動き量（動きベクトル）を推定する。動き推定においては、一般的に符号化対象ブロックと動き予測画像（動きベクトルにより参照する参照ピクチャ中の画像）との差分値と動きベクトルの符号量の重み付け和が最小となる動きベクトルを選択する。検出された動きベクトルは動き補償部６１３、符号化モード決定部２０５に対して出力される。
【００６９】
動き補償部６１３では、動き推定部６１１で決定された動きベクトルに基づき、参照ピクチャメモリ２０９から画面間参照画素を取得して予測画像ＭＰを生成し、それを差分部２０２に対して出力する（制御部２１６によりスイッチ６１５は「ｂ」に接続される）。
【００７０】
差分部２０２、周波数変換部２０３、量子化部２０４、逆量子化部２０６、逆周波数変換部２０７、加算部２０８の処理は、実施の形態１で説明した内容と同様であるので説明は割愛する。
【００７１】
符号化モード決定部６１８では、面内予測方法決定部２１０、動き推定部６１１、量子化部２０４、フレームメモリ２０１、加算部２０８の出力等を用いて、符号化対象マクロブロックの符号化モードを決定する。ここでは、符号化対象マクロブロックに対して、画面内予測符号化と画面間予測符号化のいずれを用いて符号化を行うかを決定するものとする。符号化モードの決定は、一般的に発生ビット量と符号化歪みとの重み付け和が小さくなるものが選択される。符号化モードとして画面内予測符号化が選択された場合には面内予測方法ＩＰＭが、画面間予測符号化が選択された場合には動きベクトルＭＶが符号化モードＭＤと共に可変長符号化部２０５に対して出力される。
【００７２】
可変長符号化部２０５は、量子化部２０４から入力された量子化周波数変換係数ＱＴ、符号化モード決定部６１８から出力された符号化モードＭＤおよび面内予測方法ＩＰＭまたは動きベクトルＭＶに対して可変長符号化を行い、符号列ＳＴ＿Ｒを出力する。
【００７３】
ここで可変長符号化部２０５においてコンテキスト適応型算術符号化方式を用いて動きベクトルＭＶを符号化する場合、符号化済み周辺ブロックの動きベクトルの大きさにより（コンテキスト）、確率テーブルを変更する方法を用いることができる。ここで確率テーブルは、確率テーブル保持部２１７に保持されているものとする。
【００７４】
符号化部１０２ａ、１０３ａ、１０４ａから出力された符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂは、符号列合成部１０５に入力される。符号列合成部１０５では、入力された３つの符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂを一つの符号列ＳＴに多重化して出力する。その際、符号列合成部１０５は、符号列ＳＴに画面間予測符号化に用いる動きベクトルを示す動きベクトル情報を挿入する。ここで３つの符号列と動きベクトル情報とを１つの符号列に多重化する方法としては、ブロックやマクロブロックを単位として多重化する方法、ピクチャやスライスを単位として多重化する方法、がある。
【００７５】
図５Ｄは、動きベクトル情報および３つ符号列がマクロブロック単位に多重化されたデータストリームを示す図である。このようにブロックやマクロブロックを単位として多重化すると、従来のＹＵＶ画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。また、ピクチャやスライスを単位として多重化してもよい。その場合、多重化の単位が大きくなるために多重化処理の際の符号列の切り替え処理が少なくなり、多重化処理の簡易化を図ることができるという効果を有する。この場合の符号列の構成例は図５Ｂと同様であり、各スライスヘッダ中に動きベクトル情報が挿入される。
【００７６】
さらには、ＲＧＢの各信号が独立して符号化されたことを示す（独立して動きベクトルが決定されたことを示す、または符号列中に各信号に対する動きベクトルが独立して記述されている）情報（フラグ）を符号列中に記述しても良い。この情報（フラグ）は、シーケンス全体のヘッダや付加情報部に記述すれば良い。この場合の符号列の構成例を図５Ｃに示す。これにより、この符号列を復号装置が復号する際に、ＲＧＢ信号を独立して復号することができるかどうかを簡易に判断することができる。
【００７７】
以上のように本発明の動画像符号化装置では、ＲＧＢ４：４：４フォーマットの動画像を入力画像とし、入力信号からＲ信号、Ｇ信号、Ｂ信号を分離し、各信号に対して異なる符号化部を用い、独立して画面間予測符号化する。この際、各信号の符号化における動き予測で用いる動きベクトルは、各信号で独立して決定する。また、各信号の符号化の可変長符号化において算術符号化を用いる場合には（例えば動きベクトルを符号化する場合）、各信号で独立して確率テーブルを保持する（信号間での確率テーブルの共有は行わない）。
【００７８】
このような動作により、各信号の符号化を完全に独立して行うことが可能となる（各符号化部で相互にデータや情報転送等を行うことが不要であるため）。よって、ＨＤＴＶ以上の解像度を持つ動画像のように、処理すべき画素数が非常に多く、それにより一つの符号化装置では符号化できない場合に、各信号を並列に符号化処理することにより実時間での符号化処理が実現でき、かつ、その際に符号化装置の構成および処理内容を簡易化することができる。ＲＧＢ信号はすべて同じ画素数を有することから、各信号の符号化部はハードウェア的には全く同じ構成にすることが可能となる。また各信号で独立して動きベクトルを決定した場合、符号列構成としては、信号毎に動きベクトル情報が記述されることになる。これにより、この符号列を復号する際にもＲＧＢ信号を独立して復号することが可能となり、復号処理の簡易化に効果を有する。
【００７９】
（第２の変形例）
第１の変形例では、３個の符号化部が画面内予測符号化における予測モードを独立に決定し、また、画面間予測符号化に用いられる動きベクトルを独立に決定する動画像符号化装置について説明した。本変形例では、３個の符号化手段のうちの１つが、画面間予測符号化に用いられる動きベクトルを決定し、３個の符号化手段が決定された動きベクトルを共通に用いて画面間予測符号化を行う動画像符号化装置について説明する。３個の符号化部が、画面内予測符号化における予測モードを独立に決定する点は、第１の変形例と同じである。
【００８０】
図７は、第２の変形例における動画像符号化装置の一構成例を示すブロック図である。動画像符号化装置１００ｂは、実施の形態１で説明した動画像符号化装置１００とほぼ同様の構成を有しているが、符号化部１０２、１０３、１０４の代わりに、符号化部１０２ｂ、１０３ｂ、１０４ｂを備え、符号化部１０２ｂ、１０３ｂ、１０４ｂの間で情報の受け渡しを行う点が異なっている。さらに、Ｇ信号の処理を行う符号化部１０３ｂと、残りの信号（Ｒ信号、Ｂ信号）の処理を行う符号化部１０２ｂ、１０４ｂとで、構成が若干異なる。つまり、Ｇ信号の処理を行う符号化部１０３ｂから、残りの信号（Ｒ信号、Ｂ信号）の処理を行う符号化部１０２ｂ、１０４ｂへ、画面内予測符号化と画面間予測符号化の何れかを示す符号化モードＭＤと、画面間予測符号化に用いられる動きベクトルＭＶとを通知するように構成されている。
【００８１】
図８は、Ｇ信号を符号化する符号化部１０３ｂの構成例を示したブロック図である。符号化部１０３ｂは、第１の変形例において図６で示した符号化部１０２ａと同様の構成であり同様の動作を行う。ただし、符号化モード決定部６１８で決定された符号化モードＭＤおよび動きベクトルＭＶ（画面間予測モードの時のみ）を符号化部１０２ｂ、１０４ｂに対して出力する点が異なる。
【００８２】
図９は、Ｒ信号（またはＢ信号）を符号化する符号化部１０２ｂ（または１０４ｂ）の構成例を示した図である。符号化部１０２ｂ（または１０４ｂ）は、第１の変形例において図６に示した符号化部１０２ａと同様の構成であり同様の動作を行うが、以下の２点が異なる。第１に、動き推定部６１１を持たない。第２に、符号化部１０３ｂから制御部２１６に入力された符号化モードＭＤおよび動きベクトルＭＶ（画面間予測符号化モードの時のみ）を用いて符号化処理を行う。以下で詳細を述べる。
【００８３】
符号化モードＭＤが画面内予測符号化モードである場合には、面内予測方法決定部２１０により面内予測方法を決定し、面内予測部２１２で面内予測画像を生成する（スイッチ６１５は「ａ」に接続される）。入力画像と予測画像との差分画像を符号化する方法は、実施の形態１と同様である。面内予測方法ＩＰＭは可変長符号化部２０５に対して出力され、符号列中に記述される。
【００８４】
符号化モードＭＤが画面間予測符号化モードである場合には、動きベクトルＭＶを動き補償部６１３に対して出力する。またスイッチ６１５は「ｂ」に接続される。動き補償部６１３では、入力された動きベクトルに基づき、参照ピクチャメモリ２０９から画面間参照画素を取得して予測画像ＭＰを生成し、それをスイッチ６１５を介して差分部２０２に対して出力する。入力画像と予測画像との差分画像を符号化する方法は、第１の変形例と同様である。ただし符号化モードＭＤと動きベクトルＭＶは符号列中には記述されない（符号化モードＭＤと動きベクトルＭＶは符号化部１０３ｂが出力する符号列ＳＴ＿Ｇに記述されている）。
【００８５】
符号化部１０２ｂ、１０３ｂ、１０４ｂから出力された符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂは、符号列合成部１０５に入力される。符号列合成部１０５では、入力された３つの符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂを一つの符号列ＳＴに多重化して出力する。ここで３つの符号列を１つの符号列に多重化する方法としては、ブロックやマクロブロックを単位として多重化する方法、ピクチャやスライスを単位として多重化する方法、がある。ここでブロックやマクロブロックを単位として多重化すると、従来のＹＵＶ画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。この場合の符号列の構成例を図５Ｅに示す。この場合、符号列ＳＴ＿Ｇに記述されている符号化モードＭＤおよび動きベクトルＭＶをブロックやマクロブロックの先頭に記述するように符号列の順序を変更している。また、ピクチャやスライスを単位として多重化すると、多重化の単位が大きくなるために多重化処理の際の符号列の切り替え処理が少なくなり、多重化処理の簡易化を図ることができるという効果を有する。この場合の符号列の構成例は図５Ｂと同様である。さらには、ＲＧＢの各信号に対して面内予測は独立して決定され（符号列中に各信号に対する面内予測方法が独立して記述されている）、動きベクトルは共通化されている（符号列中に各信号に対する動きベクトルが共通化されて記述されている）ことを示す情報（フラグ）を符号列中に記述しても良い。この情報（フラグ）は、シーケンス全体のヘッダや付加情報部に記述すれば良い。この場合の符号列の構成例を図５Ｃに示す。これにより、この符号列を復号装置が復号する際に、面内予測は信号毎に独立して記述され、動きベクトルは各信号で共通化されて記述されていることを簡易に判断することができる。
【００８６】
以上のように本発明の動画像符号化装置では、ＲＧＢ４：４：４フォーマットの動画像を入力画像とし、入力信号からＲ信号、Ｇ信号、Ｂ信号を分離し、各信号に対して画面内予測符号化と画面間予測符号化とを用いて符号化する。この際、第１の信号（例えばＧ信号）で決定された符号化モード（画面内予測符号化と画面間予測符号化とのいずれを用いるか）を第２の信号（例えばＲ信号とＢ信号）の符号化においても用いる。符号化モードが画面内予測符号化である場合には、面内予測方法は各信号で独立して決定する。また符号化モードが画面間予測符号化である場合には、動きベクトルは第１の信号（Ｇ信号）で決定したものを用いる。そして符号列には、符号化モードと動きベクトルは１符号化単位（例えばマクロブロック）に対して第１の信号で求めたもののみを記述する。また面内予測方法は、各信号で求めたものを符号列中に記述する。
【００８７】
このような動作により、画面内予測符号化ピクチャまたは画面間予測符号化ピクチャでの画面内予測符号化マクロブロックでは、各信号の符号化を完全に独立して行い、画面間予測符号化マクロブロックでは、第１の信号で求めた動きベクトルを共有化することになる。一般的に、画面内予測符号化マクロブロックでは、総発生符号量に対して量子化周波数変換係数の符号量が支配的であり、面内予測方法の情報量は小さい。そして、面内予測方法の決定のための処理量は比較的小さい。また、画面間予測符号化マクロブロックでは、総発生符号量に対して動きベクトルの符号量が占める割合が大きくなる。そして、画面間予測符号化において、動き推定の処理量は全処理量の大半を占める。よって、画面内予測符号化ピクチャの処理では、符号化効率を犠牲にすることなく符号化装置の構成（処理）を簡易化することができ、かつ画面間予測符号化ピクチャの処理では、符号化装置の構成（処理）は若干複雑になるものの（各信号の符号化部間での通信が必要となるため）、符号化部全体の処理量は大幅に削減することができ（動き推定の処理は一つの信号についてのみ行うため）、かつ符号化効率を向上させることができる（符号列中に記述する動きベクトルの数が少なくなるため）。
【００８８】
なお第２の変形例においては、Ｇ信号の符号化処理で求めた符号化モードおよび動きベクトルを他の信号（Ｒ信号、Ｂ信号）の符号化で用いる場合について説明したが、符号化モードおよび動きベクトルは、Ｒ信号やＢ信号を用いて決定しても良く、このような場合であっても本発明と同じ効果が得られる。
【００８９】
また、本実施の形態においては、ＲＧＢ４：４：４フォーマットの画像を扱う場合について説明したが、ＲＧＢ４：２：２フォーマットやＲＧＢ４：２：０フォーマットであっても、本発明を適用することができる。
【００９０】
（実施の形態２）
本実施の形態では、画面内予測符号化の予測モードを独立または共通に使用可能な３個の符号化部と、３個の成分画像と画面内予測符号化の予測モードとの対応を示す符号化情報を符号列信号に挿入する信号合成部とを有する動画像符号化装置について説明する。この動画像符号化装置は、予測符号化において、（１）３個の符号化部のそれぞれが独立に予測モードを決定する、（２）２個の符号化部が共通の予測モードを使用し、１個の符号化部が独立した予測モードを使用する、（３）３個の符号化部が共通の予測モードを使用するの何れかを選択する。さらに、（１）〜（３）を復号化装置に通知するために符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる成分画像を示す割当情報を含む。
【００９１】
図１０は、実施の形態２における動画像符号化装置の一構成例を示すブロック図である。動画像符号化装置１００ｃは、実施の形態１で説明した動画像符号化装置１００とほぼ同様の構成を有しているが、符号化部１０２、１０３、１０４の代わりに、符号化部１０２ｃ、１０３ｃ、１０４ｃを備え、符号化部１０２ｃ、１０３ｃ、１０４ｃの間で情報の受け渡しを相互に行う点が異なっている。符号化部１０２ｃ、１０３ｃ、１０４ｃは、同じ構成であり、画面内予測符号化と画面間予測符号化の何れかを示す符号化モードＭＤと、画面間予測符号化に用いられる動きベクトルＭＶと、画面内予測符号化における予測モードＩＰＭとを相互に通知するように構成されている。
【００９２】
図１１は、符号化部１０２ｃ（または１０３ｃ、１０４ｃ）の一構成例を示すブロック図である。同図は、図８と比べて、符号化モード決定部６１８が、符号化モードＭＤおよび動きベクトルＭＶの他に画面内予測符号化における予測モードＩＰＭを符号化部１０３ｃ、１０４ｃに送る点と、制御部２１８が、符号化部１０３ｃ、１０４ｃから、符号化モードＭＤおよび動きベクトルＭＶの他に画面内予測符号化における予測モードＩＰＭを受ける点と、制御部２１８の動作とが異なっている。
【００９３】
制御部２１８は、外部からの指示または予め定められた設定に従って、面内符号化における予測モードを独立に決定するか、他の符号化部と共通の予測モードを使うかを決定する。他の符号化部と共通の予測モードを使う場合には、共通の予測モードを決定して他の符号化部に送信するか、他の符号化部で決定された共通の予測モードを受信して使用するかを決定する。面内符号化における予測モードは、図１２に示したように、４画素×４画素ブロックの場合、９つの予測モードの何れかとなる。
【００９４】
また、符号列合成部１０５は、符号化情報をデータストリームに多重化する。この符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる成分画像を示す割当情報を含む。
【００９５】
図１３Ａは、上記（１）３個の符号化部のそれぞれが独立に予測モードを決定する場合の、符号化情報と３つの符号列とが多重されたデータストリームのフォーマットを示す図である。同図のストリームデータは、予測モードの数（number identifier ）６１０、予測モード識別子（prediction mode）６２０Ｒ、６２０Ｇ、６２０Ｂを含む。この場合、予測モードの数６１０は「３」であり、３個の符号化部のそれぞれが独立した予測モードを使用することを意味する。予測モードの数６１０は、マクロブロック、スライス、ピクチャ単位でデータストリーム中に挿入されても良いが、同図のように、挿入された位置移行のマクロブロックについて適用されるようにしてもよい。予測モード識別子（prediction mode）６２０Ｒ、６２０Ｇ、６２０Ｂはマクロブロックの３つの成分の符号化データ毎に付与される。
【００９６】
図１３Ｂは、上記（３）３個の符号化部が共通の予測モードを使用する場合の、符号化情報と３つの符号列とが多重されたデータストリームのフォーマットを示す図である。同図のストリームデータは、予測モードの数６１０、予測モード識別子６２０Ｃを含む。この場合、予測モードの数６１０は「１」であり、３個の符号化部の間で共通の１つの予測モードを使用することを意味する。予測モード識別子６２０Ｃは共有の予測モードを示し、マクロブロックの３成分符号化データの先頭に付与される。
【００９７】
図１３Ｃは、上記（２）２個の符号化部が共通の予測モードを使用し、１個の符号化部が独立した予測モードを使用する場合の、符号化情報と３つの符号列とが多重されたデータストリームのフォーマットを示す図である。同図のストリームデータは、予測モードの数６１０、割当情報（assignment information）６５０、予測モード識別子６２０ａ、６２０ｂを含む。この場合、予測モードの数６１０は「２」であり、２つの符号化部の間で共通の１つの予測モードと、他の１つの符号化部に独立の１つの予測モードとがあることを意味する。予測モード識別子６２０ａ、６２０ｂはそれぞれ予測モードを示す。割当情報６５０は、予測モード識別子６２０ａ、６２０ｂが示す予測モードと、成分符号データとの対応関係を示す。例えば、割当情報６５０は、予測モード識別子６２０ａが示す予測モードは成分符号データ６３０Ｒと６３０Ｇに共通であり、予測モード識別子６２０ｂが示す予測モードは成分符号データ６３０Ｂに使用されることを意味する。
【００９８】
図１３Ｄは、３つの符号化部における面内符号化が途中で上記（３）から上記（１）に変更された場合のデータストリームを示す図である。このように動的に面内符号化を変更してもよい。
【００９９】
以上のように本実施の形態における動画像符号化装置によれば、３つの符号化部において面内符号化における予測モードを独立に決定するか共通に使用するかを選択することができる。上記（１）〜（３）の選択は、予め定めておいてもよいし、動画像の内容（動きの大きさや、画像の複雑さ）に応じて適用的に選択してもよい。
【０１００】
なお、実施の形態２では、３つの符号化部において面内符号化における予測モードを独立に決定するか共通に使用するかを適応的に設定可能な動画像符号化装置について説明したが、３つの符号化部において画面間符号化における動きベクトルを独立に決定するか共通に使用するかを適応的に設定するようにしてもよい。
【０１０１】
また、実施の形態２では、符号列合成部１０５が符号化情報をデータストリームに多重化する際に、符号化情報として予測モードの数、予測モードの識別子を含む場合について説明したが、予測モードの数の代わりに、予め定められた予測モードフラグを含めてもよい。ここで予測モードフラグとは、上記の（１）〜（３）のいずれを用いているかを示すフラグである。上記の（１）〜（３）は符号化装置の観点での説明であるが、ストリームデータの観点から説明すると、（１）は、３個の成分画像のそれぞれが独立した予測モードで符号化されたことを意味する。（２）は、２個の成分画像が共通の予測モードで符号化され、かつ１個の成分画像が独立した予測モードで符号化されたことを意味する。（３）は、３個の色成分画像が共通の予測モードで符号化されたことを意味する。予測モードフラグの示し方は複数の方法がある。
【０１０２】
予測モードフラグの第１の示し方は、上記の（１）と（３）のいずれを用いているかを示す方法である。図１３Ｅは、第１の示し方によるフラグ（Ｆｌａｇ＿ａ）の一例を示す図である。同図のようにＦｌａｇ＿ａの値は、（１）の場合には「０」として、（３）の場合には「１」としている。この場合の符号化ストリームの構成は、図１３Ａ、図１３Ｂ、図１３Ｄと同様になる。第１の示し方では、上記（２）を用いないで、上記（１）か（３）の何れかを用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは１ビットでよい。
【０１０３】
予測モードフラグの第２の示し方は、上記の（１）、（２）、（３）のいずれを用いているかを示す方法である。図１３Ｆは、第２の示し方によるフラグ（Ｆｌａｇ＿ｂ）の一例を示す図である。同図のようにＦｌａｇ＿ｂの値は、（１）の場合には「０」として、（２）の場合には「１」として、（３）の場合には「２」としている。この場合の符号化ストリームの構成は、図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄと同様になる。第２の示し方では、上記（１）から（３）の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは２ビットでよい。
【０１０４】
予測モードフラグの第３の示し方は、２段階で（２つのフラグで）示す方法である。図１３Ｇは、第３の示し方によるフラグ（Ｆｌａｇ＿ｃ１、Ｆｌａｇ＿ｃ２）の一例を示す図である。例えば図１３Ｇに示すように、第１の予測モードフラグＦｌａｇ＿ｃ１により、（２）またはそれ以外（すなわち（１）または（３））のいずれを用いているかを示し、第１の予測モードフラグが「（２）以外」である場合には、更に第２の予測モードフラグＦｌａｇ＿ｃ２により、（１）と（３）のいずれを用いているかを示す。第１の予測モードフラグＦｌａｇ＿ｃ１が（２）を示す場合第２の予測モードフラグＦｌａｇ＿ｃ２は省略可能である。第３の示し方では、上記（１）から（３）の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは上記１ビットまたは２ビットでよい。
【０１０５】
（実施の形態３）
本実施の形態では、実施の形態１で説明した図１の動画像符号化装置に対応する動画像復号化装置について説明する。
【０１０６】
図１４は、本発明の動画像復号装置の一構成例を示すブロック図である。動画像復号装置１０００は、可変長復号部１００１、３つの復号部１００２、１００３、１００４、信号合成部１００５、確率テーブル保持部１０１０から構成される。
【０１０７】
可変長復号部１００１には、符号列ＳＴが入力される。符号列ＳＴはＲＧＢ４：４：４フォーマットの動画像信号を符号化して得られたものであり、実施の形態１で説明した動画像符号化装置により生成された符号列であるとする。
【０１０８】
可変長復号部１００１に入力された符号列ＳＴは、可変長復号が施される。この場合の符号列の構成例としては、図５Ａ、図５Ｂのような構成がある。図５Ａのようにブロックやマクロブロックを単位として多重化されていると、従来のＹＵＶ画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。また、図５Ｂのようにピクチャやスライスを単位として多重化されていると、逆多重化の単位が大きくなるために、逆多重化処理の簡易化を図ることができるという効果を有する。さらには図５Ｃの符号列構成のように、ＲＧＢの各信号が独立して符号化されたことを示す情報が符号列中に記述されている場合には、この情報を検査することによって、この符号列を復号装置が復号する際に、ＲＧＢ信号を独立して復号することができるかどうかを復号装置が簡易に判断することができる。
【０１０９】
可変長復号部１００１において用いられる可変長復号方法の一つとして、コンテキスト適応型算術復号方式がある。コンテキスト適応型算術復号方式とは、可変長復号対象データや既に可変長復号が終了しているデータに応じて（コンテキスト適応）、算術復号で用いられる確率テーブルを切り替える方式である。例えば、量子化周波数変換係数ＱＴを可変長復号する際のコンテキストとしては、面内予測におけるブロックサイズや周波数変換のブロックサイズ等が用いられる。ここで確率テーブルは、確率テーブル保持部１０１０に保持されているものとする。また、確率テーブルはＲ信号、Ｇ信号、Ｂ信号に対して異なるものを用いる。
【０１１０】
符号列ＳＴに可変長復号を施すことにより得られた量子化周波数変換係数や面内予測方法等のデータは、Ｒ信号に対するデータＤＴ＿Ｒは復号部１００２に、Ｇ信号に対するデータＤＴ＿Ｇは復号部１００３に、Ｂ信号に対するデータＤＴ＿Ｂは復号部１００３にそれぞれ入力される。
【０１１１】
復号部１００２、１００３、１００４の構成を図１５に示す。以下では、Ｒ信号のデータＤＴ＿Ｒの復号処理を行う復号部１００２の動作について説明するが、その構成と動作はＧ信号のデータＤＴ＿Ｇの復号処理を行う復号部１００３、Ｂ信号のデータＤＴ＿Ｇの復号処理を行う復号部１００４についても同様である。
【０１１２】
復号部１００２は図１５に示すように、逆量子化部１１０１、逆周波数変換部１１０２、加算部１１０３、フレームメモリ１１０４、面内予測部１１０５から構成される。
【０１１３】
復号部１００２は、Ｒ信号のデータＤＴ＿Ｒの各ピクチャを画面内予測符号化ピクチャとして復号する。
【０１１４】
データＤＴ＿Ｒのうち、面内予測方法は面内予測部１１０５に入力され、量子化周波数変換係数ＱＴは逆量子化部１１０１に入力される。
【０１１５】
面内予測部１１０５では、入力された面内予測方法に基づき、フレームメモリ１１０４から面内参照画素を取得して面内予測画像を生成し、加算部１１０３に対して出力する。
【０１１６】
量子化周波数変換係数ＱＴは、逆量子化部１１０１で逆量子化処理を施され、さらに逆周波数変換部１１０２で逆周波数変換処理を施され、復号差分画像ＬＤＤとなる。復号差分画像ＬＤＤは、加算部１１０３で面内予測画像ＩＰと加算され、復号画像ＬＤとなり、フレームメモリ１１０４に蓄積される。フレームメモリ１１０４に蓄積された復号画像は、以降の復号処理において参照画像として用いられる。また、適当なタイミングで出力画像ＯＴ＿Ｒとして出力される。
【０１１７】
復号部１００２から出力されたＲ信号の出力画像ＯＴ＿Ｒ、復号部１００３から出力されたＧ信号の出力画像ＯＴ＿Ｇ、復号部１００４から出力されたＢ信号の出力画像ＯＴ＿Ｂは、信号合成部１００５に入力され、ＲＧＢカラー画像信号ＯＵＴとして合成されて出力される。
【０１１８】
以上のように本発明の動画像複号装置では、ＲＧＢ４：４：４フォーマットの動画像を符号化して得られた符号列を入力し、入力符号列を可変長復号した後にＲ信号のデータ、Ｇ信号のデータ、Ｂ信号のデータに分離し、各信号のデータに対して異なる復号部を用い、独立して面内予測復号する。この際、各信号の復号における面内予測では、各信号で独立して決定された面内予測方法の情報を用いて面内予測を実施する。また、算術復号を用いた可変長復号においては、各信号で独立して確率テーブルを保持する。
【０１１９】
このような動作により、可変長復号後の各信号の復号処理を完全に独立して行うことが可能となり（各復号部で相互にデータや情報転送等を行うことが不要となるため）、符号化効率を犠牲にすることなく復号装置の構成を簡易化することができる。この場合には、ＲＧＢ信号はすべて同じ画素数を有することから、各信号の復号部はハードウェア的には全く同じ構成にすることが可能となる。
【０１２０】
なお、本実施の形態においては、ＲＧＢ４：４：４フォーマットの画像、すなわち３色の要素を有する画像が符号化された符号列を扱う場合について説明したが、この要素数は３色以外の値（例えば４色や６色、等）であっても同様の構成で復号処理を実現することが可能であり、またそれにより本実施の形態で得られるものと同様の効果を得ることができる。
【０１２１】
（第１の変形例）
実施の形態３は以下のように変形することが可能である。本変形例では、実施の形態１中の図６、図７、図１０の動画像符号化装置に対応する動画像復号化装置について説明する。
【０１２２】
図１６は、復号部１００２（または復号部１００３、１００４）の異なる構成例を示した図である（ここでは区別のために、復号部１００２ａ、１００３ａ、１００４ａと呼ぶ）。復号部１００２ａは、図１５に示した復号部１００２に対して、動き補償部１２０６、制御部１２０７、スイッチ１２０８、１２０９を追加した構成となっている。
【０１２３】
図６、図７、図１０の動画像符号化装置により生成された符号列ＳＴに符号化情報が多重化されている場合には、可変長復号部１００１は、符号列ＳＴから符号化情報を抽出する。この符号化情報は、図１３Ａ〜図１３Ｄで説明したように、予測モードの数および予測モードの識別子を含み、さらに、成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる成分画像を示す割当情報を含む。この符号化情報に示される予測モードに従って３つの復号部１００２ａ、１００３ａ、１００４ａはＲＧＢ各成分画像を復号する。
【０１２４】
復号部１００２はＲ信号のデータＤＴ＿Ｒの各ピクチャを画面内予測符号化ピクチャとして復号したが、復号部１００２ａでは、Ｒ信号のデータＤＴ＿Ｒのピクチャを画面間予測符号化ピクチャとしても復号できる点が異なる。
【０１２５】
復号化部１００２ａでピクチャを画面内予測符号化ピクチャとして復号する場合の処理方法は実施の形態３で説明した内容と同様であるので説明は割愛する（スイッチ１２０８、１２０９が「ａ」に接続されて処理が行われる）。
【０１２６】
データＤＴ＿Ｒのピクチャを画面間予測符号化ピクチャとして復号する場合の動作について説明する。なおこの際、可変長復号部１００１においてコンテキスト適応型算術復号方式が用いられる場合には、確率テーブルはＲ信号、Ｇ信号、Ｂ信号に対して異なるものを用いる。
【０１２７】
データＤＴ＿Ｒのうち、符号化モードＭＤは制御部１２０７に、面内予測方法ＩＰＭまたは動きベクトルＭＶはスイッチ１２０８に、量子化周波数変換係数ＱＴは逆量子化部１１０１に入力される。
【０１２８】
制御部１２０７では符号化モードＭＤに基づき、スイッチ１２０８を制御する。符号化モードＭＤが画面内予測符号化を示す場合にはスイッチ１２０８は「ａ」に接続され、面内予測部１１０５に面内予測方法ＩＰＭが入力される。符号化モードＭＤが画面間予測符号化を示す場合にはスイッチ１２０８は「ｂ」に接続され、動き補償部１２０６に動きベクトルＭＶが入力される。符号化モードＭＤが画面内予測符号化を示す場合の処理は、実施の形態３で説明した内容と同様であるので説明は割愛する。以下では、符号化モードＭＤが画面間予測符号化を示す場合について説明する。
【０１２９】
動き補償部１２０６では、入力された動きベクトルＭＶに基づいてフレームメモリ１１０４から参照画素を取得して予測画像を生成し、加算部１１０３に対して出力する。
【０１３０】
逆量子化部１１０１、逆周波数変換部１１０２、加算部１１０３の処理は実施の形態２と同様であり、その処理により復号画像ＬＤが生成される。復号画像ＬＤはフレームメモリ１１０４に蓄積される。フレームメモリ１１０４に蓄積された復号画像は、以降の復号処理において参照画像として用いられる。また、適当なタイミングで出力画像ＯＴ＿Ｒとして出力される。
【０１３１】
復号部１００２から出力されたＲ信号の出力画像ＯＴ＿Ｒ、復号部１００３から出力されたＧ信号の出力画像ＯＴ＿Ｇ、復号部１００４から出力されたＢ信号の出力画像ＯＴ＿Ｂは、信号合成部１００５に入力され、ＲＧＢカラー画像信号ＯＵＴとして合成されて出力される。
【０１３２】
以上のように本発明の動画像復号装置では、ＲＧＢ４：４：４フォーマットの動画像を符号化して得られた符号列を入力し、入力符号列を可変長復号した後にＲ信号のデータ、Ｇ信号のデータ、Ｂ信号のデータに分離し、各信号のデータに対して異なる復号部を用い、独立して復号する。この際、各信号の復号における面内予測では、各信号で独立して決定された面内予測方法の情報を用いて面内予測を実施する。また、各信号の復号における画面間予測では、各信号で独立して決定された動きベクトルの情報を用いて画面間予測（動き補償）を実施する。また、算術復号を用いた可変長復号においては、各信号で独立して確率テーブルを保持する。
【０１３３】
このような動作により、可変長復号後の各信号の復号処理を完全に独立して行うことが可能となる（各復号部で相互にデータや情報転送等を行うことが不要となるため）。よって、ＨＤＴＶ以上の解像度を持つ動画像のように、処理すべき画素数が非常に多く、それにより一つの復号装置では復号できないような場合に、各信号を並列に復号処理することができる。この場合には、ＲＧＢ信号はすべて同じ画素数を有することから、各信号の復号部はハードウェア的には全く同じ構成にすることが可能となる。よって、処理すべき画素数が非常に多いような場合であっても、復号装置の全体構成および処理内容を簡易化することができる。
【０１３４】
なお、上述の符号化情報として予測モードの数、予測モードの識別子を含む場合について説明したが、予測モードの数の代わりに、予め定められた予測モードフラグを含めてもよい。ここで予測モードフラグとは、上記の（１）〜（３）のいずれを用いているかを示すフラグである。予測モードフラグの示し方は複数の方法がある。
【０１３５】
予測モードフラグの第１の示し方は、上記の（１）と（３）のいずれを用いているかを示す方法である。例えば図１３Ｅに示すようにフラグとしては、（１）の場合には「０」として、（３）の場合には「１」として示す方法がある。この場合の符号化ストリームの構成は、図１３Ａ、図１３Ｂ、図１３Ｄと同様になる。
【０１３６】
予測モードフラグの第２の示し方は、上記の（１）、（２）、（３）のいずれを用いているかを示す方法である。例えば図１３Ｆに示すようにフラグとしては、（１）の場合には「０」として、（２）の場合には「１」として、（３）の場合には「２」として示す方法がある。この場合の符号化ストリームの構成は、図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄと同様になる。
【０１３７】
予測モードフラグの第３の示し方は、２段階で（２つのフラグで）示す方法である。例えば図１３Ｇに示すように、第１の予測モードフラグにより、（２）またはそれ以外（すなわち（１）または（３））のいずれを用いているかを示し、第１の予測モードフラグが「（２）以外」である場合には、更に第２の予測モードフラグにより、（１）と（３）のいずれを用いているかを示す方法である。
【０１３８】
このような予測モードフラグにより画像復号装置は、予測モードについて上記の（１）〜（３）の何れにより符号化されたかを容易に判別することができる。また、符号化情報により、３つの復号部のそれぞれが用いる予測モードを容易に判別することができる。
【０１３９】
また、上記では、予測モードフラグは色毎の成分画像の数が３の場合について説明した。次に、成分画像の数をＮに一般化した場合について説明する。
【０１４０】
第１の示し方では、予測モードフラグＦｌａｇ＿ａは、上記（１）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、上記（３）Ｎ個の色成分画像が共通の予測モードで符号化されたことの何れかを示す。
【０１４１】
第２の示し方では、予測モードフラグＦｌａｇ＿ｂは、上記（１）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、上記（３）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、上記（２）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示す。
【０１４２】
第３の示し方では、予測モードフラグは第１フラグｆｌａｇ＿ｃ１を含む。第１フラグｆｌａｇ＿ｃ１は、上記（２）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、上記（２）でないこと、の何れかを示す。第１フラグｆｌａｇ＿ｃ１が上記（２）でないことを示すとき、前記予測モードフラグはさらに第２フラグを含む。第２フラグは、上記（１）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、上記（３）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示す。
【０１４３】
（第２の変形例）
実施の形態３の第２の変形例について説明する。
【０１４４】
可変長復号部１００１には、符号列ＳＴが入力される。符号列ＳＴはＲＧＢ４：４：４フォーマットの動画像信号を符号化して得られたものであり、実施の形態１の第２の変形例で説明した動画像符号化装置により生成された符号列であるとする。
【０１４５】
可変長復号部１００１に入力された符号列ＳＴは、可変長復号が施される。この場合の符号列の構成例は図５Ｅである。第２の変形例が第１の変形例と異なる点は、画面間予測符号化されているマクロブロックに対して、動きベクトル情報がＲ信号、Ｇ信号、Ｂ信号に対して共通に記述されている点である。可変長復号部１００１は、符号列ＳＴに可変長復号を施すことにより得られた動きベクトル情報をＲ信号に対するデータＤＴ＿Ｒ、Ｇ信号に対するデータＤＴ＿Ｇ、Ｂ信号に対するデータＤＴ＿Ｂにコピーして、復号部１００２ａ、１００３ａ、１００４ａに対して出力する。なおこの際、可変長復号部１００１においてコンテキスト適応型算術復号方式が用いられる場合には、動きベクトル用の確率テーブルはＲ信号、Ｇ信号、Ｂ信号に対して共通のもの（ブロックやマクロブロックで共通のもの）を用いることになる。
【０１４６】
以降の処理は第１の変形例と同様であるので、説明は割愛する。
【０１４７】
以上のように本発明の動画像復号装置では、ＲＧＢ４：４：４フォーマットの動画像を符号化して得られた符号列を入力し、入力符号列を可変長復号した後にＲ信号のデータ、Ｇ信号のデータ、Ｂ信号のデータに分離し、各信号のデータに対して異なる復号部を用い、独立して復号する。この際、各信号の復号における画面内予測では、各信号で独立して決定された面内予測方法の情報を用いて面内予測を実施する。また、各信号の復号における画面間予測では、各信号で共通な動きベクトルの情報を用いて画面間予測（動き補償）を実施する。また、算術復号を用いた可変長復号においては、動きベクトル以外のデータに対しては各信号で独立して確率テーブルを保持する。
【０１４８】
このような動作により、画面内予測符号化ピクチャまたは画面間予測符号化ピクチャでの画面内予測符号化マクロブロックでは、各信号の復号処理を完全に独立して行い、画面間予測符号化マクロブロックでは、各信号で共通な動きベクトルを用いることになる。一般的に、画面内予測符号化マクロブロックでは、総発生符号量に対して量子化周波数変換係数の符号量が支配的であり、面内予測方法の情報量は小さい。また、画面間予測符号化マクロブロックでは、総発生符号量に対して動きベクトルの符号量が占める割合が大きくなる。よって、画面内予測符号化ピクチャの処理では、符号化効率を犠牲にすることなく復号装置の構成（処理）を簡易化することができ、かつ画面間予測符号化ピクチャの処理では、復号装置の構成（処理）は若干複雑になるものの、かつ符号化効率を向上させることができる（符号列中に記述する動きベクトルの数が少なくなるため）。よって、ＨＤＴＶ以上の解像度を持つ動画像のように、処理すべき画素数が非常に多く、それにより一つの復号装置では復号できないような場合に、各信号を並列に復号処理することができ、その際に復号装置の構成および処理内容を簡易化することができる。この場合には、ＲＧＢ信号はすべて同じ画素数を有することから、各信号の復号部はハードウェア的には全く同じ構成にすることが可能となる。
【０１４９】
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０１５０】
最後に実施の形態１および２に示した動画像符号化装置の適用例について説明する。
【０１５１】
図１７は、本発明を適用例したビデオカメラの主要部の構成を示すブロック図である。同図のビデオカメラ７００は、いわゆる３版式カメラであり、図１０と比べて、信号分離部１０１の代わりにレンズ１０１、光学素子７０２、撮像素子７０３〜７０５を備える点が異なる。レンズ１０１を通過した入射光は、光学素子７０２によってＲＧＢの三原色の光に分離される。撮像素子７０３、７０４、７０５には、Ｒ、Ｇ、Ｂの光に対応し同じ画素数のＲ、Ｇ、Ｂ成分画像を撮像する。撮像された３つの成分画像は、符号化部１０２ｃ、１０３ｃ、１０４ｃに入力される。
【０１５２】
なお、図１７において、符号化部１０２ｃ、１０３ｃ、１０４ｃの代わりに符号化部１０２ｂ、１０３ｂ、１０４ｂ、符号化部１０２ａ、１０３ａ、１０４ａまたは符号化部１０２、１０３、１０４を備える構成としてもよい。
【産業上の利用可能性】
【０１５３】
本発明は、動画像符号化装置、動画像復号装置および符号列フォーマットに適しており、特に、業務用の動画像記録再生装置、ビデオカメラ、テレビカメラなどに適している。
【符号の説明】
【０１５４】
１００ 動画像符号化装置
１０１ 信号分離部
１０２、１０３、１０４ 符号化部
１０５ 符号列合成部
１０６ 制御部
１０００ 動画像復号装置
１００１ 可変長復号部
１００２、１００３、１００４ 復号部
１００５ 信号合成部
１０１０ 確率テーブル保持部
【技術分野】
【０００１】
本発明は、１枚の画像が同一画素数を有するＮ個（Ｎは２以上の整数）の成分画像で構成される画像を符号化または復号する場合の、動画像符号化装置、動画像復号装置およびストリームデータに関するものである。
【背景技術】
【０００２】
ＩＳＯ／ＩＥＣ傘下のＭＰＥＧ（Moving Picture Experts Group）で制定されたＭＰＥＧ−４ ＡＶＣ（Advanced Video Coding）規格（非特許文献１）では、ＲＧＢフォーマットの動画像を符号化する方法が規定されている。ここでは、ＲＧＢデータを従来のＹＵＶデータにマッピングし（Ｇ信号がＹ信号に、Ｂ信号がＵ信号に、Ｒ信号がＶ信号にマッピングされる）、符号化および復号を行う方法が規定されている。
【０００３】
上記従来の方法では、ＲＧＢ信号に対して従来のＹＵＶデータの符号化方法および復号方法と同じ方法を用いて符号化および復号を行う。従来のＹＵＶデータの符号化においては、ＵデータとＶデータに対する面内予測方法は同一であるが、Ｙデータに対する面内予測方法はＵデータ／Ｖデータに対する面内予測方法とは異なる。そのため、ＲＧＢデータにマッピングした場合には、ＲデータとＢデータに対する面内予測方法は同一であるが、Ｇデータに対する面内予測方法はＲデータ／Ｂデータに対する面内予測方法とは異なることになる。
【０００４】
従来のＹＵＶデータの符号化においては、Ｙデータに対する動きベクトルが、ＵデータとＶデータに対する動き補償で用いられる。そのため、ＲＧＢデータにマッピングした場合には、Ｇデータに対する動きベクトルが、ＲデータとＢデータに対する動き補償で用いられることになる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Draft of Version4 of H.264/AVC (ITU-T Recommendation H.264 and ISO/IEC 14496-10 (MPEG-4 Part 10) Advanced Video Coding, JVT-N050d1, 2005.1.28.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、業務用の機器（テレビカメラ等）では民生用よりもはるかに高解像度かつ高品質の画像を符号化する必要性が高まっている。上記従来技術におけるＹＵＶ信号は、民生用であるため４：２：０フォーマットまたは４：２：２フォーマットが主流である。一方、業務用では、高解像度かつ高品質の画像を符号化するために、ＲＧＢ信号の４：４：４フォーマットが用いられる。上記従来のＲＧＢデータをＹＵＶデータにマッピングする手法では、ＲＧＢ信号の４：４：４フォーマットを高解像度かつ高品質の画像を符号化することが困難である。
【０００７】
さらに、ＲＧＢ４：４：４フォーマットの高解像度画像を符号化処理／復号処理するために、Ｒデータ、Ｇデータ、Ｂデータに対応し、並列に動作する３つのエンコーダ／デコーダを備える装置構成が考えられる。この場合でも、上記従来技術のマッピングのためには、エンコーダ間でブロック毎に情報（面内処理方法や動きベクトル）の受け渡しのためのインターフェース回路を各エンコーダ／デコーダに設けることが必要となる。そのため、エンコーダやデコーダの構成が複雑になり、回路規模が増加するという問題がある。
【０００８】
本発明は上記従来の課題を解決するものであり、同数の画素を有するＮ個（Ｎは２以上の整数）の成分画像からなる画像に対して、簡易なハードウェア構成で符号化処理、復号処理を行う動画像符号化装置、動画像復号装置およびストリームデータを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の動画像符号化装置は、１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像を取得する取得手段と、前記Ｎ個の色成分画像に対応して設けられ、対応する色成分画像を画面内予測符号化または画面間予測符号化によって符号化するＮ個の符号化手段と、前記Ｎ個の符号化部から出力されたＮ個の前記符号列を合成し、１個の符号列信号を出力する信号合成手段とを具備する。前記Ｎ個の符号化手段は、画面内予測符号化または画面間予測符号化の予測モードを独立または共通に使用可能である。前記信号合成手段は、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを、符号列信号に挿入する。前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む。この構成によれば、１つの成分画像に１つの符号化手段が対応するので、業務用のより高解像度の画像に対しても効率よく符号化することができる。
【００１０】
ここで、前記Ｎ個の符号化手段は、画面内予測符号化における予測モードを独立に決定するようにしてもよい。この構成によれば、各符号化手段が独立に決定した予測モードの画面内予測符号化を行うので、Ｎ個の符号化手段の間で面内符号化における各ブロックの予測モードの受け渡しをする必要がなくなる。その結果、予測モードの受け渡しをするインターフェースを各符号化手段が備える必要がなく、各符号化手段が、例えばＬＳＩやボードとして構成される場合に、ブロック毎の予測モードを受け渡すインターフェース回路が不要なので、回路規模の増加を最小限に抑えることができる。
【００１１】
また、各符号化手段が上記の予測モードを独立に決定するので、画面内予測符号化による符号化効率を向上させることができる。
【００１２】
ここで、前記Ｎ個の符号化手段は、画面間予測符号化に用いられる動きベクトルを独立に決定するようにしてもよい。この構成によれば、各符号化手段が独立に決定した動きベクトルを用いて画面間予測符号化を行うので、Ｎ個の符号化手段の間で画面間符号化における予測モードの受け渡しをする必要がなくなる。その結果、予測モードの受け渡しをするインターフェースを各符号化手段が備える必要がなく、各符号化手段が、例えばＬＳＩやボードとして構成される場合に、回路規模の増加を最小限に抑えることができる。
【００１３】
ここで、前記Ｎ個の符号化手段は、画面内予測符号化における予測モードを独立に決定し、前記Ｎ個の符号化手段のうちの１つは、画面間予測符号化に用いられる動きベクトルを決定し、前記Ｎ個の符号化手段は、前記動きベクトルを共通に用いて画面間予測符号化を行うようにしてもよい。この構成によれば、画面内予測符号化における符号化効率を向上させることができる。しかも、前記Ｎ個の符号化手段のうちの１つだけが、動きベクトルを決定する回路（動き推定回路）を備えればよく、他の符号化手段規模は備える必要がない。一般的に、動き推定回路は規模が大きいので、上記の他の符号化手段の回路面積を大幅に削減することができる。
【００１４】
ここで、前記Ｎ個の符号化手段は、画面内予測符号化の予測モードを独立または共通に使用可能であり、前記信号合成手段は、Ｎ個の色成分画像と画面内予測符号化の予測モードとの対応を示す符号化情報を、符号列信号に挿入するようにしてもよい。この構成によれば、画像復号化装置は、符号化情報が挿入された符号列信号によって、Ｎ個の符号化手段のうちのどの符号化手段の間で画面内予測符号化の予測モードが共通かを容易に判別することができ、復号処理を簡易化することができる。
【００１５】
ここで、前記符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、色成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる色成分画像を示す割当情報を含むようにしてもよい。この構成によれば、画像復号化装置は、予測モードの数、予測モードの識別子および割当情報を判別することによって、復号処理を簡易化することができる。
【００１６】
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、（ｃ）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示すようにしてもよい。この構成によれば、上記（ａ）から（ｃ）の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは２ビットでよい。
【００１７】
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。この構成によれば、上記（ｃ）を用いないで、上記（ａ）か（ｂ）の何れかを用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは１ビットでよい。
【００１８】
ここで、前記符号化情報は、第１予測モードフラグを含み、第１予測モードフラグは、（ｉ）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、（ｉｉ）そうでないこと、の何れかを示し、第１予測モードフラグが（ｉｉ）を示すとき、前記符号化情報はさらに第２予測モードフラグを含み、第２予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。この構成によれば、上記（ａ）、（ｂ）、（ｉ）の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは上記１ビットまたは２ビットでよい。
【００１９】
ここで、前記Ｎ個の符号化手段はＮ個の半導体集積装置として構成してもよい。この構成によれば、画像の画素数が非常に多い場合に（例えばＨＤＴＶ画像以上の画素数を有する超高解像度の場合に）、一つの符号化手段で画像を符号化処理するのが困難な場合でも、成分画像毎に効率よく符号化することができる。
【００２０】
また、本発明の動画像復号化装置は、符号化された動画像を示す符号列信号から、１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像に対応するＮ個の符号列を分離する分離手段と、前記Ｎ個の符号列に対応して設けられ、対応する符号列を画面内予測復号化または画面間予測復号化によって復号化するＮ個の復号化手段と、Ｎ個の復号化手段からのＮ個の色成分画像を１つの画像に合成する画像合成手段とを備える。前記分離手段は、前記符号列信号から、Ｎ個の色成分画像と画面内予測復号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを分離する。前記Ｎ個の復号化手段は、前記予測モードフラグに従って面内予測復号化を行う。前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む。
【００２１】
この構成によれば、Ｎ個の復号化手段の間で面内符号化における各ブロックの予測モードの受け渡しをする必要がなくなる。その結果、予測モードの受け渡しをするインターフェースを各復号化手段が備える必要がなく、各復号化手段が、例えばＬＳＩやボードとして構成される場合に、ブロック毎の予測モードを受け渡すインターフェース回路が不要なので、回路規模の増加を最小限に抑えることができる。
【００２２】
ここで、前記Ｎ個の復号化手段は、独立した予測モードで面内予測復号化を行うようにしてもよい。
【００２３】
ここで、前記Ｎ個の復号化手段は、独立した動きベクトルを用いて画面間予測復号化を行うようにしてもよい。
【００２４】
ここで、前記Ｎ個の復号化手段は、独立した予測モードで面内予測復号化を行い、共通の動きベクトルを用いて画面間予測復号化を行うようにしてもよい。
【００２５】
ここで、前記分離手段は、前記符号化信号から、Ｎ個の色成分画像と画面内予測復号化の予測モードとの対応を示す符号化情報を分離し、前記Ｎ個の復号化手段は、前記符号化情報に従って面内予測復号化を行うようにしてもよい。
【００２６】
ここで、前記符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、色成分画像に共通の予測モードが存在する場合には、予測モードが共通に割り当てられる色成分画像を示す割当情報を含むようにしてもよい。
【００２７】
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。
【００２８】
ここで、前記符号化情報は、予測モードフラグを含み、前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、（ｃ）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示すようにしてもよい。
【００２９】
ここで、前記符号化情報は、第１予測モードフラグを含み、第１予測モードフラグは、（ｉ）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、（ｉｉ）そうでないこと、の何れかを示し、第１予測モードフラグが（ｉｉ）を示すとき、前記符号化情報はさらに第２予測モードフラグを含み、第２予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示すようにしてもよい。
【００３０】
ここで、前記Ｎ個の復号化手段はＮ個の半導体集積装置として構成してもよい。
【００３１】
また、本発明のストリームデータは、コンピュータ読み取り可能なストリームデータであって、前記ストリームデータは、Ｎ個の符号列および予測モードフラグとを含み、前記Ｎ個の符号列は、１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像を表し、前記予測モードフラグは、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す情報と、前記N個の色成分画像が独立して符号化されたか否かを示す情報とを含む。
【発明の効果】
【００３２】
以上の様に、本発明の動画像符号化装置、動画像復号装置および符号列フォーマットを用いることにより、各信号の符号化処理および復号処理を独立して行うことが可能となり符号化装置や復号装置の構成を簡易化することができ、その実用的価値が高い。
【図面の簡単な説明】
【００３３】
【図１】図１は、本発明の実施の形態１における動画像符号化装置の一構成例を示すブロック図である。
【図２】図２は、符号化部の一構成例を示すブロック図である。
【図３】図３は、ＲＧＢ４：４：４フォーマットを示す模式図である。
【図４】図４は、面内予測方法を説明するための模式図である。
【図５Ａ】図５Ａは、マクロブロック単位に多重化されたモード情報および３つ符号列を示すデータストリームを示す図である。
【図５Ｂ】図５Ｂは、スライス単位に多重化されたモード情報および３つ符号列を示すデータストリームを示す図である。
【図５Ｃ】図５Ｃは、独立して面内符号化されたことを示す情報（フラグ）を含むデータストリームを示す図である。
【図５Ｄ】図５Ｄは、データストリームのフォーマットを示す模式図である。
【図５Ｅ】図５Ｅは、データストリームのフォーマットを示す模式図である。
【図６】図６は、実施の形態１の第１の変形例における符号化部の構成を示すブロック図である。
【図７】図７は、実施の形態１の第２の変形例における動画像符号化装置の一構成例を示すブロック図である。
【図８】図８は、Ｇ信号を符号化する符号化部の構成例を示したブロック図である。
【図９】図９は、Ｒ（またはＢ）信号を符号化する符号化部の一構成例を示した図である。
【図１０】図１０は、実施の形態２における動画像符号化装置の一構成例を示すブロック図である。
【図１１】図１１は、符号化部の一構成例を示すブロック図である。
【図１２】図１２は、面内符号化における予測モードを示す説明図である。
【図１３Ａ】図１３Ａは、データストリームのフォーマットを示す図である。
【図１３Ｂ】図１３Ｂは、データストリームのフォーマットを示す図である。
【図１３Ｃ】図１３Ｃは、データストリームのフォーマットを示す図である。
【図１３Ｄ】図１３Ｄは、データストリームのフォーマットを示す図である。
【図１３Ｅ】図１３Ｅは、予測モードフラグの一例を示す図である。
【図１３Ｆ】図１３Ｆは、予測モードフラグの一例を示す図である。
【図１３Ｇ】図１３Ｇは、予測モードフラグの一例を示す図である。
【図１４】図１４は、実施の形態３における動画像復号装置の一構成例を示すブロック図である。
【図１５】図１５は、復号部の構成を示すブロック図である。
【図１６】図１６は、復号部の他の構成例を示すブロック図である。
【図１７】図１７は、本発明の適用例としてビデオカメラの構成を示すブロック図である。
【発明を実施するための形態】
【００３４】
（実施の形態１）
本実施の形態では、１つの画像を構成するＮ個の成分画像であって、当該画像と同数の画素を有するＮ個（Ｎは２以上の整数）の成分画像を取得する取得部と、Ｎ個の成分画像に対応して設けられ、対応する成分画像を画面内予測符号化によって符号化するＮ個の符号化部と、Ｎ個の符号化部ら出力されたＮ個の符号列を１個の符号列信号を合成する信号合成手段とを備える動画像符号化装置について説明する。このＮ個の符号化部は、画面内予測符号化における予測モードを独立に決定する。１つの成分画像に１つの符号化部が対応し、各符号化部は、画面内予測符号化における予測モードを独立に決定するので、業務用のより高解像度の画像に対しても効率よく符号化することができる。以下では、Ｎは、ＲＧＢに対応する３とする。
【００３５】
図１は、本発明の実施の形態１における動画像符号化装置の一構成例を示すブロック図である。動画像符号化装置１００は、信号分離部１０１、３つの符号化部１０２、１０３、１０４、符号列合成部１０５、制御部１０６から構成される。
【００３６】
信号分離部１０１には、入力信号ＩＮが入力される。入力信号ＩＮは、ＲＧＢ４：４：４フォーマットの動画像信号である。ここでＲＧＢ４：４：４フォーマットとは、図３に示すように、各画素がＲ信号、Ｇ信号、Ｂ信号の３つの信号の組み合わせで表現され、かつ１ピクチャ内のＲ信号、Ｇ信号、Ｂ信号の画素数が同一であるフォーマットを指す。例えば、Ｒ信号、Ｇ信号、Ｂ信号の各画素が８ビットで表現されている場合には、ＲＧＢ信号の１画素は２４ビットで表現されることになる。
【００３７】
信号分離部１０１に入力された入力ＲＧＢ信号ＩＮは、Ｒ信号のみから構成されるＲ入力信号ＩＮ＿Ｒ、Ｇ信号のみから構成されるＧ入力信号ＩＮ＿Ｇ、Ｂ信号のみから構成されるＢ入力信号ＩＮ＿Ｂの３つに分離され、それぞれは符号化部１０２、１０３、１０４に入力される。
【００３８】
符号化部１０２、１０３、１０４の構成を図２に示す。以下では、Ｒ入力信号ＩＮ＿Ｒの符号化処理を行う符号化部１０２の動作について説明するが、その構成と動作はＧ入力信号ＩＮ＿Ｇの符号化処理を行う符号化部１０３、Ｂ入力信号ＩＮ＿Ｂの符号化処理を行う符号化部１０４についても同様である。
【００３９】
符号化部１０２は図２に示すように、フレームメモリ２０１、差分部２０２、周波数変換部２０３、量子化部２０４、可変長符号化部２０５、逆量子化部２０６、逆周波数変換部２０７、加算部２０８、参照ピクチャメモリ２０９、面内予測方法決定部２１０、面内予測部２１２、制御部２１６、確率テーブル保持部２１７から構成される。
【００４０】
符号化部１０２は、入力画像ＩＮ＿Ｒの各ピクチャを画面内予測符号化（イントラ）ピクチャとして符号化する。
【００４１】
入力画像ＩＮ＿Ｒはフレームメモリ２０１に格納された後、ブロック単位（例えば水平１６画素、垂直１６画素の大きさを有するマクロブロック単位）でフレームメモリ２０１から出力されるとする。
【００４２】
フレームメモリ２０１から出力されたマクロブロックは、面内予測方法決定部２１０に入力される。面内予測決定部２１０では、入力されたマクロブロックに対してどのように画面内予測符号化を行うかを決定する。具体的には、面内予測決定部２１０は、入力されたマクロブロックでの面内予測ブロックサイズと、ブロック毎の面内予測モードとを決定する。面内予測サイズは、水平４画素×垂直４画素、水平８画素×垂直８画素または水平１６画素×垂直１６画素のいずれかに決定される。面内予測モードは、例えばＭＰＥＧ−４ＡＶＣ規格に定められている面内予測方法に従って決定される。
【００４３】
図４は、ＭＰＥＧ−４ＡＶＣ規格に定められている面内予測方法を説明するための模式図である。同図において、面内予測に使用される周辺画素（図中の破線よりも上側部分）は、既に符号化処理が完了し、参照ピクチャメモリ２０９に蓄積されているものとする。４画素×４画素の面内予測の対象ブロック４０１の面内予測では、同図の黒丸の画素群４０２が用いられる。面内予測モードはブロック毎に決定され、例えば、水平４画素×垂直４画素の面内予測ブロックに対しては９通りの予測モードから１つ決定され、水平１６画素×垂直１６画素の面内予測ブロックに対しては４通りの予測モードから１つ決定される。水平４画素×垂直４画素の面内予測ブロックに対する予測モードの説明図を図１２に示す。
【００４４】
面内予測サイズは、水平４画素×垂直４画素、水平８画素×垂直８画素または水平１６画素×垂直１６画素のいずれかに決定される。
【００４５】
図１２は、図４に示した画素群４０２を用いる予測方向を示す模式図である。予測モード０は、垂直（vertical）方向に画素群４０２を予測値とする。同様に、予測モード１は水平（horizontal）方向、予測モード３は斜め左下（diagonal down left）方向、予測モード４は斜め右下（diagonal down right）、予測モード５は垂直の右寄り（vertical right）、予測モード６は水平の下寄り（horizontal down）、予測モード７は垂直の左寄り（vertical right）を予測方向とする。モード２は方向ではなく平均を予測値とする。なお、水平１６画素×垂直１６画素ブロックの面内予測では４通りの予測モードがある。
【００４６】
面内予測決定部２１０によって決定された面内予測方法ＩＰＭは面内予測部２１２、可変長符号化部２０５に対して出力される。面内予測ブロックサイズおよびブロック毎の予測モードについては、面内予測部２１２では、面内予測方法決定部２１０で決定された面内予測方法ＩＰＭに基づき、参照ピクチャメモリ２０９から面内参照画素を取得して面内予測画像ＩＰを生成し、それを差分部２０２に対して出力する。
【００４７】
差分部２０２には、フレームメモリ２０１からの入力画像のマクロブロックと、面内予測部２１２により生成された面内予測画像ＩＰとが入力され、入力画像と面内予測画像ＩＰとの差分画像が生成され、周波数変換部２０３に対して出力される。
【００４８】
周波数変換部２０３は、予測部２１２により生成された差分画像に対して周波数変換を施して周波数変換係数を出力する。
【００４９】
量子化部２０４は、周波数変換部２０３により生成された周波数変換係数に対して量子化処理を行い、量子化周波数変換係数ＱＴを出力する。ここで量子化処理とは、周波数変換係数を所定の値（量子化ステップ）により除する処理のことを指す。この量子化ステップは、制御部２１６から与えられるものとする（量子化ステップは制御部１０６からの制御信号ＣＴＬに含まれていても良い）。量子化周波数変換係数ＱＴは、可変長符号化部２０５、逆量子化部２０６に対して出力される。
【００５０】
量子化周波数変換係数ＱＴは、逆量子化部２０６で逆量子化処理を施され、さらに逆周波数変換部２０７で逆周波数変換処理を施され、復号差分画像ＬＤＤとなる。復号差分画像ＬＤＤは、加算部２０８で面内予測画像ＩＰと加算されて復号画像ＬＤとなり、参照ピクチャメモリ２０９に蓄積される。参照ピクチャメモリ２０９に蓄積された復号画像は、以降の符号化処理において参照画像として用いられる。
【００５１】
可変長符号化部２０５は、量子化部２０４から入力された量子化周波数変換係数ＱＴ、面内予測方法決定部２１０から入力された面内予測方法ＩＰＭ等に対して可変長符号化を行い、符号列ＳＴ＿Ｒを出力する。
【００５２】
ここで可変長符号化部２０５において用いられる可変長符号化方法の一つとして、国際標準動画像符号化方式Ｈ．２６４で採用されているコンテキスト適応型算術符号化方式がある。コンテキスト適応型算術符号化方式とは、可変長符号化対象データや既に可変長符号化が終了しているデータに応じて（コンテキスト適応）、算術符号化で用いられる確率テーブルを切り替える方式である。例えば、量子化周波数変換係数ＱＴを可変長符号化する際のコンテキストとしては、面内予測におけるブロックサイズや周波数変換のブロックサイズ等が用いられる。ここで確率テーブルは、確率テーブル保持部２１７に保持されているものとする。
【００５３】
符号化部１０２、１０３、１０４から出力された符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂは、符号列合成部１０５に入力される。符号列合成部１０５では、入力された３つの符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂを一つの符号列ＳＴに多重化して出力する。その際、符号列合成部１０５は、成分画像の予測モードを示すモード情報を符号列信号に挿入する。３つの符号列とモード情報とを１つの符号列に多重化する方法としては、ブロックやマクロブロックを単位として多重化する方法、ピクチャやスライスを単位として多重化する方法、等がある。図５Ａ、図５Ｂに多重化の例を示す。
【００５４】
図５Ａは、マクロブロック単位に多重化されたモード情報および３つ符号列を示すデータストリームを示す図である。このようにブロックやマクロブロックを単位として多重化すると、従来のＹＵＶ画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。
【００５５】
図５Ｂは、モード情報および３つ符号列がスライス単位に多重化されたデータストリームを示す図である。このように、ピクチャやスライスを単位として多重化すると、多重化の単位が大きくなるために多重化処理の際の符号列の切り替え処理が少なくなり、多重化処理の簡易化を図ることができるという効果を有する。
【００５６】
さらには、ＲＧＢの各信号が独立して面内符号化されたことを示す情報（フラグ）を符号列中に記述しても良い。この情報は、独立して面内予測化の予測モードが決定されたことを示すフラグであってもよいし、または符号列中にＲＧＢ各信号に対する面内予測化の予測モードを示す情報であってもよい。この情報（フラグ）は、シーケンス全体のヘッダや付加情報部に記述すれば良い。この場合のデータストリームの構成例を図５Ｃに示す。これにより、この符号列を復号装置が復号する際に、ＲＧＢ信号を独立して復号することができるかどうかを簡易に判断することができる。
【００５７】
以上のように本発明の動画像符号化装置では、ＲＧＢ４：４：４フォーマットの動画像を入力画像とし、入力信号からＲ信号、Ｇ信号、Ｂ信号を分離し、各信号に対して異なる符号化部を用い、独立して画面内予測符号化する。この際、各信号の符号化における面内予測では、各信号で独立して面内予測方法を決定する。また、各信号の符号化における算術符号化を用いた可変長符号化においては、各信号で独立して確率テーブルを保持する（信号間での確率テーブルの共有は行わない）。
【００５８】
このような動作により、各信号の符号化を完全に独立して行うことが可能となり（各符号化部で相互にデータや情報転送等を行うことが不要となり）、符号化効率を犠牲にすることなく符号化装置の構成を簡易化することができる。例えば、入力画像の画素数が非常に多く（例えばＨＤＴＶ画像以上の画素数を有する場合）、一つの符号化装置で処理をするのは困難な場合に、本発明は非常に有用である。またこの場合には、ＲＧＢ信号はすべて同じ画素数を有することから、各信号の符号化部はハードウェア的に全く同じ構成にすることが可能となる。また各信号で独立して面内予測方法を決定した場合、符号列構成としては、信号毎に面内予測方法を示す情報が記述されることになる。これにより、この符号列を復号する際にもＲＧＢ信号を独立して復号することが可能となり、復号処理の簡易化に効果を有する。
【００５９】
なお、本実施の形態においては、ＲＧＢ４：４：４フォーマットの入力画像、すなわち３色の要素を有する画像を扱う場合について説明したが、この要素数は３色以外の値（例えば４色や６色、等）であっても同様の構成で符号化処理を実現することが可能であり、またそれにより本実施の形態で得られるものと同様の効果を得ることができる。
【００６０】
（第１の変形例）
実施の形態１における第１の変形例について説明する。この変形例では、画面内予測符号化だけでなく、画面間符号化も実行可能な３個の符号化部を備える動画像符号化装置について説明する。動画像符号化において、３個の符号化部は、画面内予測符号化における予測モードを独立に決定し、また、画面間予測符号化に用いられる動きベクトルを独立に決定する。
【００６１】
第１の変形例における動画像符号化装置は、図１に示した符号化部１０２、１０３、１０４の代わりに、符号化部１０２ａ、１０３ａ、１０４ａを備える。符号化部１０２ａ、１０３ａ、１０４ａは、画面内予測符号化と画面間符号化とを選択的に行うようになっている。
【００６２】
図６は、符号化部１０２ａ（または１０３ａ、１０４ａ）の構成を示すブロック図である。符号化部１０２ａは、図２に示した符号化部１０２に対して、動き推定部６１１、動き補償部６１３、スイッチ６１４、６１５、符号化モード決定部６１８を追加した構成となっている。
【００６３】
符号化部１０２は入力画像ＩＮ＿Ｒの各ピクチャを画面内予測符号化（イントラ）ピクチャとして符号化したが、符号化部１０２ａでは、入力画像ＩＮ＿Ｒのピクチャを画面間予測符号化（インター）ピクチャとして符号化することができる点が異なる。
【００６４】
符号化部１０２ａで入力画像ＩＮ＿Ｒのピクチャを画面内予測符号化ピクチャとして符号化する場合の処理方法は実施の形態１で説明した内容と同様であるので説明は割愛する。
【００６５】
入力画像ＩＮ＿Ｒのピクチャを画面間予測符号化ピクチャとして符号化する場合の動作について説明する。
【００６６】
入力画像ＩＮ＿Ｒはフレームメモリ２０１に格納された後、ブロック単位（例えば水平１６画素、垂直１６画素の大きさを有するマクロブロック単位）でフレームメモリ２０１から出力されるとする。
【００６７】
フレームメモリ２０１から出力されたマクロブロックは、面内予測方法決定部２１０に入力される（制御部２１６によりスイッチ６１４は「ａ」に接続される）。この場合の面内予測決定部２１０および面内予測部２１２の動作は実施の形態１で説明した内容と同様であるので説明は割愛する。面内予測方法は面内予測部２１２と符号化モード決定部６１８とに対して出力される。
【００６８】
フレームメモリ２０１から再度出力されたマクロブロックは、動き推定部６１１に入力される（制御部２１６によりスイッチ６１４は「ｂ」に接続される）。動き推定部６１１では、入力されたマクロブロックについて、参照ピクチャ（参照ピクチャメモリ２０９に保持されている符号化済みのピクチャであり、符号化対象ピクチャとは異なるピクチャ）に対する動き量（動きベクトル）を推定する。動き推定においては、一般的に符号化対象ブロックと動き予測画像（動きベクトルにより参照する参照ピクチャ中の画像）との差分値と動きベクトルの符号量の重み付け和が最小となる動きベクトルを選択する。検出された動きベクトルは動き補償部６１３、符号化モード決定部２０５に対して出力される。
【００６９】
動き補償部６１３では、動き推定部６１１で決定された動きベクトルに基づき、参照ピクチャメモリ２０９から画面間参照画素を取得して予測画像ＭＰを生成し、それを差分部２０２に対して出力する（制御部２１６によりスイッチ６１５は「ｂ」に接続される）。
【００７０】
差分部２０２、周波数変換部２０３、量子化部２０４、逆量子化部２０６、逆周波数変換部２０７、加算部２０８の処理は、実施の形態１で説明した内容と同様であるので説明は割愛する。
【００７１】
符号化モード決定部６１８では、面内予測方法決定部２１０、動き推定部６１１、量子化部２０４、フレームメモリ２０１、加算部２０８の出力等を用いて、符号化対象マクロブロックの符号化モードを決定する。ここでは、符号化対象マクロブロックに対して、画面内予測符号化と画面間予測符号化のいずれを用いて符号化を行うかを決定するものとする。符号化モードの決定は、一般的に発生ビット量と符号化歪みとの重み付け和が小さくなるものが選択される。符号化モードとして画面内予測符号化が選択された場合には面内予測方法ＩＰＭが、画面間予測符号化が選択された場合には動きベクトルＭＶが符号化モードＭＤと共に可変長符号化部２０５に対して出力される。
【００７２】
可変長符号化部２０５は、量子化部２０４から入力された量子化周波数変換係数ＱＴ、符号化モード決定部６１８から出力された符号化モードＭＤおよび面内予測方法ＩＰＭまたは動きベクトルＭＶに対して可変長符号化を行い、符号列ＳＴ＿Ｒを出力する。
【００７３】
ここで可変長符号化部２０５においてコンテキスト適応型算術符号化方式を用いて動きベクトルＭＶを符号化する場合、符号化済み周辺ブロックの動きベクトルの大きさにより（コンテキスト）、確率テーブルを変更する方法を用いることができる。ここで確率テーブルは、確率テーブル保持部２１７に保持されているものとする。
【００７４】
符号化部１０２ａ、１０３ａ、１０４ａから出力された符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂは、符号列合成部１０５に入力される。符号列合成部１０５では、入力された３つの符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂを一つの符号列ＳＴに多重化して出力する。その際、符号列合成部１０５は、符号列ＳＴに画面間予測符号化に用いる動きベクトルを示す動きベクトル情報を挿入する。ここで３つの符号列と動きベクトル情報とを１つの符号列に多重化する方法としては、ブロックやマクロブロックを単位として多重化する方法、ピクチャやスライスを単位として多重化する方法、がある。
【００７５】
図５Ｄは、動きベクトル情報および３つ符号列がマクロブロック単位に多重化されたデータストリームを示す図である。このようにブロックやマクロブロックを単位として多重化すると、従来のＹＵＶ画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。また、ピクチャやスライスを単位として多重化してもよい。その場合、多重化の単位が大きくなるために多重化処理の際の符号列の切り替え処理が少なくなり、多重化処理の簡易化を図ることができるという効果を有する。この場合の符号列の構成例は図５Ｂと同様であり、各スライスヘッダ中に動きベクトル情報が挿入される。
【００７６】
さらには、ＲＧＢの各信号が独立して符号化されたことを示す（独立して動きベクトルが決定されたことを示す、または符号列中に各信号に対する動きベクトルが独立して記述されている）情報（フラグ）を符号列中に記述しても良い。この情報（フラグ）は、シーケンス全体のヘッダや付加情報部に記述すれば良い。この場合の符号列の構成例を図５Ｃに示す。これにより、この符号列を復号装置が復号する際に、ＲＧＢ信号を独立して復号することができるかどうかを簡易に判断することができる。
【００７７】
以上のように本発明の動画像符号化装置では、ＲＧＢ４：４：４フォーマットの動画像を入力画像とし、入力信号からＲ信号、Ｇ信号、Ｂ信号を分離し、各信号に対して異なる符号化部を用い、独立して画面間予測符号化する。この際、各信号の符号化における動き予測で用いる動きベクトルは、各信号で独立して決定する。また、各信号の符号化の可変長符号化において算術符号化を用いる場合には（例えば動きベクトルを符号化する場合）、各信号で独立して確率テーブルを保持する（信号間での確率テーブルの共有は行わない）。
【００７８】
このような動作により、各信号の符号化を完全に独立して行うことが可能となる（各符号化部で相互にデータや情報転送等を行うことが不要であるため）。よって、ＨＤＴＶ以上の解像度を持つ動画像のように、処理すべき画素数が非常に多く、それにより一つの符号化装置では符号化できない場合に、各信号を並列に符号化処理することにより実時間での符号化処理が実現でき、かつ、その際に符号化装置の構成および処理内容を簡易化することができる。ＲＧＢ信号はすべて同じ画素数を有することから、各信号の符号化部はハードウェア的には全く同じ構成にすることが可能となる。また各信号で独立して動きベクトルを決定した場合、符号列構成としては、信号毎に動きベクトル情報が記述されることになる。これにより、この符号列を復号する際にもＲＧＢ信号を独立して復号することが可能となり、復号処理の簡易化に効果を有する。
【００７９】
（第２の変形例）
第１の変形例では、３個の符号化部が画面内予測符号化における予測モードを独立に決定し、また、画面間予測符号化に用いられる動きベクトルを独立に決定する動画像符号化装置について説明した。本変形例では、３個の符号化手段のうちの１つが、画面間予測符号化に用いられる動きベクトルを決定し、３個の符号化手段が決定された動きベクトルを共通に用いて画面間予測符号化を行う動画像符号化装置について説明する。３個の符号化部が、画面内予測符号化における予測モードを独立に決定する点は、第１の変形例と同じである。
【００８０】
図７は、第２の変形例における動画像符号化装置の一構成例を示すブロック図である。動画像符号化装置１００ｂは、実施の形態１で説明した動画像符号化装置１００とほぼ同様の構成を有しているが、符号化部１０２、１０３、１０４の代わりに、符号化部１０２ｂ、１０３ｂ、１０４ｂを備え、符号化部１０２ｂ、１０３ｂ、１０４ｂの間で情報の受け渡しを行う点が異なっている。さらに、Ｇ信号の処理を行う符号化部１０３ｂと、残りの信号（Ｒ信号、Ｂ信号）の処理を行う符号化部１０２ｂ、１０４ｂとで、構成が若干異なる。つまり、Ｇ信号の処理を行う符号化部１０３ｂから、残りの信号（Ｒ信号、Ｂ信号）の処理を行う符号化部１０２ｂ、１０４ｂへ、画面内予測符号化と画面間予測符号化の何れかを示す符号化モードＭＤと、画面間予測符号化に用いられる動きベクトルＭＶとを通知するように構成されている。
【００８１】
図８は、Ｇ信号を符号化する符号化部１０３ｂの構成例を示したブロック図である。符号化部１０３ｂは、第１の変形例において図６で示した符号化部１０２ａと同様の構成であり同様の動作を行う。ただし、符号化モード決定部６１８で決定された符号化モードＭＤおよび動きベクトルＭＶ（画面間予測モードの時のみ）を符号化部１０２ｂ、１０４ｂに対して出力する点が異なる。
【００８２】
図９は、Ｒ信号（またはＢ信号）を符号化する符号化部１０２ｂ（または１０４ｂ）の構成例を示した図である。符号化部１０２ｂ（または１０４ｂ）は、第１の変形例において図６に示した符号化部１０２ａと同様の構成であり同様の動作を行うが、以下の２点が異なる。第１に、動き推定部６１１を持たない。第２に、符号化部１０３ｂから制御部２１６に入力された符号化モードＭＤおよび動きベクトルＭＶ（画面間予測符号化モードの時のみ）を用いて符号化処理を行う。以下で詳細を述べる。
【００８３】
符号化モードＭＤが画面内予測符号化モードである場合には、面内予測方法決定部２１０により面内予測方法を決定し、面内予測部２１２で面内予測画像を生成する（スイッチ６１５は「ａ」に接続される）。入力画像と予測画像との差分画像を符号化する方法は、実施の形態１と同様である。面内予測方法ＩＰＭは可変長符号化部２０５に対して出力され、符号列中に記述される。
【００８４】
符号化モードＭＤが画面間予測符号化モードである場合には、動きベクトルＭＶを動き補償部６１３に対して出力する。またスイッチ６１５は「ｂ」に接続される。動き補償部６１３では、入力された動きベクトルに基づき、参照ピクチャメモリ２０９から画面間参照画素を取得して予測画像ＭＰを生成し、それをスイッチ６１５を介して差分部２０２に対して出力する。入力画像と予測画像との差分画像を符号化する方法は、第１の変形例と同様である。ただし符号化モードＭＤと動きベクトルＭＶは符号列中には記述されない（符号化モードＭＤと動きベクトルＭＶは符号化部１０３ｂが出力する符号列ＳＴ＿Ｇに記述されている）。
【００８５】
符号化部１０２ｂ、１０３ｂ、１０４ｂから出力された符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂは、符号列合成部１０５に入力される。符号列合成部１０５では、入力された３つの符号列ＳＴ＿Ｒ、ＳＴ＿Ｇ、ＳＴ＿Ｂを一つの符号列ＳＴに多重化して出力する。ここで３つの符号列を１つの符号列に多重化する方法としては、ブロックやマクロブロックを単位として多重化する方法、ピクチャやスライスを単位として多重化する方法、がある。ここでブロックやマクロブロックを単位として多重化すると、従来のＹＵＶ画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。この場合の符号列の構成例を図５Ｅに示す。この場合、符号列ＳＴ＿Ｇに記述されている符号化モードＭＤおよび動きベクトルＭＶをブロックやマクロブロックの先頭に記述するように符号列の順序を変更している。また、ピクチャやスライスを単位として多重化すると、多重化の単位が大きくなるために多重化処理の際の符号列の切り替え処理が少なくなり、多重化処理の簡易化を図ることができるという効果を有する。この場合の符号列の構成例は図５Ｂと同様である。さらには、ＲＧＢの各信号に対して面内予測は独立して決定され（符号列中に各信号に対する面内予測方法が独立して記述されている）、動きベクトルは共通化されている（符号列中に各信号に対する動きベクトルが共通化されて記述されている）ことを示す情報（フラグ）を符号列中に記述しても良い。この情報（フラグ）は、シーケンス全体のヘッダや付加情報部に記述すれば良い。この場合の符号列の構成例を図５Ｃに示す。これにより、この符号列を復号装置が復号する際に、面内予測は信号毎に独立して記述され、動きベクトルは各信号で共通化されて記述されていることを簡易に判断することができる。
【００８６】
以上のように本発明の動画像符号化装置では、ＲＧＢ４：４：４フォーマットの動画像を入力画像とし、入力信号からＲ信号、Ｇ信号、Ｂ信号を分離し、各信号に対して画面内予測符号化と画面間予測符号化とを用いて符号化する。この際、第１の信号（例えばＧ信号）で決定された符号化モード（画面内予測符号化と画面間予測符号化とのいずれを用いるか）を第２の信号（例えばＲ信号とＢ信号）の符号化においても用いる。符号化モードが画面内予測符号化である場合には、面内予測方法は各信号で独立して決定する。また符号化モードが画面間予測符号化である場合には、動きベクトルは第１の信号（Ｇ信号）で決定したものを用いる。そして符号列には、符号化モードと動きベクトルは１符号化単位（例えばマクロブロック）に対して第１の信号で求めたもののみを記述する。また面内予測方法は、各信号で求めたものを符号列中に記述する。
【００８７】
このような動作により、画面内予測符号化ピクチャまたは画面間予測符号化ピクチャでの画面内予測符号化マクロブロックでは、各信号の符号化を完全に独立して行い、画面間予測符号化マクロブロックでは、第１の信号で求めた動きベクトルを共有化することになる。一般的に、画面内予測符号化マクロブロックでは、総発生符号量に対して量子化周波数変換係数の符号量が支配的であり、面内予測方法の情報量は小さい。そして、面内予測方法の決定のための処理量は比較的小さい。また、画面間予測符号化マクロブロックでは、総発生符号量に対して動きベクトルの符号量が占める割合が大きくなる。そして、画面間予測符号化において、動き推定の処理量は全処理量の大半を占める。よって、画面内予測符号化ピクチャの処理では、符号化効率を犠牲にすることなく符号化装置の構成（処理）を簡易化することができ、かつ画面間予測符号化ピクチャの処理では、符号化装置の構成（処理）は若干複雑になるものの（各信号の符号化部間での通信が必要となるため）、符号化部全体の処理量は大幅に削減することができ（動き推定の処理は一つの信号についてのみ行うため）、かつ符号化効率を向上させることができる（符号列中に記述する動きベクトルの数が少なくなるため）。
【００８８】
なお第２の変形例においては、Ｇ信号の符号化処理で求めた符号化モードおよび動きベクトルを他の信号（Ｒ信号、Ｂ信号）の符号化で用いる場合について説明したが、符号化モードおよび動きベクトルは、Ｒ信号やＢ信号を用いて決定しても良く、このような場合であっても本発明と同じ効果が得られる。
【００８９】
また、本実施の形態においては、ＲＧＢ４：４：４フォーマットの画像を扱う場合について説明したが、ＲＧＢ４：２：２フォーマットやＲＧＢ４：２：０フォーマットであっても、本発明を適用することができる。
【００９０】
（実施の形態２）
本実施の形態では、画面内予測符号化の予測モードを独立または共通に使用可能な３個の符号化部と、３個の成分画像と画面内予測符号化の予測モードとの対応を示す符号化情報を符号列信号に挿入する信号合成部とを有する動画像符号化装置について説明する。この動画像符号化装置は、予測符号化において、（１）３個の符号化部のそれぞれが独立に予測モードを決定する、（２）２個の符号化部が共通の予測モードを使用し、１個の符号化部が独立した予測モードを使用する、（３）３個の符号化部が共通の予測モードを使用するの何れかを選択する。さらに、（１）〜（３）を復号化装置に通知するために符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる成分画像を示す割当情報を含む。
【００９１】
図１０は、実施の形態２における動画像符号化装置の一構成例を示すブロック図である。動画像符号化装置１００ｃは、実施の形態１で説明した動画像符号化装置１００とほぼ同様の構成を有しているが、符号化部１０２、１０３、１０４の代わりに、符号化部１０２ｃ、１０３ｃ、１０４ｃを備え、符号化部１０２ｃ、１０３ｃ、１０４ｃの間で情報の受け渡しを相互に行う点が異なっている。符号化部１０２ｃ、１０３ｃ、１０４ｃは、同じ構成であり、画面内予測符号化と画面間予測符号化の何れかを示す符号化モードＭＤと、画面間予測符号化に用いられる動きベクトルＭＶと、画面内予測符号化における予測モードＩＰＭとを相互に通知するように構成されている。
【００９２】
図１１は、符号化部１０２ｃ（または１０３ｃ、１０４ｃ）の一構成例を示すブロック図である。同図は、図８と比べて、符号化モード決定部６１８が、符号化モードＭＤおよび動きベクトルＭＶの他に画面内予測符号化における予測モードＩＰＭを符号化部１０３ｃ、１０４ｃに送る点と、制御部２１８が、符号化部１０３ｃ、１０４ｃから、符号化モードＭＤおよび動きベクトルＭＶの他に画面内予測符号化における予測モードＩＰＭを受ける点と、制御部２１８の動作とが異なっている。
【００９３】
制御部２１８は、外部からの指示または予め定められた設定に従って、面内符号化における予測モードを独立に決定するか、他の符号化部と共通の予測モードを使うかを決定する。他の符号化部と共通の予測モードを使う場合には、共通の予測モードを決定して他の符号化部に送信するか、他の符号化部で決定された共通の予測モードを受信して使用するかを決定する。面内符号化における予測モードは、図１２に示したように、４画素×４画素ブロックの場合、９つの予測モードの何れかとなる。
【００９４】
また、符号列合成部１０５は、符号化情報をデータストリームに多重化する。この符号化情報は、予測モードの数および予測モードの識別子を含み、さらに、成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる成分画像を示す割当情報を含む。
【００９５】
図１３Ａは、上記（１）３個の符号化部のそれぞれが独立に予測モードを決定する場合の、符号化情報と３つの符号列とが多重されたデータストリームのフォーマットを示す図である。同図のストリームデータは、予測モードの数（number identifier ）６１０、予測モード識別子（prediction mode）６２０Ｒ、６２０Ｇ、６２０Ｂを含む。この場合、予測モードの数６１０は「３」であり、３個の符号化部のそれぞれが独立した予測モードを使用することを意味する。予測モードの数６１０は、マクロブロック、スライス、ピクチャ単位でデータストリーム中に挿入されても良いが、同図のように、挿入された位置移行のマクロブロックについて適用されるようにしてもよい。予測モード識別子（prediction mode）６２０Ｒ、６２０Ｇ、６２０Ｂはマクロブロックの３つの成分の符号化データ毎に付与される。
【００９６】
図１３Ｂは、上記（３）３個の符号化部が共通の予測モードを使用する場合の、符号化情報と３つの符号列とが多重されたデータストリームのフォーマットを示す図である。同図のストリームデータは、予測モードの数６１０、予測モード識別子６２０Ｃを含む。この場合、予測モードの数６１０は「１」であり、３個の符号化部の間で共通の１つの予測モードを使用することを意味する。予測モード識別子６２０Ｃは共有の予測モードを示し、マクロブロックの３成分符号化データの先頭に付与される。
【００９７】
図１３Ｃは、上記（２）２個の符号化部が共通の予測モードを使用し、１個の符号化部が独立した予測モードを使用する場合の、符号化情報と３つの符号列とが多重されたデータストリームのフォーマットを示す図である。同図のストリームデータは、予測モードの数６１０、割当情報（assignment information）６５０、予測モード識別子６２０ａ、６２０ｂを含む。この場合、予測モードの数６１０は「２」であり、２つの符号化部の間で共通の１つの予測モードと、他の１つの符号化部に独立の１つの予測モードとがあることを意味する。予測モード識別子６２０ａ、６２０ｂはそれぞれ予測モードを示す。割当情報６５０は、予測モード識別子６２０ａ、６２０ｂが示す予測モードと、成分符号データとの対応関係を示す。例えば、割当情報６５０は、予測モード識別子６２０ａが示す予測モードは成分符号データ６３０Ｒと６３０Ｇに共通であり、予測モード識別子６２０ｂが示す予測モードは成分符号データ６３０Ｂに使用されることを意味する。
【００９８】
図１３Ｄは、３つの符号化部における面内符号化が途中で上記（３）から上記（１）に変更された場合のデータストリームを示す図である。このように動的に面内符号化を変更してもよい。
【００９９】
以上のように本実施の形態における動画像符号化装置によれば、３つの符号化部において面内符号化における予測モードを独立に決定するか共通に使用するかを選択することができる。上記（１）〜（３）の選択は、予め定めておいてもよいし、動画像の内容（動きの大きさや、画像の複雑さ）に応じて適用的に選択してもよい。
【０１００】
なお、実施の形態２では、３つの符号化部において面内符号化における予測モードを独立に決定するか共通に使用するかを適応的に設定可能な動画像符号化装置について説明したが、３つの符号化部において画面間符号化における動きベクトルを独立に決定するか共通に使用するかを適応的に設定するようにしてもよい。
【０１０１】
また、実施の形態２では、符号列合成部１０５が符号化情報をデータストリームに多重化する際に、符号化情報として予測モードの数、予測モードの識別子を含む場合について説明したが、予測モードの数の代わりに、予め定められた予測モードフラグを含めてもよい。ここで予測モードフラグとは、上記の（１）〜（３）のいずれを用いているかを示すフラグである。上記の（１）〜（３）は符号化装置の観点での説明であるが、ストリームデータの観点から説明すると、（１）は、３個の成分画像のそれぞれが独立した予測モードで符号化されたことを意味する。（２）は、２個の成分画像が共通の予測モードで符号化され、かつ１個の成分画像が独立した予測モードで符号化されたことを意味する。（３）は、３個の色成分画像が共通の予測モードで符号化されたことを意味する。予測モードフラグの示し方は複数の方法がある。
【０１０２】
予測モードフラグの第１の示し方は、上記の（１）と（３）のいずれを用いているかを示す方法である。図１３Ｅは、第１の示し方によるフラグ（Ｆｌａｇ＿ａ）の一例を示す図である。同図のようにＦｌａｇ＿ａの値は、（１）の場合には「０」として、（３）の場合には「１」としている。この場合の符号化ストリームの構成は、図１３Ａ、図１３Ｂ、図１３Ｄと同様になる。第１の示し方では、上記（２）を用いないで、上記（１）か（３）の何れかを用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは１ビットでよい。
【０１０３】
予測モードフラグの第２の示し方は、上記の（１）、（２）、（３）のいずれを用いているかを示す方法である。図１３Ｆは、第２の示し方によるフラグ（Ｆｌａｇ＿ｂ）の一例を示す図である。同図のようにＦｌａｇ＿ｂの値は、（１）の場合には「０」として、（２）の場合には「１」として、（３）の場合には「２」としている。この場合の符号化ストリームの構成は、図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄと同様になる。第２の示し方では、上記（１）から（３）の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは２ビットでよい。
【０１０４】
予測モードフラグの第３の示し方は、２段階で（２つのフラグで）示す方法である。図１３Ｇは、第３の示し方によるフラグ（Ｆｌａｇ＿ｃ１、Ｆｌａｇ＿ｃ２）の一例を示す図である。例えば図１３Ｇに示すように、第１の予測モードフラグＦｌａｇ＿ｃ１により、（２）またはそれ以外（すなわち（１）または（３））のいずれを用いているかを示し、第１の予測モードフラグが「（２）以外」である場合には、更に第２の予測モードフラグＦｌａｇ＿ｃ２により、（１）と（３）のいずれを用いているかを示す。第１の予測モードフラグＦｌａｇ＿ｃ１が（２）を示す場合第２の予測モードフラグＦｌａｇ＿ｃ２は省略可能である。第３の示し方では、上記（１）から（３）の何れかを選択的に用いる符号化方法および復号化方法に適している。この場合、予測モードフラグは上記１ビットまたは２ビットでよい。
【０１０５】
（実施の形態３）
本実施の形態では、実施の形態１で説明した図１の動画像符号化装置に対応する動画像復号化装置について説明する。
【０１０６】
図１４は、本発明の動画像復号装置の一構成例を示すブロック図である。動画像復号装置１０００は、可変長復号部１００１、３つの復号部１００２、１００３、１００４、信号合成部１００５、確率テーブル保持部１０１０から構成される。
【０１０７】
可変長復号部１００１には、符号列ＳＴが入力される。符号列ＳＴはＲＧＢ４：４：４フォーマットの動画像信号を符号化して得られたものであり、実施の形態１で説明した動画像符号化装置により生成された符号列であるとする。
【０１０８】
可変長復号部１００１に入力された符号列ＳＴは、可変長復号が施される。この場合の符号列の構成例としては、図５Ａ、図５Ｂのような構成がある。図５Ａのようにブロックやマクロブロックを単位として多重化されていると、従来のＹＵＶ画像を符号化して得られる符号列とほぼ同等の符号列構成となるという効果を有する。また、図５Ｂのようにピクチャやスライスを単位として多重化されていると、逆多重化の単位が大きくなるために、逆多重化処理の簡易化を図ることができるという効果を有する。さらには図５Ｃの符号列構成のように、ＲＧＢの各信号が独立して符号化されたことを示す情報が符号列中に記述されている場合には、この情報を検査することによって、この符号列を復号装置が復号する際に、ＲＧＢ信号を独立して復号することができるかどうかを復号装置が簡易に判断することができる。
【０１０９】
可変長復号部１００１において用いられる可変長復号方法の一つとして、コンテキスト適応型算術復号方式がある。コンテキスト適応型算術復号方式とは、可変長復号対象データや既に可変長復号が終了しているデータに応じて（コンテキスト適応）、算術復号で用いられる確率テーブルを切り替える方式である。例えば、量子化周波数変換係数ＱＴを可変長復号する際のコンテキストとしては、面内予測におけるブロックサイズや周波数変換のブロックサイズ等が用いられる。ここで確率テーブルは、確率テーブル保持部１０１０に保持されているものとする。また、確率テーブルはＲ信号、Ｇ信号、Ｂ信号に対して異なるものを用いる。
【０１１０】
符号列ＳＴに可変長復号を施すことにより得られた量子化周波数変換係数や面内予測方法等のデータは、Ｒ信号に対するデータＤＴ＿Ｒは復号部１００２に、Ｇ信号に対するデータＤＴ＿Ｇは復号部１００３に、Ｂ信号に対するデータＤＴ＿Ｂは復号部１００３にそれぞれ入力される。
【０１１１】
復号部１００２、１００３、１００４の構成を図１５に示す。以下では、Ｒ信号のデータＤＴ＿Ｒの復号処理を行う復号部１００２の動作について説明するが、その構成と動作はＧ信号のデータＤＴ＿Ｇの復号処理を行う復号部１００３、Ｂ信号のデータＤＴ＿Ｇの復号処理を行う復号部１００４についても同様である。
【０１１２】
復号部１００２は図１５に示すように、逆量子化部１１０１、逆周波数変換部１１０２、加算部１１０３、フレームメモリ１１０４、面内予測部１１０５から構成される。
【０１１３】
復号部１００２は、Ｒ信号のデータＤＴ＿Ｒの各ピクチャを画面内予測符号化ピクチャとして復号する。
【０１１４】
データＤＴ＿Ｒのうち、面内予測方法は面内予測部１１０５に入力され、量子化周波数変換係数ＱＴは逆量子化部１１０１に入力される。
【０１１５】
面内予測部１１０５では、入力された面内予測方法に基づき、フレームメモリ１１０４から面内参照画素を取得して面内予測画像を生成し、加算部１１０３に対して出力する。
【０１１６】
量子化周波数変換係数ＱＴは、逆量子化部１１０１で逆量子化処理を施され、さらに逆周波数変換部１１０２で逆周波数変換処理を施され、復号差分画像ＬＤＤとなる。復号差分画像ＬＤＤは、加算部１１０３で面内予測画像ＩＰと加算され、復号画像ＬＤとなり、フレームメモリ１１０４に蓄積される。フレームメモリ１１０４に蓄積された復号画像は、以降の復号処理において参照画像として用いられる。また、適当なタイミングで出力画像ＯＴ＿Ｒとして出力される。
【０１１７】
復号部１００２から出力されたＲ信号の出力画像ＯＴ＿Ｒ、復号部１００３から出力されたＧ信号の出力画像ＯＴ＿Ｇ、復号部１００４から出力されたＢ信号の出力画像ＯＴ＿Ｂは、信号合成部１００５に入力され、ＲＧＢカラー画像信号ＯＵＴとして合成されて出力される。
【０１１８】
以上のように本発明の動画像複号装置では、ＲＧＢ４：４：４フォーマットの動画像を符号化して得られた符号列を入力し、入力符号列を可変長復号した後にＲ信号のデータ、Ｇ信号のデータ、Ｂ信号のデータに分離し、各信号のデータに対して異なる復号部を用い、独立して面内予測復号する。この際、各信号の復号における面内予測では、各信号で独立して決定された面内予測方法の情報を用いて面内予測を実施する。また、算術復号を用いた可変長復号においては、各信号で独立して確率テーブルを保持する。
【０１１９】
このような動作により、可変長復号後の各信号の復号処理を完全に独立して行うことが可能となり（各復号部で相互にデータや情報転送等を行うことが不要となるため）、符号化効率を犠牲にすることなく復号装置の構成を簡易化することができる。この場合には、ＲＧＢ信号はすべて同じ画素数を有することから、各信号の復号部はハードウェア的には全く同じ構成にすることが可能となる。
【０１２０】
なお、本実施の形態においては、ＲＧＢ４：４：４フォーマットの画像、すなわち３色の要素を有する画像が符号化された符号列を扱う場合について説明したが、この要素数は３色以外の値（例えば４色や６色、等）であっても同様の構成で復号処理を実現することが可能であり、またそれにより本実施の形態で得られるものと同様の効果を得ることができる。
【０１２１】
（第１の変形例）
実施の形態３は以下のように変形することが可能である。本変形例では、実施の形態１中の図６、図７、図１０の動画像符号化装置に対応する動画像復号化装置について説明する。
【０１２２】
図１６は、復号部１００２（または復号部１００３、１００４）の異なる構成例を示した図である（ここでは区別のために、復号部１００２ａ、１００３ａ、１００４ａと呼ぶ）。復号部１００２ａは、図１５に示した復号部１００２に対して、動き補償部１２０６、制御部１２０７、スイッチ１２０８、１２０９を追加した構成となっている。
【０１２３】
図６、図７、図１０の動画像符号化装置により生成された符号列ＳＴに符号化情報が多重化されている場合には、可変長復号部１００１は、符号列ＳＴから符号化情報を抽出する。この符号化情報は、図１３Ａ〜図１３Ｄで説明したように、予測モードの数および予測モードの識別子を含み、さらに、成分画像に共通の予測モードが存在する場合には予測モードが共通に割り当てられる成分画像を示す割当情報を含む。この符号化情報に示される予測モードに従って３つの復号部１００２ａ、１００３ａ、１００４ａはＲＧＢ各成分画像を復号する。
【０１２４】
復号部１００２はＲ信号のデータＤＴ＿Ｒの各ピクチャを画面内予測符号化ピクチャとして復号したが、復号部１００２ａでは、Ｒ信号のデータＤＴ＿Ｒのピクチャを画面間予測符号化ピクチャとしても復号できる点が異なる。
【０１２５】
復号化部１００２ａでピクチャを画面内予測符号化ピクチャとして復号する場合の処理方法は実施の形態３で説明した内容と同様であるので説明は割愛する（スイッチ１２０８、１２０９が「ａ」に接続されて処理が行われる）。
【０１２６】
データＤＴ＿Ｒのピクチャを画面間予測符号化ピクチャとして復号する場合の動作について説明する。なおこの際、可変長復号部１００１においてコンテキスト適応型算術復号方式が用いられる場合には、確率テーブルはＲ信号、Ｇ信号、Ｂ信号に対して異なるものを用いる。
【０１２７】
データＤＴ＿Ｒのうち、符号化モードＭＤは制御部１２０７に、面内予測方法ＩＰＭまたは動きベクトルＭＶはスイッチ１２０８に、量子化周波数変換係数ＱＴは逆量子化部１１０１に入力される。
【０１２８】
制御部１２０７では符号化モードＭＤに基づき、スイッチ１２０８を制御する。符号化モードＭＤが画面内予測符号化を示す場合にはスイッチ１２０８は「ａ」に接続され、面内予測部１１０５に面内予測方法ＩＰＭが入力される。符号化モードＭＤが画面間予測符号化を示す場合にはスイッチ１２０８は「ｂ」に接続され、動き補償部１２０６に動きベクトルＭＶが入力される。符号化モードＭＤが画面内予測符号化を示す場合の処理は、実施の形態３で説明した内容と同様であるので説明は割愛する。以下では、符号化モードＭＤが画面間予測符号化を示す場合について説明する。
【０１２９】
動き補償部１２０６では、入力された動きベクトルＭＶに基づいてフレームメモリ１１０４から参照画素を取得して予測画像を生成し、加算部１１０３に対して出力する。
【０１３０】
逆量子化部１１０１、逆周波数変換部１１０２、加算部１１０３の処理は実施の形態２と同様であり、その処理により復号画像ＬＤが生成される。復号画像ＬＤはフレームメモリ１１０４に蓄積される。フレームメモリ１１０４に蓄積された復号画像は、以降の復号処理において参照画像として用いられる。また、適当なタイミングで出力画像ＯＴ＿Ｒとして出力される。
【０１３１】
復号部１００２から出力されたＲ信号の出力画像ＯＴ＿Ｒ、復号部１００３から出力されたＧ信号の出力画像ＯＴ＿Ｇ、復号部１００４から出力されたＢ信号の出力画像ＯＴ＿Ｂは、信号合成部１００５に入力され、ＲＧＢカラー画像信号ＯＵＴとして合成されて出力される。
【０１３２】
以上のように本発明の動画像復号装置では、ＲＧＢ４：４：４フォーマットの動画像を符号化して得られた符号列を入力し、入力符号列を可変長復号した後にＲ信号のデータ、Ｇ信号のデータ、Ｂ信号のデータに分離し、各信号のデータに対して異なる復号部を用い、独立して復号する。この際、各信号の復号における面内予測では、各信号で独立して決定された面内予測方法の情報を用いて面内予測を実施する。また、各信号の復号における画面間予測では、各信号で独立して決定された動きベクトルの情報を用いて画面間予測（動き補償）を実施する。また、算術復号を用いた可変長復号においては、各信号で独立して確率テーブルを保持する。
【０１３３】
このような動作により、可変長復号後の各信号の復号処理を完全に独立して行うことが可能となる（各復号部で相互にデータや情報転送等を行うことが不要となるため）。よって、ＨＤＴＶ以上の解像度を持つ動画像のように、処理すべき画素数が非常に多く、それにより一つの復号装置では復号できないような場合に、各信号を並列に復号処理することができる。この場合には、ＲＧＢ信号はすべて同じ画素数を有することから、各信号の復号部はハードウェア的には全く同じ構成にすることが可能となる。よって、処理すべき画素数が非常に多いような場合であっても、復号装置の全体構成および処理内容を簡易化することができる。
【０１３４】
なお、上述の符号化情報として予測モードの数、予測モードの識別子を含む場合について説明したが、予測モードの数の代わりに、予め定められた予測モードフラグを含めてもよい。ここで予測モードフラグとは、上記の（１）〜（３）のいずれを用いているかを示すフラグである。予測モードフラグの示し方は複数の方法がある。
【０１３５】
予測モードフラグの第１の示し方は、上記の（１）と（３）のいずれを用いているかを示す方法である。例えば図１３Ｅに示すようにフラグとしては、（１）の場合には「０」として、（３）の場合には「１」として示す方法がある。この場合の符号化ストリームの構成は、図１３Ａ、図１３Ｂ、図１３Ｄと同様になる。
【０１３６】
予測モードフラグの第２の示し方は、上記の（１）、（２）、（３）のいずれを用いているかを示す方法である。例えば図１３Ｆに示すようにフラグとしては、（１）の場合には「０」として、（２）の場合には「１」として、（３）の場合には「２」として示す方法がある。この場合の符号化ストリームの構成は、図１３Ａ、図１３Ｂ、図１３Ｃ、図１３Ｄと同様になる。
【０１３７】
予測モードフラグの第３の示し方は、２段階で（２つのフラグで）示す方法である。例えば図１３Ｇに示すように、第１の予測モードフラグにより、（２）またはそれ以外（すなわち（１）または（３））のいずれを用いているかを示し、第１の予測モードフラグが「（２）以外」である場合には、更に第２の予測モードフラグにより、（１）と（３）のいずれを用いているかを示す方法である。
【０１３８】
このような予測モードフラグにより画像復号装置は、予測モードについて上記の（１）〜（３）の何れにより符号化されたかを容易に判別することができる。また、符号化情報により、３つの復号部のそれぞれが用いる予測モードを容易に判別することができる。
【０１３９】
また、上記では、予測モードフラグは色毎の成分画像の数が３の場合について説明した。次に、成分画像の数をＮに一般化した場合について説明する。
【０１４０】
第１の示し方では、予測モードフラグＦｌａｇ＿ａは、上記（１）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、上記（３）Ｎ個の色成分画像が共通の予測モードで符号化されたことの何れかを示す。
【０１４１】
第２の示し方では、予測モードフラグＦｌａｇ＿ｂは、上記（１）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、上記（３）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、上記（２）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示す。
【０１４２】
第３の示し方では、予測モードフラグは第１フラグｆｌａｇ＿ｃ１を含む。第１フラグｆｌａｇ＿ｃ１は、上記（２）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、上記（２）でないこと、の何れかを示す。第１フラグｆｌａｇ＿ｃ１が上記（２）でないことを示すとき、前記予測モードフラグはさらに第２フラグを含む。第２フラグは、上記（１）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、上記（３）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示す。
【０１４３】
（第２の変形例）
実施の形態３の第２の変形例について説明する。
【０１４４】
可変長復号部１００１には、符号列ＳＴが入力される。符号列ＳＴはＲＧＢ４：４：４フォーマットの動画像信号を符号化して得られたものであり、実施の形態１の第２の変形例で説明した動画像符号化装置により生成された符号列であるとする。
【０１４５】
可変長復号部１００１に入力された符号列ＳＴは、可変長復号が施される。この場合の符号列の構成例は図５Ｅである。第２の変形例が第１の変形例と異なる点は、画面間予測符号化されているマクロブロックに対して、動きベクトル情報がＲ信号、Ｇ信号、Ｂ信号に対して共通に記述されている点である。可変長復号部１００１は、符号列ＳＴに可変長復号を施すことにより得られた動きベクトル情報をＲ信号に対するデータＤＴ＿Ｒ、Ｇ信号に対するデータＤＴ＿Ｇ、Ｂ信号に対するデータＤＴ＿Ｂにコピーして、復号部１００２ａ、１００３ａ、１００４ａに対して出力する。なおこの際、可変長復号部１００１においてコンテキスト適応型算術復号方式が用いられる場合には、動きベクトル用の確率テーブルはＲ信号、Ｇ信号、Ｂ信号に対して共通のもの（ブロックやマクロブロックで共通のもの）を用いることになる。
【０１４６】
以降の処理は第１の変形例と同様であるので、説明は割愛する。
【０１４７】
以上のように本発明の動画像復号装置では、ＲＧＢ４：４：４フォーマットの動画像を符号化して得られた符号列を入力し、入力符号列を可変長復号した後にＲ信号のデータ、Ｇ信号のデータ、Ｂ信号のデータに分離し、各信号のデータに対して異なる復号部を用い、独立して復号する。この際、各信号の復号における画面内予測では、各信号で独立して決定された面内予測方法の情報を用いて面内予測を実施する。また、各信号の復号における画面間予測では、各信号で共通な動きベクトルの情報を用いて画面間予測（動き補償）を実施する。また、算術復号を用いた可変長復号においては、動きベクトル以外のデータに対しては各信号で独立して確率テーブルを保持する。
【０１４８】
このような動作により、画面内予測符号化ピクチャまたは画面間予測符号化ピクチャでの画面内予測符号化マクロブロックでは、各信号の復号処理を完全に独立して行い、画面間予測符号化マクロブロックでは、各信号で共通な動きベクトルを用いることになる。一般的に、画面内予測符号化マクロブロックでは、総発生符号量に対して量子化周波数変換係数の符号量が支配的であり、面内予測方法の情報量は小さい。また、画面間予測符号化マクロブロックでは、総発生符号量に対して動きベクトルの符号量が占める割合が大きくなる。よって、画面内予測符号化ピクチャの処理では、符号化効率を犠牲にすることなく復号装置の構成（処理）を簡易化することができ、かつ画面間予測符号化ピクチャの処理では、復号装置の構成（処理）は若干複雑になるものの、かつ符号化効率を向上させることができる（符号列中に記述する動きベクトルの数が少なくなるため）。よって、ＨＤＴＶ以上の解像度を持つ動画像のように、処理すべき画素数が非常に多く、それにより一つの復号装置では復号できないような場合に、各信号を並列に復号処理することができ、その際に復号装置の構成および処理内容を簡易化することができる。この場合には、ＲＧＢ信号はすべて同じ画素数を有することから、各信号の復号部はハードウェア的には全く同じ構成にすることが可能となる。
【０１４９】
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０１５０】
最後に実施の形態１および２に示した動画像符号化装置の適用例について説明する。
【０１５１】
図１７は、本発明を適用例したビデオカメラの主要部の構成を示すブロック図である。同図のビデオカメラ７００は、いわゆる３版式カメラであり、図１０と比べて、信号分離部１０１の代わりにレンズ１０１、光学素子７０２、撮像素子７０３〜７０５を備える点が異なる。レンズ１０１を通過した入射光は、光学素子７０２によってＲＧＢの三原色の光に分離される。撮像素子７０３、７０４、７０５には、Ｒ、Ｇ、Ｂの光に対応し同じ画素数のＲ、Ｇ、Ｂ成分画像を撮像する。撮像された３つの成分画像は、符号化部１０２ｃ、１０３ｃ、１０４ｃに入力される。
【０１５２】
なお、図１７において、符号化部１０２ｃ、１０３ｃ、１０４ｃの代わりに符号化部１０２ｂ、１０３ｂ、１０４ｂ、符号化部１０２ａ、１０３ａ、１０４ａまたは符号化部１０２、１０３、１０４を備える構成としてもよい。
【産業上の利用可能性】
【０１５３】
本発明は、動画像符号化装置、動画像復号装置および符号列フォーマットに適しており、特に、業務用の動画像記録再生装置、ビデオカメラ、テレビカメラなどに適している。
【符号の説明】
【０１５４】
１００ 動画像符号化装置
１０１ 信号分離部
１０２、１０３、１０４ 符号化部
１０５ 符号列合成部
１０６ 制御部
１０００ 動画像復号装置
１００１ 可変長復号部
１００２、１００３、１００４ 復号部
１００５ 信号合成部
１０１０ 確率テーブル保持部
【特許請求の範囲】
【請求項１】
１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像を取得する取得手段と、
前記Ｎ個の色成分画像に対応して設けられ、対応する色成分画像を画面内予測符号化または画面間予測符号化によって符号化するＮ個の符号化手段と、
前記Ｎ個の符号化部から出力されたＮ個の符号列を合成し、１個の符号列信号を出力する信号合成手段と
を具備し、
前記Ｎ個の符号化手段は、画面内予測符号化または画面間予測符号化の予測モードを独立または共通に使用可能であり、
前記信号合成手段は、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを、符号列信号に挿入し、
前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
ことを特徴とする動画像符号化装置。
【請求項２】
前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示す
ことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、（ｃ）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示す
ことを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
符号化された動画像を示す符号列信号から、１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像に対応するＮ個の符号列を分離する分離手段と、
前記Ｎ個の符号列に対応して設けられ、対応する符号列を画面内予測復号化または画面間予測復号化によって復号化するＮ個の復号化手段と、
Ｎ個の復号化手段からのＮ個の色成分画像を１つの画像に合成する画像合成手段と
を具備し、
前記分離手段は、前記符号列信号から、Ｎ個の色成分画像と画面内予測復号化の予測モードとの対応を示す予測モードフラグを分離し、
前記Ｎ個の復号化手段は、前記予測モードフラグに従って面内予測復号化を行い、
前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
ことを特徴とする動画像復号化装置。
【請求項５】
１つの画像を構成するＮ個の色成分画像を取得し、
前記Ｎ個の色成分画像に対応するＮ個の符号化部において、対応する色成分画像を画面内予測符号化または画面間予測符号化によって符号化し、
前記Ｎ個の符号化部から出力されたＮ個の前記符号列を合成し、１個の符号列信号を出力し、
前記Ｎ個の符号化部は、画面内予測符号化または画面間予測符号化の予測モードを独立または共通に使用可能であり、
前記符号列を合成する際には、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを、符号列信号に挿入し、
前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
ことを特徴とする動画像符号化方法。
【請求項６】
符号化された動画像を示す符号列信号から、１つの画像を構成するＮ（Ｎは２以上の整数）個の色成分画像に対応するＮ個の符号列を分離し、
前記Ｎ個の符号列に対応するＮ個の復号化部において、対応する符号列を画面内予測復号化または画面間予測復号化によって復号化し、
Ｎ個の復号化部からのＮ個の色成分画像を１つの画像に合成し、
前記符号列を分離する際には、前記符号列信号から、Ｎ個の色成分画像と画面内予測復号化の予測モードとの対応を示す予測モードフラグを分離し、
前記Ｎ個の復号化部は、前記予測モードフラグに従って面内予測復号化を行い、
前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
ことを特徴とする動画像復号化方法。
【請求項７】
コンピュータ読み取り可能なストリームデータであって、
前記ストリームデータは、Ｎ個の符号列および予測モードフラグとを含み、
前記Ｎ個の符号列は、１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像を表し、
前記予測モードフラグは、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す情報と、前記N個の色成分画像が独立して符号化されたか否かを示す情報とを含む
ことを特徴とするストリームデータ。
【請求項１】
１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像を取得する取得手段と、
前記Ｎ個の色成分画像に対応して設けられ、対応する色成分画像を画面内予測符号化または画面間予測符号化によって符号化するＮ個の符号化手段と、
前記Ｎ個の符号化部から出力されたＮ個の符号列を合成し、１個の符号列信号を出力する信号合成手段と
を具備し、
前記Ｎ個の符号化手段は、画面内予測符号化または画面間予測符号化の予測モードを独立または共通に使用可能であり、
前記信号合成手段は、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを、符号列信号に挿入し、
前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
ことを特徴とする動画像符号化装置。
【請求項２】
前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、の何れかを示す
ことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記予測モードフラグは、（ａ）Ｎ個の色成分画像のそれぞれが独立した予測モードで符号化されたこと、（ｂ）Ｎ個の色成分画像が共通の予測モードで符号化されたこと、（ｃ）Ｎ個の色成分画像のうち２つ以上が共通の予測モードで符号化され、かつ他の成分画像が独立の予測モードで符号化されたこと、の何れかを示す
ことを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
符号化された動画像を示す符号列信号から、１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像に対応するＮ個の符号列を分離する分離手段と、
前記Ｎ個の符号列に対応して設けられ、対応する符号列を画面内予測復号化または画面間予測復号化によって復号化するＮ個の復号化手段と、
Ｎ個の復号化手段からのＮ個の色成分画像を１つの画像に合成する画像合成手段と
を具備し、
前記分離手段は、前記符号列信号から、Ｎ個の色成分画像と画面内予測復号化の予測モードとの対応を示す予測モードフラグを分離し、
前記Ｎ個の復号化手段は、前記予測モードフラグに従って面内予測復号化を行い、
前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
ことを特徴とする動画像復号化装置。
【請求項５】
１つの画像を構成するＮ個の色成分画像を取得し、
前記Ｎ個の色成分画像に対応するＮ個の符号化部において、対応する色成分画像を画面内予測符号化または画面間予測符号化によって符号化し、
前記Ｎ個の符号化部から出力されたＮ個の前記符号列を合成し、１個の符号列信号を出力し、
前記Ｎ個の符号化部は、画面内予測符号化または画面間予測符号化の予測モードを独立または共通に使用可能であり、
前記符号列を合成する際には、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す予測モードフラグを、符号列信号に挿入し、
前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
ことを特徴とする動画像符号化方法。
【請求項６】
符号化された動画像を示す符号列信号から、１つの画像を構成するＮ（Ｎは２以上の整数）個の色成分画像に対応するＮ個の符号列を分離し、
前記Ｎ個の符号列に対応するＮ個の復号化部において、対応する符号列を画面内予測復号化または画面間予測復号化によって復号化し、
Ｎ個の復号化部からのＮ個の色成分画像を１つの画像に合成し、
前記符号列を分離する際には、前記符号列信号から、Ｎ個の色成分画像と画面内予測復号化の予測モードとの対応を示す予測モードフラグを分離し、
前記Ｎ個の復号化部は、前記予測モードフラグに従って面内予測復号化を行い、
前記予測モードフラグは、前記N個の色成分画像が独立して符号化されたか否かを示す情報を含む
ことを特徴とする動画像復号化方法。
【請求項７】
コンピュータ読み取り可能なストリームデータであって、
前記ストリームデータは、Ｎ個の符号列および予測モードフラグとを含み、
前記Ｎ個の符号列は、１つの画像を構成するＮ個（Ｎは２以上の整数）の色成分画像を表し、
前記予測モードフラグは、Ｎ個の色成分画像と画面内予測符号化または画面間予測符号化の予測モードとの対応を示す情報と、前記N個の色成分画像が独立して符号化されたか否かを示す情報とを含む
ことを特徴とするストリームデータ。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１３Ｄ】
【図１３Ｅ】
【図１３Ｆ】
【図１３Ｇ】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図５Ｄ】
【図５Ｅ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１３Ｄ】
【図１３Ｅ】
【図１３Ｆ】
【図１３Ｇ】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−２３９４５６（Ｐ２０１１−２３９４５６Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１１−１５５２７１（Ｐ２０１１−１５５２７１）
【出願日】平成２３年７月１３日（２０１１．７．１３）
【分割の表示】特願２００７−５２６０１６（Ｐ２００７−５２６０１６）の分割
【原出願日】平成１８年７月１８日（２００６．７．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２３年７月１３日（２０１１．７．１３）
【分割の表示】特願２００７−５２６０１６（Ｐ２００７−５２６０１６）の分割
【原出願日】平成１８年７月１８日（２００６．７．１８）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]