動画像処理装置および動画像処理システム
【課題】 画像処理に必要な内部メモリの容量を削減する。
【解決手段】 動画像処理装置は、少なくとも一のマクロブロックラインを含む所定単位に含まれる画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に所定単位に含まれる画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、第１符号化データを生成する画像符号化部と、メモリへのアクセスを制御し、第１符号化データをメモリに記憶するアクセス制御部と、アクセス制御部を介してメモリから第１符号化データを読み出し、第１符号化データの輝度成分を可変長符号化する輝度成分の可変長符号化処理と第１符号化データの色差成分を可変長符号化する色差成分の可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部とを有している。
【解決手段】 動画像処理装置は、少なくとも一のマクロブロックラインを含む所定単位に含まれる画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に所定単位に含まれる画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、第１符号化データを生成する画像符号化部と、メモリへのアクセスを制御し、第１符号化データをメモリに記憶するアクセス制御部と、アクセス制御部を介してメモリから第１符号化データを読み出し、第１符号化データの輝度成分を可変長符号化する輝度成分の可変長符号化処理と第１符号化データの色差成分を可変長符号化する色差成分の可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部とを有している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像処理装置および動画像処理システムに関する。
【背景技術】
【０００２】
ＭＰＥＧやＨ．２６４等の動画像符号化装置は、１６×１６画素のマクロブロック単位で動画像データを符号化する。これにより、符号化ストリームが生成される。マクロブロックは、画面の明るさを示す輝度画素（輝度成分Ｙ）と色を示す色差画素（色差成分Ｃｂ、Ｃｒ）とを有している。例えば、４：２：０フォーマットでは、マクロブロックは、８×８の輝度（Ｙ）画素を含む４個の輝度（Ｙ）ブロックと、８×８の色差（Ｃｂ）画素を含む１個の色差（Ｃｂ）ブロックと、８×８の色差（Ｃｒ）画素を含む１個の色差（Ｃｒ）ブロックとを有している（例えば、特許文献１参照。）。
【０００３】
符号化ストリームでは、符号化されたデータが、マクロブロック毎に、輝度（Ｙ）ブロック、色差（Ｃｂ）ブロックおよび色差（Ｃｒ）ブロックの順に並んでいる。一般に、動画像データの符号化処理は、符号化ストリームの構成順に合わせて実施される。例えば、動画像符号化装置は、輝度画素（Ｙ）の符号化処理と色差画素（Ｃｒ、Ｃｂ）の符号化処理とをマクロブロック単位で切り替えて実施し、符号化ストリームを生成する。また、例えば、ＭＰＥＧやＨ．２６４等の動画像復号装置は、輝度画素（Ｙ）の復号処理と色差画素（Ｃｒ、Ｃｂ）の復号処理とをマクロブロック単位で切り替えて実施し、符号化ストリームを復号する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３４８００６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
輝度画素（Ｙ）の符号化処理と色差画素（Ｃｒ、Ｃｂ）の符号化処理とをマクロブロック単位で切り替えて実施する動画像符号化装置では、符号化処理に必要な輝度画素および色差画素の両方のデータを同時に保持する必要がある。例えば、イントラ予測（以下、フレーム内予測とも称する）用の周辺画素やデブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶するバッファには、輝度画素および色差画素の両方のデータが記憶される。したがって、輝度画素および色差画素の両方のデータを記憶する容量のバッファが必要である。
【０００６】
また、インター予測（以下、フレーム間予測とも称する）では、予測画像は、動きベクトルに応じて、参照画像から生成される。例えば、参照画像の読み出しにキャッシュメモリを使用する動画像符号化装置では、輝度画素用のキャッシュメモリと色差画素用のキャッシュメモリとが必要になる。このため、符号化処理に必要な内部メモリ（例えば、バッファやキャッシュメモリ）の容量が大きくなる。同様に、復号処理に必要な内部メモリの容量が大きくなる。
【０００７】
本発明の目的は、符号化処理および復号処理の少なくとも一方の画像処理を実施する画像処理装置において、画像処理に必要な内部メモリの容量を削減することである。
【課題を解決するための手段】
【０００８】
本発明の一形態では、動画像処理装置は、少なくとも一のマクロブロックラインを含む所定単位に含まれる画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に所定単位に含まれる画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、第１符号化データを生成する画像符号化部と、メモリへのアクセスを制御し、第１符号化データをメモリに記憶するアクセス制御部と、アクセス制御部を介してメモリから第１符号化データを読み出し、第１符号化データの輝度成分を可変長符号化する輝度成分の可変長符号化処理と第１符号化データの色差成分を可変長符号化する色差成分の可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部とを有している。
【発明の効果】
【０００９】
符号化処理および復号処理の少なくとも一方の画像処理を実施する画像処理装置において、画像処理に必要な内部メモリの容量を削減できる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態における動画像処理システムの例を示している。
【図２】４：２：０フォーマットでのマクロブロックおよびピクチャの一例を示している。
【図３】図１に示したデータバッファの記憶領域の割り当ての一例を示している。
【図４】図１に示した動画像処理システムの動作の一例を示している。
【図５】スライス単位切り替えとピクチャ単位切り替えとの比較を示している。
【図６】図１に示した動画像処理システムの動作の別の例を示している。
【図７】別の実施形態における動画像処理システムの一例を示している。
【図８】図７に示した画像符号化部の動作の一例を示している。
【図９】フレーム内予測に使用される周辺画素の一例を示している。
【図１０】デブロッキングフィルタ処理に使用される周辺画素の一例を示している。
【図１１】図７に示したバッファの管理の一例を示している。
【図１２】図７に示したフレーム内予測用のバッファの記憶領域の割り当ての一例を示している。
【図１３】図７に示したデブロッキングフィルタ処理用のバッファの記憶領域の割り当ての一例を示している。
【図１４】図７に示したキャッシュの動作の一例を示している。
【図１５】別の実施形態における動画像処理システムの一例を示している。
【図１６】図１５に示した動画像処理システムの動作の一例を示している。
【図１７】別の実施形態における動画像処理システムの一例を示している。
【図１８】図１７に示した動画像処理システムの動作の一例を示している。
【図１９】スライス単位切り替えとピクチャ単位切り替えとの比較を示している。
【図２０】図１７に示した動画像処理システムの動作の別の例を示している。
【図２１】別の実施形態における動画像処理システムの一例を示している。
【図２２】図２１に示した画像復号部の動作の一例を示している。
【図２３】別の実施形態における動画像処理システムの一例を示している。
【発明を実施するための形態】
【００１１】
以下、実施形態を図面を用いて説明する。
【００１２】
図１は、一実施形態における動画像処理システムＥＳＹＳの例を示している。
【００１３】
動画像処理システムＥＳＹＳは、例えば、ＭＰＥＧやＨ．２６４等に準拠したエンコーダである。例えば、動画像処理システムＥＳＹＳは、画像データＩＩＭＧをＭＰＥＧやＨ．２６４等に準拠した符号化方式で符号化する動画像処理装置１０と、動画像処理装置１０に接続されるメモリ８０とを有している。例えば、動画像処理装置１０は、メモリ８０とは別のチップに形成される。なお、動画像処理システムＥＳＹＳも画像処理装置の一態様を形成する。
【００１４】
動画像処理装置１０は、画像符号化部２０、可変長符号化部４０およびデータ転送部６０を有している。画像符号化部２０は、動きベクトル探索、フレーム間予測（インター予測）、フレーム内予測（イントラ予測）、直交変換および量子化等の画像符号化処理を実施する。
【００１５】
例えば、画像符号化部２０は、符号化対象の画像データＩＩＭＧ（以下、入力画像データＩＩＭＧとも称する）を、データ転送部６０を介してメモリ８０のフレームメモリ８２から受ける。そして、画像符号化部２０は、画像データＩＩＭＧに対して画像符号化処理を実施し、符号化データＣＩＭＧを生成する。また、画像符号化部２０は、画像データＩＩＭＧを符号化した符号化データＣＩＭＧを、データ転送部６０を介してメモリ８０のデータバッファ８４に記憶する。なお、画像符号化部２０は、輝度成分（以下、輝度画素とも称する）の画像符号化処理と色差成分（以下、色差画素とも称する）の画像符号化処理とを、所定単位（例えば、ピクチャ単位）で切り替えて実施する。
【００１６】
可変長符号化部４０は、ＭＰＥＧやＨ．２６４等に準拠したＣＡＶＬＣやＣＡＢＡＣ等の可変長符号化処理を実施する。例えば、可変長符号化部４０は、画像符号化部２０により生成された符号化データＣＩＭＧを、データ転送部６０を介してメモリ８０のデータバッファ８４から受ける。そして、可変長符号化部４０は、符号化データＣＩＭＧを可変長符号化し、符号化ストリームＳＴＲＭを生成する。
【００１７】
符号化ストリームＳＴＲＭは、データ転送部６０を介してメモリ８０に記憶されてもよいし、メモリ８０に記憶されなくてもよい。なお、可変長符号化部４０は、符号化データＣＩＭＧの輝度成分を可変長符号化する可変長符号化処理と符号化データＣＩＭＧの色差成分を可変長符号化する可変長符号化処理とを、マクロブロック単位で切り替えて実施する。これにより、ＭＰＥＧやＨ．２６４等に準拠した符号化ストリームＳＴＲＭが生成される。ここで、マクロブロックは、１６×１６画素のブロックである。
【００１８】
データ転送部６０は、例えば、画像符号化部２０および可変長符号化部４０のメモリアクセス制御を実施する。例えば、データ転送部６０は、画像符号化処理に必要なデータ（画像データＩＩＭＧや参照画像データＲＩＭＧ等）をメモリ８０から読み出し、読み出したデータを画像符号化部２０に出力する。
【００１９】
さらに、データ転送部６０は、画像符号化部２０により生成された符号化データＣＩＭＧをメモリ８０のデータバッファ８４に記憶する。また、データ転送部６０は、可変長符号化対象の符号化データＣＩＭＧをメモリ８０のデータバッファ８４から読み出し、読み出した符号化データＣＩＭＧを可変長符号化部４０に出力する。なお、データ転送部６０は、画像符号化部２０により生成されたローカルデコード画像データＬＩＭＧを、メモリ８０に記憶する。このように、データ転送部６０は、例えば、メモリ８０へのアクセスを制御するアクセス制御部としての機能を有している。
【００２０】
メモリ８０は、例えば、ＳＤＲＡＭである。メモリ８０は、フレームメモリ８２およびデータバッファ８４を有している。例えば、フレームメモリ８２およびデータバッファ８４は、ＳＤＲＡＭ上に配置される。なお、メモリ８０は、ＳＤＲＡＭ以外のメモリでもよい。例えば、メモリ８０は、ＤＲＡＭでもよい。フレームメモリ８２は、入力画像データＩＩＭＧや参照画像データＲＩＭＧ等を記憶する。データバッファ８４は、画像符号化部２０により生成された符号化データＣＩＭＧを記憶する。例えば、データバッファ８４は、画像符号化部２０と可変長符号化部４０との間で、符号化データＣＩＭＧを並び換えるために使用される。
【００２１】
図２は、４：２：０フォーマットでのマクロブロックＭＢおよびピクチャＰＩＣの一例を示している。なお、図２は、１９２０×１０８８画素のピクチャＰＩＣを２つのスライスＳＬ（ＳＬ０、ＳＬ１）に分割したときの例を示している。なお、ピクチャＰＩＣの画素数は、１９２０×１０８８画素に限定されない。また、スライスＳＬの数は、３つ以上でもよい。あるいは、ピクチャＰＩＣは、複数のスライスＳＬに分割されなくてもよい。
【００２２】
１９２０×１０８８画素のピクチャＰＩＣでは、１６×１６画素のマクロブロックＭＢのライン数は、６８である。以下、マクロブロックＭＢのラインＭＬをマクロブロックラインＭＬとも称する。すなわち、１マクロブロックラインＭＬは、１６行の画素ラインを有している。図２の例では、マクロブロックラインＭＬ０−ＭＬ３３は、スライスＳＬ０を形成し、マクロブロックラインＭＬ３４−ＭＬ６７は、スライスＳＬ１を形成する。
【００２３】
マクロブロックＭＢは、輝度ブロックＹおよび色差ブロックＣｂ、Ｃｒを有している。輝度ブロックＹは、画面の明るさを示す輝度画素（画像データＩＩＭＧの輝度成分）のブロックである。また、色差ブロックＣｂ、Ｃｒは、色を示す色差画素（画像データＩＩＭＧの色差成分）のブロックである。例えば、４：２：０フォーマットでは、マクロブロックＭＢは、８×８の輝度画素を含む４個の輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３と、８×８の色差（Ｃｂ）画素を含む１個の色差ブロックＣｂと、８×８の色差（Ｃｒ）画素を含む１個の色差ブロックＣｒとを有している。
【００２４】
すなわち、４：２：０フォーマットでは、輝度画素は、１画素毎に生成される。また、各色差（Ｃｂ、Ｃｒ）画素は、例えば、４つの画素（水平方向の２画素および垂直方向の２画素）を平均して算出され、４画素毎に生成される。なお、動画像処理システムＥＳＹＳが扱うフォーマットは、４：２：０フォーマット以外でもよい。
【００２５】
図３は、図１に示したデータバッファ８４の記憶領域の割り当ての一例を示している。データバッファ８４は、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡを有している。図の括弧内の符号ＭＢ（ＭＢ０・・・ＭＮｎ）は、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域にデータがマクロブロックＭＢ毎に記憶されることを示している。
【００２６】
ヘッダ領域ＨＲＡには、輝度成分および色差成分の画像符号化処理で生成されるヘッダデータがマクロブロックＭＢ毎に記憶される。ヘッダデータは、例えば、マクロブロックタイプ、動きベクトル、量子化スケール等のパラメータである。輝度データ領域ＹＲＡには、符号化データＣＩＭＧの輝度成分（符号化された輝度ブロックＹの係数データ等）がマクロブロックＭＢ毎に記憶される。色差データ領域ＣＲＡには、符号化データＣＩＭＧの色差成分（符号化された色差ブロックＣｂ、Ｃｒの係数データ等）がマクロブロックＭＢ毎に記憶される。
【００２７】
例えば、画像符号化部２０は、輝度成分の画像符号化処理時に、マクロブロックタイプ、動きベクトル、量子化スケール等の輝度成分および色差成分の両方の処理で使用されるパラメータを生成する。そして、データ転送部６０は、画像符号化部２０で生成されたマクロブロックタイプ等のパラメータを、データバッファ８４のヘッダ領域ＨＲＡにヘッダデータとして書き込む。また、データ転送部６０は、画像符号化部２０で生成された符号化データＣＩＭＧの輝度成分を、データバッファ８４の輝度データ領域ＹＲＡに書き込む。
【００２８】
また、データ転送部６０は、色差成分の画像符号化処理時に、マクロブロックタイプ等のパラメータ（ヘッダデータ）をヘッダ領域ＨＲＡから読み出す。そして、画像符号化部２０は、データ転送部６０を介してヘッダ領域ＨＲＡから読み出したパラメータに基づいて、色差ブロックＣｂ、Ｃｒの画像符号化処理を実施する。データ転送部６０は、画像符号化部２０で生成された符号化データＣＩＭＧの色差成分を、データバッファ８４の色差データ領域ＣＲＡに書き込む。この際、色差ブロックＣｂ、Ｃｒの画像符号化処理により確定するＣＢＰ（Coded block pattern）の色差パラメータ等のヘッダデータは、確定した情報に書き換えられる。
【００２９】
このように、画像符号化部２０は、輝度成分の画像符号化処理により生成されたヘッダデータおよび符号化データＣＩＭＧの輝度成分を、ヘッダ領域ＨＲＡおよび輝度データ領域ＹＲＡにデータ転送部６０を介してそれぞれ記憶する。また、画像符号化部２０は、色差成分の画像符号化処理により更新されたヘッダデータおよび符号化データＣＩＭＧの色差成分を、ヘッダ領域ＨＲＡおよび色差データ領域ＣＲＡにデータ転送部６０を介してそれぞれ記憶する。
【００３０】
可変長符号化処理時には、データ転送部６０は、符号化データＣＩＭＧのヘッダデータ、輝度成分および色差成分を、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡからそれぞれ読み出す。そして、可変長符号化部４０は、データ転送部６０を介して読み出した符号化データＣＩＭＧのヘッダデータ、輝度成分および色差成分を、符号化ストリームＳＴＲＭの構成順にマクロブロックＭＢ単位で切り替えて可変長符号化する。
【００３１】
このように、データ転送部６０は、データバッファ８４を、ヘッダデータを記憶するヘッダ領域ＨＲＡ、符号化データＣＩＭＧの輝度成分を記憶する輝度データ領域ＹＲＡおよび符号化データＣＩＭＧの色差成分を記憶する色差データ領域ＣＲＡに分けて管理する。このため、例えば、データ転送部６０は、ライトポインタおよびリードポインタを領域毎に用いて、データバッファ８４を管理する。これにより、この実施形態では、動画像処理装置１０の処理順序（例えば、図４に示す動作）に対して、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域を、各領域のライトポインタおよびリードポインタによって簡単に制御できる。例えば、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡに関しては、各領域内では、画像符号化処理で書き込んだ順に、可変長符号化処理で読み出せばよいので、ＦＩＦＯ（First-In First-Out）のように制御できる。
【００３２】
また、ヘッダ領域ＨＲＡに関しては、輝度成分の画像符号化処理時に書き込んだヘッダデータを色差成分の画像符号化処理時に読み出すが、これは書き込んだ順番に読み出せばよいので、制御としてはＦＩＦＯと同様である。そして、色差成分の画像符号化処理時に確定する色差パラメータの部分を書き換えて、再度同じ位置に書き込みを行う。この色差成分の画像符号化処理時に書き込んだヘッダデータを可変長符号化処理で順番に読み出せばよいので、制御としてはＦＩＦＯと同様である。なお、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域は、マクロブロックＭＢ単位でデータ量が可変である。
【００３３】
図４は、図１に示した動画像処理システムＥＳＹＳの動作の一例を示している。図中のマクロブロックＭＢ０は、最初に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ０の左端のマクロブロックＭＢ）を示している。また、図中のマクロブロックＭＢｎは、最後に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ６７の右端のマクロブロックＭＢ）を示している。また、ピクチャＰＩＣ１は、ピクチャＰＩＣ０の次に処理されるピクチャＰＩＣを示している。なお、図４の括弧内の動作は、比較例の画像符号化処理を示している。
【００３４】
時刻ｔ１０では、画像符号化部２０は、ピクチャＰＩＣ０の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ０（Ｙ））。例えば、画像符号化部２０は、各マクロブロックＭＢに対して、画像符号化処理を輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３の順に実施する。
【００３５】
これにより、符号化データＣＩＭＧの輝度成分およびヘッダデータが生成される。符号化データＣＩＭＧの輝度成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。例えば、符号化データＣＩＭＧの輝度成分は、データバッファ８４の輝度データ領域ＹＲＡに記憶される。また、符号化データＣＩＭＧのヘッダデータは、データバッファ８４のヘッダ領域ＨＲＡに記憶される。すなわち、輝度ブロックＹの１ピクチャＰＩＣ分の画像符号化処理では、ヘッダデータおよび符号化データＣＩＭＧの輝度成分が、データバッファ８４のヘッダ領域ＨＲＡおよび輝度データ領域ＹＲＡにそれぞれ書き込まれる。
【００３６】
次に、画像符号化部２０は、ピクチャＰＩＣ０の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ０（Ｃｂ、Ｃｒ））。例えば、画像符号化部２０は、輝度成分の画像符号化処理により生成されたヘッダデータを、データバッファ８４のヘッダ領域ＨＲＡからデータ転送部６０を介して読み出す。そして、画像符号化部２０は、各マクロブロックＭＢに対して、画像符号化処理を色差ブロックＣｂ、Ｃｒの順に実施する。
【００３７】
これにより、符号化データＣＩＭＧの色差（Ｃｂ、Ｃｒ）成分が生成される。また、ヘッダデータの色差成分に関するパラメータが更新される。符号化データＣＩＭＧの色差成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。例えば、符号化データＣＩＭＧの色差成分は、データバッファ８４の色差データ領域ＣＲＡに記憶される。また、符号化データＣＩＭＧのヘッダデータは、データバッファ８４のヘッダ領域ＨＲＡに記憶される。ここまでの動作により、ピクチャＰＩＣ０の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【００３８】
そして、画像符号化部２０は、ピクチャＰＩＣ０の次のピクチャＰＩＣ１の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ１（Ｙ））。その後、画像符号化部２０は、ピクチャＰＩＣ１の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ１（Ｃｂ、Ｃｒ））。
【００３９】
このように、画像符号化部２０は、先ず、輝度ブロックＹの１ピクチャＰＩＣ分の画像符号化処理を実施し、次に、色差ブロックＣｂ、Ｃｒの１ピクチャＰＩＣ分の画像符号化処理を実施する。すなわち、画像符号化部２０は、画像データＩＩＭＧの輝度成分を符号化する輝度成分の画像符号化処理と画像データＩＩＭＧの色差成分を符号化する色差成分の画像符号化処理とを、ピクチャＰＩＣ単位で切り替えて実施する。
【００４０】
符号化データＣＩＭＧの輝度成分および符号化データＣＩＭＧの色差成分の両方が生成された後、符号化データＣＩＭＧが可変長符号化される。例えば、ピクチャＰＩＣ０の輝度成分および色差成分に対する画像符号化処理が終了した後（時刻ｔ２０）、ピクチャＰＩＣ０の符号化データＣＩＭＧが可変長符号化される。すなわち、ピクチャＰＩＣ０の輝度成分および色差成分の符号化データＣＩＭＧが生成された後、ピクチャＰＩＣ０の符号化データＣＩＭＧが可変長符号化される。
【００４１】
時刻ｔ２０では、可変長符号化部４０は、画像符号化部２０により生成されたピクチャＰＩＣ０の符号化データＣＩＭＧを、データ転送部６０を介してメモリ８０のデータバッファ８４から読み出す。例えば、可変長符号化部４０は、符号化データＣＩＭＧのヘッダデータ、輝度成分および色差成分を、データバッファ８４のヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡからデータ転送部６０を介してそれぞれ読み出す。
【００４２】
そして、可変長符号化部４０は、ピクチャＰＩＣ０のヘッダデータ、輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図の可変長符号化処理のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ））。例えば、可変長符号化部４０は、各マクロブロックＭＢに対して、可変長符号化処理を輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３、色差ブロックＣｂ、Ｃｒの順に実施する。
【００４３】
時刻ｔ３０では、可変長符号化部４０は、ピクチャＰＩＣ１の輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図の可変長符号化処理のＰＩＣ１（Ｙ、Ｃｂ、Ｃｒ））。このように、可変長符号化部４０は、符号化データＣＩＭＧの輝度成分を可変長符号化する輝度成分の可変長符号化処理と符号化データＣＩＭＧの色差成分を可変長符号化する色差成分の可変長符号化処理とをマクロブロックＭＢ単位で切り替えて実施する。すなわち、可変長符号化部４０は、ＭＰＥＧやＨ．２６４等に準拠したストリームの構成順に、可変長符号化処理を実施する。
【００４４】
このように、この実施形態では、画像符号化処理と可変長符号化処理とでデータの処理順序が異なる制御を実施する。このため、符号化データＣＩＭＧは、画像符号化部２０から可変長符号化部４０にデータバッファ８４を介して転送される。
【００４５】
ここで、比較例（図の括弧内の動作）では、ＭＰＥＧやＨ．２６４等に準拠したストリームの構成順に、画像符号化処理が実施される（図の比較例のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ））。このため、比較例では、画像符号化処理に必要な周辺画素を一時的に記憶する内部メモリ等には、輝度画素および色差画素の両方のデータが記憶される。したがって、内部メモリの容量は、増加する。
【００４６】
これに対し、この実施形態では、画像符号化部２０は、輝度成分の画像符号化処理と色差成分の画像符号化処理とを、ピクチャＰＩＣ単位で切り替えて実施する。これにより、この実施形態では、例えば、画像符号化処理に必要な周辺画素を一時的に記憶する内部メモリを、輝度画素と色差画素とで兼用できる。この結果、画像処理に必要な内部メモリの容量を削減できる。ここで、内部メモリは、例えば、フレーム内予測用の周辺画素やデブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶するバッファ等である。なお、フレーム間予測の参照画像の読み出しにキャッシュメモリを使用する動画像処理装置では、キャッシュメモリも内部メモリに含まれる。
【００４７】
なお、動画像処理システムＥＳＹＳの動作は、この例に限定されない。例えば、輝度成分および色差成分に対するそれぞれの画像符号化処理の切り替え単位は、図５に示すようにスライスＳＬ単位でもよいし、図６に示すように複数のマクロブロックラインＭＬを含むグループ（分割領域ＳＧ）単位でもよい。
【００４８】
図５は、スライスＳＬ単位切り替えとピクチャＰＩＣ単位切り替えとの比較を示している。なお、図５は、図２に示したピクチャＰＩＣを処理するときの動画像処理システムＥＳＹＳの動作の一例を示している。ピクチャＰＩＣ単位切り替えの動作は、図４で説明しているため、詳細な説明を省略する。スライスＳＬ単位切り替えでは、画像符号化部２０は、先ず、輝度ブロックＹの１スライスＳＬ分の画像符号化処理を実施し、次に、色差ブロックＣｂ、Ｃｒの１スライスＳＬ分の画像符号化処理を実施する。
【００４９】
例えば、時刻ｔ１０では、画像符号化部２０は、スライスＳＬ０（マクロブロックラインＭＬ０−ＭＬ３３）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＬ０（Ｙ））。これにより、符号化データＣＩＭＧの輝度成分およびヘッダデータが生成される。符号化データＣＩＭＧの輝度成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。
【００５０】
次に、画像符号化部２０は、スライスＳＬ０の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＬ０（Ｃｂ、Ｃｒ））。これにより、符号化データＣＩＭＧの色差（Ｃｂ、Ｃｒ）成分およびヘッダデータが生成される。符号化データＣＩＭＧの色差成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。ここまでの動作により、スライスＳＬ０の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【００５１】
そして、画像符号化部２０は、スライスＳＬ０の次のスライスＳＬ１（マクロブロックラインＭＬ３４−ＭＬ６７）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＬ１（Ｙ））。その後、画像符号化部２０は、スライスＳＬ１の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＬ１（Ｃｂ、Ｃｒ））。ここまでの動作により、１ピクチャＰＩＣ分の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【００５２】
このように、画像符号化部２０は、画像データＩＩＭＧの輝度成分を符号化する輝度成分の画像符号化処理と画像データＩＩＭＧの色差成分を符号化する色差成分の画像符号化処理とを、スライスＳＬ単位で切り替えて実施する。
【００５３】
符号化データＣＩＭＧの輝度成分および符号化データＣＩＭＧの色差成分の両方が生成された後、符号化データＣＩＭＧが可変長符号化される。例えば、スライスＳＬ０の輝度成分および色差成分に対する画像符号化処理が終了した後（時刻ｔ１２）、スライスＳＬ０の符号化データＣＩＭＧが可変長符号化される。すなわち、スライスＳＬ０の輝度成分および色差成分の符号化データＣＩＭＧが生成された後、スライスＳＬ０の符号化データＣＩＭＧが可変長符号化される。
【００５４】
時刻ｔ１２では、可変長符号化部４０は、画像符号化部２０により生成されたスライスＳＬ０の符号化データＣＩＭＧを、データ転送部６０を介してメモリ８０のデータバッファ８４から読み出す。そして、可変長符号化部４０は、スライスＳＬ０の輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図のＳＬ０（Ｙ、Ｃｂ、Ｃｒ））。
【００５５】
時刻ｔ２０ａでは、可変長符号化部４０は、スライスＳＬ１の輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図のＳＬ１（Ｙ、Ｃｂ、Ｃｒ））。
【００５６】
スライスＳＬ単位切り替えでは、スライスＳＬ０の符号化データＣＩＭＧがデータバッファ８４に記憶された時点で可変長符号化処理を開始できるため、ピクチャＰＩＣ単位切り替えに比べて、符号化遅延を抑制できる。例えば、ピクチャＰＩＣ単位切り替えでは、ピクチャＰＩＣ０の可変長符号化処理は、時刻ｔ１２より遅い時刻ｔ２０に開始され、時刻ｔ２４に終了する。これに対し、スライスＳＬ単位切り替えでは、ピクチャＰＩＣ０の可変長符号化処理は、時刻ｔ２４より早い時刻ｔ２２に終了する。なお、スライスＳＬ単位切り替えでは、輝度成分の画像符号化処理と色差成分の画像符号化処理とがピクチャＰＩＣの途中（スライスＳＬの境界）で切り替わるため、画像符号化処理に必要な周辺画素を一時的に記憶する内部メモリの読み直しが発生する場合がある。
【００５７】
図６は、図１に示した動画像処理システムＥＳＹＳの動作の別の例を示している。なお、図６は、図２に示したピクチャＰＩＣを４分割した分割領域ＳＧ（１７行のマクロブロックラインＭＬ）単位で輝度成分の画像符号化処理と色差成分の画像符号化処理とを切り替えるときの動作を示している。なお、分割領域ＳＧは、スライスＳＬより大きくてもよいし、小さくてもよい。画像符号化部２０は、先ず、輝度ブロックＹの１分割領域ＳＧ分の画像符号化処理を実施し、次に、色差ブロックＣｂ、Ｃｒの１分割領域ＳＧ分の画像符号化処理を実施する。
【００５８】
例えば、時刻ｔ１０では、画像符号化部２０は、分割領域ＳＧ０（マクロブロックラインＭＬ０−ＭＬ１６）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ０（Ｙ））。これにより、符号化データＣＩＭＧの輝度成分およびヘッダデータが生成される。符号化データＣＩＭＧの輝度成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。
【００５９】
次に、画像符号化部２０は、分割領域ＳＧ０の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＬ０（Ｃｂ、Ｃｒ））。これにより、符号化データＣＩＭＧの色差（Ｃｂ、Ｃｒ）成分およびヘッダデータが生成される。符号化データＣＩＭＧの色差成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。ここまでの動作により、分割領域ＳＧ０の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【００６０】
そして、画像符号化部２０は、分割領域ＳＧ０の次の分割領域ＳＧ１（マクロブロックラインＭＬ１７−ＭＬ３３）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ１（Ｙ））。その後、画像符号化部２０は、分割領域ＳＧ１の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ１（Ｃｂ、Ｃｒ））。
【００６１】
次に、画像符号化部２０は、分割領域ＳＧ１の次の分割領域ＳＧ２（マクロブロックラインＭＬ３４−ＭＬ５０）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ２（Ｙ））。その後、画像符号化部２０は、分割領域ＳＧ２の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ２（Ｃｂ、Ｃｒ））。
【００６２】
そして、画像符号化部２０は、分割領域ＳＧ２の次の分割領域ＳＧ３（マクロブロックラインＭＬ５１−ＭＬ６７）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ３（Ｙ））。その後、画像符号化部２０は、分割領域ＳＧ３の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ３（Ｃｂ、Ｃｒ））。ここまでの動作により、１ピクチャＰＩＣ分の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【００６３】
このように、画像符号化部２０は、画像データＩＩＭＧの輝度成分を符号化する輝度成分の画像符号化処理と画像データＩＩＭＧの色差成分を符号化する色差成分の画像符号化処理とを、分割領域ＳＧ単位で切り替えて実施する。
【００６４】
符号化データＣＩＭＧの輝度成分および符号化データＣＩＭＧの色差成分の両方が生成された後、符号化データＣＩＭＧが可変長符号化される。例えば、分割領域ＳＧ０の輝度成分および色差成分に対する画像符号化処理が終了した後（時刻ｔ１１）、分割領域ＳＧ０の符号化データＣＩＭＧが可変長符号化される。すなわち、分割領域ＳＧ０の輝度成分および色差成分の符号化データＣＩＭＧが生成された後、分割領域ＳＧ０の符号化データＣＩＭＧが可変長符号化される。
【００６５】
時刻ｔ１１では、可変長符号化部４０は、画像符号化部２０により生成された分割領域ＳＧ０の符号化データＣＩＭＧを、データ転送部６０を介してメモリ８０のデータバッファ８４から読み出す。そして、可変長符号化部４０は、分割領域ＳＧ０のヘッダデータ、輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図のＳＧ０（Ｙ、Ｃｂ、Ｃｒ））。その後、可変長符号化部４０は、分割領域ＳＧ１−ＳＧ３の符号化データＣＩＭＧに対して、可変長符号化処理を順次実施する（図のＳＧ１（Ｙ、Ｃｂ、Ｃｒ）、ＳＧ２（Ｙ、Ｃｂ、Ｃｒ）、ＳＧ３（Ｙ、Ｃｂ、Ｃｒ））。
【００６６】
例えば、時刻ｔ２０ｂでは、可変長符号化部４０は、分割領域ＳＧ３のヘッダデータ、輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図のＳＧ３（Ｙ、Ｃｂ、Ｃｒ））。
【００６７】
スライスＳＬより小さい分割領域ＳＧを切り替えの所定単位とした動作では、分割領域ＳＧ０の符号化データＣＩＭＧがデータバッファ８４に記憶された時点で可変長符号化処理を開始できるため、スライスＳＬ単位切り替えに比べて、符号化遅延を抑制できる。例えば、分割領域ＳＧ単位切り替えでは、ピクチャＰＩＣ０の可変長符号化処理は、図５に示した時刻ｔ２２より早い時刻ｔ２１に終了する。なお、分割領域ＳＧ単位切り替えでは、輝度成分の画像符号化処理と色差成分の画像符号化処理とがピクチャＰＩＣの途中（分割領域ＳＧの境界）で切り替わるため、画像符号化処理に必要な周辺画素を一時的に記憶する内部メモリの読み直しが発生する。
【００６８】
以上、この実施形態では、動画像処理装置１０は、可変長符号化処理のデータ処理順序と異なる処理順序で画像符号化処理を実施する画像符号化部２０を有している。なお、動画像処理装置１０は、データバッファ８４を用いて、画像符号化部２０と可変長符号化部４０との間で、符号化データＣＩＭＧを並び換える。これにより、この実施形態では、画像データＩＩＭＧの輝度成分および色差成分のそれぞれの画像符号化処理を、複数のマクロブロックラインＭＬを少なくとも含む所定単位で切り替えて実施できる。この結果、この実施形態では、画像処理に必要な内部メモリの容量を削減できる。これにより、この実施形態では、動画像処理装置１０のチップサイズおよび製造コストを削減できる。
【００６９】
また、この実施形態では、データ転送部６０は、データバッファ８４を、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡに分けて管理する。これにより、この実施形態では、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域を、各領域のライトポインタおよびリードポインタによって簡単に制御できる。輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡはＦＩＦＯとして制御することができ、ヘッダ領域ＨＲＡに関しては、色差成分の画像符号化処理時に読み出し、書き込み処理が行われるが、基本的にはＦＩＦＯのように制御できる。したがって、この実施形態では、データ転送部６０によるデータバッファ８４の制御を簡易にできる。
【００７０】
図７は、別の実施形態における動画像処理システムＥＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の動画像処理システムＥＳＹＳは、図１に示した動画像処理装置１０の代わりに動画像処理装置１０Ａを有している。動画像処理システムＥＳＹＳのその他の構成は、上述した実施形態と同じである。
【００７１】
例えば、動画像処理システムＥＳＹＳは、画像データＩＩＭＧをＭＰＥＧやＨ．２６４等に準拠した符号化方式で符号化する動画像処理装置１０Ａと、動画像処理装置１０Ａに接続されるメモリ８０とを有している。動画像処理装置１０Ａは、例えば、メモリ８０とは別のチップに形成される。
【００７２】
動画像処理装置１０Ａは、画像符号化部２０Ａ、可変長符号化部４０、データ転送部６０、キャッシュ６２およびバッファ６４（６４ａ、６４ｂ）を有している。画像符号化部２０Ａは、図４−図６で説明したように、輝度成分の画像符号化処理と色差成分の画像符号化処理とを、所定単位（例えば、ピクチャＰＩＣ単位）で切り替えて実施する。
【００７３】
例えば、画像符号化部２０Ａは、動きベクトル探索部（ＭＥ）２１、予測画像生成部２２、差分算出部（ＤＩＦＦ）２３、直交変換部（Ｔ）２４、量子化部（Ｑ）２５、逆量子化部（ＩＱ）２６、逆直交変換部（ＩＴ）２７、動き補償部（ＭＣ）２８およびループフィルタ部（ＬＦ）２９を有している。
【００７４】
動きベクトル探索部２１は、例えば、入力画像データＩＩＭＧおよび参照画像データＲＩＭＧをメモリ８０からデータ転送部６０を介して読み出し、各マクロブロックＭＢの動きベクトルを探索する。例えば、動きベクトルの探索は、画像データＩＩＭＧ、ＲＩＭＧの輝度成分を用いて実施される。すなわち、動きベクトル探索部２１は、画像データＩＩＭＧ、ＲＩＭＧの色差成分を用いずに、動きベクトルを探索する。
【００７５】
予測画像生成部２２は、フレーム内予測用の予測画像やフレーム間予測用の予測画像を生成する。例えば、予測画像生成部２２は、処理対象のマクロブロックＭＢの周辺画素をバッファ６４ａからデータ転送部６０を介して読み出し、フレーム内予測用の予測画像を生成する。また、例えば、予測画像生成部２２は、参照画像データＲＩＭＧをメモリ８０等からデータ転送部６０を介して読み出し、フレーム間予測用の予測画像を生成する。なお、例えば、参照画像データＲＩＭＧがキャッシュ６２に記憶されているときには、参照画像データＲＩＭＧは、キャッシュ６２から読み出される。
【００７６】
差分算出部２３は、入力画像データＩＩＭＧをメモリ８０からデータ転送部６０を介して受け、予測画像を予測画像生成部２２から受ける。そして、差分算出部２３は、入力画像データＩＩＭＧと予測画像との差分を算出する。直交変換部２４は、差分算出部２３から受けたデータ（差分画像）を直交変換する。
【００７７】
量子化部２５は、直交変換部２４から受けたデータを量子化し、符号化データＣＩＭＧを生成する。そして、量子化部２５は、符号化データＣＩＭＧを、逆量子化部２６およびデータ転送部６０に出力する。これにより、画像データＩＩＭＧを符号化した符号化データＣＩＭＧは、データ転送部６０を介してメモリ８０のデータバッファ８４に記憶される。
【００７８】
逆量子化部２６は、量子化部２５から受けた符号化データＣＩＭＧを逆量子化する。逆直交変換部２７は、逆量子化部２６から受けたデータを逆直交変換する。動き補償部２８は、逆直交変換部２７から受けたデータと予測画像生成部２２から受けた予測画像とを加算して、復号画像をループフィルタ部２９に出力する。
【００７９】
ループフィルタ部２９は、動き補償部２８から受けた復号画像に対して、デブロッキングフィルタ処理等のループフィルタ処理を実施する。例えば、ループフィルタ部２９は、処理対象のマクロブロックＭＢの周辺画素をバッファ６４ｂからデータ転送部６０を介して読み出し、ループフィルタ処理を実施する。これにより、ローカルデコード画像データＬＩＭＧが生成される。ローカルデコード画像データＬＩＭＧは、例えば、データ転送部６０を介してメモリ８０等に記憶される。
【００８０】
なお、例えば、予測画像生成部２２、差分算出部２３、直交変換部２４、量子化部２５、逆量子化部２６、逆直交変換部２７、動き補償部２８およびループフィルタ部２９は、輝度成分の処理と色差成分の処理とを、所定単位（例えば、ピクチャＰＩＣ単位）で切り替えて実施する。
【００８１】
可変長符号化部４０の動作は、上述した実施形態と同じである。また、データ転送部６０は、キャッシュ６２およびバッファ６４ａ、６４ｂに接続され、キャッシュ６２およびバッファ６４ａ、６４ｂに対するアクセスを制御する。データ転送部６０のその他の動作は、上述した実施形態と同じである。
【００８２】
キャッシュ６２は、例えば、参照画像データＲＩＭＧを読み出すときに使用されるキャッシュメモリである。例えば、キャッシュ６２は、数マクロブロックラインＭＬ分の容量を有している。そして、キャッシュ６２は、例えば、処理中のマクロブロックＭＢで参照される可能性の高い領域の画像データ（候補画像データ）を自動的にプリフェッチする。
【００８３】
なお、キャッシュ６２は、フレーム間予測に使用される参照画像の候補となる候補画像データを記憶する領域が、輝度成分の画像符号化処理と色差成分の画像符号化処理とで兼用される。そして、キャッシュ６２は、輝度成分の画像符号化処理時に、候補画像データの輝度成分を順次記憶し、色差成分の画像符号化処理時に、候補画像データの色差成分を順次記憶する。
【００８４】
バッファ６４は、フレーム内予測用の周辺画素やデブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶する。例えば、バッファ６４ａは、フレーム内予測用の周辺画素等のデータを一時的に記憶する。また、バッファ６４ｂは、デブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶する。なお、バッファ６４は、例えば、輝度成分の画像符号化処理と色差成分の画像符号化処理とで兼用される。
【００８５】
図８は、図７に示した画像符号化部２０Ａの動作の一例を示している。なお、図８は、１ピクチャＰＩＣ分の画像符号化処理の一例を示している。図中のマクロブロックＭＢ０は、最初に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ０の左端のマクロブロックＭＢ）を示している。また、図中のマクロブロックＭＢｎは、最後に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ６７の右端のマクロブロックＭＢ）を示している。
【００８６】
輝度成分の画像符号化処理（図のＰＩＣ０（Ｙ））では、先ず、動きベクトル探索部（ＭＥ）２１は、各マクロブロックＭＢの動きベクトルの探索を順次実施する。マクロブロックＭＢ０の動きベクトルの探索が終了した後、差分算出部（ＤＩＦＦ）２３は、マクロブロックＭＢ０の差分画像の輝度成分を生成する。例えば、差分算出部２３は、画像データＩＩＭＧの輝度成分と予測画像の輝度成分との差分を算出する。
【００８７】
そして、直交変換部（Ｔ）２４は、マクロブロックＭＢ０の差分画像の輝度成分を直交変換する。量子化部（Ｑ）２５は、直交変換部２４から受けたデータを量子化し、マクロブロックＭＢ０の符号化データＣＩＭＧの輝度成分を生成する。これにより、マクロブロックＭＢ０の輝度成分を符号化した符号化データＣＩＭＧは、データバッファ８４の輝度データ領域ＹＲＡに記憶される。また、マクロブロックタイプ、動きベクトル、量子化スケール等の輝度成分および色差成分の両方の処理で使用されるパラメータ（ヘッダデータ）は、データバッファ８４のヘッダ領域ＨＲＡに記憶される。
【００８８】
逆量子化部（ＩＱ）２６は、マクロブロックＭＢ０の符号化データＣＩＭＧの輝度成分（量子化部２５から受けた符号化データＣＩＭＧ）を逆量子化する。逆直交変換部（ＩＴ）２７は、逆量子化されたデータの輝度成分（逆量子化部２６から受けたデータ）を逆直交変換する。動き補償部（ＭＣ）２８は、逆直交変換部２７から受けたデータと予測画像生成部２２から受けた予測画像とを加算して、マクロブロックＭＢ０の復号画像の輝度成分を生成する。
【００８９】
ループフィルタ部（ＬＦ）２９は、マクロブロックＭＢ０の復号画像の輝度成分に対して、ループフィルタ処理を実施する。これにより、マクロブロックＭＢ０のローカルデコード画像データＬＩＭＧの輝度成分が生成される。マクロブロックＭＢ０のローカルデコード画像データＬＩＭＧの一部は、例えば、次のマクロブロックラインＭＬのループフィルタ処理に使用されるため、バッファ６４ｂに記憶される。
【００９０】
マクロブロックＭＢ１・・・ＭＢｎに対しても、各マクロブロックＭＢの動きベクトルの探索が終了した後、上述の処理が実施される。なお、輝度成分の画像符号化処理では、例えば、差分算出部２３、直交変換部２４、量子化部２５、逆量子化部２６、逆直交変換部２７、動き補償部２８およびループフィルタ部２９の各処理は、輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３の順に実施される。
【００９１】
色差成分の画像符号化処理（図のＰＩＣ０（Ｃｂ、Ｃｒ））では、各マクロブロックＭＢの動きベクトルの探索が既に終了しているため、差分算出部２３等の各処理がマクロブロックＭＢ毎に順次実施される。差分算出部２３、直交変換部２４、量子化部２５、逆量子化部２６、逆直交変換部２７、動き補償部２８およびループフィルタ部２９の各処理は、上述の輝度成分の画像符号化処理の動作説明における輝度成分を色差成分に読み替えることで説明される。
【００９２】
例えば、色差成分の画像符号化処理では、差分算出部２３、直交変換部２４、量子化部２５、逆量子化部２６、逆直交変換部２７、動き補償部２８およびループフィルタ部２９の各処理は、色差ブロックＣｂ、Ｃｒの順に実施される。なお、色差成分の画像符号化処理では、例えば、輝度成分の画像符号化処理により生成されたヘッダデータがデータバッファ８４のヘッダ領域ＨＲＡから読み出される。
【００９３】
符号化データＣＩＭＧの可変長符号化処理は、図４で説明したように、符号化データＣＩＭＧの輝度成分および符号化データＣＩＭＧの色差成分の両方が生成された後に実施される。
【００９４】
ここで、例えば、輝度成分の画像符号化処理では、キャッシュ６２およびバッファ６４は、色差成分のデータを記憶しなくてよい。また、色差成分の画像符号化処理では、キャッシュ６２およびバッファ６４は、輝度成分のデータを記憶しなくてよい。このため、この実施形態では、キャッシュ６２およびバッファ６４の容量を削減できる。
【００９５】
図９は、フレーム内予測に使用される周辺画素Ｐ１０、Ｐ２０、Ｐ３０の一例を示している。例えば、フレーム内予測では、予測モードに応じて、マクロブロックＭＢの上端および左端にそれぞれ隣接する周辺画素Ｐ１０、Ｐ２０、Ｐ３０（図の網掛け）が必要である。
【００９６】
例えば、輝度ブロックＹでは、輝度ブロックＹの上端に隣接する１６×１画素Ｐ１０ｙ、輝度ブロックＹの左端に隣接する１×１６画素Ｐ２０ｙ、輝度ブロックＹの左上の画素Ｐ３０ｙが必要である。また、例えば、色差ブロックＣｂでは、色差ブロックＣｂの上端に隣接する８×１画素Ｐ１０ｃｂ、色差ブロックＣｂの左端に隣接する１×８画素Ｐ２０ｃｂ、色差ブロックＣｂの左上の画素Ｐ３０ｃｂが必要である。そして、色差ブロックＣｒでは、色差ブロックＣｒの上端に隣接する８×１画素Ｐ１０ｃｒ、色差ブロックＣｒの左端に隣接する１×８画素Ｐ２０ｃｒ、色差ブロックＣｒの左上の画素Ｐ３０ｃｒが必要である。なお、フレーム内予測の予測モードによっては、図９に示した以外の画素が必要なときもある。
【００９７】
図１０は、デブロッキングフィルタ処理に使用される周辺画素Ｐ１２、Ｐ２２の一例を示している。デブロッキングフィルタ処理では、例えば、マクロブロックＭＢの水平エッジＨＥＧおよび垂直エッジＶＥＧに対して、複数画素分（輝度ブロックＹで４画素、色差ブロックＣｒ、Ｃｂで２画素）の周辺画素Ｐ１２、Ｐ２２（図の網掛け）が必要である。
【００９８】
例えば、輝度ブロックＹでは、水平エッジＨＥＧの上側の１６×４画素Ｐ１２ｙと垂直エッジＶＥＧの左側の４×１６画素Ｐ２２ｙとが必要である。また、例えば、色差ブロックＣｂでは、水平エッジＨＥＧの上側の８×２画素Ｐ１２ｃｂと垂直エッジＶＥＧの左側の２×８画素Ｐ２２ｃｂとが必要である。そして、色差ブロックＣｒでは、水平エッジＨＥＧの上側の８×２画素Ｐ１２ｃｒと垂直エッジＶＥＧの左側の２×８画素Ｐ２２ｃｒとが必要である。
【００９９】
図１１は、図７に示したバッファ６４の管理の一例を示している。なお、図１１は、図２に示したピクチャＰＩＣを処理するときのバッファ６４の管理の一例を示している。図のピクチャＰＩＣの上側に付した数字は、マクロブロックＭＢの列番号を示している。以下、例えば、列番号ｊのマクロブロックＭＢをｊ列目のマクロブロックＭＢとも称する。また、マクロブロックＭＢｐｒ（図の網掛け）は、処理対象のマクロブロックＭＢを示している。
【０１００】
バッファ６４は、例えば、１マクロブロックラインＭＬの各マクロブロックＭＢに対応する領域ＡＲ０−ＡＲ１１９を有している。なお、図１１では、バッファ６４ａ、６４ｂの管理の概要が互いに同じであるため、バッファ６４ａ、６４ｂを区別せずに、バッファ６４と記載している。例えば、バッファ６４ａでは、領域ＡＲ０−ＡＲ１１９は、図１２に示す領域ＡＲａ０−ＡＲａ１１９に対応する。また、バッファ６４ｂでは、領域ＡＲ０−ＡＲ１１９は、図１３に示す領域ＡＲｂ０−ＡＲｂ１１９に対応する。
【０１０１】
画像符号化部２０Ａは、例えば、マクロブロックラインＭＬ４のｊ列目のマクロブロックＭＢｐｒを処理する前に、マクロブロックＭＢｐｒの上側の周辺画素のデータを、バッファ６４の領域ＡＲｊ（図の太線で囲んだ領域）からデータ転送部６０を介して読み出す。すなわち、マクロブロックＭＢｐｒが処理される前に、マクロブロックラインＭＬ３のｊ列目のマクロブロックＭＢ内の下側の画素のデータが、バッファ６４の領域ＡＲｊから読み出される。
【０１０２】
そして、画像符号化部２０Ａは、読み出した周辺画素のデータを用いて、マクロブロックＭＢｐｒに対する画像符号化処理を実施する。マクロブロックＭＢｐｒ内の下側の画素のデータ（処理結果）は、例えば、マクロブロックラインＭＬ５のｊ列目のマクロブロックＭＢを処理するときに使用される。このため、画像符号化部２０Ａは、マクロブロックＭＢｐｒを処理した後、マクロブロックＭＢｐｒ内の下側の画素のデータを、バッファ６４の領域ＡＲｊ（図の太線で囲んだ領域）にデータ転送部６０を介して書き込む。
【０１０３】
このように、画像符号化部２０Ａは、ｊ列目のマクロブロックＭＢを処理する前に、ｊ列目のマクロブロックＭＢの上側の周辺画素のデータをバッファ６４の領域ＡＲｊからデータ転送部６０を介して読み出す。そして、画像符号化部２０Ａは、ｊ列目のマクロブロックＭＢの処理完了後に、ｊ列目のマクロブロックＭＢ内の下側の画素のデータ（処理結果）をバッファ６４の領域ＡＲｊにデータ転送部６０を介して書き込む。
【０１０４】
なお、マクロブロックＭＢｐｒ内の右側の画素のデータ（処理結果）は、次のマクロブロックＭＢ（マクロブロックラインＭＬ４のｊ＋１列目のマクロブロックＭＢ）を処理するときに使用される。このため、マクロブロックＭＢｐｒ内の右側の画素のデータは、例えば、次のマクロブロックＭＢを処理するまで、予測画像生成部２２やループフィルタ部２９に保持される。
【０１０５】
ここで、画像符号化部２０Ａは、例えば、マクロブロックＭＢｐｒの処理中に、マクロブロックＭＢｐｒの次のマクロブロックＭＢの上側の周辺画素のデータを、バッファ６４の領域ＡＲｊ＋１からデータ転送部６０を介して読み出してもよい。これにより、ｊ＋１列目のマクロブロックＭＢが処理される前に、ｊ＋１列目のマクロブロックＭＢの上側の周辺画素のデータが、バッファ６４の領域ＡＲｊ＋１から読み出される。
【０１０６】
例えば、画像符号化部２０Ａは、ｊ列目のマクロブロックＭＢを処理しているときに、次に処理するｊ＋１列目のマクロブロックＭＢの上側の周辺画素のデータをバッファ６４の領域ＡＲｊ＋１からデータ転送部６０を介して読み出す。そして、画像符号化部２０Ａは、ｊ列目のマクロブロックＭＢの処理完了後に、ｊ列目のマクロブロックＭＢ内の下側の画素のデータ（処理結果）をバッファ６４の領域ＡＲｊにデータ転送部６０を介して書き込む。
【０１０７】
図１２は、図７に示したフレーム内予測用のバッファ６４ａの記憶領域の割り当ての一例を示している。なお、図１２は、図２に示したピクチャＰＩＣを処理するときのバッファ６４ａの記憶領域の割り当ての一例を示している。バッファ６４ａは、例えば、１マクロブロックラインＭＬの各マクロブロックＭＢに対応する領域ＡＲａ０−ＡＲａ１１９を有している。
【０１０８】
４：２：０フォーマットでは、色差成分の水平画素数は、輝度成分の水平画素数の半分である。なお、色差成分がＣｂ面およびＣｒ面の２つ分あるため、Ｃｂ面の水平画素数とＣｒ面の水平画素数の合計は、輝度成分の水平画素数と同じである。したがって、マクロブロックＭＢの上端に隣接する画素を使用するフレーム内予測では、色差成分の処理に必要な水平画素数（図９に示した周辺画素Ｐ１０ｃｒ、Ｐ１０ｃｂの数）は、輝度成分の処理に必要な水平画素数（図９に示した周辺画素Ｐ１０ｙの数）と同じである。
【０１０９】
このため、例えば、バッファ６４ａは、水平画素数（図２では、１９２０）×１画素分の容量を有している。そして、バッファ６４ａは、輝度成分のフレーム内予測と色差成分のフレーム内予測とで兼用される。例えば、輝度成分のフレーム内予測では、処理対象の輝度ブロックＹの上端に隣接する１６×１画素Ｐ１０ｙが各領域ＡＲａに記憶される。また、例えば、色差成分のフレーム内予測では、処理対象の色差ブロックＣｂの上端に隣接する８×１画素Ｐ１０ｃｂと処理対象の色差ブロックＣｒの上端に隣接する８×１画素Ｐ１０ｃｒとが、各領域ＡＲａに記憶される。
【０１１０】
すなわち、バッファ６４ａでは、フレーム内予測に使用される周辺画素の少なくとも一部のデータを記憶する領域ＡＲａが、輝度成分の画像符号化処理と色差成分の画像符号化処理とで兼用される。そして、バッファ６４ａは、輝度成分の画像符号化処理時に、一部のデータの輝度成分（図９に示した周辺画素Ｐ１０ｙ）を記憶し、色差成分の画像符号化処理時に、一部のデータの色差成分（図９に示した周辺画素Ｐ１０ｃｒ、Ｐ１０ｃｂ）を記憶する。
【０１１１】
図１３は、図７に示したデブロッキングフィルタ処理用のバッファ６４ｂの記憶領域の割り当ての一例を示している。なお、図１３は、図２に示したピクチャＰＩＣを処理するときのバッファ６４ｂの記憶領域の割り当ての一例を示している。バッファ６４ｂは、例えば、１マクロブロックラインＭＬの各マクロブロックＭＢに対応する領域ＡＲｂ０−ＡＲｂ１１９を有している。なお、図中の網掛けは、色差成分の処理のときに使用されない領域を示している。
【０１１２】
４：２：０フォーマットでは、Ｃｂ面の水平画素数とＣｒ面の水平画素数の合計は、輝度成分の水平画素数と同じである。また、デブロッキングフィルタ処理では、図１０で説明したように、輝度ブロックＹの水平エッジＨＥＧに対して、４画素の周辺画素Ｐ１２ｙが必要である。そして、色差ブロックＣｒの水平エッジＨＥＧに対して、２画素の周辺画素Ｐ１２ｃｒが必要であり、色差ブロックＣｂの水平エッジＨＥＧに対して、２画素の周辺画素Ｐ１２ｃｂが必要である。
【０１１３】
したがって、デブロッキングフィルタ処理では、色差成分の処理に必要な水平画素数（図１０に示した周辺画素Ｐ１２ｃｒ、Ｐ１２ｃｂの数）は、輝度成分の処理に必要な水平画素数（図１０に示した周辺画素Ｐ１２ｙの数）の半分である。このため、バッファ６４ｂは、輝度成分の処理に必要な水平画素のデータを記憶する容量を有している。そして、バッファ６４ｂは、輝度成分のデブロッキングフィルタ処理と色差成分のデブロッキングフィルタ処理とで兼用される。例えば、バッファ６４ｂは、水平画素数（図２では、１９２０）×４画素分の容量を有している。なお、輝度成分の処理では、バッファ６４ｂの半分の容量が使用される。
【０１１４】
例えば、輝度成分のデブロッキングフィルタ処理では、処理対象の輝度ブロックＹの水平エッジＨＥＧの上側の１６×４画素Ｐ１２ｙが、各領域ＡＲｂに記憶される。また、例えば、色差成分のデブロッキングフィルタ処理では、処理対象の色差ブロックＣｂの水平エッジＨＥＧの上側の８×２画素Ｐ１２ｃｂと処理対象の色差ブロックＣｒの水平エッジＨＥＧの上側の８×２画素Ｐ１２ｃｒとが、各領域ＡＲｂに記憶される。なお、図１３では、色差成分の処理のときの未使用領域（図の網掛け）をまとめて示しているが、未使用領域は、各領域ＡＲｂ内に割り当てられてもよい。
【０１１５】
このように、バッファ６４ｂでは、デブロッキングフィルタ処理に使用される周辺画素の少なくとも一部のデータを記憶する領域ＡＲｂが、輝度成分の画像符号化処理と色差成分の画像符号化処理とで兼用される。そして、バッファ６４ｂは、輝度成分の画像符号化処理時に、一部のデータの輝度成分（図１０に示した周辺画素Ｐ１２ｙ）を記憶し、色差成分の画像符号化処理時に、一部のデータの色差成分（図１０に示した周辺画素Ｐ１２ｃｒ、Ｐ１２ｃｂ）を記憶する。
【０１１６】
図１４は、図７に示したキャッシュ６２の動作の一例を示している。図のピクチャＰＩＣの下側に付した数字は、マクロブロックＭＢの列番号を示している。また、図の網掛けは、マクロブロックラインＭＬ４の３列目のマクロブロックＭＢの処理中に、キャッシュ６２に記憶される参照画像のマクロブロックＭＢを示している。なお、マクロブロックＭＢｐｒ（相対的に濃い網掛け）は、処理対象のマクロブロックＭＢの位置に対応する参照画像（参照フレーム）内のマクロブロックＭＢを示している。また、マクロブロックＭＢｎｄは、次のマクロブロックＭＢの処理のときにキャッシュ６２から削除されるマクロブロックＭＢを示している。そして、マクロブロックＭＢｎｆは、次のマクロブロックＭＢの処理のときにキャッシュ６２に書き込まれるマクロブロックＭＢを示している。
【０１１７】
キャッシュ６２は、例えば、数マクロブロックラインＭＬ分の容量を有している。そして、キャッシュ６２は、参照される可能性の高い領域の画像データ（参照画像データＲＩＭＧの候補）を、処理中のマクロブロックＭＢの位置に合わせて自動的にプリフェッチする。例えば、キャッシュ６２は、処理対象のマクロブロックＭＢの位置に対応する参照フレーム内のマクロブロックＭＢｐｒの周辺の画像データを常に保持する。そして、キャッシュ６２のデータは、例えば、１マクロブロックＭＢを処理する度に更新される。
【０１１８】
例えば、マクロブロックラインＭＬ４の４列目のマクロブロックＭＢの処理（マクロブロックＭＢｐｒの次のマクロブロックＭＢに対応する処理）では、プリフェッチされている上端のマクロブロックラインＭＬ１から１つのマクロブロックＭＢｎｄが削除される。そして、プリフェッチされている下端のマクロブロックラインＭＬ６に１つのマクロブロックＭＢｎｆが追加される。
【０１１９】
すなわち、キャッシュ６２は、例えば、１マクロブロックＭＢが処理される度に、プリフェッチされている上端のマクロブロックラインＭＬから１マクロブロックＭＢを削除し、プリフェッチされている下端のマクロブロックラインＭＬに１マクロブロックＭＢを追加する。
【０１２０】
動画像処理では、処理対象のマクロブロックＭＢと空間的に近い領域が参照される確率が高い。このため、図１４に示したように、処理対象のマクロブロックＭＢの周辺の画素データをキャッシュ６２がプリフェッチすることにより、キャッシュ６２のヒット率は高くなる。さらに、この実施形態では、輝度成分の画像符号化処理と色差成分の画像符号化処理とをピクチャＰＩＣ単位で切り替えるため、輝度成分の参照画像を読み出すときと色差成分の参照画像を読み出すときとでキャッシュ６２を兼用できる。すなわち、キャッシュ６２は、輝度成分の処理と色差成分の処理とで兼用される。
【０１２１】
例えば、キャッシュ６２の容量が１２８Ｋｂｙｔｅ、１画素のデータ量が１ｂｙｔｅ、水平サイズが２Ｋｂｙｔｅのとき、キャッシュ６２は、６４行分の参照画像の輝度成分を保持でき、１２８行分の参照画像の色差成分を保持できる。
【０１２２】
ここで、輝度成分の画像符号化処理と色差成分の画像符号化処理とをマクロブロックＭＢ単位で切り替えて実施する方式では、参照画像の輝度成分および色差成分の両方を同時にキャッシュ６２に記憶させる必要がある。したがって、輝度成分の画像符号化処理と色差成分の画像符号化処理とをマクロブロックＭＢ単位で切り替えて実施する方式では、キャッシュメモリ６２の容量が増加する。換言すれば、この実施形態では、キャッシュメモリ６２の容量を削減できる。あるいは、この実施形態では、輝度成分の画像符号化処理と色差成分の画像符号化処理とをマクロブロックＭＢ単位で切り替えて実施する方式と同じ容量のキャッシュメモリ６２を有するときには、キャッシュ６２のヒット率を高めることができる。
【０１２３】
なお、動画像処理システムＥＳＹＳの構成および動作は、この例に限定されない。例えば、４：４：４フォーマットでは、バッファ６４の容量は、色差成分の処理に必要な水平画素のデータを記憶する容量を有する。すなわち、バッファ６４は、輝度成分の処理と色差成分の処理とのうち、処理に必要な水平画素のデータ量が大きい方のデータを記憶する容量を有する。また、例えば、ループフィルタ部２９およびバッファ６４ｂは、省かれてもよい。すなわち、バッファ６４は、フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の少なくとも一方の少なくとも一部のデータを記憶する。
【０１２４】
また、例えば、輝度成分および色差成分に対するそれぞれの画像符号化処理の切り替え単位は、図５に示したようにスライスＳＬ単位でもよいし、図６に示したように複数のマクロブロックラインＭＬを含む分割領域ＳＧ単位でもよい。なお、スライスＳＬ単位や分割領域ＳＧ単位切り替えでは、輝度成分の画像符号化処理と色差成分の画像符号化処理とがピクチャＰＩＣの途中で切り替わるため、キャッシュ６２およびバッファ６４の読み直しが発生する。
【０１２５】
また、キャッシュ６２は、例えば、キャッシュミスしたとき、メモリ８０から読み出された参照画像データＲＩＭＧを記憶してもよい。この方式では、例えば、キャッシュ６２は、プロッセサで使用されているキャッシュ管理（タグ管理）により制御される。
【０１２６】
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、この実施形態では、動画像処理装置１０Ａの内部メモリであるキャッシュ６２やバッファ６４の容量を削減できる。
【０１２７】
図１５は、別の実施形態における動画像処理システムＥＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の動画像処理システムＥＳＹＳは、図７に示した動画像処理装置１０Ａの代わりに動画像処理装置１０Ｂを有している。動画像処理システムＥＳＹＳのその他の構成は、上述した実施形態と同じである。
【０１２８】
例えば、動画像処理システムＥＳＹＳは、画像データＩＩＭＧをＭＰＥＧやＨ．２６４等に準拠した符号化方式で符号化する動画像処理装置１０Ｂと、動画像処理装置１０Ｂに接続されるメモリ８０とを有している。動画像処理装置１０Ｂは、例えば、メモリ８０とは別のチップに形成される。
【０１２９】
動画像処理装置１０Ｂは、図７に示した動画像処理装置１０Ａに画像前処理部３２が追加され、画像符号化部２０Ａの代わりに画像符号化部２０Ｂを有している。動画像処理装置１０Ｂのその他の構成は、動画像処理装置１０Ａと同じである。例えば、動画像処理装置１０Ｂは、画像符号化部２０Ｂ、画像前処理部３２、可変長符号化部４０、データ転送部６０、キャッシュ６２およびバッファ６４（６４ａ、６４ｂ）を有している。
【０１３０】
画像前処理部３２は、例えば、コスト算出部３３、３４を有し、データ転送部６０に接続されている。コスト算出部３３は、例えば、入力画像データをメモリ８０からデータ転送部６０を介して受ける。そして、コスト算出部３３は、入力画像データの輝度成分および色差成分を用いて、フレーム内予測のモードおよびコスト（差分絶対値和等）をマクロブロックＭＢ毎に算出する。すなわち、コスト算出部３３は、フレーム内予測における輝度成分のコストおよび色差成分のコストをマクロブロックＭＢ毎に算出する。
【０１３１】
コスト算出部３３で算出されたフレーム内予測のモードおよびコストは、例えば、データ転送部６０を介してメモリ８０に記憶され、画像符号化部２０Ｂで使用される。なお、コスト算出部３３は、フレーム内予測のモードおよびコストを、メモリ８０を介さずに、画像符号化部２０Ｂに出力してもよい。例えば、コスト算出部３３は、フレーム内予測のモードおよびコストを、データ転送部６０を介して画像符号化部２０Ｂに出力してもよい。この際、フレーム内予測のモードおよびコストは、画像符号化部２０Ｂで使用されるまでコスト算出部３３内に保持されてもよいし、画像符号化部２０Ｂで使用されるまで画像符号化部２０Ｂ内に保持されてもよい。
【０１３２】
コスト算出部３４は、例えば、フレーム間予測における階層的動きベクトル探索処理の前段探索処理を実施する。例えば、コスト算出部３４は、縮小画像データをメモリ８０からデータ転送部６０を介して受ける。そして、コスト算出部３４は、縮小画像データの輝度成分および色差成分を用いて、粗い精度の動きベクトルおよびコストをマクロブロックＭＢ毎に算出する。すなわち、コスト算出部３４は、フレーム間予測における輝度成分のコストおよび色差成分のコストをマクロブロックＭＢ毎に算出する。
【０１３３】
コスト算出部３４で算出された動きベクトルおよびコストは、例えば、データ転送部６０を介してメモリ８０に記憶され、画像符号化部２０Ｂで使用される。なお、コスト算出部３４は、動きベクトルおよびコストを、メモリ８０を介さずに、画像符号化部２０Ｂに出力してもよい。例えば、コスト算出部３４は、動きベクトルおよびコストを、データ転送部６０を介して画像符号化部２０Ｂに出力してもよい。この際、動きベクトルおよびコストは、画像符号化部２０Ｂで使用されるまでコスト算出部３４内に保持されてもよいし、画像符号化部２０Ｂで使用されるまで画像符号化部２０Ｂ内に保持されてもよい。
【０１３４】
画像符号化部２０Ｂは、図７に示した画像符号化部２０Ａにスケール決定部３０が追加されている。画像符号化部２０Ｂのその他の構成は、画像符号化部２０Ａと同じである。例えば、画像符号化部２０Ｂは、ピクチャＰＩＣの全ての輝度ブロックＹに対して画像符号化処理を実施した後に、色差ブロックＣｂ、Ｃｒに対して画像符号化処理を実施する。このため、例えば、画像符号化部２０Ｂは、マクロブロックタイプ、動きベクトル、量子化スケール等の輝度成分および色差成分の処理で共通に使用されるパラメータを、輝度ブロックＹの画像符号化処理時に確定する。
【０１３５】
最終的な動きベクトルは、例えば、輝度ブロックＹの画像符号化処理時に、動きベクトル探索部２１での後段探索処理により算出される。例えば、動きベクトル探索部２１は、コスト算出部３４で算出された粗い精度の動きベクトルを中心に、動きベクトル探索を実施する。これにより、最終的な動きベクトルやブロック分割が決定される。なお、動きベクトル探索部２１による後段探索処理は、画像データＩＩＭＧ、ＲＩＭＧの輝度成分を用いて実施される。すなわち、動きベクトル探索部２１は、画像データＩＩＭＧ、ＲＩＭＧの色差成分を用いずに、後段探索処理を実施する。
【０１３６】
マクロブロックタイプは、例えば、フレーム内予測のモードおよびコストと、フレーム間予測のモード、ベクトル値およびコストとに基づいて決定される。例えば、マクロブロックタイプは、動きベクトル探索部２１での後段探索処理後に、決定される。画像符号化部２０Ｂは、例えば、コスト算出部３３で算出されたフレーム内予測のモードおよびコストと、コスト算出部３４で算出されたフレーム間予測のモードおよびコストと、動きベクトル探索部２１で算出されたブロック分割および動きベクトルとに基づいて、マクロブロックタイプを決定する。例えば、フレーム内予測およびフレーム間予測の各モードの中で最もコストが小さいものが選択され、マクロブロックタイプが決定される。
【０１３７】
量子化スケールは、例えば、符号量制御アルゴリズムにしたがって決定される。符号量制御アルゴリズムでは、ピクチャＰＩＣのターゲット符号量に収まるように、マクロブロックＭＢ単位で量子化スケールを調整することにより、符号量が制御される。例えば、符号量制御アルゴリズムでは、マクロブロックＭＢ毎に符号量を算出して累積し、処理済みのマクロブロックＭＢの累積符号量と各マクロブロックＭＢの処理時点での目標符号量とを比較する。なお、目標符号量は、例えば、ピクチャＰＩＣのターゲット符号量から算出される。
【０１３８】
符号量制御アルゴリズムでは、累積符号量が目標符号量より大きいとき、次のマクロブロックＭＢでの量子化スケールを大きくして符号量を減らすように制御する。また、符号量制御アルゴリズムでは、累積符号量が目標符号量より小さいとき、次のマクロブロックＭＢでの量子化スケールを小さくして符号量を増やす（画質を上げる）ように制御する。
【０１３９】
なお、この実施形態では、輝度成分の画像符号化処理が１ピクチャＰＩＣ分実施された後に、色差成分の画像符号化処理が１ピクチャＰＩＣ分実施されるため、マクロブロックＭＢ単位の符号量制御に色差成分の符号量を利用できない。このため、この実施形態では、マクロブロックＭＢ単位の符号量制御に、画像前処理部３２で算出された輝度成分のコストおよび色差成分のコストを色差成分の符号量の代わりに利用する。なお、画像符号化処理をストリームの構成順に実施する一般的な動画像符号化装置（例えば、図４に示した比較例）では、マクロブロックＭＢ単位の符号量制御に色差成分の符号量を利用できるため、量子化スケールをマクロブロックＭＢ単位で決定する際に、輝度成分のコストおよび色差成分のコストは利用されない。
【０１４０】
これに対し、この実施形態では、輝度成分のコストと色差成分のコストとマクロブロックＭＢの輝度成分の符号量に応じた仮の量子化スケールとを利用して、量子化スケールを輝度ブロックＹの画像符号化処理時に決定する。例えば、スケール決定部３０は、マクロブロックＭＢの輝度成分（輝度ブロックＹ）の符号量に応じた仮の量子化スケールを、符号量制御アルゴリズムにしたがって算出する。以下、仮の量子化スケールを基準値とも称する。すなわち、基準値は、輝度成分の符号量に応じて算出される。
【０１４１】
そして、スケール決定部３０は、画像前処理部３２で算出された輝度成分のコストおよび色差成分のコストと基準値とに基づいて、量子化スケールをマクロブロックＭＢ単位で決定する。例えば、スケール決定部３０は、輝度成分のコストを色差成分のコストで除算した除算結果が第１閾値より小さいとき、量子化スケールを基準値より大きな値に決定する。また、スケール決定部３０は、輝度成分のコストを色差成分のコストで除算した除算結果が第２閾値より大きいとき、量子化スケールを基準値より小さい値に決定する。なお、第２閾値は、第１閾値以上の値である。したがって、第２閾値は、第１閾値と同じでもよい。
【０１４２】
あるいは、スケール決定部３０は、例えば、式（１）が成り立つとき、量子化スケールを基準値より大きくし、式（２）が成り立つとき、量子化スケールを基準値より小さくする。なお、式（１）、式（２）のａ１、ａ２は、正の値である。また、式（１）のＴＨ１は、任意の値である。式（２）のＴＨ２は、式（１）のＴＨ１以上の値である。したがって、式（２）のＴＨ２は、式（１）のＴＨ１と同じ値でもよい。
【０１４３】
輝度成分のコスト×ａ１−色差成分のコスト×ａ２＜ＴＨ１ ‥‥（１）
輝度成分のコスト×ａ１−色差成分のコスト×ａ２＞ＴＨ２ ‥‥（２）
このように、スケール決定部３０は、色差ブロックＣｂ、Ｃｒの符号量が想定よりも大きくなる可能性があるときに、量子化スケールを大きくする。また、スケール決定部３０は、色差ブロックＣｂ、Ｃｒの符号量が想定よりも小さくなる可能性があるときに、量子化スケールを小さくする。これにより、この実施形態では、輝度ブロックＹのみで符号量制御を実施する方式に比べて、符号量制御を適切に実施できる。
【０１４４】
図１６は、図１５に示した動画像処理システムＥＳＹＳの動作の一例を示している。なお、図１６の画像前処理は、画像前処理部３２で実施されるコスト算出等の処理である。動画像処理システムＥＳＹＳは、例えば、画像前処理、画像符号化処理、可変長符号化処理の順に、１ピクチャＰＩＣの符号化処理を実施する。
【０１４５】
例えば、画像前処理部３２は、ピクチャＰＩＣ毎に画像前処理を順次実施する（図１６の画像前処理のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ）、ＰＩＣ１（Ｙ、Ｃｂ、Ｃｒ））。そして、画像符号化部２０Ｂは、図４および図５で説明したように、輝度成分の画像符号化処理と色差成分の画像符号化処理とを、ピクチャＰＩＣ単位で切り替えて実施する（図１６のＰＩＣ０（Ｙ）、ＰＩＣ０（Ｃｂ、Ｃｒ）、ＰＩＣ１（Ｙ）、ＰＩＣ１（Ｃｂ、Ｃｒ））。また、可変長符号化部４０は、符号化データＣＩＭＧの輝度成分および符号化データＣＩＭＧの色差成分の両方が生成された後、可変長符号化処理を実施する（図１６の可変長符号化処理のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ）、ＰＩＣ１（Ｙ、Ｃｂ、Ｃｒ））。なお、可変長符号化部４０は、図４で説明したように、輝度成分の可変長符号化処理と色差成分の可変長符号化処理とを、マクロブロックＭＢ単位で切り替えて実施する。
【０１４６】
なお、動画像処理システムＥＳＹＳの構成および動作は、この例に限定されない。例えば、スケール決定部３０は、画像符号化部２０Ｂの外部に設けられてもよい。あるいは、画像前処理部３２は、画像符号化部２０Ｂ内に設けられてもよい。また、例えば、輝度成分および色差成分に対するそれぞれの画像符号化処理の切り替え単位は、図５に示したようにスライスＳＬ単位でもよいし、図６に示したように複数のマクロブロックラインＭＬを含む分割領域ＳＧ単位でもよい。
【０１４７】
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、スケール決定部３０は、画像前処理部３２で算出された輝度成分のコストおよび色差成分のコストと、輝度成分の符号量に応じて算出される基準値とに基づいて、量子化スケールをマクロブロックＭＢ単位で決定する。これにより、この実施形態では、符号量制御をマクロブロックＭＢ毎に適切に実施できる。
【０１４８】
図１７は、別の実施形態における動画像処理システムＤＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の動画像処理システムＤＳＹＳは、例えば、ＭＰＥＧやＨ．２６４等に準拠したデコーダである。なお、動画像処理システムＤＳＹＳも画像処理装置の一態様を形成する。
【０１４９】
例えば、動画像処理システムＤＳＹＳは、ＭＰＥＧやＨ．２６４等に準拠した符号化ストリームＳＴＲＭを復号する動画像処理装置１００と、動画像処理装置１００に接続されるメモリ８０とを有している。符号化ストリームＳＴＲＭは、例えば、ＭＰＥＧやＨ．２６４等に準拠した方式で可変長符号化された可変長符号化データである。
【０１５０】
動画像処理装置１００は、画像復号部１２０、可変長復号部１４０およびデータ転送部１６０を有している。例えば、動画像処理装置１００は、メモリ８０とは別のチップに形成される。
【０１５１】
可変長復号部１４０は、ＭＰＥＧやＨ．２６４等に準拠したＣＡＶＬＣやＣＡＢＡＣ等の可変長復号処理を実施する。例えば、可変長復号部１４０は、可変長符号化された符号化ストリームＳＴＲＭを受ける。なお、可変長復号部１４０は、符号化ストリームＳＴＲＭをメモリ８０からデータ転送部１６０を介して受けてもよい。そして、可変長復号部１４０は、符号化ストリームＳＴＲＭを可変長復号し、符号化データＣＩＭＧを生成する。
【０１５２】
また、可変長復号部１４０は、符号化ストリームＳＴＲＭを可変長復号した符号化データＣＩＭＧを、データ転送部１６０を介してメモリ８０のデータバッファ８４に記憶する。なお、可変長復号部１４０は、符号化ストリームＳＴＲＭの輝度成分を可変長復号する輝度成分の可変長復号処理と符号化ストリームＳＴＲＭの色差成分を可変長復号する色差成分の可変長復号処理とを、符号化ストリームＳＴＲＭのデータ構成順通り、マクロブロックＭＢ単位で切り替えて実施する。
【０１５３】
画像復号部１２０は、逆量子化、逆直交変換および動き補償等の画像復号処理を実施する。例えば、画像復号部１２０は、復号対象の符号化データＣＩＭＧを、データ転送部１６０を介してメモリ８０のデータバッファ８４から受ける。また、画像復号部１２０は、例えば、フレーム間予測の予測画像を生成するための参照画像データＲＩＭＧを、データ転送部１６０を介してメモリ８０のフレームメモリ８２から受ける。そして、画像復号部１２０は、符号化データＣＩＭＧに対して画像復号処理を実施し、デコード画像データＤＩＭＧを生成する。
【０１５４】
また、画像復号部１２０は、デコード画像データＤＩＭＧを、データ転送部６０を介してメモリ８０のフレームメモリ８２に記憶する。なお、画像復号部１２０は、輝度成分の画像復号処理と色差成分の画像復号処理とを、所定単位（例えば、ピクチャＰＩＣ単位）で切り替えて実施する。画像復号処理においても、例えば、図９に示した周辺画素Ｐ１０、Ｐ２０、Ｐ３０をフレーム内予測で使用する。また、デブロッキングフィルタ処理を実施する画像復号処理では、例えば、図１０に示した周辺画素Ｐ１２、Ｐ２２、Ｐ３２をデブロッキングフィルタ処理で使用する。フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の使い方は、上述した実施形態と同じである。
【０１５５】
データ転送部１６０は、上述した実施形態のデータ転送部６０に対応する。すなわち、データ転送部１６０は、例えば、メモリ８０へのアクセスを制御するアクセス制御部としての機能を有している。例えば、データ転送部１６０は、画像復号部１２０および可変長復号部１４０のメモリアクセス制御を実施する。また、例えば、データ転送部１６０は、図３で説明したように、データバッファ８４を、ヘッダデータを記憶するヘッダ領域ＨＲＡ、符号化データＣＩＭＧの輝度成分を記憶する輝度データ領域ＹＲＡおよび符号化データＣＩＭＧの色差成分を記憶する色差データ領域ＣＲＡに分けて管理する。
【０１５６】
これにより、この実施形態では、動画像処理装置１００の処理順序（例えば、図１８に示す動作）に対して、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域を、各領域のライトポインタおよびリードポインタによって簡単に制御できる。例えば、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡに関しては、各領域内では、可変長復号処理で書き込んだ順に、画像復号処理で読み出せばよいので、ＦＩＦＯのように制御できる。
【０１５７】
また、ヘッダ領域ＨＲＡに関しては、輝度成分の画像復号処理と色差成分の画像復号処理で２度読み出すが、両方とも可変長復号処理で書き込んだ順番に読み出せばよいので、制御としては基本的にはＦＩＦＯと同様である。なお、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域は、マクロブロックＭＢ単位でデータ量が可変である。このため、例えば、データ転送部１６０は、ライトポインタおよびリードポインタを領域毎に用いて、データバッファ８４を管理する。
【０１５８】
メモリ８０は、例えば、ＳＤＲＡＭである。メモリ８０は、フレームメモリ８２およびデータバッファ８４を有している。例えば、フレームメモリ８２およびデータバッファ８４は、ＳＤＲＡＭ上に配置される。なお、メモリ８０は、ＳＤＲＡＭ以外のメモリでもよい。例えば、メモリ８０は、ＤＲＡＭでもよい。フレームメモリ８２は、デコード画像データＤＩＭＧや参照画像データＲＩＭＧ等を記憶する。データバッファ８４は、可変長復号部１４０により生成された符号化データＣＩＭＧを記憶する。例えば、データバッファ８４は、可変長復号部１４０と画像復号部１２０との間で、符号化データＣＩＭＧを並び換えるために使用される。
【０１５９】
図１８は、図１７に示した動画像処理システムＤＳＹＳの動作の一例を示している。図中のマクロブロックＭＢ０は、最初に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ０の左端のマクロブロックＭＢ）を示している。また、図中のマクロブロックＭＢｎは、最後に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ６７の右端のマクロブロックＭＢ）を示している。また、ピクチャＰＩＣ１は、ピクチャＰＩＣ０の次に処理されるピクチャＰＩＣを示している。なお、図１８の括弧内の動作は、比較例の画像復号処理を示している。
【０１６０】
動画像処理システムＤＳＹＳは、例えば、可変長復号処理、画像復号処理の順に、１ピクチャＰＩＣの復号処理を実施する。なお、この実施形態では、可変長復号処理と画像復号処理とでデータの処理順序が異なる制御を実施する。例えば、可変長復号部１４０は、ＭＰＥＧやＨ．２６４等に準拠したストリームの構成順に、可変長復号処理を実施する。そして、画像復号部１２０は、１ピクチャＰＩＣ分の輝度成分の画像復号処理を実施した後、色差成分の画像復号処理を実施する。このため、符号化ストリームＳＴＲＭを可変長復号した符号化データＣＩＭＧは、可変長復号部１４０から画像復号部１２０にデータバッファ８４を介して転送される。
【０１６１】
時刻ｔ１００では、例えば、可変長復号部１４０は、ピクチャＰＩＣ０の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図の可変長復号処理のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ））。例えば、可変長復号部１４０は、各マクロブロックＭＢに対して、可変長復号処理を輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３、色差ブロックＣｂ、Ｃｒの順に実施する。
【０１６２】
これにより、ピクチャＰＩＣ０の符号化データＣＩＭＧが生成される。符号化ストリームＳＴＲＭを可変長復号した符号化データＣＩＭＧは、メモリ８０のデータバッファ８４に記憶される。例えば、可変長復号部１４０は、符号化データＣＩＭＧの輝度成分および色差成分を、データ転送部１６０を介してデータバッファ８４の輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡにそれぞれ書き込む。また、可変長復号部１４０は、符号化データＣＩＭＧのヘッダデータを、データ転送部１６０を介してデータバッファ８４のヘッダ領域ＨＲＡに書き込む。ヘッダデータは、例えば、マクロブロックタイプ、動きベクトル、量子化スケール等のパラメータである。
【０１６３】
次に、可変長復号部１４０は、ピクチャＰＩＣ１の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図の可変長復号処理のＰＩＣ１（Ｙ、Ｃｂ、Ｃｒ））。このように、可変長復号部１４０は、符号化ストリームＳＴＲＭの輝度成分を復号する輝度成分の可変長復号処理と符号化ストリームＳＴＲＭの色差成分を復号する色差成分の可変長復号処理とを、符号化ストリームＳＴＲＭのデータ構成順通り、マクロブロックＭＢ単位で切り替えて実施する。
【０１６４】
なお、ピクチャＰＩＣ０の画像復号処理は、例えば、ピクチャＰＩＣ０の符号化データＣＩＭＧが生成された後（時刻ｔ１１０）、実施される。また、ピクチャＰＩＣ１の画像復号処理は、ピクチャＰＩＣ１の符号化データＣＩＭＧが生成された後（時刻ｔ１２０）、実施される。
【０１６５】
例えば、時刻ｔ１１０では、画像復号部１２０は、ピクチャＰＩＣ０の符号化データＣＩＭＧ（可変長復号部１４０により生成された符号化データＣＩＭＧ）の輝度成分を、データバッファ８４の輝度データ領域ＹＲＡからデータ転送部１６０を介して読み出す。この際、画像復号部１２０は、ヘッダデータをデータバッファ８４のヘッダ領域ＨＲＡからデータ転送部１６０を介して読み出し、処理対象のマクロブロックＭＢのパラメータを取得する。そして、画像復号部１２０は、ピクチャＰＩＣ０の輝度成分に対する画像復号処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ０（Ｙ））。例えば、画像復号部１２０は、各マクロブロックＭＢに対して、画像復号処理を輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３の順に実施する。これにより、デコード画像データＤＩＭＧの輝度成分が生成される。デコード画像データＤＩＭＧの輝度成分は、メモリ８０のフレームメモリ８２に記憶される。
【０１６６】
次に、画像復号部１２０は、例えば、ピクチャＰＩＣ０の符号化データＣＩＭＧ（可変長復号部１４０により生成された符号化データＣＩＭＧ）の色差成分を、データバッファ８４の色差データ領域ＣＲＡからデータ転送部１６０を介して読み出す。この際、画像復号部１２０は、ヘッダデータをデータバッファ８４のヘッダ領域ＨＲＡからデータ転送部１６０を介して再度読み出し、処理対象のマクロブロックＭＢのパラメータを取得する。
【０１６７】
そして、画像復号部１２０は、ピクチャＰＩＣ０の色差成分に対する画像復号処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ０（Ｃｂ、Ｃｒ））。例えば、画像復号部１２０は、各マクロブロックＭＢに対して、画像復号処理を色差ブロックＣｂ、Ｃｒの順に実施する。これにより、デコード画像データＤＩＭＧの色差成分が生成される。デコード画像データＤＩＭＧの色差成分は、メモリ８０のフレームメモリ８２に記憶される。ここまでの動作により、ピクチャＰＩＣ０のデコード画像データＤＩＭＧがフレームメモリ８２に記憶される。
【０１６８】
そして、画像復号部１２０は、ピクチャＰＩＣ０の次のピクチャＰＩＣ１の輝度成分に対する画像復号処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ１（Ｙ））。その後、画像復号部１２０は、ピクチャＰＩＣ１の色差成分に対する画像復号処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ１（Ｃｂ、Ｃｒ））。
【０１６９】
このように、画像復号部１２０は、先ず、輝度ブロックＹの１ピクチャＰＩＣ分の画像復号処理を実施し、次に、色差ブロックＣｂ、Ｃｒの１ピクチャＰＩＣ分の画像復号処理を実施する。すなわち、画像復号部１２０は、符号化データＣＩＭＧの輝度成分を復号する輝度成分の画像復号処理と符号化データＣＩＭＧの色差成分を復号する色差成分の画像復号処理とを、ピクチャＰＩＣ単位で切り替えて実施する。
【０１７０】
ここで、比較例（図の括弧内の動作）では、ＭＰＥＧやＨ．２６４等に準拠したストリームの構成順に、画像復号処理が実施される（図の比較例のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ））。このため、比較例では、画像復号処理に必要な周辺画素を一時的に記憶する内部メモリ等には、輝度画素および色差画素の両方のデータが記憶される。したがって、内部メモリの容量は、増加する。
【０１７１】
これに対し、この実施形態では、画像復号部１２０は、輝度成分の画像復号処理と色差成分の画像復号処理とを、ピクチャＰＩＣ単位で切り替えて実施する。これにより、この実施形態では、例えば、画像復号処理に必要な周辺画素を一時的に記憶する内部メモリを、輝度画素と色差画素とで兼用できる。この結果、画像処理に必要な内部メモリの容量を削減できる。ここで、内部メモリは、例えば、図９に示したフレーム内予測用の周辺画素や図１０に示したデブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶するバッファ等である。なお、フレーム間予測の参照画像の読み出しにキャッシュメモリを使用する動画像処理装置では、キャッシュメモリも内部メモリに含まれる。
【０１７２】
図１９は、スライスＳＬ単位切り替えとピクチャＰＩＣ単位切り替えとの比較を示している。なお、図１９は、図２に示したピクチャＰＩＣを処理するときの動画像処理システムＤＳＹＳの動作の一例を示している。ピクチャＰＩＣ単位切り替えの動作は、図１８で説明しているため、詳細な説明を省略する。スライスＳＬ単位切り替えでは、動画像処理システムＤＳＹＳは、可変長復号処理、画像復号処理の順に、１スライスＳＬの復号処理を実施する。
【０１７３】
例えば、時刻ｔ１００では、可変長復号部１４０は、スライスＳＬ０（マクロブロックラインＭＬ０−ＭＬ３３）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＬ０（Ｙ、Ｃｂ、Ｃｒ））。これにより、スライスＳＬ０の符号化データＣＩＭＧが生成される。符号化データＣＩＭＧは、メモリ８０のデータバッファ８４に記憶される。次に、可変長復号部１４０は、スライスＳＬ０の次のスライスＳＬ１（マクロブロックラインＭＬ３４−ＭＬ６７）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＬ１（Ｙ、Ｃｂ、Ｃｒ））。これにより、スライスＳＬ１の符号化データＣＩＭＧが生成される。符号化データＣＩＭＧは、メモリ８０のデータバッファ８４に記憶される。ここまでの動作により、ピクチャＰＩＣ０の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【０１７４】
なお、スライスＳＬ０の画像復号処理は、例えば、スライスＳＬ０の符号化データＣＩＭＧが生成された後（時刻ｔ１０２）、実施される。また、スライスＳＬ１の画像復号処理は、スライスＳＬ１の符号化データＣＩＭＧが生成された後（時刻ｔ１１０ａ）、実施される。
【０１７５】
例えば、時刻ｔ１０２では、画像復号部１２０は、スライスＳＬ０の輝度成分の画像復号処理を実施する（図のＳＬ０（Ｙ））。これにより、デコード画像データＤＩＭＧの輝度成分が生成される。デコード画像データＤＩＭＧの輝度成分は、メモリ８０のフレームメモリ８２に記憶される。次に、画像復号部１２０は、スライスＳＬ０の色差成分の画像復号処理を実施する（図のＳＬ０（Ｃｂ、Ｃｒ））。これにより、デコード画像データＤＩＭＧの色差成分が生成される。デコード画像データＤＩＭＧの色差成分は、メモリ８０のフレームメモリ８２に記憶される。ここまでの動作により、スライスＳＬ０のデコード画像データＤＩＭＧがフレームメモリ８２に記憶される。
【０１７６】
そして、画像復号部１２０は、スライスＳＬ０の次のスライスＳＬ１の輝度成分の画像復号処理を実施する（図のＳＬ１（Ｙ））。その後、画像復号部１２０は、スライスＳＬ１の色差成分の画像復号処理を実施する（図のＳＬ１（Ｃｂ、Ｃｒ））。ここまでの動作により、ピクチャＰＩＣ０のデコード画像データＤＩＭＧがフレームメモリ８２に記憶される。このように、画像復号部１２０は、符号化データＣＩＭＧの輝度成分を復号する輝度成分の画像復号処理と符号化データＣＩＭＧの色差成分を復号する色差成分の画像復号処理とを、スライスＳＬ単位で切り替えて実施する。
【０１７７】
スライスＳＬ単位切り替えでは、スライスＳＬ０の符号化データＣＩＭＧがデータバッファ８４に記憶された時点で画像復号処理を開始できるため、ピクチャＰＩＣ単位切り替えに比べて、復号遅延を抑制できる。例えば、ピクチャＰＩＣ単位切り替えでは、ピクチャＰＩＣ０の画像復号処理は、時刻ｔ１０２より遅い時刻ｔ１１０に開始され、時刻ｔ１１４に終了する。これに対し、スライスＳＬ単位切り替えでは、ピクチャＰＩＣ０の画像復号処理は、時刻ｔ１１４より早い時刻ｔ１１２に終了する。なお、スライスＳＬ単位切り替えでは、輝度成分の画像復号処理と色差成分の画像復号処理とがピクチャＰＩＣの途中（スライスＳＬの境界）で切り替わるため、画像復号処理に必要な周辺画素を一時的に記憶する内部メモリの読み直しが発生する。
【０１７８】
図２０は、図１７に示した動画像処理システムＤＳＹＳの動作の別の例を示している。なお、図２０は、図２に示したピクチャＰＩＣを４分割した分割領域ＳＧ（１７行のマクロブロックラインＭＬ）単位で輝度成分の画像復号処理と色差成分の画像復号処理とを切り替えるときの動作を示している。なお、分割領域ＳＧは、スライスＳＬより大きくてもよいし、小さくてもよい。分割領域ＳＧ単位切り替えでは、動画像処理システムＤＳＹＳは、可変長復号処理、画像復号処理の順に、１分割領域ＳＧの復号処理を実施する。
【０１７９】
例えば、時刻ｔ１００では、可変長復号部１４０は、分割領域ＳＧ０（マクロブロックラインＭＬ０−ＭＬ１６）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＧ０（Ｙ、Ｃｂ、Ｃｒ））。次に、可変長復号部１４０は、分割領域ＳＧ０の次の分割領域ＳＧ１（マクロブロックラインＭＬ１７−ＭＬ３３）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＧ１（Ｙ、Ｃｂ、Ｃｒ））。そして、可変長復号部１４０は、分割領域ＳＧ１の次の分割領域ＳＧ２（マクロブロックラインＭＬ３４−ＭＬ５０）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＧ２（Ｙ、Ｃｂ、Ｃｒ））。その後、可変長復号部１４０は、分割領域ＳＧ２の次の分割領域ＳＧ３（マクロブロックラインＭＬ５１−ＭＬ６７）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＧ３（Ｙ、Ｃｂ、Ｃｒ））。ここまでの動作により、ピクチャＰＩＣ０の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【０１８０】
なお、各分割領域ＳＧ０−ＳＧ３の画像復号処理は、例えば、各分割領域ＳＧの符号化データＣＩＭＧが生成された後、実施される。例えば、時刻ｔ１０１では、画像復号部１２０は、分割領域ＳＧ０の輝度成分の画像復号処理を実施する（図のＳＧ０（Ｙ））。その後、画像復号部１２０は、分割領域ＳＧ０の色差成分の画像復号処理を実施する（図のＳＧ０（Ｃｂ、Ｃｒ））。以降、画像復号部１２０は、分割領域ＳＧ０の画像復号処理と同様の処理順序で、分割領域ＳＧ１−ＳＧ３の画像復号処理を順次実施する（図のＳＧ１（Ｙ）、ＳＧ１（Ｃｂ、Ｃｒ）、ＳＧ２（Ｙ）、ＳＧ２（Ｃｂ、Ｃｒ）、ＳＧ３（Ｙ）、ＳＧ３（Ｃｂ、Ｃｒ））。
【０１８１】
このように、画像復号部１２０は、符号化データＣＩＭＧの輝度成分を復号する輝度成分の画像復号処理と符号化データＣＩＭＧの色差成分を復号する色差成分の画像復号処理とを、分割領域ＳＧ単位で切り替えて実施する。
【０１８２】
スライスＳＬより小さい分割領域ＳＧを切り替えの所定単位とした動作では、分割領域ＳＧ０の符号化データＣＩＭＧがデータバッファ８４に記憶された時点で画像復号処理を開始できるため、スライスＳＬ単位切り替えに比べて、復号遅延を抑制できる。例えば、分割領域ＳＧ単位切り替えでは、ピクチャＰＩＣ０の画像復号処理は、図１９に示した時刻ｔ１１２より早い時刻ｔ１１１に終了する。なお、分割領域ＳＧ単位切り替えでは、輝度成分の画像復号処理と色差成分の画像復号処理とがピクチャＰＩＣの途中（分割領域ＳＧの境界）で切り替わるため、画像復号処理に必要な周辺画素を一時的に記憶する内部メモリの読み直しが発生する。
【０１８３】
なお、動画像処理システムＤＳＹＳの構成および動作は、この例に限定されない。例えば、符号化データＣＩＭＧの輝度成分の画像復号処理と符号化データＣＩＭＧの色差成分の画像復号処理との処理順序は、図１８等で説明した順序と逆でもよい。すなわち、画像復号部１２０は、符号化データＣＩＭＧの輝度成分の画像復号処理を実施する前に、符号化データＣＩＭＧの色差成分の画像復号処理を実施してもよい。
【０１８４】
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。
【０１８５】
図２１は、別の実施形態における動画像処理システムＤＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の動画像処理システムＤＳＹＳは、図１７に示した動画像処理装置１００の代わりに動画像処理装置１００Ａを有している。動画像処理システムＤＳＹＳのその他の構成は、上述した実施形態と同じである。
【０１８６】
例えば、動画像処理システムＤＳＹＳは、ＭＰＥＧやＨ．２６４等に準拠した符号化ストリームＳＴＲＭを復号する動画像処理装置１００Ａと、動画像処理装置１００Ａに接続されるメモリ８０とを有している。例えば、動画像処理装置１００Ａは、メモリ８０とは別のチップに形成される。動画像処理装置１００Ａは、画像復号部１２０Ａ、可変長復号部１４０、データ転送部１６０、キャッシュ１６２およびバッファ１６４（１６４ａ、１６４ｂ）を有している。可変長復号部１４０の動作は、図１７−図２０で説明した実施形態と同じである。
【０１８７】
画像復号部１２０Ａは、図１８−図２０で説明したように、輝度成分の画像復号処理と色差成分の画像復号処理とを、所定単位（例えば、ピクチャＰＩＣ単位）で切り替えて実施する。例えば、画像復号部１２０Ａは、予測画像生成部１２２、逆量子化部（ＩＱ）１２６、逆直交変換部（ＩＴ）１２７、動き補償部（ＭＣ）１２８およびループフィルタ部（ＬＦ）１２９を有している。
【０１８８】
予測画像生成部１２２は、フレーム内予測用の予測画像やフレーム間予測用の予測画像を生成する。例えば、予測画像生成部１２２は、処理対象のマクロブロックＭＢの周辺画素をバッファ１６４ａからデータ転送部１６０を介して読み出し、フレーム内予測用の予測画像を生成する。また、例えば、予測画像生成部１２２は、参照画像データＲＩＭＧをメモリ８０等からデータ転送部１６０を介して読み出し、フレーム間予測用の予測画像を生成する。なお、例えば、参照画像データＲＩＭＧがキャッシュ１６２に記憶されているときには、参照画像データＲＩＭＧは、キャッシュ１６２から読み出される。
【０１８９】
逆量子化部１２６は、復号対象の符号化データＣＩＭＧを、データ転送部１６０を介してメモリ８０のデータバッファ８４から受ける。そして、逆量子化部１２６は、符号化データＣＩＭＧを逆量子化する。逆直交変換部１２７は、逆量子化部１２６から受けたデータを逆直交変換する。動き補償部１２８は、逆直交変換部１２７から受けたデータと予測画像生成部１２２から受けた予測画像とを加算して、復号画像をループフィルタ部１２９に出力する。
【０１９０】
ループフィルタ部１２９は、動き補償部１２８から受けた復号画像に対して、デブロッキングフィルタ処理等のループフィルタ処理を実施する。例えば、ループフィルタ部１２９は、処理対象のマクロブロックＭＢの周辺画素をバッファ１６４ｂからデータ転送部１６０を介して読み出し、ループフィルタ処理を実施する。これにより、デコード画像データＤＩＭＧが生成される。デコード画像データＤＩＭＧは、例えば、データ転送部６０を介してメモリ８０のフレームメモリ８２に記憶される。
【０１９１】
なお、例えば、予測画像生成部１２２、逆量子化部１２６、逆直交変換部１２７、動き補償部１２８およびループフィルタ部１２９は、輝度成分の処理と色差成分の処理とを、所定単位（例えば、ピクチャＰＩＣ単位）で切り替えて実施する。
【０１９２】
データ転送部１６０は、キャッシュ１６２およびバッファ１６４ａ、１６４ｂに接続され、キャッシュ１６２およびバッファ１６４ａ、１６４ｂに対するアクセスを制御する。データ転送部１６０のその他の動作は、図１７−図２０で説明した実施形態と同じである。
【０１９３】
キャッシュ１６２の使い方は、例えば、図７−図１４で説明した実施形態と同じである。例えば、キャッシュ１６２は、参照画像データＲＩＭＧを読み出すときに使用されるキャッシュメモリであり、数マクロブロックラインＭＬ分の容量を有している。そして、キャッシュ１６２は、例えば、処理中のマクロブロックＭＢで参照される可能性の高い領域の画像データ（候補画像データ）を自動的にプリフェッチする。
【０１９４】
バッファ１６４の使い方は、例えば、図７−図１４で説明した実施形態と同じである。例えば、バッファ１６４ａは、フレーム内予測用の周辺画素等のデータを一時的に記憶する。また、バッファ１６４ｂは、デブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶する。
【０１９５】
図２２は、図２１に示した画像復号部１２０Ａの動作の一例を示している。なお、図２２は、１ピクチャＰＩＣ分の画像復号処理の一例を示している。図中のマクロブロックＭＢ０は、最初に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ０の左端のマクロブロックＭＢ）を示している。また、図中のマクロブロックＭＢｎは、最後に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ６７の右端のマクロブロックＭＢ）を示している。ピクチャＰＩＣ０の符号化データＣＩＭＧの画像復号処理は、図１８で説明したように、ピクチャＰＩＣ０の符号化ストリームＳＴＲＭが可変長復号された後に実施される。
【０１９６】
輝度成分の画像復号処理（図のＰＩＣ０（Ｙ））では、先ず、逆量子化部（ＩＱ）１２６は、マクロブロックＭＢ０の符号化データＣＩＭＧの輝度成分（データバッファ８４から読み出した符号化データＣＩＭＧ）を逆量子化する。そして、逆直交変換部（ＩＴ）１２７は、逆量子化されたデータの輝度成分（逆量子化部１２６から受けたデータ）を逆直交変換する。動き補償部（ＭＣ）１２８は、逆直交変換部１２７から受けたデータと予測画像生成部１２２から受けた予測画像とを加算して、マクロブロックＭＢ０の復号画像の輝度成分を生成する。
【０１９７】
ループフィルタ部（ＬＦ）１２９は、マクロブロックＭＢ０の復号画像の輝度成分に対して、ループフィルタ処理を実施する。これにより、マクロブロックＭＢ０のデコード画像データＤＩＭＧが生成される。マクロブロックＭＢ０のデコード画像データＤＩＭＧは、例えば、メモリ８０のフレームメモリ８２に記憶される。
【０１９８】
マクロブロックＭＢ１・・・ＭＢｎに対しても、上述の処理が実施される。例えば、逆量子化部１２６は、マクロブロックＭＢ０の符号化データＣＩＭＧの輝度成分を逆量子化した後、マクロブロックＭＢ１・・・ＭＢｎの符号化データＣＩＭＧの輝度成分を逆量子化する処理を、順次実施する。そして、各マクロブロックＭＢの符号化データＣＩＭＧの輝度成分が逆量子化された後、逆直交変換部１２７、動き補償部１２８およびループフィルタ部１２９の各処理が順次実施される。
【０１９９】
なお、輝度成分の画像復号処理では、例えば、逆量子化部１２６、逆直交変換部１２７、動き補償部１２８およびループフィルタ部１２９の各処理は、輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３の順に実施される。
【０２００】
色差成分の画像復号処理（図のＰＩＣ０（Ｃｂ、Ｃｒ））は、上述の輝度成分の画像復号処理の動作説明における輝度成分を色差成分に読み替えることで説明される。なお、色差成分の画像復号処理では、例えば、逆量子化部１２６、逆直交変換部１２７、動き補償部１２８およびループフィルタ部１２９の各処理は、色差ブロックＣｂ、Ｃｒの順に実施される。
【０２０１】
ここで、例えば、輝度成分の画像復号処理では、キャッシュ１６２およびバッファ１６４は、色差成分のデータを記憶しなくてよい。また、色差成分の画像復号処理では、キャッシュ１６２およびバッファ１６４は、輝度成分のデータを記憶しなくてよい。このため、この実施形態では、キャッシュ１６２およびバッファ１６４の容量を削減できる。
【０２０２】
なお、動画像処理システムＤＳＹＳの構成および動作は、この例に限定されない。例えば、ループフィルタ部１２９およびバッファ１６４ｂは、省かれてもよい。また、例えば、符号化データＣＩＭＧの輝度成分の画像復号処理と符号化データＣＩＭＧの色差成分の画像復号処理との処理順序は、図２２で説明した順序と逆でもよい。すなわち、画像復号部１２０Ａは、符号化データＣＩＭＧの輝度成分の画像復号処理を実施する前に、符号化データＣＩＭＧの色差成分の画像復号処理を実施してもよい。また、例えば、輝度成分および色差成分に対するそれぞれの画像復号処理の切り替え単位は、図１９に示したようにスライスＳＬ単位でもよいし、図２０に示したように複数のマクロブロックラインＭＬを含む分割領域ＳＧ単位でもよい。
【０２０３】
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、この実施形態では、動画像処理装置１００Ａの内部メモリであるキャッシュ１６２やバッファ１６４の容量を削減できる。
【０２０４】
図２３は、別の実施形態における動画像処理システムＣＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の動画像処理システムＣＳＹＳは、例えば、ＭＰＥＧやＨ．２６４等に準拠したコーデックである。なお、動画像処理システムＣＳＹＳも画像処理装置の一態様を形成する。
【０２０５】
例えば、動画像処理システムＣＳＹＳは、ＭＰＥＧやＨ．２６４等に準拠したコーデックとして機能する動画像処理装置２００と、動画像処理装置２００に接続されるメモリ８０とを有している。例えば、動画像処理装置２００は、メモリ８０とは別のチップに形成される。動画像処理装置２００は、全体制御部２２０、コーデック部２４０、メモリ制御部２６０、ストリーム入出力部２８０および画像入出力部２８２を有している。
【０２０６】
全体制御部２２０は、動画像処理装置２００全体の動作を制御する。例えば、全体制御部２２０は、コーデック部２４０等の各モジュールの動作モードの設定や同期制御等を実施する。
【０２０７】
コーデック部２４０は、例えば、コーデック制御部２４２およびコーデック処理部２４４を有している。コーデック制御部２４２は、コーデック部２４０内の各モジュールの動作を制御する。例えば、コーデック制御部２４２は、コーデック処理部２４４内の各モジュールの動作モードの設定や同期制御等を実施する。
【０２０８】
コーデック処理部２４４は、画像データをＭＰＥＧやＨ．２６４等に準拠した符号化処理および復号処理を実施する。例えば、コーデック処理部２４４は、図１５に示した動画像処理装置１０Ｂおよび図２１に示した動画像処理装置１００Ａを有している。なお、動画像処理装置１００Ａは、動画像処理装置１０Ｂと共用する設計としてもよい。例えば、画像復号部１２０Ａ、可変長復号部１４０およびデータ転送部１６０は、画像符号化部２０Ｂ、可変長符号化部４０およびデータ転送部６０とそれぞれ共用する設計としてもよい。また、動画像処理装置１００Ａは、例えば、キャッシュ１６２およびバッファ１６４をキャッシュ６２およびバッファ６４で代用してもよい。
【０２０９】
なお、コーデック処理部２４４は、図１５に示した動画像処理装置１０Ｂの代わりに、図１に示した動画像処理装置１０を有してもよいし、図７に示した動画像処理装置１０Ａを有してもよい。また、コーデック処理部２４４は、図２１に示した動画像処理装置１００Ａの代わりに、図１７に示した動画像処理装置１００を有してもよい。
【０２１０】
ストリーム入出力部２８０は、符号化ストリーム（例えば、図１５および図２１に示した符号化ストリームＳＴＲＭ）の入出力処理を実施する。画像入出力部２８２は、例えば、画像入力デバイスから画像データ（例えば、図１５に示した画像データＩＩＭＧ）を取り込む処理および画像表示デバイスへ画像データ（例えば、図２１に示した画像データＤＩＭＧ）を出力する処理を実施する。
【０２１１】
メモリ制御部２６０は、コーデック部２４０等の各モジュールからの要求に応じて、メモリ８０へのデータの書き込み制御およびメモリ８０からのデータの読み出し制御を実施する。例えば、メモリ制御部２６０は、コーデック部２４０、ストリーム入出力部２８０および画像入出力部２８２に接続されている。なお、動画像処理装置１０Ｂのデータ転送部６０および動画像処理装置１００Ａのデータ転送部１６０は、メモリ制御部２６０内に設けられてもよい。
【０２１２】
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。
【０２１３】
以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１）
少なくとも一のマクロブロックラインを含む所定単位に含まれる画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に前記所定単位に含まれる前記画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、第１符号化データを生成する画像符号化部と、
メモリへのアクセスを制御し、前記第１符号化データを前記メモリに記憶するアクセス制御部と、
前記アクセス制御部を介して前記メモリから前記第１符号化データを読み出し、前記第１符号化データの輝度成分を可変長符号化する輝度成分の可変長符号化処理と前記第１符号化データの色差成分を可変長符号化する色差成分の可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部と
を備えていることを特徴とする動画像処理装置。
（付記２）
前記所定単位は、ピクチャ単位およびスライス単位のいずれかであること
を特徴とする付記１記載の動画像処理装置。
（付記３）
フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の少なくとも一方の少なくとも一部のデータを記憶する領域が、前記輝度成分の画像符号化処理と前記色差成分の画像符号化処理とで兼用され、前記輝度成分の画像符号化処理時に、前記一部のデータの輝度成分を記憶し、前記色差成分の画像符号化処理時に、前記一部のデータの色差成分を記憶する第１記憶部を備えていること
を特徴とする付記１記載の動画像処理装置。
（付記４）
フレーム間予測に使用される参照画像の候補となる候補画像データを記憶する領域が、前記輝度成分の画像符号化処理と前記色差成分の画像符号化処理とで兼用され、前記輝度成分の画像符号化処理時に、前記候補画像データの輝度成分を順次記憶し、前記色差成分の画像符号化処理時に、前記候補画像データの色差成分を順次記憶する第２記憶部を備えていること
を特徴とする付記１記載の動画像処理装置。
（付記５）
前記アクセス制御部は、前記メモリを、前記第１符号化データのヘッダデータを記憶する第１領域、前記第１符号化データの輝度成分を記憶する第２領域および前記第１符号化データの色差成分を記憶する第３領域に分けて管理すること
を特徴とする付記１記載の動画像処理装置。
（付記６）
フレーム内予測およびフレーム間予測における輝度成分のコストおよび色差成分のコストをマクロブロック毎に算出するコスト算出部を備え、
前記画像符号化部は、
前記輝度成分の画像符号化処理時に、輝度成分の前記コストと、色差成分の前記コストと、輝度成分の符号量に応じて算出される基準値とに基づいて、量子化スケールを前記マクロブロック毎に決定するスケール決定部を有していること
を特徴とする付記１記載の動画像処理装置。
（付記７）
前記スケール決定部は、
輝度成分の前記コストを色差成分の前記コストで除算した除算結果が第１閾値より小さいとき、前記量子化スケールを、前記基準値より大きな値に決定し、前記第１閾値以上の第２閾値より前記除算結果が大きいとき、前記量子化スケールを、前記基準値より小さい値に決定すること
を特徴とする付記６記載の動画像処理装置。
（付記８）
前記第１符号化データが記憶される前記メモリを備えていること
を特徴とする付記１記載の動画像処理装置。
（付記９）
画像データを第１符号化データに符号化し、前記第１符号化データを可変長符号化する動画像処理装置と、前記動画像処理装置に接続されたメモリとを備え、
前記動画像処理装置は、
少なくとも一のマクロブロックラインを含む所定単位に含まれる前記画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に前記所定単位に含まれる前記画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、前記第１符号化データを生成し、前記輝度成分の画像符号化処理および前記色差成分の画像符号化処理により生成された前記第１符号化データを前記メモリに記憶する画像符号化部と、
前記メモリから前記第１符号化データを読み出し、前記第１符号化データの輝度成分を可変長符号化する可変長符号化処理と前記第１符号化データの色差成分を可変長符号化する可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部とを備えていること
を特徴とする動画像処理システム。
（付記１０）
可変長符号化された可変長符号化データを第１符号化データに復号し、前記第１符号化データを画像データに復号する動画像処理装置において、
前記可変長符号化データの輝度成分を復号する輝度成分の可変長復号処理と前記可変長符号化データの色差成分を復号する色差成分の可変長復号処理とを、マクロブロック単位で切り替えて実施し、前記第１符号化データを生成する可変長復号部と、
メモリへのアクセスを制御し、前記第１符号化データを前記メモリに記憶するアクセス制御部と、
前記アクセス制御部を介して前記メモリから前記第１符号化データを読み出し、少なくとも一のマクロブロックラインを含む所定単位に含まれる前記第１符号化データの輝度成分を復号する輝度成分の画像復号処理の後に前記所定単位に含まれる前記第１符号化データの色差成分を復号する色差成分の画像復号処理を行う画像復号部と
を備えていることを特徴とする動画像処理装置。
（付記１１）
前記所定単位は、ピクチャ単位およびスライス単位のいずれかであること
を特徴とする付記１０記載の動画像処理装置。
（付記１２）
フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の少なくとも一方の少なくとも一部のデータを記憶する領域が、前記輝度成分の画像復号処理と前記色差成分の画像復号処理とで兼用され、前記輝度成分の画像復号処理時に、前記一部のデータの輝度成分を記憶し、前記色差成分の画像復号処理時に、前記一部のデータの色差成分を記憶する第１記憶部を備えていること
を特徴とする付記１０記載の動画像処理装置。
（付記１３）
フレーム間予測に使用される参照画像の候補となる候補画像データを記憶する領域が、前記輝度成分の画像復号処理と前記色差成分の画像復号処理とで兼用され、前記輝度成分の画像復号処理時に、前記候補画像データの輝度成分を順次記憶し、前記色差成分の画像復号処理時に、前記候補画像データの色差成分を順次記憶する第２記憶部を備えていること
を特徴とする付記１０記載の動画像処理装置。
（付記１４）
前記アクセス制御部は、前記メモリを、前記第１符号化データのヘッダデータを記憶する第１領域、前記第１符号化データの輝度成分を記憶する第２領域および前記第１符号化データの色差成分を記憶する第３領域に分けて管理すること
を特徴とする付記１０記載の動画像処理装置。
（付記１５）
前記第１符号化データが記憶される前記メモリを備えていること
を特徴とする付記１０記載の動画像処理装置。
（付記１６）
可変長符号化された可変長符号化データを第１符号化データに復号し、前記第１符号化データを画像データに復号する動画像処理装置と、前記動画像処理装置に接続されたメモリとを備え、
前記動画像処理装置は、
前記可変長符号化データの輝度成分を復号する輝度成分の可変長復号処理と前記可変長符号化データの色差成分を復号する色差成分の可変長復号処理とを、マクロブロック単位で切り替えて実施し、前記輝度成分の可変長復号処理および前記色差成分の可変長復号処理により生成された前記第１符号化データを前記メモリに記憶する可変長復号部と、
前記メモリから前記第１符号化データを読み出し、少なくとも一のマクロブロックラインを含む所定単位に含まれる前記第１符号化データの輝度成分を復号する輝度成分の画像復号処理の後に前記所定単位に含まれる前記第１符号化データの色差成分を復号する色差成分の画像復号処理を行う画像復号部とを備えていること
を特徴とする動画像処理システム。
【０２１４】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０２１５】
１０、１０Ａ、１０Ｂ、１００、１００Ａ、２００‥動画像処理装置；２０、２０Ａ、２０Ｂ‥画像符号化部；２１‥動きベクトル探索部；２２‥予測画像生成部；２３‥差分算出部；２４‥直交変換部；２５‥量子化部；２６、１２６‥逆量子化部；２７、１２７‥逆直交変換部；２８、１２８‥動き補償部；２９、１２９‥ループフィルタ部；３０‥スケール決定部；３２‥画像前処理部；３３、３４‥コスト算出部；４０‥可変長符号化部；６０、１６０‥データ転送部；６２、１６２‥キャッシュ；６４、１６４‥バッファ；８０‥メモリ；８２‥フレームメモリ；８４‥データバッファ；２２０‥全体制御部；２４０‥コーデック部；２４２‥コーデック制御部；２４４‥コーデック処理部；２６０‥メモリ制御部；２８０‥ストリーム入出力部；２８２‥画像入出力部；ＣＳＹＳ、ＤＳＹＳ、ＥＳＹＳ‥動画像処理システム
【技術分野】
【０００１】
本発明は、動画像処理装置および動画像処理システムに関する。
【背景技術】
【０００２】
ＭＰＥＧやＨ．２６４等の動画像符号化装置は、１６×１６画素のマクロブロック単位で動画像データを符号化する。これにより、符号化ストリームが生成される。マクロブロックは、画面の明るさを示す輝度画素（輝度成分Ｙ）と色を示す色差画素（色差成分Ｃｂ、Ｃｒ）とを有している。例えば、４：２：０フォーマットでは、マクロブロックは、８×８の輝度（Ｙ）画素を含む４個の輝度（Ｙ）ブロックと、８×８の色差（Ｃｂ）画素を含む１個の色差（Ｃｂ）ブロックと、８×８の色差（Ｃｒ）画素を含む１個の色差（Ｃｒ）ブロックとを有している（例えば、特許文献１参照。）。
【０００３】
符号化ストリームでは、符号化されたデータが、マクロブロック毎に、輝度（Ｙ）ブロック、色差（Ｃｂ）ブロックおよび色差（Ｃｒ）ブロックの順に並んでいる。一般に、動画像データの符号化処理は、符号化ストリームの構成順に合わせて実施される。例えば、動画像符号化装置は、輝度画素（Ｙ）の符号化処理と色差画素（Ｃｒ、Ｃｂ）の符号化処理とをマクロブロック単位で切り替えて実施し、符号化ストリームを生成する。また、例えば、ＭＰＥＧやＨ．２６４等の動画像復号装置は、輝度画素（Ｙ）の復号処理と色差画素（Ｃｒ、Ｃｂ）の復号処理とをマクロブロック単位で切り替えて実施し、符号化ストリームを復号する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３４８００６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
輝度画素（Ｙ）の符号化処理と色差画素（Ｃｒ、Ｃｂ）の符号化処理とをマクロブロック単位で切り替えて実施する動画像符号化装置では、符号化処理に必要な輝度画素および色差画素の両方のデータを同時に保持する必要がある。例えば、イントラ予測（以下、フレーム内予測とも称する）用の周辺画素やデブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶するバッファには、輝度画素および色差画素の両方のデータが記憶される。したがって、輝度画素および色差画素の両方のデータを記憶する容量のバッファが必要である。
【０００６】
また、インター予測（以下、フレーム間予測とも称する）では、予測画像は、動きベクトルに応じて、参照画像から生成される。例えば、参照画像の読み出しにキャッシュメモリを使用する動画像符号化装置では、輝度画素用のキャッシュメモリと色差画素用のキャッシュメモリとが必要になる。このため、符号化処理に必要な内部メモリ（例えば、バッファやキャッシュメモリ）の容量が大きくなる。同様に、復号処理に必要な内部メモリの容量が大きくなる。
【０００７】
本発明の目的は、符号化処理および復号処理の少なくとも一方の画像処理を実施する画像処理装置において、画像処理に必要な内部メモリの容量を削減することである。
【課題を解決するための手段】
【０００８】
本発明の一形態では、動画像処理装置は、少なくとも一のマクロブロックラインを含む所定単位に含まれる画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に所定単位に含まれる画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、第１符号化データを生成する画像符号化部と、メモリへのアクセスを制御し、第１符号化データをメモリに記憶するアクセス制御部と、アクセス制御部を介してメモリから第１符号化データを読み出し、第１符号化データの輝度成分を可変長符号化する輝度成分の可変長符号化処理と第１符号化データの色差成分を可変長符号化する色差成分の可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部とを有している。
【発明の効果】
【０００９】
符号化処理および復号処理の少なくとも一方の画像処理を実施する画像処理装置において、画像処理に必要な内部メモリの容量を削減できる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態における動画像処理システムの例を示している。
【図２】４：２：０フォーマットでのマクロブロックおよびピクチャの一例を示している。
【図３】図１に示したデータバッファの記憶領域の割り当ての一例を示している。
【図４】図１に示した動画像処理システムの動作の一例を示している。
【図５】スライス単位切り替えとピクチャ単位切り替えとの比較を示している。
【図６】図１に示した動画像処理システムの動作の別の例を示している。
【図７】別の実施形態における動画像処理システムの一例を示している。
【図８】図７に示した画像符号化部の動作の一例を示している。
【図９】フレーム内予測に使用される周辺画素の一例を示している。
【図１０】デブロッキングフィルタ処理に使用される周辺画素の一例を示している。
【図１１】図７に示したバッファの管理の一例を示している。
【図１２】図７に示したフレーム内予測用のバッファの記憶領域の割り当ての一例を示している。
【図１３】図７に示したデブロッキングフィルタ処理用のバッファの記憶領域の割り当ての一例を示している。
【図１４】図７に示したキャッシュの動作の一例を示している。
【図１５】別の実施形態における動画像処理システムの一例を示している。
【図１６】図１５に示した動画像処理システムの動作の一例を示している。
【図１７】別の実施形態における動画像処理システムの一例を示している。
【図１８】図１７に示した動画像処理システムの動作の一例を示している。
【図１９】スライス単位切り替えとピクチャ単位切り替えとの比較を示している。
【図２０】図１７に示した動画像処理システムの動作の別の例を示している。
【図２１】別の実施形態における動画像処理システムの一例を示している。
【図２２】図２１に示した画像復号部の動作の一例を示している。
【図２３】別の実施形態における動画像処理システムの一例を示している。
【発明を実施するための形態】
【００１１】
以下、実施形態を図面を用いて説明する。
【００１２】
図１は、一実施形態における動画像処理システムＥＳＹＳの例を示している。
【００１３】
動画像処理システムＥＳＹＳは、例えば、ＭＰＥＧやＨ．２６４等に準拠したエンコーダである。例えば、動画像処理システムＥＳＹＳは、画像データＩＩＭＧをＭＰＥＧやＨ．２６４等に準拠した符号化方式で符号化する動画像処理装置１０と、動画像処理装置１０に接続されるメモリ８０とを有している。例えば、動画像処理装置１０は、メモリ８０とは別のチップに形成される。なお、動画像処理システムＥＳＹＳも画像処理装置の一態様を形成する。
【００１４】
動画像処理装置１０は、画像符号化部２０、可変長符号化部４０およびデータ転送部６０を有している。画像符号化部２０は、動きベクトル探索、フレーム間予測（インター予測）、フレーム内予測（イントラ予測）、直交変換および量子化等の画像符号化処理を実施する。
【００１５】
例えば、画像符号化部２０は、符号化対象の画像データＩＩＭＧ（以下、入力画像データＩＩＭＧとも称する）を、データ転送部６０を介してメモリ８０のフレームメモリ８２から受ける。そして、画像符号化部２０は、画像データＩＩＭＧに対して画像符号化処理を実施し、符号化データＣＩＭＧを生成する。また、画像符号化部２０は、画像データＩＩＭＧを符号化した符号化データＣＩＭＧを、データ転送部６０を介してメモリ８０のデータバッファ８４に記憶する。なお、画像符号化部２０は、輝度成分（以下、輝度画素とも称する）の画像符号化処理と色差成分（以下、色差画素とも称する）の画像符号化処理とを、所定単位（例えば、ピクチャ単位）で切り替えて実施する。
【００１６】
可変長符号化部４０は、ＭＰＥＧやＨ．２６４等に準拠したＣＡＶＬＣやＣＡＢＡＣ等の可変長符号化処理を実施する。例えば、可変長符号化部４０は、画像符号化部２０により生成された符号化データＣＩＭＧを、データ転送部６０を介してメモリ８０のデータバッファ８４から受ける。そして、可変長符号化部４０は、符号化データＣＩＭＧを可変長符号化し、符号化ストリームＳＴＲＭを生成する。
【００１７】
符号化ストリームＳＴＲＭは、データ転送部６０を介してメモリ８０に記憶されてもよいし、メモリ８０に記憶されなくてもよい。なお、可変長符号化部４０は、符号化データＣＩＭＧの輝度成分を可変長符号化する可変長符号化処理と符号化データＣＩＭＧの色差成分を可変長符号化する可変長符号化処理とを、マクロブロック単位で切り替えて実施する。これにより、ＭＰＥＧやＨ．２６４等に準拠した符号化ストリームＳＴＲＭが生成される。ここで、マクロブロックは、１６×１６画素のブロックである。
【００１８】
データ転送部６０は、例えば、画像符号化部２０および可変長符号化部４０のメモリアクセス制御を実施する。例えば、データ転送部６０は、画像符号化処理に必要なデータ（画像データＩＩＭＧや参照画像データＲＩＭＧ等）をメモリ８０から読み出し、読み出したデータを画像符号化部２０に出力する。
【００１９】
さらに、データ転送部６０は、画像符号化部２０により生成された符号化データＣＩＭＧをメモリ８０のデータバッファ８４に記憶する。また、データ転送部６０は、可変長符号化対象の符号化データＣＩＭＧをメモリ８０のデータバッファ８４から読み出し、読み出した符号化データＣＩＭＧを可変長符号化部４０に出力する。なお、データ転送部６０は、画像符号化部２０により生成されたローカルデコード画像データＬＩＭＧを、メモリ８０に記憶する。このように、データ転送部６０は、例えば、メモリ８０へのアクセスを制御するアクセス制御部としての機能を有している。
【００２０】
メモリ８０は、例えば、ＳＤＲＡＭである。メモリ８０は、フレームメモリ８２およびデータバッファ８４を有している。例えば、フレームメモリ８２およびデータバッファ８４は、ＳＤＲＡＭ上に配置される。なお、メモリ８０は、ＳＤＲＡＭ以外のメモリでもよい。例えば、メモリ８０は、ＤＲＡＭでもよい。フレームメモリ８２は、入力画像データＩＩＭＧや参照画像データＲＩＭＧ等を記憶する。データバッファ８４は、画像符号化部２０により生成された符号化データＣＩＭＧを記憶する。例えば、データバッファ８４は、画像符号化部２０と可変長符号化部４０との間で、符号化データＣＩＭＧを並び換えるために使用される。
【００２１】
図２は、４：２：０フォーマットでのマクロブロックＭＢおよびピクチャＰＩＣの一例を示している。なお、図２は、１９２０×１０８８画素のピクチャＰＩＣを２つのスライスＳＬ（ＳＬ０、ＳＬ１）に分割したときの例を示している。なお、ピクチャＰＩＣの画素数は、１９２０×１０８８画素に限定されない。また、スライスＳＬの数は、３つ以上でもよい。あるいは、ピクチャＰＩＣは、複数のスライスＳＬに分割されなくてもよい。
【００２２】
１９２０×１０８８画素のピクチャＰＩＣでは、１６×１６画素のマクロブロックＭＢのライン数は、６８である。以下、マクロブロックＭＢのラインＭＬをマクロブロックラインＭＬとも称する。すなわち、１マクロブロックラインＭＬは、１６行の画素ラインを有している。図２の例では、マクロブロックラインＭＬ０−ＭＬ３３は、スライスＳＬ０を形成し、マクロブロックラインＭＬ３４−ＭＬ６７は、スライスＳＬ１を形成する。
【００２３】
マクロブロックＭＢは、輝度ブロックＹおよび色差ブロックＣｂ、Ｃｒを有している。輝度ブロックＹは、画面の明るさを示す輝度画素（画像データＩＩＭＧの輝度成分）のブロックである。また、色差ブロックＣｂ、Ｃｒは、色を示す色差画素（画像データＩＩＭＧの色差成分）のブロックである。例えば、４：２：０フォーマットでは、マクロブロックＭＢは、８×８の輝度画素を含む４個の輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３と、８×８の色差（Ｃｂ）画素を含む１個の色差ブロックＣｂと、８×８の色差（Ｃｒ）画素を含む１個の色差ブロックＣｒとを有している。
【００２４】
すなわち、４：２：０フォーマットでは、輝度画素は、１画素毎に生成される。また、各色差（Ｃｂ、Ｃｒ）画素は、例えば、４つの画素（水平方向の２画素および垂直方向の２画素）を平均して算出され、４画素毎に生成される。なお、動画像処理システムＥＳＹＳが扱うフォーマットは、４：２：０フォーマット以外でもよい。
【００２５】
図３は、図１に示したデータバッファ８４の記憶領域の割り当ての一例を示している。データバッファ８４は、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡを有している。図の括弧内の符号ＭＢ（ＭＢ０・・・ＭＮｎ）は、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域にデータがマクロブロックＭＢ毎に記憶されることを示している。
【００２６】
ヘッダ領域ＨＲＡには、輝度成分および色差成分の画像符号化処理で生成されるヘッダデータがマクロブロックＭＢ毎に記憶される。ヘッダデータは、例えば、マクロブロックタイプ、動きベクトル、量子化スケール等のパラメータである。輝度データ領域ＹＲＡには、符号化データＣＩＭＧの輝度成分（符号化された輝度ブロックＹの係数データ等）がマクロブロックＭＢ毎に記憶される。色差データ領域ＣＲＡには、符号化データＣＩＭＧの色差成分（符号化された色差ブロックＣｂ、Ｃｒの係数データ等）がマクロブロックＭＢ毎に記憶される。
【００２７】
例えば、画像符号化部２０は、輝度成分の画像符号化処理時に、マクロブロックタイプ、動きベクトル、量子化スケール等の輝度成分および色差成分の両方の処理で使用されるパラメータを生成する。そして、データ転送部６０は、画像符号化部２０で生成されたマクロブロックタイプ等のパラメータを、データバッファ８４のヘッダ領域ＨＲＡにヘッダデータとして書き込む。また、データ転送部６０は、画像符号化部２０で生成された符号化データＣＩＭＧの輝度成分を、データバッファ８４の輝度データ領域ＹＲＡに書き込む。
【００２８】
また、データ転送部６０は、色差成分の画像符号化処理時に、マクロブロックタイプ等のパラメータ（ヘッダデータ）をヘッダ領域ＨＲＡから読み出す。そして、画像符号化部２０は、データ転送部６０を介してヘッダ領域ＨＲＡから読み出したパラメータに基づいて、色差ブロックＣｂ、Ｃｒの画像符号化処理を実施する。データ転送部６０は、画像符号化部２０で生成された符号化データＣＩＭＧの色差成分を、データバッファ８４の色差データ領域ＣＲＡに書き込む。この際、色差ブロックＣｂ、Ｃｒの画像符号化処理により確定するＣＢＰ（Coded block pattern）の色差パラメータ等のヘッダデータは、確定した情報に書き換えられる。
【００２９】
このように、画像符号化部２０は、輝度成分の画像符号化処理により生成されたヘッダデータおよび符号化データＣＩＭＧの輝度成分を、ヘッダ領域ＨＲＡおよび輝度データ領域ＹＲＡにデータ転送部６０を介してそれぞれ記憶する。また、画像符号化部２０は、色差成分の画像符号化処理により更新されたヘッダデータおよび符号化データＣＩＭＧの色差成分を、ヘッダ領域ＨＲＡおよび色差データ領域ＣＲＡにデータ転送部６０を介してそれぞれ記憶する。
【００３０】
可変長符号化処理時には、データ転送部６０は、符号化データＣＩＭＧのヘッダデータ、輝度成分および色差成分を、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡからそれぞれ読み出す。そして、可変長符号化部４０は、データ転送部６０を介して読み出した符号化データＣＩＭＧのヘッダデータ、輝度成分および色差成分を、符号化ストリームＳＴＲＭの構成順にマクロブロックＭＢ単位で切り替えて可変長符号化する。
【００３１】
このように、データ転送部６０は、データバッファ８４を、ヘッダデータを記憶するヘッダ領域ＨＲＡ、符号化データＣＩＭＧの輝度成分を記憶する輝度データ領域ＹＲＡおよび符号化データＣＩＭＧの色差成分を記憶する色差データ領域ＣＲＡに分けて管理する。このため、例えば、データ転送部６０は、ライトポインタおよびリードポインタを領域毎に用いて、データバッファ８４を管理する。これにより、この実施形態では、動画像処理装置１０の処理順序（例えば、図４に示す動作）に対して、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域を、各領域のライトポインタおよびリードポインタによって簡単に制御できる。例えば、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡに関しては、各領域内では、画像符号化処理で書き込んだ順に、可変長符号化処理で読み出せばよいので、ＦＩＦＯ（First-In First-Out）のように制御できる。
【００３２】
また、ヘッダ領域ＨＲＡに関しては、輝度成分の画像符号化処理時に書き込んだヘッダデータを色差成分の画像符号化処理時に読み出すが、これは書き込んだ順番に読み出せばよいので、制御としてはＦＩＦＯと同様である。そして、色差成分の画像符号化処理時に確定する色差パラメータの部分を書き換えて、再度同じ位置に書き込みを行う。この色差成分の画像符号化処理時に書き込んだヘッダデータを可変長符号化処理で順番に読み出せばよいので、制御としてはＦＩＦＯと同様である。なお、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域は、マクロブロックＭＢ単位でデータ量が可変である。
【００３３】
図４は、図１に示した動画像処理システムＥＳＹＳの動作の一例を示している。図中のマクロブロックＭＢ０は、最初に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ０の左端のマクロブロックＭＢ）を示している。また、図中のマクロブロックＭＢｎは、最後に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ６７の右端のマクロブロックＭＢ）を示している。また、ピクチャＰＩＣ１は、ピクチャＰＩＣ０の次に処理されるピクチャＰＩＣを示している。なお、図４の括弧内の動作は、比較例の画像符号化処理を示している。
【００３４】
時刻ｔ１０では、画像符号化部２０は、ピクチャＰＩＣ０の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ０（Ｙ））。例えば、画像符号化部２０は、各マクロブロックＭＢに対して、画像符号化処理を輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３の順に実施する。
【００３５】
これにより、符号化データＣＩＭＧの輝度成分およびヘッダデータが生成される。符号化データＣＩＭＧの輝度成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。例えば、符号化データＣＩＭＧの輝度成分は、データバッファ８４の輝度データ領域ＹＲＡに記憶される。また、符号化データＣＩＭＧのヘッダデータは、データバッファ８４のヘッダ領域ＨＲＡに記憶される。すなわち、輝度ブロックＹの１ピクチャＰＩＣ分の画像符号化処理では、ヘッダデータおよび符号化データＣＩＭＧの輝度成分が、データバッファ８４のヘッダ領域ＨＲＡおよび輝度データ領域ＹＲＡにそれぞれ書き込まれる。
【００３６】
次に、画像符号化部２０は、ピクチャＰＩＣ０の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ０（Ｃｂ、Ｃｒ））。例えば、画像符号化部２０は、輝度成分の画像符号化処理により生成されたヘッダデータを、データバッファ８４のヘッダ領域ＨＲＡからデータ転送部６０を介して読み出す。そして、画像符号化部２０は、各マクロブロックＭＢに対して、画像符号化処理を色差ブロックＣｂ、Ｃｒの順に実施する。
【００３７】
これにより、符号化データＣＩＭＧの色差（Ｃｂ、Ｃｒ）成分が生成される。また、ヘッダデータの色差成分に関するパラメータが更新される。符号化データＣＩＭＧの色差成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。例えば、符号化データＣＩＭＧの色差成分は、データバッファ８４の色差データ領域ＣＲＡに記憶される。また、符号化データＣＩＭＧのヘッダデータは、データバッファ８４のヘッダ領域ＨＲＡに記憶される。ここまでの動作により、ピクチャＰＩＣ０の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【００３８】
そして、画像符号化部２０は、ピクチャＰＩＣ０の次のピクチャＰＩＣ１の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ１（Ｙ））。その後、画像符号化部２０は、ピクチャＰＩＣ１の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ１（Ｃｂ、Ｃｒ））。
【００３９】
このように、画像符号化部２０は、先ず、輝度ブロックＹの１ピクチャＰＩＣ分の画像符号化処理を実施し、次に、色差ブロックＣｂ、Ｃｒの１ピクチャＰＩＣ分の画像符号化処理を実施する。すなわち、画像符号化部２０は、画像データＩＩＭＧの輝度成分を符号化する輝度成分の画像符号化処理と画像データＩＩＭＧの色差成分を符号化する色差成分の画像符号化処理とを、ピクチャＰＩＣ単位で切り替えて実施する。
【００４０】
符号化データＣＩＭＧの輝度成分および符号化データＣＩＭＧの色差成分の両方が生成された後、符号化データＣＩＭＧが可変長符号化される。例えば、ピクチャＰＩＣ０の輝度成分および色差成分に対する画像符号化処理が終了した後（時刻ｔ２０）、ピクチャＰＩＣ０の符号化データＣＩＭＧが可変長符号化される。すなわち、ピクチャＰＩＣ０の輝度成分および色差成分の符号化データＣＩＭＧが生成された後、ピクチャＰＩＣ０の符号化データＣＩＭＧが可変長符号化される。
【００４１】
時刻ｔ２０では、可変長符号化部４０は、画像符号化部２０により生成されたピクチャＰＩＣ０の符号化データＣＩＭＧを、データ転送部６０を介してメモリ８０のデータバッファ８４から読み出す。例えば、可変長符号化部４０は、符号化データＣＩＭＧのヘッダデータ、輝度成分および色差成分を、データバッファ８４のヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡからデータ転送部６０を介してそれぞれ読み出す。
【００４２】
そして、可変長符号化部４０は、ピクチャＰＩＣ０のヘッダデータ、輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図の可変長符号化処理のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ））。例えば、可変長符号化部４０は、各マクロブロックＭＢに対して、可変長符号化処理を輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３、色差ブロックＣｂ、Ｃｒの順に実施する。
【００４３】
時刻ｔ３０では、可変長符号化部４０は、ピクチャＰＩＣ１の輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図の可変長符号化処理のＰＩＣ１（Ｙ、Ｃｂ、Ｃｒ））。このように、可変長符号化部４０は、符号化データＣＩＭＧの輝度成分を可変長符号化する輝度成分の可変長符号化処理と符号化データＣＩＭＧの色差成分を可変長符号化する色差成分の可変長符号化処理とをマクロブロックＭＢ単位で切り替えて実施する。すなわち、可変長符号化部４０は、ＭＰＥＧやＨ．２６４等に準拠したストリームの構成順に、可変長符号化処理を実施する。
【００４４】
このように、この実施形態では、画像符号化処理と可変長符号化処理とでデータの処理順序が異なる制御を実施する。このため、符号化データＣＩＭＧは、画像符号化部２０から可変長符号化部４０にデータバッファ８４を介して転送される。
【００４５】
ここで、比較例（図の括弧内の動作）では、ＭＰＥＧやＨ．２６４等に準拠したストリームの構成順に、画像符号化処理が実施される（図の比較例のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ））。このため、比較例では、画像符号化処理に必要な周辺画素を一時的に記憶する内部メモリ等には、輝度画素および色差画素の両方のデータが記憶される。したがって、内部メモリの容量は、増加する。
【００４６】
これに対し、この実施形態では、画像符号化部２０は、輝度成分の画像符号化処理と色差成分の画像符号化処理とを、ピクチャＰＩＣ単位で切り替えて実施する。これにより、この実施形態では、例えば、画像符号化処理に必要な周辺画素を一時的に記憶する内部メモリを、輝度画素と色差画素とで兼用できる。この結果、画像処理に必要な内部メモリの容量を削減できる。ここで、内部メモリは、例えば、フレーム内予測用の周辺画素やデブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶するバッファ等である。なお、フレーム間予測の参照画像の読み出しにキャッシュメモリを使用する動画像処理装置では、キャッシュメモリも内部メモリに含まれる。
【００４７】
なお、動画像処理システムＥＳＹＳの動作は、この例に限定されない。例えば、輝度成分および色差成分に対するそれぞれの画像符号化処理の切り替え単位は、図５に示すようにスライスＳＬ単位でもよいし、図６に示すように複数のマクロブロックラインＭＬを含むグループ（分割領域ＳＧ）単位でもよい。
【００４８】
図５は、スライスＳＬ単位切り替えとピクチャＰＩＣ単位切り替えとの比較を示している。なお、図５は、図２に示したピクチャＰＩＣを処理するときの動画像処理システムＥＳＹＳの動作の一例を示している。ピクチャＰＩＣ単位切り替えの動作は、図４で説明しているため、詳細な説明を省略する。スライスＳＬ単位切り替えでは、画像符号化部２０は、先ず、輝度ブロックＹの１スライスＳＬ分の画像符号化処理を実施し、次に、色差ブロックＣｂ、Ｃｒの１スライスＳＬ分の画像符号化処理を実施する。
【００４９】
例えば、時刻ｔ１０では、画像符号化部２０は、スライスＳＬ０（マクロブロックラインＭＬ０−ＭＬ３３）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＬ０（Ｙ））。これにより、符号化データＣＩＭＧの輝度成分およびヘッダデータが生成される。符号化データＣＩＭＧの輝度成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。
【００５０】
次に、画像符号化部２０は、スライスＳＬ０の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＬ０（Ｃｂ、Ｃｒ））。これにより、符号化データＣＩＭＧの色差（Ｃｂ、Ｃｒ）成分およびヘッダデータが生成される。符号化データＣＩＭＧの色差成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。ここまでの動作により、スライスＳＬ０の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【００５１】
そして、画像符号化部２０は、スライスＳＬ０の次のスライスＳＬ１（マクロブロックラインＭＬ３４−ＭＬ６７）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＬ１（Ｙ））。その後、画像符号化部２０は、スライスＳＬ１の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＬ１（Ｃｂ、Ｃｒ））。ここまでの動作により、１ピクチャＰＩＣ分の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【００５２】
このように、画像符号化部２０は、画像データＩＩＭＧの輝度成分を符号化する輝度成分の画像符号化処理と画像データＩＩＭＧの色差成分を符号化する色差成分の画像符号化処理とを、スライスＳＬ単位で切り替えて実施する。
【００５３】
符号化データＣＩＭＧの輝度成分および符号化データＣＩＭＧの色差成分の両方が生成された後、符号化データＣＩＭＧが可変長符号化される。例えば、スライスＳＬ０の輝度成分および色差成分に対する画像符号化処理が終了した後（時刻ｔ１２）、スライスＳＬ０の符号化データＣＩＭＧが可変長符号化される。すなわち、スライスＳＬ０の輝度成分および色差成分の符号化データＣＩＭＧが生成された後、スライスＳＬ０の符号化データＣＩＭＧが可変長符号化される。
【００５４】
時刻ｔ１２では、可変長符号化部４０は、画像符号化部２０により生成されたスライスＳＬ０の符号化データＣＩＭＧを、データ転送部６０を介してメモリ８０のデータバッファ８４から読み出す。そして、可変長符号化部４０は、スライスＳＬ０の輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図のＳＬ０（Ｙ、Ｃｂ、Ｃｒ））。
【００５５】
時刻ｔ２０ａでは、可変長符号化部４０は、スライスＳＬ１の輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図のＳＬ１（Ｙ、Ｃｂ、Ｃｒ））。
【００５６】
スライスＳＬ単位切り替えでは、スライスＳＬ０の符号化データＣＩＭＧがデータバッファ８４に記憶された時点で可変長符号化処理を開始できるため、ピクチャＰＩＣ単位切り替えに比べて、符号化遅延を抑制できる。例えば、ピクチャＰＩＣ単位切り替えでは、ピクチャＰＩＣ０の可変長符号化処理は、時刻ｔ１２より遅い時刻ｔ２０に開始され、時刻ｔ２４に終了する。これに対し、スライスＳＬ単位切り替えでは、ピクチャＰＩＣ０の可変長符号化処理は、時刻ｔ２４より早い時刻ｔ２２に終了する。なお、スライスＳＬ単位切り替えでは、輝度成分の画像符号化処理と色差成分の画像符号化処理とがピクチャＰＩＣの途中（スライスＳＬの境界）で切り替わるため、画像符号化処理に必要な周辺画素を一時的に記憶する内部メモリの読み直しが発生する場合がある。
【００５７】
図６は、図１に示した動画像処理システムＥＳＹＳの動作の別の例を示している。なお、図６は、図２に示したピクチャＰＩＣを４分割した分割領域ＳＧ（１７行のマクロブロックラインＭＬ）単位で輝度成分の画像符号化処理と色差成分の画像符号化処理とを切り替えるときの動作を示している。なお、分割領域ＳＧは、スライスＳＬより大きくてもよいし、小さくてもよい。画像符号化部２０は、先ず、輝度ブロックＹの１分割領域ＳＧ分の画像符号化処理を実施し、次に、色差ブロックＣｂ、Ｃｒの１分割領域ＳＧ分の画像符号化処理を実施する。
【００５８】
例えば、時刻ｔ１０では、画像符号化部２０は、分割領域ＳＧ０（マクロブロックラインＭＬ０−ＭＬ１６）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ０（Ｙ））。これにより、符号化データＣＩＭＧの輝度成分およびヘッダデータが生成される。符号化データＣＩＭＧの輝度成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。
【００５９】
次に、画像符号化部２０は、分割領域ＳＧ０の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＬ０（Ｃｂ、Ｃｒ））。これにより、符号化データＣＩＭＧの色差（Ｃｂ、Ｃｒ）成分およびヘッダデータが生成される。符号化データＣＩＭＧの色差成分およびヘッダデータは、メモリ８０のデータバッファ８４に記憶される。ここまでの動作により、分割領域ＳＧ０の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【００６０】
そして、画像符号化部２０は、分割領域ＳＧ０の次の分割領域ＳＧ１（マクロブロックラインＭＬ１７−ＭＬ３３）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ１（Ｙ））。その後、画像符号化部２０は、分割領域ＳＧ１の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ１（Ｃｂ、Ｃｒ））。
【００６１】
次に、画像符号化部２０は、分割領域ＳＧ１の次の分割領域ＳＧ２（マクロブロックラインＭＬ３４−ＭＬ５０）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ２（Ｙ））。その後、画像符号化部２０は、分割領域ＳＧ２の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ２（Ｃｂ、Ｃｒ））。
【００６２】
そして、画像符号化部２０は、分割領域ＳＧ２の次の分割領域ＳＧ３（マクロブロックラインＭＬ５１−ＭＬ６７）の輝度成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ３（Ｙ））。その後、画像符号化部２０は、分割領域ＳＧ３の色差成分に対する画像符号化処理をマクロブロックＭＢ毎に順次実施する（図のＳＧ３（Ｃｂ、Ｃｒ））。ここまでの動作により、１ピクチャＰＩＣ分の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【００６３】
このように、画像符号化部２０は、画像データＩＩＭＧの輝度成分を符号化する輝度成分の画像符号化処理と画像データＩＩＭＧの色差成分を符号化する色差成分の画像符号化処理とを、分割領域ＳＧ単位で切り替えて実施する。
【００６４】
符号化データＣＩＭＧの輝度成分および符号化データＣＩＭＧの色差成分の両方が生成された後、符号化データＣＩＭＧが可変長符号化される。例えば、分割領域ＳＧ０の輝度成分および色差成分に対する画像符号化処理が終了した後（時刻ｔ１１）、分割領域ＳＧ０の符号化データＣＩＭＧが可変長符号化される。すなわち、分割領域ＳＧ０の輝度成分および色差成分の符号化データＣＩＭＧが生成された後、分割領域ＳＧ０の符号化データＣＩＭＧが可変長符号化される。
【００６５】
時刻ｔ１１では、可変長符号化部４０は、画像符号化部２０により生成された分割領域ＳＧ０の符号化データＣＩＭＧを、データ転送部６０を介してメモリ８０のデータバッファ８４から読み出す。そして、可変長符号化部４０は、分割領域ＳＧ０のヘッダデータ、輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図のＳＧ０（Ｙ、Ｃｂ、Ｃｒ））。その後、可変長符号化部４０は、分割領域ＳＧ１−ＳＧ３の符号化データＣＩＭＧに対して、可変長符号化処理を順次実施する（図のＳＧ１（Ｙ、Ｃｂ、Ｃｒ）、ＳＧ２（Ｙ、Ｃｂ、Ｃｒ）、ＳＧ３（Ｙ、Ｃｂ、Ｃｒ））。
【００６６】
例えば、時刻ｔ２０ｂでは、可変長符号化部４０は、分割領域ＳＧ３のヘッダデータ、輝度成分および色差成分が符号化されたそれぞれの符号化データＣＩＭＧを、マクロブロックＭＢ毎に可変長符号化する（図のＳＧ３（Ｙ、Ｃｂ、Ｃｒ））。
【００６７】
スライスＳＬより小さい分割領域ＳＧを切り替えの所定単位とした動作では、分割領域ＳＧ０の符号化データＣＩＭＧがデータバッファ８４に記憶された時点で可変長符号化処理を開始できるため、スライスＳＬ単位切り替えに比べて、符号化遅延を抑制できる。例えば、分割領域ＳＧ単位切り替えでは、ピクチャＰＩＣ０の可変長符号化処理は、図５に示した時刻ｔ２２より早い時刻ｔ２１に終了する。なお、分割領域ＳＧ単位切り替えでは、輝度成分の画像符号化処理と色差成分の画像符号化処理とがピクチャＰＩＣの途中（分割領域ＳＧの境界）で切り替わるため、画像符号化処理に必要な周辺画素を一時的に記憶する内部メモリの読み直しが発生する。
【００６８】
以上、この実施形態では、動画像処理装置１０は、可変長符号化処理のデータ処理順序と異なる処理順序で画像符号化処理を実施する画像符号化部２０を有している。なお、動画像処理装置１０は、データバッファ８４を用いて、画像符号化部２０と可変長符号化部４０との間で、符号化データＣＩＭＧを並び換える。これにより、この実施形態では、画像データＩＩＭＧの輝度成分および色差成分のそれぞれの画像符号化処理を、複数のマクロブロックラインＭＬを少なくとも含む所定単位で切り替えて実施できる。この結果、この実施形態では、画像処理に必要な内部メモリの容量を削減できる。これにより、この実施形態では、動画像処理装置１０のチップサイズおよび製造コストを削減できる。
【００６９】
また、この実施形態では、データ転送部６０は、データバッファ８４を、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡに分けて管理する。これにより、この実施形態では、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域を、各領域のライトポインタおよびリードポインタによって簡単に制御できる。輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡはＦＩＦＯとして制御することができ、ヘッダ領域ＨＲＡに関しては、色差成分の画像符号化処理時に読み出し、書き込み処理が行われるが、基本的にはＦＩＦＯのように制御できる。したがって、この実施形態では、データ転送部６０によるデータバッファ８４の制御を簡易にできる。
【００７０】
図７は、別の実施形態における動画像処理システムＥＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の動画像処理システムＥＳＹＳは、図１に示した動画像処理装置１０の代わりに動画像処理装置１０Ａを有している。動画像処理システムＥＳＹＳのその他の構成は、上述した実施形態と同じである。
【００７１】
例えば、動画像処理システムＥＳＹＳは、画像データＩＩＭＧをＭＰＥＧやＨ．２６４等に準拠した符号化方式で符号化する動画像処理装置１０Ａと、動画像処理装置１０Ａに接続されるメモリ８０とを有している。動画像処理装置１０Ａは、例えば、メモリ８０とは別のチップに形成される。
【００７２】
動画像処理装置１０Ａは、画像符号化部２０Ａ、可変長符号化部４０、データ転送部６０、キャッシュ６２およびバッファ６４（６４ａ、６４ｂ）を有している。画像符号化部２０Ａは、図４−図６で説明したように、輝度成分の画像符号化処理と色差成分の画像符号化処理とを、所定単位（例えば、ピクチャＰＩＣ単位）で切り替えて実施する。
【００７３】
例えば、画像符号化部２０Ａは、動きベクトル探索部（ＭＥ）２１、予測画像生成部２２、差分算出部（ＤＩＦＦ）２３、直交変換部（Ｔ）２４、量子化部（Ｑ）２５、逆量子化部（ＩＱ）２６、逆直交変換部（ＩＴ）２７、動き補償部（ＭＣ）２８およびループフィルタ部（ＬＦ）２９を有している。
【００７４】
動きベクトル探索部２１は、例えば、入力画像データＩＩＭＧおよび参照画像データＲＩＭＧをメモリ８０からデータ転送部６０を介して読み出し、各マクロブロックＭＢの動きベクトルを探索する。例えば、動きベクトルの探索は、画像データＩＩＭＧ、ＲＩＭＧの輝度成分を用いて実施される。すなわち、動きベクトル探索部２１は、画像データＩＩＭＧ、ＲＩＭＧの色差成分を用いずに、動きベクトルを探索する。
【００７５】
予測画像生成部２２は、フレーム内予測用の予測画像やフレーム間予測用の予測画像を生成する。例えば、予測画像生成部２２は、処理対象のマクロブロックＭＢの周辺画素をバッファ６４ａからデータ転送部６０を介して読み出し、フレーム内予測用の予測画像を生成する。また、例えば、予測画像生成部２２は、参照画像データＲＩＭＧをメモリ８０等からデータ転送部６０を介して読み出し、フレーム間予測用の予測画像を生成する。なお、例えば、参照画像データＲＩＭＧがキャッシュ６２に記憶されているときには、参照画像データＲＩＭＧは、キャッシュ６２から読み出される。
【００７６】
差分算出部２３は、入力画像データＩＩＭＧをメモリ８０からデータ転送部６０を介して受け、予測画像を予測画像生成部２２から受ける。そして、差分算出部２３は、入力画像データＩＩＭＧと予測画像との差分を算出する。直交変換部２４は、差分算出部２３から受けたデータ（差分画像）を直交変換する。
【００７７】
量子化部２５は、直交変換部２４から受けたデータを量子化し、符号化データＣＩＭＧを生成する。そして、量子化部２５は、符号化データＣＩＭＧを、逆量子化部２６およびデータ転送部６０に出力する。これにより、画像データＩＩＭＧを符号化した符号化データＣＩＭＧは、データ転送部６０を介してメモリ８０のデータバッファ８４に記憶される。
【００７８】
逆量子化部２６は、量子化部２５から受けた符号化データＣＩＭＧを逆量子化する。逆直交変換部２７は、逆量子化部２６から受けたデータを逆直交変換する。動き補償部２８は、逆直交変換部２７から受けたデータと予測画像生成部２２から受けた予測画像とを加算して、復号画像をループフィルタ部２９に出力する。
【００７９】
ループフィルタ部２９は、動き補償部２８から受けた復号画像に対して、デブロッキングフィルタ処理等のループフィルタ処理を実施する。例えば、ループフィルタ部２９は、処理対象のマクロブロックＭＢの周辺画素をバッファ６４ｂからデータ転送部６０を介して読み出し、ループフィルタ処理を実施する。これにより、ローカルデコード画像データＬＩＭＧが生成される。ローカルデコード画像データＬＩＭＧは、例えば、データ転送部６０を介してメモリ８０等に記憶される。
【００８０】
なお、例えば、予測画像生成部２２、差分算出部２３、直交変換部２４、量子化部２５、逆量子化部２６、逆直交変換部２７、動き補償部２８およびループフィルタ部２９は、輝度成分の処理と色差成分の処理とを、所定単位（例えば、ピクチャＰＩＣ単位）で切り替えて実施する。
【００８１】
可変長符号化部４０の動作は、上述した実施形態と同じである。また、データ転送部６０は、キャッシュ６２およびバッファ６４ａ、６４ｂに接続され、キャッシュ６２およびバッファ６４ａ、６４ｂに対するアクセスを制御する。データ転送部６０のその他の動作は、上述した実施形態と同じである。
【００８２】
キャッシュ６２は、例えば、参照画像データＲＩＭＧを読み出すときに使用されるキャッシュメモリである。例えば、キャッシュ６２は、数マクロブロックラインＭＬ分の容量を有している。そして、キャッシュ６２は、例えば、処理中のマクロブロックＭＢで参照される可能性の高い領域の画像データ（候補画像データ）を自動的にプリフェッチする。
【００８３】
なお、キャッシュ６２は、フレーム間予測に使用される参照画像の候補となる候補画像データを記憶する領域が、輝度成分の画像符号化処理と色差成分の画像符号化処理とで兼用される。そして、キャッシュ６２は、輝度成分の画像符号化処理時に、候補画像データの輝度成分を順次記憶し、色差成分の画像符号化処理時に、候補画像データの色差成分を順次記憶する。
【００８４】
バッファ６４は、フレーム内予測用の周辺画素やデブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶する。例えば、バッファ６４ａは、フレーム内予測用の周辺画素等のデータを一時的に記憶する。また、バッファ６４ｂは、デブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶する。なお、バッファ６４は、例えば、輝度成分の画像符号化処理と色差成分の画像符号化処理とで兼用される。
【００８５】
図８は、図７に示した画像符号化部２０Ａの動作の一例を示している。なお、図８は、１ピクチャＰＩＣ分の画像符号化処理の一例を示している。図中のマクロブロックＭＢ０は、最初に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ０の左端のマクロブロックＭＢ）を示している。また、図中のマクロブロックＭＢｎは、最後に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ６７の右端のマクロブロックＭＢ）を示している。
【００８６】
輝度成分の画像符号化処理（図のＰＩＣ０（Ｙ））では、先ず、動きベクトル探索部（ＭＥ）２１は、各マクロブロックＭＢの動きベクトルの探索を順次実施する。マクロブロックＭＢ０の動きベクトルの探索が終了した後、差分算出部（ＤＩＦＦ）２３は、マクロブロックＭＢ０の差分画像の輝度成分を生成する。例えば、差分算出部２３は、画像データＩＩＭＧの輝度成分と予測画像の輝度成分との差分を算出する。
【００８７】
そして、直交変換部（Ｔ）２４は、マクロブロックＭＢ０の差分画像の輝度成分を直交変換する。量子化部（Ｑ）２５は、直交変換部２４から受けたデータを量子化し、マクロブロックＭＢ０の符号化データＣＩＭＧの輝度成分を生成する。これにより、マクロブロックＭＢ０の輝度成分を符号化した符号化データＣＩＭＧは、データバッファ８４の輝度データ領域ＹＲＡに記憶される。また、マクロブロックタイプ、動きベクトル、量子化スケール等の輝度成分および色差成分の両方の処理で使用されるパラメータ（ヘッダデータ）は、データバッファ８４のヘッダ領域ＨＲＡに記憶される。
【００８８】
逆量子化部（ＩＱ）２６は、マクロブロックＭＢ０の符号化データＣＩＭＧの輝度成分（量子化部２５から受けた符号化データＣＩＭＧ）を逆量子化する。逆直交変換部（ＩＴ）２７は、逆量子化されたデータの輝度成分（逆量子化部２６から受けたデータ）を逆直交変換する。動き補償部（ＭＣ）２８は、逆直交変換部２７から受けたデータと予測画像生成部２２から受けた予測画像とを加算して、マクロブロックＭＢ０の復号画像の輝度成分を生成する。
【００８９】
ループフィルタ部（ＬＦ）２９は、マクロブロックＭＢ０の復号画像の輝度成分に対して、ループフィルタ処理を実施する。これにより、マクロブロックＭＢ０のローカルデコード画像データＬＩＭＧの輝度成分が生成される。マクロブロックＭＢ０のローカルデコード画像データＬＩＭＧの一部は、例えば、次のマクロブロックラインＭＬのループフィルタ処理に使用されるため、バッファ６４ｂに記憶される。
【００９０】
マクロブロックＭＢ１・・・ＭＢｎに対しても、各マクロブロックＭＢの動きベクトルの探索が終了した後、上述の処理が実施される。なお、輝度成分の画像符号化処理では、例えば、差分算出部２３、直交変換部２４、量子化部２５、逆量子化部２６、逆直交変換部２７、動き補償部２８およびループフィルタ部２９の各処理は、輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３の順に実施される。
【００９１】
色差成分の画像符号化処理（図のＰＩＣ０（Ｃｂ、Ｃｒ））では、各マクロブロックＭＢの動きベクトルの探索が既に終了しているため、差分算出部２３等の各処理がマクロブロックＭＢ毎に順次実施される。差分算出部２３、直交変換部２４、量子化部２５、逆量子化部２６、逆直交変換部２７、動き補償部２８およびループフィルタ部２９の各処理は、上述の輝度成分の画像符号化処理の動作説明における輝度成分を色差成分に読み替えることで説明される。
【００９２】
例えば、色差成分の画像符号化処理では、差分算出部２３、直交変換部２４、量子化部２５、逆量子化部２６、逆直交変換部２７、動き補償部２８およびループフィルタ部２９の各処理は、色差ブロックＣｂ、Ｃｒの順に実施される。なお、色差成分の画像符号化処理では、例えば、輝度成分の画像符号化処理により生成されたヘッダデータがデータバッファ８４のヘッダ領域ＨＲＡから読み出される。
【００９３】
符号化データＣＩＭＧの可変長符号化処理は、図４で説明したように、符号化データＣＩＭＧの輝度成分および符号化データＣＩＭＧの色差成分の両方が生成された後に実施される。
【００９４】
ここで、例えば、輝度成分の画像符号化処理では、キャッシュ６２およびバッファ６４は、色差成分のデータを記憶しなくてよい。また、色差成分の画像符号化処理では、キャッシュ６２およびバッファ６４は、輝度成分のデータを記憶しなくてよい。このため、この実施形態では、キャッシュ６２およびバッファ６４の容量を削減できる。
【００９５】
図９は、フレーム内予測に使用される周辺画素Ｐ１０、Ｐ２０、Ｐ３０の一例を示している。例えば、フレーム内予測では、予測モードに応じて、マクロブロックＭＢの上端および左端にそれぞれ隣接する周辺画素Ｐ１０、Ｐ２０、Ｐ３０（図の網掛け）が必要である。
【００９６】
例えば、輝度ブロックＹでは、輝度ブロックＹの上端に隣接する１６×１画素Ｐ１０ｙ、輝度ブロックＹの左端に隣接する１×１６画素Ｐ２０ｙ、輝度ブロックＹの左上の画素Ｐ３０ｙが必要である。また、例えば、色差ブロックＣｂでは、色差ブロックＣｂの上端に隣接する８×１画素Ｐ１０ｃｂ、色差ブロックＣｂの左端に隣接する１×８画素Ｐ２０ｃｂ、色差ブロックＣｂの左上の画素Ｐ３０ｃｂが必要である。そして、色差ブロックＣｒでは、色差ブロックＣｒの上端に隣接する８×１画素Ｐ１０ｃｒ、色差ブロックＣｒの左端に隣接する１×８画素Ｐ２０ｃｒ、色差ブロックＣｒの左上の画素Ｐ３０ｃｒが必要である。なお、フレーム内予測の予測モードによっては、図９に示した以外の画素が必要なときもある。
【００９７】
図１０は、デブロッキングフィルタ処理に使用される周辺画素Ｐ１２、Ｐ２２の一例を示している。デブロッキングフィルタ処理では、例えば、マクロブロックＭＢの水平エッジＨＥＧおよび垂直エッジＶＥＧに対して、複数画素分（輝度ブロックＹで４画素、色差ブロックＣｒ、Ｃｂで２画素）の周辺画素Ｐ１２、Ｐ２２（図の網掛け）が必要である。
【００９８】
例えば、輝度ブロックＹでは、水平エッジＨＥＧの上側の１６×４画素Ｐ１２ｙと垂直エッジＶＥＧの左側の４×１６画素Ｐ２２ｙとが必要である。また、例えば、色差ブロックＣｂでは、水平エッジＨＥＧの上側の８×２画素Ｐ１２ｃｂと垂直エッジＶＥＧの左側の２×８画素Ｐ２２ｃｂとが必要である。そして、色差ブロックＣｒでは、水平エッジＨＥＧの上側の８×２画素Ｐ１２ｃｒと垂直エッジＶＥＧの左側の２×８画素Ｐ２２ｃｒとが必要である。
【００９９】
図１１は、図７に示したバッファ６４の管理の一例を示している。なお、図１１は、図２に示したピクチャＰＩＣを処理するときのバッファ６４の管理の一例を示している。図のピクチャＰＩＣの上側に付した数字は、マクロブロックＭＢの列番号を示している。以下、例えば、列番号ｊのマクロブロックＭＢをｊ列目のマクロブロックＭＢとも称する。また、マクロブロックＭＢｐｒ（図の網掛け）は、処理対象のマクロブロックＭＢを示している。
【０１００】
バッファ６４は、例えば、１マクロブロックラインＭＬの各マクロブロックＭＢに対応する領域ＡＲ０−ＡＲ１１９を有している。なお、図１１では、バッファ６４ａ、６４ｂの管理の概要が互いに同じであるため、バッファ６４ａ、６４ｂを区別せずに、バッファ６４と記載している。例えば、バッファ６４ａでは、領域ＡＲ０−ＡＲ１１９は、図１２に示す領域ＡＲａ０−ＡＲａ１１９に対応する。また、バッファ６４ｂでは、領域ＡＲ０−ＡＲ１１９は、図１３に示す領域ＡＲｂ０−ＡＲｂ１１９に対応する。
【０１０１】
画像符号化部２０Ａは、例えば、マクロブロックラインＭＬ４のｊ列目のマクロブロックＭＢｐｒを処理する前に、マクロブロックＭＢｐｒの上側の周辺画素のデータを、バッファ６４の領域ＡＲｊ（図の太線で囲んだ領域）からデータ転送部６０を介して読み出す。すなわち、マクロブロックＭＢｐｒが処理される前に、マクロブロックラインＭＬ３のｊ列目のマクロブロックＭＢ内の下側の画素のデータが、バッファ６４の領域ＡＲｊから読み出される。
【０１０２】
そして、画像符号化部２０Ａは、読み出した周辺画素のデータを用いて、マクロブロックＭＢｐｒに対する画像符号化処理を実施する。マクロブロックＭＢｐｒ内の下側の画素のデータ（処理結果）は、例えば、マクロブロックラインＭＬ５のｊ列目のマクロブロックＭＢを処理するときに使用される。このため、画像符号化部２０Ａは、マクロブロックＭＢｐｒを処理した後、マクロブロックＭＢｐｒ内の下側の画素のデータを、バッファ６４の領域ＡＲｊ（図の太線で囲んだ領域）にデータ転送部６０を介して書き込む。
【０１０３】
このように、画像符号化部２０Ａは、ｊ列目のマクロブロックＭＢを処理する前に、ｊ列目のマクロブロックＭＢの上側の周辺画素のデータをバッファ６４の領域ＡＲｊからデータ転送部６０を介して読み出す。そして、画像符号化部２０Ａは、ｊ列目のマクロブロックＭＢの処理完了後に、ｊ列目のマクロブロックＭＢ内の下側の画素のデータ（処理結果）をバッファ６４の領域ＡＲｊにデータ転送部６０を介して書き込む。
【０１０４】
なお、マクロブロックＭＢｐｒ内の右側の画素のデータ（処理結果）は、次のマクロブロックＭＢ（マクロブロックラインＭＬ４のｊ＋１列目のマクロブロックＭＢ）を処理するときに使用される。このため、マクロブロックＭＢｐｒ内の右側の画素のデータは、例えば、次のマクロブロックＭＢを処理するまで、予測画像生成部２２やループフィルタ部２９に保持される。
【０１０５】
ここで、画像符号化部２０Ａは、例えば、マクロブロックＭＢｐｒの処理中に、マクロブロックＭＢｐｒの次のマクロブロックＭＢの上側の周辺画素のデータを、バッファ６４の領域ＡＲｊ＋１からデータ転送部６０を介して読み出してもよい。これにより、ｊ＋１列目のマクロブロックＭＢが処理される前に、ｊ＋１列目のマクロブロックＭＢの上側の周辺画素のデータが、バッファ６４の領域ＡＲｊ＋１から読み出される。
【０１０６】
例えば、画像符号化部２０Ａは、ｊ列目のマクロブロックＭＢを処理しているときに、次に処理するｊ＋１列目のマクロブロックＭＢの上側の周辺画素のデータをバッファ６４の領域ＡＲｊ＋１からデータ転送部６０を介して読み出す。そして、画像符号化部２０Ａは、ｊ列目のマクロブロックＭＢの処理完了後に、ｊ列目のマクロブロックＭＢ内の下側の画素のデータ（処理結果）をバッファ６４の領域ＡＲｊにデータ転送部６０を介して書き込む。
【０１０７】
図１２は、図７に示したフレーム内予測用のバッファ６４ａの記憶領域の割り当ての一例を示している。なお、図１２は、図２に示したピクチャＰＩＣを処理するときのバッファ６４ａの記憶領域の割り当ての一例を示している。バッファ６４ａは、例えば、１マクロブロックラインＭＬの各マクロブロックＭＢに対応する領域ＡＲａ０−ＡＲａ１１９を有している。
【０１０８】
４：２：０フォーマットでは、色差成分の水平画素数は、輝度成分の水平画素数の半分である。なお、色差成分がＣｂ面およびＣｒ面の２つ分あるため、Ｃｂ面の水平画素数とＣｒ面の水平画素数の合計は、輝度成分の水平画素数と同じである。したがって、マクロブロックＭＢの上端に隣接する画素を使用するフレーム内予測では、色差成分の処理に必要な水平画素数（図９に示した周辺画素Ｐ１０ｃｒ、Ｐ１０ｃｂの数）は、輝度成分の処理に必要な水平画素数（図９に示した周辺画素Ｐ１０ｙの数）と同じである。
【０１０９】
このため、例えば、バッファ６４ａは、水平画素数（図２では、１９２０）×１画素分の容量を有している。そして、バッファ６４ａは、輝度成分のフレーム内予測と色差成分のフレーム内予測とで兼用される。例えば、輝度成分のフレーム内予測では、処理対象の輝度ブロックＹの上端に隣接する１６×１画素Ｐ１０ｙが各領域ＡＲａに記憶される。また、例えば、色差成分のフレーム内予測では、処理対象の色差ブロックＣｂの上端に隣接する８×１画素Ｐ１０ｃｂと処理対象の色差ブロックＣｒの上端に隣接する８×１画素Ｐ１０ｃｒとが、各領域ＡＲａに記憶される。
【０１１０】
すなわち、バッファ６４ａでは、フレーム内予測に使用される周辺画素の少なくとも一部のデータを記憶する領域ＡＲａが、輝度成分の画像符号化処理と色差成分の画像符号化処理とで兼用される。そして、バッファ６４ａは、輝度成分の画像符号化処理時に、一部のデータの輝度成分（図９に示した周辺画素Ｐ１０ｙ）を記憶し、色差成分の画像符号化処理時に、一部のデータの色差成分（図９に示した周辺画素Ｐ１０ｃｒ、Ｐ１０ｃｂ）を記憶する。
【０１１１】
図１３は、図７に示したデブロッキングフィルタ処理用のバッファ６４ｂの記憶領域の割り当ての一例を示している。なお、図１３は、図２に示したピクチャＰＩＣを処理するときのバッファ６４ｂの記憶領域の割り当ての一例を示している。バッファ６４ｂは、例えば、１マクロブロックラインＭＬの各マクロブロックＭＢに対応する領域ＡＲｂ０−ＡＲｂ１１９を有している。なお、図中の網掛けは、色差成分の処理のときに使用されない領域を示している。
【０１１２】
４：２：０フォーマットでは、Ｃｂ面の水平画素数とＣｒ面の水平画素数の合計は、輝度成分の水平画素数と同じである。また、デブロッキングフィルタ処理では、図１０で説明したように、輝度ブロックＹの水平エッジＨＥＧに対して、４画素の周辺画素Ｐ１２ｙが必要である。そして、色差ブロックＣｒの水平エッジＨＥＧに対して、２画素の周辺画素Ｐ１２ｃｒが必要であり、色差ブロックＣｂの水平エッジＨＥＧに対して、２画素の周辺画素Ｐ１２ｃｂが必要である。
【０１１３】
したがって、デブロッキングフィルタ処理では、色差成分の処理に必要な水平画素数（図１０に示した周辺画素Ｐ１２ｃｒ、Ｐ１２ｃｂの数）は、輝度成分の処理に必要な水平画素数（図１０に示した周辺画素Ｐ１２ｙの数）の半分である。このため、バッファ６４ｂは、輝度成分の処理に必要な水平画素のデータを記憶する容量を有している。そして、バッファ６４ｂは、輝度成分のデブロッキングフィルタ処理と色差成分のデブロッキングフィルタ処理とで兼用される。例えば、バッファ６４ｂは、水平画素数（図２では、１９２０）×４画素分の容量を有している。なお、輝度成分の処理では、バッファ６４ｂの半分の容量が使用される。
【０１１４】
例えば、輝度成分のデブロッキングフィルタ処理では、処理対象の輝度ブロックＹの水平エッジＨＥＧの上側の１６×４画素Ｐ１２ｙが、各領域ＡＲｂに記憶される。また、例えば、色差成分のデブロッキングフィルタ処理では、処理対象の色差ブロックＣｂの水平エッジＨＥＧの上側の８×２画素Ｐ１２ｃｂと処理対象の色差ブロックＣｒの水平エッジＨＥＧの上側の８×２画素Ｐ１２ｃｒとが、各領域ＡＲｂに記憶される。なお、図１３では、色差成分の処理のときの未使用領域（図の網掛け）をまとめて示しているが、未使用領域は、各領域ＡＲｂ内に割り当てられてもよい。
【０１１５】
このように、バッファ６４ｂでは、デブロッキングフィルタ処理に使用される周辺画素の少なくとも一部のデータを記憶する領域ＡＲｂが、輝度成分の画像符号化処理と色差成分の画像符号化処理とで兼用される。そして、バッファ６４ｂは、輝度成分の画像符号化処理時に、一部のデータの輝度成分（図１０に示した周辺画素Ｐ１２ｙ）を記憶し、色差成分の画像符号化処理時に、一部のデータの色差成分（図１０に示した周辺画素Ｐ１２ｃｒ、Ｐ１２ｃｂ）を記憶する。
【０１１６】
図１４は、図７に示したキャッシュ６２の動作の一例を示している。図のピクチャＰＩＣの下側に付した数字は、マクロブロックＭＢの列番号を示している。また、図の網掛けは、マクロブロックラインＭＬ４の３列目のマクロブロックＭＢの処理中に、キャッシュ６２に記憶される参照画像のマクロブロックＭＢを示している。なお、マクロブロックＭＢｐｒ（相対的に濃い網掛け）は、処理対象のマクロブロックＭＢの位置に対応する参照画像（参照フレーム）内のマクロブロックＭＢを示している。また、マクロブロックＭＢｎｄは、次のマクロブロックＭＢの処理のときにキャッシュ６２から削除されるマクロブロックＭＢを示している。そして、マクロブロックＭＢｎｆは、次のマクロブロックＭＢの処理のときにキャッシュ６２に書き込まれるマクロブロックＭＢを示している。
【０１１７】
キャッシュ６２は、例えば、数マクロブロックラインＭＬ分の容量を有している。そして、キャッシュ６２は、参照される可能性の高い領域の画像データ（参照画像データＲＩＭＧの候補）を、処理中のマクロブロックＭＢの位置に合わせて自動的にプリフェッチする。例えば、キャッシュ６２は、処理対象のマクロブロックＭＢの位置に対応する参照フレーム内のマクロブロックＭＢｐｒの周辺の画像データを常に保持する。そして、キャッシュ６２のデータは、例えば、１マクロブロックＭＢを処理する度に更新される。
【０１１８】
例えば、マクロブロックラインＭＬ４の４列目のマクロブロックＭＢの処理（マクロブロックＭＢｐｒの次のマクロブロックＭＢに対応する処理）では、プリフェッチされている上端のマクロブロックラインＭＬ１から１つのマクロブロックＭＢｎｄが削除される。そして、プリフェッチされている下端のマクロブロックラインＭＬ６に１つのマクロブロックＭＢｎｆが追加される。
【０１１９】
すなわち、キャッシュ６２は、例えば、１マクロブロックＭＢが処理される度に、プリフェッチされている上端のマクロブロックラインＭＬから１マクロブロックＭＢを削除し、プリフェッチされている下端のマクロブロックラインＭＬに１マクロブロックＭＢを追加する。
【０１２０】
動画像処理では、処理対象のマクロブロックＭＢと空間的に近い領域が参照される確率が高い。このため、図１４に示したように、処理対象のマクロブロックＭＢの周辺の画素データをキャッシュ６２がプリフェッチすることにより、キャッシュ６２のヒット率は高くなる。さらに、この実施形態では、輝度成分の画像符号化処理と色差成分の画像符号化処理とをピクチャＰＩＣ単位で切り替えるため、輝度成分の参照画像を読み出すときと色差成分の参照画像を読み出すときとでキャッシュ６２を兼用できる。すなわち、キャッシュ６２は、輝度成分の処理と色差成分の処理とで兼用される。
【０１２１】
例えば、キャッシュ６２の容量が１２８Ｋｂｙｔｅ、１画素のデータ量が１ｂｙｔｅ、水平サイズが２Ｋｂｙｔｅのとき、キャッシュ６２は、６４行分の参照画像の輝度成分を保持でき、１２８行分の参照画像の色差成分を保持できる。
【０１２２】
ここで、輝度成分の画像符号化処理と色差成分の画像符号化処理とをマクロブロックＭＢ単位で切り替えて実施する方式では、参照画像の輝度成分および色差成分の両方を同時にキャッシュ６２に記憶させる必要がある。したがって、輝度成分の画像符号化処理と色差成分の画像符号化処理とをマクロブロックＭＢ単位で切り替えて実施する方式では、キャッシュメモリ６２の容量が増加する。換言すれば、この実施形態では、キャッシュメモリ６２の容量を削減できる。あるいは、この実施形態では、輝度成分の画像符号化処理と色差成分の画像符号化処理とをマクロブロックＭＢ単位で切り替えて実施する方式と同じ容量のキャッシュメモリ６２を有するときには、キャッシュ６２のヒット率を高めることができる。
【０１２３】
なお、動画像処理システムＥＳＹＳの構成および動作は、この例に限定されない。例えば、４：４：４フォーマットでは、バッファ６４の容量は、色差成分の処理に必要な水平画素のデータを記憶する容量を有する。すなわち、バッファ６４は、輝度成分の処理と色差成分の処理とのうち、処理に必要な水平画素のデータ量が大きい方のデータを記憶する容量を有する。また、例えば、ループフィルタ部２９およびバッファ６４ｂは、省かれてもよい。すなわち、バッファ６４は、フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の少なくとも一方の少なくとも一部のデータを記憶する。
【０１２４】
また、例えば、輝度成分および色差成分に対するそれぞれの画像符号化処理の切り替え単位は、図５に示したようにスライスＳＬ単位でもよいし、図６に示したように複数のマクロブロックラインＭＬを含む分割領域ＳＧ単位でもよい。なお、スライスＳＬ単位や分割領域ＳＧ単位切り替えでは、輝度成分の画像符号化処理と色差成分の画像符号化処理とがピクチャＰＩＣの途中で切り替わるため、キャッシュ６２およびバッファ６４の読み直しが発生する。
【０１２５】
また、キャッシュ６２は、例えば、キャッシュミスしたとき、メモリ８０から読み出された参照画像データＲＩＭＧを記憶してもよい。この方式では、例えば、キャッシュ６２は、プロッセサで使用されているキャッシュ管理（タグ管理）により制御される。
【０１２６】
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、この実施形態では、動画像処理装置１０Ａの内部メモリであるキャッシュ６２やバッファ６４の容量を削減できる。
【０１２７】
図１５は、別の実施形態における動画像処理システムＥＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の動画像処理システムＥＳＹＳは、図７に示した動画像処理装置１０Ａの代わりに動画像処理装置１０Ｂを有している。動画像処理システムＥＳＹＳのその他の構成は、上述した実施形態と同じである。
【０１２８】
例えば、動画像処理システムＥＳＹＳは、画像データＩＩＭＧをＭＰＥＧやＨ．２６４等に準拠した符号化方式で符号化する動画像処理装置１０Ｂと、動画像処理装置１０Ｂに接続されるメモリ８０とを有している。動画像処理装置１０Ｂは、例えば、メモリ８０とは別のチップに形成される。
【０１２９】
動画像処理装置１０Ｂは、図７に示した動画像処理装置１０Ａに画像前処理部３２が追加され、画像符号化部２０Ａの代わりに画像符号化部２０Ｂを有している。動画像処理装置１０Ｂのその他の構成は、動画像処理装置１０Ａと同じである。例えば、動画像処理装置１０Ｂは、画像符号化部２０Ｂ、画像前処理部３２、可変長符号化部４０、データ転送部６０、キャッシュ６２およびバッファ６４（６４ａ、６４ｂ）を有している。
【０１３０】
画像前処理部３２は、例えば、コスト算出部３３、３４を有し、データ転送部６０に接続されている。コスト算出部３３は、例えば、入力画像データをメモリ８０からデータ転送部６０を介して受ける。そして、コスト算出部３３は、入力画像データの輝度成分および色差成分を用いて、フレーム内予測のモードおよびコスト（差分絶対値和等）をマクロブロックＭＢ毎に算出する。すなわち、コスト算出部３３は、フレーム内予測における輝度成分のコストおよび色差成分のコストをマクロブロックＭＢ毎に算出する。
【０１３１】
コスト算出部３３で算出されたフレーム内予測のモードおよびコストは、例えば、データ転送部６０を介してメモリ８０に記憶され、画像符号化部２０Ｂで使用される。なお、コスト算出部３３は、フレーム内予測のモードおよびコストを、メモリ８０を介さずに、画像符号化部２０Ｂに出力してもよい。例えば、コスト算出部３３は、フレーム内予測のモードおよびコストを、データ転送部６０を介して画像符号化部２０Ｂに出力してもよい。この際、フレーム内予測のモードおよびコストは、画像符号化部２０Ｂで使用されるまでコスト算出部３３内に保持されてもよいし、画像符号化部２０Ｂで使用されるまで画像符号化部２０Ｂ内に保持されてもよい。
【０１３２】
コスト算出部３４は、例えば、フレーム間予測における階層的動きベクトル探索処理の前段探索処理を実施する。例えば、コスト算出部３４は、縮小画像データをメモリ８０からデータ転送部６０を介して受ける。そして、コスト算出部３４は、縮小画像データの輝度成分および色差成分を用いて、粗い精度の動きベクトルおよびコストをマクロブロックＭＢ毎に算出する。すなわち、コスト算出部３４は、フレーム間予測における輝度成分のコストおよび色差成分のコストをマクロブロックＭＢ毎に算出する。
【０１３３】
コスト算出部３４で算出された動きベクトルおよびコストは、例えば、データ転送部６０を介してメモリ８０に記憶され、画像符号化部２０Ｂで使用される。なお、コスト算出部３４は、動きベクトルおよびコストを、メモリ８０を介さずに、画像符号化部２０Ｂに出力してもよい。例えば、コスト算出部３４は、動きベクトルおよびコストを、データ転送部６０を介して画像符号化部２０Ｂに出力してもよい。この際、動きベクトルおよびコストは、画像符号化部２０Ｂで使用されるまでコスト算出部３４内に保持されてもよいし、画像符号化部２０Ｂで使用されるまで画像符号化部２０Ｂ内に保持されてもよい。
【０１３４】
画像符号化部２０Ｂは、図７に示した画像符号化部２０Ａにスケール決定部３０が追加されている。画像符号化部２０Ｂのその他の構成は、画像符号化部２０Ａと同じである。例えば、画像符号化部２０Ｂは、ピクチャＰＩＣの全ての輝度ブロックＹに対して画像符号化処理を実施した後に、色差ブロックＣｂ、Ｃｒに対して画像符号化処理を実施する。このため、例えば、画像符号化部２０Ｂは、マクロブロックタイプ、動きベクトル、量子化スケール等の輝度成分および色差成分の処理で共通に使用されるパラメータを、輝度ブロックＹの画像符号化処理時に確定する。
【０１３５】
最終的な動きベクトルは、例えば、輝度ブロックＹの画像符号化処理時に、動きベクトル探索部２１での後段探索処理により算出される。例えば、動きベクトル探索部２１は、コスト算出部３４で算出された粗い精度の動きベクトルを中心に、動きベクトル探索を実施する。これにより、最終的な動きベクトルやブロック分割が決定される。なお、動きベクトル探索部２１による後段探索処理は、画像データＩＩＭＧ、ＲＩＭＧの輝度成分を用いて実施される。すなわち、動きベクトル探索部２１は、画像データＩＩＭＧ、ＲＩＭＧの色差成分を用いずに、後段探索処理を実施する。
【０１３６】
マクロブロックタイプは、例えば、フレーム内予測のモードおよびコストと、フレーム間予測のモード、ベクトル値およびコストとに基づいて決定される。例えば、マクロブロックタイプは、動きベクトル探索部２１での後段探索処理後に、決定される。画像符号化部２０Ｂは、例えば、コスト算出部３３で算出されたフレーム内予測のモードおよびコストと、コスト算出部３４で算出されたフレーム間予測のモードおよびコストと、動きベクトル探索部２１で算出されたブロック分割および動きベクトルとに基づいて、マクロブロックタイプを決定する。例えば、フレーム内予測およびフレーム間予測の各モードの中で最もコストが小さいものが選択され、マクロブロックタイプが決定される。
【０１３７】
量子化スケールは、例えば、符号量制御アルゴリズムにしたがって決定される。符号量制御アルゴリズムでは、ピクチャＰＩＣのターゲット符号量に収まるように、マクロブロックＭＢ単位で量子化スケールを調整することにより、符号量が制御される。例えば、符号量制御アルゴリズムでは、マクロブロックＭＢ毎に符号量を算出して累積し、処理済みのマクロブロックＭＢの累積符号量と各マクロブロックＭＢの処理時点での目標符号量とを比較する。なお、目標符号量は、例えば、ピクチャＰＩＣのターゲット符号量から算出される。
【０１３８】
符号量制御アルゴリズムでは、累積符号量が目標符号量より大きいとき、次のマクロブロックＭＢでの量子化スケールを大きくして符号量を減らすように制御する。また、符号量制御アルゴリズムでは、累積符号量が目標符号量より小さいとき、次のマクロブロックＭＢでの量子化スケールを小さくして符号量を増やす（画質を上げる）ように制御する。
【０１３９】
なお、この実施形態では、輝度成分の画像符号化処理が１ピクチャＰＩＣ分実施された後に、色差成分の画像符号化処理が１ピクチャＰＩＣ分実施されるため、マクロブロックＭＢ単位の符号量制御に色差成分の符号量を利用できない。このため、この実施形態では、マクロブロックＭＢ単位の符号量制御に、画像前処理部３２で算出された輝度成分のコストおよび色差成分のコストを色差成分の符号量の代わりに利用する。なお、画像符号化処理をストリームの構成順に実施する一般的な動画像符号化装置（例えば、図４に示した比較例）では、マクロブロックＭＢ単位の符号量制御に色差成分の符号量を利用できるため、量子化スケールをマクロブロックＭＢ単位で決定する際に、輝度成分のコストおよび色差成分のコストは利用されない。
【０１４０】
これに対し、この実施形態では、輝度成分のコストと色差成分のコストとマクロブロックＭＢの輝度成分の符号量に応じた仮の量子化スケールとを利用して、量子化スケールを輝度ブロックＹの画像符号化処理時に決定する。例えば、スケール決定部３０は、マクロブロックＭＢの輝度成分（輝度ブロックＹ）の符号量に応じた仮の量子化スケールを、符号量制御アルゴリズムにしたがって算出する。以下、仮の量子化スケールを基準値とも称する。すなわち、基準値は、輝度成分の符号量に応じて算出される。
【０１４１】
そして、スケール決定部３０は、画像前処理部３２で算出された輝度成分のコストおよび色差成分のコストと基準値とに基づいて、量子化スケールをマクロブロックＭＢ単位で決定する。例えば、スケール決定部３０は、輝度成分のコストを色差成分のコストで除算した除算結果が第１閾値より小さいとき、量子化スケールを基準値より大きな値に決定する。また、スケール決定部３０は、輝度成分のコストを色差成分のコストで除算した除算結果が第２閾値より大きいとき、量子化スケールを基準値より小さい値に決定する。なお、第２閾値は、第１閾値以上の値である。したがって、第２閾値は、第１閾値と同じでもよい。
【０１４２】
あるいは、スケール決定部３０は、例えば、式（１）が成り立つとき、量子化スケールを基準値より大きくし、式（２）が成り立つとき、量子化スケールを基準値より小さくする。なお、式（１）、式（２）のａ１、ａ２は、正の値である。また、式（１）のＴＨ１は、任意の値である。式（２）のＴＨ２は、式（１）のＴＨ１以上の値である。したがって、式（２）のＴＨ２は、式（１）のＴＨ１と同じ値でもよい。
【０１４３】
輝度成分のコスト×ａ１−色差成分のコスト×ａ２＜ＴＨ１ ‥‥（１）
輝度成分のコスト×ａ１−色差成分のコスト×ａ２＞ＴＨ２ ‥‥（２）
このように、スケール決定部３０は、色差ブロックＣｂ、Ｃｒの符号量が想定よりも大きくなる可能性があるときに、量子化スケールを大きくする。また、スケール決定部３０は、色差ブロックＣｂ、Ｃｒの符号量が想定よりも小さくなる可能性があるときに、量子化スケールを小さくする。これにより、この実施形態では、輝度ブロックＹのみで符号量制御を実施する方式に比べて、符号量制御を適切に実施できる。
【０１４４】
図１６は、図１５に示した動画像処理システムＥＳＹＳの動作の一例を示している。なお、図１６の画像前処理は、画像前処理部３２で実施されるコスト算出等の処理である。動画像処理システムＥＳＹＳは、例えば、画像前処理、画像符号化処理、可変長符号化処理の順に、１ピクチャＰＩＣの符号化処理を実施する。
【０１４５】
例えば、画像前処理部３２は、ピクチャＰＩＣ毎に画像前処理を順次実施する（図１６の画像前処理のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ）、ＰＩＣ１（Ｙ、Ｃｂ、Ｃｒ））。そして、画像符号化部２０Ｂは、図４および図５で説明したように、輝度成分の画像符号化処理と色差成分の画像符号化処理とを、ピクチャＰＩＣ単位で切り替えて実施する（図１６のＰＩＣ０（Ｙ）、ＰＩＣ０（Ｃｂ、Ｃｒ）、ＰＩＣ１（Ｙ）、ＰＩＣ１（Ｃｂ、Ｃｒ））。また、可変長符号化部４０は、符号化データＣＩＭＧの輝度成分および符号化データＣＩＭＧの色差成分の両方が生成された後、可変長符号化処理を実施する（図１６の可変長符号化処理のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ）、ＰＩＣ１（Ｙ、Ｃｂ、Ｃｒ））。なお、可変長符号化部４０は、図４で説明したように、輝度成分の可変長符号化処理と色差成分の可変長符号化処理とを、マクロブロックＭＢ単位で切り替えて実施する。
【０１４６】
なお、動画像処理システムＥＳＹＳの構成および動作は、この例に限定されない。例えば、スケール決定部３０は、画像符号化部２０Ｂの外部に設けられてもよい。あるいは、画像前処理部３２は、画像符号化部２０Ｂ内に設けられてもよい。また、例えば、輝度成分および色差成分に対するそれぞれの画像符号化処理の切り替え単位は、図５に示したようにスライスＳＬ単位でもよいし、図６に示したように複数のマクロブロックラインＭＬを含む分割領域ＳＧ単位でもよい。
【０１４７】
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。さらに、この実施形態では、スケール決定部３０は、画像前処理部３２で算出された輝度成分のコストおよび色差成分のコストと、輝度成分の符号量に応じて算出される基準値とに基づいて、量子化スケールをマクロブロックＭＢ単位で決定する。これにより、この実施形態では、符号量制御をマクロブロックＭＢ毎に適切に実施できる。
【０１４８】
図１７は、別の実施形態における動画像処理システムＤＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の動画像処理システムＤＳＹＳは、例えば、ＭＰＥＧやＨ．２６４等に準拠したデコーダである。なお、動画像処理システムＤＳＹＳも画像処理装置の一態様を形成する。
【０１４９】
例えば、動画像処理システムＤＳＹＳは、ＭＰＥＧやＨ．２６４等に準拠した符号化ストリームＳＴＲＭを復号する動画像処理装置１００と、動画像処理装置１００に接続されるメモリ８０とを有している。符号化ストリームＳＴＲＭは、例えば、ＭＰＥＧやＨ．２６４等に準拠した方式で可変長符号化された可変長符号化データである。
【０１５０】
動画像処理装置１００は、画像復号部１２０、可変長復号部１４０およびデータ転送部１６０を有している。例えば、動画像処理装置１００は、メモリ８０とは別のチップに形成される。
【０１５１】
可変長復号部１４０は、ＭＰＥＧやＨ．２６４等に準拠したＣＡＶＬＣやＣＡＢＡＣ等の可変長復号処理を実施する。例えば、可変長復号部１４０は、可変長符号化された符号化ストリームＳＴＲＭを受ける。なお、可変長復号部１４０は、符号化ストリームＳＴＲＭをメモリ８０からデータ転送部１６０を介して受けてもよい。そして、可変長復号部１４０は、符号化ストリームＳＴＲＭを可変長復号し、符号化データＣＩＭＧを生成する。
【０１５２】
また、可変長復号部１４０は、符号化ストリームＳＴＲＭを可変長復号した符号化データＣＩＭＧを、データ転送部１６０を介してメモリ８０のデータバッファ８４に記憶する。なお、可変長復号部１４０は、符号化ストリームＳＴＲＭの輝度成分を可変長復号する輝度成分の可変長復号処理と符号化ストリームＳＴＲＭの色差成分を可変長復号する色差成分の可変長復号処理とを、符号化ストリームＳＴＲＭのデータ構成順通り、マクロブロックＭＢ単位で切り替えて実施する。
【０１５３】
画像復号部１２０は、逆量子化、逆直交変換および動き補償等の画像復号処理を実施する。例えば、画像復号部１２０は、復号対象の符号化データＣＩＭＧを、データ転送部１６０を介してメモリ８０のデータバッファ８４から受ける。また、画像復号部１２０は、例えば、フレーム間予測の予測画像を生成するための参照画像データＲＩＭＧを、データ転送部１６０を介してメモリ８０のフレームメモリ８２から受ける。そして、画像復号部１２０は、符号化データＣＩＭＧに対して画像復号処理を実施し、デコード画像データＤＩＭＧを生成する。
【０１５４】
また、画像復号部１２０は、デコード画像データＤＩＭＧを、データ転送部６０を介してメモリ８０のフレームメモリ８２に記憶する。なお、画像復号部１２０は、輝度成分の画像復号処理と色差成分の画像復号処理とを、所定単位（例えば、ピクチャＰＩＣ単位）で切り替えて実施する。画像復号処理においても、例えば、図９に示した周辺画素Ｐ１０、Ｐ２０、Ｐ３０をフレーム内予測で使用する。また、デブロッキングフィルタ処理を実施する画像復号処理では、例えば、図１０に示した周辺画素Ｐ１２、Ｐ２２、Ｐ３２をデブロッキングフィルタ処理で使用する。フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の使い方は、上述した実施形態と同じである。
【０１５５】
データ転送部１６０は、上述した実施形態のデータ転送部６０に対応する。すなわち、データ転送部１６０は、例えば、メモリ８０へのアクセスを制御するアクセス制御部としての機能を有している。例えば、データ転送部１６０は、画像復号部１２０および可変長復号部１４０のメモリアクセス制御を実施する。また、例えば、データ転送部１６０は、図３で説明したように、データバッファ８４を、ヘッダデータを記憶するヘッダ領域ＨＲＡ、符号化データＣＩＭＧの輝度成分を記憶する輝度データ領域ＹＲＡおよび符号化データＣＩＭＧの色差成分を記憶する色差データ領域ＣＲＡに分けて管理する。
【０１５６】
これにより、この実施形態では、動画像処理装置１００の処理順序（例えば、図１８に示す動作）に対して、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域を、各領域のライトポインタおよびリードポインタによって簡単に制御できる。例えば、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡに関しては、各領域内では、可変長復号処理で書き込んだ順に、画像復号処理で読み出せばよいので、ＦＩＦＯのように制御できる。
【０１５７】
また、ヘッダ領域ＨＲＡに関しては、輝度成分の画像復号処理と色差成分の画像復号処理で２度読み出すが、両方とも可変長復号処理で書き込んだ順番に読み出せばよいので、制御としては基本的にはＦＩＦＯと同様である。なお、ヘッダ領域ＨＲＡ、輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡの各領域は、マクロブロックＭＢ単位でデータ量が可変である。このため、例えば、データ転送部１６０は、ライトポインタおよびリードポインタを領域毎に用いて、データバッファ８４を管理する。
【０１５８】
メモリ８０は、例えば、ＳＤＲＡＭである。メモリ８０は、フレームメモリ８２およびデータバッファ８４を有している。例えば、フレームメモリ８２およびデータバッファ８４は、ＳＤＲＡＭ上に配置される。なお、メモリ８０は、ＳＤＲＡＭ以外のメモリでもよい。例えば、メモリ８０は、ＤＲＡＭでもよい。フレームメモリ８２は、デコード画像データＤＩＭＧや参照画像データＲＩＭＧ等を記憶する。データバッファ８４は、可変長復号部１４０により生成された符号化データＣＩＭＧを記憶する。例えば、データバッファ８４は、可変長復号部１４０と画像復号部１２０との間で、符号化データＣＩＭＧを並び換えるために使用される。
【０１５９】
図１８は、図１７に示した動画像処理システムＤＳＹＳの動作の一例を示している。図中のマクロブロックＭＢ０は、最初に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ０の左端のマクロブロックＭＢ）を示している。また、図中のマクロブロックＭＢｎは、最後に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ６７の右端のマクロブロックＭＢ）を示している。また、ピクチャＰＩＣ１は、ピクチャＰＩＣ０の次に処理されるピクチャＰＩＣを示している。なお、図１８の括弧内の動作は、比較例の画像復号処理を示している。
【０１６０】
動画像処理システムＤＳＹＳは、例えば、可変長復号処理、画像復号処理の順に、１ピクチャＰＩＣの復号処理を実施する。なお、この実施形態では、可変長復号処理と画像復号処理とでデータの処理順序が異なる制御を実施する。例えば、可変長復号部１４０は、ＭＰＥＧやＨ．２６４等に準拠したストリームの構成順に、可変長復号処理を実施する。そして、画像復号部１２０は、１ピクチャＰＩＣ分の輝度成分の画像復号処理を実施した後、色差成分の画像復号処理を実施する。このため、符号化ストリームＳＴＲＭを可変長復号した符号化データＣＩＭＧは、可変長復号部１４０から画像復号部１２０にデータバッファ８４を介して転送される。
【０１６１】
時刻ｔ１００では、例えば、可変長復号部１４０は、ピクチャＰＩＣ０の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図の可変長復号処理のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ））。例えば、可変長復号部１４０は、各マクロブロックＭＢに対して、可変長復号処理を輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３、色差ブロックＣｂ、Ｃｒの順に実施する。
【０１６２】
これにより、ピクチャＰＩＣ０の符号化データＣＩＭＧが生成される。符号化ストリームＳＴＲＭを可変長復号した符号化データＣＩＭＧは、メモリ８０のデータバッファ８４に記憶される。例えば、可変長復号部１４０は、符号化データＣＩＭＧの輝度成分および色差成分を、データ転送部１６０を介してデータバッファ８４の輝度データ領域ＹＲＡおよび色差データ領域ＣＲＡにそれぞれ書き込む。また、可変長復号部１４０は、符号化データＣＩＭＧのヘッダデータを、データ転送部１６０を介してデータバッファ８４のヘッダ領域ＨＲＡに書き込む。ヘッダデータは、例えば、マクロブロックタイプ、動きベクトル、量子化スケール等のパラメータである。
【０１６３】
次に、可変長復号部１４０は、ピクチャＰＩＣ１の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図の可変長復号処理のＰＩＣ１（Ｙ、Ｃｂ、Ｃｒ））。このように、可変長復号部１４０は、符号化ストリームＳＴＲＭの輝度成分を復号する輝度成分の可変長復号処理と符号化ストリームＳＴＲＭの色差成分を復号する色差成分の可変長復号処理とを、符号化ストリームＳＴＲＭのデータ構成順通り、マクロブロックＭＢ単位で切り替えて実施する。
【０１６４】
なお、ピクチャＰＩＣ０の画像復号処理は、例えば、ピクチャＰＩＣ０の符号化データＣＩＭＧが生成された後（時刻ｔ１１０）、実施される。また、ピクチャＰＩＣ１の画像復号処理は、ピクチャＰＩＣ１の符号化データＣＩＭＧが生成された後（時刻ｔ１２０）、実施される。
【０１６５】
例えば、時刻ｔ１１０では、画像復号部１２０は、ピクチャＰＩＣ０の符号化データＣＩＭＧ（可変長復号部１４０により生成された符号化データＣＩＭＧ）の輝度成分を、データバッファ８４の輝度データ領域ＹＲＡからデータ転送部１６０を介して読み出す。この際、画像復号部１２０は、ヘッダデータをデータバッファ８４のヘッダ領域ＨＲＡからデータ転送部１６０を介して読み出し、処理対象のマクロブロックＭＢのパラメータを取得する。そして、画像復号部１２０は、ピクチャＰＩＣ０の輝度成分に対する画像復号処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ０（Ｙ））。例えば、画像復号部１２０は、各マクロブロックＭＢに対して、画像復号処理を輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３の順に実施する。これにより、デコード画像データＤＩＭＧの輝度成分が生成される。デコード画像データＤＩＭＧの輝度成分は、メモリ８０のフレームメモリ８２に記憶される。
【０１６６】
次に、画像復号部１２０は、例えば、ピクチャＰＩＣ０の符号化データＣＩＭＧ（可変長復号部１４０により生成された符号化データＣＩＭＧ）の色差成分を、データバッファ８４の色差データ領域ＣＲＡからデータ転送部１６０を介して読み出す。この際、画像復号部１２０は、ヘッダデータをデータバッファ８４のヘッダ領域ＨＲＡからデータ転送部１６０を介して再度読み出し、処理対象のマクロブロックＭＢのパラメータを取得する。
【０１６７】
そして、画像復号部１２０は、ピクチャＰＩＣ０の色差成分に対する画像復号処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ０（Ｃｂ、Ｃｒ））。例えば、画像復号部１２０は、各マクロブロックＭＢに対して、画像復号処理を色差ブロックＣｂ、Ｃｒの順に実施する。これにより、デコード画像データＤＩＭＧの色差成分が生成される。デコード画像データＤＩＭＧの色差成分は、メモリ８０のフレームメモリ８２に記憶される。ここまでの動作により、ピクチャＰＩＣ０のデコード画像データＤＩＭＧがフレームメモリ８２に記憶される。
【０１６８】
そして、画像復号部１２０は、ピクチャＰＩＣ０の次のピクチャＰＩＣ１の輝度成分に対する画像復号処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ１（Ｙ））。その後、画像復号部１２０は、ピクチャＰＩＣ１の色差成分に対する画像復号処理をマクロブロックＭＢ毎に順次実施する（図のＰＩＣ１（Ｃｂ、Ｃｒ））。
【０１６９】
このように、画像復号部１２０は、先ず、輝度ブロックＹの１ピクチャＰＩＣ分の画像復号処理を実施し、次に、色差ブロックＣｂ、Ｃｒの１ピクチャＰＩＣ分の画像復号処理を実施する。すなわち、画像復号部１２０は、符号化データＣＩＭＧの輝度成分を復号する輝度成分の画像復号処理と符号化データＣＩＭＧの色差成分を復号する色差成分の画像復号処理とを、ピクチャＰＩＣ単位で切り替えて実施する。
【０１７０】
ここで、比較例（図の括弧内の動作）では、ＭＰＥＧやＨ．２６４等に準拠したストリームの構成順に、画像復号処理が実施される（図の比較例のＰＩＣ０（Ｙ、Ｃｂ、Ｃｒ））。このため、比較例では、画像復号処理に必要な周辺画素を一時的に記憶する内部メモリ等には、輝度画素および色差画素の両方のデータが記憶される。したがって、内部メモリの容量は、増加する。
【０１７１】
これに対し、この実施形態では、画像復号部１２０は、輝度成分の画像復号処理と色差成分の画像復号処理とを、ピクチャＰＩＣ単位で切り替えて実施する。これにより、この実施形態では、例えば、画像復号処理に必要な周辺画素を一時的に記憶する内部メモリを、輝度画素と色差画素とで兼用できる。この結果、画像処理に必要な内部メモリの容量を削減できる。ここで、内部メモリは、例えば、図９に示したフレーム内予測用の周辺画素や図１０に示したデブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶するバッファ等である。なお、フレーム間予測の参照画像の読み出しにキャッシュメモリを使用する動画像処理装置では、キャッシュメモリも内部メモリに含まれる。
【０１７２】
図１９は、スライスＳＬ単位切り替えとピクチャＰＩＣ単位切り替えとの比較を示している。なお、図１９は、図２に示したピクチャＰＩＣを処理するときの動画像処理システムＤＳＹＳの動作の一例を示している。ピクチャＰＩＣ単位切り替えの動作は、図１８で説明しているため、詳細な説明を省略する。スライスＳＬ単位切り替えでは、動画像処理システムＤＳＹＳは、可変長復号処理、画像復号処理の順に、１スライスＳＬの復号処理を実施する。
【０１７３】
例えば、時刻ｔ１００では、可変長復号部１４０は、スライスＳＬ０（マクロブロックラインＭＬ０−ＭＬ３３）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＬ０（Ｙ、Ｃｂ、Ｃｒ））。これにより、スライスＳＬ０の符号化データＣＩＭＧが生成される。符号化データＣＩＭＧは、メモリ８０のデータバッファ８４に記憶される。次に、可変長復号部１４０は、スライスＳＬ０の次のスライスＳＬ１（マクロブロックラインＭＬ３４−ＭＬ６７）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＬ１（Ｙ、Ｃｂ、Ｃｒ））。これにより、スライスＳＬ１の符号化データＣＩＭＧが生成される。符号化データＣＩＭＧは、メモリ８０のデータバッファ８４に記憶される。ここまでの動作により、ピクチャＰＩＣ０の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【０１７４】
なお、スライスＳＬ０の画像復号処理は、例えば、スライスＳＬ０の符号化データＣＩＭＧが生成された後（時刻ｔ１０２）、実施される。また、スライスＳＬ１の画像復号処理は、スライスＳＬ１の符号化データＣＩＭＧが生成された後（時刻ｔ１１０ａ）、実施される。
【０１７５】
例えば、時刻ｔ１０２では、画像復号部１２０は、スライスＳＬ０の輝度成分の画像復号処理を実施する（図のＳＬ０（Ｙ））。これにより、デコード画像データＤＩＭＧの輝度成分が生成される。デコード画像データＤＩＭＧの輝度成分は、メモリ８０のフレームメモリ８２に記憶される。次に、画像復号部１２０は、スライスＳＬ０の色差成分の画像復号処理を実施する（図のＳＬ０（Ｃｂ、Ｃｒ））。これにより、デコード画像データＤＩＭＧの色差成分が生成される。デコード画像データＤＩＭＧの色差成分は、メモリ８０のフレームメモリ８２に記憶される。ここまでの動作により、スライスＳＬ０のデコード画像データＤＩＭＧがフレームメモリ８２に記憶される。
【０１７６】
そして、画像復号部１２０は、スライスＳＬ０の次のスライスＳＬ１の輝度成分の画像復号処理を実施する（図のＳＬ１（Ｙ））。その後、画像復号部１２０は、スライスＳＬ１の色差成分の画像復号処理を実施する（図のＳＬ１（Ｃｂ、Ｃｒ））。ここまでの動作により、ピクチャＰＩＣ０のデコード画像データＤＩＭＧがフレームメモリ８２に記憶される。このように、画像復号部１２０は、符号化データＣＩＭＧの輝度成分を復号する輝度成分の画像復号処理と符号化データＣＩＭＧの色差成分を復号する色差成分の画像復号処理とを、スライスＳＬ単位で切り替えて実施する。
【０１７７】
スライスＳＬ単位切り替えでは、スライスＳＬ０の符号化データＣＩＭＧがデータバッファ８４に記憶された時点で画像復号処理を開始できるため、ピクチャＰＩＣ単位切り替えに比べて、復号遅延を抑制できる。例えば、ピクチャＰＩＣ単位切り替えでは、ピクチャＰＩＣ０の画像復号処理は、時刻ｔ１０２より遅い時刻ｔ１１０に開始され、時刻ｔ１１４に終了する。これに対し、スライスＳＬ単位切り替えでは、ピクチャＰＩＣ０の画像復号処理は、時刻ｔ１１４より早い時刻ｔ１１２に終了する。なお、スライスＳＬ単位切り替えでは、輝度成分の画像復号処理と色差成分の画像復号処理とがピクチャＰＩＣの途中（スライスＳＬの境界）で切り替わるため、画像復号処理に必要な周辺画素を一時的に記憶する内部メモリの読み直しが発生する。
【０１７８】
図２０は、図１７に示した動画像処理システムＤＳＹＳの動作の別の例を示している。なお、図２０は、図２に示したピクチャＰＩＣを４分割した分割領域ＳＧ（１７行のマクロブロックラインＭＬ）単位で輝度成分の画像復号処理と色差成分の画像復号処理とを切り替えるときの動作を示している。なお、分割領域ＳＧは、スライスＳＬより大きくてもよいし、小さくてもよい。分割領域ＳＧ単位切り替えでは、動画像処理システムＤＳＹＳは、可変長復号処理、画像復号処理の順に、１分割領域ＳＧの復号処理を実施する。
【０１７９】
例えば、時刻ｔ１００では、可変長復号部１４０は、分割領域ＳＧ０（マクロブロックラインＭＬ０−ＭＬ１６）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＧ０（Ｙ、Ｃｂ、Ｃｒ））。次に、可変長復号部１４０は、分割領域ＳＧ０の次の分割領域ＳＧ１（マクロブロックラインＭＬ１７−ＭＬ３３）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＧ１（Ｙ、Ｃｂ、Ｃｒ））。そして、可変長復号部１４０は、分割領域ＳＧ１の次の分割領域ＳＧ２（マクロブロックラインＭＬ３４−ＭＬ５０）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＧ２（Ｙ、Ｃｂ、Ｃｒ））。その後、可変長復号部１４０は、分割領域ＳＧ２の次の分割領域ＳＧ３（マクロブロックラインＭＬ５１−ＭＬ６７）の符号化ストリームＳＴＲＭを、マクロブロックＭＢ毎に可変長復号する（図のＳＧ３（Ｙ、Ｃｂ、Ｃｒ））。ここまでの動作により、ピクチャＰＩＣ０の符号化データＣＩＭＧがデータバッファ８４に記憶される。
【０１８０】
なお、各分割領域ＳＧ０−ＳＧ３の画像復号処理は、例えば、各分割領域ＳＧの符号化データＣＩＭＧが生成された後、実施される。例えば、時刻ｔ１０１では、画像復号部１２０は、分割領域ＳＧ０の輝度成分の画像復号処理を実施する（図のＳＧ０（Ｙ））。その後、画像復号部１２０は、分割領域ＳＧ０の色差成分の画像復号処理を実施する（図のＳＧ０（Ｃｂ、Ｃｒ））。以降、画像復号部１２０は、分割領域ＳＧ０の画像復号処理と同様の処理順序で、分割領域ＳＧ１−ＳＧ３の画像復号処理を順次実施する（図のＳＧ１（Ｙ）、ＳＧ１（Ｃｂ、Ｃｒ）、ＳＧ２（Ｙ）、ＳＧ２（Ｃｂ、Ｃｒ）、ＳＧ３（Ｙ）、ＳＧ３（Ｃｂ、Ｃｒ））。
【０１８１】
このように、画像復号部１２０は、符号化データＣＩＭＧの輝度成分を復号する輝度成分の画像復号処理と符号化データＣＩＭＧの色差成分を復号する色差成分の画像復号処理とを、分割領域ＳＧ単位で切り替えて実施する。
【０１８２】
スライスＳＬより小さい分割領域ＳＧを切り替えの所定単位とした動作では、分割領域ＳＧ０の符号化データＣＩＭＧがデータバッファ８４に記憶された時点で画像復号処理を開始できるため、スライスＳＬ単位切り替えに比べて、復号遅延を抑制できる。例えば、分割領域ＳＧ単位切り替えでは、ピクチャＰＩＣ０の画像復号処理は、図１９に示した時刻ｔ１１２より早い時刻ｔ１１１に終了する。なお、分割領域ＳＧ単位切り替えでは、輝度成分の画像復号処理と色差成分の画像復号処理とがピクチャＰＩＣの途中（分割領域ＳＧの境界）で切り替わるため、画像復号処理に必要な周辺画素を一時的に記憶する内部メモリの読み直しが発生する。
【０１８３】
なお、動画像処理システムＤＳＹＳの構成および動作は、この例に限定されない。例えば、符号化データＣＩＭＧの輝度成分の画像復号処理と符号化データＣＩＭＧの色差成分の画像復号処理との処理順序は、図１８等で説明した順序と逆でもよい。すなわち、画像復号部１２０は、符号化データＣＩＭＧの輝度成分の画像復号処理を実施する前に、符号化データＣＩＭＧの色差成分の画像復号処理を実施してもよい。
【０１８４】
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。
【０１８５】
図２１は、別の実施形態における動画像処理システムＤＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の動画像処理システムＤＳＹＳは、図１７に示した動画像処理装置１００の代わりに動画像処理装置１００Ａを有している。動画像処理システムＤＳＹＳのその他の構成は、上述した実施形態と同じである。
【０１８６】
例えば、動画像処理システムＤＳＹＳは、ＭＰＥＧやＨ．２６４等に準拠した符号化ストリームＳＴＲＭを復号する動画像処理装置１００Ａと、動画像処理装置１００Ａに接続されるメモリ８０とを有している。例えば、動画像処理装置１００Ａは、メモリ８０とは別のチップに形成される。動画像処理装置１００Ａは、画像復号部１２０Ａ、可変長復号部１４０、データ転送部１６０、キャッシュ１６２およびバッファ１６４（１６４ａ、１６４ｂ）を有している。可変長復号部１４０の動作は、図１７−図２０で説明した実施形態と同じである。
【０１８７】
画像復号部１２０Ａは、図１８−図２０で説明したように、輝度成分の画像復号処理と色差成分の画像復号処理とを、所定単位（例えば、ピクチャＰＩＣ単位）で切り替えて実施する。例えば、画像復号部１２０Ａは、予測画像生成部１２２、逆量子化部（ＩＱ）１２６、逆直交変換部（ＩＴ）１２７、動き補償部（ＭＣ）１２８およびループフィルタ部（ＬＦ）１２９を有している。
【０１８８】
予測画像生成部１２２は、フレーム内予測用の予測画像やフレーム間予測用の予測画像を生成する。例えば、予測画像生成部１２２は、処理対象のマクロブロックＭＢの周辺画素をバッファ１６４ａからデータ転送部１６０を介して読み出し、フレーム内予測用の予測画像を生成する。また、例えば、予測画像生成部１２２は、参照画像データＲＩＭＧをメモリ８０等からデータ転送部１６０を介して読み出し、フレーム間予測用の予測画像を生成する。なお、例えば、参照画像データＲＩＭＧがキャッシュ１６２に記憶されているときには、参照画像データＲＩＭＧは、キャッシュ１６２から読み出される。
【０１８９】
逆量子化部１２６は、復号対象の符号化データＣＩＭＧを、データ転送部１６０を介してメモリ８０のデータバッファ８４から受ける。そして、逆量子化部１２６は、符号化データＣＩＭＧを逆量子化する。逆直交変換部１２７は、逆量子化部１２６から受けたデータを逆直交変換する。動き補償部１２８は、逆直交変換部１２７から受けたデータと予測画像生成部１２２から受けた予測画像とを加算して、復号画像をループフィルタ部１２９に出力する。
【０１９０】
ループフィルタ部１２９は、動き補償部１２８から受けた復号画像に対して、デブロッキングフィルタ処理等のループフィルタ処理を実施する。例えば、ループフィルタ部１２９は、処理対象のマクロブロックＭＢの周辺画素をバッファ１６４ｂからデータ転送部１６０を介して読み出し、ループフィルタ処理を実施する。これにより、デコード画像データＤＩＭＧが生成される。デコード画像データＤＩＭＧは、例えば、データ転送部６０を介してメモリ８０のフレームメモリ８２に記憶される。
【０１９１】
なお、例えば、予測画像生成部１２２、逆量子化部１２６、逆直交変換部１２７、動き補償部１２８およびループフィルタ部１２９は、輝度成分の処理と色差成分の処理とを、所定単位（例えば、ピクチャＰＩＣ単位）で切り替えて実施する。
【０１９２】
データ転送部１６０は、キャッシュ１６２およびバッファ１６４ａ、１６４ｂに接続され、キャッシュ１６２およびバッファ１６４ａ、１６４ｂに対するアクセスを制御する。データ転送部１６０のその他の動作は、図１７−図２０で説明した実施形態と同じである。
【０１９３】
キャッシュ１６２の使い方は、例えば、図７−図１４で説明した実施形態と同じである。例えば、キャッシュ１６２は、参照画像データＲＩＭＧを読み出すときに使用されるキャッシュメモリであり、数マクロブロックラインＭＬ分の容量を有している。そして、キャッシュ１６２は、例えば、処理中のマクロブロックＭＢで参照される可能性の高い領域の画像データ（候補画像データ）を自動的にプリフェッチする。
【０１９４】
バッファ１６４の使い方は、例えば、図７−図１４で説明した実施形態と同じである。例えば、バッファ１６４ａは、フレーム内予測用の周辺画素等のデータを一時的に記憶する。また、バッファ１６４ｂは、デブロッキングフィルタ処理用の周辺画素等のデータを一時的に記憶する。
【０１９５】
図２２は、図２１に示した画像復号部１２０Ａの動作の一例を示している。なお、図２２は、１ピクチャＰＩＣ分の画像復号処理の一例を示している。図中のマクロブロックＭＢ０は、最初に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ０の左端のマクロブロックＭＢ）を示している。また、図中のマクロブロックＭＢｎは、最後に処理されるマクロブロックＭＢ（例えば、図２のマクロブロックラインＭＬ６７の右端のマクロブロックＭＢ）を示している。ピクチャＰＩＣ０の符号化データＣＩＭＧの画像復号処理は、図１８で説明したように、ピクチャＰＩＣ０の符号化ストリームＳＴＲＭが可変長復号された後に実施される。
【０１９６】
輝度成分の画像復号処理（図のＰＩＣ０（Ｙ））では、先ず、逆量子化部（ＩＱ）１２６は、マクロブロックＭＢ０の符号化データＣＩＭＧの輝度成分（データバッファ８４から読み出した符号化データＣＩＭＧ）を逆量子化する。そして、逆直交変換部（ＩＴ）１２７は、逆量子化されたデータの輝度成分（逆量子化部１２６から受けたデータ）を逆直交変換する。動き補償部（ＭＣ）１２８は、逆直交変換部１２７から受けたデータと予測画像生成部１２２から受けた予測画像とを加算して、マクロブロックＭＢ０の復号画像の輝度成分を生成する。
【０１９７】
ループフィルタ部（ＬＦ）１２９は、マクロブロックＭＢ０の復号画像の輝度成分に対して、ループフィルタ処理を実施する。これにより、マクロブロックＭＢ０のデコード画像データＤＩＭＧが生成される。マクロブロックＭＢ０のデコード画像データＤＩＭＧは、例えば、メモリ８０のフレームメモリ８２に記憶される。
【０１９８】
マクロブロックＭＢ１・・・ＭＢｎに対しても、上述の処理が実施される。例えば、逆量子化部１２６は、マクロブロックＭＢ０の符号化データＣＩＭＧの輝度成分を逆量子化した後、マクロブロックＭＢ１・・・ＭＢｎの符号化データＣＩＭＧの輝度成分を逆量子化する処理を、順次実施する。そして、各マクロブロックＭＢの符号化データＣＩＭＧの輝度成分が逆量子化された後、逆直交変換部１２７、動き補償部１２８およびループフィルタ部１２９の各処理が順次実施される。
【０１９９】
なお、輝度成分の画像復号処理では、例えば、逆量子化部１２６、逆直交変換部１２７、動き補償部１２８およびループフィルタ部１２９の各処理は、輝度ブロックＹ０、Ｙ１、Ｙ２、Ｙ３の順に実施される。
【０２００】
色差成分の画像復号処理（図のＰＩＣ０（Ｃｂ、Ｃｒ））は、上述の輝度成分の画像復号処理の動作説明における輝度成分を色差成分に読み替えることで説明される。なお、色差成分の画像復号処理では、例えば、逆量子化部１２６、逆直交変換部１２７、動き補償部１２８およびループフィルタ部１２９の各処理は、色差ブロックＣｂ、Ｃｒの順に実施される。
【０２０１】
ここで、例えば、輝度成分の画像復号処理では、キャッシュ１６２およびバッファ１６４は、色差成分のデータを記憶しなくてよい。また、色差成分の画像復号処理では、キャッシュ１６２およびバッファ１６４は、輝度成分のデータを記憶しなくてよい。このため、この実施形態では、キャッシュ１６２およびバッファ１６４の容量を削減できる。
【０２０２】
なお、動画像処理システムＤＳＹＳの構成および動作は、この例に限定されない。例えば、ループフィルタ部１２９およびバッファ１６４ｂは、省かれてもよい。また、例えば、符号化データＣＩＭＧの輝度成分の画像復号処理と符号化データＣＩＭＧの色差成分の画像復号処理との処理順序は、図２２で説明した順序と逆でもよい。すなわち、画像復号部１２０Ａは、符号化データＣＩＭＧの輝度成分の画像復号処理を実施する前に、符号化データＣＩＭＧの色差成分の画像復号処理を実施してもよい。また、例えば、輝度成分および色差成分に対するそれぞれの画像復号処理の切り替え単位は、図１９に示したようにスライスＳＬ単位でもよいし、図２０に示したように複数のマクロブロックラインＭＬを含む分割領域ＳＧ単位でもよい。
【０２０３】
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、この実施形態では、動画像処理装置１００Ａの内部メモリであるキャッシュ１６２やバッファ１６４の容量を削減できる。
【０２０４】
図２３は、別の実施形態における動画像処理システムＣＳＹＳの一例を示している。上述した実施形態で説明した要素と同一の要素については、同一の符号を付し、これ等については、詳細な説明を省略する。この実施形態の動画像処理システムＣＳＹＳは、例えば、ＭＰＥＧやＨ．２６４等に準拠したコーデックである。なお、動画像処理システムＣＳＹＳも画像処理装置の一態様を形成する。
【０２０５】
例えば、動画像処理システムＣＳＹＳは、ＭＰＥＧやＨ．２６４等に準拠したコーデックとして機能する動画像処理装置２００と、動画像処理装置２００に接続されるメモリ８０とを有している。例えば、動画像処理装置２００は、メモリ８０とは別のチップに形成される。動画像処理装置２００は、全体制御部２２０、コーデック部２４０、メモリ制御部２６０、ストリーム入出力部２８０および画像入出力部２８２を有している。
【０２０６】
全体制御部２２０は、動画像処理装置２００全体の動作を制御する。例えば、全体制御部２２０は、コーデック部２４０等の各モジュールの動作モードの設定や同期制御等を実施する。
【０２０７】
コーデック部２４０は、例えば、コーデック制御部２４２およびコーデック処理部２４４を有している。コーデック制御部２４２は、コーデック部２４０内の各モジュールの動作を制御する。例えば、コーデック制御部２４２は、コーデック処理部２４４内の各モジュールの動作モードの設定や同期制御等を実施する。
【０２０８】
コーデック処理部２４４は、画像データをＭＰＥＧやＨ．２６４等に準拠した符号化処理および復号処理を実施する。例えば、コーデック処理部２４４は、図１５に示した動画像処理装置１０Ｂおよび図２１に示した動画像処理装置１００Ａを有している。なお、動画像処理装置１００Ａは、動画像処理装置１０Ｂと共用する設計としてもよい。例えば、画像復号部１２０Ａ、可変長復号部１４０およびデータ転送部１６０は、画像符号化部２０Ｂ、可変長符号化部４０およびデータ転送部６０とそれぞれ共用する設計としてもよい。また、動画像処理装置１００Ａは、例えば、キャッシュ１６２およびバッファ１６４をキャッシュ６２およびバッファ６４で代用してもよい。
【０２０９】
なお、コーデック処理部２４４は、図１５に示した動画像処理装置１０Ｂの代わりに、図１に示した動画像処理装置１０を有してもよいし、図７に示した動画像処理装置１０Ａを有してもよい。また、コーデック処理部２４４は、図２１に示した動画像処理装置１００Ａの代わりに、図１７に示した動画像処理装置１００を有してもよい。
【０２１０】
ストリーム入出力部２８０は、符号化ストリーム（例えば、図１５および図２１に示した符号化ストリームＳＴＲＭ）の入出力処理を実施する。画像入出力部２８２は、例えば、画像入力デバイスから画像データ（例えば、図１５に示した画像データＩＩＭＧ）を取り込む処理および画像表示デバイスへ画像データ（例えば、図２１に示した画像データＤＩＭＧ）を出力する処理を実施する。
【０２１１】
メモリ制御部２６０は、コーデック部２４０等の各モジュールからの要求に応じて、メモリ８０へのデータの書き込み制御およびメモリ８０からのデータの読み出し制御を実施する。例えば、メモリ制御部２６０は、コーデック部２４０、ストリーム入出力部２８０および画像入出力部２８２に接続されている。なお、動画像処理装置１０Ｂのデータ転送部６０および動画像処理装置１００Ａのデータ転送部１６０は、メモリ制御部２６０内に設けられてもよい。
【０２１２】
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。
【０２１３】
以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１）
少なくとも一のマクロブロックラインを含む所定単位に含まれる画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に前記所定単位に含まれる前記画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、第１符号化データを生成する画像符号化部と、
メモリへのアクセスを制御し、前記第１符号化データを前記メモリに記憶するアクセス制御部と、
前記アクセス制御部を介して前記メモリから前記第１符号化データを読み出し、前記第１符号化データの輝度成分を可変長符号化する輝度成分の可変長符号化処理と前記第１符号化データの色差成分を可変長符号化する色差成分の可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部と
を備えていることを特徴とする動画像処理装置。
（付記２）
前記所定単位は、ピクチャ単位およびスライス単位のいずれかであること
を特徴とする付記１記載の動画像処理装置。
（付記３）
フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の少なくとも一方の少なくとも一部のデータを記憶する領域が、前記輝度成分の画像符号化処理と前記色差成分の画像符号化処理とで兼用され、前記輝度成分の画像符号化処理時に、前記一部のデータの輝度成分を記憶し、前記色差成分の画像符号化処理時に、前記一部のデータの色差成分を記憶する第１記憶部を備えていること
を特徴とする付記１記載の動画像処理装置。
（付記４）
フレーム間予測に使用される参照画像の候補となる候補画像データを記憶する領域が、前記輝度成分の画像符号化処理と前記色差成分の画像符号化処理とで兼用され、前記輝度成分の画像符号化処理時に、前記候補画像データの輝度成分を順次記憶し、前記色差成分の画像符号化処理時に、前記候補画像データの色差成分を順次記憶する第２記憶部を備えていること
を特徴とする付記１記載の動画像処理装置。
（付記５）
前記アクセス制御部は、前記メモリを、前記第１符号化データのヘッダデータを記憶する第１領域、前記第１符号化データの輝度成分を記憶する第２領域および前記第１符号化データの色差成分を記憶する第３領域に分けて管理すること
を特徴とする付記１記載の動画像処理装置。
（付記６）
フレーム内予測およびフレーム間予測における輝度成分のコストおよび色差成分のコストをマクロブロック毎に算出するコスト算出部を備え、
前記画像符号化部は、
前記輝度成分の画像符号化処理時に、輝度成分の前記コストと、色差成分の前記コストと、輝度成分の符号量に応じて算出される基準値とに基づいて、量子化スケールを前記マクロブロック毎に決定するスケール決定部を有していること
を特徴とする付記１記載の動画像処理装置。
（付記７）
前記スケール決定部は、
輝度成分の前記コストを色差成分の前記コストで除算した除算結果が第１閾値より小さいとき、前記量子化スケールを、前記基準値より大きな値に決定し、前記第１閾値以上の第２閾値より前記除算結果が大きいとき、前記量子化スケールを、前記基準値より小さい値に決定すること
を特徴とする付記６記載の動画像処理装置。
（付記８）
前記第１符号化データが記憶される前記メモリを備えていること
を特徴とする付記１記載の動画像処理装置。
（付記９）
画像データを第１符号化データに符号化し、前記第１符号化データを可変長符号化する動画像処理装置と、前記動画像処理装置に接続されたメモリとを備え、
前記動画像処理装置は、
少なくとも一のマクロブロックラインを含む所定単位に含まれる前記画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に前記所定単位に含まれる前記画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、前記第１符号化データを生成し、前記輝度成分の画像符号化処理および前記色差成分の画像符号化処理により生成された前記第１符号化データを前記メモリに記憶する画像符号化部と、
前記メモリから前記第１符号化データを読み出し、前記第１符号化データの輝度成分を可変長符号化する可変長符号化処理と前記第１符号化データの色差成分を可変長符号化する可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部とを備えていること
を特徴とする動画像処理システム。
（付記１０）
可変長符号化された可変長符号化データを第１符号化データに復号し、前記第１符号化データを画像データに復号する動画像処理装置において、
前記可変長符号化データの輝度成分を復号する輝度成分の可変長復号処理と前記可変長符号化データの色差成分を復号する色差成分の可変長復号処理とを、マクロブロック単位で切り替えて実施し、前記第１符号化データを生成する可変長復号部と、
メモリへのアクセスを制御し、前記第１符号化データを前記メモリに記憶するアクセス制御部と、
前記アクセス制御部を介して前記メモリから前記第１符号化データを読み出し、少なくとも一のマクロブロックラインを含む所定単位に含まれる前記第１符号化データの輝度成分を復号する輝度成分の画像復号処理の後に前記所定単位に含まれる前記第１符号化データの色差成分を復号する色差成分の画像復号処理を行う画像復号部と
を備えていることを特徴とする動画像処理装置。
（付記１１）
前記所定単位は、ピクチャ単位およびスライス単位のいずれかであること
を特徴とする付記１０記載の動画像処理装置。
（付記１２）
フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の少なくとも一方の少なくとも一部のデータを記憶する領域が、前記輝度成分の画像復号処理と前記色差成分の画像復号処理とで兼用され、前記輝度成分の画像復号処理時に、前記一部のデータの輝度成分を記憶し、前記色差成分の画像復号処理時に、前記一部のデータの色差成分を記憶する第１記憶部を備えていること
を特徴とする付記１０記載の動画像処理装置。
（付記１３）
フレーム間予測に使用される参照画像の候補となる候補画像データを記憶する領域が、前記輝度成分の画像復号処理と前記色差成分の画像復号処理とで兼用され、前記輝度成分の画像復号処理時に、前記候補画像データの輝度成分を順次記憶し、前記色差成分の画像復号処理時に、前記候補画像データの色差成分を順次記憶する第２記憶部を備えていること
を特徴とする付記１０記載の動画像処理装置。
（付記１４）
前記アクセス制御部は、前記メモリを、前記第１符号化データのヘッダデータを記憶する第１領域、前記第１符号化データの輝度成分を記憶する第２領域および前記第１符号化データの色差成分を記憶する第３領域に分けて管理すること
を特徴とする付記１０記載の動画像処理装置。
（付記１５）
前記第１符号化データが記憶される前記メモリを備えていること
を特徴とする付記１０記載の動画像処理装置。
（付記１６）
可変長符号化された可変長符号化データを第１符号化データに復号し、前記第１符号化データを画像データに復号する動画像処理装置と、前記動画像処理装置に接続されたメモリとを備え、
前記動画像処理装置は、
前記可変長符号化データの輝度成分を復号する輝度成分の可変長復号処理と前記可変長符号化データの色差成分を復号する色差成分の可変長復号処理とを、マクロブロック単位で切り替えて実施し、前記輝度成分の可変長復号処理および前記色差成分の可変長復号処理により生成された前記第１符号化データを前記メモリに記憶する可変長復号部と、
前記メモリから前記第１符号化データを読み出し、少なくとも一のマクロブロックラインを含む所定単位に含まれる前記第１符号化データの輝度成分を復号する輝度成分の画像復号処理の後に前記所定単位に含まれる前記第１符号化データの色差成分を復号する色差成分の画像復号処理を行う画像復号部とを備えていること
を特徴とする動画像処理システム。
【０２１４】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０２１５】
１０、１０Ａ、１０Ｂ、１００、１００Ａ、２００‥動画像処理装置；２０、２０Ａ、２０Ｂ‥画像符号化部；２１‥動きベクトル探索部；２２‥予測画像生成部；２３‥差分算出部；２４‥直交変換部；２５‥量子化部；２６、１２６‥逆量子化部；２７、１２７‥逆直交変換部；２８、１２８‥動き補償部；２９、１２９‥ループフィルタ部；３０‥スケール決定部；３２‥画像前処理部；３３、３４‥コスト算出部；４０‥可変長符号化部；６０、１６０‥データ転送部；６２、１６２‥キャッシュ；６４、１６４‥バッファ；８０‥メモリ；８２‥フレームメモリ；８４‥データバッファ；２２０‥全体制御部；２４０‥コーデック部；２４２‥コーデック制御部；２４４‥コーデック処理部；２６０‥メモリ制御部；２８０‥ストリーム入出力部；２８２‥画像入出力部；ＣＳＹＳ、ＤＳＹＳ、ＥＳＹＳ‥動画像処理システム
【特許請求の範囲】
【請求項１】
少なくとも一のマクロブロックラインを含む所定単位に含まれる画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に前記所定単位に含まれる前記画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、第１符号化データを生成する画像符号化部と、
メモリへのアクセスを制御し、前記第１符号化データを前記メモリに記憶するアクセス制御部と、
前記アクセス制御部を介して前記メモリから前記第１符号化データを読み出し、前記第１符号化データの輝度成分を可変長符号化する輝度成分の可変長符号化処理と前記第１符号化データの色差成分を可変長符号化する色差成分の可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部と
を備えていることを特徴とする動画像処理装置。
【請求項２】
前記所定単位は、ピクチャ単位およびスライス単位のいずれかであること
を特徴とする請求項１記載の動画像処理装置。
【請求項３】
フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の少なくとも一方の少なくとも一部のデータを記憶する領域が、前記輝度成分の画像符号化処理と前記色差成分の画像符号化処理とで兼用され、前記輝度成分の画像符号化処理時に、前記一部のデータの輝度成分を記憶し、前記色差成分の画像符号化処理時に、前記一部のデータの色差成分を記憶する第１記憶部を備えていること
を特徴とする請求項１記載の動画像処理装置。
【請求項４】
フレーム間予測に使用される参照画像の候補となる候補画像データを記憶する領域が、前記輝度成分の画像符号化処理と前記色差成分の画像符号化処理とで兼用され、前記輝度成分の画像符号化処理時に、前記候補画像データの輝度成分を順次記憶し、前記色差成分の画像符号化処理時に、前記候補画像データの色差成分を順次記憶する第２記憶部を備えていること
を特徴とする請求項１記載の動画像処理装置。
【請求項５】
前記アクセス制御部は、前記メモリを、前記第１符号化データのヘッダデータを記憶する第１領域、前記第１符号化データの輝度成分を記憶する第２領域および前記第１符号化データの色差成分を記憶する第３領域に分けて管理すること
を特徴とする請求項１記載の動画像処理装置。
【請求項６】
フレーム内予測およびフレーム間予測における輝度成分のコストおよび色差成分のコストをマクロブロック毎に算出するコスト算出部を備え、
前記画像符号化部は、
前記輝度成分の画像符号化処理時に、輝度成分の前記コストと、色差成分の前記コストと、輝度成分の符号量に応じて算出される基準値とに基づいて、量子化スケールを前記マクロブロック毎に決定するスケール決定部を有していること
を特徴とする請求項１記載の動画像処理装置。
【請求項７】
前記スケール決定部は、
輝度成分の前記コストを色差成分の前記コストで除算した除算結果が第１閾値より小さいとき、前記量子化スケールを、前記基準値より大きな値に決定し、前記第１閾値以上の第２閾値より前記除算結果が大きいとき、前記量子化スケールを、前記基準値より小さい値に決定すること
を特徴とする請求項６記載の動画像処理装置。
【請求項８】
画像データを第１符号化データに符号化し、前記第１符号化データを可変長符号化する動画像処理装置と、前記動画像処理装置に接続されたメモリとを備え、
前記動画像処理装置は、
少なくとも一のマクロブロックラインを含む所定単位に含まれる前記画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に前記所定単位に含まれる前記画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、前記第１符号化データを生成し、前記輝度成分の画像符号化処理および前記色差成分の画像符号化処理により生成された前記第１符号化データを前記メモリに記憶する画像符号化部と、
前記メモリから前記第１符号化データを読み出し、前記第１符号化データの輝度成分を可変長符号化する可変長符号化処理と前記第１符号化データの色差成分を可変長符号化する可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部とを備えていること
を特徴とする動画像処理システム。
【請求項９】
可変長符号化された可変長符号化データを第１符号化データに復号し、前記第１符号化データを画像データに復号する動画像処理装置において、
前記可変長符号化データの輝度成分を復号する輝度成分の可変長復号処理と前記可変長符号化データの色差成分を復号する色差成分の可変長復号処理とを、マクロブロック単位で切り替えて実施し、前記第１符号化データを生成する可変長復号部と、
メモリへのアクセスを制御し、前記第１符号化データを前記メモリに記憶するアクセス制御部と、
前記アクセス制御部を介して前記メモリから前記第１符号化データを読み出し、少なくとも一のマクロブロックラインを含む所定単位に含まれる前記第１符号化データの輝度成分を復号する輝度成分の画像復号処理の後に前記所定単位に含まれる前記第１符号化データの色差成分を復号する色差成分の画像復号処理を行う画像復号部と
を備えていることを特徴とする動画像処理装置。
【請求項１０】
前記所定単位は、ピクチャ単位およびスライス単位のいずれかであること
を特徴とする請求項９記載の動画像処理装置。
【請求項１１】
フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の少なくとも一方の少なくとも一部のデータを記憶する領域が、前記輝度成分の画像復号処理と前記色差成分の画像復号処理とで兼用され、前記輝度成分の画像復号処理時に、前記一部のデータの輝度成分を記憶し、前記色差成分の画像復号処理時に、前記一部のデータの色差成分を記憶する第１記憶部を備えていること
を特徴とする請求項９記載の動画像処理装置。
【請求項１２】
フレーム間予測に使用される参照画像の候補となる候補画像データを記憶する領域が、前記輝度成分の画像復号処理と前記色差成分の画像復号処理とで兼用され、前記輝度成分の画像復号処理時に、前記候補画像データの輝度成分を順次記憶し、前記色差成分の画像復号処理時に、前記候補画像データの色差成分を順次記憶する第２記憶部を備えていること
を特徴とする請求項９記載の動画像処理装置。
【請求項１３】
前記アクセス制御部は、前記メモリを、前記第１符号化データのヘッダデータを記憶する第１領域、前記第１符号化データの輝度成分を記憶する第２領域および前記第１符号化データの色差成分を記憶する第３領域に分けて管理すること
を特徴とする請求項９記載の動画像処理装置。
【請求項１４】
可変長符号化された可変長符号化データを第１符号化データに復号し、前記第１符号化データを画像データに復号する動画像処理装置と、前記動画像処理装置に接続されたメモリとを備え、
前記動画像処理装置は、
前記可変長符号化データの輝度成分を復号する輝度成分の可変長復号処理と前記可変長符号化データの色差成分を復号する色差成分の可変長復号処理とを、マクロブロック単位で切り替えて実施し、前記輝度成分の可変長復号処理および前記色差成分の可変長復号処理により生成された前記第１符号化データを前記メモリに記憶する可変長復号部と、
前記メモリから前記第１符号化データを読み出し、少なくとも一のマクロブロックラインを含む所定単位に含まれる前記第１符号化データの輝度成分を復号する輝度成分の画像復号処理の後に前記所定単位に含まれる前記第１符号化データの色差成分を復号する色差成分の画像復号処理を行う画像復号部とを備えていること
を特徴とする動画像処理システム。
【請求項１】
少なくとも一のマクロブロックラインを含む所定単位に含まれる画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に前記所定単位に含まれる前記画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、第１符号化データを生成する画像符号化部と、
メモリへのアクセスを制御し、前記第１符号化データを前記メモリに記憶するアクセス制御部と、
前記アクセス制御部を介して前記メモリから前記第１符号化データを読み出し、前記第１符号化データの輝度成分を可変長符号化する輝度成分の可変長符号化処理と前記第１符号化データの色差成分を可変長符号化する色差成分の可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部と
を備えていることを特徴とする動画像処理装置。
【請求項２】
前記所定単位は、ピクチャ単位およびスライス単位のいずれかであること
を特徴とする請求項１記載の動画像処理装置。
【請求項３】
フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の少なくとも一方の少なくとも一部のデータを記憶する領域が、前記輝度成分の画像符号化処理と前記色差成分の画像符号化処理とで兼用され、前記輝度成分の画像符号化処理時に、前記一部のデータの輝度成分を記憶し、前記色差成分の画像符号化処理時に、前記一部のデータの色差成分を記憶する第１記憶部を備えていること
を特徴とする請求項１記載の動画像処理装置。
【請求項４】
フレーム間予測に使用される参照画像の候補となる候補画像データを記憶する領域が、前記輝度成分の画像符号化処理と前記色差成分の画像符号化処理とで兼用され、前記輝度成分の画像符号化処理時に、前記候補画像データの輝度成分を順次記憶し、前記色差成分の画像符号化処理時に、前記候補画像データの色差成分を順次記憶する第２記憶部を備えていること
を特徴とする請求項１記載の動画像処理装置。
【請求項５】
前記アクセス制御部は、前記メモリを、前記第１符号化データのヘッダデータを記憶する第１領域、前記第１符号化データの輝度成分を記憶する第２領域および前記第１符号化データの色差成分を記憶する第３領域に分けて管理すること
を特徴とする請求項１記載の動画像処理装置。
【請求項６】
フレーム内予測およびフレーム間予測における輝度成分のコストおよび色差成分のコストをマクロブロック毎に算出するコスト算出部を備え、
前記画像符号化部は、
前記輝度成分の画像符号化処理時に、輝度成分の前記コストと、色差成分の前記コストと、輝度成分の符号量に応じて算出される基準値とに基づいて、量子化スケールを前記マクロブロック毎に決定するスケール決定部を有していること
を特徴とする請求項１記載の動画像処理装置。
【請求項７】
前記スケール決定部は、
輝度成分の前記コストを色差成分の前記コストで除算した除算結果が第１閾値より小さいとき、前記量子化スケールを、前記基準値より大きな値に決定し、前記第１閾値以上の第２閾値より前記除算結果が大きいとき、前記量子化スケールを、前記基準値より小さい値に決定すること
を特徴とする請求項６記載の動画像処理装置。
【請求項８】
画像データを第１符号化データに符号化し、前記第１符号化データを可変長符号化する動画像処理装置と、前記動画像処理装置に接続されたメモリとを備え、
前記動画像処理装置は、
少なくとも一のマクロブロックラインを含む所定単位に含まれる前記画像データの輝度成分を符号化する輝度成分の画像符号化処理の後に前記所定単位に含まれる前記画像データの色差成分を符号化する色差成分の画像符号化処理を行うことで、前記第１符号化データを生成し、前記輝度成分の画像符号化処理および前記色差成分の画像符号化処理により生成された前記第１符号化データを前記メモリに記憶する画像符号化部と、
前記メモリから前記第１符号化データを読み出し、前記第１符号化データの輝度成分を可変長符号化する可変長符号化処理と前記第１符号化データの色差成分を可変長符号化する可変長符号化処理とをマクロブロック単位で切り替えて実施する可変長符号化部とを備えていること
を特徴とする動画像処理システム。
【請求項９】
可変長符号化された可変長符号化データを第１符号化データに復号し、前記第１符号化データを画像データに復号する動画像処理装置において、
前記可変長符号化データの輝度成分を復号する輝度成分の可変長復号処理と前記可変長符号化データの色差成分を復号する色差成分の可変長復号処理とを、マクロブロック単位で切り替えて実施し、前記第１符号化データを生成する可変長復号部と、
メモリへのアクセスを制御し、前記第１符号化データを前記メモリに記憶するアクセス制御部と、
前記アクセス制御部を介して前記メモリから前記第１符号化データを読み出し、少なくとも一のマクロブロックラインを含む所定単位に含まれる前記第１符号化データの輝度成分を復号する輝度成分の画像復号処理の後に前記所定単位に含まれる前記第１符号化データの色差成分を復号する色差成分の画像復号処理を行う画像復号部と
を備えていることを特徴とする動画像処理装置。
【請求項１０】
前記所定単位は、ピクチャ単位およびスライス単位のいずれかであること
を特徴とする請求項９記載の動画像処理装置。
【請求項１１】
フレーム内予測に使用される周辺画素およびデブロッキングフィルタ処理に使用される周辺画素の少なくとも一方の少なくとも一部のデータを記憶する領域が、前記輝度成分の画像復号処理と前記色差成分の画像復号処理とで兼用され、前記輝度成分の画像復号処理時に、前記一部のデータの輝度成分を記憶し、前記色差成分の画像復号処理時に、前記一部のデータの色差成分を記憶する第１記憶部を備えていること
を特徴とする請求項９記載の動画像処理装置。
【請求項１２】
フレーム間予測に使用される参照画像の候補となる候補画像データを記憶する領域が、前記輝度成分の画像復号処理と前記色差成分の画像復号処理とで兼用され、前記輝度成分の画像復号処理時に、前記候補画像データの輝度成分を順次記憶し、前記色差成分の画像復号処理時に、前記候補画像データの色差成分を順次記憶する第２記憶部を備えていること
を特徴とする請求項９記載の動画像処理装置。
【請求項１３】
前記アクセス制御部は、前記メモリを、前記第１符号化データのヘッダデータを記憶する第１領域、前記第１符号化データの輝度成分を記憶する第２領域および前記第１符号化データの色差成分を記憶する第３領域に分けて管理すること
を特徴とする請求項９記載の動画像処理装置。
【請求項１４】
可変長符号化された可変長符号化データを第１符号化データに復号し、前記第１符号化データを画像データに復号する動画像処理装置と、前記動画像処理装置に接続されたメモリとを備え、
前記動画像処理装置は、
前記可変長符号化データの輝度成分を復号する輝度成分の可変長復号処理と前記可変長符号化データの色差成分を復号する色差成分の可変長復号処理とを、マクロブロック単位で切り替えて実施し、前記輝度成分の可変長復号処理および前記色差成分の可変長復号処理により生成された前記第１符号化データを前記メモリに記憶する可変長復号部と、
前記メモリから前記第１符号化データを読み出し、少なくとも一のマクロブロックラインを含む所定単位に含まれる前記第１符号化データの輝度成分を復号する輝度成分の画像復号処理の後に前記所定単位に含まれる前記第１符号化データの色差成分を復号する色差成分の画像復号処理を行う画像復号部とを備えていること
を特徴とする動画像処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１３−７４５１３（Ｐ２０１３−７４５１３Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１２８７６（Ｐ２０１１−２１２８７６）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]