画像符号化装置と画像復号装置およびその方法
【課題】画像の符号化処理や復号処理を高速に行うことができるようにする。
【解決手段】二値化部１６１はシンタックス要素を二値化データに変換する。コンテキストインデックス（ctxIdx）設定部１６２は、シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定する。コンテキスト変数処理部１６３は、設定されたコンテキストインデックスに応じてコンテキスト変数を選択する。算術符号化処理部１６４は、並列処理単位毎に、選択されたコンテキスト変数を用いて二値化データの算術符号化を並列して行う。符号化処理を高速に行える。同様に、算術復号を並列して行うことで復号処理を高速に行える。
【解決手段】二値化部１６１はシンタックス要素を二値化データに変換する。コンテキストインデックス（ctxIdx）設定部１６２は、シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定する。コンテキスト変数処理部１６３は、設定されたコンテキストインデックスに応じてコンテキスト変数を選択する。算術符号化処理部１６４は、並列処理単位毎に、選択されたコンテキスト変数を用いて二値化データの算術符号化を並列して行う。符号化処理を高速に行える。同様に、算術復号を並列して行うことで復号処理を高速に行える。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像符号化装置と画像復号装置およびその方法に関する。詳しくは、画像の符号化処理や復号処理を高速に行えるようにする。
【背景技術】
【０００２】
従来、ＡＶＣ（Advanced Video Coding）画像符号化方式では、エントロピー符号化としてＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）や、ＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）が定義されている。このうち、ＣＡＢＡＣは、周囲の状況（コンテキスト（Context））に応じて適応的に符号化を行う２値の算術符号方式である。
【０００３】
算術符号化では、１シンボル毎に発生確率に応じて数値区間を分割する処理を繰り返すことで符号列を得る。すなわち、全シンボルを順次処理する必要がある。また、コンテキストと呼ばれるシンボル発生確率テーブル（以下単に「確率テーブル」という）を符号化処理毎に順次更新しながら符号化を行う必要がある。また、算術復号では、算術符号化と逆の処理が行われる。このように、確率テーブルを順次更新しながら処理を行うため、確率テーブルが重複して用いられる場合、確率テーブルの更新が完了しないと次の符号化処理を行うことができない。したがって、処理の並列化によって算術符号化や算術復号を高速に行うことが困難である。
【０００４】
例えば図１に示すコンテキストインデックス（ctxIdx）設定部２０１は、符号化または復号するシンタックスに応じてコンテキストインデックスを設定して変数選択部２０２-0，２０２-1に出力する。変数選択部２０２-0は、コンテキストインデックス設定部２０１から供給されたコンテキストインデックスに基づきコンテキスト変数を選択して算術復号部２０３-0に出力する。なお、コンテキスト変数では、発生確率が高い優勢シンボル（most probable symbol）と、その優勢シンボルのシンボル発生確率テーブルの番号（pStateIdx）が示されている。算術復号部２０３-0は、選択されたコンテキスト変数を用いて算術復号を行い復号結果ｂｉｎ０を出力する。同様に、変数選択部２０２-1は、コンテキストインデックス設定部２０１から供給されたコンテキストインデックスに基づきコンテキスト変数を選択して、算術復号部２０３-1に出力する。算術復号部２０３-1は、選択されたコンテキスト変数を用いて算術復号を行い復号結果ｂｉｎ１を出力する。ここで、算術復号部２０３-0，２０３-1を用いて復号処理を並列して行う場合、コンテキストインデックスが異なると確率テーブルを個々に選択できることから、算術復号部２０３-0と算術復号部２０３-1で並列に算術復号を行うことができる。しかし２つのシンボルでコンテキストインデックスが等しいと、算術復号部２０３-0で得られた復号結果ｂｉｎ０に基づき確率テーブルを更新してからでないと、算術復号部２０３-1は次の算術復号を行うことができない。したがって、処理の並列化によって算術復号を高速に行うことが困難となる。
【０００５】
また、ＡＶＣではマルチスライス（multi slice）という手法を用いて高スループットを実現することができるようになされている。マルチスライス手法では、図２の（Ａ）に示されるように、画像が複数の領域に分割され、それぞれに対して独立してＣＡＢＡＣ符号化処理や復号処理が行われる。例えば、図２の（Ａ）の点線矢印に示されるように、画像内上側のマクロブロックラインから画像内下側のマクロブロックラインに向かう順に、マクロブロック毎に算術符号化が行われる。このようにすることにより各領域のＣＡＢＡＣ符号化／復号を並列に行うことができるようになり、処理の高速化が実現された。この分割された領域をスライス（slice）と称する。
【０００６】
カレントマクロブロック（ｃｕｒｒ）は、図２の（Ｂ）（Ｃ）に示されるように、隣接する他のマクロブロック（ｍｂＡ〜ｍｂＤ）を参照しながら符号化／復号が行われる。
【０００７】
しかしながら、領域を分割することは符号化効率を落とす要因になる。第１に、各スライスが独立に符号化されるので、図２の（Ｂ）（Ｃ）に示されるように、各領域（スライス）の符号化／復号において相互参照をすることができない。したがって、境界部分で画面内予測(intra-prediction)が使用できなくなり、符号化効率が低減する恐れがあった。
【０００８】
第２に、ＣＡＢＡＣでは確率テーブルを選択するために、図２の（Ｃ）に示されるように周辺マクロブロックの状態が参照されるが、境界部分では隣接マクロブロックの参照が不可能になるため、適切な確率テーブルの選択が困難になる恐れがあった。
【０００９】
第３に、ＣＡＢＡＣで用いられる確率テーブルは、符号化が進むにつれて実際の発生確率に収束して符号化効率が高まっていくが、マルチスライス（multi slice）の場合、領域（スライス）毎にその確率テーブルが初期化される。したがって、スライス（slice）開始時点での符号化効率が低減する恐れがある。
【００１０】
ＣＡＢＡＣを並列化しつつ符号化効率を改善する手法としてエントロピースライス（entropy slice）方式が提案された（例えば、非特許文献１参照）。この方式によればＣＡＢＡＣ処理部分のみが、エントロピースライス（entropy slice）と称される領域に分割されて並列に実行されるので、画面内予測についてはエントロピースライス（entropy slice）境界でも使用可能であった。しかしながら、ＣＡＢＡＣ処理における周辺マクロブロック参照は、エントロピースライス（entropy slice）境界において使用できない。
【００１１】
さらなる改善手法としてオーダードエントロピースライス（ordered entropy slices）方式が提案された（例えば、特許文献２参照）。この方式により、ＣＡＢＡＣ処理でも境界部分で隣接マクロブロックの参照が可能となった。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】A. Segall, J.Zhao, ”Entropy slices for parallel entropy decoding”, VCEG input document COM16-C405, Geneva, CH, April 2008
【非特許文献２】Xun Guo,Yu-Wen Huang,Shawmin Lei"Ordered Entropy Slices for Parallel CABAC", VCEG input document VCEG-AK25, Yokohama, Japan, April 2009
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ところで、第２のエントロピースライス（entropy slice）の符号化や復号を行う場合、上側に隣接する第１のエントロピースライス（entropy slice）のマクロブロックの処理を終えていなければならない。このため、スライス（slice）間の依存が生じてしまい並列化のメリットが失われてしまう。すなわち、本来の目的であるＣＡＢＡＣ処理の高速化の達成が困難である。
【００１４】
本技術は、このような状況に鑑みてなされたものであり、画像の符号化処理や復号処理を高速に行うことができる画像符号化装置と画像復号装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
この技術の第１の側面は、シンタックス要素を二値化データに変換する二値化部と、前記シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて前記二値化データの算術符号化を並列して行う算術符号化処理部とを備える画像符号化装置にある。
【００１６】
この技術においては、シンタックス要素（SyntaxElement）の二値化データの算術符号化に用いるコンテキスト変数を特定するためのコンテキストインデックスが並列処理単位内で重複しないように設定されて、設定されたコンテキストインデックスに応じてコンテキスト変数が選択される。並列処理数は、画像の解像度またはフレームレートに応じてスライス単位で設定される。また、並列処理数は、ブロック単位で直交変換を行うことにより得られた直交変換係数におけるゼロ係数の数に応じて、ブロック単位で設定される。なお、ブロック単位で並列処理数が設定されていない場合、スライス単位で設定された並列処理数が用いられる。この並列処理単位で、互いに異なるコンテキストインデックスに応じたコンテキスト変数を用いて二値化データの算術符号化が並列して行われる。また、シンタックス要素には、並列処理数を示す要素が含められる。コンテキストインデックスの設定は、直交変換の係数毎のインデックスとコンテキストインデックスの関係を示す割り当てテーブルを用いて行われる。また、割り当てテーブルでは、周波数が近傍する係数では、等しいコンテキストインデックスがより多く用いられるように、係数毎のインデックスとコンテキストインデックスが関係付けられている。
【００１７】
この技術の第２の側面は、シンタックス要素を二値化データに変換する二値化工程と、前記シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定するコンテキストインデックス設定工程と、前記コンテキストインデックス設定工程で設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理工程と、前記並列処理単位毎に、前記選択されたコンテキスト変数を用いて前記二値化データの算術符号化を並列して行う算術符号化処理工程とを含む画像符号化方法にある。
【００１８】
この技術の第３の側面は、復号するシンタックス要素に対応するコンテキスト変数を特定するためのコンテキストインデックスを、並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて符号化データの算術復号を並列して行う算術復号処理部と、
前記算術復号を行うことによって得られた二値化データをシンタックス要素の値に変換する多値化部とを備える画像復号装置にある。
【００１９】
この技術においては、復号するシンタックス要素に対応するコンテキストインデックスが、並列処理単位内で重複しないように設定される。この設定されたコンテキストインデックスに応じてコンテキスト変数を選択して、並列処理単位で、互いに異なるコンテキストインデックスに応じたコンテキスト変数を用いて二値化データの算術復号が並列して行われる。また、算術復号を行うことによって得られた二値化データは多値化データであるシンタックス要素の値に変換される。並列処理数は、符号化データに符号化されて含まれている並列処理数を示すシンタックス要素に基づいて、スライス単位やブロック単位で設定する。コンテキストインデックスの設定は、直交変換の係数毎のインデックスとコンテキストインデックスの関係を示す割り当てテーブルを用いて行われる。
【００２０】
この技術の第４の側面は、復号するシンタックス要素に対応するコンテキストインデックスを、並列処理単位内で重複しないように設定するコンテキストインデックス設定工程と、前記コンテキストインデックス設定工程で設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理工程と、前記並列処理単位で、前記コンテキスト変数選択工程で選択されたコンテキスト変数を用いて符号化データの算術復号を並列して行う算術復号工程と、前記算術復号を行うことによって得られた二値化データをシンタックス要素に変換する多値化工程とを含む画像復号方法にある。
【発明の効果】
【００２１】
この技術によれば、算術符号化や算術復号を並列して行う場合に、並列処理単位内で重複を生じないようにコンテキストインデックスを設定して、設定されたコンテキストインデックスに対応するコンテキスト変数を用いて算術符号化や算術復号が行われる。したがって、画像の符号化処理や復号処理を高速に行うことができるようになる。
【図面の簡単な説明】
【００２２】
【図１】処理の並列化を行う場合の従来の構成を説明するための図である。
【図２】マルチスライス手法を説明するための図である。
【図３】画像符号化装置の構成を例示した図である。
【図４】ＣＡＢＡＣ符号化器の構成を例示した図である。
【図５】画像符号化装置の動作を示すフローチャートである。
【図６】ＣＡＢＡＣ符号化器の動作を示すフローチャートである。
【図７】シンタックス要素「slice_parallel_processing_id」を設けたスライスヘッダシンタックスを例示した図である。
【図８】シンタックス要素「mb_parallel_processing_id」を設けたマクロブロックヘッダシンタックスを例示した図である。
【図９】画像復号装置の構成を例示した図である。
【図１０】ＣＡＢＡＣ復号器の構成を例示した図である。
【図１１】画像復号装置の動作を示すフローチャートである。
【図１２】ＣＡＢＡＣ復号器の動作を示すフローチャートである。
【図１３】レベルリストインデックス（LevelListIdx）を示した図である。
【図１４】コンテキストインデックス割り当てテーブルを例示した図である。
【図１５】並列処理数を「２」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示した図である。
【図１６】並列処理数を「２」とした場合のコンテキストインデックス（ctxIdxInc）の変化を示した図である。
【図１７】並列処理数を「４」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示した図である。
【図１８】並列処理数を「４」とした場合のコンテキストインデックス（ctxIdxInc）の変化を示した図である。
【図１９】並列処理数を「８」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示した図である。
【図２０】並列処理数を「８」とした場合のコンテキストインデックス（ctxIdxInc）の変化を示した図である。
【図２１】並列処理数を「１５」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示した図である。
【図２２】並列処理数を「１５」とした場合のコンテキストインデックス（ctxIdxInc）の変化を示した図である。
【図２３】並列処理を行わない場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示した図である。
【図２４】並列処理を行わない場合のコンテキストインデックス（ctxIdxInc）の変化を示した図である。
【図２５】テレビジョン装置の概略構成を例示した図である。
【図２６】携帯電話機の概略構成を例示した図である。
【図２７】記録再生装置の概略構成を例示した図である。
【図２８】撮像装置の概略構成を例示した図である。
【発明を実施するための形態】
【００２３】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像符号化装置の構成
２．可逆符号化部の構成
３．画像符号化装置の動作
４．可逆符号化部の動作
５．画像復号装置の構成
６．可逆復号部の構成
７．画像復号装置の動作
８．可逆復号部の動作
９．並列処理の具体例
１０．ソフトウェア処理の場合
１１．電子機器に適用した場合
【００２４】
＜１．画像符号化装置の構成＞
図３は、画像符号化装置の構成を例示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、演算部２３、デブロッキングフィルタ２４、フレームメモリ２５、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３、並列処理数設定部３５を備えている。
【００２５】
Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを演算部１３とレート制御部１８およびイントラ予測部３１と動き予測・補償部３２に出力する。
【００２６】
演算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。演算部１３は、画面並べ替えバッファ１２から出力された入力画像の画像データと予測画像・最適モード選択部３３から供給された予測画像の画像データとの差分である差分画像の画像データ（予測誤差データ）を算出して、直交変換部１４に出力する。
【００２７】
直交変換部１４は、演算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
【００２８】
量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８から量子化パラメータ（量子化スケール）が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８で設定された量子化パラメータに応じて量子化データのビットレートを変化させる。
【００２９】
可逆符号化部１６には、量子化部１５から量子化データ、イントラ予測部３１から予測モード情報や動き予測・補償部３２から予測モード情報と動きベクトル情報等が供給される。また、予測画像・最適モード選択部３３から最適モードがイントラ予測であるかインター予測であるかを示す情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測モードやブロックサイズ情報等が含まれる。
【００３０】
可逆符号化部１６は、量子化データに対して例えば可変長符号化または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、最適モードがイントラ予測である場合、イントラ予測部３１から供給された予測モード情報の可逆符号化を行う。また、可逆符号化部１６は、最適モードがインター予測である場合、動き予測・補償部３２から供給された予測モード情報や動きベクトル情報等の可逆符号化を行う。さらに、可逆符号化部１６は、量子化パラメータに関する情報の可逆符号化を行う。
【００３１】
蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【００３２】
レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量が少なくなっている場合には量子化データのビットレートが低下し、空き容量が十分大きい場合には量子化データのビットレートが高くなるように量子化パラメータを設定して量子化部１５に出力する。また、レート制御部１８は、後述する符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に応じて量子化パラメータの調整や制限を行う。レート制御部１８は、量子化パラメータ情報の符号化効率を高めるために、量子化パラメータの制限に関する情報を可逆符号化部１６に供給してもよい。なお、量子化パラメータの制限に関する情報は、符号化歪み制御部２８から可逆符号化部１６に供給してもよい。
【００３３】
逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。
【００３４】
逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行い、得られたデータを演算部２３に出力する。
【００３５】
演算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算してローカルデコード画像の画像データを生成して、デブロッキングフィルタ２４とイントラ予測部３１に出力する。なお、演算部２３で生成されたローカルデコード画像は、イントラ予測またはインター予測において参照画像として用いられる。
【００３６】
デブロッキングフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２４は、演算部２３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ２５に記憶させる。
【００３７】
イントラ予測部３１は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データと演算部２３から供給された画像データ（参照画像データ）を用いて、候補となる全てのイントラ予測モードで予測を行い、最適イントラ予測モードを決定する。イントラ予測部３１は、例えば各イントラ予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるイントラ予測モードを最適イントラ予測モードとする。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、イントラ予測部３１は、最適イントラ予測モードを示す予測モード情報を可逆符号化部１６に出力する。
【００３８】
動き予測・補償部３２は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データとフレームメモリ２５から読み出した参照画像データを用いて、候補となる全てのインター予測モードで予測を行い、最適インター予測モードを決定する。動き予測・補償部３２は、例えば各インター予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるインター予測モードを最適インター予測モードとする。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、動き予測・補償部３２は、最適インター予測モードに関する予測モード情報と動きベクトル情報を可逆符号化部１６に出力する。
【００３９】
予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを演算部１３と演算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードがイントラ予測モードであるかインター予測モードであるかを示す情報を可逆符号化部１６に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測の切り替えを行う。また、予測画像・最適モード選択部３３は、符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に基づいて最適モードを指定する処理を行う。
【００４０】
＜２．可逆符号化部の構成＞
図４は、可逆符号化部１６においてＣＡＢＡＣ符号化処理を行うＣＡＢＡＣ符号化器の構成を例示している。ＣＡＢＡＣ符号化器１６０は、二値化部１６１、コンテキストインデックス（ctxIdx）設定部１６２、コンテキスト変数選択処理部１６３、算術符号化処理部１６４、符号化結果選択部１６５を備えている。さらに、ＣＡＢＡＣ符号化器１６０には、並列処理数設定部１６７が設けられている。
【００４１】
二値化部１６１は、差分動きベクトルや、直交変換係数、予測モード等のシンタックスを入力し、規格によって定められた二値化処理を行い、二値化データを生成して、算術符号化部１６４-0〜１６４-Nに出力する。
【００４２】
コンテキストインデックス設定部１６２は、シンタックスに基づきコンテキストインデックス（ctxIdx）を設定してコンテキスト変数選択処理部１６３に出力する。コンテキストインデックス（ctxIdx）とは、コンテキスト変数を選択するための情報であり、コンテキスト変数では、発生確率が高い優勢シンボル（most probable symbol）とその優勢シンボルの発生確率を示す確率テーブルの番号（pStateIdx）が示される。
【００４３】
コンテキスト変数選択処理部１６３では、変数選択部１６３-0〜１６３-Nが設けられている。ここで、並列処理数を「Ｍ」とする場合、「Ｎ＝Ｍ−１」とする。なお、並列処理数は、固定の並列処理数または並列処理数設定部３５によって例えばスライス単位やブロック単位で設定させる。
【００４４】
変数選択部１６３-0は、コンテキスト変数テーブルからコンテキストインデックス（ctxIdx-0）に対応したコンテキスト変数を選択して算術符号化処理部１６４に出力する。同様に、変数選択部１６３-1〜１６３-Nは、コンテキストインデックス（ctxIdx-1〜ctxIdx-N）に対応したコンテキスト変数を選択して算術符号化処理部１６４に出力する。コンテキスト変数テーブルでは、コンテキストインデックス毎に、コンテキスト変数すなわち優勢シンボルと優勢シンボルの確率テーブルの番号が示されている。
【００４５】
算術符号化処理部１６４では、算術符号化部１６４-0〜１６４-Nが設けられている。算術符号化部１６４-0〜１６４-Nは、二値化データとコンテキスト変数に基づいて算術符号化処理を行う。例えば算術符号化部１６４-0は、並列処理単位の最初の係数を示す二値化データと変数選択部１６３-0で選択されたコンテキスト変数を用いて算術符号化を行い、算術符号化結果を符号化結果選択部１６５に出力する。また、算術符号化部１６４-0は、算術符号化結果を変数選択部１６３-0に出力して、変数選択部１６３-0で選択されているコンテキスト変数における確率テーブルの番号を更新する。同様に、算術符号化部１６４-1〜１６４-Nは、並列処理単位内の各係数の二値化データと、変数選択部１６３-1〜１６３-Nで選択されたコンテキスト変数を用いて算術符号化を行い、算術符号化結果を符号化結果選択部１６５に出力する。また、二値算術符号化部１６４-1〜１６４-Nは、算術符号化結果を変数選択部１６３-1〜１６３-Nに出力して、選択されているコンテキスト変数における確率テーブルの番号を更新する。符号化結果選択部１６５は、算術符号化部１６４-0〜１６４-Nから供給された算術符号化結果を算術符号化部１６４-0から順に選択して符号化ストリームを生成して出力する。
【００４６】
並列処理数設定部１６７は、算術符号化を並列して行う場合の並列処理を例えば画像の解像度またはフレームレートに応じてスライス単位で設定する。また、並列処理数設定部１６７は、ブロック単位で行われた直交変換におけるゼロ係数の数に応じて並列処理をブロック単位で設定してもよい。さらに、並列処理数設定部１６７は、並列処理数を、スライス単位とブロック単位の少なくとも何れかの単位で設定して、ブロック単位で並列処理数が設定されていない場合に、スライス単位で設定された並列処理数を用いるようにしてもよい。並列処理数設定部１６７は、設定した並列処理数で算術符号化が行われるようにＣＡＢＡＣ符号化器１６０を動作させる。なお、固定の並列処理数で算術符号化を行う場合には、並列処理数設定部１６７を設けていなくともよい。
【００４７】
＜３．画像符号化装置の動作＞
次に、画像符号化装置の動作について、図５に示すフローチャートを用いて説明する。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
【００４８】
ステップＳＴ１２において画面並べ替えバッファ１２は、画像並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【００４９】
ステップＳＴ１３において演算部１３は、予測誤差データの生成を行う。演算部１３は、ステップＳＴ１２で並べ替えられた入力画像の画像データと予測画像・最適モード選択部３３で選択された予測画像の画像データとの差分を算出して、差分画像の画像データすなわち予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を符号化することができる。
【００５０】
ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、演算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
【００５１】
ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。
【００５２】
ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
【００５３】
ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
【００５４】
ステップＳＴ１８において演算部２３は、参照画像データの生成を行う。演算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、ローカルデコード画像の画像データ（参照画像データ）を生成する。
【００５５】
ステップＳＴ１９においてデブロッキングフィルタ２４は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ２４は、演算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【００５６】
ステップＳＴ２０においてメモリ部２６は、復号画像データを記憶する。メモリ部２６は、デブロッキングフィルタでフィルタリングが行われた復号画像データを記憶する。
【００５７】
ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。予測処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。
【００５８】
ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードを決定する。また、予測画像・最適モード選択部３３は、符号化歪み制御部２８からの制御信号に基づき、符号化／復号処理によって生じる画質劣化が大きい場合は、最適イントラ予測モードを最適モードとして選択する。さらに、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを、演算部１３と演算部２３に出力する。この予測画像データが、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
【００５９】
ステップＳＴ２３において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ符号化される。また、可逆符号化部１６は、ステップＳＴ２５で選択された予測画像データに対応する予測モード情報等の可逆符号化を行い、量子化データを可逆符号化して生成された符号化ストリームに、予測モード情報等の可逆符号化データが含められる。
【００６０】
ステップＳＴ２４において蓄積バッファ１７は、蓄積処理を行う。蓄積バッファ１７は、可逆符号化部１６から出力される符号化ストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ストリームは、適宜読み出されて伝送路を介して復号側に伝送される。
【００６１】
ステップＳＴ２５においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ストリームを蓄積する場合、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化パラメータＱＰを設定して量子化部１５に出力することで量子化動作のレートを制御する。また、レート制御部１８は、符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に応じて量子化パラメータＱＰの調整や制限等を行う。
【００６２】
＜４．可逆符号化部の動作＞
次に、可逆符号化部におけるＣＡＢＡＣ符号化器の動作について、並列処理数設定部が設けられている場合を説明する。可逆符号化部は、解像度やフレームレートが高いほど、符号化ストリームの生成処理を高速化する必要がある。したがって、ＣＡＢＡＣ符号化器は、スライス単位で並列処理数を設定して例えば解像度やフレームレートが高い動画像の場合、並列処理可能な数を大きくして、高速処理を優先させる。また、解像度やフレームレートが高くなるに伴い、並列処理可能な数を増やして高速処理をさらに優先させるようにしてもよい。
【００６３】
また、並列処理数は、マクロブロック単位で切り替え可能としてもよい。例えば、可逆符号化部は、マクロブロック内で係数値が「０」である係数（ゼロ係数）の数をカウントして、ゼロ係数が多い場合は高速化の処理は不要であるので符号化効率を優先し、ゼロ係数が少ない場合は、符号化効率より高速化処理を優先にする。
【００６４】
図６は、ＣＡＢＡＣ符号化器の動作を示すフローチャートである。ステップＳＴ３１でＣＡＢＡＣ符号化器１６０は、解像度やフレームレートが高いか判別する。ＣＡＢＡＣ符号化器１６０は、画像符号化装置１０のシステム制御部等によって示された動画像の解像度やフレームレートが、所定値よりも高い場合にはステップＳＴ３２に進み、高くない場合にはステップＳＴ３３に進む。
【００６５】
ステップＳＴ３２でＣＡＢＡＣ符号化器１６０は、並列処理数を大きな値に設定する。ＣＡＢＡＣ符号化器１６０は、解像度やフレームレートが所定値よりも高いことから、高速処理を優先させる。具体的には、スライスヘッダシンタックスに並列処理数を示すシンタックス要素「slice_parallel_processing_id」を設けて、このシンタックス要素「slice_parallel_processing_id」の数値を大きな値とする。すなわち、ＣＡＢＡＣ符号化器１６０は、符号化効率を優先させる場合よりもシンタックス要素「slice_parallel_processing_id」の数値を大きな値として高速処理を優先させてステップＳＴ３４に進む。
【００６６】
ステップＳＴ３３でＣＡＢＡＣ符号化器１６０は、並列処理数を小さな値に設定する。ＣＡＢＡＣ符号化器１６０は、解像度やフレームレートが所定値よりも高くないことから、符号化効率を優先させる。具体的には、スライスヘッダシンタックスにシンタックス要素「slice_parallel_processing_id」を設けて、このシンタックス要素「slice_parallel_processing_id」の数値を小さな値に設定する。すなわち、ＣＡＢＡＣ符号化器１６０は、高速処理を優先させる場合よりもシンタックス要素「slice_parallel_processing_id」の数値を小さな値として符号化効率を優先させてステップＳＴ３４に進む。
【００６７】
図７は、シンタックス要素「slice_parallel_processing_id」を設けたスライスヘッダシンタックスの一部を例示している。例えば、スライスヘッダシンタックスでは、シンタックス要素「pic_parameter_set_id」の次に、シンタックス要素「slice_parallel_processing_id」を設けている。
【００６８】
ステップＳＴ３４でＣＡＢＡＣ符号化器１６０は、マクロブロック内のゼロ係数の数が所定数以上であるか判別する。ＣＡＢＡＣ符号化器１６０は、画像符号化装置１０のシステム制御部によって示されたゼロ係数の数が所定数以上の場合にはステップＳＴ３５に進み、所定数未満である場合にはステップＳＴ３６に進む。
【００６９】
ステップＳＴ３５でＣＡＢＡＣ符号化器１６０は、並列処理数を小さな値に設定する。ＣＡＢＡＣ符号化器１６０は、ゼロ係数が所定数よりも多いことから、符号化効率を優先させる。具体的には、マクロブロックヘッダシンタックスに並列処理数を示すシンタックス要素「mb_parallel_processing_id」を設けて、このシンタックス要素「mb_parallel_processing_id」の数値を小さな値に設定する。すなわち、ＣＡＢＡＣ符号化器１６０は、高速処理を優先させる場合よりもシンタックス要素「mb_parallel_processing_id」の数値を小さな値として符号化効率を優先させてステップＳＴ３７に進む。
【００７０】
ステップＳＴ３６でＣＡＢＡＣ符号化器１６０は、並列処理数を大きな値に設定する。ＣＡＢＡＣ符号化器１６０は、ゼロ係数が所定数よりも多くないことから、高速処理を優先させる。具体的には、マクロブロックヘッダシンタックスにシンタックス要素「mb_parallel_processing_id」を設けて、このシンタックス要素「mb_parallel_processing_id」の数値を大きな値に設定する。すなわち、ＣＡＢＡＣ符号化器１６０は、符号化効率を優先させる場合よりもシンタックス要素「mb_parallel_processing_id」の数値を大きな値に設定して高速処理を優先させてステップＳＴ３７に進む。
【００７１】
図８は、シンタックス要素「mb_parallel_processing_id」を設けたマクロブロックヘッダシンタックスを例示している。例えば、マクロブロックヘッダシンタックスでは、シンタックス要素「mb_type」の次にシンタックス要素「mb_parallel_processing_id」を設けている。また、シンタックス要素「slice_parallel_processing_id」とシンタックス要素「mb_parallel_processing_id」を設ける場合、何れかのシンタックス要素で示された並列処理数で処理を行うようにする。例えば、シンタックス要素の選択を行うための要素「mb_parallel_setting」を設けて、要素「mb_parallel_setting」が「１」である場合、シンタックス要素「mb_parallel_processing_id」で示された並列処理数で処理を行う。また、要素「mb_parallel_setting」が「０」である場合は、シンタックス要素「slice_parallel_processing_id」の並列処理数で処理を行うようにする。
【００７２】
ステップＳＴ３７でＣＡＢＡＣ符号化器１６０は、並列処理数に応じてコンテキストインデックス（ctxIdx）割り当てテーブルを選択する。コンテキストインデックス割り当てテーブルは、並列処理単位内で重複を生じないようにコンテキストインデックスが予めテーブル化されている。なお、コンテキストインデックス割り当てテーブルの具体例については後述する。
【００７３】
ＣＡＢＡＣ符号化器１６０は、並列処理数に応じて選択されたコンテキストインデックス割り当てテーブルを用いて、ステップＳＴ３８〜ステップＳＴ４１の処理を並列して行う。なお、上述のように並列処理数を「Ｍ」として、「Ｎ＝Ｍ−１」とする。
【００７４】
ステップＳＴ３８-0でＣＡＢＡＣ符号化器１６０は、レベルリストインデックス（LevelListIdx）を設定してステップＳＴ３９-0に進む。ＣＡＢＡＣ符号化器１６０は、１回目の並列処理を行う場合、レベルリストインデックス（LevelListIdx）を「０」に設定する。その後、並列処理が繰り返される毎に、並列処理数に応じてレベルリストインデックス（LevelListIdx）を更新する。例えば並列処理数が「２」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，２，４，・・・６２」の順に更新する。並列処理数が「４」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，４，８，・・・６０」の順に更新する。並列処理数が「１５」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，１５，３０，・・・６０」の順に更新する。
【００７５】
ステップＳＴ３９-0でＣＡＢＡＣ符号化器１６０は、レベルリストインデックス（LevelListIdx）に対応するコンテキストインデックス（ctxIdx）を決定する。ＣＡＢＡＣ符号化器１６０は、レベルリストインデックス（LevelListIdx）に割り当てられているコンテキストインデックスインクリメント（ctxIdxInc）にコンテキストインデックスオフセット（ctxIdxOffset）を加算して、レベルリストインデックス（LevelListIdx）に対応するコンテキストインデックス（ctxIdx）とする。
【００７６】
ステップＳＴ４０-0でＣＡＢＡＣ符号化器１６０は、コンテキストインデックス（ctxIdx）に対応するコンテキスト変数の呼び出しを行う。ＣＡＢＡＣ符号化器１６０は、ステップＳＴ３９-0で決定したコンテキストインデックス（ctxIdx）に対応するコンテキスト変数をステップＳＴ３７で選択したコンテキスト変数テーブルから呼び出す。
【００７７】
ステップＳＴ４１-0でＣＡＢＡＣ符号化器１６０は、算術符号化を行う。ＣＡＢＡＣ符号化器１６０は、ステップＳＴ４０-0で呼び出したコンテキスト変数を用いて算術符号化を行う。
【００７８】
ＣＡＢＡＣ符号化器１６０は、ステップＳＴ３８-1において、ステップＳＴ３８-0で設定したレベルリストインデックス（LevelListIdx）に「１」を加算して、レベルリストインデックス（LevelListIdx）とする。同様に、ＣＡＢＡＣ符号化器１６０は、ステップＳＴ３８-Nまでのレベルリストインデックス（LevelListIdx）の設定を行う。例えばステップＳＴ３８-Nでは、ステップＳＴ３８-1で設定したレベルリストインデックス（LevelListIdx）に「Ｎ＝（Ｍ−１）」を加算して、レベルリストインデックス（LevelListIdx）を設定する。このように、ステップＳＴ３８-1〜３８-Nでレベルリストインデックス（LevelListIdx）を設定して、ステップＳＴ３９-1〜３９-NからステップＳＴ４１-1〜４１-Nの処理を行うと、並列処理数分の算術符号化を並列して行うことができる。
【００７９】
ステップＳＴ４２でＣＡＢＡＣ符号化器１６０は、コンテキスト変数の更新を行う。ＣＡＢＡＣ符号化器１６０は、ステップＳＴ４１-0〜４１-Nの算術符号化結果に基づき選択されているコンテキスト変数における確率テーブルの番号を更新してステップＳＴ４３に進む。
【００８０】
ステップＳＴ４３でＣＡＢＡＣ符号化器１６０は、係数処理が終了したか判別する。ＣＡＢＡＣ符号化器１６０は、１マクロブロック分の係数について算術符号化が完了していない場合にはステップＳＴ３７に戻り、１マクロブロック分の係数について算術符号化が完了した場合にはステップＳＴ４４に進む。
【００８１】
ステップＳＴ４４でＣＡＢＡＣ符号化器１６０は、マクロブロック処理が終了したか判別する。ＣＡＢＡＣ符号化器１６０は、スライス内の各マクロブロックについて算術符号化が完了していない場合にはステップＳＴ３４に戻って次のマクロブロックについての処理を行い、完了した場合にはステップＳＴ４５に進む。
【００８２】
ステップＳＴ４５でＣＡＢＡＣ符号化器１６０は、スライス処理が終了したか判別する。ＣＡＢＡＣ符号化器１６０は、フレーム内の各スライスについて算術符号化が完了していない場合にはステップＳＴ３１に戻って次のスライスついての処理を行う。
【００８３】
このように、解像度やフレームレートが高い場合には、並列処理数を増やし、高速化処理を優先させることで、符号化ストリームの生成を高速に行うことができる。また、スライス毎の切り替えだけでなく、マクロブロック毎の切り替えにも対応する。すなわち、マクロブロック内のゼロ係数が多い場合、高速化の処理は不要であるので、並列処理数を少なくして符号化効率優先させて、ゼロ係数が少ない場合に並列処理数を増やして高速化処理を優先させる。このように、マクロブロック毎に並列処理数を切り替え可能とすることで、スライス毎の並列処理数の切り替えに比べて、より詳細な制御が可能となる。
【００８４】
また、並列処理数を示すシンタックス要素を符号化ストリームに含めることで、後述する画像復号装置では、並列処理数を示すシンタックス要素の情報に基づき、画像符号化装置と等しい並列処理数で算術復号処理を行うことができる。
【００８５】
さらに、画像の解像度やフレームレートに基づき並列処理数を設定する場合、画像符号化装置と画像復号装置で等しいルールを用いて並列処理数を設定すれば、並列処理数を示すシンタックス要素を符号化ストリームに含めることなく、画像復号装置は、画像符号化装置と等しい並列処理数で算術復号処理を行うことができるので、符号化ストリームのデータ量を削減することが可能となる。
【００８６】
＜５．画像復号装置の構成＞
次に、画像符号化装置から出力される符号化ストリームの復号処理を行う画像復号装置について説明する。入力画像を符号化して生成された符号化ストリームは、所定の伝送路や記録媒体等を介して画像復号装置に供給されて復号される。
【００８７】
図９は、符号化ストリームの復号処理を行う画像復号装置の構成を例示している。画像復号装置５０は、蓄積バッファ５１、可逆復号部５２、逆量子化部５３、逆直交変換部５４、演算部５５、デブロッキングフィルタ５６、画面並べ替えバッファ５７、ディジタル／アナログ変換部（Ｄ／Ａ変換部）５８を備えている。また、画像復号装置５０は、フレームメモリ６１、イントラ予測部７１、動き補償部７２、セレクタ７３を備えている。
【００８８】
蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。可逆復号部５２は、蓄積バッファ５１より供給された符号化ストリームを、図３に示すＣＡＢＡＣ符号化器１６０の符号化方式に対応する方式で復号する。
【００８９】
可逆復号部５２は、情報取得部として動作を行い符号化ストリームから種々の情報を取得する。例えば、可逆復号部５２は、符号化ストリームを復号して得られた予測モード情報等をイントラ予測部７１や動き補償部７２に出力する。また、可逆復号部５２は、符号化ストリームを復号して得られた量子化パラメータ情報と量子化データを逆量子化部５３に出力する。また、可逆復号部５２は、量子化パラメータの範囲が制限されて量子化パラメータ情報の符号化が行われている場合、後述する符号化歪み制御部６４から供給された制御信号を利用して、量子化パラメータ情報の復号を行う。
【００９０】
逆量子化部５３は、量子化パラメータを用いて、図３に示す量子化部１５の量子化方式に対応する方式で、可逆復号部５２から供給された量子化データの逆量子化を行う。逆直交変換部５４は、図３に示す直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して演算部５５に出力する。
【００９１】
演算部５５は、逆直交変換後のデータとセレクタ７３から供給される予測画像データを加算してデコード画像の画像データを生成してデブロッキングフィルタ５６とイントラ予測部７１に出力する。
【００９２】
デブロッキングフィルタ５６は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ５６は、演算部５５から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データを画面並べ替えバッファ５７とフレームメモリ６１に出力する。
【００９３】
画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図３に示す画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。
【００９４】
Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することでデコード画像を表示させる。
【００９５】
イントラ予測部７１は、可逆復号部５２から供給された予測モード情報と演算部５５から供給された復号画像データに基づいて予測画像データの生成を行い、生成した予測画像データをセレクタ７３に出力する。
【００９６】
動き補償部７２は、可逆復号部５２から供給された予測モード情報と動きベクトル情報に基づきフレームメモリ６１から読み出した画像データを用いて動き補償を行い、予測画像データを生成する。動き補償部７２は、生成した予測画像データをセレクタ７３に出力する。
【００９７】
セレクタ７３は、可逆復号部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを演算部５５に出力する。
【００９８】
＜６．可逆復号部の構成＞
図１０は、可逆復号部５２においてＣＡＢＡＣ復号処理を行うＣＡＢＡＣ復号器の構成を例示している。ＣＡＢＡＣ復号器５２０は、蓄積バッファ５１から符号化データを受け取り、二値化データに復号した後に多値化データであるシンタックス要素の値に変換する。ＣＡＢＡＣ復号器５２０は、コンテキストインデックス設定部５２１、コンテキスト変数選択処理部５２２、算術復号処理部５２３、復号結果選択部５２４、多値化部５２５、レジスタ５２６、並列処理数設定部５２７を備えている。
【００９９】
コンテキストインデックス設定部５２１は、レジスタ５２６に記憶されているシンタックス要素に関する情報に基づき、次に復号するシンタックス要素のコンテキストインデックス（ctxIdx）を設定してコンテキスト変数選択処理部５２２に出力する。
【０１００】
コンテキスト変数選択処理部５２２では、変数選択部５２２-0〜５２２-Nが設けられている。ここで、符号化ストリームで示されている並列処理数を「Ｍ」とする場合、「Ｎ＝Ｍ−１」とする。なお、並列処理数は、画像符号化装置で固定されていることが明らかな場合には画像符号化装置と等しい固定の並列処理数とする。また、画像符号化装置に並列処理数設定部を設けて並列処理数を設定する場合、並列処理数設定部５２７において並列処理数の設定を行う。
【０１０１】
変数選択部５２２-0は、コンテキスト変数テーブルからコンテキストインデックス（ctxIdx-0）に対応したコンテキスト変数を選択して算術復号処理部５２３に出力する。同様に、変数選択部５２２-1〜５２２-Nは、コンテキストインデックス（ctxIdx-1〜ctxIdx-N）に対応したコンテキスト変数を選択して算術復号処理部５２３に出力する。
【０１０２】
算術復号処理部５２３では、算術復号部５２３-0〜５２３-Nが設けられている。算術復号部５２３-0〜５２３-Nは、蓄積バッファ５１から入力された符号化データを二値化データに復号する。例えば、算術復号部５２３-0は、１つ係数の符号化データを復号する際、変数選択部５２２-0から供給されたコンテキスト変数に基づいて復号を行い、算術復号結果である二値化データを復号結果選択部５２４に出力する。また、算術復号部５２３-0は、算術復号結果を変数選択部５２２-0に出力して、変数選択部５２２-0で選択されているコンテキスト変数における確率テーブルの番号を更新する。同様に、算術復号部５２３-1〜５２３-Nは、１つの係数の符号化データを復号する際、変数選択部５２２-1〜５２２-Nから供給されたコンテキスト変数に基づいて復号を行い、算術復号結果である二値化データを復号結果選択部５２４に出力する。また、算術復号部５２３-1〜５２３-Nは、算術復号結果を変数選択部５２２-1〜５２２-Nに出力して、変数選択部５２２-1〜５２２-Nで選択されているコンテキスト変数における確率テーブルの番号を更新する。
【０１０３】
復号結果選択部５２４は、算術復号部５２３-0〜５２３-Nから供給された算術復号結果を順に選択して多値化部５２５に出力する。
【０１０４】
多値化部５２５は、ＣＡＢＡＣ符号化器１６０の二値化部１６１に対応した処理を行い、復号結果選択部５２４から供給された二値化データを多値化することで、符号化前の多値化データすなわちシンタックス要素の値を出力する。また、多値化部５２５は、多値化を行うことにより生成されたシンタックス要素において、次の復号でコンテキストインデックス（ctxIdx）を設定するために用いる情報をレジスタ５２６に出力する。さらに、多値化部５２５は、シンタックス要素の値を並列処理数設定部５２７に出力する。
【０１０５】
レジスタ５２６は、多値化部５２５から供給された情報を保持して、保持している情報をコンテキストインデックス設定部５２３に出力する。
【０１０６】
並列処理数設定部５２７は、算術復号の並列処理数を設定する。並列処理数設定部５２７は、例えば符号化データに含まれている並列処理数を示すシンタックス要素に基づいて並列処理数を決定する。また、並列処理数設定部５２７は、復号する画像の解像度またはフレームレートに応じてスライス単位で設定する。並列処理数設定部５２７は、設定した並列処理数で算術復号が行われるようにＣＡＢＡＣ復号器５２０を動作させる。
【０１０７】
＜７．画像復号装置の動作＞
次に、図１１のフローチャートを参照して、画像復号装置５０の動作について説明する。ステップＳＴ５１で蓄積バッファ５１は、供給された符号化ストリームを蓄積する。ステップＳＴ５２で可逆復号部５２は、可逆復号処理を行う。可逆復号部５２は、蓄積バッファ５１から供給される符号化ストリームを復号する。すなわち、図３に示すＣＡＢＡＣ符号化器１６０により符号化された各ピクチャの量子化データが得られる。また、可逆復号部５２、符号化ストリームに含まれている予測モード情報等の可逆復号を行い、得られた予測モード情報がイントラ予測モードに関する情報である場合、予測モード情報をイントラ予測部７１に出力する。また、可逆復号部５２は、予測モード情報がインター予測モードに関する情報である場合、予測モード情報や動きベクトル情報を動き補償部７２に出力する。
【０１０８】
ステップＳＴ５３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号部５２により復号された量子化データを、図３に示す量子化部１５の特性に対応する特性で逆量子化する。
【０１０９】
ステップＳＴ５４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図３に示す直交変換部１４の特性に対応する特性で逆直交変換する。
【０１１０】
ステップＳＴ５５において演算部５５は、復号画像データの生成を行う。演算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ５９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
【０１１１】
ステップＳＴ５６においてデブロッキングフィルタ５６は、フィルタ処理を行う。デブロッキングフィルタ５６は、演算部５５より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【０１１２】
ステップＳＴ５７においてフレームメモリ６１は、データを記憶する。フレームメモリ６１は、デブロッキングフィルタでフィルタリングが行われた復号画像データを記憶する。
【０１１３】
ステップＳＴ５８においてイントラ予測部７１と動き補償部７２は、予測画像データの生成を行う。イントラ予測部７１と動き補償部７２は、可逆復号部５２から供給される予測モード情報に対応してそれぞれ予測画像データの生成を行う。
【０１１４】
すなわち、可逆復号部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部７１は、予測モード情報に基づいて予測画像データを生成する。また、可逆復号部５２からインター予測の予測モード情報が供給された場合、動き補償部７２は、予測モード情報と動きベクトル情報に基づき動き補償を行い、予測画像データを生成する。
【０１１５】
ステップＳＴ５９において、セレクタ７３は予測画像データの選択を行う。セレクタ７３は、イントラ予測部７１から供給された予測画像データと動き補償部７２から供給された予測画像データの選択を行い、選択した予測画像データを演算部５５に供給して、ステップＳＴ５５において逆直交変換部５４の出力と加算させる。また、セレクタ７３は、符号化歪み制御部６４からの制御信号に基づき、符号化／復号処理によって生じる画質劣化が大きい場合は、イントラ予測部７１から供給された予測画像データを選択する。
【０１１６】
ステップＳＴ６０において画面並べ替えバッファ５７は、画像並べ替えを行う。すなわち画面並べ替えバッファ５７は、図３に示す画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０１１７】
ステップＳＴ６１において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０１１８】
＜８．可逆復号部の動作＞
図１２は可逆復号部におけるＣＡＢＡＣ復号器の動作を示すフローチャートである。ステップＳＴ７１でＣＡＢＡＣ復号器５２０は、スライスヘッダから並列処理数を取得する。ＣＡＢＡＣ復号器５２０は、スライスヘッダ（slice_Header）のシンタックスから並列処理数Ｎ(parallel_processing_id)を取得する。
【０１１９】
ステップＳＴ７２でＣＡＢＡＣ復号器５２０は、マクロブロックヘッダから並列処理数を取得する。ＣＡＢＡＣ復号器５２０は、マクロブロックヘッダ（mb_Header）のシンタックスから並列処理数Ｎ(mb_parallel_processing_id)を取得する。
【０１２０】
ステップＳＴ７３でＣＡＢＡＣ復号器５２０は、並列処理数の決定および次のコンテキストインデックス（ctxIdx）とレベルリストインデックス（LevelListIdex）の設定を行う。可逆復号部５２は、スライスヘッダから取得した並列処理数の情報に基づき、並列処理数を決定する。また、スライス内のマクロブロックで、マクロブロックヘッダから並列処理数を示す情報を取得している場合には、この情報に基づき並列処理数を決定する。また、ＣＡＢＡＣ復号器５２０は、次に復号を行うコンテキストインデックスとレベルリストインデックスを設定する。
【０１２１】
ステップＳＴ７４でＣＡＢＡＣ復号器５２０は、並列処理数に応じてコンテキストインデックス（ctxIdx）割り当てテーブルを選択する。ＣＡＢＡＣ復号器５２０は、ＣＡＢＡＣ符号化器１６０と同様に、並列処理数に応じてコンテキストインデックス割り当てテーブルの選択を行う。
【０１２２】
その後、ＣＡＢＡＣ復号器５２０は、並列処理数に応じて、ステップＳＴ７５〜ステップＳＴ７８の処理を並列して行う。
【０１２３】
ステップＳＴ７５-0でＣＡＢＡＣ復号器５２０は、レベルリストインデックス（LevelListIdx）を設定してステップＳＴ７６-0に進む。ＣＡＢＡＣ符号化器１６０は、１回目の並列処理を行う場合、レベルリストインデックス（LevelListIdx）を「０」に設定する。その後、並列処理が繰り返される毎に、並列処理数に応じてレベルリストインデックス（LevelListIdx）を更新する。例えば並列処理数が「２」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，２，４，・・・６２」の順に更新する。並列処理数が「２」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，２，４，・・・６０」の順に更新する。並列処理数が例えば「１５」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，１５，３０，・・・６０」の順に更新する。
【０１２４】
ステップＳＴ７６-0でＣＡＢＡＣ復号器５２０は、コンテキストインデックス（ctxIdx）を決定する。ＣＡＢＡＣ復号器５２０は、レベルリストインデックス（LevelListIdx）に割り当てられているコンテキストインデックスインクリメント（ctxIdxInc）にコンテキストインデックスオフセット（ctxIdxOffset）を加算して、レベルリストインデックス（LevelListIdx）に対応するコンテキストインデックス（ctxIdx）とする。
【０１２５】
ステップＳＴ７７-0でＣＡＢＡＣ復号器５２０は、コンテキストインデックス（ctxIdx）に対応するコンテキスト変数の呼び出しを行う。ＣＡＢＡＣ復号器５２０は、ステップＳＴ７６-0で決定したコンテキストインデックス（ctxIdx）に対応するコンテキスト変数をテーブルから呼び出す。
【０１２６】
ステップＳＴ７８-0でＣＡＢＡＣ復号器５２０は、算術復号を行う。ＣＡＢＡＣ復号器５２０は、ステップＳＴ７７-0で呼び出したコンテキスト変数を用いて算術復号を行う。
【０１２７】
ＣＡＢＡＣ復号器５２０は、ステップＳＴ７５-1において、ステップＳＴ７５-0で設定したレベルリストインデックス（LevelListIdx）に「１」を加算して、レベルリストインデックス（LevelListIdx）とする。同様に、ＣＡＢＡＣ復号器５２０は、ステップＳＴ７５-Nまでのレベルリストインデックス（LevelListIdx）の設定を行う。例えばステップＳＴ７５-Nでは、ステップＳＴ７５-1で設定したレベルリストインデックス（LevelListIdx）に「Ｎ＝（Ｍ−１）」を加算して、レベルリストインデックス（LevelListIdx）を設定する。このように、ステップＳＴ７５-1〜７５-Nでレベルリストインデックス（LevelListIdx）を設定して、ステップＳＴ７６-1〜７６-NからステップＳＴ７８-1〜７８-Nの処理を行うと、並列処理数分の算術復号を並列して行うことができる。
【０１２８】
ステップＳＴ７９でＣＡＢＡＣ復号器５２０は、コンテキスト変数の更新を行う。ＣＡＢＡＣ復号器５２０は、ステップＳＴ７８-0〜７８-Nの算術復号結果に基づき、選択されているコンテキスト変数における確率テーブルの番号を更新してステップＳＴ８０に進む。
【０１２９】
ステップＳＴ８０でＣＡＢＡＣ復号器５２０は、係数処理が終了したか判別する。ＣＡＢＡＣ復号器５２０は、１マクロブロック分の係数について算術復号が完了していない場合にはステップＳＴ７３に戻り、１マクロブロック分の係数について算術復号が完了した場合にはステップＳＴ８１に進む。
【０１３０】
ステップＳＴ８１でＣＡＢＡＣ復号器５２０は、マクロブロック処理が終了したか判別する。ＣＡＢＡＣ復号器５２０は、スライス内の各マクロブロックについて算術復号が完了していない場合にはステップＳＴ７２に戻って次のマクロブロックについての処理を行い、完了した場合にはステップＳＴ８２に進む。
【０１３１】
ステップＳＴ８２でＣＡＢＡＣ復号器５２０は、スライス処理が終了したか判別する。ＣＡＢＡＣ復号器５２０は、フレーム内の各スライスについて算術復号が完了していない場合にはステップＳＴ７１に戻って次のスライスついての処理を行う。
【０１３２】
このように、算術符号化を並列に行うことで符号化ストリームが生成されていても、算術復号時には、算術符号化時に対応して算術復号が並列に行われるので、算術復号を正しく高速に行うことができる。また、画像の解像度やフレームレートに基づき、画像符号化装置と等しいルールを用いて並列処理数を設定すれば、上述のように、並列処理数を示すシンタックス要素を符号化ストリームに含めることなく、画像復号装置は、画像符号化装置と等しい並列処理数で算術復号処理を行うことができるので、符号化ストリームのデータ量を削減することが可能となる。
【０１３３】
＜９．並列処理の具体例＞
次に、可逆符号化部や可逆復号部で行われる並列処理の具体例について説明する。図１３は、１マクロブロックについての８×８直交変換成分に対するレベルリストインデックス（LevelListIdx）を示している。レベルリストインデックス（LevelListIdx）の順序は、図１３の数字の順序のようにジグザクスキャン順序とされている。
【０１３４】
図１４は、並列処理数に応じたコンテキストインデックス割り当てテーブルを例示している。例えば、並列処理数が「Ｍ＝２（２並列）」である場合（parallel_processing_id＝１の場合）、テーブルＩｄが「TableId＝１」のコンテキストインデックス割り当てテーブル、すなわち図１４の（Ａ）のコンテキストインデックス割り当てテーブルを選択する。また、並列処理数が「Ｍ＝４（４並列）」である場合（parallel_processing_id＝２の場合）は、図１４の（Ｂ）に示すテーブルＩｄが「TableId＝２」のコンテキストインデックス割り当てテーブルを選択する。並列処理数が「Ｍ＝８（８並列）」である場合（parallel_processing_id＝３の場合）は、図１４の（Ｃ）に示すテーブルＩｄが「TableId＝３」のコンテキストインデックス割り当てテーブルを選択する。さらに、並列処理数が「Ｍ＝１５（１５並列）」である場合、図１４の（Ｄ）に示すテーブルＩｄが「TableId＝４」のコンテキストインデックス割り当てテーブルを選択する。なお、図１４の（Ｅ）に示すコンテキストインデックス割り当てテーブルは、並列処理を行わない場合（parallel_processing_id＝０の場合）に用いられる従来のコンテキストインデックス順序を示している。
【０１３５】
図１５は、並列処理数を「２」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示している。なお、図１３に示すレベルリストインデックス（LevelListIdx）と図１５に示すコンテキストインデックス（ctxIdxInc）の関係は、図１４の（Ａ）に示すコンテキストインデックス割り当てテーブルで示される。ここで、並列処理数を「２」とした場合、レベルリストインデックス（LevelListIdx）の順序で符号化／復号を行うと、図１６に示すように、コンテキストインデックス（ctxIdxInc）が変化する。並列処理単位内では、コンテキストインデックス（ctxIdxInc）が異なるようにコンテキストインデックスの割り当てが行われている。したがって、並列処理単位内で同じコンテキストインデックス（ctxIdxInc）が用いられることがないので、処理を高速に行うことが可能となる。
【０１３６】
図１７は、並列処理数を「４」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示している。なお、図１３に示すレベルリストインデックス（LevelListIdx）と図１７に示すコンテキストインデックス（ctxIdxInc）の関係は、図１４の（Ｂ）に示すコンテキストインデックス割り当てテーブルで示される。
【０１３７】
並列処理数を「４」とした場合、レベルリストインデックス（LevelListIdx）の順序で符号化／復号を行うと、図１８に示すように、コンテキストインデックス（ctxIdxInc）が変化する。ここで、並列処理単位内では、コンテキストインデックス（ctxIdxInc）が異なるようにコンテキストインデックスの割り当てが行われている。したがって、並列処理単位内で同じコンテキストインデックス（ctxIdxInc）が用いられることがないので、処理を高速に行うことが可能となる。
【０１３８】
図１９は、並列処理数を「８」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示している。なお、図１３に示すレベルリストインデックス（LevelListIdx）と図１９に示すコンテキストインデックス（ctxIdxInc）の関係は、図１４の（Ｃ）に示すコンテキストインデックス割り当てテーブルで示される。
【０１３９】
並列処理数を「８」とした場合、レベルリストインデックス（LevelListIdx）の順序で符号化／復号を行うと、図２０に示すように、コンテキストインデックス（ctxIdxInc）が変化する。ここで、並列処理単位内では、コンテキストインデックス（ctxIdxInc）が異なるようにコンテキストインデックスの割り当てが行われている。したがって、並列処理単位内で同じコンテキストインデックス（ctxIdxInc）が用いられることがないので、処理を高速に行うことが可能となる。
【０１４０】
図２１は、並列処理数を「１５」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示している。なお、図１３に示すレベルリストインデックス（LevelListIdx）と図２１に示すコンテキストインデックス（ctxIdxInc）の関係は、図１４の（Ｄ）に示すコンテキストインデックス割り当てテーブルで示される。
【０１４１】
並列処理数を「１５」とした場合、レベルリストインデックス（LevelListIdx）の順序で符号化／復号を行うと、図２２に示すように、コンテキストインデックス（ctxIdxInc）が変化する。ここで、並列処理単位内では、コンテキストインデックス（ctxIdxInc）が異なるようにコンテキストインデックスの割り当てが行われている。したがって、並列処理単位内で同じコンテキストインデックス（ctxIdxInc）が用いられることがないので、処理を高速に行うことが可能となる。
【０１４２】
なお、図２３は、並列処理を行わない場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示している。なお、図１３に示すレベルリストインデックス（LevelListIdx）と図２３に示すコンテキストインデックス（ctxIdxInc）の関係は、図１４の（Ｅ）に示すコンテキストインデックス割り当てテーブルで示される。
【０１４３】
並列処理を行わない場合、レベルリストインデックス（LevelListIdx）の順序で符号化／復号を行うと、図２４に示すように、コンテキストインデックス（ctxIdxInc）が変化する。この場合、同じコンテキストインデックス（ctxIdxInc）が連続する場合を生じることから、処理を高速に行うことができない。
【０１４４】
このように、並列処理単位内で同じコンテキストインデックス（ctxIdxInc）を用いないようにコンテキストインデックス（ctxIdxInc）の割り当てが行われているので、処理を高速に行うことができる。
【０１４５】
また、図２１では、同じコンテキストインデックス（ctxIdxInc）がランダムに生じているが、周波数が近傍する直交変換係数では、等しいコンテキストインデックス（ctxIdxInc）がより多く用いられるように割り当てを行う。例えば図２１に比べて図１５に示すように、周波数が近傍する直交変換係数では、等しいコンテキストインデックス（ctxIdxInc）がより多く用いられるように割り当てを行い符号化効率を高めるようにしてもよい。なお、図１５では、例えばコンテキストインデックス（ctxIdxInc）＝「４」が、周波数の近傍する直交変換係数で多く用いられている。
【０１４６】
＜１０．ソフトウェア処理の場合＞
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
【０１４７】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。または、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１４８】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４９】
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５０】
＜１１．電子機器に適用した場合＞
また、以上においては、符号化方式／復号方式としてＨ．２６４／ＡＶＣ方式が用いられたが、本技術は、その他の符号化方式／復号方式を用いる画像符号化装置／画像復号装置に適用することもできる。
【０１５１】
さらに、本技術は、例えば、ＭＰＥＧ，Ｈ．２６ｘ等のように、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（符号化ビットストリーム）を、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
【０１５２】
上述した画像符号化装置１０や画像復号装置５０は、任意の電子機器に適用することができる。以下にその例について説明する。
【０１５３】
図２５は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９０は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９０は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０１５４】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０１５５】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０１５６】
デコーダ９０４は、パケットの復号処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０１５７】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０１５８】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０１５９】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【０１６０】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０１６１】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０１６２】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９０の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９０がユーザ操作に応じた動作となるように各部を制御する。
【０１６３】
なお、テレビジョン装置９０では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０１６４】
このように構成されたテレビジョン装置では、デコーダ９０４に本技術の画像復号装置（画像復号方法）の機能が設けられる。このため、放送局側で本技術の画像符号化装置の機能を用いることにより、算術符号化を並列して行い符号化ビットストリームの生成が高速に行われても、テレビジョン装置で符号化ビットストリームの復号を正しく高速に行うことができる。
【０１６５】
図２６は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０１６６】
携帯電話機９２は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０１６７】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０１６８】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０１６９】
なお、携帯電話機９２は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０１７０】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い符号化データを生成する。
【０１７１】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号処理を行い画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０１７２】
このように構成された携帯電話装置では、画像処理部９２７に本技術の画像符号化装置（画像符号化方法）や画像復号装置（画像復号方法）の機能が設けられる。したがって、画像データの通信を行う際に、画像の符号化や復号を高速に行うことができる。
【０１７３】
図２７は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０１７４】
記録再生装置９４は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０１７５】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０１７６】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくとも何れかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０１７７】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０１７８】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０１７９】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。
【０１８０】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からの何れかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５の何れかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０１８１】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０１８２】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０１８３】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４がユーザ操作に応じた動作となるように各部を制御する。
【０１８４】
このように構成された記録再生装置では、エンコーダ９４３に本技術の画像符号化装置（画像符号化方法）の機能、デコーダ９４７に画像復号化装置（画像復号化方法）の機能が設けられて、映像の記録再生を高速に行うことができる。
【０１８５】
図２８は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０１８６】
撮像装置９６は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０１８７】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０１８８】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０１８９】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０１９０】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０１９１】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０１９２】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０１９３】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６がユーザ操作に応じた動作となるように各部を制御する。
【０１９４】
このように構成された撮像装置では、画像データ処理部９６４に本技術の画像符号化装置（画像符号化方法）や画像復号化装置（画像復号化方法）の機能が設けられる。したがって、撮像画像をメモリ部９６７や記録メディア等に記録する場合や記録されている撮像画像を再生する際に、高速に記録再生を行うことができる。
【０１９５】
また、本技術は上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１９６】
なお、本技術は以下のような構成も取ることができる。
（１） シンタックス要素を二値化データに変換する二値化部と、
前記シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、
前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、
前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて前記二値化データの算術符号化を並列して行う算術符号化処理部と
を備える画像符号化装置。
（２） 前記シンタックス要素に、前記並列処理数を示す情報を含めた（１）に記載の画像符号化装置。
（３） 前記並列処理数を設定する並列処理数設定部を更に備える（１）または（２）に記載の画像符号化装置。
（４） 前記並列処理数設定部は、前記並列処理数を、スライス単位で設定する（３）に記載の画像符号化装置。
（５） 前記並列処理数設定部は、前記並列処理数を、画像の解像度またはフレームレートに応じて設定する（４）に記載の画像符号化装置。
（６） 前記並列処理数設定部は、前記並列処理数を、ブロック単位で設定する（３）に記載の画像符号化装置。
（７） 前記並列処理数設定部は、前記並列処理数を、前記ブロック単位で行われた直交変換におけるゼロ係数の数に応じて設定する（６）に記載の画像符号化装置。
（８） 前記並列処理数設定部は、前記並列処理数を、スライス単位とブロック単位の少なくとも何れかの単位で設定して、ブロック単位で並列処理数が設定されていない場合に、スライス単位で設定された並列処理数を用いる（３）に記載の画像符号化装置。
（９） 前記コンテキスト変数選択処理部は、直交変換係数を示すシンタックス要素毎のインデックスと前記コンテキストインデックスの関係を示す割り当てテーブルを用いて、前記コンテキストインデックスを設定する（１）乃至（８）の何れかに記載の画像符号化装置。
（１０） 前記割り当てテーブルでは、周波数が近傍する直交変換係数では、等しいコンテキストインデックスをより多く用いるように、前記インデックスと前記コンテキストインデックスが関係付けられている（９）に記載の画像符号化装置。
（１１） 復号するシンタックス要素に対応するコンテキスト変数を特定するためのコンテキストインデックスを、並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、
前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、
前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて符号化データの算術復号を並列して行う算術復号処理部と、
前記算術復号を行うことによって得られた二値化データをシンタックス要素の値に変換する多値化部と
を備える画像復号装置。
（１２） 前記並列処理数を設定する並列処理数設定部を更に備える（１１）に記載の画像復号装置。
（１３） 前記並列処理数設定部は、前記並列処理数を、前記符号化データに含まれている前記並列処理数を示すシンタックス要素に基づいて決定する（１２）に記載の画像復号装置。
（１４） 前記並列処理数設定部は、前記並列処理数を、復号する画像の解像度またはフレームレートに応じてスライス単位で設定する（１２）に記載の画像復号装置。
（１５） 前記コンテキスト変数選択処理部は、直交変換係数を示すシンタックス要素毎のインデックスと前記コンテキストインデックスの関係を示す割り当てテーブルを用いて、前記コンテキストインデックスを設定する（１１）乃至（１４）の何れかに記載の画像復号装置。
【産業上の利用可能性】
【０１９７】
本技術の画像符号化装置と画像復号装置およびその方法では、算術符号化や算術復号を並列して行う場合に、並列処理単位内で重複を生じないようにコンテキストインデックスを設定して、設定されたコンテキストインデックスに対応するコンテキスト変数を用いて算術符号化や算術復号が行われる。このため、並列処理単位内において、コンテキスト変数を更新して、更新後のコンテキスト変数を用いて算術符号化や算術復号が行われることがなく、画像の符号化処理や復号処理を高速に行うことができるようになる。したがって、本技術は、ＭＰＥＧ、Ｈ.２６ｘ等のように、ブロック単位で符号化を行うことにより得られた符号化ストリームを、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して送受信する電子機器や、光ディスク、磁気ディスク、フラッシュメモリのような記憶メディアを用いて画像の記録再生を行う電子機器に適している。
【符号の説明】
【０１９８】
１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３，２３，５５・・・演算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７・・・蓄積バッファ、１８・・・レート制御部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２４，５６・・・デブロッキングフィルタ、２５，６１・・・フレームメモリ、３１・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、５０・・・画像復号装置、５１・・・蓄積バッファ、５２・・・可逆復号部、５３・・・逆量子化部、５８・・・Ｄ／Ａ変換部、７１・・・イントラ予測部、７２・・・動き補償部、７３，９４６・・・セレクタ、９０・・・テレビジョン装置、９２・・・携帯電話機、９４・・・記録再生装置、９６・・・撮像装置、１６０・・・ＣＡＢＡＣ符号化器、１６１・・・二値化部、１６２，２０１，５２１・・・コンテキストインデックス（ctxIdx）設定部、１６３，５２２・・・コンテキスト変数選択処理部、１６３-0〜１６３-N，２０２-0，２０２-1，５２２-0〜５２２-N・・・変数選択部、１６４・・・算術符号化処理部、１６４-0〜１６４-N，２０３-0，２０３-1・・・算術符号化部、１６５・・・符号化結果選択部、１６７，５２７・・・並列処理数設定部、５２０・・・ＣＡＢＡＣ復号器、５２３・・・算術復号処理部、５２３〜0〜５２３〜N・・・算術復号部、５２４・・・復号結果選択部、５２５・・・多値化部、５２６・・・レジスタ、９０１，８２１・・・アンテナ、９０２・・・チューナ、９０３・・・デマルチプレクサ、９０４，９４７・・・デコーダ、９０５・・・映像信号処理部、９０６，９３０，９６５・・・表示部、９０７・・・音声信号処理部、９０８，９２４・・・スピーカ、９０９，９４２，９６６・・・外部インタフェース部、９１０，９３１，９４９，９７０・・・制御部、９１１，９５０，９７１・・・ユーザインタフェース部、９１２，９３３，９７２・・・バス、９２２・・・通信部、９２３・・・音声コーデック、９２５・・・マイクロホン、９２６・・・カメラ部、９２７・・・画像処理部、９２８・・・多重分離部、９２９・・・記録再生部、９３２・・・操作部、９４１・・・チューナ、９４３・・・エンコーダ、９４４・・・ＨＤＤ部、９４５・・・ディスクドライブ、９４８，９６９・・・ＯＳＤ部、９６１・・・光学ブロック、９６２・・・撮像部、９６３・・・カメラ信号処理部、９６４・・・画像データ処理部、９６７・・・メモリ部、９６８・・・メディアドライブ
【技術分野】
【０００１】
この技術は、画像符号化装置と画像復号装置およびその方法に関する。詳しくは、画像の符号化処理や復号処理を高速に行えるようにする。
【背景技術】
【０００２】
従来、ＡＶＣ（Advanced Video Coding）画像符号化方式では、エントロピー符号化としてＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）や、ＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）が定義されている。このうち、ＣＡＢＡＣは、周囲の状況（コンテキスト（Context））に応じて適応的に符号化を行う２値の算術符号方式である。
【０００３】
算術符号化では、１シンボル毎に発生確率に応じて数値区間を分割する処理を繰り返すことで符号列を得る。すなわち、全シンボルを順次処理する必要がある。また、コンテキストと呼ばれるシンボル発生確率テーブル（以下単に「確率テーブル」という）を符号化処理毎に順次更新しながら符号化を行う必要がある。また、算術復号では、算術符号化と逆の処理が行われる。このように、確率テーブルを順次更新しながら処理を行うため、確率テーブルが重複して用いられる場合、確率テーブルの更新が完了しないと次の符号化処理を行うことができない。したがって、処理の並列化によって算術符号化や算術復号を高速に行うことが困難である。
【０００４】
例えば図１に示すコンテキストインデックス（ctxIdx）設定部２０１は、符号化または復号するシンタックスに応じてコンテキストインデックスを設定して変数選択部２０２-0，２０２-1に出力する。変数選択部２０２-0は、コンテキストインデックス設定部２０１から供給されたコンテキストインデックスに基づきコンテキスト変数を選択して算術復号部２０３-0に出力する。なお、コンテキスト変数では、発生確率が高い優勢シンボル（most probable symbol）と、その優勢シンボルのシンボル発生確率テーブルの番号（pStateIdx）が示されている。算術復号部２０３-0は、選択されたコンテキスト変数を用いて算術復号を行い復号結果ｂｉｎ０を出力する。同様に、変数選択部２０２-1は、コンテキストインデックス設定部２０１から供給されたコンテキストインデックスに基づきコンテキスト変数を選択して、算術復号部２０３-1に出力する。算術復号部２０３-1は、選択されたコンテキスト変数を用いて算術復号を行い復号結果ｂｉｎ１を出力する。ここで、算術復号部２０３-0，２０３-1を用いて復号処理を並列して行う場合、コンテキストインデックスが異なると確率テーブルを個々に選択できることから、算術復号部２０３-0と算術復号部２０３-1で並列に算術復号を行うことができる。しかし２つのシンボルでコンテキストインデックスが等しいと、算術復号部２０３-0で得られた復号結果ｂｉｎ０に基づき確率テーブルを更新してからでないと、算術復号部２０３-1は次の算術復号を行うことができない。したがって、処理の並列化によって算術復号を高速に行うことが困難となる。
【０００５】
また、ＡＶＣではマルチスライス（multi slice）という手法を用いて高スループットを実現することができるようになされている。マルチスライス手法では、図２の（Ａ）に示されるように、画像が複数の領域に分割され、それぞれに対して独立してＣＡＢＡＣ符号化処理や復号処理が行われる。例えば、図２の（Ａ）の点線矢印に示されるように、画像内上側のマクロブロックラインから画像内下側のマクロブロックラインに向かう順に、マクロブロック毎に算術符号化が行われる。このようにすることにより各領域のＣＡＢＡＣ符号化／復号を並列に行うことができるようになり、処理の高速化が実現された。この分割された領域をスライス（slice）と称する。
【０００６】
カレントマクロブロック（ｃｕｒｒ）は、図２の（Ｂ）（Ｃ）に示されるように、隣接する他のマクロブロック（ｍｂＡ〜ｍｂＤ）を参照しながら符号化／復号が行われる。
【０００７】
しかしながら、領域を分割することは符号化効率を落とす要因になる。第１に、各スライスが独立に符号化されるので、図２の（Ｂ）（Ｃ）に示されるように、各領域（スライス）の符号化／復号において相互参照をすることができない。したがって、境界部分で画面内予測(intra-prediction)が使用できなくなり、符号化効率が低減する恐れがあった。
【０００８】
第２に、ＣＡＢＡＣでは確率テーブルを選択するために、図２の（Ｃ）に示されるように周辺マクロブロックの状態が参照されるが、境界部分では隣接マクロブロックの参照が不可能になるため、適切な確率テーブルの選択が困難になる恐れがあった。
【０００９】
第３に、ＣＡＢＡＣで用いられる確率テーブルは、符号化が進むにつれて実際の発生確率に収束して符号化効率が高まっていくが、マルチスライス（multi slice）の場合、領域（スライス）毎にその確率テーブルが初期化される。したがって、スライス（slice）開始時点での符号化効率が低減する恐れがある。
【００１０】
ＣＡＢＡＣを並列化しつつ符号化効率を改善する手法としてエントロピースライス（entropy slice）方式が提案された（例えば、非特許文献１参照）。この方式によればＣＡＢＡＣ処理部分のみが、エントロピースライス（entropy slice）と称される領域に分割されて並列に実行されるので、画面内予測についてはエントロピースライス（entropy slice）境界でも使用可能であった。しかしながら、ＣＡＢＡＣ処理における周辺マクロブロック参照は、エントロピースライス（entropy slice）境界において使用できない。
【００１１】
さらなる改善手法としてオーダードエントロピースライス（ordered entropy slices）方式が提案された（例えば、特許文献２参照）。この方式により、ＣＡＢＡＣ処理でも境界部分で隣接マクロブロックの参照が可能となった。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】A. Segall, J.Zhao, ”Entropy slices for parallel entropy decoding”, VCEG input document COM16-C405, Geneva, CH, April 2008
【非特許文献２】Xun Guo,Yu-Wen Huang,Shawmin Lei"Ordered Entropy Slices for Parallel CABAC", VCEG input document VCEG-AK25, Yokohama, Japan, April 2009
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ところで、第２のエントロピースライス（entropy slice）の符号化や復号を行う場合、上側に隣接する第１のエントロピースライス（entropy slice）のマクロブロックの処理を終えていなければならない。このため、スライス（slice）間の依存が生じてしまい並列化のメリットが失われてしまう。すなわち、本来の目的であるＣＡＢＡＣ処理の高速化の達成が困難である。
【００１４】
本技術は、このような状況に鑑みてなされたものであり、画像の符号化処理や復号処理を高速に行うことができる画像符号化装置と画像復号装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
この技術の第１の側面は、シンタックス要素を二値化データに変換する二値化部と、前記シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて前記二値化データの算術符号化を並列して行う算術符号化処理部とを備える画像符号化装置にある。
【００１６】
この技術においては、シンタックス要素（SyntaxElement）の二値化データの算術符号化に用いるコンテキスト変数を特定するためのコンテキストインデックスが並列処理単位内で重複しないように設定されて、設定されたコンテキストインデックスに応じてコンテキスト変数が選択される。並列処理数は、画像の解像度またはフレームレートに応じてスライス単位で設定される。また、並列処理数は、ブロック単位で直交変換を行うことにより得られた直交変換係数におけるゼロ係数の数に応じて、ブロック単位で設定される。なお、ブロック単位で並列処理数が設定されていない場合、スライス単位で設定された並列処理数が用いられる。この並列処理単位で、互いに異なるコンテキストインデックスに応じたコンテキスト変数を用いて二値化データの算術符号化が並列して行われる。また、シンタックス要素には、並列処理数を示す要素が含められる。コンテキストインデックスの設定は、直交変換の係数毎のインデックスとコンテキストインデックスの関係を示す割り当てテーブルを用いて行われる。また、割り当てテーブルでは、周波数が近傍する係数では、等しいコンテキストインデックスがより多く用いられるように、係数毎のインデックスとコンテキストインデックスが関係付けられている。
【００１７】
この技術の第２の側面は、シンタックス要素を二値化データに変換する二値化工程と、前記シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定するコンテキストインデックス設定工程と、前記コンテキストインデックス設定工程で設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理工程と、前記並列処理単位毎に、前記選択されたコンテキスト変数を用いて前記二値化データの算術符号化を並列して行う算術符号化処理工程とを含む画像符号化方法にある。
【００１８】
この技術の第３の側面は、復号するシンタックス要素に対応するコンテキスト変数を特定するためのコンテキストインデックスを、並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて符号化データの算術復号を並列して行う算術復号処理部と、
前記算術復号を行うことによって得られた二値化データをシンタックス要素の値に変換する多値化部とを備える画像復号装置にある。
【００１９】
この技術においては、復号するシンタックス要素に対応するコンテキストインデックスが、並列処理単位内で重複しないように設定される。この設定されたコンテキストインデックスに応じてコンテキスト変数を選択して、並列処理単位で、互いに異なるコンテキストインデックスに応じたコンテキスト変数を用いて二値化データの算術復号が並列して行われる。また、算術復号を行うことによって得られた二値化データは多値化データであるシンタックス要素の値に変換される。並列処理数は、符号化データに符号化されて含まれている並列処理数を示すシンタックス要素に基づいて、スライス単位やブロック単位で設定する。コンテキストインデックスの設定は、直交変換の係数毎のインデックスとコンテキストインデックスの関係を示す割り当てテーブルを用いて行われる。
【００２０】
この技術の第４の側面は、復号するシンタックス要素に対応するコンテキストインデックスを、並列処理単位内で重複しないように設定するコンテキストインデックス設定工程と、前記コンテキストインデックス設定工程で設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理工程と、前記並列処理単位で、前記コンテキスト変数選択工程で選択されたコンテキスト変数を用いて符号化データの算術復号を並列して行う算術復号工程と、前記算術復号を行うことによって得られた二値化データをシンタックス要素に変換する多値化工程とを含む画像復号方法にある。
【発明の効果】
【００２１】
この技術によれば、算術符号化や算術復号を並列して行う場合に、並列処理単位内で重複を生じないようにコンテキストインデックスを設定して、設定されたコンテキストインデックスに対応するコンテキスト変数を用いて算術符号化や算術復号が行われる。したがって、画像の符号化処理や復号処理を高速に行うことができるようになる。
【図面の簡単な説明】
【００２２】
【図１】処理の並列化を行う場合の従来の構成を説明するための図である。
【図２】マルチスライス手法を説明するための図である。
【図３】画像符号化装置の構成を例示した図である。
【図４】ＣＡＢＡＣ符号化器の構成を例示した図である。
【図５】画像符号化装置の動作を示すフローチャートである。
【図６】ＣＡＢＡＣ符号化器の動作を示すフローチャートである。
【図７】シンタックス要素「slice_parallel_processing_id」を設けたスライスヘッダシンタックスを例示した図である。
【図８】シンタックス要素「mb_parallel_processing_id」を設けたマクロブロックヘッダシンタックスを例示した図である。
【図９】画像復号装置の構成を例示した図である。
【図１０】ＣＡＢＡＣ復号器の構成を例示した図である。
【図１１】画像復号装置の動作を示すフローチャートである。
【図１２】ＣＡＢＡＣ復号器の動作を示すフローチャートである。
【図１３】レベルリストインデックス（LevelListIdx）を示した図である。
【図１４】コンテキストインデックス割り当てテーブルを例示した図である。
【図１５】並列処理数を「２」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示した図である。
【図１６】並列処理数を「２」とした場合のコンテキストインデックス（ctxIdxInc）の変化を示した図である。
【図１７】並列処理数を「４」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示した図である。
【図１８】並列処理数を「４」とした場合のコンテキストインデックス（ctxIdxInc）の変化を示した図である。
【図１９】並列処理数を「８」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示した図である。
【図２０】並列処理数を「８」とした場合のコンテキストインデックス（ctxIdxInc）の変化を示した図である。
【図２１】並列処理数を「１５」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示した図である。
【図２２】並列処理数を「１５」とした場合のコンテキストインデックス（ctxIdxInc）の変化を示した図である。
【図２３】並列処理を行わない場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示した図である。
【図２４】並列処理を行わない場合のコンテキストインデックス（ctxIdxInc）の変化を示した図である。
【図２５】テレビジョン装置の概略構成を例示した図である。
【図２６】携帯電話機の概略構成を例示した図である。
【図２７】記録再生装置の概略構成を例示した図である。
【図２８】撮像装置の概略構成を例示した図である。
【発明を実施するための形態】
【００２３】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像符号化装置の構成
２．可逆符号化部の構成
３．画像符号化装置の動作
４．可逆符号化部の動作
５．画像復号装置の構成
６．可逆復号部の構成
７．画像復号装置の動作
８．可逆復号部の動作
９．並列処理の具体例
１０．ソフトウェア処理の場合
１１．電子機器に適用した場合
【００２４】
＜１．画像符号化装置の構成＞
図３は、画像符号化装置の構成を例示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、演算部２３、デブロッキングフィルタ２４、フレームメモリ２５、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３、並列処理数設定部３５を備えている。
【００２５】
Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを演算部１３とレート制御部１８およびイントラ予測部３１と動き予測・補償部３２に出力する。
【００２６】
演算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。演算部１３は、画面並べ替えバッファ１２から出力された入力画像の画像データと予測画像・最適モード選択部３３から供給された予測画像の画像データとの差分である差分画像の画像データ（予測誤差データ）を算出して、直交変換部１４に出力する。
【００２７】
直交変換部１４は、演算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
【００２８】
量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８から量子化パラメータ（量子化スケール）が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８で設定された量子化パラメータに応じて量子化データのビットレートを変化させる。
【００２９】
可逆符号化部１６には、量子化部１５から量子化データ、イントラ予測部３１から予測モード情報や動き予測・補償部３２から予測モード情報と動きベクトル情報等が供給される。また、予測画像・最適モード選択部３３から最適モードがイントラ予測であるかインター予測であるかを示す情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測モードやブロックサイズ情報等が含まれる。
【００３０】
可逆符号化部１６は、量子化データに対して例えば可変長符号化または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、最適モードがイントラ予測である場合、イントラ予測部３１から供給された予測モード情報の可逆符号化を行う。また、可逆符号化部１６は、最適モードがインター予測である場合、動き予測・補償部３２から供給された予測モード情報や動きベクトル情報等の可逆符号化を行う。さらに、可逆符号化部１６は、量子化パラメータに関する情報の可逆符号化を行う。
【００３１】
蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【００３２】
レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量が少なくなっている場合には量子化データのビットレートが低下し、空き容量が十分大きい場合には量子化データのビットレートが高くなるように量子化パラメータを設定して量子化部１５に出力する。また、レート制御部１８は、後述する符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に応じて量子化パラメータの調整や制限を行う。レート制御部１８は、量子化パラメータ情報の符号化効率を高めるために、量子化パラメータの制限に関する情報を可逆符号化部１６に供給してもよい。なお、量子化パラメータの制限に関する情報は、符号化歪み制御部２８から可逆符号化部１６に供給してもよい。
【００３３】
逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。
【００３４】
逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行い、得られたデータを演算部２３に出力する。
【００３５】
演算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算してローカルデコード画像の画像データを生成して、デブロッキングフィルタ２４とイントラ予測部３１に出力する。なお、演算部２３で生成されたローカルデコード画像は、イントラ予測またはインター予測において参照画像として用いられる。
【００３６】
デブロッキングフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２４は、演算部２３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ２５に記憶させる。
【００３７】
イントラ予測部３１は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データと演算部２３から供給された画像データ（参照画像データ）を用いて、候補となる全てのイントラ予測モードで予測を行い、最適イントラ予測モードを決定する。イントラ予測部３１は、例えば各イントラ予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるイントラ予測モードを最適イントラ予測モードとする。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、イントラ予測部３１は、最適イントラ予測モードを示す予測モード情報を可逆符号化部１６に出力する。
【００３８】
動き予測・補償部３２は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データとフレームメモリ２５から読み出した参照画像データを用いて、候補となる全てのインター予測モードで予測を行い、最適インター予測モードを決定する。動き予測・補償部３２は、例えば各インター予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるインター予測モードを最適インター予測モードとする。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、動き予測・補償部３２は、最適インター予測モードに関する予測モード情報と動きベクトル情報を可逆符号化部１６に出力する。
【００３９】
予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを演算部１３と演算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードがイントラ予測モードであるかインター予測モードであるかを示す情報を可逆符号化部１６に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測の切り替えを行う。また、予測画像・最適モード選択部３３は、符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に基づいて最適モードを指定する処理を行う。
【００４０】
＜２．可逆符号化部の構成＞
図４は、可逆符号化部１６においてＣＡＢＡＣ符号化処理を行うＣＡＢＡＣ符号化器の構成を例示している。ＣＡＢＡＣ符号化器１６０は、二値化部１６１、コンテキストインデックス（ctxIdx）設定部１６２、コンテキスト変数選択処理部１６３、算術符号化処理部１６４、符号化結果選択部１６５を備えている。さらに、ＣＡＢＡＣ符号化器１６０には、並列処理数設定部１６７が設けられている。
【００４１】
二値化部１６１は、差分動きベクトルや、直交変換係数、予測モード等のシンタックスを入力し、規格によって定められた二値化処理を行い、二値化データを生成して、算術符号化部１６４-0〜１６４-Nに出力する。
【００４２】
コンテキストインデックス設定部１６２は、シンタックスに基づきコンテキストインデックス（ctxIdx）を設定してコンテキスト変数選択処理部１６３に出力する。コンテキストインデックス（ctxIdx）とは、コンテキスト変数を選択するための情報であり、コンテキスト変数では、発生確率が高い優勢シンボル（most probable symbol）とその優勢シンボルの発生確率を示す確率テーブルの番号（pStateIdx）が示される。
【００４３】
コンテキスト変数選択処理部１６３では、変数選択部１６３-0〜１６３-Nが設けられている。ここで、並列処理数を「Ｍ」とする場合、「Ｎ＝Ｍ−１」とする。なお、並列処理数は、固定の並列処理数または並列処理数設定部３５によって例えばスライス単位やブロック単位で設定させる。
【００４４】
変数選択部１６３-0は、コンテキスト変数テーブルからコンテキストインデックス（ctxIdx-0）に対応したコンテキスト変数を選択して算術符号化処理部１６４に出力する。同様に、変数選択部１６３-1〜１６３-Nは、コンテキストインデックス（ctxIdx-1〜ctxIdx-N）に対応したコンテキスト変数を選択して算術符号化処理部１６４に出力する。コンテキスト変数テーブルでは、コンテキストインデックス毎に、コンテキスト変数すなわち優勢シンボルと優勢シンボルの確率テーブルの番号が示されている。
【００４５】
算術符号化処理部１６４では、算術符号化部１６４-0〜１６４-Nが設けられている。算術符号化部１６４-0〜１６４-Nは、二値化データとコンテキスト変数に基づいて算術符号化処理を行う。例えば算術符号化部１６４-0は、並列処理単位の最初の係数を示す二値化データと変数選択部１６３-0で選択されたコンテキスト変数を用いて算術符号化を行い、算術符号化結果を符号化結果選択部１６５に出力する。また、算術符号化部１６４-0は、算術符号化結果を変数選択部１６３-0に出力して、変数選択部１６３-0で選択されているコンテキスト変数における確率テーブルの番号を更新する。同様に、算術符号化部１６４-1〜１６４-Nは、並列処理単位内の各係数の二値化データと、変数選択部１６３-1〜１６３-Nで選択されたコンテキスト変数を用いて算術符号化を行い、算術符号化結果を符号化結果選択部１６５に出力する。また、二値算術符号化部１６４-1〜１６４-Nは、算術符号化結果を変数選択部１６３-1〜１６３-Nに出力して、選択されているコンテキスト変数における確率テーブルの番号を更新する。符号化結果選択部１６５は、算術符号化部１６４-0〜１６４-Nから供給された算術符号化結果を算術符号化部１６４-0から順に選択して符号化ストリームを生成して出力する。
【００４６】
並列処理数設定部１６７は、算術符号化を並列して行う場合の並列処理を例えば画像の解像度またはフレームレートに応じてスライス単位で設定する。また、並列処理数設定部１６７は、ブロック単位で行われた直交変換におけるゼロ係数の数に応じて並列処理をブロック単位で設定してもよい。さらに、並列処理数設定部１６７は、並列処理数を、スライス単位とブロック単位の少なくとも何れかの単位で設定して、ブロック単位で並列処理数が設定されていない場合に、スライス単位で設定された並列処理数を用いるようにしてもよい。並列処理数設定部１６７は、設定した並列処理数で算術符号化が行われるようにＣＡＢＡＣ符号化器１６０を動作させる。なお、固定の並列処理数で算術符号化を行う場合には、並列処理数設定部１６７を設けていなくともよい。
【００４７】
＜３．画像符号化装置の動作＞
次に、画像符号化装置の動作について、図５に示すフローチャートを用いて説明する。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
【００４８】
ステップＳＴ１２において画面並べ替えバッファ１２は、画像並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【００４９】
ステップＳＴ１３において演算部１３は、予測誤差データの生成を行う。演算部１３は、ステップＳＴ１２で並べ替えられた入力画像の画像データと予測画像・最適モード選択部３３で選択された予測画像の画像データとの差分を算出して、差分画像の画像データすなわち予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を符号化することができる。
【００５０】
ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、演算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
【００５１】
ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。
【００５２】
ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
【００５３】
ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
【００５４】
ステップＳＴ１８において演算部２３は、参照画像データの生成を行う。演算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、ローカルデコード画像の画像データ（参照画像データ）を生成する。
【００５５】
ステップＳＴ１９においてデブロッキングフィルタ２４は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ２４は、演算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【００５６】
ステップＳＴ２０においてメモリ部２６は、復号画像データを記憶する。メモリ部２６は、デブロッキングフィルタでフィルタリングが行われた復号画像データを記憶する。
【００５７】
ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。予測処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。
【００５８】
ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードを決定する。また、予測画像・最適モード選択部３３は、符号化歪み制御部２８からの制御信号に基づき、符号化／復号処理によって生じる画質劣化が大きい場合は、最適イントラ予測モードを最適モードとして選択する。さらに、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを、演算部１３と演算部２３に出力する。この予測画像データが、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
【００５９】
ステップＳＴ２３において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ符号化される。また、可逆符号化部１６は、ステップＳＴ２５で選択された予測画像データに対応する予測モード情報等の可逆符号化を行い、量子化データを可逆符号化して生成された符号化ストリームに、予測モード情報等の可逆符号化データが含められる。
【００６０】
ステップＳＴ２４において蓄積バッファ１７は、蓄積処理を行う。蓄積バッファ１７は、可逆符号化部１６から出力される符号化ストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ストリームは、適宜読み出されて伝送路を介して復号側に伝送される。
【００６１】
ステップＳＴ２５においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ストリームを蓄積する場合、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化パラメータＱＰを設定して量子化部１５に出力することで量子化動作のレートを制御する。また、レート制御部１８は、符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に応じて量子化パラメータＱＰの調整や制限等を行う。
【００６２】
＜４．可逆符号化部の動作＞
次に、可逆符号化部におけるＣＡＢＡＣ符号化器の動作について、並列処理数設定部が設けられている場合を説明する。可逆符号化部は、解像度やフレームレートが高いほど、符号化ストリームの生成処理を高速化する必要がある。したがって、ＣＡＢＡＣ符号化器は、スライス単位で並列処理数を設定して例えば解像度やフレームレートが高い動画像の場合、並列処理可能な数を大きくして、高速処理を優先させる。また、解像度やフレームレートが高くなるに伴い、並列処理可能な数を増やして高速処理をさらに優先させるようにしてもよい。
【００６３】
また、並列処理数は、マクロブロック単位で切り替え可能としてもよい。例えば、可逆符号化部は、マクロブロック内で係数値が「０」である係数（ゼロ係数）の数をカウントして、ゼロ係数が多い場合は高速化の処理は不要であるので符号化効率を優先し、ゼロ係数が少ない場合は、符号化効率より高速化処理を優先にする。
【００６４】
図６は、ＣＡＢＡＣ符号化器の動作を示すフローチャートである。ステップＳＴ３１でＣＡＢＡＣ符号化器１６０は、解像度やフレームレートが高いか判別する。ＣＡＢＡＣ符号化器１６０は、画像符号化装置１０のシステム制御部等によって示された動画像の解像度やフレームレートが、所定値よりも高い場合にはステップＳＴ３２に進み、高くない場合にはステップＳＴ３３に進む。
【００６５】
ステップＳＴ３２でＣＡＢＡＣ符号化器１６０は、並列処理数を大きな値に設定する。ＣＡＢＡＣ符号化器１６０は、解像度やフレームレートが所定値よりも高いことから、高速処理を優先させる。具体的には、スライスヘッダシンタックスに並列処理数を示すシンタックス要素「slice_parallel_processing_id」を設けて、このシンタックス要素「slice_parallel_processing_id」の数値を大きな値とする。すなわち、ＣＡＢＡＣ符号化器１６０は、符号化効率を優先させる場合よりもシンタックス要素「slice_parallel_processing_id」の数値を大きな値として高速処理を優先させてステップＳＴ３４に進む。
【００６６】
ステップＳＴ３３でＣＡＢＡＣ符号化器１６０は、並列処理数を小さな値に設定する。ＣＡＢＡＣ符号化器１６０は、解像度やフレームレートが所定値よりも高くないことから、符号化効率を優先させる。具体的には、スライスヘッダシンタックスにシンタックス要素「slice_parallel_processing_id」を設けて、このシンタックス要素「slice_parallel_processing_id」の数値を小さな値に設定する。すなわち、ＣＡＢＡＣ符号化器１６０は、高速処理を優先させる場合よりもシンタックス要素「slice_parallel_processing_id」の数値を小さな値として符号化効率を優先させてステップＳＴ３４に進む。
【００６７】
図７は、シンタックス要素「slice_parallel_processing_id」を設けたスライスヘッダシンタックスの一部を例示している。例えば、スライスヘッダシンタックスでは、シンタックス要素「pic_parameter_set_id」の次に、シンタックス要素「slice_parallel_processing_id」を設けている。
【００６８】
ステップＳＴ３４でＣＡＢＡＣ符号化器１６０は、マクロブロック内のゼロ係数の数が所定数以上であるか判別する。ＣＡＢＡＣ符号化器１６０は、画像符号化装置１０のシステム制御部によって示されたゼロ係数の数が所定数以上の場合にはステップＳＴ３５に進み、所定数未満である場合にはステップＳＴ３６に進む。
【００６９】
ステップＳＴ３５でＣＡＢＡＣ符号化器１６０は、並列処理数を小さな値に設定する。ＣＡＢＡＣ符号化器１６０は、ゼロ係数が所定数よりも多いことから、符号化効率を優先させる。具体的には、マクロブロックヘッダシンタックスに並列処理数を示すシンタックス要素「mb_parallel_processing_id」を設けて、このシンタックス要素「mb_parallel_processing_id」の数値を小さな値に設定する。すなわち、ＣＡＢＡＣ符号化器１６０は、高速処理を優先させる場合よりもシンタックス要素「mb_parallel_processing_id」の数値を小さな値として符号化効率を優先させてステップＳＴ３７に進む。
【００７０】
ステップＳＴ３６でＣＡＢＡＣ符号化器１６０は、並列処理数を大きな値に設定する。ＣＡＢＡＣ符号化器１６０は、ゼロ係数が所定数よりも多くないことから、高速処理を優先させる。具体的には、マクロブロックヘッダシンタックスにシンタックス要素「mb_parallel_processing_id」を設けて、このシンタックス要素「mb_parallel_processing_id」の数値を大きな値に設定する。すなわち、ＣＡＢＡＣ符号化器１６０は、符号化効率を優先させる場合よりもシンタックス要素「mb_parallel_processing_id」の数値を大きな値に設定して高速処理を優先させてステップＳＴ３７に進む。
【００７１】
図８は、シンタックス要素「mb_parallel_processing_id」を設けたマクロブロックヘッダシンタックスを例示している。例えば、マクロブロックヘッダシンタックスでは、シンタックス要素「mb_type」の次にシンタックス要素「mb_parallel_processing_id」を設けている。また、シンタックス要素「slice_parallel_processing_id」とシンタックス要素「mb_parallel_processing_id」を設ける場合、何れかのシンタックス要素で示された並列処理数で処理を行うようにする。例えば、シンタックス要素の選択を行うための要素「mb_parallel_setting」を設けて、要素「mb_parallel_setting」が「１」である場合、シンタックス要素「mb_parallel_processing_id」で示された並列処理数で処理を行う。また、要素「mb_parallel_setting」が「０」である場合は、シンタックス要素「slice_parallel_processing_id」の並列処理数で処理を行うようにする。
【００７２】
ステップＳＴ３７でＣＡＢＡＣ符号化器１６０は、並列処理数に応じてコンテキストインデックス（ctxIdx）割り当てテーブルを選択する。コンテキストインデックス割り当てテーブルは、並列処理単位内で重複を生じないようにコンテキストインデックスが予めテーブル化されている。なお、コンテキストインデックス割り当てテーブルの具体例については後述する。
【００７３】
ＣＡＢＡＣ符号化器１６０は、並列処理数に応じて選択されたコンテキストインデックス割り当てテーブルを用いて、ステップＳＴ３８〜ステップＳＴ４１の処理を並列して行う。なお、上述のように並列処理数を「Ｍ」として、「Ｎ＝Ｍ−１」とする。
【００７４】
ステップＳＴ３８-0でＣＡＢＡＣ符号化器１６０は、レベルリストインデックス（LevelListIdx）を設定してステップＳＴ３９-0に進む。ＣＡＢＡＣ符号化器１６０は、１回目の並列処理を行う場合、レベルリストインデックス（LevelListIdx）を「０」に設定する。その後、並列処理が繰り返される毎に、並列処理数に応じてレベルリストインデックス（LevelListIdx）を更新する。例えば並列処理数が「２」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，２，４，・・・６２」の順に更新する。並列処理数が「４」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，４，８，・・・６０」の順に更新する。並列処理数が「１５」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，１５，３０，・・・６０」の順に更新する。
【００７５】
ステップＳＴ３９-0でＣＡＢＡＣ符号化器１６０は、レベルリストインデックス（LevelListIdx）に対応するコンテキストインデックス（ctxIdx）を決定する。ＣＡＢＡＣ符号化器１６０は、レベルリストインデックス（LevelListIdx）に割り当てられているコンテキストインデックスインクリメント（ctxIdxInc）にコンテキストインデックスオフセット（ctxIdxOffset）を加算して、レベルリストインデックス（LevelListIdx）に対応するコンテキストインデックス（ctxIdx）とする。
【００７６】
ステップＳＴ４０-0でＣＡＢＡＣ符号化器１６０は、コンテキストインデックス（ctxIdx）に対応するコンテキスト変数の呼び出しを行う。ＣＡＢＡＣ符号化器１６０は、ステップＳＴ３９-0で決定したコンテキストインデックス（ctxIdx）に対応するコンテキスト変数をステップＳＴ３７で選択したコンテキスト変数テーブルから呼び出す。
【００７７】
ステップＳＴ４１-0でＣＡＢＡＣ符号化器１６０は、算術符号化を行う。ＣＡＢＡＣ符号化器１６０は、ステップＳＴ４０-0で呼び出したコンテキスト変数を用いて算術符号化を行う。
【００７８】
ＣＡＢＡＣ符号化器１６０は、ステップＳＴ３８-1において、ステップＳＴ３８-0で設定したレベルリストインデックス（LevelListIdx）に「１」を加算して、レベルリストインデックス（LevelListIdx）とする。同様に、ＣＡＢＡＣ符号化器１６０は、ステップＳＴ３８-Nまでのレベルリストインデックス（LevelListIdx）の設定を行う。例えばステップＳＴ３８-Nでは、ステップＳＴ３８-1で設定したレベルリストインデックス（LevelListIdx）に「Ｎ＝（Ｍ−１）」を加算して、レベルリストインデックス（LevelListIdx）を設定する。このように、ステップＳＴ３８-1〜３８-Nでレベルリストインデックス（LevelListIdx）を設定して、ステップＳＴ３９-1〜３９-NからステップＳＴ４１-1〜４１-Nの処理を行うと、並列処理数分の算術符号化を並列して行うことができる。
【００７９】
ステップＳＴ４２でＣＡＢＡＣ符号化器１６０は、コンテキスト変数の更新を行う。ＣＡＢＡＣ符号化器１６０は、ステップＳＴ４１-0〜４１-Nの算術符号化結果に基づき選択されているコンテキスト変数における確率テーブルの番号を更新してステップＳＴ４３に進む。
【００８０】
ステップＳＴ４３でＣＡＢＡＣ符号化器１６０は、係数処理が終了したか判別する。ＣＡＢＡＣ符号化器１６０は、１マクロブロック分の係数について算術符号化が完了していない場合にはステップＳＴ３７に戻り、１マクロブロック分の係数について算術符号化が完了した場合にはステップＳＴ４４に進む。
【００８１】
ステップＳＴ４４でＣＡＢＡＣ符号化器１６０は、マクロブロック処理が終了したか判別する。ＣＡＢＡＣ符号化器１６０は、スライス内の各マクロブロックについて算術符号化が完了していない場合にはステップＳＴ３４に戻って次のマクロブロックについての処理を行い、完了した場合にはステップＳＴ４５に進む。
【００８２】
ステップＳＴ４５でＣＡＢＡＣ符号化器１６０は、スライス処理が終了したか判別する。ＣＡＢＡＣ符号化器１６０は、フレーム内の各スライスについて算術符号化が完了していない場合にはステップＳＴ３１に戻って次のスライスついての処理を行う。
【００８３】
このように、解像度やフレームレートが高い場合には、並列処理数を増やし、高速化処理を優先させることで、符号化ストリームの生成を高速に行うことができる。また、スライス毎の切り替えだけでなく、マクロブロック毎の切り替えにも対応する。すなわち、マクロブロック内のゼロ係数が多い場合、高速化の処理は不要であるので、並列処理数を少なくして符号化効率優先させて、ゼロ係数が少ない場合に並列処理数を増やして高速化処理を優先させる。このように、マクロブロック毎に並列処理数を切り替え可能とすることで、スライス毎の並列処理数の切り替えに比べて、より詳細な制御が可能となる。
【００８４】
また、並列処理数を示すシンタックス要素を符号化ストリームに含めることで、後述する画像復号装置では、並列処理数を示すシンタックス要素の情報に基づき、画像符号化装置と等しい並列処理数で算術復号処理を行うことができる。
【００８５】
さらに、画像の解像度やフレームレートに基づき並列処理数を設定する場合、画像符号化装置と画像復号装置で等しいルールを用いて並列処理数を設定すれば、並列処理数を示すシンタックス要素を符号化ストリームに含めることなく、画像復号装置は、画像符号化装置と等しい並列処理数で算術復号処理を行うことができるので、符号化ストリームのデータ量を削減することが可能となる。
【００８６】
＜５．画像復号装置の構成＞
次に、画像符号化装置から出力される符号化ストリームの復号処理を行う画像復号装置について説明する。入力画像を符号化して生成された符号化ストリームは、所定の伝送路や記録媒体等を介して画像復号装置に供給されて復号される。
【００８７】
図９は、符号化ストリームの復号処理を行う画像復号装置の構成を例示している。画像復号装置５０は、蓄積バッファ５１、可逆復号部５２、逆量子化部５３、逆直交変換部５４、演算部５５、デブロッキングフィルタ５６、画面並べ替えバッファ５７、ディジタル／アナログ変換部（Ｄ／Ａ変換部）５８を備えている。また、画像復号装置５０は、フレームメモリ６１、イントラ予測部７１、動き補償部７２、セレクタ７３を備えている。
【００８８】
蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。可逆復号部５２は、蓄積バッファ５１より供給された符号化ストリームを、図３に示すＣＡＢＡＣ符号化器１６０の符号化方式に対応する方式で復号する。
【００８９】
可逆復号部５２は、情報取得部として動作を行い符号化ストリームから種々の情報を取得する。例えば、可逆復号部５２は、符号化ストリームを復号して得られた予測モード情報等をイントラ予測部７１や動き補償部７２に出力する。また、可逆復号部５２は、符号化ストリームを復号して得られた量子化パラメータ情報と量子化データを逆量子化部５３に出力する。また、可逆復号部５２は、量子化パラメータの範囲が制限されて量子化パラメータ情報の符号化が行われている場合、後述する符号化歪み制御部６４から供給された制御信号を利用して、量子化パラメータ情報の復号を行う。
【００９０】
逆量子化部５３は、量子化パラメータを用いて、図３に示す量子化部１５の量子化方式に対応する方式で、可逆復号部５２から供給された量子化データの逆量子化を行う。逆直交変換部５４は、図３に示す直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して演算部５５に出力する。
【００９１】
演算部５５は、逆直交変換後のデータとセレクタ７３から供給される予測画像データを加算してデコード画像の画像データを生成してデブロッキングフィルタ５６とイントラ予測部７１に出力する。
【００９２】
デブロッキングフィルタ５６は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ５６は、演算部５５から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データを画面並べ替えバッファ５７とフレームメモリ６１に出力する。
【００９３】
画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図３に示す画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。
【００９４】
Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することでデコード画像を表示させる。
【００９５】
イントラ予測部７１は、可逆復号部５２から供給された予測モード情報と演算部５５から供給された復号画像データに基づいて予測画像データの生成を行い、生成した予測画像データをセレクタ７３に出力する。
【００９６】
動き補償部７２は、可逆復号部５２から供給された予測モード情報と動きベクトル情報に基づきフレームメモリ６１から読み出した画像データを用いて動き補償を行い、予測画像データを生成する。動き補償部７２は、生成した予測画像データをセレクタ７３に出力する。
【００９７】
セレクタ７３は、可逆復号部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを演算部５５に出力する。
【００９８】
＜６．可逆復号部の構成＞
図１０は、可逆復号部５２においてＣＡＢＡＣ復号処理を行うＣＡＢＡＣ復号器の構成を例示している。ＣＡＢＡＣ復号器５２０は、蓄積バッファ５１から符号化データを受け取り、二値化データに復号した後に多値化データであるシンタックス要素の値に変換する。ＣＡＢＡＣ復号器５２０は、コンテキストインデックス設定部５２１、コンテキスト変数選択処理部５２２、算術復号処理部５２３、復号結果選択部５２４、多値化部５２５、レジスタ５２６、並列処理数設定部５２７を備えている。
【００９９】
コンテキストインデックス設定部５２１は、レジスタ５２６に記憶されているシンタックス要素に関する情報に基づき、次に復号するシンタックス要素のコンテキストインデックス（ctxIdx）を設定してコンテキスト変数選択処理部５２２に出力する。
【０１００】
コンテキスト変数選択処理部５２２では、変数選択部５２２-0〜５２２-Nが設けられている。ここで、符号化ストリームで示されている並列処理数を「Ｍ」とする場合、「Ｎ＝Ｍ−１」とする。なお、並列処理数は、画像符号化装置で固定されていることが明らかな場合には画像符号化装置と等しい固定の並列処理数とする。また、画像符号化装置に並列処理数設定部を設けて並列処理数を設定する場合、並列処理数設定部５２７において並列処理数の設定を行う。
【０１０１】
変数選択部５２２-0は、コンテキスト変数テーブルからコンテキストインデックス（ctxIdx-0）に対応したコンテキスト変数を選択して算術復号処理部５２３に出力する。同様に、変数選択部５２２-1〜５２２-Nは、コンテキストインデックス（ctxIdx-1〜ctxIdx-N）に対応したコンテキスト変数を選択して算術復号処理部５２３に出力する。
【０１０２】
算術復号処理部５２３では、算術復号部５２３-0〜５２３-Nが設けられている。算術復号部５２３-0〜５２３-Nは、蓄積バッファ５１から入力された符号化データを二値化データに復号する。例えば、算術復号部５２３-0は、１つ係数の符号化データを復号する際、変数選択部５２２-0から供給されたコンテキスト変数に基づいて復号を行い、算術復号結果である二値化データを復号結果選択部５２４に出力する。また、算術復号部５２３-0は、算術復号結果を変数選択部５２２-0に出力して、変数選択部５２２-0で選択されているコンテキスト変数における確率テーブルの番号を更新する。同様に、算術復号部５２３-1〜５２３-Nは、１つの係数の符号化データを復号する際、変数選択部５２２-1〜５２２-Nから供給されたコンテキスト変数に基づいて復号を行い、算術復号結果である二値化データを復号結果選択部５２４に出力する。また、算術復号部５２３-1〜５２３-Nは、算術復号結果を変数選択部５２２-1〜５２２-Nに出力して、変数選択部５２２-1〜５２２-Nで選択されているコンテキスト変数における確率テーブルの番号を更新する。
【０１０３】
復号結果選択部５２４は、算術復号部５２３-0〜５２３-Nから供給された算術復号結果を順に選択して多値化部５２５に出力する。
【０１０４】
多値化部５２５は、ＣＡＢＡＣ符号化器１６０の二値化部１６１に対応した処理を行い、復号結果選択部５２４から供給された二値化データを多値化することで、符号化前の多値化データすなわちシンタックス要素の値を出力する。また、多値化部５２５は、多値化を行うことにより生成されたシンタックス要素において、次の復号でコンテキストインデックス（ctxIdx）を設定するために用いる情報をレジスタ５２６に出力する。さらに、多値化部５２５は、シンタックス要素の値を並列処理数設定部５２７に出力する。
【０１０５】
レジスタ５２６は、多値化部５２５から供給された情報を保持して、保持している情報をコンテキストインデックス設定部５２３に出力する。
【０１０６】
並列処理数設定部５２７は、算術復号の並列処理数を設定する。並列処理数設定部５２７は、例えば符号化データに含まれている並列処理数を示すシンタックス要素に基づいて並列処理数を決定する。また、並列処理数設定部５２７は、復号する画像の解像度またはフレームレートに応じてスライス単位で設定する。並列処理数設定部５２７は、設定した並列処理数で算術復号が行われるようにＣＡＢＡＣ復号器５２０を動作させる。
【０１０７】
＜７．画像復号装置の動作＞
次に、図１１のフローチャートを参照して、画像復号装置５０の動作について説明する。ステップＳＴ５１で蓄積バッファ５１は、供給された符号化ストリームを蓄積する。ステップＳＴ５２で可逆復号部５２は、可逆復号処理を行う。可逆復号部５２は、蓄積バッファ５１から供給される符号化ストリームを復号する。すなわち、図３に示すＣＡＢＡＣ符号化器１６０により符号化された各ピクチャの量子化データが得られる。また、可逆復号部５２、符号化ストリームに含まれている予測モード情報等の可逆復号を行い、得られた予測モード情報がイントラ予測モードに関する情報である場合、予測モード情報をイントラ予測部７１に出力する。また、可逆復号部５２は、予測モード情報がインター予測モードに関する情報である場合、予測モード情報や動きベクトル情報を動き補償部７２に出力する。
【０１０８】
ステップＳＴ５３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号部５２により復号された量子化データを、図３に示す量子化部１５の特性に対応する特性で逆量子化する。
【０１０９】
ステップＳＴ５４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図３に示す直交変換部１４の特性に対応する特性で逆直交変換する。
【０１１０】
ステップＳＴ５５において演算部５５は、復号画像データの生成を行う。演算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ５９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
【０１１１】
ステップＳＴ５６においてデブロッキングフィルタ５６は、フィルタ処理を行う。デブロッキングフィルタ５６は、演算部５５より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【０１１２】
ステップＳＴ５７においてフレームメモリ６１は、データを記憶する。フレームメモリ６１は、デブロッキングフィルタでフィルタリングが行われた復号画像データを記憶する。
【０１１３】
ステップＳＴ５８においてイントラ予測部７１と動き補償部７２は、予測画像データの生成を行う。イントラ予測部７１と動き補償部７２は、可逆復号部５２から供給される予測モード情報に対応してそれぞれ予測画像データの生成を行う。
【０１１４】
すなわち、可逆復号部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部７１は、予測モード情報に基づいて予測画像データを生成する。また、可逆復号部５２からインター予測の予測モード情報が供給された場合、動き補償部７２は、予測モード情報と動きベクトル情報に基づき動き補償を行い、予測画像データを生成する。
【０１１５】
ステップＳＴ５９において、セレクタ７３は予測画像データの選択を行う。セレクタ７３は、イントラ予測部７１から供給された予測画像データと動き補償部７２から供給された予測画像データの選択を行い、選択した予測画像データを演算部５５に供給して、ステップＳＴ５５において逆直交変換部５４の出力と加算させる。また、セレクタ７３は、符号化歪み制御部６４からの制御信号に基づき、符号化／復号処理によって生じる画質劣化が大きい場合は、イントラ予測部７１から供給された予測画像データを選択する。
【０１１６】
ステップＳＴ６０において画面並べ替えバッファ５７は、画像並べ替えを行う。すなわち画面並べ替えバッファ５７は、図３に示す画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０１１７】
ステップＳＴ６１において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０１１８】
＜８．可逆復号部の動作＞
図１２は可逆復号部におけるＣＡＢＡＣ復号器の動作を示すフローチャートである。ステップＳＴ７１でＣＡＢＡＣ復号器５２０は、スライスヘッダから並列処理数を取得する。ＣＡＢＡＣ復号器５２０は、スライスヘッダ（slice_Header）のシンタックスから並列処理数Ｎ(parallel_processing_id)を取得する。
【０１１９】
ステップＳＴ７２でＣＡＢＡＣ復号器５２０は、マクロブロックヘッダから並列処理数を取得する。ＣＡＢＡＣ復号器５２０は、マクロブロックヘッダ（mb_Header）のシンタックスから並列処理数Ｎ(mb_parallel_processing_id)を取得する。
【０１２０】
ステップＳＴ７３でＣＡＢＡＣ復号器５２０は、並列処理数の決定および次のコンテキストインデックス（ctxIdx）とレベルリストインデックス（LevelListIdex）の設定を行う。可逆復号部５２は、スライスヘッダから取得した並列処理数の情報に基づき、並列処理数を決定する。また、スライス内のマクロブロックで、マクロブロックヘッダから並列処理数を示す情報を取得している場合には、この情報に基づき並列処理数を決定する。また、ＣＡＢＡＣ復号器５２０は、次に復号を行うコンテキストインデックスとレベルリストインデックスを設定する。
【０１２１】
ステップＳＴ７４でＣＡＢＡＣ復号器５２０は、並列処理数に応じてコンテキストインデックス（ctxIdx）割り当てテーブルを選択する。ＣＡＢＡＣ復号器５２０は、ＣＡＢＡＣ符号化器１６０と同様に、並列処理数に応じてコンテキストインデックス割り当てテーブルの選択を行う。
【０１２２】
その後、ＣＡＢＡＣ復号器５２０は、並列処理数に応じて、ステップＳＴ７５〜ステップＳＴ７８の処理を並列して行う。
【０１２３】
ステップＳＴ７５-0でＣＡＢＡＣ復号器５２０は、レベルリストインデックス（LevelListIdx）を設定してステップＳＴ７６-0に進む。ＣＡＢＡＣ符号化器１６０は、１回目の並列処理を行う場合、レベルリストインデックス（LevelListIdx）を「０」に設定する。その後、並列処理が繰り返される毎に、並列処理数に応じてレベルリストインデックス（LevelListIdx）を更新する。例えば並列処理数が「２」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，２，４，・・・６２」の順に更新する。並列処理数が「２」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，２，４，・・・６０」の順に更新する。並列処理数が例えば「１５」である場合、並列処理が繰り返される毎にレベルリストインデックス（LevelListIdx）を「０，１５，３０，・・・６０」の順に更新する。
【０１２４】
ステップＳＴ７６-0でＣＡＢＡＣ復号器５２０は、コンテキストインデックス（ctxIdx）を決定する。ＣＡＢＡＣ復号器５２０は、レベルリストインデックス（LevelListIdx）に割り当てられているコンテキストインデックスインクリメント（ctxIdxInc）にコンテキストインデックスオフセット（ctxIdxOffset）を加算して、レベルリストインデックス（LevelListIdx）に対応するコンテキストインデックス（ctxIdx）とする。
【０１２５】
ステップＳＴ７７-0でＣＡＢＡＣ復号器５２０は、コンテキストインデックス（ctxIdx）に対応するコンテキスト変数の呼び出しを行う。ＣＡＢＡＣ復号器５２０は、ステップＳＴ７６-0で決定したコンテキストインデックス（ctxIdx）に対応するコンテキスト変数をテーブルから呼び出す。
【０１２６】
ステップＳＴ７８-0でＣＡＢＡＣ復号器５２０は、算術復号を行う。ＣＡＢＡＣ復号器５２０は、ステップＳＴ７７-0で呼び出したコンテキスト変数を用いて算術復号を行う。
【０１２７】
ＣＡＢＡＣ復号器５２０は、ステップＳＴ７５-1において、ステップＳＴ７５-0で設定したレベルリストインデックス（LevelListIdx）に「１」を加算して、レベルリストインデックス（LevelListIdx）とする。同様に、ＣＡＢＡＣ復号器５２０は、ステップＳＴ７５-Nまでのレベルリストインデックス（LevelListIdx）の設定を行う。例えばステップＳＴ７５-Nでは、ステップＳＴ７５-1で設定したレベルリストインデックス（LevelListIdx）に「Ｎ＝（Ｍ−１）」を加算して、レベルリストインデックス（LevelListIdx）を設定する。このように、ステップＳＴ７５-1〜７５-Nでレベルリストインデックス（LevelListIdx）を設定して、ステップＳＴ７６-1〜７６-NからステップＳＴ７８-1〜７８-Nの処理を行うと、並列処理数分の算術復号を並列して行うことができる。
【０１２８】
ステップＳＴ７９でＣＡＢＡＣ復号器５２０は、コンテキスト変数の更新を行う。ＣＡＢＡＣ復号器５２０は、ステップＳＴ７８-0〜７８-Nの算術復号結果に基づき、選択されているコンテキスト変数における確率テーブルの番号を更新してステップＳＴ８０に進む。
【０１２９】
ステップＳＴ８０でＣＡＢＡＣ復号器５２０は、係数処理が終了したか判別する。ＣＡＢＡＣ復号器５２０は、１マクロブロック分の係数について算術復号が完了していない場合にはステップＳＴ７３に戻り、１マクロブロック分の係数について算術復号が完了した場合にはステップＳＴ８１に進む。
【０１３０】
ステップＳＴ８１でＣＡＢＡＣ復号器５２０は、マクロブロック処理が終了したか判別する。ＣＡＢＡＣ復号器５２０は、スライス内の各マクロブロックについて算術復号が完了していない場合にはステップＳＴ７２に戻って次のマクロブロックについての処理を行い、完了した場合にはステップＳＴ８２に進む。
【０１３１】
ステップＳＴ８２でＣＡＢＡＣ復号器５２０は、スライス処理が終了したか判別する。ＣＡＢＡＣ復号器５２０は、フレーム内の各スライスについて算術復号が完了していない場合にはステップＳＴ７１に戻って次のスライスついての処理を行う。
【０１３２】
このように、算術符号化を並列に行うことで符号化ストリームが生成されていても、算術復号時には、算術符号化時に対応して算術復号が並列に行われるので、算術復号を正しく高速に行うことができる。また、画像の解像度やフレームレートに基づき、画像符号化装置と等しいルールを用いて並列処理数を設定すれば、上述のように、並列処理数を示すシンタックス要素を符号化ストリームに含めることなく、画像復号装置は、画像符号化装置と等しい並列処理数で算術復号処理を行うことができるので、符号化ストリームのデータ量を削減することが可能となる。
【０１３３】
＜９．並列処理の具体例＞
次に、可逆符号化部や可逆復号部で行われる並列処理の具体例について説明する。図１３は、１マクロブロックについての８×８直交変換成分に対するレベルリストインデックス（LevelListIdx）を示している。レベルリストインデックス（LevelListIdx）の順序は、図１３の数字の順序のようにジグザクスキャン順序とされている。
【０１３４】
図１４は、並列処理数に応じたコンテキストインデックス割り当てテーブルを例示している。例えば、並列処理数が「Ｍ＝２（２並列）」である場合（parallel_processing_id＝１の場合）、テーブルＩｄが「TableId＝１」のコンテキストインデックス割り当てテーブル、すなわち図１４の（Ａ）のコンテキストインデックス割り当てテーブルを選択する。また、並列処理数が「Ｍ＝４（４並列）」である場合（parallel_processing_id＝２の場合）は、図１４の（Ｂ）に示すテーブルＩｄが「TableId＝２」のコンテキストインデックス割り当てテーブルを選択する。並列処理数が「Ｍ＝８（８並列）」である場合（parallel_processing_id＝３の場合）は、図１４の（Ｃ）に示すテーブルＩｄが「TableId＝３」のコンテキストインデックス割り当てテーブルを選択する。さらに、並列処理数が「Ｍ＝１５（１５並列）」である場合、図１４の（Ｄ）に示すテーブルＩｄが「TableId＝４」のコンテキストインデックス割り当てテーブルを選択する。なお、図１４の（Ｅ）に示すコンテキストインデックス割り当てテーブルは、並列処理を行わない場合（parallel_processing_id＝０の場合）に用いられる従来のコンテキストインデックス順序を示している。
【０１３５】
図１５は、並列処理数を「２」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示している。なお、図１３に示すレベルリストインデックス（LevelListIdx）と図１５に示すコンテキストインデックス（ctxIdxInc）の関係は、図１４の（Ａ）に示すコンテキストインデックス割り当てテーブルで示される。ここで、並列処理数を「２」とした場合、レベルリストインデックス（LevelListIdx）の順序で符号化／復号を行うと、図１６に示すように、コンテキストインデックス（ctxIdxInc）が変化する。並列処理単位内では、コンテキストインデックス（ctxIdxInc）が異なるようにコンテキストインデックスの割り当てが行われている。したがって、並列処理単位内で同じコンテキストインデックス（ctxIdxInc）が用いられることがないので、処理を高速に行うことが可能となる。
【０１３６】
図１７は、並列処理数を「４」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示している。なお、図１３に示すレベルリストインデックス（LevelListIdx）と図１７に示すコンテキストインデックス（ctxIdxInc）の関係は、図１４の（Ｂ）に示すコンテキストインデックス割り当てテーブルで示される。
【０１３７】
並列処理数を「４」とした場合、レベルリストインデックス（LevelListIdx）の順序で符号化／復号を行うと、図１８に示すように、コンテキストインデックス（ctxIdxInc）が変化する。ここで、並列処理単位内では、コンテキストインデックス（ctxIdxInc）が異なるようにコンテキストインデックスの割り当てが行われている。したがって、並列処理単位内で同じコンテキストインデックス（ctxIdxInc）が用いられることがないので、処理を高速に行うことが可能となる。
【０１３８】
図１９は、並列処理数を「８」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示している。なお、図１３に示すレベルリストインデックス（LevelListIdx）と図１９に示すコンテキストインデックス（ctxIdxInc）の関係は、図１４の（Ｃ）に示すコンテキストインデックス割り当てテーブルで示される。
【０１３９】
並列処理数を「８」とした場合、レベルリストインデックス（LevelListIdx）の順序で符号化／復号を行うと、図２０に示すように、コンテキストインデックス（ctxIdxInc）が変化する。ここで、並列処理単位内では、コンテキストインデックス（ctxIdxInc）が異なるようにコンテキストインデックスの割り当てが行われている。したがって、並列処理単位内で同じコンテキストインデックス（ctxIdxInc）が用いられることがないので、処理を高速に行うことが可能となる。
【０１４０】
図２１は、並列処理数を「１５」とした場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示している。なお、図１３に示すレベルリストインデックス（LevelListIdx）と図２１に示すコンテキストインデックス（ctxIdxInc）の関係は、図１４の（Ｄ）に示すコンテキストインデックス割り当てテーブルで示される。
【０１４１】
並列処理数を「１５」とした場合、レベルリストインデックス（LevelListIdx）の順序で符号化／復号を行うと、図２２に示すように、コンテキストインデックス（ctxIdxInc）が変化する。ここで、並列処理単位内では、コンテキストインデックス（ctxIdxInc）が異なるようにコンテキストインデックスの割り当てが行われている。したがって、並列処理単位内で同じコンテキストインデックス（ctxIdxInc）が用いられることがないので、処理を高速に行うことが可能となる。
【０１４２】
なお、図２３は、並列処理を行わない場合の８×８直交変換成分に対するコンテキストインデックス（ctxIdxInc）を示している。なお、図１３に示すレベルリストインデックス（LevelListIdx）と図２３に示すコンテキストインデックス（ctxIdxInc）の関係は、図１４の（Ｅ）に示すコンテキストインデックス割り当てテーブルで示される。
【０１４３】
並列処理を行わない場合、レベルリストインデックス（LevelListIdx）の順序で符号化／復号を行うと、図２４に示すように、コンテキストインデックス（ctxIdxInc）が変化する。この場合、同じコンテキストインデックス（ctxIdxInc）が連続する場合を生じることから、処理を高速に行うことができない。
【０１４４】
このように、並列処理単位内で同じコンテキストインデックス（ctxIdxInc）を用いないようにコンテキストインデックス（ctxIdxInc）の割り当てが行われているので、処理を高速に行うことができる。
【０１４５】
また、図２１では、同じコンテキストインデックス（ctxIdxInc）がランダムに生じているが、周波数が近傍する直交変換係数では、等しいコンテキストインデックス（ctxIdxInc）がより多く用いられるように割り当てを行う。例えば図２１に比べて図１５に示すように、周波数が近傍する直交変換係数では、等しいコンテキストインデックス（ctxIdxInc）がより多く用いられるように割り当てを行い符号化効率を高めるようにしてもよい。なお、図１５では、例えばコンテキストインデックス（ctxIdxInc）＝「４」が、周波数の近傍する直交変換係数で多く用いられている。
【０１４６】
＜１０．ソフトウェア処理の場合＞
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
【０１４７】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。または、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１４８】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４９】
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１５０】
＜１１．電子機器に適用した場合＞
また、以上においては、符号化方式／復号方式としてＨ．２６４／ＡＶＣ方式が用いられたが、本技術は、その他の符号化方式／復号方式を用いる画像符号化装置／画像復号装置に適用することもできる。
【０１５１】
さらに、本技術は、例えば、ＭＰＥＧ，Ｈ．２６ｘ等のように、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（符号化ビットストリーム）を、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、あるいは、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
【０１５２】
上述した画像符号化装置１０や画像復号装置５０は、任意の電子機器に適用することができる。以下にその例について説明する。
【０１５３】
図２５は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９０は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９０は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０１５４】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０１５５】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０１５６】
デコーダ９０４は、パケットの復号処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０１５７】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０１５８】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０１５９】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行いスピーカ９０８に供給することで音声出力を行う。
【０１６０】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０１６１】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０１６２】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９０の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９０がユーザ操作に応じた動作となるように各部を制御する。
【０１６３】
なお、テレビジョン装置９０では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０１６４】
このように構成されたテレビジョン装置では、デコーダ９０４に本技術の画像復号装置（画像復号方法）の機能が設けられる。このため、放送局側で本技術の画像符号化装置の機能を用いることにより、算術符号化を並列して行い符号化ビットストリームの生成が高速に行われても、テレビジョン装置で符号化ビットストリームの復号を正しく高速に行うことができる。
【０１６５】
図２６は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０１６６】
携帯電話機９２は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０１６７】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０１６８】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０１６９】
なお、携帯電話機９２は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０１７０】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い符号化データを生成する。
【０１７１】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号処理を行い画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０１７２】
このように構成された携帯電話装置では、画像処理部９２７に本技術の画像符号化装置（画像符号化方法）や画像復号装置（画像復号方法）の機能が設けられる。したがって、画像データの通信を行う際に、画像の符号化や復号を高速に行うことができる。
【０１７３】
図２７は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０１７４】
記録再生装置９４は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０１７５】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０１７６】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくとも何れかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０１７７】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０１７８】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０１７９】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。
【０１８０】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からの何れかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５の何れかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０１８１】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０１８２】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０１８３】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４がユーザ操作に応じた動作となるように各部を制御する。
【０１８４】
このように構成された記録再生装置では、エンコーダ９４３に本技術の画像符号化装置（画像符号化方法）の機能、デコーダ９４７に画像復号化装置（画像復号化方法）の機能が設けられて、映像の記録再生を高速に行うことができる。
【０１８５】
図２８は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０１８６】
撮像装置９６は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０１８７】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０１８８】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０１８９】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０１９０】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０１９１】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０１９２】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０１９３】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６がユーザ操作に応じた動作となるように各部を制御する。
【０１９４】
このように構成された撮像装置では、画像データ処理部９６４に本技術の画像符号化装置（画像符号化方法）や画像復号化装置（画像復号化方法）の機能が設けられる。したがって、撮像画像をメモリ部９６７や記録メディア等に記録する場合や記録されている撮像画像を再生する際に、高速に記録再生を行うことができる。
【０１９５】
また、本技術は上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１９６】
なお、本技術は以下のような構成も取ることができる。
（１） シンタックス要素を二値化データに変換する二値化部と、
前記シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、
前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、
前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて前記二値化データの算術符号化を並列して行う算術符号化処理部と
を備える画像符号化装置。
（２） 前記シンタックス要素に、前記並列処理数を示す情報を含めた（１）に記載の画像符号化装置。
（３） 前記並列処理数を設定する並列処理数設定部を更に備える（１）または（２）に記載の画像符号化装置。
（４） 前記並列処理数設定部は、前記並列処理数を、スライス単位で設定する（３）に記載の画像符号化装置。
（５） 前記並列処理数設定部は、前記並列処理数を、画像の解像度またはフレームレートに応じて設定する（４）に記載の画像符号化装置。
（６） 前記並列処理数設定部は、前記並列処理数を、ブロック単位で設定する（３）に記載の画像符号化装置。
（７） 前記並列処理数設定部は、前記並列処理数を、前記ブロック単位で行われた直交変換におけるゼロ係数の数に応じて設定する（６）に記載の画像符号化装置。
（８） 前記並列処理数設定部は、前記並列処理数を、スライス単位とブロック単位の少なくとも何れかの単位で設定して、ブロック単位で並列処理数が設定されていない場合に、スライス単位で設定された並列処理数を用いる（３）に記載の画像符号化装置。
（９） 前記コンテキスト変数選択処理部は、直交変換係数を示すシンタックス要素毎のインデックスと前記コンテキストインデックスの関係を示す割り当てテーブルを用いて、前記コンテキストインデックスを設定する（１）乃至（８）の何れかに記載の画像符号化装置。
（１０） 前記割り当てテーブルでは、周波数が近傍する直交変換係数では、等しいコンテキストインデックスをより多く用いるように、前記インデックスと前記コンテキストインデックスが関係付けられている（９）に記載の画像符号化装置。
（１１） 復号するシンタックス要素に対応するコンテキスト変数を特定するためのコンテキストインデックスを、並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、
前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、
前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて符号化データの算術復号を並列して行う算術復号処理部と、
前記算術復号を行うことによって得られた二値化データをシンタックス要素の値に変換する多値化部と
を備える画像復号装置。
（１２） 前記並列処理数を設定する並列処理数設定部を更に備える（１１）に記載の画像復号装置。
（１３） 前記並列処理数設定部は、前記並列処理数を、前記符号化データに含まれている前記並列処理数を示すシンタックス要素に基づいて決定する（１２）に記載の画像復号装置。
（１４） 前記並列処理数設定部は、前記並列処理数を、復号する画像の解像度またはフレームレートに応じてスライス単位で設定する（１２）に記載の画像復号装置。
（１５） 前記コンテキスト変数選択処理部は、直交変換係数を示すシンタックス要素毎のインデックスと前記コンテキストインデックスの関係を示す割り当てテーブルを用いて、前記コンテキストインデックスを設定する（１１）乃至（１４）の何れかに記載の画像復号装置。
【産業上の利用可能性】
【０１９７】
本技術の画像符号化装置と画像復号装置およびその方法では、算術符号化や算術復号を並列して行う場合に、並列処理単位内で重複を生じないようにコンテキストインデックスを設定して、設定されたコンテキストインデックスに対応するコンテキスト変数を用いて算術符号化や算術復号が行われる。このため、並列処理単位内において、コンテキスト変数を更新して、更新後のコンテキスト変数を用いて算術符号化や算術復号が行われることがなく、画像の符号化処理や復号処理を高速に行うことができるようになる。したがって、本技術は、ＭＰＥＧ、Ｈ.２６ｘ等のように、ブロック単位で符号化を行うことにより得られた符号化ストリームを、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して送受信する電子機器や、光ディスク、磁気ディスク、フラッシュメモリのような記憶メディアを用いて画像の記録再生を行う電子機器に適している。
【符号の説明】
【０１９８】
１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３，２３，５５・・・演算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７・・・蓄積バッファ、１８・・・レート制御部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２４，５６・・・デブロッキングフィルタ、２５，６１・・・フレームメモリ、３１・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、５０・・・画像復号装置、５１・・・蓄積バッファ、５２・・・可逆復号部、５３・・・逆量子化部、５８・・・Ｄ／Ａ変換部、７１・・・イントラ予測部、７２・・・動き補償部、７３，９４６・・・セレクタ、９０・・・テレビジョン装置、９２・・・携帯電話機、９４・・・記録再生装置、９６・・・撮像装置、１６０・・・ＣＡＢＡＣ符号化器、１６１・・・二値化部、１６２，２０１，５２１・・・コンテキストインデックス（ctxIdx）設定部、１６３，５２２・・・コンテキスト変数選択処理部、１６３-0〜１６３-N，２０２-0，２０２-1，５２２-0〜５２２-N・・・変数選択部、１６４・・・算術符号化処理部、１６４-0〜１６４-N，２０３-0，２０３-1・・・算術符号化部、１６５・・・符号化結果選択部、１６７，５２７・・・並列処理数設定部、５２０・・・ＣＡＢＡＣ復号器、５２３・・・算術復号処理部、５２３〜0〜５２３〜N・・・算術復号部、５２４・・・復号結果選択部、５２５・・・多値化部、５２６・・・レジスタ、９０１，８２１・・・アンテナ、９０２・・・チューナ、９０３・・・デマルチプレクサ、９０４，９４７・・・デコーダ、９０５・・・映像信号処理部、９０６，９３０，９６５・・・表示部、９０７・・・音声信号処理部、９０８，９２４・・・スピーカ、９０９，９４２，９６６・・・外部インタフェース部、９１０，９３１，９４９，９７０・・・制御部、９１１，９５０，９７１・・・ユーザインタフェース部、９１２，９３３，９７２・・・バス、９２２・・・通信部、９２３・・・音声コーデック、９２５・・・マイクロホン、９２６・・・カメラ部、９２７・・・画像処理部、９２８・・・多重分離部、９２９・・・記録再生部、９３２・・・操作部、９４１・・・チューナ、９４３・・・エンコーダ、９４４・・・ＨＤＤ部、９４５・・・ディスクドライブ、９４８，９６９・・・ＯＳＤ部、９６１・・・光学ブロック、９６２・・・撮像部、９６３・・・カメラ信号処理部、９６４・・・画像データ処理部、９６７・・・メモリ部、９６８・・・メディアドライブ
【特許請求の範囲】
【請求項１】
シンタックス要素を二値化データに変換する二値化部と、
前記シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、
前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、
前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて前記二値化データの算術符号化を並列して行う算術符号化処理部と
を備える画像符号化装置。
【請求項２】
前記シンタックス要素に、前記並列処理数を示す情報を含めた
請求項１記載の画像符号化装置。
【請求項３】
前記並列処理数を設定する並列処理数設定部を更に備える
請求項２記載の画像符号化装置。
【請求項４】
前記並列処理数設定部は、前記並列処理数を、スライス単位で設定する
請求項３記載の画像符号化装置。
【請求項５】
前記並列処理数設定部は、前記並列処理数を、画像の解像度またはフレームレートに応じて設定する
請求項４記載の画像符号化装置。
【請求項６】
前記並列処理数設定部は、前記並列処理数を、ブロック単位で設定する
請求項３記載の画像符号化装置。
【請求項７】
前記並列処理数設定部は、前記並列処理数を、前記ブロック単位で行われた直交変換におけるゼロ係数の数に応じて設定する請求項６記載の画像符号化装置。
【請求項８】
前記並列処理数設定部は、前記並列処理数を、スライス単位とブロック単位の少なくとも何れかの単位で設定して、ブロック単位で並列処理数が設定されていない場合に、スライス単位で設定された並列処理数を用いる
請求項３記載の画像符号化装置。
【請求項９】
前記コンテキスト変数選択処理部は、直交変換係数を示すシンタックス要素毎のインデックスと前記コンテキストインデックスの関係を示す割り当てテーブルを用いて、前記コンテキストインデックスを設定する
請求項１記載の画像符号化装置。
【請求項１０】
前記割り当てテーブルでは、周波数が近傍する直交変換係数では、等しいコンテキストインデックスをより多く用いるように、前記インデックスと前記コンテキストインデックスが関係付けられている
請求項９記載の画像符号化装置。
【請求項１１】
シンタックス要素を二値化データに変換する二値化工程と、
前記シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定するコンテキストインデックス設定工程と、
前記コンテキストインデックス設定工程で設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理工程と、
前記並列処理単位毎に、前記選択されたコンテキスト変数を用いて前記二値化データの算術符号化を並列して行う算術符号化処理工程と
を含む画像符号化方法。
【請求項１２】
復号するシンタックス要素に対応するコンテキスト変数を特定するためのコンテキストインデックスを、並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、
前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、
前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて符号化データの算術復号を並列して行う算術復号処理部と、
前記算術復号を行うことによって得られた二値化データをシンタックス要素の値に変換する多値化部と
を備える画像復号装置。
【請求項１３】
前記並列処理数を設定する並列処理数設定部を更に備える
請求項１２記載の画像復号装置。
【請求項１４】
前記並列処理数設定部は、前記並列処理数を、前記符号化データに含まれている前記並列処理数を示すシンタックス要素に基づいて決定する
請求項１３記載の画像復号装置。
【請求項１５】
前記並列処理数設定部は、前記並列処理数を、復号する画像の解像度またはフレームレートに応じてスライス単位で設定する
請求項１３記載の画像復号装置。
【請求項１６】
前記コンテキスト変数選択処理部は、直交変換係数を示すシンタックス要素毎のインデックスと前記コンテキストインデックスの関係を示す割り当てテーブルを用いて、前記コンテキストインデックスを設定する
請求項１２記載の画像復号装置。
【請求項１７】
復号するシンタックス要素に対応するコンテキストインデックスを、並列処理単位内で重複しないように設定するコンテキストインデックス設定工程と、
前記コンテキストインデックス設定工程で設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理工程と、
前記並列処理単位で、前記コンテキスト変数選択工程で選択されたコンテキスト変数を用いて符号化データの算術復号を並列して行う算術復号工程と、
前記算術復号を行うことによって得られた二値化データをシンタックス要素に変換する多値化工程と
を含む画像復号方法。
【請求項１】
シンタックス要素を二値化データに変換する二値化部と、
前記シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、
前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、
前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて前記二値化データの算術符号化を並列して行う算術符号化処理部と
を備える画像符号化装置。
【請求項２】
前記シンタックス要素に、前記並列処理数を示す情報を含めた
請求項１記載の画像符号化装置。
【請求項３】
前記並列処理数を設定する並列処理数設定部を更に備える
請求項２記載の画像符号化装置。
【請求項４】
前記並列処理数設定部は、前記並列処理数を、スライス単位で設定する
請求項３記載の画像符号化装置。
【請求項５】
前記並列処理数設定部は、前記並列処理数を、画像の解像度またはフレームレートに応じて設定する
請求項４記載の画像符号化装置。
【請求項６】
前記並列処理数設定部は、前記並列処理数を、ブロック単位で設定する
請求項３記載の画像符号化装置。
【請求項７】
前記並列処理数設定部は、前記並列処理数を、前記ブロック単位で行われた直交変換におけるゼロ係数の数に応じて設定する請求項６記載の画像符号化装置。
【請求項８】
前記並列処理数設定部は、前記並列処理数を、スライス単位とブロック単位の少なくとも何れかの単位で設定して、ブロック単位で並列処理数が設定されていない場合に、スライス単位で設定された並列処理数を用いる
請求項３記載の画像符号化装置。
【請求項９】
前記コンテキスト変数選択処理部は、直交変換係数を示すシンタックス要素毎のインデックスと前記コンテキストインデックスの関係を示す割り当てテーブルを用いて、前記コンテキストインデックスを設定する
請求項１記載の画像符号化装置。
【請求項１０】
前記割り当てテーブルでは、周波数が近傍する直交変換係数では、等しいコンテキストインデックスをより多く用いるように、前記インデックスと前記コンテキストインデックスが関係付けられている
請求項９記載の画像符号化装置。
【請求項１１】
シンタックス要素を二値化データに変換する二値化工程と、
前記シンタックス要素に対するコンテキスト変数を特定するためのコンテキストインデックスを並列処理単位内で重複しないように設定するコンテキストインデックス設定工程と、
前記コンテキストインデックス設定工程で設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理工程と、
前記並列処理単位毎に、前記選択されたコンテキスト変数を用いて前記二値化データの算術符号化を並列して行う算術符号化処理工程と
を含む画像符号化方法。
【請求項１２】
復号するシンタックス要素に対応するコンテキスト変数を特定するためのコンテキストインデックスを、並列処理単位内で重複しないように設定するコンテキストインデックス設定部と、
前記コンテキストインデックス設定部により設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理部と、
前記並列処理単位毎に、前記コンテキスト変数選択処理部により選択されたコンテキスト変数を用いて符号化データの算術復号を並列して行う算術復号処理部と、
前記算術復号を行うことによって得られた二値化データをシンタックス要素の値に変換する多値化部と
を備える画像復号装置。
【請求項１３】
前記並列処理数を設定する並列処理数設定部を更に備える
請求項１２記載の画像復号装置。
【請求項１４】
前記並列処理数設定部は、前記並列処理数を、前記符号化データに含まれている前記並列処理数を示すシンタックス要素に基づいて決定する
請求項１３記載の画像復号装置。
【請求項１５】
前記並列処理数設定部は、前記並列処理数を、復号する画像の解像度またはフレームレートに応じてスライス単位で設定する
請求項１３記載の画像復号装置。
【請求項１６】
前記コンテキスト変数選択処理部は、直交変換係数を示すシンタックス要素毎のインデックスと前記コンテキストインデックスの関係を示す割り当てテーブルを用いて、前記コンテキストインデックスを設定する
請求項１２記載の画像復号装置。
【請求項１７】
復号するシンタックス要素に対応するコンテキストインデックスを、並列処理単位内で重複しないように設定するコンテキストインデックス設定工程と、
前記コンテキストインデックス設定工程で設定されたコンテキストインデックスに応じてコンテキスト変数を選択するコンテキスト変数選択処理工程と、
前記並列処理単位で、前記コンテキスト変数選択工程で選択されたコンテキスト変数を用いて符号化データの算術復号を並列して行う算術復号工程と、
前記算術復号を行うことによって得られた二値化データをシンタックス要素に変換する多値化工程と
を含む画像復号方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１２−２４４４８２（Ｐ２０１２−２４４４８２Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１３７８３（Ｐ２０１１−１１３７８３）
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]