画像処理装置と画像処理方法
【課題】画像の符号化処理や復号処理を高速に行うことができるようにする。
【解決手段】量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データに対して、算術復号処理部５２２は算術復号処理を行う。多値化部５２３は算術復号処理部５２２で算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の変換係数を生成する。
【解決手段】量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データに対して、算術復号処理部５２２は算術復号処理を行う。多値化部５２３は算術復号処理部５２２で算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の変換係数を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法に関する。詳しくは、画像の符号化処理や復号処理を効率よく行えるようにする。
【背景技術】
【０００２】
従来、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の画像符号化方式では、エントロピー符号化としてＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）や、ＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）が定義されている。このうち、ＣＡＢＡＣは、コンテキスト（Context）に応じて適応的に符号化を行う２値の算術符号化方式である。
【０００３】
算術符号化方式は、１シンボル毎に発生確率に応じて数値区間を分割する処理を繰り返し、分割後の数値区間の発生確率の２進表現により符号化データを生成する。また、算術符号化方式は、シンボル発生確率テーブルを符号化処理毎に順次更新する必要がある。なお、算術復号では、算術符号化と逆の処理が行われる。
【０００４】
また、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）に続く次世代の画像符号化方式として、ＨＥＶＣ（High Efficiency Video Coding）の標準化が進められている。ＨＥＶＣが使用する基本的な符号化技術は、Ｈ．２６４／ＡＶＣと同様である。しかし、エントロピー符号化の手法では、Ｈ．２６４／ＡＶＣのエントロピー符号化におけるＣＡＶＬＣおよびＣＡＢＡＣとは異なる手法が提案されている（下記非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】"Working Draft 4 of High-Efficiency Video Coding" Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011．(JCTVC-F803_d0)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ＣＡＢＡＣではコンテキスト（Context）を参照して符号化を行う符号化部分と、コンテキストを参照しないで符号化を行う符号化部分が混在している。コンテキストを参照する符号化部分は、コンテキストを参照することから処理が煩雑である。また、コンテキストを参照する符号化部分とコンテキストを参照しない符号化部分の混在によってさらに処理が煩雑となり、符号化処理や復号処理を効率よく行うことが困難となるおそれがある。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、ＣＡＢＡＣの符号化処理や復号処理を効率よく行うことができる画像処理装置と画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この技術の第１の側面は、量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データに対して、算術復号処理を行う算術復号処理部と、前記算術復号処理部で算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の前記変換係数を生成する多値化部とを備える画像処理装置にある。
【０００９】
この技術においては、量子化後の例えばサブブロック単位の変換係数の絶対値と閾値「ｍ」を比較して絶対値が閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値例えば「ｍ＝２」となるまでの比較結果を示す第１の情報と、絶対値の前記所定値に対する超過分に応じた第２の情報と、変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データに対して、算術復号処理が算術復号処理部で行われる。なお、サブブロック単位とは、直交変換の単位であるトランスフォームユニット（ＴＵ：transform_unit）を所定数の係数毎例えば１６係数毎に分割したブロックの単位である。
【００１０】
算術復号処理では、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで第１の情報の復号処理が行われて、コンテキストを参照しないモードで第２の情報および第３の情報の復号処理が行われる。また、算術復号処理を行うことにより得られた二値化データの多値化が行われて、符号化前の変換係数が生成される。
【００１１】
この技術の第２の側面は、量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データについて、算術復号処理を行う工程と、前記算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の前記変換係数を生成する工程とを含む画像処理方法にある。
【００１２】
この技術の第３の側面は、量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化する二値化部と、前記二値化部で得られた二値化データの算術符号化処理を行い、符号化データを生成する算術符号化処理部とを備える画像処理装置にある。
【００１３】
この技術においては、量子化後の例えばサブブロック単位の変換係数の絶対値と閾値「ｍ」を比較して絶対値が閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値例えば「ｍ＝２」となるまでの比較結果を示す第１の情報と、絶対値の前記所定値に対する超過分に応じた第２の情報と、変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化される。この二値化データに対して、算術符号化処理が算術符号化処理部で行われて符号化データの生成が行われる。算術符号化処理では、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで第１の情報の符号化処理が行われて、コンテキストを参照しないモードで第２の情報および第３の情報の符号化処理が行われる。
【００１４】
この技術の第４の側面は、量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値における前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化する工程と、前記二値化により得られた二値化データの算術符号化処理を行い、符号化データを生成する工程とを含む画像処理方法にある。
【発明の効果】
【００１５】
この技術によれば、量子化後の変換係数の絶対値と閾値「ｍ」を比較して絶対値が閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、絶対値における所定値に対する超過分に応じた第２の情報と、変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データの生成や復号が行われる。このようなシンタックス要素の順とすることで、復号時に変換係数を順に確定できる。また、情報の符号化処理や復号処理をまとめて行うことが可能となる。したがって、ＣＡＢＡＣの符号化処理や復号処理を効率よく行うことができる。
【図面の簡単な説明】
【００１６】
【図１】画像符号化装置の構成を例示した図である。
【図２】画像符号化装置の動作を示すフローチャートである。
【図３】ＣＡＢＡＣ符号化部の構成を例示した図である。
【図４】二値化動作を説明するための図である。
【図５】二値化動作の具体例を示す図である。
【図６】処理を効率よく行うことができるようにした二値化動作の具体例を示す図である。
【図７】復号時の動作を比較した図である。
【図８】ＣＡＢＡＣ符号化部の動作を示すフローチャートである。
【図９】ＣＡＢＡＣのシンタックスを例示した図である。
【図１０】画像復号装置の構成を例示した図である。
【図１１】画像復号装置の動作を示すフローチャートである。
【図１２】ＣＡＢＡＣ復号部の構成を例示した図である。
【図１３】ＣＡＢＡＣ復号部の動作を示すフローチャートである。
【図１４】テレビジョン装置の概略構成を例示した図である。
【図１５】携帯電話機の概略構成を例示した図である。
【図１６】記録再生装置の概略構成を例示した図である。
【図１７】撮像装置の概略構成を例示した図である。
【発明を実施するための形態】
【００１７】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像符号化装置の構成
２．画像符号化装置の動作
３．ＣＡＢＡＣ符号化部の構成
４．ＣＡＢＡＣ符号化部の動作
４−１．ＣＡＢＡＣ符号化復号処理について
４−２．ＣＡＢＡＣ符号化処理動作
４．可逆符号化部の動作
５．画像復号装置の構成
６．画像復号装置の動作
７．ＣＡＢＡＣ復号部の構成
８．ＣＡＢＡＣ復号部の動作
９．ソフトウェア処理の場合
１０．電子機器に適用した場合
【００１８】
＜１．画像符号化装置の構成＞
図１は、画像符号化装置の構成を例示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、演算部２３、デブロッキングフィルタ２４、フレームメモリ２５、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３を備えている。
【００１９】
Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを演算部１３とレート制御部１８およびイントラ予測部３１と動き予測・補償部３２に出力する。
【００２０】
演算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。演算部１３は、画面並べ替えバッファ１２から出力された入力画像の画像データと予測画像・最適モード選択部３３から供給された予測画像の画像データとの差分である差分画像の画像データ（予測誤差データ）を算出して、直交変換部１４に出力する。
【００２１】
直交変換部１４は、演算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
【００２２】
量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８から量子化パラメータ（量子化スケール）が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８で設定された量子化パラメータに応じて量子化データのビットレートを変化させる。
【００２３】
可逆符号化部１６には、量子化部１５から変換係数の量子化データ、イントラ予測部３１から予測モード情報や動き予測・補償部３２から予測モード情報と動きベクトル情報等が供給される。また、予測画像・最適モード選択部３３から最適モードがイントラ予測であるかインター予測であるかを示す情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測モードやブロックサイズ情報等が含まれる。
【００２４】
可逆符号化部１６は、変換係数の量子化データに対して例えばＣＡＶＬＣまたはＣＡＢＡＣ等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、最適モードがイントラ予測である場合、イントラ予測部３１から供給された予測モード情報の可逆符号化を行う。また、可逆符号化部１６は、最適モードがインター予測である場合、動き予測・補償部３２から供給された予測モード情報や動きベクトル情報等の可逆符号化を行う。さらに、可逆符号化部１６は、量子化パラメータに関する情報の可逆符号化を行う。
【００２５】
蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【００２６】
レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量が少なくなっている場合には量子化データのビットレートが低下し、空き容量が十分大きい場合には量子化データのビットレートが高くなるように量子化パラメータを設定する。レート制御部１８は、設定した量子化パラメータを量子化部１５に出力する。
【００２７】
逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。
【００２８】
逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行い、得られたデータを演算部２３に出力する。
【００２９】
演算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算してローカルデコード画像の画像データを生成して、デブロッキングフィルタ２４とイントラ予測部３１に出力する。なお、演算部２３で生成されたローカルデコード画像は、イントラ予測またはインター予測において参照画像として用いられる。
【００３０】
デブロッキングフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２４は、演算部２３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ２５に記憶させる。
【００３１】
イントラ予測部３１は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データと演算部２３から供給された画像データ（参照画像データ）を用いて、候補となるイントラ予測モードで予測を行い、最適イントラ予測モードを決定する。イントラ予測部３１は、例えば各イントラ予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるイントラ予測モードを最適イントラ予測モードとする。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、イントラ予測部３１は、最適イントラ予測モードを示す予測モード情報を可逆符号化部１６に出力する。
【００３２】
動き予測・補償部３２は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データとフレームメモリ２５から読み出した参照画像データを用いて、候補となるインター予測モードで予測を行い、最適インター予測モードを決定する。動き予測・補償部３２は、例えば各インター予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるインター予測モードを最適インター予測モードとする。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、動き予測・補償部３２は、最適インター予測モードに関する予測モード情報と動きベクトル情報を可逆符号化部１６に出力する。
【００３３】
予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを演算部１３と演算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードがイントラ予測モードであるかインター予測モードであるかを示す情報を可逆符号化部１６に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測の切り替えを行う。
【００３４】
＜２．画像符号化装置の動作＞
次に、画像符号化装置の動作について、図２に示すフローチャートを用いて説明する。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
【００３５】
ステップＳＴ１２において画面並べ替えバッファ１２は、画像並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【００３６】
ステップＳＴ１３において演算部１３は、予測誤差データの生成を行う。演算部１３は、ステップＳＴ１２で並べ替えられた入力画像の画像データと予測画像・最適モード選択部３３で選択された予測画像の画像データとの差分を算出して、差分画像の画像データすなわち予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を符号化することができる。
【００３７】
ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、演算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
【００３８】
ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。
【００３９】
ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
【００４０】
ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
【００４１】
ステップＳＴ１８において演算部２３は、参照画像データの生成を行う。演算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、ローカルデコード画像の画像データ（参照画像データ）を生成する。
【００４２】
ステップＳＴ１９においてデブロッキングフィルタ２４は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ２４は、演算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【００４３】
ステップＳＴ２０においてフレームメモリ２５は、復号画像データを記憶する。フレームメモリ２５は、デブロッキングフィルタでフィルタリングが行われた復号画像データを記憶する。
【００４４】
ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。予測処理により、候補となる予測モードでの予測処理がそれぞれ行われ、候補となる予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。
【００４５】
ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードを決定する。また、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを、演算部１３と演算部２３に出力する。この予測画像データが、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
【００４６】
ステップＳＴ２３において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された変換係数の量子化データを可逆符号化する。すなわち、量子化データに対してＣＡＶＬＣまたはＣＡＢＡＣ等の可逆符号化が行われて、データ符号化される。また、可逆符号化部１６は、ステップＳＴ２５で選択された予測画像データに対応する予測モード情報等の可逆符号化を行い、量子化データを可逆符号化して生成された符号化ストリームに、予測モード情報等の可逆符号化データが含められる。
【００４７】
ステップＳＴ２４において蓄積バッファ１７は、蓄積処理を行う。蓄積バッファ１７は、可逆符号化部１６から出力される符号化ストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ストリームは、適宜読み出されて伝送路を介して復号側に伝送される。
【００４８】
ステップＳＴ２５においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ストリームを蓄積する場合、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化パラメータＱＰを設定して量子化部１５に出力することで量子化動作のレートを制御する。
【００４９】
＜３．ＣＡＢＡＣ符号化部の構成＞
図３は、可逆符号化部１６においてＣＡＢＡＣの処理を行うＣＡＢＡＣ符号化部の構成を例示している。ＣＡＢＡＣ符号化部１６０は、二値化部１６１，コンテキスト算出部１６２，算術符号化処理部１６３を備えている。
【００５０】
二値化部１６１は、量子化された変換係数や動きベクトル情報および予測モード情報等のデータに対して二値化処理を行い、規格によって定められたシンタックスの二値化データを生成して算術符号化処理部１６３に出力する。
【００５１】
コンテキスト算出部１６２は、シンタックスに基づきコンテキストインデックスを生成する。コンテキストインデックスとは、コンテキストを選択するための情報であり、コンテキストでは、発生確率が高い優勢シンボルとその優勢シンボルの発生確率に関する情報が示される。
【００５２】
コンテキスト算出部１６２は、コンテキストインデックスに対応したコンテキストを選択して算術符号化処理部１６３に出力する。また、コンテキスト算出部１６２は、算術符号化処理部１６３の算術符号化結果に基づき発生確率の更新を行う。
【００５３】
算術符号化処理部１６３は、二値化データとコンテキストに基づき、発生確率に応じて数値区間を分割する処理を繰り返し、分割後の数値区間の発生確率の２進表現により、算術符号化結果である符号化データを生成して蓄積バッファ１７に出力する。
【００５４】
また、算術符号化処理部１６３は、算術符号化処理において、エンコード・デシジョン（EncodeDecision）処理と、エンコード・バイパス（EncodeBypass）処理が設けられている。なお、算術符号化処理では、エンコード・ターミネイト（EncodeTerminate）処理が設けられているが、説明は省略する。エンコード・デシジョン処理は、確率状態および優勢確率シンボルを表すコンテキストを参照する符号化モードである。エンコード・バイパス処理は、コンテキストを参照しない符号化モードである。算術符号化処理部１６３は、シンタックスに応じて符号化モードを選択して符号化を行う。
【００５５】
＜４．ＣＡＢＡＣ符号化部の動作＞
＜４−１．ＣＡＢＡＣ符号化復号処理について＞
ＣＡＢＡＣ符号化部１６０は、符号化するシンボルをbinと呼ばれる中間形式に変換するbinarizationを行った後に算術符号化処理を行い符号化データを得る。例えば、ＣＡＢＡＣ符号化部１６０は、変換係数の量子化データ（以下単に変換係数情報という）の絶対値と閾値「ｍ」を比較する。ここで、絶対値が閾値「ｍ」より大きい場合に閾値「ｍ＝ｍ＋１」とした比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較を行う。このようにして得られる比較結果を示す第１の情報と、絶対値における所定値に対する超過分を示す第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素とする。このシンタックス要素の二値化データを生成して算術符号化処理を行い、符号化データを生成する。
【００５６】
変換係数情報のＣＡＢＡＣ符号化において、ＨＥＶＣ（High Efficiency Video Coding）では、直交変換の単位であるトランスフォームユニット（ＴＵ：transform_unit）を所定数の係数毎例えば１６係数毎のサブブロックに分割して、サブブロック単位で変換係数の符号化が行われる。
【００５７】
また、ＨＥＶＣにおける変換係数のＣＡＢＡＣ符号化では、所定値を「ｍ＝２」として、シンタックス要素としてsignificant_coeff_flag，coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_abs_level_minus3、coeff_sign_flag等を設けることが検討されている。
【００５８】
significant_coeff_flagは、変換係数が「０」であるか否かを示すフラグのシンタックス要素である。significant_coeff_flagは、変換係数が「０」の場合にsignificant_coeff_flag＝０、変換係数が「０」でない場合にsignificant_coeff_flag＝１となる。
【００５９】
coeff_abs_level_greater1_flagは、変換係数の絶対値が閾値「１」よりも大きいか否かを示すフラグのシンタックス要素である。coeff_abs_level_greater1_flagは、変換係数が「１」よりも大きい場合にcoeff_abs_level_greater1_flag＝１、変換係数が「１」以下である場合にcoeff_abs_level_greater1_flag＝０となる。
【００６０】
coeff_abs_level_greater2_flagは、変換係数の絶対値が閾値「２」よりも大きいか否かを示すフラグのシンタックス要素である。coeff_abs_level_greater2_flagは、変換係数が「２」よりも大きい場合にcoeff_abs_level_greater2_flag＝１、変換係数が「２」以下である場合にcoeff_abs_level_greater2_flag＝０となる。
【００６１】
coeff_abs_level_minus3は、変換係数の絶対値から「３」を引いた値を示すシンタックス要素であり、絶対値における所定値に対する超過分に応じた情報である。変換係数の絶対値は、coeff_abs_level_greater2_flagが「１」の場合には閾値「２」よりも大きい値、すなわち「３」以上の整数値である。したがって、変換係数の絶対値から「３」を引いた値をシンタックス要素とする。coeff_abs_level_minus3は、例えば指数ゴロム（Exponential Golomb）符号化においてゴロムライス（Golomb-Rice）符号を用いた方式で二値化が行われる。
【００６２】
coeff_sign_flagは、変換係数の符号を示すシンタックス要素である。coeff_sign_flagは、変換係数が正の値である場合にcoeff_sign_flag＝０、変換係数が負の値である場合にcoeff_sign_flag＝１となる。
【００６３】
significant_coeff_flagとcoeff_abs_level_greater1_flagとcoeff_abs_level_greater2_flagは、エンコード・デシジョン処理が行われる。また、coeff_abs_level_minus3とcoeff_sign_flagは、エンコード・バイパス処理が行われる。エンコード・バイパス処理では、発生確率を「０．５」に固定することで、符号演算を簡略化した処理である。
【００６４】
なお、説明は省略するがＣＡＢＡＣのシンタックスでは他のシンタックス要素も設けられている。
【００６５】
図４は、符号化ストリームにおけるＣＡＢＡＣのシンタックス要素の順序を示している。なお、図４において、「ｂ０」はcoeff_abs_level_greater1_flagの符号化データであることを示している。また、「ｂ１」はcoeff_abs_level_greater2_flagの符号化データ、「Ｌｍ３」はcoeff_abs_level_minus3の符号化データ、「ｓ」はcoeff_sign_flagの符号化データであることを示している。なお、図示せずも、significant_coeff_flagの符号化データは、coeff_abs_level_greater1_flagの符号化データの前に設けられている。
【００６６】
ＨＥＶＣのテストモデルであるＨＭ３．０では、ＣＡＢＡＣのシンタックス要素の順序が図４の（Ａ）に示す順序とされている。ＨＭ３．０の場合、エンコード・デシジョン処理が行われているシンタックス要素と、エンコード・バイパス処理が行われるシンタックス要素が混在している。
【００６７】
エンコード・デシジョン処理を行う場合、算術符号化結果に基づき発生確率の更新を行う必要があるため処理が煩雑である。また、エンコード・バイパス処理では、発生確率が「０．５」に固定されていることから、処理が簡単であり例えば１クロックサイクルで複数のデータの符号化処理や復号処理が可能である。したがって、エンコード・デシジョン処理が行われているシンタックス要素と、エンコード・バイパス処理が行われるシンタックス要素が混在していると、符号化処理や復号処理の効率化や高速化を図ることができない。このため、「"Parallel Context Processing of Coefficient Level"Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011 （ＪＣＴＶＣ−Ｆ１３０）」では、図４の（Ｂ）に示すように、エンコード・デシジョン処理が行われるシンタックス要素と、エンコード・バイパス処理が行われるシンタックス要素を分離することが提案されている。
【００６８】
ところで、図４の（Ｂ）に示す順序の符号化ストリームを復号する場合、例えば、coeff_abs_level_minus3のシンタックス要素の復号では、復号によって得られたbinを１ビットずつ符号の切れ目に該当するか判定される。したがって、エンコード・バイパス処理が行われているシンタックス要素を連続して処理することができない。このため、ＨＥＶＣのテストモデルであるＨＭ４．０では、図４の（Ｃ）に示すように、coeff_sign_flagのシンタックス要素をまとめて、その後coeff_abs_level_minus3のシンタックス要素をまとめることが提案されている。このような順序とすれば、coeff_sign_flagの個数は、先行するsignificant_coeff_flagにより判明するので、符号の切れ目の判定を行うことなくcoeff_sign_flagを連続して復号することが可能となる。
【００６９】
これらの順序に対して、本技術では、図４の（Ｄ）に示すように、coeff_abs_level_greater1_flagの符号化データの次にcoeff_abs_level_greater2_flagの符号化データの順とする。その後、coeff_abs_level_minus3の符号化データ、次にcoeff_sign_flagの符号化データの順とすることで、図４の（Ａ）〜（Ｃ）に比べてさらなる効率化および高速化をはかる。
【００７０】
図５は、ＨＭ４．０の二値化処理動作を例示している。図５の（Ａ）は、変換係数の値を例示している。図５の（Ｂ）はcoeff_abs_level_greater1_flagを示している。coeff_abs_level_greater1_flagは、変換係数の絶対値が閾値「１」より大きい場合にcoeff_abs_level_greater1_flag＝１、「１」以下である場合にcoeff_abs_level_greater1_flag＝０とされている。
【００７１】
図５の（Ｃ）は、coeff_abs_level_greater2_flagを示している。coeff_abs_level_greater2_flagは、coeff_abs_level_greater1_flag＝１である変換係数について、絶対値が閾値「２」よりも大きい場合にcoeff_abs_level_greater2_flag＝１、「２」以下である場合にcoeff_abs_level_greater2_flag＝０とされている。
【００７２】
図５の（Ｄ）は、coeff_sign_flagを示している。coeff_sign_flagは、変換係数が正の値である場合にcoeff_sign_flag＝０、負の値である場合にcoeff_sign_flag＝１とされている。
【００７３】
図５の（Ｅ）は、coeff_abs_level_minus3を示している。coeff_abs_level_minus3は、coeff_abs_level_greater2_flag＝１である変換係数について、絶対値から「３」を減算した値とされている。
【００７４】
図６は、本技術の二値化処理動作を例示している。図６の（Ａ）は、変換係数の値を例示している。図６の（Ｂ）はcoeff_abs_level_greater1_flagを示している。coeff_abs_level_greater1_flagは、変換係数の絶対値が閾値「１」より大きい場合にcoeff_abs_level_greater1_flag＝１、「１」以下である場合にcoeff_abs_level_greater1_flag＝０とされている。
【００７５】
図６の（Ｃ）は、coeff_abs_level_greater2_flagを示している。coeff_abs_level_greater2_flagは、coeff_abs_level_greater1_flag＝１である変換係数について、絶対値が閾値「２」よりも大きい場合にcoeff_abs_level_greater2_flag＝１、「２」以下である場合にcoeff_abs_level_greater1_flag＝０とされている。
【００７６】
図６の（Ｄ）は、coeff_sign_flagを示している。coeff_sign_flagは、変換係数が正の値である場合にcoeff_sign_flag＝０、負の値である場合にcoeff_sign_flag＝１とされている。
【００７７】
図６の（Ｅ）は、coeff_abs_level_minus3を示している。coeff_abs_level_minus3は、coeff_abs_level_greater2_flag＝１である変換係数について、絶対値から３を減算した値とされている。
【００７８】
図７は、ＨＭ４．０と本技術の復号動作を比較した図である。図７の（Ａ）は、図５に示す二値化処理動作で示された符号化ストリームを例示している。また、図７の（Ｂ）は、図７の（Ａ）に示す符号化ストリームの復号結果を示している。図７の（Ａ）に示す順序では、サブブロック１においてcoeff_abs_level_greater1_flagを復号し、次にcoeff_abs_level_greater2_flagを復号する。この時点では変換係数が確定していない。次にcoeff_sign_flagを復号すると、±１と±２の変換係数が確定する。すなわち図５の場合、２個目の変換係数である「２」から１０個目の変換係数である「１」までが確定する。しかし、coeff_abs_level_minus3の復号が終わらないと１個目の変換係数「６」が確定しない。また、１個目の変換係数が確定していないことから、正しい順序で復号後の変換係数を出力するためには、変換係数「６」が確定される前に確定している変換係数「２，−１，１・・・１」を例えばバッファに記憶する。また、記憶している変換係数を変換係数「６」の後に正しい順序で出力する必要がある。
【００７９】
このように、確定している変換係数をバッファ等に一時記憶することから、バッファ等の容量が少ないと、サブブロック１の伝送が終わり、バッファ等で空きが生じるまでサブブロック２の復号を進めることができない。したがって、復号処理の効率が落ちることになる。なお、図７の（Ｂ）では、coeff_abs_level_greater1_flagの復号とcoeff_sign_flagの復号との間に待ち時間を設けて、サブブロック１の伝送の終了時にcoeff_sign_flagの復号が完了して、確定した変換係数をバッファに記憶する場合を例示している。
【００８０】
図７の（Ｃ）は、図６に示す二値化処理動作で示された符号化ストリームを例示している。また、図７の（Ｄ）は、図７の（Ｃ）に示す符号化ストリームの復号結果を示している。図７の（Ｃ）に示す順序では、サブブロック１においてcoeff_abs_level_greater1_flagを復号し、次にcoeff_abs_level_greater2_flagを復号する。この時点では変換係数が確定していない。その後、coeff_abs_level_minus3を復号すると、各変換係数の絶対値が確定する。次にcoeff_sign_flagを復号すると、各変換係数が出力順に確定することになり、他の変換係数の確定を待つことなく変換係数を図７の（Ｄ）に示すように正しい順序で順次出力することができる。
【００８１】
このように、符号化ストリームを図７の（Ｃ）に示す順序とすれば、図７の（Ｂ）に示すように、バッファが空くまで次のサブブロックの復号を待つ必要がない。また、エンコード・デシジョン処理が行われているシンタックス要素と、エンコード・バイパス処理が行われるシンタックス要素が分離されており、coeff_sign_flagは連結しているので、効率よく高速に処理を行うことができる。
【００８２】
さらに、coeff_sign_flagを高速処理するために１サイクルで複数個を復号する処理系では、変換係数の出力インタフェースを並列化すれば、変換係数が確定した場合に直ちに出力することができ、サブブロックを連続して復号することが可能となる。
【００８３】
＜４−２．ＣＡＢＡＣ符号化処理動作＞
次に、図４の（Ｄ）および図７の（Ｃ）に示すように、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_abs_level_minus3、coeff_sign_flagの順である符号化データを生成するＣＡＢＡＣ符号化部１６０の動作について説明する。
【００８４】
図８は、ＣＡＢＡＣ符号化部１６０における符号化処理動作を示すフローチャートである。ステップＳＴ３１でＣＡＢＡＣ符号化部１６０は、係数個数分のcoeff_abs_level_greater1_flagを符号化する。ＣＡＢＡＣ符号化部１６０は、サブブロック内の各変換係数の絶対値と閾値「１」を比較して、比較結果を示すcoeff_abs_level_greater1_flagの算術符号化を行ってステップＳＴ３２に進む。
【００８５】
ステップＳＴ３２でＣＡＢＡＣ符号化部１６０は、coeff_abs_level_greater1_flag＝１である個数分のcoeff_abs_level_greater2_flagを符号化する。ＣＡＢＡＣ符号化部１６０は、coeff_abs_level_greater1_flag＝１である変換係数の絶対値と閾値「２」を比較して、比較結果を示すcoeff_abs_level_greater2_flagの算術符号化を行ってステップＳＴ３３に進む。
【００８６】
ステップＳＴ３３でＣＡＢＡＣ符号化部１６０は、coeff_abs_level_greater2_flag＝１である変換係数であるか判別する。ＣＡＢＡＣ符号化部１６０は、変換係数がcoeff_abs_level_greater2_flag＝１である場合にステップＳＴ３４に進み、coeff_abs_level_greater2_flag＝１でない場合にステップＳＴ３５に進む。
【００８７】
ステップＳＴ３４でＣＡＢＡＣ符号化部１６０は、coeff_abs_level_minus3を符号化する。ＣＡＢＡＣ符号化部１６０は、coeff_abs_level_greater2_flag＝１である場合、変換係数の絶対値は「２」よりも大きい。したがって、ＣＡＢＡＣ符号化部１６０は、変換係数の絶対値から「３」を減算した値であるcoeff_abs_level_minus3を符号化する。ＣＡＢＡＣ符号化部１６０は、coeff_abs_level_minus3のエンコード・バイパス処理を行ってステップＳＴ３５に進む。
【００８８】
ステップＳＴ３５でＣＡＢＡＣ符号化部１６０は、サブブロック分の符号化が終了したか判別する。ＣＡＢＡＣ符号化部１６０は、サブブロック内の変換係数の符号化が終了していない場合にステップＳＴ３３に戻り、サブブロック内の変換係数の符号化が終了した場合にステップＳＴ３６に進む。
【００８９】
ステップＳＴ３６でＣＡＢＡＣ符号化部１６０は、係数個数分のcoeff_sign_flagを符号化する。ＣＡＢＡＣ符号化部１６０は、変換係数が正の値である場合にcoeff_sign_flag＝０、負の値である場合にcoeff_sign_flag＝１として、係数個数分のcoeff_sign_flagのエンコード・バイパス処理を行う。
【００９０】
さらに、ＣＡＢＡＣ符号化部１６０は、ステップＳＴ３１からステップＳＴ３６の処理をサブブロック単位で繰り返し行うことで、図４の（Ｄ）に示すデータ順の符号化データを生成する。
【００９１】
図９は、ＣＡＢＡＣのシンタックスを例示している。なお、各行の左端の数字は説明のために付した行番号である。符号化データは、第１８行から第３７行に示すように、シンタックス要素がcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_abs_level_minus3、coeff_sign_flagの順とされている。
【００９２】
このように、ＣＡＢＡＣ符号化部１６０は、シンタックス要素をcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_abs_level_minus3、coeff_sign_flagの順とした符号化データを生成する。すなわち、ＣＡＢＡＣ符号化部１６０は、復号時における処理の効率化および高速化が可能となるように符号化データを生成できる。
【００９３】
＜５．画像復号装置の構成＞
次に、画像符号化装置から出力される符号化ストリームの復号処理を行う画像復号装置について説明する。入力画像を符号化して生成された符号化ストリームは、所定の伝送路や記録媒体等を介して画像復号装置に供給されて復号される。
【００９４】
図１０は、符号化ストリームの復号を行う画像復号装置の構成を例示している。画像復号装置５０は、蓄積バッファ５１、可逆復号部５２、逆量子化部５３、逆直交変換部５４、演算部５５、デブロッキングフィルタ５６、画面並べ替えバッファ５７、ディジタル／アナログ変換部（Ｄ／Ａ変換部）５８を備えている。また、画像復号装置５０は、フレームメモリ６１、イントラ予測部７１、動き補償部７２、セレクタ７３を備えている。
【００９５】
蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。可逆復号部５２は、蓄積バッファ５１より供給された符号化ストリームを、図３に示すＣＡＢＡＣ符号化部１６０の符号化方式に対応する方式で復号する。
【００９６】
可逆復号部５２は、符号化ストリームの可逆復号を行い、種々の情報を取得する。例えば、可逆復号部５２は、符号化ストリームを復号して得られた変換係数の量子化データを逆量子化部５３に出力する。また、可逆復号部５２は、符号化ストリームを復号して得られた予測モード情報をイントラ予測部７１に出力する。さらに、可逆復号部５２は、符号化ストリームを復号して得られた予測モード情報や動きベクトル情報を動き補償部７２に出力する。
【００９７】
逆量子化部５３は、図１に示す量子化部１５の量子化方式に対応する方式で、可逆復号部５２から供給された量子化データの逆量子化を行う。逆直交変換部５４は、図１に示す直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して演算部５５に出力する。
【００９８】
演算部５５は、逆直交変換後のデータとセレクタ７３から供給される予測画像データを加算してデコード画像の画像データを生成してデブロッキングフィルタ５６とイントラ予測部７１に出力する。
【００９９】
デブロッキングフィルタ５６は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ５６は、演算部５５から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データを画面並べ替えバッファ５７とフレームメモリ６１に出力する。
【０１００】
画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図１に示す画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。
【０１０１】
Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することでデコード画像を表示させる。
【０１０２】
イントラ予測部７１は、可逆復号部５２から供給された予測モード情報と演算部５５から供給された復号画像データに基づいて予測画像データの生成を行い、生成した予測画像データをセレクタ７３に出力する。
【０１０３】
動き補償部７２は、可逆復号部５２から供給された予測モード情報と動きベクトル情報に基づきフレームメモリ６１から読み出した画像データを用いて動き補償を行い、予測画像データを生成する。動き補償部７２は、生成した予測画像データをセレクタ７３に出力する。
【０１０４】
セレクタ７３は、可逆復号部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを演算部５５に出力する。
【０１０５】
＜６．画像復号装置の動作＞
次に、図１１のフローチャートを参照して、画像復号装置５０の動作について説明する。ステップＳＴ５１で蓄積バッファ５１は、供給された符号化ストリームを蓄積する。ステップＳＴ５２で可逆復号部５２は、可逆復号処理を行う。可逆復号部５２は、蓄積バッファ５１から供給される符号化ストリームを、図１に示す可逆符号化部１６に対応する方式で復号する。可逆復号部５２は、符号化ストリームを復号することで得られた変換係数の量子化データを逆量子化部５３に出力する。また、可逆復号部５２は、符号化ストリームを復号して得られた予測モード情報をイントラ予測部７１に出力する。さらに、可逆復号部５２は、符号化ストリームを復号して得られた予測モード情報や動きベクトル情報を動き補償部７２に出力する。
【０１０６】
ステップＳＴ５３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号部５２により復号された量子化データを、図１に示す量子化部１５の特性に対応する特性で逆量子化する。
【０１０７】
ステップＳＴ５４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図１に示す直交変換部１４の特性に対応する特性で逆直交変換する。
【０１０８】
ステップＳＴ５５において演算部５５は、復号画像データの生成を行う。演算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ５９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
【０１０９】
ステップＳＴ５６においてデブロッキングフィルタ５６は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ５６は、演算部５５より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【０１１０】
ステップＳＴ５７においてフレームメモリ６１は、データを記憶する。フレームメモリ６１は、デブロッキングフィルタでフィルタリングが行われた復号画像データを記憶する。
【０１１１】
ステップＳＴ５８においてイントラ予測部７１と動き補償部７２は、予測画像データの生成を行う。イントラ予測部７１と動き補償部７２は、可逆復号部５２から供給される予測モード情報に対応してそれぞれ予測画像データの生成を行う。
【０１１２】
すなわち、可逆復号部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部７１は、予測モード情報に基づいて予測画像データを生成する。また、可逆復号部５２からインター予測の予測モード情報が供給された場合、動き補償部７２は、予測モード情報と動きベクトル情報に基づき動き補償を行い、予測画像データを生成する。
【０１１３】
ステップＳＴ５９において、セレクタ７３は予測画像データの選択を行う。セレクタ７３は、イントラ予測部７１から供給された予測画像データと動き補償部７２から供給された予測画像データの選択を行い、選択した予測画像データを演算部５５に供給して、ステップＳＴ５５において逆直交変換部５４の出力と加算させる。
【０１１４】
ステップＳＴ６０において画面並べ替えバッファ５７は、画像並べ替えを行う。すなわち画面並べ替えバッファ５７は、図１に示す画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０１１５】
ステップＳＴ６１において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０１１６】
＜７．ＣＡＢＡＣ復号部の構成＞
図１２は、可逆復号部５２においてＣＡＢＡＣ復号処理を行うＣＡＢＡＣ復号部の構成を例示している。ＣＡＢＡＣ復号部５２０は、蓄積バッファ５１から符号化データを受け取り、二値化データに復号した後に多値化データに変換する。ＣＡＢＡＣ復号部５２０は、コンテキスト算出部５２１と算術復号処理部５２２および多値化部５２３を備えている。
【０１１７】
コンテキスト算出部５２１は、復号するシンタックスに基づきコンテキストインデックスを生成する。また、コンテキスト算出部５２１は、コンテキストインデックスに対応したコンテキストを選択して算術復号処理部５２２に出力する。また、コンテキスト算出部５２１は、算術復号処理部５２２で得られた算術復号結果に基づき発生確率の更新を行う。
【０１１８】
算術復号処理部５２２は、蓄積バッファ５１から入力された符号化データとコンテキストに基づき、算術符号化処理部１６３に対して逆の処理を行い二値化データを生成する。また、算術復号処理部５２２は、コンテキストを参照する復号モードであるデコード・デシジョン（DecodeDecision）処理と、コンテキストを参照しない復号モードであるデコード・バイパス（DecodeBypass）処理が設けられている。なお、復号モードとしては、デコード・ターミネイト（DecodeTerminate）処理が設けられているが、説明は省略する。算術復号処理部５２２は、シンタックスに応じて復号モードを選択して符号化データの復号を行う。例えば、算術復号処理部５２２は、１つ係数の符号化データを復号する際、エンコード・デシジョン処理が行われたシンタックス要素については、コンテキスト算出部５２１から供給されたコンテキストに基づいて復号処理を行う。また、エンコード・バイパス処理が行われたシンタックス要素については、デコード・バイパス処理を行う。算術復号処理部５２２は、算術復号結果である二値化データを多値化部５２３に出力する。また、算術復号処理部５２２は、算術復号結果をコンテキスト算出部５２１に出力する。
【０１１９】
多値化部５２３は、ＣＡＢＡＣ符号化部１６０の二値化部１６１に対応した処理を行い、算術復号処理部５２２から供給された二値化データを二値化が行われる前の量子化データに戻して逆量子化部５３に出力する。また、可逆復号処理を行うことにより得られた予測モード情報等をイントラ予測部７１や動き補償部７２に出力する。
【０１２０】
＜８．ＣＡＢＡＣ復号部の動作＞
図１３は可逆復号部におけるＣＡＢＡＣ復号部の動作を示すフローチャートである。ステップＳＴ７１でＣＡＢＡＣ復号部５２０は、係数個数分のcoeff_abs_level_greater1_flagを復号する。ＣＡＢＡＣ復号部５２０は、デコード・デシジョン処理を行い、係数個数分のcoeff_abs_level_greater1_flagを生成してステップＳＴ７２に進む。
【０１２１】
ステップＳＴ７２でＣＡＢＡＣ復号部５２０は、coeff_abs_level_greater1_flag＝１である個数分のcoeff_abs_level_greater2_flagを復号する。ＣＡＢＡＣ復号部５２０は、デコード・デシジョン処理を行い、coeff_abs_level_greater1_flag＝１である個数分のcoeff_abs_level_greater1_flagを生成してステップＳＴ７３に進む。
【０１２２】
ステップＳＴ７３でＣＡＢＡＣ復号部５２０は、coeff_abs_level_greater2_flag＝１の変換係数の復号であるか判別する。ＣＡＢＡＣ復号部５２０は、coeff_abs_level_greater2_flag＝１である場合にステップＳＴ７４に進み、coeff_abs_level_greater2_flag＝１でない場合にステップＳＴ７６に進む。
【０１２３】
ステップＳＴ７４でＣＡＢＡＣ復号部５２０は、１ビット復号を行う。ＣＡＢＡＣ復号部５２０は、１ビットのデコード・バイパス処理を行ってステップＳＴ７５に進む。
【０１２４】
ステップＳＴ７５でＣＡＢＡＣ復号部５２０は、coeff_abs_level_minus3の復号が終了したか判別する。ＣＡＢＡＣ復号部５２０は、coeff_abs_level_minus3の復号結果が得られていない場合にステップＳＴ７４に戻り、coeff_abs_level_minus3の復号結果が得られた場合にステップＳＴ７６に進む。
【０１２５】
ステップＳＴ７６でＣＡＢＡＣ復号部５２０は、サブブロック分の復号が終了したか判別する。ＣＡＢＡＣ復号部５２０は、サブブロック分の復号処理結果が得られていない場合にステップＳＴ７３に戻り、サブブロック分の復号処理結果が得られた場合にステップＳＴ７７に進む。
【０１２６】
ステップＳＴ７７でＣＡＢＡＣ復号部５２０は、係数個数分のcoeff_sign_flagを復号する。ＣＡＢＡＣ復号部５２０は、デコード・バイパス処理を行って係数個数分のcoeff_sign_flagを復号する。
【０１２７】
さらに、ＣＡＢＡＣ復号部５２０は、ステップＳＴ７１からステップＳＴ７７の処理をサブブロック単位で繰り返し行うことで、図４の（Ｄ）に示すデータ順の符号化データを正しく復号する。
【０１２８】
また、ＣＡＢＡＣ復号部５２０は、coeff_sign_flagを復号する毎に正しい順序で変換係数が順次確定されるので、既に確定されている変換係数を正しい順序で出力するためバッファに格納する必要がないことから復号処理を効率よく行うことができる。また、coeff_sign_flagをまとめて処理することで高速に復号処理を行うことができる。
【０１２９】
＜９．ソフトウェア処理の場合＞
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
【０１３０】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。または、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１３１】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３２】
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３３】
＜１０．電子機器に適用した場合＞
また、上述した画像符号化装置１０や画像復号装置５０は、任意の電子機器に適用することができる。以下にその例について説明する。
【０１３４】
図１４は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９０は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９０は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０１３５】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０１３６】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０１３７】
デコーダ９０４は、パケットの復号処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０１３８】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０１３９】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０１４０】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行い、スピーカ９０８に供給することで音声出力を行う。
【０１４１】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０１４２】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０１４３】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９０の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９０がユーザ操作に応じた動作となるように各部を制御する。
【０１４４】
なお、テレビジョン装置９０では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０１４５】
このように構成されたテレビジョン装置では、デコーダ９０４に本技術の画像処理装置（画像処理方法）の機能が設けられる。このため、放送局側で本技術の画像処理装置の機能を用いることにより、テレビジョン装置で符号化ストリームの復号を効率よく行うことができる。
【０１４６】
図１５は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０１４７】
携帯電話機９２は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０１４８】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０１４９】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０１５０】
なお、携帯電話機９２は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０１５１】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０１５２】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０１５３】
このように構成された携帯電話装置では、画像処理部９２７に本技術の画像処理装置（画像処理方法）の機能が設けられる。したがって、画像データの通信を行う際に、復号を効率よく行うことができるように通信データを生成できる。また、通信データの復号処理を効率よく行うことができる。
【０１５４】
図１６は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０１５５】
記録再生装置９４は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０１５６】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０１５７】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくとも何れかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０１５８】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０１５９】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０１６０】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。
【０１６１】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からの何れかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５の何れかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０１６２】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０１６３】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０１６４】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４がユーザ操作に応じた動作となるように各部を制御する。
【０１６５】
このように構成された記録再生装置では、エンコーダ９４３とデコーダ９４７に本技術の画像処理装置（画像処理方法）の機能が設けられて、映像の記録再生を高速に行うことができる。
【０１６６】
図１７は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０１６７】
撮像装置９６は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０１６８】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０１６９】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０１７０】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０１７１】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０１７２】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０１７３】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０１７４】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６がユーザ操作に応じた動作となるように各部を制御する。
【０１７５】
このように構成された撮像装置では、画像データ処理部９６４に本技術の画像処理装置（画像処理方法）の機能が設けられる。したがって、撮像画像をメモリ部９６７や記録メディア等に記録する場合や記録されている撮像画像を再生する際に、効率よく記録再生を行うことができる。
【０１７６】
また、本技術は上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１７７】
なお、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データに対して、算術復号処理を行う算術復号処理部と、
前記算術復号処理部で算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の前記変換係数を生成する多値化部と
を備える画像処理装置。
（２） 前記算術復号処理部は、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで前記第１の情報の復号処理を行い、前記コンテキストを参照しないモードで前記第２の情報および第３の情報の復号処理を行う（１）に記載の画像処理装置。
（３） 前記符号化データは、前記所定数を「ｍ＝２」として生成されたデータである（１）また（２）に記載の画像処理装置。
（４） 前記符号化データは、サブブロック単位で前記変換係数を符号化したデータである（１）乃至（３）の何れかに記載の画像処理装置。
（５） 量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化する二値化部と、
前記二値化部で得られた二値化データの算術符号化処理を行い、符号化データを生成する算術符号化処理部と
を備える画像処理装置。
（６） 前記算術符号化処理部は、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで前記第１の情報の符号化処理を行い、前記コンテキストを参照しないモードで前記第２の情報および第３の情報の符号化処理を行う（５）に記載の画像処理装置。
（７） 前記二値化部は、前記所定数を「ｍ＝２」として前記二値化データを生成する（５）または（６）に記載の画像処理装置。
（８） 前記二値化部と前記算術符号化処理部は、サブブロック単位で前記変換係数の二値化と符号化処理を行う（５）乃至（７）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【０１７８】
本技術の画像処理装置と画像処理方法では、量子化後の変換係数の絶対値と閾値「ｍ」を比較して絶対値が閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、絶対値における所定値に対する超過分に応じた第２の情報と、変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データの生成や復号が行われる。このようなシンタックス要素の順とすることで、復号時に変換係数を順に確定できる。また、情報の符号化処理や復号処理をまとめて行うことが可能となる。したがって、ＣＡＢＡＣの符号化処理や復号処理を効率よく行うことができる。また、本技術は、ブロック単位で符号化を行うことにより得られた符号化ストリームを、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して送受信する電子機器や、光ディスク、磁気ディスク、フラッシュメモリのような記憶メディアを用いて画像の記録再生を行う電子機器に適している。
【符号の説明】
【０１７９】
１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３，２３，５５・・・演算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７・・・蓄積バッファ、１８・・・レート制御部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２４，５６・・・デブロッキングフィルタ、２５，６１・・・フレームメモリ、３１・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、５０・・・画像復号装置、５１・・・蓄積バッファ、５２・・・可逆復号部、５３・・・逆量子化部、５８・・・Ｄ／Ａ変換部、７１・・・イントラ予測部、７２・・・動き補償部、７３，９４６・・・セレクタ、９０・・・テレビジョン装置、９２・・・携帯電話機、９４・・・記録再生装置、９６・・・撮像装置、１６０・・・ＣＡＢＡＣ符号化部、１６１・・・二値化部、１６２，５２１・・・コンテキスト算出部、１６３・・・算術符号化処理部、５２０・・・ＣＡＢＡＣ復号部、５２２・・・算術復号処理部、５２３・・・多値化部、９０１，９２１・・・アンテナ、９０２・・・チューナ、９０３・・・デマルチプレクサ、９０４，９４７・・・デコーダ、９０５・・・映像信号処理部、９０６，９３０，９６５・・・表示部、９０７・・・音声信号処理部、９０８，９２４・・・スピーカ、９０９，９４２，９６６・・・外部インタフェース部、９１０，９３１，９４９，９７０・・・制御部、９１１，９５０，９７１・・・ユーザインタフェース部、９１２，９３３，９７２・・・バス、９２２・・・通信部、９２３・・・音声コーデック、９２５・・・マイクロホン、９２６・・・カメラ部、９２７・・・画像処理部、９２８・・・多重分離部、９２９・・・記録再生部、９３２・・・操作部、９４１・・・チューナ、９４３・・・エンコーダ、９４４・・・ＨＤＤ部、９４５・・・ディスクドライブ、９４８，９６９・・・ＯＳＤ部、９６１・・・光学ブロック、９６２・・・撮像部、９６３・・・カメラ信号処理部、９６４・・・画像データ処理部、９６７・・・メモリ部、９６８・・・メディアドライブ
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法に関する。詳しくは、画像の符号化処理や復号処理を効率よく行えるようにする。
【背景技術】
【０００２】
従来、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）の画像符号化方式では、エントロピー符号化としてＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）や、ＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）が定義されている。このうち、ＣＡＢＡＣは、コンテキスト（Context）に応じて適応的に符号化を行う２値の算術符号化方式である。
【０００３】
算術符号化方式は、１シンボル毎に発生確率に応じて数値区間を分割する処理を繰り返し、分割後の数値区間の発生確率の２進表現により符号化データを生成する。また、算術符号化方式は、シンボル発生確率テーブルを符号化処理毎に順次更新する必要がある。なお、算術復号では、算術符号化と逆の処理が行われる。
【０００４】
また、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）に続く次世代の画像符号化方式として、ＨＥＶＣ（High Efficiency Video Coding）の標準化が進められている。ＨＥＶＣが使用する基本的な符号化技術は、Ｈ．２６４／ＡＶＣと同様である。しかし、エントロピー符号化の手法では、Ｈ．２６４／ＡＶＣのエントロピー符号化におけるＣＡＶＬＣおよびＣＡＢＡＣとは異なる手法が提案されている（下記非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】"Working Draft 4 of High-Efficiency Video Coding" Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011．(JCTVC-F803_d0)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、ＣＡＢＡＣではコンテキスト（Context）を参照して符号化を行う符号化部分と、コンテキストを参照しないで符号化を行う符号化部分が混在している。コンテキストを参照する符号化部分は、コンテキストを参照することから処理が煩雑である。また、コンテキストを参照する符号化部分とコンテキストを参照しない符号化部分の混在によってさらに処理が煩雑となり、符号化処理や復号処理を効率よく行うことが困難となるおそれがある。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、ＣＡＢＡＣの符号化処理や復号処理を効率よく行うことができる画像処理装置と画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この技術の第１の側面は、量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データに対して、算術復号処理を行う算術復号処理部と、前記算術復号処理部で算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の前記変換係数を生成する多値化部とを備える画像処理装置にある。
【０００９】
この技術においては、量子化後の例えばサブブロック単位の変換係数の絶対値と閾値「ｍ」を比較して絶対値が閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値例えば「ｍ＝２」となるまでの比較結果を示す第１の情報と、絶対値の前記所定値に対する超過分に応じた第２の情報と、変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データに対して、算術復号処理が算術復号処理部で行われる。なお、サブブロック単位とは、直交変換の単位であるトランスフォームユニット（ＴＵ：transform_unit）を所定数の係数毎例えば１６係数毎に分割したブロックの単位である。
【００１０】
算術復号処理では、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで第１の情報の復号処理が行われて、コンテキストを参照しないモードで第２の情報および第３の情報の復号処理が行われる。また、算術復号処理を行うことにより得られた二値化データの多値化が行われて、符号化前の変換係数が生成される。
【００１１】
この技術の第２の側面は、量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データについて、算術復号処理を行う工程と、前記算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の前記変換係数を生成する工程とを含む画像処理方法にある。
【００１２】
この技術の第３の側面は、量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化する二値化部と、前記二値化部で得られた二値化データの算術符号化処理を行い、符号化データを生成する算術符号化処理部とを備える画像処理装置にある。
【００１３】
この技術においては、量子化後の例えばサブブロック単位の変換係数の絶対値と閾値「ｍ」を比較して絶対値が閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値例えば「ｍ＝２」となるまでの比較結果を示す第１の情報と、絶対値の前記所定値に対する超過分に応じた第２の情報と、変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化される。この二値化データに対して、算術符号化処理が算術符号化処理部で行われて符号化データの生成が行われる。算術符号化処理では、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで第１の情報の符号化処理が行われて、コンテキストを参照しないモードで第２の情報および第３の情報の符号化処理が行われる。
【００１４】
この技術の第４の側面は、量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値における前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化する工程と、前記二値化により得られた二値化データの算術符号化処理を行い、符号化データを生成する工程とを含む画像処理方法にある。
【発明の効果】
【００１５】
この技術によれば、量子化後の変換係数の絶対値と閾値「ｍ」を比較して絶対値が閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、絶対値における所定値に対する超過分に応じた第２の情報と、変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データの生成や復号が行われる。このようなシンタックス要素の順とすることで、復号時に変換係数を順に確定できる。また、情報の符号化処理や復号処理をまとめて行うことが可能となる。したがって、ＣＡＢＡＣの符号化処理や復号処理を効率よく行うことができる。
【図面の簡単な説明】
【００１６】
【図１】画像符号化装置の構成を例示した図である。
【図２】画像符号化装置の動作を示すフローチャートである。
【図３】ＣＡＢＡＣ符号化部の構成を例示した図である。
【図４】二値化動作を説明するための図である。
【図５】二値化動作の具体例を示す図である。
【図６】処理を効率よく行うことができるようにした二値化動作の具体例を示す図である。
【図７】復号時の動作を比較した図である。
【図８】ＣＡＢＡＣ符号化部の動作を示すフローチャートである。
【図９】ＣＡＢＡＣのシンタックスを例示した図である。
【図１０】画像復号装置の構成を例示した図である。
【図１１】画像復号装置の動作を示すフローチャートである。
【図１２】ＣＡＢＡＣ復号部の構成を例示した図である。
【図１３】ＣＡＢＡＣ復号部の動作を示すフローチャートである。
【図１４】テレビジョン装置の概略構成を例示した図である。
【図１５】携帯電話機の概略構成を例示した図である。
【図１６】記録再生装置の概略構成を例示した図である。
【図１７】撮像装置の概略構成を例示した図である。
【発明を実施するための形態】
【００１７】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像符号化装置の構成
２．画像符号化装置の動作
３．ＣＡＢＡＣ符号化部の構成
４．ＣＡＢＡＣ符号化部の動作
４−１．ＣＡＢＡＣ符号化復号処理について
４−２．ＣＡＢＡＣ符号化処理動作
４．可逆符号化部の動作
５．画像復号装置の構成
６．画像復号装置の動作
７．ＣＡＢＡＣ復号部の構成
８．ＣＡＢＡＣ復号部の動作
９．ソフトウェア処理の場合
１０．電子機器に適用した場合
【００１８】
＜１．画像符号化装置の構成＞
図１は、画像符号化装置の構成を例示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、演算部２３、デブロッキングフィルタ２４、フレームメモリ２５、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３を備えている。
【００１９】
Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを演算部１３とレート制御部１８およびイントラ予測部３１と動き予測・補償部３２に出力する。
【００２０】
演算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。演算部１３は、画面並べ替えバッファ１２から出力された入力画像の画像データと予測画像・最適モード選択部３３から供給された予測画像の画像データとの差分である差分画像の画像データ（予測誤差データ）を算出して、直交変換部１４に出力する。
【００２１】
直交変換部１４は、演算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
【００２２】
量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８から量子化パラメータ（量子化スケール）が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８で設定された量子化パラメータに応じて量子化データのビットレートを変化させる。
【００２３】
可逆符号化部１６には、量子化部１５から変換係数の量子化データ、イントラ予測部３１から予測モード情報や動き予測・補償部３２から予測モード情報と動きベクトル情報等が供給される。また、予測画像・最適モード選択部３３から最適モードがイントラ予測であるかインター予測であるかを示す情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測モードやブロックサイズ情報等が含まれる。
【００２４】
可逆符号化部１６は、変換係数の量子化データに対して例えばＣＡＶＬＣまたはＣＡＢＡＣ等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、最適モードがイントラ予測である場合、イントラ予測部３１から供給された予測モード情報の可逆符号化を行う。また、可逆符号化部１６は、最適モードがインター予測である場合、動き予測・補償部３２から供給された予測モード情報や動きベクトル情報等の可逆符号化を行う。さらに、可逆符号化部１６は、量子化パラメータに関する情報の可逆符号化を行う。
【００２５】
蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【００２６】
レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量が少なくなっている場合には量子化データのビットレートが低下し、空き容量が十分大きい場合には量子化データのビットレートが高くなるように量子化パラメータを設定する。レート制御部１８は、設定した量子化パラメータを量子化部１５に出力する。
【００２７】
逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。
【００２８】
逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行い、得られたデータを演算部２３に出力する。
【００２９】
演算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算してローカルデコード画像の画像データを生成して、デブロッキングフィルタ２４とイントラ予測部３１に出力する。なお、演算部２３で生成されたローカルデコード画像は、イントラ予測またはインター予測において参照画像として用いられる。
【００３０】
デブロッキングフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２４は、演算部２３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ２５に記憶させる。
【００３１】
イントラ予測部３１は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データと演算部２３から供給された画像データ（参照画像データ）を用いて、候補となるイントラ予測モードで予測を行い、最適イントラ予測モードを決定する。イントラ予測部３１は、例えば各イントラ予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるイントラ予測モードを最適イントラ予測モードとする。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、イントラ予測部３１は、最適イントラ予測モードを示す予測モード情報を可逆符号化部１６に出力する。
【００３２】
動き予測・補償部３２は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データとフレームメモリ２５から読み出した参照画像データを用いて、候補となるインター予測モードで予測を行い、最適インター予測モードを決定する。動き予測・補償部３２は、例えば各インター予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるインター予測モードを最適インター予測モードとする。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、動き予測・補償部３２は、最適インター予測モードに関する予測モード情報と動きベクトル情報を可逆符号化部１６に出力する。
【００３３】
予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを演算部１３と演算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードがイントラ予測モードであるかインター予測モードであるかを示す情報を可逆符号化部１６に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測の切り替えを行う。
【００３４】
＜２．画像符号化装置の動作＞
次に、画像符号化装置の動作について、図２に示すフローチャートを用いて説明する。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
【００３５】
ステップＳＴ１２において画面並べ替えバッファ１２は、画像並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【００３６】
ステップＳＴ１３において演算部１３は、予測誤差データの生成を行う。演算部１３は、ステップＳＴ１２で並べ替えられた入力画像の画像データと予測画像・最適モード選択部３３で選択された予測画像の画像データとの差分を算出して、差分画像の画像データすなわち予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を符号化することができる。
【００３７】
ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、演算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
【００３８】
ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。
【００３９】
ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
【００４０】
ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
【００４１】
ステップＳＴ１８において演算部２３は、参照画像データの生成を行う。演算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、ローカルデコード画像の画像データ（参照画像データ）を生成する。
【００４２】
ステップＳＴ１９においてデブロッキングフィルタ２４は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ２４は、演算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【００４３】
ステップＳＴ２０においてフレームメモリ２５は、復号画像データを記憶する。フレームメモリ２５は、デブロッキングフィルタでフィルタリングが行われた復号画像データを記憶する。
【００４４】
ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。予測処理により、候補となる予測モードでの予測処理がそれぞれ行われ、候補となる予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。
【００４５】
ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードを決定する。また、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを、演算部１３と演算部２３に出力する。この予測画像データが、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
【００４６】
ステップＳＴ２３において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された変換係数の量子化データを可逆符号化する。すなわち、量子化データに対してＣＡＶＬＣまたはＣＡＢＡＣ等の可逆符号化が行われて、データ符号化される。また、可逆符号化部１６は、ステップＳＴ２５で選択された予測画像データに対応する予測モード情報等の可逆符号化を行い、量子化データを可逆符号化して生成された符号化ストリームに、予測モード情報等の可逆符号化データが含められる。
【００４７】
ステップＳＴ２４において蓄積バッファ１７は、蓄積処理を行う。蓄積バッファ１７は、可逆符号化部１６から出力される符号化ストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ストリームは、適宜読み出されて伝送路を介して復号側に伝送される。
【００４８】
ステップＳＴ２５においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ストリームを蓄積する場合、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化パラメータＱＰを設定して量子化部１５に出力することで量子化動作のレートを制御する。
【００４９】
＜３．ＣＡＢＡＣ符号化部の構成＞
図３は、可逆符号化部１６においてＣＡＢＡＣの処理を行うＣＡＢＡＣ符号化部の構成を例示している。ＣＡＢＡＣ符号化部１６０は、二値化部１６１，コンテキスト算出部１６２，算術符号化処理部１６３を備えている。
【００５０】
二値化部１６１は、量子化された変換係数や動きベクトル情報および予測モード情報等のデータに対して二値化処理を行い、規格によって定められたシンタックスの二値化データを生成して算術符号化処理部１６３に出力する。
【００５１】
コンテキスト算出部１６２は、シンタックスに基づきコンテキストインデックスを生成する。コンテキストインデックスとは、コンテキストを選択するための情報であり、コンテキストでは、発生確率が高い優勢シンボルとその優勢シンボルの発生確率に関する情報が示される。
【００５２】
コンテキスト算出部１６２は、コンテキストインデックスに対応したコンテキストを選択して算術符号化処理部１６３に出力する。また、コンテキスト算出部１６２は、算術符号化処理部１６３の算術符号化結果に基づき発生確率の更新を行う。
【００５３】
算術符号化処理部１６３は、二値化データとコンテキストに基づき、発生確率に応じて数値区間を分割する処理を繰り返し、分割後の数値区間の発生確率の２進表現により、算術符号化結果である符号化データを生成して蓄積バッファ１７に出力する。
【００５４】
また、算術符号化処理部１６３は、算術符号化処理において、エンコード・デシジョン（EncodeDecision）処理と、エンコード・バイパス（EncodeBypass）処理が設けられている。なお、算術符号化処理では、エンコード・ターミネイト（EncodeTerminate）処理が設けられているが、説明は省略する。エンコード・デシジョン処理は、確率状態および優勢確率シンボルを表すコンテキストを参照する符号化モードである。エンコード・バイパス処理は、コンテキストを参照しない符号化モードである。算術符号化処理部１６３は、シンタックスに応じて符号化モードを選択して符号化を行う。
【００５５】
＜４．ＣＡＢＡＣ符号化部の動作＞
＜４−１．ＣＡＢＡＣ符号化復号処理について＞
ＣＡＢＡＣ符号化部１６０は、符号化するシンボルをbinと呼ばれる中間形式に変換するbinarizationを行った後に算術符号化処理を行い符号化データを得る。例えば、ＣＡＢＡＣ符号化部１６０は、変換係数の量子化データ（以下単に変換係数情報という）の絶対値と閾値「ｍ」を比較する。ここで、絶対値が閾値「ｍ」より大きい場合に閾値「ｍ＝ｍ＋１」とした比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較を行う。このようにして得られる比較結果を示す第１の情報と、絶対値における所定値に対する超過分を示す第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素とする。このシンタックス要素の二値化データを生成して算術符号化処理を行い、符号化データを生成する。
【００５６】
変換係数情報のＣＡＢＡＣ符号化において、ＨＥＶＣ（High Efficiency Video Coding）では、直交変換の単位であるトランスフォームユニット（ＴＵ：transform_unit）を所定数の係数毎例えば１６係数毎のサブブロックに分割して、サブブロック単位で変換係数の符号化が行われる。
【００５７】
また、ＨＥＶＣにおける変換係数のＣＡＢＡＣ符号化では、所定値を「ｍ＝２」として、シンタックス要素としてsignificant_coeff_flag，coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_abs_level_minus3、coeff_sign_flag等を設けることが検討されている。
【００５８】
significant_coeff_flagは、変換係数が「０」であるか否かを示すフラグのシンタックス要素である。significant_coeff_flagは、変換係数が「０」の場合にsignificant_coeff_flag＝０、変換係数が「０」でない場合にsignificant_coeff_flag＝１となる。
【００５９】
coeff_abs_level_greater1_flagは、変換係数の絶対値が閾値「１」よりも大きいか否かを示すフラグのシンタックス要素である。coeff_abs_level_greater1_flagは、変換係数が「１」よりも大きい場合にcoeff_abs_level_greater1_flag＝１、変換係数が「１」以下である場合にcoeff_abs_level_greater1_flag＝０となる。
【００６０】
coeff_abs_level_greater2_flagは、変換係数の絶対値が閾値「２」よりも大きいか否かを示すフラグのシンタックス要素である。coeff_abs_level_greater2_flagは、変換係数が「２」よりも大きい場合にcoeff_abs_level_greater2_flag＝１、変換係数が「２」以下である場合にcoeff_abs_level_greater2_flag＝０となる。
【００６１】
coeff_abs_level_minus3は、変換係数の絶対値から「３」を引いた値を示すシンタックス要素であり、絶対値における所定値に対する超過分に応じた情報である。変換係数の絶対値は、coeff_abs_level_greater2_flagが「１」の場合には閾値「２」よりも大きい値、すなわち「３」以上の整数値である。したがって、変換係数の絶対値から「３」を引いた値をシンタックス要素とする。coeff_abs_level_minus3は、例えば指数ゴロム（Exponential Golomb）符号化においてゴロムライス（Golomb-Rice）符号を用いた方式で二値化が行われる。
【００６２】
coeff_sign_flagは、変換係数の符号を示すシンタックス要素である。coeff_sign_flagは、変換係数が正の値である場合にcoeff_sign_flag＝０、変換係数が負の値である場合にcoeff_sign_flag＝１となる。
【００６３】
significant_coeff_flagとcoeff_abs_level_greater1_flagとcoeff_abs_level_greater2_flagは、エンコード・デシジョン処理が行われる。また、coeff_abs_level_minus3とcoeff_sign_flagは、エンコード・バイパス処理が行われる。エンコード・バイパス処理では、発生確率を「０．５」に固定することで、符号演算を簡略化した処理である。
【００６４】
なお、説明は省略するがＣＡＢＡＣのシンタックスでは他のシンタックス要素も設けられている。
【００６５】
図４は、符号化ストリームにおけるＣＡＢＡＣのシンタックス要素の順序を示している。なお、図４において、「ｂ０」はcoeff_abs_level_greater1_flagの符号化データであることを示している。また、「ｂ１」はcoeff_abs_level_greater2_flagの符号化データ、「Ｌｍ３」はcoeff_abs_level_minus3の符号化データ、「ｓ」はcoeff_sign_flagの符号化データであることを示している。なお、図示せずも、significant_coeff_flagの符号化データは、coeff_abs_level_greater1_flagの符号化データの前に設けられている。
【００６６】
ＨＥＶＣのテストモデルであるＨＭ３．０では、ＣＡＢＡＣのシンタックス要素の順序が図４の（Ａ）に示す順序とされている。ＨＭ３．０の場合、エンコード・デシジョン処理が行われているシンタックス要素と、エンコード・バイパス処理が行われるシンタックス要素が混在している。
【００６７】
エンコード・デシジョン処理を行う場合、算術符号化結果に基づき発生確率の更新を行う必要があるため処理が煩雑である。また、エンコード・バイパス処理では、発生確率が「０．５」に固定されていることから、処理が簡単であり例えば１クロックサイクルで複数のデータの符号化処理や復号処理が可能である。したがって、エンコード・デシジョン処理が行われているシンタックス要素と、エンコード・バイパス処理が行われるシンタックス要素が混在していると、符号化処理や復号処理の効率化や高速化を図ることができない。このため、「"Parallel Context Processing of Coefficient Level"Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011 （ＪＣＴＶＣ−Ｆ１３０）」では、図４の（Ｂ）に示すように、エンコード・デシジョン処理が行われるシンタックス要素と、エンコード・バイパス処理が行われるシンタックス要素を分離することが提案されている。
【００６８】
ところで、図４の（Ｂ）に示す順序の符号化ストリームを復号する場合、例えば、coeff_abs_level_minus3のシンタックス要素の復号では、復号によって得られたbinを１ビットずつ符号の切れ目に該当するか判定される。したがって、エンコード・バイパス処理が行われているシンタックス要素を連続して処理することができない。このため、ＨＥＶＣのテストモデルであるＨＭ４．０では、図４の（Ｃ）に示すように、coeff_sign_flagのシンタックス要素をまとめて、その後coeff_abs_level_minus3のシンタックス要素をまとめることが提案されている。このような順序とすれば、coeff_sign_flagの個数は、先行するsignificant_coeff_flagにより判明するので、符号の切れ目の判定を行うことなくcoeff_sign_flagを連続して復号することが可能となる。
【００６９】
これらの順序に対して、本技術では、図４の（Ｄ）に示すように、coeff_abs_level_greater1_flagの符号化データの次にcoeff_abs_level_greater2_flagの符号化データの順とする。その後、coeff_abs_level_minus3の符号化データ、次にcoeff_sign_flagの符号化データの順とすることで、図４の（Ａ）〜（Ｃ）に比べてさらなる効率化および高速化をはかる。
【００７０】
図５は、ＨＭ４．０の二値化処理動作を例示している。図５の（Ａ）は、変換係数の値を例示している。図５の（Ｂ）はcoeff_abs_level_greater1_flagを示している。coeff_abs_level_greater1_flagは、変換係数の絶対値が閾値「１」より大きい場合にcoeff_abs_level_greater1_flag＝１、「１」以下である場合にcoeff_abs_level_greater1_flag＝０とされている。
【００７１】
図５の（Ｃ）は、coeff_abs_level_greater2_flagを示している。coeff_abs_level_greater2_flagは、coeff_abs_level_greater1_flag＝１である変換係数について、絶対値が閾値「２」よりも大きい場合にcoeff_abs_level_greater2_flag＝１、「２」以下である場合にcoeff_abs_level_greater2_flag＝０とされている。
【００７２】
図５の（Ｄ）は、coeff_sign_flagを示している。coeff_sign_flagは、変換係数が正の値である場合にcoeff_sign_flag＝０、負の値である場合にcoeff_sign_flag＝１とされている。
【００７３】
図５の（Ｅ）は、coeff_abs_level_minus3を示している。coeff_abs_level_minus3は、coeff_abs_level_greater2_flag＝１である変換係数について、絶対値から「３」を減算した値とされている。
【００７４】
図６は、本技術の二値化処理動作を例示している。図６の（Ａ）は、変換係数の値を例示している。図６の（Ｂ）はcoeff_abs_level_greater1_flagを示している。coeff_abs_level_greater1_flagは、変換係数の絶対値が閾値「１」より大きい場合にcoeff_abs_level_greater1_flag＝１、「１」以下である場合にcoeff_abs_level_greater1_flag＝０とされている。
【００７５】
図６の（Ｃ）は、coeff_abs_level_greater2_flagを示している。coeff_abs_level_greater2_flagは、coeff_abs_level_greater1_flag＝１である変換係数について、絶対値が閾値「２」よりも大きい場合にcoeff_abs_level_greater2_flag＝１、「２」以下である場合にcoeff_abs_level_greater1_flag＝０とされている。
【００７６】
図６の（Ｄ）は、coeff_sign_flagを示している。coeff_sign_flagは、変換係数が正の値である場合にcoeff_sign_flag＝０、負の値である場合にcoeff_sign_flag＝１とされている。
【００７７】
図６の（Ｅ）は、coeff_abs_level_minus3を示している。coeff_abs_level_minus3は、coeff_abs_level_greater2_flag＝１である変換係数について、絶対値から３を減算した値とされている。
【００７８】
図７は、ＨＭ４．０と本技術の復号動作を比較した図である。図７の（Ａ）は、図５に示す二値化処理動作で示された符号化ストリームを例示している。また、図７の（Ｂ）は、図７の（Ａ）に示す符号化ストリームの復号結果を示している。図７の（Ａ）に示す順序では、サブブロック１においてcoeff_abs_level_greater1_flagを復号し、次にcoeff_abs_level_greater2_flagを復号する。この時点では変換係数が確定していない。次にcoeff_sign_flagを復号すると、±１と±２の変換係数が確定する。すなわち図５の場合、２個目の変換係数である「２」から１０個目の変換係数である「１」までが確定する。しかし、coeff_abs_level_minus3の復号が終わらないと１個目の変換係数「６」が確定しない。また、１個目の変換係数が確定していないことから、正しい順序で復号後の変換係数を出力するためには、変換係数「６」が確定される前に確定している変換係数「２，−１，１・・・１」を例えばバッファに記憶する。また、記憶している変換係数を変換係数「６」の後に正しい順序で出力する必要がある。
【００７９】
このように、確定している変換係数をバッファ等に一時記憶することから、バッファ等の容量が少ないと、サブブロック１の伝送が終わり、バッファ等で空きが生じるまでサブブロック２の復号を進めることができない。したがって、復号処理の効率が落ちることになる。なお、図７の（Ｂ）では、coeff_abs_level_greater1_flagの復号とcoeff_sign_flagの復号との間に待ち時間を設けて、サブブロック１の伝送の終了時にcoeff_sign_flagの復号が完了して、確定した変換係数をバッファに記憶する場合を例示している。
【００８０】
図７の（Ｃ）は、図６に示す二値化処理動作で示された符号化ストリームを例示している。また、図７の（Ｄ）は、図７の（Ｃ）に示す符号化ストリームの復号結果を示している。図７の（Ｃ）に示す順序では、サブブロック１においてcoeff_abs_level_greater1_flagを復号し、次にcoeff_abs_level_greater2_flagを復号する。この時点では変換係数が確定していない。その後、coeff_abs_level_minus3を復号すると、各変換係数の絶対値が確定する。次にcoeff_sign_flagを復号すると、各変換係数が出力順に確定することになり、他の変換係数の確定を待つことなく変換係数を図７の（Ｄ）に示すように正しい順序で順次出力することができる。
【００８１】
このように、符号化ストリームを図７の（Ｃ）に示す順序とすれば、図７の（Ｂ）に示すように、バッファが空くまで次のサブブロックの復号を待つ必要がない。また、エンコード・デシジョン処理が行われているシンタックス要素と、エンコード・バイパス処理が行われるシンタックス要素が分離されており、coeff_sign_flagは連結しているので、効率よく高速に処理を行うことができる。
【００８２】
さらに、coeff_sign_flagを高速処理するために１サイクルで複数個を復号する処理系では、変換係数の出力インタフェースを並列化すれば、変換係数が確定した場合に直ちに出力することができ、サブブロックを連続して復号することが可能となる。
【００８３】
＜４−２．ＣＡＢＡＣ符号化処理動作＞
次に、図４の（Ｄ）および図７の（Ｃ）に示すように、coeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_abs_level_minus3、coeff_sign_flagの順である符号化データを生成するＣＡＢＡＣ符号化部１６０の動作について説明する。
【００８４】
図８は、ＣＡＢＡＣ符号化部１６０における符号化処理動作を示すフローチャートである。ステップＳＴ３１でＣＡＢＡＣ符号化部１６０は、係数個数分のcoeff_abs_level_greater1_flagを符号化する。ＣＡＢＡＣ符号化部１６０は、サブブロック内の各変換係数の絶対値と閾値「１」を比較して、比較結果を示すcoeff_abs_level_greater1_flagの算術符号化を行ってステップＳＴ３２に進む。
【００８５】
ステップＳＴ３２でＣＡＢＡＣ符号化部１６０は、coeff_abs_level_greater1_flag＝１である個数分のcoeff_abs_level_greater2_flagを符号化する。ＣＡＢＡＣ符号化部１６０は、coeff_abs_level_greater1_flag＝１である変換係数の絶対値と閾値「２」を比較して、比較結果を示すcoeff_abs_level_greater2_flagの算術符号化を行ってステップＳＴ３３に進む。
【００８６】
ステップＳＴ３３でＣＡＢＡＣ符号化部１６０は、coeff_abs_level_greater2_flag＝１である変換係数であるか判別する。ＣＡＢＡＣ符号化部１６０は、変換係数がcoeff_abs_level_greater2_flag＝１である場合にステップＳＴ３４に進み、coeff_abs_level_greater2_flag＝１でない場合にステップＳＴ３５に進む。
【００８７】
ステップＳＴ３４でＣＡＢＡＣ符号化部１６０は、coeff_abs_level_minus3を符号化する。ＣＡＢＡＣ符号化部１６０は、coeff_abs_level_greater2_flag＝１である場合、変換係数の絶対値は「２」よりも大きい。したがって、ＣＡＢＡＣ符号化部１６０は、変換係数の絶対値から「３」を減算した値であるcoeff_abs_level_minus3を符号化する。ＣＡＢＡＣ符号化部１６０は、coeff_abs_level_minus3のエンコード・バイパス処理を行ってステップＳＴ３５に進む。
【００８８】
ステップＳＴ３５でＣＡＢＡＣ符号化部１６０は、サブブロック分の符号化が終了したか判別する。ＣＡＢＡＣ符号化部１６０は、サブブロック内の変換係数の符号化が終了していない場合にステップＳＴ３３に戻り、サブブロック内の変換係数の符号化が終了した場合にステップＳＴ３６に進む。
【００８９】
ステップＳＴ３６でＣＡＢＡＣ符号化部１６０は、係数個数分のcoeff_sign_flagを符号化する。ＣＡＢＡＣ符号化部１６０は、変換係数が正の値である場合にcoeff_sign_flag＝０、負の値である場合にcoeff_sign_flag＝１として、係数個数分のcoeff_sign_flagのエンコード・バイパス処理を行う。
【００９０】
さらに、ＣＡＢＡＣ符号化部１６０は、ステップＳＴ３１からステップＳＴ３６の処理をサブブロック単位で繰り返し行うことで、図４の（Ｄ）に示すデータ順の符号化データを生成する。
【００９１】
図９は、ＣＡＢＡＣのシンタックスを例示している。なお、各行の左端の数字は説明のために付した行番号である。符号化データは、第１８行から第３７行に示すように、シンタックス要素がcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_abs_level_minus3、coeff_sign_flagの順とされている。
【００９２】
このように、ＣＡＢＡＣ符号化部１６０は、シンタックス要素をcoeff_abs_level_greater1_flag、coeff_abs_level_greater2_flag、coeff_abs_level_minus3、coeff_sign_flagの順とした符号化データを生成する。すなわち、ＣＡＢＡＣ符号化部１６０は、復号時における処理の効率化および高速化が可能となるように符号化データを生成できる。
【００９３】
＜５．画像復号装置の構成＞
次に、画像符号化装置から出力される符号化ストリームの復号処理を行う画像復号装置について説明する。入力画像を符号化して生成された符号化ストリームは、所定の伝送路や記録媒体等を介して画像復号装置に供給されて復号される。
【００９４】
図１０は、符号化ストリームの復号を行う画像復号装置の構成を例示している。画像復号装置５０は、蓄積バッファ５１、可逆復号部５２、逆量子化部５３、逆直交変換部５４、演算部５５、デブロッキングフィルタ５６、画面並べ替えバッファ５７、ディジタル／アナログ変換部（Ｄ／Ａ変換部）５８を備えている。また、画像復号装置５０は、フレームメモリ６１、イントラ予測部７１、動き補償部７２、セレクタ７３を備えている。
【００９５】
蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。可逆復号部５２は、蓄積バッファ５１より供給された符号化ストリームを、図３に示すＣＡＢＡＣ符号化部１６０の符号化方式に対応する方式で復号する。
【００９６】
可逆復号部５２は、符号化ストリームの可逆復号を行い、種々の情報を取得する。例えば、可逆復号部５２は、符号化ストリームを復号して得られた変換係数の量子化データを逆量子化部５３に出力する。また、可逆復号部５２は、符号化ストリームを復号して得られた予測モード情報をイントラ予測部７１に出力する。さらに、可逆復号部５２は、符号化ストリームを復号して得られた予測モード情報や動きベクトル情報を動き補償部７２に出力する。
【００９７】
逆量子化部５３は、図１に示す量子化部１５の量子化方式に対応する方式で、可逆復号部５２から供給された量子化データの逆量子化を行う。逆直交変換部５４は、図１に示す直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して演算部５５に出力する。
【００９８】
演算部５５は、逆直交変換後のデータとセレクタ７３から供給される予測画像データを加算してデコード画像の画像データを生成してデブロッキングフィルタ５６とイントラ予測部７１に出力する。
【００９９】
デブロッキングフィルタ５６は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ５６は、演算部５５から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データを画面並べ替えバッファ５７とフレームメモリ６１に出力する。
【０１００】
画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図１に示す画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。
【０１０１】
Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することでデコード画像を表示させる。
【０１０２】
イントラ予測部７１は、可逆復号部５２から供給された予測モード情報と演算部５５から供給された復号画像データに基づいて予測画像データの生成を行い、生成した予測画像データをセレクタ７３に出力する。
【０１０３】
動き補償部７２は、可逆復号部５２から供給された予測モード情報と動きベクトル情報に基づきフレームメモリ６１から読み出した画像データを用いて動き補償を行い、予測画像データを生成する。動き補償部７２は、生成した予測画像データをセレクタ７３に出力する。
【０１０４】
セレクタ７３は、可逆復号部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを演算部５５に出力する。
【０１０５】
＜６．画像復号装置の動作＞
次に、図１１のフローチャートを参照して、画像復号装置５０の動作について説明する。ステップＳＴ５１で蓄積バッファ５１は、供給された符号化ストリームを蓄積する。ステップＳＴ５２で可逆復号部５２は、可逆復号処理を行う。可逆復号部５２は、蓄積バッファ５１から供給される符号化ストリームを、図１に示す可逆符号化部１６に対応する方式で復号する。可逆復号部５２は、符号化ストリームを復号することで得られた変換係数の量子化データを逆量子化部５３に出力する。また、可逆復号部５２は、符号化ストリームを復号して得られた予測モード情報をイントラ予測部７１に出力する。さらに、可逆復号部５２は、符号化ストリームを復号して得られた予測モード情報や動きベクトル情報を動き補償部７２に出力する。
【０１０６】
ステップＳＴ５３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号部５２により復号された量子化データを、図１に示す量子化部１５の特性に対応する特性で逆量子化する。
【０１０７】
ステップＳＴ５４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図１に示す直交変換部１４の特性に対応する特性で逆直交変換する。
【０１０８】
ステップＳＴ５５において演算部５５は、復号画像データの生成を行う。演算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ５９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
【０１０９】
ステップＳＴ５６においてデブロッキングフィルタ５６は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ５６は、演算部５５より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【０１１０】
ステップＳＴ５７においてフレームメモリ６１は、データを記憶する。フレームメモリ６１は、デブロッキングフィルタでフィルタリングが行われた復号画像データを記憶する。
【０１１１】
ステップＳＴ５８においてイントラ予測部７１と動き補償部７２は、予測画像データの生成を行う。イントラ予測部７１と動き補償部７２は、可逆復号部５２から供給される予測モード情報に対応してそれぞれ予測画像データの生成を行う。
【０１１２】
すなわち、可逆復号部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部７１は、予測モード情報に基づいて予測画像データを生成する。また、可逆復号部５２からインター予測の予測モード情報が供給された場合、動き補償部７２は、予測モード情報と動きベクトル情報に基づき動き補償を行い、予測画像データを生成する。
【０１１３】
ステップＳＴ５９において、セレクタ７３は予測画像データの選択を行う。セレクタ７３は、イントラ予測部７１から供給された予測画像データと動き補償部７２から供給された予測画像データの選択を行い、選択した予測画像データを演算部５５に供給して、ステップＳＴ５５において逆直交変換部５４の出力と加算させる。
【０１１４】
ステップＳＴ６０において画面並べ替えバッファ５７は、画像並べ替えを行う。すなわち画面並べ替えバッファ５７は、図１に示す画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０１１５】
ステップＳＴ６１において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０１１６】
＜７．ＣＡＢＡＣ復号部の構成＞
図１２は、可逆復号部５２においてＣＡＢＡＣ復号処理を行うＣＡＢＡＣ復号部の構成を例示している。ＣＡＢＡＣ復号部５２０は、蓄積バッファ５１から符号化データを受け取り、二値化データに復号した後に多値化データに変換する。ＣＡＢＡＣ復号部５２０は、コンテキスト算出部５２１と算術復号処理部５２２および多値化部５２３を備えている。
【０１１７】
コンテキスト算出部５２１は、復号するシンタックスに基づきコンテキストインデックスを生成する。また、コンテキスト算出部５２１は、コンテキストインデックスに対応したコンテキストを選択して算術復号処理部５２２に出力する。また、コンテキスト算出部５２１は、算術復号処理部５２２で得られた算術復号結果に基づき発生確率の更新を行う。
【０１１８】
算術復号処理部５２２は、蓄積バッファ５１から入力された符号化データとコンテキストに基づき、算術符号化処理部１６３に対して逆の処理を行い二値化データを生成する。また、算術復号処理部５２２は、コンテキストを参照する復号モードであるデコード・デシジョン（DecodeDecision）処理と、コンテキストを参照しない復号モードであるデコード・バイパス（DecodeBypass）処理が設けられている。なお、復号モードとしては、デコード・ターミネイト（DecodeTerminate）処理が設けられているが、説明は省略する。算術復号処理部５２２は、シンタックスに応じて復号モードを選択して符号化データの復号を行う。例えば、算術復号処理部５２２は、１つ係数の符号化データを復号する際、エンコード・デシジョン処理が行われたシンタックス要素については、コンテキスト算出部５２１から供給されたコンテキストに基づいて復号処理を行う。また、エンコード・バイパス処理が行われたシンタックス要素については、デコード・バイパス処理を行う。算術復号処理部５２２は、算術復号結果である二値化データを多値化部５２３に出力する。また、算術復号処理部５２２は、算術復号結果をコンテキスト算出部５２１に出力する。
【０１１９】
多値化部５２３は、ＣＡＢＡＣ符号化部１６０の二値化部１６１に対応した処理を行い、算術復号処理部５２２から供給された二値化データを二値化が行われる前の量子化データに戻して逆量子化部５３に出力する。また、可逆復号処理を行うことにより得られた予測モード情報等をイントラ予測部７１や動き補償部７２に出力する。
【０１２０】
＜８．ＣＡＢＡＣ復号部の動作＞
図１３は可逆復号部におけるＣＡＢＡＣ復号部の動作を示すフローチャートである。ステップＳＴ７１でＣＡＢＡＣ復号部５２０は、係数個数分のcoeff_abs_level_greater1_flagを復号する。ＣＡＢＡＣ復号部５２０は、デコード・デシジョン処理を行い、係数個数分のcoeff_abs_level_greater1_flagを生成してステップＳＴ７２に進む。
【０１２１】
ステップＳＴ７２でＣＡＢＡＣ復号部５２０は、coeff_abs_level_greater1_flag＝１である個数分のcoeff_abs_level_greater2_flagを復号する。ＣＡＢＡＣ復号部５２０は、デコード・デシジョン処理を行い、coeff_abs_level_greater1_flag＝１である個数分のcoeff_abs_level_greater1_flagを生成してステップＳＴ７３に進む。
【０１２２】
ステップＳＴ７３でＣＡＢＡＣ復号部５２０は、coeff_abs_level_greater2_flag＝１の変換係数の復号であるか判別する。ＣＡＢＡＣ復号部５２０は、coeff_abs_level_greater2_flag＝１である場合にステップＳＴ７４に進み、coeff_abs_level_greater2_flag＝１でない場合にステップＳＴ７６に進む。
【０１２３】
ステップＳＴ７４でＣＡＢＡＣ復号部５２０は、１ビット復号を行う。ＣＡＢＡＣ復号部５２０は、１ビットのデコード・バイパス処理を行ってステップＳＴ７５に進む。
【０１２４】
ステップＳＴ７５でＣＡＢＡＣ復号部５２０は、coeff_abs_level_minus3の復号が終了したか判別する。ＣＡＢＡＣ復号部５２０は、coeff_abs_level_minus3の復号結果が得られていない場合にステップＳＴ７４に戻り、coeff_abs_level_minus3の復号結果が得られた場合にステップＳＴ７６に進む。
【０１２５】
ステップＳＴ７６でＣＡＢＡＣ復号部５２０は、サブブロック分の復号が終了したか判別する。ＣＡＢＡＣ復号部５２０は、サブブロック分の復号処理結果が得られていない場合にステップＳＴ７３に戻り、サブブロック分の復号処理結果が得られた場合にステップＳＴ７７に進む。
【０１２６】
ステップＳＴ７７でＣＡＢＡＣ復号部５２０は、係数個数分のcoeff_sign_flagを復号する。ＣＡＢＡＣ復号部５２０は、デコード・バイパス処理を行って係数個数分のcoeff_sign_flagを復号する。
【０１２７】
さらに、ＣＡＢＡＣ復号部５２０は、ステップＳＴ７１からステップＳＴ７７の処理をサブブロック単位で繰り返し行うことで、図４の（Ｄ）に示すデータ順の符号化データを正しく復号する。
【０１２８】
また、ＣＡＢＡＣ復号部５２０は、coeff_sign_flagを復号する毎に正しい順序で変換係数が順次確定されるので、既に確定されている変換係数を正しい順序で出力するためバッファに格納する必要がないことから復号処理を効率よく行うことができる。また、coeff_sign_flagをまとめて処理することで高速に復号処理を行うことができる。
【０１２９】
＜９．ソフトウェア処理の場合＞
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
【０１３０】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。または、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１３１】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３２】
プログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３３】
＜１０．電子機器に適用した場合＞
また、上述した画像符号化装置１０や画像復号装置５０は、任意の電子機器に適用することができる。以下にその例について説明する。
【０１３４】
図１４は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９０は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９０は、制御部９１０、ユーザインタフェース部９１１等を有している。
【０１３５】
チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られた符号化ビットストリームをデマルチプレクサ９０３に出力する。
【０１３６】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に供給する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
【０１３７】
デコーダ９０４は、パケットの復号処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
【０１３８】
映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
【０１３９】
表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
【０１４０】
音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行い、スピーカ９０８に供給することで音声出力を行う。
【０１４１】
外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
【０１４２】
制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
【０１４３】
制御部９１０は、ＣＰＵ(Central Processing Unit)やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９０の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９０がユーザ操作に応じた動作となるように各部を制御する。
【０１４４】
なお、テレビジョン装置９０では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
【０１４５】
このように構成されたテレビジョン装置では、デコーダ９０４に本技術の画像処理装置（画像処理方法）の機能が設けられる。このため、放送局側で本技術の画像処理装置の機能を用いることにより、テレビジョン装置で符号化ストリームの復号を効率よく行うことができる。
【０１４６】
図１５は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
【０１４７】
携帯電話機９２は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
【０１４８】
音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行いスピーカ９２４に出力する。
【０１４９】
また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
【０１５０】
なお、携帯電話機９２は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
【０１５１】
データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、符号化データを生成する。
【０１５２】
多重分離部９２８は、画像処理部９２７で生成された符号化データと、音声コーデック９２３から供給された音声データを所定の方式で多重化して通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、符号化データを画像処理部９２７、音声データを音声コーデック９２３に供給する。画像処理部９２７は、符号化データの復号処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
【０１５３】
このように構成された携帯電話装置では、画像処理部９２７に本技術の画像処理装置（画像処理方法）の機能が設けられる。したがって、画像データの通信を行う際に、復号を効率よく行うことができるように通信データを生成できる。また、通信データの復号処理を効率よく行うことができる。
【０１５４】
図１６は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
【０１５５】
記録再生装置９４は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
【０１５６】
チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた符号化ビットストリームをセレクタ９４６に出力する。
【０１５７】
外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくとも何れかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
【０１５８】
エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていないとき所定の方式で符号化を行い、符号化ビットストリームをセレクタ９４６に出力する。
【０１５９】
ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
【０１６０】
ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ−ｒａｙ（登録商標）ディスク等である。
【０１６１】
セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からの何れかの符号化ビットストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５の何れかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力された符号化ビットストリームをデコーダ９４７に供給する。
【０１６２】
デコーダ９４７は、符号化ビットストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
【０１６３】
制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
【０１６４】
制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４がユーザ操作に応じた動作となるように各部を制御する。
【０１６５】
このように構成された記録再生装置では、エンコーダ９４３とデコーダ９４７に本技術の画像処理装置（画像処理方法）の機能が設けられて、映像の記録再生を高速に行うことができる。
【０１６６】
図１７は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
【０１６７】
撮像装置９６は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
【０１６８】
光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
【０１６９】
カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
【０１７０】
画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された符号化データを外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された符号化データの復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
【０１７１】
外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から符号化データを読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
【０１７２】
メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
【０１７３】
また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
【０１７４】
制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６の起動時などの所定のタイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６がユーザ操作に応じた動作となるように各部を制御する。
【０１７５】
このように構成された撮像装置では、画像データ処理部９６４に本技術の画像処理装置（画像処理方法）の機能が設けられる。したがって、撮像画像をメモリ部９６７や記録メディア等に記録する場合や記録されている撮像画像を再生する際に、効率よく記録再生を行うことができる。
【０１７６】
また、本技術は上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１７７】
なお、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データに対して、算術復号処理を行う算術復号処理部と、
前記算術復号処理部で算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の前記変換係数を生成する多値化部と
を備える画像処理装置。
（２） 前記算術復号処理部は、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで前記第１の情報の復号処理を行い、前記コンテキストを参照しないモードで前記第２の情報および第３の情報の復号処理を行う（１）に記載の画像処理装置。
（３） 前記符号化データは、前記所定数を「ｍ＝２」として生成されたデータである（１）また（２）に記載の画像処理装置。
（４） 前記符号化データは、サブブロック単位で前記変換係数を符号化したデータである（１）乃至（３）の何れかに記載の画像処理装置。
（５） 量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化する二値化部と、
前記二値化部で得られた二値化データの算術符号化処理を行い、符号化データを生成する算術符号化処理部と
を備える画像処理装置。
（６） 前記算術符号化処理部は、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで前記第１の情報の符号化処理を行い、前記コンテキストを参照しないモードで前記第２の情報および第３の情報の符号化処理を行う（５）に記載の画像処理装置。
（７） 前記二値化部は、前記所定数を「ｍ＝２」として前記二値化データを生成する（５）または（６）に記載の画像処理装置。
（８） 前記二値化部と前記算術符号化処理部は、サブブロック単位で前記変換係数の二値化と符号化処理を行う（５）乃至（７）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【０１７８】
本技術の画像処理装置と画像処理方法では、量子化後の変換係数の絶対値と閾値「ｍ」を比較して絶対値が閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、絶対値における所定値に対する超過分に応じた第２の情報と、変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データの生成や復号が行われる。このようなシンタックス要素の順とすることで、復号時に変換係数を順に確定できる。また、情報の符号化処理や復号処理をまとめて行うことが可能となる。したがって、ＣＡＢＡＣの符号化処理や復号処理を効率よく行うことができる。また、本技術は、ブロック単位で符号化を行うことにより得られた符号化ストリームを、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して送受信する電子機器や、光ディスク、磁気ディスク、フラッシュメモリのような記憶メディアを用いて画像の記録再生を行う電子機器に適している。
【符号の説明】
【０１７９】
１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３，２３，５５・・・演算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７・・・蓄積バッファ、１８・・・レート制御部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２４，５６・・・デブロッキングフィルタ、２５，６１・・・フレームメモリ、３１・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、５０・・・画像復号装置、５１・・・蓄積バッファ、５２・・・可逆復号部、５３・・・逆量子化部、５８・・・Ｄ／Ａ変換部、７１・・・イントラ予測部、７２・・・動き補償部、７３，９４６・・・セレクタ、９０・・・テレビジョン装置、９２・・・携帯電話機、９４・・・記録再生装置、９６・・・撮像装置、１６０・・・ＣＡＢＡＣ符号化部、１６１・・・二値化部、１６２，５２１・・・コンテキスト算出部、１６３・・・算術符号化処理部、５２０・・・ＣＡＢＡＣ復号部、５２２・・・算術復号処理部、５２３・・・多値化部、９０１，９２１・・・アンテナ、９０２・・・チューナ、９０３・・・デマルチプレクサ、９０４，９４７・・・デコーダ、９０５・・・映像信号処理部、９０６，９３０，９６５・・・表示部、９０７・・・音声信号処理部、９０８，９２４・・・スピーカ、９０９，９４２，９６６・・・外部インタフェース部、９１０，９３１，９４９，９７０・・・制御部、９１１，９５０，９７１・・・ユーザインタフェース部、９１２，９３３，９７２・・・バス、９２２・・・通信部、９２３・・・音声コーデック、９２５・・・マイクロホン、９２６・・・カメラ部、９２７・・・画像処理部、９２８・・・多重分離部、９２９・・・記録再生部、９３２・・・操作部、９４１・・・チューナ、９４３・・・エンコーダ、９４４・・・ＨＤＤ部、９４５・・・ディスクドライブ、９４８，９６９・・・ＯＳＤ部、９６１・・・光学ブロック、９６２・・・撮像部、９６３・・・カメラ信号処理部、９６４・・・画像データ処理部、９６７・・・メモリ部、９６８・・・メディアドライブ
【特許請求の範囲】
【請求項１】
量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データに対して、算術復号処理を行う算術復号処理部と、
前記算術復号処理部で算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の前記変換係数を生成する多値化部と
を備える画像処理装置。
【請求項２】
前記算術復号処理部は、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで前記第１の情報の復号処理を行い、前記コンテキストを参照しないモードで前記第２の情報および第３の情報の復号処理を行う
請求項１記載の画像処理装置。
【請求項３】
前記符号化データは、前記所定数を「ｍ＝２」として生成されたデータである
請求項１記載の画像処理装置。
【請求項４】
前記符号化データは、サブブロック単位で前記変換係数を符号化したデータである
請求項１記載の画像処理装置。
【請求項５】
量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データについて、算術復号処理を行う工程と、
前記算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の前記変換係数を生成する工程と
を含む画像処理方法。
【請求項６】
量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化する二値化部と、
前記二値化部で得られた二値化データの算術符号化処理を行い符号化データを生成する算術符号化処理部と
を備える画像処理装置。
【請求項７】
前記算術符号化処理部は、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで前記第１の情報の符号化処理を行い、前記コンテキストを参照しないモードで前記第２の情報および第３の情報の符号化処理を行う
請求項６記載の画像処理装置。
【請求項８】
前記二値化部は、前記所定数を「ｍ＝２」として前記二値化データを生成する
請求項６記載の画像処理装置。
【請求項９】
前記二値化部と前記算術符号化処理部は、サブブロック単位で前記変換係数の二値化と符号化処理を行う
請求項６記載の画像処理装置。
【請求項１０】
量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化する工程と、
前記二値化により得られた二値化データの算術符号化処理を行い符号化データを生成する工程と
を含む画像処理方法。
【請求項１】
量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データに対して、算術復号処理を行う算術復号処理部と、
前記算術復号処理部で算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の前記変換係数を生成する多値化部と
を備える画像処理装置。
【請求項２】
前記算術復号処理部は、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで前記第１の情報の復号処理を行い、前記コンテキストを参照しないモードで前記第２の情報および第３の情報の復号処理を行う
請求項１記載の画像処理装置。
【請求項３】
前記符号化データは、前記所定数を「ｍ＝２」として生成されたデータである
請求項１記載の画像処理装置。
【請求項４】
前記符号化データは、サブブロック単位で前記変換係数を符号化したデータである
請求項１記載の画像処理装置。
【請求項５】
量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に符号化した符号化データについて、算術復号処理を行う工程と、
前記算術復号処理を行うことにより得られた二値化データの多値化を行い、符号化前の前記変換係数を生成する工程と
を含む画像処理方法。
【請求項６】
量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化する二値化部と、
前記二値化部で得られた二値化データの算術符号化処理を行い符号化データを生成する算術符号化処理部と
を備える画像処理装置。
【請求項７】
前記算術符号化処理部は、確率状態および優勢確率シンボルを表すコンテキストを参照するモードで前記第１の情報の符号化処理を行い、前記コンテキストを参照しないモードで前記第２の情報および第３の情報の符号化処理を行う
請求項６記載の画像処理装置。
【請求項８】
前記二値化部は、前記所定数を「ｍ＝２」として前記二値化データを生成する
請求項６記載の画像処理装置。
【請求項９】
前記二値化部と前記算術符号化処理部は、サブブロック単位で前記変換係数の二値化と符号化処理を行う
請求項６記載の画像処理装置。
【請求項１０】
量子化後の変換係数の絶対値と閾値「ｍ」を比較して前記絶対値が前記閾値「ｍ」より大きい場合に閾値を「ｍ＝ｍ＋１」として比較を行い、閾値が「ｍ＝１」から所定値となるまでの比較結果を示す第１の情報と、前記絶対値の前記所定値に対する超過分に応じた第２の情報と、前記変換係数の符号を示す第３の情報をそれぞれシンタックス要素として、第１の情報，第２の情報，第３の情報の順に二値化する工程と、
前記二値化により得られた二値化データの算術符号化処理を行い符号化データを生成する工程と
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１３−７４５２８（Ｐ２０１３−７４５２８Ａ）
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願番号】特願２０１１−２１３０６５（Ｐ２０１１−２１３０６５）
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年４月２２日（２０１３．４．２２）
【国際特許分類】
【出願日】平成２３年９月２８日（２０１１．９．２８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]