画像処理装置および方法
【課題】符号化効率を向上させることができるようにする。
【解決手段】ビット深度分割部１０１は、１系統の入力画像を、ビット深度方向に複数の画像に分割する。エンコード部１０２は、ビット深度分割部１０１により分割されてビット深度が小さくなった各画像を、所定の符号化方式で符号化し、それぞれコードストリームを生成する。コードストリーム多重化部１０３は、エンコード部１０２により生成された各コードストリームを多重化し、１系統のコードストリームを生成する。本発明は、例えば、画像処理装置に適用することができる。
【解決手段】ビット深度分割部１０１は、１系統の入力画像を、ビット深度方向に複数の画像に分割する。エンコード部１０２は、ビット深度分割部１０１により分割されてビット深度が小さくなった各画像を、所定の符号化方式で符号化し、それぞれコードストリームを生成する。コードストリーム多重化部１０３は、エンコード部１０２により生成された各コードストリームを多重化し、１系統のコードストリームを生成する。本発明は、例えば、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法に関し、特に、画像の符号化における符号化効率を向上させることができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
画像の高画質化へのニーズの高まりを受けて、標準画像からHDTV（High Definition Television）画像、更にデジタルシネマの４ｋ×２ｋ画像といった、より高解像度化の動きがある。それとともに画像の高ビット深度化も進んでいる。例えば、画像の撮像素子では１２ビット以上のビット深度の画像を取得できるものがある。さらに、液晶ディスプレイでも１０ビット以上の階調を表現できるものがある。
【０００３】
これに対して、画像の符号化方式においては、例えば、動画向けのMPEG（Moving Picture Experts Group）-2や静止画向けのJPEG（Joint Photographic Experts Group）等の画像符号化方式では、ビット深度が８ビットまでの画像にしか対応していない。しかしながら、例えばAVC（Advanced Video Coding）のHigh ProfileやJPEG2000では８ビット以上のビット深度に対応している。
【０００４】
また、例えば、ビット深度変換処理と逆ビット深度変換処理を伴う２段階の構成によって符号化を行うことにより、高ビット深度の画像をより効率よく符号化する方法が考えられた（例えば、特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】伊藤健，坂東幸浩，高村誠之，上倉一人，八島由幸”ビット深度変換処理を用いた高ビット深度画像の符号化に関する基礎検討”，電子情報通信学会総合大会，ｓ−５，2009
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この場合、ビット変換処理後の画像と差分画像の両方に対して符号化が２つ必要になるので、計算処理が複雑になり、符号化の負荷が増大する恐れがあった。また、復号画像の画質が、上述した変換・逆変換処理の精度に依存する恐れがあった。
【０００７】
本発明は、このような状況に鑑みて提案されたものであり、画像の符号化における符号化効率を向上させることができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面は、画像をビット深度方向に複数に分割する分割手段と、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、それぞれ符号化する符号化手段とを備える画像処理装置である。
【０００９】
前記分割手段による前記画像の分割数、および、前記分割手段により分割が行われるビット位置を示す分割位置を少なくとも示す分割情報を生成する分割情報生成手段をさらに備えることができる。
【００１０】
前記符号化手段は、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、画像毎に設定される符号化方式により符号化することができる。
【００１１】
前記符号化手段は、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、前記画像毎に設定されるレベル数でウェーブレット変換し、得られた係数データを符号化することができる。
【００１２】
前記符号化手段による、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうちの一部または全部の画像のそれぞれに対する符号化に対して、目標ビットレートを割り当てるビットレート割り当て手段をさらに備え、前記符号化手段は、前記ビットレート割り当て手段により割り当てられた前記目標ビットレートを用いて、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像の符号化のレート制御を行うことができる。
【００１３】
前記画像のビット深度において、最上位ビットから連続する値がゼロのビットと、非ゼロのビットとの境界である非ゼロ係数境界を検出する非ゼロ係数境界検出手段をさらに備え、前記符号化手段は、前記非ゼロ係数境界検出手段により検出された前記ゼロ係数境界より上位のビットで構成される画像の符号化を省略することができる。
【００１４】
前記符号化手段により符号化される前後のデータサイズに応じて、符号化するか否かを、前記分割手段により前記ビット深度方向に分割されて得られる画像毎に選択する選択手段をさらに備えることができる。
【００１５】
前記符号化手段による符号化の符号化方式を、前記分割手段により前記ビット深度方向に分割されて得られる画像毎に選択する選択手段をさらに備えることができる。
【００１６】
前記符号化手段により、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像が符号化されて得られる各コードストリームを多重化する多重化手段をさらに備えることができる。
【００１７】
本発明の一側面は、また、画像処理装置の画像処理方法であって、画像処理装置の画像処理方法であって、分割手段が、画像をビット深度方向に複数に分割し、符号化手段が、前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、それぞれ符号化する画像処理方法である。
【００１８】
本発明の他の側面は、互いに同一の画像からビット深度方向に分割されて生成された複数の画像がそれぞれ符号化され、得られた前記画像毎のコードストリームが多重化された、１系統のコードストリームを、前記画像毎のコードストリーム毎に分離する分離手段と、前記分離手段により１系統のコードストリームが分離されて得られた前記画像毎のコードストリームを、それぞれ復号する復号手段とを備える画像処理装置である。
【００１９】
前記１系統のコードストリームの構造を解析する構造解析手段をさらに備え、
前記分離手段は、前記構造解析手段による前記構造の解析結果に基づいて、前記１系統のコードストリームを分離することができる。
【００２０】
前記構造解析手段は、前記１系統のコードストリームに含まれる、前記ビット深度方向に画像を分割した時の画像の分割数および分割が行われるビット位置を示す分割位置を少なくとも示す分割情報を抽出し、前記分離手段は、前記構造解析手段により前記１系統のコードストリームから抽出された前記分割情報に基づいて、前記１系統のコードストリームを分離することができる。
【００２１】
前記画像毎のコードストリームは、各画像毎に設定された符号化方式で符号化されており、前記復号手段は、各符号化方式に対応する復号方式で、前記画像毎のコードストリームを復号することができる。
【００２２】
前記画像毎のコードストリームは、各画像毎に設定されたレベル数でウェーブレット変換され、得られた係数データが符号化されており、前記復号手段は、前記画像毎のコードストリームを復号し、得られた係数データを、各画像毎に設定された前記レベル数で逆ウェーブレット変換することができる。
【００２３】
前記画像毎のコードストリームの符号化時に削除された、前記画像のビット深度において最上位ビットから連続する値がゼロのビットを生成するゼロ係数生成手段をさらに備えることができる。
【００２４】
前記分離手段は、互いに同一の画像からビット深度方向に分割されて生成された複数の画像から生成された前記画像毎のデータが多重化された、１系統のデータを、前記画像毎のデータ毎に分離し、前記分離手段により分離された前記画像毎のデータが符号化されているか否かを判定する判定手段をさらに備え、前記復号手段は、前記判定手段により符号化されていると判定された前記画像毎のデータを復号することができる。
【００２５】
前記画像毎のコードストリームのそれぞれの符号化方式を示す符号化方式情報に基づいて、前記画像毎のコードストリームのそれぞれの復号方式を判定する判定手段をさらに備え、前記復号手段は、前記画像毎のコードストリームを、それぞれ、前記判定手段により判定された復号方式で復号することができる。
【００２６】
前記復号手段により復号されて得られた各画像を、前記ビット深度方向に合成するビット深度合成手段をさらに備えることができる。
【００２７】
本発明の他の側面は、また、画像処理装置の画像処理方法であって、分離手段が、互いに同一の画像からビット深度方向に分割されて生成された複数の画像がそれぞれ符号化され、得られた前記画像毎のコードストリームが多重化された、１系統のコードストリームを、前記画像毎のコードストリーム毎に分離し、復号手段が、１系統のコードストリームが分離されて得られた前記画像毎のコードストリームを、それぞれ復号する画像処理方法である。
【００２８】
本発明の一側面においては、画像がビット深度方向に複数に分割され、画像がビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像が、それぞれ符号化される。
【００２９】
本発明の他の側面においては、互いに同一の画像からビット深度方向に分割されて生成された複数の画像がそれぞれ符号化され、得られた画像毎のコードストリームが多重化された、１系統のコードストリームが、画像毎のコードストリーム毎に分離され、１系統のコードストリームが分離されて得られた画像毎のコードストリームが、それぞれ復号される。
【発明の効果】
【００３０】
本発明によれば、画像を処理することができる。特に、符号化効率を向上させることができる。
【図面の簡単な説明】
【００３１】
【図１】従来の符号化装置を説明するブロック図である。
【図２】本発明を適用した符号化装置の主な構成例を示すブロック図である。
【図３】符号化の概要を説明する図である。
【図４】JPEG2000エンコード部の主な構成例を示すブロック図である。
【図５】サブバンドの構成例を示す図である。
【図６】サブバンドの構成例を示す図である。
【図７】各サブバンド中のコードブロックの例を示す図である。
【図８】ビットプレーンの例を説明する図である。
【図９】符号化パスの例を説明する図である。
【図１０】係数の走査の例を説明する図である。
【図１１】レイヤを説明する図である。
【図１２】レイヤの構成例を説明する図である。
【図１３】ビット深度分割符号化処理の流れの例を説明するフローチャートであるである。
【図１４】符号化処理の流れの例を説明するフローチャートであるである。
【図１５】本発明を適用した復号装置の主な構成例を示すブロック図である。
【図１６】復号の概要を説明する図である。
【図１７】JPEG2000デコード部の主な構成例を示すブロック図である。
【図１８】ビット深度分割復号処理の流れの例を説明するフローチャートである。
【図１９】復号処理の流れの例を説明するフローチャートである。
【図２０】本発明を適用した符号化装置の主な構成例を示すブロック図である。
【図２１】ビット深度分割符号化処理の流れの例を説明するフローチャートである。
【図２２】本発明を適用した復号装置の主な構成例を示すブロック図である。
【図２３】ビット深度分割復号処理の流れの例を説明するフローチャートである。
【図２４】本発明を適用した符号化装置の主な構成例を示すブロック図である。
【図２５】ビット深度分割符号化処理の流れの例を説明するフローチャートである。
【図２６】本発明を適用した符号化装置の主な構成例を示すブロック図である。
【図２７】ビット深度分割符号化処理の流れの例を説明するフローチャートである。
【図２８】本発明を適用した復号装置の主な構成例を示すブロック図である。
【図２９】ビット深度分割復号処理の流れの例を説明するフローチャートである。
【図３０】本発明を適用した符号化装置の主な構成例を示すブロック図である。
【図３１】ビット深度分割符号化処理の流れの例を説明するフローチャートである。
【図３２】選択符号化処理の流れの例を説明するフローチャートである。
【図３３】本発明を適用した復号装置の主な構成例を示すブロック図である。
【図３４】ビット深度分割復号処理の流れの例を説明するフローチャートである。
【図３５】判定復号処理の流れの例を説明するフローチャートである。
【図３６】JPEG2000エンコード部の主な構成例を示すブロック図である。
【図３７】選択符号化処理の流れの例を説明するフローチャートである。
【図３８】JPEG2000デコード部の主な構成例を示すブロック図である。
【図３９】判定復号処理の流れの例を説明するフローチャートである。
【図４０】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（符号化装置）
２．第２の実施の形態（復号装置）
３．第３の実施の形態（符号化装置）
４．第４の実施の形態（復号装置）
５．第５の実施の形態（符号化装置）
６．第６の実施の形態（符号化装置）
７．第７の実施の形態（復号装置）
８．第８の実施の形態（符号化装置）
９．第９の実施の形態（復号装置）
１０．第１０の実施の形態（符号化装置）
１１．第１１の実施の形態（復号装置）
１２．第１２の実施の形態（パーソナルコンピュータ）
【００３３】
＜１．第１の実施の形態＞
［従来の画像符号化］
最初に、従来の画像符号化について説明する。
【００３４】
図１に示される符号化装置１０は、Ｎビットの入力画像を、符号化する装置である。図１に示されるように、符号化装置１０は、ビット深度変換処理部１１、符号化部１２、復号部１３、逆ビット深度変換処理部１４、演算部１５、および符号化部１６を有する。
【００３５】
ビット深度がＮビットの入力画像２１が入力されると、ビット深度変換処理部１１は、その入力画像のビット深度を変換し、ビット深度が（Ｎ−Δ）ビットの画像２２を生成し、それを符号化部１２に供給する。
【００３６】
符号化部１２は、ビット深度変換処理部１１から供給されるビット深度が（Ｎ−Δ）ビットの画像２２に対して所定の符号化を行い、生成された符号化コードストリーム２３を復号部１３に供給する。
【００３７】
復号部１３は、供給された符号化コードストリーム２３を復号し、復号画像２４を逆ビット深度変換処理部１４に供給する。逆ビット深度変換処理部１４は、復号画像２４に対して逆ビット深度変換処理を行ってＮビットの復号画像２５を生成し、それを演算部１５に供給する。
【００３８】
演算部１５は、Ｎビットの入力画像２１とＮビットの復号画像２５との差分画像２６を生成し、それを符号化部１６に供給する。符号化部１６は、差分画像２６を符号化し、符号化コードストリーム２７を生成するとそれを符号化装置１０の外部に出力する。
【００３９】
また、符号化部１２は、（Ｎ−Δ）ビットの符号化コードストリーム２８を符号化装置１０の外部に出力する。
【００４０】
以上の様に、従来の符号化装置１０は、高ビット深度の画像（Ｎビット）を１度、より低ビット深度の画像（（Ｎ−Δ）ビット）に変換してから例えば、（Ｎ−Δ）ビットに対応できるMPEG（Moving Picture Experts Group）-2やJPEG（Joint Photographic Experts Group）などの国際標準化方式の符号化を行う。
【００４１】
このような従来の符号化装置１０の場合、入力画像２１がＮビット画像で、逆ビット深度変換後の復号画像２５もＮビット画像であるので、両者の差分画像のビット深度は（Ｎ＋１）ビットになって元々のビット深度よりも多くなってしまう。従って、符号化部１６が、より高ビット深度に対応する符号化方式で符号化しなければならない。
【００４２】
また、差分画像２６の情報量が十分に小さければ、全体としての圧縮効果は高いものの、差分画像２６の情報量は、ビット深度変換処理部１１や逆ビット深度変換処理部１４の性能に依存する。つまり、従来の符号化装置１０では、復号画像の画質が、ビット深度変換処理部１１や逆ビット深度変換処理部１４の性能に依存する恐れがあった。
【００４３】
［符号化装置の構成］
図２は、本発明を適用した符号化装置の主な構成例を示すブロック図である。
【００４４】
図２に示される符号化装置１００は、入力画像を符号化し、そのコードストリームを出力する装置である。ただし、符号化装置１００は、入力画像のビット深度が９ビット以上の高ビット深度であっても、効率よく符号化を行うことができるように、入力画像をそのビット深度方向に２分割して符号化を行う。
【００４５】
もちろん、符号化装置１００は、任意のビット深度の入力画像を符号化することができるが、特に、よりビット深度の大きな入力画像を、高能率に符号化することができる。以下においては、説明の便宜上、ビット深度９ビット以上を高ビット深度と称し、８ビット以下を低ビット深度と称する。
【００４６】
図２に示されるように、符号化装置１００は、ビット深度分割部１０１、エンコード部１０２−１およびエンコード部１０２−２、並びに、コードストリーム多重化部１０３を有する。
【００４７】
ビット深度分割部１０１は、Ｘビットのビット深度を持つ入力画像１１１を、ビット深度方向に所定のビット数で２つに分割する。つまり、入力画像の各画素値のビット深度がＸビットである場合、ビット深度分割部１０１は、その入力画像１１１の各画素値を、所定のビットで２分割し、その分割位置より上位のビットにより構成される画像と、分割位置より下位のビットにより構成される画像の２つの画像を生成する。
【００４８】
例えば、ビット深度分割部１０１は、図３に示されるようにビット深度がＸビットの画像データImage_Aを、MSB（Most Significant Bit）からYビットの位置で分割し、その分割位置より上位のビットにより構成される（ビット深度がＹビットの）画像データImage_Bと、分割位置より下位のビット（LSB（Less Significant Bit）からX-Yビット）により構成される画像データImage_Cとに分割する。
【００４９】
ビット深度分割部１０１は、生成した２つの画像のうち、上位ビット側の画像データ１１２（図３の例の場合、Image_B）を、エンコード部１０２−１に供給する。また、ビット深度分割部１０１は、下位ビット側の画像データ１１３（図３の例の場合、Image_C）を、エンコード部１０２−２に供給する。
【００５０】
エンコード部１０２−１は、ビット深度Ｙビットの画像データ１１２を、例えばJPEG2000方式で分割し、コードストリーム１１４を生成し、それをコードストリーム多重化部１０３に供給する。
【００５１】
エンコード部１０２−２は、ビット深度（Ｘ−Ｙ）ビットの画像データ１１３を、例えばJPEG2000方式で分割し、コードストリーム１１５を生成し、それをコードストリーム多重化部１０３に供給する。
【００５２】
なお、以下において、エンコード部１０２−１およびエンコード部１０２−２を互いに区別して説明する必要が無い場合、単にエンコード部１０２と称する。
【００５３】
コードストリーム多重化部１０３は、コードストリーム１１４とコードストリーム１１５を多重化し、１本のコードストリーム１１６を生成し、それを符号化装置１００の外部に出力する。
【００５４】
なお、コードストリーム多重化部１０３は、コードストリーム１１４とコードストリーム１１５をどのように多重化したかを示す情報（多重化情報）をコードストリーム１１６に付加する。つまり、この多重化情報は、コードストリーム１１６の伝送先に供給される。
【００５５】
この多重化情報の格納場所は任意である。例えば、ビットストリームにシンタックスとして記述されるようにしてもよいし、補助情報として所定の領域に格納して伝送されるようにしてもよい。また、SEI（Suplemental Enhancement Information）等のパラメータセット（例えばシーケンスやピクチャのヘッダ等）に格納されるようにしてもよい。
【００５６】
さらに、この多重化情報が、符号化データとは別に（別のファイルとして）復号側に供給されるようにしてもよい。その場合、多重化情報と符号化データとの対応関係を明確にする（復号側で把握することができるようにする）必要があるが、その方法は任意である。例えば、別途、対応関係を示すテーブル情報を作成してもよいし、対応先のデータを示すリンク情報を互いのデータに埋め込むなどしてもよい。
【００５７】
以上のように、符号化装置１００は、画像データをビット深度方向に２分割して符号化することにより、高ビット深度の画像データを低ビット深度の画像データとして符号化することができる。
【００５８】
なお、以下においては、エンコード部１０２−１およびエンコード部１０２−２がともにJPEG2000方式で符号化を行う場合について説明するが、エンコード部１０２の符号化方式は任意である。エンコード部１０２−１およびエンコード部１０２−２の符号化方式が互いに異なっていてもよい。また、エンコード部１０２−１およびエンコード部１０２−２のそれぞれが処理する画像データのビット深度が互いに異なっていてもよい。
【００５９】
さらに、エンコード部１０２−１とエンコード部１０２−２とで、エンコード条件（例えば、ウェーブレット変換のレベル数（分割数）、コードブロックサイズ、量子化ステップサイズ等の符号化パラメータ）は、互いに同一であってもよいし、互いに異なっていてもよい。
【００６０】
［エンコード部の構成］
図４は、図１のエンコード部１０２の主な構成例を示すブロック図である。図４に示されるように、エンコード部１０２は、DCレベルシフト部１３１、ウェーブレット変換部１３２、量子化部１３３、コードブロック化部１３４、およびビットプレーン展開部１３５を有する。
【００６１】
DCレベルシフト部１３１は、後段のウェーブレット変換を効率的に行うために、矢印１６１のようにエンコード部１０２に入力された画像データ（図２の入力画像１１１）のDC成分のレベルシフトを行う。例えば、RGB信号が正の値（符号無しの整数）を持っている。そこで、DCレベルシフト部１３１は、そのことを利用し、原信号のダイナミックレンジを半分にするレベルシフトを行うことで、圧縮効率の向上を図る。従って、YCbCr信号の色差データCbや色差データCrの様に符号（正負両方あり）の整数値を持つ信号を原信号とする場合には、このレベルシフトは行われない。
【００６２】
ウェーブレット変換部１３２は、通常低域フィルタと高域フィルタから構成されるフィルタバンクによって実現される。また、デジタルフィルタは通常複数タップ長のインパルス応答（フィルタ係数）を有するので、ウェーブレット変換部１３２は、フィルタリングが行えるだけの入力画像を予めバッファリングするバッファを有する。
【００６３】
ウェーブレット変換部１３２は、矢印１６２のようにDCレベルシフト部１３１より出力された画像データを、フィルタリングに最低限必要なデータ量以上取得すると、そのDCレベルシフト後の画像データに対して、所定のウェーブレット変換フィルタを用いてフィルタリングを行い、ウェーブレット係数を生成する。なお、ウェーブレット変換部１３２は、画像の垂直方向および水平方向のそれぞれに対して、画像データを低域成分と高域成分に分離するフィルタリングを行う。
【００６４】
そして、ウェーブレット変換部１３２は、このようなフィルタリング処理を、垂直方向および水平方向の両方において低域成分として分離されたサブバンドに対して再帰的に所定回数繰り返す。これは、例えば図５に示されるように、画像のエネルギーの多くが低域成分に集中しているからである。
【００６５】
図５は、サブバンドの構成例を示す図である。図５に示されるように、分割レベル数１の状態においても分割レベル数３の状態においても、画像のエネルギーの多くは、低域成分に集中している。
【００６６】
図６は、分割レベル数４のウェーブレット変換処理により生成されるサブバンドの構成例を示す図である。
【００６７】
この場合、ウェーブレット変換部１３２は、まず、画像全体をフィルタリングし、サブバンド1LL（図示せず）、1HL、1LH、および1HHを生成する。次に、ウェーブレット変換部１３２は、生成されたサブバンド1LLに対して再度フィルタリングを行い、2LL（図示せず）、2HL、2LH、および2HHを生成する。さらに、ウェーブレット変換部１３２は、生成されたサブバンド2LLに対して再度フィルタリングを行い、3LL、3HL、3LH、および3HHを生成する。さらに、ウェーブレット変換部１３２は、生成されたサブバンド3LLに対して再度フィルタリングを行い、4LL、4HL、4LH、および4HHを生成する。
【００６８】
このように、分割レベル数４まで分析フィルタリングが行われると、１３個のサブバンドが生成される。図６に示されるように、分割レベルが１つ上位に進むごとに、サブバンドのサイズは、縦方向および横方向にそれぞれ２分の１となる。
【００６９】
つまり、例えば横方向に１９２０画素の画像のベースバンドの画像データが１回分析フィルタリングされると、横方向に９６０画素のサブバンドが４つ（1LL,1HL,1LH,1HH）生成される。さらに、サブバンド1LLが１回分析フィルタリングされると、横方向に４８０画素のサブバンドが４つ（2LL,2HL,2LH,2HH）が生成される。さらに、サブバンド2LLが回分析フィルタリングされると、横方向に２４０画素のサブバンドが４つ（3LL,3HL,3LH,3HH）が生成される。さらに、サブバンド3LLが１回分析フィルタリングされると、横方向に１２０画素のサブバンドが４つ（4LL,4HL,4LH,4HH）が生成される。
【００７０】
なお、ウェーブレット変換の分割レベル数は任意である。
【００７１】
ウェーブレット変換部１３２は、フィルタリングにより得られたウェーブレット係数を、サブバンド毎に、矢印１６３に示されるように量子化部１３３に供給する。量子化部１３３は、供給されたウェーブレット係数を量子化する。この量子化の方法は任意であるが、量子化ステップサイズで除算するスカラ量子化が一般的である。量子化部１３３は、量子化により得られた量子化係数を、矢印１６４に示されるように、コードブロック化部１３４に供給する。
【００７２】
なお、これより後段においては、ウェーブレット係数の代わりに量子化係数が供給されることになるが、この量子化係数もウェーブレット係数の場合と基本的に同様に扱われる。したがって、以下においては、必要でない限りその点についての説明は省略し、単に係数または係数データと称する。
【００７３】
なお、エンコード部１０２が、復号処理により元のデータを完全に復元可能な可逆符号化方式により画像データを符号化する場合、この量子化部１３３の処理は省略され、矢印１６５に示されるように、ウェーブレット変換部１３２の出力がコードブロック化部１３４に供給される。
【００７４】
ウェーブレット係数は、コードブロック化部１３４で、エントロピ符号化の処理単位である所定の大きさのコードブロックに分割される。図７は各サブバンド中のコードブロックの位置関係を示したものである。例えば64×64画素程度のサイズのコードブロックが、分割後のすべてのサブバンド中に生成される。後段の各処理部は、このコードブロック毎に処理を行う。
【００７５】
コードブロック化部１３４は、矢印１６６に示されるように、各コードブロックをビットプレーン展開部１３５に供給する。ビットプレーン展開部１３５は、係数データを、ビットの位毎のビットプレーンに展開する。
【００７６】
ビットプレーンは、所定の数のウェーブレット係数よりなる係数群を、１ビット毎、つまり位毎に分割（スライス）したものである。つまり、ビットプレーンは、その係数群の互いに同一の位のビット（係数ビット）の集合である。
【００７７】
図８にその具体例を示す。図８の左図は縦４個、横４個の計１６個の係数を示している。この１６個の係数のうち、絶対値が最大のものは１３で、２進数で１１０１と表現される。ビットプレーン展開部１３５は、このような係数群を、絶対値を示す４枚のビットプレーン（絶対値のビットプレーン）と、符号を示す１枚のビットプレーン（符号のビットプレーン）に展開する。つまり、図８中左の係数群は、図８中右に示されるように、４枚の絶対値のビットプレーンと１枚の符号のビットプレーンに展開される。ここで、絶対値のビットプレーンの要素はすべて０か１の値をとる。また、符号を示すビットプレーンの要素は、係数の値が正であることを示す値、係数の値が０であることを示す値、または係数の値がマイナスを示す値のいずれかをとる。
【００７８】
エンコード部１０２は、さらに、ビットモデリング部１３６、算術符号化部１３７、符号量加算部１３８、レート制御部１３９、ヘッダ生成部１４０、およびパケット生成部１４１を有する。
【００７９】
ビットプレーン展開部１３５は、展開したビットプレーンを、矢印１６７に示されるように、ビットモデリング部１３６に供給する。
【００８０】
ビットモデリング部１３６および算術符号化部１３７は、EBCOT（Embedded Coding with Optimized Truncation）部１５１として動作し、入力される係数データに対して、JPEG2000規格で定められたEBCOTと呼ばれるエントロピ符号化を行う。EBCOTは、所定の大きさのブロック毎にそのブロック内の係数の統計量を測定しながら符号化を行う手法である。
【００８１】
ビットモデリング部１３６は、JPEG2000規格で定められた手順に従って、係数データに対してビットモデリングを行い、矢印１６８に示されるように、制御情報、シンボル、およびコンテキスト等の情報を算術符号化部１３７に供給する。算術符号化部１３７は、係数のビットプレーンを算術符号化する。
【００８２】
コードブロックの縦横のサイズは４から２５６まで２のべき乗で、通常使用される大きさは、３２×３２、６４×６４、１２８×３２等がある。係数値がｎビットの符号付き２進数で表されていて、bit０からbit（ｎ−２）がLSBからMSBまでのそれぞれのビットを表すとする。残りの１ビットは符号を示す。符号ブロックの符号化は、MSB側のビットプレーンから順番に、次の３種類の符号化パスによって行われる。
【００８３】
（１）Significant Propagation Pass
（２）Magnitude Refinement Pass
（３）Cleanup Pass
【００８４】
３つの符号化パスの用いられる順序は、図９で示される。最初にBit-plane（n-1）（MSB）がCleanup Passによって符号化される。続いて順次LSB側に向かい、各ビットプレーンの符号化が、３つの符号化パスをSignificant Propagation Pass、Magnitude Refinement Pass、Cleanup Passの順序で用いて行われる。
【００８５】
ただし、実際にはMSB側から何番目のビットプレーンで初めて１が出てくるかをヘッダに書き、MSB側から連続するオール０のビットプレーン（ゼロビットプレーンと称する）は符号化しない。この順序で３種類の符号化パスを繰返し用いて符号化し、任意のビットプレーンの、任意の符号化パス迄で符号化を打ち切ることにより、符号量と画質のトレードオフを取る（レート制御を行う）。
【００８６】
次に、係数の走査（スキャニング）について図１０を用いて説明する。コードブロックは高さ４個の係数毎にストライプ（stripe）に分けられる。ストライプの幅はコードブロックの幅に等しい。スキャン順とは、１個のコードブロック内の、すべての係数をたどる順番で、コードブロック中では上のストライプから下のストライプへの順序、ストライプの中では、左の列から右の列へ向かっての順序、列の中では上から下へという順序である。各符号化パスにおいてコードブロック中のすべての係数が、このスキャン順で処理される。
【００８７】
以下、３つの符号化パスについて述べる。以下はいずれもJPEG-2000規格書（参考文献：ISO/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system）に記述されている内容である。
【００８８】
（１）Significance Propagation Pass（SPパス）：
あるビットプレーンを符号化するSignificance Propagation Passでは、８近傍の少なくとも１つの係数が有意（significant）であるようなnon-significant係数のビットプレーンの値を算術符号化する。その符号化したビットプレーンの値が１である場合は、符号が＋であるか、−であるかを続けてMQ符号化する。
【００８９】
ここでsignificanceというJPEG2000特有の用語について説明する。significanceとは、各係数に対して符号化器が持つ状態で、significanceの初期値はnon-significantを表す０、その係数で１が符号化されたときにsignificantを表す１に変化し、以降常に１であり続けるものである。従って、significanceとは有効桁の情報を既に符号化したか否かを示すフラグとも言える。あるビットプレーンでsignificantになれば、以降のビットプレーンではsignificantになったままである。
【００９０】
（２）Magnitude Refinement Pass（MRパス）：
ビットプレーンを符号化するMagnitude Refinement Passでは、ビットプレーンを符号化する Significance Propagation Passで、且つ符号化していないsignificantな係数のビットプレーンの値をMQ符号化する。
【００９１】
（３）Cleanup Pass（CUパス）：
ビットプレーンを符号化するCleanup Passでは、ビットプレーンを符号化するSignificance Passで、且つ符号化していないnon-significantな係数のビットプレーンの値をMQ符号化する。その符号化したビットプレーンの値が１である場合は符号が＋であるか−であるか（Sign情報）を続けてMQ符号化する。
【００９２】
尚、以上の３つの符号化パスでのMQ符号化では、ケースに応じて、ZC（Zero Coding）、RLC（Run-Length Coding）、SC（Sign Coding）、およびMR（Magnitude Refinement）が使い分けられる。ここでMQ符号化と呼ばれる算術符号が用いられる。MQ符号化は、JBIG2（参考文献：ISO/IEC FDIS 14492, “Lossy/Lossless Coding of Bi-level Images”, March 2000）で規定された学習型の２値算術符号である。
【００９３】
図４に戻り、算術符号化部１３７は、生成したコードストリームを、矢印１６９に示されるように、符号量加算部１３８に供給する。符号量加算部１３８は、そのコードストリームの符号量をカウントし、累積する。
【００９４】
そして、符号量加算部１３８は、そのコードストリームを、矢印１７２および矢印１７３に示されるように、ヘッダ作成部１４０およびパケット生成部１４１に供給するとともに、矢印１７０に示されるように、符号量の累積値をレート制御部１３９に供給する。レート制御部１３９は、供給された符号量の累積値に基づいて、矢印１７１に示されるように、EBCOT部１５１を制御し、累積値が目標符号量に達した時点で符号化を終了させる。つまり、レート制御部１３９は、発生符号量の制御（コードストリームのレート制御）を行う。
【００９５】
パケット生成部１４１は、供給されたコードストリームをパケット化する。ヘッダ生成部１４０は、そのパケットのヘッダ情報を生成し、そのヘッダ情報を矢印１７４に示されるように、パケット生成部１４１に供給する。パケット生成部１４１は、そのヘッダ情報を用いてパケット化を行う。
【００９６】
このパケットの概念を図１１に示す。図１１に示される例では、ウェーブレット変換を３回施した例で、その結果、最低域のPacket-1から最高域のPacket-4までの4個のパケットが生成されることを示している。従って、これら個々のパケット内のサブバンド中に存在する、すべての符号ブロックの符号化コードストリームが、パケット毎にパッキングされることになる。
【００９７】
また図１２は、符号化パスを、レイヤ１乃至レイヤＬのＬ個のレイヤに分割したケースを図示したものである。あるコードブロックで、レイヤｎの先頭の符号化パスはレイヤ（ｎ−１）の最終後尾の符号化パスの直後に位置する。
【００９８】
生成されたパケットは矢印１７５に示されるように、エンコード部１０２の外部に出力され、コードストリーム多重化部１０３に供給される。
【００９９】
以上のように、各エンコード部１０２は、ビット深度方向に分割された各画像データを、分割していない普通の画像データの場合と同様に、JPEG2000方式で符号化することができる。
【０１００】
［ビット深度分割符号化処理の流れ］
次に、以上のような符号化装置１００において実行される各処理の流れについて説明する。
【０１０１】
符号化装置１００は、入力画像１１１が供給されると、ビット深度分割符号化処理を実行する。図１３のフローチャートを参照して、ビット深度分割符号化処理の流れの例を説明する。
【０１０２】
ビット深度分割符号化処理が開始されると、ビット深度分割部１０１は、ステップＳ１０１において、入力画像１１１を、例えば図３に示されるように、ビット深度方向に２分割する。
【０１０３】
ステップＳ１０２において、エンコード部１０２−１は、ステップＳ１０１において得られる分割後の画像データ１１２をJPEG2000方式で符号化し、コードストリーム１１４を生成する。同様に、エンコード部１０２−２は、ステップＳ１０１において得られる分割後の画像データ１１３をJPEG2000方式で符号化し、コードストリーム１１５を生成する。
【０１０４】
ステップＳ１０３において、コードストリーム多重化部１０３は、ステップＳ１０２において得られるコードストリーム１１４およびコードストリーム１１５を多重化し、１本のコードストリーム１１６を生成する。
【０１０５】
ステップＳ１０３の処理を終了すると、符号化装置１００は、ビット深度分割符号化処理を終了する。
【０１０６】
［符号化処理の流れ］
次に、図１３のステップＳ１０２において実行される符号化処理の流れの例を図１４のフローチャートを参照して説明する。
【０１０７】
符号化処理が開始されると、ステップＳ１２１において、DCレベルシフト部１３１は、自身が対応する入力系統より入力された画像データのDCレベルをシフトする。ステップＳ１２２において、ウェーブレット変換部１３２は、DCレベルがシフトされた画像データをウェーブレット変換する。
【０１０８】
ステップＳ１２３において、量子化部１３３は、非可逆符号化方式の場合、ステップＳ１２２において生成されたウェーブレット係数を量子化する。なお、可逆符号化方式の場合、この処理は省略される。
【０１０９】
ステップＳ１２４において、コードブロック化部１３４は、量子化された係数をコードブロック単位で分割する。ステップＳ１２５において、ビットプレーン展開部１３５は、そのコードブロック毎の係数をビットプレーンに展開する。
【０１１０】
ステップＳ１２６において、EBCOT部１５１は、ビットプレーン展開された係数を符号化する。ステップＳ１２７において、レート制御部１３９は、符号量加算部１３８において加算された符号量等を用いて、発生符号量のレートを制御する。
【０１１１】
ステップＳ１２８において、ヘッダ生成部１４０は、パケットヘッダを生成する。ステップＳ１２９において、パケット生成部１４１は、パケットを生成する。ステップＳ１３０において、エンコード部１０２は、そのパケットを外部に出力する。
【０１１２】
ステップＳ１３０の処理が終了すると、エンコード部１０２は、符号化処理を終了し、処理を図１３のステップＳ１０２に戻し、ステップＳ１０３以降の処理を実行させる。
【０１１３】
以上のように各処理を行うことにより、符号化装置１００は、高ビット深度の画像データを低ビット深度の画像データとして符号化することができる。
【０１１４】
［符号量］
以上のように、画像をビット深度方向に分割してそれぞれを符号化することにより得られるコードストリーム１１６の情報量（符号量）について説明する。
【０１１５】
例えば、画像データ（Image_A）をロスレスエンコード（Lossless Encode）して得られるコードストリーム（Codestream_A）のサイズを（Size_A）とする。また、画像データ（Image_B）をロスレスエンコードして得られるコードストリーム（Codestream_B）のサイズを（Size_B）とする。さらに、画像データ（Image_C）をロスレスエンコードして得られるコードストリーム（Codestream_C）のサイズを（Size_C）とする。
【０１１６】
このとき、符号化効率を向上させるためには、符号化装置１００は、以下の式（１）を満たすように符号化することができればよい。
【０１１７】
Size_A ＞ Size_B ＋ Size_C
・・・（１）
【０１１８】
あるイメージセンサから抽出したRAWデータ（R, G0, G1, B）の内の、１コンポーネントであるG0画像に対して、JPEG2000 Losslessエンコードを行った場合の実験結果の一例を以下に示す。
【０１１９】
例えば、符号化対象のRAW画像の１コンポーネントG0（１２ビット深度）のオリジナルサイズを1,036,818バイトとする。このとき、G0をJPEG2000 Losslessエンコードすると、コードストリームのサイズは561,540バイトとなる。
【０１２０】
これに対して、符号化装置１００により、G0を、そのビット深度上位の１０ビットのデータで構成される画像（上位１０ビット画像）と、ビット深度下位の２ビットで構成される画像（下位２ビット画像）とに分割して符号化させる場合、上位１０ビット画像をJPEG2000 Losslessエンコードすると、コードストリームのサイズは426,262バイトとなる。また、下位２ビット画像をJPEG2000 Losslessエンコードすると、コードストリームのサイズは、2,688バイトとなる。つまり、これらの合計は、428,950バイトとなる。
【０１２１】
このように符号化装置１００は、２分割して符号化することで、分割せずに（１２ビット深度のままで）符号化するよりも２５％も情報量を削減することができる。つまり、上述した式（１）を満たすことができる。
【０１２２】
このように、符号化装置１００は、画像の符号化における符号化効率を向上させることができる。特に、入力画像１１１が高ビット深度の場合、コードストリームの情報量（符号量）が大きくなりやすいので、その効果は大きい。
【０１２３】
なお、上述したように、ウェーブレット変換のレベル数は、上位側のビットで構成される画像と下位側のビットで構成される画像とで互いに独立して設定することができる。このウェーブレット変換数とコードストリームの情報量（符号量）について説明する。
【０１２４】
上位１０ビット画像と下位２ビット画像とのそれぞれを、ウェーブレット変換処理（DWT：Discrete Wavelet Transform）レベル数が０乃至５のそれぞれの場合について、JPEG2000方式で符号化を行った（０は変換無しを示す）。
【０１２５】
その結果、上位１０ビット画像の場合のJPEG2000 Losslessエンコード結果は、以下のようになった。
【０１２６】
DWT 0: 5,698,403 byte
DWT 1: 4,501,068 byte
DWT 2: 4,315,214 byte
DWT 3: 4,270,851 byte
DWT 4: 4,262,794 byte
DWT 5: 4,261,438 byte
【０１２７】
このように、上位１０ビット画像の場合、符号化により得られるコードストリームの符号量は、ウェーブレット変換処理のレベル数が増える程、小さくなる。すなわち、ウェーブレット変換レベル数が多いほど符号化効率が向上する。
【０１２８】
これに対して、下位２ビット画像の場合のJPEG2000 Losslessエンコード結果は、以下のようになった。
【０１２９】
DWT 0: 1,871,597 byte
DWT 1: 2,171,301 byte
DWT 2: 2,229,017 byte
DWT 3: 2,242,885 byte
DWT 4: 2,246,923 byte
DWT 5: 2,248,336 byte
【０１３０】
このように、下位２ビット画像の場合、符号化により得られるコードストリームの符号量は、ウェーブレット変換処理のレベル数が小さい程、小さくなる。すなわち、ウェーブレット変換レベル数が少ないほど符号化効率が向上する。
【０１３１】
一般的に、上位側のビットで構成される画像は、分割前の画像の重要な部分により占められる可能性が高く、低域成分が多くなりやすい。従ってウェーブレット変換レベル数が多いほど符号化効率が向上することが期待される。これに対して下位側のビットで構成される画像は、一般的にノイズ成分が多くを占める可能性が高く、高域成分が多くなりやすい。したがって、ウェーブレット変換による符号化効率の向上が期待しにくい。
【０１３２】
したがって、上位側のビットで構成される画像のウェーブレット変換数を多く設定し、逆に下位側のビットで構成される画像のウェーブレット変換数を少なく設定することにより、符号化装置１００は、さらに、符号化効率を向上させることができる。
【０１３３】
ところで、以上のように符号化装置１００は、入力画像１１１をそのビット深度方向に２分割し、それぞれ符号化する。このことにより、符号化装置１００は、符号化処理する画像データのビット深度数を減らすことができる。つまり、符号化装置１００は、符号化処理に必要になるメモリ容量を低減させることもできる。
【０１３４】
また、上述したように符号化装置１００は、上位側のビットで構成される画像の符号化方式と、下位側のビットで構成される画像の符号化方式とを互いに独立に設定することができる。したがって、例えば、Image_BをJPEG2000でLosslessエンコードし、ノイズ成分の多いImage_Cをそれに適したLosslessコーデックでエンコードすることもできる。このように、符号化装置１００は、よりデータの特徴に応じた符号化方式を選択することができるので、より効率よく符号化を行うことができる。
【０１３５】
なお、エンコード部１０２は、図２に示されるように、２個のエンコーダを用意してもよいが、１個のエンコーダを時分割で共有するようにしてもよい。このようにすることにより、回路規模やコストの増大を抑制することができるが、符号化の処理時間が増大するので、そのエンコーダに、２個のエンコーダを使用する場合よりも高い処理能力が必要になることがある。特に動画像をリアルタイム（即時的）に符号化する場合、各フレーム画像の符号化を、入力時のフレームレートよりも速く行う必要がある。
【０１３６】
＜２．第２の実施の形態＞
［復号装置の構成］
次に、以上のような符号化装置１００に対応する復号装置について説明する。図１５は、本発明を適用した復号装置の主な構成例を示すブロック図である。図１５に示される復号装置２００は、図２の符号化装置１００により生成されたコードストリームを復号し、復号画像を得る装置である。
【０１３７】
つまり、復号装置２００は、画像がビット深度方向に分割されてそれぞれが符号化され、得られたコードストリームが多重化された１本のコードストリームを復号し、復号画像を得ることができる。
【０１３８】
図１５に示されるように、復号装置２００は、コードストリーム分離部２０１、デコード部２０２−１、デコード部２０２−２、およびビット深度合成部２０３を有する。
【０１３９】
コードストリーム分離部２０１は、符号化装置１００において符号化されたコードストリーム２１１を取得すると、そのコードストリームの多重化情報（コードストリーム２１１に付加されているか、若しくは、コードストリーム２１１とは別に、コードストリーム２１１と関連付けられて供給される）に基づいて、コードストリームを、ビット深度上位側のビットで構成される画像が符号化されたコードストリーム２１２と、ビット深度下位側のビットで構成される画像が符号化されたコードストリーム２１３の２本のコードストリームを生成する。
【０１４０】
コードストリーム分離部２０１は、分離した一方のコードストリーム２１２をデコード部２０２−１に供給し、他方のコードストリーム２１３をデコード部２０２−２に供給する。
【０１４１】
デコード部２０２−１は、コードストリーム２１２を、符号化装置１００のエンコード部１０２−１の符号化方式に対応する復号方式で復号し、復号画像２１４をビット深度合成部２０３に供給する。
【０１４２】
デコード部２０２−２は、コードストリーム２１３を、符号化装置１００のエンコード部１０２−２の符号化方式に対応する復号方式で復号し、復号画像２１５をビット深度合成部２０３に供給する。
【０１４３】
なお、以下においてデコード部２０２−１およびデコード部２０２−２を互いに区別して説明する必要が無い場合、単にデコード部２０２と称する。
【０１４４】
復号画像２１４は、ビット深度上位側のビットで構成される画像であり、復号画像２１５は、ビット深度下位側のビットで構成される画像である。
【０１４５】
ビット深度合成部２０３は、これらの復号画像２１４および復号画像２１５を、例えば、図１６に示されるように、ビット深度方向に合成し、符号化装置１００の入力画像と同じビット深度の１系統の復号画像２１６を生成し、それを復号装置２００の外部に出力する。
【０１４６】
図１６の例の場合、Ｙビット深度のイメージデータImage_Bと（X-Y）ビット深度のイメージデータImage_Cが復号され、Ｘビット深度の画像が復元される。
【０１４７】
デコード部２０２には、例えば、JPEG2000方式で符号化を行うJPEG2000デコーダを用いるようにしてもよい。また、エンコード部１０２の場合と同様に、デコード部２０２も、複数用意してもよいし、１つのデコード部２０２を時分割で供給するようにしてもよい。
【０１４８】
なお、ウェーブレット変換のレベル数等、各種符号化パラメータは、符号化装置１００において決定され、供給された符号化パラメータを用いる。
【０１４９】
以上のように、復号装置２００は、符号化装置１００により符号化されたコードストリーム、すなわち、入力画像をビット深度方向に２分割し、それぞれを符号化し、得られた各コードストリームを多重化した1本のコードストリームを、正しく復号し、復号画像を得ることができる。
【０１５０】
［デコード部の構成］
図１７は、デコード部２０２の主な構成例を示すブロック図である。このデコード部２０２は、図４のエンコード部１０２に対応し、エンコード部１０２により符号化されて生成されたコードストリームを復号する。図１７に示されるように、デコード部２０２は、パケット解読部２２１、算術復号部２２２、ビットモデリング部２２３、ビットプレーン合成部２２４、コードブロック合成部２２５、ウェーブレット逆変換部２２６、およびDCレベル逆シフト部２２７を有する。
【０１５１】
パケット解読部２２１は、矢印２４１に示されるように、符号化装置１００から供給されるパケットを解読し、矢印２４２に示されるように、コードストリームを算術復号部２２２に供給する。
【０１５２】
算術復号部２２２およびビットモデリング部２２３は、EBCOT部２３１として動作し、入力されるコードストリームに対して、例えばJPEG2000規格等で定められたEBCOTと呼ばれるエントロピ復号を行う。
【０１５３】
算術復号部２２２は、算術符号化部１３７に対応する方法でコードストリームを復号し、矢印２４３に示されるように、コンテキストをビットモデリング部２２３に供給する。ビットモデリング部２２３は、ビットモデリング部１３６に対応する方法で、ビットプレーンに展開されたウェーブレット係数を生成する。ビットモデリング部２２３は、生成したビットプレーン毎の係数データを、矢印２４４に示されるように、ビットプレーン合成部２２４に供給する。
【０１５４】
ビットプレーン合成部２２４は、ビットプレーンに展開されたウェーブレット係数を合成する。ビットプレーン合成部２２４は、ビットプレーンを合成したウェーブレット係数を、矢印２４５に示されるように、コードブロック合成部２２５に供給する。
【０１５５】
コードブロック合成部２２５は、供給されたビットプレーンを用いてコードブロック単位の係数データを生成し、さらにそれらを合成し、サブバンド毎の係数データを生成する。コードブロック合成部２２５は、矢印２４６に示されるように、それをウェーブレット逆変換部２２６に供給する。
【０１５６】
ウェーブレット逆変換部２２６は、供給されたウェーブレット係数をウェーブレット逆変換し、ベースバンドの画像データを生成する。ウェーブレット逆変換部２２６は、生成したベースバンドの画像データを、矢印２４７に示されるように、DCレベル逆シフト部２２７に供給する。
【０１５７】
DCレベル逆シフト部２２７は、その画像データのDC成分に対して、DCレベルシフト部１３１においてシフトした分を元に戻すDCレベル逆シフト処理を必要に応じて行う。DCレベル逆シフト部２２７は、DCレベル逆シフト処理後の画像データ（復号画像データ）を、矢印２４８に示されるように、デコード部２０２の外部に出力する。
【０１５８】
［ビット深度分割復号処理の流れ］
次に、以上の復号装置２００により実行される各処理について説明する。最初に、図１８のフローチャートを参照してビット深度分割復号処理の流れの例を説明する。
【０１５９】
符号化装置１００において符号化されたコードストリームが供給されると復号装置２００は、ビット深度分割復号処理を開始する。
【０１６０】
ビット深度分割復号処理が開始されると、コードストリーム分離部２０１は、ステップＳ２０１において、供給されたコードストリームに対応する多重化情報に基づいて、多重化されたコードストリームを２分割する。つまり、コードストリームは、ビット深度上位側のビットにより構成される画像のコードストリームと、ビット深度下位側のビットにより構成される画像のコードストリームとに分割される。
【０１６１】
ステップＳ２０２において、デコード部２０２は、ステップＳ２０１において分割された各コードストリームを、エンコード部１０２の符号化方式に対応する復号方式（例えばJPEG2000）で復号する。
【０１６２】
ステップＳ２０３において、ビット深度合成部２０３は、ステップＳ２０２の処理により復号された各画像データをビット深度方向に合成する。すなわち、ビット深度合成部２０３は、復号画像２１４の各画素値を上位ビットとし、それより下位ビットを復号画像２１５の各画素値とするように、復号画像２１４と復号画像２１５の各画素値を合成する。
【０１６３】
復号画像２１６を生成すると、ビット深度合成部２０３は、ビット深度分割復号処理を終了する。
【０１６４】
［復号処理の流れ］
次に、図１８のステップＳ２０２において実行される復号処理の詳細な流れの例を、図１９のフローチャートを参照して説明する。
【０１６５】
復号処理が開始されると、パケット解読部２２１は、ステップＳ２２１において、取得されたパケットから符号化データを抽出する。
【０１６６】
ステップＳ２２２において、EBCOT部２３１は、ステップＳ２２１において抽出された符号化データを復号する。ステップＳ２２３において、ビットプレーン合成部２２４は、その復号により得られた係数データのビットプレーンを合成し、コードブロック毎の係数データを生成する。ステップＳ２２４において、コードブロック合成部２２５は、そのコードブロック毎の係数データのコードブロックを合成し、サブバンド毎の係数データを生成する。
【０１６７】
ステップＳ２２５において、ウェーブレット逆変換部２２６は、そのサブバンド毎の係数データをウェーブレット逆変換し、ベースバンドの画像データを生成する。なお、符号化装置１００において係数データが量子化されている場合、係数データに対して、その量子化に対応する逆量子化を行ってからウェーブレット逆変換を行う。
【０１６８】
ステップＳ２２６において、DCレベル逆シフト部２２７は、そのウェーブレット逆変換により得られたベースバンドの画像データのDCレベルを逆シフトする。
【０１６９】
ステップＳ２２７において、デコード部２０２は、DCレベル逆シフト処理が施された画像データを復号画像データとしてビット深度合成部２０３に出力する。ステップＳ２２７の処理が終了すると、デコード部２０２は、復号処理を終了する。
【０１７０】
以上のように、復号装置２００は、多重化情報に応じて、コードストリームを２分割し、分割された各コードストリームを復号し、得られた各復号画像を、ビット深度方向に合成し、１系統の復号画像を得ることができる。
【０１７１】
つまり、復号装置２００は、符号化装置１００が生成したコードストリームを適切に復号することができる。したがって、復号装置２００は、画像の符号化における符号化効率を向上させることができる。
【０１７２】
＜３．第３の実施の形態＞
［符号化装置の構成］
以上においては、画像を２分割する場合について説明したが、画像の分割数は任意であり、例えば３以上であってもよい。また、分割位置（分割の際に境界となるビット）も任意である。
【０１７３】
ただし、符号化装置における画像の分割数や分割位置が、その画像のコードストリームを復号する復号装置において既知で無い場合、符号化装置は、画像の分割数や分割位置を、復号装置に通知する必要がある。
【０１７４】
図２０は、本発明を適用した符号化装置の主な構成例を示すブロック図である。図２０に示される符号化装置３００は、図２の符号化装置１００に対応する符号化装置であり、基本的に符号化装置１００と同様の構成を有し、同様の処理を行う。ただし、符号化装置３００は、符号化装置１００と異なり、入力画像を、そのビット深度方向にＮ個（Ｎは任意の自然数）に分割し、それぞれを符号化して多重化する。また、符号化装置３００は、符号化装置１００と異なり、入力画像から生成されたコードストリームだけでなく、分割数や分割位置に関する情報（分割情報）も出力する。
【０１７５】
図２０に示されるように、符号化装置３００は、ビット深度分割部１０１の代わりにビット深度分割部３０１を有し、コードストリーム多重化部１０３の代わりにコードストリーム多重化部３０３を有する。
【０１７６】
ビット深度分割部３０１は、入力画像３１１をそのビット深度方向にＮ分割し、分割された各画像を、エンコード部１０２に供給する。
【０１７７】
例えば、ビット深度分割部３０１は、分割した画像のうち、上位側から１番目のビット群により構成される画像３１３をエンコード部１０２−１に供給し、上位側から２番目のビット群により構成される画像３１４をエンコード部１０２−２に供給する。
【０１７８】
また、ビット深度分割部３０１は、上位側から３番目以降のビット群により構成される画像も、同様に処理する。例えば、ビット深度分割部３０１は、最下位（上位からＮ番目）のビット群により構成される画像３１５は、エンコード部１０２−Ｎに供給する。
【０１７９】
ビット深度分割部３０１は、さらに、分割数や分割位置等を含む、分割に関する情報である分割情報をコードストリーム多重化部３０３に供給する。
【０１８０】
各エンコード部１０２は、ビット深度分割部３０１から供給された画像を符号化する。つまり、各エンコード部１０２は、入力画像のビット深度がＸビットの場合、Ｘビットよりも少ないビット深度の画像を符号化することができる。
【０１８１】
各エンコード部１０２は、生成したコードストリーム（コードストリーム３１６乃至コードストリーム３１８）をコードストリーム多重化部３０３に供給する。
【０１８２】
コードストリーム多重化部３０３は、エンコード部１０２から供給される複数のコードストリームを多重化し、１系統のコードストリーム３１９を生成する。
【０１８３】
なお、コードストリーム多重化部３０３は、各エンコード部１０２から供給されるコードストリーム同士だけでなく、ビット深度分割部３０１から供給される分割情報３１２も多重化する。
【０１８４】
分割情報３１２の多重化方法は任意である。例えば、コードストリーム多重化部３０３が、分割情報３１２をデータとして、各コードストリームとともに多重化するようにしてもよいし、各コードストリームを多重化し、そのヘッダの所定の位置に、分割情報３１２を埋め込むようにしてもよい。
【０１８５】
また、分割情報３１２を多重化せずに、多重化されたコードストリームに関連付けだけ行うようにしてもよい。例えば、コードストリーム多重化部３０３が、分割された画像から生成された各コードストリームを多重化した１系統のコードストリームのヘッダ等に、分割情報３１２に関する記述を行い、コードストリームと分割情報３１２の関連付けを行い、そのコードストリームとともに、分割情報３１２を出力するようにしてもよい。
【０１８６】
［ビット深度分割符号化処理の流れ］
次に、この場合のビット深度分割符号化処理の流れの例を図２１のフローチャートを参照して説明する。この場合も基本的に図１３のフローチャートを参照して説明した場合と同様に行われる。
【０１８７】
ただし、ビット深度分割部３０１は、ステップＳ３０１において、入力画像３１１をビット深度方向にＮ分割し、ステップＳ３０２において、その分割数や分割位置を示す分割情報３１２を生成する。
【０１８８】
ステップＳ３０３において、エンコード部１０２は、分割後の各画像を符号化する。ステップＳ３０４において、コードストリーム多重化部３０３は、ステップＳ３０３において各画像生成された各コードストリーム（例えば、コードストリーム３１６乃至コードストリーム３１８）と、ステップＳ３０２において生成された分割情報３１２を多重化し、１系統のコードストリーム３１９を生成し、出力する。コードストリーム３１９を出力すると、コードストリーム多重化部３０３は、ビット深度分割符号化処理を終了する。
【０１８９】
以上のように、符号化装置３００は、画像をそのビット深度方向に３分割以上してから、符号化することができるので、符号化効率を向上させることができる。
【０１９０】
また、符号化装置３００は、分割数や分割位置等を示す分割情報をコードストリームとともに復号装置側に提供するので、復号装置が、より容易に、符号化装置３００が生成したコードストリームを正しく復号することができる。
【０１９１】
なお、第１の実施の形態の場合と同様に、符号化装置３００は、１つのエンコード部１０２を、時分割して、分割後の複数系統の画像の符号化に使用するようにしてもよい。
【０１９２】
＜４．第４の実施の形態＞
［復号装置の構成］
次に、符号化装置３００に対応する復号装置について説明する。図２２は、本発明を適用した復号装置の主な構成例を示すブロック図である。図２２に示される復号装置３５０は、符号化装置３００に対応し、符号化装置３００により生成されたコードストリームを正しく復号する。
【０１９３】
図２２に示されるように、復号装置３５０は、基本的に図１５を参照して説明した第２の実施の形態の復号装置２００と同様の構成を有し、同様の処理を行う。
【０１９４】
ただし、復号装置３５０は、コードストリーム分離部２０１の代わりにコードストリーム分離部３５１を有し、デコード部２０２をＮ個（Ｎは任意の自然数）有し、ビット深度合成部２０３の代わりにビット深度合成部３５３を有する。
【０１９５】
また、復号装置３５０は、さらに、多重化構造解析部３５４を有する。
【０１９６】
多重化構造解析部３５４は、符号化装置３００から供給されるコードストリーム３６１の構造を解析し、分割情報３６２を抽出し、それをコードストリーム分離部３５１に供給する。また、多重化構造解析部３５４は、分割情報３６２が抽出されたコードストリームである符号化データ３６３をコードストリーム分離部３５１に供給する。
【０１９７】
コードストリーム分離部３５１は、分割情報３６２に基づいて、符号化データ３６３を分割し、多重化前の、複数の（Ｎ系統の）コードストリームを生成する。コードストリーム分離部３５１は、分離した各コードストリームを、それぞれに対応するデコード部２０２に供給する。
【０１９８】
例えば、コードストリーム分離部３５１は、Ｎ系統のコードストリームのうち、上位側から１番目のビット群により構成される画像から生成されたコードストリーム３６４をデコード部２０２−１に供給し、上位側から２番目のビット群により構成される画像から生成されたコードストリーム３６５をデコード部２０２−２に供給する。さらに、コードストリーム分離部３５１は、上位側からＮ番目のビット群により構成される画像から生成されたコードストリーム３６６をデコード部２０２−Ｎに供給する。
【０１９９】
各デコード部２０２は、供給された各コードストリームを復号し、各復号画像（復号画像３６７乃至復号画像３６９）をビット深度合成部３５３に供給する。ビット深度合成部３５３は、供給された各復号画像を、そのビット深度方向に合成し、符号化装置３００の入力画像と同じビット深度の１系統の復号画像３７０を生成する。
【０２００】
［ビット深度分割復号処理の流れ］
次に、図２３のフローチャートを参照して、この場合のビット深度分割復号処理の流れの例を説明する。
【０２０１】
ビット深度分割復号処理が開始されると、ステップＳ３５１において、多重化構造解析部３５４が、多重化構造を解析し、分割位置を特定する。ステップＳ３５２において、コードストリーム分離部３５１は、ステップＳ３５１において特定された分割位置に基づいて、多重化されたコードストリームをＮ分割する。
【０２０２】
ステップＳ３５３において、デコード部２０２は、分割後の各コードストリームを復号する。ステップＳ３５４において、ビット深度合成部３５３は、復号された各画像データをビット深度方向に合成し、１系統の復号画像３７０を生成する。
【０２０３】
復号画像３７０を生成すると、ビット深度合成部３５３は、ビット深度分割復号処理を終了する。
【０２０４】
このようにすることにより、復号装置３５０は、符号化装置３００により生成されたコードストリームを、より容易に正しく復号することができる。したがって、復号装置３５０は、画像の符号化における符号化効率を向上させることができる。
【０２０５】
＜５．第５の実施の形態＞
［符号化装置の構成］
以上においては、可逆な符号化方式により符号化を行うように説明したが、これに限らず、符号化方式は非可逆であってもよい。
【０２０６】
図２４は、本発明を適用した符号化装置の主な構成例を示すブロック図である。図２４に示される符号化装置４００は、図２０を参照して説明した符号化装置３００と基本的に同様の符号化装置であるが、符号化装置３００と異なり、非可逆な符号化方式で符号化を行う。
【０２０７】
図２４に示されるように、符号化装置４００は、符号化装置３００の構成に加え、さらに、ビットレート割り当て部４０１を有する。
【０２０８】
ビットレート割り当て部４０１は、各エンコード部１０２に対して目標ビットレート（若しくは目標圧縮率）を指定する。エンコード部１０２は、指定された目標ビットレート（若しくは目標圧縮率）に近づくようにレート制御を行いながら符号化を行う。
【０２０９】
このように、符号化装置４００は、レート制御を行うことができる。つまり、符号化装置４００は、例えば、画像を分割せずに符号化する場合と同等のビットレートのコードストリームを生成し、復号画像の画質を向上させるようにすることもできる。
【０２１０】
例えば、図３の例において、画像データ（Image_A）を目標ビットレート（Rate-A）で非可逆符号化（Lossy Encode）して生成されるコードストリームを（Codestream_A）とし、画像データ（Image_B）を目標ビットレート（Rate-B）で非可逆符号化（Lossy Encode）して生成されるコードストリームを（Codestream_B）とし、画像データ（Image_C）を目標ビットレート（Rate-C）で非可逆符号化（Lossy Encode）して生成されるコードストリームを（Codestream_C）とする。
【０２１１】
また、コードストリーム（Codestream_A）の復号画像を（Decode_Image_A）とし、コードストリーム（Codestream_B）の復号画像を（Decode_Image_B）とし、コードストリーム（Codestream_C）の復号画像を（Decode_Image_C）とする。
【０２１２】
ビットレート割り当て部４０１が、Rate-A ＝ Rate_B＋Rate_Cとすると、各復号画像の画質は、以下のようになる。
【０２１３】
Decode_Image_Aの画質 ＜ （Decode_Image_B＋Decode_Image_C）の画質
【０２１４】
［ビット深度分割符号化処理の流れ］
図２５のフローチャートを参照して、符号化装置４００によるビット深度分割符号化処理の流れの例を説明する。
【０２１５】
ビット深度分割符号化処理が開始されると、ビット深度分割部３０１は、ステップＳ４０１において、入力画像をビット深度方向にＮ分割し、ステップＳ４０２において、分割情報を生成する。
【０２１６】
ステップＳ４０３において、ビットレート割り当て部４０１は、分割後の各画像の符号化について、目標ビットレートを割り当てる。
【０２１７】
ステップＳ４０４において、各エンコード部１０２は、割り当てられた目標ビットレートに従って、分割後の各画像を符号化する。
【０２１８】
ステップＳ４０５において、コードストリーム多重化部３０３は、各コードストリームと分割情報を多重化する。ステップＳ４０５の処理が終了すると、コードストリーム多重化部３０３は、ビット深度分割符号化処理を終了する。
【０２１９】
以上のように、符号化装置４００は、目標ビットレートを設定することができるので、符号化効率を向上させる代わりに、復号画像の画質を向上させることもできる。
【０２２０】
なお、ビットレート割り当て部４０１は、各エンコード部１０２に対して、互いに独立して目標ビットレートを設定することができる。例えば、ビットレート割り当て部４０１は、一般的に重要度の高い、より上位のビットにより構成される画像に対してビットレートを多く割り当て、一般的に重要度の低い、より下位のビットにより構成される画像に対して割り当てるビットレートを少なくすることもできる。
【０２２１】
また、このように非可逆な符号化方式の場合も、上述した他の実施の形態と同様に、上位ビット画像（Image_B）のウェーブレット変換数を多くして、下位ビット画像（Image_C）のウェーブレット変換数を少なく設定することにより、より効率よく符号化を行うことができる。
【０２２２】
なお、復号装置は、可逆な符号化方式の場合と同様であるので、その説明は省略する。
【０２２３】
＜６．第６の実施の形態＞
［符号化装置の構成］
一般的に、よりビット深度が深くなるほど、最上位付近のビットの値がゼロになりやすくなる。このような最上位ビットから連続する上位側の、値がゼロのビット（ゼロビット）は、基本的に不要な情報（重要度の低い情報）であるので、符号化効率を向上させるために、これらのビットの符号化を省略するようにしてもよい。
【０２２４】
図２６は、本発明を適用した符号化装置の主な構成例を示すブロック図である。図２６に示される符号化装置５００は、基本的に上述した図２０の符号化装置３００と同様の符号化装置であるが、ビット深度分割部３０１の代わりにビット深度分割部５０１を有し、さらに、非ゼロ係数境界検出部５０２を有する。
【０２２５】
非ゼロ係数境界検出部５０２は、入力画像５１１を解析し、各画素において、ビット深度の最上位ビットからゼロビットが連続しなくなるビット（非ゼロ係数境界）を検出する。つまり、非ゼロ係数境界検出部５０２は、各画素の値がゼロでない非ゼロビットの中で最も上位のビットを非ゼロ係数境界として検出する。
【０２２６】
なお、この非ゼロ係数境界の検出は、複数の画素を処理単位としてもよい。すなわち、非ゼロ係数境界検出部５０２が、例えばマクロブロック、スライス、若しくはフレーム全体といったような所定の画素群毎に検出を行い、その処理単位の画素群の中で１画素でも値がゼロでない非ゼロビットが出現する最上位のビットを非ゼロ係数境界として検出するようにしてもよい。
【０２２７】
非ゼロ係数境界検出部５０２は、入力画像（入力画像５１２）と、検出した非ゼロ係数境界の位置（境界位置５１３）をビット深度分割部５０１に供給する。
【０２２８】
ビット深度分割部５０１は、非ゼロ係数境界検出部５０２が検出した非ゼロ係数境界に基づいて分割位置を定め、入力画像をビット深度方向に（Ｎ＋１）分割する。つまり、ビット深度分割部５０１は、非ゼロ係数境界を分割位置の１つとして分割を行い、さらに、最上位ビットから連続するゼロビットの部分以外の部分（非ゼロ係数境界より下位のビットで構成される画像をＮ分割する。
【０２２９】
なお、非ゼロ係数境界が最上位ビットとなる場合、すなわち、最上位ビットが非ゼロビットの場合、ゼロビットで構成される最上位の画像（ゼロ係数画像）は存在しないので、非ゼロ係数境界を分割位置とする分割は省略され、入力画像はビット深度方向にＮ分割されることになる。
【０２３０】
ビット深度分割部５０１は、その分割数や分割位置を示す分割情報５１４をコードストリーム多重化部３０３に供給するとともに、ビット深度方向に（Ｎ＋１）分割された画像のうち、ゼロビットで構成される最上位の画像（ゼロ係数画像）を除く、下位側からＮ個の画像（画像５１５乃至画像５１７）をエンコード部１０２に供給する。
【０２３１】
各エンコード部１０２は、供給された画像を符号化し、コードストリーム（コードストリーム５１８乃至コードストリーム５２０）をコードストリーム多重化部３０３に供給する。
【０２３２】
コードストリーム多重化部３０３は、第３の実施の形態の場合と同様に、Ｎ個のコードストリームと分割情報を多重化し、１系統のコードストリームとして出力する。
【０２３３】
［ビット深度分割符号化処理の流れ］
図２７のフローチャートを参照して、この場合のビット深度分割符号化処理の流れの例を説明する。
【０２３４】
ビット深度分割符号化処理が開始されると、非ゼロ係数境界検出部５０２は、ステップＳ５０１において、入力画像の非ゼロ係数境界を検出する。ステップＳ５０２において、ビット深度分割部３０１は、ステップＳ５０１の処理により検出された非ゼロ係数境界を含む位置で入力画像をビット深度方向に（Ｎ＋１）分割し、ステップＳ５０３において、分割情報を生成する。
【０２３５】
なお、上述したように、非ゼロ係数境界が最上位ビットとなる場合、ビット深度分割部３０１は、ステップＳ５０２において、非ゼロ係数境界を除く位置で入力画像をビット深度方向にＮ分割する。
【０２３６】
ステップＳ５０４において、各エンコード部１０２は、分割された画像のうち、最上位の画像（ゼロ係数画像）を除く、分割後の各画像を符号化する。ステップＳ５０５において、コードストリーム多重化部３０３は、ステップＳ５０４の処理により生成された各コードストリームと分割情報を多重化する。ステップＳ５０５の処理が終了すると、コードストリーム多重化部３０３は、ビット深度分割符号化処理を終了する。
【０２３７】
以上のように、符号化装置５００は、ゼロビットの符号化を省略することにより、より効率よく符号化を行うことができる。
【０２３８】
＜７．第７の実施の形態＞
［復号装置の構成］
次に、符号化装置５００に対応する復号装置について説明する。図２８は、本発明を適用した復号装置の主な構成例を示すブロック図である。図２８に示される復号装置５５０は、符号化装置５００に対応し、符号化装置５００により生成されたコードストリームを正しく復号する。
【０２３９】
図２２に示されるように、復号装置５５０は、基本的に図２２を参照して説明した第４の実施の形態の復号装置３５０と同様の構成を有し、同様の処理を行う。
【０２４０】
ただし、復号装置５５０は、ビット深度合成部３５３の代わりにビット深度合成部５５３を有し、多重化構造解析部３５４の代わりに多重化構造解析部５５４を有し、さらに、ゼロ係数生成部５５５を有する。
【０２４１】
多重化構造解析部５５４は、符号化装置５００から供給されるコードストリーム５６１の構造を解析し、分割情報５６２を抽出し、それをコードストリーム分離部３５１とゼロ係数生成部５５５に供給する。また、多重化構造解析部５５４は、分割情報５６２が抽出されたコードストリームである符号化データ５６３をコードストリーム分離部３５１に供給する。
【０２４２】
コードストリーム分離部３５１は、分割情報５６２に基づいて、符号化データ５６３を分割し、多重化前の、複数の（Ｎ系統の）コードストリームを生成する。コードストリーム分離部３５１は、分離した各コードストリームを、それぞれに対応するデコード部２０２に供給する。
【０２４３】
例えば、コードストリーム分離部３５１は、Ｎ系統のコードストリームのうち、上位側から１番目のビット群により構成される画像から生成されたコードストリーム５６４をデコード部２０２−１に供給し、上位側から２番目のビット群により構成される画像から生成されたコードストリーム５６５をデコード部２０２−２に供給する。さらに、コードストリーム分離部３５１は、上位側からＮ番目のビット群により構成される画像から生成されたコードストリーム５６６をデコード部２０２−Ｎに供給する。
【０２４４】
各デコード部２０２は、供給されたコードストリームを復号し、生成した復号画像（復号画像５６８乃至復号画像５７０）をビット深度合成部３５３に供給する。
【０２４５】
ゼロ係数生成部５５５は、多重化構造解析部５５４から供給される分割情報に基づいて、ゼロ係数画像を生成する。ゼロ係数生成部５５５は、分割情報において指定される分割位置の中で最上位の分割位置より上位のビットで構成される画像を生成する。
【０２４６】
第６の実施の形態において説明したように、符号化装置５００は、ビット深度方向の最上位ビットから連続するゼロビットの符号化を省略する。ゼロ係数生成部５５５は、その符号化が省略されたゼロ係数画像を生成する。
【０２４７】
ゼロ係数生成部５５５は、生成したゼロ係数画像５６７をビット深度合成部５５３に供給する。
【０２４８】
ビット深度合成部５５３は、供給された各復号画像およびゼロ係数画像を、そのビット深度方向に合成し、符号化装置５００の入力画像と同じビット深度の１系統の復号画像５７１を生成する。
【０２４９】
［ビット深度分割復号処理の流れ］
次に、図２９のフローチャートを参照して、この場合のビット深度分割復号処理の流れの例を説明する。
【０２５０】
ビット深度分割復号処理が開始されると、ステップＳ５５１において、多重化構造解析部５５４が、多重化構造を解析し、分割位置を特定する。ステップＳ５５２において、コードストリーム分離部３５１は、ステップＳ５５１において特定された分割位置に基づいて、多重化されたコードストリームをＮ分割する。
【０２５１】
ステップＳ５５３において、デコード部２０２は、分割後の各コードストリームを復号する。ステップＳ５５４において、ゼロ係数生成部５５５は、分割情報に基づいて、符号化前の状態においてゼロ係数画像が存在したか否かを判定する。
【０２５２】
最上位の分割位置が最上位ビットでなく、ゼロ係数画像が存在したと判定された場合、ゼロ係数生成部５５５は、処理をステップＳ５５５に進め、最上位の分割位置より上位のビット（ゼロビット）で構成されるゼロ係数画像を生成する。ゼロ係数画像を生成するとゼロ係数生成部５５５は、処理をステップＳ５５６に進める。
【０２５３】
また、ステップＳ５５４において、最上位の分割位置が最上位ビットであり、ゼロ係数画像が存在しなかったと判定された場合、ゼロ係数生成部５５５は、ステップＳ５５５の処理を省略し、処理をステップＳ５５６に進める。
【０２５４】
ステップＳ５５６において、ビット深度合成部５５３は、各画像データをビット深度方向に合成し、ビット深度分割復号処理を終了する。
【０２５５】
以上のようにして、復号装置５５０は、符号化装置５００により生成された、ゼロ係数画像の符号化が省略されたコードストリームを正しく復号することができる。したがって、復号装置５５０は、画像の符号化における符号化効率を向上させることができる。
【０２５６】
なお、符号化装置５００のエンコード部１０２がJPEG2000方式で符号化を行う場合、最上位ビットから連続する値がゼロの係数をゼロビットプレーンとし、その符号化を省略する。従って、この場合、ゼロデータを含めた全部の係数を符号化しても、スキップした場合に比べて大きなオーバーヘッドには成り難い。
【０２５７】
＜８．第８の実施の形態＞
［符号化装置の構成］
以上においては、分割された各ビット深度画像を全て符号化するように説明したが、これに限らず、分割後の各画像を符号化するか否かを選択することができるようにしてもよい。
【０２５８】
例えば、下位ビットの画像になるほどノイズ成分が多く含まれる可能性が高く、符号化効率が向上しにくい（圧縮効果が少ない）傾向がある。このように符号化効率が低い画像を符号化しても処理の負荷や処理時間が不要に増大するのみである。さらに、場合によっては、符号化することでデータ量が増大することも考えられる。
【０２５９】
そこで、符号化を行うか否かを、分割後の画像毎に選択することができるようにし、効果の薄い不要な符号化を省略することができるようにする。
【０２６０】
図３０は、本発明を適用した符号化装置の主な構成例を示すブロック図である。図３０に示される符号化装置６００は、基本的に上述した図２０の符号化装置３００と同様の符号化装置であるが、各エンコード部１０２による符号化前後のデータのいずれか一方を選択する選択部６０１を有する。また、符号化装置６００は、コードストリーム多重化部３０３の代わりにデータ多重化部６０３を有する。
【０２６１】
ビット深度分割部３０１は、入力画像６１１をビット深度方向にＮ分割すると、その分割情報６１２をデータ多重化部６０３に供給するとともに、分割後の各画像を、それぞれに対応するエンコード部１０２および選択部６０１に供給する。
【０２６２】
例えば、ビット深度分割部３０１は、Ｎ系統の分割後の画像のうち、上位側から１番目の画像６１３をエンコード部１０２−１および選択部６０１−１に供給し、上位側から２番目の画像６１４をエンコード部１０２−２および選択部６０２−２に供給する。さらに、ビット深度分割部３０１は、上位側からＮ番目の画像６１５をエンコード部１０２−Ｎに供給する。
【０２６３】
エンコード部１０２は、供給された画像データを符号化し、生成したコードストリーム（コードストリーム６１６乃至コードストリーム６１８）を、対応する選択部６０１（選択部６０１−１乃至選択部６０１−Ｎ）に供給する。
【０２６４】
選択部６０１−１乃至選択部６０１−Ｎは、エンコード部１０２による符号化の前の画像データと、エンコード部１０２により符号化された後のコードストリームのうちいずれか一方を選択し、選択した方をデータ多重化部６０３に供給する。以下において、選択部６０１−１乃至選択部６０１−Ｎを互いに区別して説明する必要が無い場合、単に選択部６０１と称する。
【０２６５】
この選択部６０１は、供給される符号化前後のデータのデータ量を比較し、その結果に基づいていずれか一方を選択する。例えば、符号化後のコードストリームのデータサイズが、符号化前の画像データのデータサイズ以上である場合、選択部６０１は、符号化前の画像データを選択する。
【０２６６】
また、例えば、符号化後のコードストリームのデータサイズが、符号化前の画像データのデータサイズより小さい場合、選択部６０１は、符号化後のコードストリームを選択する。
【０２６７】
データ多重化部６０３は、供給されたデータを多重化し、１系統のデータとして出力する。
【０２６８】
［ビット深度分割符号化処理の流れ］
図３１のフローチャートを参照して、この場合のビット深度分割符号化処理の流れの例を説明する。
【０２６９】
ビット深度分割符号化処理が開始されると、ビット深度分割部３０１は、ステップＳ６０１において入力画像をビット深度方向にＮ分割し、ステップＳ６０２において分割情報を生成する。
【０２７０】
ステップＳ６０３において、各エンコード部１０２および各選択部６０１は、分割後の各画像を符号化し、符号化前の画像データおよび符号化後のコードストリームのいずれか一方を選択する選択符号化処理を行う。
【０２７１】
ステップＳ６０４において、データ多重化部６０３は、ステップＳ６０３の処理により選択された各コードストリーム若しくは各画像データと、分割情報とを多重化し、ビット深度分割符号化処理を終了する。
【０２７２】
［選択符号化処理の流れ］
次に、図３２のフローチャートを参照して、図３１のステップＳ６０３において実行される選択符号化処理の流れの例を説明する。
【０２７３】
選択符号化処理が開始されると、ステップＳ６２１において、エンコード部１０２は、供給された分割後の画像を符号化する。選択部６０１は、ステップＳ６２２において、符号化前後のデータ量を比較し、ステップＳ６２３において、データ量の少ない方を選択する。
【０２７４】
ステップＳ６２３の処理が終了すると選択部６０１は、選択符号化処理を終了し、処理を図３１のステップＳ６０３に戻し、ステップＳ６０４以降の処理を実行させる。
【０２７５】
以上のようにすることにより、符号化装置５００は、効果が少ない不要な符号化を省略し、符号化処理の負荷を低減させることができる。さらに、画像によっては、コードストリームの符号量を低減させることもできる。つまり、符号化装置５００は、より容易に、符号化効率を向上させることができる。
【０２７６】
＜９．第９の実施の形態＞
［復号装置の構成］
次に、符号化装置６００に対応する復号装置について説明する。図３３は、本発明を適用した復号装置の主な構成例を示すブロック図である。図３３に示される復号装置６５０は、符号化装置６００に対応し、符号化装置６００により生成されたコードストリームを正しく復号する。
【０２７７】
図３３に示されるように、復号装置６５０は、基本的に図２２を参照して説明した第４の実施の形態の復号装置３５０と同様の構成を有し、同様の処理を行う。
【０２７８】
ただし、復号装置６５０は、コードストリーム分離部３５１の代わりにデータ分離部６５１を有し、ビット深度合成部３５３の代わりにビット深度合成部６５３を有し、さらに、判定部６５２−１乃至判定部６５２−Ｎを有する。以下において、判定部６５２−１乃至判定部６５２−Ｎを互いに区別して説明する必要が無い場合、単に判定部６５２と称する。
【０２７９】
データ分離部６５１は、分割情報６６２に基づいて、符号化装置６００から供給されるデータ６６１（コードストリーム）から分割情報６６２を抽出したデータ５６３を分割し、多重化前の、複数の（Ｎ系統の）データを生成する。データ分離部６５１は、分離した各データ（データ６６４乃至データ６６６）を、それぞれに対応する判定部６５２に供給する。
【０２８０】
各判定部６５２は、供給された各データ（データ６６４乃至データ６６６）が符号化されたコードストリームであるか、符号化されていない画像データであるかを判定する。各判定部６５２は、供給されたデータが符号化されたコードストリームであると判定された場合、それを、対応するデコード部２０２に供給する（コードストリーム６６７、コードストリーム６６９、およびコードストリーム６７１）。また、供給された各データが符号化されていない画像データであると判定された場合、それを、ビット深度合成部６５３に供給する（画像データ６６８、画像データ６７０、および画像データ６７２）。
【０２８１】
各デコード部２０２は、供給されたコードストリーム（コードストリーム６６７、コードストリーム６６９、若しくはコードストリーム６７１）を復号し、復号画像（復号画像６７３、復号画像６７４、若しくは復号画像６７５）をビット深度合成部６５３に供給する。
【０２８２】
ビット深度合成部６５３は、供給される各種データをビット深度方向に合成し、１系統のデータ６７６として出力する。
【０２８３】
［ビット深度分割復号処理の流れ］
次に、図３４のフローチャートを参照して、ビット深度分割復号処理の流れの例を説明する。
【０２８４】
ビット深度分割復号処理が開始されると、ステップＳ６５１において、多重化構造解析部５５４が、符号化装置６００から供給されるデータ６６１の多重化構造を解析し、分割情報６６２を抽出し、分割位置等を特定する。ステップＳ６５２において、データ分離部６５１は、ステップＳ６５１において抽出された分割情報６６２に基づいて、分割情報６６２が抽出されたデータ６６３をＮ分割する。
【０２８５】
ステップＳ６５３において、判定部６５２およびデコード部２０２は、分割後のデータ（データ６６４乃至データ６６６）が、符号化されたコードストリームであるか否かを判定し、コードストリームであると判定された場合のみ、そのコードストリームを復号する判定復号処理を行う。
【０２８６】
ステップＳ６５４において、ビット深度合成部６５３は、ステップＳ６５３の処理により得られた画像データを、ビット深度方向に合成し、１系統の復号画像６７６を生成し、ビット深度分割復号処理を終了する。
【０２８７】
［判定復号処理の流れ］
次に、図３４のステップＳ６５３において実行される判定復号処理の流れの例を図３５のフローチャートを参照して説明する。
【０２８８】
判定復号処理が開始されると、判定部６５２は、ステップＳ６７１において、供給されたデータが符号化されているか否かを判定する。符号化されていると判定された場合、ステップＳ６７２に処理を進める。ステップＳ６７２において、デコード部２０２は、分割後のコードストリームを復号し、判定復号処理を終了する。
【０２８９】
また、ステップＳ６７１において、符号化されていないと判定された場合、判定部６５２は、ステップＳ６７２の処理を省略し、判定復号処理を終了する。
【０２９０】
判定復号処理が終了されると、判定部６５２は、処理を図３４のステップＳ６５３に戻し、それ以降の処理を繰り返す。
【０２９１】
以上のようにして、復号装置６５０は、符号化装置６００により生成されたデータを正しく復号することができる。したがって、復号装置６５０は、より容易に、画像の符号化における符号化効率を向上させることができる。
【０２９２】
＜１０．第１９の実施の形態＞
［符号化装置の構成］
以上においては、各エンコード部１０２での符号化方式は予め定められており、各エンコード部１０２には、１個のエンコーダ（例えばJPEG2000エンコーダ）が設けられるように説明したが、これに限らず、各エンコード部１０２が互いに異なる符号化方式の複数のエンコーダを有し、採用する符号化方式を適宜選択することができるようにしてもよい。
【０２９３】
現在、符号化方式として様々な方法が存在する。例えば、JPEG2000以外にもLossless圧縮用としてはJPEG-LSやLZ77などの技術がある。またLossy圧縮用としてもMPEG系やJPEG等がある。各符号化方式は、互いに異なる特徴を有しており、符号化対象の画像や、符号化パラメータ等の各種条件によって、効率よく符号化を行うことができる場合とできない場合とがある。
【０２９４】
符号化装置が、分割した画像毎に、これらの符号化方式の中から最も効率のよい符号化方式を選択することができるようにし、より効率よく符号化を行うことができるようにしてもよい。
【０２９５】
図３６は、本発明を適用した符号化装置のエンコード部１０２の主な構成例を示すブロック図である。図３６に示されるように、この場合のエンコード部１０２は、内部に、エンコード部７０１−１乃至エンコード部７０１−３、並びに、選択部７０２を有する。
【０２９６】
エンコード部７０１−１乃至エンコード部７０１−３は、互いに異なる符号化方式で符号化を行う。エンコード部７０１−１乃至エンコード部７０１−３は、供給された画像データ７１１を、それぞれの符号化方式で符号化し、生成したコードストリーム（コードストリーム７１２乃至コードストリーム７１４）を選択部７０２に供給する。
【０２９７】
以下において、エンコード部７０１―１乃至エンコード部７０１−３を互いに区別して説明する必要が無い場合、単にエンコード部７０１と称する。
【０２９８】
このように、３つの符号化方式でコードストリームが生成されると、選択部７０２は、この３つのコードストリームのデータサイズを比較し、データサイズが最小となるコードストリームを選択する。
【０２９９】
選択部７０２は、選択したコードストリーム７１６をコードストリーム多重化部１０３、コードストリーム多重化部３０３、若しくは選択部６０１に供給する。また、選択部７０２は、そのコードストリームとともに、どの符号化方式を選択したかを示す選択情報７１５を、コードストリーム多重化部１０３、コードストリーム多重化部３０３、若しくは選択部６０１に供給する。この選択情報７１５は、コードストリームとともに多重化される。
【０３００】
なお、エンコード部７０１の数（用意される符号化方式の数）は任意であり、２つであってもよいし、４つ以上であってもよい。また、エンコード部７０１の数は、エンコード部１０２毎に独立して設定することができる。
【０３０１】
［選択符号化処理の流れ］
図３７のフローチャートを参照して、この場合のエンコード部１０２により実行される選択符号化処理の流れの例を説明する。
【０３０２】
選択符号化処理が開始されると、ステップＳ７０１において、エンコード部７０１は、予め用意された符号化方式の中から未処理の符号化方式を選択する。ステップＳ７０２において、エンコード部７０１は、選択された符号化方式で画像データ７１１を符号化する。ステップＳ７０３において、エンコード部７０１は、予め用意された符号化方式の全てで符号化したか否かを判定し、未処理の符号化方式が存在すると判定された場合、処理をステップＳ７０１に戻し、それ以降の処理を繰り返す。
【０３０３】
また、ステップＳ７０３において、全ての符号化方式で符号化を行ったと判定された場合、エンコード部７０１は、処理をステップＳ７０４に進める。
【０３０４】
ステップＳ７０４において、選択部７０２は、生成されたコードストリームのデータサイズを比較し、データサイズが最小のコードストリーム（符号化方式）を選択する。ステップＳ７０５において、選択部７０２は、その選択情報を生成する。ステップＳ７０６において、選択部７０２は、ステップＳ７０４の処理により選択したコードストリーム、および、ステップＳ７０５の処理により生成した選択情報を出力し、選択符号化処理を終了する。
【０３０５】
このようにすることにより、エンコード部１０２は、より効率よく符号化を行うことができる。つまり、上述した符号化装置１００、符号化装置３００、符号化装置４００、符号化装置５００、および符号化装置６００は、このようなエンコード部１０２を採用することにより、より多様な画像や符号化条件等に対して、より効率よく符号化を行うことができる。
【０３０６】
＜１１．第１１の実施の形態＞
［復号装置の構成］
次に、このようなエンコード部１０２に対応するデコード部２０２について説明する。図３８は、本発明を適用した復号装置のデコード部２０２の主な構成例を示すブロック図である。図３８に示されるデコード部２０２は、図３６に示されるエンコード部１０２に対応し、図３６のエンコード部１０２により生成されたコードストリームを正しく復号する。
【０３０７】
図３８に示されるように、デコード部２０２は、判定部７５１、並びに、デコード部７５２−１乃至デコード部７５２−３を有する。
【０３０８】
この場合、符号化装置から供給されるコードストリームには、上述した選択情報も多重化されている。したがって、前段のコードストリーム分離部は、コードストリームを分割する際に、選択情報も抽出する。判定部７５１は、コードストリーム分離部を介して供給される選択情報７６１に基づいて、供給されるコードストリーム７６２の符号化方式を判定する。
【０３０９】
デコード部７５２−１乃至デコード部７５２−３は、互いに異なる復号方式でコードストリームを復号する。以下において、デコード部７５２−１乃至デコード部７５２−３を互いに区別して説明する必要が無い場合、単にデコード部７５２と称する。
【０３１０】
判定部７５１は、供給されるコードストリーム７６２の符号化方式を判定すると、そのコードストリームを、デコード部７５２−１乃至デコード部７５２−３のうち、その符号化方式に対応する復号方式のデコード部７５２に供給する（コードストリーム７６３乃至コードストリーム７６５）。
【０３１１】
コードストリームを供給されたデコード部７５２は、供給されたコードストリームを復号し、生成した復号画像７６６を出力する。
【０３１２】
なお、デコード部７５２の数（用意される復号方式の数）は任意であり、２つであってもよいし、４つ以上であってもよい。また、デコード部７５２の数は、デコード部２０２毎に独立して設定することができる。
【０３１３】
［判定復号処理の流れ］
次に、図３９のフローチャートを参照して、このデコード部２０２による判定復号処理の流れの例を説明する。
【０３１４】
判定復号処理が開始されると、ステップＳ７５１において、判定部７５１は、選択情報に基づいて、供給されるコードストリームの符号化方式を判定する。ステップＳ７５２において、デコード部７５２は、ステップＳ７５１の処理により判定された符号化方式に対応する復号方式でコードストリームを復号し、判定復号処理を終了する。
【０３１５】
このようにすることにより、デコード部２０２は、図３６のエンコード部１０２により符号化されたコードストリームを正しい復号方式で復号することができる。また、デコード部２０２は、エンコード部１０２から供給される選択情報により、容易に正しい復号方式を判定することができる。
【０３１６】
つまり、上述した復号装置２００、復号装置３５０、復号装置５５０、および復号装置６５０は、このようなデコード部２０２を採用することにより、より多様な画像や符号化条件等に対して、符号化効率を向上させることができる。
【０３１７】
＜１２．第１２の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図４０に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０３１８】
図４０において、パーソナルコンピュータ８００のCPU（Central Processing Unit）８０１は、ROM（Read Only Memory）８０２に記憶されているプログラム、または記憶部８１３からRAM（Random Access Memory）８０３にロードされたプログラムに従って各種の処理を実行する。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３１９】
CPU８０１、ROM８０２、およびRAM８０３は、バス８０４を介して相互に接続されている。このバス８０４にはまた、入出力インタフェース８１０も接続されている。
【０３２０】
入出力インタフェース８１０には、キーボード、マウスなどよりなる入力部８１１、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等のディスプレイ、並びにスピーカなどよりなる出力部８１２、フラッシュメモリ等SSD（Solid State Drive）やハードディスクなどよりなる記憶部８１３、有線LAN（Local Area Network）や無線LANのインタフェースやモデムなどよりなる通信部８１４が接続されている。通信部８１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０３２１】
入出力インタフェース８１０にはまた、必要に応じてドライブ８１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部８１３にインストールされる。
【０３２２】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０３２３】
この記録媒体は、例えば、図４０に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM８０２や、記憶部８１３に含まれるハードディスクなどにより構成される。
【０３２４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３２５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３２６】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０３２７】
また、以上において、１つの装置（または処理部）として説明した構成が、複数の装置（または処理部）として構成されるようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成が、まとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成が付加されるようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部が他の装置（または他の処理部）の構成に含まれるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０３２８】
本発明は、例えば、３Ｄデジタルシネマ用編集装置、３Ｄアーカイブシステム、放送局の３Ｄ画像伝送装置、３Ｄ画像データベース、３Ｄ医用画像の記録システム、３Ｄゲーム機、テレビ受像機システム、３Ｄ対応のBlu Ray Discレコーダ若しくはプレイヤ、自由視点テレビ、臨場感TV会議システム、パーソナルコンピュータ等にインストールされるオーサリング・ツールまたはそのソフトウェア・モジュール等に適用することができる。
【符号の説明】
【０３２９】
１００ 符号化装置， １０１ ビット深度分割部， １０２ エンコード部， １０３ コードストリーム多重化部， ２００ 復号装置， ２０１ コードストリーム分離部， ２０２ デコード部， ２０３ ビット深度合成部， ３００ 符号化装置， ３０１ ビット深度分割部， ３０３ コードストリーム多重化部， ３５０ 復号装置， ３５１ コードストリーム分離部， ３５３ ビット深度合成部， ３５４ 多重化構造解析部， ４００ 符号化装置， ４０１ ビットレート割り当て部， ５００ 符号化装置， ５０１ ビット深度分割部， ５０２ 非ゼロ係数境界検出部， ５５０ 復号装置， ５５３ ビット深度合成部， ５５４ 多重化構造解析部， ５５５ ゼロ係数生成部， ６００ 符号化装置， ６０１ 選択部， ６０３ データ多重化部， ６５０ 復号装置， ６５１ データ分離部， ６５２ 判定部， ６５３ ビット深度合成部， ７０１ エンコード部， ７０２ 選択部， ７５１ 判定部， ７５２ デコード部
【技術分野】
【０００１】
本発明は、画像処理装置および方法に関し、特に、画像の符号化における符号化効率を向上させることができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
画像の高画質化へのニーズの高まりを受けて、標準画像からHDTV（High Definition Television）画像、更にデジタルシネマの４ｋ×２ｋ画像といった、より高解像度化の動きがある。それとともに画像の高ビット深度化も進んでいる。例えば、画像の撮像素子では１２ビット以上のビット深度の画像を取得できるものがある。さらに、液晶ディスプレイでも１０ビット以上の階調を表現できるものがある。
【０００３】
これに対して、画像の符号化方式においては、例えば、動画向けのMPEG（Moving Picture Experts Group）-2や静止画向けのJPEG（Joint Photographic Experts Group）等の画像符号化方式では、ビット深度が８ビットまでの画像にしか対応していない。しかしながら、例えばAVC（Advanced Video Coding）のHigh ProfileやJPEG2000では８ビット以上のビット深度に対応している。
【０００４】
また、例えば、ビット深度変換処理と逆ビット深度変換処理を伴う２段階の構成によって符号化を行うことにより、高ビット深度の画像をより効率よく符号化する方法が考えられた（例えば、特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】伊藤健，坂東幸浩，高村誠之，上倉一人，八島由幸”ビット深度変換処理を用いた高ビット深度画像の符号化に関する基礎検討”，電子情報通信学会総合大会，ｓ−５，2009
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、この場合、ビット変換処理後の画像と差分画像の両方に対して符号化が２つ必要になるので、計算処理が複雑になり、符号化の負荷が増大する恐れがあった。また、復号画像の画質が、上述した変換・逆変換処理の精度に依存する恐れがあった。
【０００７】
本発明は、このような状況に鑑みて提案されたものであり、画像の符号化における符号化効率を向上させることができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面は、画像をビット深度方向に複数に分割する分割手段と、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、それぞれ符号化する符号化手段とを備える画像処理装置である。
【０００９】
前記分割手段による前記画像の分割数、および、前記分割手段により分割が行われるビット位置を示す分割位置を少なくとも示す分割情報を生成する分割情報生成手段をさらに備えることができる。
【００１０】
前記符号化手段は、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、画像毎に設定される符号化方式により符号化することができる。
【００１１】
前記符号化手段は、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、前記画像毎に設定されるレベル数でウェーブレット変換し、得られた係数データを符号化することができる。
【００１２】
前記符号化手段による、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうちの一部または全部の画像のそれぞれに対する符号化に対して、目標ビットレートを割り当てるビットレート割り当て手段をさらに備え、前記符号化手段は、前記ビットレート割り当て手段により割り当てられた前記目標ビットレートを用いて、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像の符号化のレート制御を行うことができる。
【００１３】
前記画像のビット深度において、最上位ビットから連続する値がゼロのビットと、非ゼロのビットとの境界である非ゼロ係数境界を検出する非ゼロ係数境界検出手段をさらに備え、前記符号化手段は、前記非ゼロ係数境界検出手段により検出された前記ゼロ係数境界より上位のビットで構成される画像の符号化を省略することができる。
【００１４】
前記符号化手段により符号化される前後のデータサイズに応じて、符号化するか否かを、前記分割手段により前記ビット深度方向に分割されて得られる画像毎に選択する選択手段をさらに備えることができる。
【００１５】
前記符号化手段による符号化の符号化方式を、前記分割手段により前記ビット深度方向に分割されて得られる画像毎に選択する選択手段をさらに備えることができる。
【００１６】
前記符号化手段により、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像が符号化されて得られる各コードストリームを多重化する多重化手段をさらに備えることができる。
【００１７】
本発明の一側面は、また、画像処理装置の画像処理方法であって、画像処理装置の画像処理方法であって、分割手段が、画像をビット深度方向に複数に分割し、符号化手段が、前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、それぞれ符号化する画像処理方法である。
【００１８】
本発明の他の側面は、互いに同一の画像からビット深度方向に分割されて生成された複数の画像がそれぞれ符号化され、得られた前記画像毎のコードストリームが多重化された、１系統のコードストリームを、前記画像毎のコードストリーム毎に分離する分離手段と、前記分離手段により１系統のコードストリームが分離されて得られた前記画像毎のコードストリームを、それぞれ復号する復号手段とを備える画像処理装置である。
【００１９】
前記１系統のコードストリームの構造を解析する構造解析手段をさらに備え、
前記分離手段は、前記構造解析手段による前記構造の解析結果に基づいて、前記１系統のコードストリームを分離することができる。
【００２０】
前記構造解析手段は、前記１系統のコードストリームに含まれる、前記ビット深度方向に画像を分割した時の画像の分割数および分割が行われるビット位置を示す分割位置を少なくとも示す分割情報を抽出し、前記分離手段は、前記構造解析手段により前記１系統のコードストリームから抽出された前記分割情報に基づいて、前記１系統のコードストリームを分離することができる。
【００２１】
前記画像毎のコードストリームは、各画像毎に設定された符号化方式で符号化されており、前記復号手段は、各符号化方式に対応する復号方式で、前記画像毎のコードストリームを復号することができる。
【００２２】
前記画像毎のコードストリームは、各画像毎に設定されたレベル数でウェーブレット変換され、得られた係数データが符号化されており、前記復号手段は、前記画像毎のコードストリームを復号し、得られた係数データを、各画像毎に設定された前記レベル数で逆ウェーブレット変換することができる。
【００２３】
前記画像毎のコードストリームの符号化時に削除された、前記画像のビット深度において最上位ビットから連続する値がゼロのビットを生成するゼロ係数生成手段をさらに備えることができる。
【００２４】
前記分離手段は、互いに同一の画像からビット深度方向に分割されて生成された複数の画像から生成された前記画像毎のデータが多重化された、１系統のデータを、前記画像毎のデータ毎に分離し、前記分離手段により分離された前記画像毎のデータが符号化されているか否かを判定する判定手段をさらに備え、前記復号手段は、前記判定手段により符号化されていると判定された前記画像毎のデータを復号することができる。
【００２５】
前記画像毎のコードストリームのそれぞれの符号化方式を示す符号化方式情報に基づいて、前記画像毎のコードストリームのそれぞれの復号方式を判定する判定手段をさらに備え、前記復号手段は、前記画像毎のコードストリームを、それぞれ、前記判定手段により判定された復号方式で復号することができる。
【００２６】
前記復号手段により復号されて得られた各画像を、前記ビット深度方向に合成するビット深度合成手段をさらに備えることができる。
【００２７】
本発明の他の側面は、また、画像処理装置の画像処理方法であって、分離手段が、互いに同一の画像からビット深度方向に分割されて生成された複数の画像がそれぞれ符号化され、得られた前記画像毎のコードストリームが多重化された、１系統のコードストリームを、前記画像毎のコードストリーム毎に分離し、復号手段が、１系統のコードストリームが分離されて得られた前記画像毎のコードストリームを、それぞれ復号する画像処理方法である。
【００２８】
本発明の一側面においては、画像がビット深度方向に複数に分割され、画像がビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像が、それぞれ符号化される。
【００２９】
本発明の他の側面においては、互いに同一の画像からビット深度方向に分割されて生成された複数の画像がそれぞれ符号化され、得られた画像毎のコードストリームが多重化された、１系統のコードストリームが、画像毎のコードストリーム毎に分離され、１系統のコードストリームが分離されて得られた画像毎のコードストリームが、それぞれ復号される。
【発明の効果】
【００３０】
本発明によれば、画像を処理することができる。特に、符号化効率を向上させることができる。
【図面の簡単な説明】
【００３１】
【図１】従来の符号化装置を説明するブロック図である。
【図２】本発明を適用した符号化装置の主な構成例を示すブロック図である。
【図３】符号化の概要を説明する図である。
【図４】JPEG2000エンコード部の主な構成例を示すブロック図である。
【図５】サブバンドの構成例を示す図である。
【図６】サブバンドの構成例を示す図である。
【図７】各サブバンド中のコードブロックの例を示す図である。
【図８】ビットプレーンの例を説明する図である。
【図９】符号化パスの例を説明する図である。
【図１０】係数の走査の例を説明する図である。
【図１１】レイヤを説明する図である。
【図１２】レイヤの構成例を説明する図である。
【図１３】ビット深度分割符号化処理の流れの例を説明するフローチャートであるである。
【図１４】符号化処理の流れの例を説明するフローチャートであるである。
【図１５】本発明を適用した復号装置の主な構成例を示すブロック図である。
【図１６】復号の概要を説明する図である。
【図１７】JPEG2000デコード部の主な構成例を示すブロック図である。
【図１８】ビット深度分割復号処理の流れの例を説明するフローチャートである。
【図１９】復号処理の流れの例を説明するフローチャートである。
【図２０】本発明を適用した符号化装置の主な構成例を示すブロック図である。
【図２１】ビット深度分割符号化処理の流れの例を説明するフローチャートである。
【図２２】本発明を適用した復号装置の主な構成例を示すブロック図である。
【図２３】ビット深度分割復号処理の流れの例を説明するフローチャートである。
【図２４】本発明を適用した符号化装置の主な構成例を示すブロック図である。
【図２５】ビット深度分割符号化処理の流れの例を説明するフローチャートである。
【図２６】本発明を適用した符号化装置の主な構成例を示すブロック図である。
【図２７】ビット深度分割符号化処理の流れの例を説明するフローチャートである。
【図２８】本発明を適用した復号装置の主な構成例を示すブロック図である。
【図２９】ビット深度分割復号処理の流れの例を説明するフローチャートである。
【図３０】本発明を適用した符号化装置の主な構成例を示すブロック図である。
【図３１】ビット深度分割符号化処理の流れの例を説明するフローチャートである。
【図３２】選択符号化処理の流れの例を説明するフローチャートである。
【図３３】本発明を適用した復号装置の主な構成例を示すブロック図である。
【図３４】ビット深度分割復号処理の流れの例を説明するフローチャートである。
【図３５】判定復号処理の流れの例を説明するフローチャートである。
【図３６】JPEG2000エンコード部の主な構成例を示すブロック図である。
【図３７】選択符号化処理の流れの例を説明するフローチャートである。
【図３８】JPEG2000デコード部の主な構成例を示すブロック図である。
【図３９】判定復号処理の流れの例を説明するフローチャートである。
【図４０】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（符号化装置）
２．第２の実施の形態（復号装置）
３．第３の実施の形態（符号化装置）
４．第４の実施の形態（復号装置）
５．第５の実施の形態（符号化装置）
６．第６の実施の形態（符号化装置）
７．第７の実施の形態（復号装置）
８．第８の実施の形態（符号化装置）
９．第９の実施の形態（復号装置）
１０．第１０の実施の形態（符号化装置）
１１．第１１の実施の形態（復号装置）
１２．第１２の実施の形態（パーソナルコンピュータ）
【００３３】
＜１．第１の実施の形態＞
［従来の画像符号化］
最初に、従来の画像符号化について説明する。
【００３４】
図１に示される符号化装置１０は、Ｎビットの入力画像を、符号化する装置である。図１に示されるように、符号化装置１０は、ビット深度変換処理部１１、符号化部１２、復号部１３、逆ビット深度変換処理部１４、演算部１５、および符号化部１６を有する。
【００３５】
ビット深度がＮビットの入力画像２１が入力されると、ビット深度変換処理部１１は、その入力画像のビット深度を変換し、ビット深度が（Ｎ−Δ）ビットの画像２２を生成し、それを符号化部１２に供給する。
【００３６】
符号化部１２は、ビット深度変換処理部１１から供給されるビット深度が（Ｎ−Δ）ビットの画像２２に対して所定の符号化を行い、生成された符号化コードストリーム２３を復号部１３に供給する。
【００３７】
復号部１３は、供給された符号化コードストリーム２３を復号し、復号画像２４を逆ビット深度変換処理部１４に供給する。逆ビット深度変換処理部１４は、復号画像２４に対して逆ビット深度変換処理を行ってＮビットの復号画像２５を生成し、それを演算部１５に供給する。
【００３８】
演算部１５は、Ｎビットの入力画像２１とＮビットの復号画像２５との差分画像２６を生成し、それを符号化部１６に供給する。符号化部１６は、差分画像２６を符号化し、符号化コードストリーム２７を生成するとそれを符号化装置１０の外部に出力する。
【００３９】
また、符号化部１２は、（Ｎ−Δ）ビットの符号化コードストリーム２８を符号化装置１０の外部に出力する。
【００４０】
以上の様に、従来の符号化装置１０は、高ビット深度の画像（Ｎビット）を１度、より低ビット深度の画像（（Ｎ−Δ）ビット）に変換してから例えば、（Ｎ−Δ）ビットに対応できるMPEG（Moving Picture Experts Group）-2やJPEG（Joint Photographic Experts Group）などの国際標準化方式の符号化を行う。
【００４１】
このような従来の符号化装置１０の場合、入力画像２１がＮビット画像で、逆ビット深度変換後の復号画像２５もＮビット画像であるので、両者の差分画像のビット深度は（Ｎ＋１）ビットになって元々のビット深度よりも多くなってしまう。従って、符号化部１６が、より高ビット深度に対応する符号化方式で符号化しなければならない。
【００４２】
また、差分画像２６の情報量が十分に小さければ、全体としての圧縮効果は高いものの、差分画像２６の情報量は、ビット深度変換処理部１１や逆ビット深度変換処理部１４の性能に依存する。つまり、従来の符号化装置１０では、復号画像の画質が、ビット深度変換処理部１１や逆ビット深度変換処理部１４の性能に依存する恐れがあった。
【００４３】
［符号化装置の構成］
図２は、本発明を適用した符号化装置の主な構成例を示すブロック図である。
【００４４】
図２に示される符号化装置１００は、入力画像を符号化し、そのコードストリームを出力する装置である。ただし、符号化装置１００は、入力画像のビット深度が９ビット以上の高ビット深度であっても、効率よく符号化を行うことができるように、入力画像をそのビット深度方向に２分割して符号化を行う。
【００４５】
もちろん、符号化装置１００は、任意のビット深度の入力画像を符号化することができるが、特に、よりビット深度の大きな入力画像を、高能率に符号化することができる。以下においては、説明の便宜上、ビット深度９ビット以上を高ビット深度と称し、８ビット以下を低ビット深度と称する。
【００４６】
図２に示されるように、符号化装置１００は、ビット深度分割部１０１、エンコード部１０２−１およびエンコード部１０２−２、並びに、コードストリーム多重化部１０３を有する。
【００４７】
ビット深度分割部１０１は、Ｘビットのビット深度を持つ入力画像１１１を、ビット深度方向に所定のビット数で２つに分割する。つまり、入力画像の各画素値のビット深度がＸビットである場合、ビット深度分割部１０１は、その入力画像１１１の各画素値を、所定のビットで２分割し、その分割位置より上位のビットにより構成される画像と、分割位置より下位のビットにより構成される画像の２つの画像を生成する。
【００４８】
例えば、ビット深度分割部１０１は、図３に示されるようにビット深度がＸビットの画像データImage_Aを、MSB（Most Significant Bit）からYビットの位置で分割し、その分割位置より上位のビットにより構成される（ビット深度がＹビットの）画像データImage_Bと、分割位置より下位のビット（LSB（Less Significant Bit）からX-Yビット）により構成される画像データImage_Cとに分割する。
【００４９】
ビット深度分割部１０１は、生成した２つの画像のうち、上位ビット側の画像データ１１２（図３の例の場合、Image_B）を、エンコード部１０２−１に供給する。また、ビット深度分割部１０１は、下位ビット側の画像データ１１３（図３の例の場合、Image_C）を、エンコード部１０２−２に供給する。
【００５０】
エンコード部１０２−１は、ビット深度Ｙビットの画像データ１１２を、例えばJPEG2000方式で分割し、コードストリーム１１４を生成し、それをコードストリーム多重化部１０３に供給する。
【００５１】
エンコード部１０２−２は、ビット深度（Ｘ−Ｙ）ビットの画像データ１１３を、例えばJPEG2000方式で分割し、コードストリーム１１５を生成し、それをコードストリーム多重化部１０３に供給する。
【００５２】
なお、以下において、エンコード部１０２−１およびエンコード部１０２−２を互いに区別して説明する必要が無い場合、単にエンコード部１０２と称する。
【００５３】
コードストリーム多重化部１０３は、コードストリーム１１４とコードストリーム１１５を多重化し、１本のコードストリーム１１６を生成し、それを符号化装置１００の外部に出力する。
【００５４】
なお、コードストリーム多重化部１０３は、コードストリーム１１４とコードストリーム１１５をどのように多重化したかを示す情報（多重化情報）をコードストリーム１１６に付加する。つまり、この多重化情報は、コードストリーム１１６の伝送先に供給される。
【００５５】
この多重化情報の格納場所は任意である。例えば、ビットストリームにシンタックスとして記述されるようにしてもよいし、補助情報として所定の領域に格納して伝送されるようにしてもよい。また、SEI（Suplemental Enhancement Information）等のパラメータセット（例えばシーケンスやピクチャのヘッダ等）に格納されるようにしてもよい。
【００５６】
さらに、この多重化情報が、符号化データとは別に（別のファイルとして）復号側に供給されるようにしてもよい。その場合、多重化情報と符号化データとの対応関係を明確にする（復号側で把握することができるようにする）必要があるが、その方法は任意である。例えば、別途、対応関係を示すテーブル情報を作成してもよいし、対応先のデータを示すリンク情報を互いのデータに埋め込むなどしてもよい。
【００５７】
以上のように、符号化装置１００は、画像データをビット深度方向に２分割して符号化することにより、高ビット深度の画像データを低ビット深度の画像データとして符号化することができる。
【００５８】
なお、以下においては、エンコード部１０２−１およびエンコード部１０２−２がともにJPEG2000方式で符号化を行う場合について説明するが、エンコード部１０２の符号化方式は任意である。エンコード部１０２−１およびエンコード部１０２−２の符号化方式が互いに異なっていてもよい。また、エンコード部１０２−１およびエンコード部１０２−２のそれぞれが処理する画像データのビット深度が互いに異なっていてもよい。
【００５９】
さらに、エンコード部１０２−１とエンコード部１０２−２とで、エンコード条件（例えば、ウェーブレット変換のレベル数（分割数）、コードブロックサイズ、量子化ステップサイズ等の符号化パラメータ）は、互いに同一であってもよいし、互いに異なっていてもよい。
【００６０】
［エンコード部の構成］
図４は、図１のエンコード部１０２の主な構成例を示すブロック図である。図４に示されるように、エンコード部１０２は、DCレベルシフト部１３１、ウェーブレット変換部１３２、量子化部１３３、コードブロック化部１３４、およびビットプレーン展開部１３５を有する。
【００６１】
DCレベルシフト部１３１は、後段のウェーブレット変換を効率的に行うために、矢印１６１のようにエンコード部１０２に入力された画像データ（図２の入力画像１１１）のDC成分のレベルシフトを行う。例えば、RGB信号が正の値（符号無しの整数）を持っている。そこで、DCレベルシフト部１３１は、そのことを利用し、原信号のダイナミックレンジを半分にするレベルシフトを行うことで、圧縮効率の向上を図る。従って、YCbCr信号の色差データCbや色差データCrの様に符号（正負両方あり）の整数値を持つ信号を原信号とする場合には、このレベルシフトは行われない。
【００６２】
ウェーブレット変換部１３２は、通常低域フィルタと高域フィルタから構成されるフィルタバンクによって実現される。また、デジタルフィルタは通常複数タップ長のインパルス応答（フィルタ係数）を有するので、ウェーブレット変換部１３２は、フィルタリングが行えるだけの入力画像を予めバッファリングするバッファを有する。
【００６３】
ウェーブレット変換部１３２は、矢印１６２のようにDCレベルシフト部１３１より出力された画像データを、フィルタリングに最低限必要なデータ量以上取得すると、そのDCレベルシフト後の画像データに対して、所定のウェーブレット変換フィルタを用いてフィルタリングを行い、ウェーブレット係数を生成する。なお、ウェーブレット変換部１３２は、画像の垂直方向および水平方向のそれぞれに対して、画像データを低域成分と高域成分に分離するフィルタリングを行う。
【００６４】
そして、ウェーブレット変換部１３２は、このようなフィルタリング処理を、垂直方向および水平方向の両方において低域成分として分離されたサブバンドに対して再帰的に所定回数繰り返す。これは、例えば図５に示されるように、画像のエネルギーの多くが低域成分に集中しているからである。
【００６５】
図５は、サブバンドの構成例を示す図である。図５に示されるように、分割レベル数１の状態においても分割レベル数３の状態においても、画像のエネルギーの多くは、低域成分に集中している。
【００６６】
図６は、分割レベル数４のウェーブレット変換処理により生成されるサブバンドの構成例を示す図である。
【００６７】
この場合、ウェーブレット変換部１３２は、まず、画像全体をフィルタリングし、サブバンド1LL（図示せず）、1HL、1LH、および1HHを生成する。次に、ウェーブレット変換部１３２は、生成されたサブバンド1LLに対して再度フィルタリングを行い、2LL（図示せず）、2HL、2LH、および2HHを生成する。さらに、ウェーブレット変換部１３２は、生成されたサブバンド2LLに対して再度フィルタリングを行い、3LL、3HL、3LH、および3HHを生成する。さらに、ウェーブレット変換部１３２は、生成されたサブバンド3LLに対して再度フィルタリングを行い、4LL、4HL、4LH、および4HHを生成する。
【００６８】
このように、分割レベル数４まで分析フィルタリングが行われると、１３個のサブバンドが生成される。図６に示されるように、分割レベルが１つ上位に進むごとに、サブバンドのサイズは、縦方向および横方向にそれぞれ２分の１となる。
【００６９】
つまり、例えば横方向に１９２０画素の画像のベースバンドの画像データが１回分析フィルタリングされると、横方向に９６０画素のサブバンドが４つ（1LL,1HL,1LH,1HH）生成される。さらに、サブバンド1LLが１回分析フィルタリングされると、横方向に４８０画素のサブバンドが４つ（2LL,2HL,2LH,2HH）が生成される。さらに、サブバンド2LLが回分析フィルタリングされると、横方向に２４０画素のサブバンドが４つ（3LL,3HL,3LH,3HH）が生成される。さらに、サブバンド3LLが１回分析フィルタリングされると、横方向に１２０画素のサブバンドが４つ（4LL,4HL,4LH,4HH）が生成される。
【００７０】
なお、ウェーブレット変換の分割レベル数は任意である。
【００７１】
ウェーブレット変換部１３２は、フィルタリングにより得られたウェーブレット係数を、サブバンド毎に、矢印１６３に示されるように量子化部１３３に供給する。量子化部１３３は、供給されたウェーブレット係数を量子化する。この量子化の方法は任意であるが、量子化ステップサイズで除算するスカラ量子化が一般的である。量子化部１３３は、量子化により得られた量子化係数を、矢印１６４に示されるように、コードブロック化部１３４に供給する。
【００７２】
なお、これより後段においては、ウェーブレット係数の代わりに量子化係数が供給されることになるが、この量子化係数もウェーブレット係数の場合と基本的に同様に扱われる。したがって、以下においては、必要でない限りその点についての説明は省略し、単に係数または係数データと称する。
【００７３】
なお、エンコード部１０２が、復号処理により元のデータを完全に復元可能な可逆符号化方式により画像データを符号化する場合、この量子化部１３３の処理は省略され、矢印１６５に示されるように、ウェーブレット変換部１３２の出力がコードブロック化部１３４に供給される。
【００７４】
ウェーブレット係数は、コードブロック化部１３４で、エントロピ符号化の処理単位である所定の大きさのコードブロックに分割される。図７は各サブバンド中のコードブロックの位置関係を示したものである。例えば64×64画素程度のサイズのコードブロックが、分割後のすべてのサブバンド中に生成される。後段の各処理部は、このコードブロック毎に処理を行う。
【００７５】
コードブロック化部１３４は、矢印１６６に示されるように、各コードブロックをビットプレーン展開部１３５に供給する。ビットプレーン展開部１３５は、係数データを、ビットの位毎のビットプレーンに展開する。
【００７６】
ビットプレーンは、所定の数のウェーブレット係数よりなる係数群を、１ビット毎、つまり位毎に分割（スライス）したものである。つまり、ビットプレーンは、その係数群の互いに同一の位のビット（係数ビット）の集合である。
【００７７】
図８にその具体例を示す。図８の左図は縦４個、横４個の計１６個の係数を示している。この１６個の係数のうち、絶対値が最大のものは１３で、２進数で１１０１と表現される。ビットプレーン展開部１３５は、このような係数群を、絶対値を示す４枚のビットプレーン（絶対値のビットプレーン）と、符号を示す１枚のビットプレーン（符号のビットプレーン）に展開する。つまり、図８中左の係数群は、図８中右に示されるように、４枚の絶対値のビットプレーンと１枚の符号のビットプレーンに展開される。ここで、絶対値のビットプレーンの要素はすべて０か１の値をとる。また、符号を示すビットプレーンの要素は、係数の値が正であることを示す値、係数の値が０であることを示す値、または係数の値がマイナスを示す値のいずれかをとる。
【００７８】
エンコード部１０２は、さらに、ビットモデリング部１３６、算術符号化部１３７、符号量加算部１３８、レート制御部１３９、ヘッダ生成部１４０、およびパケット生成部１４１を有する。
【００７９】
ビットプレーン展開部１３５は、展開したビットプレーンを、矢印１６７に示されるように、ビットモデリング部１３６に供給する。
【００８０】
ビットモデリング部１３６および算術符号化部１３７は、EBCOT（Embedded Coding with Optimized Truncation）部１５１として動作し、入力される係数データに対して、JPEG2000規格で定められたEBCOTと呼ばれるエントロピ符号化を行う。EBCOTは、所定の大きさのブロック毎にそのブロック内の係数の統計量を測定しながら符号化を行う手法である。
【００８１】
ビットモデリング部１３６は、JPEG2000規格で定められた手順に従って、係数データに対してビットモデリングを行い、矢印１６８に示されるように、制御情報、シンボル、およびコンテキスト等の情報を算術符号化部１３７に供給する。算術符号化部１３７は、係数のビットプレーンを算術符号化する。
【００８２】
コードブロックの縦横のサイズは４から２５６まで２のべき乗で、通常使用される大きさは、３２×３２、６４×６４、１２８×３２等がある。係数値がｎビットの符号付き２進数で表されていて、bit０からbit（ｎ−２）がLSBからMSBまでのそれぞれのビットを表すとする。残りの１ビットは符号を示す。符号ブロックの符号化は、MSB側のビットプレーンから順番に、次の３種類の符号化パスによって行われる。
【００８３】
（１）Significant Propagation Pass
（２）Magnitude Refinement Pass
（３）Cleanup Pass
【００８４】
３つの符号化パスの用いられる順序は、図９で示される。最初にBit-plane（n-1）（MSB）がCleanup Passによって符号化される。続いて順次LSB側に向かい、各ビットプレーンの符号化が、３つの符号化パスをSignificant Propagation Pass、Magnitude Refinement Pass、Cleanup Passの順序で用いて行われる。
【００８５】
ただし、実際にはMSB側から何番目のビットプレーンで初めて１が出てくるかをヘッダに書き、MSB側から連続するオール０のビットプレーン（ゼロビットプレーンと称する）は符号化しない。この順序で３種類の符号化パスを繰返し用いて符号化し、任意のビットプレーンの、任意の符号化パス迄で符号化を打ち切ることにより、符号量と画質のトレードオフを取る（レート制御を行う）。
【００８６】
次に、係数の走査（スキャニング）について図１０を用いて説明する。コードブロックは高さ４個の係数毎にストライプ（stripe）に分けられる。ストライプの幅はコードブロックの幅に等しい。スキャン順とは、１個のコードブロック内の、すべての係数をたどる順番で、コードブロック中では上のストライプから下のストライプへの順序、ストライプの中では、左の列から右の列へ向かっての順序、列の中では上から下へという順序である。各符号化パスにおいてコードブロック中のすべての係数が、このスキャン順で処理される。
【００８７】
以下、３つの符号化パスについて述べる。以下はいずれもJPEG-2000規格書（参考文献：ISO/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system）に記述されている内容である。
【００８８】
（１）Significance Propagation Pass（SPパス）：
あるビットプレーンを符号化するSignificance Propagation Passでは、８近傍の少なくとも１つの係数が有意（significant）であるようなnon-significant係数のビットプレーンの値を算術符号化する。その符号化したビットプレーンの値が１である場合は、符号が＋であるか、−であるかを続けてMQ符号化する。
【００８９】
ここでsignificanceというJPEG2000特有の用語について説明する。significanceとは、各係数に対して符号化器が持つ状態で、significanceの初期値はnon-significantを表す０、その係数で１が符号化されたときにsignificantを表す１に変化し、以降常に１であり続けるものである。従って、significanceとは有効桁の情報を既に符号化したか否かを示すフラグとも言える。あるビットプレーンでsignificantになれば、以降のビットプレーンではsignificantになったままである。
【００９０】
（２）Magnitude Refinement Pass（MRパス）：
ビットプレーンを符号化するMagnitude Refinement Passでは、ビットプレーンを符号化する Significance Propagation Passで、且つ符号化していないsignificantな係数のビットプレーンの値をMQ符号化する。
【００９１】
（３）Cleanup Pass（CUパス）：
ビットプレーンを符号化するCleanup Passでは、ビットプレーンを符号化するSignificance Passで、且つ符号化していないnon-significantな係数のビットプレーンの値をMQ符号化する。その符号化したビットプレーンの値が１である場合は符号が＋であるか−であるか（Sign情報）を続けてMQ符号化する。
【００９２】
尚、以上の３つの符号化パスでのMQ符号化では、ケースに応じて、ZC（Zero Coding）、RLC（Run-Length Coding）、SC（Sign Coding）、およびMR（Magnitude Refinement）が使い分けられる。ここでMQ符号化と呼ばれる算術符号が用いられる。MQ符号化は、JBIG2（参考文献：ISO/IEC FDIS 14492, “Lossy/Lossless Coding of Bi-level Images”, March 2000）で規定された学習型の２値算術符号である。
【００９３】
図４に戻り、算術符号化部１３７は、生成したコードストリームを、矢印１６９に示されるように、符号量加算部１３８に供給する。符号量加算部１３８は、そのコードストリームの符号量をカウントし、累積する。
【００９４】
そして、符号量加算部１３８は、そのコードストリームを、矢印１７２および矢印１７３に示されるように、ヘッダ作成部１４０およびパケット生成部１４１に供給するとともに、矢印１７０に示されるように、符号量の累積値をレート制御部１３９に供給する。レート制御部１３９は、供給された符号量の累積値に基づいて、矢印１７１に示されるように、EBCOT部１５１を制御し、累積値が目標符号量に達した時点で符号化を終了させる。つまり、レート制御部１３９は、発生符号量の制御（コードストリームのレート制御）を行う。
【００９５】
パケット生成部１４１は、供給されたコードストリームをパケット化する。ヘッダ生成部１４０は、そのパケットのヘッダ情報を生成し、そのヘッダ情報を矢印１７４に示されるように、パケット生成部１４１に供給する。パケット生成部１４１は、そのヘッダ情報を用いてパケット化を行う。
【００９６】
このパケットの概念を図１１に示す。図１１に示される例では、ウェーブレット変換を３回施した例で、その結果、最低域のPacket-1から最高域のPacket-4までの4個のパケットが生成されることを示している。従って、これら個々のパケット内のサブバンド中に存在する、すべての符号ブロックの符号化コードストリームが、パケット毎にパッキングされることになる。
【００９７】
また図１２は、符号化パスを、レイヤ１乃至レイヤＬのＬ個のレイヤに分割したケースを図示したものである。あるコードブロックで、レイヤｎの先頭の符号化パスはレイヤ（ｎ−１）の最終後尾の符号化パスの直後に位置する。
【００９８】
生成されたパケットは矢印１７５に示されるように、エンコード部１０２の外部に出力され、コードストリーム多重化部１０３に供給される。
【００９９】
以上のように、各エンコード部１０２は、ビット深度方向に分割された各画像データを、分割していない普通の画像データの場合と同様に、JPEG2000方式で符号化することができる。
【０１００】
［ビット深度分割符号化処理の流れ］
次に、以上のような符号化装置１００において実行される各処理の流れについて説明する。
【０１０１】
符号化装置１００は、入力画像１１１が供給されると、ビット深度分割符号化処理を実行する。図１３のフローチャートを参照して、ビット深度分割符号化処理の流れの例を説明する。
【０１０２】
ビット深度分割符号化処理が開始されると、ビット深度分割部１０１は、ステップＳ１０１において、入力画像１１１を、例えば図３に示されるように、ビット深度方向に２分割する。
【０１０３】
ステップＳ１０２において、エンコード部１０２−１は、ステップＳ１０１において得られる分割後の画像データ１１２をJPEG2000方式で符号化し、コードストリーム１１４を生成する。同様に、エンコード部１０２−２は、ステップＳ１０１において得られる分割後の画像データ１１３をJPEG2000方式で符号化し、コードストリーム１１５を生成する。
【０１０４】
ステップＳ１０３において、コードストリーム多重化部１０３は、ステップＳ１０２において得られるコードストリーム１１４およびコードストリーム１１５を多重化し、１本のコードストリーム１１６を生成する。
【０１０５】
ステップＳ１０３の処理を終了すると、符号化装置１００は、ビット深度分割符号化処理を終了する。
【０１０６】
［符号化処理の流れ］
次に、図１３のステップＳ１０２において実行される符号化処理の流れの例を図１４のフローチャートを参照して説明する。
【０１０７】
符号化処理が開始されると、ステップＳ１２１において、DCレベルシフト部１３１は、自身が対応する入力系統より入力された画像データのDCレベルをシフトする。ステップＳ１２２において、ウェーブレット変換部１３２は、DCレベルがシフトされた画像データをウェーブレット変換する。
【０１０８】
ステップＳ１２３において、量子化部１３３は、非可逆符号化方式の場合、ステップＳ１２２において生成されたウェーブレット係数を量子化する。なお、可逆符号化方式の場合、この処理は省略される。
【０１０９】
ステップＳ１２４において、コードブロック化部１３４は、量子化された係数をコードブロック単位で分割する。ステップＳ１２５において、ビットプレーン展開部１３５は、そのコードブロック毎の係数をビットプレーンに展開する。
【０１１０】
ステップＳ１２６において、EBCOT部１５１は、ビットプレーン展開された係数を符号化する。ステップＳ１２７において、レート制御部１３９は、符号量加算部１３８において加算された符号量等を用いて、発生符号量のレートを制御する。
【０１１１】
ステップＳ１２８において、ヘッダ生成部１４０は、パケットヘッダを生成する。ステップＳ１２９において、パケット生成部１４１は、パケットを生成する。ステップＳ１３０において、エンコード部１０２は、そのパケットを外部に出力する。
【０１１２】
ステップＳ１３０の処理が終了すると、エンコード部１０２は、符号化処理を終了し、処理を図１３のステップＳ１０２に戻し、ステップＳ１０３以降の処理を実行させる。
【０１１３】
以上のように各処理を行うことにより、符号化装置１００は、高ビット深度の画像データを低ビット深度の画像データとして符号化することができる。
【０１１４】
［符号量］
以上のように、画像をビット深度方向に分割してそれぞれを符号化することにより得られるコードストリーム１１６の情報量（符号量）について説明する。
【０１１５】
例えば、画像データ（Image_A）をロスレスエンコード（Lossless Encode）して得られるコードストリーム（Codestream_A）のサイズを（Size_A）とする。また、画像データ（Image_B）をロスレスエンコードして得られるコードストリーム（Codestream_B）のサイズを（Size_B）とする。さらに、画像データ（Image_C）をロスレスエンコードして得られるコードストリーム（Codestream_C）のサイズを（Size_C）とする。
【０１１６】
このとき、符号化効率を向上させるためには、符号化装置１００は、以下の式（１）を満たすように符号化することができればよい。
【０１１７】
Size_A ＞ Size_B ＋ Size_C
・・・（１）
【０１１８】
あるイメージセンサから抽出したRAWデータ（R, G0, G1, B）の内の、１コンポーネントであるG0画像に対して、JPEG2000 Losslessエンコードを行った場合の実験結果の一例を以下に示す。
【０１１９】
例えば、符号化対象のRAW画像の１コンポーネントG0（１２ビット深度）のオリジナルサイズを1,036,818バイトとする。このとき、G0をJPEG2000 Losslessエンコードすると、コードストリームのサイズは561,540バイトとなる。
【０１２０】
これに対して、符号化装置１００により、G0を、そのビット深度上位の１０ビットのデータで構成される画像（上位１０ビット画像）と、ビット深度下位の２ビットで構成される画像（下位２ビット画像）とに分割して符号化させる場合、上位１０ビット画像をJPEG2000 Losslessエンコードすると、コードストリームのサイズは426,262バイトとなる。また、下位２ビット画像をJPEG2000 Losslessエンコードすると、コードストリームのサイズは、2,688バイトとなる。つまり、これらの合計は、428,950バイトとなる。
【０１２１】
このように符号化装置１００は、２分割して符号化することで、分割せずに（１２ビット深度のままで）符号化するよりも２５％も情報量を削減することができる。つまり、上述した式（１）を満たすことができる。
【０１２２】
このように、符号化装置１００は、画像の符号化における符号化効率を向上させることができる。特に、入力画像１１１が高ビット深度の場合、コードストリームの情報量（符号量）が大きくなりやすいので、その効果は大きい。
【０１２３】
なお、上述したように、ウェーブレット変換のレベル数は、上位側のビットで構成される画像と下位側のビットで構成される画像とで互いに独立して設定することができる。このウェーブレット変換数とコードストリームの情報量（符号量）について説明する。
【０１２４】
上位１０ビット画像と下位２ビット画像とのそれぞれを、ウェーブレット変換処理（DWT：Discrete Wavelet Transform）レベル数が０乃至５のそれぞれの場合について、JPEG2000方式で符号化を行った（０は変換無しを示す）。
【０１２５】
その結果、上位１０ビット画像の場合のJPEG2000 Losslessエンコード結果は、以下のようになった。
【０１２６】
DWT 0: 5,698,403 byte
DWT 1: 4,501,068 byte
DWT 2: 4,315,214 byte
DWT 3: 4,270,851 byte
DWT 4: 4,262,794 byte
DWT 5: 4,261,438 byte
【０１２７】
このように、上位１０ビット画像の場合、符号化により得られるコードストリームの符号量は、ウェーブレット変換処理のレベル数が増える程、小さくなる。すなわち、ウェーブレット変換レベル数が多いほど符号化効率が向上する。
【０１２８】
これに対して、下位２ビット画像の場合のJPEG2000 Losslessエンコード結果は、以下のようになった。
【０１２９】
DWT 0: 1,871,597 byte
DWT 1: 2,171,301 byte
DWT 2: 2,229,017 byte
DWT 3: 2,242,885 byte
DWT 4: 2,246,923 byte
DWT 5: 2,248,336 byte
【０１３０】
このように、下位２ビット画像の場合、符号化により得られるコードストリームの符号量は、ウェーブレット変換処理のレベル数が小さい程、小さくなる。すなわち、ウェーブレット変換レベル数が少ないほど符号化効率が向上する。
【０１３１】
一般的に、上位側のビットで構成される画像は、分割前の画像の重要な部分により占められる可能性が高く、低域成分が多くなりやすい。従ってウェーブレット変換レベル数が多いほど符号化効率が向上することが期待される。これに対して下位側のビットで構成される画像は、一般的にノイズ成分が多くを占める可能性が高く、高域成分が多くなりやすい。したがって、ウェーブレット変換による符号化効率の向上が期待しにくい。
【０１３２】
したがって、上位側のビットで構成される画像のウェーブレット変換数を多く設定し、逆に下位側のビットで構成される画像のウェーブレット変換数を少なく設定することにより、符号化装置１００は、さらに、符号化効率を向上させることができる。
【０１３３】
ところで、以上のように符号化装置１００は、入力画像１１１をそのビット深度方向に２分割し、それぞれ符号化する。このことにより、符号化装置１００は、符号化処理する画像データのビット深度数を減らすことができる。つまり、符号化装置１００は、符号化処理に必要になるメモリ容量を低減させることもできる。
【０１３４】
また、上述したように符号化装置１００は、上位側のビットで構成される画像の符号化方式と、下位側のビットで構成される画像の符号化方式とを互いに独立に設定することができる。したがって、例えば、Image_BをJPEG2000でLosslessエンコードし、ノイズ成分の多いImage_Cをそれに適したLosslessコーデックでエンコードすることもできる。このように、符号化装置１００は、よりデータの特徴に応じた符号化方式を選択することができるので、より効率よく符号化を行うことができる。
【０１３５】
なお、エンコード部１０２は、図２に示されるように、２個のエンコーダを用意してもよいが、１個のエンコーダを時分割で共有するようにしてもよい。このようにすることにより、回路規模やコストの増大を抑制することができるが、符号化の処理時間が増大するので、そのエンコーダに、２個のエンコーダを使用する場合よりも高い処理能力が必要になることがある。特に動画像をリアルタイム（即時的）に符号化する場合、各フレーム画像の符号化を、入力時のフレームレートよりも速く行う必要がある。
【０１３６】
＜２．第２の実施の形態＞
［復号装置の構成］
次に、以上のような符号化装置１００に対応する復号装置について説明する。図１５は、本発明を適用した復号装置の主な構成例を示すブロック図である。図１５に示される復号装置２００は、図２の符号化装置１００により生成されたコードストリームを復号し、復号画像を得る装置である。
【０１３７】
つまり、復号装置２００は、画像がビット深度方向に分割されてそれぞれが符号化され、得られたコードストリームが多重化された１本のコードストリームを復号し、復号画像を得ることができる。
【０１３８】
図１５に示されるように、復号装置２００は、コードストリーム分離部２０１、デコード部２０２−１、デコード部２０２−２、およびビット深度合成部２０３を有する。
【０１３９】
コードストリーム分離部２０１は、符号化装置１００において符号化されたコードストリーム２１１を取得すると、そのコードストリームの多重化情報（コードストリーム２１１に付加されているか、若しくは、コードストリーム２１１とは別に、コードストリーム２１１と関連付けられて供給される）に基づいて、コードストリームを、ビット深度上位側のビットで構成される画像が符号化されたコードストリーム２１２と、ビット深度下位側のビットで構成される画像が符号化されたコードストリーム２１３の２本のコードストリームを生成する。
【０１４０】
コードストリーム分離部２０１は、分離した一方のコードストリーム２１２をデコード部２０２−１に供給し、他方のコードストリーム２１３をデコード部２０２−２に供給する。
【０１４１】
デコード部２０２−１は、コードストリーム２１２を、符号化装置１００のエンコード部１０２−１の符号化方式に対応する復号方式で復号し、復号画像２１４をビット深度合成部２０３に供給する。
【０１４２】
デコード部２０２−２は、コードストリーム２１３を、符号化装置１００のエンコード部１０２−２の符号化方式に対応する復号方式で復号し、復号画像２１５をビット深度合成部２０３に供給する。
【０１４３】
なお、以下においてデコード部２０２−１およびデコード部２０２−２を互いに区別して説明する必要が無い場合、単にデコード部２０２と称する。
【０１４４】
復号画像２１４は、ビット深度上位側のビットで構成される画像であり、復号画像２１５は、ビット深度下位側のビットで構成される画像である。
【０１４５】
ビット深度合成部２０３は、これらの復号画像２１４および復号画像２１５を、例えば、図１６に示されるように、ビット深度方向に合成し、符号化装置１００の入力画像と同じビット深度の１系統の復号画像２１６を生成し、それを復号装置２００の外部に出力する。
【０１４６】
図１６の例の場合、Ｙビット深度のイメージデータImage_Bと（X-Y）ビット深度のイメージデータImage_Cが復号され、Ｘビット深度の画像が復元される。
【０１４７】
デコード部２０２には、例えば、JPEG2000方式で符号化を行うJPEG2000デコーダを用いるようにしてもよい。また、エンコード部１０２の場合と同様に、デコード部２０２も、複数用意してもよいし、１つのデコード部２０２を時分割で供給するようにしてもよい。
【０１４８】
なお、ウェーブレット変換のレベル数等、各種符号化パラメータは、符号化装置１００において決定され、供給された符号化パラメータを用いる。
【０１４９】
以上のように、復号装置２００は、符号化装置１００により符号化されたコードストリーム、すなわち、入力画像をビット深度方向に２分割し、それぞれを符号化し、得られた各コードストリームを多重化した1本のコードストリームを、正しく復号し、復号画像を得ることができる。
【０１５０】
［デコード部の構成］
図１７は、デコード部２０２の主な構成例を示すブロック図である。このデコード部２０２は、図４のエンコード部１０２に対応し、エンコード部１０２により符号化されて生成されたコードストリームを復号する。図１７に示されるように、デコード部２０２は、パケット解読部２２１、算術復号部２２２、ビットモデリング部２２３、ビットプレーン合成部２２４、コードブロック合成部２２５、ウェーブレット逆変換部２２６、およびDCレベル逆シフト部２２７を有する。
【０１５１】
パケット解読部２２１は、矢印２４１に示されるように、符号化装置１００から供給されるパケットを解読し、矢印２４２に示されるように、コードストリームを算術復号部２２２に供給する。
【０１５２】
算術復号部２２２およびビットモデリング部２２３は、EBCOT部２３１として動作し、入力されるコードストリームに対して、例えばJPEG2000規格等で定められたEBCOTと呼ばれるエントロピ復号を行う。
【０１５３】
算術復号部２２２は、算術符号化部１３７に対応する方法でコードストリームを復号し、矢印２４３に示されるように、コンテキストをビットモデリング部２２３に供給する。ビットモデリング部２２３は、ビットモデリング部１３６に対応する方法で、ビットプレーンに展開されたウェーブレット係数を生成する。ビットモデリング部２２３は、生成したビットプレーン毎の係数データを、矢印２４４に示されるように、ビットプレーン合成部２２４に供給する。
【０１５４】
ビットプレーン合成部２２４は、ビットプレーンに展開されたウェーブレット係数を合成する。ビットプレーン合成部２２４は、ビットプレーンを合成したウェーブレット係数を、矢印２４５に示されるように、コードブロック合成部２２５に供給する。
【０１５５】
コードブロック合成部２２５は、供給されたビットプレーンを用いてコードブロック単位の係数データを生成し、さらにそれらを合成し、サブバンド毎の係数データを生成する。コードブロック合成部２２５は、矢印２４６に示されるように、それをウェーブレット逆変換部２２６に供給する。
【０１５６】
ウェーブレット逆変換部２２６は、供給されたウェーブレット係数をウェーブレット逆変換し、ベースバンドの画像データを生成する。ウェーブレット逆変換部２２６は、生成したベースバンドの画像データを、矢印２４７に示されるように、DCレベル逆シフト部２２７に供給する。
【０１５７】
DCレベル逆シフト部２２７は、その画像データのDC成分に対して、DCレベルシフト部１３１においてシフトした分を元に戻すDCレベル逆シフト処理を必要に応じて行う。DCレベル逆シフト部２２７は、DCレベル逆シフト処理後の画像データ（復号画像データ）を、矢印２４８に示されるように、デコード部２０２の外部に出力する。
【０１５８】
［ビット深度分割復号処理の流れ］
次に、以上の復号装置２００により実行される各処理について説明する。最初に、図１８のフローチャートを参照してビット深度分割復号処理の流れの例を説明する。
【０１５９】
符号化装置１００において符号化されたコードストリームが供給されると復号装置２００は、ビット深度分割復号処理を開始する。
【０１６０】
ビット深度分割復号処理が開始されると、コードストリーム分離部２０１は、ステップＳ２０１において、供給されたコードストリームに対応する多重化情報に基づいて、多重化されたコードストリームを２分割する。つまり、コードストリームは、ビット深度上位側のビットにより構成される画像のコードストリームと、ビット深度下位側のビットにより構成される画像のコードストリームとに分割される。
【０１６１】
ステップＳ２０２において、デコード部２０２は、ステップＳ２０１において分割された各コードストリームを、エンコード部１０２の符号化方式に対応する復号方式（例えばJPEG2000）で復号する。
【０１６２】
ステップＳ２０３において、ビット深度合成部２０３は、ステップＳ２０２の処理により復号された各画像データをビット深度方向に合成する。すなわち、ビット深度合成部２０３は、復号画像２１４の各画素値を上位ビットとし、それより下位ビットを復号画像２１５の各画素値とするように、復号画像２１４と復号画像２１５の各画素値を合成する。
【０１６３】
復号画像２１６を生成すると、ビット深度合成部２０３は、ビット深度分割復号処理を終了する。
【０１６４】
［復号処理の流れ］
次に、図１８のステップＳ２０２において実行される復号処理の詳細な流れの例を、図１９のフローチャートを参照して説明する。
【０１６５】
復号処理が開始されると、パケット解読部２２１は、ステップＳ２２１において、取得されたパケットから符号化データを抽出する。
【０１６６】
ステップＳ２２２において、EBCOT部２３１は、ステップＳ２２１において抽出された符号化データを復号する。ステップＳ２２３において、ビットプレーン合成部２２４は、その復号により得られた係数データのビットプレーンを合成し、コードブロック毎の係数データを生成する。ステップＳ２２４において、コードブロック合成部２２５は、そのコードブロック毎の係数データのコードブロックを合成し、サブバンド毎の係数データを生成する。
【０１６７】
ステップＳ２２５において、ウェーブレット逆変換部２２６は、そのサブバンド毎の係数データをウェーブレット逆変換し、ベースバンドの画像データを生成する。なお、符号化装置１００において係数データが量子化されている場合、係数データに対して、その量子化に対応する逆量子化を行ってからウェーブレット逆変換を行う。
【０１６８】
ステップＳ２２６において、DCレベル逆シフト部２２７は、そのウェーブレット逆変換により得られたベースバンドの画像データのDCレベルを逆シフトする。
【０１６９】
ステップＳ２２７において、デコード部２０２は、DCレベル逆シフト処理が施された画像データを復号画像データとしてビット深度合成部２０３に出力する。ステップＳ２２７の処理が終了すると、デコード部２０２は、復号処理を終了する。
【０１７０】
以上のように、復号装置２００は、多重化情報に応じて、コードストリームを２分割し、分割された各コードストリームを復号し、得られた各復号画像を、ビット深度方向に合成し、１系統の復号画像を得ることができる。
【０１７１】
つまり、復号装置２００は、符号化装置１００が生成したコードストリームを適切に復号することができる。したがって、復号装置２００は、画像の符号化における符号化効率を向上させることができる。
【０１７２】
＜３．第３の実施の形態＞
［符号化装置の構成］
以上においては、画像を２分割する場合について説明したが、画像の分割数は任意であり、例えば３以上であってもよい。また、分割位置（分割の際に境界となるビット）も任意である。
【０１７３】
ただし、符号化装置における画像の分割数や分割位置が、その画像のコードストリームを復号する復号装置において既知で無い場合、符号化装置は、画像の分割数や分割位置を、復号装置に通知する必要がある。
【０１７４】
図２０は、本発明を適用した符号化装置の主な構成例を示すブロック図である。図２０に示される符号化装置３００は、図２の符号化装置１００に対応する符号化装置であり、基本的に符号化装置１００と同様の構成を有し、同様の処理を行う。ただし、符号化装置３００は、符号化装置１００と異なり、入力画像を、そのビット深度方向にＮ個（Ｎは任意の自然数）に分割し、それぞれを符号化して多重化する。また、符号化装置３００は、符号化装置１００と異なり、入力画像から生成されたコードストリームだけでなく、分割数や分割位置に関する情報（分割情報）も出力する。
【０１７５】
図２０に示されるように、符号化装置３００は、ビット深度分割部１０１の代わりにビット深度分割部３０１を有し、コードストリーム多重化部１０３の代わりにコードストリーム多重化部３０３を有する。
【０１７６】
ビット深度分割部３０１は、入力画像３１１をそのビット深度方向にＮ分割し、分割された各画像を、エンコード部１０２に供給する。
【０１７７】
例えば、ビット深度分割部３０１は、分割した画像のうち、上位側から１番目のビット群により構成される画像３１３をエンコード部１０２−１に供給し、上位側から２番目のビット群により構成される画像３１４をエンコード部１０２−２に供給する。
【０１７８】
また、ビット深度分割部３０１は、上位側から３番目以降のビット群により構成される画像も、同様に処理する。例えば、ビット深度分割部３０１は、最下位（上位からＮ番目）のビット群により構成される画像３１５は、エンコード部１０２−Ｎに供給する。
【０１７９】
ビット深度分割部３０１は、さらに、分割数や分割位置等を含む、分割に関する情報である分割情報をコードストリーム多重化部３０３に供給する。
【０１８０】
各エンコード部１０２は、ビット深度分割部３０１から供給された画像を符号化する。つまり、各エンコード部１０２は、入力画像のビット深度がＸビットの場合、Ｘビットよりも少ないビット深度の画像を符号化することができる。
【０１８１】
各エンコード部１０２は、生成したコードストリーム（コードストリーム３１６乃至コードストリーム３１８）をコードストリーム多重化部３０３に供給する。
【０１８２】
コードストリーム多重化部３０３は、エンコード部１０２から供給される複数のコードストリームを多重化し、１系統のコードストリーム３１９を生成する。
【０１８３】
なお、コードストリーム多重化部３０３は、各エンコード部１０２から供給されるコードストリーム同士だけでなく、ビット深度分割部３０１から供給される分割情報３１２も多重化する。
【０１８４】
分割情報３１２の多重化方法は任意である。例えば、コードストリーム多重化部３０３が、分割情報３１２をデータとして、各コードストリームとともに多重化するようにしてもよいし、各コードストリームを多重化し、そのヘッダの所定の位置に、分割情報３１２を埋め込むようにしてもよい。
【０１８５】
また、分割情報３１２を多重化せずに、多重化されたコードストリームに関連付けだけ行うようにしてもよい。例えば、コードストリーム多重化部３０３が、分割された画像から生成された各コードストリームを多重化した１系統のコードストリームのヘッダ等に、分割情報３１２に関する記述を行い、コードストリームと分割情報３１２の関連付けを行い、そのコードストリームとともに、分割情報３１２を出力するようにしてもよい。
【０１８６】
［ビット深度分割符号化処理の流れ］
次に、この場合のビット深度分割符号化処理の流れの例を図２１のフローチャートを参照して説明する。この場合も基本的に図１３のフローチャートを参照して説明した場合と同様に行われる。
【０１８７】
ただし、ビット深度分割部３０１は、ステップＳ３０１において、入力画像３１１をビット深度方向にＮ分割し、ステップＳ３０２において、その分割数や分割位置を示す分割情報３１２を生成する。
【０１８８】
ステップＳ３０３において、エンコード部１０２は、分割後の各画像を符号化する。ステップＳ３０４において、コードストリーム多重化部３０３は、ステップＳ３０３において各画像生成された各コードストリーム（例えば、コードストリーム３１６乃至コードストリーム３１８）と、ステップＳ３０２において生成された分割情報３１２を多重化し、１系統のコードストリーム３１９を生成し、出力する。コードストリーム３１９を出力すると、コードストリーム多重化部３０３は、ビット深度分割符号化処理を終了する。
【０１８９】
以上のように、符号化装置３００は、画像をそのビット深度方向に３分割以上してから、符号化することができるので、符号化効率を向上させることができる。
【０１９０】
また、符号化装置３００は、分割数や分割位置等を示す分割情報をコードストリームとともに復号装置側に提供するので、復号装置が、より容易に、符号化装置３００が生成したコードストリームを正しく復号することができる。
【０１９１】
なお、第１の実施の形態の場合と同様に、符号化装置３００は、１つのエンコード部１０２を、時分割して、分割後の複数系統の画像の符号化に使用するようにしてもよい。
【０１９２】
＜４．第４の実施の形態＞
［復号装置の構成］
次に、符号化装置３００に対応する復号装置について説明する。図２２は、本発明を適用した復号装置の主な構成例を示すブロック図である。図２２に示される復号装置３５０は、符号化装置３００に対応し、符号化装置３００により生成されたコードストリームを正しく復号する。
【０１９３】
図２２に示されるように、復号装置３５０は、基本的に図１５を参照して説明した第２の実施の形態の復号装置２００と同様の構成を有し、同様の処理を行う。
【０１９４】
ただし、復号装置３５０は、コードストリーム分離部２０１の代わりにコードストリーム分離部３５１を有し、デコード部２０２をＮ個（Ｎは任意の自然数）有し、ビット深度合成部２０３の代わりにビット深度合成部３５３を有する。
【０１９５】
また、復号装置３５０は、さらに、多重化構造解析部３５４を有する。
【０１９６】
多重化構造解析部３５４は、符号化装置３００から供給されるコードストリーム３６１の構造を解析し、分割情報３６２を抽出し、それをコードストリーム分離部３５１に供給する。また、多重化構造解析部３５４は、分割情報３６２が抽出されたコードストリームである符号化データ３６３をコードストリーム分離部３５１に供給する。
【０１９７】
コードストリーム分離部３５１は、分割情報３６２に基づいて、符号化データ３６３を分割し、多重化前の、複数の（Ｎ系統の）コードストリームを生成する。コードストリーム分離部３５１は、分離した各コードストリームを、それぞれに対応するデコード部２０２に供給する。
【０１９８】
例えば、コードストリーム分離部３５１は、Ｎ系統のコードストリームのうち、上位側から１番目のビット群により構成される画像から生成されたコードストリーム３６４をデコード部２０２−１に供給し、上位側から２番目のビット群により構成される画像から生成されたコードストリーム３６５をデコード部２０２−２に供給する。さらに、コードストリーム分離部３５１は、上位側からＮ番目のビット群により構成される画像から生成されたコードストリーム３６６をデコード部２０２−Ｎに供給する。
【０１９９】
各デコード部２０２は、供給された各コードストリームを復号し、各復号画像（復号画像３６７乃至復号画像３６９）をビット深度合成部３５３に供給する。ビット深度合成部３５３は、供給された各復号画像を、そのビット深度方向に合成し、符号化装置３００の入力画像と同じビット深度の１系統の復号画像３７０を生成する。
【０２００】
［ビット深度分割復号処理の流れ］
次に、図２３のフローチャートを参照して、この場合のビット深度分割復号処理の流れの例を説明する。
【０２０１】
ビット深度分割復号処理が開始されると、ステップＳ３５１において、多重化構造解析部３５４が、多重化構造を解析し、分割位置を特定する。ステップＳ３５２において、コードストリーム分離部３５１は、ステップＳ３５１において特定された分割位置に基づいて、多重化されたコードストリームをＮ分割する。
【０２０２】
ステップＳ３５３において、デコード部２０２は、分割後の各コードストリームを復号する。ステップＳ３５４において、ビット深度合成部３５３は、復号された各画像データをビット深度方向に合成し、１系統の復号画像３７０を生成する。
【０２０３】
復号画像３７０を生成すると、ビット深度合成部３５３は、ビット深度分割復号処理を終了する。
【０２０４】
このようにすることにより、復号装置３５０は、符号化装置３００により生成されたコードストリームを、より容易に正しく復号することができる。したがって、復号装置３５０は、画像の符号化における符号化効率を向上させることができる。
【０２０５】
＜５．第５の実施の形態＞
［符号化装置の構成］
以上においては、可逆な符号化方式により符号化を行うように説明したが、これに限らず、符号化方式は非可逆であってもよい。
【０２０６】
図２４は、本発明を適用した符号化装置の主な構成例を示すブロック図である。図２４に示される符号化装置４００は、図２０を参照して説明した符号化装置３００と基本的に同様の符号化装置であるが、符号化装置３００と異なり、非可逆な符号化方式で符号化を行う。
【０２０７】
図２４に示されるように、符号化装置４００は、符号化装置３００の構成に加え、さらに、ビットレート割り当て部４０１を有する。
【０２０８】
ビットレート割り当て部４０１は、各エンコード部１０２に対して目標ビットレート（若しくは目標圧縮率）を指定する。エンコード部１０２は、指定された目標ビットレート（若しくは目標圧縮率）に近づくようにレート制御を行いながら符号化を行う。
【０２０９】
このように、符号化装置４００は、レート制御を行うことができる。つまり、符号化装置４００は、例えば、画像を分割せずに符号化する場合と同等のビットレートのコードストリームを生成し、復号画像の画質を向上させるようにすることもできる。
【０２１０】
例えば、図３の例において、画像データ（Image_A）を目標ビットレート（Rate-A）で非可逆符号化（Lossy Encode）して生成されるコードストリームを（Codestream_A）とし、画像データ（Image_B）を目標ビットレート（Rate-B）で非可逆符号化（Lossy Encode）して生成されるコードストリームを（Codestream_B）とし、画像データ（Image_C）を目標ビットレート（Rate-C）で非可逆符号化（Lossy Encode）して生成されるコードストリームを（Codestream_C）とする。
【０２１１】
また、コードストリーム（Codestream_A）の復号画像を（Decode_Image_A）とし、コードストリーム（Codestream_B）の復号画像を（Decode_Image_B）とし、コードストリーム（Codestream_C）の復号画像を（Decode_Image_C）とする。
【０２１２】
ビットレート割り当て部４０１が、Rate-A ＝ Rate_B＋Rate_Cとすると、各復号画像の画質は、以下のようになる。
【０２１３】
Decode_Image_Aの画質 ＜ （Decode_Image_B＋Decode_Image_C）の画質
【０２１４】
［ビット深度分割符号化処理の流れ］
図２５のフローチャートを参照して、符号化装置４００によるビット深度分割符号化処理の流れの例を説明する。
【０２１５】
ビット深度分割符号化処理が開始されると、ビット深度分割部３０１は、ステップＳ４０１において、入力画像をビット深度方向にＮ分割し、ステップＳ４０２において、分割情報を生成する。
【０２１６】
ステップＳ４０３において、ビットレート割り当て部４０１は、分割後の各画像の符号化について、目標ビットレートを割り当てる。
【０２１７】
ステップＳ４０４において、各エンコード部１０２は、割り当てられた目標ビットレートに従って、分割後の各画像を符号化する。
【０２１８】
ステップＳ４０５において、コードストリーム多重化部３０３は、各コードストリームと分割情報を多重化する。ステップＳ４０５の処理が終了すると、コードストリーム多重化部３０３は、ビット深度分割符号化処理を終了する。
【０２１９】
以上のように、符号化装置４００は、目標ビットレートを設定することができるので、符号化効率を向上させる代わりに、復号画像の画質を向上させることもできる。
【０２２０】
なお、ビットレート割り当て部４０１は、各エンコード部１０２に対して、互いに独立して目標ビットレートを設定することができる。例えば、ビットレート割り当て部４０１は、一般的に重要度の高い、より上位のビットにより構成される画像に対してビットレートを多く割り当て、一般的に重要度の低い、より下位のビットにより構成される画像に対して割り当てるビットレートを少なくすることもできる。
【０２２１】
また、このように非可逆な符号化方式の場合も、上述した他の実施の形態と同様に、上位ビット画像（Image_B）のウェーブレット変換数を多くして、下位ビット画像（Image_C）のウェーブレット変換数を少なく設定することにより、より効率よく符号化を行うことができる。
【０２２２】
なお、復号装置は、可逆な符号化方式の場合と同様であるので、その説明は省略する。
【０２２３】
＜６．第６の実施の形態＞
［符号化装置の構成］
一般的に、よりビット深度が深くなるほど、最上位付近のビットの値がゼロになりやすくなる。このような最上位ビットから連続する上位側の、値がゼロのビット（ゼロビット）は、基本的に不要な情報（重要度の低い情報）であるので、符号化効率を向上させるために、これらのビットの符号化を省略するようにしてもよい。
【０２２４】
図２６は、本発明を適用した符号化装置の主な構成例を示すブロック図である。図２６に示される符号化装置５００は、基本的に上述した図２０の符号化装置３００と同様の符号化装置であるが、ビット深度分割部３０１の代わりにビット深度分割部５０１を有し、さらに、非ゼロ係数境界検出部５０２を有する。
【０２２５】
非ゼロ係数境界検出部５０２は、入力画像５１１を解析し、各画素において、ビット深度の最上位ビットからゼロビットが連続しなくなるビット（非ゼロ係数境界）を検出する。つまり、非ゼロ係数境界検出部５０２は、各画素の値がゼロでない非ゼロビットの中で最も上位のビットを非ゼロ係数境界として検出する。
【０２２６】
なお、この非ゼロ係数境界の検出は、複数の画素を処理単位としてもよい。すなわち、非ゼロ係数境界検出部５０２が、例えばマクロブロック、スライス、若しくはフレーム全体といったような所定の画素群毎に検出を行い、その処理単位の画素群の中で１画素でも値がゼロでない非ゼロビットが出現する最上位のビットを非ゼロ係数境界として検出するようにしてもよい。
【０２２７】
非ゼロ係数境界検出部５０２は、入力画像（入力画像５１２）と、検出した非ゼロ係数境界の位置（境界位置５１３）をビット深度分割部５０１に供給する。
【０２２８】
ビット深度分割部５０１は、非ゼロ係数境界検出部５０２が検出した非ゼロ係数境界に基づいて分割位置を定め、入力画像をビット深度方向に（Ｎ＋１）分割する。つまり、ビット深度分割部５０１は、非ゼロ係数境界を分割位置の１つとして分割を行い、さらに、最上位ビットから連続するゼロビットの部分以外の部分（非ゼロ係数境界より下位のビットで構成される画像をＮ分割する。
【０２２９】
なお、非ゼロ係数境界が最上位ビットとなる場合、すなわち、最上位ビットが非ゼロビットの場合、ゼロビットで構成される最上位の画像（ゼロ係数画像）は存在しないので、非ゼロ係数境界を分割位置とする分割は省略され、入力画像はビット深度方向にＮ分割されることになる。
【０２３０】
ビット深度分割部５０１は、その分割数や分割位置を示す分割情報５１４をコードストリーム多重化部３０３に供給するとともに、ビット深度方向に（Ｎ＋１）分割された画像のうち、ゼロビットで構成される最上位の画像（ゼロ係数画像）を除く、下位側からＮ個の画像（画像５１５乃至画像５１７）をエンコード部１０２に供給する。
【０２３１】
各エンコード部１０２は、供給された画像を符号化し、コードストリーム（コードストリーム５１８乃至コードストリーム５２０）をコードストリーム多重化部３０３に供給する。
【０２３２】
コードストリーム多重化部３０３は、第３の実施の形態の場合と同様に、Ｎ個のコードストリームと分割情報を多重化し、１系統のコードストリームとして出力する。
【０２３３】
［ビット深度分割符号化処理の流れ］
図２７のフローチャートを参照して、この場合のビット深度分割符号化処理の流れの例を説明する。
【０２３４】
ビット深度分割符号化処理が開始されると、非ゼロ係数境界検出部５０２は、ステップＳ５０１において、入力画像の非ゼロ係数境界を検出する。ステップＳ５０２において、ビット深度分割部３０１は、ステップＳ５０１の処理により検出された非ゼロ係数境界を含む位置で入力画像をビット深度方向に（Ｎ＋１）分割し、ステップＳ５０３において、分割情報を生成する。
【０２３５】
なお、上述したように、非ゼロ係数境界が最上位ビットとなる場合、ビット深度分割部３０１は、ステップＳ５０２において、非ゼロ係数境界を除く位置で入力画像をビット深度方向にＮ分割する。
【０２３６】
ステップＳ５０４において、各エンコード部１０２は、分割された画像のうち、最上位の画像（ゼロ係数画像）を除く、分割後の各画像を符号化する。ステップＳ５０５において、コードストリーム多重化部３０３は、ステップＳ５０４の処理により生成された各コードストリームと分割情報を多重化する。ステップＳ５０５の処理が終了すると、コードストリーム多重化部３０３は、ビット深度分割符号化処理を終了する。
【０２３７】
以上のように、符号化装置５００は、ゼロビットの符号化を省略することにより、より効率よく符号化を行うことができる。
【０２３８】
＜７．第７の実施の形態＞
［復号装置の構成］
次に、符号化装置５００に対応する復号装置について説明する。図２８は、本発明を適用した復号装置の主な構成例を示すブロック図である。図２８に示される復号装置５５０は、符号化装置５００に対応し、符号化装置５００により生成されたコードストリームを正しく復号する。
【０２３９】
図２２に示されるように、復号装置５５０は、基本的に図２２を参照して説明した第４の実施の形態の復号装置３５０と同様の構成を有し、同様の処理を行う。
【０２４０】
ただし、復号装置５５０は、ビット深度合成部３５３の代わりにビット深度合成部５５３を有し、多重化構造解析部３５４の代わりに多重化構造解析部５５４を有し、さらに、ゼロ係数生成部５５５を有する。
【０２４１】
多重化構造解析部５５４は、符号化装置５００から供給されるコードストリーム５６１の構造を解析し、分割情報５６２を抽出し、それをコードストリーム分離部３５１とゼロ係数生成部５５５に供給する。また、多重化構造解析部５５４は、分割情報５６２が抽出されたコードストリームである符号化データ５６３をコードストリーム分離部３５１に供給する。
【０２４２】
コードストリーム分離部３５１は、分割情報５６２に基づいて、符号化データ５６３を分割し、多重化前の、複数の（Ｎ系統の）コードストリームを生成する。コードストリーム分離部３５１は、分離した各コードストリームを、それぞれに対応するデコード部２０２に供給する。
【０２４３】
例えば、コードストリーム分離部３５１は、Ｎ系統のコードストリームのうち、上位側から１番目のビット群により構成される画像から生成されたコードストリーム５６４をデコード部２０２−１に供給し、上位側から２番目のビット群により構成される画像から生成されたコードストリーム５６５をデコード部２０２−２に供給する。さらに、コードストリーム分離部３５１は、上位側からＮ番目のビット群により構成される画像から生成されたコードストリーム５６６をデコード部２０２−Ｎに供給する。
【０２４４】
各デコード部２０２は、供給されたコードストリームを復号し、生成した復号画像（復号画像５６８乃至復号画像５７０）をビット深度合成部３５３に供給する。
【０２４５】
ゼロ係数生成部５５５は、多重化構造解析部５５４から供給される分割情報に基づいて、ゼロ係数画像を生成する。ゼロ係数生成部５５５は、分割情報において指定される分割位置の中で最上位の分割位置より上位のビットで構成される画像を生成する。
【０２４６】
第６の実施の形態において説明したように、符号化装置５００は、ビット深度方向の最上位ビットから連続するゼロビットの符号化を省略する。ゼロ係数生成部５５５は、その符号化が省略されたゼロ係数画像を生成する。
【０２４７】
ゼロ係数生成部５５５は、生成したゼロ係数画像５６７をビット深度合成部５５３に供給する。
【０２４８】
ビット深度合成部５５３は、供給された各復号画像およびゼロ係数画像を、そのビット深度方向に合成し、符号化装置５００の入力画像と同じビット深度の１系統の復号画像５７１を生成する。
【０２４９】
［ビット深度分割復号処理の流れ］
次に、図２９のフローチャートを参照して、この場合のビット深度分割復号処理の流れの例を説明する。
【０２５０】
ビット深度分割復号処理が開始されると、ステップＳ５５１において、多重化構造解析部５５４が、多重化構造を解析し、分割位置を特定する。ステップＳ５５２において、コードストリーム分離部３５１は、ステップＳ５５１において特定された分割位置に基づいて、多重化されたコードストリームをＮ分割する。
【０２５１】
ステップＳ５５３において、デコード部２０２は、分割後の各コードストリームを復号する。ステップＳ５５４において、ゼロ係数生成部５５５は、分割情報に基づいて、符号化前の状態においてゼロ係数画像が存在したか否かを判定する。
【０２５２】
最上位の分割位置が最上位ビットでなく、ゼロ係数画像が存在したと判定された場合、ゼロ係数生成部５５５は、処理をステップＳ５５５に進め、最上位の分割位置より上位のビット（ゼロビット）で構成されるゼロ係数画像を生成する。ゼロ係数画像を生成するとゼロ係数生成部５５５は、処理をステップＳ５５６に進める。
【０２５３】
また、ステップＳ５５４において、最上位の分割位置が最上位ビットであり、ゼロ係数画像が存在しなかったと判定された場合、ゼロ係数生成部５５５は、ステップＳ５５５の処理を省略し、処理をステップＳ５５６に進める。
【０２５４】
ステップＳ５５６において、ビット深度合成部５５３は、各画像データをビット深度方向に合成し、ビット深度分割復号処理を終了する。
【０２５５】
以上のようにして、復号装置５５０は、符号化装置５００により生成された、ゼロ係数画像の符号化が省略されたコードストリームを正しく復号することができる。したがって、復号装置５５０は、画像の符号化における符号化効率を向上させることができる。
【０２５６】
なお、符号化装置５００のエンコード部１０２がJPEG2000方式で符号化を行う場合、最上位ビットから連続する値がゼロの係数をゼロビットプレーンとし、その符号化を省略する。従って、この場合、ゼロデータを含めた全部の係数を符号化しても、スキップした場合に比べて大きなオーバーヘッドには成り難い。
【０２５７】
＜８．第８の実施の形態＞
［符号化装置の構成］
以上においては、分割された各ビット深度画像を全て符号化するように説明したが、これに限らず、分割後の各画像を符号化するか否かを選択することができるようにしてもよい。
【０２５８】
例えば、下位ビットの画像になるほどノイズ成分が多く含まれる可能性が高く、符号化効率が向上しにくい（圧縮効果が少ない）傾向がある。このように符号化効率が低い画像を符号化しても処理の負荷や処理時間が不要に増大するのみである。さらに、場合によっては、符号化することでデータ量が増大することも考えられる。
【０２５９】
そこで、符号化を行うか否かを、分割後の画像毎に選択することができるようにし、効果の薄い不要な符号化を省略することができるようにする。
【０２６０】
図３０は、本発明を適用した符号化装置の主な構成例を示すブロック図である。図３０に示される符号化装置６００は、基本的に上述した図２０の符号化装置３００と同様の符号化装置であるが、各エンコード部１０２による符号化前後のデータのいずれか一方を選択する選択部６０１を有する。また、符号化装置６００は、コードストリーム多重化部３０３の代わりにデータ多重化部６０３を有する。
【０２６１】
ビット深度分割部３０１は、入力画像６１１をビット深度方向にＮ分割すると、その分割情報６１２をデータ多重化部６０３に供給するとともに、分割後の各画像を、それぞれに対応するエンコード部１０２および選択部６０１に供給する。
【０２６２】
例えば、ビット深度分割部３０１は、Ｎ系統の分割後の画像のうち、上位側から１番目の画像６１３をエンコード部１０２−１および選択部６０１−１に供給し、上位側から２番目の画像６１４をエンコード部１０２−２および選択部６０２−２に供給する。さらに、ビット深度分割部３０１は、上位側からＮ番目の画像６１５をエンコード部１０２−Ｎに供給する。
【０２６３】
エンコード部１０２は、供給された画像データを符号化し、生成したコードストリーム（コードストリーム６１６乃至コードストリーム６１８）を、対応する選択部６０１（選択部６０１−１乃至選択部６０１−Ｎ）に供給する。
【０２６４】
選択部６０１−１乃至選択部６０１−Ｎは、エンコード部１０２による符号化の前の画像データと、エンコード部１０２により符号化された後のコードストリームのうちいずれか一方を選択し、選択した方をデータ多重化部６０３に供給する。以下において、選択部６０１−１乃至選択部６０１−Ｎを互いに区別して説明する必要が無い場合、単に選択部６０１と称する。
【０２６５】
この選択部６０１は、供給される符号化前後のデータのデータ量を比較し、その結果に基づいていずれか一方を選択する。例えば、符号化後のコードストリームのデータサイズが、符号化前の画像データのデータサイズ以上である場合、選択部６０１は、符号化前の画像データを選択する。
【０２６６】
また、例えば、符号化後のコードストリームのデータサイズが、符号化前の画像データのデータサイズより小さい場合、選択部６０１は、符号化後のコードストリームを選択する。
【０２６７】
データ多重化部６０３は、供給されたデータを多重化し、１系統のデータとして出力する。
【０２６８】
［ビット深度分割符号化処理の流れ］
図３１のフローチャートを参照して、この場合のビット深度分割符号化処理の流れの例を説明する。
【０２６９】
ビット深度分割符号化処理が開始されると、ビット深度分割部３０１は、ステップＳ６０１において入力画像をビット深度方向にＮ分割し、ステップＳ６０２において分割情報を生成する。
【０２７０】
ステップＳ６０３において、各エンコード部１０２および各選択部６０１は、分割後の各画像を符号化し、符号化前の画像データおよび符号化後のコードストリームのいずれか一方を選択する選択符号化処理を行う。
【０２７１】
ステップＳ６０４において、データ多重化部６０３は、ステップＳ６０３の処理により選択された各コードストリーム若しくは各画像データと、分割情報とを多重化し、ビット深度分割符号化処理を終了する。
【０２７２】
［選択符号化処理の流れ］
次に、図３２のフローチャートを参照して、図３１のステップＳ６０３において実行される選択符号化処理の流れの例を説明する。
【０２７３】
選択符号化処理が開始されると、ステップＳ６２１において、エンコード部１０２は、供給された分割後の画像を符号化する。選択部６０１は、ステップＳ６２２において、符号化前後のデータ量を比較し、ステップＳ６２３において、データ量の少ない方を選択する。
【０２７４】
ステップＳ６２３の処理が終了すると選択部６０１は、選択符号化処理を終了し、処理を図３１のステップＳ６０３に戻し、ステップＳ６０４以降の処理を実行させる。
【０２７５】
以上のようにすることにより、符号化装置５００は、効果が少ない不要な符号化を省略し、符号化処理の負荷を低減させることができる。さらに、画像によっては、コードストリームの符号量を低減させることもできる。つまり、符号化装置５００は、より容易に、符号化効率を向上させることができる。
【０２７６】
＜９．第９の実施の形態＞
［復号装置の構成］
次に、符号化装置６００に対応する復号装置について説明する。図３３は、本発明を適用した復号装置の主な構成例を示すブロック図である。図３３に示される復号装置６５０は、符号化装置６００に対応し、符号化装置６００により生成されたコードストリームを正しく復号する。
【０２７７】
図３３に示されるように、復号装置６５０は、基本的に図２２を参照して説明した第４の実施の形態の復号装置３５０と同様の構成を有し、同様の処理を行う。
【０２７８】
ただし、復号装置６５０は、コードストリーム分離部３５１の代わりにデータ分離部６５１を有し、ビット深度合成部３５３の代わりにビット深度合成部６５３を有し、さらに、判定部６５２−１乃至判定部６５２−Ｎを有する。以下において、判定部６５２−１乃至判定部６５２−Ｎを互いに区別して説明する必要が無い場合、単に判定部６５２と称する。
【０２７９】
データ分離部６５１は、分割情報６６２に基づいて、符号化装置６００から供給されるデータ６６１（コードストリーム）から分割情報６６２を抽出したデータ５６３を分割し、多重化前の、複数の（Ｎ系統の）データを生成する。データ分離部６５１は、分離した各データ（データ６６４乃至データ６６６）を、それぞれに対応する判定部６５２に供給する。
【０２８０】
各判定部６５２は、供給された各データ（データ６６４乃至データ６６６）が符号化されたコードストリームであるか、符号化されていない画像データであるかを判定する。各判定部６５２は、供給されたデータが符号化されたコードストリームであると判定された場合、それを、対応するデコード部２０２に供給する（コードストリーム６６７、コードストリーム６６９、およびコードストリーム６７１）。また、供給された各データが符号化されていない画像データであると判定された場合、それを、ビット深度合成部６５３に供給する（画像データ６６８、画像データ６７０、および画像データ６７２）。
【０２８１】
各デコード部２０２は、供給されたコードストリーム（コードストリーム６６７、コードストリーム６６９、若しくはコードストリーム６７１）を復号し、復号画像（復号画像６７３、復号画像６７４、若しくは復号画像６７５）をビット深度合成部６５３に供給する。
【０２８２】
ビット深度合成部６５３は、供給される各種データをビット深度方向に合成し、１系統のデータ６７６として出力する。
【０２８３】
［ビット深度分割復号処理の流れ］
次に、図３４のフローチャートを参照して、ビット深度分割復号処理の流れの例を説明する。
【０２８４】
ビット深度分割復号処理が開始されると、ステップＳ６５１において、多重化構造解析部５５４が、符号化装置６００から供給されるデータ６６１の多重化構造を解析し、分割情報６６２を抽出し、分割位置等を特定する。ステップＳ６５２において、データ分離部６５１は、ステップＳ６５１において抽出された分割情報６６２に基づいて、分割情報６６２が抽出されたデータ６６３をＮ分割する。
【０２８５】
ステップＳ６５３において、判定部６５２およびデコード部２０２は、分割後のデータ（データ６６４乃至データ６６６）が、符号化されたコードストリームであるか否かを判定し、コードストリームであると判定された場合のみ、そのコードストリームを復号する判定復号処理を行う。
【０２８６】
ステップＳ６５４において、ビット深度合成部６５３は、ステップＳ６５３の処理により得られた画像データを、ビット深度方向に合成し、１系統の復号画像６７６を生成し、ビット深度分割復号処理を終了する。
【０２８７】
［判定復号処理の流れ］
次に、図３４のステップＳ６５３において実行される判定復号処理の流れの例を図３５のフローチャートを参照して説明する。
【０２８８】
判定復号処理が開始されると、判定部６５２は、ステップＳ６７１において、供給されたデータが符号化されているか否かを判定する。符号化されていると判定された場合、ステップＳ６７２に処理を進める。ステップＳ６７２において、デコード部２０２は、分割後のコードストリームを復号し、判定復号処理を終了する。
【０２８９】
また、ステップＳ６７１において、符号化されていないと判定された場合、判定部６５２は、ステップＳ６７２の処理を省略し、判定復号処理を終了する。
【０２９０】
判定復号処理が終了されると、判定部６５２は、処理を図３４のステップＳ６５３に戻し、それ以降の処理を繰り返す。
【０２９１】
以上のようにして、復号装置６５０は、符号化装置６００により生成されたデータを正しく復号することができる。したがって、復号装置６５０は、より容易に、画像の符号化における符号化効率を向上させることができる。
【０２９２】
＜１０．第１９の実施の形態＞
［符号化装置の構成］
以上においては、各エンコード部１０２での符号化方式は予め定められており、各エンコード部１０２には、１個のエンコーダ（例えばJPEG2000エンコーダ）が設けられるように説明したが、これに限らず、各エンコード部１０２が互いに異なる符号化方式の複数のエンコーダを有し、採用する符号化方式を適宜選択することができるようにしてもよい。
【０２９３】
現在、符号化方式として様々な方法が存在する。例えば、JPEG2000以外にもLossless圧縮用としてはJPEG-LSやLZ77などの技術がある。またLossy圧縮用としてもMPEG系やJPEG等がある。各符号化方式は、互いに異なる特徴を有しており、符号化対象の画像や、符号化パラメータ等の各種条件によって、効率よく符号化を行うことができる場合とできない場合とがある。
【０２９４】
符号化装置が、分割した画像毎に、これらの符号化方式の中から最も効率のよい符号化方式を選択することができるようにし、より効率よく符号化を行うことができるようにしてもよい。
【０２９５】
図３６は、本発明を適用した符号化装置のエンコード部１０２の主な構成例を示すブロック図である。図３６に示されるように、この場合のエンコード部１０２は、内部に、エンコード部７０１−１乃至エンコード部７０１−３、並びに、選択部７０２を有する。
【０２９６】
エンコード部７０１−１乃至エンコード部７０１−３は、互いに異なる符号化方式で符号化を行う。エンコード部７０１−１乃至エンコード部７０１−３は、供給された画像データ７１１を、それぞれの符号化方式で符号化し、生成したコードストリーム（コードストリーム７１２乃至コードストリーム７１４）を選択部７０２に供給する。
【０２９７】
以下において、エンコード部７０１―１乃至エンコード部７０１−３を互いに区別して説明する必要が無い場合、単にエンコード部７０１と称する。
【０２９８】
このように、３つの符号化方式でコードストリームが生成されると、選択部７０２は、この３つのコードストリームのデータサイズを比較し、データサイズが最小となるコードストリームを選択する。
【０２９９】
選択部７０２は、選択したコードストリーム７１６をコードストリーム多重化部１０３、コードストリーム多重化部３０３、若しくは選択部６０１に供給する。また、選択部７０２は、そのコードストリームとともに、どの符号化方式を選択したかを示す選択情報７１５を、コードストリーム多重化部１０３、コードストリーム多重化部３０３、若しくは選択部６０１に供給する。この選択情報７１５は、コードストリームとともに多重化される。
【０３００】
なお、エンコード部７０１の数（用意される符号化方式の数）は任意であり、２つであってもよいし、４つ以上であってもよい。また、エンコード部７０１の数は、エンコード部１０２毎に独立して設定することができる。
【０３０１】
［選択符号化処理の流れ］
図３７のフローチャートを参照して、この場合のエンコード部１０２により実行される選択符号化処理の流れの例を説明する。
【０３０２】
選択符号化処理が開始されると、ステップＳ７０１において、エンコード部７０１は、予め用意された符号化方式の中から未処理の符号化方式を選択する。ステップＳ７０２において、エンコード部７０１は、選択された符号化方式で画像データ７１１を符号化する。ステップＳ７０３において、エンコード部７０１は、予め用意された符号化方式の全てで符号化したか否かを判定し、未処理の符号化方式が存在すると判定された場合、処理をステップＳ７０１に戻し、それ以降の処理を繰り返す。
【０３０３】
また、ステップＳ７０３において、全ての符号化方式で符号化を行ったと判定された場合、エンコード部７０１は、処理をステップＳ７０４に進める。
【０３０４】
ステップＳ７０４において、選択部７０２は、生成されたコードストリームのデータサイズを比較し、データサイズが最小のコードストリーム（符号化方式）を選択する。ステップＳ７０５において、選択部７０２は、その選択情報を生成する。ステップＳ７０６において、選択部７０２は、ステップＳ７０４の処理により選択したコードストリーム、および、ステップＳ７０５の処理により生成した選択情報を出力し、選択符号化処理を終了する。
【０３０５】
このようにすることにより、エンコード部１０２は、より効率よく符号化を行うことができる。つまり、上述した符号化装置１００、符号化装置３００、符号化装置４００、符号化装置５００、および符号化装置６００は、このようなエンコード部１０２を採用することにより、より多様な画像や符号化条件等に対して、より効率よく符号化を行うことができる。
【０３０６】
＜１１．第１１の実施の形態＞
［復号装置の構成］
次に、このようなエンコード部１０２に対応するデコード部２０２について説明する。図３８は、本発明を適用した復号装置のデコード部２０２の主な構成例を示すブロック図である。図３８に示されるデコード部２０２は、図３６に示されるエンコード部１０２に対応し、図３６のエンコード部１０２により生成されたコードストリームを正しく復号する。
【０３０７】
図３８に示されるように、デコード部２０２は、判定部７５１、並びに、デコード部７５２−１乃至デコード部７５２−３を有する。
【０３０８】
この場合、符号化装置から供給されるコードストリームには、上述した選択情報も多重化されている。したがって、前段のコードストリーム分離部は、コードストリームを分割する際に、選択情報も抽出する。判定部７５１は、コードストリーム分離部を介して供給される選択情報７６１に基づいて、供給されるコードストリーム７６２の符号化方式を判定する。
【０３０９】
デコード部７５２−１乃至デコード部７５２−３は、互いに異なる復号方式でコードストリームを復号する。以下において、デコード部７５２−１乃至デコード部７５２−３を互いに区別して説明する必要が無い場合、単にデコード部７５２と称する。
【０３１０】
判定部７５１は、供給されるコードストリーム７６２の符号化方式を判定すると、そのコードストリームを、デコード部７５２−１乃至デコード部７５２−３のうち、その符号化方式に対応する復号方式のデコード部７５２に供給する（コードストリーム７６３乃至コードストリーム７６５）。
【０３１１】
コードストリームを供給されたデコード部７５２は、供給されたコードストリームを復号し、生成した復号画像７６６を出力する。
【０３１２】
なお、デコード部７５２の数（用意される復号方式の数）は任意であり、２つであってもよいし、４つ以上であってもよい。また、デコード部７５２の数は、デコード部２０２毎に独立して設定することができる。
【０３１３】
［判定復号処理の流れ］
次に、図３９のフローチャートを参照して、このデコード部２０２による判定復号処理の流れの例を説明する。
【０３１４】
判定復号処理が開始されると、ステップＳ７５１において、判定部７５１は、選択情報に基づいて、供給されるコードストリームの符号化方式を判定する。ステップＳ７５２において、デコード部７５２は、ステップＳ７５１の処理により判定された符号化方式に対応する復号方式でコードストリームを復号し、判定復号処理を終了する。
【０３１５】
このようにすることにより、デコード部２０２は、図３６のエンコード部１０２により符号化されたコードストリームを正しい復号方式で復号することができる。また、デコード部２０２は、エンコード部１０２から供給される選択情報により、容易に正しい復号方式を判定することができる。
【０３１６】
つまり、上述した復号装置２００、復号装置３５０、復号装置５５０、および復号装置６５０は、このようなデコード部２０２を採用することにより、より多様な画像や符号化条件等に対して、符号化効率を向上させることができる。
【０３１７】
＜１２．第１２の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図４０に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０３１８】
図４０において、パーソナルコンピュータ８００のCPU（Central Processing Unit）８０１は、ROM（Read Only Memory）８０２に記憶されているプログラム、または記憶部８１３からRAM（Random Access Memory）８０３にロードされたプログラムに従って各種の処理を実行する。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３１９】
CPU８０１、ROM８０２、およびRAM８０３は、バス８０４を介して相互に接続されている。このバス８０４にはまた、入出力インタフェース８１０も接続されている。
【０３２０】
入出力インタフェース８１０には、キーボード、マウスなどよりなる入力部８１１、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等のディスプレイ、並びにスピーカなどよりなる出力部８１２、フラッシュメモリ等SSD（Solid State Drive）やハードディスクなどよりなる記憶部８１３、有線LAN（Local Area Network）や無線LANのインタフェースやモデムなどよりなる通信部８１４が接続されている。通信部８１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０３２１】
入出力インタフェース８１０にはまた、必要に応じてドライブ８１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部８１３にインストールされる。
【０３２２】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０３２３】
この記録媒体は、例えば、図４０に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア８２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM８０２や、記憶部８１３に含まれるハードディスクなどにより構成される。
【０３２４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３２５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３２６】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０３２７】
また、以上において、１つの装置（または処理部）として説明した構成が、複数の装置（または処理部）として構成されるようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成が、まとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成が付加されるようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部が他の装置（または他の処理部）の構成に含まれるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【０３２８】
本発明は、例えば、３Ｄデジタルシネマ用編集装置、３Ｄアーカイブシステム、放送局の３Ｄ画像伝送装置、３Ｄ画像データベース、３Ｄ医用画像の記録システム、３Ｄゲーム機、テレビ受像機システム、３Ｄ対応のBlu Ray Discレコーダ若しくはプレイヤ、自由視点テレビ、臨場感TV会議システム、パーソナルコンピュータ等にインストールされるオーサリング・ツールまたはそのソフトウェア・モジュール等に適用することができる。
【符号の説明】
【０３２９】
１００ 符号化装置， １０１ ビット深度分割部， １０２ エンコード部， １０３ コードストリーム多重化部， ２００ 復号装置， ２０１ コードストリーム分離部， ２０２ デコード部， ２０３ ビット深度合成部， ３００ 符号化装置， ３０１ ビット深度分割部， ３０３ コードストリーム多重化部， ３５０ 復号装置， ３５１ コードストリーム分離部， ３５３ ビット深度合成部， ３５４ 多重化構造解析部， ４００ 符号化装置， ４０１ ビットレート割り当て部， ５００ 符号化装置， ５０１ ビット深度分割部， ５０２ 非ゼロ係数境界検出部， ５５０ 復号装置， ５５３ ビット深度合成部， ５５４ 多重化構造解析部， ５５５ ゼロ係数生成部， ６００ 符号化装置， ６０１ 選択部， ６０３ データ多重化部， ６５０ 復号装置， ６５１ データ分離部， ６５２ 判定部， ６５３ ビット深度合成部， ７０１ エンコード部， ７０２ 選択部， ７５１ 判定部， ７５２ デコード部
【特許請求の範囲】
【請求項１】
画像をビット深度方向に複数に分割する分割手段と、
前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、それぞれ符号化する符号化手段と
を備える画像処理装置。
【請求項２】
前記分割手段による前記画像の分割数、および、前記分割手段により分割が行われるビット位置を示す分割位置を少なくとも示す分割情報を生成する分割情報生成手段をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記符号化手段は、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、画像毎に設定される符号化方式により符号化する
請求項１に記載の画像処理装置。
【請求項４】
前記符号化手段は、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、前記画像毎に設定されるレベル数でウェーブレット変換し、得られた係数データを符号化する
請求項１に記載の画像処理装置。
【請求項５】
前記符号化手段による、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうちの一部または全部の画像のそれぞれに対する符号化に対して、目標ビットレートを割り当てるビットレート割り当て手段をさらに備え、
前記符号化手段は、前記ビットレート割り当て手段により割り当てられた前記目標ビットレートを用いて、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像の符号化のレート制御を行う
請求項１に記載の画像処理装置。
【請求項６】
前記画像のビット深度において、最上位ビットから連続する値がゼロのビットと、非ゼロのビットとの境界である非ゼロ係数境界を検出する非ゼロ係数境界検出手段をさらに備え、
前記符号化手段は、前記非ゼロ係数境界検出手段により検出された前記ゼロ係数境界より上位のビットで構成される画像の符号化を省略する
請求項１に記載の画像処理装置。
【請求項７】
前記符号化手段により符号化される前後のデータサイズに応じて、符号化するか否かを、前記分割手段により前記ビット深度方向に分割されて得られる画像毎に選択する選択手段をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記符号化手段による符号化の符号化方式を、前記分割手段により前記ビット深度方向に分割されて得られる画像毎に選択する選択手段をさらに備える
請求項１に記載の画像処理装置。
【請求項９】
前記符号化手段により、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像が符号化されて得られる各コードストリームを多重化する多重化手段をさらに備える
請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置の画像処理方法であって、
分割手段が、画像をビット深度方向に複数に分割し、
符号化手段が、前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、それぞれ符号化する
画像処理方法。
【請求項１１】
互いに同一の画像からビット深度方向に分割されて生成された複数の画像がそれぞれ符号化され、得られた前記画像毎のコードストリームが多重化された、１系統のコードストリームを、前記画像毎のコードストリーム毎に分離する分離手段と、
前記分離手段により１系統のコードストリームが分離されて得られた前記画像毎のコードストリームを、それぞれ復号する復号手段と
を備える画像処理装置。
【請求項１２】
前記１系統のコードストリームの構造を解析する構造解析手段をさらに備え、
前記分離手段は、前記構造解析手段による前記構造の解析結果に基づいて、前記１系統のコードストリームを分離する
請求項１１に記載の画像処理装置。
【請求項１３】
前記構造解析手段は、前記１系統のコードストリームに含まれる、前記ビット深度方向に画像を分割した時の画像の分割数および分割が行われるビット位置を示す分割位置を少なくとも示す分割情報を抽出し、
前記分離手段は、前記構造解析手段により前記１系統のコードストリームから抽出された前記分割情報に基づいて、前記１系統のコードストリームを分離する
請求項１２に記載の画像処理装置。
【請求項１４】
前記画像毎のコードストリームは、各画像毎に設定された符号化方式で符号化されており、
前記復号手段は、各符号化方式に対応する復号方式で、前記画像毎のコードストリームを復号する
請求項１１に記載の画像処理装置。
【請求項１５】
前記画像毎のコードストリームは、各画像毎に設定されたレベル数でウェーブレット変換され、得られた係数データが符号化されており、
前記復号手段は、前記画像毎のコードストリームを復号し、得られた係数データを、各画像毎に設定された前記レベル数で逆ウェーブレット変換する
請求項１１に記載の画像処理装置。
【請求項１６】
前記画像毎のコードストリームの符号化時に削除された、前記画像のビット深度において最上位ビットから連続する値がゼロのビットを生成するゼロ係数生成手段をさらに備える
請求項１１に記載の画像処理装置。
【請求項１７】
前記分離手段は、互いに同一の画像からビット深度方向に分割されて生成された複数の画像から生成された前記画像毎のデータが多重化された、１系統のデータを、前記画像毎のデータ毎に分離し、
前記分離手段により分離された前記画像毎のデータが符号化されているか否かを判定する判定手段をさらに備え、
前記復号手段は、前記判定手段により符号化されていると判定された前記画像毎のデータを復号する
請求項１１に記載の画像処理装置。
【請求項１８】
前記画像毎のコードストリームのそれぞれの符号化方式を示す符号化方式情報に基づいて、前記画像毎のコードストリームのそれぞれの復号方式を判定する判定手段をさらに備え、
前記復号手段は、前記画像毎のコードストリームを、それぞれ、前記判定手段により判定された復号方式で復号する
請求項１１に記載の画像処理装置。
【請求項１９】
前記復号手段により復号されて得られた各画像を、前記ビット深度方向に合成するビット深度合成手段をさらに備える
請求項１１に記載の画像処理装置。
【請求項２０】
画像処理装置の画像処理方法であって、
分離手段が、互いに同一の画像からビット深度方向に分割されて生成された複数の画像がそれぞれ符号化され、得られた前記画像毎のコードストリームが多重化された、１系統のコードストリームを、前記画像毎のコードストリーム毎に分離し、
復号手段が、１系統のコードストリームが分離されて得られた前記画像毎のコードストリームを、それぞれ復号する
画像処理方法。
【請求項１】
画像をビット深度方向に複数に分割する分割手段と、
前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、それぞれ符号化する符号化手段と
を備える画像処理装置。
【請求項２】
前記分割手段による前記画像の分割数、および、前記分割手段により分割が行われるビット位置を示す分割位置を少なくとも示す分割情報を生成する分割情報生成手段をさらに備える
請求項１に記載の画像処理装置。
【請求項３】
前記符号化手段は、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、画像毎に設定される符号化方式により符号化する
請求項１に記載の画像処理装置。
【請求項４】
前記符号化手段は、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、前記画像毎に設定されるレベル数でウェーブレット変換し、得られた係数データを符号化する
請求項１に記載の画像処理装置。
【請求項５】
前記符号化手段による、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうちの一部または全部の画像のそれぞれに対する符号化に対して、目標ビットレートを割り当てるビットレート割り当て手段をさらに備え、
前記符号化手段は、前記ビットレート割り当て手段により割り当てられた前記目標ビットレートを用いて、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像の符号化のレート制御を行う
請求項１に記載の画像処理装置。
【請求項６】
前記画像のビット深度において、最上位ビットから連続する値がゼロのビットと、非ゼロのビットとの境界である非ゼロ係数境界を検出する非ゼロ係数境界検出手段をさらに備え、
前記符号化手段は、前記非ゼロ係数境界検出手段により検出された前記ゼロ係数境界より上位のビットで構成される画像の符号化を省略する
請求項１に記載の画像処理装置。
【請求項７】
前記符号化手段により符号化される前後のデータサイズに応じて、符号化するか否かを、前記分割手段により前記ビット深度方向に分割されて得られる画像毎に選択する選択手段をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記符号化手段による符号化の符号化方式を、前記分割手段により前記ビット深度方向に分割されて得られる画像毎に選択する選択手段をさらに備える
請求項１に記載の画像処理装置。
【請求項９】
前記符号化手段により、前記分割手段により前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像が符号化されて得られる各コードストリームを多重化する多重化手段をさらに備える
請求項１に記載の画像処理装置。
【請求項１０】
画像処理装置の画像処理方法であって、
分割手段が、画像をビット深度方向に複数に分割し、
符号化手段が、前記画像が前記ビット深度方向に分割されて得られる複数の画像のうち、一部または全部の画像を、それぞれ符号化する
画像処理方法。
【請求項１１】
互いに同一の画像からビット深度方向に分割されて生成された複数の画像がそれぞれ符号化され、得られた前記画像毎のコードストリームが多重化された、１系統のコードストリームを、前記画像毎のコードストリーム毎に分離する分離手段と、
前記分離手段により１系統のコードストリームが分離されて得られた前記画像毎のコードストリームを、それぞれ復号する復号手段と
を備える画像処理装置。
【請求項１２】
前記１系統のコードストリームの構造を解析する構造解析手段をさらに備え、
前記分離手段は、前記構造解析手段による前記構造の解析結果に基づいて、前記１系統のコードストリームを分離する
請求項１１に記載の画像処理装置。
【請求項１３】
前記構造解析手段は、前記１系統のコードストリームに含まれる、前記ビット深度方向に画像を分割した時の画像の分割数および分割が行われるビット位置を示す分割位置を少なくとも示す分割情報を抽出し、
前記分離手段は、前記構造解析手段により前記１系統のコードストリームから抽出された前記分割情報に基づいて、前記１系統のコードストリームを分離する
請求項１２に記載の画像処理装置。
【請求項１４】
前記画像毎のコードストリームは、各画像毎に設定された符号化方式で符号化されており、
前記復号手段は、各符号化方式に対応する復号方式で、前記画像毎のコードストリームを復号する
請求項１１に記載の画像処理装置。
【請求項１５】
前記画像毎のコードストリームは、各画像毎に設定されたレベル数でウェーブレット変換され、得られた係数データが符号化されており、
前記復号手段は、前記画像毎のコードストリームを復号し、得られた係数データを、各画像毎に設定された前記レベル数で逆ウェーブレット変換する
請求項１１に記載の画像処理装置。
【請求項１６】
前記画像毎のコードストリームの符号化時に削除された、前記画像のビット深度において最上位ビットから連続する値がゼロのビットを生成するゼロ係数生成手段をさらに備える
請求項１１に記載の画像処理装置。
【請求項１７】
前記分離手段は、互いに同一の画像からビット深度方向に分割されて生成された複数の画像から生成された前記画像毎のデータが多重化された、１系統のデータを、前記画像毎のデータ毎に分離し、
前記分離手段により分離された前記画像毎のデータが符号化されているか否かを判定する判定手段をさらに備え、
前記復号手段は、前記判定手段により符号化されていると判定された前記画像毎のデータを復号する
請求項１１に記載の画像処理装置。
【請求項１８】
前記画像毎のコードストリームのそれぞれの符号化方式を示す符号化方式情報に基づいて、前記画像毎のコードストリームのそれぞれの復号方式を判定する判定手段をさらに備え、
前記復号手段は、前記画像毎のコードストリームを、それぞれ、前記判定手段により判定された復号方式で復号する
請求項１１に記載の画像処理装置。
【請求項１９】
前記復号手段により復号されて得られた各画像を、前記ビット深度方向に合成するビット深度合成手段をさらに備える
請求項１１に記載の画像処理装置。
【請求項２０】
画像処理装置の画像処理方法であって、
分離手段が、互いに同一の画像からビット深度方向に分割されて生成された複数の画像がそれぞれ符号化され、得られた前記画像毎のコードストリームが多重化された、１系統のコードストリームを、前記画像毎のコードストリーム毎に分離し、
復号手段が、１系統のコードストリームが分離されて得られた前記画像毎のコードストリームを、それぞれ復号する
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【公開番号】特開２０１２−６０２６１（Ｐ２０１２−６０２６１Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９９２７０（Ｐ２０１０−１９９２７０）
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（３０５０２７４０１）公立大学法人首都大学東京 (385)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月６日（２０１０．９．６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（３０５０２７４０１）公立大学法人首都大学東京 (385)
【Ｆターム（参考）】
[ Back to top ]