符号化装置、復号装置及びプログラム
【課題】複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像を圧縮する符号化装置、その復号装置、並びにプログラムを提供する。
【解決手段】本発明の符号化装置（１０）は、所定の色空間における各コンポーネント信号の信号要素を入力して、無相関化変換を実行する無相関化変換手段（１０１）と、無相関化した信号に対して符号化処理を施して符号化信号を生成する符号化手段（１１２）とを備える。無相関化変換に用いた無相関化行列の情報を無相関化パラメータとして生成される。
【解決手段】本発明の符号化装置（１０）は、所定の色空間における各コンポーネント信号の信号要素を入力して、無相関化変換を実行する無相関化変換手段（１０１）と、無相関化した信号に対して符号化処理を施して符号化信号を生成する符号化手段（１１２）とを備える。無相関化変換に用いた無相関化行列の情報を無相関化パラメータとして生成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の圧縮符号化に関し、特に、複数のコンポーネント信号からなる色信号間の相関を利用し、複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像を圧縮する符号化装置、及びその復号装置、並びにこれらのプログラムに関する。
【背景技術】
【０００２】
現在用いられている画像の圧縮符号化方式（ＭＰＥＧ−２，ＡＶＣ／Ｈ．２６４，ＪＰＥＧ等）では、画像が有する時間或いは空間方向の相関性を利用し、これを除去することで全体の情報量を削減する方式となっている。カラー画像においては、複数（通常３色）のコンポーネント信号間に相関を有する場合がある。ＭＰＥＧ等では、カメラで撮像されたＲＧＢからＹＣｂＣｒのような輝度信号及び色差信号に変換した上で符号化することで、コンポーネント信号間の相関をある程度除去して符号化を行っている。
【０００３】
画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている（例えば、非特許文献１参照）。このようなイメージセンサにおける画像信号の補間技術は、ＲＧＢ色空間におけるＲＧＢ信号（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号）の補間を目的としているため、符号化による信号劣化について想定されていない。
【０００４】
また、ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術として、フォーマットカラー画像の色差成分補間技術が報告されている（例えば、非特許文献２参照）。この技術では、輝度（Ｙ）信号のサンプリング周波数の高さを利用して色差信号（Ｕ信号＝Ｂ−Ｙ，Ｖ信号＝Ｒ−Ｙ）の補間信号を生成することによって高精度な補間を行う。このようなＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術も、ＹＵＶ信号の補間を目的としているため、符号化による信号劣化について想定されていない。
【０００５】
これらの信号補間技術は、非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適しているが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処理によってＹＵＶ信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない。
【０００６】
また、符号化の劣化を低減するために、さまざまなポストフィルタ（例えば、Ｈ．２６４等におけるデブロッキングフィルタ）があるが、これらのポストフィルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するものであり、元の画像信号に対する符号化後の劣化を低減させることはできない。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】久野、杉浦、「単板原色イメージセンサにおける画素補間方式の高精度化」、映像情報メディア学会誌、Ｖｏｌ．６１、Ｎｏ．７、２００７年７月１日、ｐｐ．１００６〜１０１６
【非特許文献２】杉田、田口、「ＹＵＶ４：２：０フォーマットカラー画像の色差成分補間法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８８−Ａ、Ｎｏ．６、２００５年６月１日、ｐｐ．７５１〜７６０
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、カメラで撮像されたＲＧＢからＹＣｂＣｒのような輝度信号及び色差信号に変換した信号でも局所的には相関が残っており、更なる圧縮が可能である。
【０００９】
また、量子化による直交変換係数の劣化は、逆量子化及び逆直交変換により画素の劣化としてブロック歪やモスキートノイズなどの劣化となって知覚される。また、画素ブロックごとの劣化の程度が異なるため、隣接する符号化ブロックの境界において、その差が顕著な妨害となってブロック歪が検知されることがある。このような場合に、動画像のコンポーネント信号間の相関を利用することで更にブロック歪みを改善する余地がある。
【００１０】
本発明の目的は、上述の問題に鑑みて為された発明であり、ブロック歪みを改善しつつ更なる圧縮を図ることが可能な符号化装置、復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
そこで、発明者らは、コンポーネント信号間の相関を利用して互いに補間又は修正するのではなく、コンポーネント信号間の相関を利用して完全にコンポーネント信号間の無相関化を行い、画像に対する寄与率を区別可能にして圧縮することに着目した。
【００１２】
本発明では、従来の画像符号化方式では十分に利用されていなかったコンポーネント信号間の相関を活用し、２種類又はそれ以上のコンポーネント信号が形成する色空間を無相関な色空間に変換し、好適には無相関化したコンポーネント信号（以下、無相関化コンポーネント信号）のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を削減する。
【００１３】
即ち、本発明の符号化装置は、複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像を圧縮する符号化装置であって、所定の色空間における各コンポーネント信号の信号要素を入力して、無相関化変換を実行する無相関化変換手段と、無相関化した信号に対して符号化処理を施して符号化信号を生成する符号化手段とを備え、前記無相関化変換手段は、前記無相関化変換に用いた無相関化行列の情報を無相関化パラメータとして生成することを特徴とする。
【００１４】
また、本発明の符号化装置において、前記無相関化変換手段は、主成分分析法を用いて、固有値が大きい順に主成分を決定し、各コンポーネント信号の信号要素を前記主成分からなる無相関化したコンポーネント信号の信号要素に変換する無相関化変換行列を構成して前記無相関化パラメータを生成することを特徴とする。
【００１５】
また、本発明の符号化装置において、前記無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの１つ以上の無相関化コンポーネント信号に対して、予め定めた全体の信号量に対する削減率に従って信号量を削減する信号量削減手段を更に備えることを特徴とする。
【００１６】
また、本発明の符号化装置において、前記信号量削減手段は、無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの最も信号分布が小さい無相関化コンポーネント信号に対してサンプル数を低減することにより信号量を削減することを特徴とする。
【００１７】
また、本発明の符号化装置において、前記信号量削減手段は、無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの最も信号分布が小さい無相関化コンポーネント信号に対して粗い量子化を施すことにより信号量を削減することを特徴とする。
【００１８】
また、本発明の符号化装置において、時間又は空間方向に信号予測して予測信号を生成する信号予測手段と、前記信号予測手段に用いる参照信号と前記予測信号との間で同一の信号軸となるように変換する信号軸変換手段と、を更に備えることを特徴とする。
【００１９】
また、本発明の符号化装置において、予め固有番号で識別可能な無相関化変換行列として有限個数の無相関化変換行列が予め規定されており、前記無相関化変換手段は、主成分分析法で求めた無相関化変換行列に対して最も近いものを前記有限個数の無相関化変換行列から選択し、選択した無相関化変換行列の固有番号を元のコンポーネント信号の組合せに関連付けた補助情報として決定することを特徴とする。
【００２０】
また、本発明の復号装置は、複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像圧縮された信号を復号する復号装置であって、所定の色空間における各コンポーネント信号の信号要素に対して無相関化変換が実行され、符号化処理を施した符号化信号と、前記無相関化変換に用いた無相関化行列の情報からなる無相関化パラメータとを取得し、前記符号化信号を復号する復号手段と、前記無相関化パラメータを用いて無相関化逆変換を実行し、元の色空間におけるコンポーネント信号の信号要素を復元する無相関化逆変換手段と、を備えることを特徴とする。
【００２１】
また、本発明の復号装置において、前記無相関化逆変換手段は、無相関化パラメータを用いて、無相関化コンポーネント信号の信号要素から元の色空間の各コンポーネント信号の信号要素へと逆変換する無相関化逆変換行列を構成することを特徴とする。
【００２２】
また、本発明の復号装置は、時間又は空間方向に信号予測して予測信号を生成する信号予測手段と、前記信号予測手段に用いる参照信号と前記予測信号との間で同一の信号軸となるように変換する信号軸変換手段と、を更に備えることを特徴とする。
【００２３】
また、本発明の復号装置は、予め固有番号で識別可能な無相関化変換行列として有限個数の無相関化変換行列が予め規定されており、前記無相関化逆変換手段は、符号化側で主成分分析法で求めた無相関化変換行列に対して最も近いものを前記有限個数の無相関化変換行列から選択することにより決定された、無相関化変換行列の固有番号を示す補助情報に従って無相関化変換行列を特定し、前記無相関化逆変換を実行することを特徴とする。
【００２４】
また、本発明は、符号化装置及び復号装置の各々をコンピュータとして構成することができ、プログラムを実行することで、符号化装置及び復号装置の各構成要素を実現することができる。
【発明の効果】
【００２５】
本発明によれば、従来の画像符号化方式では十分に利用されていなかったコンポーネント信号間の相関を活用して、好適には無相関化コンポーネント信号のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を削減するため、従来の画像符号化方式と比較して更なる圧縮が可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明による実施例１の符号化装置のブロック図である。
【図２】本発明による実施例１の復号装置のブロック図である。
【図３】本発明に係る元の色空間のコンポーネント信号の信号軸と無相関化コンポーネント信号の信号軸の関係を示す概略図である。
【図４】本発明に係る無相関化コンポーネント信号による画面内予測／画面間予測処理の一例を示す概略図である。
【図５】本発明による実施例２の符号化装置のブロック図である。
【図６】本発明による実施例２の復号装置のブロック図である。
【図７】本発明による実施例３の符号化装置のブロック図である。
【図８】本発明による実施例３の復号装置のブロック図である。
【図９】本発明による一実施例の符号化装置として構成するコンピュータにおける制御フローである。
【図１０】本発明による一実施例の復号装置として構成するコンピュータにおける制御フローである。
【発明を実施するための形態】
【００２７】
本発明による符号化装置及び復号装置では、カラー画像のコンポーネント信号間の相関を除去して画像圧縮する。入力する元の色空間は、カメラ出力などのＲＧＢや、伝送や表示等に利用するＹＣａＣｂ，ＹＵＶ, Ｌｕｖ，Ｌａｂ，ＸＹＺなどで表現された信号など、いずれの色空間のものでもよい。尚、ＹＣａＣｂ，ＹＵＶ，Ｌｕｖなどでは、Ｙ又はＬのコンポーネント信号（輝度信号）については無相関化変換を行わず（行列の係数を１にする等）、他のコンポーネント信号（色差信号）の２つのコンポーネント信号間の相関を除去するように構成することもできる。また、元の色空間は、３種類のコンポーネント信号で構成されるもの以外に、４種類以上のコンポーネント信号（例えば、ＲＧＢＹＭＣ等）を扱うマルチスペクトルの色空間の場合にも同様に適用することができる。
【００２８】
尚、カラー画像のコンポーネント信号間の相関を除去するにあたり、元のコンポーネント信号が４：２：２や４：２：０のフォーマット形式の場合、１フレームあたりのコンポーネント信号間のサンプル数が異なるため、予めサンプル数を揃えて無相関化変換を行う。サンプル数の変換は、サンプル数の多い方のコンポーネント信号の信号要素を平均処理して、サンプル数の少ない方のコンポーネント信号の信号要素と同数にすることができるが、この場合、元の信号の解像度を再現できなくなるため、サンプル数の少ない方のコンポーネント信号の信号要素を補間して、多い方のサンプル数のコンポーネント信号と同数にするのが好適である。
【００２９】
複数のコンポーネント信号からなる色空間の画像を符号化する本発明に係る符号化装置は、元の色空間の複数のコンポーネント信号（例えば、Ｃ１信号，Ｃ２信号，Ｃ３信号）のうちの２つ以上のコンポーネント信号について、コンポーネント信号間の相関を除去する無相関化変換行列によって無相関化変換を施して無相関化コンポーネント信号（例えば、Ｐ１信号，Ｐ２信号，Ｐ３信号）を生成し、この無相関化コンポーネント信号について時空間の信号予測（画面内予測又は画面間予測）の参照信号に基づく残差信号（例えば、Ｐ１残差信号，Ｐ２残差信号，Ｐ３残差信号）を生成して符号化する。この参照信号と符号化する際に用いる無相関化コンポーネント信号の無相関化変換行列を同一にして残差信号を生成するのが好適である。即ち、参照信号を生成するにあたり、符号化した信号を局部復号して符号化前のコンポーネント信号を再生した後、その符号化時に用いた無相関化変換行列によって無相関化逆変換を施して一旦格納し、格納したコンポーネント信号を読み出して、次に符号化する際の無相関化コンポーネント信号に用いる無相関化変換行列によって無相関化変換を施すことで参照信号を生成する。これにより、参照信号と符号化する際に用いる無相関化コンポーネント信号の無相関化変換行列を同一にして残差信号を生成することで、コンポーネント信号間の相関を除去して更なる画像圧縮を実現することができる。
【００３０】
以下、本発明による実施例１の符号化装置及び復号装置を説明する。
【実施例１】
【００３１】
図１は、本発明による実施例１の符号化装置１０のブロック図である。本実施例の実施例１の符号化装置１０は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して無相関化変換を施す無相関化変換部１０１と、無相関化コンポーネント信号の残差信号（Ｐ１残差信号，Ｐ２残差信号，Ｐ３残差信号）を個別に符号化する圧縮符号化部１０３−１，１０３−２，１０３−３からなる。
【００３２】
無相関化変換部１０１は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して無相関化変換を施し、無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）を生成する。生成された無相関化コンポーネント信号は、それぞれ同一の構成要素からなる圧縮符号化部１０３−１，１０３−２，１０３−３に送出される。
【００３３】
無相関化変換は、例えば主成分分析法を用いて、元の画像に対して寄与率の大きい順（固有値が大きい順）に主成分を決定し、元の色空間の各コンポーネント信号の信号要素をその主成分からなる無相関化コンポーネント信号の信号要素に変換する無相関化変換行列を構成して無相関化パラメータを生成するのが好適である。これは、復号側で、無相関化パラメータを用いて、無相関化コンポーネント信号の信号要素から元の色空間の各コンポーネント信号の信号要素へと逆変換する無相関化逆変換行列を構成することを可能にする。これにより、無相関化コンポーネント信号の新しい信号系を寄与率の大小の軸で構成することができ、信号分布の大小を容易に判別することができるようになる。
【００３４】
例えば、主成分分析法で無相関化変換行列を求める例を説明する。簡単のため、元の色空間のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）の信号要素が、表１に示すように、サンプル数を１０個としたブロックで表されることを想定し、各画素値の深度を０〜１０までとする。
【００３５】
【表１】
【００３６】
このような表１に示す各コンポーネント信号間の相関係数ｒｘｙは、式（１）で与えられる。
【００３７】
【数１】
【００３８】
ここに、Ｓｘｙは、コンポーネント信号間の共分散を示し、Ｓｘ，Ｓｙは、コンポーネント信号間の偏差を示すものであり、それぞれ、サンプル数ｎに対して式（２）〜式（４）で与えられる。
【００３９】
【００４０】
【数２】
【００４１】
【数３】
【００４２】
【数４】
【００４３】
上記の表１について、式（１）によって相関係数行列を求めると、下記の相関係数行列が得られる。
【００４４】
【数５】
【００４５】
上記の相関係数行列から、固有値λと固有ベクトルを算出することができる。ｎ次の正方行列をＡとし、固有値λが有限の集合にあるとき（λ∈Ｃ）、固有ベクトルｘは、式（５）が成り立つ。
【００４６】
【数６】
【００４７】
固有ベクトルｘが存在するための必要十分条件は、単位行列Ｅに対して式（６）を満たすことであるから、固有値λを未知数とするＡの固有方程式を解くことにより、固有値λを求めることができ、各固有値に対する大きさ１とする固有ベクトルを求めることができる。
【００４８】
【数７】
【００４９】
例えば、表１について求められる固有値と固有ベクトルは、表２のように表される。また、表２では、寄与率の大きい順（固有値が大きい順）に主成分（第１主成分，第２主成分，第３主成分）を決定して、無相関化変換行列を構成している。
【００５０】
【表２】
【００５１】
無相関化変換を構成する無相関化変換行列は、固有ベクトルを並べたものとなり、式（７）で表される。各主成分（第１主成分，第２主成分，第３主成分）に対応する無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）は、この無相関化変換行列によって、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を無相関化することで得られる。
【００５２】
【００５３】
【数８】
【００５４】
このように、無相関化変換部１０１は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して無相関化変換を施し、無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）を生成し、無相関化変換行列を構成する関数の情報を無相関化変換パラメータとして無相関化変換部１１７、無相関化パラメータ格納部１１９及び外部に送出する。
【００５５】
圧縮符号化部１０３−１，１０３−２，１０３−３は、それぞれ同様に機能し、無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）を個別に符号化する。従って、代表的に、圧縮符号化部１０３−１について説明する。
【００５６】
圧縮符号化部１０３−１は、サンプル数低減／粗量子化部１１０と、減算部１１１と、符号化部１１２と、局部復号部１１３と、加算部１１４と、無相関化逆変換部１１５と、画像メモリ１１６と、無相関化変換部１１７と、画面内予測／画面間予測部１１８と、無相関化パラメータ格納部１１９とを備える。
【００５７】
サンプル数低減／粗量子化部１１０は、無相関化変換部１０１から、元の色空間のコンポーネント信号を無相関化した無相関化コンポーネント信号のうちの１つを入力し、予め定めた全体の信号量に対する削減率に従って信号量を削減し、減算部１１１及び画面内予測／画面間予測部１１８に送出する。本例では、信号分布の小さくなった寄与率の低い軸の信号から順に、Ｐ１信号，Ｐ２信号，Ｐ３信号として割り当てられているものとして説明する。図３は、本発明に係る元の色空間のコンポーネント信号の信号軸と無相関化コンポーネント信号の信号軸の関係を示している。従って、Ｐ１信号は、信号分布の最も小さくなった寄与率の低い軸の無相関化コンポーネント信号であり、この信号量を、他の無相関化コンポーネント信号の信号量よりも大きく削減して減算部１１１及び画面内予測／画面間予測部１１８に送出する。この信号量の削減のやり方は、寄与率の低い軸の無相関化コンポーネント信号のサンプル数を減らすか、量子化を粗くする。これにより、全体の画質に対する損失を抑えながら圧縮率を高めることができる。
【００５８】
減算部１１１は、サンプル数低減／粗量子化部１１０から得られる無相関化コンポーネント信号と、画面内予測／画面間予測部１１８から得られる無相関化コンポーネント信号の予測信号とを差分した残差信号（Ｐ１残差信号）を生成し、符号化部１１２に送出する。
【００５９】
符号化部１１２は、減算部１１１から得られる残差信号（Ｐ１残差信号）を所定の符号化手順に従って符号化し、ビットストリーム（Ｐ１残差信号ビットストリーム）を生成して外部に送出する。符号化部１１２は、例えば、ＭＰＥＧ等と同様に、直交変換処理及び量子化処理として構成することができ、更に可変長符号化を施すように構成することができる。
【００６０】
局部復号部１１３は、符号化部１１２から得られる符号化信号を復号して加算部１１４に送出する。符号化部１１２が、ＭＰＥＧ等と同様に直交変換処理及び量子化処理として構成される場合、局部復号部１１３は、その逆変換（逆直交変換処理及び逆量子化処理）を施す。
【００６１】
加算部１１４は、画面内予測／画面間予測部１１８から得られる無相関化コンポーネント信号の予測信号と、局部復号部１１３から得られる復号信号とを加算して無相関化コンポーネント信号の復元信号を生成し、無相関化逆変換部１１５に送出する。
【００６２】
無相関化逆変換部１１５は、符号化部１１２の符号化時の無相関化コンポーネント信号に対して用いられた無相関化変換行列を得るために、無相関化パラメータ格納部１１９から無相関化パラメータを読み出し、この無相関化パラメータから無相関化逆変換行列を生成して、加算部１１４から得られる無相関化コンポーネント信号の復元信号（Ｐ１信号）、及び圧縮符号化部１０３−２，１０３−３の各々の対応する加算部１１４から得られる無相関化コンポーネント信号（Ｐ２信号，Ｐ３信号）に対して無相関化逆変換行列による逆変換を施し、元の色空間のコンポーネント信号（Ｃ１信号）に対応する復号信号を生成し、画像メモリ１１６に格納する。
【００６３】
無相関化変換部１１７は、画面内予測／画面間予測部１１８からの空間又は時間の予測を行うための要求に応じて、画像メモリ１１６から元の色空間のコンポーネント信号（Ｃ１信号）に対応する復号信号を読み出すとともに、圧縮符号化部１０３−２，１０３−３の各々の対応する画像メモリ１１６から得られる元の色空間の他のコンポーネント信号の復号信号（Ｃ２信号，Ｃ３信号）を入力し、これらの前回符号化時の元の色空間の他のコンポーネント信号に対応する復号信号に対して、今回符号化する際の無相関化コンポーネント信号に用いる無相関化パラメータから得られる無相関化変換行列によって、無相関化変換を施すことで信号系を揃え、今回符号化する際の無相関化コンポーネント信号の予測信号を生成するための参照信号を生成し、画面内予測／画面間予測部１１８に送出する。
【００６４】
画面内予測／画面間予測部１１８は、無相関化変換部１１７から参照信号を読み出して、従来のＭＰＥＧ等と同様に、画面内予測又は画面間予測処理を施して、今回符号化する際の無相関化コンポーネント信号の予測信号を生成し、減算部１１１に送出するとともに、画面内予測又は画面間予測処理に用いた各パラメータ（Ｐ１画面内予測パラメータ又は動きベクトル）を外部に送出する。
【００６５】
この画面内予測／画面間予測部１１８から得られる予測信号によって残差信号（Ｐ１残差信号）を生成して符号化する流れを、図４を参照して説明する。図４は、無相関化コンポーネント信号による画面内予測／画面間予測処理の一例を概略的に示している。
【００６６】
無相関化変換部１０１は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して無相関化変換を施し、無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）を生成する（ステップＳ１１）。続いて、無相関化逆変換部１１５によって、無相関化コンポーネント信号の復元信号（Ｐ１信号）、及び圧縮符号化部１０３−２，１０３−３から得られる対応する無相関化コンポーネント信号（Ｐ２信号，Ｐ３信号）に対して無相関化逆変換行列による逆変換を施し（ステップＳ１２）、更に、無相関化変換部１１７によって、今回符号化に用いる無相関化変換行列によって、画面内予測／画面間予測部１１８が用いる参照信号として新たな無相関化コンポーネント信号（Ｑ１信号：今回符号化時の無相関化コンポーネント信号，Ｑ２：今回符号化時の無相関化コンポーネント信号，Ｑ３：今回符号化時の無相関化コンポーネント信号）を生成する（ステップＳ１３）。
【００６７】
画面間予測の場合には、無相関化変換部１０１は、今回符号化時の無相関化行列を用いて無相関化コンポーネント信号（Ｑ１信号：今回符号化時の無相関化コンポーネント信号，Ｑ２：今回符号化時の無相関化コンポーネント信号，Ｑ３：今回符号化時の無相関化コンポーネント信号）を生成することで（ステップＳ１４）、画面内予測／画面間予測部１１８は、ステップＳ１３で生成した参照信号を用いて、同一の信号軸（図３参照）で予測信号を生成することができる（ステップＳ１５）。
【００６８】
このように、画面内予測／画面間予測部１１８から得られる予測信号によって残差信号（Ｐ１残差信号）を生成して符号化するには、画面内予測／画面間予測部１１８で用いる参照信号と符号化する際（予測信号を生成する際）に用いる無相関化コンポーネント信号の無相関化変換行列を同一にして残差信号を生成する。即ち、参照信号を生成するにあたり、符号化した信号を局部復号して符号化前のコンポーネント信号を生成した後、その符号化時に用いた無相関化変換行列によって無相関化逆変換を施して一旦格納し、格納したコンポーネント信号を読み出して、今回符号化する際の無相関化コンポーネント信号に用いる無相関化変換行列によって無相関化変換を施すことで参照信号を生成する。従って、時間又は空間方向に信号予測して予測信号を生成する際に、参照信号と予測信号との間で同一の信号軸となるように変換するように構成するのが好適である。これにより、無相関化変換を施す用に構成した場合でも、ＭＰＥＧ等で用いる画面内予測又は画面間予測を適用することができ、更に伝送する情報量を削減することができるようになる。このようにして、色空間の無相関化を、（動）画像全体でなく、フレームごとやスライス、マクロブロックなどの単位で行う場合、画面内予測や画面間予測に用いる参照信号と、現在予測処理する信号の３軸信号系が異なってしまうことがないように、参照信号として用いる信号の信号系を、現在予測処理する信号系に合わせるようにする。
【００６９】
尚、時空間の信号予測（画面内予測又は画面間予測）にあたって、毎符号化ブロック又は毎フレームごとに無相関化コンポーネント信号に対する無相関化変換行列を逐次演算すること以外に、特定数の符号化ブロック又は特定数のフレームごとに無相関化コンポーネント信号に対する無相関化変換行列を逐次演算するように構成することもできる。特に、画面内予測にて１フレーム内で共通する無相関化変換行列を用いる場合や、画面間予測にて複数フレームで共通する無相関化変換行列を用いる場合には、参照信号と符号化する際に用いる無相関化コンポーネント信号の無相関化変換行列を同一にすることで、処理負担を軽減することができる。即ち、無相関化変換は、１フレームの画面全体で行ってもよいし、複数画素からなるブロック単位で行ってもよい。
【００７０】
実施例１の符号化装置１０によれば、無相関化した上で符号化することにより、全体の画質に対する損失を抑えながら圧縮率を高めることができる。この信号量の削減のやり方は、寄与率の低い軸の無相関化コンポーネント信号のサンプル数を減らすか、量子化を粗くするだけでなく、寄与率の低い軸の無相関化コンポーネント信号の信号深度を粗くするなどがある。一方で、寄与率の高い軸については細かい密なステップの量子化を施すことでダイナミックレンジを広くするように構成することもできる。
【００７１】
また、無相関化変換では、対応画素位置の元のコンポーネント信号の各々を並列入力し、この元のコンポーネント信号の組合せごとに、その都度、主成分分析して無相関化変換行列を求め、符号化する際には、この無相関化変換行列を元のコンポーネント信号の組合せに関連付けた情報として符号化する例を説明した。一方、符号化する際の別のやり方として、主成分分析法で求めた無相関化変換行列に対して最も近いものを有限個数の無相関化変換行列から選択し、選択した無相関化変換行列の固有番号を元のコンポーネント信号の組合せに関連付けた補助情報として決定して符号化する。この場合、無相関化逆変換を実行する復号装置においても、予め固有番号で識別可能な無相関化変換行列として有限個数の無相関化変換行列が予め規定されており、この無相関化逆変換処理では、符号化側で主成分分析法で求めた無相関化変換行列に対して最も近いものを有限個数の無相関化変換行列から選択することにより決定された、無相関化変換行列の固有番号を示す補助情報に従って無相関化変換行列を特定し、無相関化逆変換を実行する。これにより、伝送する情報量を大幅に削減することができる。
【００７２】
次に、実施例１の符号化装置１０によって符号化したビットストリームを受信して復号する復号装置を説明する。
【００７３】
図２は、本発明による実施例１の復号装置のブロック図である。本実施例の復号装置２０は、それぞれ同様に構成される復号部２０１−１，２０１−２，２０２−３と、それぞれ同様に構成される復号変換部２０２−１，２０２−２、２０２−３と、無相関化逆変換部２０３とを備える。復号部２０１−１及び復号変換部２０２−１は、Ｐ１残差信号を受信して復号する信号系統であり、復号部２０１−２及び復号変換部２０２−２は、Ｐ２残差信号を受信して復号する信号系統であり、復号部２０１−３及び復号変換部２０２−３は、Ｐ３残差信号を受信して復号する信号系統である。また、復号変換部２０２−１は、加算部２１１と、画像メモリ２１３と、画面内予測／画面間予測部２１４とを備える。
【００７４】
復号部２０１−１は、符号化部１１２によって符号化されたＰ１残差信号を受信して復号し、加算部２１１に送出する。
【００７５】
加算部２１１は、画面内予測／画面間予測部２１４から得られる予測信号と、復号部２０１−１によって復号したＰ１残差信号の復号信号とを加算して無相関化コンポーネント信号（Ｐ１信号）を復元し、無相関化逆変換部２０３に送出する。
【００７６】
無相関化逆変換部２０３は、復号変換部２０２−１，２０２−２，２０２−３から入力される無相関化コンポーネント信号に対して、符号化装置１０から得られる無相関化変換パラメータから生成される無相関化逆変換行列を用いて逆変換を施して、元の色空間のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を復元する。
【００７７】
尚、画面内予測／画面間予測部２１４は、逆変換した元の色空間のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を格納する画像メモリ２１３から参照信号を読み出し、符号化装置１０から得られるＰ１画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部２１１に送出する。
【００７８】
このようにして、復号装置２０は、無相関化コンポーネント信号を復号して元の色空間のコンポーネント信号を再生することができる。
【００７９】
尚、符号化側で色空間を無相関化した後、無相関化コンポーネント信号のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を、他の無相関化コンポーネント信号の信号量よりも大きく削減して符号化されていたため、復号装置２０は、全体の画質に対する損失を抑えながら圧縮率を高められた信号を復元することができる。
【００８０】
次に、本発明による実施例２の符号化装置及び復号装置を説明する。
【実施例２】
【００８１】
図５は、本発明による実施例２の符号化装置３０のブロック図である。本実施例の実施例２の符号化装置３０は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して個別に残差信号を生成する圧縮符号化部３０１−１，３０１−２，３０１−３と、無相関化変換を施す無相関化変換部３０２と、サンプル数低減／粗量子化部３０３−１，３０３−２，３０３−３と、符号化部３０４−１，３０４−２，３０４−３とを備える。
【００８２】
圧縮符号化部３０１−１，３０１−２，３０１−３は、それぞれ同様に構成され、圧縮符号化部３０１−１は、減算部３１１と、符号化部３１２と、局部復号部３１３と、加算部３１４と、画像メモリ３１５と、画面内予測／画面間予測部３１６とを備える。また、圧縮符号化部３０１−１は、ＭＰＥＧ等の符号化装置と同様に構成され、減算部３１１、符号化部３１２、局部復号部３１３、加算部３１４、及び画面内予測／画面間予測部３１６の動作は、それぞれ、実施例１における減算部１１１、符号化部１１２、局部復号部１１３、加算部１１４、及び画面内予測／画面間予測部１１８と同様であり、更なる詳細な説明は省略する。尚、圧縮符号化部３０１−１，３０１−２，３０１−３における各画面内予測／画面間予測部３１６は、画像メモリ３１５から参照信号（Ｃ１’信号）を読み出して予測信号を生成して減算部３１１に送出するとともに、画面内予測パラメータ／動きベクトルを外部に送出する。
【００８３】
圧縮符号化部３０１−１は、元の色空間のコンポーネント信号（Ｃ１信号）を入力して、減算部３１１、符号化部３１２及び局部復号部３１３を経て得られる残差信号（Ｃ１’信号）を加算部３１４に送出するとともに、無相関化変換部３０２に送出する。圧縮符号化部３０１−２，３０１−３も同様に、それぞれ元の色空間のコンポーネント信号（Ｃ２信号、Ｃ３信号）を入力して、残差信号（ΔＣ２’信号、ΔＣ３’信号）を無相関化変換部３０２に送出する。
【００８４】
無相関化変換部３０２は、圧縮符号化部３０１−１，３０１−２，３０１−３から供給される残差信号（ΔＣ１’信号、ΔＣ２’信号、ΔＣ３’信号）に対して、実施例１の無相関化変換部１０１と同様に無相関化変換を施して、無相関化コンポーネント信号のＰ１残差信号、Ｐ２残差信号及びＰ３残差信号を生成し、それぞれサンプル数低減／粗量子化部３０３−１，３０３−２，３０３−３に送出する。尚、無相関化変換部３０２は、残差信号の無相関化コンポーネント信号（Ｐ１残差信号，Ｐ２残差信号，Ｐ３残差信号）を生成するとともに、無相関化変換行列を構成する関数を無相関化変換パラメータとして外部に送出する。
【００８５】
サンプル数低減／粗量子化部３０３−１は、無相関化変換部３０２から、元の色空間のコンポーネント信号を無相関化した無相関化コンポーネント信号のうちの１つを入力し、予め定めた全体の信号量に対する削減率に従って信号量を削減し、符号化部３０４−１に送出する。本例では、信号分布の小さくなった寄与率の低い軸の信号から順に、Ｐ１残差信号，Ｐ２残差信号，Ｐ３残差信号として割り当てられているものとしている。従って、Ｐ１残差信号は、信号分布の最も小さくなった寄与率の低い軸の残差信号の無相関化コンポーネント信号であり、この信号量を、他の残差信号の無相関化コンポーネント信号の信号量よりも大きく削減して符号化部３０４−１に送出する。この信号量の削減のやり方は、寄与率の低い軸の無相関化コンポーネント信号のサンプル数を減らすか、量子化を粗くする。これにより、全体の画質に対する損失を抑えながら圧縮率を高めることができる。他のサンプル数低減／粗量子化部３０３−２，３０３−２の動作も同様である。
【００８６】
符号化部３０４−１，３０４−２，３０４−３の各々は、それぞれサンプル数低減／粗量子化部３０３−１，３０３−２，３０３−３から得られる残差信号の無相関化コンポーネント信号（Ｐ１残差信号，Ｐ２残差信号，Ｐ３残差信号）に対して所定の符号化手順に従って符号化処理を施して残差信号の無相関化コンポーネント信号を符号化したビットストリームを生成して外部に送出する。符号化処理は、例えば、ＭＰＥＧ等と同様に、直交変換、量子化、及び可変長符号化を施すように構成することができる。
【００８７】
このように、実施例２では、元の色空間のコンポーネント信号の残差信号に対して無相関化変換を施し、適宜、信号量の削減を行って外部に送出するように構成されている。従って、実施例２の符号化装置３０は、（従来からの）既存の符号化装置に対して比較的簡単な構成で無相関化変換部３０２を適用することができ、且つ実施例１の利点を全て包含することができる。尚、圧縮符号化部３０１−１，３０１−２，３０１−３は、元の色空間の複数のコンポーネント信号の残差信号（ΔＣ１’信号、ΔＣ２’信号、ΔＣ３’信号）を生成すればよいため、符号化部３１２及び局部復号部３１３をバイパスしてもよい。
【００８８】
次に、実施例２の符号化装置３０によって符号化したビットストリームを受信して復号する復号装置４０を説明する。
【００８９】
図６は、本発明による実施例２の復号装置のブロック図である。本実施例の復号装置４０は、復号部４０１−１，４０１−２，４０１−３と、無相関化逆変換部４０２と、復号変換部４０３−１，４０３−２，４０３−３とを備える。
【００９０】
復号部４０１−１，４０１−２，４０１−３の各々は、符号化部３０４−１，３０４−２，３０４−３の各々によって符号化された残差信号の無相関化コンポーネント信号を復号して、無相関化逆変換部４０２に送出する。
【００９１】
無相関化逆変換部４０２は、復号部４０１−１，４０１−２，４０１−３から入力される残差信号の無相関化コンポーネント信号に対して、符号化装置３０から得られる無相関化変換パラメータから生成される無相関化逆変換行列を用いて逆変換を施して、元の色空間のコンポーネント信号の残差信号（ΔＣ１’信号、ΔＣ２’信号、ΔＣ３’信号）を復元し、それぞれ復号変換部４０３−１，４０３−２，４０３−３に送出する。
【００９２】
復号変換部４０３−１，４０３−２，４０３−３の各々は、それぞれ同様に構成され、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部４１１、画像メモリ４１２及び画面内予測／画面間予測部４１３を備える。
【００９３】
即ち、加算部４１１は、画面内予測／画面間予測部４１３から得られる予測信号と、無相関化逆変換部４０２から得られる残差信号（ΔＣ１’信号、ΔＣ２’信号、ΔＣ３’信号）とを加算して元の色空間のコンポーネント信号（Ｃ１信号）を復元する。
【００９４】
尚、画面内予測／画面間予測部４１３は、復元した元の色空間のコンポーネント信号（Ｃ１信号）を格納する画像メモリ４１２から参照信号を読み出し、符号化装置３０から得られるＣ１画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部４１１に送出する。
【００９５】
このようにして、復号装置４０は、無相関化コンポーネント信号について復号することができる。従って、実施例２の復号装置４０は、（従来からの）既存の復号装置に対して比較的簡単な構成で無相関化逆変換部４０２を適用することができ、且つ実施例１の利点を全て包含することができる。
【００９６】
つまり、符号化側で色空間を無相関化した後、無相関化コンポーネント信号のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を、他の無相関化コンポーネント信号の信号量よりも大きく削減して符号化されていたため、復号装置４０は、全体の画質に対する損失を抑えながら圧縮率を高められた信号を復元することができる。
【００９７】
次に、本発明による実施例３の符号化装置及び復号装置を説明する。
【実施例３】
【００９８】
図７は、本発明による実施例３の符号化装置５０のブロック図である。本実施例の実施例３の符号化装置５０は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して個別に残差信号を生成して直交変換を施し、更に、無相関化変換部５０１を介して得られる直交変換係数の無相関化コンポーネント信号を量子化してビットストリームを生成する圧縮符号化部５０２−１，５０２−２，５０２−３と、無相関化変換を施す無相関化変換部５０１とを備える。
【００９９】
圧縮符号化部５０２−１，５０２−２，５０２−３は、それぞれ同様に構成され、圧縮符号化部５０２−１は、減算部５１１と、直交変換部５１２と、量子化部５１３と、逆量子化部５１４と、無相関化逆変換部５１５と、逆直交変換部５１６と、加算部５１７と、画像メモリ５１８と、画面内予測／画面間予測部５１９とを備える。また、圧縮符号化部５０２−１の、減算部５１１、直交変換部５１２、量子化部５１３、逆量子化部５１４、逆直交変換部５１６、加算部５１７及び画面内予測／画面間予測部５１９の動作は、それぞれ、ＭＰＥＧ等の符号化装置で構成されるものと同様である。尚、圧縮符号化部５０２−１，５０２−２，５０２−３における各画面内予測／画面間予測部５１９は、画像メモリ５１８から参照信号（Ｃ１’信号）を読み出して予測信号を生成して減算部５１１に送出するとともに、画面内予測パラメータ／動きベクトルを外部に送出する。
【０１００】
減算部５１１は、元の色空間のコンポーネント信号（Ｃ１信号）を入力して、画面内予測／画面間予測部５１９から得られる予測信号に対する残差信号を直交変換部５１２に送出する。
【０１０１】
直交変換部５１２は、減算部５１１から得られる残差信号に対して直交変換（例えば、ＤＣＴ）を施し、この残差信号の直交変換係数の信号（Ｃ１＿Ｄ信号）を無相関化変換部５０１に送出する。
【０１０２】
無相関化変換部５０１は、圧縮符号化部５０２−１，５０２−２，５０２−３の各々によって生成される残差信号の直交変換係数の信号（Ｃ１＿Ｄ信号，Ｃ２＿Ｄ信号，Ｃ３＿Ｄ信号）を入力し、実施例１で説明した無相関化変換を実行して、それぞれ直交変換係数の無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）を生成し、それぞれ対応する圧縮符号化部５０２−１，５０２−２，５０２−３の各々における量子化部５１３に送出する。尚、無相関化変換部５０１は、無相関化変換に用いた無相関化変換行列の情報を無相関化変換パラメータとして外部に送出するとともに、無相関化パラメータ格納部５２０に格納する。
【０１０３】
量子化部５１３は、直交変換係数の無相関化コンポーネント信号（Ｐ１信号）に対して、ＭＰＥＧ等と同様の量子化処理を施してＰ１残差信号ストリームを生成して外部に送出するとともに、逆量子化部５１４に送出する。
【０１０４】
逆量子化部５１４は、量子化部５１３から供給されるＰ１残差信号に対して逆量子化を施し、無相関化逆変換部５１５に送出する。
【０１０５】
無相関化逆変換部５１５は、実施例１の場合と同様に、前回符号化時の無相関化コンポーネント信号に対して用いられた無相関化変換行列を得るために、無相関化パラメータ格納部５２０から無相関化パラメータを読み出し、この無相関化パラメータから無相関化逆変換行列を生成して、逆量子化部５１４から得られる無相関化コンポーネント信号の復元信号（Ｐ１信号）、及び圧縮符号化部５０２−２，５０２−３の各々の対応する逆量子化部５１４から得られる無相関化コンポーネント信号（Ｐ２信号，Ｐ３信号）に対して無相関化逆変換行列による逆変換を施し、直交変換係数の残差信号（Ｃ１＿Ｄ信号）に対応する復号信号を生成し、逆直交変換部５１６に送出する。
【０１０６】
逆直交変換部５１６は、無相関化逆変換部５１５から得られる直交変換係数の残差信号（Ｃ１＿Ｄ信号）に対応する復号信号に対して逆直交変換を施し、元の色空間におけるコンポーネント信号の残差信号を生成して加算部５１７に送出する。
【０１０７】
加算部５１７は、逆直交変換部５１６から得られる元の色空間におけるコンポーネント信号の残差信号と、画面内予測／画面間予測部５１９から得られる予測信号とを加算して、次の符号化に用いる参照信号のための復元信号を生成し、画像メモリ５１８に格納する。
【０１０８】
画面内予測／画面間予測部５１９は、画像メモリ５１８に格納された参照信号（Ｃ１’信号）を読み出して、従来のＭＰＥＧ等と同様に、画面内予測又は画面間予測処理を施して、今回符号化する際の無相関化コンポーネント信号の予測信号を生成し、減算部５１１及び加算部５１７に送出するとともに、画面内予測又は画面間予測処理に用いた各パラメータ（Ｃ１画面内予測パラメータ又は動きベクトル）を外部に送出する。
【０１０９】
尚、量子化部５１３の出力に対して、例えば、ＭＰＥＧ等と同様に、可変長符号化を施すように構成することができる。
【０１１０】
また、実施例３では、実施例１又は実施例２で説明したサンプル数低減／粗量子化処理を量子化部５１３で実現することができる。
【０１１１】
このように、実施例３では、元の色空間のコンポーネント信号の残差信号に対して直交変換を施し、更に、無相関化変換を施した後、量子化して外部に送出するように構成されている。従って、実施例３の符号化装置５０は、（従来からの）既存の符号化装置に対して比較的簡単な構成で無相関化変換部５０１を適用することができ、且つ実施例１の利点を全て包含することができる。
【０１１２】
次に、実施例３の符号化装置５０によって符号化したビットストリームを受信して復号する復号装置６０を説明する。
【０１１３】
図８は、本発明による実施例３の復号装置のブロック図である。本実施例の復号装置６０は、逆量子化部６０１−１，６０１−２，６０１−３と、無相関化逆変換部６０２と、逆直交変換部６０３−１，６０３−２，６０３−３と、復号変換部６０４−１，６０４−２，６０４−３とを備える。
【０１１４】
逆量子化部６０１−１，６０１−２，６０１−３の各々は、復号変換部６０４−１，６０４−２，６０４−３の各々を経て符号化された残差信号の無相関化コンポーネント信号を復号して、無相関化逆変換部６０２に送出する。
【０１１５】
無相関化逆変換部６０２は、逆量子化部６０１−１，６０１−２，６０１−３から入力される残差信号の無相関化コンポーネント信号に対して、符号化装置５０から得られる無相関化変換パラメータから生成される無相関化逆変換行列を用いて逆変換を施して、元の色空間のコンポーネント信号に対する直交変換係数の残差信号を復元し、それぞれ逆直交変換部６０３−１，６０３−２，６０３−３に送出する。
【０１１６】
逆直交変換部６０３−１，６０３−２，６０３−３の各々は、無相関化逆変換部６０２から得られる直交変換係数の残差信号に対して逆直交変換を施し、元の色空間のコンポーネント信号の残差信号を生成して復号変換部６０３−１，６０３−２，６０３−３の各々に送出する。
【０１１７】
復号変換部６０３−１，６０３−２，６０３−３の各々は、それぞれ同様に構成され、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部６１１、画像メモリ６１２及び画面内予測／画面間予測部６１３を備える。
【０１１８】
即ち、加算部６１１は、画面内予測／画面間予測部６１３から得られる予測信号と、復号変換部６０３−１から得られる元の色空間のコンポーネント信号の残差信号とを加算して元の色空間のコンポーネント信号（Ｃ１信号）を復元する。
【０１１９】
尚、画面内予測／画面間予測部６１３は、復元した元の色空間のコンポーネント信号（Ｃ１信号）を格納する画像メモリ６１２から参照信号を読み出し、符号化装置５０から得られるＣ１画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部６１１に送出する。
【０１２０】
このようにして、復号装置６０は、無相関化コンポーネント信号について復号することができる。従って、実施例３の復号装置６０は、（従来からの）既存の復号装置に対して比較的簡単な構成で無相関化逆変換部６０２を適用することができ、且つ実施例１の利点を全て包含することができる。
【０１２１】
つまり、符号化側で色空間を無相関化した後、無相関化コンポーネント信号のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を、他の無相関化コンポーネント信号の信号量よりも大きく削減して符号化されていたため、復号装置６０は、全体の画質に対する損失を抑えながら圧縮率を高められた信号を復元することができる。
【０１２２】
従って、いずれの実施例においても、本発明によれば、従来の画像符号化方式では十分に利用されていなかったコンポーネント信号間の相関を活用して、無相関化コンポーネント信号のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を削減するため、従来の画像符号化方式と比較して更なる圧縮が可能となる。
【０１２３】
更に、本発明の一態様として、各実施例の符号化装置及び復号装置の各々をコンピュータとして構成させることができる。コンピュータに、前述した各実施例の符号化装置及び復号装置の各々における各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
【０１２４】
例えば、図９に、本発明による一実施例の符号化装置として構成するコンピュータにおける制御フローを示す。図９を参照するに、符号化装置として構成するコンピュータに、各コンポーネント信号の信号要素（画素値又は直交変換係数）を入力して、無相関化変換を実行し（ステップＳ１）、無相関化した信号に対して符号化処理を施し（ステップＳ２）、符号化処理を施したビットストリームと、この無相関化変換に用いた無相関化行列の情報を無相関化パラメータとして外部に送出する（ステップＳ３）処理を実行させるためのプログラムとして実現することができる。
【０１２５】
例えば、図１０に、本発明による一実施例の復号装置として構成するコンピュータにおける制御フローを示す。図１０を参照するに、復号装置として構成するコンピュータに、符号化処理を施したビットストリームと、符号化装置側の無相関化変換に用いた無相関化行列の情報からなる無相関化パラメータとを受信し（ステップＳ２１）、符号化処理を施したビットストリームを復号し（ステップＳ２２）、無相関化パラメータを用いて無相関化逆変換を実行して元の色空間におけるコンポーネント信号の信号要素を復元する（ステップＳ２３）処理を実行させるためのプログラムとして実現することができる。
【０１２６】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【０１２７】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【０１２８】
以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。
【産業上の利用可能性】
【０１２９】
本発明によれば、従来の画像符号化方式と比較して更なる圧縮が可能となるから、色空間のコンポーネント信号を符号化する符号化技術の用途に有用である。
【符号の説明】
【０１３０】
１０ 符号化装置
２０ 復号装置
３０ 符号化装置
４０ 復号装置
５０ 符号化装置
６０ 復号装置
１０１ 無相関化変換部
１０３−１，１０３−２，１０３−３ 圧縮符号化部
１１０ サンプル数低減／粗量子化部
１１１ 減算部
１１２ 符号化部
１１３ 局部復号部
１１４ 加算部
１１５ 無相関化逆変換部
１１６ 画像メモリ
１１７ 無相関化変換部
１１８ 画面内予測／画面間予測部
１１９ 無相関化パラメータ格納部
２０１−１，２０１−２，２０２−３ 復号部
２０２−１，２０２−２、２０２−３ 復号変換部
２０３ 無相関化逆変換部
２１１ 加算部
２１３ 画像メモリ
２１４ 画面内予測／画面間予測部
３０１−１，３０１−２，３０１−３ 圧縮符号化部
３０２ 無相関化変換を施す無相関化変換部
３０３−１，３０３−２，３０３−３ サンプル数低減／粗量子化部
３０４−１，３０４−２，３０４−３ 符号化部
３１１ 減算部
３１２ 符号化部
３１３ 局部復号部
３１４ 加算部
３１５ 画像メモリ
３１６ 画面内予測／画面間予測部
４０１−１，４０１−２，４０１−３ 復号部
４０２ 無相関化逆変換部
４０３−１，４０３−２，４０３−３ 復号変換部
４１１ 加算部
４１２ 画像メモリ
４１３ 画面内予測／画面間予測部
５０２−１，５０２−２，５０２−３ 圧縮符号化部
５０１ 無相関化変換部
５１１ 減算部
５１２ 直交変換部
５１３ 量子化部
５１４ 逆量子化部
５１５ 無相関化逆変換部
５１６ 逆直交変換部
５１７ 加算部
５１８ 画像メモリ
５１９ 画面内予測／画面間予測部
６０１−１，６０１−２，６０１−３ 逆量子化部
６０２ 無相関化逆変換部
６０３−１，６０３−２，６０３−３ 逆直交変換部
６０４−１，６０４−２，６０４−３ 復号変換部
６１１ 加算部
６１２ 画像メモリ
６１３ 画面内予測／画面間予測部
【技術分野】
【０００１】
本発明は、画像の圧縮符号化に関し、特に、複数のコンポーネント信号からなる色信号間の相関を利用し、複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像を圧縮する符号化装置、及びその復号装置、並びにこれらのプログラムに関する。
【背景技術】
【０００２】
現在用いられている画像の圧縮符号化方式（ＭＰＥＧ−２，ＡＶＣ／Ｈ．２６４，ＪＰＥＧ等）では、画像が有する時間或いは空間方向の相関性を利用し、これを除去することで全体の情報量を削減する方式となっている。カラー画像においては、複数（通常３色）のコンポーネント信号間に相関を有する場合がある。ＭＰＥＧ等では、カメラで撮像されたＲＧＢからＹＣｂＣｒのような輝度信号及び色差信号に変換した上で符号化することで、コンポーネント信号間の相関をある程度除去して符号化を行っている。
【０００３】
画像信号を構成するコンポーネント信号の相互の相関を用いた信号補間技術として、単板原色のイメージセンサにおける画素補間方式の高精度化技術が報告されている（例えば、非特許文献１参照）。このようなイメージセンサにおける画像信号の補間技術は、ＲＧＢ色空間におけるＲＧＢ信号（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号）の補間を目的としているため、符号化による信号劣化について想定されていない。
【０００４】
また、ＹＵＶ色空間におけるＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術として、フォーマットカラー画像の色差成分補間技術が報告されている（例えば、非特許文献２参照）。この技術では、輝度（Ｙ）信号のサンプリング周波数の高さを利用して色差信号（Ｕ信号＝Ｂ−Ｙ，Ｖ信号＝Ｒ−Ｙ）の補間信号を生成することによって高精度な補間を行う。このようなＹＵＶ信号のサンプリング周波数の違いに着目した信号補間技術も、ＹＵＶ信号の補間を目的としているため、符号化による信号劣化について想定されていない。
【０００５】
これらの信号補間技術は、非可逆な符号化方式（例えば、ＭＰＥＧ−２，Ｈ．２６４等）によって画像信号の符号化を行うにあたり、符号化前の画像信号に対する補間に適しているが、符号化後の画像信号に対する補間には適していない。例えば、非可逆な符号化処理によってＹＵＶ信号を符号化すると、輝度信号の劣化に伴い、輝度信号を基準とする色差信号にもこの輝度信号の劣化が伝播することになる。また、これらの信号補間技術は、輝度信号自体の劣化を低減する処理ではないため、輝度信号の劣化を低減することもない。
【０００６】
また、符号化の劣化を低減するために、さまざまなポストフィルタ（例えば、Ｈ．２６４等におけるデブロッキングフィルタ）があるが、これらのポストフィルタは、画像信号成分のそれぞれを視覚的に劣化が目立たないように独立して処理するものであり、元の画像信号に対する符号化後の劣化を低減させることはできない。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】久野、杉浦、「単板原色イメージセンサにおける画素補間方式の高精度化」、映像情報メディア学会誌、Ｖｏｌ．６１、Ｎｏ．７、２００７年７月１日、ｐｐ．１００６〜１０１６
【非特許文献２】杉田、田口、「ＹＵＶ４：２：０フォーマットカラー画像の色差成分補間法」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８８−Ａ、Ｎｏ．６、２００５年６月１日、ｐｐ．７５１〜７６０
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、カメラで撮像されたＲＧＢからＹＣｂＣｒのような輝度信号及び色差信号に変換した信号でも局所的には相関が残っており、更なる圧縮が可能である。
【０００９】
また、量子化による直交変換係数の劣化は、逆量子化及び逆直交変換により画素の劣化としてブロック歪やモスキートノイズなどの劣化となって知覚される。また、画素ブロックごとの劣化の程度が異なるため、隣接する符号化ブロックの境界において、その差が顕著な妨害となってブロック歪が検知されることがある。このような場合に、動画像のコンポーネント信号間の相関を利用することで更にブロック歪みを改善する余地がある。
【００１０】
本発明の目的は、上述の問題に鑑みて為された発明であり、ブロック歪みを改善しつつ更なる圧縮を図ることが可能な符号化装置、復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
そこで、発明者らは、コンポーネント信号間の相関を利用して互いに補間又は修正するのではなく、コンポーネント信号間の相関を利用して完全にコンポーネント信号間の無相関化を行い、画像に対する寄与率を区別可能にして圧縮することに着目した。
【００１２】
本発明では、従来の画像符号化方式では十分に利用されていなかったコンポーネント信号間の相関を活用し、２種類又はそれ以上のコンポーネント信号が形成する色空間を無相関な色空間に変換し、好適には無相関化したコンポーネント信号（以下、無相関化コンポーネント信号）のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を削減する。
【００１３】
即ち、本発明の符号化装置は、複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像を圧縮する符号化装置であって、所定の色空間における各コンポーネント信号の信号要素を入力して、無相関化変換を実行する無相関化変換手段と、無相関化した信号に対して符号化処理を施して符号化信号を生成する符号化手段とを備え、前記無相関化変換手段は、前記無相関化変換に用いた無相関化行列の情報を無相関化パラメータとして生成することを特徴とする。
【００１４】
また、本発明の符号化装置において、前記無相関化変換手段は、主成分分析法を用いて、固有値が大きい順に主成分を決定し、各コンポーネント信号の信号要素を前記主成分からなる無相関化したコンポーネント信号の信号要素に変換する無相関化変換行列を構成して前記無相関化パラメータを生成することを特徴とする。
【００１５】
また、本発明の符号化装置において、前記無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの１つ以上の無相関化コンポーネント信号に対して、予め定めた全体の信号量に対する削減率に従って信号量を削減する信号量削減手段を更に備えることを特徴とする。
【００１６】
また、本発明の符号化装置において、前記信号量削減手段は、無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの最も信号分布が小さい無相関化コンポーネント信号に対してサンプル数を低減することにより信号量を削減することを特徴とする。
【００１７】
また、本発明の符号化装置において、前記信号量削減手段は、無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの最も信号分布が小さい無相関化コンポーネント信号に対して粗い量子化を施すことにより信号量を削減することを特徴とする。
【００１８】
また、本発明の符号化装置において、時間又は空間方向に信号予測して予測信号を生成する信号予測手段と、前記信号予測手段に用いる参照信号と前記予測信号との間で同一の信号軸となるように変換する信号軸変換手段と、を更に備えることを特徴とする。
【００１９】
また、本発明の符号化装置において、予め固有番号で識別可能な無相関化変換行列として有限個数の無相関化変換行列が予め規定されており、前記無相関化変換手段は、主成分分析法で求めた無相関化変換行列に対して最も近いものを前記有限個数の無相関化変換行列から選択し、選択した無相関化変換行列の固有番号を元のコンポーネント信号の組合せに関連付けた補助情報として決定することを特徴とする。
【００２０】
また、本発明の復号装置は、複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像圧縮された信号を復号する復号装置であって、所定の色空間における各コンポーネント信号の信号要素に対して無相関化変換が実行され、符号化処理を施した符号化信号と、前記無相関化変換に用いた無相関化行列の情報からなる無相関化パラメータとを取得し、前記符号化信号を復号する復号手段と、前記無相関化パラメータを用いて無相関化逆変換を実行し、元の色空間におけるコンポーネント信号の信号要素を復元する無相関化逆変換手段と、を備えることを特徴とする。
【００２１】
また、本発明の復号装置において、前記無相関化逆変換手段は、無相関化パラメータを用いて、無相関化コンポーネント信号の信号要素から元の色空間の各コンポーネント信号の信号要素へと逆変換する無相関化逆変換行列を構成することを特徴とする。
【００２２】
また、本発明の復号装置は、時間又は空間方向に信号予測して予測信号を生成する信号予測手段と、前記信号予測手段に用いる参照信号と前記予測信号との間で同一の信号軸となるように変換する信号軸変換手段と、を更に備えることを特徴とする。
【００２３】
また、本発明の復号装置は、予め固有番号で識別可能な無相関化変換行列として有限個数の無相関化変換行列が予め規定されており、前記無相関化逆変換手段は、符号化側で主成分分析法で求めた無相関化変換行列に対して最も近いものを前記有限個数の無相関化変換行列から選択することにより決定された、無相関化変換行列の固有番号を示す補助情報に従って無相関化変換行列を特定し、前記無相関化逆変換を実行することを特徴とする。
【００２４】
また、本発明は、符号化装置及び復号装置の各々をコンピュータとして構成することができ、プログラムを実行することで、符号化装置及び復号装置の各構成要素を実現することができる。
【発明の効果】
【００２５】
本発明によれば、従来の画像符号化方式では十分に利用されていなかったコンポーネント信号間の相関を活用して、好適には無相関化コンポーネント信号のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を削減するため、従来の画像符号化方式と比較して更なる圧縮が可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明による実施例１の符号化装置のブロック図である。
【図２】本発明による実施例１の復号装置のブロック図である。
【図３】本発明に係る元の色空間のコンポーネント信号の信号軸と無相関化コンポーネント信号の信号軸の関係を示す概略図である。
【図４】本発明に係る無相関化コンポーネント信号による画面内予測／画面間予測処理の一例を示す概略図である。
【図５】本発明による実施例２の符号化装置のブロック図である。
【図６】本発明による実施例２の復号装置のブロック図である。
【図７】本発明による実施例３の符号化装置のブロック図である。
【図８】本発明による実施例３の復号装置のブロック図である。
【図９】本発明による一実施例の符号化装置として構成するコンピュータにおける制御フローである。
【図１０】本発明による一実施例の復号装置として構成するコンピュータにおける制御フローである。
【発明を実施するための形態】
【００２７】
本発明による符号化装置及び復号装置では、カラー画像のコンポーネント信号間の相関を除去して画像圧縮する。入力する元の色空間は、カメラ出力などのＲＧＢや、伝送や表示等に利用するＹＣａＣｂ，ＹＵＶ, Ｌｕｖ，Ｌａｂ，ＸＹＺなどで表現された信号など、いずれの色空間のものでもよい。尚、ＹＣａＣｂ，ＹＵＶ，Ｌｕｖなどでは、Ｙ又はＬのコンポーネント信号（輝度信号）については無相関化変換を行わず（行列の係数を１にする等）、他のコンポーネント信号（色差信号）の２つのコンポーネント信号間の相関を除去するように構成することもできる。また、元の色空間は、３種類のコンポーネント信号で構成されるもの以外に、４種類以上のコンポーネント信号（例えば、ＲＧＢＹＭＣ等）を扱うマルチスペクトルの色空間の場合にも同様に適用することができる。
【００２８】
尚、カラー画像のコンポーネント信号間の相関を除去するにあたり、元のコンポーネント信号が４：２：２や４：２：０のフォーマット形式の場合、１フレームあたりのコンポーネント信号間のサンプル数が異なるため、予めサンプル数を揃えて無相関化変換を行う。サンプル数の変換は、サンプル数の多い方のコンポーネント信号の信号要素を平均処理して、サンプル数の少ない方のコンポーネント信号の信号要素と同数にすることができるが、この場合、元の信号の解像度を再現できなくなるため、サンプル数の少ない方のコンポーネント信号の信号要素を補間して、多い方のサンプル数のコンポーネント信号と同数にするのが好適である。
【００２９】
複数のコンポーネント信号からなる色空間の画像を符号化する本発明に係る符号化装置は、元の色空間の複数のコンポーネント信号（例えば、Ｃ１信号，Ｃ２信号，Ｃ３信号）のうちの２つ以上のコンポーネント信号について、コンポーネント信号間の相関を除去する無相関化変換行列によって無相関化変換を施して無相関化コンポーネント信号（例えば、Ｐ１信号，Ｐ２信号，Ｐ３信号）を生成し、この無相関化コンポーネント信号について時空間の信号予測（画面内予測又は画面間予測）の参照信号に基づく残差信号（例えば、Ｐ１残差信号，Ｐ２残差信号，Ｐ３残差信号）を生成して符号化する。この参照信号と符号化する際に用いる無相関化コンポーネント信号の無相関化変換行列を同一にして残差信号を生成するのが好適である。即ち、参照信号を生成するにあたり、符号化した信号を局部復号して符号化前のコンポーネント信号を再生した後、その符号化時に用いた無相関化変換行列によって無相関化逆変換を施して一旦格納し、格納したコンポーネント信号を読み出して、次に符号化する際の無相関化コンポーネント信号に用いる無相関化変換行列によって無相関化変換を施すことで参照信号を生成する。これにより、参照信号と符号化する際に用いる無相関化コンポーネント信号の無相関化変換行列を同一にして残差信号を生成することで、コンポーネント信号間の相関を除去して更なる画像圧縮を実現することができる。
【００３０】
以下、本発明による実施例１の符号化装置及び復号装置を説明する。
【実施例１】
【００３１】
図１は、本発明による実施例１の符号化装置１０のブロック図である。本実施例の実施例１の符号化装置１０は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して無相関化変換を施す無相関化変換部１０１と、無相関化コンポーネント信号の残差信号（Ｐ１残差信号，Ｐ２残差信号，Ｐ３残差信号）を個別に符号化する圧縮符号化部１０３−１，１０３−２，１０３−３からなる。
【００３２】
無相関化変換部１０１は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して無相関化変換を施し、無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）を生成する。生成された無相関化コンポーネント信号は、それぞれ同一の構成要素からなる圧縮符号化部１０３−１，１０３−２，１０３−３に送出される。
【００３３】
無相関化変換は、例えば主成分分析法を用いて、元の画像に対して寄与率の大きい順（固有値が大きい順）に主成分を決定し、元の色空間の各コンポーネント信号の信号要素をその主成分からなる無相関化コンポーネント信号の信号要素に変換する無相関化変換行列を構成して無相関化パラメータを生成するのが好適である。これは、復号側で、無相関化パラメータを用いて、無相関化コンポーネント信号の信号要素から元の色空間の各コンポーネント信号の信号要素へと逆変換する無相関化逆変換行列を構成することを可能にする。これにより、無相関化コンポーネント信号の新しい信号系を寄与率の大小の軸で構成することができ、信号分布の大小を容易に判別することができるようになる。
【００３４】
例えば、主成分分析法で無相関化変換行列を求める例を説明する。簡単のため、元の色空間のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）の信号要素が、表１に示すように、サンプル数を１０個としたブロックで表されることを想定し、各画素値の深度を０〜１０までとする。
【００３５】
【表１】
【００３６】
このような表１に示す各コンポーネント信号間の相関係数ｒｘｙは、式（１）で与えられる。
【００３７】
【数１】
【００３８】
ここに、Ｓｘｙは、コンポーネント信号間の共分散を示し、Ｓｘ，Ｓｙは、コンポーネント信号間の偏差を示すものであり、それぞれ、サンプル数ｎに対して式（２）〜式（４）で与えられる。
【００３９】
【００４０】
【数２】
【００４１】
【数３】
【００４２】
【数４】
【００４３】
上記の表１について、式（１）によって相関係数行列を求めると、下記の相関係数行列が得られる。
【００４４】
【数５】
【００４５】
上記の相関係数行列から、固有値λと固有ベクトルを算出することができる。ｎ次の正方行列をＡとし、固有値λが有限の集合にあるとき（λ∈Ｃ）、固有ベクトルｘは、式（５）が成り立つ。
【００４６】
【数６】
【００４７】
固有ベクトルｘが存在するための必要十分条件は、単位行列Ｅに対して式（６）を満たすことであるから、固有値λを未知数とするＡの固有方程式を解くことにより、固有値λを求めることができ、各固有値に対する大きさ１とする固有ベクトルを求めることができる。
【００４８】
【数７】
【００４９】
例えば、表１について求められる固有値と固有ベクトルは、表２のように表される。また、表２では、寄与率の大きい順（固有値が大きい順）に主成分（第１主成分，第２主成分，第３主成分）を決定して、無相関化変換行列を構成している。
【００５０】
【表２】
【００５１】
無相関化変換を構成する無相関化変換行列は、固有ベクトルを並べたものとなり、式（７）で表される。各主成分（第１主成分，第２主成分，第３主成分）に対応する無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）は、この無相関化変換行列によって、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を無相関化することで得られる。
【００５２】
【００５３】
【数８】
【００５４】
このように、無相関化変換部１０１は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して無相関化変換を施し、無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）を生成し、無相関化変換行列を構成する関数の情報を無相関化変換パラメータとして無相関化変換部１１７、無相関化パラメータ格納部１１９及び外部に送出する。
【００５５】
圧縮符号化部１０３−１，１０３−２，１０３−３は、それぞれ同様に機能し、無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）を個別に符号化する。従って、代表的に、圧縮符号化部１０３−１について説明する。
【００５６】
圧縮符号化部１０３−１は、サンプル数低減／粗量子化部１１０と、減算部１１１と、符号化部１１２と、局部復号部１１３と、加算部１１４と、無相関化逆変換部１１５と、画像メモリ１１６と、無相関化変換部１１７と、画面内予測／画面間予測部１１８と、無相関化パラメータ格納部１１９とを備える。
【００５７】
サンプル数低減／粗量子化部１１０は、無相関化変換部１０１から、元の色空間のコンポーネント信号を無相関化した無相関化コンポーネント信号のうちの１つを入力し、予め定めた全体の信号量に対する削減率に従って信号量を削減し、減算部１１１及び画面内予測／画面間予測部１１８に送出する。本例では、信号分布の小さくなった寄与率の低い軸の信号から順に、Ｐ１信号，Ｐ２信号，Ｐ３信号として割り当てられているものとして説明する。図３は、本発明に係る元の色空間のコンポーネント信号の信号軸と無相関化コンポーネント信号の信号軸の関係を示している。従って、Ｐ１信号は、信号分布の最も小さくなった寄与率の低い軸の無相関化コンポーネント信号であり、この信号量を、他の無相関化コンポーネント信号の信号量よりも大きく削減して減算部１１１及び画面内予測／画面間予測部１１８に送出する。この信号量の削減のやり方は、寄与率の低い軸の無相関化コンポーネント信号のサンプル数を減らすか、量子化を粗くする。これにより、全体の画質に対する損失を抑えながら圧縮率を高めることができる。
【００５８】
減算部１１１は、サンプル数低減／粗量子化部１１０から得られる無相関化コンポーネント信号と、画面内予測／画面間予測部１１８から得られる無相関化コンポーネント信号の予測信号とを差分した残差信号（Ｐ１残差信号）を生成し、符号化部１１２に送出する。
【００５９】
符号化部１１２は、減算部１１１から得られる残差信号（Ｐ１残差信号）を所定の符号化手順に従って符号化し、ビットストリーム（Ｐ１残差信号ビットストリーム）を生成して外部に送出する。符号化部１１２は、例えば、ＭＰＥＧ等と同様に、直交変換処理及び量子化処理として構成することができ、更に可変長符号化を施すように構成することができる。
【００６０】
局部復号部１１３は、符号化部１１２から得られる符号化信号を復号して加算部１１４に送出する。符号化部１１２が、ＭＰＥＧ等と同様に直交変換処理及び量子化処理として構成される場合、局部復号部１１３は、その逆変換（逆直交変換処理及び逆量子化処理）を施す。
【００６１】
加算部１１４は、画面内予測／画面間予測部１１８から得られる無相関化コンポーネント信号の予測信号と、局部復号部１１３から得られる復号信号とを加算して無相関化コンポーネント信号の復元信号を生成し、無相関化逆変換部１１５に送出する。
【００６２】
無相関化逆変換部１１５は、符号化部１１２の符号化時の無相関化コンポーネント信号に対して用いられた無相関化変換行列を得るために、無相関化パラメータ格納部１１９から無相関化パラメータを読み出し、この無相関化パラメータから無相関化逆変換行列を生成して、加算部１１４から得られる無相関化コンポーネント信号の復元信号（Ｐ１信号）、及び圧縮符号化部１０３−２，１０３−３の各々の対応する加算部１１４から得られる無相関化コンポーネント信号（Ｐ２信号，Ｐ３信号）に対して無相関化逆変換行列による逆変換を施し、元の色空間のコンポーネント信号（Ｃ１信号）に対応する復号信号を生成し、画像メモリ１１６に格納する。
【００６３】
無相関化変換部１１７は、画面内予測／画面間予測部１１８からの空間又は時間の予測を行うための要求に応じて、画像メモリ１１６から元の色空間のコンポーネント信号（Ｃ１信号）に対応する復号信号を読み出すとともに、圧縮符号化部１０３−２，１０３−３の各々の対応する画像メモリ１１６から得られる元の色空間の他のコンポーネント信号の復号信号（Ｃ２信号，Ｃ３信号）を入力し、これらの前回符号化時の元の色空間の他のコンポーネント信号に対応する復号信号に対して、今回符号化する際の無相関化コンポーネント信号に用いる無相関化パラメータから得られる無相関化変換行列によって、無相関化変換を施すことで信号系を揃え、今回符号化する際の無相関化コンポーネント信号の予測信号を生成するための参照信号を生成し、画面内予測／画面間予測部１１８に送出する。
【００６４】
画面内予測／画面間予測部１１８は、無相関化変換部１１７から参照信号を読み出して、従来のＭＰＥＧ等と同様に、画面内予測又は画面間予測処理を施して、今回符号化する際の無相関化コンポーネント信号の予測信号を生成し、減算部１１１に送出するとともに、画面内予測又は画面間予測処理に用いた各パラメータ（Ｐ１画面内予測パラメータ又は動きベクトル）を外部に送出する。
【００６５】
この画面内予測／画面間予測部１１８から得られる予測信号によって残差信号（Ｐ１残差信号）を生成して符号化する流れを、図４を参照して説明する。図４は、無相関化コンポーネント信号による画面内予測／画面間予測処理の一例を概略的に示している。
【００６６】
無相関化変換部１０１は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して無相関化変換を施し、無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）を生成する（ステップＳ１１）。続いて、無相関化逆変換部１１５によって、無相関化コンポーネント信号の復元信号（Ｐ１信号）、及び圧縮符号化部１０３−２，１０３−３から得られる対応する無相関化コンポーネント信号（Ｐ２信号，Ｐ３信号）に対して無相関化逆変換行列による逆変換を施し（ステップＳ１２）、更に、無相関化変換部１１７によって、今回符号化に用いる無相関化変換行列によって、画面内予測／画面間予測部１１８が用いる参照信号として新たな無相関化コンポーネント信号（Ｑ１信号：今回符号化時の無相関化コンポーネント信号，Ｑ２：今回符号化時の無相関化コンポーネント信号，Ｑ３：今回符号化時の無相関化コンポーネント信号）を生成する（ステップＳ１３）。
【００６７】
画面間予測の場合には、無相関化変換部１０１は、今回符号化時の無相関化行列を用いて無相関化コンポーネント信号（Ｑ１信号：今回符号化時の無相関化コンポーネント信号，Ｑ２：今回符号化時の無相関化コンポーネント信号，Ｑ３：今回符号化時の無相関化コンポーネント信号）を生成することで（ステップＳ１４）、画面内予測／画面間予測部１１８は、ステップＳ１３で生成した参照信号を用いて、同一の信号軸（図３参照）で予測信号を生成することができる（ステップＳ１５）。
【００６８】
このように、画面内予測／画面間予測部１１８から得られる予測信号によって残差信号（Ｐ１残差信号）を生成して符号化するには、画面内予測／画面間予測部１１８で用いる参照信号と符号化する際（予測信号を生成する際）に用いる無相関化コンポーネント信号の無相関化変換行列を同一にして残差信号を生成する。即ち、参照信号を生成するにあたり、符号化した信号を局部復号して符号化前のコンポーネント信号を生成した後、その符号化時に用いた無相関化変換行列によって無相関化逆変換を施して一旦格納し、格納したコンポーネント信号を読み出して、今回符号化する際の無相関化コンポーネント信号に用いる無相関化変換行列によって無相関化変換を施すことで参照信号を生成する。従って、時間又は空間方向に信号予測して予測信号を生成する際に、参照信号と予測信号との間で同一の信号軸となるように変換するように構成するのが好適である。これにより、無相関化変換を施す用に構成した場合でも、ＭＰＥＧ等で用いる画面内予測又は画面間予測を適用することができ、更に伝送する情報量を削減することができるようになる。このようにして、色空間の無相関化を、（動）画像全体でなく、フレームごとやスライス、マクロブロックなどの単位で行う場合、画面内予測や画面間予測に用いる参照信号と、現在予測処理する信号の３軸信号系が異なってしまうことがないように、参照信号として用いる信号の信号系を、現在予測処理する信号系に合わせるようにする。
【００６９】
尚、時空間の信号予測（画面内予測又は画面間予測）にあたって、毎符号化ブロック又は毎フレームごとに無相関化コンポーネント信号に対する無相関化変換行列を逐次演算すること以外に、特定数の符号化ブロック又は特定数のフレームごとに無相関化コンポーネント信号に対する無相関化変換行列を逐次演算するように構成することもできる。特に、画面内予測にて１フレーム内で共通する無相関化変換行列を用いる場合や、画面間予測にて複数フレームで共通する無相関化変換行列を用いる場合には、参照信号と符号化する際に用いる無相関化コンポーネント信号の無相関化変換行列を同一にすることで、処理負担を軽減することができる。即ち、無相関化変換は、１フレームの画面全体で行ってもよいし、複数画素からなるブロック単位で行ってもよい。
【００７０】
実施例１の符号化装置１０によれば、無相関化した上で符号化することにより、全体の画質に対する損失を抑えながら圧縮率を高めることができる。この信号量の削減のやり方は、寄与率の低い軸の無相関化コンポーネント信号のサンプル数を減らすか、量子化を粗くするだけでなく、寄与率の低い軸の無相関化コンポーネント信号の信号深度を粗くするなどがある。一方で、寄与率の高い軸については細かい密なステップの量子化を施すことでダイナミックレンジを広くするように構成することもできる。
【００７１】
また、無相関化変換では、対応画素位置の元のコンポーネント信号の各々を並列入力し、この元のコンポーネント信号の組合せごとに、その都度、主成分分析して無相関化変換行列を求め、符号化する際には、この無相関化変換行列を元のコンポーネント信号の組合せに関連付けた情報として符号化する例を説明した。一方、符号化する際の別のやり方として、主成分分析法で求めた無相関化変換行列に対して最も近いものを有限個数の無相関化変換行列から選択し、選択した無相関化変換行列の固有番号を元のコンポーネント信号の組合せに関連付けた補助情報として決定して符号化する。この場合、無相関化逆変換を実行する復号装置においても、予め固有番号で識別可能な無相関化変換行列として有限個数の無相関化変換行列が予め規定されており、この無相関化逆変換処理では、符号化側で主成分分析法で求めた無相関化変換行列に対して最も近いものを有限個数の無相関化変換行列から選択することにより決定された、無相関化変換行列の固有番号を示す補助情報に従って無相関化変換行列を特定し、無相関化逆変換を実行する。これにより、伝送する情報量を大幅に削減することができる。
【００７２】
次に、実施例１の符号化装置１０によって符号化したビットストリームを受信して復号する復号装置を説明する。
【００７３】
図２は、本発明による実施例１の復号装置のブロック図である。本実施例の復号装置２０は、それぞれ同様に構成される復号部２０１−１，２０１−２，２０２−３と、それぞれ同様に構成される復号変換部２０２−１，２０２−２、２０２−３と、無相関化逆変換部２０３とを備える。復号部２０１−１及び復号変換部２０２−１は、Ｐ１残差信号を受信して復号する信号系統であり、復号部２０１−２及び復号変換部２０２−２は、Ｐ２残差信号を受信して復号する信号系統であり、復号部２０１−３及び復号変換部２０２−３は、Ｐ３残差信号を受信して復号する信号系統である。また、復号変換部２０２−１は、加算部２１１と、画像メモリ２１３と、画面内予測／画面間予測部２１４とを備える。
【００７４】
復号部２０１−１は、符号化部１１２によって符号化されたＰ１残差信号を受信して復号し、加算部２１１に送出する。
【００７５】
加算部２１１は、画面内予測／画面間予測部２１４から得られる予測信号と、復号部２０１−１によって復号したＰ１残差信号の復号信号とを加算して無相関化コンポーネント信号（Ｐ１信号）を復元し、無相関化逆変換部２０３に送出する。
【００７６】
無相関化逆変換部２０３は、復号変換部２０２−１，２０２−２，２０２−３から入力される無相関化コンポーネント信号に対して、符号化装置１０から得られる無相関化変換パラメータから生成される無相関化逆変換行列を用いて逆変換を施して、元の色空間のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を復元する。
【００７７】
尚、画面内予測／画面間予測部２１４は、逆変換した元の色空間のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を格納する画像メモリ２１３から参照信号を読み出し、符号化装置１０から得られるＰ１画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部２１１に送出する。
【００７８】
このようにして、復号装置２０は、無相関化コンポーネント信号を復号して元の色空間のコンポーネント信号を再生することができる。
【００７９】
尚、符号化側で色空間を無相関化した後、無相関化コンポーネント信号のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を、他の無相関化コンポーネント信号の信号量よりも大きく削減して符号化されていたため、復号装置２０は、全体の画質に対する損失を抑えながら圧縮率を高められた信号を復元することができる。
【００８０】
次に、本発明による実施例２の符号化装置及び復号装置を説明する。
【実施例２】
【００８１】
図５は、本発明による実施例２の符号化装置３０のブロック図である。本実施例の実施例２の符号化装置３０は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して個別に残差信号を生成する圧縮符号化部３０１−１，３０１−２，３０１−３と、無相関化変換を施す無相関化変換部３０２と、サンプル数低減／粗量子化部３０３−１，３０３−２，３０３−３と、符号化部３０４−１，３０４−２，３０４−３とを備える。
【００８２】
圧縮符号化部３０１−１，３０１−２，３０１−３は、それぞれ同様に構成され、圧縮符号化部３０１−１は、減算部３１１と、符号化部３１２と、局部復号部３１３と、加算部３１４と、画像メモリ３１５と、画面内予測／画面間予測部３１６とを備える。また、圧縮符号化部３０１−１は、ＭＰＥＧ等の符号化装置と同様に構成され、減算部３１１、符号化部３１２、局部復号部３１３、加算部３１４、及び画面内予測／画面間予測部３１６の動作は、それぞれ、実施例１における減算部１１１、符号化部１１２、局部復号部１１３、加算部１１４、及び画面内予測／画面間予測部１１８と同様であり、更なる詳細な説明は省略する。尚、圧縮符号化部３０１−１，３０１−２，３０１−３における各画面内予測／画面間予測部３１６は、画像メモリ３１５から参照信号（Ｃ１’信号）を読み出して予測信号を生成して減算部３１１に送出するとともに、画面内予測パラメータ／動きベクトルを外部に送出する。
【００８３】
圧縮符号化部３０１−１は、元の色空間のコンポーネント信号（Ｃ１信号）を入力して、減算部３１１、符号化部３１２及び局部復号部３１３を経て得られる残差信号（Ｃ１’信号）を加算部３１４に送出するとともに、無相関化変換部３０２に送出する。圧縮符号化部３０１−２，３０１−３も同様に、それぞれ元の色空間のコンポーネント信号（Ｃ２信号、Ｃ３信号）を入力して、残差信号（ΔＣ２’信号、ΔＣ３’信号）を無相関化変換部３０２に送出する。
【００８４】
無相関化変換部３０２は、圧縮符号化部３０１−１，３０１−２，３０１−３から供給される残差信号（ΔＣ１’信号、ΔＣ２’信号、ΔＣ３’信号）に対して、実施例１の無相関化変換部１０１と同様に無相関化変換を施して、無相関化コンポーネント信号のＰ１残差信号、Ｐ２残差信号及びＰ３残差信号を生成し、それぞれサンプル数低減／粗量子化部３０３−１，３０３−２，３０３−３に送出する。尚、無相関化変換部３０２は、残差信号の無相関化コンポーネント信号（Ｐ１残差信号，Ｐ２残差信号，Ｐ３残差信号）を生成するとともに、無相関化変換行列を構成する関数を無相関化変換パラメータとして外部に送出する。
【００８５】
サンプル数低減／粗量子化部３０３−１は、無相関化変換部３０２から、元の色空間のコンポーネント信号を無相関化した無相関化コンポーネント信号のうちの１つを入力し、予め定めた全体の信号量に対する削減率に従って信号量を削減し、符号化部３０４−１に送出する。本例では、信号分布の小さくなった寄与率の低い軸の信号から順に、Ｐ１残差信号，Ｐ２残差信号，Ｐ３残差信号として割り当てられているものとしている。従って、Ｐ１残差信号は、信号分布の最も小さくなった寄与率の低い軸の残差信号の無相関化コンポーネント信号であり、この信号量を、他の残差信号の無相関化コンポーネント信号の信号量よりも大きく削減して符号化部３０４−１に送出する。この信号量の削減のやり方は、寄与率の低い軸の無相関化コンポーネント信号のサンプル数を減らすか、量子化を粗くする。これにより、全体の画質に対する損失を抑えながら圧縮率を高めることができる。他のサンプル数低減／粗量子化部３０３−２，３０３−２の動作も同様である。
【００８６】
符号化部３０４−１，３０４−２，３０４−３の各々は、それぞれサンプル数低減／粗量子化部３０３−１，３０３−２，３０３−３から得られる残差信号の無相関化コンポーネント信号（Ｐ１残差信号，Ｐ２残差信号，Ｐ３残差信号）に対して所定の符号化手順に従って符号化処理を施して残差信号の無相関化コンポーネント信号を符号化したビットストリームを生成して外部に送出する。符号化処理は、例えば、ＭＰＥＧ等と同様に、直交変換、量子化、及び可変長符号化を施すように構成することができる。
【００８７】
このように、実施例２では、元の色空間のコンポーネント信号の残差信号に対して無相関化変換を施し、適宜、信号量の削減を行って外部に送出するように構成されている。従って、実施例２の符号化装置３０は、（従来からの）既存の符号化装置に対して比較的簡単な構成で無相関化変換部３０２を適用することができ、且つ実施例１の利点を全て包含することができる。尚、圧縮符号化部３０１−１，３０１−２，３０１−３は、元の色空間の複数のコンポーネント信号の残差信号（ΔＣ１’信号、ΔＣ２’信号、ΔＣ３’信号）を生成すればよいため、符号化部３１２及び局部復号部３１３をバイパスしてもよい。
【００８８】
次に、実施例２の符号化装置３０によって符号化したビットストリームを受信して復号する復号装置４０を説明する。
【００８９】
図６は、本発明による実施例２の復号装置のブロック図である。本実施例の復号装置４０は、復号部４０１−１，４０１−２，４０１−３と、無相関化逆変換部４０２と、復号変換部４０３−１，４０３−２，４０３−３とを備える。
【００９０】
復号部４０１−１，４０１−２，４０１−３の各々は、符号化部３０４−１，３０４−２，３０４−３の各々によって符号化された残差信号の無相関化コンポーネント信号を復号して、無相関化逆変換部４０２に送出する。
【００９１】
無相関化逆変換部４０２は、復号部４０１−１，４０１−２，４０１−３から入力される残差信号の無相関化コンポーネント信号に対して、符号化装置３０から得られる無相関化変換パラメータから生成される無相関化逆変換行列を用いて逆変換を施して、元の色空間のコンポーネント信号の残差信号（ΔＣ１’信号、ΔＣ２’信号、ΔＣ３’信号）を復元し、それぞれ復号変換部４０３−１，４０３−２，４０３−３に送出する。
【００９２】
復号変換部４０３−１，４０３−２，４０３−３の各々は、それぞれ同様に構成され、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部４１１、画像メモリ４１２及び画面内予測／画面間予測部４１３を備える。
【００９３】
即ち、加算部４１１は、画面内予測／画面間予測部４１３から得られる予測信号と、無相関化逆変換部４０２から得られる残差信号（ΔＣ１’信号、ΔＣ２’信号、ΔＣ３’信号）とを加算して元の色空間のコンポーネント信号（Ｃ１信号）を復元する。
【００９４】
尚、画面内予測／画面間予測部４１３は、復元した元の色空間のコンポーネント信号（Ｃ１信号）を格納する画像メモリ４１２から参照信号を読み出し、符号化装置３０から得られるＣ１画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部４１１に送出する。
【００９５】
このようにして、復号装置４０は、無相関化コンポーネント信号について復号することができる。従って、実施例２の復号装置４０は、（従来からの）既存の復号装置に対して比較的簡単な構成で無相関化逆変換部４０２を適用することができ、且つ実施例１の利点を全て包含することができる。
【００９６】
つまり、符号化側で色空間を無相関化した後、無相関化コンポーネント信号のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を、他の無相関化コンポーネント信号の信号量よりも大きく削減して符号化されていたため、復号装置４０は、全体の画質に対する損失を抑えながら圧縮率を高められた信号を復元することができる。
【００９７】
次に、本発明による実施例３の符号化装置及び復号装置を説明する。
【実施例３】
【００９８】
図７は、本発明による実施例３の符号化装置５０のブロック図である。本実施例の実施例３の符号化装置５０は、元の色空間の複数のコンポーネント信号（Ｃ１信号，Ｃ２信号，Ｃ３信号）を入力して個別に残差信号を生成して直交変換を施し、更に、無相関化変換部５０１を介して得られる直交変換係数の無相関化コンポーネント信号を量子化してビットストリームを生成する圧縮符号化部５０２−１，５０２−２，５０２−３と、無相関化変換を施す無相関化変換部５０１とを備える。
【００９９】
圧縮符号化部５０２−１，５０２−２，５０２−３は、それぞれ同様に構成され、圧縮符号化部５０２−１は、減算部５１１と、直交変換部５１２と、量子化部５１３と、逆量子化部５１４と、無相関化逆変換部５１５と、逆直交変換部５１６と、加算部５１７と、画像メモリ５１８と、画面内予測／画面間予測部５１９とを備える。また、圧縮符号化部５０２−１の、減算部５１１、直交変換部５１２、量子化部５１３、逆量子化部５１４、逆直交変換部５１６、加算部５１７及び画面内予測／画面間予測部５１９の動作は、それぞれ、ＭＰＥＧ等の符号化装置で構成されるものと同様である。尚、圧縮符号化部５０２−１，５０２−２，５０２−３における各画面内予測／画面間予測部５１９は、画像メモリ５１８から参照信号（Ｃ１’信号）を読み出して予測信号を生成して減算部５１１に送出するとともに、画面内予測パラメータ／動きベクトルを外部に送出する。
【０１００】
減算部５１１は、元の色空間のコンポーネント信号（Ｃ１信号）を入力して、画面内予測／画面間予測部５１９から得られる予測信号に対する残差信号を直交変換部５１２に送出する。
【０１０１】
直交変換部５１２は、減算部５１１から得られる残差信号に対して直交変換（例えば、ＤＣＴ）を施し、この残差信号の直交変換係数の信号（Ｃ１＿Ｄ信号）を無相関化変換部５０１に送出する。
【０１０２】
無相関化変換部５０１は、圧縮符号化部５０２−１，５０２−２，５０２−３の各々によって生成される残差信号の直交変換係数の信号（Ｃ１＿Ｄ信号，Ｃ２＿Ｄ信号，Ｃ３＿Ｄ信号）を入力し、実施例１で説明した無相関化変換を実行して、それぞれ直交変換係数の無相関化コンポーネント信号（Ｐ１信号，Ｐ２信号，Ｐ３信号）を生成し、それぞれ対応する圧縮符号化部５０２−１，５０２−２，５０２−３の各々における量子化部５１３に送出する。尚、無相関化変換部５０１は、無相関化変換に用いた無相関化変換行列の情報を無相関化変換パラメータとして外部に送出するとともに、無相関化パラメータ格納部５２０に格納する。
【０１０３】
量子化部５１３は、直交変換係数の無相関化コンポーネント信号（Ｐ１信号）に対して、ＭＰＥＧ等と同様の量子化処理を施してＰ１残差信号ストリームを生成して外部に送出するとともに、逆量子化部５１４に送出する。
【０１０４】
逆量子化部５１４は、量子化部５１３から供給されるＰ１残差信号に対して逆量子化を施し、無相関化逆変換部５１５に送出する。
【０１０５】
無相関化逆変換部５１５は、実施例１の場合と同様に、前回符号化時の無相関化コンポーネント信号に対して用いられた無相関化変換行列を得るために、無相関化パラメータ格納部５２０から無相関化パラメータを読み出し、この無相関化パラメータから無相関化逆変換行列を生成して、逆量子化部５１４から得られる無相関化コンポーネント信号の復元信号（Ｐ１信号）、及び圧縮符号化部５０２−２，５０２−３の各々の対応する逆量子化部５１４から得られる無相関化コンポーネント信号（Ｐ２信号，Ｐ３信号）に対して無相関化逆変換行列による逆変換を施し、直交変換係数の残差信号（Ｃ１＿Ｄ信号）に対応する復号信号を生成し、逆直交変換部５１６に送出する。
【０１０６】
逆直交変換部５１６は、無相関化逆変換部５１５から得られる直交変換係数の残差信号（Ｃ１＿Ｄ信号）に対応する復号信号に対して逆直交変換を施し、元の色空間におけるコンポーネント信号の残差信号を生成して加算部５１７に送出する。
【０１０７】
加算部５１７は、逆直交変換部５１６から得られる元の色空間におけるコンポーネント信号の残差信号と、画面内予測／画面間予測部５１９から得られる予測信号とを加算して、次の符号化に用いる参照信号のための復元信号を生成し、画像メモリ５１８に格納する。
【０１０８】
画面内予測／画面間予測部５１９は、画像メモリ５１８に格納された参照信号（Ｃ１’信号）を読み出して、従来のＭＰＥＧ等と同様に、画面内予測又は画面間予測処理を施して、今回符号化する際の無相関化コンポーネント信号の予測信号を生成し、減算部５１１及び加算部５１７に送出するとともに、画面内予測又は画面間予測処理に用いた各パラメータ（Ｃ１画面内予測パラメータ又は動きベクトル）を外部に送出する。
【０１０９】
尚、量子化部５１３の出力に対して、例えば、ＭＰＥＧ等と同様に、可変長符号化を施すように構成することができる。
【０１１０】
また、実施例３では、実施例１又は実施例２で説明したサンプル数低減／粗量子化処理を量子化部５１３で実現することができる。
【０１１１】
このように、実施例３では、元の色空間のコンポーネント信号の残差信号に対して直交変換を施し、更に、無相関化変換を施した後、量子化して外部に送出するように構成されている。従って、実施例３の符号化装置５０は、（従来からの）既存の符号化装置に対して比較的簡単な構成で無相関化変換部５０１を適用することができ、且つ実施例１の利点を全て包含することができる。
【０１１２】
次に、実施例３の符号化装置５０によって符号化したビットストリームを受信して復号する復号装置６０を説明する。
【０１１３】
図８は、本発明による実施例３の復号装置のブロック図である。本実施例の復号装置６０は、逆量子化部６０１−１，６０１−２，６０１−３と、無相関化逆変換部６０２と、逆直交変換部６０３−１，６０３−２，６０３−３と、復号変換部６０４−１，６０４−２，６０４−３とを備える。
【０１１４】
逆量子化部６０１−１，６０１−２，６０１−３の各々は、復号変換部６０４−１，６０４−２，６０４−３の各々を経て符号化された残差信号の無相関化コンポーネント信号を復号して、無相関化逆変換部６０２に送出する。
【０１１５】
無相関化逆変換部６０２は、逆量子化部６０１−１，６０１−２，６０１−３から入力される残差信号の無相関化コンポーネント信号に対して、符号化装置５０から得られる無相関化変換パラメータから生成される無相関化逆変換行列を用いて逆変換を施して、元の色空間のコンポーネント信号に対する直交変換係数の残差信号を復元し、それぞれ逆直交変換部６０３−１，６０３−２，６０３−３に送出する。
【０１１６】
逆直交変換部６０３−１，６０３−２，６０３−３の各々は、無相関化逆変換部６０２から得られる直交変換係数の残差信号に対して逆直交変換を施し、元の色空間のコンポーネント信号の残差信号を生成して復号変換部６０３−１，６０３−２，６０３−３の各々に送出する。
【０１１７】
復号変換部６０３−１，６０３−２，６０３−３の各々は、それぞれ同様に構成され、ＭＰＥＧ等の（従来からの）既存の復号装置と同様に動作し、加算部６１１、画像メモリ６１２及び画面内予測／画面間予測部６１３を備える。
【０１１８】
即ち、加算部６１１は、画面内予測／画面間予測部６１３から得られる予測信号と、復号変換部６０３−１から得られる元の色空間のコンポーネント信号の残差信号とを加算して元の色空間のコンポーネント信号（Ｃ１信号）を復元する。
【０１１９】
尚、画面内予測／画面間予測部６１３は、復元した元の色空間のコンポーネント信号（Ｃ１信号）を格納する画像メモリ６１２から参照信号を読み出し、符号化装置５０から得られるＣ１画面内予測パラメータ／動きベクトルを用いて予測信号を生成し、加算部６１１に送出する。
【０１２０】
このようにして、復号装置６０は、無相関化コンポーネント信号について復号することができる。従って、実施例３の復号装置６０は、（従来からの）既存の復号装置に対して比較的簡単な構成で無相関化逆変換部６０２を適用することができ、且つ実施例１の利点を全て包含することができる。
【０１２１】
つまり、符号化側で色空間を無相関化した後、無相関化コンポーネント信号のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を、他の無相関化コンポーネント信号の信号量よりも大きく削減して符号化されていたため、復号装置６０は、全体の画質に対する損失を抑えながら圧縮率を高められた信号を復元することができる。
【０１２２】
従って、いずれの実施例においても、本発明によれば、従来の画像符号化方式では十分に利用されていなかったコンポーネント信号間の相関を活用して、無相関化コンポーネント信号のうち全体の信号量に対して信号分布の小さくなった無相関化コンポーネント信号の信号量を削減するため、従来の画像符号化方式と比較して更なる圧縮が可能となる。
【０１２３】
更に、本発明の一態様として、各実施例の符号化装置及び復号装置の各々をコンピュータとして構成させることができる。コンピュータに、前述した各実施例の符号化装置及び復号装置の各々における各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
【０１２４】
例えば、図９に、本発明による一実施例の符号化装置として構成するコンピュータにおける制御フローを示す。図９を参照するに、符号化装置として構成するコンピュータに、各コンポーネント信号の信号要素（画素値又は直交変換係数）を入力して、無相関化変換を実行し（ステップＳ１）、無相関化した信号に対して符号化処理を施し（ステップＳ２）、符号化処理を施したビットストリームと、この無相関化変換に用いた無相関化行列の情報を無相関化パラメータとして外部に送出する（ステップＳ３）処理を実行させるためのプログラムとして実現することができる。
【０１２５】
例えば、図１０に、本発明による一実施例の復号装置として構成するコンピュータにおける制御フローを示す。図１０を参照するに、復号装置として構成するコンピュータに、符号化処理を施したビットストリームと、符号化装置側の無相関化変換に用いた無相関化行列の情報からなる無相関化パラメータとを受信し（ステップＳ２１）、符号化処理を施したビットストリームを復号し（ステップＳ２２）、無相関化パラメータを用いて無相関化逆変換を実行して元の色空間におけるコンポーネント信号の信号要素を復元する（ステップＳ２３）処理を実行させるためのプログラムとして実現することができる。
【０１２６】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【０１２７】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【０１２８】
以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。
【産業上の利用可能性】
【０１２９】
本発明によれば、従来の画像符号化方式と比較して更なる圧縮が可能となるから、色空間のコンポーネント信号を符号化する符号化技術の用途に有用である。
【符号の説明】
【０１３０】
１０ 符号化装置
２０ 復号装置
３０ 符号化装置
４０ 復号装置
５０ 符号化装置
６０ 復号装置
１０１ 無相関化変換部
１０３−１，１０３−２，１０３−３ 圧縮符号化部
１１０ サンプル数低減／粗量子化部
１１１ 減算部
１１２ 符号化部
１１３ 局部復号部
１１４ 加算部
１１５ 無相関化逆変換部
１１６ 画像メモリ
１１７ 無相関化変換部
１１８ 画面内予測／画面間予測部
１１９ 無相関化パラメータ格納部
２０１−１，２０１−２，２０２−３ 復号部
２０２−１，２０２−２、２０２−３ 復号変換部
２０３ 無相関化逆変換部
２１１ 加算部
２１３ 画像メモリ
２１４ 画面内予測／画面間予測部
３０１−１，３０１−２，３０１−３ 圧縮符号化部
３０２ 無相関化変換を施す無相関化変換部
３０３−１，３０３−２，３０３−３ サンプル数低減／粗量子化部
３０４−１，３０４−２，３０４−３ 符号化部
３１１ 減算部
３１２ 符号化部
３１３ 局部復号部
３１４ 加算部
３１５ 画像メモリ
３１６ 画面内予測／画面間予測部
４０１−１，４０１−２，４０１−３ 復号部
４０２ 無相関化逆変換部
４０３−１，４０３−２，４０３−３ 復号変換部
４１１ 加算部
４１２ 画像メモリ
４１３ 画面内予測／画面間予測部
５０２−１，５０２−２，５０２−３ 圧縮符号化部
５０１ 無相関化変換部
５１１ 減算部
５１２ 直交変換部
５１３ 量子化部
５１４ 逆量子化部
５１５ 無相関化逆変換部
５１６ 逆直交変換部
５１７ 加算部
５１８ 画像メモリ
５１９ 画面内予測／画面間予測部
６０１−１，６０１−２，６０１−３ 逆量子化部
６０２ 無相関化逆変換部
６０３−１，６０３−２，６０３−３ 逆直交変換部
６０４−１，６０４−２，６０４−３ 復号変換部
６１１ 加算部
６１２ 画像メモリ
６１３ 画面内予測／画面間予測部
【特許請求の範囲】
【請求項１】
複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像を圧縮する符号化装置であって、
所定の色空間における各コンポーネント信号の信号要素を入力して、無相関化変換を実行する無相関化変換手段と、
無相関化した信号に対して符号化処理を施して符号化信号を生成する符号化手段とを備え、
前記無相関化変換手段は、前記無相関化変換に用いた無相関化行列の情報を無相関化パラメータとして生成することを特徴とする符号化装置。
【請求項２】
前記無相関化変換手段は、主成分分析法を用いて、固有値が大きい順に主成分を決定し、各コンポーネント信号の信号要素を前記主成分からなる無相関化したコンポーネント信号の信号要素に変換する無相関化変換行列を構成して前記無相関化パラメータを生成することを特徴とする、請求項１に記載の符号化装置。
【請求項３】
前記無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの１つ以上の無相関化コンポーネント信号に対して、予め定めた全体の信号量に対する削減率に従って信号量を削減する信号量削減手段を更に備えることを特徴とする、請求項１又は２に記載の符号化装置。
【請求項４】
前記信号量削減手段は、無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの最も信号分布が小さい無相関化コンポーネント信号に対してサンプル数を低減することにより信号量を削減することを特徴とする、請求項３に記載の符号化装置。
【請求項５】
前記信号量削減手段は、無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの最も信号分布が小さい無相関化コンポーネント信号に対して粗い量子化を施すことにより信号量を削減することを特徴とする、請求項３又は４に記載の符号化装置。
【請求項６】
時間又は空間方向に信号予測して予測信号を生成する信号予測手段と、
前記信号予測手段に用いる参照信号と前記予測信号との間で同一の信号軸となるように変換する信号軸変換手段と、
を更に備えることを特徴とする、請求項１〜５のいずれか一項に記載の符号化装置。
【請求項７】
予め固有番号で識別可能な無相関化変換行列として有限個数の無相関化変換行列が予め規定されており、
前記無相関化変換手段は、主成分分析法で求めた無相関化変換行列に対して最も近いものを前記有限個数の無相関化変換行列から選択し、選択した無相関化変換行列の固有番号を元のコンポーネント信号の組合せに関連付けた補助情報として決定することを特徴とする、請求項１〜６のいずれか一項に記載の符号化装置。
【請求項８】
複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像圧縮された信号を復号する復号装置であって、
所定の色空間における各コンポーネント信号の信号要素に対して無相関化変換が実行され、符号化処理を施した符号化信号と、前記無相関化変換に用いた無相関化行列の情報からなる無相関化パラメータとを取得し、前記符号化信号を復号する復号手段と、
前記無相関化パラメータを用いて無相関化逆変換を実行し、元の色空間におけるコンポーネント信号の信号要素を復元する無相関化逆変換手段と、
を備えることを特徴とする復号装置。
【請求項９】
前記無相関化逆変換手段は、無相関化パラメータを用いて、無相関化コンポーネント信号の信号要素から元の色空間の各コンポーネント信号の信号要素へと逆変換する無相関化逆変換行列を構成することを特徴とする、請求項８に記載の復号装置。
【請求項１０】
時間又は空間方向に信号予測して予測信号を生成する信号予測手段と、
前記信号予測手段に用いる参照信号と前記予測信号との間で同一の信号軸となるように変換する信号軸変換手段と、
を更に備えることを特徴とする、請求項９に記載の復号装置。
【請求項１１】
予め固有番号で識別可能な無相関化変換行列として有限個数の無相関化変換行列が予め規定されており、
前記無相関化逆変換手段は、符号化側で主成分分析法で求めた無相関化変換行列に対して最も近いものを前記有限個数の無相関化変換行列から選択することにより決定された、無相関化変換行列の固有番号を示す補助情報に従って無相関化変換行列を特定し、前記無相関化逆変換を実行することを特徴とする、請求項９又は１０に記載の復号装置。
【請求項１２】
複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像を圧縮する符号化装置として構成するコンピュータに、
所定の色空間における各コンポーネント信号の信号要素を入力して、無相関化変換を実行するステップと、
無相関化した信号に対して符号化処理を施して符号化信号を生成するステップと、
前記無相関化変換に用いた無相関化行列の情報を無相関化パラメータとして生成するステップと、
を実行させるためのプログラム。
【請求項１３】
複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像圧縮された信号を復号する復号装置として構成するコンピュータに、
所定の色空間における各コンポーネント信号の信号要素に対して無相関化変換が実行され、符号化処理を施した符号化信号と、前記無相関化変換に用いた無相関化行列の情報からなる無相関化パラメータとを取得するステップと、
前記符号化信号を復号するステップと、
前記無相関化パラメータを用いて無相関化逆変換を実行し、元の色空間におけるコンポーネント信号の信号要素を復元するステップと、
を実行させるためのプログラム。
【請求項１】
複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像を圧縮する符号化装置であって、
所定の色空間における各コンポーネント信号の信号要素を入力して、無相関化変換を実行する無相関化変換手段と、
無相関化した信号に対して符号化処理を施して符号化信号を生成する符号化手段とを備え、
前記無相関化変換手段は、前記無相関化変換に用いた無相関化行列の情報を無相関化パラメータとして生成することを特徴とする符号化装置。
【請求項２】
前記無相関化変換手段は、主成分分析法を用いて、固有値が大きい順に主成分を決定し、各コンポーネント信号の信号要素を前記主成分からなる無相関化したコンポーネント信号の信号要素に変換する無相関化変換行列を構成して前記無相関化パラメータを生成することを特徴とする、請求項１に記載の符号化装置。
【請求項３】
前記無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの１つ以上の無相関化コンポーネント信号に対して、予め定めた全体の信号量に対する削減率に従って信号量を削減する信号量削減手段を更に備えることを特徴とする、請求項１又は２に記載の符号化装置。
【請求項４】
前記信号量削減手段は、無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの最も信号分布が小さい無相関化コンポーネント信号に対してサンプル数を低減することにより信号量を削減することを特徴とする、請求項３に記載の符号化装置。
【請求項５】
前記信号量削減手段は、無相関化変換手段による無相関化した直後の無相関化コンポーネント信号のうちの最も信号分布が小さい無相関化コンポーネント信号に対して粗い量子化を施すことにより信号量を削減することを特徴とする、請求項３又は４に記載の符号化装置。
【請求項６】
時間又は空間方向に信号予測して予測信号を生成する信号予測手段と、
前記信号予測手段に用いる参照信号と前記予測信号との間で同一の信号軸となるように変換する信号軸変換手段と、
を更に備えることを特徴とする、請求項１〜５のいずれか一項に記載の符号化装置。
【請求項７】
予め固有番号で識別可能な無相関化変換行列として有限個数の無相関化変換行列が予め規定されており、
前記無相関化変換手段は、主成分分析法で求めた無相関化変換行列に対して最も近いものを前記有限個数の無相関化変換行列から選択し、選択した無相関化変換行列の固有番号を元のコンポーネント信号の組合せに関連付けた補助情報として決定することを特徴とする、請求項１〜６のいずれか一項に記載の符号化装置。
【請求項８】
複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像圧縮された信号を復号する復号装置であって、
所定の色空間における各コンポーネント信号の信号要素に対して無相関化変換が実行され、符号化処理を施した符号化信号と、前記無相関化変換に用いた無相関化行列の情報からなる無相関化パラメータとを取得し、前記符号化信号を復号する復号手段と、
前記無相関化パラメータを用いて無相関化逆変換を実行し、元の色空間におけるコンポーネント信号の信号要素を復元する無相関化逆変換手段と、
を備えることを特徴とする復号装置。
【請求項９】
前記無相関化逆変換手段は、無相関化パラメータを用いて、無相関化コンポーネント信号の信号要素から元の色空間の各コンポーネント信号の信号要素へと逆変換する無相関化逆変換行列を構成することを特徴とする、請求項８に記載の復号装置。
【請求項１０】
時間又は空間方向に信号予測して予測信号を生成する信号予測手段と、
前記信号予測手段に用いる参照信号と前記予測信号との間で同一の信号軸となるように変換する信号軸変換手段と、
を更に備えることを特徴とする、請求項９に記載の復号装置。
【請求項１１】
予め固有番号で識別可能な無相関化変換行列として有限個数の無相関化変換行列が予め規定されており、
前記無相関化逆変換手段は、符号化側で主成分分析法で求めた無相関化変換行列に対して最も近いものを前記有限個数の無相関化変換行列から選択することにより決定された、無相関化変換行列の固有番号を示す補助情報に従って無相関化変換行列を特定し、前記無相関化逆変換を実行することを特徴とする、請求項９又は１０に記載の復号装置。
【請求項１２】
複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像を圧縮する符号化装置として構成するコンピュータに、
所定の色空間における各コンポーネント信号の信号要素を入力して、無相関化変換を実行するステップと、
無相関化した信号に対して符号化処理を施して符号化信号を生成するステップと、
前記無相関化変換に用いた無相関化行列の情報を無相関化パラメータとして生成するステップと、
を実行させるためのプログラム。
【請求項１３】
複数のコンポーネント信号が形成する色空間を無相関な色空間に変換して画像圧縮された信号を復号する復号装置として構成するコンピュータに、
所定の色空間における各コンポーネント信号の信号要素に対して無相関化変換が実行され、符号化処理を施した符号化信号と、前記無相関化変換に用いた無相関化行列の情報からなる無相関化パラメータとを取得するステップと、
前記符号化信号を復号するステップと、
前記無相関化パラメータを用いて無相関化逆変換を実行し、元の色空間におけるコンポーネント信号の信号要素を復元するステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−１８８３６８（Ｐ２０１１−１８８３６８Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−５３４８１（Ｐ２０１０−５３４８１）
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月１０日（２０１０．３．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]