画像処理装置および方法
【課題】高い情報量低減効果を実現しつつ、処理の負荷の増大を抑制することができるようにする。
【解決手段】画像信号の複数の色成分に対して色変換を行う色変換装置は、２つの色変換部を有する。一方の色変換部は、入力される色成分の内、互いに相関性が高い色成分同士の組み合わせ（複数の色成分からなる色成分群）に対して、丸め処理を用いたHaar変換を行う。他方の色変換部は、入力される色成分のその他の組み合わせ（色成分群）に対して、所定のリフティング構成の回転変換を行うKLTを行う。本開示は、例えば、色変換装置や画像符号化装置に適用することができる。
【解決手段】画像信号の複数の色成分に対して色変換を行う色変換装置は、２つの色変換部を有する。一方の色変換部は、入力される色成分の内、互いに相関性が高い色成分同士の組み合わせ（複数の色成分からなる色成分群）に対して、丸め処理を用いたHaar変換を行う。他方の色変換部は、入力される色成分のその他の組み合わせ（色成分群）に対して、所定のリフティング構成の回転変換を行うKLTを行う。本開示は、例えば、色変換装置や画像符号化装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、高い情報量低減効果を実現しつつ、処理の負荷の増大を抑制することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ等において、画像データを保存する際のモードとして、画像データをJPEG（Joint Photographic Experts Group）符号化するJPEG符号化モードの他に、RAW圧縮モードを備えるケースが増えている。
【０００３】
JPEG符号化モードの場合、撮像素子から読み出された色成分の画素に対してデモザイク等の現像処理が施され、画素補間が行われた後、JPEG符号化方式で符号化される。JPEG符号化は非可逆の符号化方式であるので、このモードの場合、原画像の情報が失われる。
【０００４】
これに対して、RAW圧縮モードの場合、撮像素子から読み出された色成分の画素に対して画像処理が施されてデータ量が低減される。したがって、このモードの場合、可逆圧縮であることが多い。また、デモザイクや画素補間等の中間処理が不要なので、計算処理量が少なく、さらに、補間前なので画像の解像度（サイズ）が小さいままの処理が可能である。
【０００５】
したがって、撮像素子の画質をそのままに維持することができ、色成分の画素を欠損なく圧縮・保存することができるフォーマットとしてRAW圧縮の必要性が高まっている。
【０００６】
このようなRAW画像圧縮法として、例えば、ベイヤ配列の４つの色成分（R、G0、G1、B）に対して、所定の色変換を施すことで、Y、Cb、Cr、Cgの４つの成分に変換する方法が提案されている（例えば、特許文献１参照）。
【０００７】
また、このような色変換処理にKarhunen-Loeve変換（以下、KLT（Karhunen-Loeve Transform）と称する）を用いる方法も提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許４４３６７３３号
【非特許文献】
【０００９】
【非特許文献１】大林 浩気，坂東 幸浩，高村 誠之，如澤 裕尚，八島 由幸，"Karhunen-Loeve変換の情報集約性に関する理論的考察",電子情報通信学会論文誌 Ａ Vol.J93-A No.9 pp.636-637,2009.12.7受付，2010.5.10再受付
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に記載の方法の場合、非特許文献１に記載の方法に比べて情報量の低減効果が低い恐れがあった。逆に、非特許文献１に記載の方法の場合、特許文献１に記載の方法に比べて処理量が増大する恐れがあった。
【００１１】
このように従来の色変換方法は完璧な方法ではなく、RAW画像圧縮法として、さらに新たな方法が求められていた。
【００１２】
本開示は、このような状況に鑑みて提案されたものであり、高い情報量低減効果を実現しつつ、処理の負荷の増大を抑制することができるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
本開示の一側面は、画像データに含まれる複数の色成分の内、相関性の高い色成分の組み合わせに対して色変換を行う第１の色変換部と、画像データに含まれる複数の色成分の内、前記第１の色変換部が前記色変換の対象とする色成分の組み合わせ以外の組み合わせに対して色変換を行う第２の色変換部とを備える画像処理装置である。
【００１４】
前記第２の色変換部はKarhunen-Loeve変換を行うことができる。
【００１５】
前記第１の変換部はHaar変換を行うことができる。
【００１６】
前記第１の変換部はDPCMを用いた色変換を行うことができる。
【００１７】
前記第１の変換部はＳ変換を行うことができる。
【００１８】
前記第１の色変換部および前記第２の色変換部による色変換後の、一部若しくは全部の色成分を周波数変換する周波数変換部をさらに備えることができる。
【００１９】
前記第１の色変換部および前記第２の色変換部による色変換後の各色成分を周波数変換するか否かを制御する制御部をさらに備え、前記周波数変換部は、前記制御部により周波数変換を行うと判定された色成分を周波数変換することができる。
【００２０】
前記制御部は、前記第１の色変換部および前記第２の色変換部による色変換後の各色成分のエネルギを測定する測定部と、前記測定部により測定された各色成分のエネルギを所定の閾値と比較し、その比較結果に応じて、前記周波数変換させるか否かを判定する判定部と、前記判定部の判定結果に応じて、各色成分に対して行う処理を選択する選択部とを備えることができる。
【００２１】
前記周波数変換部は、前記第１の色変換部および前記第２の色変換部による色変換後の、所定の色成分を周波数変換することができる。
【００２２】
前記周波数変換部により周波数変換されて得られた、前記第１の色変換部および前記第２の色変換部による色変換後の色成分の周波数変換係数、若しくは、前記第１の色変換部および前記第２の色変換部による色変換後の色成分を符号化する符号化部をさらに備えることができる。
【００２３】
前記周波数変換部は、前記色成分をDCT（Discrete Cosine Transform）することができる。
【００２４】
前記周波数変換部は、前記色成分をウェーブレット変換することができる。
【００２５】
前記画像データは、各色成分がベイヤ型に配列される画像の情報であるようにすることができる。
【００２６】
本開示の一側面は、また、画像処理装置の画像処理方法であって、第１の色変換部が、画像データに含まれる複数の色成分の内、相関性の高い色成分の組み合わせに対して色変換を行い、第２の色変換部が、画像データに含まれる複数の色成分の内、前記第１の色変換部が前記色変換の対象とする色成分の組み合わせ以外の組み合わせに対して色変換を行う画像処理方法である。
【００２７】
本開示の他の側面は、画像データに含まれる複数の色成分に対して色変換を行う色変換部と、前記色変換部による色変換後の、一部若しくは全部の色成分を周波数変換する周波数変換部と、前記色変換部による色変換後の色成分を符号化する符号化部とを備える画像処理装置である。
【００２８】
本開示の他の側面は、また、画像処理装置の画像処理方法であって、色変換部が、画像データに含まれる複数の色成分に対して色変換を行い、周波数変換部が、色変換後の、一部若しくは全部の色成分を周波数変換し、符号化部が、色変換後の色成分を符号化する画像処理方法である。
【００２９】
本開示の一側面においては、画像データに含まれる複数の色成分の内、相関性の高い色成分の組み合わせに対して色変換が行われ、画像データに含まれる複数の色成分の内、前記第１の色変換部が前記色変換の対象とする色成分の組み合わせ以外の組み合わせに対して色変換が行われる。
【００３０】
本開示の他の側面においては、画像データに含まれる複数の色成分に対して色変換が行われ、色変換後の、一部若しくは全部の色成分が周波数変換され、色変換後の色成分が符号化される。
【発明の効果】
【００３１】
本開示によれば、画像を処理することができる。特に、高い情報量低減効果を実現しつつ、処理の負荷の増大を抑制することができる。
【図面の簡単な説明】
【００３２】
【図１】ベイヤ型配列の例を示す図である。
【図２】従来の色変換装置の主な構成例を示す図である。
【図３】従来の色変換装置の他の構成例を示す図である。
【図４】本開示の色変換装置の主な構成例を示す図である。
【図５】色変換処理の流れの例を説明するフローチャートである。
【図６】本開示の色変換装置の、他の構成例を示す図である。
【図７】色変換処理の流れの、他の例を説明するフローチャートである。
【図８】本開示の色変換装置の、さらに他の構成例を示す図である。
【図９】色変換処理の流れの、さらに他の例を説明するフローチャートである。
【図１０】各方式の色変換後のエントロピ値を説明する図である。
【図１１】本開示の画像符号化装置の主な構成例を示す図である。
【図１２】画像符号化処理の流れの例を説明するフローチャートである。
【図１３】本開示の画像符号化装置の、他の構成例を示す図である。
【図１４】画像符号化処理の流れの、他の例を説明するフローチャートである。
【図１５】ベイヤ型配列の他の例を示す図である。
【図１６】ベイヤ型配列のさらに他の例を示す図である。
【図１７】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（色変換装置）
２．第２の実施の形態（画像符号化装置）
３．第３の実施の形態（パーソナルコンピュータ）
【００３４】
＜１．第１の実施の形態＞
［色成分］
デジタルカメラ等において行われるRAW圧縮では、撮像素子等から各色成分のデータが取得されて処理される。撮像素子から取得されるRAW画像は、例えば、図１に示されるようなベイヤ配列構造を有する。つまり、RAW画像は、赤（Ｒ）、青（Ｂ）、緑（Ｇ０，Ｇ１）の色成分を有する。
【００３５】
［色変換装置１］
図２は、このようなRAW画像に対して色変換処理を行う色変換装置の主な構成例を示すブロック図である。
【００３６】
図２に示される色変換装置１０は、特許文献１に記載の色変換方法で色変換処理を行う装置である。色変換装置１０は、RAM画像のＲ，Ｂ，Ｇ０，Ｇ１をＹ，Ｃｒ，Ｃｂ，Ｃｇに変換することにより情報量を低減させる。
【００３７】
図２に示されるように、色変換装置１０は、減算器１１、加算器１２、右１ビットシフト器１３、減算器１４、減算器１５、左１ビットシフト器１６、加算器１７、加算器１８、および右２ビットシフト器１９を有する。
【００３８】
入力２１乃至入力２４には、それぞれ、Ｒ，Ｂ，Ｇ０，Ｇ１が入力される。出力２５乃至出力２８からは、それぞれ、Ｃｒ，Ｃｂ，Ｙ，Ｃｇが出力される。
【００３９】
減算器１１は、入力２４から入力２３を減算し（Ｇ０−Ｇ１）、その減算結果を出力２８（Ｃｇ）から出力させる。
【００４０】
加算器１２は、入力２３と入力２４とを加算する（Ｇ０＋Ｇ１）。右１ビットシフト器１３は、その加算結果を２で除算する（右方向に１ビットシフトする（Ｆ［（Ｇ０＋Ｇ１）／２］））。
【００４１】
減算器１４は、入力２２から右１ビットシフト器１３の出力を減算し（Ｂ−Ｆ［（Ｇ０＋Ｇ１）／２］）、その減算結果を出力２６（Ｃｂ）から出力させる。
【００４２】
減算器１５は、入力２１から右１ビットシフト器１３の出力を減算し（Ｒ−Ｆ［（Ｇ０＋Ｇ１）／２］）、その減算結果を出力２５（Ｃｒ）から出力させる。
【００４３】
左１ビットシフト器１６は、右１ビットシフト器１３の出力を２で乗算する（左方向に１ビットシフトする（２×Ｆ［（Ｇ０＋Ｇ１）／２］）。
【００４４】
加算器１７は、入力２１と入力２２を加算する（Ｒ＋Ｂ）。加算器１８は、左１ビットシフト器１６の出力と、加算器１７による加算結果とを加算する（Ｒ＋２×Ｆ［（Ｇ０＋Ｇ１）／２］＋Ｂ）。右２ビットシフト器１９は、その加算結果を４で除算する（右方向に２ビットシフトし（Ｆ［（Ｒ＋２×Ｆ［（Ｇ０＋Ｇ１）／２］＋Ｂ）／４］））、出力２７（Ｙ）から出力させる。
【００４５】
すなわち、色変換装置１０は、以下の式（１）に示されるような色変換処理を行う。
【００４６】
【数１】
・・・（１）
【００４７】
［色変換装置２］
図３は、色変換装置の他の構成例を示すブロック図である。
【００４８】
図３に示される色変換装置３０は、非特許文献１に記載の色変換方法（Karhunen-Loeve変換（KLT））で色変換処理を行う装置である。色変換装置３０は、RAM画像のＲ，Ｂ，Ｇ０，Ｙ０，Ｙ１，Ｙ２，Ｙ３に変換することにより情報量を低減させる。
【００４９】
図３に示されるように、色変換装置３０は、回転変換部３１（Ｆ（Θ１））、回転変換部３２（Ｆ（Θ２））、回転変換部３３（Ｆ（Θ３））、回転変換部３４（Ｆ（Θ４））、回転変換部３５（Ｆ（Θ５））、および、回転変換部３６（Ｆ（Θ６））を有する。
【００５０】
入力４１乃至入力４４には、それぞれ、Ｒ，Ｇ０，Ｇ１，Ｂが入力される。出力４５乃至出力４８からは、それぞれ、Ｙ０，Ｙ１，Ｙ２，Ｙ３が出力される。
【００５１】
回転変換部３１（Ｆ（Θ１））は、入力４１（Ｒ）および入力４２（Ｇ０）を回転変換する。回転変換部３２（Ｆ（Θ２））は、回転変換部３１（Ｆ（Θ１））の２出力と入力４３（Ｇ１）とを回転変換する。回転変換部３３（Ｆ（Θ３））は、回転変換部３２（Ｆ（Θ２））の３出力と入力４４（Ｂ）とを回転変換する。
【００５２】
回転変換部３３（Ｆ（Θ３））の１出力は出力４５から出力される（Ｙ０）。回転変換部３４（Ｆ（Θ４））は、回転変換部３３（Ｆ（Θ３））の２出力を回転変換する。回転変換部３５（Ｆ（Θ５））は、回転変換部３４（Ｆ（Θ４））の２出力と、回転変換部３３（Ｆ（Θ３））の１出力とを回転変換する。回転変換部３５（Ｆ（Θ５））の１出力は出力４６から出力される（Ｙ１）。
【００５３】
回転変換部３６（Ｆ（Θ６））は、回転変換部３５（Ｆ（Θ５））の２出力を回転変換する。回転変換部３６（Ｆ（Θ６））の２出力は、それぞれ、出力４７（Ｙ２）と出力４８（Ｙ３）から出力される。
【００５４】
この様に、KLTをリフティング構成（ラダー構成）にすることで、演算の過程で発生する丸め誤差が順変換と逆変換の間でキャンセルするので、内部信号を整数化することで、可逆変換が可能になる。従って図３のKLTを用いることで可逆圧縮を実現することができる。
【００５５】
図３に示される様に、RED（入力１３１）、Green-0（入力１３２）、Green-1（入力１３３）、BLUE（入力１３４）の４つの色成分に対して可逆のKLTを行う場合、F（Θ１）乃至F（Θ６）の６つの回転変換が必要になる。これは、４入力のKLTを因数分解すると、６つの回転変換がその要素として必要になるからである。
【００５６】
以上の回転変換Ｆ（Θｉ）は、以下の式（２）乃至式（９）のように表される。
【００５７】
【数２】
・・・（２）
【数３】
・・・（３）
【数４】
・・・（４）
【数５】
・・・（５）
【数６】
・・・（６）
【数７】
・・・（７）
【数８】
・・・（８）
【数９】
・・・（９）
【００５８】
白黒画像の場合、信号の性質が高精度に近似されるため、DCTによる圧縮が有効である。これに対してカラー画像の場合、RGBからYUVへの色変換の後にDCTを用いると、色成分の自己相関や相互相関は入力画像によって大きく異なるので、必ずしも良好な結果が得られるとは限らない。しかしながら、色変換装置１０の色変換の代わりに色変換装置３０のKLTを用いることで、個々の入力画像の特徴に適した無相関化が可能になり、結果として効率的な圧縮を実現することができる。
【００５９】
しかしながら、KLTは、上述した様に回転変換から構成され、個々の回転変換は三角関数の演算を伴うので、一般に計算負荷が大きい。従って、図２の色変換装置１０のような単純な色変換（加減算とビットシフト演算のみ）と比べると、色変換装置３０の色変換の計算負荷は大きい。
【００６０】
［色変換装置３］
ところで、RAW画像の色成分の内で、２つ存在するGreen成分（Ｇ０とＧ１）の相関は、入力画像によらず、ほぼ一定であることが知られている。そこで、この特徴を利用して上記の２つのGreen成分に対しては、KLTよりも遥かに軽量な変換、例えばHaar変換を施すようにする。
【００６１】
図４は、色変換装置の、さらに他の構成例を示すブロック図である。
【００６２】
図４に示される色変換装置１００は、基本的に図３の色変換装置３０と同様の装置であり、RAM画像のＲ，Ｂ，Ｇ０，Ｙ０，Ｙ１，Ｙ２，Ｙ３に変換することにより情報量を低減させる。
【００６３】
図４に示されるように、色変換装置１００は、色変換部１０１および色変換部１０２を有する。色変換部１０１は、入力される色成分の内、互いに相関性が高い色成分同士の組み合わせ（複数の色成分からなる色成分群）に対してHaar変換を行う。
【００６４】
入力１３１乃至入力１３４には、それぞれ、Ｇ０，Ｇ１，Ｒ，Ｂが入力される。出力１５１乃至出力１５４からは、それぞれ、Ｙ０，Ｙ１，Ｙ２，Ｙ３が出力される。
【００６５】
色変換部１０１は、丸め処理部１１１、加算器１１２、丸め処理部１１３、加算器１１４、丸め処理部１１５、および加算器１１６を有する。
【００６６】
加算器１１２は、丸め処理部１１１による入力１３１（Ｇ０）の丸め処理結果１３５と、入力１３２（Ｇ１）とを加算し、加算結果１３６を得る。加算器１１４は、丸め処理部１１３による加算結果１３６の丸め処理結果１３７と、入力１３１（Ｇ０）とを加算し、色変換部１０１の出力を得る。この出力は、出力１５１から色変換装置１００の外部に出力される（Ｙ０）。
【００６７】
加算器１１６は、丸め処理部１１５による加算器１１４の出力の丸め処理結果と、加算結果１３６とを加算し、加算結果１３９を、色変換部１０１の出力として得る。この出力は、色変換部１０２に供給される。
【００６８】
つまり、色変換部１０１は、互いに相関性の高いＧ０とＧ１に対してHaar変換を行い、一方の出力を出力１５１から色変換装置１００の外部に出力させ（Ｙ０）、他方の出力を色変換部１０２に供給する。
【００６９】
この色変換部１０１を定式化したものを以下の式（１０）に示す。
【００７０】
【数１０】
・・・（１０）
【００７１】
色変換部１０２は、入力される色成分のその他の組み合わせ（色成分群）に対してKLTを行う。
【００７２】
色変換部１０２は、回転変換部１２１（Ｆ（Θ１））、回転変換部１２２（Ｆ（Θ２））、および回転変換部１２３（Ｆ（Θ３））を有する。
【００７３】
回転変換部１２１（Ｆ（Θ１））は、色変換部１０１の１出力と入力１３３（Ｒ）を回転変換する。回転変換部１２２（Ｆ（Θ２））は、回転変換部１２１（Ｆ（Θ１））の出力１４１と出力１４２、並びに、入力１３４（Ｂ）を回転変換する。回転変換部１２２（Ｆ（Θ２））の１出力は出力１５２から出力される（Ｙ１）。
【００７４】
また、回転変換部１２３（Ｆ（Θ３））は、回転変換部１２２（Ｆ（Θ２））の出力１４３および出力１４４を回転変換する。その一方の出力は、出力１５３から出力され（Ｙ２）、他方の出力は出力１５４（Ｙ３）から出力される。
【００７５】
色変換装置３０のように４入力KLTの場合、６つの回転変換が必要になるのに対して、この色変換装置１００のように３入力KLTの場合、３つの回転変換で十分である。
【００７６】
また、Haar変換は、式（１０）に示されるように、加減算及びビットシフト演算だけで実現することができる。したがって、Haar変換は、回転変換を伴うKLTに比べて、処理の負荷は遥かに小さい。
【００７７】
以上のことから、色変換装置１００は、色変換処理の負荷を、４入力KLTを行う色変換装置３０の場合よりも低減させることができる。
【００７８】
［色変換処理の流れ］
次に、図５のフローチャートを参照して、図４の色変換装置１００による色変換処理の流れの例を説明する。
【００７９】
色変換処理が開始されると、色変換装置１００の色変換部１０１は、ステップＳ１０１において、相関の高い色成分の組み合わせに対してHaar変換を行う。
【００８０】
ステップＳ１０２において、色変換部１０２は、ステップＳ１０１の処理結果を用いて、その他の色成分の組み合わせに対してKLTを行う。
【００８１】
ステップＳ１０２の処理が終了すると、色変換装置１００は、色変換処理を終了する。
【００８２】
このように色変換処理を行うことにより、色変換装置１００は、色変換装置３０の場合に比べて、色変換処理の負荷を低減させることができる。
【００８３】
［色変換装置４］
なお、互いに相関性が高い色成分同士の組み合わせに対する色変換処理として、Haar変換の代わりにDPCM（Differential Pulse Code Modulation）を用いるようにしてもよい。
【００８４】
図６は、色変換装置の、さらに他の構成例を示すブロック図である。
【００８５】
図６に示される色変換装置２００は、基本的に図４の色変換装置１００と同様の装置であり、色変換装置１００と同様の構成を有するが、色変換部１０１の代わりに色変換部２０１を有する。
【００８６】
色変換部２０１は、入力される色成分の内、互いに相関性が高い色成分同士の組み合わせ（複数の色成分からなる色成分群）に対してDPCMを行う。色変換部２０１は、減算器２１１を有する。
【００８７】
減算器２１１は、入力１３１（Ｇ０）から入力１３２（Ｇ１）を減算する。この減算結果は、色変換部２０１の一方の出力として、出力１５１から色変換装置２００の外部に出力される（Ｙ０）。
【００８８】
また、色変換部２０１の他方の出力として、入力１３２（Ｇ１）が、色変換部１０２に供給される。つまり、色変換部１０２は、入力１３２（Ｇ１）、入力１３３（Ｒ）、および入力１３４（Ｇ）に対してKLTを行う。
【００８９】
色変換部２０１を定式化したものを以下の式（１１）に示す。
【００９０】
【数１１】
・・・（１１）
【００９１】
式（１１）に示されるように、この色変換部２０１の場合、減算のみで変換を行うことができる。したがって、色変換部２０１は、色変換部１０１のHaar変換の場合よりもさらに負荷を低減させることができる。つまり、色変換装置２００は、色変換処理の負荷を、色変換装置１００の場合よりもさらに低減させることができる。
【００９２】
ただし、冗長度削減効果は、色変換部２０１の場合よりも色変換部１０１のHaar変換の方が大きい。
【００９３】
［色変換処理の流れ］
次に、図７のフローチャートを参照して、図６の色変換装置２００による色変換処理の流れの例を説明する。この場合も、色変換処理は、図５のフローチャートを参照して説明した場合と基本的に同様に行われるが、ステップＳ２０１において、色変換装置２００の色変換部２０１は、ステップＳ１０１の処理の代わりに、相関の高い色成分の組み合わせに対してDPCMを用いた色変換を行う。
【００９４】
ステップＳ２０２においては、ステップＳ１０１の処理と同様の処理が行われる。
【００９５】
このように色変換処理を行うことにより、色変換装置２００は、色変換装置１００の場合に比べて、さらに色変換処理の負荷を低減させることができる。
【００９６】
［色変換装置５］
なお、互いに相関性が高い色成分同士の組み合わせに対する色変換処理として、上述したHaar変換やDPCMの代わりにＳ変換を用いるようにしてもよい。
【００９７】
図８は、色変換装置の、さらに他の構成例を示すブロック図である。
【００９８】
図８に示される色変換装置３００は、基本的に図４の色変換装置１００と同様の装置であり、色変換装置１００と同様の構成を有するが、色変換部１０１の代わりに色変換部３０１を有する。
【００９９】
色変換部３０１は、入力される色成分の内、互いに相関性が高い色成分同士の組み合わせ（複数の色成分からなる色成分群）に対してＳ変換を行う。色変換部３０１は、減算器３１１、加算器３１２、および右１ビットシフト器３１３を有する。
【０１００】
減算器３１１は、入力１３１（Ｇ０）から入力１３２（Ｇ１）を減算する。この減算結果は、色変換部３０１の一方の出力として、出力１５１から色変換装置３００の外部に出力される（Ｙ０）。
【０１０１】
加算器３１２は、入力１３１（Ｇ０）と入力１３２（Ｇ１）とを加算し、加算結果３２１を得る（Ｇ０＋Ｇ１）。右１ビットシフト器３１３は、その加算結果３２１を２で除算し（右方向に１ビットシフトする（Ｆ［（Ｇ０＋Ｇ１）／２］））、除算結果３２２を得る。
【０１０２】
この除算結果３２２は、色変換部３０１の他方の出力として色変換部１０２に供給される。つまり、色変換部１０２は、除算結果３２２（Ｆ［（Ｇ０＋Ｇ１）／２］）、入力１３３（Ｒ）、および入力１３４（Ｇ）に対してKLTを行う。
【０１０３】
色変換部３０１を定式化したものを以下の式（１２）に示す。
【０１０４】
【数１２】
・・・（１２）
【０１０５】
式（１２）に示されるように、この色変換部３０１の場合、色変換部１０１の場合と同様に、加減算とビットシフト演算のみで変換を行うことができる。したがって、色変換装置３００は、色変換装置１００の場合と同様に、色変換処理の負荷を、色変換装置３０の場合よりも低減させることができる。
【０１０６】
［色変換処理の流れ］
次に、図９のフローチャートを参照して、図８の色変換装置３００による色変換処理の流れの例を説明する。この場合も、色変換処理は、図５のフローチャートを参照して説明した場合と基本的に同様に行われるが、ステップＳ３０１において、色変換装置３００の色変換部３０１は、ステップＳ１０１の処理の代わりに、相関の高い色成分の組み合わせに対してＳ変換を行う。
【０１０７】
ステップＳ３０２においては、ステップＳ１０１の処理と同様の処理が行われる。
【０１０８】
このように色変換処理を行うことにより、色変換装置３００は、色変換装置１００の場合と同様に、色変換装置３０の場合に比べて色変換処理の負荷を低減させることができる。
【０１０９】
［エントロピ値］
以上に説明した５つの色変換方法のエントロピ比較結果を図１０の表に示す。図１０に示される表は、RAW１乃至RAW５の５つのRAW画像について、上述した５つの方法で色変換を行った場合のエントロピの変化の様子を比較したものである。
【０１１０】
RAW１乃至RAW５は、互いに異なる任意のRAW画像であり、図１０の表の上から２行目以下の各列の数字は、それぞれのエントロピ値を示す。ここでエントロピ値は、以下の式（１３）のように定義される。
【０１１１】
【数１３】
・・・（１３）
【０１１２】
つまり、エントロピ値は、各出力記号の情報量piと、その記号が発生する生起確率（log2(1/pi)）との乗算結果の総和として定義される。このエントロピ値が小さいほど情報量が低減されており、情報量低減効果が大きいことを示す。
【０１１３】
図１０の表の上から２行目の数値は、各画像の色変換前のエントロピ値を示す。また、上から３行目の各数値は、各画像の、図２に示される色変換装置１０によるビットシフトと加減算を用いた色変換後のエントロピ値を示す。さらに、上から４行目の各数値は、各画像の、図３に示される色変換装置３０による４入力のKLTを用いた色変換後のエントロピ値を示す。
【０１１４】
図１０の表の上から５行目の各数値は、各画像の、図４に示される色変換装置１００によるHaar変換と３入力のKLTを用いた色変換後のエントロピ値を示す。また、上から６行目の各数値は、各画像の、図６に示される色変換装置２００によるDPCMと３入力のKLTを用いた色変換後のエントロピ値を示す。さらに、上から７行目の各数値は、各画像の、図８に示される色変換装置３００によるＳ変換と３入力のKLTを用いた色変換後のエントロピ値を示す。
【０１１５】
この図１０の表に示される各エントロピ値から、色変換装置１００乃至色変換装置３００のいずれの色変換の場合も、色変換装置１０の場合と比べて、エントロピ値が小さくなっており、良好の結果が得られている。また、色変換装置１００乃至色変換装置３００のいずれの色変換の場合も、エントロピ値は、色変換装置３０の場合と略同等となっている。
【０１１６】
このように、色変換装置１００乃至色変換装置３００は、いずれも、高い情報量低減効果を実現しつつ、処理の負荷の増大を抑制することができる。
【０１１７】
＜２．第２の実施の形態＞
［画像符号化装置１］
第１の実施の形態において説明した色変換方法により色変換された各色成分を、さらに符号化するようにしてもよい。
【０１１８】
図１１は、画像符号化装置の主な構成例を説明するブロック図である。
【０１１９】
図１１に示される画像符号化装置４００は、RAW画像データを、第１の実施の形態において説明した方法により色変換し（RAW圧縮し）、さらにその変換後の各色成分を適宜周波数変換して符号化する。
【０１２０】
図１１に示されるように、画像符号化装置４００は、色変換部４０１、制御部４０２、周波数変換部４０３−０乃至周波数変換部４０３−３、並びに、エントロピ符号化部４０４−０乃至エントロピ符号化部４０４−３を有する。
【０１２１】
なお、以下において、周波数変換部４０３−０乃至周波数変換部４０３−３を互いに区別して説明する必要が無い場合、単に周波数変換部４０３と称する。また、エントロピ符号化部４０４−０乃至エントロピ符号化部４０４−３を互いに区別して説明する必要が無い場合、単に、エントロピ符号化部４０４と称する。
【０１２２】
色変換部４０１は、画像符号化装置４００に入力される各色成分（入力１３１（Ｇ０）、入力１３２（Ｇ１）、入力１３３（Ｒ）、および入力１３４（Ｂ））を色変換することによりRAW圧縮し、色変換後の各色成分（出力１５１（Ｙ０）、出力１５２（Ｙ１）、出力１５３（Ｙ２）、および出力１５４（Ｙ３））を出力する。
【０１２３】
この色変換部４０１として、第１の実施の形態において説明した、色変換装置１００、色変換装置２００、若しくは色変換装置３００のいずれかが処理部として適用される。つまり、色変換部４０１は、第１の実施の形態において説明したように、高い情報量低減効果を実現しつつ、処理の負荷の増大を抑制することができる。
【０１２４】
なお、第１の実施の形態において説明した効果が得られなくてもよければ、色変換部４０１には、例えば色変換装置１０や色変換装置３０のように、上述した色変換装置１００乃至色変換装置３００以外の色変換装置（色変換方法）を適用することもできる。
【０１２５】
制御部４０２は、色変換後の各色成分について、周波数変換を行うか否かを制御する。例えば、元々エネルギが小さい（絶対値が小さい）成分に周波数変換を施しても効果は小さい。したがって、制御部４０２は、各色成分のエネルギを測定し、その大きさに応じて周波数変換を行うか否かを制御する。
【０１２６】
周波数変換部４０３は、入力される色成分を例えばDCT（Discrete Cosine Transform）やウェーブレット変換等の所定の方法で周波数成分に変換する。周波数変換部４０３は、周波数変換されて得られた周波数変換係数をエントロピ符号化部４０４に供給する。
【０１２７】
エントロピ符号化部４０４は、制御部４０２から供給される色成分、若しくは、周波数変換部４０３から供給される周波数変換係数を、例えば可変長符号化（VLC（Variable Length Code））や算術符号化等の所定の方法で符号化する。
【０１２８】
制御部４０２は、エネルギ測定部４１１−０乃至エネルギ測定部４１１−３、判定部４１２−０乃至判定部４１２−３、並びに、選択部４１３−０乃至選択部４１３−３を有する。
【０１２９】
以下において、エネルギ測定部４１１−０乃至エネルギ測定部４１１−３を互いに区別して説明する必要が無い場合、単にエネルギ測定部４１１と称する。また、判定部４１２−０乃至判定部４１２−３を互いに区別して説明する必要が無い場合、単に判定部４１２と称する。さらに、選択部４１３−０乃至選択部４１３−３を互いに区別して説明する必要が無い場合、単に選択部４１３と称する。
【０１３０】
出力１５１（Ｙ０）について、エネルギ測定部４１１−０は、エネルギ（例えば、信号値の２乗（若しくは絶対値））を測定し、エネルギ測定結果４２１−０を判定部４１２−０に供給する。判定部４１２−０は、そのエネルギ測定結果４２１−０を、予め保持している所定の閾値と比較し、この色成分について周波数変換を行わせるか否かを判定する。判定部４１２−０は、その判定結果に従って、周波数変換を行わせるか否かの指示４２２−０を選択部４１３−０に供給する。選択部４１３−０は、その指示に基づいて、色変換部４０１の出力１５１（Ｙ０）の出力先を選択する。
【０１３１】
例えば、エネルギ測定結果４２１−０が閾値以上である場合（若しくは閾値より大きい場合）、判定部４１２−０は、周波数変換を行わせるように指示４２２−０を出す。選択部４１３−０は、その指示に従って、色変換部４０１の出力１５１（Ｙ０）の出力先として周波数変換部４０３−０を選択する。つまり、この場合、選択部４１３−０は、色変換部４０１の出力１５１（Ｙ０）を、出力４２４−０として周波数変換部４０３−０に供給する。
【０１３２】
周波数変換部４０３−０は、選択部４１３−０の出力４２４−０を周波数変換し、その周波数変換係数４２５−０をエントロピ符号化部４０４−０に供給する。エントロピ符号化部４０４−０は、その周波数変換係数４２５−０をエントロピ符号化し、得られた符号化データ（Ｙ０'）を出力４３１から出力する。
【０１３３】
また例えば、エネルギ測定結果４２１−０が閾値より小さい場合（若しくは閾値以下である場合）、判定部４１２−０は、周波数変換を省略するように指示４２２−０を出す。選択部４１３−０は、その指示に従って、色変換部４０１の出力１５１（Ｙ０）の出力先としてエントロピ符号化部４０４−０を選択する。つまり、この場合、選択部４１３−０は、色変換部４０１の出力１５１（Ｙ０）を、出力４２３−０としてエントロピ符号化部４０４−０に供給する。
【０１３４】
エントロピ符号化部４０４−０は、その選択部４１３−０の出力４２３−０をエントロピ符号化し、得られた符号化データ（Ｙ０'）を出力４３１から出力する。
【０１３５】
他の色成分についても同様である。
【０１３６】
つまり、出力１５２（Ｙ１）について、エネルギ測定部４１１−１が、エネルギを測定し、判定部４１２−１が、そのエネルギ測定結果４２１−１を、予め保持している所定の閾値と比較し、この色成分について周波数変換を行わせるか否かを判定する。選択部４１３−１は、その判定部４１２−１から供給される指示４２２−１に基づいて、色変換部４０１の出力１５２（Ｙ１）の出力先を選択する。
【０１３７】
例えば、エネルギ測定結果４２１−１が閾値以上である場合（若しくは閾値より大きい場合）、選択部４１３−１は、判定部４１２−１の指示に従って、色変換部４０１の出力１５２（Ｙ１）の出力先として周波数変換部４０３−１を選択する。周波数変換部４０３−１は、選択部４１３−１の出力４２４−１を周波数変換し、エントロピ符号化部４０４−１は、その周波数変換係数４２５−１をエントロピ符号化し、得られた符号化データ（Ｙ１'）を出力４３２から出力する。
【０１３８】
また例えば、エネルギ測定結果４２１−１が閾値より小さい場合（若しくは閾値以下である場合）、選択部４１３−１は、判定部４１２−１の指示に従って、色変換部４０１の出力１５２（Ｙ１）の出力先としてエントロピ符号化部４０４−１を選択する。エントロピ符号化部４０４−１は、その選択部４１３−１の出力４２３−１をエントロピ符号化し、得られた符号化データ（Ｙ１'）を出力４３２から出力する。
【０１３９】
また、出力１５３（Ｙ２）について、エネルギ測定部４１１−２が、エネルギを測定し、判定部４１２−２が、そのエネルギ測定結果４２１−２を、予め保持している所定の閾値と比較し、この色成分について周波数変換を行わせるか否かを判定する。選択部４１３−２は、その判定部４１２−２から供給される指示４２２−２に基づいて、色変換部４０１の出力１５３（Ｙ２）の出力先を選択する。
【０１４０】
例えば、エネルギ測定結果４２１−２が閾値以上である場合（若しくは閾値より大きい場合）、選択部４１３−２は、判定部４１２−２の指示に従って、色変換部４０１の出力１５３（Ｙ２）の出力先として周波数変換部４０３−２を選択する。周波数変換部４０３−２は、選択部４１３−２の出力４２４−２を周波数変換し、エントロピ符号化部４０４−２は、その周波数変換係数４２５−２をエントロピ符号化し、得られた符号化データ（Ｙ２'）を出力４３３から出力する。
【０１４１】
また例えば、エネルギ測定結果４２１−２が閾値より小さい場合（若しくは閾値以下である場合）、選択部４１３−２は、判定部４１２−２の指示に従って、色変換部４０１の出力１５３（Ｙ２）の出力先としてエントロピ符号化部４０４−２を選択する。エントロピ符号化部４０４−２は、その選択部４１３−２の出力４２３−２をエントロピ符号化し、得られた符号化データ（Ｙ２'）を出力４３３から出力する。
【０１４２】
さらに、出力１５４（Ｙ３）について、エネルギ測定部４１１−３が、エネルギを測定し、判定部４１２−３が、そのエネルギ測定結果４２１−３を、予め保持している所定の閾値と比較し、この色成分について周波数変換を行わせるか否かを判定する。選択部４１３−３は、その判定部４１２−３から供給される指示４２２−３に基づいて、色変換部４０１の出力１５４（Ｙ３）の出力先を選択する。
【０１４３】
例えば、エネルギ測定結果４２１−３が閾値以上である場合（若しくは閾値より大きい場合）、選択部４１３−３は、判定部４１２−３の指示に従って、色変換部４０１の出力１５４（Ｙ３）の出力先として周波数変換部４０３−３を選択する。周波数変換部４０３−３は、選択部４１３−３の出力４２４−３を周波数変換し、エントロピ符号化部４０４−３は、その周波数変換係数４２５−３をエントロピ符号化し、得られた符号化データ（Ｙ３'）を出力４３４から出力する。
【０１４４】
また例えば、エネルギ測定結果４２１−３が閾値より小さい場合（若しくは閾値以下である場合）、選択部４１３−３は、判定部４１２−３の指示に従って、色変換部４０１の出力１５４（Ｙ３）の出力先としてエントロピ符号化部４０４−３を選択する。エントロピ符号化部４０４−３は、その選択部４１３−３の出力４２３−３をエントロピ符号化し、得られた符号化データ（Ｙ３'）を出力４３４から出力する。
【０１４５】
以上のように、制御部４０２は、色成分毎に周波数変換を行うか否かを制御することができる。これにより、画像符号化装置４００は、不要な処理（周波数変換処理）を低減させることができ、画像符号化処理の負荷を低減させることができる。また、これにより画像符号化装置４００は、画像符号化処理の処理時間を低減させることもできる。
【０１４６】
［画像符号化処理の流れ］
図１２のフローチャートを参照して、図１１の画像符号化装置４００による画像符号化処理の流れの例を説明する。
【０１４７】
画像符号化処理が開始されると、ステップＳ４０１において、色変換部４０１は、入力されたRAW画像データの色成分に対して色変換処理を行う。この色変換処理は、例えば、図５、図７、若しくは図９のフローチャートを参照して説明した色変換処理と同様の処理が行われる。
【０１４８】
色変換処理が終了すると、ステップＳ４０２において、エネルギ測定部４１１は、色成分毎にエネルギを測定する。ステップＳ４０３において、判定部４１２は、ステップＳ４０２の測定結果を用いて、周波数変換を行うか否かを色成分毎に判定する。選択部４１３は、その判定結果に応じて、各色成分に対して行う処理を選択する。
【０１４９】
ステップＳ４０４において、周波数変換部４０３は、ステップＳ４０３において周波数変換を行う色成分として選択された色成分を周波数変換する。
【０１５０】
ステップＳ４０５において、エントロピ符号化部４０４は、ステップＳ４０３において周波数変換を行わない色成分として選択された色成分、並びに、ステップＳ４０４において周波数変換された色成分の周波数変換係数をエントロピ符号化する。
【０１５１】
各色成分（若しくはその周波数変換係数）がエントロピ符号化されると、画像符号化処理が終了される。
【０１５２】
このように処理を行うことにより、画像符号化装置４００は、不要な処理を低減させ、画像符号化処理の負荷や処理時間を低減させることができる。
【０１５３】
［画像符号化装置２］
なお、色変換を行う画像データのコンポーネント（色成分の組み合わせ）が決まっている場合、各色成分のエネルギ分布の傾向が予め定まる場合がある。例えば、上述したように、Ｇ０，Ｇ１，Ｒ，Ｂの４つの色成分をＹ０，Ｙ１，Ｙ２，Ｙ３に色変換する場合、相関性の高いＧ０およびＧ１から生成される色成分Ｙ０のエネルギは、他の色成分と比較して小さくなることが多い。
【０１５４】
このような場合、エネルギの小さい特定の色成分のみ予め周波数変換処理を省略するようにしてもよい。
【０１５５】
図１３は、画像符号化装置の他の構成例を示すブロック図である。
【０１５６】
図１３に示される画像符号化装置５００は、図１１の画像符号化装置４００と同様の装置であるが、制御部４０２と周波数変換部４０３が省略されている。
【０１５７】
つまり、図１３に示されるように、画像符号化装置５００の場合、色変換部４０１の出力１５１（Ｙ０）は、エントロピ符号化部４０４−０に供給され、エントロピ符号化され、得られた符号化データ（Ｙ０'）が出力４３１から出力される。
【０１５８】
これに対して、色変換部４０１の出力１５２（Ｙ１）は、周波数変換部４０３−１に供給され、周波数変換される。そして、その周波数変換係数４２５−１が、エントロピ符号化部４０４−１に供給され、エントロピ符号化され、得られた符号化データ（Ｙ１'）が出力４３２から出力される。
【０１５９】
同様に、色変換部４０１の出力１５３（Ｙ２）は、周波数変換部４０３−２に供給され、周波数変換される。そして、その周波数変換係数４２５−２が、エントロピ符号化部４０４−２に供給され、エントロピ符号化され、得られた符号化データ（Ｙ２'）が出力４３３から出力される。
【０１６０】
また、色変換部４０１の出力１５４（Ｙ３）は、周波数変換部４０３−３に供給され、周波数変換される。そして、その周波数変換係数４２５−３が、エントロピ符号化部４０４−３に供給され、エントロピ符号化され、得られた符号化データ（Ｙ３'）が出力４３４から出力される。
【０１６１】
つまり、画像符号化装置５００の場合、周波数変換を行うか否かが色成分毎に予め定められている。したがって、エネルギ測定や判定・選択等の処理を省略することができるので、画像符号化装置５００は、画像符号化装置４００の場合よりも、さらに画像符号化処理の負荷や処理時間を低減させることができる。
【０１６２】
［画像符号化処理の流れ］
図１４のフローチャートを参照して、図１３の画像符号化装置５００による画像符号化処理の流れの例を説明する。
【０１６３】
この場合、画像符号化処理が開始されると、ステップＳ５０１において、色変換部４０１は、ステップＳ４０１の場合と同様に、入力されたRAW画像データの色成分に対して色変換処理を行う。
【０１６４】
色変換処理が終了すると、ステップＳ５０２において、周波数変換部４０３は、予め定められた所定の色成分を周波数変換する。
【０１６５】
ステップＳ５０３において、エントロピ符号化部４０４は、ステップＳ５０２において周波数変換が行われなかった色成分、並びに、ステップＳ５０２において周波数変換された色成分の周波数変換係数をエントロピ符号化する。
【０１６６】
各色成分（若しくはその周波数変換係数）がエントロピ符号化されると、画像符号化処理が終了される。
【０１６７】
このように処理を行うことにより、画像符号化装置５００は、画像符号化処理の負荷や処理時間をさらに低減させることができる。
【０１６８】
［その他の例］
なお、画像符号化装置４００および画像符号化装置５００のエントロピ符号化部４０４の符号化は、可逆であっても良いが、非可逆であっても良い。例えば、エントロピ符号化部４０４が出力するストリームのビットレートを制御するようにしてもよい。その場合、制御部４０２の判定部４１２が判定の基準とする閾値を、そのビットレートに応じて制御することができるようにしてもよい。
【０１６９】
例えば、判定部４１２は、エントロピ符号化部４０４から出力されるストリームのビットレートが小さい場合、データ量をより低減させやすいように、閾値を下げて周波数変換が行われやすくし、逆に、エントロピ符号化部４０４から出力されるストリームのビットレートが大きい場合、閾値を上げて周波数変換が行われにくくするようにしてもよい。
【０１７０】
また、この閾値は、色成分毎に互いに独立して設定されるようにしてもよいし、全色成分で共通としてもよい。
【０１７１】
また、上述した第１の実施の形態および第２の実施の形態において、各色成分のベイヤ型配列は、任意であり、図１に示される例以外であっても良い。例えば、図１５に示されるような倍密レイヤであってもよい。
【０１７２】
さらに、RAW画像データのコンポーネント数は任意であり、５色以上であってもよい。また、相関性の高い色成分の組み合わせは各色成分の配列に依存するものであり、上述したＧ０とＧ１以外の組み合わせを相関性の高い色成分の組み合わせとしてもよいし、その組み合わせの色成分の数も任意である。
【０１７３】
例えば、図１６Ａ乃至図１６Ｆに示されるようにＲ，Ｇ，Ｂに加えＷ（ホワイト）を用いた各種配列のRAW画像データを色変換するようにしてもよい。また、図１６Ｇ，図１６Ｈ、および図１６Ｊに示されるように、Ｙｅ（黄色）を用いた各種配列のRAW画像データを処理対象としてもよい。
【０１７４】
さらに、例えば、Rastislav Lukac and Konstantinous N.Plataniitis,"Color Filter Arrays: Design and Performance Analysis",IEEE Transactions on Consumer Electronics, Vol.51,No.4, November 2005に記載のフィルタパターンで各色成分が配列されたRAW画像データであってもよい。
【０１７５】
以上に説明した色変換装置１００、色変換装置２００、色変換装置３００、画像符号化装置４００、および画像符号化装置５００は、それぞれ、上述した以外の構成を含むようにしてももちろんよい。また、１つの装置としてだけでなく、複数の装置よりなるシステムとして構成されるようにしてもよい。例えば、デジタルスチルカメラ、動画用カムコーダ、医療用画像カメラ、医療用内視鏡、監視カメラ、デジタルシネマ撮影用カメラ、両眼画像カメラ、多眼画像カメラ、PC上のオーサリング・ツールまたはそのソフトウェア・モジュール等として構成されるようにしてもよい。
【０１７６】
＜３．第３の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図１７に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１７７】
図１７において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７８】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０１７９】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等のディスプレイ、並びにスピーカなどよりなる出力部７１２、フラッシュメモリ等SSD（Solid State Drive）やハードディスクなどよりなる記憶部７１３、有線LAN（Local Area Network）や無線LANのインタフェースやモデムなどよりなる通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８０】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。
【０１８１】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１８２】
この記録媒体は、例えば、図１７に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどにより構成される。
【０１８３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８４】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８５】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１８６】
また、以上において、１つの装置（または処理部）として説明した構成が、複数の装置（または処理部）として構成されるようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成が、まとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成が付加されるようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部が他の装置（または他の処理部）の構成に含まれるようにしてもよい。つまり、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１８７】
１００ 色変換装置， １０１ 色変換部， １０２ 色変換部， ２００ 色変換装置， ３００ 色変換装置， ４００ 画像符号化装置， ４０１ 色変換部， ４０２ 制御部， ４０３ 周波数変換部， ４０４ エントロピ符号化部， ４１１ エネルギ測定部， ４１２ 判定部， ４１３ 選択部， ５００ 画像符号化装置
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、高い情報量低減効果を実現しつつ、処理の負荷の増大を抑制することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ等において、画像データを保存する際のモードとして、画像データをJPEG（Joint Photographic Experts Group）符号化するJPEG符号化モードの他に、RAW圧縮モードを備えるケースが増えている。
【０００３】
JPEG符号化モードの場合、撮像素子から読み出された色成分の画素に対してデモザイク等の現像処理が施され、画素補間が行われた後、JPEG符号化方式で符号化される。JPEG符号化は非可逆の符号化方式であるので、このモードの場合、原画像の情報が失われる。
【０００４】
これに対して、RAW圧縮モードの場合、撮像素子から読み出された色成分の画素に対して画像処理が施されてデータ量が低減される。したがって、このモードの場合、可逆圧縮であることが多い。また、デモザイクや画素補間等の中間処理が不要なので、計算処理量が少なく、さらに、補間前なので画像の解像度（サイズ）が小さいままの処理が可能である。
【０００５】
したがって、撮像素子の画質をそのままに維持することができ、色成分の画素を欠損なく圧縮・保存することができるフォーマットとしてRAW圧縮の必要性が高まっている。
【０００６】
このようなRAW画像圧縮法として、例えば、ベイヤ配列の４つの色成分（R、G0、G1、B）に対して、所定の色変換を施すことで、Y、Cb、Cr、Cgの４つの成分に変換する方法が提案されている（例えば、特許文献１参照）。
【０００７】
また、このような色変換処理にKarhunen-Loeve変換（以下、KLT（Karhunen-Loeve Transform）と称する）を用いる方法も提案されている（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許４４３６７３３号
【非特許文献】
【０００９】
【非特許文献１】大林 浩気，坂東 幸浩，高村 誠之，如澤 裕尚，八島 由幸，"Karhunen-Loeve変換の情報集約性に関する理論的考察",電子情報通信学会論文誌 Ａ Vol.J93-A No.9 pp.636-637,2009.12.7受付，2010.5.10再受付
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１に記載の方法の場合、非特許文献１に記載の方法に比べて情報量の低減効果が低い恐れがあった。逆に、非特許文献１に記載の方法の場合、特許文献１に記載の方法に比べて処理量が増大する恐れがあった。
【００１１】
このように従来の色変換方法は完璧な方法ではなく、RAW画像圧縮法として、さらに新たな方法が求められていた。
【００１２】
本開示は、このような状況に鑑みて提案されたものであり、高い情報量低減効果を実現しつつ、処理の負荷の増大を抑制することができるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
本開示の一側面は、画像データに含まれる複数の色成分の内、相関性の高い色成分の組み合わせに対して色変換を行う第１の色変換部と、画像データに含まれる複数の色成分の内、前記第１の色変換部が前記色変換の対象とする色成分の組み合わせ以外の組み合わせに対して色変換を行う第２の色変換部とを備える画像処理装置である。
【００１４】
前記第２の色変換部はKarhunen-Loeve変換を行うことができる。
【００１５】
前記第１の変換部はHaar変換を行うことができる。
【００１６】
前記第１の変換部はDPCMを用いた色変換を行うことができる。
【００１７】
前記第１の変換部はＳ変換を行うことができる。
【００１８】
前記第１の色変換部および前記第２の色変換部による色変換後の、一部若しくは全部の色成分を周波数変換する周波数変換部をさらに備えることができる。
【００１９】
前記第１の色変換部および前記第２の色変換部による色変換後の各色成分を周波数変換するか否かを制御する制御部をさらに備え、前記周波数変換部は、前記制御部により周波数変換を行うと判定された色成分を周波数変換することができる。
【００２０】
前記制御部は、前記第１の色変換部および前記第２の色変換部による色変換後の各色成分のエネルギを測定する測定部と、前記測定部により測定された各色成分のエネルギを所定の閾値と比較し、その比較結果に応じて、前記周波数変換させるか否かを判定する判定部と、前記判定部の判定結果に応じて、各色成分に対して行う処理を選択する選択部とを備えることができる。
【００２１】
前記周波数変換部は、前記第１の色変換部および前記第２の色変換部による色変換後の、所定の色成分を周波数変換することができる。
【００２２】
前記周波数変換部により周波数変換されて得られた、前記第１の色変換部および前記第２の色変換部による色変換後の色成分の周波数変換係数、若しくは、前記第１の色変換部および前記第２の色変換部による色変換後の色成分を符号化する符号化部をさらに備えることができる。
【００２３】
前記周波数変換部は、前記色成分をDCT（Discrete Cosine Transform）することができる。
【００２４】
前記周波数変換部は、前記色成分をウェーブレット変換することができる。
【００２５】
前記画像データは、各色成分がベイヤ型に配列される画像の情報であるようにすることができる。
【００２６】
本開示の一側面は、また、画像処理装置の画像処理方法であって、第１の色変換部が、画像データに含まれる複数の色成分の内、相関性の高い色成分の組み合わせに対して色変換を行い、第２の色変換部が、画像データに含まれる複数の色成分の内、前記第１の色変換部が前記色変換の対象とする色成分の組み合わせ以外の組み合わせに対して色変換を行う画像処理方法である。
【００２７】
本開示の他の側面は、画像データに含まれる複数の色成分に対して色変換を行う色変換部と、前記色変換部による色変換後の、一部若しくは全部の色成分を周波数変換する周波数変換部と、前記色変換部による色変換後の色成分を符号化する符号化部とを備える画像処理装置である。
【００２８】
本開示の他の側面は、また、画像処理装置の画像処理方法であって、色変換部が、画像データに含まれる複数の色成分に対して色変換を行い、周波数変換部が、色変換後の、一部若しくは全部の色成分を周波数変換し、符号化部が、色変換後の色成分を符号化する画像処理方法である。
【００２９】
本開示の一側面においては、画像データに含まれる複数の色成分の内、相関性の高い色成分の組み合わせに対して色変換が行われ、画像データに含まれる複数の色成分の内、前記第１の色変換部が前記色変換の対象とする色成分の組み合わせ以外の組み合わせに対して色変換が行われる。
【００３０】
本開示の他の側面においては、画像データに含まれる複数の色成分に対して色変換が行われ、色変換後の、一部若しくは全部の色成分が周波数変換され、色変換後の色成分が符号化される。
【発明の効果】
【００３１】
本開示によれば、画像を処理することができる。特に、高い情報量低減効果を実現しつつ、処理の負荷の増大を抑制することができる。
【図面の簡単な説明】
【００３２】
【図１】ベイヤ型配列の例を示す図である。
【図２】従来の色変換装置の主な構成例を示す図である。
【図３】従来の色変換装置の他の構成例を示す図である。
【図４】本開示の色変換装置の主な構成例を示す図である。
【図５】色変換処理の流れの例を説明するフローチャートである。
【図６】本開示の色変換装置の、他の構成例を示す図である。
【図７】色変換処理の流れの、他の例を説明するフローチャートである。
【図８】本開示の色変換装置の、さらに他の構成例を示す図である。
【図９】色変換処理の流れの、さらに他の例を説明するフローチャートである。
【図１０】各方式の色変換後のエントロピ値を説明する図である。
【図１１】本開示の画像符号化装置の主な構成例を示す図である。
【図１２】画像符号化処理の流れの例を説明するフローチャートである。
【図１３】本開示の画像符号化装置の、他の構成例を示す図である。
【図１４】画像符号化処理の流れの、他の例を説明するフローチャートである。
【図１５】ベイヤ型配列の他の例を示す図である。
【図１６】ベイヤ型配列のさらに他の例を示す図である。
【図１７】パーソナルコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、発明を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（色変換装置）
２．第２の実施の形態（画像符号化装置）
３．第３の実施の形態（パーソナルコンピュータ）
【００３４】
＜１．第１の実施の形態＞
［色成分］
デジタルカメラ等において行われるRAW圧縮では、撮像素子等から各色成分のデータが取得されて処理される。撮像素子から取得されるRAW画像は、例えば、図１に示されるようなベイヤ配列構造を有する。つまり、RAW画像は、赤（Ｒ）、青（Ｂ）、緑（Ｇ０，Ｇ１）の色成分を有する。
【００３５】
［色変換装置１］
図２は、このようなRAW画像に対して色変換処理を行う色変換装置の主な構成例を示すブロック図である。
【００３６】
図２に示される色変換装置１０は、特許文献１に記載の色変換方法で色変換処理を行う装置である。色変換装置１０は、RAM画像のＲ，Ｂ，Ｇ０，Ｇ１をＹ，Ｃｒ，Ｃｂ，Ｃｇに変換することにより情報量を低減させる。
【００３７】
図２に示されるように、色変換装置１０は、減算器１１、加算器１２、右１ビットシフト器１３、減算器１４、減算器１５、左１ビットシフト器１６、加算器１７、加算器１８、および右２ビットシフト器１９を有する。
【００３８】
入力２１乃至入力２４には、それぞれ、Ｒ，Ｂ，Ｇ０，Ｇ１が入力される。出力２５乃至出力２８からは、それぞれ、Ｃｒ，Ｃｂ，Ｙ，Ｃｇが出力される。
【００３９】
減算器１１は、入力２４から入力２３を減算し（Ｇ０−Ｇ１）、その減算結果を出力２８（Ｃｇ）から出力させる。
【００４０】
加算器１２は、入力２３と入力２４とを加算する（Ｇ０＋Ｇ１）。右１ビットシフト器１３は、その加算結果を２で除算する（右方向に１ビットシフトする（Ｆ［（Ｇ０＋Ｇ１）／２］））。
【００４１】
減算器１４は、入力２２から右１ビットシフト器１３の出力を減算し（Ｂ−Ｆ［（Ｇ０＋Ｇ１）／２］）、その減算結果を出力２６（Ｃｂ）から出力させる。
【００４２】
減算器１５は、入力２１から右１ビットシフト器１３の出力を減算し（Ｒ−Ｆ［（Ｇ０＋Ｇ１）／２］）、その減算結果を出力２５（Ｃｒ）から出力させる。
【００４３】
左１ビットシフト器１６は、右１ビットシフト器１３の出力を２で乗算する（左方向に１ビットシフトする（２×Ｆ［（Ｇ０＋Ｇ１）／２］）。
【００４４】
加算器１７は、入力２１と入力２２を加算する（Ｒ＋Ｂ）。加算器１８は、左１ビットシフト器１６の出力と、加算器１７による加算結果とを加算する（Ｒ＋２×Ｆ［（Ｇ０＋Ｇ１）／２］＋Ｂ）。右２ビットシフト器１９は、その加算結果を４で除算する（右方向に２ビットシフトし（Ｆ［（Ｒ＋２×Ｆ［（Ｇ０＋Ｇ１）／２］＋Ｂ）／４］））、出力２７（Ｙ）から出力させる。
【００４５】
すなわち、色変換装置１０は、以下の式（１）に示されるような色変換処理を行う。
【００４６】
【数１】
・・・（１）
【００４７】
［色変換装置２］
図３は、色変換装置の他の構成例を示すブロック図である。
【００４８】
図３に示される色変換装置３０は、非特許文献１に記載の色変換方法（Karhunen-Loeve変換（KLT））で色変換処理を行う装置である。色変換装置３０は、RAM画像のＲ，Ｂ，Ｇ０，Ｙ０，Ｙ１，Ｙ２，Ｙ３に変換することにより情報量を低減させる。
【００４９】
図３に示されるように、色変換装置３０は、回転変換部３１（Ｆ（Θ１））、回転変換部３２（Ｆ（Θ２））、回転変換部３３（Ｆ（Θ３））、回転変換部３４（Ｆ（Θ４））、回転変換部３５（Ｆ（Θ５））、および、回転変換部３６（Ｆ（Θ６））を有する。
【００５０】
入力４１乃至入力４４には、それぞれ、Ｒ，Ｇ０，Ｇ１，Ｂが入力される。出力４５乃至出力４８からは、それぞれ、Ｙ０，Ｙ１，Ｙ２，Ｙ３が出力される。
【００５１】
回転変換部３１（Ｆ（Θ１））は、入力４１（Ｒ）および入力４２（Ｇ０）を回転変換する。回転変換部３２（Ｆ（Θ２））は、回転変換部３１（Ｆ（Θ１））の２出力と入力４３（Ｇ１）とを回転変換する。回転変換部３３（Ｆ（Θ３））は、回転変換部３２（Ｆ（Θ２））の３出力と入力４４（Ｂ）とを回転変換する。
【００５２】
回転変換部３３（Ｆ（Θ３））の１出力は出力４５から出力される（Ｙ０）。回転変換部３４（Ｆ（Θ４））は、回転変換部３３（Ｆ（Θ３））の２出力を回転変換する。回転変換部３５（Ｆ（Θ５））は、回転変換部３４（Ｆ（Θ４））の２出力と、回転変換部３３（Ｆ（Θ３））の１出力とを回転変換する。回転変換部３５（Ｆ（Θ５））の１出力は出力４６から出力される（Ｙ１）。
【００５３】
回転変換部３６（Ｆ（Θ６））は、回転変換部３５（Ｆ（Θ５））の２出力を回転変換する。回転変換部３６（Ｆ（Θ６））の２出力は、それぞれ、出力４７（Ｙ２）と出力４８（Ｙ３）から出力される。
【００５４】
この様に、KLTをリフティング構成（ラダー構成）にすることで、演算の過程で発生する丸め誤差が順変換と逆変換の間でキャンセルするので、内部信号を整数化することで、可逆変換が可能になる。従って図３のKLTを用いることで可逆圧縮を実現することができる。
【００５５】
図３に示される様に、RED（入力１３１）、Green-0（入力１３２）、Green-1（入力１３３）、BLUE（入力１３４）の４つの色成分に対して可逆のKLTを行う場合、F（Θ１）乃至F（Θ６）の６つの回転変換が必要になる。これは、４入力のKLTを因数分解すると、６つの回転変換がその要素として必要になるからである。
【００５６】
以上の回転変換Ｆ（Θｉ）は、以下の式（２）乃至式（９）のように表される。
【００５７】
【数２】
・・・（２）
【数３】
・・・（３）
【数４】
・・・（４）
【数５】
・・・（５）
【数６】
・・・（６）
【数７】
・・・（７）
【数８】
・・・（８）
【数９】
・・・（９）
【００５８】
白黒画像の場合、信号の性質が高精度に近似されるため、DCTによる圧縮が有効である。これに対してカラー画像の場合、RGBからYUVへの色変換の後にDCTを用いると、色成分の自己相関や相互相関は入力画像によって大きく異なるので、必ずしも良好な結果が得られるとは限らない。しかしながら、色変換装置１０の色変換の代わりに色変換装置３０のKLTを用いることで、個々の入力画像の特徴に適した無相関化が可能になり、結果として効率的な圧縮を実現することができる。
【００５９】
しかしながら、KLTは、上述した様に回転変換から構成され、個々の回転変換は三角関数の演算を伴うので、一般に計算負荷が大きい。従って、図２の色変換装置１０のような単純な色変換（加減算とビットシフト演算のみ）と比べると、色変換装置３０の色変換の計算負荷は大きい。
【００６０】
［色変換装置３］
ところで、RAW画像の色成分の内で、２つ存在するGreen成分（Ｇ０とＧ１）の相関は、入力画像によらず、ほぼ一定であることが知られている。そこで、この特徴を利用して上記の２つのGreen成分に対しては、KLTよりも遥かに軽量な変換、例えばHaar変換を施すようにする。
【００６１】
図４は、色変換装置の、さらに他の構成例を示すブロック図である。
【００６２】
図４に示される色変換装置１００は、基本的に図３の色変換装置３０と同様の装置であり、RAM画像のＲ，Ｂ，Ｇ０，Ｙ０，Ｙ１，Ｙ２，Ｙ３に変換することにより情報量を低減させる。
【００６３】
図４に示されるように、色変換装置１００は、色変換部１０１および色変換部１０２を有する。色変換部１０１は、入力される色成分の内、互いに相関性が高い色成分同士の組み合わせ（複数の色成分からなる色成分群）に対してHaar変換を行う。
【００６４】
入力１３１乃至入力１３４には、それぞれ、Ｇ０，Ｇ１，Ｒ，Ｂが入力される。出力１５１乃至出力１５４からは、それぞれ、Ｙ０，Ｙ１，Ｙ２，Ｙ３が出力される。
【００６５】
色変換部１０１は、丸め処理部１１１、加算器１１２、丸め処理部１１３、加算器１１４、丸め処理部１１５、および加算器１１６を有する。
【００６６】
加算器１１２は、丸め処理部１１１による入力１３１（Ｇ０）の丸め処理結果１３５と、入力１３２（Ｇ１）とを加算し、加算結果１３６を得る。加算器１１４は、丸め処理部１１３による加算結果１３６の丸め処理結果１３７と、入力１３１（Ｇ０）とを加算し、色変換部１０１の出力を得る。この出力は、出力１５１から色変換装置１００の外部に出力される（Ｙ０）。
【００６７】
加算器１１６は、丸め処理部１１５による加算器１１４の出力の丸め処理結果と、加算結果１３６とを加算し、加算結果１３９を、色変換部１０１の出力として得る。この出力は、色変換部１０２に供給される。
【００６８】
つまり、色変換部１０１は、互いに相関性の高いＧ０とＧ１に対してHaar変換を行い、一方の出力を出力１５１から色変換装置１００の外部に出力させ（Ｙ０）、他方の出力を色変換部１０２に供給する。
【００６９】
この色変換部１０１を定式化したものを以下の式（１０）に示す。
【００７０】
【数１０】
・・・（１０）
【００７１】
色変換部１０２は、入力される色成分のその他の組み合わせ（色成分群）に対してKLTを行う。
【００７２】
色変換部１０２は、回転変換部１２１（Ｆ（Θ１））、回転変換部１２２（Ｆ（Θ２））、および回転変換部１２３（Ｆ（Θ３））を有する。
【００７３】
回転変換部１２１（Ｆ（Θ１））は、色変換部１０１の１出力と入力１３３（Ｒ）を回転変換する。回転変換部１２２（Ｆ（Θ２））は、回転変換部１２１（Ｆ（Θ１））の出力１４１と出力１４２、並びに、入力１３４（Ｂ）を回転変換する。回転変換部１２２（Ｆ（Θ２））の１出力は出力１５２から出力される（Ｙ１）。
【００７４】
また、回転変換部１２３（Ｆ（Θ３））は、回転変換部１２２（Ｆ（Θ２））の出力１４３および出力１４４を回転変換する。その一方の出力は、出力１５３から出力され（Ｙ２）、他方の出力は出力１５４（Ｙ３）から出力される。
【００７５】
色変換装置３０のように４入力KLTの場合、６つの回転変換が必要になるのに対して、この色変換装置１００のように３入力KLTの場合、３つの回転変換で十分である。
【００７６】
また、Haar変換は、式（１０）に示されるように、加減算及びビットシフト演算だけで実現することができる。したがって、Haar変換は、回転変換を伴うKLTに比べて、処理の負荷は遥かに小さい。
【００７７】
以上のことから、色変換装置１００は、色変換処理の負荷を、４入力KLTを行う色変換装置３０の場合よりも低減させることができる。
【００７８】
［色変換処理の流れ］
次に、図５のフローチャートを参照して、図４の色変換装置１００による色変換処理の流れの例を説明する。
【００７９】
色変換処理が開始されると、色変換装置１００の色変換部１０１は、ステップＳ１０１において、相関の高い色成分の組み合わせに対してHaar変換を行う。
【００８０】
ステップＳ１０２において、色変換部１０２は、ステップＳ１０１の処理結果を用いて、その他の色成分の組み合わせに対してKLTを行う。
【００８１】
ステップＳ１０２の処理が終了すると、色変換装置１００は、色変換処理を終了する。
【００８２】
このように色変換処理を行うことにより、色変換装置１００は、色変換装置３０の場合に比べて、色変換処理の負荷を低減させることができる。
【００８３】
［色変換装置４］
なお、互いに相関性が高い色成分同士の組み合わせに対する色変換処理として、Haar変換の代わりにDPCM（Differential Pulse Code Modulation）を用いるようにしてもよい。
【００８４】
図６は、色変換装置の、さらに他の構成例を示すブロック図である。
【００８５】
図６に示される色変換装置２００は、基本的に図４の色変換装置１００と同様の装置であり、色変換装置１００と同様の構成を有するが、色変換部１０１の代わりに色変換部２０１を有する。
【００８６】
色変換部２０１は、入力される色成分の内、互いに相関性が高い色成分同士の組み合わせ（複数の色成分からなる色成分群）に対してDPCMを行う。色変換部２０１は、減算器２１１を有する。
【００８７】
減算器２１１は、入力１３１（Ｇ０）から入力１３２（Ｇ１）を減算する。この減算結果は、色変換部２０１の一方の出力として、出力１５１から色変換装置２００の外部に出力される（Ｙ０）。
【００８８】
また、色変換部２０１の他方の出力として、入力１３２（Ｇ１）が、色変換部１０２に供給される。つまり、色変換部１０２は、入力１３２（Ｇ１）、入力１３３（Ｒ）、および入力１３４（Ｇ）に対してKLTを行う。
【００８９】
色変換部２０１を定式化したものを以下の式（１１）に示す。
【００９０】
【数１１】
・・・（１１）
【００９１】
式（１１）に示されるように、この色変換部２０１の場合、減算のみで変換を行うことができる。したがって、色変換部２０１は、色変換部１０１のHaar変換の場合よりもさらに負荷を低減させることができる。つまり、色変換装置２００は、色変換処理の負荷を、色変換装置１００の場合よりもさらに低減させることができる。
【００９２】
ただし、冗長度削減効果は、色変換部２０１の場合よりも色変換部１０１のHaar変換の方が大きい。
【００９３】
［色変換処理の流れ］
次に、図７のフローチャートを参照して、図６の色変換装置２００による色変換処理の流れの例を説明する。この場合も、色変換処理は、図５のフローチャートを参照して説明した場合と基本的に同様に行われるが、ステップＳ２０１において、色変換装置２００の色変換部２０１は、ステップＳ１０１の処理の代わりに、相関の高い色成分の組み合わせに対してDPCMを用いた色変換を行う。
【００９４】
ステップＳ２０２においては、ステップＳ１０１の処理と同様の処理が行われる。
【００９５】
このように色変換処理を行うことにより、色変換装置２００は、色変換装置１００の場合に比べて、さらに色変換処理の負荷を低減させることができる。
【００９６】
［色変換装置５］
なお、互いに相関性が高い色成分同士の組み合わせに対する色変換処理として、上述したHaar変換やDPCMの代わりにＳ変換を用いるようにしてもよい。
【００９７】
図８は、色変換装置の、さらに他の構成例を示すブロック図である。
【００９８】
図８に示される色変換装置３００は、基本的に図４の色変換装置１００と同様の装置であり、色変換装置１００と同様の構成を有するが、色変換部１０１の代わりに色変換部３０１を有する。
【００９９】
色変換部３０１は、入力される色成分の内、互いに相関性が高い色成分同士の組み合わせ（複数の色成分からなる色成分群）に対してＳ変換を行う。色変換部３０１は、減算器３１１、加算器３１２、および右１ビットシフト器３１３を有する。
【０１００】
減算器３１１は、入力１３１（Ｇ０）から入力１３２（Ｇ１）を減算する。この減算結果は、色変換部３０１の一方の出力として、出力１５１から色変換装置３００の外部に出力される（Ｙ０）。
【０１０１】
加算器３１２は、入力１３１（Ｇ０）と入力１３２（Ｇ１）とを加算し、加算結果３２１を得る（Ｇ０＋Ｇ１）。右１ビットシフト器３１３は、その加算結果３２１を２で除算し（右方向に１ビットシフトする（Ｆ［（Ｇ０＋Ｇ１）／２］））、除算結果３２２を得る。
【０１０２】
この除算結果３２２は、色変換部３０１の他方の出力として色変換部１０２に供給される。つまり、色変換部１０２は、除算結果３２２（Ｆ［（Ｇ０＋Ｇ１）／２］）、入力１３３（Ｒ）、および入力１３４（Ｇ）に対してKLTを行う。
【０１０３】
色変換部３０１を定式化したものを以下の式（１２）に示す。
【０１０４】
【数１２】
・・・（１２）
【０１０５】
式（１２）に示されるように、この色変換部３０１の場合、色変換部１０１の場合と同様に、加減算とビットシフト演算のみで変換を行うことができる。したがって、色変換装置３００は、色変換装置１００の場合と同様に、色変換処理の負荷を、色変換装置３０の場合よりも低減させることができる。
【０１０６】
［色変換処理の流れ］
次に、図９のフローチャートを参照して、図８の色変換装置３００による色変換処理の流れの例を説明する。この場合も、色変換処理は、図５のフローチャートを参照して説明した場合と基本的に同様に行われるが、ステップＳ３０１において、色変換装置３００の色変換部３０１は、ステップＳ１０１の処理の代わりに、相関の高い色成分の組み合わせに対してＳ変換を行う。
【０１０７】
ステップＳ３０２においては、ステップＳ１０１の処理と同様の処理が行われる。
【０１０８】
このように色変換処理を行うことにより、色変換装置３００は、色変換装置１００の場合と同様に、色変換装置３０の場合に比べて色変換処理の負荷を低減させることができる。
【０１０９】
［エントロピ値］
以上に説明した５つの色変換方法のエントロピ比較結果を図１０の表に示す。図１０に示される表は、RAW１乃至RAW５の５つのRAW画像について、上述した５つの方法で色変換を行った場合のエントロピの変化の様子を比較したものである。
【０１１０】
RAW１乃至RAW５は、互いに異なる任意のRAW画像であり、図１０の表の上から２行目以下の各列の数字は、それぞれのエントロピ値を示す。ここでエントロピ値は、以下の式（１３）のように定義される。
【０１１１】
【数１３】
・・・（１３）
【０１１２】
つまり、エントロピ値は、各出力記号の情報量piと、その記号が発生する生起確率（log2(1/pi)）との乗算結果の総和として定義される。このエントロピ値が小さいほど情報量が低減されており、情報量低減効果が大きいことを示す。
【０１１３】
図１０の表の上から２行目の数値は、各画像の色変換前のエントロピ値を示す。また、上から３行目の各数値は、各画像の、図２に示される色変換装置１０によるビットシフトと加減算を用いた色変換後のエントロピ値を示す。さらに、上から４行目の各数値は、各画像の、図３に示される色変換装置３０による４入力のKLTを用いた色変換後のエントロピ値を示す。
【０１１４】
図１０の表の上から５行目の各数値は、各画像の、図４に示される色変換装置１００によるHaar変換と３入力のKLTを用いた色変換後のエントロピ値を示す。また、上から６行目の各数値は、各画像の、図６に示される色変換装置２００によるDPCMと３入力のKLTを用いた色変換後のエントロピ値を示す。さらに、上から７行目の各数値は、各画像の、図８に示される色変換装置３００によるＳ変換と３入力のKLTを用いた色変換後のエントロピ値を示す。
【０１１５】
この図１０の表に示される各エントロピ値から、色変換装置１００乃至色変換装置３００のいずれの色変換の場合も、色変換装置１０の場合と比べて、エントロピ値が小さくなっており、良好の結果が得られている。また、色変換装置１００乃至色変換装置３００のいずれの色変換の場合も、エントロピ値は、色変換装置３０の場合と略同等となっている。
【０１１６】
このように、色変換装置１００乃至色変換装置３００は、いずれも、高い情報量低減効果を実現しつつ、処理の負荷の増大を抑制することができる。
【０１１７】
＜２．第２の実施の形態＞
［画像符号化装置１］
第１の実施の形態において説明した色変換方法により色変換された各色成分を、さらに符号化するようにしてもよい。
【０１１８】
図１１は、画像符号化装置の主な構成例を説明するブロック図である。
【０１１９】
図１１に示される画像符号化装置４００は、RAW画像データを、第１の実施の形態において説明した方法により色変換し（RAW圧縮し）、さらにその変換後の各色成分を適宜周波数変換して符号化する。
【０１２０】
図１１に示されるように、画像符号化装置４００は、色変換部４０１、制御部４０２、周波数変換部４０３−０乃至周波数変換部４０３−３、並びに、エントロピ符号化部４０４−０乃至エントロピ符号化部４０４−３を有する。
【０１２１】
なお、以下において、周波数変換部４０３−０乃至周波数変換部４０３−３を互いに区別して説明する必要が無い場合、単に周波数変換部４０３と称する。また、エントロピ符号化部４０４−０乃至エントロピ符号化部４０４−３を互いに区別して説明する必要が無い場合、単に、エントロピ符号化部４０４と称する。
【０１２２】
色変換部４０１は、画像符号化装置４００に入力される各色成分（入力１３１（Ｇ０）、入力１３２（Ｇ１）、入力１３３（Ｒ）、および入力１３４（Ｂ））を色変換することによりRAW圧縮し、色変換後の各色成分（出力１５１（Ｙ０）、出力１５２（Ｙ１）、出力１５３（Ｙ２）、および出力１５４（Ｙ３））を出力する。
【０１２３】
この色変換部４０１として、第１の実施の形態において説明した、色変換装置１００、色変換装置２００、若しくは色変換装置３００のいずれかが処理部として適用される。つまり、色変換部４０１は、第１の実施の形態において説明したように、高い情報量低減効果を実現しつつ、処理の負荷の増大を抑制することができる。
【０１２４】
なお、第１の実施の形態において説明した効果が得られなくてもよければ、色変換部４０１には、例えば色変換装置１０や色変換装置３０のように、上述した色変換装置１００乃至色変換装置３００以外の色変換装置（色変換方法）を適用することもできる。
【０１２５】
制御部４０２は、色変換後の各色成分について、周波数変換を行うか否かを制御する。例えば、元々エネルギが小さい（絶対値が小さい）成分に周波数変換を施しても効果は小さい。したがって、制御部４０２は、各色成分のエネルギを測定し、その大きさに応じて周波数変換を行うか否かを制御する。
【０１２６】
周波数変換部４０３は、入力される色成分を例えばDCT（Discrete Cosine Transform）やウェーブレット変換等の所定の方法で周波数成分に変換する。周波数変換部４０３は、周波数変換されて得られた周波数変換係数をエントロピ符号化部４０４に供給する。
【０１２７】
エントロピ符号化部４０４は、制御部４０２から供給される色成分、若しくは、周波数変換部４０３から供給される周波数変換係数を、例えば可変長符号化（VLC（Variable Length Code））や算術符号化等の所定の方法で符号化する。
【０１２８】
制御部４０２は、エネルギ測定部４１１−０乃至エネルギ測定部４１１−３、判定部４１２−０乃至判定部４１２−３、並びに、選択部４１３−０乃至選択部４１３−３を有する。
【０１２９】
以下において、エネルギ測定部４１１−０乃至エネルギ測定部４１１−３を互いに区別して説明する必要が無い場合、単にエネルギ測定部４１１と称する。また、判定部４１２−０乃至判定部４１２−３を互いに区別して説明する必要が無い場合、単に判定部４１２と称する。さらに、選択部４１３−０乃至選択部４１３−３を互いに区別して説明する必要が無い場合、単に選択部４１３と称する。
【０１３０】
出力１５１（Ｙ０）について、エネルギ測定部４１１−０は、エネルギ（例えば、信号値の２乗（若しくは絶対値））を測定し、エネルギ測定結果４２１−０を判定部４１２−０に供給する。判定部４１２−０は、そのエネルギ測定結果４２１−０を、予め保持している所定の閾値と比較し、この色成分について周波数変換を行わせるか否かを判定する。判定部４１２−０は、その判定結果に従って、周波数変換を行わせるか否かの指示４２２−０を選択部４１３−０に供給する。選択部４１３−０は、その指示に基づいて、色変換部４０１の出力１５１（Ｙ０）の出力先を選択する。
【０１３１】
例えば、エネルギ測定結果４２１−０が閾値以上である場合（若しくは閾値より大きい場合）、判定部４１２−０は、周波数変換を行わせるように指示４２２−０を出す。選択部４１３−０は、その指示に従って、色変換部４０１の出力１５１（Ｙ０）の出力先として周波数変換部４０３−０を選択する。つまり、この場合、選択部４１３−０は、色変換部４０１の出力１５１（Ｙ０）を、出力４２４−０として周波数変換部４０３−０に供給する。
【０１３２】
周波数変換部４０３−０は、選択部４１３−０の出力４２４−０を周波数変換し、その周波数変換係数４２５−０をエントロピ符号化部４０４−０に供給する。エントロピ符号化部４０４−０は、その周波数変換係数４２５−０をエントロピ符号化し、得られた符号化データ（Ｙ０'）を出力４３１から出力する。
【０１３３】
また例えば、エネルギ測定結果４２１−０が閾値より小さい場合（若しくは閾値以下である場合）、判定部４１２−０は、周波数変換を省略するように指示４２２−０を出す。選択部４１３−０は、その指示に従って、色変換部４０１の出力１５１（Ｙ０）の出力先としてエントロピ符号化部４０４−０を選択する。つまり、この場合、選択部４１３−０は、色変換部４０１の出力１５１（Ｙ０）を、出力４２３−０としてエントロピ符号化部４０４−０に供給する。
【０１３４】
エントロピ符号化部４０４−０は、その選択部４１３−０の出力４２３−０をエントロピ符号化し、得られた符号化データ（Ｙ０'）を出力４３１から出力する。
【０１３５】
他の色成分についても同様である。
【０１３６】
つまり、出力１５２（Ｙ１）について、エネルギ測定部４１１−１が、エネルギを測定し、判定部４１２−１が、そのエネルギ測定結果４２１−１を、予め保持している所定の閾値と比較し、この色成分について周波数変換を行わせるか否かを判定する。選択部４１３−１は、その判定部４１２−１から供給される指示４２２−１に基づいて、色変換部４０１の出力１５２（Ｙ１）の出力先を選択する。
【０１３７】
例えば、エネルギ測定結果４２１−１が閾値以上である場合（若しくは閾値より大きい場合）、選択部４１３−１は、判定部４１２−１の指示に従って、色変換部４０１の出力１５２（Ｙ１）の出力先として周波数変換部４０３−１を選択する。周波数変換部４０３−１は、選択部４１３−１の出力４２４−１を周波数変換し、エントロピ符号化部４０４−１は、その周波数変換係数４２５−１をエントロピ符号化し、得られた符号化データ（Ｙ１'）を出力４３２から出力する。
【０１３８】
また例えば、エネルギ測定結果４２１−１が閾値より小さい場合（若しくは閾値以下である場合）、選択部４１３−１は、判定部４１２−１の指示に従って、色変換部４０１の出力１５２（Ｙ１）の出力先としてエントロピ符号化部４０４−１を選択する。エントロピ符号化部４０４−１は、その選択部４１３−１の出力４２３−１をエントロピ符号化し、得られた符号化データ（Ｙ１'）を出力４３２から出力する。
【０１３９】
また、出力１５３（Ｙ２）について、エネルギ測定部４１１−２が、エネルギを測定し、判定部４１２−２が、そのエネルギ測定結果４２１−２を、予め保持している所定の閾値と比較し、この色成分について周波数変換を行わせるか否かを判定する。選択部４１３−２は、その判定部４１２−２から供給される指示４２２−２に基づいて、色変換部４０１の出力１５３（Ｙ２）の出力先を選択する。
【０１４０】
例えば、エネルギ測定結果４２１−２が閾値以上である場合（若しくは閾値より大きい場合）、選択部４１３−２は、判定部４１２−２の指示に従って、色変換部４０１の出力１５３（Ｙ２）の出力先として周波数変換部４０３−２を選択する。周波数変換部４０３−２は、選択部４１３−２の出力４２４−２を周波数変換し、エントロピ符号化部４０４−２は、その周波数変換係数４２５−２をエントロピ符号化し、得られた符号化データ（Ｙ２'）を出力４３３から出力する。
【０１４１】
また例えば、エネルギ測定結果４２１−２が閾値より小さい場合（若しくは閾値以下である場合）、選択部４１３−２は、判定部４１２−２の指示に従って、色変換部４０１の出力１５３（Ｙ２）の出力先としてエントロピ符号化部４０４−２を選択する。エントロピ符号化部４０４−２は、その選択部４１３−２の出力４２３−２をエントロピ符号化し、得られた符号化データ（Ｙ２'）を出力４３３から出力する。
【０１４２】
さらに、出力１５４（Ｙ３）について、エネルギ測定部４１１−３が、エネルギを測定し、判定部４１２−３が、そのエネルギ測定結果４２１−３を、予め保持している所定の閾値と比較し、この色成分について周波数変換を行わせるか否かを判定する。選択部４１３−３は、その判定部４１２−３から供給される指示４２２−３に基づいて、色変換部４０１の出力１５４（Ｙ３）の出力先を選択する。
【０１４３】
例えば、エネルギ測定結果４２１−３が閾値以上である場合（若しくは閾値より大きい場合）、選択部４１３−３は、判定部４１２−３の指示に従って、色変換部４０１の出力１５４（Ｙ３）の出力先として周波数変換部４０３−３を選択する。周波数変換部４０３−３は、選択部４１３−３の出力４２４−３を周波数変換し、エントロピ符号化部４０４−３は、その周波数変換係数４２５−３をエントロピ符号化し、得られた符号化データ（Ｙ３'）を出力４３４から出力する。
【０１４４】
また例えば、エネルギ測定結果４２１−３が閾値より小さい場合（若しくは閾値以下である場合）、選択部４１３−３は、判定部４１２−３の指示に従って、色変換部４０１の出力１５４（Ｙ３）の出力先としてエントロピ符号化部４０４−３を選択する。エントロピ符号化部４０４−３は、その選択部４１３−３の出力４２３−３をエントロピ符号化し、得られた符号化データ（Ｙ３'）を出力４３４から出力する。
【０１４５】
以上のように、制御部４０２は、色成分毎に周波数変換を行うか否かを制御することができる。これにより、画像符号化装置４００は、不要な処理（周波数変換処理）を低減させることができ、画像符号化処理の負荷を低減させることができる。また、これにより画像符号化装置４００は、画像符号化処理の処理時間を低減させることもできる。
【０１４６】
［画像符号化処理の流れ］
図１２のフローチャートを参照して、図１１の画像符号化装置４００による画像符号化処理の流れの例を説明する。
【０１４７】
画像符号化処理が開始されると、ステップＳ４０１において、色変換部４０１は、入力されたRAW画像データの色成分に対して色変換処理を行う。この色変換処理は、例えば、図５、図７、若しくは図９のフローチャートを参照して説明した色変換処理と同様の処理が行われる。
【０１４８】
色変換処理が終了すると、ステップＳ４０２において、エネルギ測定部４１１は、色成分毎にエネルギを測定する。ステップＳ４０３において、判定部４１２は、ステップＳ４０２の測定結果を用いて、周波数変換を行うか否かを色成分毎に判定する。選択部４１３は、その判定結果に応じて、各色成分に対して行う処理を選択する。
【０１４９】
ステップＳ４０４において、周波数変換部４０３は、ステップＳ４０３において周波数変換を行う色成分として選択された色成分を周波数変換する。
【０１５０】
ステップＳ４０５において、エントロピ符号化部４０４は、ステップＳ４０３において周波数変換を行わない色成分として選択された色成分、並びに、ステップＳ４０４において周波数変換された色成分の周波数変換係数をエントロピ符号化する。
【０１５１】
各色成分（若しくはその周波数変換係数）がエントロピ符号化されると、画像符号化処理が終了される。
【０１５２】
このように処理を行うことにより、画像符号化装置４００は、不要な処理を低減させ、画像符号化処理の負荷や処理時間を低減させることができる。
【０１５３】
［画像符号化装置２］
なお、色変換を行う画像データのコンポーネント（色成分の組み合わせ）が決まっている場合、各色成分のエネルギ分布の傾向が予め定まる場合がある。例えば、上述したように、Ｇ０，Ｇ１，Ｒ，Ｂの４つの色成分をＹ０，Ｙ１，Ｙ２，Ｙ３に色変換する場合、相関性の高いＧ０およびＧ１から生成される色成分Ｙ０のエネルギは、他の色成分と比較して小さくなることが多い。
【０１５４】
このような場合、エネルギの小さい特定の色成分のみ予め周波数変換処理を省略するようにしてもよい。
【０１５５】
図１３は、画像符号化装置の他の構成例を示すブロック図である。
【０１５６】
図１３に示される画像符号化装置５００は、図１１の画像符号化装置４００と同様の装置であるが、制御部４０２と周波数変換部４０３が省略されている。
【０１５７】
つまり、図１３に示されるように、画像符号化装置５００の場合、色変換部４０１の出力１５１（Ｙ０）は、エントロピ符号化部４０４−０に供給され、エントロピ符号化され、得られた符号化データ（Ｙ０'）が出力４３１から出力される。
【０１５８】
これに対して、色変換部４０１の出力１５２（Ｙ１）は、周波数変換部４０３−１に供給され、周波数変換される。そして、その周波数変換係数４２５−１が、エントロピ符号化部４０４−１に供給され、エントロピ符号化され、得られた符号化データ（Ｙ１'）が出力４３２から出力される。
【０１５９】
同様に、色変換部４０１の出力１５３（Ｙ２）は、周波数変換部４０３−２に供給され、周波数変換される。そして、その周波数変換係数４２５−２が、エントロピ符号化部４０４−２に供給され、エントロピ符号化され、得られた符号化データ（Ｙ２'）が出力４３３から出力される。
【０１６０】
また、色変換部４０１の出力１５４（Ｙ３）は、周波数変換部４０３−３に供給され、周波数変換される。そして、その周波数変換係数４２５−３が、エントロピ符号化部４０４−３に供給され、エントロピ符号化され、得られた符号化データ（Ｙ３'）が出力４３４から出力される。
【０１６１】
つまり、画像符号化装置５００の場合、周波数変換を行うか否かが色成分毎に予め定められている。したがって、エネルギ測定や判定・選択等の処理を省略することができるので、画像符号化装置５００は、画像符号化装置４００の場合よりも、さらに画像符号化処理の負荷や処理時間を低減させることができる。
【０１６２】
［画像符号化処理の流れ］
図１４のフローチャートを参照して、図１３の画像符号化装置５００による画像符号化処理の流れの例を説明する。
【０１６３】
この場合、画像符号化処理が開始されると、ステップＳ５０１において、色変換部４０１は、ステップＳ４０１の場合と同様に、入力されたRAW画像データの色成分に対して色変換処理を行う。
【０１６４】
色変換処理が終了すると、ステップＳ５０２において、周波数変換部４０３は、予め定められた所定の色成分を周波数変換する。
【０１６５】
ステップＳ５０３において、エントロピ符号化部４０４は、ステップＳ５０２において周波数変換が行われなかった色成分、並びに、ステップＳ５０２において周波数変換された色成分の周波数変換係数をエントロピ符号化する。
【０１６６】
各色成分（若しくはその周波数変換係数）がエントロピ符号化されると、画像符号化処理が終了される。
【０１６７】
このように処理を行うことにより、画像符号化装置５００は、画像符号化処理の負荷や処理時間をさらに低減させることができる。
【０１６８】
［その他の例］
なお、画像符号化装置４００および画像符号化装置５００のエントロピ符号化部４０４の符号化は、可逆であっても良いが、非可逆であっても良い。例えば、エントロピ符号化部４０４が出力するストリームのビットレートを制御するようにしてもよい。その場合、制御部４０２の判定部４１２が判定の基準とする閾値を、そのビットレートに応じて制御することができるようにしてもよい。
【０１６９】
例えば、判定部４１２は、エントロピ符号化部４０４から出力されるストリームのビットレートが小さい場合、データ量をより低減させやすいように、閾値を下げて周波数変換が行われやすくし、逆に、エントロピ符号化部４０４から出力されるストリームのビットレートが大きい場合、閾値を上げて周波数変換が行われにくくするようにしてもよい。
【０１７０】
また、この閾値は、色成分毎に互いに独立して設定されるようにしてもよいし、全色成分で共通としてもよい。
【０１７１】
また、上述した第１の実施の形態および第２の実施の形態において、各色成分のベイヤ型配列は、任意であり、図１に示される例以外であっても良い。例えば、図１５に示されるような倍密レイヤであってもよい。
【０１７２】
さらに、RAW画像データのコンポーネント数は任意であり、５色以上であってもよい。また、相関性の高い色成分の組み合わせは各色成分の配列に依存するものであり、上述したＧ０とＧ１以外の組み合わせを相関性の高い色成分の組み合わせとしてもよいし、その組み合わせの色成分の数も任意である。
【０１７３】
例えば、図１６Ａ乃至図１６Ｆに示されるようにＲ，Ｇ，Ｂに加えＷ（ホワイト）を用いた各種配列のRAW画像データを色変換するようにしてもよい。また、図１６Ｇ，図１６Ｈ、および図１６Ｊに示されるように、Ｙｅ（黄色）を用いた各種配列のRAW画像データを処理対象としてもよい。
【０１７４】
さらに、例えば、Rastislav Lukac and Konstantinous N.Plataniitis,"Color Filter Arrays: Design and Performance Analysis",IEEE Transactions on Consumer Electronics, Vol.51,No.4, November 2005に記載のフィルタパターンで各色成分が配列されたRAW画像データであってもよい。
【０１７５】
以上に説明した色変換装置１００、色変換装置２００、色変換装置３００、画像符号化装置４００、および画像符号化装置５００は、それぞれ、上述した以外の構成を含むようにしてももちろんよい。また、１つの装置としてだけでなく、複数の装置よりなるシステムとして構成されるようにしてもよい。例えば、デジタルスチルカメラ、動画用カムコーダ、医療用画像カメラ、医療用内視鏡、監視カメラ、デジタルシネマ撮影用カメラ、両眼画像カメラ、多眼画像カメラ、PC上のオーサリング・ツールまたはそのソフトウェア・モジュール等として構成されるようにしてもよい。
【０１７６】
＜３．第３の実施の形態＞
［パーソナルコンピュータ］
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、例えば、図１７に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１７７】
図１７において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７８】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０１７９】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）ディスプレイやLCD（Liquid Crystal Display）等のディスプレイ、並びにスピーカなどよりなる出力部７１２、フラッシュメモリ等SSD（Solid State Drive）やハードディスクなどよりなる記憶部７１３、有線LAN（Local Area Network）や無線LANのインタフェースやモデムなどよりなる通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１８０】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。
【０１８１】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１８２】
この記録媒体は、例えば、図１７に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどにより構成される。
【０１８３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８４】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１８５】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０１８６】
また、以上において、１つの装置（または処理部）として説明した構成が、複数の装置（または処理部）として構成されるようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成が、まとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成が付加されるようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部が他の装置（または他の処理部）の構成に含まれるようにしてもよい。つまり、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１８７】
１００ 色変換装置， １０１ 色変換部， １０２ 色変換部， ２００ 色変換装置， ３００ 色変換装置， ４００ 画像符号化装置， ４０１ 色変換部， ４０２ 制御部， ４０３ 周波数変換部， ４０４ エントロピ符号化部， ４１１ エネルギ測定部， ４１２ 判定部， ４１３ 選択部， ５００ 画像符号化装置
【特許請求の範囲】
【請求項１】
画像データに含まれる複数の色成分の内、相関性の高い色成分の組み合わせに対して色変換を行う第１の色変換部と、
画像データに含まれる複数の色成分の内、前記第１の色変換部が前記色変換の対象とする色成分の組み合わせ以外の組み合わせに対して色変換を行う第２の色変換部と
を備える画像処理装置。
【請求項２】
前記第２の色変換部はKarhunen-Loeve変換を行う
請求項１に記載の画像処理装置。
【請求項３】
前記第１の変換部はHaar変換を行う
請求項２に記載の画像処理装置。
【請求項４】
前記第１の変換部はDPCMを用いた色変換を行う
請求項２に記載の画像処理装置。
【請求項５】
前記第１の変換部はＳ変換を行う
請求項２に記載の画像処理装置。
【請求項６】
前記第１の色変換部および前記第２の色変換部による色変換後の、一部若しくは全部の色成分を周波数変換する周波数変換部をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
前記第１の色変換部および前記第２の色変換部による色変換後の各色成分を周波数変換するか否かを制御する制御部をさらに備え、
前記周波数変換部は、前記制御部により周波数変換を行うと判定された色成分を周波数変換する
請求項６に記載の画像処理装置。
【請求項８】
前記制御部は、
前記第１の色変換部および前記第２の色変換部による色変換後の各色成分のエネルギを測定する測定部と、
前記測定部により測定された各色成分のエネルギを所定の閾値と比較し、その比較結果に応じて、前記周波数変換させるか否かを判定する判定部と、
前記判定部の判定結果に応じて、各色成分に対して行う処理を選択する選択部と
を備える請求項７に記載の画像処理装置。
【請求項９】
前記周波数変換部は、前記第１の色変換部および前記第２の色変換部による色変換後の、所定の色成分を周波数変換する
請求項６に記載の画像処理装置。
【請求項１０】
前記周波数変換部により周波数変換されて得られた、前記第１の色変換部および前記第２の色変換部による色変換後の色成分の周波数変換係数、若しくは、前記第１の色変換部および前記第２の色変換部による色変換後の色成分を符号化する符号化部をさらに備える
請求項６に記載の画像処理装置。
【請求項１１】
前記周波数変換部は、前記色成分をDCT（Discrete Cosine Transform）する
請求項６に記載の画像処理装置。
【請求項１２】
前記周波数変換部は、前記色成分をウェーブレット変換する
請求項６に記載の画像処理装置。
【請求項１３】
前記画像データは、各色成分がベイヤ型に配列される画像の情報である
請求項１に記載の画像処理装置。
【請求項１４】
画像処理装置の画像処理方法であって、
第１の色変換部が、画像データに含まれる複数の色成分の内、相関性の高い色成分の組み合わせに対して色変換を行い、
第２の色変換部が、画像データに含まれる複数の色成分の内、前記第１の色変換部が前記色変換の対象とする色成分の組み合わせ以外の組み合わせに対して色変換を行う
画像処理方法。
【請求項１５】
画像データに含まれる複数の色成分に対して色変換を行う色変換部と、
前記色変換部による色変換後の、一部若しくは全部の色成分を周波数変換する周波数変換部と、
前記色変換部による色変換後の色成分を符号化する符号化部と
を備える画像処理装置。
【請求項１６】
画像処理装置の画像処理方法であって、
色変換部が、画像データに含まれる複数の色成分に対して色変換を行い、
周波数変換部が、色変換後の、一部若しくは全部の色成分を周波数変換し、
符号化部が、色変換後の色成分を符号化する
画像処理方法。
【請求項１】
画像データに含まれる複数の色成分の内、相関性の高い色成分の組み合わせに対して色変換を行う第１の色変換部と、
画像データに含まれる複数の色成分の内、前記第１の色変換部が前記色変換の対象とする色成分の組み合わせ以外の組み合わせに対して色変換を行う第２の色変換部と
を備える画像処理装置。
【請求項２】
前記第２の色変換部はKarhunen-Loeve変換を行う
請求項１に記載の画像処理装置。
【請求項３】
前記第１の変換部はHaar変換を行う
請求項２に記載の画像処理装置。
【請求項４】
前記第１の変換部はDPCMを用いた色変換を行う
請求項２に記載の画像処理装置。
【請求項５】
前記第１の変換部はＳ変換を行う
請求項２に記載の画像処理装置。
【請求項６】
前記第１の色変換部および前記第２の色変換部による色変換後の、一部若しくは全部の色成分を周波数変換する周波数変換部をさらに備える
請求項１に記載の画像処理装置。
【請求項７】
前記第１の色変換部および前記第２の色変換部による色変換後の各色成分を周波数変換するか否かを制御する制御部をさらに備え、
前記周波数変換部は、前記制御部により周波数変換を行うと判定された色成分を周波数変換する
請求項６に記載の画像処理装置。
【請求項８】
前記制御部は、
前記第１の色変換部および前記第２の色変換部による色変換後の各色成分のエネルギを測定する測定部と、
前記測定部により測定された各色成分のエネルギを所定の閾値と比較し、その比較結果に応じて、前記周波数変換させるか否かを判定する判定部と、
前記判定部の判定結果に応じて、各色成分に対して行う処理を選択する選択部と
を備える請求項７に記載の画像処理装置。
【請求項９】
前記周波数変換部は、前記第１の色変換部および前記第２の色変換部による色変換後の、所定の色成分を周波数変換する
請求項６に記載の画像処理装置。
【請求項１０】
前記周波数変換部により周波数変換されて得られた、前記第１の色変換部および前記第２の色変換部による色変換後の色成分の周波数変換係数、若しくは、前記第１の色変換部および前記第２の色変換部による色変換後の色成分を符号化する符号化部をさらに備える
請求項６に記載の画像処理装置。
【請求項１１】
前記周波数変換部は、前記色成分をDCT（Discrete Cosine Transform）する
請求項６に記載の画像処理装置。
【請求項１２】
前記周波数変換部は、前記色成分をウェーブレット変換する
請求項６に記載の画像処理装置。
【請求項１３】
前記画像データは、各色成分がベイヤ型に配列される画像の情報である
請求項１に記載の画像処理装置。
【請求項１４】
画像処理装置の画像処理方法であって、
第１の色変換部が、画像データに含まれる複数の色成分の内、相関性の高い色成分の組み合わせに対して色変換を行い、
第２の色変換部が、画像データに含まれる複数の色成分の内、前記第１の色変換部が前記色変換の対象とする色成分の組み合わせ以外の組み合わせに対して色変換を行う
画像処理方法。
【請求項１５】
画像データに含まれる複数の色成分に対して色変換を行う色変換部と、
前記色変換部による色変換後の、一部若しくは全部の色成分を周波数変換する周波数変換部と、
前記色変換部による色変換後の色成分を符号化する符号化部と
を備える画像処理装置。
【請求項１６】
画像処理装置の画像処理方法であって、
色変換部が、画像データに含まれる複数の色成分に対して色変換を行い、
周波数変換部が、色変換後の、一部若しくは全部の色成分を周波数変換し、
符号化部が、色変換後の色成分を符号化する
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−１７５２０６（Ｐ２０１２−１７５２０６Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３２７７９（Ｐ２０１１−３２７７９）
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（３０５０２７４０１）公立大学法人首都大学東京 (385)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月１８日（２０１１．２．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（３０５０２７４０１）公立大学法人首都大学東京 (385)
【Ｆターム（参考）】
[ Back to top ]