画像処理装置、画像処理方法、プログラムおよび記録媒体
【課題】ＲＧＢＧの４信号を３信号と１信号に分けることにより、３信号に対して３信号入力の色変換方式を用い、符号化方式を変形することなく、そのままの形で適用することにより、余分な回路やプログラムの実装を回避し、１信号に対しては効率的な予測手法を用いて符号化効率を向上させる。
【解決手段】ＣＣＤ３０１の出力であるＲ、Ｇ１、Ｂ、Ｇ２信号を、Ｒ、Ｇ１、Ｂの３信号とＧ２の１信号に分け、３信号をＹＵＶ信号にカラー変換３０２した後、符号化して記憶装置３０６に格納する。予測値／差分値計算部３０３では、Ｇ２信号の予測値Ｇ＾２を計算し、差分値Ｄ（Ｇ２−Ｇ＾２）を計算し、Ｄをランレングス符号化して記憶装置３０６に格納する。
【解決手段】ＣＣＤ３０１の出力であるＲ、Ｇ１、Ｂ、Ｇ２信号を、Ｒ、Ｇ１、Ｂの３信号とＧ２の１信号に分け、３信号をＹＵＶ信号にカラー変換３０２した後、符号化して記憶装置３０６に格納する。予測値／差分値計算部３０３では、Ｇ２信号の予測値Ｇ＾２を計算し、差分値Ｄ（Ｇ２−Ｇ＾２）を計算し、Ｄをランレングス符号化して記憶装置３０６に格納する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単板式のカラー撮像素子から得られる画素データ（ＲＡＷデータ）を可逆色変換し、可逆のデータ圧縮／伸長を行う画像処理装置、画像処理方法、プログラムおよび記録媒体に関し、単板式のカラー撮像素子を用いたデジタルカメラにおけるカラー変換やデータ圧縮／伸長の技術分野などに好適な技術に関する。
【背景技術】
【０００２】
人間の視覚システムは、色差信号よりも輝度信号の方を重視して処理するシステムであるので、非可逆符号化の際に、色差信号よりも輝度信号成分に多くの情報量を割り当てることで、効率よく符号化ができる。この輝度色差の色空間として、Ｙ、Ｃｂ、Ｃｒ色座標系やＹ、Ｉ、Ｑ色座標系がある。
【０００３】
色空間は３次元以上のベクトル空間内の領域であり、何らかの基底、例えば３個の一次独立な３次元ベクトルで色座標系を定義する。一般に利用される色座標系はＲ（赤）、Ｇ（緑）、Ｂ（青）であり、それぞれ中心波長で定義される。３次元色座標系が与えられたとき、別の３次元線形色座標系を可逆の（正則の）３×３の行列により表すことができる。
例えば、Ｙ、Ｉ、Ｑ色座標系は、Ｒ、Ｇ、Ｂを用いて次の行列により定義される。
【０００４】
【数１】
【０００５】
なお、すべての色空間が線形であるわけではなく、例えば、人間の視覚系をより的確にモデル化するため、ベクトルを非線形的に（例えば対数的に）リスケールする色変換もある。その例がＣＩＥ Ｌ＊ｕ＊ｖとＬ＊ａ＊ｂである。
【０００６】
また、様々な理由により種々の色座標系が定義されている。例えば、データをモニターに表示する場合、殆どのデジタル画像は固定した値域、例えば８ビット／座標のＲ、Ｇ、Ｂ座標系を使うのが便利である。色の非相関性を要求する用途、例えば圧縮の場合、Ｒ、Ｇ、Ｂは最適とはいえず、上述のＹ、Ｉ、Ｑのような他の色座標系のほうが適している。
【０００７】
印刷用の画像には、ＣＹＭ（シアン、黄、マゼンタ）のような減色系が利用され、用途によっては４次元色空間、例えばＣＭＹＫ（シアン、黄、マゼンタ、黒）が利用される。
【０００８】
ところで、データ圧縮は、大量のデータの記憶及び伝送のために極めて有用なツールであり、文書のファクシミリ送信のような画像伝送に必要な時間は、符号化により画像を圧縮し、画像再生に必要なビット数を減らすと飛躍的に短縮される。
【０００９】
従来、種々のデータ圧縮手法があり、その圧縮手法は大きく２つの種類、すなわち可逆符号化と非可逆符号化に分類できる。非可逆符号化は情報の損失をもたらす符号化を含むため、原データを完全に復元できる保証はない。非可逆符号化の目標とするところは、原データとの違いが目立たないようにすることである。可逆符号化では、全ての情報が保存され、データは完全に復元できるような方法で圧縮される。
【００１０】
可逆符号化では、入力シンボル又は輝度データが出力符号語へ変換される。入力には画像データ、音声データ、一次元データ（例えば時間的に変化するデータ）、二次元データ（例えば２空間方向に変化するデータ）、あるいは多次元／多重スペクトルデータが含まれる。圧縮がうまくいけば、符号語は入力シンボル（又は輝度データ）数より少ないビットで表現される。可逆符号化法には、辞書符号化法（例えばＬｅｍｐｅｌ−Ｚｉｖ符号化法）、ランレングス符号化法、算術符号化法、エントロピー符号化法が含まれる。
【００１１】
可逆画像圧縮では、圧縮は予測又はコンテキスト及び符号化がベースになっている。ファクシミリ圧縮用ＪＢＩＧ規格と連続階調画像用ＤＰＣＭ（差動パルス符号変調−ＪＰＥＧ規格のオプション）は画像用の可逆圧縮の例である。非可逆圧縮では、入力シンボル又は輝度データは量子化されてから出力符号語へ変換される。量子化する目的は、適切な特徴量を保存する一方で重要度の低いデータを除去することである。非可逆圧縮システムはしばしば、量子化に先だってエネルギー集中のための変換を利用する。ベースラインＪＰＥＧは画像データ用非可逆符号化法の一例である。
従来、色座標系間変換が量子化と一緒に非可逆圧縮のために利用されてきた。実際、ＣＣＩＲ ６０１−１（ＹＣｂＣｒ）のように意図的に非可逆とした色空間もある。ある種の可逆システム又は可逆／非可逆システムにおいては、変換の可逆性と効率が主たる要件であり、別の可逆／非可逆システムでは、可逆変換の効率に加えて、色の非相関性も一つの要件である。例えば、上記３×３行列は、そのエントリーが非整数であるため非可逆圧縮にしか役に立たないので、非相関性が要求される時には圧縮と伸長を繰り返す間に誤差を増加させる。また、下位ビットに対しては、この３×３行列を適用するのは好ましくない。すなわち、この３×３行列を適用して必要な精度を得るためには、かつ、その後に逆処理を実行可能であって下位ビットを再現できるようにするためには、余分なビットを用いる必要がある。
【００１２】
色空間変換を行う時に、数値精度に関する問題が生じる。例えば、８ビットが入力される場合、必要な変換空間は一般に１０ビット又は１１ビットであり、また、安定な色空間を得るためには、内部計算でそれ以上に高い精度が必要である。画像がＲＧＢ色空間から変換されて圧縮され、そして伸長されてＲＧＢ色空間に戻されるという処理が、不十分な精度で繰り返し適用されると、誤差が累積する結果、元の色と最終的な色とが一致しなくなる。これは、色ドリフト又は色空間が不安定である結果といわれる。
【００１３】
ところで、デジタルカメラに内蔵されている単板式ＣＣＤは、１つずつの赤信号（Ｒ）と青信号（Ｂ）と２つの緑信号（Ｇ１とＧ２）が組み合わさった複数の連なりを出力（ＲＡＷデータ）する。デジタルカメラシステムは、このＣＣＤ出力中に足りない部分の画像信号を補間することで、ＲとＧとＢの一組の画像信号（１画素３色のフルカラー）を作り上げた後に、ＪＰＥＧ符号化などの符号化技術を用いて画像データを圧縮して蓄積部に保存する。
【００１４】
しかしながら、デジタルカメラや多くのソフトウェアで用いられているＪＰＥＧの符号化が扱える階調（画素のレンジ）が８ビットのままであり、近年のＣＣＤ出力のダイナミックレンジ（例えば１２ビット）を、デジタルカメラで用いているＪＰＥＧの符号化で取り扱いできないという不具合がある。また、ＣＣＤ出力（ＲＡＷデータ）を可逆符号化するために、３つのコンポーネントのみを対象とした一般のカラー変換方式のために、ＣＣＤ出力を補間処理して一組のＲとＧとＢ信号を得る方式を採用すると、ＲＡＷデータを可逆で符号を行うことが不可能になってしまう。
【００１５】
このため、ＣＣＤ出力のＲとＧ１とＢとＧ２信号をそのままの形で色変換する手法が種々提案されている（例えば、特許文献１、２を参照）。
【００１６】
例えば、特許文献１には、ＲとＧ１とＢとＧ２から輝度信号Ｙと色差信号ＣｏとＣｇとその他の信号Ｄｇに変換する方法が示されている。変換式としていくつか定義されているが、例えば以下の式が定義されている。
【００１７】
【数２】
この式では、輝度信号Ｙと色差信号Ｃｇの計算にＲとＧ１とＢとＧ２のすべての値を用いている。
【００１８】
特許文献２も特許文献１と同様に、ＲとＧ１とＢとＧ２から輝度信号Ｙと色差信号ＣｒとＣｂとその他の信号Ｃｇに変換する方法が示され、輝度信号Ｙの計算に、ＲとＧ１とＢとＧ２のすべての値を用いて計算を行っている。
【００１９】
これら特許文献１、２に示されている、ＲとＧ１とＢとＧ２からの色変換方式は、第１の緑信号Ｇ１と第２の緑信号Ｇ２の値を使用する計算式を用い、符号化に適した可逆な色変換式を提案している。
【発明の概要】
【発明が解決しようとする課題】
【００２０】
しかしながら、上記した色変換式は少なくとも１つの値を計算するために４信号の入力を必要とし、また色差値の計算にＧ１とＧ２の両方を必要としているため、ＪＰＥＧやＪＰＥＧ ＸＲなどで用いられている３信号を入力する式をそのままの形で用いることができない。
【００２１】
そのため、可逆変換をサポートしている符号方式、例えばＪＰＥＧ２０００やＪＰＥＧ ＸＲなどをＲＡＷデータの符号化に適用するのが難しくなり、このＲＡＷデータを符号化する新たな方式を導入しなければならなくなる。このことは、コスト面やデザイン面で回路実装面積を少なくする必要があるデジタルカメラシステムにおいては、重大なマイナスとなる。
【００２２】
本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、ＲＧＢＧの４信号を３信号と１信号に分けることにより、３信号に対して、一般に用いられている３信号入力の色変換方式を用い、デジタルカメラなどで用いられている符号化方式を変形することなく、そのままの形で適用することにより、余分な回路やプログラムの実装を回避し、実装上のコストダウンを図り、１信号に対しては効率的な予測手法を用いて符号化効率を向上させた画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００２３】
本発明は、ベイヤー配列の単板式ＣＣＤセンサにより取り込まれた画像について、赤信号と第１緑信号と青信号と第２緑信号の４信号を単位として順次処理する画像処理装置であって、前記赤信号と第１緑信号と青信号の３信号を、輝度信号と色差信号に変換するカラー変換手段と、前記輝度信号と色差信号を圧縮して符号化する第１の符号化手段と、前記第２緑信号の予測値を算出し、前記算出された予測値と前記第２緑信号との差分信号を算出する算出手段と、前記算出された差分信号を圧縮して符号化する第２の符号化手段とを備えたことを最も主要な特徴とする。
【発明の効果】
【００２４】
本発明によれば、ＲＧＢＧの４信号を３信号と１信号に分けることにより、３信号に対して既存のノウハウがある高速カラー変換方式を使用することができ、１信号に対しては効率的な予測手法を用いることができるので、符号化の効率が向上する。また、ビューファインダに表示する際には、３信号の処理のみで縮小画像が構成されるので、演算量が少なくなり、高速に表示可能となる。
【図面の簡単な説明】
【００２５】
【図１】一般的な符号化システムの構成例を示す。
【図２】ＪＰＥＧ ＸＲの構成例を示す。
【図３】本発明の実施例の構成を示す。
【図４】ベイヤー配列の単板式ＣＣＤセンサからの出力（ＲＡＷデータ）を示す。
【図５】予測値／差分値計算部とランレングス符号化部の処理フローチャートを示す。
【図６】Ｇ２の予測値の計算例を説明する図を示す。
【図７】Ｇ２信号復号化部とランレングス復号化部の処理フローチャートを示す。
【図８】デジタルカメラの構成例を示す。
【図９】本発明を用いない場合のデジタルカメラの構成例を示す。
【図１０】符号器としてＪＰＥＧ ＸＲを用いた場合のデジタルカメラの構成例を示す。
【図１１】本発明を適用した場合のデジタルカメラの構成例を示す。
【発明を実施するための形態】
【００２６】
以下、発明の実施の形態について図面により詳細に説明する。
【実施例１】
【００２７】
図１は、一般的な符号化システムの構成例を示す。図１において、１０１はカラー変換部、１０２は画像変換部（例えば、ＤＣＴなど）、１０３は量子化部、１０４は係数予測部、１０５は係数スキャン部、１０６はエントロピー符号化部である。
【００２８】
図１に示す構成例のように、カラー変換処理は符号化で用いられ、人間の視覚システムの特性を用いた符号化方式に適用するために、ＣＣＤなどの撮像器で得られたＲＧＢ色空間の入力値を輝度色差色空間へと変換する。このカラー変換として、ＲＧＢからＹＵＶやＹＣｒＣｂの色空間へ変換する。
【００２９】
例えば、ＪＰＥＧ ＸＲでは、図２に示すように、可逆のカラー変換処理２０１が最初に実行される。図２において、２０１はカラー変換部、２０２はＪＰＥＧ ＸＲの画像変換部である。画像変換部２０２は第１のオーバーラップフィルタ２０３と第１のコアトランスフォーム２０４と第２のオーバーラップフィルタ２０５と第２のコアトランスフォーム２０６からなる。２０７は量子化部、２０８はＤＣＡＣ予測部、２０９は係数スキャン部、２１０はエントロピー符号化部、２１１はビットストリーム生成部である。
【００３０】
本発明はカラー変換に関わり、ベイヤー配列の単板式ＣＣＤの出力である、赤、青、緑、緑の４信号をそのまま一般の符号化方式、例えばＪＰＥＧ２０００やＪＰＥＧ ＸＲなどで符号化するときに、赤と青と緑の３信号を用いて一般的に用いられている３信号入力・３信号出力のカラー変換を用いて以後処理し、残りの緑信号（１信号）はカラー変換処理に用いた緑信号との差分、もしくは予測値を計算してその予測値との差分をとり、以後の符号化処理を行う。この一般の３信号入出力のカラー変換を用いることで、３信号のみのデータを再現（復号）したものは元のＲＡＷデータをアップサンプリングして得られた画像の１／４サイズになるため、例えば、デジタルカメラ画像の最大サイズの縦と横それぞれ半分のサイズとなり、符号化方式がスケーラブルな性質を持つもの、例えばＪＰＥＧ２０００やＪＰＥＧ ＸＲなどであれば、デジタルカメラのビューファインダに、余分な回路を追加することなく画像を表示することができ、ローコストにシステムを実現可能になる。
【００３１】
ＪＰＥＧ２０００においても基本的な構成は同じであり、画像変換としてウェーブレットが用いられている。可逆時のＪＰＥＧ２０００では、可逆のカラー変換（ＲＣＴ）を用い（例えば、特許文献３を参照）、以下の式で実現する。
【００３２】
【数３】
【００３３】
図３は、本発明の実施例の構成を示す。３０１はベイヤー配列の単板式ＣＣＤセンサ、３０２はカラー変換部、３０３は予測値／差分値計算部（以下、計算部）、３０４はＪＰＥＧ ＸＲ符号化部、３０５はランレングス符号化部、３０６は記憶装置、３０７はＪＰＥＧ ＸＲ復号化部、３０８は逆カラー変換部、３０９はランレングス復号化部、３１０はＧ２信号復号化部、３１１は復元されたＲＡＷデータ、３１２はファインダー表示部、３１３は外部表示部である。
【００３４】
図４は、ベイヤー配列の単板式ＣＣＤセンサからの出力（ＲＡＷデータ）を示す。カラー変換部３０２、計算部３０３は、Ｇ、Ｂ／Ｒ、Ｇ（並び方はこの例に限定されない）の４画素の信号を単位として、順次ｘ方向（主走査方向）、ｙ方向（副走査方向）に処理する。
【００３５】
Ｇ、Ｂ／Ｒ、Ｇ信号をＧ１、Ｂ／Ｒ、Ｇ２としたとき、Ｇ１、Ｂ／Ｒ、Ｇ２信号を、Ｒ、Ｇ１、Ｂ信号とＧ２信号の２つの信号に分けて、カラー変換部３０２では、Ｒ、Ｇ１、Ｂ信号に対して既存の可逆カラー変換手法（数３）を用い、１つの輝度信号Ｙと２つの色差信号Ｕ、Ｖを求める。カラー変換部３０２からの出力Ｙ、Ｕ、Ｖ信号は、ＲＡＷデータに比べて解像度が１／４となる（出力Ｙ、Ｕ、Ｖの画素（１画素）は、Ｇ、Ｂ／Ｒ、Ｇの４画素の中心にあるものと考える）。
【００３６】
Ｙ、Ｕ、Ｖ信号は、ＪＰＥＧ ＸＲ符号化部３０４により符号化されて、記憶装置３０６に記憶される。
【００３７】
一方、計算部３０３は、Ｇ２信号の予測値Ｇ＾２と差分値Ｄを計算する。図５は計算部とランレングス符号化部の処理フローチャートを示し、図６はＧ２の予測値の計算例を説明する図を示す。
【００３８】
図５、６を参照して、計算部における処理を説明する。ステップ４０１において、緑信号Ｇ２の予測値Ｇ＾２を計算する。図６において、ラスタスキャン順に、緑信号Ｇ２０、Ｇ２１、Ｇ２２、Ｇ２、Ｇ２３の各画素の予測値と差分値が計算され、符号化され、今、処理対象となる緑信号Ｇ２の画素がＧ２ｘであるとする。
【００３９】
Ｇ２ｘを、予測対象（処理対象）となる画素（注目画素）の画素値とし、Ｇ＾２ｘを予測値とすると、
差分値ＤはＤ＝Ｇ２ｘ−Ｇ＾２ｘ
となる（ステップ４０２）。この差分値Ｄを符号化する（ステップ４０３）。上記した処理を全てのＧ２信号の画素（１画面）について行う（ステップ４０４）。
【００４０】
予測値Ｇ＾２ｘの算出例を以下に示す。
（１）平均予測１
単純にＧ２ｘの周りの４つのＧ１信号（Ｇ１０〜Ｇ１３）の平均値を用いたものを予測値とする。
【００４１】
【数４】
【００４２】
（２）平均予測２
Ｇ２ｘの周りの４つのＧ１信号（Ｇ１０〜Ｇ１３）の二乗平均値を用いたものを予測値とする。
【００４３】
【数５】
【００４４】
予測値として予測対象の近傍の緑信号を用いて、その平均を予測値とすることを示している。自然画像などでは一般的に滑らかに変化することが多く、また、近年のデジタルカメラの解像度の向上から近接の信号値は同様な性質で変化することが予測されるため近傍の平均値は良い予測値を出すことが期待される。
【００４５】
（３）平均予測３
Ｇ２ｘの周りの４つのＧ１信号の二乗平均値と、現段階までに符号化処理されているＧ２信号成分のＧ２０、Ｇ２１、Ｇ２２の二乗平均値（Ｇ２ｘの上側の平均値）と、Ｇ２３（Ｇ２ｘの左側の値）を重み付けで足した値を用いたものを予測値とする。
【００４６】
【数６】
【００４７】
以下は、予測値の計算を予測対象の周りの緑信号のコンディションにより計算式を切り替える方式である。
【００４８】
（４）コンテキストによる予測１
数７のように、Ｇ２ｘの周りの、Ｇ１信号の一方の隣り合う差分値がεより小さく、かつ他方の隣り合う差分値がεより大きい場合には、差分値の小さい値をＧ２ｘの予測値として用いる。
【００４９】
【数７】
【００５０】
（５）コンテキストによる予測２
数８のように、Ｇ２ｘの周りの、Ｇ１信号の一方の隣り合う差分値がεより小さく、かつ他方の隣り合う差分値がεより大きい場合には、その差分が少ない方向の値が同じ値であると予測し、その方向にあるＧ２信号値をＧ２ｘの予測値として用いる。
【００５１】
【数８】
【００５２】
なお、Ｇ２ｘ信号の予測値として、Ｇ１信号（Ｇ１０信号）を用いてもよい。つまり、差分信号ＤはＤ＝Ｇ２ｘ−Ｇ１０となる。自然画像の性質や近年のデジタルカメラの解像度の向上から、近接の信号値は近い値を持つことが多いことから、単にＧ１を用いることでも効率的な予測値となることが期待される。
【００５３】
上記したようにしてＧ２ｘ信号の予測値を計算し、Ｇ２ｘとその予測値との差分値Ｄを符号化する。予測値との差分値Ｄは、値０もしくは値０に近い値の出現回数が多くなり、値０に近い値に対して短い符号を割り当るランレングス符号化手法を用いたときは、圧縮率を高められることが期待できる。
【００５４】
１枚の画像について算出された差分値Ｄは、ランレングス符号化部３０５により符号化されて、記憶装置３０６に格納される。
【００５５】
次に、復号化処理について説明する。記憶装置３０６に格納されている符号化データは、ＪＰＥＧ ＸＲ復号化部３０７により復号化された後、逆カラー変換部３０８により、復号化されたＹＵＶ信号がＲ、Ｇ１、Ｂ信号に逆変換（数３）される。Ｒ、Ｇ１、Ｂ信号に逆変換された画像データは、簡易表示する際には、ファインダー３１２に縮小画像を表示する。本発明では、一般のカラー変換式を用い、Ｄ信号を無視することで、圧縮されたＲＡＷデータの縮小画像がシステム内部で用いられている符号化方式と全く同一になるため、プレビューとしてのサムネイル画像表示をローコストで実現できる。
【００５６】
一方、記憶装置３０６内のＤ信号を、ランレングス復号化部３０９で復号化し、Ｇ２信号復号化部３１０は復号化されたＤ信号と予測値Ｇ＾２を基にＧ２信号を復号化する。復号化されたＧ２信号と逆カラー変換されたＲ、Ｇ１、Ｂ信号によりＲＡＷデータ３１１が復元される。
【００５７】
図７は、Ｇ２信号復号化部とランレングス復号化部の処理フローチャートを示す。
【００５８】
まず、差分値Ｄを復号して（ステップ５０１）、Ｇ２ｘの予測値Ｇ＾２ｘを計算し（ステップ５０２）、その予測値Ｇ＾２ｘと差分値Ｄを加算することで（ステップ５０３）、元の値のＧ２ｘを復号する。上記した処理を全てのＧ２信号の画素（１画面）について行う（ステップ５０４）。
【００５９】
復号は、Ｇ１信号成分とＧ２信号成分を別々に処理できる。よって、Ｇ１信号成分の復号をＧ２よりも先に処理できるので、図６に示すように、Ｇ２ｘの予測値を再現するときには、Ｇ１０、Ｇ１１、Ｇ１２およびＧ１３信号値は復号されている。また、Ｇ２を例えばラスター順で復号した際には、図６に示されるようにＧ２０、Ｇ２１、Ｇ２２およびＧ２３信号の値は、Ｇ２ｘよりも前に復号化されたＧ２信号であるため、Ｇ２ｘの予測値を再現するときには、それらのＧ２信号は復号されている。
【００６０】
Ｇ＾２ｘを予測値、復号された差分値をＤとすると、復号値Ｇ２ｘは、
Ｇ２ｘ＝Ｄ＋Ｇ＾２ｘとなる。
【００６１】
予測値Ｇ＾２ｘの算出例を以下に示す（符号化時に用いたものと同じ計算式を用いる）。
（６）平均予測１
単純にＧ２ｘの周りの４つのＧ１信号の平均値を用いたもの
【００６２】
【数９】
【００６３】
（７）平均予測２
Ｇ２ｘの周りの４つのＧ１信号の二乗平均値を用いたもの
【００６４】
【数１０】
【００６５】
（８）平均予測３
Ｇ２ｘの周りの４つのＧ１信号の二乗平均値と、現段階までに復号化処理されているＧ２信号成分のＧ２０、Ｇ２１とＧ２２の二乗平均値（Ｇ２ｘの上側の平均値）とＧ２３（Ｇ２ｘの左側の値）を重み付けで足した値を用いたもの
【００６６】
【数１１】
【００６７】
（９）コンテキストによる予測１
数１２のように、Ｇ２ｘの周りの、Ｇ１信号の一方の隣り合う差分値がεより小さく、かつ他方の隣り合う差分値がεより大きい場合には、差分値の小さい値をＧ２ｘの予測値として用いたもの
【００６８】
【数１２】
【００６９】
（１０）コンテキストによる予測２
数１３のように、Ｇ２ｘの周りの、Ｇ１信号の一方の隣り合う差分値がεより小さく、かつ他方の隣り合う差分値がεより大きい場合には、その差分が少ない方向の値が同じ値であると予測し、その方向にあるＧ２信号値をＧ２ｘの予測値として用いたもの
【００７０】
【数１３】
【００７１】
なお、Ｇ２ｘ信号の予測値Ｇ＾２ｘとして、Ｇ１０信号を用いてもよい。つまり、Ｇ２ｘ信号はＧ２ｘ＝Ｄ＋Ｇ１０となる。
【００７２】
以上、予測値の求め方について説明したが、本発明はベイヤー配列の単板式ＣＣＤ出力のような赤、青、第１緑、第２緑の４信号を、３信号と１信号に分解し、分解した赤と青と第１緑信号を３信号入力・３信号出力のカラー変換を用いて以後処理し、残りの第２緑信号はその予測値を計算して、その予測値との差分をとることで、現在、広く使われているカラー信号として３入力３出力の符号化処理を行う。
【００７３】
この４信号を、３信号と１信号に分解することにより、符号データの３信号のみを再現（復号）したものは、３信号入力の符号化の復号と同等であるので、符号化方式がスケーラブルな性質を持つもの、例えばＪＰＥＧ２０００やＪＰＥＧ ＸＲなどであれば、デジタルカメラのビューファインダに表示する画像を余分な回路を追加することなく行うことができ、ローコストにシステムを実現することが可能になる。
【００７４】
図８は、デジタルカメラの構成例を示す。ＣＣＤ６０１で取り込まれた画像は、補間処理部６０２に入り各信号が補間され、画像符号化器６０３で符号化された後に、記憶装置６０４に入力され、メモリカードなどに記憶される。記憶された符号データをプレビューするときは復号器６０５を使い復号した後に、ファインダー表示部６０６に縮小し表示する。
【００７５】
復号処理と縮小を同時に行うことも可能であり、例えばＪＰＥＧではＤＣ成分のみを取り出すことで１／６４サイズの画像を得ることができる。また、ファインダー表示時に符号化器から復号器へ直接データを渡す構成も可能である。
【００７６】
さて、以下に本発明を用いない場合のデジタルカメラの構成例を示す。図９に示す構成では、ＲＡＷデータの符号化として４コンポーネント（Ｒ、Ｇ１、Ｇ２、Ｂ）符号化器６０８が新たに追加される。また、そのＲＡＷデータ表示のために、４コンポーネント復号器６０９も新規に必要になり、ハードウエア構成が大きくなり、実装コストも増大する。
【００７７】
図１０は、ＲＡＷデータ符号器として４コンポーネント符号化器（ＪＰＥＧ ＸＲ）を用いた場合のデジタルカメラの構成例を示す。ＪＰＥＧ ＸＲでは、画像の色信号成分の最大値が３コンポーネントではないため、例えば１コンポーネントと３コンポーネントと４コンポーネントをサポートするＪＰＥＧ ＸＲを用いると、図１０のように構成できる。図９の構成例よりも符号器が減り、より構成しやすくなってはいるが、カラー変換として同等なゲート数の２種類のカラー変換（７０３、７０４）が必要になり、実装面積が増加する。また、表示のための復号側にも２種類のカラー変換（７０８、７０９）が必要となり、実装面積が増す。
【００７８】
図１１は、本発明を適用した場合のデジタルカメラの構成例を示す。この構成例では、符号化器としてＪＰＥＧ ＸＲを用いたものである。方式を明確にするため、カラー変換器７０３、逆カラー変換器７０８を別に記載しており、そのためブロックの数としては多いが、予測計算と差分のブロック７１２以外は、図８の構成例と同じである（カラー変換と符号化器がフルカラー用とＲＡＷデータ用に共用されている。ただし、Ｄ信号の符号化をＪＰＥＧ ＸＲで行う）。
【００７９】
つまり、本発明では、予測計算と差分のブロック７１２のみの追加で構成可能であり、また予測計算と差分のブロック自体は実装方式を選ぶことで、カラー変換器よりも少ない面積で実装可能である。また、ＲＡＷデータ表示のための特別なブロックを必要としない。
【００８０】
以上で説明したように、ベイヤー配列の単板式ＣＣＤを用いるデジタルカメラに、本発明を適用することにより、ＲＡＷデータの符号化を効率よく実装することができる。
【００８１】
本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。
【符号の説明】
【００８２】
３０１ ＣＣＤセンサ
３０２ カラー変換部
３０３ 予測値／差分値計算部
３０４ ＪＰＥＧ ＸＲ符号化部
３０５ ランレングス符号化部
３０６ 記憶装置
３０７ ＪＰＥＧ ＸＲ復号化部
３０８ 逆カラー変換部
３０９ ランレングス復号化部
３１０ Ｇ２信号復号化部
３１１ ＲＡＷデータ
３１２ ファインダー表示部
３１３ 外部表示部
【先行技術文献】
【特許文献】
【００８３】
【特許文献１】特開２００６−１２１６６９号公報
【特許文献２】特開２００６−０６７３９０号公報
【特許文献３】特開平９−６９５２号公報
【技術分野】
【０００１】
本発明は、単板式のカラー撮像素子から得られる画素データ（ＲＡＷデータ）を可逆色変換し、可逆のデータ圧縮／伸長を行う画像処理装置、画像処理方法、プログラムおよび記録媒体に関し、単板式のカラー撮像素子を用いたデジタルカメラにおけるカラー変換やデータ圧縮／伸長の技術分野などに好適な技術に関する。
【背景技術】
【０００２】
人間の視覚システムは、色差信号よりも輝度信号の方を重視して処理するシステムであるので、非可逆符号化の際に、色差信号よりも輝度信号成分に多くの情報量を割り当てることで、効率よく符号化ができる。この輝度色差の色空間として、Ｙ、Ｃｂ、Ｃｒ色座標系やＹ、Ｉ、Ｑ色座標系がある。
【０００３】
色空間は３次元以上のベクトル空間内の領域であり、何らかの基底、例えば３個の一次独立な３次元ベクトルで色座標系を定義する。一般に利用される色座標系はＲ（赤）、Ｇ（緑）、Ｂ（青）であり、それぞれ中心波長で定義される。３次元色座標系が与えられたとき、別の３次元線形色座標系を可逆の（正則の）３×３の行列により表すことができる。
例えば、Ｙ、Ｉ、Ｑ色座標系は、Ｒ、Ｇ、Ｂを用いて次の行列により定義される。
【０００４】
【数１】
【０００５】
なお、すべての色空間が線形であるわけではなく、例えば、人間の視覚系をより的確にモデル化するため、ベクトルを非線形的に（例えば対数的に）リスケールする色変換もある。その例がＣＩＥ Ｌ＊ｕ＊ｖとＬ＊ａ＊ｂである。
【０００６】
また、様々な理由により種々の色座標系が定義されている。例えば、データをモニターに表示する場合、殆どのデジタル画像は固定した値域、例えば８ビット／座標のＲ、Ｇ、Ｂ座標系を使うのが便利である。色の非相関性を要求する用途、例えば圧縮の場合、Ｒ、Ｇ、Ｂは最適とはいえず、上述のＹ、Ｉ、Ｑのような他の色座標系のほうが適している。
【０００７】
印刷用の画像には、ＣＹＭ（シアン、黄、マゼンタ）のような減色系が利用され、用途によっては４次元色空間、例えばＣＭＹＫ（シアン、黄、マゼンタ、黒）が利用される。
【０００８】
ところで、データ圧縮は、大量のデータの記憶及び伝送のために極めて有用なツールであり、文書のファクシミリ送信のような画像伝送に必要な時間は、符号化により画像を圧縮し、画像再生に必要なビット数を減らすと飛躍的に短縮される。
【０００９】
従来、種々のデータ圧縮手法があり、その圧縮手法は大きく２つの種類、すなわち可逆符号化と非可逆符号化に分類できる。非可逆符号化は情報の損失をもたらす符号化を含むため、原データを完全に復元できる保証はない。非可逆符号化の目標とするところは、原データとの違いが目立たないようにすることである。可逆符号化では、全ての情報が保存され、データは完全に復元できるような方法で圧縮される。
【００１０】
可逆符号化では、入力シンボル又は輝度データが出力符号語へ変換される。入力には画像データ、音声データ、一次元データ（例えば時間的に変化するデータ）、二次元データ（例えば２空間方向に変化するデータ）、あるいは多次元／多重スペクトルデータが含まれる。圧縮がうまくいけば、符号語は入力シンボル（又は輝度データ）数より少ないビットで表現される。可逆符号化法には、辞書符号化法（例えばＬｅｍｐｅｌ−Ｚｉｖ符号化法）、ランレングス符号化法、算術符号化法、エントロピー符号化法が含まれる。
【００１１】
可逆画像圧縮では、圧縮は予測又はコンテキスト及び符号化がベースになっている。ファクシミリ圧縮用ＪＢＩＧ規格と連続階調画像用ＤＰＣＭ（差動パルス符号変調−ＪＰＥＧ規格のオプション）は画像用の可逆圧縮の例である。非可逆圧縮では、入力シンボル又は輝度データは量子化されてから出力符号語へ変換される。量子化する目的は、適切な特徴量を保存する一方で重要度の低いデータを除去することである。非可逆圧縮システムはしばしば、量子化に先だってエネルギー集中のための変換を利用する。ベースラインＪＰＥＧは画像データ用非可逆符号化法の一例である。
従来、色座標系間変換が量子化と一緒に非可逆圧縮のために利用されてきた。実際、ＣＣＩＲ ６０１−１（ＹＣｂＣｒ）のように意図的に非可逆とした色空間もある。ある種の可逆システム又は可逆／非可逆システムにおいては、変換の可逆性と効率が主たる要件であり、別の可逆／非可逆システムでは、可逆変換の効率に加えて、色の非相関性も一つの要件である。例えば、上記３×３行列は、そのエントリーが非整数であるため非可逆圧縮にしか役に立たないので、非相関性が要求される時には圧縮と伸長を繰り返す間に誤差を増加させる。また、下位ビットに対しては、この３×３行列を適用するのは好ましくない。すなわち、この３×３行列を適用して必要な精度を得るためには、かつ、その後に逆処理を実行可能であって下位ビットを再現できるようにするためには、余分なビットを用いる必要がある。
【００１２】
色空間変換を行う時に、数値精度に関する問題が生じる。例えば、８ビットが入力される場合、必要な変換空間は一般に１０ビット又は１１ビットであり、また、安定な色空間を得るためには、内部計算でそれ以上に高い精度が必要である。画像がＲＧＢ色空間から変換されて圧縮され、そして伸長されてＲＧＢ色空間に戻されるという処理が、不十分な精度で繰り返し適用されると、誤差が累積する結果、元の色と最終的な色とが一致しなくなる。これは、色ドリフト又は色空間が不安定である結果といわれる。
【００１３】
ところで、デジタルカメラに内蔵されている単板式ＣＣＤは、１つずつの赤信号（Ｒ）と青信号（Ｂ）と２つの緑信号（Ｇ１とＧ２）が組み合わさった複数の連なりを出力（ＲＡＷデータ）する。デジタルカメラシステムは、このＣＣＤ出力中に足りない部分の画像信号を補間することで、ＲとＧとＢの一組の画像信号（１画素３色のフルカラー）を作り上げた後に、ＪＰＥＧ符号化などの符号化技術を用いて画像データを圧縮して蓄積部に保存する。
【００１４】
しかしながら、デジタルカメラや多くのソフトウェアで用いられているＪＰＥＧの符号化が扱える階調（画素のレンジ）が８ビットのままであり、近年のＣＣＤ出力のダイナミックレンジ（例えば１２ビット）を、デジタルカメラで用いているＪＰＥＧの符号化で取り扱いできないという不具合がある。また、ＣＣＤ出力（ＲＡＷデータ）を可逆符号化するために、３つのコンポーネントのみを対象とした一般のカラー変換方式のために、ＣＣＤ出力を補間処理して一組のＲとＧとＢ信号を得る方式を採用すると、ＲＡＷデータを可逆で符号を行うことが不可能になってしまう。
【００１５】
このため、ＣＣＤ出力のＲとＧ１とＢとＧ２信号をそのままの形で色変換する手法が種々提案されている（例えば、特許文献１、２を参照）。
【００１６】
例えば、特許文献１には、ＲとＧ１とＢとＧ２から輝度信号Ｙと色差信号ＣｏとＣｇとその他の信号Ｄｇに変換する方法が示されている。変換式としていくつか定義されているが、例えば以下の式が定義されている。
【００１７】
【数２】
この式では、輝度信号Ｙと色差信号Ｃｇの計算にＲとＧ１とＢとＧ２のすべての値を用いている。
【００１８】
特許文献２も特許文献１と同様に、ＲとＧ１とＢとＧ２から輝度信号Ｙと色差信号ＣｒとＣｂとその他の信号Ｃｇに変換する方法が示され、輝度信号Ｙの計算に、ＲとＧ１とＢとＧ２のすべての値を用いて計算を行っている。
【００１９】
これら特許文献１、２に示されている、ＲとＧ１とＢとＧ２からの色変換方式は、第１の緑信号Ｇ１と第２の緑信号Ｇ２の値を使用する計算式を用い、符号化に適した可逆な色変換式を提案している。
【発明の概要】
【発明が解決しようとする課題】
【００２０】
しかしながら、上記した色変換式は少なくとも１つの値を計算するために４信号の入力を必要とし、また色差値の計算にＧ１とＧ２の両方を必要としているため、ＪＰＥＧやＪＰＥＧ ＸＲなどで用いられている３信号を入力する式をそのままの形で用いることができない。
【００２１】
そのため、可逆変換をサポートしている符号方式、例えばＪＰＥＧ２０００やＪＰＥＧ ＸＲなどをＲＡＷデータの符号化に適用するのが難しくなり、このＲＡＷデータを符号化する新たな方式を導入しなければならなくなる。このことは、コスト面やデザイン面で回路実装面積を少なくする必要があるデジタルカメラシステムにおいては、重大なマイナスとなる。
【００２２】
本発明は上記した課題に鑑みてなされたもので、
本発明の目的は、ＲＧＢＧの４信号を３信号と１信号に分けることにより、３信号に対して、一般に用いられている３信号入力の色変換方式を用い、デジタルカメラなどで用いられている符号化方式を変形することなく、そのままの形で適用することにより、余分な回路やプログラムの実装を回避し、実装上のコストダウンを図り、１信号に対しては効率的な予測手法を用いて符号化効率を向上させた画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【００２３】
本発明は、ベイヤー配列の単板式ＣＣＤセンサにより取り込まれた画像について、赤信号と第１緑信号と青信号と第２緑信号の４信号を単位として順次処理する画像処理装置であって、前記赤信号と第１緑信号と青信号の３信号を、輝度信号と色差信号に変換するカラー変換手段と、前記輝度信号と色差信号を圧縮して符号化する第１の符号化手段と、前記第２緑信号の予測値を算出し、前記算出された予測値と前記第２緑信号との差分信号を算出する算出手段と、前記算出された差分信号を圧縮して符号化する第２の符号化手段とを備えたことを最も主要な特徴とする。
【発明の効果】
【００２４】
本発明によれば、ＲＧＢＧの４信号を３信号と１信号に分けることにより、３信号に対して既存のノウハウがある高速カラー変換方式を使用することができ、１信号に対しては効率的な予測手法を用いることができるので、符号化の効率が向上する。また、ビューファインダに表示する際には、３信号の処理のみで縮小画像が構成されるので、演算量が少なくなり、高速に表示可能となる。
【図面の簡単な説明】
【００２５】
【図１】一般的な符号化システムの構成例を示す。
【図２】ＪＰＥＧ ＸＲの構成例を示す。
【図３】本発明の実施例の構成を示す。
【図４】ベイヤー配列の単板式ＣＣＤセンサからの出力（ＲＡＷデータ）を示す。
【図５】予測値／差分値計算部とランレングス符号化部の処理フローチャートを示す。
【図６】Ｇ２の予測値の計算例を説明する図を示す。
【図７】Ｇ２信号復号化部とランレングス復号化部の処理フローチャートを示す。
【図８】デジタルカメラの構成例を示す。
【図９】本発明を用いない場合のデジタルカメラの構成例を示す。
【図１０】符号器としてＪＰＥＧ ＸＲを用いた場合のデジタルカメラの構成例を示す。
【図１１】本発明を適用した場合のデジタルカメラの構成例を示す。
【発明を実施するための形態】
【００２６】
以下、発明の実施の形態について図面により詳細に説明する。
【実施例１】
【００２７】
図１は、一般的な符号化システムの構成例を示す。図１において、１０１はカラー変換部、１０２は画像変換部（例えば、ＤＣＴなど）、１０３は量子化部、１０４は係数予測部、１０５は係数スキャン部、１０６はエントロピー符号化部である。
【００２８】
図１に示す構成例のように、カラー変換処理は符号化で用いられ、人間の視覚システムの特性を用いた符号化方式に適用するために、ＣＣＤなどの撮像器で得られたＲＧＢ色空間の入力値を輝度色差色空間へと変換する。このカラー変換として、ＲＧＢからＹＵＶやＹＣｒＣｂの色空間へ変換する。
【００２９】
例えば、ＪＰＥＧ ＸＲでは、図２に示すように、可逆のカラー変換処理２０１が最初に実行される。図２において、２０１はカラー変換部、２０２はＪＰＥＧ ＸＲの画像変換部である。画像変換部２０２は第１のオーバーラップフィルタ２０３と第１のコアトランスフォーム２０４と第２のオーバーラップフィルタ２０５と第２のコアトランスフォーム２０６からなる。２０７は量子化部、２０８はＤＣＡＣ予測部、２０９は係数スキャン部、２１０はエントロピー符号化部、２１１はビットストリーム生成部である。
【００３０】
本発明はカラー変換に関わり、ベイヤー配列の単板式ＣＣＤの出力である、赤、青、緑、緑の４信号をそのまま一般の符号化方式、例えばＪＰＥＧ２０００やＪＰＥＧ ＸＲなどで符号化するときに、赤と青と緑の３信号を用いて一般的に用いられている３信号入力・３信号出力のカラー変換を用いて以後処理し、残りの緑信号（１信号）はカラー変換処理に用いた緑信号との差分、もしくは予測値を計算してその予測値との差分をとり、以後の符号化処理を行う。この一般の３信号入出力のカラー変換を用いることで、３信号のみのデータを再現（復号）したものは元のＲＡＷデータをアップサンプリングして得られた画像の１／４サイズになるため、例えば、デジタルカメラ画像の最大サイズの縦と横それぞれ半分のサイズとなり、符号化方式がスケーラブルな性質を持つもの、例えばＪＰＥＧ２０００やＪＰＥＧ ＸＲなどであれば、デジタルカメラのビューファインダに、余分な回路を追加することなく画像を表示することができ、ローコストにシステムを実現可能になる。
【００３１】
ＪＰＥＧ２０００においても基本的な構成は同じであり、画像変換としてウェーブレットが用いられている。可逆時のＪＰＥＧ２０００では、可逆のカラー変換（ＲＣＴ）を用い（例えば、特許文献３を参照）、以下の式で実現する。
【００３２】
【数３】
【００３３】
図３は、本発明の実施例の構成を示す。３０１はベイヤー配列の単板式ＣＣＤセンサ、３０２はカラー変換部、３０３は予測値／差分値計算部（以下、計算部）、３０４はＪＰＥＧ ＸＲ符号化部、３０５はランレングス符号化部、３０６は記憶装置、３０７はＪＰＥＧ ＸＲ復号化部、３０８は逆カラー変換部、３０９はランレングス復号化部、３１０はＧ２信号復号化部、３１１は復元されたＲＡＷデータ、３１２はファインダー表示部、３１３は外部表示部である。
【００３４】
図４は、ベイヤー配列の単板式ＣＣＤセンサからの出力（ＲＡＷデータ）を示す。カラー変換部３０２、計算部３０３は、Ｇ、Ｂ／Ｒ、Ｇ（並び方はこの例に限定されない）の４画素の信号を単位として、順次ｘ方向（主走査方向）、ｙ方向（副走査方向）に処理する。
【００３５】
Ｇ、Ｂ／Ｒ、Ｇ信号をＧ１、Ｂ／Ｒ、Ｇ２としたとき、Ｇ１、Ｂ／Ｒ、Ｇ２信号を、Ｒ、Ｇ１、Ｂ信号とＧ２信号の２つの信号に分けて、カラー変換部３０２では、Ｒ、Ｇ１、Ｂ信号に対して既存の可逆カラー変換手法（数３）を用い、１つの輝度信号Ｙと２つの色差信号Ｕ、Ｖを求める。カラー変換部３０２からの出力Ｙ、Ｕ、Ｖ信号は、ＲＡＷデータに比べて解像度が１／４となる（出力Ｙ、Ｕ、Ｖの画素（１画素）は、Ｇ、Ｂ／Ｒ、Ｇの４画素の中心にあるものと考える）。
【００３６】
Ｙ、Ｕ、Ｖ信号は、ＪＰＥＧ ＸＲ符号化部３０４により符号化されて、記憶装置３０６に記憶される。
【００３７】
一方、計算部３０３は、Ｇ２信号の予測値Ｇ＾２と差分値Ｄを計算する。図５は計算部とランレングス符号化部の処理フローチャートを示し、図６はＧ２の予測値の計算例を説明する図を示す。
【００３８】
図５、６を参照して、計算部における処理を説明する。ステップ４０１において、緑信号Ｇ２の予測値Ｇ＾２を計算する。図６において、ラスタスキャン順に、緑信号Ｇ２０、Ｇ２１、Ｇ２２、Ｇ２、Ｇ２３の各画素の予測値と差分値が計算され、符号化され、今、処理対象となる緑信号Ｇ２の画素がＧ２ｘであるとする。
【００３９】
Ｇ２ｘを、予測対象（処理対象）となる画素（注目画素）の画素値とし、Ｇ＾２ｘを予測値とすると、
差分値ＤはＤ＝Ｇ２ｘ−Ｇ＾２ｘ
となる（ステップ４０２）。この差分値Ｄを符号化する（ステップ４０３）。上記した処理を全てのＧ２信号の画素（１画面）について行う（ステップ４０４）。
【００４０】
予測値Ｇ＾２ｘの算出例を以下に示す。
（１）平均予測１
単純にＧ２ｘの周りの４つのＧ１信号（Ｇ１０〜Ｇ１３）の平均値を用いたものを予測値とする。
【００４１】
【数４】
【００４２】
（２）平均予測２
Ｇ２ｘの周りの４つのＧ１信号（Ｇ１０〜Ｇ１３）の二乗平均値を用いたものを予測値とする。
【００４３】
【数５】
【００４４】
予測値として予測対象の近傍の緑信号を用いて、その平均を予測値とすることを示している。自然画像などでは一般的に滑らかに変化することが多く、また、近年のデジタルカメラの解像度の向上から近接の信号値は同様な性質で変化することが予測されるため近傍の平均値は良い予測値を出すことが期待される。
【００４５】
（３）平均予測３
Ｇ２ｘの周りの４つのＧ１信号の二乗平均値と、現段階までに符号化処理されているＧ２信号成分のＧ２０、Ｇ２１、Ｇ２２の二乗平均値（Ｇ２ｘの上側の平均値）と、Ｇ２３（Ｇ２ｘの左側の値）を重み付けで足した値を用いたものを予測値とする。
【００４６】
【数６】
【００４７】
以下は、予測値の計算を予測対象の周りの緑信号のコンディションにより計算式を切り替える方式である。
【００４８】
（４）コンテキストによる予測１
数７のように、Ｇ２ｘの周りの、Ｇ１信号の一方の隣り合う差分値がεより小さく、かつ他方の隣り合う差分値がεより大きい場合には、差分値の小さい値をＧ２ｘの予測値として用いる。
【００４９】
【数７】
【００５０】
（５）コンテキストによる予測２
数８のように、Ｇ２ｘの周りの、Ｇ１信号の一方の隣り合う差分値がεより小さく、かつ他方の隣り合う差分値がεより大きい場合には、その差分が少ない方向の値が同じ値であると予測し、その方向にあるＧ２信号値をＧ２ｘの予測値として用いる。
【００５１】
【数８】
【００５２】
なお、Ｇ２ｘ信号の予測値として、Ｇ１信号（Ｇ１０信号）を用いてもよい。つまり、差分信号ＤはＤ＝Ｇ２ｘ−Ｇ１０となる。自然画像の性質や近年のデジタルカメラの解像度の向上から、近接の信号値は近い値を持つことが多いことから、単にＧ１を用いることでも効率的な予測値となることが期待される。
【００５３】
上記したようにしてＧ２ｘ信号の予測値を計算し、Ｇ２ｘとその予測値との差分値Ｄを符号化する。予測値との差分値Ｄは、値０もしくは値０に近い値の出現回数が多くなり、値０に近い値に対して短い符号を割り当るランレングス符号化手法を用いたときは、圧縮率を高められることが期待できる。
【００５４】
１枚の画像について算出された差分値Ｄは、ランレングス符号化部３０５により符号化されて、記憶装置３０６に格納される。
【００５５】
次に、復号化処理について説明する。記憶装置３０６に格納されている符号化データは、ＪＰＥＧ ＸＲ復号化部３０７により復号化された後、逆カラー変換部３０８により、復号化されたＹＵＶ信号がＲ、Ｇ１、Ｂ信号に逆変換（数３）される。Ｒ、Ｇ１、Ｂ信号に逆変換された画像データは、簡易表示する際には、ファインダー３１２に縮小画像を表示する。本発明では、一般のカラー変換式を用い、Ｄ信号を無視することで、圧縮されたＲＡＷデータの縮小画像がシステム内部で用いられている符号化方式と全く同一になるため、プレビューとしてのサムネイル画像表示をローコストで実現できる。
【００５６】
一方、記憶装置３０６内のＤ信号を、ランレングス復号化部３０９で復号化し、Ｇ２信号復号化部３１０は復号化されたＤ信号と予測値Ｇ＾２を基にＧ２信号を復号化する。復号化されたＧ２信号と逆カラー変換されたＲ、Ｇ１、Ｂ信号によりＲＡＷデータ３１１が復元される。
【００５７】
図７は、Ｇ２信号復号化部とランレングス復号化部の処理フローチャートを示す。
【００５８】
まず、差分値Ｄを復号して（ステップ５０１）、Ｇ２ｘの予測値Ｇ＾２ｘを計算し（ステップ５０２）、その予測値Ｇ＾２ｘと差分値Ｄを加算することで（ステップ５０３）、元の値のＧ２ｘを復号する。上記した処理を全てのＧ２信号の画素（１画面）について行う（ステップ５０４）。
【００５９】
復号は、Ｇ１信号成分とＧ２信号成分を別々に処理できる。よって、Ｇ１信号成分の復号をＧ２よりも先に処理できるので、図６に示すように、Ｇ２ｘの予測値を再現するときには、Ｇ１０、Ｇ１１、Ｇ１２およびＧ１３信号値は復号されている。また、Ｇ２を例えばラスター順で復号した際には、図６に示されるようにＧ２０、Ｇ２１、Ｇ２２およびＧ２３信号の値は、Ｇ２ｘよりも前に復号化されたＧ２信号であるため、Ｇ２ｘの予測値を再現するときには、それらのＧ２信号は復号されている。
【００６０】
Ｇ＾２ｘを予測値、復号された差分値をＤとすると、復号値Ｇ２ｘは、
Ｇ２ｘ＝Ｄ＋Ｇ＾２ｘとなる。
【００６１】
予測値Ｇ＾２ｘの算出例を以下に示す（符号化時に用いたものと同じ計算式を用いる）。
（６）平均予測１
単純にＧ２ｘの周りの４つのＧ１信号の平均値を用いたもの
【００６２】
【数９】
【００６３】
（７）平均予測２
Ｇ２ｘの周りの４つのＧ１信号の二乗平均値を用いたもの
【００６４】
【数１０】
【００６５】
（８）平均予測３
Ｇ２ｘの周りの４つのＧ１信号の二乗平均値と、現段階までに復号化処理されているＧ２信号成分のＧ２０、Ｇ２１とＧ２２の二乗平均値（Ｇ２ｘの上側の平均値）とＧ２３（Ｇ２ｘの左側の値）を重み付けで足した値を用いたもの
【００６６】
【数１１】
【００６７】
（９）コンテキストによる予測１
数１２のように、Ｇ２ｘの周りの、Ｇ１信号の一方の隣り合う差分値がεより小さく、かつ他方の隣り合う差分値がεより大きい場合には、差分値の小さい値をＧ２ｘの予測値として用いたもの
【００６８】
【数１２】
【００６９】
（１０）コンテキストによる予測２
数１３のように、Ｇ２ｘの周りの、Ｇ１信号の一方の隣り合う差分値がεより小さく、かつ他方の隣り合う差分値がεより大きい場合には、その差分が少ない方向の値が同じ値であると予測し、その方向にあるＧ２信号値をＧ２ｘの予測値として用いたもの
【００７０】
【数１３】
【００７１】
なお、Ｇ２ｘ信号の予測値Ｇ＾２ｘとして、Ｇ１０信号を用いてもよい。つまり、Ｇ２ｘ信号はＧ２ｘ＝Ｄ＋Ｇ１０となる。
【００７２】
以上、予測値の求め方について説明したが、本発明はベイヤー配列の単板式ＣＣＤ出力のような赤、青、第１緑、第２緑の４信号を、３信号と１信号に分解し、分解した赤と青と第１緑信号を３信号入力・３信号出力のカラー変換を用いて以後処理し、残りの第２緑信号はその予測値を計算して、その予測値との差分をとることで、現在、広く使われているカラー信号として３入力３出力の符号化処理を行う。
【００７３】
この４信号を、３信号と１信号に分解することにより、符号データの３信号のみを再現（復号）したものは、３信号入力の符号化の復号と同等であるので、符号化方式がスケーラブルな性質を持つもの、例えばＪＰＥＧ２０００やＪＰＥＧ ＸＲなどであれば、デジタルカメラのビューファインダに表示する画像を余分な回路を追加することなく行うことができ、ローコストにシステムを実現することが可能になる。
【００７４】
図８は、デジタルカメラの構成例を示す。ＣＣＤ６０１で取り込まれた画像は、補間処理部６０２に入り各信号が補間され、画像符号化器６０３で符号化された後に、記憶装置６０４に入力され、メモリカードなどに記憶される。記憶された符号データをプレビューするときは復号器６０５を使い復号した後に、ファインダー表示部６０６に縮小し表示する。
【００７５】
復号処理と縮小を同時に行うことも可能であり、例えばＪＰＥＧではＤＣ成分のみを取り出すことで１／６４サイズの画像を得ることができる。また、ファインダー表示時に符号化器から復号器へ直接データを渡す構成も可能である。
【００７６】
さて、以下に本発明を用いない場合のデジタルカメラの構成例を示す。図９に示す構成では、ＲＡＷデータの符号化として４コンポーネント（Ｒ、Ｇ１、Ｇ２、Ｂ）符号化器６０８が新たに追加される。また、そのＲＡＷデータ表示のために、４コンポーネント復号器６０９も新規に必要になり、ハードウエア構成が大きくなり、実装コストも増大する。
【００７７】
図１０は、ＲＡＷデータ符号器として４コンポーネント符号化器（ＪＰＥＧ ＸＲ）を用いた場合のデジタルカメラの構成例を示す。ＪＰＥＧ ＸＲでは、画像の色信号成分の最大値が３コンポーネントではないため、例えば１コンポーネントと３コンポーネントと４コンポーネントをサポートするＪＰＥＧ ＸＲを用いると、図１０のように構成できる。図９の構成例よりも符号器が減り、より構成しやすくなってはいるが、カラー変換として同等なゲート数の２種類のカラー変換（７０３、７０４）が必要になり、実装面積が増加する。また、表示のための復号側にも２種類のカラー変換（７０８、７０９）が必要となり、実装面積が増す。
【００７８】
図１１は、本発明を適用した場合のデジタルカメラの構成例を示す。この構成例では、符号化器としてＪＰＥＧ ＸＲを用いたものである。方式を明確にするため、カラー変換器７０３、逆カラー変換器７０８を別に記載しており、そのためブロックの数としては多いが、予測計算と差分のブロック７１２以外は、図８の構成例と同じである（カラー変換と符号化器がフルカラー用とＲＡＷデータ用に共用されている。ただし、Ｄ信号の符号化をＪＰＥＧ ＸＲで行う）。
【００７９】
つまり、本発明では、予測計算と差分のブロック７１２のみの追加で構成可能であり、また予測計算と差分のブロック自体は実装方式を選ぶことで、カラー変換器よりも少ない面積で実装可能である。また、ＲＡＷデータ表示のための特別なブロックを必要としない。
【００８０】
以上で説明したように、ベイヤー配列の単板式ＣＣＤを用いるデジタルカメラに、本発明を適用することにより、ＲＡＷデータの符号化を効率よく実装することができる。
【００８１】
本発明は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。
【符号の説明】
【００８２】
３０１ ＣＣＤセンサ
３０２ カラー変換部
３０３ 予測値／差分値計算部
３０４ ＪＰＥＧ ＸＲ符号化部
３０５ ランレングス符号化部
３０６ 記憶装置
３０７ ＪＰＥＧ ＸＲ復号化部
３０８ 逆カラー変換部
３０９ ランレングス復号化部
３１０ Ｇ２信号復号化部
３１１ ＲＡＷデータ
３１２ ファインダー表示部
３１３ 外部表示部
【先行技術文献】
【特許文献】
【００８３】
【特許文献１】特開２００６−１２１６６９号公報
【特許文献２】特開２００６−０６７３９０号公報
【特許文献３】特開平９−６９５２号公報
【特許請求の範囲】
【請求項１】
ベイヤー配列の単板式ＣＣＤセンサにより取り込まれた画像について、赤信号と第１緑信号と青信号と第２緑信号の４信号を単位として順次処理する画像処理装置であって、前記赤信号と第１緑信号と青信号の３信号を、輝度信号と色差信号に変換するカラー変換手段と、前記輝度信号と色差信号を圧縮して符号化する第１の符号化手段と、前記第２緑信号の予測値を算出し、前記算出された予測値と前記第２緑信号との差分信号を算出する算出手段と、前記算出された差分信号を圧縮して符号化する第２の符号化手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記予測値として、前記第２緑信号の近傍にある、前記第１緑信号を用いることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記予測値として、前記第２緑信号の近傍にある、前記第１緑信号と、既に符号化処理されている第２緑信号とを用いることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記予測値として、前記第２緑信号の近傍にある、隣接する前記第１緑信号間の差分値の大きさに応じて選択される一対の第１緑信号、または前記一対の第１緑信号の近傍にある既に符号化処理されている第２緑信号を用いることを特徴とする請求項１記載の画像処理装置。
【請求項５】
ベイヤー配列の単板式ＣＣＤセンサにより取り込まれた画像について、赤信号と第１緑信号と青信号と第２緑信号の４信号を単位として順次処理する画像処理装置であって、符号化された輝度信号と色差信号を復号化する第１の復号化手段と、前記復号化された輝度信号と色差信号を、赤信号と第１緑信号と青信号に逆変換する逆カラー変換手段と、符号化された差分信号を復号化する第２の復号化手段と、復号化された差分信号と、第２緑信号の予測値とを基に、前記第２緑信号を復号化する第３の復号化手段とを備えたことを特徴とする画像処理装置。
【請求項６】
前記予測値として、前記第２緑信号の近傍にある、前記第１緑信号を用いることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記予測値として、前記第２緑信号の近傍にある、前記第１緑信号と、既に復号化処理されている第２緑信号とを用いることを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記予測値として、前記第２緑信号の近傍にある、隣接する前記第１緑信号間の差分値の大きさに応じて選択される一対の第１緑信号、または前記一対の第１緑信号の近傍にある既に復号化処理されている第２緑信号を用いることを特徴とする請求項５記載の画像処理装置。
【請求項９】
ベイヤー配列の単板式ＣＣＤセンサにより取り込まれた画像について、赤信号と第１緑信号と青信号と第２緑信号の４信号を単位として順次処理する画像処理方法であって、前記赤信号と第１緑信号と青信号の３信号を、輝度信号と色差信号に変換するカラー変換工程と、前記輝度信号と色差信号を圧縮して符号化する第１の符号化工程と、前記第２緑信号の予測値を算出し、前記算出された予測値と前記第２緑信号との差分信号を算出する算出工程と、前記算出された差分信号を圧縮して符号化する第２の符号化工程とを備えたことを特徴とする画像処理方法。
【請求項１０】
ベイヤー配列の単板式ＣＣＤセンサにより取り込まれた画像について、赤信号と第１緑信号と青信号と第２緑信号の４信号を単位として順次処理する画像処理方法であって、符号化された輝度信号と色差信号を復号化する第１の復号化工程と、前記復号化された輝度信号と色差信号を、赤信号と第１緑信号と青信号に逆変換する逆カラー変換工程と、符号化された差分信号を復号化する第２の復号化工程と、復号化された差分信号と、第２緑信号の予測値とを基に、前記第２緑信号を復号化する第３の復号化工程とを備えたことを特徴とする画像処理方法。
【請求項１１】
請求項９または１０記載の画像処理方法をコンピュータに実現させるためのプログラム。
【請求項１２】
請求項９または１０記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
ベイヤー配列の単板式ＣＣＤセンサにより取り込まれた画像について、赤信号と第１緑信号と青信号と第２緑信号の４信号を単位として順次処理する画像処理装置であって、前記赤信号と第１緑信号と青信号の３信号を、輝度信号と色差信号に変換するカラー変換手段と、前記輝度信号と色差信号を圧縮して符号化する第１の符号化手段と、前記第２緑信号の予測値を算出し、前記算出された予測値と前記第２緑信号との差分信号を算出する算出手段と、前記算出された差分信号を圧縮して符号化する第２の符号化手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記予測値として、前記第２緑信号の近傍にある、前記第１緑信号を用いることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記予測値として、前記第２緑信号の近傍にある、前記第１緑信号と、既に符号化処理されている第２緑信号とを用いることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記予測値として、前記第２緑信号の近傍にある、隣接する前記第１緑信号間の差分値の大きさに応じて選択される一対の第１緑信号、または前記一対の第１緑信号の近傍にある既に符号化処理されている第２緑信号を用いることを特徴とする請求項１記載の画像処理装置。
【請求項５】
ベイヤー配列の単板式ＣＣＤセンサにより取り込まれた画像について、赤信号と第１緑信号と青信号と第２緑信号の４信号を単位として順次処理する画像処理装置であって、符号化された輝度信号と色差信号を復号化する第１の復号化手段と、前記復号化された輝度信号と色差信号を、赤信号と第１緑信号と青信号に逆変換する逆カラー変換手段と、符号化された差分信号を復号化する第２の復号化手段と、復号化された差分信号と、第２緑信号の予測値とを基に、前記第２緑信号を復号化する第３の復号化手段とを備えたことを特徴とする画像処理装置。
【請求項６】
前記予測値として、前記第２緑信号の近傍にある、前記第１緑信号を用いることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記予測値として、前記第２緑信号の近傍にある、前記第１緑信号と、既に復号化処理されている第２緑信号とを用いることを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記予測値として、前記第２緑信号の近傍にある、隣接する前記第１緑信号間の差分値の大きさに応じて選択される一対の第１緑信号、または前記一対の第１緑信号の近傍にある既に復号化処理されている第２緑信号を用いることを特徴とする請求項５記載の画像処理装置。
【請求項９】
ベイヤー配列の単板式ＣＣＤセンサにより取り込まれた画像について、赤信号と第１緑信号と青信号と第２緑信号の４信号を単位として順次処理する画像処理方法であって、前記赤信号と第１緑信号と青信号の３信号を、輝度信号と色差信号に変換するカラー変換工程と、前記輝度信号と色差信号を圧縮して符号化する第１の符号化工程と、前記第２緑信号の予測値を算出し、前記算出された予測値と前記第２緑信号との差分信号を算出する算出工程と、前記算出された差分信号を圧縮して符号化する第２の符号化工程とを備えたことを特徴とする画像処理方法。
【請求項１０】
ベイヤー配列の単板式ＣＣＤセンサにより取り込まれた画像について、赤信号と第１緑信号と青信号と第２緑信号の４信号を単位として順次処理する画像処理方法であって、符号化された輝度信号と色差信号を復号化する第１の復号化工程と、前記復号化された輝度信号と色差信号を、赤信号と第１緑信号と青信号に逆変換する逆カラー変換工程と、符号化された差分信号を復号化する第２の復号化工程と、復号化された差分信号と、第２緑信号の予測値とを基に、前記第２緑信号を復号化する第３の復号化工程とを備えたことを特徴とする画像処理方法。
【請求項１１】
請求項９または１０記載の画像処理方法をコンピュータに実現させるためのプログラム。
【請求項１２】
請求項９または１０記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１５３４７（Ｐ２０１１−１５３４７Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５９８６５（Ｐ２００９−１５９８６５）
【出願日】平成２１年７月６日（２００９．７．６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年７月６日（２００９．７．６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]