画像圧縮装置、撮像装置、および画像圧縮方法
【課題】カラーフィルタアレイ（ＣＦＡ）画像を可逆圧縮する際のデータ圧縮率を高めることを可能とする。
【解決手段】入力したＣＦＡ画像中の一つの画素が注目画素として設定される。第１の適性指標導出部１０６は、注目画素の近傍に存在する複数色の近傍画素のうち、注目画素と同じ色の画素である同色近傍画素の画素値を参照して注目画素の画素値を予測する第１予測方式に対する適性の指標である第１の適性指標を導出する。第２の適性指標導出部１０８は、複数色の近傍画素のうち、注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および同色近傍画素の画素値の双方を参照して注目画素の画素値を予測する第２予測方式に対する適性の指標である第２の適性指標を導出する。予測値算出部１１２は、第１の適性指標と前記第２の適性指標とに基づいて決定された第１予測方式または第２予測方式で注目画素の予測値を算出する。
【解決手段】入力したＣＦＡ画像中の一つの画素が注目画素として設定される。第１の適性指標導出部１０６は、注目画素の近傍に存在する複数色の近傍画素のうち、注目画素と同じ色の画素である同色近傍画素の画素値を参照して注目画素の画素値を予測する第１予測方式に対する適性の指標である第１の適性指標を導出する。第２の適性指標導出部１０８は、複数色の近傍画素のうち、注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および同色近傍画素の画素値の双方を参照して注目画素の画素値を予測する第２予測方式に対する適性の指標である第２の適性指標を導出する。予測値算出部１１２は、第１の適性指標と前記第２の適性指標とに基づいて決定された第１予測方式または第２予測方式で注目画素の予測値を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子から得られた画像データを可逆圧縮する技術に関し、特にデモザイク前のカラーフィルタアレイ画像データを可逆圧縮する画像圧縮装置、撮像装置、および画像圧縮方法に関する。
【背景技術】
【０００２】
現在、撮像素子の高画素化が進み、画像１枚当たりのデータ量は非常に大きいものとなっている。しかし、記憶媒体の記憶容量は有限であるため、一般に、撮像された画像はデータ圧縮により、そのデータ量を減じてから記録される。例えば、デジタルスチルカメラに代表されるような電子撮像装置では、ＪＰＥＧ等の非可逆圧縮にて充分にデータ量を小さくしてから記録されることが多い。但し、用途によっては、画像劣化を伴う非可逆圧縮ではなく、可逆圧縮が好まれる場合もある。例えば、一連のデジタル画像処理を省略し、撮像素子からのデジタル出力そのものを記録するＲＡＷ画像データ記録機能を有するデジタルスチルカメラでは、その記録時に可逆圧縮を行うものが多い。
【０００３】
可逆圧縮には幾つかの方式が存在しているが、そのうち多くの場合に使用されている方式の一つに予測符号化がある。予測符号化は、注目画素の値を予測するための複数の予測方法を予め定め、その予測方法を用いて求められる値（予測値）と実際の値との差分（予測差分）を求めて、予測方法を特定する情報とともに記録する方式である。元の画像データで各画素の値が様々な値にばらついていたとしても、適切な予測方法を設定することができれば、予測差分のばらつき幅を減じ、０に近い値に集中させることができる。このとき、予測方法の種類数を減じることが情報量を増加させないようにするために必要となる。つまり、限られた種類の予測方法を用いて、画像中のあらゆる画素パターンに対応して予測差分のばらつきが減じられるようにすることが圧縮率を高める上で有効となる。
【０００４】
画像データでは、注目画素とその隣接画素の値は類似していることが多い。したがって、注目画素の予測値を求める際に、隣接画素の値をそのまま用いても、あるいは隣接画素から単純な計算にて求めても予測差分は比較的小さな値となり、その効果が大きいことから予測符号化の方式が多く使用されている。
【０００５】
ばらつき幅の減じられた予測差分のデータは、エントロピー符号化等の手法を用い、出現頻度に応じた可変ビット長の符号を割り当てることにより、圧縮することができる。
【０００６】
しかし、ＲＡＷ画像データの圧縮においては、必ずしも高い圧縮比が得られない場合がある。この理由について説明する。現在、多くの撮像装置では、ベイヤー配列のオンチップカラーフィルタを備える単板撮像素子が用いられている。撮像素子から出力され、デモザイク処理される前の画像データ、すなわちＣＦＡ（Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙ）画像データは、隣接画素の色成分が互いに異なるものとなっている。ここで、ある画素を注目画素と称し、注目画素に隣接して位置する画素を隣接画素と称する。デモザイク処理される前の画像データにおいては、注目画素と隣接画素とは異なる色成分となっている。したがってこれらの注目画素および隣接画素間で画素値の類似性は高くはなく、単純に隣接画素の画素値から予測値を求めたのでは、予測差分のばらつきは大きくなり、圧縮率を高めることは難しくなる。
【０００７】
そこで、特許文献１では、注目画素と同色の近傍画素を用いて予測差分を求める方法が提案されている。つまり、ＣＦＡ画像中、同色の画素は一つおきに配列されているので、注目画素から２画素分シフトした位置にある同色画素を近傍画素とする。この近傍画素及び隣接異色画素を用い、予測値を求めて予測差分を評価し、その結果から最適と考えられる予測方式を当該注目画素に適用するものである。また、特許文献２では、色成分間の相関性を利用する方法が提案されている。これはＲＡＷ画像データを色成分毎に分離し、基準色成分と基準色以外の色成分の差分を求める方法である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−２４４９３５号公報
【特許文献２】特開２００５−２８６４１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献２に開示される方法では、基準色と基準色以外の色成分との相関性が低い場合に、予測差分のばらつきが大きくなってしまい、圧縮率が低下する。この点、特許文献１に開示される方法では、色成分毎の相関性が高い場合と低い場合で適応的に予測方式を選択し予測差分を算出できるが、注目画素そのものについての最適な予測方式を必ずしも選択できるわけではない。特に高周波数成分の多い領域においては、最適な予測方式を設定できず、予測差分が大きくなることが多い。そのため、圧縮率が低下する。
【００１０】
本発明は、上記の課題に鑑みてなされたものであり、デモザイク処理前のＣＦＡ画像を可逆圧縮する際のデータ圧縮率を高めることが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のある態様によれば、受光面上に複数色の色分解用カラーフィルタが配列された撮像素子から出力されたカラーフィルタアレイ画像を圧縮する画像圧縮装置が、
前記カラーフィルタアレイ画像中の一つの画素を注目画素として設定し、当該注目画素の近傍に存在する複数色の近傍画素のうち、前記注目画素と同じ色の画素である同色近傍画素の画素値を参照して前記注目画素の画素値を予測する第１予測方式に対する適性の指標である第１の適性指標を導出する第１の適性指標導出部と、
前記複数色の近傍画素のうち、前記注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および前記同色近傍画素の画素値の双方を参照して前記注目画素の画素値を予測する第２予測方式に対する適性の指標である第２の適性指標を導出する第２の適性指標導出部と、
前記第１の適性指標と前記第２の適性指標とに基づき、前記第１予測方式および前記第２予測方式のうちのいずれかに決定し、該決定した予測方式で前記注目画素の予測値を算出する予測値算出部と、
前記注目画素の実際の値と前記予測値との差である予測誤差を算出する予測誤差算出部とを備える。
【００１２】
本発明のある態様によれば、受光面上に複数色の色分解用カラーフィルタが配列されてカラーフィルタアレイ画像を出力可能な撮像素子を備える撮像装置が、前記画像圧縮装置を備える。
【００１３】
本発明のある態様によれば、受光面上に複数色の色分解用カラーフィルタが配列された撮像素子によって得られたカラーフィルタアレイ画像を圧縮する画像圧縮方法が、
前記カラーフィルタアレイ画像中の一つの画素を注目画素として設定し、当該注目画素の近傍に存在する複数色の近傍画素のうち、前記注目画素と同じ色の画素である同色近傍画素の画素値を参照して前記注目画素の画素値を予測する第１予測方式に対する適性の指標である第１の適性指標を導出する第１の適性指標導出手順と、
前記複数色の近傍画素のうち、前記注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および前記同色近傍画素の画素値の双方を参照して前記注目画素の画素値を予測する第２の予測方式に対する適性の指標である第２の適性指標を導出する第２の適性指標導出手順と、
前記第１の適性指標と前記第２の適性指標とに基づき、前記第１予測方式および前記第２予測方式のうちのいずれかに決定し、該決定した予測方式で前記注目画素の予測値を算出する予測値算出手順と、
前記注目画素の実際の値と前記予測値との差である予測誤差を算出する予測誤差算出手順とを備える。
【発明の効果】
【００１４】
本発明によれば、デモザイク処理前のＣＦＡ画像を可逆圧縮する際のデータ圧縮率を高めることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】画像圧縮処理部の概略的構成を説明するブロック図である。
【図２】画像圧縮処理部が撮像装置に内蔵される例を説明するブロック図である。
【図３】コンピュータの概略的内部構成を説明するブロック図であり、画像圧縮処理プログラムをコンピュータが実行することにより画像圧縮処理部が実現される例を説明する図である。
【図４】カラーフィルタアレイ画像内における各色成分の画素の配列例を概念的に説明する図である。
【図５】画像圧縮処理手順を説明するフローチャートである。
【図６】注目画素および注目画素の近傍に位置する近傍画素を概念的に説明する図である。
【図７】同色予測処理適性指標導出用フィルタの例と、この同色予測処理適性指標導出用フィルタを用いて同色予測処理適性指標が導出される様子を説明する図である。
【図８】同色予測処理適性がある場合の画像パターン例を示し、（ａ）は縦方向および横方向の双方に相関がある例を、（ｂ）は縦方向に相関がある例を、（ｃ）は横方向に相関がある例を、それぞれ示す図である。
【図９】同色予測処理適性が無い場合の画像パターン例を示し、（ａ）は縦方向にも横方向にも相関が無い例を、（ｂ）は画素Ｒ１、Ｒ３を見ると縦方向に相関があるように見えるが画素Ｒ２とＲとでは相関が無い例を、（ｃ）は画素Ｒ１、Ｒ２を見ると横方向に相関があるように見えるが画素Ｒ３とＲとでは相関が無い例を、それぞれ示す図である。
【図１０】異色予測処理適性指標導出用フィルタ１の例と、この異色予測処理適性指標導出用フィルタ１を用いて異色予測処理適性指標１が導出される様子を説明する図である。
【図１１】異色予測処理適性指標導出用フィルタ２の例と、この異色予測処理適性指標導出用フィルタ２を用いて異色予測処理適性指標２が導出される様子を説明する図である。
【図１２】異色予測処理適性指標導出用フィルタ３の例と、この異色予測処理適性指標導出用フィルタ３を用いて異色予測処理適性指標３が導出される様子を説明する図である。
【図１３】異色予測処理適性指標導出用フィルタ４の例と、この異色予測処理適性指標導出用フィルタ４を用いて異色予測処理適性指標４が導出される様子を説明する図である。
【図１４】異色予測処理適性指標導出用フィルタの別例を示す図であり、（ａ）は異色予測処理適性指標導出用フィルタ１の、（ｂ）は異色予測処理適性指標導出用フィルタ２の、（ｃ）は異色予測処理適性指標導出用フィルタ３の、そして（ｄ）は異色予測処理適性指標導出用フィルタ４の、それぞれ別例を示す図である。
【図１５】注目画素を含んで縦方向、横方向に並ぶ近傍画素が異色予測処理適性を有する場合の画像パターン例を示す図であり、（ａ）は画素Ｇ１とＧ２との相関と、画素Ｒ２とＲとの相関が類似する場合の一例を示し、（ｂ）は画素Ｇ１とＧ２との相関と、画素Ｒ２とＲとの相関が類似する場合の別例を示し、（ｃ）は画素Ｇ３とＧ４との相関と、画素Ｒ３とＲとの相関が類似する場合の一例を示し、（ｄ）は画素Ｇ３とＧ４との相関と、画素Ｒ３とＲとの相関が類似する場合の別例を示す図である。
【図１６】注目画素を含んで縦方向、横方向に並ぶ近傍画素が異色予測処理適性を有していない場合の画像パターン例を示す図であり、（ａ）、（ｂ）、（ｃ）は画素Ｇ１とＧ２との相関が無い例を、（ｄ）は画素Ｇ１、Ｇ２を見ると縦方向に相関があるように見えるが画素Ｒ２とＲとでは相関が無い例を、（ｅ）、（ｆ）、（ｇ）は画素Ｇ３とＧ４との相関が無い例を、（ｈ）は画素Ｇ３、Ｇ４を見ると横方向に相関があるように見えるが画素Ｒ３とＲとでは相関が無い例を、それぞれ示す図である。
【図１７】本発明の実施の形態においてＲ成分画像に対して第１、第２の予測方式で注目画素の予測値が導出される様子を示す図であり、（ａ）はＲ色の画素を注目画素とする場合の近傍画素の配列を、（ｂ）は注目画素の予測値を導出する際に参照される近傍画素の画素値を、それぞれ示す図である。
【図１８】本発明の実施の形態においてＧ成分画像に対して第３の予測方式で注目画素の予測値が導出される様子を示す図であり、（ａ）はＧ色の画素を注目画素とする場合の近傍画素の配列を、（ｂ）は注目画素の予測値を導出する際に参照される近傍画素の画素値を、それぞれ示す図である。
【発明を実施するための形態】
【００１６】
図１は、本発明の実施の形態に係る画像圧縮処理部１００の概略的構成を説明するブロック図である。画像圧縮処理部１００は、ＣＦＡ画像入力部１０２と、色分解処理部１０４と、第１の処理適性指標導出部１０６と、第２の処理適性指標導出部１０８と、予測値算出部１１２と、予測誤差算出部１１４と、エントロピー符号化処理部１１６とを備える。
【００１７】
画像圧縮処理部１００は、専用のハードウェアによって構成されていてもよいし、コンピュータにより読み取りが可能な記憶媒体に格納された画像圧縮処理プログラムをコンピュータが実行することにより実現されるものであってもよい。
【００１８】
ＣＦＡ画像入力部１０２は、デモザイク処理の行われていないＣＦＡ画像を入力する。なお、本明細書において、ＣＦＡ画像はＲ、Ｇ、Ｂの原色オンチップカラーフィルタが受光面上にベイヤー配列された撮像素子から出力されたもの（本明細書ではこれはベイヤーＣＦＡ画像と称する）として以下の説明をするが、補色タイプ等、どのような画素配列形式、どのようなタイプのオンチップカラーを有する撮像素子から出力されたＣＦＡ画像であっても処理可能である。また、４色以上に色分解可能な撮像素子から出力されるＣＦＡ画像であっても本発明を適用可能である。
【００１９】
色分解処理部１０４は、撮像素子の受光面上に備えられるオンチップカラーフィルタの色に対応したカラープレーンの画像にＣＦＡ画像を分解（色分解処理）する。ベイヤーＣＦＡ画像は縦２画素、横２画素の４画素を配列単位とし、その配列単位中にＲ画素およびＢ画素が一つずつ、Ｇ画素が二つ配列されたものとなっている。このベイヤーＣＦＡ画像を色分解処理する際には、Ｂ、Ｇ、Ｒ三つのカラープレーンの画像に分解することが可能である。あるいは、Ｇ色について、Ｇｒ、Ｇｂの二つのカラープレーンの画像に分解し、計四つのカラープレーンに色分解することも可能である。以下ではＢ、Ｇ、Ｒの三つのカラープレーンの画像に分解するものとして説明する。これらＢ色、Ｇ色、Ｒ色の各カラープレーンの画像をＢ成分画像、Ｇ成分画像、Ｒ成分画像とそれぞれ称する。
【００２０】
第１の処理適性指標導出部１０６は、Ｂ成分画像およびＲ成分画像のそれぞれを解析する。そして、Ｂ成分画像およびＲ成分画像内の画素ごとに第１の処理適性指標を導出する。なお、Ｂ成分画像、Ｒ成分画像に対する処理は、処理対象の画素がＢ色の画素であるかＲ色の画素であるかの違いがあるだけで、その他は基本的に同じであるので、以下ではＲ成分画像に対する処理を主体に説明する。第１の処理適性指標とは、ＣＦＡ画像中のある一つの画素を注目画素として設定し、この注目画素の近傍に存在する複数色の画素のうち、注目画素と同じ色の画素（ここではＲ色画素）である同色近傍画素の画素値を参照して注目画素の画素値を予測する処理に対する適性を示す指標である。第１の処理適性指標およびこの指標を導出する処理の詳細については後で説明する。
【００２１】
第２の処理適性指標導出部１０８は、Ｂ成分画像およびＲ成分画像のそれぞれを解析する。そして、Ｂ成分画像およびＲ成分画像内の画素ごとに第２の処理適性指標を導出する。第２の処理適性指標導出部での処理もまた、Ｂ成分画像、Ｒ成分画像に対する処理は、処理対象の画素がＢ色の画素であるかＲ色の画素であるかの違いがあるだけで、その他は基本的に同じである。第２の処理適性指標とは、ＣＦＡ画像中のある一つの画素を注目画素として設定し、この注目画素の近傍に存在する複数色の画素のうち、注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および同色近傍画素の画素値の双方を参照して注目画素の画素値を予測する処理に対する適性を示す指標である。本実施の形態においては、注目画素の色がＲ色であってもＢ色であっても、Ｇ色の画素が異色近傍画素として設定される。第２の処理適性指標およびこの指標を導出する処理の詳細については後で説明する。
【００２２】
予測方式決定部１１０は、第１の処理適性指標および第２の処理適性指標を参照し、注目画素の予測値を予測する際の予測方式を決定する。本発明の実施の形態においては、Ｂ成分画像およびＲ成分画像それぞれの全画素について、上述した第１および第２の処理適性指標の導出と予測方式を点順次に決定する。なお、上述のように決定された予測方式について、Ｂ成分画像およびＲ成分画像を構成する全ての画素それぞれに対応して記憶することも可能であるが、情報量が増えてしまう。そこで、画像を複数の領域に分割し、分割された領域ごとに予測方式を設定することにより、情報量の増加を抑制可能である。あるいは、画像の横方向または縦方向に沿う１ラインあるいは複数ラインに対応して共通の予測方式を設定することも可能である。さらにまた、上述した第１、第２の処理適性指標導出の処理と予測方式決定の処理とをいわゆるヒルベルトスキャンの方式で行い、記録することも可能である。その場合、処理を開始した画素から数えて、例えば１番目からＮ番目の画素までは予測方式Ａで、Ｎ＋１番目からＭ番目の画素までは予測方式Ｂで、…、というように予測方式を記録することが可能となり、情報量の増加を抑制可能となる。
【００２３】
予測値算出部１１２は、色分解処理部１０４で生成された三色の成分の画像のうち、Ｂ成分画像およびＲ成分画像に対して、予測方式決定部１１０で決定された予測方式を用いて予測値算出の処理を行う。予測値算出部１１２はまた、Ｇ成分画像に対しては、予測方式決定部で決定される方式とは異なる方式で予測値算出の処理を行う。
【００２４】
予測誤差算出部１１４は、予測値算出部１１２で算出されたＢ成分、Ｇ成分、Ｒ成分の画像中の各画素値に対応する予測値と実際値との差である予測誤差を算出する。上述した一連の処理により、比較的高い精度での予測値算出が行われるので、算出される予測値の分布は一定の値、例えばゼロ近くに集中する。つまり、Ｂ、Ｇ、Ｒの各成分について、元の画像データの画素値および予測誤差値の分散（統計学上の分散）を求めると、その値は予測誤差値の方が小さくなる。すなわち、予測誤差値のばらつきが減る。
【００２５】
エントロピー符号化処理部１１６は、上述のようにして算出された予測誤差値に対してエントロピー符号化の処理を行う。つまり、出現頻度のより高い予測誤差値に対し、より短いビット長の符号を割り当てることにより、全体としての情報量を減じる処理を行う。
【００２６】
図２は、画像圧縮処理部１００を備える撮像装置２００の概略的内部構成を説明するブロック図である。撮像装置２００は、撮像光学系２０２と、撮像素子２０４と、アナログ・フロントエンド（以下、「ＡＦＥ」と称する）２０６と、マイクロプロセッシングユニット（以下、「ＭＰＵ」と称する）２０８と、画像圧縮処理部１００と、画像処理部２１０と、表示処理部２１２と、表示部２２４と、記録処理部２１４と、メモリ２１６と、バス２１８とを備える。撮像装置２００は、メモリカード等の記録媒体２３０を着脱可能に装着される。撮像装置２００は、静止画を撮影するものであっても、動画を撮影するものであってもよい。無論、静止画、動画両方の撮影が可能に構成されていてもよい。撮像装置２００はまた、独立した製品として形成されていても、パーソナルコンピュータや携帯情報端末等の情報処理装置や携帯電話等に内蔵されるものであってもよい。
【００２７】
撮像光学系２０２は、被写体像を撮像素子２０４の受光面上に形成する。撮像光学系２０２は、単焦点のものであっても可変焦点距離のものであってもよく、撮像装置２００に固定されるものであっても、着脱可能に構成されるものであってもよい。
【００２８】
撮像素子２０４は、複数色のオンチップカラーフィルタが受光面上に形成される。オンチップカラーフィルタの色数やカラーフィルタの配列方式については撮像装置２００の仕様に応じて様々なものとすることができる。本実施の形態では、上述したとおり、ベイヤー配列されたＢ（青）、Ｇ（緑）、Ｒ（赤）３色の原色タイプのオンチップカラーフィルタを撮像素子２０４が備えるものとして説明をする。
【００２９】
ＡＦＥ２０６は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理部、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）処理部、Ａ／Ｄコンバータ等を備え、撮像素子２０４から出力されるアナログ画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理を行う。本明細書において撮像素子２０４はＣＭＯＳ撮像素子であるものとし、ＡＦＥ２０６が撮像素子２０４に内蔵されるものとする。
【００３０】
ＭＰＵ２０８は、メモリ２１６にストアされるプログラムを読み出して実行し、撮像装置２００で撮影動作や再生動作が行われる際に撮像装置２００を統括的に制御する。
【００３１】
画像圧縮処理部１００は、図１を参照して説明した構成を備え、撮像素子２０４からＡＦＥ２０６を経由して出力されたデジタルのＣＦＡ画像を入力し、可逆圧縮処理を行う。
【００３２】
画像処理部２１０は、撮像素子２０４からＡＦＥ２０６を経由して出力されたデジタルのＣＦＡ画像に対してデモザイキング、ノイズ低減、ホワイトバランス調整、階調変換等の処理をして同時化された画像を生成する。画像圧縮処理部１００で圧縮されて保管された画像を撮像装置２００内で解凍する場合、この解凍処理は画像処理部２１０で行われても、画像圧縮処理部１００で行われてもよい。また、画像圧縮処理部１００は、画像処理部２１０内に備えられるものであってもよい。画像圧縮処理部１００はまた、同時化された画像に対して非可逆圧縮の処理をしてＪＰＥＧ画像やＭＰＥＧ画像等を生成することが可能に構成されていてもよい。
【００３３】
表示処理部２１２は、画像処理部２１０で生成された、同時化された画像にリサイズ、色空間変換等の処理をして表示用画像データを生成し、表示部２２４に出力する。表示部２２４は、カラー液晶表示装置や、有機ＥＬ表示装置等、カラー画像や文字、アイコン等を表示可能に構成される。そして、表示処理部２１２から出力された表示用画像データに基づく画像を表示する。
【００３４】
記録処理部２１４は、画像圧縮処理部１００で生成された可逆圧縮データ、非可逆圧縮データに撮影日時、撮影条件、画像処理条件等の情報を含むメタデータを付加して画像ファイルを生成し、記録媒体２３０に保管する。
【００３５】
メモリ２１６は、フラッシュメモリとＳＤＲＡＭとを備える。上述したＡＦＥ２０６、ＭＰＵ２０８、画像圧縮処理部１００、画像処理部２１０、表示処理部２１２、記録処理部２１４およびメモリ２１６は、バス２１８を介して相互に接続されている。フラッシュメモリにはＭＰＵ２０８で実行するためのプログラム（ファームウェア）や撮像装置２００の動作パラメータ等、電源の供給されない状態でも保持し続けることの必要な情報が保管される。ＳＤＲＡＭは比較的高速のアクセス速度を有し、ＭＰＵ２０８、画像圧縮処理部１００、画像処理部２１０、表示処理部２１２、記録処理部２１４で処理を行う際のワークエリアとして用いられる。
【００３６】
撮像制御部２２０は、ＭＰＵ２０８から出力される制御信号をもとに撮像素子２０４に対してタイミング制御信号等を出力し、撮像素子２０４での撮像動作を制御する。
【００３７】
操作部２２２は、押しボタンスイッチ、スライドスイッチ、ダイヤルスイッチ等を備え、ユーザによる撮像装置２００の操作を受け付ける。操作部２２２はまた、表示部２２４の表示面上に備えられるタッチパネル等を備えていてもよい。
【００３８】
図３は、画像圧縮処理部１００が、情報処理装置３００のＭＰＵ３０２によって画像圧縮処理プログラムが実行されることにより実現される例を説明するブロック図である。情報処理装置３００は、ＭＰＵ３０２と、メモリ３０４と、補助記憶装置３０６と、システムバス３０８とを備える。情報処理装置３００はまた、メモリカードインターフェース３１０と、光ディスクドライブ３１２と、ネットワークインターフェース３１４と、ビデオインターフェース３１６とを備える。
【００３９】
メモリ３０４は、ＳＤＲＡＭ等で構成されていて比較的高速のアクセス速度を有し、ＭＰＵ３０２がプログラムを実行する際のワークエリアとして用いられる。補助記憶装置３０６は、ハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を備え、ＭＰＵ３０２で実行されるプログラムや、画像ファイル等を記憶可能に構成される。
【００４０】
メモリカードインターフェース３１０は、装着されたメモリカードＭＣからの情報の読み出しと、メモリカードＭＣへの情報の書き込みとを可能に構成される。メモリカードＭＣは、画像ファイルやプログラムファイル等を記憶可能な記憶媒体であり、撮像装置２００に装着することも可能に構成される。撮像装置２００で生成され、可逆圧縮されて生成されたカラーフィルタアレイ画像を含む画像ファイル、すなわちＲＡＷ画像ファイルはメモリカードＭＣに保管される。情報処理装置３００は、メモリカードインターフェース３１０を介してメモリカードＭＣからこのＲＡＷ画像ファイル等を読み込むことができる。
【００４１】
光ディスクドライブ３１２は、装着された光ディスクＯＤから画像ファイルやプログラムファイル等を読み出し可能に構成される。光ディスクドライブ３１２はまた、画像ファイルや各種情報等を光ディスクＯＤに書き込み可能に構成されていてもよい。
【００４２】
ネットワークインターフェース３１４は、有線または無線の形態でネットワークＮＷに接続可能に構成される。そして、ネットワークＮＷに接続されるサーバ等へ情報の出力およびサーバ等からの情報の入力が可能に構成される。
【００４３】
ビデオインターフェース３１６は、カラー液晶表示装置等のフラットパネルディスプレイやＣＲＴ等の表示装置を接続可能に構成される。接続されたこれらの表示装置には、文字等の情報や画像等が表示される。上述したメモリ３０４、補助記憶装置３０６、メモリカードインターフェース３１０、光ディスクドライブ３１２、ネットワークインターフェース３１４、ビデオインターフェース３１６は、システムバス３０８を介してＭＰＵ３０２と相互に接続される。
【００４４】
画像圧縮処理部１００は、補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等の非一時的なコンピュータ可読記憶媒体から読み出されてメモリ３０４にロードされた画像圧縮処理プログラムをＭＰＵ３０２が実行することにより実現される。画像圧縮処理部１００は、補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等からＲＡＷ画像データファイルを読み出して画像圧縮処理をすることができる。この場合、ＲＡＷ画像データファイル中に収容されるカラーフィルタアレイ画像は既に何らかの可逆圧縮方式で圧縮されていることが多い。この画像を解凍して得たカラーフィルタアレイ画像に対して画像圧縮処理部１００が可逆圧縮の処理をすることにより、補助記憶装置３０６等に再保存する際のファイルサイズを減少させることが可能となる。また、画像圧縮処理部１００で圧縮した画像データを、ネットワークＮＷを介して他の情報処理装置に送信する際に、転送データ量を減じることが可能となる。さらに、画像圧縮処理部１００で圧縮した画像データをメモリカードＭＣや光ディスクＯＤに保存する場合、これらのメモリカードＭＣや光ディスクＯＤに記憶可能な画像ファイルの数を増加させることが可能となる。
【００４５】
図４は、画像圧縮処理部１００で可逆圧縮処理される対象のＣＦＡ画像を概念的に示す図である。以下では特定の画素位置の画素を参照する際に、二次元配列された画素の左上隅の位置を（１，１）とし、横方向（行方向）に（１，２）、（１，３）、…、（１，ｊ）、…、縦方向（列方向）に（２，１）、（３，１）、…、（ｉ，１）、…の座標値を付与する。例えば、（１，１）の座標位置の画素を画素（１，１）と称する。図４の例では、画素（１，１）および画素（２，２）をＧ色画素、画素（１，２）をＲ色画素、画素（２，１）をＢ色画素として、四つの画素により一つの配列単位が形成されている。
【００４６】
図５は、画像圧縮処理の手順を説明するフローチャートである。以下では、撮像装置２００が静止画撮影モードで動作していてレリーズ操作が行われ、ＡＦＥ２０６を介して撮像素子２０４からＣＦＡ画像データが読み出されたときに図５のフローチャートに示される処理が画像圧縮処理部１００で実行されるものとして説明をする。
【００４７】
Ｓ５００において画像圧縮処理部１００は、ＡＦＥ２０６を介して撮像素子２０４からＣＦＡ画像を入力する。Ｓ５０２において画像圧縮処理部１００は、色分解の処理を行い、Ｂ成分画像、Ｇ成分画像、Ｒ成分画像を生成する。Ｂ、Ｇ、Ｒ、各成分の画像のデータは、元の座標位置を維持するようにして、他の色成分の画素に相当する部分が空白となったデータとしてもよいし、空いた部分を詰めたデータとしてもよい。なお、詰めたデータとする場合には、各色成分のデータ間で画素位置の対応が後で取れるようにする必要がある。
【００４８】
これら三つの色成分の画像に対しては、図５のフローチャートに示されるように、色ごとに異なる処理が行われる。但し、先にも説明したように、Ｒ成分画像、Ｂ成分画像に対する処理は、処理対象の画素がＲ色のものであるかＢ色のものであるかの違いがあるだけで、処理内容は基本的に同じである。Ｇ成分画像に関しては、Ｒ色成分画像、Ｂ色成分画像に比べて画素数が多く、また、被写体の輝度（明るさ）にほぼ対応する画素値が得られるため、基準色として設定する。Ｇ色が基準色として設定された場合、Ｇ色以外の色成分、本例ではＲ色成分、Ｂ色成分の画像に対して処理を行う際に、Ｇ成分画像の画素値が共通して参照される。
【００４９】
なお、基準色は必ずしもＧ色である必要はなく、被写体の分光分布が大きく偏っている等の場合によっては他の色を基準色としてもよい。この場合、ユーザが任意の色成分の色を基準色に設定可能に構成されていても、画像を解析した結果等に基づいて基準色が自動的に選択されるものであってもよい。また、図４に例示される画素の配列中、Ｒ色画素の左隣に配列されるＧ色画素をＧｒ色画素と称し、Ｂ色画素の右隣に配列されるＧ色画素をＧｂ色画素と称すると、Ｓ５０２における色分解の処理で、Ｇｒ、Ｇｂ、Ｂ、Ｒの４色に色分解することができる。これら４色の色成分のうち、いずれかを基準色に設定することも可能である。
【００５０】
以下ではＧ色が基準色として設定されるものとして説明する。最初に、Ｒ成分画像に対する処理であるＳ５０４からＳ５１８までの処理について説明をする。まず、Ｓ５０４、Ｓ５０６、Ｓ５０８の各処理がＲ成分画像中の全画素に対して行われる。そして、先にも説明したように画素毎、行毎、列毎、あるいは分割された領域毎に予測方式が決定される。その後、Ｓ５１０からＳ５１８の処理がＲ成分画像の全画素に対して行われ、予測値および予測誤差の算出が行われる。
【００５１】
各ステップで行われる処理の説明に先立ち、図６を参照して注目画素、近傍画素、同色近傍画素、異色近傍画素について説明する。図６には、Ｒ色の画素（ｉ，ｊ）、すなわち図４に例示される画素の配列中、第ｉ行、第ｊ列の位置にあるＲ色の画素が注目画素ＰＩとして設定される様子が示されている。この注目画素ＰＩに対して、（ｉ−２，ｊ−２）から（ｉ＋１，ｊ＋１）までの４画素×４画素の矩形領域（注目画素ＰＩを中心とした３画素×３画素領域の周囲に、１行画素と１列画素を追加した領域）が注目領域として設定される。この注目領域に存在する画素のうち、注目画素ＰＩ以外の画素を本明細書では近傍画素と称する。このうち、注目画素ＰＩの色と同じ色の画素を同色近傍画素と称する。図６の例では、画素（ｉ−２，ｊ−２）、画素（ｉ，ｊ−２）、および画素（ｉ−２，ｊ）が同色近傍画素である。また、注目画素ＰＩの色と異なる色（本例ではＧ色、Ｂ色）のうちの、ある一色の画素を異色近傍画素と称する。本例では、基準色として設定されたＧ色の近傍画素を異色近傍画素とする。図６の例では、画素（ｉ−２，ｊ−１）、画素（ｉ−２，ｊ＋１）、画素（ｉ−１，ｊ−２）、画素（ｉ−１，ｊ）、画素（ｉ，ｊ−１）、画素（ｉ，ｊ＋１）、画素（ｉ＋１，ｊ−２）、および画素（ｉ＋１，ｊ）が異色近傍画素である。
【００５２】
Ｓ５０４において画像圧縮処理部１００は、第１の処理適性指標、すなわち同色予測処理適性指標を導出する処理を行う。このＳ５０４では、同色予測処理適性指標導出用フィルタを注目画素ＰＩおよび同色近傍画素に適用する処理が最初に行われる。図７に、同色予測処理適性指標導出用フィルタの例を示す。図７では、図６に例示される注目領域中の各画素との対応が容易に理解できるように、行方向および列方向にそれぞれ４要素の、１６要素のフィルタとして示している。しかし、本例において同色近傍画素および注目画素の合計数は４であり、同色予測処理適性指標導出用フィルタはこれら四つの画素の画素値に適用するフィルタであるので、行方向および列方向にそれぞれ２要素の４要素のフィルタとしてもよい。つまり、図７において、ｆｓ（１，１）、ｆｓ（１，３）、ｆｓ（３，１）、ｆｓ（３，３）の符号が付された四つの要素のみを有するものを同色予測処理適性指標導出用フィルタとしてもよい。この同色予測処理適性指標導出用フィルタ中に設定される値は、図７に例示される１、−１に限られず、正、負、零の値を含む実数とすることが可能である。
【００５３】
同色予測処理適性指標導出用フィルタ中の各要素を注目画素ＰＩおよび同色近傍画素に適用する処理は、以下のようにして行われる。すなわち、以下の式（１）によって注目画素ＰＩ、つまり画素（ｉ，ｊ）に対するフィルタリング値Ａｉｊを求め、このフィルタリング値Ａｉｊと所定の閾値との比較結果に基づいて同色予測処理適性指標が導出される。
Ａｉｊ＝Ｐ（ｉ−２，ｊ−２）×ｆｓ（１，１）＋Ｐ（ｉ−２，ｊ）×ｆｓ（１，３）
＋Ｐ（ｉ，ｊ−２）×ｆｓ（３，１）＋Ｐ（ｉ，ｊ）×ｆｓ（３，３） … 式（１）
上記の式（１）において、Ｐ（ｍ，ｎ）は図６における画素（ｍ，ｎ）の画素値を意味する。例えば、Ｐ（ｉ−２，ｊ−２）は、同色近傍画素の一つである画素（ｉ−２，ｊ−２）の画素値であり、Ｐ（ｉ，ｊ）は注目画素ＰＩ、すなわち画素（ｉ，ｊ）の画素値である。注目領域内の各画素の値と、同色予測処理適性指標導出用フィルタとをマトリクスに見立てて説明すると、これら二つのマトリクスの同じ行、同じ列位置の要素同士を乗じてそれらの結果の累計を求める積和の演算を行い、フィルタリング値Ａｉｊが求められることを式（１）は表している。
【００５４】
式（１）で求められたフィルタリング値Ａｉｊの絶対値が閾値Ａthresの２倍以下のとき、同色予測処理適性指標は０に設定される。一方、フィルタリング値Ａｉｊの絶対値が閾値Ａthresの２倍を上回るとき、同色予測処理適性指標は１に設定される。ここで閾値Ａthresは任意に設定可能であり、最終的に得られる予測誤差として許容可能な値、適用する同色予測処理適性指標導出用フィルタの値等に応じて設定することができる。例えば、理解を容易にするためにＣＦＡ画像データのビット深度が８ビット、すなわち各画素の画素値として取り得る範囲が０から２５５までであるものとすると、閾値Ａthresは０〜ｐとして設定される。本例でこのｐは２５５未満の値となる。結果、２×Ａthresは０〜５１０となる。なお、予測誤差は適宜オフセット値が与えられて正の値として扱われるものとする。
【００５５】
同色予測処理適性指標が０に設定される場合、および１に設定される場合それぞれの例について図８、図９を参照して説明する。図８、図９は、注目画素ＰＩおよび同色近傍画素を概念的に示しており、各画素の色の濃淡は画素値の大小を示している。図８、図９においては、色の濃い方の画素の画素値が相対的に小さいものとする。
【００５６】
図８の（ａ）、（ｂ）、（ｃ）は、同色予測処理適性指標が０に設定される場合、すなわち同色近傍画素の画素値を参照して注目画素の画素値を予測する処理に対する適性がある例を示している。つまり、注目画素と同色近傍画素との相関性が高く、同色近傍画素の画素値を参照して注目画素の予測値を導出したときに、予測誤差が比較的小さくなることが期待できる例を示している。
【００５７】
図８（ａ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性が高く、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性も高く、さらに注目画素ＰＩは同色近傍画素Ｒ２およびＲ３のいずれとも相関性が高い例を示している。つまり、縦方向（列方向）にも横方向（行方向）にも高い相関性が得られる例を示している。図８（ｂ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性が高く、かつ同色近傍画素Ｒ２と注目画素ＰＩとの相関性が高いものの、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性および同色近傍画素Ｒ３と注目画素ＰＩとの相関性については高くはない例を示している。つまり、横方向の相関性は高くはないものの、縦方向の相関性が高い例を示している。図８（ｃ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性が高く、かつ同色近傍画素Ｒ３と注目画素ＰＩとの相関性が高いものの、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性および同色近傍画素Ｒ２と注目画素ＰＩとの相関性については高くはない例を示している。つまり、縦方向の相関性は高くはないものの、横方向の相関性が高い例を示している。
【００５８】
注目画素および同色近傍画素の画素値の関係が図８に例示したもののうちのいずれかであると、同色近傍画素の画素値を参照して注目画素の予測値を導出した場合、予測誤差が小さくなることが期待できる。このような場合に同色予測処理適性指標は０に設定される。
【００５９】
図９の（ａ）、（ｂ）、（ｃ）は、同色予測処理適性指標が１に設定される場合、すなわち同色近傍画素の画素値を参照して注目画素の画素値を予測する処理に対する適性が無い例を示している。つまり、注目画素と同色近傍画素との相関性が低く、同色近傍画素の画素値を参照して注目画素の予測値を導出したときに、予測誤差が比較的小さくなることが期待できない例を示している。
【００６０】
図９（ａ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性が低く、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性も低く、さらに注目画素ＰＩは同色近傍画素Ｒ２およびＲ３のいずれとも相関性が低い例を示している。つまり、縦方向にも横方向にも高い相関性を得にくい例を示している。図９（ｂ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性は高くなく、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性が高いものの、同色近傍画素Ｒ２と注目画素ＰＩとの相関性は高くない例を示している。つまり、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性が高いことから縦方向の相関が一見あるように見えるものの、実際には同色近傍画素Ｒ２と注目画素ＰＩとの相関が無い例を示している。図９（ｃ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性および同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性が高いものの、注目画素ＰＩはいずれの同色近傍画素とも高い相関が得られない例を示している。つまり、同色近傍画素Ｒ１、Ｒ２、Ｒ３の相関性が高いことから縦、横いずれの方向にも相関が一見あるように見えるものの、実際には注目画素ＰＩはいずれの同色近傍画素とも高い相関が得られない例を示している。
【００６１】
注目画素および同色近傍画素の画素値の関係が図９に例示したもののうちのいずれかであると、同色近傍画素の画素値を参照して注目画素の予測値を導出した場合、予測誤差が小さくなることが期待できない。このような場合に同色予測処理適性指標は１に設定される。
【００６２】
以上がＳ５０４で行われる、第１の処理適性指標を導出する処理である。続いて、Ｓ５０６で行われる、第２の処理適性指標（異色予測処理適性指標）を導出する処理について説明する。第２の処理適性指標は、同色近傍画素および異色近傍画素の双方を参照して注目画素の画素値を予測する処理に対する適性の指標を導出する処理である。Ｓ５０６での処理においては、注目画素、同色近傍画素、異色近傍画素の各画素値に対して後述するフィルタが適用される。第２の処理適性指標の導出に際しては、Ｒ成分画像およびＧ成分画像の画像データが参照される。図５中、Ｓ５０６、Ｓ５３２、Ｓ５１４、Ｓ５４０の処理ステップに向かう破線の矢印が示されるが、これらはＳ５０２の色分解処理で得られたＧ色成分画像の画像データが上記各処理ステップで参照されることを意味している。先にも説明したように、異色近傍画素としてはＧ色以外の色成分のものとすることも可能である。
【００６３】
図１０から図１３に、異色予測処理適性導出用フィルタの例を示す。これらのフィルタは一例であり、別のフィルタを用いることも可能である。まず、これらのフィルタの概略について説明すると、図１０および図１１に例示されるフィルタが、注目画素ＰＩを含んで縦方向に存在する同色近傍画素および異色近傍画素、すなわち図６に例示される画素（ｉ−２，ｊ）、画素（ｉ−１，ｊ）、画素（ｉ，ｊ）、画素（ｉ＋１，ｊ）の各画素値に適用されるフィルタである。図１２および図１３に例示されるフィルタが注目画素ＰＩを含んで横方向に存在する同色近傍画素および異色近傍画素、すなわち図６に例示される画素（ｉ，ｊ−２）、画素（ｉ，ｊ−１）、画素（ｉ，ｊ）、画素（ｉ，ｊ＋１）の各画素値に適用されるフィルタである。
【００６４】
図１０および図１１に例示されるフィルタを適用することにより、注目画素ＰＩを含んで縦方向に配列される同色近傍画素および異色近傍画素を参照し、注目画素ＰＩの予測値を導出することに対する適性の有無を判定することが可能となる。このとき、図１０、図１１に例示される二つのフィルタを適用することにより、一方のフィルタだけでは捕らえきれない画素値のパターンを網羅することが可能となる。また、図１２および図１３に例示されるフィルタを適用することにより、注目画素ＰＩを含んで横方向に配列される同色近傍画素および異色近傍画素を参照し、注目画素ＰＩの予測値を導出することに対する適性の有無を判定することが可能となる。このとき、図１２、図１３に例示される二つのフィルタを適用することにより、一方のフィルタだけでは捕らえきれない画素値のパターンを網羅することが可能となる。
【００６５】
図１０から図１３に例示される異色予測処理適性導出用フィルタは、図６に例示される注目領域中の各画素との対応が容易に理解できるようにするため、行方向および列方向にそれぞれ４要素の、１６要素のフィルタとして示している。しかし、本例において縦方向（列方向）または横方向（行方向）に並ぶ同色近傍画素、異色近傍画素、および注目画素の合計数は４であり、異色予測処理適性指標導出用フィルタはこれら四つの画素の画素値に適用するフィルタであるので、４要素のフィルタとしてもよい。つまり、図１０から図１３において、参照符号、例えば図１０でｆｄ１（１，３）、ｆｄ１（２，３）、ｆｄ１（３，３）、ｆｄ１（４，３）が付された四つの要素のみを有するものを異色予測処理適性指標導出用フィルタとしてもよい。この異色予測処理適性指標導出用フィルタ中に設定される値は、図１０から図１３に例示される１、−１に限られず、正、負、零の値を含む実数とすることが可能である。例えば、ホワイトバランスが崩れているような画像に対しては、図１０から図１３に例示されるフィルタに代えて図１４の（ａ）から（ｄ）に例示されるフィルタを用いることが可能である。図１４において、ＷはＲ成分の値とＧ成分の値とのバランスをとるための補正値である。Ｒ成分画像中に含まれる全画素の画素値の平均をｒとし、Ｇ成分画像中に含まれる全画素の画素値の平均をｇとしたときに、
Ｗ＝ｒ／ｇ … 式（２）
で求めることができる。Ｗの値は実数とすることが可能である。
【００６６】
異色予測処理適性指標導出の処理では、まず図１０に例示される異色予測処理適性指標導出用フィルタ１が適用されてフィルタリング値Ｂ１ｉｊが得られる。すなわち、以下の式（３）によって注目画素ＰＩ、つまり画素（ｉ，ｊ）に対するフィルタリング値Ｂ１ｉｊが得られる。
Ｂ１ｉｊ＝Ｐ（ｉ−２，ｊ）×ｆｄ１（１，３）
＋Ｐ（ｉ−１，ｊ）×ｆｄ１（２，３）＋Ｐ（ｉ，ｊ）×ｆｄ１（３，３）
＋Ｐ（ｉ＋１，ｊ）×ｆｄ１（４，３） … 式（３）
式（３）で導出されるフィルタリング値Ｂ１ｉｊと所定の閾値との比較結果に基づいて異色予測処理適性指標が導出される。
【００６７】
上記の式（３）において、Ｐ（ｍ，ｎ）は図６における画素（ｍ，ｎ）の画素値を意味する。注目領域内の各画素の値と、異色予測処理適性指標導出用フィルタ１とをマトリクスに見立てて説明すると、これら二つのマトリクスの同じ行、同じ列位置の要素同士を乗じてそれらの結果の累計を求める積和の演算を行い、フィルタリング値Ｂ１ｉｊが求められることを式（３）は表している。
【００６８】
式（３）で求められたフィルタリング値Ｂ１ｉｊの絶対値が閾値Ｂ１thresの２倍以下のとき、異色予測処理適性指標１は０に設定される。一方、フィルタリング値Ｂ１ｉｊの絶対値が閾値Ｂ１thresの２倍を上回るとき、異色予測処理適性指標１は１に設定される。閾値Ｂ１thresは先に説明したＡthresと同様、任意に設定可能であり、最終的に得られる予測誤差として許容可能な値、適用する異色予測処理適性指標導出用フィルタの値に応じて設定することができる。
【００６９】
図１１から図１３に例示される異色予測処理適性指標導出用フィルタ２、３、４についても異色予測処理適性指標導出用フィルタ１と同様である。異色予測処理適性指標導出用フィルタ２、３、４を適用して注目画素ＰＩＪすなわち画素（ｉ，ｊ）に対するフィルタリング値Ｂ２ｉｊ、Ｂ３ｉｊ、Ｂ４ｉｊを得る際の式はそれぞれ、以下の式（４）、（５）、（６）となる。
【００７０】
画素（ｉ，ｊ）に異色予測処理適性導出用フィルタ２を適用する場合、
Ｂ２ｉｊ＝Ｐ（ｉ−２，ｊ）×ｆｄ２（１，３）
＋Ｐ（ｉ−１，ｊ）×ｆｄ２（２，３）＋Ｐ（ｉ，ｊ）×ｆｄ２（３，３）
＋Ｐ（ｉ＋１，ｊ）×ｆｄ２（４，３） … 式（４）
画素（ｉ，ｊ）に異色予測処理適性導出用フィルタ３を適用する場合、
Ｂ３ｉｊ＝Ｐ（ｉ，ｊ−２）×ｆｄ３（３，１）
＋Ｐ（ｉ，ｊ−１）×ｆｄ３（３，２）＋Ｐ（ｉ，ｊ）×ｆｄ３（３，３）
＋Ｐ（ｉ，ｊ＋１）×ｆｄ３（３，４） … 式（５）
画素（ｉ，ｊ）に異色予測処理適性導出用フィルタ４を適用する場合、
Ｂ４ｉｊ＝Ｐ（ｉ，ｊ−２）×ｆｄ４（３，１）
＋Ｐ（ｉ，ｊ−１）×ｆｄ４（３，２）＋Ｐ（ｉ，ｊ）×ｆｄ４（３，３）
＋Ｐ（ｉ，ｊ＋１）×ｆｄ４（３，４） … 式（６）
以上の式（４）、（５）、（６）によって得られたフィルタリング値Ｂ２ｉｊ、Ｂ３ｉｊ、Ｂ４ｉｊはそれぞれ、閾値Ｂ２thres、Ｂ３thres、Ｂ４thresを２倍した値と比較され、その比較結果に基づいて異色予測処理適性指標２、３、４が設定される。その様子が図１１、図１２、図１３に示される。
【００７１】
以上に説明した異色予測処理適性指標１、２、３、４の組み合わせに応じて異色予測処理適性指標が設定される。具体的には、異色予測処理適性指標１と異色予測処理適性指標２との論理和（ＯＲ）がとられた結果と、異色予測処理適性指標３と異色予測処理適性指標４との論理和（ＯＲ）がとられた結果との論理積（ＡＮＤ）をとった結果が最終的な異色予測処理適性指標、つまり第２の処理適性指標となる。本実施の形態において、異色予測処理適性がある場合に異色予測処理適性指標は０に設定される。つまり、異色予測処理適性指標１および異色予測処理適性指標２が共に０の場合、異色予測処理適性指標３および異色予測処理適性指標４が共に０の場合、そして異色予測処理的積指標１〜４がすべて０の場合のうちのいずれかであるとき、異色予測処理適性があると判定され、第２の処理適性指標が０に設定される。
【００７２】
異色予測処理適性指標１と異色予測処理適性指標２との論理和がとられることから明かであるように、異色予測処理適性指標１が１となった場合には異色予測処理適性指標２の導出処理は省略可能である。同様に、異色予測処理適性指標３と異色予測処理適性指標４との論理和がとられるので、異色予測処理適性指標３が１となった場合には異色予測処理適性指標４の導出処理は省略可能である。同様に、異色予測処理適性指標１と異色予測処理適性指標２との論理和が０であった場合、異色予測処理適性指標３および異色予測処理適性指標４の導出処理は省略可能である。理由は、異色予測処理適性指標３と異色予測処理適性指標４との論理和が１であるか０であるかに関わらず、上記論理積の結果は０となるからである。
【００７３】
異色予測処理適性指標１、２、３、４が０となる場合、１となる場合の例について図１５および図１６を参照して説明する。図１５、図１６は、注目画素ＰＩ、同色近傍画素、および異色近傍画素を概念的に示しており、各画素の色の濃淡は画素値の大小を示している。図１５、図１６において、色の濃い方の画素の画素値が相対的に小さいものとする。
【００７４】
図１５の（ａ）、（ｂ）は、異色予測処理適性指標１および２がともに０となる場合、すなわち同色近傍画素および異色近傍画素の双方の画素値を参照して注目画素の画素値を予測する処理に対する適性がある例を示している。図１５の（ａ）は、異色近傍画素、本例では二つのＧ色画素Ｇ１およびＧ２が相関を有し（二つの画素値が類似性を有し）、注目画素Ｒと同色近傍画素Ｒ２も同様の相関を有している。つまり、二つのＧ色画素Ｇ１、Ｇ２の相関（類似性）を参照して、画素Ｒと画素Ｒ２との相関を、より高い精度で予測することができる例を示している。別の表現をすると、二つのＧ色画素Ｇ１、Ｇ２の相関を参照した結果に基づき、画素Ｒ２の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差を小さくすることが期待できる例を示している。
【００７５】
図１５の（ｂ）も同様である。すなわち、二つのＧ色画素Ｇ１、Ｇ２が相関を有しているのと同様、二つの画素Ｒ、Ｒ２が相関を有している。したがって、二つのＧ色画素Ｇ１、Ｇ２の相関を参照して、画素２Ｒの画素値をもとに画素Ｒの画素値を予測したときに、予測誤差を小さくすることが期待できる。
【００７６】
図１５の（ｃ）、（ｄ）は、異色予測処理適性指標３および４がともに０となる場合、すなわち同色近傍画素および異色近傍画素の双方の画素値を参照して注目画素の画素値を予測する処理に対する適性がある例を示している。図１５の（ｃ）は、異色近傍画素、本例では二つのＧ色画素Ｇ３およびＧ４が相関を有し（二つの画素値が類似性を有し）、注目画素Ｒと同色近傍画素Ｒ３も同様の相関を有している。つまり、二つのＧ色画素Ｇ３、Ｇ４の相関を参照して、画素Ｒ３の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できる。図１５の（ｄ）も、二つのＧ色画素Ｇ３、Ｇ４が相関を有しているのと同様、二つの画素Ｒ、Ｒ３が相関を有している。したがって、二つのＧ色画素Ｇ３、Ｇ４の相関を参照して、画素Ｒ３の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できる。
【００７７】
一方、図１６の（ａ）、（ｂ）、（ｃ）、（ｄ）は、異色予測処理適性指標１、２の論理和が１となる例（異色予測処理適性指標１、２のいずれかまたは両方が１となる例）を示している。図１６の（ａ）、（ｂ）、（ｃ）では、異色近傍画素であるところの二つのＧ色画素Ｇ１、Ｇ２が相関を有していない（二つの画素値が類似性を有していない）ので、二つのＧ色画素Ｇ１、Ｇ２の相関を参照して画素Ｒと画素Ｒ２との相関を予測することができない（二つのＧ色画素Ｇ１、Ｇ２の相関を参照して、画素Ｒ２の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できない）。図１６の（ｄ）では、二つのＧ色画素Ｇ１、Ｇ２が相関（類似性）を有しているように見えるものの、画素Ｒと画素Ｒ２とは相関を有していない。したがって、二つのＧ色画素Ｇ１、Ｇ２の相関を参照して、画素Ｒ２の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できない。
【００７８】
図１６の（ｅ）、（ｆ）、（ｇ）、（ｈ）は、異色予測処理適性指標３、４の論理和が１となる例（異色予測処理適性指標３、４のいずれかが１となる例）を示している。図１６の（ｅ）、（ｆ）、（ｇ）では、異色近傍画素であるところの二つのＧ色画素Ｇ３、Ｇ４が相関を有していない（二つの画素値が類似性を有していない）ので、二つのＧ色画素Ｇ３、Ｇ４の相関を参照して画素Ｒと画素Ｒ３との相関を予測することができない（画素Ｒ３の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できない）。図１６の（ｈ）では、二つのＧ色画素Ｇ３、Ｇ４が相関（類似性）を有しているように見えるものの、画素Ｒと画素Ｒ３とが相関を有していない。したがって、二つのＧ色画素Ｇ３、Ｇ４の相関を参照して、画素Ｒ３の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できない。
【００７９】
以上をまとめると、異色予測処理適性指標１、２の論理和が０である、ということは、注目画素ＰＩを含んで縦方向（列方向）に配列される同色近傍画素および異色近傍画素を参照して注目画素ＰＩの画素値を予測したときに、予測誤差が小さくなることが期待できる、ということになる。つまり、縦方向に並ぶ異色近傍画素の相関（類似性）を参照し、同色近傍画素の画素値から注目画素ＰＩの画素値を予測したときに、予測誤差が小さくなることが期待できる、ということになる。
【００８０】
異色予測処理適性指標３、４の論理和が０である、ということは、注目画素ＰＩを含んで横方向（行方向）に配列される同色近傍画素および異色近傍画素を参照して注目画素ＰＩの画素値を予測したときに、予測誤差が小さくなることが期待できる、ということになる。つまり、横方向に並ぶ異色近傍画素の相関（類似性）を参照し、同色近傍画素の画素値から注目画素ＰＩの画素値を予測したときに、予測誤差が小さくなることが期待できる、ということになる。
【００８１】
異色予測処理適性指標１、２の論理和、および異色予測処理適性指標３、４の論理和のうち、いずれかまたは両方が０であるとき、両者の論理積は０となり、第２の処理適性指標は０となる。つまり、注目画素ＰＩを含んで、縦方向および横方向の少なくともいずれかに配列される異色近傍画素の相関（類似性）を参照し、同色近傍画素の画素値から注目画素ＰＩの画素値を予測したときに、予測誤差が小さくなることが期待できるとき、第２の処理適性指標は０となる。
【００８２】
以上、図１０から図１６を参照して説明した、Ｓ５０６における第２の処理適性指標（異色予測処理適性指標）の導出処理に続き、Ｓ５０８で予測方式決定の処理が行われる。予測方式決定の処理は、Ｓ５０４で導出された第１の処理適性指標（同色予測処理適性指標）とＳ５０６で導出された第２の処理適性指標（異色予測処理適性指標）とを参照し、注目画素ＰＩの予測値を算出する際の予測方式を決定する処理である。例えば、第１の処理適性指標（０または１）と第２の処理適性指標（０または１）との差を求め、その差が１、０、−１のいずれか（正、０、負のいずれか）であるかによって上記予測方式を決定することができる。
【００８３】
上記の差が−１（負）となる場合は、第１の処理適性指標が０かつ第２の処理適性指標が１の場合に相当する。この場合、決定される予測方式は第１の予測方式、すなわち同色近傍画素の画素値を参照して注目画素ＰＩの画素値を予測する方式となる。
【００８４】
上記の差が１（正）となる場合は、第１の処理適性指標が１かつ第２の処理適性指標が０の場合に相当する。この場合、決定される予測方式は第２の予測方式、すなわち異色近傍画素の画素値および同色近傍画素の画素値の双方を参照して注目画素ＰＩの画素値を予測する方式となる。
【００８５】
上記の差が０となる場合は、第１の処理適性指標および第２の処理適性指標が共に０の場合または共に１の場合に相当する。この場合、決定される予測方式としては第１の予測方式、第２の予測方式のうち、どちらであってもよい。この場合、デフォルト設定されている第１または第２の予測方式に決定することが可能である。
【００８６】
ところで、Ｓ５０８では第１の処理適性指標と第２の処理適性指標との差をとり、予測方式を決定する例について説明したが、他の方式によって予測方式を決定することも可能である。また、以上では第１、第２の処理適性指標として０、１が設定される例について説明したが、０、１以外の値が設定されてもよいし、負の値が設定されてもよい。また、数値のみならず、文字や正負の符号等が設定されてもよい。さらに、Ｓ５０８で予測方式を決定するのに代えて、第１、第２の処理適性指標を比較した結果そのものを導出して記録することも可能である。
【００８７】
Ｓ５０８での処理が、ある色成分の画像中の全画素に対して行われると、それぞれの画素に対応して予測方式が決まる。各画素に対応してこの予測方式を記憶して後の処理を行うと、予測誤差を最小化することが可能となる。その一方で、予測方式を画素ごとに設定して記憶しようとすると情報量が増えてしまうので、図１を参照しての予測方式決定部１１０の説明において触れたように、予測方式は領域ごとに設定されるようにすることが望ましい。例えば、上記のように第１、第２の処理適性指標の差をとる場合を例に説明すると、ラスタスキャンの方式で、ある行（列）について第１、第２の処理適性指標の差を求める。その行（列）の中で、１、０、−１のうち、最も出現頻度の高い値に対応する予測方式を当該の行（列）に設定することができる。これは、複数に分割された二次元の領域それぞれで予測方式を設定する場合も、ヒルベルトスキャンの方式で予測方式を設定する場合も同様である。
【００８８】
続いて、以下に説明するＳ５１０からＳ５１８までの処理がＲ成分画像内の全画素に対して行われて予測値および予測誤差の算出が行われる。Ｓ５１０において画像圧縮処理部１００は、注目画素ＰＩに対して設定されている予測方式が第１、第２の予測方式のうち、いずれかであるかを判定する。ここで、第１の予測方式は、同色近傍画素を参照して注目画素ＰＩの画素値を予測する方式である。第２の予測方式は、異色近傍画素（本例ではＧ色の近傍画素）および同色近傍画素を参照して注目画素ＰＩの画素値を予測する方式である。
【００８９】
Ｓ５１０において判定された予測方式が第１の予測方式である場合、処理はＳ５１２に進む。一方、Ｓ５１０において判定された予測方式が第２の予測方式である場合、処理はＳ５１４に進む。
【００９０】
Ｓ５１２において画像圧縮処理部１００は、第１の予測方式による予測処理である同色予測値算出処理を行う。また、Ｓ５１４において画像圧縮処理部１００は、第２の予測方式による予測処理である同色予測値算出処理を行う。以下、図１７を参照し、同色予測値算出処理および異色予測値算出処理の具体例について説明する。図１７（ａ）は、注目画素ＰＩおよびその近傍に存在する近傍画素の配列例を示している。図１７（ｂ）は、図１７（ａ）に例示される配列の画素中、一部の画素の画素値を符号で示したものである。図１７（ｂ）中、注目画素ＰＩの画素値はｘ、注目画素ＰＩを囲う四つの異色近傍画素（Ｇ色画素）の画素値はそれぞれａ、ｂ、ｃ、ｄ、三つの同色近傍画素（Ｒ色画素）の画素値はそれぞれ、ｅ、ｆ、ｇとなっている。
【００９１】
Ｓ５１２で行われる同色予測値算出処理では、例えば以下の式（７）、（８）、（９）を用いて注目画素ＰＩの予測値が算出される。
【数１】
式（７）、（８）、（９）において、ｘ’は注目画素ＰＩの予測値である。ｅ、ｆ、ｇは、図１７（ｂ）に示される同色近傍画素の画素値である。Ｃthresは予め定められた閾値である。
【００９２】
式（７）は、同色近傍画素の画素値ｅと画素値ｇとの差の絶対値が閾値Ｃtres以下であり、かつ、同色近傍画素の画素値ｅとｆとの差の絶対値が閾値Ｃthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｆとする例を示している。つまり、画素値ｅと画素値ｇとが比較的近い値で、画素値ｅと画素値ｆとが比較的離れた値であることから、縦方向（列方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの上側に位置する同色近傍画素の画素値ｆとする。
【００９３】
式（８）は、同色近傍画素の画素値ｅと画素値ｇとの差の絶対値が閾値Ｃtresを上回り、かつ、同色近傍画素の画素値ｅとｆとの差の絶対値が閾値Ｃthres以下であるとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｇとする例を示している。つまり、画素値ｅと画素値ｇとが比較的離れた値であり、画素値ｅと画素値ｆとが比較的近い値であることから、横方向（行方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの横に位置する同色近傍画素の画素値ｇとする。
【００９４】
式（９）は、式（７）、式（８）中の条件式にあてはまらない場合に注目画素ＰＩの予測値ｘ’を三つの同色近傍画素の値の平均をとった値とする例を示している。式（９）が適用されるのは、三つの同色近傍画素の画素値で縦方向および横方向のいずれにも相関が見られない場合、あるいはこれら三つの同色近傍画素の画素値が比較的近い場合である。
【００９５】
Ｓ５１４で行われる異色予測値算出処理では、例えば以下の式（１０）、（１１）、（１２）を用いて注目画素ＰＩの予測値が算出される。
【数２】
式（１０）、（１１）、（１２）において、ｘ’は注目画素ＰＩの予測値である。ｅ、ｆ、ｇは、図１７（ｂ）に示される同色近傍画素の画素値である。ａ、ｂ、ｃ、ｄは図１７（ｂ）に示される異色近傍画素（Ｇ色画素）の画素値である。Ｄthresは予め定められた閾値である。
【００９６】
式（１０）は、異色近傍画素の画素値ａと画素値ｂとの差の絶対値が閾値Ｄtres以下であり、かつ、異色近傍画素の画素値ｃとｄとの差の絶対値が閾値Ｄthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｆとする例を示している。つまり、注目画素ＰＩを含んで縦方向に並ぶ異色近傍画素の画素値ａと画素値ｂとが比較的近い値で、同じく横方向に並ぶ異色近傍画素の画素値ｃと画素値ｄとが比較的離れた値であることから、縦方向（列方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの上側に位置する同色近傍画素の画素値ｆとする。
【００９７】
式（１１）は、異色近傍画素の画素値ａと画素値ｂとの差の絶対値が閾値Ｃtresを上回り、かつ、異色近傍画素の画素値ｃとｄとの差の絶対値が閾値Ｄthres以下であるとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｇとする例を示している。つまり、画素値ａと画素値ｂとが比較的離れた値であり、画素値ｃと画素値ｄとが比較的近い値であることから、横方向（行方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの横に位置する同色近傍画素の画素値ｇとする。
【００９８】
式（１２）は、式（１０）、式（１１）中の条件式にあてはまらない場合に注目画素ＰＩの予測値ｘ’を三つの同色近傍画素の値の平均をとった値とする例を示している。式（１２）が適用されるのは、四つの異色近傍画素の画素値で縦方向および横方向のいずれにも相関が見られない場合、あるいはこれら四つの同色近傍画素の画素値が比較的近い場合である。
【００９９】
上記のＳ５１２における同色予測値算出処理、またはＳ５１４における異色予測値算出処理の後、Ｓ５１６では予測誤差Δｘを算出する処理が行われる。予測誤差Δｘは、以下の式（１３）を用いて算出することが可能である。
Δｘ＝ｘ−ｘ’ … 式（１３）
この予測誤差Δｘは、正および負の値を取り得るが、適宜オフセット値を加えることにより正の値として後続する処理をすることが望ましい。
【０１００】
Ｓ５１８において画像圧縮処理部１００は、全Ｒ画素について予測値ｘ’および予測誤差Δｘを算出する処理を完了したか否かの判定をし、Ｓ５１８の判定が否定される間、Ｓ５１０からＳ５１６までの処理を繰り返し行う。Ｓ５１８での判定が肯定されると処理はＳ５６０に進む。
【０１０１】
以上で説明した式（７）から式（１２）中の条件判断および予測値ｘ’の算出式は一例を示したにすぎず、様々な変更を加えることが可能である。
【０１０２】
以上、Ｓ５０４からＳ５１８までの一連の処理によりＲ成分画像データを処理する例について説明した。Ｂ成分画像データについては、Ｓ５３０からＳ５４４までの処理が行われ、全Ｂ画素について予測値ｘ’および予測誤差Δｘが算出される。Ｂ成分画像データに対する処理は、以上に説明したＲ成分画像データに対する処理において注目画素ＰＩおよび同色近傍画素をＢ色画素とする以外、同様であるので説明を省略する。
【０１０３】
続いて、Ｇ成分画像データに対して行われるＳ５５０、Ｓ５５２、Ｓ５５４の処理について説明する。先にも説明したように、本実施の形態において扱われるＣＦＡ画像はベイヤーＣＦＡ画像であり、Ｇ色の画素数が他のＲ色、Ｂ色の画素数の２倍となっているので、Ｒ成分画像、Ｂ成分画像に対する処理とは異なる処理が行われる。
【０１０４】
Ｒ成分画像、Ｂ成分画像に対しては、第１、第２の処理適性指標を導出する処理で得られた第１、第２の処理適性指標に基づき、第１または第２の予測方式で注目画素ＰＩの予測値ｘ’が算出される。これに対し、Ｇ成分画像に対しては、第１、第２の予測方式と異なる、第３の予測方式を用いて注目画素の予測値ｘ’が算出される。
【０１０５】
図１８を参照し、第３の予測方式による予測値算出処理の具体例について説明する。図１８（ａ）は、注目画素ＰＩおよびその近傍に存在する近傍画素の配列例を示している。図１８（ａ）において、注目画素ＰＩはＧ色の画素である。図１８（ｂ）は、図１８（ａ）に例示される配列の画素中、注目画素ＰＩの横または上方に位置する同色近傍画素（Ｇ色画素）の画素値を符号で示したものである。図１８（ｂ）中、注目画素ＰＩの画素値はｘ、上記同色近傍画素の画素値はそれぞれａ、ｂ、ｃ、ｄ、ｅとなっている。
【０１０６】
Ｓ５５０で行われる予測値算出処理では、例えば以下の式（１４）、（１５）、（１６）、（１７）、（１８）を用いて注目画素ＰＩの予測値が算出される。
【数３】
式（１４）から式（１８）において、ｘ’は注目画素ＰＩの予測値である。ａ、ｂ、ｃ、ｄ、ｅは、図１８（ｂ）に示されるＧ色の同色近傍画素の画素値である。Ｅthresは予め定められた閾値である。
【０１０７】
式（１４）は、同色近傍画素の画素値ａと画素値ｅとの差の絶対値が閾値Ｅtres以下であり、かつ、同色近傍画素の画素値ａとｂとの差の絶対値が閾値Ｅthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｂとする例を示している。つまり、縦方向に並ぶ同色近傍画素の画素値ａと画素値ｅとが比較的近い値で、横方向に並ぶ同色近傍画素の画素値ａと画素値ｂとが比較的離れた値であることから、縦方向（列方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの上側に位置する同色近傍画素の画素値ｂとする。
【０１０８】
式（１５）は、同色近傍画素の画素値ａと画素値ｂとの差の絶対値が閾値Ｅtres以下であり、かつ、同色近傍画素の画素値ａとｅとの差の絶対値が閾値Ｅthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｅとする例を示している。つまり、横方向に並ぶ同色近傍画素の画素値ａと画素値ｂとが比較的近い値で、縦方向に並ぶ同色近傍画素の画素値ａと画素値ｅとが比較的離れた値であることから、横方向（行方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの横に位置する同色近傍画素の画素値ｅとする。
【０１０９】
式（１６）は、同色近傍画素の画素値ａと画素値ｃとの差の絶対値が閾値Ｅtres以下であり、かつ、同色近傍画素の画素値ｃとｅとの差の絶対値が閾値Ｅthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｃとする例を示している。つまり、左上から右下に向かう対角方向に並ぶ同色近傍画素の画素値ａと画素値ｃとが比較的近い値で、左下から右上に向かう対角方向に並ぶ同色近傍画素の画素値ｅと画素値ｃとが比較的離れた値であることから、左上から右下に向かう対角方向に相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの左上側に位置する同色近傍画素の画素値ｃとする。
【０１１０】
式（１７）は、同色近傍画素の画素値ｂと画素値ｃとの差の絶対値が閾値Ｅtres以下であり、かつ、同色近傍画素の画素値ｂとｄとの差の絶対値が閾値Ｅthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｄとする例を示している。つまり、右上から左下に向かう対角方向に並ぶ同色近傍画素の画素値ｂと画素値ｃとが比較的近い値で、左上から右下に向かう対角方向に並ぶ同色近傍画素の画素値ｂと画素値ｄとが比較的離れた値であることから、右上から左下に向かう対角方向に相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの右上側に位置する同色近傍画素の画素値ｄとする。
【０１１１】
式（１８）は、式（１４）から式（１７）中の条件式にあてはまらない場合に注目画素ＰＩの予測値ｘ’を三つの同色近傍画素の値の平均をとった値とする例を示している。式（１８）が適用されるのは、五つの同色近傍画素の画素値で縦方向、対角方向、および横方向のいずれにも相関が見られない場合、あるいはこれら五つの同色近傍画素の画素値が比較的近い場合である。
【０１１２】
以上に説明した式（１４）から式（１８）による条件判断および予測値ｘ’の算出式は一例であり、他の様々な条件判断および予測値ｘ’の計算式を設定することが可能である。
【０１１３】
上記のＳ５５０における、上述した第３の予測方式による予測値算出処理の後、Ｓ５５２で予測誤差Δｘを算出する処理が行われる。予測誤差Δｘは、先に説明した式（１３）を用いて算出することが可能である。この予測誤差Δｘは、正となる場合も負となる場合もあり、適宜オフセット値を加えることにより正の値として後続する処理をすることが望ましいのはＳ５１６での処理に関して説明したのと同様である。
【０１１４】
Ｓ５５４において画像圧縮処理部１００は、全Ｇ画素について予測値ｘ’および予測誤差Δｘを算出する処理を完了したか否かの判定をし、Ｓ５５４の判定が否定される間、Ｓ５５０およびＳ５５２処理を繰り返し行う。Ｓ５５４での判定が肯定されると処理はＳ５６０に進む。
【０１１５】
Ｓ５６０において画像圧縮処理部１００は、以上に説明した処理で計算されたＲ成分画像、Ｂ成分画像、およびＧ成分画像のそれぞれの予測誤差をエントロピー符号化によって圧縮する処理を行う。エントロピー符号化の方法については任意の方法を利用可能であり、例えば、算術符号、ハフマン符号、ゴロム符号のうちのいずれかを用いることができる。
【０１１６】
以上の処理によって得られたそれぞれの色成分画像の符号化データを収容したファイルを生成して圧縮処理を完了する。
【０１１７】
ところで、図５のフローチャートを参照しての以上の説明では、Ｓ５０２で色成分分離の処理を行い、分離されたＢ、Ｇ、Ｒ各色成分の画像中で注目画素および注目領域を設定して同色予測処理適性指標導出用フィルタ、異色予測処理適性指標導出用フィルタを適用して同色予測処理適性指標、異色予測処理適性指標を導出する例について説明した。しかし、本発明はこの例に限られるものではなく、色分解処理を行う前のＣＦＡ画像に上述した同色予測処理適性指標導出用フィルタ、異色予測処理適性指標導出用フィルタを適用して同色予測処理適性指標、異色予測処理適性指標を導出することも可能である。その一例について図６、図７を参照して説明する。
【０１１８】
例えば、図７に例示される同色予測処理適性指標導出用フィルタを、ＣＦＡ画像中の図６に例示されるような注目画素ＰＩを含む４画素×４画素の注目領域に適用する場合について説明する。この場合、同色予測処理適性指標導出用フィルタの要素数を４×４とする。そして、Ｒ成分画像中の注目画素に対する同色予測処理適性指標を導出する場合、注目領域中でＲ色画素が存在する位置に対応する位置の要素にフィルタリング用の値を設定し、残りの要素には０を設定すればよい。つまり、図７に例示されるように、ｆｓ（１，１）、ｆｓ（１，３）、ｆｓ（３，１）、ｆｓ（３，３）の要素にフィルタリング用の値を設定し、残りの要素に０を設定すればよい。このようにすることにより、色分解していないＣＦＡ画像にフィルタリング処理をしても、特定の色（本例ではＲ色）の画像に対するフィルタリング値Ａｉｊを求めることができる。
【０１１９】
図５のフローチャートにおいて、Ｇ成分、Ｒ成分、Ｂ成分それぞれの画像に対する処理が並列して行われるように表示されているが、図示のとおり並列して処理されてもよいし、各色成分の画像ごとに順次処理が行われてもよい。その場合、処理をする色の順番は、任意に設定することが可能である。
【０１２０】
本発明は、デジタルスチルカメラ、デジタルムービーカメラ、あるいはこれらの撮像装置から出力される画像信号を入力して処理する画像処理装置や情報処理装置等に適用することが可能である。さらに、動画や静止画を圧縮処理する画像処理プログラムに本発明を適用することも可能である。
【０１２１】
以上、いくつかの実施形態に基づいて本発明について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１２２】
また、上記実施形態からは種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるのであればこの構成要件が削除された構成もまた発明として抽出され得る。
【符号の説明】
【０１２３】
１００ … 画像圧縮処理部
１０２ … ＣＦＡ画像入力部
１０４ … 色分解処理部
１０６ … 第１の処理適性指標導出部
１０８ … 第２の処理適性指標導出部
１１０ … 予測方式決定部
１１２ … 予測値算出部
１１４ … 予測誤差算出部
１１６ … エントロピー符号化処理部
２００ … 撮像装置
２０４ … 撮像素子
２０６ … ＡＦＥ
２０８、３０２ … ＭＰＵ
２１６、３０４ … メモリ
【技術分野】
【０００１】
本発明は、撮像素子から得られた画像データを可逆圧縮する技術に関し、特にデモザイク前のカラーフィルタアレイ画像データを可逆圧縮する画像圧縮装置、撮像装置、および画像圧縮方法に関する。
【背景技術】
【０００２】
現在、撮像素子の高画素化が進み、画像１枚当たりのデータ量は非常に大きいものとなっている。しかし、記憶媒体の記憶容量は有限であるため、一般に、撮像された画像はデータ圧縮により、そのデータ量を減じてから記録される。例えば、デジタルスチルカメラに代表されるような電子撮像装置では、ＪＰＥＧ等の非可逆圧縮にて充分にデータ量を小さくしてから記録されることが多い。但し、用途によっては、画像劣化を伴う非可逆圧縮ではなく、可逆圧縮が好まれる場合もある。例えば、一連のデジタル画像処理を省略し、撮像素子からのデジタル出力そのものを記録するＲＡＷ画像データ記録機能を有するデジタルスチルカメラでは、その記録時に可逆圧縮を行うものが多い。
【０００３】
可逆圧縮には幾つかの方式が存在しているが、そのうち多くの場合に使用されている方式の一つに予測符号化がある。予測符号化は、注目画素の値を予測するための複数の予測方法を予め定め、その予測方法を用いて求められる値（予測値）と実際の値との差分（予測差分）を求めて、予測方法を特定する情報とともに記録する方式である。元の画像データで各画素の値が様々な値にばらついていたとしても、適切な予測方法を設定することができれば、予測差分のばらつき幅を減じ、０に近い値に集中させることができる。このとき、予測方法の種類数を減じることが情報量を増加させないようにするために必要となる。つまり、限られた種類の予測方法を用いて、画像中のあらゆる画素パターンに対応して予測差分のばらつきが減じられるようにすることが圧縮率を高める上で有効となる。
【０００４】
画像データでは、注目画素とその隣接画素の値は類似していることが多い。したがって、注目画素の予測値を求める際に、隣接画素の値をそのまま用いても、あるいは隣接画素から単純な計算にて求めても予測差分は比較的小さな値となり、その効果が大きいことから予測符号化の方式が多く使用されている。
【０００５】
ばらつき幅の減じられた予測差分のデータは、エントロピー符号化等の手法を用い、出現頻度に応じた可変ビット長の符号を割り当てることにより、圧縮することができる。
【０００６】
しかし、ＲＡＷ画像データの圧縮においては、必ずしも高い圧縮比が得られない場合がある。この理由について説明する。現在、多くの撮像装置では、ベイヤー配列のオンチップカラーフィルタを備える単板撮像素子が用いられている。撮像素子から出力され、デモザイク処理される前の画像データ、すなわちＣＦＡ（Ｃｏｌｏｒ Ｆｉｌｔｅｒ Ａｒｒａｙ）画像データは、隣接画素の色成分が互いに異なるものとなっている。ここで、ある画素を注目画素と称し、注目画素に隣接して位置する画素を隣接画素と称する。デモザイク処理される前の画像データにおいては、注目画素と隣接画素とは異なる色成分となっている。したがってこれらの注目画素および隣接画素間で画素値の類似性は高くはなく、単純に隣接画素の画素値から予測値を求めたのでは、予測差分のばらつきは大きくなり、圧縮率を高めることは難しくなる。
【０００７】
そこで、特許文献１では、注目画素と同色の近傍画素を用いて予測差分を求める方法が提案されている。つまり、ＣＦＡ画像中、同色の画素は一つおきに配列されているので、注目画素から２画素分シフトした位置にある同色画素を近傍画素とする。この近傍画素及び隣接異色画素を用い、予測値を求めて予測差分を評価し、その結果から最適と考えられる予測方式を当該注目画素に適用するものである。また、特許文献２では、色成分間の相関性を利用する方法が提案されている。これはＲＡＷ画像データを色成分毎に分離し、基準色成分と基準色以外の色成分の差分を求める方法である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０００−２４４９３５号公報
【特許文献２】特開２００５−２８６４１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献２に開示される方法では、基準色と基準色以外の色成分との相関性が低い場合に、予測差分のばらつきが大きくなってしまい、圧縮率が低下する。この点、特許文献１に開示される方法では、色成分毎の相関性が高い場合と低い場合で適応的に予測方式を選択し予測差分を算出できるが、注目画素そのものについての最適な予測方式を必ずしも選択できるわけではない。特に高周波数成分の多い領域においては、最適な予測方式を設定できず、予測差分が大きくなることが多い。そのため、圧縮率が低下する。
【００１０】
本発明は、上記の課題に鑑みてなされたものであり、デモザイク処理前のＣＦＡ画像を可逆圧縮する際のデータ圧縮率を高めることが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明のある態様によれば、受光面上に複数色の色分解用カラーフィルタが配列された撮像素子から出力されたカラーフィルタアレイ画像を圧縮する画像圧縮装置が、
前記カラーフィルタアレイ画像中の一つの画素を注目画素として設定し、当該注目画素の近傍に存在する複数色の近傍画素のうち、前記注目画素と同じ色の画素である同色近傍画素の画素値を参照して前記注目画素の画素値を予測する第１予測方式に対する適性の指標である第１の適性指標を導出する第１の適性指標導出部と、
前記複数色の近傍画素のうち、前記注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および前記同色近傍画素の画素値の双方を参照して前記注目画素の画素値を予測する第２予測方式に対する適性の指標である第２の適性指標を導出する第２の適性指標導出部と、
前記第１の適性指標と前記第２の適性指標とに基づき、前記第１予測方式および前記第２予測方式のうちのいずれかに決定し、該決定した予測方式で前記注目画素の予測値を算出する予測値算出部と、
前記注目画素の実際の値と前記予測値との差である予測誤差を算出する予測誤差算出部とを備える。
【００１２】
本発明のある態様によれば、受光面上に複数色の色分解用カラーフィルタが配列されてカラーフィルタアレイ画像を出力可能な撮像素子を備える撮像装置が、前記画像圧縮装置を備える。
【００１３】
本発明のある態様によれば、受光面上に複数色の色分解用カラーフィルタが配列された撮像素子によって得られたカラーフィルタアレイ画像を圧縮する画像圧縮方法が、
前記カラーフィルタアレイ画像中の一つの画素を注目画素として設定し、当該注目画素の近傍に存在する複数色の近傍画素のうち、前記注目画素と同じ色の画素である同色近傍画素の画素値を参照して前記注目画素の画素値を予測する第１予測方式に対する適性の指標である第１の適性指標を導出する第１の適性指標導出手順と、
前記複数色の近傍画素のうち、前記注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および前記同色近傍画素の画素値の双方を参照して前記注目画素の画素値を予測する第２の予測方式に対する適性の指標である第２の適性指標を導出する第２の適性指標導出手順と、
前記第１の適性指標と前記第２の適性指標とに基づき、前記第１予測方式および前記第２予測方式のうちのいずれかに決定し、該決定した予測方式で前記注目画素の予測値を算出する予測値算出手順と、
前記注目画素の実際の値と前記予測値との差である予測誤差を算出する予測誤差算出手順とを備える。
【発明の効果】
【００１４】
本発明によれば、デモザイク処理前のＣＦＡ画像を可逆圧縮する際のデータ圧縮率を高めることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】画像圧縮処理部の概略的構成を説明するブロック図である。
【図２】画像圧縮処理部が撮像装置に内蔵される例を説明するブロック図である。
【図３】コンピュータの概略的内部構成を説明するブロック図であり、画像圧縮処理プログラムをコンピュータが実行することにより画像圧縮処理部が実現される例を説明する図である。
【図４】カラーフィルタアレイ画像内における各色成分の画素の配列例を概念的に説明する図である。
【図５】画像圧縮処理手順を説明するフローチャートである。
【図６】注目画素および注目画素の近傍に位置する近傍画素を概念的に説明する図である。
【図７】同色予測処理適性指標導出用フィルタの例と、この同色予測処理適性指標導出用フィルタを用いて同色予測処理適性指標が導出される様子を説明する図である。
【図８】同色予測処理適性がある場合の画像パターン例を示し、（ａ）は縦方向および横方向の双方に相関がある例を、（ｂ）は縦方向に相関がある例を、（ｃ）は横方向に相関がある例を、それぞれ示す図である。
【図９】同色予測処理適性が無い場合の画像パターン例を示し、（ａ）は縦方向にも横方向にも相関が無い例を、（ｂ）は画素Ｒ１、Ｒ３を見ると縦方向に相関があるように見えるが画素Ｒ２とＲとでは相関が無い例を、（ｃ）は画素Ｒ１、Ｒ２を見ると横方向に相関があるように見えるが画素Ｒ３とＲとでは相関が無い例を、それぞれ示す図である。
【図１０】異色予測処理適性指標導出用フィルタ１の例と、この異色予測処理適性指標導出用フィルタ１を用いて異色予測処理適性指標１が導出される様子を説明する図である。
【図１１】異色予測処理適性指標導出用フィルタ２の例と、この異色予測処理適性指標導出用フィルタ２を用いて異色予測処理適性指標２が導出される様子を説明する図である。
【図１２】異色予測処理適性指標導出用フィルタ３の例と、この異色予測処理適性指標導出用フィルタ３を用いて異色予測処理適性指標３が導出される様子を説明する図である。
【図１３】異色予測処理適性指標導出用フィルタ４の例と、この異色予測処理適性指標導出用フィルタ４を用いて異色予測処理適性指標４が導出される様子を説明する図である。
【図１４】異色予測処理適性指標導出用フィルタの別例を示す図であり、（ａ）は異色予測処理適性指標導出用フィルタ１の、（ｂ）は異色予測処理適性指標導出用フィルタ２の、（ｃ）は異色予測処理適性指標導出用フィルタ３の、そして（ｄ）は異色予測処理適性指標導出用フィルタ４の、それぞれ別例を示す図である。
【図１５】注目画素を含んで縦方向、横方向に並ぶ近傍画素が異色予測処理適性を有する場合の画像パターン例を示す図であり、（ａ）は画素Ｇ１とＧ２との相関と、画素Ｒ２とＲとの相関が類似する場合の一例を示し、（ｂ）は画素Ｇ１とＧ２との相関と、画素Ｒ２とＲとの相関が類似する場合の別例を示し、（ｃ）は画素Ｇ３とＧ４との相関と、画素Ｒ３とＲとの相関が類似する場合の一例を示し、（ｄ）は画素Ｇ３とＧ４との相関と、画素Ｒ３とＲとの相関が類似する場合の別例を示す図である。
【図１６】注目画素を含んで縦方向、横方向に並ぶ近傍画素が異色予測処理適性を有していない場合の画像パターン例を示す図であり、（ａ）、（ｂ）、（ｃ）は画素Ｇ１とＧ２との相関が無い例を、（ｄ）は画素Ｇ１、Ｇ２を見ると縦方向に相関があるように見えるが画素Ｒ２とＲとでは相関が無い例を、（ｅ）、（ｆ）、（ｇ）は画素Ｇ３とＧ４との相関が無い例を、（ｈ）は画素Ｇ３、Ｇ４を見ると横方向に相関があるように見えるが画素Ｒ３とＲとでは相関が無い例を、それぞれ示す図である。
【図１７】本発明の実施の形態においてＲ成分画像に対して第１、第２の予測方式で注目画素の予測値が導出される様子を示す図であり、（ａ）はＲ色の画素を注目画素とする場合の近傍画素の配列を、（ｂ）は注目画素の予測値を導出する際に参照される近傍画素の画素値を、それぞれ示す図である。
【図１８】本発明の実施の形態においてＧ成分画像に対して第３の予測方式で注目画素の予測値が導出される様子を示す図であり、（ａ）はＧ色の画素を注目画素とする場合の近傍画素の配列を、（ｂ）は注目画素の予測値を導出する際に参照される近傍画素の画素値を、それぞれ示す図である。
【発明を実施するための形態】
【００１６】
図１は、本発明の実施の形態に係る画像圧縮処理部１００の概略的構成を説明するブロック図である。画像圧縮処理部１００は、ＣＦＡ画像入力部１０２と、色分解処理部１０４と、第１の処理適性指標導出部１０６と、第２の処理適性指標導出部１０８と、予測値算出部１１２と、予測誤差算出部１１４と、エントロピー符号化処理部１１６とを備える。
【００１７】
画像圧縮処理部１００は、専用のハードウェアによって構成されていてもよいし、コンピュータにより読み取りが可能な記憶媒体に格納された画像圧縮処理プログラムをコンピュータが実行することにより実現されるものであってもよい。
【００１８】
ＣＦＡ画像入力部１０２は、デモザイク処理の行われていないＣＦＡ画像を入力する。なお、本明細書において、ＣＦＡ画像はＲ、Ｇ、Ｂの原色オンチップカラーフィルタが受光面上にベイヤー配列された撮像素子から出力されたもの（本明細書ではこれはベイヤーＣＦＡ画像と称する）として以下の説明をするが、補色タイプ等、どのような画素配列形式、どのようなタイプのオンチップカラーを有する撮像素子から出力されたＣＦＡ画像であっても処理可能である。また、４色以上に色分解可能な撮像素子から出力されるＣＦＡ画像であっても本発明を適用可能である。
【００１９】
色分解処理部１０４は、撮像素子の受光面上に備えられるオンチップカラーフィルタの色に対応したカラープレーンの画像にＣＦＡ画像を分解（色分解処理）する。ベイヤーＣＦＡ画像は縦２画素、横２画素の４画素を配列単位とし、その配列単位中にＲ画素およびＢ画素が一つずつ、Ｇ画素が二つ配列されたものとなっている。このベイヤーＣＦＡ画像を色分解処理する際には、Ｂ、Ｇ、Ｒ三つのカラープレーンの画像に分解することが可能である。あるいは、Ｇ色について、Ｇｒ、Ｇｂの二つのカラープレーンの画像に分解し、計四つのカラープレーンに色分解することも可能である。以下ではＢ、Ｇ、Ｒの三つのカラープレーンの画像に分解するものとして説明する。これらＢ色、Ｇ色、Ｒ色の各カラープレーンの画像をＢ成分画像、Ｇ成分画像、Ｒ成分画像とそれぞれ称する。
【００２０】
第１の処理適性指標導出部１０６は、Ｂ成分画像およびＲ成分画像のそれぞれを解析する。そして、Ｂ成分画像およびＲ成分画像内の画素ごとに第１の処理適性指標を導出する。なお、Ｂ成分画像、Ｒ成分画像に対する処理は、処理対象の画素がＢ色の画素であるかＲ色の画素であるかの違いがあるだけで、その他は基本的に同じであるので、以下ではＲ成分画像に対する処理を主体に説明する。第１の処理適性指標とは、ＣＦＡ画像中のある一つの画素を注目画素として設定し、この注目画素の近傍に存在する複数色の画素のうち、注目画素と同じ色の画素（ここではＲ色画素）である同色近傍画素の画素値を参照して注目画素の画素値を予測する処理に対する適性を示す指標である。第１の処理適性指標およびこの指標を導出する処理の詳細については後で説明する。
【００２１】
第２の処理適性指標導出部１０８は、Ｂ成分画像およびＲ成分画像のそれぞれを解析する。そして、Ｂ成分画像およびＲ成分画像内の画素ごとに第２の処理適性指標を導出する。第２の処理適性指標導出部での処理もまた、Ｂ成分画像、Ｒ成分画像に対する処理は、処理対象の画素がＢ色の画素であるかＲ色の画素であるかの違いがあるだけで、その他は基本的に同じである。第２の処理適性指標とは、ＣＦＡ画像中のある一つの画素を注目画素として設定し、この注目画素の近傍に存在する複数色の画素のうち、注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および同色近傍画素の画素値の双方を参照して注目画素の画素値を予測する処理に対する適性を示す指標である。本実施の形態においては、注目画素の色がＲ色であってもＢ色であっても、Ｇ色の画素が異色近傍画素として設定される。第２の処理適性指標およびこの指標を導出する処理の詳細については後で説明する。
【００２２】
予測方式決定部１１０は、第１の処理適性指標および第２の処理適性指標を参照し、注目画素の予測値を予測する際の予測方式を決定する。本発明の実施の形態においては、Ｂ成分画像およびＲ成分画像それぞれの全画素について、上述した第１および第２の処理適性指標の導出と予測方式を点順次に決定する。なお、上述のように決定された予測方式について、Ｂ成分画像およびＲ成分画像を構成する全ての画素それぞれに対応して記憶することも可能であるが、情報量が増えてしまう。そこで、画像を複数の領域に分割し、分割された領域ごとに予測方式を設定することにより、情報量の増加を抑制可能である。あるいは、画像の横方向または縦方向に沿う１ラインあるいは複数ラインに対応して共通の予測方式を設定することも可能である。さらにまた、上述した第１、第２の処理適性指標導出の処理と予測方式決定の処理とをいわゆるヒルベルトスキャンの方式で行い、記録することも可能である。その場合、処理を開始した画素から数えて、例えば１番目からＮ番目の画素までは予測方式Ａで、Ｎ＋１番目からＭ番目の画素までは予測方式Ｂで、…、というように予測方式を記録することが可能となり、情報量の増加を抑制可能となる。
【００２３】
予測値算出部１１２は、色分解処理部１０４で生成された三色の成分の画像のうち、Ｂ成分画像およびＲ成分画像に対して、予測方式決定部１１０で決定された予測方式を用いて予測値算出の処理を行う。予測値算出部１１２はまた、Ｇ成分画像に対しては、予測方式決定部で決定される方式とは異なる方式で予測値算出の処理を行う。
【００２４】
予測誤差算出部１１４は、予測値算出部１１２で算出されたＢ成分、Ｇ成分、Ｒ成分の画像中の各画素値に対応する予測値と実際値との差である予測誤差を算出する。上述した一連の処理により、比較的高い精度での予測値算出が行われるので、算出される予測値の分布は一定の値、例えばゼロ近くに集中する。つまり、Ｂ、Ｇ、Ｒの各成分について、元の画像データの画素値および予測誤差値の分散（統計学上の分散）を求めると、その値は予測誤差値の方が小さくなる。すなわち、予測誤差値のばらつきが減る。
【００２５】
エントロピー符号化処理部１１６は、上述のようにして算出された予測誤差値に対してエントロピー符号化の処理を行う。つまり、出現頻度のより高い予測誤差値に対し、より短いビット長の符号を割り当てることにより、全体としての情報量を減じる処理を行う。
【００２６】
図２は、画像圧縮処理部１００を備える撮像装置２００の概略的内部構成を説明するブロック図である。撮像装置２００は、撮像光学系２０２と、撮像素子２０４と、アナログ・フロントエンド（以下、「ＡＦＥ」と称する）２０６と、マイクロプロセッシングユニット（以下、「ＭＰＵ」と称する）２０８と、画像圧縮処理部１００と、画像処理部２１０と、表示処理部２１２と、表示部２２４と、記録処理部２１４と、メモリ２１６と、バス２１８とを備える。撮像装置２００は、メモリカード等の記録媒体２３０を着脱可能に装着される。撮像装置２００は、静止画を撮影するものであっても、動画を撮影するものであってもよい。無論、静止画、動画両方の撮影が可能に構成されていてもよい。撮像装置２００はまた、独立した製品として形成されていても、パーソナルコンピュータや携帯情報端末等の情報処理装置や携帯電話等に内蔵されるものであってもよい。
【００２７】
撮像光学系２０２は、被写体像を撮像素子２０４の受光面上に形成する。撮像光学系２０２は、単焦点のものであっても可変焦点距離のものであってもよく、撮像装置２００に固定されるものであっても、着脱可能に構成されるものであってもよい。
【００２８】
撮像素子２０４は、複数色のオンチップカラーフィルタが受光面上に形成される。オンチップカラーフィルタの色数やカラーフィルタの配列方式については撮像装置２００の仕様に応じて様々なものとすることができる。本実施の形態では、上述したとおり、ベイヤー配列されたＢ（青）、Ｇ（緑）、Ｒ（赤）３色の原色タイプのオンチップカラーフィルタを撮像素子２０４が備えるものとして説明をする。
【００２９】
ＡＦＥ２０６は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）処理部、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）処理部、Ａ／Ｄコンバータ等を備え、撮像素子２０４から出力されるアナログ画像信号にノイズ低減、増幅、Ａ／Ｄ変換等の処理を行う。本明細書において撮像素子２０４はＣＭＯＳ撮像素子であるものとし、ＡＦＥ２０６が撮像素子２０４に内蔵されるものとする。
【００３０】
ＭＰＵ２０８は、メモリ２１６にストアされるプログラムを読み出して実行し、撮像装置２００で撮影動作や再生動作が行われる際に撮像装置２００を統括的に制御する。
【００３１】
画像圧縮処理部１００は、図１を参照して説明した構成を備え、撮像素子２０４からＡＦＥ２０６を経由して出力されたデジタルのＣＦＡ画像を入力し、可逆圧縮処理を行う。
【００３２】
画像処理部２１０は、撮像素子２０４からＡＦＥ２０６を経由して出力されたデジタルのＣＦＡ画像に対してデモザイキング、ノイズ低減、ホワイトバランス調整、階調変換等の処理をして同時化された画像を生成する。画像圧縮処理部１００で圧縮されて保管された画像を撮像装置２００内で解凍する場合、この解凍処理は画像処理部２１０で行われても、画像圧縮処理部１００で行われてもよい。また、画像圧縮処理部１００は、画像処理部２１０内に備えられるものであってもよい。画像圧縮処理部１００はまた、同時化された画像に対して非可逆圧縮の処理をしてＪＰＥＧ画像やＭＰＥＧ画像等を生成することが可能に構成されていてもよい。
【００３３】
表示処理部２１２は、画像処理部２１０で生成された、同時化された画像にリサイズ、色空間変換等の処理をして表示用画像データを生成し、表示部２２４に出力する。表示部２２４は、カラー液晶表示装置や、有機ＥＬ表示装置等、カラー画像や文字、アイコン等を表示可能に構成される。そして、表示処理部２１２から出力された表示用画像データに基づく画像を表示する。
【００３４】
記録処理部２１４は、画像圧縮処理部１００で生成された可逆圧縮データ、非可逆圧縮データに撮影日時、撮影条件、画像処理条件等の情報を含むメタデータを付加して画像ファイルを生成し、記録媒体２３０に保管する。
【００３５】
メモリ２１６は、フラッシュメモリとＳＤＲＡＭとを備える。上述したＡＦＥ２０６、ＭＰＵ２０８、画像圧縮処理部１００、画像処理部２１０、表示処理部２１２、記録処理部２１４およびメモリ２１６は、バス２１８を介して相互に接続されている。フラッシュメモリにはＭＰＵ２０８で実行するためのプログラム（ファームウェア）や撮像装置２００の動作パラメータ等、電源の供給されない状態でも保持し続けることの必要な情報が保管される。ＳＤＲＡＭは比較的高速のアクセス速度を有し、ＭＰＵ２０８、画像圧縮処理部１００、画像処理部２１０、表示処理部２１２、記録処理部２１４で処理を行う際のワークエリアとして用いられる。
【００３６】
撮像制御部２２０は、ＭＰＵ２０８から出力される制御信号をもとに撮像素子２０４に対してタイミング制御信号等を出力し、撮像素子２０４での撮像動作を制御する。
【００３７】
操作部２２２は、押しボタンスイッチ、スライドスイッチ、ダイヤルスイッチ等を備え、ユーザによる撮像装置２００の操作を受け付ける。操作部２２２はまた、表示部２２４の表示面上に備えられるタッチパネル等を備えていてもよい。
【００３８】
図３は、画像圧縮処理部１００が、情報処理装置３００のＭＰＵ３０２によって画像圧縮処理プログラムが実行されることにより実現される例を説明するブロック図である。情報処理装置３００は、ＭＰＵ３０２と、メモリ３０４と、補助記憶装置３０６と、システムバス３０８とを備える。情報処理装置３００はまた、メモリカードインターフェース３１０と、光ディスクドライブ３１２と、ネットワークインターフェース３１４と、ビデオインターフェース３１６とを備える。
【００３９】
メモリ３０４は、ＳＤＲＡＭ等で構成されていて比較的高速のアクセス速度を有し、ＭＰＵ３０２がプログラムを実行する際のワークエリアとして用いられる。補助記憶装置３０６は、ハードディスクドライブやＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を備え、ＭＰＵ３０２で実行されるプログラムや、画像ファイル等を記憶可能に構成される。
【００４０】
メモリカードインターフェース３１０は、装着されたメモリカードＭＣからの情報の読み出しと、メモリカードＭＣへの情報の書き込みとを可能に構成される。メモリカードＭＣは、画像ファイルやプログラムファイル等を記憶可能な記憶媒体であり、撮像装置２００に装着することも可能に構成される。撮像装置２００で生成され、可逆圧縮されて生成されたカラーフィルタアレイ画像を含む画像ファイル、すなわちＲＡＷ画像ファイルはメモリカードＭＣに保管される。情報処理装置３００は、メモリカードインターフェース３１０を介してメモリカードＭＣからこのＲＡＷ画像ファイル等を読み込むことができる。
【００４１】
光ディスクドライブ３１２は、装着された光ディスクＯＤから画像ファイルやプログラムファイル等を読み出し可能に構成される。光ディスクドライブ３１２はまた、画像ファイルや各種情報等を光ディスクＯＤに書き込み可能に構成されていてもよい。
【００４２】
ネットワークインターフェース３１４は、有線または無線の形態でネットワークＮＷに接続可能に構成される。そして、ネットワークＮＷに接続されるサーバ等へ情報の出力およびサーバ等からの情報の入力が可能に構成される。
【００４３】
ビデオインターフェース３１６は、カラー液晶表示装置等のフラットパネルディスプレイやＣＲＴ等の表示装置を接続可能に構成される。接続されたこれらの表示装置には、文字等の情報や画像等が表示される。上述したメモリ３０４、補助記憶装置３０６、メモリカードインターフェース３１０、光ディスクドライブ３１２、ネットワークインターフェース３１４、ビデオインターフェース３１６は、システムバス３０８を介してＭＰＵ３０２と相互に接続される。
【００４４】
画像圧縮処理部１００は、補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等の非一時的なコンピュータ可読記憶媒体から読み出されてメモリ３０４にロードされた画像圧縮処理プログラムをＭＰＵ３０２が実行することにより実現される。画像圧縮処理部１００は、補助記憶装置３０６、メモリカードＭＣ、光ディスクＯＤ等からＲＡＷ画像データファイルを読み出して画像圧縮処理をすることができる。この場合、ＲＡＷ画像データファイル中に収容されるカラーフィルタアレイ画像は既に何らかの可逆圧縮方式で圧縮されていることが多い。この画像を解凍して得たカラーフィルタアレイ画像に対して画像圧縮処理部１００が可逆圧縮の処理をすることにより、補助記憶装置３０６等に再保存する際のファイルサイズを減少させることが可能となる。また、画像圧縮処理部１００で圧縮した画像データを、ネットワークＮＷを介して他の情報処理装置に送信する際に、転送データ量を減じることが可能となる。さらに、画像圧縮処理部１００で圧縮した画像データをメモリカードＭＣや光ディスクＯＤに保存する場合、これらのメモリカードＭＣや光ディスクＯＤに記憶可能な画像ファイルの数を増加させることが可能となる。
【００４５】
図４は、画像圧縮処理部１００で可逆圧縮処理される対象のＣＦＡ画像を概念的に示す図である。以下では特定の画素位置の画素を参照する際に、二次元配列された画素の左上隅の位置を（１，１）とし、横方向（行方向）に（１，２）、（１，３）、…、（１，ｊ）、…、縦方向（列方向）に（２，１）、（３，１）、…、（ｉ，１）、…の座標値を付与する。例えば、（１，１）の座標位置の画素を画素（１，１）と称する。図４の例では、画素（１，１）および画素（２，２）をＧ色画素、画素（１，２）をＲ色画素、画素（２，１）をＢ色画素として、四つの画素により一つの配列単位が形成されている。
【００４６】
図５は、画像圧縮処理の手順を説明するフローチャートである。以下では、撮像装置２００が静止画撮影モードで動作していてレリーズ操作が行われ、ＡＦＥ２０６を介して撮像素子２０４からＣＦＡ画像データが読み出されたときに図５のフローチャートに示される処理が画像圧縮処理部１００で実行されるものとして説明をする。
【００４７】
Ｓ５００において画像圧縮処理部１００は、ＡＦＥ２０６を介して撮像素子２０４からＣＦＡ画像を入力する。Ｓ５０２において画像圧縮処理部１００は、色分解の処理を行い、Ｂ成分画像、Ｇ成分画像、Ｒ成分画像を生成する。Ｂ、Ｇ、Ｒ、各成分の画像のデータは、元の座標位置を維持するようにして、他の色成分の画素に相当する部分が空白となったデータとしてもよいし、空いた部分を詰めたデータとしてもよい。なお、詰めたデータとする場合には、各色成分のデータ間で画素位置の対応が後で取れるようにする必要がある。
【００４８】
これら三つの色成分の画像に対しては、図５のフローチャートに示されるように、色ごとに異なる処理が行われる。但し、先にも説明したように、Ｒ成分画像、Ｂ成分画像に対する処理は、処理対象の画素がＲ色のものであるかＢ色のものであるかの違いがあるだけで、処理内容は基本的に同じである。Ｇ成分画像に関しては、Ｒ色成分画像、Ｂ色成分画像に比べて画素数が多く、また、被写体の輝度（明るさ）にほぼ対応する画素値が得られるため、基準色として設定する。Ｇ色が基準色として設定された場合、Ｇ色以外の色成分、本例ではＲ色成分、Ｂ色成分の画像に対して処理を行う際に、Ｇ成分画像の画素値が共通して参照される。
【００４９】
なお、基準色は必ずしもＧ色である必要はなく、被写体の分光分布が大きく偏っている等の場合によっては他の色を基準色としてもよい。この場合、ユーザが任意の色成分の色を基準色に設定可能に構成されていても、画像を解析した結果等に基づいて基準色が自動的に選択されるものであってもよい。また、図４に例示される画素の配列中、Ｒ色画素の左隣に配列されるＧ色画素をＧｒ色画素と称し、Ｂ色画素の右隣に配列されるＧ色画素をＧｂ色画素と称すると、Ｓ５０２における色分解の処理で、Ｇｒ、Ｇｂ、Ｂ、Ｒの４色に色分解することができる。これら４色の色成分のうち、いずれかを基準色に設定することも可能である。
【００５０】
以下ではＧ色が基準色として設定されるものとして説明する。最初に、Ｒ成分画像に対する処理であるＳ５０４からＳ５１８までの処理について説明をする。まず、Ｓ５０４、Ｓ５０６、Ｓ５０８の各処理がＲ成分画像中の全画素に対して行われる。そして、先にも説明したように画素毎、行毎、列毎、あるいは分割された領域毎に予測方式が決定される。その後、Ｓ５１０からＳ５１８の処理がＲ成分画像の全画素に対して行われ、予測値および予測誤差の算出が行われる。
【００５１】
各ステップで行われる処理の説明に先立ち、図６を参照して注目画素、近傍画素、同色近傍画素、異色近傍画素について説明する。図６には、Ｒ色の画素（ｉ，ｊ）、すなわち図４に例示される画素の配列中、第ｉ行、第ｊ列の位置にあるＲ色の画素が注目画素ＰＩとして設定される様子が示されている。この注目画素ＰＩに対して、（ｉ−２，ｊ−２）から（ｉ＋１，ｊ＋１）までの４画素×４画素の矩形領域（注目画素ＰＩを中心とした３画素×３画素領域の周囲に、１行画素と１列画素を追加した領域）が注目領域として設定される。この注目領域に存在する画素のうち、注目画素ＰＩ以外の画素を本明細書では近傍画素と称する。このうち、注目画素ＰＩの色と同じ色の画素を同色近傍画素と称する。図６の例では、画素（ｉ−２，ｊ−２）、画素（ｉ，ｊ−２）、および画素（ｉ−２，ｊ）が同色近傍画素である。また、注目画素ＰＩの色と異なる色（本例ではＧ色、Ｂ色）のうちの、ある一色の画素を異色近傍画素と称する。本例では、基準色として設定されたＧ色の近傍画素を異色近傍画素とする。図６の例では、画素（ｉ−２，ｊ−１）、画素（ｉ−２，ｊ＋１）、画素（ｉ−１，ｊ−２）、画素（ｉ−１，ｊ）、画素（ｉ，ｊ−１）、画素（ｉ，ｊ＋１）、画素（ｉ＋１，ｊ−２）、および画素（ｉ＋１，ｊ）が異色近傍画素である。
【００５２】
Ｓ５０４において画像圧縮処理部１００は、第１の処理適性指標、すなわち同色予測処理適性指標を導出する処理を行う。このＳ５０４では、同色予測処理適性指標導出用フィルタを注目画素ＰＩおよび同色近傍画素に適用する処理が最初に行われる。図７に、同色予測処理適性指標導出用フィルタの例を示す。図７では、図６に例示される注目領域中の各画素との対応が容易に理解できるように、行方向および列方向にそれぞれ４要素の、１６要素のフィルタとして示している。しかし、本例において同色近傍画素および注目画素の合計数は４であり、同色予測処理適性指標導出用フィルタはこれら四つの画素の画素値に適用するフィルタであるので、行方向および列方向にそれぞれ２要素の４要素のフィルタとしてもよい。つまり、図７において、ｆｓ（１，１）、ｆｓ（１，３）、ｆｓ（３，１）、ｆｓ（３，３）の符号が付された四つの要素のみを有するものを同色予測処理適性指標導出用フィルタとしてもよい。この同色予測処理適性指標導出用フィルタ中に設定される値は、図７に例示される１、−１に限られず、正、負、零の値を含む実数とすることが可能である。
【００５３】
同色予測処理適性指標導出用フィルタ中の各要素を注目画素ＰＩおよび同色近傍画素に適用する処理は、以下のようにして行われる。すなわち、以下の式（１）によって注目画素ＰＩ、つまり画素（ｉ，ｊ）に対するフィルタリング値Ａｉｊを求め、このフィルタリング値Ａｉｊと所定の閾値との比較結果に基づいて同色予測処理適性指標が導出される。
Ａｉｊ＝Ｐ（ｉ−２，ｊ−２）×ｆｓ（１，１）＋Ｐ（ｉ−２，ｊ）×ｆｓ（１，３）
＋Ｐ（ｉ，ｊ−２）×ｆｓ（３，１）＋Ｐ（ｉ，ｊ）×ｆｓ（３，３） … 式（１）
上記の式（１）において、Ｐ（ｍ，ｎ）は図６における画素（ｍ，ｎ）の画素値を意味する。例えば、Ｐ（ｉ−２，ｊ−２）は、同色近傍画素の一つである画素（ｉ−２，ｊ−２）の画素値であり、Ｐ（ｉ，ｊ）は注目画素ＰＩ、すなわち画素（ｉ，ｊ）の画素値である。注目領域内の各画素の値と、同色予測処理適性指標導出用フィルタとをマトリクスに見立てて説明すると、これら二つのマトリクスの同じ行、同じ列位置の要素同士を乗じてそれらの結果の累計を求める積和の演算を行い、フィルタリング値Ａｉｊが求められることを式（１）は表している。
【００５４】
式（１）で求められたフィルタリング値Ａｉｊの絶対値が閾値Ａthresの２倍以下のとき、同色予測処理適性指標は０に設定される。一方、フィルタリング値Ａｉｊの絶対値が閾値Ａthresの２倍を上回るとき、同色予測処理適性指標は１に設定される。ここで閾値Ａthresは任意に設定可能であり、最終的に得られる予測誤差として許容可能な値、適用する同色予測処理適性指標導出用フィルタの値等に応じて設定することができる。例えば、理解を容易にするためにＣＦＡ画像データのビット深度が８ビット、すなわち各画素の画素値として取り得る範囲が０から２５５までであるものとすると、閾値Ａthresは０〜ｐとして設定される。本例でこのｐは２５５未満の値となる。結果、２×Ａthresは０〜５１０となる。なお、予測誤差は適宜オフセット値が与えられて正の値として扱われるものとする。
【００５５】
同色予測処理適性指標が０に設定される場合、および１に設定される場合それぞれの例について図８、図９を参照して説明する。図８、図９は、注目画素ＰＩおよび同色近傍画素を概念的に示しており、各画素の色の濃淡は画素値の大小を示している。図８、図９においては、色の濃い方の画素の画素値が相対的に小さいものとする。
【００５６】
図８の（ａ）、（ｂ）、（ｃ）は、同色予測処理適性指標が０に設定される場合、すなわち同色近傍画素の画素値を参照して注目画素の画素値を予測する処理に対する適性がある例を示している。つまり、注目画素と同色近傍画素との相関性が高く、同色近傍画素の画素値を参照して注目画素の予測値を導出したときに、予測誤差が比較的小さくなることが期待できる例を示している。
【００５７】
図８（ａ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性が高く、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性も高く、さらに注目画素ＰＩは同色近傍画素Ｒ２およびＲ３のいずれとも相関性が高い例を示している。つまり、縦方向（列方向）にも横方向（行方向）にも高い相関性が得られる例を示している。図８（ｂ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性が高く、かつ同色近傍画素Ｒ２と注目画素ＰＩとの相関性が高いものの、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性および同色近傍画素Ｒ３と注目画素ＰＩとの相関性については高くはない例を示している。つまり、横方向の相関性は高くはないものの、縦方向の相関性が高い例を示している。図８（ｃ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性が高く、かつ同色近傍画素Ｒ３と注目画素ＰＩとの相関性が高いものの、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性および同色近傍画素Ｒ２と注目画素ＰＩとの相関性については高くはない例を示している。つまり、縦方向の相関性は高くはないものの、横方向の相関性が高い例を示している。
【００５８】
注目画素および同色近傍画素の画素値の関係が図８に例示したもののうちのいずれかであると、同色近傍画素の画素値を参照して注目画素の予測値を導出した場合、予測誤差が小さくなることが期待できる。このような場合に同色予測処理適性指標は０に設定される。
【００５９】
図９の（ａ）、（ｂ）、（ｃ）は、同色予測処理適性指標が１に設定される場合、すなわち同色近傍画素の画素値を参照して注目画素の画素値を予測する処理に対する適性が無い例を示している。つまり、注目画素と同色近傍画素との相関性が低く、同色近傍画素の画素値を参照して注目画素の予測値を導出したときに、予測誤差が比較的小さくなることが期待できない例を示している。
【００６０】
図９（ａ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性が低く、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性も低く、さらに注目画素ＰＩは同色近傍画素Ｒ２およびＲ３のいずれとも相関性が低い例を示している。つまり、縦方向にも横方向にも高い相関性を得にくい例を示している。図９（ｂ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性は高くなく、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性が高いものの、同色近傍画素Ｒ２と注目画素ＰＩとの相関性は高くない例を示している。つまり、同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性が高いことから縦方向の相関が一見あるように見えるものの、実際には同色近傍画素Ｒ２と注目画素ＰＩとの相関が無い例を示している。図９（ｃ）は、同色近傍画素Ｒ１と同色近傍画素Ｒ２との相関性および同色近傍画素Ｒ１と同色近傍画素Ｒ３との相関性が高いものの、注目画素ＰＩはいずれの同色近傍画素とも高い相関が得られない例を示している。つまり、同色近傍画素Ｒ１、Ｒ２、Ｒ３の相関性が高いことから縦、横いずれの方向にも相関が一見あるように見えるものの、実際には注目画素ＰＩはいずれの同色近傍画素とも高い相関が得られない例を示している。
【００６１】
注目画素および同色近傍画素の画素値の関係が図９に例示したもののうちのいずれかであると、同色近傍画素の画素値を参照して注目画素の予測値を導出した場合、予測誤差が小さくなることが期待できない。このような場合に同色予測処理適性指標は１に設定される。
【００６２】
以上がＳ５０４で行われる、第１の処理適性指標を導出する処理である。続いて、Ｓ５０６で行われる、第２の処理適性指標（異色予測処理適性指標）を導出する処理について説明する。第２の処理適性指標は、同色近傍画素および異色近傍画素の双方を参照して注目画素の画素値を予測する処理に対する適性の指標を導出する処理である。Ｓ５０６での処理においては、注目画素、同色近傍画素、異色近傍画素の各画素値に対して後述するフィルタが適用される。第２の処理適性指標の導出に際しては、Ｒ成分画像およびＧ成分画像の画像データが参照される。図５中、Ｓ５０６、Ｓ５３２、Ｓ５１４、Ｓ５４０の処理ステップに向かう破線の矢印が示されるが、これらはＳ５０２の色分解処理で得られたＧ色成分画像の画像データが上記各処理ステップで参照されることを意味している。先にも説明したように、異色近傍画素としてはＧ色以外の色成分のものとすることも可能である。
【００６３】
図１０から図１３に、異色予測処理適性導出用フィルタの例を示す。これらのフィルタは一例であり、別のフィルタを用いることも可能である。まず、これらのフィルタの概略について説明すると、図１０および図１１に例示されるフィルタが、注目画素ＰＩを含んで縦方向に存在する同色近傍画素および異色近傍画素、すなわち図６に例示される画素（ｉ−２，ｊ）、画素（ｉ−１，ｊ）、画素（ｉ，ｊ）、画素（ｉ＋１，ｊ）の各画素値に適用されるフィルタである。図１２および図１３に例示されるフィルタが注目画素ＰＩを含んで横方向に存在する同色近傍画素および異色近傍画素、すなわち図６に例示される画素（ｉ，ｊ−２）、画素（ｉ，ｊ−１）、画素（ｉ，ｊ）、画素（ｉ，ｊ＋１）の各画素値に適用されるフィルタである。
【００６４】
図１０および図１１に例示されるフィルタを適用することにより、注目画素ＰＩを含んで縦方向に配列される同色近傍画素および異色近傍画素を参照し、注目画素ＰＩの予測値を導出することに対する適性の有無を判定することが可能となる。このとき、図１０、図１１に例示される二つのフィルタを適用することにより、一方のフィルタだけでは捕らえきれない画素値のパターンを網羅することが可能となる。また、図１２および図１３に例示されるフィルタを適用することにより、注目画素ＰＩを含んで横方向に配列される同色近傍画素および異色近傍画素を参照し、注目画素ＰＩの予測値を導出することに対する適性の有無を判定することが可能となる。このとき、図１２、図１３に例示される二つのフィルタを適用することにより、一方のフィルタだけでは捕らえきれない画素値のパターンを網羅することが可能となる。
【００６５】
図１０から図１３に例示される異色予測処理適性導出用フィルタは、図６に例示される注目領域中の各画素との対応が容易に理解できるようにするため、行方向および列方向にそれぞれ４要素の、１６要素のフィルタとして示している。しかし、本例において縦方向（列方向）または横方向（行方向）に並ぶ同色近傍画素、異色近傍画素、および注目画素の合計数は４であり、異色予測処理適性指標導出用フィルタはこれら四つの画素の画素値に適用するフィルタであるので、４要素のフィルタとしてもよい。つまり、図１０から図１３において、参照符号、例えば図１０でｆｄ１（１，３）、ｆｄ１（２，３）、ｆｄ１（３，３）、ｆｄ１（４，３）が付された四つの要素のみを有するものを異色予測処理適性指標導出用フィルタとしてもよい。この異色予測処理適性指標導出用フィルタ中に設定される値は、図１０から図１３に例示される１、−１に限られず、正、負、零の値を含む実数とすることが可能である。例えば、ホワイトバランスが崩れているような画像に対しては、図１０から図１３に例示されるフィルタに代えて図１４の（ａ）から（ｄ）に例示されるフィルタを用いることが可能である。図１４において、ＷはＲ成分の値とＧ成分の値とのバランスをとるための補正値である。Ｒ成分画像中に含まれる全画素の画素値の平均をｒとし、Ｇ成分画像中に含まれる全画素の画素値の平均をｇとしたときに、
Ｗ＝ｒ／ｇ … 式（２）
で求めることができる。Ｗの値は実数とすることが可能である。
【００６６】
異色予測処理適性指標導出の処理では、まず図１０に例示される異色予測処理適性指標導出用フィルタ１が適用されてフィルタリング値Ｂ１ｉｊが得られる。すなわち、以下の式（３）によって注目画素ＰＩ、つまり画素（ｉ，ｊ）に対するフィルタリング値Ｂ１ｉｊが得られる。
Ｂ１ｉｊ＝Ｐ（ｉ−２，ｊ）×ｆｄ１（１，３）
＋Ｐ（ｉ−１，ｊ）×ｆｄ１（２，３）＋Ｐ（ｉ，ｊ）×ｆｄ１（３，３）
＋Ｐ（ｉ＋１，ｊ）×ｆｄ１（４，３） … 式（３）
式（３）で導出されるフィルタリング値Ｂ１ｉｊと所定の閾値との比較結果に基づいて異色予測処理適性指標が導出される。
【００６７】
上記の式（３）において、Ｐ（ｍ，ｎ）は図６における画素（ｍ，ｎ）の画素値を意味する。注目領域内の各画素の値と、異色予測処理適性指標導出用フィルタ１とをマトリクスに見立てて説明すると、これら二つのマトリクスの同じ行、同じ列位置の要素同士を乗じてそれらの結果の累計を求める積和の演算を行い、フィルタリング値Ｂ１ｉｊが求められることを式（３）は表している。
【００６８】
式（３）で求められたフィルタリング値Ｂ１ｉｊの絶対値が閾値Ｂ１thresの２倍以下のとき、異色予測処理適性指標１は０に設定される。一方、フィルタリング値Ｂ１ｉｊの絶対値が閾値Ｂ１thresの２倍を上回るとき、異色予測処理適性指標１は１に設定される。閾値Ｂ１thresは先に説明したＡthresと同様、任意に設定可能であり、最終的に得られる予測誤差として許容可能な値、適用する異色予測処理適性指標導出用フィルタの値に応じて設定することができる。
【００６９】
図１１から図１３に例示される異色予測処理適性指標導出用フィルタ２、３、４についても異色予測処理適性指標導出用フィルタ１と同様である。異色予測処理適性指標導出用フィルタ２、３、４を適用して注目画素ＰＩＪすなわち画素（ｉ，ｊ）に対するフィルタリング値Ｂ２ｉｊ、Ｂ３ｉｊ、Ｂ４ｉｊを得る際の式はそれぞれ、以下の式（４）、（５）、（６）となる。
【００７０】
画素（ｉ，ｊ）に異色予測処理適性導出用フィルタ２を適用する場合、
Ｂ２ｉｊ＝Ｐ（ｉ−２，ｊ）×ｆｄ２（１，３）
＋Ｐ（ｉ−１，ｊ）×ｆｄ２（２，３）＋Ｐ（ｉ，ｊ）×ｆｄ２（３，３）
＋Ｐ（ｉ＋１，ｊ）×ｆｄ２（４，３） … 式（４）
画素（ｉ，ｊ）に異色予測処理適性導出用フィルタ３を適用する場合、
Ｂ３ｉｊ＝Ｐ（ｉ，ｊ−２）×ｆｄ３（３，１）
＋Ｐ（ｉ，ｊ−１）×ｆｄ３（３，２）＋Ｐ（ｉ，ｊ）×ｆｄ３（３，３）
＋Ｐ（ｉ，ｊ＋１）×ｆｄ３（３，４） … 式（５）
画素（ｉ，ｊ）に異色予測処理適性導出用フィルタ４を適用する場合、
Ｂ４ｉｊ＝Ｐ（ｉ，ｊ−２）×ｆｄ４（３，１）
＋Ｐ（ｉ，ｊ−１）×ｆｄ４（３，２）＋Ｐ（ｉ，ｊ）×ｆｄ４（３，３）
＋Ｐ（ｉ，ｊ＋１）×ｆｄ４（３，４） … 式（６）
以上の式（４）、（５）、（６）によって得られたフィルタリング値Ｂ２ｉｊ、Ｂ３ｉｊ、Ｂ４ｉｊはそれぞれ、閾値Ｂ２thres、Ｂ３thres、Ｂ４thresを２倍した値と比較され、その比較結果に基づいて異色予測処理適性指標２、３、４が設定される。その様子が図１１、図１２、図１３に示される。
【００７１】
以上に説明した異色予測処理適性指標１、２、３、４の組み合わせに応じて異色予測処理適性指標が設定される。具体的には、異色予測処理適性指標１と異色予測処理適性指標２との論理和（ＯＲ）がとられた結果と、異色予測処理適性指標３と異色予測処理適性指標４との論理和（ＯＲ）がとられた結果との論理積（ＡＮＤ）をとった結果が最終的な異色予測処理適性指標、つまり第２の処理適性指標となる。本実施の形態において、異色予測処理適性がある場合に異色予測処理適性指標は０に設定される。つまり、異色予測処理適性指標１および異色予測処理適性指標２が共に０の場合、異色予測処理適性指標３および異色予測処理適性指標４が共に０の場合、そして異色予測処理的積指標１〜４がすべて０の場合のうちのいずれかであるとき、異色予測処理適性があると判定され、第２の処理適性指標が０に設定される。
【００７２】
異色予測処理適性指標１と異色予測処理適性指標２との論理和がとられることから明かであるように、異色予測処理適性指標１が１となった場合には異色予測処理適性指標２の導出処理は省略可能である。同様に、異色予測処理適性指標３と異色予測処理適性指標４との論理和がとられるので、異色予測処理適性指標３が１となった場合には異色予測処理適性指標４の導出処理は省略可能である。同様に、異色予測処理適性指標１と異色予測処理適性指標２との論理和が０であった場合、異色予測処理適性指標３および異色予測処理適性指標４の導出処理は省略可能である。理由は、異色予測処理適性指標３と異色予測処理適性指標４との論理和が１であるか０であるかに関わらず、上記論理積の結果は０となるからである。
【００７３】
異色予測処理適性指標１、２、３、４が０となる場合、１となる場合の例について図１５および図１６を参照して説明する。図１５、図１６は、注目画素ＰＩ、同色近傍画素、および異色近傍画素を概念的に示しており、各画素の色の濃淡は画素値の大小を示している。図１５、図１６において、色の濃い方の画素の画素値が相対的に小さいものとする。
【００７４】
図１５の（ａ）、（ｂ）は、異色予測処理適性指標１および２がともに０となる場合、すなわち同色近傍画素および異色近傍画素の双方の画素値を参照して注目画素の画素値を予測する処理に対する適性がある例を示している。図１５の（ａ）は、異色近傍画素、本例では二つのＧ色画素Ｇ１およびＧ２が相関を有し（二つの画素値が類似性を有し）、注目画素Ｒと同色近傍画素Ｒ２も同様の相関を有している。つまり、二つのＧ色画素Ｇ１、Ｇ２の相関（類似性）を参照して、画素Ｒと画素Ｒ２との相関を、より高い精度で予測することができる例を示している。別の表現をすると、二つのＧ色画素Ｇ１、Ｇ２の相関を参照した結果に基づき、画素Ｒ２の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差を小さくすることが期待できる例を示している。
【００７５】
図１５の（ｂ）も同様である。すなわち、二つのＧ色画素Ｇ１、Ｇ２が相関を有しているのと同様、二つの画素Ｒ、Ｒ２が相関を有している。したがって、二つのＧ色画素Ｇ１、Ｇ２の相関を参照して、画素２Ｒの画素値をもとに画素Ｒの画素値を予測したときに、予測誤差を小さくすることが期待できる。
【００７６】
図１５の（ｃ）、（ｄ）は、異色予測処理適性指標３および４がともに０となる場合、すなわち同色近傍画素および異色近傍画素の双方の画素値を参照して注目画素の画素値を予測する処理に対する適性がある例を示している。図１５の（ｃ）は、異色近傍画素、本例では二つのＧ色画素Ｇ３およびＧ４が相関を有し（二つの画素値が類似性を有し）、注目画素Ｒと同色近傍画素Ｒ３も同様の相関を有している。つまり、二つのＧ色画素Ｇ３、Ｇ４の相関を参照して、画素Ｒ３の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できる。図１５の（ｄ）も、二つのＧ色画素Ｇ３、Ｇ４が相関を有しているのと同様、二つの画素Ｒ、Ｒ３が相関を有している。したがって、二つのＧ色画素Ｇ３、Ｇ４の相関を参照して、画素Ｒ３の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できる。
【００７７】
一方、図１６の（ａ）、（ｂ）、（ｃ）、（ｄ）は、異色予測処理適性指標１、２の論理和が１となる例（異色予測処理適性指標１、２のいずれかまたは両方が１となる例）を示している。図１６の（ａ）、（ｂ）、（ｃ）では、異色近傍画素であるところの二つのＧ色画素Ｇ１、Ｇ２が相関を有していない（二つの画素値が類似性を有していない）ので、二つのＧ色画素Ｇ１、Ｇ２の相関を参照して画素Ｒと画素Ｒ２との相関を予測することができない（二つのＧ色画素Ｇ１、Ｇ２の相関を参照して、画素Ｒ２の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できない）。図１６の（ｄ）では、二つのＧ色画素Ｇ１、Ｇ２が相関（類似性）を有しているように見えるものの、画素Ｒと画素Ｒ２とは相関を有していない。したがって、二つのＧ色画素Ｇ１、Ｇ２の相関を参照して、画素Ｒ２の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できない。
【００７８】
図１６の（ｅ）、（ｆ）、（ｇ）、（ｈ）は、異色予測処理適性指標３、４の論理和が１となる例（異色予測処理適性指標３、４のいずれかが１となる例）を示している。図１６の（ｅ）、（ｆ）、（ｇ）では、異色近傍画素であるところの二つのＧ色画素Ｇ３、Ｇ４が相関を有していない（二つの画素値が類似性を有していない）ので、二つのＧ色画素Ｇ３、Ｇ４の相関を参照して画素Ｒと画素Ｒ３との相関を予測することができない（画素Ｒ３の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できない）。図１６の（ｈ）では、二つのＧ色画素Ｇ３、Ｇ４が相関（類似性）を有しているように見えるものの、画素Ｒと画素Ｒ３とが相関を有していない。したがって、二つのＧ色画素Ｇ３、Ｇ４の相関を参照して、画素Ｒ３の画素値をもとに画素Ｒの画素値を予測したときに、予測誤差が小さくなることが期待できない。
【００７９】
以上をまとめると、異色予測処理適性指標１、２の論理和が０である、ということは、注目画素ＰＩを含んで縦方向（列方向）に配列される同色近傍画素および異色近傍画素を参照して注目画素ＰＩの画素値を予測したときに、予測誤差が小さくなることが期待できる、ということになる。つまり、縦方向に並ぶ異色近傍画素の相関（類似性）を参照し、同色近傍画素の画素値から注目画素ＰＩの画素値を予測したときに、予測誤差が小さくなることが期待できる、ということになる。
【００８０】
異色予測処理適性指標３、４の論理和が０である、ということは、注目画素ＰＩを含んで横方向（行方向）に配列される同色近傍画素および異色近傍画素を参照して注目画素ＰＩの画素値を予測したときに、予測誤差が小さくなることが期待できる、ということになる。つまり、横方向に並ぶ異色近傍画素の相関（類似性）を参照し、同色近傍画素の画素値から注目画素ＰＩの画素値を予測したときに、予測誤差が小さくなることが期待できる、ということになる。
【００８１】
異色予測処理適性指標１、２の論理和、および異色予測処理適性指標３、４の論理和のうち、いずれかまたは両方が０であるとき、両者の論理積は０となり、第２の処理適性指標は０となる。つまり、注目画素ＰＩを含んで、縦方向および横方向の少なくともいずれかに配列される異色近傍画素の相関（類似性）を参照し、同色近傍画素の画素値から注目画素ＰＩの画素値を予測したときに、予測誤差が小さくなることが期待できるとき、第２の処理適性指標は０となる。
【００８２】
以上、図１０から図１６を参照して説明した、Ｓ５０６における第２の処理適性指標（異色予測処理適性指標）の導出処理に続き、Ｓ５０８で予測方式決定の処理が行われる。予測方式決定の処理は、Ｓ５０４で導出された第１の処理適性指標（同色予測処理適性指標）とＳ５０６で導出された第２の処理適性指標（異色予測処理適性指標）とを参照し、注目画素ＰＩの予測値を算出する際の予測方式を決定する処理である。例えば、第１の処理適性指標（０または１）と第２の処理適性指標（０または１）との差を求め、その差が１、０、−１のいずれか（正、０、負のいずれか）であるかによって上記予測方式を決定することができる。
【００８３】
上記の差が−１（負）となる場合は、第１の処理適性指標が０かつ第２の処理適性指標が１の場合に相当する。この場合、決定される予測方式は第１の予測方式、すなわち同色近傍画素の画素値を参照して注目画素ＰＩの画素値を予測する方式となる。
【００８４】
上記の差が１（正）となる場合は、第１の処理適性指標が１かつ第２の処理適性指標が０の場合に相当する。この場合、決定される予測方式は第２の予測方式、すなわち異色近傍画素の画素値および同色近傍画素の画素値の双方を参照して注目画素ＰＩの画素値を予測する方式となる。
【００８５】
上記の差が０となる場合は、第１の処理適性指標および第２の処理適性指標が共に０の場合または共に１の場合に相当する。この場合、決定される予測方式としては第１の予測方式、第２の予測方式のうち、どちらであってもよい。この場合、デフォルト設定されている第１または第２の予測方式に決定することが可能である。
【００８６】
ところで、Ｓ５０８では第１の処理適性指標と第２の処理適性指標との差をとり、予測方式を決定する例について説明したが、他の方式によって予測方式を決定することも可能である。また、以上では第１、第２の処理適性指標として０、１が設定される例について説明したが、０、１以外の値が設定されてもよいし、負の値が設定されてもよい。また、数値のみならず、文字や正負の符号等が設定されてもよい。さらに、Ｓ５０８で予測方式を決定するのに代えて、第１、第２の処理適性指標を比較した結果そのものを導出して記録することも可能である。
【００８７】
Ｓ５０８での処理が、ある色成分の画像中の全画素に対して行われると、それぞれの画素に対応して予測方式が決まる。各画素に対応してこの予測方式を記憶して後の処理を行うと、予測誤差を最小化することが可能となる。その一方で、予測方式を画素ごとに設定して記憶しようとすると情報量が増えてしまうので、図１を参照しての予測方式決定部１１０の説明において触れたように、予測方式は領域ごとに設定されるようにすることが望ましい。例えば、上記のように第１、第２の処理適性指標の差をとる場合を例に説明すると、ラスタスキャンの方式で、ある行（列）について第１、第２の処理適性指標の差を求める。その行（列）の中で、１、０、−１のうち、最も出現頻度の高い値に対応する予測方式を当該の行（列）に設定することができる。これは、複数に分割された二次元の領域それぞれで予測方式を設定する場合も、ヒルベルトスキャンの方式で予測方式を設定する場合も同様である。
【００８８】
続いて、以下に説明するＳ５１０からＳ５１８までの処理がＲ成分画像内の全画素に対して行われて予測値および予測誤差の算出が行われる。Ｓ５１０において画像圧縮処理部１００は、注目画素ＰＩに対して設定されている予測方式が第１、第２の予測方式のうち、いずれかであるかを判定する。ここで、第１の予測方式は、同色近傍画素を参照して注目画素ＰＩの画素値を予測する方式である。第２の予測方式は、異色近傍画素（本例ではＧ色の近傍画素）および同色近傍画素を参照して注目画素ＰＩの画素値を予測する方式である。
【００８９】
Ｓ５１０において判定された予測方式が第１の予測方式である場合、処理はＳ５１２に進む。一方、Ｓ５１０において判定された予測方式が第２の予測方式である場合、処理はＳ５１４に進む。
【００９０】
Ｓ５１２において画像圧縮処理部１００は、第１の予測方式による予測処理である同色予測値算出処理を行う。また、Ｓ５１４において画像圧縮処理部１００は、第２の予測方式による予測処理である同色予測値算出処理を行う。以下、図１７を参照し、同色予測値算出処理および異色予測値算出処理の具体例について説明する。図１７（ａ）は、注目画素ＰＩおよびその近傍に存在する近傍画素の配列例を示している。図１７（ｂ）は、図１７（ａ）に例示される配列の画素中、一部の画素の画素値を符号で示したものである。図１７（ｂ）中、注目画素ＰＩの画素値はｘ、注目画素ＰＩを囲う四つの異色近傍画素（Ｇ色画素）の画素値はそれぞれａ、ｂ、ｃ、ｄ、三つの同色近傍画素（Ｒ色画素）の画素値はそれぞれ、ｅ、ｆ、ｇとなっている。
【００９１】
Ｓ５１２で行われる同色予測値算出処理では、例えば以下の式（７）、（８）、（９）を用いて注目画素ＰＩの予測値が算出される。
【数１】
式（７）、（８）、（９）において、ｘ’は注目画素ＰＩの予測値である。ｅ、ｆ、ｇは、図１７（ｂ）に示される同色近傍画素の画素値である。Ｃthresは予め定められた閾値である。
【００９２】
式（７）は、同色近傍画素の画素値ｅと画素値ｇとの差の絶対値が閾値Ｃtres以下であり、かつ、同色近傍画素の画素値ｅとｆとの差の絶対値が閾値Ｃthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｆとする例を示している。つまり、画素値ｅと画素値ｇとが比較的近い値で、画素値ｅと画素値ｆとが比較的離れた値であることから、縦方向（列方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの上側に位置する同色近傍画素の画素値ｆとする。
【００９３】
式（８）は、同色近傍画素の画素値ｅと画素値ｇとの差の絶対値が閾値Ｃtresを上回り、かつ、同色近傍画素の画素値ｅとｆとの差の絶対値が閾値Ｃthres以下であるとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｇとする例を示している。つまり、画素値ｅと画素値ｇとが比較的離れた値であり、画素値ｅと画素値ｆとが比較的近い値であることから、横方向（行方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの横に位置する同色近傍画素の画素値ｇとする。
【００９４】
式（９）は、式（７）、式（８）中の条件式にあてはまらない場合に注目画素ＰＩの予測値ｘ’を三つの同色近傍画素の値の平均をとった値とする例を示している。式（９）が適用されるのは、三つの同色近傍画素の画素値で縦方向および横方向のいずれにも相関が見られない場合、あるいはこれら三つの同色近傍画素の画素値が比較的近い場合である。
【００９５】
Ｓ５１４で行われる異色予測値算出処理では、例えば以下の式（１０）、（１１）、（１２）を用いて注目画素ＰＩの予測値が算出される。
【数２】
式（１０）、（１１）、（１２）において、ｘ’は注目画素ＰＩの予測値である。ｅ、ｆ、ｇは、図１７（ｂ）に示される同色近傍画素の画素値である。ａ、ｂ、ｃ、ｄは図１７（ｂ）に示される異色近傍画素（Ｇ色画素）の画素値である。Ｄthresは予め定められた閾値である。
【００９６】
式（１０）は、異色近傍画素の画素値ａと画素値ｂとの差の絶対値が閾値Ｄtres以下であり、かつ、異色近傍画素の画素値ｃとｄとの差の絶対値が閾値Ｄthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｆとする例を示している。つまり、注目画素ＰＩを含んで縦方向に並ぶ異色近傍画素の画素値ａと画素値ｂとが比較的近い値で、同じく横方向に並ぶ異色近傍画素の画素値ｃと画素値ｄとが比較的離れた値であることから、縦方向（列方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの上側に位置する同色近傍画素の画素値ｆとする。
【００９７】
式（１１）は、異色近傍画素の画素値ａと画素値ｂとの差の絶対値が閾値Ｃtresを上回り、かつ、異色近傍画素の画素値ｃとｄとの差の絶対値が閾値Ｄthres以下であるとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｇとする例を示している。つまり、画素値ａと画素値ｂとが比較的離れた値であり、画素値ｃと画素値ｄとが比較的近い値であることから、横方向（行方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの横に位置する同色近傍画素の画素値ｇとする。
【００９８】
式（１２）は、式（１０）、式（１１）中の条件式にあてはまらない場合に注目画素ＰＩの予測値ｘ’を三つの同色近傍画素の値の平均をとった値とする例を示している。式（１２）が適用されるのは、四つの異色近傍画素の画素値で縦方向および横方向のいずれにも相関が見られない場合、あるいはこれら四つの同色近傍画素の画素値が比較的近い場合である。
【００９９】
上記のＳ５１２における同色予測値算出処理、またはＳ５１４における異色予測値算出処理の後、Ｓ５１６では予測誤差Δｘを算出する処理が行われる。予測誤差Δｘは、以下の式（１３）を用いて算出することが可能である。
Δｘ＝ｘ−ｘ’ … 式（１３）
この予測誤差Δｘは、正および負の値を取り得るが、適宜オフセット値を加えることにより正の値として後続する処理をすることが望ましい。
【０１００】
Ｓ５１８において画像圧縮処理部１００は、全Ｒ画素について予測値ｘ’および予測誤差Δｘを算出する処理を完了したか否かの判定をし、Ｓ５１８の判定が否定される間、Ｓ５１０からＳ５１６までの処理を繰り返し行う。Ｓ５１８での判定が肯定されると処理はＳ５６０に進む。
【０１０１】
以上で説明した式（７）から式（１２）中の条件判断および予測値ｘ’の算出式は一例を示したにすぎず、様々な変更を加えることが可能である。
【０１０２】
以上、Ｓ５０４からＳ５１８までの一連の処理によりＲ成分画像データを処理する例について説明した。Ｂ成分画像データについては、Ｓ５３０からＳ５４４までの処理が行われ、全Ｂ画素について予測値ｘ’および予測誤差Δｘが算出される。Ｂ成分画像データに対する処理は、以上に説明したＲ成分画像データに対する処理において注目画素ＰＩおよび同色近傍画素をＢ色画素とする以外、同様であるので説明を省略する。
【０１０３】
続いて、Ｇ成分画像データに対して行われるＳ５５０、Ｓ５５２、Ｓ５５４の処理について説明する。先にも説明したように、本実施の形態において扱われるＣＦＡ画像はベイヤーＣＦＡ画像であり、Ｇ色の画素数が他のＲ色、Ｂ色の画素数の２倍となっているので、Ｒ成分画像、Ｂ成分画像に対する処理とは異なる処理が行われる。
【０１０４】
Ｒ成分画像、Ｂ成分画像に対しては、第１、第２の処理適性指標を導出する処理で得られた第１、第２の処理適性指標に基づき、第１または第２の予測方式で注目画素ＰＩの予測値ｘ’が算出される。これに対し、Ｇ成分画像に対しては、第１、第２の予測方式と異なる、第３の予測方式を用いて注目画素の予測値ｘ’が算出される。
【０１０５】
図１８を参照し、第３の予測方式による予測値算出処理の具体例について説明する。図１８（ａ）は、注目画素ＰＩおよびその近傍に存在する近傍画素の配列例を示している。図１８（ａ）において、注目画素ＰＩはＧ色の画素である。図１８（ｂ）は、図１８（ａ）に例示される配列の画素中、注目画素ＰＩの横または上方に位置する同色近傍画素（Ｇ色画素）の画素値を符号で示したものである。図１８（ｂ）中、注目画素ＰＩの画素値はｘ、上記同色近傍画素の画素値はそれぞれａ、ｂ、ｃ、ｄ、ｅとなっている。
【０１０６】
Ｓ５５０で行われる予測値算出処理では、例えば以下の式（１４）、（１５）、（１６）、（１７）、（１８）を用いて注目画素ＰＩの予測値が算出される。
【数３】
式（１４）から式（１８）において、ｘ’は注目画素ＰＩの予測値である。ａ、ｂ、ｃ、ｄ、ｅは、図１８（ｂ）に示されるＧ色の同色近傍画素の画素値である。Ｅthresは予め定められた閾値である。
【０１０７】
式（１４）は、同色近傍画素の画素値ａと画素値ｅとの差の絶対値が閾値Ｅtres以下であり、かつ、同色近傍画素の画素値ａとｂとの差の絶対値が閾値Ｅthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｂとする例を示している。つまり、縦方向に並ぶ同色近傍画素の画素値ａと画素値ｅとが比較的近い値で、横方向に並ぶ同色近傍画素の画素値ａと画素値ｂとが比較的離れた値であることから、縦方向（列方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの上側に位置する同色近傍画素の画素値ｂとする。
【０１０８】
式（１５）は、同色近傍画素の画素値ａと画素値ｂとの差の絶対値が閾値Ｅtres以下であり、かつ、同色近傍画素の画素値ａとｅとの差の絶対値が閾値Ｅthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｅとする例を示している。つまり、横方向に並ぶ同色近傍画素の画素値ａと画素値ｂとが比較的近い値で、縦方向に並ぶ同色近傍画素の画素値ａと画素値ｅとが比較的離れた値であることから、横方向（行方向）の相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの横に位置する同色近傍画素の画素値ｅとする。
【０１０９】
式（１６）は、同色近傍画素の画素値ａと画素値ｃとの差の絶対値が閾値Ｅtres以下であり、かつ、同色近傍画素の画素値ｃとｅとの差の絶対値が閾値Ｅthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｃとする例を示している。つまり、左上から右下に向かう対角方向に並ぶ同色近傍画素の画素値ａと画素値ｃとが比較的近い値で、左下から右上に向かう対角方向に並ぶ同色近傍画素の画素値ｅと画素値ｃとが比較的離れた値であることから、左上から右下に向かう対角方向に相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの左上側に位置する同色近傍画素の画素値ｃとする。
【０１１０】
式（１７）は、同色近傍画素の画素値ｂと画素値ｃとの差の絶対値が閾値Ｅtres以下であり、かつ、同色近傍画素の画素値ｂとｄとの差の絶対値が閾値Ｅthresを上回るとき、注目画素ＰＩの予測値ｘ’を同色近傍画素の画素値ｄとする例を示している。つまり、右上から左下に向かう対角方向に並ぶ同色近傍画素の画素値ｂと画素値ｃとが比較的近い値で、左上から右下に向かう対角方向に並ぶ同色近傍画素の画素値ｂと画素値ｄとが比較的離れた値であることから、右上から左下に向かう対角方向に相関があることが予測される。そこで、注目画素ＰＩの予測値ｘ’を、注目画素ＰＩの右上側に位置する同色近傍画素の画素値ｄとする。
【０１１１】
式（１８）は、式（１４）から式（１７）中の条件式にあてはまらない場合に注目画素ＰＩの予測値ｘ’を三つの同色近傍画素の値の平均をとった値とする例を示している。式（１８）が適用されるのは、五つの同色近傍画素の画素値で縦方向、対角方向、および横方向のいずれにも相関が見られない場合、あるいはこれら五つの同色近傍画素の画素値が比較的近い場合である。
【０１１２】
以上に説明した式（１４）から式（１８）による条件判断および予測値ｘ’の算出式は一例であり、他の様々な条件判断および予測値ｘ’の計算式を設定することが可能である。
【０１１３】
上記のＳ５５０における、上述した第３の予測方式による予測値算出処理の後、Ｓ５５２で予測誤差Δｘを算出する処理が行われる。予測誤差Δｘは、先に説明した式（１３）を用いて算出することが可能である。この予測誤差Δｘは、正となる場合も負となる場合もあり、適宜オフセット値を加えることにより正の値として後続する処理をすることが望ましいのはＳ５１６での処理に関して説明したのと同様である。
【０１１４】
Ｓ５５４において画像圧縮処理部１００は、全Ｇ画素について予測値ｘ’および予測誤差Δｘを算出する処理を完了したか否かの判定をし、Ｓ５５４の判定が否定される間、Ｓ５５０およびＳ５５２処理を繰り返し行う。Ｓ５５４での判定が肯定されると処理はＳ５６０に進む。
【０１１５】
Ｓ５６０において画像圧縮処理部１００は、以上に説明した処理で計算されたＲ成分画像、Ｂ成分画像、およびＧ成分画像のそれぞれの予測誤差をエントロピー符号化によって圧縮する処理を行う。エントロピー符号化の方法については任意の方法を利用可能であり、例えば、算術符号、ハフマン符号、ゴロム符号のうちのいずれかを用いることができる。
【０１１６】
以上の処理によって得られたそれぞれの色成分画像の符号化データを収容したファイルを生成して圧縮処理を完了する。
【０１１７】
ところで、図５のフローチャートを参照しての以上の説明では、Ｓ５０２で色成分分離の処理を行い、分離されたＢ、Ｇ、Ｒ各色成分の画像中で注目画素および注目領域を設定して同色予測処理適性指標導出用フィルタ、異色予測処理適性指標導出用フィルタを適用して同色予測処理適性指標、異色予測処理適性指標を導出する例について説明した。しかし、本発明はこの例に限られるものではなく、色分解処理を行う前のＣＦＡ画像に上述した同色予測処理適性指標導出用フィルタ、異色予測処理適性指標導出用フィルタを適用して同色予測処理適性指標、異色予測処理適性指標を導出することも可能である。その一例について図６、図７を参照して説明する。
【０１１８】
例えば、図７に例示される同色予測処理適性指標導出用フィルタを、ＣＦＡ画像中の図６に例示されるような注目画素ＰＩを含む４画素×４画素の注目領域に適用する場合について説明する。この場合、同色予測処理適性指標導出用フィルタの要素数を４×４とする。そして、Ｒ成分画像中の注目画素に対する同色予測処理適性指標を導出する場合、注目領域中でＲ色画素が存在する位置に対応する位置の要素にフィルタリング用の値を設定し、残りの要素には０を設定すればよい。つまり、図７に例示されるように、ｆｓ（１，１）、ｆｓ（１，３）、ｆｓ（３，１）、ｆｓ（３，３）の要素にフィルタリング用の値を設定し、残りの要素に０を設定すればよい。このようにすることにより、色分解していないＣＦＡ画像にフィルタリング処理をしても、特定の色（本例ではＲ色）の画像に対するフィルタリング値Ａｉｊを求めることができる。
【０１１９】
図５のフローチャートにおいて、Ｇ成分、Ｒ成分、Ｂ成分それぞれの画像に対する処理が並列して行われるように表示されているが、図示のとおり並列して処理されてもよいし、各色成分の画像ごとに順次処理が行われてもよい。その場合、処理をする色の順番は、任意に設定することが可能である。
【０１２０】
本発明は、デジタルスチルカメラ、デジタルムービーカメラ、あるいはこれらの撮像装置から出力される画像信号を入力して処理する画像処理装置や情報処理装置等に適用することが可能である。さらに、動画や静止画を圧縮処理する画像処理プログラムに本発明を適用することも可能である。
【０１２１】
以上、いくつかの実施形態に基づいて本発明について説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１２２】
また、上記実施形態からは種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られるのであればこの構成要件が削除された構成もまた発明として抽出され得る。
【符号の説明】
【０１２３】
１００ … 画像圧縮処理部
１０２ … ＣＦＡ画像入力部
１０４ … 色分解処理部
１０６ … 第１の処理適性指標導出部
１０８ … 第２の処理適性指標導出部
１１０ … 予測方式決定部
１１２ … 予測値算出部
１１４ … 予測誤差算出部
１１６ … エントロピー符号化処理部
２００ … 撮像装置
２０４ … 撮像素子
２０６ … ＡＦＥ
２０８、３０２ … ＭＰＵ
２１６、３０４ … メモリ
【特許請求の範囲】
【請求項１】
受光面上に複数色の色分解用カラーフィルタが配列された撮像素子から出力されたカラーフィルタアレイ画像を圧縮する画像圧縮装置であって、
前記カラーフィルタアレイ画像中の一つの画素を注目画素として設定し、当該注目画素の近傍に存在する複数色の近傍画素のうち、前記注目画素と同じ色の画素である同色近傍画素の画素値を参照して前記注目画素の画素値を予測する第１予測方式に対する適性の指標である第１の適性指標を導出する第１の適性指標導出部と、
前記複数色の近傍画素のうち、前記注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および前記同色近傍画素の画素値の双方を参照して前記注目画素の画素値を予測する第２予測方式に対する適性の指標である第２の適性指標を導出する第２の適性指標導出部と、
前記第１の適性指標と前記第２の適性指標とに基づき、前記第１予測方式および前記第２予測方式のうちのいずれかに決定し、該決定した予測方式で前記注目画素の予測値を算出する予測値算出部と、
前記注目画素の実際の値と前記予測値との差である予測誤差を算出する予測誤差算出部と
を備えることを特徴とする画像圧縮装置。
【請求項２】
前記第１の適性指標導出部、前記第２の適性指標導出部、前記予測値算出部、および前記予測誤差算出部の処理は、前記フィルタアレイ画像を構成する各画素に対して点順次に行われることを特徴とする請求項１に記載の画像圧縮装置。
【請求項３】
前記異色近傍画素は、前記注目画素として設定される画素の色によらず、常に同じ色の画素が設定されることを特徴とする請求項１または２に記載の画像圧縮装置。
【請求項４】
前記異色近傍画素は、前記撮像素子中に配設される画素数の最も多い色の画素が設定されることを特徴とする請求項３に記載の画像圧縮装置。
【請求項５】
前記異色近傍画素は、前記複数色の中で、緑系の色に対する分光感度特性を有する画素が設定されることを特徴とする請求項３または４に記載の画像圧縮装置。
【請求項６】
前記色分解用カラーフィルタはベイヤー配列のＲＧＢ原色カラーフィルタであり、
赤色または青色の画素が前記注目画素である場合に対応して前記第１および第２の適性指標の導出が行われ、
緑色の画素が前記注目画素である場合には、前記第１および第２の適性指標導出部での処理は行わずに、前記第１および第２の予測方式とは異なる第３の予測方式で前記注目画素の予測値が算出される
ことを特徴とする請求項１から５のいずれか一つに記載の画像圧縮装置。
【請求項７】
前記カラーフィルタアレイ画像をそれぞれの色の成分の画像に色分解する色分解処理部をさらに備え、
前記第１および第２の適性指標の導出および前記予測方式の決定は、前記それぞれの色成分の画像ごとに行われることを特徴とする請求項１から６のいずれか一つに記載の画像圧縮装置。
【請求項８】
受光面上に複数色の色分解用カラーフィルタが配列されて前記カラーフィルタアレイ画像を出力可能な撮像素子を備える撮像装置であって、
請求項１から７のいずれか一つに記載の画像圧縮装置を備える撮像装置。
【請求項９】
受光面上に複数色の色分解用カラーフィルタが配列された撮像素子によって得られたカラーフィルタアレイ画像を圧縮する画像圧縮方法であって、
前記カラーフィルタアレイ画像中の一つの画素を注目画素として設定し、当該注目画素の近傍に存在する複数色の近傍画素のうち、前記注目画素と同じ色の画素である同色近傍画素の画素値を参照して前記注目画素の画素値を予測する第１予測方式に対する適性の指標である第１の適性指標を導出する第１の適性指標導出手順と、
前記複数色の近傍画素のうち、前記注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および前記同色近傍画素の画素値の双方を参照して前記注目画素の画素値を予測する第２予測方式に対する適性の指標である第２の適性指標を導出する第２の適性指標導出手順と、
前記第１の適性指標と前記第２の適性指標とに基づき、前記第１予測方式および前記第２予測方式のうちのいずれかに決定し、該決定した予測方式で前記注目画素の予測値を算出する予測値算出手順と、
前記注目画素の実際の値と前記予測値との差である予測誤差を算出する予測誤差算出手順と
を備えることを特徴とする画像圧縮方法。
【請求項１】
受光面上に複数色の色分解用カラーフィルタが配列された撮像素子から出力されたカラーフィルタアレイ画像を圧縮する画像圧縮装置であって、
前記カラーフィルタアレイ画像中の一つの画素を注目画素として設定し、当該注目画素の近傍に存在する複数色の近傍画素のうち、前記注目画素と同じ色の画素である同色近傍画素の画素値を参照して前記注目画素の画素値を予測する第１予測方式に対する適性の指標である第１の適性指標を導出する第１の適性指標導出部と、
前記複数色の近傍画素のうち、前記注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および前記同色近傍画素の画素値の双方を参照して前記注目画素の画素値を予測する第２予測方式に対する適性の指標である第２の適性指標を導出する第２の適性指標導出部と、
前記第１の適性指標と前記第２の適性指標とに基づき、前記第１予測方式および前記第２予測方式のうちのいずれかに決定し、該決定した予測方式で前記注目画素の予測値を算出する予測値算出部と、
前記注目画素の実際の値と前記予測値との差である予測誤差を算出する予測誤差算出部と
を備えることを特徴とする画像圧縮装置。
【請求項２】
前記第１の適性指標導出部、前記第２の適性指標導出部、前記予測値算出部、および前記予測誤差算出部の処理は、前記フィルタアレイ画像を構成する各画素に対して点順次に行われることを特徴とする請求項１に記載の画像圧縮装置。
【請求項３】
前記異色近傍画素は、前記注目画素として設定される画素の色によらず、常に同じ色の画素が設定されることを特徴とする請求項１または２に記載の画像圧縮装置。
【請求項４】
前記異色近傍画素は、前記撮像素子中に配設される画素数の最も多い色の画素が設定されることを特徴とする請求項３に記載の画像圧縮装置。
【請求項５】
前記異色近傍画素は、前記複数色の中で、緑系の色に対する分光感度特性を有する画素が設定されることを特徴とする請求項３または４に記載の画像圧縮装置。
【請求項６】
前記色分解用カラーフィルタはベイヤー配列のＲＧＢ原色カラーフィルタであり、
赤色または青色の画素が前記注目画素である場合に対応して前記第１および第２の適性指標の導出が行われ、
緑色の画素が前記注目画素である場合には、前記第１および第２の適性指標導出部での処理は行わずに、前記第１および第２の予測方式とは異なる第３の予測方式で前記注目画素の予測値が算出される
ことを特徴とする請求項１から５のいずれか一つに記載の画像圧縮装置。
【請求項７】
前記カラーフィルタアレイ画像をそれぞれの色の成分の画像に色分解する色分解処理部をさらに備え、
前記第１および第２の適性指標の導出および前記予測方式の決定は、前記それぞれの色成分の画像ごとに行われることを特徴とする請求項１から６のいずれか一つに記載の画像圧縮装置。
【請求項８】
受光面上に複数色の色分解用カラーフィルタが配列されて前記カラーフィルタアレイ画像を出力可能な撮像素子を備える撮像装置であって、
請求項１から７のいずれか一つに記載の画像圧縮装置を備える撮像装置。
【請求項９】
受光面上に複数色の色分解用カラーフィルタが配列された撮像素子によって得られたカラーフィルタアレイ画像を圧縮する画像圧縮方法であって、
前記カラーフィルタアレイ画像中の一つの画素を注目画素として設定し、当該注目画素の近傍に存在する複数色の近傍画素のうち、前記注目画素と同じ色の画素である同色近傍画素の画素値を参照して前記注目画素の画素値を予測する第１予測方式に対する適性の指標である第１の適性指標を導出する第１の適性指標導出手順と、
前記複数色の近傍画素のうち、前記注目画素の色とは異なる、ある一色の画素である異色近傍画素の画素値、および前記同色近傍画素の画素値の双方を参照して前記注目画素の画素値を予測する第２予測方式に対する適性の指標である第２の適性指標を導出する第２の適性指標導出手順と、
前記第１の適性指標と前記第２の適性指標とに基づき、前記第１予測方式および前記第２予測方式のうちのいずれかに決定し、該決定した予測方式で前記注目画素の予測値を算出する予測値算出手順と、
前記注目画素の実際の値と前記予測値との差である予測誤差を算出する予測誤差算出手順と
を備えることを特徴とする画像圧縮方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１３−９３７４５（Ｐ２０１３−９３７４５Ａ）
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願番号】特願２０１１−２３４６２２（Ｐ２０１１−２３４６２２）
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年５月１６日（２０１３．５．１６）
【国際特許分類】
【出願日】平成２３年１０月２６日（２０１１．１０．２６）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]