符号化処理装置及び符号化処理方法
【課題】 画像データの圧縮効率を更に向上させることにある。
【解決手段】 少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離し（ステップＳ２）、輝度プレーン内に存在する輝度差の補正を行し（ステップＳ３）、輝度差の補正処理の後に前記画像データの符号化処理を行う（ステップＳ７）。
【解決手段】 少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離し（ステップＳ２）、輝度プレーン内に存在する輝度差の補正を行し（ステップＳ３）、輝度差の補正処理の後に前記画像データの符号化処理を行う（ステップＳ７）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを符号化処理するための符号化処理装置及び符号化処理方法に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの発達により、自然画像を容易にデジタル情報化出来るように成って来ている。また近頃では静止画だけでなく、動画をも撮影可能なスチル＆ムービーカメラも台頭しつつある。
【０００３】
前記カメラは大量のメモリを消費するため、高効率なカラー画像圧縮方法が望まれている。また、前記カメラは電子ズームを前提としているため、前記ズーム時でも高精細な画像を提供出来る必要がある。しかし従来の主なコーデックであるＪＰＥＧやＭＰＥＧは非可逆圧縮方法であるため、前記高精細な画像を再生するには不向きなものになっている。
【０００４】
また、前記カメラは動画撮影時においても、前記動画中の任意のフレームを静止画として抽出できるのが望ましい。その点で、前記動画専用コーデックであるＭＰＥＧは失格である。また、近年の表示装置の性能向上によって、従来の放送規格であるＮＴＳＣやＭＰＥＧ等が提供する画像の品質はその限界を呈しつつ有る。
【０００５】
このような状況で注目されつつあるのが、ＪＰＥＧ２０００と呼ばれる新しい可逆、非可逆圧縮方法である。前記圧縮方法は本質的には静止画圧縮方法であり、可逆、非可逆圧縮の両方で基本的には同一の圧縮アルゴリズム（ウェーブレット変換）を採用している。しかし前記可逆圧縮の圧縮率は余り高くなく、１／２程度である。また前記圧縮方法は動画圧縮にも適用可能で、例えば非可逆圧縮の圧縮率１／８程度で良好な動画像を提供する事ができる。
【０００６】
特許文献１には、スキャン方向を変換する方式が開示され、特許文献２には、画像分割して最適な圧縮方法を選択、採用する方式が開示されている。また、特許文献３には、画像分割にヒストグラムを使用する方式が開示され、特許文献４には、属性マップ／オブジェクトに基づいて画像圧縮する方式が開示されている。また、特許文献５には、ラン長の分布から画像の種類を判別する方式が開示され、特許文献６には、色差信号を原点の周りに回転する方式が開示されている。
【０００７】
また他の静止画可逆圧縮方法には、例えばＧＩＦ、ＰＮＧ、ＪＰＥＧ−ＬＳ、ＣＡＬＩＣ、ＴＭＷ等が有る。
【０００８】
【特許文献１】特開平８−１２６００９号公報
【特許文献２】特開２０００−３３３０１９号公報
【特許文献３】特開２００１−２２９３１号公報
【特許文献４】特開２００１−１６９１２０号公報
【特許文献５】特開２００２−１６３６５８号公報
【特許文献６】特許第３３３４２４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前記高精細な画像を提供するカラー画像可逆圧縮方法、コーデックが実現すれば、前記動画像等の記録に莫大なメモリは必要でなくなる。しかしながら、前述したスチル＆ムービーカメラは現状ではそのメモリ量、メモリコストが障壁となっており、本格的なカメラは未だ実現の時期を迎えていない。
【００１０】
また前記ＮＴＳＣ規格においても公知の技術によって２枚のフィールド画像から１枚のフレーム画像を形成可能ではあるものの、前記２枚のフィールド画像間ではその撮像時間が僅かに異なっている為、高速に移動する物体等がブレる事が有る。従って動画中から静止画をも抽出する前記スチル＆ムービーカメラにおいては、その記録方式は前記ＮＴＳＣ等が採用しているインターレース方式ではなくプログレッシブスキャン方式である事が望ましい。すると必然的に、前記圧縮方法は静止画を基本としたものになる。
【００１１】
前記静止画の可逆圧縮効率は１／３程度と言われているが実証されたものではなく、その圧縮率は前記静止画の性質に大きく依存する。
【００１２】
そこで、本発明の目的は、画像データの圧縮効率を更に向上させることにある。
【課題を解決するための手段】
【００１３】
本発明の符号化処理装置の第１の態様は、少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離手段と、前記輝度プレーン内に存在する輝度差の補正を行う傾斜補正手段と、前記傾斜補正手段による輝度差の補正処理の後に前記画像データの符号化処理を行う符号化処理手段とを有すること特徴とする。
本発明の符号化処理装置の第２の態様は、少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離手段と、前記輝度プレーン及び前記色差プレーン間の相関に基づいて、前記輝度プレーン及び前記色差プレーンのうちから少なくとも１枚のプレーンを削減するプレーン削減手段と、前記プレーン削減手段によるプレーン削減処理の後に前記画像データの符号化処理を行う符号化処理手段とを有することを特徴とする。
本発明の符号化処理方法の第１の態様は、画像データの符号化処理を行う符号化処理装置による符号化処理方法であって、少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離ステップと、前記輝度プレーン内に存在する輝度差の補正を行う傾斜補正ステップと、前記傾斜補正ステップによる輝度差の補正処理の後に前記画像データの符号化処理を行う符号化処理ステップとを含むこと特徴とする。
本発明の符号化処理方法の第２の態様は、画像データの符号化処理を行う符号化処理装置による符号化処理方法であって、少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離ステップと、前記輝度プレーン及び前記色差プレーン間の相関に基づいて、前記輝度プレーン及び前記色差プレーンのうちから少なくとも１枚のプレーンを削減するプレーン削減ステップと、前記プレーン削減ステップによるプレーン削減処理の後に前記画像データの符号化処理を行う符号化処理ステップとを含むことを特徴とする。
本発明のプログラムは、前記の符号化処理方法の第１又は第２の態様をコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記のプログラムを記録したことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、画像データの圧縮効率を更に向上させることが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１６】
先ず、本発明の実施形態の概要について説明する。以下に説明する実施形態は圧縮効率の改善を、以下の項目で示した技術によって行う。
（１）静止画像の部分画像への分割
（２）１枚の輝度プレーンと２枚の色差プレーンへの分離
（３）輝度プレーンの傾斜補正
（４）色差プレーンの色座標の決定
（５）色差プレーンの情報を用いたオブジェクト検出、画像分割
（６）最適予測方向の決定
（７）最適予測方向を考慮した符号化方向の決定
（８）ファイル情報量を減少させる為の輝度プレーンと色差プレーンでの共用化検討
（９）点欠陥の例外処理
【００１７】
（３）は主にランモード時の圧縮率改善を狙ったものである。公知のように、殆どのコーデックはランモードと予測誤差モード（算術符号化モード）を用意している。そのうち飛躍的に圧縮率が高くなるのは、前者を多用できる画像である。
【００１８】
圧縮対象である自然画像は、被写体オブジェクトに外部から太陽やランプ等の照明光が当たったものと考える事ができる。既存の自然画像を画像解析してみると、図６に示すように、上下方向に大きな輝度差が観察されるのが通常である。この輝度差は、例えばあるＶＧＡ画像では平均３５階調／２５６階調（１４％）にも達する。
【００１９】
これは前記オブジェクトの反射率は各部分でほぼ同一で有るのに対して、前記照明光の分布はそれとは対照的に上下方向で大きく異なっていることが原因である。即ち、一般に画像の上部は明るく輝度が高く、下部は暗く輝度が低い。
【００２０】
本発明の実施形態においては、符号化を行う前にこれらの輝度差の補正を行う。具体的には主に上下方向に線形あるいは低次の関数を用いて補正を行った後に符号化を行う。これらの変換操作による画像圧縮ファイルの情報量の増加は、前記線形あるいは低次の関数の係数分だけであるので、事実上無視できるほど小さい。
【００２１】
（４）の色差プレーンの色座標決定方法には、大別して２つの方法がある。従来の２枚の色差プレーンとは、例えば（Ｂ−Ｇ,Ｒ−Ｇ）や（Ｕ,Ｖ）であった。しかし、部分画像に分割され特定の被写体オブジェクトがその部分画像の大半に写り込む場合には、前記画像を構成する画素の画素値の大半が特定の１色で占められるような場合も想定される。そのような場合に、前記予め決められた色差プレーン座標を用いるのは非効率的である。
【００２２】
そこで１つの方法とは、前記特定の１色を例えば画素値のヒストグラム等から求め、その色に対して２枚の色差プレーンを回転して、一方のプレーンの色差座標をその色に合わせ込み、他方のプレーンの色差座標をその色と直交するように変換する。
【００２３】
具体的にはカラー画像の色の三原色をＣ１，Ｃ２，Ｃ３とすると、それと定数Ｃ０を合わせた計４つの項からなる線形量Ｋ１，Ｋ２を新しい色差プレーンの色座標とする訳である。
Ｋ１＝α＊Ｃ０＋β＊Ｃ１＋γ＊Ｃ２＋δ＊Ｃ３・・・（式１）
Ｋ２＝ε＊Ｃ０＋ζ＊Ｃ１＋η＊Ｃ２＋θ＊Ｃ３・・・（式２）
ここでα〜θは、線形結合の係数である。定数項Ｃ０は、前記Ｋ１，Ｋ２が負の値にならないように設けている訳である。ここでの情報量、ファイルサイズの増加は、先の自由度８の係数が表す数値６４ビット：８バイト程度である。
【００２４】
他の方法とは、前記色差プレーンの色座標を前記三原色の線形結合ではなく、（Ｒ／Ｗ，Ｂ／Ｗ）や（Ｒ／Ｇ，Ｂ／Ｇ）とする方法である。但し、ここでは可逆圧縮技術であるから、前記色座標に用いる値は例えばカメラ出力等の由緒正しい量である必要がある。既に整数で表現されているビットマップ画像から前記色座標のそれを求めても、その効果は無効である（丸め誤差が出るため）。あくまでも、アナログ出力（光量等）を直接Ｒ／Ｗ等にＡＤ変換した値、例えば前記カメラ出力である必要が有る。
【００２５】
前述したように被写体オブジェクトの色（反射率Ｒ）が場所によらず一定であるとすると、前記被写体に当たる照明光の光量Ｉ０が変化したとしても（輝度変化）、先の色座標Ｋはその値を変えない所が良い所である。
Ｉｒ＝Ｉ０＊Ｒｒ・・・（式３）
Ｋｒ＝Ｉｒ／（Ｉｒ＋Ｉｇ＋Ｉｂ）＝Ｒｒ／（Ｒｒ＋Ｒｇ＋Ｒｂ）・・・（式４）
ここでＩは反射光量であり、添字のｒ，ｇ，ｂは色の三原色、赤、緑、青に各々対応している。
【００２６】
それに対して従来は輝度が変化すると、輝度プレーンの画素値以外に色差プレーンのそれも値を変える為、同一画素値が連続する時に利用出来るランモードを利用する事が出来ず、圧縮率が低下していた。本発明の実施形態では、前記色差プレーンのダイナミックレンジが従来の例えば８ビット（２５６階調）から増加するため（８＋１０＝１８ビット）多少余分な中間ファイルサイズが必要となる。但し圧縮後のそれは前記圧縮効率が改善されるから、問題とはならない。
【００２７】
（５）の部分画像への分割は、従来のコーデックに見られていたように、画一的な分割ではなく、前記カラー画像中に含まれるオブジェクトを充分に考慮したものである事が望ましい。そのような方法としては、以下の３つの方法が考えられる。
【００２８】
まず１つ目は、前記オブジェクトの抽出を色差プレーンの情報を用いる方法である。
現実的にはオブジェクトの抽出とは先のランモード採用の可否であるから、同一色が連続する部分を同一オブジェクトとみなす事もできる。それは前記色差プレーンの画素値を観察する事で可能である。
【００２９】
２つ目は、前記オブジェクトが複数の部分画像に跨ることなく、同一の部分画像中に配置されるようにする事である。その為には、前記分割する部分画像の大きさを各カラー画像間で異なる任意の大きさとする事である。即ち、前記画像の分割は、その画像中に含まれるオブジェクトの大きさを考慮してから決定される。
【００３０】
また３つ目は、前記分割画像の分割開始地点をカラー画像の左上から任意の位置まで平行移動して変更し分割を開始する事である。これによれば少なくとも前記オブジェクトを部分画像の中心に据える事ができる。画像の端面処理の問題は、上を下に、左を右にサイクリック状に連続させる事で回避する事ができる。ここでの情報量、ファイルサイズの増加は、前記画像の大きさを表すビット数（数ビット）程度である。
【００３１】
（６）の予測方法は、従来のコーデックでも種々検討されている部分である。であるが、その改善効率は必ずしも高くない。本発明の実施形態では注目画素の周囲の少なくとも４方向、望ましくは８方向以上で前記予測値を求め、その予測誤差を最小とする最適予測方向を求め、その方向を圧縮符号化の方向として採用を行う。その際、５ピッチ以上離れた画素をも用いて長距離相関を求め、前記予測値を予測する。前記予測には、例えば線形予測（ＬＰＣ）を用いる。
【００３２】
従来のロスレスＪＰＥＧでは、１ピッチ離れた（つまりは隣接する）左上方向の３画素の値を参照して前記予測値を計算している。また前記ＪＰＥＧ−ＬＳでは、同じく４画素の値を参照している。また前記ＣＡＬＩＣでは、２ピッチ離れた左上方向の計７画素の値を参照している。また前記ＴＭＷは注目画素から１ピッチ離れた周辺８画素の値を前記線形予測に用いている。であるが、本発明の実施形態ではこれらとは距離（ピッチ数）と画素並びにおいて異なっている。
【００３３】
本発明の実施形態において長距離相関を用いるのは、図１１に示したように比較的長距離（数画素）まで、前記注目画素との相関が認められるからである。グラフの横軸は注目画素からの距離であり、縦軸はその画素と前記注目画素との階調差の絶対値である。グラフの各線は、１３種のＶＧＡカラー画像の全画素（６４０＊４８０）の平均値を示している。例えばグラフが水平になる地点を無相関になる地点であるとみなすと、図の例では５画素以上まで相関が存在する事になる。
【００３４】
またＬＰＣ予測においては一般に、次数が高くなるほど（即ち沢山の画素情報を用いるほど）その予測精度は向上する。この長距離相関の存在は、今後展開される多画素、高精細画像においては、より顕著化されるものと考えられる。
【００３５】
また従来はエッジの検出等を比較的近距離の画素を調べて行っていたが、これでは不正確である。やはり本発明の実施形態のように長距離相関を調べ、その相関が高い（つまりは予測誤差が小さい）、エッジである可能性が高い方向を予測に用いるべきである。
【００３６】
また図１１では前記予測の方向は、注目画素の周囲０度（水平方向）、４５度、９０度（垂直方向）、１３５度、の計４方向であるが、この数は任意である。一般には対向する方向の予測値は近く、また前記最小な予測誤差を示す最適な予測方向は、水平方向である場合が多い。しかし、特殊な画像も稀には存在するので、やはりその予測方向の選択は全方向（３６０度）から行われるべきである。
【００３７】
さて、（７）の必要理由を従来のコーデックを用いて説明を行う。従来のコーデックでは、予測画素に主に左上のそれを用いていた。これは符号化方向が左上から右下に向かっていたからであり、左上方向は各画素の画素値ｙｉが確定済みであるため、それらの画素値ｙｉと予測誤差Δｅを用いて注目画素の実際値ｙを求める事が可能であるからである。
ｙ＝ｆ（ｙｉ）＋Δｅ・・・（式５）
【００３８】
それに対して右下の画素値は未だ未確定なため、それを用いても前記実際値ｙを計算する事は不可能である。このように、本発明の実施形態では予め予測の最適方向を求めた後に、それに見合った符号化方向を決定する。
【００３９】
本発明の実施形態において使用する予測方向の指定は、例えば８方向では僅か３ビットであるため、その情報量、ファイルサイズの増加は事実上無視する事ができる。
【００４０】
また（８）は、従来、輝度プレーンと色差プレーンとの符号化は、各々独立に行われるのが常であった。であるが、被写体オブジェクト＋照明光という自然画像においては、前記両プレーンに共通する情報量が存在する筈である。仮にそのような情報量をプレーン間で統合出来れば、圧縮画像全体の情報量を減少可能であり、前記圧縮率の大幅な改善が見込める。
【００４１】
本発明の実施形態ではこれを、以下の２つの方法によって実現している。一つ目は、プレーン枚数の削減である。ほぼ単色から成る画像の特定の部分画像においては、前記輝度プレーン１枚、色差プレーン２枚という前提が、必ずしも必要ではなくなる。その場合には、輝度プレーン１枚＋色差プレーン１枚、あるいは色差プレーン２枚から前記輝度プレーンを計算式で求めても良い。勿論、色差プレーン１枚で済む場合も、稀には存在するだろう。
【００４２】
その具体的な方法とは、圧縮前に画素値等のテーブルを両プレーン間で比較する事である。各々の画素値同士が両プレーン間である簡単な式で表せるならば、一方のプレーンは必要ではなくなる。また両者の相関が予め決められた閾値よりも高ければ、上述のように隣接相関、予測誤差を用いた公知の符号化方法ではなく、前記プレーン間の相関を用いて予測誤差を求めた方が良い場合も生じる。例えばＰ１とＰ２での各画素値をｙ１、ｙ２とすると、予測誤差Δｅは以下のように表される。
ｙ２＝α＊ｙ１＋β＋Δｅ・・・（式６）
ここでα、βは定数である。
【００４３】
二つ目は、オブジェクトの位置や画像分割の方法などである。また、画像によっては前記各分割画像での最適予測方向、符号化方向をも共用化出来るかもしれない。
【００４４】
また（９）は、撮像センサに必然的に存在する欠陥画素を考慮したものである。多画素な撮像センサには表示装置と同様に、多数の点欠陥が存在する。それらは通常例えばフレームメモリ上等で画像処理、補正されるため、一般には目立つ事はない。であるが、高々１点の点欠陥の為に、前記圧縮率を飛躍的に高めるランモードが中断される恐れも有る。またプレーン間での相関を利用する場合など、点欠陥として除去する画素が少数の場合には、充分に圧縮率改善に寄与する。
【００４５】
本発明の実施形態による情報量、ファイルサイズの増大は、点欠陥数＊（座標を表すビット数：数ビット＋階調ビット数：８ビット）程度である。
【００４６】
このように、現在マンモスコーデックと呼ばれるそれで有っても半導体集積回路の回路規模や演算速度の改善は誠に目覚しいので（各々３年４倍、３年８倍）、前記コーデックが将来的には最適化されたそれになる可能性がある。
【００４７】
静止画、動画圧縮に必要なのは第一に圧縮画像ファイルサイズ、第二にデコード時間であるので、他を犠牲にした構成も充分に考えられ得る。また並列コンピューティング技術も進歩するので、前記並列処理を充分に考慮したコーデックである必要がある。本発明は上記の点でも、時代に適応している。
【００４８】
次に、本発明の実施形態を具体的に説明する。図１２は、本発明の実施形態に適用される撮像装置のシステム構成を示す図である。図１２において、１０は撮影レンズ、１２は絞り機能を備えるシャッタ、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００４９】
１８は撮像素子１４、Ａ／Ｄ変換器１７、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００５０】
１５はＣＤＳ（相関二重サンプリング）回路、１６はプログラマブルゲインアンプ（ＰＧＡ）である。
【００５１】
２０は画像処理回路であり、Ａ／Ｄ変換器１７からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００５２】
また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理を行っている。
【００５３】
さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００５４】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１７、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。
【００５５】
Ａ／Ｄ変換器１７のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１７のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００５６】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表
示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。
【００５７】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００５８】
３２は、画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００５９】
４０は絞り機能を備えるシャッタ１２を制御する露光制御手段であり、ストロボ４８と連携することによりストロボ調光機能も有するものである。
【００６０】
４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。
【００６１】
４８はストロボであり、ＡＦ補助光の投光機能、ストロボ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。
【００６２】
５０は撮像装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００６３】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカ等の表示部であり、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。
【００６４】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ、フラッシュメモリ等が用いられる。
【００６５】
６０、６２、６４、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００６６】
６０は電源スイッチ（メインスイッチ）で、画像処理装置１００の電源オン、電源オフの各モードを切り替え設定することが出来る。また、画像処理装置１００に接続された各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定することが出来る。
【００６７】
６２はシャッタスイッチＳＷ１で、不図示のシャッタボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（ストロボプリ発光）処理等の動作開始を指示する。
【００６８】
６４はシャッタスイッチＳＷ２で、不図示のシャッタボタンの操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１７、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。７０は各種ボタンやタッチパネル等からなる操作部である。
【００６９】
７２はモードダイアルスイッチで、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。
【００７０】
８０は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００７１】
８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li-ion電池等の二次電池、ACアダプタ等からなる電源手段である。
【００７２】
９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。
【００７３】
１０２は、撮像装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。
【００７４】
１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、ストロボ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設置されている。
【００７５】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。なお、記録媒体２００は本実施形態では撮像装置１００に内蔵される構成として説明しているが、外部に構成されることも本発明の範疇内である。
【００７６】
以下に説明する実施形態は、主に画像処理回路２０及び圧縮・伸張回路３２によって実現されるものである。先ず、本発明の第１の実施形態について説明する。本実施形態における、カラー画像の可逆圧縮方法のメインルーチンを図１に示す。
【００７７】
本実施形態は図５に示したように各画素に８ビットのＲＧＢ色情報を有するＶＧＡ画像（６４０＊４８０画素）５１を可逆圧縮するものであり、前記画像はまず大きさ８０＊６０画素の部分画像５２に６４分割される（ステップＳ１）。
【００７８】
次いで下記の式７〜９に基づいて、輝度プレーン（Ｙ）と色差プレーン（Ｃｂ、Ｃｒ）の分離が行われる（ステップＳ２）。
Ｙ＝Ｒ＋２＊Ｇ＋Ｂ・・・（式７）
Ｃｂ＝Ｂ−Ｇ・・・（式８）
Ｃｒ＝Ｒ−Ｇ・・・（式９）
ここでＲ、Ｇ、Ｂは各画素での画素値（ＲＧＢ値）である。
【００７９】
次いで各部分画像の輝度プレーンＹにおいて、画素値の傾斜補正がｙ方向のみで行われる（ステップＳ３）。これはまず行（ｊ）毎に各画素値Ｙ(ｉ,ｊ)を加算した値Ｙ(ｊ)を求める。
Ｙ(ｊ)＝ΣＹ(ｉ,ｊ)・・・（式１０）
和はｉに対して取られる。
【００８０】
それを下記の式１１によって１次式で近似する。
Ｙ(ｊ)ｐ＝ａ＊ｉ＋ｂ・・・（式１１）
上記ａやｂの値は、例えば公知の最小自乗法などで求められる。ここでＹ(ｊ)ｐは先のＹ(ｊ)の近似値である。
【００８１】
このＹ(ｊ)ｐを先の画素値Ｙ(ｉ,ｊ)から引く事によって、前記傾斜補正が行われる。
ΔＹ(ｉ,ｊ)＝Ｙ(ｉ,ｊ)−Ｙ(ｊ)ｐ・・・（式１２）
【００８２】
実際に符号化されるのは、式１２のΔＹ(ｉ,ｊ)で表される量（差分）である。また先の２つの係数ａ、ｂ（情報量１６ビット）は、前記各部分画像毎に記録、保存される。
【００８３】
次いで色差プレーンの座標変換が、各部分画像毎に独立に行われる（ステップＳ４）。まず最初に各色差プレーン（ＣｒまたはＣｂ）で、部分画像全体の画素に対して画素値Ｃｒ(ｉ,ｊ)、Ｃｂ(ｉ,ｊ)のヒストグラムが取られる。そのヒストグラム中での最大頻度を示す値を各々Ｃｒｆｒｅｑ、Ｃｂｆｒｅｑとすると、式１３で決められる回転角θで色座標（Ｃｒ、Ｃｂ）を回転してできる、式１４、式１５で示される新たな色座標（Ｋ１，Ｋ２）を用いて、更にヒストグラムを求める。色座標（Ｃｒ、Ｃｂ）と色座標（Ｋ１，Ｋ２）との関係を図７に示す。
ｔａｎθ＝Ｃｂｆｒｅｑ／Ｃｒｆｒｅｑ・・・（式１３）
Ｋ１＝Ｃｒ＊ｃｏｓθ＋Ｃｂ＊ｓｉｎθ・・・（式１４）
Ｋ２＝−Ｃｒ＊ｓｉｎθ＋Ｃｂ＊ｃｏｓθ・・・（式１５）
【００８４】
そして前記両色差プレーンＫ１、Ｋ２で、下記の量を計算する。
Ｈ＝−ΣＰｉ＊（ｌｏｇＰｉ／ｌｏｇ２）・・・（式１６）
和はiに対して取られる。
Ｐｉ＝Ｎ（Ｋｎ(ｉ)）／（８０＊６０）・・・（式１７）
式１６は良く知られた、圧縮限界を示す式（エントロピー式）である。ここでＫｎ(ｉ)は、各色差プレーンのヒストグラムにおける、値ｉを示す度数である。また８０＊６０は、前記部分画像の総画素数である。従ってｌｏｇＰｉは、その値ｉの度数が示す確率である。
【００８５】
各色差プレーンＫ１、Ｋ２で求めた式１６の値Ｈ１、Ｈ２の和Ｈ１＋Ｈ２が予め決められた値（閾値）よりも小さい場合には、前記色差座標Ｋ１、Ｋ２を符号化座標に採用する。また前記和が前記閾値を越える場合には、先の最頻値Ｃｒｆｒｅｑ、Ｃｂｆｒｅｑの周囲あるいはセカンドピーク（次に頻度が高い値）の周囲についても、同様な調査を行う。それでも前記関係を満足しない場合には、前記和の中で最も小さな和を示す色差座標を前記符号化の座標に採用する。
【００８６】
本実施形態が本ステップで行っている事は、前記色情報を一方の座標（この場合はＫ１）に集中して符号化効率を高める工夫である。
【００８７】
次に公知の予測符号化手法を用いて、符号化の為の差分情報を求める。その為には前記予測に用いられる画素予測値を求める必要が有るが、本実施形態では前記予測を図８に示したように注目画素の５画素外方の８方向から、予測を行う（ステップＳ５）。
【００８８】
注目画素をＰ０、それから１ピッチ離れた画素をＰ１、以下同様に５ピッチ離れた画素をＰ５とすると、公知の線形予測法（ＬＰＣ）によって予測誤差ΔＰは、次の式１８、式１９によって求められる。
ΔＰ＝Ｐ０−Ｐｐｒｏｊ・・・（式１８）
Ｐｐｒｏｊ＝−ｕ＊Ｐ１−ｖ＊Ｐ２−ｗ＊Ｐ３−ｘ＊Ｐ４−ｙ＊Ｐ５・・・（式１９）
ここでｕ，ｖ，ｗ，ｘ，ｙの各係数は、前記部分画像全体の画素に対して最適化されている。
【００８９】
前記予測誤差ΔＰの最小自乗和は、前記予測の方向毎に異なる値を示す。そのうち最小の最小自乗和を示す方向を、本実施形態は予測の最適方向として採用する。
【００９０】
最適な予測方向が求まったならば、次は各画素の符号化方向を決める（ステップＳ６）。図９に示すように、符号化の方向９４は前記予測の最適方向９３と同じ方向である。
本実施形態では各部分画像の各行毎に、並列処理的な符号化が行われる。その際に、右側の出発画素９１から４画素分は式１９では符号化が不可能であるが、存在しない画素の値は０であるとして式１９を解釈、流用する。最後に公知の算術符号化で符号化が行われる（ステップＳ７）。
【００９１】
本実施形態によれば、輝度プレーンの傾斜補正を行っているため、ランモード採用の割合が増加し、圧縮率が改善される。また部分画像毎に色差座標を変更しているため、それだけその部分画像に含まれる特定色を効率良く符号化可能である。またその符号化も、最適な方向を選択して符号化を行っているため、前記符号化の効率は良好である。
【００９２】
本実施形態はＶＧＡカラー画像以外の任意のカラー画像にも、用いる事ができる。またその部分画像への分割数や分割画像の大きさも任意である。また本実施形態に用いる式７〜式９で示される輝度色差プレーンの分離方法は、その他の公知の方法でも構わない。例えば、輝度ＹはＹ＝Ｒ＋Ｇ＋Ｂで有っても良い。
【００９３】
また式１２で示される輝度プレーンの傾き補正は、一次式の補正だけでなくより高次の補正式でも構わない。その場合にはその増えた係数分だけ多少、画像圧縮に必要な情報量は増加する。また前記輝度の補正は、ｙ方向だけでなく、ｘ方向（水平方向）に行っても無論構わない。
【００９４】
また色座標の選定は式１４、式１５で表現される座標回転だけでなく、先の式１、式２で表されるより一般的な線形式で有っても、勿論構わない。また本実施形態は可逆圧縮を対象としているので、前記色差座標Ｋ１,Ｋ２が表す階調値は、実数値であるよりも整数値である方が望ましい（計算で丸め誤差が出るため）。従って前記色差座標Ｋ１,Ｋ２の選定は、それらを考慮して決定する必要が有る。そのような座標には、下記の式２０、式２１のようなものがある。
Ｋ１＝αＣｒ＋βＣｂ・・・（式２０）
Ｋ２＝αＣｒ−βＣｂ・・・（式２１）
ここでα、βは整数である。
【００９５】
またＫ１、Ｋ２の各階調値は公知のように、最小値Ｋ１ｍｉｎ、Ｋ２ｍｉｎを各々の値から引くことによって、０または正の整数とする事ができる。このようにしておくと、後の符号化が容易となる。
【００９６】
また前記色差座標Ｋ１、Ｋ２の選択の際に使用する選択基準は何も先のエントロピー式である必要はなく、例えば従来コーデックのＴＭＷのように、実際に圧縮を行ってそのコードサイズを知り最小なコードを生成するＫ１、Ｋ２を選択しても良い。
【００９７】
また前記予測の方向は何も８方向に限る事はなく、全方位を考慮した４方向以上で有りさえすれば良い。またその次数も、その予測精度を向上させるために、画素ピッチ３以上画素を含む任意の数で良い。また前記予測は線形予測だけでなく、公知の任意の予測方法でも構わない。また符号化の方法は、公知の、例えばハフマン符号化等でも構わない。
【００９８】
次に、本発明の第２の実施形態について説明する。本実施形態における、ＶＧＡカラー画像の可逆圧縮のメインルーチンを図２に示す。本実施形態では画像分割に先立ってオブジェクトの検出を行う。
【００９９】
まず前述のように、輝度色差プレーンの分離を行う（ステップＳ１１）。次いで図１０に示すように、前記色差プレーン１０１で、オブジェクト１０２の検出を行う（ステップ１２）。
【０１００】
その方法とは、各色差プレーンで画素値のヒストグラムを作成し、前記画素値がその最頻値±Δを示す領域を、前記オブジェクト１０２であると認識する。ここでΔの値は、２５６階調の場合、０から３程度の値である。前記検出されたオブジェクト１０２を考慮して、前記ＶＧＡ画像の分割を行う（ステップＳ１３）。
【０１０１】
分割の方法とは、まず最初に前記オブジェクトの横と縦の大きさＬｘ、Ｌｙと重心位置（Ｇｘ，Ｇｙ）を検出する。次いで前記オブジェクトの大きさと想定する分割部分画像の大きさ（通常は４０＊３０〜１６０＊１２０）とを比較して、前記分割線１０３のピッチを決定する。前記オブジェクト１０２の大きさが大きい場合には、図１０に示したように複数の部分画像に跨って前記オブジェクト１０２が存在するようになる。
【０１０２】
前記画像の分割に際しては、図に示したように前記重心位置（Ｇｘ,Ｇｙ）を考慮してその分割開始位置を決定する。前記画像を分割する分割線１０３は、前記画像１０１上で等間隔に引かれる。
【０１０３】
次いで前述したように、前記オブジェクト１０２の色に適した色差プレーンの座標系が決定される（ステップＳ１４）。次いで、圧縮後のファイルサイズを小さくするために（つまりは圧縮率改善）、前記３枚のプレーン間での圧縮情報の共用化が検討される（ステップＳ１５）。検討される項目と順序は、以下の通りである。
（１）プレーン枚数の削減
（２）予測方法の変更
（３）色差座標系の座標パラメータの共通化
【０１０４】
一番圧縮効率が上がるのはプレーン枚数の削減であるから、まず最初に、これの可否を検討する。その方法とは、３枚のプレーンを調べ、その各プレーンの全画素値Ｐｎ(ｉ,ｊ)間に、以下の関係が成立する時である。
Ｐｍ(ｉ,ｊ)＝Ａ＊Ｐｎ(ｉ,ｊ)＋Ｂ・・・（式２２）
ここでＰｍ（ｉ,ｊ）、Ｐｎ(ｉ,ｊ)は任意の２枚のプレーンの画素値であり、Ａ、Ｂは定数である。
【０１０５】
勿論自然画像でこのような事が生じるのは稀であるが、例えばパワーポイント等で作成した図面の場合や分割画像の全画素数が小さくなった場合には、その確率も無視できないほどに高くなる。また前記プレーンの削減の有無は、前記圧縮ファイルのヘッダ部分に書き込まれる。それに要する情報量の増大は、僅か数ビットである。
【０１０６】
次いで（２）の予測方法の変更であるが、通常の場合の符号化は各プレーン内での画素値の隣接相関を用いて行われるが、（１）ほどで無いにしても式２２に近いような関係が両プレーン間で成立している場合には、前記隣接相関を用いず各プレーン間の相関を用いた方が圧縮効率が向上する場合もある。つまり前述の線形予測を用いず、符号化の対象情報として、先のＰｍ(ｉ,ｊ)−Ａ＊Ｐｎ(ｉ,ｊ)−Ｂを用いる訳である。どちらを用いるかの判定は、先のエントロピー式で行う。前記隣接相関の見積もりは、前記予測方向を水平方向として求めたそれで、仮に行われる。
【０１０７】
（３）の座標パラメータの共通化とは、部分画像毎に求めた色差座標変換係数の中で共通化できるものが存在するか、の検討である。もし共通化できるものがある場合には、前記圧縮後のファイルのヘッダに整理して書き込まれる。前記係数の共通化による情報量の削減の程度は、前記係数が示す情報量（数バイト）＊共通な部分画像枚数程度である。
【０１０８】
次いで前述したように最適な予測方向の検出（ステップＳ１６）、符号化方向の決定（ステップＳ１７）が行われる。
【０１０９】
前記予測値の検出に他のプレーンとの相関を利用する場合には、前記ステップＳ１６の一部の工程は省略される。最後に同様に符号化が行われる（ステップＳ１８）。
【０１１０】
本実施形態によれば、オブジェクトを考慮した画像分割が行われているので、前記連続的なオブジェクトを圧縮する際の圧縮効率が向上する。またその効果は全体に波及する。また前記プレーン間での情報共用化の検討も行われるので、更にその圧縮効率も向上する。
【０１１１】
また本実施形態のオブジェクトの抽出は、各プレーン間で各々別々に行われても良い。その場合には、前記部分画像への分割は別の位置、大きさ、形状になる。また前記抽出は、輝度プレーンで行われても良い。本実施形態のオブジェクトの抽出の目的は圧縮効率の向上にあるので、抽出されるオブジェクトは、必ずしも被写体オブジェクトで無くとも良い。また前記部分画像への分割は、必ずしも同じ大きさ、等ピッチでなくとも良い。また前記情報量の共用化には、先の３項目以外にも適用する事ができる。また共用の判断に用いたエントロピー式は、実際の圧縮結果、ファイルサイズ（コードサイズ）であっても構わない。
【０１１２】
次に本発明の第３の実施形態について説明する。本実施形態における、ＶＧＡ画像の可逆圧縮方法のメインルーチンを図３に示す。図３のステップＳ２１〜Ｓ２４迄は、図２のステップＳ１１〜Ｓ１４と同じであるため説明は省略する。
【０１１３】
ステップＳ２５のプレーン間共用化検討では、先の（１）プレーン枚数の削減工程で、任意の２枚のプレーン間相関を調べる。具体的には、先の（２２）式で予想される予測値との差、予測誤差Ｐｍ(ｉ,ｊ)−Ａ＊Ｐｎ(ｉ,ｊ)−Ｂの自乗和を計算する。その値が予め決められた値（閾値）よりも小さい場合には、前述のように隣接相関を用いた予測方法ではなく、プレーン間の相関を用いた方法に符号化方法を変更するわけである。
【０１１４】
またステップＳ２６では同様に８方向から前記長距離相関を用いたＬＰＣ予測で、予測値と予測誤差を求める。その際、予測誤差の大きな画素に対しては、
（１）その画素座標を記憶する。
（２）大きな予測誤差を部分画像毎に設けられているヘッダ部分に記憶する。
（３）予測誤差を０と置く。
という作業（点欠陥法）で、前記大きな予測誤差による表現ビット数の増加を防ぐ。ステップＳ２７からステップＳ２９は、第２の実施形態と同じである。
【０１１５】
本実施形態によれば、大きな予測誤差を示す画素を点欠陥として扱い、その画素値（予測誤差）を別途記録する事によって、前記圧縮後の情報量を減少可能である。本実施形態の点欠陥法は、例えばオブジェクト境界等に存在する階調段差を別途記録し、その中の比較的平坦、連続的なオブジェクト内部のみを効率的に符号化する事ができる。また時々見られる、デジタルカメラ等の画素欠陥補正の失敗による非連続的な輝点が存在する画像などに対しても、その悪影響を除去する事ができる。
【０１１６】
次に本発明の第４の実施形態について説明する。本実施形態における、デジタルカメラの静止画像取得のメインルーチンを図４に示す。ステップＳ３１はＣＣＤ等の撮像センサによる静止画像の撮像工程である。
【０１１７】
前記撮像センサは、出力として式２３〜２５で表される輝度Ｙ、色差Ｋ１、Ｋ２を出力する。
Ｙ＝Ｗ＝Ｒ＋Ｇ＋Ｂ・・・（式２３）
Ｋ１＝Ｒ／Ｗ・・・（式２４）
Ｋ２＝Ｂ／Ｗ・・・（式２５）
【０１１８】
前記出力は前記撮像センサの最終段で２５６階調のデジタル信号に変換されている。ステップＳ３２はその撮像したアナログ信号をフレームメモリに移送しデジタル信号として記憶する工程である。
【０１１９】
前記撮像センサから出力された輝度Ｙや色差Ｋ１、Ｋ２信号は、ＡＤコンバータ等で最大２５６階調のデジタル信号に変換される。変換されたデジタル画像情報は、前記デジタルカメラ内に存在するフレームメモリに記憶される（ステップＳ３３）。
【０１２０】
ステップＳ３４では前述したように画像分割が行われ、各部分画像毎に最適な色差プレーン座標が選択される（ステップＳ３５）。その選択方法とは、式２６、式２７に示すとおりである。
Ｊ１＝αＫ１＋βＫ２・・・（式２６）
Ｊ２＝αＫ１−βＫ２・・・（式２７）
ここでＪ１、Ｊ２は新しい色差座標系であり、α、βは整数である。
【０１２１】
次いで算術符号により圧縮が行われ（ステップＳ３６）、圧縮された画像は記録媒体に記録される（ステップＳ３７）。
【０１２２】
本実施形態によれば前記色差プレーンが前記輝度プレーンと完全に分離しているため、仮に被写体オブジェクトに当たる照明光の強度分布にムラが有る場合にも、前記色差プレーンでは連続な画素値となるため、ランモードや予測符号化の効率が向上する。その為、出力される圧縮画像のファイルサイズも小さくなる。
【０１２３】
本実施形態に用いる色差座標は何もＲ／ＷやＢ／Ｗに限ることはなく、例えばＲ／ＧやＢ／Ｇその他で有っても構わない。選択のポイントは、輝度プレーンとは完全に分離している事である。また本実施形態はデジタルカメラだけではなく、他の撮像系に容易に適用する事ができる。
【０１２４】
以上のように、本発明の実施形態によれば、全体画像を分割して生じる各部分画像の性質に応じた符号化手法が各々の画像符号化で採用するため、全体画像の圧縮効率を向上させることが可能となる。
【０１２５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１２６】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２７】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１２８】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１３０】
【図１】本発明の第１の実施形態におけるカラー画像の可逆圧縮方法のメインルーチンを示す図である。
【図２】本発明の第２の実施形態におけるカラー画像の可逆圧縮方法のメインルーチンを示す図である。
【図３】本発明の第３の実施形態におけるカラー画像の可逆圧縮方法のメインルーチンを示す図である。
【図４】本発明の第４の実施形態におけるカラー画像の可逆圧縮方法のメインルーチンを示す図である。
【図５】ＶＧＡ画像に対する分割方法を説明するための図である。
【図６】上下方向の輝度差を説明するための図である。
【図７】色座標（Ｃｒ、Ｃｂ）と新たな色座標（Ｋ１，Ｋ２）との関係を示す図である。
【図８】画素予測値を求めるための予測方向を説明するための図である。
【図９】符号化方向と画素予測値を求めるための予測方向との関係を示す図である。
【図１０】オブジェクトと分割画像との関係を説明するための図である。
【図１１】注目画素と周辺画素との相関を説明するための図である。
【図１２】本発明の実施形態に適用可能な撮像装置の構成を示す図である。
【符号の説明】
【０１３１】
１０：撮影レンズ
１２：シャッタ
１４：撮像素子
１５：ＣＤＳ回路
１６：ＰＧＡ
１７：Ａ／Ｄ変換器
１８：タイミング発生回路
２０：画像処理回路
２２：メモリ制御回路
２４：画像表示メモリ
２６：Ｄ／Ａ変換器
２８：画像表示部
３０：メモリ
３２：画像圧縮・伸長回路
４０：露光制御手段
４２：測距制御手段
４４：ズーム制御手段
４６：バリア制御手段
４８：ストロボ
５０：システム制御回路
５２：メモリ
５４：表示部
５６：不揮発性メモリ
６０：電源スイッチ（メインスイッチ）
６２：シャッタスイッチＳＷ１
６４：シャッタスイッチＳＷ２
７０：操作部
７２：モードダイアルスイッチ
８０：電源制御手段
８２、８４、９２、２０６：コネクタ
８６：電源手段
９０、２０４：インタフェース
１００：撮像装置
１０２：保護手段
１０４：光学ファインダ
２００：記録媒体
２０２：記録部
【技術分野】
【０００１】
本発明は、画像データを符号化処理するための符号化処理装置及び符号化処理方法に関するものである。
【背景技術】
【０００２】
近年、デジタルカメラの発達により、自然画像を容易にデジタル情報化出来るように成って来ている。また近頃では静止画だけでなく、動画をも撮影可能なスチル＆ムービーカメラも台頭しつつある。
【０００３】
前記カメラは大量のメモリを消費するため、高効率なカラー画像圧縮方法が望まれている。また、前記カメラは電子ズームを前提としているため、前記ズーム時でも高精細な画像を提供出来る必要がある。しかし従来の主なコーデックであるＪＰＥＧやＭＰＥＧは非可逆圧縮方法であるため、前記高精細な画像を再生するには不向きなものになっている。
【０００４】
また、前記カメラは動画撮影時においても、前記動画中の任意のフレームを静止画として抽出できるのが望ましい。その点で、前記動画専用コーデックであるＭＰＥＧは失格である。また、近年の表示装置の性能向上によって、従来の放送規格であるＮＴＳＣやＭＰＥＧ等が提供する画像の品質はその限界を呈しつつ有る。
【０００５】
このような状況で注目されつつあるのが、ＪＰＥＧ２０００と呼ばれる新しい可逆、非可逆圧縮方法である。前記圧縮方法は本質的には静止画圧縮方法であり、可逆、非可逆圧縮の両方で基本的には同一の圧縮アルゴリズム（ウェーブレット変換）を採用している。しかし前記可逆圧縮の圧縮率は余り高くなく、１／２程度である。また前記圧縮方法は動画圧縮にも適用可能で、例えば非可逆圧縮の圧縮率１／８程度で良好な動画像を提供する事ができる。
【０００６】
特許文献１には、スキャン方向を変換する方式が開示され、特許文献２には、画像分割して最適な圧縮方法を選択、採用する方式が開示されている。また、特許文献３には、画像分割にヒストグラムを使用する方式が開示され、特許文献４には、属性マップ／オブジェクトに基づいて画像圧縮する方式が開示されている。また、特許文献５には、ラン長の分布から画像の種類を判別する方式が開示され、特許文献６には、色差信号を原点の周りに回転する方式が開示されている。
【０００７】
また他の静止画可逆圧縮方法には、例えばＧＩＦ、ＰＮＧ、ＪＰＥＧ−ＬＳ、ＣＡＬＩＣ、ＴＭＷ等が有る。
【０００８】
【特許文献１】特開平８−１２６００９号公報
【特許文献２】特開２０００−３３３０１９号公報
【特許文献３】特開２００１−２２９３１号公報
【特許文献４】特開２００１−１６９１２０号公報
【特許文献５】特開２００２−１６３６５８号公報
【特許文献６】特許第３３３４２４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前記高精細な画像を提供するカラー画像可逆圧縮方法、コーデックが実現すれば、前記動画像等の記録に莫大なメモリは必要でなくなる。しかしながら、前述したスチル＆ムービーカメラは現状ではそのメモリ量、メモリコストが障壁となっており、本格的なカメラは未だ実現の時期を迎えていない。
【００１０】
また前記ＮＴＳＣ規格においても公知の技術によって２枚のフィールド画像から１枚のフレーム画像を形成可能ではあるものの、前記２枚のフィールド画像間ではその撮像時間が僅かに異なっている為、高速に移動する物体等がブレる事が有る。従って動画中から静止画をも抽出する前記スチル＆ムービーカメラにおいては、その記録方式は前記ＮＴＳＣ等が採用しているインターレース方式ではなくプログレッシブスキャン方式である事が望ましい。すると必然的に、前記圧縮方法は静止画を基本としたものになる。
【００１１】
前記静止画の可逆圧縮効率は１／３程度と言われているが実証されたものではなく、その圧縮率は前記静止画の性質に大きく依存する。
【００１２】
そこで、本発明の目的は、画像データの圧縮効率を更に向上させることにある。
【課題を解決するための手段】
【００１３】
本発明の符号化処理装置の第１の態様は、少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離手段と、前記輝度プレーン内に存在する輝度差の補正を行う傾斜補正手段と、前記傾斜補正手段による輝度差の補正処理の後に前記画像データの符号化処理を行う符号化処理手段とを有すること特徴とする。
本発明の符号化処理装置の第２の態様は、少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離手段と、前記輝度プレーン及び前記色差プレーン間の相関に基づいて、前記輝度プレーン及び前記色差プレーンのうちから少なくとも１枚のプレーンを削減するプレーン削減手段と、前記プレーン削減手段によるプレーン削減処理の後に前記画像データの符号化処理を行う符号化処理手段とを有することを特徴とする。
本発明の符号化処理方法の第１の態様は、画像データの符号化処理を行う符号化処理装置による符号化処理方法であって、少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離ステップと、前記輝度プレーン内に存在する輝度差の補正を行う傾斜補正ステップと、前記傾斜補正ステップによる輝度差の補正処理の後に前記画像データの符号化処理を行う符号化処理ステップとを含むこと特徴とする。
本発明の符号化処理方法の第２の態様は、画像データの符号化処理を行う符号化処理装置による符号化処理方法であって、少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離ステップと、前記輝度プレーン及び前記色差プレーン間の相関に基づいて、前記輝度プレーン及び前記色差プレーンのうちから少なくとも１枚のプレーンを削減するプレーン削減ステップと、前記プレーン削減ステップによるプレーン削減処理の後に前記画像データの符号化処理を行う符号化処理ステップとを含むことを特徴とする。
本発明のプログラムは、前記の符号化処理方法の第１又は第２の態様をコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記のプログラムを記録したことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、画像データの圧縮効率を更に向上させることが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１６】
先ず、本発明の実施形態の概要について説明する。以下に説明する実施形態は圧縮効率の改善を、以下の項目で示した技術によって行う。
（１）静止画像の部分画像への分割
（２）１枚の輝度プレーンと２枚の色差プレーンへの分離
（３）輝度プレーンの傾斜補正
（４）色差プレーンの色座標の決定
（５）色差プレーンの情報を用いたオブジェクト検出、画像分割
（６）最適予測方向の決定
（７）最適予測方向を考慮した符号化方向の決定
（８）ファイル情報量を減少させる為の輝度プレーンと色差プレーンでの共用化検討
（９）点欠陥の例外処理
【００１７】
（３）は主にランモード時の圧縮率改善を狙ったものである。公知のように、殆どのコーデックはランモードと予測誤差モード（算術符号化モード）を用意している。そのうち飛躍的に圧縮率が高くなるのは、前者を多用できる画像である。
【００１８】
圧縮対象である自然画像は、被写体オブジェクトに外部から太陽やランプ等の照明光が当たったものと考える事ができる。既存の自然画像を画像解析してみると、図６に示すように、上下方向に大きな輝度差が観察されるのが通常である。この輝度差は、例えばあるＶＧＡ画像では平均３５階調／２５６階調（１４％）にも達する。
【００１９】
これは前記オブジェクトの反射率は各部分でほぼ同一で有るのに対して、前記照明光の分布はそれとは対照的に上下方向で大きく異なっていることが原因である。即ち、一般に画像の上部は明るく輝度が高く、下部は暗く輝度が低い。
【００２０】
本発明の実施形態においては、符号化を行う前にこれらの輝度差の補正を行う。具体的には主に上下方向に線形あるいは低次の関数を用いて補正を行った後に符号化を行う。これらの変換操作による画像圧縮ファイルの情報量の増加は、前記線形あるいは低次の関数の係数分だけであるので、事実上無視できるほど小さい。
【００２１】
（４）の色差プレーンの色座標決定方法には、大別して２つの方法がある。従来の２枚の色差プレーンとは、例えば（Ｂ−Ｇ,Ｒ−Ｇ）や（Ｕ,Ｖ）であった。しかし、部分画像に分割され特定の被写体オブジェクトがその部分画像の大半に写り込む場合には、前記画像を構成する画素の画素値の大半が特定の１色で占められるような場合も想定される。そのような場合に、前記予め決められた色差プレーン座標を用いるのは非効率的である。
【００２２】
そこで１つの方法とは、前記特定の１色を例えば画素値のヒストグラム等から求め、その色に対して２枚の色差プレーンを回転して、一方のプレーンの色差座標をその色に合わせ込み、他方のプレーンの色差座標をその色と直交するように変換する。
【００２３】
具体的にはカラー画像の色の三原色をＣ１，Ｃ２，Ｃ３とすると、それと定数Ｃ０を合わせた計４つの項からなる線形量Ｋ１，Ｋ２を新しい色差プレーンの色座標とする訳である。
Ｋ１＝α＊Ｃ０＋β＊Ｃ１＋γ＊Ｃ２＋δ＊Ｃ３・・・（式１）
Ｋ２＝ε＊Ｃ０＋ζ＊Ｃ１＋η＊Ｃ２＋θ＊Ｃ３・・・（式２）
ここでα〜θは、線形結合の係数である。定数項Ｃ０は、前記Ｋ１，Ｋ２が負の値にならないように設けている訳である。ここでの情報量、ファイルサイズの増加は、先の自由度８の係数が表す数値６４ビット：８バイト程度である。
【００２４】
他の方法とは、前記色差プレーンの色座標を前記三原色の線形結合ではなく、（Ｒ／Ｗ，Ｂ／Ｗ）や（Ｒ／Ｇ，Ｂ／Ｇ）とする方法である。但し、ここでは可逆圧縮技術であるから、前記色座標に用いる値は例えばカメラ出力等の由緒正しい量である必要がある。既に整数で表現されているビットマップ画像から前記色座標のそれを求めても、その効果は無効である（丸め誤差が出るため）。あくまでも、アナログ出力（光量等）を直接Ｒ／Ｗ等にＡＤ変換した値、例えば前記カメラ出力である必要が有る。
【００２５】
前述したように被写体オブジェクトの色（反射率Ｒ）が場所によらず一定であるとすると、前記被写体に当たる照明光の光量Ｉ０が変化したとしても（輝度変化）、先の色座標Ｋはその値を変えない所が良い所である。
Ｉｒ＝Ｉ０＊Ｒｒ・・・（式３）
Ｋｒ＝Ｉｒ／（Ｉｒ＋Ｉｇ＋Ｉｂ）＝Ｒｒ／（Ｒｒ＋Ｒｇ＋Ｒｂ）・・・（式４）
ここでＩは反射光量であり、添字のｒ，ｇ，ｂは色の三原色、赤、緑、青に各々対応している。
【００２６】
それに対して従来は輝度が変化すると、輝度プレーンの画素値以外に色差プレーンのそれも値を変える為、同一画素値が連続する時に利用出来るランモードを利用する事が出来ず、圧縮率が低下していた。本発明の実施形態では、前記色差プレーンのダイナミックレンジが従来の例えば８ビット（２５６階調）から増加するため（８＋１０＝１８ビット）多少余分な中間ファイルサイズが必要となる。但し圧縮後のそれは前記圧縮効率が改善されるから、問題とはならない。
【００２７】
（５）の部分画像への分割は、従来のコーデックに見られていたように、画一的な分割ではなく、前記カラー画像中に含まれるオブジェクトを充分に考慮したものである事が望ましい。そのような方法としては、以下の３つの方法が考えられる。
【００２８】
まず１つ目は、前記オブジェクトの抽出を色差プレーンの情報を用いる方法である。
現実的にはオブジェクトの抽出とは先のランモード採用の可否であるから、同一色が連続する部分を同一オブジェクトとみなす事もできる。それは前記色差プレーンの画素値を観察する事で可能である。
【００２９】
２つ目は、前記オブジェクトが複数の部分画像に跨ることなく、同一の部分画像中に配置されるようにする事である。その為には、前記分割する部分画像の大きさを各カラー画像間で異なる任意の大きさとする事である。即ち、前記画像の分割は、その画像中に含まれるオブジェクトの大きさを考慮してから決定される。
【００３０】
また３つ目は、前記分割画像の分割開始地点をカラー画像の左上から任意の位置まで平行移動して変更し分割を開始する事である。これによれば少なくとも前記オブジェクトを部分画像の中心に据える事ができる。画像の端面処理の問題は、上を下に、左を右にサイクリック状に連続させる事で回避する事ができる。ここでの情報量、ファイルサイズの増加は、前記画像の大きさを表すビット数（数ビット）程度である。
【００３１】
（６）の予測方法は、従来のコーデックでも種々検討されている部分である。であるが、その改善効率は必ずしも高くない。本発明の実施形態では注目画素の周囲の少なくとも４方向、望ましくは８方向以上で前記予測値を求め、その予測誤差を最小とする最適予測方向を求め、その方向を圧縮符号化の方向として採用を行う。その際、５ピッチ以上離れた画素をも用いて長距離相関を求め、前記予測値を予測する。前記予測には、例えば線形予測（ＬＰＣ）を用いる。
【００３２】
従来のロスレスＪＰＥＧでは、１ピッチ離れた（つまりは隣接する）左上方向の３画素の値を参照して前記予測値を計算している。また前記ＪＰＥＧ−ＬＳでは、同じく４画素の値を参照している。また前記ＣＡＬＩＣでは、２ピッチ離れた左上方向の計７画素の値を参照している。また前記ＴＭＷは注目画素から１ピッチ離れた周辺８画素の値を前記線形予測に用いている。であるが、本発明の実施形態ではこれらとは距離（ピッチ数）と画素並びにおいて異なっている。
【００３３】
本発明の実施形態において長距離相関を用いるのは、図１１に示したように比較的長距離（数画素）まで、前記注目画素との相関が認められるからである。グラフの横軸は注目画素からの距離であり、縦軸はその画素と前記注目画素との階調差の絶対値である。グラフの各線は、１３種のＶＧＡカラー画像の全画素（６４０＊４８０）の平均値を示している。例えばグラフが水平になる地点を無相関になる地点であるとみなすと、図の例では５画素以上まで相関が存在する事になる。
【００３４】
またＬＰＣ予測においては一般に、次数が高くなるほど（即ち沢山の画素情報を用いるほど）その予測精度は向上する。この長距離相関の存在は、今後展開される多画素、高精細画像においては、より顕著化されるものと考えられる。
【００３５】
また従来はエッジの検出等を比較的近距離の画素を調べて行っていたが、これでは不正確である。やはり本発明の実施形態のように長距離相関を調べ、その相関が高い（つまりは予測誤差が小さい）、エッジである可能性が高い方向を予測に用いるべきである。
【００３６】
また図１１では前記予測の方向は、注目画素の周囲０度（水平方向）、４５度、９０度（垂直方向）、１３５度、の計４方向であるが、この数は任意である。一般には対向する方向の予測値は近く、また前記最小な予測誤差を示す最適な予測方向は、水平方向である場合が多い。しかし、特殊な画像も稀には存在するので、やはりその予測方向の選択は全方向（３６０度）から行われるべきである。
【００３７】
さて、（７）の必要理由を従来のコーデックを用いて説明を行う。従来のコーデックでは、予測画素に主に左上のそれを用いていた。これは符号化方向が左上から右下に向かっていたからであり、左上方向は各画素の画素値ｙｉが確定済みであるため、それらの画素値ｙｉと予測誤差Δｅを用いて注目画素の実際値ｙを求める事が可能であるからである。
ｙ＝ｆ（ｙｉ）＋Δｅ・・・（式５）
【００３８】
それに対して右下の画素値は未だ未確定なため、それを用いても前記実際値ｙを計算する事は不可能である。このように、本発明の実施形態では予め予測の最適方向を求めた後に、それに見合った符号化方向を決定する。
【００３９】
本発明の実施形態において使用する予測方向の指定は、例えば８方向では僅か３ビットであるため、その情報量、ファイルサイズの増加は事実上無視する事ができる。
【００４０】
また（８）は、従来、輝度プレーンと色差プレーンとの符号化は、各々独立に行われるのが常であった。であるが、被写体オブジェクト＋照明光という自然画像においては、前記両プレーンに共通する情報量が存在する筈である。仮にそのような情報量をプレーン間で統合出来れば、圧縮画像全体の情報量を減少可能であり、前記圧縮率の大幅な改善が見込める。
【００４１】
本発明の実施形態ではこれを、以下の２つの方法によって実現している。一つ目は、プレーン枚数の削減である。ほぼ単色から成る画像の特定の部分画像においては、前記輝度プレーン１枚、色差プレーン２枚という前提が、必ずしも必要ではなくなる。その場合には、輝度プレーン１枚＋色差プレーン１枚、あるいは色差プレーン２枚から前記輝度プレーンを計算式で求めても良い。勿論、色差プレーン１枚で済む場合も、稀には存在するだろう。
【００４２】
その具体的な方法とは、圧縮前に画素値等のテーブルを両プレーン間で比較する事である。各々の画素値同士が両プレーン間である簡単な式で表せるならば、一方のプレーンは必要ではなくなる。また両者の相関が予め決められた閾値よりも高ければ、上述のように隣接相関、予測誤差を用いた公知の符号化方法ではなく、前記プレーン間の相関を用いて予測誤差を求めた方が良い場合も生じる。例えばＰ１とＰ２での各画素値をｙ１、ｙ２とすると、予測誤差Δｅは以下のように表される。
ｙ２＝α＊ｙ１＋β＋Δｅ・・・（式６）
ここでα、βは定数である。
【００４３】
二つ目は、オブジェクトの位置や画像分割の方法などである。また、画像によっては前記各分割画像での最適予測方向、符号化方向をも共用化出来るかもしれない。
【００４４】
また（９）は、撮像センサに必然的に存在する欠陥画素を考慮したものである。多画素な撮像センサには表示装置と同様に、多数の点欠陥が存在する。それらは通常例えばフレームメモリ上等で画像処理、補正されるため、一般には目立つ事はない。であるが、高々１点の点欠陥の為に、前記圧縮率を飛躍的に高めるランモードが中断される恐れも有る。またプレーン間での相関を利用する場合など、点欠陥として除去する画素が少数の場合には、充分に圧縮率改善に寄与する。
【００４５】
本発明の実施形態による情報量、ファイルサイズの増大は、点欠陥数＊（座標を表すビット数：数ビット＋階調ビット数：８ビット）程度である。
【００４６】
このように、現在マンモスコーデックと呼ばれるそれで有っても半導体集積回路の回路規模や演算速度の改善は誠に目覚しいので（各々３年４倍、３年８倍）、前記コーデックが将来的には最適化されたそれになる可能性がある。
【００４７】
静止画、動画圧縮に必要なのは第一に圧縮画像ファイルサイズ、第二にデコード時間であるので、他を犠牲にした構成も充分に考えられ得る。また並列コンピューティング技術も進歩するので、前記並列処理を充分に考慮したコーデックである必要がある。本発明は上記の点でも、時代に適応している。
【００４８】
次に、本発明の実施形態を具体的に説明する。図１２は、本発明の実施形態に適用される撮像装置のシステム構成を示す図である。図１２において、１０は撮影レンズ、１２は絞り機能を備えるシャッタ、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
【００４９】
１８は撮像素子１４、Ａ／Ｄ変換器１７、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００５０】
１５はＣＤＳ（相関二重サンプリング）回路、１６はプログラマブルゲインアンプ（ＰＧＡ）である。
【００５１】
２０は画像処理回路であり、Ａ／Ｄ変換器１７からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００５２】
また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（ストロボプリ発光）処理を行っている。
【００５３】
さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００５４】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１７、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。
【００５５】
Ａ／Ｄ変換器１７のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１７のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００５６】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表
示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。
【００５７】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００５８】
３２は、画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００５９】
４０は絞り機能を備えるシャッタ１２を制御する露光制御手段であり、ストロボ４８と連携することによりストロボ調光機能も有するものである。
【００６０】
４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。
【００６１】
４８はストロボであり、ＡＦ補助光の投光機能、ストロボ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。
【００６２】
５０は撮像装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００６３】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカ等の表示部であり、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。
【００６４】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ、フラッシュメモリ等が用いられる。
【００６５】
６０、６２、６４、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００６６】
６０は電源スイッチ（メインスイッチ）で、画像処理装置１００の電源オン、電源オフの各モードを切り替え設定することが出来る。また、画像処理装置１００に接続された各種付属装置の電源オン、電源オフの設定も合わせて切り替え設定することが出来る。
【００６７】
６２はシャッタスイッチＳＷ１で、不図示のシャッタボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（ストロボプリ発光）処理等の動作開始を指示する。
【００６８】
６４はシャッタスイッチＳＷ２で、不図示のシャッタボタンの操作完了でＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１７、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００に画像データを書き込む記録処理という一連の処理の動作開始を指示する。７０は各種ボタンやタッチパネル等からなる操作部である。
【００６９】
７２はモードダイアルスイッチで、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。
【００７０】
８０は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００７１】
８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li-ion電池等の二次電池、ACアダプタ等からなる電源手段である。
【００７２】
９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。
【００７３】
１０２は、撮像装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。
【００７４】
１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、ストロボ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設置されている。
【００７５】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と接続を行うコネクタ２０６を備えている。なお、記録媒体２００は本実施形態では撮像装置１００に内蔵される構成として説明しているが、外部に構成されることも本発明の範疇内である。
【００７６】
以下に説明する実施形態は、主に画像処理回路２０及び圧縮・伸張回路３２によって実現されるものである。先ず、本発明の第１の実施形態について説明する。本実施形態における、カラー画像の可逆圧縮方法のメインルーチンを図１に示す。
【００７７】
本実施形態は図５に示したように各画素に８ビットのＲＧＢ色情報を有するＶＧＡ画像（６４０＊４８０画素）５１を可逆圧縮するものであり、前記画像はまず大きさ８０＊６０画素の部分画像５２に６４分割される（ステップＳ１）。
【００７８】
次いで下記の式７〜９に基づいて、輝度プレーン（Ｙ）と色差プレーン（Ｃｂ、Ｃｒ）の分離が行われる（ステップＳ２）。
Ｙ＝Ｒ＋２＊Ｇ＋Ｂ・・・（式７）
Ｃｂ＝Ｂ−Ｇ・・・（式８）
Ｃｒ＝Ｒ−Ｇ・・・（式９）
ここでＲ、Ｇ、Ｂは各画素での画素値（ＲＧＢ値）である。
【００７９】
次いで各部分画像の輝度プレーンＹにおいて、画素値の傾斜補正がｙ方向のみで行われる（ステップＳ３）。これはまず行（ｊ）毎に各画素値Ｙ(ｉ,ｊ)を加算した値Ｙ(ｊ)を求める。
Ｙ(ｊ)＝ΣＹ(ｉ,ｊ)・・・（式１０）
和はｉに対して取られる。
【００８０】
それを下記の式１１によって１次式で近似する。
Ｙ(ｊ)ｐ＝ａ＊ｉ＋ｂ・・・（式１１）
上記ａやｂの値は、例えば公知の最小自乗法などで求められる。ここでＹ(ｊ)ｐは先のＹ(ｊ)の近似値である。
【００８１】
このＹ(ｊ)ｐを先の画素値Ｙ(ｉ,ｊ)から引く事によって、前記傾斜補正が行われる。
ΔＹ(ｉ,ｊ)＝Ｙ(ｉ,ｊ)−Ｙ(ｊ)ｐ・・・（式１２）
【００８２】
実際に符号化されるのは、式１２のΔＹ(ｉ,ｊ)で表される量（差分）である。また先の２つの係数ａ、ｂ（情報量１６ビット）は、前記各部分画像毎に記録、保存される。
【００８３】
次いで色差プレーンの座標変換が、各部分画像毎に独立に行われる（ステップＳ４）。まず最初に各色差プレーン（ＣｒまたはＣｂ）で、部分画像全体の画素に対して画素値Ｃｒ(ｉ,ｊ)、Ｃｂ(ｉ,ｊ)のヒストグラムが取られる。そのヒストグラム中での最大頻度を示す値を各々Ｃｒｆｒｅｑ、Ｃｂｆｒｅｑとすると、式１３で決められる回転角θで色座標（Ｃｒ、Ｃｂ）を回転してできる、式１４、式１５で示される新たな色座標（Ｋ１，Ｋ２）を用いて、更にヒストグラムを求める。色座標（Ｃｒ、Ｃｂ）と色座標（Ｋ１，Ｋ２）との関係を図７に示す。
ｔａｎθ＝Ｃｂｆｒｅｑ／Ｃｒｆｒｅｑ・・・（式１３）
Ｋ１＝Ｃｒ＊ｃｏｓθ＋Ｃｂ＊ｓｉｎθ・・・（式１４）
Ｋ２＝−Ｃｒ＊ｓｉｎθ＋Ｃｂ＊ｃｏｓθ・・・（式１５）
【００８４】
そして前記両色差プレーンＫ１、Ｋ２で、下記の量を計算する。
Ｈ＝−ΣＰｉ＊（ｌｏｇＰｉ／ｌｏｇ２）・・・（式１６）
和はiに対して取られる。
Ｐｉ＝Ｎ（Ｋｎ(ｉ)）／（８０＊６０）・・・（式１７）
式１６は良く知られた、圧縮限界を示す式（エントロピー式）である。ここでＫｎ(ｉ)は、各色差プレーンのヒストグラムにおける、値ｉを示す度数である。また８０＊６０は、前記部分画像の総画素数である。従ってｌｏｇＰｉは、その値ｉの度数が示す確率である。
【００８５】
各色差プレーンＫ１、Ｋ２で求めた式１６の値Ｈ１、Ｈ２の和Ｈ１＋Ｈ２が予め決められた値（閾値）よりも小さい場合には、前記色差座標Ｋ１、Ｋ２を符号化座標に採用する。また前記和が前記閾値を越える場合には、先の最頻値Ｃｒｆｒｅｑ、Ｃｂｆｒｅｑの周囲あるいはセカンドピーク（次に頻度が高い値）の周囲についても、同様な調査を行う。それでも前記関係を満足しない場合には、前記和の中で最も小さな和を示す色差座標を前記符号化の座標に採用する。
【００８６】
本実施形態が本ステップで行っている事は、前記色情報を一方の座標（この場合はＫ１）に集中して符号化効率を高める工夫である。
【００８７】
次に公知の予測符号化手法を用いて、符号化の為の差分情報を求める。その為には前記予測に用いられる画素予測値を求める必要が有るが、本実施形態では前記予測を図８に示したように注目画素の５画素外方の８方向から、予測を行う（ステップＳ５）。
【００８８】
注目画素をＰ０、それから１ピッチ離れた画素をＰ１、以下同様に５ピッチ離れた画素をＰ５とすると、公知の線形予測法（ＬＰＣ）によって予測誤差ΔＰは、次の式１８、式１９によって求められる。
ΔＰ＝Ｐ０−Ｐｐｒｏｊ・・・（式１８）
Ｐｐｒｏｊ＝−ｕ＊Ｐ１−ｖ＊Ｐ２−ｗ＊Ｐ３−ｘ＊Ｐ４−ｙ＊Ｐ５・・・（式１９）
ここでｕ，ｖ，ｗ，ｘ，ｙの各係数は、前記部分画像全体の画素に対して最適化されている。
【００８９】
前記予測誤差ΔＰの最小自乗和は、前記予測の方向毎に異なる値を示す。そのうち最小の最小自乗和を示す方向を、本実施形態は予測の最適方向として採用する。
【００９０】
最適な予測方向が求まったならば、次は各画素の符号化方向を決める（ステップＳ６）。図９に示すように、符号化の方向９４は前記予測の最適方向９３と同じ方向である。
本実施形態では各部分画像の各行毎に、並列処理的な符号化が行われる。その際に、右側の出発画素９１から４画素分は式１９では符号化が不可能であるが、存在しない画素の値は０であるとして式１９を解釈、流用する。最後に公知の算術符号化で符号化が行われる（ステップＳ７）。
【００９１】
本実施形態によれば、輝度プレーンの傾斜補正を行っているため、ランモード採用の割合が増加し、圧縮率が改善される。また部分画像毎に色差座標を変更しているため、それだけその部分画像に含まれる特定色を効率良く符号化可能である。またその符号化も、最適な方向を選択して符号化を行っているため、前記符号化の効率は良好である。
【００９２】
本実施形態はＶＧＡカラー画像以外の任意のカラー画像にも、用いる事ができる。またその部分画像への分割数や分割画像の大きさも任意である。また本実施形態に用いる式７〜式９で示される輝度色差プレーンの分離方法は、その他の公知の方法でも構わない。例えば、輝度ＹはＹ＝Ｒ＋Ｇ＋Ｂで有っても良い。
【００９３】
また式１２で示される輝度プレーンの傾き補正は、一次式の補正だけでなくより高次の補正式でも構わない。その場合にはその増えた係数分だけ多少、画像圧縮に必要な情報量は増加する。また前記輝度の補正は、ｙ方向だけでなく、ｘ方向（水平方向）に行っても無論構わない。
【００９４】
また色座標の選定は式１４、式１５で表現される座標回転だけでなく、先の式１、式２で表されるより一般的な線形式で有っても、勿論構わない。また本実施形態は可逆圧縮を対象としているので、前記色差座標Ｋ１,Ｋ２が表す階調値は、実数値であるよりも整数値である方が望ましい（計算で丸め誤差が出るため）。従って前記色差座標Ｋ１,Ｋ２の選定は、それらを考慮して決定する必要が有る。そのような座標には、下記の式２０、式２１のようなものがある。
Ｋ１＝αＣｒ＋βＣｂ・・・（式２０）
Ｋ２＝αＣｒ−βＣｂ・・・（式２１）
ここでα、βは整数である。
【００９５】
またＫ１、Ｋ２の各階調値は公知のように、最小値Ｋ１ｍｉｎ、Ｋ２ｍｉｎを各々の値から引くことによって、０または正の整数とする事ができる。このようにしておくと、後の符号化が容易となる。
【００９６】
また前記色差座標Ｋ１、Ｋ２の選択の際に使用する選択基準は何も先のエントロピー式である必要はなく、例えば従来コーデックのＴＭＷのように、実際に圧縮を行ってそのコードサイズを知り最小なコードを生成するＫ１、Ｋ２を選択しても良い。
【００９７】
また前記予測の方向は何も８方向に限る事はなく、全方位を考慮した４方向以上で有りさえすれば良い。またその次数も、その予測精度を向上させるために、画素ピッチ３以上画素を含む任意の数で良い。また前記予測は線形予測だけでなく、公知の任意の予測方法でも構わない。また符号化の方法は、公知の、例えばハフマン符号化等でも構わない。
【００９８】
次に、本発明の第２の実施形態について説明する。本実施形態における、ＶＧＡカラー画像の可逆圧縮のメインルーチンを図２に示す。本実施形態では画像分割に先立ってオブジェクトの検出を行う。
【００９９】
まず前述のように、輝度色差プレーンの分離を行う（ステップＳ１１）。次いで図１０に示すように、前記色差プレーン１０１で、オブジェクト１０２の検出を行う（ステップ１２）。
【０１００】
その方法とは、各色差プレーンで画素値のヒストグラムを作成し、前記画素値がその最頻値±Δを示す領域を、前記オブジェクト１０２であると認識する。ここでΔの値は、２５６階調の場合、０から３程度の値である。前記検出されたオブジェクト１０２を考慮して、前記ＶＧＡ画像の分割を行う（ステップＳ１３）。
【０１０１】
分割の方法とは、まず最初に前記オブジェクトの横と縦の大きさＬｘ、Ｌｙと重心位置（Ｇｘ，Ｇｙ）を検出する。次いで前記オブジェクトの大きさと想定する分割部分画像の大きさ（通常は４０＊３０〜１６０＊１２０）とを比較して、前記分割線１０３のピッチを決定する。前記オブジェクト１０２の大きさが大きい場合には、図１０に示したように複数の部分画像に跨って前記オブジェクト１０２が存在するようになる。
【０１０２】
前記画像の分割に際しては、図に示したように前記重心位置（Ｇｘ,Ｇｙ）を考慮してその分割開始位置を決定する。前記画像を分割する分割線１０３は、前記画像１０１上で等間隔に引かれる。
【０１０３】
次いで前述したように、前記オブジェクト１０２の色に適した色差プレーンの座標系が決定される（ステップＳ１４）。次いで、圧縮後のファイルサイズを小さくするために（つまりは圧縮率改善）、前記３枚のプレーン間での圧縮情報の共用化が検討される（ステップＳ１５）。検討される項目と順序は、以下の通りである。
（１）プレーン枚数の削減
（２）予測方法の変更
（３）色差座標系の座標パラメータの共通化
【０１０４】
一番圧縮効率が上がるのはプレーン枚数の削減であるから、まず最初に、これの可否を検討する。その方法とは、３枚のプレーンを調べ、その各プレーンの全画素値Ｐｎ(ｉ,ｊ)間に、以下の関係が成立する時である。
Ｐｍ(ｉ,ｊ)＝Ａ＊Ｐｎ(ｉ,ｊ)＋Ｂ・・・（式２２）
ここでＰｍ（ｉ,ｊ）、Ｐｎ(ｉ,ｊ)は任意の２枚のプレーンの画素値であり、Ａ、Ｂは定数である。
【０１０５】
勿論自然画像でこのような事が生じるのは稀であるが、例えばパワーポイント等で作成した図面の場合や分割画像の全画素数が小さくなった場合には、その確率も無視できないほどに高くなる。また前記プレーンの削減の有無は、前記圧縮ファイルのヘッダ部分に書き込まれる。それに要する情報量の増大は、僅か数ビットである。
【０１０６】
次いで（２）の予測方法の変更であるが、通常の場合の符号化は各プレーン内での画素値の隣接相関を用いて行われるが、（１）ほどで無いにしても式２２に近いような関係が両プレーン間で成立している場合には、前記隣接相関を用いず各プレーン間の相関を用いた方が圧縮効率が向上する場合もある。つまり前述の線形予測を用いず、符号化の対象情報として、先のＰｍ(ｉ,ｊ)−Ａ＊Ｐｎ(ｉ,ｊ)−Ｂを用いる訳である。どちらを用いるかの判定は、先のエントロピー式で行う。前記隣接相関の見積もりは、前記予測方向を水平方向として求めたそれで、仮に行われる。
【０１０７】
（３）の座標パラメータの共通化とは、部分画像毎に求めた色差座標変換係数の中で共通化できるものが存在するか、の検討である。もし共通化できるものがある場合には、前記圧縮後のファイルのヘッダに整理して書き込まれる。前記係数の共通化による情報量の削減の程度は、前記係数が示す情報量（数バイト）＊共通な部分画像枚数程度である。
【０１０８】
次いで前述したように最適な予測方向の検出（ステップＳ１６）、符号化方向の決定（ステップＳ１７）が行われる。
【０１０９】
前記予測値の検出に他のプレーンとの相関を利用する場合には、前記ステップＳ１６の一部の工程は省略される。最後に同様に符号化が行われる（ステップＳ１８）。
【０１１０】
本実施形態によれば、オブジェクトを考慮した画像分割が行われているので、前記連続的なオブジェクトを圧縮する際の圧縮効率が向上する。またその効果は全体に波及する。また前記プレーン間での情報共用化の検討も行われるので、更にその圧縮効率も向上する。
【０１１１】
また本実施形態のオブジェクトの抽出は、各プレーン間で各々別々に行われても良い。その場合には、前記部分画像への分割は別の位置、大きさ、形状になる。また前記抽出は、輝度プレーンで行われても良い。本実施形態のオブジェクトの抽出の目的は圧縮効率の向上にあるので、抽出されるオブジェクトは、必ずしも被写体オブジェクトで無くとも良い。また前記部分画像への分割は、必ずしも同じ大きさ、等ピッチでなくとも良い。また前記情報量の共用化には、先の３項目以外にも適用する事ができる。また共用の判断に用いたエントロピー式は、実際の圧縮結果、ファイルサイズ（コードサイズ）であっても構わない。
【０１１２】
次に本発明の第３の実施形態について説明する。本実施形態における、ＶＧＡ画像の可逆圧縮方法のメインルーチンを図３に示す。図３のステップＳ２１〜Ｓ２４迄は、図２のステップＳ１１〜Ｓ１４と同じであるため説明は省略する。
【０１１３】
ステップＳ２５のプレーン間共用化検討では、先の（１）プレーン枚数の削減工程で、任意の２枚のプレーン間相関を調べる。具体的には、先の（２２）式で予想される予測値との差、予測誤差Ｐｍ(ｉ,ｊ)−Ａ＊Ｐｎ(ｉ,ｊ)−Ｂの自乗和を計算する。その値が予め決められた値（閾値）よりも小さい場合には、前述のように隣接相関を用いた予測方法ではなく、プレーン間の相関を用いた方法に符号化方法を変更するわけである。
【０１１４】
またステップＳ２６では同様に８方向から前記長距離相関を用いたＬＰＣ予測で、予測値と予測誤差を求める。その際、予測誤差の大きな画素に対しては、
（１）その画素座標を記憶する。
（２）大きな予測誤差を部分画像毎に設けられているヘッダ部分に記憶する。
（３）予測誤差を０と置く。
という作業（点欠陥法）で、前記大きな予測誤差による表現ビット数の増加を防ぐ。ステップＳ２７からステップＳ２９は、第２の実施形態と同じである。
【０１１５】
本実施形態によれば、大きな予測誤差を示す画素を点欠陥として扱い、その画素値（予測誤差）を別途記録する事によって、前記圧縮後の情報量を減少可能である。本実施形態の点欠陥法は、例えばオブジェクト境界等に存在する階調段差を別途記録し、その中の比較的平坦、連続的なオブジェクト内部のみを効率的に符号化する事ができる。また時々見られる、デジタルカメラ等の画素欠陥補正の失敗による非連続的な輝点が存在する画像などに対しても、その悪影響を除去する事ができる。
【０１１６】
次に本発明の第４の実施形態について説明する。本実施形態における、デジタルカメラの静止画像取得のメインルーチンを図４に示す。ステップＳ３１はＣＣＤ等の撮像センサによる静止画像の撮像工程である。
【０１１７】
前記撮像センサは、出力として式２３〜２５で表される輝度Ｙ、色差Ｋ１、Ｋ２を出力する。
Ｙ＝Ｗ＝Ｒ＋Ｇ＋Ｂ・・・（式２３）
Ｋ１＝Ｒ／Ｗ・・・（式２４）
Ｋ２＝Ｂ／Ｗ・・・（式２５）
【０１１８】
前記出力は前記撮像センサの最終段で２５６階調のデジタル信号に変換されている。ステップＳ３２はその撮像したアナログ信号をフレームメモリに移送しデジタル信号として記憶する工程である。
【０１１９】
前記撮像センサから出力された輝度Ｙや色差Ｋ１、Ｋ２信号は、ＡＤコンバータ等で最大２５６階調のデジタル信号に変換される。変換されたデジタル画像情報は、前記デジタルカメラ内に存在するフレームメモリに記憶される（ステップＳ３３）。
【０１２０】
ステップＳ３４では前述したように画像分割が行われ、各部分画像毎に最適な色差プレーン座標が選択される（ステップＳ３５）。その選択方法とは、式２６、式２７に示すとおりである。
Ｊ１＝αＫ１＋βＫ２・・・（式２６）
Ｊ２＝αＫ１−βＫ２・・・（式２７）
ここでＪ１、Ｊ２は新しい色差座標系であり、α、βは整数である。
【０１２１】
次いで算術符号により圧縮が行われ（ステップＳ３６）、圧縮された画像は記録媒体に記録される（ステップＳ３７）。
【０１２２】
本実施形態によれば前記色差プレーンが前記輝度プレーンと完全に分離しているため、仮に被写体オブジェクトに当たる照明光の強度分布にムラが有る場合にも、前記色差プレーンでは連続な画素値となるため、ランモードや予測符号化の効率が向上する。その為、出力される圧縮画像のファイルサイズも小さくなる。
【０１２３】
本実施形態に用いる色差座標は何もＲ／ＷやＢ／Ｗに限ることはなく、例えばＲ／ＧやＢ／Ｇその他で有っても構わない。選択のポイントは、輝度プレーンとは完全に分離している事である。また本実施形態はデジタルカメラだけではなく、他の撮像系に容易に適用する事ができる。
【０１２４】
以上のように、本発明の実施形態によれば、全体画像を分割して生じる各部分画像の性質に応じた符号化手法が各々の画像符号化で採用するため、全体画像の圧縮効率を向上させることが可能となる。
【０１２５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１２６】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２７】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１２８】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１３０】
【図１】本発明の第１の実施形態におけるカラー画像の可逆圧縮方法のメインルーチンを示す図である。
【図２】本発明の第２の実施形態におけるカラー画像の可逆圧縮方法のメインルーチンを示す図である。
【図３】本発明の第３の実施形態におけるカラー画像の可逆圧縮方法のメインルーチンを示す図である。
【図４】本発明の第４の実施形態におけるカラー画像の可逆圧縮方法のメインルーチンを示す図である。
【図５】ＶＧＡ画像に対する分割方法を説明するための図である。
【図６】上下方向の輝度差を説明するための図である。
【図７】色座標（Ｃｒ、Ｃｂ）と新たな色座標（Ｋ１，Ｋ２）との関係を示す図である。
【図８】画素予測値を求めるための予測方向を説明するための図である。
【図９】符号化方向と画素予測値を求めるための予測方向との関係を示す図である。
【図１０】オブジェクトと分割画像との関係を説明するための図である。
【図１１】注目画素と周辺画素との相関を説明するための図である。
【図１２】本発明の実施形態に適用可能な撮像装置の構成を示す図である。
【符号の説明】
【０１３１】
１０：撮影レンズ
１２：シャッタ
１４：撮像素子
１５：ＣＤＳ回路
１６：ＰＧＡ
１７：Ａ／Ｄ変換器
１８：タイミング発生回路
２０：画像処理回路
２２：メモリ制御回路
２４：画像表示メモリ
２６：Ｄ／Ａ変換器
２８：画像表示部
３０：メモリ
３２：画像圧縮・伸長回路
４０：露光制御手段
４２：測距制御手段
４４：ズーム制御手段
４６：バリア制御手段
４８：ストロボ
５０：システム制御回路
５２：メモリ
５４：表示部
５６：不揮発性メモリ
６０：電源スイッチ（メインスイッチ）
６２：シャッタスイッチＳＷ１
６４：シャッタスイッチＳＷ２
７０：操作部
７２：モードダイアルスイッチ
８０：電源制御手段
８２、８４、９２、２０６：コネクタ
８６：電源手段
９０、２０４：インタフェース
１００：撮像装置
１０２：保護手段
１０４：光学ファインダ
２００：記録媒体
２０２：記録部
【特許請求の範囲】
【請求項１】
少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離手段と、
前記輝度プレーン内に存在する輝度差の補正を行う傾斜補正手段と、
前記傾斜補正手段による輝度差の補正処理の後に前記画像データの符号化処理を行う符号化処理手段とを有すること特徴とする符号化処理装置。
【請求項２】
前記傾斜補正手段は、前記輝度プレーン内の上下方向の輝度差を補正することを特徴とする請求項１に記載の符号化処理装置。
【請求項３】
少なくとも２枚の前記色差プレーン内で最大頻度を示す値に基づいて、前記色差プレーンの色座標変換を行う座標変換手段を更に有し、
前記符号化処理手段は、前記座標変換手段により座標変換された前記色差プレーンを符号化処理に用いることを特徴とする請求項１又は２に記載の符号化処理装置。
【請求項４】
注目画素を基点とする複数方向から夫々、予測誤差を求める予測誤差算出手段と、
前記複数方向毎に夫々求められた予測誤差に基づいて、前記注目画素の画素値を予測するための方向を決定する予測方向決定手段とを更に有し、
前記予測処理手段は、前記予測方向決定手段により決定された予測方向に基づいて、咳画像データの符号化方向を決定することを特徴とする請求項１乃至３の何れか１項に記載の符号化処理装置。
【請求項５】
前記予測誤差算出手段は、前記複数方向の夫々について前記注目画素から少なくとも５ピッチ以上離れた画素まで用いて予測誤差を求めることを特徴とする請求項４に記載の符号化処理装置。
【請求項６】
少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離手段と、
前記輝度プレーン及び前記色差プレーン間の相関に基づいて、前記輝度プレーン及び前記色差プレーンのうちから少なくとも１枚のプレーンを削減するプレーン削減手段と、
前記プレーン削減手段によるプレーン削減処理の後に前記画像データの符号化処理を行う符号化処理手段とを有することを特徴とする符号化処理装置。
【請求項７】
前記輝度プレーン及び前記色差プレーン間の相関に基づいて、プレーン間の相関を用いて注目画素の画素値を予測する画素値予測手段を更に有し、
前記符号化処理手段は、前記画素値予測手段により予測される画素値を用いて前記画像データの符号化処理を行うことを特徴とする請求項６に記載の符号化処理装置。
【請求項８】
前記色差プレーンを複数に分割する分割手段と、
前記色差プレーン内で最大頻度を示す値に基づいて、前記色差プレーンの色座標変換を行う座標変換手段と、
前記座標変換手段による色座標変換処理にて用いられる色座標変換処理に係る情報を、前記分割手段による分割領域間で共用する情報共用手段とを有することを特徴とする請求項６又は７に記載の符号化処理装置。
【請求項９】
前記分割手段は、前記画像データ内に存在するオブジェクトの大きさに基づいて、前記分割領域の大きさを決定することを特徴とする請求項８に記載の符号化処理装置。
【請求項１０】
前記分割手段は、前記オブジェクトの重心位置に基づいて、分割の開始位置を定め、前記開始位置から分割線を平行移動させて分割領域を決定することを特徴とする請求項８又は９に記載の符号化処理装置。
【請求項１１】
前記予測誤差算出手段により算出された前記予測誤差が所定の値より大きい場合、前記予測誤差を所定の値に変更する予測誤差値変更手段を更に有することを特徴とする請求項４に記載の符号化処理装置。
【請求項１２】
画像データの符号化処理を行う符号化処理装置による符号化処理方法であって、
少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離ステップと、
前記輝度プレーン内に存在する輝度差の補正を行う傾斜補正ステップと、
前記傾斜補正ステップによる輝度差の補正処理の後に前記画像データの符号化処理を行う符号化処理ステップとを含むこと特徴とする符号化処理方法。
【請求項１３】
画像データの符号化処理を行う符号化処理装置による符号化処理方法であって、
少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離ステップと、
前記輝度プレーン及び前記色差プレーン間の相関に基づいて、前記輝度プレーン及び前記色差プレーンのうちから少なくとも１枚のプレーンを削減するプレーン削減ステップと、
前記プレーン削減ステップによるプレーン削減処理の後に前記画像データの符号化処理を行う符号化処理ステップとを含むことを特徴とする符号化処理方法。
【請求項１４】
請求項１２又は１３に記載の符号化処理方法をコンピュータに実行させるためのプログラム。
【請求項１５】
請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離手段と、
前記輝度プレーン内に存在する輝度差の補正を行う傾斜補正手段と、
前記傾斜補正手段による輝度差の補正処理の後に前記画像データの符号化処理を行う符号化処理手段とを有すること特徴とする符号化処理装置。
【請求項２】
前記傾斜補正手段は、前記輝度プレーン内の上下方向の輝度差を補正することを特徴とする請求項１に記載の符号化処理装置。
【請求項３】
少なくとも２枚の前記色差プレーン内で最大頻度を示す値に基づいて、前記色差プレーンの色座標変換を行う座標変換手段を更に有し、
前記符号化処理手段は、前記座標変換手段により座標変換された前記色差プレーンを符号化処理に用いることを特徴とする請求項１又は２に記載の符号化処理装置。
【請求項４】
注目画素を基点とする複数方向から夫々、予測誤差を求める予測誤差算出手段と、
前記複数方向毎に夫々求められた予測誤差に基づいて、前記注目画素の画素値を予測するための方向を決定する予測方向決定手段とを更に有し、
前記予測処理手段は、前記予測方向決定手段により決定された予測方向に基づいて、咳画像データの符号化方向を決定することを特徴とする請求項１乃至３の何れか１項に記載の符号化処理装置。
【請求項５】
前記予測誤差算出手段は、前記複数方向の夫々について前記注目画素から少なくとも５ピッチ以上離れた画素まで用いて予測誤差を求めることを特徴とする請求項４に記載の符号化処理装置。
【請求項６】
少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離手段と、
前記輝度プレーン及び前記色差プレーン間の相関に基づいて、前記輝度プレーン及び前記色差プレーンのうちから少なくとも１枚のプレーンを削減するプレーン削減手段と、
前記プレーン削減手段によるプレーン削減処理の後に前記画像データの符号化処理を行う符号化処理手段とを有することを特徴とする符号化処理装置。
【請求項７】
前記輝度プレーン及び前記色差プレーン間の相関に基づいて、プレーン間の相関を用いて注目画素の画素値を予測する画素値予測手段を更に有し、
前記符号化処理手段は、前記画素値予測手段により予測される画素値を用いて前記画像データの符号化処理を行うことを特徴とする請求項６に記載の符号化処理装置。
【請求項８】
前記色差プレーンを複数に分割する分割手段と、
前記色差プレーン内で最大頻度を示す値に基づいて、前記色差プレーンの色座標変換を行う座標変換手段と、
前記座標変換手段による色座標変換処理にて用いられる色座標変換処理に係る情報を、前記分割手段による分割領域間で共用する情報共用手段とを有することを特徴とする請求項６又は７に記載の符号化処理装置。
【請求項９】
前記分割手段は、前記画像データ内に存在するオブジェクトの大きさに基づいて、前記分割領域の大きさを決定することを特徴とする請求項８に記載の符号化処理装置。
【請求項１０】
前記分割手段は、前記オブジェクトの重心位置に基づいて、分割の開始位置を定め、前記開始位置から分割線を平行移動させて分割領域を決定することを特徴とする請求項８又は９に記載の符号化処理装置。
【請求項１１】
前記予測誤差算出手段により算出された前記予測誤差が所定の値より大きい場合、前記予測誤差を所定の値に変更する予測誤差値変更手段を更に有することを特徴とする請求項４に記載の符号化処理装置。
【請求項１２】
画像データの符号化処理を行う符号化処理装置による符号化処理方法であって、
少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離ステップと、
前記輝度プレーン内に存在する輝度差の補正を行う傾斜補正ステップと、
前記傾斜補正ステップによる輝度差の補正処理の後に前記画像データの符号化処理を行う符号化処理ステップとを含むこと特徴とする符号化処理方法。
【請求項１３】
画像データの符号化処理を行う符号化処理装置による符号化処理方法であって、
少なくとも１枚の輝度を示す輝度プレーンと少なくとも１枚の色差を示す色差プレーンとに画像データを分離する分離ステップと、
前記輝度プレーン及び前記色差プレーン間の相関に基づいて、前記輝度プレーン及び前記色差プレーンのうちから少なくとも１枚のプレーンを削減するプレーン削減ステップと、
前記プレーン削減ステップによるプレーン削減処理の後に前記画像データの符号化処理を行う符号化処理ステップとを含むことを特徴とする符号化処理方法。
【請求項１４】
請求項１２又は１３に記載の符号化処理方法をコンピュータに実行させるためのプログラム。
【請求項１５】
請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−３４０１９８（Ｐ２００６−３４０１９８Ａ）
【公開日】平成１８年１２月１４日（２００６．１２．１４）
【国際特許分類】
【出願番号】特願２００５−１６４４１３（Ｐ２００５−１６４４１３）
【出願日】平成１７年６月３日（２００５．６．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年１２月１４日（２００６．１２．１４）
【国際特許分類】
【出願日】平成１７年６月３日（２００５．６．３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]