カメラシステム及び画像処理方法
【課題】３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られるＲＡＷデータを、効率よく圧縮符号化し、圧縮符号化されたデータを伸張できるようにする。
【解決手段】カメラ部１０は、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られるＲＡＷデータのうち、画素位置が交互にずれている色のＲＡＷデータに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行い、伝送線を介してサブバンド画像を出力する。カメラコントロール部は、伝送線を介してサブバンド画像を入力し、サブバンド画像の隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、画素位置が交互にずれている色の画像データに伸張し、サブバンド画像を画像データに合成する。
【解決手段】カメラ部１０は、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られるＲＡＷデータのうち、画素位置が交互にずれている色のＲＡＷデータに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行い、伝送線を介してサブバンド画像を出力する。カメラコントロール部は、伝送線を介してサブバンド画像を入力し、サブバンド画像の隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、画素位置が交互にずれている色の画像データに伸張し、サブバンド画像を画像データに合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、様々な種類の配列方式からなる撮像素子から得たＲＡＷデータを効率よく圧縮符号化し、この圧縮符号化されたＲＡＷデータを伸張する場合に適用して好適なカメラシステム及び画像処理方法に関する。
【背景技術】
【０００２】
従来、ベイヤ配列の撮像素子を用いた撮像装置が一般に知られている。このような撮像素子は、色フィルタを介して被写体の像光を取込み、像光の強さに応じて画像信号を出力する。そして、後続の処理部が画像信号に所定の処理を施すことによって、撮像装置がビューファインダや外部の表示装置に画像を表示させることができる。
【０００３】
一般に、ライブ中継などに用いるカメラシステムは、撮像装置として用いられ、撮像素子を有するカメラ部と、カメラ部から離れた場所に設置されたＣＣＵ（カメラコントロールユニット）部を備えている。カメラ部と、ＣＣＵ部の間は、伝送用複合カメラケーブルなどを用いて接続されており、ＣＣＵ部がカメラ部の設定を行っている。このとき、ＣＣＵ部は、カメラ部から伝送された画像に対する信号処理を高精度、かつリアルタイムに行っている。また、従来のカメラシステムは、４Ｋ画像や８Ｋ画像のように高解像度、または、６０Ｐ／２４０Ｐなどのフレームレートが高い画像を扱っているため、扱うデータ量が膨大となる。このため、カメラ部がＲＡＷイメージデータのままＣＣＵ部に伝送し、ＣＣＵ部がカメラ信号処理を行っていた。
なお、８Ｋは、例えば８１９２サンプル×４３２０ライン等の高い解像度の仕様の例である。４Ｋは、例えば４０９６サンプル×２１６０ライン等の、８Ｋより低い解像度の仕様の例である。また、２Ｋは、例えば２０４８サンプル×１０８０ライン等の、４Ｋより低い解像度の仕様の例である。
【０００４】
特許文献１には、ベイヤ配列の撮像素子から得られるＲＡＷデータ（色補間前の画像データ）をそのままＪＰＥＧなどで圧縮することが記載されている。
【０００５】
特許文献２には、ベイヤ配列の撮像素子から得られるＲＡＷデータを圧縮する方法として、Ｇ１、Ｇ２、Ｒ、Ｂ４コンポーネント毎に画像圧縮する技術と、ウェーブレット圧縮を用いた具体例が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２４７３７６号公報
【特許文献２】特開２００３−１２５２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、従来のカメラシステムでは、ＲＡＷイメージデータとはいえ、カメラ部からＣＣＵ部に非圧縮でＲＡＷイメージデータを伝送していた。しかし、ＲＡＷイメージデータを非圧縮で伝送すると、圧縮した場合に比べて伝送帯域が大きくなるため、伝送路の消費電力が大きくなっていた。また、伝送帯域を確保するためには、１０Ｇｂｐｓと言った高価な伝送ケーブルを複数確保する必要があり、伝送ケーブルも含めて非常に高価なカメラシステムを構築する必要があった。また、ＲＡＷイメージデータのまま圧縮する場合を想定しても、ＲＡＷイメージデータを具体的にどのような方法を用いて圧縮しているかについて詳細が不明であったり、圧縮効率が上がらなかったりしていた。
【０００８】
また、ＲＡＷイメージデータを圧縮する際には、従来、グリーンの画素については、水平方向と垂直方向に画素位置が交互にずれているため、画素位置がずれないように、Ｇ１、Ｇ２という２つのコンポーネントに分けてから圧縮していた。この圧縮は、１枚の画像として本来強い相関を持つ画素間を、サブサンプリングすることで別画面に分離してから行なわれる。このため、分離された画像間の相関を利用できず、圧縮効率が落ちていた。
特に、ウェーブレット変換は画面全体をサブバンド分割することで、非常に高い圧縮効率を実現できるが、従来の方式では別画面に分離するので、ウェーブレット変換が本来有する高い圧縮効率を発揮していなかった。
【０００９】
また、ウェーブレット変換を用いてサブバンド分割を繰り返すことにより、１つの圧縮符号から異なる解像度の画像を得られる。例えば、特許文献２に記載された技術により、ある解像度の画像に対して、半分の解像度の画像をビューファインダ等に表示する場合に、グリーンは２枚に分けた画像のうちのどちらかだけを用いる。この場合、単なる「画素間引き」となり、ビューファインダに表示される画像が折り返しノイズの影響を受けてしまうなど、ウェーブレット変換を使うメリットを十分に享受できていなかった。
【００１０】
また、従来の技術は、ベイヤ配列の撮像素子から得られるＲＡＷデータの圧縮方法に関するものであるが、倍密度のベイヤ配列の撮像素子や斜め方向に画素配列された３板撮像素子システムから得られるＲＡＷデータを圧縮する技術に関するものではない。
したがって、撮像素子の画素配列ごとに異なる圧縮方式を用いなければならず、ハードウェアを共通化することができなかった。
【００１１】
また、特許文献１には、ＲＧＢフル画素に色分離しないで圧縮記録する技術が開示されている。この技術は、色分離によるデータレートを増加させることなく、そのまま圧縮することによりデータレートを抑えられるというメリットはあるものの、どのように圧縮するのか詳細が不明である。もし、文字通りベイヤ配列のまま１枚の画像として圧縮する場合には、多くの自然画像の場合において、ＲＧＢの画素ごとのレベルは異なる。そして、隣り合う画素がＲＧＢに塗り分けられているため、非常に大きな高周波成分が発生し、圧縮効率が上がらない。換言すれば、圧縮ノイズが非常に多くなってしまうことが予想される。
【００１２】
本発明は、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られるＲＡＷデータを、効率よく圧縮符号化してカメラ部からＣＣＵ部に画像を伝送することを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係るカメラ部は、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、画素位置が交互にずれている色の画像データに対して、サブバンド分割を行う。このサブバンド分割は、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として行われるものである。
そして、カメラ部は、伝送線を介してサブバンド画像を出力する
一方、本発明に係るカメラコントロール部は、伝送線を介してサブバンド画像を入力する。
そして、カメラコントロール部は、サブバンド画像の隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、画素位置が交互にずれている色の画像データに伸張し、サブバンド画像を画像データに合成する。
【００１４】
本発明によれば、水平または垂直方向に画素位置が交互にずれていても、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割が行われる。このため、画素位置がずれたまま圧縮符号化することにより、効率よく圧縮符号化することができる。
【発明の効果】
【００１５】
本発明によれば、カメラ部が画像データ（例えば、ＲＡＷデータ）を圧縮して、この圧縮したデータをＣＣＵ部に伝送し、ＣＣＵ部が伸張して、画像データを再現するため、カメラ部の信号処理を高精度かつリアルタイムに行うことができる。このとき、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られる画像データを、効率よく圧縮符号化することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施の形態に係るカメラ部を示す図である。
【図２】本発明の一実施の形態に係るＣＣＵ部を示す図である。
【図３】撮像素子の画素配列の例を示す図である。
【図４】圧縮処理部の圧縮符号化時のブロック図である。
【図５】ウェーブレット変換の分割レベルを例示する図である。
【図６】ウェーブレット変換の分割レベルを例示する図である。
【図７】伸張処理部の圧縮複号化時のブロック図である。
【図８】従来技術を示す図である。
【図９】従来技術を倍密度ベイヤ配列に適用した図である。
【図１０】圧縮Ｉ／Ｆ部のウェーブレット変換時の処理を示す図である。
【図１１】伸張Ｉ／Ｆ部の逆変換時の処理を示す図である。
【図１２】倍密度ベイヤ配列に対する圧縮Ｉ／Ｆ部のウェーブレット変換処理を示す図である。
【図１３】倍密度ベイヤ配列に対する圧縮Ｉ／Ｆ部のウェーブレット変換処理の別の例を示す図である。
【図１４】ウェーブレット変換後のサブバンド画像の画素重心位置を示す図である。
【図１５】斜め配列３板方式に対する圧縮Ｉ／Ｆ部のウェーブレット変換処理を示す図である。
【図１６】ベイヤ配列に対する圧縮Ｉ／Ｆ部のウェーブレット変換処理を示す図である。
【図１７】各種の画素配列に対する圧縮Ｉ／Ｆ部の出力を示す図である。
【図１８】ＲＧＢフル画素方式に対する圧縮Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。
【図１９】ＲＧＢフル画素方式に対する伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である。
【図２０】倍密度ベイヤ配列に対する圧縮Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。
【図２１】倍密度ベイヤ配列に対する伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である
【図２２】斜め配列３板方式に対する圧縮Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。
【図２３】斜め配列３板方式に対する伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である。
【図２４】ベイヤ配列に対する圧縮Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。
【図２５】ベイヤ配列に対する伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である。
【図２６】倍密度ベイヤ配列に対して圧縮Ｉ／Ｆ部がハール変換を行う例を示す図である。
【図２７】斜め配列３板方式に対して圧縮Ｉ／Ｆ部がハール変換を行う例を示す図である。
【図２８】ベイヤ配列に対して圧縮Ｉ／Ｆ部がハール変換を行う例を示す図である。
【発明を実施するための形態】
【００１７】
以下、発明を実施するための最良の形態（以下実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（圧縮符号化、又は復号化の制御：ウェーブレット変換を用いる例）
２．第２の実施の形態（圧縮符号化、又は復号化の制御：ハール変換を用いる例）
３．変形例
【００１８】
＜１．第１の実施の形態＞
［ウェーブレット変換を用いて画像を圧縮符号化し、ウェーブレット逆変換を用いてサブバンド画像を復号化する例］
【００１９】
以下、本発明の第１の実施の形態について、図１〜図２５を参照しながら説明する。
以下の実施の形態では、ＲＧＢフル画素を有さない、ベイヤ配列の撮像素子や倍密度のベイヤ配列の撮像素子、斜め方向に画素配列された撮像素子を３枚用いた撮像システムから得られるいずれのＲＡＷデータにおいても、Ｒ／Ｇ／Ｂ ３コンポーネント毎に効率よく圧縮符号化し、サブバンド画像に分解して、このサブバンド画像を出力するカメラ部１０と、カメラ部１０から伝送用複合カメラケーブル１１３を介して受け取ったサブバンド画像を伸張するＣＣＵ部２０と、を備えるカメラシステムに適用した例について説明する。以下、ＲＧＢ画素の要素を含んだ３本のコンポーネント信号のことを、「Ｒ／Ｇ／Ｂ ３コンポーネント」と略称する。
【００２０】
本例のカメラ部１０は、レンズブロック１０１を通して撮像素子部１０２で電気信号に変換されたＲＡＷイメージデータをＣＣＵ部２０に伝送する。撮像素子部１０２に実画素が存在しない為に、水平または垂直方向に画素位置が交互にずれていても、ずれたまま圧縮符号化することにより、圧縮効率を落とすことなく圧縮符号化を実現することができる。
【００２１】
ここで、水平または垂直方向に画素位置が交互にずれていた間引き画像は、ウェーブレット変換と組み合わせることにより平均化される。このため、半分の解像度になった低域サブバンド画像は、ＲＧＢフル画素を有する画像となる。
つまり、ウェーブレット変換による簡易的な、いわゆる色分離（Ｄｅ−ベイヤ）処理が行われることになり、カメラ部１０が備える不図示のモニターに表示できるようになる。これは、ウェーブレット変換を用いると、解像度の異なる画像を同一の画像データから得られるためである。そして、ベイヤなどの色分離が必要な撮像素子から得られたＲＡＷデータにおいてもウェーブレット変換を施すことで、モニター等に容易に表示できることになる。
【００２２】
ＲＧＢフル画素の撮像素子から得られる画像をウェーブレット変換した場合には、ＲＧＢのそれぞれが４つの画像にサブバンド分割され、ＲＧＢ合計では１２のサブバンド画像に分解される。本例の圧縮符号化方法を用いれば、ＲＡＷデータをウェーブレット変換後のサブバンド画像の数の違いとして扱うことが出来る。例えば、ベイヤ配列から得られるＲＡＷデータは４つのサブバンド画像、倍密度のベイヤ配列から得られるＲＡＷデータでは８つのサブバンド画像、斜め方向に画素配列された３板撮像素子システムから得られるＲＡＷデータでは、６つのサブバンド画像として扱える。このため、ウェーブレット変換以降の圧縮符号化処理を共通の処理として実現できる。
【００２３】
また、４Ｋ画像のように高解像度の画像では、扱うデータ量が膨大となるので、リアルタイム処理を行う場合には、なんらかの並列処理が必要となる。しかし、本例の圧縮符号化方法を用いることで、上述したようにサブバンド画像の数の違いとして扱うことが出来る。このため、画像をサブバンド分割した後の処理として、必要数の処理ブロックを並列に動作させることが可能となり、並列度の分だけ動作速度を抑えることが可能となる。また、後述するように、ウェーブレット変換だけでなく、ハードウェアが簡単なハール変換でも同様の効果が得られる。
【００２４】
図１と図２は、４Ｋ×２Ｋ画素を扱うカメラシステムの構成例を示すブロック図である。図１は、カメラ部１０を示し、図２は、ＣＣＵ部２０（カメラコントロールユニット）のブロック図を示す。カメラ部１０とＣＣＵ部２０の間は、伝送用複合カメラケーブル１１３を用いて接続される。
【００２５】
図１は、４Ｋ画像と２Ｋ画像を扱うカメラ部１０の例を示す。
カメラ部１０は、本発明に係る画像圧縮を行うことができる撮像装置の一例である。
レンズブロック１０１は、絞りやズームの制御を行い、光学映像を撮像素子部１０２に結像するものである。
【００２６】
また、撮像素子部１０２は、レンズブロック１０１から入力された光学映像を、映像デジタル信号に変換し、撮像ＲＡＷデータ（Ｄ１０２）として出力するものである。本例では、撮像素子として図３に示すような画素配列の撮像素子のいずれにも対応が可能である。
＜ＲＧＢ フル画素方式＞
・光学プリズムを用いてＲＧＢに分光するＲＧＢ３板方式
・センサーの奥行き方向に光の波長感度を有するような構造の単板方式
・液晶ＴＶのように１画素をＲＧＢ３ストライプに塗り分けた単板方式
＜倍密度ベイヤ配列＞
通常のベイヤ配列を、画素密度を２倍にするとともに斜め４５°に配列することで、Ｇはフル画素、Ｒ画素とＢ画素は斜め方向に空かされた配置の画素配列（図中の太枠は通常のベイヤ配列における画素）となる。
＜斜め配列３板方式＞
・１枚の撮像素子としては、斜め４５度に画素が配置されており、隣り合う水平または垂直２画素間、あるいは４画素間で、画素補間を行って図中の太枠（通常のベイヤ配列における画素）のうち点線の丸印で示した画素を補間することを前提とした画素配列である。
・この撮像素子を３枚用い光学プリズムと組み合わせて撮像するシステム
・または、上記の画素配列で、センサーの奥行き方向に光の波長感度を有するような構造の単板方式
＜ベイヤ配列＞
・いわゆる通常のベイヤ配列
【００２７】
圧縮Ｉ／Ｆ部１０５は、ベイヤ配列などの撮像素子からの撮像ＲＡＷデータ（Ｄ１０２）を、ウェーブレット変換により２Ｋ帯域のサブバンド画像に分解するものである。圧縮Ｉ／Ｆ部１０５は、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行うサブバンド分割部として機能する。
【００２８】
そして、圧縮Ｉ／Ｆ部１０５は、画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行う。または、圧縮Ｉ／Ｆ部１０５は、隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行う。
【００２９】
本例では、圧縮Ｉ／Ｆ部１０５が以下のサブバンド画像を出力する。
水平方向・垂直方向ともに低域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＬＬとして出力される。
水平方向は高域成分、垂直方向は低域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＨＬとして出力される。
水平方向は低域成分、垂直方向は高域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＬＨとして出力される。
水平方向・垂直方向ともに高域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＨＨとして出力される。
【００３０】
撮像素子部１０２の画素配列によっては、２Ｋ帯域のサブバンド画像ＨＬ／ＬＨ／ＨＨが、ＲＧＢそれぞれについて全ては出力されず、出力されないサブバンド画像が存在する場合がある。詳細は別途説明する。
【００３１】
圧縮処理部１０６は、２Ｋ帯域のサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）をそれぞれ、圧縮符号化方式を用いて画像圧縮し、それぞれ対応するコードストリーム（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）として出力するものである。圧縮Ｉ／Ｆ部１０５ではウェーブレット変換を用いているので、圧縮処理部１０６は、同じウェーブレット変換を用いるＪＰＥＧ２０００などを用いるのが最適であるが、既存のその他の画像圧縮方式を用いても構わない。
【００３２】
また、圧縮処理部１０６は、圧縮Ｉ／Ｆ部１０５から出力された画像データを圧縮符号化する処理を、圧縮Ｉ／Ｆ部１０５によって分割される帯域ごと及び３原色の色ごとに並列して行う圧縮符号化部として機能する。
【００３３】
伝送Ｉ／Ｆ部１０７は、圧縮処理部１０６からのコードストリーム（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）をまとめ、ＣＣＵ部２０に伝送するためのインターフェースを行い、本線伝送信号（Ｄ１０７）を出力するものである。このとき、伝送Ｉ／Ｆ部１０７は、第１の伝送インターフェース部として、コードストリーム（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）からなる圧縮されたサブバンド画像を所定の画像信号に変換し、伝送用複合カメラケーブル１１３を介して画像信号を出力する。
【００３４】
ビューファインダ信号処理部１０９は、入力される画像を表示システムに表示するための表示信号として出力する表示信号出力部の一例である。２Ｋ帯域のサブバンド画像のうちＤ１０５−ＬＬは、水平方向・垂直方向ともに低域のサブバンド画像であるので、２ＫサイズのＲＧＢフル画像としてモニターが可能である。これにより、カメラ信号処理部２０３（後述する図２参照）と同様にホワイトバランスや明るさなどのカメラ画像調整を２Ｋで行うことが可能である。さらに、撮影のための設定情報や、フォーカス合わせを容易にするためのピーキング処理などを行って、ビューファインダ部１１０に撮像２Ｋ画像（Ｄ１０９）を出力する。
【００３５】
ビューファインダ部１１０は、ビューファインダ信号処理部１０９からの撮像２Ｋ画像（Ｄ１０９）、または、ＣＣＵ部２０から送られてきたリターン２Ｋ画像（Ｄ２０９）のいずれかを操作部を通じて選択し、表示するものである。
システムコントロール部１１１は、制御ソフトウェアプログラムをもち、そのプログラムに従ってカメラ部１０全体を制御する。また操作部１１２からの入力に応じて、各ブロックとデータバスを繋ぎ、データをやりとりし、撮影のための設定や状態を制御するものである。
操作部１１２は、カメラ部１０に対する操作を受け付け、電気信号としてシステムコントロール部１１１に伝達するものである。
【００３６】
伝送用複合カメラケーブル１１３は、双方向の信号線が１つにまとめられているような複合カメラケーブルであり、カメラ部１０とＣＣＵ部２０を接続する。そして、カメラ部１０からＣＣＵ部２０には圧縮されたＲＡＷイメージデータを本線伝送信号（Ｄ１０７）として伝送し、ＣＣＵ部２０からカメラ部１０には、非圧縮のリターン２Ｋ画像と、カメラ部１０をコントロールする制御信号を重畳して伝送する。
【００３７】
次に、図２を参照して、ＣＣＵ部２０の内部構成例について説明する。
ＣＣＵ部２０は、カメラ部１０から圧縮伝送されたＲＡＷイメージデータを伸張した後にカメラ信号処理を高精度に行い、モニターアウト部２０４に撮像４Ｋ画像（Ｄ２０３）を出力する。また、ＣＣＵ部２０は、カメラ部１０が撮影した以外の画像を外部入力部２１０から入力された外部４Ｋ画像（Ｄ２１０）を、リターン２Ｋ画像（Ｄ２０９）としてカメラ部１０に送ったり、制御信号をカメラ部１０に送ったりすることによって、カメラ部１０の設定を行う。
【００３８】
伝送Ｉ／Ｆ部２０７は、カメラ部１０から伝送された本線伝送信号（Ｄ１０７）から、各サブバンド画像圧縮データ（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）としてインターフェースを行うものである。このとき、伝送Ｉ／Ｆ部２０７は、第２の伝送インターフェース部として、伝送用複合カメラケーブル１１３を介して入力する画像信号を、コードストリーム（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）からなる圧縮されたサブバンド画像に変換する。
伸張処理部２０６は、カメラ部１０から伝送された各サブバンド画像圧縮データを伸張し、２Ｋ帯域のサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）として出力する伸張復号化として機能する。このとき、伸張処理部２０６は、圧縮符号化されたサブバンド画像を伸張復号化する処理を、圧縮Ｉ／Ｆ部１０５によって分割される帯域ごと及び３原色の色ごとに並列して行う。
【００３９】
伸張Ｉ／Ｆ部２０５は、伸張処理された２Ｋ帯域のサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）を、ウェーブレット逆変換を行って合成し、この合成データを撮像ＲＡＷデータ（Ｄ１０２）として出力する画像伸張部として機能する。このとき、伸張Ｉ／Ｆ部２０５は、伝送Ｉ／Ｆ部２０７と伸張処理部２０６を介して、サブバンド画像を受け取る。そして、伸張Ｉ／Ｆ部２０５は、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、画素位置が交互にずれている色の画像データに伸張し、サブバンド画像を撮像素子から出力される画像データに合成する。
【００４０】
そして、伸張Ｉ／Ｆ部２０５は、サブバンド画像に対して、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行い、画素位置が交互にずれている色の画像データに伸張する。
【００４１】
また、カメラ信号処理部２０３は、ベイヤ配列などの撮像素子部１０２が出力する撮像ＲＡＷデータ（Ｄ１０２）より、画像として確認できるようにＲＧＢフルの４Ｋ画像（いわゆる色分離）を作り出し、ホワイトバランスや明るさなどのカメラ画像調整を行い、モニターアウト部２０４に撮像４Ｋ画像（Ｄ２０３）を出力する。
また、モニターアウト部２０４は、外部の４Ｋモニターなどに４Ｋ画像の映像信号を出力するものである。
【００４２】
ダウンコンバータ部２０９は、カメラ信号処理部２０３からの撮像４Ｋ画像（Ｄ２０３）と、外部入力部２１０からの外部４Ｋ画像（Ｄ２１０）のいずれかを操作部２１２を通じて選択する。そして、４Ｋ画像から２Ｋ画像にダウンコンバートし、リターン２Ｋ画像（Ｄ２０９）として出力し、伝送用複合カメラケーブル１１３を通じてカメラ部１０に伝送する。４Ｋ画像は情報量が多く伝送帯域を取り、また、カメラ部１０には、４Ｋの画像を表示できるビューファインダ部１１０が一般的に用いられていないため、ＣＣＵ部２０は、２Ｋ画像にダウンコンバートしてから伝送しているが、可能であるならば４Ｋ画像のまま伝送しても良い。また、ＣＣＵ部２０は、外部入力部２１０から４Ｋ画像を取り込んでいるが、２Ｋ画像として取り込んでもよい。その際には、ダウンコンバータ部２０９は、バイパス処理をすることで対応できる。
【００４３】
システムコントロール部２１１は、制御ソフトウェアプログラムをもち、そのプログラムに従ってカメラシステム全体を制御する。また、操作部２１２からの入力に応じて、各ブロックとデータバスを繋ぎ、データをやりとりし、ＣＣＵ部２０における撮影のための設定や状態を制御する。また、ＣＣＵ部２０だけでなく、カメラ部１０の撮影のための設定や状態も制御する。このような制御を行うための制御信号は、伝送Ｉ／Ｆ部２０７を通して伝送用複合カメラケーブル１１３の信号に重畳してカメラ部１０に送る。
操作部２１２は、カメラシステムに対する操作を受け付け、電気信号としてシステムコントロール部１１１に伝達するものである。
【００４４】
本発明を実現するためのブロックは圧縮Ｉ／Ｆ部１０５と伸張Ｉ／Ｆ部２０５であるが、画像データを圧縮する際にウェーブレット変換を用いている。このため、同じくウェーブレットを用いて圧縮伸張を行う圧縮処理部１０６、伸張処理部２０６について、まず説明する。
【００４５】
図４に、圧縮処理部１０６の圧縮符号化時の詳細なブロック図を示す。
ウェーブレット変換部３２は２Ｋ帯域のサブバンド画像Ｄ１０５−ＬＬに対して、ウェーブレット変換を施してウェーブレット変換係数Ｄ３２−ＬＬを出力する。
【００４６】
このウェーブレット変換部３２は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクによって実現される。なお、デジタルフィルタは、通常複数タップ長のインパルス応答（フィルタ係数）を持っているため、フィルタリングが行えるだけの入力画像または係数を予めバッファリングしておく必要がある。ウェーブレット変換を多段に行う際にも同様に、前段で生成したウェーブレット変換係数をフィルタリングが行えるだけの係数だけ、バッファリングしておく必要がある。
【００４７】
ここで、ウェーブレット変換によって生成されるサブバンド画像について説明する。
図５は、サブバンド画像の例を示している。このウェーブレット変換では、通常図５に示すように低域成分が繰り返し変換され、分割されるが、これは画像のエネルギーの多くが低域成分に集中しているためである。このことは、図６Ａに示す分割レベル＝１から図６Ｂに示す分割レベル＝３のように、分割レベルを進めていくに従って、サブバンド画像が形成されていくことからも分かる。
【００４８】
図５におけるウェーブレット変換の分割レベルは３であり、この結果、計１０個のサブバンド画像が形成されている。ここで、図５においてＬ，Ｈはそれぞれ低域，高域を表し、Ｌ，Ｈの前の数字は分割レベルを表す。すなわち、例えば１ＬＨは、水平方向が低域で垂直方向が高域である分割レベル＝１のサブバンド画像を表す。
【００４９】
図４の説明に戻る。ウェーブレット変換係数Ｄ３２−ＬＬは、次に量子化部３３で量子化されて量子化係数Ｄ３３−ＬＬが出力される。ここでの量子化手段としては、ＪＰＥＧ２０００でも使われているスカラ量子化を使えばよい。これは下記の（式１）で示す様に、ウェーブレット変換係数Ｗを量子化ステップサイズΔで除算した値を、量子化係数ｑの値とすればよい。
ｑ＝Ｗ／Δ ・・・・・・・（式１）
【００５０】
量子化ステップサイズΔＤ３７−ＬＬは後述する符号量計測部３７から与えられる。
量子化係数Ｄ３３−ＬＬは、次にエントロピー符号化部３５に出力され、エントロピー符号化部３５において任意の情報源圧縮手段を用いて、量子化係数Ｄ３３−ＬＬを圧縮する動作を行う。エントロピー符号化手段としては、一般に使われているハフマン符号化（ＭＰＥＧやＪＰＥＧで採用されているもので、予めデータに出現する記号の出現頻度に合わせて作成したハフマン符号化テーブルを参照して、符号を生成する方式）や、算術符号化（Ｈ．２６４やＪＰＥＧ２０００で採用されている方式）を利用すればよい。またその際、ここではその詳細については述べないものの、ＪＰＥＧ２０００と同じく、量子化係数を、ビットプレーン単位のエントロピー符号化であるＥＢＣＯＴ（Embedded Block Coding with Optimal Truncation）と組み合わせてもよい。
【００５１】
エントロピー符号化部３５で符号化された結果は、符号化コードストリームＤ３５−ＬＬとして出力され、圧縮処理部１０６の出力Ｄ１０６−ＬＬとなるとともに、符号量計測部３７にも入力する。
【００５２】
符号量計測部３７では、符号化コードストリームＤ３５−ＬＬの１フレーム内での符号量を累積しながら、制御部３６から与えられる目標符号量Ｄ３６−ＬＬとの比較を行う。そして、目標符号量を超えそうな場合には、量子化部３３の量子化ステップサイズＤ３７−ＬＬを１段階大きくするように変更する。
逆に、符号化コードストリームＤ３５−ＬＬの１フレーム内での符号量の累積が、目標符号量を下回りそうな場合には、量子化部３３の量子化ステップサイズＤ３７−ＬＬを１段階小さくするように変更する。
【００５３】
以上が、圧縮処理部１０６の圧縮符号化時の動作であるが、圧縮処理部１０６には、２Ｋ帯域のサブバンド画像ＬＬ成分以外にも、ＨＬ成分、ＬＨ成分、ＨＨ成分が入力される。
【００５４】
ＨＬ／ＬＨ／ＨＨ成分についても、ＬＬ成分と同様に、ウェーブレット変換部３２を用いて、分割レベルを上げても良い。しかしながら、図４の例では、すでに圧縮Ｉ／Ｆ部１０５で第１レベルのウェーブレット変換がなされている。このため、図５で示した画像のエネルギーの多くが低域成分に集中している性質を用いた通常のウェーブレット変換に合わせて、低域成分のサブバンド画像Ｄ１０５−ＬＬのみを繰り返し変換そして分割される態様としている。
【００５５】
例えばハードウェアにより、ウェーブレット変換からエントロピー符号化までの処理が１つの回路で実現できているような場合がある。この場合、あえてウェーブレット変換を行わない回路を新規に開発せずに、既存の１つの回路を４並列で用いて圧縮処理部１０６を構成することに制約を与えるものではない。
図４の例では、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨについては、量子化とエントロピー符号化のみを行い、ウェーブレットの分割レベルは上げないものとしている。
【００５６】
そして、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨは、それぞれ符号化コードストリームＤ３５−ＨＬ、Ｄ３５−ＬＨ、Ｄ３５−ＨＨとして出力される。そして、圧縮処理部１０６の出力Ｄ１０６−ＨＬ、Ｄ１０６−ＬＨ、Ｄ１０６−ＨＨとなる。また、符号量計測部３７により、それぞれの符号化コードストリームの１フレーム内での符号量を累積しながら、制御部３６から与えられる目標符号量Ｄ３６−ＨＬ、Ｄ３６−ＬＨ、Ｄ３６−ＨＨとの比較を行う。そして、ＬＬ成分と同様に、符号化コードストリームの１フレーム内での符号量が目標符号量を超えそうな場合には、量子化部３３の量子化ステップサイズを１段階大きくするように変更する。逆に、符号化コードストリームの１フレーム内での符号量の累積が、目標符号量を下回りそうな場合には、量子化部３３の量子化ステップサイズを１段階小さくするように変更する。
【００５７】
以上のようにして、それぞれの２Ｋ帯域のサブバンド画像に対する符号量を制御する。
制御部３６は、それぞれの２Ｋ帯域のサブバンド画像に対する目標符号量を、それぞれ対応する符号量計測部３７にあらかじめ設定するように説明した。しかし、たとえば、各符号量計測部３７から、符号量積算状況の情報を制御部３６に送り、それぞれの符号量積算状況に応じて、各サブバンド毎の目標符号量を動的に融通しあって変更してもよい。自然画像では、低域成分を多く含む画像であったり、逆に高域成分を多く含む画像であったりするので、画像の性質に応じた最適な符号量制御が可能である。
以上が、圧縮符号化時の動作説明である。
【００５８】
次に、図７に、伸張処理部２０６の伸張復号化時の詳細なブロック図を示し、圧縮復号時の動作について説明する。
符号化コードストリームＤ１０６−ＬＬ、Ｄ１０６−ＨＬ、Ｄ１０６−ＬＨ、Ｄ１０６−ＨＨが入力されるエントロピー復号化部３８では、図４で述べたエントロピー符号化に対応した手段に従って復号化を行う。エントロピー復号化の結果、量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨが生成される。
【００５９】
量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨは、逆量子化部３９で量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨからウェーブレット変換係数Ｄ３９−ＬＬ、Ｄ３９−ＨＬ、Ｄ３９−ＬＨ、Ｄ３９−ＨＨに変換される。ここでの逆量子化手段は、（式１）の逆の操作になり、以下の（式２）で表すことが出来る。
Ｗ＝ｑ×Δ ・・・・・・・（式２）
（Ｗはウェーブレット変換係数、ｑは量子化係数、Δは量子化ステップサイズ）
【００６０】
ウェーブレット変換係数Ｄ３９−ＬＬは、ウェーブレット逆変換部４０でＬＬ成分の２Ｋ帯域のサブバンド画像Ｄ１０５−ＬＬに戻され出力される。
符号化時に、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨについても、ウェーブレット再分割を行った場合には、それぞれのサブバンド毎にウェーブレット逆変換部４０を設けて、それぞれの２Ｋ帯域のサブバンド画像に戻せばよいことは明らかである。
以上が、圧縮復号化時の動作説明である。
【００６１】
ここで、図８を参照しながら、従来の特許文献２に記載された技術が有していた課題を整理しておく。
【００６２】
図８Ａは、通常のベイヤ配列を用いた４ＫベイヤＲＡＷ画像の例である。
４Ｋ画素があるものの、通常のベイヤ配列ではこれを図示したようにＲＧＢに塗り分けて、ＲＧＢのカラーフィルタに対応した光の波長成分のみがそれぞれの画素において、光から電気信号に変換される。通常のベイヤ配列では、Ｇが市松（チェッカーフラッグ）模様に配置されている。
【００６３】
図８Ｂは、４ＫベイヤＲＡＷ画像の画素を分離した、Ｒ画素、Ｇ１画素、Ｇ２画素、Ｂ画素の４つの色成分のコンポーネントの例を示す。
特許文献２に記載された技術では、上述した４ＫベイヤＲＡＷ画像を、Ｒ画素、Ｇ１画素、Ｇ２画素、Ｂ画素と４つの色成分のコンポーネントとして捉えている。
【００６４】
図８Ｃは、図８Ｂに示した４つの色成分のコンポーネントを画素毎に集めた例を示す。
特許文献２に記載された技術では、図８Ｂに示した４つの色成分のコンポーネントに含まれる画素を集めて２ＫのＲ画像、２ＫのＧ１画像、２ＫのＧ２画像、２ＫのＢ画像とし、それぞれウェーブレット変換を用いた圧縮符号化を行って記録している。
【００６５】
ここで、Ｇ１画素とＧ２画素は本来斜め方向に隣接しており、Ｇ１画素とＧ２画素の画素間は非常に高い相関を持っていることが知られている。それにもかかわらず、特許文献２に記載された技術は、わざわざＧ１画像とＧ２画像というあたかも独立した２枚の画像（もしくは２つの色成分）として圧縮符号化を行っているため、圧縮効率が低下してしまう。特に、ウェーブレット変換は画面全体をサブバンド変換する点で、高い圧縮効率を実現しているが、従来技術とウェーブレット変換の組合せでは、ウェーブレット変換本来の高い圧縮率を享受しているとは言いがたい。
【００６６】
また、図８Ｂに示したように、Ｇ１画像とＧ２画像というサブサンプリングによる「間引き」が行われるため、Ｇ１画像もしくはＧ２画像のみを２Ｋのモニターに表示した場合には、標本化定理により折り返し歪みが発生することは明白である。そこでＧ１画像とＧ２画像の両者を用いて、信号処理で２Ｋの平均画像を作った後にモニターに表示することが考えられるが、２Ｋの２倍のデータにアクセスしなければならない。しかし、ウェーブレット変換はサブバンド分割なので、本来ならば、２Ｋの低域成分にのみアクセスすれば、モニターに表示できる能力を持っている。この点でも、特許文献２に記載された技術は、ウェーブレット変換のメリットを十分に享受しているとは言いがたい。
【００６７】
図９は、倍密度ベイヤ配列に従来技術を適用した例を示す。
図９Ａは、通常のベイヤ配列を、画素密度を２倍にするととともに斜め４５度にして画素を配列したものである。
この配列の特徴は、Ｇ画像は４Ｋフル画素、Ｒ画像とＢ画像は斜めに空かされているが、水平方向・垂直方向には４Ｋ解像度が得られる点にある。画素密度は、通常のベイヤの２倍となるため、以下の説明では、「倍密度ベイヤ配列」と呼ぶことにする。
【００６８】
ここで、この倍密度ベイヤ配列を用いた４Ｋ ＲＡＷ画像を特許文献２に記載された技術に準じて圧縮する場合を考える。この場合、ベイヤ配列とは異なり、図９Ｂに示すようにＧは４Ｋ全ての画素が揃っているが、Ｒ画像とＢ画像が市松模様となる。このため、図９Ｃに示すようにＲ１画素、Ｒ２画素、Ｇ画素（ただし４Ｋ解像度）、Ｂ１画素、Ｂ２画素と５つの色成分のコンポーネントと考える。そして、図９Ｄに示すように画素を集めて２ＫのＲ１画像、２ＫのＲ２画像、４ＫのＧ画像、２ＫのＢ１画像、２ＫのＢ２画像とし、各画像に対してウェーブレット変換を用いた圧縮符号化を行うことになる。
【００６９】
ベイヤ配列では、Ｇ画像のみ２画面にサブサンプリング分離して圧縮したが、倍密度ベイヤ配列では、Ｒ画像とＢ画像の双方をそれぞれ２画面にサブサンプリング分離することになる。さらに、ベイヤ配列では、画素密度の高いＧ画像を２画面に分離していたので、Ｇ画像の圧縮効率が落ちても、もともと画素密度が高く、画素密度の低いＲ画像とＢ画像の圧縮画像品質とバランスが取れる。
【００７０】
一方、倍密度ベイヤ配列では、画素密度の低いＲ画像とＢ画像の双方をさらに２画面にサブサンプリング分離することになるので、画素密度が低い上に圧縮効率も下がってしまい、Ｇ画像の圧縮画像品質に対してバランスがさらに崩れてしまう。
また、ベイヤ配列のＧ画像で述べたように、サブサンプリングされたＲ画像とＢ画像をそのまま２Ｋのモニターに表示すると折り返しが発生する懸念もある。
【００７１】
これに対し、本例のカメラ部１０は、特に、倍密度ベイヤ配列でのＲ画像とＢ画像のＲＡＷデータ圧縮に関して、ウェーブレット変換が持つ本来の特徴を活かした大きな改善を行うことが期待できる。さらに、通常のベイヤ配列からＲＧＢフル画素まで、同じ手法で対応できる。
【００７２】
次に、図１０を参照して、圧縮Ｉ／Ｆ部１０５のウェーブレット変換時の処理例について説明する。
圧縮Ｉ／Ｆ部１０５は、ウェーブレット変換を用いた際に、その効果を最大限に発揮できる。したがって、圧縮処理部１０６のウェーブレット変換部３２と基本構成は同じであるが、図１０を用いて、圧縮Ｉ／Ｆ部１０５の処理をあらためて説明する。
【００７３】
圧縮Ｉ／Ｆ部１０５の入力画像として、撮像ＲＡＷデータＤ１０２が入力される。ここでは、図３に示した４Ｋ ＲＧＢフル画素が入力されるものとして、４０９６×２１６０サイズのＲ／Ｇ／Ｂ ３コンポーネントに対して全く同様に処理を行う。
まず、入力画像に対して水平方向のウェーブレット変換を行う。ウェーブレット変換は低域フィルタ（ＬＰＦ）と高域フィルタ（ＨＰＦ）によって構成され、それぞれ、２：１のダウンサンプリング（図では下向きの矢印及び数字の２で表している）が行われる。この結果、水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンド画像（Ｌ）と高域サブバンド画像（Ｈ）となる。
【００７４】
次に、２０４８×２１６０の低域サブバンド画像（Ｌ）に対して、垂直方向のウェーブレット変換を行う。ウェーブレット変換は低域フィルタ（ＬＰＦ）と高域フィルタ（ＨＰＦ）を通じて、それぞれ、２：１のダウンサンプリングが行われる。この処理により、垂直方向が半分のサイズとなった２０４８×１０８０の低域サブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬと高域サブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨとなる。
【００７５】
また、２０４８×２１６０の高域サブバンド画像（Ｈ）に対して、垂直方向のウェーブレット変換を行う。ウェーブレット変換は低域フィルタ（ＬＰＦ）と高域フィルタ（ＨＰＦ）を通じて、それぞれ、２：１のダウンサンプリングが行われる。この処理により、垂直方向が半分のサイズとなった２０４８×１０８０の低域サブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬと高域サブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨとなる。
【００７６】
以上のように、圧縮Ｉ／Ｆ部１０５は、４０９６×２１６０サイズのＲ／Ｇ／Ｂ ３コンポーネントに対してウェーブレット変換を行い、以下の３コンポーネントを得る。
・水平方向・垂直方向ともに低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬがＲ／Ｇ／Ｂそれぞれの３コンポーネント
・水平方向は低域フィルタ、垂直方向は高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨがＲ／Ｇ／Ｂそれぞれの３コンポーネント
・水平方向は高域フィルタ、垂直方向は低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬがＲ／Ｇ／Ｂそれぞれの３コンポーネント
・水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨがＲ／Ｇ／Ｂそれぞれの３コンポーネント
このように、４種類の２０４８×１０８０サイズのサブバンド画像がＲ／Ｇ／Ｂそれぞれ３コンポーネント分の計１２の２０４８×１０８０サイズのサブバンド画像に変換される。
【００７７】
次に、図１１を参照して、伸張Ｉ／Ｆ部２０５のウェーブレット逆変換時の処理を説明する。
伸張Ｉ／Ｆ部２０５の入力画像として、カメラ部１０から伝送され、伸張処理部２０６によって伸張処理された２０４８×１０８０サイズのサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）がそれぞれＲ／Ｇ／Ｂ ３コンポーネント分入力される。
【００７８】
水平方向・垂直方向ともに低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬと、水平方向は低域フィルタ、垂直方向は高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨに対して垂直方向のウェーブレット逆変換を行う。ウェーブレット逆変換は、Ｄ１０５−ＬＬに１：２のアップサンプリング（図では上向きの矢印及び数字の２で表している）を行い、低域フィルタ（ＬＰＦ）に、Ｄ１０５−ＬＨに１：２のアップサンプリングを行って高域フィルタ（ＨＰＦ）に通す。そして、両者を合成することで垂直方向が２倍のサイズとなった２０４８×２１６０の低域サブバンド画像（Ｌ）を得る。
【００７９】
また、水平方向は高域フィルタ、垂直方向は低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬと、水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨに対して垂直方向のウェーブレット逆変換を行う。ウェーブレット逆変換はＤ１０５−ＨＬに１：２のアップサンプリングを行い低域フィルタ（ＬＰＦ）に、Ｄ１０５−ＨＨに１：２のアップサンプリングを行い高域フィルタ（ＨＰＦ）に通す。そして、両者を合成することで垂直方向が２倍のサイズとなった２０４８×２１６０の高域サブバンド画像（Ｈ）を得る。
【００８０】
次に、垂直方向のウェーブレット逆変換が行われた２０４８×２１６０の低域サブバンド画像（Ｌ）と２０４８×２１６０の高域サブバンド画像（Ｈ）に対して、水平方向のウェーブレット逆変換を行う。ウェーブレット逆変換は低域サブバンド画像（Ｌ）を１：２のアップサンプリングを行い低域フィルタ（ＬＰＦ）に、高域サブバンド画像（Ｈ）を１：２のアップサンプリングを行い高域フィルタ（ＨＰＦ）に通す。そして、両者を合成することで水平方向も２倍のサイズとなった４０９６×２１６０の撮像ＲＡＷデータＤ１０５を得る。
【００８１】
以上のように、伸張Ｉ／Ｆ部２０５のウェーブレット逆変換時の処理は、カメラ部１０から伝送され、伸張処理された２０４８×１０８０サイズのサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）を用いて行う。この処理では、サブバンド画像をそれぞれＲ／Ｇ／Ｂ ３コンポーネント分用いて、垂直方向・水平方向にウェーブレット逆変換を行うことで、４０９６×２１６０サイズのＲ／Ｇ／Ｂ ３コンポーネントに復号している。
【００８２】
では、本例の圧縮Ｉ／Ｆ部１０５が、図３に示した倍密度ベイヤ配列に対して、どのように処理するかについて、図１２を参照して説明する。
【００８３】
図１２Ａは前にも述べたように、通常のベイヤ配列を、画素密度を２倍にするととともに斜め４５度にして配列した倍密度ベイヤであり、Ｇ画像は４Ｋフル画素、Ｒ画像とＢ画像は斜めに空かされているが、水平方向・垂直方向には４Ｋ解像度が得られる。
このとき、撮像素子部１０２は、ベイヤ配列の画素密度を２倍にするとともに斜め４５°に配列した画素配列である倍密度のベイヤ配列である。
【００８４】
そして、圧縮Ｉ／Ｆ部１０５は、倍密度のベイヤ配列の撮像素子部１０２から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、Ｒ及びＢのサブバンド画像に分解する。そして、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のウェーブレット変換及び１列の画素を単位とした垂直方向のウェーブレット変換を行って、Ｇのサブバンド画像に分解する。
【００８５】
具体的には、まず、Ｇについて説明すると、Ｇ画像は４Ｋフル画素があることから、図１０で説明した処理と全く同じ処理とすればよいことは明確である。
【００８６】
すなわち、圧縮Ｉ／Ｆ部１０５は、図１２Ｂに示すように４０９６×２１６０サイズのＧ画像に対して、水平方向のウェーブレット変換を施す。すると、図１２Ｃに示すように水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンドＧ画像（Ｌ）と高域サブバンドＧ画像（Ｈ）となる。図中の点線で囲んだ箇所は、ＪＰＥＧ２０００で定められた、５×３可逆ウェーブレットフィルタ（ローパス側のフィルタが５タップ、ハイパス側のフィルタが３タップ）を例として、図中左端の画素（星印を付した画素）を中心とした５タップのフィルタ（ローパス側のフィルタ）がかかる画素範囲を示している。これを、水平方向に２画素毎に行うことで、２：１のダウンサンプリングを実現する。詳しくは、ＪＰＥＧ２０００の規格などを参照されたい。
【００８７】
次に、水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンドＧ画像（Ｌ）と高域サブバンドＧ画像（Ｈ）それぞれを、図１２Ｃに示すように垂直方向のウェーブレット変換を施す。そして、図１２Ｄに示すように、以下のサブバンド画像を得る。
水平方向・垂直方向ともに低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＬ）。
水平方向は低域フィルタ、垂直方向は高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＨ）。
水平方向は高域フィルタ、垂直方向は低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＬ）。
水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＨ）。
このように、４Ｋ倍密度ベイヤＲＡＷ画像を構成するＧ画像は、４種類の２０４８×１０８０サイズのサブバンドＧ画像に変換される。
【００８８】
ここで、Ｒ画像とＢ画像について検討する。Ｒ画像とＢ画像は、市松模様となるので、図９を参照して説明した方法を用いると、前述したように画素密度が低い上に圧縮効率も下がってしまうため、Ｇ画像の圧縮画像品質に対してバランスがさらに崩れてしまう。
そこで、本例の圧縮Ｉ／Ｆ部１０５は、Ｒ画像とＢ画像に対して、隣接する上下２ライン単位でウェーブレット変換を行う。
具体的には、圧縮Ｉ／Ｆ部１０５は、図１２Ｂに示すように、Ｒ画像は隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。
また、圧縮Ｉ／Ｆ部１０５は、Ｂ画素は隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。
【００８９】
上下２ラインを単位とすることで、１ラインは４０９６の実画素を有するとみなせるので、Ｒ画像とＢ画像については、４０９６×１０８０の画像として扱うことが可能になる。
この４０９６×１０８０のＲ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
に変換する。
Ｂ画像についても同様に
この４０９６×１０８０のＢ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
に変換する。
【００９０】
また、水平方向のウェーブレット変換を行った時点で、既に２０４８×１０８０サイズのサブバンド画像となり、Ｇのサブバンド画像とサイズが一致する。したがって、垂直方向にはウェーブレット変換しない。
これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ倍密度ベイヤ配列でも、同じサイズとなるので、圧縮処理部１０６以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。
【００９１】
図１２Ｄでは、後述する別の方式と区別し、Ｒ画像とＢ画像は水平方向のウェーブレット変換のみを行ったという説明のために、以下のように記載する。
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＬ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＬ）
また、圧縮Ｉ／Ｆ部１０５は、Ｒ画素はＷ型、Ｂ画素はＭ型に画素を走査するとして説明したが、Ｒ画素とＢ画素の起点画素位置が異なれば、Ｗ型とＭ型は逆になることは明らかである。
【００９２】
このように図１２を示して、倍密度ベイヤ配列のＲ画像とＢ画像は、隣接する上下２ライン単位でウェーブレット変換を行うことで、問題を解決する方法を説明した。しかし、別の方法として、倍密度ベイヤ配列のＲ画像とＢ画像は、隣接する左右２画素単位でウェーブレット変換を行うことで、問題を解決する方法を、図１３を参照して説明する。
【００９３】
まず、Ｇ画像については、Ｇ画像は４Ｋフル画素があることから、図１２で説明した処理と全く同じ処理であるのでここでは省略する。
【００９４】
倍密度ベイヤ配列のＲ画像とＢ画像についても、図を見れば明らかであるが、順に説明する。
【００９５】
このとき、圧縮Ｉ／Ｆ部１０５は、倍密度のベイヤ配列の撮像素子部１０２から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行う。そして、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のウェーブレット変換及び１列の画素を単位とした垂直方向のウェーブレット変換を行う。
具体的には、図１３Ｂに示すように、Ｒ画素とＢ画素については、水平方向にはウェーブレット変換せずに、そのまま垂直方向のウェーブレット変換に送る。このとき、圧縮Ｉ／Ｆ部１０５は、図１３Ｃに示すように、Ｒ画素について、隣接する左右２画素単位に左向きのＷ型に画素を走査し、あたかも１列に並んだ画素データであるかのようにウェーブレット変換を行う。
また、圧縮Ｉ／Ｆ部１０５は、Ｂ画素について隣接する左右２画素単位に右向きのＷ型に画素を走査し、あたかも１列に並んだ画素データであるかのようにウェーブレット変換を行う。
【００９６】
左右２画素を単位とすることで、垂直方向は２１６０の実画素を有するとみなせるので、Ｒ画像とＢ画像については、２０４８×２１６０の画像として扱うことが可能になる。
この２０４８×２１６０のＲ画像を垂直方向にウェーブレット変換する。このとき、圧縮Ｉ／Ｆ部１０５は、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
に変換する。
Ｂ画像についても同様に
この２０４８×２１６０のＢ画像を垂直方向にウェーブレット変換する。このとき、圧縮Ｉ／Ｆ部１０５は、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
に変換する。
【００９７】
そして、垂直方向のウェーブレット変換を行った時点で、２０４８×１０８０サイズのサブバンド画像となり、Ｇのサブバンド画像とサイズが一致する。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ倍密度ベイヤ配列でも、同じサイズとなるので、圧縮処理部１０６以降の処理が、共通の処理とすることができる。これについては、別途詳細に説明する。
【００９８】
図１３Ｄでは、後述する別の方式と区別し、Ｒ画像とＢ画像は垂直方向のウェーブレット変換のみを行ったという説明のために、サブバンド画像を以下のように記載している。
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＨ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＨ）
【００９９】
ここでは、圧縮Ｉ／Ｆ部１０５は、Ｒ画素を左向きＷ型、Ｂ画素を右向きＷ型に画素を走査するとして図１３を参照して説明したが、Ｒ画素とＢ画素の起点画素位置が異なれば、左向きＷ型と右向きＷ型は逆になることは明らかである。
【０１００】
一方、伸張Ｉ／Ｆ部２０５は、Ｒ及びＢのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、Ｒ及びＢの画像データに伸張する。そして、Ｇのサブバンド画像に対しては、１ラインの画素を単位とした水平方向のウェーブレット逆変換及び１列の画素を単位とした垂直方向のウェーブレット逆変換を行って、Ｇの画像データに伸張する。
【０１０１】
以上のようにして、倍密度ベイヤ配列に対して、どのようにウェーブレット変換処理するかについて、図１２と図１３を参照して説明した。
次に、図１４を参照して、ウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置について説明する。
ここでは、ＪＰＥＧ２０００の５×３可逆ウェーブレットフィルタ係数である（−１／８，２／８，６／８，２／８，−１／８）を例に用いて説明する。
【０１０２】
図１４Ａは、Ｇ画像に対して５×３可逆ウェーブレットフィルタをかけた場合の例を示す。まず、水平方向の５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、左右２画素に対して、対称係数が掛けられるので、水平方向の画素の重心は、３画素目の位置に合致する。
【０１０３】
次に、垂直方向の５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、上下２画素に対して、対称係数が掛けられるので、垂直方向の画素の重心も、３画素目の位置に合致する。
つまり、Ｇ画像に対して低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、水平方向にも垂直方向にも６／８のフィルタ係数が掛けられた画素（図中の丸印○）位置となる。
【０１０４】
図１４Ｂは、Ｒ画像に対して５×３可逆ウェーブレットフィルタをかけた場合の例を示す。Ｒ画像は、図１２を参照して説明したように、圧縮Ｉ／Ｆ部１０５は、隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換される。
【０１０５】
この５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、左右２画素に対して、対称係数が掛けられるので、水平方向の画素の重心は、３画素目の位置に合致する。
Ｒ画像に対しては、垂直方向にはウェーブレット変換はしないが、先ほどの水平方向のウェーブレット係数に着目してみると、上側のライン上の３画素に対して、（−１／８，６／８，−１／８）のフィルタ係数がかかっている。このため、上側のライン上の３画素の係数の重みは、
−１／８＋６／８−１／８＝１／２
であることが分かる。
【０１０６】
次に下側のライン上の２画素に対して、（２／８，２／８）のフィルタ係数がかかっているので、下側のライン上の２画素の係数の重みは、
２／８＋２／８＝１／２
であることが分かる。
以上から、Ｒ画像の垂直方向の画素の重心は、隣り合う上下２ライン単位にＷ型に画素が走査された２ライン間の丁度真ん中の位置となることが分かる。
つまり、Ｒ画像に対して低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、水平方向には、６／８のフィルタ係数が掛けられた画素位置で、垂直方向には、隣り合う上下２ライン単位としたライン間の位置（図中の丸印○）となる。
【０１０７】
図１４Ｃは、Ｂ画像に対して５×３可逆ウェーブレットフィルタをかけた場合の例を示す。Ｂ画像は、図１２を参照して説明したように、圧縮Ｉ／Ｆ部１０５は、隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。
【０１０８】
この５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、左右２画素に対して、対称係数が掛けられるので、水平方向の画素の重心は、３画素目の位置に合致する。
Ｂ画像に対しては、垂直方向にはウェーブレット変換はしないが、先ほどの水平方向のウェーブレット係数に着目してみると、下側のライン上の３画素に対して、（−１／８，６／８，−１／８）のフィルタ係数がかかっている。このため、下側のライン上の３画素の係数の重みは、
−１／８＋６／８−１／８＝１／２
であることが分かる。
【０１０９】
次に上側のライン上の２画素に対して、（２／８，２／８）のフィルタ係数がかかっているので、上側のライン上の２画素の係数の重みは、
２／８＋２／８＝１／２
であることが分かる。
以上から、Ｂ画像の垂直方向の画素の重心は、隣り合う上下２ライン単位にＭ型に画素が走査された２ライン間の丁度真ん中の位置となることが分かる。
つまり、Ｂ画像に対して低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、水平方向には、６／８のフィルタ係数が掛けられた画素位置となる。垂直方向には、隣り合う上下２ライン単位としたライン間の位置（図中の丸印○）となる。
【０１１０】
以上をまとめて、低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、図１４Ｄに示すようになる。このとき、Ｒ画像とＢ画像は同じ位置、それに対してＧ画像は、垂直方向には同じ位置であり、水平方向には、わずかに１／２画素ずれているだけであることが分かる。
【０１１１】
ここで、ＪＰＥＧ２０００など、ウェーブレットフィルタを用いたサブバンド分割の特徴のひとつに、１／２ｎの解像度の画像サイズが一つの圧縮ストリームから得られることがある。これは、倍密度ベイヤ配列においても、水平方向・垂直方向それぞれ半分の画像サイズの低域サブバンド画像のみを表示した場合に、ＲＧＢの画素重心位置が、ほとんど同じであると言うことを示している。つまり、画素重心位置を合わせなくても、ほとんど色ずれのない低域サブバンド画像として表示することが可能であることを示している。
【０１１２】
もちろん、Ｇ画像を１／２画素分水平方向に修正すれば、完全にＲＧＢが一致する。この場合も、水平方向のみを１／２修正するのみであるので、ハードウェア規模も少ないもので済むという効果がある。
また、図１３で示したように、Ｒ画像とＢ画像について、垂直方向にのみウェーブレット変換を行う場合にも、詳細な図示はしないものの、図１４と同様に考えれば、Ｒ画像とＢ画像は同じ位置、それに対してＧ画像は、水平方向には同じ位置であり、垂直方向には、わずかに１／２画素ずれているだけであることが分かる。
以上が、倍密度ベイヤ配列に対する処理の詳細である。
【０１１３】
次に、図３の斜め配列３板方式に対する圧縮符号化処理の例について、図１５を参照して説明する。
【０１１４】
図１５Ａは、１枚の撮像素子部１０２としては、斜め４５度に画素が配置されており、隣り合う水平または垂直２画素間で、あるいは４画素間で、画素補間を行って図中点線の丸印で示した画素を補間することを前提とした画素配列である。
このとき、撮像素子部１０２は、斜め４５°に画素を配列し、水平方向または垂直方向に隣り合う画素間で補間を行うことを前提とした画素配列である斜め配列３板方式である。
【０１１５】
ここでは、上記の画素配列をもつ撮像素子部１０２を３枚用い光学プリズムと組み合わせて撮像するシステム、または、この画素配列で、センサーの奥行き方向に光の波長感度を有するような構造の単板方式の撮像システムに本発明を適用する方法について説明する。
【０１１６】
まず、図中の点線の丸印で示した画素は、周りの画素から補間することを前提としているので、実画素としては存在していないと考えることが出来る。すなわち、図１５Ｂに示すように、グレーで記した画素が存在しないと考えられるので、これは図１２を参照して説明した、倍密度ベイヤ配列のＲまたはＢ画素と同じと考えることが出来る。
違うのは、Ｒ画像、Ｂ画像、Ｇ画像の全てが同じパターンであることである。
したがって、Ｒ画像、Ｂ画像、Ｇ画像について、隣接する上下２ライン単位でウェーブレット変換を行えばよい。
【０１１７】
このとき、圧縮Ｉ／Ｆ部１０５は、斜め配列３板方式の撮像素子部１０２からのＲＧＢの画像データの全てに対して、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、サブバンド画像に分解する。
【０１１８】
具体的には、圧縮Ｉ／Ｆ部１０５は、図１５Ｂに示すように、隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。画素の起点位置によっては、隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行うことも可能である。
上下２ラインを単位とすることで、１ラインは４０９６の実画素を有するとみなせるので、４０９６×１０８０の画像として扱うことが可能になる。
この４０９６×１０８０のＲＧＢ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンド画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンド画像、
にＲＧＢ画像をそれぞれ変換する。
【０１１９】
また、水平方向のウェーブレット変換を行った時点で、既に２０４８×１０８０サイズのサブバンド画像となっており、垂直方向にはウェーブレット変換しない。
これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ斜め配列３板方式でも、同じサイズとなるので、圧縮処理部１０６以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。
【０１２０】
図１５Ｄでは、後述する別の方式と区別し、画像は水平方向のウェーブレット変換のみを行ったという説明のために、２０４８×１０８０サイズのサブバンド画像を、以下のように記載する。
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＬ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＬ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＬ）
【０１２１】
図１５では、斜め配列３板方式の画像は、隣接する上下２ライン単位でウェーブレット変換を行う処理について説明したが、別の方法として、隣接する左右２画素単位でウェーブレット変換を行うこともできる。ただし、図１３で説明した倍密度ベイヤ配列のＲ画像とＢ画像の処理で説明した処理と全く同じ処理であるのでここでは省略する。
【０１２２】
一方、伸張Ｉ／Ｆ部２０５は、サブバンド画像に対して、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、斜め配列３板方式の撮像素子からのＲＧＢの画像データに伸張する。
【０１２３】
また、図１４で倍密度ベイヤ配列のウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置について説明した。
しかし、斜め配列３板方式では、光学的に画素位置が合うように調整されているので、ウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置についてもＲＧＢが揃うことは明らかであるので、ここでは省略する。
以上が、斜め配列３板方式に対する処理の詳細である。
【０１２４】
次に、図３に示す通常のベイヤ配列に対する処理例について、図１６を参照して説明する。
【０１２５】
図１６Ａは、いわゆる通常のベイヤ配列である。
このとき、撮像素子部１０２は、ベイヤ配列である。
【０１２６】
図１６Ｂは、ＲＧＢそれぞれに分離し、実画素の存在しない位置をグレーで記している。Ｒ画像とＢ画像については、分離した状態ですでに２０４８×１０８０サイズの間引き画像となっている。
Ｇ画像については、図をみて明らかであるように、これは図１２を参照して説明した、倍密度ベイヤ配列のＲ画素またはＢ画素と同じと考えることが出来る。
したがって、Ｇ画像は、隣接する上下２ライン単位でウェーブレット変換を行えばよい。
【０１２７】
このとき、圧縮Ｉ／Ｆ部１０５は、ベイヤ配列の撮像素子部１０２からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはウェーブレット変換を行わない。そして、Ｇの画像データに対しては、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行ってサブバンド画像に分解する。
具体的には、圧縮Ｉ／Ｆ部１０５は、図１６Ｂに示すように、隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。
【０１２８】
画素の起点位置によっては、隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行うことも可能である。
【０１２９】
上下２ラインを単位とすることで、１ラインは４０９６の実画素を有するとみなせるので、４０９６×１０８０の画像として扱うことが可能になる。
この４０９６×１０８０のＧ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像、
に変換する。
【０１３０】
また、水平方向のウェーブレット変換を行った時点で、既に２０４８×１０８０サイズのサブバンド画像となっており、垂直方向にはウェーブレット変換しない。
これは、Ｒ画像とＢ画像に関しては、間引きであるが、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ通常ベイヤ配列も、同じサイズとなるので、圧縮処理部１０６以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。
【０１３１】
図１６Ｄでは、Ｒ画像とＢ画像に関しては間引きであるが、他の方式の処理と共通にするために、また、Ｇ画像に関しては、後述する別の方式と区別し、画像は水平方向のウェーブレット変換のみを行ったという説明のために、以下のように記載する。
つまり、２０４８×１０８０サイズのＲ画像を、サブバンドＲ画像（ＬＬ）、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＬ）、
２０４８×１０８０サイズのＢ画像を、サブバンドＢ画像（ＬＬ）、
として記載する。
【０１３２】
図１６では、通常のベイヤ配列のＧ画像は、隣接する上下２ライン単位でウェーブレット変換を行う方法を示したが、別の方法として、隣接する左右２画素単位でウェーブレット変換を行う方法もある。しかし、この方法は、図１３で説明した倍密度ベイヤ配列のＲ画像とＢ画像の処理で説明した処理と全く同じ処理であるのでここでは省略する。
【０１３３】
一方、伸張Ｉ／Ｆ部２０５は、Ｒ及びＢのサブバンド画像に対してはウェーブレット逆変換を行わず、Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、Ｇの画像データに伸張する。
【０１３４】
また、図１４で倍密度ベイヤ配列のウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置について説明したが、通常のベイヤ配列では、Ｒ画像とＢ画像に関しては、他の発明と同様に単なる間引き処理になる。このため、画素位置については、ベイヤ配列そのままであり、説明を省略する。
以上が、通常のベイヤ配列に対する処理の詳細である。
【０１３５】
このように、圧縮Ｉ／Ｆ部１０５は、図３に示すような様々な画素配列の撮像素子のいずれにも対応が可能であることを説明した。
【０１３６】
次に、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、図３に示すような様々な画素配列の撮像素子部１０２のいずれに対しても、２０４８×１０８０サイズとなるので、圧縮処理部１０６以降の処理が、共通の処理とすることができることについて説明する。
【０１３７】
図１７は、今まで説明してきた様々な画素配列の撮像素子部１０２に対して、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像についてまとめたものである。
【０１３８】
具体的には、
＊ＲＧＢ フル画素方式
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
→２０４８×１０８０サイズのサブバンドが１２コンポーネント
【０１３９】
＊倍密度ベイヤ配列
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
→２０４８×１０８０サイズのサブバンドが８コンポーネント
【０１４０】
＊斜め配列３板方式
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
→２０４８×１０８０サイズのサブバンドが６コンポーネント
【０１４１】
＊ベイヤ配列
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ）１コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ）１コンポーネント
→２０４８×１０８０サイズのサブバンドが４コンポーネント
このように、２０４８×１０８０サイズのサブバンドの個数の違いとしてまとめることが出来る。（図中では、出力されないサブバンド画像を破線で描いている。）
【０１４２】
また、いずれも、ＲＧＢ画像のそれぞれに２０４８×１０８０サイズのサブバンド（ＬＬ）（図中の太枠で囲んだサブバンド）が存在しているので、前述したように、簡易的な色分離が行って、画像として確認することが可能である。そして、伸張Ｉ／Ｆ部２０５は、圧縮Ｉ／Ｆ部１０５が行ったサブバンド画像に分割する処理とは逆の処理を行って、画像を合成することとなる。
【０１４３】
次に、様々な画素配列の撮像素子に対して、圧縮Ｉ／Ｆ部１０５と伸張Ｉ／Ｆ部２０５の具体的な処理方法について、説明する。
【０１４４】
図１８と図１９は、ＲＧＢ フル画素方式に対応する場合の処理方法（図１８はウェーブレット変換時の処理、図１９は逆変換時の処理）を説明する図である。
図１８と図１９は、図１０と図１１と同じものであるので、ここでは重複説明を省略する。図１８に示すように、圧縮Ｉ／Ｆ部１０５は、ＲＧＢフル画素方式の撮像ＲＡＷデータに対しては、Ｒ画像、Ｇ画像、Ｂ画像の全てに対して同じ処理を行う。このとき、圧縮Ｉ／Ｆ部１０５は、Ｒ画像、Ｇ画像、Ｂ画像の水平方向にも垂直方向にもウェーブレット変換を行って、２０４８×１０８０サイズのサブバンドを１２コンポーネント分出力する。また、図１９に示すように、伸張Ｉ／Ｆ部２０５は、その逆変換を行って、ＲＧＢフル画素方式の撮像ＲＡＷデータに戻す。
【０１４５】
図２０と図２１は、倍密度ベイヤ配列の撮像素子に対応する場合の処理方法（図２０はウェーブレット変換時の処理、図２１は逆変換時の処理）を説明する図である。
図２０に示すように、圧縮Ｉ／Ｆ部１０５は、倍密度ベイヤ配列の撮像ＲＡＷデータにおけるＧ画像には、水平方向にも垂直方向にもウェーブレット変換を行う。しかし、Ｒ画像とＢ画像には、図１２Ｂに示したような走査を行った後水平方向のウェーブレット変換のみを行って、垂直方向のウェーブレット変換回路はバイパス処理を行い、そのまま出力する。ここで、図２０では、バイパス処理する部分を斜線で示している。以下の図２１〜２４でも同様にバイパス処理を行う部分を表現してある。これにより、圧縮Ｉ／Ｆ部１０５は、２０４８×１０８０サイズのサブバンドを８コンポーネント分出力する。また、図２１に示すように、伸張Ｉ／Ｆ部２０５は、逆変換でも、Ｒ画像とＢ画像は、垂直方向のウェーブレット合成回路をバイパス処理し、水平方向のウェーブレット合成のみを行う。Ｇ画像は、垂直方向にも水平方向にもウェーブレット合成することで、倍密度ベイヤ配列の撮像ＲＡＷデータに戻すことが出来る。
【０１４６】
図２２と図２３は、斜め配列の３板方式に対応する場合の処理方法（図２２はウェーブレット変換時の処理、図２３は逆変換時の処理）を説明する図である。
図２２に示すように、圧縮Ｉ／Ｆ部１０５は、斜め配列の３板方式の撮像ＲＡＷデータにおける、Ｒ画像、Ｇ画像、Ｂ画像の全てに対して同じ処理を行う。このとき、圧縮Ｉ／Ｆ部１０５は、図１５Ｂに示したような走査を行った後、Ｒ画像、Ｇ画像、Ｂ画像の水平方向のウェーブレット変換のみを行って、垂直方向のウェーブレット変換回路はバイパス処理を行い、そのまま出力する。これにより、圧縮Ｉ／Ｆ部１０５は、２０４８×１０８０サイズのサブバンドを６コンポーネント分出力する。また、図２３に示すように、伸張Ｉ／Ｆ部２０５は、逆変換でも、Ｒ画像、Ｇ画像、Ｂ画像の全てで同じ処理となり、垂直方向のウェーブレット合成回路をバイパス処理し、水平方向のウェーブレット合成のみを行う。これにより、斜め配列の３板方式の撮像ＲＡＷデータに戻すことが出来る。
【０１４７】
図２４と図２５は、通常のベイヤ配列の撮像素子に対応する場合の処理方法（図２４はウェーブレット変換時の処理、図２５は逆変換時の処理）を説明する図である。
図２４に示すように、圧縮Ｉ／Ｆ部１０５は、通常のベイヤ配列の撮像ＲＡＷデータにおけるＧ画像には、図１６Ｂに示したような走査を行った後、水平方向のみウェーブレット変換を行うが、Ｒ画像とＢ画像には、水平方向のウェーブレット変換も行わず、バイパス処理をする。垂直方向のウェーブレット変換回路はＲ画像、Ｇ画像、Ｂ画像いずれもバイパス処理を行い、そのまま出力する。これにより、２０４８×１０８０サイズのサブバンドを４コンポーネント分出力する。
【０１４８】
また、図２５に示すように、伸張Ｉ／Ｆ部２０５は、逆変換でも、Ｒ画像、Ｇ画像、Ｂ画像いずれも、垂直方向のウェーブレット合成回路をバイパス処理し、Ｇ画像のみ、水平方向のウェーブレット合成を行う。Ｒ画像とＢ画像は、水平方向のウェーブレット合成も行わず、バイパス処理をする。これにより、通常のベイヤ配列の撮像ＲＡＷデータに戻すことが出来る。
【０１４９】
このように、圧縮Ｉ／Ｆ部１０５において、入力された撮像ＲＡＷデータの種類に応じてウェーブレット回路のバイパス処理をおこなうことで、様々な画素配列の撮像素子に対して対応することが可能である。したがって、圧縮Ｉ／Ｆ部１０５の処理をコントロールするだけで、圧縮処理部１０６以降の処理が、入力サブバンド画像のコンポーネントの数が違うだけの、共通の処理とすることができる。同様に、伸張Ｉ／Ｆ部２０５の処理をコントロールするだけで、伸張処理部２０６以前の処理を、入力サブバンド画像のコンポーネントの数が違うだけの、共通の処理とすることができる。そして、伸張Ｉ／Ｆ部２０５において、入力されたサブバンド画像の種類に応じて、ウェーブレット逆変換回路のバイパス処理をおこなうことで、様々な画素配列の撮像素子によって撮像された撮像ＲＡＷデータを合成することが可能である。
【０１５０】
また、圧縮処理部１０６以降の処理と、伸張処理部２０６以前の処理を並列して行うことが可能になる。具体的には、圧縮処理部１０６では、図４のサブバンド画像Ｄ１０５−ＬＬ用の回路，サブバンド画像Ｄ１０５−ＨＬ用の回路，サブバンド画像Ｄ１０５−ＬＨ用の回路，サブバンド画像Ｄ１０５−ＨＨ用の回路をそれぞれＲＧＢ用に３系統ずつ（合計１２系統）並列に設ける。このため、４Ｋ ＲＧＢフル画像の場合は全てを使用し、その他の場合は一部のみを使用することが可能になる。同様に、伸張処理部２０６では、図７のサブバンド画像Ｄ１０６−ＬＬ用の回路，サブバンド画像Ｄ１０６−ＨＬ用の回路，サブバンド画像Ｄ１０６−ＬＨ用の回路，サブバンド画像Ｄ１０６−ＨＨ用の回路をそれぞれＲＧＢ用に３系統ずつ（合計１２系統）並列に設ける。これにより、並列度の分だけ動作速度を落とすことが出来る。つまり、リアルタイム処理に適した構成をとることが可能となる。
【０１５１】
以上説明した第１の実施の形態に係るカメラシステムによれば、ＲＧＢフル画素を有さない、ベイヤ配列の撮像素子部１０２や倍密度のベイヤ配列の撮像素子部１０２、斜め方向に画素配列された撮像素子部１０２を３枚用いた撮像システムから得られるいずれのＲＡＷデータにおいても、ＲＧＢ３コンポーネント毎に効率よく圧縮符号化することが可能となる。
【０１５２】
ここで、従来は、４Ｋ画像のように高解像度の画像を扱うカメラシステムでは、どうしても扱う信号処理量が多くなっていた。また、撮像素子のＳ／Ｎや感度といった特性の点からも、いわゆるベイヤ配列などを用いて、あらかじめ画素数を抑えてＲＡＷデータを伝送しないと実現が困難であった。しかしながら、ＲＧＢ全ての画素が存在しないため、ＲＡＷデータのまま圧縮伝送を行うと、背景技術欄に記載したように圧縮効率が上がっていなかった。
【０１５３】
一方、上述した第１の実施の形態に係る圧縮Ｉ／Ｆ部１０５や伸張Ｉ／Ｆ部２０５を用いることで、ウェーブレット変換の特徴である、画面全体を変換又は逆変換することが可能となり、ウェーブレット変換本来の高い圧縮効率を活かすことが可能となる。特に、倍密度ベイヤ配列でのＲ画像とＢ画像のＲＡＷデータ圧縮に関して、ウェーブレット変換が持つ本来の特徴を活かした大きな圧縮効率の改善を行うことが期待できる。
【０１５４】
また、カメラ部１０は、撮像素子特有のＲＡＷイメージデータのまま圧縮を行い、ＣＣＵ部２０に伝送することが可能になるため、ＲＡＷイメージデータを非圧縮で伝送する場合に比べて伝送帯域を抑えられる。特に、カメラシステムが４Ｋ画像や８Ｋ画像のように高解像度、または、６０Ｐ／２４０Ｐなどのフレームレートが高い画像を扱うデータ量は膨大となる。しかし、カメラ部１０はＲＡＷイメージデータ圧縮を行ってＣＣＵ部２０に伝送し、ＣＣＵ部２０で伸張処理を行い、ＲＡＷイメージデータを復元後、高精度かつリアルタイムなカメラ信号処理を行うことが可能となる。このため、カメラ部１０を小型化、軽量化し、低消費電力とすることが可能となる。
【０１５５】
また、既存の複合カメラケーブルの伝送帯域に収まるような圧縮率に設定するだけで、カメラ部１０がＣＣＵ部２０にＲＡＷイメージデータを伝送することが可能となる。このため、高価な複合カメラケーブルを複数用いるなどの必要がないカメラシステムを構築することが可能となる。
【０１５６】
これにより、低解像度の簡易表示システムではあるが、特別な色分離回路やダウンコンバート回路を必要としない、きわめてハードウェア効率のよいカメラ部１０を実現することが可能である。
【０１５７】
さらに、圧縮Ｉ／Ｆ部１０５の処理や伸張Ｉ／Ｆ部２０５の処理は、従来のＲＧＢフル画素方式、倍密度ベイヤ配列、斜め配列の３板方式、通常のベイヤ配列のいずれのパターンにも適応することが可能である。このため、「サブバンド画像コンポーネントの数の違い」としてハードウェアの共通処理をすることができるという効果を奏する。これは、高解像度の画像を扱うシステムにおいて、ハードウェアの並列処理が可能となり、リアルタイム処理を実現できるというメリットも提供することを示している。
【０１５８】
＜２．第２の実施の形態＞
［ハール変換を用いて画像を圧縮符号化し、ハール逆変換を用いてサブバンド画像を復号化する例］
【０１５９】
次に、本発明の第２の実施の形態に係るカメラ部１０に適用した例について、図２６〜図２８を参照して説明する。
上述したように圧縮Ｉ／Ｆ部１０５は、ウェーブレット変換と組み合わせることで、もっとも効果的に圧縮する方法を提供する。しかし、ウェーブレット変換だけでなく、ハードウェア負担の少ないハール変換などでも実現が可能である。
【０１６０】
このとき、圧縮Ｉ／Ｆ部１０５は、画素位置が交互にずれている色の画像データに対して、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行うこととなる。一方、伸張Ｉ／Ｆ部２０５は、サブバンド画像に対して、隣り合う上下２ラインの画素を単位としてハール逆変換を行って、画素位置が交互にずれている色の画像データに伸張することとなる。
【０１６１】
図２６は、倍密度ベイヤ配列に対して圧縮Ｉ／Ｆ部１０５がハール変換を行う例を示す。
【０１６２】
図２６Ａは倍密度ベイヤ配列を示している。
まず、Ｇ画像について説明すると、Ｇ画像は４Ｋフル画素があることから、図１２で説明した処理と同様に水平方向・垂直方向にウェーブレット変換の変わりにハール変換を行えばよい。
【０１６３】
このとき、圧縮Ｉ／Ｆ部１０５は、倍密度のベイヤ配列の撮像素子部１０２から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、Ｒ及びＢのサブバンド画像に分解する。また、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のハール変換及び１列の画素を単位とした垂直方向のハール変換を行って、Ｇのサブバンド画像に分解する。
【０１６４】
ハール変換は、２タップのサブバンドフィルタと考えられ、２画素間の和と差をとることと等価である。和がＬＰＦであり、差がＨＰＦとなる。
すなわち、図２６Ｂに示すように４０９６×２１６０サイズのＧ画像に対して、２画素ごとに水平方向のハール変換を施す。これにより、図２６Ｃに示すように水平方向が半分のサイズとなった２０４８×２１６０サイズの低域サブバンドＧ画像（Ｌ）（和）と高域サブバンドＧ画像（Ｈ）（差）となる。
【０１６５】
次に、水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンドＧ画像（Ｌ）（和）と高域サブバンドＧ画像（Ｈ）（差）それぞれに対して、図２６Ｃに示すように垂直方向のハール変換を施す。この結果、図２６Ｄに示すように、２０４８×２１６０の低域サブバンドＧ画像（Ｌ）（和）と高域サブバンドＧ画像（Ｈ）（差）は、４種類の２０４８×１０８０サイズのサブバンドＧ画像に変換される。
・水平方向・垂直方向ともに低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＬ）
・水平方向は低域フィルタ（和）、垂直方向は高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＨ）
・水平方向は高域フィルタ（差）、垂直方向は低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＬ）
・水平方向・垂直方向ともに高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＨ）
以上、４種類の２０４８×１０８０サイズのサブバンドＧ画像に変換される。
【０１６６】
Ｒ画像とＢ画像は、市松模様となるので、Ｒ画像とＢ画像は、隣接する上下２ライン単位でウェーブレット変換する代わりにハール変換を行う。
具体的には、図２６Ｂに示すように、Ｒ画素は隣り合う上下２ライン単位の斜め２画素ごとにハール変換を行う。
【０１６７】
以上により、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＲ画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＲ画像、
に変換する。
Ｂ画素も同様に隣り合う上下２ライン単位の斜め（Ｒとは逆斜め方向）２画素ごとにハール変換を行い、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＢ画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＢ画像、
に変換する。
以上で、既に２０４８×１０８０サイズのサブバンド画像となり、Ｇのサブバンド画像とサイズが一致する。
【０１６８】
これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０サイズのＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ倍密度ベイヤ配列でも、同じサイズとなるので、圧縮処理部１０６以降の処理が、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。
【０１６９】
図２６Ｃと図２６Ｄでは、Ｒ画像とＢ画像は斜め方向のハール変換を行ったという説明のために、サブバンド画像を以下のように記載する。
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＨ）
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＨ）
また、ここで図示したＲ画素とＢ画素の斜め方向は一例であり、Ｒ画素とＢ画素の起点画素位置が異なれば、逆斜め方向になることは明らかである。
【０１７０】
一方、伸張Ｉ／Ｆ部２０５は、Ｒ及びＢのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位としてハール変換を行って、Ｒ及びＢの画像データに伸張する。また、Ｇのサブバンド画像に対しては、１ラインの画素を単位とした水平方向のハール逆変換及び１列の画素を単位とした垂直方向のハール逆変換を行って、Ｇの画像データに伸張する。
【０１７１】
次に、図３に示した斜め配列３板方式に対して、ハール変換を行う場合を、図２７を参照して説明する。
【０１７２】
図２７Ａは、斜め配列３板方式の配列を示している。
図２７Ｂでは、図１５を参照して説明したように、グレーで記した画素が存在しないと考えられるので、これは図２６を参照して説明した、倍密度ベイヤ配列のＲ画素またはＢ画素と同じと考えることが出来る。
違うのは、Ｒ画像、Ｂ画像、Ｇ画像の全てが同じパターンであることである。
したがって、Ｒ画像、Ｂ画像、Ｇ画像には、隣接する上下２ライン単位でウェーブレット変換の代わりにハール変換を行えばよいことが分かる。
【０１７３】
このとき、圧縮Ｉ／Ｆ部１０５は、斜め配列３板方式の撮像素子部１０２からのＲＧＢの画像データの全てに対して、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、サブバンド画像に分解する。
具体的には、図２７Ｂを参照して説明したように、隣り合う上下２ライン単位の斜め２画素ごとにハール変換を行う。
【０１７４】
以上により、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンド画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンド画像、
にＲＧＢ画像をそれぞれ変換する。
以上で、既に２０４８×１０８０サイズのサブバンド画像となることも分かる。
【０１７５】
これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ斜め配列３板方式でも、同じサイズとなるので、圧縮処理部１０６以降の処理が、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。
【０１７６】
図２７Ｃと図２７Ｄでは、斜め方向のハール変換を行ったという説明のために、以下のように記載する。
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＨ）
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＨ）
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＨ）
また、ここで図示した画素の斜め方向は一例であり、Ｒ画素とＢ画素の起点画素位置が異なれば、逆斜め方向になることは明らかである。
【０１７７】
一方、伸張Ｉ／Ｆ部２０５は、サブバンド画像に対して、隣り合う上下２ラインの画素を単位としてハール逆変換を行って、斜め配列３板方式の撮像素子からのＲＧＢの画像データに伸張する。
【０１７８】
次に、図３の通常のベイヤ配列に対して、ハール変換を行う場合を、図２８を参照して説明する。
【０１７９】
図２８Ａは、いわゆる通常のベイヤ配列である。
図２８Ｂは、ＲＧＢそれぞれに分離し、実画素の存在しない位置をグレーで記している。Ｒ画像とＢ画像については、分離した状態ですでに２０４８×１０８０サイズの間引き画像となっている。
Ｇ画像については、図をみて明らかであるように、これは図２６を参照して説明した、倍密度ベイヤ配列のＲまたはＢ画素と同じと考えることが出来る。
したがって、Ｇ画像は、隣接する上下２ライン単位でウェーブレット変換する代わりにハール変換を行う。
【０１８０】
このとき、圧縮Ｉ／Ｆ部１０５は、ベイヤ配列の撮像素子部１０２からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはハール変換を行わず、Ｇの画像データに対しては、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、Ｇのサブバンド画像に分解する。
具体的には、図２８Ｂに示すように、Ｇ画素は隣り合う上下２ライン単位の斜め２画素ごとにハール変換を行う。
【０１８１】
以上により、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像、
に変換する。
以上で、既に２０４８×１０８０サイズのサブバンド画像となることも分かる。
これは、Ｒ画像とＢ画像に関しては、間引きであるが、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢ画像の全てで揃ったことを意味する。このため、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ通常ベイヤ配列でも、同じサイズとなるので、圧縮処理部１０６以降の処理を、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。
【０１８２】
図２８Ｃと図２８Ｄでは、Ｇ画像は斜め方向のハール変換を行ったという説明のために、
２０４８×１０８０サイズのＲ画像を、サブバンドＲ画像（ＬＬ）、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＨ）、
２０４８×１０８０サイズのＢ画像を、サブバンドＢ画像（ＬＬ）、
として記載している。
また、ここで図示したＧ画素の斜め方向は一例であり、Ｇの起点画素位置が異なれば、逆斜め方向になることは明らかである。
【０１８３】
一方、伸張Ｉ／Ｆ部２０５は、Ｒ及びＢのサブバンド画像に対して、ハール逆変換を行わず、Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対して、ハール逆変換を行って、Ｇの画像データに伸張する。
【０１８４】
以上説明した第２の実施の形態によれば、圧縮Ｉ／Ｆ部１０５は、ウェーブレット変換だけでなく、よりハードウェアが簡易であるハール変換でも実現できる。このため、上述した第１の実施の形態と同様に、以降の処理は並列処理が可能となる。また、色分離を簡易に行うことが可能であるため、装置の製造コストを低廉化することができる。
なお、ウェーブレット変換もＪＰＥＧ２０００の５×３可逆ウェーブレット変換係数を参照して説明したが、９×７非可逆変換や、その他の変換係数でも、実現できることは明らかであり、５×３可逆ウェーブレット変換や、ハール変換に限定するものではない。
【０１８５】
＜３．変形例＞
なお、上述した圧縮Ｉ／Ｆ部１０５、圧縮処理部１０６、伸張Ｉ／Ｆ部２０５及び伸張処理部２０６の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。
【０１８６】
また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
【０１８７】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１８８】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。
【０１８９】
また、以上の実施の形態ではカメラ部１０とＣＣＵ部２０を備えたカメラシステムに本発明を適用している。しかし、本発明は、カメラシステム以外の処理システム又は装置において、倍密度のベイヤ配列や斜め配列３板方式やベイヤ配列の撮像素子から得られるＲＡＷデータを圧縮符号化するためにも適用することができる。
また、本発明は、倍密度のベイヤ配列、斜め配列３板方式、ベイヤ配列以外の画素配列であって、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られるＲＡＷデータを圧縮符号化するためにも同様にして適用することができる。
【０１９０】
また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
【符号の説明】
【０１９１】
１０…カメラ部，３２…ウェーブレット変換部，３３…量子化部，３５…エントロピー符号化部，３６…制御部，３７…符号量計測部，３８…エントロピー復号化部，３９…逆量子化部，４０…ウェーブレット逆変換部，１０１…レンズブロック，１０２…撮像素子部，１０５…圧縮Ｉ／Ｆ部，１０６…圧縮処理部，１０７…伝送Ｉ／Ｆ部，１０９…ビューファインダ信号処理部，１１０…ビューファインダ部，１１１…システムコントロール部，１１２…操作部，１１３…伝送用複合カメラケーブル，２０３…カメラ信号処理部，２０４…モニターアウト部，２０５…伸張Ｉ／Ｆ部，２０６…伸張処理部，２０７…伝送Ｉ／Ｆ部，２０９…ダウンコンバータ部，２１１…システムコントロール部，２１２…操作部，Ｄ１０２…撮像ＲＡＷデータ，Ｄ１０５−ＬＬ…サブバンド画像，Ｄ１０５−ＨＬ…サブバンド画像，Ｄ１０５−ＬＨ…サブバンド画像，Ｄ１０５−ＨＨ…サブバンド画像，Ｄ１０７…本線伝送信号，Ｄ２０３…撮像４Ｋ画像，Ｄ２１０…外部４Ｋ画像，Ｄ２０９…リターン２Ｋ画像
【技術分野】
【０００１】
本発明は、例えば、様々な種類の配列方式からなる撮像素子から得たＲＡＷデータを効率よく圧縮符号化し、この圧縮符号化されたＲＡＷデータを伸張する場合に適用して好適なカメラシステム及び画像処理方法に関する。
【背景技術】
【０００２】
従来、ベイヤ配列の撮像素子を用いた撮像装置が一般に知られている。このような撮像素子は、色フィルタを介して被写体の像光を取込み、像光の強さに応じて画像信号を出力する。そして、後続の処理部が画像信号に所定の処理を施すことによって、撮像装置がビューファインダや外部の表示装置に画像を表示させることができる。
【０００３】
一般に、ライブ中継などに用いるカメラシステムは、撮像装置として用いられ、撮像素子を有するカメラ部と、カメラ部から離れた場所に設置されたＣＣＵ（カメラコントロールユニット）部を備えている。カメラ部と、ＣＣＵ部の間は、伝送用複合カメラケーブルなどを用いて接続されており、ＣＣＵ部がカメラ部の設定を行っている。このとき、ＣＣＵ部は、カメラ部から伝送された画像に対する信号処理を高精度、かつリアルタイムに行っている。また、従来のカメラシステムは、４Ｋ画像や８Ｋ画像のように高解像度、または、６０Ｐ／２４０Ｐなどのフレームレートが高い画像を扱っているため、扱うデータ量が膨大となる。このため、カメラ部がＲＡＷイメージデータのままＣＣＵ部に伝送し、ＣＣＵ部がカメラ信号処理を行っていた。
なお、８Ｋは、例えば８１９２サンプル×４３２０ライン等の高い解像度の仕様の例である。４Ｋは、例えば４０９６サンプル×２１６０ライン等の、８Ｋより低い解像度の仕様の例である。また、２Ｋは、例えば２０４８サンプル×１０８０ライン等の、４Ｋより低い解像度の仕様の例である。
【０００４】
特許文献１には、ベイヤ配列の撮像素子から得られるＲＡＷデータ（色補間前の画像データ）をそのままＪＰＥＧなどで圧縮することが記載されている。
【０００５】
特許文献２には、ベイヤ配列の撮像素子から得られるＲＡＷデータを圧縮する方法として、Ｇ１、Ｇ２、Ｒ、Ｂ４コンポーネント毎に画像圧縮する技術と、ウェーブレット圧縮を用いた具体例が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２４７３７６号公報
【特許文献２】特開２００３−１２５２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、従来のカメラシステムでは、ＲＡＷイメージデータとはいえ、カメラ部からＣＣＵ部に非圧縮でＲＡＷイメージデータを伝送していた。しかし、ＲＡＷイメージデータを非圧縮で伝送すると、圧縮した場合に比べて伝送帯域が大きくなるため、伝送路の消費電力が大きくなっていた。また、伝送帯域を確保するためには、１０Ｇｂｐｓと言った高価な伝送ケーブルを複数確保する必要があり、伝送ケーブルも含めて非常に高価なカメラシステムを構築する必要があった。また、ＲＡＷイメージデータのまま圧縮する場合を想定しても、ＲＡＷイメージデータを具体的にどのような方法を用いて圧縮しているかについて詳細が不明であったり、圧縮効率が上がらなかったりしていた。
【０００８】
また、ＲＡＷイメージデータを圧縮する際には、従来、グリーンの画素については、水平方向と垂直方向に画素位置が交互にずれているため、画素位置がずれないように、Ｇ１、Ｇ２という２つのコンポーネントに分けてから圧縮していた。この圧縮は、１枚の画像として本来強い相関を持つ画素間を、サブサンプリングすることで別画面に分離してから行なわれる。このため、分離された画像間の相関を利用できず、圧縮効率が落ちていた。
特に、ウェーブレット変換は画面全体をサブバンド分割することで、非常に高い圧縮効率を実現できるが、従来の方式では別画面に分離するので、ウェーブレット変換が本来有する高い圧縮効率を発揮していなかった。
【０００９】
また、ウェーブレット変換を用いてサブバンド分割を繰り返すことにより、１つの圧縮符号から異なる解像度の画像を得られる。例えば、特許文献２に記載された技術により、ある解像度の画像に対して、半分の解像度の画像をビューファインダ等に表示する場合に、グリーンは２枚に分けた画像のうちのどちらかだけを用いる。この場合、単なる「画素間引き」となり、ビューファインダに表示される画像が折り返しノイズの影響を受けてしまうなど、ウェーブレット変換を使うメリットを十分に享受できていなかった。
【００１０】
また、従来の技術は、ベイヤ配列の撮像素子から得られるＲＡＷデータの圧縮方法に関するものであるが、倍密度のベイヤ配列の撮像素子や斜め方向に画素配列された３板撮像素子システムから得られるＲＡＷデータを圧縮する技術に関するものではない。
したがって、撮像素子の画素配列ごとに異なる圧縮方式を用いなければならず、ハードウェアを共通化することができなかった。
【００１１】
また、特許文献１には、ＲＧＢフル画素に色分離しないで圧縮記録する技術が開示されている。この技術は、色分離によるデータレートを増加させることなく、そのまま圧縮することによりデータレートを抑えられるというメリットはあるものの、どのように圧縮するのか詳細が不明である。もし、文字通りベイヤ配列のまま１枚の画像として圧縮する場合には、多くの自然画像の場合において、ＲＧＢの画素ごとのレベルは異なる。そして、隣り合う画素がＲＧＢに塗り分けられているため、非常に大きな高周波成分が発生し、圧縮効率が上がらない。換言すれば、圧縮ノイズが非常に多くなってしまうことが予想される。
【００１２】
本発明は、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られるＲＡＷデータを、効率よく圧縮符号化してカメラ部からＣＣＵ部に画像を伝送することを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係るカメラ部は、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、画素位置が交互にずれている色の画像データに対して、サブバンド分割を行う。このサブバンド分割は、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として行われるものである。
そして、カメラ部は、伝送線を介してサブバンド画像を出力する
一方、本発明に係るカメラコントロール部は、伝送線を介してサブバンド画像を入力する。
そして、カメラコントロール部は、サブバンド画像の隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、画素位置が交互にずれている色の画像データに伸張し、サブバンド画像を画像データに合成する。
【００１４】
本発明によれば、水平または垂直方向に画素位置が交互にずれていても、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割が行われる。このため、画素位置がずれたまま圧縮符号化することにより、効率よく圧縮符号化することができる。
【発明の効果】
【００１５】
本発明によれば、カメラ部が画像データ（例えば、ＲＡＷデータ）を圧縮して、この圧縮したデータをＣＣＵ部に伝送し、ＣＣＵ部が伸張して、画像データを再現するため、カメラ部の信号処理を高精度かつリアルタイムに行うことができる。このとき、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られる画像データを、効率よく圧縮符号化することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施の形態に係るカメラ部を示す図である。
【図２】本発明の一実施の形態に係るＣＣＵ部を示す図である。
【図３】撮像素子の画素配列の例を示す図である。
【図４】圧縮処理部の圧縮符号化時のブロック図である。
【図５】ウェーブレット変換の分割レベルを例示する図である。
【図６】ウェーブレット変換の分割レベルを例示する図である。
【図７】伸張処理部の圧縮複号化時のブロック図である。
【図８】従来技術を示す図である。
【図９】従来技術を倍密度ベイヤ配列に適用した図である。
【図１０】圧縮Ｉ／Ｆ部のウェーブレット変換時の処理を示す図である。
【図１１】伸張Ｉ／Ｆ部の逆変換時の処理を示す図である。
【図１２】倍密度ベイヤ配列に対する圧縮Ｉ／Ｆ部のウェーブレット変換処理を示す図である。
【図１３】倍密度ベイヤ配列に対する圧縮Ｉ／Ｆ部のウェーブレット変換処理の別の例を示す図である。
【図１４】ウェーブレット変換後のサブバンド画像の画素重心位置を示す図である。
【図１５】斜め配列３板方式に対する圧縮Ｉ／Ｆ部のウェーブレット変換処理を示す図である。
【図１６】ベイヤ配列に対する圧縮Ｉ／Ｆ部のウェーブレット変換処理を示す図である。
【図１７】各種の画素配列に対する圧縮Ｉ／Ｆ部の出力を示す図である。
【図１８】ＲＧＢフル画素方式に対する圧縮Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。
【図１９】ＲＧＢフル画素方式に対する伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である。
【図２０】倍密度ベイヤ配列に対する圧縮Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。
【図２１】倍密度ベイヤ配列に対する伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である
【図２２】斜め配列３板方式に対する圧縮Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。
【図２３】斜め配列３板方式に対する伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である。
【図２４】ベイヤ配列に対する圧縮Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。
【図２５】ベイヤ配列に対する伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である。
【図２６】倍密度ベイヤ配列に対して圧縮Ｉ／Ｆ部がハール変換を行う例を示す図である。
【図２７】斜め配列３板方式に対して圧縮Ｉ／Ｆ部がハール変換を行う例を示す図である。
【図２８】ベイヤ配列に対して圧縮Ｉ／Ｆ部がハール変換を行う例を示す図である。
【発明を実施するための形態】
【００１７】
以下、発明を実施するための最良の形態（以下実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（圧縮符号化、又は復号化の制御：ウェーブレット変換を用いる例）
２．第２の実施の形態（圧縮符号化、又は復号化の制御：ハール変換を用いる例）
３．変形例
【００１８】
＜１．第１の実施の形態＞
［ウェーブレット変換を用いて画像を圧縮符号化し、ウェーブレット逆変換を用いてサブバンド画像を復号化する例］
【００１９】
以下、本発明の第１の実施の形態について、図１〜図２５を参照しながら説明する。
以下の実施の形態では、ＲＧＢフル画素を有さない、ベイヤ配列の撮像素子や倍密度のベイヤ配列の撮像素子、斜め方向に画素配列された撮像素子を３枚用いた撮像システムから得られるいずれのＲＡＷデータにおいても、Ｒ／Ｇ／Ｂ ３コンポーネント毎に効率よく圧縮符号化し、サブバンド画像に分解して、このサブバンド画像を出力するカメラ部１０と、カメラ部１０から伝送用複合カメラケーブル１１３を介して受け取ったサブバンド画像を伸張するＣＣＵ部２０と、を備えるカメラシステムに適用した例について説明する。以下、ＲＧＢ画素の要素を含んだ３本のコンポーネント信号のことを、「Ｒ／Ｇ／Ｂ ３コンポーネント」と略称する。
【００２０】
本例のカメラ部１０は、レンズブロック１０１を通して撮像素子部１０２で電気信号に変換されたＲＡＷイメージデータをＣＣＵ部２０に伝送する。撮像素子部１０２に実画素が存在しない為に、水平または垂直方向に画素位置が交互にずれていても、ずれたまま圧縮符号化することにより、圧縮効率を落とすことなく圧縮符号化を実現することができる。
【００２１】
ここで、水平または垂直方向に画素位置が交互にずれていた間引き画像は、ウェーブレット変換と組み合わせることにより平均化される。このため、半分の解像度になった低域サブバンド画像は、ＲＧＢフル画素を有する画像となる。
つまり、ウェーブレット変換による簡易的な、いわゆる色分離（Ｄｅ−ベイヤ）処理が行われることになり、カメラ部１０が備える不図示のモニターに表示できるようになる。これは、ウェーブレット変換を用いると、解像度の異なる画像を同一の画像データから得られるためである。そして、ベイヤなどの色分離が必要な撮像素子から得られたＲＡＷデータにおいてもウェーブレット変換を施すことで、モニター等に容易に表示できることになる。
【００２２】
ＲＧＢフル画素の撮像素子から得られる画像をウェーブレット変換した場合には、ＲＧＢのそれぞれが４つの画像にサブバンド分割され、ＲＧＢ合計では１２のサブバンド画像に分解される。本例の圧縮符号化方法を用いれば、ＲＡＷデータをウェーブレット変換後のサブバンド画像の数の違いとして扱うことが出来る。例えば、ベイヤ配列から得られるＲＡＷデータは４つのサブバンド画像、倍密度のベイヤ配列から得られるＲＡＷデータでは８つのサブバンド画像、斜め方向に画素配列された３板撮像素子システムから得られるＲＡＷデータでは、６つのサブバンド画像として扱える。このため、ウェーブレット変換以降の圧縮符号化処理を共通の処理として実現できる。
【００２３】
また、４Ｋ画像のように高解像度の画像では、扱うデータ量が膨大となるので、リアルタイム処理を行う場合には、なんらかの並列処理が必要となる。しかし、本例の圧縮符号化方法を用いることで、上述したようにサブバンド画像の数の違いとして扱うことが出来る。このため、画像をサブバンド分割した後の処理として、必要数の処理ブロックを並列に動作させることが可能となり、並列度の分だけ動作速度を抑えることが可能となる。また、後述するように、ウェーブレット変換だけでなく、ハードウェアが簡単なハール変換でも同様の効果が得られる。
【００２４】
図１と図２は、４Ｋ×２Ｋ画素を扱うカメラシステムの構成例を示すブロック図である。図１は、カメラ部１０を示し、図２は、ＣＣＵ部２０（カメラコントロールユニット）のブロック図を示す。カメラ部１０とＣＣＵ部２０の間は、伝送用複合カメラケーブル１１３を用いて接続される。
【００２５】
図１は、４Ｋ画像と２Ｋ画像を扱うカメラ部１０の例を示す。
カメラ部１０は、本発明に係る画像圧縮を行うことができる撮像装置の一例である。
レンズブロック１０１は、絞りやズームの制御を行い、光学映像を撮像素子部１０２に結像するものである。
【００２６】
また、撮像素子部１０２は、レンズブロック１０１から入力された光学映像を、映像デジタル信号に変換し、撮像ＲＡＷデータ（Ｄ１０２）として出力するものである。本例では、撮像素子として図３に示すような画素配列の撮像素子のいずれにも対応が可能である。
＜ＲＧＢ フル画素方式＞
・光学プリズムを用いてＲＧＢに分光するＲＧＢ３板方式
・センサーの奥行き方向に光の波長感度を有するような構造の単板方式
・液晶ＴＶのように１画素をＲＧＢ３ストライプに塗り分けた単板方式
＜倍密度ベイヤ配列＞
通常のベイヤ配列を、画素密度を２倍にするとともに斜め４５°に配列することで、Ｇはフル画素、Ｒ画素とＢ画素は斜め方向に空かされた配置の画素配列（図中の太枠は通常のベイヤ配列における画素）となる。
＜斜め配列３板方式＞
・１枚の撮像素子としては、斜め４５度に画素が配置されており、隣り合う水平または垂直２画素間、あるいは４画素間で、画素補間を行って図中の太枠（通常のベイヤ配列における画素）のうち点線の丸印で示した画素を補間することを前提とした画素配列である。
・この撮像素子を３枚用い光学プリズムと組み合わせて撮像するシステム
・または、上記の画素配列で、センサーの奥行き方向に光の波長感度を有するような構造の単板方式
＜ベイヤ配列＞
・いわゆる通常のベイヤ配列
【００２７】
圧縮Ｉ／Ｆ部１０５は、ベイヤ配列などの撮像素子からの撮像ＲＡＷデータ（Ｄ１０２）を、ウェーブレット変換により２Ｋ帯域のサブバンド画像に分解するものである。圧縮Ｉ／Ｆ部１０５は、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行うサブバンド分割部として機能する。
【００２８】
そして、圧縮Ｉ／Ｆ部１０５は、画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行う。または、圧縮Ｉ／Ｆ部１０５は、隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行う。
【００２９】
本例では、圧縮Ｉ／Ｆ部１０５が以下のサブバンド画像を出力する。
水平方向・垂直方向ともに低域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＬＬとして出力される。
水平方向は高域成分、垂直方向は低域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＨＬとして出力される。
水平方向は低域成分、垂直方向は高域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＬＨとして出力される。
水平方向・垂直方向ともに高域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＨＨとして出力される。
【００３０】
撮像素子部１０２の画素配列によっては、２Ｋ帯域のサブバンド画像ＨＬ／ＬＨ／ＨＨが、ＲＧＢそれぞれについて全ては出力されず、出力されないサブバンド画像が存在する場合がある。詳細は別途説明する。
【００３１】
圧縮処理部１０６は、２Ｋ帯域のサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）をそれぞれ、圧縮符号化方式を用いて画像圧縮し、それぞれ対応するコードストリーム（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）として出力するものである。圧縮Ｉ／Ｆ部１０５ではウェーブレット変換を用いているので、圧縮処理部１０６は、同じウェーブレット変換を用いるＪＰＥＧ２０００などを用いるのが最適であるが、既存のその他の画像圧縮方式を用いても構わない。
【００３２】
また、圧縮処理部１０６は、圧縮Ｉ／Ｆ部１０５から出力された画像データを圧縮符号化する処理を、圧縮Ｉ／Ｆ部１０５によって分割される帯域ごと及び３原色の色ごとに並列して行う圧縮符号化部として機能する。
【００３３】
伝送Ｉ／Ｆ部１０７は、圧縮処理部１０６からのコードストリーム（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）をまとめ、ＣＣＵ部２０に伝送するためのインターフェースを行い、本線伝送信号（Ｄ１０７）を出力するものである。このとき、伝送Ｉ／Ｆ部１０７は、第１の伝送インターフェース部として、コードストリーム（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）からなる圧縮されたサブバンド画像を所定の画像信号に変換し、伝送用複合カメラケーブル１１３を介して画像信号を出力する。
【００３４】
ビューファインダ信号処理部１０９は、入力される画像を表示システムに表示するための表示信号として出力する表示信号出力部の一例である。２Ｋ帯域のサブバンド画像のうちＤ１０５−ＬＬは、水平方向・垂直方向ともに低域のサブバンド画像であるので、２ＫサイズのＲＧＢフル画像としてモニターが可能である。これにより、カメラ信号処理部２０３（後述する図２参照）と同様にホワイトバランスや明るさなどのカメラ画像調整を２Ｋで行うことが可能である。さらに、撮影のための設定情報や、フォーカス合わせを容易にするためのピーキング処理などを行って、ビューファインダ部１１０に撮像２Ｋ画像（Ｄ１０９）を出力する。
【００３５】
ビューファインダ部１１０は、ビューファインダ信号処理部１０９からの撮像２Ｋ画像（Ｄ１０９）、または、ＣＣＵ部２０から送られてきたリターン２Ｋ画像（Ｄ２０９）のいずれかを操作部を通じて選択し、表示するものである。
システムコントロール部１１１は、制御ソフトウェアプログラムをもち、そのプログラムに従ってカメラ部１０全体を制御する。また操作部１１２からの入力に応じて、各ブロックとデータバスを繋ぎ、データをやりとりし、撮影のための設定や状態を制御するものである。
操作部１１２は、カメラ部１０に対する操作を受け付け、電気信号としてシステムコントロール部１１１に伝達するものである。
【００３６】
伝送用複合カメラケーブル１１３は、双方向の信号線が１つにまとめられているような複合カメラケーブルであり、カメラ部１０とＣＣＵ部２０を接続する。そして、カメラ部１０からＣＣＵ部２０には圧縮されたＲＡＷイメージデータを本線伝送信号（Ｄ１０７）として伝送し、ＣＣＵ部２０からカメラ部１０には、非圧縮のリターン２Ｋ画像と、カメラ部１０をコントロールする制御信号を重畳して伝送する。
【００３７】
次に、図２を参照して、ＣＣＵ部２０の内部構成例について説明する。
ＣＣＵ部２０は、カメラ部１０から圧縮伝送されたＲＡＷイメージデータを伸張した後にカメラ信号処理を高精度に行い、モニターアウト部２０４に撮像４Ｋ画像（Ｄ２０３）を出力する。また、ＣＣＵ部２０は、カメラ部１０が撮影した以外の画像を外部入力部２１０から入力された外部４Ｋ画像（Ｄ２１０）を、リターン２Ｋ画像（Ｄ２０９）としてカメラ部１０に送ったり、制御信号をカメラ部１０に送ったりすることによって、カメラ部１０の設定を行う。
【００３８】
伝送Ｉ／Ｆ部２０７は、カメラ部１０から伝送された本線伝送信号（Ｄ１０７）から、各サブバンド画像圧縮データ（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）としてインターフェースを行うものである。このとき、伝送Ｉ／Ｆ部２０７は、第２の伝送インターフェース部として、伝送用複合カメラケーブル１１３を介して入力する画像信号を、コードストリーム（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）からなる圧縮されたサブバンド画像に変換する。
伸張処理部２０６は、カメラ部１０から伝送された各サブバンド画像圧縮データを伸張し、２Ｋ帯域のサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）として出力する伸張復号化として機能する。このとき、伸張処理部２０６は、圧縮符号化されたサブバンド画像を伸張復号化する処理を、圧縮Ｉ／Ｆ部１０５によって分割される帯域ごと及び３原色の色ごとに並列して行う。
【００３９】
伸張Ｉ／Ｆ部２０５は、伸張処理された２Ｋ帯域のサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）を、ウェーブレット逆変換を行って合成し、この合成データを撮像ＲＡＷデータ（Ｄ１０２）として出力する画像伸張部として機能する。このとき、伸張Ｉ／Ｆ部２０５は、伝送Ｉ／Ｆ部２０７と伸張処理部２０６を介して、サブバンド画像を受け取る。そして、伸張Ｉ／Ｆ部２０５は、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、画素位置が交互にずれている色の画像データに伸張し、サブバンド画像を撮像素子から出力される画像データに合成する。
【００４０】
そして、伸張Ｉ／Ｆ部２０５は、サブバンド画像に対して、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行い、画素位置が交互にずれている色の画像データに伸張する。
【００４１】
また、カメラ信号処理部２０３は、ベイヤ配列などの撮像素子部１０２が出力する撮像ＲＡＷデータ（Ｄ１０２）より、画像として確認できるようにＲＧＢフルの４Ｋ画像（いわゆる色分離）を作り出し、ホワイトバランスや明るさなどのカメラ画像調整を行い、モニターアウト部２０４に撮像４Ｋ画像（Ｄ２０３）を出力する。
また、モニターアウト部２０４は、外部の４Ｋモニターなどに４Ｋ画像の映像信号を出力するものである。
【００４２】
ダウンコンバータ部２０９は、カメラ信号処理部２０３からの撮像４Ｋ画像（Ｄ２０３）と、外部入力部２１０からの外部４Ｋ画像（Ｄ２１０）のいずれかを操作部２１２を通じて選択する。そして、４Ｋ画像から２Ｋ画像にダウンコンバートし、リターン２Ｋ画像（Ｄ２０９）として出力し、伝送用複合カメラケーブル１１３を通じてカメラ部１０に伝送する。４Ｋ画像は情報量が多く伝送帯域を取り、また、カメラ部１０には、４Ｋの画像を表示できるビューファインダ部１１０が一般的に用いられていないため、ＣＣＵ部２０は、２Ｋ画像にダウンコンバートしてから伝送しているが、可能であるならば４Ｋ画像のまま伝送しても良い。また、ＣＣＵ部２０は、外部入力部２１０から４Ｋ画像を取り込んでいるが、２Ｋ画像として取り込んでもよい。その際には、ダウンコンバータ部２０９は、バイパス処理をすることで対応できる。
【００４３】
システムコントロール部２１１は、制御ソフトウェアプログラムをもち、そのプログラムに従ってカメラシステム全体を制御する。また、操作部２１２からの入力に応じて、各ブロックとデータバスを繋ぎ、データをやりとりし、ＣＣＵ部２０における撮影のための設定や状態を制御する。また、ＣＣＵ部２０だけでなく、カメラ部１０の撮影のための設定や状態も制御する。このような制御を行うための制御信号は、伝送Ｉ／Ｆ部２０７を通して伝送用複合カメラケーブル１１３の信号に重畳してカメラ部１０に送る。
操作部２１２は、カメラシステムに対する操作を受け付け、電気信号としてシステムコントロール部１１１に伝達するものである。
【００４４】
本発明を実現するためのブロックは圧縮Ｉ／Ｆ部１０５と伸張Ｉ／Ｆ部２０５であるが、画像データを圧縮する際にウェーブレット変換を用いている。このため、同じくウェーブレットを用いて圧縮伸張を行う圧縮処理部１０６、伸張処理部２０６について、まず説明する。
【００４５】
図４に、圧縮処理部１０６の圧縮符号化時の詳細なブロック図を示す。
ウェーブレット変換部３２は２Ｋ帯域のサブバンド画像Ｄ１０５−ＬＬに対して、ウェーブレット変換を施してウェーブレット変換係数Ｄ３２−ＬＬを出力する。
【００４６】
このウェーブレット変換部３２は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクによって実現される。なお、デジタルフィルタは、通常複数タップ長のインパルス応答（フィルタ係数）を持っているため、フィルタリングが行えるだけの入力画像または係数を予めバッファリングしておく必要がある。ウェーブレット変換を多段に行う際にも同様に、前段で生成したウェーブレット変換係数をフィルタリングが行えるだけの係数だけ、バッファリングしておく必要がある。
【００４７】
ここで、ウェーブレット変換によって生成されるサブバンド画像について説明する。
図５は、サブバンド画像の例を示している。このウェーブレット変換では、通常図５に示すように低域成分が繰り返し変換され、分割されるが、これは画像のエネルギーの多くが低域成分に集中しているためである。このことは、図６Ａに示す分割レベル＝１から図６Ｂに示す分割レベル＝３のように、分割レベルを進めていくに従って、サブバンド画像が形成されていくことからも分かる。
【００４８】
図５におけるウェーブレット変換の分割レベルは３であり、この結果、計１０個のサブバンド画像が形成されている。ここで、図５においてＬ，Ｈはそれぞれ低域，高域を表し、Ｌ，Ｈの前の数字は分割レベルを表す。すなわち、例えば１ＬＨは、水平方向が低域で垂直方向が高域である分割レベル＝１のサブバンド画像を表す。
【００４９】
図４の説明に戻る。ウェーブレット変換係数Ｄ３２−ＬＬは、次に量子化部３３で量子化されて量子化係数Ｄ３３−ＬＬが出力される。ここでの量子化手段としては、ＪＰＥＧ２０００でも使われているスカラ量子化を使えばよい。これは下記の（式１）で示す様に、ウェーブレット変換係数Ｗを量子化ステップサイズΔで除算した値を、量子化係数ｑの値とすればよい。
ｑ＝Ｗ／Δ ・・・・・・・（式１）
【００５０】
量子化ステップサイズΔＤ３７−ＬＬは後述する符号量計測部３７から与えられる。
量子化係数Ｄ３３−ＬＬは、次にエントロピー符号化部３５に出力され、エントロピー符号化部３５において任意の情報源圧縮手段を用いて、量子化係数Ｄ３３−ＬＬを圧縮する動作を行う。エントロピー符号化手段としては、一般に使われているハフマン符号化（ＭＰＥＧやＪＰＥＧで採用されているもので、予めデータに出現する記号の出現頻度に合わせて作成したハフマン符号化テーブルを参照して、符号を生成する方式）や、算術符号化（Ｈ．２６４やＪＰＥＧ２０００で採用されている方式）を利用すればよい。またその際、ここではその詳細については述べないものの、ＪＰＥＧ２０００と同じく、量子化係数を、ビットプレーン単位のエントロピー符号化であるＥＢＣＯＴ（Embedded Block Coding with Optimal Truncation）と組み合わせてもよい。
【００５１】
エントロピー符号化部３５で符号化された結果は、符号化コードストリームＤ３５−ＬＬとして出力され、圧縮処理部１０６の出力Ｄ１０６−ＬＬとなるとともに、符号量計測部３７にも入力する。
【００５２】
符号量計測部３７では、符号化コードストリームＤ３５−ＬＬの１フレーム内での符号量を累積しながら、制御部３６から与えられる目標符号量Ｄ３６−ＬＬとの比較を行う。そして、目標符号量を超えそうな場合には、量子化部３３の量子化ステップサイズＤ３７−ＬＬを１段階大きくするように変更する。
逆に、符号化コードストリームＤ３５−ＬＬの１フレーム内での符号量の累積が、目標符号量を下回りそうな場合には、量子化部３３の量子化ステップサイズＤ３７−ＬＬを１段階小さくするように変更する。
【００５３】
以上が、圧縮処理部１０６の圧縮符号化時の動作であるが、圧縮処理部１０６には、２Ｋ帯域のサブバンド画像ＬＬ成分以外にも、ＨＬ成分、ＬＨ成分、ＨＨ成分が入力される。
【００５４】
ＨＬ／ＬＨ／ＨＨ成分についても、ＬＬ成分と同様に、ウェーブレット変換部３２を用いて、分割レベルを上げても良い。しかしながら、図４の例では、すでに圧縮Ｉ／Ｆ部１０５で第１レベルのウェーブレット変換がなされている。このため、図５で示した画像のエネルギーの多くが低域成分に集中している性質を用いた通常のウェーブレット変換に合わせて、低域成分のサブバンド画像Ｄ１０５−ＬＬのみを繰り返し変換そして分割される態様としている。
【００５５】
例えばハードウェアにより、ウェーブレット変換からエントロピー符号化までの処理が１つの回路で実現できているような場合がある。この場合、あえてウェーブレット変換を行わない回路を新規に開発せずに、既存の１つの回路を４並列で用いて圧縮処理部１０６を構成することに制約を与えるものではない。
図４の例では、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨについては、量子化とエントロピー符号化のみを行い、ウェーブレットの分割レベルは上げないものとしている。
【００５６】
そして、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨは、それぞれ符号化コードストリームＤ３５−ＨＬ、Ｄ３５−ＬＨ、Ｄ３５−ＨＨとして出力される。そして、圧縮処理部１０６の出力Ｄ１０６−ＨＬ、Ｄ１０６−ＬＨ、Ｄ１０６−ＨＨとなる。また、符号量計測部３７により、それぞれの符号化コードストリームの１フレーム内での符号量を累積しながら、制御部３６から与えられる目標符号量Ｄ３６−ＨＬ、Ｄ３６−ＬＨ、Ｄ３６−ＨＨとの比較を行う。そして、ＬＬ成分と同様に、符号化コードストリームの１フレーム内での符号量が目標符号量を超えそうな場合には、量子化部３３の量子化ステップサイズを１段階大きくするように変更する。逆に、符号化コードストリームの１フレーム内での符号量の累積が、目標符号量を下回りそうな場合には、量子化部３３の量子化ステップサイズを１段階小さくするように変更する。
【００５７】
以上のようにして、それぞれの２Ｋ帯域のサブバンド画像に対する符号量を制御する。
制御部３６は、それぞれの２Ｋ帯域のサブバンド画像に対する目標符号量を、それぞれ対応する符号量計測部３７にあらかじめ設定するように説明した。しかし、たとえば、各符号量計測部３７から、符号量積算状況の情報を制御部３６に送り、それぞれの符号量積算状況に応じて、各サブバンド毎の目標符号量を動的に融通しあって変更してもよい。自然画像では、低域成分を多く含む画像であったり、逆に高域成分を多く含む画像であったりするので、画像の性質に応じた最適な符号量制御が可能である。
以上が、圧縮符号化時の動作説明である。
【００５８】
次に、図７に、伸張処理部２０６の伸張復号化時の詳細なブロック図を示し、圧縮復号時の動作について説明する。
符号化コードストリームＤ１０６−ＬＬ、Ｄ１０６−ＨＬ、Ｄ１０６−ＬＨ、Ｄ１０６−ＨＨが入力されるエントロピー復号化部３８では、図４で述べたエントロピー符号化に対応した手段に従って復号化を行う。エントロピー復号化の結果、量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨが生成される。
【００５９】
量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨは、逆量子化部３９で量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨからウェーブレット変換係数Ｄ３９−ＬＬ、Ｄ３９−ＨＬ、Ｄ３９−ＬＨ、Ｄ３９−ＨＨに変換される。ここでの逆量子化手段は、（式１）の逆の操作になり、以下の（式２）で表すことが出来る。
Ｗ＝ｑ×Δ ・・・・・・・（式２）
（Ｗはウェーブレット変換係数、ｑは量子化係数、Δは量子化ステップサイズ）
【００６０】
ウェーブレット変換係数Ｄ３９−ＬＬは、ウェーブレット逆変換部４０でＬＬ成分の２Ｋ帯域のサブバンド画像Ｄ１０５−ＬＬに戻され出力される。
符号化時に、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨについても、ウェーブレット再分割を行った場合には、それぞれのサブバンド毎にウェーブレット逆変換部４０を設けて、それぞれの２Ｋ帯域のサブバンド画像に戻せばよいことは明らかである。
以上が、圧縮復号化時の動作説明である。
【００６１】
ここで、図８を参照しながら、従来の特許文献２に記載された技術が有していた課題を整理しておく。
【００６２】
図８Ａは、通常のベイヤ配列を用いた４ＫベイヤＲＡＷ画像の例である。
４Ｋ画素があるものの、通常のベイヤ配列ではこれを図示したようにＲＧＢに塗り分けて、ＲＧＢのカラーフィルタに対応した光の波長成分のみがそれぞれの画素において、光から電気信号に変換される。通常のベイヤ配列では、Ｇが市松（チェッカーフラッグ）模様に配置されている。
【００６３】
図８Ｂは、４ＫベイヤＲＡＷ画像の画素を分離した、Ｒ画素、Ｇ１画素、Ｇ２画素、Ｂ画素の４つの色成分のコンポーネントの例を示す。
特許文献２に記載された技術では、上述した４ＫベイヤＲＡＷ画像を、Ｒ画素、Ｇ１画素、Ｇ２画素、Ｂ画素と４つの色成分のコンポーネントとして捉えている。
【００６４】
図８Ｃは、図８Ｂに示した４つの色成分のコンポーネントを画素毎に集めた例を示す。
特許文献２に記載された技術では、図８Ｂに示した４つの色成分のコンポーネントに含まれる画素を集めて２ＫのＲ画像、２ＫのＧ１画像、２ＫのＧ２画像、２ＫのＢ画像とし、それぞれウェーブレット変換を用いた圧縮符号化を行って記録している。
【００６５】
ここで、Ｇ１画素とＧ２画素は本来斜め方向に隣接しており、Ｇ１画素とＧ２画素の画素間は非常に高い相関を持っていることが知られている。それにもかかわらず、特許文献２に記載された技術は、わざわざＧ１画像とＧ２画像というあたかも独立した２枚の画像（もしくは２つの色成分）として圧縮符号化を行っているため、圧縮効率が低下してしまう。特に、ウェーブレット変換は画面全体をサブバンド変換する点で、高い圧縮効率を実現しているが、従来技術とウェーブレット変換の組合せでは、ウェーブレット変換本来の高い圧縮率を享受しているとは言いがたい。
【００６６】
また、図８Ｂに示したように、Ｇ１画像とＧ２画像というサブサンプリングによる「間引き」が行われるため、Ｇ１画像もしくはＧ２画像のみを２Ｋのモニターに表示した場合には、標本化定理により折り返し歪みが発生することは明白である。そこでＧ１画像とＧ２画像の両者を用いて、信号処理で２Ｋの平均画像を作った後にモニターに表示することが考えられるが、２Ｋの２倍のデータにアクセスしなければならない。しかし、ウェーブレット変換はサブバンド分割なので、本来ならば、２Ｋの低域成分にのみアクセスすれば、モニターに表示できる能力を持っている。この点でも、特許文献２に記載された技術は、ウェーブレット変換のメリットを十分に享受しているとは言いがたい。
【００６７】
図９は、倍密度ベイヤ配列に従来技術を適用した例を示す。
図９Ａは、通常のベイヤ配列を、画素密度を２倍にするととともに斜め４５度にして画素を配列したものである。
この配列の特徴は、Ｇ画像は４Ｋフル画素、Ｒ画像とＢ画像は斜めに空かされているが、水平方向・垂直方向には４Ｋ解像度が得られる点にある。画素密度は、通常のベイヤの２倍となるため、以下の説明では、「倍密度ベイヤ配列」と呼ぶことにする。
【００６８】
ここで、この倍密度ベイヤ配列を用いた４Ｋ ＲＡＷ画像を特許文献２に記載された技術に準じて圧縮する場合を考える。この場合、ベイヤ配列とは異なり、図９Ｂに示すようにＧは４Ｋ全ての画素が揃っているが、Ｒ画像とＢ画像が市松模様となる。このため、図９Ｃに示すようにＲ１画素、Ｒ２画素、Ｇ画素（ただし４Ｋ解像度）、Ｂ１画素、Ｂ２画素と５つの色成分のコンポーネントと考える。そして、図９Ｄに示すように画素を集めて２ＫのＲ１画像、２ＫのＲ２画像、４ＫのＧ画像、２ＫのＢ１画像、２ＫのＢ２画像とし、各画像に対してウェーブレット変換を用いた圧縮符号化を行うことになる。
【００６９】
ベイヤ配列では、Ｇ画像のみ２画面にサブサンプリング分離して圧縮したが、倍密度ベイヤ配列では、Ｒ画像とＢ画像の双方をそれぞれ２画面にサブサンプリング分離することになる。さらに、ベイヤ配列では、画素密度の高いＧ画像を２画面に分離していたので、Ｇ画像の圧縮効率が落ちても、もともと画素密度が高く、画素密度の低いＲ画像とＢ画像の圧縮画像品質とバランスが取れる。
【００７０】
一方、倍密度ベイヤ配列では、画素密度の低いＲ画像とＢ画像の双方をさらに２画面にサブサンプリング分離することになるので、画素密度が低い上に圧縮効率も下がってしまい、Ｇ画像の圧縮画像品質に対してバランスがさらに崩れてしまう。
また、ベイヤ配列のＧ画像で述べたように、サブサンプリングされたＲ画像とＢ画像をそのまま２Ｋのモニターに表示すると折り返しが発生する懸念もある。
【００７１】
これに対し、本例のカメラ部１０は、特に、倍密度ベイヤ配列でのＲ画像とＢ画像のＲＡＷデータ圧縮に関して、ウェーブレット変換が持つ本来の特徴を活かした大きな改善を行うことが期待できる。さらに、通常のベイヤ配列からＲＧＢフル画素まで、同じ手法で対応できる。
【００７２】
次に、図１０を参照して、圧縮Ｉ／Ｆ部１０５のウェーブレット変換時の処理例について説明する。
圧縮Ｉ／Ｆ部１０５は、ウェーブレット変換を用いた際に、その効果を最大限に発揮できる。したがって、圧縮処理部１０６のウェーブレット変換部３２と基本構成は同じであるが、図１０を用いて、圧縮Ｉ／Ｆ部１０５の処理をあらためて説明する。
【００７３】
圧縮Ｉ／Ｆ部１０５の入力画像として、撮像ＲＡＷデータＤ１０２が入力される。ここでは、図３に示した４Ｋ ＲＧＢフル画素が入力されるものとして、４０９６×２１６０サイズのＲ／Ｇ／Ｂ ３コンポーネントに対して全く同様に処理を行う。
まず、入力画像に対して水平方向のウェーブレット変換を行う。ウェーブレット変換は低域フィルタ（ＬＰＦ）と高域フィルタ（ＨＰＦ）によって構成され、それぞれ、２：１のダウンサンプリング（図では下向きの矢印及び数字の２で表している）が行われる。この結果、水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンド画像（Ｌ）と高域サブバンド画像（Ｈ）となる。
【００７４】
次に、２０４８×２１６０の低域サブバンド画像（Ｌ）に対して、垂直方向のウェーブレット変換を行う。ウェーブレット変換は低域フィルタ（ＬＰＦ）と高域フィルタ（ＨＰＦ）を通じて、それぞれ、２：１のダウンサンプリングが行われる。この処理により、垂直方向が半分のサイズとなった２０４８×１０８０の低域サブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬと高域サブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨとなる。
【００７５】
また、２０４８×２１６０の高域サブバンド画像（Ｈ）に対して、垂直方向のウェーブレット変換を行う。ウェーブレット変換は低域フィルタ（ＬＰＦ）と高域フィルタ（ＨＰＦ）を通じて、それぞれ、２：１のダウンサンプリングが行われる。この処理により、垂直方向が半分のサイズとなった２０４８×１０８０の低域サブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬと高域サブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨとなる。
【００７６】
以上のように、圧縮Ｉ／Ｆ部１０５は、４０９６×２１６０サイズのＲ／Ｇ／Ｂ ３コンポーネントに対してウェーブレット変換を行い、以下の３コンポーネントを得る。
・水平方向・垂直方向ともに低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬがＲ／Ｇ／Ｂそれぞれの３コンポーネント
・水平方向は低域フィルタ、垂直方向は高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨがＲ／Ｇ／Ｂそれぞれの３コンポーネント
・水平方向は高域フィルタ、垂直方向は低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬがＲ／Ｇ／Ｂそれぞれの３コンポーネント
・水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨがＲ／Ｇ／Ｂそれぞれの３コンポーネント
このように、４種類の２０４８×１０８０サイズのサブバンド画像がＲ／Ｇ／Ｂそれぞれ３コンポーネント分の計１２の２０４８×１０８０サイズのサブバンド画像に変換される。
【００７７】
次に、図１１を参照して、伸張Ｉ／Ｆ部２０５のウェーブレット逆変換時の処理を説明する。
伸張Ｉ／Ｆ部２０５の入力画像として、カメラ部１０から伝送され、伸張処理部２０６によって伸張処理された２０４８×１０８０サイズのサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）がそれぞれＲ／Ｇ／Ｂ ３コンポーネント分入力される。
【００７８】
水平方向・垂直方向ともに低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬと、水平方向は低域フィルタ、垂直方向は高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨに対して垂直方向のウェーブレット逆変換を行う。ウェーブレット逆変換は、Ｄ１０５−ＬＬに１：２のアップサンプリング（図では上向きの矢印及び数字の２で表している）を行い、低域フィルタ（ＬＰＦ）に、Ｄ１０５−ＬＨに１：２のアップサンプリングを行って高域フィルタ（ＨＰＦ）に通す。そして、両者を合成することで垂直方向が２倍のサイズとなった２０４８×２１６０の低域サブバンド画像（Ｌ）を得る。
【００７９】
また、水平方向は高域フィルタ、垂直方向は低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬと、水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨに対して垂直方向のウェーブレット逆変換を行う。ウェーブレット逆変換はＤ１０５−ＨＬに１：２のアップサンプリングを行い低域フィルタ（ＬＰＦ）に、Ｄ１０５−ＨＨに１：２のアップサンプリングを行い高域フィルタ（ＨＰＦ）に通す。そして、両者を合成することで垂直方向が２倍のサイズとなった２０４８×２１６０の高域サブバンド画像（Ｈ）を得る。
【００８０】
次に、垂直方向のウェーブレット逆変換が行われた２０４８×２１６０の低域サブバンド画像（Ｌ）と２０４８×２１６０の高域サブバンド画像（Ｈ）に対して、水平方向のウェーブレット逆変換を行う。ウェーブレット逆変換は低域サブバンド画像（Ｌ）を１：２のアップサンプリングを行い低域フィルタ（ＬＰＦ）に、高域サブバンド画像（Ｈ）を１：２のアップサンプリングを行い高域フィルタ（ＨＰＦ）に通す。そして、両者を合成することで水平方向も２倍のサイズとなった４０９６×２１６０の撮像ＲＡＷデータＤ１０５を得る。
【００８１】
以上のように、伸張Ｉ／Ｆ部２０５のウェーブレット逆変換時の処理は、カメラ部１０から伝送され、伸張処理された２０４８×１０８０サイズのサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）を用いて行う。この処理では、サブバンド画像をそれぞれＲ／Ｇ／Ｂ ３コンポーネント分用いて、垂直方向・水平方向にウェーブレット逆変換を行うことで、４０９６×２１６０サイズのＲ／Ｇ／Ｂ ３コンポーネントに復号している。
【００８２】
では、本例の圧縮Ｉ／Ｆ部１０５が、図３に示した倍密度ベイヤ配列に対して、どのように処理するかについて、図１２を参照して説明する。
【００８３】
図１２Ａは前にも述べたように、通常のベイヤ配列を、画素密度を２倍にするととともに斜め４５度にして配列した倍密度ベイヤであり、Ｇ画像は４Ｋフル画素、Ｒ画像とＢ画像は斜めに空かされているが、水平方向・垂直方向には４Ｋ解像度が得られる。
このとき、撮像素子部１０２は、ベイヤ配列の画素密度を２倍にするとともに斜め４５°に配列した画素配列である倍密度のベイヤ配列である。
【００８４】
そして、圧縮Ｉ／Ｆ部１０５は、倍密度のベイヤ配列の撮像素子部１０２から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、Ｒ及びＢのサブバンド画像に分解する。そして、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のウェーブレット変換及び１列の画素を単位とした垂直方向のウェーブレット変換を行って、Ｇのサブバンド画像に分解する。
【００８５】
具体的には、まず、Ｇについて説明すると、Ｇ画像は４Ｋフル画素があることから、図１０で説明した処理と全く同じ処理とすればよいことは明確である。
【００８６】
すなわち、圧縮Ｉ／Ｆ部１０５は、図１２Ｂに示すように４０９６×２１６０サイズのＧ画像に対して、水平方向のウェーブレット変換を施す。すると、図１２Ｃに示すように水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンドＧ画像（Ｌ）と高域サブバンドＧ画像（Ｈ）となる。図中の点線で囲んだ箇所は、ＪＰＥＧ２０００で定められた、５×３可逆ウェーブレットフィルタ（ローパス側のフィルタが５タップ、ハイパス側のフィルタが３タップ）を例として、図中左端の画素（星印を付した画素）を中心とした５タップのフィルタ（ローパス側のフィルタ）がかかる画素範囲を示している。これを、水平方向に２画素毎に行うことで、２：１のダウンサンプリングを実現する。詳しくは、ＪＰＥＧ２０００の規格などを参照されたい。
【００８７】
次に、水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンドＧ画像（Ｌ）と高域サブバンドＧ画像（Ｈ）それぞれを、図１２Ｃに示すように垂直方向のウェーブレット変換を施す。そして、図１２Ｄに示すように、以下のサブバンド画像を得る。
水平方向・垂直方向ともに低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＬ）。
水平方向は低域フィルタ、垂直方向は高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＨ）。
水平方向は高域フィルタ、垂直方向は低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＬ）。
水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＨ）。
このように、４Ｋ倍密度ベイヤＲＡＷ画像を構成するＧ画像は、４種類の２０４８×１０８０サイズのサブバンドＧ画像に変換される。
【００８８】
ここで、Ｒ画像とＢ画像について検討する。Ｒ画像とＢ画像は、市松模様となるので、図９を参照して説明した方法を用いると、前述したように画素密度が低い上に圧縮効率も下がってしまうため、Ｇ画像の圧縮画像品質に対してバランスがさらに崩れてしまう。
そこで、本例の圧縮Ｉ／Ｆ部１０５は、Ｒ画像とＢ画像に対して、隣接する上下２ライン単位でウェーブレット変換を行う。
具体的には、圧縮Ｉ／Ｆ部１０５は、図１２Ｂに示すように、Ｒ画像は隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。
また、圧縮Ｉ／Ｆ部１０５は、Ｂ画素は隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。
【００８９】
上下２ラインを単位とすることで、１ラインは４０９６の実画素を有するとみなせるので、Ｒ画像とＢ画像については、４０９６×１０８０の画像として扱うことが可能になる。
この４０９６×１０８０のＲ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
に変換する。
Ｂ画像についても同様に
この４０９６×１０８０のＢ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
に変換する。
【００９０】
また、水平方向のウェーブレット変換を行った時点で、既に２０４８×１０８０サイズのサブバンド画像となり、Ｇのサブバンド画像とサイズが一致する。したがって、垂直方向にはウェーブレット変換しない。
これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ倍密度ベイヤ配列でも、同じサイズとなるので、圧縮処理部１０６以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。
【００９１】
図１２Ｄでは、後述する別の方式と区別し、Ｒ画像とＢ画像は水平方向のウェーブレット変換のみを行ったという説明のために、以下のように記載する。
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＬ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＬ）
また、圧縮Ｉ／Ｆ部１０５は、Ｒ画素はＷ型、Ｂ画素はＭ型に画素を走査するとして説明したが、Ｒ画素とＢ画素の起点画素位置が異なれば、Ｗ型とＭ型は逆になることは明らかである。
【００９２】
このように図１２を示して、倍密度ベイヤ配列のＲ画像とＢ画像は、隣接する上下２ライン単位でウェーブレット変換を行うことで、問題を解決する方法を説明した。しかし、別の方法として、倍密度ベイヤ配列のＲ画像とＢ画像は、隣接する左右２画素単位でウェーブレット変換を行うことで、問題を解決する方法を、図１３を参照して説明する。
【００９３】
まず、Ｇ画像については、Ｇ画像は４Ｋフル画素があることから、図１２で説明した処理と全く同じ処理であるのでここでは省略する。
【００９４】
倍密度ベイヤ配列のＲ画像とＢ画像についても、図を見れば明らかであるが、順に説明する。
【００９５】
このとき、圧縮Ｉ／Ｆ部１０５は、倍密度のベイヤ配列の撮像素子部１０２から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行う。そして、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のウェーブレット変換及び１列の画素を単位とした垂直方向のウェーブレット変換を行う。
具体的には、図１３Ｂに示すように、Ｒ画素とＢ画素については、水平方向にはウェーブレット変換せずに、そのまま垂直方向のウェーブレット変換に送る。このとき、圧縮Ｉ／Ｆ部１０５は、図１３Ｃに示すように、Ｒ画素について、隣接する左右２画素単位に左向きのＷ型に画素を走査し、あたかも１列に並んだ画素データであるかのようにウェーブレット変換を行う。
また、圧縮Ｉ／Ｆ部１０５は、Ｂ画素について隣接する左右２画素単位に右向きのＷ型に画素を走査し、あたかも１列に並んだ画素データであるかのようにウェーブレット変換を行う。
【００９６】
左右２画素を単位とすることで、垂直方向は２１６０の実画素を有するとみなせるので、Ｒ画像とＢ画像については、２０４８×２１６０の画像として扱うことが可能になる。
この２０４８×２１６０のＲ画像を垂直方向にウェーブレット変換する。このとき、圧縮Ｉ／Ｆ部１０５は、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
に変換する。
Ｂ画像についても同様に
この２０４８×２１６０のＢ画像を垂直方向にウェーブレット変換する。このとき、圧縮Ｉ／Ｆ部１０５は、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
に変換する。
【００９７】
そして、垂直方向のウェーブレット変換を行った時点で、２０４８×１０８０サイズのサブバンド画像となり、Ｇのサブバンド画像とサイズが一致する。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ倍密度ベイヤ配列でも、同じサイズとなるので、圧縮処理部１０６以降の処理が、共通の処理とすることができる。これについては、別途詳細に説明する。
【００９８】
図１３Ｄでは、後述する別の方式と区別し、Ｒ画像とＢ画像は垂直方向のウェーブレット変換のみを行ったという説明のために、サブバンド画像を以下のように記載している。
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＨ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＨ）
【００９９】
ここでは、圧縮Ｉ／Ｆ部１０５は、Ｒ画素を左向きＷ型、Ｂ画素を右向きＷ型に画素を走査するとして図１３を参照して説明したが、Ｒ画素とＢ画素の起点画素位置が異なれば、左向きＷ型と右向きＷ型は逆になることは明らかである。
【０１００】
一方、伸張Ｉ／Ｆ部２０５は、Ｒ及びＢのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、Ｒ及びＢの画像データに伸張する。そして、Ｇのサブバンド画像に対しては、１ラインの画素を単位とした水平方向のウェーブレット逆変換及び１列の画素を単位とした垂直方向のウェーブレット逆変換を行って、Ｇの画像データに伸張する。
【０１０１】
以上のようにして、倍密度ベイヤ配列に対して、どのようにウェーブレット変換処理するかについて、図１２と図１３を参照して説明した。
次に、図１４を参照して、ウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置について説明する。
ここでは、ＪＰＥＧ２０００の５×３可逆ウェーブレットフィルタ係数である（−１／８，２／８，６／８，２／８，−１／８）を例に用いて説明する。
【０１０２】
図１４Ａは、Ｇ画像に対して５×３可逆ウェーブレットフィルタをかけた場合の例を示す。まず、水平方向の５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、左右２画素に対して、対称係数が掛けられるので、水平方向の画素の重心は、３画素目の位置に合致する。
【０１０３】
次に、垂直方向の５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、上下２画素に対して、対称係数が掛けられるので、垂直方向の画素の重心も、３画素目の位置に合致する。
つまり、Ｇ画像に対して低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、水平方向にも垂直方向にも６／８のフィルタ係数が掛けられた画素（図中の丸印○）位置となる。
【０１０４】
図１４Ｂは、Ｒ画像に対して５×３可逆ウェーブレットフィルタをかけた場合の例を示す。Ｒ画像は、図１２を参照して説明したように、圧縮Ｉ／Ｆ部１０５は、隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換される。
【０１０５】
この５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、左右２画素に対して、対称係数が掛けられるので、水平方向の画素の重心は、３画素目の位置に合致する。
Ｒ画像に対しては、垂直方向にはウェーブレット変換はしないが、先ほどの水平方向のウェーブレット係数に着目してみると、上側のライン上の３画素に対して、（−１／８，６／８，−１／８）のフィルタ係数がかかっている。このため、上側のライン上の３画素の係数の重みは、
−１／８＋６／８−１／８＝１／２
であることが分かる。
【０１０６】
次に下側のライン上の２画素に対して、（２／８，２／８）のフィルタ係数がかかっているので、下側のライン上の２画素の係数の重みは、
２／８＋２／８＝１／２
であることが分かる。
以上から、Ｒ画像の垂直方向の画素の重心は、隣り合う上下２ライン単位にＷ型に画素が走査された２ライン間の丁度真ん中の位置となることが分かる。
つまり、Ｒ画像に対して低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、水平方向には、６／８のフィルタ係数が掛けられた画素位置で、垂直方向には、隣り合う上下２ライン単位としたライン間の位置（図中の丸印○）となる。
【０１０７】
図１４Ｃは、Ｂ画像に対して５×３可逆ウェーブレットフィルタをかけた場合の例を示す。Ｂ画像は、図１２を参照して説明したように、圧縮Ｉ／Ｆ部１０５は、隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。
【０１０８】
この５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、左右２画素に対して、対称係数が掛けられるので、水平方向の画素の重心は、３画素目の位置に合致する。
Ｂ画像に対しては、垂直方向にはウェーブレット変換はしないが、先ほどの水平方向のウェーブレット係数に着目してみると、下側のライン上の３画素に対して、（−１／８，６／８，−１／８）のフィルタ係数がかかっている。このため、下側のライン上の３画素の係数の重みは、
−１／８＋６／８−１／８＝１／２
であることが分かる。
【０１０９】
次に上側のライン上の２画素に対して、（２／８，２／８）のフィルタ係数がかかっているので、上側のライン上の２画素の係数の重みは、
２／８＋２／８＝１／２
であることが分かる。
以上から、Ｂ画像の垂直方向の画素の重心は、隣り合う上下２ライン単位にＭ型に画素が走査された２ライン間の丁度真ん中の位置となることが分かる。
つまり、Ｂ画像に対して低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、水平方向には、６／８のフィルタ係数が掛けられた画素位置となる。垂直方向には、隣り合う上下２ライン単位としたライン間の位置（図中の丸印○）となる。
【０１１０】
以上をまとめて、低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、図１４Ｄに示すようになる。このとき、Ｒ画像とＢ画像は同じ位置、それに対してＧ画像は、垂直方向には同じ位置であり、水平方向には、わずかに１／２画素ずれているだけであることが分かる。
【０１１１】
ここで、ＪＰＥＧ２０００など、ウェーブレットフィルタを用いたサブバンド分割の特徴のひとつに、１／２ｎの解像度の画像サイズが一つの圧縮ストリームから得られることがある。これは、倍密度ベイヤ配列においても、水平方向・垂直方向それぞれ半分の画像サイズの低域サブバンド画像のみを表示した場合に、ＲＧＢの画素重心位置が、ほとんど同じであると言うことを示している。つまり、画素重心位置を合わせなくても、ほとんど色ずれのない低域サブバンド画像として表示することが可能であることを示している。
【０１１２】
もちろん、Ｇ画像を１／２画素分水平方向に修正すれば、完全にＲＧＢが一致する。この場合も、水平方向のみを１／２修正するのみであるので、ハードウェア規模も少ないもので済むという効果がある。
また、図１３で示したように、Ｒ画像とＢ画像について、垂直方向にのみウェーブレット変換を行う場合にも、詳細な図示はしないものの、図１４と同様に考えれば、Ｒ画像とＢ画像は同じ位置、それに対してＧ画像は、水平方向には同じ位置であり、垂直方向には、わずかに１／２画素ずれているだけであることが分かる。
以上が、倍密度ベイヤ配列に対する処理の詳細である。
【０１１３】
次に、図３の斜め配列３板方式に対する圧縮符号化処理の例について、図１５を参照して説明する。
【０１１４】
図１５Ａは、１枚の撮像素子部１０２としては、斜め４５度に画素が配置されており、隣り合う水平または垂直２画素間で、あるいは４画素間で、画素補間を行って図中点線の丸印で示した画素を補間することを前提とした画素配列である。
このとき、撮像素子部１０２は、斜め４５°に画素を配列し、水平方向または垂直方向に隣り合う画素間で補間を行うことを前提とした画素配列である斜め配列３板方式である。
【０１１５】
ここでは、上記の画素配列をもつ撮像素子部１０２を３枚用い光学プリズムと組み合わせて撮像するシステム、または、この画素配列で、センサーの奥行き方向に光の波長感度を有するような構造の単板方式の撮像システムに本発明を適用する方法について説明する。
【０１１６】
まず、図中の点線の丸印で示した画素は、周りの画素から補間することを前提としているので、実画素としては存在していないと考えることが出来る。すなわち、図１５Ｂに示すように、グレーで記した画素が存在しないと考えられるので、これは図１２を参照して説明した、倍密度ベイヤ配列のＲまたはＢ画素と同じと考えることが出来る。
違うのは、Ｒ画像、Ｂ画像、Ｇ画像の全てが同じパターンであることである。
したがって、Ｒ画像、Ｂ画像、Ｇ画像について、隣接する上下２ライン単位でウェーブレット変換を行えばよい。
【０１１７】
このとき、圧縮Ｉ／Ｆ部１０５は、斜め配列３板方式の撮像素子部１０２からのＲＧＢの画像データの全てに対して、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、サブバンド画像に分解する。
【０１１８】
具体的には、圧縮Ｉ／Ｆ部１０５は、図１５Ｂに示すように、隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。画素の起点位置によっては、隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行うことも可能である。
上下２ラインを単位とすることで、１ラインは４０９６の実画素を有するとみなせるので、４０９６×１０８０の画像として扱うことが可能になる。
この４０９６×１０８０のＲＧＢ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンド画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンド画像、
にＲＧＢ画像をそれぞれ変換する。
【０１１９】
また、水平方向のウェーブレット変換を行った時点で、既に２０４８×１０８０サイズのサブバンド画像となっており、垂直方向にはウェーブレット変換しない。
これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ斜め配列３板方式でも、同じサイズとなるので、圧縮処理部１０６以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。
【０１２０】
図１５Ｄでは、後述する別の方式と区別し、画像は水平方向のウェーブレット変換のみを行ったという説明のために、２０４８×１０８０サイズのサブバンド画像を、以下のように記載する。
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＬ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＬ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＬ）
【０１２１】
図１５では、斜め配列３板方式の画像は、隣接する上下２ライン単位でウェーブレット変換を行う処理について説明したが、別の方法として、隣接する左右２画素単位でウェーブレット変換を行うこともできる。ただし、図１３で説明した倍密度ベイヤ配列のＲ画像とＢ画像の処理で説明した処理と全く同じ処理であるのでここでは省略する。
【０１２２】
一方、伸張Ｉ／Ｆ部２０５は、サブバンド画像に対して、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、斜め配列３板方式の撮像素子からのＲＧＢの画像データに伸張する。
【０１２３】
また、図１４で倍密度ベイヤ配列のウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置について説明した。
しかし、斜め配列３板方式では、光学的に画素位置が合うように調整されているので、ウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置についてもＲＧＢが揃うことは明らかであるので、ここでは省略する。
以上が、斜め配列３板方式に対する処理の詳細である。
【０１２４】
次に、図３に示す通常のベイヤ配列に対する処理例について、図１６を参照して説明する。
【０１２５】
図１６Ａは、いわゆる通常のベイヤ配列である。
このとき、撮像素子部１０２は、ベイヤ配列である。
【０１２６】
図１６Ｂは、ＲＧＢそれぞれに分離し、実画素の存在しない位置をグレーで記している。Ｒ画像とＢ画像については、分離した状態ですでに２０４８×１０８０サイズの間引き画像となっている。
Ｇ画像については、図をみて明らかであるように、これは図１２を参照して説明した、倍密度ベイヤ配列のＲ画素またはＢ画素と同じと考えることが出来る。
したがって、Ｇ画像は、隣接する上下２ライン単位でウェーブレット変換を行えばよい。
【０１２７】
このとき、圧縮Ｉ／Ｆ部１０５は、ベイヤ配列の撮像素子部１０２からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはウェーブレット変換を行わない。そして、Ｇの画像データに対しては、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行ってサブバンド画像に分解する。
具体的には、圧縮Ｉ／Ｆ部１０５は、図１６Ｂに示すように、隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。
【０１２８】
画素の起点位置によっては、隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行うことも可能である。
【０１２９】
上下２ラインを単位とすることで、１ラインは４０９６の実画素を有するとみなせるので、４０９６×１０８０の画像として扱うことが可能になる。
この４０９６×１０８０のＧ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像、
に変換する。
【０１３０】
また、水平方向のウェーブレット変換を行った時点で、既に２０４８×１０８０サイズのサブバンド画像となっており、垂直方向にはウェーブレット変換しない。
これは、Ｒ画像とＢ画像に関しては、間引きであるが、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ通常ベイヤ配列も、同じサイズとなるので、圧縮処理部１０６以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。
【０１３１】
図１６Ｄでは、Ｒ画像とＢ画像に関しては間引きであるが、他の方式の処理と共通にするために、また、Ｇ画像に関しては、後述する別の方式と区別し、画像は水平方向のウェーブレット変換のみを行ったという説明のために、以下のように記載する。
つまり、２０４８×１０８０サイズのＲ画像を、サブバンドＲ画像（ＬＬ）、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＬ）、
２０４８×１０８０サイズのＢ画像を、サブバンドＢ画像（ＬＬ）、
として記載する。
【０１３２】
図１６では、通常のベイヤ配列のＧ画像は、隣接する上下２ライン単位でウェーブレット変換を行う方法を示したが、別の方法として、隣接する左右２画素単位でウェーブレット変換を行う方法もある。しかし、この方法は、図１３で説明した倍密度ベイヤ配列のＲ画像とＢ画像の処理で説明した処理と全く同じ処理であるのでここでは省略する。
【０１３３】
一方、伸張Ｉ／Ｆ部２０５は、Ｒ及びＢのサブバンド画像に対してはウェーブレット逆変換を行わず、Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、Ｇの画像データに伸張する。
【０１３４】
また、図１４で倍密度ベイヤ配列のウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置について説明したが、通常のベイヤ配列では、Ｒ画像とＢ画像に関しては、他の発明と同様に単なる間引き処理になる。このため、画素位置については、ベイヤ配列そのままであり、説明を省略する。
以上が、通常のベイヤ配列に対する処理の詳細である。
【０１３５】
このように、圧縮Ｉ／Ｆ部１０５は、図３に示すような様々な画素配列の撮像素子のいずれにも対応が可能であることを説明した。
【０１３６】
次に、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、図３に示すような様々な画素配列の撮像素子部１０２のいずれに対しても、２０４８×１０８０サイズとなるので、圧縮処理部１０６以降の処理が、共通の処理とすることができることについて説明する。
【０１３７】
図１７は、今まで説明してきた様々な画素配列の撮像素子部１０２に対して、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像についてまとめたものである。
【０１３８】
具体的には、
＊ＲＧＢ フル画素方式
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
→２０４８×１０８０サイズのサブバンドが１２コンポーネント
【０１３９】
＊倍密度ベイヤ配列
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
→２０４８×１０８０サイズのサブバンドが８コンポーネント
【０１４０】
＊斜め配列３板方式
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
→２０４８×１０８０サイズのサブバンドが６コンポーネント
【０１４１】
＊ベイヤ配列
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ）１コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ）１コンポーネント
→２０４８×１０８０サイズのサブバンドが４コンポーネント
このように、２０４８×１０８０サイズのサブバンドの個数の違いとしてまとめることが出来る。（図中では、出力されないサブバンド画像を破線で描いている。）
【０１４２】
また、いずれも、ＲＧＢ画像のそれぞれに２０４８×１０８０サイズのサブバンド（ＬＬ）（図中の太枠で囲んだサブバンド）が存在しているので、前述したように、簡易的な色分離が行って、画像として確認することが可能である。そして、伸張Ｉ／Ｆ部２０５は、圧縮Ｉ／Ｆ部１０５が行ったサブバンド画像に分割する処理とは逆の処理を行って、画像を合成することとなる。
【０１４３】
次に、様々な画素配列の撮像素子に対して、圧縮Ｉ／Ｆ部１０５と伸張Ｉ／Ｆ部２０５の具体的な処理方法について、説明する。
【０１４４】
図１８と図１９は、ＲＧＢ フル画素方式に対応する場合の処理方法（図１８はウェーブレット変換時の処理、図１９は逆変換時の処理）を説明する図である。
図１８と図１９は、図１０と図１１と同じものであるので、ここでは重複説明を省略する。図１８に示すように、圧縮Ｉ／Ｆ部１０５は、ＲＧＢフル画素方式の撮像ＲＡＷデータに対しては、Ｒ画像、Ｇ画像、Ｂ画像の全てに対して同じ処理を行う。このとき、圧縮Ｉ／Ｆ部１０５は、Ｒ画像、Ｇ画像、Ｂ画像の水平方向にも垂直方向にもウェーブレット変換を行って、２０４８×１０８０サイズのサブバンドを１２コンポーネント分出力する。また、図１９に示すように、伸張Ｉ／Ｆ部２０５は、その逆変換を行って、ＲＧＢフル画素方式の撮像ＲＡＷデータに戻す。
【０１４５】
図２０と図２１は、倍密度ベイヤ配列の撮像素子に対応する場合の処理方法（図２０はウェーブレット変換時の処理、図２１は逆変換時の処理）を説明する図である。
図２０に示すように、圧縮Ｉ／Ｆ部１０５は、倍密度ベイヤ配列の撮像ＲＡＷデータにおけるＧ画像には、水平方向にも垂直方向にもウェーブレット変換を行う。しかし、Ｒ画像とＢ画像には、図１２Ｂに示したような走査を行った後水平方向のウェーブレット変換のみを行って、垂直方向のウェーブレット変換回路はバイパス処理を行い、そのまま出力する。ここで、図２０では、バイパス処理する部分を斜線で示している。以下の図２１〜２４でも同様にバイパス処理を行う部分を表現してある。これにより、圧縮Ｉ／Ｆ部１０５は、２０４８×１０８０サイズのサブバンドを８コンポーネント分出力する。また、図２１に示すように、伸張Ｉ／Ｆ部２０５は、逆変換でも、Ｒ画像とＢ画像は、垂直方向のウェーブレット合成回路をバイパス処理し、水平方向のウェーブレット合成のみを行う。Ｇ画像は、垂直方向にも水平方向にもウェーブレット合成することで、倍密度ベイヤ配列の撮像ＲＡＷデータに戻すことが出来る。
【０１４６】
図２２と図２３は、斜め配列の３板方式に対応する場合の処理方法（図２２はウェーブレット変換時の処理、図２３は逆変換時の処理）を説明する図である。
図２２に示すように、圧縮Ｉ／Ｆ部１０５は、斜め配列の３板方式の撮像ＲＡＷデータにおける、Ｒ画像、Ｇ画像、Ｂ画像の全てに対して同じ処理を行う。このとき、圧縮Ｉ／Ｆ部１０５は、図１５Ｂに示したような走査を行った後、Ｒ画像、Ｇ画像、Ｂ画像の水平方向のウェーブレット変換のみを行って、垂直方向のウェーブレット変換回路はバイパス処理を行い、そのまま出力する。これにより、圧縮Ｉ／Ｆ部１０５は、２０４８×１０８０サイズのサブバンドを６コンポーネント分出力する。また、図２３に示すように、伸張Ｉ／Ｆ部２０５は、逆変換でも、Ｒ画像、Ｇ画像、Ｂ画像の全てで同じ処理となり、垂直方向のウェーブレット合成回路をバイパス処理し、水平方向のウェーブレット合成のみを行う。これにより、斜め配列の３板方式の撮像ＲＡＷデータに戻すことが出来る。
【０１４７】
図２４と図２５は、通常のベイヤ配列の撮像素子に対応する場合の処理方法（図２４はウェーブレット変換時の処理、図２５は逆変換時の処理）を説明する図である。
図２４に示すように、圧縮Ｉ／Ｆ部１０５は、通常のベイヤ配列の撮像ＲＡＷデータにおけるＧ画像には、図１６Ｂに示したような走査を行った後、水平方向のみウェーブレット変換を行うが、Ｒ画像とＢ画像には、水平方向のウェーブレット変換も行わず、バイパス処理をする。垂直方向のウェーブレット変換回路はＲ画像、Ｇ画像、Ｂ画像いずれもバイパス処理を行い、そのまま出力する。これにより、２０４８×１０８０サイズのサブバンドを４コンポーネント分出力する。
【０１４８】
また、図２５に示すように、伸張Ｉ／Ｆ部２０５は、逆変換でも、Ｒ画像、Ｇ画像、Ｂ画像いずれも、垂直方向のウェーブレット合成回路をバイパス処理し、Ｇ画像のみ、水平方向のウェーブレット合成を行う。Ｒ画像とＢ画像は、水平方向のウェーブレット合成も行わず、バイパス処理をする。これにより、通常のベイヤ配列の撮像ＲＡＷデータに戻すことが出来る。
【０１４９】
このように、圧縮Ｉ／Ｆ部１０５において、入力された撮像ＲＡＷデータの種類に応じてウェーブレット回路のバイパス処理をおこなうことで、様々な画素配列の撮像素子に対して対応することが可能である。したがって、圧縮Ｉ／Ｆ部１０５の処理をコントロールするだけで、圧縮処理部１０６以降の処理が、入力サブバンド画像のコンポーネントの数が違うだけの、共通の処理とすることができる。同様に、伸張Ｉ／Ｆ部２０５の処理をコントロールするだけで、伸張処理部２０６以前の処理を、入力サブバンド画像のコンポーネントの数が違うだけの、共通の処理とすることができる。そして、伸張Ｉ／Ｆ部２０５において、入力されたサブバンド画像の種類に応じて、ウェーブレット逆変換回路のバイパス処理をおこなうことで、様々な画素配列の撮像素子によって撮像された撮像ＲＡＷデータを合成することが可能である。
【０１５０】
また、圧縮処理部１０６以降の処理と、伸張処理部２０６以前の処理を並列して行うことが可能になる。具体的には、圧縮処理部１０６では、図４のサブバンド画像Ｄ１０５−ＬＬ用の回路，サブバンド画像Ｄ１０５−ＨＬ用の回路，サブバンド画像Ｄ１０５−ＬＨ用の回路，サブバンド画像Ｄ１０５−ＨＨ用の回路をそれぞれＲＧＢ用に３系統ずつ（合計１２系統）並列に設ける。このため、４Ｋ ＲＧＢフル画像の場合は全てを使用し、その他の場合は一部のみを使用することが可能になる。同様に、伸張処理部２０６では、図７のサブバンド画像Ｄ１０６−ＬＬ用の回路，サブバンド画像Ｄ１０６−ＨＬ用の回路，サブバンド画像Ｄ１０６−ＬＨ用の回路，サブバンド画像Ｄ１０６−ＨＨ用の回路をそれぞれＲＧＢ用に３系統ずつ（合計１２系統）並列に設ける。これにより、並列度の分だけ動作速度を落とすことが出来る。つまり、リアルタイム処理に適した構成をとることが可能となる。
【０１５１】
以上説明した第１の実施の形態に係るカメラシステムによれば、ＲＧＢフル画素を有さない、ベイヤ配列の撮像素子部１０２や倍密度のベイヤ配列の撮像素子部１０２、斜め方向に画素配列された撮像素子部１０２を３枚用いた撮像システムから得られるいずれのＲＡＷデータにおいても、ＲＧＢ３コンポーネント毎に効率よく圧縮符号化することが可能となる。
【０１５２】
ここで、従来は、４Ｋ画像のように高解像度の画像を扱うカメラシステムでは、どうしても扱う信号処理量が多くなっていた。また、撮像素子のＳ／Ｎや感度といった特性の点からも、いわゆるベイヤ配列などを用いて、あらかじめ画素数を抑えてＲＡＷデータを伝送しないと実現が困難であった。しかしながら、ＲＧＢ全ての画素が存在しないため、ＲＡＷデータのまま圧縮伝送を行うと、背景技術欄に記載したように圧縮効率が上がっていなかった。
【０１５３】
一方、上述した第１の実施の形態に係る圧縮Ｉ／Ｆ部１０５や伸張Ｉ／Ｆ部２０５を用いることで、ウェーブレット変換の特徴である、画面全体を変換又は逆変換することが可能となり、ウェーブレット変換本来の高い圧縮効率を活かすことが可能となる。特に、倍密度ベイヤ配列でのＲ画像とＢ画像のＲＡＷデータ圧縮に関して、ウェーブレット変換が持つ本来の特徴を活かした大きな圧縮効率の改善を行うことが期待できる。
【０１５４】
また、カメラ部１０は、撮像素子特有のＲＡＷイメージデータのまま圧縮を行い、ＣＣＵ部２０に伝送することが可能になるため、ＲＡＷイメージデータを非圧縮で伝送する場合に比べて伝送帯域を抑えられる。特に、カメラシステムが４Ｋ画像や８Ｋ画像のように高解像度、または、６０Ｐ／２４０Ｐなどのフレームレートが高い画像を扱うデータ量は膨大となる。しかし、カメラ部１０はＲＡＷイメージデータ圧縮を行ってＣＣＵ部２０に伝送し、ＣＣＵ部２０で伸張処理を行い、ＲＡＷイメージデータを復元後、高精度かつリアルタイムなカメラ信号処理を行うことが可能となる。このため、カメラ部１０を小型化、軽量化し、低消費電力とすることが可能となる。
【０１５５】
また、既存の複合カメラケーブルの伝送帯域に収まるような圧縮率に設定するだけで、カメラ部１０がＣＣＵ部２０にＲＡＷイメージデータを伝送することが可能となる。このため、高価な複合カメラケーブルを複数用いるなどの必要がないカメラシステムを構築することが可能となる。
【０１５６】
これにより、低解像度の簡易表示システムではあるが、特別な色分離回路やダウンコンバート回路を必要としない、きわめてハードウェア効率のよいカメラ部１０を実現することが可能である。
【０１５７】
さらに、圧縮Ｉ／Ｆ部１０５の処理や伸張Ｉ／Ｆ部２０５の処理は、従来のＲＧＢフル画素方式、倍密度ベイヤ配列、斜め配列の３板方式、通常のベイヤ配列のいずれのパターンにも適応することが可能である。このため、「サブバンド画像コンポーネントの数の違い」としてハードウェアの共通処理をすることができるという効果を奏する。これは、高解像度の画像を扱うシステムにおいて、ハードウェアの並列処理が可能となり、リアルタイム処理を実現できるというメリットも提供することを示している。
【０１５８】
＜２．第２の実施の形態＞
［ハール変換を用いて画像を圧縮符号化し、ハール逆変換を用いてサブバンド画像を復号化する例］
【０１５９】
次に、本発明の第２の実施の形態に係るカメラ部１０に適用した例について、図２６〜図２８を参照して説明する。
上述したように圧縮Ｉ／Ｆ部１０５は、ウェーブレット変換と組み合わせることで、もっとも効果的に圧縮する方法を提供する。しかし、ウェーブレット変換だけでなく、ハードウェア負担の少ないハール変換などでも実現が可能である。
【０１６０】
このとき、圧縮Ｉ／Ｆ部１０５は、画素位置が交互にずれている色の画像データに対して、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行うこととなる。一方、伸張Ｉ／Ｆ部２０５は、サブバンド画像に対して、隣り合う上下２ラインの画素を単位としてハール逆変換を行って、画素位置が交互にずれている色の画像データに伸張することとなる。
【０１６１】
図２６は、倍密度ベイヤ配列に対して圧縮Ｉ／Ｆ部１０５がハール変換を行う例を示す。
【０１６２】
図２６Ａは倍密度ベイヤ配列を示している。
まず、Ｇ画像について説明すると、Ｇ画像は４Ｋフル画素があることから、図１２で説明した処理と同様に水平方向・垂直方向にウェーブレット変換の変わりにハール変換を行えばよい。
【０１６３】
このとき、圧縮Ｉ／Ｆ部１０５は、倍密度のベイヤ配列の撮像素子部１０２から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、Ｒ及びＢのサブバンド画像に分解する。また、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のハール変換及び１列の画素を単位とした垂直方向のハール変換を行って、Ｇのサブバンド画像に分解する。
【０１６４】
ハール変換は、２タップのサブバンドフィルタと考えられ、２画素間の和と差をとることと等価である。和がＬＰＦであり、差がＨＰＦとなる。
すなわち、図２６Ｂに示すように４０９６×２１６０サイズのＧ画像に対して、２画素ごとに水平方向のハール変換を施す。これにより、図２６Ｃに示すように水平方向が半分のサイズとなった２０４８×２１６０サイズの低域サブバンドＧ画像（Ｌ）（和）と高域サブバンドＧ画像（Ｈ）（差）となる。
【０１６５】
次に、水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンドＧ画像（Ｌ）（和）と高域サブバンドＧ画像（Ｈ）（差）それぞれに対して、図２６Ｃに示すように垂直方向のハール変換を施す。この結果、図２６Ｄに示すように、２０４８×２１６０の低域サブバンドＧ画像（Ｌ）（和）と高域サブバンドＧ画像（Ｈ）（差）は、４種類の２０４８×１０８０サイズのサブバンドＧ画像に変換される。
・水平方向・垂直方向ともに低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＬ）
・水平方向は低域フィルタ（和）、垂直方向は高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＨ）
・水平方向は高域フィルタ（差）、垂直方向は低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＬ）
・水平方向・垂直方向ともに高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＨ）
以上、４種類の２０４８×１０８０サイズのサブバンドＧ画像に変換される。
【０１６６】
Ｒ画像とＢ画像は、市松模様となるので、Ｒ画像とＢ画像は、隣接する上下２ライン単位でウェーブレット変換する代わりにハール変換を行う。
具体的には、図２６Ｂに示すように、Ｒ画素は隣り合う上下２ライン単位の斜め２画素ごとにハール変換を行う。
【０１６７】
以上により、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＲ画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＲ画像、
に変換する。
Ｂ画素も同様に隣り合う上下２ライン単位の斜め（Ｒとは逆斜め方向）２画素ごとにハール変換を行い、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＢ画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＢ画像、
に変換する。
以上で、既に２０４８×１０８０サイズのサブバンド画像となり、Ｇのサブバンド画像とサイズが一致する。
【０１６８】
これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０サイズのＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ倍密度ベイヤ配列でも、同じサイズとなるので、圧縮処理部１０６以降の処理が、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。
【０１６９】
図２６Ｃと図２６Ｄでは、Ｒ画像とＢ画像は斜め方向のハール変換を行ったという説明のために、サブバンド画像を以下のように記載する。
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＨ）
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＨ）
また、ここで図示したＲ画素とＢ画素の斜め方向は一例であり、Ｒ画素とＢ画素の起点画素位置が異なれば、逆斜め方向になることは明らかである。
【０１７０】
一方、伸張Ｉ／Ｆ部２０５は、Ｒ及びＢのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位としてハール変換を行って、Ｒ及びＢの画像データに伸張する。また、Ｇのサブバンド画像に対しては、１ラインの画素を単位とした水平方向のハール逆変換及び１列の画素を単位とした垂直方向のハール逆変換を行って、Ｇの画像データに伸張する。
【０１７１】
次に、図３に示した斜め配列３板方式に対して、ハール変換を行う場合を、図２７を参照して説明する。
【０１７２】
図２７Ａは、斜め配列３板方式の配列を示している。
図２７Ｂでは、図１５を参照して説明したように、グレーで記した画素が存在しないと考えられるので、これは図２６を参照して説明した、倍密度ベイヤ配列のＲ画素またはＢ画素と同じと考えることが出来る。
違うのは、Ｒ画像、Ｂ画像、Ｇ画像の全てが同じパターンであることである。
したがって、Ｒ画像、Ｂ画像、Ｇ画像には、隣接する上下２ライン単位でウェーブレット変換の代わりにハール変換を行えばよいことが分かる。
【０１７３】
このとき、圧縮Ｉ／Ｆ部１０５は、斜め配列３板方式の撮像素子部１０２からのＲＧＢの画像データの全てに対して、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、サブバンド画像に分解する。
具体的には、図２７Ｂを参照して説明したように、隣り合う上下２ライン単位の斜め２画素ごとにハール変換を行う。
【０１７４】
以上により、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンド画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンド画像、
にＲＧＢ画像をそれぞれ変換する。
以上で、既に２０４８×１０８０サイズのサブバンド画像となることも分かる。
【０１７５】
これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ斜め配列３板方式でも、同じサイズとなるので、圧縮処理部１０６以降の処理が、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。
【０１７６】
図２７Ｃと図２７Ｄでは、斜め方向のハール変換を行ったという説明のために、以下のように記載する。
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＨ）
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＨ）
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＨ）
また、ここで図示した画素の斜め方向は一例であり、Ｒ画素とＢ画素の起点画素位置が異なれば、逆斜め方向になることは明らかである。
【０１７７】
一方、伸張Ｉ／Ｆ部２０５は、サブバンド画像に対して、隣り合う上下２ラインの画素を単位としてハール逆変換を行って、斜め配列３板方式の撮像素子からのＲＧＢの画像データに伸張する。
【０１７８】
次に、図３の通常のベイヤ配列に対して、ハール変換を行う場合を、図２８を参照して説明する。
【０１７９】
図２８Ａは、いわゆる通常のベイヤ配列である。
図２８Ｂは、ＲＧＢそれぞれに分離し、実画素の存在しない位置をグレーで記している。Ｒ画像とＢ画像については、分離した状態ですでに２０４８×１０８０サイズの間引き画像となっている。
Ｇ画像については、図をみて明らかであるように、これは図２６を参照して説明した、倍密度ベイヤ配列のＲまたはＢ画素と同じと考えることが出来る。
したがって、Ｇ画像は、隣接する上下２ライン単位でウェーブレット変換する代わりにハール変換を行う。
【０１８０】
このとき、圧縮Ｉ／Ｆ部１０５は、ベイヤ配列の撮像素子部１０２からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはハール変換を行わず、Ｇの画像データに対しては、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、Ｇのサブバンド画像に分解する。
具体的には、図２８Ｂに示すように、Ｇ画素は隣り合う上下２ライン単位の斜め２画素ごとにハール変換を行う。
【０１８１】
以上により、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像、
に変換する。
以上で、既に２０４８×１０８０サイズのサブバンド画像となることも分かる。
これは、Ｒ画像とＢ画像に関しては、間引きであるが、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢ画像の全てで揃ったことを意味する。このため、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ通常ベイヤ配列でも、同じサイズとなるので、圧縮処理部１０６以降の処理を、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。
【０１８２】
図２８Ｃと図２８Ｄでは、Ｇ画像は斜め方向のハール変換を行ったという説明のために、
２０４８×１０８０サイズのＲ画像を、サブバンドＲ画像（ＬＬ）、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＨ）、
２０４８×１０８０サイズのＢ画像を、サブバンドＢ画像（ＬＬ）、
として記載している。
また、ここで図示したＧ画素の斜め方向は一例であり、Ｇの起点画素位置が異なれば、逆斜め方向になることは明らかである。
【０１８３】
一方、伸張Ｉ／Ｆ部２０５は、Ｒ及びＢのサブバンド画像に対して、ハール逆変換を行わず、Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対して、ハール逆変換を行って、Ｇの画像データに伸張する。
【０１８４】
以上説明した第２の実施の形態によれば、圧縮Ｉ／Ｆ部１０５は、ウェーブレット変換だけでなく、よりハードウェアが簡易であるハール変換でも実現できる。このため、上述した第１の実施の形態と同様に、以降の処理は並列処理が可能となる。また、色分離を簡易に行うことが可能であるため、装置の製造コストを低廉化することができる。
なお、ウェーブレット変換もＪＰＥＧ２０００の５×３可逆ウェーブレット変換係数を参照して説明したが、９×７非可逆変換や、その他の変換係数でも、実現できることは明らかであり、５×３可逆ウェーブレット変換や、ハール変換に限定するものではない。
【０１８５】
＜３．変形例＞
なお、上述した圧縮Ｉ／Ｆ部１０５、圧縮処理部１０６、伸張Ｉ／Ｆ部２０５及び伸張処理部２０６の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。
【０１８６】
また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。
【０１８７】
この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１８８】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。
【０１８９】
また、以上の実施の形態ではカメラ部１０とＣＣＵ部２０を備えたカメラシステムに本発明を適用している。しかし、本発明は、カメラシステム以外の処理システム又は装置において、倍密度のベイヤ配列や斜め配列３板方式やベイヤ配列の撮像素子から得られるＲＡＷデータを圧縮符号化するためにも適用することができる。
また、本発明は、倍密度のベイヤ配列、斜め配列３板方式、ベイヤ配列以外の画素配列であって、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られるＲＡＷデータを圧縮符号化するためにも同様にして適用することができる。
【０１９０】
また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
【符号の説明】
【０１９１】
１０…カメラ部，３２…ウェーブレット変換部，３３…量子化部，３５…エントロピー符号化部，３６…制御部，３７…符号量計測部，３８…エントロピー復号化部，３９…逆量子化部，４０…ウェーブレット逆変換部，１０１…レンズブロック，１０２…撮像素子部，１０５…圧縮Ｉ／Ｆ部，１０６…圧縮処理部，１０７…伝送Ｉ／Ｆ部，１０９…ビューファインダ信号処理部，１１０…ビューファインダ部，１１１…システムコントロール部，１１２…操作部，１１３…伝送用複合カメラケーブル，２０３…カメラ信号処理部，２０４…モニターアウト部，２０５…伸張Ｉ／Ｆ部，２０６…伸張処理部，２０７…伝送Ｉ／Ｆ部，２０９…ダウンコンバータ部，２１１…システムコントロール部，２１２…操作部，Ｄ１０２…撮像ＲＡＷデータ，Ｄ１０５−ＬＬ…サブバンド画像，Ｄ１０５−ＨＬ…サブバンド画像，Ｄ１０５−ＬＨ…サブバンド画像，Ｄ１０５−ＨＨ…サブバンド画像，Ｄ１０７…本線伝送信号，Ｄ２０３…撮像４Ｋ画像，Ｄ２１０…外部４Ｋ画像，Ｄ２０９…リターン２Ｋ画像
【特許請求の範囲】
【請求項１】
３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行って、サブバンド画像に分解するサブバンド分割部と、
前記サブバンド画像を所定の画像信号に変換し、伝送線を介して前記画像信号を出力する第１の伝送インターフェース部と、を有するカメラ部と、
前記伝送線を介して入力する前記画像信号を前記サブバンド画像に変換する第２の伝送インターフェース部と、
前記サブバンド画像を、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成する画像伸張部と、を有するカメラコントロール部と、を備えた
カメラシステム。
【請求項２】
前記サブバンド分割部は、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、前記サブバンド画像に対して、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行い、前記画素位置が交互にずれている色の前記画像データに伸張する
請求項１に記載のカメラシステム。
【請求項３】
前記撮像素子は、ベイヤ配列の画素密度を２倍にするとともに斜め４５°に配列した画素配列である倍密度のベイヤ配列の撮像素子であり、
前記サブバンド分割部は、前記倍密度のベイヤ配列の撮像素子から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、Ｒ及びＢのサブバンド画像に分解し、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のウェーブレット変換及び１列の画素を単位とした垂直方向のウェーブレット変換を行って、Ｇのサブバンド画像に分解し、
前記画像伸張部は、前記Ｒ及びＢのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、前記Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対しては、１ラインの画素を単位とした水平方向のウェーブレット逆変換及び１列の画素を単位とした垂直方向のウェーブレット逆変換を行って、Ｇの画像データに伸張する
請求項２に記載のカメラシステム。
【請求項４】
前記撮像素子は、斜め４５°に画素を配列し、水平方向または垂直方向に隣り合う画素間で補間を行うことを前提とした画素配列である斜め配列３板方式の撮像素子であり、
前記サブバンド分割部は、前記斜め配列３板方式の撮像素子からのＲＧＢの画像データの全てに対して、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、前記サブバンド画像に対して、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、前記斜め配列３板方式の撮像素子からのＲＧＢの画像データに伸張する
請求項２に記載のカメラシステム。
【請求項５】
前記撮像素子は、ベイヤ配列の撮像素子であり、
前記サブバンド分割部は、前記ベイヤ配列の撮像素子からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはウェーブレット変換を行わず、Ｇの画像データに対しては、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、Ｒ及びＢのサブバンド画像に対してはウェーブレット逆変換を行わず、Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、Ｇの画像データに伸張する
請求項２に記載のカメラシステム。
【請求項６】
前記サブバンド分割部は、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、前記サブバンド画像に対して、隣り合う上下２ラインの画素を単位としてハール逆変換を行って、前記画素位置が交互にずれている色の画像データに伸張する
請求項１に記載のカメラシステム。
【請求項７】
前記撮像素子は、ベイヤ配列の画素密度を２倍にするとともに斜め４５°に配列した画素配列である倍密度のベイヤ配列の撮像素子であり、
前記サブバンド分割部は、前記倍密度のベイヤ配列の撮像素子から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、Ｒ及びＢのサブバンド画像に分解し、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のハール変換及び１列の画素を単位とした垂直方向のハール変換を行って、Ｇのサブバンド画像に分解し、
前記画像伸張部は、Ｒ及びＢのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位としてハール変換を行って、Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対しては、１ラインの画素を単位とした水平方向のハール逆変換及び１列の画素を単位とした垂直方向のハール逆変換を行って、Ｇの画像データに伸張する
請求項６に記載のカメラシステム。
【請求項８】
前記撮像素子は、斜め４５°に画素を配列し、水平方向または垂直方向に隣り合う画素間で補間を行うことを前提とした画素配列である斜め配列３板方式の撮像素子であり、
前記サブバンド分割部は、前記斜め配列３板方式の撮像素子からのＲＧＢの画像データの全てに対して、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、前記サブバンド画像に対して、隣り合う上下２ラインの画素を単位としてハール逆変換を行って、前記斜め配列３板方式の撮像素子からのＲＧＢの画像データに伸張する
請求項６に記載のカメラシステム。
【請求項９】
前記撮像素子は、ベイヤ配列の撮像素子であり、
前記サブバンド分割部は、前記ベイヤ配列の撮像素子からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはハール変換を行わず、Ｒ及びＢのサブバンド画像に分解し、Ｇの画像データに対しては、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、Ｇのサブバンド画像に分解し、
前記画像伸張部は、Ｒ及びＢのサブバンド画像に対して、ハール逆変換を行わず、Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対して、ハール逆変換を行って、Ｇの画像データに伸張する
請求項６に記載のカメラシステム。
【請求項１０】
３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行って、サブバンド画像に分解するステップと、
前記サブバンド画像を所定の画像信号に変換する第１の伝送インターフェース部によって、伝送線を介して前記サブバンド画像を変換した前記画像信号を出力するステップと、
前記画像信号を前記サブバンド画像に変換する第２の伝送インターフェース部によって、前記伝送線を介して入力する前記画像信号を前記サブバンド画像に変換するステップと、
前記サブバンド画像より、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、前記サブバンド分割部が行う前記サブバンド分割に対する逆変換を行って、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成するステップと、を有する
画像処理方法。
【請求項１１】
３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行って、サブバンド画像に分解するサブバンド分割部と、
前記サブバンド分割部から出力された前記サブバンド画像を圧縮符号化する処理を、前記サブバンド分割部によって分割される帯域ごと及び前記３原色の色ごとに並列して行う圧縮符号化部と、
圧縮符号化された前記サブバンド画像を所定の画像信号に変換し、伝送線を介して前記画像信号を出力する第１の伝送インターフェース部と、を有するカメラ部と、
前記伝送線を介して入力する前記画像信号を圧縮符号化された前記サブバンド画像に変換する第２の伝送インターフェース部と、
圧縮符号化された前記サブバンド画像を伸張復号化する処理を、前記サブバンド分割部によって分割される帯域ごと及び前記３原色の色ごとに並列して行う伸張復号化部と、
前記サブバンド画像の隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成する画像伸張部と、を有するカメラコントロール部と、を備えた
カメラシステム。
【請求項１２】
３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行って、サブバンド画像に分解するステップと、
前記サブバンド画像を圧縮符号化する処理を、分割する帯域ごと及び前記３原色の色ごとに並列して行うステップと、
圧縮符号化された前記サブバンド画像を所定の画像信号に変換する第１の伝送インターフェース部によって、伝送線を介して前記サブバンド画像を変換した前記画像信号を出力するステップと、
前記画像信号を前記サブバンド画像に変換する第２の伝送インターフェース部によって、前記伝送線を介して入力する前記画像信号を前記サブバンド画像に変換するステップと、
圧縮符号化された前記サブバンド画像を伸張復号化する処理を、分割される帯域ごと及び前記３原色の色ごとに並列して行うステップと、
前記サブバンド画像の隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成するステップと、を有する
画像処理方法。
【請求項１】
３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行って、サブバンド画像に分解するサブバンド分割部と、
前記サブバンド画像を所定の画像信号に変換し、伝送線を介して前記画像信号を出力する第１の伝送インターフェース部と、を有するカメラ部と、
前記伝送線を介して入力する前記画像信号を前記サブバンド画像に変換する第２の伝送インターフェース部と、
前記サブバンド画像を、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成する画像伸張部と、を有するカメラコントロール部と、を備えた
カメラシステム。
【請求項２】
前記サブバンド分割部は、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、前記サブバンド画像に対して、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行い、前記画素位置が交互にずれている色の前記画像データに伸張する
請求項１に記載のカメラシステム。
【請求項３】
前記撮像素子は、ベイヤ配列の画素密度を２倍にするとともに斜め４５°に配列した画素配列である倍密度のベイヤ配列の撮像素子であり、
前記サブバンド分割部は、前記倍密度のベイヤ配列の撮像素子から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、Ｒ及びＢのサブバンド画像に分解し、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のウェーブレット変換及び１列の画素を単位とした垂直方向のウェーブレット変換を行って、Ｇのサブバンド画像に分解し、
前記画像伸張部は、前記Ｒ及びＢのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、前記Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対しては、１ラインの画素を単位とした水平方向のウェーブレット逆変換及び１列の画素を単位とした垂直方向のウェーブレット逆変換を行って、Ｇの画像データに伸張する
請求項２に記載のカメラシステム。
【請求項４】
前記撮像素子は、斜め４５°に画素を配列し、水平方向または垂直方向に隣り合う画素間で補間を行うことを前提とした画素配列である斜め配列３板方式の撮像素子であり、
前記サブバンド分割部は、前記斜め配列３板方式の撮像素子からのＲＧＢの画像データの全てに対して、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、前記サブバンド画像に対して、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、前記斜め配列３板方式の撮像素子からのＲＧＢの画像データに伸張する
請求項２に記載のカメラシステム。
【請求項５】
前記撮像素子は、ベイヤ配列の撮像素子であり、
前記サブバンド分割部は、前記ベイヤ配列の撮像素子からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはウェーブレット変換を行わず、Ｇの画像データに対しては、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、Ｒ及びＢのサブバンド画像に対してはウェーブレット逆変換を行わず、Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位として水平方向のウェーブレット逆変換を行うか、または隣り合う左右２列の画素を単位として垂直方向のウェーブレット逆変換を行って、Ｇの画像データに伸張する
請求項２に記載のカメラシステム。
【請求項６】
前記サブバンド分割部は、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、前記サブバンド画像に対して、隣り合う上下２ラインの画素を単位としてハール逆変換を行って、前記画素位置が交互にずれている色の画像データに伸張する
請求項１に記載のカメラシステム。
【請求項７】
前記撮像素子は、ベイヤ配列の画素密度を２倍にするとともに斜め４５°に配列した画素配列である倍密度のベイヤ配列の撮像素子であり、
前記サブバンド分割部は、前記倍密度のベイヤ配列の撮像素子から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、Ｒ及びＢのサブバンド画像に分解し、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のハール変換及び１列の画素を単位とした垂直方向のハール変換を行って、Ｇのサブバンド画像に分解し、
前記画像伸張部は、Ｒ及びＢのサブバンド画像に対しては、隣り合う上下２ラインの画素を単位としてハール変換を行って、Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対しては、１ラインの画素を単位とした水平方向のハール逆変換及び１列の画素を単位とした垂直方向のハール逆変換を行って、Ｇの画像データに伸張する
請求項６に記載のカメラシステム。
【請求項８】
前記撮像素子は、斜め４５°に画素を配列し、水平方向または垂直方向に隣り合う画素間で補間を行うことを前提とした画素配列である斜め配列３板方式の撮像素子であり、
前記サブバンド分割部は、前記斜め配列３板方式の撮像素子からのＲＧＢの画像データの全てに対して、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、前記サブバンド画像に分解し、
前記画像伸張部は、前記サブバンド画像に対して、隣り合う上下２ラインの画素を単位としてハール逆変換を行って、前記斜め配列３板方式の撮像素子からのＲＧＢの画像データに伸張する
請求項６に記載のカメラシステム。
【請求項９】
前記撮像素子は、ベイヤ配列の撮像素子であり、
前記サブバンド分割部は、前記ベイヤ配列の撮像素子からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはハール変換を行わず、Ｒ及びＢのサブバンド画像に分解し、Ｇの画像データに対しては、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行って、Ｇのサブバンド画像に分解し、
前記画像伸張部は、Ｒ及びＢのサブバンド画像に対して、ハール逆変換を行わず、Ｒ及びＢの画像データに伸張し、Ｇのサブバンド画像に対して、ハール逆変換を行って、Ｇの画像データに伸張する
請求項６に記載のカメラシステム。
【請求項１０】
３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行って、サブバンド画像に分解するステップと、
前記サブバンド画像を所定の画像信号に変換する第１の伝送インターフェース部によって、伝送線を介して前記サブバンド画像を変換した前記画像信号を出力するステップと、
前記画像信号を前記サブバンド画像に変換する第２の伝送インターフェース部によって、前記伝送線を介して入力する前記画像信号を前記サブバンド画像に変換するステップと、
前記サブバンド画像より、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、前記サブバンド分割部が行う前記サブバンド分割に対する逆変換を行って、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成するステップと、を有する
画像処理方法。
【請求項１１】
３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行って、サブバンド画像に分解するサブバンド分割部と、
前記サブバンド分割部から出力された前記サブバンド画像を圧縮符号化する処理を、前記サブバンド分割部によって分割される帯域ごと及び前記３原色の色ごとに並列して行う圧縮符号化部と、
圧縮符号化された前記サブバンド画像を所定の画像信号に変換し、伝送線を介して前記画像信号を出力する第１の伝送インターフェース部と、を有するカメラ部と、
前記伝送線を介して入力する前記画像信号を圧縮符号化された前記サブバンド画像に変換する第２の伝送インターフェース部と、
圧縮符号化された前記サブバンド画像を伸張復号化する処理を、前記サブバンド分割部によって分割される帯域ごと及び前記３原色の色ごとに並列して行う伸張復号化部と、
前記サブバンド画像の隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成する画像伸張部と、を有するカメラコントロール部と、を備えた
カメラシステム。
【請求項１２】
３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行って、サブバンド画像に分解するステップと、
前記サブバンド画像を圧縮符号化する処理を、分割する帯域ごと及び前記３原色の色ごとに並列して行うステップと、
圧縮符号化された前記サブバンド画像を所定の画像信号に変換する第１の伝送インターフェース部によって、伝送線を介して前記サブバンド画像を変換した前記画像信号を出力するステップと、
前記画像信号を前記サブバンド画像に変換する第２の伝送インターフェース部によって、前記伝送線を介して入力する前記画像信号を前記サブバンド画像に変換するステップと、
圧縮符号化された前記サブバンド画像を伸張復号化する処理を、分割される帯域ごと及び前記３原色の色ごとに並列して行うステップと、
前記サブバンド画像の隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位として、前記画素位置が交互にずれている色の画像データに伸張し、前記サブバンド画像を前記撮像素子から出力される前記画像データに合成するステップと、を有する
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２６】
【図２７】
【図２８】
【図６】
【図１０】
【図１１】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２６】
【図２７】
【図２８】
【図６】
【図１０】
【図１１】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１１−１３０２７５（Ｐ２０１１−１３０２７５Ａ）
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２００９−２８８０９６（Ｐ２００９−２８８０９６）
【出願日】平成２１年１２月１８日（２００９．１２．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年１２月１８日（２００９．１２．１８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]