データ処理装置、データ処理方法、プログラム、およびカメラシステム
【課題】処理時間および回路規模の増大を抑止しつつ画質劣化を抑止することが可能なデータ処理装置、データ処理方法、プログラム、およびカメラシステムを提供する。
【解決手段】多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分け部31と、データ区分け部31で区分けされた各グループにおける情報データの最大値を抽出する最大値抽出部32と、最大値抽出部32で抽出された最大値を基に、グループ内の同種の情報データで共通のビットの削減位置を決定し、この決定に応じて共通のビットを削減するビット位置決定削減部33とを有する。
【解決手段】多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分け部31と、データ区分け部31で区分けされた各グループにおける情報データの最大値を抽出する最大値抽出部32と、最大値抽出部32で抽出された最大値を基に、グループ内の同種の情報データで共通のビットの削減位置を決定し、この決定に応じて共通のビットを削減するビット位置決定削減部33とを有する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、データを圧縮等のデータ処理を行うデータ処理装置、データ処理方法、プログラム、およびカメラシステムに関するものである。
【背景技術】
【0002】
RAW(生)データの圧縮伸張方法として、画像の空間周波数領域を利用して可変長符号化して圧縮する技術が知られている(たとえば特許文献1参照)。
また、単純な圧縮方法として、ガンマカーブなどによる階調圧縮が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003-224868号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、空間周波数領域への変換や、それを符号化する際の演算量は大きく、処理時間が多くかかってしまったり、回路化する場合、回路規模が大きくなってしまうという不利益がある。
階調圧縮では、圧縮後のビット数を小さくすると、階調数が足りず画質劣化が目に見えて著しくなってしまう。
【0005】
本発明は、処理時間および回路規模の増大を抑止しつつ画質劣化を抑止することが可能なデータ処理装置、データ処理方法、プログラム、およびカメラシステムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の第1の観点のデータ処理装置は、多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分け部と、上記データ区分け部で区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出部と、上記最大値抽出部で抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減部とを有する。
【0007】
本発明の第2の観点のデータ処理方法は、多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分けステップと、上記データ区分けステップで区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出ステップと、上記最大値抽出ステップで抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減ステップとを有する
【0008】
本発明の第3の観点は、多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分け処理と、上記データ区分け処理で区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出処理と、上記最大値抽出処理で抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減処理とを有するデータ処理をコンピュータに実行させるプログラムである。
【0009】
本発明の第4の観点のカメラシステムは、光学系と、上記光学系を通過した被写体像を撮像し、生(RAW)データを出力する撮像素子と、上記生データに対する処理を行うデータ処理装置と、を有し、上記データ処理装置は、多ビットにより形成される複数種の色情報データを含む入力生データを、同種の色情報データごとに複数のグループに区分けするデータ区分け部と、上記データ区分け部で区分けされた上記各グループにおける上記色情報データの最大値を抽出する最大値抽出部と、上記最大値抽出部で抽出された上記最大値を基に、上記グループ内の同種の色情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減部と、を含む。
【発明の効果】
【0010】
本発明によれば、処理時間および回路規模の増大を抑止しつつ画質劣化を抑止することができる。
【図面の簡単な説明】
【0011】
【図1】本第1の実施形態に係るデータ処理装置の構成例を示す図である。
【図2】ベイヤー配列RAWデータと同種(同色)のグループに区分けした例を示す図である。
【図3】12ビットのRAWデータおよび最大値位置情報が2ビットのときのデータの削減位置を示す図である。
【図4】最上位ビット位置情報出力部が出力する最大値位置情報の一例を示す図である。
【図5】付加ビットと同じビット数の乱数を重畳する処理を模式的に示す図である。
【図6】本第2の実施形態に係るデータ処理装置の構成例を示す図である。
【図7】差分値取得部における差分値の計算処理の一例を示す図である。
【図8】第3の実施形態において、単調増加関数で表現される関数を用いて入力データのビット削減を行う処理を説明するための図である。
【図9】第3の実施形態において、単調増加関数で表現される関数を用いて圧縮データの伸張処理を説明するための図である。
【図10】本第4の実施形態で適用されるパターンディザの一例を示す図である。
【図11】本第6の実施形態に係るデータ処理装置の構成例を示す図である。
【図12】圧縮伸張の誤差について説明するための図である。
【図13】12ビットの低感度撮影RAW画像の例を示す図である。
【図14】本第8の実施形態に係るデータ処理装置が適用されるカメラシステムの構成の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
1.第1の実施形態(データ処理装置の第1の構成例)
2.第2の実施形態(データ処理装置の第2の構成例)
3.第3の実施形態(データ処理装置の第3の構成例)
4.第4の実施形態(データ処理装置の第4の構成例)
5.第5の実施形態(データ処理装置の第5の構成例)
6.第6の実施形態(データ処理装置の第6の構成例)
7.第7の実施形態(データ処理装置の第7の構成例)
8.第8の実施形態(カメラシステムの構成例)
【0013】
<1.第1の実施形態>
図1は、本第1の実施形態に係るデータ処理装置の構成例を示す図である。
なお、図1はデータ処理装置の処理の概念的な流れも示している。
【0014】
本データ処理装置10で処理されるデータは、一例として、画像の生(RAW)データである。
本実施形態において、以下に述べる「乱数値」については、画素毎に値が可変する乱数のことを意味しており、都度の説明は省略する。
RAWデータには様々な配列/ビット精度のものがあるが、以下における説明は、ベイヤー配列の12ビット(bit)RAWデータを圧縮伸張する際の例を示している。
以下の説明において、12ビットのR(赤)、G(緑)、B(青)の各色の画素データが情報データに相当する。
【0015】
図1のデータ処理装置10は、データ入力部20、圧縮処理部30、伸張処理部40、および出力処理部50を有する。
【0016】
データ入力部20は、入力データであるRAWデータを受けて圧縮処理部30に入力する。
【0017】
圧縮処理部30は、データ区分け部31、最大値抽出(検出)部32、ビット位置決定削減部33、圧縮データ出力部34、および最上位ビット位置情報出力部35を有する。
【0018】
データ区分け部31は、多ビットにより形成される複数種の情報データを含む入力RAWデータを、同種の情報データごとに複数のグループに区分けし、その結果を最大値抽出部32および最上位ビット位置情報出力部35に出力する。
ここでは、情報データはR、G、Bの12ビット[b11:b0]の画素データあり、同種のグループとは、R画素グループ、第1G画素グループ、第2G画素グループ、およびB画素グループである。
【0019】
図2(A)および(B)は、ベイヤー配列RAWデータと同種(同色)のグループに区分けした例を示す図である。
【0020】
一つのベイヤー配列は、図2(A)に示すように、R画素データR00、第1G画素データG01、第2G画素データG10、およびB画素データB11により形成される。
同様に、他のベイヤー配列は、R画素データR02、第1G画素データG03、第2G画素データG12、およびB画素データB13により形成される。
他のベイヤー配列は、R画素データR04、第1G画素データG05、第2G画素データG14、およびB画素データB15により形成される。
他のベイヤー配列は、R画素データR06、第1G画素データG07、第2G画素データG16、およびB画素データB17により形成される。
【0021】
図2(A)の例では、第1行にR画素データR00、第1G画素データG01、R画素データR02、第1G画素データG03、R画素データR04、第1G画素データG05、R画素データR06、および第1G画素データG07が配置されている。
第2行に第2G画素データG10、B画素データB11、第2G画素データG12、B画素データB13、第2G画素データG14、B画素データB15、第2G画素データG16、およびB画素データB17が配置されている。
【0022】
そして、図2(B)の例では、ベイヤー配列RAWデータが、次のように同種(同色)のグループに区分けされている。
第1行の12ビットのR画素データR00,R02,R04,R06がR画素グループGRP1に区分けされ、第1G画素データG01,G03,G05,G07が第1G画素グループGRP2に区分けされている。
第2行の12ビットの第2G画素データG10,G12,G14,G16が第2G画素グループGRP3に区分けされ、B画素データB11,B13,B15,B17がB画素グループGRP4に区分けされている。
このように、この例では、水平同色4画素単位にグループ分けされている。
【0023】
最大値抽出部32は、データ区分け部31で区分けされた各グループGRP1〜GRP4における複数(本例では4)の画素データの最大値を抽出し、抽出情報をビット位置決定削減部33および最上位ビット位置情報出力部35に出力する。
ここで、最大値は各画素データの12ビットのうち、MSB(最上位ビット)に近いビットに論理1が設定される場合に最大値と抽出される可能性が高い。
【0024】
たとえば、12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から1ビット目であるビットb11である場合には、最大値MAXは2048またはそれ以上の値となる(2048≦MAX)。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から2ビット目であるビットb10である場合には、最大値MAXは1024≦MAX≦2048の範囲の値となる。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から3ビット目であるビットb9である場合には、最大値MAXは512≦MAX≦1023の範囲の値となる。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から4ビット目であるビットb8である場合には、最大値MAXはMAX≦511の範囲の値となる。
上記した例では、最上位ビット位置情報である最大値位置情報として4つであることから、最大値位置情報MAXINFは2ビットで表すことが可能である。
たとえば、2048≦MAXの場合、最大値位置情報MAXINFは“11”または“00”に設定され、1024≦MAX≦2048の場合、最大値位置情報MAXINFは“10”または“01”に設定される。
同様に、512≦MAX≦1023の場合、最大値位置情報MAXINFは“01”または“10”に設定され、MAX≦511の場合、最大値位置情報MAXINFは“00”または“11”に設定される。
【0025】
さらに下位側に設定される場合にも最大値として採用することが可能である。この場合、最大値位置情報MAXINFのビット数は、3ビットあるいはそれ以上となる。
【0026】
ビット位置決定削減部33は、最大値抽出部32で抽出された最大値MAXを基に、グループ内の同種の情報データである画素データの共通のビットの削減位置を決定し、この決定に応じて共通のビットを削減して圧縮する。
本例では、ビット位置決定削減部33は、グループ内の同種の情報データである画素データの共通のビットの削減位置を決定するビット削減位置決定部331および決定に応じて共通のビットを削減するビット削減部332を含む。
【0027】
ビット位置決定削減部33は、グループ内の同種の情報データである画素データにおいて、最大値MAXを示す情報データである画素データにおける最上位の設定ビットより上位のビットを削減する。
ビット位置決定削減部33は、削減ビット数としては、2,3,4,5,6,7ビット等を採用することができる。
ビット位置決定削減部33は、グループ内の同種の情報データである画素データにおいて、最大値MAXを示す情報データである画素データにおけるビット配列で、最上位の設定ビットより上位のビットに向かい、MSBの次は最下位ビットからビット削減を行う。
【0028】
図3は、12ビットのRAWデータおよび最大値位置情報が2ビットのときのデータの削減位置を示す図である。
【0029】
最大値MAXが2048≦MAXの範囲の値の場合、次のようにビット削減が行われる。
この場合、12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から1ビット目であるビットb11である場合には、LSB(最下位ビット)から上位ビット側に向けてあらかじめ決められた複数ビットが削減される。
3ビット削減して9ビットに圧縮する場合には、LSBのビットb0からビットb1、ビットb2の、合わせて3ビット削減される。
4ビット削減して8ビットに圧縮する場合には、LSBのビットb0からビットb1、ビットb2、ビットb3の、合わせて4ビット削減される。
5ビット削減して7ビットに圧縮する場合には、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4の、合わせて5ビット削減される。
6ビット削減して6ビットに圧縮する場合には、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4、ビットb5の、合わせて6ビット削減される。
7ビット削減して5ビットに圧縮する場合には、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4、ビットb5、ビットb6の、合わせて7ビット削減される。
【0030】
最大値MAXは1024≦MAX≦2048の範囲の値の場合、次のようにビット削減が行われる。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から2ビット目であるビットb10である場合には、MSB(b11)とLSB(b0)あるいはLSBからさらに上位ビット側に向けてあらかじめ決められた複数ビットを削減する。
3ビット削減して9ビットに圧縮する場合には、MSBのビットb11、LSBのビットb0からビットb1の、合わせて3ビット削減される。
4ビット削減して8ビットに圧縮する場合には、MSBのビットb11、LSBのビットb0からビットb1、ビットb2の、合わせて4ビット削減される。
5ビット削減して7ビットに圧縮する場合には、MSBのビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3の、合わせて5ビット削減される。
6ビット削減して6ビットに圧縮する場合には、MSBのビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4の、合わせて6ビット削減される。
7ビット削減して5ビットに圧縮する場合には、MSBのビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4、ビットb5の、合わせて7ビット削減される。
【0031】
最大値MAXは512≦MAX≦1023の範囲の値の場合、次のようにビット削減が行われる。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から3ビット目であるビットb9である場合には、ビットb10、b11、LSB(b0)あるいはLSBからさらに上位ビット側に向けてあらかじめ決められた複数ビットを削減する。
3ビット削減して9ビットに圧縮する場合には、MSB側に向かって上位側のビットb10、ビットb11、LSBのビットb0の、合わせて3ビット削減される。
4ビット削減して8ビットに圧縮する場合には、MSB側に向かって上位側のビットb10、ビットb11、LSBのビットb0からビットb1の、合わせて4ビット削減される。
5ビット削減して7ビットに圧縮する場合には、MSB側に向かって上位側のビットb10、ビットb11、LSBのビットb0からビットb1、ビットb2の、合わせて5ビット削減される。
6ビット削減して6ビットに圧縮する場合には、MSB側に向かってビットb10、ビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3の、合わせて6ビット削減される。
7ビット削減して5ビットに圧縮する場合には、MSB側に向かってビットb10、ビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4の、合わせて7ビット削減される。
【0032】
最大値MAXはMAX≦511の範囲の値の場合、次のようにビット削減が行われる。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から4ビット目であるビットb8である場合には、ビットb9〜b11、LSB(b0)あるいはLSBからさらに上位ビット側に向けてあらかじめ決められた複数ビットを削減する。
3ビット削減して9ビットに圧縮する場合には、MSB側に向かって上位側のビットb9、ビットb10、ビットb11の、合わせて3ビット削減される。
4ビット削減して8ビットに圧縮する場合には、MSB側に向かって上位側のビットb9、ビットb10、ビットb11、LSBのビットb0の、合わせて4ビット削減される。
5ビット削減して7ビットに圧縮する場合には、MSB側に向かって上位側のビットb9、ビットb10、ビットb11、LSBのビットb0からビットb1の、合わせて5ビット削減される。
6ビット削減して6ビットに圧縮する場合には、MSB側に向かってビットb9、ビットb10、ビットb11、LSBのビットb0からビットb1、ビットb2の、合わせて6ビット削減される。
7ビット削減して5ビットに圧縮する場合には、MSB側に向かってビットb9、ビットb10、ビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3の、合わせて7ビット削減される。
【0033】
圧縮データ出力部34は、ビット位置決定削減部33でビットを削減して圧縮されたデータ(画像データ)を伸張処理部40に出力する。
【0034】
最上位ビット位置情報出力部35は、最大値抽出部32による最大値MAXを示す情報データにおける最上位の設定ビット位置を示す最上位ビット位置情報である最大値位置情報MAXINFを生成して、最大値位置情報MAXINFを伸張処理部40に出力する。
【0035】
図4は、最上位ビット位置情報出力部が出力する最大値位置情報の一例を示す図である。
【0036】
この例では、2048≦MAXの場合、最大値位置情報MAXINFは“11(3)”に設定され、1024≦MAX≦2047の場合、最大値位置情報MAXINFは“10(2)”に設定される。
同様に、512≦MAX≦1023の場合、最大値位置情報MAXINFは“01(1)”に設定され、MAX≦511の場合、最大値位置情報MAXINFは“00(0)”に設定される。
【0037】
伸張処理部40は、付加ビット量情報出力部41、およびビット付加伸張部42を有する。
【0038】
付加ビット量情報出力部41は、最上位ビット位置情報出力部35による最上位ビット位置情報である最大値位置情報MAXINFを受けて、付加すべき付加ビット量情報に変換し、その結果をビット付加伸張部42に出力する。
この例では、2048≦MAXの場合の最大値位置情報MAXINF“11”が3に変換され、1024≦MAX≦2047の場合の最大値位置情報MAXINF“10”が2に変換される。
同様に、512≦MAX≦1023の場合の最大値位置情報MAXINF“01”が1に変換され、MAX≦511の場合の最大値位置情報MAXINF“00”が0に変換される。
【0039】
ビット付加伸張部42は、付加ビット量情報を基に、ビットを付加する量を決定し、決定に応じて圧縮データ出力部34の出力データにビットを付加する。
ビット付加伸張部42は、ビットを付加して伸張する際に、乱数を付加する。
ビット付加伸張部42は、乱数を付加する場合に、最大値位置情報に応じた付加ビット量情報を付加する機能を有する。
図1のビット付加伸張部42は、ビット付加部421、乱数付加判定部422、および乱数重畳部423を有する。
乱数付加判定部422は、ビット付加部421の出力伸張データに乱数を付加するか否かを判定する。判定は、あらかじめ設定した状態を基準に判定する場合や、画像の明るさの情報に応じて判定する等、種々の態様が可能である。
乱数を付加する場合に、ビット付加部421による伸張データに乱数を付加する。
【0040】
図5は、付加ビットと同じビット数の乱数を重畳する処理を模式的に示す図である。
図5の例では、12ビットのデータからLSBから6ビット(b0〜b5)が削減された場合の6ビット付加と、6ビットの乱数を加算する例を示している。
【0041】
出力処理部50は、伸張処理部40の伸張されたデータに対して、復元等の処理を施すことが可能である。
【0042】
次に、上記構成を有する図1のデータ処理装置10の動作を説明する。
データ入力部20を通しRAWデータが圧縮処理部30のグループ区分け部21に入力され、同色ごとにグループに区分けされる。
ここでは、グループ区分け部31は、たとえば図2に示すように、水平方向における同色の4画素を同一グループとなるように区分けする。
電子カメラの撮像しれえられたRAWデータを処理する回路に本装置を適用する場合、撮像RAWデータはラスタ・スキャンで処理回路に入力されることから、回路規模を小さくするためには、水平方向において、グループ分けすることが望ましい。
垂直方向や垂直水平の2次元領域にグループ分けをすると、ラインメモリが必要になり、回路規模が増大する傾向となる。
前述したように、図2(A)のベイヤー配列RAWデータは、図2(B)のように水平方向の同色4画素単位にまとめられる。
【0043】
次に、最大値抽出部32において、区分けされた各グループ内の4画素の最大値MAXが抽出され、最大値データの最上位側ビット位置が検出される。
MSB(最上位ビット)に最も近いビットに論理1が設定されるビット位置が検出される。
次に、ビット削減位置決定部331において、グループ内の同種の情報データである画素データの共通のビットの削減位置が決定され、その決定情報に基づいて、ビット削減部322で決定に応じた共通のビットが削減される。ビット削減部322で各グループ内の4つのデータ全て同じ位置のビットが削減される。
図3では、最大値MAXの最上位側の位置を4分類しているが、8分類16分類と増やすことで、最大値が小さいときの切捨て量を減らすことができる。
ただし、グループ毎に1つの最大値の最上位ビットの位置情報を出力するので、分類数が増えるとその分圧縮率が低下することになる。
【0044】
削減したデータは、圧縮データ出力部34から出力される。
さらに区分けしたグループ毎に最上位ビット位置情報出力部35から最大値MAXを示す情報データにおける最上位の設定ビット位置を示す最上位ビット位置情報である最大値位置情報MAXINFの1つが出力される。
たとえば、図2(B)のグループGRP1のデータが各々R00=800、R02=2500、R04=1300、R06=200であったとする。この4点の最大値はR002の2500であり、最大値のビット位置は、12ビットのMSBであるビットb11に存在する。たとえば、12ビットから6ビットにRAWデータを圧縮する場合、図3の表からこの領域の圧縮方法はLSBから6ビットを削減すると決定される。
圧縮方法は、最大値のMSB側最上位のビットを削除しないようなビットの削減(最大値のMSB側における1が設定されるビットより上位側ビット位置からLSBに向かって圧縮ビット数分抜き出す)が選択されるように決定を行っている。
削減方法は、「切捨て」、「切り上げ」、「四捨五入」などがあるが、ここでは「切り捨て」を行うこととする。ビット削減後のデータはそれぞれ、R00=12、R02=39、R04=20、R06=3となる。
最大値の最上位側ビット位置情報は、図3の4分類では2ビットの信号で表現をすることが可能であり、たとえば図4のように分類結果にビットを割り当てると、最大値の位置情報MAXINFは3となる。
【0045】
次に、圧縮されたデータの伸張処理について説明する。
最上位ビット位置情報出力部35から出力された最大値位置情報MAXINFは、伸張処理部40の付加ビット量情報出力部41に入力され、付加ビット量情報に変換されて出力される。
たとえば、図4の例に従って生成された最大値位置情報はMAXINF、図3および図4に従って付加ビット量情報に変換される。
今、最大値位置情報MAXINFは3であるから、図4より領域内の最大値は2048以上であり、図3より6ビット圧縮モードなので、LSB側から6ビット削減されていることがわかる。
復元するためには、6ビットをLSB側に付加すればよいので、6ビットをLSB側に付加するという情報がビット付加部421に出力される。
【0046】
ビット付加部421へは圧縮データ出力部34から出力された圧縮データも入力され、付加ビット情報を元にデータの伸張が行われる。付加ビット情報は「LSB側に6ビットを付加する」であるから、LSB側に6ビットの0を付加、つまり圧縮データ値が64倍される。
圧縮データはそれぞれ、R00=12、R02=39、R04=20、R06=3なので、伸張後のデータは、R00=768、R02=2496、R04=1280、R06-=192となる。伸張されたデータは乱数付加判定部422に入力される。
乱数付加判定部422では、たとえば使用者が伸張後のデータに乱数値を付加する動作を希望する場合は、伸張データが乱数重畳部423に入力し、付加しない場合は伸張データをそのまま出力して出力処理部50で処理の処理を受けて圧縮伸張処理が終了する。
乱数を付加するとき、伸張データは乱数重畳部423で乱数が重畳される。乱数重畳部423には、付加ビット量情報出力部41から出力された付加ビット量情報も入力される。
付加ビット量情報があると、LSB側に何ビットの“0”が付加されたのかを把握することが可能であり、付加されたビット列のみに乱数を重畳することが可能となる。
付加されたビット数以上のビット数の乱数値を付加してもよい。乱数の種類には様々なものがあるが、全てのレンジで出現確立が一様なホワイトノイズ乱数を付加ビット数重畳すると効果的である(図5)。
乱数を加算したデータは、出力処理部50で処理の処理を受け、これにより圧縮伸張処理が終了する。
【0047】
<2.第2の実施形態>
図6は、本第2の実施形態に係るデータ処理装置の構成例を示す図である。
【0048】
本第2の実施形態に係るデータ処理装置10Aが第1の実施形態に係るデータ処理装置10と異なる点は、圧縮伸張処理に、同色隣接画素間の差分値を適用するように構成したことにある。
データ処理装置10Aは、圧縮処理部30Aに、グループ区分け部31の入力側に同色隣接画素側の差分値取得部36および基準データ出力部37が配置されている。
また、伸張処理部40Aにおいて、ビット付加伸張部42Aに、乱数付加判定部および乱数重畳部を配置する代わりに、その出力側に差分値加算部43が配置されている。
【0049】
差分値取得部36は、入力RAWデータを受けて、グループ内における隣接する情報データの差分値を求め、この差分値の符号および絶対値を求め、求めた符号を含む差分絶対値をグループ区分け部31に供給する。また、差分値取得部36は、入力RAWデータに関する基準データを、基準データ出力部37を通してビット付加伸張部42Aに出力する。
差分値加算部43は、ビット付加部から出力される伸張された差分値データおよび符号、並びに、基準データに応じてデータの復元を行う。
そして、最大値抽出部32およびビット位置決定削減部33は、差分絶対値データに対して最大値抽出およびビット位置決定削減処理を行い、最上位ビット位置情報出力部35は、各グループの各先頭の情報データの値および符号を伸張処理部40Aに出力する。
ビット付加伸張部42Aは、ビットを付加して伸張した差分値データを取得し、この伸張した差分値データおよび符号を差分値加算部43に出力する。
差分値加算部43は、基準データと最初の差分値データと符号情報を用いて基準データの同グループにおける隣接する情報データを復元する。そして、差分値加算部43は、復元情報データとその同グループの隣接する情報データとの差分値データおよび符号情報を用いて同様の計算を繰り返すことで、データの復元を行う。
【0050】
ここで、このような構成を採用する理由について説明する。
一般的に、自然画像において近傍の同色画素の値は、画像のエッジ部分を除いて近い値であることが多く、同色隣接画素間の差分は小さい。
本実施形態の圧縮伸張処理では、データの値が大きいほどLSB側の削減量が大きく、圧縮伸張による誤差が大きくなる傾向にある。図1の基本構成の圧縮伸張方法では、画像の明るい部分ほど圧縮伸張の誤差が大きくなってしまう傾向がある。
ところが、同色隣接画素との差分値は、画像の明るい部分でも小さく、図1の基本構成の圧縮伸張方法を適用しても、圧縮伸張による誤差は小さく抑えることができる。
【0051】
以下に、図6に関連付けて処理の流れを説明する。
データ入力部20より入力されたRAWデータは同色隣接画素の差分値取得部36に入力され、同色隣接画素間の差分値が算出される。
差分値取得部36は、差分を計算する方向は、水平方向にグループ区分けを行う場合うは水平方向、垂直方向にグループの区分けを行う場合は垂直方向に計算を行う。
【0052】
図7は、差分値取得部における差分値の計算処理の一例を示す図である。
差分値取得部36は、水平方向に差分計算を行う場合、図7のように差分値を計算する。
図7の例では、R画素グループGRP1では、差分値(R00−R02)、(R02−R04)、(R04−R06)、(R06−R08)が計算される。
第1G画素グループGRP2では、差分値(G01−G03)、(G03−G05)、(G05−G07)、(G07−G09)が計算される。
第2G画素グループGRP3では、差分値(G10−G12)、(G12−G14)、(G14−G16)、(G16−G18)が計算される。
B画素グループGRP4では、差分値(B11−B13)、(B13−B15)、(B15−B17)、(B17−B19)が計算される。
【0053】
計算された差分値は、グループ区分け部31に入力供給され、圧縮処理部30Aでは、図1の基本構成と同様に圧縮処理が行われる。
ただし、圧縮対象のデータは差分値であるため、入力されたRAWデータが12ビットの場合、差分値の値域は13ビットの−4095〜4095になる。
そこで、出力する差分値については、符号1ビット+差分絶対値12ビットとして出力が行われる。圧縮処理では、この差分絶対値を対象に圧縮を行い、符号1ビットを添えて圧縮データとして出力を行う。
同色隣接画素の差分値取得部36は、さらに基準データ出力部37に基準データを出力する。基準データとは、各行、列で差分を演算する最初の基準となる画素のことであり、水平方向のグループの区分けによる圧縮では、図7のR00、G01、G10、B11が相当する。これらのデータに関しては圧縮することなく、基準データ出力部37から出力される。
【0054】
次に、第2の実施形態における伸張方法について説明する。
圧縮された差分値データは、ビット付加伸張部42Aが、図1の基本構成の伸張方法と同様にビットを付加して伸張を行う。
本第2の実施形態では、ビット付加部421Aからはその伸張された差分値データと、符号データ1ビットを出力し、差分値加算部43でデータの復元を行う。
差分値加算部43には、他に基準データ出力部37から出力される基準データも入力される。
差分値加算部43では、基準データと最初の差分値データと符号情報を用いて基準データの同色隣接画素を復元し、復元画素とその同色隣接画素との差分値データ、符号を用いて同様の計算を繰り返すことで、データの復元を行う。
出力処理部50で処理の処理を受け、これにより圧縮伸張処理が終了する。
【0055】
<3.第3の実施形態>
次に、第3の実施形態について説明する。
図8は、第3の実施形態において、単調増加関数で表現される関数を用いて入力データのビット削減を行う処理を説明するための図である。
図9は、第3の実施形態において、単調増加関数で表現される関数を用いて圧縮データの伸張処理を説明するための図である。
【0056】
本第1の実施形態の基本構成(図1)の圧縮伸張方法では、入力データをそのまま同色毎に複数のグループに区分けし、各グループの最大値MAXを検出して、LSB側の削減量を決定している。
12ビットのデータを5ビットに圧縮する場合、LSB側のデータの削減量は最大で8通り(0ビット削減〜7ビット削減)ある。
この全てを表現する場合、最大値位置情報MAXINFは3ビット必要になる。最大値のMSB側位置情報量が多いと圧縮率が低下するため、高い圧縮率を実現するためには、最大値のMSB側位置情報量が少ないことが望ましい。
そこで、本第3の実施形態では、図1の基本構成の圧縮伸張方法の処理で、データ入力部20で、図8に示すような、単調増加関数で表現される関数を用いて12ビット入力データを8ビット入力データに削減する。
関数の形状は任意であるが、画像の暗部(データ値が小さい領域)ほど階調を保存するような上に凸な関数の形状が望ましい。
【0057】
8ビット化されたデータは、グループ区分け部31に入力された以降、図1の基本構成の圧縮伸張処理と同様に圧縮が行われる。8ビットを5ビットに圧縮する場合、LSB側のデータの削減量は最大で4通り(0ビット削減〜3ビット削減)で、最大値位置情報は2ビットで表現することが可能となる。
【0058】
伸張方法も図1の基本構成の圧縮伸張方法と同様に行い5ビットから8ビットに復元し、出力処理部50Aで図9に示すような、単調増加関数で8ビットを12ビット化する。
関数の特性は、図8の関数出力が図9の関数処理で、図8の関数入力に戻るような特性が望ましい。
たとえば、図8の関数がY=X0.5(0≦X≦1)であったとき、図9の関数はY=X2(0≦X≦1)とする。
【0059】
<4.第4の実施形態>
次に、第4の実施形態について説明する。
図10は、本第4の実施形態で適用されるパターンディザの一例を示す図である。
なお、本第4の実施形態においてデータ処理装置の構成は、基本的な構成は上述した図1の構成を採用することが可能である。
【0060】
第3の実施形態では単調増加関数を用いてビット削減を行ったが、本第4の実施形態では、データ入力部20で単調増加関数のかわりに、パターンディザを適用してビット削減を行う。
パターンディザには様々なものがあるが、たとえば、2x2単位で左上、右上、左下、右下の順にR、G、G、Bと並んだベイヤー配列の12ビットRAWデータを8ビットに圧縮する場合、次のようなパターンを適用することが可能である。たとえば4x4の領域に0〜15の値をランダムに配置した、パターンと2x2の領域に0、2、4、6の値をランダムに配置したパターンを用意する。
たとえば、図10に示すとおりである。
【0061】
12ビットを8ビットに削減する場合、12ビットのデータをG画素は同色4x4、R画素、B画素は同色2x2にグループ区分けし、G画素は4x4のディザパターンと、R画素、B画素は2x2のディザパターンに対応させる。
まず、LSB側を4ビット削減し、削減する4ビットの値と対応するディザパターンの値を比較し、削減4ビットの値がディザパターン値よりも大きい場合、削減した8ビットの値に1を加算する。削減した8ビットの値が255(最大値)の場合加算は行わない。
この作業を全画素に適用し、12ビットを8ビットに削減する。
そして、出力処理部50では、関数演算は行わずに、単純にデータを16倍して8ビットを12ビット化する。
【0062】
<5.第5の実施形態>
次に、第5の実施形態について説明する。
なお、本第5の実施形態においてデータ処理装置の構成は、基本的な構成は上述した図1の構成を採用することが可能である。
【0063】
第4の実施形態ではパターンディザを適用してビット削減を行ったが、本第5の実施形態は、パターンディザの代わりに乱数加算を適用する。
0〜LSB側の削減ビットのビット数の最大値までを値域とする一様な乱数を生成し、削減ビット列と削減ビットと同じビット数の乱数を加算し、加算後の値が削減ビット列の最大値を超える場合、圧縮データに1を加算する。圧縮データが既に最大値の場合は加算を行わない。
この作業を全画素に適用し、ビットを削減する。たとえば、12ビットを8ビットに圧縮する場合は、値域が0〜15の乱数値を生成し、画素毎に削減する4ビットと加算を行う。加算した結果が15を超える(16以上)場合は、圧縮データの8ビット列に1を加算する。圧縮データが255の場合は加算を行わない。
そして、出力処理部50では、関数演算は行わずに、単純にデータを16倍して8ビットを12ビット化する。
【0064】
<6.第6の実施形態>
次に、第6の実施形態について説明する。
図11は、本第6の実施形態に係るデータ処理装置の構成例を示す図である。
なお、本第6の実施形態においてデータ処理装置の圧縮処理部および伸張処理部の構成は、基本的な構成は上述した図1の構成を採用することが可能である。
このデータ処理装置10Bは、RAWデータを出力するイメージセンサ60が配置される。
データ入力部20Bは、セレクタ21、LSBビット削減部22、および画像のヒストグラム情報出力部23を含んで構成されている。
LSBビット削減部22は、第3、第4、および第5の実施形態の処理機能の1または2つあるいは全てを含む。
セレクタ21は、ヒストグラム情報出力部23の出力に応じてイメージセンサ60の出力データまたはLSBビット削減部22で削減処理を受けたデータを選択して圧縮処理部30に供給する。
【0065】
一般的にイメージセンサ60からの出力データは、高感度時において値が小さいことが多い。この小さな値をイメージセンサ60内でゲインをかけて出力したり、イメージセンサ60からの出力後の後処理でゲインをかけて、信号の増幅を行っている。
イメージセンサ出力後の後処理でゲインをかける場合、イメージセンサから12ビットのデータを出力している場合でも、実際には、光源などを撮影した場合を除いて、下位ビットに多くデータが含まれている。
上述した第3、第4、および第5の実施形態では、暗い部分(データの小さい部分)も含めて圧縮を行ってしまうが、図1の基本構成の圧縮伸張方法では、データが小さければ小さいほど圧縮伸張による誤差は発生しない。
たとえば、12ビットを6ビットに、7分類で圧縮する場合、64未満の値の圧縮伸張による誤差は0になる。故に、データ値が小さいものが大部分を占める高感度時や、低感度時で暗い部分を撮影して、画素のデータ値が小さい場合においては、図1の基本構成による圧縮方法が最も誤差が発生しないことになる。
図11に示すように、イメージセンサ60からの出力データの感度や、画像のヒストグラムで明るさの分布を観測し、感度が高い場合、またはヒストグラムが暗部に偏っている場合は図1の基本構成の圧縮方法を適用する。
感度が高くない場合、またはヒストグラムが暗部に偏っていない場合は、第3または第4または第5の実施形態を適用するように処理方法を切り替える機構を設けることで、最適な圧縮方法を選択することができる。
【0066】
<7.第7の実施形態>
次に、第7の実施形態について説明する。
本第7に実施形態では、圧縮処理部をイメージセンサ内部に実装し、イメージセンサ出力のデータ処理部に、本実施形態の伸張処理部を実装する。イメージセンサの出力ビット数が減り、1フレーム当たりのデータ転送量を削減することができる。
【0067】
以上説明した本実施形態によれば、以下の効果を得ることができる。
本実施形態による圧縮伸張方法では、データが小さい場合、すなわち、画像の暗い部分は圧縮の誤差が小さくなる。
たとえば、高感度撮影時においてイメージセンサからゲインをかけずに出力されたデータは、値が小さいものが多い。これらに関しては圧縮伸張による誤差が小さく、画像においても劣化が確認し難くなる。
低感度撮影時でも、たとえば12ビットのRAWデータを6ビットに圧縮する場合、MSBのビット位置の分類を4分類とし、ビット削減方法を四捨五入とした場合、圧縮伸張による誤差は図12のようになる。
圧縮伸張による誤差は、明るいほど大きくなるが、レベルが非常に高い部分を除いて、最大で31の誤差程度である。イメージセンサで撮影した自然画像データでは、低感度撮影時でも、ある程度のノイズ成分が含まれており、JPEGファイルなどの画像に処理する際には、ノイズリダクション処理を備えている場合が多い。
圧縮伸張による誤差量は、ノイズ成分量と大きく値はかわらないため、圧縮伸張による誤差量をノイズ成分と判定して補正を行うようなノイズリダクション処理を適用することで、ほとんど目視では確認できないレベルまで低減させることが可能である。
12ビットの低感度撮影RAW画像(図13)を6ビットの圧縮伸張処理を行い、上記のノイズリダクションを適用し、8ビットのビットマップ(Bitmap)画像を生成したとき、次のことが確認された。すなわち、同じRAWデータを非圧縮で処理して生成した8bitのBitmap画像を比較すると、PSNRは約52[dB]で、同様に5ビットの圧縮伸張処理のBitmapでは約48[dB]の値になることが確認された。
一般的に、PSNR値が40[dB]以上あると、目視での差分はほとんど確認することができないことが知られている。
【0068】
また、本実施形態の基本構成で、伸張処理時に乱数を重畳する処理があるが、乱数重畳処理についての効果も以下に説明する。
本実施形態の基本構成で、図1の「ビット削減部332」による方法は、前述の四捨五入の他に切捨てもある。切捨ての場合、四捨五入の判定処理が不要となり、より簡単に圧縮処理を行うことができる。図1の「ビット削減部332」による方法を切捨てで行った場合、誤差量はマイナス値のみとなり、圧縮後のデータ値は圧縮前のデータ値よりも小さくなる。
画像としては、圧縮伸張により全体的に画像が暗くなることになる。一方、伸張後のデータに、伸張Bit分の乱数を重畳すると、圧縮伸張による誤差量は正負一様に広がり、画像が暗くなることを防ぐことが可能となる。
誤差量の平均を測定すると、切捨てによる圧縮伸張の場合は平均約−21、切捨て圧縮を行った後、伸張時に乱数を付加した場合は平均+0.3程度となる。四捨五入によるビット削減を行った場合は、誤差は正負対象に分布するため画像が暗くなることはないが、ビット削減の処理内容が切捨てよりも多くなってしまう。
【0069】
なお、本実施形態はRAW画像データ以外にも、RGBや輝度・色差形式の画像データや、音声データにも適用することができる。
【0070】
このような効果を有するデータ処理装置は、固体撮像素子を含むデジタルカメラやビデオカメラの撮像デバイスとして適用することができる。
【0071】
<8.第8の実施形態>
[カメラシステムの構成例]
図14は、本第8の実施形態に係るデータ処理装置が適用されるカメラシステムの構成の一例を示す図である。
【0072】
本カメラシステム100は、図14に示すように、CMOSセンサ等の固体撮像素子が適用可能な撮像デバイス110を有する。
カメラシステム100は、撮像デバイス110の画素領域に入射光を導く(被写体像を結像する)光学系として、たとえば入射光(像光)を撮像面上に結像させるレンズ120を有する。
さらに、カメラシステム100は、撮像デバイス110を駆動する駆動回路(DRV)130と、撮像デバイス110の出力信号を処理するデータ処理装置(PRC)140と、を有する。
このデータ処理装置140に、上述した各実施形態のデータ処理装置が適用可能である。
【0073】
駆動回路130は、撮像デバイス110内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス110を駆動する。
【0074】
また、データ処理装置140は、撮像デバイス110の出力信号に対して所定の信号処理を施す。また、圧縮伸張処理の具体的な説明は個々では省略する。
データ処理装置140で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、データ処理装置140で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。
【0075】
上述したように、デジタルスチルカメラ等の撮像装置において、本実施形態に係るデータ処理を搭載することで、処理時間および回路規模の増大を抑止しつつ画質劣化を抑止することができる高精度なカメラが実現できる。
【0076】
上述した本実施形態に限らず、本技術の要旨を逸脱しない限り、適宜、変更しうることはいうまでもない。
【0077】
また、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【符号の説明】
【0078】
10,10A,10B・・・データ処理装置、20データ入力部、30,30A・・・圧縮処理部、31・・・データ区分け部、32・・・最大値抽出(検出)部、33・・・ビット位置決定削減部、331・・・ビット削減位置決定部、332・・・ビット削減部、34・・・圧縮データ出力部、35・・・最上位ビット位置情報出力部、36・・・差分値取得部、37・・・基準データ出力部、40,40A・・・伸張処理部、41・・・付加ビット量情報出力部、42・・・ビット付加伸張部、421・・・ビット付加部、乱数付加判定部、423・・・乱数重畳部、43・・・差分値加算部、50,50A・・・出力処理部、60・・・イメージセンサ、100・・・カメラシステム、110・・・撮像デバイス、120・・・光学系(レンズ)、130・・・駆動回路、140・・・データ処理装置。
【技術分野】
【0001】
本発明は、データを圧縮等のデータ処理を行うデータ処理装置、データ処理方法、プログラム、およびカメラシステムに関するものである。
【背景技術】
【0002】
RAW(生)データの圧縮伸張方法として、画像の空間周波数領域を利用して可変長符号化して圧縮する技術が知られている(たとえば特許文献1参照)。
また、単純な圧縮方法として、ガンマカーブなどによる階調圧縮が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003-224868号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、空間周波数領域への変換や、それを符号化する際の演算量は大きく、処理時間が多くかかってしまったり、回路化する場合、回路規模が大きくなってしまうという不利益がある。
階調圧縮では、圧縮後のビット数を小さくすると、階調数が足りず画質劣化が目に見えて著しくなってしまう。
【0005】
本発明は、処理時間および回路規模の増大を抑止しつつ画質劣化を抑止することが可能なデータ処理装置、データ処理方法、プログラム、およびカメラシステムを提供することにある。
【課題を解決するための手段】
【0006】
本発明の第1の観点のデータ処理装置は、多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分け部と、上記データ区分け部で区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出部と、上記最大値抽出部で抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減部とを有する。
【0007】
本発明の第2の観点のデータ処理方法は、多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分けステップと、上記データ区分けステップで区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出ステップと、上記最大値抽出ステップで抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減ステップとを有する
【0008】
本発明の第3の観点は、多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分け処理と、上記データ区分け処理で区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出処理と、上記最大値抽出処理で抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減処理とを有するデータ処理をコンピュータに実行させるプログラムである。
【0009】
本発明の第4の観点のカメラシステムは、光学系と、上記光学系を通過した被写体像を撮像し、生(RAW)データを出力する撮像素子と、上記生データに対する処理を行うデータ処理装置と、を有し、上記データ処理装置は、多ビットにより形成される複数種の色情報データを含む入力生データを、同種の色情報データごとに複数のグループに区分けするデータ区分け部と、上記データ区分け部で区分けされた上記各グループにおける上記色情報データの最大値を抽出する最大値抽出部と、上記最大値抽出部で抽出された上記最大値を基に、上記グループ内の同種の色情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減部と、を含む。
【発明の効果】
【0010】
本発明によれば、処理時間および回路規模の増大を抑止しつつ画質劣化を抑止することができる。
【図面の簡単な説明】
【0011】
【図1】本第1の実施形態に係るデータ処理装置の構成例を示す図である。
【図2】ベイヤー配列RAWデータと同種(同色)のグループに区分けした例を示す図である。
【図3】12ビットのRAWデータおよび最大値位置情報が2ビットのときのデータの削減位置を示す図である。
【図4】最上位ビット位置情報出力部が出力する最大値位置情報の一例を示す図である。
【図5】付加ビットと同じビット数の乱数を重畳する処理を模式的に示す図である。
【図6】本第2の実施形態に係るデータ処理装置の構成例を示す図である。
【図7】差分値取得部における差分値の計算処理の一例を示す図である。
【図8】第3の実施形態において、単調増加関数で表現される関数を用いて入力データのビット削減を行う処理を説明するための図である。
【図9】第3の実施形態において、単調増加関数で表現される関数を用いて圧縮データの伸張処理を説明するための図である。
【図10】本第4の実施形態で適用されるパターンディザの一例を示す図である。
【図11】本第6の実施形態に係るデータ処理装置の構成例を示す図である。
【図12】圧縮伸張の誤差について説明するための図である。
【図13】12ビットの低感度撮影RAW画像の例を示す図である。
【図14】本第8の実施形態に係るデータ処理装置が適用されるカメラシステムの構成の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順序で行う。
1.第1の実施形態(データ処理装置の第1の構成例)
2.第2の実施形態(データ処理装置の第2の構成例)
3.第3の実施形態(データ処理装置の第3の構成例)
4.第4の実施形態(データ処理装置の第4の構成例)
5.第5の実施形態(データ処理装置の第5の構成例)
6.第6の実施形態(データ処理装置の第6の構成例)
7.第7の実施形態(データ処理装置の第7の構成例)
8.第8の実施形態(カメラシステムの構成例)
【0013】
<1.第1の実施形態>
図1は、本第1の実施形態に係るデータ処理装置の構成例を示す図である。
なお、図1はデータ処理装置の処理の概念的な流れも示している。
【0014】
本データ処理装置10で処理されるデータは、一例として、画像の生(RAW)データである。
本実施形態において、以下に述べる「乱数値」については、画素毎に値が可変する乱数のことを意味しており、都度の説明は省略する。
RAWデータには様々な配列/ビット精度のものがあるが、以下における説明は、ベイヤー配列の12ビット(bit)RAWデータを圧縮伸張する際の例を示している。
以下の説明において、12ビットのR(赤)、G(緑)、B(青)の各色の画素データが情報データに相当する。
【0015】
図1のデータ処理装置10は、データ入力部20、圧縮処理部30、伸張処理部40、および出力処理部50を有する。
【0016】
データ入力部20は、入力データであるRAWデータを受けて圧縮処理部30に入力する。
【0017】
圧縮処理部30は、データ区分け部31、最大値抽出(検出)部32、ビット位置決定削減部33、圧縮データ出力部34、および最上位ビット位置情報出力部35を有する。
【0018】
データ区分け部31は、多ビットにより形成される複数種の情報データを含む入力RAWデータを、同種の情報データごとに複数のグループに区分けし、その結果を最大値抽出部32および最上位ビット位置情報出力部35に出力する。
ここでは、情報データはR、G、Bの12ビット[b11:b0]の画素データあり、同種のグループとは、R画素グループ、第1G画素グループ、第2G画素グループ、およびB画素グループである。
【0019】
図2(A)および(B)は、ベイヤー配列RAWデータと同種(同色)のグループに区分けした例を示す図である。
【0020】
一つのベイヤー配列は、図2(A)に示すように、R画素データR00、第1G画素データG01、第2G画素データG10、およびB画素データB11により形成される。
同様に、他のベイヤー配列は、R画素データR02、第1G画素データG03、第2G画素データG12、およびB画素データB13により形成される。
他のベイヤー配列は、R画素データR04、第1G画素データG05、第2G画素データG14、およびB画素データB15により形成される。
他のベイヤー配列は、R画素データR06、第1G画素データG07、第2G画素データG16、およびB画素データB17により形成される。
【0021】
図2(A)の例では、第1行にR画素データR00、第1G画素データG01、R画素データR02、第1G画素データG03、R画素データR04、第1G画素データG05、R画素データR06、および第1G画素データG07が配置されている。
第2行に第2G画素データG10、B画素データB11、第2G画素データG12、B画素データB13、第2G画素データG14、B画素データB15、第2G画素データG16、およびB画素データB17が配置されている。
【0022】
そして、図2(B)の例では、ベイヤー配列RAWデータが、次のように同種(同色)のグループに区分けされている。
第1行の12ビットのR画素データR00,R02,R04,R06がR画素グループGRP1に区分けされ、第1G画素データG01,G03,G05,G07が第1G画素グループGRP2に区分けされている。
第2行の12ビットの第2G画素データG10,G12,G14,G16が第2G画素グループGRP3に区分けされ、B画素データB11,B13,B15,B17がB画素グループGRP4に区分けされている。
このように、この例では、水平同色4画素単位にグループ分けされている。
【0023】
最大値抽出部32は、データ区分け部31で区分けされた各グループGRP1〜GRP4における複数(本例では4)の画素データの最大値を抽出し、抽出情報をビット位置決定削減部33および最上位ビット位置情報出力部35に出力する。
ここで、最大値は各画素データの12ビットのうち、MSB(最上位ビット)に近いビットに論理1が設定される場合に最大値と抽出される可能性が高い。
【0024】
たとえば、12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から1ビット目であるビットb11である場合には、最大値MAXは2048またはそれ以上の値となる(2048≦MAX)。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から2ビット目であるビットb10である場合には、最大値MAXは1024≦MAX≦2048の範囲の値となる。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から3ビット目であるビットb9である場合には、最大値MAXは512≦MAX≦1023の範囲の値となる。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から4ビット目であるビットb8である場合には、最大値MAXはMAX≦511の範囲の値となる。
上記した例では、最上位ビット位置情報である最大値位置情報として4つであることから、最大値位置情報MAXINFは2ビットで表すことが可能である。
たとえば、2048≦MAXの場合、最大値位置情報MAXINFは“11”または“00”に設定され、1024≦MAX≦2048の場合、最大値位置情報MAXINFは“10”または“01”に設定される。
同様に、512≦MAX≦1023の場合、最大値位置情報MAXINFは“01”または“10”に設定され、MAX≦511の場合、最大値位置情報MAXINFは“00”または“11”に設定される。
【0025】
さらに下位側に設定される場合にも最大値として採用することが可能である。この場合、最大値位置情報MAXINFのビット数は、3ビットあるいはそれ以上となる。
【0026】
ビット位置決定削減部33は、最大値抽出部32で抽出された最大値MAXを基に、グループ内の同種の情報データである画素データの共通のビットの削減位置を決定し、この決定に応じて共通のビットを削減して圧縮する。
本例では、ビット位置決定削減部33は、グループ内の同種の情報データである画素データの共通のビットの削減位置を決定するビット削減位置決定部331および決定に応じて共通のビットを削減するビット削減部332を含む。
【0027】
ビット位置決定削減部33は、グループ内の同種の情報データである画素データにおいて、最大値MAXを示す情報データである画素データにおける最上位の設定ビットより上位のビットを削減する。
ビット位置決定削減部33は、削減ビット数としては、2,3,4,5,6,7ビット等を採用することができる。
ビット位置決定削減部33は、グループ内の同種の情報データである画素データにおいて、最大値MAXを示す情報データである画素データにおけるビット配列で、最上位の設定ビットより上位のビットに向かい、MSBの次は最下位ビットからビット削減を行う。
【0028】
図3は、12ビットのRAWデータおよび最大値位置情報が2ビットのときのデータの削減位置を示す図である。
【0029】
最大値MAXが2048≦MAXの範囲の値の場合、次のようにビット削減が行われる。
この場合、12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から1ビット目であるビットb11である場合には、LSB(最下位ビット)から上位ビット側に向けてあらかじめ決められた複数ビットが削減される。
3ビット削減して9ビットに圧縮する場合には、LSBのビットb0からビットb1、ビットb2の、合わせて3ビット削減される。
4ビット削減して8ビットに圧縮する場合には、LSBのビットb0からビットb1、ビットb2、ビットb3の、合わせて4ビット削減される。
5ビット削減して7ビットに圧縮する場合には、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4の、合わせて5ビット削減される。
6ビット削減して6ビットに圧縮する場合には、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4、ビットb5の、合わせて6ビット削減される。
7ビット削減して5ビットに圧縮する場合には、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4、ビットb5、ビットb6の、合わせて7ビット削減される。
【0030】
最大値MAXは1024≦MAX≦2048の範囲の値の場合、次のようにビット削減が行われる。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から2ビット目であるビットb10である場合には、MSB(b11)とLSB(b0)あるいはLSBからさらに上位ビット側に向けてあらかじめ決められた複数ビットを削減する。
3ビット削減して9ビットに圧縮する場合には、MSBのビットb11、LSBのビットb0からビットb1の、合わせて3ビット削減される。
4ビット削減して8ビットに圧縮する場合には、MSBのビットb11、LSBのビットb0からビットb1、ビットb2の、合わせて4ビット削減される。
5ビット削減して7ビットに圧縮する場合には、MSBのビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3の、合わせて5ビット削減される。
6ビット削減して6ビットに圧縮する場合には、MSBのビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4の、合わせて6ビット削減される。
7ビット削減して5ビットに圧縮する場合には、MSBのビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4、ビットb5の、合わせて7ビット削減される。
【0031】
最大値MAXは512≦MAX≦1023の範囲の値の場合、次のようにビット削減が行われる。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から3ビット目であるビットb9である場合には、ビットb10、b11、LSB(b0)あるいはLSBからさらに上位ビット側に向けてあらかじめ決められた複数ビットを削減する。
3ビット削減して9ビットに圧縮する場合には、MSB側に向かって上位側のビットb10、ビットb11、LSBのビットb0の、合わせて3ビット削減される。
4ビット削減して8ビットに圧縮する場合には、MSB側に向かって上位側のビットb10、ビットb11、LSBのビットb0からビットb1の、合わせて4ビット削減される。
5ビット削減して7ビットに圧縮する場合には、MSB側に向かって上位側のビットb10、ビットb11、LSBのビットb0からビットb1、ビットb2の、合わせて5ビット削減される。
6ビット削減して6ビットに圧縮する場合には、MSB側に向かってビットb10、ビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3の、合わせて6ビット削減される。
7ビット削減して5ビットに圧縮する場合には、MSB側に向かってビットb10、ビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3、ビットb4の、合わせて7ビット削減される。
【0032】
最大値MAXはMAX≦511の範囲の値の場合、次のようにビット削減が行われる。
12ビットのうち1が設定されている最上位側のビットが画素データのMSB側から4ビット目であるビットb8である場合には、ビットb9〜b11、LSB(b0)あるいはLSBからさらに上位ビット側に向けてあらかじめ決められた複数ビットを削減する。
3ビット削減して9ビットに圧縮する場合には、MSB側に向かって上位側のビットb9、ビットb10、ビットb11の、合わせて3ビット削減される。
4ビット削減して8ビットに圧縮する場合には、MSB側に向かって上位側のビットb9、ビットb10、ビットb11、LSBのビットb0の、合わせて4ビット削減される。
5ビット削減して7ビットに圧縮する場合には、MSB側に向かって上位側のビットb9、ビットb10、ビットb11、LSBのビットb0からビットb1の、合わせて5ビット削減される。
6ビット削減して6ビットに圧縮する場合には、MSB側に向かってビットb9、ビットb10、ビットb11、LSBのビットb0からビットb1、ビットb2の、合わせて6ビット削減される。
7ビット削減して5ビットに圧縮する場合には、MSB側に向かってビットb9、ビットb10、ビットb11、LSBのビットb0からビットb1、ビットb2、ビットb3の、合わせて7ビット削減される。
【0033】
圧縮データ出力部34は、ビット位置決定削減部33でビットを削減して圧縮されたデータ(画像データ)を伸張処理部40に出力する。
【0034】
最上位ビット位置情報出力部35は、最大値抽出部32による最大値MAXを示す情報データにおける最上位の設定ビット位置を示す最上位ビット位置情報である最大値位置情報MAXINFを生成して、最大値位置情報MAXINFを伸張処理部40に出力する。
【0035】
図4は、最上位ビット位置情報出力部が出力する最大値位置情報の一例を示す図である。
【0036】
この例では、2048≦MAXの場合、最大値位置情報MAXINFは“11(3)”に設定され、1024≦MAX≦2047の場合、最大値位置情報MAXINFは“10(2)”に設定される。
同様に、512≦MAX≦1023の場合、最大値位置情報MAXINFは“01(1)”に設定され、MAX≦511の場合、最大値位置情報MAXINFは“00(0)”に設定される。
【0037】
伸張処理部40は、付加ビット量情報出力部41、およびビット付加伸張部42を有する。
【0038】
付加ビット量情報出力部41は、最上位ビット位置情報出力部35による最上位ビット位置情報である最大値位置情報MAXINFを受けて、付加すべき付加ビット量情報に変換し、その結果をビット付加伸張部42に出力する。
この例では、2048≦MAXの場合の最大値位置情報MAXINF“11”が3に変換され、1024≦MAX≦2047の場合の最大値位置情報MAXINF“10”が2に変換される。
同様に、512≦MAX≦1023の場合の最大値位置情報MAXINF“01”が1に変換され、MAX≦511の場合の最大値位置情報MAXINF“00”が0に変換される。
【0039】
ビット付加伸張部42は、付加ビット量情報を基に、ビットを付加する量を決定し、決定に応じて圧縮データ出力部34の出力データにビットを付加する。
ビット付加伸張部42は、ビットを付加して伸張する際に、乱数を付加する。
ビット付加伸張部42は、乱数を付加する場合に、最大値位置情報に応じた付加ビット量情報を付加する機能を有する。
図1のビット付加伸張部42は、ビット付加部421、乱数付加判定部422、および乱数重畳部423を有する。
乱数付加判定部422は、ビット付加部421の出力伸張データに乱数を付加するか否かを判定する。判定は、あらかじめ設定した状態を基準に判定する場合や、画像の明るさの情報に応じて判定する等、種々の態様が可能である。
乱数を付加する場合に、ビット付加部421による伸張データに乱数を付加する。
【0040】
図5は、付加ビットと同じビット数の乱数を重畳する処理を模式的に示す図である。
図5の例では、12ビットのデータからLSBから6ビット(b0〜b5)が削減された場合の6ビット付加と、6ビットの乱数を加算する例を示している。
【0041】
出力処理部50は、伸張処理部40の伸張されたデータに対して、復元等の処理を施すことが可能である。
【0042】
次に、上記構成を有する図1のデータ処理装置10の動作を説明する。
データ入力部20を通しRAWデータが圧縮処理部30のグループ区分け部21に入力され、同色ごとにグループに区分けされる。
ここでは、グループ区分け部31は、たとえば図2に示すように、水平方向における同色の4画素を同一グループとなるように区分けする。
電子カメラの撮像しれえられたRAWデータを処理する回路に本装置を適用する場合、撮像RAWデータはラスタ・スキャンで処理回路に入力されることから、回路規模を小さくするためには、水平方向において、グループ分けすることが望ましい。
垂直方向や垂直水平の2次元領域にグループ分けをすると、ラインメモリが必要になり、回路規模が増大する傾向となる。
前述したように、図2(A)のベイヤー配列RAWデータは、図2(B)のように水平方向の同色4画素単位にまとめられる。
【0043】
次に、最大値抽出部32において、区分けされた各グループ内の4画素の最大値MAXが抽出され、最大値データの最上位側ビット位置が検出される。
MSB(最上位ビット)に最も近いビットに論理1が設定されるビット位置が検出される。
次に、ビット削減位置決定部331において、グループ内の同種の情報データである画素データの共通のビットの削減位置が決定され、その決定情報に基づいて、ビット削減部322で決定に応じた共通のビットが削減される。ビット削減部322で各グループ内の4つのデータ全て同じ位置のビットが削減される。
図3では、最大値MAXの最上位側の位置を4分類しているが、8分類16分類と増やすことで、最大値が小さいときの切捨て量を減らすことができる。
ただし、グループ毎に1つの最大値の最上位ビットの位置情報を出力するので、分類数が増えるとその分圧縮率が低下することになる。
【0044】
削減したデータは、圧縮データ出力部34から出力される。
さらに区分けしたグループ毎に最上位ビット位置情報出力部35から最大値MAXを示す情報データにおける最上位の設定ビット位置を示す最上位ビット位置情報である最大値位置情報MAXINFの1つが出力される。
たとえば、図2(B)のグループGRP1のデータが各々R00=800、R02=2500、R04=1300、R06=200であったとする。この4点の最大値はR002の2500であり、最大値のビット位置は、12ビットのMSBであるビットb11に存在する。たとえば、12ビットから6ビットにRAWデータを圧縮する場合、図3の表からこの領域の圧縮方法はLSBから6ビットを削減すると決定される。
圧縮方法は、最大値のMSB側最上位のビットを削除しないようなビットの削減(最大値のMSB側における1が設定されるビットより上位側ビット位置からLSBに向かって圧縮ビット数分抜き出す)が選択されるように決定を行っている。
削減方法は、「切捨て」、「切り上げ」、「四捨五入」などがあるが、ここでは「切り捨て」を行うこととする。ビット削減後のデータはそれぞれ、R00=12、R02=39、R04=20、R06=3となる。
最大値の最上位側ビット位置情報は、図3の4分類では2ビットの信号で表現をすることが可能であり、たとえば図4のように分類結果にビットを割り当てると、最大値の位置情報MAXINFは3となる。
【0045】
次に、圧縮されたデータの伸張処理について説明する。
最上位ビット位置情報出力部35から出力された最大値位置情報MAXINFは、伸張処理部40の付加ビット量情報出力部41に入力され、付加ビット量情報に変換されて出力される。
たとえば、図4の例に従って生成された最大値位置情報はMAXINF、図3および図4に従って付加ビット量情報に変換される。
今、最大値位置情報MAXINFは3であるから、図4より領域内の最大値は2048以上であり、図3より6ビット圧縮モードなので、LSB側から6ビット削減されていることがわかる。
復元するためには、6ビットをLSB側に付加すればよいので、6ビットをLSB側に付加するという情報がビット付加部421に出力される。
【0046】
ビット付加部421へは圧縮データ出力部34から出力された圧縮データも入力され、付加ビット情報を元にデータの伸張が行われる。付加ビット情報は「LSB側に6ビットを付加する」であるから、LSB側に6ビットの0を付加、つまり圧縮データ値が64倍される。
圧縮データはそれぞれ、R00=12、R02=39、R04=20、R06=3なので、伸張後のデータは、R00=768、R02=2496、R04=1280、R06-=192となる。伸張されたデータは乱数付加判定部422に入力される。
乱数付加判定部422では、たとえば使用者が伸張後のデータに乱数値を付加する動作を希望する場合は、伸張データが乱数重畳部423に入力し、付加しない場合は伸張データをそのまま出力して出力処理部50で処理の処理を受けて圧縮伸張処理が終了する。
乱数を付加するとき、伸張データは乱数重畳部423で乱数が重畳される。乱数重畳部423には、付加ビット量情報出力部41から出力された付加ビット量情報も入力される。
付加ビット量情報があると、LSB側に何ビットの“0”が付加されたのかを把握することが可能であり、付加されたビット列のみに乱数を重畳することが可能となる。
付加されたビット数以上のビット数の乱数値を付加してもよい。乱数の種類には様々なものがあるが、全てのレンジで出現確立が一様なホワイトノイズ乱数を付加ビット数重畳すると効果的である(図5)。
乱数を加算したデータは、出力処理部50で処理の処理を受け、これにより圧縮伸張処理が終了する。
【0047】
<2.第2の実施形態>
図6は、本第2の実施形態に係るデータ処理装置の構成例を示す図である。
【0048】
本第2の実施形態に係るデータ処理装置10Aが第1の実施形態に係るデータ処理装置10と異なる点は、圧縮伸張処理に、同色隣接画素間の差分値を適用するように構成したことにある。
データ処理装置10Aは、圧縮処理部30Aに、グループ区分け部31の入力側に同色隣接画素側の差分値取得部36および基準データ出力部37が配置されている。
また、伸張処理部40Aにおいて、ビット付加伸張部42Aに、乱数付加判定部および乱数重畳部を配置する代わりに、その出力側に差分値加算部43が配置されている。
【0049】
差分値取得部36は、入力RAWデータを受けて、グループ内における隣接する情報データの差分値を求め、この差分値の符号および絶対値を求め、求めた符号を含む差分絶対値をグループ区分け部31に供給する。また、差分値取得部36は、入力RAWデータに関する基準データを、基準データ出力部37を通してビット付加伸張部42Aに出力する。
差分値加算部43は、ビット付加部から出力される伸張された差分値データおよび符号、並びに、基準データに応じてデータの復元を行う。
そして、最大値抽出部32およびビット位置決定削減部33は、差分絶対値データに対して最大値抽出およびビット位置決定削減処理を行い、最上位ビット位置情報出力部35は、各グループの各先頭の情報データの値および符号を伸張処理部40Aに出力する。
ビット付加伸張部42Aは、ビットを付加して伸張した差分値データを取得し、この伸張した差分値データおよび符号を差分値加算部43に出力する。
差分値加算部43は、基準データと最初の差分値データと符号情報を用いて基準データの同グループにおける隣接する情報データを復元する。そして、差分値加算部43は、復元情報データとその同グループの隣接する情報データとの差分値データおよび符号情報を用いて同様の計算を繰り返すことで、データの復元を行う。
【0050】
ここで、このような構成を採用する理由について説明する。
一般的に、自然画像において近傍の同色画素の値は、画像のエッジ部分を除いて近い値であることが多く、同色隣接画素間の差分は小さい。
本実施形態の圧縮伸張処理では、データの値が大きいほどLSB側の削減量が大きく、圧縮伸張による誤差が大きくなる傾向にある。図1の基本構成の圧縮伸張方法では、画像の明るい部分ほど圧縮伸張の誤差が大きくなってしまう傾向がある。
ところが、同色隣接画素との差分値は、画像の明るい部分でも小さく、図1の基本構成の圧縮伸張方法を適用しても、圧縮伸張による誤差は小さく抑えることができる。
【0051】
以下に、図6に関連付けて処理の流れを説明する。
データ入力部20より入力されたRAWデータは同色隣接画素の差分値取得部36に入力され、同色隣接画素間の差分値が算出される。
差分値取得部36は、差分を計算する方向は、水平方向にグループ区分けを行う場合うは水平方向、垂直方向にグループの区分けを行う場合は垂直方向に計算を行う。
【0052】
図7は、差分値取得部における差分値の計算処理の一例を示す図である。
差分値取得部36は、水平方向に差分計算を行う場合、図7のように差分値を計算する。
図7の例では、R画素グループGRP1では、差分値(R00−R02)、(R02−R04)、(R04−R06)、(R06−R08)が計算される。
第1G画素グループGRP2では、差分値(G01−G03)、(G03−G05)、(G05−G07)、(G07−G09)が計算される。
第2G画素グループGRP3では、差分値(G10−G12)、(G12−G14)、(G14−G16)、(G16−G18)が計算される。
B画素グループGRP4では、差分値(B11−B13)、(B13−B15)、(B15−B17)、(B17−B19)が計算される。
【0053】
計算された差分値は、グループ区分け部31に入力供給され、圧縮処理部30Aでは、図1の基本構成と同様に圧縮処理が行われる。
ただし、圧縮対象のデータは差分値であるため、入力されたRAWデータが12ビットの場合、差分値の値域は13ビットの−4095〜4095になる。
そこで、出力する差分値については、符号1ビット+差分絶対値12ビットとして出力が行われる。圧縮処理では、この差分絶対値を対象に圧縮を行い、符号1ビットを添えて圧縮データとして出力を行う。
同色隣接画素の差分値取得部36は、さらに基準データ出力部37に基準データを出力する。基準データとは、各行、列で差分を演算する最初の基準となる画素のことであり、水平方向のグループの区分けによる圧縮では、図7のR00、G01、G10、B11が相当する。これらのデータに関しては圧縮することなく、基準データ出力部37から出力される。
【0054】
次に、第2の実施形態における伸張方法について説明する。
圧縮された差分値データは、ビット付加伸張部42Aが、図1の基本構成の伸張方法と同様にビットを付加して伸張を行う。
本第2の実施形態では、ビット付加部421Aからはその伸張された差分値データと、符号データ1ビットを出力し、差分値加算部43でデータの復元を行う。
差分値加算部43には、他に基準データ出力部37から出力される基準データも入力される。
差分値加算部43では、基準データと最初の差分値データと符号情報を用いて基準データの同色隣接画素を復元し、復元画素とその同色隣接画素との差分値データ、符号を用いて同様の計算を繰り返すことで、データの復元を行う。
出力処理部50で処理の処理を受け、これにより圧縮伸張処理が終了する。
【0055】
<3.第3の実施形態>
次に、第3の実施形態について説明する。
図8は、第3の実施形態において、単調増加関数で表現される関数を用いて入力データのビット削減を行う処理を説明するための図である。
図9は、第3の実施形態において、単調増加関数で表現される関数を用いて圧縮データの伸張処理を説明するための図である。
【0056】
本第1の実施形態の基本構成(図1)の圧縮伸張方法では、入力データをそのまま同色毎に複数のグループに区分けし、各グループの最大値MAXを検出して、LSB側の削減量を決定している。
12ビットのデータを5ビットに圧縮する場合、LSB側のデータの削減量は最大で8通り(0ビット削減〜7ビット削減)ある。
この全てを表現する場合、最大値位置情報MAXINFは3ビット必要になる。最大値のMSB側位置情報量が多いと圧縮率が低下するため、高い圧縮率を実現するためには、最大値のMSB側位置情報量が少ないことが望ましい。
そこで、本第3の実施形態では、図1の基本構成の圧縮伸張方法の処理で、データ入力部20で、図8に示すような、単調増加関数で表現される関数を用いて12ビット入力データを8ビット入力データに削減する。
関数の形状は任意であるが、画像の暗部(データ値が小さい領域)ほど階調を保存するような上に凸な関数の形状が望ましい。
【0057】
8ビット化されたデータは、グループ区分け部31に入力された以降、図1の基本構成の圧縮伸張処理と同様に圧縮が行われる。8ビットを5ビットに圧縮する場合、LSB側のデータの削減量は最大で4通り(0ビット削減〜3ビット削減)で、最大値位置情報は2ビットで表現することが可能となる。
【0058】
伸張方法も図1の基本構成の圧縮伸張方法と同様に行い5ビットから8ビットに復元し、出力処理部50Aで図9に示すような、単調増加関数で8ビットを12ビット化する。
関数の特性は、図8の関数出力が図9の関数処理で、図8の関数入力に戻るような特性が望ましい。
たとえば、図8の関数がY=X0.5(0≦X≦1)であったとき、図9の関数はY=X2(0≦X≦1)とする。
【0059】
<4.第4の実施形態>
次に、第4の実施形態について説明する。
図10は、本第4の実施形態で適用されるパターンディザの一例を示す図である。
なお、本第4の実施形態においてデータ処理装置の構成は、基本的な構成は上述した図1の構成を採用することが可能である。
【0060】
第3の実施形態では単調増加関数を用いてビット削減を行ったが、本第4の実施形態では、データ入力部20で単調増加関数のかわりに、パターンディザを適用してビット削減を行う。
パターンディザには様々なものがあるが、たとえば、2x2単位で左上、右上、左下、右下の順にR、G、G、Bと並んだベイヤー配列の12ビットRAWデータを8ビットに圧縮する場合、次のようなパターンを適用することが可能である。たとえば4x4の領域に0〜15の値をランダムに配置した、パターンと2x2の領域に0、2、4、6の値をランダムに配置したパターンを用意する。
たとえば、図10に示すとおりである。
【0061】
12ビットを8ビットに削減する場合、12ビットのデータをG画素は同色4x4、R画素、B画素は同色2x2にグループ区分けし、G画素は4x4のディザパターンと、R画素、B画素は2x2のディザパターンに対応させる。
まず、LSB側を4ビット削減し、削減する4ビットの値と対応するディザパターンの値を比較し、削減4ビットの値がディザパターン値よりも大きい場合、削減した8ビットの値に1を加算する。削減した8ビットの値が255(最大値)の場合加算は行わない。
この作業を全画素に適用し、12ビットを8ビットに削減する。
そして、出力処理部50では、関数演算は行わずに、単純にデータを16倍して8ビットを12ビット化する。
【0062】
<5.第5の実施形態>
次に、第5の実施形態について説明する。
なお、本第5の実施形態においてデータ処理装置の構成は、基本的な構成は上述した図1の構成を採用することが可能である。
【0063】
第4の実施形態ではパターンディザを適用してビット削減を行ったが、本第5の実施形態は、パターンディザの代わりに乱数加算を適用する。
0〜LSB側の削減ビットのビット数の最大値までを値域とする一様な乱数を生成し、削減ビット列と削減ビットと同じビット数の乱数を加算し、加算後の値が削減ビット列の最大値を超える場合、圧縮データに1を加算する。圧縮データが既に最大値の場合は加算を行わない。
この作業を全画素に適用し、ビットを削減する。たとえば、12ビットを8ビットに圧縮する場合は、値域が0〜15の乱数値を生成し、画素毎に削減する4ビットと加算を行う。加算した結果が15を超える(16以上)場合は、圧縮データの8ビット列に1を加算する。圧縮データが255の場合は加算を行わない。
そして、出力処理部50では、関数演算は行わずに、単純にデータを16倍して8ビットを12ビット化する。
【0064】
<6.第6の実施形態>
次に、第6の実施形態について説明する。
図11は、本第6の実施形態に係るデータ処理装置の構成例を示す図である。
なお、本第6の実施形態においてデータ処理装置の圧縮処理部および伸張処理部の構成は、基本的な構成は上述した図1の構成を採用することが可能である。
このデータ処理装置10Bは、RAWデータを出力するイメージセンサ60が配置される。
データ入力部20Bは、セレクタ21、LSBビット削減部22、および画像のヒストグラム情報出力部23を含んで構成されている。
LSBビット削減部22は、第3、第4、および第5の実施形態の処理機能の1または2つあるいは全てを含む。
セレクタ21は、ヒストグラム情報出力部23の出力に応じてイメージセンサ60の出力データまたはLSBビット削減部22で削減処理を受けたデータを選択して圧縮処理部30に供給する。
【0065】
一般的にイメージセンサ60からの出力データは、高感度時において値が小さいことが多い。この小さな値をイメージセンサ60内でゲインをかけて出力したり、イメージセンサ60からの出力後の後処理でゲインをかけて、信号の増幅を行っている。
イメージセンサ出力後の後処理でゲインをかける場合、イメージセンサから12ビットのデータを出力している場合でも、実際には、光源などを撮影した場合を除いて、下位ビットに多くデータが含まれている。
上述した第3、第4、および第5の実施形態では、暗い部分(データの小さい部分)も含めて圧縮を行ってしまうが、図1の基本構成の圧縮伸張方法では、データが小さければ小さいほど圧縮伸張による誤差は発生しない。
たとえば、12ビットを6ビットに、7分類で圧縮する場合、64未満の値の圧縮伸張による誤差は0になる。故に、データ値が小さいものが大部分を占める高感度時や、低感度時で暗い部分を撮影して、画素のデータ値が小さい場合においては、図1の基本構成による圧縮方法が最も誤差が発生しないことになる。
図11に示すように、イメージセンサ60からの出力データの感度や、画像のヒストグラムで明るさの分布を観測し、感度が高い場合、またはヒストグラムが暗部に偏っている場合は図1の基本構成の圧縮方法を適用する。
感度が高くない場合、またはヒストグラムが暗部に偏っていない場合は、第3または第4または第5の実施形態を適用するように処理方法を切り替える機構を設けることで、最適な圧縮方法を選択することができる。
【0066】
<7.第7の実施形態>
次に、第7の実施形態について説明する。
本第7に実施形態では、圧縮処理部をイメージセンサ内部に実装し、イメージセンサ出力のデータ処理部に、本実施形態の伸張処理部を実装する。イメージセンサの出力ビット数が減り、1フレーム当たりのデータ転送量を削減することができる。
【0067】
以上説明した本実施形態によれば、以下の効果を得ることができる。
本実施形態による圧縮伸張方法では、データが小さい場合、すなわち、画像の暗い部分は圧縮の誤差が小さくなる。
たとえば、高感度撮影時においてイメージセンサからゲインをかけずに出力されたデータは、値が小さいものが多い。これらに関しては圧縮伸張による誤差が小さく、画像においても劣化が確認し難くなる。
低感度撮影時でも、たとえば12ビットのRAWデータを6ビットに圧縮する場合、MSBのビット位置の分類を4分類とし、ビット削減方法を四捨五入とした場合、圧縮伸張による誤差は図12のようになる。
圧縮伸張による誤差は、明るいほど大きくなるが、レベルが非常に高い部分を除いて、最大で31の誤差程度である。イメージセンサで撮影した自然画像データでは、低感度撮影時でも、ある程度のノイズ成分が含まれており、JPEGファイルなどの画像に処理する際には、ノイズリダクション処理を備えている場合が多い。
圧縮伸張による誤差量は、ノイズ成分量と大きく値はかわらないため、圧縮伸張による誤差量をノイズ成分と判定して補正を行うようなノイズリダクション処理を適用することで、ほとんど目視では確認できないレベルまで低減させることが可能である。
12ビットの低感度撮影RAW画像(図13)を6ビットの圧縮伸張処理を行い、上記のノイズリダクションを適用し、8ビットのビットマップ(Bitmap)画像を生成したとき、次のことが確認された。すなわち、同じRAWデータを非圧縮で処理して生成した8bitのBitmap画像を比較すると、PSNRは約52[dB]で、同様に5ビットの圧縮伸張処理のBitmapでは約48[dB]の値になることが確認された。
一般的に、PSNR値が40[dB]以上あると、目視での差分はほとんど確認することができないことが知られている。
【0068】
また、本実施形態の基本構成で、伸張処理時に乱数を重畳する処理があるが、乱数重畳処理についての効果も以下に説明する。
本実施形態の基本構成で、図1の「ビット削減部332」による方法は、前述の四捨五入の他に切捨てもある。切捨ての場合、四捨五入の判定処理が不要となり、より簡単に圧縮処理を行うことができる。図1の「ビット削減部332」による方法を切捨てで行った場合、誤差量はマイナス値のみとなり、圧縮後のデータ値は圧縮前のデータ値よりも小さくなる。
画像としては、圧縮伸張により全体的に画像が暗くなることになる。一方、伸張後のデータに、伸張Bit分の乱数を重畳すると、圧縮伸張による誤差量は正負一様に広がり、画像が暗くなることを防ぐことが可能となる。
誤差量の平均を測定すると、切捨てによる圧縮伸張の場合は平均約−21、切捨て圧縮を行った後、伸張時に乱数を付加した場合は平均+0.3程度となる。四捨五入によるビット削減を行った場合は、誤差は正負対象に分布するため画像が暗くなることはないが、ビット削減の処理内容が切捨てよりも多くなってしまう。
【0069】
なお、本実施形態はRAW画像データ以外にも、RGBや輝度・色差形式の画像データや、音声データにも適用することができる。
【0070】
このような効果を有するデータ処理装置は、固体撮像素子を含むデジタルカメラやビデオカメラの撮像デバイスとして適用することができる。
【0071】
<8.第8の実施形態>
[カメラシステムの構成例]
図14は、本第8の実施形態に係るデータ処理装置が適用されるカメラシステムの構成の一例を示す図である。
【0072】
本カメラシステム100は、図14に示すように、CMOSセンサ等の固体撮像素子が適用可能な撮像デバイス110を有する。
カメラシステム100は、撮像デバイス110の画素領域に入射光を導く(被写体像を結像する)光学系として、たとえば入射光(像光)を撮像面上に結像させるレンズ120を有する。
さらに、カメラシステム100は、撮像デバイス110を駆動する駆動回路(DRV)130と、撮像デバイス110の出力信号を処理するデータ処理装置(PRC)140と、を有する。
このデータ処理装置140に、上述した各実施形態のデータ処理装置が適用可能である。
【0073】
駆動回路130は、撮像デバイス110内の回路を駆動するスタートパルスやクロックパルスを含む各種のタイミング信号を生成するタイミングジェネレータ(図示せず)を有し、所定のタイミング信号で撮像デバイス110を駆動する。
【0074】
また、データ処理装置140は、撮像デバイス110の出力信号に対して所定の信号処理を施す。また、圧縮伸張処理の具体的な説明は個々では省略する。
データ処理装置140で処理された画像信号は、たとえばメモリなどの記録媒体に記録される。記録媒体に記録された画像情報は、プリンタなどによってハードコピーされる。また、データ処理装置140で処理された画像信号を液晶ディスプレイ等からなるモニターに動画として映し出される。
【0075】
上述したように、デジタルスチルカメラ等の撮像装置において、本実施形態に係るデータ処理を搭載することで、処理時間および回路規模の増大を抑止しつつ画質劣化を抑止することができる高精度なカメラが実現できる。
【0076】
上述した本実施形態に限らず、本技術の要旨を逸脱しない限り、適宜、変更しうることはいうまでもない。
【0077】
また、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【符号の説明】
【0078】
10,10A,10B・・・データ処理装置、20データ入力部、30,30A・・・圧縮処理部、31・・・データ区分け部、32・・・最大値抽出(検出)部、33・・・ビット位置決定削減部、331・・・ビット削減位置決定部、332・・・ビット削減部、34・・・圧縮データ出力部、35・・・最上位ビット位置情報出力部、36・・・差分値取得部、37・・・基準データ出力部、40,40A・・・伸張処理部、41・・・付加ビット量情報出力部、42・・・ビット付加伸張部、421・・・ビット付加部、乱数付加判定部、423・・・乱数重畳部、43・・・差分値加算部、50,50A・・・出力処理部、60・・・イメージセンサ、100・・・カメラシステム、110・・・撮像デバイス、120・・・光学系(レンズ)、130・・・駆動回路、140・・・データ処理装置。
【特許請求の範囲】
【請求項1】
多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分け部と、
上記データ区分け部で区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出部と、
上記最大値抽出部で抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減部と
を有するデータ処理装置。
【請求項2】
上記ビット位置決定削減部は、
上記グループ内の同種の情報データにおいて、上記最大値を示す情報データにおける最上位の設定ビットより上位のビットを削減する
請求項1記載のデータ処理装置。
【請求項3】
上記ビット位置決定削減部は、
上記グループ内の同種の情報データにおいて、上記最大値を示す情報データにおけるビット配列で、最上位の設定ビットより上位のビットに向かい、最上位ビットの次は最下位ビットからビット削減を行う
請求項2記載のデータ処理装置。
【請求項4】
上記最大値抽出部で抽出された上記最大値を示す情報データにおける最上位の設定ビット位置を示す最上位ビット位置情報を出力する最上位ビット位置情報出力部と、
上記最上位ビット位置情報出力部による上記最上位ビット位置情報を基に、ビットを付加する量を決定し、当該決定に応じて上記ビット位置決定削減部の出力データにビットを付加するビット付加伸張部と、を含む
請求項1から3のいずれか一に記載のデータ処理装置。
【請求項5】
上記ビット付加伸張部は、
ビットを付加して伸張する際に、乱数を付加する
請求項4記載のデータ処理装置。
【請求項6】
上記ビット付加伸張部は、
乱数を付加する場合に、上記最上位ビット位置情報出力部による上記最上位ビット位置情報を付加する
請求項5記載のデータ処理装置。
【請求項7】
上記入力データを受けて、上記グループ内における隣接する情報データの差分値を求め、当該差分値の符号および絶対値を求め、求めた符号を含む差分絶対値を上記グループ区分け部に供給し、上記入力データに関する基準データを上記ビット付加伸張部に出力する差分値取得部と、
上記ビット付加伸張部から出力される伸張された差分値データおよび符号、並びに、上記基準データに応じてデータの復元を行う差分値加算部と、をさらに有し、
上記最大値抽出部および上記ビット位置決定削減部は、
上記差分絶対値データに対して最大値抽出およびビット位置決定削減処理を行い、
上記最上位ビット位置情報出力部は、
上記各グループの各先頭の情報データの値および上記符号を上記ビット付加伸張部に出力し、
上記ビット付加伸張部は、
ビットを付加して伸張した差分値データを取得し、当該伸張した差分値データおよび符号を上記差分値加算部に出力する
請求項4記載のデータ処理装置。
【請求項8】
上記差分値加算部は、
基準データと最初の差分値データと符号情報を用いて基準データの同グループにおける隣接する情報データを復元し、復元情報データとその同グループの隣接する情報データとの差分値データおよび符号情報を用いて同様の計算を繰り返すことで、データの復元を行う
請求項7記載のデータ処理装置。
【請求項9】
第1の単調増加関数に関連付けて入力データの最下位側ビットを削減して上記グループ区分け部に供給する入力部と、
第2の単調増加関数に関連付けて上記ビット付加伸張部の出力データの最下位側ビットを復元する処理部と、を含む
請求項4から6のいずれか一に記載のデータ処理装置。
【請求項10】
パターンディザに関連付けて入力データの最下位側ビットを削減して上記グループ区分け部に供給する入力部と、
上記パターンディザで削減したビット数だけ、上記ビット付加伸張部の出力データの最下位側にビットを伸張する処理部と、を含む
請求項4から6のいずれか一に記載のデータ処理装置。
【請求項11】
入力データの最下位側に乱数値を加算し、乱数値の値域の最大値のビット数を入力データの最下位側から削除して上記グループ区分け部に供給する入力部と、
乱数加算で削減したビット数だけ、上記ビット付加伸張部の出力データの最下位側にビットを伸張する処理部と、を含む
請求項4から6のいずれか一に記載のデータ処理装置。
【請求項12】
画像の明るさの分布または感度情報を取得する取得部をさらに有し、
上記入力データは画像の生データであり、
取得した明るさの分布または感度があらかじめ設定した基準値と比較して暗い場合、
上記入力部は、
上記最下位側ビットの削減処理を行わないで入力データをそのまま上記グループ区分け部に供給し、
上記処理部は、
上記ビット付加伸張部の出力データに対する最下位側ビットの復元処理を行わず、
取得した明るさの分布または感度があらかじめ設定した基準値と比較して明るい場合、
上記入力部は、
上記最下位側ビットの削減処理を行った入力データを上記グループ区分け部に供給し、
上記処理部は、
上記ビット付加伸張部の出力データに対する最下位側ビットの復元処理を行う
請求項9から11のいずれか一に記載のデータ処理装置。
【請求項13】
多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分けステップと、
上記データ区分けステップで区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出ステップと、
上記最大値抽出ステップで抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減ステップと
を有するデータ処理方法。
【請求項14】
上記ビット位置決定削減ステップでは、
上記グループ内の同種の情報データにおいて、上記最大値を示す情報データにおけるビット配列で、最上位の設定ビットより上位のビットから最下位ビットに向かってビット削減を行う
請求項13記載のデータ処理方法。
【請求項15】
上記最大値抽出ステップで抽出された上記最大値を示す情報データにおける最上位の設定ビット位置を示す最上位ビット位置情報を出力する最上位ビット位置情報出力ステップと、
上記最上位ビット位置情報出力ステップによる上記最上位ビット位置情報を基に、ビットを付加する量を決定し、当該決定に応じてビット位置決定削減ステッでビットが削減されたデータにビットを付加するビット付加伸張ステップと、を含む
請求項13または14記載のデータ処理方法。
【請求項16】
多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分け処理と、
上記データ区分け処理で区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出処理と、
上記最大値抽出処理で抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減処理と
を有するデータ処理をコンピュータに実行させるプログラム。
【請求項17】
光学系と、
上記光学系を通過した被写体像を撮像し、生(RAW)データを出力する撮像素子と、
上記生データに対する処理を行うデータ処理装置と、を有し、
上記データ処理装置は、
多ビットにより形成される複数種の色情報データを含む入力生データを、同種の色情報データごとに複数のグループに区分けするデータ区分け部と、
上記データ区分け部で区分けされた上記各グループにおける上記色情報データの最大値を抽出する最大値抽出部と、
上記最大値抽出部で抽出された上記最大値を基に、上記グループ内の同種の色情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減部と、を含む
カメラシステム。
【請求項1】
多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分け部と、
上記データ区分け部で区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出部と、
上記最大値抽出部で抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減部と
を有するデータ処理装置。
【請求項2】
上記ビット位置決定削減部は、
上記グループ内の同種の情報データにおいて、上記最大値を示す情報データにおける最上位の設定ビットより上位のビットを削減する
請求項1記載のデータ処理装置。
【請求項3】
上記ビット位置決定削減部は、
上記グループ内の同種の情報データにおいて、上記最大値を示す情報データにおけるビット配列で、最上位の設定ビットより上位のビットに向かい、最上位ビットの次は最下位ビットからビット削減を行う
請求項2記載のデータ処理装置。
【請求項4】
上記最大値抽出部で抽出された上記最大値を示す情報データにおける最上位の設定ビット位置を示す最上位ビット位置情報を出力する最上位ビット位置情報出力部と、
上記最上位ビット位置情報出力部による上記最上位ビット位置情報を基に、ビットを付加する量を決定し、当該決定に応じて上記ビット位置決定削減部の出力データにビットを付加するビット付加伸張部と、を含む
請求項1から3のいずれか一に記載のデータ処理装置。
【請求項5】
上記ビット付加伸張部は、
ビットを付加して伸張する際に、乱数を付加する
請求項4記載のデータ処理装置。
【請求項6】
上記ビット付加伸張部は、
乱数を付加する場合に、上記最上位ビット位置情報出力部による上記最上位ビット位置情報を付加する
請求項5記載のデータ処理装置。
【請求項7】
上記入力データを受けて、上記グループ内における隣接する情報データの差分値を求め、当該差分値の符号および絶対値を求め、求めた符号を含む差分絶対値を上記グループ区分け部に供給し、上記入力データに関する基準データを上記ビット付加伸張部に出力する差分値取得部と、
上記ビット付加伸張部から出力される伸張された差分値データおよび符号、並びに、上記基準データに応じてデータの復元を行う差分値加算部と、をさらに有し、
上記最大値抽出部および上記ビット位置決定削減部は、
上記差分絶対値データに対して最大値抽出およびビット位置決定削減処理を行い、
上記最上位ビット位置情報出力部は、
上記各グループの各先頭の情報データの値および上記符号を上記ビット付加伸張部に出力し、
上記ビット付加伸張部は、
ビットを付加して伸張した差分値データを取得し、当該伸張した差分値データおよび符号を上記差分値加算部に出力する
請求項4記載のデータ処理装置。
【請求項8】
上記差分値加算部は、
基準データと最初の差分値データと符号情報を用いて基準データの同グループにおける隣接する情報データを復元し、復元情報データとその同グループの隣接する情報データとの差分値データおよび符号情報を用いて同様の計算を繰り返すことで、データの復元を行う
請求項7記載のデータ処理装置。
【請求項9】
第1の単調増加関数に関連付けて入力データの最下位側ビットを削減して上記グループ区分け部に供給する入力部と、
第2の単調増加関数に関連付けて上記ビット付加伸張部の出力データの最下位側ビットを復元する処理部と、を含む
請求項4から6のいずれか一に記載のデータ処理装置。
【請求項10】
パターンディザに関連付けて入力データの最下位側ビットを削減して上記グループ区分け部に供給する入力部と、
上記パターンディザで削減したビット数だけ、上記ビット付加伸張部の出力データの最下位側にビットを伸張する処理部と、を含む
請求項4から6のいずれか一に記載のデータ処理装置。
【請求項11】
入力データの最下位側に乱数値を加算し、乱数値の値域の最大値のビット数を入力データの最下位側から削除して上記グループ区分け部に供給する入力部と、
乱数加算で削減したビット数だけ、上記ビット付加伸張部の出力データの最下位側にビットを伸張する処理部と、を含む
請求項4から6のいずれか一に記載のデータ処理装置。
【請求項12】
画像の明るさの分布または感度情報を取得する取得部をさらに有し、
上記入力データは画像の生データであり、
取得した明るさの分布または感度があらかじめ設定した基準値と比較して暗い場合、
上記入力部は、
上記最下位側ビットの削減処理を行わないで入力データをそのまま上記グループ区分け部に供給し、
上記処理部は、
上記ビット付加伸張部の出力データに対する最下位側ビットの復元処理を行わず、
取得した明るさの分布または感度があらかじめ設定した基準値と比較して明るい場合、
上記入力部は、
上記最下位側ビットの削減処理を行った入力データを上記グループ区分け部に供給し、
上記処理部は、
上記ビット付加伸張部の出力データに対する最下位側ビットの復元処理を行う
請求項9から11のいずれか一に記載のデータ処理装置。
【請求項13】
多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分けステップと、
上記データ区分けステップで区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出ステップと、
上記最大値抽出ステップで抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減ステップと
を有するデータ処理方法。
【請求項14】
上記ビット位置決定削減ステップでは、
上記グループ内の同種の情報データにおいて、上記最大値を示す情報データにおけるビット配列で、最上位の設定ビットより上位のビットから最下位ビットに向かってビット削減を行う
請求項13記載のデータ処理方法。
【請求項15】
上記最大値抽出ステップで抽出された上記最大値を示す情報データにおける最上位の設定ビット位置を示す最上位ビット位置情報を出力する最上位ビット位置情報出力ステップと、
上記最上位ビット位置情報出力ステップによる上記最上位ビット位置情報を基に、ビットを付加する量を決定し、当該決定に応じてビット位置決定削減ステッでビットが削減されたデータにビットを付加するビット付加伸張ステップと、を含む
請求項13または14記載のデータ処理方法。
【請求項16】
多ビットにより形成される複数種の情報データを含む入力データを、同種の情報データごとに複数のグループに区分けするデータ区分け処理と、
上記データ区分け処理で区分けされた上記各グループにおける上記情報データの最大値を抽出する最大値抽出処理と、
上記最大値抽出処理で抽出された上記最大値を基に、上記グループ内の同種の情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減処理と
を有するデータ処理をコンピュータに実行させるプログラム。
【請求項17】
光学系と、
上記光学系を通過した被写体像を撮像し、生(RAW)データを出力する撮像素子と、
上記生データに対する処理を行うデータ処理装置と、を有し、
上記データ処理装置は、
多ビットにより形成される複数種の色情報データを含む入力生データを、同種の色情報データごとに複数のグループに区分けするデータ区分け部と、
上記データ区分け部で区分けされた上記各グループにおける上記色情報データの最大値を抽出する最大値抽出部と、
上記最大値抽出部で抽出された上記最大値を基に、上記グループ内の同種の色情報データで共通のビットの削減位置を決定し、当該決定に応じて共通のビットを削減するビット位置決定削減部と、を含む
カメラシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図14】
【図13】
【公開番号】特開2012−222453(P2012−222453A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−83811(P2011−83811)
【出願日】平成23年4月5日(2011.4.5)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願日】平成23年4月5日(2011.4.5)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]