RAW画像の階調変換装置、プログラム、方法、および電子カメラ
【課題】 RAW画像の階調調整に好適なゲインマップを、少ない処理負荷で生成することである。
【解決手段】 本発明の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。画像入力部は、RAW画像を取り込む。代表値処理部は、RAW画像の画像領域を複数の部分領域に分け、これら部分領域に含まれる色成分に基づく代表値を求め、代表値を画素値とする縮小画像を生成する。ゲインマップ生成部は、縮小画像に基づいて、ゲインマップを生成する。階調変換部は、このゲインマップに基づいて、RAW画像の階調変換を行う。
【解決手段】 本発明の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。画像入力部は、RAW画像を取り込む。代表値処理部は、RAW画像の画像領域を複数の部分領域に分け、これら部分領域に含まれる色成分に基づく代表値を求め、代表値を画素値とする縮小画像を生成する。ゲインマップ生成部は、縮小画像に基づいて、ゲインマップを生成する。階調変換部は、このゲインマップに基づいて、RAW画像の階調変換を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、RAW画像を階調変換する階調変換装置、プログラム、および方法に関する。また、本発明は、この階調変換装置を搭載する電子カメラに関する。
【背景技術】
【0002】
下記の特許文献1には、下式によるダイナミックレンジ圧縮方式が開示されている。
O[i,j]=I[i,j]×F(R[i,j])・・・[100]
ただし、I[i,j]は、入力画像の画素値である。O[i,j]は、出力画像の画素値である。F()は、係数算出関数である。R[i,j]は、入力画像のイプシロンフィルタを施した画素値である。イプシロンフィルタは、入力画像から微小振幅成分を非線形に抽出し、この微小振幅成分を入力画像から減算する非線形フィルタである。
【特許文献1】特開2003−8935号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1のイプシロンフィルタは、処理が複雑で処理時間がかかるという問題があった。特に、RAW画像では色成分の一部が画素ごとに欠落するため、そのままでは特許文献1の処理を実施できない。そのため、色補間処理によって全色成分をまず揃える必要があり、その事前処理の分だけ処理時間が更に余計にかかるという問題があった。
そこで、本発明の目的は、RAW画像の階調調整に好適なゲインマップを、少ない処理負荷で生成することである。
【課題を解決するための手段】
【0004】
《1》 本発明の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。
画像入力部は、RAW画像を取り込む。
代表値処理部は、RAW画像の画像領域を複数の部分領域に分け、これら部分領域に含まれる色成分に基づく代表値を求め、代表値を画素値とする縮小画像を生成する。
ゲインマップ生成部は、縮小画像に基づいて、ゲインマップを生成する。
階調変換部は、このゲインマップに基づいて、RAW画像の階調変換を行う。
《2》 なお好ましくは、ゲインマップ生成部は、縮小画像の画素値に対応するゲインを求めて縮小ゲインマップを生成する。ゲインマップ生成部は、この縮小ゲインマップを補間拡大してゲインマップを生成する。
《3》 また好ましくは、ゲインマップ生成部は、縮小画像を補間拡大して、RAW画像より画素数の少ない中間画像を生成する。ゲインマップ生成部は、中間画像の画素値に対応するゲインを求めて中間ゲインマップを生成し、この中間ゲインマップを補間拡大してゲインマップを生成する。
《4》 なお好ましくは、ゲインマップ生成部は、縮小画像を補間拡大して入力RAW画像の画素数の補間画像を生成する。ゲインマップ生成部は、この補間画像の画素値に対応するゲインを求めてゲインマップを生成する。
《5》 また好ましくは、代表値処理部は、部分領域に含まれるn種類(n≧2)の色成分について統計処理を行って、n種類の色代表値を求める。代表値処理部は、これら色代表値に基づいて代表値を求め、代表値を画素値とする縮小画像を生成する。
《6》 なお好ましくは、上述の統計処理は、色成分の平均値、中央値、もしくは中間値である。また好ましくは、上述の統計処理は、飽和と見なせる極端に大きい値を除いた色成分の平均値、中央値、もしくは中間値である。また好ましくは、上述の統計処理は、許容変動範囲を超える変動値を除いた色成分の平均値、中央値、もしくは中間値である。
《7》 また好ましくは、ゲインマップ生成部は、縮小画像、ゲインマップ、およびゲインマップ生成過程のデータの少なくとも1つに対してスムージング処理を施すことを特徴とする。
《8》 本発明の別の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。
画像入力部は、RAW画像を取り込み、RAW画像に対してホワイトバランスをとったWB_RAW画像を作成する。
代表値処理部は、WB_RAW画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成部は、代表値画像に基づいて、ゲインマップを生成する。
階調変換部は、ゲインマップに基づいて、RAW画像の画素ごとにゲインを乗じた画像を作成する。
《9》 本発明の別の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。
画像入力部は、RAW画像を取り込み、このRAW画像の最大値もしくはRAW画像から求めた白色点の値を所定の最大レベルになるように規格化されたNR_RAW画像を作成する。
代表値処理部は、NR_RAW画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成部は、代表値画像に基づいて、ゲインマップを生成する。
階調変換部は、ゲインマップに基づいて、RAW画像の画素ごとにゲインを乗じた画像を作成する。
《10》 本発明の階調変換プログラムは、コンピュータを、上記のいずれか1項に記載の画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部として機能させるためのプログラムである。
《11》 本発明の階調変換方法は、次のステップを有する。
画像入力ステップ:RAW画像を取り込む。
代表値処理ステップ:RAW画像の画像領域を複数の部分領域に分け、部分領域に含まれる色成分に基づいて代表値を求め、代表値を画素値とする縮小画像を生成する。
ゲインマップ生成ステップ:縮小画像に基づいて、ゲインマップを生成する。
階調変換ステップ:ゲインマップに基づいて、RAW画像の階調変換を行う。
《12》 本発明の別の階調変換方法は、次のステップを有する。
画像入力ステップ:RAW画像を取り込み、RAW画像に対してホワイトバランスをとったWB_RAW画像を作成する。
代表値処理ステップ:WB_RAW画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成ステップ:代表値画像に基づいて、ゲインマップを生成する。
階調変換ステップ:ゲインマップに基づいて、RAW画像の画素ごとにゲインを乗じた画像を作成する。
《13》 本発明の別の階調変換方法は、次のステップを有する。
画像入力ステップ:RAW画像を取り込み、RAW画像の最大値もしくはRAW画像から求めた白色点の値を所定の最大レベルになるように規格化されたNR_RAW画像を作成する。
代表値処理ステップ:NR_RAW画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成ステップ:代表値画像に基づいて、ゲインマップを生成する。
階調変換ステップ:ゲインマップに基づいて、RAW画像の画素ごとにゲインを乗じた画像を作成する。
《14》 本発明の電子カメラは、上記のいずれか1項に記載の階調変換装置と、被写体を撮像してRAW画像を生成する撮像部とを備える。この電子カメラは、撮像部で生成されたRAW画像を、階調変換装置で階調変換する機能を有する。
【発明の効果】
【0005】
本発明では、RAW画像の画像領域を部分領域に分ける。これら部分領域には、複数種の色成分が含まれる。そのため、欠落色成分を色補間で補うことなく、この部分領域内の色成分を使用して、代表値を求めることができる。このような代表値を画素として構成した縮小画像は、RAW画像よりも画素数が低減されるために、RAW画像の高域空間成分が適度に間引かれる。その結果、縮小画像の画素は、RAW画像の対応画素がどのようなローカル領域内に位置しているかといったローカル情報を示すようになる。したがって、この縮小画像に基づいて階調変換のゲインを増減調整することにより、ローカル情報に柔軟に対応したRAW画像の階調変換が実現する。
特に、本発明の階調変換では、RAW画像から縮小画像を生成することで、RAW画像の階調変換に本来必須であった色補間処理を省くことが可能となり、その分だけ処理負荷を軽減することが可能になる。
【発明を実施するための最良の形態】
【0006】
[第1実施形態]
《構成説明》
図1は、階調変換装置11の構成を示す図である。
図1において、階調変換装置11は、下記の構成要件を備える。
【0007】
(1)画像入力部12・・RAW画像を取り込む。
(2)代表値処理部13・・RAW画像の画像領域を分割して複数の部分領域に分ける。これら部分領域内の色成分に基づいて代表値を求め、代表値を画素値とした縮小画像を生成する。
【0008】
(3)ゲインマップ生成部14・・縮小画像に基づいて、ゲインマップを生成する。
(4)階調変換部15・・ゲインマップに基づいて、RAW画像を階調変換する。
上述した階調変換装置11は、その一部または全部をハードウェアにより構成してもよい。また、階調変換プログラムを用いることで、コンピュータ上において階調変換装置11をソフトウェア的に実現してもよい。
図2は、この階調変換装置11を搭載する電子カメラ21を示す図である。
図2において、電子カメラ21には、撮影レンズ22が装着される。この撮影レンズ22の像空間側には、不図示の絞りなどを介して、撮像素子23の撮像面が配置される。この撮像素子23から出力されるRAW画像は、A/D変換部24などを介してデジタル化された後、階調変換装置11に入力される。この階調変換装置11は、このRAW画像に対して階調変換を施す。階調変換装置11から出力されたRAW画像は、画像処理部25を介した後、記録部26に保存記録される。
また、階調変換装置11は、記録部26から記録済みのRAW画像を後から読み出して、階調変換を実施することも可能である。
【0009】
《動作説明》
図3は、第1実施形態の動作を説明する流れ図である。以下、図3に示すステップ番号にそって、第1実施形態の動作説明を行う。
【0010】
[ステップS1] 階調変換装置11の画像入力部12は、RAW画像を取り込む。ここでのRAW画像は、色補間を未実施の画像であり、例えば、図4に示すように、RGBベイヤ配列状に色成分を有する画像である。
【0011】
[ステップS2] 代表値処理部13は、RAW画像を縦M画素×横N画素の画素ブロックに区分して読み出す。ここで、M,N最小の場合はM=2,N=2の4画素が画素ブロックの場合である。この場合、ベイヤ配列ではGが2画素、R,Bがそれぞれ1画素含まれるので、この最小単位の画素ブロックの中から3色を選ぶことができる。R,Bに関しては一意的に決まるが、Gに関してはどちらかを選ぶか平均値をとる。こうして選んだR,G,Bの複数成分をもとに所定の方式(後述)で1成分の代表値Vを計算する。従ってこの場合の縮小画像は画素数においてRAW画像の画素数の1/4となる。
【0012】
なお、RAW画像のサイズが大きい場合は1/4サイズでも計算量が多い。計算速度を上げるためには、例えば600万画素のRAW画像の場合なら、M,Nは、4画素程度、16画素程度が好ましく、32画素を超えない程度の値に設定することが好ましい。また、M,Nを、入力されるRAW画像の縦横画素数の変化に応じて適応的に変更してもよい。
実際的には、RAW画像のサイズと計算時間及び結果として得られる画質とのかねあいで実験的に適正または最適な値を求めるようにする。なお、後述する補間処理を簡素化するためには、M,Nを2のべき乗値に設定することが好ましい。
【0013】
代表値処理部13は、画素ブロック内に含まれるG画素の値について統計処理を実施し、画素ブロックのG色代表値GMを決定する。同様にして、代表値処理部13は、画素ブロック内に含まれるR画素の値からR色代表値RMを決定する。さらに、代表値処理部13は、画素ブロック内に含まれるB画素の値からB色代表値BMを決定する。
なお、B色については明暗の視覚感度が低いために統計処理を省き、G色およびR色などの2色に限って色代表値を求めてもよい。
【0014】
ここでの統計処理としては、画素ブロックに含まれる色成分について、平均値、中央値、もしくは中間値を求める処理が好ましい。また例えば、画素ブロック内の対象色成分から飽和と見なせる極端に大きい値を除いたのちに、統計処理を実施することが好ましい。また例えば、画素ブロック内の対象色成分から許容変動範囲を超える変動値を除いた後に、統計処理を実施することが好ましい。
この種の統計処理の目的は、画素ブロック内から特異な値(明るすぎる値や暗すぎる値や突発的に変化している値)を除いて、画素ブロックを代表する色代表値を求めようとする処理である。
【0015】
[ステップS3] 代表値処理部13は、画素ブロックごとに求めた複数成分の色代表値を処理して、1成分の代表値Vを求める。
例えば、輝度成分Y=0.3×RM+0.6×GM+0.1×BM(係数は適宜変更可能)を求め、代表値V=Yとしてもよい。
また例えば、色差成分Cr=|RM−Y|、Cb=|BM−Y|を求め、V=Y+αCr+βCbとしてもよい。なお、α,βは、Vに彩度を反映させるための調整係数であり、例えば0.5程度が好ましい。この代表値Vは、彩度を反映するため、後述する階調変換において高彩度箇所の飽和現象を抑えることが可能になる。
また例えば、V=MAX(GM,RM,BM)としてもよい。
代表値処理部13は、画素ブロックごとに求めた代表値Vを、画素ブロックの配列順に並べることで、縦画素数を1/M倍、横画素数を1/N倍に縮小した1成分Vからなる縮小画像を得る。ここで、縮小画像の位置[io,jo]に対するVの値をV[io,jo]とする。
【0016】
[ステップS4] ゲインマップ生成部14は、縮小画像に対してスムージング処理を実施し、その結果をV[io,jo]に入れ直す。このスムージング処理には、例えば、下記のような局所オペレータを用いた空間周波数フィルタ処理が好ましい。
1 2 1
2 4 2
1 2 1
【0017】
[ステップS5] ゲインマップ生成部14には、関数式やLUT(ルックアップテーブル)などの形態で、ゲインカーブのデータが予め設定される。ゲインマップ生成部14は、これらのデータの中から、ユーザー指定またはデフォルトの階調圧縮率(2倍〜4倍など)に応じて、ゲインカーブを選択する。
図5および図6は、この階調圧縮率に応じて選択されるゲインカーブの一例である。特に、図6は、暗部ノイズを低減するために暗部ゲインを抑圧したゲインカーブであり、撮像感度の特に高いRAW画像の階調変換に適する。
【0018】
[ステップS6] ゲインマップ生成部14は、ステップS5で選択したゲインカーブに照会して、縮小画像の画素値V[io,jo]に対応するゲインGain(V)=Gain(V[io,jo])を画素ごとに決定する。この処理により、縮小画像と同じ縦横画素数の縮小ゲインマップが生成される。
なお、ゲインマップ生成部14は、縮小ゲインマップ上での急激なゲイン変化を抑制するために、縮小ゲインマップに対してスムージング処理を施してもよい。
【0019】
[ステップS7] ゲインマップ生成部14は、縮小ゲインマップGain(V[io,jo])に補間拡大を施して、RAW画像と同じ縦横画素数のゲインマップGL[i,j]を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が2のべき乗倍の場合には、補間処理の簡素化のために、縦や横に2倍の補間拡大を所定回数繰り返すことで簡単に拡大ができる。。
例えば、2倍拡大において図7[A]に示すX箇所の補間値を得る場合は、
X箇所の補間値=[第1近傍(図中の●位置)の4画素平均]×(1+α)−[第2近傍(図中の○位置)の8画素平均]×α
で算出する。
また例えば、2倍拡大において図7[B]に示すY箇所の補間値を得る場合は、
Y箇所の補間値=[第1近傍(図中の●位置)の2画素平均]×(1+β)−[第2近傍(図中の○位置)の2画素平均]×β
で算出する。
また例えば、2倍拡大において図7[C]に示すZ箇所の補間値を得る場合は、
Y箇所の補間値=[第1近傍(図中の●位置)の2画素平均]×(1+γ)−[第2近傍(図中の○位置)の2画素平均]×γ
で算出する。
なお、上記の係数αβγは、補間後のゲインマップの局所変化がなだらかになる様に、実験的に適当な値を設定する。
なお、ゲインマップ生成部14は、補間後のゲインマップ上での急激なゲイン変化を抑制するために、ゲインマップに対してスムージング処理を施してもよい。
【0020】
[ステップS8] 階調変換部15は、ステップS7で生成されたゲインマップの画素位置[i,j]のゲインGL[i,j]を、RAW画像の画素位置[i,j]の信号成分X[i,j]に乗じる。
X′[i,j]=GL[i,j]×X[i,j]
この計算をRAW画像の全画素について実行することにより、RAW画像の階調変換を完了する。
【0021】
[第2実施形態]
第2実施形態の階調変換装置および電子カメラは、第1実施形態(図1,図2)と同一構成であるため、ここでの説明を省略する。
図8は、第2実施形態の動作を説明する流れ図である。以下、図8に示すステップ番号にそって、第2実施形態の動作説明を行う。
【0022】
[ステップS11] 第1実施形態のステップS1と同じ処理。
【0023】
[ステップS12] 代表値処理部13は、RAW画像を縦M′画素×横N′画素の画素ブロックに区分して読み出す。ここでM′,N′は、第1実施形態のM,Nよりもそれぞれ大きな画素数に設定することが好ましい。なお、後述する補間処理を簡素化するためには、M′,N′を2のべき乗値に設定することが好ましい。
代表値処理部13は、この画素ブロック内に含まれるRGB値について色ごとに統計処理を実施し、色代表値RM,GM,BMをそれぞれ決定する。ここでの統計処理には、ステップS2で説明した統計処理が可能である。
【0024】
[ステップS13] 代表値処理部13は、画素ブロックごとに求めた色代表値RM,GM,BMを処理して、1成分の代表値Vを求める。この処理により1成分の代表値Vからなる縮小画像を得る。この縮小画像は、第1実施形態の縮小画像よりも小さな縦横画素数にすることが好ましい。
【0025】
[ステップS14] ゲインマップ生成部14は、縮小画像に対してスムージング処理を実施する。
【0026】
[ステップS15] ゲインマップ生成部14は、縮小画像に対して補間拡大を施して、RAW画像より小さな縦横画素数の中間画像を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が2のべき乗倍の場合には、補間処理の簡素化のために、縦や横に2倍の補間拡大を所定回数繰り返すことが好ましい。
【0027】
[ステップS16] 第1実施形態のステップS5と同じ処理。
【0028】
[ステップS17] ゲインマップ生成部14は、ステップS16で選択したゲインカーブを照会して、中間画像の画素値V[io,jo]に対応するゲインGain(V[io,jo])を画素[io,jo]ごとに決定する。この処理により、中間画像と同じ縦横画素数の中間ゲインマップが生成される。
なお、ゲインマップ生成部14は、中間ゲインマップ上での急激なゲイン変化を抑制するために、中間ゲインマップに対してスムージング処理を施してもよい。
【0029】
[ステップS18] ゲインマップ生成部14は、中間ゲインマップに補間拡大を施して、RAW画像と同じ縦横画素数のゲインマップGL[i,j]を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が2のべき乗倍の場合には、補間処理の簡素化のために、縦や横に2倍の補間拡大を所定回数繰り返すことが好ましい。
なお、ゲインマップ生成部14は、補間後のゲインマップ上での急激なゲイン変化を抑制するために、ゲインマップに対してスムージング処理を施してもよい。
【0030】
[ステップS19] 第1実施形態のステップS8と同じ処理。
【0031】
[第3実施形態]
第3実施形態の階調変換装置および電子カメラは、第1実施形態(図1,図2)と同一構成であるため、ここでの説明を省略する。
図9は、第3実施形態の動作を説明する流れ図である。以下、図9に示すステップ番号にそって、第3実施形態の動作説明を行う。
【0032】
[ステップS31〜S34] 第1実施形態のステップS1〜S4と同じ処理。
【0033】
[ステップS35] ゲインマップ生成部14は、縮小画像V[io,jo]に対して補間拡大を施して、RAW画像と同じ縦横画素数の補間画像V[i,j]を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が2のべき乗倍の場合には、補間処理の簡素化のために、縦や横に2倍の補間拡大を所定回数繰り返すことが好ましい。
なお、ゲインマップ生成部14は、補間画像上での急激な画素変化を抑制するために、補間画像に対してスムージング処理を施してもよい。
【0034】
[ステップS36] 第1実施形態のステップS5と同じ処理。
【0035】
[ステップS37] ゲインマップ生成部14は、ステップS36で選択したゲインカーブを照会して、補間画像の画素値V[i,j]に対応するゲインGL[i,j]=Gain(V[i,j])を画素[i,j]ごとに決定する。この処理により、RAW画像と同じ縦横画素数のゲインマップGL[i,j]が生成される。
なお、ゲインマップ生成部14は、ゲインマップ上での急激なゲイン変化を抑制するために、ゲインマップに対してスムージング処理を施してもよい。
【0036】
[ステップS38] 第1実施形態のステップS8と同じ処理。
【0037】
[第4実施形態]
第4実施形態の階調変換装置および電子カメラは、第1実施形態(図1,図2)と同一構成であるため、ここでの説明を省略する。
上述した第1〜第3実施形態では、階調圧縮率をユーザー設定やデフォルトで決定し、その階調圧縮率に応じてゲインカーブを選択する。第4実施形態の特徴は、この階調圧縮率またはゲインカーブを、RAW画像の解析結果に応じて適応的に決定する点である。
例えば、ゲインマップ生成部14は、RAW画像の全画面または部分領域(周辺1割程度を除いた領域など)について平均の明るさを求める。ゲインマップ生成部14は、この平均の明るさの値を、事前設定された選択ルールに照会することで、階調圧縮率またはゲインカーブを選択する。
このような選択ルールの事前設定の方法としては、例えば下記手順が好ましい。
【0038】
(1)予め多数のシーンを実写し、実写されたRAW画像ごとに最適なゲインカーブ(または階調圧縮率)を、画質の主観評価で決定する。
(2)次にRAW画像ごとに、上記の平均の明るさを求める。
(3)平均の明るさと、最適なゲインカーブ(または階調圧縮率)とについて回帰分析などの統計処理を実施して、両者の相関関係を求める。
(4)求めた相関関係に基づいて、選択ルールを定める。
(5)定めた選択ルールをゲインマップ生成部14にデータ格納する。
【0039】
なお、階調圧縮率またはゲインカーブの選択ステップ以外の動作については、第1〜第3実施形態と同様であるため、ここでの説明を省略する。
【0040】
[第5実施形態]
第5実施形態の階調変換装置および電子カメラは、第1実施形態(図1,図2)と同一構成であるため、ここでの説明を省略する。
第5実施形態の特徴は、電子カメラ側または画像入力部12において、RAW画像にホワイトバランス調整を予め実施しておく点である。
このホワイトバランス調整の事前実施により、色の偏りの少ないRAW画像から、1成分Vの代表値画像(例えば縮小画像)を生成できる。そのため、この代表値画像の代表値Vは、色の偏りの影響が少なく、RAW画像のローカル情報を適切に反映したものとなる。このような良質の代表値画像に基づいてゲインマップを生成することにより、より適切なゲインマップを生成することが可能になる。
なお、ホワイトバランス調整済みのRAW画像を階調変換することにより、階調変換後の色飽和などを低減することも可能になる。
なお、RAW画像に事前にホワイトバランス調整を実施する以外の動作については、第1〜第4実施形態と同様であるため、ここでの説明を省略する。
【0041】
[第6実施形態]
第6実施形態の階調変換装置および電子カメラは、第1実施形態(図1,図2)と同一構成であるため、ここでの説明を省略する。
第6実施形態の特徴は、電子カメラ側または画像入力部12において、RAW画像の信号成分を予め規格化しておく点である。
まず、図10に示すように、RAW画像の最大値または白色点(例えば、最大値側からヒストグラムを累積し、全画素数の所定割合、具体例としては0.1%となる点)をVwとする。このVwを所定値(所定の最大レベル、例えばVmaxや1など)とするように規格化カーブを定める。
さらに、図10に示すように、RAW画像の最小値または黒色点(例えば、最小値側からヒストグラムを累積し、全画素数の所定割合、具体例としては0.1%となる点)をVdとする。このVdを所定値(0など)とするように規格化カーブを定めてもよい。
このように定めた規格化カーブを用いて、RAW画像の規格化が実施される。この規格化の事前実施により、階調の偏りの少ないRAW画像から、1成分の代表値画像(例えば縮小画像)を生成できる。そのため、この代表値画像の代表値Vは、階調の偏りの影響が少なく、RAW画像のローカル情報を適切に反映したものとなる。このような良質の代表値画像に基づいてゲインマップを生成することで、より適切なゲインマップを生成することが可能になる。
さらに、規格化済みのRAW画像に階調変換を実施することにより、階調変換後の白飛びなどを低減することも可能になる。
なお、RAW画像に事前に規格化を実施する以外の動作については、第1〜第5実施形態と同様であるため、ここでの説明を省略する。
【0042】
《実施形態の補足事項》
なお、上述した実施形態では、RGBベイヤ配列のRAW画像を処理するケースについて説明した。しかしながら、RAW画像の画素配列はRGBベイヤ配列に限定されるものではない。一般的なRAW画像としては、3色以上の色成分を適度な画素密度でそれぞれ配列した画像であればよい。
【0043】
また、上述した実施形態では、正方状または矩形状の画素ブロックを設定して縮小画像を求めている。さらに、隣接する画素ブロックが重複しないように画素ブロックを区分している。しかしながら、実施形態はこれに限定されるものではない。例えば、RAW画像を円状や楕円状などの任意形状の部分領域に分け、これら部分領域ごとに代表値を決定することで縮小画像を生成してもよい。また例えば、隣接する部分領域(画素ブロックも含む)が一部重複するように、部分領域を設定してもよい。このように部分領域を一部重複させて設定することで、スムージング処理と同等の効果を得ることも可能になる。
【0044】
なお、上述した実施形態では、ゲインマップの縦横画素数を、RAW画像の縦横画素数と必ず等しくしている。しかしながら、実施形態はこれに限定されるものではない。例えば、ゲインマップの縦や横の画素数を、RAW画像の縦や横の画素数よりも少なくしてもよい。この場合、ゲインマップの1画素分のゲインを、RAW画像側の対応する複数画素に乗じることで階調変換を行えばよい。RAW画像の縦横画素数がある程度大きければ、このような処理を行っても画質上の弊害は少ない。
【0045】
また、上述した実施形態では、RAW画像にゲインマップのゲインを具体的に乗じることで階調変換を実施している。しかしながら、実施形態はこれに限定されるものではない。例えば、RAW画像のファイル内の画像処理情報として、ゲインマップ(ゲインマップに変換可能なデータも含む)を付随記録してもよい。この場合、RAW画像のオリジナルデータを変更することなく、RAW画像を階調変換することが可能になる。
【産業上の利用可能性】
【0046】
以上説明したように、本発明は、階調変換装置などに利用可能な技術である。
【図面の簡単な説明】
【0047】
【図1】階調変換装置11の構成を示す図である。
【図2】階調変換装置11を搭載する電子カメラ21を示す図である。
【図3】第1実施形態の動作を説明する流れ図である。
【図4】RGBベイヤ配列を示す図である。
【図5】ゲインカーブの一例を示す図である。
【図6】ゲインカーブの一例を示す図である。
【図7】補間拡大を説明する図である。
【図8】第2実施形態の動作を説明する流れ図である。
【図9】第3実施形態の動作を説明する流れ図である。
【図10】RAW画像の規格化を説明する図である。
【符号の説明】
【0048】
11…階調変換装置,12…画像入力部,13…代表値処理部,14…ゲインマップ生成部,15…階調変換部,21…電子カメラ,22…撮影レンズ,23…撮像素子
【技術分野】
【0001】
本発明は、RAW画像を階調変換する階調変換装置、プログラム、および方法に関する。また、本発明は、この階調変換装置を搭載する電子カメラに関する。
【背景技術】
【0002】
下記の特許文献1には、下式によるダイナミックレンジ圧縮方式が開示されている。
O[i,j]=I[i,j]×F(R[i,j])・・・[100]
ただし、I[i,j]は、入力画像の画素値である。O[i,j]は、出力画像の画素値である。F()は、係数算出関数である。R[i,j]は、入力画像のイプシロンフィルタを施した画素値である。イプシロンフィルタは、入力画像から微小振幅成分を非線形に抽出し、この微小振幅成分を入力画像から減算する非線形フィルタである。
【特許文献1】特開2003−8935号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
特許文献1のイプシロンフィルタは、処理が複雑で処理時間がかかるという問題があった。特に、RAW画像では色成分の一部が画素ごとに欠落するため、そのままでは特許文献1の処理を実施できない。そのため、色補間処理によって全色成分をまず揃える必要があり、その事前処理の分だけ処理時間が更に余計にかかるという問題があった。
そこで、本発明の目的は、RAW画像の階調調整に好適なゲインマップを、少ない処理負荷で生成することである。
【課題を解決するための手段】
【0004】
《1》 本発明の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。
画像入力部は、RAW画像を取り込む。
代表値処理部は、RAW画像の画像領域を複数の部分領域に分け、これら部分領域に含まれる色成分に基づく代表値を求め、代表値を画素値とする縮小画像を生成する。
ゲインマップ生成部は、縮小画像に基づいて、ゲインマップを生成する。
階調変換部は、このゲインマップに基づいて、RAW画像の階調変換を行う。
《2》 なお好ましくは、ゲインマップ生成部は、縮小画像の画素値に対応するゲインを求めて縮小ゲインマップを生成する。ゲインマップ生成部は、この縮小ゲインマップを補間拡大してゲインマップを生成する。
《3》 また好ましくは、ゲインマップ生成部は、縮小画像を補間拡大して、RAW画像より画素数の少ない中間画像を生成する。ゲインマップ生成部は、中間画像の画素値に対応するゲインを求めて中間ゲインマップを生成し、この中間ゲインマップを補間拡大してゲインマップを生成する。
《4》 なお好ましくは、ゲインマップ生成部は、縮小画像を補間拡大して入力RAW画像の画素数の補間画像を生成する。ゲインマップ生成部は、この補間画像の画素値に対応するゲインを求めてゲインマップを生成する。
《5》 また好ましくは、代表値処理部は、部分領域に含まれるn種類(n≧2)の色成分について統計処理を行って、n種類の色代表値を求める。代表値処理部は、これら色代表値に基づいて代表値を求め、代表値を画素値とする縮小画像を生成する。
《6》 なお好ましくは、上述の統計処理は、色成分の平均値、中央値、もしくは中間値である。また好ましくは、上述の統計処理は、飽和と見なせる極端に大きい値を除いた色成分の平均値、中央値、もしくは中間値である。また好ましくは、上述の統計処理は、許容変動範囲を超える変動値を除いた色成分の平均値、中央値、もしくは中間値である。
《7》 また好ましくは、ゲインマップ生成部は、縮小画像、ゲインマップ、およびゲインマップ生成過程のデータの少なくとも1つに対してスムージング処理を施すことを特徴とする。
《8》 本発明の別の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。
画像入力部は、RAW画像を取り込み、RAW画像に対してホワイトバランスをとったWB_RAW画像を作成する。
代表値処理部は、WB_RAW画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成部は、代表値画像に基づいて、ゲインマップを生成する。
階調変換部は、ゲインマップに基づいて、RAW画像の画素ごとにゲインを乗じた画像を作成する。
《9》 本発明の別の階調変換装置は、画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部を備える。
画像入力部は、RAW画像を取り込み、このRAW画像の最大値もしくはRAW画像から求めた白色点の値を所定の最大レベルになるように規格化されたNR_RAW画像を作成する。
代表値処理部は、NR_RAW画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成部は、代表値画像に基づいて、ゲインマップを生成する。
階調変換部は、ゲインマップに基づいて、RAW画像の画素ごとにゲインを乗じた画像を作成する。
《10》 本発明の階調変換プログラムは、コンピュータを、上記のいずれか1項に記載の画像入力部、代表値処理部、ゲインマップ生成部、および階調変換部として機能させるためのプログラムである。
《11》 本発明の階調変換方法は、次のステップを有する。
画像入力ステップ:RAW画像を取り込む。
代表値処理ステップ:RAW画像の画像領域を複数の部分領域に分け、部分領域に含まれる色成分に基づいて代表値を求め、代表値を画素値とする縮小画像を生成する。
ゲインマップ生成ステップ:縮小画像に基づいて、ゲインマップを生成する。
階調変換ステップ:ゲインマップに基づいて、RAW画像の階調変換を行う。
《12》 本発明の別の階調変換方法は、次のステップを有する。
画像入力ステップ:RAW画像を取り込み、RAW画像に対してホワイトバランスをとったWB_RAW画像を作成する。
代表値処理ステップ:WB_RAW画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成ステップ:代表値画像に基づいて、ゲインマップを生成する。
階調変換ステップ:ゲインマップに基づいて、RAW画像の画素ごとにゲインを乗じた画像を作成する。
《13》 本発明の別の階調変換方法は、次のステップを有する。
画像入力ステップ:RAW画像を取り込み、RAW画像の最大値もしくはRAW画像から求めた白色点の値を所定の最大レベルになるように規格化されたNR_RAW画像を作成する。
代表値処理ステップ:NR_RAW画像から代表値を求め、代表値画像を作成する。
ゲインマップ生成ステップ:代表値画像に基づいて、ゲインマップを生成する。
階調変換ステップ:ゲインマップに基づいて、RAW画像の画素ごとにゲインを乗じた画像を作成する。
《14》 本発明の電子カメラは、上記のいずれか1項に記載の階調変換装置と、被写体を撮像してRAW画像を生成する撮像部とを備える。この電子カメラは、撮像部で生成されたRAW画像を、階調変換装置で階調変換する機能を有する。
【発明の効果】
【0005】
本発明では、RAW画像の画像領域を部分領域に分ける。これら部分領域には、複数種の色成分が含まれる。そのため、欠落色成分を色補間で補うことなく、この部分領域内の色成分を使用して、代表値を求めることができる。このような代表値を画素として構成した縮小画像は、RAW画像よりも画素数が低減されるために、RAW画像の高域空間成分が適度に間引かれる。その結果、縮小画像の画素は、RAW画像の対応画素がどのようなローカル領域内に位置しているかといったローカル情報を示すようになる。したがって、この縮小画像に基づいて階調変換のゲインを増減調整することにより、ローカル情報に柔軟に対応したRAW画像の階調変換が実現する。
特に、本発明の階調変換では、RAW画像から縮小画像を生成することで、RAW画像の階調変換に本来必須であった色補間処理を省くことが可能となり、その分だけ処理負荷を軽減することが可能になる。
【発明を実施するための最良の形態】
【0006】
[第1実施形態]
《構成説明》
図1は、階調変換装置11の構成を示す図である。
図1において、階調変換装置11は、下記の構成要件を備える。
【0007】
(1)画像入力部12・・RAW画像を取り込む。
(2)代表値処理部13・・RAW画像の画像領域を分割して複数の部分領域に分ける。これら部分領域内の色成分に基づいて代表値を求め、代表値を画素値とした縮小画像を生成する。
【0008】
(3)ゲインマップ生成部14・・縮小画像に基づいて、ゲインマップを生成する。
(4)階調変換部15・・ゲインマップに基づいて、RAW画像を階調変換する。
上述した階調変換装置11は、その一部または全部をハードウェアにより構成してもよい。また、階調変換プログラムを用いることで、コンピュータ上において階調変換装置11をソフトウェア的に実現してもよい。
図2は、この階調変換装置11を搭載する電子カメラ21を示す図である。
図2において、電子カメラ21には、撮影レンズ22が装着される。この撮影レンズ22の像空間側には、不図示の絞りなどを介して、撮像素子23の撮像面が配置される。この撮像素子23から出力されるRAW画像は、A/D変換部24などを介してデジタル化された後、階調変換装置11に入力される。この階調変換装置11は、このRAW画像に対して階調変換を施す。階調変換装置11から出力されたRAW画像は、画像処理部25を介した後、記録部26に保存記録される。
また、階調変換装置11は、記録部26から記録済みのRAW画像を後から読み出して、階調変換を実施することも可能である。
【0009】
《動作説明》
図3は、第1実施形態の動作を説明する流れ図である。以下、図3に示すステップ番号にそって、第1実施形態の動作説明を行う。
【0010】
[ステップS1] 階調変換装置11の画像入力部12は、RAW画像を取り込む。ここでのRAW画像は、色補間を未実施の画像であり、例えば、図4に示すように、RGBベイヤ配列状に色成分を有する画像である。
【0011】
[ステップS2] 代表値処理部13は、RAW画像を縦M画素×横N画素の画素ブロックに区分して読み出す。ここで、M,N最小の場合はM=2,N=2の4画素が画素ブロックの場合である。この場合、ベイヤ配列ではGが2画素、R,Bがそれぞれ1画素含まれるので、この最小単位の画素ブロックの中から3色を選ぶことができる。R,Bに関しては一意的に決まるが、Gに関してはどちらかを選ぶか平均値をとる。こうして選んだR,G,Bの複数成分をもとに所定の方式(後述)で1成分の代表値Vを計算する。従ってこの場合の縮小画像は画素数においてRAW画像の画素数の1/4となる。
【0012】
なお、RAW画像のサイズが大きい場合は1/4サイズでも計算量が多い。計算速度を上げるためには、例えば600万画素のRAW画像の場合なら、M,Nは、4画素程度、16画素程度が好ましく、32画素を超えない程度の値に設定することが好ましい。また、M,Nを、入力されるRAW画像の縦横画素数の変化に応じて適応的に変更してもよい。
実際的には、RAW画像のサイズと計算時間及び結果として得られる画質とのかねあいで実験的に適正または最適な値を求めるようにする。なお、後述する補間処理を簡素化するためには、M,Nを2のべき乗値に設定することが好ましい。
【0013】
代表値処理部13は、画素ブロック内に含まれるG画素の値について統計処理を実施し、画素ブロックのG色代表値GMを決定する。同様にして、代表値処理部13は、画素ブロック内に含まれるR画素の値からR色代表値RMを決定する。さらに、代表値処理部13は、画素ブロック内に含まれるB画素の値からB色代表値BMを決定する。
なお、B色については明暗の視覚感度が低いために統計処理を省き、G色およびR色などの2色に限って色代表値を求めてもよい。
【0014】
ここでの統計処理としては、画素ブロックに含まれる色成分について、平均値、中央値、もしくは中間値を求める処理が好ましい。また例えば、画素ブロック内の対象色成分から飽和と見なせる極端に大きい値を除いたのちに、統計処理を実施することが好ましい。また例えば、画素ブロック内の対象色成分から許容変動範囲を超える変動値を除いた後に、統計処理を実施することが好ましい。
この種の統計処理の目的は、画素ブロック内から特異な値(明るすぎる値や暗すぎる値や突発的に変化している値)を除いて、画素ブロックを代表する色代表値を求めようとする処理である。
【0015】
[ステップS3] 代表値処理部13は、画素ブロックごとに求めた複数成分の色代表値を処理して、1成分の代表値Vを求める。
例えば、輝度成分Y=0.3×RM+0.6×GM+0.1×BM(係数は適宜変更可能)を求め、代表値V=Yとしてもよい。
また例えば、色差成分Cr=|RM−Y|、Cb=|BM−Y|を求め、V=Y+αCr+βCbとしてもよい。なお、α,βは、Vに彩度を反映させるための調整係数であり、例えば0.5程度が好ましい。この代表値Vは、彩度を反映するため、後述する階調変換において高彩度箇所の飽和現象を抑えることが可能になる。
また例えば、V=MAX(GM,RM,BM)としてもよい。
代表値処理部13は、画素ブロックごとに求めた代表値Vを、画素ブロックの配列順に並べることで、縦画素数を1/M倍、横画素数を1/N倍に縮小した1成分Vからなる縮小画像を得る。ここで、縮小画像の位置[io,jo]に対するVの値をV[io,jo]とする。
【0016】
[ステップS4] ゲインマップ生成部14は、縮小画像に対してスムージング処理を実施し、その結果をV[io,jo]に入れ直す。このスムージング処理には、例えば、下記のような局所オペレータを用いた空間周波数フィルタ処理が好ましい。
1 2 1
2 4 2
1 2 1
【0017】
[ステップS5] ゲインマップ生成部14には、関数式やLUT(ルックアップテーブル)などの形態で、ゲインカーブのデータが予め設定される。ゲインマップ生成部14は、これらのデータの中から、ユーザー指定またはデフォルトの階調圧縮率(2倍〜4倍など)に応じて、ゲインカーブを選択する。
図5および図6は、この階調圧縮率に応じて選択されるゲインカーブの一例である。特に、図6は、暗部ノイズを低減するために暗部ゲインを抑圧したゲインカーブであり、撮像感度の特に高いRAW画像の階調変換に適する。
【0018】
[ステップS6] ゲインマップ生成部14は、ステップS5で選択したゲインカーブに照会して、縮小画像の画素値V[io,jo]に対応するゲインGain(V)=Gain(V[io,jo])を画素ごとに決定する。この処理により、縮小画像と同じ縦横画素数の縮小ゲインマップが生成される。
なお、ゲインマップ生成部14は、縮小ゲインマップ上での急激なゲイン変化を抑制するために、縮小ゲインマップに対してスムージング処理を施してもよい。
【0019】
[ステップS7] ゲインマップ生成部14は、縮小ゲインマップGain(V[io,jo])に補間拡大を施して、RAW画像と同じ縦横画素数のゲインマップGL[i,j]を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が2のべき乗倍の場合には、補間処理の簡素化のために、縦や横に2倍の補間拡大を所定回数繰り返すことで簡単に拡大ができる。。
例えば、2倍拡大において図7[A]に示すX箇所の補間値を得る場合は、
X箇所の補間値=[第1近傍(図中の●位置)の4画素平均]×(1+α)−[第2近傍(図中の○位置)の8画素平均]×α
で算出する。
また例えば、2倍拡大において図7[B]に示すY箇所の補間値を得る場合は、
Y箇所の補間値=[第1近傍(図中の●位置)の2画素平均]×(1+β)−[第2近傍(図中の○位置)の2画素平均]×β
で算出する。
また例えば、2倍拡大において図7[C]に示すZ箇所の補間値を得る場合は、
Y箇所の補間値=[第1近傍(図中の●位置)の2画素平均]×(1+γ)−[第2近傍(図中の○位置)の2画素平均]×γ
で算出する。
なお、上記の係数αβγは、補間後のゲインマップの局所変化がなだらかになる様に、実験的に適当な値を設定する。
なお、ゲインマップ生成部14は、補間後のゲインマップ上での急激なゲイン変化を抑制するために、ゲインマップに対してスムージング処理を施してもよい。
【0020】
[ステップS8] 階調変換部15は、ステップS7で生成されたゲインマップの画素位置[i,j]のゲインGL[i,j]を、RAW画像の画素位置[i,j]の信号成分X[i,j]に乗じる。
X′[i,j]=GL[i,j]×X[i,j]
この計算をRAW画像の全画素について実行することにより、RAW画像の階調変換を完了する。
【0021】
[第2実施形態]
第2実施形態の階調変換装置および電子カメラは、第1実施形態(図1,図2)と同一構成であるため、ここでの説明を省略する。
図8は、第2実施形態の動作を説明する流れ図である。以下、図8に示すステップ番号にそって、第2実施形態の動作説明を行う。
【0022】
[ステップS11] 第1実施形態のステップS1と同じ処理。
【0023】
[ステップS12] 代表値処理部13は、RAW画像を縦M′画素×横N′画素の画素ブロックに区分して読み出す。ここでM′,N′は、第1実施形態のM,Nよりもそれぞれ大きな画素数に設定することが好ましい。なお、後述する補間処理を簡素化するためには、M′,N′を2のべき乗値に設定することが好ましい。
代表値処理部13は、この画素ブロック内に含まれるRGB値について色ごとに統計処理を実施し、色代表値RM,GM,BMをそれぞれ決定する。ここでの統計処理には、ステップS2で説明した統計処理が可能である。
【0024】
[ステップS13] 代表値処理部13は、画素ブロックごとに求めた色代表値RM,GM,BMを処理して、1成分の代表値Vを求める。この処理により1成分の代表値Vからなる縮小画像を得る。この縮小画像は、第1実施形態の縮小画像よりも小さな縦横画素数にすることが好ましい。
【0025】
[ステップS14] ゲインマップ生成部14は、縮小画像に対してスムージング処理を実施する。
【0026】
[ステップS15] ゲインマップ生成部14は、縮小画像に対して補間拡大を施して、RAW画像より小さな縦横画素数の中間画像を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が2のべき乗倍の場合には、補間処理の簡素化のために、縦や横に2倍の補間拡大を所定回数繰り返すことが好ましい。
【0027】
[ステップS16] 第1実施形態のステップS5と同じ処理。
【0028】
[ステップS17] ゲインマップ生成部14は、ステップS16で選択したゲインカーブを照会して、中間画像の画素値V[io,jo]に対応するゲインGain(V[io,jo])を画素[io,jo]ごとに決定する。この処理により、中間画像と同じ縦横画素数の中間ゲインマップが生成される。
なお、ゲインマップ生成部14は、中間ゲインマップ上での急激なゲイン変化を抑制するために、中間ゲインマップに対してスムージング処理を施してもよい。
【0029】
[ステップS18] ゲインマップ生成部14は、中間ゲインマップに補間拡大を施して、RAW画像と同じ縦横画素数のゲインマップGL[i,j]を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が2のべき乗倍の場合には、補間処理の簡素化のために、縦や横に2倍の補間拡大を所定回数繰り返すことが好ましい。
なお、ゲインマップ生成部14は、補間後のゲインマップ上での急激なゲイン変化を抑制するために、ゲインマップに対してスムージング処理を施してもよい。
【0030】
[ステップS19] 第1実施形態のステップS8と同じ処理。
【0031】
[第3実施形態]
第3実施形態の階調変換装置および電子カメラは、第1実施形態(図1,図2)と同一構成であるため、ここでの説明を省略する。
図9は、第3実施形態の動作を説明する流れ図である。以下、図9に示すステップ番号にそって、第3実施形態の動作説明を行う。
【0032】
[ステップS31〜S34] 第1実施形態のステップS1〜S4と同じ処理。
【0033】
[ステップS35] ゲインマップ生成部14は、縮小画像V[io,jo]に対して補間拡大を施して、RAW画像と同じ縦横画素数の補間画像V[i,j]を生成する。ここでの補間処理には、バイキュービック、バイリニアなど公知の補間技術が適用できる。
なお、縦や横の補間拡大率が2のべき乗倍の場合には、補間処理の簡素化のために、縦や横に2倍の補間拡大を所定回数繰り返すことが好ましい。
なお、ゲインマップ生成部14は、補間画像上での急激な画素変化を抑制するために、補間画像に対してスムージング処理を施してもよい。
【0034】
[ステップS36] 第1実施形態のステップS5と同じ処理。
【0035】
[ステップS37] ゲインマップ生成部14は、ステップS36で選択したゲインカーブを照会して、補間画像の画素値V[i,j]に対応するゲインGL[i,j]=Gain(V[i,j])を画素[i,j]ごとに決定する。この処理により、RAW画像と同じ縦横画素数のゲインマップGL[i,j]が生成される。
なお、ゲインマップ生成部14は、ゲインマップ上での急激なゲイン変化を抑制するために、ゲインマップに対してスムージング処理を施してもよい。
【0036】
[ステップS38] 第1実施形態のステップS8と同じ処理。
【0037】
[第4実施形態]
第4実施形態の階調変換装置および電子カメラは、第1実施形態(図1,図2)と同一構成であるため、ここでの説明を省略する。
上述した第1〜第3実施形態では、階調圧縮率をユーザー設定やデフォルトで決定し、その階調圧縮率に応じてゲインカーブを選択する。第4実施形態の特徴は、この階調圧縮率またはゲインカーブを、RAW画像の解析結果に応じて適応的に決定する点である。
例えば、ゲインマップ生成部14は、RAW画像の全画面または部分領域(周辺1割程度を除いた領域など)について平均の明るさを求める。ゲインマップ生成部14は、この平均の明るさの値を、事前設定された選択ルールに照会することで、階調圧縮率またはゲインカーブを選択する。
このような選択ルールの事前設定の方法としては、例えば下記手順が好ましい。
【0038】
(1)予め多数のシーンを実写し、実写されたRAW画像ごとに最適なゲインカーブ(または階調圧縮率)を、画質の主観評価で決定する。
(2)次にRAW画像ごとに、上記の平均の明るさを求める。
(3)平均の明るさと、最適なゲインカーブ(または階調圧縮率)とについて回帰分析などの統計処理を実施して、両者の相関関係を求める。
(4)求めた相関関係に基づいて、選択ルールを定める。
(5)定めた選択ルールをゲインマップ生成部14にデータ格納する。
【0039】
なお、階調圧縮率またはゲインカーブの選択ステップ以外の動作については、第1〜第3実施形態と同様であるため、ここでの説明を省略する。
【0040】
[第5実施形態]
第5実施形態の階調変換装置および電子カメラは、第1実施形態(図1,図2)と同一構成であるため、ここでの説明を省略する。
第5実施形態の特徴は、電子カメラ側または画像入力部12において、RAW画像にホワイトバランス調整を予め実施しておく点である。
このホワイトバランス調整の事前実施により、色の偏りの少ないRAW画像から、1成分Vの代表値画像(例えば縮小画像)を生成できる。そのため、この代表値画像の代表値Vは、色の偏りの影響が少なく、RAW画像のローカル情報を適切に反映したものとなる。このような良質の代表値画像に基づいてゲインマップを生成することにより、より適切なゲインマップを生成することが可能になる。
なお、ホワイトバランス調整済みのRAW画像を階調変換することにより、階調変換後の色飽和などを低減することも可能になる。
なお、RAW画像に事前にホワイトバランス調整を実施する以外の動作については、第1〜第4実施形態と同様であるため、ここでの説明を省略する。
【0041】
[第6実施形態]
第6実施形態の階調変換装置および電子カメラは、第1実施形態(図1,図2)と同一構成であるため、ここでの説明を省略する。
第6実施形態の特徴は、電子カメラ側または画像入力部12において、RAW画像の信号成分を予め規格化しておく点である。
まず、図10に示すように、RAW画像の最大値または白色点(例えば、最大値側からヒストグラムを累積し、全画素数の所定割合、具体例としては0.1%となる点)をVwとする。このVwを所定値(所定の最大レベル、例えばVmaxや1など)とするように規格化カーブを定める。
さらに、図10に示すように、RAW画像の最小値または黒色点(例えば、最小値側からヒストグラムを累積し、全画素数の所定割合、具体例としては0.1%となる点)をVdとする。このVdを所定値(0など)とするように規格化カーブを定めてもよい。
このように定めた規格化カーブを用いて、RAW画像の規格化が実施される。この規格化の事前実施により、階調の偏りの少ないRAW画像から、1成分の代表値画像(例えば縮小画像)を生成できる。そのため、この代表値画像の代表値Vは、階調の偏りの影響が少なく、RAW画像のローカル情報を適切に反映したものとなる。このような良質の代表値画像に基づいてゲインマップを生成することで、より適切なゲインマップを生成することが可能になる。
さらに、規格化済みのRAW画像に階調変換を実施することにより、階調変換後の白飛びなどを低減することも可能になる。
なお、RAW画像に事前に規格化を実施する以外の動作については、第1〜第5実施形態と同様であるため、ここでの説明を省略する。
【0042】
《実施形態の補足事項》
なお、上述した実施形態では、RGBベイヤ配列のRAW画像を処理するケースについて説明した。しかしながら、RAW画像の画素配列はRGBベイヤ配列に限定されるものではない。一般的なRAW画像としては、3色以上の色成分を適度な画素密度でそれぞれ配列した画像であればよい。
【0043】
また、上述した実施形態では、正方状または矩形状の画素ブロックを設定して縮小画像を求めている。さらに、隣接する画素ブロックが重複しないように画素ブロックを区分している。しかしながら、実施形態はこれに限定されるものではない。例えば、RAW画像を円状や楕円状などの任意形状の部分領域に分け、これら部分領域ごとに代表値を決定することで縮小画像を生成してもよい。また例えば、隣接する部分領域(画素ブロックも含む)が一部重複するように、部分領域を設定してもよい。このように部分領域を一部重複させて設定することで、スムージング処理と同等の効果を得ることも可能になる。
【0044】
なお、上述した実施形態では、ゲインマップの縦横画素数を、RAW画像の縦横画素数と必ず等しくしている。しかしながら、実施形態はこれに限定されるものではない。例えば、ゲインマップの縦や横の画素数を、RAW画像の縦や横の画素数よりも少なくしてもよい。この場合、ゲインマップの1画素分のゲインを、RAW画像側の対応する複数画素に乗じることで階調変換を行えばよい。RAW画像の縦横画素数がある程度大きければ、このような処理を行っても画質上の弊害は少ない。
【0045】
また、上述した実施形態では、RAW画像にゲインマップのゲインを具体的に乗じることで階調変換を実施している。しかしながら、実施形態はこれに限定されるものではない。例えば、RAW画像のファイル内の画像処理情報として、ゲインマップ(ゲインマップに変換可能なデータも含む)を付随記録してもよい。この場合、RAW画像のオリジナルデータを変更することなく、RAW画像を階調変換することが可能になる。
【産業上の利用可能性】
【0046】
以上説明したように、本発明は、階調変換装置などに利用可能な技術である。
【図面の簡単な説明】
【0047】
【図1】階調変換装置11の構成を示す図である。
【図2】階調変換装置11を搭載する電子カメラ21を示す図である。
【図3】第1実施形態の動作を説明する流れ図である。
【図4】RGBベイヤ配列を示す図である。
【図5】ゲインカーブの一例を示す図である。
【図6】ゲインカーブの一例を示す図である。
【図7】補間拡大を説明する図である。
【図8】第2実施形態の動作を説明する流れ図である。
【図9】第3実施形態の動作を説明する流れ図である。
【図10】RAW画像の規格化を説明する図である。
【符号の説明】
【0048】
11…階調変換装置,12…画像入力部,13…代表値処理部,14…ゲインマップ生成部,15…階調変換部,21…電子カメラ,22…撮影レンズ,23…撮像素子
【特許請求の範囲】
【請求項1】
RAW画像を取り込む画像入力部と、
前記RAW画像の画像領域を複数の部分領域に分け、前記部分領域に含まれる色成分に基づく代表値を求め、前記代表値を画素値とする縮小画像を生成する代表値処理部と、
前記縮小画像に基づいて、ゲインマップを生成するゲインマップ生成部と、
前記ゲインマップに基づいて、前記RAW画像の階調変換を行う階調変換部と
を備えたことを特徴とする階調変換装置。
【請求項2】
請求項1に記載の階調変換装置において、
前記ゲインマップ生成部は、
前記縮小画像の画素値に対応するゲインを求めて縮小ゲインマップを生成し、前記縮小ゲインマップを補間拡大して前記ゲインマップを生成する
ことを特徴とする階調変換装置。
【請求項3】
請求項1に記載の階調変換装置において、
前記ゲインマップ生成部は、
前記縮小画像を補間拡大して、前記RAW画像より画素数の少ない中間画像を生成し、
前記中間画像の画素値に対応するゲインを求めて中間ゲインマップを生成し、前記中間ゲインマップを補間拡大して前記ゲインマップを生成する
ことを特徴とする階調変換装置。
【請求項4】
請求項1に記載の階調変換装置において、
前記ゲインマップ生成部は、
前記縮小画像を補間拡大して前記RAW画像の画素数の補間画像を生成し、前記補間画像の画素値に対応するゲインを求めて前記ゲインマップを生成する
ことを特徴とする階調変換装置。
【請求項5】
請求項1ないし請求項4のいずれか1項に記載の階調変換装置において、
前記代表値処理部は、
前記部分領域に含まれるn種類(n≧2)の色成分について統計処理を行って、n種類の色代表値を求め、前記色代表値に基づいて代表値を求め、前記代表値を画素値とする前記縮小画像を生成する
ことを特徴とする階調変換装置。
【請求項6】
請求項5に記載の階調変換装置において、
前記代表値処理部が実施する前記統計処理は、
前記色成分の平均値、中央値、もしくは中間値、
または、飽和と見なせる極端に大きい値を除いた前記色成分の平均値、中央値、もしくは中間値、
または、許容変動範囲を超える変動値を除いた前記色成分の平均値、中央値、もしくは中間値
のいずれかを求める処理である
ことを特徴とする階調変換装置。
【請求項7】
請求項1ないし請求項6のいずれか1項に記載の階調変換装置において、
ゲインマップ生成部は、
前記縮小画像、前記ゲインマップ、および前記ゲインマップ生成過程のデータの少なくとも1つに対してスムージング処理を施す
ことを特徴とする階調変換装置。
【請求項8】
RAW画像を取り込み、前記RAW画像に対してホワイトバランスをとったWB_RAW画像を作成する画像入力部と、
前記WB_RAW画像から代表値を求め、代表値画像を作成する代表値処理部と、
前記代表値画像に基づいて、ゲインマップを生成するゲインマップ生成部と、
前記ゲインマップに基づいて、前記RAW画像の画素ごとにゲインを乗じた画像を作成する階調変換部と
を備えたことを特徴とする階調変換装置。
【請求項9】
RAW画像を取り込み、前記RAW画像の最大値もしくは前記RAW画像から求めた白色点の値を所定の最大レベルになるように規格化されたNR_RAW画像を作成する画像入力部と、
前記NR_RAW画像から代表値を求め、代表値画像を作成する代表値処理部と、
前記代表値画像に基づいて、ゲインマップを生成するゲインマップ生成部と、
前記ゲインマップに基づいて、前記RAW画像の画素ごとにゲインを乗じた画像を作成する階調変換部と
を備えたことを特徴とする階調変換装置。
【請求項10】
コンピュータを、請求項1ないし請求項9のいずれか1項に記載の前記画像入力部、前記代表値処理部、前記ゲインマップ生成部、および前記階調変換部として機能させるための階調変換プログラム。
【請求項11】
RAW画像を取り込むステップと、
前記RAW画像の画像領域を複数の部分領域に分け、前記部分領域に含まれる色成分に基づいて代表値を求め、前記代表値を画素値とする縮小画像を生成するステップと、
前記縮小画像に基づいて、ゲインマップを生成するステップと、
前記ゲインマップに基づいて、前記RAW画像の階調変換を行うステップと
を有することを特徴とする階調変換方法。
【請求項12】
RAW画像を取り込み、前記RAW画像に対してホワイトバランスをとったWB_RAW画像を作成するステップと、
前記WB_RAW画像から代表値を求め、代表値画像を作成するステップと、
前記代表値画像に基づいて、ゲインマップを生成するステップと、
前記ゲインマップに基づいて、前記RAW画像の画素ごとにゲインを乗じた画像を作成するステップと
を備えたことを特徴とする階調変換方法。
【請求項13】
RAW画像を取り込み、前記RAW画像の最大値もしくは前記RAW画像から求めた白色点の値を所定の最大レベルになるように規格化されたNR_RAW画像を作成するステップと、
前記NR_RAW画像から代表値を求め、代表値画像を作成するステップと、
前記代表値画像に基づいて、ゲインマップを生成するステップと、
前記ゲインマップに基づいて、前記RAW画像の画素ごとにゲインを乗じた画像を作成するステップと
を備えたことを特徴とする階調変換方法。
【請求項14】
請求項1ないし請求項9のいずれか1項に記載の階調変換装置と、
被写体を撮像してRAW画像を生成する撮像部とを備え、
前記撮像部で生成された前記RAW画像を、前記階調変換装置で階調変換する機能を有する
ことを特徴とする電子カメラ。
【請求項1】
RAW画像を取り込む画像入力部と、
前記RAW画像の画像領域を複数の部分領域に分け、前記部分領域に含まれる色成分に基づく代表値を求め、前記代表値を画素値とする縮小画像を生成する代表値処理部と、
前記縮小画像に基づいて、ゲインマップを生成するゲインマップ生成部と、
前記ゲインマップに基づいて、前記RAW画像の階調変換を行う階調変換部と
を備えたことを特徴とする階調変換装置。
【請求項2】
請求項1に記載の階調変換装置において、
前記ゲインマップ生成部は、
前記縮小画像の画素値に対応するゲインを求めて縮小ゲインマップを生成し、前記縮小ゲインマップを補間拡大して前記ゲインマップを生成する
ことを特徴とする階調変換装置。
【請求項3】
請求項1に記載の階調変換装置において、
前記ゲインマップ生成部は、
前記縮小画像を補間拡大して、前記RAW画像より画素数の少ない中間画像を生成し、
前記中間画像の画素値に対応するゲインを求めて中間ゲインマップを生成し、前記中間ゲインマップを補間拡大して前記ゲインマップを生成する
ことを特徴とする階調変換装置。
【請求項4】
請求項1に記載の階調変換装置において、
前記ゲインマップ生成部は、
前記縮小画像を補間拡大して前記RAW画像の画素数の補間画像を生成し、前記補間画像の画素値に対応するゲインを求めて前記ゲインマップを生成する
ことを特徴とする階調変換装置。
【請求項5】
請求項1ないし請求項4のいずれか1項に記載の階調変換装置において、
前記代表値処理部は、
前記部分領域に含まれるn種類(n≧2)の色成分について統計処理を行って、n種類の色代表値を求め、前記色代表値に基づいて代表値を求め、前記代表値を画素値とする前記縮小画像を生成する
ことを特徴とする階調変換装置。
【請求項6】
請求項5に記載の階調変換装置において、
前記代表値処理部が実施する前記統計処理は、
前記色成分の平均値、中央値、もしくは中間値、
または、飽和と見なせる極端に大きい値を除いた前記色成分の平均値、中央値、もしくは中間値、
または、許容変動範囲を超える変動値を除いた前記色成分の平均値、中央値、もしくは中間値
のいずれかを求める処理である
ことを特徴とする階調変換装置。
【請求項7】
請求項1ないし請求項6のいずれか1項に記載の階調変換装置において、
ゲインマップ生成部は、
前記縮小画像、前記ゲインマップ、および前記ゲインマップ生成過程のデータの少なくとも1つに対してスムージング処理を施す
ことを特徴とする階調変換装置。
【請求項8】
RAW画像を取り込み、前記RAW画像に対してホワイトバランスをとったWB_RAW画像を作成する画像入力部と、
前記WB_RAW画像から代表値を求め、代表値画像を作成する代表値処理部と、
前記代表値画像に基づいて、ゲインマップを生成するゲインマップ生成部と、
前記ゲインマップに基づいて、前記RAW画像の画素ごとにゲインを乗じた画像を作成する階調変換部と
を備えたことを特徴とする階調変換装置。
【請求項9】
RAW画像を取り込み、前記RAW画像の最大値もしくは前記RAW画像から求めた白色点の値を所定の最大レベルになるように規格化されたNR_RAW画像を作成する画像入力部と、
前記NR_RAW画像から代表値を求め、代表値画像を作成する代表値処理部と、
前記代表値画像に基づいて、ゲインマップを生成するゲインマップ生成部と、
前記ゲインマップに基づいて、前記RAW画像の画素ごとにゲインを乗じた画像を作成する階調変換部と
を備えたことを特徴とする階調変換装置。
【請求項10】
コンピュータを、請求項1ないし請求項9のいずれか1項に記載の前記画像入力部、前記代表値処理部、前記ゲインマップ生成部、および前記階調変換部として機能させるための階調変換プログラム。
【請求項11】
RAW画像を取り込むステップと、
前記RAW画像の画像領域を複数の部分領域に分け、前記部分領域に含まれる色成分に基づいて代表値を求め、前記代表値を画素値とする縮小画像を生成するステップと、
前記縮小画像に基づいて、ゲインマップを生成するステップと、
前記ゲインマップに基づいて、前記RAW画像の階調変換を行うステップと
を有することを特徴とする階調変換方法。
【請求項12】
RAW画像を取り込み、前記RAW画像に対してホワイトバランスをとったWB_RAW画像を作成するステップと、
前記WB_RAW画像から代表値を求め、代表値画像を作成するステップと、
前記代表値画像に基づいて、ゲインマップを生成するステップと、
前記ゲインマップに基づいて、前記RAW画像の画素ごとにゲインを乗じた画像を作成するステップと
を備えたことを特徴とする階調変換方法。
【請求項13】
RAW画像を取り込み、前記RAW画像の最大値もしくは前記RAW画像から求めた白色点の値を所定の最大レベルになるように規格化されたNR_RAW画像を作成するステップと、
前記NR_RAW画像から代表値を求め、代表値画像を作成するステップと、
前記代表値画像に基づいて、ゲインマップを生成するステップと、
前記ゲインマップに基づいて、前記RAW画像の画素ごとにゲインを乗じた画像を作成するステップと
を備えたことを特徴とする階調変換方法。
【請求項14】
請求項1ないし請求項9のいずれか1項に記載の階調変換装置と、
被写体を撮像してRAW画像を生成する撮像部とを備え、
前記撮像部で生成された前記RAW画像を、前記階調変換装置で階調変換する機能を有する
ことを特徴とする電子カメラ。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2007−180851(P2007−180851A)
【公開日】平成19年7月12日(2007.7.12)
【国際特許分類】
【出願番号】特願2005−376463(P2005−376463)
【出願日】平成17年12月27日(2005.12.27)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
【公開日】平成19年7月12日(2007.7.12)
【国際特許分類】
【出願日】平成17年12月27日(2005.12.27)
【出願人】(000004112)株式会社ニコン (12,601)
【Fターム(参考)】
[ Back to top ]