説明

画像処理装置、及び画像処理プログラム

【課題】撮像画像等の画像における階調補正に際し、画像内に霞が生じている部分にも良好な階調補正結果を得る。
【解決手段】εフィルタ107は、処理対象画像の輝度成分(Y)から大局輝度成分(Y_low)を抽出する。コントラスト成分生成部108は、輝度成分(Y)から大局輝度成分(Y_low)を減算し、処理対象画像の高周波成分に相当する霞除去用のコントラスト成分(Y_high)を生成する。コントラスト成分調整部109は、処理対象画像の明るさの分布域情報(RGBmax、RGBmin)に基づき、処理対象画像における霞度合(霞の程度)を取得し、取得した霞度合に応じて霞除去用のコントラスト成分(Y_high)を調整する。輝度補正部110は、調整後のコントラスト成分(Y'_high)を処理対象画像の輝度成分(Y)に加算することにより、処理対象画像の階調を補正する。処理対象画像における霞の除去に最適な階調補正が行える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理技術に関し、特に画像の階調補正処理に関するものである。
【背景技術】
【0002】
従来、例えば特許文献1には、画像の階調補正処理に際して、以下の第1〜第3の処理を行う画像処理技術が記載されている。第1の処理では、入力画像データから非線形フィルタにより抽出したストラクチャ成分(画像内の物体の輪郭等に相当する成分)を、入力画像データから減算することによってテクスチャ成分(画像内の細部を構成する成分)を抽出する。また、第2の処理では、入力画像データから輝度のヒストグラムを取得し、取得したヒストグラムに基づいて生成した補正曲線に基づき前記ストラクチャ成分のコントラストを補正する。そして、第3の処理では、補正済のストラクチャ成分と予め増幅したテクスチャ成分とを加算することにより新たな画像データを生成する。
【0003】
上記技術においては、画像全体のコントラストを向上させ、かつ画像内の細部を強調することが期待できる。また、前記ストラクチャ成分のコントラストが入力画像データにおける輝度のヒストグラムに応じた補正曲線を用いて補正されるため、補正後の画像データをコントラスト補正がより効果的に作用したものとすることができる。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2005−309945号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1の技術では、画像全体のコントラストを効果的に補正し、かつ画像内の細部を強調することができたとしても、補正対象の画像内に霞が生じている部分が存在する場合には、霞が生じている部分については必ずしも良好な階調補正結果が得られるとは限らず、画像に対する階調補正効果が未だ十分とはいえない問題があった。
【0006】
なお、画像において霞が生じている部分とは、局所領域内における画素間の明るさレベルの差が小さいために、画像内で霞んだような状態が生じている部分ある。霞が生じている部分の例としては、例えば、風景を撮影した画像の遠景部分のように、光の乱反射に起因して白っぽく霞んだように見える部分や、水面やガラス表面を通して撮影した画像のように、光の反射に起因して白っぽく霞んだように見える部分である。
【0007】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮像画像等の画像における階調補正に際し、画像内に霞が生じている部分にも良好な階調補正結果を得ることを目的とする。
【課題を解決するための手段】
【0008】
本発明の第1の観点に係る画像処理装置にあっては、処理対象画像から高周波成分を抽出する抽出手段と、処理対象画像における霞んだ部分の霞の程度を示す霞度合情報を取得する取得手段と、前記抽出手段により抽出された高周波成分を前記取得手段により取得された霞度合情報により示される霞の程度に応じて調整する調整手段と、前記調整手段による調整後の高周波成分を処理対象画像に加算する加算手段とを備えたことを特徴とする。
【0009】
本発明の第1の観点に係る画像処理プログラムにあっては、コンピュータに、処理対象画像から高周波成分を抽出する手順と、処理対象画像における霞んだ部分の霞の程度を示す霞度合情報を取得する手順と、前記抽出手段により抽出された高周波成分を前記取得手段により取得された霞度合情報により示される霞の程度に応じて調整する手順と、前記調整手段による調整後の高周波成分を処理対象画像に加算する手順とを実行させることを特徴とする。
【発明の効果】
【0010】
本発明によれば、撮像画像等の画像における階調補正に際し、画像内に霞が生じている部分にも良好な階調補正結果を得ることが可能となる。
【図面の簡単な説明】
【0011】
【図1】本発明を適用したデジタルスチルカメラのハードウェア構成の一例を示すブロック図である。
【図2】本発明を適用したデジタルスチルカメラの機能ブロック図である。
【図3】画像処理部の要部を示す機能ブロック図である。
【図4】ガンマ変換部によるガンマ変換時のRGBデータの入出力特性を示す図である。
【図5】補正特性生成部が取得する第1の補正特性線と第2の補正特性線を示す図である。
【図6】霞度合に対するコントラスト強調レベルの変化を示す特性図である。
【図7】画像処理部における処理内容を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下、本発明を適用した実施形態について、図を参照しながら説明する。図1は、本発明の実施形態として例示するデジタルスチルカメラ(以下、単にデジタルカメラという。)1のハードウェア構成の概略を示すブロック図である。
【0013】
図1に示したようにデジタルカメラ1は、被写体を撮像するためのCCD(Charge Coupled Device)2を有している。CCD2は、図示しない光学系によって被写体の光学像が結像される感光面に、ベイヤー配列等の特定の色配列を有する色フィルタが設けられた構造を備えている。CCD2は、水平/垂直ドライバ3から供給される水平、及び垂直転送用の駆動信号により駆動されることによって、被写体の光学像を電気信号に変換し、変換後の電気信号を撮像信号としてCDS(Correlated Double Sampling)回路、及びA/Dコンバータ(Analog-to-Digital converter)から構成されたCDS/AD回路4へ供給する。
【0014】
水平/垂直ドライバ3は、TG(Timing Generator)5が生成したタイミング信号に基づき動作することによって前述した水平、及び垂直転送用の駆動信号を生成しCCD2を駆動する。また、TG5が生成したタイミング信号はCDS/AD回路4にも供給される。CDS/AD回路4は、TG5から供給されたタイミング信号に基づき動作することによって、CCD2が出力した撮像信号に含まれるノイズを除去するとともに、ノイズ除去後の撮像信号をデジタル信号に変換し、変換後のデジタル信号をDSP(Digital Signal Processor)6へ供給する。
【0015】
DSP6は、CDS/AD回路4から供給されたデジタル信号、すなわち単一の色情報のみを有する各画素のデータからなる画像データを処理するためのバッファ用のメモリ6aを備えた構成を有しており、以下に述べる一連の信号処理を行う。すなわちDSP6は、CDS/AD回路4から供給された画像データに対して、各画素の不足する色情報を各画素の周辺画素から補間することによって、画素毎にR(Red)、G(Green)、B(Blue)の色成分情報を有する画像データ、つまりRGBデータを生成するデモザイク(de-mosaic)処理を行う。
【0016】
また、DSP6は、デモザイク処理によって生成したRGBデータを画素毎の輝度成分(Y)、及び2つの色差成分(Cb、Cr)により表現される画像データ、つまりYUVデータに変換するYUV変換処理を行い、変換後のYUVデータに対してホワイトバランス調整処理や各種のフィルタ処理等を施す。さらに、DSP6は、上記の一連の信号処理に際し後述する階調補正処理を行う。
【0017】
そして、DSP6は、一連の信号処理を行った後のYUVデータを順次SDRAM(Synchronous dynamic random-access memory)7に供給する。SDRAM7は、DSP6から供給されたYUVデータを一時的に記憶する。
【0018】
さらに、DSP6は、デジタルカメラ1に動作モードとして記録モードが設定されている状態においては、SDRAM7に1フレーム分のYUVデータ(画像データ)が蓄積される毎に、SDRAM7に蓄積されている画像データを読み出し、読み出した画像データをLCD(Liquid Crystal Display)8に供給する。
【0019】
LCD8は、図示しない液晶表示器と、液晶表示器を駆動する駆動回路等から構成され、DSP6から供給された画像データに基づく画像を液晶表示器の画面上にライブビュー画像として表示する。
【0020】
一方、前述したTG5及びDSP6はバス13を介してCPU(Central Processing Unit)9と接続されており、TG5及びDSP6の動作はCPU9によって制御されている。
【0021】
CPU9は、記憶内容が書き換え可能なEEPROM(Electric Erasable Programmable Read Only Memory)であるフラッシュメモリ10に記憶されているプログラムに従い動作することによってデジタルカメラ1の全体の動作を制御する。
【0022】
また、CPU9は、デジタルカメラ1に動作モードとして記録モードが設定されている状態での撮影時には、SDRAM7に一時記憶された画像データをJPEG(Joint Photographic Expert Group)方式等の所定の圧縮方式により圧縮し、圧縮後の画像データを画像ファイルとして外部メモリ11に記録する。外部メモリ11は、図示しないカードインターフェイスを介してバス13に接続されたカメラ本体に着脱自在なメモリカードである。
【0023】
また、CPU9は、デジタルカメラ1に動作モードとして再生モードが設定されているときには、必要に応じて外部メモリ11から所定の画像ファイル(圧縮状態の画像データ)を読み出すとともに、読み出したデータを伸張してSDRAM7に展開する。さらにCPU9は、SDRAM7に展開したデータ(YUVデータ)を、DSP6を介してLCD8に供給することによりLCD8に記録画像を表示させる。
【0024】
バス13にはキー入力部12が接続されている。キー入力部12は、ユーザがデジタルカメラ1の操作に必要とする各種の操作キー、例えば電源キーやシャッターキー、記録モードや再生モードを設定するためのモード設定キー等によって構成されている。そして、CPU9は、キー入力部12における各々の操作キーの操作状態を逐次検出し、検出した操作状態に基づき判断したユーザの要求に従い種々の処理をプログラムに従い実行する。
【0025】
図2は、デジタルカメラ1の構成を機能別に示した機能ブロック図である。図2に示したようにデジタルカメラ1は、主として撮像部51と、画像処理部52、制御部53、作業用メモリ54、プログラムメモリ55、画像記録部56、表示部57、操作部58によって構成されている。
【0026】
各々の機能ブロックは、後述するように図1に示した1又は複数のハードウェアによって実現される。すなわち撮像部51はCCD2と、水平/垂直ドライバ3、CDS/AD回路4、TG5によって実現され、被写体を撮像して撮像画像を取得する機能部分である。また、画像処理部52はDSP6によって実現され、撮像画像に前述した種々の画像処理を施す機能部分である。制御部53はCPU9によって実現される。また、作業用メモリ54はSDRAM7によって実現され、プログラムメモリ55はフラッシュメモリ10によって実現される。また、画像記録部56は外部メモリ11によって実現され、表示部57はLCD8によって実現され、操作部58は前述したキー入力部12によって実現される。
【0027】
図3は、画像処理部52の要部であって、画像処理部52が前述したデモザイク処理、及びYUV変換処理に際して、撮像画像(以下、処理対象画像という。)の階調を補正するための機能部分の詳細を示した機能ブロック図である。図3に示したように画像処理部52は、画像バッファ101と、ガンマ変換部102、明るさ分布域取得部103、補正特性生成部104、階調補正部105、YUV変換部106、εフィルタ107、コントラスト成分生成部108、コントラスト成分調整部109、輝度補正部110とから構成されている。
【0028】
以下、図3に示した画像処理部52の各部について説明する。画像バッファ101は前述したメモリ6a(図1参照)によって実現される機能部分であり、処理対象画像の画像データであって、デモザイク処理により生成されたRGBデータ(RGB)を記憶する。なお、RGBデータにおけるR,G,Bの各色成分の画素値は「0〜255」の範囲である。
【0029】
ガンマ変換部102は、処理対象画像に対して全ての処理対象画像に共通する基本の階調補正処理を施す。すなわちガンマ変換部102は、画像バッファ101に記憶されたRGBデータを読み出し、デジタルカメラ1の諸特性に対応した所定のガンマ特性に従ったガンマ変換を行う。具体的に説明すると、ガンマ変換部102は、処理対象画像の表示に際し、処理対象画像に自然な階調を確保することを目的として予め決められている、例えば図4に示した入出力特性に従ってRGBデータの画素値を調整する。そして、ガンマ変換部102は、ガンマ変換後のRGBデータを階調補正部105に供給する。
【0030】
一方、明るさ分布域取得部103は、画像バッファ101に記憶されたRGBデータを読み出し、全ての画素毎に、Rの画素値、Gの画素値、Bの画素値のうちの最小値(RGBmin)と、Rの画素値、Gの画素値、Bの画素値のうちの最大値(RGBmax)とを確認する。次に、明るさ分布域取得部103は、全画素における最小値(RGBmin)なかで最小の色成分値を処理対象画像における最小の明るさレベル(black_lev)として取得する。かつ明るさ分布域取得部103は、全画素における最大値(RGBmax)なかで最大の成分値を処理対象画像における最大の明るさレベル(white_lev)として取得する。そして、明るさ分布域取得部103は、上記の最小の明るさレベル(black_lev)と最大の明るさレベル(white_lev)とを、処理対象画像における明るさの分布域を示す分布域情報として補正特性生成部104とコントラスト成分調整部109と輝度補正部110とに供給する。
【0031】
補正特性生成部104は生成手段を実現する機能部分である。補正特性生成部104は、明るさ分布域取得部103から供給された最小の明るさレベル(black_lev)と最大の明るさレベル(white_lev)とに基づき、処理対象画像に前述した基本の階調補正処理とは異なる処理対象画像に固有の階調補正処理を施すために使用する補正特性線を取得する。そして、補正特性生成部104は、取得した補正特性線を階調補正部105に供給する。
【0032】
補正特性生成部104における補正特性線の生成手順を以下に述べる。すなわち補正特性生成部104は、図5(a)に示した第1の補正特性線を取得した後、取得した第1の補正特性線を調整することにより、図5(b)に示した第2の補正特性線を処理対象画像に固有の補正特性線として取得する。なお、図5において横軸は階調補正処理前の画素の明るさレベル(入力レベル)、縦軸は階調補正処理後の画素の明るさレベル(出力レベル)である。
【0033】
図5(a)に示した第1の補正特性線は右上がりの直線であり、処理対象画像の各画素の明るさを各画素の明るさレベルに比例して増大させるものである。同時に、第1の補正特性線は、入力レベルにおける最小の明るさレベル(black_lev)を出力レベルにおける最小レベル「0」に変換し、かつ入力レベルにおける最大の明るさレベル(white_lev)を出力レベルにおける最大レベル「255」に変換するものである。つまり処理対象画像における明るさの分布幅を最大幅に拡げる補正特性線である。
【0034】
また、図5(b)に示した第2の補正特性線は右上がりのS字曲線であり、補正特性生成部104は、以下の手順で図示した第2の補正特性線を取得する。まず補正特性生成部104は、処理対象画像における最小の明るさレベル(black_lev)と最大の明るさレベル(white_lev)との平均の明るさレベル(ave_lev)を計算する。さらに、補正特性生成部104は、中間の明るさレベル(ave_lev)と最大の明るさレベル(white_lev)との中間に位置する明側の明るさレベル(white side_lev)を計算する。
【0035】
次に、補正特性生成部104は、図5(a)の第1の補正特性線上において最小の明るさレベル(black_lev)に対応する点Aと、上記の明側の明るさレベル(white side_lev)に対応する点Bと、上記の最大の明るさレベル(white_lev)に対応する点Cの3点を特定する。
【0036】
しかる後、補正特性生成部104は、上記の3点A,B,Cを通り、かつ点Bを変曲点とするS字曲線を演算し、演算したS字曲線を第2の補正特性線として取得する。なお、補正特性生成部104は、S字曲線を上記の各点A,B,Cを周知のスプライン曲線補間法によって結ぶことにより演算する。
【0037】
つまり補正特性生成部104は、処理対象画像に固有の補正特性線として、前述した明側の明るさレベル(white side_lev)を中心とした明側の特定区間Xの傾きが、特定区間Xよりも暗い区間、及び特定区間Xよりも明るい区間の傾きよりも大きい第2の補正特性線を取得する。
【0038】
階調補正部105は補正手段を実現する機能部分である。階調補正部105は、ガンマ変換部102から供給されたガンマ変換後のRGBデータにおける全画素の色成分毎の画素値を、補正特性生成部104によって生成された第2の補正特性線に基づき補正する。すなわち階調補正部105は、ガンマ変換によって基本の階調補正処理が施された後の画像に対して、処理対象画像の内容が反映された処理対象画像に固有の階調補正処理をさらに施す。そして、階調補正部105は上記階調補正後のRGBデータをYUV変換部106へ供給する。
【0039】
YUV変換部106は、前述した2段階の階調補正処理が施された後のRGBデータをYUVデータに変換するYUV変換処理を行い、変換後のYUVデータを輝度補正部110に供給する。また、YUV変換部106は、YUV変換処理により生成した各画素の輝度成分(Y(x,y))をεフィルタ107とコントラスト成分生成部108とに供給する。
【0040】
εフィルタ107は、主として急峻な変化を伴う画像データに重畳された小幅振幅雑音(高周波成分)の除去、つまり画像の平滑化を目的として使用される画像フィルタであって、より詳しくは元画像におけるエッジの保持性能を有する平滑化フィルタである。εフィルタ107は、YUV変換部106から供給された輝度成分(Y(x,y))から、後述するフィルタ処理によって小幅振幅雑音(高周波成分)を除去することによって処理対象画像の大局輝度成分(低周波成分)を生成し、生成した大局輝度成分(y_low(x,y))をコントラスト成分生成部108に供給する。
【0041】
ここでεフィルタ107におけるフィルタ処理について説明する。εフィルタ107は、各画素を注目画素として、縦横3画素分からなる画素領域(各注目画素を中心とする合計9個の画素領域)に着目する。つまり、注目画素とその周辺に位置する8個の周辺画素に着目する。そして、注目画素の画素値と各周辺画素の画素値との各差分値が、所定の閾値T(T=20)以下になるように、各周辺画素の画素値を調整する。さらに、注目画素の元の画素値と調整された各周辺画素の画素値とにそれぞれ所定の係数として1/9を乗じることにより得られる各画素値の総和を算出し、算出した画素値を注目画素の新たな画素値とする。なお、上記のフィルタ処理に際して、着目する画素領域の範囲、閾値Tの値、各画素の画素値に乗じる係数は適宜変更することができる。
【0042】
コントラスト成分生成部108は、YUV変換部106、及びεフィルタ107と協働して抽出手段を実現する機能部分である。コントラスト成分生成部108は、YUV変換部106から供給された輝度成分(Y(x,y))と、εフィルタ107から供給された大局輝度成分(Y_low(x,y))とに基づき、下記の式(1)に従って、処理対象画像の高周波成分である霞除去用のコントラスト成分(Y_high(x,y))を取得する。
【0043】
Y_high(x,y)=Y(x,y)−Y_low(x,y) ・・・式(1)
但し、
Y(x,y) :入力Y成分(0〜255)
Y_low(x,y) :大局輝度成分(0〜255)
Y_high(x,y):霞除去用のコントラスト調整成分(−255〜255)
【0044】
すなわちコントラスト成分生成部108は、元の輝度成分(Y(x,y))から大局輝度成分(Y_low(x,y))を減算することによって得られる高周波成分を霞除去用のコントラスト成分(Y_high(x,y))として取得する。そして、コントラスト成分生成部108は、取得したコントラスト成分(Y_hight(x,y))をコントラスト成分調整部109に供給する。
【0045】
コントラスト成分調整部109は、明るさ分布域取得部103と協働して取得手段を実現する機能部分であり、同時に調整手段を実現するための機能部分である。コントラスト成分調整部109は、コントラスト成分生成部108から供給された霞除去用のコントラスト成分(Y_high(x,y))に対して後述する調整を行い、調整後のコントラスト成分(Y_high'(x,y))を輝度補正部110に供給する。
【0046】
コントラスト成分調整部109におけるコントラスト成分(Y_high(x,y))の具体的な調整内容を以下に説明する。コントラスト成分調整部109は、コントラスト成分(Y_high(x,y))の調整に際し、まず、処理対象画像に霞んだ部分が存在すると仮定した上での霞んだ部分における霞の程度(濃さ)の指標となる霞度合(K)を取得する。
【0047】
すなわちコントラスト成分調整部109は、明るさ分布域取得部103から供給された最小の明るさレベル(black_lev)と最大の明るさレベル(white_lev)とに基づいて、霞度合(K)を下記式(2)に従い算出する。
【0048】
K=(black_lev+(255−white_lev)) ・・・式(2)
但し、
K :霞度合(0〜255)
black_lev:処理対象画像の最小明るさレベル(0〜255)
white_lev:処理対象画像の最大明るさレベル(0〜255)
【0049】
つまり、コントラスト成分調整部109は、処理対象画像に霞んだ部分が存在すると仮定した上での霞んだ部分における霞の程度(濃さ)の指標となる霞度合(K)として、処理対象画像における明るさの分布幅と、表現可能な明るさの最大幅(0〜255)との差を示す値を取得する。
【0050】
次に、コントラスト成分調整部109は、式(2)で算出した霞度合(K)をパラメータとする予め決められた所定の演算関数を用いてコントラスト強調レベル(adj_lev)を取得する。上記の演算関数は、霞度合(K)に比例してコントラスト強調レベル(adj_lev)が増大する特性を有する関数である。すなわち上記演算関数は、霞度合(K)に比例してコントラスト強調レベル(adj_lev)が、例えば図6に示したように「384〜255」の範囲で変化する関数である。なお、上記演算関数は、霞度合(K)に比例してコントラスト強調レベル(adj_lev)が増大する特性(右上がりの特性)を有するものであればよい。
【0051】
次に、コントラスト成分調整部109は、霞除去用のコントラスト成分(Y_high(x,y))を、コントラスト強調レベル(adj_lev)と、YUV変換部106から供給された各画素の輝度成分(Y(x,y))とを用いて調整する。係る調整に際してコントラスト成分調整部109は、霞除去用のコントラスト成分(Y_high(x,y))が「0」以上であるか否かを確認する。
【0052】
そして、コントラスト成分調整部109は、値が「0」以上である画素のコントラスト成分(Y_high(x,y))をハイライト強調用のコントラスト成分と判断し、かつ値が「0」未満である画素のコントラスト成分(Y_high(x,y))をシャドウ強調用のコントラスト成分と判断する。
【0053】
しかる後、コントラスト成分調整部109は、霞除去用のコントラスト成分(Y_high(x,y))をハイライト強調用のコントラスト成分とシャドウ強調用のコントラスト成分とに分けて個別に調整することによってコントラスト成分(Y_high(x,y))の帯域幅を調整する。
【0054】
具体的に説明すると、コントラスト成分調整部109は、ハイライト強調用のコントラスト成分については下記式(3−1)に従い調整し、また、シャドウ強調用のコントラスト成分については下記式(3−2)に従い調整する。
【0055】
【数1】

但し、
Y(x,y) :入力Y成分(0〜255)
adj_lev :コントラスト強調レベル(384〜512)
Y_high(x,y) :霞除去用のコントラスト成分(−255〜255)
Y_high'(x,y):調整後のコントラスト成分
【0056】
すなわちコントラスト成分調整部109は、霞除去用のコントラスト成分(Y_high(x,y))に、「(adj_lev−256)/256」からなる第1の調整係数と、「(256− Y(x,y))/256」からなるハイライト強調用の第2の調整係数、又は「Y(x,y)/256」からなるシャドウ強調用の第2の調整係数を乗じた値を調整後のコントラスト成分(Y_high'(x,y))として取得する。
【0057】
ここで、第1の調整係数は、コントラスト強調レベル(adj_lev)、つまり処理対象画像における霞度合(K)に比例し、「0.5」〜「1」の範囲で変化する。したがって、調整後のコントラスト成分(Y'_high(x,y))は、霞度合(K)が小さいときほど小さく、逆に霞度合(K)が大きいときほど大きくなる。
【0058】
一方、霞除去用のコントラスト成分(Y_high(x,y))がハイライト強調用(値が「0」以上)であるときの第2の調整係数(以下、ハイライト強調用の第2の調整係数という。)は、元の輝度成分(Y(x,y))が大きいほど小さくなり、「1」〜「1/256」の範囲で変化する。したがって、霞除去用のコントラスト成分(Y_high(x,y))がハイライト強調用(値が「0」以上)のとき、調整後のコントラスト成分(Y'_high(x,y))は、例えば第1の調整係数が最大(「1」)であれば、「0」〜「256」のいずれかの値、つまり「0」又は正の値となる。また、調整後のコントラスト成分(Y'_high(x,y))も元の輝度成分(Y(x,y))が大きいほど小さくなる。
【0059】
また、霞除去用のコントラスト成分(Y_high(x,y))がシャドウ強調用(値が「0」未満)であるときの第2の調整係数(以下、シャドウ強調用の第2の調整係数という。)は、元の輝度成分(Y(x,y))が小さいほど小さくなり、「255/256」〜「0」の範囲で変化する。したがって、霞除去用のコントラスト成分(Y_high(x,y))がシャドウ強調用(値が「0」未満)のとき、調整後のコントラスト成分(Y'_high(x,y))は、例えば第1の調整係数が最大(「1」)であれば、「0」〜「−255」のいずれかの値、つまり「0」以下の値となる。また、調整後のコントラスト成分(Y'_high(x,y))も元の輝度成分(Y(x,y))が小さいほど小さくなる。
【0060】
輝度補正部110は加算手段を実現する機能部分であり、同時に調整手段の一部を実現するための機能部分である。輝度補正部110は、YUV変換部106から供給されたYUVデータの輝度成分(Y(x,y))に、コントラスト成分調整部109から供給された調整後のコントラスト成分(Y_high'(x,y))を、下記の式(4)に従って加算する輝度補正処理を施す。
【0061】
【数2】

但し、
Y(x,y) :入力Y成分(0〜255)
Y_high'(x,y):調整後のコントラスト成分
black_lev :処理対象画像の最小の明るさレベル(0〜255)
white_lev :処理対象画像の最大の明るさレベル(0〜255)
Y'(x,y) :輝度補正処理後のY成分(0〜255)
【0062】
すなわち、輝度補正部110は、元の輝度成分(Y(x,y))に対して調整後のコントラスト成分(Y_high'(x,y))を加算する際の加算量を、処理対象画像における明るさの分布域に応じて調整する。つまり輝度補正部110は、明るさの分布域が狭いときほど、元の輝度成分(Y(x,y))に対する調整後のコントラスト成分(Y_high'(x,y))の加算量を減少させる。また、輝度補正部110は輝度補正処理後のYUVデータを画像バッファ101に記憶する。これにより、画像処理部52における処理対象画像に対する階調補正処理が完了する。
【0063】
そして、画像処理部52は、以上説明したように図3の各部の動作による一連の補正処理によって処理対象画像の階調を補正した後、補正処理後のYUVデータを画像バッファ101にいったん記憶する。その後、画像処理部52は、画像バッファ101に記憶した補正処理後のYUVデータを読み出し、ホワイトバランス調整処理や各種のフィルタ処理等の他のデジタル信号処理を行う。
【0064】
図7は、画像処理部52の図3の各部による前述した一連の補正処理の内容をフローチャートとして示したものである。なお、各ステップの処理の詳細については既に述べた通りであるため説明を省略する。
【0065】
図7に示したように、画像処理部52における補正処理においては、ガンマ変換部102が、画像バッファ101に記憶された処理対象画像のRGBデータにガンマ変換処理を施す(ステップS1)。次に、明るさ分布取得部103が、処理対象画像の最大及び最小の明るさレベルを取得する(ステップS2)。さらに、補正特性部104が、最大及び最小の明るさレベルに基づいて処理対象画像に固有の補正特性線(第2の補正特性線)を生成する(ステップS3)。しかる後、階調補正部105が、処理対象画像に固有の補正特性線に従ってガンマ変換後のRGBデータに階調補正処理を施す(ステップS4)。
【0066】
引き続き、YUV変換部106が、階調補正処理後のRGBデータをYUVデータに変換する(ステップS5)。次に、εフィルタ107が、YUVデータから大局輝度成分を抽出する(ステップS6)。また、コントラスト成分生成部108が、YUVデータの輝度成分と低周波成分とに基づいて霞除去用のコントラスト成分を取得する(ステップS7)。引き続き、コントラスト成分調整部109が、処理対象画像の霞度合を取得し、取得した霞度合に比例したコントラスト強調レベルを取得する(ステップS8)。さらに、コントラスト成分調整部109が、コントラスト強調レベルとYUVデータの輝度成分とを用いて霞除去用のコントラスト成分を調整する(ステップS9)。
【0067】
そして、輝度補正部110が、調整後のコントラスト成分をYUVデータの輝度成分に加算する輝度補正処理を行い(ステップS10)、輝度補正処理後のYUVデータを画像バッファ101に記憶する(ステップS11)。
【0068】
以上説明した画像処理部52における階調補正処理においては、階調補正部105が、ガンマ変換によって基本の階調補正処理が施された後の画像(RGBデータ)に対して、図5(b)の第2の補正特性線を用いて処理対象画像に固有の階調補正処理を施すため、処理後の画像に良好な階調を確保することができる。
【0069】
しかも、第2の補正特性線は、処理対象画像における明るさの分布幅を単に拡げるものではなく、前述したように明側の明るさレベル(white side_lev)を中心とした明側の特定区間Xの傾きが、特定区間Xよりも暗い区間、及び特定区間Xよりも明るい区間の傾きよりも大きいものである。そして、上記の特定区間Xは、撮影された画像において一般に霞、つまり局所領域内における画素間の明るさレベルの差が小さいために、画像内で霞んだような状態が生じやすい(目立ちやすい)領域である。
【0070】
このため、階調補正部105によるRGBデータに対する階調補正処理においては、霞が生じやすい明るさ領域のコントラストを他の明るさ領域よりも高くすることによって、処理対象画像に霞が生じている部分が存在する場合には、霞が生じている部分の霞んだ状態を効果的に軽減したり、霞を除去したりすることができる。
【0071】
つまり例えばRGBデータに対する階調補正処理を、処理対象画像の輝度のヒストグラムに基づき生成した補正曲線を用いて行った場合には、霞が生じやすい(目立ちやすい)特定の明るさ領域の画像内に占める面積が異なると、それに伴い特定の明るさ領域に対する階調補正結果に違いが生じる。これに対して、階調補正部105においては、補正特性生成部104により生成される第2の補正特性線を用いるため、特定の明るさ領域に対して常に霞の除去に適した階調補正処理を行うことができる。
【0072】
したがって、画像処理部52による上述した階調補正処理においては、処理対象画像における霞が生じている部分についても良好な階調補正結果を得ることができる。
【0073】
さらに、画像処理部52による上述した階調補正処理においては、輝度補正部110が、YUV変換後のYUVデータに処理対象画像の高周波成分を調整した後のコントラスト成分(Y'_high(x,y))を足し込む輝度補正処理を行うことにより、以下述べる理由によって、階調補正処理後の画像にさらに良好な階調を確保することができる。
【0074】
すなわちYUVデータに足し込むコントラスト成分(Y'_high(x,y))の元となる調整前のコントラスト成分(Y_high(x,y))は、処理対象画像の輝度成分(Y(x,y))から大局輝度成分(Y_low(x,y))を減算することにより得られる処理対象画像の高周波成分である。
【0075】
ここで、処理対象画像内における局所的な明暗の境界付近の明領域側では、高周波成分(Y(x,y)−Y_low(x,y))が正の値となるため、調整前のコントラスト成分(Y_high(x,y))がハイライト強調用のコントラスト成分となり、調整後のコントラスト成分(Y'_high(x,y))も正の値(但し「0」を含む)となる。よって、輝度補正部110による輝度補正処理に伴い、処理対象画像内における局所的な明暗の境界付近の明領域側では、輝度補正部110による輝度補正処理に伴い画素の輝度が元の輝度よりも大きくなる。つまり明領域側の画素が輝度補正処理前よりも明るくなる。
【0076】
一方、処理対象画像内における局所的な明暗の境界付近の暗領域側では、高周波成分(Y(x,y)−Y_low(x,y))が負の値となるため、調整前のコントラスト成分(Y_high(x,y))はシャドウ強調用のコントラスト成分となり、調整後のコントラスト成分(Y'_high(x,y))は負の値となる。よって、輝度補正部110による輝度補正処理に伴い、処理対象画像内における局所的な明暗の境界付近の暗領域側では、輝度補正部110による輝度補正処理に伴い画素の輝度が元輝度よりも小さくなる。つまり暗領域側の画素が輝度補正処理前よりも暗くなる。
【0077】
したがって、輝度補正部110よる輝度補正処理後の画像においては、画像内における局所的な明暗の境界付近での輝度差(コントラスト)が、輝度補正処理前における明暗の輝度差(コントラスト)よりも大きくなる(コントラストが強調される)。この結果、輝度補正部110おける輝度補正処理によって処理対象画像の細部の階調を良好な状態に改善することができる。同時に、輝度補正部110による輝度補正処理では、画像内における局所的な明暗の境界付近での輝度差(コントラスト)を輝度補正処理前よりも大きくすることにより、階調補正部105における階調補正処理段階では改善できなかったような、処理対象画像における霞が生じている部分の霞んだ状態を改善することができる。
【0078】
しかも、既説したようにコントラスト成分調整部109における調整後のコントラスト成分(Y'_high(x,y))は、霞度合(K)が小さいときほど小さく、逆に霞度合(K)が大きいときほど大きくなる。つまり、輝度補正部110おける輝度補正処理では、霞度合(K)に応じて調整前のコントラスト成分(Y_high(x,y))の帯域幅を調整することによって、画像内における局所的な明暗の境界付近でのコントラストの強調度合を処理対象画像における霞の程度(濃さ)に応じて制御する。
【0079】
したがって、輝度補正部110による輝度補正処理では、画像内における局所的な明暗の境界付近でのコントラストを過不足なく強調することができるため、階調補正部105での階調補正処理後にも残存している霞が生じている部分の霞んだ状態を確実に改善することができる。
【0080】
また、輝度補正部110による輝度補正処理では、例えば画像内における局所的な明暗の境界付近でのコントラストの強調度合を霞の程度(濃さ)に応じて制御しない場合に比べると、以下の効果が得られる。すなわち、コントラストの強調度合を霞の程度(濃さ)に応じて制御しない場合、階調補正部105におけるRGBデータに対する階調補正処理後にも残存している霞が生じている部分の霞んだ状態を確実に改善するためには、コントラストの強調度合、つまり輝度(Y)成分へのコントラスト成分の足し込み量)を多めに設定しておく必要がある。そのため、コントラストの強調度合を制御しない場合には、霞の程度が低い(霞が薄い)にもかかわらず不必要に過大なコントラスト強調を行うことにより、良好な階調補正結果が得られない場合がある。しかし、輝度補正部110による輝度補正処理では、コントラストの強調度合を処理対象画像から判断した霞の程度(濃さ)に応じて制御するため、霞の程度(濃さ)に関係なく、処理対象画像の細部の階調を常に良好な状態に改善することができる。
【0081】
さらに、既説したようにコントラスト成分調整部109における調整後のコントラスト成分(Y'_high(x,y))は、元の輝度成分(Y(x,y))の大きさに応じて増減する。すなわち、調整後のコントラスト成分(Y'_high(x,y))は、霞除去用のコントラスト成分(Y_high(x,y))がハイライト強調用であるときは、元の輝度成分(Y(x,y))が大きいほど小さくなり、また霞除去用のコントラスト成分(Y_high(x,y))がシャドウ強調用であるときは、元の輝度成分(Y(x,y))が小さいほど小さくなる。
【0082】
したがって輝度補正部110おける輝度補正処理では、処理対象画像内における局所的な明暗の境界付近でのコントラストの強調度合を、元の輝度成分(Y(x,y))の大きさに応じて制御することにより、輝度補正処理に伴い処理対象画像における局所的な明暗の境界付近での明領域側に「白飛び」が生じたり、輝度補正処理に伴い処理対象画像における局所的な明暗の境界付近での暗領域側に「黒つぶれ」が生じたりすることを未然に防止することかできる。
【0083】
また、輝度補正部110おける輝度補正処理では、処理対象画像における明るさの分布域が狭いときほど、元の輝度成分(Y(x,y))に対する調整後のコントラスト成分(Y_high'(x,y))の加算量を減少させる。したがって、画像処理部52による階調補正処理においては、前述した効果に加えて以下の効果を得ることができる。
【0084】
すなわち階調補正部105におけるRGBデータに対する階調補正処理では、処理対象画像における明るさの分布域が狭い場合には、処理対象画像において霞が生じていた部分に対する霞除去効果が大きい。そのため、処理対象画像における明るさの分布域が狭い場合には、元の輝度成分(Y(x,y))に調整後のコントラスト成分(Y_high'(x,y))を過度に加算すると、輝度補正処理後の画像に良好な階調補正結果が得られなくなる。したがって、処理対象画像における明るさの分布域が狭いときほど、元の輝度成分(Y(x,y))に対する調整後のコントラスト成分(Y_high'(x,y))の加算量を減少させることにより、輝度補正処理後の画像に常に良好な階調補正結果を確保することができる。
【0085】
ここで、以上説明した本実施形態においては、画像処理部52が前述した階調補正部105を備え、輝度補正部110におけるYUVデータに対する輝度補正処理に先立ち、階調補正部105においてRGBデータに対する階調補正処理を行う構成とした。しかし、画像処理部52は、階調補正部105を廃止して輝度補正部110におけるYUVデータに対する輝度補正処理のみを行う構成としてもよい。画像処理部52は、輝度補正部110におけるYUVデータに対する輝度補正処理のみを行う構成であっても、階調補正処理後の画像に、処理対象画像における霞が生じている部分についても良好な階調補正結果を確保することができる。
【0086】
また、画像処理部52の構成は本発明の範囲内であれば適宜変更することができる。したがって、例えば画像処理部52は、前述したYUVデータに対する輝度補正処理と同様の処理を、YUVデータではなくRGBデータを対象として行う構成としてもよい。また、前述したRGBデータに対する輝度補正処理を、RGBデータではなくYUVデータを対象として行う構成としてもよい。
【0087】
また、εフィルタ107は、輝度成分(Y(x,y))から大局輝度成分(y_low(x,y))を抽出できるものであればよく、他の平滑化フィルタに変更することができる。但し、処理対象画像から良好な状態の高周波成分が取得するためには、εフィルタ107に代わる平滑化フィルタは、画像内で輝度差が大きい部分に生じやすい大局輝度成分(y_low(x,y))のオーバーシュートやアンダーシュートが少ないエッジの保持性能を有するものを採用することが好ましい。エッジの保持性能を有する平滑化フィルタとしては、例えばバイラテラルフィルタ等の他の荷重平均値フィルタを使用することができる。
【0088】
また、本実施形態のようにεフィルタ107を使用する場合、画像処理部52は、例えばεフィルタ107の前段に輝度成分(Y(x,y))を処理対象画像の画像サイズよりも小さな画像サイズの輝度成分(Y(x,y))に変換する縮小処理部を設け、かつεフィルタ107の後段に大局輝度成分(y_low(x,y))を処理対象画像の画像サイズの大局輝度成分(y_low(x,y))に変換する拡大部処理部を設けた構成としてもよい。係る構成を画像処理部52に採用すれば、εフィルタ103のフィルタ処理に要する時間を短縮することができる。
【0089】
また、画像処理部52は、例えばコントラスト成分生成部108の後段に、霞除去用のコントラスト成分(Y_high(x,y))からノイズ成分を除去するためのローパスフィルタを設け、ノイズ成分を除去した後の霞除去用のコントラスト成分をコントラスト成分調整部109へ供給する構成としてもよい。
【0090】
また、本発明の実施に際しては、例えばコントラスト成分調整部109は、霞除去用のコントラスト成分(Y_high(x,y))に、「(adj_lev−256)/256」からなる第1の調整係数のみを乗じた値を調整後のコントラスト成分(Y_high'(x,y))として取得する構成としてもよい。
【0091】
さらに、画像処理部52は、輝度補正部110における、元の輝度成分(Y(x,y))に対して調整後のコントラスト成分(Y_high'(x,y))を加算する際の加算量を処理対象画像の明るさの分布域に応じて調整する機能をコントラスト成分調整部109において実現する構成とすることもできる。
【0092】
すなわち、コントラスト成分調整部109は、霞除去用のコントラスト成分(Y_high(x,y))に前述した第1の調整係数と第2の調整係数、または第1の調整係数のみに加え、「(white_lev−black_lev)/256」からなる第3の調整係数を乗じる計算によって、調整後のコントラスト成分(Y_high'(x,y))を取得する構成とすることができる。コントラスト成分調整部109に係る構成を採用する場合、輝度補正部110は、単に調整後のコントラスト成分(Y_high'(x,y))を元の輝度成分(Y(x,y))に加算するだけの構成となる。
【0093】
また、ここでは本発明の実施形態として本発明の画像処理装置を含むデジタルカメラ1について説明したが、本発明は、デジタルカメラ1以外にも、例えば動画像の記録が可能な構成を備えた他の撮像装置にも適用することができる。本発明が適用可能な撮像装置には、前述したCCD以外にも、例えばMOS(Complementary Meta1 0xide Semiconductor)型の固体撮像素子を備えたデジタルカメラや、静止画像以外にも動画像を撮影することができるデジタルカメラ、さらには動画像の撮影を主たる機能とするデジタルビデオカメラ等の種々の撮像装置が含まれる。
【0094】
また、本発明は、撮像装置に限らず任意の記憶媒体に画像データとして記憶されている画像を処理対象として画像処理を行う構成を有するものであれば任意の画像処理装置にも適用することができる。任意の画像処理装置には、例えば画像データに基づく画像を印刷するプリンタも含まれる。
【0095】
そして、本発明を任意の画像処理装置に適用する場合、図2に示した画像処理部52はASIC(Application Specified Integrated Circuit)、又は任意のコンピュータのCPUと、メモリ、メモリにロードされたプログラム等によっても実現することができる。
【符号の説明】
【0096】
1 デジタルカメラ
2 CCD
6 DSP
9 CPU
10 フラッシュメモリ
11 外部メモリ
51 撮像部
52 画像処理部
53 制御部
101 画像バッファ
102 ガンマ変換部
103 明るさ分布域取得部
104 補正特性生成部
105 階調補正部
106 YUV変換部
107 εフィルタ
108 コントラスト成分生成部
109 コントラスト成分調整部
110 輝度補正部

【特許請求の範囲】
【請求項1】
処理対象画像から高周波成分を抽出する抽出手段と、
処理対象画像における霞んだ部分の霞の程度を示す霞度合情報を取得する取得手段と、
前記抽出手段により抽出された高周波成分を前記取得手段により取得された霞度合情報により示される霞の程度に応じて調整する調整手段と、
前記調整手段による調整後の高周波成分を処理対象画像に加算する加算手段と
を備えたことを特徴とする画像処理装置。
【請求項2】
前記取得手段は、処理対象画像における各画素の明るさのうちで最小及び最大の明るさをそれぞれ示す明るさ情報に基づいて前記霞度合情報を取得する
ことを特徴とする請求項1記載の画像処理装置。
【請求項3】
前記明るさ情報によりそれぞれ示される前記最小及び最大の明るさは、処理対象画像の全画素の各々における複数の色成分毎の画素値のうちで最大及び最小の画素値である
ことを特徴とする請求項2記載の画像処理装置。
【請求項4】
前記取得手段は、前記霞度合情報として、前記明るさ情報により示される処理対象画像における明るさの分布幅と表現可能な明るさの最大幅との差を取得する
ことを特徴とする請求項2又は3記載の画像処理装置。
【請求項5】
前記調整手段による高周波成分の調整は、高周波成分の帯域幅の調整であることを特徴とする請求項1乃至4いずれか記載の画像処理装置。
【請求項6】
前記調整手段は、前記抽出手段により抽出された高周波成分を、前記取得手段により取得された霞度合情報により示される霞の程度に加え、処理対象画像の対応する画素の明るさに応じて画素毎に調整する
ことを特徴とする請求項1乃至5いずれか記載の画像処理装置。
【請求項7】
処理対象画像における各画素の明るさのうちで最小及び最大の明るさをそれぞれ示す明るさ情報に基づき、処理対象画像に応じた補正曲線を生成する生成手段と、
前記生成手段により生成された補正曲線に従い処理対象画像の階調を補正する補正手段とを備え、
前記抽出手段は、前記補正手段による階調補正後の処理対象画像から高周波成分を抽出し、
前記取得手段は、前記補正手段による階調補正前の処理対象画像における霞んだ部分の霞の程度を示す霞度合情報を取得し、
前記加算手段は、前記調整手段による調整後の高周波成分を、前記補正手段による階調補正後の処理対象画像に加算する
ことを特徴とする請求項1乃至6いずれか記載の画像処理装置。
【請求項8】
前記調整手段は、前記抽出手段により抽出された高周波成分を、前記取得手段により取得された霞度合情報により示される霞の程度に加え、前記補正手段による階調補正前の処理対象画像における各画素の明るさの分布幅に応じて調整する
ことを特徴とする請求項7記載の画像処理装置。
【請求項9】
コンピュータに、
処理対象画像から高周波成分を抽出する手順と、
処理対象画像における霞んだ部分の霞の程度を示す霞度合情報を取得する手順と、
前記抽出手段により抽出された高周波成分を前記取得手段により取得された霞度合情報により示される霞の程度に応じて調整する手順と、
前記調整手段による調整後の高周波成分を処理対象画像に加算する手順と
を実行させることを特徴とする画像処理プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate


【公開番号】特開2011−3048(P2011−3048A)
【公開日】平成23年1月6日(2011.1.6)
【国際特許分類】
【出願番号】特願2009−146035(P2009−146035)
【出願日】平成21年6月19日(2009.6.19)
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】