エッジ強調画像処理装置
【課題】偽輪郭とノイズの影響を減少することが出来、一回の処理で画像を生成できるエッジ強調画像処理装置を提供する。
【解決手段】RGB信号をY変換し、ガンマ補正したエッジ強調パス輝度信号と、RGB信号を色補正し、ガンマ補正し、YC変換した本線パス輝度信号とを所定の割合で合成し、それぞれ、エッジ検出信号と本線の輝度信号を加算して、画像の輝度信号とする。エッジ強調パス輝度信号と本線パス輝度信号とを合成する割合は、エッジ検出信号と本線輝度信号のそれぞれを生成する過程において、別個に設定可能とする。
【解決手段】RGB信号をY変換し、ガンマ補正したエッジ強調パス輝度信号と、RGB信号を色補正し、ガンマ補正し、YC変換した本線パス輝度信号とを所定の割合で合成し、それぞれ、エッジ検出信号と本線の輝度信号を加算して、画像の輝度信号とする。エッジ強調パス輝度信号と本線パス輝度信号とを合成する割合は、エッジ検出信号と本線輝度信号のそれぞれを生成する過程において、別個に設定可能とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エッジ強調画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタルコンパクトカメラが普及しているが、デジタルコンパクトカメラの画質をよりよくするための開発が盛んに行われている。デジタルコンパクトカメラの画像の見えを良くするために、撮影した画像にエッジを強調する処理が行われている。
【０００３】
図１は、従来技術を説明する図である。
入力されたRGB信号は、色補正部１０において、色補正される。次に、色補正されたRGB信号は、ガンマ補正部１１において、ガンマ補正される。ガンマ補正されたRGB信号は、YC変換部１２において、RGB信号からYCbCr信号に変換される。これをYC変換と呼ぶ。YCbCr信号のうち、Y信号が輝度信号であり、Cb信号とCr信号は、色差信号である。YC変換後の輝度信号Yから、エッジ検出部１３においてエッジ検出を行い、エッジ調整部１４において検出したエッジ成分Eを調整した後、ノイズ除去部１５においてノイズ除去された輝度信号Ynにエッジ成分Eadを加算することで、エッジ強調を行う。
【０００４】
図１の従来技術では、色補正処理後のRGB信号（Rc、Gc、Bc）からYC変換して生成した輝度Yを使用して、エッジ検出している。色補正処理では、カメラの色空間を出力装置の色空間に合わせるため、一般的に下記のような行列演算を施す。
【数１】
【０００５】
近年のデジタルコンパクトカメラでは、撮像素子の高画素化のため、色分離が悪くなっている。色分離が悪いというのは、撮像素子の分光感度特性において、R、G、Bの分光感度悪く、赤色に、緑色や青色が混色してしまったり、正確な色で表現できないことを示す。例えば、Bayer配列の撮像素子で、赤色の被写体を撮影した場合に、本来赤色の画素のみが反応すべきであるのに、赤色の周辺画素の緑や青の画素も一緒に反応してしまう現象を言う。そのため、色分離が悪い撮像素子を画像処理する場合、カメラの色空間を出力装置の色空間に合わせるため、色補正を強く掛けている。
【０００６】
色補正を"強く掛ける"とは、色補正行列である3×3行列の対角成分が大きいときを示す。また、色補正を"弱く掛ける"とは、3×3行列が単位行列に近いときを示す。色補正が最弱の場合は、色補正行列が単位行列の場合である。色補正行列は、通常、行列要素を行方向に足して1となるように設定する。
CC00 + CC01 + CC02 = 1.0
CC10 + CC11 + CC12 = 1.0
CC20 + CC21 + CC22 = 1.0
【０００７】
下記の色補正行列は、色補正が強い場合の一例である。色補正行列の対角成分が大きい場合、色補正が強いということになる。
【数２】
【０００８】
図１の従来技術の場合には、色補正を強く掛けた後のRGBデータの値が、予め用意したRGBデータのメモリ領域に収まるように、RGBデータの値を上限下限共にクリップ処理する必要がある。（例えば、RGBデータのメモリ領域として、符号無し12bit整数を用意していた場合、RGBデータの値が4095より大きい場合には4095として、0より小さい場合には0とする必要がある。）このクリップ処理によって、実画像に存在しない偽輪郭が発生することがある。すなわち、クリップ処理によって、本来画像が滑らかに変化しているところにおいても画像が急に変化したようになってしまい、エッジが存在するかのような状態になってしまうことがある。
【０００９】
図１の従来技術では、この一種のノイズである偽輪郭をエッジ検出してしまうことが問題となる。
また、色補正処理で、RGBデータに色補正を強く掛ける際、ノイズが増大し、ガンマ補正時に輝度成分へノイズが混入するため、YC変換後の輝度Yのノイズが増大してしまうことが問題となる。輝度Yのノイズが増大した結果、エッジ検出時にノイズの影響を受けやすくなり、エッジ強調でエッジが凸凹になってしまうことが問題となる。
【００１０】
図２は、別の従来技術を説明する図である。
図２の従来技術では、図１の従来技術におけるノイズの影響を減らすための構成を備えている。
【００１１】
図１の従来技術では、１回の処理で１枚の画像を生成しているが、図２の従来技術では、２回の処理で１枚の画像を生成している。
１回目の処理で、輝度Yを生成し、２回目の処理で、色差CbCrを生成する。すなわち、RGB信号を色補正部２０で色補正し、ガンマ補正部２１でガンマ補正し、YC変換部２２でYC変換する際、１回目の処理では、輝度信号Yのみを生成する。この輝度信号Yから、エッジ検出部２３においてエッジ検出し、エッジ調整部２４において、エッジ調整した信号Eadを、ノイズ除去部２５においてノイズ除去された輝度信号Ynと加算して、輝度信号Yeeを生成する。１回目の処理では、色補正の行列演算は、単位行列を使用する。すると、輝度信号Yを生成する際、色補正されない。その結果、図１の従来技術のようなノイズによる悪影響は生じない。
【００１２】
２回目の処理では、色差CbCrを生成するため、色補正処理で色補正を強めに掛ける。すなわち、同じRGB信号を色補正部２０で色補正し、ガンマ補正部２１でガンマ補正し、YC変換部２２で、色差信号CbCrを生成する。そして、１回目の処理で得られた輝度信号Yeeと２回目の処理で得られた色差信号CbCrとを合わせて、１枚の画像を得る。
【００１３】
図２の従来技術では、図１の従来技術のような輝度信号へのノイズによる悪影響はないが、１枚の画像を生成するのに、２回の処理が必要となり、高速化が求められる近年のデジタルカメラ等の画像処理において、処理時間が２倍になることが問題となる。
【００１４】
また、１回目の処理において、色補正で単位行列を使用しているため、輝度データが規格外となり、図１の従来技術に対して色再現性が劣る。ここで、輝度データが規格外となるとは、輝度データを生成する過程で、カメラの色空間を出力装置の色空間に合わせるための色補正処理を実施していないため、輝度データが出力装置の色空間の規格に適合していないという意味である。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の課題は、偽輪郭とノイズの影響を減少することが出来、一回の処理で画像を生成できるエッジ強調画像処理装置を提供することである。
【課題を解決するための手段】
【００１６】
本発明の第１の側面におけるエッジ強調画像処理装置は、ＲＧＢ信号で入力される画像データにエッジ強調処理を行って出力するエッジ強調画像処理装置において、該入力されたＲＧＢ信号に色補正を行う色補正部と、該色補正されたＲＧＢ信号を輝度及び色差信号に変換するＹＣ変換部と、該入力されたＲＧＢ信号から輝度信号を生成するＹ変換部と、該ＹＣ変換部で得られた輝度信号と、該Ｙ変換部で得られた輝度信号とを合成するエッジ用合成部と、該エッジ用合成部の合成結果を用いてエッジ強調信号を得るエッジ強調部と、該ＹＣ変換部で得られた輝度信号と、該エッジ強調部で得られたエッジ強調信号とを加算する加算器とを備える。
【００１７】
本発明の第２の側面におけるエッジ強調画像処理装置は、上記構成に加え、前記ＹＣ変換部で得られた輝度信号と、前記Ｙ変換部で得られた輝度信号とを、前記エッジ用合成部の合成とは独立して、合成する本線用合成部を更に備え、前記加算器は、前記エッジ強調信号と、該本線用合成部で得られた輝度信号とを加算する。
【００１８】
本発明の第３の側面におけるエッジ強調画像処理装置は、ＲＧＢ信号で入力される画像データにエッジ強調処理を行って出力するエッジ強調画像処理装置において、該入力されたＲＧＢ信号に色補正を行う色補正部と、該色補正されたＲＧＢ信号を輝度及び色差信号に変換するＹＣ変換部と、該入力されたＲＧＢ信号から輝度信号を生成するＹ変換部と、該ＹＣ変換部で得られた輝度信号と、該Ｙ変換部で得られた輝度信号とを合成する本線用合成部と、該Ｙ変換部で得られた輝度信号を用いてエッジ強調信号を得るエッジ強調部と、該本線用合成部で得られた輝度信号と、該エッジ強調部で得られたエッジ強調信号とを加算する加算器とを備える。
【発明の効果】
【００１９】
本発明によれば、偽輪郭とノイズの影響を減少することが出来、一回の処理で画像を生成できるエッジ強調画像処理装置を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】第1の従来技術を説明する図である。
【図２】第２の従来技術を説明する図である。
【図３】本発明の実施形態を説明する図である。
【図４】ガンマ補正テーブルの内容をグラフとして示した図である。
【図５】ラプラシアンフィルタの例を示す図である。
【図６】本実施形態の変形例を説明する図（その１）である。
【図７】本実施形態の変形例を説明する図（その２）である。
【図８】本実施形態の変形例を説明する図（その３）である。
【図９】本実施形態の変形例を説明する図（その４）である。
【図１０】本実施形態の変形例を説明する図（その５）である。
【図１１】デジタルカメラのブロック構成図である。
【図１２】カメラの開発から使用に至る過程での本実施形態の合成比率の設定について説明する図（その１）である。
【図１３】カメラの開発から使用に至る過程での本実施形態の合成比率の設定について説明する図（その２）である。
【発明を実施するための形態】
【００２１】
図３は、本発明の実施形態を説明する図である。
図３において、本線パス側では、入力されたRGB信号は、色補正部３０において、色補正され、Rc、Gc、Bc信号が生成される。これらの信号は、ガンマ補正部３１において、ガンマ補正され、Rg、Gg、Bg信号が生成される。更に、これらの信号は、YC変換部３２において、輝度信号Yaと、色差信号Cb、Crに変換される。一方、エッジ強調パス側では、入力されたRGB信号からは、Y変換部３５において、輝度信号Ylが生成される。輝度信号Ylは、ガンマ補正部３６において、ガンマ補正され、輝度信号Ybが生成される。そして、本線パス側では、Ya信号は、本線用合成部３８において、エッジ強調パス側のYb信号と合成され、Y信号が生成される。Y信号には、ノイズ除去部３３において、ノイズ除去処理が施され、Yn信号が生成される。一方、エッジ強調パス側では、Yb信号はエッジ用合成部３７において、Ya信号と合成され、Ye信号が生成される。Ye信号からは、エッジ検出部３９において、エッジ検出信号Eが生成される。エッジ検出信号Eからは、エッジ調整部４０において、ノイズ成分の除去等の調整が行われ、信号Eadが生成される。信号Eadは、加算器３４において、信号Ynと加算され、輝度信号Yeeが生成される。信号Yee、Cb、Crが最終的な信号として出力される。
【００２２】
図４は、ガンマ補正テーブルの内容をグラフとして示した図である。
以下に、本実施形態の処理をより詳細に説明する。
まず最初に、R,G,B信号に対して色補正を行う。
【数３】
【００２３】
次に、Rc,Gc,Bcに対してガンマ補正を行う。ガンマ補正テーブルは、図４に示したグラフを表現する数値をテーブルとして持っている。ガンマ補正テーブルGTbl[x]のxが入力データを示す。図４に示すように、ガンマ補正前の入力データは、例えば、１２ビットであり、補正後の出力データは、例えば、８ビットである。
Rg = GTbl[Rc]
Gg = GTbl[Gc]
Bg = GTbl[Bc]
【００２４】
次に、Rg,Gg,Bgに対してYC変換を行う。
【数４】
以上が、本線パス側の処理である。
【００２５】
エッジ強調パスでは、ガンマ補正前のR,G,Bから、輝度信号Ylを生成する。変換は、以下の式に基づいて行う。
Yl = kr*R + kg*G + kb*B
例えば、kr=0.3 kg=0.59 kb=0.11
係数kr、kg、kbの値は、YC変換行列の輝度信号への変換に用いる行列要素の値などである。
【００２６】
次に、輝度信号Ylに対してガンマ補正を行う。
Yb = GTbl[Yl]
そして、ガンマ補正後の輝度YbとYC変換後のYaを合成して、エッジ検出用の輝度信号Yeと、本線の輝度信号Yを求める。
Ye = YEBLEND * Yb + (1-YEBLEND)Ya
Y = YYBLEND * Ya + (1-YYBLEND)Yb
ここで、YBBLEND,YABLENDは、カメラの設計者が 0〜1.0 に設定する。合成しない場合は、YEBLEND=1.0、YYBLEND=1.0 と設定する。輝度Yeに対して、エッジ検出して、エッジ成分Eを求める。
E = ラプラシアンフィルタ[輝度Ye]
ラプラシアンフィルタは、例えば、図５に示されたのようなものである。なお、図５において、c=4*(a+b)であり、a、bの設定の例としては、a=1.0、b=1.0などである。図５のラプラシアンフィルタは3×3だが、もっと大きいものでもよい。
【００２７】
そして、エッジ成分Eを調整して、エッジ成分Eadを作る。エッジ調整の例としては、例えば、以下の通りである。
+Cor ＜ E の場合Ead1 = E-Cor
-Cor ≦ E ≦ +Cor の場合Ead1 = 0
E ＜ -Cor の場合Ead1 = E+Cor
ここでCorは、コアリング閾値パラメータである。コアリング閾値パラメータは、エッジ成分Eのうち、強度の振幅がこれより小さいエッジは、ノイズであるとして、ノイズを除去するためのものである。したがって、エッジは、強度の振幅がコアリング閾値パラメータより大きいものとなる。Corは、輝度Ye,あるいは輝度Yに応じて変更できるようにしてもよい。
【００２８】
次に、以下の式に示される処理を行う。
Ead = Ead1 * Scl
ここでSclは、スケールパラメータである。この、スケールパラメータを乗算するという処理は、エッジ成分の強調度合いを調整するものであり、スケールパラメータが大きければ、強調度合いが強く、小さければ、強調度合いが弱くなる。Sclは、輝度Yg,あるいは輝度Yに応じて変更できるようにしてもよい。
【００２９】
最後に、YC変換後の輝度Yに、ノイズリダクション処理を施した輝度Ynに、調整されたエッジ成分Eadを足しこみ、エッジ強調された輝度Yeeを求める。
Yee = Yn + Ead
Yee が、符号無し8bit整数である場合、範囲[0〜255]に収まるようにクリップする
【００３０】
本実施形態は、本線用合成と、エッジ用合成の機能を持つ。合成に使用する輝度信号Ya,Ybの特徴は、以下の通りである。
輝度信号Ya・・(a)色補正を強くかけた場合、ノイズが増大する。
(b)色再現性は良い。（色補正しているため）
輝度信号Yb・・(a)色補正前のRGBからY変換して生成されるため、ノイズは増大しない。
(b)色再現性が悪い。（色補正していないため）
【００３１】
輝度信号Ya,Ybの特徴から、本線用合成、エッジ用合成それぞれについて以下のようなことが言える。
[本線用合成]
・輝度信号Yaの比率を大きくすると、色再現性は良いが、ノイズが混入しやすくなる。
・輝度信号Yaの比率を小さくすると、ノイズは軽減されるが、色再現性は悪くなる。
[エッジ用合成]
・輝度信号Yaの比率を大きくすると、色補正された輝度Yを直接調整できるので、エッジ強調の調整がしやすいが、ノイズが混入しやすくなる。
・輝度信号Yaの比率を小さくすると、ノイズは軽減されるが、エッジ強調の調整がしづらくなる。
【００３２】
本実施形態で注目するノイズの増幅要因は、２つに分かれる。
・ノイズ増幅要因Ａ
撮像素子の色分離が悪く、色補正を強くかけることで発生するノイズ。
・ノイズ増幅要因Ｂ
暗い被写体を撮影する場合や、シャッター時間を短くしたい場合、被写体深度を大きくするため絞りを絞った場合などに、アナログフロントエンドのISO感度(AGCゲイン)を上げることで発生するノイズ。
【００３３】
本実施形態では、以下に説明するように、上記２つのノイズ増幅要因への対策が可能となる。
本実施形態は、ノイズがほとんど発生しない場合や、ノイズ増幅要因Ａが存在する場合、ノイズ増幅要因Ｂが存在する場合に応じて、本線用合成と、エッジ用合成で、輝度信号YaとYbの比率を調整する機能を持つ。以降、調整方法を説明する。
・撮像素子の色分離が良い場合（ノイズがほとんど増幅されない場合）
撮像素子の色分離が良く、色補正を弱くかける場合には、輝度信号Yaにノイズが混入しにくいため、本線用合成、エッジ用合成共に輝度信号Yaの比率を大きくすると良い。これによれば、最後の輝度信号Yを直接調整できるので、エッジ強調の調整がしやすい。
【００３４】
また、本線用合成、エッジ用合成共に輝度信号Yaの比率を100％とすると、図１の従来技術と同等の処理が可能となる。
色補正を弱くかける場合には、図１の従来技術のような偽輪郭やノイズからの悪影響はほとんど発生しない。
【００３５】
・撮像素子の色分離が悪い場合（ノイズ増幅要因Ａ）
撮像素子の色分離が悪く、色補正を強くかける場合、ノイズが混入しやすくなる。そこで、ノイズを軽減するための調整方法を示す。
エッジ強調用パスでは、小さな凹凸成分を大きくして加算するため、ノイズの影響は、本線パスよりも、エッジ強調用パスのほうが大きい。そこで、出力画像のノイズの大きさを見て、ノイズが大きい場合には、まずエッジ用合成の輝度信号Yaの比率を小さくしてノイズの影響を小さくする。
【００３６】
これでもノイズの軽減効果が小さい場合には、色再現性を犠牲にして、本線用合成の輝度信号Yaの比率を小さくしてノイズの影響を小さくする。
ノイズ増幅要因Ａに対しては、カメラの光学系に従い調整する。つまりカメラの開発段階で調整する。
【００３７】
・ISO感度を上げていく場合（ノイズ増幅要因Ｂ）
ISO感度を上げると、ノイズが増加する。ノイズが増加するに従い、撮像素子の色分離が悪い場合と同様の調整を施す。ノイズ増幅要因Ｂに対しては、カメラ撮影時のISO感度(AGCゲイン)に応じて動的に変化するため、それに応じて調整する。
但し、上記の調整において、撮影者またはカメラ設計者が、色再現性よりもノイズ軽減を優先する場合には、本線用合成、エッジ用合成共に、輝度信号Yaの比率を小さくして、ノイズの影響を小さくしても良い。
【００３８】
以上の実施形態により、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から生成した輝度信号Ybを合成することができる。輝度信号Ybには偽輪郭が発生しないため、偽輪郭をエッジ強調してしまうことはない。また、本線用合成において、輝度信号Yを生成する際、輝度信号Ybを合成する手法を有することで、Yaの比率の分だけ本線の輝度のノイズを低減することができる。更に、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から算出した輝度信号Ybを合成することができるため、ノイズが増大する前の輝度からエッジ検出が可能となる。更に、１回の処理で、画像を生成できる。
【００３９】
また、本線用合成において、輝度信号Yを生成する際、色補正された輝度信号Yaを100％とすれば、規格通りの色再現性を保てる。撮像素子の色分離が良い場合、エッジ用合成において、本線の輝度信号Yaの比率を大きくすることで、色補正を経由した輝度データからもエッジ検出可能となる。更に、１つのハードウエアで、撮像素子の色分離の良し悪しに応じて、パラメータを調整して、そのセンサーに最適な画像処理が実現できるようになる。ノイズの多い少ないに応じて、パラメータを調節して、そのときに最適な画像処理を実現できるようになる。カメラ設計者、または、カメラ使用者の好みにより、ノイズ軽減と色再現性のどちらを重視するかに応じて、パラメータを調整して、好みに応じた画像処理を実現できるようになる。
【００４０】
図６〜図１０は、本実施形態の変形例を説明する図である。
図６は、第1の変形例を示す図である。図６においては、ガンマ補正がなく、輝度信号の合成は、エッジ強調パス側のみでおこなっている。ガンマ補正は、出力装置の色空間（sRGB等）に合わせるために行っているが、出力装置の色空間に合わせるのにガンマ補正を必要としないなら、ガンマ補正を行わなくても良い。RGB信号は、Y変換部３５で輝度信号Ylに変換される。また、RGB信号は、色補正部３０で色補正され、YC変換部３２でYCbCr信号に変換される。YC変換後の輝度信号Yaは、エッジ用合成部３７において、輝度信号Ylと合成され、エッジ検出、エッジ調整が加えられる。輝度信号Yaは、ノイズ除去された後、加算器３４で、エッジ検出信号Eadと加算される。
【００４１】
第1の変形例では、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から生成した輝度信号Ybを合成することができる。輝度信号Ybには偽輪郭が発生しないため、偽輪郭をエッジ強調してしまうことはない。また、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から算出した輝度信号Ybを合成することができるため、ノイズが増大する前の輝度からエッジ検出が可能となる。
また、撮像素子の色分離が良い場合、エッジ用合成において、本線の輝度信号Yaの比率を大きくすることで、色補正を経由した輝度データからもエッジ検出可能となる。
【００４２】
図７は、第２の変形例を示す図である。図７においては、ガンマ補正がなく、輝度信号の合成は、本線パス側のみでおこなっている。ガンマ補正は、12ビットの信号を8ビットの信号に変換する意味を持っているが、信号処理をすべて12ビットで行うことが出来るならば、ガンマ補正を行わなくても良い。RGB信号は、Y変換部３５で輝度信号Ylに変換される。また、RGB信号は、色補正部３０で色補正され、YC変換部３２でYCbCr信号に変換される。YC変換後の輝度信号Yaは、本線用合成部３８において、輝度信号Ylと合成され、ノイズ除去された後、加算器３４で、エッジ検出信号Eadと加算される。
【００４３】
第２の変形例では、本線用合成において、輝度信号Yを生成する際、輝度信号Ybを合成する手法を有することで、本線の輝度のノイズを低減することができる。
また、本線用合成において、輝度信号Yを生成する際、色補正された輝度信号Yaを100％とすれば、規格通りの色再現性を保てる。
【００４４】
図８は、第３の変形例を示す図である。図８においては、ガンマ補正がなく、輝度信号の合成は、エッジ強調パス側と本線パス側の両方でおこなっている。ガンマ補正は、12ビットの信号を8ビットの信号に変換する意味を持っているが、信号処理をすべて12ビットで行うことが出来るならば、ガンマ補正を行わなくても良い。RGB信号は、Y変換部３５で輝度信号Ylに変換される。また、RGB信号は、色補正部３０で色補正され、YC変換部３２でYCbCr信号に変換される。YC変換後の輝度信号Yaは、エッジ用合成部３７において、輝度信号Ylと合成され、エッジ検出、エッジ調整が加えられる。また、輝度信号Yaは、本線用合成部３８において、輝度信号Ylと合成され、ノイズ除去された後、加算器３４で、エッジ検出信号Eadと加算される。
【００４５】
第３の変形例では、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から生成した輝度信号Ylを合成することができる。輝度信号Ylには偽輪郭が発生しないため、偽輪郭をエッジ強調してしまうことはない。また、本線用合成において、輝度信号Yを生成する際、輝度信号Ylを合成する手法を有することで、本線の輝度のノイズを低減することができる。更に、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から算出した輝度信号Ylを合成することができるため、ノイズが増大する前の輝度からエッジ検出が可能となる。
【００４６】
また、本線用合成において、輝度信号Yを生成する際、色補正された輝度信号Yaを100％とすれば、規格通りの色再現性を保てる。撮像素子の色分離が良い場合、エッジ用合成において、本線の輝度信号Yaの比率を大きくすることで、色補正を経由した輝度データからもエッジ検出可能となる。
【００４７】
図９は、第４の変形例を示す図である。RGB信号は、Y変換部３５で輝度信号Ylに変換される。また、RGB信号は、色補正部３０で色補正され、ガンマ補正部３１において、ガンマ補正され後、YC変換部３２でYCbCr信号に変換される。YC変換後の輝度信号Yaは、エッジ用合成部３７において、ガンマ補正後の輝度信号Ybと合成され、エッジ検出、エッジ調整が加えられる。輝度信号Yaは、ノイズ除去された後、加算器３４で、エッジ検出信号Eadと加算される。
【００４８】
第４の変形例では、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から生成した輝度信号Ybを合成することができる。輝度信号Ybには偽輪郭が発生しないため、偽輪郭をエッジ強調してしまうことはない。また、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から算出した輝度信号Ybを合成することができるため、ノイズが増大する前の輝度からエッジ検出が可能となる。
また、撮像素子の色分離が良い場合、エッジ用合成において、本線の輝度信号Yaの比率を大きくすることで、色補正を経由した輝度データからもエッジ検出可能となる。
【００４９】
図１０は、第５の変形例を示す図である。RGB信号は、Y変換部３５で輝度信号Ylに変換される。また、RGB信号は、色補正部３０で色補正され、ガンマ補正部３１でガンマ補正された後、YC変換部３２でYCbCr信号に変換される。YC変換後の輝度信号Yaは、本線用合成部３８において、ガンマ補正された後の輝度信号Ybと合成され、ノイズ除去された後、加算器３４で、エッジ検出信号Eadと加算される。
【００５０】
第５の変形例では、本線用合成において、輝度信号Yを生成する際、輝度信号Ybを合成する手法を有することで、本線の輝度のノイズを低減することができる。
また、本線用合成において、輝度信号Yを生成する際、色補正された輝度信号Yaを100％とすれば、規格通りの色再現性を保てる。
【００５１】
図１１は、デジタルカメラのブロック構成図である。
被写体からの光は、レンズ５０によって集光され、撮像素子５１によって電気信号に変換される。撮像素子５１の出力は、増幅器５２によって増幅され、A/D変換部５４において、デジタル信号に変換された後、画像処理部５６に入力される。レンズ５０、撮像素子５１、増幅器５２は、それぞれ、制御部５３からの制御を受ける。被写体情報検出部５５は、A/D変換部５４の出力を得て、被写体の明るさ等の情報を取得し、制御部５３にパラメータとして与え、制御部５３に、レンズの絞りや、露光時間などの制御をさせる。
【００５２】
画像処理部５６では、A/D変換部５４からの出力をオフセット調整部５７が受けて、画像データのゼロ点の調整を行う。次に、ホワイトバランス処理部５８が、画像データのホワイトバランスを調整し、色補間処理部５９が、画素間の色データの補間処理を行う。色補正処理部６０では、色補正を行い、ガンマ補正部６１では、ガンマ補正を行い、YC変換部６２では、画像信号をYC信号に変換し、エッジ強調処理部６３がエッジ強調処理を行う。本発明の実施形態の構成は、この色補正処理部６０からエッジ強調処理部６３の間の構成である。そのほかに、画像処理部５６では、階調補正部６４、ノイズ抑制部６５、解像度変換部６６、圧縮部６７を備え、階調の補正、ノイズ抑制、解像度変換、画像データの圧縮などを行う。画像処理部５６は、パラメータ制御部70を介して、制御部５３の制御を受ける。画像処理部５６の出力は、メモリ制御部６９を介して、制御部５３によって制御されるメモリ部６８に格納され、その後、画像データ保存部７１に保存されるか、モニタ部７２によって、画面表示される。
【００５３】
図１２及び図１３は、カメラの開発から使用に至る過程での本実施形態の合成比率の設定について説明する図である。
まず、カメラの開発期間において、カメラ設計者は、カメラの光学系、撮像素子を選択する。光学系、及び、撮像素子を選択することにより、画像の生データの色分離特性、解像度が決まる。色分離特性が決まると、色補正行列が決まる。
【００５４】
カメラ設計者は、制御部５３用のソフトウェアを設計し、色補正行列を設定するプログラムを組み込む。次に、撮像素子の色分離が良い場合（ノイズがほとんど増幅されない場合）、あるいは、撮像素子の色分離が悪い場合（ノイズ増幅要因Ａ）に従って、エッジ用合成、本線用合成を調整する。そして、制御部５３用のソフトウェアを設計し、エッジ用合成、本線用合成を設定するプログラムを組み込む。このとき、ノイズ増幅要因Ｂが最小となるように、ISO感度も最小にしておく。
【００５５】
次に、自動明るさ調整（AE）を設計する。AEの設計に従い、ISO感度が決まる。また、ISO感度が決まると、ノイズ特性要因Bが決まる。ISO感度を上げていく場合（ノイズ増幅要因Ｂ）、ノイズが増加する。ノイズが増幅するに従って、エッジ用合成、本線用合成を調整する。
【００５６】
例えば、ISO感度を400から800にした場合、ノイズが増加するため、エッジ用合成、本線用合成共に、Yaの比率を小さくして、ノイズの影響を小さくする。ISO感度を上げるたびに、Yaの比率を小さくしていくことで、ノイズの影響を抑えることができる。
【００５７】
ただし、カメラ設計者が、ノイズ抑制、もくしは、色再現性のどちらを優先するかを検討して、エッジ用合成、本線用合成の比率を決めることが可能である。具体的には、カメラ設計者が、色再現性よりもノイズ軽減を優先する場合には本線用合成、エッジ用合成共に、Yaの比率を小さくして、ノイズの影響を小さくしても良い。逆に、色再現性を優先する場合には、本線用合成のYaの比率を大きくすることで、色再現性を保つことができる。
【００５８】
次に、カメラ設計者は、ユーザインタフェースを設計する。ISO感度がマニュアル制御の場合、カメラユーザーが設定したISO感度に応じたエッジ用合成、本線用合成の比率をカメラ設計者があらかじめ設定する。そして、制御部用のソフトウェアを設計し、プログラムを組み込む。撮影モードがマニュアル制御の場合、カメラユーザーが、ノイズ抑制の強弱や、カラーの鮮やかさを選択できるように、カメラ設計者があらかじめ設定し、制御部用のソフトウェアを設計し、プログラムを組み込む。
【００５９】
具体的には、カメラユーザーがノイズ抑制を"強"に設定した場合、エッジ用合成、本線用合成共に、Yaの比率が小さくなるように設定することでノイズを抑制する。逆に、ノイズ抑制を"弱"に設定した場合、エッジ用合成、本線用合成共に、Yaの比率が大きくなるように設定しておく。また、カメラユーザーがカラーを"鮮やかめ"に設定した場合、色補正を強くかけるため、ノイズが増加する。そのため、エッジ用合成、本線用合成共に、Yaの比率が小さくなるように設定しておくことでノイズを抑制することができる。
【００６０】
以上で、カメラの開発段階は終了する。次に、カメラの製品の使用期間においては、カメラユーザーがカメラを操作する。ISO感度が自動（Auto）制御の場合には、設計者の設定値をそのまま使用して、撮影する。ISO感度がマニュアル制御の場合には、カメラユーザーがISO感度を決める。また、撮影モードがAuto制御の場合には、設計者の設定値をそのまま使用して撮影するが、マニュアル制御の場合には、ノイズ抑制の強弱を決め、カラー設定を控えめ、あるいは、鮮やかめに設定するようにする。
【符号の説明】
【００６１】
１０、２０、３０ 色補正部
１１、２１、３１、３６ ガンマ補正部
１２、２２、３２ YC変換部
１３、２３、３９ エッジ検出部
１４、２４、４０ エッジ調整部
１５、２５、３３ ノイズ除去部
３４ 加算器
３５ Y変換部
３７ エッジ用合成部
３８ 本線用合成部
５０ レンズ
５１ 撮像素子
５２ 増幅器
５３ 制御部
５４ A/D変換部
５５ 被写体情報検出部
５６ 画像処理部
５７ オフセット調整部
５８ ホワイトバランス処理部
５９ 色補間処理部
６０ 色補正処理部
６１ ガンマ補正部
６２ YC変換部
６３ エッジ強調処理部
６４ 階調補正部
６５ ノイズ抑制部
６６ 解像度変換部
６７ 圧縮部
６８ メモリ部
６９ メモリ制御部
７０ パラメータ制御部
７１ 画像データ保存部
７２ モニタ部
【技術分野】
【０００１】
本発明は、エッジ強調画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタルコンパクトカメラが普及しているが、デジタルコンパクトカメラの画質をよりよくするための開発が盛んに行われている。デジタルコンパクトカメラの画像の見えを良くするために、撮影した画像にエッジを強調する処理が行われている。
【０００３】
図１は、従来技術を説明する図である。
入力されたRGB信号は、色補正部１０において、色補正される。次に、色補正されたRGB信号は、ガンマ補正部１１において、ガンマ補正される。ガンマ補正されたRGB信号は、YC変換部１２において、RGB信号からYCbCr信号に変換される。これをYC変換と呼ぶ。YCbCr信号のうち、Y信号が輝度信号であり、Cb信号とCr信号は、色差信号である。YC変換後の輝度信号Yから、エッジ検出部１３においてエッジ検出を行い、エッジ調整部１４において検出したエッジ成分Eを調整した後、ノイズ除去部１５においてノイズ除去された輝度信号Ynにエッジ成分Eadを加算することで、エッジ強調を行う。
【０００４】
図１の従来技術では、色補正処理後のRGB信号（Rc、Gc、Bc）からYC変換して生成した輝度Yを使用して、エッジ検出している。色補正処理では、カメラの色空間を出力装置の色空間に合わせるため、一般的に下記のような行列演算を施す。
【数１】
【０００５】
近年のデジタルコンパクトカメラでは、撮像素子の高画素化のため、色分離が悪くなっている。色分離が悪いというのは、撮像素子の分光感度特性において、R、G、Bの分光感度悪く、赤色に、緑色や青色が混色してしまったり、正確な色で表現できないことを示す。例えば、Bayer配列の撮像素子で、赤色の被写体を撮影した場合に、本来赤色の画素のみが反応すべきであるのに、赤色の周辺画素の緑や青の画素も一緒に反応してしまう現象を言う。そのため、色分離が悪い撮像素子を画像処理する場合、カメラの色空間を出力装置の色空間に合わせるため、色補正を強く掛けている。
【０００６】
色補正を"強く掛ける"とは、色補正行列である3×3行列の対角成分が大きいときを示す。また、色補正を"弱く掛ける"とは、3×3行列が単位行列に近いときを示す。色補正が最弱の場合は、色補正行列が単位行列の場合である。色補正行列は、通常、行列要素を行方向に足して1となるように設定する。
CC00 + CC01 + CC02 = 1.0
CC10 + CC11 + CC12 = 1.0
CC20 + CC21 + CC22 = 1.0
【０００７】
下記の色補正行列は、色補正が強い場合の一例である。色補正行列の対角成分が大きい場合、色補正が強いということになる。
【数２】
【０００８】
図１の従来技術の場合には、色補正を強く掛けた後のRGBデータの値が、予め用意したRGBデータのメモリ領域に収まるように、RGBデータの値を上限下限共にクリップ処理する必要がある。（例えば、RGBデータのメモリ領域として、符号無し12bit整数を用意していた場合、RGBデータの値が4095より大きい場合には4095として、0より小さい場合には0とする必要がある。）このクリップ処理によって、実画像に存在しない偽輪郭が発生することがある。すなわち、クリップ処理によって、本来画像が滑らかに変化しているところにおいても画像が急に変化したようになってしまい、エッジが存在するかのような状態になってしまうことがある。
【０００９】
図１の従来技術では、この一種のノイズである偽輪郭をエッジ検出してしまうことが問題となる。
また、色補正処理で、RGBデータに色補正を強く掛ける際、ノイズが増大し、ガンマ補正時に輝度成分へノイズが混入するため、YC変換後の輝度Yのノイズが増大してしまうことが問題となる。輝度Yのノイズが増大した結果、エッジ検出時にノイズの影響を受けやすくなり、エッジ強調でエッジが凸凹になってしまうことが問題となる。
【００１０】
図２は、別の従来技術を説明する図である。
図２の従来技術では、図１の従来技術におけるノイズの影響を減らすための構成を備えている。
【００１１】
図１の従来技術では、１回の処理で１枚の画像を生成しているが、図２の従来技術では、２回の処理で１枚の画像を生成している。
１回目の処理で、輝度Yを生成し、２回目の処理で、色差CbCrを生成する。すなわち、RGB信号を色補正部２０で色補正し、ガンマ補正部２１でガンマ補正し、YC変換部２２でYC変換する際、１回目の処理では、輝度信号Yのみを生成する。この輝度信号Yから、エッジ検出部２３においてエッジ検出し、エッジ調整部２４において、エッジ調整した信号Eadを、ノイズ除去部２５においてノイズ除去された輝度信号Ynと加算して、輝度信号Yeeを生成する。１回目の処理では、色補正の行列演算は、単位行列を使用する。すると、輝度信号Yを生成する際、色補正されない。その結果、図１の従来技術のようなノイズによる悪影響は生じない。
【００１２】
２回目の処理では、色差CbCrを生成するため、色補正処理で色補正を強めに掛ける。すなわち、同じRGB信号を色補正部２０で色補正し、ガンマ補正部２１でガンマ補正し、YC変換部２２で、色差信号CbCrを生成する。そして、１回目の処理で得られた輝度信号Yeeと２回目の処理で得られた色差信号CbCrとを合わせて、１枚の画像を得る。
【００１３】
図２の従来技術では、図１の従来技術のような輝度信号へのノイズによる悪影響はないが、１枚の画像を生成するのに、２回の処理が必要となり、高速化が求められる近年のデジタルカメラ等の画像処理において、処理時間が２倍になることが問題となる。
【００１４】
また、１回目の処理において、色補正で単位行列を使用しているため、輝度データが規格外となり、図１の従来技術に対して色再現性が劣る。ここで、輝度データが規格外となるとは、輝度データを生成する過程で、カメラの色空間を出力装置の色空間に合わせるための色補正処理を実施していないため、輝度データが出力装置の色空間の規格に適合していないという意味である。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
本発明の課題は、偽輪郭とノイズの影響を減少することが出来、一回の処理で画像を生成できるエッジ強調画像処理装置を提供することである。
【課題を解決するための手段】
【００１６】
本発明の第１の側面におけるエッジ強調画像処理装置は、ＲＧＢ信号で入力される画像データにエッジ強調処理を行って出力するエッジ強調画像処理装置において、該入力されたＲＧＢ信号に色補正を行う色補正部と、該色補正されたＲＧＢ信号を輝度及び色差信号に変換するＹＣ変換部と、該入力されたＲＧＢ信号から輝度信号を生成するＹ変換部と、該ＹＣ変換部で得られた輝度信号と、該Ｙ変換部で得られた輝度信号とを合成するエッジ用合成部と、該エッジ用合成部の合成結果を用いてエッジ強調信号を得るエッジ強調部と、該ＹＣ変換部で得られた輝度信号と、該エッジ強調部で得られたエッジ強調信号とを加算する加算器とを備える。
【００１７】
本発明の第２の側面におけるエッジ強調画像処理装置は、上記構成に加え、前記ＹＣ変換部で得られた輝度信号と、前記Ｙ変換部で得られた輝度信号とを、前記エッジ用合成部の合成とは独立して、合成する本線用合成部を更に備え、前記加算器は、前記エッジ強調信号と、該本線用合成部で得られた輝度信号とを加算する。
【００１８】
本発明の第３の側面におけるエッジ強調画像処理装置は、ＲＧＢ信号で入力される画像データにエッジ強調処理を行って出力するエッジ強調画像処理装置において、該入力されたＲＧＢ信号に色補正を行う色補正部と、該色補正されたＲＧＢ信号を輝度及び色差信号に変換するＹＣ変換部と、該入力されたＲＧＢ信号から輝度信号を生成するＹ変換部と、該ＹＣ変換部で得られた輝度信号と、該Ｙ変換部で得られた輝度信号とを合成する本線用合成部と、該Ｙ変換部で得られた輝度信号を用いてエッジ強調信号を得るエッジ強調部と、該本線用合成部で得られた輝度信号と、該エッジ強調部で得られたエッジ強調信号とを加算する加算器とを備える。
【発明の効果】
【００１９】
本発明によれば、偽輪郭とノイズの影響を減少することが出来、一回の処理で画像を生成できるエッジ強調画像処理装置を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】第1の従来技術を説明する図である。
【図２】第２の従来技術を説明する図である。
【図３】本発明の実施形態を説明する図である。
【図４】ガンマ補正テーブルの内容をグラフとして示した図である。
【図５】ラプラシアンフィルタの例を示す図である。
【図６】本実施形態の変形例を説明する図（その１）である。
【図７】本実施形態の変形例を説明する図（その２）である。
【図８】本実施形態の変形例を説明する図（その３）である。
【図９】本実施形態の変形例を説明する図（その４）である。
【図１０】本実施形態の変形例を説明する図（その５）である。
【図１１】デジタルカメラのブロック構成図である。
【図１２】カメラの開発から使用に至る過程での本実施形態の合成比率の設定について説明する図（その１）である。
【図１３】カメラの開発から使用に至る過程での本実施形態の合成比率の設定について説明する図（その２）である。
【発明を実施するための形態】
【００２１】
図３は、本発明の実施形態を説明する図である。
図３において、本線パス側では、入力されたRGB信号は、色補正部３０において、色補正され、Rc、Gc、Bc信号が生成される。これらの信号は、ガンマ補正部３１において、ガンマ補正され、Rg、Gg、Bg信号が生成される。更に、これらの信号は、YC変換部３２において、輝度信号Yaと、色差信号Cb、Crに変換される。一方、エッジ強調パス側では、入力されたRGB信号からは、Y変換部３５において、輝度信号Ylが生成される。輝度信号Ylは、ガンマ補正部３６において、ガンマ補正され、輝度信号Ybが生成される。そして、本線パス側では、Ya信号は、本線用合成部３８において、エッジ強調パス側のYb信号と合成され、Y信号が生成される。Y信号には、ノイズ除去部３３において、ノイズ除去処理が施され、Yn信号が生成される。一方、エッジ強調パス側では、Yb信号はエッジ用合成部３７において、Ya信号と合成され、Ye信号が生成される。Ye信号からは、エッジ検出部３９において、エッジ検出信号Eが生成される。エッジ検出信号Eからは、エッジ調整部４０において、ノイズ成分の除去等の調整が行われ、信号Eadが生成される。信号Eadは、加算器３４において、信号Ynと加算され、輝度信号Yeeが生成される。信号Yee、Cb、Crが最終的な信号として出力される。
【００２２】
図４は、ガンマ補正テーブルの内容をグラフとして示した図である。
以下に、本実施形態の処理をより詳細に説明する。
まず最初に、R,G,B信号に対して色補正を行う。
【数３】
【００２３】
次に、Rc,Gc,Bcに対してガンマ補正を行う。ガンマ補正テーブルは、図４に示したグラフを表現する数値をテーブルとして持っている。ガンマ補正テーブルGTbl[x]のxが入力データを示す。図４に示すように、ガンマ補正前の入力データは、例えば、１２ビットであり、補正後の出力データは、例えば、８ビットである。
Rg = GTbl[Rc]
Gg = GTbl[Gc]
Bg = GTbl[Bc]
【００２４】
次に、Rg,Gg,Bgに対してYC変換を行う。
【数４】
以上が、本線パス側の処理である。
【００２５】
エッジ強調パスでは、ガンマ補正前のR,G,Bから、輝度信号Ylを生成する。変換は、以下の式に基づいて行う。
Yl = kr*R + kg*G + kb*B
例えば、kr=0.3 kg=0.59 kb=0.11
係数kr、kg、kbの値は、YC変換行列の輝度信号への変換に用いる行列要素の値などである。
【００２６】
次に、輝度信号Ylに対してガンマ補正を行う。
Yb = GTbl[Yl]
そして、ガンマ補正後の輝度YbとYC変換後のYaを合成して、エッジ検出用の輝度信号Yeと、本線の輝度信号Yを求める。
Ye = YEBLEND * Yb + (1-YEBLEND)Ya
Y = YYBLEND * Ya + (1-YYBLEND)Yb
ここで、YBBLEND,YABLENDは、カメラの設計者が 0〜1.0 に設定する。合成しない場合は、YEBLEND=1.0、YYBLEND=1.0 と設定する。輝度Yeに対して、エッジ検出して、エッジ成分Eを求める。
E = ラプラシアンフィルタ[輝度Ye]
ラプラシアンフィルタは、例えば、図５に示されたのようなものである。なお、図５において、c=4*(a+b)であり、a、bの設定の例としては、a=1.0、b=1.0などである。図５のラプラシアンフィルタは3×3だが、もっと大きいものでもよい。
【００２７】
そして、エッジ成分Eを調整して、エッジ成分Eadを作る。エッジ調整の例としては、例えば、以下の通りである。
+Cor ＜ E の場合Ead1 = E-Cor
-Cor ≦ E ≦ +Cor の場合Ead1 = 0
E ＜ -Cor の場合Ead1 = E+Cor
ここでCorは、コアリング閾値パラメータである。コアリング閾値パラメータは、エッジ成分Eのうち、強度の振幅がこれより小さいエッジは、ノイズであるとして、ノイズを除去するためのものである。したがって、エッジは、強度の振幅がコアリング閾値パラメータより大きいものとなる。Corは、輝度Ye,あるいは輝度Yに応じて変更できるようにしてもよい。
【００２８】
次に、以下の式に示される処理を行う。
Ead = Ead1 * Scl
ここでSclは、スケールパラメータである。この、スケールパラメータを乗算するという処理は、エッジ成分の強調度合いを調整するものであり、スケールパラメータが大きければ、強調度合いが強く、小さければ、強調度合いが弱くなる。Sclは、輝度Yg,あるいは輝度Yに応じて変更できるようにしてもよい。
【００２９】
最後に、YC変換後の輝度Yに、ノイズリダクション処理を施した輝度Ynに、調整されたエッジ成分Eadを足しこみ、エッジ強調された輝度Yeeを求める。
Yee = Yn + Ead
Yee が、符号無し8bit整数である場合、範囲[0〜255]に収まるようにクリップする
【００３０】
本実施形態は、本線用合成と、エッジ用合成の機能を持つ。合成に使用する輝度信号Ya,Ybの特徴は、以下の通りである。
輝度信号Ya・・(a)色補正を強くかけた場合、ノイズが増大する。
(b)色再現性は良い。（色補正しているため）
輝度信号Yb・・(a)色補正前のRGBからY変換して生成されるため、ノイズは増大しない。
(b)色再現性が悪い。（色補正していないため）
【００３１】
輝度信号Ya,Ybの特徴から、本線用合成、エッジ用合成それぞれについて以下のようなことが言える。
[本線用合成]
・輝度信号Yaの比率を大きくすると、色再現性は良いが、ノイズが混入しやすくなる。
・輝度信号Yaの比率を小さくすると、ノイズは軽減されるが、色再現性は悪くなる。
[エッジ用合成]
・輝度信号Yaの比率を大きくすると、色補正された輝度Yを直接調整できるので、エッジ強調の調整がしやすいが、ノイズが混入しやすくなる。
・輝度信号Yaの比率を小さくすると、ノイズは軽減されるが、エッジ強調の調整がしづらくなる。
【００３２】
本実施形態で注目するノイズの増幅要因は、２つに分かれる。
・ノイズ増幅要因Ａ
撮像素子の色分離が悪く、色補正を強くかけることで発生するノイズ。
・ノイズ増幅要因Ｂ
暗い被写体を撮影する場合や、シャッター時間を短くしたい場合、被写体深度を大きくするため絞りを絞った場合などに、アナログフロントエンドのISO感度(AGCゲイン)を上げることで発生するノイズ。
【００３３】
本実施形態では、以下に説明するように、上記２つのノイズ増幅要因への対策が可能となる。
本実施形態は、ノイズがほとんど発生しない場合や、ノイズ増幅要因Ａが存在する場合、ノイズ増幅要因Ｂが存在する場合に応じて、本線用合成と、エッジ用合成で、輝度信号YaとYbの比率を調整する機能を持つ。以降、調整方法を説明する。
・撮像素子の色分離が良い場合（ノイズがほとんど増幅されない場合）
撮像素子の色分離が良く、色補正を弱くかける場合には、輝度信号Yaにノイズが混入しにくいため、本線用合成、エッジ用合成共に輝度信号Yaの比率を大きくすると良い。これによれば、最後の輝度信号Yを直接調整できるので、エッジ強調の調整がしやすい。
【００３４】
また、本線用合成、エッジ用合成共に輝度信号Yaの比率を100％とすると、図１の従来技術と同等の処理が可能となる。
色補正を弱くかける場合には、図１の従来技術のような偽輪郭やノイズからの悪影響はほとんど発生しない。
【００３５】
・撮像素子の色分離が悪い場合（ノイズ増幅要因Ａ）
撮像素子の色分離が悪く、色補正を強くかける場合、ノイズが混入しやすくなる。そこで、ノイズを軽減するための調整方法を示す。
エッジ強調用パスでは、小さな凹凸成分を大きくして加算するため、ノイズの影響は、本線パスよりも、エッジ強調用パスのほうが大きい。そこで、出力画像のノイズの大きさを見て、ノイズが大きい場合には、まずエッジ用合成の輝度信号Yaの比率を小さくしてノイズの影響を小さくする。
【００３６】
これでもノイズの軽減効果が小さい場合には、色再現性を犠牲にして、本線用合成の輝度信号Yaの比率を小さくしてノイズの影響を小さくする。
ノイズ増幅要因Ａに対しては、カメラの光学系に従い調整する。つまりカメラの開発段階で調整する。
【００３７】
・ISO感度を上げていく場合（ノイズ増幅要因Ｂ）
ISO感度を上げると、ノイズが増加する。ノイズが増加するに従い、撮像素子の色分離が悪い場合と同様の調整を施す。ノイズ増幅要因Ｂに対しては、カメラ撮影時のISO感度(AGCゲイン)に応じて動的に変化するため、それに応じて調整する。
但し、上記の調整において、撮影者またはカメラ設計者が、色再現性よりもノイズ軽減を優先する場合には、本線用合成、エッジ用合成共に、輝度信号Yaの比率を小さくして、ノイズの影響を小さくしても良い。
【００３８】
以上の実施形態により、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から生成した輝度信号Ybを合成することができる。輝度信号Ybには偽輪郭が発生しないため、偽輪郭をエッジ強調してしまうことはない。また、本線用合成において、輝度信号Yを生成する際、輝度信号Ybを合成する手法を有することで、Yaの比率の分だけ本線の輝度のノイズを低減することができる。更に、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から算出した輝度信号Ybを合成することができるため、ノイズが増大する前の輝度からエッジ検出が可能となる。更に、１回の処理で、画像を生成できる。
【００３９】
また、本線用合成において、輝度信号Yを生成する際、色補正された輝度信号Yaを100％とすれば、規格通りの色再現性を保てる。撮像素子の色分離が良い場合、エッジ用合成において、本線の輝度信号Yaの比率を大きくすることで、色補正を経由した輝度データからもエッジ検出可能となる。更に、１つのハードウエアで、撮像素子の色分離の良し悪しに応じて、パラメータを調整して、そのセンサーに最適な画像処理が実現できるようになる。ノイズの多い少ないに応じて、パラメータを調節して、そのときに最適な画像処理を実現できるようになる。カメラ設計者、または、カメラ使用者の好みにより、ノイズ軽減と色再現性のどちらを重視するかに応じて、パラメータを調整して、好みに応じた画像処理を実現できるようになる。
【００４０】
図６〜図１０は、本実施形態の変形例を説明する図である。
図６は、第1の変形例を示す図である。図６においては、ガンマ補正がなく、輝度信号の合成は、エッジ強調パス側のみでおこなっている。ガンマ補正は、出力装置の色空間（sRGB等）に合わせるために行っているが、出力装置の色空間に合わせるのにガンマ補正を必要としないなら、ガンマ補正を行わなくても良い。RGB信号は、Y変換部３５で輝度信号Ylに変換される。また、RGB信号は、色補正部３０で色補正され、YC変換部３２でYCbCr信号に変換される。YC変換後の輝度信号Yaは、エッジ用合成部３７において、輝度信号Ylと合成され、エッジ検出、エッジ調整が加えられる。輝度信号Yaは、ノイズ除去された後、加算器３４で、エッジ検出信号Eadと加算される。
【００４１】
第1の変形例では、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から生成した輝度信号Ybを合成することができる。輝度信号Ybには偽輪郭が発生しないため、偽輪郭をエッジ強調してしまうことはない。また、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から算出した輝度信号Ybを合成することができるため、ノイズが増大する前の輝度からエッジ検出が可能となる。
また、撮像素子の色分離が良い場合、エッジ用合成において、本線の輝度信号Yaの比率を大きくすることで、色補正を経由した輝度データからもエッジ検出可能となる。
【００４２】
図７は、第２の変形例を示す図である。図７においては、ガンマ補正がなく、輝度信号の合成は、本線パス側のみでおこなっている。ガンマ補正は、12ビットの信号を8ビットの信号に変換する意味を持っているが、信号処理をすべて12ビットで行うことが出来るならば、ガンマ補正を行わなくても良い。RGB信号は、Y変換部３５で輝度信号Ylに変換される。また、RGB信号は、色補正部３０で色補正され、YC変換部３２でYCbCr信号に変換される。YC変換後の輝度信号Yaは、本線用合成部３８において、輝度信号Ylと合成され、ノイズ除去された後、加算器３４で、エッジ検出信号Eadと加算される。
【００４３】
第２の変形例では、本線用合成において、輝度信号Yを生成する際、輝度信号Ybを合成する手法を有することで、本線の輝度のノイズを低減することができる。
また、本線用合成において、輝度信号Yを生成する際、色補正された輝度信号Yaを100％とすれば、規格通りの色再現性を保てる。
【００４４】
図８は、第３の変形例を示す図である。図８においては、ガンマ補正がなく、輝度信号の合成は、エッジ強調パス側と本線パス側の両方でおこなっている。ガンマ補正は、12ビットの信号を8ビットの信号に変換する意味を持っているが、信号処理をすべて12ビットで行うことが出来るならば、ガンマ補正を行わなくても良い。RGB信号は、Y変換部３５で輝度信号Ylに変換される。また、RGB信号は、色補正部３０で色補正され、YC変換部３２でYCbCr信号に変換される。YC変換後の輝度信号Yaは、エッジ用合成部３７において、輝度信号Ylと合成され、エッジ検出、エッジ調整が加えられる。また、輝度信号Yaは、本線用合成部３８において、輝度信号Ylと合成され、ノイズ除去された後、加算器３４で、エッジ検出信号Eadと加算される。
【００４５】
第３の変形例では、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から生成した輝度信号Ylを合成することができる。輝度信号Ylには偽輪郭が発生しないため、偽輪郭をエッジ強調してしまうことはない。また、本線用合成において、輝度信号Yを生成する際、輝度信号Ylを合成する手法を有することで、本線の輝度のノイズを低減することができる。更に、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から算出した輝度信号Ylを合成することができるため、ノイズが増大する前の輝度からエッジ検出が可能となる。
【００４６】
また、本線用合成において、輝度信号Yを生成する際、色補正された輝度信号Yaを100％とすれば、規格通りの色再現性を保てる。撮像素子の色分離が良い場合、エッジ用合成において、本線の輝度信号Yaの比率を大きくすることで、色補正を経由した輝度データからもエッジ検出可能となる。
【００４７】
図９は、第４の変形例を示す図である。RGB信号は、Y変換部３５で輝度信号Ylに変換される。また、RGB信号は、色補正部３０で色補正され、ガンマ補正部３１において、ガンマ補正され後、YC変換部３２でYCbCr信号に変換される。YC変換後の輝度信号Yaは、エッジ用合成部３７において、ガンマ補正後の輝度信号Ybと合成され、エッジ検出、エッジ調整が加えられる。輝度信号Yaは、ノイズ除去された後、加算器３４で、エッジ検出信号Eadと加算される。
【００４８】
第４の変形例では、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から生成した輝度信号Ybを合成することができる。輝度信号Ybには偽輪郭が発生しないため、偽輪郭をエッジ強調してしまうことはない。また、エッジ用合成において、輝度信号Yeを生成する際、色補正前のRGB信号から算出した輝度信号Ybを合成することができるため、ノイズが増大する前の輝度からエッジ検出が可能となる。
また、撮像素子の色分離が良い場合、エッジ用合成において、本線の輝度信号Yaの比率を大きくすることで、色補正を経由した輝度データからもエッジ検出可能となる。
【００４９】
図１０は、第５の変形例を示す図である。RGB信号は、Y変換部３５で輝度信号Ylに変換される。また、RGB信号は、色補正部３０で色補正され、ガンマ補正部３１でガンマ補正された後、YC変換部３２でYCbCr信号に変換される。YC変換後の輝度信号Yaは、本線用合成部３８において、ガンマ補正された後の輝度信号Ybと合成され、ノイズ除去された後、加算器３４で、エッジ検出信号Eadと加算される。
【００５０】
第５の変形例では、本線用合成において、輝度信号Yを生成する際、輝度信号Ybを合成する手法を有することで、本線の輝度のノイズを低減することができる。
また、本線用合成において、輝度信号Yを生成する際、色補正された輝度信号Yaを100％とすれば、規格通りの色再現性を保てる。
【００５１】
図１１は、デジタルカメラのブロック構成図である。
被写体からの光は、レンズ５０によって集光され、撮像素子５１によって電気信号に変換される。撮像素子５１の出力は、増幅器５２によって増幅され、A/D変換部５４において、デジタル信号に変換された後、画像処理部５６に入力される。レンズ５０、撮像素子５１、増幅器５２は、それぞれ、制御部５３からの制御を受ける。被写体情報検出部５５は、A/D変換部５４の出力を得て、被写体の明るさ等の情報を取得し、制御部５３にパラメータとして与え、制御部５３に、レンズの絞りや、露光時間などの制御をさせる。
【００５２】
画像処理部５６では、A/D変換部５４からの出力をオフセット調整部５７が受けて、画像データのゼロ点の調整を行う。次に、ホワイトバランス処理部５８が、画像データのホワイトバランスを調整し、色補間処理部５９が、画素間の色データの補間処理を行う。色補正処理部６０では、色補正を行い、ガンマ補正部６１では、ガンマ補正を行い、YC変換部６２では、画像信号をYC信号に変換し、エッジ強調処理部６３がエッジ強調処理を行う。本発明の実施形態の構成は、この色補正処理部６０からエッジ強調処理部６３の間の構成である。そのほかに、画像処理部５６では、階調補正部６４、ノイズ抑制部６５、解像度変換部６６、圧縮部６７を備え、階調の補正、ノイズ抑制、解像度変換、画像データの圧縮などを行う。画像処理部５６は、パラメータ制御部70を介して、制御部５３の制御を受ける。画像処理部５６の出力は、メモリ制御部６９を介して、制御部５３によって制御されるメモリ部６８に格納され、その後、画像データ保存部７１に保存されるか、モニタ部７２によって、画面表示される。
【００５３】
図１２及び図１３は、カメラの開発から使用に至る過程での本実施形態の合成比率の設定について説明する図である。
まず、カメラの開発期間において、カメラ設計者は、カメラの光学系、撮像素子を選択する。光学系、及び、撮像素子を選択することにより、画像の生データの色分離特性、解像度が決まる。色分離特性が決まると、色補正行列が決まる。
【００５４】
カメラ設計者は、制御部５３用のソフトウェアを設計し、色補正行列を設定するプログラムを組み込む。次に、撮像素子の色分離が良い場合（ノイズがほとんど増幅されない場合）、あるいは、撮像素子の色分離が悪い場合（ノイズ増幅要因Ａ）に従って、エッジ用合成、本線用合成を調整する。そして、制御部５３用のソフトウェアを設計し、エッジ用合成、本線用合成を設定するプログラムを組み込む。このとき、ノイズ増幅要因Ｂが最小となるように、ISO感度も最小にしておく。
【００５５】
次に、自動明るさ調整（AE）を設計する。AEの設計に従い、ISO感度が決まる。また、ISO感度が決まると、ノイズ特性要因Bが決まる。ISO感度を上げていく場合（ノイズ増幅要因Ｂ）、ノイズが増加する。ノイズが増幅するに従って、エッジ用合成、本線用合成を調整する。
【００５６】
例えば、ISO感度を400から800にした場合、ノイズが増加するため、エッジ用合成、本線用合成共に、Yaの比率を小さくして、ノイズの影響を小さくする。ISO感度を上げるたびに、Yaの比率を小さくしていくことで、ノイズの影響を抑えることができる。
【００５７】
ただし、カメラ設計者が、ノイズ抑制、もくしは、色再現性のどちらを優先するかを検討して、エッジ用合成、本線用合成の比率を決めることが可能である。具体的には、カメラ設計者が、色再現性よりもノイズ軽減を優先する場合には本線用合成、エッジ用合成共に、Yaの比率を小さくして、ノイズの影響を小さくしても良い。逆に、色再現性を優先する場合には、本線用合成のYaの比率を大きくすることで、色再現性を保つことができる。
【００５８】
次に、カメラ設計者は、ユーザインタフェースを設計する。ISO感度がマニュアル制御の場合、カメラユーザーが設定したISO感度に応じたエッジ用合成、本線用合成の比率をカメラ設計者があらかじめ設定する。そして、制御部用のソフトウェアを設計し、プログラムを組み込む。撮影モードがマニュアル制御の場合、カメラユーザーが、ノイズ抑制の強弱や、カラーの鮮やかさを選択できるように、カメラ設計者があらかじめ設定し、制御部用のソフトウェアを設計し、プログラムを組み込む。
【００５９】
具体的には、カメラユーザーがノイズ抑制を"強"に設定した場合、エッジ用合成、本線用合成共に、Yaの比率が小さくなるように設定することでノイズを抑制する。逆に、ノイズ抑制を"弱"に設定した場合、エッジ用合成、本線用合成共に、Yaの比率が大きくなるように設定しておく。また、カメラユーザーがカラーを"鮮やかめ"に設定した場合、色補正を強くかけるため、ノイズが増加する。そのため、エッジ用合成、本線用合成共に、Yaの比率が小さくなるように設定しておくことでノイズを抑制することができる。
【００６０】
以上で、カメラの開発段階は終了する。次に、カメラの製品の使用期間においては、カメラユーザーがカメラを操作する。ISO感度が自動（Auto）制御の場合には、設計者の設定値をそのまま使用して、撮影する。ISO感度がマニュアル制御の場合には、カメラユーザーがISO感度を決める。また、撮影モードがAuto制御の場合には、設計者の設定値をそのまま使用して撮影するが、マニュアル制御の場合には、ノイズ抑制の強弱を決め、カラー設定を控えめ、あるいは、鮮やかめに設定するようにする。
【符号の説明】
【００６１】
１０、２０、３０ 色補正部
１１、２１、３１、３６ ガンマ補正部
１２、２２、３２ YC変換部
１３、２３、３９ エッジ検出部
１４、２４、４０ エッジ調整部
１５、２５、３３ ノイズ除去部
３４ 加算器
３５ Y変換部
３７ エッジ用合成部
３８ 本線用合成部
５０ レンズ
５１ 撮像素子
５２ 増幅器
５３ 制御部
５４ A/D変換部
５５ 被写体情報検出部
５６ 画像処理部
５７ オフセット調整部
５８ ホワイトバランス処理部
５９ 色補間処理部
６０ 色補正処理部
６１ ガンマ補正部
６２ YC変換部
６３ エッジ強調処理部
６４ 階調補正部
６５ ノイズ抑制部
６６ 解像度変換部
６７ 圧縮部
６８ メモリ部
６９ メモリ制御部
７０ パラメータ制御部
７１ 画像データ保存部
７２ モニタ部
【特許請求の範囲】
【請求項１】
ＲＧＢ信号で入力される画像データにエッジ強調処理を行って出力するエッジ強調画像処理装置において、
該入力されたＲＧＢ信号に色補正を行う色補正部と、
該色補正されたＲＧＢ信号を第一輝度信号及び色差信号に変換するＹＣ変換部と、
該入力されたＲＧＢ信号から第二輝度信号を生成するＹ変換部と、
該ＹＣ変換部で得られた第一輝度信号と、該Ｙ変換部で得られた第二輝度信号とを合成するエッジ用合成部と、
該エッジ用合成部の合成結果を用いてエッジ強調信号を得るエッジ強調部と、
該ＹＣ変換部で得られた第一輝度信号と、該エッジ強調部で得られたエッジ強調信号とを加算する加算器と、
を備えることを特徴とするエッジ強調画像処理装置。
【請求項２】
前記ＹＣ変換部で得られた第一輝度信号と、前記Ｙ変換部で得られた第二輝度信号とを、前記エッジ用合成部の合成とは独立して、合成する本線用合成部を更に備え、
前記加算器は、前記エッジ強調信号と、該本線用合成部で得られた輝度信号とを加算することを特徴とする請求項１に記載のエッジ強調画像処理部。
【請求項３】
ＲＧＢ信号で入力される画像データにエッジ強調処理を行って出力するエッジ強調画像処理装置において、
該入力されたＲＧＢ信号に色補正を行う色補正部と、
該色補正されたＲＧＢ信号を第一輝度信号及び色差信号に変換するＹＣ変換部と、
該入力されたＲＧＢ信号から第二輝度信号を生成するＹ変換部と、
該ＹＣ変換部で得られた第一輝度信号と、該Ｙ変換部で得られた第二輝度信号とを合成する本線用合成部と、
該Ｙ変換部で得られた第二輝度信号を用いてエッジ強調信号を得るエッジ強調部と、
該本線用合成部で得られた第三輝度信号と、該エッジ強調部で得られたエッジ強調信号とを加算する加算器と、
を備えることを特徴とするエッジ強調画像処理装置。
【請求項４】
前記色補正部の出力にガンマ補正を行う第１のガンマ補正部と、
前記Ｙ変換部の出力にガンマ補正を行う第２のガンマ補正部と、
を更に備えることを特徴とする請求項１〜３のいずれか１つに記載のエッジ強調画像処理装置。
【請求項５】
前記第１及び第２のガンマ補正部は、入力信号のビット数よりも少ないビット数の出力を得ることを特徴とする請求項４に記載のエッジ強調画像処理装置。
【請求項６】
前記エッジ用合成部による合成は、合成パラメータをｘとすると、
（合成信号）＝ｘ×（ＹＣ変換部で得られた第一輝度信号）＋（１−ｘ）×（Ｙ変換部で得られた第二輝度信号）
に従い行うことを特徴とする請求項１、２、４、５のいずれか１つに記載のエッジ強調画像処理装置。
【請求項７】
前記本線用合成部による合成は、合成パラメータをｘとすると、
（合成信号）＝ｘ×（ＹＣ変換部で得られた第一輝度信号）＋（１−ｘ）×（Ｙ変換部で得られた第二輝度信号）
に従い行うことを特徴とする請求項２、３、４、５のいずれか１つに記載のエッジ強調画像処理装置。
【請求項８】
請求項１〜７のいずれか１つに記載のエッジ強調画像処理装置を備えたデジタルカメラ。
【請求項９】
前記加算器に入力される輝度信号にノイズ除去処理を施すノイズ除去部を更に備えることを特徴とする請求項１〜７のいずれか１つに記載のエッジ強調画像処理装置。
【請求項１】
ＲＧＢ信号で入力される画像データにエッジ強調処理を行って出力するエッジ強調画像処理装置において、
該入力されたＲＧＢ信号に色補正を行う色補正部と、
該色補正されたＲＧＢ信号を第一輝度信号及び色差信号に変換するＹＣ変換部と、
該入力されたＲＧＢ信号から第二輝度信号を生成するＹ変換部と、
該ＹＣ変換部で得られた第一輝度信号と、該Ｙ変換部で得られた第二輝度信号とを合成するエッジ用合成部と、
該エッジ用合成部の合成結果を用いてエッジ強調信号を得るエッジ強調部と、
該ＹＣ変換部で得られた第一輝度信号と、該エッジ強調部で得られたエッジ強調信号とを加算する加算器と、
を備えることを特徴とするエッジ強調画像処理装置。
【請求項２】
前記ＹＣ変換部で得られた第一輝度信号と、前記Ｙ変換部で得られた第二輝度信号とを、前記エッジ用合成部の合成とは独立して、合成する本線用合成部を更に備え、
前記加算器は、前記エッジ強調信号と、該本線用合成部で得られた輝度信号とを加算することを特徴とする請求項１に記載のエッジ強調画像処理部。
【請求項３】
ＲＧＢ信号で入力される画像データにエッジ強調処理を行って出力するエッジ強調画像処理装置において、
該入力されたＲＧＢ信号に色補正を行う色補正部と、
該色補正されたＲＧＢ信号を第一輝度信号及び色差信号に変換するＹＣ変換部と、
該入力されたＲＧＢ信号から第二輝度信号を生成するＹ変換部と、
該ＹＣ変換部で得られた第一輝度信号と、該Ｙ変換部で得られた第二輝度信号とを合成する本線用合成部と、
該Ｙ変換部で得られた第二輝度信号を用いてエッジ強調信号を得るエッジ強調部と、
該本線用合成部で得られた第三輝度信号と、該エッジ強調部で得られたエッジ強調信号とを加算する加算器と、
を備えることを特徴とするエッジ強調画像処理装置。
【請求項４】
前記色補正部の出力にガンマ補正を行う第１のガンマ補正部と、
前記Ｙ変換部の出力にガンマ補正を行う第２のガンマ補正部と、
を更に備えることを特徴とする請求項１〜３のいずれか１つに記載のエッジ強調画像処理装置。
【請求項５】
前記第１及び第２のガンマ補正部は、入力信号のビット数よりも少ないビット数の出力を得ることを特徴とする請求項４に記載のエッジ強調画像処理装置。
【請求項６】
前記エッジ用合成部による合成は、合成パラメータをｘとすると、
（合成信号）＝ｘ×（ＹＣ変換部で得られた第一輝度信号）＋（１−ｘ）×（Ｙ変換部で得られた第二輝度信号）
に従い行うことを特徴とする請求項１、２、４、５のいずれか１つに記載のエッジ強調画像処理装置。
【請求項７】
前記本線用合成部による合成は、合成パラメータをｘとすると、
（合成信号）＝ｘ×（ＹＣ変換部で得られた第一輝度信号）＋（１−ｘ）×（Ｙ変換部で得られた第二輝度信号）
に従い行うことを特徴とする請求項２、３、４、５のいずれか１つに記載のエッジ強調画像処理装置。
【請求項８】
請求項１〜７のいずれか１つに記載のエッジ強調画像処理装置を備えたデジタルカメラ。
【請求項９】
前記加算器に入力される輝度信号にノイズ除去処理を施すノイズ除去部を更に備えることを特徴とする請求項１〜７のいずれか１つに記載のエッジ強調画像処理装置。
【図１】
【図４】
【図５】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図４】
【図５】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２１９７９７（Ｐ２０１０−２１９７９７Ａ）
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願番号】特願２００９−６３３２１（Ｐ２００９−６３３２１）
【出願日】平成２１年３月１６日（２００９．３．１６）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
【公開日】平成２２年９月３０日（２０１０．９．３０）
【国際特許分類】
【出願日】平成２１年３月１６日（２００９．３．１６）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
[ Back to top ]