画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録された記録媒体
【課題】階調変換処理によって増幅されたノイズの双方を低減しつつ、先鋭感を劣化させない画像処理を行うことを目的とする。
【解決手段】階調変換処理手段１０３により、所定の階調変換特性に基づいて画像データに対して階調変換処理を行い、ノイズ低減処理手段１０４により画像データに対してノイズ低減処理を行いう。その後、合成比率算出手段１０５により、階調変換特性に基づいて、ノイズ低減処理手段１０４によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出し、この合成比率に基づいて、ノイズ低減処理手段１０４によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する。
【解決手段】階調変換処理手段１０３により、所定の階調変換特性に基づいて画像データに対して階調変換処理を行い、ノイズ低減処理手段１０４により画像データに対してノイズ低減処理を行いう。その後、合成比率算出手段１０５により、階調変換特性に基づいて、ノイズ低減処理手段１０４によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出し、この合成比率に基づいて、ノイズ低減処理手段１０４によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録された記録媒体に関し、特に画像のノイズの低減処理を行う画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録されたコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
従来、画像シーンの明るさやコントラストをコントロールするために画像データに対して階調変換処理が行われている。ここで、階調変換処理にはγ補正のように画像シーンにおいて一つの階調変換特性で画像全体の階調変換処理を行う、いわゆるスペースインバリアントな階調変換処理と、画像シーンのダイナミックレンジを広くするために画像シーンの領域毎に階調変換特性を変えて階調変換処理を行う、いわゆるスペースバリアントな階調変換処理とがある。
【０００３】
しかし、何れの階調変換処理も、画像シーンの暗い領域を明るくすることができる反面、同時にその領域のノイズを増幅してしまうという問題がある。このため、特開２００７−３１２３３１号公報（特許文献１）には、階調変換処理で用いた階調変換特性の傾きが急峻な場合にノイズ低減の強さを大きくすることにより、階調変換処理によって増幅されたノイズを低減する技術が開示されている。
【０００４】
一方、ノイズ低減処理を行うと、画像の先鋭感を劣化させてしまうという問題があり、特許文献１に開示された技術では、階調変換処理によって増幅されたノイズを低減することはできるが、その反面、画像の先鋭感を著しく劣化させてしまう虞がある。特開昭６１−１５７１６４号公報（特許文献２）には、ノイズ低減前の画像からエッジを検出し、検出したエッジに応じてノイズ低減前の画像とノイズ低減後の画像を合成することにより、画像の先鋭感の劣化を防いでノイズ低減を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３１２３３１号公報
【特許文献２】特開昭６１−１５７１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に開示された技術では、検出したエッジなど画像の特性のみに基づいてノイズ低減前の画像とノイズ低減後の画像を合成するため、階調変換処理により増幅されるノイズについては考慮されていない。
【０００７】
本発明は、上記課題に鑑みてなされたものであって、画像の特性(例えば、輝度情報、エッジ情報、色情報など）に基づくノイズ、および、階調変換処理によって増幅されたノイズの双方を低減しつつ、先鋭感を劣化させない画像処理を行うことのできる画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録されたコンピュータ読取可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理装置あって、所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理手段と、前記画像データに対してノイズ低減処理を行うノイズ低減処理手段と、前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出手段と、前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成手段と、を備えることを特徴とする画像処理装置を提供する。
【０００９】
本発明は、撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理方法であって、所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理ステップと、前記画像データに対してノイズ低減処理を行うノイズ低減処理ステップと、前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出ステップと、前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成ステップと、を備えることを特徴とする画像処理方法を提供する。
【００１０】
また、本発明は、撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理プログラムであって、所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理ステップと、前記画像データに対してノイズ低減処理を行うノイズ低減処理ステップと、前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出ステップと、前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成ステップと、をコンピュータに実行させる画像処理プログラムを提供する。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態にかかる画像処理装置の概略を示すブロック図である。
【図２】本発明の第１の実施形態にかかる画像処理装置の階調変換部において階調変換する際の階調変換特性の一例を示す特性図である。
【図３】本発明の第１の実施形態にかかる画像処理装置における階調変換から画像合成までの処理の流れを示すフローチャートである。
【図４】本発明の第２の実施形態にかかる画像処理装置の概略を示すブロック図である。
【図５】処理対象画素と処理対象画素を中心とする３×３の画素の領域の一例を示す図である。
【図６】輝度情報と合成比変化率との関係を示す図である。
【図７】エッジ情報と合成比変化率との関係を示す図である。
【図８】色情報と合成比変化率との関係を示す図である。
【図９】本発明の第３の実施形態にかかる画像処理装置の概略を示すブロック図である。
【図１０】本発明の第４の実施形態にかかる画像処理装置の概略を示すブロック図である。
【図１１】本発明の第４の実施形態にかかる画像処理装置における階調変換から画像合成までの処理の流れを示すフローチャートである。
【図１２】（ａ）は、本発明の第４の実施形態にかかる画像処理装置において、輝度情報から合成費変化率を算出する際の処理の流れを示すフローチャートであり、（ｂ）は、本発明の第４の実施形態にかかる画像処理装置において、エッジ情報から合成費変化率を算出する際の処理の流れを示すフローチャートであり、（ｃ）は、本発明の第４の実施形態にかかる画像処理装置において、色情報から合成費変化率を算出する際の処理の流れを示すフローチャートである。
【図１３】本発明の第４の実施形態にかかる画像処理装置における合成比率算出部における合成比率算出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明に係る画像処理装置の実施形態について、図面を参照して説明する。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態にかかる画像処理装置の概略構成を示したブロック図である。本実施形態にかかる画像処理装置は、図１に示すように、光学系１００、撮像系１０１、画像処理部１０２、階調変換部（階調変換処理手段）１０３、ノイズ低減部（ノイズ低減処理手段）１０４、合成比率算出部（合成比率算出手段）１０５、合成部（合成手段）１０６、画像圧縮部１０７および記録メディア１０８を備えている。
【００１４】
光学系１００はレンズ等からなり被写体の像を結像するものであり、撮像系１０１上に像を結像するように配置されている。撮像系１０１は、ＣＣＤ等の固体撮像素子を備えており、固体撮像素子で光学系１００により結像された光学的な被写体像を光電変換して電気的な画像データを出力するとともに、ＣＤＳ(Correlated Double Sampling)／差動サンプリング、アナログゲインの調整等を行う。画像処理部１０２は、画像データに対してホワイトバランス処理やＯＢ減算などの各種処理を行い、処理後の画像データを階調変換部１０３に出力する。
【００１５】
階調変換部１０３は、画像データに対して階調変換処理を行う。階調変換部１０３は、予め階調変換特性に関する関数や、ルックアップテーブルなどで設定されたデータを備えており、このデータから処理対象画素における階調変換特性を算出する。
【００１６】
階調変換部１０３における階調処理変換が、例えば、画像シーンにおいて一つの階調変換特性で画像全体の階調変換処理を行う、いわゆるスペースインバリアントな階調変換処理であった場合には、図２に示すスペースインバリアントな階調変換特性図が設定されており、この階調変換特性に基づいて、画像データに対して階調変換処理を行う。ここで、スペースインバリアントな階調変換特性は、スペースインバリアントな階調変換処理後の画像の画素値をスペースインバリアントな階調変換処理前の画像の画素値で割ったもので各画素値の増幅率を示すものである。
【００１７】
また、同様に階調変換部１０３における階調変換処理が、画像シーンのダイナミックレンジを広くするために画像シーンの領域毎に階調変換特性を変えて処理を行う、いわゆるスペースバリアントな階調変換処理であった場合には、図示しないが、これに応じた階調変換特性に関する特性図や関数、ルックアップテーブルなどを備えており、この階調変換特性に基づいて画像データに対して階調変換処理を行う。
【００１８】
このような階調変換特性は、上述したように、予め任意の特性として関数やルックアップテーブルで設定されていても良いし、ヒストグラム平滑化処理などによって画像から算出されても良い。
【００１９】
ノイズ低減部１０４は、階調変換後の画像データに対してノイズ低減処理を行うものであり、ノイズ低減の際の強度を示すデフォルト値が設定されている。
【００２０】
合成比率算出部１０５では、階調変換部１０３で用いられた階調変換特性に基づいて、ノイズ低減前の画像データとノイズ低減後の画像データ後の合成比率を算出する。より具体的には、ノイズ低減前の画像データとノイズ低減後の画像データとの各画素に対応する増幅率に基づいて画素毎に合成比率を算出する。
【００２１】
合成部１０６では、合成比率算出部１０５から入力された合成比率に基づいてノイズ低減前の画像データとノイズ低減後の画像データとを合成する。上述した処理は、画像の全画素について行われ、全画素に対する処理が終了、すなわち全画素について合成が終了した後に、合成後の画像データが出力される。
【００２２】
合成後の画像データは、図示しない処理部において所定の画像処理が処理された後、画像圧縮部１０７等を介して、記録メディア１０８に伝送される。上記の処理は、図示しないシステムコントローラの制御に従って、各処理部が動作することにより行われる。
【００２３】
次に、上記の構成からなる画像処理装置による画像処理方法について、図面を参照して説明する。
【００２４】
被写体の撮影が行われると光学系１００により被写体の像が撮像素子１０１により画像データに変換され、出力された画像データは、図示しないＡ／Ｄ変換部で画像処理部１０２において所定の処理が可能な離散化されたデジタル信号の画像データに変換され、画像処理部１０２に出力される。入力された画像データには画像処理部１０２においてワイトバランス処理やＯＢ減算等所定の画像処理がなされ、階調変換部１０３に出力される。
【００２５】
図３は、階調変換部１０３による階調変換から画像合成までの処理の流れを示すフローチャートである。ステップＳ５０１では、階調変換部１０３において、画像処理部１０２から出力された画像データの読み込みがなされる。ステップＳ５０２で、階調変換部１０３に予め設定された階調変換特性から、処理対象画素における階調変換特性を算出する。ステップＳ５０３では、ステップＳ５０２で算出された階調変換特性に基づいて、画像データに対して階調変換処理がなされ、階調変換された画像データが合成部１０６及びノイズ低減部１０４へ出力される。
【００２６】
ステップＳ５０４では、ノイズ低減部１０４により、入力された画像データに対して、予め設定されたノイズ低減の強度を示すデフォルト値に基づいてノイズ低減処理を行う。ノイズ低減処理がなされた画像データは、合成部１０６へ出力される。
【００２７】
ステップＳ５０５では、合成比率算出部１０５により、ノイズ低減前の画像データとノイズ低減後の画像データとの合成の割合である合成比率が、対応する画素毎に算出される。すなわち、ステップＳ５０２で算出された階調変換特性、すなわち、増幅率に基づいて、ノイズ低減前の画像データとノイズ低減後の画像データとの各画素に対応する画素毎に合成比率が算出される。
【００２８】
より具体的には、例えば、あらかじめ任意の定数値で設定されている合成比率のうちノイズ低減前の画像データを合成する割合をＭｏｒｇ、ノイズ低減後の画像データを合成する割合をＭｎｒ、合成比率の変化量をＢとし、任意の画素位置[Ｉ,ｊ]での階調変換特性(増幅率)がＧ[Ｉ,ｊ]の場合、その画素位置に対応する合成比率をノイズ低減前の画像を合成する割合Ｍ‘ｏｒｇ[Ｉ,ｊ]、ノイズ低減後の画像を合成する割合をＭ’ｎｒ[Ｉ,ｊ]とすると以下の式で表すことができる。
【００２９】
M’org[I,j]=Morg-B*(G[I,j]-1)
M’nr[I,j]=Mnr+B*(G[I,j]-1)
【００３０】
具体的な数値で示すとＭｏｒｇ＝０．４、Ｍｎｒ＝０．６、Ｂ＝０．５、ｇ[ｉ]＝１．２だった場合のＭ‘ｏｒｇ[Ｉ,ｊ]、Ｍ’ｎｒ[Ｉ,ｊ]は、
M’org[I,j]=0.4-0.5*(1.2-1)=0.3
M’nr[I,j]=0.6+0.5*(1.2-1)=0.7
というように算出される。
【００３１】
ここで、合成比率の変化量Ｂは、予め設定された値であり、任意に定めることができる。算出された合成比率は、合成部１０６へ出力される。
【００３２】
ステップＳ５０６では、合成部１０６により合成比率算出部１０５から入力された合成比率に基づいてノイズ低減前の画像データとノイズ低減後の画像データとを合成する。具体的には、任意の画素位置[Ｉ,ｊ]でのノイズ低減前の画像の値をＳｏｒｇ[Ｉ,ｊ]、ノイズ低減後の画像の値をＳｎｒ［Ｉ，ｊ］、合成後の画像の値をＳ‘［Ｉ，ｊ］とすると、Ｍ’ｏｒｇ［Ｉ，ｊ］、Ｍ‘ｎｒ［Ｉ，ｊ］を用いて以下のように合成される。
S’[I,j]=M’org[I,j]*Sorg[I,j]+M’nr[I,j]*Snr[I,j]
【００３３】
ステップＳ５０７では、ステップＳ５０６までの処理が画像データの全画素に対して行われたか否かを判断し、全画素についての処理が完了したと判断された場合には、合成後の画像データは、図示しない処理部において所定の画像処理が処理された後、画像圧縮部１０７に出力され、ステップＳ５０８で圧縮処理される。
【００３４】
上記の処理は、図示しないシステムコントローラの制御に従って、各処理部が動作することにより行われる。
【００３５】
このように、階調変換特性に基づいて算出された合成比率を用いてノイズ低減前の画像データとノイズ低減後の画像データを合成するため、階調変換処理によってノイズが増幅された領域はノイズ低減後の画像データを多い割合で、ノイズ低減前の画像データを少ない割合で合成することができ、これによりノイズが効果的に低減された画像を得ることができる。また、画像の領域毎に適した割合でノイズ低減後の画像にノイズ低減前の画像が合成されるため画像の先鋭感を保つことができる。また、スペースバリアントな階調変換処理を行った場合には、効果的にノイズを低減し、先鋭感を保ちつつ、画像シーンのダイナミックレンジを広げることができる。
【００３６】
（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。図４は、本実施形態にかかる画像処理装置の概略構成を示したブロック図である。本実施形態にかかる画像処理装置の基本構成は、第１の実施形態にかかる画像処理装置と共通するため、共通する部分の説明を省略し、以下に相違点のみを説明する。
【００３７】
本実施形態では、合成比率算出部１０５が、階調変換部１０３による階調変換処理後の画像データから画像の特性を算出して、それらと階調変換特性に基づいて合成比率を算出する点である。すなわち、図４の破線に示すように、階調変換部１０３において、階調変換処理がなされた後、画像データが合成比率算出部１０５及び合成部１０７に出力される。合成比率算出部１０７では、階調変換後の画像データから、輝度情報、エッジ情報及び色情報の画像の特性を算出する。
【００３８】
以下に、輝度情報、エッジ情報及び色情報の算出方法について説明する。本実施形態では、図５に示すように処理対象位置の画素値を輝度値に変換したものをｐ［ｉ，ｊ］とし、このｐ［ｉ，ｊ］を中心とする３×３の画素からなる領域の情報を算出する方法を説明する。
【００３９】
輝度情報Ｙ［ｉ，ｊ］は、ノイズの影響を受けにくくするために、３×３の領域の平均値から算出する。
Y[i,j]=(p[i-1,j-1]+p[i,j-1]+p[i+1,j-1]+p[i-1,j]+p[i,j]+p[i+1,j]+p[i-1,j+1]+p[i,j+1]+p[i+1,j+1])/9
【００４０】
続いて、図６に示すように、この輝度情報Ｙ［ｉ，ｊ］と任意の特性Ｆｙから合成比変化率Ｇｙ［ｉ，ｊ］を算出する。ここで、合成比変化率とは、画像を合成する割合を算出する際に、階調変換特性だけでなく、輝度情報及びエッジ情報をも考慮するための値であり、後述するように、輝度情報による合成比変化率Ｇｙ［ｉ，ｊ］、エッジ情報による合成比変化率Ｇｅ［ｉ，ｊ］、色情報による合成比変化率Ｇｃ［ｉ，ｊ］と、それぞれ算出される。任意の特性Ｆｙはノイズが目立つ低輝度部ではＧｙ［ｉ，ｊ］を大きく、ノイズが目立たない高輝度部ではＧｙ［ｉ，ｊ］を小さくする特性である。
Gy[i,j]=Fy(Y[i,j])
【００４１】
エッジ情報Ｅ［Ｉ，ｊ］は、水平、垂直、右上がりの斜め、右下がりの斜め方向のエッジ量をＤｈ，Ｄｖ，Ｄｚ，Ｄｎとすると、以下の式で算出される。
Dh=(|p[i-1,j]-p[i,j]|+|p[i+1,j]-p[i,j]|)/2
Dv=(|p[i,j-1]-p[i,j]|+|p[i,j+1]-p[i,j]|)/2
Dz=(|p[i+1,j-1]-p[i,j]|+|p[i-1,j+1]-p[i,j]|)/2
Dn=(|p[i-1,j-1]-p[i,j]|+|p[i+1,j+1]-p[i,j]|)/2
【００４２】
そして、Ｄｈ，Ｄｖ，Ｄｚ，Ｄｎの中の最大値をエッジ情報Ｅ［ｉ，ｊ］とする。エッジ情報が大きい場合、処理対象位置と隣接画素との差分が大きいことを示し、処理対象位置はエッジ領域に属することを意味する。逆にエッジ情報が小さい場合は、処理対象位置と隣接画素との差分が小さいことを示し、処理対象位置は非エッジ領域に属することを意味する。
【００４３】
図７に示すようにこのエッジ情報Ｅ［ｉ，ｊ］と任意の特性Ｆｅから合成比変化率Ｇｅ［ｉ，ｊ］を算出する。任意の特性Ｆｅはノイズをつぶしたい平坦部ではＧｅ［ｉ，ｊ］を大きく、先鋭感を残したいエッジ部ではＧｅ［ｉ，ｊ］を小さくする特性である。
Ge[i,j]=Fe(E[i,j])
【００４４】
色情報は例えば画像の任意の画素位置のＲＧＢ値をＬ＊ａ＊ｂ＊値に変換してある任意の領域内であった場合、その画素位置は特定色領域に属すると判別し、特定色のＬ＊ａ＊ｂ＊値との色差を色情報Ｃ［ｉ，ｊ］とする。特定色は、ノイズを目立たせたくない色、例えば人の肌の色や空の色とする。そして、図８に示すようにこの色情報Ｃ［ｉ，ｊ］と任意の特性Ｆｃから合成比変化率Ｇｃ［ｉ，ｊ］を算出する。任意の特性Ｆｃはノイズが目立つ特性色部ではＧｃ［ｉ，ｊ］を大きく、それ以外の領域ではＧｃ［ｉ，ｊ］を小さくする特性である。
Gc[i,j]=Fc(E[i,j])
【００４５】
合成比率算出部１０５では、画像の一画素に対応する階調変換特性(増幅率)および上記画像の特性から一画素に対応する合成比率を算出する。例えば、あらかじめ任意の定数値で設定されている合成比率のうちノイズ低減前の画像を合成する割合をＭｏｒｇ、
ノイズ低減後の画像を合成する割合をＭｎｒ、合成比率の変化量をＢとすると、任意の画素位置［ｉ，ｊ］での階調変換特性(増幅率)がＧ［ｉ，ｊ］、輝度情報による合成比変化率がＧｙ［ｉ，ｊ］、エッジ情報による合成比変化率がＧｅ［ｉ，ｊ］、色情報による合成比変化率がＧｃ［ｉ，ｊ］の場合、その画素位置に対応する合成比率をノイズ低減前の画像を合成する割合Ｍ‘ｏｒｇ［ｉ，ｊ］、ノイズ低減後の画像を合成する割合をＭ’ｎｒ［ｉ，ｊ］とすると以下の式で表すことができる。
【００４６】
M’org[i,j]=Morg-B*(G[i,j]*Gy[i,j]*Ge[i,j]*Gc[i,j]-1)
M’nr[i,j]=Mnr+B*(G[i,j]*Gy[i,j]*Ge[i,j]*Gc[i,j]-1)
【００４７】
具体的な数値で示すとＭｏｒｇ＝０．４、Ｍｎｒ＝０．６、Ｂ＝０．５、Ｇ［ｉ，ｊ］＝１．２、Ｇｙ［ｉ，ｊ］＝１．１、Ｇｅ［ｉ，ｊ］＝１．１、Ｇｃ［ｉ，ｊ］＝１．１だった場合のＭ‘ｏｒｇ［ｉ，ｊ］、は、
M’org[i,j]=0.4-0.5*(1.2*1.1*1.1*1.1-1)=0.1
M’nr[i,j]=0.6+0.5*(1.2*1.1*1.1*1.1-1)=0.9
というように算出される。ここで、合成比率の変化量Ｂは、予め設定された値であり、任意に定めることができる。
【００４８】
そして合成部では、任意の画素位置［ｉ，ｊ］でのノイズ低減前の画像の値をＳｏｒｇ［ｉ，ｊ］,ノイズ低減後の画像の値をＳｎｒ［ｉ，ｊ］,合成後の画像の値をＳ‘［ｉ，ｊ］とするとＭ’ｏｒｇ［ｉ，ｊ］、Ｍ‘ｎｒ［ｉ，ｊ］を用いて以下のように合成される。
S’[i,j]=M’org[i,j]*Sorg[i,j]+M’nr[i,j]*Snr[i,j]
【００４９】
そして画像の全画素位置で上述した処理が行われて合成後の画像が出力される。本実施形態では、画像の特性として、輝度情報、エッジ情報、及び色情報の３つの情報を用いたが、これらの３つに限られず、画像とノイズを区別するための情報であればよい。また、画像の特性は、階調変換後の画像データから算出したが、階調変換後に限られず、階調変換前、ノイズ低減後など適した画像データから算出されても良い。
【００５０】
以上、本実施例では階調変換特性および画像の特性に基づいて算出された合成比率を用いてノイズ低減前の画像とノイズ低減後の画像を合成するため、階調変換処理によってノイズが増幅された領域はノイズ低減後の画像が多い割合で、ノイズ低減前の画像が少ない割合で合成されてノイズが効果的に低減された画像を得ることができる。また、画像の領域ごとに適した割合でノイズ低減後の画像にノイズ低減前の画像が合成されるため画像の先鋭感を保つことができる。さらに画像の特性に応じて合成比率が制御されるためノイズ低減を強く行いたい領域と先鋭感を残したい領域をより適応的に分けて処理することができる。
【００５１】
(第３の実施形態)
続いて、本発明の第３の実施形態について説明する。
【００５２】
図９は、本実施形態にかかる画像処理装置の概略構成を示したブロック図である。本実施形態にかかる画像処理装置の基本構成は、第１の実施形態にかかる画像処理装置と共通するため、共通する部分の説明を省略し、以下に相違点のみを説明する。
【００５３】
本実施形態では、上記した実施形態の構成に、さらに階調変換特性と画像の特性に基づいて、ノイズ低減の強さを画素位置において適宜変化させるノイズ低減制御値を算出するノイズ低減制御値算出部２００を備えている。
【００５４】
ノイズ低減制御値算出部２００では、画像の一画素に対応する階調変換特性(増幅率)および輝度情報、エッジ情報及び色情報の画像の特性から一画素に対応するノイズ低減の強さの変化量(ノイズ低減制御値)を算出する。任意の画素位置［ｉ，ｊ］での階調変換特性(増幅率)がＧ［ｉ，ｊ］、輝度情報による合成比変化率がＧｙ［ｉ，ｊ］、エッジ情報による合成比変化率がＧｅ［ｉ，ｊ］、色情報による合成比変化率がＧｃ［ｉ，ｊ］の場合、その画素位置に対応するノイズ低減制御値をＧｎｒ［ｉ，ｊ］とすると以下の式で表すことができる。
【００５５】
Gnr[i,j]=G[i,j]*Gy[i,j]*Ge[i,j]*Gc[i,j]
【００５６】
ノイズ低減部１０４では、階調変換後の画像に対してノイズ低減の強さを変えることができるノイズ低減処理が行われる。ここで例えばノイズ低減処理に、コアリング処理を用いた場合の処理を説明する。画像の任意の画像位置［ｉ，ｊ］の画素値をＳ［ｉ，ｊ］、その画像位置の周囲の任意の範囲の平均値をＳａｖｅとすると、画素値Ｓ［ｉ，ｊ］と平均値Ｓａｖｅの差の絶対値｜Ｓ［ｉ，ｊ］−Ｓａｖｅ｜が任意の画素位置の閾値Ｔｈ［ｉ，ｊ］以下の信号を０にするというコアリング処理を用いた場合、閾値Ｔｈ［ｉ，ｊ］にノイズ低減制御値Ｇｎｒ［ｉ，ｊ］を乗算してノイズ低減処理の強さを制御する。コアリング処理後の画素値をＳ‘［ｉ，ｊ］とすると以下のように示すことができる。
【００５７】
|S[i,j]-Save|<Th[i,j]*Gnr[i,j]の場合は、
S’[i,j]=Save
|S[i,j]-Save|≧Th[i,j]*Gnr[i,j]の場合は、
S[i,j]-Save>0であればS’[i,j]=S[i,j]-Th[i,j]*Gnr[i,j]、
S[i,j]-Save<0であればS’[i,j]=S[i,j]+Th[i,j]*Gnr[i,j]、
ここでノイズ低減処理をコアリング処理としたが、フィルタ係数やフィルタのタップ数を変えてノイズ低減の強さを変えるノイズ低減処理等を用いてもよい。
【００５８】
上記したようにノイズ低減処理を行った後、ノイズ低減後の画像データは合成部１０６へ出力される。
合成比率算出部１０５では、第1の実施形態と同様に、階調変換部１０３での階調変換特性に基づいてノイズ低減前の画像データとノイズ低減後の画像データとの合成比率を算出する。合成部１０６では、先に算出された合成比率に基づいてノイズ低減前の画像データとノイズ低減後の画像データとが合成される。画像データの全画素について合成処理がなされると、合成後の画像データが画像圧縮部１０７に出力される。
【００５９】
以上、本実施例では階調変換特性に基づいて算出された合成比率を用いてノイズ低減前の画像とノイズ低減後の画像を合成するため、階調変換処理によってノイズが増幅された領域はノイズ低減後の画像が多い割合で、ノイズ低減前の画像が少ない割合で合成されてノイズが効果的に低減された画像を得ることができる。また、階調変換特性および画像の特性に基づいて算出されたノイズ低減制御値を用いてノイズ低減処理の強さを制御するため、画像の領域ごとに適した強さでノイズ低減処理が行われ、ノイズ低減を強く行いたい領域と先鋭感を残したい領域をより適応的に分けて処理されたノイズ低減後の画像を得ることができる。
【００６０】
(第４の実施形態)
続いて、本発明の第４の実施形態について説明する。
図１０は、本実施形態にかかる画像処理装置の概略構成を示したブロック図である。本実施形態にかかる画像処理装置の基本構成は、第３の実施形態にかかる画像処理装置と共通するため、共通する部分の説明を省略し、以下に相違点のみを説明する。
【００６１】
本実施形態は、上述した第３の実施形態において、階調変換特性、画像の特性の双方に基づいて合成比率を決定する点が異なる。従って、図１０に示すように、階調変換部１０３において階調変換がなされた画像データはノイズ低減部１０４、合成比率算出部１０５、及びノイズ低減制御値算出部２００に出力される。そして、この画像データの画像の特性が、合成比率算出部１０５及びノイズ低減算出部２００で用いられる。
【００６２】
以下、本実施形態の画像処理装置による画像処理方法について説明する。被写体の撮影が行われると光学系１００により被写体の像が撮像素子１０１により画像データに変換され、出力された画像データは、図示しないＡ／Ｄ変換部で画像処理部１０２において所定の処理が可能な離散化されたデジタル信号の画像データに変換され、画像処理部１０２に出力される。入力された画像データには画像処理部１０２においてワイトバランス処理やＯＢ減算等所定の画像処理がなされ、階調変換部１０３に出力される。
【００６３】
図１１は、階調変換部１０３による階調変換から画像合成までの処理の流れを示すフローチャートである。
【００６４】
ステップＳ６００では、階調変換部１０３が画像処理部１０２にから入力された画像データを読み込む。ステップＳ６０１で、階調変換部１０３に予め設定された。図２に示すような階調変換特性にかかる特性図と読み込んだ画像データに基づいて階調変換特性を算出する。ステップＳ６０２にてステップＳ６０１で算出した階調変換特性に基づいて画像データに階調変換処理を行う。ステップＳ６０３にてステップＳ６０２で階調変換処理された画像データから三種類の画像の特性(輝度情報、エッジ情報、色情報)から少なくとも一つの情報を用いて合成比変化率を算出する。
【００６５】
合成比変化率の算出を輝度情報から算出する場合には、図１２（ａ）に示すように、ステップＳ１０にてステップＳ６０２で階調変換処理された画像データから輝度値を算出し、ステップＳ１１で、処理画素位置を中心とする周辺の３×３画素からなる領域を抽出する。その後、ステップＳ１２で、ステップＳ１１で抽出した３×３画素の輝度値の平均値を算出する。ステップＳ１３では、ステップＳ１２で算出した平均値を合成比変化率に変換する任意の特性Ｆｙを読み込む。ステップＳ１４で、ステップＳ１２で算出した平均値とステップＳ１３で読み込んだ任意の特性Ｆｙから合成変化率Ｇｙを算出する。
【００６６】
画像の特性(エッジ情報)による合成変化率の算出の場合は、図１２（ｂ）に示すように、ステップＳ２０にてステップＳ６０１で階調変換処理された画像データから輝度値を算出する。ステップＳ２１にて処理画素を中心とする周辺の３×３画素からなる領域を抽出する。ステップＳ２２にてステップＳ２１で抽出した３×３画素から水平、垂直、右上がり斜め、右下がり斜め方向のエッジ量を算出する。ステップＳ２３にてステップＳ２２で算出した４つのエッジ量から最大値を算出する。ステップＳ２４にてステップＳ２３で算出した最大値を合成比変化率に変換する任意の特性Ｆｅを読み込む。ステップＳ２５にてステップＳ２３で算出した最大値とステップＳ２４で読み込んだ任意の特性から合成変化率Ｇｅを算出する。
【００６７】
画像の特性(色情報)による合成変化率の算出の場合は、図１２（ｃ）に示すように、ステップＳ３０にてステップＳ６０２で階調変換処理された画像データからＬ＊ａ＊ｂ＊値を算出する。ステップＳ３１にて特定色のＬ＊ａ＊ｂ＊値を読み込む。ステップＳ３２にてステップＳ３０で変換したＬ＊ａ＊ｂ＊値とステップＳ３１で読み込んだ特定色のＬ＊ａ＊ｂ＊値から色差を算出する。ステップＳ３３にてステップＳ３２で算出した色差を合成比変化率に変換する任意の特性Ｆｃを読み込むステップＳ３４にてステップＳ３２で算出した色差とステップＳ３３で読み込んだ任意の特性から合成変化率Ｇｃを算出する。
【００６８】
ステップＳ６０４にて、ノイズ低減部１０４に予め設定されたノイズ低減の強度のデフォルト値を読み込む。ステップＳ６０５で、ノイズ低減制御値算出部２００によりノイズ低減制御値を算出する。具体的には、ステップＳ６０１で算出した階調変換特性とステップＳ６０３で算出した合成比変化率とステップＳ６０４で読み込んだノイズ低減の強度のデフォルト値を乗算することにより、ノイズ低減制御値を算出する。
【００６９】
ステップＳ６０６にてステップＳ６０５で算出したノイズ低減制御値に基づきステップＳ６０２で階調変換処理された画像データに対してノイズ低減処理を行う。ノイズ低減処理された画像データは、合成部１０６へ出力される。続いて、ステップＳ６０７では、合成比率算出部１０５が合成比率のデフォルト値を読み込む。ステップＳ６０８にて、合成比率算出部１０５が合成比率を算出する。
【００７０】
具体的には、図１３のフローチャートに示すように、ステップＳ４０にて合成比率の変化量を読み込む。ステップＳ４１にてステップＳ６０３で算出した合成比変化率とステップＳ４０で読み込んだ合成比率の変化量を乗算する。ステップＳ４２にてステップＳ６０７で読み込んだ合成比率のデフォルト値のうちノイズ低減後の画像を合成する比率からステップＳ４１で算出した乗算結果を加算する。ステップＳ４３にてステップＳ６０７で読み込んだ合成比率のデフォルト値のうちノイズ低減前の画像を合成する比率からステップＳ４１で算出した乗算結果を減算する。
【００７１】
ステップＳ６０９にて、ステップＳ６０８で算出した合成比率に基づいてステップＳ６０６でノイズ低減処理されたノイズ低減後の画像データとステップＳ６０２で階調変換処理され、ノイズ低減前の画像データとを合成する。ステップＳ６１０では、ステップＳ６０１〜ステップＳ６０９の処理を画像データの全画素に対して行われたか否かを判断し、全画素で行われていないと判断された場合には、ステップＳ６０１に戻り、ステップＳ６０９までの処理を繰り返す。ステップＳ６１０で全画素に対する上記処理が行われたと判断された場合には、合成後の画像データが画像圧縮部１０７に出力され、ステップＳ６１１にて画像圧縮処理が行われ、記録メディア１０８に合成された画像データが記録保存されて終了する。
【００７２】
このように、ノイズ低減後の画像データとノイズ低減前の画像データを合成することにより、画像シーンの解像感を保ちつつノイズを低減することができる。また、その際に階調変換特性と、輝度情報、エッジ情報及び色情報などの画像の特性とに基づいて合成の割合を制御するため、階調変換処理によってノイズが目立った領域のノイズをより強く低減し、その他の領域は解像感を保つことができるとともに、画像の特性に基づいたより細かい制御により高品質な画像を得ることができる。
【００７３】
上述した全ての実施形態において、階調変換の際には、いわゆるスペースインバリアントな階調変換処理または、いわゆるスペースバリアントな階調変換処理を適宜選択的に適用可能である。特に、スペースバリアントな階調変換処理を行った場合には、スペースバリアントな階調変換処理によってノイズが目立った領域のノイズをより強く低減し、その他の領域は解像感を保つことができるとともに、画像シーンの明るさやコントラストを画像シーンの領域ごとに適応的に調整することができ、ダイナミックレンジを広げることができる。
【００７４】
上記した各実施形態にかかる画像処理装置は放送用据え置き型カメラ、ＥＮＧカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に適用することが可能である。また、動画を扱う画像信号補正プログラム（ＣＧプログラム）、画像編集装置などにも用いられる。
【００７５】
なお、上述した合成画像を生成する一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることも可能である。この場合には、あらかじめ、この一連の画像処理をソフトウェアとして実行させるプログラムを記録媒体に格納しておき、記録媒体から、所定のハードウェアに組み込まれているコンピュータや、汎用のパーソナルコンピュータ等の各種プログラムをインストールすることで所定の処理を実行することができる。
【符号の説明】
【００７６】
１００ 光学系
１０１ 撮像系
１０２ 画像処理部
１０３ 階調変換部
１０４ ノイズ低減部
１０５ 合成比率算出部
１０６ 合成部
１０７ 画像圧縮部
１０８ 記録メディア
２００ ノイズ低減制御値算出部
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録された記録媒体に関し、特に画像のノイズの低減処理を行う画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録されたコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
従来、画像シーンの明るさやコントラストをコントロールするために画像データに対して階調変換処理が行われている。ここで、階調変換処理にはγ補正のように画像シーンにおいて一つの階調変換特性で画像全体の階調変換処理を行う、いわゆるスペースインバリアントな階調変換処理と、画像シーンのダイナミックレンジを広くするために画像シーンの領域毎に階調変換特性を変えて階調変換処理を行う、いわゆるスペースバリアントな階調変換処理とがある。
【０００３】
しかし、何れの階調変換処理も、画像シーンの暗い領域を明るくすることができる反面、同時にその領域のノイズを増幅してしまうという問題がある。このため、特開２００７−３１２３３１号公報（特許文献１）には、階調変換処理で用いた階調変換特性の傾きが急峻な場合にノイズ低減の強さを大きくすることにより、階調変換処理によって増幅されたノイズを低減する技術が開示されている。
【０００４】
一方、ノイズ低減処理を行うと、画像の先鋭感を劣化させてしまうという問題があり、特許文献１に開示された技術では、階調変換処理によって増幅されたノイズを低減することはできるが、その反面、画像の先鋭感を著しく劣化させてしまう虞がある。特開昭６１−１５７１６４号公報（特許文献２）には、ノイズ低減前の画像からエッジを検出し、検出したエッジに応じてノイズ低減前の画像とノイズ低減後の画像を合成することにより、画像の先鋭感の劣化を防いでノイズ低減を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３１２３３１号公報
【特許文献２】特開昭６１−１５７１６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２に開示された技術では、検出したエッジなど画像の特性のみに基づいてノイズ低減前の画像とノイズ低減後の画像を合成するため、階調変換処理により増幅されるノイズについては考慮されていない。
【０００７】
本発明は、上記課題に鑑みてなされたものであって、画像の特性(例えば、輝度情報、エッジ情報、色情報など）に基づくノイズ、および、階調変換処理によって増幅されたノイズの双方を低減しつつ、先鋭感を劣化させない画像処理を行うことのできる画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムが記録されたコンピュータ読取可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理装置あって、所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理手段と、前記画像データに対してノイズ低減処理を行うノイズ低減処理手段と、前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出手段と、前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成手段と、を備えることを特徴とする画像処理装置を提供する。
【０００９】
本発明は、撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理方法であって、所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理ステップと、前記画像データに対してノイズ低減処理を行うノイズ低減処理ステップと、前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出ステップと、前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成ステップと、を備えることを特徴とする画像処理方法を提供する。
【００１０】
また、本発明は、撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理プログラムであって、所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理ステップと、前記画像データに対してノイズ低減処理を行うノイズ低減処理ステップと、前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出ステップと、前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成ステップと、をコンピュータに実行させる画像処理プログラムを提供する。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態にかかる画像処理装置の概略を示すブロック図である。
【図２】本発明の第１の実施形態にかかる画像処理装置の階調変換部において階調変換する際の階調変換特性の一例を示す特性図である。
【図３】本発明の第１の実施形態にかかる画像処理装置における階調変換から画像合成までの処理の流れを示すフローチャートである。
【図４】本発明の第２の実施形態にかかる画像処理装置の概略を示すブロック図である。
【図５】処理対象画素と処理対象画素を中心とする３×３の画素の領域の一例を示す図である。
【図６】輝度情報と合成比変化率との関係を示す図である。
【図７】エッジ情報と合成比変化率との関係を示す図である。
【図８】色情報と合成比変化率との関係を示す図である。
【図９】本発明の第３の実施形態にかかる画像処理装置の概略を示すブロック図である。
【図１０】本発明の第４の実施形態にかかる画像処理装置の概略を示すブロック図である。
【図１１】本発明の第４の実施形態にかかる画像処理装置における階調変換から画像合成までの処理の流れを示すフローチャートである。
【図１２】（ａ）は、本発明の第４の実施形態にかかる画像処理装置において、輝度情報から合成費変化率を算出する際の処理の流れを示すフローチャートであり、（ｂ）は、本発明の第４の実施形態にかかる画像処理装置において、エッジ情報から合成費変化率を算出する際の処理の流れを示すフローチャートであり、（ｃ）は、本発明の第４の実施形態にかかる画像処理装置において、色情報から合成費変化率を算出する際の処理の流れを示すフローチャートである。
【図１３】本発明の第４の実施形態にかかる画像処理装置における合成比率算出部における合成比率算出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明に係る画像処理装置の実施形態について、図面を参照して説明する。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態にかかる画像処理装置の概略構成を示したブロック図である。本実施形態にかかる画像処理装置は、図１に示すように、光学系１００、撮像系１０１、画像処理部１０２、階調変換部（階調変換処理手段）１０３、ノイズ低減部（ノイズ低減処理手段）１０４、合成比率算出部（合成比率算出手段）１０５、合成部（合成手段）１０６、画像圧縮部１０７および記録メディア１０８を備えている。
【００１４】
光学系１００はレンズ等からなり被写体の像を結像するものであり、撮像系１０１上に像を結像するように配置されている。撮像系１０１は、ＣＣＤ等の固体撮像素子を備えており、固体撮像素子で光学系１００により結像された光学的な被写体像を光電変換して電気的な画像データを出力するとともに、ＣＤＳ(Correlated Double Sampling)／差動サンプリング、アナログゲインの調整等を行う。画像処理部１０２は、画像データに対してホワイトバランス処理やＯＢ減算などの各種処理を行い、処理後の画像データを階調変換部１０３に出力する。
【００１５】
階調変換部１０３は、画像データに対して階調変換処理を行う。階調変換部１０３は、予め階調変換特性に関する関数や、ルックアップテーブルなどで設定されたデータを備えており、このデータから処理対象画素における階調変換特性を算出する。
【００１６】
階調変換部１０３における階調処理変換が、例えば、画像シーンにおいて一つの階調変換特性で画像全体の階調変換処理を行う、いわゆるスペースインバリアントな階調変換処理であった場合には、図２に示すスペースインバリアントな階調変換特性図が設定されており、この階調変換特性に基づいて、画像データに対して階調変換処理を行う。ここで、スペースインバリアントな階調変換特性は、スペースインバリアントな階調変換処理後の画像の画素値をスペースインバリアントな階調変換処理前の画像の画素値で割ったもので各画素値の増幅率を示すものである。
【００１７】
また、同様に階調変換部１０３における階調変換処理が、画像シーンのダイナミックレンジを広くするために画像シーンの領域毎に階調変換特性を変えて処理を行う、いわゆるスペースバリアントな階調変換処理であった場合には、図示しないが、これに応じた階調変換特性に関する特性図や関数、ルックアップテーブルなどを備えており、この階調変換特性に基づいて画像データに対して階調変換処理を行う。
【００１８】
このような階調変換特性は、上述したように、予め任意の特性として関数やルックアップテーブルで設定されていても良いし、ヒストグラム平滑化処理などによって画像から算出されても良い。
【００１９】
ノイズ低減部１０４は、階調変換後の画像データに対してノイズ低減処理を行うものであり、ノイズ低減の際の強度を示すデフォルト値が設定されている。
【００２０】
合成比率算出部１０５では、階調変換部１０３で用いられた階調変換特性に基づいて、ノイズ低減前の画像データとノイズ低減後の画像データ後の合成比率を算出する。より具体的には、ノイズ低減前の画像データとノイズ低減後の画像データとの各画素に対応する増幅率に基づいて画素毎に合成比率を算出する。
【００２１】
合成部１０６では、合成比率算出部１０５から入力された合成比率に基づいてノイズ低減前の画像データとノイズ低減後の画像データとを合成する。上述した処理は、画像の全画素について行われ、全画素に対する処理が終了、すなわち全画素について合成が終了した後に、合成後の画像データが出力される。
【００２２】
合成後の画像データは、図示しない処理部において所定の画像処理が処理された後、画像圧縮部１０７等を介して、記録メディア１０８に伝送される。上記の処理は、図示しないシステムコントローラの制御に従って、各処理部が動作することにより行われる。
【００２３】
次に、上記の構成からなる画像処理装置による画像処理方法について、図面を参照して説明する。
【００２４】
被写体の撮影が行われると光学系１００により被写体の像が撮像素子１０１により画像データに変換され、出力された画像データは、図示しないＡ／Ｄ変換部で画像処理部１０２において所定の処理が可能な離散化されたデジタル信号の画像データに変換され、画像処理部１０２に出力される。入力された画像データには画像処理部１０２においてワイトバランス処理やＯＢ減算等所定の画像処理がなされ、階調変換部１０３に出力される。
【００２５】
図３は、階調変換部１０３による階調変換から画像合成までの処理の流れを示すフローチャートである。ステップＳ５０１では、階調変換部１０３において、画像処理部１０２から出力された画像データの読み込みがなされる。ステップＳ５０２で、階調変換部１０３に予め設定された階調変換特性から、処理対象画素における階調変換特性を算出する。ステップＳ５０３では、ステップＳ５０２で算出された階調変換特性に基づいて、画像データに対して階調変換処理がなされ、階調変換された画像データが合成部１０６及びノイズ低減部１０４へ出力される。
【００２６】
ステップＳ５０４では、ノイズ低減部１０４により、入力された画像データに対して、予め設定されたノイズ低減の強度を示すデフォルト値に基づいてノイズ低減処理を行う。ノイズ低減処理がなされた画像データは、合成部１０６へ出力される。
【００２７】
ステップＳ５０５では、合成比率算出部１０５により、ノイズ低減前の画像データとノイズ低減後の画像データとの合成の割合である合成比率が、対応する画素毎に算出される。すなわち、ステップＳ５０２で算出された階調変換特性、すなわち、増幅率に基づいて、ノイズ低減前の画像データとノイズ低減後の画像データとの各画素に対応する画素毎に合成比率が算出される。
【００２８】
より具体的には、例えば、あらかじめ任意の定数値で設定されている合成比率のうちノイズ低減前の画像データを合成する割合をＭｏｒｇ、ノイズ低減後の画像データを合成する割合をＭｎｒ、合成比率の変化量をＢとし、任意の画素位置[Ｉ,ｊ]での階調変換特性(増幅率)がＧ[Ｉ,ｊ]の場合、その画素位置に対応する合成比率をノイズ低減前の画像を合成する割合Ｍ‘ｏｒｇ[Ｉ,ｊ]、ノイズ低減後の画像を合成する割合をＭ’ｎｒ[Ｉ,ｊ]とすると以下の式で表すことができる。
【００２９】
M’org[I,j]=Morg-B*(G[I,j]-1)
M’nr[I,j]=Mnr+B*(G[I,j]-1)
【００３０】
具体的な数値で示すとＭｏｒｇ＝０．４、Ｍｎｒ＝０．６、Ｂ＝０．５、ｇ[ｉ]＝１．２だった場合のＭ‘ｏｒｇ[Ｉ,ｊ]、Ｍ’ｎｒ[Ｉ,ｊ]は、
M’org[I,j]=0.4-0.5*(1.2-1)=0.3
M’nr[I,j]=0.6+0.5*(1.2-1)=0.7
というように算出される。
【００３１】
ここで、合成比率の変化量Ｂは、予め設定された値であり、任意に定めることができる。算出された合成比率は、合成部１０６へ出力される。
【００３２】
ステップＳ５０６では、合成部１０６により合成比率算出部１０５から入力された合成比率に基づいてノイズ低減前の画像データとノイズ低減後の画像データとを合成する。具体的には、任意の画素位置[Ｉ,ｊ]でのノイズ低減前の画像の値をＳｏｒｇ[Ｉ,ｊ]、ノイズ低減後の画像の値をＳｎｒ［Ｉ，ｊ］、合成後の画像の値をＳ‘［Ｉ，ｊ］とすると、Ｍ’ｏｒｇ［Ｉ，ｊ］、Ｍ‘ｎｒ［Ｉ，ｊ］を用いて以下のように合成される。
S’[I,j]=M’org[I,j]*Sorg[I,j]+M’nr[I,j]*Snr[I,j]
【００３３】
ステップＳ５０７では、ステップＳ５０６までの処理が画像データの全画素に対して行われたか否かを判断し、全画素についての処理が完了したと判断された場合には、合成後の画像データは、図示しない処理部において所定の画像処理が処理された後、画像圧縮部１０７に出力され、ステップＳ５０８で圧縮処理される。
【００３４】
上記の処理は、図示しないシステムコントローラの制御に従って、各処理部が動作することにより行われる。
【００３５】
このように、階調変換特性に基づいて算出された合成比率を用いてノイズ低減前の画像データとノイズ低減後の画像データを合成するため、階調変換処理によってノイズが増幅された領域はノイズ低減後の画像データを多い割合で、ノイズ低減前の画像データを少ない割合で合成することができ、これによりノイズが効果的に低減された画像を得ることができる。また、画像の領域毎に適した割合でノイズ低減後の画像にノイズ低減前の画像が合成されるため画像の先鋭感を保つことができる。また、スペースバリアントな階調変換処理を行った場合には、効果的にノイズを低減し、先鋭感を保ちつつ、画像シーンのダイナミックレンジを広げることができる。
【００３６】
（第２の実施形態）
続いて、本発明の第２の実施形態について説明する。図４は、本実施形態にかかる画像処理装置の概略構成を示したブロック図である。本実施形態にかかる画像処理装置の基本構成は、第１の実施形態にかかる画像処理装置と共通するため、共通する部分の説明を省略し、以下に相違点のみを説明する。
【００３７】
本実施形態では、合成比率算出部１０５が、階調変換部１０３による階調変換処理後の画像データから画像の特性を算出して、それらと階調変換特性に基づいて合成比率を算出する点である。すなわち、図４の破線に示すように、階調変換部１０３において、階調変換処理がなされた後、画像データが合成比率算出部１０５及び合成部１０７に出力される。合成比率算出部１０７では、階調変換後の画像データから、輝度情報、エッジ情報及び色情報の画像の特性を算出する。
【００３８】
以下に、輝度情報、エッジ情報及び色情報の算出方法について説明する。本実施形態では、図５に示すように処理対象位置の画素値を輝度値に変換したものをｐ［ｉ，ｊ］とし、このｐ［ｉ，ｊ］を中心とする３×３の画素からなる領域の情報を算出する方法を説明する。
【００３９】
輝度情報Ｙ［ｉ，ｊ］は、ノイズの影響を受けにくくするために、３×３の領域の平均値から算出する。
Y[i,j]=(p[i-1,j-1]+p[i,j-1]+p[i+1,j-1]+p[i-1,j]+p[i,j]+p[i+1,j]+p[i-1,j+1]+p[i,j+1]+p[i+1,j+1])/9
【００４０】
続いて、図６に示すように、この輝度情報Ｙ［ｉ，ｊ］と任意の特性Ｆｙから合成比変化率Ｇｙ［ｉ，ｊ］を算出する。ここで、合成比変化率とは、画像を合成する割合を算出する際に、階調変換特性だけでなく、輝度情報及びエッジ情報をも考慮するための値であり、後述するように、輝度情報による合成比変化率Ｇｙ［ｉ，ｊ］、エッジ情報による合成比変化率Ｇｅ［ｉ，ｊ］、色情報による合成比変化率Ｇｃ［ｉ，ｊ］と、それぞれ算出される。任意の特性Ｆｙはノイズが目立つ低輝度部ではＧｙ［ｉ，ｊ］を大きく、ノイズが目立たない高輝度部ではＧｙ［ｉ，ｊ］を小さくする特性である。
Gy[i,j]=Fy(Y[i,j])
【００４１】
エッジ情報Ｅ［Ｉ，ｊ］は、水平、垂直、右上がりの斜め、右下がりの斜め方向のエッジ量をＤｈ，Ｄｖ，Ｄｚ，Ｄｎとすると、以下の式で算出される。
Dh=(|p[i-1,j]-p[i,j]|+|p[i+1,j]-p[i,j]|)/2
Dv=(|p[i,j-1]-p[i,j]|+|p[i,j+1]-p[i,j]|)/2
Dz=(|p[i+1,j-1]-p[i,j]|+|p[i-1,j+1]-p[i,j]|)/2
Dn=(|p[i-1,j-1]-p[i,j]|+|p[i+1,j+1]-p[i,j]|)/2
【００４２】
そして、Ｄｈ，Ｄｖ，Ｄｚ，Ｄｎの中の最大値をエッジ情報Ｅ［ｉ，ｊ］とする。エッジ情報が大きい場合、処理対象位置と隣接画素との差分が大きいことを示し、処理対象位置はエッジ領域に属することを意味する。逆にエッジ情報が小さい場合は、処理対象位置と隣接画素との差分が小さいことを示し、処理対象位置は非エッジ領域に属することを意味する。
【００４３】
図７に示すようにこのエッジ情報Ｅ［ｉ，ｊ］と任意の特性Ｆｅから合成比変化率Ｇｅ［ｉ，ｊ］を算出する。任意の特性Ｆｅはノイズをつぶしたい平坦部ではＧｅ［ｉ，ｊ］を大きく、先鋭感を残したいエッジ部ではＧｅ［ｉ，ｊ］を小さくする特性である。
Ge[i,j]=Fe(E[i,j])
【００４４】
色情報は例えば画像の任意の画素位置のＲＧＢ値をＬ＊ａ＊ｂ＊値に変換してある任意の領域内であった場合、その画素位置は特定色領域に属すると判別し、特定色のＬ＊ａ＊ｂ＊値との色差を色情報Ｃ［ｉ，ｊ］とする。特定色は、ノイズを目立たせたくない色、例えば人の肌の色や空の色とする。そして、図８に示すようにこの色情報Ｃ［ｉ，ｊ］と任意の特性Ｆｃから合成比変化率Ｇｃ［ｉ，ｊ］を算出する。任意の特性Ｆｃはノイズが目立つ特性色部ではＧｃ［ｉ，ｊ］を大きく、それ以外の領域ではＧｃ［ｉ，ｊ］を小さくする特性である。
Gc[i,j]=Fc(E[i,j])
【００４５】
合成比率算出部１０５では、画像の一画素に対応する階調変換特性(増幅率)および上記画像の特性から一画素に対応する合成比率を算出する。例えば、あらかじめ任意の定数値で設定されている合成比率のうちノイズ低減前の画像を合成する割合をＭｏｒｇ、
ノイズ低減後の画像を合成する割合をＭｎｒ、合成比率の変化量をＢとすると、任意の画素位置［ｉ，ｊ］での階調変換特性(増幅率)がＧ［ｉ，ｊ］、輝度情報による合成比変化率がＧｙ［ｉ，ｊ］、エッジ情報による合成比変化率がＧｅ［ｉ，ｊ］、色情報による合成比変化率がＧｃ［ｉ，ｊ］の場合、その画素位置に対応する合成比率をノイズ低減前の画像を合成する割合Ｍ‘ｏｒｇ［ｉ，ｊ］、ノイズ低減後の画像を合成する割合をＭ’ｎｒ［ｉ，ｊ］とすると以下の式で表すことができる。
【００４６】
M’org[i,j]=Morg-B*(G[i,j]*Gy[i,j]*Ge[i,j]*Gc[i,j]-1)
M’nr[i,j]=Mnr+B*(G[i,j]*Gy[i,j]*Ge[i,j]*Gc[i,j]-1)
【００４７】
具体的な数値で示すとＭｏｒｇ＝０．４、Ｍｎｒ＝０．６、Ｂ＝０．５、Ｇ［ｉ，ｊ］＝１．２、Ｇｙ［ｉ，ｊ］＝１．１、Ｇｅ［ｉ，ｊ］＝１．１、Ｇｃ［ｉ，ｊ］＝１．１だった場合のＭ‘ｏｒｇ［ｉ，ｊ］、は、
M’org[i,j]=0.4-0.5*(1.2*1.1*1.1*1.1-1)=0.1
M’nr[i,j]=0.6+0.5*(1.2*1.1*1.1*1.1-1)=0.9
というように算出される。ここで、合成比率の変化量Ｂは、予め設定された値であり、任意に定めることができる。
【００４８】
そして合成部では、任意の画素位置［ｉ，ｊ］でのノイズ低減前の画像の値をＳｏｒｇ［ｉ，ｊ］,ノイズ低減後の画像の値をＳｎｒ［ｉ，ｊ］,合成後の画像の値をＳ‘［ｉ，ｊ］とするとＭ’ｏｒｇ［ｉ，ｊ］、Ｍ‘ｎｒ［ｉ，ｊ］を用いて以下のように合成される。
S’[i,j]=M’org[i,j]*Sorg[i,j]+M’nr[i,j]*Snr[i,j]
【００４９】
そして画像の全画素位置で上述した処理が行われて合成後の画像が出力される。本実施形態では、画像の特性として、輝度情報、エッジ情報、及び色情報の３つの情報を用いたが、これらの３つに限られず、画像とノイズを区別するための情報であればよい。また、画像の特性は、階調変換後の画像データから算出したが、階調変換後に限られず、階調変換前、ノイズ低減後など適した画像データから算出されても良い。
【００５０】
以上、本実施例では階調変換特性および画像の特性に基づいて算出された合成比率を用いてノイズ低減前の画像とノイズ低減後の画像を合成するため、階調変換処理によってノイズが増幅された領域はノイズ低減後の画像が多い割合で、ノイズ低減前の画像が少ない割合で合成されてノイズが効果的に低減された画像を得ることができる。また、画像の領域ごとに適した割合でノイズ低減後の画像にノイズ低減前の画像が合成されるため画像の先鋭感を保つことができる。さらに画像の特性に応じて合成比率が制御されるためノイズ低減を強く行いたい領域と先鋭感を残したい領域をより適応的に分けて処理することができる。
【００５１】
(第３の実施形態)
続いて、本発明の第３の実施形態について説明する。
【００５２】
図９は、本実施形態にかかる画像処理装置の概略構成を示したブロック図である。本実施形態にかかる画像処理装置の基本構成は、第１の実施形態にかかる画像処理装置と共通するため、共通する部分の説明を省略し、以下に相違点のみを説明する。
【００５３】
本実施形態では、上記した実施形態の構成に、さらに階調変換特性と画像の特性に基づいて、ノイズ低減の強さを画素位置において適宜変化させるノイズ低減制御値を算出するノイズ低減制御値算出部２００を備えている。
【００５４】
ノイズ低減制御値算出部２００では、画像の一画素に対応する階調変換特性(増幅率)および輝度情報、エッジ情報及び色情報の画像の特性から一画素に対応するノイズ低減の強さの変化量(ノイズ低減制御値)を算出する。任意の画素位置［ｉ，ｊ］での階調変換特性(増幅率)がＧ［ｉ，ｊ］、輝度情報による合成比変化率がＧｙ［ｉ，ｊ］、エッジ情報による合成比変化率がＧｅ［ｉ，ｊ］、色情報による合成比変化率がＧｃ［ｉ，ｊ］の場合、その画素位置に対応するノイズ低減制御値をＧｎｒ［ｉ，ｊ］とすると以下の式で表すことができる。
【００５５】
Gnr[i,j]=G[i,j]*Gy[i,j]*Ge[i,j]*Gc[i,j]
【００５６】
ノイズ低減部１０４では、階調変換後の画像に対してノイズ低減の強さを変えることができるノイズ低減処理が行われる。ここで例えばノイズ低減処理に、コアリング処理を用いた場合の処理を説明する。画像の任意の画像位置［ｉ，ｊ］の画素値をＳ［ｉ，ｊ］、その画像位置の周囲の任意の範囲の平均値をＳａｖｅとすると、画素値Ｓ［ｉ，ｊ］と平均値Ｓａｖｅの差の絶対値｜Ｓ［ｉ，ｊ］−Ｓａｖｅ｜が任意の画素位置の閾値Ｔｈ［ｉ，ｊ］以下の信号を０にするというコアリング処理を用いた場合、閾値Ｔｈ［ｉ，ｊ］にノイズ低減制御値Ｇｎｒ［ｉ，ｊ］を乗算してノイズ低減処理の強さを制御する。コアリング処理後の画素値をＳ‘［ｉ，ｊ］とすると以下のように示すことができる。
【００５７】
|S[i,j]-Save|<Th[i,j]*Gnr[i,j]の場合は、
S’[i,j]=Save
|S[i,j]-Save|≧Th[i,j]*Gnr[i,j]の場合は、
S[i,j]-Save>0であればS’[i,j]=S[i,j]-Th[i,j]*Gnr[i,j]、
S[i,j]-Save<0であればS’[i,j]=S[i,j]+Th[i,j]*Gnr[i,j]、
ここでノイズ低減処理をコアリング処理としたが、フィルタ係数やフィルタのタップ数を変えてノイズ低減の強さを変えるノイズ低減処理等を用いてもよい。
【００５８】
上記したようにノイズ低減処理を行った後、ノイズ低減後の画像データは合成部１０６へ出力される。
合成比率算出部１０５では、第1の実施形態と同様に、階調変換部１０３での階調変換特性に基づいてノイズ低減前の画像データとノイズ低減後の画像データとの合成比率を算出する。合成部１０６では、先に算出された合成比率に基づいてノイズ低減前の画像データとノイズ低減後の画像データとが合成される。画像データの全画素について合成処理がなされると、合成後の画像データが画像圧縮部１０７に出力される。
【００５９】
以上、本実施例では階調変換特性に基づいて算出された合成比率を用いてノイズ低減前の画像とノイズ低減後の画像を合成するため、階調変換処理によってノイズが増幅された領域はノイズ低減後の画像が多い割合で、ノイズ低減前の画像が少ない割合で合成されてノイズが効果的に低減された画像を得ることができる。また、階調変換特性および画像の特性に基づいて算出されたノイズ低減制御値を用いてノイズ低減処理の強さを制御するため、画像の領域ごとに適した強さでノイズ低減処理が行われ、ノイズ低減を強く行いたい領域と先鋭感を残したい領域をより適応的に分けて処理されたノイズ低減後の画像を得ることができる。
【００６０】
(第４の実施形態)
続いて、本発明の第４の実施形態について説明する。
図１０は、本実施形態にかかる画像処理装置の概略構成を示したブロック図である。本実施形態にかかる画像処理装置の基本構成は、第３の実施形態にかかる画像処理装置と共通するため、共通する部分の説明を省略し、以下に相違点のみを説明する。
【００６１】
本実施形態は、上述した第３の実施形態において、階調変換特性、画像の特性の双方に基づいて合成比率を決定する点が異なる。従って、図１０に示すように、階調変換部１０３において階調変換がなされた画像データはノイズ低減部１０４、合成比率算出部１０５、及びノイズ低減制御値算出部２００に出力される。そして、この画像データの画像の特性が、合成比率算出部１０５及びノイズ低減算出部２００で用いられる。
【００６２】
以下、本実施形態の画像処理装置による画像処理方法について説明する。被写体の撮影が行われると光学系１００により被写体の像が撮像素子１０１により画像データに変換され、出力された画像データは、図示しないＡ／Ｄ変換部で画像処理部１０２において所定の処理が可能な離散化されたデジタル信号の画像データに変換され、画像処理部１０２に出力される。入力された画像データには画像処理部１０２においてワイトバランス処理やＯＢ減算等所定の画像処理がなされ、階調変換部１０３に出力される。
【００６３】
図１１は、階調変換部１０３による階調変換から画像合成までの処理の流れを示すフローチャートである。
【００６４】
ステップＳ６００では、階調変換部１０３が画像処理部１０２にから入力された画像データを読み込む。ステップＳ６０１で、階調変換部１０３に予め設定された。図２に示すような階調変換特性にかかる特性図と読み込んだ画像データに基づいて階調変換特性を算出する。ステップＳ６０２にてステップＳ６０１で算出した階調変換特性に基づいて画像データに階調変換処理を行う。ステップＳ６０３にてステップＳ６０２で階調変換処理された画像データから三種類の画像の特性(輝度情報、エッジ情報、色情報)から少なくとも一つの情報を用いて合成比変化率を算出する。
【００６５】
合成比変化率の算出を輝度情報から算出する場合には、図１２（ａ）に示すように、ステップＳ１０にてステップＳ６０２で階調変換処理された画像データから輝度値を算出し、ステップＳ１１で、処理画素位置を中心とする周辺の３×３画素からなる領域を抽出する。その後、ステップＳ１２で、ステップＳ１１で抽出した３×３画素の輝度値の平均値を算出する。ステップＳ１３では、ステップＳ１２で算出した平均値を合成比変化率に変換する任意の特性Ｆｙを読み込む。ステップＳ１４で、ステップＳ１２で算出した平均値とステップＳ１３で読み込んだ任意の特性Ｆｙから合成変化率Ｇｙを算出する。
【００６６】
画像の特性(エッジ情報)による合成変化率の算出の場合は、図１２（ｂ）に示すように、ステップＳ２０にてステップＳ６０１で階調変換処理された画像データから輝度値を算出する。ステップＳ２１にて処理画素を中心とする周辺の３×３画素からなる領域を抽出する。ステップＳ２２にてステップＳ２１で抽出した３×３画素から水平、垂直、右上がり斜め、右下がり斜め方向のエッジ量を算出する。ステップＳ２３にてステップＳ２２で算出した４つのエッジ量から最大値を算出する。ステップＳ２４にてステップＳ２３で算出した最大値を合成比変化率に変換する任意の特性Ｆｅを読み込む。ステップＳ２５にてステップＳ２３で算出した最大値とステップＳ２４で読み込んだ任意の特性から合成変化率Ｇｅを算出する。
【００６７】
画像の特性(色情報)による合成変化率の算出の場合は、図１２（ｃ）に示すように、ステップＳ３０にてステップＳ６０２で階調変換処理された画像データからＬ＊ａ＊ｂ＊値を算出する。ステップＳ３１にて特定色のＬ＊ａ＊ｂ＊値を読み込む。ステップＳ３２にてステップＳ３０で変換したＬ＊ａ＊ｂ＊値とステップＳ３１で読み込んだ特定色のＬ＊ａ＊ｂ＊値から色差を算出する。ステップＳ３３にてステップＳ３２で算出した色差を合成比変化率に変換する任意の特性Ｆｃを読み込むステップＳ３４にてステップＳ３２で算出した色差とステップＳ３３で読み込んだ任意の特性から合成変化率Ｇｃを算出する。
【００６８】
ステップＳ６０４にて、ノイズ低減部１０４に予め設定されたノイズ低減の強度のデフォルト値を読み込む。ステップＳ６０５で、ノイズ低減制御値算出部２００によりノイズ低減制御値を算出する。具体的には、ステップＳ６０１で算出した階調変換特性とステップＳ６０３で算出した合成比変化率とステップＳ６０４で読み込んだノイズ低減の強度のデフォルト値を乗算することにより、ノイズ低減制御値を算出する。
【００６９】
ステップＳ６０６にてステップＳ６０５で算出したノイズ低減制御値に基づきステップＳ６０２で階調変換処理された画像データに対してノイズ低減処理を行う。ノイズ低減処理された画像データは、合成部１０６へ出力される。続いて、ステップＳ６０７では、合成比率算出部１０５が合成比率のデフォルト値を読み込む。ステップＳ６０８にて、合成比率算出部１０５が合成比率を算出する。
【００７０】
具体的には、図１３のフローチャートに示すように、ステップＳ４０にて合成比率の変化量を読み込む。ステップＳ４１にてステップＳ６０３で算出した合成比変化率とステップＳ４０で読み込んだ合成比率の変化量を乗算する。ステップＳ４２にてステップＳ６０７で読み込んだ合成比率のデフォルト値のうちノイズ低減後の画像を合成する比率からステップＳ４１で算出した乗算結果を加算する。ステップＳ４３にてステップＳ６０７で読み込んだ合成比率のデフォルト値のうちノイズ低減前の画像を合成する比率からステップＳ４１で算出した乗算結果を減算する。
【００７１】
ステップＳ６０９にて、ステップＳ６０８で算出した合成比率に基づいてステップＳ６０６でノイズ低減処理されたノイズ低減後の画像データとステップＳ６０２で階調変換処理され、ノイズ低減前の画像データとを合成する。ステップＳ６１０では、ステップＳ６０１〜ステップＳ６０９の処理を画像データの全画素に対して行われたか否かを判断し、全画素で行われていないと判断された場合には、ステップＳ６０１に戻り、ステップＳ６０９までの処理を繰り返す。ステップＳ６１０で全画素に対する上記処理が行われたと判断された場合には、合成後の画像データが画像圧縮部１０７に出力され、ステップＳ６１１にて画像圧縮処理が行われ、記録メディア１０８に合成された画像データが記録保存されて終了する。
【００７２】
このように、ノイズ低減後の画像データとノイズ低減前の画像データを合成することにより、画像シーンの解像感を保ちつつノイズを低減することができる。また、その際に階調変換特性と、輝度情報、エッジ情報及び色情報などの画像の特性とに基づいて合成の割合を制御するため、階調変換処理によってノイズが目立った領域のノイズをより強く低減し、その他の領域は解像感を保つことができるとともに、画像の特性に基づいたより細かい制御により高品質な画像を得ることができる。
【００７３】
上述した全ての実施形態において、階調変換の際には、いわゆるスペースインバリアントな階調変換処理または、いわゆるスペースバリアントな階調変換処理を適宜選択的に適用可能である。特に、スペースバリアントな階調変換処理を行った場合には、スペースバリアントな階調変換処理によってノイズが目立った領域のノイズをより強く低減し、その他の領域は解像感を保つことができるとともに、画像シーンの明るさやコントラストを画像シーンの領域ごとに適応的に調整することができ、ダイナミックレンジを広げることができる。
【００７４】
上記した各実施形態にかかる画像処理装置は放送用据え置き型カメラ、ＥＮＧカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に適用することが可能である。また、動画を扱う画像信号補正プログラム（ＣＧプログラム）、画像編集装置などにも用いられる。
【００７５】
なお、上述した合成画像を生成する一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることも可能である。この場合には、あらかじめ、この一連の画像処理をソフトウェアとして実行させるプログラムを記録媒体に格納しておき、記録媒体から、所定のハードウェアに組み込まれているコンピュータや、汎用のパーソナルコンピュータ等の各種プログラムをインストールすることで所定の処理を実行することができる。
【符号の説明】
【００７６】
１００ 光学系
１０１ 撮像系
１０２ 画像処理部
１０３ 階調変換部
１０４ ノイズ低減部
１０５ 合成比率算出部
１０６ 合成部
１０７ 画像圧縮部
１０８ 記録メディア
２００ ノイズ低減制御値算出部
【特許請求の範囲】
【請求項１】
撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理装置あって、
所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理手段と、
前記画像データに対してノイズ低減処理を行うノイズ低減処理手段と、
前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出手段と、
前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成比率算出手段は、画像の特性および前記階調変換特性に基づいて合成比率を算出すること、
を特徴とする請求項１記載の画像処理装置。
【請求項３】
画像の特性および／または階調変換特性に基づいて前記ノイズ低減処理手段によるノイズ低減処理の強さを制御するノイズ低減制御値を算出するノイズ低減制御値算出手段を備え、
前記ノイズ低減処理手段は、前記ノイズ低減制御値に基づいて前記階調変換後の画像データに対してノイズ低減処理を行うことによりノイズ低減データを生成することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記画像の特性には、該画像の輝度情報、エッジ情報及び色情報が含まれ、前記階調変換特性には、階調変換の増幅率が含まれることを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記階調変換特性は、予め任意に設定された又は前記画像データから算出したスペースインバリアントな階調変換特性であり、前記階調変換手段は該階調変換特性に基づいて前記画像データにスペースインバリアントな階調変換処理を行うことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記階調変換特性は前記画像データから算出したスペースバリアントな階調変換特性であることを特徴とし、前記階調変換手段は該階調変換特性に基づいて前記画像データにスペースバリアントな階調変換処理を行うことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項７】
撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理方法であって、
所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理ステップと、
前記画像データに対してノイズ低減処理を行うノイズ低減処理ステップと、
前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出ステップと、
前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成ステップと、
を備えることを特徴とする画像処理方法。
【請求項８】
撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理プログラムであって、
所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理ステップと、
前記画像データに対してノイズ低減処理を行うノイズ低減処理ステップと、
前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出ステップと、
前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成ステップと、
をコンピュータに実行させる画像処理プログラム。
【請求項９】
請求項８に記載の画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【請求項１】
撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理装置あって、
所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理手段と、
前記画像データに対してノイズ低減処理を行うノイズ低減処理手段と、
前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出手段と、
前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成比率算出手段は、画像の特性および前記階調変換特性に基づいて合成比率を算出すること、
を特徴とする請求項１記載の画像処理装置。
【請求項３】
画像の特性および／または階調変換特性に基づいて前記ノイズ低減処理手段によるノイズ低減処理の強さを制御するノイズ低減制御値を算出するノイズ低減制御値算出手段を備え、
前記ノイズ低減処理手段は、前記ノイズ低減制御値に基づいて前記階調変換後の画像データに対してノイズ低減処理を行うことによりノイズ低減データを生成することを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記画像の特性には、該画像の輝度情報、エッジ情報及び色情報が含まれ、前記階調変換特性には、階調変換の増幅率が含まれることを特徴とする請求項１乃至請求項３の何れか１項に記載の画像処理装置。
【請求項５】
前記階調変換特性は、予め任意に設定された又は前記画像データから算出したスペースインバリアントな階調変換特性であり、前記階調変換手段は該階調変換特性に基づいて前記画像データにスペースインバリアントな階調変換処理を行うことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項６】
前記階調変換特性は前記画像データから算出したスペースバリアントな階調変換特性であることを特徴とし、前記階調変換手段は該階調変換特性に基づいて前記画像データにスペースバリアントな階調変換処理を行うことを特徴とする請求項１乃至請求項４の何れか１項に記載の画像処理装置。
【請求項７】
撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理方法であって、
所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理ステップと、
前記画像データに対してノイズ低減処理を行うノイズ低減処理ステップと、
前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出ステップと、
前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成ステップと、
を備えることを特徴とする画像処理方法。
【請求項８】
撮像系からの画像データに対して階調変換処理およびノイズ低減処理を行う画像処理プログラムであって、
所定の階調変換特性に基づいて、前記画像データに対して階調変換処理を行う階調変換処理ステップと、
前記画像データに対してノイズ低減処理を行うノイズ低減処理ステップと、
前記階調変換特性に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとの合成比率を算出する合成比率算出ステップと、
前記合成比率に基づいて、前記ノイズ低減処理手段によるノイズ低減処理前の画像データとノイズ低減処理後の画像データとを合成する合成ステップと、
をコンピュータに実行させる画像処理プログラム。
【請求項９】
請求項８に記載の画像処理プログラムを記録したコンピュータ読取可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−１５２７７（Ｐ２０１１−１５２７７Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５８８３７（Ｐ２００９−１５８８３７）
【出願日】平成２１年７月３日（２００９．７．３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年７月３日（２００９．７．３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]