画像処理装置、画像処理プログラム、及び、画像処理方法
【課題】少ない演算量で、階調補正結果にアーティファクトが発生しない照明光成分画像を生成する。
【解決手段】画像処理装置は、入力画像を縮小する縮小部（３０）と、縮小部によって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化部（３１）と、縮小画像平滑化部によって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大部（３２）とを備える。エッジ保存拡大部は、縮小画像平滑化部によって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいてフィルタ処理の対象となる注目画素の画素値（Js）を決定し、エッジ保存拡大部は、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値（Ip）と前記各参照画素の画素値（Ls）との差、及び、拡大後の前記注目画素(p)と各参照画素(s)の距離に基づいて設定する。
【解決手段】画像処理装置は、入力画像を縮小する縮小部（３０）と、縮小部によって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化部（３１）と、縮小画像平滑化部によって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大部（３２）とを備える。エッジ保存拡大部は、縮小画像平滑化部によって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいてフィルタ処理の対象となる注目画素の画素値（Js）を決定し、エッジ保存拡大部は、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値（Ip）と前記各参照画素の画素値（Ls）との差、及び、拡大後の前記注目画素(p)と各参照画素(s)の距離に基づいて設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラム、及び、画像処理方法に関する。
【背景技術】
【０００２】
従来、階調補正処理などを行う際に、人の視覚モデルに関するレティネックス理論（特許文献１参照）に基づいて、画像は照明光成分と反射率成分とに分離され、照明光成分のみに対して階調補正処理が行われる（例えば、特許文献２参照）。これにより、視覚的に良好な処理画像が得られる。ここで、階調補正処理とは、画像のダイナミックレンジを狭めたり、暗部や明部を適正な明るさにしたりする変換である。照明光成分とは、照明光による影響が多く含まれた成分画像であり、反射率成分とは、被写体の反射率による影響が多く含まれた成分画像である。また、テクスチャ補正処理を行う際には、分離した反射率成分のみに対して補正処理を行うと、視覚的に良好な処理画像が得られる。これらの補正処理は、一つの画像のそれぞれの成分に対して同時に行っても良い。
【０００３】
レティネックス理論で述べている照明光成分画像を生成する際に、特にエッジに隣接した領域で適切に照明光成分が得られていないと、階調補正後の画像のエッジに隣接した領域にハローアーティファクトが出現してしまう問題が起こる。この問題を解決するためには、物体の輪郭などのエッジを保持しつつ、エッジ以外の領域では平滑化を行う非線形フィルタ（例えばバイラテラルフィルタ（bilateral filter））を使用し、且つ、フィルタの参照画素の範囲は広くする必要がある。従って、照明光成分画像を生成するために、非常に多くの演算量が必要である。
【０００４】
そこで、例えば、非特許文献３に示したファーストバイラテラルフィルタ（fast bilateral filtering）のような高速化された演算手法が提案されている
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】EH Land and JJ McCann,"Lightness and retinex theory," J. Opt. Soc.Am. 61, 1 (1971)
【非特許文献２】Kuang, J., Johnson, G. M., Fairchild M. D.「iCAM06: A refined image appearance model for HDR image rendering」Journal of Visual Communication and Image Representation Volume 18, Issue 5, October 2007, Pages 406-414
【非特許文献３】「Fast Bilateral Filtering for the Display of High-Dynamic-Range Images」Fredo Durand and Julie Dorsey著、SIGGRAPH 2002
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献３に示したファースト・バイラテラルフィルタ（fast bilateral filtering）では、演算量は依然として多かった。
【０００７】
本発明の目的は、少ない演算量で、階調補正が施された画像にハローアーティファクトが発生しないような照明光成分画像を生成することである。
【課題を解決するための手段】
【０００８】
本発明のある態様に係る画像処理装置は、エッジ保存平滑化を行う画像処理装置であって、入力画像を縮小する縮小手段と、前記縮小手段によって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化手段と、前記縮小画像平滑化手段によって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大手段とを備える。前記エッジ保存拡大手段は、前記縮小画像平滑化手段によって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、前記エッジ保存拡大手段は、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする。
【０００９】
本発明の別の態様に係る画像処理方法は、エッジ保存平滑化を行う画像処理方法であって、入力画像を縮小する縮小ステップと、前記縮小ステップによって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化ステップと、前記縮小画像平滑化ステップによって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大ステップとを含む。 前記エッジ保存拡大ステップは、前記縮小画像平滑化ステップによって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、前記エッジ保存拡大ステップは、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする。
【００１０】
本発明のさらに別の態様に係る画像処理プログラムは、エッジ保存平滑化を行う画像処理プログラムであって、入力画像を縮小する縮小手順と、前記縮小手順によって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化手順と、前記縮小画像平滑化手順によって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大手順とを、コンピュータに実行させる。前記エッジ保存拡大手順は、前記縮小画像平滑化手順によって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、前記エッジ保存拡大手順は、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする。
【発明の効果】
【００１１】
本発明によると、少ない演算量で、階調補正後の画像にハローアーティファクトが発生しないような照明光成分画像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】第一実施形態に係る画像処理装置を示すブロック図である。
【図２】第一実施形態に係る補正処理部の詳細を示すブロック図である。
【図３】第一実施形態に係るエッジ保存平滑化部の詳細を示すブロック図である。
【図４】第一実施形態に係るエッジ保存拡大部の機能ブロック図である。
【図５】第二実施形態に係るエッジ保存拡大部の機能ブロック図である。
【図６】（ａ）エッジ部分に沿った濃淡の繰り返しが発生した画像を示す図である。（ｂ）第二実施形態により、エッジ部分に沿った濃淡の繰り返しが発生しない画像を示す図である。
【図７】第三実施形態による参照画素の位置範囲を示す図である。
【図８】第三実施形態において、注目画素からの距離と参照画素の密度との関係を示す図である。
【図９】（ａ）画像処理プログラムのメインルーチンを示すフローチャートである。（ｂ）補正処理のサブルーチンを示すフローチャートである。（ｃ）エッジ保存平滑化処理のサブルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１３】
［第一実施形態］
図１は、第一実施形態に係る画像処理装置１（又は画像処理システム）のブロック図である。画像処理装置１は電子機器に搭載される。電子機器の例として、テレビジョン受像機、プリンタ、スチルカメラ、ビデオカメラなどが挙げられる。画像処理装置１は、画像に対してエッジ保存平滑化処理を行う部分（後述のエッジ保存平滑化部２０）を有する。エッジ保存平滑化処理は、レティネックス理論による照明光成分を含む照明光成分画像を生成する処理に相当する。
【００１４】
画像処理装置１は、入力されたカラー画像（例えばＲＧＢ画像）に対して、階調補正処理とテクスチャ補正処理を行う。画像処理装置１は、輝度画像生成部１０、補正処理部１１、ゲイン生成部１２、ゲイン適用部１３を備える。例えば、各部１０−１３は論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と演算プログラムを格納するメモリなどから構成してもよい。
【００１５】
輝度画像生成部１０は、カラー画像を輝度画像に変換するもので、例えば、画素ごとにＲＧＢ−ＹＩＱ変換により輝度値（Ｙ）を得て、輝度値（Ｙ）を画素値として有する輝度画像を生成する。補正処理部１１は、カラー画像より生成した輝度画像に対して階調補正処理及びテクスチャ補正処理を行う。ゲイン生成部１２は、カラー画像の各色の階調変換に使用するゲインを生成する。例えば、ゲイン生成部１２は、補正処理部１１による処理後の画像と処理前の画像との間の各画素における輝度値の比を、カラー画像の各色のゲインに設定する。ゲイン適用部１３は、ゲイン生成部１２で生成されたゲインを、カラー画像の各色の階調変換に適用する。
【００１６】
図２は、上記の補正処理部１１の詳細を示すブロック図である。補正処理部１１は、エッジ保存平滑化部２０、階調補正部２１、テクスチャ成分生成部２２、テクスチャ補正部２３、合成処理部２４を備える。例えば、各部２０−２４は論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と演算プログラムを格納するメモリなどから構成してもよい。
【００１７】
エッジ保存平滑化部２０は、輝度画像生成部１０から入力された輝度画像に対してエッジ保存平滑化を実施することでエッジが保存された平滑化画像Ｊを作る。なお、平滑化画像Ｊは、照明光成分に相当する。階調補正部２１は、平滑化画像Ｊに対して階調補正処理を行う。階調補正処理は、既に知られているガンマカーブで画素の輝度値を変換する方法や、ヒストグラム平滑化を用いた方法などである。
【００１８】
テクスチャ成分生成部２２は、平滑化画像Ｊと入力輝度画像Ｌの画素の輝度値（画素値）の差又は比を計算することによりテクスチャ成分画像を生成する。なお、テクスチャ成分画像は、反射率成分に相当する。テクスチャ補正部２３は、例えば、一定数を乗算又は冪（べき）算する方法などで、テクスチャ成分画像に対してテクスチャ補正を実施する。合成処理部２４は、階調補正部２１とテクスチャ補正部２３において生成された階調補正画像とテクスチャ補正画像を合成する。合成処理部２４からの出力画像は、階調補正及びテクスチャ補正が実施された輝度画像である。
【００１９】
以上に、補正処理部１１が階調補正処理とテクスチャ補正処理の両方を実施する場合を述べたが、補正処理部１１は何れか一方の処理のみをしてもよい。
【００２０】
図３は、本実施形態の特徴部分であるエッジ保存平滑化部２０の詳細を示すブロック図である。
【００２１】
エッジ保存平滑化部２０は、縮小部３０、縮小画像平滑化部３１、エッジ保存拡大部３２を備える。例えば、各部３０−３２は論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と演算プログラムを格納するメモリなどから構成してもよい。
【００２２】
縮小部３０は、輝度画像生成部１０からの輝度画像Ｌを所定の縮小率で縮小（圧縮）する縮小処理を行う。縮小処理の一例は、画素の間引きである。縮小処理として画素の間引きのみが行われる場合、演算量が小さい。
【００２３】
縮小画像平滑化部３１は、縮小部３０で縮小された画像（縮小画像Ｍ）に対して、エッジ保存平滑化処理を施す。エッジ保存平滑化処理は、エッジを保存した状態で画像を平滑化する処理である。このエッジ保存平滑化処理の一例は、エッジ保存平滑化フィルタとして公知のバイラテラルフィルタを用いる処理である。
【００２４】
エッジ保存拡大部３２は、縮小画像平滑化部３１で得られた画像（縮小平滑化画像Ｉ）に対して、拡大処理を行う。拡大処理は、エッジを保存しながら縮小平滑化画像を拡大する。拡大倍率は、上記の縮小率の逆数とすることができ、この場合拡大後の画像（拡大画像）Ｊのサイズは入力輝度画像Ｌと同じになる。例えば、縮小率が１／４であるなら、拡大率は４倍としてもよい。
【００２５】
輝度画像Ｌの縮小状態でエッジ保存平滑化を行うことで、照明光成分（即ち、エッジ保存拡大部３２から出力される平滑化画像J）を得るための演算量が低減できる。
【００２６】
次に、エッジ保存拡大部３２が行う好適な拡大処理について説明する。なお、拡大処理は、画像拡大後の補間も伴う。エッジ保存拡大部３２は、エッジを保存しながら縮小平滑化画像Ｉを拡大する。エッジ保存拡大部３２の補間処理において、バイラテラルフィルタに似たエッジ保存平滑化フィルタを適用する。従来から知られているバイリニア法やバイキュービック法などの補間を用いた拡大処理では、元画像にあったエッジが崩れて拡大されてしまう。
【００２７】
ここで、エッジ保存拡大部３２のエッジ保存平滑化フィルタとバイラテラルフィルタとの違いを述べる。通常のバイラテラルフィルタは、式（１）（２）のように、フィルタ処理の対象画像Ｉを計算し、フィルタ処理の結果画像Ｊを生成する。
【００２８】
【数１】
【００２９】
【数２】
【００３０】
ここで、sは注目画素（即ち、フィルタ処理の対象画素）、Ωはフィルタ範囲を示す。k(s)は注目画素sでのフィルタ結果の正規化値、即ちフィルタ範囲の各参照画素pの係数ｆ・ｇの合計値を示す。また、第一関数fと第二関数gは、各参照画素pの係数値を計算するための関数である。第一関数fは、注目画素sと参照画素pの間の距離に依存する係数値を与え、第二関数gは、注目画素sの画素値Isと参照画素pの画素値Ipの差に依存する係数値を与える。第一関数fと第二関数gは、通常、それぞれ標準偏差σの異なるガウス関数である。
【００３１】
バイラテラルフィルタ処理は、注目画素の画素値Isと参照画素の画素値Ipとの差を計算する。しかし、画素の補間を伴う拡大処理では、ほとんどの場合において、補間前の拡大画像における注目画素sの画素値Isは、補間すべき画素位置における画素値であるので存在しない。従って、通常では、バイラテラルフィルタ処理は、拡大処理の補間には使用できない。
【００３２】
しかし、本実施形態において、エッジ保存拡大部３２の拡大処理における補間において、Isの代わりに、縮小画像Ｍの縮小前の輝度画像Ｌにおいて、注目画素sの位置に対応する画素の画素値Lsを用いて、バイラテラルフィルタ処理が実施される。即ち、エッジ保存拡大部３２は、式（３Ａ）（３Ｂ）で表わされるエッジ保存平滑化フィルタによる補間を用いて、エッジを保存した拡大処理を行い、拡大画像Ｊの画素値Jsを求める。
【００３３】
【数３】
【００３４】
拡大処理を示す式（３Ａ）（３Ｂ）は、補間前の拡大された縮小平滑化画像Ｉの補間したい注目画素sの周りの範囲Ω1の画素について適用される。例えば、参照画素pの位置範囲Ω１は、拡大補間したい画像（縮小平滑化画像Ｉ）において注目画素ｓの周囲に対応する４×４画素が拡大されたものである（図４の画像における斜線で示した領域）。
【００３５】
画素値Jsを求める際に使用される各参照画素ｐに対する重み付け係数は、ｆ(p-s)・ｇ(Ip-Ls)／k(s)であり、各参照画素の画素値Ipと注目画素に対応する入力画像の画素値Lsとの差Ip-Lsおよび、注目画素ｓと各参照画素ｐの距離‖p-s‖に基づいて設定される。
【００３６】
図４は、エッジ保存拡大部３２の機能ブロック図である。拡大部４０は、縮小平滑化画像Ｉを縮小前の輝度画像Ｌのサイズへと拡大する。
【００３７】
第一計算部４１は、補間前の拡大された縮小平滑化画像Ｉにおいて、注目画素ｓ（補間すべき画素）と参照画素ｐとの距離‖p-s‖を計算し、距離‖p-s‖から第一関数fを計算する。参照画素ｐは、縮小平滑化画像Ｉの４×４画素が拡大された画素の集合（範囲Ω1）から順に選択される。なお、本実施形態では第一関数fとして、片側ガウス関数曲線（点線）を２点で屈曲する折れ線で近似した折れ線近似関数（実線）を用いている。これにより、片側ガウス関数を用いる場合に比べて第１関数ｆの計算処理を高速化することができる。
【００３８】
第二計算部４２は、補間前の拡大された縮小平滑化画像Ｉの参照画素ｐの画素値Ipと、輝度画像Ｌにおいて注目画素sの位置に対応する画素の画素値Lsとの画素値差｜Ip-Ls｜を計算し、画素値差｜Ip-Ls｜から第二関数ｇを計算する。なお、本実施形態では第二関数ｇとして、片側ガウス関数曲線（点線）を２点で屈曲する折れ線で近似した折れ線近似関数（実線）を用いている。これにより、片側ガウス関数を用いる場合に比べて第２関数ｇの計算処理を大幅に高速化することができる。
【００３９】
第一乗算部４３は、第一関数fと第二関数ｇを乗算して積ｆ・ｇを求める。第二乗算部４４は、積ｆ・ｇに画素値Ipを乗算して積ｆ・ｇ・Ipを求める。
【００４０】
第一合計部４５は、範囲Ω1のすべての参照画素ｐについてｆ・ｇを合計して、Σｆ・ｇ（＝k(s)）を計算する。第二合計部４６は、範囲Ω1のすべての参照画素ｐについてｆ・ｇ・Ipを合計して、Σｆ・ｇ・Ipを計算する。画素値算出部４７は、Σｆ・ｇ・Ip をk(s)で除算して、拡大画像Ｊの画素値Jsを求める。エッジ保存拡大部３２は、補間する対象である注目画素ｓを順次変えることにより、拡大画像Ｊを求める。
【００４１】
なお、画像処理装置１が入力された単色（モノクロ）画像に対して、階調補正処理とテクスチャ補正処理を行う場合、輝度生成部１０は不要となる。
【００４２】
−作用効果−
本実施形態による画像処理装置１は、縮小部３０によって生成された縮小画像にエッジを保存した状態で平滑化処理を施す縮小画像平滑化部３１を有する。画像処理装置１は、さらに、縮小画像平滑化部３１によって生成された画像を、エッジを保存した状態で拡大して画像Ｊを生成するエッジ保存拡大部３２とを備える。エッジ保存拡大部３２は、縮小画像平滑化部３１によって生成された画像Ｉを拡大する際に、画素の補間を伴うフィルタ処理を行う。また、エッジ保存拡大部３２は、各参照画素の画素値の重み付け加算（式（３Ａ））に基づいてフィルタ処理の対象となる注目画素ｓの画素値Jsを決定する。エッジ保存拡大部は、各参照画素ｐの画素値Ipに対する重み付け係数ｆ(p-s)・ｇ(Ip-Ls)／k(s)を、注目画素sに対応する入力画像の画素値Lsと各参照画素の画素値Ipとの差(Ip-Ls)および、注目画素ｓと各参照画素ｐの距離‖p-s‖に基づいて設定する。
【００４３】
これにより、少ない演算量で、階調補正結果にハローアーティファクトが発生しないような照明光成分画像Ｊをエッジ保存拡大部３２の出力として生成することができる。本実施形態では、非特許文献３の技術と比べて、照明光成分画像を生成する演算量が減少し、補正処理全体の演算速度が４．６倍程度に向上する。画像処理装置の回路規模も、非特許文献３の技術と比べて小さくなる。
【００４４】
［第二実施形態］
第二実施形態において、エッジ保存平滑化部２０のエッジ保存拡大部の構成が第一実施形態とは異なる。他の構成は、第一実施形態と同じである。
【００４５】
第二実施形態において、エッジ保存拡大部５０は、式（４Ａ）（４Ｂ）で表わされる補間を用いて、エッジを保存した拡大処理を行い、拡大画像Ｊの画素値Jsを求める。
【００４６】
【数４】
【００４７】
パラメータαは、係数の合計値k(s)が小さくなるに従って大きくなる。例えば、合計値k(s)が閾値threshより小さい場合に、パラメータαは、閾値threshと合計値k(s)との差である。合計値k(s)が閾値threshより大きい場合に、パラメータαはゼロになる。αLsの項により、係数の合計値k(s)が小さくなるに従って、拡大画像Ｊの画素値Jsに入力輝度画像Ｌの画素の画素値Lsが大きく混合する。
【００４８】
図５は、第二実施形態のエッジ保存拡大部５０の機能ブロック図である。第二実施形態のエッジ保存拡大部５０は、第一実施形態のエッジ保存拡大部３２の各部４０―４６に、パラメータ算出部５１、第一加算部５２、第三乗算部５３、第二加算部５４、画素値算出部５５を追加したものである。
【００４９】
パラメータ算出部５１は、閾値threshと第一合計部４５が求めた合計値k(s)との差に基づいて、パラメータαを算出する。第一加算部５２は、合計値k(s)とパラメータαとの和α＋k(s)を算出する。第三乗算部５３は、パラメータαと画素値Lsとの積αLsを算出する。第二加算部５４は、積αLsと第二合計部４６が求めたΣｆ・ｇ・Ipとの和（Σｆ・ｇ・Ip＋αLs）を求める。画素値算出部５５は、和（Σｆ・ｇ・Ip＋αLs）を和α＋k(s)で除算して、拡大画像Ｊの画素値Jsを求める。
【００５０】
次に、第二実施形態の作用効果を説明する。第一実施形態のエッジ保存平滑化部２０が生成したエッジ保存平滑化画像（拡大画像Ｊ）を使って階調補正部２１が階調補正処理を行った場合、図６（ａ）のように、階調補正された画像において、やや斜めで明暗の差が大きいエッジ部分に、エッジ部分に沿った濃淡の繰り返しが発生する可能性がある。これは、エッジ部分において、輝度画像Ｌの画素値Lsと参照画素の画素値Ipと差が小さくなるような参照画素pが少なくなるためである。即ち、拡大処理における補間（式（３Ａ））において、画素値に関する全ての係数ｇ(Ip-Ls)が同じように小さくなるため、各画素による係数ｇ(Ip-Ls)の変化がなくなることが原因である。
【００５１】
そこで、第二実施形態において、エッジ保存拡大部５０は、重み付け係数ｆ(p-s)・ｇ(Ip-Ls)／（α＋k(s)）を、各参照画素の画素値Ipと注目画素に対応する入力画像の画素値Lsの画素値との差（Ip-Ls）に応じて定めた係数値ｆ・ｇに比例するように設定する。さらに、エッジ保存拡大部５０は、係数値ｆ・ｇの合計k(s)が小さくなるに従って、注目画素に対応する入力画像の画素値Lsを注目画素の画素値に大きく混合させる。これにより、図６（ｂ）のようにエッジ部分に沿った濃淡の繰り返しが防止できる。
【００５２】
［第三実施形態］
第三実施形態において、エッジ保存平滑化部２０の縮小画像平滑化部３１の構成が第一実施形態とは異なる。他の構成は、第一実施形態と同じである。
【００５３】
第三実施形態において、第一実施形態に加えてさらにエッジ保存平滑化部２０の演算量が低減される。縮小画像平滑化部３１は式（５Ａ）（５Ｂ）で示したようなバイラテラルフィルタで処理を行える。
【００５４】
【数５】
【００５５】
ここで、sは注目画素（即ち、フィルタ処理の対象画素）、Ωはフィルタ範囲を示す。k(s)は注目画素sでのフィルタ結果の正規化値、即ちフィルタ範囲の各参照画素pの係数ｆ・ｇの合計値を示す。また、第一関数fと第二関数gは、各参照画素pの係数値を計算するための関数である。第一関数fは、注目画素sと参照画素pの間の距離‖p-s‖に依存する係数値を与え、第二関数gは、縮小画像Ｍの注目画素sの画素値Msと参照画素pの画素値Mpの差に依存する係数値を与える。第一関数fと第二関数gは、通常、それぞれ標準偏差σの異なるガウス関数であり、エッジ保存拡大部３２で使用するものとも異なる。
【００５６】
しかし、乗算は、加算などと比べて演算コストが高いため、より少ないほうが好ましい。このため、エッジ保存平滑化部２０の縮小画像平滑化部３１は、距離‖p-s‖に依存する係数値ｆの乗算を省略して、縮小画像Ｍをエッジ保存平滑化する。
【００５７】
仮に、バイラテラルフィルタが適用されると仮定すると、バイラテラルフィルタの各参照画素に対する係数ｆは、注目画素ｓと参照画素ｐとの距離rによって決まる関数f(r)となる。この際、注目画素ｓから距離rの位置にある参照画素ｐの係数の合計は2πr・f(r)である（即ちr・f(r) に比例する）。
【００５８】
従って、注目画素ｓを中心とする円周上の参照画素ｐの単位面積当たりの密度が、距離rに応じてf(r)となるように調整されれば、距離（半径）rの円周上の参照画素ｐの係数の合計はr・f(r)に比例する。このように参照画素ｐの密度を調整することは、注目画素ｓからの距離ｒによって決まる係数f(r)を掛けることと同じ効果があると考えられる。
【００５９】
第三実施形態において、バイラテラルフィルタを適用するには、注目画素ｓからの距離による係数ｆを使用する代わりに、注目画素ｓからの距離rに応じて参照画素ｐの密度に粗密を設けて、粗密のある参照が行われる。そして、画素値の差による係数ｇのみについて式（６Ａ)（６Ｂ）の計算をすれば良い。
【００６０】
【数６】
【００６１】
具体的には、図７の斜線で示すように、参照画素ｐの位置範囲Ω２は、例えば、参照範囲が縦横±８画素の範囲である場合には、注目画素ｓを中心に４５°間隔で８方向のみ、更に、ｘ、ｙ方向で４画素間隔の画素位置でよい。この場合、図８のように、注目画素ｓからの距離rと参照画素ｐの密度の関係は、ガウス関数に近くなるため、位置範囲Ω２を図７のように設定することは、ｆをガウス関数に設定することと等価となる。例えば、距離rの参照画素ｐの密度は、図８においては、画素の同心円の間の隣接する中間線６１の間に位置する距離rの参照画素の個数を、中間線６１の間の面積Ｓで除算して求めることができる。実際の画像に対して第三実施形態のエッジ保存平滑化処理を行うと、第一実施形態と同様の結果が得られる。
【００６２】
第三実施形態において、縮小画像平滑化部３１は、縮小画像Ｍの注目画素（フィルタ処理の対象画素）ｓの周囲の参照画素ｐの密度を、注目画素ｓからの距離r（=‖p-s‖）に応じて変化させる。縮小画像平滑化部３１は、重み付け係数ｇ(Mp-Ms)／k(s)を、縮小画像Ｍの注目画素（対象画素）ｓの画素値と各参照画素の画素値との差Mp-Msに基づいて設定する。このため、掛算を減らす効果のほかに、更に参照画素数を減らせる効果があるため、照明光成分（即ち、縮小画像平滑化部３１からの画像Ｉ）を得るための演算量がさらに低減できる。
【００６３】
［その他の実施形態］
上述した各実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、コンピュータに相当し、ＣＰＵ、ＲＡＭ等の主記憶装置と、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体とを備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理部と同様の処理を実現させる。
【００６４】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００６５】
図９（ａ）−（ｃ）は、画像処理装置（コンピュータ）が実行するプログラムを示す。図９（ａ）は、画像処理のメインルーチンを示す。図９（ｂ）は、補正処理のサブルーチンを示す。図９（ｃ）は、エッジ保存平滑化処理のサブルーチンを示す。図９（ａ）のステップＳ１０―Ｓ１３で行われる処理は、それぞれ、図１の各部１０−１３が行う処理に対応する。図９（ｂ）のステップＳ２０―Ｓ２４で行われる処理は、それぞれ、図２の各部２０−２４が行う処理に対応する。図９（ｃ）のステップＳ３０―Ｓ３２で行われる処理は、それぞれ、図３の各部３０−３２が行う処理に対応する。
【００６６】
本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【符号の説明】
【００６７】
１０ 輝度画像生成部（輝度画像生成手段）
１１ 補正処理部（補正処理手段）
１２ ゲイン生成部（ゲイン生成手段）
１３ ゲイン適用部（ゲイン適用手段）
２０ エッジ保存平滑化部（エッジ保存平滑化手段）
２１ 階調補正部（階調補正手段）
２２ テクスチャ成分生成部（テクスチャ成分生成手段）
２３ テクスチャ補正部（テクスチャ成分生成手段）
２４ 合成処理部（合成処理手段）
３０ 縮小部（縮小手段）
３１ 縮小画像平滑化部（縮小画像平滑化手段）
３２ エッジ保存拡大部（エッジ保存拡大手段）
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラム、及び、画像処理方法に関する。
【背景技術】
【０００２】
従来、階調補正処理などを行う際に、人の視覚モデルに関するレティネックス理論（特許文献１参照）に基づいて、画像は照明光成分と反射率成分とに分離され、照明光成分のみに対して階調補正処理が行われる（例えば、特許文献２参照）。これにより、視覚的に良好な処理画像が得られる。ここで、階調補正処理とは、画像のダイナミックレンジを狭めたり、暗部や明部を適正な明るさにしたりする変換である。照明光成分とは、照明光による影響が多く含まれた成分画像であり、反射率成分とは、被写体の反射率による影響が多く含まれた成分画像である。また、テクスチャ補正処理を行う際には、分離した反射率成分のみに対して補正処理を行うと、視覚的に良好な処理画像が得られる。これらの補正処理は、一つの画像のそれぞれの成分に対して同時に行っても良い。
【０００３】
レティネックス理論で述べている照明光成分画像を生成する際に、特にエッジに隣接した領域で適切に照明光成分が得られていないと、階調補正後の画像のエッジに隣接した領域にハローアーティファクトが出現してしまう問題が起こる。この問題を解決するためには、物体の輪郭などのエッジを保持しつつ、エッジ以外の領域では平滑化を行う非線形フィルタ（例えばバイラテラルフィルタ（bilateral filter））を使用し、且つ、フィルタの参照画素の範囲は広くする必要がある。従って、照明光成分画像を生成するために、非常に多くの演算量が必要である。
【０００４】
そこで、例えば、非特許文献３に示したファーストバイラテラルフィルタ（fast bilateral filtering）のような高速化された演算手法が提案されている
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】EH Land and JJ McCann,"Lightness and retinex theory," J. Opt. Soc.Am. 61, 1 (1971)
【非特許文献２】Kuang, J., Johnson, G. M., Fairchild M. D.「iCAM06: A refined image appearance model for HDR image rendering」Journal of Visual Communication and Image Representation Volume 18, Issue 5, October 2007, Pages 406-414
【非特許文献３】「Fast Bilateral Filtering for the Display of High-Dynamic-Range Images」Fredo Durand and Julie Dorsey著、SIGGRAPH 2002
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献３に示したファースト・バイラテラルフィルタ（fast bilateral filtering）では、演算量は依然として多かった。
【０００７】
本発明の目的は、少ない演算量で、階調補正が施された画像にハローアーティファクトが発生しないような照明光成分画像を生成することである。
【課題を解決するための手段】
【０００８】
本発明のある態様に係る画像処理装置は、エッジ保存平滑化を行う画像処理装置であって、入力画像を縮小する縮小手段と、前記縮小手段によって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化手段と、前記縮小画像平滑化手段によって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大手段とを備える。前記エッジ保存拡大手段は、前記縮小画像平滑化手段によって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、前記エッジ保存拡大手段は、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする。
【０００９】
本発明の別の態様に係る画像処理方法は、エッジ保存平滑化を行う画像処理方法であって、入力画像を縮小する縮小ステップと、前記縮小ステップによって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化ステップと、前記縮小画像平滑化ステップによって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大ステップとを含む。 前記エッジ保存拡大ステップは、前記縮小画像平滑化ステップによって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、前記エッジ保存拡大ステップは、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする。
【００１０】
本発明のさらに別の態様に係る画像処理プログラムは、エッジ保存平滑化を行う画像処理プログラムであって、入力画像を縮小する縮小手順と、前記縮小手順によって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化手順と、前記縮小画像平滑化手順によって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大手順とを、コンピュータに実行させる。前記エッジ保存拡大手順は、前記縮小画像平滑化手順によって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、前記エッジ保存拡大手順は、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする。
【発明の効果】
【００１１】
本発明によると、少ない演算量で、階調補正後の画像にハローアーティファクトが発生しないような照明光成分画像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】第一実施形態に係る画像処理装置を示すブロック図である。
【図２】第一実施形態に係る補正処理部の詳細を示すブロック図である。
【図３】第一実施形態に係るエッジ保存平滑化部の詳細を示すブロック図である。
【図４】第一実施形態に係るエッジ保存拡大部の機能ブロック図である。
【図５】第二実施形態に係るエッジ保存拡大部の機能ブロック図である。
【図６】（ａ）エッジ部分に沿った濃淡の繰り返しが発生した画像を示す図である。（ｂ）第二実施形態により、エッジ部分に沿った濃淡の繰り返しが発生しない画像を示す図である。
【図７】第三実施形態による参照画素の位置範囲を示す図である。
【図８】第三実施形態において、注目画素からの距離と参照画素の密度との関係を示す図である。
【図９】（ａ）画像処理プログラムのメインルーチンを示すフローチャートである。（ｂ）補正処理のサブルーチンを示すフローチャートである。（ｃ）エッジ保存平滑化処理のサブルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１３】
［第一実施形態］
図１は、第一実施形態に係る画像処理装置１（又は画像処理システム）のブロック図である。画像処理装置１は電子機器に搭載される。電子機器の例として、テレビジョン受像機、プリンタ、スチルカメラ、ビデオカメラなどが挙げられる。画像処理装置１は、画像に対してエッジ保存平滑化処理を行う部分（後述のエッジ保存平滑化部２０）を有する。エッジ保存平滑化処理は、レティネックス理論による照明光成分を含む照明光成分画像を生成する処理に相当する。
【００１４】
画像処理装置１は、入力されたカラー画像（例えばＲＧＢ画像）に対して、階調補正処理とテクスチャ補正処理を行う。画像処理装置１は、輝度画像生成部１０、補正処理部１１、ゲイン生成部１２、ゲイン適用部１３を備える。例えば、各部１０−１３は論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と演算プログラムを格納するメモリなどから構成してもよい。
【００１５】
輝度画像生成部１０は、カラー画像を輝度画像に変換するもので、例えば、画素ごとにＲＧＢ−ＹＩＱ変換により輝度値（Ｙ）を得て、輝度値（Ｙ）を画素値として有する輝度画像を生成する。補正処理部１１は、カラー画像より生成した輝度画像に対して階調補正処理及びテクスチャ補正処理を行う。ゲイン生成部１２は、カラー画像の各色の階調変換に使用するゲインを生成する。例えば、ゲイン生成部１２は、補正処理部１１による処理後の画像と処理前の画像との間の各画素における輝度値の比を、カラー画像の各色のゲインに設定する。ゲイン適用部１３は、ゲイン生成部１２で生成されたゲインを、カラー画像の各色の階調変換に適用する。
【００１６】
図２は、上記の補正処理部１１の詳細を示すブロック図である。補正処理部１１は、エッジ保存平滑化部２０、階調補正部２１、テクスチャ成分生成部２２、テクスチャ補正部２３、合成処理部２４を備える。例えば、各部２０−２４は論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と演算プログラムを格納するメモリなどから構成してもよい。
【００１７】
エッジ保存平滑化部２０は、輝度画像生成部１０から入力された輝度画像に対してエッジ保存平滑化を実施することでエッジが保存された平滑化画像Ｊを作る。なお、平滑化画像Ｊは、照明光成分に相当する。階調補正部２１は、平滑化画像Ｊに対して階調補正処理を行う。階調補正処理は、既に知られているガンマカーブで画素の輝度値を変換する方法や、ヒストグラム平滑化を用いた方法などである。
【００１８】
テクスチャ成分生成部２２は、平滑化画像Ｊと入力輝度画像Ｌの画素の輝度値（画素値）の差又は比を計算することによりテクスチャ成分画像を生成する。なお、テクスチャ成分画像は、反射率成分に相当する。テクスチャ補正部２３は、例えば、一定数を乗算又は冪（べき）算する方法などで、テクスチャ成分画像に対してテクスチャ補正を実施する。合成処理部２４は、階調補正部２１とテクスチャ補正部２３において生成された階調補正画像とテクスチャ補正画像を合成する。合成処理部２４からの出力画像は、階調補正及びテクスチャ補正が実施された輝度画像である。
【００１９】
以上に、補正処理部１１が階調補正処理とテクスチャ補正処理の両方を実施する場合を述べたが、補正処理部１１は何れか一方の処理のみをしてもよい。
【００２０】
図３は、本実施形態の特徴部分であるエッジ保存平滑化部２０の詳細を示すブロック図である。
【００２１】
エッジ保存平滑化部２０は、縮小部３０、縮小画像平滑化部３１、エッジ保存拡大部３２を備える。例えば、各部３０−３２は論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と演算プログラムを格納するメモリなどから構成してもよい。
【００２２】
縮小部３０は、輝度画像生成部１０からの輝度画像Ｌを所定の縮小率で縮小（圧縮）する縮小処理を行う。縮小処理の一例は、画素の間引きである。縮小処理として画素の間引きのみが行われる場合、演算量が小さい。
【００２３】
縮小画像平滑化部３１は、縮小部３０で縮小された画像（縮小画像Ｍ）に対して、エッジ保存平滑化処理を施す。エッジ保存平滑化処理は、エッジを保存した状態で画像を平滑化する処理である。このエッジ保存平滑化処理の一例は、エッジ保存平滑化フィルタとして公知のバイラテラルフィルタを用いる処理である。
【００２４】
エッジ保存拡大部３２は、縮小画像平滑化部３１で得られた画像（縮小平滑化画像Ｉ）に対して、拡大処理を行う。拡大処理は、エッジを保存しながら縮小平滑化画像を拡大する。拡大倍率は、上記の縮小率の逆数とすることができ、この場合拡大後の画像（拡大画像）Ｊのサイズは入力輝度画像Ｌと同じになる。例えば、縮小率が１／４であるなら、拡大率は４倍としてもよい。
【００２５】
輝度画像Ｌの縮小状態でエッジ保存平滑化を行うことで、照明光成分（即ち、エッジ保存拡大部３２から出力される平滑化画像J）を得るための演算量が低減できる。
【００２６】
次に、エッジ保存拡大部３２が行う好適な拡大処理について説明する。なお、拡大処理は、画像拡大後の補間も伴う。エッジ保存拡大部３２は、エッジを保存しながら縮小平滑化画像Ｉを拡大する。エッジ保存拡大部３２の補間処理において、バイラテラルフィルタに似たエッジ保存平滑化フィルタを適用する。従来から知られているバイリニア法やバイキュービック法などの補間を用いた拡大処理では、元画像にあったエッジが崩れて拡大されてしまう。
【００２７】
ここで、エッジ保存拡大部３２のエッジ保存平滑化フィルタとバイラテラルフィルタとの違いを述べる。通常のバイラテラルフィルタは、式（１）（２）のように、フィルタ処理の対象画像Ｉを計算し、フィルタ処理の結果画像Ｊを生成する。
【００２８】
【数１】
【００２９】
【数２】
【００３０】
ここで、sは注目画素（即ち、フィルタ処理の対象画素）、Ωはフィルタ範囲を示す。k(s)は注目画素sでのフィルタ結果の正規化値、即ちフィルタ範囲の各参照画素pの係数ｆ・ｇの合計値を示す。また、第一関数fと第二関数gは、各参照画素pの係数値を計算するための関数である。第一関数fは、注目画素sと参照画素pの間の距離に依存する係数値を与え、第二関数gは、注目画素sの画素値Isと参照画素pの画素値Ipの差に依存する係数値を与える。第一関数fと第二関数gは、通常、それぞれ標準偏差σの異なるガウス関数である。
【００３１】
バイラテラルフィルタ処理は、注目画素の画素値Isと参照画素の画素値Ipとの差を計算する。しかし、画素の補間を伴う拡大処理では、ほとんどの場合において、補間前の拡大画像における注目画素sの画素値Isは、補間すべき画素位置における画素値であるので存在しない。従って、通常では、バイラテラルフィルタ処理は、拡大処理の補間には使用できない。
【００３２】
しかし、本実施形態において、エッジ保存拡大部３２の拡大処理における補間において、Isの代わりに、縮小画像Ｍの縮小前の輝度画像Ｌにおいて、注目画素sの位置に対応する画素の画素値Lsを用いて、バイラテラルフィルタ処理が実施される。即ち、エッジ保存拡大部３２は、式（３Ａ）（３Ｂ）で表わされるエッジ保存平滑化フィルタによる補間を用いて、エッジを保存した拡大処理を行い、拡大画像Ｊの画素値Jsを求める。
【００３３】
【数３】
【００３４】
拡大処理を示す式（３Ａ）（３Ｂ）は、補間前の拡大された縮小平滑化画像Ｉの補間したい注目画素sの周りの範囲Ω1の画素について適用される。例えば、参照画素pの位置範囲Ω１は、拡大補間したい画像（縮小平滑化画像Ｉ）において注目画素ｓの周囲に対応する４×４画素が拡大されたものである（図４の画像における斜線で示した領域）。
【００３５】
画素値Jsを求める際に使用される各参照画素ｐに対する重み付け係数は、ｆ(p-s)・ｇ(Ip-Ls)／k(s)であり、各参照画素の画素値Ipと注目画素に対応する入力画像の画素値Lsとの差Ip-Lsおよび、注目画素ｓと各参照画素ｐの距離‖p-s‖に基づいて設定される。
【００３６】
図４は、エッジ保存拡大部３２の機能ブロック図である。拡大部４０は、縮小平滑化画像Ｉを縮小前の輝度画像Ｌのサイズへと拡大する。
【００３７】
第一計算部４１は、補間前の拡大された縮小平滑化画像Ｉにおいて、注目画素ｓ（補間すべき画素）と参照画素ｐとの距離‖p-s‖を計算し、距離‖p-s‖から第一関数fを計算する。参照画素ｐは、縮小平滑化画像Ｉの４×４画素が拡大された画素の集合（範囲Ω1）から順に選択される。なお、本実施形態では第一関数fとして、片側ガウス関数曲線（点線）を２点で屈曲する折れ線で近似した折れ線近似関数（実線）を用いている。これにより、片側ガウス関数を用いる場合に比べて第１関数ｆの計算処理を高速化することができる。
【００３８】
第二計算部４２は、補間前の拡大された縮小平滑化画像Ｉの参照画素ｐの画素値Ipと、輝度画像Ｌにおいて注目画素sの位置に対応する画素の画素値Lsとの画素値差｜Ip-Ls｜を計算し、画素値差｜Ip-Ls｜から第二関数ｇを計算する。なお、本実施形態では第二関数ｇとして、片側ガウス関数曲線（点線）を２点で屈曲する折れ線で近似した折れ線近似関数（実線）を用いている。これにより、片側ガウス関数を用いる場合に比べて第２関数ｇの計算処理を大幅に高速化することができる。
【００３９】
第一乗算部４３は、第一関数fと第二関数ｇを乗算して積ｆ・ｇを求める。第二乗算部４４は、積ｆ・ｇに画素値Ipを乗算して積ｆ・ｇ・Ipを求める。
【００４０】
第一合計部４５は、範囲Ω1のすべての参照画素ｐについてｆ・ｇを合計して、Σｆ・ｇ（＝k(s)）を計算する。第二合計部４６は、範囲Ω1のすべての参照画素ｐについてｆ・ｇ・Ipを合計して、Σｆ・ｇ・Ipを計算する。画素値算出部４７は、Σｆ・ｇ・Ip をk(s)で除算して、拡大画像Ｊの画素値Jsを求める。エッジ保存拡大部３２は、補間する対象である注目画素ｓを順次変えることにより、拡大画像Ｊを求める。
【００４１】
なお、画像処理装置１が入力された単色（モノクロ）画像に対して、階調補正処理とテクスチャ補正処理を行う場合、輝度生成部１０は不要となる。
【００４２】
−作用効果−
本実施形態による画像処理装置１は、縮小部３０によって生成された縮小画像にエッジを保存した状態で平滑化処理を施す縮小画像平滑化部３１を有する。画像処理装置１は、さらに、縮小画像平滑化部３１によって生成された画像を、エッジを保存した状態で拡大して画像Ｊを生成するエッジ保存拡大部３２とを備える。エッジ保存拡大部３２は、縮小画像平滑化部３１によって生成された画像Ｉを拡大する際に、画素の補間を伴うフィルタ処理を行う。また、エッジ保存拡大部３２は、各参照画素の画素値の重み付け加算（式（３Ａ））に基づいてフィルタ処理の対象となる注目画素ｓの画素値Jsを決定する。エッジ保存拡大部は、各参照画素ｐの画素値Ipに対する重み付け係数ｆ(p-s)・ｇ(Ip-Ls)／k(s)を、注目画素sに対応する入力画像の画素値Lsと各参照画素の画素値Ipとの差(Ip-Ls)および、注目画素ｓと各参照画素ｐの距離‖p-s‖に基づいて設定する。
【００４３】
これにより、少ない演算量で、階調補正結果にハローアーティファクトが発生しないような照明光成分画像Ｊをエッジ保存拡大部３２の出力として生成することができる。本実施形態では、非特許文献３の技術と比べて、照明光成分画像を生成する演算量が減少し、補正処理全体の演算速度が４．６倍程度に向上する。画像処理装置の回路規模も、非特許文献３の技術と比べて小さくなる。
【００４４】
［第二実施形態］
第二実施形態において、エッジ保存平滑化部２０のエッジ保存拡大部の構成が第一実施形態とは異なる。他の構成は、第一実施形態と同じである。
【００４５】
第二実施形態において、エッジ保存拡大部５０は、式（４Ａ）（４Ｂ）で表わされる補間を用いて、エッジを保存した拡大処理を行い、拡大画像Ｊの画素値Jsを求める。
【００４６】
【数４】
【００４７】
パラメータαは、係数の合計値k(s)が小さくなるに従って大きくなる。例えば、合計値k(s)が閾値threshより小さい場合に、パラメータαは、閾値threshと合計値k(s)との差である。合計値k(s)が閾値threshより大きい場合に、パラメータαはゼロになる。αLsの項により、係数の合計値k(s)が小さくなるに従って、拡大画像Ｊの画素値Jsに入力輝度画像Ｌの画素の画素値Lsが大きく混合する。
【００４８】
図５は、第二実施形態のエッジ保存拡大部５０の機能ブロック図である。第二実施形態のエッジ保存拡大部５０は、第一実施形態のエッジ保存拡大部３２の各部４０―４６に、パラメータ算出部５１、第一加算部５２、第三乗算部５３、第二加算部５４、画素値算出部５５を追加したものである。
【００４９】
パラメータ算出部５１は、閾値threshと第一合計部４５が求めた合計値k(s)との差に基づいて、パラメータαを算出する。第一加算部５２は、合計値k(s)とパラメータαとの和α＋k(s)を算出する。第三乗算部５３は、パラメータαと画素値Lsとの積αLsを算出する。第二加算部５４は、積αLsと第二合計部４６が求めたΣｆ・ｇ・Ipとの和（Σｆ・ｇ・Ip＋αLs）を求める。画素値算出部５５は、和（Σｆ・ｇ・Ip＋αLs）を和α＋k(s)で除算して、拡大画像Ｊの画素値Jsを求める。
【００５０】
次に、第二実施形態の作用効果を説明する。第一実施形態のエッジ保存平滑化部２０が生成したエッジ保存平滑化画像（拡大画像Ｊ）を使って階調補正部２１が階調補正処理を行った場合、図６（ａ）のように、階調補正された画像において、やや斜めで明暗の差が大きいエッジ部分に、エッジ部分に沿った濃淡の繰り返しが発生する可能性がある。これは、エッジ部分において、輝度画像Ｌの画素値Lsと参照画素の画素値Ipと差が小さくなるような参照画素pが少なくなるためである。即ち、拡大処理における補間（式（３Ａ））において、画素値に関する全ての係数ｇ(Ip-Ls)が同じように小さくなるため、各画素による係数ｇ(Ip-Ls)の変化がなくなることが原因である。
【００５１】
そこで、第二実施形態において、エッジ保存拡大部５０は、重み付け係数ｆ(p-s)・ｇ(Ip-Ls)／（α＋k(s)）を、各参照画素の画素値Ipと注目画素に対応する入力画像の画素値Lsの画素値との差（Ip-Ls）に応じて定めた係数値ｆ・ｇに比例するように設定する。さらに、エッジ保存拡大部５０は、係数値ｆ・ｇの合計k(s)が小さくなるに従って、注目画素に対応する入力画像の画素値Lsを注目画素の画素値に大きく混合させる。これにより、図６（ｂ）のようにエッジ部分に沿った濃淡の繰り返しが防止できる。
【００５２】
［第三実施形態］
第三実施形態において、エッジ保存平滑化部２０の縮小画像平滑化部３１の構成が第一実施形態とは異なる。他の構成は、第一実施形態と同じである。
【００５３】
第三実施形態において、第一実施形態に加えてさらにエッジ保存平滑化部２０の演算量が低減される。縮小画像平滑化部３１は式（５Ａ）（５Ｂ）で示したようなバイラテラルフィルタで処理を行える。
【００５４】
【数５】
【００５５】
ここで、sは注目画素（即ち、フィルタ処理の対象画素）、Ωはフィルタ範囲を示す。k(s)は注目画素sでのフィルタ結果の正規化値、即ちフィルタ範囲の各参照画素pの係数ｆ・ｇの合計値を示す。また、第一関数fと第二関数gは、各参照画素pの係数値を計算するための関数である。第一関数fは、注目画素sと参照画素pの間の距離‖p-s‖に依存する係数値を与え、第二関数gは、縮小画像Ｍの注目画素sの画素値Msと参照画素pの画素値Mpの差に依存する係数値を与える。第一関数fと第二関数gは、通常、それぞれ標準偏差σの異なるガウス関数であり、エッジ保存拡大部３２で使用するものとも異なる。
【００５６】
しかし、乗算は、加算などと比べて演算コストが高いため、より少ないほうが好ましい。このため、エッジ保存平滑化部２０の縮小画像平滑化部３１は、距離‖p-s‖に依存する係数値ｆの乗算を省略して、縮小画像Ｍをエッジ保存平滑化する。
【００５７】
仮に、バイラテラルフィルタが適用されると仮定すると、バイラテラルフィルタの各参照画素に対する係数ｆは、注目画素ｓと参照画素ｐとの距離rによって決まる関数f(r)となる。この際、注目画素ｓから距離rの位置にある参照画素ｐの係数の合計は2πr・f(r)である（即ちr・f(r) に比例する）。
【００５８】
従って、注目画素ｓを中心とする円周上の参照画素ｐの単位面積当たりの密度が、距離rに応じてf(r)となるように調整されれば、距離（半径）rの円周上の参照画素ｐの係数の合計はr・f(r)に比例する。このように参照画素ｐの密度を調整することは、注目画素ｓからの距離ｒによって決まる係数f(r)を掛けることと同じ効果があると考えられる。
【００５９】
第三実施形態において、バイラテラルフィルタを適用するには、注目画素ｓからの距離による係数ｆを使用する代わりに、注目画素ｓからの距離rに応じて参照画素ｐの密度に粗密を設けて、粗密のある参照が行われる。そして、画素値の差による係数ｇのみについて式（６Ａ)（６Ｂ）の計算をすれば良い。
【００６０】
【数６】
【００６１】
具体的には、図７の斜線で示すように、参照画素ｐの位置範囲Ω２は、例えば、参照範囲が縦横±８画素の範囲である場合には、注目画素ｓを中心に４５°間隔で８方向のみ、更に、ｘ、ｙ方向で４画素間隔の画素位置でよい。この場合、図８のように、注目画素ｓからの距離rと参照画素ｐの密度の関係は、ガウス関数に近くなるため、位置範囲Ω２を図７のように設定することは、ｆをガウス関数に設定することと等価となる。例えば、距離rの参照画素ｐの密度は、図８においては、画素の同心円の間の隣接する中間線６１の間に位置する距離rの参照画素の個数を、中間線６１の間の面積Ｓで除算して求めることができる。実際の画像に対して第三実施形態のエッジ保存平滑化処理を行うと、第一実施形態と同様の結果が得られる。
【００６２】
第三実施形態において、縮小画像平滑化部３１は、縮小画像Ｍの注目画素（フィルタ処理の対象画素）ｓの周囲の参照画素ｐの密度を、注目画素ｓからの距離r（=‖p-s‖）に応じて変化させる。縮小画像平滑化部３１は、重み付け係数ｇ(Mp-Ms)／k(s)を、縮小画像Ｍの注目画素（対象画素）ｓの画素値と各参照画素の画素値との差Mp-Msに基づいて設定する。このため、掛算を減らす効果のほかに、更に参照画素数を減らせる効果があるため、照明光成分（即ち、縮小画像平滑化部３１からの画像Ｉ）を得るための演算量がさらに低減できる。
【００６３】
［その他の実施形態］
上述した各実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、コンピュータに相当し、ＣＰＵ、ＲＡＭ等の主記憶装置と、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体とを備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理部と同様の処理を実現させる。
【００６４】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。
【００６５】
図９（ａ）−（ｃ）は、画像処理装置（コンピュータ）が実行するプログラムを示す。図９（ａ）は、画像処理のメインルーチンを示す。図９（ｂ）は、補正処理のサブルーチンを示す。図９（ｃ）は、エッジ保存平滑化処理のサブルーチンを示す。図９（ａ）のステップＳ１０―Ｓ１３で行われる処理は、それぞれ、図１の各部１０−１３が行う処理に対応する。図９（ｂ）のステップＳ２０―Ｓ２４で行われる処理は、それぞれ、図２の各部２０−２４が行う処理に対応する。図９（ｃ）のステップＳ３０―Ｓ３２で行われる処理は、それぞれ、図３の各部３０−３２が行う処理に対応する。
【００６６】
本発明は上記の各実施形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【符号の説明】
【００６７】
１０ 輝度画像生成部（輝度画像生成手段）
１１ 補正処理部（補正処理手段）
１２ ゲイン生成部（ゲイン生成手段）
１３ ゲイン適用部（ゲイン適用手段）
２０ エッジ保存平滑化部（エッジ保存平滑化手段）
２１ 階調補正部（階調補正手段）
２２ テクスチャ成分生成部（テクスチャ成分生成手段）
２３ テクスチャ補正部（テクスチャ成分生成手段）
２４ 合成処理部（合成処理手段）
３０ 縮小部（縮小手段）
３１ 縮小画像平滑化部（縮小画像平滑化手段）
３２ エッジ保存拡大部（エッジ保存拡大手段）
【特許請求の範囲】
【請求項１】
エッジ保存平滑化を行う画像処理装置であって、
入力画像を縮小する縮小手段と、
前記縮小手段によって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化手段と、
前記縮小画像平滑化手段によって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大手段とを備え、
前記エッジ保存拡大手段は、前記縮小画像平滑化手段によって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、
前記エッジ保存拡大手段は、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする画像処理装置。
【請求項２】
前記エッジ保存拡大手段は、前記重み付け係数を、前記注目画素に対応する前記入力画像の画素値と各参照画素の画素値との差に応じて定めた係数値に比例するように設定し、
前記エッジ保存拡大手段は、前記係数値の合計が小さくなるに従って、前記注目画素に対応する前記入力画像の画素値を前記注目画素の画素値に大きく混合させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記縮小画像平滑化手段は、前記縮小画像に対して重み付け加算に基づくフィルタ処理を行い、前記フィルタ処理の対象画素の周囲の参照画素の密度を、前記対象画素からの距離に応じて変化させ、
前記縮小画像平滑化手段は、重み付け係数を、前記縮小画像の前記対象画像の画素値と各参照画素の画素値との差に基づいて設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
請求項１から請求項３のいずれか一つに記載の画像処理装置を備えることを特徴とする電子機器。
【請求項５】
エッジ保存平滑化を行う画像処理方法であって、
入力画像を縮小する縮小ステップと、
前記縮小ステップによって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化ステップと、
前記縮小画像平滑化ステップによって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大ステップとを含み、
前記エッジ保存拡大ステップは、前記縮小画像平滑化ステップによって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、
前記エッジ保存拡大ステップは、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする画像処理方法。
【請求項６】
エッジ保存平滑化を行う画像処理プログラムであって、
入力画像を縮小する縮小手順と、
前記縮小手順によって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化手順と、
前記縮小画像平滑化手順によって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大手順とを、コンピュータに実行させ、
前記エッジ保存拡大手順は、前記縮小画像平滑化手順によって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、
前記エッジ保存拡大手順は、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする画像処理プログラム。
【請求項１】
エッジ保存平滑化を行う画像処理装置であって、
入力画像を縮小する縮小手段と、
前記縮小手段によって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化手段と、
前記縮小画像平滑化手段によって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大手段とを備え、
前記エッジ保存拡大手段は、前記縮小画像平滑化手段によって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、
前記エッジ保存拡大手段は、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする画像処理装置。
【請求項２】
前記エッジ保存拡大手段は、前記重み付け係数を、前記注目画素に対応する前記入力画像の画素値と各参照画素の画素値との差に応じて定めた係数値に比例するように設定し、
前記エッジ保存拡大手段は、前記係数値の合計が小さくなるに従って、前記注目画素に対応する前記入力画像の画素値を前記注目画素の画素値に大きく混合させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記縮小画像平滑化手段は、前記縮小画像に対して重み付け加算に基づくフィルタ処理を行い、前記フィルタ処理の対象画素の周囲の参照画素の密度を、前記対象画素からの距離に応じて変化させ、
前記縮小画像平滑化手段は、重み付け係数を、前記縮小画像の前記対象画像の画素値と各参照画素の画素値との差に基づいて設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
請求項１から請求項３のいずれか一つに記載の画像処理装置を備えることを特徴とする電子機器。
【請求項５】
エッジ保存平滑化を行う画像処理方法であって、
入力画像を縮小する縮小ステップと、
前記縮小ステップによって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化ステップと、
前記縮小画像平滑化ステップによって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大ステップとを含み、
前記エッジ保存拡大ステップは、前記縮小画像平滑化ステップによって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、
前記エッジ保存拡大ステップは、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする画像処理方法。
【請求項６】
エッジ保存平滑化を行う画像処理プログラムであって、
入力画像を縮小する縮小手順と、
前記縮小手順によって生成された縮小画像に、エッジを保存した状態で平滑化処理を施す縮小画像平滑化手順と、
前記縮小画像平滑化手順によって生成された画像を、エッジを保存した状態で拡大するエッジ保存拡大手順とを、コンピュータに実行させ、
前記エッジ保存拡大手順は、前記縮小画像平滑化手順によって生成された画像を拡大する際に、画素の補間を伴うフィルタ処理を行い、各参照画素の画素値の重み付け加算に基づいて前記フィルタ処理の対象となる注目画素の画素値を決定し、
前記エッジ保存拡大手順は、各参照画素の画素値に対する重み付け係数を、前記注目画素に対応する前記入力画像の画素値と前記各参照画素の画素値との差、及び、拡大後の前記注目画素と各参照画素の距離に基づいて設定することを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図６】
【公開番号】特開２０１２−８５１８２（Ｐ２０１２−８５１８２Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２３０９４９（Ｐ２０１０−２３０９４９）
【出願日】平成２２年１０月１３日（２０１０．１０．１３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月１３日（２０１０．１０．１３）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]