画像理装置および方法、並びにプログラム
【課題】画像の画質の劣化を抑制し、十分な平滑化効果を得ることができるようにする。
【解決手段】バイラテラルフィルタやεフィルタなど輝度軸の重み関数を利用するエッジ保存平滑化では、比較的緩い勾配のエッジやグラデーション領域において、適切に平滑化できなかったり、擬似輪郭状のアーチファクトが発生したりすることがあった。そこで、異なる広がりを持つ複数の正規化した輝度軸重み関数を用いて、局所領域内の画素毎の重み値を算出する。その重み値の総和が最大となる輝度軸重み関数によるエッジ保存平滑化結果を選択する。本発明は、画像処理装置に適用することができる。
【解決手段】バイラテラルフィルタやεフィルタなど輝度軸の重み関数を利用するエッジ保存平滑化では、比較的緩い勾配のエッジやグラデーション領域において、適切に平滑化できなかったり、擬似輪郭状のアーチファクトが発生したりすることがあった。そこで、異なる広がりを持つ複数の正規化した輝度軸重み関数を用いて、局所領域内の画素毎の重み値を算出する。その重み値の総和が最大となる輝度軸重み関数によるエッジ保存平滑化結果を選択する。本発明は、画像処理装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、画像の画質の劣化を抑制し、かつ十分な平滑化効果を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像処理技術の１つにエッジ保存平滑化処理がある。エッジ保存平滑化とは、画像中の物体境界など顕著な輝度段差は残しつつ階調を平滑化する非線形フィルタ処理である。視認性に影響する物体輪郭を保存しながら微細な輝度変動を除去するので、古くからノイズリダクション処理に用いられている（例えば、非特許文献１乃至非特許文献３参照）。
【０００３】
またエッジ保存平滑化処理は、物体内のテクスチャの微細な輝度変動と物体輪郭の顕著な輝度段差を分離できる性質を利用して、テクスチャに代表されるディテール成分を変化させることなく、それ以外の成分の輝度差を圧縮する階調補正処理にも用いられている（例えば、非特許文献４および非特許文献５参照）。
【０００４】
そのようなエッジ保存平滑化処理の中で、近年バイラテラルフィルタと呼ばれる技術がよく利用されている。一般に、画像I(p)に対するバイラテラルフィルタBLF(p)は、次式（１）に示されるように、空間方向の重み関数ω(q-p)と輝度値方向の重み関数φ(I(q)-I(p))の2つで重み付けした画素位置pの周囲の画素値I(q)を加算する演算をおこなう。
【０００５】
【数１】
【０００６】
式（１）において右辺の分母は重み値の正規化係数を示す。
【０００７】
例えば非特許文献４にはバイラテラルフィルタを用いた階調補正処理技術が開示されている。バイラテレルフィルタにおける空間および輝度方向の重み関数形状は任意だが、画像処理用途においては、矩形状のBox関数やベル形状の正規分布関数が用いられることが多い。
【０００８】
バイラテラルフィルタと類似のエッジ保存平滑化処理にεフィルタと呼ばれる技術もあり、これもよく利用されている。εフィルタは、バイラテラルフィルタの空間方向の重み関数をBox関数としたもの、すなわち画素位置依存の重み付けをおこなわないバイラテラルフィルタだと説明することができる。次式（２）にεフィルタの演算式を示す。
【０００９】
【数２】
【００１０】
バイラテレルフィルタもεフィルタも、平滑化対象である画素の輝度値とその近傍の画素の輝度値との差分に基づいた重みつき期待値を算出する手法であり、それによりエッジのような大きな段差とノイズのような微小振幅の分離を高める効果を出している。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】A. Lev, S. W. Zucker, A. Rosenfeld, "Iterative enhancement of noise images", IEEE Trans. Systems, Man, and Cybernetics, Vol. SMC-7, 1977.
【非特許文献２】D. C. C. Wang, A. H. Vagnucci, C. C. Li, "Gradient inverse weighted smoothing scheme and the evaluation of its performance", CVGIP, Vol. 15, pp. 167-181, 1981.
【非特許文献３】M. Nagao, T. Matsuyama, "Edge preserving smoothing", CGIP, Vol. 9, pp. 394-407, 1978.
【非特許文献４】F. Durand, J. Dorsey, "Fast bilaterarl filtering for the display of high-dynamic-range images", Proc. of ACM SIGGRAPH 2002, 2002.
【非特許文献５】S. N. Pattanaik, H. Yee, "Adaptive gain control for high dynamic range image display", Proc. of Spring Conference in Computer Graphics 2002, 2002.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、前述のような輝度方向の重み関数を用いるエッジ保存平滑化では、比較的緩い勾配のエッジやグラデーション領域において、適切な平滑化がかからなかったり擬似輪郭状のアーチファクトが発生するなどの問題があった。以下に、１次元信号の例を用いて説明する。
【００１３】
図１および図２は、矩形状の凹凸にノイズが加わった１次元信号に対してバイラテラルフィルタを適用してノイズ除去をおこなう例を模式的に示すものである。
【００１４】
図１には、バイラテラルフィルタを適用する前の信号を黒丸の点列１１で、本来得られるべきノイズのない信号を破線１２で示す。ある画素位置１３における信号にバイラテレルフィルタを適用するには、空間方向の重み関数１４の中心を当該位置に配置し、輝度方向の重み関数１５の中心を当該画素の輝度値に合わせて配置して、上述した式（１）の計算をおこなえばよい。
【００１５】
このとき、空間および輝度方向の重み関数の幅で規定される長方形の領域１６内にある画素信号が平滑化に反映される。空間的に重み関数の範囲内であっても輝度方向に重み関数の範囲内に入らなければ、その画素は平滑化に反映されない。
【００１６】
従って、画素位置１３においては、信号の段差を越えて右側にある画素は除外され、信号の段差より左側の画素のみで重みつき期待値が算出されるので、本来のノイズのない信号に近い処理結果を得ることができる。
【００１７】
このような信号の段差の近傍であっても段差の両側の信号を分離して平滑化するバイラテレルフィルタの性質によって、信号全体にバイラテラルフィルタを適用すると図２に示すような理想に近い信号を得ることができる。
【００１８】
次に、図３および図４に、矩形よりも段差において緩い勾配を持つ台形状の凹凸にノイズが加わった１次元信号に対してバイラテラルフィルタを適用する例を模式的に示す。
【００１９】
先図と同様、バイラテラルフィルタを適用する前の信号を黒丸の点列３１で、本来得られるべきノイズのない信号を破線３２で示す。また、ある画素位置３３における信号にバイラテレルフィルタを適用する場合の、空間方向の重み関数３４および輝度方向の重み関数３５の位置を示す。
【００２０】
先例と同様に、空間方向および輝度方向の重み関数で規定される長方形の領域３６内にある画素が、当該画素位置３３における重みつき期待値に寄与する。しかしこの例では、段差が急峻でなく緩やかな勾配を持つので、当該画素３３は段差の勾配の中腹に存在する。
【００２１】
本来であれば勾配の中腹付近の輝度値が近傍画素の重みつき期待値で算出されるのが理想だが、この例においては、重み関数によって当該画素より低い輝度に偏った近傍画素の期待値が算出され、本来の信号よりは低い値が出力される。
【００２２】
同様に勾配中の他の位置でも、平坦部に近い場所ほど重み関数による画素選択により平坦部の輝度に偏った期待値が算出されるので、結果として、図４に示すような、本来の段差の勾配とは異なったより急峻な勾配の信号が算出されてしまう。
【００２３】
この問題は、バイラテラルフィルタの輝度方向の重み関数による輝度範囲の制限が強すぎるために生じる。例えば、図５に示すように、図３と同じ信号に対してより幅が広い輝度方向の重み関数５１を適用すれば、段差の勾配にかかる画素においても十分な平滑化がかかるようになり、また図６のように本来の段差に近い勾配の信号を得ることができる。
【００２４】
しかしながら、これと同じ幅の輝度方向の重み関数を最初の図１の矩形状の信号に適用すると、段差を分離する性質が弱いために、本来急峻であるべき段差の肩がなまってしまうという結果となってしまう。
【００２５】
同じく輝度方向の重み関数の幅に関連する別の問題を、図７および図８を用いて説明する。
【００２６】
図７は、緩やかに変化する勾配にノイズが加わった１次元信号に対してバイラテラルフィルタを適用する例を模式的に示すものである。
【００２７】
前図と同様に、バイラテラルフィルタを適用する前の信号を黒丸の点列７１で、本来得られるべきノイズのない信号を破線７２で示す。本来のノイズない信号７２の左端は比較的急峻な勾配を持つが、右に向かって勾配が次第に緩やかになっている。
【００２８】
さらに、信号左端付近の急な勾配の画素位置７３における空間方向の重み関数７５および輝度方向の重み関数７６、重み関数で規定される重みつき期待値に寄与する領域７７と、信号右端付近の緩やかな勾配の位置７４における空間方向の重み関数７８および輝度方向の重み関数７９、重み関数で規定される重みつき期待値に寄与する領域８０を示す。
【００２９】
２つの位置における寄与する領域７７および領域８０を見比べると明らかに左端付近の急峻な勾配の位置では寄与できる画素の数が少ない。その結果、図８に示すように、勾配が急峻な領域では、勾配が緩やかな領域に比べてバイラテラルフィルタの平滑化効果すなわちノイズ低減の効果が小さくなるという問題が生じる。
【００３０】
このように、輝度方向の重み関数の適切な幅は画像によって異なる。バイラテラルフィルタをノイズ低減用途に用いたとき、ノイズ低減の効果とエッジ保存性能のトレードオフという問題になってあらわれる。本来あるべきエッジを残そうとすれば輝度方向の重み関数の幅を小さめに設定することが望ましいが、小さい幅の重み関数は緩い勾配が変化するときにノイズ低減効果が変化してしまう。
【００３１】
また、バイラテラルフィルタを階調補正に利用する場合は、画像の大局的な構造をあらわす成分（以下、大局輝度成分）とテクスチャなどのローカルな構造をあらわす成分（以下、ローカルコントラスト成分）とを分離する処理にバイラテラルフィルタを利用する。このとき、エッジ部の勾配が適切に成分分離されないと不自然なアーチファクトが発生してしまう。
【００３２】
前述の例のようにエッジの段差に対して小さすぎる幅の輝度重み関数はソラリゼーションあるいは擬似輪郭状のアーチファクトの原因となり、逆に大きすぎる幅はハロあるいはオーバーシュート状のアーチファクトの原因となり、小さくても大きくても問題がある。このような問題を回避するには、画像に応じて輝度重み関数の幅を適切に調節する必要がある。
【００３３】
以上のように、バイラテラルフィルタやεフィルタなど輝度軸の重み関数を利用するエッジ保存平滑化では、比較的緩い勾配のエッジやグラデーション領域において、適切な平滑化がかからなかったり擬似輪郭状のアーチファクトが発生するなどの問題があった。
【００３４】
本技術は、このような状況に鑑みてなされたものであり、画像の画質の劣化を抑制し、かつ十分な平滑化効果を得ることができるようにするものである。
【課題を解決するための手段】
【００３５】
本技術は以下のような手段によって、以上に述べた課題を解決する。
【００３６】
まず、本技術の第１の構成として、画像データ中のある画素位置において、
当該画素位置の画素値と近傍領域の各画素の画素値との差分値に基づく重み値を算出し（例えば、図１０の空間重み算出部１０５、輝度重み算出部１０６までの構成）、
前記近傍領域の各画素で算出した重み値に基づいて、前記近傍領域画素値の期待値を算出し、それを当該画素位置の計算結果とする（積和部１０７、積和部１０８以降の構成）画像処理において、
前記重み値を算出するための複数の正規化された重み関数（空間重み関数セット１３１および輝度重み関数セット１３２）と、
前記複数の正規化重み関数の夫々について、近傍領域の全画素の重み値総和を算出する手段（空間重み算出部１０５、輝度重み算出部１０６、積和部１０７、積和部１０８およびその結果をストアする輝度積分値ストア１３３、重み積分値ストア１３４）と、
前記重み値総和に基づいて前記正規化重み関数を選択する手段（積分値選択部１３５）と、
前記選択された正規化重み関数に基づいた前記近傍領域画素値の期待値を算出する手段（除算部１０９）と
を備えるようにする。
【００３７】
さらに本技術は、前記正規化重み関数を選択する手段は、
前記重み値総和を最大にする正規化重み関数を選択する（例えば、図１１の構成）ようにすることができる。
【００３８】
また本技術は、前記正規化重み関数を選択する手段は、
前記重み値総和のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された重み値総和に対応する正規化重み関数のうち、関数の幅が最大のものを選択する（例えば、図１２の構成）ようにしてもよい。
【００３９】
次に、本技術の第２の構成として、
画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の画素の頻度値（ブロックヒストグラム）を算出するブロックヒストグラム算出手段と、
ブロックヒストグラムの各bin毎に特性値を算出あるいは設定する特性値算出手段と、
前記各binの頻度値および特性値に基づいて、画像の各画素における特性値の重みつき期待値を算出する手段と
を備える画像処理（例えば、図１３の構成）において、
前記特性値の重みつき期待値を算出する手段は、
前記重み値を算出するための複数の正規化された重み関数（例えば、図１５の空間重み関数セット２８１および輝度重み関数セット２８２）と、
前記複数の正規化重み関数の夫々について、当該画素における頻度期待値を算出する手段（積和部２５９）と、
前記頻度期待値に基づいて前記正規化重み関数を選択する手段（頻度期待値選択部２８５）と、
前記選択された正規化重み関数に基づいた前記当該画素の特性値の重みつき期待値を算出する手段（積和部２５８、積和部２５９から除算部２６０までの構成）と
を備えるようにする。
【００４０】
さらに本技術は、前記正規化重み関数を選択する手段は、
前記頻度期待値を最大にする正規化重み関数を選択する（例えば、図１１の構成）ようにすることができる。
【００４１】
また本技術は、前記正規化重み関数を選択する手段は、
前記頻度期待値のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された頻度期待値に対応する正規化重み関数のうち、関数の幅が最大のものを選択する（例えば、図１２の構成）ようにしてもよい。
【００４２】
さらに本技術は、前記bin毎の特性値は、binに属する画素の輝度を代表する値であるようにすることができる。
【００４３】
また本技術は、前記bin毎の特性値は、binに属する画素の色度を代表する値であるようにしてもよい。
【００４４】
次に、本技術の第３の構成として、
画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の画素の頻度値（ブロックヒストグラム）を算出するブロックヒストグラム算出手段と、
ブロックヒストグラムの各bin毎に特性値を算出あるいは設定する特性値算出手段と、
前記頻度値に対して重み関数を畳み込む、第１の畳み込み手段と、
（前記特性値×前記頻度値）に対して、重み関数を畳み込む、第２の畳み込み手段と、
画像の各画素の輝度値に対応する、前記第１の畳み込み手段の結果の補間値を算出する手段と、
画像の各画素の輝度値に対応する、前記第２の畳み込み手段の結果の補間値を算出する手段と、
前記第１の補間値を前記第２の補間値で除算することによって、画像の各画素の輝度値に対応する前記特性値の重みつき期待値を算出する手段と
を備える画像処理（例えば、図１６の構成）において、
前記第１の畳み込み手段は、
複数の正規化された重み関数（例えば、図１８の空間重み関数セット３８１および輝度重み関数セット３８２）と、
前記複数の正規化重み関数の夫々について、前記頻度値の各binにおける畳み込み結果を算出する手段（積和部３６０）と、
前記頻度値の畳み込み結果に基づいて、前記正規化重み関数および対応する前記頻度値の畳み込み結果をbin毎に選択する手段（頻度期待値選択部３８５）と
を備え、
前記第２の畳み込み手段は、
複数の正規化された重み関数（空間重み関数セット３８１および輝度重み関数セット３８２）と、
前記複数の正規化重み関数の夫々について、前記頻度値の各binにおける畳み込み結果を算出する手段（積和部３６０）と、
前記複数の正規化重み関数の夫々について、（前記特性値×前記頻度値）の各binにおける畳み込み結果を算出する手段（積和部３５９）と、
前記頻度値の畳み込み結果に基づいて、前記正規化重み関数および対応する前記（前記特性値×前記頻度値）の畳み込み結果をbin毎に選択する手段（頻度期待値選択部３８５）と
を備えるようにする。
【００４５】
さらに本技術は、前記正規化重み関数を選択する手段は、
前記頻度期待値を最大にする正規化重み関数を選択する（例えば、図１１の構成）ようにすることができる。
【００４６】
また本技術は、前記正規化重み関数を選択する手段は、
前記頻度期待値のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された頻度期待値に対応する正規化重み関数のうち、関数の幅が最大のものを選択する（例えば、図１２の構成）ようにしてもよい。
【００４７】
さらに本技術は、前記bin毎の特性値は、binに属する画素の輝度を代表する値であるようにすることができる。
【００４８】
また本技術は、前記bin毎の特性値は、binに属する画素の色度を代表する値であるようにしてもよい。
【発明の効果】
【００４９】
本技術の一側面によれば、画像の画質の劣化を抑制し、かつ十分な平滑化効果を得ることができることができる。
【図面の簡単な説明】
【００５０】
【図１】ノイズを含む矩形状の信号に対してバイラテラルフィルタを適用する様子を示す図である。
【図２】ノイズを含む矩形状の信号に対してバイラテラルフィルタを適用した結果を示す図である。
【図３】ノイズを含む台形状の信号に対してバイラテラルフィルタを適用する様子を示す図である。
【図４】ノイズを含む台形状の信号に対してバイラテラルフィルタを適用した結果を示す図である。
【図５】ノイズを含む台形状の信号に対してバイラテラルフィルタを適用する様子を示す図である。
【図６】ノイズを含む台形状の信号に対してバイラテラルフィルタを適用した結果を示す図である。
【図７】ノイズを含む緩やかな勾配の信号に対してバイラテラルフィルタを適用する様子を示す図である。
【図８】ノイズを含む緩やかな勾配の信号に対してバイラテラルフィルタを適用した結果を示す図である。
【図９】バイラテラルフィルタの処理構成のブロックダイアグラムである。
【図１０】バイラテラルフィルタの処理構成のブロックダイアグラムである。
【図１１】積分値選択部の内部構成を説明するブロックダイアグラムである。
【図１２】積分値選択部の第２の内部構成を説明するブロックダイアグラムである。
【図１３】ブロックヒストグラムを利用するエッジ保存平滑化の処理構成を説明するブロックダイアグラムである。
【図１４】重みつき期待値算出部の内部構成を説明するブロックダイアグラムである。
【図１５】重みつき期待値算出部の内部構成を説明するブロックダイアグラムである。
【図１６】ブロックヒストグラムを利用し、さらに計算を簡略化したエッジ保存平滑化の処理構成を説明するブロックダイアグラムである。
【図１７】畳み込み部の内部構成を説明するブロックダイアグラムである。
【図１８】畳み込み部の内部構成を説明するブロックダイアグラムである。
【図１９】デジタルビデオカメラシステムのブロックダイアグラムである。
【図２０】信号処理部(DSP)の構成を説明するブロックダイアグラムある。
【図２１】モザイク画像の色配列（Bayer配列）を模式的に示す図である。
【図２２】空間重み関数の一例を示す図である。
【図２３】輝度重み関数の一例を示す図である。
【図２４】階調補正処理部の内部構成を説明するブロックダイアグラムである。
【図２５】輝度階調補正部の内部構成を説明するブロックダイアグラムである。
【図２６】画像処理について説明するフローチャートである。
【図２７】輝度ノイズ低減処理について説明するフローチャートである。
【図２８】色差ノイズ低減処理について説明するフローチャートである。
【図２９】重みつき期待値算出処理について説明するフローチャートである。
【図３０】階調補正処理について説明するフローチャートである。
【図３１】輝度値階調補正処理について説明するフローチャートである。
【図３２】平滑化ブロックヒストグラムおよび平滑化ブロック特性値の算出処理について説明するフローチャートである。
【図３３】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００５１】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００５２】
［本技術の作用と効果について］
本技術は、画像データの大局的な構造を抽出する画像処理あるいはそれを実装した装置である。抽出された情報を利用して画質を向上させるなどの利用が可能であり、ビデオカメラ、デジタルスチルカメラなどの撮像装置またはプリンタやディスプレイなどの画像表示装置内の信号処理として、または画像加工・編集用の装置もしくはコンピュータプログラムなどに応用される技術である。
【００５３】
まず、本技術がどのように作用して前述の課題の解決となるかを説明する。
【００５４】
基本的には、本技術では、異なる広がり（σ）を持つ複数の正規化した輝度軸重み関数を用いて、局所領域内の画素毎の重み値を算出する。その重み値の総和が最大となる輝度軸重み関数によるエッジ保存平滑化結果を選択する。
【００５５】
図９は、上述した式（１）で表されるバイラテラルフィルタ処理を実現する処理ブロック構成の一例を示すものである。この構成で実現されるバイラテラルフィルタでは前述のようなノイズ低減の効果とエッジ保存性能のトレードオフという問題が発生する。
【００５６】
これに対して本技術を利用するバイラテラルフィルタの処理ブロック構成を図１０に示す。本技術によれば、各近傍画素値の重みつけに用いられる空間および輝度方向の重み関数を複数備え（図１０の空間重み関数セット１３１および輝度重み関数セット１３２）、それぞれの重み関数を用いられて算出した結果の中から重み値の総和基づいて最適なものを選択する機構を持つ（積分値選択部１３５）ので、重み関数を近傍画像に応じて画素位置毎に最適化できるようになる。そのため前述のトレードオフが緩和され、従来よりも好適な結果を得ることができる。（以上、請求項１，４，９）
【００５７】
さらに本技術は、それぞれの重み関数が用いられて算出された結果の中から重み値の総和に基づいて最適なものを選択するための具体的な基準として、重み値の総和がなるべく大きくなるものを選択するという基準およびそれを計算するための機構を与える（図１１の構成）。
【００５８】
本技術で用いる重み関数はその積分値が等しくなるように正規化されているので、この基準により、画像中の段差における勾配が急峻であれば関数幅の狭いものが選択されやすいので、結果として平滑化の効果が弱まって段差の急峻さを残しやすくなる。逆に勾配が緩やかであれば関数幅の広いものが選択されやすくなり、結果として平滑化が強くなるので元画像以上に急峻な段差が出力されることを抑制することができる。（以上、請求項２，５，１０）
【００５９】
さらに本技術は、それぞれの重み関数が用いられて算出された結果の中から重み値の総和に基づいて最適なものを選択するための具体的な基準として、重み値の総和が大きく算出されるものの中から最大の関数幅を持つものを選択するという基準およびそれを計算するための機構を与える（図１２の構成）。
【００６０】
例えば、緩やかな勾配がほぼ一定で連続するような画像であるために正規化された重み関数では重み値の総和がどれも同程度になる場合、この基準によれば、最大幅の重み関数が選択されより高い平滑化結果を得ることができる。急峻な勾配が連続する可能性は低いので、最大幅の重み関数を選択することの副作用は軽微である（以上、請求項３，６，１１）。
【００６１】
さらに本技術は、別の第２の形態によるエッジ保存平滑化についても同様の効果を得るための構成を与える。図１３は、特開２００９−１７７５５８号公報（以下、特許文献６と称する）に開示されているバイラテラルフィルタとは別の形態のエッジ保存平滑化の処理ブロック構成である。この構成によれば、前処理として画像を分割した各ブロックごとにヒストグラム（ブロックヒストグラム）を算出しておき（特性値算出部２２１およびヒストグラム算出部２２２）、画素毎の演算においては、それを利用することによって、バイラテラルフィルタで各画素位置毎に必要とされる多数の近傍画素毎の演算を回避することができる（重みつき期待値算出部２２５）。
【００６２】
図１４にその画素毎の演算をおこなう処理構成（図１３の重みつき期待値算出部２２５の内部構成）を示す。バイラテラルフィルタの近傍画素毎の演算とは異なり、ヒストグラムの近傍bin毎に重み値を算出しそれに基づいた特性値の重みつき期待値を算出する処理をおこなう。
【００６３】
これに対して、同エッジ保存平滑化の画素毎の演算について本技術を利用する処理ブロック構成を図１５に示す。本技術によれば、各近傍binの重みつけに用いられる空間および輝度方向の重み関数を複数備え（図１５の空間重み関数セット２８１および輝度重み関数セット２８２）、それぞれの重み関数が用いられて算出された結果の中からヒストグラムの頻度期待値に基づいて最適なものを選択する機構を持つ（頻度期待値選択部２８５）ので、重み関数を近傍binに応じて画素位置毎に最適化できるようになる。そのため前述のトレードオフが緩和され、従来よりも好適な結果を得ることができる（以上、請求項４）。
【００６４】
さらに本技術は、さらに第３の別の形態によるエッジ保存平滑化についても同様の効果を得るための構成を与える。図１６は、特許文献６に開示されているさらに別の形態のエッジ保存平滑化の処理ブロック構成である。
【００６５】
この構成によれば、画像を分割した各ブロックごとにヒストグラム（ブロックヒストグラム）を算出しておき（特性値算出部３１１およびヒストグラム算出部３１２）、その算出された結果に空間および輝度方向の重み関数を畳み込む（畳み込み部３１５）までを前処理としておこなう。
【００６６】
画素毎の演算においては、畳み込んだ結果（平滑化ブロック特性値３１６および平滑化ブロックヒストグラム３１７）を用いて当該画素位置に対応する補間値を算出する（補間部３１８、補間部３１９、および除算部３２０による構成）ことでエッジ保存平滑化結果を出力する。
【００６７】
図１７にbin毎の畳み込み演算の処理構成（図１６の畳み込み部３１５の内部構成）を示す。畳み込みをおこなうbin位置毎にヒストグラムの平滑化結果を算出するために、当該bin位置の近傍bin毎に重み値を算出し（空間重み算出部３５６、輝度重み算出部３５７、および乗算部３５８による構成）、それを用いて近傍binの値を積和する処理（積和部３５９および積和部３６０）をおこなう。
【００６８】
これに対して、同エッジ保存平滑化の画素毎の演算について本技術を利用する処理ブロック構成を図１８に示す。本技術によれば、各近傍binの重みつけに用いられる空間および輝度方向の重み関数を複数備え（図１８の空間重み関数セット３８１および輝度重み関数セット３８２）、それぞれの重み関数が用いられて算出された結果の中からヒストグラムの頻度期待値に基づいて最適なものを選択する機構を持つ（頻度期待値選択部３８５）ので、重み関数を近傍binに応じてbin位置毎に最適化できるようになる。そのため前述のトレードオフが緩和され、従来よりも好適な結果を得ることができる（以上、請求項９）。
【００６９】
また、本技術を利用した前記第２および第３の形態のエッジ保存平滑化において、ブロックヒストグラムの各binに対応して算出する具体的な特性値として、各binに属する画素の輝度を代表する値を用いることにより、輝度のエッジ保存平滑化が可能になる。輝度を代表する値とは、具体的には、各binに属する画素の輝度の期待値、中央値、あるいはブロックヒストグラムの輝度方向の分割方法に基づく各binの中央に対応する値などを用いることができる（以上、請求項７，１２）。
【００７０】
さらに、本技術における入力画像は様々な特性値を複数のチャネルにまとめた多チャネル画像であってもよい。多チャネル画像の典型例はカラー画像である。カラー画像が入力である場合、ブロックヒストグラムの各binに対応して算出する具体的な特性値として、各binに属する画素の色度を代表する値を用いることにより、色度のエッジ保存平滑化が可能になる。色度を代表する値とは、具体的には、画像が保持するチャネル（色）のうち輝度とは異なる分光特性を持つものや、多チャネル画像を輝度-色差空間に変換した後の色差成分、多チャネル画像を輝度-飽和度-色相空間に変換した後の飽和度および色相成分などが考えられ、各binについてのそれらの期待値あるいは中央値などを利用することができる（以上、請求項８，１３）。
【００７１】
［実施例のシステム全体について］
以下に本技術の実施例を説明する。ここで説明する実施例は、本技術を内部に実装したデジタルビデオカメラシステムの例である。はじめにシステム全体の構成と動作について説明し、その後、本技術に関連深いカメラ信号処理の部分について詳細に説明する。
【００７２】
図１９は、本実施例であるデジタルビデオカメラシステムの構成を示すブロックダイアグラムである。
【００７３】
図１９に示すように、本実施例のデジタルビデオカメラシステムは、レンズ４０１、絞り４０２、画像センサ４０３、相関２重サンプリング回路４０４、A/D(Analog/Digital)コンバータ４０５、DSP(Digital Signal Processor)ブロック４０６、タイミングジェネレータ４０７、LCD(Liquid Crystal Display)ドライバ４０８、LCD４０９、CODEC４１０、メモリ４１１、CPU(Central Processing Unit)４１２、および入力デバイス４１３から構成される。
【００７４】
ここで、入力デバイス４１３はカメラ本体にあるシャッタボタンなどの操作ボタン類をさす。また、DSPブロック４０６は信号処理用プロセッサと画像用RAM(Random Access Memory)を持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下DSPブロック４０６を単にDSP４０６とも呼ぶ。
【００７５】
本実施例の全体的な動作を以下に説明する。
【００７６】
光学系を通過して画像センサ４０３に到達した入射光は、まずセンサ撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路４０４によってノイズ除去され、A/Dコンバータ４０５によってデジタイズされた後、DSP４０６中の画像メモリに一時格納されるようになっている。
【００７７】
ここで、本実施例で用いられる画像センサ４０３は通常のものより広いダイナミックレンジを持ち、暗いところから明るいところまでノイズや飽和がなく撮像できるものである。したがって、A/Dコンバータ４０５では通常10〜12ビット程度でA/D変換されるところを本実施例では例えば14〜16ビット程度でおこなうようにする。
【００７８】
このような階調が多い画像信号は、YCrCb等の通常のビデオ信号では再現しきれないが、後で説明する本技術を用いた階調補正処理によって、YCrCbなどで再現できる範囲に階調を圧縮されるようになっている。
【００７９】
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ４０７が信号処理系を制御するようになっている。DSP４０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはLCDドライバ４０８もしくはCODEC４１０あるいはその両方に送られる。
【００８０】
LCDドライバ４０８はDSP４０６から送られる画像データをアナログ信号に変換し、それをLCD４０９に送って表示させる。このLCD４０９は本実施例においてカメラのファインダの役割を担っている。また、CODEC４１０はDSP４０６から送られる画像データの符号化をおこない、符号化された画像データはメモリ４１１に記録されるようになっている。ここで、メモリ４１１は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。
【００８１】
以上が本実施例のデジタルビデオカメラのシステム全体の説明であるが、本実施例中で本技術が実現されているのは、DSP４０６における画像処理である。以下その画像処理の部分を詳細に説明する。
【００８２】
［画像処理部の詳細について］
前述のように、本実施例の構成においては、画像処理部の動作はDSP４０６で実現されている。それは、DSP４０６に画像信号のストリームが入力され、その入力に対してDSP４０６内部の演算ユニットが所定のプログラムコードに記述された演算を順次実行するように実現されている。
【００８３】
以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明し、また各処理が実行される順序をフローチャートで説明する。しかしながら、本技術は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路を実装して構成してもよい。
【００８４】
図２０は本実施例の画像処理部全体の構成を説明するブロックダイアグラムである。本明細書中のブロックダイアグラムにおいて、平行な水平２本線で示される図形はデータあるいはデータを格納するメモリを表し、四角形は処理を表す。
【００８５】
画像処理部は、ホワイトバランス処理部４２１、階調補正処理部４２２、デモザイク処理部４２３、ガンマ補正処理部４２４、YC変換処理部４２５、輝度ノイズ低減処理部４２６、および色差ノイズ低減処理部４２７から構成される。
【００８６】
モザイク画像４２８は画像処理部への入力画像をあらわし、これはすなわち図１９で図示したA/Dコンバータ４０５によってデジタイズされDSP４０６へ入力される画像信号である。以降、「モザイク画像」と「RAWデータ」は同義として用いる。
【００８７】
モザイク画像４２８は各画素にR、G、Bのどれかの色に対応する強度信号が格納されており、図２１に示すようなBayer配列と呼ばれる色配列に従って配置されているのが通常である。Y画像４２９およびC画像４３０は画像処理部からの出力画像をあらわし、これはすなわち図１９で図示したDSP４０６から出力されCODEC４１０へ入力されるYCbCr画像信号である。
【００８８】
図２０に戻り、画像処理部の各部の動作を説明する。
【００８９】
ホワイトバランス処理部４２１は、モザイク画像（モザイク画像４２８）を入力とし、モザイク画像の無彩色の被写体領域の色バランスが無彩色になるように、各画素に適切なホワイトバランス係数をかけたモザイク画像を出力する。
【００９０】
階調補正処理部４２２は、ホワイトバランス処理部４２１から供給された、ホワイトバランスがとられたモザイク画像を入力とし、ガンマ補正後に適切な明るさの画像が得られるような階調に変換したモザイク画像をデモザイク処理部４２３に出力する。デモザイク処理部４２３は、階調補正処理部４２２から供給された、階調補正後のモザイク画像を入力とし、各画素位置にR,G,Bすべての強度をそろえ、R,G,Bの3画像を出力する。なお、以降ではこれをまとめてRGB画像と呼ぶ。
【００９１】
ガンマ補正処理部４２４は、デモザイク処理部４２３から供給されたRGB画像を入力とし、ガンマ補正をおこなったRGB画像をYC変換処理部４２５に出力する。YC変換処理部４２５は、ガンマ補正処理部４２４から供給された、ガンマ補正されたRGB画像を入力とし、YCマトリックス処理によって輝度すなわちY信号と色差すなわちC信号に変換し、Y画像およびC画像を出力する。
【００９２】
輝度ノイズ低減処理部４２６はYC変換処理部４２５からのY画像を入力とし、ノイズ低減処理をおこなったY画像を出力する。色差ノイズ低減処理部４２７は、YC変換処理部４２５からのYおよびC画像を入力とし、ノイズ低減処理をおこなったC画像を出力する。ノイズ低減処理後のY信号およびC信号は、Y画像データストア４２９およびC画像データストア４３０に格納される。
【００９３】
以上に説明した画像処理部の動作のうち、階調補正処理部４２２、輝度ノイズ低減処理部４２６、および色差ノイズ低減処理部４２７において本技術が利用される。以下に、それらの動作の詳細を輝度ノイズ低減処理部４２６、色差ノイズ低減処理部４２７、および階調補正処理部４２２の順に説明する。
【００９４】
［輝度ノイズ低減処理部の詳細について］
図１０は、輝度ノイズ低減処理部４２６の内部構成を説明するブロックダイアグラムである。なお、図１０において、図９における場合と対応する部分には、同一の符号を付してある。本実施例における輝度ノイズ低減処理部４２６は、本技術を利用した改善されたバイラテラルフィルタ処理を輝度信号に対して適用する。
【００９５】
輝度ノイズ低減処理部４２６は、周辺画素選択部１０１、中心画素選択部１０２、空間距離算出部１０３、輝度距離算出部１０４、空間重み関数セット１３１、空間重み算出部１０５、輝度重み関数セット１３２、輝度重み算出部１０６、積和部１０７、積和部１０８、輝度積分値ストア１３３、重み積分値ストア１３４、積分値選択部１３５、および除算部１０９によって構成される。
【００９６】
輝度ノイズ低減処理部４２６への入力画像１３６は、YC変換処理部４２５が生成するY(輝度)画像である。輝度ノイズ低減処理部４２６の出力画像１３７は、ノイズ低減されたY(輝度)画像である。
【００９７】
中心画素選択部１０２は、入力画像１３６を入力として、ノイズ低減処理をおこなう対象画素を中心画素として１つ選択し、空間距離算出部１０３および輝度距離算出部１０４に供給する。周辺画素選択部１０１は、入力画像１３６を入力として、中心画素の周囲の所定の範囲に属する画素を選択し、空間距離算出部１０３、輝度距離算出部１０４、および積和部１０７に供給する。
【００９８】
空間距離算出部１０３は、中心画素および周辺画素を入力として、中心画素と各周辺画素間の空間距離を算出し、空間重み算出部１０５に供給する。輝度距離算出部１０４は、中心画素および周辺画素を入力として、中心画素と各周辺画素間の輝度距離（輝度差）を算出し、輝度重み算出部１０６に供給する。
【００９９】
空間重み関数セット１３１は、正規化された空間重み関数データを複数保持するデータストアである。空間重み算出部１０５は、周辺画素と中心画素間の空間距離を入力とし、空間重み関数に基づいて重み値を算出し、積和部１０７および積和部１０８に供給する。
【０１００】
輝度重み関数セット１３２は、正規化された輝度重み関数データを複数保持するデータストアである。輝度重み算出部１０６は、周辺画素と中心画素間の輝度距離を入力とし、輝度重み関数に基づいて重み値を算出し、積和部１０７および積和部１０８に供給する。
【０１０１】
積和部１０７は、周辺画素と空間重み算出部１０５が算出する空間重み値と輝度重み算出部１０６が算出する輝度重み値を入力とし、輝度重み値および空間重み値で重みづけした周辺画素の輝度積分値を算出する。積和部１０８は、空間重み算出部１０５が算出する空間重み値と輝度重み算出部１０６が算出する輝度重み値を入力とし、輝度重み値および空間重み値を掛け合わせた重み値の総和である重み積分値を算出する。
【０１０２】
輝度積分値ストア１３３は、積和部１０７によって算出される輝度積分値の、空間重み関数と輝度重み関数のさまざまな組み合わせによる結果を保持するデータストアである。重み積分値ストア１３４は、積和部１０８によって算出される重み積分値の、空間重み関数と輝度重み関数のさまざまな組み合わせによる結果を保持するデータストアである。
【０１０３】
積分値選択部１３５は、重み積分値ストア１３４に保持された複数の重み積分値と輝度積分値ストア１３３に保持された複数の輝度積分値を入力とし、所定の基準（後述）に基づいて最適な重み積分値を選択し、それと同じ空間重み関数と輝度重み関数の組み合わせによって算出された輝度積分値を選択し、両者を除算部１０９に出力する。
【０１０４】
除算部１０９は、積分値選択部１３５から供給された、選択された輝度積分値と選択された重み積分値を入力とし、選択された輝度積分値を選択された重み積分値で除した結果を算出する。この除算結果が当該中心画素におけるノイズ低減された輝度値（出力画像１３７）となる。
【０１０５】
図２２に正規化された空間重み関数の一例を示す。この図において横軸は２画素間の空間距離、縦軸は重み値である。空間重み関数としては、２画素間の空間距離が小さいほど大きな重み値をとる、単峰性の関数形状が望ましい。典型的な例としては期待値を０とするGauss関数を用いることができる。Gauss関数は標準偏差σをパラメータとして、積分値を一定（＝１）に保ったまま、その関数幅を変えることができる。図２２は、６つの異なるσによって異なる関数幅を持つGauss関数による空間重み関数の例を示している。
【０１０６】
図２３に正規化された輝度重み関数の一例を示す。この図において横軸は２画素間の輝度距離、縦軸は重み値である。輝度重み関数としては、２画素間の輝度距離が小さいほど大きな重み値をとる、単峰性の関数形状が望ましい。典型的な例としては期待値を０とするGauss関数を用いることができる。Gauss関数は標準偏差σをパラメータとして、積分値を一定（＝１）に保ったまま、その関数幅を変えることができる。図２３は、６つの異なるσによって異なる関数幅を持つGauss関数による輝度重み関数の例を示している。
【０１０７】
以下に、積分値選択部１３５が輝度積分値および重み積分値を選択する動作について説明する。
【０１０８】
図１１は、積分値選択部１３５の内部構成を説明するブロックダイアグラムである。
【０１０９】
積分値選択部１３５は、最大値選択部１６１、選択部１６２、および選択部１６３から構成される。
【０１１０】
最大値選択部１６１は、重み積分値ストア１３４に保持された複数の重み積分値を入力とし、重み積分値が最大値となる空間重み関数と輝度重み関数の組み合わせを特定する。選択部１６３は、重み積分値ストア１３４に保持された複数の重み積分値を入力とし、最大値選択部１６１が特定した空間重み関数と輝度重み関数の組み合わせに対応する重み積分値を選択して除算部１０９に出力する。
【０１１１】
選択部１６２は、輝度積分値ストア１３３に保持された複数の輝度積分値を入力とし、最大値選択部１６１が特定した空間重み関数と輝度重み関数の組み合わせに対応する輝度積分値を選択して除算部１０９に出力する。
【０１１２】
以上のように、本実施例における輝度ノイズ低減処理は、本技術を利用することによって、通常のバイラテラルフィルタに、複数の正規化した重み関数を保持する構成と、複数の重み関数で算出した結果から最適なものを選択する構成を付加した構成としているため、画素毎に最適な重み関数形状によってエッジ保存平滑化をおこなうことができ、従来よりも好適なノイズ低減結果を得ることができる。
【０１１３】
なお、輝度ノイズ低減処理部４２６の積分値選択部１３５は図１１とは異なる構成も利用できる。以下にもう一つの積分値選択部１３５の構成について説明する。
【０１１４】
図１２は、積分値選択部１３５のもう一つの内部構成を説明するブロックダイアグラムである。積分値選択部１３５は、ソーティング部１９１、ソート済み重み積分値ストア１９２、最大幅選択部１９３、重み関数幅情報ストア１９４、選択部１９５、および選択部１９６によって構成される。
【０１１５】
ソーティング部１９１は、重み積分値ストア１３４に保持された複数の重み積分値を入力とし、重み積分値を降順に順序づけし、最大値から所定の許容幅にはいるものを抽出してソート済み重み積分値ストア１９２に保持する。重み関数幅情報ストア１９４は、空間重み関数セットおよび輝度重み関数セットの全重み関数の関数幅情報を格納している。
【０１１６】
最大幅選択部１９３は、ソート済み重み積分値ストア１９２に保持された最大値から所定の許容幅にはいる重み積分値を入力とし、重み関数幅情報ストア１９４からそれぞれに対応する重み関数幅情報を参照しながら、対応する重み関数の幅が最大となるとなる空間重み関数と輝度重み関数の組み合わせを特定する。
【０１１７】
選択部１９６は、重み積分値ストア１３４に保持された複数の重み積分値を入力とし、最大幅選択部１９３が特定した空間重み関数と輝度重み関数の組み合わせに対応する重み積分値を選択して出力する。
【０１１８】
選択部１９５は、輝度積分値ストア１３３に保持された複数の輝度積分値を入力とし、最大幅選択部１９３が特定した空間重み関数と輝度重み関数の組み合わせに対応する輝度積分値を選択して出力する。
【０１１９】
ここで、重み関数幅の情報とは大小比較できる具体的なパラメータである。例えば、図２２および図２３に例示されるようにGauss関数をベースにした重み関数であれば、Gauss関数のσパラメータを関数幅情報として用いてよい。それ以外でも、例えば三角形状や矩形状の重み関数であればその底辺の長さを関数幅情報として用いてもよい。
【０１２０】
図１２の積分値選択部１３５の構成では、重み積分値がなるべく大きいという基準に加えて、重み関数幅がなるべく大きいという基準を用いる。例えば、緩やかでかつ均等な勾配が連続するような画像の場合、重み関数幅によらず重み積分値がほぼ一定の状態になり、重み積分値による重み関数の選択が機能しない。しかし、そのような画像ではより強い平滑化をかけたい場合が多いので、重み関数幅がなるべく大きいほうを選択することによってより好適なエッジ保存平滑化結果を得ることが可能になる。
【０１２１】
以上で、輝度ノイズ低減処理部４２６の詳細説明を終わる。
【０１２２】
［色差ノイズ低減処理部の詳細について］
図１３は、色差ノイズ低減処理部４２７の内部構成を説明するブロックダイアグラムである。本実施例における色差ノイズ低減処理は、上述した特許文献６に開示されるエッジ保存平滑化技術を、本技術を利用することによって改善した構成を用いる。
【０１２３】
色差ノイズ低減処理部４２７は、特性値算出部２２１、ヒストグラム算出部２２２、ブロック特性値ストア２２３、ブロックヒストグラムストア２２４、および重みつき期待値算出部２２５によって構成される。
【０１２４】
色差ノイズ低減処理部４２７への入力画像２２６は、YC変換処理部４２５が生成するYC(輝度-色差)画像である。色差ノイズ低減処理部４２７の出力画像２２７は、ノイズ低減されたC(色差)画像である。
【０１２５】
ヒストグラム算出部２２２は、入力画像２２６を入力として、画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の頻度値（ブロックヒストグラム）を算出し、ブロックヒストグラムストア２２４にそのブロックヒストグラムを格納する。特性値算出部２２１は、入力画像２２６を入力として、ブロックヒストグラムのbinに属する画素の色差期待値をbin毎に算出し、bin毎の特性値としてブロック特性値ストア２２３に格納する。
【０１２６】
重みつき期待値算出部２２５は、ブロックヒストグラムストア２２４に格納されたbin毎の頻度値、ブロック特性値ストア２２３に格納されたbin毎の色差期待値、および入力画像２２６を入力として、各画素位置における色差の重みつき期待値を算出し、それを色差のノイズ低減結果として出力する。
【０１２７】
色差ノイズ低減処理部４２７で用いるエッジ保存平滑化は、特許文献６によれば、ブロックヒストグラムおよびブロック特性値を算出する目的と、各画素位置で色差の重みつき期待値を算出する目的とで全画素を少なくとも２回参照する必要がある。しかし、そうすることによって、色差の重みつき期待値の演算においては周辺画素を参照する必要がなく、通常のバイラテレルフィルタよりも少ない演算量で実現できる。
【０１２８】
この点は、より広い範囲の周辺画素を参照する必要がある場合に有利に働く。色差ノイズの低減は輝度ノイズより低周波域のノイズ低減をする必要があり、また動画像の信号処理をおこなうシステムではブロックヒストグラムおよびブロック特性値の算出処理を前フレームの情報を用いておこなうことができるので、本実施例の色差ノイズ低減処理には、このような手法が効果的である。
【０１２９】
図１５は、重みつき期待値算出部２２５の内部構成を説明するブロックダイアグラムである。なお、図１５において、図１４における場合と対応する部分には同一の符号を付してある。
【０１３０】
重みつき期待値算出部２２５は、周辺bin選択部２５１、周辺bin選択部２５２、空間距離算出部２５３、輝度距離算出部２５４、空間重み算出部２５５、輝度重み算出部２５６、空間重み関数ストア２８１、輝度重み関数ストア２８２、乗算部２５７、積和部２５８、積和部２５９、特性積分値ストア２８３、頻度期待値ストア２８４、頻度期待値算出部２８５、および除算部２６０によって構成される。
【０１３１】
周辺bin選択部２５１は、ブロック特性値ストア２２３に格納されているブロック特性値および処理対象（当該）画素位置を入力として、当該画素位置の周辺にあるブロック特性値のbinを選択する。周辺bin選択部２５２は、ブロックヒストグラムストア２２４に格納されているブロックヒストグラムおよび処理対象画素位置を入力として、当該画素位置の周辺にあるブロックヒストグラムのbinを選択する。
【０１３２】
空間距離算出部２５３は、当該画素位置と周辺bin選択部２５２によって選択されたbin位置を入力として、当該画素位置と周辺bin位置間の空間距離を算出する。輝度距離算出部２５４は、当該画素と周辺bin選択部２５２によって選択されたbinを入力として、当該画素の輝度値と周辺bin位置に対応する輝度値間の輝度距離（輝度差）を算出する。
【０１３３】
空間重み関数ストア２８１は、正規化された空間重み関数データを複数保持するデータストアである。空間重み算出部２５５は、当該画素と周辺bin間の空間距離を入力とし、空間重み関数に基づいて重み値を算出する。
【０１３４】
輝度重み関数ストア２８２は、正規化された輝度重み関数データを複数保持するデータストアである。輝度重み算出部２５６は、当該画素と周辺bin間の輝度距離を入力とし、輝度重み関数に基づいて重み値を算出する。乗算部２５７は、空間重み値と輝度重み値を入力とし、それらを乗じた値を合成した重み値として算出する。
【０１３５】
積和部２５９は、合成した重み値および周辺binの頻度値を入力として、合成した重み値で重みつけした頻度期待値を算出する。頻度期待値ストア２８４は、積和部２５９によって算出される、空間重み関数と輝度重み関数のさまざまな組み合わせによる複数の頻度期待値を保持するデータストアである。積和部２５８は、合成した重み値、周辺binの頻度値および周辺binの色差期待値を入力として、（合成した重み値）×（頻度値）×（色差期待値）の周辺binの積分結果（特性積分値）を算出する。つまり、合成した重み値、頻度値、および色差期待値の積の周辺binの積分結果が特性積分値として算出される。
【０１３６】
特性積分値ストア２８３は、積和部２５８によって算出される、空間重み関数と輝度重み関数のさまざまな組み合わせによる複数の特性積分値を保持するデータストアである。頻度期待値算出部２８５は、頻度期待値ストア２８４に保持された複数の頻度期待値と特性積分値ストア２８３に保持された複数の特性積分値を入力として、所定の基準に基づいて最適な頻度期待値を選択し、それと同じ空間重み関数と輝度重み関数の組み合わせによって算出された特性積分値を選択し、両者を出力する。
【０１３７】
除算部２６０は、選択された頻度期待値と選択された特性積分値を入力とし、選択された特性積分値を選択された頻度期待値で除した結果を算出する。この除算結果が当該画素におけるノイズ低減された色差値となる。
【０１３８】
頻度期待値算出部２８５が頻度期待値の選択に用いる基準は、前述の輝度ノイズ低減処理部４２６の積分値選択部１３５の基準と同じものを使うことができる。内部構成も図１１で説明した積分値選択部１３５の構成と同じで構わない。この構成を頻度期待値算出部２８５に適用する場合、図１１において入力である輝度積分値ストア１３３を特性積分値ストア２８３に、重み積分値ストア１３４を頻度期待値ストア２８４にそれぞれ置換する。また、同様に図１２で説明した構成も利用可能である。
【０１３９】
以上のように、本実施例における色差ノイズ低減処理は、本技術を利用することによって、特許文献６に記載のブロックヒストグラムを用いるエッジ保存平滑化に、複数の正規化した重み関数を保持する構成と、複数の重み関数で算出した結果から最適なものを選択する構成を付加した構成としているため、画素毎に最適な重み関数形状によってエッジ保存平滑化をおこなうことができ、従来よりも好適なノイズ低減結果を得ることができる。
【０１４０】
以上で、色差ノイズ低減処理部４２７の詳細説明を終わる。
【０１４１】
［階調補正処理部の詳細について］
図２４は、階調補正処理部４２２の内部構成を説明するブロックダイアグラムである。本実施例における階調補正処理は、特許文献６に開示される階調補正技術を、本技術を利用することによって改善した構成を用いる。
【０１４２】
階調補正処理部４２２は、輝度算出部４６１、非線形変換部４６２、非線形変換部４６３、輝度階調補正部４６４、モザイク階調補正部４６５、および非線形逆変換部４６６によって構成される。
【０１４３】
輝度算出部４６１は、ホワイトバランス処理部４２１からのモザイク画像を入力として、各画素位置の輝度を算出する。非線形変換部４６２は、各画素位置の輝度を入力として、非線形な階調特性に変換した輝度を算出する。非線形変換部４６３は、ホワイトバランス処理部４２１からのモザイク画像を入力として、各画素位置の画素値を非線形な階調特性に変換した値を算出する。
【０１４４】
輝度階調補正部４６４は、各画素位置の非線形変換後の輝度を入力とし、階調補正を適用した後の輝度を算出する。モザイク階調補正部４６５は、各画素位置の非線形変換後のモザイク画像の画素値と非線形変換後の輝度と階調補正後の輝度を入力として、階調補正後のモザイク画像の画素値を算出する。
【０１４５】
非線形逆変換部４６６は、階調補正後のモザイク画像の画素値を入力として、非線形変換部４６３で適用された特性を元の線形特性に戻したモザイク画像の画素値を算出し、後段へ出力する。
【０１４６】
前述のようにモザイク画像は各画素に１つの色の情報しかもたない。輝度算出部４６１では、各画素位置毎に所定の範囲の画素を参照し、得られた全色の情報から当該画素位置の輝度値を算出する。例えばBayer配列であれば、３×３画素の領域を参照すればR,G,B全色の情報が得られるので、適当な係数でそれら線形和を算出する方法がある。
【０１４７】
非線形変換部４６２および非線形変換部４６３で利用する非線形な階調特性とは、滑らかな単調増加で上に凸の特性を持つものが好適である。例えば１より小さいγのガンマ特性（べき乗特性）や、対数特性などを利用することができる。モザイク階調補正部４６５は、入力であるモザイク画像の色バランスを維持しながら、階調補正前後の輝度値変化を反映させる演算をおこなう。
【０１４８】
例えば、非線形特性が前述のγ特性である場合は階調補正前後の輝度値の比率をモザイク画像の画素値に乗じるような演算をおこなう。また非線形特性が対数特性である場合は、階調補正前後の輝度値の差分をモザイク画像の画素値に加算するような演算をおこなえばよい。
【０１４９】
以下、本技術を利用して改善した部分である輝度階調補正部４６４の詳細について説明する。
【０１５０】
図２５は、輝度階調補正部４６４の内部構成を説明するブロックダイアグラムである。
【０１５１】
輝度階調補正部４６４は、輝度域情報算出部４９１、輝度域情報ストア４９２、大局輝度算出部４９３、トーンカーブ算出部４９４、トーンカーブストア４９５、マッピング部４９６、マッピング部４９７、およびコントラスト補正部４９８によって構成される。
【０１５２】
輝度域情報算出部４９１は、非線形変換部４６２から輝度階調補正部４６４への入力である非線形変換後の各画素の輝度値（以降、説明に支障のない範囲で、輝度階調補正部４６４への入力が非線形変換後であることを省略する）を入力として、入力画像の輝度域情報を算出する。
【０１５３】
輝度域情報ストア４９２は、輝度域情報算出部４９１が算出した輝度域情報を格納するデータストアである。大局輝度算出部４９３は、各画素の輝度を入力として、当該画素位置の大局輝度値を算出する。トーンカーブ算出部４９４は、輝度域情報ストア４９２に格納された輝度域情報および当該画素位置の大局輝度値を入力として、当該画素位置のトーンカーブ形状を算出する。
【０１５４】
トーンカーブストア４９５は、トーンカーブ算出部４９４が算出した当該画素位置のトーンカーブ形状を保持するデータストアである。マッピング部４９６は、トーンカーブストア４９５に保持されているトーンカーブおよび当該画素の大局輝度値を入力として、トーンカーブが適用された当該画素位置の大局輝度値を算出する。
【０１５５】
マッピング部４９７は、トーンカーブストア４９５に保持されているトーンカーブおよび当該画素の輝度値を入力として、トーンカーブが適用された当該画素位置の輝度値を算出する。コントラスト補正部４９８は、トーンカーブ適用後の当該画素位置の大局輝度値、トーンカーブ適用後の当該画素位置の輝度値およびトーンカーブを入力として、コントラスト補正された当該画素位置の輝度値を算出し、それを輝度の階調補正結果としてモザイク階調補正部４６５に出力する。
【０１５６】
本実施例において、輝度域情報とは入力画像が持つ輝度範囲に関する情報で、具体的には入力画像の輝度ヒストグラムの暗い側および明るい側の裾野付近に相当する２つの輝度レベルからなる情報である。特許文献６に、このような情報を入力画像からフレーム毎に算出する具体的方法が開示されている。
【０１５７】
本実施例において、大局輝度とは画像の大局的な輝度分布を示す情報である。特許文献６に、大局輝度をエッジ保存平滑化を利用して算出する具体的方法が開示されている。本実施例の大局輝度算出部４９３は、特許文献６で開示されるエッジ保存平滑化を本技術によって改善した方法によって大局輝度を算出する構成をとる。なお、その詳細は後述する。
【０１５８】
本実施例において、トーンカーブとは画像の持つ輝度域を適切な明るさで再現するために適用する、画像依存の可変のなめらかで単調増加な階調特性である。特許文献６に、フレーム毎に算出される輝度域情報および画素毎に算出される大局輝度値に基づいて、画素位置毎に変化するトーンカーブを算出する具体的方法が開示されている。
【０１５９】
マッピング部４９６およびマッピング部４９７は、それぞれへの入力値に対してトーンカーブを適用するだけのシンプルな演算をおこなう。
【０１６０】
コントラスト補正部４９８は、トーンカーブを適用したことによって弱められた入力画像のコントラスト成分を補正して元に戻す演算をおこなう。具体的には、トーンカーブ適用後の輝度値とトーンカーブ適用後の大局輝度値間の差分をコントラスト成分として抽出し、それに適切なゲインをかけて強調した後、トーンカーブ適用後の輝度値に足し戻すことにより補正をおこなう。コントラスト成分を強調するゲインは、トーンカーブ適用後の輝度値およびトーンカーブ形状に基づいて決めることができる。特許文献６に、具体的なコントラスト補正の演算、およびゲインの決定方法が開示されている。
【０１６１】
図１６は、大局輝度算出部４９３の内部構成を説明するブロックダイアグラムである。本実施例における大局輝度算出は、特許文献６に開示されるエッジ保存平滑化技術を、本技術を利用することによって改善した構成を用いる。
【０１６２】
大局輝度算出部４９３は、特性値算出部３１１、ヒストグラム算出部３１２、ブロック特性値ストア３１３、ブロックヒストグラムストア３１４、畳み込み部３１５、平滑化ブロック特性値ストア３１６、平滑化ブロックヒストグラムストア３１７、補間部３１８、補間部３１９、除算部３２０によって構成される。
【０１６３】
非線形変換部４６２から大局輝度算出部４９３への入力画像３２１は、非線形変換後の輝度（以降、説明に支障のない範囲で、輝度階調補正部への入力が非線形変換後であることを省略する）である。大局輝度算出部４９３の出力画像３２２は、大局輝度である。
【０１６４】
ヒストグラム算出部３１２は、入力画像３２１を入力として、画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の頻度値（ブロックヒストグラム）を算出し、ブロックヒストグラムストア３１４にそのブロックヒストグラムを格納する。特性値算出部３１１は、入力画像３２１を入力として、ブロックヒストグラムのbinに属する画素の輝度期待値をbin毎に算出し、bin毎の特性値としてブロック特性値ストア３１３に格納する。
【０１６５】
畳み込み部３１５は、ブロックヒストグラムストア３１４に格納されたbin毎の頻度値、ブロック特性値ストア３１３に格納されたbin毎の輝度期待値を入力として、あらかじめ用意された空間重み関数および輝度重み関数の畳み込み演算による、頻度値の平滑化結果および輝度積分値の平滑化結果をbin位置毎に算出し、それらをそれぞれ平滑化ブロックヒストグラムストア３１７および平滑化ブロック特性値ストア３１６へ格納する。
【０１６６】
補間部３１９は、入力画像３２１および平滑化ブロックヒストグラムストア３１７に格納された平滑化された頻度値を入力として、平滑化された頻度値の各画素位置への補間値を算出する。補間部３１８は、入力画像３２１および平滑化ブロック特性値ストア３１６に格納された平滑化された輝度積分値を入力として、平滑化された輝度積分値の各画素位置への補間値を算出する。
【０１６７】
除算部３２０は、平滑化された輝度積分値および平滑化された頻度値を入力として、平滑化された輝度積分値を平滑化された頻度値で除算した結果を算出し、それを大局輝度値として出力画像３２２に出力する。
【０１６８】
大局輝度算出部４９３で用いるエッジ保存平滑化は、特許文献６によれば、前述の色差ノイズ低減処理部４２７に利用したエッジ保存平滑化と同様に、画素毎の演算よりも事前にブロックヒストグラムおよびブロック特性値を算出することにより、画素毎に必要な演算量を削減することができる構成になっている。
【０１６９】
さらに、空間重み関数と輝度重み関数の畳み込み演算もブロックヒストグラムのbin単位で事前におこなうことによって、画素毎の演算量をさらに削減できる。そのため、大局輝度算出のようなさらに広い範囲の画素を参照する必要があるエッジ保存平滑化処理には好適な手法である。
【０１７０】
図１８は、畳み込み部３１５の内部構成を説明するブロックダイアグラムである。なお、図１８において、図１７における場合と対応する部分には同一の符号を付してある。
【０１７１】
畳み込み部３１５は、中心bin選択部３５３、周辺bin選択部３５１、周辺bin選択部３５２、空間距離算出部３５４、輝度距離算出部３５５、空間重み算出部３５６、輝度重み算出部３５７、空間重み関数ストア３８１、輝度重み関数ストア３８２、乗算部３５８、積和部３５９、積和部３６０、特性積分値ストア３８３、頻度期待値ストア３８４、および頻度期待値算出部３８５によって構成される。
【０１７２】
中心bin選択部３５３は、ブロックヒストグラムストア３１４に格納されているブロックヒストグラムを入力として、処理対象となるブロックヒストグラムのbinを１つ、中心binとして選択する。周辺bin選択部３５１は、ブロック特性値ストア３１３に格納されているブロック特性値を入力として、処理対象となるbinの周辺にあるブロック特性値のbinを選択する。
【０１７３】
周辺bin選択部３５２は、ブロックヒストグラムストア３１４に格納されているブロックヒストグラムを入力として、処理対象となるbinの周辺にあるブロックヒストグラムのbinを選択する。空間距離算出部３５４は、中心bin選択部３５３と周辺bin選択部３５２によって選択されたbinを入力として、中心bin位置と周辺bin位置間の空間距離を算出する。
【０１７４】
輝度距離算出部３５５は、中心bin選択部３５３と周辺bin選択部３５２によって選択されたbinを入力として、中心bin位置に対応する輝度値と周辺bin位置に対応する輝度値間の輝度距離（輝度差）を算出する。
【０１７５】
空間重み関数ストア３８１は、正規化された空間重み関数データを複数保持するデータストアである。空間重み算出部３５６は、中心binと周辺bin間の空間距離を入力とし、空間重み関数に基づいて重み値を算出する。輝度重み関数ストア３８２は、正規化された輝度重み関数データを複数保持するデータストアである。
【０１７６】
輝度重み算出部３５７は、中心binと周辺bin間の輝度距離を入力とし、輝度重み関数に基づいて重み値を算出する。乗算部３５８は、空間重み値と輝度重み値を入力とし、それらを乗じた値を合成した重み値として算出する。積和部３６０は、合成した重み値および周辺binの頻度値を入力として、合成した重み値で重みつけした頻度期待値を算出する。
【０１７７】
頻度期待値ストア３８４は、積和部３６０によって算出される、空間重み関数と輝度重み関数のさまざまな組み合わせによる複数の頻度期待値を保持するデータストアである。積和部３５９は、合成した重み値、周辺binの頻度値および周辺binの輝度期待値を入力として、（合成した重み値）×（頻度値）×（輝度期待値）の周辺binの積分結果（特性積分値）を算出する。
【０１７８】
特性積分値ストア３８３は、積和部３５９によって算出される、空間重み関数と輝度重み関数のさまざまな組み合わせによる複数の特性積分値を保持するデータストアである。頻度期待値算出部３８５は、頻度期待値ストア３８４に保持された複数の頻度期待値と特性積分値ストア３８３に保持された複数の特性積分値を入力として、所定の基準に基づいて最適な頻度期待値を選択し、それと同じ空間重み関数と輝度重み関数の組み合わせによって算出された特性積分値を選択し、両者をそれぞれ平滑化ブロックヒストグラムストア３１７と平滑化ブロック特性値ストア３１６の中心bin位置に格納する。
【０１７９】
頻度期待値選択部３８５が頻度期待値の選択に用いる基準は、前述の輝度ノイズ低減処理部４２６の積分値選択部１３５の基準と同じものを使うことができる。内部構成も図１１で説明した積分値選択部１３５の構成と同じで構わない。
【０１８０】
この構成を頻度期待値選択部３８５に適用する場合、図１１において入力である輝度積分値ストア１３３を特性積分値ストア３８３に、重み積分値ストア１３４を頻度期待値ストア３８４にそれぞれ置換する。また、同様に図１２で説明した構成も利用可能である。
【０１８１】
以上のように、本実施例における階調補正処理は、本技術を利用することによって、上述の特許文献６に記載のブロックヒストグラムを用いるエッジ保存平滑化に、複数の正規化した重み関数を保持する構成と、複数の重み関数で算出した結果から最適なものを選択する構成を付加した構成としているため、画素毎に最適な重み関数形状によってエッジ保存平滑化すなわち大局輝度算出をおこなうことができ、従来よりも好適な階調補正結果を得ることができる。
【０１８２】
以上で、階調補正処理部４２２の詳細説明を終わる。
【０１８３】
［処理手順の説明］
以下に、本実施例の処理手順を説明する。
【０１８４】
図２６は画像処理部全体（図２０に対応）の動作手順を説明するフローチャートである。
【０１８５】
この画像処理では、画像センサが撮像した連続したフレームデータが、後続のフレームがなくなるまで順次１フレームずつ処理されていく。
【０１８６】
ステップＳ１１において、DSP４０６内部のメモリに格納されている次フレームのモザイク画像が読み込まれる。
【０１８７】
ステップＳ１２において、ホワイトバランス処理部４２１は、前記モザイク画像にホワイトバランス係数を適用する。
【０１８８】
ステップＳ１３において、階調補正処理部４２２は、階調補正されたモザイク画像を生成する。
【０１８９】
ステップＳ１４において、デモザイク処理部４２３は、モザイク画像からRGB画像を生成する。
【０１９０】
ステップＳ１５において、ガンマ補正処理部４２４は、ガンマ補正したRGB画像を生成する。
【０１９１】
ステップＳ１６において、YC変換処理部４２５は、Y画像およびC画像を生成する。
【０１９２】
ステップＳ１７において、輝度ノイズ低減処理部４２６は、ノイズ低減処理を適用したY画像を出力する。
【０１９３】
ステップＳ１８において、色差ノイズ低減処理部４２７は、ノイズ低減処理を適用したC画像を出力する。
【０１９４】
ステップＳ１９において、Y画像およびC画像がLCD４０９への表示または記録媒体への保存のために出力される。以上で１フレーム分の画像処理部の動作が終了する。
【０１９５】
ステップＳ２０において、全てのフレームを処理したか否かが判定される。例えば、後続のフレームの入力がなければ、全てのフレームを処理したと判定される。
【０１９６】
ステップＳ２０において、全てのフレームを処理したと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。一方、ステップＳ２０において、全てのフレームを処理したと判定された場合、画像処理は終了する。
【０１９７】
以上で、画像処理部の動作は終了する。
【０１９８】
図２７は、輝度ノイズ低減処理部４２６の動作手順を説明するフローチャートである。すなわち、図２７は、図２６のステップＳ１７の処理に対応する輝度ノイズ低減処理を説明するフローチャートである。
【０１９９】
ステップＳ５１において、中心画素選択部１０２は、輝度ノイズ低減処理部４２６に入力されるY画像の画素位置を中心画素として選択する。
【０２００】
ステップＳ５２において、周辺画素選択部１０１は、中心画素の周辺の所定の範囲内の画素を選択する。
【０２０１】
ステップＳ５３において、空間重み関数セット１３１の空間重み関数と、輝度重み関数セット１３２の輝度重み関数の組み合わせに対応する輝度積分値および重み積分値が０に初期化される。
【０２０２】
ステップＳ５４において、周辺画素に属する画素位置について、空間距離算出部１０３および空間重み算出部１０５によって、当該中心画素と当該周辺画素と当該空間重み関数に基づいて、当該周辺画素位置における空間重み値が算出される。
【０２０３】
ステップＳ５５において、輝度距離算出部１０４および輝度重み算出部１０６によって、当該中心画素と当該周辺画素と当該輝度重み関数に基づいて、当該周辺画素位置における輝度重み値が算出される。
【０２０４】
ステップＳ５６において、積和部１０８により、当該周辺画素位置における空間重み値と輝度重み値を乗じた値が重み積分値に加算される。
【０２０５】
ステップＳ５７において、積和部１０７により、当該周辺画素位置における空間重み値と輝度重み値と当該周辺画素の輝度値を乗じた値が輝度積分値に加算される。
【０２０６】
ステップＳ５８において、周辺画素に属する全ての画素位置について処理を行ったか否かが判定される。ステップＳ５８において、全ての画素位置について処理を行っていないと判定された場合、処理はステップＳ５４に戻り、上述した処理が繰り返される。
【０２０７】
これに対して、ステップＳ５８において、全ての画素位置について処理を行ったと判定された場合、ステップＳ５９において、全周辺画素について積分した、当該空間重み関数と当該輝度重み関数の組み合わせに対応する輝度積分値および重み積分値の結果のそれぞれが輝度積分値ストア１３３および重み積分値ストア１３４に保持される。
【０２０８】
ステップＳ６０において、輝度重み関数セット１３２の全ての重み関数について、処理が行われたか否かが判定される。ステップＳ６０において、まだ全ての重み関数について、処理が行われていないと判定された場合、処理はステップＳ５３に戻り、上述した処理が繰り返される。
【０２０９】
また、ステップＳ６０において、全ての重み関数について、処理が行われたと判定された場合、ステップＳ６１において、空間重み関数セット１３１の全ての重み関数について、処理が行われたか否かが判定される。
【０２１０】
ステップＳ６１において、まだ全ての重み関数について処理が行われていないと判定された場合、処理はステップＳ５３に戻り、上述した処理が繰り返される。
【０２１１】
一方、ステップＳ６１において、全ての重み関数について処理が行われたと判定された場合、処理はステップＳ６２に進む。すなわち、全ての空間重み関数と輝度重み関数の組み合わせについてステップＳ５３からステップＳ５９の処理が行われると、処理はステップＳ６２に進む。
【０２１２】
ステップＳ６２において、積分値選択部１３５は、輝度積分値および重み積分値の組を選択する。
【０２１３】
ステップＳ６３において、除算部１０９は、選択された輝度積分値を選択された重み積分値で除算した結果を算出する。
【０２１４】
ステップＳ６４において、除算結果が当該中心画素位置におけるノイズ低減された輝度として出力される。
【０２１５】
ステップＳ６５において、全ての画素位置において、ステップＳ５１乃至ステップＳ６４の処理が行われたか否かが判定される。ステップＳ６５において、まだ全ての画素位置において処理が行われていないと判定された場合、処理はステップＳ５１に戻り、上述した処理が繰り返される。
【０２１６】
これに対して、ステップＳ６５において、全ての画素位置において処理が行われたと判定された場合、輝度ノイズ低減処理は終了し、その後、処理は図２６のステップＳ１８に進む。
【０２１７】
以上で、輝度ノイズ低減処理部４２６の動作を完了する。
【０２１８】
図２８は、色差ノイズ低減処理部４２７の動作手順を説明するフローチャートである。すなわち、図２８は、図２６のステップＳ１８の処理に対応する色差ノイズ低減処理を説明するフローチャートである。
【０２１９】
ステップＳ９１において、次のフレームで用いるためのブロックヒストグラムおよびブロック特性値を算出するためのデータ領域が確保され、０に初期化される。
【０２２０】
ステップＳ９２において、ヒストグラム算出部２２２は、色差ノイズ低減処理部４２７に入力されるYC画像の画素位置について、当該画素の輝度を評価して対応するbinを決定し、次フレーム用のブロックヒストグラムの当該binの頻度値を＋１更新する。
【０２２１】
ステップＳ９３において、特性値算出部２２１は、当該画素の輝度を評価して対応するbinを決定し、次フレーム用のブロック特性値の当該binに対応する色差積分値に当該画素の色差値を加算する。
【０２２２】
ステップＳ９４において、重みつき期待値算出部２２５は、ブロック特性値ストア２２３に格納されている現フレーム用のブロック特性値と、ブロックヒストグラムストア２２４に格納されている現フレーム用のブロックヒストグラムを利用して、当該画素位置における色差の重みつき期待値を算出する。
【０２２３】
ステップＳ９５において、当該画素位置における色差の重みつき期待値が当該画素位置の色差ノイズ低減結果として出力される。
【０２２４】
ステップＳ９６において、全ての画素位置において、ステップＳ９２乃至ステップＳ９５の処理が行われたか否かが判定される。すなわち、色差ノイズ低減処理部４２７に入力されるYC画像の各画素位置おいて処理が行われたかが判定される。
【０２２５】
ステップＳ９６において、まだ全ての画素位置において処理が行われていないと判定された場合、処理はステップＳ９２に戻り、上述した処理が繰り返される。
【０２２６】
これに対して、ステップＳ９６において、全ての画素位置において処理が行われたと判定された場合、ステップＳ９７において、ヒストグラム算出部２２２は、次フレーム用のブロックヒストグラムの算出結果をブロックヒストグラムストア２２４に格納する。
【０２２７】
ステップＳ９８において、特性値算出部２２１は、次フレーム用のブロック特性値の各binの色差積分値の算出結果から各binの色差期待値を算出し、それらをブロック特性値ストア２２３に格納し、色差ノイズ低減処理は終了する。そして、その後、処理は図２６のステップＳ１９に進む。
【０２２８】
以上で、色差ノイズ低減処理部４２７の動作を完了する。
【０２２９】
図２９は、図２８の色差ノイズ低減処理のステップＳ９４に対応する重みつき期待値算出処理の動作手順を説明するフローチャートである。処理構成としては、図１３の重みつき期待値算出部２２５の内部処理に相当し、重みつき期待値算出部２２５がある画素位置（以下、中心画素位置）についておこなう動作を説明している。
【０２３０】
ステップＳ１２１において、周辺bin選択部２５２は、中心画素位置の周辺に位置するブロックヒストグラムの周辺binの選択をおこなう。
【０２３１】
ステップＳ１２２において、周辺bin選択部２５１は、中心画素位置の周辺に位置するブロック特性値の周辺binの選択をおこなう。
【０２３２】
ステップＳ１２３において、空間重み関数セット２８１の空間重み関数と、輝度重み関数セット２８２の輝度重み関数の組み合わせに対応する特性積分値および頻度期待値が０に初期化される。
【０２３３】
ステップＳ１２４において、空間距離算出部２５３および空間重み算出部２５５は、選択された各周辺binについて、中心画素と当該周辺binと当該空間重み関数に基づく空間重み値の算出をおこなう。
【０２３４】
ステップＳ１２５において、輝度距離算出部２５４および輝度重み算出部２５６は、中心画素と当該周辺binと当該輝度重み関数に基づく輝度重み値の算出をおこなう。
【０２３５】
ステップＳ１２６において、乗算部２５７は、空間重み値と輝度重み値を乗算した合成重み値を算出する。
【０２３６】
ステップＳ１２７において、積和部２５９は、合成重み値と当該周辺binの頻度値を乗じた値を算出し、それを頻度期待値のここまでの算出結果に加算する。
【０２３７】
ステップＳ１２８において、積和部２５８は、合成重み値と当該周辺binの頻度値と当該周辺binの色差期待値を乗じた値を算出し、それを特性積分値のここまでの算出結果に加算する。
【０２３８】
ステップＳ１２９において、全ての周辺binについてステップＳ１２４乃至ステップＳ１２８の処理が行われたかが判定される。ステップＳ１２９において、まだ全ての周辺binについて処理が行われていないと判定された場合、処理はステップＳ１２４に戻り、上述した処理が繰り返される。
【０２３９】
これに対して、ステップＳ１２９において、全ての周辺binについて処理が行われたと判定された場合、ステップＳ１３０において、当該空間重み関数と当該輝度重み関数の組み合わせに対応する特性積分値および頻度期待値の結果が、それぞれ特性積分値ストア２８３および頻度期待値ストア２８４に保持される。
【０２４０】
ステップＳ１３１において、輝度重み関数セット２８２の全ての重み関数について、ステップＳ１２３乃至ステップＳ１３０の処理が行われたか否かが判定される。
【０２４１】
ステップＳ１３１において、まだ全ての重み関数について処理が行われていないと判定された場合、処理はステップＳ１２３に戻り、上述した処理が繰り返される。
【０２４２】
これに対して、ステップＳ１３１において、全ての重み関数について処理が行われたと判定された場合、ステップＳ１３２において、空間重み関数セット２８１の全ての重み関数について、ステップＳ１２３乃至ステップＳ１３１の処理が行われたか否かが判定される。
【０２４３】
ステップＳ１３２において、まだ全ての重み関数について処理が行われていないと判定された場合、処理はステップＳ１２３に戻り、上述した処理は繰り返される。
【０２４４】
これに対して、ステップＳ１３２において、全ての重み関数について処理が行われたと判定された場合、処理はステップＳ１３３に進む。つまり、全ての空間重み関数と輝度重み関数の組み合わせについて処理が行われると、処理はステップＳ１３３に進む。
【０２４５】
ステップＳ１３３において、頻度期待値選択部２８５は、特性積分値および頻度期待値の組を選択する。
【０２４６】
ステップＳ１３４において、除算部２６０は、選択された特性積分値を選択された頻度期待値で除算した結果を算出する。
【０２４７】
ステップＳ１３５において、除算結果が、中心画素位置におけるノイズ低減された色差値として出力され、重みつき期待値算出処理は終了する。そして、その後、処理は図２８のステップＳ９５に進む。
【０２４８】
以上で重みつき期待値算出部２２５の動作を完了する。
【０２４９】
図３０は、階調補正処理部４２２の動作手順を説明するフローチャートである。すなわち、図３０は、図２６のステップＳ１３の処理に対応する階調補正処理を説明するフローチャートである。
【０２５０】
ステップＳ１６１において、次のフレームで用いるための輝度域情報を算出するためのデータ領域が確保され、０に初期化される。
【０２５１】
ステップＳ１６２において、次のフレームで用いるためのブロックヒストグラムおよびブロック特性値を算出するためのデータ領域が確保され、０に初期化される。
【０２５２】
ステップＳ１６３において、輝度算出部４６１は、入力モザイク画像の画素位置について、当該画素位置の輝度値を算出する。
【０２５３】
ステップＳ１６４において、非線形変換部４６２は、当該画素位置の輝度値を非線形変換する。
【０２５４】
ステップＳ１６５において、輝度階調補正部４６４は、非線形変換後の当該画素位置の輝度値に階調補正処理を適用する。
【０２５５】
ステップＳ１６６において、非線形変換部４６３は、入力モザイク画像の当該画素位置の画素値を非線形変換する。
【０２５６】
ステップＳ１６７において、モザイク階調補正部４６５は、非線形変換後の当該画素位置のモザイク画像の画素値に当該画素位置の輝度値の階調補正結果を反映させる。
【０２５７】
ステップＳ１６８において、非線形逆変換部４６６は、階調補正後の当該画素位置のモザイク画像の画素値の非線形特性を逆変換で元の特性に戻す。
【０２５８】
ステップＳ１６９において、非線形逆変換後の画素値が当該画素位置の階調補正結果として出力される。
【０２５９】
ステップＳ１７０において、入力モザイク画像の全ての画素位置について、処理が行われたか否かが判定される。ステップＳ１７０において、まだ全ての画素位置について、処理が行われていないと判定された場合、処理はステップＳ１６３に戻り、上述した処理が繰り返される。
【０２６０】
これに対して、ステップＳ１７０において、全ての画素位置について、処理が行われたと判定された場合、ステップＳ１７１において、次のフレームで用いるためのブロックヒストグラムの算出結果がブロックヒストグラムストア３１４に格納される。
【０２６１】
ステップＳ１７２において、次のフレームで用いるためのブロック特性値の算出結果がブロック特性値ストア３１３に格納される。
【０２６２】
ステップＳ１７３において、畳み込み部３１５は、平滑化されたブロックヒストグラムおよび平滑化されたブロック特性値を算出する。
【０２６３】
ステップＳ１７４において、次のフレームで用いるための平滑化ブロックヒストグラムの算出結果が平滑化ブロックヒストグラムストア３１７に格納される。
【０２６４】
ステップＳ１７５において、次のフレームで用いるための平滑化ブロック特性値ヒストグラムの算出結果が平滑化ブロック特性値ストア３１６に格納される。
【０２６５】
ステップＳ１７６において、次のフレームで用いるための輝度域情報の算出結果が輝度域情報ストア４９２に格納されて、階調補正処理は終了する。そして、その後、処理は図２６のステップＳ１４に進む。
【０２６６】
以上で、階調補正処理部４２２の動作を完了する。
【０２６７】
図３１は、図３０のステップＳ１６５の処理内の動作手順、すなわちステップＳ１６５の処理に対応する輝度値階調補正処理を説明するフローチャートである。
【０２６８】
このフローチャートで説明する処理は、図２５および図１６で説明されている処理ブロックの中である画素単位の処理をおこなう部分である。画素単位の処理をおこなわない畳み込み部３１５（図１６）の動作手順は別途説明する。
【０２６９】
ステップＳ２０１において、輝度域情報算出部４９１（図２５）は、当該画素位置の輝度を評価して、次フレーム用の輝度域情報のここまでの計算結果を更新する。
【０２７０】
ステップＳ２０２において、ヒストグラム算出部３１２（図１６）は、当該画素位置の輝度を評価して、次フレーム用のブロックヒストグラムの該当するbinのここまでの計算結果を更新する。
【０２７１】
ステップＳ２０３において、特性値算出部３１１（図１６）は、当該画素位置の輝度を評価して、次フレーム用のブロック特性値の該当するbinのここまでの計算結果を更新する。
【０２７２】
ステップＳ２０４において、補間部３１９（図１６）は、平滑化ブロックヒストグラム３１７（図１６）に格納されている頻度期待値を参照し、頻度期待値の当該画素位置への補間値を算出する。
【０２７３】
ステップＳ２０５において、補間部３１８（図１６）は、平滑化ブロック特性値３１６（図１６）に格納されている特性積分値を参照し、特性積分値の当該画素位置への補間値を算出する。
【０２７４】
ステップＳ２０６において、除算部３２０（図１６）は、当該画素位置へ補間された特性積分値を当該画素位置へ補間された頻度期待値で除算し、それを大局輝度値とする。
【０２７５】
ステップＳ２０７において、トーンカーブ算出部４９４（図２５）は、輝度域情報ストア４９２（図２５）に格納されている輝度域情報と当該画素位置の大局輝度値から、当該画素位置のトーンカーブ形状を算出する。
【０２７６】
ステップＳ２０８において、マッピング部４９６（図２５）は、当該画素位置のトーンカーブを参照し、当該画素位置の大局輝度値にトーンカーブを適用した値を算出する。
【０２７７】
ステップＳ２０９において、マッピング部４９７（図２５）は、当該画素位置のトーンカーブを参照し、当該画素位置の輝度値にトーンカーブを適用した値を算出する。
【０２７８】
ステップＳ２１０において、コントラスト補正部４９８（図２５）は、当該画素位置のトーンカーブ、当該画素位置の大局輝度値および輝度値を参照し、コントラスト補正された当該画素位置の輝度値を算出し、それを当該画素位置の輝度の階調補正結果として出力する。輝度の階調補正結果が出力されると、輝度値階調補正処理は終了し、その後、処理は図３０のステップＳ１６６に進む。
【０２７９】
以上で、輝度値階調補正処理の動作を完了する。
【０２８０】
図３２は、図３０のステップＳ１７３の処理に対応する平滑化ブロックヒストグラムおよび平滑化ブロック特性値の算出処理の動作手順を説明するフローチャートである。処理構成としては、畳み込み部３１５（図１６）の内部処理（図１８）に相当する。
【０２８１】
この平滑化ブロックヒストグラムおよび平滑化ブロック特性値の算出処理は、ブロックヒストグラムの各bin（以下、中心bin）位置について、行なわれる。
【０２８２】
ステップＳ２４１において、中心bin選択部３５３は、ブロックヒストグラムの中心bin位置にあるbinを選択する。
【０２８３】
ステップＳ２４２において、周辺bin選択部３５２は、中心bin位置の周辺に位置するブロックヒストグラムの周辺binを選択する。
【０２８４】
ステップＳ２４３において、周辺bin選択部３５１は、中心bin位置の周辺に位置するブロック特性値の周辺binを選択する。
【０２８５】
そして、その後、空間重み関数セット３８１の各重み関数について、ステップＳ２４４乃至ステップＳ２５３の処理が行われ、輝度重み関数セット３８２の各重み関数について、ステップＳ２４４乃至ステップＳ２５２の処理が行われる。
【０２８６】
すなわち、ステップＳ２４４において、当該空間重み関数と当該輝度重み関数の組み合わせに対応する特性積分値および頻度期待値が０に初期化される。
【０２８７】
ステップＳ２４５において、空間距離算出部３５４および空間重み算出部３５６は、中心binと当該周辺binと当該空間重み関数に基づく空間重み値の算出をおこなう。
【０２８８】
ステップＳ２４６において、輝度距離算出部３５５および輝度重み算出部３５７は、中心binと当該周辺binと当該輝度重み関数に基づく輝度重み値の算出をおこなう。
【０２８９】
ステップＳ２４７において、乗算部３５８は、空間重み値と輝度重み値を乗算した合成重み値を算出する。
【０２９０】
ステップＳ２４８において、積和部３６０は、合成重み値と当該周辺binの頻度値を乗じた値を算出し、それを頻度期待値のここまでの算出結果に加算する。
【０２９１】
ステップＳ２４９において、積和部３５９は、合成重み値と当該周辺binの頻度値と当該周辺binの輝度期待値を乗じた値を算出し、それを特性積分値のここまでの算出結果に加算する。
【０２９２】
ステップＳ２５０において、全ての周辺binについてステップＳ２４５乃至ステップＳ２４９の処理が行われたか否かが判定される。
【０２９３】
ステップＳ２５０において、まだ全ての周辺binについて処理が行われていないと判定された場合、処理はステップＳ２４５に戻り、上述した処理が繰り返される。
【０２９４】
これに対して、ステップＳ２５０において、全ての周辺binについて処理が行われたと判定された場合、処理はステップＳ２５１に進む。
【０２９５】
ステップＳ２５１において、当該空間重み関数と当該輝度重み関数の組み合わせに対応する特性積分値および頻度期待値の結果が、それぞれ特性積分値ストア３８３および頻度期待値ストア３８４に保持される。
【０２９６】
ステップＳ２５２において、輝度重み関数セット３８２の全ての重み関数について、ステップＳ２４４乃至ステップＳ２５１の処理が行われたか否かが判定される。
【０２９７】
ステップＳ２５２において、まだ全ての重み関数について処理が行われていないと判定された場合、処理はステップＳ２４４に戻り、上述した処理が繰り返される。
【０２９８】
これに対して、ステップＳ２５２において、全ての重み関数について処理が行われたと判定された場合、処理はステップＳ２５３に進む。
【０２９９】
ステップＳ２５３において、空間重み関数セット３８１の全ての重み関数について、ステップＳ２４４乃至ステップＳ２５２の処理が行われたか否かが判定される。
【０３００】
ステップＳ２５３において、まだ全ての重み関数について処理が行われていないと判定された場合、処理はステップＳ２４４に戻り、上述した処理が繰り返される。
【０３０１】
これに対して、ステップＳ２５３において、全ての重み関数について処理が行われたと判定された場合、つまり全ての空間重み関数と輝度重み関数の組み合わせについて、処理が行われた場合、処理はステップＳ２５４に進む。
【０３０２】
ステップＳ２５４において、頻度期待値選択部３８５は、特性積分値および頻度期待値の組を選択する。
【０３０３】
ステップＳ２５５において、選択された頻度期待値が平滑化ブロックヒストグラムストア３１７の中心bin位置へ格納される。
【０３０４】
ステップＳ２５６において、選択された特性積分値が平滑化ブロック特性値ストア３１６の中心bin位置へ格納される。
【０３０５】
ステップＳ２５７において、全てのbin位置についてステップＳ２４１乃至ステップＳ２５６の処理が行われたか否かが判定される。
【０３０６】
ステップＳ２５７において、まだ全てのbin位置について処理が行われていないと判定された場合、処理はステップＳ２４１に戻り、上述した処理が繰り返される。
【０３０７】
これに対して、ステップＳ２５７において、ブロックヒストグラムの全てのbin位置について処理が行われたと判定された場合、平滑化ブロックヒストグラムおよび平滑化ブロック特性値の算出処理は終了し、処理は図３０のステップＳ１７４に進む。
【０３０８】
以上で、平滑化ブロックヒストグラムおよび平滑化ブロック特性値の算出処理の動作を完了する。
【０３０９】
以上で、処理手順の説明を終わる。
【０３１０】
［バリエーション等］
以上に説明した実施例によって、本技術がどのように利用されるかを説明した。しかし本技術の利用形態は以上の実施例に限定されるものではない。
【０３１１】
例えば、輝度のノイズ低減に本技術の第１の構成を利用したが、第２および第３の構成を輝度ノイズの低減に利用することもできる。同様に、第１および第３の構成を色差ノイズ低減に、また、第１および第２の構成を階調補正に用いることは可能である。
【０３１２】
また、本技術の第２および第３の構成における特性値は、実施例で説明した輝度あるいは色差以外のものであってよい。例えば、RGB画像のいずれかのチャネルであってもよい。
【０３１３】
また、本技術の重み関数の選択に関しては、空間重みか輝度重みかのどちらか片方だけ選択するようにしてもよい。
【０３１４】
さらには、本技術の第３の構成において、選択された重み関数で畳み込んだ結果である平滑化ブロックヒストグラムおよび平滑化ブロック特性値は、必要に応じてそのサイズ（ブロック分割数もしくはbin分割数）を変更（大抵は縮小）しても本技術の効果を得ることは可能である。
【０３１５】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３１６】
図３３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３１７】
コンピュータにおいて、CPU８０１，ROM（Read Only Memory）８０２，RAM８０３は、バス８０４により相互に接続されている。
【０３１８】
バス８０４には、さらに、入出力インターフェース８０５が接続されている。入出力インターフェース８０５には、キーボード、マウス、マイクロホンなどよりなる入力部８０６、ディスプレイ、スピーカなどよりなる出力部８０７、ハードディスクや不揮発性のメモリなどよりなる記録部８０８、ネットワークインターフェースなどよりなる通信部８０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１１を駆動するドライブ８１０が接続されている。
【０３１９】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記録部８０８に記録されているプログラムを、入出力インターフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。
【０３２０】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア８１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０３２１】
そして、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インターフェース８０５を介して、記録部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記録部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記録部８０８に、あらかじめインストールしておくことができる。
【０３２２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３２３】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０３２４】
４２１ ホワイトバランス処理部， ４２２ 階調補正処理部， ４２３ デモザイク処理部， ４２４ ガンマ補正処理部， ４２５ YC変換処理部， ４２６ 輝度ノイズ低減処理部， ４２７ 色差ノイズ低減処理部
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、画像の画質の劣化を抑制し、かつ十分な平滑化効果を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像処理技術の１つにエッジ保存平滑化処理がある。エッジ保存平滑化とは、画像中の物体境界など顕著な輝度段差は残しつつ階調を平滑化する非線形フィルタ処理である。視認性に影響する物体輪郭を保存しながら微細な輝度変動を除去するので、古くからノイズリダクション処理に用いられている（例えば、非特許文献１乃至非特許文献３参照）。
【０００３】
またエッジ保存平滑化処理は、物体内のテクスチャの微細な輝度変動と物体輪郭の顕著な輝度段差を分離できる性質を利用して、テクスチャに代表されるディテール成分を変化させることなく、それ以外の成分の輝度差を圧縮する階調補正処理にも用いられている（例えば、非特許文献４および非特許文献５参照）。
【０００４】
そのようなエッジ保存平滑化処理の中で、近年バイラテラルフィルタと呼ばれる技術がよく利用されている。一般に、画像I(p)に対するバイラテラルフィルタBLF(p)は、次式（１）に示されるように、空間方向の重み関数ω(q-p)と輝度値方向の重み関数φ(I(q)-I(p))の2つで重み付けした画素位置pの周囲の画素値I(q)を加算する演算をおこなう。
【０００５】
【数１】
【０００６】
式（１）において右辺の分母は重み値の正規化係数を示す。
【０００７】
例えば非特許文献４にはバイラテラルフィルタを用いた階調補正処理技術が開示されている。バイラテレルフィルタにおける空間および輝度方向の重み関数形状は任意だが、画像処理用途においては、矩形状のBox関数やベル形状の正規分布関数が用いられることが多い。
【０００８】
バイラテラルフィルタと類似のエッジ保存平滑化処理にεフィルタと呼ばれる技術もあり、これもよく利用されている。εフィルタは、バイラテラルフィルタの空間方向の重み関数をBox関数としたもの、すなわち画素位置依存の重み付けをおこなわないバイラテラルフィルタだと説明することができる。次式（２）にεフィルタの演算式を示す。
【０００９】
【数２】
【００１０】
バイラテレルフィルタもεフィルタも、平滑化対象である画素の輝度値とその近傍の画素の輝度値との差分に基づいた重みつき期待値を算出する手法であり、それによりエッジのような大きな段差とノイズのような微小振幅の分離を高める効果を出している。
【先行技術文献】
【非特許文献】
【００１１】
【非特許文献１】A. Lev, S. W. Zucker, A. Rosenfeld, "Iterative enhancement of noise images", IEEE Trans. Systems, Man, and Cybernetics, Vol. SMC-7, 1977.
【非特許文献２】D. C. C. Wang, A. H. Vagnucci, C. C. Li, "Gradient inverse weighted smoothing scheme and the evaluation of its performance", CVGIP, Vol. 15, pp. 167-181, 1981.
【非特許文献３】M. Nagao, T. Matsuyama, "Edge preserving smoothing", CGIP, Vol. 9, pp. 394-407, 1978.
【非特許文献４】F. Durand, J. Dorsey, "Fast bilaterarl filtering for the display of high-dynamic-range images", Proc. of ACM SIGGRAPH 2002, 2002.
【非特許文献５】S. N. Pattanaik, H. Yee, "Adaptive gain control for high dynamic range image display", Proc. of Spring Conference in Computer Graphics 2002, 2002.
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、前述のような輝度方向の重み関数を用いるエッジ保存平滑化では、比較的緩い勾配のエッジやグラデーション領域において、適切な平滑化がかからなかったり擬似輪郭状のアーチファクトが発生するなどの問題があった。以下に、１次元信号の例を用いて説明する。
【００１３】
図１および図２は、矩形状の凹凸にノイズが加わった１次元信号に対してバイラテラルフィルタを適用してノイズ除去をおこなう例を模式的に示すものである。
【００１４】
図１には、バイラテラルフィルタを適用する前の信号を黒丸の点列１１で、本来得られるべきノイズのない信号を破線１２で示す。ある画素位置１３における信号にバイラテレルフィルタを適用するには、空間方向の重み関数１４の中心を当該位置に配置し、輝度方向の重み関数１５の中心を当該画素の輝度値に合わせて配置して、上述した式（１）の計算をおこなえばよい。
【００１５】
このとき、空間および輝度方向の重み関数の幅で規定される長方形の領域１６内にある画素信号が平滑化に反映される。空間的に重み関数の範囲内であっても輝度方向に重み関数の範囲内に入らなければ、その画素は平滑化に反映されない。
【００１６】
従って、画素位置１３においては、信号の段差を越えて右側にある画素は除外され、信号の段差より左側の画素のみで重みつき期待値が算出されるので、本来のノイズのない信号に近い処理結果を得ることができる。
【００１７】
このような信号の段差の近傍であっても段差の両側の信号を分離して平滑化するバイラテレルフィルタの性質によって、信号全体にバイラテラルフィルタを適用すると図２に示すような理想に近い信号を得ることができる。
【００１８】
次に、図３および図４に、矩形よりも段差において緩い勾配を持つ台形状の凹凸にノイズが加わった１次元信号に対してバイラテラルフィルタを適用する例を模式的に示す。
【００１９】
先図と同様、バイラテラルフィルタを適用する前の信号を黒丸の点列３１で、本来得られるべきノイズのない信号を破線３２で示す。また、ある画素位置３３における信号にバイラテレルフィルタを適用する場合の、空間方向の重み関数３４および輝度方向の重み関数３５の位置を示す。
【００２０】
先例と同様に、空間方向および輝度方向の重み関数で規定される長方形の領域３６内にある画素が、当該画素位置３３における重みつき期待値に寄与する。しかしこの例では、段差が急峻でなく緩やかな勾配を持つので、当該画素３３は段差の勾配の中腹に存在する。
【００２１】
本来であれば勾配の中腹付近の輝度値が近傍画素の重みつき期待値で算出されるのが理想だが、この例においては、重み関数によって当該画素より低い輝度に偏った近傍画素の期待値が算出され、本来の信号よりは低い値が出力される。
【００２２】
同様に勾配中の他の位置でも、平坦部に近い場所ほど重み関数による画素選択により平坦部の輝度に偏った期待値が算出されるので、結果として、図４に示すような、本来の段差の勾配とは異なったより急峻な勾配の信号が算出されてしまう。
【００２３】
この問題は、バイラテラルフィルタの輝度方向の重み関数による輝度範囲の制限が強すぎるために生じる。例えば、図５に示すように、図３と同じ信号に対してより幅が広い輝度方向の重み関数５１を適用すれば、段差の勾配にかかる画素においても十分な平滑化がかかるようになり、また図６のように本来の段差に近い勾配の信号を得ることができる。
【００２４】
しかしながら、これと同じ幅の輝度方向の重み関数を最初の図１の矩形状の信号に適用すると、段差を分離する性質が弱いために、本来急峻であるべき段差の肩がなまってしまうという結果となってしまう。
【００２５】
同じく輝度方向の重み関数の幅に関連する別の問題を、図７および図８を用いて説明する。
【００２６】
図７は、緩やかに変化する勾配にノイズが加わった１次元信号に対してバイラテラルフィルタを適用する例を模式的に示すものである。
【００２７】
前図と同様に、バイラテラルフィルタを適用する前の信号を黒丸の点列７１で、本来得られるべきノイズのない信号を破線７２で示す。本来のノイズない信号７２の左端は比較的急峻な勾配を持つが、右に向かって勾配が次第に緩やかになっている。
【００２８】
さらに、信号左端付近の急な勾配の画素位置７３における空間方向の重み関数７５および輝度方向の重み関数７６、重み関数で規定される重みつき期待値に寄与する領域７７と、信号右端付近の緩やかな勾配の位置７４における空間方向の重み関数７８および輝度方向の重み関数７９、重み関数で規定される重みつき期待値に寄与する領域８０を示す。
【００２９】
２つの位置における寄与する領域７７および領域８０を見比べると明らかに左端付近の急峻な勾配の位置では寄与できる画素の数が少ない。その結果、図８に示すように、勾配が急峻な領域では、勾配が緩やかな領域に比べてバイラテラルフィルタの平滑化効果すなわちノイズ低減の効果が小さくなるという問題が生じる。
【００３０】
このように、輝度方向の重み関数の適切な幅は画像によって異なる。バイラテラルフィルタをノイズ低減用途に用いたとき、ノイズ低減の効果とエッジ保存性能のトレードオフという問題になってあらわれる。本来あるべきエッジを残そうとすれば輝度方向の重み関数の幅を小さめに設定することが望ましいが、小さい幅の重み関数は緩い勾配が変化するときにノイズ低減効果が変化してしまう。
【００３１】
また、バイラテラルフィルタを階調補正に利用する場合は、画像の大局的な構造をあらわす成分（以下、大局輝度成分）とテクスチャなどのローカルな構造をあらわす成分（以下、ローカルコントラスト成分）とを分離する処理にバイラテラルフィルタを利用する。このとき、エッジ部の勾配が適切に成分分離されないと不自然なアーチファクトが発生してしまう。
【００３２】
前述の例のようにエッジの段差に対して小さすぎる幅の輝度重み関数はソラリゼーションあるいは擬似輪郭状のアーチファクトの原因となり、逆に大きすぎる幅はハロあるいはオーバーシュート状のアーチファクトの原因となり、小さくても大きくても問題がある。このような問題を回避するには、画像に応じて輝度重み関数の幅を適切に調節する必要がある。
【００３３】
以上のように、バイラテラルフィルタやεフィルタなど輝度軸の重み関数を利用するエッジ保存平滑化では、比較的緩い勾配のエッジやグラデーション領域において、適切な平滑化がかからなかったり擬似輪郭状のアーチファクトが発生するなどの問題があった。
【００３４】
本技術は、このような状況に鑑みてなされたものであり、画像の画質の劣化を抑制し、かつ十分な平滑化効果を得ることができるようにするものである。
【課題を解決するための手段】
【００３５】
本技術は以下のような手段によって、以上に述べた課題を解決する。
【００３６】
まず、本技術の第１の構成として、画像データ中のある画素位置において、
当該画素位置の画素値と近傍領域の各画素の画素値との差分値に基づく重み値を算出し（例えば、図１０の空間重み算出部１０５、輝度重み算出部１０６までの構成）、
前記近傍領域の各画素で算出した重み値に基づいて、前記近傍領域画素値の期待値を算出し、それを当該画素位置の計算結果とする（積和部１０７、積和部１０８以降の構成）画像処理において、
前記重み値を算出するための複数の正規化された重み関数（空間重み関数セット１３１および輝度重み関数セット１３２）と、
前記複数の正規化重み関数の夫々について、近傍領域の全画素の重み値総和を算出する手段（空間重み算出部１０５、輝度重み算出部１０６、積和部１０７、積和部１０８およびその結果をストアする輝度積分値ストア１３３、重み積分値ストア１３４）と、
前記重み値総和に基づいて前記正規化重み関数を選択する手段（積分値選択部１３５）と、
前記選択された正規化重み関数に基づいた前記近傍領域画素値の期待値を算出する手段（除算部１０９）と
を備えるようにする。
【００３７】
さらに本技術は、前記正規化重み関数を選択する手段は、
前記重み値総和を最大にする正規化重み関数を選択する（例えば、図１１の構成）ようにすることができる。
【００３８】
また本技術は、前記正規化重み関数を選択する手段は、
前記重み値総和のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された重み値総和に対応する正規化重み関数のうち、関数の幅が最大のものを選択する（例えば、図１２の構成）ようにしてもよい。
【００３９】
次に、本技術の第２の構成として、
画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の画素の頻度値（ブロックヒストグラム）を算出するブロックヒストグラム算出手段と、
ブロックヒストグラムの各bin毎に特性値を算出あるいは設定する特性値算出手段と、
前記各binの頻度値および特性値に基づいて、画像の各画素における特性値の重みつき期待値を算出する手段と
を備える画像処理（例えば、図１３の構成）において、
前記特性値の重みつき期待値を算出する手段は、
前記重み値を算出するための複数の正規化された重み関数（例えば、図１５の空間重み関数セット２８１および輝度重み関数セット２８２）と、
前記複数の正規化重み関数の夫々について、当該画素における頻度期待値を算出する手段（積和部２５９）と、
前記頻度期待値に基づいて前記正規化重み関数を選択する手段（頻度期待値選択部２８５）と、
前記選択された正規化重み関数に基づいた前記当該画素の特性値の重みつき期待値を算出する手段（積和部２５８、積和部２５９から除算部２６０までの構成）と
を備えるようにする。
【００４０】
さらに本技術は、前記正規化重み関数を選択する手段は、
前記頻度期待値を最大にする正規化重み関数を選択する（例えば、図１１の構成）ようにすることができる。
【００４１】
また本技術は、前記正規化重み関数を選択する手段は、
前記頻度期待値のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された頻度期待値に対応する正規化重み関数のうち、関数の幅が最大のものを選択する（例えば、図１２の構成）ようにしてもよい。
【００４２】
さらに本技術は、前記bin毎の特性値は、binに属する画素の輝度を代表する値であるようにすることができる。
【００４３】
また本技術は、前記bin毎の特性値は、binに属する画素の色度を代表する値であるようにしてもよい。
【００４４】
次に、本技術の第３の構成として、
画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の画素の頻度値（ブロックヒストグラム）を算出するブロックヒストグラム算出手段と、
ブロックヒストグラムの各bin毎に特性値を算出あるいは設定する特性値算出手段と、
前記頻度値に対して重み関数を畳み込む、第１の畳み込み手段と、
（前記特性値×前記頻度値）に対して、重み関数を畳み込む、第２の畳み込み手段と、
画像の各画素の輝度値に対応する、前記第１の畳み込み手段の結果の補間値を算出する手段と、
画像の各画素の輝度値に対応する、前記第２の畳み込み手段の結果の補間値を算出する手段と、
前記第１の補間値を前記第２の補間値で除算することによって、画像の各画素の輝度値に対応する前記特性値の重みつき期待値を算出する手段と
を備える画像処理（例えば、図１６の構成）において、
前記第１の畳み込み手段は、
複数の正規化された重み関数（例えば、図１８の空間重み関数セット３８１および輝度重み関数セット３８２）と、
前記複数の正規化重み関数の夫々について、前記頻度値の各binにおける畳み込み結果を算出する手段（積和部３６０）と、
前記頻度値の畳み込み結果に基づいて、前記正規化重み関数および対応する前記頻度値の畳み込み結果をbin毎に選択する手段（頻度期待値選択部３８５）と
を備え、
前記第２の畳み込み手段は、
複数の正規化された重み関数（空間重み関数セット３８１および輝度重み関数セット３８２）と、
前記複数の正規化重み関数の夫々について、前記頻度値の各binにおける畳み込み結果を算出する手段（積和部３６０）と、
前記複数の正規化重み関数の夫々について、（前記特性値×前記頻度値）の各binにおける畳み込み結果を算出する手段（積和部３５９）と、
前記頻度値の畳み込み結果に基づいて、前記正規化重み関数および対応する前記（前記特性値×前記頻度値）の畳み込み結果をbin毎に選択する手段（頻度期待値選択部３８５）と
を備えるようにする。
【００４５】
さらに本技術は、前記正規化重み関数を選択する手段は、
前記頻度期待値を最大にする正規化重み関数を選択する（例えば、図１１の構成）ようにすることができる。
【００４６】
また本技術は、前記正規化重み関数を選択する手段は、
前記頻度期待値のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された頻度期待値に対応する正規化重み関数のうち、関数の幅が最大のものを選択する（例えば、図１２の構成）ようにしてもよい。
【００４７】
さらに本技術は、前記bin毎の特性値は、binに属する画素の輝度を代表する値であるようにすることができる。
【００４８】
また本技術は、前記bin毎の特性値は、binに属する画素の色度を代表する値であるようにしてもよい。
【発明の効果】
【００４９】
本技術の一側面によれば、画像の画質の劣化を抑制し、かつ十分な平滑化効果を得ることができることができる。
【図面の簡単な説明】
【００５０】
【図１】ノイズを含む矩形状の信号に対してバイラテラルフィルタを適用する様子を示す図である。
【図２】ノイズを含む矩形状の信号に対してバイラテラルフィルタを適用した結果を示す図である。
【図３】ノイズを含む台形状の信号に対してバイラテラルフィルタを適用する様子を示す図である。
【図４】ノイズを含む台形状の信号に対してバイラテラルフィルタを適用した結果を示す図である。
【図５】ノイズを含む台形状の信号に対してバイラテラルフィルタを適用する様子を示す図である。
【図６】ノイズを含む台形状の信号に対してバイラテラルフィルタを適用した結果を示す図である。
【図７】ノイズを含む緩やかな勾配の信号に対してバイラテラルフィルタを適用する様子を示す図である。
【図８】ノイズを含む緩やかな勾配の信号に対してバイラテラルフィルタを適用した結果を示す図である。
【図９】バイラテラルフィルタの処理構成のブロックダイアグラムである。
【図１０】バイラテラルフィルタの処理構成のブロックダイアグラムである。
【図１１】積分値選択部の内部構成を説明するブロックダイアグラムである。
【図１２】積分値選択部の第２の内部構成を説明するブロックダイアグラムである。
【図１３】ブロックヒストグラムを利用するエッジ保存平滑化の処理構成を説明するブロックダイアグラムである。
【図１４】重みつき期待値算出部の内部構成を説明するブロックダイアグラムである。
【図１５】重みつき期待値算出部の内部構成を説明するブロックダイアグラムである。
【図１６】ブロックヒストグラムを利用し、さらに計算を簡略化したエッジ保存平滑化の処理構成を説明するブロックダイアグラムである。
【図１７】畳み込み部の内部構成を説明するブロックダイアグラムである。
【図１８】畳み込み部の内部構成を説明するブロックダイアグラムである。
【図１９】デジタルビデオカメラシステムのブロックダイアグラムである。
【図２０】信号処理部(DSP)の構成を説明するブロックダイアグラムある。
【図２１】モザイク画像の色配列（Bayer配列）を模式的に示す図である。
【図２２】空間重み関数の一例を示す図である。
【図２３】輝度重み関数の一例を示す図である。
【図２４】階調補正処理部の内部構成を説明するブロックダイアグラムである。
【図２５】輝度階調補正部の内部構成を説明するブロックダイアグラムである。
【図２６】画像処理について説明するフローチャートである。
【図２７】輝度ノイズ低減処理について説明するフローチャートである。
【図２８】色差ノイズ低減処理について説明するフローチャートである。
【図２９】重みつき期待値算出処理について説明するフローチャートである。
【図３０】階調補正処理について説明するフローチャートである。
【図３１】輝度値階調補正処理について説明するフローチャートである。
【図３２】平滑化ブロックヒストグラムおよび平滑化ブロック特性値の算出処理について説明するフローチャートである。
【図３３】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００５１】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００５２】
［本技術の作用と効果について］
本技術は、画像データの大局的な構造を抽出する画像処理あるいはそれを実装した装置である。抽出された情報を利用して画質を向上させるなどの利用が可能であり、ビデオカメラ、デジタルスチルカメラなどの撮像装置またはプリンタやディスプレイなどの画像表示装置内の信号処理として、または画像加工・編集用の装置もしくはコンピュータプログラムなどに応用される技術である。
【００５３】
まず、本技術がどのように作用して前述の課題の解決となるかを説明する。
【００５４】
基本的には、本技術では、異なる広がり（σ）を持つ複数の正規化した輝度軸重み関数を用いて、局所領域内の画素毎の重み値を算出する。その重み値の総和が最大となる輝度軸重み関数によるエッジ保存平滑化結果を選択する。
【００５５】
図９は、上述した式（１）で表されるバイラテラルフィルタ処理を実現する処理ブロック構成の一例を示すものである。この構成で実現されるバイラテラルフィルタでは前述のようなノイズ低減の効果とエッジ保存性能のトレードオフという問題が発生する。
【００５６】
これに対して本技術を利用するバイラテラルフィルタの処理ブロック構成を図１０に示す。本技術によれば、各近傍画素値の重みつけに用いられる空間および輝度方向の重み関数を複数備え（図１０の空間重み関数セット１３１および輝度重み関数セット１３２）、それぞれの重み関数を用いられて算出した結果の中から重み値の総和基づいて最適なものを選択する機構を持つ（積分値選択部１３５）ので、重み関数を近傍画像に応じて画素位置毎に最適化できるようになる。そのため前述のトレードオフが緩和され、従来よりも好適な結果を得ることができる。（以上、請求項１，４，９）
【００５７】
さらに本技術は、それぞれの重み関数が用いられて算出された結果の中から重み値の総和に基づいて最適なものを選択するための具体的な基準として、重み値の総和がなるべく大きくなるものを選択するという基準およびそれを計算するための機構を与える（図１１の構成）。
【００５８】
本技術で用いる重み関数はその積分値が等しくなるように正規化されているので、この基準により、画像中の段差における勾配が急峻であれば関数幅の狭いものが選択されやすいので、結果として平滑化の効果が弱まって段差の急峻さを残しやすくなる。逆に勾配が緩やかであれば関数幅の広いものが選択されやすくなり、結果として平滑化が強くなるので元画像以上に急峻な段差が出力されることを抑制することができる。（以上、請求項２，５，１０）
【００５９】
さらに本技術は、それぞれの重み関数が用いられて算出された結果の中から重み値の総和に基づいて最適なものを選択するための具体的な基準として、重み値の総和が大きく算出されるものの中から最大の関数幅を持つものを選択するという基準およびそれを計算するための機構を与える（図１２の構成）。
【００６０】
例えば、緩やかな勾配がほぼ一定で連続するような画像であるために正規化された重み関数では重み値の総和がどれも同程度になる場合、この基準によれば、最大幅の重み関数が選択されより高い平滑化結果を得ることができる。急峻な勾配が連続する可能性は低いので、最大幅の重み関数を選択することの副作用は軽微である（以上、請求項３，６，１１）。
【００６１】
さらに本技術は、別の第２の形態によるエッジ保存平滑化についても同様の効果を得るための構成を与える。図１３は、特開２００９−１７７５５８号公報（以下、特許文献６と称する）に開示されているバイラテラルフィルタとは別の形態のエッジ保存平滑化の処理ブロック構成である。この構成によれば、前処理として画像を分割した各ブロックごとにヒストグラム（ブロックヒストグラム）を算出しておき（特性値算出部２２１およびヒストグラム算出部２２２）、画素毎の演算においては、それを利用することによって、バイラテラルフィルタで各画素位置毎に必要とされる多数の近傍画素毎の演算を回避することができる（重みつき期待値算出部２２５）。
【００６２】
図１４にその画素毎の演算をおこなう処理構成（図１３の重みつき期待値算出部２２５の内部構成）を示す。バイラテラルフィルタの近傍画素毎の演算とは異なり、ヒストグラムの近傍bin毎に重み値を算出しそれに基づいた特性値の重みつき期待値を算出する処理をおこなう。
【００６３】
これに対して、同エッジ保存平滑化の画素毎の演算について本技術を利用する処理ブロック構成を図１５に示す。本技術によれば、各近傍binの重みつけに用いられる空間および輝度方向の重み関数を複数備え（図１５の空間重み関数セット２８１および輝度重み関数セット２８２）、それぞれの重み関数が用いられて算出された結果の中からヒストグラムの頻度期待値に基づいて最適なものを選択する機構を持つ（頻度期待値選択部２８５）ので、重み関数を近傍binに応じて画素位置毎に最適化できるようになる。そのため前述のトレードオフが緩和され、従来よりも好適な結果を得ることができる（以上、請求項４）。
【００６４】
さらに本技術は、さらに第３の別の形態によるエッジ保存平滑化についても同様の効果を得るための構成を与える。図１６は、特許文献６に開示されているさらに別の形態のエッジ保存平滑化の処理ブロック構成である。
【００６５】
この構成によれば、画像を分割した各ブロックごとにヒストグラム（ブロックヒストグラム）を算出しておき（特性値算出部３１１およびヒストグラム算出部３１２）、その算出された結果に空間および輝度方向の重み関数を畳み込む（畳み込み部３１５）までを前処理としておこなう。
【００６６】
画素毎の演算においては、畳み込んだ結果（平滑化ブロック特性値３１６および平滑化ブロックヒストグラム３１７）を用いて当該画素位置に対応する補間値を算出する（補間部３１８、補間部３１９、および除算部３２０による構成）ことでエッジ保存平滑化結果を出力する。
【００６７】
図１７にbin毎の畳み込み演算の処理構成（図１６の畳み込み部３１５の内部構成）を示す。畳み込みをおこなうbin位置毎にヒストグラムの平滑化結果を算出するために、当該bin位置の近傍bin毎に重み値を算出し（空間重み算出部３５６、輝度重み算出部３５７、および乗算部３５８による構成）、それを用いて近傍binの値を積和する処理（積和部３５９および積和部３６０）をおこなう。
【００６８】
これに対して、同エッジ保存平滑化の画素毎の演算について本技術を利用する処理ブロック構成を図１８に示す。本技術によれば、各近傍binの重みつけに用いられる空間および輝度方向の重み関数を複数備え（図１８の空間重み関数セット３８１および輝度重み関数セット３８２）、それぞれの重み関数が用いられて算出された結果の中からヒストグラムの頻度期待値に基づいて最適なものを選択する機構を持つ（頻度期待値選択部３８５）ので、重み関数を近傍binに応じてbin位置毎に最適化できるようになる。そのため前述のトレードオフが緩和され、従来よりも好適な結果を得ることができる（以上、請求項９）。
【００６９】
また、本技術を利用した前記第２および第３の形態のエッジ保存平滑化において、ブロックヒストグラムの各binに対応して算出する具体的な特性値として、各binに属する画素の輝度を代表する値を用いることにより、輝度のエッジ保存平滑化が可能になる。輝度を代表する値とは、具体的には、各binに属する画素の輝度の期待値、中央値、あるいはブロックヒストグラムの輝度方向の分割方法に基づく各binの中央に対応する値などを用いることができる（以上、請求項７，１２）。
【００７０】
さらに、本技術における入力画像は様々な特性値を複数のチャネルにまとめた多チャネル画像であってもよい。多チャネル画像の典型例はカラー画像である。カラー画像が入力である場合、ブロックヒストグラムの各binに対応して算出する具体的な特性値として、各binに属する画素の色度を代表する値を用いることにより、色度のエッジ保存平滑化が可能になる。色度を代表する値とは、具体的には、画像が保持するチャネル（色）のうち輝度とは異なる分光特性を持つものや、多チャネル画像を輝度-色差空間に変換した後の色差成分、多チャネル画像を輝度-飽和度-色相空間に変換した後の飽和度および色相成分などが考えられ、各binについてのそれらの期待値あるいは中央値などを利用することができる（以上、請求項８，１３）。
【００７１】
［実施例のシステム全体について］
以下に本技術の実施例を説明する。ここで説明する実施例は、本技術を内部に実装したデジタルビデオカメラシステムの例である。はじめにシステム全体の構成と動作について説明し、その後、本技術に関連深いカメラ信号処理の部分について詳細に説明する。
【００７２】
図１９は、本実施例であるデジタルビデオカメラシステムの構成を示すブロックダイアグラムである。
【００７３】
図１９に示すように、本実施例のデジタルビデオカメラシステムは、レンズ４０１、絞り４０２、画像センサ４０３、相関２重サンプリング回路４０４、A/D(Analog/Digital)コンバータ４０５、DSP(Digital Signal Processor)ブロック４０６、タイミングジェネレータ４０７、LCD(Liquid Crystal Display)ドライバ４０８、LCD４０９、CODEC４１０、メモリ４１１、CPU(Central Processing Unit)４１２、および入力デバイス４１３から構成される。
【００７４】
ここで、入力デバイス４１３はカメラ本体にあるシャッタボタンなどの操作ボタン類をさす。また、DSPブロック４０６は信号処理用プロセッサと画像用RAM(Random Access Memory)を持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対してあらかじめプログラムされた画像処理をおこなうことができるようになっている。以下DSPブロック４０６を単にDSP４０６とも呼ぶ。
【００７５】
本実施例の全体的な動作を以下に説明する。
【００７６】
光学系を通過して画像センサ４０３に到達した入射光は、まずセンサ撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路４０４によってノイズ除去され、A/Dコンバータ４０５によってデジタイズされた後、DSP４０６中の画像メモリに一時格納されるようになっている。
【００７７】
ここで、本実施例で用いられる画像センサ４０３は通常のものより広いダイナミックレンジを持ち、暗いところから明るいところまでノイズや飽和がなく撮像できるものである。したがって、A/Dコンバータ４０５では通常10〜12ビット程度でA/D変換されるところを本実施例では例えば14〜16ビット程度でおこなうようにする。
【００７８】
このような階調が多い画像信号は、YCrCb等の通常のビデオ信号では再現しきれないが、後で説明する本技術を用いた階調補正処理によって、YCrCbなどで再現できる範囲に階調を圧縮されるようになっている。
【００７９】
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ４０７が信号処理系を制御するようになっている。DSP４０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはLCDドライバ４０８もしくはCODEC４１０あるいはその両方に送られる。
【００８０】
LCDドライバ４０８はDSP４０６から送られる画像データをアナログ信号に変換し、それをLCD４０９に送って表示させる。このLCD４０９は本実施例においてカメラのファインダの役割を担っている。また、CODEC４１０はDSP４０６から送られる画像データの符号化をおこない、符号化された画像データはメモリ４１１に記録されるようになっている。ここで、メモリ４１１は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。
【００８１】
以上が本実施例のデジタルビデオカメラのシステム全体の説明であるが、本実施例中で本技術が実現されているのは、DSP４０６における画像処理である。以下その画像処理の部分を詳細に説明する。
【００８２】
［画像処理部の詳細について］
前述のように、本実施例の構成においては、画像処理部の動作はDSP４０６で実現されている。それは、DSP４０６に画像信号のストリームが入力され、その入力に対してDSP４０６内部の演算ユニットが所定のプログラムコードに記述された演算を順次実行するように実現されている。
【００８３】
以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明し、また各処理が実行される順序をフローチャートで説明する。しかしながら、本技術は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路を実装して構成してもよい。
【００８４】
図２０は本実施例の画像処理部全体の構成を説明するブロックダイアグラムである。本明細書中のブロックダイアグラムにおいて、平行な水平２本線で示される図形はデータあるいはデータを格納するメモリを表し、四角形は処理を表す。
【００８５】
画像処理部は、ホワイトバランス処理部４２１、階調補正処理部４２２、デモザイク処理部４２３、ガンマ補正処理部４２４、YC変換処理部４２５、輝度ノイズ低減処理部４２６、および色差ノイズ低減処理部４２７から構成される。
【００８６】
モザイク画像４２８は画像処理部への入力画像をあらわし、これはすなわち図１９で図示したA/Dコンバータ４０５によってデジタイズされDSP４０６へ入力される画像信号である。以降、「モザイク画像」と「RAWデータ」は同義として用いる。
【００８７】
モザイク画像４２８は各画素にR、G、Bのどれかの色に対応する強度信号が格納されており、図２１に示すようなBayer配列と呼ばれる色配列に従って配置されているのが通常である。Y画像４２９およびC画像４３０は画像処理部からの出力画像をあらわし、これはすなわち図１９で図示したDSP４０６から出力されCODEC４１０へ入力されるYCbCr画像信号である。
【００８８】
図２０に戻り、画像処理部の各部の動作を説明する。
【００８９】
ホワイトバランス処理部４２１は、モザイク画像（モザイク画像４２８）を入力とし、モザイク画像の無彩色の被写体領域の色バランスが無彩色になるように、各画素に適切なホワイトバランス係数をかけたモザイク画像を出力する。
【００９０】
階調補正処理部４２２は、ホワイトバランス処理部４２１から供給された、ホワイトバランスがとられたモザイク画像を入力とし、ガンマ補正後に適切な明るさの画像が得られるような階調に変換したモザイク画像をデモザイク処理部４２３に出力する。デモザイク処理部４２３は、階調補正処理部４２２から供給された、階調補正後のモザイク画像を入力とし、各画素位置にR,G,Bすべての強度をそろえ、R,G,Bの3画像を出力する。なお、以降ではこれをまとめてRGB画像と呼ぶ。
【００９１】
ガンマ補正処理部４２４は、デモザイク処理部４２３から供給されたRGB画像を入力とし、ガンマ補正をおこなったRGB画像をYC変換処理部４２５に出力する。YC変換処理部４２５は、ガンマ補正処理部４２４から供給された、ガンマ補正されたRGB画像を入力とし、YCマトリックス処理によって輝度すなわちY信号と色差すなわちC信号に変換し、Y画像およびC画像を出力する。
【００９２】
輝度ノイズ低減処理部４２６はYC変換処理部４２５からのY画像を入力とし、ノイズ低減処理をおこなったY画像を出力する。色差ノイズ低減処理部４２７は、YC変換処理部４２５からのYおよびC画像を入力とし、ノイズ低減処理をおこなったC画像を出力する。ノイズ低減処理後のY信号およびC信号は、Y画像データストア４２９およびC画像データストア４３０に格納される。
【００９３】
以上に説明した画像処理部の動作のうち、階調補正処理部４２２、輝度ノイズ低減処理部４２６、および色差ノイズ低減処理部４２７において本技術が利用される。以下に、それらの動作の詳細を輝度ノイズ低減処理部４２６、色差ノイズ低減処理部４２７、および階調補正処理部４２２の順に説明する。
【００９４】
［輝度ノイズ低減処理部の詳細について］
図１０は、輝度ノイズ低減処理部４２６の内部構成を説明するブロックダイアグラムである。なお、図１０において、図９における場合と対応する部分には、同一の符号を付してある。本実施例における輝度ノイズ低減処理部４２６は、本技術を利用した改善されたバイラテラルフィルタ処理を輝度信号に対して適用する。
【００９５】
輝度ノイズ低減処理部４２６は、周辺画素選択部１０１、中心画素選択部１０２、空間距離算出部１０３、輝度距離算出部１０４、空間重み関数セット１３１、空間重み算出部１０５、輝度重み関数セット１３２、輝度重み算出部１０６、積和部１０７、積和部１０８、輝度積分値ストア１３３、重み積分値ストア１３４、積分値選択部１３５、および除算部１０９によって構成される。
【００９６】
輝度ノイズ低減処理部４２６への入力画像１３６は、YC変換処理部４２５が生成するY(輝度)画像である。輝度ノイズ低減処理部４２６の出力画像１３７は、ノイズ低減されたY(輝度)画像である。
【００９７】
中心画素選択部１０２は、入力画像１３６を入力として、ノイズ低減処理をおこなう対象画素を中心画素として１つ選択し、空間距離算出部１０３および輝度距離算出部１０４に供給する。周辺画素選択部１０１は、入力画像１３６を入力として、中心画素の周囲の所定の範囲に属する画素を選択し、空間距離算出部１０３、輝度距離算出部１０４、および積和部１０７に供給する。
【００９８】
空間距離算出部１０３は、中心画素および周辺画素を入力として、中心画素と各周辺画素間の空間距離を算出し、空間重み算出部１０５に供給する。輝度距離算出部１０４は、中心画素および周辺画素を入力として、中心画素と各周辺画素間の輝度距離（輝度差）を算出し、輝度重み算出部１０６に供給する。
【００９９】
空間重み関数セット１３１は、正規化された空間重み関数データを複数保持するデータストアである。空間重み算出部１０５は、周辺画素と中心画素間の空間距離を入力とし、空間重み関数に基づいて重み値を算出し、積和部１０７および積和部１０８に供給する。
【０１００】
輝度重み関数セット１３２は、正規化された輝度重み関数データを複数保持するデータストアである。輝度重み算出部１０６は、周辺画素と中心画素間の輝度距離を入力とし、輝度重み関数に基づいて重み値を算出し、積和部１０７および積和部１０８に供給する。
【０１０１】
積和部１０７は、周辺画素と空間重み算出部１０５が算出する空間重み値と輝度重み算出部１０６が算出する輝度重み値を入力とし、輝度重み値および空間重み値で重みづけした周辺画素の輝度積分値を算出する。積和部１０８は、空間重み算出部１０５が算出する空間重み値と輝度重み算出部１０６が算出する輝度重み値を入力とし、輝度重み値および空間重み値を掛け合わせた重み値の総和である重み積分値を算出する。
【０１０２】
輝度積分値ストア１３３は、積和部１０７によって算出される輝度積分値の、空間重み関数と輝度重み関数のさまざまな組み合わせによる結果を保持するデータストアである。重み積分値ストア１３４は、積和部１０８によって算出される重み積分値の、空間重み関数と輝度重み関数のさまざまな組み合わせによる結果を保持するデータストアである。
【０１０３】
積分値選択部１３５は、重み積分値ストア１３４に保持された複数の重み積分値と輝度積分値ストア１３３に保持された複数の輝度積分値を入力とし、所定の基準（後述）に基づいて最適な重み積分値を選択し、それと同じ空間重み関数と輝度重み関数の組み合わせによって算出された輝度積分値を選択し、両者を除算部１０９に出力する。
【０１０４】
除算部１０９は、積分値選択部１３５から供給された、選択された輝度積分値と選択された重み積分値を入力とし、選択された輝度積分値を選択された重み積分値で除した結果を算出する。この除算結果が当該中心画素におけるノイズ低減された輝度値（出力画像１３７）となる。
【０１０５】
図２２に正規化された空間重み関数の一例を示す。この図において横軸は２画素間の空間距離、縦軸は重み値である。空間重み関数としては、２画素間の空間距離が小さいほど大きな重み値をとる、単峰性の関数形状が望ましい。典型的な例としては期待値を０とするGauss関数を用いることができる。Gauss関数は標準偏差σをパラメータとして、積分値を一定（＝１）に保ったまま、その関数幅を変えることができる。図２２は、６つの異なるσによって異なる関数幅を持つGauss関数による空間重み関数の例を示している。
【０１０６】
図２３に正規化された輝度重み関数の一例を示す。この図において横軸は２画素間の輝度距離、縦軸は重み値である。輝度重み関数としては、２画素間の輝度距離が小さいほど大きな重み値をとる、単峰性の関数形状が望ましい。典型的な例としては期待値を０とするGauss関数を用いることができる。Gauss関数は標準偏差σをパラメータとして、積分値を一定（＝１）に保ったまま、その関数幅を変えることができる。図２３は、６つの異なるσによって異なる関数幅を持つGauss関数による輝度重み関数の例を示している。
【０１０７】
以下に、積分値選択部１３５が輝度積分値および重み積分値を選択する動作について説明する。
【０１０８】
図１１は、積分値選択部１３５の内部構成を説明するブロックダイアグラムである。
【０１０９】
積分値選択部１３５は、最大値選択部１６１、選択部１６２、および選択部１６３から構成される。
【０１１０】
最大値選択部１６１は、重み積分値ストア１３４に保持された複数の重み積分値を入力とし、重み積分値が最大値となる空間重み関数と輝度重み関数の組み合わせを特定する。選択部１６３は、重み積分値ストア１３４に保持された複数の重み積分値を入力とし、最大値選択部１６１が特定した空間重み関数と輝度重み関数の組み合わせに対応する重み積分値を選択して除算部１０９に出力する。
【０１１１】
選択部１６２は、輝度積分値ストア１３３に保持された複数の輝度積分値を入力とし、最大値選択部１６１が特定した空間重み関数と輝度重み関数の組み合わせに対応する輝度積分値を選択して除算部１０９に出力する。
【０１１２】
以上のように、本実施例における輝度ノイズ低減処理は、本技術を利用することによって、通常のバイラテラルフィルタに、複数の正規化した重み関数を保持する構成と、複数の重み関数で算出した結果から最適なものを選択する構成を付加した構成としているため、画素毎に最適な重み関数形状によってエッジ保存平滑化をおこなうことができ、従来よりも好適なノイズ低減結果を得ることができる。
【０１１３】
なお、輝度ノイズ低減処理部４２６の積分値選択部１３５は図１１とは異なる構成も利用できる。以下にもう一つの積分値選択部１３５の構成について説明する。
【０１１４】
図１２は、積分値選択部１３５のもう一つの内部構成を説明するブロックダイアグラムである。積分値選択部１３５は、ソーティング部１９１、ソート済み重み積分値ストア１９２、最大幅選択部１９３、重み関数幅情報ストア１９４、選択部１９５、および選択部１９６によって構成される。
【０１１５】
ソーティング部１９１は、重み積分値ストア１３４に保持された複数の重み積分値を入力とし、重み積分値を降順に順序づけし、最大値から所定の許容幅にはいるものを抽出してソート済み重み積分値ストア１９２に保持する。重み関数幅情報ストア１９４は、空間重み関数セットおよび輝度重み関数セットの全重み関数の関数幅情報を格納している。
【０１１６】
最大幅選択部１９３は、ソート済み重み積分値ストア１９２に保持された最大値から所定の許容幅にはいる重み積分値を入力とし、重み関数幅情報ストア１９４からそれぞれに対応する重み関数幅情報を参照しながら、対応する重み関数の幅が最大となるとなる空間重み関数と輝度重み関数の組み合わせを特定する。
【０１１７】
選択部１９６は、重み積分値ストア１３４に保持された複数の重み積分値を入力とし、最大幅選択部１９３が特定した空間重み関数と輝度重み関数の組み合わせに対応する重み積分値を選択して出力する。
【０１１８】
選択部１９５は、輝度積分値ストア１３３に保持された複数の輝度積分値を入力とし、最大幅選択部１９３が特定した空間重み関数と輝度重み関数の組み合わせに対応する輝度積分値を選択して出力する。
【０１１９】
ここで、重み関数幅の情報とは大小比較できる具体的なパラメータである。例えば、図２２および図２３に例示されるようにGauss関数をベースにした重み関数であれば、Gauss関数のσパラメータを関数幅情報として用いてよい。それ以外でも、例えば三角形状や矩形状の重み関数であればその底辺の長さを関数幅情報として用いてもよい。
【０１２０】
図１２の積分値選択部１３５の構成では、重み積分値がなるべく大きいという基準に加えて、重み関数幅がなるべく大きいという基準を用いる。例えば、緩やかでかつ均等な勾配が連続するような画像の場合、重み関数幅によらず重み積分値がほぼ一定の状態になり、重み積分値による重み関数の選択が機能しない。しかし、そのような画像ではより強い平滑化をかけたい場合が多いので、重み関数幅がなるべく大きいほうを選択することによってより好適なエッジ保存平滑化結果を得ることが可能になる。
【０１２１】
以上で、輝度ノイズ低減処理部４２６の詳細説明を終わる。
【０１２２】
［色差ノイズ低減処理部の詳細について］
図１３は、色差ノイズ低減処理部４２７の内部構成を説明するブロックダイアグラムである。本実施例における色差ノイズ低減処理は、上述した特許文献６に開示されるエッジ保存平滑化技術を、本技術を利用することによって改善した構成を用いる。
【０１２３】
色差ノイズ低減処理部４２７は、特性値算出部２２１、ヒストグラム算出部２２２、ブロック特性値ストア２２３、ブロックヒストグラムストア２２４、および重みつき期待値算出部２２５によって構成される。
【０１２４】
色差ノイズ低減処理部４２７への入力画像２２６は、YC変換処理部４２５が生成するYC(輝度-色差)画像である。色差ノイズ低減処理部４２７の出力画像２２７は、ノイズ低減されたC(色差)画像である。
【０１２５】
ヒストグラム算出部２２２は、入力画像２２６を入力として、画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の頻度値（ブロックヒストグラム）を算出し、ブロックヒストグラムストア２２４にそのブロックヒストグラムを格納する。特性値算出部２２１は、入力画像２２６を入力として、ブロックヒストグラムのbinに属する画素の色差期待値をbin毎に算出し、bin毎の特性値としてブロック特性値ストア２２３に格納する。
【０１２６】
重みつき期待値算出部２２５は、ブロックヒストグラムストア２２４に格納されたbin毎の頻度値、ブロック特性値ストア２２３に格納されたbin毎の色差期待値、および入力画像２２６を入力として、各画素位置における色差の重みつき期待値を算出し、それを色差のノイズ低減結果として出力する。
【０１２７】
色差ノイズ低減処理部４２７で用いるエッジ保存平滑化は、特許文献６によれば、ブロックヒストグラムおよびブロック特性値を算出する目的と、各画素位置で色差の重みつき期待値を算出する目的とで全画素を少なくとも２回参照する必要がある。しかし、そうすることによって、色差の重みつき期待値の演算においては周辺画素を参照する必要がなく、通常のバイラテレルフィルタよりも少ない演算量で実現できる。
【０１２８】
この点は、より広い範囲の周辺画素を参照する必要がある場合に有利に働く。色差ノイズの低減は輝度ノイズより低周波域のノイズ低減をする必要があり、また動画像の信号処理をおこなうシステムではブロックヒストグラムおよびブロック特性値の算出処理を前フレームの情報を用いておこなうことができるので、本実施例の色差ノイズ低減処理には、このような手法が効果的である。
【０１２９】
図１５は、重みつき期待値算出部２２５の内部構成を説明するブロックダイアグラムである。なお、図１５において、図１４における場合と対応する部分には同一の符号を付してある。
【０１３０】
重みつき期待値算出部２２５は、周辺bin選択部２５１、周辺bin選択部２５２、空間距離算出部２５３、輝度距離算出部２５４、空間重み算出部２５５、輝度重み算出部２５６、空間重み関数ストア２８１、輝度重み関数ストア２８２、乗算部２５７、積和部２５８、積和部２５９、特性積分値ストア２８３、頻度期待値ストア２８４、頻度期待値算出部２８５、および除算部２６０によって構成される。
【０１３１】
周辺bin選択部２５１は、ブロック特性値ストア２２３に格納されているブロック特性値および処理対象（当該）画素位置を入力として、当該画素位置の周辺にあるブロック特性値のbinを選択する。周辺bin選択部２５２は、ブロックヒストグラムストア２２４に格納されているブロックヒストグラムおよび処理対象画素位置を入力として、当該画素位置の周辺にあるブロックヒストグラムのbinを選択する。
【０１３２】
空間距離算出部２５３は、当該画素位置と周辺bin選択部２５２によって選択されたbin位置を入力として、当該画素位置と周辺bin位置間の空間距離を算出する。輝度距離算出部２５４は、当該画素と周辺bin選択部２５２によって選択されたbinを入力として、当該画素の輝度値と周辺bin位置に対応する輝度値間の輝度距離（輝度差）を算出する。
【０１３３】
空間重み関数ストア２８１は、正規化された空間重み関数データを複数保持するデータストアである。空間重み算出部２５５は、当該画素と周辺bin間の空間距離を入力とし、空間重み関数に基づいて重み値を算出する。
【０１３４】
輝度重み関数ストア２８２は、正規化された輝度重み関数データを複数保持するデータストアである。輝度重み算出部２５６は、当該画素と周辺bin間の輝度距離を入力とし、輝度重み関数に基づいて重み値を算出する。乗算部２５７は、空間重み値と輝度重み値を入力とし、それらを乗じた値を合成した重み値として算出する。
【０１３５】
積和部２５９は、合成した重み値および周辺binの頻度値を入力として、合成した重み値で重みつけした頻度期待値を算出する。頻度期待値ストア２８４は、積和部２５９によって算出される、空間重み関数と輝度重み関数のさまざまな組み合わせによる複数の頻度期待値を保持するデータストアである。積和部２５８は、合成した重み値、周辺binの頻度値および周辺binの色差期待値を入力として、（合成した重み値）×（頻度値）×（色差期待値）の周辺binの積分結果（特性積分値）を算出する。つまり、合成した重み値、頻度値、および色差期待値の積の周辺binの積分結果が特性積分値として算出される。
【０１３６】
特性積分値ストア２８３は、積和部２５８によって算出される、空間重み関数と輝度重み関数のさまざまな組み合わせによる複数の特性積分値を保持するデータストアである。頻度期待値算出部２８５は、頻度期待値ストア２８４に保持された複数の頻度期待値と特性積分値ストア２８３に保持された複数の特性積分値を入力として、所定の基準に基づいて最適な頻度期待値を選択し、それと同じ空間重み関数と輝度重み関数の組み合わせによって算出された特性積分値を選択し、両者を出力する。
【０１３７】
除算部２６０は、選択された頻度期待値と選択された特性積分値を入力とし、選択された特性積分値を選択された頻度期待値で除した結果を算出する。この除算結果が当該画素におけるノイズ低減された色差値となる。
【０１３８】
頻度期待値算出部２８５が頻度期待値の選択に用いる基準は、前述の輝度ノイズ低減処理部４２６の積分値選択部１３５の基準と同じものを使うことができる。内部構成も図１１で説明した積分値選択部１３５の構成と同じで構わない。この構成を頻度期待値算出部２８５に適用する場合、図１１において入力である輝度積分値ストア１３３を特性積分値ストア２８３に、重み積分値ストア１３４を頻度期待値ストア２８４にそれぞれ置換する。また、同様に図１２で説明した構成も利用可能である。
【０１３９】
以上のように、本実施例における色差ノイズ低減処理は、本技術を利用することによって、特許文献６に記載のブロックヒストグラムを用いるエッジ保存平滑化に、複数の正規化した重み関数を保持する構成と、複数の重み関数で算出した結果から最適なものを選択する構成を付加した構成としているため、画素毎に最適な重み関数形状によってエッジ保存平滑化をおこなうことができ、従来よりも好適なノイズ低減結果を得ることができる。
【０１４０】
以上で、色差ノイズ低減処理部４２７の詳細説明を終わる。
【０１４１】
［階調補正処理部の詳細について］
図２４は、階調補正処理部４２２の内部構成を説明するブロックダイアグラムである。本実施例における階調補正処理は、特許文献６に開示される階調補正技術を、本技術を利用することによって改善した構成を用いる。
【０１４２】
階調補正処理部４２２は、輝度算出部４６１、非線形変換部４６２、非線形変換部４６３、輝度階調補正部４６４、モザイク階調補正部４６５、および非線形逆変換部４６６によって構成される。
【０１４３】
輝度算出部４６１は、ホワイトバランス処理部４２１からのモザイク画像を入力として、各画素位置の輝度を算出する。非線形変換部４６２は、各画素位置の輝度を入力として、非線形な階調特性に変換した輝度を算出する。非線形変換部４６３は、ホワイトバランス処理部４２１からのモザイク画像を入力として、各画素位置の画素値を非線形な階調特性に変換した値を算出する。
【０１４４】
輝度階調補正部４６４は、各画素位置の非線形変換後の輝度を入力とし、階調補正を適用した後の輝度を算出する。モザイク階調補正部４６５は、各画素位置の非線形変換後のモザイク画像の画素値と非線形変換後の輝度と階調補正後の輝度を入力として、階調補正後のモザイク画像の画素値を算出する。
【０１４５】
非線形逆変換部４６６は、階調補正後のモザイク画像の画素値を入力として、非線形変換部４６３で適用された特性を元の線形特性に戻したモザイク画像の画素値を算出し、後段へ出力する。
【０１４６】
前述のようにモザイク画像は各画素に１つの色の情報しかもたない。輝度算出部４６１では、各画素位置毎に所定の範囲の画素を参照し、得られた全色の情報から当該画素位置の輝度値を算出する。例えばBayer配列であれば、３×３画素の領域を参照すればR,G,B全色の情報が得られるので、適当な係数でそれら線形和を算出する方法がある。
【０１４７】
非線形変換部４６２および非線形変換部４６３で利用する非線形な階調特性とは、滑らかな単調増加で上に凸の特性を持つものが好適である。例えば１より小さいγのガンマ特性（べき乗特性）や、対数特性などを利用することができる。モザイク階調補正部４６５は、入力であるモザイク画像の色バランスを維持しながら、階調補正前後の輝度値変化を反映させる演算をおこなう。
【０１４８】
例えば、非線形特性が前述のγ特性である場合は階調補正前後の輝度値の比率をモザイク画像の画素値に乗じるような演算をおこなう。また非線形特性が対数特性である場合は、階調補正前後の輝度値の差分をモザイク画像の画素値に加算するような演算をおこなえばよい。
【０１４９】
以下、本技術を利用して改善した部分である輝度階調補正部４６４の詳細について説明する。
【０１５０】
図２５は、輝度階調補正部４６４の内部構成を説明するブロックダイアグラムである。
【０１５１】
輝度階調補正部４６４は、輝度域情報算出部４９１、輝度域情報ストア４９２、大局輝度算出部４９３、トーンカーブ算出部４９４、トーンカーブストア４９５、マッピング部４９６、マッピング部４９７、およびコントラスト補正部４９８によって構成される。
【０１５２】
輝度域情報算出部４９１は、非線形変換部４６２から輝度階調補正部４６４への入力である非線形変換後の各画素の輝度値（以降、説明に支障のない範囲で、輝度階調補正部４６４への入力が非線形変換後であることを省略する）を入力として、入力画像の輝度域情報を算出する。
【０１５３】
輝度域情報ストア４９２は、輝度域情報算出部４９１が算出した輝度域情報を格納するデータストアである。大局輝度算出部４９３は、各画素の輝度を入力として、当該画素位置の大局輝度値を算出する。トーンカーブ算出部４９４は、輝度域情報ストア４９２に格納された輝度域情報および当該画素位置の大局輝度値を入力として、当該画素位置のトーンカーブ形状を算出する。
【０１５４】
トーンカーブストア４９５は、トーンカーブ算出部４９４が算出した当該画素位置のトーンカーブ形状を保持するデータストアである。マッピング部４９６は、トーンカーブストア４９５に保持されているトーンカーブおよび当該画素の大局輝度値を入力として、トーンカーブが適用された当該画素位置の大局輝度値を算出する。
【０１５５】
マッピング部４９７は、トーンカーブストア４９５に保持されているトーンカーブおよび当該画素の輝度値を入力として、トーンカーブが適用された当該画素位置の輝度値を算出する。コントラスト補正部４９８は、トーンカーブ適用後の当該画素位置の大局輝度値、トーンカーブ適用後の当該画素位置の輝度値およびトーンカーブを入力として、コントラスト補正された当該画素位置の輝度値を算出し、それを輝度の階調補正結果としてモザイク階調補正部４６５に出力する。
【０１５６】
本実施例において、輝度域情報とは入力画像が持つ輝度範囲に関する情報で、具体的には入力画像の輝度ヒストグラムの暗い側および明るい側の裾野付近に相当する２つの輝度レベルからなる情報である。特許文献６に、このような情報を入力画像からフレーム毎に算出する具体的方法が開示されている。
【０１５７】
本実施例において、大局輝度とは画像の大局的な輝度分布を示す情報である。特許文献６に、大局輝度をエッジ保存平滑化を利用して算出する具体的方法が開示されている。本実施例の大局輝度算出部４９３は、特許文献６で開示されるエッジ保存平滑化を本技術によって改善した方法によって大局輝度を算出する構成をとる。なお、その詳細は後述する。
【０１５８】
本実施例において、トーンカーブとは画像の持つ輝度域を適切な明るさで再現するために適用する、画像依存の可変のなめらかで単調増加な階調特性である。特許文献６に、フレーム毎に算出される輝度域情報および画素毎に算出される大局輝度値に基づいて、画素位置毎に変化するトーンカーブを算出する具体的方法が開示されている。
【０１５９】
マッピング部４９６およびマッピング部４９７は、それぞれへの入力値に対してトーンカーブを適用するだけのシンプルな演算をおこなう。
【０１６０】
コントラスト補正部４９８は、トーンカーブを適用したことによって弱められた入力画像のコントラスト成分を補正して元に戻す演算をおこなう。具体的には、トーンカーブ適用後の輝度値とトーンカーブ適用後の大局輝度値間の差分をコントラスト成分として抽出し、それに適切なゲインをかけて強調した後、トーンカーブ適用後の輝度値に足し戻すことにより補正をおこなう。コントラスト成分を強調するゲインは、トーンカーブ適用後の輝度値およびトーンカーブ形状に基づいて決めることができる。特許文献６に、具体的なコントラスト補正の演算、およびゲインの決定方法が開示されている。
【０１６１】
図１６は、大局輝度算出部４９３の内部構成を説明するブロックダイアグラムである。本実施例における大局輝度算出は、特許文献６に開示されるエッジ保存平滑化技術を、本技術を利用することによって改善した構成を用いる。
【０１６２】
大局輝度算出部４９３は、特性値算出部３１１、ヒストグラム算出部３１２、ブロック特性値ストア３１３、ブロックヒストグラムストア３１４、畳み込み部３１５、平滑化ブロック特性値ストア３１６、平滑化ブロックヒストグラムストア３１７、補間部３１８、補間部３１９、除算部３２０によって構成される。
【０１６３】
非線形変換部４６２から大局輝度算出部４９３への入力画像３２１は、非線形変換後の輝度（以降、説明に支障のない範囲で、輝度階調補正部への入力が非線形変換後であることを省略する）である。大局輝度算出部４９３の出力画像３２２は、大局輝度である。
【０１６４】
ヒストグラム算出部３１２は、入力画像３２１を入力として、画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の頻度値（ブロックヒストグラム）を算出し、ブロックヒストグラムストア３１４にそのブロックヒストグラムを格納する。特性値算出部３１１は、入力画像３２１を入力として、ブロックヒストグラムのbinに属する画素の輝度期待値をbin毎に算出し、bin毎の特性値としてブロック特性値ストア３１３に格納する。
【０１６５】
畳み込み部３１５は、ブロックヒストグラムストア３１４に格納されたbin毎の頻度値、ブロック特性値ストア３１３に格納されたbin毎の輝度期待値を入力として、あらかじめ用意された空間重み関数および輝度重み関数の畳み込み演算による、頻度値の平滑化結果および輝度積分値の平滑化結果をbin位置毎に算出し、それらをそれぞれ平滑化ブロックヒストグラムストア３１７および平滑化ブロック特性値ストア３１６へ格納する。
【０１６６】
補間部３１９は、入力画像３２１および平滑化ブロックヒストグラムストア３１７に格納された平滑化された頻度値を入力として、平滑化された頻度値の各画素位置への補間値を算出する。補間部３１８は、入力画像３２１および平滑化ブロック特性値ストア３１６に格納された平滑化された輝度積分値を入力として、平滑化された輝度積分値の各画素位置への補間値を算出する。
【０１６７】
除算部３２０は、平滑化された輝度積分値および平滑化された頻度値を入力として、平滑化された輝度積分値を平滑化された頻度値で除算した結果を算出し、それを大局輝度値として出力画像３２２に出力する。
【０１６８】
大局輝度算出部４９３で用いるエッジ保存平滑化は、特許文献６によれば、前述の色差ノイズ低減処理部４２７に利用したエッジ保存平滑化と同様に、画素毎の演算よりも事前にブロックヒストグラムおよびブロック特性値を算出することにより、画素毎に必要な演算量を削減することができる構成になっている。
【０１６９】
さらに、空間重み関数と輝度重み関数の畳み込み演算もブロックヒストグラムのbin単位で事前におこなうことによって、画素毎の演算量をさらに削減できる。そのため、大局輝度算出のようなさらに広い範囲の画素を参照する必要があるエッジ保存平滑化処理には好適な手法である。
【０１７０】
図１８は、畳み込み部３１５の内部構成を説明するブロックダイアグラムである。なお、図１８において、図１７における場合と対応する部分には同一の符号を付してある。
【０１７１】
畳み込み部３１５は、中心bin選択部３５３、周辺bin選択部３５１、周辺bin選択部３５２、空間距離算出部３５４、輝度距離算出部３５５、空間重み算出部３５６、輝度重み算出部３５７、空間重み関数ストア３８１、輝度重み関数ストア３８２、乗算部３５８、積和部３５９、積和部３６０、特性積分値ストア３８３、頻度期待値ストア３８４、および頻度期待値算出部３８５によって構成される。
【０１７２】
中心bin選択部３５３は、ブロックヒストグラムストア３１４に格納されているブロックヒストグラムを入力として、処理対象となるブロックヒストグラムのbinを１つ、中心binとして選択する。周辺bin選択部３５１は、ブロック特性値ストア３１３に格納されているブロック特性値を入力として、処理対象となるbinの周辺にあるブロック特性値のbinを選択する。
【０１７３】
周辺bin選択部３５２は、ブロックヒストグラムストア３１４に格納されているブロックヒストグラムを入力として、処理対象となるbinの周辺にあるブロックヒストグラムのbinを選択する。空間距離算出部３５４は、中心bin選択部３５３と周辺bin選択部３５２によって選択されたbinを入力として、中心bin位置と周辺bin位置間の空間距離を算出する。
【０１７４】
輝度距離算出部３５５は、中心bin選択部３５３と周辺bin選択部３５２によって選択されたbinを入力として、中心bin位置に対応する輝度値と周辺bin位置に対応する輝度値間の輝度距離（輝度差）を算出する。
【０１７５】
空間重み関数ストア３８１は、正規化された空間重み関数データを複数保持するデータストアである。空間重み算出部３５６は、中心binと周辺bin間の空間距離を入力とし、空間重み関数に基づいて重み値を算出する。輝度重み関数ストア３８２は、正規化された輝度重み関数データを複数保持するデータストアである。
【０１７６】
輝度重み算出部３５７は、中心binと周辺bin間の輝度距離を入力とし、輝度重み関数に基づいて重み値を算出する。乗算部３５８は、空間重み値と輝度重み値を入力とし、それらを乗じた値を合成した重み値として算出する。積和部３６０は、合成した重み値および周辺binの頻度値を入力として、合成した重み値で重みつけした頻度期待値を算出する。
【０１７７】
頻度期待値ストア３８４は、積和部３６０によって算出される、空間重み関数と輝度重み関数のさまざまな組み合わせによる複数の頻度期待値を保持するデータストアである。積和部３５９は、合成した重み値、周辺binの頻度値および周辺binの輝度期待値を入力として、（合成した重み値）×（頻度値）×（輝度期待値）の周辺binの積分結果（特性積分値）を算出する。
【０１７８】
特性積分値ストア３８３は、積和部３５９によって算出される、空間重み関数と輝度重み関数のさまざまな組み合わせによる複数の特性積分値を保持するデータストアである。頻度期待値算出部３８５は、頻度期待値ストア３８４に保持された複数の頻度期待値と特性積分値ストア３８３に保持された複数の特性積分値を入力として、所定の基準に基づいて最適な頻度期待値を選択し、それと同じ空間重み関数と輝度重み関数の組み合わせによって算出された特性積分値を選択し、両者をそれぞれ平滑化ブロックヒストグラムストア３１７と平滑化ブロック特性値ストア３１６の中心bin位置に格納する。
【０１７９】
頻度期待値選択部３８５が頻度期待値の選択に用いる基準は、前述の輝度ノイズ低減処理部４２６の積分値選択部１３５の基準と同じものを使うことができる。内部構成も図１１で説明した積分値選択部１３５の構成と同じで構わない。
【０１８０】
この構成を頻度期待値選択部３８５に適用する場合、図１１において入力である輝度積分値ストア１３３を特性積分値ストア３８３に、重み積分値ストア１３４を頻度期待値ストア３８４にそれぞれ置換する。また、同様に図１２で説明した構成も利用可能である。
【０１８１】
以上のように、本実施例における階調補正処理は、本技術を利用することによって、上述の特許文献６に記載のブロックヒストグラムを用いるエッジ保存平滑化に、複数の正規化した重み関数を保持する構成と、複数の重み関数で算出した結果から最適なものを選択する構成を付加した構成としているため、画素毎に最適な重み関数形状によってエッジ保存平滑化すなわち大局輝度算出をおこなうことができ、従来よりも好適な階調補正結果を得ることができる。
【０１８２】
以上で、階調補正処理部４２２の詳細説明を終わる。
【０１８３】
［処理手順の説明］
以下に、本実施例の処理手順を説明する。
【０１８４】
図２６は画像処理部全体（図２０に対応）の動作手順を説明するフローチャートである。
【０１８５】
この画像処理では、画像センサが撮像した連続したフレームデータが、後続のフレームがなくなるまで順次１フレームずつ処理されていく。
【０１８６】
ステップＳ１１において、DSP４０６内部のメモリに格納されている次フレームのモザイク画像が読み込まれる。
【０１８７】
ステップＳ１２において、ホワイトバランス処理部４２１は、前記モザイク画像にホワイトバランス係数を適用する。
【０１８８】
ステップＳ１３において、階調補正処理部４２２は、階調補正されたモザイク画像を生成する。
【０１８９】
ステップＳ１４において、デモザイク処理部４２３は、モザイク画像からRGB画像を生成する。
【０１９０】
ステップＳ１５において、ガンマ補正処理部４２４は、ガンマ補正したRGB画像を生成する。
【０１９１】
ステップＳ１６において、YC変換処理部４２５は、Y画像およびC画像を生成する。
【０１９２】
ステップＳ１７において、輝度ノイズ低減処理部４２６は、ノイズ低減処理を適用したY画像を出力する。
【０１９３】
ステップＳ１８において、色差ノイズ低減処理部４２７は、ノイズ低減処理を適用したC画像を出力する。
【０１９４】
ステップＳ１９において、Y画像およびC画像がLCD４０９への表示または記録媒体への保存のために出力される。以上で１フレーム分の画像処理部の動作が終了する。
【０１９５】
ステップＳ２０において、全てのフレームを処理したか否かが判定される。例えば、後続のフレームの入力がなければ、全てのフレームを処理したと判定される。
【０１９６】
ステップＳ２０において、全てのフレームを処理したと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。一方、ステップＳ２０において、全てのフレームを処理したと判定された場合、画像処理は終了する。
【０１９７】
以上で、画像処理部の動作は終了する。
【０１９８】
図２７は、輝度ノイズ低減処理部４２６の動作手順を説明するフローチャートである。すなわち、図２７は、図２６のステップＳ１７の処理に対応する輝度ノイズ低減処理を説明するフローチャートである。
【０１９９】
ステップＳ５１において、中心画素選択部１０２は、輝度ノイズ低減処理部４２６に入力されるY画像の画素位置を中心画素として選択する。
【０２００】
ステップＳ５２において、周辺画素選択部１０１は、中心画素の周辺の所定の範囲内の画素を選択する。
【０２０１】
ステップＳ５３において、空間重み関数セット１３１の空間重み関数と、輝度重み関数セット１３２の輝度重み関数の組み合わせに対応する輝度積分値および重み積分値が０に初期化される。
【０２０２】
ステップＳ５４において、周辺画素に属する画素位置について、空間距離算出部１０３および空間重み算出部１０５によって、当該中心画素と当該周辺画素と当該空間重み関数に基づいて、当該周辺画素位置における空間重み値が算出される。
【０２０３】
ステップＳ５５において、輝度距離算出部１０４および輝度重み算出部１０６によって、当該中心画素と当該周辺画素と当該輝度重み関数に基づいて、当該周辺画素位置における輝度重み値が算出される。
【０２０４】
ステップＳ５６において、積和部１０８により、当該周辺画素位置における空間重み値と輝度重み値を乗じた値が重み積分値に加算される。
【０２０５】
ステップＳ５７において、積和部１０７により、当該周辺画素位置における空間重み値と輝度重み値と当該周辺画素の輝度値を乗じた値が輝度積分値に加算される。
【０２０６】
ステップＳ５８において、周辺画素に属する全ての画素位置について処理を行ったか否かが判定される。ステップＳ５８において、全ての画素位置について処理を行っていないと判定された場合、処理はステップＳ５４に戻り、上述した処理が繰り返される。
【０２０７】
これに対して、ステップＳ５８において、全ての画素位置について処理を行ったと判定された場合、ステップＳ５９において、全周辺画素について積分した、当該空間重み関数と当該輝度重み関数の組み合わせに対応する輝度積分値および重み積分値の結果のそれぞれが輝度積分値ストア１３３および重み積分値ストア１３４に保持される。
【０２０８】
ステップＳ６０において、輝度重み関数セット１３２の全ての重み関数について、処理が行われたか否かが判定される。ステップＳ６０において、まだ全ての重み関数について、処理が行われていないと判定された場合、処理はステップＳ５３に戻り、上述した処理が繰り返される。
【０２０９】
また、ステップＳ６０において、全ての重み関数について、処理が行われたと判定された場合、ステップＳ６１において、空間重み関数セット１３１の全ての重み関数について、処理が行われたか否かが判定される。
【０２１０】
ステップＳ６１において、まだ全ての重み関数について処理が行われていないと判定された場合、処理はステップＳ５３に戻り、上述した処理が繰り返される。
【０２１１】
一方、ステップＳ６１において、全ての重み関数について処理が行われたと判定された場合、処理はステップＳ６２に進む。すなわち、全ての空間重み関数と輝度重み関数の組み合わせについてステップＳ５３からステップＳ５９の処理が行われると、処理はステップＳ６２に進む。
【０２１２】
ステップＳ６２において、積分値選択部１３５は、輝度積分値および重み積分値の組を選択する。
【０２１３】
ステップＳ６３において、除算部１０９は、選択された輝度積分値を選択された重み積分値で除算した結果を算出する。
【０２１４】
ステップＳ６４において、除算結果が当該中心画素位置におけるノイズ低減された輝度として出力される。
【０２１５】
ステップＳ６５において、全ての画素位置において、ステップＳ５１乃至ステップＳ６４の処理が行われたか否かが判定される。ステップＳ６５において、まだ全ての画素位置において処理が行われていないと判定された場合、処理はステップＳ５１に戻り、上述した処理が繰り返される。
【０２１６】
これに対して、ステップＳ６５において、全ての画素位置において処理が行われたと判定された場合、輝度ノイズ低減処理は終了し、その後、処理は図２６のステップＳ１８に進む。
【０２１７】
以上で、輝度ノイズ低減処理部４２６の動作を完了する。
【０２１８】
図２８は、色差ノイズ低減処理部４２７の動作手順を説明するフローチャートである。すなわち、図２８は、図２６のステップＳ１８の処理に対応する色差ノイズ低減処理を説明するフローチャートである。
【０２１９】
ステップＳ９１において、次のフレームで用いるためのブロックヒストグラムおよびブロック特性値を算出するためのデータ領域が確保され、０に初期化される。
【０２２０】
ステップＳ９２において、ヒストグラム算出部２２２は、色差ノイズ低減処理部４２７に入力されるYC画像の画素位置について、当該画素の輝度を評価して対応するbinを決定し、次フレーム用のブロックヒストグラムの当該binの頻度値を＋１更新する。
【０２２１】
ステップＳ９３において、特性値算出部２２１は、当該画素の輝度を評価して対応するbinを決定し、次フレーム用のブロック特性値の当該binに対応する色差積分値に当該画素の色差値を加算する。
【０２２２】
ステップＳ９４において、重みつき期待値算出部２２５は、ブロック特性値ストア２２３に格納されている現フレーム用のブロック特性値と、ブロックヒストグラムストア２２４に格納されている現フレーム用のブロックヒストグラムを利用して、当該画素位置における色差の重みつき期待値を算出する。
【０２２３】
ステップＳ９５において、当該画素位置における色差の重みつき期待値が当該画素位置の色差ノイズ低減結果として出力される。
【０２２４】
ステップＳ９６において、全ての画素位置において、ステップＳ９２乃至ステップＳ９５の処理が行われたか否かが判定される。すなわち、色差ノイズ低減処理部４２７に入力されるYC画像の各画素位置おいて処理が行われたかが判定される。
【０２２５】
ステップＳ９６において、まだ全ての画素位置において処理が行われていないと判定された場合、処理はステップＳ９２に戻り、上述した処理が繰り返される。
【０２２６】
これに対して、ステップＳ９６において、全ての画素位置において処理が行われたと判定された場合、ステップＳ９７において、ヒストグラム算出部２２２は、次フレーム用のブロックヒストグラムの算出結果をブロックヒストグラムストア２２４に格納する。
【０２２７】
ステップＳ９８において、特性値算出部２２１は、次フレーム用のブロック特性値の各binの色差積分値の算出結果から各binの色差期待値を算出し、それらをブロック特性値ストア２２３に格納し、色差ノイズ低減処理は終了する。そして、その後、処理は図２６のステップＳ１９に進む。
【０２２８】
以上で、色差ノイズ低減処理部４２７の動作を完了する。
【０２２９】
図２９は、図２８の色差ノイズ低減処理のステップＳ９４に対応する重みつき期待値算出処理の動作手順を説明するフローチャートである。処理構成としては、図１３の重みつき期待値算出部２２５の内部処理に相当し、重みつき期待値算出部２２５がある画素位置（以下、中心画素位置）についておこなう動作を説明している。
【０２３０】
ステップＳ１２１において、周辺bin選択部２５２は、中心画素位置の周辺に位置するブロックヒストグラムの周辺binの選択をおこなう。
【０２３１】
ステップＳ１２２において、周辺bin選択部２５１は、中心画素位置の周辺に位置するブロック特性値の周辺binの選択をおこなう。
【０２３２】
ステップＳ１２３において、空間重み関数セット２８１の空間重み関数と、輝度重み関数セット２８２の輝度重み関数の組み合わせに対応する特性積分値および頻度期待値が０に初期化される。
【０２３３】
ステップＳ１２４において、空間距離算出部２５３および空間重み算出部２５５は、選択された各周辺binについて、中心画素と当該周辺binと当該空間重み関数に基づく空間重み値の算出をおこなう。
【０２３４】
ステップＳ１２５において、輝度距離算出部２５４および輝度重み算出部２５６は、中心画素と当該周辺binと当該輝度重み関数に基づく輝度重み値の算出をおこなう。
【０２３５】
ステップＳ１２６において、乗算部２５７は、空間重み値と輝度重み値を乗算した合成重み値を算出する。
【０２３６】
ステップＳ１２７において、積和部２５９は、合成重み値と当該周辺binの頻度値を乗じた値を算出し、それを頻度期待値のここまでの算出結果に加算する。
【０２３７】
ステップＳ１２８において、積和部２５８は、合成重み値と当該周辺binの頻度値と当該周辺binの色差期待値を乗じた値を算出し、それを特性積分値のここまでの算出結果に加算する。
【０２３８】
ステップＳ１２９において、全ての周辺binについてステップＳ１２４乃至ステップＳ１２８の処理が行われたかが判定される。ステップＳ１２９において、まだ全ての周辺binについて処理が行われていないと判定された場合、処理はステップＳ１２４に戻り、上述した処理が繰り返される。
【０２３９】
これに対して、ステップＳ１２９において、全ての周辺binについて処理が行われたと判定された場合、ステップＳ１３０において、当該空間重み関数と当該輝度重み関数の組み合わせに対応する特性積分値および頻度期待値の結果が、それぞれ特性積分値ストア２８３および頻度期待値ストア２８４に保持される。
【０２４０】
ステップＳ１３１において、輝度重み関数セット２８２の全ての重み関数について、ステップＳ１２３乃至ステップＳ１３０の処理が行われたか否かが判定される。
【０２４１】
ステップＳ１３１において、まだ全ての重み関数について処理が行われていないと判定された場合、処理はステップＳ１２３に戻り、上述した処理が繰り返される。
【０２４２】
これに対して、ステップＳ１３１において、全ての重み関数について処理が行われたと判定された場合、ステップＳ１３２において、空間重み関数セット２８１の全ての重み関数について、ステップＳ１２３乃至ステップＳ１３１の処理が行われたか否かが判定される。
【０２４３】
ステップＳ１３２において、まだ全ての重み関数について処理が行われていないと判定された場合、処理はステップＳ１２３に戻り、上述した処理は繰り返される。
【０２４４】
これに対して、ステップＳ１３２において、全ての重み関数について処理が行われたと判定された場合、処理はステップＳ１３３に進む。つまり、全ての空間重み関数と輝度重み関数の組み合わせについて処理が行われると、処理はステップＳ１３３に進む。
【０２４５】
ステップＳ１３３において、頻度期待値選択部２８５は、特性積分値および頻度期待値の組を選択する。
【０２４６】
ステップＳ１３４において、除算部２６０は、選択された特性積分値を選択された頻度期待値で除算した結果を算出する。
【０２４７】
ステップＳ１３５において、除算結果が、中心画素位置におけるノイズ低減された色差値として出力され、重みつき期待値算出処理は終了する。そして、その後、処理は図２８のステップＳ９５に進む。
【０２４８】
以上で重みつき期待値算出部２２５の動作を完了する。
【０２４９】
図３０は、階調補正処理部４２２の動作手順を説明するフローチャートである。すなわち、図３０は、図２６のステップＳ１３の処理に対応する階調補正処理を説明するフローチャートである。
【０２５０】
ステップＳ１６１において、次のフレームで用いるための輝度域情報を算出するためのデータ領域が確保され、０に初期化される。
【０２５１】
ステップＳ１６２において、次のフレームで用いるためのブロックヒストグラムおよびブロック特性値を算出するためのデータ領域が確保され、０に初期化される。
【０２５２】
ステップＳ１６３において、輝度算出部４６１は、入力モザイク画像の画素位置について、当該画素位置の輝度値を算出する。
【０２５３】
ステップＳ１６４において、非線形変換部４６２は、当該画素位置の輝度値を非線形変換する。
【０２５４】
ステップＳ１６５において、輝度階調補正部４６４は、非線形変換後の当該画素位置の輝度値に階調補正処理を適用する。
【０２５５】
ステップＳ１６６において、非線形変換部４６３は、入力モザイク画像の当該画素位置の画素値を非線形変換する。
【０２５６】
ステップＳ１６７において、モザイク階調補正部４６５は、非線形変換後の当該画素位置のモザイク画像の画素値に当該画素位置の輝度値の階調補正結果を反映させる。
【０２５７】
ステップＳ１６８において、非線形逆変換部４６６は、階調補正後の当該画素位置のモザイク画像の画素値の非線形特性を逆変換で元の特性に戻す。
【０２５８】
ステップＳ１６９において、非線形逆変換後の画素値が当該画素位置の階調補正結果として出力される。
【０２５９】
ステップＳ１７０において、入力モザイク画像の全ての画素位置について、処理が行われたか否かが判定される。ステップＳ１７０において、まだ全ての画素位置について、処理が行われていないと判定された場合、処理はステップＳ１６３に戻り、上述した処理が繰り返される。
【０２６０】
これに対して、ステップＳ１７０において、全ての画素位置について、処理が行われたと判定された場合、ステップＳ１７１において、次のフレームで用いるためのブロックヒストグラムの算出結果がブロックヒストグラムストア３１４に格納される。
【０２６１】
ステップＳ１７２において、次のフレームで用いるためのブロック特性値の算出結果がブロック特性値ストア３１３に格納される。
【０２６２】
ステップＳ１７３において、畳み込み部３１５は、平滑化されたブロックヒストグラムおよび平滑化されたブロック特性値を算出する。
【０２６３】
ステップＳ１７４において、次のフレームで用いるための平滑化ブロックヒストグラムの算出結果が平滑化ブロックヒストグラムストア３１７に格納される。
【０２６４】
ステップＳ１７５において、次のフレームで用いるための平滑化ブロック特性値ヒストグラムの算出結果が平滑化ブロック特性値ストア３１６に格納される。
【０２６５】
ステップＳ１７６において、次のフレームで用いるための輝度域情報の算出結果が輝度域情報ストア４９２に格納されて、階調補正処理は終了する。そして、その後、処理は図２６のステップＳ１４に進む。
【０２６６】
以上で、階調補正処理部４２２の動作を完了する。
【０２６７】
図３１は、図３０のステップＳ１６５の処理内の動作手順、すなわちステップＳ１６５の処理に対応する輝度値階調補正処理を説明するフローチャートである。
【０２６８】
このフローチャートで説明する処理は、図２５および図１６で説明されている処理ブロックの中である画素単位の処理をおこなう部分である。画素単位の処理をおこなわない畳み込み部３１５（図１６）の動作手順は別途説明する。
【０２６９】
ステップＳ２０１において、輝度域情報算出部４９１（図２５）は、当該画素位置の輝度を評価して、次フレーム用の輝度域情報のここまでの計算結果を更新する。
【０２７０】
ステップＳ２０２において、ヒストグラム算出部３１２（図１６）は、当該画素位置の輝度を評価して、次フレーム用のブロックヒストグラムの該当するbinのここまでの計算結果を更新する。
【０２７１】
ステップＳ２０３において、特性値算出部３１１（図１６）は、当該画素位置の輝度を評価して、次フレーム用のブロック特性値の該当するbinのここまでの計算結果を更新する。
【０２７２】
ステップＳ２０４において、補間部３１９（図１６）は、平滑化ブロックヒストグラム３１７（図１６）に格納されている頻度期待値を参照し、頻度期待値の当該画素位置への補間値を算出する。
【０２７３】
ステップＳ２０５において、補間部３１８（図１６）は、平滑化ブロック特性値３１６（図１６）に格納されている特性積分値を参照し、特性積分値の当該画素位置への補間値を算出する。
【０２７４】
ステップＳ２０６において、除算部３２０（図１６）は、当該画素位置へ補間された特性積分値を当該画素位置へ補間された頻度期待値で除算し、それを大局輝度値とする。
【０２７５】
ステップＳ２０７において、トーンカーブ算出部４９４（図２５）は、輝度域情報ストア４９２（図２５）に格納されている輝度域情報と当該画素位置の大局輝度値から、当該画素位置のトーンカーブ形状を算出する。
【０２７６】
ステップＳ２０８において、マッピング部４９６（図２５）は、当該画素位置のトーンカーブを参照し、当該画素位置の大局輝度値にトーンカーブを適用した値を算出する。
【０２７７】
ステップＳ２０９において、マッピング部４９７（図２５）は、当該画素位置のトーンカーブを参照し、当該画素位置の輝度値にトーンカーブを適用した値を算出する。
【０２７８】
ステップＳ２１０において、コントラスト補正部４９８（図２５）は、当該画素位置のトーンカーブ、当該画素位置の大局輝度値および輝度値を参照し、コントラスト補正された当該画素位置の輝度値を算出し、それを当該画素位置の輝度の階調補正結果として出力する。輝度の階調補正結果が出力されると、輝度値階調補正処理は終了し、その後、処理は図３０のステップＳ１６６に進む。
【０２７９】
以上で、輝度値階調補正処理の動作を完了する。
【０２８０】
図３２は、図３０のステップＳ１７３の処理に対応する平滑化ブロックヒストグラムおよび平滑化ブロック特性値の算出処理の動作手順を説明するフローチャートである。処理構成としては、畳み込み部３１５（図１６）の内部処理（図１８）に相当する。
【０２８１】
この平滑化ブロックヒストグラムおよび平滑化ブロック特性値の算出処理は、ブロックヒストグラムの各bin（以下、中心bin）位置について、行なわれる。
【０２８２】
ステップＳ２４１において、中心bin選択部３５３は、ブロックヒストグラムの中心bin位置にあるbinを選択する。
【０２８３】
ステップＳ２４２において、周辺bin選択部３５２は、中心bin位置の周辺に位置するブロックヒストグラムの周辺binを選択する。
【０２８４】
ステップＳ２４３において、周辺bin選択部３５１は、中心bin位置の周辺に位置するブロック特性値の周辺binを選択する。
【０２８５】
そして、その後、空間重み関数セット３８１の各重み関数について、ステップＳ２４４乃至ステップＳ２５３の処理が行われ、輝度重み関数セット３８２の各重み関数について、ステップＳ２４４乃至ステップＳ２５２の処理が行われる。
【０２８６】
すなわち、ステップＳ２４４において、当該空間重み関数と当該輝度重み関数の組み合わせに対応する特性積分値および頻度期待値が０に初期化される。
【０２８７】
ステップＳ２４５において、空間距離算出部３５４および空間重み算出部３５６は、中心binと当該周辺binと当該空間重み関数に基づく空間重み値の算出をおこなう。
【０２８８】
ステップＳ２４６において、輝度距離算出部３５５および輝度重み算出部３５７は、中心binと当該周辺binと当該輝度重み関数に基づく輝度重み値の算出をおこなう。
【０２８９】
ステップＳ２４７において、乗算部３５８は、空間重み値と輝度重み値を乗算した合成重み値を算出する。
【０２９０】
ステップＳ２４８において、積和部３６０は、合成重み値と当該周辺binの頻度値を乗じた値を算出し、それを頻度期待値のここまでの算出結果に加算する。
【０２９１】
ステップＳ２４９において、積和部３５９は、合成重み値と当該周辺binの頻度値と当該周辺binの輝度期待値を乗じた値を算出し、それを特性積分値のここまでの算出結果に加算する。
【０２９２】
ステップＳ２５０において、全ての周辺binについてステップＳ２４５乃至ステップＳ２４９の処理が行われたか否かが判定される。
【０２９３】
ステップＳ２５０において、まだ全ての周辺binについて処理が行われていないと判定された場合、処理はステップＳ２４５に戻り、上述した処理が繰り返される。
【０２９４】
これに対して、ステップＳ２５０において、全ての周辺binについて処理が行われたと判定された場合、処理はステップＳ２５１に進む。
【０２９５】
ステップＳ２５１において、当該空間重み関数と当該輝度重み関数の組み合わせに対応する特性積分値および頻度期待値の結果が、それぞれ特性積分値ストア３８３および頻度期待値ストア３８４に保持される。
【０２９６】
ステップＳ２５２において、輝度重み関数セット３８２の全ての重み関数について、ステップＳ２４４乃至ステップＳ２５１の処理が行われたか否かが判定される。
【０２９７】
ステップＳ２５２において、まだ全ての重み関数について処理が行われていないと判定された場合、処理はステップＳ２４４に戻り、上述した処理が繰り返される。
【０２９８】
これに対して、ステップＳ２５２において、全ての重み関数について処理が行われたと判定された場合、処理はステップＳ２５３に進む。
【０２９９】
ステップＳ２５３において、空間重み関数セット３８１の全ての重み関数について、ステップＳ２４４乃至ステップＳ２５２の処理が行われたか否かが判定される。
【０３００】
ステップＳ２５３において、まだ全ての重み関数について処理が行われていないと判定された場合、処理はステップＳ２４４に戻り、上述した処理が繰り返される。
【０３０１】
これに対して、ステップＳ２５３において、全ての重み関数について処理が行われたと判定された場合、つまり全ての空間重み関数と輝度重み関数の組み合わせについて、処理が行われた場合、処理はステップＳ２５４に進む。
【０３０２】
ステップＳ２５４において、頻度期待値選択部３８５は、特性積分値および頻度期待値の組を選択する。
【０３０３】
ステップＳ２５５において、選択された頻度期待値が平滑化ブロックヒストグラムストア３１７の中心bin位置へ格納される。
【０３０４】
ステップＳ２５６において、選択された特性積分値が平滑化ブロック特性値ストア３１６の中心bin位置へ格納される。
【０３０５】
ステップＳ２５７において、全てのbin位置についてステップＳ２４１乃至ステップＳ２５６の処理が行われたか否かが判定される。
【０３０６】
ステップＳ２５７において、まだ全てのbin位置について処理が行われていないと判定された場合、処理はステップＳ２４１に戻り、上述した処理が繰り返される。
【０３０７】
これに対して、ステップＳ２５７において、ブロックヒストグラムの全てのbin位置について処理が行われたと判定された場合、平滑化ブロックヒストグラムおよび平滑化ブロック特性値の算出処理は終了し、処理は図３０のステップＳ１７４に進む。
【０３０８】
以上で、平滑化ブロックヒストグラムおよび平滑化ブロック特性値の算出処理の動作を完了する。
【０３０９】
以上で、処理手順の説明を終わる。
【０３１０】
［バリエーション等］
以上に説明した実施例によって、本技術がどのように利用されるかを説明した。しかし本技術の利用形態は以上の実施例に限定されるものではない。
【０３１１】
例えば、輝度のノイズ低減に本技術の第１の構成を利用したが、第２および第３の構成を輝度ノイズの低減に利用することもできる。同様に、第１および第３の構成を色差ノイズ低減に、また、第１および第２の構成を階調補正に用いることは可能である。
【０３１２】
また、本技術の第２および第３の構成における特性値は、実施例で説明した輝度あるいは色差以外のものであってよい。例えば、RGB画像のいずれかのチャネルであってもよい。
【０３１３】
また、本技術の重み関数の選択に関しては、空間重みか輝度重みかのどちらか片方だけ選択するようにしてもよい。
【０３１４】
さらには、本技術の第３の構成において、選択された重み関数で畳み込んだ結果である平滑化ブロックヒストグラムおよび平滑化ブロック特性値は、必要に応じてそのサイズ（ブロック分割数もしくはbin分割数）を変更（大抵は縮小）しても本技術の効果を得ることは可能である。
【０３１５】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０３１６】
図３３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０３１７】
コンピュータにおいて、CPU８０１，ROM（Read Only Memory）８０２，RAM８０３は、バス８０４により相互に接続されている。
【０３１８】
バス８０４には、さらに、入出力インターフェース８０５が接続されている。入出力インターフェース８０５には、キーボード、マウス、マイクロホンなどよりなる入力部８０６、ディスプレイ、スピーカなどよりなる出力部８０７、ハードディスクや不揮発性のメモリなどよりなる記録部８０８、ネットワークインターフェースなどよりなる通信部８０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１１を駆動するドライブ８１０が接続されている。
【０３１９】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記録部８０８に記録されているプログラムを、入出力インターフェース８０５及びバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。
【０３２０】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア８１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０３２１】
そして、プログラムは、リムーバブルメディア８１１をドライブ８１０に装着することにより、入出力インターフェース８０５を介して、記録部８０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部８０９で受信し、記録部８０８にインストールすることができる。その他、プログラムは、ROM８０２や記録部８０８に、あらかじめインストールしておくことができる。
【０３２２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３２３】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０３２４】
４２１ ホワイトバランス処理部， ４２２ 階調補正処理部， ４２３ デモザイク処理部， ４２４ ガンマ補正処理部， ４２５ YC変換処理部， ４２６ 輝度ノイズ低減処理部， ４２７ 色差ノイズ低減処理部
【特許請求の範囲】
【請求項１】
画像データ中のある画素位置において、当該画素位置の画素値と近傍領域の各画素の画素値との差分値に基づく重み値を算出し、前記近傍領域の各画素で算出した重み値に基づいて、前記近傍領域画素値の期待値を算出し、それを当該画素位置の計算結果とする画像処理装置において、
前記重み値を算出するための複数の正規化された重み関数と、
前記複数の正規化重み関数の夫々について、近傍領域の全画素の重み値総和を算出する手段と、
前記重み値総和に基づいて前記正規化重み関数を選択する手段と、
前記選択された正規化重み関数に基づいた前記近傍領域画素値の期待値を算出する手段と
を備える画像処理装置。
【請求項２】
前記正規化重み関数を選択する手段は、前記重み値総和を最大にする正規化重み関数を選択する
請求項１に記載の画像処理装置。
【請求項３】
前記正規化重み関数を選択する手段は、前記重み値総和のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された重み値総和に対応する正規化重み関数のうち、関数の幅が最大のものを選択する
請求項１に記載の画像処理装置。
【請求項４】
画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の画素の頻度値を算出するブロックヒストグラム算出手段と、
ブロックヒストグラムの各bin毎に特性値を算出あるいは設定する特性値算出手段と、
前記各binの頻度値および特性値に基づいて、画像の各画素における特性値の重みつき期待値を算出する手段と
を備え、
前記特性値の重みつき期待値を算出する手段は、
前記重み値を算出するための複数の正規化された重み関数と、
前記複数の正規化重み関数の夫々について、当該画素における頻度期待値を算出する手段と、
前記頻度期待値に基づいて前記正規化重み関数を選択する手段と、
前記選択された正規化重み関数に基づいた前記当該画素の特性値の重みつき期待値を算出する手段と
を備える
画像処理装置。
【請求項５】
前記正規化重み関数を選択する手段は、前記頻度期待値を最大にする正規化重み関数を選択する
請求項４に記載の画像処理装置。
【請求項６】
前記正規化重み関数を選択する手段は、前記頻度期待値のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された頻度期待値に対応する正規化重み関数のうち、関数の幅が最大のものを選択する
請求項４に記載の画像処理装置。
【請求項７】
前記bin毎の特性値は、binに属する画素の輝度を代表する値である
請求項４に記載の画像処理装置。
【請求項８】
前記bin毎の特性値は、binに属する画素の色度を代表する値である
請求項４に記載の画像処理装置。
【請求項９】
画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の画素の頻度値を算出するブロックヒストグラム算出手段と、
ブロックヒストグラムの各bin毎に特性値を算出あるいは設定する特性値算出手段と、
前記頻度値に対して重み関数を畳み込む、第１の畳み込み手段と、
前記特性値と前記頻度値の積に対して、重み関数を畳み込む、第２の畳み込み手段と、
画像の各画素の輝度値に対応する、前記第１の畳み込み手段の結果の補間値を算出する手段と、
画像の各画素の輝度値に対応する、前記第２の畳み込み手段の結果の補間値を算出する手段と、
前記第１の補間値を前記第２の補間値で除算することによって、画像の各画素の輝度値に対応する前記特性値の重みつき期待値を算出する手段と
を備え、
前記第１の畳み込み手段は、
複数の正規化された重み関数と、
前記複数の正規化重み関数の夫々について、前記頻度値の各binにおける畳み込み結果を算出する手段と、
前記頻度値の畳み込み結果に基づいて、前記正規化重み関数および対応する前記頻度値の畳み込み結果をbin毎に選択する手段と
を備え、
前記第２の畳み込み手段は、
複数の正規化された重み関数と、
前記複数の正規化重み関数の夫々について、前記頻度値の各binにおける畳み込み結果を算出する手段と、
前記複数の正規化重み関数の夫々について、前記特性値と前記頻度値の積の各binにおける畳み込み結果を算出する手段と、
前記頻度値の畳み込み結果に基づいて、前記正規化重み関数および対応する前記特性値と前記頻度値の積の畳み込み結果をbin毎に選択する手段と
を備える
画像処理装置。
【請求項１０】
前記正規化重み関数を選択する手段は、前記頻度値の畳み込み結果を最大にする正規化重み関数を選択する
請求項９に記載の画像処理装置。
【請求項１１】
前記正規化重み関数を選択する手段は、前記頻度値の畳み込み結果のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された頻度値の畳み込み結果に対応する正規化重み関数のうち、関数の幅が最大のものを選択する
請求項９に記載の画像処理装置。
【請求項１２】
前記bin毎の特性値は、binに属する画素の輝度を代表する値である
請求項９に記載の画像処理装置。
【請求項１３】
前記bin毎の特性値は、binに属する画素の色度を代表する値である
請求項９に記載の画像処理装置。
【請求項１４】
画像データ中のある画素位置において、当該画素位置の画素値と近傍領域の各画素の画素値との差分値に基づく重み値を算出し、前記近傍領域の各画素で算出した重み値に基づいて、前記近傍領域画素値の期待値を算出し、それを当該画素位置の計算結果とする画像処理方法において、
前記重み値を算出するための複数の正規化された重み関数を保持し、
前記複数の正規化重み関数の夫々について、近傍領域の全画素の重み値総和を算出し、
前記重み値総和に基づいて前記正規化重み関数を選択し、
前記選択された正規化重み関数に基づいた前記近傍領域画素値の期待値を算出する
ステップを含む画像処理方法。
【請求項１５】
画像データ中のある画素位置において、当該画素位置の画素値と近傍領域の各画素の画素値との差分値に基づく重み値を算出し、前記近傍領域の各画素で算出した重み値に基づいて、前記近傍領域画素値の期待値を算出し、それを当該画素位置の計算結果とする画像処理用のプログラムであって、
前記重み値を算出するための複数の正規化された重み関数を保持し、
前記複数の正規化重み関数の夫々について、近傍領域の全画素の重み値総和を算出し、
前記重み値総和に基づいて前記正規化重み関数を選択し、
前記選択された正規化重み関数に基づいた前記近傍領域画素値の期待値を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１】
画像データ中のある画素位置において、当該画素位置の画素値と近傍領域の各画素の画素値との差分値に基づく重み値を算出し、前記近傍領域の各画素で算出した重み値に基づいて、前記近傍領域画素値の期待値を算出し、それを当該画素位置の計算結果とする画像処理装置において、
前記重み値を算出するための複数の正規化された重み関数と、
前記複数の正規化重み関数の夫々について、近傍領域の全画素の重み値総和を算出する手段と、
前記重み値総和に基づいて前記正規化重み関数を選択する手段と、
前記選択された正規化重み関数に基づいた前記近傍領域画素値の期待値を算出する手段と
を備える画像処理装置。
【請求項２】
前記正規化重み関数を選択する手段は、前記重み値総和を最大にする正規化重み関数を選択する
請求項１に記載の画像処理装置。
【請求項３】
前記正規化重み関数を選択する手段は、前記重み値総和のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された重み値総和に対応する正規化重み関数のうち、関数の幅が最大のものを選択する
請求項１に記載の画像処理装置。
【請求項４】
画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の画素の頻度値を算出するブロックヒストグラム算出手段と、
ブロックヒストグラムの各bin毎に特性値を算出あるいは設定する特性値算出手段と、
前記各binの頻度値および特性値に基づいて、画像の各画素における特性値の重みつき期待値を算出する手段と
を備え、
前記特性値の重みつき期待値を算出する手段は、
前記重み値を算出するための複数の正規化された重み関数と、
前記複数の正規化重み関数の夫々について、当該画素における頻度期待値を算出する手段と、
前記頻度期待値に基づいて前記正規化重み関数を選択する手段と、
前記選択された正規化重み関数に基づいた前記当該画素の特性値の重みつき期待値を算出する手段と
を備える
画像処理装置。
【請求項５】
前記正規化重み関数を選択する手段は、前記頻度期待値を最大にする正規化重み関数を選択する
請求項４に記載の画像処理装置。
【請求項６】
前記正規化重み関数を選択する手段は、前記頻度期待値のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された頻度期待値に対応する正規化重み関数のうち、関数の幅が最大のものを選択する
請求項４に記載の画像処理装置。
【請求項７】
前記bin毎の特性値は、binに属する画素の輝度を代表する値である
請求項４に記載の画像処理装置。
【請求項８】
前記bin毎の特性値は、binに属する画素の色度を代表する値である
請求項４に記載の画像処理装置。
【請求項９】
画像を空間方向に複数の領域に分割したブロック毎に、さらに輝度方向に複数の輝度域に分割したbin毎の画素の頻度値を算出するブロックヒストグラム算出手段と、
ブロックヒストグラムの各bin毎に特性値を算出あるいは設定する特性値算出手段と、
前記頻度値に対して重み関数を畳み込む、第１の畳み込み手段と、
前記特性値と前記頻度値の積に対して、重み関数を畳み込む、第２の畳み込み手段と、
画像の各画素の輝度値に対応する、前記第１の畳み込み手段の結果の補間値を算出する手段と、
画像の各画素の輝度値に対応する、前記第２の畳み込み手段の結果の補間値を算出する手段と、
前記第１の補間値を前記第２の補間値で除算することによって、画像の各画素の輝度値に対応する前記特性値の重みつき期待値を算出する手段と
を備え、
前記第１の畳み込み手段は、
複数の正規化された重み関数と、
前記複数の正規化重み関数の夫々について、前記頻度値の各binにおける畳み込み結果を算出する手段と、
前記頻度値の畳み込み結果に基づいて、前記正規化重み関数および対応する前記頻度値の畳み込み結果をbin毎に選択する手段と
を備え、
前記第２の畳み込み手段は、
複数の正規化された重み関数と、
前記複数の正規化重み関数の夫々について、前記頻度値の各binにおける畳み込み結果を算出する手段と、
前記複数の正規化重み関数の夫々について、前記特性値と前記頻度値の積の各binにおける畳み込み結果を算出する手段と、
前記頻度値の畳み込み結果に基づいて、前記正規化重み関数および対応する前記特性値と前記頻度値の積の畳み込み結果をbin毎に選択する手段と
を備える
画像処理装置。
【請求項１０】
前記正規化重み関数を選択する手段は、前記頻度値の畳み込み結果を最大にする正規化重み関数を選択する
請求項９に記載の画像処理装置。
【請求項１１】
前記正規化重み関数を選択する手段は、前記頻度値の畳み込み結果のうち最大値と、最大値から所定の許容幅にはいるものを抽出し、前記抽出された頻度値の畳み込み結果に対応する正規化重み関数のうち、関数の幅が最大のものを選択する
請求項９に記載の画像処理装置。
【請求項１２】
前記bin毎の特性値は、binに属する画素の輝度を代表する値である
請求項９に記載の画像処理装置。
【請求項１３】
前記bin毎の特性値は、binに属する画素の色度を代表する値である
請求項９に記載の画像処理装置。
【請求項１４】
画像データ中のある画素位置において、当該画素位置の画素値と近傍領域の各画素の画素値との差分値に基づく重み値を算出し、前記近傍領域の各画素で算出した重み値に基づいて、前記近傍領域画素値の期待値を算出し、それを当該画素位置の計算結果とする画像処理方法において、
前記重み値を算出するための複数の正規化された重み関数を保持し、
前記複数の正規化重み関数の夫々について、近傍領域の全画素の重み値総和を算出し、
前記重み値総和に基づいて前記正規化重み関数を選択し、
前記選択された正規化重み関数に基づいた前記近傍領域画素値の期待値を算出する
ステップを含む画像処理方法。
【請求項１５】
画像データ中のある画素位置において、当該画素位置の画素値と近傍領域の各画素の画素値との差分値に基づく重み値を算出し、前記近傍領域の各画素で算出した重み値に基づいて、前記近傍領域画素値の期待値を算出し、それを当該画素位置の計算結果とする画像処理用のプログラムであって、
前記重み値を算出するための複数の正規化された重み関数を保持し、
前記複数の正規化重み関数の夫々について、近傍領域の全画素の重み値総和を算出し、
前記重み値総和に基づいて前記正規化重み関数を選択し、
前記選択された正規化重み関数に基づいた前記近傍領域画素値の期待値を算出する
ステップを含む処理をコンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２０１２−２１６８８８（Ｐ２０１２−２１６８８８Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−７８８７２（Ｐ２０１１−７８８７２）
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年３月３１日（２０１１．３．３１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]