成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は電子機器
【課題】本発明は、原画像信号から高速かつ精度良く骨格成分等の成分を取得する
【解決手段】成分抽出補正装置は、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解部（１０５）と、前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出部（３０１／３０８）と、前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正部（３０７）と、前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正部（３１０、３１１）と、を備えることを特徴とする。
【解決手段】成分抽出補正装置は、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解部（１０５）と、前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出部（３０１／３０８）と、前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正部（３０７）と、前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正部（３１０、３１１）と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号から成分を抽出し補正する成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は成分抽出補正装置を搭載する電子機器に関する。
【背景技術】
【０００２】
従来、原画像信号Fを、骨格成分（幾何学的画像構造）と骨格成分以外の成分とに分解して抽出する方法が開示されている（非特許文献１参照）。骨格成分は、大局的な構造を表す成分であり、平坦成分（緩やかに変化する成分）とエッジ成分を含む。骨格成分以外の成分は、局所的な構造を表す成分であり、テクスチャのような細かい構造成分とノイズから構成される。
【０００３】
画像分解の手法には、加算型分離と乗算型分離がある。加算型分離では、原画像信号Fが式（１）で示すように、第１成分Uと第２成分Vの和として表される。
【０００４】
【数１】
【０００５】
第１成分Uは、骨格成分である。骨格成分以外の第２成分Vは、テクスチャ成分とノイズを含み、原画像信号Fに対する第１成分Uの残差成分として定義される。
【０００６】
有界変動関数とノルムを用いた分解方法が使用される。分解を行うために、非特許文献１に記載のＡ２ＢＣ変分モデル(Aujol-Aubert-Blanc- Feraud-Chambolle model)を用いる。最適解として求められる第１成分Uの性質は、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間ＢＶ(Bounded Variation Function Space)としてモデル化される。第１成分Uのエネルギーは全変動エネルギーとして、式（２）のＴＶ(Total Variation)ノルムJ(U)で定義される。
【０００７】
【数２】
【０００８】
ただし、式（２）において、ｘは第１成分Uの横方向の画素位置であり、ｙは縦方向の画素位置である。
【０００９】
一方、式（１）中の第２成分Vの関数空間は、振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式（３）のように表現された関数の空間であり、そのエネルギーは式（４）のGノルム‖Ｖ‖Gとして定義される。
【００１０】
【数３】
【００１１】
原画像信号Fの分解問題は、エネルギー汎関数を最小化する式（５）の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。
【００１２】
【数４】
【００１３】
原画像信号Fから分解される第２成分Vはノイズの影響を受ける。しかし、第１成分Uはノイズの影響をほとんど受けないため、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
【００１４】
乗算型分離では、原画像信号Fが第１成分Uと第２成分Vの積によって式（６）のように表されるが、原画像信号Fを対数変換した対数原画像信号をｆとすると、式（７）のように加算型分離問題に変換することができる。
【００１５】
【数５】
【非特許文献１】Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher, "Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection", International Journal of Computer Vision, Volume 67, Issue 1, (April 2006) Pages: 111 - 136 Year of Publication: 2006
【非特許文献２】相澤,石井,小松,齋藤,“TV-L1非線形画像分解による信号依存性雑音の除去”,映像メディア処理シンポジウム2007,I-4.15,Oct.2007.
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかし、上記の変分問題を解き、骨格成分と骨格成分以外の成分の分離を高速かつ精度良く行う方法は十分に確立されていなかった。
【００１７】
本発明は、原画像信号から高速かつ精度良く骨格成分等の成分を取得することを目的とする。
【課題を解決するための手段】
【００１８】
本発明のある態様に係る成分抽出補正装置は、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解部と、前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出部と、前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正部と、前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正部と、を備えることを特徴とする。
【００１９】
本発明の別の態様に係る成分抽出補正方法は、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解ステップと、前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出ステップと、前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正ステップと、前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正ステップと、を含むことを特徴とする。
【００２０】
本発明のさらに別の態様に係る成分抽出補正プログラムは、コンピュータに、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解手順と、前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出手順と、前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正手順と、前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正手順と、を実行させることを特徴とする。
【００２１】
これら態様によれば、複数の成分のうち骨格成分以外の一の成分と帯域信号とを用いて、抽出された骨格成分を補正する第１の補正処理を行う。補正された骨格成分と帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う。
【００２２】
このような第１の補正処理と第２の補正処理の組み合わせにより、骨格成分以外の一の成分を用いて骨格成分を、骨格成分を用いてこの一の成分を補正する。このため、高速に精度良く骨格成分及び骨格成分以外の一の成分を取得できる。例えば、第１の補正処理と第２の補正処理を繰り返すことにより、逐次近似的にさらに精度良く骨格成分と骨格成分以外の一の成分を計算できる。
【００２３】
抽出部は、原画像信号ではなく帯域信号に含まれる骨格成分を抽出する。このため、簡易に骨格成分と骨格成分以外の一の成分の補正が行える。例えば、合成部が帯域信号ごとに補正された骨格成分を複数の周波数帯域にわたって合成することで、原画像信号に対して高速かつ精度良く骨格成分を取得できる。例えば、合成部が帯域信号ごとに前記補正された一の成分を複数の周波数帯域にわたって合成することで、原画像信号に対して高速かつ精度良く骨格成分以外の一の成分を取得できる。
【００２４】
本発明のさらに別の態様に係る成分抽出補正装置は、原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出部と、前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解部と、前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正部と、前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成部と、前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正部と、を備えることを特徴とする。
【００２５】
本発明のさらに別の態様に係る成分抽出補正方法は、原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出ステップと、前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解ステップと、前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正ステップと、前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成ステップと、前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正ステップと、を含むことを特徴とする。
【００２６】
本発明のさらに別の態様に係る成分抽出補正プログラムは、コンピュータに、原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出手順と、前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解手順と、前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正手順と、前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成手順と、前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正手順と、を実行させることを特徴とする。
【００２７】
これら態様によれば、帯域信号ごとの骨格成分を補正する第１の補正処理を行う。帯域信号ごとに補正された骨格成分を複数の周波数帯域にわたって合成し、原画像信号に対する骨格成分を生成する。原画像信号に対する骨格成分と原画像信号とを用いて、原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う。
【００２８】
このような第１の補正処理と第２の補正処理の組み合わせにより、高速に精度良く骨格成分及び骨格成分以外の一の成分を取得できる。例えば、第１の補正処理と第２の補正処理を繰り返すことにより、逐次近似的に精度良く骨格成分と骨格成分以外の一の成分を計算できる。
【００２９】
原画像信号ではなく帯域信号に含まれる骨格成分を補正するため、簡易に骨格成分の補正が行える。帯域信号ごとに補正された骨格成分を複数の周波数帯域にわたって合成することで、原画像信号に対して高速かつ精度良く骨格成分を取得できる。原画像信号に対する骨格成分と原画像信号とを用いて、原画像信号に対する骨格成分以外の一の成分を補正するため、原画像信号に対して骨格成分以外の一の成分を高速かつ精度良く取得できる。この場合、さらに、骨格成分以外の一の成分を記録するバッファの容量を抑えることができる。
【発明の効果】
【００３０】
本発明では、原画像信号から高速かつ精度良く骨格成分と骨格成分以外の一の成分を取得することができる。
【発明を実施するための最良の形態】
【００３１】
＜第１の実施形態＞
図１を参照して、本発明の第１の実施形態に係る成分抽出補正装置について説明する。なお、成分抽出補正装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第一実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。
【００３２】
撮像装置は、システムコントローラ１００（制御部）、光学系１０１、撮像素子１０２、A/D変換部１０３（以下、単にA/Dと呼ぶ）、補間部１０４、多重解像度分解部１０５（単に、分解部とも呼ぶ）を備える。さらに、撮像装置は、バッファ１０６、成分分離部１０７、多重解像度合成部１０８（単に、合成部とも呼ぶ）、第１信号処理部１０９、第２信号処理部１１０、成分合成部１１１、出力部１１２を備える。上記各部を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成してもよい。本実施形態の成分抽出補正装置は、多重解像度分解部１０５、成分分離部１０７等から構成される。
【００３３】
本実施形態に係る撮像装置において、原画像信号Fが成分分離され、第１成分U、第２成分Vが生成される。ここで、第１成分Uは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号の骨格成分（幾何学的画像構造）である。第２成分Vは、骨格成分以外の成分であり、原画像信号に対する第１成分Uの残差成分を表している。成分分離後、分離した成分毎に最適な処理を施し合成する。
【００３４】
図１３（ａ）に原画像信号Fのラインプロファイルの例と、原画像の例を示す。図１３（ｂ）に骨格成分のラインプロファイルの例と、その画像例を示す。図１３（ｃ）に骨格成分以外の成分のラインプロファイルの例と、その成分画像の例を示す。図１３（ｂ）のように、骨格成分（第１成分U）は、大局的な構造を表す成分である。大局的な構造は信号の特徴の概要部分を表すものであり、エッジ成分と、エッジによって区分された輝度変化の滑らかな領域の平坦成分（緩やかに変化する成分）から構成される。図１３（ｃ）のように、骨格成分以外の成分（第２成分V）は、局所的な構造を表す成分である。局所的な構造は信号の特徴の詳細部分を表すものであり、テクスチャのような細かい構造成分とノイズから構成される。
【００３５】
成分分離の手法には、加算型分離と乗算型分離がある。加算型分離では、原画像信号Fが前述の式(１)で示すように、第１成分Uと第２成分Vの和として表される（F=U+V）。
【００３６】
乗算型分離では、原画像信号Fが前述の式（６）で示すように、第１成分Uと第２成分Vの積によって表される（F=U*V）。しかし、原画像信号Fを対数変換して対数原画像信号fとすると、前述の式(７)のように加算型分離問題に変換することができる。
【００３７】
本実施形態においては加算型分離に関して説明を行い、乗算型分離に関する詳細な説明は省略する。なお、乗算型分離の場合、原画像信号の画素毎に対数変換した信号値に対し、加算型分離と同様の処理を施して成分分離した後、分離成分毎に逆対数変換を行えば式（６）に示す乗算型の分離処理が実現できる。
【００３８】
撮像素子１０２は、A/D１０３を介して補間部１０４へ接続されている。補間部１０４は、分解部１０５に接続されている。分解部１０５は、バッファ（バッファメモリ）１０６を介して、成分分離部１０７と合成部１０８へ接続されている。成分分離部１０７は、合成部１０８へ接続されている。合成部１０８は、第１信号処理部１０９、及び第２信号処理部１１０を介して成分合成部１１１へ接続されている。成分合成部１１１は出力部１１２へ接続されている。各処理部はシステムコントローラ１００に接続しており、システムコントローラ１００により動作を制御される。
【００３９】
撮像素子１０２は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０２面上に結像した光学像をアナログ画像信号として出力する。なお、本実施形態において、撮像素子１０２は、色フィルタアレイを前面に配置したカラー用撮像素子である。撮像素子１０２は、単板方式、多板方式のいずれでも良い。
【００４０】
アナログ画像信号は、A/D１０３へ転送される。A/D１０３は、アナログ画像信号をデジタル信号に変換し、補間部１０４へ転送する。
【００４１】
補間部１０４は、デジタル信号に対し、所定のデモザイク処理を施し、カラー三板画像信号（以下、原画像信号Fと呼ぶ）を生成する。本実施形態において、原画像信号Fは、R（赤）、G（緑）、B（青）の色信号により構成されている。以降、R（赤）、G（緑）、B（青）の色信号をそれぞれFr、Fg、Fbと呼ぶこととする。原画像信号Fは、分解部１０５（多重解像度分解部）へ転送される。
【００４２】
分解部１０５は、各色信号Fr、Fg、Fbに対して所定のI段階（Iは１以上の整数）の多重解像度分解を行い、各色信号を複数の周波数帯域に分解して複数の帯域信号を生成する。分解部１０５は、分解の段階数i（iは、１以上I以下の整数）ごとの高周波成分、低周波成分を生成し、バッファ１０６へ記録する。なお、多重解像度分解の詳細については後述する。
【００４３】
ここで本実施形態において、Harr基底による直交ウェーブレット変換を行っているが、双直交ウェーブレット基底等も含め、全てのウェーブレット基底が適用可能である。また、サブサンプリングを行わないタイプの（各レベルの各ウェーブレット係数が入力画素と同じ数になるよう）冗長性を持たせたウェーブレット変換（Stationary wavelet transform等）を適用することも可能である。
【００４４】
成分分離部１０７は、各高周波成分を、高周波成分に含まれる第１成分、及び第２成分にそれぞれ分解する。ここで、第１成分は、平坦成分とエッジ成分を含む原画像信号の骨格成分である。第２成分は、テクスチャの様な細かい構造成分とノイズを含む、原画像信号に対する第１成分の残差成分を表している。
【００４５】
成分分離部１０７では、高周波成分に対し２つの異なるノイズ低減処理（多段階コアリング処理、コアリング処理（軟判定閾値処理））と差分算出処理を組合わせた処理が反復的に適用される。反復がなされるたびに第１成分、第２成分の分解精度が向上する。所定回数の反復がなされた後の第１成分、第２成分を合成部１０８へ転送する。なお、成分分解、多段階コアリング処理、コアリング処理（軟判定閾値処理）の詳細は後述する。
【００４６】
ここで、コアリング処理は、典型的には、入力信号がコアリング範囲以内に属する場合に、その信号値を一律ゼロとし、コアリング範囲を外れる場合には、閾値だけ減算、または加算した信号値とする。コアリング範囲は、下限閾値、上限閾値で規定される範囲である。また、多段階コアリング処理は、一般のコアリング処理とは異なり、複数のコアリング範囲により規定された変換関数に基づき、入力信号を所定の値に変換する。各コアリング範囲は、下限閾値、上限閾値、および各コアリング範囲に対応する出力値を有する。
【００４７】
合成部１０８(重解像度合成部)は、バッファ１０６から低周波成分を取得し、成分分離部１０７から高周波成分に含まれる第１成分、第２成分を取得する。ここで、合成部１０８は、低周波成分、及び高周波成分に含まれる第１成分に基づき、原画像信号Fに対する第１成分Uを生成する。同様の手法により、高周波成分に含まれる第２成分に基づき、原画像信号Fに対する第２成分Vを生成する。生成した第１成分Uは、第１信号処理部１０９へ、第２成分Vは第２信号処理部１１０へ転送される。なお、多重解像度合成処理の詳細は後述する。
【００４８】
第１信号処理部１０９は、合成部１０８から原画像信号Fに対する第１成分Uを読み込み、所定の信号処理を実施する。本実施形態では、原画像信号Fに対する第１成分Uに対し、階調変換を実施する。階調変換後の第１成分U'は、成分合成部１１１へ転送される。例えば、第１信号処理部１０９は、第１成分Uに対して、信号レベルに基づきヒストグラムを算出し、ヒストグラムに基づき階調変換曲線を設定する。第１信号処理部１０９は、階調変換曲線から各画素に係る階調変換係数を取得して、第１成分Uに乗算して階調変換後の第１成分U'を得ることができる。第１信号処理部１０９は、その他、γ補正等の階調変換を行ってもよい。
【００４９】
第２信号処理部１１０は、合成部１０８から第２成分Vを読み込み、所定の信号処理を実施する。本実施形態では、第２成分Vに対しノイズ低減処理、及びゲインの乗算による鮮鋭化処理を行う。処理後の第２成分V'は成分合成部１１１へ転送される。ノイズ低減処理として、例えば、コアリング処理やフィルタリング処理が為される。
【００５０】
成分合成部１１１は、第１信号処理部１０９で処理された第１成分U’、及び第２信号処理部１１０で処理された第２成分V’とを所定の比率で合成し、合成成分F'を得る。所定の比率は、例えば1:1の比率である。合成成分F'は出力部１１２へ転送され、フラッシュメモリ等で構成される記憶メディアへ記録される。
【００５１】
多重解像度分解部１０５
次に、図２を参照して、多重解像度分解部１０５の構成について説明する。分解部１０５は、各色信号Fr、Fg、Fbを複数の周波数帯域に分解して複数の帯域信号を生成する。
【００５２】
この分解部１０５は、データ読取部２００と、バッファ（バッファメモリ）２０１と、水平ハイパスフィルタ２０２と、水平ローパスフィルタ２０３と、サブサンプラ２０４、２０５と、を含む。また、分解部１０５は、垂直ハイパスフィルタ２０６と、垂直ローパスフィルタ２０７と、垂直ハイパスフィルタ２０８と、垂直ローパスフィルタ２０９と、を含む。さらに、分解部１０５は、サブサンプラ２１０、２１１、２１２、２１３と、切換部２１４と、データ転送制御部２１５と、基底関数ＲＯＭ２１６と、フィルタ係数読取部２１７とを含んでいる。
【００５３】
補間部１０４は、データ読取部２００を介して、バッファ２０１へ接続されている。バッファ２０１は、水平ハイパスフィルタ２０２および水平ローパスフィルタ２０３へ接続されている。水平ハイパスフィルタ２０２は、サブサンプラ２０４を介して、垂直ハイパスフィルタ２０６および垂直ローパスフィルタ２０７へ接続されている。水平ローパスフィルタ２０３は、サブサンプラ２０５を介して、垂直ハイパスフィルタ２０８および垂直ローパスフィルタ２０９へ接続されている。
【００５４】
垂直ハイパスフィルタ２０６は、サブサンプラ２１０へ、垂直ローパスフィルタ２０７はサブサンプラ２１１へ、それぞれ接続されている。垂直ハイパスフィルタ２０８は、サブサンプラ２１２へ、垂直ローパスフィルタ２０９は、サブサンプラ２１３へ、それぞれ接続されている。サブサンプラ２１０、２１１、２１２、２１３は、切換部２１４へそれぞれ接続されている。サブサンプラ２１３は、さらに、データ転送制御部２１５へも接続されている。
【００５５】
切換部２１４は、バッファ１０６へ接続されている。データ転送制御部２１５は、バッファ２０１へ接続されている。基底関数ＲＯＭ２１６は、フィルタ係数読取部２１７へ接続されている。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２、水平ローパスフィルタ２０３，垂直ハイパスフィルタ２０６、垂直ローパスフィルタ２０７、垂直ハイパスフィルタ２０８、垂直ローパスフィルタ２０９へそれぞれ接続されている。
【００５６】
基底関数ＲＯＭ２１６には、Harr関数やDaubecies関数などのウェーブレット変換に用いられるフィルタ係数が記録されている。これらの内の、例えばHarr関数におけるハイパスフィルタの係数を式（８）に、ローパスフィルタの係数を式（９）に、それぞれ示す。本実施形態においては、Harrの基底関数を用いている。
【００５７】
【数６】
【００５８】
なお、これらのフィルタ係数は、水平方向と垂直方向とに共通して用いられる。
【００５９】
フィルタ係数読取部２１７は、基底関数ＲＯＭ２１６からフィルタ係数を読み込む。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２、垂直ハイパスフィルタ２０６、垂直ハイパスフィルタ２０８へハイパスフィルタ係数を転送する。フィルタ係数読取部２１７は、水平ローパスフィルタ２０３、垂直ローパスフィルタ２０７、垂直ローパスフィルタ２０９へローパスフィルタ係数を転送する。
【００６０】
こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に、データ読取部２００は、補間部１０４から原画像信号Fを読み込んで、バッファ２０１へ転送する。
【００６１】
バッファ２０１上の原画像信号Fには、水平および垂直方向のフィルタリング処理がなされる。このフィルタリング処理は、水平ハイパスフィルタ２０２、水平ローパスフィルタ２０３、垂直ハイパスフィルタ２０６、２０８、垂直ローパスフィルタ２０７、２０９によって為される。ここで、サブサンプラ２０４、２０５は、入力映像信号に対して、水平方向に１／２にサブサンプリング（ダウンサンプリング）する。サブサンプラ２１０、２１１、２１２、２１３は入力映像信号を垂直方向に１／２にサブサンプリングする。
【００６２】
従って、サブサンプラ２１０の出力は、水平垂直両方向の高周波成分Ｈhv１を、サブサンプラ２１１の出力は、水平方向の高周波成分Ｈh１を、サブサンプラ２１２の出力は、垂直方向の高周波成分Ｈv１をそれぞれ与える。サブサンプラ２１３の出力は、低周波成分LL１を与える。
【００６３】
切換部２１４は、ウェーブレット係数としての上記３つの高周波成分Ｈhv１、Ｈh１、Ｈv１と低周波成分LL１とを、バッファ１０６へ順次転送する。また、データ転送制御部２１５は、サブサンプラ２１３からの低周波成分LL１をバッファ２０１へ転送する。
【００６４】
こうしてバッファ２０１上に記憶された低周波成分LL１は、上述と同様のフィルタリング処理により２段階目の分解が行われて、３つの高周波成分Ｈhv2、Ｈh2、Ｈv2と低周波成分LL2とが出力される。
【００６５】
上述したような過程は、所定のI段階の分解が行われるまで反復されるように制御される。I段階の分解が終了すると、バッファ１０６には、帯域信号としてウェーブレット係数としての高周波成分Ｈhvi、Ｈhi、Ｈviおよび低周波成分LLi（i＝１〜I）が保存されることになる。こうして、帯域信号（Ｈhvi、Ｈhi、ＨviおよびLLi（i＝１〜I））が、生成保存される。
【００６６】
成分分離部１０７
次に、図３を参照して成分分離部１０７の動作の詳細について説明する。
【００６７】
ここで、成分分離部１０７が行う成分分離について説明しておく。ＲＧＢカラー画像を式（５）のようなＴＶ−Ｇ非線形画像分解モデルによって成分分離する。この場合、色差（Ur-Ug、Ub-Ug、Ur-Ub）、色和（Ur+Ug、Ub+Ug、Ur+Ub）のＴＶ（Total Variation）を導入することで、カラー歪の発生を抑えることができる。色差と色和のＴＶを導入したＴＶ−Ｇ非線形画像分解モデルは式（１０）、式（１１ａ）、式（１１ｂ）のような変分問題に定式化される。
【００６８】
【数７】
【００６９】
【数８】
【００７０】
【数９】
【００７１】
ここで、Ur、Ug、Ubは、それぞれＲ信号、Ｇ信号、Ｂ信号の第１成分である。Vr、Vg、Vbは、それぞれＲ信号、Ｇ信号、Ｂ信号の第２成分である。なお、式（１１ａ）は、この式（１１ａ）の変分問題の解
【数１０】
を用いて、以下のように定義されたWr、Wg、Wbを導入することで、式(１１ｂ)に示す３つの互いに独立な変分問題となる。
【００７２】
【数１１】
【００７３】
上記変分問題におけるＴＶノルムを全てBesovノルム空間B11(L1)のノルムで置換すれば、直交（近似的には双直交）ウェーブレット変換領域におけるShrinkage処理によって解を求めることが可能である。
【００７４】
このとき、式（１０）は非特許文献２に記載のＬ１−Ｌ２型最適化問題から導出したShrinkage関数、（具体的には式（１５）（１６）に示すShirnkage関数）を用いた反復アルゴリズムに帰着する。これは、（Fr-Vr,Fg-Vg,Fb-Vb）をＲＧＢ三原色カラー入力画像とみなし、上記、Shrinkage関数を用いたウェーブレット変換領域の雑音除去法でノイズ低減処理を行うことと等価である。このノイズ低減処理は、色信号間の色和、色差を考慮した複数のコアリング範囲を持つ多段階コアリング処理となる。
【００７５】
また、式（１１ｂ）は閾値をμとした軟判定閾値処理（Soft Thresholding）を用いたWavelet Shrinkage法に帰着する。これは、（Fr-Ur,Fg-Ug, Fb-Ub）をＲＧＢ三原色カラー入力画像とみなし、閾値パラメータがμの軟判定閾値処理を用いたWavelet Shrinkage法でノイズ低減処理を行うことと等価である。軟判定閾値処理は、単一のコアリング範囲を持つ通常のコアリング処理である。
【００７６】
成分分離部１０７は、初期化部３０１、第１バッファ３０２、第２バッファ３０３、第１差分算出部３０４、第１ノイズ低減部３０７、第１転送制御部３０８を含んでいる。さらに、成分分離部１０７は、第２差分算出部３０９、第２ノイズ低減部３１０、第３差分算出部３１１、第２転送制御部３１２を含んでいる。
【００７７】
バッファ１０６は、初期化部３０１、第１差分算出部３０４、第２差分算出部３０９、第３差分算出部３１１に接続されている。初期化部３０１は第１バッファ３０２（第１記憶部）、第２バッファ３０３（第２記憶部）に接続されている。
【００７８】
第２バッファ３０３は、第１差分算出部３０４、合成部１０８に接続されている。第１差分算出部３０４は、第１ノイズ低減部３０７に接続されている。第１ノイズ低減部３０７は、第１転送制御部３０８に接続されている。第１転送制御部３０８は、第１バッファ３０２に接続されている。第１バッファ３０２は、第２差分算出部３０９、第３差分算出部３１１、合成部１０８に接続されている。第２差分算出部３０９は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は、第３差分算出部３１１に接続されている。第３差分算出部３１１は第２転送制御部３１２に接続されている。第２転送制御部３１２は第２バッファ３０３に接続されている。
【００７９】
成分分離部１０７では、バッファ１０６から各色信号に対する高周波成分（ウェーブレット係数）を取得し、高周波成分毎に第１成分、第２成分への分解を行う。この分解は、所定のノイズ低減処理、差分算出処理の反復処理により行われる。制御部としてのシステムコントローラ１００は、ノイズ低減処理、差分算出処理の動作の繰り返しを制御する。
【００８０】
本実施形態において、第１バッファ３０２が第１成分を保持するバッファメモリ、第２バッファ３０３が第２成分を保持するバッファメモリとなっている。ノイズ低減処理、差分処理を反復する度に、第１バッファ３０２、第２バッファ３０３に保持される第１成分、第２成分は随時更新され、分解精度が向上し、最適化がなされる。所定の反復回数Ｌに達した段階で、第１バッファ３０２、第２バッファ３０３にそれぞれ記録された第１成分（後述のUki(L)）、第２成分（後述のVki(L)）は、合成部１０８へ転送される。
【００８１】
なお、本実施形態において、成分抽出補正装置の抽出部は、第１転送制御部３０８から構成されるが、これに限定されるものではない。例えば、最初の多段階コアリング処理に対しては、初期化部３０１が、抽出部として機能する。抽出部は、帯域信号を構成する複数の成分のうち第１成分（骨格成分）を抽出するものである。
【００８２】
また、本実施形態において、第１成分（骨格成分）を補正する第１の補正処理を行う第１補正部は、第１ノイズ低減部３０７から構成される。また、骨格成分以外の一の成分（第２成分）を補正する第２の補正処理を行う第２補正部は、第２ノイズ低減部３１０と第３差分算出部３１１から構成される。
【００８３】
以下に例として、色信号Ｆkに関する高周波成分Hki（ウェーブレット係数Ｈhvi、Ｈhi、Ｈvi）に対して、第１成分Uki(l)と第２成分Vki(l)を分離する場合について説明する。ここで、添字k（=r,g,b）は色を表す記号である。k=rはＲ信号、k=gはＧ信号、k=bはＢ信号を表す。添字i（i=0〜I）は多重解像度分解の段階数、l(l=0〜L)は反復回数を表す。
【００８４】
初めに、l=0の反復においては、第１成分を保持する第１バッファ３０２、第２成分を保持する第２バッファ３０３に対する初期化を行う。初期化部３０１は、バッファ１０６から色信号Fr、Fg、Fbに対する帯域信号のうち高周波成分Hri、Hgi、Hbiを取得する。初期化部３０１は取得した高周波成Hri、Hgi、Hbiを第１バッファ３０２へ転送し、第１バッファ３０２にこれを記録する。同時に初期化部３０１の制御により第２バッファの値を全て零にクリアする。
【００８５】
すなわち、初期化部３０１は、l=0の場合に、第１成分に対し高周波成分Hkiを、第２成分に対し零を初期値として代入し、初期化する機能を持つ。このように初期化することで、適切に第１成分と第２成分が計算できる。なお、l=0の場合に、初期化部３０１は、帯域信号を構成する複数の成分のうち第１成分（骨格成分）を抽出する抽出部として機能している。
【００８６】
次にl回目（l≠0）における成分抽出・補正処理の説明を行う。この処理は色信号毎に対し独立に行われるわけではない。１回の反復処理（例えばl回目の処理）において、全色信号（k=r,g,b）に対する処理が１回なされた後、次の反復処理（ｌ＋１回目の処理）が行われる。
【００８７】
まず、第１差分算出部３０４は、バッファ１０６より色信号Fkの高周波成分Hkiを、第２バッファ３０３より第２成分Vki(l-1)を取得し、式（１２）に基づき第１の差分成分S1ki(l)（第１の差分値）を算出する。なお、l=1の場合、Vki(l-1) =Vki(0)=0である。
【００８８】
【数１２】
【００８９】
算出した第１の差分成分S1ki(l)は、第１ノイズ低減部３０７へ転送される。
【００９０】
第１ノイズ低減部３０７は、第１の差分成分S1ki(l)に対し、色信号間の色和、色差を考慮した複数のコアリング範囲を持つ多段階コアリング処理を行う。第１ノイズ低減部３０７の処理の詳細は後述する。なお、後述するように、ここでの多段階コアリングは、Ｍ回反復して行ってもよい。
【００９１】
多段階コアリング処理後の第１の差分成分S1ki(l)'は、第１転送制御部３０８の制御により、第１バッファ３０２へ転送される。この差分成分S1ki(l)'を、第１成分Uki(l)として、第１バッファ３０２に記録されている第１成分Uki(l-1)に上書きすることにより、第１成分が補正・更新される（Uki(l)= S1ki(l)'）。なお、l=1の場合、Uki(l-1)=Uki(0)= Hkiである。
【００９２】
次に、第２差分算出部３０９は、バッファ１０６より高周波成分Hkiを、第１バッファ３０２より第１成分Uki(l)を取得し、式（１３）に基づき第２の差分成分S2ki(l)（第２の差分値）を算出する。
【００９３】
【数１３】
【００９４】
算出した第２の差分成分S2ki(l)は第２ノイズ低減部３１０へ転送される。
【００９５】
第２ノイズ低減部３１０では第２の差分成分S2ki(l)に対し、コアリング範囲を１つ持つ一般的なコアリング処理（軟判定閾値処理）を行う。ここで、コアリング処理後の第２の差分成分をS2ki(l)'とする。後述するように、コアリング処理後の第２の差分成分S2ki(l)'を指標値とも呼ぶ。第２ノイズ低減部３１０の処理の詳細は後述する。
【００９６】
次に、第３差分算出部３１１は、バッファ１０６より高周波成分Hkiを、第１バッファ３０２より第１成分Uki(l)を、第２ノイズ低減３１０よりコアリング処理後の第２の差分成分S2ki(l)'を取得する。第３差分算出部３１１は、式（１４）に基づき第３の差分成分S3ki(l) （第３の差分値）を算出する。
【００９７】
【数１４】
【００９８】
第３の差分成分S3i(l)は、第２ノイズ低減部３１０がコアリング処理により第２の差分成分S2i(l)から除去したノイズ分に相当する。第３差分算出部３１１にて算出された第３の差分成分S3ki(l)は、第２転送制御部３１２の制御により、第２バッファ３０３へ転送される。この差分成分S3ki(l)を、第２成分Vki(l)として、バッファに記録されている第２成分Vki(l-1)に上書きすることにより、第２成分が補正・更新される（Vki(l)= S3ki(l)）。なお、l=1の場合、Vki(l-1)= Vki(0)= 0である。
【００９９】
なお、第２の差分成分S2ki(l)'に依存して第２成分Vki(l)（=S3ki(l)）が変化するため、第２の差分成分S2ki(l)'を第２成分を定める指標値と呼ぶ。
【０１００】
以上の処理は各色信号（k=r,g,b）に関して適用される。ｌ回目の反復において、全色信号に関して処理が完了した時点でｌ回目の反復が完了する。
【０１０１】
反復回数がＬ回目に達した場合、第１バッファ３０２、及び第２バッファ３０３に保持される第１成分Uki(L)、第２成分Vki(L)を最終的な出力とし、合成部１０８へ転送する。
【０１０２】
なお、本実施形態においては反復回数を所定回数Ｌに予め設定したが、分解精度に応じて可変とする構成としても良い。例えば、ｌ回目の第１成分Uki(l)とl-1回目のUki(l-1)との差分の絶対値、またはｌ回目の第１成分Vki(l)とl-1回目のVki(l-1)との差分の絶対値が所定の閾値以下となった場合に、反復処理を停止する構成としてもよい。これにより、反復による第１成分又は第２成分変化がほとんどなくなった場合に、反復処理を停止する。
【０１０３】
なお、本実施形態においては、反復処理を行っているが、l=0回目の初期化処理以降の反復処理を行わず、l=1回目の処理のみ行う構成としても良い。
【０１０４】
第１ノイズ低減部３０７
次に、図４を参照して、第１ノイズ低減部３０７の動作の詳細について説明する。
【０１０５】
第１ノイズ低減部３０７は、バッファ４０１、初期化部４０２、変換関数規定部４０３、範囲特定部４０４、加算・減算部４０５、置換部４０６、データ転送制御部４０７、バッファ４０８を含んでいる。
【０１０６】
第１差分算出部３０４は、初期化部４０２を介してバッファ４０１に接続されている。バッファ４０１は、初期化部４０２、範囲特定部４０４に接続されている。初期化部４０２はバッファ４０８に接続されている。変換関数規定部４０３は範囲特定部４０４、加算・減算部４０５、置換部４０６に接続されている。範囲特定部４０４は加算・減算部４０５、置換部４０６に接続されている。加算・減算部４０５、置換部４０６はデータ転送制御部４０７を介してバッファ４０８へ接続されている。バッファ４０８は変換関数規定部４０３、第１転送制御部３０８へ接続されている。
【０１０７】
第１ノイズ低減部３０７では、第１差分算出部３０４から転送された前述の差分信号に対する多段階コアリング処理を行う。多段階コアリング処理は、複数のコアリング範囲が設定された変換関数に基づき入力信号を所定の出力値に変換するものである。複数のコアリング範囲は、下限閾値、上限閾値の複数の組により定められ、各コアリング範囲に対応する出力値が定められている。
【０１０８】
変換関数のコアリング範囲は、処理対象の色信号に関する入力信号のみならず、処理対象外の色信号も用いて設定される。また、成分分解処理と同様に、多段階コアリング処理においても反復処理を行う構成となっている。処理の反復により多段階コアリング（ノイズ低減）の結果は随時更新され、所定の反復回数Ｍに達した時点で最終的な出力となる。また、１回の反復において、Ｒ，Ｇ，Ｂ信号毎に各１回多段階コアリング処理が行われた後、次の反復処理が行われる構成となっている。
【０１０９】
以下に例として、各色信号の高周波成分Hri、Hgi、Hbiに関する第１の差分信号Sri、Sgi、Sbiに対し、多段階コアリング処理（ノイズ低減処理）がなされる場合を説明する。ここで、Sri、Sgi、Sbiは、多段階コアリング処理前の第１の差分成分S1ri(l) S1gi(l) S1bi(l)に相当する（Sri=S1ri(l)、Sgi=S1gi(l)、Sbi=S1bi(l)）。
【０１１０】
ｍ回目の多段階コアリング処理により、差分信号Sri(m) 、Sgi(m) 、Sbi(m)が生成する。ここで、添字r、g、bはＲ信号、Ｇ信号、Ｂ信号を表しており、添字i（i=0〜I）は多重解像度分解の段階数、m(m=0〜M)は、多段階コアリング処理の反復回数を表す。
【０１１１】
はじめに、m=0の反復においては、バッファ４０１、バッファ４０８の初期化を行う。即ち、第１差分算出部３０４から初期化部４０２へ転送された差分信号Sri、Sgi、Sbiを、m=0回目の反復における差分信号Sri(0)、Sgi(0)、Sbi(0)として、バッファ４０１、バッファ４０８へ記録する。
【０１１２】
次に、m回目（m≠0）における処理の説明を行う。ここで１回の反復における色信号の処理の順番に特に制約はないが、本実施形態においては、Ｒ→Ｇ→Ｂ信号の順に各回の多段階コアリングを行うこととする。
【０１１３】
まず、変換関数規定部４０３は、バッファ４０１から取得した処理対象の色信号に関するm=0回目における差分信号Sri(0)、Sgi(0)、Sbi(0)を取得する。また、変換関数規定部４０３は、バッファ４０８から取得した処理対象外の色信号に関するm-1回目、あるいはm回目の反復処理により生成された差分信号を取得する。本実施形態においては、Ｒ信号に関する多段階コアリング処理の場合、変換関数規定部４０３は、差分信号Sri(0)、Sgi(m-1)、Sbi(m-1)を取得する。Ｇ信号に関する多段階コアリング処理の場合、変換関数規定部４０３は、差分信号Sgi(0)、Sri(m)、Sbi(m-1)を取得する。Ｂ信号に関する多段階コアリング処理の場合、変換関数規定部４０３は、差分信号Sbi(0)、Sri(m)、Sgi(m)を取得する。
【０１１４】
上記のように取得した差分信号と予め設定された所定のパラメータα、β、λに基づきコアリングに適用される変換関数を規定する。ここで、αは色信号間の信号値の差分が大きい場合に、ノイズ低減の度合いが大きくなるよう調整するパラメータである。βは色信号間の信号値の加算値が大きい場合に、ノイズ低減の度合いが大きくなるよう調整するパラメータである。
【０１１５】
以降では、コアリングの処理対象をＧ信号とし、Ｇ信号に対する変換関数を規定する場合についてのみ説明する。コアリングの処理対象がＲ信号の場合は、｛Sgi(0)、Sri(m)、Sbi(m-1)｝を｛Sri(0)、Sgi(m-1)、Sbi(m-1)｝に置換えて変換関数を規定すればよい。コアリングの処理対象がＢ信号の場合は、｛Sgi(0)、Sri(m)、Sbi(m-1)｝を｛Sbi(0)、Sri(m)、Sgi(m)｝に置換えて変換関数を規定すればよい。
【０１１６】
初めに、Sri(m)とSbi(m-1)を比較する。Sri(m)とSbi(m-1)の符号が一致し、Sri(m)>0、Sbi(m-1)>0、Sri(m)> Sbi(m-1)の場合は、例えば式（１５）のような複数の区間Wj（j=0〜10）から構成される折線関数に、変換関数を規定する。図５（a）に式（１５）により規定される変換関数を示す。
【０１１７】
【数１５】
【０１１８】
ここで、区間Wj（j=0〜10）は、Sgi(0)に関する区間である。Tbj、Tujは、区間Wjの下限値、上限値を、Sgi(m)は出力値を表している。下限値、上限値Tbj、Tujと出力値Sgi(m)は、α、β、λ、及びSgi(0)、Sri(m)、Sbi(m-1)に基づいて算出される。区間Wj（j=0〜10）は、反復回数ｍの値に応じて、変化する。
【０１１９】
また、区間W1,W3,W5,W7のように、出力が一定値の区間は、コアリング範囲区間と定義される。変換関数内には複数のコアリング範囲区間が設定される。変換関数は連続しており、また、コアリング範囲区間以外の非コアリング範囲区間における関数の傾きは１に固定されている。このため、コアリング範囲区間における下限値、上限値、及び出力値がわかれば、非コアリング範囲区間における出力値も一意に算出することが可能である。また、非コアリング範囲区間において、傾きは１であるため、変換関数と一次関数Sgi(m)= Sgi(0)との差分は一定値となる。
【０１２０】
Sri(m)>0、Sbi(m-1)>0、Sri(m)< Sbi(m-1)の場合は, 式（１５）において、Sbi(m-1)をSri(m)に、 Sri(m)をSbi(m-1)に置換して、コアリング範囲区間、及び出力値を算出できる。
【０１２１】
Sri(m)<0、Sbi(m-1)<0、|Sri(m)|>|Sbi(m-1)|の場合は, 式（１５）において、Sbi(m-1)を-Sbi(m-1)に、Sri(m)を- Sri(m)に、αをβに、βをαに置換することにより、コアリング範囲区間、及び出力値を算出できる。
【０１２２】
Sri(m)<0、Sbi(m-1)<0, |Sri(m)|<|Sbi(m-1)|の場合は, 式（１５）において、Sbi(m-1)を-Sri(m)に、Sri(m)を-Sbi(m-1)に、αをβに、βをαに置換することにより、コアリング範囲区間、及び出力値を算出できる。
【０１２３】
Sri(m)とSbi(m-1)の符号が一致せず、Sri(m)>0、Sbi(m-1)<0、 |Sri(m)|>|Sbi(m-1)|の場合は、変換関数を、例えば式（１６）のように規定する。図５（b）に式（１６）により規定される変換関数を示す。
【０１２４】
【数１６】
【０１２５】
また、Sri(m)>0、Sbi(m-1)<0、|Sri(m)|<|Sbi(m-1)|の場合は, 式（１６）において、Sri(m)を-Sbi(m-1)、-Sbi(m-1)をSri(m)に、αをβに、βをαに置換することによりコアリング範囲区間、及び出力値を算出できる。
【０１２６】
Sri(m)<0、Sbi(m-1)>0、|Sri(m)|>|Sbi(m-1)|の場合は、式（１６）において、-Sbi(m-1)をSbi(m-1)に、Sri(m)を-Sri(m)に、αをβに、βをαに置換することによりコアリング範囲区間、及び出力値を算出できる。
【０１２７】
Sri(m)<0、Sbi(m-1)>0、|Sri(m)|<|Sbi(m-1)|の場合は、式（１６）において、Sri(m)をSbi(m-1)に、-Sbi(m-1)を-Sri(m)に置換することによりコアリング範囲区間、及び出力値を算出できる。
【０１２８】
他のSri(m)、Sbi(m-1)に対するコアリングの変換関数については、Sgi(0)の変換関数に対し、Sri(m)、Sgi(0)、Sbi(m-1)を入れ替えれば容易にSri(m)、またはSbi(m-1)に対する変換関数が算出可能である。
【０１２９】
本実施形態においては、第１ノイズ低減部３０７における変換関数規定のため、コアリング範囲区間に関する下限値、上限値、及び出力値が、変換関数規定部４０３から範囲特定部４０４へ転送される。また、非コアリング範囲区間における下限値、上限値、及び、非コアリング範囲区間における変換関数と上記一次関数Sgi(m)= Sgi(0)との差分が、変換関数規定部４０３から範囲特定部４０４へ転送される。
【０１３０】
次に、範囲特定部４０４は、変換関数規定部４０３にて設定された変換関数（コアリング範囲区間に対する下限値、上限値）、及びバッファ４０１より差分信号Sgi(0)を取得する。範囲特定部４０４は、差分信号Sgi(0)の値とコアリング範囲区間の下限値、上限値とを比較する。差分信号Sgi(0)の値がコアリング範囲区間に属する場合は、差分信号Sgi(0)の信号値は、置換部４０６へ転送される。差分信号Sgi(0)の値がコアリング範囲区間外に属する場合は、差分信号Sgi(0)の信号値は、加算・減算部４０５へ転送される。
【０１３１】
置換部４０６では、差分信号Sgi(0)の信号値が所属するコアリング範囲区間に対応する出力値を変換関数規定部４０３から取得し、その出力値を差分信号の信号値として置換する。置換された信号値は、データ転送制御部４０７の制御により、バッファ４０８へ転送される。上記の出力値は、バッファ４０８上の差分信号Sgi(m-1)上に差分信号Sgi(m)の信号値として上書きされる。即ち、差分信号Sgi(0)の信号値が所属するコアリング範囲区間に対応する出力値が、差分信号Sgi(m)の信号値になる。
【０１３２】
加算・減算部４０５では、変換関数規定部４０３から上述の非コアリング範囲区間における変換関数と上記一次関数Sgi(m)= Sgi(0)との差分を取得し、その差分を差分信号Sgi(0)の信号値に対し加算する。加算された信号値は、データ転送制御部４０７の制御により、バッファ４０８へ転送される。加算された信号値は、バッファ上の差分信号Sgi(m-1)上に差分信号Sgi(m)の信号値として上書きされる。
【０１３３】
以上の処理を、Ｒ→Ｇ→Ｂ信号に関する差分信号に対し、順番に適用する。各色信号に対し、各１回ずつ多段階コアリング処理を行うことで、１回の反復処理を終了する。
【０１３４】
反復処理がＭ回行われた時点で、バッファ４０８に記録されたSri(M)、Sgi(M)、Sbi(M)は、第１転送制御部３０８の制御により第１バッファ３０２へ転送され、第１成分Uri(l)、Ugi(l)、Ubi(l)として記録される。なお、Sri(M)、Sgi(M)、Sbi(M)は、前述の多段階コアリング処理後の第１の差分成分S1ri(l)'、S1gi(l)'、S1bi(l)'に相当する。
【０１３５】
なお、本実施形態においては、反復処理を行っているが、m=0回目の初期化処理以降の反復処理を行わず、m=1回目の処理のみ行う構成としても良い。
【０１３６】
第２ノイズ低減部３１０
次に、図６を参照して、第２ノイズ低減部３１０の動作の詳細について説明する。
【０１３７】
第２ノイズ低減部３１０は、範囲特定部５０２、加算・減算部５０３、置換部５０４を含んでいる。第２差分算出部３０９は範囲特定部５０２に接続されている。範囲特定部５０２は、加算・減算部５０３、置換部５０４に接続されている。加算部・減算部５０３、置換部５０４は、第３差分算出部３１１に接続されている。
【０１３８】
第２ノイズ低減部３１０では、第２差分算出部３０９から転送された前述の第２の差分信号S2ki(l)に対するコアリング処理（軟判定閾値処理）を行う。多段階コアリング処理とは異なり、コアリング範囲が一つ設定された変換関数に基づき、第２ノイズ低減部３１０への入力信号は所定の値に変換される。また、本実施形態において、軟判定閾値処理は反復されず、一回のみ行われるが、これに限定されない。
【０１３９】
以下に例として、各色信号の高周波成分Hiに関する差分信号Siに対し、ノイズ低減処理がなされた差分信号Si'を生成する場合について説明する。ここで添字i（i=0〜I）は多重解像度分解の段階数を表す。ここで、Siは、前述の多段階コアリング処理前の第２の差分成分S2ki(l)に相当する。Si'は、多段階コアリング処理後の第２の差分成分S2ki(l)'に相当する（Si=S2ki(l)、Si'= S2ki(l)'）。
【０１４０】
はじめに、範囲特定部５０２は、第２差分算出部３０９から差分信号Siを取得する。コアリング処理における変換関数は、例えば式（１７）のような複数の区間Wj（j=0〜2）で構成される折線関数により規定される。
ここで、Tbj、Tujは区間Wjの下限値、上限値を表し、Si'は出力値を表している。区間W1が-Th〜Thの範囲で設定されたコアリング範囲を表している。図７に式（１７）により規定される変換関数を示す。
【０１４１】
【数１７】
【０１４２】
まず、範囲特定部５０２は、第２差分算出部３０９より差分信号Si（= S2ki(l)）を取得する。範囲特定部５０２は、差分信号Siの値とコアリング範囲区間の下限値、上限値と比較する。差分信号Siがコアリング範囲区間に属する場合は、差分信号Siの信号値を置換部５０４へ転送する。差分信号Siがコアリング範囲区間外に属する場合は、差分信号Siの信号値を加算・減算部５０３へ転送する。
【０１４３】
置換部５０４では、差分信号Siの信号値が所属するコアリング範囲区間に対応する出力値0を、差分信号の信号値として置換する。置換された信号値は、Si'（=S2ki(l)'）として、第３差分算出部３１１へ転送される。
【０１４４】
加算・減算部５０３は、式（１７）に示す変換関数に基づき、Th < Siの場合、Si-Thを算出し、Si<-Thの場合、Si+Thを算出する。加算・減算部５０３は、Si-Th又はSi+Thを、Si'（=S2ki(l)'）として、第３差分算出部３１１へ転送する。
【０１４５】
多重解像度合成部１０８
次に、図８を参照して、多重解像度合成部１０８の作用について説明する。
【０１４６】
合成部１０８は、データ読取部６００と、切換部６０１と、アップサンプラ６０２と、アップサンプラ６０３と、アップサンプラ６０４と、アップサンプラ６０５とを含む。また、合成部１０８は、垂直ハイパスフィルタ６０６と、垂直ローパスフィルタ６０７と、垂直ハイパスフィルタ６０８と、垂直ローパスフィルタ６０９と、アップサンプラ６１０と、アップサンプラ６１１とを含む。さらに、合成部１０８は、水平ハイパスフィルタ６１２と、水平ローパスフィルタ６１３と、バッファ６１４と、データ転送制御部６１５と、基底関数ＲＯＭ６１６と、フィルタ係数読取部６１７と、を含む。
【０１４７】
成分分離部１０７は、データ読取部６００を介して切換部６０１へ接続されている。切換部６０１は、アップサンプラ６０２とアップサンプラ６０３とアップサンプラ６０４とアップサンプラ６０５とへそれぞれ接続されている。アップサンプラ６０２は、垂直ハイパスフィルタ６０６へ、アップサンプラ６０３は、垂直ローパスフィルタ６０７へそれぞれ接続されている。アップサンプラ６０４は、垂直ハイパスフィルタ６０８へ、アップサンプラ６０５は、垂直ローパスフィルタ６０９へ、それぞれ接続されている。垂直ハイパスフィルタ６０６と垂直ローパスフィルタ６０７とは、アップサンプラ６１０へそれぞれ接続されている。垂直ハイパスフィルタ６０８と垂直ローパスフィルタ６０９とは、アップサンプラ６１１へそれぞれ接続されている。アップサンプラ６１０は、水平ハイパスフィルタ６１２へ、アップサンプラ６１１は、水平ローパスフィルタ６１３へ、それぞれ接続されている。水平ハイパスフィルタ６１２と水平ローパスフィルタ６１３とは、バッファ６１４へそれぞれ接続されている。
【０１４８】
バッファ６１４は、第１信号処理部１０９、第２信号処理部１１０、及びデータ転送制御部６１５へそれぞれ接続されている。データ転送制御部６１５は、切換部６０１へ接続されている。基底関数ＲＯＭ６１６は、フィルタ係数読取部６１７へ接続されている。フィルタ係数読取部６１７は、垂直ハイパスフィルタ６０６、６０８と垂直ローパスフィルタ６０７、６０９と水平ハイパスフィルタ６１２と水平ローパスフィルタ６１３とへそれぞれ接続されている。
【０１４９】
基底関数ＲＯＭ６１６には、Harr関数やDaubechies関数などの逆ウェーブレット変換に用いられるフィルタ係数が記録されている。本実施形態においては、分解部１０５に対応してHarrの基底関数を用いる。
【０１５０】
フィルタ係数読取部６１７は、基底関数ＲＯＭ６１６からフィルタ係数を読み込んで、垂直ハイパスフィルタ６０６、垂直ハイパスフィルタ６０８、水平ハイパスフィルタ６１２へハイパスフィルタ係数を転送する。また、フィルタ係数読取部６１７は、垂直ローパスフィルタ６０７、垂直ローパスフィルタ６０９、水平ローパスフィルタ６１３へローパスフィルタ係数を、それぞれ転送する。各ハイパスフィルタと各ローパスフィルタに転送されたフィルタ係数が設定される。
【０１５１】
合成部１０８は、分解部１０５からバッファ１０６を介して低周波成分を読み込み、成分分離部１０７から各高周波成分Hki（Ｈhv"i、Ｈh"i、Ｈv"i）に含まれる第１成分Uki(L)、第２成分Vki(L)を読み込む。
【０１５２】
合成部１０８は、低周波成分、及び各高周波成分に含まれる第１成分Uki(L)に基づき、原画像信号Fに対する第１成分U（=Ur,Ub,Ug)を生成する。また、各高周波成分に含まれる第２成分Vki(L)に基づき、原画像信号Fに対する第２成分V（=Vr,Vb,Vg)を生成する。
【０１５３】
本実施形態においては、各高周波成分に含まれる各第１成分をＨhv"i、Ｈh"i、Ｈv"i、低周波成分をLLiと表し、原画像信号Fに対する第１成分Uを生成する場合について説明する。なお、第２成分Vの合成時においてLLiは０に設定する。即ち第２成分Vの合成では、高周波成分のみを用いる。合成した原画像信号Fに対する第１成分U、及び第２成分Vは、それぞれ第１信号処理部１０９、及び第２信号処理部１１０へ転送される。
【０１５４】
切換部６０１は、高周波成分Ｈhv"iをアップサンプラ６０２を介して垂直ハイパスフィルタ６０６へ、高周波成分Ｈh"iをアップサンプラ６０３を介して垂直ローパスフィルタ６０７へそれぞれ転送する。また、切換部６０１は、高周波成分Ｈv"iをアップサンプラ６０４を介して垂直ハイパスフィルタ６０８へ、低周波成分LLiをアップサンプラ６０５を介して垂直ローパスフィルタ６０９へ、それぞれ転送する。各フィルタ６０６−６０９は、垂直方向のフィルタリング処理を実行する。
【０１５５】
さらに、垂直ハイパスフィルタ６０６および垂直ローパスフィルタ６０７からの周波数成分は、アップサンプラ６１０を介して水平ハイパスフィルタ６１２へ、それぞれ転送される。垂直ハイパスフィルタ６０８および垂直ローパスフィルタ６０９からの周波数成分は、アップサンプラ６１１を介して水平ローパスフィルタ６１３へ、それぞれ転送される。各フィルタ６１２、６１３は、水平方向のフィルタリング処理を行う。水平ハイパスフィルタ６１２および水平ローパスフィルタ６１３からの周波数成分は、バッファ６１４へ転送されて一つに合成されることにより、補正処理がなされた低周波成分LL"i-1が生成される。
【０１５６】
ここで、アップサンプラ６０２、アップサンプラ６０３、アップサンプラ６０４、アップサンプラ６０５は、入力周波数成分を垂直方向に２倍にアップサンプリングする。アップサンプラ６１０、アップサンプラ６１１は、入力周波数成分を水平方向に２倍にアップサンプリングする。
【０１５７】
データ転送制御部６１５は、バッファ６１４から低周波成分LL"i-1を読み出して、読み出した低周波成分LL"i-1を切換部６０１へ転送する。
【０１５８】
また、データ読取部６００は、成分分離部１０７から補正処理がなされた三種類の高周波成分ＨＨv"i-1，Ｈh"i-1，Ｈv"i-1を読み込んで、切換部６０１へ転送する。
【０１５９】
その後、分解の段階数i-1の周波数成分に対して、上述と同様のフィルタリング処理がなされ、低周波成分LL"i-2がバッファ６１４へ出力される。このような過程は、所定のI段階の合成が行われるまで反復される。こうしてバッファ６１４には、最終的に、補正処理がなされた低周波成分LL”0が出力される。
【０１６０】
低周波成分LL”0は、低周波成分、及び高周波成分に含まれる第１成分に基づき生成した場合には、原画像信号Fに対する第１成分Uに相当する。低周波成分LL”0は、高周波成分に含まれる第２成分に基づき生成した場合には、原画像信号Fに対する第２成分Vに相当する。
【０１６１】
なお、本実施形態では、第1ノイズ低減部３０７、第２ノイズ低減部３１０において、多段階コアリング処理、軟判定閾値処理によるノイズ低減を行っているが、これに限定されるものではなく、他の所定のノイズ低減処理に代替可能である。例えば線形フィルタ、非線形フィルタ処理（メディアンフィルタ、バイラテラルフィルタ、非線形拡散型フィルタ）や、他の様々な変換関数によるＳｈｒｉｎｋａｇｅ処理による、適応的な平滑化処理を行っても良い。
【０１６２】
また、本実施形態では第２ノイズ低減部３１０はウェーブレット係数に対する軟判定閾値処理を行い帯域信号別に第２成分Ｖを求めたが、原空間における軟判定閾値処理により直接原画像信号Ｆに対する第２成分を求めても良い。すなわち、本実施形態と同様に求めた各帯域信号に対する第１成分Ｕと、第２の差分成分を逆ウェーブレット変換して、原画像信号Ｆに対する第１成分Ｕと、第２の差分成分を算出し、原画像信号に対する第２の差分成分に対して軟判定閾値処理を行い、軟判定閾値処理後の第２の差分信号と原画像信号に対する第１成分Ｕを原画像信号Ｆから減算した、原画像信号に対する第３の差分信号を、原画像信号に対する第２成分とする構成としても良い。
【０１６３】
また、原画像信号に対する第２成分を再度ウェーブレット変換して帯域信号に対する第２成分を算出することで、上記ウェーブレット領域での多段階コアリング処理、原空間での軟判定閾値処理を反復処理する構成としても良い。
【０１６４】
―作用効果―
次に、第１の実施形態の作用効果について説明する。
【０１６５】
分解部１０５は、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する。成分分離部１０７は、帯域信号に対して大局的な構造を表す第１成分（骨格成分）と局所的な構造を表す第２成分（骨格成分以外の一の成分）を分離する。成分分離部１０７において、第１ノイズ低減部３０７を含む第１補正部は、帯域信号と第２成分とを用いて第１成分を補正する第１の補正処理を行う。成分分離部１０７において、第２ノイズ低減部３１０と第３差分算出部３１１を含む第２補正部は、帯域信号と補正された第１成分を用いて第２成分を補正する第２の補正処理を行う。
【０１６６】
このような第１の補正処理と第２の補正処理の組み合わせにより、第２成分を用いて第１成分を、第１成分を用いて第２成分を補正するため、高速に精度良く第１成分と第２成分を計算できる。システムコントローラ１００（制御部）は、第１の補正処理および第２の補正処理の繰り返し動作を制御する。第１の補正処理と第２の補正処理を繰り返すことにより、第１補正部は、第２の補正処理により得た補正された第２成分を用いて、第１の補正処理を行う。このため、逐次近似的にさらに精度良く第１成分と第２成分を計算できる。
【０１６７】
また、帯域信号から第２成分を減じて得た第１の差分値（S1ki(l)）を用いて第１の補正処理を行うため、帯域信号に対する第２成分の残差に基づいて得られる第１成分を好適に求められる。帯域信号から補正した第１成分を減じて得た第２の差分値（S2ki(l)）を用いて第２の補正処理を行うため、帯域信号に対する第１成分の残差に基づいて得られる第２成分を好適に求められる。
【０１６８】
第２補正部は、第２の差分値（S2ki(l)）と所定の閾値(Th)を比較することで得た指標値（S2ki(l)'）を算出し、第２の差分値から指標値を減じて得た第３の差分値（S3ki(l)）を補正後の第２成分とする。このため、指標値に基づくコアリング処理により、逐次近似的に成分分離のための変分問題の最適解としての第２成分を高速かつ精度良く求められる。
【０１６９】
抽出部（例えば第１転送制御部３０８からなる）は、第１成分（骨格成分）を帯域信号ごとに抽出し、第１補正部は、帯域信号ごとに抽出された第１成分を帯域信号ごとに補正する。原画像信号ではなく帯域信号ごとに第１成分を分離する構成としたため、帯域信号ごとに例えばコアリング処理を利用でき、第１成分の成分分離を高速かつ精度良く行える。さらに、多重解像度合成部１０８は、帯域信号ごとに補正された第１成分を複数の周波数帯域にわたって合成することで、帯域信号からなる原画像信号の大局的な構造を示す第１成分を生成する。これにより、原画像信号の大局的な構造を示す成分を精度よく生成できる。
【０１７０】
第２補正部は、帯域信号ごとに補正された第１成分を用いて帯域信号ごとに第２成分を補正する。原画像信号ではなく帯域信号ごとに第２成分を分離する構成としたため、例えば、帯域信号ごとのコアリング処理等を利用でき、第２成分の成分分離を高速かつ精度良く行える。多重解像度合成部１０８は、帯域信号ごとに補正された第２成分を複数の周波数帯域にわたって合成することで、帯域信号からなる原画像信号の局所的な構造を示す成分を生成する。これにより、原画像信号の局所的な構造を示す成分を精度よく生成できる。
【０１７１】
分解部１０５は、複数の帯域信号を色信号ごとに生成するため、カラー原画像信号も扱うことができる。第１補正部は、帯域信号から第２成分を減じて得た第１の差分値に対して、複数のコアリング範囲を設定する。さらに、第１補正部は、この第１の差分値に対して複数のコアリング範囲に基づきコアリング処理を行った結果を補正された第１成分（骨格成分）とする。これにより、第１補正部は、多段階コアリング処理により、カラー原画像信号に対して色差色和を考慮した第１成分の補正ができ、精度良く第１成分を求められる。
【０１７２】
第２補正部は、帯域信号から補正された第１成分を減じて得た第２の差分値に対して、単一のコアリング範囲を設定する。さらに、第２補正部は、この第２の差分値に対して、単一のコアリング範囲に基づきコアリング処理を行った結果に応じて第２成分を補正する。これにより、第２補正部は、コアリング処理により第２成分を補正でき、高速かつ精度良く第２成分を求められる。
【０１７３】
第１補正部は、補正された第１成分が平坦成分とエッジ成分を含むよう第１成分を補正するため、大局的な構造を示すものとして第１成分を帯域信号から分離できる。
【０１７４】
＜第１の実施形態の変形例＞
上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０２からの原画像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録する。さらに、撮像条件などの付随情報（例えば、ISO感度などの撮像条件など）をRawデータのヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０１７５】
図９を参照して、画像処理プログラム（成分抽出補正プログラム）による処理のメインルーチンを説明する。
【０１７６】
最初に、Raw画像や、露光条件、画像処理条件などのヘッダ情報を読み込むとともに、Raw画像に基づき所定の補間処理により、３色の色信号で構成される原画像信号Fを生成する。（ステップＳ０１）。次に、原画像信号Fを分解の段階数ｉの解像度分解を行い、高周波成分と低周波成分とを取得する（ステップＳ０２）。
【０１７７】
次に、分解の段階数を示す変数ｉを０に初期化する（ステップＳ０３）。次に、分解の段階数iを１増分する（ステップＳ０４）。次に、反復処理の繰返し回数を示す変数lを０に初期化する（ステップＳ０５）。
【０１７８】
次に、第１成分を保持するための第１バッファと、第２成分を保持するための第２バッファの初期化を行う（ステップＳ０６）。次に、繰返し回数lを１増分する（ステップＳ０７）。次に、色信号を表す変数k（k=rの場合Ｒ信号、k=gの場合Ｇ信号、k=bの場合Ｂ信号）をrとし、処理対象の色信号を設定する（ステップＳ０８）。
【０１７９】
次に、式（１２）に基づく第１の差分成分を算出する（ステップＳ０９）。次に、ステップＳ０９にて算出した第１の差分成分に対し、式（１５）、式（１６）に基づく多段階コアリング処理を行う（ステップＳ１０）。次に、ステップＳ１０の結果を第１バッファに上書き記録することで、第１成分を更新してUki(l)の値を設定する（ステップＳ１１）。
【０１８０】
次に、式（１３）に基づく第２の差分成分を算出する（ステップＳ１２）。次に、ステップＳ１２にて算出した第２の差分成分に対し、式（１７）に基づくコアリング処理（軟判定閾値処理）を行う（ステップＳ１３）。次に、式（１４）に基づく第３の差分成分を算出する（ステップＳ１４）。次に、ステップＳ１４の結果を第２バッファに上書き記録することで、第２成分を更新してVki(l)の値を設定する（ステップＳ１５）。
【０１８１】
次に、ｋを参照し、全ての色信号Ｒ、Ｇ、Ｂに対して処理が行われたかを判定する（ステップＳ１６）。全ての色信号Ｒ、Ｇ、Ｂに対して処理が完了していない場合、ステップＳ１７で色信号を表す変数kを次のもの（g又はｂ）に更新し、ステップＳ０９へ戻り、処理を繰り返す。全ての色信号Ｒ、Ｇ、Ｂに対して処理が完了した場合、ステップＳ１８へ進む。
【０１８２】
次に、ｌを参照し、反復回数を判定する。ｌが予め設定された所定の反復回数Ｌに達した場合、ステップＳ１９へ進む。ｌがＬ未満の場合、ステップＳ０７へ戻り、処理を繰り返す（ステップＳ１８）。
【０１８３】
次に、iを参照し、iが予め設定された所定の多重解像度レベルＩに達した場合、ステップＳ２０へ進む。iがＩ以下の場合、ステップＳ０４へ戻り、処理を繰り返す（ステップＳ１９）。
【０１８４】
次に、低周波成分と高周波成分に含まれる第１成分、及び高周波成分に含まれる第２成分とを用いて、Ｉ段階の多重解像度合成を行い、原画像信号に対する第１成分U（=Ur,Ub,Ug)、及び第２成分V（=Vr,Vb,Vg)を生成する（ステップＳ２０）。
【０１８５】
次に、第１成分U、及び第２成分Vそれぞれに対し、所定の信号処理を行う（ステップＳ２１）。次に、信号処理された第１成分U'と第２成分V'を合成するよう成分合成処理を行う（ステップＳ２２）。最後に公知の圧縮処理などを行った後、出力し、一連の処理を終了する。
【０１８６】
この第１の実施形態の変形例も、第１の実施形態の前述した作用効果が得られるが、特別なハードウェアを必要とせず簡便に成分抽出補正処理が行える利点がある。
【０１８７】
＜第２の実施形態＞
図１０を参照して、本発明の第２の実施形態に係る成分抽出補正装置ついて説明する。第２の実施形態に係る成分抽出補正装置は、第１の実施形態と異なり、モノクロ（単色又は白黒）の原画像信号に適した構成を有する。なお、第１の実施形態と同様の構成の部分には、同じ符号を付し、第１の実施形態と異なる構成について主に説明する。
【０１８８】
第２の実施形態に係る成分抽出補正装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第２の実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。
【０１８９】
撮像装置は、システムコントローラ１００、光学系１０１、撮像素子１０００、A/D変換部１０３（以下、単にA/Dと呼ぶ）、多重解像度分解部１０５（単に、分解部とも呼ぶ）を備える。さらに、撮像装置は、バッファ１０６、成分分離部１００１、多重解像度合成部１０８（単に、合成部とも呼ぶ）、第１信号処理部１０９、第２信号処理部１１０、成分合成部１１１、出力部１１２を備える。上記各部を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成してもよい。本実施形態の成分抽出補正装置は、分解部１０５、成分分離部１００１等から構成される。
【０１９０】
撮像素子１０００は、A/D１０３を介して分解部１０５に接続されている。分解部１０５は、バッファ１０６を介して成分分離部１００１へ接続されている。成分分離部１００１は、合成部１０８へ接続されている。合成部１０８は、第１信号処理部１０９、及び第２信号処理部１１０を介して成分合成部１１１へ接続されている。成分合成部１１１は、出力部１１２へ接続されている。各処理部はシステムコントローラ１００に接続しており、システムコントローラ１００により動作を制御される。
【０１９１】
本実施形態において、撮像素子１０００は、モノクロ用撮像素子である。撮像素子１０００は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０００面上に結像した光学像をアナログ画像信号として出力する。アナログ画像信号は、A/D１０３へ転送される。A/D１０３は、アナログ画像信号をデジタル信号に変換し、分解部１０５へ転送する。
【０１９２】
分解部１０５は、第１の実施形態と同様の処理により、モノクロ（単色又は白黒）の原画像信号Fに対し所定のI段階の多重解像度分解を行う。分解部１０５は、分解の段階数iの高周波成分、低周波成分を生成し、バッファ１０６へ記録する。ここで、Iは１以上の整数であり、iは１以上I以下の整数である。
【０１９３】
成分分離部１００１は、各高周波成分を、各高周波成分に含まれる第１成分と第２成分に分解する。成分分離部１００１では、高周波成分に対しコアリング処理（軟判定閾値処理）と差分算出処理により構成される分解アルゴリズムが反復的に適用される。第２の実施形態は、第１の実施形態で行った多段階のコアリング処理を、単一のコアリング範囲を有するコアリング処理（軟判定閾値処理）に置換した構成となっている。所定回数の反復がなされた後の第１成分、第２成分を合成部１０８へ転送する。成分分解処理の詳細は後述する。
【０１９４】
以降の処理は、処理対象を色信号から単色又は白黒のモノクロ信号に置換えた第１の実施形態と同様である。即ち、合成部１０８における多重解像度合成処理は、第１の実施形態と同様に行われる。第１信号処理部１０９での第１成分に対する信号処理、第２信号処理部１１０での第２成分に対する信号処理も、第１の実施形態と同様に行われる。成分合成部１１１における合成処理、出力部１１２における処理も、第１の実施形態と同様に行われる。
【０１９５】
成分分離部１００１
次に、図１１を参照して、成分分離部１０７の動作の詳細について説明する。
【０１９６】
成分分離部１００１は、初期化部３０１、第１バッファ３０２、第２バッファ３０３、第１差分算出部３０４、第１転送制御部３０８を含んでいる。さらに、成分分離部１０７は、第２差分算出部３０９、第２ノイズ低減部３１０、第３差分算出部３１１、第２転送制御部３１２を含んでいる。
【０１９７】
バッファ１０６は、初期化部３０１、第１差分算出部３０４、第２差分算出部３０９、第３差分算出部３１１に接続されている。初期化部３０１は、第１バッファ３０２、第２バッファ３０３に接続されている。第２バッファ３０３は、第１差分算出部３０４、合成部１０８に接続されている。第１差分算出部３０４は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は、第１転送制御部３０８に接続されている。
【０１９８】
第１転送制御部３０８は、第１バッファ３０２に接続されている。第１バッファ３０２は、第２差分算出部３０９、第３差分算出部３１１、合成部１０８に接続されている。第２差分算出部３０９は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は、第３差分算出部３１１に接続されている。第３差分算出部３１１は、第２転送制御部３１２に接続されている。第２転送制御部３１２は、第２バッファ３０３に接続されている。
【０１９９】
成分分離部１００１は、バッファ１０６から高周波成分を取得し、高周波成分毎に第１成分、第２成分への分解を行う。第１の実施形態と同様にコアリングによるノイズ低減処理と、差分算出処理の反復により分解精度が最適化される。
【０２００】
第１の実施形態では、第１ノイズ低減部３０７において多段階コアリング処理を行った。しかし、第２の実施形態では、第１ノイズ低減部３０７における多段階コアリング処理は、第２ノイズ低減部３１０で行われるコアリング処理（軟判定閾値処理）に置き換えられている。これは、第２の実施形態では、原画像信号Fがモノクロであるためである。このため、第２の実施形態では、第２ノイズ低減部３１０が、第１成分Ui(l)を補正・更新する第１補正部に相当する。
【０２０１】
以下に例として、原画像信号Fに関する高周波成分Hiに対し、第１成分Ui(l)、第２成分Vi(l)に分離する場合について説明する。ここで、添字i（i=0〜I）は多重解像度分解の段階数、l(l=0〜L)は反復回数を表す。
【０２０２】
初めに、l=0の反復においては、第１成分を保持する第１バッファ３０２、第２成分を保持する第２バッファ３０３に対する初期化のみ行う。初期化部３０１はバッファ１０６から原画像信号Fに対する高周波成分Hiを取得する。初期化部３０１は取得した高周波成分Hiを第１バッファ３０２へ転送し、第１バッファ３０２はこれを記録する。同時に初期化部３０１の制御により第２バッファの値を全て零にクリアする。
【０２０３】
次にl回目（l≠0）における処理を行う。まず、第１差分算出部３０４は、バッファ１０６より原画像信号Fの高周波成分Hiを、第２バッファ３０３より、第２成分Vi(l-1)を取得し、式（１８）に基づき第１の差分成分S1i(l)（第１の差分値）を算出する。なお、l=1の場合、Vi(l-1) =Vi(0)=0である。
【０２０４】
【数１８】
【０２０５】
算出した第１の差分成分S1i(l)は、第２ノイズ低減部３１０へ転送される。
【０２０６】
第２ノイズ低減部３１０では第１の差分成分S1i(l)に対し、式（１７）に基づくコアリング処理（軟判定閾値処理）を行う。コアリング処理後の第１の差分成分S1i(l)'は、第１転送制御部３０８の制御により、第１バッファ３０２へ転送される。コアリング処理後の第１の差分成分S1i(l)'を、第１成分Ui(l)として、バッファに記録されている第１成分Ui(l-1)に上書きすることにより、第１成分が補正・更新される（Ui(l)= S1i(l)'）。なお、l=1の場合、Ui(l-1)=Ui(0)= Hiである。
【０２０７】
次に、第２差分算出部３０９は、バッファ１０６より高周波成分Hiを、第１バッファ３０２より第１成分Ui(l)を取得し、式（１９）に基づき第２の差分成分S2i(l)（第２の差分値）を算出する。
【０２０８】
【数１９】
【０２０９】
算出した第２の差分成分S2i(l)は第２ノイズ低減部３１０へ転送される。第２ノイズ低減部３１０は、第２の差分成分S2i(l)に対し、式（１７）に基づくコアリング処理（軟判定閾値処理）を行う。
【０２１０】
次に、第３差分算出部３１１は、バッファ１０６より高周波成分Hiを、第１バッファ３０２より第１成分Ui(l)を、第２ノイズ低減３１０よりコアリング処理後の第２の差分成分S2i(l)'を取得する。第３差分算出部３１１は、式（２０）に基づき第３の差分成分S3i(l)（第３の差分値）を算出する。
【０２１１】
【数２０】
【０２１２】
第３の差分成分S3i(l)は、第２ノイズ低減部３１０がコアリング処理により第２の差分成分S2i(l)から除去したノイズ分に相当する。第３差分算出部３１１にて算出された第３の差分成分S3i(l)は、第２転送制御部３１２の制御により、第２バッファ３０３へ転送される。この第３の差分成分S3i(l)は、第２成分Vi(l)として、第２バッファ３０３に記録されている第２成分Vi(l-1)に上書きされることにより、第２成分が補正・更新される（Vi(l)= S3i(l)）。なお、l=1の場合、Vi(l-1)= Vi(0)= 0である。
【０２１３】
以上のようにl回目の反復において、高周波成分Hiは第１成分Ui(l)、第２成分Vi(l)に分解される。反復回数がＬ回目に達した場合、第１バッファ３０２に保持される第１成分Ui(L)、及び、第２バッファ３０３に保持される第２成分Vi(L)を最終的な出力とし、合成部１０８へ転送する。
【０２１４】
第２の実施形態も、第１の実施形態と同様の作用効果が得られる。ただし、第２の実施形態は、モノクロの原画像信号に適した構成となっており、多段階コアリング処理は、単一のコアリング範囲を有する通常のコアリング処理に置き換えられている。このため、第１の実施形態に比較して、成分分離部の構成が単純化できる。
【０２１５】
＜第２の実施形態の変形例＞
上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば撮像素子１０００からの原画像信号を未処理のままメモリカード等の記録媒体に記録する。さらに、撮像条件などの付随情報（例えば、ISO感度などの撮像条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０２１６】
図１２を参照して、画像処理プログラム（成分抽出補正プログラム）による処理のメインルーチンを説明する。
【０２１７】
最初に、原画像信号Fや、露光条件、画像処理条件などのヘッダ情報を読み込む（ステップＳ２３）。次に、原画像信号を分解の段階数ｉの解像度分解を行い、高周波成分と低周波成分とを取得する（ステップＳ０２）。
【０２１８】
次に、分解の段階数を示す変数ｉを０に初期化する（ステップＳ０３）。次に、分解の段階数iを１増分する（ステップＳ０４）。次に、反復処理の繰返し回数を示す変数lを０に初期化する（ステップＳ０５）。次に、第１成分を保持するための第１バッファと、第２成分を保持するための第２バッファの初期化を行う（ステップＳ０６）。次に、繰返し回数lを１増分する（ステップＳ０７）。
【０２１９】
次に、式（１８）に基づいて、第１の差分成分S1i(l)を算出する（ステップＳ２４）。次に、ステップＳ２４にて算出した第１の差分成分S1i(l)に対し、式（１７）に基づいて、単一のコアリング範囲を有するコアリング処理（軟判定閾値処理）を行う（ステップＳ２５）。次に、ステップＳ２５の結果S1i(l)'を第１バッファに上書き記録することで、第１成分を更新する（ステップＳ１１）。
【０２２０】
次に、式（１９）に基づく第２の差分成分S2i(l)を算出する（ステップＳ２６）。次に、ステップＳ２６にて算出した第２の差分成分S2i(l)に対し、式（１７）に基づいて、単一のコアリング範囲を有するコアリング処理（軟判定閾値処理）を行う（ステップＳ１３）。
【０２２１】
次に、式（２０）に基づいて第３の差分成分S3i(l)を算出する（ステップＳ２７）。次に、ステップＳ２７の結果S3i(l)を第２バッファに上書き記録することで、第２成分を更新する（ステップＳ１５）。
【０２２２】
次に、ｌを参照し、反復回数を判定する。ｌが予め設定された所定の反復回数Ｌに達した場合、ステップＳ１９へ進む。ｌがＬ未満の場合、ステップＳ０７へ戻り、処理を繰り返す（ステップＳ１８）。
【０２２３】
次に、iを参照し、iが予め設定された所定の多重解像度レベルＩに達した場合、ステップＳ２０へ進む。iがＩ以下の場合、ステップＳ０４へ戻り、処理を繰り返す（ステップＳ１９）。
【０２２４】
次に、低周波成分と高周波成分に含まれる第１成分、及び高周波成分に含まれる第２成分とを用いて、Ｉ段階の多重解像度合成を行い、原画像信号Fに対する第１成分U、及び第２成分Vを生成する（ステップＳ２０）。次に、第１成分Uと第２成分Vそれぞれに対し、所定の信号処理を行う（ステップＳ２１）。次に、信号処理された第１成分U'と第２成分V'の合成処理を行う（ステップＳ２２）。最後に公知の圧縮処理などを行った後、出力し、一連の処理を終了する。
【０２２５】
この第２の実施形態の変形例も、第２の実施形態の作用効果が得られるが、さらに特別なハードウェアを必要とせず簡便に成分抽出補正処理が行える利点がある。
【０２２６】
＜第３の実施形態＞
図１４を参照して、本発明の第３の実施形態に係る成分抽出補正装置ついて説明する。なお、第３の実施形態に係る成分抽出補正装置は、第１の実施形態と同様の構成の部分には、同じ符号を付し、第１の実施形態と異なる構成について主に説明する。
【０２２７】
第３の実施形態に係る成分抽出補正装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第３の実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。
【０２２８】
撮像装置は、システムコントローラ１００（制御部）、光学系１０１、撮像素子１０２、A/D１０３、補間部１０４、成分分離部１５０１、第１信号処理部１０９、第２信号処理部１１０、成分合成部１１１、出力部１１２を備える。上記各部を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成してもよい。本実施形態の成分抽出補正装置は成分分離部１５０１から構成される。
【０２２９】
撮像素子１０２は、A/D１０３を介して補間部１０４へ接続されている。補間部１０４は、成分分離部１５０１へ接続されている。成分分離部１５０１は、第１信号処理部１０９、及び第２信号処理部１１０を介して成分合成部１１１へ接続されている。成分合成部１１１は出力部１１２へ接続されている。各処理部はシステムコントローラ１００に接続しており、システムコントローラ１００により動作を制御される。
【０２３０】
撮像素子１０２は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０２面上に結像した光学像をアナログ画像信号として出力する。
【０２３１】
アナログ画像信号は、A/D１０３へ転送される。A/D１０３は、アナログ画像信号をデジタル信号に変換し、補間部１０４へ転送する。
【０２３２】
補間部１０４は、デジタル信号に対し、所定のデモザイク処理を施し、カラー三板画像信号（以下、原画像信号Fと呼ぶ）を生成する。本実施形態において、原画像信号Fは、R（赤）、G（緑）、B（青）の色信号により構成されている。以降、R（赤）、G（緑）、B（青）の色信号をそれぞれFr、Fg、Fbと呼ぶこととする。原画像信号Fは、成分分離部１５０１へ転送される。
【０２３３】
成分分離部１５０１は、原画像信号Ｆを第１成分、及び第２成分に分解する。第１の実施形態においては、多重解像度分解処理により生成された各高周波成分に対し、第１ノイズ低減部３０７による第１の補正処理により第１成分、第２ノイズ低減部３１０と第３差分算出部３１１による第２の補正処理により第２成分を生成した後、それぞれの成分を各周波数帯域に渡り合成することで、原画像信号Ｆに対する第１成分、及び第２成分を生成した。
【０２３４】
本実施形態においては、多重解像度分解処理により生成した各高周波成分に対し、第１ノイズ低減部３０７による多段階コアリング処理により、各高周波成分に対する第１成分を生成する。この第１成分を各周波数帯域に渡り合成することで原画像信号に対する第１成分を生成した後、原画像信号と原画像信号に対する第１成分との差分信号を算出する。算出した差分信号に対し第２ノイズ低減部３１０による軟判定閾値処理を行うことで、原画像信号に対する第２成分を生成する。なお、成分分離の詳細は後述する。生成した第１成分Uは、第１信号処理部１０９へ、第２成分Vは第２信号処理部１１０へ転送される。
【０２３５】
第１信号処理部１０９は、合成部１０８から原画像信号Fに対する第１成分Uを読み込み、所定の信号処理を実施する。本実施形態では、原画像信号Fに対する第１成分Uに対し、階調変換を実施する。階調変換後の第１成分U'は、成分合成部１１１へ転送される。第１信号処理部１０９は、その他、γ補正等の階調変換を行ってもよい。
【０２３６】
第２信号処理部１１０は、合成部１０８から第２成分Vを読み込み、所定の信号処理を実施する。本実施形態では、第２成分Vに対しノイズ低減処理、及びゲインの乗算による鮮鋭化処理を行う。処理後の第２成分V'は成分合成部１１１へ転送される。
【０２３７】
成分合成部１１１は、第１信号処理部１０９で処理された第１成分U’、及び第２信号処理部１１０で処理された第２成分V’とを所定の比率で合成し、合成成分F'を得る。所定の比率は、例えば1:1の比率である。合成成分F'は出力部１１２へ転送され、フラッシュメモリ等で構成される記憶メディアへ記録される。
【０２３８】
次に、図１５を参照して、成分分離部１５０１の動作の詳細について説明する。
【０２３９】
成分分離部１５０１は、バッファ１５０２、初期化部３０１、第１バッファ３０２、第２バッファ３０３、第１差分算出部１５０３、多重解像度分解部１０５、第１ノイズ低減部３０７、多重解像度合成部１０８、第１転送制御部３０８、第１バッファ３０２、第２差分算出部１５０４、第２ノイズ低減部３１０、第２転送制御部３１２を含んでいる。
【０２４０】
補間部１０４はバッファ１５０２に接続されている。バッファ１５０２は、初期化部３０１、第１差分算出部１５０３、第２差分算出部１５０４に接続されている。初期化部３０１は第１バッファ３０２（第１記憶部）、第２バッファ３０３（第２記憶部）に接続されている。
【０２４１】
第２バッファ３０３は、第１差分算出部１５０３、第２信号処理部１１０に接続されている。第１差分算出部１５０３は、多重解像度分解部１０５に接続されている。多重解像度分解部１０５は第１ノイズ低減部３０７、多重解像度合成部１０８に接続されている。第１ノイズ低減部３０７は、多重解像度合成部１０８に接続されている。多重解像度合成部１０８は第１転送制御部３０８に接続されている。第１転送制御部３０８は、第１バッファ３０２に接続されている。第１バッファ３０２は、第２差分算出部１５０４、第１信号処理部１０９に接続されている。第２差分算出部１５０４は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は第２転送制御部３１２に接続されている。第２転送制御部３１２は第２バッファ３０３に接続されている。
【０２４２】
成分分離部１５０１では、補間部１０４から各色信号に対する原画像信号を取得し、第１成分、第２成分への分解を行う。この分解は、所定のノイズ低減処理、差分算出処理の反復処理により行われる。制御部としてのシステムコントローラ１００は、ノイズ低減処理、差分算出処理の動作の繰り返しを制御する。
【０２４３】
本実施形態において、バッファ１５０２が原画像信号を保持するバッファメモリ、第１バッファ３０２が第１成分を保持するバッファメモリ、第２バッファ３０３が第２成分を保持するバッファメモリとなっている。
【０２４４】
ノイズ低減処理、差分処理を反復する度に、第１バッファ３０２、第２バッファ３０３に保持される第１成分、第２成分は随時更新され、分解精度が向上し、最適化がなされる。所定の反復回数Ｌに達した段階で、第１バッファ３０２、第２バッファ３０３にそれぞれ記録された第１成分（後述のUk(L)）、第２成分（後述のVk(L)）は、それぞれ第１信号処理部１０９、第２信号処理部１１０へ転送される。
【０２４５】
なお、本実施形態において、成分抽出補正装置の抽出部は、第１差分算出部１５０３から構成されるが、これに限定されるものではない。例えば、最初の多段階コアリング処理に対しては、初期化部３０１と第１差分算出部１５０３が、抽出部として機能する。本実施形態において、抽出部は、原画像信号のうち補正前の第１成分（骨格成分）、即ち原画像信号から第２成分を減算した差分成分を抽出するものである。
【０２４６】
また、本実施形態において、第１成分（骨格成分）を補正する第１の補正処理を行う第１補正部は、第１ノイズ低減部３０７から構成される。また、骨格成分以外の一の成分（第２成分）を補正する第２の補正処理を行う第２補正部は、第２ノイズ低減部３１０から構成される。ただし第１の実施形態において第２ノイズ低減部３１０は多重解像度分解に基づく帯域信号（高周波成分）に対し処理を行っていたが、本実施形態においては原画像信号から、原画像信号に対する第１成分を減算した差分成分に対する処理となっている。
【０２４７】
以下に例として、色信号Ｆkに対して、第１成分Uk(l)と第２成分Vk(l)に分離する場合について説明する。ここで、添字k（=r,g,b）は色を表す記号である。k=rはＲ信号、k=gはＧ信号、k=bはＢ信号を表す。l(l=0〜L)は反復回数を表す。また、補間部１０４により生成した色信号Ｆkは予めバッファ１５０２へ記録される。
【０２４８】
初めに、l=0の反復においては、第１成分を保持する第１バッファ３０２、第２成分を保持する第２バッファ３０３に対する初期化を行う。初期化部３０１は、バッファ１５０２から色信号Fr、Fg、Fbを取得し、第１バッファ３０２にこれを記録する。同時に初期化部３０１の制御により第２バッファの値を全て零にクリアする。
【０２４９】
このように初期化することで、適切に第１成分と第２成分が計算できる。なお、l=0の場合に、初期化部３０１と第１差分算出部１５０３は、帯域信号を構成する複数の成分のうち第１成分（骨格成分）を抽出する抽出部として機能している。
【０２５０】
次にl回目（l≠0）における成分抽出・補正処理の説明を行う。この処理は色信号毎に対し独立に行われるわけではない。１回の反復処理（例えばl回目の処理）において、全色信号（k=r,g,b）に対する処理が１回なされた後、次の反復処理（ｌ＋１回目の処理）が行われる。
【０２５１】
まず、第１差分算出部１５０３は、バッファ１５０２より色信号Fkを、第２バッファ３０３より第２成分Vk(l-1)を取得し、式（２１）に基づき第１の差分成分S1k(l) （第１の差分値）を算出する。
【０２５２】
【数２１】
【０２５３】
算出した第１の差分成分S1k(l)は、多重解像度分解部１０５へ転送される。多重解像度分解部１０５ではS1k(l)を第１の実施形態と同様に複数の周波数帯域に分解する。分解した第１の差分成分の周波数成分のうち、高周波成分S1ki(l)を第１ノイズ低減部３０７へ、低周波成分（直流成分）を多重解像度合成部１０８へ転送する。ここで添字i（i=0〜I）は多重解像度分解の段階数を表す。
【０２５４】
第１ノイズ低減部３０７は、第１の差分成分の高周波成分S1ki(l)に対し、第１の実施形態と同様の手法により色信号間の色和、色差を考慮した複数のコアリング範囲を持つ多段階コアリング処理を行う。多段階コアリング処理後の第１の差分成分の高周波成分S1ki(l)'は、多重解像度合成部１０８へ転送される。多段階コアリング処理は全ての段階i（i=0〜I）における高周波成分S1ki(l)に対して行われる。多重解像度合成部１０８では、多重解像度分解部１０５、及び第１ノイズ低減部３０７からの、第１の差分成分の低周波成分（直流成分）、及び多段階コアリング後の高周波成分S1ki(l)'に基づき、第１の実施形態と同様の処理により多重解像度合成処理を行う。合成した成分は第１転送制御部３０８の制御により、第１成分Uk(l)として、第１バッファ３０２に記録されている第１成分Uk(l-1)に上書きすることにより、第１成分が補正・更新される。
【０２５５】
次に、第２差分算出部１５０４は、バッファ１５０２より原画像信号Fkを、第１バッファ３０２より第１成分Uk(l)を取得し、式（２２）に基づき第２の差分成分S2k(l) （第２の差分値）を算出する。
【０２５６】
【数２２】
【０２５７】
算出した第２の差分成分S2k(l)は第２ノイズ低減部３１０へ転送される。
【０２５８】
第２ノイズ低減部３１０では第２の差分成分S2k(l)に対し、第１の実施形態と同様の手法により、コアリング範囲を１つ持つ一般的なコアリング処理（軟判定閾値処理）を行う。ただし、コアリング対象の信号は第１の実施形態とは異なり、原空間における原画像信号Ｆと第１成分Ｕとの差分信号であるため、原画像信号Ｆの画素と同じ個数分だけ画素毎にコアリング処理を行えば良い。コアリング処理後の差分成分S2k(l)'は第２転送制御部３１２の制御により、第２バッファ３０３へ転送される。この差分成分を、第２成分Vk(l)として、バッファに記録されている第２成分Vk(l-1)に上書きすることにより、第２成分が補正・更新される（Vk(l)= S2k(l)'）。
【０２５９】
以上の処理は各色信号（k=r,g,b）に関して適用される。ｌ回目の反復において、全色信号に関して処理が完了した時点でｌ回目の反復が完了する。
【０２６０】
反復回数がＬ回目に達した場合、第１バッファ３０２、及び第２バッファ３０３に保持される第１成分Uk(L)、第２成分Vk(L)が、最終的な出力として、それぞれ第１信号処理部１０９、第２信号処理部１１０へ転送される。
【０２６１】
なお、本実施形態においては反復回数を所定回数Ｌに予め設定したが、分解精度に応じて可変とする構成としても良い。例えば、ｌ回目の第１成分Uki(l)とl-1回目のUki(l-1)との差分の絶対値、またはｌ回目の第１成分Vk(l)とl-1回目のVk(l-1)との差分の絶対値が所定の閾値以下となった場合に、反復処理を停止する構成としてもよい。これにより、反復による第１成分又は第２成分変化がほとんどなくなった場合に、反復処理を停止する。
【０２６２】
なお、本実施形態においては、反復処理を行っているが、l=0回目の初期化処理以降の反復処理を行わず、l=1回目の処理のみ行う構成としても良い。
【０２６３】
第３の実施形態も、第１の実施形態と同様の作用効果が得られる。ただし、第３の実施形態における第１成分の補正処理（第１ノイズ低減部３０７における多段階コアリング処理）は多重解像度分解に基づく第１の差分成分（S1ki(l)）の各高周波成分に対する処理であり、第２成分の補正処理（第２ノイズ低減部３１０における軟判定閾値処理）は第２の差分成分（S2k(l)）に対する処理となっている。第２成分の補正処理は、多重解像度領域ではなく、原空間領域での処理となっており、第１の実施形態と比較し第２成分を記録する第２バッファ３０３のバッファ容量を抑えることができる。（第１の実施形態では、多重解像度の段階数に応じて、帯域信号に対する第２成分の記録用の第２バッファ３０３のバッファ容量が増えることになる。）
【０２６４】
なお、本実施形態では、第１の実施形態と同様に第1ノイズ低減部３０７、第２ノイズ低減部３１０において、多段階コアリング処理、軟判定閾値処理によるノイズ低減を行っているが、これに限定されるものではなく、他の所定のノイズ低減処理に代替可能である。例えば線形フィルタ、非線形フィルタ処理（メディアンフィルタ、バイラテラルフィルタ、非線形拡散型フィルタ）や、他の様々な変換関数によるＳｈｒｉｎｋａｇｅ処理による、適応的な平滑化処理を行っても良い。
【０２６５】
例えば、第1ノイズ低減部３０７における多段階コアリング処理を、第２ノイズ低減部３１０における軟判定閾値処理と置換える（第２ノイズ低減部３１０において、第１、第２の差分成分に対する軟判定閾値処理を行う）ことで、処理構成を簡便にすることが可能である。
【０２６６】
なお、本実施形態では、Harr基底による直交ウェーブレット変換を行っているが、第１の実施形態と同様に、双直交ウェーブレット基底等も含め、全てのウェーブレット基底が適用可能である。また、サブサンプリングを行わないタイプの（各レベルの各ウェーブレット係数が入力画素と同じ数になるよう）冗長性を持たせたウェーブレット変換（Stationary wavelet transform等）を適用することも可能である。
【０２６７】
＜第３の実施形態の変形例＞
上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０２からの原画像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録する。さらに、撮像条件などの付随情報（例えば、ISO感度などの撮像条件など）をRawデータのヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０２６８】
図１６を参照して、画像処理プログラム（成分抽出補正プログラム）による処理のメインルーチンを説明する。
【０２６９】
最初に、Raw画像や、露光条件、画像処理条件などのヘッダ情報を読み込むとともに、Raw画像に基づき所定の補間処理により、３色の色信号で構成される原画像信号Fを生成する。（ステップＳ０１）。
【０２７０】
次に、反復処理の繰返し回数を示す変数lを０に初期化する（ステップＳ０５）。次に、第１成分を保持するための第１バッファと、第２成分を保持するための第２バッファの初期化を行う（ステップＳ０６）。次に、繰返し回数lを１増分する（ステップＳ０７）。
【０２７１】
次に、式（２１）に基づいて第１の差分成分を算出する（ステップＳ２８）。次に、第１の差分成分に対し分解の段階数Ｉの多重解像度度分解を行い、高周波成分と低周波成分とを取得する（ステップＳ２９）。次に、ステップＳ２９にて算出した高周波成分に対し、多段階コアリング処理を行う（ステップＳ１０）。
【０２７２】
次に、第１の差分成分の低周波成分と多段階コアリング処理後の高周波成分を用いて、Ｉ段階の多重解像度合成を行い、原画像信号に対する第１成分Uを生成する（ステップＳ３０）。次に、ステップＳ３０の結果を第１バッファに上書き記録することで、第１成分を更新してUk(l)の値を設定する（ステップＳ１１）。
【０２７３】
次に、式（２２）に基づく第２の差分成分を算出する（ステップＳ３１）。次に、ステップＳ３１にて算出した第２の差分成分に対し、コアリング処理（軟判定閾値処理）を行う（ステップＳ１３）。次に、ステップＳ１３の結果を第２バッファに上書き記録することで、第２成分を更新してVk(l)の値を設定する（ステップＳ１５）。
【０２７４】
次に、ｌを参照し、反復回数を判定する。ｌが予め設定された所定の反復回数Ｌに達した場合、ステップＳ２１へ進む。ｌがＬ未満の場合、ステップＳ０７へ戻り、処理を繰り返す（ステップＳ１８）。
【０２７５】
次に、第１成分U、及び第２成分Vそれぞれに対し、所定の信号処理を行う（ステップＳ２１）。次に、信号処理された第１成分U'と第２成分V'を合成するよう成分合成処理を行う（ステップＳ２２）。最後に公知の圧縮処理などを行った後、出力し、一連の処理を終了する。
【０２７６】
この第３の実施形態の変形例も、第３の実施形態と同様の作用効果が得られるが、特別なハードウェアを必要とせず簡便に成分抽出補正処理が行える利点がある。
【０２７７】
本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【図面の簡単な説明】
【０２７８】
【図１】第１の実施形態に係る成分抽出補正装置を搭載した撮像用電子機器の構成図である。
【図２】第１の実施形態に係る多重解像度分解部の構成図である。
【図３】第１の実施形態に係る成分分離部の構成図である。
【図４】第１の実施形態に係る第1ノイズ低減部の構成図である。
【図５】多段階コアリング処理の変換関数を示す図である。
【図６】第１の実施形態に係る第２ノイズ低減部の構成図である。
【図７】コアリング処理（軟判定閾値処理）の変換関数を示す図である。
【図８】第１の実施形態に係る多重解像度合成部の構成図である。
【図９】第１の実施形態の変形例に係る処理を示すフローチャートである。
【図１０】第２の実施形態に係る成分抽出補正装置を搭載した撮像用電子機器の構成図である。
【図１１】第２の実施形態に係る成分分離部の構成図である。
【図１２】第２の実施形態の変形例に係る処理を示すフローチャートである。
【図１３】（ａ）原画像信号の例と原画像の例を示す図である。（ｂ）骨格成分の例と、その画像例を示す図である。（ｃ）骨格成分以外の成分の例と、その成分画像の例を示す図である。
【図１４】第３の実施形態に係る成分抽出補正装置を搭載した撮像用電子機器の構成図である。
【図１５】第３の実施形態に係る成分分離部の構成図である。
【図１６】第３の実施形態の変形例に係る処理を示すフローチャートである。
【符号の説明】
【０２７９】
１０５ 分解部
３０１ 初期化部
３０４ 第１差分算出部
３０７ 第１ノイズ低減部
３０８ 第１転送制御部
３０９ 第２差分算出部
３１０ 第２ノイズ低減部
３１１ 第３差分算出部
３１２ 第２転送制御部
【技術分野】
【０００１】
本発明は、画像信号から成分を抽出し補正する成分抽出補正装置、成分抽出補正方法、成分抽出補正プログラム、又は成分抽出補正装置を搭載する電子機器に関する。
【背景技術】
【０００２】
従来、原画像信号Fを、骨格成分（幾何学的画像構造）と骨格成分以外の成分とに分解して抽出する方法が開示されている（非特許文献１参照）。骨格成分は、大局的な構造を表す成分であり、平坦成分（緩やかに変化する成分）とエッジ成分を含む。骨格成分以外の成分は、局所的な構造を表す成分であり、テクスチャのような細かい構造成分とノイズから構成される。
【０００３】
画像分解の手法には、加算型分離と乗算型分離がある。加算型分離では、原画像信号Fが式（１）で示すように、第１成分Uと第２成分Vの和として表される。
【０００４】
【数１】
【０００５】
第１成分Uは、骨格成分である。骨格成分以外の第２成分Vは、テクスチャ成分とノイズを含み、原画像信号Fに対する第１成分Uの残差成分として定義される。
【０００６】
有界変動関数とノルムを用いた分解方法が使用される。分解を行うために、非特許文献１に記載のＡ２ＢＣ変分モデル(Aujol-Aubert-Blanc- Feraud-Chambolle model)を用いる。最適解として求められる第１成分Uの性質は、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間ＢＶ(Bounded Variation Function Space)としてモデル化される。第１成分Uのエネルギーは全変動エネルギーとして、式（２）のＴＶ(Total Variation)ノルムJ(U)で定義される。
【０００７】
【数２】
【０００８】
ただし、式（２）において、ｘは第１成分Uの横方向の画素位置であり、ｙは縦方向の画素位置である。
【０００９】
一方、式（１）中の第２成分Vの関数空間は、振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式（３）のように表現された関数の空間であり、そのエネルギーは式（４）のGノルム‖Ｖ‖Gとして定義される。
【００１０】
【数３】
【００１１】
原画像信号Fの分解問題は、エネルギー汎関数を最小化する式（５）の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。
【００１２】
【数４】
【００１３】
原画像信号Fから分解される第２成分Vはノイズの影響を受ける。しかし、第１成分Uはノイズの影響をほとんど受けないため、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
【００１４】
乗算型分離では、原画像信号Fが第１成分Uと第２成分Vの積によって式（６）のように表されるが、原画像信号Fを対数変換した対数原画像信号をｆとすると、式（７）のように加算型分離問題に変換することができる。
【００１５】
【数５】
【非特許文献１】Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher, "Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection", International Journal of Computer Vision, Volume 67, Issue 1, (April 2006) Pages: 111 - 136 Year of Publication: 2006
【非特許文献２】相澤,石井,小松,齋藤,“TV-L1非線形画像分解による信号依存性雑音の除去”,映像メディア処理シンポジウム2007,I-4.15,Oct.2007.
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかし、上記の変分問題を解き、骨格成分と骨格成分以外の成分の分離を高速かつ精度良く行う方法は十分に確立されていなかった。
【００１７】
本発明は、原画像信号から高速かつ精度良く骨格成分等の成分を取得することを目的とする。
【課題を解決するための手段】
【００１８】
本発明のある態様に係る成分抽出補正装置は、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解部と、前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出部と、前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正部と、前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正部と、を備えることを特徴とする。
【００１９】
本発明の別の態様に係る成分抽出補正方法は、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解ステップと、前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出ステップと、前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正ステップと、前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正ステップと、を含むことを特徴とする。
【００２０】
本発明のさらに別の態様に係る成分抽出補正プログラムは、コンピュータに、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解手順と、前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出手順と、前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正手順と、前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正手順と、を実行させることを特徴とする。
【００２１】
これら態様によれば、複数の成分のうち骨格成分以外の一の成分と帯域信号とを用いて、抽出された骨格成分を補正する第１の補正処理を行う。補正された骨格成分と帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う。
【００２２】
このような第１の補正処理と第２の補正処理の組み合わせにより、骨格成分以外の一の成分を用いて骨格成分を、骨格成分を用いてこの一の成分を補正する。このため、高速に精度良く骨格成分及び骨格成分以外の一の成分を取得できる。例えば、第１の補正処理と第２の補正処理を繰り返すことにより、逐次近似的にさらに精度良く骨格成分と骨格成分以外の一の成分を計算できる。
【００２３】
抽出部は、原画像信号ではなく帯域信号に含まれる骨格成分を抽出する。このため、簡易に骨格成分と骨格成分以外の一の成分の補正が行える。例えば、合成部が帯域信号ごとに補正された骨格成分を複数の周波数帯域にわたって合成することで、原画像信号に対して高速かつ精度良く骨格成分を取得できる。例えば、合成部が帯域信号ごとに前記補正された一の成分を複数の周波数帯域にわたって合成することで、原画像信号に対して高速かつ精度良く骨格成分以外の一の成分を取得できる。
【００２４】
本発明のさらに別の態様に係る成分抽出補正装置は、原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出部と、前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解部と、前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正部と、前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成部と、前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正部と、を備えることを特徴とする。
【００２５】
本発明のさらに別の態様に係る成分抽出補正方法は、原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出ステップと、前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解ステップと、前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正ステップと、前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成ステップと、前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正ステップと、を含むことを特徴とする。
【００２６】
本発明のさらに別の態様に係る成分抽出補正プログラムは、コンピュータに、原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出手順と、前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解手順と、前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正手順と、前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成手順と、前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正手順と、を実行させることを特徴とする。
【００２７】
これら態様によれば、帯域信号ごとの骨格成分を補正する第１の補正処理を行う。帯域信号ごとに補正された骨格成分を複数の周波数帯域にわたって合成し、原画像信号に対する骨格成分を生成する。原画像信号に対する骨格成分と原画像信号とを用いて、原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う。
【００２８】
このような第１の補正処理と第２の補正処理の組み合わせにより、高速に精度良く骨格成分及び骨格成分以外の一の成分を取得できる。例えば、第１の補正処理と第２の補正処理を繰り返すことにより、逐次近似的に精度良く骨格成分と骨格成分以外の一の成分を計算できる。
【００２９】
原画像信号ではなく帯域信号に含まれる骨格成分を補正するため、簡易に骨格成分の補正が行える。帯域信号ごとに補正された骨格成分を複数の周波数帯域にわたって合成することで、原画像信号に対して高速かつ精度良く骨格成分を取得できる。原画像信号に対する骨格成分と原画像信号とを用いて、原画像信号に対する骨格成分以外の一の成分を補正するため、原画像信号に対して骨格成分以外の一の成分を高速かつ精度良く取得できる。この場合、さらに、骨格成分以外の一の成分を記録するバッファの容量を抑えることができる。
【発明の効果】
【００３０】
本発明では、原画像信号から高速かつ精度良く骨格成分と骨格成分以外の一の成分を取得することができる。
【発明を実施するための最良の形態】
【００３１】
＜第１の実施形態＞
図１を参照して、本発明の第１の実施形態に係る成分抽出補正装置について説明する。なお、成分抽出補正装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第一実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。
【００３２】
撮像装置は、システムコントローラ１００（制御部）、光学系１０１、撮像素子１０２、A/D変換部１０３（以下、単にA/Dと呼ぶ）、補間部１０４、多重解像度分解部１０５（単に、分解部とも呼ぶ）を備える。さらに、撮像装置は、バッファ１０６、成分分離部１０７、多重解像度合成部１０８（単に、合成部とも呼ぶ）、第１信号処理部１０９、第２信号処理部１１０、成分合成部１１１、出力部１１２を備える。上記各部を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成してもよい。本実施形態の成分抽出補正装置は、多重解像度分解部１０５、成分分離部１０７等から構成される。
【００３３】
本実施形態に係る撮像装置において、原画像信号Fが成分分離され、第１成分U、第２成分Vが生成される。ここで、第１成分Uは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号の骨格成分（幾何学的画像構造）である。第２成分Vは、骨格成分以外の成分であり、原画像信号に対する第１成分Uの残差成分を表している。成分分離後、分離した成分毎に最適な処理を施し合成する。
【００３４】
図１３（ａ）に原画像信号Fのラインプロファイルの例と、原画像の例を示す。図１３（ｂ）に骨格成分のラインプロファイルの例と、その画像例を示す。図１３（ｃ）に骨格成分以外の成分のラインプロファイルの例と、その成分画像の例を示す。図１３（ｂ）のように、骨格成分（第１成分U）は、大局的な構造を表す成分である。大局的な構造は信号の特徴の概要部分を表すものであり、エッジ成分と、エッジによって区分された輝度変化の滑らかな領域の平坦成分（緩やかに変化する成分）から構成される。図１３（ｃ）のように、骨格成分以外の成分（第２成分V）は、局所的な構造を表す成分である。局所的な構造は信号の特徴の詳細部分を表すものであり、テクスチャのような細かい構造成分とノイズから構成される。
【００３５】
成分分離の手法には、加算型分離と乗算型分離がある。加算型分離では、原画像信号Fが前述の式(１)で示すように、第１成分Uと第２成分Vの和として表される（F=U+V）。
【００３６】
乗算型分離では、原画像信号Fが前述の式（６）で示すように、第１成分Uと第２成分Vの積によって表される（F=U*V）。しかし、原画像信号Fを対数変換して対数原画像信号fとすると、前述の式(７)のように加算型分離問題に変換することができる。
【００３７】
本実施形態においては加算型分離に関して説明を行い、乗算型分離に関する詳細な説明は省略する。なお、乗算型分離の場合、原画像信号の画素毎に対数変換した信号値に対し、加算型分離と同様の処理を施して成分分離した後、分離成分毎に逆対数変換を行えば式（６）に示す乗算型の分離処理が実現できる。
【００３８】
撮像素子１０２は、A/D１０３を介して補間部１０４へ接続されている。補間部１０４は、分解部１０５に接続されている。分解部１０５は、バッファ（バッファメモリ）１０６を介して、成分分離部１０７と合成部１０８へ接続されている。成分分離部１０７は、合成部１０８へ接続されている。合成部１０８は、第１信号処理部１０９、及び第２信号処理部１１０を介して成分合成部１１１へ接続されている。成分合成部１１１は出力部１１２へ接続されている。各処理部はシステムコントローラ１００に接続しており、システムコントローラ１００により動作を制御される。
【００３９】
撮像素子１０２は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０２面上に結像した光学像をアナログ画像信号として出力する。なお、本実施形態において、撮像素子１０２は、色フィルタアレイを前面に配置したカラー用撮像素子である。撮像素子１０２は、単板方式、多板方式のいずれでも良い。
【００４０】
アナログ画像信号は、A/D１０３へ転送される。A/D１０３は、アナログ画像信号をデジタル信号に変換し、補間部１０４へ転送する。
【００４１】
補間部１０４は、デジタル信号に対し、所定のデモザイク処理を施し、カラー三板画像信号（以下、原画像信号Fと呼ぶ）を生成する。本実施形態において、原画像信号Fは、R（赤）、G（緑）、B（青）の色信号により構成されている。以降、R（赤）、G（緑）、B（青）の色信号をそれぞれFr、Fg、Fbと呼ぶこととする。原画像信号Fは、分解部１０５（多重解像度分解部）へ転送される。
【００４２】
分解部１０５は、各色信号Fr、Fg、Fbに対して所定のI段階（Iは１以上の整数）の多重解像度分解を行い、各色信号を複数の周波数帯域に分解して複数の帯域信号を生成する。分解部１０５は、分解の段階数i（iは、１以上I以下の整数）ごとの高周波成分、低周波成分を生成し、バッファ１０６へ記録する。なお、多重解像度分解の詳細については後述する。
【００４３】
ここで本実施形態において、Harr基底による直交ウェーブレット変換を行っているが、双直交ウェーブレット基底等も含め、全てのウェーブレット基底が適用可能である。また、サブサンプリングを行わないタイプの（各レベルの各ウェーブレット係数が入力画素と同じ数になるよう）冗長性を持たせたウェーブレット変換（Stationary wavelet transform等）を適用することも可能である。
【００４４】
成分分離部１０７は、各高周波成分を、高周波成分に含まれる第１成分、及び第２成分にそれぞれ分解する。ここで、第１成分は、平坦成分とエッジ成分を含む原画像信号の骨格成分である。第２成分は、テクスチャの様な細かい構造成分とノイズを含む、原画像信号に対する第１成分の残差成分を表している。
【００４５】
成分分離部１０７では、高周波成分に対し２つの異なるノイズ低減処理（多段階コアリング処理、コアリング処理（軟判定閾値処理））と差分算出処理を組合わせた処理が反復的に適用される。反復がなされるたびに第１成分、第２成分の分解精度が向上する。所定回数の反復がなされた後の第１成分、第２成分を合成部１０８へ転送する。なお、成分分解、多段階コアリング処理、コアリング処理（軟判定閾値処理）の詳細は後述する。
【００４６】
ここで、コアリング処理は、典型的には、入力信号がコアリング範囲以内に属する場合に、その信号値を一律ゼロとし、コアリング範囲を外れる場合には、閾値だけ減算、または加算した信号値とする。コアリング範囲は、下限閾値、上限閾値で規定される範囲である。また、多段階コアリング処理は、一般のコアリング処理とは異なり、複数のコアリング範囲により規定された変換関数に基づき、入力信号を所定の値に変換する。各コアリング範囲は、下限閾値、上限閾値、および各コアリング範囲に対応する出力値を有する。
【００４７】
合成部１０８(重解像度合成部)は、バッファ１０６から低周波成分を取得し、成分分離部１０７から高周波成分に含まれる第１成分、第２成分を取得する。ここで、合成部１０８は、低周波成分、及び高周波成分に含まれる第１成分に基づき、原画像信号Fに対する第１成分Uを生成する。同様の手法により、高周波成分に含まれる第２成分に基づき、原画像信号Fに対する第２成分Vを生成する。生成した第１成分Uは、第１信号処理部１０９へ、第２成分Vは第２信号処理部１１０へ転送される。なお、多重解像度合成処理の詳細は後述する。
【００４８】
第１信号処理部１０９は、合成部１０８から原画像信号Fに対する第１成分Uを読み込み、所定の信号処理を実施する。本実施形態では、原画像信号Fに対する第１成分Uに対し、階調変換を実施する。階調変換後の第１成分U'は、成分合成部１１１へ転送される。例えば、第１信号処理部１０９は、第１成分Uに対して、信号レベルに基づきヒストグラムを算出し、ヒストグラムに基づき階調変換曲線を設定する。第１信号処理部１０９は、階調変換曲線から各画素に係る階調変換係数を取得して、第１成分Uに乗算して階調変換後の第１成分U'を得ることができる。第１信号処理部１０９は、その他、γ補正等の階調変換を行ってもよい。
【００４９】
第２信号処理部１１０は、合成部１０８から第２成分Vを読み込み、所定の信号処理を実施する。本実施形態では、第２成分Vに対しノイズ低減処理、及びゲインの乗算による鮮鋭化処理を行う。処理後の第２成分V'は成分合成部１１１へ転送される。ノイズ低減処理として、例えば、コアリング処理やフィルタリング処理が為される。
【００５０】
成分合成部１１１は、第１信号処理部１０９で処理された第１成分U’、及び第２信号処理部１１０で処理された第２成分V’とを所定の比率で合成し、合成成分F'を得る。所定の比率は、例えば1:1の比率である。合成成分F'は出力部１１２へ転送され、フラッシュメモリ等で構成される記憶メディアへ記録される。
【００５１】
多重解像度分解部１０５
次に、図２を参照して、多重解像度分解部１０５の構成について説明する。分解部１０５は、各色信号Fr、Fg、Fbを複数の周波数帯域に分解して複数の帯域信号を生成する。
【００５２】
この分解部１０５は、データ読取部２００と、バッファ（バッファメモリ）２０１と、水平ハイパスフィルタ２０２と、水平ローパスフィルタ２０３と、サブサンプラ２０４、２０５と、を含む。また、分解部１０５は、垂直ハイパスフィルタ２０６と、垂直ローパスフィルタ２０７と、垂直ハイパスフィルタ２０８と、垂直ローパスフィルタ２０９と、を含む。さらに、分解部１０５は、サブサンプラ２１０、２１１、２１２、２１３と、切換部２１４と、データ転送制御部２１５と、基底関数ＲＯＭ２１６と、フィルタ係数読取部２１７とを含んでいる。
【００５３】
補間部１０４は、データ読取部２００を介して、バッファ２０１へ接続されている。バッファ２０１は、水平ハイパスフィルタ２０２および水平ローパスフィルタ２０３へ接続されている。水平ハイパスフィルタ２０２は、サブサンプラ２０４を介して、垂直ハイパスフィルタ２０６および垂直ローパスフィルタ２０７へ接続されている。水平ローパスフィルタ２０３は、サブサンプラ２０５を介して、垂直ハイパスフィルタ２０８および垂直ローパスフィルタ２０９へ接続されている。
【００５４】
垂直ハイパスフィルタ２０６は、サブサンプラ２１０へ、垂直ローパスフィルタ２０７はサブサンプラ２１１へ、それぞれ接続されている。垂直ハイパスフィルタ２０８は、サブサンプラ２１２へ、垂直ローパスフィルタ２０９は、サブサンプラ２１３へ、それぞれ接続されている。サブサンプラ２１０、２１１、２１２、２１３は、切換部２１４へそれぞれ接続されている。サブサンプラ２１３は、さらに、データ転送制御部２１５へも接続されている。
【００５５】
切換部２１４は、バッファ１０６へ接続されている。データ転送制御部２１５は、バッファ２０１へ接続されている。基底関数ＲＯＭ２１６は、フィルタ係数読取部２１７へ接続されている。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２、水平ローパスフィルタ２０３，垂直ハイパスフィルタ２０６、垂直ローパスフィルタ２０７、垂直ハイパスフィルタ２０８、垂直ローパスフィルタ２０９へそれぞれ接続されている。
【００５６】
基底関数ＲＯＭ２１６には、Harr関数やDaubecies関数などのウェーブレット変換に用いられるフィルタ係数が記録されている。これらの内の、例えばHarr関数におけるハイパスフィルタの係数を式（８）に、ローパスフィルタの係数を式（９）に、それぞれ示す。本実施形態においては、Harrの基底関数を用いている。
【００５７】
【数６】
【００５８】
なお、これらのフィルタ係数は、水平方向と垂直方向とに共通して用いられる。
【００５９】
フィルタ係数読取部２１７は、基底関数ＲＯＭ２１６からフィルタ係数を読み込む。フィルタ係数読取部２１７は、水平ハイパスフィルタ２０２、垂直ハイパスフィルタ２０６、垂直ハイパスフィルタ２０８へハイパスフィルタ係数を転送する。フィルタ係数読取部２１７は、水平ローパスフィルタ２０３、垂直ローパスフィルタ２０７、垂直ローパスフィルタ２０９へローパスフィルタ係数を転送する。
【００６０】
こうして、各ハイパスフィルタおよび各ローパスフィルタへフィルタ係数が転送された後に、データ読取部２００は、補間部１０４から原画像信号Fを読み込んで、バッファ２０１へ転送する。
【００６１】
バッファ２０１上の原画像信号Fには、水平および垂直方向のフィルタリング処理がなされる。このフィルタリング処理は、水平ハイパスフィルタ２０２、水平ローパスフィルタ２０３、垂直ハイパスフィルタ２０６、２０８、垂直ローパスフィルタ２０７、２０９によって為される。ここで、サブサンプラ２０４、２０５は、入力映像信号に対して、水平方向に１／２にサブサンプリング（ダウンサンプリング）する。サブサンプラ２１０、２１１、２１２、２１３は入力映像信号を垂直方向に１／２にサブサンプリングする。
【００６２】
従って、サブサンプラ２１０の出力は、水平垂直両方向の高周波成分Ｈhv１を、サブサンプラ２１１の出力は、水平方向の高周波成分Ｈh１を、サブサンプラ２１２の出力は、垂直方向の高周波成分Ｈv１をそれぞれ与える。サブサンプラ２１３の出力は、低周波成分LL１を与える。
【００６３】
切換部２１４は、ウェーブレット係数としての上記３つの高周波成分Ｈhv１、Ｈh１、Ｈv１と低周波成分LL１とを、バッファ１０６へ順次転送する。また、データ転送制御部２１５は、サブサンプラ２１３からの低周波成分LL１をバッファ２０１へ転送する。
【００６４】
こうしてバッファ２０１上に記憶された低周波成分LL１は、上述と同様のフィルタリング処理により２段階目の分解が行われて、３つの高周波成分Ｈhv2、Ｈh2、Ｈv2と低周波成分LL2とが出力される。
【００６５】
上述したような過程は、所定のI段階の分解が行われるまで反復されるように制御される。I段階の分解が終了すると、バッファ１０６には、帯域信号としてウェーブレット係数としての高周波成分Ｈhvi、Ｈhi、Ｈviおよび低周波成分LLi（i＝１〜I）が保存されることになる。こうして、帯域信号（Ｈhvi、Ｈhi、ＨviおよびLLi（i＝１〜I））が、生成保存される。
【００６６】
成分分離部１０７
次に、図３を参照して成分分離部１０７の動作の詳細について説明する。
【００６７】
ここで、成分分離部１０７が行う成分分離について説明しておく。ＲＧＢカラー画像を式（５）のようなＴＶ−Ｇ非線形画像分解モデルによって成分分離する。この場合、色差（Ur-Ug、Ub-Ug、Ur-Ub）、色和（Ur+Ug、Ub+Ug、Ur+Ub）のＴＶ（Total Variation）を導入することで、カラー歪の発生を抑えることができる。色差と色和のＴＶを導入したＴＶ−Ｇ非線形画像分解モデルは式（１０）、式（１１ａ）、式（１１ｂ）のような変分問題に定式化される。
【００６８】
【数７】
【００６９】
【数８】
【００７０】
【数９】
【００７１】
ここで、Ur、Ug、Ubは、それぞれＲ信号、Ｇ信号、Ｂ信号の第１成分である。Vr、Vg、Vbは、それぞれＲ信号、Ｇ信号、Ｂ信号の第２成分である。なお、式（１１ａ）は、この式（１１ａ）の変分問題の解
【数１０】
を用いて、以下のように定義されたWr、Wg、Wbを導入することで、式(１１ｂ)に示す３つの互いに独立な変分問題となる。
【００７２】
【数１１】
【００７３】
上記変分問題におけるＴＶノルムを全てBesovノルム空間B11(L1)のノルムで置換すれば、直交（近似的には双直交）ウェーブレット変換領域におけるShrinkage処理によって解を求めることが可能である。
【００７４】
このとき、式（１０）は非特許文献２に記載のＬ１−Ｌ２型最適化問題から導出したShrinkage関数、（具体的には式（１５）（１６）に示すShirnkage関数）を用いた反復アルゴリズムに帰着する。これは、（Fr-Vr,Fg-Vg,Fb-Vb）をＲＧＢ三原色カラー入力画像とみなし、上記、Shrinkage関数を用いたウェーブレット変換領域の雑音除去法でノイズ低減処理を行うことと等価である。このノイズ低減処理は、色信号間の色和、色差を考慮した複数のコアリング範囲を持つ多段階コアリング処理となる。
【００７５】
また、式（１１ｂ）は閾値をμとした軟判定閾値処理（Soft Thresholding）を用いたWavelet Shrinkage法に帰着する。これは、（Fr-Ur,Fg-Ug, Fb-Ub）をＲＧＢ三原色カラー入力画像とみなし、閾値パラメータがμの軟判定閾値処理を用いたWavelet Shrinkage法でノイズ低減処理を行うことと等価である。軟判定閾値処理は、単一のコアリング範囲を持つ通常のコアリング処理である。
【００７６】
成分分離部１０７は、初期化部３０１、第１バッファ３０２、第２バッファ３０３、第１差分算出部３０４、第１ノイズ低減部３０７、第１転送制御部３０８を含んでいる。さらに、成分分離部１０７は、第２差分算出部３０９、第２ノイズ低減部３１０、第３差分算出部３１１、第２転送制御部３１２を含んでいる。
【００７７】
バッファ１０６は、初期化部３０１、第１差分算出部３０４、第２差分算出部３０９、第３差分算出部３１１に接続されている。初期化部３０１は第１バッファ３０２（第１記憶部）、第２バッファ３０３（第２記憶部）に接続されている。
【００７８】
第２バッファ３０３は、第１差分算出部３０４、合成部１０８に接続されている。第１差分算出部３０４は、第１ノイズ低減部３０７に接続されている。第１ノイズ低減部３０７は、第１転送制御部３０８に接続されている。第１転送制御部３０８は、第１バッファ３０２に接続されている。第１バッファ３０２は、第２差分算出部３０９、第３差分算出部３１１、合成部１０８に接続されている。第２差分算出部３０９は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は、第３差分算出部３１１に接続されている。第３差分算出部３１１は第２転送制御部３１２に接続されている。第２転送制御部３１２は第２バッファ３０３に接続されている。
【００７９】
成分分離部１０７では、バッファ１０６から各色信号に対する高周波成分（ウェーブレット係数）を取得し、高周波成分毎に第１成分、第２成分への分解を行う。この分解は、所定のノイズ低減処理、差分算出処理の反復処理により行われる。制御部としてのシステムコントローラ１００は、ノイズ低減処理、差分算出処理の動作の繰り返しを制御する。
【００８０】
本実施形態において、第１バッファ３０２が第１成分を保持するバッファメモリ、第２バッファ３０３が第２成分を保持するバッファメモリとなっている。ノイズ低減処理、差分処理を反復する度に、第１バッファ３０２、第２バッファ３０３に保持される第１成分、第２成分は随時更新され、分解精度が向上し、最適化がなされる。所定の反復回数Ｌに達した段階で、第１バッファ３０２、第２バッファ３０３にそれぞれ記録された第１成分（後述のUki(L)）、第２成分（後述のVki(L)）は、合成部１０８へ転送される。
【００８１】
なお、本実施形態において、成分抽出補正装置の抽出部は、第１転送制御部３０８から構成されるが、これに限定されるものではない。例えば、最初の多段階コアリング処理に対しては、初期化部３０１が、抽出部として機能する。抽出部は、帯域信号を構成する複数の成分のうち第１成分（骨格成分）を抽出するものである。
【００８２】
また、本実施形態において、第１成分（骨格成分）を補正する第１の補正処理を行う第１補正部は、第１ノイズ低減部３０７から構成される。また、骨格成分以外の一の成分（第２成分）を補正する第２の補正処理を行う第２補正部は、第２ノイズ低減部３１０と第３差分算出部３１１から構成される。
【００８３】
以下に例として、色信号Ｆkに関する高周波成分Hki（ウェーブレット係数Ｈhvi、Ｈhi、Ｈvi）に対して、第１成分Uki(l)と第２成分Vki(l)を分離する場合について説明する。ここで、添字k（=r,g,b）は色を表す記号である。k=rはＲ信号、k=gはＧ信号、k=bはＢ信号を表す。添字i（i=0〜I）は多重解像度分解の段階数、l(l=0〜L)は反復回数を表す。
【００８４】
初めに、l=0の反復においては、第１成分を保持する第１バッファ３０２、第２成分を保持する第２バッファ３０３に対する初期化を行う。初期化部３０１は、バッファ１０６から色信号Fr、Fg、Fbに対する帯域信号のうち高周波成分Hri、Hgi、Hbiを取得する。初期化部３０１は取得した高周波成Hri、Hgi、Hbiを第１バッファ３０２へ転送し、第１バッファ３０２にこれを記録する。同時に初期化部３０１の制御により第２バッファの値を全て零にクリアする。
【００８５】
すなわち、初期化部３０１は、l=0の場合に、第１成分に対し高周波成分Hkiを、第２成分に対し零を初期値として代入し、初期化する機能を持つ。このように初期化することで、適切に第１成分と第２成分が計算できる。なお、l=0の場合に、初期化部３０１は、帯域信号を構成する複数の成分のうち第１成分（骨格成分）を抽出する抽出部として機能している。
【００８６】
次にl回目（l≠0）における成分抽出・補正処理の説明を行う。この処理は色信号毎に対し独立に行われるわけではない。１回の反復処理（例えばl回目の処理）において、全色信号（k=r,g,b）に対する処理が１回なされた後、次の反復処理（ｌ＋１回目の処理）が行われる。
【００８７】
まず、第１差分算出部３０４は、バッファ１０６より色信号Fkの高周波成分Hkiを、第２バッファ３０３より第２成分Vki(l-1)を取得し、式（１２）に基づき第１の差分成分S1ki(l)（第１の差分値）を算出する。なお、l=1の場合、Vki(l-1) =Vki(0)=0である。
【００８８】
【数１２】
【００８９】
算出した第１の差分成分S1ki(l)は、第１ノイズ低減部３０７へ転送される。
【００９０】
第１ノイズ低減部３０７は、第１の差分成分S1ki(l)に対し、色信号間の色和、色差を考慮した複数のコアリング範囲を持つ多段階コアリング処理を行う。第１ノイズ低減部３０７の処理の詳細は後述する。なお、後述するように、ここでの多段階コアリングは、Ｍ回反復して行ってもよい。
【００９１】
多段階コアリング処理後の第１の差分成分S1ki(l)'は、第１転送制御部３０８の制御により、第１バッファ３０２へ転送される。この差分成分S1ki(l)'を、第１成分Uki(l)として、第１バッファ３０２に記録されている第１成分Uki(l-1)に上書きすることにより、第１成分が補正・更新される（Uki(l)= S1ki(l)'）。なお、l=1の場合、Uki(l-1)=Uki(0)= Hkiである。
【００９２】
次に、第２差分算出部３０９は、バッファ１０６より高周波成分Hkiを、第１バッファ３０２より第１成分Uki(l)を取得し、式（１３）に基づき第２の差分成分S2ki(l)（第２の差分値）を算出する。
【００９３】
【数１３】
【００９４】
算出した第２の差分成分S2ki(l)は第２ノイズ低減部３１０へ転送される。
【００９５】
第２ノイズ低減部３１０では第２の差分成分S2ki(l)に対し、コアリング範囲を１つ持つ一般的なコアリング処理（軟判定閾値処理）を行う。ここで、コアリング処理後の第２の差分成分をS2ki(l)'とする。後述するように、コアリング処理後の第２の差分成分S2ki(l)'を指標値とも呼ぶ。第２ノイズ低減部３１０の処理の詳細は後述する。
【００９６】
次に、第３差分算出部３１１は、バッファ１０６より高周波成分Hkiを、第１バッファ３０２より第１成分Uki(l)を、第２ノイズ低減３１０よりコアリング処理後の第２の差分成分S2ki(l)'を取得する。第３差分算出部３１１は、式（１４）に基づき第３の差分成分S3ki(l) （第３の差分値）を算出する。
【００９７】
【数１４】
【００９８】
第３の差分成分S3i(l)は、第２ノイズ低減部３１０がコアリング処理により第２の差分成分S2i(l)から除去したノイズ分に相当する。第３差分算出部３１１にて算出された第３の差分成分S3ki(l)は、第２転送制御部３１２の制御により、第２バッファ３０３へ転送される。この差分成分S3ki(l)を、第２成分Vki(l)として、バッファに記録されている第２成分Vki(l-1)に上書きすることにより、第２成分が補正・更新される（Vki(l)= S3ki(l)）。なお、l=1の場合、Vki(l-1)= Vki(0)= 0である。
【００９９】
なお、第２の差分成分S2ki(l)'に依存して第２成分Vki(l)（=S3ki(l)）が変化するため、第２の差分成分S2ki(l)'を第２成分を定める指標値と呼ぶ。
【０１００】
以上の処理は各色信号（k=r,g,b）に関して適用される。ｌ回目の反復において、全色信号に関して処理が完了した時点でｌ回目の反復が完了する。
【０１０１】
反復回数がＬ回目に達した場合、第１バッファ３０２、及び第２バッファ３０３に保持される第１成分Uki(L)、第２成分Vki(L)を最終的な出力とし、合成部１０８へ転送する。
【０１０２】
なお、本実施形態においては反復回数を所定回数Ｌに予め設定したが、分解精度に応じて可変とする構成としても良い。例えば、ｌ回目の第１成分Uki(l)とl-1回目のUki(l-1)との差分の絶対値、またはｌ回目の第１成分Vki(l)とl-1回目のVki(l-1)との差分の絶対値が所定の閾値以下となった場合に、反復処理を停止する構成としてもよい。これにより、反復による第１成分又は第２成分変化がほとんどなくなった場合に、反復処理を停止する。
【０１０３】
なお、本実施形態においては、反復処理を行っているが、l=0回目の初期化処理以降の反復処理を行わず、l=1回目の処理のみ行う構成としても良い。
【０１０４】
第１ノイズ低減部３０７
次に、図４を参照して、第１ノイズ低減部３０７の動作の詳細について説明する。
【０１０５】
第１ノイズ低減部３０７は、バッファ４０１、初期化部４０２、変換関数規定部４０３、範囲特定部４０４、加算・減算部４０５、置換部４０６、データ転送制御部４０７、バッファ４０８を含んでいる。
【０１０６】
第１差分算出部３０４は、初期化部４０２を介してバッファ４０１に接続されている。バッファ４０１は、初期化部４０２、範囲特定部４０４に接続されている。初期化部４０２はバッファ４０８に接続されている。変換関数規定部４０３は範囲特定部４０４、加算・減算部４０５、置換部４０６に接続されている。範囲特定部４０４は加算・減算部４０５、置換部４０６に接続されている。加算・減算部４０５、置換部４０６はデータ転送制御部４０７を介してバッファ４０８へ接続されている。バッファ４０８は変換関数規定部４０３、第１転送制御部３０８へ接続されている。
【０１０７】
第１ノイズ低減部３０７では、第１差分算出部３０４から転送された前述の差分信号に対する多段階コアリング処理を行う。多段階コアリング処理は、複数のコアリング範囲が設定された変換関数に基づき入力信号を所定の出力値に変換するものである。複数のコアリング範囲は、下限閾値、上限閾値の複数の組により定められ、各コアリング範囲に対応する出力値が定められている。
【０１０８】
変換関数のコアリング範囲は、処理対象の色信号に関する入力信号のみならず、処理対象外の色信号も用いて設定される。また、成分分解処理と同様に、多段階コアリング処理においても反復処理を行う構成となっている。処理の反復により多段階コアリング（ノイズ低減）の結果は随時更新され、所定の反復回数Ｍに達した時点で最終的な出力となる。また、１回の反復において、Ｒ，Ｇ，Ｂ信号毎に各１回多段階コアリング処理が行われた後、次の反復処理が行われる構成となっている。
【０１０９】
以下に例として、各色信号の高周波成分Hri、Hgi、Hbiに関する第１の差分信号Sri、Sgi、Sbiに対し、多段階コアリング処理（ノイズ低減処理）がなされる場合を説明する。ここで、Sri、Sgi、Sbiは、多段階コアリング処理前の第１の差分成分S1ri(l) S1gi(l) S1bi(l)に相当する（Sri=S1ri(l)、Sgi=S1gi(l)、Sbi=S1bi(l)）。
【０１１０】
ｍ回目の多段階コアリング処理により、差分信号Sri(m) 、Sgi(m) 、Sbi(m)が生成する。ここで、添字r、g、bはＲ信号、Ｇ信号、Ｂ信号を表しており、添字i（i=0〜I）は多重解像度分解の段階数、m(m=0〜M)は、多段階コアリング処理の反復回数を表す。
【０１１１】
はじめに、m=0の反復においては、バッファ４０１、バッファ４０８の初期化を行う。即ち、第１差分算出部３０４から初期化部４０２へ転送された差分信号Sri、Sgi、Sbiを、m=0回目の反復における差分信号Sri(0)、Sgi(0)、Sbi(0)として、バッファ４０１、バッファ４０８へ記録する。
【０１１２】
次に、m回目（m≠0）における処理の説明を行う。ここで１回の反復における色信号の処理の順番に特に制約はないが、本実施形態においては、Ｒ→Ｇ→Ｂ信号の順に各回の多段階コアリングを行うこととする。
【０１１３】
まず、変換関数規定部４０３は、バッファ４０１から取得した処理対象の色信号に関するm=0回目における差分信号Sri(0)、Sgi(0)、Sbi(0)を取得する。また、変換関数規定部４０３は、バッファ４０８から取得した処理対象外の色信号に関するm-1回目、あるいはm回目の反復処理により生成された差分信号を取得する。本実施形態においては、Ｒ信号に関する多段階コアリング処理の場合、変換関数規定部４０３は、差分信号Sri(0)、Sgi(m-1)、Sbi(m-1)を取得する。Ｇ信号に関する多段階コアリング処理の場合、変換関数規定部４０３は、差分信号Sgi(0)、Sri(m)、Sbi(m-1)を取得する。Ｂ信号に関する多段階コアリング処理の場合、変換関数規定部４０３は、差分信号Sbi(0)、Sri(m)、Sgi(m)を取得する。
【０１１４】
上記のように取得した差分信号と予め設定された所定のパラメータα、β、λに基づきコアリングに適用される変換関数を規定する。ここで、αは色信号間の信号値の差分が大きい場合に、ノイズ低減の度合いが大きくなるよう調整するパラメータである。βは色信号間の信号値の加算値が大きい場合に、ノイズ低減の度合いが大きくなるよう調整するパラメータである。
【０１１５】
以降では、コアリングの処理対象をＧ信号とし、Ｇ信号に対する変換関数を規定する場合についてのみ説明する。コアリングの処理対象がＲ信号の場合は、｛Sgi(0)、Sri(m)、Sbi(m-1)｝を｛Sri(0)、Sgi(m-1)、Sbi(m-1)｝に置換えて変換関数を規定すればよい。コアリングの処理対象がＢ信号の場合は、｛Sgi(0)、Sri(m)、Sbi(m-1)｝を｛Sbi(0)、Sri(m)、Sgi(m)｝に置換えて変換関数を規定すればよい。
【０１１６】
初めに、Sri(m)とSbi(m-1)を比較する。Sri(m)とSbi(m-1)の符号が一致し、Sri(m)>0、Sbi(m-1)>0、Sri(m)> Sbi(m-1)の場合は、例えば式（１５）のような複数の区間Wj（j=0〜10）から構成される折線関数に、変換関数を規定する。図５（a）に式（１５）により規定される変換関数を示す。
【０１１７】
【数１５】
【０１１８】
ここで、区間Wj（j=0〜10）は、Sgi(0)に関する区間である。Tbj、Tujは、区間Wjの下限値、上限値を、Sgi(m)は出力値を表している。下限値、上限値Tbj、Tujと出力値Sgi(m)は、α、β、λ、及びSgi(0)、Sri(m)、Sbi(m-1)に基づいて算出される。区間Wj（j=0〜10）は、反復回数ｍの値に応じて、変化する。
【０１１９】
また、区間W1,W3,W5,W7のように、出力が一定値の区間は、コアリング範囲区間と定義される。変換関数内には複数のコアリング範囲区間が設定される。変換関数は連続しており、また、コアリング範囲区間以外の非コアリング範囲区間における関数の傾きは１に固定されている。このため、コアリング範囲区間における下限値、上限値、及び出力値がわかれば、非コアリング範囲区間における出力値も一意に算出することが可能である。また、非コアリング範囲区間において、傾きは１であるため、変換関数と一次関数Sgi(m)= Sgi(0)との差分は一定値となる。
【０１２０】
Sri(m)>0、Sbi(m-1)>0、Sri(m)< Sbi(m-1)の場合は, 式（１５）において、Sbi(m-1)をSri(m)に、 Sri(m)をSbi(m-1)に置換して、コアリング範囲区間、及び出力値を算出できる。
【０１２１】
Sri(m)<0、Sbi(m-1)<0、|Sri(m)|>|Sbi(m-1)|の場合は, 式（１５）において、Sbi(m-1)を-Sbi(m-1)に、Sri(m)を- Sri(m)に、αをβに、βをαに置換することにより、コアリング範囲区間、及び出力値を算出できる。
【０１２２】
Sri(m)<0、Sbi(m-1)<0, |Sri(m)|<|Sbi(m-1)|の場合は, 式（１５）において、Sbi(m-1)を-Sri(m)に、Sri(m)を-Sbi(m-1)に、αをβに、βをαに置換することにより、コアリング範囲区間、及び出力値を算出できる。
【０１２３】
Sri(m)とSbi(m-1)の符号が一致せず、Sri(m)>0、Sbi(m-1)<0、 |Sri(m)|>|Sbi(m-1)|の場合は、変換関数を、例えば式（１６）のように規定する。図５（b）に式（１６）により規定される変換関数を示す。
【０１２４】
【数１６】
【０１２５】
また、Sri(m)>0、Sbi(m-1)<0、|Sri(m)|<|Sbi(m-1)|の場合は, 式（１６）において、Sri(m)を-Sbi(m-1)、-Sbi(m-1)をSri(m)に、αをβに、βをαに置換することによりコアリング範囲区間、及び出力値を算出できる。
【０１２６】
Sri(m)<0、Sbi(m-1)>0、|Sri(m)|>|Sbi(m-1)|の場合は、式（１６）において、-Sbi(m-1)をSbi(m-1)に、Sri(m)を-Sri(m)に、αをβに、βをαに置換することによりコアリング範囲区間、及び出力値を算出できる。
【０１２７】
Sri(m)<0、Sbi(m-1)>0、|Sri(m)|<|Sbi(m-1)|の場合は、式（１６）において、Sri(m)をSbi(m-1)に、-Sbi(m-1)を-Sri(m)に置換することによりコアリング範囲区間、及び出力値を算出できる。
【０１２８】
他のSri(m)、Sbi(m-1)に対するコアリングの変換関数については、Sgi(0)の変換関数に対し、Sri(m)、Sgi(0)、Sbi(m-1)を入れ替えれば容易にSri(m)、またはSbi(m-1)に対する変換関数が算出可能である。
【０１２９】
本実施形態においては、第１ノイズ低減部３０７における変換関数規定のため、コアリング範囲区間に関する下限値、上限値、及び出力値が、変換関数規定部４０３から範囲特定部４０４へ転送される。また、非コアリング範囲区間における下限値、上限値、及び、非コアリング範囲区間における変換関数と上記一次関数Sgi(m)= Sgi(0)との差分が、変換関数規定部４０３から範囲特定部４０４へ転送される。
【０１３０】
次に、範囲特定部４０４は、変換関数規定部４０３にて設定された変換関数（コアリング範囲区間に対する下限値、上限値）、及びバッファ４０１より差分信号Sgi(0)を取得する。範囲特定部４０４は、差分信号Sgi(0)の値とコアリング範囲区間の下限値、上限値とを比較する。差分信号Sgi(0)の値がコアリング範囲区間に属する場合は、差分信号Sgi(0)の信号値は、置換部４０６へ転送される。差分信号Sgi(0)の値がコアリング範囲区間外に属する場合は、差分信号Sgi(0)の信号値は、加算・減算部４０５へ転送される。
【０１３１】
置換部４０６では、差分信号Sgi(0)の信号値が所属するコアリング範囲区間に対応する出力値を変換関数規定部４０３から取得し、その出力値を差分信号の信号値として置換する。置換された信号値は、データ転送制御部４０７の制御により、バッファ４０８へ転送される。上記の出力値は、バッファ４０８上の差分信号Sgi(m-1)上に差分信号Sgi(m)の信号値として上書きされる。即ち、差分信号Sgi(0)の信号値が所属するコアリング範囲区間に対応する出力値が、差分信号Sgi(m)の信号値になる。
【０１３２】
加算・減算部４０５では、変換関数規定部４０３から上述の非コアリング範囲区間における変換関数と上記一次関数Sgi(m)= Sgi(0)との差分を取得し、その差分を差分信号Sgi(0)の信号値に対し加算する。加算された信号値は、データ転送制御部４０７の制御により、バッファ４０８へ転送される。加算された信号値は、バッファ上の差分信号Sgi(m-1)上に差分信号Sgi(m)の信号値として上書きされる。
【０１３３】
以上の処理を、Ｒ→Ｇ→Ｂ信号に関する差分信号に対し、順番に適用する。各色信号に対し、各１回ずつ多段階コアリング処理を行うことで、１回の反復処理を終了する。
【０１３４】
反復処理がＭ回行われた時点で、バッファ４０８に記録されたSri(M)、Sgi(M)、Sbi(M)は、第１転送制御部３０８の制御により第１バッファ３０２へ転送され、第１成分Uri(l)、Ugi(l)、Ubi(l)として記録される。なお、Sri(M)、Sgi(M)、Sbi(M)は、前述の多段階コアリング処理後の第１の差分成分S1ri(l)'、S1gi(l)'、S1bi(l)'に相当する。
【０１３５】
なお、本実施形態においては、反復処理を行っているが、m=0回目の初期化処理以降の反復処理を行わず、m=1回目の処理のみ行う構成としても良い。
【０１３６】
第２ノイズ低減部３１０
次に、図６を参照して、第２ノイズ低減部３１０の動作の詳細について説明する。
【０１３７】
第２ノイズ低減部３１０は、範囲特定部５０２、加算・減算部５０３、置換部５０４を含んでいる。第２差分算出部３０９は範囲特定部５０２に接続されている。範囲特定部５０２は、加算・減算部５０３、置換部５０４に接続されている。加算部・減算部５０３、置換部５０４は、第３差分算出部３１１に接続されている。
【０１３８】
第２ノイズ低減部３１０では、第２差分算出部３０９から転送された前述の第２の差分信号S2ki(l)に対するコアリング処理（軟判定閾値処理）を行う。多段階コアリング処理とは異なり、コアリング範囲が一つ設定された変換関数に基づき、第２ノイズ低減部３１０への入力信号は所定の値に変換される。また、本実施形態において、軟判定閾値処理は反復されず、一回のみ行われるが、これに限定されない。
【０１３９】
以下に例として、各色信号の高周波成分Hiに関する差分信号Siに対し、ノイズ低減処理がなされた差分信号Si'を生成する場合について説明する。ここで添字i（i=0〜I）は多重解像度分解の段階数を表す。ここで、Siは、前述の多段階コアリング処理前の第２の差分成分S2ki(l)に相当する。Si'は、多段階コアリング処理後の第２の差分成分S2ki(l)'に相当する（Si=S2ki(l)、Si'= S2ki(l)'）。
【０１４０】
はじめに、範囲特定部５０２は、第２差分算出部３０９から差分信号Siを取得する。コアリング処理における変換関数は、例えば式（１７）のような複数の区間Wj（j=0〜2）で構成される折線関数により規定される。
ここで、Tbj、Tujは区間Wjの下限値、上限値を表し、Si'は出力値を表している。区間W1が-Th〜Thの範囲で設定されたコアリング範囲を表している。図７に式（１７）により規定される変換関数を示す。
【０１４１】
【数１７】
【０１４２】
まず、範囲特定部５０２は、第２差分算出部３０９より差分信号Si（= S2ki(l)）を取得する。範囲特定部５０２は、差分信号Siの値とコアリング範囲区間の下限値、上限値と比較する。差分信号Siがコアリング範囲区間に属する場合は、差分信号Siの信号値を置換部５０４へ転送する。差分信号Siがコアリング範囲区間外に属する場合は、差分信号Siの信号値を加算・減算部５０３へ転送する。
【０１４３】
置換部５０４では、差分信号Siの信号値が所属するコアリング範囲区間に対応する出力値0を、差分信号の信号値として置換する。置換された信号値は、Si'（=S2ki(l)'）として、第３差分算出部３１１へ転送される。
【０１４４】
加算・減算部５０３は、式（１７）に示す変換関数に基づき、Th < Siの場合、Si-Thを算出し、Si<-Thの場合、Si+Thを算出する。加算・減算部５０３は、Si-Th又はSi+Thを、Si'（=S2ki(l)'）として、第３差分算出部３１１へ転送する。
【０１４５】
多重解像度合成部１０８
次に、図８を参照して、多重解像度合成部１０８の作用について説明する。
【０１４６】
合成部１０８は、データ読取部６００と、切換部６０１と、アップサンプラ６０２と、アップサンプラ６０３と、アップサンプラ６０４と、アップサンプラ６０５とを含む。また、合成部１０８は、垂直ハイパスフィルタ６０６と、垂直ローパスフィルタ６０７と、垂直ハイパスフィルタ６０８と、垂直ローパスフィルタ６０９と、アップサンプラ６１０と、アップサンプラ６１１とを含む。さらに、合成部１０８は、水平ハイパスフィルタ６１２と、水平ローパスフィルタ６１３と、バッファ６１４と、データ転送制御部６１５と、基底関数ＲＯＭ６１６と、フィルタ係数読取部６１７と、を含む。
【０１４７】
成分分離部１０７は、データ読取部６００を介して切換部６０１へ接続されている。切換部６０１は、アップサンプラ６０２とアップサンプラ６０３とアップサンプラ６０４とアップサンプラ６０５とへそれぞれ接続されている。アップサンプラ６０２は、垂直ハイパスフィルタ６０６へ、アップサンプラ６０３は、垂直ローパスフィルタ６０７へそれぞれ接続されている。アップサンプラ６０４は、垂直ハイパスフィルタ６０８へ、アップサンプラ６０５は、垂直ローパスフィルタ６０９へ、それぞれ接続されている。垂直ハイパスフィルタ６０６と垂直ローパスフィルタ６０７とは、アップサンプラ６１０へそれぞれ接続されている。垂直ハイパスフィルタ６０８と垂直ローパスフィルタ６０９とは、アップサンプラ６１１へそれぞれ接続されている。アップサンプラ６１０は、水平ハイパスフィルタ６１２へ、アップサンプラ６１１は、水平ローパスフィルタ６１３へ、それぞれ接続されている。水平ハイパスフィルタ６１２と水平ローパスフィルタ６１３とは、バッファ６１４へそれぞれ接続されている。
【０１４８】
バッファ６１４は、第１信号処理部１０９、第２信号処理部１１０、及びデータ転送制御部６１５へそれぞれ接続されている。データ転送制御部６１５は、切換部６０１へ接続されている。基底関数ＲＯＭ６１６は、フィルタ係数読取部６１７へ接続されている。フィルタ係数読取部６１７は、垂直ハイパスフィルタ６０６、６０８と垂直ローパスフィルタ６０７、６０９と水平ハイパスフィルタ６１２と水平ローパスフィルタ６１３とへそれぞれ接続されている。
【０１４９】
基底関数ＲＯＭ６１６には、Harr関数やDaubechies関数などの逆ウェーブレット変換に用いられるフィルタ係数が記録されている。本実施形態においては、分解部１０５に対応してHarrの基底関数を用いる。
【０１５０】
フィルタ係数読取部６１７は、基底関数ＲＯＭ６１６からフィルタ係数を読み込んで、垂直ハイパスフィルタ６０６、垂直ハイパスフィルタ６０８、水平ハイパスフィルタ６１２へハイパスフィルタ係数を転送する。また、フィルタ係数読取部６１７は、垂直ローパスフィルタ６０７、垂直ローパスフィルタ６０９、水平ローパスフィルタ６１３へローパスフィルタ係数を、それぞれ転送する。各ハイパスフィルタと各ローパスフィルタに転送されたフィルタ係数が設定される。
【０１５１】
合成部１０８は、分解部１０５からバッファ１０６を介して低周波成分を読み込み、成分分離部１０７から各高周波成分Hki（Ｈhv"i、Ｈh"i、Ｈv"i）に含まれる第１成分Uki(L)、第２成分Vki(L)を読み込む。
【０１５２】
合成部１０８は、低周波成分、及び各高周波成分に含まれる第１成分Uki(L)に基づき、原画像信号Fに対する第１成分U（=Ur,Ub,Ug)を生成する。また、各高周波成分に含まれる第２成分Vki(L)に基づき、原画像信号Fに対する第２成分V（=Vr,Vb,Vg)を生成する。
【０１５３】
本実施形態においては、各高周波成分に含まれる各第１成分をＨhv"i、Ｈh"i、Ｈv"i、低周波成分をLLiと表し、原画像信号Fに対する第１成分Uを生成する場合について説明する。なお、第２成分Vの合成時においてLLiは０に設定する。即ち第２成分Vの合成では、高周波成分のみを用いる。合成した原画像信号Fに対する第１成分U、及び第２成分Vは、それぞれ第１信号処理部１０９、及び第２信号処理部１１０へ転送される。
【０１５４】
切換部６０１は、高周波成分Ｈhv"iをアップサンプラ６０２を介して垂直ハイパスフィルタ６０６へ、高周波成分Ｈh"iをアップサンプラ６０３を介して垂直ローパスフィルタ６０７へそれぞれ転送する。また、切換部６０１は、高周波成分Ｈv"iをアップサンプラ６０４を介して垂直ハイパスフィルタ６０８へ、低周波成分LLiをアップサンプラ６０５を介して垂直ローパスフィルタ６０９へ、それぞれ転送する。各フィルタ６０６−６０９は、垂直方向のフィルタリング処理を実行する。
【０１５５】
さらに、垂直ハイパスフィルタ６０６および垂直ローパスフィルタ６０７からの周波数成分は、アップサンプラ６１０を介して水平ハイパスフィルタ６１２へ、それぞれ転送される。垂直ハイパスフィルタ６０８および垂直ローパスフィルタ６０９からの周波数成分は、アップサンプラ６１１を介して水平ローパスフィルタ６１３へ、それぞれ転送される。各フィルタ６１２、６１３は、水平方向のフィルタリング処理を行う。水平ハイパスフィルタ６１２および水平ローパスフィルタ６１３からの周波数成分は、バッファ６１４へ転送されて一つに合成されることにより、補正処理がなされた低周波成分LL"i-1が生成される。
【０１５６】
ここで、アップサンプラ６０２、アップサンプラ６０３、アップサンプラ６０４、アップサンプラ６０５は、入力周波数成分を垂直方向に２倍にアップサンプリングする。アップサンプラ６１０、アップサンプラ６１１は、入力周波数成分を水平方向に２倍にアップサンプリングする。
【０１５７】
データ転送制御部６１５は、バッファ６１４から低周波成分LL"i-1を読み出して、読み出した低周波成分LL"i-1を切換部６０１へ転送する。
【０１５８】
また、データ読取部６００は、成分分離部１０７から補正処理がなされた三種類の高周波成分ＨＨv"i-1，Ｈh"i-1，Ｈv"i-1を読み込んで、切換部６０１へ転送する。
【０１５９】
その後、分解の段階数i-1の周波数成分に対して、上述と同様のフィルタリング処理がなされ、低周波成分LL"i-2がバッファ６１４へ出力される。このような過程は、所定のI段階の合成が行われるまで反復される。こうしてバッファ６１４には、最終的に、補正処理がなされた低周波成分LL”0が出力される。
【０１６０】
低周波成分LL”0は、低周波成分、及び高周波成分に含まれる第１成分に基づき生成した場合には、原画像信号Fに対する第１成分Uに相当する。低周波成分LL”0は、高周波成分に含まれる第２成分に基づき生成した場合には、原画像信号Fに対する第２成分Vに相当する。
【０１６１】
なお、本実施形態では、第1ノイズ低減部３０７、第２ノイズ低減部３１０において、多段階コアリング処理、軟判定閾値処理によるノイズ低減を行っているが、これに限定されるものではなく、他の所定のノイズ低減処理に代替可能である。例えば線形フィルタ、非線形フィルタ処理（メディアンフィルタ、バイラテラルフィルタ、非線形拡散型フィルタ）や、他の様々な変換関数によるＳｈｒｉｎｋａｇｅ処理による、適応的な平滑化処理を行っても良い。
【０１６２】
また、本実施形態では第２ノイズ低減部３１０はウェーブレット係数に対する軟判定閾値処理を行い帯域信号別に第２成分Ｖを求めたが、原空間における軟判定閾値処理により直接原画像信号Ｆに対する第２成分を求めても良い。すなわち、本実施形態と同様に求めた各帯域信号に対する第１成分Ｕと、第２の差分成分を逆ウェーブレット変換して、原画像信号Ｆに対する第１成分Ｕと、第２の差分成分を算出し、原画像信号に対する第２の差分成分に対して軟判定閾値処理を行い、軟判定閾値処理後の第２の差分信号と原画像信号に対する第１成分Ｕを原画像信号Ｆから減算した、原画像信号に対する第３の差分信号を、原画像信号に対する第２成分とする構成としても良い。
【０１６３】
また、原画像信号に対する第２成分を再度ウェーブレット変換して帯域信号に対する第２成分を算出することで、上記ウェーブレット領域での多段階コアリング処理、原空間での軟判定閾値処理を反復処理する構成としても良い。
【０１６４】
―作用効果―
次に、第１の実施形態の作用効果について説明する。
【０１６５】
分解部１０５は、原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する。成分分離部１０７は、帯域信号に対して大局的な構造を表す第１成分（骨格成分）と局所的な構造を表す第２成分（骨格成分以外の一の成分）を分離する。成分分離部１０７において、第１ノイズ低減部３０７を含む第１補正部は、帯域信号と第２成分とを用いて第１成分を補正する第１の補正処理を行う。成分分離部１０７において、第２ノイズ低減部３１０と第３差分算出部３１１を含む第２補正部は、帯域信号と補正された第１成分を用いて第２成分を補正する第２の補正処理を行う。
【０１６６】
このような第１の補正処理と第２の補正処理の組み合わせにより、第２成分を用いて第１成分を、第１成分を用いて第２成分を補正するため、高速に精度良く第１成分と第２成分を計算できる。システムコントローラ１００（制御部）は、第１の補正処理および第２の補正処理の繰り返し動作を制御する。第１の補正処理と第２の補正処理を繰り返すことにより、第１補正部は、第２の補正処理により得た補正された第２成分を用いて、第１の補正処理を行う。このため、逐次近似的にさらに精度良く第１成分と第２成分を計算できる。
【０１６７】
また、帯域信号から第２成分を減じて得た第１の差分値（S1ki(l)）を用いて第１の補正処理を行うため、帯域信号に対する第２成分の残差に基づいて得られる第１成分を好適に求められる。帯域信号から補正した第１成分を減じて得た第２の差分値（S2ki(l)）を用いて第２の補正処理を行うため、帯域信号に対する第１成分の残差に基づいて得られる第２成分を好適に求められる。
【０１６８】
第２補正部は、第２の差分値（S2ki(l)）と所定の閾値(Th)を比較することで得た指標値（S2ki(l)'）を算出し、第２の差分値から指標値を減じて得た第３の差分値（S3ki(l)）を補正後の第２成分とする。このため、指標値に基づくコアリング処理により、逐次近似的に成分分離のための変分問題の最適解としての第２成分を高速かつ精度良く求められる。
【０１６９】
抽出部（例えば第１転送制御部３０８からなる）は、第１成分（骨格成分）を帯域信号ごとに抽出し、第１補正部は、帯域信号ごとに抽出された第１成分を帯域信号ごとに補正する。原画像信号ではなく帯域信号ごとに第１成分を分離する構成としたため、帯域信号ごとに例えばコアリング処理を利用でき、第１成分の成分分離を高速かつ精度良く行える。さらに、多重解像度合成部１０８は、帯域信号ごとに補正された第１成分を複数の周波数帯域にわたって合成することで、帯域信号からなる原画像信号の大局的な構造を示す第１成分を生成する。これにより、原画像信号の大局的な構造を示す成分を精度よく生成できる。
【０１７０】
第２補正部は、帯域信号ごとに補正された第１成分を用いて帯域信号ごとに第２成分を補正する。原画像信号ではなく帯域信号ごとに第２成分を分離する構成としたため、例えば、帯域信号ごとのコアリング処理等を利用でき、第２成分の成分分離を高速かつ精度良く行える。多重解像度合成部１０８は、帯域信号ごとに補正された第２成分を複数の周波数帯域にわたって合成することで、帯域信号からなる原画像信号の局所的な構造を示す成分を生成する。これにより、原画像信号の局所的な構造を示す成分を精度よく生成できる。
【０１７１】
分解部１０５は、複数の帯域信号を色信号ごとに生成するため、カラー原画像信号も扱うことができる。第１補正部は、帯域信号から第２成分を減じて得た第１の差分値に対して、複数のコアリング範囲を設定する。さらに、第１補正部は、この第１の差分値に対して複数のコアリング範囲に基づきコアリング処理を行った結果を補正された第１成分（骨格成分）とする。これにより、第１補正部は、多段階コアリング処理により、カラー原画像信号に対して色差色和を考慮した第１成分の補正ができ、精度良く第１成分を求められる。
【０１７２】
第２補正部は、帯域信号から補正された第１成分を減じて得た第２の差分値に対して、単一のコアリング範囲を設定する。さらに、第２補正部は、この第２の差分値に対して、単一のコアリング範囲に基づきコアリング処理を行った結果に応じて第２成分を補正する。これにより、第２補正部は、コアリング処理により第２成分を補正でき、高速かつ精度良く第２成分を求められる。
【０１７３】
第１補正部は、補正された第１成分が平坦成分とエッジ成分を含むよう第１成分を補正するため、大局的な構造を示すものとして第１成分を帯域信号から分離できる。
【０１７４】
＜第１の実施形態の変形例＞
上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０２からの原画像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録する。さらに、撮像条件などの付随情報（例えば、ISO感度などの撮像条件など）をRawデータのヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０１７５】
図９を参照して、画像処理プログラム（成分抽出補正プログラム）による処理のメインルーチンを説明する。
【０１７６】
最初に、Raw画像や、露光条件、画像処理条件などのヘッダ情報を読み込むとともに、Raw画像に基づき所定の補間処理により、３色の色信号で構成される原画像信号Fを生成する。（ステップＳ０１）。次に、原画像信号Fを分解の段階数ｉの解像度分解を行い、高周波成分と低周波成分とを取得する（ステップＳ０２）。
【０１７７】
次に、分解の段階数を示す変数ｉを０に初期化する（ステップＳ０３）。次に、分解の段階数iを１増分する（ステップＳ０４）。次に、反復処理の繰返し回数を示す変数lを０に初期化する（ステップＳ０５）。
【０１７８】
次に、第１成分を保持するための第１バッファと、第２成分を保持するための第２バッファの初期化を行う（ステップＳ０６）。次に、繰返し回数lを１増分する（ステップＳ０７）。次に、色信号を表す変数k（k=rの場合Ｒ信号、k=gの場合Ｇ信号、k=bの場合Ｂ信号）をrとし、処理対象の色信号を設定する（ステップＳ０８）。
【０１７９】
次に、式（１２）に基づく第１の差分成分を算出する（ステップＳ０９）。次に、ステップＳ０９にて算出した第１の差分成分に対し、式（１５）、式（１６）に基づく多段階コアリング処理を行う（ステップＳ１０）。次に、ステップＳ１０の結果を第１バッファに上書き記録することで、第１成分を更新してUki(l)の値を設定する（ステップＳ１１）。
【０１８０】
次に、式（１３）に基づく第２の差分成分を算出する（ステップＳ１２）。次に、ステップＳ１２にて算出した第２の差分成分に対し、式（１７）に基づくコアリング処理（軟判定閾値処理）を行う（ステップＳ１３）。次に、式（１４）に基づく第３の差分成分を算出する（ステップＳ１４）。次に、ステップＳ１４の結果を第２バッファに上書き記録することで、第２成分を更新してVki(l)の値を設定する（ステップＳ１５）。
【０１８１】
次に、ｋを参照し、全ての色信号Ｒ、Ｇ、Ｂに対して処理が行われたかを判定する（ステップＳ１６）。全ての色信号Ｒ、Ｇ、Ｂに対して処理が完了していない場合、ステップＳ１７で色信号を表す変数kを次のもの（g又はｂ）に更新し、ステップＳ０９へ戻り、処理を繰り返す。全ての色信号Ｒ、Ｇ、Ｂに対して処理が完了した場合、ステップＳ１８へ進む。
【０１８２】
次に、ｌを参照し、反復回数を判定する。ｌが予め設定された所定の反復回数Ｌに達した場合、ステップＳ１９へ進む。ｌがＬ未満の場合、ステップＳ０７へ戻り、処理を繰り返す（ステップＳ１８）。
【０１８３】
次に、iを参照し、iが予め設定された所定の多重解像度レベルＩに達した場合、ステップＳ２０へ進む。iがＩ以下の場合、ステップＳ０４へ戻り、処理を繰り返す（ステップＳ１９）。
【０１８４】
次に、低周波成分と高周波成分に含まれる第１成分、及び高周波成分に含まれる第２成分とを用いて、Ｉ段階の多重解像度合成を行い、原画像信号に対する第１成分U（=Ur,Ub,Ug)、及び第２成分V（=Vr,Vb,Vg)を生成する（ステップＳ２０）。
【０１８５】
次に、第１成分U、及び第２成分Vそれぞれに対し、所定の信号処理を行う（ステップＳ２１）。次に、信号処理された第１成分U'と第２成分V'を合成するよう成分合成処理を行う（ステップＳ２２）。最後に公知の圧縮処理などを行った後、出力し、一連の処理を終了する。
【０１８６】
この第１の実施形態の変形例も、第１の実施形態の前述した作用効果が得られるが、特別なハードウェアを必要とせず簡便に成分抽出補正処理が行える利点がある。
【０１８７】
＜第２の実施形態＞
図１０を参照して、本発明の第２の実施形態に係る成分抽出補正装置ついて説明する。第２の実施形態に係る成分抽出補正装置は、第１の実施形態と異なり、モノクロ（単色又は白黒）の原画像信号に適した構成を有する。なお、第１の実施形態と同様の構成の部分には、同じ符号を付し、第１の実施形態と異なる構成について主に説明する。
【０１８８】
第２の実施形態に係る成分抽出補正装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第２の実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。
【０１８９】
撮像装置は、システムコントローラ１００、光学系１０１、撮像素子１０００、A/D変換部１０３（以下、単にA/Dと呼ぶ）、多重解像度分解部１０５（単に、分解部とも呼ぶ）を備える。さらに、撮像装置は、バッファ１０６、成分分離部１００１、多重解像度合成部１０８（単に、合成部とも呼ぶ）、第１信号処理部１０９、第２信号処理部１１０、成分合成部１１１、出力部１１２を備える。上記各部を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成してもよい。本実施形態の成分抽出補正装置は、分解部１０５、成分分離部１００１等から構成される。
【０１９０】
撮像素子１０００は、A/D１０３を介して分解部１０５に接続されている。分解部１０５は、バッファ１０６を介して成分分離部１００１へ接続されている。成分分離部１００１は、合成部１０８へ接続されている。合成部１０８は、第１信号処理部１０９、及び第２信号処理部１１０を介して成分合成部１１１へ接続されている。成分合成部１１１は、出力部１１２へ接続されている。各処理部はシステムコントローラ１００に接続しており、システムコントローラ１００により動作を制御される。
【０１９１】
本実施形態において、撮像素子１０００は、モノクロ用撮像素子である。撮像素子１０００は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０００面上に結像した光学像をアナログ画像信号として出力する。アナログ画像信号は、A/D１０３へ転送される。A/D１０３は、アナログ画像信号をデジタル信号に変換し、分解部１０５へ転送する。
【０１９２】
分解部１０５は、第１の実施形態と同様の処理により、モノクロ（単色又は白黒）の原画像信号Fに対し所定のI段階の多重解像度分解を行う。分解部１０５は、分解の段階数iの高周波成分、低周波成分を生成し、バッファ１０６へ記録する。ここで、Iは１以上の整数であり、iは１以上I以下の整数である。
【０１９３】
成分分離部１００１は、各高周波成分を、各高周波成分に含まれる第１成分と第２成分に分解する。成分分離部１００１では、高周波成分に対しコアリング処理（軟判定閾値処理）と差分算出処理により構成される分解アルゴリズムが反復的に適用される。第２の実施形態は、第１の実施形態で行った多段階のコアリング処理を、単一のコアリング範囲を有するコアリング処理（軟判定閾値処理）に置換した構成となっている。所定回数の反復がなされた後の第１成分、第２成分を合成部１０８へ転送する。成分分解処理の詳細は後述する。
【０１９４】
以降の処理は、処理対象を色信号から単色又は白黒のモノクロ信号に置換えた第１の実施形態と同様である。即ち、合成部１０８における多重解像度合成処理は、第１の実施形態と同様に行われる。第１信号処理部１０９での第１成分に対する信号処理、第２信号処理部１１０での第２成分に対する信号処理も、第１の実施形態と同様に行われる。成分合成部１１１における合成処理、出力部１１２における処理も、第１の実施形態と同様に行われる。
【０１９５】
成分分離部１００１
次に、図１１を参照して、成分分離部１０７の動作の詳細について説明する。
【０１９６】
成分分離部１００１は、初期化部３０１、第１バッファ３０２、第２バッファ３０３、第１差分算出部３０４、第１転送制御部３０８を含んでいる。さらに、成分分離部１０７は、第２差分算出部３０９、第２ノイズ低減部３１０、第３差分算出部３１１、第２転送制御部３１２を含んでいる。
【０１９７】
バッファ１０６は、初期化部３０１、第１差分算出部３０４、第２差分算出部３０９、第３差分算出部３１１に接続されている。初期化部３０１は、第１バッファ３０２、第２バッファ３０３に接続されている。第２バッファ３０３は、第１差分算出部３０４、合成部１０８に接続されている。第１差分算出部３０４は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は、第１転送制御部３０８に接続されている。
【０１９８】
第１転送制御部３０８は、第１バッファ３０２に接続されている。第１バッファ３０２は、第２差分算出部３０９、第３差分算出部３１１、合成部１０８に接続されている。第２差分算出部３０９は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は、第３差分算出部３１１に接続されている。第３差分算出部３１１は、第２転送制御部３１２に接続されている。第２転送制御部３１２は、第２バッファ３０３に接続されている。
【０１９９】
成分分離部１００１は、バッファ１０６から高周波成分を取得し、高周波成分毎に第１成分、第２成分への分解を行う。第１の実施形態と同様にコアリングによるノイズ低減処理と、差分算出処理の反復により分解精度が最適化される。
【０２００】
第１の実施形態では、第１ノイズ低減部３０７において多段階コアリング処理を行った。しかし、第２の実施形態では、第１ノイズ低減部３０７における多段階コアリング処理は、第２ノイズ低減部３１０で行われるコアリング処理（軟判定閾値処理）に置き換えられている。これは、第２の実施形態では、原画像信号Fがモノクロであるためである。このため、第２の実施形態では、第２ノイズ低減部３１０が、第１成分Ui(l)を補正・更新する第１補正部に相当する。
【０２０１】
以下に例として、原画像信号Fに関する高周波成分Hiに対し、第１成分Ui(l)、第２成分Vi(l)に分離する場合について説明する。ここで、添字i（i=0〜I）は多重解像度分解の段階数、l(l=0〜L)は反復回数を表す。
【０２０２】
初めに、l=0の反復においては、第１成分を保持する第１バッファ３０２、第２成分を保持する第２バッファ３０３に対する初期化のみ行う。初期化部３０１はバッファ１０６から原画像信号Fに対する高周波成分Hiを取得する。初期化部３０１は取得した高周波成分Hiを第１バッファ３０２へ転送し、第１バッファ３０２はこれを記録する。同時に初期化部３０１の制御により第２バッファの値を全て零にクリアする。
【０２０３】
次にl回目（l≠0）における処理を行う。まず、第１差分算出部３０４は、バッファ１０６より原画像信号Fの高周波成分Hiを、第２バッファ３０３より、第２成分Vi(l-1)を取得し、式（１８）に基づき第１の差分成分S1i(l)（第１の差分値）を算出する。なお、l=1の場合、Vi(l-1) =Vi(0)=0である。
【０２０４】
【数１８】
【０２０５】
算出した第１の差分成分S1i(l)は、第２ノイズ低減部３１０へ転送される。
【０２０６】
第２ノイズ低減部３１０では第１の差分成分S1i(l)に対し、式（１７）に基づくコアリング処理（軟判定閾値処理）を行う。コアリング処理後の第１の差分成分S1i(l)'は、第１転送制御部３０８の制御により、第１バッファ３０２へ転送される。コアリング処理後の第１の差分成分S1i(l)'を、第１成分Ui(l)として、バッファに記録されている第１成分Ui(l-1)に上書きすることにより、第１成分が補正・更新される（Ui(l)= S1i(l)'）。なお、l=1の場合、Ui(l-1)=Ui(0)= Hiである。
【０２０７】
次に、第２差分算出部３０９は、バッファ１０６より高周波成分Hiを、第１バッファ３０２より第１成分Ui(l)を取得し、式（１９）に基づき第２の差分成分S2i(l)（第２の差分値）を算出する。
【０２０８】
【数１９】
【０２０９】
算出した第２の差分成分S2i(l)は第２ノイズ低減部３１０へ転送される。第２ノイズ低減部３１０は、第２の差分成分S2i(l)に対し、式（１７）に基づくコアリング処理（軟判定閾値処理）を行う。
【０２１０】
次に、第３差分算出部３１１は、バッファ１０６より高周波成分Hiを、第１バッファ３０２より第１成分Ui(l)を、第２ノイズ低減３１０よりコアリング処理後の第２の差分成分S2i(l)'を取得する。第３差分算出部３１１は、式（２０）に基づき第３の差分成分S3i(l)（第３の差分値）を算出する。
【０２１１】
【数２０】
【０２１２】
第３の差分成分S3i(l)は、第２ノイズ低減部３１０がコアリング処理により第２の差分成分S2i(l)から除去したノイズ分に相当する。第３差分算出部３１１にて算出された第３の差分成分S3i(l)は、第２転送制御部３１２の制御により、第２バッファ３０３へ転送される。この第３の差分成分S3i(l)は、第２成分Vi(l)として、第２バッファ３０３に記録されている第２成分Vi(l-1)に上書きされることにより、第２成分が補正・更新される（Vi(l)= S3i(l)）。なお、l=1の場合、Vi(l-1)= Vi(0)= 0である。
【０２１３】
以上のようにl回目の反復において、高周波成分Hiは第１成分Ui(l)、第２成分Vi(l)に分解される。反復回数がＬ回目に達した場合、第１バッファ３０２に保持される第１成分Ui(L)、及び、第２バッファ３０３に保持される第２成分Vi(L)を最終的な出力とし、合成部１０８へ転送する。
【０２１４】
第２の実施形態も、第１の実施形態と同様の作用効果が得られる。ただし、第２の実施形態は、モノクロの原画像信号に適した構成となっており、多段階コアリング処理は、単一のコアリング範囲を有する通常のコアリング処理に置き換えられている。このため、第１の実施形態に比較して、成分分離部の構成が単純化できる。
【０２１５】
＜第２の実施形態の変形例＞
上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば撮像素子１０００からの原画像信号を未処理のままメモリカード等の記録媒体に記録する。さらに、撮像条件などの付随情報（例えば、ISO感度などの撮像条件など）をヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０２１６】
図１２を参照して、画像処理プログラム（成分抽出補正プログラム）による処理のメインルーチンを説明する。
【０２１７】
最初に、原画像信号Fや、露光条件、画像処理条件などのヘッダ情報を読み込む（ステップＳ２３）。次に、原画像信号を分解の段階数ｉの解像度分解を行い、高周波成分と低周波成分とを取得する（ステップＳ０２）。
【０２１８】
次に、分解の段階数を示す変数ｉを０に初期化する（ステップＳ０３）。次に、分解の段階数iを１増分する（ステップＳ０４）。次に、反復処理の繰返し回数を示す変数lを０に初期化する（ステップＳ０５）。次に、第１成分を保持するための第１バッファと、第２成分を保持するための第２バッファの初期化を行う（ステップＳ０６）。次に、繰返し回数lを１増分する（ステップＳ０７）。
【０２１９】
次に、式（１８）に基づいて、第１の差分成分S1i(l)を算出する（ステップＳ２４）。次に、ステップＳ２４にて算出した第１の差分成分S1i(l)に対し、式（１７）に基づいて、単一のコアリング範囲を有するコアリング処理（軟判定閾値処理）を行う（ステップＳ２５）。次に、ステップＳ２５の結果S1i(l)'を第１バッファに上書き記録することで、第１成分を更新する（ステップＳ１１）。
【０２２０】
次に、式（１９）に基づく第２の差分成分S2i(l)を算出する（ステップＳ２６）。次に、ステップＳ２６にて算出した第２の差分成分S2i(l)に対し、式（１７）に基づいて、単一のコアリング範囲を有するコアリング処理（軟判定閾値処理）を行う（ステップＳ１３）。
【０２２１】
次に、式（２０）に基づいて第３の差分成分S3i(l)を算出する（ステップＳ２７）。次に、ステップＳ２７の結果S3i(l)を第２バッファに上書き記録することで、第２成分を更新する（ステップＳ１５）。
【０２２２】
次に、ｌを参照し、反復回数を判定する。ｌが予め設定された所定の反復回数Ｌに達した場合、ステップＳ１９へ進む。ｌがＬ未満の場合、ステップＳ０７へ戻り、処理を繰り返す（ステップＳ１８）。
【０２２３】
次に、iを参照し、iが予め設定された所定の多重解像度レベルＩに達した場合、ステップＳ２０へ進む。iがＩ以下の場合、ステップＳ０４へ戻り、処理を繰り返す（ステップＳ１９）。
【０２２４】
次に、低周波成分と高周波成分に含まれる第１成分、及び高周波成分に含まれる第２成分とを用いて、Ｉ段階の多重解像度合成を行い、原画像信号Fに対する第１成分U、及び第２成分Vを生成する（ステップＳ２０）。次に、第１成分Uと第２成分Vそれぞれに対し、所定の信号処理を行う（ステップＳ２１）。次に、信号処理された第１成分U'と第２成分V'の合成処理を行う（ステップＳ２２）。最後に公知の圧縮処理などを行った後、出力し、一連の処理を終了する。
【０２２５】
この第２の実施形態の変形例も、第２の実施形態の作用効果が得られるが、さらに特別なハードウェアを必要とせず簡便に成分抽出補正処理が行える利点がある。
【０２２６】
＜第３の実施形態＞
図１４を参照して、本発明の第３の実施形態に係る成分抽出補正装置ついて説明する。なお、第３の実施形態に係る成分抽出補正装置は、第１の実施形態と同様の構成の部分には、同じ符号を付し、第１の実施形態と異なる構成について主に説明する。
【０２２７】
第３の実施形態に係る成分抽出補正装置は、デジタルカメラやデジタルビデオカメラ等の撮像装置（撮像用電子機器）に搭載されるものとして第３の実施形態を説明する。しかし、本発明はこれに限定されることなく適用可能である。
【０２２８】
撮像装置は、システムコントローラ１００（制御部）、光学系１０１、撮像素子１０２、A/D１０３、補間部１０４、成分分離部１５０１、第１信号処理部１０９、第２信号処理部１１０、成分合成部１１１、出力部１１２を備える。上記各部を、論理回路から構成してよいし、ＣＰＵ（中央演算処理装置）と、演算プログラムを格納するメモリ等から構成してもよい。本実施形態の成分抽出補正装置は成分分離部１５０１から構成される。
【０２２９】
撮像素子１０２は、A/D１０３を介して補間部１０４へ接続されている。補間部１０４は、成分分離部１５０１へ接続されている。成分分離部１５０１は、第１信号処理部１０９、及び第２信号処理部１１０を介して成分合成部１１１へ接続されている。成分合成部１１１は出力部１１２へ接続されている。各処理部はシステムコントローラ１００に接続しており、システムコントローラ１００により動作を制御される。
【０２３０】
撮像素子１０２は、システムコントローラ１００の制御に基づき、光学系１０１を通して撮像素子１０２面上に結像した光学像をアナログ画像信号として出力する。
【０２３１】
アナログ画像信号は、A/D１０３へ転送される。A/D１０３は、アナログ画像信号をデジタル信号に変換し、補間部１０４へ転送する。
【０２３２】
補間部１０４は、デジタル信号に対し、所定のデモザイク処理を施し、カラー三板画像信号（以下、原画像信号Fと呼ぶ）を生成する。本実施形態において、原画像信号Fは、R（赤）、G（緑）、B（青）の色信号により構成されている。以降、R（赤）、G（緑）、B（青）の色信号をそれぞれFr、Fg、Fbと呼ぶこととする。原画像信号Fは、成分分離部１５０１へ転送される。
【０２３３】
成分分離部１５０１は、原画像信号Ｆを第１成分、及び第２成分に分解する。第１の実施形態においては、多重解像度分解処理により生成された各高周波成分に対し、第１ノイズ低減部３０７による第１の補正処理により第１成分、第２ノイズ低減部３１０と第３差分算出部３１１による第２の補正処理により第２成分を生成した後、それぞれの成分を各周波数帯域に渡り合成することで、原画像信号Ｆに対する第１成分、及び第２成分を生成した。
【０２３４】
本実施形態においては、多重解像度分解処理により生成した各高周波成分に対し、第１ノイズ低減部３０７による多段階コアリング処理により、各高周波成分に対する第１成分を生成する。この第１成分を各周波数帯域に渡り合成することで原画像信号に対する第１成分を生成した後、原画像信号と原画像信号に対する第１成分との差分信号を算出する。算出した差分信号に対し第２ノイズ低減部３１０による軟判定閾値処理を行うことで、原画像信号に対する第２成分を生成する。なお、成分分離の詳細は後述する。生成した第１成分Uは、第１信号処理部１０９へ、第２成分Vは第２信号処理部１１０へ転送される。
【０２３５】
第１信号処理部１０９は、合成部１０８から原画像信号Fに対する第１成分Uを読み込み、所定の信号処理を実施する。本実施形態では、原画像信号Fに対する第１成分Uに対し、階調変換を実施する。階調変換後の第１成分U'は、成分合成部１１１へ転送される。第１信号処理部１０９は、その他、γ補正等の階調変換を行ってもよい。
【０２３６】
第２信号処理部１１０は、合成部１０８から第２成分Vを読み込み、所定の信号処理を実施する。本実施形態では、第２成分Vに対しノイズ低減処理、及びゲインの乗算による鮮鋭化処理を行う。処理後の第２成分V'は成分合成部１１１へ転送される。
【０２３７】
成分合成部１１１は、第１信号処理部１０９で処理された第１成分U’、及び第２信号処理部１１０で処理された第２成分V’とを所定の比率で合成し、合成成分F'を得る。所定の比率は、例えば1:1の比率である。合成成分F'は出力部１１２へ転送され、フラッシュメモリ等で構成される記憶メディアへ記録される。
【０２３８】
次に、図１５を参照して、成分分離部１５０１の動作の詳細について説明する。
【０２３９】
成分分離部１５０１は、バッファ１５０２、初期化部３０１、第１バッファ３０２、第２バッファ３０３、第１差分算出部１５０３、多重解像度分解部１０５、第１ノイズ低減部３０７、多重解像度合成部１０８、第１転送制御部３０８、第１バッファ３０２、第２差分算出部１５０４、第２ノイズ低減部３１０、第２転送制御部３１２を含んでいる。
【０２４０】
補間部１０４はバッファ１５０２に接続されている。バッファ１５０２は、初期化部３０１、第１差分算出部１５０３、第２差分算出部１５０４に接続されている。初期化部３０１は第１バッファ３０２（第１記憶部）、第２バッファ３０３（第２記憶部）に接続されている。
【０２４１】
第２バッファ３０３は、第１差分算出部１５０３、第２信号処理部１１０に接続されている。第１差分算出部１５０３は、多重解像度分解部１０５に接続されている。多重解像度分解部１０５は第１ノイズ低減部３０７、多重解像度合成部１０８に接続されている。第１ノイズ低減部３０７は、多重解像度合成部１０８に接続されている。多重解像度合成部１０８は第１転送制御部３０８に接続されている。第１転送制御部３０８は、第１バッファ３０２に接続されている。第１バッファ３０２は、第２差分算出部１５０４、第１信号処理部１０９に接続されている。第２差分算出部１５０４は、第２ノイズ低減部３１０に接続されている。第２ノイズ低減部３１０は第２転送制御部３１２に接続されている。第２転送制御部３１２は第２バッファ３０３に接続されている。
【０２４２】
成分分離部１５０１では、補間部１０４から各色信号に対する原画像信号を取得し、第１成分、第２成分への分解を行う。この分解は、所定のノイズ低減処理、差分算出処理の反復処理により行われる。制御部としてのシステムコントローラ１００は、ノイズ低減処理、差分算出処理の動作の繰り返しを制御する。
【０２４３】
本実施形態において、バッファ１５０２が原画像信号を保持するバッファメモリ、第１バッファ３０２が第１成分を保持するバッファメモリ、第２バッファ３０３が第２成分を保持するバッファメモリとなっている。
【０２４４】
ノイズ低減処理、差分処理を反復する度に、第１バッファ３０２、第２バッファ３０３に保持される第１成分、第２成分は随時更新され、分解精度が向上し、最適化がなされる。所定の反復回数Ｌに達した段階で、第１バッファ３０２、第２バッファ３０３にそれぞれ記録された第１成分（後述のUk(L)）、第２成分（後述のVk(L)）は、それぞれ第１信号処理部１０９、第２信号処理部１１０へ転送される。
【０２４５】
なお、本実施形態において、成分抽出補正装置の抽出部は、第１差分算出部１５０３から構成されるが、これに限定されるものではない。例えば、最初の多段階コアリング処理に対しては、初期化部３０１と第１差分算出部１５０３が、抽出部として機能する。本実施形態において、抽出部は、原画像信号のうち補正前の第１成分（骨格成分）、即ち原画像信号から第２成分を減算した差分成分を抽出するものである。
【０２４６】
また、本実施形態において、第１成分（骨格成分）を補正する第１の補正処理を行う第１補正部は、第１ノイズ低減部３０７から構成される。また、骨格成分以外の一の成分（第２成分）を補正する第２の補正処理を行う第２補正部は、第２ノイズ低減部３１０から構成される。ただし第１の実施形態において第２ノイズ低減部３１０は多重解像度分解に基づく帯域信号（高周波成分）に対し処理を行っていたが、本実施形態においては原画像信号から、原画像信号に対する第１成分を減算した差分成分に対する処理となっている。
【０２４７】
以下に例として、色信号Ｆkに対して、第１成分Uk(l)と第２成分Vk(l)に分離する場合について説明する。ここで、添字k（=r,g,b）は色を表す記号である。k=rはＲ信号、k=gはＧ信号、k=bはＢ信号を表す。l(l=0〜L)は反復回数を表す。また、補間部１０４により生成した色信号Ｆkは予めバッファ１５０２へ記録される。
【０２４８】
初めに、l=0の反復においては、第１成分を保持する第１バッファ３０２、第２成分を保持する第２バッファ３０３に対する初期化を行う。初期化部３０１は、バッファ１５０２から色信号Fr、Fg、Fbを取得し、第１バッファ３０２にこれを記録する。同時に初期化部３０１の制御により第２バッファの値を全て零にクリアする。
【０２４９】
このように初期化することで、適切に第１成分と第２成分が計算できる。なお、l=0の場合に、初期化部３０１と第１差分算出部１５０３は、帯域信号を構成する複数の成分のうち第１成分（骨格成分）を抽出する抽出部として機能している。
【０２５０】
次にl回目（l≠0）における成分抽出・補正処理の説明を行う。この処理は色信号毎に対し独立に行われるわけではない。１回の反復処理（例えばl回目の処理）において、全色信号（k=r,g,b）に対する処理が１回なされた後、次の反復処理（ｌ＋１回目の処理）が行われる。
【０２５１】
まず、第１差分算出部１５０３は、バッファ１５０２より色信号Fkを、第２バッファ３０３より第２成分Vk(l-1)を取得し、式（２１）に基づき第１の差分成分S1k(l) （第１の差分値）を算出する。
【０２５２】
【数２１】
【０２５３】
算出した第１の差分成分S1k(l)は、多重解像度分解部１０５へ転送される。多重解像度分解部１０５ではS1k(l)を第１の実施形態と同様に複数の周波数帯域に分解する。分解した第１の差分成分の周波数成分のうち、高周波成分S1ki(l)を第１ノイズ低減部３０７へ、低周波成分（直流成分）を多重解像度合成部１０８へ転送する。ここで添字i（i=0〜I）は多重解像度分解の段階数を表す。
【０２５４】
第１ノイズ低減部３０７は、第１の差分成分の高周波成分S1ki(l)に対し、第１の実施形態と同様の手法により色信号間の色和、色差を考慮した複数のコアリング範囲を持つ多段階コアリング処理を行う。多段階コアリング処理後の第１の差分成分の高周波成分S1ki(l)'は、多重解像度合成部１０８へ転送される。多段階コアリング処理は全ての段階i（i=0〜I）における高周波成分S1ki(l)に対して行われる。多重解像度合成部１０８では、多重解像度分解部１０５、及び第１ノイズ低減部３０７からの、第１の差分成分の低周波成分（直流成分）、及び多段階コアリング後の高周波成分S1ki(l)'に基づき、第１の実施形態と同様の処理により多重解像度合成処理を行う。合成した成分は第１転送制御部３０８の制御により、第１成分Uk(l)として、第１バッファ３０２に記録されている第１成分Uk(l-1)に上書きすることにより、第１成分が補正・更新される。
【０２５５】
次に、第２差分算出部１５０４は、バッファ１５０２より原画像信号Fkを、第１バッファ３０２より第１成分Uk(l)を取得し、式（２２）に基づき第２の差分成分S2k(l) （第２の差分値）を算出する。
【０２５６】
【数２２】
【０２５７】
算出した第２の差分成分S2k(l)は第２ノイズ低減部３１０へ転送される。
【０２５８】
第２ノイズ低減部３１０では第２の差分成分S2k(l)に対し、第１の実施形態と同様の手法により、コアリング範囲を１つ持つ一般的なコアリング処理（軟判定閾値処理）を行う。ただし、コアリング対象の信号は第１の実施形態とは異なり、原空間における原画像信号Ｆと第１成分Ｕとの差分信号であるため、原画像信号Ｆの画素と同じ個数分だけ画素毎にコアリング処理を行えば良い。コアリング処理後の差分成分S2k(l)'は第２転送制御部３１２の制御により、第２バッファ３０３へ転送される。この差分成分を、第２成分Vk(l)として、バッファに記録されている第２成分Vk(l-1)に上書きすることにより、第２成分が補正・更新される（Vk(l)= S2k(l)'）。
【０２５９】
以上の処理は各色信号（k=r,g,b）に関して適用される。ｌ回目の反復において、全色信号に関して処理が完了した時点でｌ回目の反復が完了する。
【０２６０】
反復回数がＬ回目に達した場合、第１バッファ３０２、及び第２バッファ３０３に保持される第１成分Uk(L)、第２成分Vk(L)が、最終的な出力として、それぞれ第１信号処理部１０９、第２信号処理部１１０へ転送される。
【０２６１】
なお、本実施形態においては反復回数を所定回数Ｌに予め設定したが、分解精度に応じて可変とする構成としても良い。例えば、ｌ回目の第１成分Uki(l)とl-1回目のUki(l-1)との差分の絶対値、またはｌ回目の第１成分Vk(l)とl-1回目のVk(l-1)との差分の絶対値が所定の閾値以下となった場合に、反復処理を停止する構成としてもよい。これにより、反復による第１成分又は第２成分変化がほとんどなくなった場合に、反復処理を停止する。
【０２６２】
なお、本実施形態においては、反復処理を行っているが、l=0回目の初期化処理以降の反復処理を行わず、l=1回目の処理のみ行う構成としても良い。
【０２６３】
第３の実施形態も、第１の実施形態と同様の作用効果が得られる。ただし、第３の実施形態における第１成分の補正処理（第１ノイズ低減部３０７における多段階コアリング処理）は多重解像度分解に基づく第１の差分成分（S1ki(l)）の各高周波成分に対する処理であり、第２成分の補正処理（第２ノイズ低減部３１０における軟判定閾値処理）は第２の差分成分（S2k(l)）に対する処理となっている。第２成分の補正処理は、多重解像度領域ではなく、原空間領域での処理となっており、第１の実施形態と比較し第２成分を記録する第２バッファ３０３のバッファ容量を抑えることができる。（第１の実施形態では、多重解像度の段階数に応じて、帯域信号に対する第２成分の記録用の第２バッファ３０３のバッファ容量が増えることになる。）
【０２６４】
なお、本実施形態では、第１の実施形態と同様に第1ノイズ低減部３０７、第２ノイズ低減部３１０において、多段階コアリング処理、軟判定閾値処理によるノイズ低減を行っているが、これに限定されるものではなく、他の所定のノイズ低減処理に代替可能である。例えば線形フィルタ、非線形フィルタ処理（メディアンフィルタ、バイラテラルフィルタ、非線形拡散型フィルタ）や、他の様々な変換関数によるＳｈｒｉｎｋａｇｅ処理による、適応的な平滑化処理を行っても良い。
【０２６５】
例えば、第1ノイズ低減部３０７における多段階コアリング処理を、第２ノイズ低減部３１０における軟判定閾値処理と置換える（第２ノイズ低減部３１０において、第１、第２の差分成分に対する軟判定閾値処理を行う）ことで、処理構成を簡便にすることが可能である。
【０２６６】
なお、本実施形態では、Harr基底による直交ウェーブレット変換を行っているが、第１の実施形態と同様に、双直交ウェーブレット基底等も含め、全てのウェーブレット基底が適用可能である。また、サブサンプリングを行わないタイプの（各レベルの各ウェーブレット係数が入力画素と同じ数になるよう）冗長性を持たせたウェーブレット変換（Stationary wavelet transform等）を適用することも可能である。
【０２６７】
＜第３の実施形態の変形例＞
上述ではハードウェアによる処理を前提としていたが、このような構成に限定されるものでもない。例えば、撮像素子１０２からの原画像信号を未処理のままのRawデータとしてメモリカード等の記録媒体に記録する。さらに、撮像条件などの付随情報（例えば、ISO感度などの撮像条件など）をRawデータのヘッダ情報として記録媒体に記録しておく。そして、別途のソフトウェアである画像処理プログラムをコンピュータに実行させて、記録媒体の情報をコンピュータに読み取らせ、処理することも可能である。なお、撮像部からコンピュータへの各種情報の伝送は、記録媒体を介して行うに限らず、通信回線等を介して行うようにしても構わない。
【０２６８】
図１６を参照して、画像処理プログラム（成分抽出補正プログラム）による処理のメインルーチンを説明する。
【０２６９】
最初に、Raw画像や、露光条件、画像処理条件などのヘッダ情報を読み込むとともに、Raw画像に基づき所定の補間処理により、３色の色信号で構成される原画像信号Fを生成する。（ステップＳ０１）。
【０２７０】
次に、反復処理の繰返し回数を示す変数lを０に初期化する（ステップＳ０５）。次に、第１成分を保持するための第１バッファと、第２成分を保持するための第２バッファの初期化を行う（ステップＳ０６）。次に、繰返し回数lを１増分する（ステップＳ０７）。
【０２７１】
次に、式（２１）に基づいて第１の差分成分を算出する（ステップＳ２８）。次に、第１の差分成分に対し分解の段階数Ｉの多重解像度度分解を行い、高周波成分と低周波成分とを取得する（ステップＳ２９）。次に、ステップＳ２９にて算出した高周波成分に対し、多段階コアリング処理を行う（ステップＳ１０）。
【０２７２】
次に、第１の差分成分の低周波成分と多段階コアリング処理後の高周波成分を用いて、Ｉ段階の多重解像度合成を行い、原画像信号に対する第１成分Uを生成する（ステップＳ３０）。次に、ステップＳ３０の結果を第１バッファに上書き記録することで、第１成分を更新してUk(l)の値を設定する（ステップＳ１１）。
【０２７３】
次に、式（２２）に基づく第２の差分成分を算出する（ステップＳ３１）。次に、ステップＳ３１にて算出した第２の差分成分に対し、コアリング処理（軟判定閾値処理）を行う（ステップＳ１３）。次に、ステップＳ１３の結果を第２バッファに上書き記録することで、第２成分を更新してVk(l)の値を設定する（ステップＳ１５）。
【０２７４】
次に、ｌを参照し、反復回数を判定する。ｌが予め設定された所定の反復回数Ｌに達した場合、ステップＳ２１へ進む。ｌがＬ未満の場合、ステップＳ０７へ戻り、処理を繰り返す（ステップＳ１８）。
【０２７５】
次に、第１成分U、及び第２成分Vそれぞれに対し、所定の信号処理を行う（ステップＳ２１）。次に、信号処理された第１成分U'と第２成分V'を合成するよう成分合成処理を行う（ステップＳ２２）。最後に公知の圧縮処理などを行った後、出力し、一連の処理を終了する。
【０２７６】
この第３の実施形態の変形例も、第３の実施形態と同様の作用効果が得られるが、特別なハードウェアを必要とせず簡便に成分抽出補正処理が行える利点がある。
【０２７７】
本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【図面の簡単な説明】
【０２７８】
【図１】第１の実施形態に係る成分抽出補正装置を搭載した撮像用電子機器の構成図である。
【図２】第１の実施形態に係る多重解像度分解部の構成図である。
【図３】第１の実施形態に係る成分分離部の構成図である。
【図４】第１の実施形態に係る第1ノイズ低減部の構成図である。
【図５】多段階コアリング処理の変換関数を示す図である。
【図６】第１の実施形態に係る第２ノイズ低減部の構成図である。
【図７】コアリング処理（軟判定閾値処理）の変換関数を示す図である。
【図８】第１の実施形態に係る多重解像度合成部の構成図である。
【図９】第１の実施形態の変形例に係る処理を示すフローチャートである。
【図１０】第２の実施形態に係る成分抽出補正装置を搭載した撮像用電子機器の構成図である。
【図１１】第２の実施形態に係る成分分離部の構成図である。
【図１２】第２の実施形態の変形例に係る処理を示すフローチャートである。
【図１３】（ａ）原画像信号の例と原画像の例を示す図である。（ｂ）骨格成分の例と、その画像例を示す図である。（ｃ）骨格成分以外の成分の例と、その成分画像の例を示す図である。
【図１４】第３の実施形態に係る成分抽出補正装置を搭載した撮像用電子機器の構成図である。
【図１５】第３の実施形態に係る成分分離部の構成図である。
【図１６】第３の実施形態の変形例に係る処理を示すフローチャートである。
【符号の説明】
【０２７９】
１０５ 分解部
３０１ 初期化部
３０４ 第１差分算出部
３０７ 第１ノイズ低減部
３０８ 第１転送制御部
３０９ 第２差分算出部
３１０ 第２ノイズ低減部
３１１ 第３差分算出部
３１２ 第２転送制御部
【特許請求の範囲】
【請求項１】
原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解部と、
前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出部と、
前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正部と、
前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正部と、
を備えることを特徴とする成分抽出補正装置。
【請求項２】
前記一の成分は、前記帯域信号の局所的な構造を表す成分であることを特徴とする請求項１に記載の成分抽出補正装置。
【請求項３】
前記第１補正部は、前記帯域信号から前記一の成分を減じて得た第１の差分値を用いて、前記第１の補正処理を行うことを特徴とする請求項１または２に記載の成分抽出補正装置。
【請求項４】
前記第２補正部は、前記帯域信号から前記補正された骨格成分を減じて得た第２の差分値を用いて、前記第２の補正処理を行うことを特徴とする請求項１から３のいずれか一つに記載の成分抽出補正装置。
【請求項５】
前記第２補正部は、前記第２の差分値と所定の閾値を比較することで得た指標値を算出し、前記第２の差分値から前記指標値を減じて得た第３の差分値を前記補正した一の成分とすることを特徴とする請求項４に記載の成分抽出補正装置。
【請求項６】
前記分解部は前記複数の帯域信号を色信号ごとに生成し、
前記抽出部は色信号ごとに生成された帯域信号を用いて、前記骨格成分を色信号ごとに抽出し、
前記第１補正部は前記第１の補正処理として、色信号ごとに生成された前記帯域信号を用いて、前記抽出された骨格成分を補正し、
前記第２補正部は前記第２の補正処理として、前記補正された骨格成分を用いて、色信号ごとに前記一の成分を補正することを特徴とする請求項１に記載の成分抽出補正装置。
【請求項７】
前記第１補正部による前記第１の補正処理、および前記第２補正部による前記第２の補正処理の動作の繰り返しを制御する制御部と、
前記制御部により前記第１の補正処理が繰り返される場合、前記第１補正部は、前記第２の補正処理により得た前記補正された一の成分を用いて、前記第１の補正処理を行うことを特徴とする請求項１から６のいずれか一つに記載の成分抽出補正装置。
【請求項８】
前記抽出部は、前記帯域信号の構造を表す骨格成分を帯域信号ごとに抽出するものであり、前記第１補正部は、帯域信号ごとに前記抽出された骨格成分を帯域信号ごとに補正するものであって、
帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号の大局的な構造を示す骨格成分を生成する合成部をさらに備えることを特徴とする請求項１から７のいずれか一つに記載の成分抽出補正装置。
【請求項９】
前記抽出部は、前記帯域信号の構造を表す骨格成分を帯域信号ごとに抽出するものであり、前記第１補正部は、その帯域信号ごとに抽出された骨格成分を帯域信号ごとに補正するものであり、前記第２補正部は、その帯域信号ごとに補正された前記骨格成分を用いて帯域信号ごとに前記一の成分を補正するものであって、
帯域信号ごとに補正された前記一の成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号の局所的な構造を示す成分を生成する合成部をさらに備えることを特徴とする請求項１から７のいずれか一つに記載の成分抽出補正装置。
【請求項１０】
前記第１補正部が補正した骨格成分を記憶する第１記憶部と、
前記第２補正部が補正した一の成分を記憶する第２記憶部と、
一回目の前記第１の補正処理の前に、前記第１記憶部が記憶する骨格成分をゼロに設定し、前記第２記憶部が記憶する一の成分を帯域信号に設定する初期化部と、
を備えることを特徴とする請求項１に記載の成分抽出補正装置。
【請求項１１】
前記第１補正部は、
前記帯域信号から前記一の成分を減じて得た第１の差分値に対して、複数のコアリング範囲を設定し、
前記第１の差分値に対して前記複数のコアリング範囲に基づきコアリング処理を行った結果を前記補正された骨格成分とすることを特徴とする請求項１に記載の成分抽出補正装置。
【請求項１２】
前記第１補正部は、
前記第１の差分値がいずれかのコアリング範囲に属する場合に、前記第１の差分値をそのコアリング範囲に対応した固定値に変換し、
前記第１の差分値がいずれのコアリング範囲にも属さない場合に、前記第１の差分値を変換関数に基づいて変換することを特徴とする請求項１１に記載の成分抽出補正装置。
【請求項１３】
前記第２補正部は、
前記帯域信号から前記補正された骨格成分を減じて得た第２の差分値に対して、単一のコアリング範囲を設定し、
前記第２の差分値に対して前記単一のコアリング範囲に基づきコアリング処理を行った結果に応じて前記一の成分を補正することを特徴とする請求項１に記載の成分抽出補正装置。
【請求項１４】
前記第２補正部は、
前記第２の差分値が前記単一のコアリング範囲に属する場合に、前記第２の差分値を所定の固定値に変換し、
前記第２の差分値がいずれのコアリング範囲にも属さない場合に、前記第２の差分値を変換関数に基づいて変換することを特徴とする請求項１３に記載の成分抽出補正装置。
【請求項１５】
前記分解部は、ウェーブレット変換により前記原画像信号を前記複数の周波数帯域に分解することを特徴とする請求項１から１４のいずれか一つに記載の成分抽出補正装置。
【請求項１６】
前記第１補正部は、前記補正された骨格成分が平坦成分とエッジ成分を含むよう前記骨格成分を補正することを特徴とする請求項１から１５のいずれか一つに記載の成分抽出補正装置。
【請求項１７】
原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出部と、
前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解部と、
前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正部と、
前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成部と、
前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正部と、
を備えることを特徴とする成分抽出補正装置。
【請求項１８】
前記成分抽出補正装置は、前記抽出部による抽出処理、前記分解部による分解処理、前記第１補正部による前記第１の補正処理、前記合成部による合成処理、および前記第２補正部による前記第２の補正処理の動作の繰り返しを制御する制御部を備え、
前記制御部により前記抽出部による抽出処理が繰り返される場合、前記抽出部は、前記第２補正部により得た前記一の成分と、前記原画像信号を用いて、前記抽出処理を行うことを特徴とする請求項１７に記載の成分抽出補正装置。
【請求項１９】
前記抽出部は、前記原画像信号から前記一の成分を減じて得た差分値を用いて、前記原画像信号に対する前記骨格成分の抽出を行うことを特徴とする請求項１７または１８に記載の成分抽出補正装置。
【請求項２０】
前記一の成分は、前記原画像信号の局所的な構造を表す成分であることを特徴とする請求項１７から１９のいずれか一つに記載の成分抽出補正装置。
【請求項２１】
前記分解部は、ウェーブレット変換により前記原画像信号を前記複数の周波数帯域に分解することを特徴とする請求項１７から２０のいずれか一つに記載の成分抽出補正装置。
【請求項２２】
前記第１補正部は、前記補正された骨格成分が平坦成分とエッジ成分を含むよう前記骨格成分を補正することを特徴とする請求項１７から２1のいずれか一つに記載の成分抽出補正装置。
【請求項２３】
請求項１から２２のいずれか一つに記載する成分抽出補正装置を備えた電子機器。
【請求項２４】
原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解ステップと、
前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出ステップと、
前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正ステップと、
前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正ステップと、
を含むことを特徴とする成分抽出補正方法。
【請求項２５】
コンピュータに、
原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解手順と、
前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出手順と、
前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正手順と、
前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正手順と、
を実行させることを特徴とする成分抽出補正プログラム。
【請求項２６】
原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出ステップと、
前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解ステップと、
前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正ステップと、
前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成ステップと、
前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正ステップと、
を含むことを特徴とする成分抽出補正方法。
【請求項２７】
コンピュータに、
原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出手順と、
前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解手順と、
前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正手順と、
前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成手順と、
前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正手順と、
を実行させることを特徴とする成分抽出補正プログラム。
【請求項１】
原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解部と、
前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出部と、
前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正部と、
前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正部と、
を備えることを特徴とする成分抽出補正装置。
【請求項２】
前記一の成分は、前記帯域信号の局所的な構造を表す成分であることを特徴とする請求項１に記載の成分抽出補正装置。
【請求項３】
前記第１補正部は、前記帯域信号から前記一の成分を減じて得た第１の差分値を用いて、前記第１の補正処理を行うことを特徴とする請求項１または２に記載の成分抽出補正装置。
【請求項４】
前記第２補正部は、前記帯域信号から前記補正された骨格成分を減じて得た第２の差分値を用いて、前記第２の補正処理を行うことを特徴とする請求項１から３のいずれか一つに記載の成分抽出補正装置。
【請求項５】
前記第２補正部は、前記第２の差分値と所定の閾値を比較することで得た指標値を算出し、前記第２の差分値から前記指標値を減じて得た第３の差分値を前記補正した一の成分とすることを特徴とする請求項４に記載の成分抽出補正装置。
【請求項６】
前記分解部は前記複数の帯域信号を色信号ごとに生成し、
前記抽出部は色信号ごとに生成された帯域信号を用いて、前記骨格成分を色信号ごとに抽出し、
前記第１補正部は前記第１の補正処理として、色信号ごとに生成された前記帯域信号を用いて、前記抽出された骨格成分を補正し、
前記第２補正部は前記第２の補正処理として、前記補正された骨格成分を用いて、色信号ごとに前記一の成分を補正することを特徴とする請求項１に記載の成分抽出補正装置。
【請求項７】
前記第１補正部による前記第１の補正処理、および前記第２補正部による前記第２の補正処理の動作の繰り返しを制御する制御部と、
前記制御部により前記第１の補正処理が繰り返される場合、前記第１補正部は、前記第２の補正処理により得た前記補正された一の成分を用いて、前記第１の補正処理を行うことを特徴とする請求項１から６のいずれか一つに記載の成分抽出補正装置。
【請求項８】
前記抽出部は、前記帯域信号の構造を表す骨格成分を帯域信号ごとに抽出するものであり、前記第１補正部は、帯域信号ごとに前記抽出された骨格成分を帯域信号ごとに補正するものであって、
帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号の大局的な構造を示す骨格成分を生成する合成部をさらに備えることを特徴とする請求項１から７のいずれか一つに記載の成分抽出補正装置。
【請求項９】
前記抽出部は、前記帯域信号の構造を表す骨格成分を帯域信号ごとに抽出するものであり、前記第１補正部は、その帯域信号ごとに抽出された骨格成分を帯域信号ごとに補正するものであり、前記第２補正部は、その帯域信号ごとに補正された前記骨格成分を用いて帯域信号ごとに前記一の成分を補正するものであって、
帯域信号ごとに補正された前記一の成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号の局所的な構造を示す成分を生成する合成部をさらに備えることを特徴とする請求項１から７のいずれか一つに記載の成分抽出補正装置。
【請求項１０】
前記第１補正部が補正した骨格成分を記憶する第１記憶部と、
前記第２補正部が補正した一の成分を記憶する第２記憶部と、
一回目の前記第１の補正処理の前に、前記第１記憶部が記憶する骨格成分をゼロに設定し、前記第２記憶部が記憶する一の成分を帯域信号に設定する初期化部と、
を備えることを特徴とする請求項１に記載の成分抽出補正装置。
【請求項１１】
前記第１補正部は、
前記帯域信号から前記一の成分を減じて得た第１の差分値に対して、複数のコアリング範囲を設定し、
前記第１の差分値に対して前記複数のコアリング範囲に基づきコアリング処理を行った結果を前記補正された骨格成分とすることを特徴とする請求項１に記載の成分抽出補正装置。
【請求項１２】
前記第１補正部は、
前記第１の差分値がいずれかのコアリング範囲に属する場合に、前記第１の差分値をそのコアリング範囲に対応した固定値に変換し、
前記第１の差分値がいずれのコアリング範囲にも属さない場合に、前記第１の差分値を変換関数に基づいて変換することを特徴とする請求項１１に記載の成分抽出補正装置。
【請求項１３】
前記第２補正部は、
前記帯域信号から前記補正された骨格成分を減じて得た第２の差分値に対して、単一のコアリング範囲を設定し、
前記第２の差分値に対して前記単一のコアリング範囲に基づきコアリング処理を行った結果に応じて前記一の成分を補正することを特徴とする請求項１に記載の成分抽出補正装置。
【請求項１４】
前記第２補正部は、
前記第２の差分値が前記単一のコアリング範囲に属する場合に、前記第２の差分値を所定の固定値に変換し、
前記第２の差分値がいずれのコアリング範囲にも属さない場合に、前記第２の差分値を変換関数に基づいて変換することを特徴とする請求項１３に記載の成分抽出補正装置。
【請求項１５】
前記分解部は、ウェーブレット変換により前記原画像信号を前記複数の周波数帯域に分解することを特徴とする請求項１から１４のいずれか一つに記載の成分抽出補正装置。
【請求項１６】
前記第１補正部は、前記補正された骨格成分が平坦成分とエッジ成分を含むよう前記骨格成分を補正することを特徴とする請求項１から１５のいずれか一つに記載の成分抽出補正装置。
【請求項１７】
原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出部と、
前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解部と、
前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正部と、
前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成部と、
前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正部と、
を備えることを特徴とする成分抽出補正装置。
【請求項１８】
前記成分抽出補正装置は、前記抽出部による抽出処理、前記分解部による分解処理、前記第１補正部による前記第１の補正処理、前記合成部による合成処理、および前記第２補正部による前記第２の補正処理の動作の繰り返しを制御する制御部を備え、
前記制御部により前記抽出部による抽出処理が繰り返される場合、前記抽出部は、前記第２補正部により得た前記一の成分と、前記原画像信号を用いて、前記抽出処理を行うことを特徴とする請求項１７に記載の成分抽出補正装置。
【請求項１９】
前記抽出部は、前記原画像信号から前記一の成分を減じて得た差分値を用いて、前記原画像信号に対する前記骨格成分の抽出を行うことを特徴とする請求項１７または１８に記載の成分抽出補正装置。
【請求項２０】
前記一の成分は、前記原画像信号の局所的な構造を表す成分であることを特徴とする請求項１７から１９のいずれか一つに記載の成分抽出補正装置。
【請求項２１】
前記分解部は、ウェーブレット変換により前記原画像信号を前記複数の周波数帯域に分解することを特徴とする請求項１７から２０のいずれか一つに記載の成分抽出補正装置。
【請求項２２】
前記第１補正部は、前記補正された骨格成分が平坦成分とエッジ成分を含むよう前記骨格成分を補正することを特徴とする請求項１７から２1のいずれか一つに記載の成分抽出補正装置。
【請求項２３】
請求項１から２２のいずれか一つに記載する成分抽出補正装置を備えた電子機器。
【請求項２４】
原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解ステップと、
前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出ステップと、
前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正ステップと、
前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正ステップと、
を含むことを特徴とする成分抽出補正方法。
【請求項２５】
コンピュータに、
原画像信号を複数の周波数帯域に分解して複数の帯域信号を生成する分解手順と、
前記生成された帯域信号を構成する複数の成分のうち、前記帯域信号の大局的な構造を表す骨格成分を抽出する抽出手順と、
前記複数の成分のうち前記骨格成分以外の一の成分と前記帯域信号とを用いて、前記抽出された骨格成分を補正する第１の補正処理を行う第１補正手順と、
前記補正された骨格成分と前記帯域信号とを用いて、前記一の成分を補正する第２の補正処理を行う第２補正手順と、
を実行させることを特徴とする成分抽出補正プログラム。
【請求項２６】
原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出ステップと、
前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解ステップと、
前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正ステップと、
前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成ステップと、
前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正ステップと、
を含むことを特徴とする成分抽出補正方法。
【請求項２７】
コンピュータに、
原画像信号のうち大局的な構造を表す骨格成分を抽出する抽出手順と、
前記抽出された骨格成分を複数の周波数帯域に分解して複数の帯域信号ごとの前記骨格成分を生成する分解手順と、
前記帯域信号ごとの前記骨格成分を補正する第１の補正処理を行う第１補正手順と、
前記帯域信号ごとに補正された前記骨格成分を前記複数の周波数帯域にわたって合成することで、前記帯域信号からなる前記原画像信号に対する骨格成分を生成する合成手順と、
前記原画像信号に対する骨格成分と前記原画像信号とを用いて、前記原画像信号のうち前記原画像信号に対する骨格成分以外の一の成分を補正する第２の補正処理を行う第２補正手順と、
を実行させることを特徴とする成分抽出補正プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１４】
【図１５】
【図１６】
【図１３】
【公開番号】特開２０１０−３３４５３（Ｐ２０１０−３３４５３Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９６８１４（Ｐ２００８−１９６８１４）
【出願日】平成２０年７月３０日（２００８．７．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５９２２１８３００）学校法人神奈川大学 (243)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月３０日（２００８．７．３０）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【出願人】（５９２２１８３００）学校法人神奈川大学 (243)
【Ｆターム（参考）】
[ Back to top ]