画像処理装置および方法、並びにプログラム
【課題】固体撮像素子などのイメージセンサを用いて得られた画像信号のクロマ成分に混在するノイズ成分を効率よく除去し、色ムラや色ズレという現象を抑制する。
【解決手段】多重解像度変換処理部８１は、３個以上の画像を多重解像度画像の複数のレイヤ画像に変換し、修正処理部８６変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、３個以上の画像中の１つの画像を、３個以上の画像間の相関に基づいて修正し、多重解像度逆変換処理部９０は、修正された各レイヤ画像を多重解像度逆変換する。本発明は、画像処理装置に適用することが可能である。
【解決手段】多重解像度変換処理部８１は、３個以上の画像を多重解像度画像の複数のレイヤ画像に変換し、修正処理部８６変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、３個以上の画像中の１つの画像を、３個以上の画像間の相関に基づいて修正し、多重解像度逆変換処理部９０は、修正された各レイヤ画像を多重解像度逆変換する。本発明は、画像処理装置に適用することが可能である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、固体撮像素子などのイメージセンサを用いて得られた画像信号に混在するノイズ成分の中でも特にイメージセンサで生じるノイズ成分を除去できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
ノイズを含んだ信号から信号成分とノイズ成分を分離する処理は信号処理の最大の関心事であり、非常に多種多様の技術がこれまでに開発されてきた。画像信号の場合、特に撮像時にイメージセンサ内部で生じるランダムなノイズ成分が問題となっている。イメージセンサ起因のノイズにもいろいろな種類があるが、そのなかでも、クロマ成分に混在するノイズであって、画像を観察したときに色ムラあるいは色ズレという現象として認識されるノイズが、改善されることにより、高画質化が期待される。
【０００３】
このようなクロマ成分に混在するノイズの原因としては、少なくとも以下の２点が挙げられる。
【０００４】
第1点としては、チャネル間で独立にランダムノイズが発生していることが挙げられる。すなわち、固体撮像素子は、通常それ自体が幅広い分光感度を持っているので、カラー画像を撮像する場合、カラーフィルタなどで分光感度を変えた複数（通常３種類）のイメージセンサが利用される。この場合、３チップの固体撮像素子を用いてそれぞれに独立した異なる分光感度を持たせる方法と、１チップのみで、画素単位で分光感度を変える方法とがある。しかしながら、いずれの方法においてもそれぞれのチャネル（色）の信号は独立した異なるイメージセンサによって獲得されるので、イメージセンサで発生するランダムノイズも当然のことながらチャネル間に独立に発生することになる。結果として、クロマ成分に独立なノイズ成分が生じてしまう。
【０００５】
また、第2の点としては、光学系の色収差が原因となっていることが挙げられる。すなわち、色収差は、波長ごとに屈折率が異なるため、色によって収差の出方が異なることにより発生するものであるが、この色収差により特定のチャネルの画像だけがぼけたり、被写体のエッジ部分で位置がずれたりという現象が発生する。結果として、この現象が、上述した色ムラあるいは色ズレとして観察されてしまう。
【０００６】
そこで、このようなクロマ成分に混在するノイズを除去する技術が提案されている。
【０００７】
例えば、画像の高輝度領域など色収差によって色ズレを生じやすい領域を輝度信号をたよりに検出し、検出した領域に対して適度に膨張処理したのち、膨張させた領域内の色差信号に平滑化処理をおこなうものがある（例えば、特許文献１参照）。
【０００８】
また、画像中の被写体エッジ領域以外については、色差信号に高周波はあまりないという仮定から、エッジ領域以外の領域に対しては、平均値処理によって高周波成分を除去した色差信号を算出することで色差ノイズを除去するものがある（例えば、特許文献２参照）。同様に輝度信号に高周波成分がないところでは色差信号にも高周波成分はあまりないという仮定に基づいて色差ノイズを除去するものがある（例えば、特許文献３参照）。
【０００９】
以上の従来技術は、イメージセンサ出力から輝度信号と色差信号を生成した後に行うことができるものであるが、イメージセンサが原色（RGB）信号を出力するような場合にRGB信号においてクロマ成分のノイズを除去する技術として、RGB画像に対し、局所的なR-G相関係数とB-G相関係数を算出し、それぞれの相関係数に基づいてRとBに対する補正値を算出することによって、特に被写体エッジにおける色ズレを効果的に補正しようとするものがある（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平５−１４９２５号公報
【特許文献２】特開平３−２９１０９３号公報
【特許文献３】特開２００３−２２４８６１号公報
【特許文献４】特開２００３−２３０１５９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した技術においては、例えば、特許文献１に記載されている高輝度領域の色収差による色ズレに対処する技術では、適切な効果を得るためには画像上に発生する色収差の大きさに応じて膨張処理や伝播・拡散処理をおこなう広さを調整することが必要である。色収差の大きさはイメージセンサの画素数や光学系の性能に依存し、場合によっては数十画素(orライン)規模の膨張処理や伝播・拡散処理が必要となりうる。膨張処理や伝播・拡散処理は均一な局所処理を全画素に対しておこなうことを複数回繰り返す処理なので、それらをハードウェアで実現することを検討した場合、繰り返し回数に比例したフレームメモリへのアクセス回数、若しくは相当量のディレイラインの実装が必要となり、回路規模が大きくなりすぎてしまい、現実的ではない。
【００１２】
また、特許文献１乃至３に記載されている技術は、輝度信号に基づいて、色差信号に平滑化処理をおこなう場所を限定し、限定された領域において色差信号が平滑化されることによりノイズが低減する、という共通点がある。すなわち、これらの技術においてはクロマ成分のノイズを除去する代償として色差信号の高周波成分が失われてしまう恐れがある。
【００１３】
一方、特許文献４に記載されている技術は、RGBチャネル間の相関の強さに基づいて、補正すべきチャネル（通常はRとB）の補正値を算出するものである。この補正値は参照されるチャネル（通常はG）の高周波成分に基づいて、補正すべきチャネルの適切な高周波成分が含まれるように算出されるので、この手法を用いれば上述した特許文献１乃至３の技術におけるクロマ成分の高周波成分を劣化させないようにすることが可能である。
【００１４】
しかしながら、近年イメージセンサの画素数増大にともない、色収差による色ズレやチャネル間に独立なランダムノイズが低周波成分にも拡大し、特許文献４で示されている手法のような局所的な演算で高周波成分のクロマ成分ノイズを除去するだけでは不十分な状況になりつつある。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、特に、固体撮像素子などのイメージセンサを用いて得られた画像信号のクロマ成分に混在するノイズ成分を効率よく除去し、色ムラや色ズレという現象を抑制するものである。
【課題を解決するための手段】
【００１６】
本発明の一側面の画像処理装置は、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段と、前記多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正手段と、前記修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段と、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段と、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段と、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択手段とを備えることを特徴とする。
【００１７】
前記第１の画像、および、前記第２の画像のそれぞれの前記周辺画素の画素値に基づいて、前記第１の画像、および、前記第２の画像の画素値の共分散値を算出する共分散値算出手段と、前記第１の分散値、前記第２の分散値、および前記共分散値とに基づいて、第１の画像、および、前記第２の画像の相関を算出する相関算出手段とをさらに設けるようにさせることができ、前記選択手段には、前記相関が弱い場合、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択させるようにすることができる。
【００１８】
前記第１の分散値、および前記第２の分散値の差分を算出する差分算出手段をさらに設けるようにさせることができ、前記選択手段には、前記分散値の差分が大きい場合、前記第１の画像の注目画素値を、前記第２の画像の注目画素値として選択させるようにすることができる。
【００１９】
前記多重解像度画像変換手段には、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換する前に入力画像に非線形変換を適用する非線形変換手段を設けるようにさせることができる。
【００２０】
前記非線形変換手段には、対数変換により、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換させるようにすることができる。
【００２１】
前記非線形変換手段には、ガンマ補正処理により、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換させるようにすることができる。
【００２２】
本発明の一側面の画像処理方法は、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正ステップと、前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップと、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出ステップと、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出ステップと、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択ステップとを含むことを特徴とする。
【００２３】
本発明の一側面のプログラムは、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正ステップと、前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップと、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出ステップと、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出ステップと、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択ステップとを含む処理をコンピュータに実行させる。
【００２４】
本発明の一側面においては、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像が多重解像度画像の複数のレイヤ画像に変換され、変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像が、前記２個の画像間の相関に基づいて修正され、修正された各レイヤ画像が多重解像度逆変換され、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素が抽出され、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値がそれぞれ算出され、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値が、前記第２の画像の注目画素の画素値として選択される。
【００２５】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００２６】
本発明によれば、固体撮像素子などのイメージセンサを用いて得られた画像信号のクロマ成分に混在するノイズ成分を効率よく除去し、色ムラや色ズレという現象を抑制することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明を適用したデジタルスチルカメラの一実施の形態の構成を説明するブロック図である。
【図２】図１のDSPブロックにより実現される機能の一実施の形態の構成を示すブロック図である。
【図３】図２の非線形変換処理部の詳細な機能の一実施の形態の構成を示すブロック図である。
【図４】図２のノイズ除去処理部の詳細な機能の一実施の形態の構成を示すブロック図である。
【図５】図２の多重解像度変換処理部の機能の詳細な一実施の形態の構成を示すブロック図である。
【図６】図４のノイズ除去処理部における修正処理部の機能について詳細な一実施の形態の構成を示すブロック図である。
【図７】図２の多重解像度逆変換処理部の機能の詳細な一実施の形態の構成を示すブロック図である。
【図８】図２の非線形逆変換処理部の機能の詳細な一実施の形態の構成を説明するブロック図である。
【図９】図３のDSPブロックによる画像処理を説明するフローチャートである。
【図１０】ノイズ除去処理を説明するフローチャートである。
【図１１】多重解像度変換処理を説明するフローチャートである。
【図１２】画素値修正処理を説明するフローチャートである。
【図１３】分散計算処理を説明するフローチャートである。
【図１４】分散計算処理を説明するフローチャートである。
【図１５】共分散計算処理を説明するフローチャートである。
【図１６】積算処理を説明するフローチャートである。
【図１７】積算処理を説明するフローチャートである。
【図１８】積算近似処理を説明するフローチャートである。
【図１９】多重解像度逆変換処理を説明するフローチャートである。
【図２０】図４のノイズ除去処理部における修正処理部のその他の機能について詳細な一実施の形態の構成を示すブロック図である。
【図２１】図２０の修正処理部による画素値修正処理を説明するフローチャートである。
【図２２】図４のノイズ除去処理部における修正処理部のさらにその他の機能について詳細な一実施の形態の構成を示すブロック図である。
【図２３】図２２の修正処理部による画素値修正処理を説明するフローチャートである。
【図２４】図４のノイズ除去処理部その他の機能について詳細な一実施の形態の構成を示すブロック図である。
【図２５】図２４のノイズ除去処理部における修正処理部の機能について詳細な一実施の形態の構成を示すブロック図である。
【図２６】図２４のノイズ除去処理部によるノイズ除去処理を説明するフローチャートである。
【図２７】図２５の修正処理部による画素値修正処理を説明するフローチャートである。
【図２８】記録媒体を説明する図である。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２９】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００３０】
即ち、本発明の一側面の画像処理装置は、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段（例えば、図２０の多重解像度変換処理部８１）と、前記多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正手段（例えば、図２０の修正処理部８６）と、前記修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段と、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段（例えば、図２０のサンプリング処理部２０１）と、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段（例えば、図２０の分散算出処理部２０２）と、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択手段（例えば、図２０のスイッチ部２０８）とを備えることを特徴とする。
【００３１】
前記第１の画像、および、前記第２の画像のそれぞれの前記周辺画素の画素値に基づいて、前記第１の画像、および、前記第２の画像の画素値の共分散値を算出する共分散値算出手段（例えば、図２０の共分散算出処理部２０３）と、前記第１の分散値、前記第２の分散値、および前記共分散値とに基づいて、第１の画像、および、前記第２の画像の相関を算出する相関算出手段（例えば、図２０の相関係数算出処理部２０７）とをさらに設けるようにさせることができ、前記選択手段（例えば、図２０のスイッチ部２０８）には、前記相関が弱い場合、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択させるようにすることができる。
【００３２】
前記第１の分散値、および前記第２の分散値の差分を算出する差分算出手段（例えば、図２２の差分算出処理部２２７）をさらに設けるようにさせることができ、前記選択手段（例えば、図２２のスイッチ部２２８）には、前記分散値の差分が大きい場合、前記第１の画像の注目画素値を、前記第２の画像の注目画素値として選択させるようにすることができる。
【００３３】
前記多重解像度画像変換手段には、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換する前に入力画像に非線形変換を適用する非線形変換手段（例えば、図３の非線形変換処理部４２）を設けるようにさせることができる。
【００３４】
本発明の一側面の画像処理方法は、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップ（例えば、図１０のフローチャートにおけるステップＳ２２，Ｓ２３の処理）と、前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正ステップ（例えば、図１０のフローチャートにおけるステップＳ２４の処理）と、前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップ（例えば、図１０のフローチャートにおけるステップＳ２５の処理）と、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出ステップ（例えば、図２１のフローチャートにおけるステップＳ２９３，Ｓ２９４の処理）と、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出ステップ（例えば、図２１のフローチャートにおけるステップＳ２９５，Ｓ３００の処理）と、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択ステップ（例えば、図２１のフローチャートにおけるステップＳ３０２乃至Ｓ３０４の処理）とを含むことを特徴とする。
【００３５】
尚、プログラムについては、画像処理方法と同様であるので、その説明は省略する。
【００３６】
以下、図を参照して、本発明の実施の形態について説明する。
【００３７】
図１は、本発明を適用した演算処理を実行するデジタルスチルカメラ１の一実施の形態の構成を示すブロック図である。
【００３８】
図１に示すように、デジタルスチルカメラ１は、レンズ１１、絞り１２、イメージセンサ１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路１４、A/D（Analog／Digital）コンバータ１５、DSP（Digital Signal Processor）ブロック１６、タイミングジェネレータ１７、D/A（Digital／Analog）コンバータ１８、ビデオエンコーダ１９、表示部２０、コーデック（CODEC：COmpression／DECompression）処理部２１、メモリ２２、CPU（Central Processing Unit）２３、および、操作入力部２４から構成される。
【００３９】
イメージセンサ１３は、光情報を電気信号に変換するCCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などに代表される（光電変換）半導体素子であり、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路１４は、イメージセンサ１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。A/Dコンバータ１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。
【００４０】
DSPブロック１６は、信号処理用プロセッサと画像用RAM（Random Access Memory）を持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ１７は、イメージセンサ１３を駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ１７により発生されるタイミングクロックは、バス２５を介して、コーデック処理部２１、メモリ２２、および、CPU２３にも供給されている。
【００４１】
D/Aコンバータ１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ１９は、供給されたアナログ信号を、表示部２０において表示可能な形式のビデオデータにエンコードする。表示部２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ１９から供給されたビデオ信号を表示する。
【００４２】
コーデック処理部２１は、例えばJPEG(Joint Picture Experts Group)などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、CPU２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２は、デジタルスチルカメラ１に対して着脱可能なようになされていても良い。
【００４３】
CPU２３は、バス２５を介して、操作入力部２４から供給されたユーザの操作入力を基に、デジタルスチルカメラ１の各部を制御する。操作入力部２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。
【００４４】
レンズ１１および絞り１２を介して入力された光は、イメージセンサ１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路１４に供給される。相関２重サンプリング回路１４は、イメージセンサ１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、A/Dコンバータ１５に供給する。A/Dコンバータ１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、DSPブロック１６の画像用RAMに一時格納する。
【００４５】
タイミングジェネレータ１７は、撮像中の状態において、一定のフレームレートによる画像取り込みを維持するように、イメージセンサ１３、相関２重サンプリング回路１４、A/Dコンバータ１５、および、DSPブロック１６を制御する。
【００４６】
DSPブロック１６は、一定のレートで画素のストリームデータの供給を受け、画像用RAMに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。DSPブロック１６は、画像処理の終了後、CPU２３の制御に基づいて、その画像データを表示部２０に表示させる場合は、D/Aコンバータ１８に、メモリ２２に記憶させる場合は、コーデック処理部２１に画像データを供給する。
【００４７】
D/Aコンバータ１８は、DSPブロック１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ１９に供給する。ビデオエンコーダ１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２０に出力して表示させる。すなわち、表示部２０は、デジタルスチルカメラ１において、カメラのファインダの役割を担っている。コーデック処理部２１は、DSPブロック１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２に供給して記憶させる。
【００４８】
また、コーデック処理部２１は、操作入力部２４からユーザの操作入力を受けたCPU２３の制御に基づいて、メモリ２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をDSPブロック１６に出力する。これにより、復号された信号が、DSPブロック１６を介してD/Aコンバータ１８に供給され、アナログ変換された後、ビデオエンコーダ１９によりエンコードされて、表示部２０に表示される。
【００４９】
次に、図２を参照して、DSPブロック１６により実現される機能の一実施の形態の構成について説明する。
【００５０】
デモザイク処理部４１は、入力されたモザイク画像の各画素位置のRGB（Red，Green，Blueの光の３原色）の画像信号の全ての強度を揃え、それぞれ非線形変換処理部４２に供給する。尚、ここでいうモザイク画像は、図１のA/Dコンバータ１５によってデジタイズされ、DSPブロック１６に入力される画像信号である。モザイク画像は各画素にRGBのどれかの色に対応する強度信号が格納されており、通常、Bayer配列と呼ばれる色配列に従って配置されている。
【００５１】
非線形変換処理部４２は、RGBの画像信号について、非線形変換関数を用いて変換処理し、それぞれノイズ除去処理部４３に供給する。尚、非線形変換処理部４２については、詳細を後述する。
【００５２】
ノイズ除去処理部４３は、非線形変換処理部４２より供給されたRGBの画像信号についてノイズを除去して非線形逆変換処理部４４に供給する。尚、ノイズ除去処理部４３については、詳細を後述する。
【００５３】
非線形逆変換処理部４４は、ノイズ除去処理部４３より供給されてくる、ノイズが除去されたRGBの画像信号を、非線形変換処理部４２の変換で利用した非線形変換関数により逆変換し、ホワイトバランス処理部４５に供給する。尚、非線形逆変換処理部４４については、詳細を後述する。
【００５４】
ホワイトバランス処理部４５は、非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４によりノイズ除去されたRGBのそれぞれの画像信号に適切な係数を掛けることで、被写体領域の色バランスが無彩色になるように処理し、ガンマ補正処理部４６に供給する。
【００５５】
ガンマ補正処理部４６は、ホワイトバランス処理部４５によりホワイトバランスが調整されたRGBのそれぞれの画像信号の各画素強度をガンマ補正し、YC変換処理部４７に出力する。YC変換処理部４７は、ガンマ補正された3チャネル画像信号にYCマトリックス処理を施すと共に、クロマ成分に対する帯域制限を掛けてY画像およびC画像を生成し、コーデック処理部２１に対してYCbCr画像信号として出力する。
【００５６】
尚、図２においては、デモザイク処理部４１の後段に非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を配置する構成となっているが、これらの配置順序は、図２で示されるものに限らず、例えば、デモザイク処理部４１の前段に非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を配置し、モザイク画像のノイズ除去を行った後、デモザイク処理を実行するようにしても良い。ただし、この場合、モザイク画像の各画素はRGBのうちのいずれか1色の値しかもたないので、RGB毎の非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を設け、各画素毎の処理を色によって振り分けるようにする必要がある。
【００５７】
また、非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４は、それぞれ単独でもノイズ除去処理を実行することは可能である。すなわち、例えば、図２の構成から非線形変換処理部４２、および非線形逆変換処理部４４を省き、ノイズ除去処理部４３のみの構成でもノイズを除去することは可能である。また、非線形変換処理部４２、および非線形逆変換処理部４４は、ノイズ除去処理部４３以外のノイズ除去処理能力を持った構成と組み合わせるようにしてもノイズを除去する効果がある。
【００５８】
次に、図３を参照して、非線形変換処理部４２の詳細な機能の一実施の形態の構成について説明する。尚、非線形変換処理部４２はRGB各チャネルに対して同一の構成である。また、図３においては、1チャネル分の構成が示されている。
【００５９】
変換曲線LUT６２は、非線形変換に用いられる関数形状がLUTの形式で格納している。マッピング処理部６１は、変換曲線LUT６２より非線形変換に用いられる関数形状のLUTに基づいて、入力された画像の各画素に対して非線形変換してノイズ除去部４３に出力する。
【００６０】
この非線形変換処理部４２による非線形変換処理は、入射光強度にリニアな（線形的な）イメージセンサ１３の出力を、ノンリニアな（非線形的な）特性の輝度値に変換することを目的とした変換処理であり、この処理により後段のノイズ除去処理で利用するチャネル間の線形回帰計算の安定度を向上させている。すなわち、例えば、高コントラストなエッジのような画像の場合、リニアな輝度では重心からみた輝度値の分布に偏りが生じやすく、このような状況で線形回帰計算を実行するよりも、適切な非線形変換により輝度値を変換し分布の偏りを補正した後に線形回帰計算を実行する方が計算が安定する。本発明にとって適切な非線形変換とは上に凸の滑らかな単調増加曲線であり、例えばガンマ補正などに利用されるべき乗曲線（指数は１より小さい）または、対数曲線などが有効である。
【００６１】
次に、図４を参照して、ノイズ除去処理部４３の機能の一実施の形態の構成について説明する。
【００６２】
尚、図４で示されるノイズ除去処理部４３の構成は、GとRの2チャネルの入力によりRのノイズを除去するようになっている。実際のノイズ除去処理部４３の構成としては、これに加えて、同様の構成でGとBを入力としてBのノイズを除去する構成が必要である。Gに対してRとBの相関がない成分が除去されればクロマ成分ノイズは除去されるので、この例においては、Gのノイズを除去する構成は設けられていない。しかしながら、実用においては、Gのノイズを何らかの構成により除去した後に、RとBのそれぞれのノイズを除去する方がより適切である。尚、ここでは、Gは、特に処理されることなく、そのまま後段に出力されるものとする。
【００６３】
多重解像度変換処理部８１−１，８１−２は、それぞれGおよびRの入力画像を複数の多重解像度の表現形式の画像に変換し、変換された複数の各レイヤの画像信号をそれぞれ対応するレイヤ０画像メモリ８２−１，８２−２、レイヤ１画像メモリ８３−１，８３−２、レイヤ２画像メモリ８４−１，８４−２、およびレイヤ３画像メモリ８５−１，８５−２に格納する。
【００６４】
尚、多重解像度変換処理部８１−１，８２−２における多重解像度表現にはいろいろな形式があるが、例えば、Laplacian Pyramid形式や、wavelet変換を用いた多重解像度形式を利用するようにしてもよい。尚、多重解像度変換処理部８１は、Laplacian Pyramid形式であるものとして説明を進める。
【００６５】
修正処理部８６−１乃至８６−３は、最低解像度のレイヤ以外のレイヤの画像にそれぞれ対応し、各レイヤのG、Rチャネルの画像より、ノイズが混在したRチャネルの各画素値を修正してノイズを除去し、それぞれレイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、および、レイヤ２修正画像メモリ８９に格納する。
【００６６】
多重解像度逆変換処理部９０は、レイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、および、レイヤ２修正画像メモリ８９より各レイヤのノイズ除去されたRチャネル画像を読み出すと共に、最低解像度のレイヤのRチャネル画像を用いて、多重解像度逆変換処理を実行し、元画像と同じ解像度の画像へ統合し、非線形逆変換処理部４４に出力する。
【００６７】
次に、図５を参照して、Laplacian pyramid形式の多重解像度画像を生成する多重解像度変換処理部８１の機能の一実施の形態の構成について説明する。
【００６８】
多重解像度変換処理部８１の縮小処理部１１１−１乃至１１１−３は、サブサンプリングによって入力された画像の画像サイズを例えば半分に縮小し（例えば、半分の解像度の画像に変換し）、後段に出力する。
【００６９】
拡大処理部１１３−１乃至１１３−３は、スーパーサンプリングによって入力された画像の画像サイズを例えば２倍に拡大し（例えば、２倍の解像度の画像に変換し）、後段に出力する。
【００７０】
減算処理部１１２−１乃至１１２−３は、縮小処理部１１１により縮小された後、拡大処理部１１３により拡大された画像と、その元画像のそれぞれの各画素について差分を求め、その差分からなる画像をレイヤごとの画像として出力する。すなわち、減算処理部１１２−１乃至１１２−３は、それぞれレイヤ０乃至３の画像を生成し、それぞれレイヤ０画像メモリ８２、レイヤ１画像メモリ８３、レイヤ２画像メモリ８４、およびレイヤ３画像メモリ８５に格納させる。
【００７１】
縮小処理部１１１により縮小された後、拡大処理部１１３により拡大された画像は、元画像の高周波成分が除去されることになるため、元画像との差分が計算されることにより、高周波成分のみのが抽出された画像が生成されることになる。
【００７２】
このため、減算処理部１１２−１は、それぞれ入力された画像の高周波成分のみからなる画像をレイヤ０画像として生成し、減算処理部１１２−２は、入力された画像のレイヤ０画像よりも低い周波数成分の画像をレイヤ1画像として生成する。また、減算処理部１１２−３は、入力された画像のレイヤ１画像よりも低い周波数成分の画像をレイヤ２画像として生成する。尚、縮小処理部１１１より出力される画像は、レイヤ２以下の帯域成分を備えたレイヤ３画像となる。すなわち、多重解像度変換処理部８１は入力された画像を、帯域分離して各レイヤ０乃至３の画像を出力しているとも言える。
【００７３】
次に、図６を参照して、修正処理部８６の機能の一実施の形態の構成について説明する。
【００７４】
サンプリング処理部１３１は、当該するレイヤのGチャネル画像から、注目画素位置に対応して設定される所定位置の近傍画素から複数個のGチャネル画素値をサンプリング（抽出）し、乗算処理部１３７、分散算出処理部１３３、および共分散算出処理部１３６に供給する。サンプリング処理部１３２は、当該するレイヤのRチャネル画像から、注目画素位置に対応して設定される所定の位置の近傍画素から複数個のRチャネル画素値をサンプリング（抽出）し、共分散算出処理部１３６に供給する。尚、サンプリング処理部１３１，１３２は、注目画素位置に対して設定される同一の所定の位置のG画素値とR画素値を抽出する。
【００７５】
分散算出処理部１３３は、サンプリングされたGの画素値に基づいて、Gの注目画素周辺の分散値を算出し、クリッピング処理部１３４に供給する。
【００７６】
共分散算出処理部１３６は、サンプリングされたGとRの画素値に基づいて、それらの共分散値を算出し、除算処理部１３５に供給する。クリッピング処理部１３４は、Gチャネルのサンプルの分散値が所定の閾値より小さい場合、その閾値でクリッピングし、除算処理部１３５に供給する。除算処理部１３５は、クリッピング処理部１３４より供給される分散値により、共分散処理部１３６より供給される共分散値を除算し、分散値に対する共分散値の割合(共分散値/分散値)として乗算処理部１３７に供給する。尚、クリッピング処理部１３５の処理は、後続の除算処理部１３５が(共分散値/分散値)を算出するため、０割を回避ための処理である。乗算処理部１３７は、(共分散値/分散値)に注目画素位置のGチャネル画素値を乗じることで注目画素のノイズ除去されたRチャネル画素値を推定し、それを出力する。
【００７７】
ここで、修正処理部８６の処理の詳細について説明する。
【００７８】
修正処理部８６は、チャネル間相関を利用した画素値推定方法により画素値を修正している。より具体的には、チャネル間相関を利用した画素値推定方法は、局所領域に注目した場合、2つのチャネル（例えばGとR）間には線形な関係があるという仮定に基づいて、局所領域内のある画素位置Rの推定値を線形回帰計算によって算出するというものである。
【００７９】
例えば、画像中の注目画素周辺の局所領域においてＣ1チャネル（例えばG）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ11，Ｃ12，Ｃ13，・・・，Ｃ1N｝とＣ2チャネル（例えばR）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ11，Ｃ12，Ｃ13，・・・，Ｃ1N｝とが得られたとき、上述した両者間の線形な関係があると仮定することにより、Ｃ2チャネルの注目画素位置の輝度推定値Ｃ2C’は注目画素位置のＣ1チャネルの輝度値Ｃ1Cから以下の式（１）により推定することができる。
【００８０】
【数１】
・・・（１）
【００８１】
ここで、ＭC1は、その局所領域におけるＣ1チャネルの期待値、ＭC2は、Ｃ2チャネルの期待値、ＶC1C2は、Ｃ1，Ｃ2チャネルの共分散値、ＶC1C1は、Ｃ1チャネルの分散値である。
【００８２】
また、共分散値ＶC1C2および分散値ＶC1C1は、それぞれ以下の式（２），式（３）により求められる。
【００８３】
【数２】
・・・（２）
【００８４】
【数３】
・・・（３）
【００８５】
式（２），式（３）において、ｗiは、所定の重み係数である。
【００８６】
従って、上述した式（１）を算出することでノイズを除去することが可能となる。しかしながら、図４で示されるようにノイズ除去処理部４３には、多重解像度変換処理部８１が設けられており、修正処理部８６は、帯域毎に分離された画像に対して上述した２チャネルの相関を利用して画素値を修正することになる。
【００８７】
ところで、多重解像度変換により生成された複数のレイヤの画像においては、画像の直流成分は最低解像度のレイヤに集中するので、それ以外のレイヤでは局所的な画素の期待値は０になる。結果として、多重解像度処理を利用する場合、上述した式（１）乃至式（３）は、以下の式（４）乃至式（６）で置き換えられることになる。
【００８８】
【数４】
・・・（４）
【００８９】
【数５】
・・・（５）
【００９０】
【数６】
・・・（６）
【００９１】
従って、図６の分散値算出処理部１３３は、実質的に式（６）により分散値を算出し、共分散算出処理部１３６は、式（５）により共分散値を算出し、さらに、乗算処理部１３７は、式（４）により画素値を修正している（補正している）。
【００９２】
さらに、式（５）乃至式（６）の共分散値および分散値の算出処理にあたり、コンピュータによる算出処理で処理負荷の大きな乗算処理を軽減させるため、近似関数を用いて、乗算処理回数を低減させるようにしてもよく、例えば、以下の式（７）乃至式（８）のような近似関数により算出するようにしてもよい。
【００９３】
【数７】
・・・（７）
【００９４】
【数８】
・・・（８）
【００９５】
次に、図７を参照して、多重解像度逆変換処理部９０の機能の一実施の形態の構成について説明する。
【００９６】
拡大処理部１５１−１乃至１５１−３は、多重解像度変換処理部９０の拡大処理部１１３と同様のものであり、スーパーサンプリングによって入力された画像の画像サイズを例えば２倍に拡大し（例えば、２倍の解像度の画像に変換し）、後段に出力する。
【００９７】
加算処理部１５２−１乃至１５２−３は、それぞれレイヤ０ノイズ除去画像メモリ８７、レイヤ１ノイズ除去画像メモリ８８、レイヤ２ノイズ除去画像メモリ８９、およびレイヤ３画像メモリ８５に格納されたレイヤ０ノイズ除去画像乃至レイヤ２ノイズ除去画像、およびレイヤ３画像を読み出し、拡大処理部１５２−１乃至１５２−３のそれぞれより供給されてくる画像とを加算して、後段に出力する。
【００９８】
すなわち、拡大処理部１５１−１は、最低周波成分のレイヤ３ノイズ除去画像を拡大し、レイヤ２ノイズ除去画像と同じサイズの画像にして、加算処理部１５２−１に供給する。そして加算処理部１５２−１は、拡大されたレイヤ３ノイズ除去画像とレイヤ２ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ２までの帯域を持つ画像を生成し、拡大処理部１５１−２に供給する。
【００９９】
同様にして、拡大処理部１５１−２は、レイヤ３乃至レイヤ２のノイズ除去画像を拡大し、レイヤ１ノイズ除去画像と同じサイズの画像にして、加算処理部１５２−２に供給する。そして加算処理部１５２−２は、拡大されたレイヤ３乃至レイヤ２までのノイズ除去画像とレイヤ１ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ１までの帯域を持つ画像を生成し、拡大処理部１５１−３に供給する。
【０１００】
さらに、拡大処理部１５１−３は、レイヤ３乃至レイヤ１のノイズ除去画像を拡大し、レイヤ０ノイズ除去画像と同じサイズの画像にして、加算処理部１５２−３に供給する。そして加算処理部１５２−３は、拡大されたレイヤ３乃至レイヤ１までのノイズ除去画像とレイヤ０ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ０までの帯域の画像を統合し、最終的に元画像に等しい解像度と帯域を持つ画像を出力する
【０１０１】
次に、図８を参照して、非線形逆変換処理部４４の機能の一実施の形態の構成について説明する。
【０１０２】
非線形逆変換処理部４４は、非線形変換処理部４２における変換の逆変換を実行するため、非線形変換処理部４２とほぼ同様の構成である。変換曲線LUT１７２は非線形変換処理部４２の変換曲線LUT６２と同様の構成であり、共用するようにしてもよいものである。逆マッピング処理部１７１は、入力された画像の各画素に対して変換曲線LUT１７２を参照して、非線形逆変換し、ホワイトバランス処理部４５に出力する。
【０１０３】
次に、図９のフローチャートを参照して、図２のDSPブロック１６による画像処理について説明する。
【０１０４】
デモザイク処理部４１は、モザイク画像が入力されたか否か（フレームメモリから読み込まれたか否か）を判定し、入力されるまで、その処理を繰り返す。例えば、画像が入力されたと判定された場合、ステップＳ２において、デモザイク処理部４１は、入力されたモザイク画像からRGBの3チャンネルの画像信号を生成するデモザイク処理を実行し、生成したRGBの画像信号を非線形変換処理部４２に供給する。
【０１０５】
ステップＳ３において、非線形変換処理部４４のマッピング処理部６１は、変換曲線LUT６２より非線形変換に用いられる関数形状のLUTに基づいて、入力された画像の各画素に対して非線形変換してノイズ除去部４３に出力する。
【０１０６】
ステップＳ４において、ノイズ除去部４３は、ノイズ除去処理を実行し、供給された１つのチャネル画像の各画素についてノイズを除去し、非線形逆処理部４４に供給する。尚、ノイズ除去処理については、図１０を参照して、その詳細を後述する。
【０１０７】
ステップＳ５において、非線形逆変換処理部４４の逆マッピング処理部１７１は、入力された画像の各画素に対して変換曲線LUT１７２を参照して、ステップＳ３の非線形変換処理により適用した非線形特性を打ち消すように強度変換し、ホワイトバランス処理部４５に供給する。
【０１０８】
尚、ステップＳ３乃至Ｓ５の処理については、RGBの各画像信号に対して、非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４が並列処理するようにしても良いし、各チャンネルに対して、順次処理するようにしても良い。
【０１０９】
ステップＳ６において、ホワイトバランス処理部４５は、ノイズが除去され、非線形特性が解除されたRGB3チャネル画像に対してそれぞれの画像信号に適切な係数を掛けることで、被写体領域の色バランスが無彩色になるようにホワイトバランス処理を施し、ガンマ補正処理部４６に供給する。
【０１１０】
ステップＳ７において、ガンマ補正処理部４６は、ホワイトバランス処理部４５によりホワイトバランスが調整されたRGBのそれぞれの画像信号の各画素強度をガンマ補正し、YC変換処理部４７に出力する。
【０１１１】
ステップＳ８において、YC変換処理部４７は、ガンマ補正処理部４６によりガンマ補正処理されたRGBの画像信号にYCマトリクス処理を施すYC変換処理を実行し、Y画像とC画像に変換し、ステップＳ９において、Y画像とC画像を出力(フレームメモリに書き込む)する。
【０１１２】
以上の処理により、ノイズが除去されたYC画像が生成されることになる。
【０１１３】
次に、図１０のフローチャートを参照して、図９のフローチャートにおけるステップＳ４の処理であるノイズ除去処理について説明する。
【０１１４】
ステップＳ２１において、多重解像度変換処理部８１−１，８１−２は、それぞれ非線形変換処理部４２により生成された非線形変換処理されたG，Rチャネル分の画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返し、入力されたと判定された場合、その処理は、ステップＳ２２に進む。
【０１１５】
ステップＳ２２において、多重解像度変換処理部８１−１は、多重解像度変換処理を実行し、入力されたGの画像を複数の多重解像度画像を生成し、生成した画像をレイヤ毎にそれぞれレイヤ０画像メモリ８２−１、レイヤ１画像メモリ８３−１、レイヤ２画像メモリ８４−１、およびレイヤ３画像メモリ８５−１に格納する。尚、多重解像度変換処理については、図１１のフローチャートを参照して、詳細を後述する。
【０１１６】
ステップＳ２３において、多重解像度変換処理部８２−１は、多重解像度変換処理を実行し、入力されたＲの画像を複数の多重解像度画像を生成し、生成した画像をレイヤ毎にそれぞれレイヤ０画像メモリ８２−２、レイヤ１画像メモリ８３−２、レイヤ２画像メモリ８４−２、およびレイヤ３画像メモリ８５−２に格納する。尚、多重解像度処理については、信号の成分が、GではなくＲである点を除いては、同様の処理である。
【０１１７】
ステップＳ２４において、修正処理部８６−１乃至８６−３は、それぞれレイヤ０乃至２のそれぞれのＧ，Ｒの信号を用いて、画素値修正処理を実行し、Ｒの画素値を修正し、それぞれレイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、およびレイヤ２修正画像メモリ８９に格納する。尚、画素値修正処理については、図１２のフローチャートを参照して、詳細を後述する。
【０１１８】
ステップＳ２５において、多重解像度逆変換処理部９０は、多重解像度逆変換処理を実行し、レイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、およびレイヤ２修正画像メモリ８９に格納されている、画素値が修正されたレイヤ０乃至２の画像、および、レイヤ３画像メモリ８５に格納されているＲの画像を、ステップＳ２３の処理による多重解像度変換の逆変換を実行することで、複数の多重解像度画像を統合し、ステップＳ２６において、統合されたＲの画像を出力する。尚、多重解像度逆変換処理については、図１９のフローチャートを参照して、詳細を後述する。
【０１１９】
以上の処理により、Ｇ，Ｒとの相関性に基づいて、Ｒの画素値が修正される。
【０１２０】
次に、図１１のフローチャートを参照して、図１０のフローチャートにおけるステップＳ２２，Ｓ２３の処理である多重解像度変換処理について説明する。
【０１２１】
ステップＳ４１において、多重解像度変換処理部８１−１は、図示せぬカウンタＮを０に設定し初期化する。
【０１２２】
ステップＳ４２において、縮小処理部１１１は、Ｎ回縮小された画像を縮小する。すなわち、最初の処理では、Ｎは０、すなわち、入力された画像が、縮小処理部１１１−１により縮小される。
【０１２３】
ステップＳ４３において、多重解像度変換処理部８１−１は、図示せぬカウンタＮを１インクリメントする。
【０１２４】
ステップＳ４４において、多重解像度変換処理部８１−１は、カウンタＮが、カウンタＮの最大値Nmax−１であるか否かを判定する。ここで、Nmaxは、入力された画像を多重解像度画像に変換するレイヤ数である。従って、図５で示されるように、レイヤ数は４となる。
【０１２５】
例えば、ステップＳ４４において、カウンタＮが、カウンタＮの最大値（Nmax−１）ではないと判定された場合、ステップＳ４５において、縮小処理部１１１は、Ｎ回縮小された画像を減算処理部１１２および拡大処理部１１３に出力する。すなわち、最初の処理では、縮小処理部１１１−１が、減算処理部１１２−２および拡大処理部１１３−１に１回縮小された画像を出力する。
【０１２６】
ステップＳ４６において、拡大処理部１１３は、Ｎ回縮小された画像を拡大し、減算処理部１１２に出力する。すなわち、最初の処理においては、拡大処理部１１３−１が、縮小処理部１１１−１より供給されてきた１回縮小された画像を拡大し、減算処理部１１２−１に供給する。
【０１２７】
ステップＳ４７において、減算処理部１１２は、（Ｎ−１）回縮小された画像から、Ｎ回縮小されて、かつ、１回拡大された画像を減算する。すなわち、最初の処理では、減算処理部１１２−１が、入力された画像から拡大処理部１１３−１より供給された画像を減算する。
【０１２８】
ステップＳ４８において、減算処理部１１２は、ステップＳ４７の処理により求められたレイヤ（Ｎ−１）の画像をレイヤ（Ｎ−１）画像メモリに格納させ、その処理は、ステップＳ４２に戻る。すなわち、最初の処理においては、減算処理部１１２−１は、減算処理により得られた画像をレイヤ０画像メモリ８２−１に格納させる
【０１２９】
すなわち、ステップＳ４４の処理において、カウンタＮが最大値（Ｎｍａｘ−１）であると判定されるまで、ステップＳ４２乃至Ｓ４８の処理が繰り返される。結果として、順次、縮小処理部１１１−２が、１回縮小された画像を縮小して、拡大処理部１１３−２および減算処理部１１３−３に供給し、拡大処理部１１３−２が、供給された２回縮小された画像を拡大して減算処理部１１２−２に供給し、減算処理部１１２−２が、１回縮小された画像から、２回縮小されて、かつ、拡大されたた画像を減算し、レイヤ１画像を生成して、レイヤ１画像メモリ８３−１に格納する。
【０１３０】
ステップＳ４４の処理において、カウンタＮが最大値（Ｎｍａｘ−１）であると判定された場合、ステップＳ４９において、縮小処理部１１１は、Ｎ回縮小された画像をレイヤＮ画像メモリおよび拡大処理部１１３に出力する。すなわち、ここでＮｍａｘは、４であるので、縮小処理部１１１−３が、減算処理部１１２−３およびレイヤ３メモリ８５に３回縮小された画像を出力する。
【０１３１】
ステップＳ５０において、拡大処理部１１３は、Ｎ回縮小された画像を拡大し、減算処理部１１２に出力する。すなわち、ここでは、拡大処理部１１３−３が、縮小処理部１１１−３より供給されてきた３回縮小された画像を拡大し、減算処理部１１２−３に供給する。
【０１３２】
ステップＳ５１において、減算処理部１１２は、（Ｎ−１）回縮小された画像から、Ｎ回縮小されて、かつ、１回拡大された画像を減算する。すなわち、ここでは、減算処理部１１２−３が、２回縮小された画像から拡大処理部１１３−３より供給された画像を減算する。
【０１３３】
ステップＳ５２において、減算処理部１１２は、ステップＳ５１の処理により求められたレイヤ（Ｎ−１）の画像をレイヤ（Ｎ−１）画像メモリに格納させ、その処理は、終了する。すなわち、ここでは、減算処理部１１２−３は、減算処理により得られた画像をレイヤ２画像メモリ８３に格納させる
【０１３４】
以上の処理により、入力された画像が帯域別に分離され、それぞれレイヤ毎に、レイヤ０画像メモリ８２、レイヤ１画像メモリ８３、レイヤ２画像メモリ８４、およびレイヤ３画像メモリ８５に格納されることになる。
【０１３５】
次に、図１２のフローチャートを参照して、図１０のフローチャートにおけるステップＳ２４の処理である画素値修正処理について説明する。
【０１３６】
ステップＳ７１において、修正処理部８６−１乃至８６−３のサンプリング処理部１３１，１３２は、それぞれレイヤ０画像メモリ８２−１，８２−２、レイヤ１画像メモリ８３−１，８３−２、およびレイヤ２画像メモリ８４−１，８４−２に、Ｒ，Ｇチャネルの画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返す。例えば、入力されたと判定された場合、その処理は、ステップＳ７２に進む。
【０１３７】
ステップＳ７２において、サンプリング処理部１３１，１３２は、同一の未処理の画素を注目画素として選択する
【０１３８】
ステップＳ７３において、サンプリング処理部１３１は、Gチャネルのレイヤ０画像メモリ８２−１、レイヤ１画像メモリ８３−１、またはレイヤ２画像メモリ８４−１より注目画素位置に対応する所定の位置に配置されている複数の画素をサンプリングし（抽出し）、分散算出処理部１３３、共分散算出処理部１３４、および乗算処理部１３７に供給する。
【０１３９】
ステップＳ７４において、サンプリング処理部１３２は、Rチャネルのレイヤ０画像メモリ８２−２、レイヤ１画像メモリ８３−２、またはレイヤ２画像メモリ８４−２より注目画素位置に対応する所定の位置に配置されている複数の画素をサンプリングし（抽出し）、共分散算出処理部１３４に供給する。
【０１４０】
ステップＳ７５において、分散算出処理部１３３は、サンプリング処理部１３１より供給されたＧの画素値のサンプルより分散計算処理を実行し分散値を計算し、クリッピング処理部１３４に供給する。尚、分散計算処理については、図１３，図１４のフローチャートを参照して、詳細を後述する。
【０１４１】
ステップＳ７６において、共分散算出処理部１３６は、サンプリング処理部１３１，１３２より供給されたＧ，Ｒの画素値のサンプルより共分散計算処理を実行し共分散値を計算し、除算処理部１３５に供給する。尚、共分散計算処理については、図１５のフローチャートを参照して、詳細を後述する。
【０１４２】
ステップＳ７７において、クリッピング処理部１３４は、分散算出処理部１３３より供給されてくるGの分散値をクリッピング処理し、除算処理部１３５に供給する。より詳細には、クリッピング処理部１３４は、分散算出処理部１３３より供給されてくるGの分散値と所定の閾値とを比較し、所定の閾値よりも小さい場合、Ｇの分散値を所定の閾値に置き換えて、除算処理部１３５に供給し、所定の閾値よりも大きい場合、そのままのＧの分散値を除算処理部１３５に供給する。
【０１４３】
ステップＳ７８において、除算処理部１３５は、クリッピング処理部１３４より供給されてくる分散値と、共分散算出処理部１３６より供給されてくる共分散値とに基づいて、(共分散/分散)を算出し、乗算処理部１３７に供給する。
【０１４４】
ステップＳ７９において、乗算処理部１３７は、(共分散/分散)に注目画素位置のG画素値を乗じることにより、注目画素位置のR画素の画素値を修正する。すなわち、乗算処理部１３７は、上述した式（４）計算を実行することで、Ｇ，Ｒの相関性を利用してＲの画素値を修正する。
【０１４５】
ステップＳ８０において、サンプリング処理部１３１，１３２は、未処理の画素が存在するか否かを判定し、未処理の画素があると判定された場合、その処理は、ステップＳ７２に戻る。すなわち、未処理の画素がないと判定されるまで、ステップＳ７２乃至Ｓ８０の処理が繰り返されて、順次Ｒの画素値が修正される。
【０１４６】
ステップＳ８０において、未処理の画素がないと判定された場合、ステップＳ８１において、乗算処理部１３７は、これまでに計算したＲチャネルの画素値が修正された画像を出力する。
【０１４７】
以上の処理により、チャネル間の相関性を利用して、ランダムな成分や色収差により生じるクロマ成分のノイズを、画素値を修正することにより除去することが可能となる。
【０１４８】
次に、図１３のフローチャートを参照して、図１８のフローチャートにおけるステップＳ７５の処理である分散計算処理について説明する。
【０１４９】
ステップＳ９１において、分散算出処理部１３３は、演算結果であるとして出力するカウンタＶｔ，ｗを０に初期化する。
【０１５０】
ステップＳ９２において、分散算出処理部１３３は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝１とし、ステップＳ９３において、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝１とする。
【０１５１】
ステップＳ９４において、分散算出処理部１３３は、画素（ｓ，ｔ）の強度Ｘに画素（ｓ，ｔ）の重みｗｉを乗じた値を２乗して、カウンタＶｔに加えた値を、カウンタＶｔとして更新する。すなわち、分散算出処理部１３３は、Ｖｔ＝Ｖｔ＋（｜（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ｜）2を演算する。
【０１５２】
ステップＳ９５において、分散算出処理部１３３は、画素（ｓ，ｔ）の重みｗｉを、カウンタｗに加えた値を、カウンタｗとして更新する。すなわち、分散算出処理部１３３は、ｗ＝ｗ＋（画素（ｓ，ｔ）の重みｗｉ）を演算する。
【０１５３】
ステップＳ９６において、分散算出処理部１３３は、処理を実行する画素位置を示す第２のレジスタの値ｔを参照し、ｔ＝ｎ−２であるか否かを判定する。
【０１５４】
ステップＳ９６において、ｔ＝ｎ−２ではないと判定された場合、ステップＳ１４７において、分散算出処理部１３３は、第２のレジスタの値ｔを、ｔ＝ｔ＋１に更新して、処理は、ステップＳ９４に戻り、それ以降の処理が繰り返される。
【０１５５】
ステップＳ９６において、ｔ＝ｎ−２であると判定された場合、ステップＳ９８において、分散算出処理部１３３は、処理を実行する画素位置を示す第１のレジスタの値ｓを参照し、ｓ＝ｎ−２であるか否かを判定する。
【０１５６】
ステップＳ９８において、ｓ＝ｎ−２ではないと判定された場合、ステップＳ９９において、分散算出処理部１３３は、第１のレジスタの値ｓを、ｓ＝ｓ＋１に更新して、処理は、ステップＳ９３に戻り、それ以降の処理が繰り返される。
【０１５７】
ステップＳ９８において、ｓ＝ｎ−２であると判定された場合、ステップＳ１００において、分散算出処理部１３３は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値の分散値ＶｘｘをＶｔ／ｗとして計算し、処理は、終了する。
【０１５８】
分散値の算出は、定義上では、（（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ））2を分散値の演算に用いた画素の数で除算する必要があるが、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０１５９】
なお、分散値の算出において、ここでは重み付けが施されているので、式（６）を用いて説明した分散値の定義に示されるように、（（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ））2を重み係数の総和で除算することにより、分散値が算出されている。しかしながら、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０１６０】
また、図１３を用いて説明した分散計算処理においては、２乗の計算があるため、演算処理に時間がかかったり、ハードウェアの規模が大きくなるという問題が発生する。そこで、近似計算により２乗の計算を省略するようにしても良い。
【０１６１】
次に、図１４のフローチャートを参照して、近似計算により２乗の計算を省略する場合に、図１２のフローチャートにおけるステップＳ７５において実行される分散計算処理について説明する。
【０１６２】
図１４のフローチャートにおけるステップＳ１２１乃至ステップＳ１２３においては、図１３を用いて説明したステップＳ９１乃至ステップＳ９３と同様の処理が実行される。
【０１６３】
ステップＳ１２４において、分散算出処理部１３３は、（｜２×（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ）｜）を、現在のカウンタＶｔに加えた値として更新する。すなわち、分散算出処理部１３３は、Ｖｔ＝Ｖｔ＋（｜２×（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ）｜）を演算する。
【０１６４】
値｜ｐ｜が正規化され、０≦｜Ｐ｜＜１が成り立っているとき、ｐ2は｜ｐ｜×２で近似することが可能である。
【０１６５】
そして、ステップＳ１２５乃至ステップＳ１３０においては、図１３を用いて説明したステップＳ９５乃至ステップＳ１００と同様の処理が実行され、処理は、終了する。
【０１６６】
このように、分散値の演算に必要な２乗の計算を省略した近似演算により、分散値の近似値を求めることが可能となる。
【０１６７】
次に、図１５のフローチャートを参照して、図１２のステップＳ７６において実行される、共分散計算処理について説明する。
【０１６８】
ステップＳ１５１において、共分散算出処理部１３６は、出力される値であるカウンタＶｔｔ，ｗ（ここでは、第１の信号は、全てＧ強度であり、第２の信号がＲ強度であるものとする）を０に初期化する。
【０１６９】
ステップＳ１５２において、共分散算出処理部１３６は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝１とする
【０１７０】
ステップＳ１５３において、共分散算出処理部１３６は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝１とする
【０１７１】
ステップＳ１５４において、図１６または図１７を用いて後述する積和処理が実行される。
【０１７２】
ステップＳ１５５において、共分散算出処理部１３６は、画素（ｓ，ｔ）の重みｗｉを、カウンタｗに加えた値を、カウンタｗとして更新する。すなわち、共分散算出処理部１３６は、ｗ＝ｗ＋（画素（ｓ，ｔ）の重みｗｉ）を演算する。
【０１７３】
ステップＳ１５６において、共分散算出処理部１３６は、処理を実行する画素位置を示す第２のレジスタの値ｔを参照し、ｔ＝ｎ−２であるか否かを判定する。
【０１７４】
ステップＳ１５６において、ｔ＝ｎ−２ではないと判定された場合、ステップＳ１５７において、共分散算出処理部１３６は、第２のレジスタの値ｔを、ｔ＝ｔ＋１に更新して、処理は、ステップＳ１５４に戻り、それ以降の処理が繰り返される。
【０１７５】
ステップＳ１５６において、ｔ＝ｎ−２であると判定された場合、ステップＳ１５８において、共分散算出処理部１３６は、処理を実行する画素位置を示す第１のレジスタの値ｓを参照し、ｓ＝ｎ−２であるか否かを判定する。
【０１７６】
ステップＳ１５８において、ｓ＝ｎ−２ではないと判定された場合、ステップＳ１５９において、共分散算出処理部１３６は、第１のレジスタの値ｓを、ｓ＝ｓ＋１に更新して、処理は、ステップＳ１５３に戻る。
【０１７７】
ステップＳ１５８において、ｓ＝ｎ−２であると判定された場合、ステップＳ１５９において、共分散算出処理部１３６は、共分散値ＶｘｙをＶｔｔ／ｗとして計算し、処理は、終了する。
【０１７８】
共分散値の算出は、（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の強度Ｙ）×（画素（ｓ，ｔ）の重みｗｉ）を、共分散値の演算に用いた画素の数で除算する必要があるが、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０１７９】
なお、式（５）においては、共分散値の算出において、（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の強度Ｙ）×（画素（ｓ，ｔ）の重みｗｉ）の総和が、重み係数の総和ｗで除算することにより、共分散値が算出されている。しかしながら、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０１８０】
上述した図１５の共分散計算処理のステップＳ１５４において実行される積和処理には、共分散値が算出される場合に実行される積和処理と、近似演算を用いて共分散値が算出される場合に実行される積和処理との、２種類の処理がある。
【０１８１】
次に、図１６のフローチャートを参照して、図１５のステップＳ１５４において実行される共分散値が算出される場合に実行される積和処理について説明する。
【０１８２】
ステップＳ１８１において、共分散算出処理部１３６は、（第１の信号の画素（ｓ，ｔ）の強度Ｘ）、（第２の信号の画素（ｓ，ｔ）の強度Ｙ）、および（画素（ｓ，ｔ）の重みｗｉ）を乗算する。
【０１８３】
ステップＳ１８２において、共分散算出処理部１３６は、Ｖｔｔ＝Ｖｔｔ＋（乗算結果）とする。
【０１８４】
このような積和処理が実行されることにより、共分散値が算出される。図１６のフローチャートを参照して説明した積和処理が実行された場合、定義どおりの演算であるので、その演算結果は、非常に精度の高いものであるが、そのかわり、積和処理が多いため演算に時間がかかったり、ハードウェア実装におけるゲート数の増加を招いてしまう。
【０１８５】
次に、図１７のフローチャートを参照して、図１２のステップＳ７６において実行される積和処理について説明する。図１７のフローチャートを参照して説明する積和処理は、近似された共分散値が算出される場合に実行される処理である。
【０１８６】
ステップＳ２０１において、共分散算出処理部１３６は、｛第１の信号の画素（ｓ，ｔ）の強度Ｘ｝をｐとする。
【０１８７】
ステップＳ２０２において、共分散算出処理部１３６は、｛第２の信号の画素（ｓ，ｔ）の強度Ｙ｝をｑとする。
【０１８８】
ステップＳ２０３において、図１８を用いて後述する乗算近似処理が実行される。
【０１８９】
ステップＳ２０４において、共分散算出処理部１３６は、Ｖｔｔ＝Ｖｔｔ＋（ｐｑの近似値）×（画素（ｓ，ｔ）の重みｗｉ）とし、処理は、終了する。
【０１９０】
次に、図１８のフローチャートを参照して、図１７のステップＳ２０３において実行される乗算近似処理について説明する。乗算近似処理は、上述した式（７）を用いて、近似された共分散値が算出される場合に実行される処理である。
【０１９１】
ステップＳ２２１において、共分散算出処理部１３６は、図１７のステップＳ２０１およびステップＳ２０２において置き換えられた値ｐおよびｑを用いて、｜ｐ｜≧｜ｑ｜であるか否かを判定する。
【０１９２】
ステップＳ２２１において、｜ｐ｜≧｜ｑ｜であると判定された場合、ステップＳ２６２において、共分散算出処理部１３６は、ｐ≧０であるか否かを判定する。
【０１９３】
ステップＳ２２２において、ｐ≧０であると判定された場合、ステップＳ２２３において、共分散算出処理部１３６は、ｐｑの近似値＝＋２ｑとし、処理は、図１７のステップＳ２０４に戻る。
【０１９４】
ステップＳ２２２において、ｐ≧０ではないと判定された場合、ステップＳ２２４において、共分散算出処理部１３６は、ｐｑの近似値＝−２ｑとし、処理は、図１７のステップＳ２０４に戻る。
【０１９５】
ステップＳ２２１において、｜ｐ｜≧｜ｑ｜ではないと判定された場合、ステップＳ２２５において、共分散算出処理部１３６は、ｑ≧０であるか否かを判定する。
【０１９６】
ステップＳ２２５において、ｑ≧０であると判定された場合、ステップＳ２２６において、共分散算出処理部１３６は、ｐｑの近似値＝＋２ｐとし、処理は、図１７のステップＳ２０４に戻る。
【０１９７】
ステップＳ２２５において、ｑ≧０ではないと判定された場合、ステップＳ２２７において、共分散算出処理部１３６は、ｐｑの近似値＝−２ｐとし、処理は、図１７のステップＳ２０４に戻る。
【０１９８】
この処理において、ｑまたはｐが０である場合、ｐｑの近似値は必ず０となる。具体的には、ｑが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立つので、ｐの値に関わらず、ｐｑの近似値は０となる。また、ｐが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立たないので、ｑの値に関わらず、ｐｑの近似値は０となる。
【０１９９】
図１７，図１８を用いて説明した積和処理が実行されることにより、上述した式（７）を用いて、共分散値を近似することが可能である。このようにした場合、式（５）に示される定義どおりの共分散値の演算が実行された場合と比較して、計算速度が高速化されたり、計算のために実装されるハードウェアのゲート数を少なくすることができるなどの利点が発生する。
【０２００】
次に、図１９のフローチャートを参照して、図１０のフローチャートにおけるステップＳ２５の処理である多重解像度逆変換処理について説明する。
【０２０１】
ステップＳ２７１において、多重解像度逆変換処理部９０は、図示せぬカウンタＮをＮmax−１に設定する。このカウンタは、複数の多重解像度画像の数により設定されるものであり、図７の多重解像度逆変換処理部９０においては、レイヤ０乃至３であるので、Nmaxは、４となる。
【０２０２】
ステップＳ２７２において、拡大処理部１５１は、最低レイヤの画像を拡大する。すなわち、図７の場合、拡大処理部１５１−１が、最低レイヤであるレイヤ３画像メモリ８５に格納されている画像を拡大し、加算処理部１５２−１に供給する。
【０２０３】
ステップＳ２７３において、多重解像度逆変換処理部９０は、カウンタＮを１デクリメントする。
【０２０４】
ステップＳ２７４において、多重解像度逆変換処理部９０は、カウンタＮが０であるか否かを判定する。例えば、カウンタＮが０ではない場合、ステップＳ２７５において、加算処理部１５２は、拡大処理部１５１により拡大された画像に、レイヤＮ修正画像を加算し、1レイヤ上の拡大処理部１５１に出力する。すなわち、最初の処理では、加算処理部１５２−１が、拡大処理部１５１−１より供給された画像に、レイヤ２修正画像メモリ８９に格納されているレイヤ２修正画像を加算し、拡大処理部１５１−２に供給する。
【０２０５】
ステップＳ２７５において、拡大処理部１５１は、加算処理部１５２より供給されたレイヤＮ修正画像が加算された画像を拡大し、1レイヤ上の加算処理部１５２に供給し、ステップＳ２７４の処理に戻る。すなわち、最初の処理の場合、拡大処理部１５１−２が、加算処理部１５２−１より供給された画像を拡大し、加算処理部１５２−２に供給する。
【０２０６】
すなわち、ステップＳ２７４において、カウンタＮが０であると判定されるまで、ステップＳ２７３乃至Ｓ２７６の処理が繰り返される。図７の場合、さらに、加算処理部１５２−２が、拡大処理部１５１−２より供給された画像に、レイヤ１修正画像メモリ８８に格納されているレイヤ１修正画像を加算し、拡大処理部１５１−３に供給する。
【０２０７】
さらに、拡大処理部１５１−３は、加算処理部１５２−２より供給された画像を拡大し、加算処理部１５２−３に供給する。この処理の後、カウンタＮは０となるため、ステップＳ２７４において、カウンタＮは０であると判定され、ステップＳ２７７において、加算処理部１５２は、レイヤＮ、すなわち、レイヤ０修正画像をレイヤ修正画像メモリ８７より読み出し、拡大処理部１５１により拡大された画像を加算する。すなわち、ここでは、加算処理部１５２−３が、最上位レイヤであるレイヤ０修正画像を拡大処理部１５１−３により拡大された画像に加算し、ステップＳ２７８において、出力する。
【０２０８】
以上の処理により、レイヤ０修正画像、レイヤ１修正画像、レイヤ２修正画像、およびレイヤ３画像を多重化解像度画像逆変換することで、元の解像度の画像に統合することが可能となる。
【０２０９】
以上によれば、チャネル間の相関を利用して、基準となるチャネル（例えばG）信号との相関がなるべく高くなるように、他のチャネル信号の画素値を修正する（推定する）ことで、チャネル間の無相関な成分を低減させることが可能となる。このため、チャネル間の無相関な成分であるクロマ成分に混在するノイズを除去することが可能となり、結果として、クロマ成分のノイズを低減した画像信号を生成することが可能となる。
【０２１０】
以上においては、Ｒの分散値とＧ，Ｒの共分散値とを用いて画素値を推定していた。ところが、クロマ成分のノイズはランダムな成分と色収差の2種類であるが、どちらもその混在によってチャネル間相関を弱くしてしまうという性質がある。そこで、チャネル間相関が十分に強ければ、上述の線形回帰計算により画素値を修正するが、チャネル間相関が十分に強くないときには、一方のチャネルの信号を遮断し、他方のチャネル信号で置き換えるようにしてもよい。
【０２１１】
図２０は、チャネル間相関が十分に強ければ、上述の線形回帰計算により画素値を修正するが、チャネル間相関が十分に強くないときには、一方のチャネルの信号を遮断し、他方のチャネル信号で置き換えるようにした修正処理部８６の機能の一実施の形態の構成を示している。
【０２１２】
図２０において、サンプリング処理部２０１−１，２０１−２、分散算出処理部２０２−１、共分散算出処理部２０３、クリッピング処理部２０４、除算処理部２０５、および乗算処理部２０６は、図６におけるサンプリング処理部１３１，１３２、分散算出処理部１３３、共分散算出処理部１３６、クリッピング処理部１３４、除算処理部１３５、および乗算処理部１３７と同様の処理を実行するものであるので、その説明は省略する。
【０２１３】
図２０の修正処理部８６において、図６の修正処理部８６と異なるのは、新たに分散算出処理部２０２−２、相関係数算出処理部２０７、およびスイッチ２０８が設けられている点である。また、分散算出処理部２０２−１は、計算した分散値を新たに相関係数算出処理部２０７に供給し、共分散算出処理部２０３は、計算した共分散値を新たに相関係数算出処理部２０７に供給している。さらに、乗算処理部２０６は、乗算結果をスイッチ２０８に供給している。
【０２１４】
分散算出処理部２０２−２は、注目画素に対応する所定の位置の近傍のRチャネル画素のサンプルからRチャネルの分散値を算出し、相関係数算出処理部２０７に供給する。
【０２１５】
相関係数算出処理部２０７は、分散算出処理部２０２−１が算出したGの分散値、分散算出処理部２０２−２が算出したRの分散値、および、共分散算出処理部２０３が算出したRとGの共分散値からRとGの相関係数（＝（共分散値）／（√（Gの分散値）×√（Rの分散値）））を算出し、スイッチ２０８に供給する。
【０２１６】
スイッチ２０８は、相関係数算出処理部２０７より供給されたRとGの相関係数と、所定の閾値とを比較し、相関係数が所定の閾値より大きい場合、乗算処理部２０６で修正された注目画素のRチャネル画素値を出力させ、相関係数が所定の閾値より小さい場合、乗算処理部２０６により修正したR画素値を遮断し、注目画素のGチャネル画素値をそのまま出力させる。
【０２１７】
次に、図２１のフローチャートを参照して、図２０の修正処理部８６による画素値修正処理について説明する。尚、図２１のフローチャートにおけるステップＳ２９１乃至Ｓ２９９、およびステップＳ３０５，Ｓ３０６の処理は、図１２のフローチャートを参照して説明したステップＳ７１乃至Ｓ７９およびステップＳ８０，Ｓ８１の処理と同様であるので、その説明は省略する。
【０２１８】
ステップＳ３００において、分散算出処理部２０２−２は、サンプリング処理部２０１−２より供給されたＲの画素値のサンプルより分散計算処理を実行し分散値を計算し、相関係数算出処理部２０７に供給する。
【０２１９】
ステップＳ３０１において、相関係数算出処理部２０７は、分散算出処理部２０２−１，２０２−２よりそれぞれ供給されたＧ，Ｒの分散値、および共分散算出処理部２０３より供給されたＧ，Ｒの共分散値に基づいて、相関係数（＝（G-R共分散値）／（√（Gの分散値）×√（Rの分散値）））を算出し、スイッチ２０８に供給する。
【０２２０】
ステップＳ３０２において、スイッチ２０８は、相関係数が所定の閾値よりも大きいか否かを判定し、例えば、大きいと判定した場合、ステップＳ３０３において、乗算処理部２０６より供給されたＧ，Ｒの相関に基づいて、修正されたＲの画素値（＝（共分散）／（分散）×（注目画素のＧの輝度値）を選択し、その処理は、ステップＳ３０５に進む。
【０２２１】
一方、ステップＳ３０２において、相関係数が所定の閾値よりも小さいと判定した場合、ステップＳ３０４において、スイッチ２０８は、サンプリング処理部２０１−１より供給されてきたＧの輝度値を選択し、その処理は、ステップＳ３０５に進む。
【０２２２】
以上の処理により、チャネル間の相関が弱いときはクロマ成分に混在するノイズが大きいと判定し、ノイズが大きいサンプルから線形回帰をおこなうよりもGチャネルを出力する。結果として、チャネル間の相関に応じて、クロマ成分のノイズを積極的に低減させることが可能となる。
【０２２３】
以上においては、チャネル間の相関の強弱を相関係数を用いて判定する例について説明してきたが、これ以外の方法で、チャネル間の相関の強弱を判定してもよく、例えば、２つの分散値の差分絶対値と所定の閾値との比較により、チャネル間の相関の強弱を判定するようにしてもよい。
【０２２４】
図２２は、チャネル間の相関の強弱を２つの分散値の差分絶対値により判定するようにした修正処理部８６の機能の一実施の形態の構成を示している。
【０２２５】
尚、図２２の修正処理部８６の構成におけるサンプリング処理部２２１−，２２１−２、分散算出処理部２２２−１，２２２−２、共分散算出処理部２２３、マッピング処理部２２４、除算処理部２２５、および乗算処理部２２６については、図２０の修正処理部８６におけるサンプリング処理部２０１−，２０１−２、分散算出処理部２０２−１，２０２−２、共分散算出処理部２０３、マッピング処理部２０４、除算処理部２０５、および乗算処理部２０６と同様であるので、その説明は省略する。
【０２２６】
図２２の修正処理部８６において、図２０の修正処理部８６の構成と異なるのは、相関係数算出処理部２０７およびスイッチ２０８に代えて、差分算出処理部２２７およびスイッチ２２８が設けられている点である。差分算出処理部２２７は、Ｇ，Ｒチャネルのそれぞれの分散値の差分絶対値を求め、スイッチ２２８に供給する。スイッチ２２８は、差分絶対値と所定の閾値とを比較し、比較結果に応じて相関の強弱を判定し、相関が弱ければ、サンプリング処理部２２１−１より供給された信号を選択し、相関が強ければ、乗算処理部２２６より供給された信号を選択する。
【０２２７】
次に、図２３のフローチャートを参照して、図２２の修正処理部８６による画素値修正処理について説明する。尚、図２２のフローチャートにおけるステップＳ３２１乃至Ｓ３３０、およびステップＳ３３３乃至Ｓ３３６の処理は、図２１のフローチャートを参照して説明したステップＳ２９１乃至Ｓ３００およびステップＳ３０３乃至Ｓ３０６の処理と同様であるので、その説明は省略する。
【０２２８】
ステップＳ３３１において、差分算出処理部２２７は、分散算出処理部２２２−１，２２２−２よりそれぞれ供給されたＧ，Ｒの分散値に基づいて、差分絶対値（＝｜（Gの分散値）−（Rの分散値）｜）を算出し、スイッチ２０８に供給する。
【０２２９】
ステップＳ３３２において、スイッチ２２８は、差分絶対値が所定の閾値よりも大きいか否かを判定し、例えば、大きいと判定した場合、ステップＳ３３３において、乗算処理部２０６より供給されたＧ，Ｒの相関に基づいて、修正されたＲの画素値（＝（共分散）／（分散）×（注目画素のＧの輝度値）を選択し、その処理は、ステップＳ３３５に進む。
【０２３０】
一方、ステップＳ３３２において、相関係数が所定の閾値よりも小さいと判定した場合、ステップＳ３３４において、スイッチ２２８は、サンプリング処理部２２１−１より供給されてきたＧの輝度値を選択し、その処理は、ステップＳ３３５に進む。
【０２３１】
以上の処理により、分散値の差分絶対値からみたチャネル間の相関が弱いときはクロマ成分に混在するノイズが大きいと判定し、ノイズが大きいサンプルから線形回帰をおこなうよりもGチャネルを出力する。結果として、チャネル間の相関に応じて、クロマ成分のノイズを積極的に低減させることが可能となる。被写体輪郭領域において色収差に起因するエッジの色ずれがある場合、その色ずれがチャネル間の分散値の差として検出されやすい。結果として、以上のような処理により、このような色収差起因のエッジの色ずれに起因するノイズを有効に除去することが可能となる。また、相関係数を演算する際に必要となる乗算処理が不要となるため、コンピュータによる演算の負荷を低減させることが可能となる。
【０２３２】
以上においては、GとR、またはGとBというような2チャネル間の相関に基づいて、修正した画素値か、または、Gの画素値かのいずれかを選択させる処理について説明してきたが、３チャネル以上のチャネル間相関を同時に評価することにより、よりクロマ成分のノイズ除去の効果を高めるようにしてもよい。
【０２３３】
図２４は、３チャネルのチャネル間相関を同時に評価して、クロマ成分のノイズを除去するようにしたノイズ除去処理部４３の機能の一実施の形態の構成を示す図である。尚、図２４のノイズ除去処理部４３における多重解像度変換処理部２５１−１乃至２５１−３、レイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、レイヤ２画像メモリ２５４−１乃至２５４−３、レイヤ３画像メモリ２５５−１乃至２５５−３、レイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、レイヤ２修正画像メモリ２５９−１，２５９−２、および多重解像度逆変換処理部２６０−１，２６０−２は、図４の多重解像度変換処理部８１−１，８１−２、レイヤ０画像メモリ８２−１，８２−２、レイヤ１画像メモリ８３−１，８３−２、レイヤ２画像メモリ８４−１，８４−２、レイヤ３画像メモリ８５−１，８５−２、レイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、レイヤ２修正画像メモリ８９、および多重解像度逆変換処理部９０と同様のものなので、その説明は省略する。ただし、多重解像度逆変換処理部２６０−１，２６０−２は、それぞれ修正されたＲ，Ｂの画素値を出力する。また、3チャネルよりも多い多チャネルのカメラシステムである場合でも、図２４に示す構成にRまたはBチャネルの信号に該当する部分をそのまま追加したような構成とすることにより対応可能であるので、ここでは３チャネル構成の場合について説明する。
【０２３４】
図２４のノイズ除去処理部４３において、新たな構成は、修正処理部２５６−１乃至２５６−３が設けられている点である。修正処理部２５６−１乃至２５６−３は、それぞれRGBの３チャネルの相関に基づいて、Ｒ，Ｂの画像信号におけるクロマ成分のノイズを除去するようにＲ，Ｂの画素値を修正し、それぞれレイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、およびレイヤ２修正画像メモリ２５９−１，２５９−２に格納する。
【０２３５】
次に、図２５を参照して、修正処理部２５６の機能の一実施の形態の構成について説明する。
【０２３６】
サンプリング処理部２８１−１乃至２８１−３は、該当するレイヤのそれぞれGRBチャネル画像から、注目画素位置に対応して設定される所定位置の近傍画素から複数個のGRBチャネル画素値をサンプリング（抽出）し、分散共分散相関係数算出処理部２８２に供給する。
【０２３７】
分散共分散相関係数算出処理部２８２は、サンプリングされたGRBの画素値に基づいて、GRBの注目画素周辺の分散値を求め、Gの分散値をクリッピング処理部２８３に供給する。また、分散共分散相関係数算出処理部２８２は、サンプリングされたGRB画素値に基づいて、G-RおよびG-Bの注目画素周辺の共分散値を求め、それぞれ除算処理部２８４−１，２８４−２に供給する。さらに、分散共分散相関係数算出処理部２８２は、GRBの分散値、G-RおよびG-Bの注目画素周辺の共分散値、並びに、G-RおよびG-Bの相関係数を判定処理部２８６に供給する。
【０２３８】
クリッピング処理部２８３は、Gチャネルのサンプルの分散値が所定の閾値より小さい場合、その閾値でクリッピングし、除算処理部２８４−１，２８４−２に供給する。除算処理部２８４−１，２８４−２は、それぞれクリッピング処理部２８３より供給される分散値により、分散共分散相関係数算出処理部２８２より供給されるG-RおよびG-B共分散値を除算し、分散値に対する共分散値の割合(共分散値/分散値)としてそれぞれ乗算処理部２８５−１，２８５−２に供給する。乗算処理部２８５−１，２８５−２は、(共分散値/分散値)に注目画素位置のGチャネル輝度値を乗じることで注目画素のノイズ除去されたRおよびBチャネル輝度値を修正し、それぞれスイッチ２８７，２８８に供給する。
【０２３９】
判定処理部２８６は、分散共分散相関係数算出処理部２８２により算出されたGRBチャネルのGRBの分散値、G-RおよびG-Bの注目画素周辺の共分散値、並びに、G-RおよびG-Bの相関係数に基づいて、乗算処理部２８１−１，２８５−２が算出した注目画素のRチャネル画素の修正値およびBチャネル画素の修正値が利用できるか否かを判定し、判定結果をスイッチ２８７，２８８に供給する。
【０２４０】
スイッチ２８７，２８８は、RBチャネルのそれぞれに対応し、判定処理部２８６より供給される判定結果に基づいて、乗算処理部２８５−１，２８５−２により算出された注目画素のRチャネル画素の修正値およびBチャネル画素の修正値を選択させるか、または、注目画素のGチャネルの画素値のいずれかを選択する。
【０２４１】
次に、図２６のフローチャートを参照して、図２４のノイズ除去処理部４３によるノイズ除去処理について説明する。
【０２４２】
ステップＳ３５１において、多重解像度変換処理部２５１−１乃至２５１−３は、それぞれ非線形変換処理部４２により生成された非線形変換処理されたGRBチャネル分の画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返し、入力されたと判定された場合、その処理は、ステップＳ３５２に進む。
【０２４３】
ステップＳ３５２乃至Ｓ３５４において、多重解像度変換処理部２５１−１乃至２５１−３は、それぞれ多重解像度変換処理を実行し、入力されたGRBの画像をそれぞれ複数の多重解像度画像を生成し、生成した画像をレイヤ毎にそれぞれレイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、レイヤ２画像メモリ２５４−１乃至２５４−３、およびレイヤ３画像メモリ２５５−１乃至２５５−３に格納する。尚、GRBそれぞれの多重解像度変換処理は、図１１のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０２４４】
ステップＳ３５５において、修正処理部２５６−１乃至２５６−３は、それぞれレイヤ０乃至２のそれぞれのGRBの信号を用いて、画素値修正処理を実行し、R，Bの画素値を修正し、それぞれレイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、およびレイヤ２修正画像メモリ２５９−１，２５９−２に格納する。尚、画素値修正処理については、図２７のフローチャートを参照して、詳細を後述する。
【０２４５】
ステップＳ３５６，Ｓ３５７において、多重解像度逆変換処理部２６０−１，２６０−２は、それぞれ多重解像度逆変換処理を実行し、レイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、およびレイヤ２修正画像メモリ２５９−１，２５９−２に格納されている、Ｒ，Ｂの画素値が修正されたレイヤ０乃至２の画像、および、レイヤ３画像メモリ２５５−２，２５５−３に格納されているＲ，Ｂの画像を、ステップＳ３５３，Ｓ３５４の処理による多重解像度変換の逆変換を実行することで、Ｒ，Ｂの複数の多重解像度画像を統合し、ステップＳ３５８において、統合されたＲ，Ｂの画像を出力する。尚、多重解像度逆変換処理については、図２０のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０２４６】
次に、図２７のフローチャートを参照して、図２５の修正処理部２５６による画素値修正処理について説明する。
【０２４７】
ステップＳ３８１において、修正処理部２５６−１乃至２５６−３のサンプリング処理部２８１−１乃至２８１−３は、それぞれレイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、およびレイヤ２画像メモリ２５４−１乃至２５４−３に、RGBチャネルの画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返す。例えば、入力されたと判定された場合、その処理は、ステップＳ３８２に進む。
【０２４８】
ステップＳ３８２において、サンプリング処理部２８１−１乃至２８１−３は、同一の未処理の画素を注目画素として選択する
【０２４９】
ステップＳ３８３乃至Ｓ３８５において、サンプリング処理部２８１−１乃至２８１−３は、それぞれGBRチャネルのレイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、またはレイヤ２画像メモリ２５４−１乃至２５４−３より注目画素位置に対応する所定の位置に配置されている複数の画素をサンプリングし（抽出し）、分散共分散相関係数算出処理部２８２に供給する。
【０２５０】
ステップＳ３８６において、分散共分散相関係数算出処理部２８２は、サンプリング処理部２８１−１乃至２８１−３より供給されたGRBの画素値のサンプルより分散計算処理を実行し、RGBの分散値を計算し、Gの分散値をクリッピング処理部２８３に供給すると共に、GRBの分散値を判定処理部２８６に供給する。尚、分散計算処理については、図１３，図１４のフローチャートを参照して説明した処理であるので、その説明は、省略する。
【０２５１】
ステップＳ３８７において、分散共分散相関係数算出処理部２８２は、サンプリング処理部２８１−１乃至２８１−３より供給されたGRBの画素値のサンプルより共分散計算処理を実行し、G-R、G-BおよびB-Rの共分散値を計算し、それぞれ除算処理部２８４−１，２８４−２および判定処理部２８６に供給する。尚、共分散計算処理については、図１５のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０２５２】
ステップＳ３８８において、分散共分散相関係数算出処理部２８２は、相関係数計算処理を実行し、GRBの画素値のサンプルより計算された分散値と共分散値とに基づいて、G-R、G-B、B-Rの相関係数を計算し、判定処理部２８６に供給する。尚、相関係数計算処理については、図２１のフローチャートにおけるステップＳ３０１の処理と同様であるので、その説明は省略する。
【０２５３】
ステップＳ３８９において、クリッピング処理部２８３は、分散共分散相関係数算出処理部２８２より供給されてくるGの分散値をクリッピング処理し、除算処理部２８４−１，２８４−２に供給する。
【０２５４】
ステップＳ３９０，Ｓ３９１において、除算処理部２８４−１，２８４−２は、それぞれクリッピング処理部２８３より供給されてくる分散値と、分散共分散相関係数算出処理部２８２より供給されてくるG-RおよびG-Bの共分散値とに基づいて、それぞれＲ，Ｂに対しての(共分散/分散)を算出し、それぞれ乗算処理部２８５−１，２８５−２に供給する。
【０２５５】
ステップＳ３９２，Ｓ３９３において、乗算処理部２８５−１，２８５−２は、それぞれＲ，Ｂの(共分散/分散)に注目画素位置のG画素値を乗じることにより、注目画素位置のR，Ｂ画素の画素値を修正する。
【０２５６】
ステップＳ３９４において、判定処理部２８６は、分散共分散相関係数算出処理部２８２より供給されたGRBの分散値、G-RおよびG-Bの共分散値、並びにG-R、G-B、およびR-Bの相関係数に基づいて、以下の式（９）で示される判定式の値を算出し、スイッチ２８７，２８８にそれぞれ供給する。
【０２５７】
【数９】
・・・（９）
【０２５８】
ここで、switchは、判定結果であり、条件を満たす場合、passingとなり乗算処理部２８５−１，２８５−２より供給された修正された画素値が選択され、条件を満たさない場合、blockingとなり入力されたGの画素値がそのまま使用される。また、VGG，VRR，VBBはそれぞれRGBの分散値であり、CovRG，CovGB，CovBRはそれぞれR-G,G-B,B-Rの相関係数であり、THはそれぞれの所定の閾値である。
【０２５９】
ステップＳ３９５において、スイッチ２８７，２８８は、判定結果がpassingであるか否かを判定し、例えば、passingであると判定した場合、ステップＳ３９６，Ｓ３９７において、それぞれ乗算処理部２８５−１，２８５−２より供給されたG-RおよびG-Bの相関に基づいて修正されたＲ，Ｂの画素値を選択し、その処理は、ステップＳ４００に進む。
【０２６０】
一方、ステップＳ３９５において、passingではないと判定された場合、ステップＳ３９８，Ｓ３９９において、スイッチ２８７，２８８は、サンプリング処理部２８１−１より供給されてきたＧの輝度値を選択し、その処理は、ステップＳ４００に進む。
【０２６１】
ステップＳ４００において、サンプリング処理部２８１−１乃至２８１−３は、未処理の画素が存在するか否かを判定し、未処理の画素があると判定された場合、その処理は、ステップＳ３８１に戻る。すなわち、未処理の画素がないと判定されるまで、ステップＳ３８１乃至Ｓ４００の処理が繰り返されて、順次Ｒ，Ｂの画素値が修正される。
【０２６２】
ステップＳ４００において、未処理の画素がないと判定された場合、ステップＳ４０１において、スイッチ２８７，２８８は、それぞれ、これまでに計算したＲ，Ｂチャネルの画素値を修正した画像を出力する。
【０２６３】
以上の処理により、チャネル間の相関性を利用して、ランダムな成分や色収差により生じるクロマ成分のノイズを、画素値を修正することにより除去することが可能となる。また、このように、3チャネルを信号を扱う構成の修正手段においては、ノイズ除去したい各チャネル（R,B）と基準となるチャネル(G)の間の関係だけでなく、ノイズ除去したいチャネル間の関係も合わせて判定をおこなうのでより特徴的なノイズ成分への対応が可能となる。特に、上述した式（９）の判定式により、例えば、高コントラストエッジ付近に現れる色収差の一種である色フレア現象はエッジの青乃至紫色の着色（パープルフリンジ）として見えることが多いが、このように特定の色相で目立つ場合を判別してそれを選択的に除去するようにすることが可能となる。
【０２６４】
判定式の条件を変えることで、その他の現象により発生するノイズを除去することも可能である。
【０２６５】
以上によれば、固体撮像素子などのイメージセンサを用いて得られた画像信号のクロマ成分に混在するノイズ成分を効率よく除去し、色ムラや色ズレという現象をなくすことが可能になる。
【０２６６】
また、以上によれば、基準となるチャネル（例えばG）信号に対して他のチャネル信号の相関がなるべく高くなるように推定（修正）する処理により、チャネル間の無相関な成分を低減することが可能となり、クロマ成分に混在するノイズを低減させるようにすることが可能となる。
【０２６７】
さらに、チャネル間相関が十分に強くないと判定された場合に、片方のチャネルの信号を遮断しもう一方のチャネル信号で置き換えるようにすることで、チャネル間相関が十分に高い場合にだけ、チャネル間相関を利用した画素値修正方法を使用することにより、効果的にノイズを除去することが可能となる。
【０２６８】
また、GとR、またはGとBというような2チャネル間の相関に基づく処理だけでなく、３チャネル以上のチャネル間相関を同時に評価することにより、よりクロマ成分のノイズを、さらに効果的に除去することが可能となる。
【０２６９】
さらに、多重解像度処理により入力画像を複数の帯域に分離した後に、チャネル間相関に基づいたノイズ除去処理を実行することにより、多重解像度処理によって、従来では除去しきれなかった低周波成分のノイズ成分を効果的に除去することが可能となる。
【０２７０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０２７１】
図２８は、図２のDSPブロック１６の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU４０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU４０１は、バス４０４および入出力インタフェース４０５を介してユーザからキーボードやマウスなどからなる入力部４０６から指令が入力されると、それに対応してROM(Read Only Memory)４０２に格納されているプログラムを実行する。あるいはまた、CPU４０１は、ドライブ４１０に接続された磁気ディスク４２１、光ディスク４２２、光磁気ディスク４２３、または半導体メモリ４２４から読み出され、記憶部４０８にインストールされたプログラムを、RAM(Random Access Memory)４０３にロードして実行する。これにより、上述した図２のDSPブロック１６の機能が、ソフトウェアにより実現されている。さらに、CPU４０１は、通信部４０９を制御して、外部と通信し、データの授受を実行する。
【０２７２】
プログラムが記録されている記録媒体は、図２６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４２１（フレキシブルディスクを含む）、光ディスク４２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク４２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ４２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４０２や、記憶部４０８に含まれるハードディスクなどで構成される。
【０２７３】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【符号の説明】
【０２７４】
１１ レンズ， １２ 絞り， １３ イメージセンサ， １４ 相関2重サンプリング回路， １５ A/Dコンバータ， １６ DSPブロック， １７ タイミングジェネレータ， １８ D/Aコンバータ， １９ ビデオエンコーダ， ２０ 表示部， ２１ コーデック処理部， ２２ メモリ， ２３ CPU， ２４ 操作入力部， ２５ バス， ４１ デモザイク処理部， ４２ 非線形変換処理部， ４３ ノイズ除去処理部， ４４ 非線形逆変換処理部， ４５ ホワイトバランス処理部， ４６ ガンマ補正処理部， ４７ YC変換処理部， ６１ マッピング処理部， ６２ 変換曲線LUT， ８１，８１−１，８１−２ 多重解像度変換処理部， ８２ レイヤ０画像メモリ， ８３ レイヤ１画像メモリ， ８４ レイヤ２画像メモリ， ８５ レイヤ３画像メモリ，８６，８６−１乃至８６−３ 修正処理部， ８７ レイヤ０ノイズ除去画像， ８８ レイヤ１ノイズ除去画像， ８９ レイヤ２ノイズ除去画像， ９０ 多重解像度逆変換処理部， １１１，１１１−１乃至１１１−３ 縮小処理部， １１２，１１２−１乃至１１２−３ 減算処理部， １１３，１１３−１乃至１１３−３， 拡大処理部， １３１，１３２ サンプリング処理部， １３３ 分散算出処理部， １３４ クリッピング処理部， １３５ 除算処理部， １３６ 共分散算出処理部， １３７ 乗算処理部， １５１，１５１−１乃至１５１−３ 拡大処理部， １５２，１５２−１乃至１５２−３ 加算処理部， １７１ 逆マッピング処理部， １７２ 変換曲線LUT， ２０１，２０１−１，２０１−２ サンプリング処理部， ２０２，２０２−１，２０２−２ 分散算出処理部， ２０３ 共分散算出処理部， ２０４ クリッピング処理部， ２０５ 除算処理部， ２０６ 乗算処理部， ２０７ 相関係数算出処理部， ２０８ スイッチ， ２２１，２２１−１，２２１−２ サンプリング処理部， ２２２，２２２−１，２２２−２ 分散算出処理部， ２２３ 共分散算出処理部， ２２４ クリッピング処理部， ２２５ 除算処理部， ２２６ 乗算処理部， ２２７ 差分算出処理部， ２２８ スイッチ， ２５１，２５１−１，２５１−２ 多重解像度変換処理部， ２５２，２５２−１乃至２５２−３ レイヤ０画像メモリ， ２５３，２５３−１乃至２５３−３ レイヤ１画像メモリ， ２５４，２５４−１乃至２５４−３ レイヤ２画像メモリ， ２５５，２５５−１乃至２５５−３ レイヤ３画像メモリ，２５６，２５６−１乃至２５６−３ 修正処理部， ２５７，２５７−１，２５７−２ レイヤ０ノイズ除去画像， ２５８，２５８−１，２５８−２ レイヤ１ノイズ除去画像， ２５９，２５９−１，２５９−２ レイヤ２ノイズ除去画像， ２６０，２６０−１，２６０−２ 多重解像度逆変換処理部， ２８１，２８１−１乃至２８１−３ サンプリング処理部， ２８２ 分散共分散相関係数算出処理部， ２８３ クリッピング処理部， ２８４，２８４−１，２８４−２ 除算処理部， ２８５，２８５−１，２８５−２ 乗算処理部， ２８６ 判定処理部， ２８７，２８８ スイッチ
【技術分野】
【０００１】
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、固体撮像素子などのイメージセンサを用いて得られた画像信号に混在するノイズ成分の中でも特にイメージセンサで生じるノイズ成分を除去できるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
ノイズを含んだ信号から信号成分とノイズ成分を分離する処理は信号処理の最大の関心事であり、非常に多種多様の技術がこれまでに開発されてきた。画像信号の場合、特に撮像時にイメージセンサ内部で生じるランダムなノイズ成分が問題となっている。イメージセンサ起因のノイズにもいろいろな種類があるが、そのなかでも、クロマ成分に混在するノイズであって、画像を観察したときに色ムラあるいは色ズレという現象として認識されるノイズが、改善されることにより、高画質化が期待される。
【０００３】
このようなクロマ成分に混在するノイズの原因としては、少なくとも以下の２点が挙げられる。
【０００４】
第1点としては、チャネル間で独立にランダムノイズが発生していることが挙げられる。すなわち、固体撮像素子は、通常それ自体が幅広い分光感度を持っているので、カラー画像を撮像する場合、カラーフィルタなどで分光感度を変えた複数（通常３種類）のイメージセンサが利用される。この場合、３チップの固体撮像素子を用いてそれぞれに独立した異なる分光感度を持たせる方法と、１チップのみで、画素単位で分光感度を変える方法とがある。しかしながら、いずれの方法においてもそれぞれのチャネル（色）の信号は独立した異なるイメージセンサによって獲得されるので、イメージセンサで発生するランダムノイズも当然のことながらチャネル間に独立に発生することになる。結果として、クロマ成分に独立なノイズ成分が生じてしまう。
【０００５】
また、第2の点としては、光学系の色収差が原因となっていることが挙げられる。すなわち、色収差は、波長ごとに屈折率が異なるため、色によって収差の出方が異なることにより発生するものであるが、この色収差により特定のチャネルの画像だけがぼけたり、被写体のエッジ部分で位置がずれたりという現象が発生する。結果として、この現象が、上述した色ムラあるいは色ズレとして観察されてしまう。
【０００６】
そこで、このようなクロマ成分に混在するノイズを除去する技術が提案されている。
【０００７】
例えば、画像の高輝度領域など色収差によって色ズレを生じやすい領域を輝度信号をたよりに検出し、検出した領域に対して適度に膨張処理したのち、膨張させた領域内の色差信号に平滑化処理をおこなうものがある（例えば、特許文献１参照）。
【０００８】
また、画像中の被写体エッジ領域以外については、色差信号に高周波はあまりないという仮定から、エッジ領域以外の領域に対しては、平均値処理によって高周波成分を除去した色差信号を算出することで色差ノイズを除去するものがある（例えば、特許文献２参照）。同様に輝度信号に高周波成分がないところでは色差信号にも高周波成分はあまりないという仮定に基づいて色差ノイズを除去するものがある（例えば、特許文献３参照）。
【０００９】
以上の従来技術は、イメージセンサ出力から輝度信号と色差信号を生成した後に行うことができるものであるが、イメージセンサが原色（RGB）信号を出力するような場合にRGB信号においてクロマ成分のノイズを除去する技術として、RGB画像に対し、局所的なR-G相関係数とB-G相関係数を算出し、それぞれの相関係数に基づいてRとBに対する補正値を算出することによって、特に被写体エッジにおける色ズレを効果的に補正しようとするものがある（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平５−１４９２５号公報
【特許文献２】特開平３−２９１０９３号公報
【特許文献３】特開２００３−２２４８６１号公報
【特許文献４】特開２００３−２３０１５９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上述した技術においては、例えば、特許文献１に記載されている高輝度領域の色収差による色ズレに対処する技術では、適切な効果を得るためには画像上に発生する色収差の大きさに応じて膨張処理や伝播・拡散処理をおこなう広さを調整することが必要である。色収差の大きさはイメージセンサの画素数や光学系の性能に依存し、場合によっては数十画素(orライン)規模の膨張処理や伝播・拡散処理が必要となりうる。膨張処理や伝播・拡散処理は均一な局所処理を全画素に対しておこなうことを複数回繰り返す処理なので、それらをハードウェアで実現することを検討した場合、繰り返し回数に比例したフレームメモリへのアクセス回数、若しくは相当量のディレイラインの実装が必要となり、回路規模が大きくなりすぎてしまい、現実的ではない。
【００１２】
また、特許文献１乃至３に記載されている技術は、輝度信号に基づいて、色差信号に平滑化処理をおこなう場所を限定し、限定された領域において色差信号が平滑化されることによりノイズが低減する、という共通点がある。すなわち、これらの技術においてはクロマ成分のノイズを除去する代償として色差信号の高周波成分が失われてしまう恐れがある。
【００１３】
一方、特許文献４に記載されている技術は、RGBチャネル間の相関の強さに基づいて、補正すべきチャネル（通常はRとB）の補正値を算出するものである。この補正値は参照されるチャネル（通常はG）の高周波成分に基づいて、補正すべきチャネルの適切な高周波成分が含まれるように算出されるので、この手法を用いれば上述した特許文献１乃至３の技術におけるクロマ成分の高周波成分を劣化させないようにすることが可能である。
【００１４】
しかしながら、近年イメージセンサの画素数増大にともない、色収差による色ズレやチャネル間に独立なランダムノイズが低周波成分にも拡大し、特許文献４で示されている手法のような局所的な演算で高周波成分のクロマ成分ノイズを除去するだけでは不十分な状況になりつつある。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、特に、固体撮像素子などのイメージセンサを用いて得られた画像信号のクロマ成分に混在するノイズ成分を効率よく除去し、色ムラや色ズレという現象を抑制するものである。
【課題を解決するための手段】
【００１６】
本発明の一側面の画像処理装置は、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段と、前記多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正手段と、前記修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段と、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段と、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段と、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択手段とを備えることを特徴とする。
【００１７】
前記第１の画像、および、前記第２の画像のそれぞれの前記周辺画素の画素値に基づいて、前記第１の画像、および、前記第２の画像の画素値の共分散値を算出する共分散値算出手段と、前記第１の分散値、前記第２の分散値、および前記共分散値とに基づいて、第１の画像、および、前記第２の画像の相関を算出する相関算出手段とをさらに設けるようにさせることができ、前記選択手段には、前記相関が弱い場合、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択させるようにすることができる。
【００１８】
前記第１の分散値、および前記第２の分散値の差分を算出する差分算出手段をさらに設けるようにさせることができ、前記選択手段には、前記分散値の差分が大きい場合、前記第１の画像の注目画素値を、前記第２の画像の注目画素値として選択させるようにすることができる。
【００１９】
前記多重解像度画像変換手段には、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換する前に入力画像に非線形変換を適用する非線形変換手段を設けるようにさせることができる。
【００２０】
前記非線形変換手段には、対数変換により、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換させるようにすることができる。
【００２１】
前記非線形変換手段には、ガンマ補正処理により、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換させるようにすることができる。
【００２２】
本発明の一側面の画像処理方法は、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正ステップと、前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップと、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出ステップと、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出ステップと、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択ステップとを含むことを特徴とする。
【００２３】
本発明の一側面のプログラムは、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正ステップと、前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップと、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出ステップと、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出ステップと、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択ステップとを含む処理をコンピュータに実行させる。
【００２４】
本発明の一側面においては、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像が多重解像度画像の複数のレイヤ画像に変換され、変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像が、前記２個の画像間の相関に基づいて修正され、修正された各レイヤ画像が多重解像度逆変換され、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素が抽出され、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値がそれぞれ算出され、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値が、前記第２の画像の注目画素の画素値として選択される。
【００２５】
本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００２６】
本発明によれば、固体撮像素子などのイメージセンサを用いて得られた画像信号のクロマ成分に混在するノイズ成分を効率よく除去し、色ムラや色ズレという現象を抑制することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】本発明を適用したデジタルスチルカメラの一実施の形態の構成を説明するブロック図である。
【図２】図１のDSPブロックにより実現される機能の一実施の形態の構成を示すブロック図である。
【図３】図２の非線形変換処理部の詳細な機能の一実施の形態の構成を示すブロック図である。
【図４】図２のノイズ除去処理部の詳細な機能の一実施の形態の構成を示すブロック図である。
【図５】図２の多重解像度変換処理部の機能の詳細な一実施の形態の構成を示すブロック図である。
【図６】図４のノイズ除去処理部における修正処理部の機能について詳細な一実施の形態の構成を示すブロック図である。
【図７】図２の多重解像度逆変換処理部の機能の詳細な一実施の形態の構成を示すブロック図である。
【図８】図２の非線形逆変換処理部の機能の詳細な一実施の形態の構成を説明するブロック図である。
【図９】図３のDSPブロックによる画像処理を説明するフローチャートである。
【図１０】ノイズ除去処理を説明するフローチャートである。
【図１１】多重解像度変換処理を説明するフローチャートである。
【図１２】画素値修正処理を説明するフローチャートである。
【図１３】分散計算処理を説明するフローチャートである。
【図１４】分散計算処理を説明するフローチャートである。
【図１５】共分散計算処理を説明するフローチャートである。
【図１６】積算処理を説明するフローチャートである。
【図１７】積算処理を説明するフローチャートである。
【図１８】積算近似処理を説明するフローチャートである。
【図１９】多重解像度逆変換処理を説明するフローチャートである。
【図２０】図４のノイズ除去処理部における修正処理部のその他の機能について詳細な一実施の形態の構成を示すブロック図である。
【図２１】図２０の修正処理部による画素値修正処理を説明するフローチャートである。
【図２２】図４のノイズ除去処理部における修正処理部のさらにその他の機能について詳細な一実施の形態の構成を示すブロック図である。
【図２３】図２２の修正処理部による画素値修正処理を説明するフローチャートである。
【図２４】図４のノイズ除去処理部その他の機能について詳細な一実施の形態の構成を示すブロック図である。
【図２５】図２４のノイズ除去処理部における修正処理部の機能について詳細な一実施の形態の構成を示すブロック図である。
【図２６】図２４のノイズ除去処理部によるノイズ除去処理を説明するフローチャートである。
【図２７】図２５の修正処理部による画素値修正処理を説明するフローチャートである。
【図２８】記録媒体を説明する図である。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２９】
さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００３０】
即ち、本発明の一側面の画像処理装置は、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段（例えば、図２０の多重解像度変換処理部８１）と、前記多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正手段（例えば、図２０の修正処理部８６）と、前記修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段と、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段（例えば、図２０のサンプリング処理部２０１）と、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段（例えば、図２０の分散算出処理部２０２）と、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択手段（例えば、図２０のスイッチ部２０８）とを備えることを特徴とする。
【００３１】
前記第１の画像、および、前記第２の画像のそれぞれの前記周辺画素の画素値に基づいて、前記第１の画像、および、前記第２の画像の画素値の共分散値を算出する共分散値算出手段（例えば、図２０の共分散算出処理部２０３）と、前記第１の分散値、前記第２の分散値、および前記共分散値とに基づいて、第１の画像、および、前記第２の画像の相関を算出する相関算出手段（例えば、図２０の相関係数算出処理部２０７）とをさらに設けるようにさせることができ、前記選択手段（例えば、図２０のスイッチ部２０８）には、前記相関が弱い場合、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択させるようにすることができる。
【００３２】
前記第１の分散値、および前記第２の分散値の差分を算出する差分算出手段（例えば、図２２の差分算出処理部２２７）をさらに設けるようにさせることができ、前記選択手段（例えば、図２２のスイッチ部２２８）には、前記分散値の差分が大きい場合、前記第１の画像の注目画素値を、前記第２の画像の注目画素値として選択させるようにすることができる。
【００３３】
前記多重解像度画像変換手段には、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換する前に入力画像に非線形変換を適用する非線形変換手段（例えば、図３の非線形変換処理部４２）を設けるようにさせることができる。
【００３４】
本発明の一側面の画像処理方法は、各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップ（例えば、図１０のフローチャートにおけるステップＳ２２，Ｓ２３の処理）と、前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正ステップ（例えば、図１０のフローチャートにおけるステップＳ２４の処理）と、前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップ（例えば、図１０のフローチャートにおけるステップＳ２５の処理）と、前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出ステップ（例えば、図２１のフローチャートにおけるステップＳ２９３，Ｓ２９４の処理）と、前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出ステップ（例えば、図２１のフローチャートにおけるステップＳ２９５，Ｓ３００の処理）と、前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択ステップ（例えば、図２１のフローチャートにおけるステップＳ３０２乃至Ｓ３０４の処理）とを含むことを特徴とする。
【００３５】
尚、プログラムについては、画像処理方法と同様であるので、その説明は省略する。
【００３６】
以下、図を参照して、本発明の実施の形態について説明する。
【００３７】
図１は、本発明を適用した演算処理を実行するデジタルスチルカメラ１の一実施の形態の構成を示すブロック図である。
【００３８】
図１に示すように、デジタルスチルカメラ１は、レンズ１１、絞り１２、イメージセンサ１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路１４、A/D（Analog／Digital）コンバータ１５、DSP（Digital Signal Processor）ブロック１６、タイミングジェネレータ１７、D/A（Digital／Analog）コンバータ１８、ビデオエンコーダ１９、表示部２０、コーデック（CODEC：COmpression／DECompression）処理部２１、メモリ２２、CPU（Central Processing Unit）２３、および、操作入力部２４から構成される。
【００３９】
イメージセンサ１３は、光情報を電気信号に変換するCCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などに代表される（光電変換）半導体素子であり、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路１４は、イメージセンサ１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。A/Dコンバータ１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。
【００４０】
DSPブロック１６は、信号処理用プロセッサと画像用RAM（Random Access Memory）を持つブロックで、信号処理用プロセッサが画像用RAMに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ１７は、イメージセンサ１３を駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ１７により発生されるタイミングクロックは、バス２５を介して、コーデック処理部２１、メモリ２２、および、CPU２３にも供給されている。
【００４１】
D/Aコンバータ１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ１９は、供給されたアナログ信号を、表示部２０において表示可能な形式のビデオデータにエンコードする。表示部２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ１９から供給されたビデオ信号を表示する。
【００４２】
コーデック処理部２１は、例えばJPEG(Joint Picture Experts Group)などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、CPU２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２は、デジタルスチルカメラ１に対して着脱可能なようになされていても良い。
【００４３】
CPU２３は、バス２５を介して、操作入力部２４から供給されたユーザの操作入力を基に、デジタルスチルカメラ１の各部を制御する。操作入力部２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。
【００４４】
レンズ１１および絞り１２を介して入力された光は、イメージセンサ１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路１４に供給される。相関２重サンプリング回路１４は、イメージセンサ１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、A/Dコンバータ１５に供給する。A/Dコンバータ１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、DSPブロック１６の画像用RAMに一時格納する。
【００４５】
タイミングジェネレータ１７は、撮像中の状態において、一定のフレームレートによる画像取り込みを維持するように、イメージセンサ１３、相関２重サンプリング回路１４、A/Dコンバータ１５、および、DSPブロック１６を制御する。
【００４６】
DSPブロック１６は、一定のレートで画素のストリームデータの供給を受け、画像用RAMに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。DSPブロック１６は、画像処理の終了後、CPU２３の制御に基づいて、その画像データを表示部２０に表示させる場合は、D/Aコンバータ１８に、メモリ２２に記憶させる場合は、コーデック処理部２１に画像データを供給する。
【００４７】
D/Aコンバータ１８は、DSPブロック１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ１９に供給する。ビデオエンコーダ１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２０に出力して表示させる。すなわち、表示部２０は、デジタルスチルカメラ１において、カメラのファインダの役割を担っている。コーデック処理部２１は、DSPブロック１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２に供給して記憶させる。
【００４８】
また、コーデック処理部２１は、操作入力部２４からユーザの操作入力を受けたCPU２３の制御に基づいて、メモリ２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をDSPブロック１６に出力する。これにより、復号された信号が、DSPブロック１６を介してD/Aコンバータ１８に供給され、アナログ変換された後、ビデオエンコーダ１９によりエンコードされて、表示部２０に表示される。
【００４９】
次に、図２を参照して、DSPブロック１６により実現される機能の一実施の形態の構成について説明する。
【００５０】
デモザイク処理部４１は、入力されたモザイク画像の各画素位置のRGB（Red，Green，Blueの光の３原色）の画像信号の全ての強度を揃え、それぞれ非線形変換処理部４２に供給する。尚、ここでいうモザイク画像は、図１のA/Dコンバータ１５によってデジタイズされ、DSPブロック１６に入力される画像信号である。モザイク画像は各画素にRGBのどれかの色に対応する強度信号が格納されており、通常、Bayer配列と呼ばれる色配列に従って配置されている。
【００５１】
非線形変換処理部４２は、RGBの画像信号について、非線形変換関数を用いて変換処理し、それぞれノイズ除去処理部４３に供給する。尚、非線形変換処理部４２については、詳細を後述する。
【００５２】
ノイズ除去処理部４３は、非線形変換処理部４２より供給されたRGBの画像信号についてノイズを除去して非線形逆変換処理部４４に供給する。尚、ノイズ除去処理部４３については、詳細を後述する。
【００５３】
非線形逆変換処理部４４は、ノイズ除去処理部４３より供給されてくる、ノイズが除去されたRGBの画像信号を、非線形変換処理部４２の変換で利用した非線形変換関数により逆変換し、ホワイトバランス処理部４５に供給する。尚、非線形逆変換処理部４４については、詳細を後述する。
【００５４】
ホワイトバランス処理部４５は、非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４によりノイズ除去されたRGBのそれぞれの画像信号に適切な係数を掛けることで、被写体領域の色バランスが無彩色になるように処理し、ガンマ補正処理部４６に供給する。
【００５５】
ガンマ補正処理部４６は、ホワイトバランス処理部４５によりホワイトバランスが調整されたRGBのそれぞれの画像信号の各画素強度をガンマ補正し、YC変換処理部４７に出力する。YC変換処理部４７は、ガンマ補正された3チャネル画像信号にYCマトリックス処理を施すと共に、クロマ成分に対する帯域制限を掛けてY画像およびC画像を生成し、コーデック処理部２１に対してYCbCr画像信号として出力する。
【００５６】
尚、図２においては、デモザイク処理部４１の後段に非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を配置する構成となっているが、これらの配置順序は、図２で示されるものに限らず、例えば、デモザイク処理部４１の前段に非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を配置し、モザイク画像のノイズ除去を行った後、デモザイク処理を実行するようにしても良い。ただし、この場合、モザイク画像の各画素はRGBのうちのいずれか1色の値しかもたないので、RGB毎の非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４を設け、各画素毎の処理を色によって振り分けるようにする必要がある。
【００５７】
また、非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４は、それぞれ単独でもノイズ除去処理を実行することは可能である。すなわち、例えば、図２の構成から非線形変換処理部４２、および非線形逆変換処理部４４を省き、ノイズ除去処理部４３のみの構成でもノイズを除去することは可能である。また、非線形変換処理部４２、および非線形逆変換処理部４４は、ノイズ除去処理部４３以外のノイズ除去処理能力を持った構成と組み合わせるようにしてもノイズを除去する効果がある。
【００５８】
次に、図３を参照して、非線形変換処理部４２の詳細な機能の一実施の形態の構成について説明する。尚、非線形変換処理部４２はRGB各チャネルに対して同一の構成である。また、図３においては、1チャネル分の構成が示されている。
【００５９】
変換曲線LUT６２は、非線形変換に用いられる関数形状がLUTの形式で格納している。マッピング処理部６１は、変換曲線LUT６２より非線形変換に用いられる関数形状のLUTに基づいて、入力された画像の各画素に対して非線形変換してノイズ除去部４３に出力する。
【００６０】
この非線形変換処理部４２による非線形変換処理は、入射光強度にリニアな（線形的な）イメージセンサ１３の出力を、ノンリニアな（非線形的な）特性の輝度値に変換することを目的とした変換処理であり、この処理により後段のノイズ除去処理で利用するチャネル間の線形回帰計算の安定度を向上させている。すなわち、例えば、高コントラストなエッジのような画像の場合、リニアな輝度では重心からみた輝度値の分布に偏りが生じやすく、このような状況で線形回帰計算を実行するよりも、適切な非線形変換により輝度値を変換し分布の偏りを補正した後に線形回帰計算を実行する方が計算が安定する。本発明にとって適切な非線形変換とは上に凸の滑らかな単調増加曲線であり、例えばガンマ補正などに利用されるべき乗曲線（指数は１より小さい）または、対数曲線などが有効である。
【００６１】
次に、図４を参照して、ノイズ除去処理部４３の機能の一実施の形態の構成について説明する。
【００６２】
尚、図４で示されるノイズ除去処理部４３の構成は、GとRの2チャネルの入力によりRのノイズを除去するようになっている。実際のノイズ除去処理部４３の構成としては、これに加えて、同様の構成でGとBを入力としてBのノイズを除去する構成が必要である。Gに対してRとBの相関がない成分が除去されればクロマ成分ノイズは除去されるので、この例においては、Gのノイズを除去する構成は設けられていない。しかしながら、実用においては、Gのノイズを何らかの構成により除去した後に、RとBのそれぞれのノイズを除去する方がより適切である。尚、ここでは、Gは、特に処理されることなく、そのまま後段に出力されるものとする。
【００６３】
多重解像度変換処理部８１−１，８１−２は、それぞれGおよびRの入力画像を複数の多重解像度の表現形式の画像に変換し、変換された複数の各レイヤの画像信号をそれぞれ対応するレイヤ０画像メモリ８２−１，８２−２、レイヤ１画像メモリ８３−１，８３−２、レイヤ２画像メモリ８４−１，８４−２、およびレイヤ３画像メモリ８５−１，８５−２に格納する。
【００６４】
尚、多重解像度変換処理部８１−１，８２−２における多重解像度表現にはいろいろな形式があるが、例えば、Laplacian Pyramid形式や、wavelet変換を用いた多重解像度形式を利用するようにしてもよい。尚、多重解像度変換処理部８１は、Laplacian Pyramid形式であるものとして説明を進める。
【００６５】
修正処理部８６−１乃至８６−３は、最低解像度のレイヤ以外のレイヤの画像にそれぞれ対応し、各レイヤのG、Rチャネルの画像より、ノイズが混在したRチャネルの各画素値を修正してノイズを除去し、それぞれレイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、および、レイヤ２修正画像メモリ８９に格納する。
【００６６】
多重解像度逆変換処理部９０は、レイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、および、レイヤ２修正画像メモリ８９より各レイヤのノイズ除去されたRチャネル画像を読み出すと共に、最低解像度のレイヤのRチャネル画像を用いて、多重解像度逆変換処理を実行し、元画像と同じ解像度の画像へ統合し、非線形逆変換処理部４４に出力する。
【００６７】
次に、図５を参照して、Laplacian pyramid形式の多重解像度画像を生成する多重解像度変換処理部８１の機能の一実施の形態の構成について説明する。
【００６８】
多重解像度変換処理部８１の縮小処理部１１１−１乃至１１１−３は、サブサンプリングによって入力された画像の画像サイズを例えば半分に縮小し（例えば、半分の解像度の画像に変換し）、後段に出力する。
【００６９】
拡大処理部１１３−１乃至１１３−３は、スーパーサンプリングによって入力された画像の画像サイズを例えば２倍に拡大し（例えば、２倍の解像度の画像に変換し）、後段に出力する。
【００７０】
減算処理部１１２−１乃至１１２−３は、縮小処理部１１１により縮小された後、拡大処理部１１３により拡大された画像と、その元画像のそれぞれの各画素について差分を求め、その差分からなる画像をレイヤごとの画像として出力する。すなわち、減算処理部１１２−１乃至１１２−３は、それぞれレイヤ０乃至３の画像を生成し、それぞれレイヤ０画像メモリ８２、レイヤ１画像メモリ８３、レイヤ２画像メモリ８４、およびレイヤ３画像メモリ８５に格納させる。
【００７１】
縮小処理部１１１により縮小された後、拡大処理部１１３により拡大された画像は、元画像の高周波成分が除去されることになるため、元画像との差分が計算されることにより、高周波成分のみのが抽出された画像が生成されることになる。
【００７２】
このため、減算処理部１１２−１は、それぞれ入力された画像の高周波成分のみからなる画像をレイヤ０画像として生成し、減算処理部１１２−２は、入力された画像のレイヤ０画像よりも低い周波数成分の画像をレイヤ1画像として生成する。また、減算処理部１１２−３は、入力された画像のレイヤ１画像よりも低い周波数成分の画像をレイヤ２画像として生成する。尚、縮小処理部１１１より出力される画像は、レイヤ２以下の帯域成分を備えたレイヤ３画像となる。すなわち、多重解像度変換処理部８１は入力された画像を、帯域分離して各レイヤ０乃至３の画像を出力しているとも言える。
【００７３】
次に、図６を参照して、修正処理部８６の機能の一実施の形態の構成について説明する。
【００７４】
サンプリング処理部１３１は、当該するレイヤのGチャネル画像から、注目画素位置に対応して設定される所定位置の近傍画素から複数個のGチャネル画素値をサンプリング（抽出）し、乗算処理部１３７、分散算出処理部１３３、および共分散算出処理部１３６に供給する。サンプリング処理部１３２は、当該するレイヤのRチャネル画像から、注目画素位置に対応して設定される所定の位置の近傍画素から複数個のRチャネル画素値をサンプリング（抽出）し、共分散算出処理部１３６に供給する。尚、サンプリング処理部１３１，１３２は、注目画素位置に対して設定される同一の所定の位置のG画素値とR画素値を抽出する。
【００７５】
分散算出処理部１３３は、サンプリングされたGの画素値に基づいて、Gの注目画素周辺の分散値を算出し、クリッピング処理部１３４に供給する。
【００７６】
共分散算出処理部１３６は、サンプリングされたGとRの画素値に基づいて、それらの共分散値を算出し、除算処理部１３５に供給する。クリッピング処理部１３４は、Gチャネルのサンプルの分散値が所定の閾値より小さい場合、その閾値でクリッピングし、除算処理部１３５に供給する。除算処理部１３５は、クリッピング処理部１３４より供給される分散値により、共分散処理部１３６より供給される共分散値を除算し、分散値に対する共分散値の割合(共分散値/分散値)として乗算処理部１３７に供給する。尚、クリッピング処理部１３５の処理は、後続の除算処理部１３５が(共分散値/分散値)を算出するため、０割を回避ための処理である。乗算処理部１３７は、(共分散値/分散値)に注目画素位置のGチャネル画素値を乗じることで注目画素のノイズ除去されたRチャネル画素値を推定し、それを出力する。
【００７７】
ここで、修正処理部８６の処理の詳細について説明する。
【００７８】
修正処理部８６は、チャネル間相関を利用した画素値推定方法により画素値を修正している。より具体的には、チャネル間相関を利用した画素値推定方法は、局所領域に注目した場合、2つのチャネル（例えばGとR）間には線形な関係があるという仮定に基づいて、局所領域内のある画素位置Rの推定値を線形回帰計算によって算出するというものである。
【００７９】
例えば、画像中の注目画素周辺の局所領域においてＣ1チャネル（例えばG）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ11，Ｃ12，Ｃ13，・・・，Ｃ1N｝とＣ2チャネル（例えばR）の画素値のサンプル（注目画素の位置に対応する所定の位置の複数の画素の画素値）｛Ｃ11，Ｃ12，Ｃ13，・・・，Ｃ1N｝とが得られたとき、上述した両者間の線形な関係があると仮定することにより、Ｃ2チャネルの注目画素位置の輝度推定値Ｃ2C’は注目画素位置のＣ1チャネルの輝度値Ｃ1Cから以下の式（１）により推定することができる。
【００８０】
【数１】
・・・（１）
【００８１】
ここで、ＭC1は、その局所領域におけるＣ1チャネルの期待値、ＭC2は、Ｃ2チャネルの期待値、ＶC1C2は、Ｃ1，Ｃ2チャネルの共分散値、ＶC1C1は、Ｃ1チャネルの分散値である。
【００８２】
また、共分散値ＶC1C2および分散値ＶC1C1は、それぞれ以下の式（２），式（３）により求められる。
【００８３】
【数２】
・・・（２）
【００８４】
【数３】
・・・（３）
【００８５】
式（２），式（３）において、ｗiは、所定の重み係数である。
【００８６】
従って、上述した式（１）を算出することでノイズを除去することが可能となる。しかしながら、図４で示されるようにノイズ除去処理部４３には、多重解像度変換処理部８１が設けられており、修正処理部８６は、帯域毎に分離された画像に対して上述した２チャネルの相関を利用して画素値を修正することになる。
【００８７】
ところで、多重解像度変換により生成された複数のレイヤの画像においては、画像の直流成分は最低解像度のレイヤに集中するので、それ以外のレイヤでは局所的な画素の期待値は０になる。結果として、多重解像度処理を利用する場合、上述した式（１）乃至式（３）は、以下の式（４）乃至式（６）で置き換えられることになる。
【００８８】
【数４】
・・・（４）
【００８９】
【数５】
・・・（５）
【００９０】
【数６】
・・・（６）
【００９１】
従って、図６の分散値算出処理部１３３は、実質的に式（６）により分散値を算出し、共分散算出処理部１３６は、式（５）により共分散値を算出し、さらに、乗算処理部１３７は、式（４）により画素値を修正している（補正している）。
【００９２】
さらに、式（５）乃至式（６）の共分散値および分散値の算出処理にあたり、コンピュータによる算出処理で処理負荷の大きな乗算処理を軽減させるため、近似関数を用いて、乗算処理回数を低減させるようにしてもよく、例えば、以下の式（７）乃至式（８）のような近似関数により算出するようにしてもよい。
【００９３】
【数７】
・・・（７）
【００９４】
【数８】
・・・（８）
【００９５】
次に、図７を参照して、多重解像度逆変換処理部９０の機能の一実施の形態の構成について説明する。
【００９６】
拡大処理部１５１−１乃至１５１−３は、多重解像度変換処理部９０の拡大処理部１１３と同様のものであり、スーパーサンプリングによって入力された画像の画像サイズを例えば２倍に拡大し（例えば、２倍の解像度の画像に変換し）、後段に出力する。
【００９７】
加算処理部１５２−１乃至１５２−３は、それぞれレイヤ０ノイズ除去画像メモリ８７、レイヤ１ノイズ除去画像メモリ８８、レイヤ２ノイズ除去画像メモリ８９、およびレイヤ３画像メモリ８５に格納されたレイヤ０ノイズ除去画像乃至レイヤ２ノイズ除去画像、およびレイヤ３画像を読み出し、拡大処理部１５２−１乃至１５２−３のそれぞれより供給されてくる画像とを加算して、後段に出力する。
【００９８】
すなわち、拡大処理部１５１−１は、最低周波成分のレイヤ３ノイズ除去画像を拡大し、レイヤ２ノイズ除去画像と同じサイズの画像にして、加算処理部１５２−１に供給する。そして加算処理部１５２−１は、拡大されたレイヤ３ノイズ除去画像とレイヤ２ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ２までの帯域を持つ画像を生成し、拡大処理部１５１−２に供給する。
【００９９】
同様にして、拡大処理部１５１−２は、レイヤ３乃至レイヤ２のノイズ除去画像を拡大し、レイヤ１ノイズ除去画像と同じサイズの画像にして、加算処理部１５２−２に供給する。そして加算処理部１５２−２は、拡大されたレイヤ３乃至レイヤ２までのノイズ除去画像とレイヤ１ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ１までの帯域を持つ画像を生成し、拡大処理部１５１−３に供給する。
【０１００】
さらに、拡大処理部１５１−３は、レイヤ３乃至レイヤ１のノイズ除去画像を拡大し、レイヤ０ノイズ除去画像と同じサイズの画像にして、加算処理部１５２−３に供給する。そして加算処理部１５２−３は、拡大されたレイヤ３乃至レイヤ１までのノイズ除去画像とレイヤ０ノイズ除去画像とを加算することにより、レイヤ３乃至レイヤ０までの帯域の画像を統合し、最終的に元画像に等しい解像度と帯域を持つ画像を出力する
【０１０１】
次に、図８を参照して、非線形逆変換処理部４４の機能の一実施の形態の構成について説明する。
【０１０２】
非線形逆変換処理部４４は、非線形変換処理部４２における変換の逆変換を実行するため、非線形変換処理部４２とほぼ同様の構成である。変換曲線LUT１７２は非線形変換処理部４２の変換曲線LUT６２と同様の構成であり、共用するようにしてもよいものである。逆マッピング処理部１７１は、入力された画像の各画素に対して変換曲線LUT１７２を参照して、非線形逆変換し、ホワイトバランス処理部４５に出力する。
【０１０３】
次に、図９のフローチャートを参照して、図２のDSPブロック１６による画像処理について説明する。
【０１０４】
デモザイク処理部４１は、モザイク画像が入力されたか否か（フレームメモリから読み込まれたか否か）を判定し、入力されるまで、その処理を繰り返す。例えば、画像が入力されたと判定された場合、ステップＳ２において、デモザイク処理部４１は、入力されたモザイク画像からRGBの3チャンネルの画像信号を生成するデモザイク処理を実行し、生成したRGBの画像信号を非線形変換処理部４２に供給する。
【０１０５】
ステップＳ３において、非線形変換処理部４４のマッピング処理部６１は、変換曲線LUT６２より非線形変換に用いられる関数形状のLUTに基づいて、入力された画像の各画素に対して非線形変換してノイズ除去部４３に出力する。
【０１０６】
ステップＳ４において、ノイズ除去部４３は、ノイズ除去処理を実行し、供給された１つのチャネル画像の各画素についてノイズを除去し、非線形逆処理部４４に供給する。尚、ノイズ除去処理については、図１０を参照して、その詳細を後述する。
【０１０７】
ステップＳ５において、非線形逆変換処理部４４の逆マッピング処理部１７１は、入力された画像の各画素に対して変換曲線LUT１７２を参照して、ステップＳ３の非線形変換処理により適用した非線形特性を打ち消すように強度変換し、ホワイトバランス処理部４５に供給する。
【０１０８】
尚、ステップＳ３乃至Ｓ５の処理については、RGBの各画像信号に対して、非線形変換処理部４２、ノイズ除去処理部４３、および非線形逆変換処理部４４が並列処理するようにしても良いし、各チャンネルに対して、順次処理するようにしても良い。
【０１０９】
ステップＳ６において、ホワイトバランス処理部４５は、ノイズが除去され、非線形特性が解除されたRGB3チャネル画像に対してそれぞれの画像信号に適切な係数を掛けることで、被写体領域の色バランスが無彩色になるようにホワイトバランス処理を施し、ガンマ補正処理部４６に供給する。
【０１１０】
ステップＳ７において、ガンマ補正処理部４６は、ホワイトバランス処理部４５によりホワイトバランスが調整されたRGBのそれぞれの画像信号の各画素強度をガンマ補正し、YC変換処理部４７に出力する。
【０１１１】
ステップＳ８において、YC変換処理部４７は、ガンマ補正処理部４６によりガンマ補正処理されたRGBの画像信号にYCマトリクス処理を施すYC変換処理を実行し、Y画像とC画像に変換し、ステップＳ９において、Y画像とC画像を出力(フレームメモリに書き込む)する。
【０１１２】
以上の処理により、ノイズが除去されたYC画像が生成されることになる。
【０１１３】
次に、図１０のフローチャートを参照して、図９のフローチャートにおけるステップＳ４の処理であるノイズ除去処理について説明する。
【０１１４】
ステップＳ２１において、多重解像度変換処理部８１−１，８１−２は、それぞれ非線形変換処理部４２により生成された非線形変換処理されたG，Rチャネル分の画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返し、入力されたと判定された場合、その処理は、ステップＳ２２に進む。
【０１１５】
ステップＳ２２において、多重解像度変換処理部８１−１は、多重解像度変換処理を実行し、入力されたGの画像を複数の多重解像度画像を生成し、生成した画像をレイヤ毎にそれぞれレイヤ０画像メモリ８２−１、レイヤ１画像メモリ８３−１、レイヤ２画像メモリ８４−１、およびレイヤ３画像メモリ８５−１に格納する。尚、多重解像度変換処理については、図１１のフローチャートを参照して、詳細を後述する。
【０１１６】
ステップＳ２３において、多重解像度変換処理部８２−１は、多重解像度変換処理を実行し、入力されたＲの画像を複数の多重解像度画像を生成し、生成した画像をレイヤ毎にそれぞれレイヤ０画像メモリ８２−２、レイヤ１画像メモリ８３−２、レイヤ２画像メモリ８４−２、およびレイヤ３画像メモリ８５−２に格納する。尚、多重解像度処理については、信号の成分が、GではなくＲである点を除いては、同様の処理である。
【０１１７】
ステップＳ２４において、修正処理部８６−１乃至８６−３は、それぞれレイヤ０乃至２のそれぞれのＧ，Ｒの信号を用いて、画素値修正処理を実行し、Ｒの画素値を修正し、それぞれレイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、およびレイヤ２修正画像メモリ８９に格納する。尚、画素値修正処理については、図１２のフローチャートを参照して、詳細を後述する。
【０１１８】
ステップＳ２５において、多重解像度逆変換処理部９０は、多重解像度逆変換処理を実行し、レイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、およびレイヤ２修正画像メモリ８９に格納されている、画素値が修正されたレイヤ０乃至２の画像、および、レイヤ３画像メモリ８５に格納されているＲの画像を、ステップＳ２３の処理による多重解像度変換の逆変換を実行することで、複数の多重解像度画像を統合し、ステップＳ２６において、統合されたＲの画像を出力する。尚、多重解像度逆変換処理については、図１９のフローチャートを参照して、詳細を後述する。
【０１１９】
以上の処理により、Ｇ，Ｒとの相関性に基づいて、Ｒの画素値が修正される。
【０１２０】
次に、図１１のフローチャートを参照して、図１０のフローチャートにおけるステップＳ２２，Ｓ２３の処理である多重解像度変換処理について説明する。
【０１２１】
ステップＳ４１において、多重解像度変換処理部８１−１は、図示せぬカウンタＮを０に設定し初期化する。
【０１２２】
ステップＳ４２において、縮小処理部１１１は、Ｎ回縮小された画像を縮小する。すなわち、最初の処理では、Ｎは０、すなわち、入力された画像が、縮小処理部１１１−１により縮小される。
【０１２３】
ステップＳ４３において、多重解像度変換処理部８１−１は、図示せぬカウンタＮを１インクリメントする。
【０１２４】
ステップＳ４４において、多重解像度変換処理部８１−１は、カウンタＮが、カウンタＮの最大値Nmax−１であるか否かを判定する。ここで、Nmaxは、入力された画像を多重解像度画像に変換するレイヤ数である。従って、図５で示されるように、レイヤ数は４となる。
【０１２５】
例えば、ステップＳ４４において、カウンタＮが、カウンタＮの最大値（Nmax−１）ではないと判定された場合、ステップＳ４５において、縮小処理部１１１は、Ｎ回縮小された画像を減算処理部１１２および拡大処理部１１３に出力する。すなわち、最初の処理では、縮小処理部１１１−１が、減算処理部１１２−２および拡大処理部１１３−１に１回縮小された画像を出力する。
【０１２６】
ステップＳ４６において、拡大処理部１１３は、Ｎ回縮小された画像を拡大し、減算処理部１１２に出力する。すなわち、最初の処理においては、拡大処理部１１３−１が、縮小処理部１１１−１より供給されてきた１回縮小された画像を拡大し、減算処理部１１２−１に供給する。
【０１２７】
ステップＳ４７において、減算処理部１１２は、（Ｎ−１）回縮小された画像から、Ｎ回縮小されて、かつ、１回拡大された画像を減算する。すなわち、最初の処理では、減算処理部１１２−１が、入力された画像から拡大処理部１１３−１より供給された画像を減算する。
【０１２８】
ステップＳ４８において、減算処理部１１２は、ステップＳ４７の処理により求められたレイヤ（Ｎ−１）の画像をレイヤ（Ｎ−１）画像メモリに格納させ、その処理は、ステップＳ４２に戻る。すなわち、最初の処理においては、減算処理部１１２−１は、減算処理により得られた画像をレイヤ０画像メモリ８２−１に格納させる
【０１２９】
すなわち、ステップＳ４４の処理において、カウンタＮが最大値（Ｎｍａｘ−１）であると判定されるまで、ステップＳ４２乃至Ｓ４８の処理が繰り返される。結果として、順次、縮小処理部１１１−２が、１回縮小された画像を縮小して、拡大処理部１１３−２および減算処理部１１３−３に供給し、拡大処理部１１３−２が、供給された２回縮小された画像を拡大して減算処理部１１２−２に供給し、減算処理部１１２−２が、１回縮小された画像から、２回縮小されて、かつ、拡大されたた画像を減算し、レイヤ１画像を生成して、レイヤ１画像メモリ８３−１に格納する。
【０１３０】
ステップＳ４４の処理において、カウンタＮが最大値（Ｎｍａｘ−１）であると判定された場合、ステップＳ４９において、縮小処理部１１１は、Ｎ回縮小された画像をレイヤＮ画像メモリおよび拡大処理部１１３に出力する。すなわち、ここでＮｍａｘは、４であるので、縮小処理部１１１−３が、減算処理部１１２−３およびレイヤ３メモリ８５に３回縮小された画像を出力する。
【０１３１】
ステップＳ５０において、拡大処理部１１３は、Ｎ回縮小された画像を拡大し、減算処理部１１２に出力する。すなわち、ここでは、拡大処理部１１３−３が、縮小処理部１１１−３より供給されてきた３回縮小された画像を拡大し、減算処理部１１２−３に供給する。
【０１３２】
ステップＳ５１において、減算処理部１１２は、（Ｎ−１）回縮小された画像から、Ｎ回縮小されて、かつ、１回拡大された画像を減算する。すなわち、ここでは、減算処理部１１２−３が、２回縮小された画像から拡大処理部１１３−３より供給された画像を減算する。
【０１３３】
ステップＳ５２において、減算処理部１１２は、ステップＳ５１の処理により求められたレイヤ（Ｎ−１）の画像をレイヤ（Ｎ−１）画像メモリに格納させ、その処理は、終了する。すなわち、ここでは、減算処理部１１２−３は、減算処理により得られた画像をレイヤ２画像メモリ８３に格納させる
【０１３４】
以上の処理により、入力された画像が帯域別に分離され、それぞれレイヤ毎に、レイヤ０画像メモリ８２、レイヤ１画像メモリ８３、レイヤ２画像メモリ８４、およびレイヤ３画像メモリ８５に格納されることになる。
【０１３５】
次に、図１２のフローチャートを参照して、図１０のフローチャートにおけるステップＳ２４の処理である画素値修正処理について説明する。
【０１３６】
ステップＳ７１において、修正処理部８６−１乃至８６−３のサンプリング処理部１３１，１３２は、それぞれレイヤ０画像メモリ８２−１，８２−２、レイヤ１画像メモリ８３−１，８３−２、およびレイヤ２画像メモリ８４−１，８４−２に、Ｒ，Ｇチャネルの画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返す。例えば、入力されたと判定された場合、その処理は、ステップＳ７２に進む。
【０１３７】
ステップＳ７２において、サンプリング処理部１３１，１３２は、同一の未処理の画素を注目画素として選択する
【０１３８】
ステップＳ７３において、サンプリング処理部１３１は、Gチャネルのレイヤ０画像メモリ８２−１、レイヤ１画像メモリ８３−１、またはレイヤ２画像メモリ８４−１より注目画素位置に対応する所定の位置に配置されている複数の画素をサンプリングし（抽出し）、分散算出処理部１３３、共分散算出処理部１３４、および乗算処理部１３７に供給する。
【０１３９】
ステップＳ７４において、サンプリング処理部１３２は、Rチャネルのレイヤ０画像メモリ８２−２、レイヤ１画像メモリ８３−２、またはレイヤ２画像メモリ８４−２より注目画素位置に対応する所定の位置に配置されている複数の画素をサンプリングし（抽出し）、共分散算出処理部１３４に供給する。
【０１４０】
ステップＳ７５において、分散算出処理部１３３は、サンプリング処理部１３１より供給されたＧの画素値のサンプルより分散計算処理を実行し分散値を計算し、クリッピング処理部１３４に供給する。尚、分散計算処理については、図１３，図１４のフローチャートを参照して、詳細を後述する。
【０１４１】
ステップＳ７６において、共分散算出処理部１３６は、サンプリング処理部１３１，１３２より供給されたＧ，Ｒの画素値のサンプルより共分散計算処理を実行し共分散値を計算し、除算処理部１３５に供給する。尚、共分散計算処理については、図１５のフローチャートを参照して、詳細を後述する。
【０１４２】
ステップＳ７７において、クリッピング処理部１３４は、分散算出処理部１３３より供給されてくるGの分散値をクリッピング処理し、除算処理部１３５に供給する。より詳細には、クリッピング処理部１３４は、分散算出処理部１３３より供給されてくるGの分散値と所定の閾値とを比較し、所定の閾値よりも小さい場合、Ｇの分散値を所定の閾値に置き換えて、除算処理部１３５に供給し、所定の閾値よりも大きい場合、そのままのＧの分散値を除算処理部１３５に供給する。
【０１４３】
ステップＳ７８において、除算処理部１３５は、クリッピング処理部１３４より供給されてくる分散値と、共分散算出処理部１３６より供給されてくる共分散値とに基づいて、(共分散/分散)を算出し、乗算処理部１３７に供給する。
【０１４４】
ステップＳ７９において、乗算処理部１３７は、(共分散/分散)に注目画素位置のG画素値を乗じることにより、注目画素位置のR画素の画素値を修正する。すなわち、乗算処理部１３７は、上述した式（４）計算を実行することで、Ｇ，Ｒの相関性を利用してＲの画素値を修正する。
【０１４５】
ステップＳ８０において、サンプリング処理部１３１，１３２は、未処理の画素が存在するか否かを判定し、未処理の画素があると判定された場合、その処理は、ステップＳ７２に戻る。すなわち、未処理の画素がないと判定されるまで、ステップＳ７２乃至Ｓ８０の処理が繰り返されて、順次Ｒの画素値が修正される。
【０１４６】
ステップＳ８０において、未処理の画素がないと判定された場合、ステップＳ８１において、乗算処理部１３７は、これまでに計算したＲチャネルの画素値が修正された画像を出力する。
【０１４７】
以上の処理により、チャネル間の相関性を利用して、ランダムな成分や色収差により生じるクロマ成分のノイズを、画素値を修正することにより除去することが可能となる。
【０１４８】
次に、図１３のフローチャートを参照して、図１８のフローチャートにおけるステップＳ７５の処理である分散計算処理について説明する。
【０１４９】
ステップＳ９１において、分散算出処理部１３３は、演算結果であるとして出力するカウンタＶｔ，ｗを０に初期化する。
【０１５０】
ステップＳ９２において、分散算出処理部１３３は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝１とし、ステップＳ９３において、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝１とする。
【０１５１】
ステップＳ９４において、分散算出処理部１３３は、画素（ｓ，ｔ）の強度Ｘに画素（ｓ，ｔ）の重みｗｉを乗じた値を２乗して、カウンタＶｔに加えた値を、カウンタＶｔとして更新する。すなわち、分散算出処理部１３３は、Ｖｔ＝Ｖｔ＋（｜（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ｜）2を演算する。
【０１５２】
ステップＳ９５において、分散算出処理部１３３は、画素（ｓ，ｔ）の重みｗｉを、カウンタｗに加えた値を、カウンタｗとして更新する。すなわち、分散算出処理部１３３は、ｗ＝ｗ＋（画素（ｓ，ｔ）の重みｗｉ）を演算する。
【０１５３】
ステップＳ９６において、分散算出処理部１３３は、処理を実行する画素位置を示す第２のレジスタの値ｔを参照し、ｔ＝ｎ−２であるか否かを判定する。
【０１５４】
ステップＳ９６において、ｔ＝ｎ−２ではないと判定された場合、ステップＳ１４７において、分散算出処理部１３３は、第２のレジスタの値ｔを、ｔ＝ｔ＋１に更新して、処理は、ステップＳ９４に戻り、それ以降の処理が繰り返される。
【０１５５】
ステップＳ９６において、ｔ＝ｎ−２であると判定された場合、ステップＳ９８において、分散算出処理部１３３は、処理を実行する画素位置を示す第１のレジスタの値ｓを参照し、ｓ＝ｎ−２であるか否かを判定する。
【０１５６】
ステップＳ９８において、ｓ＝ｎ−２ではないと判定された場合、ステップＳ９９において、分散算出処理部１３３は、第１のレジスタの値ｓを、ｓ＝ｓ＋１に更新して、処理は、ステップＳ９３に戻り、それ以降の処理が繰り返される。
【０１５７】
ステップＳ９８において、ｓ＝ｎ−２であると判定された場合、ステップＳ１００において、分散算出処理部１３３は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値の分散値ＶｘｘをＶｔ／ｗとして計算し、処理は、終了する。
【０１５８】
分散値の算出は、定義上では、（（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ））2を分散値の演算に用いた画素の数で除算する必要があるが、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０１５９】
なお、分散値の算出において、ここでは重み付けが施されているので、式（６）を用いて説明した分散値の定義に示されるように、（（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ））2を重み係数の総和で除算することにより、分散値が算出されている。しかしながら、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０１６０】
また、図１３を用いて説明した分散計算処理においては、２乗の計算があるため、演算処理に時間がかかったり、ハードウェアの規模が大きくなるという問題が発生する。そこで、近似計算により２乗の計算を省略するようにしても良い。
【０１６１】
次に、図１４のフローチャートを参照して、近似計算により２乗の計算を省略する場合に、図１２のフローチャートにおけるステップＳ７５において実行される分散計算処理について説明する。
【０１６２】
図１４のフローチャートにおけるステップＳ１２１乃至ステップＳ１２３においては、図１３を用いて説明したステップＳ９１乃至ステップＳ９３と同様の処理が実行される。
【０１６３】
ステップＳ１２４において、分散算出処理部１３３は、（｜２×（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ）｜）を、現在のカウンタＶｔに加えた値として更新する。すなわち、分散算出処理部１３３は、Ｖｔ＝Ｖｔ＋（｜２×（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の重みｗｉ）｜）を演算する。
【０１６４】
値｜ｐ｜が正規化され、０≦｜Ｐ｜＜１が成り立っているとき、ｐ2は｜ｐ｜×２で近似することが可能である。
【０１６５】
そして、ステップＳ１２５乃至ステップＳ１３０においては、図１３を用いて説明したステップＳ９５乃至ステップＳ１００と同様の処理が実行され、処理は、終了する。
【０１６６】
このように、分散値の演算に必要な２乗の計算を省略した近似演算により、分散値の近似値を求めることが可能となる。
【０１６７】
次に、図１５のフローチャートを参照して、図１２のステップＳ７６において実行される、共分散計算処理について説明する。
【０１６８】
ステップＳ１５１において、共分散算出処理部１３６は、出力される値であるカウンタＶｔｔ，ｗ（ここでは、第１の信号は、全てＧ強度であり、第２の信号がＲ強度であるものとする）を０に初期化する。
【０１６９】
ステップＳ１５２において、共分散算出処理部１３６は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝１とする
【０１７０】
ステップＳ１５３において、共分散算出処理部１３６は、局所領域のうちの一部（例えば、注目画素を中心とした、（ｎ−２）×（ｎ−２）の範囲）の画素値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝１とする
【０１７１】
ステップＳ１５４において、図１６または図１７を用いて後述する積和処理が実行される。
【０１７２】
ステップＳ１５５において、共分散算出処理部１３６は、画素（ｓ，ｔ）の重みｗｉを、カウンタｗに加えた値を、カウンタｗとして更新する。すなわち、共分散算出処理部１３６は、ｗ＝ｗ＋（画素（ｓ，ｔ）の重みｗｉ）を演算する。
【０１７３】
ステップＳ１５６において、共分散算出処理部１３６は、処理を実行する画素位置を示す第２のレジスタの値ｔを参照し、ｔ＝ｎ−２であるか否かを判定する。
【０１７４】
ステップＳ１５６において、ｔ＝ｎ−２ではないと判定された場合、ステップＳ１５７において、共分散算出処理部１３６は、第２のレジスタの値ｔを、ｔ＝ｔ＋１に更新して、処理は、ステップＳ１５４に戻り、それ以降の処理が繰り返される。
【０１７５】
ステップＳ１５６において、ｔ＝ｎ−２であると判定された場合、ステップＳ１５８において、共分散算出処理部１３６は、処理を実行する画素位置を示す第１のレジスタの値ｓを参照し、ｓ＝ｎ−２であるか否かを判定する。
【０１７６】
ステップＳ１５８において、ｓ＝ｎ−２ではないと判定された場合、ステップＳ１５９において、共分散算出処理部１３６は、第１のレジスタの値ｓを、ｓ＝ｓ＋１に更新して、処理は、ステップＳ１５３に戻る。
【０１７７】
ステップＳ１５８において、ｓ＝ｎ−２であると判定された場合、ステップＳ１５９において、共分散算出処理部１３６は、共分散値ＶｘｙをＶｔｔ／ｗとして計算し、処理は、終了する。
【０１７８】
共分散値の算出は、（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の強度Ｙ）×（画素（ｓ，ｔ）の重みｗｉ）を、共分散値の演算に用いた画素の数で除算する必要があるが、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０１７９】
なお、式（５）においては、共分散値の算出において、（画素（ｓ，ｔ）の強度Ｘ）×（画素（ｓ，ｔ）の強度Ｙ）×（画素（ｓ，ｔ）の重みｗｉ）の総和が、重み係数の総和ｗで除算することにより、共分散値が算出されている。しかしながら、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０１８０】
上述した図１５の共分散計算処理のステップＳ１５４において実行される積和処理には、共分散値が算出される場合に実行される積和処理と、近似演算を用いて共分散値が算出される場合に実行される積和処理との、２種類の処理がある。
【０１８１】
次に、図１６のフローチャートを参照して、図１５のステップＳ１５４において実行される共分散値が算出される場合に実行される積和処理について説明する。
【０１８２】
ステップＳ１８１において、共分散算出処理部１３６は、（第１の信号の画素（ｓ，ｔ）の強度Ｘ）、（第２の信号の画素（ｓ，ｔ）の強度Ｙ）、および（画素（ｓ，ｔ）の重みｗｉ）を乗算する。
【０１８３】
ステップＳ１８２において、共分散算出処理部１３６は、Ｖｔｔ＝Ｖｔｔ＋（乗算結果）とする。
【０１８４】
このような積和処理が実行されることにより、共分散値が算出される。図１６のフローチャートを参照して説明した積和処理が実行された場合、定義どおりの演算であるので、その演算結果は、非常に精度の高いものであるが、そのかわり、積和処理が多いため演算に時間がかかったり、ハードウェア実装におけるゲート数の増加を招いてしまう。
【０１８５】
次に、図１７のフローチャートを参照して、図１２のステップＳ７６において実行される積和処理について説明する。図１７のフローチャートを参照して説明する積和処理は、近似された共分散値が算出される場合に実行される処理である。
【０１８６】
ステップＳ２０１において、共分散算出処理部１３６は、｛第１の信号の画素（ｓ，ｔ）の強度Ｘ｝をｐとする。
【０１８７】
ステップＳ２０２において、共分散算出処理部１３６は、｛第２の信号の画素（ｓ，ｔ）の強度Ｙ｝をｑとする。
【０１８８】
ステップＳ２０３において、図１８を用いて後述する乗算近似処理が実行される。
【０１８９】
ステップＳ２０４において、共分散算出処理部１３６は、Ｖｔｔ＝Ｖｔｔ＋（ｐｑの近似値）×（画素（ｓ，ｔ）の重みｗｉ）とし、処理は、終了する。
【０１９０】
次に、図１８のフローチャートを参照して、図１７のステップＳ２０３において実行される乗算近似処理について説明する。乗算近似処理は、上述した式（７）を用いて、近似された共分散値が算出される場合に実行される処理である。
【０１９１】
ステップＳ２２１において、共分散算出処理部１３６は、図１７のステップＳ２０１およびステップＳ２０２において置き換えられた値ｐおよびｑを用いて、｜ｐ｜≧｜ｑ｜であるか否かを判定する。
【０１９２】
ステップＳ２２１において、｜ｐ｜≧｜ｑ｜であると判定された場合、ステップＳ２６２において、共分散算出処理部１３６は、ｐ≧０であるか否かを判定する。
【０１９３】
ステップＳ２２２において、ｐ≧０であると判定された場合、ステップＳ２２３において、共分散算出処理部１３６は、ｐｑの近似値＝＋２ｑとし、処理は、図１７のステップＳ２０４に戻る。
【０１９４】
ステップＳ２２２において、ｐ≧０ではないと判定された場合、ステップＳ２２４において、共分散算出処理部１３６は、ｐｑの近似値＝−２ｑとし、処理は、図１７のステップＳ２０４に戻る。
【０１９５】
ステップＳ２２１において、｜ｐ｜≧｜ｑ｜ではないと判定された場合、ステップＳ２２５において、共分散算出処理部１３６は、ｑ≧０であるか否かを判定する。
【０１９６】
ステップＳ２２５において、ｑ≧０であると判定された場合、ステップＳ２２６において、共分散算出処理部１３６は、ｐｑの近似値＝＋２ｐとし、処理は、図１７のステップＳ２０４に戻る。
【０１９７】
ステップＳ２２５において、ｑ≧０ではないと判定された場合、ステップＳ２２７において、共分散算出処理部１３６は、ｐｑの近似値＝−２ｐとし、処理は、図１７のステップＳ２０４に戻る。
【０１９８】
この処理において、ｑまたはｐが０である場合、ｐｑの近似値は必ず０となる。具体的には、ｑが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立つので、ｐの値に関わらず、ｐｑの近似値は０となる。また、ｐが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立たないので、ｑの値に関わらず、ｐｑの近似値は０となる。
【０１９９】
図１７，図１８を用いて説明した積和処理が実行されることにより、上述した式（７）を用いて、共分散値を近似することが可能である。このようにした場合、式（５）に示される定義どおりの共分散値の演算が実行された場合と比較して、計算速度が高速化されたり、計算のために実装されるハードウェアのゲート数を少なくすることができるなどの利点が発生する。
【０２００】
次に、図１９のフローチャートを参照して、図１０のフローチャートにおけるステップＳ２５の処理である多重解像度逆変換処理について説明する。
【０２０１】
ステップＳ２７１において、多重解像度逆変換処理部９０は、図示せぬカウンタＮをＮmax−１に設定する。このカウンタは、複数の多重解像度画像の数により設定されるものであり、図７の多重解像度逆変換処理部９０においては、レイヤ０乃至３であるので、Nmaxは、４となる。
【０２０２】
ステップＳ２７２において、拡大処理部１５１は、最低レイヤの画像を拡大する。すなわち、図７の場合、拡大処理部１５１−１が、最低レイヤであるレイヤ３画像メモリ８５に格納されている画像を拡大し、加算処理部１５２−１に供給する。
【０２０３】
ステップＳ２７３において、多重解像度逆変換処理部９０は、カウンタＮを１デクリメントする。
【０２０４】
ステップＳ２７４において、多重解像度逆変換処理部９０は、カウンタＮが０であるか否かを判定する。例えば、カウンタＮが０ではない場合、ステップＳ２７５において、加算処理部１５２は、拡大処理部１５１により拡大された画像に、レイヤＮ修正画像を加算し、1レイヤ上の拡大処理部１５１に出力する。すなわち、最初の処理では、加算処理部１５２−１が、拡大処理部１５１−１より供給された画像に、レイヤ２修正画像メモリ８９に格納されているレイヤ２修正画像を加算し、拡大処理部１５１−２に供給する。
【０２０５】
ステップＳ２７５において、拡大処理部１５１は、加算処理部１５２より供給されたレイヤＮ修正画像が加算された画像を拡大し、1レイヤ上の加算処理部１５２に供給し、ステップＳ２７４の処理に戻る。すなわち、最初の処理の場合、拡大処理部１５１−２が、加算処理部１５２−１より供給された画像を拡大し、加算処理部１５２−２に供給する。
【０２０６】
すなわち、ステップＳ２７４において、カウンタＮが０であると判定されるまで、ステップＳ２７３乃至Ｓ２７６の処理が繰り返される。図７の場合、さらに、加算処理部１５２−２が、拡大処理部１５１−２より供給された画像に、レイヤ１修正画像メモリ８８に格納されているレイヤ１修正画像を加算し、拡大処理部１５１−３に供給する。
【０２０７】
さらに、拡大処理部１５１−３は、加算処理部１５２−２より供給された画像を拡大し、加算処理部１５２−３に供給する。この処理の後、カウンタＮは０となるため、ステップＳ２７４において、カウンタＮは０であると判定され、ステップＳ２７７において、加算処理部１５２は、レイヤＮ、すなわち、レイヤ０修正画像をレイヤ修正画像メモリ８７より読み出し、拡大処理部１５１により拡大された画像を加算する。すなわち、ここでは、加算処理部１５２−３が、最上位レイヤであるレイヤ０修正画像を拡大処理部１５１−３により拡大された画像に加算し、ステップＳ２７８において、出力する。
【０２０８】
以上の処理により、レイヤ０修正画像、レイヤ１修正画像、レイヤ２修正画像、およびレイヤ３画像を多重化解像度画像逆変換することで、元の解像度の画像に統合することが可能となる。
【０２０９】
以上によれば、チャネル間の相関を利用して、基準となるチャネル（例えばG）信号との相関がなるべく高くなるように、他のチャネル信号の画素値を修正する（推定する）ことで、チャネル間の無相関な成分を低減させることが可能となる。このため、チャネル間の無相関な成分であるクロマ成分に混在するノイズを除去することが可能となり、結果として、クロマ成分のノイズを低減した画像信号を生成することが可能となる。
【０２１０】
以上においては、Ｒの分散値とＧ，Ｒの共分散値とを用いて画素値を推定していた。ところが、クロマ成分のノイズはランダムな成分と色収差の2種類であるが、どちらもその混在によってチャネル間相関を弱くしてしまうという性質がある。そこで、チャネル間相関が十分に強ければ、上述の線形回帰計算により画素値を修正するが、チャネル間相関が十分に強くないときには、一方のチャネルの信号を遮断し、他方のチャネル信号で置き換えるようにしてもよい。
【０２１１】
図２０は、チャネル間相関が十分に強ければ、上述の線形回帰計算により画素値を修正するが、チャネル間相関が十分に強くないときには、一方のチャネルの信号を遮断し、他方のチャネル信号で置き換えるようにした修正処理部８６の機能の一実施の形態の構成を示している。
【０２１２】
図２０において、サンプリング処理部２０１−１，２０１−２、分散算出処理部２０２−１、共分散算出処理部２０３、クリッピング処理部２０４、除算処理部２０５、および乗算処理部２０６は、図６におけるサンプリング処理部１３１，１３２、分散算出処理部１３３、共分散算出処理部１３６、クリッピング処理部１３４、除算処理部１３５、および乗算処理部１３７と同様の処理を実行するものであるので、その説明は省略する。
【０２１３】
図２０の修正処理部８６において、図６の修正処理部８６と異なるのは、新たに分散算出処理部２０２−２、相関係数算出処理部２０７、およびスイッチ２０８が設けられている点である。また、分散算出処理部２０２−１は、計算した分散値を新たに相関係数算出処理部２０７に供給し、共分散算出処理部２０３は、計算した共分散値を新たに相関係数算出処理部２０７に供給している。さらに、乗算処理部２０６は、乗算結果をスイッチ２０８に供給している。
【０２１４】
分散算出処理部２０２−２は、注目画素に対応する所定の位置の近傍のRチャネル画素のサンプルからRチャネルの分散値を算出し、相関係数算出処理部２０７に供給する。
【０２１５】
相関係数算出処理部２０７は、分散算出処理部２０２−１が算出したGの分散値、分散算出処理部２０２−２が算出したRの分散値、および、共分散算出処理部２０３が算出したRとGの共分散値からRとGの相関係数（＝（共分散値）／（√（Gの分散値）×√（Rの分散値）））を算出し、スイッチ２０８に供給する。
【０２１６】
スイッチ２０８は、相関係数算出処理部２０７より供給されたRとGの相関係数と、所定の閾値とを比較し、相関係数が所定の閾値より大きい場合、乗算処理部２０６で修正された注目画素のRチャネル画素値を出力させ、相関係数が所定の閾値より小さい場合、乗算処理部２０６により修正したR画素値を遮断し、注目画素のGチャネル画素値をそのまま出力させる。
【０２１７】
次に、図２１のフローチャートを参照して、図２０の修正処理部８６による画素値修正処理について説明する。尚、図２１のフローチャートにおけるステップＳ２９１乃至Ｓ２９９、およびステップＳ３０５，Ｓ３０６の処理は、図１２のフローチャートを参照して説明したステップＳ７１乃至Ｓ７９およびステップＳ８０，Ｓ８１の処理と同様であるので、その説明は省略する。
【０２１８】
ステップＳ３００において、分散算出処理部２０２−２は、サンプリング処理部２０１−２より供給されたＲの画素値のサンプルより分散計算処理を実行し分散値を計算し、相関係数算出処理部２０７に供給する。
【０２１９】
ステップＳ３０１において、相関係数算出処理部２０７は、分散算出処理部２０２−１，２０２−２よりそれぞれ供給されたＧ，Ｒの分散値、および共分散算出処理部２０３より供給されたＧ，Ｒの共分散値に基づいて、相関係数（＝（G-R共分散値）／（√（Gの分散値）×√（Rの分散値）））を算出し、スイッチ２０８に供給する。
【０２２０】
ステップＳ３０２において、スイッチ２０８は、相関係数が所定の閾値よりも大きいか否かを判定し、例えば、大きいと判定した場合、ステップＳ３０３において、乗算処理部２０６より供給されたＧ，Ｒの相関に基づいて、修正されたＲの画素値（＝（共分散）／（分散）×（注目画素のＧの輝度値）を選択し、その処理は、ステップＳ３０５に進む。
【０２２１】
一方、ステップＳ３０２において、相関係数が所定の閾値よりも小さいと判定した場合、ステップＳ３０４において、スイッチ２０８は、サンプリング処理部２０１−１より供給されてきたＧの輝度値を選択し、その処理は、ステップＳ３０５に進む。
【０２２２】
以上の処理により、チャネル間の相関が弱いときはクロマ成分に混在するノイズが大きいと判定し、ノイズが大きいサンプルから線形回帰をおこなうよりもGチャネルを出力する。結果として、チャネル間の相関に応じて、クロマ成分のノイズを積極的に低減させることが可能となる。
【０２２３】
以上においては、チャネル間の相関の強弱を相関係数を用いて判定する例について説明してきたが、これ以外の方法で、チャネル間の相関の強弱を判定してもよく、例えば、２つの分散値の差分絶対値と所定の閾値との比較により、チャネル間の相関の強弱を判定するようにしてもよい。
【０２２４】
図２２は、チャネル間の相関の強弱を２つの分散値の差分絶対値により判定するようにした修正処理部８６の機能の一実施の形態の構成を示している。
【０２２５】
尚、図２２の修正処理部８６の構成におけるサンプリング処理部２２１−，２２１−２、分散算出処理部２２２−１，２２２−２、共分散算出処理部２２３、マッピング処理部２２４、除算処理部２２５、および乗算処理部２２６については、図２０の修正処理部８６におけるサンプリング処理部２０１−，２０１−２、分散算出処理部２０２−１，２０２−２、共分散算出処理部２０３、マッピング処理部２０４、除算処理部２０５、および乗算処理部２０６と同様であるので、その説明は省略する。
【０２２６】
図２２の修正処理部８６において、図２０の修正処理部８６の構成と異なるのは、相関係数算出処理部２０７およびスイッチ２０８に代えて、差分算出処理部２２７およびスイッチ２２８が設けられている点である。差分算出処理部２２７は、Ｇ，Ｒチャネルのそれぞれの分散値の差分絶対値を求め、スイッチ２２８に供給する。スイッチ２２８は、差分絶対値と所定の閾値とを比較し、比較結果に応じて相関の強弱を判定し、相関が弱ければ、サンプリング処理部２２１−１より供給された信号を選択し、相関が強ければ、乗算処理部２２６より供給された信号を選択する。
【０２２７】
次に、図２３のフローチャートを参照して、図２２の修正処理部８６による画素値修正処理について説明する。尚、図２２のフローチャートにおけるステップＳ３２１乃至Ｓ３３０、およびステップＳ３３３乃至Ｓ３３６の処理は、図２１のフローチャートを参照して説明したステップＳ２９１乃至Ｓ３００およびステップＳ３０３乃至Ｓ３０６の処理と同様であるので、その説明は省略する。
【０２２８】
ステップＳ３３１において、差分算出処理部２２７は、分散算出処理部２２２−１，２２２−２よりそれぞれ供給されたＧ，Ｒの分散値に基づいて、差分絶対値（＝｜（Gの分散値）−（Rの分散値）｜）を算出し、スイッチ２０８に供給する。
【０２２９】
ステップＳ３３２において、スイッチ２２８は、差分絶対値が所定の閾値よりも大きいか否かを判定し、例えば、大きいと判定した場合、ステップＳ３３３において、乗算処理部２０６より供給されたＧ，Ｒの相関に基づいて、修正されたＲの画素値（＝（共分散）／（分散）×（注目画素のＧの輝度値）を選択し、その処理は、ステップＳ３３５に進む。
【０２３０】
一方、ステップＳ３３２において、相関係数が所定の閾値よりも小さいと判定した場合、ステップＳ３３４において、スイッチ２２８は、サンプリング処理部２２１−１より供給されてきたＧの輝度値を選択し、その処理は、ステップＳ３３５に進む。
【０２３１】
以上の処理により、分散値の差分絶対値からみたチャネル間の相関が弱いときはクロマ成分に混在するノイズが大きいと判定し、ノイズが大きいサンプルから線形回帰をおこなうよりもGチャネルを出力する。結果として、チャネル間の相関に応じて、クロマ成分のノイズを積極的に低減させることが可能となる。被写体輪郭領域において色収差に起因するエッジの色ずれがある場合、その色ずれがチャネル間の分散値の差として検出されやすい。結果として、以上のような処理により、このような色収差起因のエッジの色ずれに起因するノイズを有効に除去することが可能となる。また、相関係数を演算する際に必要となる乗算処理が不要となるため、コンピュータによる演算の負荷を低減させることが可能となる。
【０２３２】
以上においては、GとR、またはGとBというような2チャネル間の相関に基づいて、修正した画素値か、または、Gの画素値かのいずれかを選択させる処理について説明してきたが、３チャネル以上のチャネル間相関を同時に評価することにより、よりクロマ成分のノイズ除去の効果を高めるようにしてもよい。
【０２３３】
図２４は、３チャネルのチャネル間相関を同時に評価して、クロマ成分のノイズを除去するようにしたノイズ除去処理部４３の機能の一実施の形態の構成を示す図である。尚、図２４のノイズ除去処理部４３における多重解像度変換処理部２５１−１乃至２５１−３、レイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、レイヤ２画像メモリ２５４−１乃至２５４−３、レイヤ３画像メモリ２５５−１乃至２５５−３、レイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、レイヤ２修正画像メモリ２５９−１，２５９−２、および多重解像度逆変換処理部２６０−１，２６０−２は、図４の多重解像度変換処理部８１−１，８１−２、レイヤ０画像メモリ８２−１，８２−２、レイヤ１画像メモリ８３−１，８３−２、レイヤ２画像メモリ８４−１，８４−２、レイヤ３画像メモリ８５−１，８５−２、レイヤ０修正画像メモリ８７、レイヤ１修正画像メモリ８８、レイヤ２修正画像メモリ８９、および多重解像度逆変換処理部９０と同様のものなので、その説明は省略する。ただし、多重解像度逆変換処理部２６０−１，２６０−２は、それぞれ修正されたＲ，Ｂの画素値を出力する。また、3チャネルよりも多い多チャネルのカメラシステムである場合でも、図２４に示す構成にRまたはBチャネルの信号に該当する部分をそのまま追加したような構成とすることにより対応可能であるので、ここでは３チャネル構成の場合について説明する。
【０２３４】
図２４のノイズ除去処理部４３において、新たな構成は、修正処理部２５６−１乃至２５６−３が設けられている点である。修正処理部２５６−１乃至２５６−３は、それぞれRGBの３チャネルの相関に基づいて、Ｒ，Ｂの画像信号におけるクロマ成分のノイズを除去するようにＲ，Ｂの画素値を修正し、それぞれレイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、およびレイヤ２修正画像メモリ２５９−１，２５９−２に格納する。
【０２３５】
次に、図２５を参照して、修正処理部２５６の機能の一実施の形態の構成について説明する。
【０２３６】
サンプリング処理部２８１−１乃至２８１−３は、該当するレイヤのそれぞれGRBチャネル画像から、注目画素位置に対応して設定される所定位置の近傍画素から複数個のGRBチャネル画素値をサンプリング（抽出）し、分散共分散相関係数算出処理部２８２に供給する。
【０２３７】
分散共分散相関係数算出処理部２８２は、サンプリングされたGRBの画素値に基づいて、GRBの注目画素周辺の分散値を求め、Gの分散値をクリッピング処理部２８３に供給する。また、分散共分散相関係数算出処理部２８２は、サンプリングされたGRB画素値に基づいて、G-RおよびG-Bの注目画素周辺の共分散値を求め、それぞれ除算処理部２８４−１，２８４−２に供給する。さらに、分散共分散相関係数算出処理部２８２は、GRBの分散値、G-RおよびG-Bの注目画素周辺の共分散値、並びに、G-RおよびG-Bの相関係数を判定処理部２８６に供給する。
【０２３８】
クリッピング処理部２８３は、Gチャネルのサンプルの分散値が所定の閾値より小さい場合、その閾値でクリッピングし、除算処理部２８４−１，２８４−２に供給する。除算処理部２８４−１，２８４−２は、それぞれクリッピング処理部２８３より供給される分散値により、分散共分散相関係数算出処理部２８２より供給されるG-RおよびG-B共分散値を除算し、分散値に対する共分散値の割合(共分散値/分散値)としてそれぞれ乗算処理部２８５−１，２８５−２に供給する。乗算処理部２８５−１，２８５−２は、(共分散値/分散値)に注目画素位置のGチャネル輝度値を乗じることで注目画素のノイズ除去されたRおよびBチャネル輝度値を修正し、それぞれスイッチ２８７，２８８に供給する。
【０２３９】
判定処理部２８６は、分散共分散相関係数算出処理部２８２により算出されたGRBチャネルのGRBの分散値、G-RおよびG-Bの注目画素周辺の共分散値、並びに、G-RおよびG-Bの相関係数に基づいて、乗算処理部２８１−１，２８５−２が算出した注目画素のRチャネル画素の修正値およびBチャネル画素の修正値が利用できるか否かを判定し、判定結果をスイッチ２８７，２８８に供給する。
【０２４０】
スイッチ２８７，２８８は、RBチャネルのそれぞれに対応し、判定処理部２８６より供給される判定結果に基づいて、乗算処理部２８５−１，２８５−２により算出された注目画素のRチャネル画素の修正値およびBチャネル画素の修正値を選択させるか、または、注目画素のGチャネルの画素値のいずれかを選択する。
【０２４１】
次に、図２６のフローチャートを参照して、図２４のノイズ除去処理部４３によるノイズ除去処理について説明する。
【０２４２】
ステップＳ３５１において、多重解像度変換処理部２５１−１乃至２５１−３は、それぞれ非線形変換処理部４２により生成された非線形変換処理されたGRBチャネル分の画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返し、入力されたと判定された場合、その処理は、ステップＳ３５２に進む。
【０２４３】
ステップＳ３５２乃至Ｓ３５４において、多重解像度変換処理部２５１−１乃至２５１−３は、それぞれ多重解像度変換処理を実行し、入力されたGRBの画像をそれぞれ複数の多重解像度画像を生成し、生成した画像をレイヤ毎にそれぞれレイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、レイヤ２画像メモリ２５４−１乃至２５４−３、およびレイヤ３画像メモリ２５５−１乃至２５５−３に格納する。尚、GRBそれぞれの多重解像度変換処理は、図１１のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０２４４】
ステップＳ３５５において、修正処理部２５６−１乃至２５６−３は、それぞれレイヤ０乃至２のそれぞれのGRBの信号を用いて、画素値修正処理を実行し、R，Bの画素値を修正し、それぞれレイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、およびレイヤ２修正画像メモリ２５９−１，２５９−２に格納する。尚、画素値修正処理については、図２７のフローチャートを参照して、詳細を後述する。
【０２４５】
ステップＳ３５６，Ｓ３５７において、多重解像度逆変換処理部２６０−１，２６０−２は、それぞれ多重解像度逆変換処理を実行し、レイヤ０修正画像メモリ２５７−１，２５７−２、レイヤ１修正画像メモリ２５８−１，２５８−２、およびレイヤ２修正画像メモリ２５９−１，２５９−２に格納されている、Ｒ，Ｂの画素値が修正されたレイヤ０乃至２の画像、および、レイヤ３画像メモリ２５５−２，２５５−３に格納されているＲ，Ｂの画像を、ステップＳ３５３，Ｓ３５４の処理による多重解像度変換の逆変換を実行することで、Ｒ，Ｂの複数の多重解像度画像を統合し、ステップＳ３５８において、統合されたＲ，Ｂの画像を出力する。尚、多重解像度逆変換処理については、図２０のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０２４６】
次に、図２７のフローチャートを参照して、図２５の修正処理部２５６による画素値修正処理について説明する。
【０２４７】
ステップＳ３８１において、修正処理部２５６−１乃至２５６−３のサンプリング処理部２８１−１乃至２８１−３は、それぞれレイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、およびレイヤ２画像メモリ２５４−１乃至２５４−３に、RGBチャネルの画像が入力されたか否かを判定し、入力されたと判定されるまで、その処理を繰り返す。例えば、入力されたと判定された場合、その処理は、ステップＳ３８２に進む。
【０２４８】
ステップＳ３８２において、サンプリング処理部２８１−１乃至２８１−３は、同一の未処理の画素を注目画素として選択する
【０２４９】
ステップＳ３８３乃至Ｓ３８５において、サンプリング処理部２８１−１乃至２８１−３は、それぞれGBRチャネルのレイヤ０画像メモリ２５２−１乃至２５２−３、レイヤ１画像メモリ２５３−１乃至２５３−３、またはレイヤ２画像メモリ２５４−１乃至２５４−３より注目画素位置に対応する所定の位置に配置されている複数の画素をサンプリングし（抽出し）、分散共分散相関係数算出処理部２８２に供給する。
【０２５０】
ステップＳ３８６において、分散共分散相関係数算出処理部２８２は、サンプリング処理部２８１−１乃至２８１−３より供給されたGRBの画素値のサンプルより分散計算処理を実行し、RGBの分散値を計算し、Gの分散値をクリッピング処理部２８３に供給すると共に、GRBの分散値を判定処理部２８６に供給する。尚、分散計算処理については、図１３，図１４のフローチャートを参照して説明した処理であるので、その説明は、省略する。
【０２５１】
ステップＳ３８７において、分散共分散相関係数算出処理部２８２は、サンプリング処理部２８１−１乃至２８１−３より供給されたGRBの画素値のサンプルより共分散計算処理を実行し、G-R、G-BおよびB-Rの共分散値を計算し、それぞれ除算処理部２８４−１，２８４−２および判定処理部２８６に供給する。尚、共分散計算処理については、図１５のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０２５２】
ステップＳ３８８において、分散共分散相関係数算出処理部２８２は、相関係数計算処理を実行し、GRBの画素値のサンプルより計算された分散値と共分散値とに基づいて、G-R、G-B、B-Rの相関係数を計算し、判定処理部２８６に供給する。尚、相関係数計算処理については、図２１のフローチャートにおけるステップＳ３０１の処理と同様であるので、その説明は省略する。
【０２５３】
ステップＳ３８９において、クリッピング処理部２８３は、分散共分散相関係数算出処理部２８２より供給されてくるGの分散値をクリッピング処理し、除算処理部２８４−１，２８４−２に供給する。
【０２５４】
ステップＳ３９０，Ｓ３９１において、除算処理部２８４−１，２８４−２は、それぞれクリッピング処理部２８３より供給されてくる分散値と、分散共分散相関係数算出処理部２８２より供給されてくるG-RおよびG-Bの共分散値とに基づいて、それぞれＲ，Ｂに対しての(共分散/分散)を算出し、それぞれ乗算処理部２８５−１，２８５−２に供給する。
【０２５５】
ステップＳ３９２，Ｓ３９３において、乗算処理部２８５−１，２８５−２は、それぞれＲ，Ｂの(共分散/分散)に注目画素位置のG画素値を乗じることにより、注目画素位置のR，Ｂ画素の画素値を修正する。
【０２５６】
ステップＳ３９４において、判定処理部２８６は、分散共分散相関係数算出処理部２８２より供給されたGRBの分散値、G-RおよびG-Bの共分散値、並びにG-R、G-B、およびR-Bの相関係数に基づいて、以下の式（９）で示される判定式の値を算出し、スイッチ２８７，２８８にそれぞれ供給する。
【０２５７】
【数９】
・・・（９）
【０２５８】
ここで、switchは、判定結果であり、条件を満たす場合、passingとなり乗算処理部２８５−１，２８５−２より供給された修正された画素値が選択され、条件を満たさない場合、blockingとなり入力されたGの画素値がそのまま使用される。また、VGG，VRR，VBBはそれぞれRGBの分散値であり、CovRG，CovGB，CovBRはそれぞれR-G,G-B,B-Rの相関係数であり、THはそれぞれの所定の閾値である。
【０２５９】
ステップＳ３９５において、スイッチ２８７，２８８は、判定結果がpassingであるか否かを判定し、例えば、passingであると判定した場合、ステップＳ３９６，Ｓ３９７において、それぞれ乗算処理部２８５−１，２８５−２より供給されたG-RおよびG-Bの相関に基づいて修正されたＲ，Ｂの画素値を選択し、その処理は、ステップＳ４００に進む。
【０２６０】
一方、ステップＳ３９５において、passingではないと判定された場合、ステップＳ３９８，Ｓ３９９において、スイッチ２８７，２８８は、サンプリング処理部２８１−１より供給されてきたＧの輝度値を選択し、その処理は、ステップＳ４００に進む。
【０２６１】
ステップＳ４００において、サンプリング処理部２８１−１乃至２８１−３は、未処理の画素が存在するか否かを判定し、未処理の画素があると判定された場合、その処理は、ステップＳ３８１に戻る。すなわち、未処理の画素がないと判定されるまで、ステップＳ３８１乃至Ｓ４００の処理が繰り返されて、順次Ｒ，Ｂの画素値が修正される。
【０２６２】
ステップＳ４００において、未処理の画素がないと判定された場合、ステップＳ４０１において、スイッチ２８７，２８８は、それぞれ、これまでに計算したＲ，Ｂチャネルの画素値を修正した画像を出力する。
【０２６３】
以上の処理により、チャネル間の相関性を利用して、ランダムな成分や色収差により生じるクロマ成分のノイズを、画素値を修正することにより除去することが可能となる。また、このように、3チャネルを信号を扱う構成の修正手段においては、ノイズ除去したい各チャネル（R,B）と基準となるチャネル(G)の間の関係だけでなく、ノイズ除去したいチャネル間の関係も合わせて判定をおこなうのでより特徴的なノイズ成分への対応が可能となる。特に、上述した式（９）の判定式により、例えば、高コントラストエッジ付近に現れる色収差の一種である色フレア現象はエッジの青乃至紫色の着色（パープルフリンジ）として見えることが多いが、このように特定の色相で目立つ場合を判別してそれを選択的に除去するようにすることが可能となる。
【０２６４】
判定式の条件を変えることで、その他の現象により発生するノイズを除去することも可能である。
【０２６５】
以上によれば、固体撮像素子などのイメージセンサを用いて得られた画像信号のクロマ成分に混在するノイズ成分を効率よく除去し、色ムラや色ズレという現象をなくすことが可能になる。
【０２６６】
また、以上によれば、基準となるチャネル（例えばG）信号に対して他のチャネル信号の相関がなるべく高くなるように推定（修正）する処理により、チャネル間の無相関な成分を低減することが可能となり、クロマ成分に混在するノイズを低減させるようにすることが可能となる。
【０２６７】
さらに、チャネル間相関が十分に強くないと判定された場合に、片方のチャネルの信号を遮断しもう一方のチャネル信号で置き換えるようにすることで、チャネル間相関が十分に高い場合にだけ、チャネル間相関を利用した画素値修正方法を使用することにより、効果的にノイズを除去することが可能となる。
【０２６８】
また、GとR、またはGとBというような2チャネル間の相関に基づく処理だけでなく、３チャネル以上のチャネル間相関を同時に評価することにより、よりクロマ成分のノイズを、さらに効果的に除去することが可能となる。
【０２６９】
さらに、多重解像度処理により入力画像を複数の帯域に分離した後に、チャネル間相関に基づいたノイズ除去処理を実行することにより、多重解像度処理によって、従来では除去しきれなかった低周波成分のノイズ成分を効果的に除去することが可能となる。
【０２７０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０２７１】
図２８は、図２のDSPブロック１６の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU４０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU４０１は、バス４０４および入出力インタフェース４０５を介してユーザからキーボードやマウスなどからなる入力部４０６から指令が入力されると、それに対応してROM(Read Only Memory)４０２に格納されているプログラムを実行する。あるいはまた、CPU４０１は、ドライブ４１０に接続された磁気ディスク４２１、光ディスク４２２、光磁気ディスク４２３、または半導体メモリ４２４から読み出され、記憶部４０８にインストールされたプログラムを、RAM(Random Access Memory)４０３にロードして実行する。これにより、上述した図２のDSPブロック１６の機能が、ソフトウェアにより実現されている。さらに、CPU４０１は、通信部４０９を制御して、外部と通信し、データの授受を実行する。
【０２７２】
プログラムが記録されている記録媒体は、図２６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク４２１（フレキシブルディスクを含む）、光ディスク４２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク４２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ４２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４０２や、記憶部４０８に含まれるハードディスクなどで構成される。
【０２７３】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【符号の説明】
【０２７４】
１１ レンズ， １２ 絞り， １３ イメージセンサ， １４ 相関2重サンプリング回路， １５ A/Dコンバータ， １６ DSPブロック， １７ タイミングジェネレータ， １８ D/Aコンバータ， １９ ビデオエンコーダ， ２０ 表示部， ２１ コーデック処理部， ２２ メモリ， ２３ CPU， ２４ 操作入力部， ２５ バス， ４１ デモザイク処理部， ４２ 非線形変換処理部， ４３ ノイズ除去処理部， ４４ 非線形逆変換処理部， ４５ ホワイトバランス処理部， ４６ ガンマ補正処理部， ４７ YC変換処理部， ６１ マッピング処理部， ６２ 変換曲線LUT， ８１，８１−１，８１−２ 多重解像度変換処理部， ８２ レイヤ０画像メモリ， ８３ レイヤ１画像メモリ， ８４ レイヤ２画像メモリ， ８５ レイヤ３画像メモリ，８６，８６−１乃至８６−３ 修正処理部， ８７ レイヤ０ノイズ除去画像， ８８ レイヤ１ノイズ除去画像， ８９ レイヤ２ノイズ除去画像， ９０ 多重解像度逆変換処理部， １１１，１１１−１乃至１１１−３ 縮小処理部， １１２，１１２−１乃至１１２−３ 減算処理部， １１３，１１３−１乃至１１３−３， 拡大処理部， １３１，１３２ サンプリング処理部， １３３ 分散算出処理部， １３４ クリッピング処理部， １３５ 除算処理部， １３６ 共分散算出処理部， １３７ 乗算処理部， １５１，１５１−１乃至１５１−３ 拡大処理部， １５２，１５２−１乃至１５２−３ 加算処理部， １７１ 逆マッピング処理部， １７２ 変換曲線LUT， ２０１，２０１−１，２０１−２ サンプリング処理部， ２０２，２０２−１，２０２−２ 分散算出処理部， ２０３ 共分散算出処理部， ２０４ クリッピング処理部， ２０５ 除算処理部， ２０６ 乗算処理部， ２０７ 相関係数算出処理部， ２０８ スイッチ， ２２１，２２１−１，２２１−２ サンプリング処理部， ２２２，２２２−１，２２２−２ 分散算出処理部， ２２３ 共分散算出処理部， ２２４ クリッピング処理部， ２２５ 除算処理部， ２２６ 乗算処理部， ２２７ 差分算出処理部， ２２８ スイッチ， ２５１，２５１−１，２５１−２ 多重解像度変換処理部， ２５２，２５２−１乃至２５２−３ レイヤ０画像メモリ， ２５３，２５３−１乃至２５３−３ レイヤ１画像メモリ， ２５４，２５４−１乃至２５４−３ レイヤ２画像メモリ， ２５５，２５５−１乃至２５５−３ レイヤ３画像メモリ，２５６，２５６−１乃至２５６−３ 修正処理部， ２５７，２５７−１，２５７−２ レイヤ０ノイズ除去画像， ２５８，２５８−１，２５８−２ レイヤ１ノイズ除去画像， ２５９，２５９−１，２５９−２ レイヤ２ノイズ除去画像， ２６０，２６０−１，２６０−２ 多重解像度逆変換処理部， ２８１，２８１−１乃至２８１−３ サンプリング処理部， ２８２ 分散共分散相関係数算出処理部， ２８３ クリッピング処理部， ２８４，２８４−１，２８４−２ 除算処理部， ２８５，２８５−１，２８５−２ 乗算処理部， ２８６ 判定処理部， ２８７，２８８ スイッチ
【特許請求の範囲】
【請求項１】
各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段と、
前記多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正手段と、
前記修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段と、
前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段と、
前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段と、
前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の画像、および、前記第２の画像のそれぞれの前記周辺画素の画素値に基づいて、前記第１の画像、および、前記第２の画像の画素値の共分散値を算出する共分散値算出手段と、
前記第１の分散値、前記第２の分散値、および前記共分散値とに基づいて、第１の画像、および、前記第２の画像の相関を算出する相関算出手段とをさらに備え、
前記選択手段は、前記相関が弱い場合、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の分散値、および前記第２の分散値の差分を算出する差分算出手段をさらに備え、
前記選択手段は、前記分散値の差分が大きい場合、前記第１の画像の注目画素値を、前記第２の画像の注目画素値として選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記多重解像度画像変換手段は、
前記２個の画像を多重解像度画像の複数のレイヤ画像に変換する前に入力画像に非線形変換を適用する非線形変換手段を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記非線形変換手段は、対数変換により、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記非線形変換手段は、ガンマ補正処理により、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、
前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正ステップと、
前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップと、
前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出ステップと、
前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出ステップと、
前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択ステップと
を含むことを特徴とする画像処理方法。
【請求項８】
各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、
前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正ステップと、
前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップと、
前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出ステップと、
前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出ステップと、
前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１】
各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換手段と、
前記多重解像度変換手段により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正手段と、
前記修正手段により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換手段と、
前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出手段と、
前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出手段と、
前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の画像、および、前記第２の画像のそれぞれの前記周辺画素の画素値に基づいて、前記第１の画像、および、前記第２の画像の画素値の共分散値を算出する共分散値算出手段と、
前記第１の分散値、前記第２の分散値、および前記共分散値とに基づいて、第１の画像、および、前記第２の画像の相関を算出する相関算出手段とをさらに備え、
前記選択手段は、前記相関が弱い場合、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の分散値、および前記第２の分散値の差分を算出する差分算出手段をさらに備え、
前記選択手段は、前記分散値の差分が大きい場合、前記第１の画像の注目画素値を、前記第２の画像の注目画素値として選択する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記多重解像度画像変換手段は、
前記２個の画像を多重解像度画像の複数のレイヤ画像に変換する前に入力画像に非線形変換を適用する非線形変換手段を備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記非線形変換手段は、対数変換により、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記非線形変換手段は、ガンマ補正処理により、前記２個の画像を多重解像度画像の複数のレイヤ画像に変換する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、
前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正ステップと、
前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップと、
前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出ステップと、
前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出ステップと、
前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択ステップと
を含むことを特徴とする画像処理方法。
【請求項８】
各画素について、その近傍の局所領域において、線形な関係があると仮定できる２個の画像を多重解像度画像の複数のレイヤ画像に変換する多重解像度変換ステップと、
前記多重解像度変換ステップの処理により変換されたレイヤ画像のうち、最低解像度のレイヤ画像を除く各レイヤ画像において、前記２個の画像中の１つの画像を、前記２個の画像間の相関に基づいて修正する修正ステップと、
前記修正ステップの処理により修正された各レイヤ画像を多重解像度逆変換する多重解像度逆変換ステップと、
前記２個の画像のうちの第１の画像および第２の画像のそれぞれの注目画素に対応した位置に配置される周辺画素を抽出する抽出ステップと、
前記第１の画像、および、前記第２の画像の周辺画素の画素値に基づいて、前記第１の画像の画素値の第１の分散値、および、前記第２の画像の画素値の第２の分散値をそれぞれ算出する分散値算出ステップと、
前記第１の分散値、および前記第２の分散値とに基づいて、前記第１画像の注目画素の画素値を、前記第２の画像の注目画素の画素値として選択する選択ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【公開番号】特開２０１１−２３４４１３（Ｐ２０１１−２３４４１３Ａ）
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願番号】特願２０１１−１６２１９７（Ｐ２０１１−１６２１９７）
【出願日】平成２３年７月２５日（２０１１．７．２５）
【分割の表示】特願２００５−１２８８３２（Ｐ２００５−１２８８３２）の分割
【原出願日】平成１７年４月２７日（２００５．４．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１１月１７日（２０１１．１１．１７）
【国際特許分類】
【出願日】平成２３年７月２５日（２０１１．７．２５）
【分割の表示】特願２００５−１２８８３２（Ｐ２００５−１２８８３２）の分割
【原出願日】平成１７年４月２７日（２００５．４．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]