画像処理装置、および画像処理方法、並びにプログラム
【課題】撮影画像に含まれるノイズの低減処理を行う装置、方法を提供する。
【解決手段】撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、画像確率モデルと、ノイズ確率モデルを適用したベイズ推定処理により、撮影画像のノイズを低減したノイズ低減画像を生成する。
【解決手段】撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、画像確率モデルと、ノイズ確率モデルを適用したベイズ推定処理により、撮影画像のノイズを低減したノイズ低減画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像に含まれるノイズ低減処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像素子の画素数が急激に増加、いわゆる高画素化が進んでいる。この結果、個々の画素については微細化が進み、この微細化に伴うノイズ量の増加が大きな問題となっている。
画像撮影時に撮像素子の各画素に発生するノイズ低減処理については、従来から様々な提案がなされている。しかし、昨今の微細化された画素を持つ撮像素子に対しては、従来のノイズ低減手法を適用しても十分な効果が発揮されないという問題がある。
【０００３】
従来のノイズ低減手法が上手く動作しない理由の１つに、ノイズのモデル化が不十分であるということが考えられる。撮像素子には様々なノイズ発生要因があり、それぞれの要因に応じて発生するノイズは異なる振る舞いを示す。
従来のノイズ低減技術では、ノイズを加法性のガウスノイズとしてモデル化することが多く、撮像素子のノイズモデルとしては大雑把な近似となっていた。
【０００４】
従来のノイズ低減処理には、例えばメディアンフィルタやＷｉｅｎｅｒフィルタのような古典的なフィルタ適用処理を始めとして、様々な手法がある。
また、近年、広く用いられているノイズ低減手法としては、バイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタを適用したノイズ低減手法がある。
なお、バイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタを適用したノイズ低減手法については、例えば非特許文献１（Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｒ．Ｍａｎｄｕｃｈｉ，"Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９８）に記載がある。
【０００５】
また、ＮＬ−Ｍｅａｎｓ手法も多く利用される。
ＮＬ−Ｍｅａｎｓ手法については、例えば非特許文献２（Ａ．Ｂｕａｄｅｓ，Ｂ．Ｃｏｌｌ，ａｎｄ Ｊ．Ｍ．Ｍｏｒｅｌ，"Ａ Ｎｏｎ Ｌｏｃａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００５）に記載がある。
これら２つのノイズ低減方法は、ノイズそのものの素性についての詳細な考察は無く、処理内容としては、加法性のガウスノイズを念頭に置いた処理となっている。
【０００６】
一方、非特許文献３（Ｈ．Ｐｈｅｌｉｐｐｅａｕ，ｅｔ ａｌ．，"Ｓｈｏｔ Ｎｏｉｓｅ Ａｄａｐｔｉｖｅ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２００８）や、
特許文献１（特開２０１１−１０１３５９号公報：「イメージセンサの統合ノイズモデリング方法及びそれを利用するノイズ低減方法」）は、撮像素子のノイズの振る舞いを考慮に入れたノイズ低減手法を提案している。
【０００７】
上記非特許文献３は、撮像素子のノイズの内、光ショットノイズを考慮したノイズ低減処理を開示している。また、上記特許文献１は、暗電流ノイズ、光ショットノイズ、固定パターンノイズを考慮したノイズ低減手法を提案している。
【０００８】
これらの文献に記載された処理は、撮像素子で撮影された画像に対しては、ノイズの振る舞いを考慮していない処理よりも効果的なノイズ低減処理が可能となる。
しかし、上記非特許文献３も、上記特許文献１もノイズ低減処理のためのフィルタとしては、Ｂｉｌａｔｅｒａｌフィルタを用いていることから、ノイズとしてはガウスノイズを仮定した処理となっている。
【０００９】
上記特許文献１の場合、個々のノイズが全てガウスノイズで近似され、それらを統合したものとして、ある一つのガウスノイズに近似される。
しかし、実際の撮像素子におけるノイズの振る舞いはガウスノイズに等しいものではなく、結果として実際のノイズと、ガウスノイズとの誤差がノイズ除去性能を劣化させるという問題があった。
【００１０】
撮像素子に発生するノイズの一つのノイズとして知られるＲａｎｄｏｍ Ｔｅｌｅｇｒａｐｈノイズは、例えば非特許文献４（Ｘ．Ｗａｎｇ，Ｐ．Ｒ．Ｒａｏ，Ａ．Ｍｉｅｒｏｐ ａｎｄ Ａ．Ｊ．Ｐ．Ｔｈｅｕｗｉｓｓｅｎ，"Ｒａｎｄｏｍ ｔｅｌｅｇｒａｐｈ ｓｉｇｎａｌ ｉｎ ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ ｐｉｘｅｌｓ"，Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ Ｔｅｃｈｎｉｃａｌ Ｄｉｇｅｓｔ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅ Ｍｅｅｔｉｎｇ，２００６．）で示されるようにガウスノイズでは無い。
【００１１】
さらに、特許文献２（特開２００６−３１０９９９号公報：「画像処理装置および方法、並びにプログラム」）では、ノイズを特定のパターンに近似することなく任意の確率密度関数として扱った処理について開示しており、その点については前述の手法と比べて優れている。
しかし、この特許文献２に記載の構成は、ノイズ低減処理を、ヒストグラムマッチングを用いて行う点に問題がある。
【００１２】
ノイズと本来の撮像された画像信号が含まれた画像のヒストグラムと理想的なノイズのヒストグラムをマッチングさせ、本来の画像信号成分を抜き出すという処理であり、ヒストグラムマッチングの前後で画像に含まれる画素値の順番が変化しないという処理になっている。
【００１３】
しかし、実際にはノイズが含まれていない画像信号にノイズを重畳した場合、画素値の順序は変わり得るので、実際の現象とは一致しない処理となる。その為、ノイズ除去性能が十分に発揮されないという問題があった。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２０１１−１０１３５９号公報
【特許文献２】特開２００６−３１０９９９号公報
【非特許文献】
【００１５】
【非特許文献１】Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｒ．Ｍａｎｄｕｃｈｉ，"Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９８
【非特許文献２】Ａ．Ｂｕａｄｅｓ，Ｂ．Ｃｏｌｌ，ａｎｄ Ｊ．Ｍ．Ｍｏｒｅｌ，"Ａ Ｎｏｎ Ｌｏｃａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００５
【非特許文献３】Ｈ．Ｐｈｅｌｉｐｐｅａｕ，ｅｔ ａｌ．，"Ｓｈｏｔ Ｎｏｉｓｅ Ａｄａｐｔｉｖｅ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２００８
【非特許文献４】Ｘ．Ｗａｎｇ，Ｐ．Ｒ．Ｒａｏ，Ａ．Ｍｉｅｒｏｐ ａｎｄ Ａ．Ｊ．Ｐ．Ｔｈｅｕｗｉｓｓｅｎ，"Ｒａｎｄｏｍ ｔｅｌｅｇｒａｐｈ ｓｉｇｎａｌ ｉｎ ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ ｐｉｘｅｌｓ"，Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ Ｔｅｃｈｎｉｃａｌ Ｄｉｇｅｓｔ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅ Ｍｅｅｔｉｎｇ，２００６．
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本開示は、例えば上記の問題に鑑みてなされたものであり、画像に含まれるノイズを効果的に除去、または低減する処理を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１７】
本開示の一実施例の構成では、ノイズの振る舞いを精緻な確率モデルとして表現することで、高性能なノイズ低減処理を実現する。さらに、確率モデルのデータサイズを圧縮し、高速なノイズ低減処理を可能とし、計算資源の少ない環境であっても効果的なノイズ低減を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
本開示の第１の側面は、
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する画像処理装置にある。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記画像確率モデル生成部は、ノイズ低減処理対象画素を含む局所領域から、ノイズ低減処理対象画素との画素値差分が既定の閾値以下の画素を参照画素として選択する局所画素選択部と、前記局所画素選択部において選択された参照画素の平均値と分散値を算出する局所平均分散算出部を有し、前記画像確率モデルは、前記局所平均分散算出部の算出値からなる近似画像確率モデルである。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルである。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、前記、混合ガウスモデル近似のパラメータは、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを適用して算出したパラメータである。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記メモリに格納されたノイズ確率モデルは、撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するシミュレーション処理データを適用して生成したノイズ確率モデルである。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記画像確率モデル生成部は、単一の正規分布からなる近似画像確率モデルを生成し、前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、前記ベイズ推定部は、前記近似画像確率モデルと、前記近似ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記ノイズ確率モデルを生成するノイズ確率モデル生成部を有し、前記ノイズ確率モデル生成部は、撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するノイズシミュレーション処理部と、前記ノイズシミュレーション処理部の生成データに対する混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似処理によって近似ノイズ確率モデルを生成する混合ガウスモデル近似部を有する。
【００２５】
さらに、本開示の第２の側面は、
撮像素子を有する撮像部と、
前記撮像部から入力する撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する撮像装置。
【００２６】
さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成処理と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルと、前記画像確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定処理を実行する画像処理方法にある。
【００２７】
さらに、本開示の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成処理と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルと、前記画像確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定処理を実行させるプログラムにある。
【００２８】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００２９】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３０】
本開示の一実施例の構成によれば、撮影画像に含まれるノイズの低減処理を行う装置、方法が実現される。
具体的には、撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、画像確率モデルと、ノイズ確率モデルを適用したベイズ推定処理により、撮影画像のノイズを低減したノイズ低減画像を生成する。
本開示の構成によれば、撮像素子のノイズ特性と画像の領域単位の特徴を考慮した高性能なノイズ低減処理を実現することができる。さらに、近似処理によって必要なデータ量の削減、計算量の削減、高速処理を実現することができる。
【図面の簡単な説明】
【００３１】
【図１】画像処理装置の一実施例である撮像装置の構成例について説明する図である。
【図２】撮像素子の構成と撮影画像の例について説明する図である。
【図３】本開示の画像処理装置において用いられる撮像素子のノイズ確率モデルの一部を示す図である。
【図４】図３に示すノイズ無し画素値（０〜２５５）と、各画素値の存在確率との対応関係データに、さらに、ノイズ有り画素値（０〜２５５）の軸を設定した３次元の確率密度関数について説明する図である。
【図５】画像が撮影される前の事前確率Ｐ（Ａ）、すなわち、ノイズの含まれていない画素値Ａが発生する確率Ｐ（Ａ）を示すグラフについて説明する図である。
【図６】被写体の輝度が一様である（画素値＝ａ）という事前知識がある場合、ノイズの含まれていない画素値Ａが発生する確率Ｐ（Ａ）を示す図である。
【図７】明、暗の２つに分割されたエッジが含まれる撮影画像のある局所領域（７×７画素）の例について説明する図である。
【図８】図７に示す画像の画素値のヒストグラムについて説明する図である。
【図９】単一のピークとなるように局所領域の中から注目画素位置の画素値とかけ離れた画素値を取り除いてから確率モデルを作る方法について説明する図である。
【図１０】ノイズ低減処理を実行するための詳細構成例について説明する図である。
【図１１】ノイズ低減処理を実行するための詳細構成例について説明する図である。
【発明を実施するための形態】
【００３２】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示の画像処理装置の全体構成と処理について
２．本開示の画像処理装置において実行するノイズ低減処理について
３．撮像装置における信号処理部（ＤＳＰ）の構成と処理例について
４．近似ノイズ確率モデル生成部の処理について
５．近似画像確率モデルの生成処理について
６．実施例バリエーション
７．本開示の構成のまとめ
【００３３】
［１．本開示の画像処理装置の全体構成と処理について］
まず、本開示の画像処理装置の一実施例としての撮像装置（デジタルカメラ）の全体構成と処理について、図１を参照して説明する。
【００３４】
撮像装置は、図１に示すように、撮像部としてのレンズ１０１、絞り１０２、ＣＣＤイメージセンサ１０３、さらに、相関２重サンプリング回路（ＣＤＳ）１０４、Ａ／Ｄコンバータ１０５、信号処理部（ＤＳＰ）１０６、タイミングジェネレータ（ＴＧ）１０７、Ｄ／Ａコンバータ１０８、ビデオエンコーダ１０９、表示部（ビデオモニタ）１１０、ＣＯＤＥＣ１１１、メモリ１１２、ＣＰＵ１１３、入力デバイス（Ｉｎｐｕｔ Ｄｅｖｉｃｅ）１１４を有する。
【００３５】
入力デバイス（Ｉｎｐｕｔ Ｄｅｖｉｃｅ）１１４は、カメラ本体にある録画ボタンなどの操作ボタン類によって構成される。また、信号処理部（ＤＳＰ）１０６は信号処理用プロセッサと、プロセッサによる信号処理の対象となる画像やパラメータを記憶する記憶部（ＲＡＭ）を備えた構成を持つ。信号処理用プロセッサが記憶部に格納された画像データに対してあらかじめプログラムされた画像処理を行う。以下の実施例において説明する画像のノイズ低減処理は、主にこの信号処理部（ＤＳＰ）１０６において実行する処理である。
【００３６】
撮像部を構成するレンズ１０１、絞り１０２等の光学系を通過して撮像素子であるＣＣＤイメージセンサ１０３に到達した入射光は、まずＣＣＤ撮像面上の各画素単位の受光素子に到達し、受光素子での光電変換によって各画素単位で受光量に応じた電気信号に変換される。
【００３７】
ＣＣＤイメージセンサ１０３から出力される各画素単位の電気信号は、相関２重サンプリング回路（ＣＤＳ）１０４に入力される。相関２重サンプリング回路（ＣＤＳ）１０４では、ＣＣＤイメージセンサ１０３の出力信号に含まれるノイズの主成分となるリセットノイズの除去処理が行われる。
相関２重サンプリング回路（ＣＤＳ）１０４は、ＣＣＤイメージセンサ１０３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを除去する。具体的には、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりリセットノイズを除去する。
【００３８】
なお、この相関２重サンプリング回路（ＣＤＳ）１０４において実行されるノイズ除去処理は、画像に含まれるノイズの一部を除去するのみであり、画像にはまだ多くのノイズが含まれる。残留ノイズの低減処理は後段の信号処理部（ＤＳＰ）１０６において実行される。
信号処理部（ＤＳＰ）１０６において実行するノイズ低減処理については、後段で詳細に説明する。
【００３９】
相関２重サンプリング回路（ＣＤＳ）１０４の出力は、Ａ／Ｄコンバータ１０５に入力され、デジタルデータに変換されて、信号処理部（ＤＳＰ）１０６に入力され、信号処理部（ＤＳＰ）１０６内の記憶部（ＲＡＭ）に格納される。
【００４０】
なお、信号処理部（ＤＳＰ）１０６内の記憶部（ＲＡＭ）に格納された撮影画像は、撮像素子であるＣＣＤイメージセンサ１０３の色配列に従った画像データ、すなわち、例えば図２に示すような各画素単位でＲＧｒＧｂＢのいずれかの画素値が設定されたモザイク画像となる。
図２に示す色配列は、ベイヤ配列と呼ばれる配列であり、多くのデジタルカメラにおいて利用されている配列である。
【００４１】
信号処理部（ＤＳＰ）１０６内の記憶部（ＲＡＭ）に格納される撮影画像は、このような色配列に従って、各画素単位で１つの色に対応する画素値が設定されたモザイク画像となる。
なお、図２に示す色配列（ベイヤ配列）は色配列の一例であり、本開示の画像処理装置は、この他の配列の撮像画像に対しても適用可能である。
【００４２】
信号処理部（ＤＳＰ）１０６は、信号処理部（ＤＳＰ）１０６内の記憶部（ＲＡＭ）に格納された例えば図２に示すモザイク画像に対する信号処理を行う。具体的には、後述する本開示のノイズ低減処理を行う。さらに、各画素にＲＧＢすべての画素値を設定するデモザイク処理やガンマ補正、ホワイトバランス調整など、一般的な画像処理を実行して、表示用および記憶用の画像を生成する。
【００４３】
なお、撮像装置における画像撮影状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ（ＴＧ）１０７が信号処理系を制御する。
信号処理部（ＤＳＰ）１０６へも一定のレートで各画像を構成する画素信号のストリームデータが入力される。信号処理部（ＤＳＰ）１０６は、このストリーム信号を入力して、ノイズ低減処理を含む様々な画像処理を実行する。その後、画像データはＤ／Ａコンバータ１０８、もしくはＣＯＤＥＣ１１１、あるいはその両方に出力される。
【００４４】
Ｄ／Ａコンバータ１０８は、信号処理部（ＤＳＰ）１０６から入力する画像データをアナログ信号に変換する。さらに、それをビデオエンコーダ１０９がビデオ信号に変換し、そのビデオ信号を表示部（ビデオモニタ）１１０に出力する。
なお、表示部（ビデオモニタ）１１０はカメラのファインダの役割も担っている。
【００４５】
また、ＣＯＤＥＣ１１１は信号処理部（ＤＳＰ）１０６から出力される画像データに対する符号化処理を行い、符号化された画像データはメモリ１１２に記録される。
メモリ１１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などによって構成される。
【００４６】
［２．本開示の画像処理装置において実行するノイズ低減処理について］
前述したように、図１に示す撮像装置において撮影された画像は、信号処理部（ＤＳＰ）１０６においてノイズ低減処理が実行される。
信号処理部（ＤＳＰ）１０６の具体的な構成と処理について説明する前に、信号処理部（ＤＳＰ）１０６の実行するノイズ低減処理の概要について説明する。
【００４７】
本開示の画像処理装置は、
（Ａ）撮像素子のノイズ確率モデル、
（Ｂ）撮像素子で撮影された画像の確率モデル、
これら２つの確率モデルを利用したノイズ低減処理を実行する。
これら２つの確率モデルを用いて、ベイズ（Ｂａｙｅｓ）推定により撮像素子で撮影された画像に対してノイズ除去処理を行う。
【００４８】
（Ａ）撮像素子のノイズ確率モデルとは、撮像素子の各種ノイズ要因によってノイズが重畳されたある画素値に対する理想画素値、すなわちノイズが含まれていない理想的な画素値の確率を示す確率密度関数である。
（Ｂ）画像の確率モデルとは、ノイズ低減対象とする注目画素位置の画素が取り得る画素値の確率密度関数であり、画素毎に異なる確率密度関数が設定可能である。
【００４９】
ノイズを含む画素の画素値（Ｘ）に対して、ベイズ（Ｂａｙｅｓ）推定に基づいたノイズ除去処理によって得られる画素値（Ｙ）は、以下に示す（式１）で算出される。
【００５０】
【数１】
・・・・・（式１）
【００５１】
上記（式１）において、
Ａ，Ｂはノイズが含まれていない理想的な画素値、
Ｘはノイズが含まれている画素値、
ＹはＸからノイズが除去された画素値、
を表す。
【００５２】
Ｐ（Ｘ｜Ａ）は「尤度」と呼ばれ、
ここでは、ノイズ無し画素値Ａが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率であり、前述の撮像素子の「ノイズ確率モデル」を表す。
Ｐ（Ｘ｜Ｂ）についても同様の「尤度」であり、ノイズ無し画素値Ｂが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率であり、前述の撮像素子の「ノイズ確率モデル」を表す。
Ｐ（Ａ）は事前確率と呼ばれ、ここでは、ノイズ無し画素値Ａが発生する確率であり、前述の「画像の確率モデル」を表す。
Ｐ（Ｂ）についても同様の事前確率であり、ノイズ無し画素値Ｂが発生する確率であり、前述の「画像の確率モデル」を表す。
【００５３】
すなわち、「ノイズ確率モデル」は、あるノイズ無し画素値が発生した場合の、あるノイズ有り画素値が発生する条件付き確率を示す。これは撮像装置、特に撮像素子に依存するデータとなる。
また、「画像の確率モデル」は、各ノイズ無し画素値の発生確率を示す。これは撮影された画像に依存するデータとなる。
【００５４】
なお、「ノイズ確率モデル」に相当する「尤度」は、撮像素子（図１に示すＣＣＤイメージセンサ１０３）のノイズ特性により決定される確率密度関数であり、例えば暗電流ノイズ、光ショットノイズ、固定パターンノイズ、回路ノイズ等の各種ノイズ特性により決定される。
これらの個々のノイズ特性については、従来から研究されており、例えば光ショットノイズについては、画素に入射したフォトン（光子）の数の平方根が光ショットノイズとなることが知られている。
【００５５】
なお、ノイズのモデル化手法については、例えば、以下の非特許文献に記載がある。
（ａ）米本和也、「ＣＣＤ／ＣＭＯＳイメージセンサの基礎と応用」
（ｂ）Ｒ．Ｇｏｗ ｅｔ ａｌ．，"Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｔｏｏｌ ｆｏｒ Ｍｏｄｅｌｉｎｇ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｎｏｉｓｅ Ｐｅｒｆｏｒｍａｎｃｅ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅｓ， ２００７
【００５６】
ノイズのモデル化ができるということは、ノイズが含まれていない画素値に対して、ノイズを付加することで、ノイズが含まれている画素値が分かるということである。
この様な、シミュレーションが行えるソフトウェアとして、前述の非特許文献「Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｔｏｏｌ ｆｏｒ Ｍｏｄｅｌｉｎｇ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｎｏｉｓｅ Ｐｅｒｆｏｒｍａｎｃｅ」や、
非特許文献「ＩｍａｇＥｖａｌ Ｃｏｎｓｕｌｔｉｎｇ ＬＬＣのＩｍａｇｅ Ｓｙｓｔｅｍｓ Ｅｖａｌｕａｔｉｏｎ Ｔｏｏｌｂｏｘ」
などが知られている。
【００５７】
本開示の画像処理装置では、モデル化されたノイズを用いて生成した撮像素子の「ノイズ確率モデル」を適用してノイズ低減処理を行う。
【００５８】
図３は、本開示の画像処理装置において用いられる撮像素子のノイズ確率モデルの一部を示す図である。
図３は、あるノイズが含まれた画素の画素値について、元のノイズの含まれていない画素値（ノイズ無し画素値）がどのような値でどのような確率で存在するのかを表す確率密度関数である。
横軸がノイズ無し画素値（０〜２５５）、縦軸が各画素値の存在確率を示している。なお、この存在確率は、撮像素子によって異なるが、図３に示すデータは、１つの典型的なモデル画像に基づくデータである。
【００５９】
図４は、図３に示すノイズ無し画素値（０〜２５５）と、各画素値の存在確率との対応関係データに、さらに、ノイズ有り画素値（０〜２５５）の軸を設定した３次元の確率密度関数である。
図３に示す２次元グラフは、図４に示す３次元グラフを、ある一つのノイズの含まれた画素値についてスライスしたデータに相当する。
【００６０】
ノイズのシミュレーションによって、尤度Ｐ（Ｘ｜Ａ）、すなわち、ノイズ無し画素値Ａが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率は事前に求めることができる。
【００６１】
しかし、前述の（式１）に含まれるもう１つの重要な項である「事前確率Ｐ（Ａ）」、すなわち、ノイズ無し画素値Ａが発生する確率を事前に求めることは難しい。
なぜならば、Ｐ（Ａ）はノイズの含まれていない画素値Ａが発生する確率であり、画素値は被写体によって、いかようにも変化するため、画像が撮影される前には全ての画素値が等しい確率で発生するとしか言えないからである。
【００６２】
図５は画像が撮影される前の事前確率Ｐ（Ａ）、すなわち、ノイズの含まれていない画素値Ａが発生する確率Ｐ（Ａ）を示すグラフである。
ノイズの含まれていない画素値Ａが発生する確率は、全ての画素値（本例では０〜２５５）において等しい確率（１／２５６≒３．９×１０−３）となる。
図５に示す事前確率Ｐ（Ａ）を用いたベイズ（Ｂａｙｅｓ）推定は、最尤推定と等しい。
【００６３】
一般的に最尤推定はベイズ（Ｂａｙｅｓ）推定よりも性能が劣ることが知られている。これは、ノイズの含まれていない画素値Ａが発生する確率Ｐ（Ａ）が、一様ではないという何らかの事前知識がある場合、その情報を推定に用いた方がより精度の高い推定ができるからである。
【００６４】
例えば、被写体の輝度が一様である（画素値＝ａ）という事前知識がある場合、図６に示されるように、ノイズの含まれていない画素値Ａが発生する確率Ｐ（Ａ）はある一つの輝度ａにおいて１となり、それ以外の輝度では０となる。
【００６５】
この場合、ノイズの含まれた画素の画素値Ｘから、ベイズ（Ｂａｙｅｓ）推定を用いてノイズを除去した画素値Ｙを算出する前述した（式１）では、ノイズが重畳された画素値Ｘからａという画素値を推定できる（ただし、Ｐ（Ｘ｜ａ）≠０でなければならない）。
【００６６】
一方、最尤推定では、ノイズの含まれていない画素値Ａが発生する事前確率Ｐ（Ａ）が、図５に示される一様の確率を持つことから、どのようなノイズ確率モデルを用いるかによって、異なる画素値が推定される。
【００６７】
すなわち、ベイズ（Ｂａｙｅｓ）推定では、事前確率の確からしさが、推定性能に大きな影響を与える。
事前確率は主観的に与えることが可能であり、ユーザーが事前知識に従って、自由に設定して良い。
【００６８】
本開示の構成では、撮像されたノイズを含む画像を使って事前確率を生成する。
具体的には、ノイズ低減処理対象とする注目画素位置を含む局所領域の中に存在する画素値のヒストグラムを事前確率として用いる。
【００６９】
撮影画像に含まれる例えば７×７、９×９、１１×１１画素領域程度の狭い局所領域では被写体が極端に変化することは少なく、局所領域内で取り得る画素値の範囲は狭いと推定できる。従って、信号（撮影画像の画素値）にノイズが混ざっていても、信号がノイズに対して支配的であれば、やはり局所領域において取り得る画素値の範囲は狭い。たとえ局所領域内で被写体が変化しても、画素値の分布が明らかに偏る。
【００７０】
図７に、撮影画像のある局所領域（７×７画素）の例を示す。この局所領域は、明、暗の２つに分割されたエッジが含まれる。
暗部領域のノイズが含まれていない理想的な画素値をｂ、明部領域のノイズが含まれていない理想画素値をｃとする。
なお、実際の画素値にはノイズが重畳され、画素値がｂ，ｃからずれている。
【００７１】
図８は、図７に示す局所領域の画素値のヒストグラムである。
横軸が、画素値（０〜２５５）、
縦軸が、出現画素数、
である。
【００７２】
図８から、理解されるように、図７に示す７×７画素の局所領域では、画素値は、
暗い領域のほぼ平均の画素値に相当する画素値＝ｂ近傍の値と、
明るい領域のほぼ平均の画素値に相当する画素値＝ｃ近傍の値、
これらの２つの画素値ｂ，ｃの近傍の値に集中する。
【００７３】
撮像装置（カメラ）で撮影した画像の局所領域において、ヒストグラムの山の幅に影響を及ぼすのは、ノイズと微小な信号の変化である。
そのため、注目画素位置のノイズ無しの画素値は局所領域で発生する頻度の高い画素値である確率が高いことは明らかであり、図８に示す例では、ｂ近傍の値、もしくはｃ近傍の値である確率が高いと言える。
この知識を、ベイズ推定に適用するノイズ無し画素値Ａが発生する確率Ｐ（Ａ）に反映させることは有益である。
【００７４】
さらに、単に局所のヒストグラムをＰ（Ａ）として用いるのではなく、さらに撮像素子のノイズ特性を考慮して、Ｐ（Ａ）の信頼度を上げる方法が有効であると考えられる。
撮像素子のノイズは、画素に入射したフォトン（光子）の数に影響するものと、影響されないものがある。
画素位置によらず同じノイズ特性を持つ複数のノイズ要因が存在するということであり、それらのノイズの期待値は事前に分かっている。
【００７５】
ノイズを含む画素の画素値は、ノイズのない画素値に複数のノイズ要因によるノイズを加算した値である。このノイズの加法性を考慮すると、ノイズが含まれた画素値から事前に分かっているノイズの期待値を引くと、ノイズが含まれていない画素値により近づくことが期待できる。
つまり、局所領域の画素値からノイズの期待値を引いた後にヒストグラムを作ると、より信頼できるＰ（Ａ）、すなわち、事前確率としてのノイズ無し画素値Ａが発生する確率Ｐ（Ａ）を算出することができる。
【００７６】
上述したように、
ノイズ無し画素値Ａが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率である尤度Ｐ（Ｘ｜Ａ）については、ノイズのシミュレーションによって算出することができる。
また、事前確率としてのノイズ無し画素値Ａが発生する確率Ｐ（Ａ）については、
局所領域の画素値からノイズの期待値を引いた後に生成したヒストグラムから信頼できる値を算出することができる。
【００７７】
このように、尤度Ｐ（Ｘ｜Ａ）と確率Ｐ（Ａ）を算出すれば、先に説明した（式１）を適用して、撮影画像に含まれるノイズをノイズ有り画素の画素値Ｘから、ノイズを除去したノイズ無し画素の画素値Ｙを算出することができる。
【００７８】
しかし、前述の（式１）をそのまま使用すると、データ量及び計算量が非常に多くなり、計算資源の貧弱なデジタルカメラなどでは利用することが困難となるという問題がある。
この問題を解決するためには、前述の（式１）を変形して以下に説明する（式２）を利用することが有効である。以下に説明する（式２）を利用することで計算量の削減が可能となる。
【００７９】
前述した（式１）の計算量が多いのは、総和の項が２箇所存在するためである。
例えば、撮像素子が１２ｂｉｔの画素値を出力するならば、各総和は２の１２乗回行われることになる。
この総和の項を消すために、離散分布を扱う（式１）の代わりに連続分布を扱う以下に示す（式２）を用いる。
【００８０】
【数２】
・・・・・（式２）
【００８１】
本来、画素値はＡ／Ｄ変換によって離散値となるが、十分に細かく離散化されているので、近似的に連続値として扱っても問題は無い。
離散分布を扱う（式１）から総和の項を消すことは、連続分布を扱う（式２）から積分の項を消すことと等しい。
【００８２】
つまり、積分される２つの関数
Ａ×Ｐ（Ｘ｜Ａ）Ｐ（Ａ）と、
Ｐ（Ｘ｜Ｂ）Ｐ（Ｂ）、
これらが解析的に積分できる関数になっていればよい。
【００８３】
ここでは解析的に積分できる関数として、ガウス関数を用いる。
前述の通り、撮像素子のノイズ確率モデルも画像の確率モデルもガウス分布とは異なる形状の確率分布を持つ。
そのため、単一のガウス関数でこれらの確率モデルを近似すると、誤差が大きく十分なノイズ除去性能が得られない。
【００８４】
そこで、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を用いる。
一次元データに対する混合ガウスモデル近似を以下の（式３）に示す。
近似前の関数をｆ（ｘ）とした場合、関数ｆ（ｘ）は、以下の（式３）の右辺に示す式を近似式として用いることが可能であり、この近似式によってｆ（ｘ）の近似値を算出することができる。
【００８５】
【数３】
【００８６】
なお、上記（式３）ではガウス関数の一種である正規分布を用いて記述している。
上記（式３）において、
ｆ（ｘ）は近似前の関数、
ｉは正規分布のインデックス、
Ｎｉ（ｘ）はｉ番目の正規分布、
ｗｉはｉ番目の正規関数の重み、
を表す。
μｉとσｉはｉ番目の正規分布の平均と標準偏差、
を表す。
【００８７】
撮像素子のノイズ確率モデルは被写体によらないことから、事前に時間をかけて混合ガウスモデル近似を行い、その近似結果をメモリ等に格納し、実際の撮影画像のノイズ除去処理時にはメモリから近似結果を読み出して利用してノイズ除去処理をおこなえばよい。
【００８８】
しかし、画像の確率モデルは被写体に依存することから、画素毎に毎回、混合ガウスモデル近似をやり直さなければならない。
十分な計算資源がある場合はそれでも良いが、計算資源が少ない環境では困難を伴う処理になるため、ここでは画像の確率モデルについては単一の正規分布によって近似する方法を考える。
【００８９】
単純な矩形の局所領域の画素値からヒストグラムを作って画像の確率モデルとして使うと、図８で示されるように複数のピークを持つ確率分布になることがある。
単一の正規分布による近似を行うためには、単一のピークを持つ分布を利用することが好ましい。そこで、単一のピークとなるように局所領域の中から注目画素位置の画素値とかけ離れた画素値を取り除いてから確率モデルを作る方法について述べる。
【００９０】
例えば、図８に示すヒストグラムの場合、ノイズ低減処理対象となる注目画素位置がｂ近傍の画素値を持つならば、図９に示すように、ｂ近傍のピークだけ用いれば良いということである。
このような画素値の選択処理の内、最も簡単な処理は、ノイズ低減処理対象となる注目画素位置の画素値と周辺画素位置の画素値の差分絶対値を計算し、ある閾値以内の周辺画素を選択する処理である。このようにして選択された周辺画素の画素値を用いて単一ピークを持つヒストグラムを作って、このヒストグラムに基づいて単一の正規分布による近似を行う。
【００９１】
単一ピークを持つ分布データを選択するための選択性能を上げるためには、固定の閾値を用いるのではなく、被写体に応じて適切な閾値を動的に設定する手法が有効である。
動的に閾値を決める方法については、後段の信号処理部（ＤＳＰ）１０６の具体的処理に説明において説明する
【００９２】
ノイズ低減処理対象となる注目画素を含む局所領域から閾値を適用した画素選択処理によって適切に選ばれた画素の画素値を用いてヒストグラムを作ると、単峰性のなだらかな分布となり、単一の正規分布で十分に近似できる。
【００９３】
以上に述べた方法により、
（１）撮像素子のノイズ確率モデルは混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）で近似される。
（２）画像の確率モデルは正規分布で近似される。
結果として、先に説明した（式２）は、以下に示す（式４）として表現できる。
【００９４】
【数４】
・・・・・（式４）
【００９５】
なお、上記式において、
ｓは画素位置、
Ｘ（ｓ）はノイズ低減前の画素値
Ｙ（ｓ）はノイズ低減後の画素値、
ｉは正規分布のインデックス、
Ｎｉ（ｘ）はｉ番目の正規分布、
ｗｉはｉ番目の正規関数の重み、
μ（ｓ）とσ（ｓ）は画素位置ｓにおける画素値の平均と標準偏差、
を表す。
【００９６】
上記（式４）は画素値が取り得る範囲内で積分を行う定積分であるが、撮像素子と画像の確率モデルの分布の幅が狭いことから、無限積分に変更しても問題は無い。
無限積分に変更して、積分の項を解析的に計算すると、以下に示す（式５）が得られる。
【００９７】
【数５】
・・・・・（式５）
【００９８】
なお、上記式において、
ｓは画素位置、
Ｘ（ｓ）はノイズ低減前の画素値
Ｙ（ｓ）はノイズ低減後の画素値、
ｉは正規分布のインデックス、
Ｎｉ（ｘ）はｉ番目の正規分布、
ｗｉはｉ番目の正規関数の重み、
μ（ｓ）とσ（ｓ）は画素位置ｓにおける画素値の平均と標準偏差（正規分布の平均と標準偏差）、
を表す。
【００９９】
撮像素子のノイズ確率モデルの近似には、数個の正規分布を使えば十分であることから、上記（式５）は、先に説明した（式１）と比べると、総和の計算回数が圧倒的に少ない。
その為、画像の確率モデルの近似に必要な計算量や（式５）の除算や平方根、指数関数の計算量を考慮しても、（式５）は、（式１）よりも十分に計算量が少ない。
【０１００】
また、撮像素子のノイズ確率モデルを保持する為に必要なメモリ量と比較すると、混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）で近似された撮像素子のノイズ確率モデルを保持する為に必要なメモリ量は圧倒的に小さい。
以上の近似計算により、処理に必要な計算量もメモリ量も少なくなり、計算資源の少ない環境であっても処理が可能となる。
【０１０１】
［３．撮像装置における信号処理部（ＤＳＰ）の構成と処理例について］
前述したように、図１に示す撮像装置において撮影された画像は、信号処理部（ＤＳＰ）１０６においてノイズ低減処理が実行される。
【０１０２】
信号処理部（ＤＳＰ）１０６は、入力画像信号のストリームに対して、複数の処理を所定のプログラムに従って順次実行する構成を持つ。信号処理部（ＤＳＰ）１０６において、ノイズ低減処理を実行するための詳細構成例を図１０に示す。
【０１０３】
なお、以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明する。なお、以下の実施例では、信号処理部（ＤＳＰ）１０６は、所定のプログラムに従ってノイズ低減処理を行うものとして説明するが、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路によってノイズ低減処理を実行する構成としてもよい。
【０１０４】
図１０に示すように、信号処理部（ＤＳＰ）１０６は、
画像確率モデル生成部３２０と、ベイズ（Ｂａｙｅｓ）推定部３２３を有する。
画像確率モデル生成部３２０は、
局所画素選択部３２１、
局所平均分散算出部３２２、
これらを有する。
【０１０５】
画像確率モデル生成部３２０の局所画素選択部３２１は、入力画像（例えば図に示すＲ画像２１１）から選択されたノイズ低減処理の対象となる注目画素を含む局所領域から、次の局所平均分散算出部３２２において平均、分散の算出に適用する画素を選択する。
局所平均分散算出部３２２は、局所画素選択部３２１の選択した画素を利用して、局所領域における選択画素の平均と、分散を算出する。この平均と、分散のデータが近似画像確率モデル３４０となる。
【０１０６】
ベイズ（Ｂａｙｅｓ）推定部３２３は、
局所画素選択部３２１の処理と、局所平均分散算出部３２２の処理によって生成された近似画像確率モデル３４０と、
予め算出され、メモリ１１２に格納された近似ノイズ確率モデル３８０を利用して、入力画像（例えば図に示すＲ画像２１１）に対するノイズ低減処理を実行する。
このノイズ低減処理は、前述した（式５）に従った処理として実行する。
このノイズ低減処理の結果として、ノイズ低減後のＲ画像２２１を生成して出力する。
【０１０７】
なお、信号処理部（ＤＳＰ）１０６に対する入力画像データは、図１に示す撮像装置の撮像デバイスであるＣＣＤイメージセンサ１０３からの出力に対して、相関２重サンプリング回路（ＣＤＳ）１０４でリセットノイズが除去され、さらにＡ／Ｄ変換部１０５でデジタルデータに変換された画像である。
各画素にはＲＧＢいずれかの色に対応する画素値のみが設定された先に図２を参照して説明したモザイク画像である。
このモザイク画像が、信号処理部（ＤＳＰ）１０６内の画像メモリに一旦、格納される。図１０に示すモザイク画像２０１である。
【０１０８】
信号処理部（ＤＳＰ）１０６は、モザイク画像２０１から、各色信号単位の画像を抜き出して、処理を行う。本例では、
Ｒ画像２１１、
Ｇｒ画像２１２、
Ｇｂ画像２１３、
Ｂ画像２１４、
これらの４つのノイズ除去前（ＮＲ前）の各色画像に対して個別にノイズ除去処理を行う。
図１０には、Ｒ画像２１１に対する処理を代表例として示している。
【０１０９】
信号処理部（ＤＳＰ）１０６は、各色画像に対するベイズ推定を適用したノイズ低減処理を実行し、ノイズ低減後の各色画像、すなわち、図１０に示す４つのノイズ低減後（ＮＲ後）の各色画像、
Ｒ画像２２１、
Ｇｒ画像２２２、
Ｇｂ画像２２３、
Ｂ画像２２４、
これらの４つのノイズ低減後（ＮＲ後）の各色画像を生成して出力する。
【０１１０】
なお、メモリ１１２に格納された近似ノイズ確率モデル３８０については、予め実行するシミュレーション処理によって生成することができる。
この近似ノイズ確率モデル３８０の生成処理構成も含めた画像処理装置の構成図を図１１に示す。
【０１１１】
図１１は、図１０に示す信号処理部（ＤＳＰ）１０６と、近似ノイズ確率モデル３２５を格納したメモリ１１２に加え、さらに、
近似ノイズ確率モデル３８０を生成する近似ノイズ確率モデル生成部３５０、
を有する画像処理装置の構成を示している。
近似ノイズ確率モデル生成部３５０は、
ノイズ確率モデル３５２を生成するノイズシミュレーション部３５１と、
ノイズ確率モデル３５２から近似ノイズ確率モデル３８０を生成する混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似部３５３を有する。
なお、近似ノイズ確率モデル生成部３５０は、撮像装置内に備えた構成としてもよいが、独立した例えばＰＣ等の外部装置に備えた構成としてもよい。
【０１１２】
以下では、図１１に示す近似ノイズ確率モデル生成部３５０を備えた画像処理装置の構成に従って、各処理部の実行する処理の詳細について説明する。
【０１１３】
［４．近似ノイズ確率モデル生成部の処理について］
まず、近似ノイズ確率モデル３８０を生成する近似ノイズ確率モデル生成部３５０の実行する処理について説明する。
【０１１４】
ノイズシミュレーション部３５１はノイズの含まれていない理想的な画素値に対して、撮像素子において発生する各種のノイズを重畳した画像を仮想的に生成し、さらに、このノイズ重畳画像を用いて撮像素子のノイズ確率モデルを算出し、撮像素子のノイズ確率モデル３５２を出力する。
【０１１５】
ノイズシミュレーション部３５１では撮像素子、具体的には、例えば図１に示す撮像装置の撮像素子であるＣＣＤイメージセンサ１０３において発生すると推定される各種ノイズ要因に応じたノイズをシミュレーションする。シミュレーションには、例えば、数式によってモデル化されたノイズや、実測により得られたノイズデータに基づいてモデル化されたノイズなどが利用可能である。
【０１１６】
撮像素子が取り得る全てのノイズの含まれていない画素値に対して、ノイズシミュレーション部３５１では、様々なノイズ発生要因に対応するノイズを重畳する処理を十分な回数行う。
このようにすることで、ある一つのノイズの含まれていない画素値に対して、複数のノイズの含まれている画素値が得られる。
【０１１７】
ノイズの含まれていない画素値と、ノイズが含まれている画素値、これらの組み合わせが明らかなので、逆に、ある一つのノイズの含まれている画素値に対して複数のノイズの含まれていない画素値を得ることもできる。
この、複数のノイズの含まれていない画素値の発生頻度をヒストグラムにしたものを用いてノイズ確率モデルを生成する。
【０１１８】
ヒストグラムの発生頻度の総和が１になるように正規化したものが、先に説明した図３に示される撮像素子のノイズ確率モデルの一部となる。
この撮像素子のノイズ確率モデルの一部は、先に説明した（式１）の尤度Ｐ（Ｘ｜Ａ）、すなわち、ノイズ無し画素値Ａが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率である尤度Ｐ（Ｘ｜Ａ）を求めることに相当する。
【０１１９】
様々なノイズの含まれている画素値に対して同様の処理を行うと、図４に示される撮像素子のノイズ確率モデルが得られる。
ノイズ確率モデル３５２は、先に、図４を参照して説明した３次元データに相当する。
すなわち、
ノイズ無し画素の画素値と、
ノイズ有り画素の画素値と、
各画素値の存在確率、
これらの対応関係情報を持つモデルである。
【０１２０】
このように、例えば図４に示す対応関係データを持つノイズ確率モデル３５２は、撮像素子において発生する各種のノイズをシミュレーションによって仮想的に重畳した画像を解析することによって生成できる。
このノイズ確率モデル３５２は、
ノイズ無し画素値Ａが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率である尤度Ｐ（Ｘ｜Ａ）を求めることに相当する。
すなわち、先に説明した（式１）、（式２）に含まれる尤度Ｐ（Ｘ｜Ａ）、尤度Ｐ（Ｘ｜Ｂ）を求めることに相当する。
【０１２１】
次に、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似部３５３は、ノイズ確率モデル３５２に対して、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を用いてデータサイズを圧縮し、近似ノイズ確率モデル３８０を出力する。
【０１２２】
ノイズ確率モデル３５２は、ノイズ有り画素の画素値Ｘの値が異なる複数の尤度Ｐ（Ｘ｜Ａ）から成り立ち、混合ガウスモデル近似部３５３は、それぞれの尤度Ｐ（Ｘ｜Ａ）を個別に近似する。
【０１２３】
なお、この近似処理は、先に説明した（式３）に従った混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して、尤度Ｐ（Ｘ｜Ａ）を変換する処理に相当する。
【０１２４】
ただし、（式３）に従った混合ガウスモデル近似に適用するパラメータｗｉ，μｉ，σｉ、すなわち、
ｗｉ：ｉ番目の正規関数の重み、
μｉ，σｉ：ｉ番目の正規分布の平均と標準偏差、
これらのパラメータの最適解を解析的に求めることは困難である。
【０１２５】
そこで、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似部３５３は、繰り返し処理によって準最適解を求める手法であるＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを用いる。
【０１２６】
ＥＭアルゴリズムは、Ｅ−ｓｔｅｐ、Ｍ−ｓｔｅｐと呼ばれる処理を繰り返し行って、徐々に混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）のパラメータを求める処理である。
【０１２７】
ノイズシミュレーション部３５１で、ある一つのノイズの含まれている画素値に対して複数のノイズの含まれていない画素値がＭ個生成されたとし、Ｍ個の画素値をｘｋと表す。
ここでｋはインデックスであり１〜Ｍの値を取る。
本実施例におけるＥ−Ｓｔｅｐを、以下の（式６）に示す。
【０１２８】
【数６】
・・・・・（式６）
【０１２９】
上記（式６）において、
ｉ、ｊは近似に用いられる正規分布のインデックス、
を表す。
【０１３０】
さらに、本実施例におけるＭ−Ｓｔｅｐは、以下の（式７）で示される。
【０１３１】
【数７】
・・・・・（式７）
【０１３２】
なお、パラメータｗｉ，μｉ，σｉの初期値についてはｋ−ｍｅａｎｓ等の適当なクラスタリング手法により求めれば良い。
【０１３３】
なお、ＥＭアルゴリズムの詳細については、様々な文献でその手法が述べられている。
例えば以下の文献に詳しい説明が記載されている。。
「Ｇｅｏｆｆｒｅｙ Ｊ．ＭｃＬａｃｈｌａｎ，Ｔｈｒｉｙａｍｂａｋａｍ Ｋｒｉｓｈｎａｎ ，"Ｔｈｅ ＥＭ Ａｌｇｏｒｉｔｈｍ ａｎｄ Ｅｘｔｅｎｓｉｏｎｓ （Ｗｉｌｅｙ Ｓｅｒｉｅｓ ｉｎ Ｐｒｏｂａｂｉｌｉｔｙ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ）"，Ｗｉｌｅｙ Ｓｅｒｉｅｓ ｉｎ Ｐｒｏｂａｂｉｌｉｔｙ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ ２００８．」
「Ｊ． Ａ． Ｂｉｌｍｅｓ，"Ａ Ｇｅｎｔｌｅ Ｔｕｔｏｒｉａｌ ｏｆ ｔｈｅ ＥＭ Ａｌｇｏｒｉｔｈｍ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｐａｒａｍｅｔｅｒ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ ａｎｄ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ"，Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＴＲ−９７−０２１，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｉｎｓｔｉｔｕｔｅ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｄｉｖｉｓｉｏｎ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ ａｔ Ｂｅｒｋｅｌｅｙ， Ａｐｒｉｌ １９９８．」
【０１３４】
上述したように、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似部３５３は、
ノイズ確率モデル３５２に対して、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを用いて、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似に適用するパラメータを算出する。
算出したパラメータは、ノイズ確率モデル３５２のデータサイズを圧縮したものであり、近似ノイズ確率モデル３８０として出力される。
【０１３５】
混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似部３５３の実行する処理、すなわち、近似ノイズ確率モデル３８０の生成処理は、先に説明した（式３）に従った混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して、尤度Ｐ（Ｘ｜Ａ）を変換する処理に相当する。
【０１３６】
なお、この近似ノイズ確率モデル３８０の算出処理は、先に説明した（式４）、（式５）において、
（式１）、（式２）に示す尤度Ｐ（Ｘ｜Ａ）、Ｐ（Ｘ｜Ｂ）に対応する以下の（式８）に示すデータを算出することに相当する。
【０１３７】
【数８】
・・・（式８）
【０１３８】
このようにして、生成された近似ノイズ確率モデル３８０は、画像処理装置のメモリ１１２に格納される。
【０１３９】
前述したように、この近似ノイズ確率モデル生成部３５０は、例えば図１に示す画像処理装置内に備える構成としてもよいし、他の外部の情報処理装置、例えばＰＣ等によって構成してもよい。
【０１４０】
ただし、近似ノイズ確率モデル生成部３５０を外部の情報処理装置に構成した場合は、その結果として得られる近似ノイズ確率モデル３８０を図１に示す撮像装置等の画像処理装置のメモリ１１２に入力して格納する。
【０１４１】
図１、図１１に示す画像処理装置の信号処理部（ＤＳＰ）１０６は、
（１）メモリ１１２に格納された近似ノイズ確率モデル３８０、
（２）入力画像（例えば図１１に示すＲ画像２１１）に対する局所画素選択部３２１の処理と、局所平均分散算出部３２２の処理によって生成された近似画像確率モデル３４０、
これらの確率モデルを利用したベイズ推定処理によってノイズ低減処理を実行する。
【０１４２】
［５．近似画像確率モデルの生成処理について］
次に、図１１に示す画像処理装置の信号処理部（ＤＳＰ）１０６において実行する近似画像確率モデル３４０の生成処理について説明する。
【０１４３】
なお、先に説明したように、信号処理部（ＤＳＰ）１０６に対する入力画像データは、図１に示す撮像装置の撮像デバイスであるＣＣＤイメージセンサ１０３からの出力に対して、相関２重サンプリング回路（ＣＤＳ）１０４でリセットノイズが除去され、さらにＡ／Ｄ変換部１０５でデジタルデータに変換された画像である。
【０１４４】
この画像は、各画素にＲＧＢいずれかの色に対応する画素値のみが設定された先に図２を参照して説明したモザイク画像である。
このモザイク画像が、信号処理部（ＤＳＰ）１０６内の画像メモリに一旦、格納される。
信号処理部（ＤＳＰ）１０６は、モザイク画像２０１から、各色単位の画像を抜き出して、処理を行う。本例では、図１０に示すように、
Ｒ画像２１１、
Ｇｒ画像２１２、
Ｇｂ画像２１３、
Ｂ画像２１４、
これらの４つのノイズ低減前（ＮＲ前）の各色画像に対して個別にノイズ低減処理を行う。
図１１には、Ｒ画像２１１に対する処理を代表例として示している。
【０１４５】
画像確率モデル生成部３２０の局所画素選択部３２１は、ノイズ低減処理の対象画素である注目画素位置の画素値と周辺画素位置の画素値を比較し、周辺画素から、注目画素の画素値との差分が予め設定した閾値以下の周辺画素を選択する。
なお、閾値は被写体に応じて動的に変更してもよい。
周辺画素位置には注目画素位置も含まれる。なお、画素値選択処理を行う局所領域は、例えば図７を参照して説明したようなｎ×ｎ画素（ｎは５，７，９，１１...）等、ノイズ低減処理対象画素である注目画素を含む予め既定した局所領域である。
【０１４６】
局所画素選択部３２１で選択された画素値は、局所平均分散算出部３２２へ送られる。
局所平均分散算出部３２２は、局所領域における統計量として、画素値の平均値と分散値を算出する。
これらの統計量は局所領域における画像の確率モデルを正規分布で近似したものである。
この結果が、近似画像確率モデル３４０として出力される。
【０１４７】
局所平均分散算出部３２２の実行する注目画素を含む局所領域における統計量の算出、すなわち、画素値の平均値と分散値の算出処理について説明する。
撮像素子のノイズの内、フォトン（光子）の数に影響を受けるノイズとして支配的なものは光ショットノイズである。
光ショットノイズは、画素値に対してノイズの分散値が線形比例することが知られている。そこで撮像素子の各種ノイズを足し合わせたノイズの分散を、以下に示す（式９）で近似する。以下に示す式は、画素位置ｓにおけるノイズ分散σｎ２（ｓ）を算出する式である。
【０１４８】
【数９】
・・・（式９）
【０１４９】
上記（式９）において、
Ｚ（ｓ）は画素位置ｓにおけるノイズの含まれていない画素値を示す。
ｄは画素値に影響を受けるノイズに由来する係数であり、
ｅは画素値に影響を受けないノイズに由来する係数である。
【０１５０】
上記（式９）は撮像素子のノイズ確率モデルを平均が０の単一のガウス関数で近似したものに相当する。
【０１５１】
さらに、ノイズの含まれていない理想的な画素値が不明であることから、上記（式９）の、画素値Ｚとしてノイズの含まれた注目画素位置の画素値、もしくは注目画素位置の画素値の低周波成分（低周波フィルタによる簡易的なノイズ除去が行われた画素値）を用いる。
【０１５２】
このように、（式９）は、注目画素位置におけるノイズの正確なモデルではないが、画素の選択処理に用いる用途としては十分な精度を持つ。
上記の（式９）を利用して画素値を選択し、単一の正規分布で画像の確率モデルを近似する式を、以下の（式１０）に示す。
【０１５３】
【数１０】
・・・・・（式１０）
【０１５４】
上記（式１０）において、
μは正規分布の平均値、
ｓは注目画素の画素位置、
σは正規分布の標準偏差、
ｔは画素位置ｓを原点とした局所領域座標系における近傍画素位置、
Ｚ（ｓ）は画素位置ｓの画素値、
Ｚ（ｓ＋ｔ）は画素位置ｓ＋ｔの画素値、
Ｚｏｆｆｓｅｔは画素値に影響されないノイズの期待値、
を表す。
ｈは画素値の選択範囲を調整する係数である。
εはアルゴリズムの実行に適用する変数であり、Ｚの自乗平均値算出用の変数である。
Ｌｏｃａｌは、ノイズ低減対象画素を含む局所領域を示す。
【０１５５】
上記の（式１０）は、以下の処理を示している。
まず、初期化処理として、
注目画素位置ｓの平均値：μ（ｓ）＝０、
変数：ε＝０、
インデックス：ｉ＝０、
これらの初期設定を行う。
【０１５６】
その後、
ｆｏｒ以下のアルゴリズムを、局所領域（Ｌｏｃａｌ）内の画素値Ｚ（ｓ＋ｔ）を利用して実行する。
なお、このアルゴリズムで利用する局所領域の画素は、局所画素選択部３２１において選択された画素、すなわちノイズ低減対象画素とした注目画素の近傍にある画素であり、かつ、注目画素の画素値との差分が予め規定した閾値以下の画素値を持つ選択画素である。
【０１５７】
なお、この画素選択処理は、上記（式１０）中のｉｆ文の行の処理で実行している。この画素選択処理は、先に説明した（式９）に従って近似されるノイズ分散を利用した画素選択処理である。
このように、（式１０）に示すアルゴリズムは局所画素選択部３２１と、局所平均分散算出部３２２の実行する処理内容を合わせて記述したアルゴリズムに相当する。
【０１５８】
（式１０）に示すｆｏｒ以下のアルゴリズムを実行して、
最終的に、
注目画素位置ｓ対応の局所領域の選択画素に基づいて平均値μ（ｓ）と、分散σ（ｓ）２を算出する。
【０１５９】
上記（式１０）に従って、
ノイズ低減対象の注目画素対応の平均値と分散を算出し、画像の各画素対応の平均値と分散からなるデータが近似画像確率モデル３４０として出力される。
【０１６０】
近似画像確率モデル３４０としての平均値と分散は、例えば先に説明した（式４）、（式５）において、（式１）、（式２）に示すノイズ無し画素値Ａ、Ｂが発生する確率である事前確率Ｐ（Ａ）、Ｐ（Ｂ）に対応する以下の（式１１）に示すデータを算出する際に利用される。
【０１６１】
【数１１】
・・・（式１１）
【０１６２】
次に、ベイズ（Ｂａｙｅｓ）推定部３２３の処理について説明する。
ベイズ（Ｂａｙｅｓ）推定部３２３では、
入力画像（例えば図に示すＲ画像２１１）に対する局所画素選択部３２１の処理と、局所平均分散算出部３２２の処理によって生成された近似画像確率モデル３４０と、
予め算出され、メモリ１１２に格納された近似ノイズ確率モデル３８０を利用して、入力画像（例えば図に示すＲ画像２１１）に対するノイズ除去処理を実行する。
このノイズ除去処理は、前述した（式５）に従った処理として実行する。
【０１６３】
すなわち、前述の（式５）に従ったノイズの含まれた画素値Ｘ（ｓ）からノイズの含まれていない画素値Ｙ（ｓ）を算出する。
この算出処理には、
（１）近似ノイズ確率モデル３８０に相当する先に説明した（式８）、
（２）近似画像確率モデル３４０に相当する先に説明した（式１１）、
これらの算出値が利用される。
【０１６４】
これらのデータと、各注目画素位置ｓのノイズ有り画素の画素値Ｘ（ｓ）を入力して（式５）に従って、注目画素位置ｓのノイズ無し画素の画素値Ｙ（ｓ）を算出する。
この画素値算出処理は入力される全てのノイズの含まれた画素（注目画素）の画素値に対して行われ、最終的に、ノイズ除去後の画像、例えば図１０、図１１に示すＲ画像（ＮＲ後）２２１を生成して出力する。
この他の色画像についても同様の処理が実行され、各色画像（Ｒ，Ｇｒ，Ｇｂ，Ｂ ｐｌａｎｅ）のノイズ低減画像２２１〜２２４を生成して出力する。
【０１６５】
このように、本開示の処理によって、例えば図２のカラーフィルタ配列を用いた単板式カラー撮像素子によって撮像されたモザイク画像から、ノイズを除去した画像を生成することができる。
【０１６６】
［６．実施例バリエーション］
前述の実施例は近似ノイズ確率モデルと近似画像確率モデルを用いたノイズ除去処理であるが、十分な計算資源がある場合には、近似処理を省略しても良い。
つまり、図１０、図１１に示す近似ノイズ確率モデル３８０の代わりに、図１１に示すノイズ確率モデル３５２を用いた構成としてもよい。
また、図１０、図１１に示す近似画像確率モデル３４０の代わりに画素選択処理を行わずに作られた局所領域の画素値のヒストグラムを用いた構成としてもよい。
また、近似されたノイズ除去処理を表す（式５）の代わりに（式１）を用いた処理を行う構成としてもよい。
【０１６７】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１６８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する画像処理装置。
【０１６９】
（２）前記画像確率モデル生成部は、ノイズ低減処理対象画素を含む局所領域から、ノイズ低減処理対象画素との画素値差分が既定の閾値以下の画素を参照画素として選択する局所画素選択部と、前記局所画素選択部において選択された参照画素の平均値と分散値を算出する局所平均分散算出部を有し、前記画像確率モデルは、前記局所平均分散算出部の算出値からなる近似画像確率モデルである前記（１）に記載の画像処理装置。
【０１７０】
（３）前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルである前記（１）〜（２）いずれかに記載の画像処理装置。
（４）前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、前記、混合ガウスモデル近似のパラメータは、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを適用して算出したパラメータである前記（１）〜（３）いずれかに記載の画像処理装置。
【０１７１】
（５）前記メモリに格納されたノイズ確率モデルは、撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するシミュレーション処理データを適用して生成したノイズ確率モデルである前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記画像確率モデル生成部は、単一の正規分布からなる近似画像確率モデルを生成し、前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、前記ベイズ推定部は、前記近似画像確率モデルと、前記近似ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１７２】
（７）前記画像処理装置は、さらに、前記ノイズ確率モデルを生成するノイズ確率モデル生成部を有し、前記ノイズ確率モデル生成部は、撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するノイズシミュレーション処理部と、前記ノイズシミュレーション処理部の生成データに対する混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似処理によって近似ノイズ確率モデルを生成する混合ガウスモデル近似部を有する前記（１）〜（６）いずれかに記載の画像処理装置。
【０１７３】
（８）撮像素子を有する撮像部と、
前記撮像部から入力する撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する撮像装置。
【０１７４】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１７５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１７６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１７７】
以上、説明したように、本開示の一実施例の構成によれば、撮影画像に含まれるノイズの低減処理を行う装置、方法が実現される。
具体的には、撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、画像確率モデルと、ノイズ確率モデルを適用したベイズ推定処理により、撮影画像のノイズを低減したノイズ低減画像を生成する。
本開示の構成によれば、撮像素子のノイズ特性と画像の領域単位の特徴を考慮した高性能なノイズ低減処理を実現することができる。さらに、近似処理によって必要なデータ量の削減、計算量の削減、高速処理を実現することができる。
【符号の説明】
【０１７８】
１０１ レンズ
１０２ 絞り
１０３ ＣＣＤイメージセンサ
１０４ 相関２重サンプリング回路
１０５ Ａ／Ｄコンバータ
１０６ 信号処理部（ＤＳＰ）
１０７ タイミングジェネレータ
１０８ Ｄ／Ａコンバータ
１０９ ビデオエンコーダ
１１０ 表示部（ビデオモニタ）
１１１ ＣＯＤＥＣ
１１２ メモリ
１１３ ＣＰＵ
１１４ 入力デバイス
３２０ 画像確率モデル生成部
３２１ 局所画素選択部
３２２ 局所平均分散算出部
３２３ ベイズ推定部
３４０ 近似画像確率モデル
３５０ 近似ノイズ確率モデル生成部
３５１ ノイズシミュレーション部
３５２ ノイズ確率モデル
３５３ ＧＭＭ近似部
３８０ 近似ノイズ確率モデル
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像に含まれるノイズ低減処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像素子の画素数が急激に増加、いわゆる高画素化が進んでいる。この結果、個々の画素については微細化が進み、この微細化に伴うノイズ量の増加が大きな問題となっている。
画像撮影時に撮像素子の各画素に発生するノイズ低減処理については、従来から様々な提案がなされている。しかし、昨今の微細化された画素を持つ撮像素子に対しては、従来のノイズ低減手法を適用しても十分な効果が発揮されないという問題がある。
【０００３】
従来のノイズ低減手法が上手く動作しない理由の１つに、ノイズのモデル化が不十分であるということが考えられる。撮像素子には様々なノイズ発生要因があり、それぞれの要因に応じて発生するノイズは異なる振る舞いを示す。
従来のノイズ低減技術では、ノイズを加法性のガウスノイズとしてモデル化することが多く、撮像素子のノイズモデルとしては大雑把な近似となっていた。
【０００４】
従来のノイズ低減処理には、例えばメディアンフィルタやＷｉｅｎｅｒフィルタのような古典的なフィルタ適用処理を始めとして、様々な手法がある。
また、近年、広く用いられているノイズ低減手法としては、バイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタを適用したノイズ低減手法がある。
なお、バイラテラル（Ｂｉｌａｔｅｒａｌ）フィルタを適用したノイズ低減手法については、例えば非特許文献１（Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｒ．Ｍａｎｄｕｃｈｉ，"Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９８）に記載がある。
【０００５】
また、ＮＬ−Ｍｅａｎｓ手法も多く利用される。
ＮＬ−Ｍｅａｎｓ手法については、例えば非特許文献２（Ａ．Ｂｕａｄｅｓ，Ｂ．Ｃｏｌｌ，ａｎｄ Ｊ．Ｍ．Ｍｏｒｅｌ，"Ａ Ｎｏｎ Ｌｏｃａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００５）に記載がある。
これら２つのノイズ低減方法は、ノイズそのものの素性についての詳細な考察は無く、処理内容としては、加法性のガウスノイズを念頭に置いた処理となっている。
【０００６】
一方、非特許文献３（Ｈ．Ｐｈｅｌｉｐｐｅａｕ，ｅｔ ａｌ．，"Ｓｈｏｔ Ｎｏｉｓｅ Ａｄａｐｔｉｖｅ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２００８）や、
特許文献１（特開２０１１−１０１３５９号公報：「イメージセンサの統合ノイズモデリング方法及びそれを利用するノイズ低減方法」）は、撮像素子のノイズの振る舞いを考慮に入れたノイズ低減手法を提案している。
【０００７】
上記非特許文献３は、撮像素子のノイズの内、光ショットノイズを考慮したノイズ低減処理を開示している。また、上記特許文献１は、暗電流ノイズ、光ショットノイズ、固定パターンノイズを考慮したノイズ低減手法を提案している。
【０００８】
これらの文献に記載された処理は、撮像素子で撮影された画像に対しては、ノイズの振る舞いを考慮していない処理よりも効果的なノイズ低減処理が可能となる。
しかし、上記非特許文献３も、上記特許文献１もノイズ低減処理のためのフィルタとしては、Ｂｉｌａｔｅｒａｌフィルタを用いていることから、ノイズとしてはガウスノイズを仮定した処理となっている。
【０００９】
上記特許文献１の場合、個々のノイズが全てガウスノイズで近似され、それらを統合したものとして、ある一つのガウスノイズに近似される。
しかし、実際の撮像素子におけるノイズの振る舞いはガウスノイズに等しいものではなく、結果として実際のノイズと、ガウスノイズとの誤差がノイズ除去性能を劣化させるという問題があった。
【００１０】
撮像素子に発生するノイズの一つのノイズとして知られるＲａｎｄｏｍ Ｔｅｌｅｇｒａｐｈノイズは、例えば非特許文献４（Ｘ．Ｗａｎｇ，Ｐ．Ｒ．Ｒａｏ，Ａ．Ｍｉｅｒｏｐ ａｎｄ Ａ．Ｊ．Ｐ．Ｔｈｅｕｗｉｓｓｅｎ，"Ｒａｎｄｏｍ ｔｅｌｅｇｒａｐｈ ｓｉｇｎａｌ ｉｎ ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ ｐｉｘｅｌｓ"，Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ Ｔｅｃｈｎｉｃａｌ Ｄｉｇｅｓｔ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅ Ｍｅｅｔｉｎｇ，２００６．）で示されるようにガウスノイズでは無い。
【００１１】
さらに、特許文献２（特開２００６−３１０９９９号公報：「画像処理装置および方法、並びにプログラム」）では、ノイズを特定のパターンに近似することなく任意の確率密度関数として扱った処理について開示しており、その点については前述の手法と比べて優れている。
しかし、この特許文献２に記載の構成は、ノイズ低減処理を、ヒストグラムマッチングを用いて行う点に問題がある。
【００１２】
ノイズと本来の撮像された画像信号が含まれた画像のヒストグラムと理想的なノイズのヒストグラムをマッチングさせ、本来の画像信号成分を抜き出すという処理であり、ヒストグラムマッチングの前後で画像に含まれる画素値の順番が変化しないという処理になっている。
【００１３】
しかし、実際にはノイズが含まれていない画像信号にノイズを重畳した場合、画素値の順序は変わり得るので、実際の現象とは一致しない処理となる。その為、ノイズ除去性能が十分に発揮されないという問題があった。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２０１１−１０１３５９号公報
【特許文献２】特開２００６−３１０９９９号公報
【非特許文献】
【００１５】
【非特許文献１】Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｒ．Ｍａｎｄｕｃｈｉ，"Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９８
【非特許文献２】Ａ．Ｂｕａｄｅｓ，Ｂ．Ｃｏｌｌ，ａｎｄ Ｊ．Ｍ．Ｍｏｒｅｌ，"Ａ Ｎｏｎ Ｌｏｃａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２００５
【非特許文献３】Ｈ．Ｐｈｅｌｉｐｐｅａｕ，ｅｔ ａｌ．，"Ｓｈｏｔ Ｎｏｉｓｅ Ａｄａｐｔｉｖｅ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２００８
【非特許文献４】Ｘ．Ｗａｎｇ，Ｐ．Ｒ．Ｒａｏ，Ａ．Ｍｉｅｒｏｐ ａｎｄ Ａ．Ｊ．Ｐ．Ｔｈｅｕｗｉｓｓｅｎ，"Ｒａｎｄｏｍ ｔｅｌｅｇｒａｐｈ ｓｉｇｎａｌ ｉｎ ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ ｐｉｘｅｌｓ"，Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ Ｔｅｃｈｎｉｃａｌ Ｄｉｇｅｓｔ，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅ Ｍｅｅｔｉｎｇ，２００６．
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本開示は、例えば上記の問題に鑑みてなされたものであり、画像に含まれるノイズを効果的に除去、または低減する処理を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１７】
本開示の一実施例の構成では、ノイズの振る舞いを精緻な確率モデルとして表現することで、高性能なノイズ低減処理を実現する。さらに、確率モデルのデータサイズを圧縮し、高速なノイズ低減処理を可能とし、計算資源の少ない環境であっても効果的なノイズ低減を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
本開示の第１の側面は、
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する画像処理装置にある。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記画像確率モデル生成部は、ノイズ低減処理対象画素を含む局所領域から、ノイズ低減処理対象画素との画素値差分が既定の閾値以下の画素を参照画素として選択する局所画素選択部と、前記局所画素選択部において選択された参照画素の平均値と分散値を算出する局所平均分散算出部を有し、前記画像確率モデルは、前記局所平均分散算出部の算出値からなる近似画像確率モデルである。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルである。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、前記、混合ガウスモデル近似のパラメータは、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを適用して算出したパラメータである。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記メモリに格納されたノイズ確率モデルは、撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するシミュレーション処理データを適用して生成したノイズ確率モデルである。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記画像確率モデル生成部は、単一の正規分布からなる近似画像確率モデルを生成し、前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、前記ベイズ推定部は、前記近似画像確率モデルと、前記近似ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記ノイズ確率モデルを生成するノイズ確率モデル生成部を有し、前記ノイズ確率モデル生成部は、撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するノイズシミュレーション処理部と、前記ノイズシミュレーション処理部の生成データに対する混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似処理によって近似ノイズ確率モデルを生成する混合ガウスモデル近似部を有する。
【００２５】
さらに、本開示の第２の側面は、
撮像素子を有する撮像部と、
前記撮像部から入力する撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する撮像装置。
【００２６】
さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成処理と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルと、前記画像確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定処理を実行する画像処理方法にある。
【００２７】
さらに、本開示の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成処理と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルと、前記画像確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定処理を実行させるプログラムにある。
【００２８】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００２９】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３０】
本開示の一実施例の構成によれば、撮影画像に含まれるノイズの低減処理を行う装置、方法が実現される。
具体的には、撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、画像確率モデルと、ノイズ確率モデルを適用したベイズ推定処理により、撮影画像のノイズを低減したノイズ低減画像を生成する。
本開示の構成によれば、撮像素子のノイズ特性と画像の領域単位の特徴を考慮した高性能なノイズ低減処理を実現することができる。さらに、近似処理によって必要なデータ量の削減、計算量の削減、高速処理を実現することができる。
【図面の簡単な説明】
【００３１】
【図１】画像処理装置の一実施例である撮像装置の構成例について説明する図である。
【図２】撮像素子の構成と撮影画像の例について説明する図である。
【図３】本開示の画像処理装置において用いられる撮像素子のノイズ確率モデルの一部を示す図である。
【図４】図３に示すノイズ無し画素値（０〜２５５）と、各画素値の存在確率との対応関係データに、さらに、ノイズ有り画素値（０〜２５５）の軸を設定した３次元の確率密度関数について説明する図である。
【図５】画像が撮影される前の事前確率Ｐ（Ａ）、すなわち、ノイズの含まれていない画素値Ａが発生する確率Ｐ（Ａ）を示すグラフについて説明する図である。
【図６】被写体の輝度が一様である（画素値＝ａ）という事前知識がある場合、ノイズの含まれていない画素値Ａが発生する確率Ｐ（Ａ）を示す図である。
【図７】明、暗の２つに分割されたエッジが含まれる撮影画像のある局所領域（７×７画素）の例について説明する図である。
【図８】図７に示す画像の画素値のヒストグラムについて説明する図である。
【図９】単一のピークとなるように局所領域の中から注目画素位置の画素値とかけ離れた画素値を取り除いてから確率モデルを作る方法について説明する図である。
【図１０】ノイズ低減処理を実行するための詳細構成例について説明する図である。
【図１１】ノイズ低減処理を実行するための詳細構成例について説明する図である。
【発明を実施するための形態】
【００３２】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示の画像処理装置の全体構成と処理について
２．本開示の画像処理装置において実行するノイズ低減処理について
３．撮像装置における信号処理部（ＤＳＰ）の構成と処理例について
４．近似ノイズ確率モデル生成部の処理について
５．近似画像確率モデルの生成処理について
６．実施例バリエーション
７．本開示の構成のまとめ
【００３３】
［１．本開示の画像処理装置の全体構成と処理について］
まず、本開示の画像処理装置の一実施例としての撮像装置（デジタルカメラ）の全体構成と処理について、図１を参照して説明する。
【００３４】
撮像装置は、図１に示すように、撮像部としてのレンズ１０１、絞り１０２、ＣＣＤイメージセンサ１０３、さらに、相関２重サンプリング回路（ＣＤＳ）１０４、Ａ／Ｄコンバータ１０５、信号処理部（ＤＳＰ）１０６、タイミングジェネレータ（ＴＧ）１０７、Ｄ／Ａコンバータ１０８、ビデオエンコーダ１０９、表示部（ビデオモニタ）１１０、ＣＯＤＥＣ１１１、メモリ１１２、ＣＰＵ１１３、入力デバイス（Ｉｎｐｕｔ Ｄｅｖｉｃｅ）１１４を有する。
【００３５】
入力デバイス（Ｉｎｐｕｔ Ｄｅｖｉｃｅ）１１４は、カメラ本体にある録画ボタンなどの操作ボタン類によって構成される。また、信号処理部（ＤＳＰ）１０６は信号処理用プロセッサと、プロセッサによる信号処理の対象となる画像やパラメータを記憶する記憶部（ＲＡＭ）を備えた構成を持つ。信号処理用プロセッサが記憶部に格納された画像データに対してあらかじめプログラムされた画像処理を行う。以下の実施例において説明する画像のノイズ低減処理は、主にこの信号処理部（ＤＳＰ）１０６において実行する処理である。
【００３６】
撮像部を構成するレンズ１０１、絞り１０２等の光学系を通過して撮像素子であるＣＣＤイメージセンサ１０３に到達した入射光は、まずＣＣＤ撮像面上の各画素単位の受光素子に到達し、受光素子での光電変換によって各画素単位で受光量に応じた電気信号に変換される。
【００３７】
ＣＣＤイメージセンサ１０３から出力される各画素単位の電気信号は、相関２重サンプリング回路（ＣＤＳ）１０４に入力される。相関２重サンプリング回路（ＣＤＳ）１０４では、ＣＣＤイメージセンサ１０３の出力信号に含まれるノイズの主成分となるリセットノイズの除去処理が行われる。
相関２重サンプリング回路（ＣＤＳ）１０４は、ＣＣＤイメージセンサ１０３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを除去する。具体的には、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりリセットノイズを除去する。
【００３８】
なお、この相関２重サンプリング回路（ＣＤＳ）１０４において実行されるノイズ除去処理は、画像に含まれるノイズの一部を除去するのみであり、画像にはまだ多くのノイズが含まれる。残留ノイズの低減処理は後段の信号処理部（ＤＳＰ）１０６において実行される。
信号処理部（ＤＳＰ）１０６において実行するノイズ低減処理については、後段で詳細に説明する。
【００３９】
相関２重サンプリング回路（ＣＤＳ）１０４の出力は、Ａ／Ｄコンバータ１０５に入力され、デジタルデータに変換されて、信号処理部（ＤＳＰ）１０６に入力され、信号処理部（ＤＳＰ）１０６内の記憶部（ＲＡＭ）に格納される。
【００４０】
なお、信号処理部（ＤＳＰ）１０６内の記憶部（ＲＡＭ）に格納された撮影画像は、撮像素子であるＣＣＤイメージセンサ１０３の色配列に従った画像データ、すなわち、例えば図２に示すような各画素単位でＲＧｒＧｂＢのいずれかの画素値が設定されたモザイク画像となる。
図２に示す色配列は、ベイヤ配列と呼ばれる配列であり、多くのデジタルカメラにおいて利用されている配列である。
【００４１】
信号処理部（ＤＳＰ）１０６内の記憶部（ＲＡＭ）に格納される撮影画像は、このような色配列に従って、各画素単位で１つの色に対応する画素値が設定されたモザイク画像となる。
なお、図２に示す色配列（ベイヤ配列）は色配列の一例であり、本開示の画像処理装置は、この他の配列の撮像画像に対しても適用可能である。
【００４２】
信号処理部（ＤＳＰ）１０６は、信号処理部（ＤＳＰ）１０６内の記憶部（ＲＡＭ）に格納された例えば図２に示すモザイク画像に対する信号処理を行う。具体的には、後述する本開示のノイズ低減処理を行う。さらに、各画素にＲＧＢすべての画素値を設定するデモザイク処理やガンマ補正、ホワイトバランス調整など、一般的な画像処理を実行して、表示用および記憶用の画像を生成する。
【００４３】
なお、撮像装置における画像撮影状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ（ＴＧ）１０７が信号処理系を制御する。
信号処理部（ＤＳＰ）１０６へも一定のレートで各画像を構成する画素信号のストリームデータが入力される。信号処理部（ＤＳＰ）１０６は、このストリーム信号を入力して、ノイズ低減処理を含む様々な画像処理を実行する。その後、画像データはＤ／Ａコンバータ１０８、もしくはＣＯＤＥＣ１１１、あるいはその両方に出力される。
【００４４】
Ｄ／Ａコンバータ１０８は、信号処理部（ＤＳＰ）１０６から入力する画像データをアナログ信号に変換する。さらに、それをビデオエンコーダ１０９がビデオ信号に変換し、そのビデオ信号を表示部（ビデオモニタ）１１０に出力する。
なお、表示部（ビデオモニタ）１１０はカメラのファインダの役割も担っている。
【００４５】
また、ＣＯＤＥＣ１１１は信号処理部（ＤＳＰ）１０６から出力される画像データに対する符号化処理を行い、符号化された画像データはメモリ１１２に記録される。
メモリ１１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などによって構成される。
【００４６】
［２．本開示の画像処理装置において実行するノイズ低減処理について］
前述したように、図１に示す撮像装置において撮影された画像は、信号処理部（ＤＳＰ）１０６においてノイズ低減処理が実行される。
信号処理部（ＤＳＰ）１０６の具体的な構成と処理について説明する前に、信号処理部（ＤＳＰ）１０６の実行するノイズ低減処理の概要について説明する。
【００４７】
本開示の画像処理装置は、
（Ａ）撮像素子のノイズ確率モデル、
（Ｂ）撮像素子で撮影された画像の確率モデル、
これら２つの確率モデルを利用したノイズ低減処理を実行する。
これら２つの確率モデルを用いて、ベイズ（Ｂａｙｅｓ）推定により撮像素子で撮影された画像に対してノイズ除去処理を行う。
【００４８】
（Ａ）撮像素子のノイズ確率モデルとは、撮像素子の各種ノイズ要因によってノイズが重畳されたある画素値に対する理想画素値、すなわちノイズが含まれていない理想的な画素値の確率を示す確率密度関数である。
（Ｂ）画像の確率モデルとは、ノイズ低減対象とする注目画素位置の画素が取り得る画素値の確率密度関数であり、画素毎に異なる確率密度関数が設定可能である。
【００４９】
ノイズを含む画素の画素値（Ｘ）に対して、ベイズ（Ｂａｙｅｓ）推定に基づいたノイズ除去処理によって得られる画素値（Ｙ）は、以下に示す（式１）で算出される。
【００５０】
【数１】
・・・・・（式１）
【００５１】
上記（式１）において、
Ａ，Ｂはノイズが含まれていない理想的な画素値、
Ｘはノイズが含まれている画素値、
ＹはＸからノイズが除去された画素値、
を表す。
【００５２】
Ｐ（Ｘ｜Ａ）は「尤度」と呼ばれ、
ここでは、ノイズ無し画素値Ａが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率であり、前述の撮像素子の「ノイズ確率モデル」を表す。
Ｐ（Ｘ｜Ｂ）についても同様の「尤度」であり、ノイズ無し画素値Ｂが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率であり、前述の撮像素子の「ノイズ確率モデル」を表す。
Ｐ（Ａ）は事前確率と呼ばれ、ここでは、ノイズ無し画素値Ａが発生する確率であり、前述の「画像の確率モデル」を表す。
Ｐ（Ｂ）についても同様の事前確率であり、ノイズ無し画素値Ｂが発生する確率であり、前述の「画像の確率モデル」を表す。
【００５３】
すなわち、「ノイズ確率モデル」は、あるノイズ無し画素値が発生した場合の、あるノイズ有り画素値が発生する条件付き確率を示す。これは撮像装置、特に撮像素子に依存するデータとなる。
また、「画像の確率モデル」は、各ノイズ無し画素値の発生確率を示す。これは撮影された画像に依存するデータとなる。
【００５４】
なお、「ノイズ確率モデル」に相当する「尤度」は、撮像素子（図１に示すＣＣＤイメージセンサ１０３）のノイズ特性により決定される確率密度関数であり、例えば暗電流ノイズ、光ショットノイズ、固定パターンノイズ、回路ノイズ等の各種ノイズ特性により決定される。
これらの個々のノイズ特性については、従来から研究されており、例えば光ショットノイズについては、画素に入射したフォトン（光子）の数の平方根が光ショットノイズとなることが知られている。
【００５５】
なお、ノイズのモデル化手法については、例えば、以下の非特許文献に記載がある。
（ａ）米本和也、「ＣＣＤ／ＣＭＯＳイメージセンサの基礎と応用」
（ｂ）Ｒ．Ｇｏｗ ｅｔ ａｌ．，"Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｔｏｏｌ ｆｏｒ Ｍｏｄｅｌｉｎｇ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｎｏｉｓｅ Ｐｅｒｆｏｒｍａｎｃｅ"，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｅｌｅｃｔｒｏｎ Ｄｅｖｉｃｅｓ， ２００７
【００５６】
ノイズのモデル化ができるということは、ノイズが含まれていない画素値に対して、ノイズを付加することで、ノイズが含まれている画素値が分かるということである。
この様な、シミュレーションが行えるソフトウェアとして、前述の非特許文献「Ａ Ｃｏｍｐｒｅｈｅｎｓｉｖｅ Ｔｏｏｌ ｆｏｒ Ｍｏｄｅｌｉｎｇ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ Ｎｏｉｓｅ Ｐｅｒｆｏｒｍａｎｃｅ」や、
非特許文献「ＩｍａｇＥｖａｌ Ｃｏｎｓｕｌｔｉｎｇ ＬＬＣのＩｍａｇｅ Ｓｙｓｔｅｍｓ Ｅｖａｌｕａｔｉｏｎ Ｔｏｏｌｂｏｘ」
などが知られている。
【００５７】
本開示の画像処理装置では、モデル化されたノイズを用いて生成した撮像素子の「ノイズ確率モデル」を適用してノイズ低減処理を行う。
【００５８】
図３は、本開示の画像処理装置において用いられる撮像素子のノイズ確率モデルの一部を示す図である。
図３は、あるノイズが含まれた画素の画素値について、元のノイズの含まれていない画素値（ノイズ無し画素値）がどのような値でどのような確率で存在するのかを表す確率密度関数である。
横軸がノイズ無し画素値（０〜２５５）、縦軸が各画素値の存在確率を示している。なお、この存在確率は、撮像素子によって異なるが、図３に示すデータは、１つの典型的なモデル画像に基づくデータである。
【００５９】
図４は、図３に示すノイズ無し画素値（０〜２５５）と、各画素値の存在確率との対応関係データに、さらに、ノイズ有り画素値（０〜２５５）の軸を設定した３次元の確率密度関数である。
図３に示す２次元グラフは、図４に示す３次元グラフを、ある一つのノイズの含まれた画素値についてスライスしたデータに相当する。
【００６０】
ノイズのシミュレーションによって、尤度Ｐ（Ｘ｜Ａ）、すなわち、ノイズ無し画素値Ａが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率は事前に求めることができる。
【００６１】
しかし、前述の（式１）に含まれるもう１つの重要な項である「事前確率Ｐ（Ａ）」、すなわち、ノイズ無し画素値Ａが発生する確率を事前に求めることは難しい。
なぜならば、Ｐ（Ａ）はノイズの含まれていない画素値Ａが発生する確率であり、画素値は被写体によって、いかようにも変化するため、画像が撮影される前には全ての画素値が等しい確率で発生するとしか言えないからである。
【００６２】
図５は画像が撮影される前の事前確率Ｐ（Ａ）、すなわち、ノイズの含まれていない画素値Ａが発生する確率Ｐ（Ａ）を示すグラフである。
ノイズの含まれていない画素値Ａが発生する確率は、全ての画素値（本例では０〜２５５）において等しい確率（１／２５６≒３．９×１０−３）となる。
図５に示す事前確率Ｐ（Ａ）を用いたベイズ（Ｂａｙｅｓ）推定は、最尤推定と等しい。
【００６３】
一般的に最尤推定はベイズ（Ｂａｙｅｓ）推定よりも性能が劣ることが知られている。これは、ノイズの含まれていない画素値Ａが発生する確率Ｐ（Ａ）が、一様ではないという何らかの事前知識がある場合、その情報を推定に用いた方がより精度の高い推定ができるからである。
【００６４】
例えば、被写体の輝度が一様である（画素値＝ａ）という事前知識がある場合、図６に示されるように、ノイズの含まれていない画素値Ａが発生する確率Ｐ（Ａ）はある一つの輝度ａにおいて１となり、それ以外の輝度では０となる。
【００６５】
この場合、ノイズの含まれた画素の画素値Ｘから、ベイズ（Ｂａｙｅｓ）推定を用いてノイズを除去した画素値Ｙを算出する前述した（式１）では、ノイズが重畳された画素値Ｘからａという画素値を推定できる（ただし、Ｐ（Ｘ｜ａ）≠０でなければならない）。
【００６６】
一方、最尤推定では、ノイズの含まれていない画素値Ａが発生する事前確率Ｐ（Ａ）が、図５に示される一様の確率を持つことから、どのようなノイズ確率モデルを用いるかによって、異なる画素値が推定される。
【００６７】
すなわち、ベイズ（Ｂａｙｅｓ）推定では、事前確率の確からしさが、推定性能に大きな影響を与える。
事前確率は主観的に与えることが可能であり、ユーザーが事前知識に従って、自由に設定して良い。
【００６８】
本開示の構成では、撮像されたノイズを含む画像を使って事前確率を生成する。
具体的には、ノイズ低減処理対象とする注目画素位置を含む局所領域の中に存在する画素値のヒストグラムを事前確率として用いる。
【００６９】
撮影画像に含まれる例えば７×７、９×９、１１×１１画素領域程度の狭い局所領域では被写体が極端に変化することは少なく、局所領域内で取り得る画素値の範囲は狭いと推定できる。従って、信号（撮影画像の画素値）にノイズが混ざっていても、信号がノイズに対して支配的であれば、やはり局所領域において取り得る画素値の範囲は狭い。たとえ局所領域内で被写体が変化しても、画素値の分布が明らかに偏る。
【００７０】
図７に、撮影画像のある局所領域（７×７画素）の例を示す。この局所領域は、明、暗の２つに分割されたエッジが含まれる。
暗部領域のノイズが含まれていない理想的な画素値をｂ、明部領域のノイズが含まれていない理想画素値をｃとする。
なお、実際の画素値にはノイズが重畳され、画素値がｂ，ｃからずれている。
【００７１】
図８は、図７に示す局所領域の画素値のヒストグラムである。
横軸が、画素値（０〜２５５）、
縦軸が、出現画素数、
である。
【００７２】
図８から、理解されるように、図７に示す７×７画素の局所領域では、画素値は、
暗い領域のほぼ平均の画素値に相当する画素値＝ｂ近傍の値と、
明るい領域のほぼ平均の画素値に相当する画素値＝ｃ近傍の値、
これらの２つの画素値ｂ，ｃの近傍の値に集中する。
【００７３】
撮像装置（カメラ）で撮影した画像の局所領域において、ヒストグラムの山の幅に影響を及ぼすのは、ノイズと微小な信号の変化である。
そのため、注目画素位置のノイズ無しの画素値は局所領域で発生する頻度の高い画素値である確率が高いことは明らかであり、図８に示す例では、ｂ近傍の値、もしくはｃ近傍の値である確率が高いと言える。
この知識を、ベイズ推定に適用するノイズ無し画素値Ａが発生する確率Ｐ（Ａ）に反映させることは有益である。
【００７４】
さらに、単に局所のヒストグラムをＰ（Ａ）として用いるのではなく、さらに撮像素子のノイズ特性を考慮して、Ｐ（Ａ）の信頼度を上げる方法が有効であると考えられる。
撮像素子のノイズは、画素に入射したフォトン（光子）の数に影響するものと、影響されないものがある。
画素位置によらず同じノイズ特性を持つ複数のノイズ要因が存在するということであり、それらのノイズの期待値は事前に分かっている。
【００７５】
ノイズを含む画素の画素値は、ノイズのない画素値に複数のノイズ要因によるノイズを加算した値である。このノイズの加法性を考慮すると、ノイズが含まれた画素値から事前に分かっているノイズの期待値を引くと、ノイズが含まれていない画素値により近づくことが期待できる。
つまり、局所領域の画素値からノイズの期待値を引いた後にヒストグラムを作ると、より信頼できるＰ（Ａ）、すなわち、事前確率としてのノイズ無し画素値Ａが発生する確率Ｐ（Ａ）を算出することができる。
【００７６】
上述したように、
ノイズ無し画素値Ａが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率である尤度Ｐ（Ｘ｜Ａ）については、ノイズのシミュレーションによって算出することができる。
また、事前確率としてのノイズ無し画素値Ａが発生する確率Ｐ（Ａ）については、
局所領域の画素値からノイズの期待値を引いた後に生成したヒストグラムから信頼できる値を算出することができる。
【００７７】
このように、尤度Ｐ（Ｘ｜Ａ）と確率Ｐ（Ａ）を算出すれば、先に説明した（式１）を適用して、撮影画像に含まれるノイズをノイズ有り画素の画素値Ｘから、ノイズを除去したノイズ無し画素の画素値Ｙを算出することができる。
【００７８】
しかし、前述の（式１）をそのまま使用すると、データ量及び計算量が非常に多くなり、計算資源の貧弱なデジタルカメラなどでは利用することが困難となるという問題がある。
この問題を解決するためには、前述の（式１）を変形して以下に説明する（式２）を利用することが有効である。以下に説明する（式２）を利用することで計算量の削減が可能となる。
【００７９】
前述した（式１）の計算量が多いのは、総和の項が２箇所存在するためである。
例えば、撮像素子が１２ｂｉｔの画素値を出力するならば、各総和は２の１２乗回行われることになる。
この総和の項を消すために、離散分布を扱う（式１）の代わりに連続分布を扱う以下に示す（式２）を用いる。
【００８０】
【数２】
・・・・・（式２）
【００８１】
本来、画素値はＡ／Ｄ変換によって離散値となるが、十分に細かく離散化されているので、近似的に連続値として扱っても問題は無い。
離散分布を扱う（式１）から総和の項を消すことは、連続分布を扱う（式２）から積分の項を消すことと等しい。
【００８２】
つまり、積分される２つの関数
Ａ×Ｐ（Ｘ｜Ａ）Ｐ（Ａ）と、
Ｐ（Ｘ｜Ｂ）Ｐ（Ｂ）、
これらが解析的に積分できる関数になっていればよい。
【００８３】
ここでは解析的に積分できる関数として、ガウス関数を用いる。
前述の通り、撮像素子のノイズ確率モデルも画像の確率モデルもガウス分布とは異なる形状の確率分布を持つ。
そのため、単一のガウス関数でこれらの確率モデルを近似すると、誤差が大きく十分なノイズ除去性能が得られない。
【００８４】
そこで、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を用いる。
一次元データに対する混合ガウスモデル近似を以下の（式３）に示す。
近似前の関数をｆ（ｘ）とした場合、関数ｆ（ｘ）は、以下の（式３）の右辺に示す式を近似式として用いることが可能であり、この近似式によってｆ（ｘ）の近似値を算出することができる。
【００８５】
【数３】
【００８６】
なお、上記（式３）ではガウス関数の一種である正規分布を用いて記述している。
上記（式３）において、
ｆ（ｘ）は近似前の関数、
ｉは正規分布のインデックス、
Ｎｉ（ｘ）はｉ番目の正規分布、
ｗｉはｉ番目の正規関数の重み、
を表す。
μｉとσｉはｉ番目の正規分布の平均と標準偏差、
を表す。
【００８７】
撮像素子のノイズ確率モデルは被写体によらないことから、事前に時間をかけて混合ガウスモデル近似を行い、その近似結果をメモリ等に格納し、実際の撮影画像のノイズ除去処理時にはメモリから近似結果を読み出して利用してノイズ除去処理をおこなえばよい。
【００８８】
しかし、画像の確率モデルは被写体に依存することから、画素毎に毎回、混合ガウスモデル近似をやり直さなければならない。
十分な計算資源がある場合はそれでも良いが、計算資源が少ない環境では困難を伴う処理になるため、ここでは画像の確率モデルについては単一の正規分布によって近似する方法を考える。
【００８９】
単純な矩形の局所領域の画素値からヒストグラムを作って画像の確率モデルとして使うと、図８で示されるように複数のピークを持つ確率分布になることがある。
単一の正規分布による近似を行うためには、単一のピークを持つ分布を利用することが好ましい。そこで、単一のピークとなるように局所領域の中から注目画素位置の画素値とかけ離れた画素値を取り除いてから確率モデルを作る方法について述べる。
【００９０】
例えば、図８に示すヒストグラムの場合、ノイズ低減処理対象となる注目画素位置がｂ近傍の画素値を持つならば、図９に示すように、ｂ近傍のピークだけ用いれば良いということである。
このような画素値の選択処理の内、最も簡単な処理は、ノイズ低減処理対象となる注目画素位置の画素値と周辺画素位置の画素値の差分絶対値を計算し、ある閾値以内の周辺画素を選択する処理である。このようにして選択された周辺画素の画素値を用いて単一ピークを持つヒストグラムを作って、このヒストグラムに基づいて単一の正規分布による近似を行う。
【００９１】
単一ピークを持つ分布データを選択するための選択性能を上げるためには、固定の閾値を用いるのではなく、被写体に応じて適切な閾値を動的に設定する手法が有効である。
動的に閾値を決める方法については、後段の信号処理部（ＤＳＰ）１０６の具体的処理に説明において説明する
【００９２】
ノイズ低減処理対象となる注目画素を含む局所領域から閾値を適用した画素選択処理によって適切に選ばれた画素の画素値を用いてヒストグラムを作ると、単峰性のなだらかな分布となり、単一の正規分布で十分に近似できる。
【００９３】
以上に述べた方法により、
（１）撮像素子のノイズ確率モデルは混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）で近似される。
（２）画像の確率モデルは正規分布で近似される。
結果として、先に説明した（式２）は、以下に示す（式４）として表現できる。
【００９４】
【数４】
・・・・・（式４）
【００９５】
なお、上記式において、
ｓは画素位置、
Ｘ（ｓ）はノイズ低減前の画素値
Ｙ（ｓ）はノイズ低減後の画素値、
ｉは正規分布のインデックス、
Ｎｉ（ｘ）はｉ番目の正規分布、
ｗｉはｉ番目の正規関数の重み、
μ（ｓ）とσ（ｓ）は画素位置ｓにおける画素値の平均と標準偏差、
を表す。
【００９６】
上記（式４）は画素値が取り得る範囲内で積分を行う定積分であるが、撮像素子と画像の確率モデルの分布の幅が狭いことから、無限積分に変更しても問題は無い。
無限積分に変更して、積分の項を解析的に計算すると、以下に示す（式５）が得られる。
【００９７】
【数５】
・・・・・（式５）
【００９８】
なお、上記式において、
ｓは画素位置、
Ｘ（ｓ）はノイズ低減前の画素値
Ｙ（ｓ）はノイズ低減後の画素値、
ｉは正規分布のインデックス、
Ｎｉ（ｘ）はｉ番目の正規分布、
ｗｉはｉ番目の正規関数の重み、
μ（ｓ）とσ（ｓ）は画素位置ｓにおける画素値の平均と標準偏差（正規分布の平均と標準偏差）、
を表す。
【００９９】
撮像素子のノイズ確率モデルの近似には、数個の正規分布を使えば十分であることから、上記（式５）は、先に説明した（式１）と比べると、総和の計算回数が圧倒的に少ない。
その為、画像の確率モデルの近似に必要な計算量や（式５）の除算や平方根、指数関数の計算量を考慮しても、（式５）は、（式１）よりも十分に計算量が少ない。
【０１００】
また、撮像素子のノイズ確率モデルを保持する為に必要なメモリ量と比較すると、混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）で近似された撮像素子のノイズ確率モデルを保持する為に必要なメモリ量は圧倒的に小さい。
以上の近似計算により、処理に必要な計算量もメモリ量も少なくなり、計算資源の少ない環境であっても処理が可能となる。
【０１０１】
［３．撮像装置における信号処理部（ＤＳＰ）の構成と処理例について］
前述したように、図１に示す撮像装置において撮影された画像は、信号処理部（ＤＳＰ）１０６においてノイズ低減処理が実行される。
【０１０２】
信号処理部（ＤＳＰ）１０６は、入力画像信号のストリームに対して、複数の処理を所定のプログラムに従って順次実行する構成を持つ。信号処理部（ＤＳＰ）１０６において、ノイズ低減処理を実行するための詳細構成例を図１０に示す。
【０１０３】
なお、以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明する。なお、以下の実施例では、信号処理部（ＤＳＰ）１０６は、所定のプログラムに従ってノイズ低減処理を行うものとして説明するが、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路によってノイズ低減処理を実行する構成としてもよい。
【０１０４】
図１０に示すように、信号処理部（ＤＳＰ）１０６は、
画像確率モデル生成部３２０と、ベイズ（Ｂａｙｅｓ）推定部３２３を有する。
画像確率モデル生成部３２０は、
局所画素選択部３２１、
局所平均分散算出部３２２、
これらを有する。
【０１０５】
画像確率モデル生成部３２０の局所画素選択部３２１は、入力画像（例えば図に示すＲ画像２１１）から選択されたノイズ低減処理の対象となる注目画素を含む局所領域から、次の局所平均分散算出部３２２において平均、分散の算出に適用する画素を選択する。
局所平均分散算出部３２２は、局所画素選択部３２１の選択した画素を利用して、局所領域における選択画素の平均と、分散を算出する。この平均と、分散のデータが近似画像確率モデル３４０となる。
【０１０６】
ベイズ（Ｂａｙｅｓ）推定部３２３は、
局所画素選択部３２１の処理と、局所平均分散算出部３２２の処理によって生成された近似画像確率モデル３４０と、
予め算出され、メモリ１１２に格納された近似ノイズ確率モデル３８０を利用して、入力画像（例えば図に示すＲ画像２１１）に対するノイズ低減処理を実行する。
このノイズ低減処理は、前述した（式５）に従った処理として実行する。
このノイズ低減処理の結果として、ノイズ低減後のＲ画像２２１を生成して出力する。
【０１０７】
なお、信号処理部（ＤＳＰ）１０６に対する入力画像データは、図１に示す撮像装置の撮像デバイスであるＣＣＤイメージセンサ１０３からの出力に対して、相関２重サンプリング回路（ＣＤＳ）１０４でリセットノイズが除去され、さらにＡ／Ｄ変換部１０５でデジタルデータに変換された画像である。
各画素にはＲＧＢいずれかの色に対応する画素値のみが設定された先に図２を参照して説明したモザイク画像である。
このモザイク画像が、信号処理部（ＤＳＰ）１０６内の画像メモリに一旦、格納される。図１０に示すモザイク画像２０１である。
【０１０８】
信号処理部（ＤＳＰ）１０６は、モザイク画像２０１から、各色信号単位の画像を抜き出して、処理を行う。本例では、
Ｒ画像２１１、
Ｇｒ画像２１２、
Ｇｂ画像２１３、
Ｂ画像２１４、
これらの４つのノイズ除去前（ＮＲ前）の各色画像に対して個別にノイズ除去処理を行う。
図１０には、Ｒ画像２１１に対する処理を代表例として示している。
【０１０９】
信号処理部（ＤＳＰ）１０６は、各色画像に対するベイズ推定を適用したノイズ低減処理を実行し、ノイズ低減後の各色画像、すなわち、図１０に示す４つのノイズ低減後（ＮＲ後）の各色画像、
Ｒ画像２２１、
Ｇｒ画像２２２、
Ｇｂ画像２２３、
Ｂ画像２２４、
これらの４つのノイズ低減後（ＮＲ後）の各色画像を生成して出力する。
【０１１０】
なお、メモリ１１２に格納された近似ノイズ確率モデル３８０については、予め実行するシミュレーション処理によって生成することができる。
この近似ノイズ確率モデル３８０の生成処理構成も含めた画像処理装置の構成図を図１１に示す。
【０１１１】
図１１は、図１０に示す信号処理部（ＤＳＰ）１０６と、近似ノイズ確率モデル３２５を格納したメモリ１１２に加え、さらに、
近似ノイズ確率モデル３８０を生成する近似ノイズ確率モデル生成部３５０、
を有する画像処理装置の構成を示している。
近似ノイズ確率モデル生成部３５０は、
ノイズ確率モデル３５２を生成するノイズシミュレーション部３５１と、
ノイズ確率モデル３５２から近似ノイズ確率モデル３８０を生成する混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似部３５３を有する。
なお、近似ノイズ確率モデル生成部３５０は、撮像装置内に備えた構成としてもよいが、独立した例えばＰＣ等の外部装置に備えた構成としてもよい。
【０１１２】
以下では、図１１に示す近似ノイズ確率モデル生成部３５０を備えた画像処理装置の構成に従って、各処理部の実行する処理の詳細について説明する。
【０１１３】
［４．近似ノイズ確率モデル生成部の処理について］
まず、近似ノイズ確率モデル３８０を生成する近似ノイズ確率モデル生成部３５０の実行する処理について説明する。
【０１１４】
ノイズシミュレーション部３５１はノイズの含まれていない理想的な画素値に対して、撮像素子において発生する各種のノイズを重畳した画像を仮想的に生成し、さらに、このノイズ重畳画像を用いて撮像素子のノイズ確率モデルを算出し、撮像素子のノイズ確率モデル３５２を出力する。
【０１１５】
ノイズシミュレーション部３５１では撮像素子、具体的には、例えば図１に示す撮像装置の撮像素子であるＣＣＤイメージセンサ１０３において発生すると推定される各種ノイズ要因に応じたノイズをシミュレーションする。シミュレーションには、例えば、数式によってモデル化されたノイズや、実測により得られたノイズデータに基づいてモデル化されたノイズなどが利用可能である。
【０１１６】
撮像素子が取り得る全てのノイズの含まれていない画素値に対して、ノイズシミュレーション部３５１では、様々なノイズ発生要因に対応するノイズを重畳する処理を十分な回数行う。
このようにすることで、ある一つのノイズの含まれていない画素値に対して、複数のノイズの含まれている画素値が得られる。
【０１１７】
ノイズの含まれていない画素値と、ノイズが含まれている画素値、これらの組み合わせが明らかなので、逆に、ある一つのノイズの含まれている画素値に対して複数のノイズの含まれていない画素値を得ることもできる。
この、複数のノイズの含まれていない画素値の発生頻度をヒストグラムにしたものを用いてノイズ確率モデルを生成する。
【０１１８】
ヒストグラムの発生頻度の総和が１になるように正規化したものが、先に説明した図３に示される撮像素子のノイズ確率モデルの一部となる。
この撮像素子のノイズ確率モデルの一部は、先に説明した（式１）の尤度Ｐ（Ｘ｜Ａ）、すなわち、ノイズ無し画素値Ａが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率である尤度Ｐ（Ｘ｜Ａ）を求めることに相当する。
【０１１９】
様々なノイズの含まれている画素値に対して同様の処理を行うと、図４に示される撮像素子のノイズ確率モデルが得られる。
ノイズ確率モデル３５２は、先に、図４を参照して説明した３次元データに相当する。
すなわち、
ノイズ無し画素の画素値と、
ノイズ有り画素の画素値と、
各画素値の存在確率、
これらの対応関係情報を持つモデルである。
【０１２０】
このように、例えば図４に示す対応関係データを持つノイズ確率モデル３５２は、撮像素子において発生する各種のノイズをシミュレーションによって仮想的に重畳した画像を解析することによって生成できる。
このノイズ確率モデル３５２は、
ノイズ無し画素値Ａが発生した場合に、ノイズ有り画素値Ｘが発生する条件付き確率である尤度Ｐ（Ｘ｜Ａ）を求めることに相当する。
すなわち、先に説明した（式１）、（式２）に含まれる尤度Ｐ（Ｘ｜Ａ）、尤度Ｐ（Ｘ｜Ｂ）を求めることに相当する。
【０１２１】
次に、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似部３５３は、ノイズ確率モデル３５２に対して、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を用いてデータサイズを圧縮し、近似ノイズ確率モデル３８０を出力する。
【０１２２】
ノイズ確率モデル３５２は、ノイズ有り画素の画素値Ｘの値が異なる複数の尤度Ｐ（Ｘ｜Ａ）から成り立ち、混合ガウスモデル近似部３５３は、それぞれの尤度Ｐ（Ｘ｜Ａ）を個別に近似する。
【０１２３】
なお、この近似処理は、先に説明した（式３）に従った混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して、尤度Ｐ（Ｘ｜Ａ）を変換する処理に相当する。
【０１２４】
ただし、（式３）に従った混合ガウスモデル近似に適用するパラメータｗｉ，μｉ，σｉ、すなわち、
ｗｉ：ｉ番目の正規関数の重み、
μｉ，σｉ：ｉ番目の正規分布の平均と標準偏差、
これらのパラメータの最適解を解析的に求めることは困難である。
【０１２５】
そこで、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似部３５３は、繰り返し処理によって準最適解を求める手法であるＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを用いる。
【０１２６】
ＥＭアルゴリズムは、Ｅ−ｓｔｅｐ、Ｍ−ｓｔｅｐと呼ばれる処理を繰り返し行って、徐々に混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）のパラメータを求める処理である。
【０１２７】
ノイズシミュレーション部３５１で、ある一つのノイズの含まれている画素値に対して複数のノイズの含まれていない画素値がＭ個生成されたとし、Ｍ個の画素値をｘｋと表す。
ここでｋはインデックスであり１〜Ｍの値を取る。
本実施例におけるＥ−Ｓｔｅｐを、以下の（式６）に示す。
【０１２８】
【数６】
・・・・・（式６）
【０１２９】
上記（式６）において、
ｉ、ｊは近似に用いられる正規分布のインデックス、
を表す。
【０１３０】
さらに、本実施例におけるＭ−Ｓｔｅｐは、以下の（式７）で示される。
【０１３１】
【数７】
・・・・・（式７）
【０１３２】
なお、パラメータｗｉ，μｉ，σｉの初期値についてはｋ−ｍｅａｎｓ等の適当なクラスタリング手法により求めれば良い。
【０１３３】
なお、ＥＭアルゴリズムの詳細については、様々な文献でその手法が述べられている。
例えば以下の文献に詳しい説明が記載されている。。
「Ｇｅｏｆｆｒｅｙ Ｊ．ＭｃＬａｃｈｌａｎ，Ｔｈｒｉｙａｍｂａｋａｍ Ｋｒｉｓｈｎａｎ ，"Ｔｈｅ ＥＭ Ａｌｇｏｒｉｔｈｍ ａｎｄ Ｅｘｔｅｎｓｉｏｎｓ （Ｗｉｌｅｙ Ｓｅｒｉｅｓ ｉｎ Ｐｒｏｂａｂｉｌｉｔｙ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ）"，Ｗｉｌｅｙ Ｓｅｒｉｅｓ ｉｎ Ｐｒｏｂａｂｉｌｉｔｙ ａｎｄ Ｓｔａｔｉｓｔｉｃｓ ２００８．」
「Ｊ． Ａ． Ｂｉｌｍｅｓ，"Ａ Ｇｅｎｔｌｅ Ｔｕｔｏｒｉａｌ ｏｆ ｔｈｅ ＥＭ Ａｌｇｏｒｉｔｈｍ ａｎｄ ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｐａｒａｍｅｔｅｒ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ ａｎｄ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ"，Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＴＲ−９７−０２１，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｉｎｓｔｉｔｕｔｅ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｄｉｖｉｓｉｏｎ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｃａｌｉｆｏｒｎｉａ ａｔ Ｂｅｒｋｅｌｅｙ， Ａｐｒｉｌ １９９８．」
【０１３４】
上述したように、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似部３５３は、
ノイズ確率モデル３５２に対して、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを用いて、混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似に適用するパラメータを算出する。
算出したパラメータは、ノイズ確率モデル３５２のデータサイズを圧縮したものであり、近似ノイズ確率モデル３８０として出力される。
【０１３５】
混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似部３５３の実行する処理、すなわち、近似ノイズ確率モデル３８０の生成処理は、先に説明した（式３）に従った混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して、尤度Ｐ（Ｘ｜Ａ）を変換する処理に相当する。
【０１３６】
なお、この近似ノイズ確率モデル３８０の算出処理は、先に説明した（式４）、（式５）において、
（式１）、（式２）に示す尤度Ｐ（Ｘ｜Ａ）、Ｐ（Ｘ｜Ｂ）に対応する以下の（式８）に示すデータを算出することに相当する。
【０１３７】
【数８】
・・・（式８）
【０１３８】
このようにして、生成された近似ノイズ確率モデル３８０は、画像処理装置のメモリ１１２に格納される。
【０１３９】
前述したように、この近似ノイズ確率モデル生成部３５０は、例えば図１に示す画像処理装置内に備える構成としてもよいし、他の外部の情報処理装置、例えばＰＣ等によって構成してもよい。
【０１４０】
ただし、近似ノイズ確率モデル生成部３５０を外部の情報処理装置に構成した場合は、その結果として得られる近似ノイズ確率モデル３８０を図１に示す撮像装置等の画像処理装置のメモリ１１２に入力して格納する。
【０１４１】
図１、図１１に示す画像処理装置の信号処理部（ＤＳＰ）１０６は、
（１）メモリ１１２に格納された近似ノイズ確率モデル３８０、
（２）入力画像（例えば図１１に示すＲ画像２１１）に対する局所画素選択部３２１の処理と、局所平均分散算出部３２２の処理によって生成された近似画像確率モデル３４０、
これらの確率モデルを利用したベイズ推定処理によってノイズ低減処理を実行する。
【０１４２】
［５．近似画像確率モデルの生成処理について］
次に、図１１に示す画像処理装置の信号処理部（ＤＳＰ）１０６において実行する近似画像確率モデル３４０の生成処理について説明する。
【０１４３】
なお、先に説明したように、信号処理部（ＤＳＰ）１０６に対する入力画像データは、図１に示す撮像装置の撮像デバイスであるＣＣＤイメージセンサ１０３からの出力に対して、相関２重サンプリング回路（ＣＤＳ）１０４でリセットノイズが除去され、さらにＡ／Ｄ変換部１０５でデジタルデータに変換された画像である。
【０１４４】
この画像は、各画素にＲＧＢいずれかの色に対応する画素値のみが設定された先に図２を参照して説明したモザイク画像である。
このモザイク画像が、信号処理部（ＤＳＰ）１０６内の画像メモリに一旦、格納される。
信号処理部（ＤＳＰ）１０６は、モザイク画像２０１から、各色単位の画像を抜き出して、処理を行う。本例では、図１０に示すように、
Ｒ画像２１１、
Ｇｒ画像２１２、
Ｇｂ画像２１３、
Ｂ画像２１４、
これらの４つのノイズ低減前（ＮＲ前）の各色画像に対して個別にノイズ低減処理を行う。
図１１には、Ｒ画像２１１に対する処理を代表例として示している。
【０１４５】
画像確率モデル生成部３２０の局所画素選択部３２１は、ノイズ低減処理の対象画素である注目画素位置の画素値と周辺画素位置の画素値を比較し、周辺画素から、注目画素の画素値との差分が予め設定した閾値以下の周辺画素を選択する。
なお、閾値は被写体に応じて動的に変更してもよい。
周辺画素位置には注目画素位置も含まれる。なお、画素値選択処理を行う局所領域は、例えば図７を参照して説明したようなｎ×ｎ画素（ｎは５，７，９，１１...）等、ノイズ低減処理対象画素である注目画素を含む予め既定した局所領域である。
【０１４６】
局所画素選択部３２１で選択された画素値は、局所平均分散算出部３２２へ送られる。
局所平均分散算出部３２２は、局所領域における統計量として、画素値の平均値と分散値を算出する。
これらの統計量は局所領域における画像の確率モデルを正規分布で近似したものである。
この結果が、近似画像確率モデル３４０として出力される。
【０１４７】
局所平均分散算出部３２２の実行する注目画素を含む局所領域における統計量の算出、すなわち、画素値の平均値と分散値の算出処理について説明する。
撮像素子のノイズの内、フォトン（光子）の数に影響を受けるノイズとして支配的なものは光ショットノイズである。
光ショットノイズは、画素値に対してノイズの分散値が線形比例することが知られている。そこで撮像素子の各種ノイズを足し合わせたノイズの分散を、以下に示す（式９）で近似する。以下に示す式は、画素位置ｓにおけるノイズ分散σｎ２（ｓ）を算出する式である。
【０１４８】
【数９】
・・・（式９）
【０１４９】
上記（式９）において、
Ｚ（ｓ）は画素位置ｓにおけるノイズの含まれていない画素値を示す。
ｄは画素値に影響を受けるノイズに由来する係数であり、
ｅは画素値に影響を受けないノイズに由来する係数である。
【０１５０】
上記（式９）は撮像素子のノイズ確率モデルを平均が０の単一のガウス関数で近似したものに相当する。
【０１５１】
さらに、ノイズの含まれていない理想的な画素値が不明であることから、上記（式９）の、画素値Ｚとしてノイズの含まれた注目画素位置の画素値、もしくは注目画素位置の画素値の低周波成分（低周波フィルタによる簡易的なノイズ除去が行われた画素値）を用いる。
【０１５２】
このように、（式９）は、注目画素位置におけるノイズの正確なモデルではないが、画素の選択処理に用いる用途としては十分な精度を持つ。
上記の（式９）を利用して画素値を選択し、単一の正規分布で画像の確率モデルを近似する式を、以下の（式１０）に示す。
【０１５３】
【数１０】
・・・・・（式１０）
【０１５４】
上記（式１０）において、
μは正規分布の平均値、
ｓは注目画素の画素位置、
σは正規分布の標準偏差、
ｔは画素位置ｓを原点とした局所領域座標系における近傍画素位置、
Ｚ（ｓ）は画素位置ｓの画素値、
Ｚ（ｓ＋ｔ）は画素位置ｓ＋ｔの画素値、
Ｚｏｆｆｓｅｔは画素値に影響されないノイズの期待値、
を表す。
ｈは画素値の選択範囲を調整する係数である。
εはアルゴリズムの実行に適用する変数であり、Ｚの自乗平均値算出用の変数である。
Ｌｏｃａｌは、ノイズ低減対象画素を含む局所領域を示す。
【０１５５】
上記の（式１０）は、以下の処理を示している。
まず、初期化処理として、
注目画素位置ｓの平均値：μ（ｓ）＝０、
変数：ε＝０、
インデックス：ｉ＝０、
これらの初期設定を行う。
【０１５６】
その後、
ｆｏｒ以下のアルゴリズムを、局所領域（Ｌｏｃａｌ）内の画素値Ｚ（ｓ＋ｔ）を利用して実行する。
なお、このアルゴリズムで利用する局所領域の画素は、局所画素選択部３２１において選択された画素、すなわちノイズ低減対象画素とした注目画素の近傍にある画素であり、かつ、注目画素の画素値との差分が予め規定した閾値以下の画素値を持つ選択画素である。
【０１５７】
なお、この画素選択処理は、上記（式１０）中のｉｆ文の行の処理で実行している。この画素選択処理は、先に説明した（式９）に従って近似されるノイズ分散を利用した画素選択処理である。
このように、（式１０）に示すアルゴリズムは局所画素選択部３２１と、局所平均分散算出部３２２の実行する処理内容を合わせて記述したアルゴリズムに相当する。
【０１５８】
（式１０）に示すｆｏｒ以下のアルゴリズムを実行して、
最終的に、
注目画素位置ｓ対応の局所領域の選択画素に基づいて平均値μ（ｓ）と、分散σ（ｓ）２を算出する。
【０１５９】
上記（式１０）に従って、
ノイズ低減対象の注目画素対応の平均値と分散を算出し、画像の各画素対応の平均値と分散からなるデータが近似画像確率モデル３４０として出力される。
【０１６０】
近似画像確率モデル３４０としての平均値と分散は、例えば先に説明した（式４）、（式５）において、（式１）、（式２）に示すノイズ無し画素値Ａ、Ｂが発生する確率である事前確率Ｐ（Ａ）、Ｐ（Ｂ）に対応する以下の（式１１）に示すデータを算出する際に利用される。
【０１６１】
【数１１】
・・・（式１１）
【０１６２】
次に、ベイズ（Ｂａｙｅｓ）推定部３２３の処理について説明する。
ベイズ（Ｂａｙｅｓ）推定部３２３では、
入力画像（例えば図に示すＲ画像２１１）に対する局所画素選択部３２１の処理と、局所平均分散算出部３２２の処理によって生成された近似画像確率モデル３４０と、
予め算出され、メモリ１１２に格納された近似ノイズ確率モデル３８０を利用して、入力画像（例えば図に示すＲ画像２１１）に対するノイズ除去処理を実行する。
このノイズ除去処理は、前述した（式５）に従った処理として実行する。
【０１６３】
すなわち、前述の（式５）に従ったノイズの含まれた画素値Ｘ（ｓ）からノイズの含まれていない画素値Ｙ（ｓ）を算出する。
この算出処理には、
（１）近似ノイズ確率モデル３８０に相当する先に説明した（式８）、
（２）近似画像確率モデル３４０に相当する先に説明した（式１１）、
これらの算出値が利用される。
【０１６４】
これらのデータと、各注目画素位置ｓのノイズ有り画素の画素値Ｘ（ｓ）を入力して（式５）に従って、注目画素位置ｓのノイズ無し画素の画素値Ｙ（ｓ）を算出する。
この画素値算出処理は入力される全てのノイズの含まれた画素（注目画素）の画素値に対して行われ、最終的に、ノイズ除去後の画像、例えば図１０、図１１に示すＲ画像（ＮＲ後）２２１を生成して出力する。
この他の色画像についても同様の処理が実行され、各色画像（Ｒ，Ｇｒ，Ｇｂ，Ｂ ｐｌａｎｅ）のノイズ低減画像２２１〜２２４を生成して出力する。
【０１６５】
このように、本開示の処理によって、例えば図２のカラーフィルタ配列を用いた単板式カラー撮像素子によって撮像されたモザイク画像から、ノイズを除去した画像を生成することができる。
【０１６６】
［６．実施例バリエーション］
前述の実施例は近似ノイズ確率モデルと近似画像確率モデルを用いたノイズ除去処理であるが、十分な計算資源がある場合には、近似処理を省略しても良い。
つまり、図１０、図１１に示す近似ノイズ確率モデル３８０の代わりに、図１１に示すノイズ確率モデル３５２を用いた構成としてもよい。
また、図１０、図１１に示す近似画像確率モデル３４０の代わりに画素選択処理を行わずに作られた局所領域の画素値のヒストグラムを用いた構成としてもよい。
また、近似されたノイズ除去処理を表す（式５）の代わりに（式１）を用いた処理を行う構成としてもよい。
【０１６７】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１６８】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する画像処理装置。
【０１６９】
（２）前記画像確率モデル生成部は、ノイズ低減処理対象画素を含む局所領域から、ノイズ低減処理対象画素との画素値差分が既定の閾値以下の画素を参照画素として選択する局所画素選択部と、前記局所画素選択部において選択された参照画素の平均値と分散値を算出する局所平均分散算出部を有し、前記画像確率モデルは、前記局所平均分散算出部の算出値からなる近似画像確率モデルである前記（１）に記載の画像処理装置。
【０１７０】
（３）前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルである前記（１）〜（２）いずれかに記載の画像処理装置。
（４）前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、前記、混合ガウスモデル近似のパラメータは、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを適用して算出したパラメータである前記（１）〜（３）いずれかに記載の画像処理装置。
【０１７１】
（５）前記メモリに格納されたノイズ確率モデルは、撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するシミュレーション処理データを適用して生成したノイズ確率モデルである前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記画像確率モデル生成部は、単一の正規分布からなる近似画像確率モデルを生成し、前記メモリに格納されたノイズ確率モデルは、任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、前記ベイズ推定部は、前記近似画像確率モデルと、前記近似ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１７２】
（７）前記画像処理装置は、さらに、前記ノイズ確率モデルを生成するノイズ確率モデル生成部を有し、前記ノイズ確率モデル生成部は、撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するノイズシミュレーション処理部と、前記ノイズシミュレーション処理部の生成データに対する混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似処理によって近似ノイズ確率モデルを生成する混合ガウスモデル近似部を有する前記（１）〜（６）いずれかに記載の画像処理装置。
【０１７３】
（８）撮像素子を有する撮像部と、
前記撮像部から入力する撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する撮像装置。
【０１７４】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１７５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１７６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１７７】
以上、説明したように、本開示の一実施例の構成によれば、撮影画像に含まれるノイズの低減処理を行う装置、方法が実現される。
具体的には、撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、画像確率モデルと、ノイズ確率モデルを適用したベイズ推定処理により、撮影画像のノイズを低減したノイズ低減画像を生成する。
本開示の構成によれば、撮像素子のノイズ特性と画像の領域単位の特徴を考慮した高性能なノイズ低減処理を実現することができる。さらに、近似処理によって必要なデータ量の削減、計算量の削減、高速処理を実現することができる。
【符号の説明】
【０１７８】
１０１ レンズ
１０２ 絞り
１０３ ＣＣＤイメージセンサ
１０４ 相関２重サンプリング回路
１０５ Ａ／Ｄコンバータ
１０６ 信号処理部（ＤＳＰ）
１０７ タイミングジェネレータ
１０８ Ｄ／Ａコンバータ
１０９ ビデオエンコーダ
１１０ 表示部（ビデオモニタ）
１１１ ＣＯＤＥＣ
１１２ メモリ
１１３ ＣＰＵ
１１４ 入力デバイス
３２０ 画像確率モデル生成部
３２１ 局所画素選択部
３２２ 局所平均分散算出部
３２３ ベイズ推定部
３４０ 近似画像確率モデル
３５０ 近似ノイズ確率モデル生成部
３５１ ノイズシミュレーション部
３５２ ノイズ確率モデル
３５３ ＧＭＭ近似部
３８０ 近似ノイズ確率モデル
【特許請求の範囲】
【請求項１】
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する画像処理装置。
【請求項２】
前記画像確率モデル生成部は、
ノイズ低減処理対象画素を含む局所領域から、ノイズ低減処理対象画素との画素値差分が既定の閾値以下の画素を参照画素として選択する局所画素選択部と、
前記局所画素選択部において選択された参照画素の平均値と分散値を算出する局所平均分散算出部を有し、
前記画像確率モデルは、前記局所平均分散算出部の算出値からなる近似画像確率モデルである請求項１に記載の画像処理装置。
【請求項３】
前記メモリに格納されたノイズ確率モデルは、
任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルである請求項１に記載の画像処理装置。
【請求項４】
前記メモリに格納されたノイズ確率モデルは、
任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、
前記、混合ガウスモデル近似のパラメータは、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを適用して算出したパラメータである請求項１に記載の画像処理装置。
【請求項５】
前記メモリに格納されたノイズ確率モデルは、
撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するシミュレーション処理データを適用して生成したノイズ確率モデルである請求項１に記載の画像処理装置。
【請求項６】
前記画像確率モデル生成部は、単一の正規分布からなる近似画像確率モデルを生成し、
前記メモリに格納されたノイズ確率モデルは、
任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、
前記ベイズ推定部は、
前記近似画像確率モデルと、前記近似ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成する請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、
前記ノイズ確率モデルを生成するノイズ確率モデル生成部を有し、
前記ノイズ確率モデル生成部は、
撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するノイズシミュレーション処理部と、
前記ノイズシミュレーション処理部の生成データに対する混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似処理によって近似ノイズ確率モデルを生成する混合ガウスモデル近似部を有する請求項１に記載の画像処理装置。
【請求項８】
撮像素子を有する撮像部と、
前記撮像部から入力する撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する撮像装置。
【請求項９】
画像処理装置において実行する画像処理方法であり、
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成処理と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルと、前記画像確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定処理を実行する画像処理方法。
【請求項１０】
画像処理装置において画像処理を実行させるプログラムであり、
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成処理と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルと、前記画像確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定処理を実行させるプログラム。
【請求項１】
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する画像処理装置。
【請求項２】
前記画像確率モデル生成部は、
ノイズ低減処理対象画素を含む局所領域から、ノイズ低減処理対象画素との画素値差分が既定の閾値以下の画素を参照画素として選択する局所画素選択部と、
前記局所画素選択部において選択された参照画素の平均値と分散値を算出する局所平均分散算出部を有し、
前記画像確率モデルは、前記局所平均分散算出部の算出値からなる近似画像確率モデルである請求項１に記載の画像処理装置。
【請求項３】
前記メモリに格納されたノイズ確率モデルは、
任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルである請求項１に記載の画像処理装置。
【請求項４】
前記メモリに格納されたノイズ確率モデルは、
任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、
前記、混合ガウスモデル近似のパラメータは、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを適用して算出したパラメータである請求項１に記載の画像処理装置。
【請求項５】
前記メモリに格納されたノイズ確率モデルは、
撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するシミュレーション処理データを適用して生成したノイズ確率モデルである請求項１に記載の画像処理装置。
【請求項６】
前記画像確率モデル生成部は、単一の正規分布からなる近似画像確率モデルを生成し、
前記メモリに格納されたノイズ確率モデルは、
任意の分布を複数のガウス分布の足し合わせで表現する混合ガウスモデル（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似を適用して生成した近似ノイズ確率モデルであり、
前記ベイズ推定部は、
前記近似画像確率モデルと、前記近似ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成する請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、さらに、
前記ノイズ確率モデルを生成するノイズ確率モデル生成部を有し、
前記ノイズ確率モデル生成部は、
撮像素子の撮影画像に発生する複数のノイズ発生要因に応じたノイズ信号を重畳した画素値を仮想的に生成するノイズシミュレーション処理部と、
前記ノイズシミュレーション処理部の生成データに対する混合ガウスモデル（ＧＭＭ：Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）近似処理によって近似ノイズ確率モデルを生成する混合ガウスモデル近似部を有する請求項１に記載の画像処理装置。
【請求項８】
撮像素子を有する撮像部と、
前記撮像部から入力する撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成部と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルを格納したメモリと、
前記画像確率モデルと、前記ノイズ確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定部を有する撮像装置。
【請求項９】
画像処理装置において実行する画像処理方法であり、
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成処理と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルと、前記画像確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定処理を実行する画像処理方法。
【請求項１０】
画像処理装置において画像処理を実行させるプログラムであり、
撮像装置の撮影画像の区分領域である局所領域単位の特徴量を算出し、算出した特徴量から構成される画像確率モデルであり、各ノイズ無し画素値の発生確率を示す画像確率モデルを生成する画像確率モデル生成処理と、
撮像素子対応のノイズ特性情報から生成されるノイズ確率モデルであり、あるノイズ無し画素値が発生した場合に、あるノイズ有り画素値が発生する条件付き確率を示すノイズ確率モデルと、前記画像確率モデルを適用したベイズ推定処理により、前記撮影画像のノイズを低減したノイズ低減画像を生成するベイズ推定処理を実行させるプログラム。
【図１】
【図３】
【図５】
【図６】
【図８】
【図９】
【図２】
【図４】
【図７】
【図１０】
【図１１】
【図３】
【図５】
【図６】
【図８】
【図９】
【図２】
【図４】
【図７】
【図１０】
【図１１】
【公開番号】特開２０１３−１１４５１８（Ｐ２０１３−１１４５１８Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６１０３５（Ｐ２０１１−２６１０３５）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]