画像処理装置、および画像処理方法、並びにプログラム
【課題】画像のノイズを低減する装置、方法を提供する。
【解決手段】ＩＩＲフィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値と、分散値を算出し、算出した平均値と分散値を入力してウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する。さらに、ＩＩＲ型平均値算出部と、ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を画像の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する。ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理に用いるパラメータをＩＩＲフィルタ適用処理によって算出し、ＩＩＲ適用処理に用いるフィルタ係数を適応的に変更することで画像信号に応じたノイズ低減処理が実現される。
【解決手段】ＩＩＲフィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値と、分散値を算出し、算出した平均値と分散値を入力してウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する。さらに、ＩＩＲ型平均値算出部と、ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を画像の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する。ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理に用いるパラメータをＩＩＲフィルタ適用処理によって算出し、ＩＩＲ適用処理に用いるフィルタ係数を適応的に変更することで画像信号に応じたノイズ低減処理が実現される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像に含まれるノイズの除去を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像からノイズを取り除く技術として、画像に対してフィルタを施す処理が知られている。例えば、メディアンフィルタやＷｉｅｎｅｒ（ウィナー）フィルタのような古典的な画像処理技術を始めとして、様々な手法が提案されてきた。
近年、広く用いられている手法としては、Ｂｉｌａｔｅｒａｌ（バイラテラル）フィルタや、ＮＬ−Ｍｅａｎｓ（ノンローカルミーンズ）フィルタなどがある。
【０００３】
Ｂｉｌａｔｅｒａｌ（バイラテラル）フィルタについては、例えば非特許文献１（Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｒ．Ｍａｎｄｕｃｈｉ，"Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９８）に記載がある。
【０００４】
ＮＬ−Ｍｅａｎｓ（ノンローカルミーンズ）フィルタについては、例えば非特許文献２（Ａ．Ｂｕａｄｅｓ，Ｂ．Ｃｏｌｌ， ａｎｄ Ｊ．Ｍ．Ｍｏｒｅｌ，"Ａ Ｎｏｎ Ｌｏｃａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ，"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００５）に記載されている。
【０００５】
これらのフィルタ適用処理は、いずれの手法も、ノイズ除去対象とする注目画素の周辺に存在する周辺画素を参照画素として、参照画素の複数の画素値を例えば加算平均した値等を利用して、注目画素の画素値を補正する処理である。
【０００６】
従来手法では、周辺画素は注目画素位置を中心とした矩形領域内から選ばれることが多い。等方的な領域の信号を用いてフィルタ処理を行うと、処理後の画像に位相のずれが生じにくく、視覚的に好ましい画像が得られるからである。
【０００７】
一方、一般的なカメラの信号処理部、すなわち、撮像素子の出力信号に対する信号処理を実行するカメラ信号処理部は、例えば撮像素子から先行して読み出された行単位の画素値を格納するディレイラインと呼ばれる一種のメモリを有し、メモリ格納データを含む所定の局所領域の画素データを参照しながら、画素値補正等、各種の信号処理を行うのが一般的である。
【０００８】
この多くのカメラにおいて用いられるディレイラインを用いて前述のバイラテラルフィルタに類似した「エッジ保存平滑化処理」を実行する手段を、ノイズ除去手段として実装する構成についても提案されている。
なお、「エッジ保存平滑化処理」とは、原理的にはローパスフィルタの適用処理であり、平滑化の強度はローパスフィルタのカットオフ周波数によってコントロールすることができる。
【０００９】
カットオフ周波数を下げることで、平滑化の強度を上げることができるが、カットオフ周波数の低いフィルタを実現するためには、注目画素に対してより遠くの位置の画素値を参照しなければならない。カメラ信号処理において遠くの画素を参照するということは、注目画素から離れた画素の画素値を保持しておくことが必要となり、結果としてより多くのディレイラインとしてのメモリが必要になるということである。
つまり、高性能なノイズ除去処理を実現するためには、必然的にハードウェアコストが上昇するという問題があった。
【００１０】
広い領域を参照する代償としてハードウェアコストが上昇する問題を、ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ（無限インパルス応答））フィルタを利用して解決しようとする方法が、例えば特許文献１（特開２００１−３６７６９号公報）、特許文献２（特開２００５−１８４７８６号公報）、特許文献３（特開２００５−２８６６７８号公報）、特許文献４（特開２０１０−８１４９７号公報）等で提案されている。
【００１１】
ＩＩＲフィルタとは、時系列に沿って入力される信号に対して、現在の信号とそれよりも過去の信号のみを参照した処理として行われるフィルタ処理である。
なお、以下に説明する本開示に従った処理では一次ＩＩＲフィルタを用いて説明を行う。ＩＩＲフィルタを画像処理で用いる場合、注目画素に対して非等方的な領域の画素を用いて処理が行われることになる。
その為、位相のずれが生じやすく、特定の方向に画像のエッジがにじむという問題が発生しやすい。位相ずれを抑制する方法としては、エッジ部において平滑化の強度を弱めるという方法が効果的であり、従来技術でも何らかの方法でそれを実現している。
【００１２】
しかし、従来技術では平滑化強度のコントロールが不十分であるという問題があった。ＩＩＲフィルタによるエッジ保存平滑化処理の原理は、ＩＩＲフィルタを用いて信号の低周波成分を算出し、元信号のエッジ強度に応じて元信号をブレンドするというものである。
【００１３】
信号に明確なエッジが存在する場合には元信号をより多くブレンドすることで、エッジが保存される。
逆に、明確なエッジが存在しない場合には、元信号をなるべくブレンドしないことで、信号の低周波成分のみが得られ、平滑化が行われる。
このような処理を行うことで信号の平坦部における小さな振幅（＝ノイズ）のみを選択的に抑制することができる。
【００１４】
ＩＩＲフィルタによるエッジ保存平滑化処理のより具体的な説明を、以下に示す式１を参照して行う。
【００１５】
【数１】
・・・・・（式１）
【００１６】
上記（式１）において、
ｔは時刻、
ｐ（ｔ）は信号値（＝補正（ノイズ除去）対象の注目画素の補正前の画素値）、
ｐＩＩＲ（ｔ）はＩＩＲフィルタを用いてエッジ保存平滑化された信号（＝注目画素の補正後の画素値）、
を表す。
【００１７】
α（ｔ）は［０，１］を値域とする変数、すなわちα＝０〜１であり、エッジの強度が強いほど値が大きくなるように適応的に変更される。
この変数α（ｔ）はエッジ強度に応じて連続的に変化することが好ましい。なぜならば、エッジ検出における不連続な変化は、平滑化強度の極端な変化を引き起こし、視覚的に好ましくないからである。
【００１８】
従来技術の問題は、変数α（ｔ）の決め方がアドホックであるために、十分な性能が出せなかったり、エッジ検出における不連続な変化が画質の劣化を招いていたりする点が挙げられる。
【００１９】
前述の特許文献１（特開２００１−３６７６９号公報）や、特許文献２（特開２００５−１８４７８６号公報）では、エッジ検出において、エッジであるかそうでないかの二値に分類しているため、処理の切り替わりが視覚的に目立つという問題がある。
また、前述の特許文献３（特開２００５−２８６６７８号公報）や、特許文献４（特開２０１０−８１４９７号公報）では、上記の（式１）に相当する方法を用いてエッジ保存平滑化処理を行っているが、α（ｔ）を決める際に恣意的に決めた折れ線を用いているため十分にエッジが保存されるとは限らないという問題がある。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２００１−３６７６９号公報
【特許文献２】特開２００５−１８４７８６号公報
【特許文献３】特開２００５−２８６６７８号公報
【特許文献４】特開２０１０−８１４９７号公報
【非特許文献】
【００２１】
【非特許文献１】Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｒ．Ｍａｎｄｕｃｈｉ，"Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９８
【非特許文献２】Ａ．Ｂｕａｄｅｓ，Ｂ．Ｃｏｌｌ， ａｎｄ Ｊ．Ｍ．Ｍｏｒｅｌ，"Ａ Ｎｏｎ Ｌｏｃａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ，"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００５
【発明の概要】
【発明が解決しようとする課題】
【００２２】
本開示は、例えば上記の問題点に鑑みてなされたものであり、画像に含まれるノイズの除去を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２３】
本開示の一実施例においては、ＩＩＲ（無限インパルス応答）フィルタをベースとしたエッジ保存平滑化処理を実行して、小規模な回路でありながら、非常に多くの画素を参照した効果的なノイズ除去を可能とする画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２４】
本開示の第１の側面は、
ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値算出部と、
ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出部と、
前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行するエッジ保存平滑化処理部と、
前記ＩＩＲ型平均値算出部と、前記ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する画像処理装置にある。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記エッジ保存平滑化処理部は、ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とを、前記ＩＩＲ型分散値算出部の算出する分散値に応じてブレンドする処理によって前記補正対象画素の補正後の信号値を算出する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、ブレンド比を（ｖ１−ｖ２）／ｖ２として設定したブレンド処理を実行する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、ブレンド比をｖ１／（ｖ１＋ｖ２）として設定したブレンド処理を実行する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記ＩＩＲフィルタ係数算出部は、入力信号値に応じて、新たなＩＩＲフィルタ係数を順次算出する。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記ＩＩＲフィルタ係数算出部は、前記ＩＩＲ型分散値算出部の算出する分散値に応じて、新たなＩＩＲフィルタ係数を順次算出する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記ＩＩＲフィルタ係数算出部は、補正対象画素の信号値と、ＩＩＲ型平均値算出部の算出した平均値の差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する。
【００３２】
さらに、本開示の画像処理装置の一実施態様において、前記ＩＩＲフィルタ係数算出部は、補正対象画素の信号値と、過去の入力画素の信号値との差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する。
【００３３】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用する。
【００３４】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用し、他の方向に等方的なエッジ保存平滑化処理を実行する。
【００３５】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、処理対象画像として、輝度信号画像と色信号画像を個別に入力し、各画像においてエッジ保存平滑化の強度を変更した処理を実行する。
【００３６】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
ＩＩＲ型平均値算出部が、ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値算出ステップと、
ＩＩＲ型分散値算出部が、ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出ステップと、
エッジ保存平滑化処理部が、前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行するエッジ保存平滑化処理ステップと、
ＩＩＲフィルタ係数算出部が、前記ＩＩＲ型平均値算出ステップと、前記ＩＩＲ型分散値算出ステップにおいて適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新するＩＩＲフィルタ係数算出ステップを実行する画像処理方法にある。
【００３７】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
ＩＩＲ型平均値算出部に、ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出させるＩＩＲ型平均値算出ステップと、
ＩＩＲ型分散値算出部に、ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出させるＩＩＲ型分散値算出ステップと、
エッジ保存平滑化処理部に、前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行させるエッジ保存平滑化処理ステップと、
ＩＩＲフィルタ係数算出部に、前記ＩＩＲ型平均値算出ステップと、前記ＩＩＲ型分散値算出ステップにおいて適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新させるＩＩＲフィルタ係数算出ステップを実行させるプログラムにある。
【００３８】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００３９】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４０】
本開示の一実施例によれば、画像のノイズを低減する装置、方法が実現される。
具体的には、例えば、ＩＩＲフィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値と、分散値を算出し、算出した平均値と分散値を入力してウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する。さらに、ＩＩＲ型平均値算出部と、ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を画像の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する。ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理に用いるパラメータをＩＩＲフィルタ適用処理によって算出し、ＩＩＲ適用処理に用いるフィルタ係数を適応的に変更することで画像信号に応じたノイズ低減処理が実現される。
【図面の簡単な説明】
【００４１】
【図１】ウィナーフィルタとＩＩＲフィルタとを組み合わせた利用処理における問題点について説明する図である。
【図２】Ｂａｙｅｒ（ベイヤー）配列と各信号に対する平滑化処理レベルについて説明する図である。
【図３】ＲＧＢＷ配列と各信号に対する平滑化処理レベルについて説明する図である。
【図４】ＹＣｂＣｒ色空間での処理を行う際のＣｂ、Ｃｒの画素数を半分に間引いて処理を行う場合の画素配列の例について説明する図である。
【図５】本開示の一実施例に係る画像処理装置である撮像装置の構成と処理について説明する図である。
【図６】信号処理部（ＤＳＰ）のノイズ低減処理構成について説明する図である。
【図７】信号処理部（ＤＳＰ）のノイズ低減処理構成について説明する図である。
【図８】信号処理部（ＤＳＰ）のノイズ低減処理のシーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００４２】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示に従った信号処理の詳細について
２．画像処理装置の構成と処理について
２−１．画像処理装置の全体的な構成例について
２−２．画像処理装置の全体的な動作例について
３．信号処理部の構成と処理の詳細について
４．画像処理シーケンスについて
５．その他の実施例について
６．本開示の構成のまとめ
【００４３】
［１．本開示に従った信号処理の詳細について］
まず、本開示の画像処理装置の実行する信号処理について説明する。
本開示の画像処理装置は、例えばカメラの撮影画像など、所定のノイズを含む信号を入力し、入力信号に対する高性能なエッジ保存平滑化処理を行い、ノイズ低減画像を少ない演算量、小規模な回路で生成することを可能とする。
【００４４】
本開示の画像処理装置における信号処理部、例えば、デジタル信号処理部（ＤＳＰ）では、演算量や回路規模を効果的に削減するためにＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ（無限インパルス応答））フィルタを用いた信号処理を行うが、ＩＩＲフィルタの位相ずれの問題を効果的に抑制し、エッジを正確に保存する処理を実現する。
また、信号が二次元信号である画像の場合、さらに効果的に回路規模を削減し、効果的なエッジ保存を実現する。
【００４５】
これらの課題を解決するために本開示の画像処理装置では、ウィナー（Ｗｉｅｎｅｒ）フィルタとＩＩＲフィルタをベースとしたエッジ保存平滑化処理を実行する。
なお、エッジ保存平滑化処理（ノイズ除去処理）にウィナーフィルタを用いる手法については、非特許文献３（Ｆ．Ｊｉｎ，Ｐ．Ｆｉｅｇｕｔｈ，Ｌ．Ｗｉｎｇｅｒ，ａｎｄ Ｅ．Ｊｅｒｎｉｇａｎ，"Ａｄａｐｔｉｖｅ Ｗｉｅｎｅｒ ｆｉｌｔｅｒｉｎｇ ｏｆ ｎｏｉｓｙ ｉｍａｇｅｓ ａｎｄ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２００３）を始めとして、複数の先行研究がある。
【００４６】
ノイズ除去対象となる信号とノイズが定常ガウス過程に従う場合、ウィナーフィルタによるノイズ除去処理は最適なフィルタであることが知られている。
さらに信号が白色ガウス過程である場合、ウィナーフィルタによる信号処理は、以下に示す（式２）の形で示すことができる。
【００４７】
【数２】
・・・・・（式２）
【００４８】
上記（式２）において、
ｔは時刻、
ｐ（ｔ）は信号値（＝補正（ノイズ除去）対象の注目画素の補正前の画素値）、
ｐＮＲ（ｔ）はノイズ除去後の信号値（＝補正（ノイズ除去）対象の注目画素の補正後の画素値）、
μ（ｔ）はノイズが重畳していない理想的な信号の平均値、
σｐ２（ｔ）はノイズが重畳していない理想的な信号の分散値、
σｎ２（ｔ）はノイズの分散値、
を表す。
β（ｔ）は上記の式によって示される［０，１］を値域とする変数、すなわちβ＝０〜１である。
【００４９】
もちろん、理想的な信号の値は、予め知ることはできないので、上記の、
μ（ｔ）とσｐ２（ｔ）、
これらの値を正確に知ることはできない。
しかし、以下に示す（式３）を用いて、これらの各値の十分な近似値を得ることはできる。
【００５０】
【数３】
・・・・・（式３）
【００５１】
上記（式３）において、
ｔは時刻、
ｄｔは０近傍の小さな値を取る整数、
ｔ＋ｄｔは時刻ｔ近傍の時刻、
Ｎは積算された信号値の個数、
μ（＾）（ｔ）は理想的な信号の平均値の近似値、σｐ２（＾）（ｔ）は理想的な信号の分散値の近似値、
を表す。
なお、式中で、μやσ等の文字の上部に示している記号［＾］は、文書中では、表記の都合上、μやσ等の文字の次に表記する。すなわち［μ（＾）］等として表記する。
【００５２】
先の（式２）に示す処理に相当するウィナーフィルタで用いられる、
μ（ｔ）：ノイズが重畳していない理想的な信号の平均値、
σｐ２（ｔ）：ノイズが重畳していない理想的な信号の分散値、
これらの値は、上記の（式３）に示す、以下の値、すなわち、
μ（＾）（ｔ）：理想的な信号の平均値の近似値、
σｐ２（＾）（ｔ）：理想的な信号の分散値の近似値、
を利用可能であり、これらは、ＩＩＲフィルタを用いて計算することができる。
ＩＩＲフィルタを用いたμ（＾）（ｔ）とσｐ２（＾）（ｔ）の算出法は、以下に示す（式４）で表される。
【００５３】
【数４】
・・・・・（式４）
【００５４】
上記（式４）において、
η（ｔ）は信号値の二乗の平均値、
γ（ｔ）はＩＩＲフィルタの係数、
を表す。
【００５５】
上記の（式４）を計算するためには、
現在の時刻ｔにおける信号値ｐ（ｔ）と、
過去の時刻ｔ−１における、
理想的な信号の平均値の近似値：μ（＾）（ｔ−１）、
信号値の二乗の平均値：η（ｔ−１）、
これらの値が分かれば良い。
【００５６】
信号値ｐ（ｔ）は時刻ｔにおいて与えられる値であることから、メモリに記憶しておく必要がある値は、
理想的な信号の平均値の近似値：μ（＾）（ｔ−１）、
信号値の二乗の平均値：η（ｔ−１）、
これらの値だけである。
【００５７】
記憶する必要がある値が少ないということは必要となるメモリが少なくなり、実装の軽量化において非常に重要である。
また、（式４）の演算量は、前記の（式３）の演算量よりも格段に少ない。
この点も、実装の軽量化において非常に重要である。
【００５８】
このように、ウィナーフィルタとＩＩＲフィルタを組み合わせてエッジ保存平滑化処理を行うことのメリットは大きいが、
前記の（式４）において利用されるパラメータ、すなわち、
ＩＩＲフィルタの係数γ（ｔ）、
を固定値として計算を行うと、十分なエッジ保存性能が得られないことが多い。
なぜならば、先に（式２）を参照して説明したように、ウィナーフィルタを用いるにあたって、信号が白色ガウス過程であるという仮定を置いているからである。
【００５９】
例えば、図１に示すように入力信号にステップ状の変化がある場合を考える。
図１に示す入力信号１０１は、例えば画像信号のある垂直ラインの画素値を示している。
横軸が時刻、縦軸が信号値、例えば処理信号が画像である場合、画像の１つのラインの輝度等の画素値に相当する。時間ｔ０前後において輝度が大きく変化している。すなわちエッジが存在していることを示す。
【００６０】
実線の曲線からなる入力信号１０１はノイズが重畳された信号、
点線の直線からなる信号１０２は、ノイズを含まない理想的な信号、
を表す。
ｔは現在の時刻、
ｔ０はステップ状に信号が変化を起こす時刻、
を表す。
【００６１】
例えば現在時刻ｔにおいて入力している注目画素Ｐの補正に際して、時刻ｔ０以前の信号を、ウィナーフィルタで用いられる、
μ（＾）（ｔ）：理想的な信号の平均値の近似値、
σｐ２（＾）（ｔ）：理想的な信号の分散値の近似値、
これらの値の計算に用いるということは、白色ガウス過程に反した信号を用いた計算となるので、エッジ保存性能の劣化を招く。
十分な性能を得るためには、μ（＾）（ｔ）とσｐ２（＾）（ｔ）の計算に用いる区間は、ｔ０からｔとすべきである。
すなわち、補正対象とする注目画素との信号値の変化の小さい領域を参照画素領域として選択すべきである。具体的には予め設定したしきい値以下の信号区間を選択するといった処理を行うことが好ましい。
【００６２】
ＩＩＲフィルタの計算では、過去のすべて時刻における信号が現在時刻における計算に影響を及ぼすが、
ＩＩＲフィルタの係数γ（ｔ）、
の値によって、過去の信号の影響をコントロールすることができる。
例えば、図１に示すような信号値の推移を持つ画像信号が入力され、注目画素Ｐに対する補正を行う場合、エッジ部に相当する時刻ｔ０以前の信号の影響を断ち切ることが有効であり、この場合、時刻ｔ０においてγ（ｔ０）の値を０にすれば良い。
【００６３】
つまりウィナーフィルタとＩＩＲフィルタを組み合わせてエッジ保存平滑化処理を行う場合には、エッジの強度に応じてγ（ｔ）の値を適応的に変化させれば良いということであり、時刻ｔにおけるエッジの強度が強い場合にはγ（ｔ）は０に近い値を取り、エッジの強度が弱い場合にγ（ｔ）は１に近い値となるようにγ（ｔ）の値を制御すれば良い。
以上のように構成することで、任意の一次元信号に対して効果的にエッジ保存平滑化処理を適用することができる。
【００６４】
さらに、ノイズ除去処理の対象となる信号が画像である場合について考える。
画像は、基本的に二次元信号なので、二次元信号に対するウィナーフィルタを考えなければならない。具体的手法としては、例えば、注目画素を中心とした等方的な二次元の局所領域に存在する画素値を用いて計算するという方法が挙げられる。しかし、カメラ信号処理のようにディレイラインを用いた画像処理の場合、二次元的に等方のフィルタを実現するコストは非常に高くなる。
【００６５】
そこで、フィルタを水平方向と垂直方向に分解することで、この問題を解決する。
二次元の線形ＦＩＲフィルタでは処理を水平・垂直に分解して、一つの方向に対して一次元フィルタをかけた後、異なる方向に一次元フィルタをかけても、二次元線形ＦＩＲフィルタの結果と一致することが知られている。
本開示の手法では、ＩＩＲを利用したウィナーフィルタなので、水平方向・垂直方向に分解されたフィルタの処理結果は二次元の等方的なウィナー（Ｗｉｅｎｅｒ）フィルタと比べると異なるが、十分な近似値が得られる。
【００６６】
ノイズ除去方法として、以下に示す二種類の方法が存在する。
（１）水平・垂直の両方向共、本開示の手法を適用する。
（２）水平・垂直のいずれかの一方向にのみ本開示の手法を適用する。
後者の方法（２）の場合、本開示の手法が適用されなかった方向の処理に関しては等方的なエッジ保存平滑化処理が用いられることが好ましい。
一般的に、画像処理においては位相のずれが視覚的に目立ちやすいため、等方的なフィルタによる処理が好ましい。
【００６７】
つまり、ディレイラインを要する方向に関しては、実装コストの低い本開示の手法を適用し、ディレイラインを要さない方向に関しては、１次元的に等方的なエッジ保存平滑化を行えば良い。このようにすることで、両方向共に本発明を使うよりは位相のずれが少なく、かつ両方共に等方的なフィルタを用いるよりは実装コストの低いエッジ保存平滑化処理を実現することができる。
【００６８】
画像に対するエッジ保存平滑化処理として、複数の色が含まれたカラー画像にノイズが重畳されており、本開示の手法を適用してノイズを除去する場合を考える。
例えばＲＧＢ画像の場合、最も簡単な処理方法はＲ画像，Ｇ画像，Ｂ画像の三つの画像に対して同じパラメータを用いて処理を行うことである。
【００６９】
しかし、人間の視覚特性を考えると、輝度に重畳されているノイズと、色差に重畳されているノイズは個別に処理を行う方が好ましい。
人間の視覚は輝度の変化には敏感であるが、色差の変化には鈍感である。
その為、ノイズを除去する場合には、輝度に対しては弱い平滑化をかけ、色差に対しては強い平滑化をかけることで、視覚的に効果の高いノイズ除去が可能となる。
【００７０】
例えば、ＲＧＢ画像をＹＣｂＣｒ色空間、Ｌａｂ色空間の様な輝度と色差で表された色空間に変換した後、上記のような態様で処理を行うと効果的である。
すなわち、ＲＧＢ画像をＹＣｂＣｒ色空間に変換した場合は、
輝度信号Ｙに対して、弱い平滑化処理、
色差信号ＣｂＣｒに対して、強い平滑化処理を施す。
また、ＲＧＢ画像をＬａｂ色空間に変換した場合は、
輝度信号Ｌに対して、弱い平滑化処理、
色差信号ａｂに対して、強い平滑化処理を施す。
【００７１】
また、ＲＧＢ色空間に対する適用に際しては、輝度と相関の高いＧ信号に対しては弱い平滑化をかけ、色差に相関の高いＲ，Ｂ信号に対しては強い平滑化をかけると効果的である。
【００７２】
一般的なカメラにおいて信号処理を実行する例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の信号処理部は、撮像素子からモザイク画像、すなわち、各画素位置にＲＧＢのいずれか１つの画素値のみが設定されたモザイク画像を入力して処理を行う。
【００７３】
例えば単板式カラー撮像素子から得られる画像は、図２に示されるＲＧＢ配列からなるＢａｙｅｒ（ベイヤー）配列や、全ての光の波長を透過するＷ（ホワイト）を含めたＲＧＢＷからなる色配列である図３のような色のモザイク画像になっている。
このような色のモザイク画像の場合、画素数が多い色が輝度に相関が強い信号となり、画素数が少ない色が色差に相関が強い信号となるように色配列が決められていることが一般的である。
【００７４】
カメラの信号処理部（ＤＳＰ）は、撮像素子からの入力画像信号が、例えば図２に示されるＢａｙｅｒ（ベイヤー）配列の場合には、Ｇ信号に対して弱い平滑化をかけ、Ｒ、Ｂ信号に対して強い平滑化をかければ良い。
図３に示されるＲＧＢＷ配列の場合には、Ｗ信号に対して弱い平滑化をかけ、Ｒ、Ｇ、Ｂ信号に対して強い平滑化をかければ良い。
このように色信号に応じた処理を行うことで視覚的に効果の高いノイズ低減を行うことができる。
【００７５】
カメラによっては、はＹＣｂＣｒ色空間での処理を行う構成を有するものがあるが、色差に対して視覚が鈍感であることを利用して、Ｃｂ、Ｃｒの画素数が半分に間引かれることがある。
このような場合、信号処理上の都合の良さから、例えば、図４（ａ）に示すように、Ｙは全画素数分の画素値を持ち、図４（ｂ）に示すように、Ｃｂ、Ｃｒは水平方向に互い違いにデータを持つ設定とした輝度信号（Ｙ）と、色差信号（Ｃｂ，Ｃｒ）を生成して処理を行う場合がある。
【００７６】
図４（ｂ）に示す水平方向に互い違いにデータを持つＣｂＣｒ画像や、図２、図３に示される色のモザイク画像のように、一枚の画像に規則的に異なる色が配置されている画像に対して、ディレイラインを用いたカメラ信号処理によるエッジ保存平滑化処理を行う場合を考える。
すなわち、例えば上位行からラスタスキャン順に画素値を撮像素子から読み出して入力し、現在読み出し行（ライン）の前の行（ディレイライン）の画素値をラインメモリに保持して、このメモリに保持された画素値を利用した処理を行う。
【００７７】
ディレイラインを用いたカメラ信号処理はスライディングウインドウ式の処理を基本としており、ラスタスキャン順に一画素ずつ画素が処理される。
つまり、ある回路はあるタイミングである一つの色に対して処理をしていると言える。
このような処理方式を取っている場合、入力される画像内に異なる色が規則的に配置されていると、時分割で同じ回路を共有することができる。
【００７８】
図４（ｂ）に示すＣｂＣｒ画像に対する処理を例として説明を行う。
水平方向で行われる典型的な等方向のエッジ保存平滑化処理では、同色の画素のみを用いて処理を行うために、図４（ｂ）に示す設定では一画素置きに画素値を参照する。
この参照パターンは注目画素の色がＣｂであってもＣｒであっても変わらず、まったく同じ内容の演算が行われるため、ＣｂとＣｒで同じ回路を共有できる。
【００７９】
垂直方向に対して本開示の処理に従ったエッジ保存平滑化処理を行う場合、図４（ｂ）に示すＣｂＣｒ画像は、縦方向には同色が連続しているため、これまで説明してきた一次元信号に対して本発明を適用する場合と同様の処理となる。
【００８０】
ＩＩＲフィルタの計算を行うためには、垂直方向に一画素前の位置で計算された画素値の平均と、画素値の二乗の平均値が必要となる。
これらの値が保存されているメモリの参照位置がノイズ除去対象となっている画素の位置によって変わるが、それ以外の演算に関しては、どの画素位置であっても変わらないため、ＣｂとＣｒで同じ回路を共有できる。
【００８１】
図２や図３に示す画像の場合でも、色配列の規則性を上手く利用すると、図４の場合と同様に異なる色の間で処理を共有することが出来る。
このように、色が規則的に並んでいることを利用して、異なる色が時分割で同じ回路を共有することで、回路規模を削減することができる。
【００８２】
［２．画像処理装置の構成と処理について］
以下、本開示に係る画像処理装置の一実施例として、撮像装置（デジタルスチルカメラ）の構成と処理について説明する。
はじめに全体像の構成及び動作について説明し、その後各部の構成と動作を説明する。最後に本実施例から派生できる本発明の実施例のバリエーションについて言及する。
【００８３】
（２−１．画像処理装置の全体的な構成例について）
図５は、本開示に係る画像処理装置の一実施例である撮像装置（デジタルスチルカメラ）の構成を説明するブロック図である。
図５に示すように、撮像装置は、レンズ２０１、絞り２０２、例えばＣＣＤイメージセンサ等からなる撮像素子２０３、相関２重サンプリング回路（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）２０４、Ａ／Ｄコンバータ２０５、信号処理部（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２０６、タイミングジェネレータ（ＴＧ）２０７、Ｄ／Ａコンバータ２０８、ビデオエンコーダ（Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ）２０９、ビデオモニタ（Ｖｉｄｅｏ Ｍｏｎｉｔｏｒ）２１０、ＣＯＤＥＣ（コーデック）２１１、メモリ２１２、ＣＰＵ２１３、入力デバイス（Ｉｎｐｕｔ Ｄｅｖｉｃｅ）２１４を有する。
【００８４】
ここで、入力デバイス（Ｉｎｐｕｔ Ｄｅｖｉｃｅ）２１４はカメラ本体にある録画ボタンなどの操作ボタン類をさす。また、信号処理部（ＤＳＰ）２０６は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理を行うことができるようになっている。以下信号処理部（ＤＳＰ）２０６は単にＤＳＰ２０６と呼ぶ場合がある。
【００８５】
（２−２．画像処理装置の全体的な動作例について）
本実施例の撮像装置の全体的な動作例について以下、説明する。
レンズ２０１等の光学系を通過して撮像素子２０３に到達した入射光は、まず撮像素子２０３を構成する例えばＣＣＤ撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換される。
【００８６】
撮像素子２０２の出力する電気信号は、相関２重サンプリング回路（ＣＤＳ）２０４によって初期的なノイズ除去が施され、Ａ／Ｄコンバータ２０５によってデジタイズされた後、信号処理部（ＤＳＰ）２０６中の画像メモリに一時格納されるようになっている。
【００８７】
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ（ＴＧ）２０７が信号処理系を制御するようになっている。信号処理部（ＤＳＰ）２０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはＤ／Ａコンバータ２０８もしくはＣＯＤＥＣ２１１あるいはその両方に送られる。
【００８８】
Ｄ／Ａコンバータ２０８は信号処理部（ＤＳＰ）２０６から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ２０９がビデオ信号に変換し、そのビデオ信号をビデオモニタ２１０でモニタできるようになっている。このビデオモニタ２１０は本実施例においてカメラのファインダの役割を担っている。
【００８９】
また、ＣＯＤＥＣ２１１は信号処理部（ＤＳＰ）２０６から送られる画像データに符号化をおこない、符号化された画像データはメモリ２１２に記録されるようになっている。ここで、メモリ２１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。
以上が本実施例の撮像装置のシステム全体の説明である。
【００９０】
［３．信号処理部の構成と処理の詳細について］
図５に示す撮像装置の構成中、先の項目［１．本開示に従った画像処理の詳細について］において説明した信号処理を実行するのは、例えば信号処理部（ＤＳＰ）２０６である。
以下、信号処理部（ＤＳＰ）２０６において実行する信号処理の一例について詳細に説明する。
【００９１】
信号処理部（ＤＳＰ）２０６は、例えば、信号処理部（ＤＳＰ）２０６に対する入力信号ストリームに対して、演算ユニットを用いて所定のプログラム・コードに記述された演算を順次実行する。
以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明し、また各処理が実行される順序をフローチャートで説明する。しかしながら、本開示に従った信号処理は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路を実装して実現することも可能である。ハードウェア回路として実装する場合に好適な構成についても合わせて実施例において説明を行う。
【００９２】
図６は、信号処理部（ＤＳＰ）２０６において実行する各機能をブロックとして示した信号処理部（ＤＳＰ）２０６のブロック図である。
なお、一般的に撮像装置の信号処理部（ＤＳＰ）では、様々な信号処理が実行されるが、図６には、本開示のノイズ低減処理に関連する処理構成のみを示している。
【００９３】
以下では、図４（ｂ）に示されるＣｂＣｒ画像に重畳されているノイズを、エッジ保存平滑化処理を用いて除去する例について説明する。
図６に示すように、信号処理部（ＤＳＰ）２０６において実行するノイズ低減処理は、大きく２つの処理に分けられる。
一つ目は、入力画像に対して水平方向のノイズ除去処理を行う水平ＮＲ部３０１による処理であり、二つ目は、垂直方向のノイズ除去処理を行う垂直ＮＲ部３０２ による処理である。
【００９４】
なお、入力画像は、図５に示すＡ／Ｄ変換部２０５から入力される画像であり、デジタル信号値（画素値）が、ラスタスキャン順に入力される。具体的には、例えば上位行から左から右方向に各画素値が入力される。
【００９５】
入力画像の各画素値は、まず、水平ＮＲ部３０１に入力され水平方向のノイズ除去処理が実行される。
水平ＮＲ部３０１については、例えば従来技術として存在する等方的なフィルタを用いたエッジ保存平滑化処理を用いるものとして説明する。
水平ＮＲ部３０１の実行する処理の一例として、一次元Ｂｉｌａｔｅｒａｌ（バイラテラル）フィルタを用いる場合、以下の（式５）に従った画素値変換が実行される。
【００９６】
【数５】
・・・・・（式５）
【００９７】
上記（式５）において、
ｘは水平方向の画素位置、
ｙは垂直方向の画素位置を表す。
ｄｘは偶数値を取る変数である。
ｐ（ｘ，ｙ）はノイズ除去処理前の画素値を表し、
ｐＨＮＲ（ｘ，ｙ）は水平方向のノイズ除去後の画素値を表す。
ここではＣｂ、Ｃｒの二つの異なる色の画素値を区別せずにｐ（ｘ，ｙ）とｐＨＮＲ（ｘ，ｙ）を用いて表している。
ｗｘ（ｄｘ）は空間方向にかけられる重み関数であり、
ｗｐ（ｘ，ｙ，ｄｘ）は画素値方向にかけられる重み関数である。
これら二つの関数はガウス関数であり、重みの影響範囲は標準偏差σｘと標準偏差σｐによりコントロールされ、平滑化の強度変えるためのパラメータとなっている。
【００９８】
例えば上記（式５）に従った処理によって、水平方向のノイズ除去処理が実行された画像は、垂直ＮＲ部３０２に入力される。垂直ＮＲ部３０２は、水平ＮＲ部３０１によって水平方向のノイズが除去された画像に対して垂直方向のノイズ除去処理を行う。
【００９９】
図６に示す垂直ＮＲ部３０２は、以下の構成を有する。
ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値更新部３０３、
ＩＩＲフィルタ処理により、補正対象画素の近傍の参照画素の信号値の二乗平均値を算出するＩＩＲ型二乗平均値更新部３０４、
ＩＩＲフィルタ処理により、補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出部３０５、
参照画素の平均値と分散値を入力し、ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行するエッジ保存平滑化処理部３０６、
ＩＩＲ型平均値更新部３０３と、ＩＩＲ型二乗平均値更新部３０４において適用するＩＩＲフィルタ係数を参照画素の信号値に応じて更新するＩＩＲフィルタ係数算出部３０７、
これらの構成を有している。
【０１００】
ＩＩＲ型平均値更新部３０３では、以下に示す（式６）に従って、画素値の垂直方向平均値μ（＾）（ｘ，ｙ）をＩＩＲフィルタによって算出する。
【０１０１】
【数６】
・・・・・（式６）
【０１０２】
上記（式６）において、
γ（ｘ，ｙ）は、ＩＩＲフィルタの係数である。
なお、画素値の垂直方向平均値μ（＾）（ｘ，ｙ）の初期値については、水平ＮＲ部３０１において前述の（式５）に従って算出される（ｙ＝０）位置の水平方向のノイズ除去後の画素値ｐＨＮＲ（ｘ，０）を用いれば良い。
【０１０３】
上記の（式６）は、先に説明した（式４）の
理想的な信号の平均値の近似値：μ（＾）（ｔ）の算出式に対応する。
すなわち、図６に示すＩＩＲ型平均値更新部３０３は、後段のエッジ保存平滑化処理部３０６で実行するウィナーフィルタ適用処理（式２に相当）に用いる理想的な信号の平均値の近似値：μ（＾）（ｔ）を、ＩＩＲフィルタを用いてＩＩＲ型平均値として算出して後段のエッジ保存平滑化処理部３０６に出力する。
なお、算出値は、ＩＩＲ型分散値算出部３０５にも提供される。
【０１０４】
ＩＩＲ型二乗平均値更新部３０４では、以下に示す（式７）に従って、画素値の二乗値の垂直方向平均値η（ｘ，ｙ）をＩＩＲフィルタによって算出する。
【０１０５】
【数７】
・・・・・（式７）
【０１０６】
上記（式７）において、
γ（ｘ，ｙ）は、ＩＩＲフィルタの係数である。
なお、画素値の二乗値の垂直方向平均値η（ｘ，ｙ）の初期値については、水平ＮＲ部３０１において前述の（式５）に従って算出される（ｙ＝０）位置の水平方向のノイズ除去後の画素値ｐＨＮＲ（ｘ，０）を用いて算出する（ｐＨＮＲ（ｘ，０））２を用いれば良い。
【０１０７】
上記の（式７）は、先に説明した（式４）の
信号値の二乗の平均値：η（ｔ）の算出式に対応する。
図６に示すＩＩＲ型二乗平均値更新部３０４は、
【０１０８】
後段のエッジ保存平滑化処理部３０６で実行するウィナーフィルタ適用処理（式２に相当）に用いる理想的な信号の分散値の近似値：σｐ２（＾）（ｔ）を算出するために必要となる（式４）に示す信号値の二乗の平均値：η（ｔ）を算出して図６に示す後段のＩＩＲ型分散値算出部３０５に出力する。
【０１０９】
上記の（式６）と（式７）で用いられているＩＩＲフィルタの係数γ（ｘ，ｙ）については、先に（式４）を参照して説明した通り、例えば、垂直方向のエッジの強度が強い場合にはγ（ｘ，ｙ）を０に近い値とし、エッジの強度が弱い場合には１に近い値とするようにγ（ｘ，ｙ）の値を制御する。このようなγ（ｘ，ｙ）を得る方法についてはどのような方法を用いても構わないが、幾つかの例について後述する。
【０１１０】
図６に示すＩＩＲ型分散値算出部３０５は、
ＩＩＲ型平均値更新部３０３が、上記（式６）に従って算出した画素値の垂直方向平均値μ（＾）（ｘ，ｙ）、
ＩＩＲ型二乗平均値更新部３０４が、上記（式７）に従って算出した画素値の二乗値の垂直方向平均値η（ｘ，ｙ）、
これらの値を入力して、以下に示す（式８）に従って、画素値の垂直方向分散値σｐ２（＾）（ｘ，ｙ）を算出する。
【０１１１】
【数８】
・・・・・（式８）
【０１１２】
上記（式８）において、
σｎ２（ｘ，ｙ）はノイズの分散値を表すが、簡単には画面一律の固定値を与えれば良い。もちろん、Ｃｂ、Ｃｒに重畳されているノイズの素性に関して事前の知識があるならば、σｎ２（ｘ，ｙ）を画素位置に応じて適応的に変化させると、より好ましい。
事前の知識とは、例えばＣｂ、Ｃｒの画素値に対してノイズの分散がどの程度になるのかといった知識である。
【０１１３】
上記の（式８）は、先に説明した（式４）の
理想的な信号の分散値の近似値：σｐ２（＾）（ｔ）の算出式に対応する。
すなわち、図６に示すＩＩＲ型分散値算出部３０５は、後段のエッジ保存平滑化処理部３０６で実行するウィナーフィルタ適用処理（式２に相当）に用いる理想的な信号の分散値の近似値：σｐ２（＾）（ｔ）を、ＩＩＲフィルタを用いてＩＩＲ型分散値として算出して後段のエッジ保存平滑化処理部３０６に出力する。
なお、算出値は、ＩＩＲフィルタ係数算出部３０７にも提供される。
【０１１４】
エッジ保存平滑化処理部３０６では、
水平ＮＲ部３０１の出力：ｐＨＮＲ（ｘ，ｙ）と、
ＩＩＲ型平均値更新部３０３が、上記（式６）に従って算出した画素値の垂直方向平均値：μ（＾）（ｘ，ｙ）と、
ＩＩＲ型分散値算出部３０５が、上記（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ）、
これらを入力して垂直方向のエッジ保存平滑化処理を行い、垂直方向のノイズを除去する。
垂直方向のエッジ保存平滑化処理は、以下に示す（式９）で表される。
【０１１５】
【数９】
・・・・・（式９）
【０１１６】
上記（式９）において、
μ（＾）（ｘ，ｙ）は、ＩＩＲ型平均値更新部３０３の出力、
ｐＮＲ（ｘ，ｙ）は垂直方向のノイズ除去後の画素値を表す。
β（ｘ，ｙ）は上記の式によって示される［０，１］を値域とする変数、すなわちβ＝０〜１である。
σｐ２（＾）（ｘ，ｙ）は、ＩＩＲ型分散値算出部３０５の出力、
である。
【０１１７】
上記（式９）は、先に説明した（式２）と同様のウィナーフィルタによる信号処理に相当する。
【０１１８】
エッジ保存平滑化処理部３０６では、このように、
水平ＮＲ部３０１の出力：ｐＨＮＲ（ｘ，ｙ）と、
ＩＩＲ型平均値更新部３０３が、上記（式６）に従って算出した画素値の垂直方向平均値：μ（＾）（ｘ，ｙ）と、
ＩＩＲ型分散値算出部３０５が、上記（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ）、
これらを入力して垂直方向のエッジ保存平滑化処理をウィナーフィルタによる信号処理によって実行し、垂直方向のノイズを除去する。
【０１１９】
すなわち、例えば、エッジ保存平滑化処理部３０６では、ＩＩＲ型平均値更新部３０３の生成する平均値と、補正対象画素の信号値とを、ＩＩＲ型分散値算出部３０５の算出する分散値に応じてブレンドする処理によって補正対象画素の補正後の信号値を算出する。
【０１２０】
なお、ＩＩＲ型平均値更新部３０３の生成する平均値と、補正対象画素の信号値とのブレンド処理の具体的なブレンド処理の態様としては、以下の態様がある。
ＩＩＲ型分散値算出部３０５の算出する分散値をｖ１とし、
エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、
ブレンド比を（ｖ１−ｖ２）／ｖ２として設定したブレンド処理を実行する。
あるいは、
ＩＩＲ型分散値算出部３０５の算出する分散値をｖ１とし、
エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、
ブレンド比をｖ１／（ｖ１＋ｖ２）として設定したブレンド処理を実行する。
このような態様のブレンド処理により補正画素値を算出する。
【０１２１】
ＩＩＲフィルタ係数算出部３０７では、
ＩＩＲ型分散値算出部３０５が、上記（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ−１）、
を入力し、エッジ強度に基づいてＩＩＲフィルタの係数γ（ｘ，ｙ）を算出する。ここでは（ｘ，ｙ−１）の画素位置で算出された垂直方向分散値をエッジ強度の指標として用い、以下に示す（式１０）によりγ（ｘ，ｙ）を算出する。
【０１２２】
【数１０】
・・・・・（式１０）
【０１２３】
上記（式１０）において、
ｓはエッジに対する感度をコントロールするチューニングパラメータである。
【０１２４】
ＩＩＲフィルタ係数算出部３０７が上記（式１０）に従って算出したＩＩＲフィルタ係数：γ（ｘ，ｙ）は、図６に示す
ＩＩＲ型平均値更新部３０３、
ＩＩＲ型二乗平均値更新部３０４、
に提供される。
ＩＩＲ型平均値更新部３０３では、先に説明した（式６）に従って、新たに算出されたＩＩＲフィルタ係数：γ（ｘ，ｙ）を適用してＩＩＲ型平均値：μ（＾）（ｘ，ｙ）を算出する。
ＩＩＲ型二乗平均値更新部３０４では、先に説明した（式７）に従って、新たに算出されたＩＩＲフィルタ係数：γ（ｘ，ｙ）を適用してＩＩＲ型二乗平均値：値η（ｘ，ｙ）を算出する。
【０１２５】
なお、上記の（式１０）は、ＩＩＲフィルタの係数γ（ｘ，ｙ）を求める一例である。
ＩＩＲフィルタの係数γ（ｘ，ｙ）を求める処理としては、この他にも、以下に示す処理が可能である。
例えば、以下の（式１１）に示すように画素値と画素値の平均値の差分を用いた処理が適用可能である。
【０１２６】
【数１１】
・・・・・（式１１）
【０１２７】
上記（式１１）において、
ｔはエッジに対する感度をコントロールするチューニングパラメータである。
【０１２８】
また、以下に示す（式１２）のように隣接する画素間の画素値の差分を用いた処理が可能である。
【０１２９】
【数１２】
・・・・・（式１２）
【０１３０】
上記（式１２）において、
ｕはエッジに対する感度をコントロールするチューニングパラメータである。
このように、ＩＩＲフィルタの係数γ（ｘ，ｙ）を求める処理としては、様々な方法が考えられる。
【０１３１】
このように、ＩＩＲフィルタ係数算出部３０７は、
ＩＩＲ型分散値算出部の算出する分散値に応じて、新たなＩＩＲフィルタ係数を順次算出する処理、
補正対象画素の信号値と、ＩＩＲ型平均値算出部の算出した平均値の差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する処理、
補正対象画素の信号値と、過去の入力画素の信号値との差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する処理、
これらの様々な処理態様でＩＩＲフィルタ係数を順次算出する設定とすることが可能である。
【０１３２】
なお、上記の（式１１）や（式１２）を用いる場合は、ＩＩＲフィルタ係数算出部３０７へ入力される信号を（式１１）や（式１２）で必要とされるもの変えれば良い。
このように、ＩＩＲフィルタ係数γ（ｘ，ｙ）を求める方法は各種あり、（式１０）の場合は、水平ＮＲ部３０１の出力中、画素位置（ｘ，ｙ−１）以前の信号、すなわちｐＨＮＲ（ｘ，ｙ−１）以前の信号しか用いていないが、（式１１）や（式１２）のように現在の信号ｐＨＮＲ（ｘ，ｙ）を含めても良い。
【０１３３】
以上の実施例に従えば、図４に示されるＣｂＣｒ画像に重畳されているノイズを、エッジ保存平滑化処理を用いて除去することができる。
【０１３４】
なお、図６を参照して説明した処理例では、垂直方向のみに対する処理例を実行する例を説明したが、水平方向、垂直方向のいずれか一方、または双方に対して同様の処理を適用する構成としてもよい。
また、処理対象画像として、輝度信号画像と色信号画像を個別に入力し、各画像においてエッジ保存平滑化の強度を変更した処理を実行する構成としてもよい。
【０１３５】
ここまで、図６に示される全体図に基づいてＣｂＣｒ画像に対するエッジ保存平滑化処理の説明を行ってきたが、カメラ信号処理に適した形で実現するのに適した構成を図７に示す。
【０１３６】
図７はメモリ部を明示した図としている。すなわち、
水平ＮＲ部４０１の前段に設定された水平方向画素値バッファ４０１、
ＩＩＲ型平均値更新部４０４に対応して設定され、ＩＩＲ型平均値を保持する平均値保持メモリ４０５、
ＩＩＲ型二乗平均値更新部４０６に対応して設定され、ＩＩＲ型二乗平均値を保持する二乗平均値保持メモリ４０７、
これらのメモリである。
カメラ信号処理ではメモリの大きさが回路規模に対して支配的であることから、なるべくメモリの使用量を減らした構成を使用することが好ましい。
【０１３７】
入力画像はラスタスキャン順で一画素ずつ入力されるものとする。
入力された画素は水平方向画素値バッファ４０１を用いて、水平ＮＲ部４０２の処理で必要な画素の個数分、画素値がバッファリングされる。
このような水平方向の遅延処理は小規模な回路で実現できる。
【０１３８】
水平ＮＲ部４０２で行われる処理内容は、前述の図６を参照して説明した水平ＮＲ部３０１と同じ処理である。
垂直ＮＲ部４０３は前述の図６を参照して説明した垂直ＮＲ部３０２と比べると分散値を算出する処理ブロックが一つ増えている。
すなわち、ＩＩＲ型分散値算出部１，４０８と、ＩＩＲ型分散値算出部２，４１０を有する。
【０１３９】
この理由は、以下の通りである。
図６を参照して説明した垂直ＮＲ部３０２の構成では画素位置（ｘ，ｙ−１）で計算されたＩＩＲフィルタの係数を、画素位置（ｘ，ｙ）における垂直方向エッジ保存平滑化処理を行うまでメモリに保存しておく必要がある。
【０１４０】
すなわち、図６に示すＩＩＲフィルタ係数算出部３０７は、図６に示すＩＩＲ型分散値算出部３０５が、前述の（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ−１）を入力し、エッジ強度に基づいてＩＩＲフィルタの係数γ（ｘ，ｙ）を算出する。例えば、（ｘ，ｙ−１）の画素位置で算出された分散値をエッジ強度の指標として用い、先に説明した（式１０）によりＩＩＲフィルタの係数：γ（ｘ，ｙ）を算出する。
この処理を行うために、画素位置（ｘ，ｙ−１）で計算されたＩＩＲフィルタの係数を、画素位置（ｘ，ｙ）における垂直方向エッジ保存平滑化処理を行うまでメモリに保存しておく必要がある。
【０１４１】
図７に示す構成では、この画素位置（ｘ，ｙ−１）で計算されたＩＩＲフィルタの係数を格納する個別のメモリを利用せず、ＩＩＲ型分散値算出部１，４０８で画素位置（ｘ，ｙ−１）における分散値：σｐ２（＾）（ｘ，ｙ−１）を算出してＩＩＲフィルタ係数算出部４０９に提供する構成としている。
【０１４２】
すなわち、
ＩＩＲ型分散値算出部１，４０８では、画素位置（ｘ，ｙ−１）における分散値：σｐ２（＾）（ｘ，ｙ−１）を算出してＩＩＲフィルタ係数算出部４０９に提供する。
ＩＩＲ型分散値算出部２，４１０では、画素位置（ｘ，ｙ）における分散値：σｐ２（＾）（ｘ，ｙ）を算出してエッジ保存平滑化処理部４１１に提供する。
このような構成としてメモリを削減している。
このように、分散値算出ブロックを一つ追加して、（ｘ，ｙ−１）で計算されるはずだったＩＩＲフィルタの係数を（ｘ，ｙ）で計算する構成として回路規模を小さくしている。
【０１４３】
ＩＩＲ型平均値更新部４０４の処理内容は、先に図６を参照して説明したＩＩＲ型平均値更新部３０３と同じである。
なお、画素位置（ｘ，ｙ）における平均値を算出するためには、画素位置（ｘ，ｙ−１）における平均値が必要となる。
このような垂直方向に一画素前の平均値を保持しておくために、平均値保持ラインメモリ４０５が用いられる。
【０１４４】
ＩＩＲ型二乗平均値更新部４０６の処理内容は、先に図６を参照して説明したＩＩＲ型二乗平均値更新部３０４と同じである。
画素（ｘ，ｙ）における二乗平均値を算出するためには、画素（ｘ，ｙ−１）における二乗平均値が必要となる。
このような垂直方向に一画素前の二乗平均値を保持しておくために、二乗平均値保持ラインメモリ４０７が用いられる。
【０１４５】
ＩＩＲ型分散値算出部１，４０８の処理内容は、先に図６を参照して説明したＩＩＲ型分散値更新部３０５と同じである。
ＩＩＲフィルタ係数算出部４０９で行われる処理内容は、先に図６を参照して説明したＩＩＲフィルタ係数算出部３０７と同じである。
ＩＩＲ型分散値算出部２，４１０の処理内容は、先に図６を参照して説明したＩＩＲ型分散値更新部３０５と同じである。
エッジ保存平滑化処理部４１１の処理内容は、先に図６を参照して説明したエッジ保存平滑化処理部３０６と同じである。
【０１４６】
図７の構成に従うと、容量の大きなメモリは画素値の垂直方向平均値μ（＾）（ｘ，ｙ）と画素値の二乗の垂直方向平均値η（ｘ，ｙ）の値を保持するために必要なラインメモリだけになる。
【０１４７】
画素値の平均値は画素値と同じ語長があれば十分に表現でき、画素値の二乗の平均値は画素値の二倍の語長があれば十分に表現できることから、これらのラインメモリの回路規模は、カメラ信号処理におけるディレイライン三本分に相当する。
これは、カメラ信号処理全体の回路規模に対して、リーズブルな規模である。
【０１４８】
また、演算部における回路規模も、二次元の等方向フィルタを用いる場合に比べて、より小さくなる傾向が強い。
なぜなら、一つの画素に対するエッジ保存平滑化処理で用いられる周辺画素が水平Ｎ画素、垂直Ｎ画素の局所領域内に存在する画素であるとすると、二次元のフィルタの演算量のオーダがＯ（Ｎ２）になるのに対し、本発明のように、水平・垂直の二方向に分離されたフィルタの演算量のオーダはＯ（Ｎ）になるからである。
【０１４９】
［４．画像処理シーケンスについて］
次に、図５に示す撮像装置の信号処理部（ＤＳＰ）２０６において実行する処理シーケンスについて、図８に示すフローチャートを参照して説明する。
【０１５０】
図８に示すフローチャートの処理は、図５に示す撮像装置の信号処理部（ＤＳＰ）２０６において実行される。
例えば、ＤＳＰ２０６のＣＰＵ等の演算ユニットが、入力画像信号のストリームに対してメモリに格納されたプログラムに従って演算を順次実行することで処理が行われる。
【０１５１】
図８に示すフローの各ステップの処理について説明する。
まず、ステップＳ１０１において、ＩＩＲ型平均値更新処理を実行する。
この処理は、例えば図６に示すＩＩＲ型平均値更新部３０３の実行する処理である。
ＩＩＲ型平均値更新部３０３では、先に説明した（式６）に従って、画素値の平均値μ（＾）（ｘ，ｙ）をＩＩＲフィルタによって算出する。
【０１５２】
なお、図６を参照して説明した処理では、垂直方向ＮＲ部３０２において垂直方向の画素に対する処理を行う構成例として説明したが、ノイズ低減処理として実行するＮＲ処理は、画素配列や画素入力順に応じた処理として実行可能であり、垂直方向に限らず、水平方向に対する処理として実行することも可能であり、図８に示すフローの説明においては方向については限定しない処理として説明する。
【０１５３】
次にステップＳ１０２において、ＩＩＲ型二乗平均値更新処理を実行する。
この処理は、例えば図６に示すＩＩＲ型二乗平均値更新部３０４の実行する処理である。
ＩＩＲ型二乗平均値更新部３０４では、先に説明した（式７）に従って、画素値の二乗値の平均値η（ｘ，ｙ）をＩＩＲフィルタによって算出する。
【０１５４】
次に、ステップＳ１０３において、ＩＩＲ型分散値算出処理を実行する。
この処理は、例えば図６に示すＩＩＲ型分散値算出部３０５の実行する処理である。
ＩＩＲ型分散値算出部３０５は、
ＩＩＲ型平均値更新部３０３が、ステップＳ１０１において先に説明した（式６）に従って算出した画素値の平均値μ（＾）（ｘ，ｙ）、
ＩＩＲ型二乗平均値更新部３０４が、ステップＳ１０２において先に説明した（式７）に従って算出した画素値の二乗値の平均値η（ｘ，ｙ）、
これらの値を入力して、前述の（式８）に従って、画素値の分散値σｐ２（＾）（ｘ，ｙ）を算出する。
【０１５５】
次に、ステップＳ１０４において、エッジ保存平滑処理を実行する。
この処理は、例えば図６に示すエッジ保存平滑化処理部３０６の実行する処理である。
エッジ保存平滑化処理部３０６では、処理対象となる画素ｐＨＮＲ（ｘ，ｙ）と、
ＩＩＲ型平均値更新部３０３が、ステップＳ１０１において前述の（式６）に従って算出した画素値の平均値：μ（＾）（ｘ，ｙ）と、
ＩＩＲ型分散値算出部３０５が、ステップＳ１０３において、前述の（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ）、
これらを入力してエッジ保存平滑化処理を行い、ノイズを除去する。
なお、エッジ保存平滑化処理は、先に説明した（式９）、すなわちウィナーフィルタの適用処理として実行される。
【０１５６】
ステップＳ１０５の処理は、ＩＩＲフィルタ係数算出処理である。
この処理は、図６に示すＩＩＲフィルタ係数算出部３０７において実行される。
ＩＩＲフィルタ係数算出部３０７では、
ＩＩＲ型分散値算出部３０５が、ステップＳ１０３において、前述の（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ−１）を入力し、エッジ強度に基づいてＩＩＲフィルタの係数γ（ｘ，ｙ）を算出する。例えば、（ｘ，ｙ−１）の画素位置で算出された分散値をエッジ強度の指標として用い、先に説明した（式１０）によりＩＩＲフィルタの係数：γ（ｘ，ｙ）を算出する。
【０１５７】
ＩＩＲフィルタ係数算出部３０７が（式１０）に従って算出したＩＩＲフィルタ係数：γ（ｘ，ｙ）は、図６に示すＩＩＲ型平均値更新部３０３と、ＩＩＲ型二乗平均値更新部３０４に提供される。次の画素の処理に対して新たな係数を適用した処理を行う。
すなわち、ＩＩＲ型平均値更新部３０３では、先に説明した（式６）に従って、新たに算出されたＩＩＲフィルタ係数：γ（ｘ，ｙ）を適用してＩＩＲ型平均値：μ（＾）（ｘ，ｙ）を算出する。
ＩＩＲ型二乗平均値更新部３０４では、先に説明した（式７）に従って、新たに算出されたＩＩＲフィルタ係数：γ（ｘ，ｙ）を適用してＩＩＲ型二乗平均値：値η（ｘ，ｙ）を算出する。
【０１５８】
ステップＳ１０６において、全画素の処理が終了したか否かを判定し、未処理画素がある場合は、未処理画素について、ステップＳ１０１以下の処理を繰り返し実行する。
ステップＳ１０６において、全画素の処理が終了したと判定すると処理を終了する。
【０１５９】
［５．その他の実施例について］
次に、上述した実施例の変更例について説明する。
上述した実施例では水平方向のノイズ除去を行った後に垂直方向のノイズ除去を行っている構成として説明したが、これら二つのノイズ除去処理の順番は逆であっても構わない。
また、上述の実施例では水平方向のノイズ除去と垂直方向のノイズ除去処理を各１回ずつ行っているが、さらに多くの回数を行っても構わない。
【０１６０】
なお、図６に示すエッジ保存平滑化処理部３０６では、先に（式９）を参照したように、ウィナーフィルタの適用処理を行っているが、ウィナーフィルタと同等の効果が得られるその他のフィルタを適用してもよい。
【０１６１】
図６に示すエッジ保存平滑化処理部３０６では、ＩＩＲ型分散値算出部３０５が前述の（式８）に従って算出した分散値を適用してエッジ保存平滑化処理を実行しているが、（式９）で用いられている分散値：σｐ２（＾）（ｘ，ｙ）が、ノイズが重畳した信号値である場合、例えば、以下の（式１３）によって算出される分散値をエッジ保存平滑化処理部３０６に入力して、所定のフィルタリング処理を行ってエッジ保存平滑化処理を行う構成としてもよい。
【０１６２】
【数１３】
・・・・・（式１３）
【０１６３】
なお、ウィナーフィルタに基づいた処理であっても、その他の処理であっても、信号値の分散を算出するためには、信号値の二乗の平均値を記憶しておかなければならない。この記憶にかかるコストを削減するために、分散値：σｐ２（＾）（ｘ，ｙ）の近似値の計算方法として、以下に示す（式１４）を用いても良い。
【０１６４】
【数１４】
・・・・・（式１４）
【０１６５】
なお、ノイズの分散値は重畳されているノイズの素性に応じて適切なものを設定しなければならないが、信号が撮像素子で撮影された画像である場合、理想的な画素値とノイズの分散値の間に強い相関が存在することが知られている。
この相関を表す最も簡単なモデルは、例えば文献（Ａ．Ｂｏｓｃｏ，ｅｔ ａｌ．，"Ｓｉｇｎａｌ ｄｅｐｅｎｄｅｎｔ ｒａｗ ｉｍａｇｅ ｄｅｎｏｉｓｉｎｇ ｕｓｉｎｇ ｓｅｎｓｏｒ ｎｏｉｓｅ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｖｉａ ｍｕｌｔｉｐｌｅ ａｃｑｕｉｓｉｔｉｏｎｓ"，ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ， ２０１０）で述べられているように、画素値と分散値が線形関係にあるというものである。
【０１６６】
ここでも理想的な画素値は不明であるため、画素値の近似値としてμ（＾）（ｘ，ｙ）を用いると、ノイズの分散値：σｎ２（ｘ，ｙ）の近似値は、以下に示す（式１５）を用いて算出することができる。
【０１６７】
【数１５】
・・・・・（式１５）
【０１６８】
上記（式１５）において、
ａ，ｂはモデルを表す係数で、事前に計測により求められる。
入力画像がＡ／Ｄ変換部２０５から入力された直後の画像であり、かつ、垂直方向エッジ保存平滑化処理が、水平方向エッジ保存平滑化処理よりも先に行われる場合は、このようなノイズモデルを用いることができる。
【０１６９】
また、画像に複数の色が含まれている場合、ある色のエッジ保存平滑化処理で計算された計算結果を他の色の計算に用いても良い。これは異なる色の間で信号に相関があるからである。
例えば、色空間がＹＣｂＣｒの場合にはＣｂ、Ｃｒ信号と比較して、Ｙ信号の方が明瞭なエッジが存在し、ノイズが少ないことが多い。
そのため、Ｙ信号で計算された計算結果をＣｂ，Ｃｒ信号の処理に用いることで処理性能を上げることができる。
転用できる計算結果としては、例えば、先に説明した（式９）の係数β（ｘ，ｙ）が挙げられる。
【０１７０】
なお、先に説明した図２、図３に示される色のモザイク画像に対して垂直方向のエッジ保存平滑化処理を行う場合は、図４（ｂ）に示すＣｂＣｒ画像に対して処理する場合と異なり、一つの列に複数の色が含まれている。
そのような場合には、図７で示されている平均値保持ラインメモリ４０５や二乗平均値保持ラインメモリ４０７をそれぞれの色に対して一つずつ用いれば良い。
また、図２、図３に示される色のモザイク画像は一例であり、他の色配列に対しても本発明を適用することができる。
【０１７１】
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１７２】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値算出部と、
ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出部と、
前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行するエッジ保存平滑化処理部と、
前記ＩＩＲ型平均値算出部と、前記ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する画像処理装置。
【０１７３】
（２）前記エッジ保存平滑化処理部は、ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する前記（１）に記載の画像処理装置。
（３）前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とを、前記ＩＩＲ型分散値算出部の算出する分散値に応じてブレンドする処理によって前記補正対象画素の補正後の信号値を算出する前記（１）または（２）に記載の画像処理装置。
（４）前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、ブレンド比を（ｖ１−ｖ２）／ｖ２として設定したブレンド処理を実行する前記（１）〜（３）いずれかに記載の画像処理装置。
【０１７４】
（５）前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、
ブレンド比をｖ１／（ｖ１＋ｖ２）として設定したブレンド処理を実行する前記（１）〜（３）いずれかに記載の画像処理装置。
【０１７５】
（６）前記ＩＩＲフィルタ係数算出部は、入力信号値に応じて、新たなＩＩＲフィルタ係数を順次算出する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記ＩＩＲフィルタ係数算出部は、前記ＩＩＲ型分散値算出部の算出する分散値に応じて、新たなＩＩＲフィルタ係数を順次算出する前記（１）〜（６）いずれかに記載の画像処理装置。
【０１７６】
（８）前記ＩＩＲフィルタ係数算出部は、補正対象画素の信号値と、ＩＩＲ型平均値算出部の算出した平均値の差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する前記（１）〜（６）いずれかに記載の画像処理装置。
（９）前記ＩＩＲフィルタ係数算出部は、補正対象画素の信号値と、過去の入力画素の信号値との差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する前記（１）〜（６）いずれかに記載の画像処理装置。
【０１７７】
（１０）前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用する前記（１）〜（９）いずれかに記載の画像処理装置。
（１１）前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用し、他の方向に等方的なエッジ保存平滑化処理を実行する前記（１）〜（１０）いずれかに記載の画像処理装置。
（１２）前記画像処理装置は、処理対象画像として、輝度信号画像と色信号画像を個別に入力し、各画像においてエッジ保存平滑化の強度を変更した処理を実行する前記（１）〜（１１）いずれかに記載の画像処理装置。
【０１７８】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１７９】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１８０】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１８１】
以上、説明したように、本開示の一実施例によれば、画像のノイズを低減する装置、方法が実現される。
具体的には、例えば、ＩＩＲフィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値と、分散値を算出し、算出した平均値と分散値を入力してウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する。さらに、ＩＩＲ型平均値算出部と、ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を画像の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する。ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理に用いるパラメータをＩＩＲフィルタ適用処理によって算出し、ＩＩＲ適用処理に用いるフィルタ係数を適応的に変更することで画像信号に応じたノイズ低減処理が実現される。
【符号の説明】
【０１８２】
２０１ レンズ
２０２ 絞り
２０３ 撮像素子
２０４ 相関２重サンプリング回路（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）
２０５ Ａ／Ｄコンバータ
２０６ 信号処理部（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
２０７ タイミングジェネレータ（ＴＧ）
２０８ Ｄ／Ａコンバータ
２０９ ビデオエンコーダ（Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ）
２１０ ビデオモニタ（Ｖｉｄｅｏ Ｍｏｎｉｔｏｒ）
２１１ ＣＯＤＥＣ（コーデック）
２１２ メモリ
２１３ ＣＰＵ
２１４ 入力デバイス（Ｉｎｐｕｔ Ｄｅｖｉｃｅ）
３０１ 水平ＮＲ部
３０２ 垂直ＮＲ部
３０３ ＩＩＲ型平均値更新部
３０４ ＩＩＲ型二乗平均値算出部
３０５ ＩＩＲ型分散値算出部
３０６ エッジ保存平滑化処理部
３０７ ＩＩＲ型フィルタ係数算出部
４０１ 水平方向画素値バッファ
４０２ 水平ＮＲ部
４０３ 垂直ＮＲ部
４０４ ＩＩＲ型平均値更新部
４０５ 平均値保持ラインメモリ
４０６ ＩＩＲ型二乗平均値算出部
４０７ 二乗平均値保持ラインメモリ
４０８ ＩＩＲ型分散値算出部１
４０９ ＩＩＲ型フィルタ係数算出部
４１０ ＩＩＲ型分散値算出部１
４１１ エッジ保存平滑化処理部
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像に含まれるノイズの除去を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像からノイズを取り除く技術として、画像に対してフィルタを施す処理が知られている。例えば、メディアンフィルタやＷｉｅｎｅｒ（ウィナー）フィルタのような古典的な画像処理技術を始めとして、様々な手法が提案されてきた。
近年、広く用いられている手法としては、Ｂｉｌａｔｅｒａｌ（バイラテラル）フィルタや、ＮＬ−Ｍｅａｎｓ（ノンローカルミーンズ）フィルタなどがある。
【０００３】
Ｂｉｌａｔｅｒａｌ（バイラテラル）フィルタについては、例えば非特許文献１（Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｒ．Ｍａｎｄｕｃｈｉ，"Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９８）に記載がある。
【０００４】
ＮＬ−Ｍｅａｎｓ（ノンローカルミーンズ）フィルタについては、例えば非特許文献２（Ａ．Ｂｕａｄｅｓ，Ｂ．Ｃｏｌｌ， ａｎｄ Ｊ．Ｍ．Ｍｏｒｅｌ，"Ａ Ｎｏｎ Ｌｏｃａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ，"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００５）に記載されている。
【０００５】
これらのフィルタ適用処理は、いずれの手法も、ノイズ除去対象とする注目画素の周辺に存在する周辺画素を参照画素として、参照画素の複数の画素値を例えば加算平均した値等を利用して、注目画素の画素値を補正する処理である。
【０００６】
従来手法では、周辺画素は注目画素位置を中心とした矩形領域内から選ばれることが多い。等方的な領域の信号を用いてフィルタ処理を行うと、処理後の画像に位相のずれが生じにくく、視覚的に好ましい画像が得られるからである。
【０００７】
一方、一般的なカメラの信号処理部、すなわち、撮像素子の出力信号に対する信号処理を実行するカメラ信号処理部は、例えば撮像素子から先行して読み出された行単位の画素値を格納するディレイラインと呼ばれる一種のメモリを有し、メモリ格納データを含む所定の局所領域の画素データを参照しながら、画素値補正等、各種の信号処理を行うのが一般的である。
【０００８】
この多くのカメラにおいて用いられるディレイラインを用いて前述のバイラテラルフィルタに類似した「エッジ保存平滑化処理」を実行する手段を、ノイズ除去手段として実装する構成についても提案されている。
なお、「エッジ保存平滑化処理」とは、原理的にはローパスフィルタの適用処理であり、平滑化の強度はローパスフィルタのカットオフ周波数によってコントロールすることができる。
【０００９】
カットオフ周波数を下げることで、平滑化の強度を上げることができるが、カットオフ周波数の低いフィルタを実現するためには、注目画素に対してより遠くの位置の画素値を参照しなければならない。カメラ信号処理において遠くの画素を参照するということは、注目画素から離れた画素の画素値を保持しておくことが必要となり、結果としてより多くのディレイラインとしてのメモリが必要になるということである。
つまり、高性能なノイズ除去処理を実現するためには、必然的にハードウェアコストが上昇するという問題があった。
【００１０】
広い領域を参照する代償としてハードウェアコストが上昇する問題を、ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ（無限インパルス応答））フィルタを利用して解決しようとする方法が、例えば特許文献１（特開２００１−３６７６９号公報）、特許文献２（特開２００５−１８４７８６号公報）、特許文献３（特開２００５−２８６６７８号公報）、特許文献４（特開２０１０−８１４９７号公報）等で提案されている。
【００１１】
ＩＩＲフィルタとは、時系列に沿って入力される信号に対して、現在の信号とそれよりも過去の信号のみを参照した処理として行われるフィルタ処理である。
なお、以下に説明する本開示に従った処理では一次ＩＩＲフィルタを用いて説明を行う。ＩＩＲフィルタを画像処理で用いる場合、注目画素に対して非等方的な領域の画素を用いて処理が行われることになる。
その為、位相のずれが生じやすく、特定の方向に画像のエッジがにじむという問題が発生しやすい。位相ずれを抑制する方法としては、エッジ部において平滑化の強度を弱めるという方法が効果的であり、従来技術でも何らかの方法でそれを実現している。
【００１２】
しかし、従来技術では平滑化強度のコントロールが不十分であるという問題があった。ＩＩＲフィルタによるエッジ保存平滑化処理の原理は、ＩＩＲフィルタを用いて信号の低周波成分を算出し、元信号のエッジ強度に応じて元信号をブレンドするというものである。
【００１３】
信号に明確なエッジが存在する場合には元信号をより多くブレンドすることで、エッジが保存される。
逆に、明確なエッジが存在しない場合には、元信号をなるべくブレンドしないことで、信号の低周波成分のみが得られ、平滑化が行われる。
このような処理を行うことで信号の平坦部における小さな振幅（＝ノイズ）のみを選択的に抑制することができる。
【００１４】
ＩＩＲフィルタによるエッジ保存平滑化処理のより具体的な説明を、以下に示す式１を参照して行う。
【００１５】
【数１】
・・・・・（式１）
【００１６】
上記（式１）において、
ｔは時刻、
ｐ（ｔ）は信号値（＝補正（ノイズ除去）対象の注目画素の補正前の画素値）、
ｐＩＩＲ（ｔ）はＩＩＲフィルタを用いてエッジ保存平滑化された信号（＝注目画素の補正後の画素値）、
を表す。
【００１７】
α（ｔ）は［０，１］を値域とする変数、すなわちα＝０〜１であり、エッジの強度が強いほど値が大きくなるように適応的に変更される。
この変数α（ｔ）はエッジ強度に応じて連続的に変化することが好ましい。なぜならば、エッジ検出における不連続な変化は、平滑化強度の極端な変化を引き起こし、視覚的に好ましくないからである。
【００１８】
従来技術の問題は、変数α（ｔ）の決め方がアドホックであるために、十分な性能が出せなかったり、エッジ検出における不連続な変化が画質の劣化を招いていたりする点が挙げられる。
【００１９】
前述の特許文献１（特開２００１−３６７６９号公報）や、特許文献２（特開２００５−１８４７８６号公報）では、エッジ検出において、エッジであるかそうでないかの二値に分類しているため、処理の切り替わりが視覚的に目立つという問題がある。
また、前述の特許文献３（特開２００５−２８６６７８号公報）や、特許文献４（特開２０１０−８１４９７号公報）では、上記の（式１）に相当する方法を用いてエッジ保存平滑化処理を行っているが、α（ｔ）を決める際に恣意的に決めた折れ線を用いているため十分にエッジが保存されるとは限らないという問題がある。
【先行技術文献】
【特許文献】
【００２０】
【特許文献１】特開２００１−３６７６９号公報
【特許文献２】特開２００５−１８４７８６号公報
【特許文献３】特開２００５−２８６６７８号公報
【特許文献４】特開２０１０−８１４９７号公報
【非特許文献】
【００２１】
【非特許文献１】Ｃ．Ｔｏｍａｓｉ ａｎｄ Ｒ．Ｍａｎｄｕｃｈｉ，"Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒｉｎｇ ｆｏｒ Ｇｒａｙ ａｎｄ Ｃｏｌｏｒ Ｉｍａｇｅｓ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１９９８
【非特許文献２】Ａ．Ｂｕａｄｅｓ，Ｂ．Ｃｏｌｌ， ａｎｄ Ｊ．Ｍ．Ｍｏｒｅｌ，"Ａ Ｎｏｎ Ｌｏｃａｌ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｉｍａｇｅ Ｄｅｎｏｉｓｉｎｇ，"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００５
【発明の概要】
【発明が解決しようとする課題】
【００２２】
本開示は、例えば上記の問題点に鑑みてなされたものであり、画像に含まれるノイズの除去を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２３】
本開示の一実施例においては、ＩＩＲ（無限インパルス応答）フィルタをベースとしたエッジ保存平滑化処理を実行して、小規模な回路でありながら、非常に多くの画素を参照した効果的なノイズ除去を可能とする画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２４】
本開示の第１の側面は、
ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値算出部と、
ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出部と、
前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行するエッジ保存平滑化処理部と、
前記ＩＩＲ型平均値算出部と、前記ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する画像処理装置にある。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記エッジ保存平滑化処理部は、ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とを、前記ＩＩＲ型分散値算出部の算出する分散値に応じてブレンドする処理によって前記補正対象画素の補正後の信号値を算出する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、ブレンド比を（ｖ１−ｖ２）／ｖ２として設定したブレンド処理を実行する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、ブレンド比をｖ１／（ｖ１＋ｖ２）として設定したブレンド処理を実行する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記ＩＩＲフィルタ係数算出部は、入力信号値に応じて、新たなＩＩＲフィルタ係数を順次算出する。
【００３０】
さらに、本開示の画像処理装置の一実施態様において、前記ＩＩＲフィルタ係数算出部は、前記ＩＩＲ型分散値算出部の算出する分散値に応じて、新たなＩＩＲフィルタ係数を順次算出する。
【００３１】
さらに、本開示の画像処理装置の一実施態様において、前記ＩＩＲフィルタ係数算出部は、補正対象画素の信号値と、ＩＩＲ型平均値算出部の算出した平均値の差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する。
【００３２】
さらに、本開示の画像処理装置の一実施態様において、前記ＩＩＲフィルタ係数算出部は、補正対象画素の信号値と、過去の入力画素の信号値との差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する。
【００３３】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用する。
【００３４】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用し、他の方向に等方的なエッジ保存平滑化処理を実行する。
【００３５】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、処理対象画像として、輝度信号画像と色信号画像を個別に入力し、各画像においてエッジ保存平滑化の強度を変更した処理を実行する。
【００３６】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
ＩＩＲ型平均値算出部が、ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値算出ステップと、
ＩＩＲ型分散値算出部が、ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出ステップと、
エッジ保存平滑化処理部が、前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行するエッジ保存平滑化処理ステップと、
ＩＩＲフィルタ係数算出部が、前記ＩＩＲ型平均値算出ステップと、前記ＩＩＲ型分散値算出ステップにおいて適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新するＩＩＲフィルタ係数算出ステップを実行する画像処理方法にある。
【００３７】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
ＩＩＲ型平均値算出部に、ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出させるＩＩＲ型平均値算出ステップと、
ＩＩＲ型分散値算出部に、ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出させるＩＩＲ型分散値算出ステップと、
エッジ保存平滑化処理部に、前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行させるエッジ保存平滑化処理ステップと、
ＩＩＲフィルタ係数算出部に、前記ＩＩＲ型平均値算出ステップと、前記ＩＩＲ型分散値算出ステップにおいて適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新させるＩＩＲフィルタ係数算出ステップを実行させるプログラムにある。
【００３８】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００３９】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００４０】
本開示の一実施例によれば、画像のノイズを低減する装置、方法が実現される。
具体的には、例えば、ＩＩＲフィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値と、分散値を算出し、算出した平均値と分散値を入力してウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する。さらに、ＩＩＲ型平均値算出部と、ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を画像の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する。ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理に用いるパラメータをＩＩＲフィルタ適用処理によって算出し、ＩＩＲ適用処理に用いるフィルタ係数を適応的に変更することで画像信号に応じたノイズ低減処理が実現される。
【図面の簡単な説明】
【００４１】
【図１】ウィナーフィルタとＩＩＲフィルタとを組み合わせた利用処理における問題点について説明する図である。
【図２】Ｂａｙｅｒ（ベイヤー）配列と各信号に対する平滑化処理レベルについて説明する図である。
【図３】ＲＧＢＷ配列と各信号に対する平滑化処理レベルについて説明する図である。
【図４】ＹＣｂＣｒ色空間での処理を行う際のＣｂ、Ｃｒの画素数を半分に間引いて処理を行う場合の画素配列の例について説明する図である。
【図５】本開示の一実施例に係る画像処理装置である撮像装置の構成と処理について説明する図である。
【図６】信号処理部（ＤＳＰ）のノイズ低減処理構成について説明する図である。
【図７】信号処理部（ＤＳＰ）のノイズ低減処理構成について説明する図である。
【図８】信号処理部（ＤＳＰ）のノイズ低減処理のシーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【００４２】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示に従った信号処理の詳細について
２．画像処理装置の構成と処理について
２−１．画像処理装置の全体的な構成例について
２−２．画像処理装置の全体的な動作例について
３．信号処理部の構成と処理の詳細について
４．画像処理シーケンスについて
５．その他の実施例について
６．本開示の構成のまとめ
【００４３】
［１．本開示に従った信号処理の詳細について］
まず、本開示の画像処理装置の実行する信号処理について説明する。
本開示の画像処理装置は、例えばカメラの撮影画像など、所定のノイズを含む信号を入力し、入力信号に対する高性能なエッジ保存平滑化処理を行い、ノイズ低減画像を少ない演算量、小規模な回路で生成することを可能とする。
【００４４】
本開示の画像処理装置における信号処理部、例えば、デジタル信号処理部（ＤＳＰ）では、演算量や回路規模を効果的に削減するためにＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ（無限インパルス応答））フィルタを用いた信号処理を行うが、ＩＩＲフィルタの位相ずれの問題を効果的に抑制し、エッジを正確に保存する処理を実現する。
また、信号が二次元信号である画像の場合、さらに効果的に回路規模を削減し、効果的なエッジ保存を実現する。
【００４５】
これらの課題を解決するために本開示の画像処理装置では、ウィナー（Ｗｉｅｎｅｒ）フィルタとＩＩＲフィルタをベースとしたエッジ保存平滑化処理を実行する。
なお、エッジ保存平滑化処理（ノイズ除去処理）にウィナーフィルタを用いる手法については、非特許文献３（Ｆ．Ｊｉｎ，Ｐ．Ｆｉｅｇｕｔｈ，Ｌ．Ｗｉｎｇｅｒ，ａｎｄ Ｅ．Ｊｅｒｎｉｇａｎ，"Ａｄａｐｔｉｖｅ Ｗｉｅｎｅｒ ｆｉｌｔｅｒｉｎｇ ｏｆ ｎｏｉｓｙ ｉｍａｇｅｓ ａｎｄ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ，"Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， ２００３）を始めとして、複数の先行研究がある。
【００４６】
ノイズ除去対象となる信号とノイズが定常ガウス過程に従う場合、ウィナーフィルタによるノイズ除去処理は最適なフィルタであることが知られている。
さらに信号が白色ガウス過程である場合、ウィナーフィルタによる信号処理は、以下に示す（式２）の形で示すことができる。
【００４７】
【数２】
・・・・・（式２）
【００４８】
上記（式２）において、
ｔは時刻、
ｐ（ｔ）は信号値（＝補正（ノイズ除去）対象の注目画素の補正前の画素値）、
ｐＮＲ（ｔ）はノイズ除去後の信号値（＝補正（ノイズ除去）対象の注目画素の補正後の画素値）、
μ（ｔ）はノイズが重畳していない理想的な信号の平均値、
σｐ２（ｔ）はノイズが重畳していない理想的な信号の分散値、
σｎ２（ｔ）はノイズの分散値、
を表す。
β（ｔ）は上記の式によって示される［０，１］を値域とする変数、すなわちβ＝０〜１である。
【００４９】
もちろん、理想的な信号の値は、予め知ることはできないので、上記の、
μ（ｔ）とσｐ２（ｔ）、
これらの値を正確に知ることはできない。
しかし、以下に示す（式３）を用いて、これらの各値の十分な近似値を得ることはできる。
【００５０】
【数３】
・・・・・（式３）
【００５１】
上記（式３）において、
ｔは時刻、
ｄｔは０近傍の小さな値を取る整数、
ｔ＋ｄｔは時刻ｔ近傍の時刻、
Ｎは積算された信号値の個数、
μ（＾）（ｔ）は理想的な信号の平均値の近似値、σｐ２（＾）（ｔ）は理想的な信号の分散値の近似値、
を表す。
なお、式中で、μやσ等の文字の上部に示している記号［＾］は、文書中では、表記の都合上、μやσ等の文字の次に表記する。すなわち［μ（＾）］等として表記する。
【００５２】
先の（式２）に示す処理に相当するウィナーフィルタで用いられる、
μ（ｔ）：ノイズが重畳していない理想的な信号の平均値、
σｐ２（ｔ）：ノイズが重畳していない理想的な信号の分散値、
これらの値は、上記の（式３）に示す、以下の値、すなわち、
μ（＾）（ｔ）：理想的な信号の平均値の近似値、
σｐ２（＾）（ｔ）：理想的な信号の分散値の近似値、
を利用可能であり、これらは、ＩＩＲフィルタを用いて計算することができる。
ＩＩＲフィルタを用いたμ（＾）（ｔ）とσｐ２（＾）（ｔ）の算出法は、以下に示す（式４）で表される。
【００５３】
【数４】
・・・・・（式４）
【００５４】
上記（式４）において、
η（ｔ）は信号値の二乗の平均値、
γ（ｔ）はＩＩＲフィルタの係数、
を表す。
【００５５】
上記の（式４）を計算するためには、
現在の時刻ｔにおける信号値ｐ（ｔ）と、
過去の時刻ｔ−１における、
理想的な信号の平均値の近似値：μ（＾）（ｔ−１）、
信号値の二乗の平均値：η（ｔ−１）、
これらの値が分かれば良い。
【００５６】
信号値ｐ（ｔ）は時刻ｔにおいて与えられる値であることから、メモリに記憶しておく必要がある値は、
理想的な信号の平均値の近似値：μ（＾）（ｔ−１）、
信号値の二乗の平均値：η（ｔ−１）、
これらの値だけである。
【００５７】
記憶する必要がある値が少ないということは必要となるメモリが少なくなり、実装の軽量化において非常に重要である。
また、（式４）の演算量は、前記の（式３）の演算量よりも格段に少ない。
この点も、実装の軽量化において非常に重要である。
【００５８】
このように、ウィナーフィルタとＩＩＲフィルタを組み合わせてエッジ保存平滑化処理を行うことのメリットは大きいが、
前記の（式４）において利用されるパラメータ、すなわち、
ＩＩＲフィルタの係数γ（ｔ）、
を固定値として計算を行うと、十分なエッジ保存性能が得られないことが多い。
なぜならば、先に（式２）を参照して説明したように、ウィナーフィルタを用いるにあたって、信号が白色ガウス過程であるという仮定を置いているからである。
【００５９】
例えば、図１に示すように入力信号にステップ状の変化がある場合を考える。
図１に示す入力信号１０１は、例えば画像信号のある垂直ラインの画素値を示している。
横軸が時刻、縦軸が信号値、例えば処理信号が画像である場合、画像の１つのラインの輝度等の画素値に相当する。時間ｔ０前後において輝度が大きく変化している。すなわちエッジが存在していることを示す。
【００６０】
実線の曲線からなる入力信号１０１はノイズが重畳された信号、
点線の直線からなる信号１０２は、ノイズを含まない理想的な信号、
を表す。
ｔは現在の時刻、
ｔ０はステップ状に信号が変化を起こす時刻、
を表す。
【００６１】
例えば現在時刻ｔにおいて入力している注目画素Ｐの補正に際して、時刻ｔ０以前の信号を、ウィナーフィルタで用いられる、
μ（＾）（ｔ）：理想的な信号の平均値の近似値、
σｐ２（＾）（ｔ）：理想的な信号の分散値の近似値、
これらの値の計算に用いるということは、白色ガウス過程に反した信号を用いた計算となるので、エッジ保存性能の劣化を招く。
十分な性能を得るためには、μ（＾）（ｔ）とσｐ２（＾）（ｔ）の計算に用いる区間は、ｔ０からｔとすべきである。
すなわち、補正対象とする注目画素との信号値の変化の小さい領域を参照画素領域として選択すべきである。具体的には予め設定したしきい値以下の信号区間を選択するといった処理を行うことが好ましい。
【００６２】
ＩＩＲフィルタの計算では、過去のすべて時刻における信号が現在時刻における計算に影響を及ぼすが、
ＩＩＲフィルタの係数γ（ｔ）、
の値によって、過去の信号の影響をコントロールすることができる。
例えば、図１に示すような信号値の推移を持つ画像信号が入力され、注目画素Ｐに対する補正を行う場合、エッジ部に相当する時刻ｔ０以前の信号の影響を断ち切ることが有効であり、この場合、時刻ｔ０においてγ（ｔ０）の値を０にすれば良い。
【００６３】
つまりウィナーフィルタとＩＩＲフィルタを組み合わせてエッジ保存平滑化処理を行う場合には、エッジの強度に応じてγ（ｔ）の値を適応的に変化させれば良いということであり、時刻ｔにおけるエッジの強度が強い場合にはγ（ｔ）は０に近い値を取り、エッジの強度が弱い場合にγ（ｔ）は１に近い値となるようにγ（ｔ）の値を制御すれば良い。
以上のように構成することで、任意の一次元信号に対して効果的にエッジ保存平滑化処理を適用することができる。
【００６４】
さらに、ノイズ除去処理の対象となる信号が画像である場合について考える。
画像は、基本的に二次元信号なので、二次元信号に対するウィナーフィルタを考えなければならない。具体的手法としては、例えば、注目画素を中心とした等方的な二次元の局所領域に存在する画素値を用いて計算するという方法が挙げられる。しかし、カメラ信号処理のようにディレイラインを用いた画像処理の場合、二次元的に等方のフィルタを実現するコストは非常に高くなる。
【００６５】
そこで、フィルタを水平方向と垂直方向に分解することで、この問題を解決する。
二次元の線形ＦＩＲフィルタでは処理を水平・垂直に分解して、一つの方向に対して一次元フィルタをかけた後、異なる方向に一次元フィルタをかけても、二次元線形ＦＩＲフィルタの結果と一致することが知られている。
本開示の手法では、ＩＩＲを利用したウィナーフィルタなので、水平方向・垂直方向に分解されたフィルタの処理結果は二次元の等方的なウィナー（Ｗｉｅｎｅｒ）フィルタと比べると異なるが、十分な近似値が得られる。
【００６６】
ノイズ除去方法として、以下に示す二種類の方法が存在する。
（１）水平・垂直の両方向共、本開示の手法を適用する。
（２）水平・垂直のいずれかの一方向にのみ本開示の手法を適用する。
後者の方法（２）の場合、本開示の手法が適用されなかった方向の処理に関しては等方的なエッジ保存平滑化処理が用いられることが好ましい。
一般的に、画像処理においては位相のずれが視覚的に目立ちやすいため、等方的なフィルタによる処理が好ましい。
【００６７】
つまり、ディレイラインを要する方向に関しては、実装コストの低い本開示の手法を適用し、ディレイラインを要さない方向に関しては、１次元的に等方的なエッジ保存平滑化を行えば良い。このようにすることで、両方向共に本発明を使うよりは位相のずれが少なく、かつ両方共に等方的なフィルタを用いるよりは実装コストの低いエッジ保存平滑化処理を実現することができる。
【００６８】
画像に対するエッジ保存平滑化処理として、複数の色が含まれたカラー画像にノイズが重畳されており、本開示の手法を適用してノイズを除去する場合を考える。
例えばＲＧＢ画像の場合、最も簡単な処理方法はＲ画像，Ｇ画像，Ｂ画像の三つの画像に対して同じパラメータを用いて処理を行うことである。
【００６９】
しかし、人間の視覚特性を考えると、輝度に重畳されているノイズと、色差に重畳されているノイズは個別に処理を行う方が好ましい。
人間の視覚は輝度の変化には敏感であるが、色差の変化には鈍感である。
その為、ノイズを除去する場合には、輝度に対しては弱い平滑化をかけ、色差に対しては強い平滑化をかけることで、視覚的に効果の高いノイズ除去が可能となる。
【００７０】
例えば、ＲＧＢ画像をＹＣｂＣｒ色空間、Ｌａｂ色空間の様な輝度と色差で表された色空間に変換した後、上記のような態様で処理を行うと効果的である。
すなわち、ＲＧＢ画像をＹＣｂＣｒ色空間に変換した場合は、
輝度信号Ｙに対して、弱い平滑化処理、
色差信号ＣｂＣｒに対して、強い平滑化処理を施す。
また、ＲＧＢ画像をＬａｂ色空間に変換した場合は、
輝度信号Ｌに対して、弱い平滑化処理、
色差信号ａｂに対して、強い平滑化処理を施す。
【００７１】
また、ＲＧＢ色空間に対する適用に際しては、輝度と相関の高いＧ信号に対しては弱い平滑化をかけ、色差に相関の高いＲ，Ｂ信号に対しては強い平滑化をかけると効果的である。
【００７２】
一般的なカメラにおいて信号処理を実行する例えばＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の信号処理部は、撮像素子からモザイク画像、すなわち、各画素位置にＲＧＢのいずれか１つの画素値のみが設定されたモザイク画像を入力して処理を行う。
【００７３】
例えば単板式カラー撮像素子から得られる画像は、図２に示されるＲＧＢ配列からなるＢａｙｅｒ（ベイヤー）配列や、全ての光の波長を透過するＷ（ホワイト）を含めたＲＧＢＷからなる色配列である図３のような色のモザイク画像になっている。
このような色のモザイク画像の場合、画素数が多い色が輝度に相関が強い信号となり、画素数が少ない色が色差に相関が強い信号となるように色配列が決められていることが一般的である。
【００７４】
カメラの信号処理部（ＤＳＰ）は、撮像素子からの入力画像信号が、例えば図２に示されるＢａｙｅｒ（ベイヤー）配列の場合には、Ｇ信号に対して弱い平滑化をかけ、Ｒ、Ｂ信号に対して強い平滑化をかければ良い。
図３に示されるＲＧＢＷ配列の場合には、Ｗ信号に対して弱い平滑化をかけ、Ｒ、Ｇ、Ｂ信号に対して強い平滑化をかければ良い。
このように色信号に応じた処理を行うことで視覚的に効果の高いノイズ低減を行うことができる。
【００７５】
カメラによっては、はＹＣｂＣｒ色空間での処理を行う構成を有するものがあるが、色差に対して視覚が鈍感であることを利用して、Ｃｂ、Ｃｒの画素数が半分に間引かれることがある。
このような場合、信号処理上の都合の良さから、例えば、図４（ａ）に示すように、Ｙは全画素数分の画素値を持ち、図４（ｂ）に示すように、Ｃｂ、Ｃｒは水平方向に互い違いにデータを持つ設定とした輝度信号（Ｙ）と、色差信号（Ｃｂ，Ｃｒ）を生成して処理を行う場合がある。
【００７６】
図４（ｂ）に示す水平方向に互い違いにデータを持つＣｂＣｒ画像や、図２、図３に示される色のモザイク画像のように、一枚の画像に規則的に異なる色が配置されている画像に対して、ディレイラインを用いたカメラ信号処理によるエッジ保存平滑化処理を行う場合を考える。
すなわち、例えば上位行からラスタスキャン順に画素値を撮像素子から読み出して入力し、現在読み出し行（ライン）の前の行（ディレイライン）の画素値をラインメモリに保持して、このメモリに保持された画素値を利用した処理を行う。
【００７７】
ディレイラインを用いたカメラ信号処理はスライディングウインドウ式の処理を基本としており、ラスタスキャン順に一画素ずつ画素が処理される。
つまり、ある回路はあるタイミングである一つの色に対して処理をしていると言える。
このような処理方式を取っている場合、入力される画像内に異なる色が規則的に配置されていると、時分割で同じ回路を共有することができる。
【００７８】
図４（ｂ）に示すＣｂＣｒ画像に対する処理を例として説明を行う。
水平方向で行われる典型的な等方向のエッジ保存平滑化処理では、同色の画素のみを用いて処理を行うために、図４（ｂ）に示す設定では一画素置きに画素値を参照する。
この参照パターンは注目画素の色がＣｂであってもＣｒであっても変わらず、まったく同じ内容の演算が行われるため、ＣｂとＣｒで同じ回路を共有できる。
【００７９】
垂直方向に対して本開示の処理に従ったエッジ保存平滑化処理を行う場合、図４（ｂ）に示すＣｂＣｒ画像は、縦方向には同色が連続しているため、これまで説明してきた一次元信号に対して本発明を適用する場合と同様の処理となる。
【００８０】
ＩＩＲフィルタの計算を行うためには、垂直方向に一画素前の位置で計算された画素値の平均と、画素値の二乗の平均値が必要となる。
これらの値が保存されているメモリの参照位置がノイズ除去対象となっている画素の位置によって変わるが、それ以外の演算に関しては、どの画素位置であっても変わらないため、ＣｂとＣｒで同じ回路を共有できる。
【００８１】
図２や図３に示す画像の場合でも、色配列の規則性を上手く利用すると、図４の場合と同様に異なる色の間で処理を共有することが出来る。
このように、色が規則的に並んでいることを利用して、異なる色が時分割で同じ回路を共有することで、回路規模を削減することができる。
【００８２】
［２．画像処理装置の構成と処理について］
以下、本開示に係る画像処理装置の一実施例として、撮像装置（デジタルスチルカメラ）の構成と処理について説明する。
はじめに全体像の構成及び動作について説明し、その後各部の構成と動作を説明する。最後に本実施例から派生できる本発明の実施例のバリエーションについて言及する。
【００８３】
（２−１．画像処理装置の全体的な構成例について）
図５は、本開示に係る画像処理装置の一実施例である撮像装置（デジタルスチルカメラ）の構成を説明するブロック図である。
図５に示すように、撮像装置は、レンズ２０１、絞り２０２、例えばＣＣＤイメージセンサ等からなる撮像素子２０３、相関２重サンプリング回路（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）２０４、Ａ／Ｄコンバータ２０５、信号処理部（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）２０６、タイミングジェネレータ（ＴＧ）２０７、Ｄ／Ａコンバータ２０８、ビデオエンコーダ（Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ）２０９、ビデオモニタ（Ｖｉｄｅｏ Ｍｏｎｉｔｏｒ）２１０、ＣＯＤＥＣ（コーデック）２１１、メモリ２１２、ＣＰＵ２１３、入力デバイス（Ｉｎｐｕｔ Ｄｅｖｉｃｅ）２１４を有する。
【００８４】
ここで、入力デバイス（Ｉｎｐｕｔ Ｄｅｖｉｃｅ）２１４はカメラ本体にある録画ボタンなどの操作ボタン類をさす。また、信号処理部（ＤＳＰ）２０６は信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対してあらかじめプログラムされた画像処理を行うことができるようになっている。以下信号処理部（ＤＳＰ）２０６は単にＤＳＰ２０６と呼ぶ場合がある。
【００８５】
（２−２．画像処理装置の全体的な動作例について）
本実施例の撮像装置の全体的な動作例について以下、説明する。
レンズ２０１等の光学系を通過して撮像素子２０３に到達した入射光は、まず撮像素子２０３を構成する例えばＣＣＤ撮像面上の各受光素子に到達し、受光素子での光電変換によって電気信号に変換される。
【００８６】
撮像素子２０２の出力する電気信号は、相関２重サンプリング回路（ＣＤＳ）２０４によって初期的なノイズ除去が施され、Ａ／Ｄコンバータ２０５によってデジタイズされた後、信号処理部（ＤＳＰ）２０６中の画像メモリに一時格納されるようになっている。
【００８７】
撮像中の状態においては、一定のフレームレートによる画像取り込みを維持するようにタイミングジェネレータ（ＴＧ）２０７が信号処理系を制御するようになっている。信号処理部（ＤＳＰ）２０６へも一定のレートで画素のストリームが送られ、そこで適切な画像処理がおこなわれた後、画像データはＤ／Ａコンバータ２０８もしくはＣＯＤＥＣ２１１あるいはその両方に送られる。
【００８８】
Ｄ／Ａコンバータ２０８は信号処理部（ＤＳＰ）２０６から送られる画像データをアナログ信号に変換し、それをビデオエンコーダ２０９がビデオ信号に変換し、そのビデオ信号をビデオモニタ２１０でモニタできるようになっている。このビデオモニタ２１０は本実施例においてカメラのファインダの役割を担っている。
【００８９】
また、ＣＯＤＥＣ２１１は信号処理部（ＤＳＰ）２０６から送られる画像データに符号化をおこない、符号化された画像データはメモリ２１２に記録されるようになっている。ここで、メモリ２１２は半導体、磁気記録媒体、光磁気記録媒体、光記録媒体などを用いた記録装置などであってよい。
以上が本実施例の撮像装置のシステム全体の説明である。
【００９０】
［３．信号処理部の構成と処理の詳細について］
図５に示す撮像装置の構成中、先の項目［１．本開示に従った画像処理の詳細について］において説明した信号処理を実行するのは、例えば信号処理部（ＤＳＰ）２０６である。
以下、信号処理部（ＤＳＰ）２０６において実行する信号処理の一例について詳細に説明する。
【００９１】
信号処理部（ＤＳＰ）２０６は、例えば、信号処理部（ＤＳＰ）２０６に対する入力信号ストリームに対して、演算ユニットを用いて所定のプログラム・コードに記述された演算を順次実行する。
以降の説明では、そのプログラム中の各処理単位を機能ブロックとして説明し、また各処理が実行される順序をフローチャートで説明する。しかしながら、本開示に従った信号処理は本実施例で説明するようなプログラムという形態以外にも、以降で説明する機能ブロックと同等の処理を実現するハードウェア回路を実装して実現することも可能である。ハードウェア回路として実装する場合に好適な構成についても合わせて実施例において説明を行う。
【００９２】
図６は、信号処理部（ＤＳＰ）２０６において実行する各機能をブロックとして示した信号処理部（ＤＳＰ）２０６のブロック図である。
なお、一般的に撮像装置の信号処理部（ＤＳＰ）では、様々な信号処理が実行されるが、図６には、本開示のノイズ低減処理に関連する処理構成のみを示している。
【００９３】
以下では、図４（ｂ）に示されるＣｂＣｒ画像に重畳されているノイズを、エッジ保存平滑化処理を用いて除去する例について説明する。
図６に示すように、信号処理部（ＤＳＰ）２０６において実行するノイズ低減処理は、大きく２つの処理に分けられる。
一つ目は、入力画像に対して水平方向のノイズ除去処理を行う水平ＮＲ部３０１による処理であり、二つ目は、垂直方向のノイズ除去処理を行う垂直ＮＲ部３０２ による処理である。
【００９４】
なお、入力画像は、図５に示すＡ／Ｄ変換部２０５から入力される画像であり、デジタル信号値（画素値）が、ラスタスキャン順に入力される。具体的には、例えば上位行から左から右方向に各画素値が入力される。
【００９５】
入力画像の各画素値は、まず、水平ＮＲ部３０１に入力され水平方向のノイズ除去処理が実行される。
水平ＮＲ部３０１については、例えば従来技術として存在する等方的なフィルタを用いたエッジ保存平滑化処理を用いるものとして説明する。
水平ＮＲ部３０１の実行する処理の一例として、一次元Ｂｉｌａｔｅｒａｌ（バイラテラル）フィルタを用いる場合、以下の（式５）に従った画素値変換が実行される。
【００９６】
【数５】
・・・・・（式５）
【００９７】
上記（式５）において、
ｘは水平方向の画素位置、
ｙは垂直方向の画素位置を表す。
ｄｘは偶数値を取る変数である。
ｐ（ｘ，ｙ）はノイズ除去処理前の画素値を表し、
ｐＨＮＲ（ｘ，ｙ）は水平方向のノイズ除去後の画素値を表す。
ここではＣｂ、Ｃｒの二つの異なる色の画素値を区別せずにｐ（ｘ，ｙ）とｐＨＮＲ（ｘ，ｙ）を用いて表している。
ｗｘ（ｄｘ）は空間方向にかけられる重み関数であり、
ｗｐ（ｘ，ｙ，ｄｘ）は画素値方向にかけられる重み関数である。
これら二つの関数はガウス関数であり、重みの影響範囲は標準偏差σｘと標準偏差σｐによりコントロールされ、平滑化の強度変えるためのパラメータとなっている。
【００９８】
例えば上記（式５）に従った処理によって、水平方向のノイズ除去処理が実行された画像は、垂直ＮＲ部３０２に入力される。垂直ＮＲ部３０２は、水平ＮＲ部３０１によって水平方向のノイズが除去された画像に対して垂直方向のノイズ除去処理を行う。
【００９９】
図６に示す垂直ＮＲ部３０２は、以下の構成を有する。
ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値更新部３０３、
ＩＩＲフィルタ処理により、補正対象画素の近傍の参照画素の信号値の二乗平均値を算出するＩＩＲ型二乗平均値更新部３０４、
ＩＩＲフィルタ処理により、補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出部３０５、
参照画素の平均値と分散値を入力し、ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行するエッジ保存平滑化処理部３０６、
ＩＩＲ型平均値更新部３０３と、ＩＩＲ型二乗平均値更新部３０４において適用するＩＩＲフィルタ係数を参照画素の信号値に応じて更新するＩＩＲフィルタ係数算出部３０７、
これらの構成を有している。
【０１００】
ＩＩＲ型平均値更新部３０３では、以下に示す（式６）に従って、画素値の垂直方向平均値μ（＾）（ｘ，ｙ）をＩＩＲフィルタによって算出する。
【０１０１】
【数６】
・・・・・（式６）
【０１０２】
上記（式６）において、
γ（ｘ，ｙ）は、ＩＩＲフィルタの係数である。
なお、画素値の垂直方向平均値μ（＾）（ｘ，ｙ）の初期値については、水平ＮＲ部３０１において前述の（式５）に従って算出される（ｙ＝０）位置の水平方向のノイズ除去後の画素値ｐＨＮＲ（ｘ，０）を用いれば良い。
【０１０３】
上記の（式６）は、先に説明した（式４）の
理想的な信号の平均値の近似値：μ（＾）（ｔ）の算出式に対応する。
すなわち、図６に示すＩＩＲ型平均値更新部３０３は、後段のエッジ保存平滑化処理部３０６で実行するウィナーフィルタ適用処理（式２に相当）に用いる理想的な信号の平均値の近似値：μ（＾）（ｔ）を、ＩＩＲフィルタを用いてＩＩＲ型平均値として算出して後段のエッジ保存平滑化処理部３０６に出力する。
なお、算出値は、ＩＩＲ型分散値算出部３０５にも提供される。
【０１０４】
ＩＩＲ型二乗平均値更新部３０４では、以下に示す（式７）に従って、画素値の二乗値の垂直方向平均値η（ｘ，ｙ）をＩＩＲフィルタによって算出する。
【０１０５】
【数７】
・・・・・（式７）
【０１０６】
上記（式７）において、
γ（ｘ，ｙ）は、ＩＩＲフィルタの係数である。
なお、画素値の二乗値の垂直方向平均値η（ｘ，ｙ）の初期値については、水平ＮＲ部３０１において前述の（式５）に従って算出される（ｙ＝０）位置の水平方向のノイズ除去後の画素値ｐＨＮＲ（ｘ，０）を用いて算出する（ｐＨＮＲ（ｘ，０））２を用いれば良い。
【０１０７】
上記の（式７）は、先に説明した（式４）の
信号値の二乗の平均値：η（ｔ）の算出式に対応する。
図６に示すＩＩＲ型二乗平均値更新部３０４は、
【０１０８】
後段のエッジ保存平滑化処理部３０６で実行するウィナーフィルタ適用処理（式２に相当）に用いる理想的な信号の分散値の近似値：σｐ２（＾）（ｔ）を算出するために必要となる（式４）に示す信号値の二乗の平均値：η（ｔ）を算出して図６に示す後段のＩＩＲ型分散値算出部３０５に出力する。
【０１０９】
上記の（式６）と（式７）で用いられているＩＩＲフィルタの係数γ（ｘ，ｙ）については、先に（式４）を参照して説明した通り、例えば、垂直方向のエッジの強度が強い場合にはγ（ｘ，ｙ）を０に近い値とし、エッジの強度が弱い場合には１に近い値とするようにγ（ｘ，ｙ）の値を制御する。このようなγ（ｘ，ｙ）を得る方法についてはどのような方法を用いても構わないが、幾つかの例について後述する。
【０１１０】
図６に示すＩＩＲ型分散値算出部３０５は、
ＩＩＲ型平均値更新部３０３が、上記（式６）に従って算出した画素値の垂直方向平均値μ（＾）（ｘ，ｙ）、
ＩＩＲ型二乗平均値更新部３０４が、上記（式７）に従って算出した画素値の二乗値の垂直方向平均値η（ｘ，ｙ）、
これらの値を入力して、以下に示す（式８）に従って、画素値の垂直方向分散値σｐ２（＾）（ｘ，ｙ）を算出する。
【０１１１】
【数８】
・・・・・（式８）
【０１１２】
上記（式８）において、
σｎ２（ｘ，ｙ）はノイズの分散値を表すが、簡単には画面一律の固定値を与えれば良い。もちろん、Ｃｂ、Ｃｒに重畳されているノイズの素性に関して事前の知識があるならば、σｎ２（ｘ，ｙ）を画素位置に応じて適応的に変化させると、より好ましい。
事前の知識とは、例えばＣｂ、Ｃｒの画素値に対してノイズの分散がどの程度になるのかといった知識である。
【０１１３】
上記の（式８）は、先に説明した（式４）の
理想的な信号の分散値の近似値：σｐ２（＾）（ｔ）の算出式に対応する。
すなわち、図６に示すＩＩＲ型分散値算出部３０５は、後段のエッジ保存平滑化処理部３０６で実行するウィナーフィルタ適用処理（式２に相当）に用いる理想的な信号の分散値の近似値：σｐ２（＾）（ｔ）を、ＩＩＲフィルタを用いてＩＩＲ型分散値として算出して後段のエッジ保存平滑化処理部３０６に出力する。
なお、算出値は、ＩＩＲフィルタ係数算出部３０７にも提供される。
【０１１４】
エッジ保存平滑化処理部３０６では、
水平ＮＲ部３０１の出力：ｐＨＮＲ（ｘ，ｙ）と、
ＩＩＲ型平均値更新部３０３が、上記（式６）に従って算出した画素値の垂直方向平均値：μ（＾）（ｘ，ｙ）と、
ＩＩＲ型分散値算出部３０５が、上記（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ）、
これらを入力して垂直方向のエッジ保存平滑化処理を行い、垂直方向のノイズを除去する。
垂直方向のエッジ保存平滑化処理は、以下に示す（式９）で表される。
【０１１５】
【数９】
・・・・・（式９）
【０１１６】
上記（式９）において、
μ（＾）（ｘ，ｙ）は、ＩＩＲ型平均値更新部３０３の出力、
ｐＮＲ（ｘ，ｙ）は垂直方向のノイズ除去後の画素値を表す。
β（ｘ，ｙ）は上記の式によって示される［０，１］を値域とする変数、すなわちβ＝０〜１である。
σｐ２（＾）（ｘ，ｙ）は、ＩＩＲ型分散値算出部３０５の出力、
である。
【０１１７】
上記（式９）は、先に説明した（式２）と同様のウィナーフィルタによる信号処理に相当する。
【０１１８】
エッジ保存平滑化処理部３０６では、このように、
水平ＮＲ部３０１の出力：ｐＨＮＲ（ｘ，ｙ）と、
ＩＩＲ型平均値更新部３０３が、上記（式６）に従って算出した画素値の垂直方向平均値：μ（＾）（ｘ，ｙ）と、
ＩＩＲ型分散値算出部３０５が、上記（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ）、
これらを入力して垂直方向のエッジ保存平滑化処理をウィナーフィルタによる信号処理によって実行し、垂直方向のノイズを除去する。
【０１１９】
すなわち、例えば、エッジ保存平滑化処理部３０６では、ＩＩＲ型平均値更新部３０３の生成する平均値と、補正対象画素の信号値とを、ＩＩＲ型分散値算出部３０５の算出する分散値に応じてブレンドする処理によって補正対象画素の補正後の信号値を算出する。
【０１２０】
なお、ＩＩＲ型平均値更新部３０３の生成する平均値と、補正対象画素の信号値とのブレンド処理の具体的なブレンド処理の態様としては、以下の態様がある。
ＩＩＲ型分散値算出部３０５の算出する分散値をｖ１とし、
エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、
ブレンド比を（ｖ１−ｖ２）／ｖ２として設定したブレンド処理を実行する。
あるいは、
ＩＩＲ型分散値算出部３０５の算出する分散値をｖ１とし、
エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、
ブレンド比をｖ１／（ｖ１＋ｖ２）として設定したブレンド処理を実行する。
このような態様のブレンド処理により補正画素値を算出する。
【０１２１】
ＩＩＲフィルタ係数算出部３０７では、
ＩＩＲ型分散値算出部３０５が、上記（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ−１）、
を入力し、エッジ強度に基づいてＩＩＲフィルタの係数γ（ｘ，ｙ）を算出する。ここでは（ｘ，ｙ−１）の画素位置で算出された垂直方向分散値をエッジ強度の指標として用い、以下に示す（式１０）によりγ（ｘ，ｙ）を算出する。
【０１２２】
【数１０】
・・・・・（式１０）
【０１２３】
上記（式１０）において、
ｓはエッジに対する感度をコントロールするチューニングパラメータである。
【０１２４】
ＩＩＲフィルタ係数算出部３０７が上記（式１０）に従って算出したＩＩＲフィルタ係数：γ（ｘ，ｙ）は、図６に示す
ＩＩＲ型平均値更新部３０３、
ＩＩＲ型二乗平均値更新部３０４、
に提供される。
ＩＩＲ型平均値更新部３０３では、先に説明した（式６）に従って、新たに算出されたＩＩＲフィルタ係数：γ（ｘ，ｙ）を適用してＩＩＲ型平均値：μ（＾）（ｘ，ｙ）を算出する。
ＩＩＲ型二乗平均値更新部３０４では、先に説明した（式７）に従って、新たに算出されたＩＩＲフィルタ係数：γ（ｘ，ｙ）を適用してＩＩＲ型二乗平均値：値η（ｘ，ｙ）を算出する。
【０１２５】
なお、上記の（式１０）は、ＩＩＲフィルタの係数γ（ｘ，ｙ）を求める一例である。
ＩＩＲフィルタの係数γ（ｘ，ｙ）を求める処理としては、この他にも、以下に示す処理が可能である。
例えば、以下の（式１１）に示すように画素値と画素値の平均値の差分を用いた処理が適用可能である。
【０１２６】
【数１１】
・・・・・（式１１）
【０１２７】
上記（式１１）において、
ｔはエッジに対する感度をコントロールするチューニングパラメータである。
【０１２８】
また、以下に示す（式１２）のように隣接する画素間の画素値の差分を用いた処理が可能である。
【０１２９】
【数１２】
・・・・・（式１２）
【０１３０】
上記（式１２）において、
ｕはエッジに対する感度をコントロールするチューニングパラメータである。
このように、ＩＩＲフィルタの係数γ（ｘ，ｙ）を求める処理としては、様々な方法が考えられる。
【０１３１】
このように、ＩＩＲフィルタ係数算出部３０７は、
ＩＩＲ型分散値算出部の算出する分散値に応じて、新たなＩＩＲフィルタ係数を順次算出する処理、
補正対象画素の信号値と、ＩＩＲ型平均値算出部の算出した平均値の差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する処理、
補正対象画素の信号値と、過去の入力画素の信号値との差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する処理、
これらの様々な処理態様でＩＩＲフィルタ係数を順次算出する設定とすることが可能である。
【０１３２】
なお、上記の（式１１）や（式１２）を用いる場合は、ＩＩＲフィルタ係数算出部３０７へ入力される信号を（式１１）や（式１２）で必要とされるもの変えれば良い。
このように、ＩＩＲフィルタ係数γ（ｘ，ｙ）を求める方法は各種あり、（式１０）の場合は、水平ＮＲ部３０１の出力中、画素位置（ｘ，ｙ−１）以前の信号、すなわちｐＨＮＲ（ｘ，ｙ−１）以前の信号しか用いていないが、（式１１）や（式１２）のように現在の信号ｐＨＮＲ（ｘ，ｙ）を含めても良い。
【０１３３】
以上の実施例に従えば、図４に示されるＣｂＣｒ画像に重畳されているノイズを、エッジ保存平滑化処理を用いて除去することができる。
【０１３４】
なお、図６を参照して説明した処理例では、垂直方向のみに対する処理例を実行する例を説明したが、水平方向、垂直方向のいずれか一方、または双方に対して同様の処理を適用する構成としてもよい。
また、処理対象画像として、輝度信号画像と色信号画像を個別に入力し、各画像においてエッジ保存平滑化の強度を変更した処理を実行する構成としてもよい。
【０１３５】
ここまで、図６に示される全体図に基づいてＣｂＣｒ画像に対するエッジ保存平滑化処理の説明を行ってきたが、カメラ信号処理に適した形で実現するのに適した構成を図７に示す。
【０１３６】
図７はメモリ部を明示した図としている。すなわち、
水平ＮＲ部４０１の前段に設定された水平方向画素値バッファ４０１、
ＩＩＲ型平均値更新部４０４に対応して設定され、ＩＩＲ型平均値を保持する平均値保持メモリ４０５、
ＩＩＲ型二乗平均値更新部４０６に対応して設定され、ＩＩＲ型二乗平均値を保持する二乗平均値保持メモリ４０７、
これらのメモリである。
カメラ信号処理ではメモリの大きさが回路規模に対して支配的であることから、なるべくメモリの使用量を減らした構成を使用することが好ましい。
【０１３７】
入力画像はラスタスキャン順で一画素ずつ入力されるものとする。
入力された画素は水平方向画素値バッファ４０１を用いて、水平ＮＲ部４０２の処理で必要な画素の個数分、画素値がバッファリングされる。
このような水平方向の遅延処理は小規模な回路で実現できる。
【０１３８】
水平ＮＲ部４０２で行われる処理内容は、前述の図６を参照して説明した水平ＮＲ部３０１と同じ処理である。
垂直ＮＲ部４０３は前述の図６を参照して説明した垂直ＮＲ部３０２と比べると分散値を算出する処理ブロックが一つ増えている。
すなわち、ＩＩＲ型分散値算出部１，４０８と、ＩＩＲ型分散値算出部２，４１０を有する。
【０１３９】
この理由は、以下の通りである。
図６を参照して説明した垂直ＮＲ部３０２の構成では画素位置（ｘ，ｙ−１）で計算されたＩＩＲフィルタの係数を、画素位置（ｘ，ｙ）における垂直方向エッジ保存平滑化処理を行うまでメモリに保存しておく必要がある。
【０１４０】
すなわち、図６に示すＩＩＲフィルタ係数算出部３０７は、図６に示すＩＩＲ型分散値算出部３０５が、前述の（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ−１）を入力し、エッジ強度に基づいてＩＩＲフィルタの係数γ（ｘ，ｙ）を算出する。例えば、（ｘ，ｙ−１）の画素位置で算出された分散値をエッジ強度の指標として用い、先に説明した（式１０）によりＩＩＲフィルタの係数：γ（ｘ，ｙ）を算出する。
この処理を行うために、画素位置（ｘ，ｙ−１）で計算されたＩＩＲフィルタの係数を、画素位置（ｘ，ｙ）における垂直方向エッジ保存平滑化処理を行うまでメモリに保存しておく必要がある。
【０１４１】
図７に示す構成では、この画素位置（ｘ，ｙ−１）で計算されたＩＩＲフィルタの係数を格納する個別のメモリを利用せず、ＩＩＲ型分散値算出部１，４０８で画素位置（ｘ，ｙ−１）における分散値：σｐ２（＾）（ｘ，ｙ−１）を算出してＩＩＲフィルタ係数算出部４０９に提供する構成としている。
【０１４２】
すなわち、
ＩＩＲ型分散値算出部１，４０８では、画素位置（ｘ，ｙ−１）における分散値：σｐ２（＾）（ｘ，ｙ−１）を算出してＩＩＲフィルタ係数算出部４０９に提供する。
ＩＩＲ型分散値算出部２，４１０では、画素位置（ｘ，ｙ）における分散値：σｐ２（＾）（ｘ，ｙ）を算出してエッジ保存平滑化処理部４１１に提供する。
このような構成としてメモリを削減している。
このように、分散値算出ブロックを一つ追加して、（ｘ，ｙ−１）で計算されるはずだったＩＩＲフィルタの係数を（ｘ，ｙ）で計算する構成として回路規模を小さくしている。
【０１４３】
ＩＩＲ型平均値更新部４０４の処理内容は、先に図６を参照して説明したＩＩＲ型平均値更新部３０３と同じである。
なお、画素位置（ｘ，ｙ）における平均値を算出するためには、画素位置（ｘ，ｙ−１）における平均値が必要となる。
このような垂直方向に一画素前の平均値を保持しておくために、平均値保持ラインメモリ４０５が用いられる。
【０１４４】
ＩＩＲ型二乗平均値更新部４０６の処理内容は、先に図６を参照して説明したＩＩＲ型二乗平均値更新部３０４と同じである。
画素（ｘ，ｙ）における二乗平均値を算出するためには、画素（ｘ，ｙ−１）における二乗平均値が必要となる。
このような垂直方向に一画素前の二乗平均値を保持しておくために、二乗平均値保持ラインメモリ４０７が用いられる。
【０１４５】
ＩＩＲ型分散値算出部１，４０８の処理内容は、先に図６を参照して説明したＩＩＲ型分散値更新部３０５と同じである。
ＩＩＲフィルタ係数算出部４０９で行われる処理内容は、先に図６を参照して説明したＩＩＲフィルタ係数算出部３０７と同じである。
ＩＩＲ型分散値算出部２，４１０の処理内容は、先に図６を参照して説明したＩＩＲ型分散値更新部３０５と同じである。
エッジ保存平滑化処理部４１１の処理内容は、先に図６を参照して説明したエッジ保存平滑化処理部３０６と同じである。
【０１４６】
図７の構成に従うと、容量の大きなメモリは画素値の垂直方向平均値μ（＾）（ｘ，ｙ）と画素値の二乗の垂直方向平均値η（ｘ，ｙ）の値を保持するために必要なラインメモリだけになる。
【０１４７】
画素値の平均値は画素値と同じ語長があれば十分に表現でき、画素値の二乗の平均値は画素値の二倍の語長があれば十分に表現できることから、これらのラインメモリの回路規模は、カメラ信号処理におけるディレイライン三本分に相当する。
これは、カメラ信号処理全体の回路規模に対して、リーズブルな規模である。
【０１４８】
また、演算部における回路規模も、二次元の等方向フィルタを用いる場合に比べて、より小さくなる傾向が強い。
なぜなら、一つの画素に対するエッジ保存平滑化処理で用いられる周辺画素が水平Ｎ画素、垂直Ｎ画素の局所領域内に存在する画素であるとすると、二次元のフィルタの演算量のオーダがＯ（Ｎ２）になるのに対し、本発明のように、水平・垂直の二方向に分離されたフィルタの演算量のオーダはＯ（Ｎ）になるからである。
【０１４９】
［４．画像処理シーケンスについて］
次に、図５に示す撮像装置の信号処理部（ＤＳＰ）２０６において実行する処理シーケンスについて、図８に示すフローチャートを参照して説明する。
【０１５０】
図８に示すフローチャートの処理は、図５に示す撮像装置の信号処理部（ＤＳＰ）２０６において実行される。
例えば、ＤＳＰ２０６のＣＰＵ等の演算ユニットが、入力画像信号のストリームに対してメモリに格納されたプログラムに従って演算を順次実行することで処理が行われる。
【０１５１】
図８に示すフローの各ステップの処理について説明する。
まず、ステップＳ１０１において、ＩＩＲ型平均値更新処理を実行する。
この処理は、例えば図６に示すＩＩＲ型平均値更新部３０３の実行する処理である。
ＩＩＲ型平均値更新部３０３では、先に説明した（式６）に従って、画素値の平均値μ（＾）（ｘ，ｙ）をＩＩＲフィルタによって算出する。
【０１５２】
なお、図６を参照して説明した処理では、垂直方向ＮＲ部３０２において垂直方向の画素に対する処理を行う構成例として説明したが、ノイズ低減処理として実行するＮＲ処理は、画素配列や画素入力順に応じた処理として実行可能であり、垂直方向に限らず、水平方向に対する処理として実行することも可能であり、図８に示すフローの説明においては方向については限定しない処理として説明する。
【０１５３】
次にステップＳ１０２において、ＩＩＲ型二乗平均値更新処理を実行する。
この処理は、例えば図６に示すＩＩＲ型二乗平均値更新部３０４の実行する処理である。
ＩＩＲ型二乗平均値更新部３０４では、先に説明した（式７）に従って、画素値の二乗値の平均値η（ｘ，ｙ）をＩＩＲフィルタによって算出する。
【０１５４】
次に、ステップＳ１０３において、ＩＩＲ型分散値算出処理を実行する。
この処理は、例えば図６に示すＩＩＲ型分散値算出部３０５の実行する処理である。
ＩＩＲ型分散値算出部３０５は、
ＩＩＲ型平均値更新部３０３が、ステップＳ１０１において先に説明した（式６）に従って算出した画素値の平均値μ（＾）（ｘ，ｙ）、
ＩＩＲ型二乗平均値更新部３０４が、ステップＳ１０２において先に説明した（式７）に従って算出した画素値の二乗値の平均値η（ｘ，ｙ）、
これらの値を入力して、前述の（式８）に従って、画素値の分散値σｐ２（＾）（ｘ，ｙ）を算出する。
【０１５５】
次に、ステップＳ１０４において、エッジ保存平滑処理を実行する。
この処理は、例えば図６に示すエッジ保存平滑化処理部３０６の実行する処理である。
エッジ保存平滑化処理部３０６では、処理対象となる画素ｐＨＮＲ（ｘ，ｙ）と、
ＩＩＲ型平均値更新部３０３が、ステップＳ１０１において前述の（式６）に従って算出した画素値の平均値：μ（＾）（ｘ，ｙ）と、
ＩＩＲ型分散値算出部３０５が、ステップＳ１０３において、前述の（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ）、
これらを入力してエッジ保存平滑化処理を行い、ノイズを除去する。
なお、エッジ保存平滑化処理は、先に説明した（式９）、すなわちウィナーフィルタの適用処理として実行される。
【０１５６】
ステップＳ１０５の処理は、ＩＩＲフィルタ係数算出処理である。
この処理は、図６に示すＩＩＲフィルタ係数算出部３０７において実行される。
ＩＩＲフィルタ係数算出部３０７では、
ＩＩＲ型分散値算出部３０５が、ステップＳ１０３において、前述の（式８）に従って算出したＩＩＲ型分散値：σｐ２（＾）（ｘ，ｙ−１）を入力し、エッジ強度に基づいてＩＩＲフィルタの係数γ（ｘ，ｙ）を算出する。例えば、（ｘ，ｙ−１）の画素位置で算出された分散値をエッジ強度の指標として用い、先に説明した（式１０）によりＩＩＲフィルタの係数：γ（ｘ，ｙ）を算出する。
【０１５７】
ＩＩＲフィルタ係数算出部３０７が（式１０）に従って算出したＩＩＲフィルタ係数：γ（ｘ，ｙ）は、図６に示すＩＩＲ型平均値更新部３０３と、ＩＩＲ型二乗平均値更新部３０４に提供される。次の画素の処理に対して新たな係数を適用した処理を行う。
すなわち、ＩＩＲ型平均値更新部３０３では、先に説明した（式６）に従って、新たに算出されたＩＩＲフィルタ係数：γ（ｘ，ｙ）を適用してＩＩＲ型平均値：μ（＾）（ｘ，ｙ）を算出する。
ＩＩＲ型二乗平均値更新部３０４では、先に説明した（式７）に従って、新たに算出されたＩＩＲフィルタ係数：γ（ｘ，ｙ）を適用してＩＩＲ型二乗平均値：値η（ｘ，ｙ）を算出する。
【０１５８】
ステップＳ１０６において、全画素の処理が終了したか否かを判定し、未処理画素がある場合は、未処理画素について、ステップＳ１０１以下の処理を繰り返し実行する。
ステップＳ１０６において、全画素の処理が終了したと判定すると処理を終了する。
【０１５９】
［５．その他の実施例について］
次に、上述した実施例の変更例について説明する。
上述した実施例では水平方向のノイズ除去を行った後に垂直方向のノイズ除去を行っている構成として説明したが、これら二つのノイズ除去処理の順番は逆であっても構わない。
また、上述の実施例では水平方向のノイズ除去と垂直方向のノイズ除去処理を各１回ずつ行っているが、さらに多くの回数を行っても構わない。
【０１６０】
なお、図６に示すエッジ保存平滑化処理部３０６では、先に（式９）を参照したように、ウィナーフィルタの適用処理を行っているが、ウィナーフィルタと同等の効果が得られるその他のフィルタを適用してもよい。
【０１６１】
図６に示すエッジ保存平滑化処理部３０６では、ＩＩＲ型分散値算出部３０５が前述の（式８）に従って算出した分散値を適用してエッジ保存平滑化処理を実行しているが、（式９）で用いられている分散値：σｐ２（＾）（ｘ，ｙ）が、ノイズが重畳した信号値である場合、例えば、以下の（式１３）によって算出される分散値をエッジ保存平滑化処理部３０６に入力して、所定のフィルタリング処理を行ってエッジ保存平滑化処理を行う構成としてもよい。
【０１６２】
【数１３】
・・・・・（式１３）
【０１６３】
なお、ウィナーフィルタに基づいた処理であっても、その他の処理であっても、信号値の分散を算出するためには、信号値の二乗の平均値を記憶しておかなければならない。この記憶にかかるコストを削減するために、分散値：σｐ２（＾）（ｘ，ｙ）の近似値の計算方法として、以下に示す（式１４）を用いても良い。
【０１６４】
【数１４】
・・・・・（式１４）
【０１６５】
なお、ノイズの分散値は重畳されているノイズの素性に応じて適切なものを設定しなければならないが、信号が撮像素子で撮影された画像である場合、理想的な画素値とノイズの分散値の間に強い相関が存在することが知られている。
この相関を表す最も簡単なモデルは、例えば文献（Ａ．Ｂｏｓｃｏ，ｅｔ ａｌ．，"Ｓｉｇｎａｌ ｄｅｐｅｎｄｅｎｔ ｒａｗ ｉｍａｇｅ ｄｅｎｏｉｓｉｎｇ ｕｓｉｎｇ ｓｅｎｓｏｒ ｎｏｉｓｅ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ｖｉａ ｍｕｌｔｉｐｌｅ ａｃｑｕｉｓｉｔｉｏｎｓ"，ＩＳ＆Ｔ／ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ， ２０１０）で述べられているように、画素値と分散値が線形関係にあるというものである。
【０１６６】
ここでも理想的な画素値は不明であるため、画素値の近似値としてμ（＾）（ｘ，ｙ）を用いると、ノイズの分散値：σｎ２（ｘ，ｙ）の近似値は、以下に示す（式１５）を用いて算出することができる。
【０１６７】
【数１５】
・・・・・（式１５）
【０１６８】
上記（式１５）において、
ａ，ｂはモデルを表す係数で、事前に計測により求められる。
入力画像がＡ／Ｄ変換部２０５から入力された直後の画像であり、かつ、垂直方向エッジ保存平滑化処理が、水平方向エッジ保存平滑化処理よりも先に行われる場合は、このようなノイズモデルを用いることができる。
【０１６９】
また、画像に複数の色が含まれている場合、ある色のエッジ保存平滑化処理で計算された計算結果を他の色の計算に用いても良い。これは異なる色の間で信号に相関があるからである。
例えば、色空間がＹＣｂＣｒの場合にはＣｂ、Ｃｒ信号と比較して、Ｙ信号の方が明瞭なエッジが存在し、ノイズが少ないことが多い。
そのため、Ｙ信号で計算された計算結果をＣｂ，Ｃｒ信号の処理に用いることで処理性能を上げることができる。
転用できる計算結果としては、例えば、先に説明した（式９）の係数β（ｘ，ｙ）が挙げられる。
【０１７０】
なお、先に説明した図２、図３に示される色のモザイク画像に対して垂直方向のエッジ保存平滑化処理を行う場合は、図４（ｂ）に示すＣｂＣｒ画像に対して処理する場合と異なり、一つの列に複数の色が含まれている。
そのような場合には、図７で示されている平均値保持ラインメモリ４０５や二乗平均値保持ラインメモリ４０７をそれぞれの色に対して一つずつ用いれば良い。
また、図２、図３に示される色のモザイク画像は一例であり、他の色配列に対しても本発明を適用することができる。
【０１７１】
［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１７２】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値算出部と、
ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出部と、
前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行するエッジ保存平滑化処理部と、
前記ＩＩＲ型平均値算出部と、前記ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する画像処理装置。
【０１７３】
（２）前記エッジ保存平滑化処理部は、ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する前記（１）に記載の画像処理装置。
（３）前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とを、前記ＩＩＲ型分散値算出部の算出する分散値に応じてブレンドする処理によって前記補正対象画素の補正後の信号値を算出する前記（１）または（２）に記載の画像処理装置。
（４）前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、ブレンド比を（ｖ１−ｖ２）／ｖ２として設定したブレンド処理を実行する前記（１）〜（３）いずれかに記載の画像処理装置。
【０１７４】
（５）前記エッジ保存平滑化処理部は、前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、
ブレンド比をｖ１／（ｖ１＋ｖ２）として設定したブレンド処理を実行する前記（１）〜（３）いずれかに記載の画像処理装置。
【０１７５】
（６）前記ＩＩＲフィルタ係数算出部は、入力信号値に応じて、新たなＩＩＲフィルタ係数を順次算出する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記ＩＩＲフィルタ係数算出部は、前記ＩＩＲ型分散値算出部の算出する分散値に応じて、新たなＩＩＲフィルタ係数を順次算出する前記（１）〜（６）いずれかに記載の画像処理装置。
【０１７６】
（８）前記ＩＩＲフィルタ係数算出部は、補正対象画素の信号値と、ＩＩＲ型平均値算出部の算出した平均値の差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する前記（１）〜（６）いずれかに記載の画像処理装置。
（９）前記ＩＩＲフィルタ係数算出部は、補正対象画素の信号値と、過去の入力画素の信号値との差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する前記（１）〜（６）いずれかに記載の画像処理装置。
【０１７７】
（１０）前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用する前記（１）〜（９）いずれかに記載の画像処理装置。
（１１）前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用し、他の方向に等方的なエッジ保存平滑化処理を実行する前記（１）〜（１０）いずれかに記載の画像処理装置。
（１２）前記画像処理装置は、処理対象画像として、輝度信号画像と色信号画像を個別に入力し、各画像においてエッジ保存平滑化の強度を変更した処理を実行する前記（１）〜（１１）いずれかに記載の画像処理装置。
【０１７８】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１７９】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１８０】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１８１】
以上、説明したように、本開示の一実施例によれば、画像のノイズを低減する装置、方法が実現される。
具体的には、例えば、ＩＩＲフィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値と、分散値を算出し、算出した平均値と分散値を入力してウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する。さらに、ＩＩＲ型平均値算出部と、ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を画像の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する。ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理に用いるパラメータをＩＩＲフィルタ適用処理によって算出し、ＩＩＲ適用処理に用いるフィルタ係数を適応的に変更することで画像信号に応じたノイズ低減処理が実現される。
【符号の説明】
【０１８２】
２０１ レンズ
２０２ 絞り
２０３ 撮像素子
２０４ 相関２重サンプリング回路（ＣＤＳ：Ｃｏｒｒｅｌｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）
２０５ Ａ／Ｄコンバータ
２０６ 信号処理部（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
２０７ タイミングジェネレータ（ＴＧ）
２０８ Ｄ／Ａコンバータ
２０９ ビデオエンコーダ（Ｖｉｄｅｏ Ｅｎｃｏｄｅｒ）
２１０ ビデオモニタ（Ｖｉｄｅｏ Ｍｏｎｉｔｏｒ）
２１１ ＣＯＤＥＣ（コーデック）
２１２ メモリ
２１３ ＣＰＵ
２１４ 入力デバイス（Ｉｎｐｕｔ Ｄｅｖｉｃｅ）
３０１ 水平ＮＲ部
３０２ 垂直ＮＲ部
３０３ ＩＩＲ型平均値更新部
３０４ ＩＩＲ型二乗平均値算出部
３０５ ＩＩＲ型分散値算出部
３０６ エッジ保存平滑化処理部
３０７ ＩＩＲ型フィルタ係数算出部
４０１ 水平方向画素値バッファ
４０２ 水平ＮＲ部
４０３ 垂直ＮＲ部
４０４ ＩＩＲ型平均値更新部
４０５ 平均値保持ラインメモリ
４０６ ＩＩＲ型二乗平均値算出部
４０７ 二乗平均値保持ラインメモリ
４０８ ＩＩＲ型分散値算出部１
４０９ ＩＩＲ型フィルタ係数算出部
４１０ ＩＩＲ型分散値算出部１
４１１ エッジ保存平滑化処理部
【特許請求の範囲】
【請求項１】
ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値算出部と、
ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出部と、
前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行するエッジ保存平滑化処理部と、
前記ＩＩＲ型平均値算出部と、前記ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する画像処理装置。
【請求項２】
前記エッジ保存平滑化処理部は、
ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する請求項１に記載の画像処理装置。
【請求項３】
前記エッジ保存平滑化処理部は、
前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とを、前記ＩＩＲ型分散値算出部の算出する分散値に応じてブレンドする処理によって前記補正対象画素の補正後の信号値を算出する請求項１に記載の画像処理装置。
【請求項４】
前記エッジ保存平滑化処理部は、
前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、
前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、
エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、
ブレンド比を（ｖ１−ｖ２）／ｖ２として設定したブレンド処理を実行する請求項１に記載の画像処理装置。
【請求項５】
前記エッジ保存平滑化処理部は、
前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、
前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、
エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、
ブレンド比をｖ１／（ｖ１＋ｖ２）として設定したブレンド処理を実行する請求項１に記載の画像処理装置。
【請求項６】
前記ＩＩＲフィルタ係数算出部は、
入力信号値に応じて、新たなＩＩＲフィルタ係数を順次算出する請求項１に記載の画像処理装置。
【請求項７】
前記ＩＩＲフィルタ係数算出部は、
前記ＩＩＲ型分散値算出部の算出する分散値に応じて、新たなＩＩＲフィルタ係数を順次算出する請求項１に記載の画像処理装置。
【請求項８】
前記ＩＩＲフィルタ係数算出部は、
補正対象画素の信号値と、ＩＩＲ型平均値算出部の算出した平均値の差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する請求項１に記載の画像処理装置。
【請求項９】
前記ＩＩＲフィルタ係数算出部は、
補正対象画素の信号値と、過去の入力画素の信号値との差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する請求項１に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用する請求項１に記載の画像処理装置。
【請求項１１】
前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用し、
他の方向に等方的なエッジ保存平滑化処理を実行する請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理装置は、処理対象画像として、輝度信号画像と色信号画像を個別に入力し、各画像においてエッジ保存平滑化の強度を変更した処理を実行する請求項１に記載の画像処理装置。
【請求項１３】
画像処理装置において実行する画像処理方法であり、
ＩＩＲ型平均値算出部が、ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値算出ステップと、
ＩＩＲ型分散値算出部が、ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出ステップと、
エッジ保存平滑化処理部が、前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行するエッジ保存平滑化処理ステップと、
ＩＩＲフィルタ係数算出部が、前記ＩＩＲ型平均値算出ステップと、前記ＩＩＲ型分散値算出ステップにおいて適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新するＩＩＲフィルタ係数算出ステップを実行する画像処理方法。
【請求項１４】
画像処理装置において画像処理を実行させるプログラムであり、
ＩＩＲ型平均値算出部に、ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出させるＩＩＲ型平均値算出ステップと、
ＩＩＲ型分散値算出部に、ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出させるＩＩＲ型分散値算出ステップと、
エッジ保存平滑化処理部に、前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行させるエッジ保存平滑化処理ステップと、
ＩＩＲフィルタ係数算出部に、前記ＩＩＲ型平均値算出ステップと、前記ＩＩＲ型分散値算出ステップにおいて適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新させるＩＩＲフィルタ係数算出ステップを実行させるプログラム。
【請求項１】
ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値算出部と、
ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出部と、
前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行するエッジ保存平滑化処理部と、
前記ＩＩＲ型平均値算出部と、前記ＩＩＲ型分散値算出部において適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新するＩＩＲフィルタ係数算出部を有する画像処理装置。
【請求項２】
前記エッジ保存平滑化処理部は、
ウィナー（Ｗｉｅｎｅｒ）フィルタ適用処理によるエッジ保存平滑化処理を実行する請求項１に記載の画像処理装置。
【請求項３】
前記エッジ保存平滑化処理部は、
前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とを、前記ＩＩＲ型分散値算出部の算出する分散値に応じてブレンドする処理によって前記補正対象画素の補正後の信号値を算出する請求項１に記載の画像処理装置。
【請求項４】
前記エッジ保存平滑化処理部は、
前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、
前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、
エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、
ブレンド比を（ｖ１−ｖ２）／ｖ２として設定したブレンド処理を実行する請求項１に記載の画像処理装置。
【請求項５】
前記エッジ保存平滑化処理部は、
前記ＩＩＲ型平均値算出部の生成する平均値と、前記補正対象画素の信号値とのブレンド処理によって前記補正対象画素の補正後の信号値を算出する構成であり、
前記ＩＩＲ型分散値算出部の算出する分散値をｖ１とし、
エッジ保存平滑化の強度をコントロールするパラメータをｖ２としたとき、
ブレンド比をｖ１／（ｖ１＋ｖ２）として設定したブレンド処理を実行する請求項１に記載の画像処理装置。
【請求項６】
前記ＩＩＲフィルタ係数算出部は、
入力信号値に応じて、新たなＩＩＲフィルタ係数を順次算出する請求項１に記載の画像処理装置。
【請求項７】
前記ＩＩＲフィルタ係数算出部は、
前記ＩＩＲ型分散値算出部の算出する分散値に応じて、新たなＩＩＲフィルタ係数を順次算出する請求項１に記載の画像処理装置。
【請求項８】
前記ＩＩＲフィルタ係数算出部は、
補正対象画素の信号値と、ＩＩＲ型平均値算出部の算出した平均値の差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する請求項１に記載の画像処理装置。
【請求項９】
前記ＩＩＲフィルタ係数算出部は、
補正対象画素の信号値と、過去の入力画素の信号値との差分に基づいて、新たなＩＩＲフィルタ係数を順次算出する請求項１に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用する請求項１に記載の画像処理装置。
【請求項１１】
前記画像処理装置は、処理対象画像として二次元画像信号を入力し、少なくとも、水平または垂直のいずれかの方向に対して、前記エッジ保存平滑化処理を適用し、
他の方向に等方的なエッジ保存平滑化処理を実行する請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理装置は、処理対象画像として、輝度信号画像と色信号画像を個別に入力し、各画像においてエッジ保存平滑化の強度を変更した処理を実行する請求項１に記載の画像処理装置。
【請求項１３】
画像処理装置において実行する画像処理方法であり、
ＩＩＲ型平均値算出部が、ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出するＩＩＲ型平均値算出ステップと、
ＩＩＲ型分散値算出部が、ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出するＩＩＲ型分散値算出ステップと、
エッジ保存平滑化処理部が、前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行するエッジ保存平滑化処理ステップと、
ＩＩＲフィルタ係数算出部が、前記ＩＩＲ型平均値算出ステップと、前記ＩＩＲ型分散値算出ステップにおいて適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新するＩＩＲフィルタ係数算出ステップを実行する画像処理方法。
【請求項１４】
画像処理装置において画像処理を実行させるプログラムであり、
ＩＩＲ型平均値算出部に、ＩＩＲ（Ｉｎｆｉｎｉｔ Ｉｍｐｕｌｓｅ Ｒｅｓｐｏｎｓｅ）フィルタ適用処理により、補正対象画素の近傍の参照画素の信号値の平均値を算出させるＩＩＲ型平均値算出ステップと、
ＩＩＲ型分散値算出部に、ＩＩＲフィルタ処理により、前記補正対象画素の近傍の参照画素の信号値の分散値を算出させるＩＩＲ型分散値算出ステップと、
エッジ保存平滑化処理部に、前記参照画素の平均値と分散値を入力し、該平均値と分散値を適用したエッジ保存平滑化処理を実行させるエッジ保存平滑化処理ステップと、
ＩＩＲフィルタ係数算出部に、前記ＩＩＲ型平均値算出ステップと、前記ＩＩＲ型分散値算出ステップにおいて適用するＩＩＲフィルタ係数を、画像を構成する画素の信号値に応じて更新させるＩＩＲフィルタ係数算出ステップを実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２５６２０２（Ｐ２０１２−２５６２０２Ａ）
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願番号】特願２０１１−１２８８２４（Ｐ２０１１−１２８８２４）
【出願日】平成２３年６月９日（２０１１．６．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年１２月２７日（２０１２．１２．２７）
【国際特許分類】
【出願日】平成２３年６月９日（２０１１．６．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]