画像処理装置、電子カメラ及び画像処理プログラム
【課題】 パイプライン方式を用いた複数回のノイズ除去処理に用いられるラインメモリを節約することで、コストダウンを図る。
【解決手段】 画像を取り込む画像取込部と、画像の所定範囲に含まれる複数の画素の画素値を記憶する記憶部と、記憶部に記憶される複数の画素の画素値を参照して、ノイズ除去の対象となる対象画素の画素値に対する第１のノイズ除去処理を実行する第１ノイズ除去処理部と、記憶部に記憶され、第１のノイズ除去処理において参照された複数の画素の画素値を参照して、第１のノイズ除去処理が施された対象画素の画素値に対する第２のノイズ除去処理を実行する第２ノイズ除去処理部と、を備えたことを特徴とする。
【解決手段】 画像を取り込む画像取込部と、画像の所定範囲に含まれる複数の画素の画素値を記憶する記憶部と、記憶部に記憶される複数の画素の画素値を参照して、ノイズ除去の対象となる対象画素の画素値に対する第１のノイズ除去処理を実行する第１ノイズ除去処理部と、記憶部に記憶され、第１のノイズ除去処理において参照された複数の画素の画素値を参照して、第１のノイズ除去処理が施された対象画素の画素値に対する第２のノイズ除去処理を実行する第２ノイズ除去処理部と、を備えたことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、電子カメラ及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、画像に対するノイズ除去処理として、突出除去フィルタや平滑化フィルタなどの種々のフィルタを用いた処理が施される。例えば突出除去フィルタは、画像に発生する突出ノイズを除去する際に用いられるフィルタであり、例えばＭＡＸ・ＭＩＮフィルタが挙げられる。このＭＡＸ・ＭＩＮフィルタは、注目画素の周囲に位置する画素の最大画素値と最小画素値とを求め、注目画素の画素値を最大画素値と最小画素値との間にクリップするものである。また、平滑化フィルタは、画像に発生するショットノイズを除去する際に用いられるフィルタであり、例えばεフィルタが挙げられる。このεフィルタは、例えば注目画素の周囲に位置する画素のうち、注目画素との画素値の差が閾値以下となる画素の画素値を用いて平滑化を行うものである。最近では、デジタルカメラに代表される電子カメラにおいて、上述した突出除去フィルタ及び平滑化フィルタを用いて複数回のノイズ除去処理をパイプライン方式にて実行している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−７３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したパイプライン方式を用いて複数回のノイズ除去処理を実行する場合、まず、第１のラインメモリに記憶された画素の画素値を参照して突出除去フィルタによるノイズ除去処理を行い、第２のラインメモリにノイズ除去処理された画素の画素値を記憶する。その後、第２のラインメモリに記憶された画素の画素値を参照して平滑化フィルタによるノイズ除去処理を実行する。したがって、各ノイズ除去処理に対して、画像サイズに合わせたラインメモリが必要となり、コストアップにつながるという欠点がある。
【０００５】
本発明は、パイプライン方式を用いた複数回のノイズ除去処理に用いられるラインメモリを節約することで、コストダウンを図ることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の電子カメラは、画像を取り込む画像取込部と、前記画像の所定範囲に含まれる複数の画素の画素値を記憶する記憶部と、前記記憶部に記憶される前記複数の画素の画素値を参照して、ノイズ除去の対象となる対象画素の画素値に対する第１のノイズ除去処理を実行する第１ノイズ除去処理部と、前記記憶部に記憶され、前記第１のノイズ除去処理において参照された前記複数の画素の画素値を参照して、前記第１のノイズ除去処理が施された前記対象画素の画素値に対する第２のノイズ除去処理を実行する第２ノイズ除去処理部と、を備えたことを特徴とする。
【０００７】
また、前記記憶部に記憶される前記複数の画素の画素値を参照して、前記第２のノイズ除去処理が施された前記対象画素の画素値に対する第３のノイズ除去処理を実行する第３ノイズ除去処理部を、さらに備えているものである。
【０００８】
また、前記第１のノイズ除去処理は、画像に含まれる突出ノイズを除去する処理であることが好ましい。
【０００９】
また、前記第１のノイズ除去処理は、特定方向に依存した異方的な平滑化を行う処理であり、前記第２のノイズ除去処理は、前記特定方向に依存しない等方的な平滑化を行う処理であることが好ましい。
【００１０】
また、第３のノイズ除去処理部を備えている場合には、前記第１のノイズ除去処理は、前記画像に含まれる突出ノイズを除去する処理であり、前記第２のノイズ除去処理は、特定方向に依存した異方的な平滑化を行う処理であり、前記第３のノイズ除去処理は、前記特定方向に依存しない等方的な平滑化を行う処理であることが好ましい。
【００１１】
また、本発明の電子カメラは、光電変換を行う撮像素子と、本発明の画像処理装置と、を備え、前記画像処理装置は、前記撮像素子により取り込まれる画像に対するノイズ除去処理を実行することを特徴とする。
【００１２】
また、本発明の画像処理プログラムは、画像を取り込む画像取込工程と、前記画像の所定範囲に含まれる複数の画素の画素値を記憶する記憶工程と、前記記憶工程により記憶される前記複数の画素の画素値を参照して、ノイズ除去の対象となる対象画素の画素値に対する第１のノイズ除去処理を実行する第１ノイズ除去工程と、前記記憶工程により記憶され、前記第１のノイズ除去処理において参照された前記複数の画素の画素値を参照して、前記第１のノイズ除去処理が施された前記対象画素の画素値に対する第２のノイズ除去処理を実行する実行する第２ノイズ除去工程と、をコンピュータに実行させるものである。
【発明の効果】
【００１３】
本発明によれば、パイプライン方式を用いた複数回のノイズ除去処理に用いられるラインメモリを節約することで、コストダウンを図ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を実施した画像処理装置の構成の概略を示す図である。
【図２】第１実施形態のノイズ除去部の構成を示す図である。
【図３】画像とラインメモリに記憶される画素の範囲との関係を示す図である。
【図４】突出ノイズ除去処理時に参照する画素の範囲を示す図である。
【図５】平滑化処理時に参照する画素の範囲を示す図である。
【図６】第２実施形態のノイズ除去部の構成を示す図である。
【図７】異方的な平滑化処理を行う際に参照する画素を示す図である。
【図８】（ａ）〜（ｄ）は、画素値の分散を求める際に参照する画素を示す図である。
【図９】本発明の画像処理装置を備えた電子カメラの構成を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施した画像処理装置について、図１に基づいて説明する。
【００１６】
図１に示すように、画像処理装置１０は、色補間部１５、ノイズ除去部１６、輪郭強調部１７、階調補正部１８、彩度強調部１９及び圧縮処理部２０を備えている。この画像処理装置１０には、各画素の画素値がＲ，Ｇ，Ｂのいずれかの色成分の値からなる画像データが入力される。色補間部１５は、入力される画像データに対して色補間処理を行い、各画素の画素値がＲ，Ｇ，Ｂの色成分からなる画像データを生成する。この色補間部１５における色補間処理の後、画像データに対してＲＧＢ→ＹＣｂＣｒ変換処理（図示省略）が実行され、各画素の画素値が輝度（Ｙ）及び色差（Ｃｂ・Ｃｒ）からなる画像データが生成される。この画像データはノイズ除去部１６に入力される。ノイズ除去部１６は、入力される画像データに対して、ノイズ除去処理を実行する。このノイズ除去部１６の詳細については後述する。ノイズ除去部１６によるノイズ除去処理が施された画像データは、輪郭強調部１７における輪郭強調処理、階調補正部１８における階調補正処理、彩度強調部１９による彩度強調処理が施される。なお、輪郭強調処理、階調補正処理、彩度強調処理の各処理については周知であることから、その詳細は省略する。最後に、各処理が施された画像データは、圧縮処理部２０により圧縮符号化処理され、符号化データとして画像処理装置１０から出力される。なお、彩度強調部１９から出力される画像データは、直接、圧縮処理部２０に入力されてもよいし、ＹＣｂＣｒ→ＲＧＢ変換処理を行った後に圧縮処理部２０に入力されてもよい。
【００１７】
ここで、画像処理装置１０に入力される画像データとして、各画素の画素値がＲ，Ｇ，Ｂのいずれかの色成分の値からなる画像データを挙げているが、これに限定される必要はなく、各画素の画素値がＲ，Ｇ，Ｂの各色成分からなる画像データであってもよい。この場合、上述した色補間部１５における色補間処理を省略し、ＲＧＢ→ＹＣｂＣｒ変換処理を行った後、ノイズ除去部１６に入力させればよい。
【００１８】
また、図１に示す画像処理装置においては、色補間部１５、圧縮処理部２０の双方を設けた場合について説明しているが、これに限定される必要はなく、色補間部１５、圧縮処理部２０のいずれか一方を備えていない画像処理装置であってもよい。
【００１９】
以下、ノイズ除去処理として、突出ノイズを除去する処理（以下、突出ノイズ除去処理）と平滑化処理とをパイプライン方式を用いて行う場合の実施形態を第１実施形態として説明する。
＜第１実施形態＞
図２に示すように、ノイズ除去部１６は、ラインメモリ２５、突出除去部２６、平滑化部２７を備えている。図２においては、ラインメモリ２５、突出除去部２６、平滑化部２７の各部を１つ備えた形態としているが、ノイズ除去部１６の各部は色成分に合わせた数設けられていることが望ましい。
【００２０】
ラインメモリ２５は、ノイズ除去部１６に入力される画像データの各画素の画素値を記憶する。ここで、ラインメモリ２５に記憶される画素の数は、例えば５ライン分の水平ラインに配置される画素と、例えば５画素とを加算した数である。図３においては、画像Ｉのうち、ハッチングで囲まれる画素の範囲（符号３１で示す範囲）が、例えばラインメモリ２５に記憶される画素の範囲となる。このラインメモリ２５には、画像Ｉの各画素の画素値が１画素ごとに入力され、上述した数の画素の画素値が記憶されたときに、突出除去部２６による突出ノイズ除去処理が実行される。そして、平滑化部２７による平滑化処理が終了すると、時間的に最も古い画素の画素値がラインメモリ２５から削除され、新たに入力された画素の画素値がラインメモリ２５に記憶される。なお、ラインメモリ２５に記憶される画素の数は一例であり、突出除去部２６や平滑化部２７にて参照する画素の範囲に応じて適宜設定されるものである。
【００２１】
突出除去部２６は、ラインメモリ２５に記憶される画素の画素値を参照して、ノイズ除去の対象となる画素（以下、対象画素）に対する突出ノイズ除去処理を実行する。この突出除去部２６における突出ノイズ除去処理は、例えばＭＡＸ・ＭＩＮフィルタを用いて実行される。以下、対象画素の座標を（ｘ，ｙ）、その画素値をＰ（ｘ，ｙ）として説明する。ＭＡＸ・ＭＩＮフィルタは、対象画素の周囲の画素の画素値の最大値（最大画素値）と最小値（最小画素値）とを求め、対象画素の画素値を最小画素値と最大画素値との間の値にクランプするフィルタである。
【００２２】
突出除去部２６は、まず、ラインメモリ２５に記憶される画素の画素値のうち、対象画素を中心にした３×３の計９画素の画素値を参照画素の画素値として読み出す。図４においては、例えば座標（ｘ，ｙ）の画素３２を対象画素とした場合であり、図４中ハッチングで示される範囲３３に含まれる９個の画素の画素値を参照画素の画素値として読み出す。
【００２３】
次に、突出除去部２６は、読み出した参照画素のうち、対象画素を除く参照画素、つまり対象画素の周囲の画素（図４においては、座標（ｘ−１，ｙ−１），座標（ｘ，ｙ−１），座標（ｘ＋１，ｙ−１），座標（ｘ−１，ｙ），座標（ｘ＋１，ｙ），座標（ｘ−１，ｙ＋１），座標（ｘ，ｙ＋１），座標（ｘ＋１，ｙ＋１）の計８画素）の画素値から、最大画素値及び最小画素値を求める。
【００２４】
最後に、突出除去部２６は、求めた最大画素値及び最小画素値と、対象画素の画素値とを、以下の（１）式に適用する。これにより、対象画素に対する突出ノイズ除去処理が実行される。
【００２５】
【数１】
【００２６】
上述した（１）式において、Ｑ（ｘ，ｙ）は突出ノイズ除去処理後の対象画素の画素値、ＭＡＸは対象画素の周囲の画素における最大画素値、ＭＩＮは対象画素の周囲の画素における最小画素値をそれぞれ示す。
【００２７】
平滑化部２７は、突出除去部２６によって突出ノイズが除去された対象画素の画素値に対して、ラインメモリ２５に記憶された画素を参照した平滑化処理を実行する。この平滑化部２７においては、方向に依存しない、いわゆる等方的なεフィルタを用いた処理が実行される。ここで、εフィルタは、対象画素の周囲の画素の画素値と突出ノイズが除去された対象画素の画素値とを用いて平滑化を行うフィルタである。この平滑化部２７において参照する画素の範囲は、対象画素を中心にした、５×５の計２５画素の範囲を参照画素の画素値として読み出す。なお、図５においては、図４と同様に、座標（ｘ，ｙ）の画素３２を対象画素とし、図５中ハッチングで示される範囲３４に含まれる画素の画素値を参照画素の画素値として読み出す場合について記載している。この平滑化部２７は、以下の（２）式に基づいて、対象画素に対する平滑化処理を実行する。以下の（２）式において、Ｒ（ｘ，ｙ）は平滑化処理後の対象画素の画素値を示す。
【００２８】
【数２】
【００２９】
ここで、上述した（２）式で示される関数ＥＰＳ（ｄ、ｔｈ）は、以下の（３）式で定義される。なお、（３）式における係数ｔｈは平滑化する（ノイズを除去する）際の閾値である。
【００３０】
【数３】
【００３１】
上述した（２）式における係数ｔｈ１は入力される画像に発生するノイズの標準偏差の例えば３倍に設定される。なお、係数ｔｈ１として、入力される画像に発生するノイズの標準偏差の３倍に設定するとしているが、これに限定される必要はなく、例えば画像を取得したときの撮像条件（シャッタ速度等）に基づいて設定することも可能である。
【００３２】
以下、ノイズ除去部１６におけるノイズ除去処理の流れを説明する。色補間部１５により色補間処理が施された画像データは、ＲＧＢ→ＹＣｂＣｒ変換処理が施された後、ノイズ除去部１６に入力される。なお、ノイズ除去部１６には１画素毎に各画素の画素値が入力される。このノイズ除去部１６に入力される各画素の画素値は、ラインメモリ２５に記憶されていく。そして、ラインメモリ２５に記憶された画素の画素値の数が、予め設定された数となると、ノイズ除去部１６への画素の画素値の入力が停止される。ノイズ除去部１６への画素の画素値の入力が停止されると、突出除去部２６は、対象画素となる座標（ｘ，ｙ）の画素を中心とした３×３の計９画素の画素値を読み出し、上述した突出ノイズ除去処理を実行する。なお、突出ノイズ除去処理が施された対象画素の画素値は、突出除去部２６から平滑化部２７に出力される。平滑化部２７は、ラインメモリ２５から、対象画素を中心とした５×５の計２５画素の画素値を読み出す。そして、突出除去部２６から出力された突出ノイズ除去処理が施された対象画素の画素値と、ラインメモリ２５から読み出した画素の画素値とを参照し、上述した平滑化処理を実行する。この平滑化部２７における平滑化処理が施された対象画素の画素値は、ノイズ除去部１６から輪郭強調部１７に出力される。
【００３３】
平滑化部２７により平滑化処理が施された対象画素の画素値がノイズ除去部１６から出力されると、ノイズ除去部１６には、新たな画素の画素値が入力される。この入力に合わせて、ラインメモリ２５に記憶された画素の画素値のうち、時間的に最も古い画素（例えば座標（ｘ−２，Ｙ−２）の画素）の画素値がラインメモリ２５から削除され、新たに入力された画素（例えば座標（ｘ＋３，ｙ＋２）の画素）の画素値がラインメモリ２５に記憶される。この場合、対象画素として、座標（ｘ，ｙ）の画素からＸ方向に１画素ずれた座標（ｘ＋１，ｙ）の画素が設定され、上述した突出ノイズ除去処理や平滑化処理が実行される。
【００３４】
このようにして、ラインメモリ２５に画像の所定範囲に含まれる全画素が記憶される、或いはラインメモリ２５に記憶される画素の画素値が更新される毎に、上述した突出ノイズ除去処理や平滑化処理が実行される。この処理は、画像に含まれる全画素に対して実行される。なお、画像の左右端部、及び上下端部に位置する画素を対象画素とする場合、参照する対象画素の周囲の画素がないときもある。このような場合には、対象画素の周囲の画素を重複して用いる、或いは、対象画素の周囲に存在する画素のみを用いればよい。
【００３５】
この第１実施形態では、ラインメモリ２５に記憶した画素の画素値を用いて、突出ノイズ除去処理と平滑化処理との双方の処理を行っている。また、画像全体ではなく、突出ノイズ除去処理と、平滑化処理との双方の処理で必要となる画素を含む所定範囲の画素の画素値を、ラインメモリ２５に記憶している。つまり、本発明を実施することで、ノイズ除去処理に係るラインメモリ２５の容量を最小限にすることができ、結果的にコストを抑制することができる。
【００３６】
なお、突出ノイズ除去処理の後に実行される平滑化処理においては、ラインメモリ２５に記憶された画素、言い換えれば突出ノイズ除去処理を施していない画素を用いている。このため、突出ノイズが発生している画素の画素値を用いた平滑化処理が実行されてしまうが、突出ノイズは画像中にまばらにしか発生しないことから、突出ノイズ除去処理が実行されていない画素を用いたとしても、平滑化処理の効果を減少させるものではない。
【００３７】
次に、ノイズ除去処理として、突出ノイズ除去処理と、複数回の平滑化処理とを行う場合について、第２実施形態として説明する。なお、ノイズ除去部については、第1実施形態と同様に符号１６を付して説明する。
＜第２実施形態＞
図６に示すように、ノイズ除去部１６は、ラインメモリ４１、突出除去部４２、第１平滑化部４３及び第２平滑化部４４を備えている。なお、第１実施形態と同様に、図６に示すノイズ除去１６の構成は、１つの色成分に対してノイズ除去処理を実行することを前提にしているが、色成分毎にノイズ除去処理を行う場合には、ラインメモリ４１、突出除去部４２、第１平滑化部４３及び第２平滑化部４４の構成を、各色成分に対応した数分設けることが望ましい。なお、ラインメモリ４１及び突出除去部４２は、第１実施形態と同一の機能を有していることから、ここではその詳細を省略する。
【００３８】
第１平滑化部４３は、突出除去部４２によって突出ノイズが除去された対象画素の画素値に対して、ラインメモリ４１に記憶された画素を参照した、方向に依存した、いわゆる異方的な平滑化処理を実行する。この第１平滑化部４３は、異方的なεフィルタを用いた平滑化処理を実行する。
【００３９】
まず、第１平滑化部４３は、対象画素（図７中符号４５）を中心にした５×５の計２５画素のうち、対象画素を含むＸ方向、Ｙ方向、右斜め方向、左斜め方向にそれぞれ配列される計１７画素（図７中、ハッチングで示す画素）の画素値を参照する。そして、第１平滑化部４３は、参照する画素のうち、Ｘ方向に配列される５画素（図８（ａ）中、ハッチングで示す画素）、Ｙ方向に配列される５画素（図８（ｂ）中、ハッチングで示す画素）、右斜め方向の５画素（図８（ｃ）中、ハッチングで示す画素）及び左斜め方向の５画素（図８（ｄ）中、ハッチングで示す画素）の全４方向に配列される画素の画素値の分散を方向毎に算出する。
【００４０】
これら４方向に配列される画素の画素値の分散を方向毎に求めた後、第１平滑化部４３は、算出した計４方向の画素の画素値の分散のうち、最小となる画素値の分散に対応する方向を特定する。最後に、第１平滑化部４３は、画素値の分散が最小となる分散の方向に配列される画素の画素値を、それぞれＰ（１）〜Ｐ（５）として、以下の（４）式を用いた平滑化処理を実行する。なお、（４）式において、Ｑ（ｘ，ｙ）は第１平滑化部４３により異方的な平滑化処理を行う前、言い換えれば突出ノイズ除去処理が施された対象画素の画素値、Ｓ（ｘ、ｙ）は第１平滑化部４３により異方的な平滑化処理が施された対象画素の画素値をそれぞれ示す。
【００４１】
【数４】
【００４２】
なお、関数ＥＰＳ（ｄ，ｔｈ）は、上述した（３）式で示されるものである。ここで、係数ｔｈ２は、入力される画像に発生するノイズの標準偏差の約３倍の値に設定される。
【００４３】
第２平滑化部４４は、第１平滑化部４３によって異方的な平滑化処理が施された対象画素の画素値に対して、ラインメモリ４１に記憶された画素を参照した、等方的な平滑化処理を実行する。この第２平滑化部４４は、等方的なεフィルタを用いた平滑化処理を実行する。なお、この第２平滑化部４４の機能は、第１実施形態の平滑化部と同一の機能を有している。この第２平滑化部４４は、ラインメモリ４１に記憶された画素の画素値のうち、対象画素を中心にした５×５画素の計２５画素の画素値を参照画素値とし、以下の（５）式を用いた平滑化処理を実行する。
【００４４】
【数５】
【００４５】
なお、（５）式において、Ｔ（ｘ、ｙ）は第２平滑化部４４により当方的な平滑化処理が施された対象画素の画素値を示す。また、（５）式において、係数ｔｈ３は、例えば、画像に発生するノイズの標準偏差の１．５倍の値に設定される。なお、第１平滑化部４３において異方的な平滑化処理を行っていることから、係数ｔｈ３の値は、係数ｔｈ２の値よりも小さい値に設定される。
【００４６】
以下、ノイズ除去部１６におけるノイズ除去処理の流れを説明する。色補間部１５により色補間処理が施された画像データは、ＲＧＢ→ＹＣｂＣｒ変換処理が施された後、ノイズ除去部１６に入力される。なお、ノイズ除去部１６には１画素毎に各画素の画素値が入力される。このノイズ除去部１６に入力される各画素の画素値は、ラインメモリ４１に記憶されていく。そして、ラインメモリ４１に記憶された画素の画素値の数が、予め設定された数となると、ノイズ除去部１６への画素の画素値の入力が停止される。
【００４７】
ノイズ除去部１６への画素の画素値の入力が停止されると、突出除去部４２は、対象画素となる座標（ｘ，ｙ）の画素を中心とした３×３の計９画素の画素値を読み出し、上述した突出ノイズ除去処理を実行する。なお、突出ノイズ除去処理が施された対象画素の画素値は、突出除去部４２から第１平滑化部４３に出力される。第1平滑化部４３は、座標（ｘ，ｙ）の画素を対象画素とし、対象画素を含むＸ方向に配列された５画素（図８（ａ）に示す画素）、Ｙ方向に配列される５画素（図８（ｂ）に示す画素）、右斜め方向の５画素（図８（ｃ）に示す画素）及び左斜め方向の５画素（図８（ｄ）に示す画素）の計１７画素の画素値を読み出す。そして、第１平滑化部４３は、読み出した画素の画素値を用いて、Ｘ方向、Ｙ方向、右斜め方向、左斜め方向の４方向における画素の画素値の分散を算出する。この画素値の分散を算出した後、第１平滑化部４３は、画素値の分散が最小となる方向に配列された画素の画素値と、突出除去部４２から出力された突出ノイズ除去処理が施された対象画素の画素値とを用いて、異方的な平滑化処理を実行する。この異方的な平滑化処理が行われた対象画素の画素値は、第２平滑化部４４に出力される。
【００４８】
第２平滑化部４４は、ラインメモリ４１から、対象画素を中心とした５×５の計２５画素の画素値を読み出す。そして、第２平滑部は、第１平滑化部４３から出力された異方的な平滑化処理が施された対象画素の画素値と、ラインメモリ４１から読み出した画素の画素値とを参照し、等方的な平滑化処理を実行する。この第２平滑化部４４において等方的な平滑化処理が施された対象画素の画素値は、ノイズ除去部１６から輪郭強調部１７に出力される。
【００４９】
第２平滑化部４４により等方的な平滑化処理が施された対象画素の画素値がノイズ除去部から出力されると、ノイズ除去部１６には、新たな画素の画素値が入力される。この入力に合わせて、ラインメモリ４１に記憶された画素の画素値のうち、時間的に最も古い画素（例えば座標（ｘ−２，Ｙ−２）の画素）の画素値がラインメモリ４１から削除され、新たに入力された画素（例えば座標（ｘ＋３，ｙ＋２）の画素）の画素値がラインメモリ４１に記憶される。
【００５０】
この場合も、第１実施形態と同様にして、対象画素として、座標（ｘ，ｙ）の画素からＸ方向に１画素ずれた座標（ｘ＋１，ｙ）の画素が設定され、上述した突出ノイズ除去処理や、上述した複数回の平滑化処理が実行される。このようにして、ラインメモリ４１に画像の所定範囲に含まれる全画素が記憶される、或いはラインメモリ４１に記憶される画素の画素値が更新される毎に、上述した突出ノイズ除去処理や平滑化処理が実行される。この処理は、画像に含まれる全画素に対して実行される。なお、画像の左右端部、及び上下端部に位置する画素を対象画素とする場合、参照する対象画素の周囲の画素がないときもある。このような場合には、対象画素の周囲の画素を重複して用いる、或いは、対象画素の周囲に存在する画素のみを用いればよい。
【００５１】
この第２実施形態では、ラインメモリ４１に記憶した画素の画素値を用いて、突出ノイズ除去処理、異方的な平滑化処理及び等方的な平滑化処理の各処理を行っている。また、画像全体ではなく、突出ノイズ除去処理と、複数回の平滑化処理とで必要となる画素を含む所定範囲の画素の画素値を、ラインメモリ４１に記憶している。つまり、本発明を実施することで、ノイズ除去処理に関わるラインメモリ４１の数やラインメモリ４１の容量を最小限にすることができ、結果的にコストを抑制することができる。
【００５２】
この第２実施形態では、異方性に依存するεフィルタを用いた第１平滑化処理では、４方向における画素の画素値の分散を算出したときには、輪郭線の方向に配列された画素の画素値の分散が最小となる。つまり、この第１平滑化処理においては、輪郭線の方向に配列された画素を参照した平滑化処理が実行されるので、画像の輪郭線の先鋭さを失うことなく、対象画素に発生するノイズを軽減することができる。なお、第1平滑化部４３における異方的な依存した平滑化処理においては、参照する画素の数が少ないことから、この平滑化処理だけではノイズの軽減効果が低い。このため、第1平滑化部４３における平滑化処理の後に、第２平滑化部４４による等方的な平滑化処理をさらに実行することで、画素に発生するノイズを充分に軽減することが可能となる。この際、第２平滑化部４４による等方的な平滑化処理を実行する際に、閾値である係数ｔｈ３を、第１実施形態における等方的な平滑化処理で用いる係数ｔｈ１よりも小さく設定することで、画像の先鋭さを失わずにノイズを除去することができる。
【００５３】
第１実施形態及び第２実施形態では、突出除去処理に用いるＭＡＸ・ＭＩＮフィルタや、平滑化処理に用いるεフィルタは一例であり、これら処理を行うのに適した他のフィルタを用いることも可能である。
【００５４】
また、突出ノイズ除去処理に参照する画素の範囲を３×３の計９個の画素の範囲とし、平滑化処理に参照する画素の範囲を５×５の計２５個の画素の範囲としているが、これら処理を行う際に参照する画素の範囲は、これら範囲に限定されるものではなく、適宜設定されるものである。
【００５５】
上述した第２実施形態では、突出ノイズ除去処理の後に、異方的な平滑化処理、等方的な平滑化処理を行っているが、これに限定する必要はなく、例えば突出ノイズが少ない画像データに対するノイズ除去処理を行う場合には、突出ノイズ除去処理を省略し、異方的な平滑化処理、等方的な平滑化処理を行うようにしてもよい。
【００５６】
上述した第１実施形態及び第２実施形態においては、画像処理装置を例に取り上げているが、これに限定される必要はなく、図９に示す電子カメラ５０に用いる画像処理装置に本発明の画像処理装置を搭載することも可能である。
【００５７】
図９に示すように、電子カメラ５０は、撮像光学系５１、撮像素子５２、Ａ／Ｄ変換部５３、タイミングジェネレータ（ＴＧ）５４、バッファメモリ５５、画像処理装置５６、表示制御回路５７、表示装置５８、接続用Ｉ／Ｆ５９、ＣＰＵ６０、内蔵メモリ６１、レリーズボタン６２及び設定操作部６３を備えている。なお、Ａ／Ｄ変換部５３、バッファメモリ５５、画像処理装置５６、表示制御回路５７、接続用Ｉ／Ｆ５９、ＣＰＵ６０及び内蔵メモリ６１は、それぞれバス６４によって接続される。また、接続用Ｉ／Ｆ５９には、メモリカード、光学ディスク及びハードディスクドライブなどの記憶媒体６５が接続される。なお、この電子カメラ５０に用いられる画像処理装置５６は、第１実施形態、又は第２実施形態のいずれかの構成からなるノイズ除去部１６を備えた画像処理装置が用いられる。
【００５８】
この電子カメラ５０の場合には、レリーズボタン６２の操作によって撮像が実行されると、予め設定された撮像条件に基づいた撮像処理が実行される。この撮像処理時に、予め設定されたシャッタ速度に合わせた光電変換が撮像素子５２の各画素にて実行され、各画素に蓄積される信号電荷が、画素信号として撮像素子５２から出力される。撮像素子５２から出力される画素信号は、Ａ／Ｄ変換部５３によりアナログの信号からデジタルの信号に変換される。デジタルの信号に変換された全画素信号は、１つのデータ（画像データ）としてバッファメモリ５５に記憶される。なお、画像処理装置５６は、バッファメモリ５５に記憶される画像データを読み出し、上述した各処理を実行する。この場合も、第1の実施形態、又は第２の実施形態と同様の効果を得ることができる。
【００５９】
上述した第１実施形態及び第２実施形態においては、画像処理装置について説明しているが、図１及び図２に示す各部の機能、或いは図１及び図６に示す各部の機能のいずれかをコンピュータに実行させるための画像処理プログラムであってもよい。この場合、画像処理プログラムは、メモリカード、光学ディスク或いは磁気ディスクなどの、コンピュータにて読み取ることができる記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００６０】
１０，５６…画像処理装置、１６…ノイズ除去部、２５，４１…ラインメモリ、２６，４２…突出除去部、２７…平滑化部、４３…第１平滑化部、４４…第２平滑化部、５０…電子カメラ
【技術分野】
【０００１】
本発明は、画像処理装置、電子カメラ及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、画像に対するノイズ除去処理として、突出除去フィルタや平滑化フィルタなどの種々のフィルタを用いた処理が施される。例えば突出除去フィルタは、画像に発生する突出ノイズを除去する際に用いられるフィルタであり、例えばＭＡＸ・ＭＩＮフィルタが挙げられる。このＭＡＸ・ＭＩＮフィルタは、注目画素の周囲に位置する画素の最大画素値と最小画素値とを求め、注目画素の画素値を最大画素値と最小画素値との間にクリップするものである。また、平滑化フィルタは、画像に発生するショットノイズを除去する際に用いられるフィルタであり、例えばεフィルタが挙げられる。このεフィルタは、例えば注目画素の周囲に位置する画素のうち、注目画素との画素値の差が閾値以下となる画素の画素値を用いて平滑化を行うものである。最近では、デジタルカメラに代表される電子カメラにおいて、上述した突出除去フィルタ及び平滑化フィルタを用いて複数回のノイズ除去処理をパイプライン方式にて実行している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−７３９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したパイプライン方式を用いて複数回のノイズ除去処理を実行する場合、まず、第１のラインメモリに記憶された画素の画素値を参照して突出除去フィルタによるノイズ除去処理を行い、第２のラインメモリにノイズ除去処理された画素の画素値を記憶する。その後、第２のラインメモリに記憶された画素の画素値を参照して平滑化フィルタによるノイズ除去処理を実行する。したがって、各ノイズ除去処理に対して、画像サイズに合わせたラインメモリが必要となり、コストアップにつながるという欠点がある。
【０００５】
本発明は、パイプライン方式を用いた複数回のノイズ除去処理に用いられるラインメモリを節約することで、コストダウンを図ることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の電子カメラは、画像を取り込む画像取込部と、前記画像の所定範囲に含まれる複数の画素の画素値を記憶する記憶部と、前記記憶部に記憶される前記複数の画素の画素値を参照して、ノイズ除去の対象となる対象画素の画素値に対する第１のノイズ除去処理を実行する第１ノイズ除去処理部と、前記記憶部に記憶され、前記第１のノイズ除去処理において参照された前記複数の画素の画素値を参照して、前記第１のノイズ除去処理が施された前記対象画素の画素値に対する第２のノイズ除去処理を実行する第２ノイズ除去処理部と、を備えたことを特徴とする。
【０００７】
また、前記記憶部に記憶される前記複数の画素の画素値を参照して、前記第２のノイズ除去処理が施された前記対象画素の画素値に対する第３のノイズ除去処理を実行する第３ノイズ除去処理部を、さらに備えているものである。
【０００８】
また、前記第１のノイズ除去処理は、画像に含まれる突出ノイズを除去する処理であることが好ましい。
【０００９】
また、前記第１のノイズ除去処理は、特定方向に依存した異方的な平滑化を行う処理であり、前記第２のノイズ除去処理は、前記特定方向に依存しない等方的な平滑化を行う処理であることが好ましい。
【００１０】
また、第３のノイズ除去処理部を備えている場合には、前記第１のノイズ除去処理は、前記画像に含まれる突出ノイズを除去する処理であり、前記第２のノイズ除去処理は、特定方向に依存した異方的な平滑化を行う処理であり、前記第３のノイズ除去処理は、前記特定方向に依存しない等方的な平滑化を行う処理であることが好ましい。
【００１１】
また、本発明の電子カメラは、光電変換を行う撮像素子と、本発明の画像処理装置と、を備え、前記画像処理装置は、前記撮像素子により取り込まれる画像に対するノイズ除去処理を実行することを特徴とする。
【００１２】
また、本発明の画像処理プログラムは、画像を取り込む画像取込工程と、前記画像の所定範囲に含まれる複数の画素の画素値を記憶する記憶工程と、前記記憶工程により記憶される前記複数の画素の画素値を参照して、ノイズ除去の対象となる対象画素の画素値に対する第１のノイズ除去処理を実行する第１ノイズ除去工程と、前記記憶工程により記憶され、前記第１のノイズ除去処理において参照された前記複数の画素の画素値を参照して、前記第１のノイズ除去処理が施された前記対象画素の画素値に対する第２のノイズ除去処理を実行する実行する第２ノイズ除去工程と、をコンピュータに実行させるものである。
【発明の効果】
【００１３】
本発明によれば、パイプライン方式を用いた複数回のノイズ除去処理に用いられるラインメモリを節約することで、コストダウンを図ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を実施した画像処理装置の構成の概略を示す図である。
【図２】第１実施形態のノイズ除去部の構成を示す図である。
【図３】画像とラインメモリに記憶される画素の範囲との関係を示す図である。
【図４】突出ノイズ除去処理時に参照する画素の範囲を示す図である。
【図５】平滑化処理時に参照する画素の範囲を示す図である。
【図６】第２実施形態のノイズ除去部の構成を示す図である。
【図７】異方的な平滑化処理を行う際に参照する画素を示す図である。
【図８】（ａ）〜（ｄ）は、画素値の分散を求める際に参照する画素を示す図である。
【図９】本発明の画像処理装置を備えた電子カメラの構成を示す図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施した画像処理装置について、図１に基づいて説明する。
【００１６】
図１に示すように、画像処理装置１０は、色補間部１５、ノイズ除去部１６、輪郭強調部１７、階調補正部１８、彩度強調部１９及び圧縮処理部２０を備えている。この画像処理装置１０には、各画素の画素値がＲ，Ｇ，Ｂのいずれかの色成分の値からなる画像データが入力される。色補間部１５は、入力される画像データに対して色補間処理を行い、各画素の画素値がＲ，Ｇ，Ｂの色成分からなる画像データを生成する。この色補間部１５における色補間処理の後、画像データに対してＲＧＢ→ＹＣｂＣｒ変換処理（図示省略）が実行され、各画素の画素値が輝度（Ｙ）及び色差（Ｃｂ・Ｃｒ）からなる画像データが生成される。この画像データはノイズ除去部１６に入力される。ノイズ除去部１６は、入力される画像データに対して、ノイズ除去処理を実行する。このノイズ除去部１６の詳細については後述する。ノイズ除去部１６によるノイズ除去処理が施された画像データは、輪郭強調部１７における輪郭強調処理、階調補正部１８における階調補正処理、彩度強調部１９による彩度強調処理が施される。なお、輪郭強調処理、階調補正処理、彩度強調処理の各処理については周知であることから、その詳細は省略する。最後に、各処理が施された画像データは、圧縮処理部２０により圧縮符号化処理され、符号化データとして画像処理装置１０から出力される。なお、彩度強調部１９から出力される画像データは、直接、圧縮処理部２０に入力されてもよいし、ＹＣｂＣｒ→ＲＧＢ変換処理を行った後に圧縮処理部２０に入力されてもよい。
【００１７】
ここで、画像処理装置１０に入力される画像データとして、各画素の画素値がＲ，Ｇ，Ｂのいずれかの色成分の値からなる画像データを挙げているが、これに限定される必要はなく、各画素の画素値がＲ，Ｇ，Ｂの各色成分からなる画像データであってもよい。この場合、上述した色補間部１５における色補間処理を省略し、ＲＧＢ→ＹＣｂＣｒ変換処理を行った後、ノイズ除去部１６に入力させればよい。
【００１８】
また、図１に示す画像処理装置においては、色補間部１５、圧縮処理部２０の双方を設けた場合について説明しているが、これに限定される必要はなく、色補間部１５、圧縮処理部２０のいずれか一方を備えていない画像処理装置であってもよい。
【００１９】
以下、ノイズ除去処理として、突出ノイズを除去する処理（以下、突出ノイズ除去処理）と平滑化処理とをパイプライン方式を用いて行う場合の実施形態を第１実施形態として説明する。
＜第１実施形態＞
図２に示すように、ノイズ除去部１６は、ラインメモリ２５、突出除去部２６、平滑化部２７を備えている。図２においては、ラインメモリ２５、突出除去部２６、平滑化部２７の各部を１つ備えた形態としているが、ノイズ除去部１６の各部は色成分に合わせた数設けられていることが望ましい。
【００２０】
ラインメモリ２５は、ノイズ除去部１６に入力される画像データの各画素の画素値を記憶する。ここで、ラインメモリ２５に記憶される画素の数は、例えば５ライン分の水平ラインに配置される画素と、例えば５画素とを加算した数である。図３においては、画像Ｉのうち、ハッチングで囲まれる画素の範囲（符号３１で示す範囲）が、例えばラインメモリ２５に記憶される画素の範囲となる。このラインメモリ２５には、画像Ｉの各画素の画素値が１画素ごとに入力され、上述した数の画素の画素値が記憶されたときに、突出除去部２６による突出ノイズ除去処理が実行される。そして、平滑化部２７による平滑化処理が終了すると、時間的に最も古い画素の画素値がラインメモリ２５から削除され、新たに入力された画素の画素値がラインメモリ２５に記憶される。なお、ラインメモリ２５に記憶される画素の数は一例であり、突出除去部２６や平滑化部２７にて参照する画素の範囲に応じて適宜設定されるものである。
【００２１】
突出除去部２６は、ラインメモリ２５に記憶される画素の画素値を参照して、ノイズ除去の対象となる画素（以下、対象画素）に対する突出ノイズ除去処理を実行する。この突出除去部２６における突出ノイズ除去処理は、例えばＭＡＸ・ＭＩＮフィルタを用いて実行される。以下、対象画素の座標を（ｘ，ｙ）、その画素値をＰ（ｘ，ｙ）として説明する。ＭＡＸ・ＭＩＮフィルタは、対象画素の周囲の画素の画素値の最大値（最大画素値）と最小値（最小画素値）とを求め、対象画素の画素値を最小画素値と最大画素値との間の値にクランプするフィルタである。
【００２２】
突出除去部２６は、まず、ラインメモリ２５に記憶される画素の画素値のうち、対象画素を中心にした３×３の計９画素の画素値を参照画素の画素値として読み出す。図４においては、例えば座標（ｘ，ｙ）の画素３２を対象画素とした場合であり、図４中ハッチングで示される範囲３３に含まれる９個の画素の画素値を参照画素の画素値として読み出す。
【００２３】
次に、突出除去部２６は、読み出した参照画素のうち、対象画素を除く参照画素、つまり対象画素の周囲の画素（図４においては、座標（ｘ−１，ｙ−１），座標（ｘ，ｙ−１），座標（ｘ＋１，ｙ−１），座標（ｘ−１，ｙ），座標（ｘ＋１，ｙ），座標（ｘ−１，ｙ＋１），座標（ｘ，ｙ＋１），座標（ｘ＋１，ｙ＋１）の計８画素）の画素値から、最大画素値及び最小画素値を求める。
【００２４】
最後に、突出除去部２６は、求めた最大画素値及び最小画素値と、対象画素の画素値とを、以下の（１）式に適用する。これにより、対象画素に対する突出ノイズ除去処理が実行される。
【００２５】
【数１】
【００２６】
上述した（１）式において、Ｑ（ｘ，ｙ）は突出ノイズ除去処理後の対象画素の画素値、ＭＡＸは対象画素の周囲の画素における最大画素値、ＭＩＮは対象画素の周囲の画素における最小画素値をそれぞれ示す。
【００２７】
平滑化部２７は、突出除去部２６によって突出ノイズが除去された対象画素の画素値に対して、ラインメモリ２５に記憶された画素を参照した平滑化処理を実行する。この平滑化部２７においては、方向に依存しない、いわゆる等方的なεフィルタを用いた処理が実行される。ここで、εフィルタは、対象画素の周囲の画素の画素値と突出ノイズが除去された対象画素の画素値とを用いて平滑化を行うフィルタである。この平滑化部２７において参照する画素の範囲は、対象画素を中心にした、５×５の計２５画素の範囲を参照画素の画素値として読み出す。なお、図５においては、図４と同様に、座標（ｘ，ｙ）の画素３２を対象画素とし、図５中ハッチングで示される範囲３４に含まれる画素の画素値を参照画素の画素値として読み出す場合について記載している。この平滑化部２７は、以下の（２）式に基づいて、対象画素に対する平滑化処理を実行する。以下の（２）式において、Ｒ（ｘ，ｙ）は平滑化処理後の対象画素の画素値を示す。
【００２８】
【数２】
【００２９】
ここで、上述した（２）式で示される関数ＥＰＳ（ｄ、ｔｈ）は、以下の（３）式で定義される。なお、（３）式における係数ｔｈは平滑化する（ノイズを除去する）際の閾値である。
【００３０】
【数３】
【００３１】
上述した（２）式における係数ｔｈ１は入力される画像に発生するノイズの標準偏差の例えば３倍に設定される。なお、係数ｔｈ１として、入力される画像に発生するノイズの標準偏差の３倍に設定するとしているが、これに限定される必要はなく、例えば画像を取得したときの撮像条件（シャッタ速度等）に基づいて設定することも可能である。
【００３２】
以下、ノイズ除去部１６におけるノイズ除去処理の流れを説明する。色補間部１５により色補間処理が施された画像データは、ＲＧＢ→ＹＣｂＣｒ変換処理が施された後、ノイズ除去部１６に入力される。なお、ノイズ除去部１６には１画素毎に各画素の画素値が入力される。このノイズ除去部１６に入力される各画素の画素値は、ラインメモリ２５に記憶されていく。そして、ラインメモリ２５に記憶された画素の画素値の数が、予め設定された数となると、ノイズ除去部１６への画素の画素値の入力が停止される。ノイズ除去部１６への画素の画素値の入力が停止されると、突出除去部２６は、対象画素となる座標（ｘ，ｙ）の画素を中心とした３×３の計９画素の画素値を読み出し、上述した突出ノイズ除去処理を実行する。なお、突出ノイズ除去処理が施された対象画素の画素値は、突出除去部２６から平滑化部２７に出力される。平滑化部２７は、ラインメモリ２５から、対象画素を中心とした５×５の計２５画素の画素値を読み出す。そして、突出除去部２６から出力された突出ノイズ除去処理が施された対象画素の画素値と、ラインメモリ２５から読み出した画素の画素値とを参照し、上述した平滑化処理を実行する。この平滑化部２７における平滑化処理が施された対象画素の画素値は、ノイズ除去部１６から輪郭強調部１７に出力される。
【００３３】
平滑化部２７により平滑化処理が施された対象画素の画素値がノイズ除去部１６から出力されると、ノイズ除去部１６には、新たな画素の画素値が入力される。この入力に合わせて、ラインメモリ２５に記憶された画素の画素値のうち、時間的に最も古い画素（例えば座標（ｘ−２，Ｙ−２）の画素）の画素値がラインメモリ２５から削除され、新たに入力された画素（例えば座標（ｘ＋３，ｙ＋２）の画素）の画素値がラインメモリ２５に記憶される。この場合、対象画素として、座標（ｘ，ｙ）の画素からＸ方向に１画素ずれた座標（ｘ＋１，ｙ）の画素が設定され、上述した突出ノイズ除去処理や平滑化処理が実行される。
【００３４】
このようにして、ラインメモリ２５に画像の所定範囲に含まれる全画素が記憶される、或いはラインメモリ２５に記憶される画素の画素値が更新される毎に、上述した突出ノイズ除去処理や平滑化処理が実行される。この処理は、画像に含まれる全画素に対して実行される。なお、画像の左右端部、及び上下端部に位置する画素を対象画素とする場合、参照する対象画素の周囲の画素がないときもある。このような場合には、対象画素の周囲の画素を重複して用いる、或いは、対象画素の周囲に存在する画素のみを用いればよい。
【００３５】
この第１実施形態では、ラインメモリ２５に記憶した画素の画素値を用いて、突出ノイズ除去処理と平滑化処理との双方の処理を行っている。また、画像全体ではなく、突出ノイズ除去処理と、平滑化処理との双方の処理で必要となる画素を含む所定範囲の画素の画素値を、ラインメモリ２５に記憶している。つまり、本発明を実施することで、ノイズ除去処理に係るラインメモリ２５の容量を最小限にすることができ、結果的にコストを抑制することができる。
【００３６】
なお、突出ノイズ除去処理の後に実行される平滑化処理においては、ラインメモリ２５に記憶された画素、言い換えれば突出ノイズ除去処理を施していない画素を用いている。このため、突出ノイズが発生している画素の画素値を用いた平滑化処理が実行されてしまうが、突出ノイズは画像中にまばらにしか発生しないことから、突出ノイズ除去処理が実行されていない画素を用いたとしても、平滑化処理の効果を減少させるものではない。
【００３７】
次に、ノイズ除去処理として、突出ノイズ除去処理と、複数回の平滑化処理とを行う場合について、第２実施形態として説明する。なお、ノイズ除去部については、第1実施形態と同様に符号１６を付して説明する。
＜第２実施形態＞
図６に示すように、ノイズ除去部１６は、ラインメモリ４１、突出除去部４２、第１平滑化部４３及び第２平滑化部４４を備えている。なお、第１実施形態と同様に、図６に示すノイズ除去１６の構成は、１つの色成分に対してノイズ除去処理を実行することを前提にしているが、色成分毎にノイズ除去処理を行う場合には、ラインメモリ４１、突出除去部４２、第１平滑化部４３及び第２平滑化部４４の構成を、各色成分に対応した数分設けることが望ましい。なお、ラインメモリ４１及び突出除去部４２は、第１実施形態と同一の機能を有していることから、ここではその詳細を省略する。
【００３８】
第１平滑化部４３は、突出除去部４２によって突出ノイズが除去された対象画素の画素値に対して、ラインメモリ４１に記憶された画素を参照した、方向に依存した、いわゆる異方的な平滑化処理を実行する。この第１平滑化部４３は、異方的なεフィルタを用いた平滑化処理を実行する。
【００３９】
まず、第１平滑化部４３は、対象画素（図７中符号４５）を中心にした５×５の計２５画素のうち、対象画素を含むＸ方向、Ｙ方向、右斜め方向、左斜め方向にそれぞれ配列される計１７画素（図７中、ハッチングで示す画素）の画素値を参照する。そして、第１平滑化部４３は、参照する画素のうち、Ｘ方向に配列される５画素（図８（ａ）中、ハッチングで示す画素）、Ｙ方向に配列される５画素（図８（ｂ）中、ハッチングで示す画素）、右斜め方向の５画素（図８（ｃ）中、ハッチングで示す画素）及び左斜め方向の５画素（図８（ｄ）中、ハッチングで示す画素）の全４方向に配列される画素の画素値の分散を方向毎に算出する。
【００４０】
これら４方向に配列される画素の画素値の分散を方向毎に求めた後、第１平滑化部４３は、算出した計４方向の画素の画素値の分散のうち、最小となる画素値の分散に対応する方向を特定する。最後に、第１平滑化部４３は、画素値の分散が最小となる分散の方向に配列される画素の画素値を、それぞれＰ（１）〜Ｐ（５）として、以下の（４）式を用いた平滑化処理を実行する。なお、（４）式において、Ｑ（ｘ，ｙ）は第１平滑化部４３により異方的な平滑化処理を行う前、言い換えれば突出ノイズ除去処理が施された対象画素の画素値、Ｓ（ｘ、ｙ）は第１平滑化部４３により異方的な平滑化処理が施された対象画素の画素値をそれぞれ示す。
【００４１】
【数４】
【００４２】
なお、関数ＥＰＳ（ｄ，ｔｈ）は、上述した（３）式で示されるものである。ここで、係数ｔｈ２は、入力される画像に発生するノイズの標準偏差の約３倍の値に設定される。
【００４３】
第２平滑化部４４は、第１平滑化部４３によって異方的な平滑化処理が施された対象画素の画素値に対して、ラインメモリ４１に記憶された画素を参照した、等方的な平滑化処理を実行する。この第２平滑化部４４は、等方的なεフィルタを用いた平滑化処理を実行する。なお、この第２平滑化部４４の機能は、第１実施形態の平滑化部と同一の機能を有している。この第２平滑化部４４は、ラインメモリ４１に記憶された画素の画素値のうち、対象画素を中心にした５×５画素の計２５画素の画素値を参照画素値とし、以下の（５）式を用いた平滑化処理を実行する。
【００４４】
【数５】
【００４５】
なお、（５）式において、Ｔ（ｘ、ｙ）は第２平滑化部４４により当方的な平滑化処理が施された対象画素の画素値を示す。また、（５）式において、係数ｔｈ３は、例えば、画像に発生するノイズの標準偏差の１．５倍の値に設定される。なお、第１平滑化部４３において異方的な平滑化処理を行っていることから、係数ｔｈ３の値は、係数ｔｈ２の値よりも小さい値に設定される。
【００４６】
以下、ノイズ除去部１６におけるノイズ除去処理の流れを説明する。色補間部１５により色補間処理が施された画像データは、ＲＧＢ→ＹＣｂＣｒ変換処理が施された後、ノイズ除去部１６に入力される。なお、ノイズ除去部１６には１画素毎に各画素の画素値が入力される。このノイズ除去部１６に入力される各画素の画素値は、ラインメモリ４１に記憶されていく。そして、ラインメモリ４１に記憶された画素の画素値の数が、予め設定された数となると、ノイズ除去部１６への画素の画素値の入力が停止される。
【００４７】
ノイズ除去部１６への画素の画素値の入力が停止されると、突出除去部４２は、対象画素となる座標（ｘ，ｙ）の画素を中心とした３×３の計９画素の画素値を読み出し、上述した突出ノイズ除去処理を実行する。なお、突出ノイズ除去処理が施された対象画素の画素値は、突出除去部４２から第１平滑化部４３に出力される。第1平滑化部４３は、座標（ｘ，ｙ）の画素を対象画素とし、対象画素を含むＸ方向に配列された５画素（図８（ａ）に示す画素）、Ｙ方向に配列される５画素（図８（ｂ）に示す画素）、右斜め方向の５画素（図８（ｃ）に示す画素）及び左斜め方向の５画素（図８（ｄ）に示す画素）の計１７画素の画素値を読み出す。そして、第１平滑化部４３は、読み出した画素の画素値を用いて、Ｘ方向、Ｙ方向、右斜め方向、左斜め方向の４方向における画素の画素値の分散を算出する。この画素値の分散を算出した後、第１平滑化部４３は、画素値の分散が最小となる方向に配列された画素の画素値と、突出除去部４２から出力された突出ノイズ除去処理が施された対象画素の画素値とを用いて、異方的な平滑化処理を実行する。この異方的な平滑化処理が行われた対象画素の画素値は、第２平滑化部４４に出力される。
【００４８】
第２平滑化部４４は、ラインメモリ４１から、対象画素を中心とした５×５の計２５画素の画素値を読み出す。そして、第２平滑部は、第１平滑化部４３から出力された異方的な平滑化処理が施された対象画素の画素値と、ラインメモリ４１から読み出した画素の画素値とを参照し、等方的な平滑化処理を実行する。この第２平滑化部４４において等方的な平滑化処理が施された対象画素の画素値は、ノイズ除去部１６から輪郭強調部１７に出力される。
【００４９】
第２平滑化部４４により等方的な平滑化処理が施された対象画素の画素値がノイズ除去部から出力されると、ノイズ除去部１６には、新たな画素の画素値が入力される。この入力に合わせて、ラインメモリ４１に記憶された画素の画素値のうち、時間的に最も古い画素（例えば座標（ｘ−２，Ｙ−２）の画素）の画素値がラインメモリ４１から削除され、新たに入力された画素（例えば座標（ｘ＋３，ｙ＋２）の画素）の画素値がラインメモリ４１に記憶される。
【００５０】
この場合も、第１実施形態と同様にして、対象画素として、座標（ｘ，ｙ）の画素からＸ方向に１画素ずれた座標（ｘ＋１，ｙ）の画素が設定され、上述した突出ノイズ除去処理や、上述した複数回の平滑化処理が実行される。このようにして、ラインメモリ４１に画像の所定範囲に含まれる全画素が記憶される、或いはラインメモリ４１に記憶される画素の画素値が更新される毎に、上述した突出ノイズ除去処理や平滑化処理が実行される。この処理は、画像に含まれる全画素に対して実行される。なお、画像の左右端部、及び上下端部に位置する画素を対象画素とする場合、参照する対象画素の周囲の画素がないときもある。このような場合には、対象画素の周囲の画素を重複して用いる、或いは、対象画素の周囲に存在する画素のみを用いればよい。
【００５１】
この第２実施形態では、ラインメモリ４１に記憶した画素の画素値を用いて、突出ノイズ除去処理、異方的な平滑化処理及び等方的な平滑化処理の各処理を行っている。また、画像全体ではなく、突出ノイズ除去処理と、複数回の平滑化処理とで必要となる画素を含む所定範囲の画素の画素値を、ラインメモリ４１に記憶している。つまり、本発明を実施することで、ノイズ除去処理に関わるラインメモリ４１の数やラインメモリ４１の容量を最小限にすることができ、結果的にコストを抑制することができる。
【００５２】
この第２実施形態では、異方性に依存するεフィルタを用いた第１平滑化処理では、４方向における画素の画素値の分散を算出したときには、輪郭線の方向に配列された画素の画素値の分散が最小となる。つまり、この第１平滑化処理においては、輪郭線の方向に配列された画素を参照した平滑化処理が実行されるので、画像の輪郭線の先鋭さを失うことなく、対象画素に発生するノイズを軽減することができる。なお、第1平滑化部４３における異方的な依存した平滑化処理においては、参照する画素の数が少ないことから、この平滑化処理だけではノイズの軽減効果が低い。このため、第1平滑化部４３における平滑化処理の後に、第２平滑化部４４による等方的な平滑化処理をさらに実行することで、画素に発生するノイズを充分に軽減することが可能となる。この際、第２平滑化部４４による等方的な平滑化処理を実行する際に、閾値である係数ｔｈ３を、第１実施形態における等方的な平滑化処理で用いる係数ｔｈ１よりも小さく設定することで、画像の先鋭さを失わずにノイズを除去することができる。
【００５３】
第１実施形態及び第２実施形態では、突出除去処理に用いるＭＡＸ・ＭＩＮフィルタや、平滑化処理に用いるεフィルタは一例であり、これら処理を行うのに適した他のフィルタを用いることも可能である。
【００５４】
また、突出ノイズ除去処理に参照する画素の範囲を３×３の計９個の画素の範囲とし、平滑化処理に参照する画素の範囲を５×５の計２５個の画素の範囲としているが、これら処理を行う際に参照する画素の範囲は、これら範囲に限定されるものではなく、適宜設定されるものである。
【００５５】
上述した第２実施形態では、突出ノイズ除去処理の後に、異方的な平滑化処理、等方的な平滑化処理を行っているが、これに限定する必要はなく、例えば突出ノイズが少ない画像データに対するノイズ除去処理を行う場合には、突出ノイズ除去処理を省略し、異方的な平滑化処理、等方的な平滑化処理を行うようにしてもよい。
【００５６】
上述した第１実施形態及び第２実施形態においては、画像処理装置を例に取り上げているが、これに限定される必要はなく、図９に示す電子カメラ５０に用いる画像処理装置に本発明の画像処理装置を搭載することも可能である。
【００５７】
図９に示すように、電子カメラ５０は、撮像光学系５１、撮像素子５２、Ａ／Ｄ変換部５３、タイミングジェネレータ（ＴＧ）５４、バッファメモリ５５、画像処理装置５６、表示制御回路５７、表示装置５８、接続用Ｉ／Ｆ５９、ＣＰＵ６０、内蔵メモリ６１、レリーズボタン６２及び設定操作部６３を備えている。なお、Ａ／Ｄ変換部５３、バッファメモリ５５、画像処理装置５６、表示制御回路５７、接続用Ｉ／Ｆ５９、ＣＰＵ６０及び内蔵メモリ６１は、それぞれバス６４によって接続される。また、接続用Ｉ／Ｆ５９には、メモリカード、光学ディスク及びハードディスクドライブなどの記憶媒体６５が接続される。なお、この電子カメラ５０に用いられる画像処理装置５６は、第１実施形態、又は第２実施形態のいずれかの構成からなるノイズ除去部１６を備えた画像処理装置が用いられる。
【００５８】
この電子カメラ５０の場合には、レリーズボタン６２の操作によって撮像が実行されると、予め設定された撮像条件に基づいた撮像処理が実行される。この撮像処理時に、予め設定されたシャッタ速度に合わせた光電変換が撮像素子５２の各画素にて実行され、各画素に蓄積される信号電荷が、画素信号として撮像素子５２から出力される。撮像素子５２から出力される画素信号は、Ａ／Ｄ変換部５３によりアナログの信号からデジタルの信号に変換される。デジタルの信号に変換された全画素信号は、１つのデータ（画像データ）としてバッファメモリ５５に記憶される。なお、画像処理装置５６は、バッファメモリ５５に記憶される画像データを読み出し、上述した各処理を実行する。この場合も、第1の実施形態、又は第２の実施形態と同様の効果を得ることができる。
【００５９】
上述した第１実施形態及び第２実施形態においては、画像処理装置について説明しているが、図１及び図２に示す各部の機能、或いは図１及び図６に示す各部の機能のいずれかをコンピュータに実行させるための画像処理プログラムであってもよい。この場合、画像処理プログラムは、メモリカード、光学ディスク或いは磁気ディスクなどの、コンピュータにて読み取ることができる記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００６０】
１０，５６…画像処理装置、１６…ノイズ除去部、２５，４１…ラインメモリ、２６，４２…突出除去部、２７…平滑化部、４３…第１平滑化部、４４…第２平滑化部、５０…電子カメラ
【特許請求の範囲】
【請求項１】
画像を取り込む画像取込部と、
前記画像の所定範囲に含まれる複数の画素の画素値を記憶する記憶部と、
前記記憶部に記憶される前記複数の画素の画素値を参照して、ノイズ除去の対象となる対象画素の画素値に対する第１のノイズ除去処理を実行する第１ノイズ除去処理部と、
前記記憶部に記憶され、前記第１のノイズ除去処理において参照された前記複数の画素の画素値を参照して、前記第１のノイズ除去処理が施された前記対象画素の画素値に対する第２のノイズ除去処理を実行する第２ノイズ除去処理部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記記憶部に記憶される前記複数の画素の画素値を参照して、前記第２のノイズ除去処理が施された前記対象画素の画素値に対する第３のノイズ除去処理を実行する第３ノイズ除去処理部を、さらに備えていることを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記第１のノイズ除去処理は、画像に含まれる突出ノイズを除去する処理であることを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記第１のノイズ除去処理は、方向に依存した異方的な平滑化を行う処理であり、
前記第２のノイズ除去処理は、前記方向に依存しない等方的な平滑化を行う処理であることを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
前記第１のノイズ除去処理は、前記画像に含まれる突出ノイズを除去する処理であり、
前記第２のノイズ除去処理は、方向に依存した異方的な平滑化を行う処理であり、
前記第３のノイズ除去処理は、前記方向に依存しない等方的な平滑化を行う処理であることを特徴とする画像処理装置。
【請求項６】
光電変換を行う撮像素子と、
請求項１から請求項５のいずれか１項に記載の画像処理装置と、を備え、
前記画像処理装置は、前記撮像素子により取り込まれる画像に対するノイズ除去処理を実行する
ことを特徴とする電子カメラ。
【請求項７】
画像を取り込む画像取込工程と、
前記画像の所定範囲に含まれる複数の画素の画素値を記憶する記憶工程と、
前記記憶工程により記憶される前記複数の画素の画素値を参照して、ノイズ除去の対象となる対象画素の画素値に対する第１のノイズ除去処理を実行する第１ノイズ除去工程と、
前記記憶工程により記憶され、前記第１のノイズ除去処理において参照された前記複数の画素の画素値を参照して、前記第１のノイズ除去処理が施された前記対象画素の画素値に対する第２のノイズ除去処理を実行する第２ノイズ除去工程と、
をコンピュータに実行させる画像処理プログラム。
【請求項１】
画像を取り込む画像取込部と、
前記画像の所定範囲に含まれる複数の画素の画素値を記憶する記憶部と、
前記記憶部に記憶される前記複数の画素の画素値を参照して、ノイズ除去の対象となる対象画素の画素値に対する第１のノイズ除去処理を実行する第１ノイズ除去処理部と、
前記記憶部に記憶され、前記第１のノイズ除去処理において参照された前記複数の画素の画素値を参照して、前記第１のノイズ除去処理が施された前記対象画素の画素値に対する第２のノイズ除去処理を実行する第２ノイズ除去処理部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記記憶部に記憶される前記複数の画素の画素値を参照して、前記第２のノイズ除去処理が施された前記対象画素の画素値に対する第３のノイズ除去処理を実行する第３ノイズ除去処理部を、さらに備えていることを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記第１のノイズ除去処理は、画像に含まれる突出ノイズを除去する処理であることを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記第１のノイズ除去処理は、方向に依存した異方的な平滑化を行う処理であり、
前記第２のノイズ除去処理は、前記方向に依存しない等方的な平滑化を行う処理であることを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
前記第１のノイズ除去処理は、前記画像に含まれる突出ノイズを除去する処理であり、
前記第２のノイズ除去処理は、方向に依存した異方的な平滑化を行う処理であり、
前記第３のノイズ除去処理は、前記方向に依存しない等方的な平滑化を行う処理であることを特徴とする画像処理装置。
【請求項６】
光電変換を行う撮像素子と、
請求項１から請求項５のいずれか１項に記載の画像処理装置と、を備え、
前記画像処理装置は、前記撮像素子により取り込まれる画像に対するノイズ除去処理を実行する
ことを特徴とする電子カメラ。
【請求項７】
画像を取り込む画像取込工程と、
前記画像の所定範囲に含まれる複数の画素の画素値を記憶する記憶工程と、
前記記憶工程により記憶される前記複数の画素の画素値を参照して、ノイズ除去の対象となる対象画素の画素値に対する第１のノイズ除去処理を実行する第１ノイズ除去工程と、
前記記憶工程により記憶され、前記第１のノイズ除去処理において参照された前記複数の画素の画素値を参照して、前記第１のノイズ除去処理が施された前記対象画素の画素値に対する第２のノイズ除去処理を実行する第２ノイズ除去工程と、
をコンピュータに実行させる画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１６５２２４（Ｐ２０１２−１６５２２４Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２４５９９（Ｐ２０１１−２４５９９）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]