画像処理装置及びそのプログラム
【課題】 撮影画像の広範囲に亘って生じるノイズを除去するためのフィルタ処理に伴う計算量を大幅に抑えることができる画像処理装置及びそのプログラムを実現する。
【解決手段】 εフィルタに用いられる画像処理フィルタ（例えば、図３（ｃ）に示すように注目画素と周辺画素を、加重可能な範囲全体に亘って加重させるフィルタ）を、加重させる範囲の１部の画素に対して加重させ且つ加重する範囲がそれぞれ異なるように４分割し、該４分割された分割フィルタ（図４の（ａ）参照）の中から、注目画素の画像データ上の位置に応じて、使用するフィルタを変えて（図４（ｂ）参照）、εフィルタ処理を行うというものである。
【解決手段】 εフィルタに用いられる画像処理フィルタ（例えば、図３（ｃ）に示すように注目画素と周辺画素を、加重可能な範囲全体に亘って加重させるフィルタ）を、加重させる範囲の１部の画素に対して加重させ且つ加重する範囲がそれぞれ異なるように４分割し、該４分割された分割フィルタ（図４の（ａ）参照）の中から、注目画素の画像データ上の位置に応じて、使用するフィルタを変えて（図４（ｂ）参照）、εフィルタ処理を行うというものである。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びそのプログラムに係り、詳しくは、画像データに対してフィルタ処理を施す画像処理装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年、εフィルタなどの非線形フィルタを用いて画像ノイズを除去する画像処理装置において、複数のεフィルタを縦列的に接続するとともに、各εフィルタの係数に所定のインターバルを設定する（重みが０の係数を所定の規則で配置する）ことにより、フィルタ処理の計算量を抑えるという技術が登場した（特許文献１）。
【０００３】
【特許文献１】公開特許公報 特開２００４−１７２７２６
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、高感度撮影時には色ノイズが撮影画像の広範囲に亘って生じてしまい、高感度撮影時の色ノイズの除去には広い範囲をカバーするフィルタが必要となってしまうため、先行技術によっても演算量が多くなり、処理時間が長くなってしまう。
【０００５】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、撮影画像の広範囲に亘って生じるノイズを除去するためのフィルタ処理に伴う計算量を大幅に抑えることができる画像処理装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による画像処理装置は、２次元配列された各画素のうち、任意の画素を注目画素と特定し、前記注目画素の画素値と、該注目画素の周辺にある複数の周辺画素の画素値を所定の重み付けで加重させる画像処理フィルタを用いて、該注目画素の新たな画素値を算出することによりフィルタ処理を行うフィルタ処理手段を備えた画像処理装置であって、
前記画像処理フィルタの重み付け係数を、１部の画素に対して加重するように複数に分割した分割フィルタを有し、
前記フィルタ処理手段は、
前記複数に分割した分割フィルタの中から、前記注目画素の位置に応じて選択された１つの分割フィルタを用いて、フィルタ処理を行うことを特徴とする。
【０００７】
また、例えば、請求項２に記載されているように、前記フィルタ処理手段は、
非線形な処理を含んで前記フィルタ処理を行うようにしてもよい。
【０００８】
また、例えば、請求項３に記載されているように、前記画像処理フィルタは、
εフィルタであるようにしてもよい。
【０００９】
また、例えば、請求項４に記載されているように、前記フィルタ処理手段は、
前記注目画素の横方向または縦方向の位置の変化に応じて前記複数に分割した分割フィルタを周期的に選択するようにしてもよい。
【００１０】
また、例えば、請求項５に記載されているように、前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を４つに分割した画像処理フィルタであり、
前記フィルタ処理手段は、
重み付けの係数の異なる４つの分割フィルタを、前記注目画素の横方向の位置及び縦方向の位置が奇数か偶数かに応じて周期的に選択するようにしてもよい。
【００１１】
また、例えば、請求項６に記載されているように、前記フィルタ処理手段は、
２次元配列された全ての画素に対して周期的に選択された１つの分割フィルタを用いたフィルタ処理を行なうようにしてもよい。
【００１２】
また、例えば、請求項７に記載されているように、前記フィルタ処理手段は、
２次元配列された各画素値の中から記注目画素として特定する画素を市松状に間引いて特定し、該特定された複数の画素に対してフィルタ処理を行うと共に、間引かれた画素に対しては該画素と隣接するフィルタ処理が行なわれた画素の画素値の平均値を算出し、該算出した平均値を該画素の画素値とすることにより間引かれた画素に対してフィルタ処理を行うようにしてもよい。
【００１３】
また、例えば、請求項８に記載されているように、前記フィルタ処理手段は、
２次元配列された全ての画素値に対してフィルタ処理を行うという処理を複数回行うようにしてもよい。
【００１４】
また、例えば、請求項９に記載されているように、前記フィルタ処理手段は、
フィルタ処理の回数毎に、用いられる分割フィルタのインターバルを２のべき乗で変化させるようにしてもよい。
【００１５】
また、例えば、請求項１０に記載されているように、前記フィルタ処理手段により算出された２次元配列された全ての画素の画素値に対して、ローパスフィルタ処理を行うローパスフィルタ処理手段を備えるようにしてもよい。
【００１６】
また、例えば、請求項１１に記載されているように、前記ローパスフィルタ処理手段は、
前記複数の画像処理フィルタの分割数に応じたタップ数であるようにしてもよい。
【００１７】
また、例えば、請求項１２に記載されているように、前記複数に分割した分割フィルタは、
重み付けの係数の重心が中央に設定された前記画像処理フィルタを、複数に分割したフィルタであり、複数の分割フィルタの重み付けの係数を全て合計すると前記画像処理フィルタの重み付けの係数と等しくなるように分割されているようにしてもよい。
【００１８】
また、例えば、請求項１３に記載されているように、前記複数に分割した分割フィルタは、
各々の分割フィルタにおける重み付けの係数の重心が中央からずれた位置に設定されているようにしてもよい。
【００１９】
また、例えば、請求項１４に記載されているように、前記複数に分割した分割フィルタは、
各々の分割フィルタにおける重み付けの係数の重心が中央に設定されているようにしてもよい。
【００２０】
また、例えば、請求項１５に記載されているように、前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を、１部の範囲の画素に対して加重し、且つ、加重する範囲がそれぞれ異なるように複数に分割したようにしてもよい。
【００２１】
また、例えば、請求項１６に記載されているように、前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を、加重する画素がそれぞれ異なるように複数に分割したようにしてもよい。
【００２２】
また、例えば、請求項１７に記載されているように、前記画像処理フィルタにおける重み付けの係数のインターバルは、
画像データの圧縮方式のブロックサイズによって決まるようにしてもよい。
【００２３】
また、例えば、請求項１８に記載されているように、 前記画像処理フィルタにおける重み付けの係数のインターバルは、
撮影感度に応じて決まるようにしてもよい。
【００２４】
また、例えば、請求項１９に記載されているように、２次元配列された各画素値からなる画像データの画像サイズを縮小する縮小手段と、
前記縮小手段により縮小された画像データの画像サイズを拡大する拡大手段と、
を備え、
前記フィルタ処理手段は、
前記縮小手段により縮小された画像データに基づいて、該画像データの各画素に対してフィルタ処理を行い、
前記拡大手段は、
前記フィルタ処理手段によりフィルタ処理が行なわれた各画素の画素値からなる画像データを拡大するようにしてもよい。
【００２５】
また、例えば、請求項２０に記載されているように、前記縮小手段、前記拡大手段は、
撮影感度に応じて、それぞれ縮小率、拡大率を変えるようにしてもよい。
【００２６】
また、例えば、請求項２１に記載されているように、前記フィルタ処理手段は、撮像して得られた画像信号の色差成分に対して行われるようにしてもよい。
【００２７】
上記目的達成のため、請求項２２記載の発明によるプログラムは、２次元配列された各画素のうち、任意の画素を注目画素と特定し、前記注目画素の画素値と、該注目画素の周辺にある複数の周辺画素の画素値を所定の重み付けで加重させる画像処理フィルタを用いて、該注目画素の新たな画素値を算出することによりフィルタ処理をコンピュータに実行させるプログラムであって、
前記フィルタ処理手段は、
前記画像処理フィルタの重み付け係数を、１部の画素に対して加重するように複数に分割した分割フィルタの中から、前記注目画素の位置に応じた１つの画像処理フィルタを用いて、フィルタ処理を行うことを特徴とする。
【発明の効果】
【００２８】
本願発明によれば、フィルタ処理に伴う処理負担を大幅に軽減させることができ、処理時間を短縮させることができる。
【発明を実施するための最良の形態】
【００２９】
以下、本実施の形態について、本発明の画像処理装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の画像処理装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、メモリ９、ＣＰＵ１０、ＤＲＡＭ１１、画像表示部１２、フラッシュメモリ１３、キー入力部１４、バス１５を備えている。
【００３０】
撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズ等を含む。そして、撮影レンズ２にはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に沿って駆動させるフォーカスモータ、ズームモータと、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている（図示略）。
【００３１】
絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞り４とは、撮影レンズ２から入ってくる光の量を制御する機構のことをいう。
【００３２】
ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルタ（ＲＧＢの色フィルタ）を有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。
【００３３】
ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮像信号はユニット回路８を経てデジタル信号としてＣＰＵ１０に送られる。
【００３４】
ＣＰＵ１０は、ユニット回路８から送られてきた画像データをバッファメモリ（ＤＲＡＭ１１）に記憶させるとともに、該記憶させた画像データに対してガンマ補正、補間処理、ホワイトバランス処理、輝度色差信号（ＹＵＶデータ）の生成処理などの画像処理、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式の圧縮・伸張）処理、フラッシュメモリ１３への画像データの記録処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。
【００３５】
特に、ＣＰＵ１０は、画像データの色ノイズを低減させる色ノイズ低減処理を行う機能を有し、色ノイズ低減処理は、撮影画像の色差信号成分を対象として、注目画素の位置に応じて異なる係数のε（イプシロン）フィルタを適用してノイズを低減させる分割εフィルタ処理と、ＬＰＦ（ローパスフィルター）によりノイズを低減させるＬＰＦ処理とを含む。このＬＰＦ処理は、この分割εフィルタ処理による注目画素の位置に応じて異なる係数のεフィルタの適用によって画像全体に生じる規則的な高周波ノイズを平滑化するためにＬＰＦ処理を施すものである。
ここで、ＬＰＦは線形フィルタであって主に高周波ノイズを除去するものであるが、εフィルタは非線形フィルタであって高周波ノイズに限らず様々な形態で発生するノイズを除去するものであり、特にεフィルタは画像のエッジ部分のノイズを除去する性能に優れている。
【００３６】
メモリ９には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。
ＤＲＡＭ１１は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１３は、圧縮された画像データを保存する記録媒体である。
【００３７】
画像表示部１２は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１３から読み出され、伸張された記録画像を表示させる。
キー入力部１４は、半押し全押し可能なシャッタボタン、モード切替キー、顔検出モードｏｎ／ｏｆｆ切替キー、ストロボモード切替キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
【００３８】
Ｂ．分割εフィルタ処理について
次の本発明の特徴となる分割εフィルタ処理について説明する。
ここでは、分割εフィルタ処理に用いられる２次元の画像処理フィルタ（非線形フィルタ）を（５×５）の場合について説明するが、（３×３）の画像処理フィルタ、（９×９）の画像処理フィルタ等の場合についても適用可能である。このように分割εフィルタ処理に用いる画像処理フィルタのタップ数を変えた場合には、この変更に対応させて、その後に行われるＬＰＦ処理のタップ数も変えればよい。
ここでは、画像処理フィルタを用いてある画素の画素値のノイズを低減させるために、その周辺の画素の画素値も用いることになる。この色ノイズを低減させる対象となる画素を注目画素といい、該注目画素の画素値を注目画素値と呼ぶことにする。
【００３９】
図２は分割εフィルタ処理の機能ブロック図である。
分割εフィルタ処理は、注目画素特定部２１、処理対象画素抽出部２２、非線形演算部２３、線形フィルタ処理部２４からなる。この、非線形演算部２３と線形フィルタ処理部２４との組み合わせによって非線形フィルタが構成されている。本実施の形態では、非線形演算部２３と線形フィルタ処理部２４とに分けたが、非線形フィルタの種類によっては、明確に非線形演算部と線形フィルタ処理部とに分けられない場合もあり、その場合には、非線形演算部２３を削除し、線形フィルタ処理部２４を非線形フィルタ処理部として構成してもよい。
注目画素特定部２１は、ＣＣＤ５によって撮像され、ＣＰＵ１０によって生成された輝度色差信号のうち、色差成分の画像データ（ＣＣＤ５の各画素の色差信号の画素値）を取得すると、該取得した色差信号の画素の中から注目画素となる画素の位置を特定する。この注目画素特定部２１は、取得した色差成分の画像データを処理対象画素抽出部２２に出力すると共に、特定した注目画素の位置情報（ｘ，ｙ）を処理対象画素抽出部２２と線形フィルタ処理部２４に出力する。
【００４０】
処理対象画素抽出部２２は、注目画素特定部２１から送られてきた注目画素の位置情報（ｘ，ｙ）、及び、色差成分の画像データに基づいて、処理対象となる画素値を抽出する。この処理対象となる画素値とは、注目画素値と、その周辺の画素値のことである。
ここでは、（５×５）の画像処理フィルタを用いるので、周辺となる画素（周辺画素）の範囲は、注目画素から左右２画素、上下２画素の範囲ということになる。つまり、画像処理フィルタのタップ数に応じて周辺となる画素の範囲が変わることになり、例えば、（３×３）の画像処理フィルタを用いる場合は、周辺画素の範囲は注目画素から左右１画素、上下１画素の範囲となり、（９×９）の画像処理フィルタを用いる場合は、周辺画素の範囲は注目画素から左右４画素、上下４画素の範囲となる。
【００４１】
図３（ａ）は、抽出された処理対象となる画素値の様子を示すものであり、処理対象として抽出された画素のうち、中央にある画素値（画素値Ｃ）が注目画素値となり、それ以外の画素が周辺画素値（画素値Ｐｎ ；ｎ＝１、２、・・・、２４）となる。
この抽出された画素値は、非線形演算部２３に出力される。
【００４２】
非線形演算部２３は、処理対象画素抽出部２２から送られてきた周辺画素の画素値（周辺画素値）に対して注目画素値及び閾値εを用いて非線形な演算を行なうという処理を全ての周辺画素値に対して行ない、該演算結果を線形フィルタ処理部２４に出力する。この演算結果の値（Ｔｎ ；ｎ＝１、２、・・・、２４）が、該周辺画素の新たな値ということになる。
この非線形演算処理は、周辺画素値と、注目画素値との差分の絶対値が閾値εより大きいか否かを判断し、閾値εより小さければそのまま演算結果として周辺画素値を出力し、差分の絶対値が閾値εより小さくなければ演算結果として注目画素値を出力する。なお、注目画素値Ｃに対しては演算を行なうことなくそのまま線形フィルタ処理部２４に出力する。
【００４３】
図３（ｂ）は演算結果の様子を示すものであり、注目画素に対しては演算が行なわれていないのでそのまま注目画素の値はＣである。
また、Ｔ１、Ｔ２、・・・、Ｔ２４は、それぞれ、Ｐ１、Ｐ２、・・・、Ｐ２４の画素値の演算結果の値を示しており、注目画素値との差分の絶対値が閾値εより小さければＴｎはＰｎの値であり、注目画素値との差分の絶対値が閾値εより小さくなければＴｎは注目画素値Ｃの値である。
【００４４】
線形フィルタ処理部２４は、非線形演算部２３から送られてきた演算結果の画素値及び注目画素値Ｃの値（図３（ｂ）に示すような画素値）と線形画像処理フィルタとを用いて注目画素値Ｃの色ノイズを低減した注目画素値Ｃ１を算出する。
従来、ここでは例えば、図３（ｃ）や（ｄ）に示すような画像処理フィルタ、つまり、１以上の係数が全範囲に均等に俯瞰している画像処理フィルタ（加重させる画素が全範囲に均等に俯瞰している画像処理フィルタ）を、画像データ内の全ての注目画素で共通に用いており、係数にインターバルを設ける際の制約があるため、注目画素値Ｃ１の計算量が増大していた。つまり、この画像処理フィルタは、全ての注目画素に共通するものであるため、係数の重心が中央（注目画素）となるように、且つ、中央（注目画素）の重み付けが最も大きくなるようにそれぞれ係数を有している必要があり、この画像処理フィルタを用いて、注目画素値Ｃと周辺画素値Ｔｎとを加重平均することにより注目画素値Ｃ１を算出する処理を、全ての注目画素に対して共通して施していた。
【００４５】
ここでは、図３（ｃ）に示す画像処理フィルタを用いて説明することとし、該図３（ｃ）の画像処理フィルタを用いて注目画素値Ｃ１の計算を数式で表すと、注目画素値Ｃ１＝｛（Ｔ９＋Ｔ１３＋Ｔ２０＋Ｔ２４）＋２（Ｔ１０＋Ｔ１１＋Ｔ１２＋Ｔ１４＋Ｔ１５＋Ｔ１６＋Ｔ１７＋Ｔ１８＋Ｔ１９＋Ｔ２１＋Ｔ２２＋Ｔ２３）＋４（Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４＋Ｔ５＋Ｔ６＋Ｔ７＋Ｔ８＋Ｔ９＋Ｃ）｝／６４ となる。なお、図２（ｄ）に示す画像処理フィルタは、図３（ｃ）に示す画像処理フィルタのインターバルを２にした場合の画像処理フィルタである。
【００４６】
これに対して、本発明では、係数の設定に制約のある図３（ｃ）に示すような画像処理フィルタを、図４（ａ）に示すように複数の画像処理フィルタに分割し、各注目画素に対して分割された何れか１つの画像処理フィルタを用いて注目画素値Ｃ１を算出する。
図４（ａ）の（１）、（２）、（３）、（４）は、図３（ｃ）の画像処理フィルタを４分割した場合に分割された各画像処理フィルタの一例を示すものである。なお、この分割に際しては、分割された各画像処理フィルタを合計すると元の画像処理フィルタとなるような分割であれば、どのように係数にインターバルを設けて分割するかは比較的自由である。この図４（ａ）の（１）を分割フィルタ１、（２）を分割フィルタ２、（３）を分割フィルタ３、（４）を分割フィルタ４と呼ぶことにする。
【００４７】
この図４（ａ）で示す各分割フィルタは、周辺画素の１部の範囲に対して加重すると共に、加重する範囲がそれぞれ異なるように元の係数が分割された画像処理フィルタである。なお、図３（ｄ）を４分割した場合の分割された各画像処理フィルタは、図４（ａ）の（１）、（２）、（３）、（４）のそれぞれの画像処理フィルタのインターバルを２にした画像処理フィルタとなる。
図４（ａ）を見ると分かるように、分割された各分割フィルタは、形式上は（５×５）の画像処理フィルタであるが、値が「０」の部分を除外すると（３×３）となるので、実質（３×３）の画像処理フィルタと同じ計算量となり、注目画素値Ｃ１の計算量を少なくすることができる。
【００４８】
例えば、分割フィルタ１を用いる場合は、注目画素値Ｃ１＝｛（Ｔ９＋Ｔ１１＋Ｔ１６＋Ｃ）＋２（Ｔ２＋Ｔ４＋Ｔ１０＋Ｔ１４）＋４（Ｔ１）｝／１６ の計算式によって算出することができ計算量を少なくすることができる。つまり、加重平均の算出に用いる画素値を少なくすることにより計算量を少なくしている。
なお、この各分割フィルタは、係数の重心および最も重み付けが大きくなる画素と注目画素とがズレているが、最も重み付けが大きくなる画素と注目画素とが一致するように画像処理フィルタを分割するようにしてもよいし、係数の重心が注目画素となるように画像処理フィルタを分割するようにしてもよい。
【００４９】
線形フィルタ処理部２４は、注目画素特定部２１が出力する注目画素の位置情報（ｘ，ｙ）に基づいて分割フィルタを選択する。どの分割フィルタを用いて注目画素値Ｃ１を算出するか否かは、注目画素値Ｃの位置によって定まり、図４（ｂ）に示すように注目画素値Ｃの位置（ｘ，ｙ）のｘが偶数であり、ｙが偶数なら図４（ａ）の（１）の画像処理フィルタを用い、ｘが奇数でｙが偶数なら（２）の画像処理フィルタを用い、ｘが偶数でｙが奇数なら（３）、ｘが奇数でｙが奇数なら（４）の画像処理フィルタを用いることになる。なお、撮像された画像データのうち、一番左上の画素の位置を（ｘ、ｙ）＝（０、０）としている。
【００５０】
注目画素特定部２１によってＣＣＤ５により撮像された全ての画素値が特定されることにより、分割εフィルタ処理が全ての画素値に対して行なわれる。これにより、色ノイズが低減、除去された画像データを算出することができるとともに、処理時間を大幅に軽減することができる。
また、この分割εフィルタ処理においては、位置に応じて異なる係数のεフィルタを適用することによって画像全体に規則的な高周波ノイズが生じることとなる。そのため、この分割εフィルタ処理後は、この規則的な高周波ノイズを除去（平滑化）するために、画像データ全体に対して更にＬＰＦ処理が施される。
【００５１】
このＬＰＦ処理は、ＬＰＦ用の画像処理フィルタを用いることにより、ＬＰＦ処理を施す注目画素値Ｃと、その周辺の画素値との加重平均を取ることにより、注目画素値Ｃ２を算出する。このＬＰＦ処理は、εフィルタ処理と略同じであるが、注目画素値の周辺の画素値Ｐｎを非線形演算して画素値Ｔｎを算出することなく、該注目画素値Ｃと周辺の画素値Ｐｎとを用いて新たな注目画素値Ｃ２算出する点で異なる。また、除去（平滑化）すべき高周波ノイズは、分割の仕方によって異なるものであるが、分割フィルタを交互に適用する周期に対応した周期で発生するものであるため、このＬＰＦのタップ数は分割フィルタを交互に適用する周期に対応する大きさのものを用いれば十分である。これにより、無駄にＬＰＦ処理を施すことがなく、計算量を抑えることができる。ここでは、４分割に対応し、図４（ｃ）に示すような（３×３）の２次元の画像処理フィルタを用いるとする。
【００５２】
例えば、図３（ａ）に示すような注目画素値Ｃを算出する場合には、ＬＰＦ処理による計算式は、注目画素値Ｃ２＝｛（Ｐ１＋Ｐ３＋Ｐ６＋Ｐ８）＋２×（Ｐ２＋Ｐ４＋Ｐ５＋Ｐ７）＋４×Ｃ｝／１２ということになる。
なお、ここでの注目画素値Ｃと周辺画素値Ｐｎは、既にεフィルタ処理が施された注目画素値Ｃ１であることは言うまでもない。
【００５３】
Ｃ．デジタルカメラ１の動作
実施の形態におけるデジタルカメラ１の動作を図５のフローチャートに従って説明する。
【００５４】
まず、ステップＳ１で、ＣＰＵ１０は、ＣＣＤ５によって撮像されたＲＧＢの画像データを取得する。
次いで、ステップＳ２で、ＣＰＵ１０は、該取得した画像データから輝度色差信号の画像データを生成し、該生成した画像データを輝度成分の画像データと、色差成分の画像データとに分離させる。つまり、撮像された各画素値を輝度信号と色差信号とに分離させる。
【００５５】
次いで、ステップＳ３で、ＣＰＵ１０は、該分離された色差成分の画像データに対して分割εフィルタ処理を施す。つまり、全ての色差信号の画素値に対して分割εフィルタ処理を行なうことにより、各画素の色差信号の画素値の色ノイズを低減させる。この分割εフィルタ処理の動作は後で説明する。
次いで、ステップＳ４で、ＣＰＵ１０は、分割εフィルタ処理が施された全ての色差信号の画素値に対してのＬＰＦ処理を施す。ここでは、（３×３）の画像処理フィルタを用いてローパスフィルタ処理を行うこととする。
【００５６】
Ｄ．分割εフィルタ処理の動作
次に、分割εフィルタ処理の動作を図６のフローチャートに従って説明する。
分割εフィルタ処理を開始すると、つまり、図５のステップＳ３に進むと、図６のステップＳ１１に進み、注目画素特定部２１は、色差信号の各画素の画素値を取得すると共に、特定する注目画素の位置を（ｘ，ｙ）＝（０，０）にする。これにより、（ｘ，ｙ）＝（０，０）の画素が注目画素として特定されることになる。この取得した色差信号の各画素の画素値を処理対象画像抽出部２２に出力するとともに、該特定した注目画素の位置情報（ｘ，ｙ）を処理対象画素抽出部２２と線形フィルタ処理部２４に出力する。
【００５７】
次いで、ステップＳ１２で、処理対象画素抽出部２２は、該特定された位置（注目画素）の画素値Ｃと、その周辺の画素値Ｐｎを処理対象となる画素として抽出する。この抽出された処理対象となる画素は非線形演算部２３に出力される。この抽出する周辺画素の範囲は、画像処理フィルタのタップ数によって変わることになり、（５×５）の画像処理フィルタである場合は、注目画素の左右２画素、上下２画素の範囲の画素値を抽出することになる。図３（ａ）は、処理対象として抽出された画素の様子を示している。
【００５８】
次いで、ステップＳ１３で、非線形演算部２３は、処理対象抽出部２２から送られてきた周辺画素値Ｐｎに対して、注目画素値Ｃ及び閾値εを用いて非線形演算を行なうという処理を全ての周辺画素値に対して行い、該演算結果の値Ｔｎを線形フィルタ処理部２４に出力する。なお、注目画素値Ｃに対しては演算を行なうことなく線形フィルタ処理部２４に出力する。
【００５９】
この非線形演算処２３理は、周辺画素値Ｐｎと、注目画素値Ｃとの差分の絶対値が閾値εより大きいか否かを判段し、閾値εより小さければそのまま演算結果として該周辺画素値を出力し、差分の絶対値が閾値εより大きければ演算結果として注目画素値を出力するというものであり、図３（ｂ）は、図３（ａ）の演算結果の様子を示している。
【００６０】
次いで、ステップＳ１４で、線形フィルタ処理部２４は、ｙ＆１とｘ＆１に対応する分割フィルタをフィルタ処理に用いる画像処理フィルタとして設定する。
このｘ＆１は、ｘを２進数で表したときの最下位ビットの値を演算するものであり、特定された注目画素のｘの位置が偶数（０、２、３、４、・・・）の場合は、ｘ＆１＝０となり、ｘの位置が奇数（１、３、５、７、・・・）の場合は、ｘ＆１＝１となる。また、ｙ＆１も同様に、ｙの位置が偶数（０、２、３、４、・・・）の場合は、ｙ＆１＝０となり、ｙの位置が奇数（１、３、５、７、・・・）の場合は、ｙ＆１＝１となる。
【００６１】
このｘ＆１＝０であり、且つ、ｙ＆１＝０の場合は分割フィルタ１に設定し、ｘ＆１＝１であり、且つ、ｙ＆１＝０の場合は分割フィルタ２に設定し、ｘ＆１＝０であり、且つ、ｙ＆１＝１の場合は分割フィルタ３に設定し、ｘ＆１＝１であり、且つ、ｙ＆１＝１の場合は分割フィルタ４に設定する。
次いで、ステップＳ１５で、線形フィルタ処理部２４は、演算結果の画素値（注目画素値Ｃも含む）と該設定された分割フィルタを用いて注目画素値Ｃの色ノイズを低減した注目画素値Ｃ１を算出する。
【００６２】
次いで、ステップＳ１６で、注目画素特定部２１は、現在特定されている注目画素の位置（ｘ，ｙ）のｘの位置が画像幅であるか否かを判断する。
例えば、ＣＣＤ５のｘ軸の画素が０〜３９９まである場合は、ｘ＝３９９であるか否かを判断することになる。
ステップＳ１６で、現在特定されている注目画素のｘの位置が画像幅でないと判断すると、ステップＳ１７に進み、注目画素特定部２１は、新たに特定する注目画素の位置を、現在のｘの位置をインクリメントした位置（ｘ，ｙ）＝（ｘ＋１，ｙ）にして、ステップＳ１２に戻る。これにより１ラインの全ての画素に対してεフィルタ処理を行うことができる。
【００６３】
一方、ステップＳ１６で、現在特定されている注目画素のｘの位置が画像幅であると判断すると、ステップＳ１８に進み、注目画素特定部２１は、現在特定されている注目画素の位置（ｘ，ｙ）のｙの位置が画像高さであるか否かを判断する。例えば、ＣＣＤ５のｙ軸の画素が０〜２９９まである場合は、ｙ＝２９９であるか否かを判断することになる。
【００６４】
ステップＳ１８で、現在特定されている注目画素のｙの位置が画像高さでないと判断すると、ステップＳ１９に進み、注目画素特定部２１は、新たに特定する注目画素の位置を、ｘを０、現在のｙの位置をインクリメントした位置（ｘ，ｙ）＝（０，ｙ＋１）にして、ステップＳ１２に戻る。これにより全てのラインの画素に対して分割εフィルタ処理を行なうことができる。
ステップＳ１８で、現在設定されている注目画素のｙの位置が、画像高さであると判断すると、処理を終了し、図５のステップＳステップＳ４に進む。
【００６５】
以上のように、実施の形態においては、加重する画素が全範囲に均等に俯瞰している画像処理フィルタを、周辺画素の１部の範囲に対して加重すると共に、加重する範囲がそれぞれ異なるように４分割された分割フィルタのうち、注目画素の位置に応じた何れか１つの分割フィルタを用いてεフィルタ処理を行うので、εフィルタ処理に伴う処理負担を大幅に軽減させることができ、処理時間を短縮させることができる。また、位置に応じて異なる係数のεフィルタを適用することによって画像全体に生じた規則的な高周波ノイズをＬＰＦ処理によって除去（平滑化）しているので、元となる画像処理フィルタを分割する際の制約が少なくなり、各分割フィルタにおける係数の重心を中央に設定する必要もなくなることで、係数のインターバルを多めに設けてフィルタ処理時間をより短縮させることも可能となる。
【００６６】
［変形例］
Ｅ．上記実施の形態は以下のような態様でもよい。
（０１）上記実施の形態においては、各分割フィルタにおける係数の重心を中央（注目画素）から離れた位置に設定したが、各分割フィルタにおける係数の重心を中央（注目画素と同じ位置）に設定してもよい。また、このように分割した場合は、係数の重心が変心していないので、その後のＬＰＦ処理を省略してもよく、ＬＰＦ処理を省略することにより処理負担の軽減、処理時間の短縮を図ることができる。
【００６７】
図７（ａ）は、係数の重心が中央（注目画素と同じ位置）となるように４分割された各分割フィルタの様子の一例を示す図である。
この図７（ａ）は、図３（ｃ）に示すような（５×５）の画像処理フィルタを４分割した場合の例である。なお、この場合も、分割された各画像処理フィルタを合計すると元の画像処理フィルタとなる。ここでは、加重する画素はフィルタ毎に異なっていることが分かる。
【００６８】
このときも、上記実施の形態で説明したように、注目画素の位置に応じて用いる分割フィルタを変えることになる。つまり、このｘ＆１＝０であり、且つ、ｙ＆１＝０の場合は図７（ａ）の（１）に示す分割フィルタに設定し、ｘ＆１＝１であり、且つ、ｙ＆１＝０の場合は図７（ａ）の（２）に示す分割フィルタに設定し、ｘ＆１＝０であり、且つ、ｙ＆１＝１の場合は図７（ａ）の（３）に示す分割フィルタに設定し、ｘ＆１＝１であり、且つ、ｙ＆１＝１の場合は図７（ａ）の（４）に示す分割フィルタに設定する。
【００６９】
例えば、図７（ａ）の（１）に示す分割フィルタを用いる場合は、注目画素値Ｃ１＝｛（Ｔ９＋Ｔ１３＋Ｔ２０＋Ｔ２４）＋２（Ｔ１１＋Ｔ１６＋Ｔ１７＋Ｔ２２）＋４（Ｃ）｝／１６ の計算式によって算出することができ、図７（ａ）の（２）に示す分割フィルタを用いる場合は、注目画素値Ｃ１＝（Ｔ１０＋Ｔ１２＋Ｔ１４＋Ｔ１５＋Ｔ１８＋Ｔ１９＋Ｔ２１＋Ｔ２３）／８ の計算式によって算出することがでる。
図７（ａ）の（３）に示す分割フィルタを用いる場合は、注目画素値Ｃ１＝（Ｔ２＋Ｔ４＋Ｔ５＋Ｔ７）／４ の計算式によって算出することができ、図７（ａ）の（４）に示す分割フィルタを用いる場合は、注目画素値Ｃ１＝（Ｔ１＋Ｔ３＋Ｔ６＋Ｔ８）／４ の計算式によって算出することができる。
【００７０】
このように、係数の重心が中央（注目画素と同じ位置）となるように４分割された各分割フィルタのうち、何れかの１つの分割フィルタを用いてノイズを低減した画素値Ｃ１を算出することにより、従来より（分割されていない画像処理フィルタを用いて算出する技術より）画素値Ｃ１の計算量を大幅に少なくすることができる。
また、各画素値のノイズを低減した画素値を算出することを考えると、上記第１の実施の形態で説明した分割フィルタによる計算量よりも、更に計算量も抑えることができる。
【００７１】
（０２）上記実施の形態においては、（５×５）の画像処理フィルタを４分割した分割フィルタで説明したが、例えば、（３×３）の画像処理フィルタを４分割した場合は、図７（ｂ）や（ｃ）のようになる。
ここでは、εフィルタ処理に用いられる画像処理フィルタを図４（ｃ）とし、図７（ｂ）、（ｃ）は、この図４（ｃ）に示す（３×３）の画像処理フィルタを４分割した場合の各分割フィルタの様子の一例を示す図である。
なお、この場合も、分割された各画像処理フィルタを合計すると元の画像処理フィルタとなり、注目画素の位置に応じて用いる分割フィルタを変えることになる。
【００７２】
（０３）上記実施の形態においては、画像処理フィルタを４分割するようにしたが、２分割にするようにしてもよい。
図８（ａ）の（１）、（２）は、図４（ａ）に示すような画像処理フィルタを２分割したときの分割フィルタの様子を示すものである。このときも同様に、分割された各分割フィルタは、周辺画素の１部の範囲に対して加重すると共に、加重する範囲がそれぞれ異なるような画像処理フィルタである。
２分割の場合のεフィルタ処理は、注目画素のｘの位置が偶数であり、ｙの位置が偶数の場合、注目画素のｘの位置が奇数であり、ｙの位置が奇数の場合は、図７（ａ）分割フィルタ１を用い、注目画素のｘの位置が奇数であり、ｙの位置が偶数の場合、注目画素のｘの位置が偶数であり、ｙの位置が奇数の場合は、図７（ａ）の分割フィルタ２を用いるようにする。
【００７３】
また、２分割に限らず１６分割でもよい。
図９は、図４（ａ）に示すような画像処理フィルタを１６分割したときの分割フィルタの様子を示すものである。このときも同様に、分割された各分割フィルタは、周辺画素の１部の範囲に対して加重すると共に、加重する範囲がそれぞれ異なるような画像処理フィルタである。
ここで、４の倍数（０を含む）となる数字を偶数１とし（０、４、８、１２、・・・）、２に４の倍数（０を含む）を足した数字を偶数２とし（２、６、１０、１４、・・・）、１に４の倍数（０を含む）を足した数字を奇数１とし（１、５、９、１３、・・・）、３に４の倍数（０を含む）を足した数字を奇数２とする（３、７、１１、１５・・・）。
【００７４】
２分割の場合のεフィルタ処理は、注目画素のｙの位置が偶数１の場合であって、ｘの位置が偶数１である場合は図８の（１）に示す分割フィルタを設定し、注目画素のｘの位置が奇数１である場合は図８の（２）に示す分割フィルタを設定し、ｘの位置が偶数２である場合は図８の（３）に示す分割フィルタを設定し、ｘの位置が奇数２である場合は図８の（４）に示す分割フィルタを設定する。
また、注目画素のｙの位置が奇数１の場合であって、ｘの位置が偶数１である場合は図８の（５）に示す分割フィルタを設定し、注目画素のｘの位置が奇数１である場合は図８の（６）に示す分割フィルタを設定し、ｘの位置が偶数２である場合は図８の（７）に示す分割フィルタを設定し、ｘの位置が奇数２である場合は図８の（８）に示す分割フィルタを設定する。
【００７５】
また、注目画素のｙの位置が偶数２の場合であって、ｘの位置が偶数１である場合は図８の（９）に示す分割フィルタを設定し、注目画素のｘの位置が奇数１である場合は図８の（１０）に示す分割フィルタを設定し、ｘの位置が偶数２である場合は図８の（１１）に示す分割フィルタを設定し、ｘの位置が奇数２である場合は図８の（１２）に示す分割フィルタを設定する。
また、注目画素のｙの位置が奇数２の場合であって、ｘの位置が偶数１である場合は図８の（１３）に示す分割フィルタを設定し、注目画素のｘの位置が奇数１である場合は図８の（１４）に示す分割フィルタを設定し、ｘの位置が偶数２である場合は図８の（１５）に示す分割フィルタを設定し、ｘの位置が奇数２である場合は図８の（１６）に示す分割フィルタを設定する。
【００７６】
なお、２分割や１６分割に限らず、９分割等でもよく、ようは画像処理フィルタを複数に分割する方法であれば何でもよい。２分割の場合はＬＰＦ処理に用いる画像処理フィルタのタップ数は３分割の場合と同じ３×３タップが適しているが、９分割や１６分割の場合には５×５タップが適している。また、２次元の画像処理フィルタを用いて、εフィルタ処理をＬＰＦ処理を行うようにしたが、１次元の画像処理フィルタを用いてεフィルタ処理、ＬＰＦ処理を行うようにしてもよい。
【００７７】
（０４）また、上記各実施の形態及び変形例（１）乃至（３）においては、分割フィルタの態様を説明したが、要は、加重される範囲の画素のうち、１部の画素に対して加重するように、画像処理フィルタを分割するものであればよい。、また、分割された分割フィルタを更に分割するようにしてもよい。
そして、注目画素の位置に応じた何れか１つの分割フィルタを用いてεフィルタ処理を行うので、εフィルタ処理に伴う処理負担を大幅に軽減させることができ、処理時間を短縮させることができる。
【００７８】
（０５）また、上記実施の形態においては、撮像された全ての画素値に対して分割εフィルタ処理を行うようにしたが、分割εフィルタ処理を行う画素を間引いて行なうようにしてもよい。
図８（ｂ）は、εフィルタ処理の対象となる画素の様子を示す図である。
図８（ｂ）の斜線部は、分割εフィルタ処理が行なわれない間引かれた画素を表している。そして、間引かれた画素に対しては、隣接する分割εフィルタ処理が行なわれた画素値の平均値をとるようにする。なお、この間引かれる画素（斜線部の画素）に対して分割εフィルタ処理が行なわれないだけであるので（注目画素として特定されないだけであるので）、間引かれていない画素値に対して分割εフィルタ処理を行なう際には周辺画素値として用いられる。
これにより、撮像された全ての画素値に対してεフィルタ処理を施すに比べ、大幅に処理負担を軽減させることができ、処理時間を短くすることができる。
【００７９】
（０６）また、また、画像データの圧縮ブロックサイズに応じてインターバルを変えるようにしてもよい。
以下、ＪＰＥＧ形式の圧縮を例にして圧縮ブロックサイズに応じたインターバルの変更について更に詳しく説明する。
ＣＣＤ５により撮像された画像データの圧縮方法として、一般的にＪＰＥＧ形式が用いられる。
このＪＰＥＧ形式による圧縮は、ｎ×ｍの画素のブロックを離散コサイン変換を行うことにより周波数成分で表示させ、その周波数成分を量子化し、それをハフマン符号化するという処理をｎ×ｍの画素のブロック毎に行なう。
【００８０】
このとき、量子化の段階でｎ×ｍの画素のブロック毎に、ある一定の傾向が出てしまうことが多く、ＪＰＥＧ画像を拡大すると、これらのブロックの境界線を視認できる。また、あるブロックは黄色っぽく、その隣のブロックは赤っぽく・・というような構成になっていることが多い。
したがって、従来のように隣接する周辺画素を加重平均する方法では、結局、ブロック毎の色傾向を維持したままで各画素値を加重平均することとなり、色ノイズをきれいに除去することはできない。
【００８１】
そこで、注目画素に隣接する周辺画素でなく、隣接ブロックに含まれる画素を加重平均に用いることにより色ノイズを効率的に除去することができる。
つまり、ブロックサイズが８×８画素であれば、画像処理フィルタのインターバルを８にし、ブロックサイズが１６×１６の画素であれば、画像処理フィルタのインターバルを１６にすることにより、効率的に色ノイズを除去することができる。
また、上記変形例においては、圧縮ブロックサイズに応じてインターバルを変化させたが、撮影感度が高ければ高い程色ノイズが発生する範囲が大きくなるので、撮影感度に応じてインターバルを変化させるようにしてもよい。これにより、効果的に色ノイズを除去することができる。
【００８２】
（０７）また、上記実施の形態においては、ＣＣＤ５により撮像された各画素値に対して分割εフィルタ処理を施すようにしたが、ＣＣＤ５により撮像された画像サイズを縮小し、該縮小後の画像データに対して分割εフィルタ処理を施してから縮小前の画像データに拡大するようにしてもよい。これにより、縮小されていない画像データに対して単に分割εフィルタ処理を施すのに比べ、数倍のタップ数のεフィルタ処理を施すのと同様の結果を得ることができる。
また、撮影感度が高ければ高い程色ノイズが発生する範囲が大きくなるので、縮小率を上げるようにしてもよい。この場合は縮小率に応じて拡大率も変わることになる。これにより、効果的に色ノイズを低減させることができ、εフィルタ処理に伴う処理負担を大幅に軽減させることができ、処理時間を短くすることができる。
【００８３】
（０８）また、上記実施の形態においては、本発明の分割εフィルタ処理を１回行うようにしたが、複数のεフィルタを縦列的に接続する従来技術の構成に対して本発明を適用する場合には、この縦列的に接続された各εフィルタに本発明を適用して、分割εフィルタ処理を複数回行なうようにしてもよい。つまり、本発明の分割εフィルタ処理が行なわれた画像データに対して、更に分割εフィルタ処理を１回以上、施すようにしてもよい。これにより、効果的に色ノイズを低減させることができ、εフィルタ処理に伴う処理負担を大幅に軽減させることができ、処理時間を短くすることができる。
【００８４】
また、εフィルタ処理の回数毎に、画像処理フィルタのインターバルを２のべき乗で変化させるようにしてもよい。例えば、１回目のεフィルタ処理の場合は画像処理フィルタのインターバルを４（２２）とし、２回目のεフィルタ処理の場合は画像処理フィルタのインターバルを２（２１）とし、３回目のεフィルタ処理の場合は画像処理フィルタのインターバルを１（２０）とするようにしてもよい。これにより、サイドローブを抑制することができる。
【００８５】
（０９）また、上記実施の形態においては、εフィルタを分割した分割εフィルタ処理について説明したが、バイラテラルフィルタ等の他の非線形フィルタにおいても、本発明のような分割処理を行うようにしてもよい。また、非線形フィルタではなく通常のＬＰＦに対して本発明のような分割処理を行うようにしてもよい。
また、上記実施の形態においては、輝度成分と比べて色差成分の方が、信号成分に悪影響を与えることなくノイズ成分だけを除去しやすいという特性を活かして、色差成分に対してのみ分割εフィルタ処理を適用し、輝度成分に対しては分割しない通常のεフィルタ処理を適用したが、輝度成分に対して分割εフィルタ処理を適用してもよい。
【００８６】
（１０）また、上記変形例（０１）〜（０９）を矛盾が生じない範囲内で任意に組み合わせるような態様であってもよい。
【００８７】
（１１）また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
【００８８】
最後に、上記各実施の形態においては、本発明の画像処理装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、画像を処理することができる機器であれば適用可能である。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施の形態のデジタルカメラのブロック図である。
【図２】εフィルタ処理の機能ブロック図である。
【図３】εフィルタ処理を説明するための図である。
【図４】εフィルタ処理を説明するための図である。
【図５】実施の形態におけるデジタルカメラ１の動作を示すフローチャートである。
【図６】εフィルタ処理の動作を示すフローチャートである。
【図７】変形例を説明するための図である。
【図８】変形例を説明するための図である。
【図９】変形例を説明するための図である。
【符号の説明】
【００９０】
１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ メモリ
１０ ＣＰＵ
１１ ＤＲＡＭ
１２ 画像表示部
１３ フラッシュメモリ
１４ キー入力部
１５ バス
２１ 注目画素特定部
２２ 処理対象画素抽出部
２３ 非線形演算部
２４ 線形フィルタ処理部
【技術分野】
【０００１】
本発明は、画像処理装置及びそのプログラムに係り、詳しくは、画像データに対してフィルタ処理を施す画像処理装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年、εフィルタなどの非線形フィルタを用いて画像ノイズを除去する画像処理装置において、複数のεフィルタを縦列的に接続するとともに、各εフィルタの係数に所定のインターバルを設定する（重みが０の係数を所定の規則で配置する）ことにより、フィルタ処理の計算量を抑えるという技術が登場した（特許文献１）。
【０００３】
【特許文献１】公開特許公報 特開２００４−１７２７２６
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、高感度撮影時には色ノイズが撮影画像の広範囲に亘って生じてしまい、高感度撮影時の色ノイズの除去には広い範囲をカバーするフィルタが必要となってしまうため、先行技術によっても演算量が多くなり、処理時間が長くなってしまう。
【０００５】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、撮影画像の広範囲に亘って生じるノイズを除去するためのフィルタ処理に伴う計算量を大幅に抑えることができる画像処理装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的達成のため、請求項１記載の発明による画像処理装置は、２次元配列された各画素のうち、任意の画素を注目画素と特定し、前記注目画素の画素値と、該注目画素の周辺にある複数の周辺画素の画素値を所定の重み付けで加重させる画像処理フィルタを用いて、該注目画素の新たな画素値を算出することによりフィルタ処理を行うフィルタ処理手段を備えた画像処理装置であって、
前記画像処理フィルタの重み付け係数を、１部の画素に対して加重するように複数に分割した分割フィルタを有し、
前記フィルタ処理手段は、
前記複数に分割した分割フィルタの中から、前記注目画素の位置に応じて選択された１つの分割フィルタを用いて、フィルタ処理を行うことを特徴とする。
【０００７】
また、例えば、請求項２に記載されているように、前記フィルタ処理手段は、
非線形な処理を含んで前記フィルタ処理を行うようにしてもよい。
【０００８】
また、例えば、請求項３に記載されているように、前記画像処理フィルタは、
εフィルタであるようにしてもよい。
【０００９】
また、例えば、請求項４に記載されているように、前記フィルタ処理手段は、
前記注目画素の横方向または縦方向の位置の変化に応じて前記複数に分割した分割フィルタを周期的に選択するようにしてもよい。
【００１０】
また、例えば、請求項５に記載されているように、前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を４つに分割した画像処理フィルタであり、
前記フィルタ処理手段は、
重み付けの係数の異なる４つの分割フィルタを、前記注目画素の横方向の位置及び縦方向の位置が奇数か偶数かに応じて周期的に選択するようにしてもよい。
【００１１】
また、例えば、請求項６に記載されているように、前記フィルタ処理手段は、
２次元配列された全ての画素に対して周期的に選択された１つの分割フィルタを用いたフィルタ処理を行なうようにしてもよい。
【００１２】
また、例えば、請求項７に記載されているように、前記フィルタ処理手段は、
２次元配列された各画素値の中から記注目画素として特定する画素を市松状に間引いて特定し、該特定された複数の画素に対してフィルタ処理を行うと共に、間引かれた画素に対しては該画素と隣接するフィルタ処理が行なわれた画素の画素値の平均値を算出し、該算出した平均値を該画素の画素値とすることにより間引かれた画素に対してフィルタ処理を行うようにしてもよい。
【００１３】
また、例えば、請求項８に記載されているように、前記フィルタ処理手段は、
２次元配列された全ての画素値に対してフィルタ処理を行うという処理を複数回行うようにしてもよい。
【００１４】
また、例えば、請求項９に記載されているように、前記フィルタ処理手段は、
フィルタ処理の回数毎に、用いられる分割フィルタのインターバルを２のべき乗で変化させるようにしてもよい。
【００１５】
また、例えば、請求項１０に記載されているように、前記フィルタ処理手段により算出された２次元配列された全ての画素の画素値に対して、ローパスフィルタ処理を行うローパスフィルタ処理手段を備えるようにしてもよい。
【００１６】
また、例えば、請求項１１に記載されているように、前記ローパスフィルタ処理手段は、
前記複数の画像処理フィルタの分割数に応じたタップ数であるようにしてもよい。
【００１７】
また、例えば、請求項１２に記載されているように、前記複数に分割した分割フィルタは、
重み付けの係数の重心が中央に設定された前記画像処理フィルタを、複数に分割したフィルタであり、複数の分割フィルタの重み付けの係数を全て合計すると前記画像処理フィルタの重み付けの係数と等しくなるように分割されているようにしてもよい。
【００１８】
また、例えば、請求項１３に記載されているように、前記複数に分割した分割フィルタは、
各々の分割フィルタにおける重み付けの係数の重心が中央からずれた位置に設定されているようにしてもよい。
【００１９】
また、例えば、請求項１４に記載されているように、前記複数に分割した分割フィルタは、
各々の分割フィルタにおける重み付けの係数の重心が中央に設定されているようにしてもよい。
【００２０】
また、例えば、請求項１５に記載されているように、前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を、１部の範囲の画素に対して加重し、且つ、加重する範囲がそれぞれ異なるように複数に分割したようにしてもよい。
【００２１】
また、例えば、請求項１６に記載されているように、前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を、加重する画素がそれぞれ異なるように複数に分割したようにしてもよい。
【００２２】
また、例えば、請求項１７に記載されているように、前記画像処理フィルタにおける重み付けの係数のインターバルは、
画像データの圧縮方式のブロックサイズによって決まるようにしてもよい。
【００２３】
また、例えば、請求項１８に記載されているように、 前記画像処理フィルタにおける重み付けの係数のインターバルは、
撮影感度に応じて決まるようにしてもよい。
【００２４】
また、例えば、請求項１９に記載されているように、２次元配列された各画素値からなる画像データの画像サイズを縮小する縮小手段と、
前記縮小手段により縮小された画像データの画像サイズを拡大する拡大手段と、
を備え、
前記フィルタ処理手段は、
前記縮小手段により縮小された画像データに基づいて、該画像データの各画素に対してフィルタ処理を行い、
前記拡大手段は、
前記フィルタ処理手段によりフィルタ処理が行なわれた各画素の画素値からなる画像データを拡大するようにしてもよい。
【００２５】
また、例えば、請求項２０に記載されているように、前記縮小手段、前記拡大手段は、
撮影感度に応じて、それぞれ縮小率、拡大率を変えるようにしてもよい。
【００２６】
また、例えば、請求項２１に記載されているように、前記フィルタ処理手段は、撮像して得られた画像信号の色差成分に対して行われるようにしてもよい。
【００２７】
上記目的達成のため、請求項２２記載の発明によるプログラムは、２次元配列された各画素のうち、任意の画素を注目画素と特定し、前記注目画素の画素値と、該注目画素の周辺にある複数の周辺画素の画素値を所定の重み付けで加重させる画像処理フィルタを用いて、該注目画素の新たな画素値を算出することによりフィルタ処理をコンピュータに実行させるプログラムであって、
前記フィルタ処理手段は、
前記画像処理フィルタの重み付け係数を、１部の画素に対して加重するように複数に分割した分割フィルタの中から、前記注目画素の位置に応じた１つの画像処理フィルタを用いて、フィルタ処理を行うことを特徴とする。
【発明の効果】
【００２８】
本願発明によれば、フィルタ処理に伴う処理負担を大幅に軽減させることができ、処理時間を短縮させることができる。
【発明を実施するための最良の形態】
【００２９】
以下、本実施の形態について、本発明の画像処理装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の画像処理装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、メモリ９、ＣＰＵ１０、ＤＲＡＭ１１、画像表示部１２、フラッシュメモリ１３、キー入力部１４、バス１５を備えている。
【００３０】
撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズ等を含む。そして、撮影レンズ２にはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に沿って駆動させるフォーカスモータ、ズームモータと、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている（図示略）。
【００３１】
絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞り４とは、撮影レンズ２から入ってくる光の量を制御する機構のことをいう。
【００３２】
ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルタ（ＲＧＢの色フィルタ）を有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。
【００３３】
ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮像信号はユニット回路８を経てデジタル信号としてＣＰＵ１０に送られる。
【００３４】
ＣＰＵ１０は、ユニット回路８から送られてきた画像データをバッファメモリ（ＤＲＡＭ１１）に記憶させるとともに、該記憶させた画像データに対してガンマ補正、補間処理、ホワイトバランス処理、輝度色差信号（ＹＵＶデータ）の生成処理などの画像処理、画像データの圧縮・伸張（例えば、ＪＰＥＧ形式の圧縮・伸張）処理、フラッシュメモリ１３への画像データの記録処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。
【００３５】
特に、ＣＰＵ１０は、画像データの色ノイズを低減させる色ノイズ低減処理を行う機能を有し、色ノイズ低減処理は、撮影画像の色差信号成分を対象として、注目画素の位置に応じて異なる係数のε（イプシロン）フィルタを適用してノイズを低減させる分割εフィルタ処理と、ＬＰＦ（ローパスフィルター）によりノイズを低減させるＬＰＦ処理とを含む。このＬＰＦ処理は、この分割εフィルタ処理による注目画素の位置に応じて異なる係数のεフィルタの適用によって画像全体に生じる規則的な高周波ノイズを平滑化するためにＬＰＦ処理を施すものである。
ここで、ＬＰＦは線形フィルタであって主に高周波ノイズを除去するものであるが、εフィルタは非線形フィルタであって高周波ノイズに限らず様々な形態で発生するノイズを除去するものであり、特にεフィルタは画像のエッジ部分のノイズを除去する性能に優れている。
【００３６】
メモリ９には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。
ＤＲＡＭ１１は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１３は、圧縮された画像データを保存する記録媒体である。
【００３７】
画像表示部１２は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１３から読み出され、伸張された記録画像を表示させる。
キー入力部１４は、半押し全押し可能なシャッタボタン、モード切替キー、顔検出モードｏｎ／ｏｆｆ切替キー、ストロボモード切替キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
【００３８】
Ｂ．分割εフィルタ処理について
次の本発明の特徴となる分割εフィルタ処理について説明する。
ここでは、分割εフィルタ処理に用いられる２次元の画像処理フィルタ（非線形フィルタ）を（５×５）の場合について説明するが、（３×３）の画像処理フィルタ、（９×９）の画像処理フィルタ等の場合についても適用可能である。このように分割εフィルタ処理に用いる画像処理フィルタのタップ数を変えた場合には、この変更に対応させて、その後に行われるＬＰＦ処理のタップ数も変えればよい。
ここでは、画像処理フィルタを用いてある画素の画素値のノイズを低減させるために、その周辺の画素の画素値も用いることになる。この色ノイズを低減させる対象となる画素を注目画素といい、該注目画素の画素値を注目画素値と呼ぶことにする。
【００３９】
図２は分割εフィルタ処理の機能ブロック図である。
分割εフィルタ処理は、注目画素特定部２１、処理対象画素抽出部２２、非線形演算部２３、線形フィルタ処理部２４からなる。この、非線形演算部２３と線形フィルタ処理部２４との組み合わせによって非線形フィルタが構成されている。本実施の形態では、非線形演算部２３と線形フィルタ処理部２４とに分けたが、非線形フィルタの種類によっては、明確に非線形演算部と線形フィルタ処理部とに分けられない場合もあり、その場合には、非線形演算部２３を削除し、線形フィルタ処理部２４を非線形フィルタ処理部として構成してもよい。
注目画素特定部２１は、ＣＣＤ５によって撮像され、ＣＰＵ１０によって生成された輝度色差信号のうち、色差成分の画像データ（ＣＣＤ５の各画素の色差信号の画素値）を取得すると、該取得した色差信号の画素の中から注目画素となる画素の位置を特定する。この注目画素特定部２１は、取得した色差成分の画像データを処理対象画素抽出部２２に出力すると共に、特定した注目画素の位置情報（ｘ，ｙ）を処理対象画素抽出部２２と線形フィルタ処理部２４に出力する。
【００４０】
処理対象画素抽出部２２は、注目画素特定部２１から送られてきた注目画素の位置情報（ｘ，ｙ）、及び、色差成分の画像データに基づいて、処理対象となる画素値を抽出する。この処理対象となる画素値とは、注目画素値と、その周辺の画素値のことである。
ここでは、（５×５）の画像処理フィルタを用いるので、周辺となる画素（周辺画素）の範囲は、注目画素から左右２画素、上下２画素の範囲ということになる。つまり、画像処理フィルタのタップ数に応じて周辺となる画素の範囲が変わることになり、例えば、（３×３）の画像処理フィルタを用いる場合は、周辺画素の範囲は注目画素から左右１画素、上下１画素の範囲となり、（９×９）の画像処理フィルタを用いる場合は、周辺画素の範囲は注目画素から左右４画素、上下４画素の範囲となる。
【００４１】
図３（ａ）は、抽出された処理対象となる画素値の様子を示すものであり、処理対象として抽出された画素のうち、中央にある画素値（画素値Ｃ）が注目画素値となり、それ以外の画素が周辺画素値（画素値Ｐｎ ；ｎ＝１、２、・・・、２４）となる。
この抽出された画素値は、非線形演算部２３に出力される。
【００４２】
非線形演算部２３は、処理対象画素抽出部２２から送られてきた周辺画素の画素値（周辺画素値）に対して注目画素値及び閾値εを用いて非線形な演算を行なうという処理を全ての周辺画素値に対して行ない、該演算結果を線形フィルタ処理部２４に出力する。この演算結果の値（Ｔｎ ；ｎ＝１、２、・・・、２４）が、該周辺画素の新たな値ということになる。
この非線形演算処理は、周辺画素値と、注目画素値との差分の絶対値が閾値εより大きいか否かを判断し、閾値εより小さければそのまま演算結果として周辺画素値を出力し、差分の絶対値が閾値εより小さくなければ演算結果として注目画素値を出力する。なお、注目画素値Ｃに対しては演算を行なうことなくそのまま線形フィルタ処理部２４に出力する。
【００４３】
図３（ｂ）は演算結果の様子を示すものであり、注目画素に対しては演算が行なわれていないのでそのまま注目画素の値はＣである。
また、Ｔ１、Ｔ２、・・・、Ｔ２４は、それぞれ、Ｐ１、Ｐ２、・・・、Ｐ２４の画素値の演算結果の値を示しており、注目画素値との差分の絶対値が閾値εより小さければＴｎはＰｎの値であり、注目画素値との差分の絶対値が閾値εより小さくなければＴｎは注目画素値Ｃの値である。
【００４４】
線形フィルタ処理部２４は、非線形演算部２３から送られてきた演算結果の画素値及び注目画素値Ｃの値（図３（ｂ）に示すような画素値）と線形画像処理フィルタとを用いて注目画素値Ｃの色ノイズを低減した注目画素値Ｃ１を算出する。
従来、ここでは例えば、図３（ｃ）や（ｄ）に示すような画像処理フィルタ、つまり、１以上の係数が全範囲に均等に俯瞰している画像処理フィルタ（加重させる画素が全範囲に均等に俯瞰している画像処理フィルタ）を、画像データ内の全ての注目画素で共通に用いており、係数にインターバルを設ける際の制約があるため、注目画素値Ｃ１の計算量が増大していた。つまり、この画像処理フィルタは、全ての注目画素に共通するものであるため、係数の重心が中央（注目画素）となるように、且つ、中央（注目画素）の重み付けが最も大きくなるようにそれぞれ係数を有している必要があり、この画像処理フィルタを用いて、注目画素値Ｃと周辺画素値Ｔｎとを加重平均することにより注目画素値Ｃ１を算出する処理を、全ての注目画素に対して共通して施していた。
【００４５】
ここでは、図３（ｃ）に示す画像処理フィルタを用いて説明することとし、該図３（ｃ）の画像処理フィルタを用いて注目画素値Ｃ１の計算を数式で表すと、注目画素値Ｃ１＝｛（Ｔ９＋Ｔ１３＋Ｔ２０＋Ｔ２４）＋２（Ｔ１０＋Ｔ１１＋Ｔ１２＋Ｔ１４＋Ｔ１５＋Ｔ１６＋Ｔ１７＋Ｔ１８＋Ｔ１９＋Ｔ２１＋Ｔ２２＋Ｔ２３）＋４（Ｔ１＋Ｔ２＋Ｔ３＋Ｔ４＋Ｔ５＋Ｔ６＋Ｔ７＋Ｔ８＋Ｔ９＋Ｃ）｝／６４ となる。なお、図２（ｄ）に示す画像処理フィルタは、図３（ｃ）に示す画像処理フィルタのインターバルを２にした場合の画像処理フィルタである。
【００４６】
これに対して、本発明では、係数の設定に制約のある図３（ｃ）に示すような画像処理フィルタを、図４（ａ）に示すように複数の画像処理フィルタに分割し、各注目画素に対して分割された何れか１つの画像処理フィルタを用いて注目画素値Ｃ１を算出する。
図４（ａ）の（１）、（２）、（３）、（４）は、図３（ｃ）の画像処理フィルタを４分割した場合に分割された各画像処理フィルタの一例を示すものである。なお、この分割に際しては、分割された各画像処理フィルタを合計すると元の画像処理フィルタとなるような分割であれば、どのように係数にインターバルを設けて分割するかは比較的自由である。この図４（ａ）の（１）を分割フィルタ１、（２）を分割フィルタ２、（３）を分割フィルタ３、（４）を分割フィルタ４と呼ぶことにする。
【００４７】
この図４（ａ）で示す各分割フィルタは、周辺画素の１部の範囲に対して加重すると共に、加重する範囲がそれぞれ異なるように元の係数が分割された画像処理フィルタである。なお、図３（ｄ）を４分割した場合の分割された各画像処理フィルタは、図４（ａ）の（１）、（２）、（３）、（４）のそれぞれの画像処理フィルタのインターバルを２にした画像処理フィルタとなる。
図４（ａ）を見ると分かるように、分割された各分割フィルタは、形式上は（５×５）の画像処理フィルタであるが、値が「０」の部分を除外すると（３×３）となるので、実質（３×３）の画像処理フィルタと同じ計算量となり、注目画素値Ｃ１の計算量を少なくすることができる。
【００４８】
例えば、分割フィルタ１を用いる場合は、注目画素値Ｃ１＝｛（Ｔ９＋Ｔ１１＋Ｔ１６＋Ｃ）＋２（Ｔ２＋Ｔ４＋Ｔ１０＋Ｔ１４）＋４（Ｔ１）｝／１６ の計算式によって算出することができ計算量を少なくすることができる。つまり、加重平均の算出に用いる画素値を少なくすることにより計算量を少なくしている。
なお、この各分割フィルタは、係数の重心および最も重み付けが大きくなる画素と注目画素とがズレているが、最も重み付けが大きくなる画素と注目画素とが一致するように画像処理フィルタを分割するようにしてもよいし、係数の重心が注目画素となるように画像処理フィルタを分割するようにしてもよい。
【００４９】
線形フィルタ処理部２４は、注目画素特定部２１が出力する注目画素の位置情報（ｘ，ｙ）に基づいて分割フィルタを選択する。どの分割フィルタを用いて注目画素値Ｃ１を算出するか否かは、注目画素値Ｃの位置によって定まり、図４（ｂ）に示すように注目画素値Ｃの位置（ｘ，ｙ）のｘが偶数であり、ｙが偶数なら図４（ａ）の（１）の画像処理フィルタを用い、ｘが奇数でｙが偶数なら（２）の画像処理フィルタを用い、ｘが偶数でｙが奇数なら（３）、ｘが奇数でｙが奇数なら（４）の画像処理フィルタを用いることになる。なお、撮像された画像データのうち、一番左上の画素の位置を（ｘ、ｙ）＝（０、０）としている。
【００５０】
注目画素特定部２１によってＣＣＤ５により撮像された全ての画素値が特定されることにより、分割εフィルタ処理が全ての画素値に対して行なわれる。これにより、色ノイズが低減、除去された画像データを算出することができるとともに、処理時間を大幅に軽減することができる。
また、この分割εフィルタ処理においては、位置に応じて異なる係数のεフィルタを適用することによって画像全体に規則的な高周波ノイズが生じることとなる。そのため、この分割εフィルタ処理後は、この規則的な高周波ノイズを除去（平滑化）するために、画像データ全体に対して更にＬＰＦ処理が施される。
【００５１】
このＬＰＦ処理は、ＬＰＦ用の画像処理フィルタを用いることにより、ＬＰＦ処理を施す注目画素値Ｃと、その周辺の画素値との加重平均を取ることにより、注目画素値Ｃ２を算出する。このＬＰＦ処理は、εフィルタ処理と略同じであるが、注目画素値の周辺の画素値Ｐｎを非線形演算して画素値Ｔｎを算出することなく、該注目画素値Ｃと周辺の画素値Ｐｎとを用いて新たな注目画素値Ｃ２算出する点で異なる。また、除去（平滑化）すべき高周波ノイズは、分割の仕方によって異なるものであるが、分割フィルタを交互に適用する周期に対応した周期で発生するものであるため、このＬＰＦのタップ数は分割フィルタを交互に適用する周期に対応する大きさのものを用いれば十分である。これにより、無駄にＬＰＦ処理を施すことがなく、計算量を抑えることができる。ここでは、４分割に対応し、図４（ｃ）に示すような（３×３）の２次元の画像処理フィルタを用いるとする。
【００５２】
例えば、図３（ａ）に示すような注目画素値Ｃを算出する場合には、ＬＰＦ処理による計算式は、注目画素値Ｃ２＝｛（Ｐ１＋Ｐ３＋Ｐ６＋Ｐ８）＋２×（Ｐ２＋Ｐ４＋Ｐ５＋Ｐ７）＋４×Ｃ｝／１２ということになる。
なお、ここでの注目画素値Ｃと周辺画素値Ｐｎは、既にεフィルタ処理が施された注目画素値Ｃ１であることは言うまでもない。
【００５３】
Ｃ．デジタルカメラ１の動作
実施の形態におけるデジタルカメラ１の動作を図５のフローチャートに従って説明する。
【００５４】
まず、ステップＳ１で、ＣＰＵ１０は、ＣＣＤ５によって撮像されたＲＧＢの画像データを取得する。
次いで、ステップＳ２で、ＣＰＵ１０は、該取得した画像データから輝度色差信号の画像データを生成し、該生成した画像データを輝度成分の画像データと、色差成分の画像データとに分離させる。つまり、撮像された各画素値を輝度信号と色差信号とに分離させる。
【００５５】
次いで、ステップＳ３で、ＣＰＵ１０は、該分離された色差成分の画像データに対して分割εフィルタ処理を施す。つまり、全ての色差信号の画素値に対して分割εフィルタ処理を行なうことにより、各画素の色差信号の画素値の色ノイズを低減させる。この分割εフィルタ処理の動作は後で説明する。
次いで、ステップＳ４で、ＣＰＵ１０は、分割εフィルタ処理が施された全ての色差信号の画素値に対してのＬＰＦ処理を施す。ここでは、（３×３）の画像処理フィルタを用いてローパスフィルタ処理を行うこととする。
【００５６】
Ｄ．分割εフィルタ処理の動作
次に、分割εフィルタ処理の動作を図６のフローチャートに従って説明する。
分割εフィルタ処理を開始すると、つまり、図５のステップＳ３に進むと、図６のステップＳ１１に進み、注目画素特定部２１は、色差信号の各画素の画素値を取得すると共に、特定する注目画素の位置を（ｘ，ｙ）＝（０，０）にする。これにより、（ｘ，ｙ）＝（０，０）の画素が注目画素として特定されることになる。この取得した色差信号の各画素の画素値を処理対象画像抽出部２２に出力するとともに、該特定した注目画素の位置情報（ｘ，ｙ）を処理対象画素抽出部２２と線形フィルタ処理部２４に出力する。
【００５７】
次いで、ステップＳ１２で、処理対象画素抽出部２２は、該特定された位置（注目画素）の画素値Ｃと、その周辺の画素値Ｐｎを処理対象となる画素として抽出する。この抽出された処理対象となる画素は非線形演算部２３に出力される。この抽出する周辺画素の範囲は、画像処理フィルタのタップ数によって変わることになり、（５×５）の画像処理フィルタである場合は、注目画素の左右２画素、上下２画素の範囲の画素値を抽出することになる。図３（ａ）は、処理対象として抽出された画素の様子を示している。
【００５８】
次いで、ステップＳ１３で、非線形演算部２３は、処理対象抽出部２２から送られてきた周辺画素値Ｐｎに対して、注目画素値Ｃ及び閾値εを用いて非線形演算を行なうという処理を全ての周辺画素値に対して行い、該演算結果の値Ｔｎを線形フィルタ処理部２４に出力する。なお、注目画素値Ｃに対しては演算を行なうことなく線形フィルタ処理部２４に出力する。
【００５９】
この非線形演算処２３理は、周辺画素値Ｐｎと、注目画素値Ｃとの差分の絶対値が閾値εより大きいか否かを判段し、閾値εより小さければそのまま演算結果として該周辺画素値を出力し、差分の絶対値が閾値εより大きければ演算結果として注目画素値を出力するというものであり、図３（ｂ）は、図３（ａ）の演算結果の様子を示している。
【００６０】
次いで、ステップＳ１４で、線形フィルタ処理部２４は、ｙ＆１とｘ＆１に対応する分割フィルタをフィルタ処理に用いる画像処理フィルタとして設定する。
このｘ＆１は、ｘを２進数で表したときの最下位ビットの値を演算するものであり、特定された注目画素のｘの位置が偶数（０、２、３、４、・・・）の場合は、ｘ＆１＝０となり、ｘの位置が奇数（１、３、５、７、・・・）の場合は、ｘ＆１＝１となる。また、ｙ＆１も同様に、ｙの位置が偶数（０、２、３、４、・・・）の場合は、ｙ＆１＝０となり、ｙの位置が奇数（１、３、５、７、・・・）の場合は、ｙ＆１＝１となる。
【００６１】
このｘ＆１＝０であり、且つ、ｙ＆１＝０の場合は分割フィルタ１に設定し、ｘ＆１＝１であり、且つ、ｙ＆１＝０の場合は分割フィルタ２に設定し、ｘ＆１＝０であり、且つ、ｙ＆１＝１の場合は分割フィルタ３に設定し、ｘ＆１＝１であり、且つ、ｙ＆１＝１の場合は分割フィルタ４に設定する。
次いで、ステップＳ１５で、線形フィルタ処理部２４は、演算結果の画素値（注目画素値Ｃも含む）と該設定された分割フィルタを用いて注目画素値Ｃの色ノイズを低減した注目画素値Ｃ１を算出する。
【００６２】
次いで、ステップＳ１６で、注目画素特定部２１は、現在特定されている注目画素の位置（ｘ，ｙ）のｘの位置が画像幅であるか否かを判断する。
例えば、ＣＣＤ５のｘ軸の画素が０〜３９９まである場合は、ｘ＝３９９であるか否かを判断することになる。
ステップＳ１６で、現在特定されている注目画素のｘの位置が画像幅でないと判断すると、ステップＳ１７に進み、注目画素特定部２１は、新たに特定する注目画素の位置を、現在のｘの位置をインクリメントした位置（ｘ，ｙ）＝（ｘ＋１，ｙ）にして、ステップＳ１２に戻る。これにより１ラインの全ての画素に対してεフィルタ処理を行うことができる。
【００６３】
一方、ステップＳ１６で、現在特定されている注目画素のｘの位置が画像幅であると判断すると、ステップＳ１８に進み、注目画素特定部２１は、現在特定されている注目画素の位置（ｘ，ｙ）のｙの位置が画像高さであるか否かを判断する。例えば、ＣＣＤ５のｙ軸の画素が０〜２９９まである場合は、ｙ＝２９９であるか否かを判断することになる。
【００６４】
ステップＳ１８で、現在特定されている注目画素のｙの位置が画像高さでないと判断すると、ステップＳ１９に進み、注目画素特定部２１は、新たに特定する注目画素の位置を、ｘを０、現在のｙの位置をインクリメントした位置（ｘ，ｙ）＝（０，ｙ＋１）にして、ステップＳ１２に戻る。これにより全てのラインの画素に対して分割εフィルタ処理を行なうことができる。
ステップＳ１８で、現在設定されている注目画素のｙの位置が、画像高さであると判断すると、処理を終了し、図５のステップＳステップＳ４に進む。
【００６５】
以上のように、実施の形態においては、加重する画素が全範囲に均等に俯瞰している画像処理フィルタを、周辺画素の１部の範囲に対して加重すると共に、加重する範囲がそれぞれ異なるように４分割された分割フィルタのうち、注目画素の位置に応じた何れか１つの分割フィルタを用いてεフィルタ処理を行うので、εフィルタ処理に伴う処理負担を大幅に軽減させることができ、処理時間を短縮させることができる。また、位置に応じて異なる係数のεフィルタを適用することによって画像全体に生じた規則的な高周波ノイズをＬＰＦ処理によって除去（平滑化）しているので、元となる画像処理フィルタを分割する際の制約が少なくなり、各分割フィルタにおける係数の重心を中央に設定する必要もなくなることで、係数のインターバルを多めに設けてフィルタ処理時間をより短縮させることも可能となる。
【００６６】
［変形例］
Ｅ．上記実施の形態は以下のような態様でもよい。
（０１）上記実施の形態においては、各分割フィルタにおける係数の重心を中央（注目画素）から離れた位置に設定したが、各分割フィルタにおける係数の重心を中央（注目画素と同じ位置）に設定してもよい。また、このように分割した場合は、係数の重心が変心していないので、その後のＬＰＦ処理を省略してもよく、ＬＰＦ処理を省略することにより処理負担の軽減、処理時間の短縮を図ることができる。
【００６７】
図７（ａ）は、係数の重心が中央（注目画素と同じ位置）となるように４分割された各分割フィルタの様子の一例を示す図である。
この図７（ａ）は、図３（ｃ）に示すような（５×５）の画像処理フィルタを４分割した場合の例である。なお、この場合も、分割された各画像処理フィルタを合計すると元の画像処理フィルタとなる。ここでは、加重する画素はフィルタ毎に異なっていることが分かる。
【００６８】
このときも、上記実施の形態で説明したように、注目画素の位置に応じて用いる分割フィルタを変えることになる。つまり、このｘ＆１＝０であり、且つ、ｙ＆１＝０の場合は図７（ａ）の（１）に示す分割フィルタに設定し、ｘ＆１＝１であり、且つ、ｙ＆１＝０の場合は図７（ａ）の（２）に示す分割フィルタに設定し、ｘ＆１＝０であり、且つ、ｙ＆１＝１の場合は図７（ａ）の（３）に示す分割フィルタに設定し、ｘ＆１＝１であり、且つ、ｙ＆１＝１の場合は図７（ａ）の（４）に示す分割フィルタに設定する。
【００６９】
例えば、図７（ａ）の（１）に示す分割フィルタを用いる場合は、注目画素値Ｃ１＝｛（Ｔ９＋Ｔ１３＋Ｔ２０＋Ｔ２４）＋２（Ｔ１１＋Ｔ１６＋Ｔ１７＋Ｔ２２）＋４（Ｃ）｝／１６ の計算式によって算出することができ、図７（ａ）の（２）に示す分割フィルタを用いる場合は、注目画素値Ｃ１＝（Ｔ１０＋Ｔ１２＋Ｔ１４＋Ｔ１５＋Ｔ１８＋Ｔ１９＋Ｔ２１＋Ｔ２３）／８ の計算式によって算出することがでる。
図７（ａ）の（３）に示す分割フィルタを用いる場合は、注目画素値Ｃ１＝（Ｔ２＋Ｔ４＋Ｔ５＋Ｔ７）／４ の計算式によって算出することができ、図７（ａ）の（４）に示す分割フィルタを用いる場合は、注目画素値Ｃ１＝（Ｔ１＋Ｔ３＋Ｔ６＋Ｔ８）／４ の計算式によって算出することができる。
【００７０】
このように、係数の重心が中央（注目画素と同じ位置）となるように４分割された各分割フィルタのうち、何れかの１つの分割フィルタを用いてノイズを低減した画素値Ｃ１を算出することにより、従来より（分割されていない画像処理フィルタを用いて算出する技術より）画素値Ｃ１の計算量を大幅に少なくすることができる。
また、各画素値のノイズを低減した画素値を算出することを考えると、上記第１の実施の形態で説明した分割フィルタによる計算量よりも、更に計算量も抑えることができる。
【００７１】
（０２）上記実施の形態においては、（５×５）の画像処理フィルタを４分割した分割フィルタで説明したが、例えば、（３×３）の画像処理フィルタを４分割した場合は、図７（ｂ）や（ｃ）のようになる。
ここでは、εフィルタ処理に用いられる画像処理フィルタを図４（ｃ）とし、図７（ｂ）、（ｃ）は、この図４（ｃ）に示す（３×３）の画像処理フィルタを４分割した場合の各分割フィルタの様子の一例を示す図である。
なお、この場合も、分割された各画像処理フィルタを合計すると元の画像処理フィルタとなり、注目画素の位置に応じて用いる分割フィルタを変えることになる。
【００７２】
（０３）上記実施の形態においては、画像処理フィルタを４分割するようにしたが、２分割にするようにしてもよい。
図８（ａ）の（１）、（２）は、図４（ａ）に示すような画像処理フィルタを２分割したときの分割フィルタの様子を示すものである。このときも同様に、分割された各分割フィルタは、周辺画素の１部の範囲に対して加重すると共に、加重する範囲がそれぞれ異なるような画像処理フィルタである。
２分割の場合のεフィルタ処理は、注目画素のｘの位置が偶数であり、ｙの位置が偶数の場合、注目画素のｘの位置が奇数であり、ｙの位置が奇数の場合は、図７（ａ）分割フィルタ１を用い、注目画素のｘの位置が奇数であり、ｙの位置が偶数の場合、注目画素のｘの位置が偶数であり、ｙの位置が奇数の場合は、図７（ａ）の分割フィルタ２を用いるようにする。
【００７３】
また、２分割に限らず１６分割でもよい。
図９は、図４（ａ）に示すような画像処理フィルタを１６分割したときの分割フィルタの様子を示すものである。このときも同様に、分割された各分割フィルタは、周辺画素の１部の範囲に対して加重すると共に、加重する範囲がそれぞれ異なるような画像処理フィルタである。
ここで、４の倍数（０を含む）となる数字を偶数１とし（０、４、８、１２、・・・）、２に４の倍数（０を含む）を足した数字を偶数２とし（２、６、１０、１４、・・・）、１に４の倍数（０を含む）を足した数字を奇数１とし（１、５、９、１３、・・・）、３に４の倍数（０を含む）を足した数字を奇数２とする（３、７、１１、１５・・・）。
【００７４】
２分割の場合のεフィルタ処理は、注目画素のｙの位置が偶数１の場合であって、ｘの位置が偶数１である場合は図８の（１）に示す分割フィルタを設定し、注目画素のｘの位置が奇数１である場合は図８の（２）に示す分割フィルタを設定し、ｘの位置が偶数２である場合は図８の（３）に示す分割フィルタを設定し、ｘの位置が奇数２である場合は図８の（４）に示す分割フィルタを設定する。
また、注目画素のｙの位置が奇数１の場合であって、ｘの位置が偶数１である場合は図８の（５）に示す分割フィルタを設定し、注目画素のｘの位置が奇数１である場合は図８の（６）に示す分割フィルタを設定し、ｘの位置が偶数２である場合は図８の（７）に示す分割フィルタを設定し、ｘの位置が奇数２である場合は図８の（８）に示す分割フィルタを設定する。
【００７５】
また、注目画素のｙの位置が偶数２の場合であって、ｘの位置が偶数１である場合は図８の（９）に示す分割フィルタを設定し、注目画素のｘの位置が奇数１である場合は図８の（１０）に示す分割フィルタを設定し、ｘの位置が偶数２である場合は図８の（１１）に示す分割フィルタを設定し、ｘの位置が奇数２である場合は図８の（１２）に示す分割フィルタを設定する。
また、注目画素のｙの位置が奇数２の場合であって、ｘの位置が偶数１である場合は図８の（１３）に示す分割フィルタを設定し、注目画素のｘの位置が奇数１である場合は図８の（１４）に示す分割フィルタを設定し、ｘの位置が偶数２である場合は図８の（１５）に示す分割フィルタを設定し、ｘの位置が奇数２である場合は図８の（１６）に示す分割フィルタを設定する。
【００７６】
なお、２分割や１６分割に限らず、９分割等でもよく、ようは画像処理フィルタを複数に分割する方法であれば何でもよい。２分割の場合はＬＰＦ処理に用いる画像処理フィルタのタップ数は３分割の場合と同じ３×３タップが適しているが、９分割や１６分割の場合には５×５タップが適している。また、２次元の画像処理フィルタを用いて、εフィルタ処理をＬＰＦ処理を行うようにしたが、１次元の画像処理フィルタを用いてεフィルタ処理、ＬＰＦ処理を行うようにしてもよい。
【００７７】
（０４）また、上記各実施の形態及び変形例（１）乃至（３）においては、分割フィルタの態様を説明したが、要は、加重される範囲の画素のうち、１部の画素に対して加重するように、画像処理フィルタを分割するものであればよい。、また、分割された分割フィルタを更に分割するようにしてもよい。
そして、注目画素の位置に応じた何れか１つの分割フィルタを用いてεフィルタ処理を行うので、εフィルタ処理に伴う処理負担を大幅に軽減させることができ、処理時間を短縮させることができる。
【００７８】
（０５）また、上記実施の形態においては、撮像された全ての画素値に対して分割εフィルタ処理を行うようにしたが、分割εフィルタ処理を行う画素を間引いて行なうようにしてもよい。
図８（ｂ）は、εフィルタ処理の対象となる画素の様子を示す図である。
図８（ｂ）の斜線部は、分割εフィルタ処理が行なわれない間引かれた画素を表している。そして、間引かれた画素に対しては、隣接する分割εフィルタ処理が行なわれた画素値の平均値をとるようにする。なお、この間引かれる画素（斜線部の画素）に対して分割εフィルタ処理が行なわれないだけであるので（注目画素として特定されないだけであるので）、間引かれていない画素値に対して分割εフィルタ処理を行なう際には周辺画素値として用いられる。
これにより、撮像された全ての画素値に対してεフィルタ処理を施すに比べ、大幅に処理負担を軽減させることができ、処理時間を短くすることができる。
【００７９】
（０６）また、また、画像データの圧縮ブロックサイズに応じてインターバルを変えるようにしてもよい。
以下、ＪＰＥＧ形式の圧縮を例にして圧縮ブロックサイズに応じたインターバルの変更について更に詳しく説明する。
ＣＣＤ５により撮像された画像データの圧縮方法として、一般的にＪＰＥＧ形式が用いられる。
このＪＰＥＧ形式による圧縮は、ｎ×ｍの画素のブロックを離散コサイン変換を行うことにより周波数成分で表示させ、その周波数成分を量子化し、それをハフマン符号化するという処理をｎ×ｍの画素のブロック毎に行なう。
【００８０】
このとき、量子化の段階でｎ×ｍの画素のブロック毎に、ある一定の傾向が出てしまうことが多く、ＪＰＥＧ画像を拡大すると、これらのブロックの境界線を視認できる。また、あるブロックは黄色っぽく、その隣のブロックは赤っぽく・・というような構成になっていることが多い。
したがって、従来のように隣接する周辺画素を加重平均する方法では、結局、ブロック毎の色傾向を維持したままで各画素値を加重平均することとなり、色ノイズをきれいに除去することはできない。
【００８１】
そこで、注目画素に隣接する周辺画素でなく、隣接ブロックに含まれる画素を加重平均に用いることにより色ノイズを効率的に除去することができる。
つまり、ブロックサイズが８×８画素であれば、画像処理フィルタのインターバルを８にし、ブロックサイズが１６×１６の画素であれば、画像処理フィルタのインターバルを１６にすることにより、効率的に色ノイズを除去することができる。
また、上記変形例においては、圧縮ブロックサイズに応じてインターバルを変化させたが、撮影感度が高ければ高い程色ノイズが発生する範囲が大きくなるので、撮影感度に応じてインターバルを変化させるようにしてもよい。これにより、効果的に色ノイズを除去することができる。
【００８２】
（０７）また、上記実施の形態においては、ＣＣＤ５により撮像された各画素値に対して分割εフィルタ処理を施すようにしたが、ＣＣＤ５により撮像された画像サイズを縮小し、該縮小後の画像データに対して分割εフィルタ処理を施してから縮小前の画像データに拡大するようにしてもよい。これにより、縮小されていない画像データに対して単に分割εフィルタ処理を施すのに比べ、数倍のタップ数のεフィルタ処理を施すのと同様の結果を得ることができる。
また、撮影感度が高ければ高い程色ノイズが発生する範囲が大きくなるので、縮小率を上げるようにしてもよい。この場合は縮小率に応じて拡大率も変わることになる。これにより、効果的に色ノイズを低減させることができ、εフィルタ処理に伴う処理負担を大幅に軽減させることができ、処理時間を短くすることができる。
【００８３】
（０８）また、上記実施の形態においては、本発明の分割εフィルタ処理を１回行うようにしたが、複数のεフィルタを縦列的に接続する従来技術の構成に対して本発明を適用する場合には、この縦列的に接続された各εフィルタに本発明を適用して、分割εフィルタ処理を複数回行なうようにしてもよい。つまり、本発明の分割εフィルタ処理が行なわれた画像データに対して、更に分割εフィルタ処理を１回以上、施すようにしてもよい。これにより、効果的に色ノイズを低減させることができ、εフィルタ処理に伴う処理負担を大幅に軽減させることができ、処理時間を短くすることができる。
【００８４】
また、εフィルタ処理の回数毎に、画像処理フィルタのインターバルを２のべき乗で変化させるようにしてもよい。例えば、１回目のεフィルタ処理の場合は画像処理フィルタのインターバルを４（２２）とし、２回目のεフィルタ処理の場合は画像処理フィルタのインターバルを２（２１）とし、３回目のεフィルタ処理の場合は画像処理フィルタのインターバルを１（２０）とするようにしてもよい。これにより、サイドローブを抑制することができる。
【００８５】
（０９）また、上記実施の形態においては、εフィルタを分割した分割εフィルタ処理について説明したが、バイラテラルフィルタ等の他の非線形フィルタにおいても、本発明のような分割処理を行うようにしてもよい。また、非線形フィルタではなく通常のＬＰＦに対して本発明のような分割処理を行うようにしてもよい。
また、上記実施の形態においては、輝度成分と比べて色差成分の方が、信号成分に悪影響を与えることなくノイズ成分だけを除去しやすいという特性を活かして、色差成分に対してのみ分割εフィルタ処理を適用し、輝度成分に対しては分割しない通常のεフィルタ処理を適用したが、輝度成分に対して分割εフィルタ処理を適用してもよい。
【００８６】
（１０）また、上記変形例（０１）〜（０９）を矛盾が生じない範囲内で任意に組み合わせるような態様であってもよい。
【００８７】
（１１）また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
【００８８】
最後に、上記各実施の形態においては、本発明の画像処理装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、画像を処理することができる機器であれば適用可能である。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施の形態のデジタルカメラのブロック図である。
【図２】εフィルタ処理の機能ブロック図である。
【図３】εフィルタ処理を説明するための図である。
【図４】εフィルタ処理を説明するための図である。
【図５】実施の形態におけるデジタルカメラ１の動作を示すフローチャートである。
【図６】εフィルタ処理の動作を示すフローチャートである。
【図７】変形例を説明するための図である。
【図８】変形例を説明するための図である。
【図９】変形例を説明するための図である。
【符号の説明】
【００９０】
１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ メモリ
１０ ＣＰＵ
１１ ＤＲＡＭ
１２ 画像表示部
１３ フラッシュメモリ
１４ キー入力部
１５ バス
２１ 注目画素特定部
２２ 処理対象画素抽出部
２３ 非線形演算部
２４ 線形フィルタ処理部
【特許請求の範囲】
【請求項１】
２次元配列された各画素のうち、任意の画素を注目画素と特定し、前記注目画素の画素値と、該注目画素の周辺にある複数の周辺画素の画素値を所定の重み付けで加重させる画像処理フィルタを用いて、該注目画素の新たな画素値を算出することによりフィルタ処理を行うフィルタ処理手段を備えた画像処理装置であって、
前記画像処理フィルタの重み付け係数を、１部の画素に対して加重するように複数に分割した分割フィルタを有し、
前記フィルタ処理手段は、
前記複数に分割した分割フィルタの中から、前記注目画素の位置に応じて選択された１つの分割フィルタを用いて、フィルタ処理を行うことを特徴とする画像処理装置。
【請求項２】
前記フィルタ処理手段は、
非線形な処理を含んで前記フィルタ処理を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理フィルタは、
εフィルタであることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記フィルタ処理手段は、
前記注目画素の横方向または縦方向の位置の変化に応じて前記複数に分割した分割フィルタを周期的に選択することを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
【請求項５】
前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を４つに分割した画像処理フィルタであり、
前記フィルタ処理手段は、
重み付けの係数の異なる４つの分割フィルタを、前記注目画素の横方向の位置及び縦方向の位置が奇数か偶数かに応じて周期的に選択することを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
【請求項６】
前記フィルタ処理手段は、
２次元配列された全ての画素に対して周期的に選択された１つの分割フィルタを用いたフィルタ処理を行なうことを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
【請求項７】
前記フィルタ処理手段は、
２次元配列された各画素値の中から記注目画素として特定する画素を市松状に間引いて特定し、該特定された複数の画素に対してフィルタ処理を行うと共に、間引かれた画素に対しては該画素と隣接するフィルタ処理が行なわれた画素の画素値の平均値を算出し、該算出した平均値を該画素の画素値とすることにより間引かれた画素に対してフィルタ処理を行うことを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
【請求項８】
前記フィルタ処理手段は、
２次元配列された全ての画素値に対してフィルタ処理を行うという処理を複数回行うことを特徴とする請求項６又は７記載の画像処理装置。
【請求項９】
前記フィルタ処理手段は、
フィルタ処理の回数毎に、用いられる分割フィルタのインターバルを２のべき乗で変化させることを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記フィルタ処理手段により算出された２次元配列された全ての画素の画素値に対して、ローパスフィルタ処理を行うローパスフィルタ処理手段を備えたことを特徴とする請求項６乃至９の何れかに記載の画像処理装置。
【請求項１１】
前記ローパスフィルタ処理手段は、
前記複数の画像処理フィルタの分割数に応じたタップ数であることを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
前記複数に分割した分割フィルタは、
重み付けの係数の重心が中央に設定された前記画像処理フィルタを、複数に分割したフィルタであり、複数の分割フィルタの重み付けの係数を全て合計すると前記画像処理フィルタの重み付けの係数と等しくなるように分割されていることを特徴とする請求項１乃至１１の何れかにに記載に画像処理装置。
【請求項１３】
前記複数に分割した分割フィルタは、
各々の分割フィルタにおける重み付けの係数の重心が中央からずれた位置に設定されていることを特徴とする請求項１乃至１２の何れかに記載に画像処理装置。
【請求項１４】
前記複数に分割した分割フィルタは、
各々の分割フィルタにおける重み付けの係数の重心が中央に設定されていることを特徴とする請求項１乃至１２の何れかに記載に画像処理装置。
【請求項１５】
前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を、１部の範囲の画素に対して加重し、且つ、加重する範囲がそれぞれ異なるように複数に分割したことを特徴とする請求項１乃至１２の何れかに記載の画像処理装置。
【請求項１６】
前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を、加重する画素がそれぞれ異なるように複数に分割したことを特徴とする請求項１乃至１２の何れかに記載の画像処理装置。
【請求項１７】
前記画像処理フィルタにおける重み付けの係数のインターバルは、
画像データの圧縮方式のブロックサイズによって決まることを特徴とする請求項１乃至１６の何れかに記載の画像処理装置。
【請求項１８】
前記画像処理フィルタにおける重み付けの係数のインターバルは、
撮影感度に応じて決まることを特徴とする請求項１乃至１６の何れかに記載の画像処理装置。
【請求項１９】
２次元配列された各画素値からなる画像データの画像サイズを縮小する縮小手段と、
前記縮小手段により縮小された画像データの画像サイズを拡大する拡大手段と、
を備え、
前記フィルタ処理手段は、
前記縮小手段により縮小された画像データに基づいて、該画像データの各画素に対してフィルタ処理を行い、
前記拡大手段は、
前記フィルタ処理手段によりフィルタ処理が行なわれた各画素の画素値からなる画像データを拡大することを特徴とする請求項１乃至１８の何れかに記載の画像処理装置。
【請求項２０】
前記縮小手段、前記拡大手段は、
撮影感度に応じて、それぞれ縮小率、拡大率を変えることを特徴とする請求項１９記載の画像処理装置。
【請求項２１】
前記フィルタ処理手段は、撮像して得られた画像信号の色差成分に対して行われることを特徴とする請求項１乃至２０の何れかに記載の画像処理装置。
【請求項２２】
２次元配列された各画素のうち、任意の画素を注目画素と特定し、前記注目画素の画素値と、該注目画素の周辺にある複数の周辺画素の画素値を所定の重み付けで加重させる画像処理フィルタを用いて、該注目画素の新たな画素値を算出することによりフィルタ処理をコンピュータに実行させるプログラムであって、
前記フィルタ処理手段は、
前記画像処理フィルタの重み付け係数を、１部の画素に対して加重するように複数に分割した分割フィルタの中から、前記注目画素の位置に応じた１つの画像処理フィルタを用いて、フィルタ処理を行うことを特徴とするプログラム。
【請求項１】
２次元配列された各画素のうち、任意の画素を注目画素と特定し、前記注目画素の画素値と、該注目画素の周辺にある複数の周辺画素の画素値を所定の重み付けで加重させる画像処理フィルタを用いて、該注目画素の新たな画素値を算出することによりフィルタ処理を行うフィルタ処理手段を備えた画像処理装置であって、
前記画像処理フィルタの重み付け係数を、１部の画素に対して加重するように複数に分割した分割フィルタを有し、
前記フィルタ処理手段は、
前記複数に分割した分割フィルタの中から、前記注目画素の位置に応じて選択された１つの分割フィルタを用いて、フィルタ処理を行うことを特徴とする画像処理装置。
【請求項２】
前記フィルタ処理手段は、
非線形な処理を含んで前記フィルタ処理を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像処理フィルタは、
εフィルタであることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記フィルタ処理手段は、
前記注目画素の横方向または縦方向の位置の変化に応じて前記複数に分割した分割フィルタを周期的に選択することを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
【請求項５】
前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を４つに分割した画像処理フィルタであり、
前記フィルタ処理手段は、
重み付けの係数の異なる４つの分割フィルタを、前記注目画素の横方向の位置及び縦方向の位置が奇数か偶数かに応じて周期的に選択することを特徴とする請求項１乃至４の何れかに記載の画像処理装置。
【請求項６】
前記フィルタ処理手段は、
２次元配列された全ての画素に対して周期的に選択された１つの分割フィルタを用いたフィルタ処理を行なうことを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
【請求項７】
前記フィルタ処理手段は、
２次元配列された各画素値の中から記注目画素として特定する画素を市松状に間引いて特定し、該特定された複数の画素に対してフィルタ処理を行うと共に、間引かれた画素に対しては該画素と隣接するフィルタ処理が行なわれた画素の画素値の平均値を算出し、該算出した平均値を該画素の画素値とすることにより間引かれた画素に対してフィルタ処理を行うことを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
【請求項８】
前記フィルタ処理手段は、
２次元配列された全ての画素値に対してフィルタ処理を行うという処理を複数回行うことを特徴とする請求項６又は７記載の画像処理装置。
【請求項９】
前記フィルタ処理手段は、
フィルタ処理の回数毎に、用いられる分割フィルタのインターバルを２のべき乗で変化させることを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記フィルタ処理手段により算出された２次元配列された全ての画素の画素値に対して、ローパスフィルタ処理を行うローパスフィルタ処理手段を備えたことを特徴とする請求項６乃至９の何れかに記載の画像処理装置。
【請求項１１】
前記ローパスフィルタ処理手段は、
前記複数の画像処理フィルタの分割数に応じたタップ数であることを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
前記複数に分割した分割フィルタは、
重み付けの係数の重心が中央に設定された前記画像処理フィルタを、複数に分割したフィルタであり、複数の分割フィルタの重み付けの係数を全て合計すると前記画像処理フィルタの重み付けの係数と等しくなるように分割されていることを特徴とする請求項１乃至１１の何れかにに記載に画像処理装置。
【請求項１３】
前記複数に分割した分割フィルタは、
各々の分割フィルタにおける重み付けの係数の重心が中央からずれた位置に設定されていることを特徴とする請求項１乃至１２の何れかに記載に画像処理装置。
【請求項１４】
前記複数に分割した分割フィルタは、
各々の分割フィルタにおける重み付けの係数の重心が中央に設定されていることを特徴とする請求項１乃至１２の何れかに記載に画像処理装置。
【請求項１５】
前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を、１部の範囲の画素に対して加重し、且つ、加重する範囲がそれぞれ異なるように複数に分割したことを特徴とする請求項１乃至１２の何れかに記載の画像処理装置。
【請求項１６】
前記複数に分割した分割フィルタは、
前記画像処理フィルタの重み付け係数を、加重する画素がそれぞれ異なるように複数に分割したことを特徴とする請求項１乃至１２の何れかに記載の画像処理装置。
【請求項１７】
前記画像処理フィルタにおける重み付けの係数のインターバルは、
画像データの圧縮方式のブロックサイズによって決まることを特徴とする請求項１乃至１６の何れかに記載の画像処理装置。
【請求項１８】
前記画像処理フィルタにおける重み付けの係数のインターバルは、
撮影感度に応じて決まることを特徴とする請求項１乃至１６の何れかに記載の画像処理装置。
【請求項１９】
２次元配列された各画素値からなる画像データの画像サイズを縮小する縮小手段と、
前記縮小手段により縮小された画像データの画像サイズを拡大する拡大手段と、
を備え、
前記フィルタ処理手段は、
前記縮小手段により縮小された画像データに基づいて、該画像データの各画素に対してフィルタ処理を行い、
前記拡大手段は、
前記フィルタ処理手段によりフィルタ処理が行なわれた各画素の画素値からなる画像データを拡大することを特徴とする請求項１乃至１８の何れかに記載の画像処理装置。
【請求項２０】
前記縮小手段、前記拡大手段は、
撮影感度に応じて、それぞれ縮小率、拡大率を変えることを特徴とする請求項１９記載の画像処理装置。
【請求項２１】
前記フィルタ処理手段は、撮像して得られた画像信号の色差成分に対して行われることを特徴とする請求項１乃至２０の何れかに記載の画像処理装置。
【請求項２２】
２次元配列された各画素のうち、任意の画素を注目画素と特定し、前記注目画素の画素値と、該注目画素の周辺にある複数の周辺画素の画素値を所定の重み付けで加重させる画像処理フィルタを用いて、該注目画素の新たな画素値を算出することによりフィルタ処理をコンピュータに実行させるプログラムであって、
前記フィルタ処理手段は、
前記画像処理フィルタの重み付け係数を、１部の画素に対して加重するように複数に分割した分割フィルタの中から、前記注目画素の位置に応じた１つの画像処理フィルタを用いて、フィルタ処理を行うことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−２８８９４７（Ｐ２００８−２８８９４７Ａ）
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００７−１３２６６２（Ｐ２００７−１３２６６２）
【出願日】平成１９年５月１８日（２００７．５．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１９年５月１８日（２００７．５．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]