ノイズ除去装置、電子機器
【課題】 ＩＩＲフィルターを主体として小さい回路規模でノイズを効果的に除去すると共に、画像のにじみ、ぼやけ等を効果的に抑制するノイズ除去装置を提供する。
【解決手段】 フィルター部３０と、前記フィルター部３０が含むフィルターの係数を設定する係数設定部２２と、を含み、前記フィルター部３０は、ＩＩＲフィルターである第１のフィルター３７を含み、前記係数設定部２２は、前記第１のフィルター３７によるフィルター処理が施された注目画素の画素値２３７と、前記フィルター処理が施される前の注目画素の画素値２００との差分値を求め、前記差分値を積分した値である差分積分値２５０を求め、前記差分積分値と第１の閾値とを比較した結果に基づいて、前記第１のフィルターの係数２２２を設定する。
【解決手段】 フィルター部３０と、前記フィルター部３０が含むフィルターの係数を設定する係数設定部２２と、を含み、前記フィルター部３０は、ＩＩＲフィルターである第１のフィルター３７を含み、前記係数設定部２２は、前記第１のフィルター３７によるフィルター処理が施された注目画素の画素値２３７と、前記フィルター処理が施される前の注目画素の画素値２００との差分値を求め、前記差分値を積分した値である差分積分値２５０を求め、前記差分積分値と第１の閾値とを比較した結果に基づいて、前記第１のフィルターの係数２２２を設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズ除去装置、電子機器等に関する。
【背景技術】
【０００２】
データからノイズや不要な高周波成分等を取り除く手段として、フィルター装置が広く用いられている。フィルター装置としては、ＩＩＲ（Infinite Impulse Response）フィルターやＦＩＲ（Finite impulse response）フィルターなどの構成が一般的に知られている。
【０００３】
何れのフィルター装置（以下、フィルター）にもそれぞれ特徴があるが、ＩＩＲフィルター（以下、単にＩＩＲとも表現する）は、フィルターを構成する遅延手段などの規模を小さくできることから、特に小型化および低消費電力化を目的として多く用いられている。一方、ＦＩＲフィルター（以下、単にＦＩＲとも表現する）は、オープンループなため不安定極がなく、高域処理等も容易である。
【０００４】
ここで、特許文献１の発明ではＩＩＲを用いてノイズ除去を行っている。このとき、係数を可変とすることで、分散（ゆらぎ）の大きい入力データに対しても、高速に遅延手段に記憶される値を入力データの平均値程度に収束させる。つまり、ＩＩＲで遅延手段に記憶される値を、高速に入力値に応じた値に収束させるための工夫を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１４２８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示されているＩＩＲは、平均値程度に収束させるという固定的な特性を有する。そのため、局所的な特徴に応じて係数を可変とする機構を備えているわけではない。画像データに適用した場合、エッジ部分（局所的な特徴に対応）がにじんだり、ぼやけたりして、かえって不自然な出力画像になる可能性がある。
【０００７】
本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、ＩＩＲを主体として小さい回路規模でノイズを効果的に除去すると共に、画像のにじみ、ぼやけ等を効果的に抑制するノイズ除去装置を提供する。
【０００８】
また、本発明のいくつかの態様によれば、ＦＩＲを併用して、ＦＩＲとＩＩＲの出力を適切にブレンドする。このとき、画像のにじみ、ぼやけ等を効果的に抑制するだけでなく、性質の異なる２つのフィルターの出力を用いても最終的に自然でメリハリのある画像を生成することを可能にする。
【課題を解決するための手段】
【０００９】
（１）本発明は、ノイズ除去装置であって、フィルター部と、前記フィルター部が含むフィルターの係数を設定する係数設定部と、を含み、前記フィルター部は、ＩＩＲフィルターである第１のフィルターを含み、前記係数設定部は、前記第１のフィルターによるフィルター処理が施された注目画素の画素値と、前記フィルター処理が施される前の注目画素の画素値との差分値を求め、前記差分値を積分した値である差分積分値を求め、前記差分積分値と第１の閾値とを比較した結果に基づいて、前記第１のフィルターの係数を設定する。
【００１０】
本発明のノイズ除去装置は、少なくとも第１のフィルターを含むフィルター部と、フィルター部のフィルターの係数を設定する係数設定部とを含む。そして、第１のフィルターはＩＩＲであるので、小さい回路規模でノイズを効果的に除去する。このとき、画像の局所的な特徴に応じて係数を可変とし、画像のにじみ、ぼやけ等を効果的に抑制する。
【００１１】
画像のノイズ除去を行う場合、様々なノイズを除去できることが好ましい。入力される画像にのるノイズは、例えば圧縮伸張に伴って生じるブロックノイズ、諧調ノイズやモスキートノイズ、撮像時等に生じるインパルスノイズ、ホワイトノイズやランダムノイズ等、様々な種類があり得る。
【００１２】
例えばブロックノイズ、階調ノイズについては、入力される画像の広域を見てノイズ除去を行うフィルターが効果的である。ここで、ＦＩＲを用いると、広域の画素値を保存する多くのメモリーを必要とする。そのため、本発明のノイズ除去装置は、回路規模を抑えつつ実効的なタップ長を大きくできるＩＩＲを使用する。
【００１３】
ここで、ＩＩＲを画像全体に一律に適用した場合には、にじみ、ぼやけ、擬似輪郭といった画質を低下させる効果を生じる可能性がある。例えば、入力される画像（以下、原画像とも表現する）において、オブジェクトの輪郭等であるエッジ部分にＩＩＲを適用した場合、輪郭があいまいになり、ぼやけてしまう可能性がある。
【００１４】
本発明のノイズ除去装置の係数設定部は、注目画素の画素値と、ＩＩＲでフィルター処理された注目画素の画素値との差分値を求め、その差分値を積分した値である差分積分値を求める。そして、差分積分値によって、原画像とＩＩＲでフィルター処理された画像とが乖離しそうか否かを判断する。具体的には、差分積分値が第１の閾値以上の場合には、原画像からの乖離が生じると判断する。
【００１５】
先の例では、注目画素が原画像におけるエッジ部分に含まれる場合、差分積分値の値が大きく上昇する。このとき、係数設定部は、第１の閾値との比較によって、ＩＩＲでフィルター処理された画素値に基づく画像が原画像から乖離しそうであると判断できる。そして、新たなフィルター係数を設定して、例えばＩＩＲの実効タップ長を縮めることにより、画像がぼやけてしまうことを回避できる。
【００１６】
このように、本発明のノイズ除去装置は、ＩＩＲの出力を係数設定部にフィードバックすることで、局所的な特徴に応じたフィルター係数の設定を可能にする。このとき、例えば原画像のなだらかな領域については、広域を見て効果的なノイズ除去を行うことが可能である。なお、差分値を積分するとは、差分値の累積加算を行うことであってもよい。
【００１７】
（２）このノイズ除去装置において、前記フィルター部が含む複数のフィルターの出力をブレンドして出力画素値を生成する合成部、を含み、前記合成部は、前記係数設定部から前記差分積分値を受け取り、前記差分積分値と第２の閾値とを比較した結果に基づいて、前記出力画素値を生成してもよい。
【００１８】
（３）このノイズ除去装置において、前記フィルター部は、ＦＩＲフィルターである第２のフィルターを含み、前記合成部は、前記差分積分値が前記第２の閾値よりも小さければ、前記第１のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値とし、前記差分積分値が前記第２の閾値以上であれば、前記第１のフィルターによるフィルター処理が施された注目画素の画素値と、前記第２のフィルターによるフィルター処理が施された注目画素の画素値とを、所定の比率でブレンドして前記出力画素値としてもよい。
【００１９】
これらの発明のノイズ除去装置は合成部を含む。合成部は、ＩＩＲでフィルター処理された画素値と、他のフィルターでフィルター処理された画素値とをブレンドして出力画素値を生成することができる。そのため、ＩＩＲのフィルター係数を新たに設定しても原画像との乖離が生じるような場合に、他のフィルターの出力をブレンドして、にじみ、ぼやけ、擬似輪郭の発生を抑制し、自然でメリハリのある出力画素値を生成できる。
【００２０】
合成部は、係数設定部から差分積分値を受け取り、差分積分値が第２の閾値以上の場合には、原画像からの乖離が生じると判断する。このとき、第２の閾値を第１の閾値よりも大きく設定することが好ましい。ＩＩＲのフィルター係数を新たに設定してもなお原画像との乖離が生じるような場合に限って他のフィルターの出力をブレンドするので、異なる特性のフィルターを単純に、かつ頻繁に切り換える際に生じる擬似輪郭等の発生を抑えることができる。
【００２１】
ここで、ブレンドは、例えばαブレンドであってもよい。αブレンドによるブレンド値は、ＩＩＲでフィルター処理された画素値をＡ、他のフィルターでフィルター処理された画素値をＢとすると、αＡ＋（１−α）Ｂで与えられる。なお、αは、０以上、１以下の実数であり、ブレンドの割合を示す。
【００２２】
また、他のフィルターとは、フィルター部が含む第２のフィルターであってもよい。第２のフィルターはＦＩＲであってもよい。ＦＩＲは画像の局所的な特徴を見て適応的なフィルター処理が可能である。ＦＩＲの１種であるεフィルターは、例えばエッジ部分に生じるモスキートノイズ等を、エッジ成分を保存しつつ効果的に除去できる。
【００２３】
合成部は、差分積分値が第２の閾値以上であれば、第１のフィルターによるフィルター処理が施された注目画素の画素値と、第２のフィルターによるフィルター処理が施された注目画素の画素値とを、所定の比率（例えば、上記のα＝０．５）でブレンドして出力画素値としてもよい。このとき、例えばモスキートノイズ等を効果的に除去したＦＩＲの出力をブレンドするので、原画像からの乖離を抑えつつ、自然でメリハリのある出力画素値を生成できる。
【００２４】
なお、合成部は、差分積分値が第２の閾値よりも小さければ、第１のフィルターによるフィルター処理が施された注目画素の画素値を出力画素値とする。
【００２５】
（４）このノイズ除去装置において、前記合成部は、前記第２の閾値よりも大きい第３の閾値と、前記差分積分値との比較を行い、前記差分積分値が前記第３の閾値以上であれば、前記第２のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値としてもよい。
【００２６】
本発明によれば、合成部は、第２の閾値よりも大きい第３の閾値と、差分積分値とを比較する。このとき、第３の閾値と差分積分値との比較を、第２の閾値と差分積分値との比較よりも優先的に行ってもよい。そして、差分積分値が第３の閾値以上であれば、ＦＩＲである第２のフィルターによるフィルター処理が施された注目画素の画素値を出力画素値とする。
【００２７】
そのため、原画像からの乖離が非常に大きいと判断される場合には、合成部は、にじみ、ぼやけ、擬似輪郭の発生を抑制するために、ＦＩＲでフィルター処理された画素値を出力画素値とすることができる。
【００２８】
このとき、係数設定部は、第１のフィルターの係数を初期化してもよい。ここで、初期化とはＩＩＲの過去のデータを破棄することを意味する。例えば、サンプリングタイミングｎの出力Ｙ（ｎ）が、Ｙ（ｎ）＝αｎ＊Ｘ（ｎ）＋（１−αｎ）＊Ｙ（ｎ−１）で表される場合、係数設定部はαｎ＝１として初期化を行う。なお、Ｘ（ｎ）はサンプリングタイミングｎの入力データであって、このとき、出力Ｙ（ｎ）はＸ（ｎ）のみで決定される。
【００２９】
（５）このノイズ除去装置において、入力された原画像の画素値である入力画素値に基づいて、エッジ検出を行うエッジ検出部を含み、前記合成部は、前記エッジ検出部から前記注目画素が前記原画像のエッジを構成することを表す信号を受け取った場合、前記第２のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値としてもよい。
【００３０】
本発明によれば、入力画素値に基づいて注目画素がエッジ部分に含まれるか否かを判断するエッジ検出部を含む。そして、エッジ検出部によって注目画素がエッジ部分に含まれると判断された場合、合成部は、差分積分値が第３の閾値以上であった場合と同様に、第２のフィルターの出力を出力画素値とする。
【００３１】
エッジ検出部は、入力画素値のみに基づいて判断が可能である。そして、差分積分値と第１〜第３の閾値との比較よりも前に、エッジ検出部の判断を係数設定部、合成部に伝えることができる。そのため、本発明のノイズ除去装置は、必要な演算以外を行わない効率的な出力画素値の生成が可能になる。
【００３２】
なお、入力画素値とは１つの画素の画素値に限らず、例えば注目画素を中心とする３×３の画素領域の画素値の入力であってもよい。また、３×３に限らず、５×５、又はその他の画素領域であってもよい。このとき、処理ブロックやフィルター毎に、複数の画素値から必要な画素値を選択して使用してもよい。
【００３３】
（６）このノイズ除去装置において、前記フィルター部は、同じ注目画素について、多段階に前記第１のフィルターによるフィルター処理を施してもよい。
【００３４】
（７）このノイズ除去装置において、前記フィルター部は、少なくとも垂直方向、水平方向の２段階で、前記第１のフィルターによるフィルター処理を施してもよい。
【００３５】
これらの発明では、同じ注目画素について、多段階に第１のフィルターによるフィルター処理を施す。そのため、フィルターの回路規模を抑えることが可能である。ここで、多段階とは、例えば垂直方向、水平方向の２段階であってもよい。また、フレームバッファーを有する場合には、フレーム間でのフィルター処理を加えてもよい。
【００３６】
（８）このノイズ除去装置において、前記フィルター部は、前記第１のフィルターとして下記式（１）を満たすＩＩＲフィルターを含んでもよい。
【００３７】
【数１】
【００３８】
但し、ｙ（ｎ）は、サンプリングタイミングｎにおける出力であり、ｘ（ｎ）は、サンプリングタイミングｎにおける入力であり、αｎは、フィルター係数であり、ｙ（ｎ−１）は、サンプリングタイミングｎ−１における出力である。
【００３９】
（９）このノイズ除去装置において、前記係数設定部は、前記差分積分値と前記第１の閾値との比較結果に基づいて、前記差分積分値が前記第１の閾値未満である回数をカウントするカウンターを含み、前記式（１）のフィルター係数αｎを、前記カウンターのカウント値の逆数としてもよい。
【００４０】
（１０）このノイズ除去装置において、前記係数設定部は、前記差分積分値と前記第１の閾値との比較を色成分の各々について行ってもよい。
【００４１】
これらの発明によれば、式（１）に従う回路規模の小さなＩＩＲによって、画像の局所的な特徴に応じて係数を可変とし、画像のにじみ、ぼやけ等を効果的に抑制することができる。
【００４２】
また、係数設定部が計算するフィルター係数は式（１）のαｎだけであり、係数設定部の回路規模も小さく抑えることができる。係数設定部は、差分積分値が第１の閾値未満である回数をカウントするカウンターを含み、カウント値の逆数をαｎとしてもよい。このとき、簡単な構成のカウンターを用いることで、回路規模抑制の効果を高めることができる。
【００４３】
ここで、色成分毎に差分積分値と第１の閾値とが比較されることで、いずれかの色成分でのみ原画像との乖離がある場合を検出することができる。なお、比較は色成分毎が好ましいが、原画像との乖離があった場合に設定する新たなフィルター係数αｎは、色ずれ等の発生を回避するために全色成分で共通であることが好ましい。
【００４４】
（１１）このノイズ除去装置において、前記カウンターは、前記式（１）のフィルター係数αｎに上限値を設定してもよい。
【００４５】
本発明によれば、ＩＩＲの効果、および実効タップ長の増加による演算精度を鑑みて、フィルター係数αｎに上限値を設定する。αｎの上限値は入力される画像に依存性があるが、例えば、１／９、１／１１、又は１／１５といった値でもよい。
【００４６】
（１２）本発明は、前記のいずれかに記載のノイズ除去装置を含む電子機器である。
【００４７】
本発明によれば、ＩＩＲを主体として小さい回路規模でノイズを効果的に除去すると共に、画像のにじみ、ぼやけ等を効果的に抑制するノイズ除去装置を含む電子機器を提供することができる。ここで、電子機器に含まれるノイズ除去装置は、ノイズ除去回路といったハードウェアであってもよいし、ソフトウェアでノイズ除去の機能が実現されてもよい。
【図面の簡単な説明】
【００４８】
【図１】第１実施形態のノイズ除去装置のブロック図。
【図２】図２（Ａ）は画像を例示した図。図２（Ｂ）は入力画素値を例示した図。
【図３】第１実施形態のノイズ除去装置の詳細ブロック図。
【図４】第１実施形態の係数設定部とフィルター部を説明するための図。
【図５】第１実施形態の積分器と第１の比較器を説明するための図。
【図６】第１実施形態の合成部を説明するための図。
【図７】変形例のノイズ除去装置の詳細ブロック図。
【図８】適用例の電子機器のブロック図。
【図９】図９（Ａ）は電子機器の例であるパーソナルコンピューターの図。図９（Ｂ）は電子機器の例であるプロジェクターの図。
【図１０】図１０（Ａ）はブロックノイズを説明するための図。図１０（Ｂ）はフィルター処理によるノイズ除去を説明するための図。
【発明を実施するための形態】
【００４９】
以下、本発明の実施形態について図面を参照して説明する。
【００５０】
１．第１実施形態
本発明の第１実施形態について図１〜図６および図１０を参照して説明する。
【００５１】
１．１．ノイズ除去装置の概要
図１は本実施形態のノイズ除去装置１０の概要を表すブロック図である。図１では、ノイズ除去装置１０の主要な機能ブロックのみを図示しており、詳細なブロック図については後述する。
【００５２】
ノイズ除去装置１０は、係数設定部２２、フィルター部３０、合成部４０を含む。フィルター部３０はＩＩＲである第１のフィルター３７と、ＦＩＲである第２のフィルター３８を含む。
【００５３】
ノイズ除去装置１０は、入力された原画像の画素値である入力画素値２００を受け取って、出力画素値２０２を生成する。ここで、原画像のデータは走査によって注目画素を変化させながらノイズ除去装置１０に入力される。本実施形態の入力画素値２００は、注目画素の画素値を含む複数の画素値で構成されているものとする。また、出力画素値２０２はフィルター処理でノイズを除去した後の注目画素の画素値であるとする。
【００５４】
フィルター部３０は、少なくとも第１のフィルター３７を含む。第１のフィルター３７は、ノイズ除去装置１０における主要なフィルターであって、小さい回路規模でノイズを効果的に除去できるＩＩＲである。例えば、原画像におけるブロックノイズ、量子化ノイズ、諧調ノイズ等は、原画像の広い領域を見てノイズ除去を行うことが好ましい。ＩＩＲは、フィードバックを取り入れて、現実の遅延手段などの規模が小さくても、実効的なタップ長（実効タップ長）の大きい平滑化フィルターを実現できる。
【００５５】
例えば、図１０（Ａ）は、ブロックノイズを含む原画像３００の図である。小さな丸印は画素に対応し、原画像３００は水平方向にＮ画素、垂直方向にＭ画素を含む。このとき、圧縮処理の単位として例えば８×８のブロックサイズが使用され、図１０（Ａ）のＢ０、Ｂ１で示す部分等にブロックノイズが生じるとする。
【００５６】
図１０（Ｂ）は、図１０（Ａ）の領域３０４に含まれる画素の画素値の輝度Ｙを、画素順ｎに対応させて並べたものである。なお、実際にはデータは離散的であるが、分かりやすさのために連続的に表示している。原画像では、図１０（Ｂ）のｘ（ｎ）のように図１０（Ａ）のＢ０、Ｂ１に対応する部分で輝度Ｙのギャップが生じている。つまり、ブロックノイズが発生している。
【００５７】
図１０（Ｂ）のｙ（ｎ）は、ＩＩＲによるフィルター処理（平滑化）の結果を表している。このとき、ブロックノイズが消え、なめらかなグラデーションが得られる。つまり、ノイズのない、自然な出力画像が得られる。
【００５８】
ここで、固定のブロックサイズを用いる圧縮処理が行われた原画像だけが入力されるならば、ブロックノイズの発生位置は既知である。このとき、例えば３×３の局所的な領域の画素値を入力するＦＩＲでもノイズ除去は可能である（図１０（Ａ）の領域３０２参照）。
【００５９】
しかしながら、ノイズ除去装置としての使い勝手を向上させるには、様々な種類の原画像の入力が可能であることが好ましい。例えば、Ｈ．２６４では可変ブロックサイズを採用しており、ブロックノイズの発生位置はデコーダーから情報を得る手段がない限りは画像に依存し不明である。そのため、ＩＩＲを用いて、原画像の広い領域を見てノイズ除去を行うことが好ましい。よって、本実施形態のノイズ除去装置１０は、ＩＩＲ（第１のフィルター３７）を主体としたフィルター処理を行う。
【００６０】
ここで、第１のフィルター３７が、例えば平均値程度に収束させるという固定的な特性である場合、エッジ部分等までも平滑化して、かえって不自然な出力画像を生成する可能性がある。
【００６１】
本実施形態のノイズ除去装置１０では、係数設定部２２が原画像の局所的な特徴に応じて、第１のフィルター３７の係数２２２の設定を行う。そのため、特性は固定的にならず、例えば原画像との大きな乖離が生じるような場合に過去のデータを破棄（フィードバックの遮断）することも可能であり、自然な出力画像を生成できる。
【００６２】
このとき、係数設定部２２は、第１のフィルター３７によるフィルター処理が施された注目画素の画素値２３７と、フィルター処理が施される前の注目画素の画素値（入力画素値２００の一部）との差分値を求める。そして、係数設定部２２は、その差分値を積分した値である差分積分値に基づいて調整した係数２２２を設定する。このとき、原画像の局所的な特徴を、原画像からの乖離を表す差分積分値から間接的に把握することができ、係数２２２を調整して第１のフィルター３７の特性を変化させることができる。
【００６３】
さらに、本実施形態のノイズ除去装置１０は、出力段に合成部４０を備え、フィルター部３０には第２のフィルター３８を含む。合成部４０は、通常は第１のフィルター３７の出力である画素値２３７を出力画素値２０２とする。
【００６４】
しかし、合成部４０は、係数設定部２２からの差分積分値２５０に基づいて、原画像からの乖離の状態を把握し、必要な場合には第１のフィルター３７の出力である画素値２３７と第２のフィルター３８の出力である画素値２３８とをブレンドして出力画素値２０２とする。このとき、合成部４０は、差分積分値２５０に基づいて、第２のフィルター３８の出力である画素値２３８を出力画素値２０２とすることがあってもよい。
【００６５】
合成部４０は、原画像からの乖離が大きいときに、第２のフィルターの出力である画素値２３８を用いて出力画素値２０２を生成することで、より自然でメリハリのある出力画像が生成されるようにすることができる。
【００６６】
本実施形態では、フィルター部３０は、ＦＩＲである第２のフィルター３８を含む。ＦＩＲは画像の局所的な特徴を見て適応的なフィルター処理が可能である。ＦＩＲは、例えばエッジ部分に生じるモスキートノイズ等を効果的に除去できる。
【００６７】
１．２．第１および第２のフィルター
本実施形態のノイズ除去装置１０では、フィルター部３０はＩＩＲである第１のフィルター３７と、ＦＩＲである第２のフィルター３８を含む。
【００６８】
第１のフィルター３７は、下記式（１）を満たすＩＩＲである。
【００６９】
【数１】
【００７０】
但し、ｙ（ｎ）は、サンプリングタイミングｎにおける出力であり、ｘ（ｎ）は、サンプリングタイミングｎにおける入力であり、αｎは、フィルター係数であり、ｙ（ｎ−１）は、サンプリングタイミングｎ−１における出力である。
【００７１】
図１を参照すると、式（１）のｘ（ｎ）は入力画素値２００のうちの注目画素の画素値が対応する。また、式（１）のｙ（ｎ）は画素値２３７が対応する。本実施形態では、サンプリングタイミングがｎからｎ＋１へと変化すると、走査によって注目画素が隣接する画素（又は次の行の先頭画素）へとシフトする。
【００７２】
ここで、図１の係数設定部２２は、係数２２２として式（１）のフィルター係数αｎを設定する。式（１）からｚ平面上では、第１のフィルター３７は式（２）の応答を持つ。
【００７３】
【数２】
【００７４】
すると、極点が安定極となるようにフィルター係数αｎは０≦αｎ≦１である必要がある。ここで、αｎ＝１の場合、式（１）は式（３）のようになり、過去のデータを破棄することができる。なお、この例に限らず、係数αｎを変更することでＩＩＲの特性を変更することが可能である。
【００７５】
【数３】
【００７６】
一方、第２のフィルター３８は、式（４）〜（６）に従うＦＩＲである。具体的には一種のεフィルターであり、非線形フィルターである。
【００７７】
【数４】
【００７８】
ここで、式（４）のｋは注目画素を中心とする領域における周辺画素を表す番号である。再び、図１を用いて説明すると、本実施形態の入力画素値２００は、注目画素の画素値を含む複数の画素値で構成されている。このとき、ｘ（ｎ）は入力画素値２００のうちの注目画素の画素値が対応する。そして、ｘ（ｎ＋ｋ）は入力画素値２００のうちの注目画素以外の周辺画素の画素値が対応する。また、式（４）のｙ（ｎ）は画素値２３８が対応する。
【００７９】
また、式（４）のβｋは式（６）を満たすローパスフィルタ係数である。ただし、ｔを差分値（ここでは、周辺画素の画素値と注目画素の画素値との差分）として、関数Ｆ（ｔ）は式（５）を満たす。ε１、ε２はともに正の閾値であって、ε１＜ε２を満たす。図１の係数設定部２２によってフィルター係数βｋは動的に変化してもよいが、本実施形態ではβｋは予め定められているものとする。
【００８０】
なお、別の実施形態として、第２のフィルター３８は、｜ｘ（ｎ＋ｋ）−ｘ（ｎ）｜＞ε２となるｋをカウントし、そのカウント値が一定値以上の場合にＦ（ｔ）＝ｔとする非線形フィルターであってもよい。
【００８１】
１．３．入力画素値
本実施形態のノイズ除去装置１０は、原画像のデータを入力画素値２００として受け取る。本実施形態では、第２のフィルター３８が適切な出力を行うために、１つの注目画素だけでなく、その周辺画素の画素値も含めて入力画素値２００として受け取る必要がある。
【００８２】
図２（Ａ）は、原画像３００と注目画素との対応を説明するための図である。原画像３００は水平方向にＮ画素、垂直方向にＭ画素を含む。その画素Ｐｉｊは画素の位置に応じて添え字が付されている。添え字ｉはＭまでの自然数であり垂直方向のｉライン目の画素であることを示す。添え字ｊはＮまでの自然数であり水平方向のｊカラム目の画素であることを示す。なお、図２（Ｂ）では、画素Ｐｉｊの画素値もＰｉｊと表現している。
【００８３】
画素Ｐｉｊの画素値は、例えばＲＧＢそれぞれ６ビットのデータを有する１８ビットデータであってもよいし、Ｇが６ビット、ＲとＢは５ビットのデータを有する１６ビットデータであってもよい。また、本実施形態のようにＹＣｂＣｒなどのデータフォーマットであってもよい。
【００８４】
図２（Ｂ）は、本実施形態のノイズ除去装置１０へと入力される入力画素値２００を説明する図である。例えば、注目画素がＰ３４の場合、Ｐ３４を中心とした３×３の領域の画素（図２（Ａ）の領域３０２）の画素値が入力画素値２００となる。そのうち、注目画素Ｐ３４の画素値を特に入力画素値２００Ａとして区別する。
【００８５】
図２（Ｂ）の例では、メモリーＲＥＧ０〜ＲＥＧ８は図外のクロックに同期して画素値をシフトさせながら、ノイズ除去装置への入力画素値２００を出力する。ラインメモリー１とラインメモリー２は、それぞれ１つ前のライン、２つ前のラインの画素値を保持するラインメモリーである。
【００８６】
この例では注目画素が画素Ｐ３４である場合についてのみ図示しているが、前記のように、図外のクロックに同期して保持される画素値は変化（シフト）する。例えば１クロック後には、ＲＥＧ４には新たに注目画素となったＰ３５の画素値が保持される。
【００８７】
ここで、図２（Ｂ）に図示する例を用いて、第１のフィルター、第２のフィルターへの入力値について説明する。まず、ＩＩＲである第１のフィルターは、式（１）のように１つの画素値ｘ（ｎ）だけを必要とする。つまり、第１のフィルターでは、入力画素値２００のうち、入力画素値２００Ａだけを受け取ってｘ（ｎ）として用いる。
【００８８】
ＦＩＲである第２のフィルターは、式（４）のように、ｘ（ｎ）である注目画素Ｐ３４の入力画素値２００Ａだけでなく、３×３の領域内の周辺画素Ｐ２３、Ｐ２４、Ｐ２５、Ｐ３３、Ｐ３５、Ｐ４３、Ｐ４４、Ｐ４５の画素値をｘ（ｎ＋ｋ）として受け取る必要がある。このとき、式（４）のｋは例えば−４から４までの値であって、ｘ（ｎ−４）がＰ２３の画素値、ｘ（ｎ−３）がＰ２４の画素値、…、ｘ（ｎ＋３）がＰ４４の画素値、ｘ（ｎ＋４）がＰ４５の画素値に対応してもよい。
【００８９】
１．４．ノイズ除去装置の詳細
図３は本実施形態のノイズ除去装置１０の詳細を表すブロック図である。なお、主要なブロックについては図１と同じであり同じ符号を付している。よって、重複する説明は省略する。
【００９０】
本実施形態のノイズ除去装置１０は、図１に記載の係数設定部２２、フィルター部３０、合成部４０の他に、エッジ検出部２０を含む。エッジ検出部２０は、入力画素値２００のみに基づいて注目画素が急峻なエッジ部分に含まれるか否かを判断する。
【００９１】
そして、注目画素が急峻なエッジ部分に含まれる場合には、係数設定部２２や合成部４０がフィルター係数や出力画素値を調整、生成する前に、ＩＩＲ出力の画素値を用いないことを制御信号２２０によって伝えることができる。そのため、本実施形態のノイズ除去装置１０は、必要な演算以外を行わない効率的な出力画素値２０２の生成が可能になる。
【００９２】
ここで、本実施形態のフィルター部３０および合成部４０は、ＩＩＲのフィルター処理および必要な画素値の生成を多段階に行う。具体的には、垂直方向、水平方向の２段階で行う。このことは、フィルター部３０および合成部４０の演算等の処理の負荷を減らし、回路規模の増加を抑制する効果がある。また、フレームバッファーを有する場合には、フレーム間でのＩＩＲのフィルター処理を加えることも可能である。
【００９３】
この多段階処理のため、図３のように、フィルター部３０は、垂直ＩＩＲフィルター３１（以下、単に垂直ＩＩＲ３１とも表現する）、水平ＩＩＲフィルター３２（以下、単に水平ＩＩＲ３２とも表現する）を含む。なお、ＦＩＲフィルターについては２次元の処理を行い、フィルター部３０は１つの２次元ＦＩＲフィルター３４（以下、単に２次元ＦＩＲ３４とも表現する）を含む。
【００９４】
垂直方向の処理とは例えば図２（Ａ）のように注目画素がＰ３４である場合に１つ前のサンプリングタイミングにおける注目画素がＰ２４（１つ上の隣接画素）であるように扱うことをいう。また、水平方向の処理とは例えば図２（Ａ）のように注目画素がＰ３４である場合に１つ前のサンプリングタイミングにおける注目画素がＰ３３（１つ左の隣接画素）であるように扱うことをいう。
【００９５】
このとき、垂直方向の処理と水平方向の処理とはシーケンシャルに行われる。よって、垂直方向の処理の実行時には、垂直ＩＩＲ３１が図１の第１のフィルター３７に対応し、画素値２３１が図１の画素値２３７に対応する。また、水平方向の処理の実行時には、水平ＩＩＲ３２が図１の第１のフィルター３７に対応し、画素値２３２が図１の画素値２３７に対応する。このとき、ＩＩＲを構成する物理的な回路は、本実施形態のように垂直ＩＩＲ３１と水平ＩＩＲ３２とで共用されてもよいし、個別に存在してもよい。
【００９６】
そして、係数設定部２２が設定する係数２２２は、垂直ＩＩＲ３１と水平ＩＩＲ３２のそれぞれに出力される。つまり、本実施形態の係数設定部２２は、垂直ＩＩＲ３１用の係数設定部と水平ＩＩＲ３２用の係数設定部とを含み（図示せず）、それぞれが独立に係数を演算で求めて、係数２２２として出力する。係数設定部２２が受け取るフィルター処理後の画素値２３０は、図１の画素値２３７に対応する。ここでは、係数設定部２２は、画素値２３０として、画素値２３１および画素値２３２を受け取る。なお、２次元ＦＩＲ３４は図１の第２のフィルター３８に対応し、画素値２３４が図１の画素値２３８に対応する。
【００９７】
また、合成部４０は、垂直合成部４１、水平合成部４２を含む。垂直ＩＩＲ３１の出力である画素値２３１については、垂直合成部４１が必要に応じてブレンドを行う。また、水平ＩＩＲ３２の出力である画素値２３２については、水平合成部４２が必要に応じてブレンドを行う。
【００９８】
このとき、２次元ＦＩＲ３４の出力である画素値２３４とのブレンドは、出力画素値２０２を生成する水平合成部４２で行われる。そのため、垂直合成部４１は、画素値２３４ではなく入力画素値２００Ａを入力する。
【００９９】
１．５．原画像における急峻なエッジ部分の扱い
前記のように、本実施形態のノイズ除去装置１０は、ＩＩＲを主体としてノイズ除去を行う。しかし、例えば原画像における急峻なエッジ部分は、ＩＩＲのフィルター処理には不向きな場合がある。つまり、フィルター係数を変更したとしても、不自然な画像を生成する画素値を出力してしまう場合がある。
【０１００】
このような場合、直ちにＦＩＲによるフィルター処理のみを行うように切り換える方が処理の効率がよい。エッジ検出部２０は、入力画素値２００のみに基づいて注目画素が急峻なエッジ部分に含まれるか否かを判断する。そして、含まれる場合には、制御信号２２０によって係数設定部２２や合成部４０が無駄な演算を行うことを回避させることができる。
【０１０１】
エッジ検出部２０は入力画素値２００を受け取り、注目画素と周辺画素の画素値の差分の絶対値（以下、差分絶対値）を積算する。
【０１０２】
【数５】
【０１０３】
本実施形態では、入力画素値２００は３×３の領域の画素の画素値を含む。式（７）のｋは注目画素を中心とする領域における周辺画素を表す番号であり、前記のＦＩＲの場合と同じである。
【０１０４】
エッジ検出部２０は、式（７）の差分絶対値ａ（ｎ）が閾値Ｔｈｅ以上の場合に、直ちにＦＩＲによるフィルター処理のみを行わせる制御信号２２０を出力する。ここで、閾値Ｔｈｅは、例えば様々な画像について統計をとることで得られる値であって予め定められていてもよいし、使用者がノイズ除去装置の使用時に設定してもよい。
【０１０５】
１．６．ＩＩＲの係数の調整
式（７）の差分絶対値ａ（ｎ）が閾値Ｔｈｅ未満の場合には、本実施形態のノイズ除去装置１０は、ＩＩＲの出力を用いて出力画素値を生成する。このとき、係数設定部２２は、注目画素について、垂直ＩＩＲ３１、水平ＩＩＲ３２によるフィルター処理前後の画素値の差分値を求める。そして、それらの差分値を積分した値である差分積分値に基づいて、原画像と乖離したか否かを判断する。
【０１０６】
係数設定部２２は、差分積分値が閾値Ｔｈ１以上の場合に原画像との乖離が発生しそうであると判断する。そして、式（１）のフィルター係数αｎを調整してＩＩＲの出力を追従させる。係数設定部２２について、以下に図４〜図５を用いて説明する。なお、図１〜図３と同じ要素には同じ符号を付しており説明を省略する。
【０１０７】
図４は、係数設定部とＩＩＲの構成を説明するための図である。垂直ＩＩＲ３１、水平ＩＩＲ３２は、本実施形態において物理的に同じ回路であり、処理に応じてｘ（ｎ）、ｙ（ｎ）に適当な信号が割り当てられるものとする。
【０１０８】
つまり、図２（Ｂ）、図３も参照して説明すると、垂直方向の処理をする場合にはＩＩＲフィルターは垂直ＩＩＲ３１であり、ｘ（ｎ）には注目画素の入力画素値２００Ａが、ｙ（ｎ）には画素値２３１が対応する。そして、水平方向の処理をする場合には、ＩＩＲフィルターは水平ＩＩＲ３２であり、ｘ（ｎ）には画素値２４１が、ｙ（ｎ）には画素値２３２が対応する。なお、前記のように本実施形態の係数設定部２２は、垂直ＩＩＲ３１用の係数設定部と水平ＩＩＲ３２用の係数設定部とを独立に含んでいる（図示せず）。しかし、それぞれの構成および演算処理は同じであるため、図４のように重複を避けて図示して説明を行う。
【０１０９】
図４の垂直ＩＩＲ３１（又は、水平ＩＩＲ３２）は、加算器６０、６１および乗算器６５によって、前記の式（１）の演算を行う。ここで、乗算器６５が用いる係数１−αｎは係数設定部２２から与えられる。また、遅延回路７０によってｙ（ｎ−１）を得ることができる。遅延回路７０、および係数設定部２２の遅延回路７１は、具体的にはレジスター等で構成される。
【０１１０】
係数設定部２２は、加算器６２によって、差分値２６２を得る。加算器６２には、それぞれ遅延回路７０、７１からの出力であるｙ（ｎ−１）とｘ（ｎ−１）が入力される。ただし、ｘ（ｎ−１）の符号は反転するものとする。差分値２６２は、サンプリングタイミングｎ−１における、垂直ＩＩＲ３１（又は、水平ＩＩＲ３２）のフィルター処理前後の画素値の差分である。
【０１１１】
係数設定部２２は、差分値２６２を積分器５０によって積分する。積分とは例えば累積加算である。そして、積分器５０は差分積分値２５０を出力する。差分積分値２５０は、各サンプリングタイミングにおける原画像との差を表す差分値２６２を積分したものであり、原画像との乖離の度合いを表すものである。その値は、例えば注目画素がエッジ部分にある場合には急激に増加するので、原画像における局所的な特徴を把握することができる。
【０１１２】
そして、係数設定部２２は、第１の比較器５２で差分積分値２５０と閾値Ｔｈ１とを比較する。係数設定部２２は、差分積分値２５０が閾値Ｔｈ１以上の場合に原画像との乖離が生じていると判断し、フィルター係数αｎを調整して実効タップ長を減らして、垂直ＩＩＲ３１（又は、水平ＩＩＲ３２）の出力を追従させる。
【０１１３】
図４のように、係数設定部２２のカウンター５４は、第１の比較器５２からの比較信号２５２に基づいて、フィルター係数αｎを定める。カウンター５４は、例えば４ビット幅のカウンターであって、カウント値の逆数をフィルター係数αｎとする。本実施形態では、カウンター５４はカウント値“１／αｎ”を出力して、係数テーブル５６で変換した“１−αｎ”を垂直ＩＩＲ３１（又は、水平ＩＩＲ３２）に与える。
【０１１４】
カウンター５４は、比較信号２５２に基づいて、差分積分値２５０が閾値Ｔｈ１未満である場合にカウント値をインクリメントする。ただし、上限値に達している場合には、差分積分値２５０が閾値Ｔｈ１未満であってもカウント値は変動しない。上限値は、４ビット幅のカウンターである場合、例えば９〜１１といった値でもよい。上限値は、ＩＩＲのフィルター処理の効果、および実効タップ長の増加による演算精度を鑑みて設定される。
【０１１５】
カウンター５４は、差分積分値２５０が閾値Ｔｈ１以上である場合に、カウント値を強制的に固定値（例えば２又は３）に変化させる。カウント値が小さい値に変化させることは、ＩＩＲの実効タップ長を小さくすることを意味する。差分積分値２５０が閾値Ｔｈ１以上である場合には、原画像との乖離が生じているとして、ＩＩＲの実効タップ長を小さくして出力が追従するように調整する。
【０１１６】
なお、カウンター５４は、差分積分値２５０が閾値Ｔｈ１以上である場合に、カウント値をデクリメントさせるようにしてもよい。また、固定値に変化させる場合でも、段階的に変化させてもよい。例えば、最初に差分積分値２５０が閾値Ｔｈ１以上となった場合はカウント値を７にする。それでも、差分積分値２５０が閾値Ｔｈ１以上となる場合は、カウント値を５にする。そして、最終的には２にする、といった手法をとってもよい。
【０１１７】
なお、カウンター５４に制御信号２２０によって注目画素が急峻なエッジ部分に含まれる旨が伝えられた場合には、カウンター５４はカウント値を１にして、フィルターの係数を初期化してもよい（αｎ＝１、式（３）参照）。このとき、ＩＩＲの出力は使用されないため、係数設定部２２は前記の動作を停止してもよい。
【０１１８】
ここで、比較信号２５２は、色成分毎の閾値Ｔｈ１と比較結果を反映したものであってもよい。図５は、積分器５０および第１の比較器５２の構成の詳細を表すものであって、図４の領域５８に対応する。ここで、入力画素値２００はＹ、Ｃｂ、Ｃｒの色成分を有しており、その演算結果である差分値２６２も同様の色成分を有するとする。積分器５０は、それぞれＹ成分、Ｃｂ成分、Ｃｒ成分用の積分器であるＹ成分積分器５０Ｙ、Ｃｂ成分積分器５０Ｃｂ、Ｃｒ成分積分器５０Ｃｒを含むとする。
【０１１９】
本実施形態では、差分値２６２は色成分毎（２６２Ｙ、２６２Ｃｂ、２６２Ｃｒ）に、これらの積分器（５０Ｙ、５０Ｃｂ、５０Ｃｒ）にそれぞれ入力されて、色成分毎に積分（例えば累積加算）される。そして、差分積分値２５０は色成分毎の差分積分値（２５０Ｙ、２５０Ｃｂ、２５０Ｃｒ）から成り、第１の比較器５２に入力される。
【０１２０】
第１の比較器５２は、それぞれＹ成分、Ｃｂ成分、Ｃｒ成分用の比較器であるＹ成分比較器５２Ｙ、Ｃｂ成分比較器５２Ｃｂ、Ｃｒ成分比較器５２Ｃｒを含むとする。これらの比較器は、それぞれ色成分毎の差分積分値（２５０Ｙ、２５０Ｃｂ、２５０Ｃｒ）を受け取り、閾値Ｔｈ１と比較する。そして、差分積分値が閾値Ｔｈ１以上である場合に‘１’となる色成分毎の比較信号（２５２Ｙ、２５２Ｃｂ、２５２Ｃｒ）の論理和５１の出力を第１の比較器５２からの比較信号２５２とする。
【０１２１】
このような色成分毎の比較を行うことで、いずれかの色成分でのみ原画像との乖離がある場合を検出することができる。なお、フィルター係数αｎについては、色成分毎でなく共通のものが用いられる。色成分毎にフィルター係数αｎがある場合には、色ずれといった問題を生じるからである。
【０１２２】
１．７．合成部でのブレンド
合成部４０は、出力画素値２０２を生成する。このとき、通常はＩＩＲの出力を出力画素値２０２とするが、原画像との乖離が生じて出力画像が不自然になるおそれがある場合、ＦＩＲの出力とのブレンドを行ったり、ＦＩＲの出力だけを使用するように切り換えたりする。合成部４０（具体的には垂直合成部４１、水平合成部４２）について、以下に図６を用いて説明する。なお、図１〜図５と同じ要素には同じ符号を付しており説明を省略する。
【０１２３】
図６は、垂直合成部４１、水平合成部４２の構成を説明するための図である。垂直合成部４１、水平合成部４２は、本実施形態において物理的に同じ回路であり、処理に応じてｙ（ｎ）、ｗ（ｎ）、ｇ（ｎ）に適当な信号が割り当てられるものとする。
【０１２４】
つまり、図２（Ｂ）、図３も参照して説明すると、垂直方向の処理をする場合には垂直合成部４１であり、ｙ（ｎ）には画素値２３１が、ｗ（ｎ）には注目画素の入力画素値２００Ａが、ｇ（ｎ）には画素値２４１が対応する。そして、水平方向の処理をする場合には水平合成部４２であり、ｙ（ｎ）には画素値２３２が、ｗ（ｎ）には２次元ＦＩＲ３４の出力である画素値２３４が、ｇ（ｎ）には出力画素値２０２が対応する。
【０１２５】
図６のように、垂直合成部４１（又は、水平合成部４２）の合成回路４３は、制御信号２２０および比較信号２８２に基づいて、出力信号ｇ（ｎ）を入力信号ｙ（ｎ）、ｗ（ｎ）をブレンド（一方の選択を含む）して生成する。
【０１２６】
第２の比較器８２は、色成分毎に第２の閾値Ｔｈ２、および第３の閾値Ｔｈ３と比較する比較器８２Ｙ、８２Ｃｂ、８２Ｃｒを含み、構成は第１の比較器５２（図５参照）と同様である。ここでは、重複説明を避けるために詳細な説明を省略する。
【０１２７】
垂直合成部４１（又は、水平合成部４２）は、差分積分値２５０が第２の閾値Ｔｈ２以上である場合、ＩＩＲのフィルター係数αｎを変更してもなお原画像との乖離が生じるものと判断する。このとき、合成回路４３は、入力信号ｙ（ｎ）、ｗ（ｎ）を所定の比率（例えば、共に５０％）でブレンドして出力信号ｇ（ｎ）を生成する。
【０１２８】
垂直合成部４１（又は、水平合成部４２）は、差分積分値２５０が第３の閾値Ｔｈ３以上である場合、注目画素は急峻なエッジ部分に含まれており、原画像と非常に大きな乖離が生じるものと判断する。このとき、合成回路４３は、入力信号ｗ（ｎ）を出力信号ｇ（ｎ）として出力する。なお、処理の効率のため、差分積分値２５０と第３の閾値Ｔｈ３との比較を、第２の閾値Ｔｈ２との比較よりも優先して行うことが好ましい。
【０１２９】
比較信号２８２は、差分積分値２５０と第２の閾値Ｔｈ２、および第３の閾値Ｔｈ３との比較結果を表す２ビットの信号であってもよい。例えば、比較信号２８２が“１１ｂ”であれば差分積分値２５０が第３の閾値Ｔｈ３以上であり、“０１ｂ”であれば差分積分値２５０が第３の閾値Ｔｈ３未満かつ第２の閾値Ｔｈ２以上であり、“００ｂ”であれば差分積分値２５０が第２の閾値Ｔｈ２未満であってもよい。
【０１３０】
ここで、第１の比較器５２（図５参照）で用いる第１の閾値Ｔｈ１と、第２の比較器８２で用いる第２の閾値Ｔｈ２、および第３の閾値Ｔｈ３との間には式（８）のような関係があるとする。
【０１３１】
【数６】
【０１３２】
合成回路４３は、制御信号２２０を受け取り、注目画素が急峻なエッジ部分に含まれる場合には、入力信号ｗ（ｎ）を出力信号ｇ（ｎ）として出力する。なお、制御信号２２０に基づく処理は、比較信号２８２に基づく処理よりも優先される。
【０１３３】
１．８．出力画素値
以上のように、本実施形態のノイズ除去装置は、ＩＩＲを主体として小さい回路規模でノイズを効果的に除去すると共に、画像のにじみ、ぼやけ等を効果的に抑制する。また、原画像との乖離が生じる場合には、ＦＩＲを併用して、ＦＩＲとＩＩＲの出力を適切にブレンドする。このとき、画像のにじみ、ぼやけ等を効果的に抑制するだけでなく、特性の異なる２つのフィルターの出力を用いても最終的に自然でメリハリのある画像を生成することを可能にする。
【０１３４】
出力画素値の生成についてまとめると以下の通りである。（１）グラデーション等のなだらかな領域では、ＩＩＲの出力が用いられる。（２）エッジ検出部によって急峻なエッジ領域であると判断された場合は、ＦＩＲの出力が用いられる（閾値Ｔｈｅを用いた判断）。（３）その中間の領域では、（３−１）まず、係数設定部によってＩＩＲのフィルター係数が調整される（閾値Ｔｈ１を用いた判断）。（３−２）合成部が第２の閾値Ｔｈ２を用いた比較の結果として原画像との乖離が生じそうな場合には、ＩＩＲとＦＩＲの出力がブレンドされる。（３−３）合成部が第３の閾値Ｔｈ３を用いた比較の結果として原画像との乖離が生じそうな場合には、ＦＩＲの出力が用いられる。
【０１３５】
ここで、異なる特性のフィルターを単純に、かつ頻繁に切り換えると、例えば擬似輪郭等が発生するといった問題が生じる。本実施形態では、ＩＩＲのフィルター係数を新たに設定してもなお原画像との乖離が生じるような場合に限って、ＦＩＲの出力をブレンドするので、このような問題は生じにくい。また、出力される画像は局所的な特徴も考慮したフィルター処理がなされているので、自然でメリハリのある画像を生成することを可能にする。
【０１３６】
なお、前記の（３−２）の場合には、式（８）の関係から差分積分値は第１の閾値Ｔｈ１以上である。よって、ブレンドされるＩＩＲの出力は、そのフィルター係数αｎが固定（例えば１／２）された場合の出力となる。すなわち、実効タップ長の小さいＩＩＲが用いられている。
【０１３７】
ここで、本実施形態のノイズ除去装置１０は、ＩＩＲのフィルター係数αｎを適切に調整するために様々なデータを用いる。そこで、ノイズ除去装置１０は、例えばラインメモリーを含み、閾値との比較結果を示す制御信号２２０（図３参照）、比較信号２５２（図４参照）、比較信号２８２（図６参照）を保持してもよい。また、差分積分値２５０（図４参照）や、ＩＩＲのフィルター処理を実行する前後の画素値や、フィルター係数αｎ自体も保持してもよい。
【０１３８】
このような構成は、特に水平処理、垂直処理で独立したフィルターを持つような場合に有用である。また、ラインメモリーに保持されたデータが外部からアクセス可能であれば、使用者は容易に状態を確認することが可能になる。
【０１３９】
２．変形例
本実施形態の変形例について図７を参照して説明する。なお、図１〜図６と同じ要素には同じ符号を付しており説明を省略する。
【０１４０】
図７は、変形例のノイズ除去装置１０Ａのブロック図である。第１実施形態（図３参照）の場合と異なり、フィルター部３０Ａに含まれるＦＩＲは、垂直ＦＩＲフィルター３５と、水平ＦＩＲフィルター３６に分離されている。そのため、垂直合成部４１、水平合成部４２は、それぞれ垂直ＦＩＲフィルター３５、水平ＦＩＲフィルター３６の出力である画素値２３５、画素値２３６を受け取る。
【０１４１】
ＦＩＲについても、垂直方向の処理と、水平方向の処理とに分離することで、フィルターの回路規模を抑えることができる。なお、その他の構成については、第１実施形態と同じであり、説明を省略する。
【０１４２】
３．適用例
本発明の電子機器への適用例について図８〜図９を参照にして説明する。図８は適用例に係る電子機器１のブロック図である。電子機器１は、ＣＰＵ２、入力部３、記憶部４、表示部５、画像処理部６を含む。画像処理部６は、ノイズ除去の他に、例えば符号化などの画像処理を行う。そして、画像処理部６は、第１実施形態のノイズ除去装置１０又は変形例のノイズ除去装置１０Ａに対応するノイズ除去回路１０Ｂを、その一部として含んでいる。
【０１４３】
ＣＰＵ２は、他のブロックを制御し様々な演算や処理を行う。ＣＰＵ２は、例えば記憶部４からプログラムを読み込み、プログラムに従ってノイズ除去回路１０Ｂにノイズ除去を実行させてもよい。
【０１４４】
入力部３は、電子機器１の内部又は外部からデータなどを受け取る。入力部３は、例えば入力画像のデータを受け取り、ノイズ除去回路１０Ｂが受け取るのに適したフォーマットの画素値へと変換してもよい。
【０１４５】
記憶部４は、例えばＤＲＡＭやＳＲＡＭなどのメモリーであってもよいし、ＲＯＭを含んでいてもよい。ＣＰＵ２が使用するプログラムは、例えば記憶部４が含むＲＯＭに書かれていてもよい。
【０１４６】
表示部５は、ノイズ除去回路１０Ｂでノイズを除去した画像を出力するためのものである。例えばＬＣＤや電気泳動表示装置であってもよい。
【０１４７】
例えば電子機器１において、ＣＰＵ２はリセット後にプログラムを記憶部４から読み込み、コマンドによって画像処理部６に画像処理を自動実行させる。このとき、ノイズ除去回路１０Ｂによってノイズが除去された、自然な画像が表示部５に出力される。
【０１４８】
図９（Ａ）に、電子機器１の１つであるパーソナルコンピューター９７０の外観図の例を示す。このパーソナルコンピューター９７０は、表示部５として写真、動画などの画像を表示するＬＣＤ９７５を備える。パーソナルコンピューター９７０がノイズ除去回路１０Ｂを含むことで、ノイズを除去したきれいな画像をＬＣＤ９７５に表示することができる。
【０１４９】
図９（Ｂ）に、電子機器１の１つであるプロジェクター９８０の外観図の例を示す。このプロジェクター９８０は、表示部５に対応する投影部９８５からスクリーン９８９に画像を拡大して表示する。このとき、画像は拡大されるため、ノイズが含まれていると非常に目立つ。プロジェクター９８０がノイズ除去回路１０Ｂを含むことで、ノイズを除去したきれいな画像を投影することが可能になる。
【０１５０】
本実施形態のノイズ除去装置は、これらの例に限らず、画像を表示させる様々な電子機器に適用可能である。いずれの場合にも、ノイズ除去を行いながらも、自然でメリハリのある画像表示を行う電子機器を提供できる。
【０１５１】
４．その他
これらの例示に限らず、本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【０１５２】
１…電子機器、２…ＣＰＵ、３…入力部、４…記憶部、５…表示部、６…画像処理部、１０，１０Ａ，１０Ｂ…ノイズ除去装置（ノイズ除去回路）、２０…エッジ検出部、２２…係数設定部、３０，３０Ａ…フィルター部、３１…垂直ＩＩＲフィルター、３２…水平ＩＩＲフィルター、３４…２次元ＦＩＲフィルター、３５…垂直ＦＩＲフィルター、３６…水平ＦＩＲフィルター、３７…第１のフィルター、３８…第２のフィルター、４０…合成部、４１…垂直合成部、４２…水平合成部、４３…合成回路、５０，５０Ｙ，５０Ｃｂ，５０Ｃｒ…積分器、５１…論理和、５２，５２Ｙ，５２Ｃｂ，５２Ｃｒ…（第１の）比較器、５４…カウンター、５６…係数テーブル、５８…領域、６０，６１，６２…加算器、６５…乗算器、７０，７１…遅延回路、８１…論理和、８２，８２Ｙ，８２Ｃｂ，８２Ｃｒ…（第２の）比較器、２００，２００Ａ…入力画素値、２０２…出力画素値、２２０…制御信号、２２２…係数、２３０，２３１，２３２，２３４，２３５，２３６，２３７，２３８，２４１…画素値、２５０，２５０Ｙ，２５０Ｃｂ，２５０Ｃｒ…差分積分値、２５２，２５２Ｙ，２５２Ｃｂ，２５２Ｃｒ，２８２Ｙ，２８２Ｃｂ，２８２Ｃｒ…比較信号、２６２，２６２Ｙ，２６２Ｃｂ，２６２Ｃｒ…差分値、２８２…比較信号、３００…原画像、３０２，３０４…領域、９７０…パーソナルコンピューター、９７５…ＬＣＤ、９８０…プロジェクター、９８５…投影部、９８９…スクリーン
【技術分野】
【０００１】
本発明は、ノイズ除去装置、電子機器等に関する。
【背景技術】
【０００２】
データからノイズや不要な高周波成分等を取り除く手段として、フィルター装置が広く用いられている。フィルター装置としては、ＩＩＲ（Infinite Impulse Response）フィルターやＦＩＲ（Finite impulse response）フィルターなどの構成が一般的に知られている。
【０００３】
何れのフィルター装置（以下、フィルター）にもそれぞれ特徴があるが、ＩＩＲフィルター（以下、単にＩＩＲとも表現する）は、フィルターを構成する遅延手段などの規模を小さくできることから、特に小型化および低消費電力化を目的として多く用いられている。一方、ＦＩＲフィルター（以下、単にＦＩＲとも表現する）は、オープンループなため不安定極がなく、高域処理等も容易である。
【０００４】
ここで、特許文献１の発明ではＩＩＲを用いてノイズ除去を行っている。このとき、係数を可変とすることで、分散（ゆらぎ）の大きい入力データに対しても、高速に遅延手段に記憶される値を入力データの平均値程度に収束させる。つまり、ＩＩＲで遅延手段に記憶される値を、高速に入力値に応じた値に収束させるための工夫を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１４２８９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に開示されているＩＩＲは、平均値程度に収束させるという固定的な特性を有する。そのため、局所的な特徴に応じて係数を可変とする機構を備えているわけではない。画像データに適用した場合、エッジ部分（局所的な特徴に対応）がにじんだり、ぼやけたりして、かえって不自然な出力画像になる可能性がある。
【０００７】
本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、ＩＩＲを主体として小さい回路規模でノイズを効果的に除去すると共に、画像のにじみ、ぼやけ等を効果的に抑制するノイズ除去装置を提供する。
【０００８】
また、本発明のいくつかの態様によれば、ＦＩＲを併用して、ＦＩＲとＩＩＲの出力を適切にブレンドする。このとき、画像のにじみ、ぼやけ等を効果的に抑制するだけでなく、性質の異なる２つのフィルターの出力を用いても最終的に自然でメリハリのある画像を生成することを可能にする。
【課題を解決するための手段】
【０００９】
（１）本発明は、ノイズ除去装置であって、フィルター部と、前記フィルター部が含むフィルターの係数を設定する係数設定部と、を含み、前記フィルター部は、ＩＩＲフィルターである第１のフィルターを含み、前記係数設定部は、前記第１のフィルターによるフィルター処理が施された注目画素の画素値と、前記フィルター処理が施される前の注目画素の画素値との差分値を求め、前記差分値を積分した値である差分積分値を求め、前記差分積分値と第１の閾値とを比較した結果に基づいて、前記第１のフィルターの係数を設定する。
【００１０】
本発明のノイズ除去装置は、少なくとも第１のフィルターを含むフィルター部と、フィルター部のフィルターの係数を設定する係数設定部とを含む。そして、第１のフィルターはＩＩＲであるので、小さい回路規模でノイズを効果的に除去する。このとき、画像の局所的な特徴に応じて係数を可変とし、画像のにじみ、ぼやけ等を効果的に抑制する。
【００１１】
画像のノイズ除去を行う場合、様々なノイズを除去できることが好ましい。入力される画像にのるノイズは、例えば圧縮伸張に伴って生じるブロックノイズ、諧調ノイズやモスキートノイズ、撮像時等に生じるインパルスノイズ、ホワイトノイズやランダムノイズ等、様々な種類があり得る。
【００１２】
例えばブロックノイズ、階調ノイズについては、入力される画像の広域を見てノイズ除去を行うフィルターが効果的である。ここで、ＦＩＲを用いると、広域の画素値を保存する多くのメモリーを必要とする。そのため、本発明のノイズ除去装置は、回路規模を抑えつつ実効的なタップ長を大きくできるＩＩＲを使用する。
【００１３】
ここで、ＩＩＲを画像全体に一律に適用した場合には、にじみ、ぼやけ、擬似輪郭といった画質を低下させる効果を生じる可能性がある。例えば、入力される画像（以下、原画像とも表現する）において、オブジェクトの輪郭等であるエッジ部分にＩＩＲを適用した場合、輪郭があいまいになり、ぼやけてしまう可能性がある。
【００１４】
本発明のノイズ除去装置の係数設定部は、注目画素の画素値と、ＩＩＲでフィルター処理された注目画素の画素値との差分値を求め、その差分値を積分した値である差分積分値を求める。そして、差分積分値によって、原画像とＩＩＲでフィルター処理された画像とが乖離しそうか否かを判断する。具体的には、差分積分値が第１の閾値以上の場合には、原画像からの乖離が生じると判断する。
【００１５】
先の例では、注目画素が原画像におけるエッジ部分に含まれる場合、差分積分値の値が大きく上昇する。このとき、係数設定部は、第１の閾値との比較によって、ＩＩＲでフィルター処理された画素値に基づく画像が原画像から乖離しそうであると判断できる。そして、新たなフィルター係数を設定して、例えばＩＩＲの実効タップ長を縮めることにより、画像がぼやけてしまうことを回避できる。
【００１６】
このように、本発明のノイズ除去装置は、ＩＩＲの出力を係数設定部にフィードバックすることで、局所的な特徴に応じたフィルター係数の設定を可能にする。このとき、例えば原画像のなだらかな領域については、広域を見て効果的なノイズ除去を行うことが可能である。なお、差分値を積分するとは、差分値の累積加算を行うことであってもよい。
【００１７】
（２）このノイズ除去装置において、前記フィルター部が含む複数のフィルターの出力をブレンドして出力画素値を生成する合成部、を含み、前記合成部は、前記係数設定部から前記差分積分値を受け取り、前記差分積分値と第２の閾値とを比較した結果に基づいて、前記出力画素値を生成してもよい。
【００１８】
（３）このノイズ除去装置において、前記フィルター部は、ＦＩＲフィルターである第２のフィルターを含み、前記合成部は、前記差分積分値が前記第２の閾値よりも小さければ、前記第１のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値とし、前記差分積分値が前記第２の閾値以上であれば、前記第１のフィルターによるフィルター処理が施された注目画素の画素値と、前記第２のフィルターによるフィルター処理が施された注目画素の画素値とを、所定の比率でブレンドして前記出力画素値としてもよい。
【００１９】
これらの発明のノイズ除去装置は合成部を含む。合成部は、ＩＩＲでフィルター処理された画素値と、他のフィルターでフィルター処理された画素値とをブレンドして出力画素値を生成することができる。そのため、ＩＩＲのフィルター係数を新たに設定しても原画像との乖離が生じるような場合に、他のフィルターの出力をブレンドして、にじみ、ぼやけ、擬似輪郭の発生を抑制し、自然でメリハリのある出力画素値を生成できる。
【００２０】
合成部は、係数設定部から差分積分値を受け取り、差分積分値が第２の閾値以上の場合には、原画像からの乖離が生じると判断する。このとき、第２の閾値を第１の閾値よりも大きく設定することが好ましい。ＩＩＲのフィルター係数を新たに設定してもなお原画像との乖離が生じるような場合に限って他のフィルターの出力をブレンドするので、異なる特性のフィルターを単純に、かつ頻繁に切り換える際に生じる擬似輪郭等の発生を抑えることができる。
【００２１】
ここで、ブレンドは、例えばαブレンドであってもよい。αブレンドによるブレンド値は、ＩＩＲでフィルター処理された画素値をＡ、他のフィルターでフィルター処理された画素値をＢとすると、αＡ＋（１−α）Ｂで与えられる。なお、αは、０以上、１以下の実数であり、ブレンドの割合を示す。
【００２２】
また、他のフィルターとは、フィルター部が含む第２のフィルターであってもよい。第２のフィルターはＦＩＲであってもよい。ＦＩＲは画像の局所的な特徴を見て適応的なフィルター処理が可能である。ＦＩＲの１種であるεフィルターは、例えばエッジ部分に生じるモスキートノイズ等を、エッジ成分を保存しつつ効果的に除去できる。
【００２３】
合成部は、差分積分値が第２の閾値以上であれば、第１のフィルターによるフィルター処理が施された注目画素の画素値と、第２のフィルターによるフィルター処理が施された注目画素の画素値とを、所定の比率（例えば、上記のα＝０．５）でブレンドして出力画素値としてもよい。このとき、例えばモスキートノイズ等を効果的に除去したＦＩＲの出力をブレンドするので、原画像からの乖離を抑えつつ、自然でメリハリのある出力画素値を生成できる。
【００２４】
なお、合成部は、差分積分値が第２の閾値よりも小さければ、第１のフィルターによるフィルター処理が施された注目画素の画素値を出力画素値とする。
【００２５】
（４）このノイズ除去装置において、前記合成部は、前記第２の閾値よりも大きい第３の閾値と、前記差分積分値との比較を行い、前記差分積分値が前記第３の閾値以上であれば、前記第２のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値としてもよい。
【００２６】
本発明によれば、合成部は、第２の閾値よりも大きい第３の閾値と、差分積分値とを比較する。このとき、第３の閾値と差分積分値との比較を、第２の閾値と差分積分値との比較よりも優先的に行ってもよい。そして、差分積分値が第３の閾値以上であれば、ＦＩＲである第２のフィルターによるフィルター処理が施された注目画素の画素値を出力画素値とする。
【００２７】
そのため、原画像からの乖離が非常に大きいと判断される場合には、合成部は、にじみ、ぼやけ、擬似輪郭の発生を抑制するために、ＦＩＲでフィルター処理された画素値を出力画素値とすることができる。
【００２８】
このとき、係数設定部は、第１のフィルターの係数を初期化してもよい。ここで、初期化とはＩＩＲの過去のデータを破棄することを意味する。例えば、サンプリングタイミングｎの出力Ｙ（ｎ）が、Ｙ（ｎ）＝αｎ＊Ｘ（ｎ）＋（１−αｎ）＊Ｙ（ｎ−１）で表される場合、係数設定部はαｎ＝１として初期化を行う。なお、Ｘ（ｎ）はサンプリングタイミングｎの入力データであって、このとき、出力Ｙ（ｎ）はＸ（ｎ）のみで決定される。
【００２９】
（５）このノイズ除去装置において、入力された原画像の画素値である入力画素値に基づいて、エッジ検出を行うエッジ検出部を含み、前記合成部は、前記エッジ検出部から前記注目画素が前記原画像のエッジを構成することを表す信号を受け取った場合、前記第２のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値としてもよい。
【００３０】
本発明によれば、入力画素値に基づいて注目画素がエッジ部分に含まれるか否かを判断するエッジ検出部を含む。そして、エッジ検出部によって注目画素がエッジ部分に含まれると判断された場合、合成部は、差分積分値が第３の閾値以上であった場合と同様に、第２のフィルターの出力を出力画素値とする。
【００３１】
エッジ検出部は、入力画素値のみに基づいて判断が可能である。そして、差分積分値と第１〜第３の閾値との比較よりも前に、エッジ検出部の判断を係数設定部、合成部に伝えることができる。そのため、本発明のノイズ除去装置は、必要な演算以外を行わない効率的な出力画素値の生成が可能になる。
【００３２】
なお、入力画素値とは１つの画素の画素値に限らず、例えば注目画素を中心とする３×３の画素領域の画素値の入力であってもよい。また、３×３に限らず、５×５、又はその他の画素領域であってもよい。このとき、処理ブロックやフィルター毎に、複数の画素値から必要な画素値を選択して使用してもよい。
【００３３】
（６）このノイズ除去装置において、前記フィルター部は、同じ注目画素について、多段階に前記第１のフィルターによるフィルター処理を施してもよい。
【００３４】
（７）このノイズ除去装置において、前記フィルター部は、少なくとも垂直方向、水平方向の２段階で、前記第１のフィルターによるフィルター処理を施してもよい。
【００３５】
これらの発明では、同じ注目画素について、多段階に第１のフィルターによるフィルター処理を施す。そのため、フィルターの回路規模を抑えることが可能である。ここで、多段階とは、例えば垂直方向、水平方向の２段階であってもよい。また、フレームバッファーを有する場合には、フレーム間でのフィルター処理を加えてもよい。
【００３６】
（８）このノイズ除去装置において、前記フィルター部は、前記第１のフィルターとして下記式（１）を満たすＩＩＲフィルターを含んでもよい。
【００３７】
【数１】
【００３８】
但し、ｙ（ｎ）は、サンプリングタイミングｎにおける出力であり、ｘ（ｎ）は、サンプリングタイミングｎにおける入力であり、αｎは、フィルター係数であり、ｙ（ｎ−１）は、サンプリングタイミングｎ−１における出力である。
【００３９】
（９）このノイズ除去装置において、前記係数設定部は、前記差分積分値と前記第１の閾値との比較結果に基づいて、前記差分積分値が前記第１の閾値未満である回数をカウントするカウンターを含み、前記式（１）のフィルター係数αｎを、前記カウンターのカウント値の逆数としてもよい。
【００４０】
（１０）このノイズ除去装置において、前記係数設定部は、前記差分積分値と前記第１の閾値との比較を色成分の各々について行ってもよい。
【００４１】
これらの発明によれば、式（１）に従う回路規模の小さなＩＩＲによって、画像の局所的な特徴に応じて係数を可変とし、画像のにじみ、ぼやけ等を効果的に抑制することができる。
【００４２】
また、係数設定部が計算するフィルター係数は式（１）のαｎだけであり、係数設定部の回路規模も小さく抑えることができる。係数設定部は、差分積分値が第１の閾値未満である回数をカウントするカウンターを含み、カウント値の逆数をαｎとしてもよい。このとき、簡単な構成のカウンターを用いることで、回路規模抑制の効果を高めることができる。
【００４３】
ここで、色成分毎に差分積分値と第１の閾値とが比較されることで、いずれかの色成分でのみ原画像との乖離がある場合を検出することができる。なお、比較は色成分毎が好ましいが、原画像との乖離があった場合に設定する新たなフィルター係数αｎは、色ずれ等の発生を回避するために全色成分で共通であることが好ましい。
【００４４】
（１１）このノイズ除去装置において、前記カウンターは、前記式（１）のフィルター係数αｎに上限値を設定してもよい。
【００４５】
本発明によれば、ＩＩＲの効果、および実効タップ長の増加による演算精度を鑑みて、フィルター係数αｎに上限値を設定する。αｎの上限値は入力される画像に依存性があるが、例えば、１／９、１／１１、又は１／１５といった値でもよい。
【００４６】
（１２）本発明は、前記のいずれかに記載のノイズ除去装置を含む電子機器である。
【００４７】
本発明によれば、ＩＩＲを主体として小さい回路規模でノイズを効果的に除去すると共に、画像のにじみ、ぼやけ等を効果的に抑制するノイズ除去装置を含む電子機器を提供することができる。ここで、電子機器に含まれるノイズ除去装置は、ノイズ除去回路といったハードウェアであってもよいし、ソフトウェアでノイズ除去の機能が実現されてもよい。
【図面の簡単な説明】
【００４８】
【図１】第１実施形態のノイズ除去装置のブロック図。
【図２】図２（Ａ）は画像を例示した図。図２（Ｂ）は入力画素値を例示した図。
【図３】第１実施形態のノイズ除去装置の詳細ブロック図。
【図４】第１実施形態の係数設定部とフィルター部を説明するための図。
【図５】第１実施形態の積分器と第１の比較器を説明するための図。
【図６】第１実施形態の合成部を説明するための図。
【図７】変形例のノイズ除去装置の詳細ブロック図。
【図８】適用例の電子機器のブロック図。
【図９】図９（Ａ）は電子機器の例であるパーソナルコンピューターの図。図９（Ｂ）は電子機器の例であるプロジェクターの図。
【図１０】図１０（Ａ）はブロックノイズを説明するための図。図１０（Ｂ）はフィルター処理によるノイズ除去を説明するための図。
【発明を実施するための形態】
【００４９】
以下、本発明の実施形態について図面を参照して説明する。
【００５０】
１．第１実施形態
本発明の第１実施形態について図１〜図６および図１０を参照して説明する。
【００５１】
１．１．ノイズ除去装置の概要
図１は本実施形態のノイズ除去装置１０の概要を表すブロック図である。図１では、ノイズ除去装置１０の主要な機能ブロックのみを図示しており、詳細なブロック図については後述する。
【００５２】
ノイズ除去装置１０は、係数設定部２２、フィルター部３０、合成部４０を含む。フィルター部３０はＩＩＲである第１のフィルター３７と、ＦＩＲである第２のフィルター３８を含む。
【００５３】
ノイズ除去装置１０は、入力された原画像の画素値である入力画素値２００を受け取って、出力画素値２０２を生成する。ここで、原画像のデータは走査によって注目画素を変化させながらノイズ除去装置１０に入力される。本実施形態の入力画素値２００は、注目画素の画素値を含む複数の画素値で構成されているものとする。また、出力画素値２０２はフィルター処理でノイズを除去した後の注目画素の画素値であるとする。
【００５４】
フィルター部３０は、少なくとも第１のフィルター３７を含む。第１のフィルター３７は、ノイズ除去装置１０における主要なフィルターであって、小さい回路規模でノイズを効果的に除去できるＩＩＲである。例えば、原画像におけるブロックノイズ、量子化ノイズ、諧調ノイズ等は、原画像の広い領域を見てノイズ除去を行うことが好ましい。ＩＩＲは、フィードバックを取り入れて、現実の遅延手段などの規模が小さくても、実効的なタップ長（実効タップ長）の大きい平滑化フィルターを実現できる。
【００５５】
例えば、図１０（Ａ）は、ブロックノイズを含む原画像３００の図である。小さな丸印は画素に対応し、原画像３００は水平方向にＮ画素、垂直方向にＭ画素を含む。このとき、圧縮処理の単位として例えば８×８のブロックサイズが使用され、図１０（Ａ）のＢ０、Ｂ１で示す部分等にブロックノイズが生じるとする。
【００５６】
図１０（Ｂ）は、図１０（Ａ）の領域３０４に含まれる画素の画素値の輝度Ｙを、画素順ｎに対応させて並べたものである。なお、実際にはデータは離散的であるが、分かりやすさのために連続的に表示している。原画像では、図１０（Ｂ）のｘ（ｎ）のように図１０（Ａ）のＢ０、Ｂ１に対応する部分で輝度Ｙのギャップが生じている。つまり、ブロックノイズが発生している。
【００５７】
図１０（Ｂ）のｙ（ｎ）は、ＩＩＲによるフィルター処理（平滑化）の結果を表している。このとき、ブロックノイズが消え、なめらかなグラデーションが得られる。つまり、ノイズのない、自然な出力画像が得られる。
【００５８】
ここで、固定のブロックサイズを用いる圧縮処理が行われた原画像だけが入力されるならば、ブロックノイズの発生位置は既知である。このとき、例えば３×３の局所的な領域の画素値を入力するＦＩＲでもノイズ除去は可能である（図１０（Ａ）の領域３０２参照）。
【００５９】
しかしながら、ノイズ除去装置としての使い勝手を向上させるには、様々な種類の原画像の入力が可能であることが好ましい。例えば、Ｈ．２６４では可変ブロックサイズを採用しており、ブロックノイズの発生位置はデコーダーから情報を得る手段がない限りは画像に依存し不明である。そのため、ＩＩＲを用いて、原画像の広い領域を見てノイズ除去を行うことが好ましい。よって、本実施形態のノイズ除去装置１０は、ＩＩＲ（第１のフィルター３７）を主体としたフィルター処理を行う。
【００６０】
ここで、第１のフィルター３７が、例えば平均値程度に収束させるという固定的な特性である場合、エッジ部分等までも平滑化して、かえって不自然な出力画像を生成する可能性がある。
【００６１】
本実施形態のノイズ除去装置１０では、係数設定部２２が原画像の局所的な特徴に応じて、第１のフィルター３７の係数２２２の設定を行う。そのため、特性は固定的にならず、例えば原画像との大きな乖離が生じるような場合に過去のデータを破棄（フィードバックの遮断）することも可能であり、自然な出力画像を生成できる。
【００６２】
このとき、係数設定部２２は、第１のフィルター３７によるフィルター処理が施された注目画素の画素値２３７と、フィルター処理が施される前の注目画素の画素値（入力画素値２００の一部）との差分値を求める。そして、係数設定部２２は、その差分値を積分した値である差分積分値に基づいて調整した係数２２２を設定する。このとき、原画像の局所的な特徴を、原画像からの乖離を表す差分積分値から間接的に把握することができ、係数２２２を調整して第１のフィルター３７の特性を変化させることができる。
【００６３】
さらに、本実施形態のノイズ除去装置１０は、出力段に合成部４０を備え、フィルター部３０には第２のフィルター３８を含む。合成部４０は、通常は第１のフィルター３７の出力である画素値２３７を出力画素値２０２とする。
【００６４】
しかし、合成部４０は、係数設定部２２からの差分積分値２５０に基づいて、原画像からの乖離の状態を把握し、必要な場合には第１のフィルター３７の出力である画素値２３７と第２のフィルター３８の出力である画素値２３８とをブレンドして出力画素値２０２とする。このとき、合成部４０は、差分積分値２５０に基づいて、第２のフィルター３８の出力である画素値２３８を出力画素値２０２とすることがあってもよい。
【００６５】
合成部４０は、原画像からの乖離が大きいときに、第２のフィルターの出力である画素値２３８を用いて出力画素値２０２を生成することで、より自然でメリハリのある出力画像が生成されるようにすることができる。
【００６６】
本実施形態では、フィルター部３０は、ＦＩＲである第２のフィルター３８を含む。ＦＩＲは画像の局所的な特徴を見て適応的なフィルター処理が可能である。ＦＩＲは、例えばエッジ部分に生じるモスキートノイズ等を効果的に除去できる。
【００６７】
１．２．第１および第２のフィルター
本実施形態のノイズ除去装置１０では、フィルター部３０はＩＩＲである第１のフィルター３７と、ＦＩＲである第２のフィルター３８を含む。
【００６８】
第１のフィルター３７は、下記式（１）を満たすＩＩＲである。
【００６９】
【数１】
【００７０】
但し、ｙ（ｎ）は、サンプリングタイミングｎにおける出力であり、ｘ（ｎ）は、サンプリングタイミングｎにおける入力であり、αｎは、フィルター係数であり、ｙ（ｎ−１）は、サンプリングタイミングｎ−１における出力である。
【００７１】
図１を参照すると、式（１）のｘ（ｎ）は入力画素値２００のうちの注目画素の画素値が対応する。また、式（１）のｙ（ｎ）は画素値２３７が対応する。本実施形態では、サンプリングタイミングがｎからｎ＋１へと変化すると、走査によって注目画素が隣接する画素（又は次の行の先頭画素）へとシフトする。
【００７２】
ここで、図１の係数設定部２２は、係数２２２として式（１）のフィルター係数αｎを設定する。式（１）からｚ平面上では、第１のフィルター３７は式（２）の応答を持つ。
【００７３】
【数２】
【００７４】
すると、極点が安定極となるようにフィルター係数αｎは０≦αｎ≦１である必要がある。ここで、αｎ＝１の場合、式（１）は式（３）のようになり、過去のデータを破棄することができる。なお、この例に限らず、係数αｎを変更することでＩＩＲの特性を変更することが可能である。
【００７５】
【数３】
【００７６】
一方、第２のフィルター３８は、式（４）〜（６）に従うＦＩＲである。具体的には一種のεフィルターであり、非線形フィルターである。
【００７７】
【数４】
【００７８】
ここで、式（４）のｋは注目画素を中心とする領域における周辺画素を表す番号である。再び、図１を用いて説明すると、本実施形態の入力画素値２００は、注目画素の画素値を含む複数の画素値で構成されている。このとき、ｘ（ｎ）は入力画素値２００のうちの注目画素の画素値が対応する。そして、ｘ（ｎ＋ｋ）は入力画素値２００のうちの注目画素以外の周辺画素の画素値が対応する。また、式（４）のｙ（ｎ）は画素値２３８が対応する。
【００７９】
また、式（４）のβｋは式（６）を満たすローパスフィルタ係数である。ただし、ｔを差分値（ここでは、周辺画素の画素値と注目画素の画素値との差分）として、関数Ｆ（ｔ）は式（５）を満たす。ε１、ε２はともに正の閾値であって、ε１＜ε２を満たす。図１の係数設定部２２によってフィルター係数βｋは動的に変化してもよいが、本実施形態ではβｋは予め定められているものとする。
【００８０】
なお、別の実施形態として、第２のフィルター３８は、｜ｘ（ｎ＋ｋ）−ｘ（ｎ）｜＞ε２となるｋをカウントし、そのカウント値が一定値以上の場合にＦ（ｔ）＝ｔとする非線形フィルターであってもよい。
【００８１】
１．３．入力画素値
本実施形態のノイズ除去装置１０は、原画像のデータを入力画素値２００として受け取る。本実施形態では、第２のフィルター３８が適切な出力を行うために、１つの注目画素だけでなく、その周辺画素の画素値も含めて入力画素値２００として受け取る必要がある。
【００８２】
図２（Ａ）は、原画像３００と注目画素との対応を説明するための図である。原画像３００は水平方向にＮ画素、垂直方向にＭ画素を含む。その画素Ｐｉｊは画素の位置に応じて添え字が付されている。添え字ｉはＭまでの自然数であり垂直方向のｉライン目の画素であることを示す。添え字ｊはＮまでの自然数であり水平方向のｊカラム目の画素であることを示す。なお、図２（Ｂ）では、画素Ｐｉｊの画素値もＰｉｊと表現している。
【００８３】
画素Ｐｉｊの画素値は、例えばＲＧＢそれぞれ６ビットのデータを有する１８ビットデータであってもよいし、Ｇが６ビット、ＲとＢは５ビットのデータを有する１６ビットデータであってもよい。また、本実施形態のようにＹＣｂＣｒなどのデータフォーマットであってもよい。
【００８４】
図２（Ｂ）は、本実施形態のノイズ除去装置１０へと入力される入力画素値２００を説明する図である。例えば、注目画素がＰ３４の場合、Ｐ３４を中心とした３×３の領域の画素（図２（Ａ）の領域３０２）の画素値が入力画素値２００となる。そのうち、注目画素Ｐ３４の画素値を特に入力画素値２００Ａとして区別する。
【００８５】
図２（Ｂ）の例では、メモリーＲＥＧ０〜ＲＥＧ８は図外のクロックに同期して画素値をシフトさせながら、ノイズ除去装置への入力画素値２００を出力する。ラインメモリー１とラインメモリー２は、それぞれ１つ前のライン、２つ前のラインの画素値を保持するラインメモリーである。
【００８６】
この例では注目画素が画素Ｐ３４である場合についてのみ図示しているが、前記のように、図外のクロックに同期して保持される画素値は変化（シフト）する。例えば１クロック後には、ＲＥＧ４には新たに注目画素となったＰ３５の画素値が保持される。
【００８７】
ここで、図２（Ｂ）に図示する例を用いて、第１のフィルター、第２のフィルターへの入力値について説明する。まず、ＩＩＲである第１のフィルターは、式（１）のように１つの画素値ｘ（ｎ）だけを必要とする。つまり、第１のフィルターでは、入力画素値２００のうち、入力画素値２００Ａだけを受け取ってｘ（ｎ）として用いる。
【００８８】
ＦＩＲである第２のフィルターは、式（４）のように、ｘ（ｎ）である注目画素Ｐ３４の入力画素値２００Ａだけでなく、３×３の領域内の周辺画素Ｐ２３、Ｐ２４、Ｐ２５、Ｐ３３、Ｐ３５、Ｐ４３、Ｐ４４、Ｐ４５の画素値をｘ（ｎ＋ｋ）として受け取る必要がある。このとき、式（４）のｋは例えば−４から４までの値であって、ｘ（ｎ−４）がＰ２３の画素値、ｘ（ｎ−３）がＰ２４の画素値、…、ｘ（ｎ＋３）がＰ４４の画素値、ｘ（ｎ＋４）がＰ４５の画素値に対応してもよい。
【００８９】
１．４．ノイズ除去装置の詳細
図３は本実施形態のノイズ除去装置１０の詳細を表すブロック図である。なお、主要なブロックについては図１と同じであり同じ符号を付している。よって、重複する説明は省略する。
【００９０】
本実施形態のノイズ除去装置１０は、図１に記載の係数設定部２２、フィルター部３０、合成部４０の他に、エッジ検出部２０を含む。エッジ検出部２０は、入力画素値２００のみに基づいて注目画素が急峻なエッジ部分に含まれるか否かを判断する。
【００９１】
そして、注目画素が急峻なエッジ部分に含まれる場合には、係数設定部２２や合成部４０がフィルター係数や出力画素値を調整、生成する前に、ＩＩＲ出力の画素値を用いないことを制御信号２２０によって伝えることができる。そのため、本実施形態のノイズ除去装置１０は、必要な演算以外を行わない効率的な出力画素値２０２の生成が可能になる。
【００９２】
ここで、本実施形態のフィルター部３０および合成部４０は、ＩＩＲのフィルター処理および必要な画素値の生成を多段階に行う。具体的には、垂直方向、水平方向の２段階で行う。このことは、フィルター部３０および合成部４０の演算等の処理の負荷を減らし、回路規模の増加を抑制する効果がある。また、フレームバッファーを有する場合には、フレーム間でのＩＩＲのフィルター処理を加えることも可能である。
【００９３】
この多段階処理のため、図３のように、フィルター部３０は、垂直ＩＩＲフィルター３１（以下、単に垂直ＩＩＲ３１とも表現する）、水平ＩＩＲフィルター３２（以下、単に水平ＩＩＲ３２とも表現する）を含む。なお、ＦＩＲフィルターについては２次元の処理を行い、フィルター部３０は１つの２次元ＦＩＲフィルター３４（以下、単に２次元ＦＩＲ３４とも表現する）を含む。
【００９４】
垂直方向の処理とは例えば図２（Ａ）のように注目画素がＰ３４である場合に１つ前のサンプリングタイミングにおける注目画素がＰ２４（１つ上の隣接画素）であるように扱うことをいう。また、水平方向の処理とは例えば図２（Ａ）のように注目画素がＰ３４である場合に１つ前のサンプリングタイミングにおける注目画素がＰ３３（１つ左の隣接画素）であるように扱うことをいう。
【００９５】
このとき、垂直方向の処理と水平方向の処理とはシーケンシャルに行われる。よって、垂直方向の処理の実行時には、垂直ＩＩＲ３１が図１の第１のフィルター３７に対応し、画素値２３１が図１の画素値２３７に対応する。また、水平方向の処理の実行時には、水平ＩＩＲ３２が図１の第１のフィルター３７に対応し、画素値２３２が図１の画素値２３７に対応する。このとき、ＩＩＲを構成する物理的な回路は、本実施形態のように垂直ＩＩＲ３１と水平ＩＩＲ３２とで共用されてもよいし、個別に存在してもよい。
【００９６】
そして、係数設定部２２が設定する係数２２２は、垂直ＩＩＲ３１と水平ＩＩＲ３２のそれぞれに出力される。つまり、本実施形態の係数設定部２２は、垂直ＩＩＲ３１用の係数設定部と水平ＩＩＲ３２用の係数設定部とを含み（図示せず）、それぞれが独立に係数を演算で求めて、係数２２２として出力する。係数設定部２２が受け取るフィルター処理後の画素値２３０は、図１の画素値２３７に対応する。ここでは、係数設定部２２は、画素値２３０として、画素値２３１および画素値２３２を受け取る。なお、２次元ＦＩＲ３４は図１の第２のフィルター３８に対応し、画素値２３４が図１の画素値２３８に対応する。
【００９７】
また、合成部４０は、垂直合成部４１、水平合成部４２を含む。垂直ＩＩＲ３１の出力である画素値２３１については、垂直合成部４１が必要に応じてブレンドを行う。また、水平ＩＩＲ３２の出力である画素値２３２については、水平合成部４２が必要に応じてブレンドを行う。
【００９８】
このとき、２次元ＦＩＲ３４の出力である画素値２３４とのブレンドは、出力画素値２０２を生成する水平合成部４２で行われる。そのため、垂直合成部４１は、画素値２３４ではなく入力画素値２００Ａを入力する。
【００９９】
１．５．原画像における急峻なエッジ部分の扱い
前記のように、本実施形態のノイズ除去装置１０は、ＩＩＲを主体としてノイズ除去を行う。しかし、例えば原画像における急峻なエッジ部分は、ＩＩＲのフィルター処理には不向きな場合がある。つまり、フィルター係数を変更したとしても、不自然な画像を生成する画素値を出力してしまう場合がある。
【０１００】
このような場合、直ちにＦＩＲによるフィルター処理のみを行うように切り換える方が処理の効率がよい。エッジ検出部２０は、入力画素値２００のみに基づいて注目画素が急峻なエッジ部分に含まれるか否かを判断する。そして、含まれる場合には、制御信号２２０によって係数設定部２２や合成部４０が無駄な演算を行うことを回避させることができる。
【０１０１】
エッジ検出部２０は入力画素値２００を受け取り、注目画素と周辺画素の画素値の差分の絶対値（以下、差分絶対値）を積算する。
【０１０２】
【数５】
【０１０３】
本実施形態では、入力画素値２００は３×３の領域の画素の画素値を含む。式（７）のｋは注目画素を中心とする領域における周辺画素を表す番号であり、前記のＦＩＲの場合と同じである。
【０１０４】
エッジ検出部２０は、式（７）の差分絶対値ａ（ｎ）が閾値Ｔｈｅ以上の場合に、直ちにＦＩＲによるフィルター処理のみを行わせる制御信号２２０を出力する。ここで、閾値Ｔｈｅは、例えば様々な画像について統計をとることで得られる値であって予め定められていてもよいし、使用者がノイズ除去装置の使用時に設定してもよい。
【０１０５】
１．６．ＩＩＲの係数の調整
式（７）の差分絶対値ａ（ｎ）が閾値Ｔｈｅ未満の場合には、本実施形態のノイズ除去装置１０は、ＩＩＲの出力を用いて出力画素値を生成する。このとき、係数設定部２２は、注目画素について、垂直ＩＩＲ３１、水平ＩＩＲ３２によるフィルター処理前後の画素値の差分値を求める。そして、それらの差分値を積分した値である差分積分値に基づいて、原画像と乖離したか否かを判断する。
【０１０６】
係数設定部２２は、差分積分値が閾値Ｔｈ１以上の場合に原画像との乖離が発生しそうであると判断する。そして、式（１）のフィルター係数αｎを調整してＩＩＲの出力を追従させる。係数設定部２２について、以下に図４〜図５を用いて説明する。なお、図１〜図３と同じ要素には同じ符号を付しており説明を省略する。
【０１０７】
図４は、係数設定部とＩＩＲの構成を説明するための図である。垂直ＩＩＲ３１、水平ＩＩＲ３２は、本実施形態において物理的に同じ回路であり、処理に応じてｘ（ｎ）、ｙ（ｎ）に適当な信号が割り当てられるものとする。
【０１０８】
つまり、図２（Ｂ）、図３も参照して説明すると、垂直方向の処理をする場合にはＩＩＲフィルターは垂直ＩＩＲ３１であり、ｘ（ｎ）には注目画素の入力画素値２００Ａが、ｙ（ｎ）には画素値２３１が対応する。そして、水平方向の処理をする場合には、ＩＩＲフィルターは水平ＩＩＲ３２であり、ｘ（ｎ）には画素値２４１が、ｙ（ｎ）には画素値２３２が対応する。なお、前記のように本実施形態の係数設定部２２は、垂直ＩＩＲ３１用の係数設定部と水平ＩＩＲ３２用の係数設定部とを独立に含んでいる（図示せず）。しかし、それぞれの構成および演算処理は同じであるため、図４のように重複を避けて図示して説明を行う。
【０１０９】
図４の垂直ＩＩＲ３１（又は、水平ＩＩＲ３２）は、加算器６０、６１および乗算器６５によって、前記の式（１）の演算を行う。ここで、乗算器６５が用いる係数１−αｎは係数設定部２２から与えられる。また、遅延回路７０によってｙ（ｎ−１）を得ることができる。遅延回路７０、および係数設定部２２の遅延回路７１は、具体的にはレジスター等で構成される。
【０１１０】
係数設定部２２は、加算器６２によって、差分値２６２を得る。加算器６２には、それぞれ遅延回路７０、７１からの出力であるｙ（ｎ−１）とｘ（ｎ−１）が入力される。ただし、ｘ（ｎ−１）の符号は反転するものとする。差分値２６２は、サンプリングタイミングｎ−１における、垂直ＩＩＲ３１（又は、水平ＩＩＲ３２）のフィルター処理前後の画素値の差分である。
【０１１１】
係数設定部２２は、差分値２６２を積分器５０によって積分する。積分とは例えば累積加算である。そして、積分器５０は差分積分値２５０を出力する。差分積分値２５０は、各サンプリングタイミングにおける原画像との差を表す差分値２６２を積分したものであり、原画像との乖離の度合いを表すものである。その値は、例えば注目画素がエッジ部分にある場合には急激に増加するので、原画像における局所的な特徴を把握することができる。
【０１１２】
そして、係数設定部２２は、第１の比較器５２で差分積分値２５０と閾値Ｔｈ１とを比較する。係数設定部２２は、差分積分値２５０が閾値Ｔｈ１以上の場合に原画像との乖離が生じていると判断し、フィルター係数αｎを調整して実効タップ長を減らして、垂直ＩＩＲ３１（又は、水平ＩＩＲ３２）の出力を追従させる。
【０１１３】
図４のように、係数設定部２２のカウンター５４は、第１の比較器５２からの比較信号２５２に基づいて、フィルター係数αｎを定める。カウンター５４は、例えば４ビット幅のカウンターであって、カウント値の逆数をフィルター係数αｎとする。本実施形態では、カウンター５４はカウント値“１／αｎ”を出力して、係数テーブル５６で変換した“１−αｎ”を垂直ＩＩＲ３１（又は、水平ＩＩＲ３２）に与える。
【０１１４】
カウンター５４は、比較信号２５２に基づいて、差分積分値２５０が閾値Ｔｈ１未満である場合にカウント値をインクリメントする。ただし、上限値に達している場合には、差分積分値２５０が閾値Ｔｈ１未満であってもカウント値は変動しない。上限値は、４ビット幅のカウンターである場合、例えば９〜１１といった値でもよい。上限値は、ＩＩＲのフィルター処理の効果、および実効タップ長の増加による演算精度を鑑みて設定される。
【０１１５】
カウンター５４は、差分積分値２５０が閾値Ｔｈ１以上である場合に、カウント値を強制的に固定値（例えば２又は３）に変化させる。カウント値が小さい値に変化させることは、ＩＩＲの実効タップ長を小さくすることを意味する。差分積分値２５０が閾値Ｔｈ１以上である場合には、原画像との乖離が生じているとして、ＩＩＲの実効タップ長を小さくして出力が追従するように調整する。
【０１１６】
なお、カウンター５４は、差分積分値２５０が閾値Ｔｈ１以上である場合に、カウント値をデクリメントさせるようにしてもよい。また、固定値に変化させる場合でも、段階的に変化させてもよい。例えば、最初に差分積分値２５０が閾値Ｔｈ１以上となった場合はカウント値を７にする。それでも、差分積分値２５０が閾値Ｔｈ１以上となる場合は、カウント値を５にする。そして、最終的には２にする、といった手法をとってもよい。
【０１１７】
なお、カウンター５４に制御信号２２０によって注目画素が急峻なエッジ部分に含まれる旨が伝えられた場合には、カウンター５４はカウント値を１にして、フィルターの係数を初期化してもよい（αｎ＝１、式（３）参照）。このとき、ＩＩＲの出力は使用されないため、係数設定部２２は前記の動作を停止してもよい。
【０１１８】
ここで、比較信号２５２は、色成分毎の閾値Ｔｈ１と比較結果を反映したものであってもよい。図５は、積分器５０および第１の比較器５２の構成の詳細を表すものであって、図４の領域５８に対応する。ここで、入力画素値２００はＹ、Ｃｂ、Ｃｒの色成分を有しており、その演算結果である差分値２６２も同様の色成分を有するとする。積分器５０は、それぞれＹ成分、Ｃｂ成分、Ｃｒ成分用の積分器であるＹ成分積分器５０Ｙ、Ｃｂ成分積分器５０Ｃｂ、Ｃｒ成分積分器５０Ｃｒを含むとする。
【０１１９】
本実施形態では、差分値２６２は色成分毎（２６２Ｙ、２６２Ｃｂ、２６２Ｃｒ）に、これらの積分器（５０Ｙ、５０Ｃｂ、５０Ｃｒ）にそれぞれ入力されて、色成分毎に積分（例えば累積加算）される。そして、差分積分値２５０は色成分毎の差分積分値（２５０Ｙ、２５０Ｃｂ、２５０Ｃｒ）から成り、第１の比較器５２に入力される。
【０１２０】
第１の比較器５２は、それぞれＹ成分、Ｃｂ成分、Ｃｒ成分用の比較器であるＹ成分比較器５２Ｙ、Ｃｂ成分比較器５２Ｃｂ、Ｃｒ成分比較器５２Ｃｒを含むとする。これらの比較器は、それぞれ色成分毎の差分積分値（２５０Ｙ、２５０Ｃｂ、２５０Ｃｒ）を受け取り、閾値Ｔｈ１と比較する。そして、差分積分値が閾値Ｔｈ１以上である場合に‘１’となる色成分毎の比較信号（２５２Ｙ、２５２Ｃｂ、２５２Ｃｒ）の論理和５１の出力を第１の比較器５２からの比較信号２５２とする。
【０１２１】
このような色成分毎の比較を行うことで、いずれかの色成分でのみ原画像との乖離がある場合を検出することができる。なお、フィルター係数αｎについては、色成分毎でなく共通のものが用いられる。色成分毎にフィルター係数αｎがある場合には、色ずれといった問題を生じるからである。
【０１２２】
１．７．合成部でのブレンド
合成部４０は、出力画素値２０２を生成する。このとき、通常はＩＩＲの出力を出力画素値２０２とするが、原画像との乖離が生じて出力画像が不自然になるおそれがある場合、ＦＩＲの出力とのブレンドを行ったり、ＦＩＲの出力だけを使用するように切り換えたりする。合成部４０（具体的には垂直合成部４１、水平合成部４２）について、以下に図６を用いて説明する。なお、図１〜図５と同じ要素には同じ符号を付しており説明を省略する。
【０１２３】
図６は、垂直合成部４１、水平合成部４２の構成を説明するための図である。垂直合成部４１、水平合成部４２は、本実施形態において物理的に同じ回路であり、処理に応じてｙ（ｎ）、ｗ（ｎ）、ｇ（ｎ）に適当な信号が割り当てられるものとする。
【０１２４】
つまり、図２（Ｂ）、図３も参照して説明すると、垂直方向の処理をする場合には垂直合成部４１であり、ｙ（ｎ）には画素値２３１が、ｗ（ｎ）には注目画素の入力画素値２００Ａが、ｇ（ｎ）には画素値２４１が対応する。そして、水平方向の処理をする場合には水平合成部４２であり、ｙ（ｎ）には画素値２３２が、ｗ（ｎ）には２次元ＦＩＲ３４の出力である画素値２３４が、ｇ（ｎ）には出力画素値２０２が対応する。
【０１２５】
図６のように、垂直合成部４１（又は、水平合成部４２）の合成回路４３は、制御信号２２０および比較信号２８２に基づいて、出力信号ｇ（ｎ）を入力信号ｙ（ｎ）、ｗ（ｎ）をブレンド（一方の選択を含む）して生成する。
【０１２６】
第２の比較器８２は、色成分毎に第２の閾値Ｔｈ２、および第３の閾値Ｔｈ３と比較する比較器８２Ｙ、８２Ｃｂ、８２Ｃｒを含み、構成は第１の比較器５２（図５参照）と同様である。ここでは、重複説明を避けるために詳細な説明を省略する。
【０１２７】
垂直合成部４１（又は、水平合成部４２）は、差分積分値２５０が第２の閾値Ｔｈ２以上である場合、ＩＩＲのフィルター係数αｎを変更してもなお原画像との乖離が生じるものと判断する。このとき、合成回路４３は、入力信号ｙ（ｎ）、ｗ（ｎ）を所定の比率（例えば、共に５０％）でブレンドして出力信号ｇ（ｎ）を生成する。
【０１２８】
垂直合成部４１（又は、水平合成部４２）は、差分積分値２５０が第３の閾値Ｔｈ３以上である場合、注目画素は急峻なエッジ部分に含まれており、原画像と非常に大きな乖離が生じるものと判断する。このとき、合成回路４３は、入力信号ｗ（ｎ）を出力信号ｇ（ｎ）として出力する。なお、処理の効率のため、差分積分値２５０と第３の閾値Ｔｈ３との比較を、第２の閾値Ｔｈ２との比較よりも優先して行うことが好ましい。
【０１２９】
比較信号２８２は、差分積分値２５０と第２の閾値Ｔｈ２、および第３の閾値Ｔｈ３との比較結果を表す２ビットの信号であってもよい。例えば、比較信号２８２が“１１ｂ”であれば差分積分値２５０が第３の閾値Ｔｈ３以上であり、“０１ｂ”であれば差分積分値２５０が第３の閾値Ｔｈ３未満かつ第２の閾値Ｔｈ２以上であり、“００ｂ”であれば差分積分値２５０が第２の閾値Ｔｈ２未満であってもよい。
【０１３０】
ここで、第１の比較器５２（図５参照）で用いる第１の閾値Ｔｈ１と、第２の比較器８２で用いる第２の閾値Ｔｈ２、および第３の閾値Ｔｈ３との間には式（８）のような関係があるとする。
【０１３１】
【数６】
【０１３２】
合成回路４３は、制御信号２２０を受け取り、注目画素が急峻なエッジ部分に含まれる場合には、入力信号ｗ（ｎ）を出力信号ｇ（ｎ）として出力する。なお、制御信号２２０に基づく処理は、比較信号２８２に基づく処理よりも優先される。
【０１３３】
１．８．出力画素値
以上のように、本実施形態のノイズ除去装置は、ＩＩＲを主体として小さい回路規模でノイズを効果的に除去すると共に、画像のにじみ、ぼやけ等を効果的に抑制する。また、原画像との乖離が生じる場合には、ＦＩＲを併用して、ＦＩＲとＩＩＲの出力を適切にブレンドする。このとき、画像のにじみ、ぼやけ等を効果的に抑制するだけでなく、特性の異なる２つのフィルターの出力を用いても最終的に自然でメリハリのある画像を生成することを可能にする。
【０１３４】
出力画素値の生成についてまとめると以下の通りである。（１）グラデーション等のなだらかな領域では、ＩＩＲの出力が用いられる。（２）エッジ検出部によって急峻なエッジ領域であると判断された場合は、ＦＩＲの出力が用いられる（閾値Ｔｈｅを用いた判断）。（３）その中間の領域では、（３−１）まず、係数設定部によってＩＩＲのフィルター係数が調整される（閾値Ｔｈ１を用いた判断）。（３−２）合成部が第２の閾値Ｔｈ２を用いた比較の結果として原画像との乖離が生じそうな場合には、ＩＩＲとＦＩＲの出力がブレンドされる。（３−３）合成部が第３の閾値Ｔｈ３を用いた比較の結果として原画像との乖離が生じそうな場合には、ＦＩＲの出力が用いられる。
【０１３５】
ここで、異なる特性のフィルターを単純に、かつ頻繁に切り換えると、例えば擬似輪郭等が発生するといった問題が生じる。本実施形態では、ＩＩＲのフィルター係数を新たに設定してもなお原画像との乖離が生じるような場合に限って、ＦＩＲの出力をブレンドするので、このような問題は生じにくい。また、出力される画像は局所的な特徴も考慮したフィルター処理がなされているので、自然でメリハリのある画像を生成することを可能にする。
【０１３６】
なお、前記の（３−２）の場合には、式（８）の関係から差分積分値は第１の閾値Ｔｈ１以上である。よって、ブレンドされるＩＩＲの出力は、そのフィルター係数αｎが固定（例えば１／２）された場合の出力となる。すなわち、実効タップ長の小さいＩＩＲが用いられている。
【０１３７】
ここで、本実施形態のノイズ除去装置１０は、ＩＩＲのフィルター係数αｎを適切に調整するために様々なデータを用いる。そこで、ノイズ除去装置１０は、例えばラインメモリーを含み、閾値との比較結果を示す制御信号２２０（図３参照）、比較信号２５２（図４参照）、比較信号２８２（図６参照）を保持してもよい。また、差分積分値２５０（図４参照）や、ＩＩＲのフィルター処理を実行する前後の画素値や、フィルター係数αｎ自体も保持してもよい。
【０１３８】
このような構成は、特に水平処理、垂直処理で独立したフィルターを持つような場合に有用である。また、ラインメモリーに保持されたデータが外部からアクセス可能であれば、使用者は容易に状態を確認することが可能になる。
【０１３９】
２．変形例
本実施形態の変形例について図７を参照して説明する。なお、図１〜図６と同じ要素には同じ符号を付しており説明を省略する。
【０１４０】
図７は、変形例のノイズ除去装置１０Ａのブロック図である。第１実施形態（図３参照）の場合と異なり、フィルター部３０Ａに含まれるＦＩＲは、垂直ＦＩＲフィルター３５と、水平ＦＩＲフィルター３６に分離されている。そのため、垂直合成部４１、水平合成部４２は、それぞれ垂直ＦＩＲフィルター３５、水平ＦＩＲフィルター３６の出力である画素値２３５、画素値２３６を受け取る。
【０１４１】
ＦＩＲについても、垂直方向の処理と、水平方向の処理とに分離することで、フィルターの回路規模を抑えることができる。なお、その他の構成については、第１実施形態と同じであり、説明を省略する。
【０１４２】
３．適用例
本発明の電子機器への適用例について図８〜図９を参照にして説明する。図８は適用例に係る電子機器１のブロック図である。電子機器１は、ＣＰＵ２、入力部３、記憶部４、表示部５、画像処理部６を含む。画像処理部６は、ノイズ除去の他に、例えば符号化などの画像処理を行う。そして、画像処理部６は、第１実施形態のノイズ除去装置１０又は変形例のノイズ除去装置１０Ａに対応するノイズ除去回路１０Ｂを、その一部として含んでいる。
【０１４３】
ＣＰＵ２は、他のブロックを制御し様々な演算や処理を行う。ＣＰＵ２は、例えば記憶部４からプログラムを読み込み、プログラムに従ってノイズ除去回路１０Ｂにノイズ除去を実行させてもよい。
【０１４４】
入力部３は、電子機器１の内部又は外部からデータなどを受け取る。入力部３は、例えば入力画像のデータを受け取り、ノイズ除去回路１０Ｂが受け取るのに適したフォーマットの画素値へと変換してもよい。
【０１４５】
記憶部４は、例えばＤＲＡＭやＳＲＡＭなどのメモリーであってもよいし、ＲＯＭを含んでいてもよい。ＣＰＵ２が使用するプログラムは、例えば記憶部４が含むＲＯＭに書かれていてもよい。
【０１４６】
表示部５は、ノイズ除去回路１０Ｂでノイズを除去した画像を出力するためのものである。例えばＬＣＤや電気泳動表示装置であってもよい。
【０１４７】
例えば電子機器１において、ＣＰＵ２はリセット後にプログラムを記憶部４から読み込み、コマンドによって画像処理部６に画像処理を自動実行させる。このとき、ノイズ除去回路１０Ｂによってノイズが除去された、自然な画像が表示部５に出力される。
【０１４８】
図９（Ａ）に、電子機器１の１つであるパーソナルコンピューター９７０の外観図の例を示す。このパーソナルコンピューター９７０は、表示部５として写真、動画などの画像を表示するＬＣＤ９７５を備える。パーソナルコンピューター９７０がノイズ除去回路１０Ｂを含むことで、ノイズを除去したきれいな画像をＬＣＤ９７５に表示することができる。
【０１４９】
図９（Ｂ）に、電子機器１の１つであるプロジェクター９８０の外観図の例を示す。このプロジェクター９８０は、表示部５に対応する投影部９８５からスクリーン９８９に画像を拡大して表示する。このとき、画像は拡大されるため、ノイズが含まれていると非常に目立つ。プロジェクター９８０がノイズ除去回路１０Ｂを含むことで、ノイズを除去したきれいな画像を投影することが可能になる。
【０１５０】
本実施形態のノイズ除去装置は、これらの例に限らず、画像を表示させる様々な電子機器に適用可能である。いずれの場合にも、ノイズ除去を行いながらも、自然でメリハリのある画像表示を行う電子機器を提供できる。
【０１５１】
４．その他
これらの例示に限らず、本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【０１５２】
１…電子機器、２…ＣＰＵ、３…入力部、４…記憶部、５…表示部、６…画像処理部、１０，１０Ａ，１０Ｂ…ノイズ除去装置（ノイズ除去回路）、２０…エッジ検出部、２２…係数設定部、３０，３０Ａ…フィルター部、３１…垂直ＩＩＲフィルター、３２…水平ＩＩＲフィルター、３４…２次元ＦＩＲフィルター、３５…垂直ＦＩＲフィルター、３６…水平ＦＩＲフィルター、３７…第１のフィルター、３８…第２のフィルター、４０…合成部、４１…垂直合成部、４２…水平合成部、４３…合成回路、５０，５０Ｙ，５０Ｃｂ，５０Ｃｒ…積分器、５１…論理和、５２，５２Ｙ，５２Ｃｂ，５２Ｃｒ…（第１の）比較器、５４…カウンター、５６…係数テーブル、５８…領域、６０，６１，６２…加算器、６５…乗算器、７０，７１…遅延回路、８１…論理和、８２，８２Ｙ，８２Ｃｂ，８２Ｃｒ…（第２の）比較器、２００，２００Ａ…入力画素値、２０２…出力画素値、２２０…制御信号、２２２…係数、２３０，２３１，２３２，２３４，２３５，２３６，２３７，２３８，２４１…画素値、２５０，２５０Ｙ，２５０Ｃｂ，２５０Ｃｒ…差分積分値、２５２，２５２Ｙ，２５２Ｃｂ，２５２Ｃｒ，２８２Ｙ，２８２Ｃｂ，２８２Ｃｒ…比較信号、２６２，２６２Ｙ，２６２Ｃｂ，２６２Ｃｒ…差分値、２８２…比較信号、３００…原画像、３０２，３０４…領域、９７０…パーソナルコンピューター、９７５…ＬＣＤ、９８０…プロジェクター、９８５…投影部、９８９…スクリーン
【特許請求の範囲】
【請求項１】
フィルター部と、
前記フィルター部が含むフィルターの係数を設定する係数設定部と、を含み、
前記フィルター部は、
ＩＩＲフィルターである第１のフィルターを含み、
前記係数設定部は、
前記第１のフィルターによるフィルター処理が施された注目画素の画素値と、前記フィルター処理が施される前の注目画素の画素値との差分値を求め、
前記差分値を積分した値である差分積分値を求め、
前記差分積分値と第１の閾値とを比較した結果に基づいて、前記第１のフィルターの係数を設定するノイズ除去装置。
【請求項２】
請求項１に記載のノイズ除去装置において、
前記フィルター部が含む複数のフィルターの出力をブレンドして出力画素値を生成する合成部、を含み、
前記合成部は、
前記係数設定部から前記差分積分値を受け取り、
前記差分積分値と第２の閾値とを比較した結果に基づいて、前記出力画素値を生成するノイズ除去装置。
【請求項３】
請求項２に記載のノイズ除去装置において、
前記フィルター部は、
ＦＩＲフィルターである第２のフィルターを含み、
前記合成部は、
前記差分積分値が前記第２の閾値よりも小さければ、前記第１のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値とし、
前記差分積分値が前記第２の閾値以上であれば、前記第１のフィルターによるフィルター処理が施された注目画素の画素値と、前記第２のフィルターによるフィルター処理が施された注目画素の画素値とを、所定の比率でブレンドして前記出力画素値とするノイズ除去装置。
【請求項４】
請求項３に記載のノイズ除去装置において、
前記合成部は、
前記第２の閾値よりも大きい第３の閾値と、前記差分積分値との比較を行い、
前記差分積分値が前記第３の閾値以上であれば、前記第２のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値とするノイズ除去装置。
【請求項５】
請求項３乃至４のいずれかに記載のノイズ除去装置において、
入力された原画像の画素値である入力画素値に基づいて、エッジ検出を行うエッジ検出部を含み、
前記合成部は、
前記エッジ検出部から前記注目画素が前記原画像のエッジを構成することを表す信号を受け取った場合、前記第２のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値とするノイズ除去装置。
【請求項６】
請求項１乃至５のいずれかに記載のノイズ除去装置において、
前記フィルター部は、
同じ注目画素について、多段階に前記第１のフィルターによるフィルター処理を施すノイズ除去装置。
【請求項７】
請求項６に記載のノイズ除去装置において、
前記フィルター部は、
少なくとも垂直方向、水平方向の２段階で、前記第１のフィルターによるフィルター処理を施すノイズ除去装置。
【請求項８】
請求項１乃至７のいずれかに記載のノイズ除去装置において、
前記フィルター部は、
前記第１のフィルターとして下記式（１）を満たすＩＩＲフィルターを含むノイズ除去装置。
【数１】
但し、
ｙ（ｎ）は、サンプリングタイミングｎにおける出力であり、
ｘ（ｎ）は、サンプリングタイミングｎにおける入力であり、
αｎは、フィルター係数であり、
ｙ（ｎ−１）は、サンプリングタイミングｎ−１における出力である。
【請求項９】
請求項８に記載のノイズ除去装置において、
前記係数設定部は、
前記差分積分値と前記第１の閾値との比較結果に基づいて、前記差分積分値が前記第１の閾値未満である回数をカウントするカウンターを含み、
前記式（１）のフィルター係数αｎを、前記カウンターのカウント値の逆数とするノイズ除去装置。
【請求項１０】
請求項９に記載のノイズ除去装置において、
前記係数設定部は、
前記差分積分値と前記第１の閾値との比較を色成分の各々について行うノイズ除去装置。
【請求項１１】
請求項９乃至１０のいずれかに記載のノイズ除去装置において、
前記カウンターは、
前記式（１）のフィルター係数αｎに上限値を設定するノイズ除去装置。
【請求項１２】
請求項１乃至１１のいずれかに記載のノイズ除去装置を含む電子機器。
【請求項１】
フィルター部と、
前記フィルター部が含むフィルターの係数を設定する係数設定部と、を含み、
前記フィルター部は、
ＩＩＲフィルターである第１のフィルターを含み、
前記係数設定部は、
前記第１のフィルターによるフィルター処理が施された注目画素の画素値と、前記フィルター処理が施される前の注目画素の画素値との差分値を求め、
前記差分値を積分した値である差分積分値を求め、
前記差分積分値と第１の閾値とを比較した結果に基づいて、前記第１のフィルターの係数を設定するノイズ除去装置。
【請求項２】
請求項１に記載のノイズ除去装置において、
前記フィルター部が含む複数のフィルターの出力をブレンドして出力画素値を生成する合成部、を含み、
前記合成部は、
前記係数設定部から前記差分積分値を受け取り、
前記差分積分値と第２の閾値とを比較した結果に基づいて、前記出力画素値を生成するノイズ除去装置。
【請求項３】
請求項２に記載のノイズ除去装置において、
前記フィルター部は、
ＦＩＲフィルターである第２のフィルターを含み、
前記合成部は、
前記差分積分値が前記第２の閾値よりも小さければ、前記第１のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値とし、
前記差分積分値が前記第２の閾値以上であれば、前記第１のフィルターによるフィルター処理が施された注目画素の画素値と、前記第２のフィルターによるフィルター処理が施された注目画素の画素値とを、所定の比率でブレンドして前記出力画素値とするノイズ除去装置。
【請求項４】
請求項３に記載のノイズ除去装置において、
前記合成部は、
前記第２の閾値よりも大きい第３の閾値と、前記差分積分値との比較を行い、
前記差分積分値が前記第３の閾値以上であれば、前記第２のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値とするノイズ除去装置。
【請求項５】
請求項３乃至４のいずれかに記載のノイズ除去装置において、
入力された原画像の画素値である入力画素値に基づいて、エッジ検出を行うエッジ検出部を含み、
前記合成部は、
前記エッジ検出部から前記注目画素が前記原画像のエッジを構成することを表す信号を受け取った場合、前記第２のフィルターによるフィルター処理が施された注目画素の画素値を前記出力画素値とするノイズ除去装置。
【請求項６】
請求項１乃至５のいずれかに記載のノイズ除去装置において、
前記フィルター部は、
同じ注目画素について、多段階に前記第１のフィルターによるフィルター処理を施すノイズ除去装置。
【請求項７】
請求項６に記載のノイズ除去装置において、
前記フィルター部は、
少なくとも垂直方向、水平方向の２段階で、前記第１のフィルターによるフィルター処理を施すノイズ除去装置。
【請求項８】
請求項１乃至７のいずれかに記載のノイズ除去装置において、
前記フィルター部は、
前記第１のフィルターとして下記式（１）を満たすＩＩＲフィルターを含むノイズ除去装置。
【数１】
但し、
ｙ（ｎ）は、サンプリングタイミングｎにおける出力であり、
ｘ（ｎ）は、サンプリングタイミングｎにおける入力であり、
αｎは、フィルター係数であり、
ｙ（ｎ−１）は、サンプリングタイミングｎ−１における出力である。
【請求項９】
請求項８に記載のノイズ除去装置において、
前記係数設定部は、
前記差分積分値と前記第１の閾値との比較結果に基づいて、前記差分積分値が前記第１の閾値未満である回数をカウントするカウンターを含み、
前記式（１）のフィルター係数αｎを、前記カウンターのカウント値の逆数とするノイズ除去装置。
【請求項１０】
請求項９に記載のノイズ除去装置において、
前記係数設定部は、
前記差分積分値と前記第１の閾値との比較を色成分の各々について行うノイズ除去装置。
【請求項１１】
請求項９乃至１０のいずれかに記載のノイズ除去装置において、
前記カウンターは、
前記式（１）のフィルター係数αｎに上限値を設定するノイズ除去装置。
【請求項１２】
請求項１乃至１１のいずれかに記載のノイズ除去装置を含む電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図９】
【公開番号】特開２０１３−４２３４３（Ｐ２０１３−４２３４３Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７７６３３（Ｐ２０１１−１７７６３３）
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]