画像処理装置、電子機器
【課題】 回路規模を小さく抑えながらも、複数のフィルターの出力を合成した画像が不自然にならない画像処理装置を提供する。
【解決手段】 フィルター部３０と、フィルター部３０が含むフィルターのフィルター処理に関する閾値を設定する閾値設定部２２と、を含み、フィルター部３０は、第１のフィルター３７と、第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルター３８と、を含み、閾値設定部２２は、第１のフィルターの閾値に基づいて、第２のフィルターの閾値を定める。
【解決手段】 フィルター部３０と、フィルター部３０が含むフィルターのフィルター処理に関する閾値を設定する閾値設定部２２と、を含み、フィルター部３０は、第１のフィルター３７と、第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルター３８と、を含み、閾値設定部２２は、第１のフィルターの閾値に基づいて、第２のフィルターの閾値を定める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、電子機器等に関する。
【背景技術】
【０００２】
画像処理装置において高画質の画像を得るためにはノイズ除去の処理が必要である。例えばデータが圧縮された画像では、ブロック単位の処理で生じるブロックノイズや高周波成分除去によるモスキートノイズ等が含まれている。一方、メリハリのある見栄えのよい画像を得るために、高域強調の画像処理が行われることが好ましい。エッジ部分を強調することで、解像感の高い出力画像を得ることが可能になる。
【０００３】
これら両方の処理を実現するために、従来の画像処理装置では、ローパスフィルター等によって入力画像（以下、原画像とも表現する）のノイズを除去した後に、高域強調処理を行うことがあった。つまり、ノイズ除去のためのフィルターと、高域強調のためのフィルターをシーケンシャルに接続する構成がとられることがあった。
【０００４】
ここで、ノイズ除去という一種の平滑化処理と高域強調処理とは互いに反対の性質を有する画像処理である。そのため、同じ領域の画素値に対して両方の処理が施されると、一方の処理の効果を他方が弱める可能性がある。そこで、単純に両処理のためのフィルターをシーケンシャルに接続するだけでは十分な効果を得ることは困難であった。
【０００５】
そこで、特許文献１の発明は、特定の周波数帯域の近傍の成分を取り出して処理の内容を変化させることで、ノイズ除去に伴う解像度の低下を生じないようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１９９６９５号公報
【特許文献２】特開２００９−２５３３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１の発明は、特定の周波数帯域の近傍の成分を取り出した中間画像を生成する必要があり、メモリー等のリソースを多く必要とする。また、処理の内容を変化させるための判断を行う処理手段も必要となり、回路規模が大きくなるという問題がある。
【０００８】
そこで、特許文献２の発明のように、ノイズ除去のためのフィルターと、高域強調のためのフィルターをパラレルに備えて、処理結果を合成することで回路規模を小さくすることが考えられる。
【０００９】
しかし、特許文献２が開示する構成を単純に適用しても、これらのフィルターは互いに反対の性質を有するため、合成によって不連続な画像が発生するおそれがある。また、合成によって、一方のフィルター処理の効果を他方が弱めてしまうおそれもある。結果として、出力される画像は不自然なものとなる可能性が高い。
【００１０】
本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、回路規模を小さく抑えながらも、複数のフィルターの出力を合成した画像が不自然にならない画像処理装置を提供する。
【課題を解決するための手段】
【００１１】
（１）本発明は、画像処理装置であって、フィルター部と、前記フィルター部が含むフィルターのフィルター処理に関する閾値を設定する閾値設定部と、を含み、前記フィルター部は、第１のフィルターと、前記第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含み、前記閾値設定部は、前記第１のフィルターの閾値に基づいて、前記第２のフィルターの閾値を定める。
【００１２】
（２）この画像処理装置において、前記フィルター部は、注目画素と周辺画素の画素値の差分に基づく第１の信号を入力信号とするノイズ除去フィルターを前記第１のフィルターとし、前記第１の信号を１階微分した第２の信号を入力信号とする高域強調フィルターを前記第２のフィルターとしてもよい。
【００１３】
これらの発明の画像処理装置は、フィルター部に第１のフィルターと、第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含む。そして、第１のフィルターの閾値に基づいて、第２のフィルターの閾値を定める。画像処理装置は、第２のフィルターの閾値を定めるのに、例えば第１のフィルターの閾値を入力値とするテーブルによって第２のフィルターの閾値を定めることができる。そのため、回路規模を小さく抑えることが可能である。
【００１４】
このとき、第１のフィルターと第２のフィルターの閾値は、一方の変化に連動して変化する。そのため、例えば原画像の平均輝度の変化に基づいて第１のフィルターの閾値が変化した場合、第２のフィルターの閾値も連動して変化する。そのため、例えば排他的処理といった第１のフィルターと第２のフィルターとの間の関連性を、常に保つことが可能になる。
【００１５】
ここで、第１のフィルターはノイズ除去フィルターであって、第２のフィルターは高域強調フィルターであってもよい。ノイズ除去フィルターの入力信号は、注目画素と周辺画素の画素値の差分に基づく第１の信号である。そして、高域強調フィルターの入力信号は、第１の信号を１階微分した第２の信号である。
【００１６】
ここで、信号とは空間的にとらえた画素値の集合を指す。例えば、注目画素と水平方向の２つの隣接画素の画素値を、走査時の画素の順番に従って並べたものも信号の一部である。なお、信号とは空間的のみならず、時間的にとらえた画素値の集合を指してもよい。例えば、画像において特定の位置にある画素について、数フレームにおける画素値の集合を指して信号としてもよい。
【００１７】
また、閾値とはフィルター処理の性質を定める値である。例えば、ノイズ除去フィルターが非線形関数Ｆ（ｘ）に従う場合、ｘの絶対値が閾値未満の場合に、Ｆ（ｘ）＝０であってもよい。また、ｘの絶対値が閾値以上の場合に、Ｆ（ｘ）＝ｘであってもよい。また、閾値は１つに限らず、複数あってもよい。
【００１８】
（３）この画像処理装置において、入力画素値に基づいて、前記第１のフィルターの閾値を定める解析情報を生成する解析部と、前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値に基づいて出力画素値を生成する合成部と、を含んでもよい。
【００１９】
（４）この画像処理装置において、前記合成部は、前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値の和を前記出力画素値としてもよい。
【００２０】
これらの発明の画像処理装置は解析部と合成部を含む。解析部は、入力画素値に基づいて第１のフィルターの閾値を定める解析情報を生成する。解析情報は、例えば入力画素値についての輝度の情報であってもよい。第１のフィルターの閾値を解析情報に基づいて動的に変化させることが可能であるため、局所的な特徴（例えば、平均輝度の大きな変化）に応じた適切なフィルター処理を行うことができる。
【００２１】
解析部は、現在の入力画素値だけでなく、バッファー等に保持した過去の入力画素値も用いて解析を行ってもよい。例えばフレームバッファーを備えていて、前のフレームの画像に基づいて必要な解析情報を生成してもよい。このとき、前のフレーム画像から平均輝度を取得して解析情報として生成してもよい。
【００２２】
合成部は、並列に処理を行う第１のフィルター、第２のフィルターの出力を合成する。並列にフィルターを配置して、それらの出力を合成する構造であるので回路規模は小さい。さらに、これらの発明では、例えば一方のみが非ゼロの値を出力する、といった第１のフィルターと第２のフィルターとの間の関連性が常に保たれている。
【００２３】
そのため、第１のフィルター、第２のフィルターの閾値が変動しても、合成部においては、例えば単純な加減算といった一定の合成処理を行うだけでよい。例えばフィルター処理後の出力値を解析して判断する手段を必要としないため、合成部についても回路規模は小さい。
【００２４】
ここで、合成部は、入力画素値、第１のフィルターの出力値、および第２のフィルターの出力値の和を出力画素値としてもよい。合成処理は単純にこれらの出力値を加算するだけであるので、合成部は加算器だけで構成され、回路規模削減の効果が大きい。
【００２５】
（５）この画像処理装置において、前記閾値設定部は、下記式（１）によって前記第２のフィルターの閾値を定めてもよい。
【００２６】
【数１】
但し、εは、前記第１のフィルターの閾値の１つであり、Ｃは、前記第２のフィルターのεに対応する閾値である。
【００２７】
（６）この画像処理装置において、前記閾値設定部は、下記式（２）によって前記第２のフィルターの閾値を定めてもよい。
【００２８】
【数２】
但し、εは、前記第１のフィルターの閾値の１つであり、Ｃは、前記第２のフィルターのεに対応する閾値であり、Ｎは、固定値である２以上の整数である。
【００２９】
（７）この画像処理装置において、前記フィルター部は、異なる２つの閾値を有する前記第１のフィルターを含んでもよい。
【００３０】
（８）この画像処理装置において、前記フィルター部は、前記第１のフィルターの異なる２つの閾値の一方を固定値としてもよい。
【００３１】
これらの発明では、上記の式（１）によってフィルターの閾値の間の関係を定めてもよい。フィルター部は、第１のフィルターと、第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含む。式（１）は、第１のフィルターの入力信号と第２のフィルターの入力信号との関係を表すものである。これにより、第１のフィルターの閾値εと、第２のフィルターの閾値Ｃとが１対１に対応する。
【００３２】
ここで、これらの発明では、上記の式（２）によってフィルターの閾値の間の関係を定めてもよい。式（１）と比べて、ルート計算を必要としないため、閾値設定部の回路規模を抑えることができる。式（２）のＮは例えば２である。このとき、閾値設定部は、第２のフィルターの閾値Ｃを第１のフィルターの閾値εを２倍にするだけで求めることができる。つまり、１ビットのシフト動作で第２のフィルターの閾値Ｃを定めることができるので、更に回路規模を抑えることができる。
【００３３】
ここで、第１のフィルターの閾値εはε１、ε２の２つであってもよい。このとき、第２のフィルターの閾値Ｃも２つである。つまり、ε１、ε２のそれぞれに対応してＣ１、Ｃ２の２つの閾値を有することになる。
【００３４】
この場合において、ε１、ε２の一方が固定値であってもよい。例えば、ε２が固定値の場合には、対応するＣ２も固定値である。すると、ε２の変動に応じてＣ２を生成するテーブルが不要となり、更に回路規模を抑えることができる。
【００３５】
（９）この画像処理装置において、前記フィルター部は、同じ注目画素について、多段階に前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施してもよい。
【００３６】
（１０）この画像処理装置において、前記フィルター部は、少なくとも垂直方向、水平方向の２段階で、前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施してもよい。
【００３７】
これらの発明では、同じ注目画素について、多段階に第１、第２のフィルターによるフィルター処理を施す。そのため、フィルターの回路規模を抑えることが可能である。ここで、多段階とは、例えば垂直方向、水平方向の２段階であってもよい。また、斜め方向の処理が行われてもよいし、フレームバッファーを有する場合にはフレーム間でのフィルター処理を行ってもよい。
【００３８】
ただし、第１のフィルターによって垂直方向のフィルター処理が行われる場合には、第２のフィルターでも垂直方向のフィルター処理を行う必要がある。それぞれの段階において、第１のフィルターの入力信号を１階微分した信号が、第２のフィルターの入力信号であるという関係を満たすためである。
【００３９】
（１１）本発明は、前記のいずれかに記載の画像処理装置を含む電子機器である。
【００４０】
本発明の電子機器は、回路規模を小さく抑えながらも、複数のフィルターの出力を合成した画像が不自然にならない画像処理装置を含む。そのため、自然でメリハリのある画像の表示等が可能である。ここで、電子機器に含まれる画像処理装置は、画像処理回路といったハードウェアであってもよいし、ソフトウェアで画像処理の機能が実現されてもよい。
【図面の簡単な説明】
【００４１】
【図１】第１実施形態の画像処理装置のブロック図。
【図２】図２（Ａ）〜図２（Ｃ）は画像信号、勾配、ラプラシアンの関係を表す図。
【図３】図３（Ａ）〜図３（Ｂ）は第１、第２のフィルターの閾値の対応を示す図。
【図４】図４（Ａ）は原画像の図。図４（Ｂ）は入力画素値の方向を説明する図。
【図５】変形例の画像処理装置のブロック図。
【図６】図６（Ａ）〜図６（Ｂ）は変形例における第１、第２のフィルターの閾値の対応を示す図。
【図７】適用例の電子機器のブロック図。
【図８】図８（Ａ）は電子機器の例であるパーソナルコンピューターの図。図８（Ｂ）は電子機器の例であるプロジェクターの図。
【発明を実施するための形態】
【００４２】
以下、本発明の実施形態について図面を参照して説明する。
【００４３】
１．第１実施形態
本発明の第１実施形態について図１〜図４を参照して説明する。
【００４４】
１．１．画像処理装置の構成
図１は、第１実施形態における画像処理装置１０のブロック図を示す。画像処理装置１０は、解析部２０、閾値設定部２２、フィルター部３０、合成部４０を含む。
【００４５】
フィルター部３０は、第１のフィルター３７と第２のフィルター３８とを含む。本実施形態では、第１のフィルター３７はノイズ除去を行うεフィルターである。第１のフィルター３７は、入力画素値２００と２つの閾値ε１２２４、閾値ε２２２５を受け取り、出力値２３７を生成する。
【００４６】
第２のフィルター３８は画像のエッジ部分を強調する高域強調フィルターである。第２のフィルター３８は、入力画素値２００と２つの閾値ＣＬ２２６、閾値ＣＨ２２７を受け取り、出力値２３８を生成する。なお、第１のフィルター３７、第２のフィルター３８の詳細については後述する。
【００４７】
解析部２０は、入力画素値２００に基づいて、閾値ε１２２４および閾値ε２２２５を定めるための解析情報２２０を生成する。解析情報２２０は、本実施形態のように輝度に関する平均値であってもよいし、最大値、最小値、中央値、その他の統計値であってもよい。
【００４８】
ここで、解析部２０はフレームバッファーを備え、入力画素値２００を保存して１フレーム分の画素について輝度の平均値を求めてもよい。また、符号化などの処理の単位である画素ブロック（例えば８画素×８画素）毎に、そのブロックに含まれる画素についての輝度の平均値を求めてもよい。なお、入力画素値２００は、例えばＹＵＶ形式などの輝度情報を含む画素値であってもよいし、他の形式であって解析部２０が演算で輝度を求めてもよい。また、画素値の各成分は例えば８ビットの信号であって０〜２５５の値をとってもよい。
【００４９】
閾値設定部２２は、解析情報２２０を受け取り、第１のフィルター３７、第２のフィルター３８の閾値を生成する。閾値設定部２２は、第１のテーブル２４、第２のテーブル２５、第１の変換部２６、第２の変換部２７を含む。ここで、第１のテーブル２４、第２のテーブル２５は、解析情報２２０を変換して、それぞれ閾値ε１２２４、閾値ε２２２５を出力する。
【００５０】
第１の変換部２６、第２の変換部２７は、それぞれ閾値ＣＬ２２６、閾値ＣＨ２２７を出力する。ここで、第１の変換部２６、第２の変換部２７は、解析情報２２０に基づいてこれらの閾値を演算で求めるのではなく、それぞれ閾値ε１２２４、閾値ε２２２５から後述する関係式に基づいてこれらの閾値を求める。
【００５１】
合成部４０は、入力画素値２００、第１のフィルターの出力値２３７、および第２のフィルターの出力値２３８に基づいて出力画素値２０２を生成する。具体的には、合成部４０は、入力画素値２００、出力値２３７、２３８を単純に加算して出力画素値２０２を生成する。そのため、合成部４０は加算器で構成でき、回路規模を小さくすることができる。
【００５２】
１．２．第１および第２のフィルター
１．２．１．両フィルターの連動性
本実施形態の画像処理装置１０では、フィルター部３０はεフィルターである第１のフィルター３７と、高域強調フィルターである第２のフィルター３８を含む。なお、以下においては、第１のフィルター３７の閾値ε１２２４、閾値ε２２２５をそれぞれ単にε１、ε２とも表す。そして、第２のフィルター３８の閾値ＣＬ２２６、閾値ＣＨ２２７をそれぞれ単にＣＬ、ＣＨとも表す。
【００５３】
ここで、第１の変換部２６においてε１とＣＬとが対応付けられ、第２の変換部２７においてε２とＣＨとが対応付けられている。本実施形態における関係式は、下記式（１）である。
【００５４】
【数１】
但し、式（１）のεがε１、ε２の場合、ＣはそれぞれＣＬ、ＣＨに対応する。また、変形例として、Ｎを２以上の整数とする下記の式（２）が用いられてもよい。
【００５５】
【数２】
式（１）および式（２）の詳しい説明は後述するが、これらの関係式によって、εの変動があっても、第１のフィルター３７と第２のフィルター３８との間の関連性が保たれることになる。
【００５６】
１．２．２．第１のフィルターの定義式
本実施形態の第１のフィルター３７は、下記式（３）〜式（５）を満たす。
【００５７】
【数３】
ここで、式（３）のｋは注目画素を中心とする領域における周辺画素を表す番号である。本実施形態の入力画素値２００は、注目画素の画素値を含む複数の画素値で構成されている。このとき、ｘ（ｎ）は入力画素値２００のうちの注目画素の画素値が対応する。
【００５８】
そして、ｘ（ｎ＋ｋ）は入力画素値２００のうちの注目画素以外の周辺画素の画素値が対応する。そして、１次元画像の場合、ｋ＝−１、又は＋１である。また、式（３）のΔＥＰＳ（ｎ）は、サンプリングタイミングｎにおける出力値２３７である。
【００５９】
また、式（３）のαｋは式（５）を満たすローパスフィルター係数である。関数Ｆ（ｈｋ）は、ｈｋを差分値（ここでは、周辺画素の画素値と注目画素の画素値との差分）として式（４）を満たす非線形関数である。なお、ε１、ε２はともに正の閾値であって、ε１＜ε２を満たすものとする。
【００６０】
なお、別の実施形態として、第１のフィルター３７は、｜ｘ（ｎ＋ｋ）−ｘ（ｎ）｜＞ε２となるｋをカウントし、そのカウント値が一定値以上の場合にＦ（ｈｋ）＝ｈｋとする非線形フィルターであってもよい。
【００６１】
１．２．３．第２のフィルターの定義式
本実施形態の第２のフィルター３８は、下記式（６）〜式（７）を満たす。
【００６２】
【数４】
ここで、式（６）は１次元画像の高域強調フィルターの式である。βは強度係数であり、固定値であってもよい。本実施形態の入力画素値２００は、注目画素の画素値を含む複数の画素値で構成されている。このとき、ｘ（ｎ）は入力画素値２００のうちの注目画素の画素値が対応する。そして、ｘ（ｎ−１）、ｘ（ｎ＋１）は入力画素値２００のうちの注目画素に隣接する画素の画素値である。また、式（６）のΔＥＤＧＥ（ｎ）は、サンプリングタイミングｎにおける出力値２３８である。
【００６３】
関数Ｇ（ｈ）は、ｈを高域成分として式（７）を満たす非線形関数である。なお、ＣＬ、ＣＨはともに正の閾値であって、ＣＬ＜ＣＨを満たすものとする。
【００６４】
１．２．４．第１、第２のフィルターの入力信号の関係
ここで、図２（Ａ）は、１次元画像の画素値を空間上における画素順（ｎ）に並べて関数ｆ（ｎ）として表したものである。この関数ｆ（ｎ）をｎで１階微分したものは、図２（Ｂ）のようになる。これは、画素値の傾き、すなわち画素値の差分を表す。また、さらにｎで微分すると、図２（Ｃ）のようになる。これは、画素値からなる関数ｆ（ｎ）のラプラシアンである。
【００６５】
ここで、式（３）は、画素値の差分（第１の信号）を入力信号とするフィルターを定義する式である。また、式（６）は、画素値からなる関数ｆ（ｎ）のラプラシアン（第２の信号）を入力信号とするフィルターを定義する式である。
【００６６】
よって、本実施形態の第１のフィルター３７は、第１の信号を入力信号とするノイズ除去フィルター（εフィルター）であり、第２のフィルター３８は、第１の信号を１階微分した第２の信号を入力信号とする高域強調フィルターである。なお、再び図１を参照するものとする。
【００６７】
ここで、下記の式（８）を満たすパラメーターｔを導入する。なお、εは第１のフィルター３７の閾値の１つであって、第１の信号における１つの値である。
【００６８】
【数５】
ここで、式（８）の両辺を微分すると、下記の式（９）のような式が得られる。
【００６９】
【数６】
このとき、第１の信号を微分したものは第２の信号である。式（９）は、第２の信号における１つの値Ｃが、第１の信号のεに対応した値であることを示している。つまり、第１のフィルター３７の閾値εに対応させて、第２のフィルター３８の閾値Ｃを定めることができる。
【００７０】
ここで、上記の式（８）および式（９）から、εとＣとを直接関連付けると前記の式（１）のようになる。そして、本実施形態では、第１の変換部２６、第２の変換部２７がε１、ε２から式（１）に従ってそれぞれＣＬ、ＣＨを生成する。具体的には下記の式（１０）の通りである。
【００７１】
【数７】
図３（Ａ）〜図３（Ｂ）は、本実施形態における、第１、第２のフィルターの閾値の対応を示す図である。図３（Ａ）は第１のフィルターにおける非線形関数Ｆ（ｈｋ）の出力を表す。図３（Ａ）の差分値とは、式（４）のｈｋである。また、図３（Ｂ）は第２のフィルターにおける非線形関数Ｇ（ｈ）の出力を表す。図３（Ｂ）の高域成分とは、式（７）のｈである。図３（Ａ）〜図３（Ｂ）によって、第１のフィルターにおける閾値−ε２、−ε１、ε１、ε２は、それぞれ第２のフィルターにおける閾値−ＣＨ、−ＣＬ、ＣＬ、ＣＨに対応することがわかる。
【００７２】
ここで、第１のフィルターへの入力ｈｋ０に対応する第２のフィルターへの入力をｈ０とする。このとき、例えばε１＜ｈｋ０＜ε２ならば（図３（Ａ））、ＣＬ＜ｈ０＜ＣＨとの関係が成り立つ（図３（Ｂ））。この例では、高域強調フィルター（第２のフィルター）の出力ΔＥＤＧＥ（ｎ）は非ゼロの値であるが、εフィルター（第１のフィルター）の出力ΔＥＰＳ（ｎ）はゼロになる。
【００７３】
この例のように、閾値を式（１）によって対応づけることで、本実施形態の高域強調フィルター（第１のフィルター）とεフィルター（第２のフィルター）とが排他的に実施される。よって、それぞれのフィルターの出力を合成しても、一方の処理の効果を他方が弱めるといった問題が生じない。そのため、不自然な画像が生成されることを回避することができる。なお、排他的に実施とは、排他的に非ゼロの値を出力することをいう。
【００７４】
１．２．５．多段階処理
ここで、本実施形態の第１のフィルター、第２のフィルターは共に１次元画像を扱う。このことは、フィルターの演算処理の負荷を軽減し、回路規模を小さくする効果がある。しかし、一般に画像処理においては、２次元以上の画像処理ができることが好ましい。
【００７５】
本実施形態では、同時に処理する第１のフィルターと第２のフィルターの入力信号の方向が同じであれば、水平方向、垂直方向、斜め方向のいずれも扱うことが可能である。よって、１つの注目画素について、例えば、最初のステップで垂直方向の入力信号を処理し、次のステップで水平方向の入力信号を扱うことで実質的に２次元処理を実現することが可能である。
【００７６】
図４（Ａ）は、原画像３００と入力画素値２００（図１参照）の対応を説明するための図である。原画像３００は水平方向にＮ画素、垂直方向にＭ画素を含む。その画素Ｐｉｊは画素の位置に応じて添え字が付されている。添え字ｉはＭまでの自然数であり垂直方向のｉライン目の画素であることを示す。添え字ｊはＮまでの自然数であり水平方向のｊカラム目の画素であることを示す。
【００７７】
例えば、図４（Ａ）の領域３０２は、注目画素Ｐ３４を中心とした３×３の領域の画素を表す。本実施形態の画像処理装置１０は、このような３×３の領域のうち必要な画素の画素値を入力画素値２００（図１参照）として受け取ってもよい。また、３×３の領域の画素値を入力画素値２００として受け取って、必要に応じて画像処理装置１０が画素を選択してもよい。
【００７８】
図４（Ｂ）は、３×３の領域のうち必要な画素の画素値を選択する方法の１つの例を示すものである。例えば、メモリーＲＥＧ０〜ＲＥＧ８に注目画素Ｘ（ｎ）および周辺画素Ｘ０〜Ｘ３、Ｘ５〜Ｘ８の画素値を保存する。そして、例えば第１のフィルター、第２のフィルターが水平方向Ｄ０の処理をする場合には、入力画素値２００として画素Ｘ３、Ｘ（ｎ）、Ｘ５の画素値を受け取る。また、垂直方向Ｄ１の処理をする場合には、入力画素値２００として画素Ｘ１、Ｘ（ｎ）、Ｘ７の画素値を受け取る。そして、斜め方向Ｄ２の処理をする場合には、入力画素値２００として画素Ｘ０、Ｘ（ｎ）、Ｘ８の画素値を受け取ってもよい。
【００７９】
なお、図２（Ａ）〜図２（Ｃ）においてｎは空間上における画素順としたが、ｎを時間軸上における画素順としても、フィルターにおける扱いは同じである。つまり、画像の特定位置の画素の複数フレームにおける画素値の変化を１次元画像の関数ｆ（ｎ）としてもよい。そして、例えば２次元処理に時間軸方向も加えて３次元処理をすることも可能である。
【００８０】
１．３．合成部
再び図１を参照すると、本実施形態の合成部４０は、入力画素値２００、第１のフィルターの出力値２３７、および第２のフィルターの出力値２３８から、下記の式（１１）に従って出力画素値２０２を求める。
【００８１】
【数８】
ここで、ｙ（ｎ）は出力画素値２０２であり、ｘ（ｎ）は入力画素値２００のうちの注目画素の画素値である。ΔＥＰＳ（ｎ）、ΔＥＤＧＥ（ｎ）は、それぞれ出力値２３７、２３８であって、前記の式（３）、式（６）で定義される。
【００８２】
図３（Ａ）〜図３（Ｂ）を用いて説明したように、本実施形態では高域強調フィルター（第１のフィルター）とεフィルター（第２のフィルター）とが排他的に実施される。よって、合成部はこれらのフィルターの出力値と注目画素の画素値とを単純に加算するだけでよい。したがって、合成部は加算器だけで構成することが可能であり、回路規模を小さくすることが可能である。
【００８３】
このように、本実施形態の画像処理装置は、回路規模を小さく抑えながらも、高域強調フィルター（第１のフィルター）とεフィルター（第２のフィルター）の関連性を保つことで、合成した画像が不自然にならないようにできる。
【００８４】
２．変形例
本実施形態の変形例について図５〜図６を参照して説明する。なお、図１〜図４と同じ要素には同じ符号を付しており説明を省略する。
【００８５】
図５は、変形例の画像処理装置１０Ａのブロック図である。第１実施形態（図１参照）の場合と異なり、閾値ε２、ＣＨは記憶部５０から固定値としてフィルター部に供給される。このとき、閾値設定部２２Ａは、第１のテーブル２４、第１の変換部２６だけを含み、閾値ε１、ＣＬだけが変動する。
【００８６】
変形例の画像処理装置１０Ａは、閾値設定部２２が第２のテーブル２５（図１参照）、第２の変換部２７（図１参照）を含まないため、さらに回路規模を小さくすることができる。なお、記憶部５０は、例えばＲＯＭやＲＡＭでもよいし、その他のメモリーであってもよい。
【００８７】
ここで、変形例においては、第１の変換部２６は前記の式（１）に代えて、前記の式（２）に従って閾値ＣＬを定めてもよい。例えば、式（２）においてＮ＝２とすると、閾値ＣＬは下記の式（１２）のようになる。
【００８８】
【数９】
このとき、第１の変換部２６は、ルート計算を必要としないため、閾値設定部の回路規模を抑えることができる。
【００８９】
この場合において、第１、第２のフィルターの閾値の対応は図６（Ａ）〜図６（Ｂ）のようになる。式（１２）によってＣＬを定義しているため、第１実施形態とは異なり、第１、第２のフィルターの出力が共にゼロとなる区間Ｒ−、Ｒ＋が存在する。しかし、これらの区間については、注目画素の元の画素値がそのまま出力されることになる（式（１１）でΔＥＰＳ（ｎ）＝ΔＥＤＧＥ（ｎ）＝０）。
【００９０】
したがって、変形例でも、出力する画像が不自然にならないようにでき、第１実施形態に比べて更に回路規模を小さくすることが可能になる。なお、その他の構成については、第１実施形態と同じであり、説明を省略する。
【００９１】
３．適用例
本発明の電子機器への適用例について図７〜図８を参照にして説明する。図７は適用例に係る電子機器１のブロック図である。電子機器１は、ＣＰＵ２、入力部３、記憶部４、表示部５、画像処理部１０Ｂを含む。画像処理部１０Ｂは、第１実施形態の画像処理装置１０又は変形例の画像処理装置１０Ａに対応する。
【００９２】
ＣＰＵ２は、他のブロックを制御し様々な演算や処理を行う。ＣＰＵ２は、例えば記憶部４からプログラムを読み込み、プログラムに従って画像処理部１０Ｂにノイズ除去、高域強調を実行させてもよい。
【００９３】
入力部３は、電子機器１の内部又は外部からデータなどを受け取る。入力部３は、例えば入力画像のデータを受け取り、画像処理部１０Ｂが受け取るのに適したフォーマットの画素値へと変換してもよい。
【００９４】
記憶部４は、例えばＤＲＡＭやＳＲＡＭなどのメモリーであってもよいし、ＲＯＭを含んでいてもよい。ＣＰＵ２が使用するプログラムは、例えば記憶部４が含むＲＯＭに書かれていてもよい。
【００９５】
表示部５は、画像処理部１０Ｂでノイズ除去、高域強調を行った画像を出力するためのものである。例えばＬＣＤや電気泳動表示装置であってもよい。
【００９６】
例えば電子機器１において、ＣＰＵ２はリセット後にプログラムを記憶部４から読み込み、コマンドによって画像処理部１０Ｂに画像処理を自動実行させる。このとき、画像処理部１０Ｂによってノイズ除去されながらも、高域強調もされている、自然でメリハリのある画像が表示部５に出力される。
【００９７】
図８（Ａ）に、電子機器１の１つであるパーソナルコンピューター９７０の外観図の例を示す。このパーソナルコンピューター９７０は、表示部５として写真、動画などの画像を表示するＬＣＤ９７５を備える。パーソナルコンピューター９７０が画像処理部１０Ｂを含むことで、小型サイズでありながら、自然でメリハリのある画像をＬＣＤ９７５に表示することができる。
【００９８】
図８（Ｂ）に、電子機器１の１つであるプロジェクター９８０の外観図の例を示す。このプロジェクター９８０は、表示部５に対応する投影部９８５からスクリーン９８９に画像を拡大して表示する。このとき、画像は拡大されるため、ノイズが含まれていると非常に目立ち、高域強調されていないと解像度が低下した印象を与える。プロジェクター９８０が画像処理部１０Ｂを含むことで、小型サイズでありながら、ノイズが除去されて、解像感の高い画像を投影することが可能になる。
【００９９】
本実施形態の画像処理装置は、これらの例に限らず、画像を表示させる様々な電子機器に適用可能である。いずれの場合にも、小型サイズでありながら、自然でメリハリのある画像表示を行う電子機器を提供できる。
【０１００】
４．その他
これらの例示に限らず、本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【０１０１】
１…電子機器、２…ＣＰＵ、３…入力部、４…記憶部、５…表示部、１０，１０Ａ，１０Ｂ…画像処理装置（画像処理部）、２０…解析部、２２，２２Ａ…閾値設定部、２４…第１のテーブル、２５…第２のテーブル、２６…第１の変換部、２７…第２の変換部、３０…フィルター部、３７…第１のフィルター、３８…第２のフィルター、４０…合成部、５０…記憶部、２００…入力画素値、２０２…出力画素値、２２０…解析情報、２２４…閾値ε１、２２５…閾値ε２、２２６…閾値ＣＬ、２２７…閾値ＣＨ、２３７，２３８…出力値、３００…原画像、３０２…領域、９７０…パーソナルコンピューター、９７５…ＬＣＤ、９８０…プロジェクター、９８５…投影部、９８９…スクリーン
【技術分野】
【０００１】
本発明は、画像処理装置、電子機器等に関する。
【背景技術】
【０００２】
画像処理装置において高画質の画像を得るためにはノイズ除去の処理が必要である。例えばデータが圧縮された画像では、ブロック単位の処理で生じるブロックノイズや高周波成分除去によるモスキートノイズ等が含まれている。一方、メリハリのある見栄えのよい画像を得るために、高域強調の画像処理が行われることが好ましい。エッジ部分を強調することで、解像感の高い出力画像を得ることが可能になる。
【０００３】
これら両方の処理を実現するために、従来の画像処理装置では、ローパスフィルター等によって入力画像（以下、原画像とも表現する）のノイズを除去した後に、高域強調処理を行うことがあった。つまり、ノイズ除去のためのフィルターと、高域強調のためのフィルターをシーケンシャルに接続する構成がとられることがあった。
【０００４】
ここで、ノイズ除去という一種の平滑化処理と高域強調処理とは互いに反対の性質を有する画像処理である。そのため、同じ領域の画素値に対して両方の処理が施されると、一方の処理の効果を他方が弱める可能性がある。そこで、単純に両処理のためのフィルターをシーケンシャルに接続するだけでは十分な効果を得ることは困難であった。
【０００５】
そこで、特許文献１の発明は、特定の周波数帯域の近傍の成分を取り出して処理の内容を変化させることで、ノイズ除去に伴う解像度の低下を生じないようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１９９６９５号公報
【特許文献２】特開２００９−２５３３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１の発明は、特定の周波数帯域の近傍の成分を取り出した中間画像を生成する必要があり、メモリー等のリソースを多く必要とする。また、処理の内容を変化させるための判断を行う処理手段も必要となり、回路規模が大きくなるという問題がある。
【０００８】
そこで、特許文献２の発明のように、ノイズ除去のためのフィルターと、高域強調のためのフィルターをパラレルに備えて、処理結果を合成することで回路規模を小さくすることが考えられる。
【０００９】
しかし、特許文献２が開示する構成を単純に適用しても、これらのフィルターは互いに反対の性質を有するため、合成によって不連続な画像が発生するおそれがある。また、合成によって、一方のフィルター処理の効果を他方が弱めてしまうおそれもある。結果として、出力される画像は不自然なものとなる可能性が高い。
【００１０】
本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、回路規模を小さく抑えながらも、複数のフィルターの出力を合成した画像が不自然にならない画像処理装置を提供する。
【課題を解決するための手段】
【００１１】
（１）本発明は、画像処理装置であって、フィルター部と、前記フィルター部が含むフィルターのフィルター処理に関する閾値を設定する閾値設定部と、を含み、前記フィルター部は、第１のフィルターと、前記第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含み、前記閾値設定部は、前記第１のフィルターの閾値に基づいて、前記第２のフィルターの閾値を定める。
【００１２】
（２）この画像処理装置において、前記フィルター部は、注目画素と周辺画素の画素値の差分に基づく第１の信号を入力信号とするノイズ除去フィルターを前記第１のフィルターとし、前記第１の信号を１階微分した第２の信号を入力信号とする高域強調フィルターを前記第２のフィルターとしてもよい。
【００１３】
これらの発明の画像処理装置は、フィルター部に第１のフィルターと、第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含む。そして、第１のフィルターの閾値に基づいて、第２のフィルターの閾値を定める。画像処理装置は、第２のフィルターの閾値を定めるのに、例えば第１のフィルターの閾値を入力値とするテーブルによって第２のフィルターの閾値を定めることができる。そのため、回路規模を小さく抑えることが可能である。
【００１４】
このとき、第１のフィルターと第２のフィルターの閾値は、一方の変化に連動して変化する。そのため、例えば原画像の平均輝度の変化に基づいて第１のフィルターの閾値が変化した場合、第２のフィルターの閾値も連動して変化する。そのため、例えば排他的処理といった第１のフィルターと第２のフィルターとの間の関連性を、常に保つことが可能になる。
【００１５】
ここで、第１のフィルターはノイズ除去フィルターであって、第２のフィルターは高域強調フィルターであってもよい。ノイズ除去フィルターの入力信号は、注目画素と周辺画素の画素値の差分に基づく第１の信号である。そして、高域強調フィルターの入力信号は、第１の信号を１階微分した第２の信号である。
【００１６】
ここで、信号とは空間的にとらえた画素値の集合を指す。例えば、注目画素と水平方向の２つの隣接画素の画素値を、走査時の画素の順番に従って並べたものも信号の一部である。なお、信号とは空間的のみならず、時間的にとらえた画素値の集合を指してもよい。例えば、画像において特定の位置にある画素について、数フレームにおける画素値の集合を指して信号としてもよい。
【００１７】
また、閾値とはフィルター処理の性質を定める値である。例えば、ノイズ除去フィルターが非線形関数Ｆ（ｘ）に従う場合、ｘの絶対値が閾値未満の場合に、Ｆ（ｘ）＝０であってもよい。また、ｘの絶対値が閾値以上の場合に、Ｆ（ｘ）＝ｘであってもよい。また、閾値は１つに限らず、複数あってもよい。
【００１８】
（３）この画像処理装置において、入力画素値に基づいて、前記第１のフィルターの閾値を定める解析情報を生成する解析部と、前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値に基づいて出力画素値を生成する合成部と、を含んでもよい。
【００１９】
（４）この画像処理装置において、前記合成部は、前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値の和を前記出力画素値としてもよい。
【００２０】
これらの発明の画像処理装置は解析部と合成部を含む。解析部は、入力画素値に基づいて第１のフィルターの閾値を定める解析情報を生成する。解析情報は、例えば入力画素値についての輝度の情報であってもよい。第１のフィルターの閾値を解析情報に基づいて動的に変化させることが可能であるため、局所的な特徴（例えば、平均輝度の大きな変化）に応じた適切なフィルター処理を行うことができる。
【００２１】
解析部は、現在の入力画素値だけでなく、バッファー等に保持した過去の入力画素値も用いて解析を行ってもよい。例えばフレームバッファーを備えていて、前のフレームの画像に基づいて必要な解析情報を生成してもよい。このとき、前のフレーム画像から平均輝度を取得して解析情報として生成してもよい。
【００２２】
合成部は、並列に処理を行う第１のフィルター、第２のフィルターの出力を合成する。並列にフィルターを配置して、それらの出力を合成する構造であるので回路規模は小さい。さらに、これらの発明では、例えば一方のみが非ゼロの値を出力する、といった第１のフィルターと第２のフィルターとの間の関連性が常に保たれている。
【００２３】
そのため、第１のフィルター、第２のフィルターの閾値が変動しても、合成部においては、例えば単純な加減算といった一定の合成処理を行うだけでよい。例えばフィルター処理後の出力値を解析して判断する手段を必要としないため、合成部についても回路規模は小さい。
【００２４】
ここで、合成部は、入力画素値、第１のフィルターの出力値、および第２のフィルターの出力値の和を出力画素値としてもよい。合成処理は単純にこれらの出力値を加算するだけであるので、合成部は加算器だけで構成され、回路規模削減の効果が大きい。
【００２５】
（５）この画像処理装置において、前記閾値設定部は、下記式（１）によって前記第２のフィルターの閾値を定めてもよい。
【００２６】
【数１】
但し、εは、前記第１のフィルターの閾値の１つであり、Ｃは、前記第２のフィルターのεに対応する閾値である。
【００２７】
（６）この画像処理装置において、前記閾値設定部は、下記式（２）によって前記第２のフィルターの閾値を定めてもよい。
【００２８】
【数２】
但し、εは、前記第１のフィルターの閾値の１つであり、Ｃは、前記第２のフィルターのεに対応する閾値であり、Ｎは、固定値である２以上の整数である。
【００２９】
（７）この画像処理装置において、前記フィルター部は、異なる２つの閾値を有する前記第１のフィルターを含んでもよい。
【００３０】
（８）この画像処理装置において、前記フィルター部は、前記第１のフィルターの異なる２つの閾値の一方を固定値としてもよい。
【００３１】
これらの発明では、上記の式（１）によってフィルターの閾値の間の関係を定めてもよい。フィルター部は、第１のフィルターと、第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含む。式（１）は、第１のフィルターの入力信号と第２のフィルターの入力信号との関係を表すものである。これにより、第１のフィルターの閾値εと、第２のフィルターの閾値Ｃとが１対１に対応する。
【００３２】
ここで、これらの発明では、上記の式（２）によってフィルターの閾値の間の関係を定めてもよい。式（１）と比べて、ルート計算を必要としないため、閾値設定部の回路規模を抑えることができる。式（２）のＮは例えば２である。このとき、閾値設定部は、第２のフィルターの閾値Ｃを第１のフィルターの閾値εを２倍にするだけで求めることができる。つまり、１ビットのシフト動作で第２のフィルターの閾値Ｃを定めることができるので、更に回路規模を抑えることができる。
【００３３】
ここで、第１のフィルターの閾値εはε１、ε２の２つであってもよい。このとき、第２のフィルターの閾値Ｃも２つである。つまり、ε１、ε２のそれぞれに対応してＣ１、Ｃ２の２つの閾値を有することになる。
【００３４】
この場合において、ε１、ε２の一方が固定値であってもよい。例えば、ε２が固定値の場合には、対応するＣ２も固定値である。すると、ε２の変動に応じてＣ２を生成するテーブルが不要となり、更に回路規模を抑えることができる。
【００３５】
（９）この画像処理装置において、前記フィルター部は、同じ注目画素について、多段階に前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施してもよい。
【００３６】
（１０）この画像処理装置において、前記フィルター部は、少なくとも垂直方向、水平方向の２段階で、前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施してもよい。
【００３７】
これらの発明では、同じ注目画素について、多段階に第１、第２のフィルターによるフィルター処理を施す。そのため、フィルターの回路規模を抑えることが可能である。ここで、多段階とは、例えば垂直方向、水平方向の２段階であってもよい。また、斜め方向の処理が行われてもよいし、フレームバッファーを有する場合にはフレーム間でのフィルター処理を行ってもよい。
【００３８】
ただし、第１のフィルターによって垂直方向のフィルター処理が行われる場合には、第２のフィルターでも垂直方向のフィルター処理を行う必要がある。それぞれの段階において、第１のフィルターの入力信号を１階微分した信号が、第２のフィルターの入力信号であるという関係を満たすためである。
【００３９】
（１１）本発明は、前記のいずれかに記載の画像処理装置を含む電子機器である。
【００４０】
本発明の電子機器は、回路規模を小さく抑えながらも、複数のフィルターの出力を合成した画像が不自然にならない画像処理装置を含む。そのため、自然でメリハリのある画像の表示等が可能である。ここで、電子機器に含まれる画像処理装置は、画像処理回路といったハードウェアであってもよいし、ソフトウェアで画像処理の機能が実現されてもよい。
【図面の簡単な説明】
【００４１】
【図１】第１実施形態の画像処理装置のブロック図。
【図２】図２（Ａ）〜図２（Ｃ）は画像信号、勾配、ラプラシアンの関係を表す図。
【図３】図３（Ａ）〜図３（Ｂ）は第１、第２のフィルターの閾値の対応を示す図。
【図４】図４（Ａ）は原画像の図。図４（Ｂ）は入力画素値の方向を説明する図。
【図５】変形例の画像処理装置のブロック図。
【図６】図６（Ａ）〜図６（Ｂ）は変形例における第１、第２のフィルターの閾値の対応を示す図。
【図７】適用例の電子機器のブロック図。
【図８】図８（Ａ）は電子機器の例であるパーソナルコンピューターの図。図８（Ｂ）は電子機器の例であるプロジェクターの図。
【発明を実施するための形態】
【００４２】
以下、本発明の実施形態について図面を参照して説明する。
【００４３】
１．第１実施形態
本発明の第１実施形態について図１〜図４を参照して説明する。
【００４４】
１．１．画像処理装置の構成
図１は、第１実施形態における画像処理装置１０のブロック図を示す。画像処理装置１０は、解析部２０、閾値設定部２２、フィルター部３０、合成部４０を含む。
【００４５】
フィルター部３０は、第１のフィルター３７と第２のフィルター３８とを含む。本実施形態では、第１のフィルター３７はノイズ除去を行うεフィルターである。第１のフィルター３７は、入力画素値２００と２つの閾値ε１２２４、閾値ε２２２５を受け取り、出力値２３７を生成する。
【００４６】
第２のフィルター３８は画像のエッジ部分を強調する高域強調フィルターである。第２のフィルター３８は、入力画素値２００と２つの閾値ＣＬ２２６、閾値ＣＨ２２７を受け取り、出力値２３８を生成する。なお、第１のフィルター３７、第２のフィルター３８の詳細については後述する。
【００４７】
解析部２０は、入力画素値２００に基づいて、閾値ε１２２４および閾値ε２２２５を定めるための解析情報２２０を生成する。解析情報２２０は、本実施形態のように輝度に関する平均値であってもよいし、最大値、最小値、中央値、その他の統計値であってもよい。
【００４８】
ここで、解析部２０はフレームバッファーを備え、入力画素値２００を保存して１フレーム分の画素について輝度の平均値を求めてもよい。また、符号化などの処理の単位である画素ブロック（例えば８画素×８画素）毎に、そのブロックに含まれる画素についての輝度の平均値を求めてもよい。なお、入力画素値２００は、例えばＹＵＶ形式などの輝度情報を含む画素値であってもよいし、他の形式であって解析部２０が演算で輝度を求めてもよい。また、画素値の各成分は例えば８ビットの信号であって０〜２５５の値をとってもよい。
【００４９】
閾値設定部２２は、解析情報２２０を受け取り、第１のフィルター３７、第２のフィルター３８の閾値を生成する。閾値設定部２２は、第１のテーブル２４、第２のテーブル２５、第１の変換部２６、第２の変換部２７を含む。ここで、第１のテーブル２４、第２のテーブル２５は、解析情報２２０を変換して、それぞれ閾値ε１２２４、閾値ε２２２５を出力する。
【００５０】
第１の変換部２６、第２の変換部２７は、それぞれ閾値ＣＬ２２６、閾値ＣＨ２２７を出力する。ここで、第１の変換部２６、第２の変換部２７は、解析情報２２０に基づいてこれらの閾値を演算で求めるのではなく、それぞれ閾値ε１２２４、閾値ε２２２５から後述する関係式に基づいてこれらの閾値を求める。
【００５１】
合成部４０は、入力画素値２００、第１のフィルターの出力値２３７、および第２のフィルターの出力値２３８に基づいて出力画素値２０２を生成する。具体的には、合成部４０は、入力画素値２００、出力値２３７、２３８を単純に加算して出力画素値２０２を生成する。そのため、合成部４０は加算器で構成でき、回路規模を小さくすることができる。
【００５２】
１．２．第１および第２のフィルター
１．２．１．両フィルターの連動性
本実施形態の画像処理装置１０では、フィルター部３０はεフィルターである第１のフィルター３７と、高域強調フィルターである第２のフィルター３８を含む。なお、以下においては、第１のフィルター３７の閾値ε１２２４、閾値ε２２２５をそれぞれ単にε１、ε２とも表す。そして、第２のフィルター３８の閾値ＣＬ２２６、閾値ＣＨ２２７をそれぞれ単にＣＬ、ＣＨとも表す。
【００５３】
ここで、第１の変換部２６においてε１とＣＬとが対応付けられ、第２の変換部２７においてε２とＣＨとが対応付けられている。本実施形態における関係式は、下記式（１）である。
【００５４】
【数１】
但し、式（１）のεがε１、ε２の場合、ＣはそれぞれＣＬ、ＣＨに対応する。また、変形例として、Ｎを２以上の整数とする下記の式（２）が用いられてもよい。
【００５５】
【数２】
式（１）および式（２）の詳しい説明は後述するが、これらの関係式によって、εの変動があっても、第１のフィルター３７と第２のフィルター３８との間の関連性が保たれることになる。
【００５６】
１．２．２．第１のフィルターの定義式
本実施形態の第１のフィルター３７は、下記式（３）〜式（５）を満たす。
【００５７】
【数３】
ここで、式（３）のｋは注目画素を中心とする領域における周辺画素を表す番号である。本実施形態の入力画素値２００は、注目画素の画素値を含む複数の画素値で構成されている。このとき、ｘ（ｎ）は入力画素値２００のうちの注目画素の画素値が対応する。
【００５８】
そして、ｘ（ｎ＋ｋ）は入力画素値２００のうちの注目画素以外の周辺画素の画素値が対応する。そして、１次元画像の場合、ｋ＝−１、又は＋１である。また、式（３）のΔＥＰＳ（ｎ）は、サンプリングタイミングｎにおける出力値２３７である。
【００５９】
また、式（３）のαｋは式（５）を満たすローパスフィルター係数である。関数Ｆ（ｈｋ）は、ｈｋを差分値（ここでは、周辺画素の画素値と注目画素の画素値との差分）として式（４）を満たす非線形関数である。なお、ε１、ε２はともに正の閾値であって、ε１＜ε２を満たすものとする。
【００６０】
なお、別の実施形態として、第１のフィルター３７は、｜ｘ（ｎ＋ｋ）−ｘ（ｎ）｜＞ε２となるｋをカウントし、そのカウント値が一定値以上の場合にＦ（ｈｋ）＝ｈｋとする非線形フィルターであってもよい。
【００６１】
１．２．３．第２のフィルターの定義式
本実施形態の第２のフィルター３８は、下記式（６）〜式（７）を満たす。
【００６２】
【数４】
ここで、式（６）は１次元画像の高域強調フィルターの式である。βは強度係数であり、固定値であってもよい。本実施形態の入力画素値２００は、注目画素の画素値を含む複数の画素値で構成されている。このとき、ｘ（ｎ）は入力画素値２００のうちの注目画素の画素値が対応する。そして、ｘ（ｎ−１）、ｘ（ｎ＋１）は入力画素値２００のうちの注目画素に隣接する画素の画素値である。また、式（６）のΔＥＤＧＥ（ｎ）は、サンプリングタイミングｎにおける出力値２３８である。
【００６３】
関数Ｇ（ｈ）は、ｈを高域成分として式（７）を満たす非線形関数である。なお、ＣＬ、ＣＨはともに正の閾値であって、ＣＬ＜ＣＨを満たすものとする。
【００６４】
１．２．４．第１、第２のフィルターの入力信号の関係
ここで、図２（Ａ）は、１次元画像の画素値を空間上における画素順（ｎ）に並べて関数ｆ（ｎ）として表したものである。この関数ｆ（ｎ）をｎで１階微分したものは、図２（Ｂ）のようになる。これは、画素値の傾き、すなわち画素値の差分を表す。また、さらにｎで微分すると、図２（Ｃ）のようになる。これは、画素値からなる関数ｆ（ｎ）のラプラシアンである。
【００６５】
ここで、式（３）は、画素値の差分（第１の信号）を入力信号とするフィルターを定義する式である。また、式（６）は、画素値からなる関数ｆ（ｎ）のラプラシアン（第２の信号）を入力信号とするフィルターを定義する式である。
【００６６】
よって、本実施形態の第１のフィルター３７は、第１の信号を入力信号とするノイズ除去フィルター（εフィルター）であり、第２のフィルター３８は、第１の信号を１階微分した第２の信号を入力信号とする高域強調フィルターである。なお、再び図１を参照するものとする。
【００６７】
ここで、下記の式（８）を満たすパラメーターｔを導入する。なお、εは第１のフィルター３７の閾値の１つであって、第１の信号における１つの値である。
【００６８】
【数５】
ここで、式（８）の両辺を微分すると、下記の式（９）のような式が得られる。
【００６９】
【数６】
このとき、第１の信号を微分したものは第２の信号である。式（９）は、第２の信号における１つの値Ｃが、第１の信号のεに対応した値であることを示している。つまり、第１のフィルター３７の閾値εに対応させて、第２のフィルター３８の閾値Ｃを定めることができる。
【００７０】
ここで、上記の式（８）および式（９）から、εとＣとを直接関連付けると前記の式（１）のようになる。そして、本実施形態では、第１の変換部２６、第２の変換部２７がε１、ε２から式（１）に従ってそれぞれＣＬ、ＣＨを生成する。具体的には下記の式（１０）の通りである。
【００７１】
【数７】
図３（Ａ）〜図３（Ｂ）は、本実施形態における、第１、第２のフィルターの閾値の対応を示す図である。図３（Ａ）は第１のフィルターにおける非線形関数Ｆ（ｈｋ）の出力を表す。図３（Ａ）の差分値とは、式（４）のｈｋである。また、図３（Ｂ）は第２のフィルターにおける非線形関数Ｇ（ｈ）の出力を表す。図３（Ｂ）の高域成分とは、式（７）のｈである。図３（Ａ）〜図３（Ｂ）によって、第１のフィルターにおける閾値−ε２、−ε１、ε１、ε２は、それぞれ第２のフィルターにおける閾値−ＣＨ、−ＣＬ、ＣＬ、ＣＨに対応することがわかる。
【００７２】
ここで、第１のフィルターへの入力ｈｋ０に対応する第２のフィルターへの入力をｈ０とする。このとき、例えばε１＜ｈｋ０＜ε２ならば（図３（Ａ））、ＣＬ＜ｈ０＜ＣＨとの関係が成り立つ（図３（Ｂ））。この例では、高域強調フィルター（第２のフィルター）の出力ΔＥＤＧＥ（ｎ）は非ゼロの値であるが、εフィルター（第１のフィルター）の出力ΔＥＰＳ（ｎ）はゼロになる。
【００７３】
この例のように、閾値を式（１）によって対応づけることで、本実施形態の高域強調フィルター（第１のフィルター）とεフィルター（第２のフィルター）とが排他的に実施される。よって、それぞれのフィルターの出力を合成しても、一方の処理の効果を他方が弱めるといった問題が生じない。そのため、不自然な画像が生成されることを回避することができる。なお、排他的に実施とは、排他的に非ゼロの値を出力することをいう。
【００７４】
１．２．５．多段階処理
ここで、本実施形態の第１のフィルター、第２のフィルターは共に１次元画像を扱う。このことは、フィルターの演算処理の負荷を軽減し、回路規模を小さくする効果がある。しかし、一般に画像処理においては、２次元以上の画像処理ができることが好ましい。
【００７５】
本実施形態では、同時に処理する第１のフィルターと第２のフィルターの入力信号の方向が同じであれば、水平方向、垂直方向、斜め方向のいずれも扱うことが可能である。よって、１つの注目画素について、例えば、最初のステップで垂直方向の入力信号を処理し、次のステップで水平方向の入力信号を扱うことで実質的に２次元処理を実現することが可能である。
【００７６】
図４（Ａ）は、原画像３００と入力画素値２００（図１参照）の対応を説明するための図である。原画像３００は水平方向にＮ画素、垂直方向にＭ画素を含む。その画素Ｐｉｊは画素の位置に応じて添え字が付されている。添え字ｉはＭまでの自然数であり垂直方向のｉライン目の画素であることを示す。添え字ｊはＮまでの自然数であり水平方向のｊカラム目の画素であることを示す。
【００７７】
例えば、図４（Ａ）の領域３０２は、注目画素Ｐ３４を中心とした３×３の領域の画素を表す。本実施形態の画像処理装置１０は、このような３×３の領域のうち必要な画素の画素値を入力画素値２００（図１参照）として受け取ってもよい。また、３×３の領域の画素値を入力画素値２００として受け取って、必要に応じて画像処理装置１０が画素を選択してもよい。
【００７８】
図４（Ｂ）は、３×３の領域のうち必要な画素の画素値を選択する方法の１つの例を示すものである。例えば、メモリーＲＥＧ０〜ＲＥＧ８に注目画素Ｘ（ｎ）および周辺画素Ｘ０〜Ｘ３、Ｘ５〜Ｘ８の画素値を保存する。そして、例えば第１のフィルター、第２のフィルターが水平方向Ｄ０の処理をする場合には、入力画素値２００として画素Ｘ３、Ｘ（ｎ）、Ｘ５の画素値を受け取る。また、垂直方向Ｄ１の処理をする場合には、入力画素値２００として画素Ｘ１、Ｘ（ｎ）、Ｘ７の画素値を受け取る。そして、斜め方向Ｄ２の処理をする場合には、入力画素値２００として画素Ｘ０、Ｘ（ｎ）、Ｘ８の画素値を受け取ってもよい。
【００７９】
なお、図２（Ａ）〜図２（Ｃ）においてｎは空間上における画素順としたが、ｎを時間軸上における画素順としても、フィルターにおける扱いは同じである。つまり、画像の特定位置の画素の複数フレームにおける画素値の変化を１次元画像の関数ｆ（ｎ）としてもよい。そして、例えば２次元処理に時間軸方向も加えて３次元処理をすることも可能である。
【００８０】
１．３．合成部
再び図１を参照すると、本実施形態の合成部４０は、入力画素値２００、第１のフィルターの出力値２３７、および第２のフィルターの出力値２３８から、下記の式（１１）に従って出力画素値２０２を求める。
【００８１】
【数８】
ここで、ｙ（ｎ）は出力画素値２０２であり、ｘ（ｎ）は入力画素値２００のうちの注目画素の画素値である。ΔＥＰＳ（ｎ）、ΔＥＤＧＥ（ｎ）は、それぞれ出力値２３７、２３８であって、前記の式（３）、式（６）で定義される。
【００８２】
図３（Ａ）〜図３（Ｂ）を用いて説明したように、本実施形態では高域強調フィルター（第１のフィルター）とεフィルター（第２のフィルター）とが排他的に実施される。よって、合成部はこれらのフィルターの出力値と注目画素の画素値とを単純に加算するだけでよい。したがって、合成部は加算器だけで構成することが可能であり、回路規模を小さくすることが可能である。
【００８３】
このように、本実施形態の画像処理装置は、回路規模を小さく抑えながらも、高域強調フィルター（第１のフィルター）とεフィルター（第２のフィルター）の関連性を保つことで、合成した画像が不自然にならないようにできる。
【００８４】
２．変形例
本実施形態の変形例について図５〜図６を参照して説明する。なお、図１〜図４と同じ要素には同じ符号を付しており説明を省略する。
【００８５】
図５は、変形例の画像処理装置１０Ａのブロック図である。第１実施形態（図１参照）の場合と異なり、閾値ε２、ＣＨは記憶部５０から固定値としてフィルター部に供給される。このとき、閾値設定部２２Ａは、第１のテーブル２４、第１の変換部２６だけを含み、閾値ε１、ＣＬだけが変動する。
【００８６】
変形例の画像処理装置１０Ａは、閾値設定部２２が第２のテーブル２５（図１参照）、第２の変換部２７（図１参照）を含まないため、さらに回路規模を小さくすることができる。なお、記憶部５０は、例えばＲＯＭやＲＡＭでもよいし、その他のメモリーであってもよい。
【００８７】
ここで、変形例においては、第１の変換部２６は前記の式（１）に代えて、前記の式（２）に従って閾値ＣＬを定めてもよい。例えば、式（２）においてＮ＝２とすると、閾値ＣＬは下記の式（１２）のようになる。
【００８８】
【数９】
このとき、第１の変換部２６は、ルート計算を必要としないため、閾値設定部の回路規模を抑えることができる。
【００８９】
この場合において、第１、第２のフィルターの閾値の対応は図６（Ａ）〜図６（Ｂ）のようになる。式（１２）によってＣＬを定義しているため、第１実施形態とは異なり、第１、第２のフィルターの出力が共にゼロとなる区間Ｒ−、Ｒ＋が存在する。しかし、これらの区間については、注目画素の元の画素値がそのまま出力されることになる（式（１１）でΔＥＰＳ（ｎ）＝ΔＥＤＧＥ（ｎ）＝０）。
【００９０】
したがって、変形例でも、出力する画像が不自然にならないようにでき、第１実施形態に比べて更に回路規模を小さくすることが可能になる。なお、その他の構成については、第１実施形態と同じであり、説明を省略する。
【００９１】
３．適用例
本発明の電子機器への適用例について図７〜図８を参照にして説明する。図７は適用例に係る電子機器１のブロック図である。電子機器１は、ＣＰＵ２、入力部３、記憶部４、表示部５、画像処理部１０Ｂを含む。画像処理部１０Ｂは、第１実施形態の画像処理装置１０又は変形例の画像処理装置１０Ａに対応する。
【００９２】
ＣＰＵ２は、他のブロックを制御し様々な演算や処理を行う。ＣＰＵ２は、例えば記憶部４からプログラムを読み込み、プログラムに従って画像処理部１０Ｂにノイズ除去、高域強調を実行させてもよい。
【００９３】
入力部３は、電子機器１の内部又は外部からデータなどを受け取る。入力部３は、例えば入力画像のデータを受け取り、画像処理部１０Ｂが受け取るのに適したフォーマットの画素値へと変換してもよい。
【００９４】
記憶部４は、例えばＤＲＡＭやＳＲＡＭなどのメモリーであってもよいし、ＲＯＭを含んでいてもよい。ＣＰＵ２が使用するプログラムは、例えば記憶部４が含むＲＯＭに書かれていてもよい。
【００９５】
表示部５は、画像処理部１０Ｂでノイズ除去、高域強調を行った画像を出力するためのものである。例えばＬＣＤや電気泳動表示装置であってもよい。
【００９６】
例えば電子機器１において、ＣＰＵ２はリセット後にプログラムを記憶部４から読み込み、コマンドによって画像処理部１０Ｂに画像処理を自動実行させる。このとき、画像処理部１０Ｂによってノイズ除去されながらも、高域強調もされている、自然でメリハリのある画像が表示部５に出力される。
【００９７】
図８（Ａ）に、電子機器１の１つであるパーソナルコンピューター９７０の外観図の例を示す。このパーソナルコンピューター９７０は、表示部５として写真、動画などの画像を表示するＬＣＤ９７５を備える。パーソナルコンピューター９７０が画像処理部１０Ｂを含むことで、小型サイズでありながら、自然でメリハリのある画像をＬＣＤ９７５に表示することができる。
【００９８】
図８（Ｂ）に、電子機器１の１つであるプロジェクター９８０の外観図の例を示す。このプロジェクター９８０は、表示部５に対応する投影部９８５からスクリーン９８９に画像を拡大して表示する。このとき、画像は拡大されるため、ノイズが含まれていると非常に目立ち、高域強調されていないと解像度が低下した印象を与える。プロジェクター９８０が画像処理部１０Ｂを含むことで、小型サイズでありながら、ノイズが除去されて、解像感の高い画像を投影することが可能になる。
【００９９】
本実施形態の画像処理装置は、これらの例に限らず、画像を表示させる様々な電子機器に適用可能である。いずれの場合にも、小型サイズでありながら、自然でメリハリのある画像表示を行う電子機器を提供できる。
【０１００】
４．その他
これらの例示に限らず、本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成）を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【０１０１】
１…電子機器、２…ＣＰＵ、３…入力部、４…記憶部、５…表示部、１０，１０Ａ，１０Ｂ…画像処理装置（画像処理部）、２０…解析部、２２，２２Ａ…閾値設定部、２４…第１のテーブル、２５…第２のテーブル、２６…第１の変換部、２７…第２の変換部、３０…フィルター部、３７…第１のフィルター、３８…第２のフィルター、４０…合成部、５０…記憶部、２００…入力画素値、２０２…出力画素値、２２０…解析情報、２２４…閾値ε１、２２５…閾値ε２、２２６…閾値ＣＬ、２２７…閾値ＣＨ、２３７，２３８…出力値、３００…原画像、３０２…領域、９７０…パーソナルコンピューター、９７５…ＬＣＤ、９８０…プロジェクター、９８５…投影部、９８９…スクリーン
【特許請求の範囲】
【請求項１】
フィルター部と、
前記フィルター部が含むフィルターのフィルター処理に関する閾値を設定する閾値設定部と、を含み、
前記フィルター部は、
第１のフィルターと、
前記第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含み、
前記閾値設定部は、
前記第１のフィルターの閾値に基づいて、前記第２のフィルターの閾値を定める画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記フィルター部は、
注目画素と周辺画素の画素値の差分に基づく第１の信号を入力信号とするノイズ除去フィルターを前記第１のフィルターとし、
前記第１の信号を１階微分した第２の信号を入力信号とする高域強調フィルターを前記第２のフィルターとする画像処理装置。
【請求項３】
請求項１乃至２のいずれかに記載の画像処理装置において、
入力画素値に基づいて、前記第１のフィルターの閾値を定める解析情報を生成する解析部と、
前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値に基づいて出力画素値を生成する合成部と、を含む画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記合成部は、
前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値の和を前記出力画素値とする画像処理装置。
【請求項５】
請求項１乃至４のいずれかに記載の画像処理装置において、
前記閾値設定部は、
下記式（１）によって前記第２のフィルターの閾値を定める画像処理装置。
【数１】
但し、
εは、前記第１のフィルターの閾値の１つであり、
Ｃは、前記第２のフィルターのεに対応する閾値である。
【請求項６】
請求項１乃至４のいずれかに記載の画像処理装置において、
前記閾値設定部は、
下記式（２）によって前記第２のフィルターの閾値を定める画像処理装置。
【数２】
但し、
εは、前記第１のフィルターの閾値の１つであり、
Ｃは、前記第２のフィルターのεに対応する閾値であり、
Ｎは、固定値である２以上の整数である。
【請求項７】
請求項５乃至６のいずれかに記載の画像処理装置において、
前記フィルター部は、
異なる２つの閾値を有する前記第１のフィルターを含む画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記フィルター部は、
前記第１のフィルターの異なる２つの閾値の一方を固定値とする画像処理装置。
【請求項９】
請求項１乃至８のいずれかに記載の画像処理装置において、
前記フィルター部は、
同じ注目画素について、多段階に前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施す画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記フィルター部は、
少なくとも垂直方向、水平方向の２段階で、前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施すノイズ除去装置。
【請求項１１】
請求項１乃至１０のいずれかに記載の画像処理装置を含む電子機器。
【請求項１】
フィルター部と、
前記フィルター部が含むフィルターのフィルター処理に関する閾値を設定する閾値設定部と、を含み、
前記フィルター部は、
第１のフィルターと、
前記第１のフィルターの入力信号を１階微分した信号を入力信号とする第２のフィルターと、を含み、
前記閾値設定部は、
前記第１のフィルターの閾値に基づいて、前記第２のフィルターの閾値を定める画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記フィルター部は、
注目画素と周辺画素の画素値の差分に基づく第１の信号を入力信号とするノイズ除去フィルターを前記第１のフィルターとし、
前記第１の信号を１階微分した第２の信号を入力信号とする高域強調フィルターを前記第２のフィルターとする画像処理装置。
【請求項３】
請求項１乃至２のいずれかに記載の画像処理装置において、
入力画素値に基づいて、前記第１のフィルターの閾値を定める解析情報を生成する解析部と、
前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値に基づいて出力画素値を生成する合成部と、を含む画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記合成部は、
前記入力画素値、前記第１のフィルターの出力値、および前記第２のフィルターの出力値の和を前記出力画素値とする画像処理装置。
【請求項５】
請求項１乃至４のいずれかに記載の画像処理装置において、
前記閾値設定部は、
下記式（１）によって前記第２のフィルターの閾値を定める画像処理装置。
【数１】
但し、
εは、前記第１のフィルターの閾値の１つであり、
Ｃは、前記第２のフィルターのεに対応する閾値である。
【請求項６】
請求項１乃至４のいずれかに記載の画像処理装置において、
前記閾値設定部は、
下記式（２）によって前記第２のフィルターの閾値を定める画像処理装置。
【数２】
但し、
εは、前記第１のフィルターの閾値の１つであり、
Ｃは、前記第２のフィルターのεに対応する閾値であり、
Ｎは、固定値である２以上の整数である。
【請求項７】
請求項５乃至６のいずれかに記載の画像処理装置において、
前記フィルター部は、
異なる２つの閾値を有する前記第１のフィルターを含む画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記フィルター部は、
前記第１のフィルターの異なる２つの閾値の一方を固定値とする画像処理装置。
【請求項９】
請求項１乃至８のいずれかに記載の画像処理装置において、
前記フィルター部は、
同じ注目画素について、多段階に前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施す画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記フィルター部は、
少なくとも垂直方向、水平方向の２段階で、前記第１のフィルターおよび前記第２のフィルターによるフィルター処理を施すノイズ除去装置。
【請求項１１】
請求項１乃至１０のいずれかに記載の画像処理装置を含む電子機器。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−４１４０４（Ｐ２０１３−４１４０４Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７７６３４（Ｐ２０１１−１７７６３４）
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１５日（２０１１．８．１５）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]