画像処理装置、画像処理方法及びプログラム
【課題】復元前の画像の特徴点／非特徴点を解析し、エッジ強調すべき点は強調し、強調すべきでない点は強調を抑えることにより、自然に強調された画像の復元が可能な画像処理装置等を提供すること。
【解決手段】入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出し、前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定し、当該ぼけパラメータを用いた復元フィルタにより入力画像を復元する。
【解決手段】入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出し、前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定し、当該ぼけパラメータを用いた復元フィルタにより入力画像を復元する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ぼけパラメータを用いた復元フィルタにより入力画像を復元する復元処理部を備えた画像処理装置等に関する。
【背景技術】
【０００２】
入力された画像（静止画像・動画像）を鮮明に出力する場合に、画像に対して鮮鋭化処理を施すことが知られている。鮮鋭化の手法としては、種々の方法が考えられるが、例えば画像のエッジを強くすることにより、画像全体が鋭くなり、鮮鋭な画像として表示させる手法が知られている。
【０００３】
ここで、エッジが弱いと画像全体はぼけた表示となってしまう。しかし、過度にエッジを強くすると、リンギングノイズとなり、自然な画像が表示されないといった問題点が生じてしまう。
【０００４】
そこで、鮮鋭な画像を表示させるために、ぼけ度（ぼけパラメータ）を利用して画像処理を施す画像処理が知られている。ここで、適切なぼけ度として、画像のエッジ量を１次微分した値が最大となるぼけ度となるように画像処理を施すことにする。すなわち、入力画像にぼけ度パラメータを変化させて、復元処理を行い、その中で復元度の高いものを補正パラメータとして選択する。
【０００５】
例えば、特許文献１では、ぼけパラメータでのエッジ量（原画像のエッジの強さ×処理後のエッジの強さの総和）を算出し、それを微分した結果からぼけパラメータの最適値を決定している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−７７２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した特許文献１の方法では、画像全体のエッジ量を加算して求めていることから、エッジ強調して欲しくない部分までエッジが強調されてしまうといった問題点が生じてしまう。
【０００８】
例えば、人物の背景に風景があるような（人物は少しぼけていて背景はさらにぼけているような）画像の場合、人物はくっきりした画像となるが、あまりくっきりさせる必要のない風景のぼけた部分まで過度に強調されてしまうことにより、利用者にとって画像が不自然に見えてしまうといった問題点が生じていた。
【０００９】
上述した課題に鑑み、本発明が目的とするところは、復元前の画像の特徴点／非特徴点を解析し、エッジ強調すべき点は強調し、強調すべきでない点は強調を抑えることにより、自然に強調された画像の復元が可能な画像処理装置等を提供することである。
【課題を解決するための手段】
【００１０】
上述した課題に鑑み、本発明の画像処理装置は、ぼけパラメータを用いた復元フィルタにより入力画像を復元する復元処理部を備えた画像処理装置において、入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出する画像解析部と、前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定するぼけパラメータ判定部と、を備えることを特徴とする。
【００１１】
また、本発明の画像処理装置において、前記パラメータ判定部は、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるぼけパラメータが複数ある場合には、当該複数のぼけパラメータの中から、前記特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最大となるぼけパラメータを判定することを特徴とする。
【００１２】
また、本発明の画像処理装置において、前記パラメータ判定部は、前記特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最大となるぼけパラメータの値が複数ある場合には、ぼけパラメータの値が最大となるぼけパラメータを判定することを特徴とする。
【００１３】
本発明の画像処理方法は、ぼけパラメータを用いた復元フィルタにより入力画像を復元する画像処理方法において、入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出し、前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定することを特徴とする。
【００１４】
本発明のプログラムは、コンピュータに、ぼけパラメータを用いた復元フィルタにより入力画像を復元する復元処理機能を実現させ、入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出する画像解析機能と、前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定するぼけパラメータ判定機能と、を実現させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出し、前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定し、当該ぼけパラメータを用いた復元フィルタにより入力画像を復元することができる。したがって、本来エッジを強調がされるべきではない非特徴点の部分について、強調されてしまう箇所が最小となるぼけパラメータの値に基づいて復元することができ、自然な状態で画像を復元することができる。
【図面の簡単な説明】
【００１６】
【図１】画像処理装置の一例である携帯電話の外観を示す図である。
【図２】本実施形態における機能構成を説明する為の図である。
【図３】本実施形態における最適ぼけ復元処理部の機能構成を説明する為の図である。
【図４】本実施形態における復元処理部の機能構成を説明する為の図である。
【図５】復元フィルタについて説明する為の図である。
【図６】復元フィルタについて説明する為の図である。
【図７】復元フィルタについて説明する為の図である。
【図８】本実施形態におけるエッジ強度取得部について説明する為の図である。
【図９】微分フィルタについて説明する為の図である。
【図１０】Ｓｏｂｅｌフィルタについて説明する為の図である。
【図１１】ラプラシアンフィルタについて説明する為の図である。
【図１２】画像において取得された情報（エッジ強度）について表した図である。
【図１３】画像における特徴点を表した図である。
【図１４】本実施形態におけるぼけ判定テーブルのデータ構成の一例を示した図である。
【図１５】本実施形態におけるぼけ判定テーブルを示した図である。
【図１６】本実施形態におけるメイン処理を説明する為の動作フローである。
【図１７】本実施形態における特徴点取得処理を説明する為の動作フローである。
【図１８】本実施形態における画像情報取得処理を説明する為の動作フローである。
【図１９】本実施形態における画像点抽出処理を説明する為の動作フローである。
【図２０】本実施形態における画像解析処理を説明する為の動作フローである。
【図２１】本実施形態における最適ぼけパラメータ判定処理の動作を説明する為の図である。
【図２２】本実施形態における最適ぼけパラメータ判定処理を説明する為の動作フローである。
【図２３】本実施形態における最適ぼけパラメータ判定処理を説明する為の動作フローである。
【図２４】本実施形態における動作例について説明する為の図である。
【図２５】本実施形態におけるぼけ判定テーブルを示した図である。
【図２６】本実施形態におけるぼけ判定テーブルを示した図である。
【図２７】本実施形態におけるぼけ判定テーブルを示した図である。
【図２８】本実施形態における変形例について説明する為の図である。
【図２９】本実施形態における変形例（画像における特徴点の抽出について）を表した図である。
【図３０】本実施形態における変形例（画像における特徴点の抽出について）を表した図である。
【図３１】本実施形態における変形例について説明する為の図である。
【図３２】本実施形態における変形例について説明する為の図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明を実施するための最良の形態について説明する。なお、本実施形態では、一例として、本発明に画像処理装置が、携帯電話１に含まれる場合について説明する。以下、携帯電話１の全体構成、機能構成を説明した後に、本発明を適用した場合の処理の流れと、実施例、更に本発明を適用可能な変形例について説明する。
【００１８】
［１．全体構成］
図１は、第１実施形態における携帯電話１の外観を示す図である。携帯電話１は、液晶ディスプレイ等により構成されている表示部６０と、入力ボタン等により構成されている操作部６５と、音声の入力を受け付けるマイク部７０と、音声を出力するスピーカ部７５とを備えている。
【００１９】
また、放送局から放送された地上波デジタル放送を受信するための受信アンテナ３２と、携帯電話基地局からの送受信信号を受信するための通信アンテナ（不図示）とを併せて備えている。
【００２０】
［２．機能構成］
［２．１ 携帯電話の機能構成］
続いて、携帯電話１の機能構成について図２を用いて説明する。図２は、携帯電話１の機能構成を説明するための図であり、制御部１０に、無線通信部２０と、チューナ部３０と、カメラ部３５と、記憶部４０と、映像信号処理部５０と、表示部６０と、操作部６５と、マイク部７０と、スピーカ部７５とが接続されている。
【００２１】
制御部１０は、携帯電話１の全体を制御するための機能部である。制御部１０は、記憶部４０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばＣＰＵ（Central Process Unit）等により構成されている。
【００２２】
無線通信部２０は、携帯電話通信網に接続するための機能部であり、通信アンテナ２２が接続されている。通信アンテナ２２を介して基地局と、通信データが送受信され、制御部１０に入出力される。なお、無線部２０及び通信アンテナ２２の機能部は、携帯電話１が電話機能として利用される場合に必要となる機能部であり、その詳細な説明は省略する。
【００２３】
チューナ部３０は、受信アンテナ３２が接続されており、受信アンテナ３２を介して、利用者により選局された放送局に対応する放送波からトランスポートストリーム（ＴＳ）のデータ（ＴＳデータ）を抽出し、出力する機能部である。出力されたＴＳデータは、映像信号処理部５０を介して表示部６０及びスピーカ部７５により出力されるか、記憶部４０の画像データ格納領域４２に記憶される。なお、本実施形態では、地上デジタル放送が受信可能なチューナであるとする。
【００２４】
カメラ部３５は、利用者により、レンズを介して、例えばＣＣＤ（Charge Coupled Device）等の撮像素子に結像された画像（静止画像又は動画像）を、画像データとして出力する機能部である。出力された画像データは、映像信号処理部５０を介して表示部６０に表示されるか、記憶部４０の画像データ格納領域４２に記憶される。
【００２５】
記憶部４０は、携帯電話１の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部４０は、例えば、半導体メモリや、ＨＤＤ（Hard Disk Drive）等により構成されている。また、記憶部４０には、画像データ格納領域４２が確保されており、画像データが記憶されている。なお、本実施形態における画像データとは、写真等のいわゆる静止画像データ（例えば、ＪＰＥＧ形式やＴＩＦＦ形式等の静止画像データ）であっても、映像等のいわゆる動画像データ（ＡＶＩ形式や、ＭＰＥＧ形式等の動画像データ）であっても良い。
【００２６】
映像信号処理部５０は、チューナ部３０、カメラ部３５又は画像データ格納領域４２に記憶された画像データ等が入力され、各種処理を施した後表示部６０に出力する為の機能部である。
【００２７】
画像データ変換部５２は、入力された画像データ（処理を施した画像データ）を、表示部６０に出力するために、画像データを変換する機能部である。例えば、一例としてＲＧＢＹＵＶ変換部等により構成される。
【００２８】
最適ぼけ復元処理部５４は、入力された画像データの最適ぼけを判定し、復元する処理を行う機能部である。最適ぼけ復元処理部５４については、後に詳細に説明する。
【００２９】
ガンマ補正部５６は、入力された画像データのガンマ補正を行う機能部である。ガンマ補正を行うことにより、表示部６０により適切な輝度にて画像が出力される。ここで、ガンマ補正値としては、予め画像データに基づいて決められたものであってもよいし、その都度算出された値を利用したものでもよいし、利用者が設定した値を利用することとしてもよい。
【００３０】
表示部６０は、映像信号処理部５０から出力された画像を表示したり、利用者に提供する情報の表示をしたりする為の機能部である。表示部６０としては、例えば液晶ディスプレイ（ＬＣＤ）や、有機ＥＬパネル等により構成されている。
【００３１】
操作部６５は、利用者から各種操作指示等の入力を受け付けるための機能部である。操作部６５としては、例えばボタンキーや、タッチパネル等により構成されている。
【００３２】
マイク部７０及びスピーカ部７５は、音（音声）を入出力するための機能部である。マイク部７０から入力された音声は、音声データに変換されて制御部１０に出力され、適宜各機能部に出力される。また、スピーカ部７５は、各機能部より出力される音声データを音声に変換して出力する機能部である。
【００３３】
すなわち、画像データがチューナ部３０、カメラ部３５又は記憶部４０から入力される。そして、入力された画像データは、映像信号処理部５０によりぼけ復元処理が施される。そして、ぼけ復元処理が施された画像が、表示部６０に出力されることとなる。
【００３４】
［２．２ 最適ぼけ復元処理部の機能構成］
続いて、最適ぼけ復元処理部５４の機能構成について、図３以降を用いて詳細に説明する。図３に示すように、最適ぼけ復元処理部５４は、復元処理部５１０と、エッジ強度取得部５２０と、ぼけ判定部５３０とを備えて構成されている。また、ぼけ判定部５３０は、解析部５３２と、特徴点記憶領域５３４と、ぼけ判定テーブル５３６とを有して構成されている。
【００３５】
［２．２．１ 復元処理部］
復元処理部５１０は、入力された画像データに復元フィルタ（空間フィルタ）処理を施して出力する機能部である。復元処理部５１０は、図４に示すように、復元フィルタ部５１２と、乗算器５１４と、加算器５１６とを有して構成されている。
【００３６】
復元フィルタ部５１２は、解析部５３２からぼけパラメータσが入力され、ぼけパラメータσを利用して画像を復元する。すなわち、入力された画像データに空間フィルタ処理を施して差分を乗算器５１４により所定倍し、もとの入力された画像データ（原画像）に加算器５１６により加算して画像データを出力する。
【００３７】
ここで、本実施形態においては、画像データを復元する復元フィルタの一例としてウィナーフィルタＨｗ（ｕ，ｖ）を使用する。ここで、ウィナーフィルタＨｗ（ｕ，ｖ）は、周波数領域において、下記の式で求められる。
【数１】
【００３８】
ここで、Γは画像によるノイズに基づく定数であり、Ｈ（ｕ，ｖ）は、ぼけを表す点拡がり関数である。本実施形態ではレンズの焦点ぼけによる劣化を想定しており、点であったものが拡がりをもつような劣化である。そのため、Ｈ（ｕ，ｖ）をガウス分布と仮定し、以下の式で表される。
【数２】
【００３９】
なお、ぼけパラメータσは、大きくなるほどぼけ度合いが大きくなり、０以上の実数である。ここで、ぼけパラメータσを変更することにより、ぼけ度合いに応じた画像復元処理が行われることとなる。
【００４０】
ウィナーフィルタＨｗ（ｕ，ｖ）は、周波数領域での式を表しているので、空間フィルタにするには、ウィナーフィルタを逆フーリエ変換する必要がある。ここで、空間フィルタからフーリエ変換をし、周波数領域で処理を行い、更に逆フーリエ変換を行うと回路規模が大きくなるため、予めウィナーフィルタを空間フィルタとする。
【００４１】
ここで、空間フィルタリングと、周波数フィルタリングとの関係を図５に示す。ｆ（ｘ，ｙ）は、フィルタ処理前の画像（空間領域）であり、ｇ（ｘ，ｙ）はフィルタ処理後の画像（空間領域）である。
【００４２】
ここで、ウィナーフィルタＨｗ（ｕ，ｖ）を用いる場合、一度ｆ（ｘ，ｙ）をフーリエ変換してフィルタ処理前の画像をフーリエ変換した出力Ｆ（ｕ，ｖ）を得る必要がある。そして、得られたＦ（ｕ，ｖ）にウィナーフィルタＨｗ（ｕ，ｖ）を使用し、周波数領域のフィルタ処理後の出力Ｇ（ｕ，ｖ）を得る。そして、Ｇ（ｕ，ｖ）に逆フーリエ変換を行うことにより、フィルタ処理後の画像ｇ（ｘ，ｙ）（空間領域）を得る必要がある。
【００４３】
したがって、本実施形態においては、ウィナーフィルタＨｗ（ｕ，ｖ）を、周波数フィルタを空間フィルタに変換されたフィルタｈｗ（ｕ，ｖ）を利用する。このとき、逆フーリエ変換として、離散コサイン変換（ＤＣＴ）を使用してフィルタを変換し、フィルタｈｗ（ｕ，ｖ）は以下の式で得られる。
【００４４】
【数３】
なお、離散フーリエ変換（ＤＦＴ）を使用しても良い。
【００４５】
【数４】
ここで、Ｍ、Ｎはフィルタの大きさを表し、本実施形態においては、Ｍ＝Ｎ＝５として説明する。
【００４６】
なお、離散コサイン変換した後、正規化、量子化した空間フィルタの例を図６に示す。図６（ａ）は、σ＝０．２０、Γ＝０．０１０の場合、（ｂ）は、σ＝０．２１、Γ＝０．０１０の場合、（ｃ）は、σ＝０．２２、Γ＝０．０１０の場合における空間フィルタの例を示す図である。このように、ぼけパラメータσに応じて空間フィルタを記憶しており、本実施形態においてはσ＝０．１６〜０．２５についての各空間フィルタを記憶している。
【００４７】
また上述した実施形態において、σ＝０．１６〜０．２５についての各空間フィルタを記憶したが、エッジ量が大きい程σの小さな値を適応し、エッジ量が小さい程σの大きな値を適応する傾向があるため入力画像のエッジ量から記憶するフィルタの範囲を選択してもよい。
【００４８】
また、当該空間フィルタの特性を示したのが図７である。図７は、横軸に座標、縦軸に係数を取ったグラフであり、一点鎖線のグラフＧ１０がσ＝０．２０（図６（ａ））、点線のグラフＧ１２がσ＝０．２１（図６（ｂ））、実線のグラフＧ１４がσ＝０．２２（図６（ｃ））を示すグラフである。
【００４９】
［２．２．２ エッジ強度取得部］
エッジ強度取得部５２０は、復元処理部５１０から入力された画像データについて、エッジの強度を取得するための機能部であり、エッジ検出フィルタ部５２２と、エッジ強度算出部５２４とを含んで構成されている。
【００５０】
エッジ検出フィルタ部５２２は、入力された画像データの中の明るさが急に変化する部分、すなわちエッジ部分を検出するための機能部である。これは、画像データにおける明るさの微分を求めることにより、明るさの変化する様子がわかり、エッジを検出することが出来る。なお、画像（データ）の中の明るさとしては、本実施形態においては、ＹＵＶのうちＹ（輝度成分）を用いることとする。
【００５１】
ここで、微分フィルタは、以下の式で求めることが出来る。すなわち、各画素における横方向の差分をｆｘ（ｘ、ｙ）、縦方向の差分をｆｙ（ｘ、ｙ）としたとき、
【数５】
で求めることができる。
【００５２】
この場合のフィルタの例を図９に示す。図９（ａ）が縦方向のフィルタ、図９（ｂ）が横方向のフィルタである。
【００５３】
しかしながら、微分フィルタでは、画像の明るさが急激に変化するエッジ部分に関しては検出可能であるが、同時に画像に含まれるノイズに対しても敏感に反応してしまうといった特性があった。
【００５４】
そこで、縦方向エッジを抽出したい場合には、横方向に微分したのちに、それ直交する縦方向に関して平滑化を施すことで、縦方向のエッジは残しつつノイズを低減する方法が考えられる。このような方法としては、例えばＳｏｂｅｌフィルタが考えられる。
【００５５】
Ｓｏｂｅｌフィルタとは、中央に重みをつけて平均化を行うフィルタであり、微分フィルタに比べてノイズを抑えることができる。また、なめらかなエッジが抽出されることとなり、以下の式にて表される。
【数６】
この場合のフィルタの例を図１０に示す。図１０（ａ）が横方向のフィルタを、図１０（ｂ）が縦方向のフィルタを示している。本実施形態では、このＳｏｂｅｌフィルタを適用することとして説明する。
【００５６】
エッジ強度算出部５２４は、エッジ検出フィルタ部５２２において検出されたエッジの強度を算出する機能部である。エッジ強度Ｅ（勾配の大きさ）は、次のように求めることが出来る。
【００５７】
【数７】
上記式は、簡略し、次の式を用いても良い。
【数８】
【００５８】
また、横方向の２次微分の結果と、縦方向の２次微分の結果を足し合わせることにより得られるラプラシアンフィルタの出力結果をエッジ強度Ｅとして用いることとしても良い。なお、ラプラシアンフィルタの一例を、図１１に示す。
【００５９】
［２．２．３ ぼけ判定部］
続いて、ぼけ判定部５３０について説明する。ぼけ判定部５３０は、図３で示したように、解析部５３２と、特徴点記憶領域５３４と、ぼけ判定テーブル５３６とを含んで構成されている。ここで、ぼけ判定テーブル５３６と、特徴点を記憶する特徴点記憶領域５３４は、説明の都合上ぼけ判定部５３０に含めて説明するが、ぼけ判定部５３０に内蔵する記憶装置であっても良いし、記憶部４０に記憶されており、必要に応じて解析部５３２が参照することとしても良い。
【００６０】
解析部５３２は、エッジ強度取得部５２０により入力されたエッジ強度等に基づいて、入力された画像データの最適なぼけパラメータを判定するための機能部であり、その詳細な処理については後述する。なお、解析部５３２は、映像信号処理部５０に含まれる機能として説明するが、制御部１０が同様の機能を実現することとしても良いことは勿論である。
【００６１】
特徴点記憶領域５３４は、画像データにおける画像情報や特徴点を記憶する為の領域である。例えば、図１２のように記憶されている画像情報（画像データのエッジ強度Ｅ）に基づいた特徴点が図１３のように記憶される。すなわち、この場合エッジ強度Ｅが閾値５０より超えた点を特徴点とし、特徴点の箇所には「１」が、非特徴点の箇所には「０」が記憶されている。
【００６２】
ぼけ判定テーブル５３６は、ぼけ判定に用いられるテーブルである。図１４に示すように、ぼけパラメータσ（例えば、「０．１９」）と、特徴点で復元フィルタ処理後の画像においてエッジ強度を判定するための閾値Ｅｔｈ２より大きい数Ｍｎｕｍ（例えば、「２８０」）と、非特徴点で復元フィルタ処理後の画像においてエッジ強度を判定するための閾値Ｅｔｈ２より大きい数ＵＭｎｕｍ（例えば、「４７」）とを対応づけて記憶している。
【００６３】
なお、図１４の場合におけるσとＭｎｕｍとの関係を図１５（ａ）に、σとＵＭｎｕｍとの関係を図１５（ｂ）にそれぞれ示す。
【００６４】
［３．処理の流れ］
続いて、解析部５３２が入力された画像データを解析して最適ぼけパラメータを判定する場合における処理について、図を用いて説明する。
【００６５】
［３．１ メイン処理］
まず、メイン処理について図１６を用いて説明する。まず、入力された画像データに基づいて特徴点抽出処理を実行する（ステップＳ１０００）。特徴点取得処理が実行されると、画像データの特徴点が抽出される。
【００６６】
続いて、画像解析処理を実行する（ステップＳ２０００）。これにより、入力された画像データのぼけ判定テーブル５３６が生成される。
【００６７】
そして、最適ぼけパラメータ判定処理が実行されることにより、生成されたぼけ判定テーブル５３６から最適なぼけパラメータσが判定される（ステップＳ３０００）。
【００６８】
このようにして、入力された画像データに対し、段階的にぼけパラメータσに基づいたぼけ判定テーブルを生成し、生成されたぼけパラメータσの中から最適なものが選択される処理が実行されることになる。
【００６９】
［３．２ 特徴点取得処理］
続いて特徴点取得処理について図１７を用いて説明する。特徴点取得処理は、まず入力された画像データの情報を取得する画像情報取得処理を実行する（ステップＳ１１００）。そして、画像データの情報が取得された後に、画像特徴点抽出処理を実行する（ステップＳ１２００）。これにより、入力された画像データの特徴点が抽出されることとなる。
【００７０】
［３．２．１ 画像情報取得処理］
まず、画像情報取得処理について、図１８を用いて説明する。なお、図１８において用いられている変数は以下の意味である。
【００７１】
ｉ：画素のカウント値
Ｅａｌｌ：全画素のエッジ強度の合計
Ｅｍａｘ：エッジ強度の最大値
Ｅｃｕｒ：現在のエッジ強度
Ｅ（ｎ）：エッジ強度取得部５２０から順次入力されるｎ番目の画素のエッジ強度
ＩＭＧ＿ＳＩＺＥ：全画素数（横サイズ×縦サイズ）
Ｅａｖｇ：エッジ強度の平均値
Ｅｔｈ１：（原）画像データにおいて特徴点を判別するための処理前閾値
Ｅｔｈ２：復元フィルタ処理後の画像データにおいてエッジ強度を判定するための処理後閾値
【００７２】
まず、各変数（ｉ、Ｅａｌｌ、Ｅｍａｘ、Ｅｃｕｒ）を初期化する（ステップＳ１１１０）。続いて、エッジ強度Ｅ（ｉ）がエッジ強度取得部５２０から入力され、現在のエッジ強度Ｅｃｕｒとして代入される（ステップＳ１１１２）。
【００７３】
そして、入力されたエッジ強度からエッジ強度の合計（Ｅａｌｌ）を求める（ステップＳ１１１４）。ここで、ＥｍａｘがＥｃｕｒより小さい場合には（ステップＳ１１１６；Ｙｅｓ）、ＥｍａｘにＥｃｕｒを代入する（ステップＳ１１１８）。
【００７４】
つづいて、ｉがＩＭＧ＿ＳＩＺＥを超えていない場合、すなわち全画素についてまだ処理が行われていない場合は、ｉに１加算（インクリメント）し、ステップＳ１１１２から繰り返し処理を実行する（ステップＳ１１２０；Ｎｏ→ステップＳ１１２２→ステップＳ１１１２）。
【００７５】
他方、ｉがＩＭＧ＿ＳＩＺＥ以上となった場合、すなわち全画素について画像情報を取得した場合は、ＥａｌｌをＩＭＧ＿ＳＩＺＥで除することにより、平均Ｅａｖｇを算出する（ステップＳ１１２４）。
【００７６】
そして、Ｅｔｈ１を（Ｅｍａｘ−Ｅａｖｇ）＊定数α＋Ｅａｖｇと算出し（ステップＳ１１２６）、Ｅｔｈ２を（Ｅｍａｘ−Ｅａｖｇ）＊定数β＋Ｅａｖｇと算出する。ここで、αとは、画像データ（原画像）の特徴点を決定するための加算率であり、βはフィルタ処理後の画像データに閾値判定をするための加算率である。なお、ここでβとαは、β＞αの関係を満たす値とする。このように、画像全体のぼけ度に応じて、閾値を変化させることとなる。
【００７７】
［３．２．２ 画像特徴点抽出処理］
続いて、入力された画像データの特徴点を抽出処理について図１９を用いて説明する。なお、図１９において用いられている変数は以下の意味である。なお、図１８と同じ変数は同じ意味として用いるものとする。
【００７８】
ｉ：画素のカウント値
ｆｌａｇ：特徴点か非特徴点かを示す一時変数
Ｆｐ（ｎ）：特徴点記憶領域５３４に格納するｎ番目の画素が特徴点が非特徴点かを示す値
【００７９】
まず、各変数（ｉ、ｆｌａｇ）を初期化する（ステップＳ１２１０）。続いて、エッジ強度Ｅ（ｉ）がエッジ強度取得部５２０から入力され、現在のエッジ強度Ｅｃｕｒとして代入される（ステップＳ１２１２）。
【００８０】
つづいて、ＥｃｕｒがＥｔｈ１を超えている場合には、ｆｌａｇに「１」を代入し（ステップＳ１２１４；Ｙｅｓ→ステップＳ１２１６）、超えていない場合にはｆｌａｇに「０」を代入する（ステップＳ１２１４；Ｎｏ→ステップＳ１２１８）。そして、Ｆｐ（ｉ）に、ｆｌａｇを代入する（ステップＳ１２２０）。
【００８１】
つづいて、ｉがＩＭＧ＿ＳＩＺＥを超えていない場合、すなわち全画素についてまだ処理が行われていない場合は、ｉに１加算（インクリメント）し、ステップＳ１２１２から繰り返し処理を実行する（ステップＳ１２２２；Ｎｏ→ステップＳ１２２４→ステップＳ１２１２）。
【００８２】
他方、ｉがＩＭＧ＿ＳＩＺＥ以上となった場合、すなわち全画素について画像情報を取得した場合は、本処理を終了する（ステップＳ１２２２；Ｙｅｓ）。
【００８３】
［３．３ 画像解析処理］
続いて、画像解析処理について、図２０を用いて説明する。なお、図２０において用いられている変数は以下の意味である。なお、図１８、図１９と同じ変数は同じ意味として用いるものとする。
【００８４】
σ：ぼけパラメータ
ｓ：ぼけパラメータのステップ数
ＢＬ［ｎ］：ぼけパラメータがｎの場合のぼけ判定テーブル
ＢＬ［ｎ］．Ｍｎｕｍ：ぼけパラメータｎのとき特徴点でエッジ強度が閾値Ｅｔｈ２より大きい数
ＢＬ［ｎ］．ＵＭｎｕｍ：ぼけパラメータｎのとき非特徴点でエッジ強度が閾値Ｅｔｈ２より大きい数
【００８５】
まず、ぼけパラメータσを初期値に設定する（ステップＳ２０１０）。また、各変数（ｉ、Ｍｎｕｍ、ＵＭｎｕｍ）を初期化する（ステップＳ２０１２）。また、ＥｃｕｒにＥ（ｉ）を代入し（ステップＳ２０１４）、ｆｌａｇにＦｐ（ｉ）を代入する（ステップＳ２０１６）。
【００８６】
つづいて、ＥｃｕｒがＥｔｈ２を超えているか否かを判定する（ステップＳ２０１８）。ここで、Ｅｃｕｒが、Ｅｔｈ２を超えている場合には（ステップＳ２０１８；Ｙｅｓ）、ｆｌａｇが「１」であるか否かを判定する（ステップＳ２０２０）。ｆｌａｇが「１」である場合は、当該画素は特徴点であることから、Ｍｎｕｍに１加算し（ステップＳ２０２０；Ｙｅｓ→ステップＳ２０２２）、ｆｌａｇが「０」である場合は、当該画素は非特徴点であることから、ＵＭｎｕｍに１加算する（ステップＳ２０２０；Ｎｏ→ステップＳ２０２４）。
【００８７】
つづいて、ｉがＩＭＧ＿ＳＩＺＥを超えていない場合、すなわち全画素についてまだ処理が行われていない場合は、ｉに１加算（インクリメント）し、ステップＳ２０１４から繰り返し処理を実行する（ステップＳ２０２６；Ｎｏ→ステップＳ２０２８→ステップＳ２０１４）。
【００８８】
他方、ｉがＩＭＧ＿ＳＩＺＥ以上となった場合、すなわち全画素について処理が終了した場合は（ステップＳ２０２６；Ｙｅｓ）、ＢＬ［σ］．ＭｎｕｍにＭｎｕｍを、ＢＬ［σ］．ＵＭｎｕｍにＵＭｎｕｍをそれぞれ代入する（ステップＳ２０３０）。
【００８９】
また、ぼけパラメータσが終了値に到達していない場合は、次のぼけパラメータについて処理を実行するため、ｓを加算してステップＳ２０１２から処理を繰り返し実行する（ステップＳ２０３２；Ｎｏ→ステップＳ２０３４→ステップＳ２０１２）。
【００９０】
他方、ぼけパラメータσについて終了値まで処理が終了した場合には（ステップＳ２０３２；Ｙｅｓ）、画像解析処理を終了する。
【００９１】
［３．４ 最適ぼけパラメータ判定処理］
つづいて、最適ぼけパラメータ判定処理について説明する。最適ぼけパラメータ判定処理は、ぼけ判定テーブル５３６に基づき、最適となるぼけパラメータσの値を出力する処理である。
【００９２】
ここで、最適ぼけパラメータを判定する方法としては、図２１に示すように３通り想定される。すなわち、ぼけパラメータσの値を最小値から大きい値へ昇順に判定していく方法（図２１（ａ））と、ぼけパラメータσの値を最大値から小さい値へ降順に判定していく方法（図２１（ｂ））とが考えられる。また、図２１（ｃ）に示すように、略中央値でまず判定し、そこから昇順方式を採用するか、降順方式を採用するかと組み合わせて判定することも可能である。
【００９３】
ここで、基本となる昇順方式について図２２を用いて、降順方式について図２３を用いてそれぞれ説明する。なお、最適ぼけパラメータ判定処理において用いられている変数は以下の意味である。なお、既に用いられた変数と同じ変数は、同じ意味で用いられているものとする。
【００９４】
Ｐｎｕｍ：特徴点以外の画素で所定の閾値以上の画素の許容数
σｍ：最適なぼけパラメータ
σ１：ＵＭｎｕｍがＰｎｕｍ以下の区間でＭｎｕｍが最大となるぼけパラメータσ
Ｍｍａｘ：Ｍｎｕｍの最大値
Ｍｃｕｒ：現在のＭｎｕｍの値
【００９５】
［３．４．１ 最適ぼけパラメータ判定処理（昇順方式）］
図２２を用いて、最適ぼけパラメータ判定処理について、昇順方式について説明する。まず、ぼけパラメータσを初期値に設定する（ステップＳ３０１０）。続いて、ＢＬ［σ］を読み出し（ステップＳ３０１２）、ＢＬ［σ］．ＵＭｎｕｍがＰｎｕｍを超えているか否かを判定する（ステップＳ３０１４）。
【００９６】
ここで、Ｐｎｕｍを超えている場合には（ステップＳ３０１４；Ｙｅｓ）、ぼけパラメータσが終了値であるか否かを判定する（ステップＳ３０１６）。ここで、ぼけパラメータσが終了値ではない場合、ステップ数ｓを加算し、ステップＳ３０１２から処理を繰り返し実行する（ステップＳ３０１６；Ｎｏ→ステップＳ３０１８→ステップＳ３０１２）。
【００９７】
他方、ステップＳ３０１６において、ぼけパラメータσがすでに終了値である場合には（ステップＳ３０１６；Ｙｅｓ）、σｍにσを代入し（ステップＳ３０３８）、σｍを最適ぼけパラメータとして出力して本処理を終了する（ステップＳ３０４０）。
【００９８】
ステップＳ３０１４において、ＢＬ［σ］．ＵＭｎｕｍがＰｎｕｍ以下の場合、Ｍｍａｘに、ＢＬ［σ］．Ｍｎｕｍを代入し、σ１にσを代入する（ステップＳ３０２０）。ここで、ぼけパラメータσが終了値である場合には、σｍにσを代入し（ステップＳ３０３８）、σｍを最適ぼけパラメータとして出力して本処理を終了する（ステップＳ３０４０）。
【００９９】
ステップＳ３０２２において、ぼけパラメータσがまだ終了値で無い場合には（ステップＳ３０２２；Ｎｏ）、σにステップ数ｓを加算する（ステップＳ３０２４）。
【０１００】
つづいて、ＢＬ［σ］を読み出し（ステップＳ３０２６）、ＭｃｕｒにＢＬ［σ］．Ｍｎｕｍを代入する（ステップＳ３０２８）。
【０１０１】
ここで、ＢＬ［σ］．ＵＭｎｕｍがＰｎｕｍを超えた場合には（ステップＳ３０３０；Ｙｅｓ）、ぼけパラメータσにσ１を代入し（ステップＳ３０３６）、当該σを最適ぼけパラメータとして出力する（ステップＳ３０３８→ステップＳ３０４０）。
【０１０２】
他方、ステップＳ３０３０において、ＢＬ［σ］．ＵＭｎｕｍがＰｎｕｍ以下である場合（ステップＳ３０３０；Ｎｏ）、ＭｃｕｒがＭｍａｘ以上であるか否かを判定する（ステップＳ３０３２）。ここで、ＭｃｕｒがＭｍａｘ以上の場合には、ＭｍａｘにＭｃｕｒを、σ１にσをそれぞれ代入し、ステップＳ３０２２に戻る（ステップＳ３０３４→ステップＳ３０２２）。なお、ＭｃｕｒがＭｍａｘ未満の場合には、そのままステップＳ３０２２に戻る（ステップＳ３０３２；Ｎｏ→ステップＳ３０２２）。
【０１０３】
［３．４．２ 最適ぼけパラメータ判定処理（降順方式）］
続いて、降順方式について説明する。降順方式は、図２２の処理が、初期値からσをステップ数だけ加算して判定したのに対し、図２３の処理は、初期値からσをステップ数だけ減算して判定する。なお、図２２と同一の処理については、同一の符号を付し、その詳細な説明を省略する。
【０１０４】
まず、ステップＳ３０１６において、ぼけパラメータσの値が終了値でない場合は、ぼけパラメータ値からステップ数ｓだけ減算する（ステップＳ３０５０）。これにより、σの値の最大値から小さい方向に判定することとなる。これは、ステップＳ３０２４に代えて、ステップＳ３０５２が実行されることも同様である。
【０１０５】
また、ステップＳ３０３０において、ＢＬ［σ］．ＵＭｎｕｍがＰｎｕｍ以下の場合（ステップＳ３０３０；Ｎｏ）、ＭｃｕｒがＭｍａｘより大きいか否かを判定する（ステップＳ３０５４）。ここで、ＭｃｕｒがＭｍａｘ以下の場合には（ステップＳ３０５４；Ｎｏ）、σ１を最適なぼけパラメータとして出力して処理を終了する（ステップＳ３０５４；Ｎｏ→ステップＳ３０３６→ステップＳ３０３８→ステップＳ３０４０）。
【０１０６】
他方、ＭｃｕｒがＭｍａｘより大きい場合には（ステップＳ３０５４；Ｙｅｓ）、ＭｍａｘにＭｃｕｒを、σ１にσを代入し（ステップＳ３０５６）、ステップＳ３０２２から処理を繰り返し実行する。
【０１０７】
［３．４．３ 最適ぼけパラメータ判定処理（組み合わせ方式）］
組み合わせ方式は、上述した昇順方式と降順方式を組み合わせる方式である。すなわち、σの中央値から開始する。ここで、開始する値としては、単純に中央値であってもよし、過去の予測から開始する値を決定しても良い。
【０１０８】
開始するσの位置がＵＭｎｕｍ≦Ｐｎｕｍの条件を満たさない場合には昇順方式を適用し、ＵＭｎｕｍ≦Ｐｎｕｍの条件を満たす場合には降順方式を採用すれば良い。これにより、画像解析するσの値が多い場合には、短期間で最適なパラメータを検出することが出来るといった利点がある。
【０１０９】
［４．動作例］
続いて、本実施形態における動作例について説明する。まず、図２４は、本実施形態を適用した場合における状態を模式的に説明する為の図であり、一例として６フレーム必要な場合について説明する。
【０１１０】
すなわち、まずフレームＦ１０において原画像（フィルター処理前の画像）の情報が取得される。続いて、フレームＦ１２において原画像の特徴点が抽出される。特徴点が抽出された後は、ぼけ判定パラメータσの値を可変させて、フレームＦ１４〜Ｆ２０まで段階的に出力されることとなる。そして、フレームＦ２０が表示された段階で、最適なパラメータが判定され、フレームＦ２２から最適と判定されたぼけ判定パラメータσが適用されて出力されることとなる。すなわち、フレームＦ１４〜Ｆ２０の画像が表示部６０に順次表示されることになる。
【０１１１】
［４．１ 第１動作例］
まず、図１４に示したぼけ判定テーブル５３６を用いた場合について説明する。図１４のぼけ判定テーブル５３６は、図１６に示した特徴点抽出処理Ｓ１０００及び画像解析処理Ｓ２０００により作成されたテーブルである。また、以下の動作例はＰｎｕｍは、画像のサイズ（縦×横）に、特徴点以外の画素で所定の閾値以上を許容する率を乗算した値を用いることとし、本実施形態では「１００」として説明する。また、ステップ数ｓは「０．０１」とする。
【０１１２】
［４．１．１ 昇順方式による場合］
まず、初期値として、σ＝０．１９と設定する（図２２のステップＳ３０１０）。σ＝０．１９のＵＭｎｕｍ（４７）とＰｎｕｍ（１００）とを比較すると、ステップＳ３０１４の条件を満たさない（すなわち許容範囲内である）ため、ぼけパラメータσ１＝０．１９、Ｍｍａｘ＝２８０が代入される（図２２のステップＳ３０２０）。
【０１１３】
つづいて、σ（０．１９）は終了値ではないため、σ（０．２０）となる（ステップＳ３０２４）。そして、σ＝０．２０のＵＭｎｕｍ（９８）とＰｎｕｍ（１００）とを比較すると、ステップＳ３０３０の条件を満たさない（すなわち許容範囲である）ため、Ｍｃｕｒ（３５０）と、Ｍｍａｘ（２８０）とを比較する（ステップＳ３０３２）。
【０１１４】
ここで、Ｍｃｕｒ（３５０）≧Ｍｍａｘ（２８０）の条件を満たしているため（ステップＳ３０３２；Ｙｅｓ）、Ｍｍａｘに３５０が、σ１に０．２０が代入される（ステップＳ３０３４）。
【０１１５】
次に、ぼけパラメータσは終了値ではないため（ステップＳ３０２２）、σ＝０．２１となる（ステップＳ３０２４）。次に、σ＝０．２１のＵＭｎｕｍ（１２３）とＰｎｕｍ（１００）とを比較すると、ＵＭｎｕｍがＰｎｕｍを超えた（すなわち、許容範囲外となった）ため（ステップＳ３０３０；Ｙｅｓ）、σ１の０．２０がσｍとなる（ステップＳ３０３６〜ステップＳ３０４０）。すなわち、最適なぼけパラメータとして０．２０が出力されることとなる。
【０１１６】
［４．１．２ 降順方式による場合］
つづいて、降順方式による場合について説明する。まず、初期値としてσ＝０．２２を設定する（図２３のステップＳ３０１０）。σ＝０．２２のＵＭｎｕｍ（１４２）とＰｎｕｍ（１００）とを比較すると、ステップＳ３０１４の条件を満たすこととなる（すなわち、許容範囲外である）。したがって、σ＝０．２１に更新される（ステップＳ３０５０）。
【０１１７】
次に、σ＝０．２１のＵＭｎｕｍ（１２３）とＰｎｕｍ（１００）とを比較すると、同様にステップＳ３０１４の条件を満たすため、σ＝０．２０に更新される。
【０１１８】
σ＝０．２０のＵＭｎｕｍ（９８）とＰｎｕｍ（１００）とを比較すると、条件を満たさない（すなわち許容範囲内である）こととなるので、Ｍｍａｘに３５０、σ１＝０．２０が代入される（ステップＳ３０２０）。
【０１１９】
次に、σは終了値（この場合はぼけ判定テーブルの先頭の値）ではないため、σ＝０．１９に更新される（ステップＳ３０５２）。ここで、σ＝０．１９のＵＭｎｕｍ（４７）は、Ｐｎｕｍ（１００）以下であるが、σ＝０．１９のＭｃｕｒ（２８０）＞Ｍｍａｘ（３５０）の条件を満たさないため（ステップＳ３０５４；Ｎｏ）、σ１の値である０．２０がσｍとなる（ステップＳ３０３６〜Ｓ３０４０）。すなわち、最適なぼけパラメータとして０．２０が出力されることとなる。
【０１２０】
［４．１．３ 組み合わせ方式による場合］
つづいて、組み合わせ方式について説明する。組み合わせ方式の場合、開始するσがσ＝０．２０の場合と、σ＝０．２１の場合について説明する。
【０１２１】
（ａ）σ＝０．２０の場合
σ＝０．２０の場合のＵＭｎｕｍ（９８）と、Ｐｎｕｍ（１００）とを比較すると、ＵＭｎｕｍは許容範囲内にあるため，昇順方式を選択して処理が実行される。
【０１２２】
（ｂ）σ＝０．２１の場合
σ＝０．２１の場合のＵＭｎｕｍ（１２３）と、Ｐｎｕｍ（１００）とを比較すると、ＵＭｎｕｍは許容範囲外にあるため、降順方式を選択して処理が実行される。
【０１２３】
このように、組み合わせ方式を用いることにより、より早い段階で最適なぼけパラメータσを判定することが出来るようになる。
【０１２４】
［４．２ 第２動作例］
続いて、図２５に示すぼけ判定テーブルにおける動作について説明する。図２５に示す用に、ＵＭｎｕｍに同じ値がある場合について、昇順方式を適用して説明する。
【０１２５】
まずσ＝０．１９のとき、ＵＭｎｕｍ（９８）に対応するＭｎｕｍ（３５０）がＭｍａｘとなる（図２２のステップＳ３０３４）。そして、つづくσ＝０．２０において、ＵＭｎｕｍ（９８）と、Ｐｎｕｍ（１００）との条件を満たしている。
【０１２６】
この場合、現在のＭｃｕｒ（３６０）と、記憶されているＭｍａｘ（３５０）との値を比較すると、Ｍｃｕｒの方が大きい。従って、これにより新たなＭｃｕｒ（３６０）の値にて、Ｍｍａｘが更新される。
【０１２７】
なお、この次はσ＝０．２１であるが、ＵＭｎｕｍ＞Ｐｎｕｍの条件に該当する（許容範囲にない）ため、最適なぼけパラメータσｍは０．２０となる。すなわち、同じ値のＵＭｎｕｍがある場合には、Ｍｎｕｍが大きい方を最適なぼけパラメータσｍとして出力する。
【０１２８】
なお、図２６に示す用に、更にＭｎｕｍについても同じ値がある場合には、ぼけパラメータσの大きいものが最適なぼけパラメータσｍと判定され、出力される。
【０１２９】
［４．３ 第３動作例］
続いて、図２７に示すぼけ判定テーブルにおける動作について説明する。図２７に示す用に、ＵＭｎｕｍに同じ値がある場合について、降順方式を適用して説明する。
【０１３０】
まず、σ＝０．２０のとき、ＵＭｎｕｍ（９８）に対応するＭｎｕｍ（３６０）がＭｍａｘとなる（図２３のステップＳ３０２０）。つづいて、σ＝０．１９のとき、Ｐｎｕｍ（１００）より小さい（ステップＳ３０３０；Ｎｏ）。
【０１３１】
ここで、σ＝０．１９のＵＭｎｕｍ（３６１）＞Ｍｍａｘ（３６０）の関係を満たすため、Ｍｍａｘは３６１、σ１は０．１９に更新される（ステップＳ３０５６）。すなわち、同じ値のＵＭｎｕｍがある場合には、Ｍｎｕｍが大きい値のものが最適なぼけパラメータσｍと判定され、出力される。
【０１３２】
［５．効果］
このように、本実施形態によれば、処理画像のエッジ強度に対する処理を異なるパラメータを用いて行った処理後の画像に基づいて、処理前の画像の最小エッジ強度〜最大エッジ強度間の値である処理前閾値であるＥｔｈ１と、処理前閾値以上の値をとる処理後閾値Ｅｔｈ２とを用いることにより、処理前画像における値が処理前閾値Ｅｔｈ１未満の座標について、処理後に処理後閾値Ｅｔｈ２以上のエッジ強度となった座標数が最小である変換後画像が出力されることになる。
【０１３３】
また、そのような変換後画像が複数ある場合には、その中から処理前画像における値が処理前閾値Ｅｔｈ１以上の座標について、処理後閾値Ｅｔｈ２のエッジ強度となった座標数が最大である変換後画像が出力されることになる。
【０１３４】
さらに、上述した変換後画像が複数ある場合には、ぼけパラメータσが最大である変換後画像が出力されることとなる。
【０１３５】
このように、本実施形態によれば、本来エッジを強調したくない箇所のエッジが強調されることが少なくなり、より自然の画像の仕上がりとなる処理を施すことができる。
【０１３６】
［６．変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【０１３７】
上述した実施形態においては、まずぼけ判定テーブルを総て生成してから、最後に最適なぼけパラメータを判定したが、σを変更する度に、最適ぼけパラメータ判定処理をその都度行うこととしても良い。
【０１３８】
具体的には、図２８に示す用に、例えば、フレームＦ３４の後に最適ぼけパラメータの判定（σ＝０．１９）、フレームＦ３６の後に最適ぼけパラメータの判定（σ＝０．１９〜０．２０）、フレームＦ３８の後に最適ぼけパラメータの判定（σ＝０．１９〜０．２１）と随時行っていく。
【０１３９】
そして、最適ぼけパラメータが判定された段階で、最適なぼけパラメータσを反映することとする。この場合、実施形態と比較して処理をその都度行う必要があるが、少ない時間（フレーム）にて、最適なぼけパラメータの判定を行うことが出来る。
【０１４０】
また、上述した実施形態において、例えば図２６で示したようにＵＭｎｕｍのと、Ｍｎｕｍの値がともに同じ値の場合は、ぼけパラメータσの値が大きい方を最適なぼけパラメータとして判定したが、利用者により選択させることとしてもよい。すなわち、表示部６０に、それぞれのパラメータの場合を出力し、利用者が視認してキーやタッチパネルの操作により最適なぼけパラメータを選択させることとする。図２６の場合はσ＝０．１９とσ＝０．２０を選択させることとなる。
【０１４１】
また、上述した実施形態において、特徴点を抽出する方法としては総ての画素に基づいて算出したが、画像の一部を用いて処理を行っても良い。例えば、図２９に示す用に、画像の一部を切り出して処理を行うこととしても良いし、図３０に示す用に、画素を間引いて特徴点を求めることとしても良い。
【０１４２】
また、画像情報取得処理（図１８）のステップＳ１１２６及びステップＳ１１２８において閾値Ｅｔｈ１、Ｅｔｈ２の求め方の一例を示したが、他の方法で算出することも可能であることは勿論である。
【０１４３】
例えば、Ｅｔｈ１＝Ｅｍａｘ−Ａ、Ｅｔｈ２＝Ｅｍａｘ−Ｂとして求めることも可能である。ここで、Ａは画像データ（原画像）の特徴点を決定するための減算値であり、Ｂはフィルタ処理後の画像に閾値判定をするための減算値である。また、ＡとＢとは、Ａ＞Ｂの関係を満たしている。
【０１４４】
また、上述したぼけパラメータは、正規分布（ガウス分布）の標準偏差σに限らず、注目画素（u=0,v=0）で一番Ｈ（ｕ，ｖ）が大きく、その注目画素から離れる（｜ｕ｜＞０、｜ｖ｜＞０）ほどＨ（ｕ，ｖ）が小さくなるようなぼけ関数（ぼけ復元関数）を変更できるパラメータであればよい。
【０１４５】
例えば図３１に示すような三角波Ｈ（ｕ）＝ｗsinｃ２（ｗｕ）のｗをぼけパラメータとしてもよい。但しＨ（ｕ）は、一次元での関数であり、画像に適用するためには２次元Ｈ（ｕ，ｖ）の関数に拡張する必要がある。
【０１４６】
また、上述した実施形態においては、画像処理装置を携帯電話に適用した場合について説明したが、テレビ、カーナビゲーション、コンピュータ等の種々の表示装置に適用可能なことは勿論である。
【０１４７】
例えば、図３２にコンピュータに接続される単純な表示装置９を例にとって説明する。表示装置９は、制御部９００に、外部入力部９１０と、記憶部９２０と、映像信号処理部９３０と、表示部９４０とが接続されている。映像信号処理部９３０には、本発明を適用した最適ぼけ復元処理部５４と、ガンマ補正部５６とが含まれている。
【０１４８】
ここで、外部入力部９１０により入力された映像信号は、映像信号処理部９３０を介して表示部９４０に表示されることとなる。このとき、最適ぼけ復元処理部により、最適なぼけパラメータが判定され、当該ぼけパラメータが適用されたフィルタ処理が行われることにより、本来エッジを強調したくない箇所のエッジが強調されることが少なくなり、より自然な仕上がりとなる画像を表示することができる。
【符号の説明】
【０１４９】
１ 携帯電話
１０ 制御部
２０ 無線通信部
２２ 通信アンテナ
３０ チューナ部
３２ 受信アンテナ
３５ カメラ部
４０ 記憶部
４２ 画像データ格納領域
５０ 映像信号処理部
５２ 画像データ変換部
５４ 最適ぼけ復元処理部
５１０ 復元処理部
５１２ 復元フィルタ部
５１４ 乗算器
５１６ 加算器
５２０ エッジ強度取得部
５２２ エッジ検出フィルタ部
５２４ エッジ強度算出部
５３０ ぼけ判定部
５３２ 解析部
５３４ 特徴点記憶領域
５３６ ぼけ判定テーブル
５６ ガンマ補正部
６０ 表示部
６５ 操作部
７０ マイク部
７５ スピーカ部
【技術分野】
【０００１】
本発明は、ぼけパラメータを用いた復元フィルタにより入力画像を復元する復元処理部を備えた画像処理装置等に関する。
【背景技術】
【０００２】
入力された画像（静止画像・動画像）を鮮明に出力する場合に、画像に対して鮮鋭化処理を施すことが知られている。鮮鋭化の手法としては、種々の方法が考えられるが、例えば画像のエッジを強くすることにより、画像全体が鋭くなり、鮮鋭な画像として表示させる手法が知られている。
【０００３】
ここで、エッジが弱いと画像全体はぼけた表示となってしまう。しかし、過度にエッジを強くすると、リンギングノイズとなり、自然な画像が表示されないといった問題点が生じてしまう。
【０００４】
そこで、鮮鋭な画像を表示させるために、ぼけ度（ぼけパラメータ）を利用して画像処理を施す画像処理が知られている。ここで、適切なぼけ度として、画像のエッジ量を１次微分した値が最大となるぼけ度となるように画像処理を施すことにする。すなわち、入力画像にぼけ度パラメータを変化させて、復元処理を行い、その中で復元度の高いものを補正パラメータとして選択する。
【０００５】
例えば、特許文献１では、ぼけパラメータでのエッジ量（原画像のエッジの強さ×処理後のエッジの強さの総和）を算出し、それを微分した結果からぼけパラメータの最適値を決定している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−７７２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した特許文献１の方法では、画像全体のエッジ量を加算して求めていることから、エッジ強調して欲しくない部分までエッジが強調されてしまうといった問題点が生じてしまう。
【０００８】
例えば、人物の背景に風景があるような（人物は少しぼけていて背景はさらにぼけているような）画像の場合、人物はくっきりした画像となるが、あまりくっきりさせる必要のない風景のぼけた部分まで過度に強調されてしまうことにより、利用者にとって画像が不自然に見えてしまうといった問題点が生じていた。
【０００９】
上述した課題に鑑み、本発明が目的とするところは、復元前の画像の特徴点／非特徴点を解析し、エッジ強調すべき点は強調し、強調すべきでない点は強調を抑えることにより、自然に強調された画像の復元が可能な画像処理装置等を提供することである。
【課題を解決するための手段】
【００１０】
上述した課題に鑑み、本発明の画像処理装置は、ぼけパラメータを用いた復元フィルタにより入力画像を復元する復元処理部を備えた画像処理装置において、入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出する画像解析部と、前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定するぼけパラメータ判定部と、を備えることを特徴とする。
【００１１】
また、本発明の画像処理装置において、前記パラメータ判定部は、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるぼけパラメータが複数ある場合には、当該複数のぼけパラメータの中から、前記特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最大となるぼけパラメータを判定することを特徴とする。
【００１２】
また、本発明の画像処理装置において、前記パラメータ判定部は、前記特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最大となるぼけパラメータの値が複数ある場合には、ぼけパラメータの値が最大となるぼけパラメータを判定することを特徴とする。
【００１３】
本発明の画像処理方法は、ぼけパラメータを用いた復元フィルタにより入力画像を復元する画像処理方法において、入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出し、前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定することを特徴とする。
【００１４】
本発明のプログラムは、コンピュータに、ぼけパラメータを用いた復元フィルタにより入力画像を復元する復元処理機能を実現させ、入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出する画像解析機能と、前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定するぼけパラメータ判定機能と、を実現させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出し、前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定し、当該ぼけパラメータを用いた復元フィルタにより入力画像を復元することができる。したがって、本来エッジを強調がされるべきではない非特徴点の部分について、強調されてしまう箇所が最小となるぼけパラメータの値に基づいて復元することができ、自然な状態で画像を復元することができる。
【図面の簡単な説明】
【００１６】
【図１】画像処理装置の一例である携帯電話の外観を示す図である。
【図２】本実施形態における機能構成を説明する為の図である。
【図３】本実施形態における最適ぼけ復元処理部の機能構成を説明する為の図である。
【図４】本実施形態における復元処理部の機能構成を説明する為の図である。
【図５】復元フィルタについて説明する為の図である。
【図６】復元フィルタについて説明する為の図である。
【図７】復元フィルタについて説明する為の図である。
【図８】本実施形態におけるエッジ強度取得部について説明する為の図である。
【図９】微分フィルタについて説明する為の図である。
【図１０】Ｓｏｂｅｌフィルタについて説明する為の図である。
【図１１】ラプラシアンフィルタについて説明する為の図である。
【図１２】画像において取得された情報（エッジ強度）について表した図である。
【図１３】画像における特徴点を表した図である。
【図１４】本実施形態におけるぼけ判定テーブルのデータ構成の一例を示した図である。
【図１５】本実施形態におけるぼけ判定テーブルを示した図である。
【図１６】本実施形態におけるメイン処理を説明する為の動作フローである。
【図１７】本実施形態における特徴点取得処理を説明する為の動作フローである。
【図１８】本実施形態における画像情報取得処理を説明する為の動作フローである。
【図１９】本実施形態における画像点抽出処理を説明する為の動作フローである。
【図２０】本実施形態における画像解析処理を説明する為の動作フローである。
【図２１】本実施形態における最適ぼけパラメータ判定処理の動作を説明する為の図である。
【図２２】本実施形態における最適ぼけパラメータ判定処理を説明する為の動作フローである。
【図２３】本実施形態における最適ぼけパラメータ判定処理を説明する為の動作フローである。
【図２４】本実施形態における動作例について説明する為の図である。
【図２５】本実施形態におけるぼけ判定テーブルを示した図である。
【図２６】本実施形態におけるぼけ判定テーブルを示した図である。
【図２７】本実施形態におけるぼけ判定テーブルを示した図である。
【図２８】本実施形態における変形例について説明する為の図である。
【図２９】本実施形態における変形例（画像における特徴点の抽出について）を表した図である。
【図３０】本実施形態における変形例（画像における特徴点の抽出について）を表した図である。
【図３１】本実施形態における変形例について説明する為の図である。
【図３２】本実施形態における変形例について説明する為の図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明を実施するための最良の形態について説明する。なお、本実施形態では、一例として、本発明に画像処理装置が、携帯電話１に含まれる場合について説明する。以下、携帯電話１の全体構成、機能構成を説明した後に、本発明を適用した場合の処理の流れと、実施例、更に本発明を適用可能な変形例について説明する。
【００１８】
［１．全体構成］
図１は、第１実施形態における携帯電話１の外観を示す図である。携帯電話１は、液晶ディスプレイ等により構成されている表示部６０と、入力ボタン等により構成されている操作部６５と、音声の入力を受け付けるマイク部７０と、音声を出力するスピーカ部７５とを備えている。
【００１９】
また、放送局から放送された地上波デジタル放送を受信するための受信アンテナ３２と、携帯電話基地局からの送受信信号を受信するための通信アンテナ（不図示）とを併せて備えている。
【００２０】
［２．機能構成］
［２．１ 携帯電話の機能構成］
続いて、携帯電話１の機能構成について図２を用いて説明する。図２は、携帯電話１の機能構成を説明するための図であり、制御部１０に、無線通信部２０と、チューナ部３０と、カメラ部３５と、記憶部４０と、映像信号処理部５０と、表示部６０と、操作部６５と、マイク部７０と、スピーカ部７５とが接続されている。
【００２１】
制御部１０は、携帯電話１の全体を制御するための機能部である。制御部１０は、記憶部４０に記憶されている各種プログラムを読み出して実行することにより各種機能を実現しており、例えばＣＰＵ（Central Process Unit）等により構成されている。
【００２２】
無線通信部２０は、携帯電話通信網に接続するための機能部であり、通信アンテナ２２が接続されている。通信アンテナ２２を介して基地局と、通信データが送受信され、制御部１０に入出力される。なお、無線部２０及び通信アンテナ２２の機能部は、携帯電話１が電話機能として利用される場合に必要となる機能部であり、その詳細な説明は省略する。
【００２３】
チューナ部３０は、受信アンテナ３２が接続されており、受信アンテナ３２を介して、利用者により選局された放送局に対応する放送波からトランスポートストリーム（ＴＳ）のデータ（ＴＳデータ）を抽出し、出力する機能部である。出力されたＴＳデータは、映像信号処理部５０を介して表示部６０及びスピーカ部７５により出力されるか、記憶部４０の画像データ格納領域４２に記憶される。なお、本実施形態では、地上デジタル放送が受信可能なチューナであるとする。
【００２４】
カメラ部３５は、利用者により、レンズを介して、例えばＣＣＤ（Charge Coupled Device）等の撮像素子に結像された画像（静止画像又は動画像）を、画像データとして出力する機能部である。出力された画像データは、映像信号処理部５０を介して表示部６０に表示されるか、記憶部４０の画像データ格納領域４２に記憶される。
【００２５】
記憶部４０は、携帯電話１の動作に必要な各種プログラムや、各種データが記憶されている機能部である。記憶部４０は、例えば、半導体メモリや、ＨＤＤ（Hard Disk Drive）等により構成されている。また、記憶部４０には、画像データ格納領域４２が確保されており、画像データが記憶されている。なお、本実施形態における画像データとは、写真等のいわゆる静止画像データ（例えば、ＪＰＥＧ形式やＴＩＦＦ形式等の静止画像データ）であっても、映像等のいわゆる動画像データ（ＡＶＩ形式や、ＭＰＥＧ形式等の動画像データ）であっても良い。
【００２６】
映像信号処理部５０は、チューナ部３０、カメラ部３５又は画像データ格納領域４２に記憶された画像データ等が入力され、各種処理を施した後表示部６０に出力する為の機能部である。
【００２７】
画像データ変換部５２は、入力された画像データ（処理を施した画像データ）を、表示部６０に出力するために、画像データを変換する機能部である。例えば、一例としてＲＧＢＹＵＶ変換部等により構成される。
【００２８】
最適ぼけ復元処理部５４は、入力された画像データの最適ぼけを判定し、復元する処理を行う機能部である。最適ぼけ復元処理部５４については、後に詳細に説明する。
【００２９】
ガンマ補正部５６は、入力された画像データのガンマ補正を行う機能部である。ガンマ補正を行うことにより、表示部６０により適切な輝度にて画像が出力される。ここで、ガンマ補正値としては、予め画像データに基づいて決められたものであってもよいし、その都度算出された値を利用したものでもよいし、利用者が設定した値を利用することとしてもよい。
【００３０】
表示部６０は、映像信号処理部５０から出力された画像を表示したり、利用者に提供する情報の表示をしたりする為の機能部である。表示部６０としては、例えば液晶ディスプレイ（ＬＣＤ）や、有機ＥＬパネル等により構成されている。
【００３１】
操作部６５は、利用者から各種操作指示等の入力を受け付けるための機能部である。操作部６５としては、例えばボタンキーや、タッチパネル等により構成されている。
【００３２】
マイク部７０及びスピーカ部７５は、音（音声）を入出力するための機能部である。マイク部７０から入力された音声は、音声データに変換されて制御部１０に出力され、適宜各機能部に出力される。また、スピーカ部７５は、各機能部より出力される音声データを音声に変換して出力する機能部である。
【００３３】
すなわち、画像データがチューナ部３０、カメラ部３５又は記憶部４０から入力される。そして、入力された画像データは、映像信号処理部５０によりぼけ復元処理が施される。そして、ぼけ復元処理が施された画像が、表示部６０に出力されることとなる。
【００３４】
［２．２ 最適ぼけ復元処理部の機能構成］
続いて、最適ぼけ復元処理部５４の機能構成について、図３以降を用いて詳細に説明する。図３に示すように、最適ぼけ復元処理部５４は、復元処理部５１０と、エッジ強度取得部５２０と、ぼけ判定部５３０とを備えて構成されている。また、ぼけ判定部５３０は、解析部５３２と、特徴点記憶領域５３４と、ぼけ判定テーブル５３６とを有して構成されている。
【００３５】
［２．２．１ 復元処理部］
復元処理部５１０は、入力された画像データに復元フィルタ（空間フィルタ）処理を施して出力する機能部である。復元処理部５１０は、図４に示すように、復元フィルタ部５１２と、乗算器５１４と、加算器５１６とを有して構成されている。
【００３６】
復元フィルタ部５１２は、解析部５３２からぼけパラメータσが入力され、ぼけパラメータσを利用して画像を復元する。すなわち、入力された画像データに空間フィルタ処理を施して差分を乗算器５１４により所定倍し、もとの入力された画像データ（原画像）に加算器５１６により加算して画像データを出力する。
【００３７】
ここで、本実施形態においては、画像データを復元する復元フィルタの一例としてウィナーフィルタＨｗ（ｕ，ｖ）を使用する。ここで、ウィナーフィルタＨｗ（ｕ，ｖ）は、周波数領域において、下記の式で求められる。
【数１】
【００３８】
ここで、Γは画像によるノイズに基づく定数であり、Ｈ（ｕ，ｖ）は、ぼけを表す点拡がり関数である。本実施形態ではレンズの焦点ぼけによる劣化を想定しており、点であったものが拡がりをもつような劣化である。そのため、Ｈ（ｕ，ｖ）をガウス分布と仮定し、以下の式で表される。
【数２】
【００３９】
なお、ぼけパラメータσは、大きくなるほどぼけ度合いが大きくなり、０以上の実数である。ここで、ぼけパラメータσを変更することにより、ぼけ度合いに応じた画像復元処理が行われることとなる。
【００４０】
ウィナーフィルタＨｗ（ｕ，ｖ）は、周波数領域での式を表しているので、空間フィルタにするには、ウィナーフィルタを逆フーリエ変換する必要がある。ここで、空間フィルタからフーリエ変換をし、周波数領域で処理を行い、更に逆フーリエ変換を行うと回路規模が大きくなるため、予めウィナーフィルタを空間フィルタとする。
【００４１】
ここで、空間フィルタリングと、周波数フィルタリングとの関係を図５に示す。ｆ（ｘ，ｙ）は、フィルタ処理前の画像（空間領域）であり、ｇ（ｘ，ｙ）はフィルタ処理後の画像（空間領域）である。
【００４２】
ここで、ウィナーフィルタＨｗ（ｕ，ｖ）を用いる場合、一度ｆ（ｘ，ｙ）をフーリエ変換してフィルタ処理前の画像をフーリエ変換した出力Ｆ（ｕ，ｖ）を得る必要がある。そして、得られたＦ（ｕ，ｖ）にウィナーフィルタＨｗ（ｕ，ｖ）を使用し、周波数領域のフィルタ処理後の出力Ｇ（ｕ，ｖ）を得る。そして、Ｇ（ｕ，ｖ）に逆フーリエ変換を行うことにより、フィルタ処理後の画像ｇ（ｘ，ｙ）（空間領域）を得る必要がある。
【００４３】
したがって、本実施形態においては、ウィナーフィルタＨｗ（ｕ，ｖ）を、周波数フィルタを空間フィルタに変換されたフィルタｈｗ（ｕ，ｖ）を利用する。このとき、逆フーリエ変換として、離散コサイン変換（ＤＣＴ）を使用してフィルタを変換し、フィルタｈｗ（ｕ，ｖ）は以下の式で得られる。
【００４４】
【数３】
なお、離散フーリエ変換（ＤＦＴ）を使用しても良い。
【００４５】
【数４】
ここで、Ｍ、Ｎはフィルタの大きさを表し、本実施形態においては、Ｍ＝Ｎ＝５として説明する。
【００４６】
なお、離散コサイン変換した後、正規化、量子化した空間フィルタの例を図６に示す。図６（ａ）は、σ＝０．２０、Γ＝０．０１０の場合、（ｂ）は、σ＝０．２１、Γ＝０．０１０の場合、（ｃ）は、σ＝０．２２、Γ＝０．０１０の場合における空間フィルタの例を示す図である。このように、ぼけパラメータσに応じて空間フィルタを記憶しており、本実施形態においてはσ＝０．１６〜０．２５についての各空間フィルタを記憶している。
【００４７】
また上述した実施形態において、σ＝０．１６〜０．２５についての各空間フィルタを記憶したが、エッジ量が大きい程σの小さな値を適応し、エッジ量が小さい程σの大きな値を適応する傾向があるため入力画像のエッジ量から記憶するフィルタの範囲を選択してもよい。
【００４８】
また、当該空間フィルタの特性を示したのが図７である。図７は、横軸に座標、縦軸に係数を取ったグラフであり、一点鎖線のグラフＧ１０がσ＝０．２０（図６（ａ））、点線のグラフＧ１２がσ＝０．２１（図６（ｂ））、実線のグラフＧ１４がσ＝０．２２（図６（ｃ））を示すグラフである。
【００４９】
［２．２．２ エッジ強度取得部］
エッジ強度取得部５２０は、復元処理部５１０から入力された画像データについて、エッジの強度を取得するための機能部であり、エッジ検出フィルタ部５２２と、エッジ強度算出部５２４とを含んで構成されている。
【００５０】
エッジ検出フィルタ部５２２は、入力された画像データの中の明るさが急に変化する部分、すなわちエッジ部分を検出するための機能部である。これは、画像データにおける明るさの微分を求めることにより、明るさの変化する様子がわかり、エッジを検出することが出来る。なお、画像（データ）の中の明るさとしては、本実施形態においては、ＹＵＶのうちＹ（輝度成分）を用いることとする。
【００５１】
ここで、微分フィルタは、以下の式で求めることが出来る。すなわち、各画素における横方向の差分をｆｘ（ｘ、ｙ）、縦方向の差分をｆｙ（ｘ、ｙ）としたとき、
【数５】
で求めることができる。
【００５２】
この場合のフィルタの例を図９に示す。図９（ａ）が縦方向のフィルタ、図９（ｂ）が横方向のフィルタである。
【００５３】
しかしながら、微分フィルタでは、画像の明るさが急激に変化するエッジ部分に関しては検出可能であるが、同時に画像に含まれるノイズに対しても敏感に反応してしまうといった特性があった。
【００５４】
そこで、縦方向エッジを抽出したい場合には、横方向に微分したのちに、それ直交する縦方向に関して平滑化を施すことで、縦方向のエッジは残しつつノイズを低減する方法が考えられる。このような方法としては、例えばＳｏｂｅｌフィルタが考えられる。
【００５５】
Ｓｏｂｅｌフィルタとは、中央に重みをつけて平均化を行うフィルタであり、微分フィルタに比べてノイズを抑えることができる。また、なめらかなエッジが抽出されることとなり、以下の式にて表される。
【数６】
この場合のフィルタの例を図１０に示す。図１０（ａ）が横方向のフィルタを、図１０（ｂ）が縦方向のフィルタを示している。本実施形態では、このＳｏｂｅｌフィルタを適用することとして説明する。
【００５６】
エッジ強度算出部５２４は、エッジ検出フィルタ部５２２において検出されたエッジの強度を算出する機能部である。エッジ強度Ｅ（勾配の大きさ）は、次のように求めることが出来る。
【００５７】
【数７】
上記式は、簡略し、次の式を用いても良い。
【数８】
【００５８】
また、横方向の２次微分の結果と、縦方向の２次微分の結果を足し合わせることにより得られるラプラシアンフィルタの出力結果をエッジ強度Ｅとして用いることとしても良い。なお、ラプラシアンフィルタの一例を、図１１に示す。
【００５９】
［２．２．３ ぼけ判定部］
続いて、ぼけ判定部５３０について説明する。ぼけ判定部５３０は、図３で示したように、解析部５３２と、特徴点記憶領域５３４と、ぼけ判定テーブル５３６とを含んで構成されている。ここで、ぼけ判定テーブル５３６と、特徴点を記憶する特徴点記憶領域５３４は、説明の都合上ぼけ判定部５３０に含めて説明するが、ぼけ判定部５３０に内蔵する記憶装置であっても良いし、記憶部４０に記憶されており、必要に応じて解析部５３２が参照することとしても良い。
【００６０】
解析部５３２は、エッジ強度取得部５２０により入力されたエッジ強度等に基づいて、入力された画像データの最適なぼけパラメータを判定するための機能部であり、その詳細な処理については後述する。なお、解析部５３２は、映像信号処理部５０に含まれる機能として説明するが、制御部１０が同様の機能を実現することとしても良いことは勿論である。
【００６１】
特徴点記憶領域５３４は、画像データにおける画像情報や特徴点を記憶する為の領域である。例えば、図１２のように記憶されている画像情報（画像データのエッジ強度Ｅ）に基づいた特徴点が図１３のように記憶される。すなわち、この場合エッジ強度Ｅが閾値５０より超えた点を特徴点とし、特徴点の箇所には「１」が、非特徴点の箇所には「０」が記憶されている。
【００６２】
ぼけ判定テーブル５３６は、ぼけ判定に用いられるテーブルである。図１４に示すように、ぼけパラメータσ（例えば、「０．１９」）と、特徴点で復元フィルタ処理後の画像においてエッジ強度を判定するための閾値Ｅｔｈ２より大きい数Ｍｎｕｍ（例えば、「２８０」）と、非特徴点で復元フィルタ処理後の画像においてエッジ強度を判定するための閾値Ｅｔｈ２より大きい数ＵＭｎｕｍ（例えば、「４７」）とを対応づけて記憶している。
【００６３】
なお、図１４の場合におけるσとＭｎｕｍとの関係を図１５（ａ）に、σとＵＭｎｕｍとの関係を図１５（ｂ）にそれぞれ示す。
【００６４】
［３．処理の流れ］
続いて、解析部５３２が入力された画像データを解析して最適ぼけパラメータを判定する場合における処理について、図を用いて説明する。
【００６５】
［３．１ メイン処理］
まず、メイン処理について図１６を用いて説明する。まず、入力された画像データに基づいて特徴点抽出処理を実行する（ステップＳ１０００）。特徴点取得処理が実行されると、画像データの特徴点が抽出される。
【００６６】
続いて、画像解析処理を実行する（ステップＳ２０００）。これにより、入力された画像データのぼけ判定テーブル５３６が生成される。
【００６７】
そして、最適ぼけパラメータ判定処理が実行されることにより、生成されたぼけ判定テーブル５３６から最適なぼけパラメータσが判定される（ステップＳ３０００）。
【００６８】
このようにして、入力された画像データに対し、段階的にぼけパラメータσに基づいたぼけ判定テーブルを生成し、生成されたぼけパラメータσの中から最適なものが選択される処理が実行されることになる。
【００６９】
［３．２ 特徴点取得処理］
続いて特徴点取得処理について図１７を用いて説明する。特徴点取得処理は、まず入力された画像データの情報を取得する画像情報取得処理を実行する（ステップＳ１１００）。そして、画像データの情報が取得された後に、画像特徴点抽出処理を実行する（ステップＳ１２００）。これにより、入力された画像データの特徴点が抽出されることとなる。
【００７０】
［３．２．１ 画像情報取得処理］
まず、画像情報取得処理について、図１８を用いて説明する。なお、図１８において用いられている変数は以下の意味である。
【００７１】
ｉ：画素のカウント値
Ｅａｌｌ：全画素のエッジ強度の合計
Ｅｍａｘ：エッジ強度の最大値
Ｅｃｕｒ：現在のエッジ強度
Ｅ（ｎ）：エッジ強度取得部５２０から順次入力されるｎ番目の画素のエッジ強度
ＩＭＧ＿ＳＩＺＥ：全画素数（横サイズ×縦サイズ）
Ｅａｖｇ：エッジ強度の平均値
Ｅｔｈ１：（原）画像データにおいて特徴点を判別するための処理前閾値
Ｅｔｈ２：復元フィルタ処理後の画像データにおいてエッジ強度を判定するための処理後閾値
【００７２】
まず、各変数（ｉ、Ｅａｌｌ、Ｅｍａｘ、Ｅｃｕｒ）を初期化する（ステップＳ１１１０）。続いて、エッジ強度Ｅ（ｉ）がエッジ強度取得部５２０から入力され、現在のエッジ強度Ｅｃｕｒとして代入される（ステップＳ１１１２）。
【００７３】
そして、入力されたエッジ強度からエッジ強度の合計（Ｅａｌｌ）を求める（ステップＳ１１１４）。ここで、ＥｍａｘがＥｃｕｒより小さい場合には（ステップＳ１１１６；Ｙｅｓ）、ＥｍａｘにＥｃｕｒを代入する（ステップＳ１１１８）。
【００７４】
つづいて、ｉがＩＭＧ＿ＳＩＺＥを超えていない場合、すなわち全画素についてまだ処理が行われていない場合は、ｉに１加算（インクリメント）し、ステップＳ１１１２から繰り返し処理を実行する（ステップＳ１１２０；Ｎｏ→ステップＳ１１２２→ステップＳ１１１２）。
【００７５】
他方、ｉがＩＭＧ＿ＳＩＺＥ以上となった場合、すなわち全画素について画像情報を取得した場合は、ＥａｌｌをＩＭＧ＿ＳＩＺＥで除することにより、平均Ｅａｖｇを算出する（ステップＳ１１２４）。
【００７６】
そして、Ｅｔｈ１を（Ｅｍａｘ−Ｅａｖｇ）＊定数α＋Ｅａｖｇと算出し（ステップＳ１１２６）、Ｅｔｈ２を（Ｅｍａｘ−Ｅａｖｇ）＊定数β＋Ｅａｖｇと算出する。ここで、αとは、画像データ（原画像）の特徴点を決定するための加算率であり、βはフィルタ処理後の画像データに閾値判定をするための加算率である。なお、ここでβとαは、β＞αの関係を満たす値とする。このように、画像全体のぼけ度に応じて、閾値を変化させることとなる。
【００７７】
［３．２．２ 画像特徴点抽出処理］
続いて、入力された画像データの特徴点を抽出処理について図１９を用いて説明する。なお、図１９において用いられている変数は以下の意味である。なお、図１８と同じ変数は同じ意味として用いるものとする。
【００７８】
ｉ：画素のカウント値
ｆｌａｇ：特徴点か非特徴点かを示す一時変数
Ｆｐ（ｎ）：特徴点記憶領域５３４に格納するｎ番目の画素が特徴点が非特徴点かを示す値
【００７９】
まず、各変数（ｉ、ｆｌａｇ）を初期化する（ステップＳ１２１０）。続いて、エッジ強度Ｅ（ｉ）がエッジ強度取得部５２０から入力され、現在のエッジ強度Ｅｃｕｒとして代入される（ステップＳ１２１２）。
【００８０】
つづいて、ＥｃｕｒがＥｔｈ１を超えている場合には、ｆｌａｇに「１」を代入し（ステップＳ１２１４；Ｙｅｓ→ステップＳ１２１６）、超えていない場合にはｆｌａｇに「０」を代入する（ステップＳ１２１４；Ｎｏ→ステップＳ１２１８）。そして、Ｆｐ（ｉ）に、ｆｌａｇを代入する（ステップＳ１２２０）。
【００８１】
つづいて、ｉがＩＭＧ＿ＳＩＺＥを超えていない場合、すなわち全画素についてまだ処理が行われていない場合は、ｉに１加算（インクリメント）し、ステップＳ１２１２から繰り返し処理を実行する（ステップＳ１２２２；Ｎｏ→ステップＳ１２２４→ステップＳ１２１２）。
【００８２】
他方、ｉがＩＭＧ＿ＳＩＺＥ以上となった場合、すなわち全画素について画像情報を取得した場合は、本処理を終了する（ステップＳ１２２２；Ｙｅｓ）。
【００８３】
［３．３ 画像解析処理］
続いて、画像解析処理について、図２０を用いて説明する。なお、図２０において用いられている変数は以下の意味である。なお、図１８、図１９と同じ変数は同じ意味として用いるものとする。
【００８４】
σ：ぼけパラメータ
ｓ：ぼけパラメータのステップ数
ＢＬ［ｎ］：ぼけパラメータがｎの場合のぼけ判定テーブル
ＢＬ［ｎ］．Ｍｎｕｍ：ぼけパラメータｎのとき特徴点でエッジ強度が閾値Ｅｔｈ２より大きい数
ＢＬ［ｎ］．ＵＭｎｕｍ：ぼけパラメータｎのとき非特徴点でエッジ強度が閾値Ｅｔｈ２より大きい数
【００８５】
まず、ぼけパラメータσを初期値に設定する（ステップＳ２０１０）。また、各変数（ｉ、Ｍｎｕｍ、ＵＭｎｕｍ）を初期化する（ステップＳ２０１２）。また、ＥｃｕｒにＥ（ｉ）を代入し（ステップＳ２０１４）、ｆｌａｇにＦｐ（ｉ）を代入する（ステップＳ２０１６）。
【００８６】
つづいて、ＥｃｕｒがＥｔｈ２を超えているか否かを判定する（ステップＳ２０１８）。ここで、Ｅｃｕｒが、Ｅｔｈ２を超えている場合には（ステップＳ２０１８；Ｙｅｓ）、ｆｌａｇが「１」であるか否かを判定する（ステップＳ２０２０）。ｆｌａｇが「１」である場合は、当該画素は特徴点であることから、Ｍｎｕｍに１加算し（ステップＳ２０２０；Ｙｅｓ→ステップＳ２０２２）、ｆｌａｇが「０」である場合は、当該画素は非特徴点であることから、ＵＭｎｕｍに１加算する（ステップＳ２０２０；Ｎｏ→ステップＳ２０２４）。
【００８７】
つづいて、ｉがＩＭＧ＿ＳＩＺＥを超えていない場合、すなわち全画素についてまだ処理が行われていない場合は、ｉに１加算（インクリメント）し、ステップＳ２０１４から繰り返し処理を実行する（ステップＳ２０２６；Ｎｏ→ステップＳ２０２８→ステップＳ２０１４）。
【００８８】
他方、ｉがＩＭＧ＿ＳＩＺＥ以上となった場合、すなわち全画素について処理が終了した場合は（ステップＳ２０２６；Ｙｅｓ）、ＢＬ［σ］．ＭｎｕｍにＭｎｕｍを、ＢＬ［σ］．ＵＭｎｕｍにＵＭｎｕｍをそれぞれ代入する（ステップＳ２０３０）。
【００８９】
また、ぼけパラメータσが終了値に到達していない場合は、次のぼけパラメータについて処理を実行するため、ｓを加算してステップＳ２０１２から処理を繰り返し実行する（ステップＳ２０３２；Ｎｏ→ステップＳ２０３４→ステップＳ２０１２）。
【００９０】
他方、ぼけパラメータσについて終了値まで処理が終了した場合には（ステップＳ２０３２；Ｙｅｓ）、画像解析処理を終了する。
【００９１】
［３．４ 最適ぼけパラメータ判定処理］
つづいて、最適ぼけパラメータ判定処理について説明する。最適ぼけパラメータ判定処理は、ぼけ判定テーブル５３６に基づき、最適となるぼけパラメータσの値を出力する処理である。
【００９２】
ここで、最適ぼけパラメータを判定する方法としては、図２１に示すように３通り想定される。すなわち、ぼけパラメータσの値を最小値から大きい値へ昇順に判定していく方法（図２１（ａ））と、ぼけパラメータσの値を最大値から小さい値へ降順に判定していく方法（図２１（ｂ））とが考えられる。また、図２１（ｃ）に示すように、略中央値でまず判定し、そこから昇順方式を採用するか、降順方式を採用するかと組み合わせて判定することも可能である。
【００９３】
ここで、基本となる昇順方式について図２２を用いて、降順方式について図２３を用いてそれぞれ説明する。なお、最適ぼけパラメータ判定処理において用いられている変数は以下の意味である。なお、既に用いられた変数と同じ変数は、同じ意味で用いられているものとする。
【００９４】
Ｐｎｕｍ：特徴点以外の画素で所定の閾値以上の画素の許容数
σｍ：最適なぼけパラメータ
σ１：ＵＭｎｕｍがＰｎｕｍ以下の区間でＭｎｕｍが最大となるぼけパラメータσ
Ｍｍａｘ：Ｍｎｕｍの最大値
Ｍｃｕｒ：現在のＭｎｕｍの値
【００９５】
［３．４．１ 最適ぼけパラメータ判定処理（昇順方式）］
図２２を用いて、最適ぼけパラメータ判定処理について、昇順方式について説明する。まず、ぼけパラメータσを初期値に設定する（ステップＳ３０１０）。続いて、ＢＬ［σ］を読み出し（ステップＳ３０１２）、ＢＬ［σ］．ＵＭｎｕｍがＰｎｕｍを超えているか否かを判定する（ステップＳ３０１４）。
【００９６】
ここで、Ｐｎｕｍを超えている場合には（ステップＳ３０１４；Ｙｅｓ）、ぼけパラメータσが終了値であるか否かを判定する（ステップＳ３０１６）。ここで、ぼけパラメータσが終了値ではない場合、ステップ数ｓを加算し、ステップＳ３０１２から処理を繰り返し実行する（ステップＳ３０１６；Ｎｏ→ステップＳ３０１８→ステップＳ３０１２）。
【００９７】
他方、ステップＳ３０１６において、ぼけパラメータσがすでに終了値である場合には（ステップＳ３０１６；Ｙｅｓ）、σｍにσを代入し（ステップＳ３０３８）、σｍを最適ぼけパラメータとして出力して本処理を終了する（ステップＳ３０４０）。
【００９８】
ステップＳ３０１４において、ＢＬ［σ］．ＵＭｎｕｍがＰｎｕｍ以下の場合、Ｍｍａｘに、ＢＬ［σ］．Ｍｎｕｍを代入し、σ１にσを代入する（ステップＳ３０２０）。ここで、ぼけパラメータσが終了値である場合には、σｍにσを代入し（ステップＳ３０３８）、σｍを最適ぼけパラメータとして出力して本処理を終了する（ステップＳ３０４０）。
【００９９】
ステップＳ３０２２において、ぼけパラメータσがまだ終了値で無い場合には（ステップＳ３０２２；Ｎｏ）、σにステップ数ｓを加算する（ステップＳ３０２４）。
【０１００】
つづいて、ＢＬ［σ］を読み出し（ステップＳ３０２６）、ＭｃｕｒにＢＬ［σ］．Ｍｎｕｍを代入する（ステップＳ３０２８）。
【０１０１】
ここで、ＢＬ［σ］．ＵＭｎｕｍがＰｎｕｍを超えた場合には（ステップＳ３０３０；Ｙｅｓ）、ぼけパラメータσにσ１を代入し（ステップＳ３０３６）、当該σを最適ぼけパラメータとして出力する（ステップＳ３０３８→ステップＳ３０４０）。
【０１０２】
他方、ステップＳ３０３０において、ＢＬ［σ］．ＵＭｎｕｍがＰｎｕｍ以下である場合（ステップＳ３０３０；Ｎｏ）、ＭｃｕｒがＭｍａｘ以上であるか否かを判定する（ステップＳ３０３２）。ここで、ＭｃｕｒがＭｍａｘ以上の場合には、ＭｍａｘにＭｃｕｒを、σ１にσをそれぞれ代入し、ステップＳ３０２２に戻る（ステップＳ３０３４→ステップＳ３０２２）。なお、ＭｃｕｒがＭｍａｘ未満の場合には、そのままステップＳ３０２２に戻る（ステップＳ３０３２；Ｎｏ→ステップＳ３０２２）。
【０１０３】
［３．４．２ 最適ぼけパラメータ判定処理（降順方式）］
続いて、降順方式について説明する。降順方式は、図２２の処理が、初期値からσをステップ数だけ加算して判定したのに対し、図２３の処理は、初期値からσをステップ数だけ減算して判定する。なお、図２２と同一の処理については、同一の符号を付し、その詳細な説明を省略する。
【０１０４】
まず、ステップＳ３０１６において、ぼけパラメータσの値が終了値でない場合は、ぼけパラメータ値からステップ数ｓだけ減算する（ステップＳ３０５０）。これにより、σの値の最大値から小さい方向に判定することとなる。これは、ステップＳ３０２４に代えて、ステップＳ３０５２が実行されることも同様である。
【０１０５】
また、ステップＳ３０３０において、ＢＬ［σ］．ＵＭｎｕｍがＰｎｕｍ以下の場合（ステップＳ３０３０；Ｎｏ）、ＭｃｕｒがＭｍａｘより大きいか否かを判定する（ステップＳ３０５４）。ここで、ＭｃｕｒがＭｍａｘ以下の場合には（ステップＳ３０５４；Ｎｏ）、σ１を最適なぼけパラメータとして出力して処理を終了する（ステップＳ３０５４；Ｎｏ→ステップＳ３０３６→ステップＳ３０３８→ステップＳ３０４０）。
【０１０６】
他方、ＭｃｕｒがＭｍａｘより大きい場合には（ステップＳ３０５４；Ｙｅｓ）、ＭｍａｘにＭｃｕｒを、σ１にσを代入し（ステップＳ３０５６）、ステップＳ３０２２から処理を繰り返し実行する。
【０１０７】
［３．４．３ 最適ぼけパラメータ判定処理（組み合わせ方式）］
組み合わせ方式は、上述した昇順方式と降順方式を組み合わせる方式である。すなわち、σの中央値から開始する。ここで、開始する値としては、単純に中央値であってもよし、過去の予測から開始する値を決定しても良い。
【０１０８】
開始するσの位置がＵＭｎｕｍ≦Ｐｎｕｍの条件を満たさない場合には昇順方式を適用し、ＵＭｎｕｍ≦Ｐｎｕｍの条件を満たす場合には降順方式を採用すれば良い。これにより、画像解析するσの値が多い場合には、短期間で最適なパラメータを検出することが出来るといった利点がある。
【０１０９】
［４．動作例］
続いて、本実施形態における動作例について説明する。まず、図２４は、本実施形態を適用した場合における状態を模式的に説明する為の図であり、一例として６フレーム必要な場合について説明する。
【０１１０】
すなわち、まずフレームＦ１０において原画像（フィルター処理前の画像）の情報が取得される。続いて、フレームＦ１２において原画像の特徴点が抽出される。特徴点が抽出された後は、ぼけ判定パラメータσの値を可変させて、フレームＦ１４〜Ｆ２０まで段階的に出力されることとなる。そして、フレームＦ２０が表示された段階で、最適なパラメータが判定され、フレームＦ２２から最適と判定されたぼけ判定パラメータσが適用されて出力されることとなる。すなわち、フレームＦ１４〜Ｆ２０の画像が表示部６０に順次表示されることになる。
【０１１１】
［４．１ 第１動作例］
まず、図１４に示したぼけ判定テーブル５３６を用いた場合について説明する。図１４のぼけ判定テーブル５３６は、図１６に示した特徴点抽出処理Ｓ１０００及び画像解析処理Ｓ２０００により作成されたテーブルである。また、以下の動作例はＰｎｕｍは、画像のサイズ（縦×横）に、特徴点以外の画素で所定の閾値以上を許容する率を乗算した値を用いることとし、本実施形態では「１００」として説明する。また、ステップ数ｓは「０．０１」とする。
【０１１２】
［４．１．１ 昇順方式による場合］
まず、初期値として、σ＝０．１９と設定する（図２２のステップＳ３０１０）。σ＝０．１９のＵＭｎｕｍ（４７）とＰｎｕｍ（１００）とを比較すると、ステップＳ３０１４の条件を満たさない（すなわち許容範囲内である）ため、ぼけパラメータσ１＝０．１９、Ｍｍａｘ＝２８０が代入される（図２２のステップＳ３０２０）。
【０１１３】
つづいて、σ（０．１９）は終了値ではないため、σ（０．２０）となる（ステップＳ３０２４）。そして、σ＝０．２０のＵＭｎｕｍ（９８）とＰｎｕｍ（１００）とを比較すると、ステップＳ３０３０の条件を満たさない（すなわち許容範囲である）ため、Ｍｃｕｒ（３５０）と、Ｍｍａｘ（２８０）とを比較する（ステップＳ３０３２）。
【０１１４】
ここで、Ｍｃｕｒ（３５０）≧Ｍｍａｘ（２８０）の条件を満たしているため（ステップＳ３０３２；Ｙｅｓ）、Ｍｍａｘに３５０が、σ１に０．２０が代入される（ステップＳ３０３４）。
【０１１５】
次に、ぼけパラメータσは終了値ではないため（ステップＳ３０２２）、σ＝０．２１となる（ステップＳ３０２４）。次に、σ＝０．２１のＵＭｎｕｍ（１２３）とＰｎｕｍ（１００）とを比較すると、ＵＭｎｕｍがＰｎｕｍを超えた（すなわち、許容範囲外となった）ため（ステップＳ３０３０；Ｙｅｓ）、σ１の０．２０がσｍとなる（ステップＳ３０３６〜ステップＳ３０４０）。すなわち、最適なぼけパラメータとして０．２０が出力されることとなる。
【０１１６】
［４．１．２ 降順方式による場合］
つづいて、降順方式による場合について説明する。まず、初期値としてσ＝０．２２を設定する（図２３のステップＳ３０１０）。σ＝０．２２のＵＭｎｕｍ（１４２）とＰｎｕｍ（１００）とを比較すると、ステップＳ３０１４の条件を満たすこととなる（すなわち、許容範囲外である）。したがって、σ＝０．２１に更新される（ステップＳ３０５０）。
【０１１７】
次に、σ＝０．２１のＵＭｎｕｍ（１２３）とＰｎｕｍ（１００）とを比較すると、同様にステップＳ３０１４の条件を満たすため、σ＝０．２０に更新される。
【０１１８】
σ＝０．２０のＵＭｎｕｍ（９８）とＰｎｕｍ（１００）とを比較すると、条件を満たさない（すなわち許容範囲内である）こととなるので、Ｍｍａｘに３５０、σ１＝０．２０が代入される（ステップＳ３０２０）。
【０１１９】
次に、σは終了値（この場合はぼけ判定テーブルの先頭の値）ではないため、σ＝０．１９に更新される（ステップＳ３０５２）。ここで、σ＝０．１９のＵＭｎｕｍ（４７）は、Ｐｎｕｍ（１００）以下であるが、σ＝０．１９のＭｃｕｒ（２８０）＞Ｍｍａｘ（３５０）の条件を満たさないため（ステップＳ３０５４；Ｎｏ）、σ１の値である０．２０がσｍとなる（ステップＳ３０３６〜Ｓ３０４０）。すなわち、最適なぼけパラメータとして０．２０が出力されることとなる。
【０１２０】
［４．１．３ 組み合わせ方式による場合］
つづいて、組み合わせ方式について説明する。組み合わせ方式の場合、開始するσがσ＝０．２０の場合と、σ＝０．２１の場合について説明する。
【０１２１】
（ａ）σ＝０．２０の場合
σ＝０．２０の場合のＵＭｎｕｍ（９８）と、Ｐｎｕｍ（１００）とを比較すると、ＵＭｎｕｍは許容範囲内にあるため，昇順方式を選択して処理が実行される。
【０１２２】
（ｂ）σ＝０．２１の場合
σ＝０．２１の場合のＵＭｎｕｍ（１２３）と、Ｐｎｕｍ（１００）とを比較すると、ＵＭｎｕｍは許容範囲外にあるため、降順方式を選択して処理が実行される。
【０１２３】
このように、組み合わせ方式を用いることにより、より早い段階で最適なぼけパラメータσを判定することが出来るようになる。
【０１２４】
［４．２ 第２動作例］
続いて、図２５に示すぼけ判定テーブルにおける動作について説明する。図２５に示す用に、ＵＭｎｕｍに同じ値がある場合について、昇順方式を適用して説明する。
【０１２５】
まずσ＝０．１９のとき、ＵＭｎｕｍ（９８）に対応するＭｎｕｍ（３５０）がＭｍａｘとなる（図２２のステップＳ３０３４）。そして、つづくσ＝０．２０において、ＵＭｎｕｍ（９８）と、Ｐｎｕｍ（１００）との条件を満たしている。
【０１２６】
この場合、現在のＭｃｕｒ（３６０）と、記憶されているＭｍａｘ（３５０）との値を比較すると、Ｍｃｕｒの方が大きい。従って、これにより新たなＭｃｕｒ（３６０）の値にて、Ｍｍａｘが更新される。
【０１２７】
なお、この次はσ＝０．２１であるが、ＵＭｎｕｍ＞Ｐｎｕｍの条件に該当する（許容範囲にない）ため、最適なぼけパラメータσｍは０．２０となる。すなわち、同じ値のＵＭｎｕｍがある場合には、Ｍｎｕｍが大きい方を最適なぼけパラメータσｍとして出力する。
【０１２８】
なお、図２６に示す用に、更にＭｎｕｍについても同じ値がある場合には、ぼけパラメータσの大きいものが最適なぼけパラメータσｍと判定され、出力される。
【０１２９】
［４．３ 第３動作例］
続いて、図２７に示すぼけ判定テーブルにおける動作について説明する。図２７に示す用に、ＵＭｎｕｍに同じ値がある場合について、降順方式を適用して説明する。
【０１３０】
まず、σ＝０．２０のとき、ＵＭｎｕｍ（９８）に対応するＭｎｕｍ（３６０）がＭｍａｘとなる（図２３のステップＳ３０２０）。つづいて、σ＝０．１９のとき、Ｐｎｕｍ（１００）より小さい（ステップＳ３０３０；Ｎｏ）。
【０１３１】
ここで、σ＝０．１９のＵＭｎｕｍ（３６１）＞Ｍｍａｘ（３６０）の関係を満たすため、Ｍｍａｘは３６１、σ１は０．１９に更新される（ステップＳ３０５６）。すなわち、同じ値のＵＭｎｕｍがある場合には、Ｍｎｕｍが大きい値のものが最適なぼけパラメータσｍと判定され、出力される。
【０１３２】
［５．効果］
このように、本実施形態によれば、処理画像のエッジ強度に対する処理を異なるパラメータを用いて行った処理後の画像に基づいて、処理前の画像の最小エッジ強度〜最大エッジ強度間の値である処理前閾値であるＥｔｈ１と、処理前閾値以上の値をとる処理後閾値Ｅｔｈ２とを用いることにより、処理前画像における値が処理前閾値Ｅｔｈ１未満の座標について、処理後に処理後閾値Ｅｔｈ２以上のエッジ強度となった座標数が最小である変換後画像が出力されることになる。
【０１３３】
また、そのような変換後画像が複数ある場合には、その中から処理前画像における値が処理前閾値Ｅｔｈ１以上の座標について、処理後閾値Ｅｔｈ２のエッジ強度となった座標数が最大である変換後画像が出力されることになる。
【０１３４】
さらに、上述した変換後画像が複数ある場合には、ぼけパラメータσが最大である変換後画像が出力されることとなる。
【０１３５】
このように、本実施形態によれば、本来エッジを強調したくない箇所のエッジが強調されることが少なくなり、より自然の画像の仕上がりとなる処理を施すことができる。
【０１３６】
［６．変形例］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も特許請求の範囲に含まれる。
【０１３７】
上述した実施形態においては、まずぼけ判定テーブルを総て生成してから、最後に最適なぼけパラメータを判定したが、σを変更する度に、最適ぼけパラメータ判定処理をその都度行うこととしても良い。
【０１３８】
具体的には、図２８に示す用に、例えば、フレームＦ３４の後に最適ぼけパラメータの判定（σ＝０．１９）、フレームＦ３６の後に最適ぼけパラメータの判定（σ＝０．１９〜０．２０）、フレームＦ３８の後に最適ぼけパラメータの判定（σ＝０．１９〜０．２１）と随時行っていく。
【０１３９】
そして、最適ぼけパラメータが判定された段階で、最適なぼけパラメータσを反映することとする。この場合、実施形態と比較して処理をその都度行う必要があるが、少ない時間（フレーム）にて、最適なぼけパラメータの判定を行うことが出来る。
【０１４０】
また、上述した実施形態において、例えば図２６で示したようにＵＭｎｕｍのと、Ｍｎｕｍの値がともに同じ値の場合は、ぼけパラメータσの値が大きい方を最適なぼけパラメータとして判定したが、利用者により選択させることとしてもよい。すなわち、表示部６０に、それぞれのパラメータの場合を出力し、利用者が視認してキーやタッチパネルの操作により最適なぼけパラメータを選択させることとする。図２６の場合はσ＝０．１９とσ＝０．２０を選択させることとなる。
【０１４１】
また、上述した実施形態において、特徴点を抽出する方法としては総ての画素に基づいて算出したが、画像の一部を用いて処理を行っても良い。例えば、図２９に示す用に、画像の一部を切り出して処理を行うこととしても良いし、図３０に示す用に、画素を間引いて特徴点を求めることとしても良い。
【０１４２】
また、画像情報取得処理（図１８）のステップＳ１１２６及びステップＳ１１２８において閾値Ｅｔｈ１、Ｅｔｈ２の求め方の一例を示したが、他の方法で算出することも可能であることは勿論である。
【０１４３】
例えば、Ｅｔｈ１＝Ｅｍａｘ−Ａ、Ｅｔｈ２＝Ｅｍａｘ−Ｂとして求めることも可能である。ここで、Ａは画像データ（原画像）の特徴点を決定するための減算値であり、Ｂはフィルタ処理後の画像に閾値判定をするための減算値である。また、ＡとＢとは、Ａ＞Ｂの関係を満たしている。
【０１４４】
また、上述したぼけパラメータは、正規分布（ガウス分布）の標準偏差σに限らず、注目画素（u=0,v=0）で一番Ｈ（ｕ，ｖ）が大きく、その注目画素から離れる（｜ｕ｜＞０、｜ｖ｜＞０）ほどＨ（ｕ，ｖ）が小さくなるようなぼけ関数（ぼけ復元関数）を変更できるパラメータであればよい。
【０１４５】
例えば図３１に示すような三角波Ｈ（ｕ）＝ｗsinｃ２（ｗｕ）のｗをぼけパラメータとしてもよい。但しＨ（ｕ）は、一次元での関数であり、画像に適用するためには２次元Ｈ（ｕ，ｖ）の関数に拡張する必要がある。
【０１４６】
また、上述した実施形態においては、画像処理装置を携帯電話に適用した場合について説明したが、テレビ、カーナビゲーション、コンピュータ等の種々の表示装置に適用可能なことは勿論である。
【０１４７】
例えば、図３２にコンピュータに接続される単純な表示装置９を例にとって説明する。表示装置９は、制御部９００に、外部入力部９１０と、記憶部９２０と、映像信号処理部９３０と、表示部９４０とが接続されている。映像信号処理部９３０には、本発明を適用した最適ぼけ復元処理部５４と、ガンマ補正部５６とが含まれている。
【０１４８】
ここで、外部入力部９１０により入力された映像信号は、映像信号処理部９３０を介して表示部９４０に表示されることとなる。このとき、最適ぼけ復元処理部により、最適なぼけパラメータが判定され、当該ぼけパラメータが適用されたフィルタ処理が行われることにより、本来エッジを強調したくない箇所のエッジが強調されることが少なくなり、より自然な仕上がりとなる画像を表示することができる。
【符号の説明】
【０１４９】
１ 携帯電話
１０ 制御部
２０ 無線通信部
２２ 通信アンテナ
３０ チューナ部
３２ 受信アンテナ
３５ カメラ部
４０ 記憶部
４２ 画像データ格納領域
５０ 映像信号処理部
５２ 画像データ変換部
５４ 最適ぼけ復元処理部
５１０ 復元処理部
５１２ 復元フィルタ部
５１４ 乗算器
５１６ 加算器
５２０ エッジ強度取得部
５２２ エッジ検出フィルタ部
５２４ エッジ強度算出部
５３０ ぼけ判定部
５３２ 解析部
５３４ 特徴点記憶領域
５３６ ぼけ判定テーブル
５６ ガンマ補正部
６０ 表示部
６５ 操作部
７０ マイク部
７５ スピーカ部
【特許請求の範囲】
【請求項１】
ぼけパラメータを用いた復元フィルタにより入力画像を復元する復元処理部を備えた画像処理装置において、
入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出する画像解析部と、
前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定するぼけパラメータ判定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記パラメータ判定部は、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるぼけパラメータが複数ある場合には、当該複数のぼけパラメータの中から、前記特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最大となるぼけパラメータを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記パラメータ判定部は、前記特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最大となるぼけパラメータの値が複数ある場合には、ぼけパラメータの値が最大となるぼけパラメータを判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
ぼけパラメータを用いた復元フィルタにより入力画像を復元する画像処理方法において、
入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出し、
前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定することを特徴とする画像処理方法。
【請求項５】
コンピュータに、ぼけパラメータを用いた復元フィルタにより入力画像を復元する復元処理機能を実現させ、
入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出する画像解析機能と、
前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定するぼけパラメータ判定機能と、
を実現させることを特徴とするプログラム。
【請求項１】
ぼけパラメータを用いた復元フィルタにより入力画像を復元する復元処理部を備えた画像処理装置において、
入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出する画像解析部と、
前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定するぼけパラメータ判定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記パラメータ判定部は、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるぼけパラメータが複数ある場合には、当該複数のぼけパラメータの中から、前記特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最大となるぼけパラメータを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記パラメータ判定部は、前記特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最大となるぼけパラメータの値が複数ある場合には、ぼけパラメータの値が最大となるぼけパラメータを判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
ぼけパラメータを用いた復元フィルタにより入力画像を復元する画像処理方法において、
入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出し、
前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定することを特徴とする画像処理方法。
【請求項５】
コンピュータに、ぼけパラメータを用いた復元フィルタにより入力画像を復元する復元処理機能を実現させ、
入力画像の画素毎のエッジ強度を算出し、当該エッジ強度が処理前閾値を超えた点を特徴点、それ以外の点を非特徴点として抽出する画像解析機能と、
前記ぼけパラメータの値を変化させることにより、前記非特徴点の中で復元フィルタ処理後にエッジ強度が処理後閾値以上となる数が最小となるようなぼけパラメータを判定するぼけパラメータ判定機能と、
を実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【公開番号】特開２０１１−１４１８２９（Ｐ２０１１−１４１８２９Ａ）
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願番号】特願２０１０−３１４７（Ｐ２０１０−３１４７）
【出願日】平成２２年１月８日（２０１０．１．８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願日】平成２２年１月８日（２０１０．１．８）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]