画像のブラー除去方法および記録媒体
【課題】一枚の画像から容易且つ迅速にブラーを除去し、更に画像の品質を向上させることのできる画像のブラー除去方法を提供すること。
【解決手段】画像のブラー除去方法は、ブラーのある画像が提供される段階と、提供されたブラーのある画像からブラーのない画像を推定する画像推定段階と、ブラーのある画像および推定されたブラーのない画像からブラー情報を推定するブラー情報推定段階と、ブラーのある画像および推定されたブラー情報に基づいてブラーのある画像からブラーを除去するブラー除去段階とを含み、画像推定段階およびブラー情報推定段階については反復的に行うものである。したがって、一枚の画像に含まれたブラーを迅速に除去でき、効果的にブラーを除去して画像の品質を向上させることができる。
【解決手段】画像のブラー除去方法は、ブラーのある画像が提供される段階と、提供されたブラーのある画像からブラーのない画像を推定する画像推定段階と、ブラーのある画像および推定されたブラーのない画像からブラー情報を推定するブラー情報推定段階と、ブラーのある画像および推定されたブラー情報に基づいてブラーのある画像からブラーを除去するブラー除去段階とを含み、画像推定段階およびブラー情報推定段階については反復的に行うものである。したがって、一枚の画像に含まれたブラーを迅速に除去でき、効果的にブラーを除去して画像の品質を向上させることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法に関し、より詳細には、一枚の画像のみで迅速かつ効果的にブラーを除去しうる画像のブラー除去方法および当該画像のブラー除去方法に対応するプログラムの記録された記録媒体に関する。
【背景技術】
【０００２】
ブラー現象は、画像獲得装置を用いて画像を獲得する過程でよく発生可能な現象であって、画像の品質を低下させる主要な原因の一つである。
暗い室内や夕方頃の野外のように光量の足りない環境で、カメラなどの装置を用いて画像を獲得する場合、鮮明な画像を得るためには、十分な光量が必要であり、このために画像センサーを光に長い時間露出させなければならない。しかし、露出時間が長くなると、画像センサーの揺れによって獲得した画像にブラーが発生してしまう。
【０００３】
ブラー現象を除去するためにいままで多くの研究がなされてきたが、画像からブラーを除去することは相変らず解決しにくい問題である。
これは、画像からブラーを推定して除去する問題が、与えられた情報の量に比べて知らなければならない情報の量のほうがさらに多いためである。
【０００４】
従来の多くの解決策は、前記のような問題を解決するために、複数枚の画像を用いる或いはセンサーの露出時間を用いることなど、付加的な情報を必要としたり、ブラーの形が２次元ベクトルに表現可能な線形モーションに制限する方式などにように極めて制限された形態のブラーのみを仮定して問題を解決してきた。
【０００５】
Ｙｔｉｚｈａｋｅｙなどは、画像が等方性を有するという仮定を用いて２Ｄベクトルに表現可能なブラーを推定した（非特許文献１）。Ｒａｖ−ＡｃｈａとＰｅｌｅｇは、２枚のブラーのある画像を用いてブラーを推定する方法を提示して（非特許文献２）、Ｙｕａｎなどは、ブラーはないが、ノイズのある画像とブラーのある画像を用いてブラーを推定して除去する方法を提示した（非特許文献３）。ＭｏｎｅｙとＫａｎｇは、ブラーのある画像にショックフィルター(ｓｈｏｃｋ ｆｉｌｔｅｒ)を適用して鮮明なエッジ(ｓｈａｒｐ ｅｄｇｅｓ)を復元した後、これを用いてガウスブラー(ｇａｕｓｓｉａｎ ｂｌｕｒ)および２Ｄベクトルで表現可能なブラーを推定する方法を提示した（非特許文献４）。
【０００６】
最近は一枚の画像から少ない数のパラメーターで表現可能なモーションブラーより一般的なブラーを推定して除去する方法が紹介された。
Ｆｅｒｇｕｓなどは、一般的な画像が有する統計的な特性を用いてブラーを推定する方法を提示していて（非特許文献５）、Ｊｉａは、画像でブラーの発生した領域に対する情報をアルファマット(ａｌｐｈａ ｍａｔｔｅ)技法を用いて得た後、画像のブラーを除去する方法を提示した（非特許文献６）。しかし、Ｆｅｒｇｕｓなどの提示した方法は、統計的モデルの複雑度によって良い結果を出すことが難しく、ブラーの推定に長い時間がかかるという短所がある。
【０００７】
また、Ｊｉａの提示した方法の場合、アルファマット技法の結果に非常に依存的であるため、良いマットを具備することができてこそ満足な結果を得ることができるという短所がある。
【０００８】
Ｓｈａｎなどは、Ｆｅｒｇｕｓなどの提示した一般的な画像が有する統計的特性をより計算しやすい形態で提示して、これを用いるブラーの推定および除去を行う方法を提示した（非特許文献７）。しかし、一枚の画像を処理するのに数分から十数分以上の処理時間を必要とするため、実用的に用いにくいという短所がある。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Ｙｔｉｚｈａｋｅｙ，Ｙ．，ＭＯＲ，I．，Ａ．，Ａｎｄ ＫＯＰＥＩＫＡ，Ｎ．Ｓ．,「モーションブラー画像復元のための直接法（Direct method for restoration of motion-blurred images.）」，米国光学会誌Ａ（Journal of Optical Society of America A），（米国），１９９８年，第１５巻，６号，ｐ．１５１２−１５１９．
【非特許文献２】ＲＡＶ−ＡＣＨＡ，Ａ．，ＡＮＤ ＰＥＬＥＧ，Ｓ．，「一より二つのモーションブラー画像のほうが好ましい（Two motion-blurred images are better than one.）」，パターン認識論文誌（Pattern Recognition Letters），（オランダ），２００５年，第２６巻，ｐ．３１１-３１７．
【非特許文献３】ＹＵＡＮ，Ｌ．，ＳＵＮ，Ｊ．，ＱＵＡＮ．，Ｌ．，ＡＮＤ ＳＨＵＭ，Ｈ．−Ｙ．，「ブラー画像及びノイズ画像の組による画像のブラー修正（Image deblurring with blurred/noisy image pairs.）」，国際計算機学会誌グラフィックス分野（ACM Transactions on Graphics），（米国），２００７年，第２６巻，第３号，記事１．
【非特許文献４】ＭＯＮＥＹ，Ｊ．Ｈ．，ＡＮＤ ＫＡＮＧ，Ｓ．Ｈ．，「ショックフィルターの参照によるブラインドデコンボリューションのトータルバリエーション最小化（Total variation minimizing blind deconvolution with shock filter reference）」，イメージ アンド ビジョン コンピューティング（Image and Vision Computing），（オランダ），２００８年，第２６巻，第２号，ｐ．３０２-３１４．
【非特許文献５】ＦＥＲＧＵＳ，Ｒ，．ＳＩＮＧＨ，Ｂ．，ＨＥＲＴＡＭＡＮ，Ａ．，ＲＯＷＥＩＳ，ＳＴ．，ＡＮＤ ＦＲＥＥＭＡＮ，Ｗ．，「単一写真からのカメラ振動除去（Removing camera shake from a single photograph.）」，国際計算機学会誌グラフィックス分野（ACM Transactions on Graphics），（米国），２００６年，第２５巻，ｐ．７８７-７９４．
【非特許文献６】ＪＩＡ，Ｊ．，「トランスパレンシーを用いた単一画像モーションブラー修正（Single image motion deblurring using transparency.）」，２００７年ＣＶＰＲ会報（In Proc.CVPR 2007），（米国）,２００７年，ｐ．１−８．
【非特許文献７】ＳＨＡＮ，Ｑ．，ＪＩＡ．，ＡＮＤ ＡＧＡＲＷＡＬＡ，Ａ．，「単一画像からの高品質モーションブラー除去（High-quality motion deblurring from a single image.）」，国際計算機学会誌グラフィックス分野（ACM Transactions on Graphics），（米国），２００８年，第２７巻，３号，記事７３．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、前記問題に鑑みてなされたものであり、本発明の目的とするところは、一枚の画像から容易かつ迅速にブラーを除去することができ、画像の品質を向上させることが可能な、新規かつ改良された画像のブラー除去方法を提供することにある。
【００１１】
本発明の他の目的は、一枚の画像から容易かつ迅速にブラーを除去でき、画像の品質を向上させることが可能な、新規かつ改良された画像のブラー除去方法に対応するプログラムの記録された記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
前述した本発明の目的を達成するための本発明の一側面による画像のブラー除去方法は、ブラーのある画像を提供される段階と、提供された前記ブラーのある画像からブラーのない画像を推定する画像推定段階と、前記ブラーのある画像および推定された前記ブラーのない画像からブラー情報を推定するブラー情報推定段階と、前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像からブラーを除去するブラー除去段階とを含み、前記画像推定段階および前記ブラー情報推定段階については、反復的に行うものである。
【００１３】
前記画像推定段階は、前記ブラーのある画像のグラジエント情報を予測するグラジエント情報予測段階および前記推定されたブラー情報および前記ブラーのある画像に基づいて第１デコンボリューションを行う第１デコンボリューション遂行段階を含む段階とすることができる。
【００１４】
また、前記グラジエント情報予測段階は、前記ブラーの含まれたオリジナル画像に両方向フィルターを適用する段階と、前記両方向フィルターの適用された画像にショックフィルターを適用する段階と、前記ショックフィルターの適用された画像のグラジエントマップを算出する段階と、算出された前記グラジエントマップに臨界値を適用する段階とを含むものとすることができる。
【００１５】
そして、前記算出された前記グラジエントマップに臨界値を適用する段階は、前記算出されたグラジエントの方向および大きさに基づいてヒストグラムを生成する段階と、前記生成されたヒストグラムに含まれた各方向に相応するブラー情報の垂直および水平大きさのうち、最大値の所定倍数以上のピクセルを含むことの可能なグラジエントの大きさを臨界値に設定する段階と、設定された前記臨界値を前記グラジエントマップに適用してグラジエントを省略する段階とを含むものとすることができる。
【００１６】
前記設定された前記臨界値を前記グラジエントマップに適用してグラジエントを省略する段階は、前記臨界値より小さいグラジエントを０に設定する段階とすることができる。
また、前記ブラー情報推定段階は、前記ブラーのある画像および前記省略されたグラジエントに基づいて、前記ブラー情報を推定する段階とすることができる。
【００１７】
この他、前記ブラー情報推定段階は、ピクセル値を含ませないで画像導関数のみを含むエネルギー関数を用いて、ブラー情報を推定する段階とすることができる。
また、前記画像推定段階および前記ブラー情報推定段階については、前記ブラーのある画像および前記推定されたブラーのない画像の解像度を変化させて、反復的に行うことができる。
【００１８】
前記本発明の他の目的を達成するための本発明の一側面による画像のブラー除去方法に対応するプログラムが記録された記録媒体は、ブラーのある画像が提供される段階と、提供された前記ブラーのある画像からブラーのない画像を推定する画像推定段階と、前記ブラーのある画像および推定された前記ブラーのない画像からブラー情報を推定するブラー情報推定段階と、前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像でブラーを除去するブラー除去段階とをデジタル処理装置（コンピュータ）に実行させ、前記画像推定段階および前記ブラー情報推定段階については、これらの段階を、前記デジタル処理装置に反復的に実行させるためのプログラムを記録する。
【発明の効果】
【００１９】
前述したような画像のブラー除去方法および画像のブラー除去方法に対応するプログラムの記録された記録媒体によると、提供されたブラーのある画像に対して画像フィルターを適用してエッジを復元してノイズを除去してグラジエントマップを予測した後、前記グラジエントマップとブラーのある画像に基づいてブラーカーネルを推定し、推定されたブラーカーネルとブラーのある画像に対してデコンボリューションを行って潜像（ｌａｔｅｎｔ ｉｍａｇｅ）を推定する。そして前記した過程を繰り返してブラーカーネルの推定の正確度を向上させて、最終ブラーカーネルを推定した後、推定された最終ブラーカーネルとブラーのある画像に対して最終デコンボリューションを行って画像のブラーを除去する。前記ブラーカーネル推定過程ではピクセル値を用いることなく画像導関数のみを用いる。
【００２０】
よって、ブラーの含まれた一枚の映像のみで画像の品質を維持しかつブラーが除去でき、従来のブラーの除去方法より画期的にブラーの除去に要する処理時間を短縮することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施例による画像のブラー除去方法を示すフローチャートである。
【図２】図１に示した本発明の一実施例による画像のブラー除去方法において、反復遂行の回数に応じたブラーの除去された画像を示す。
【図３】図１に示した予測段階のより詳細な処理過程を示すフローチャートである。
【図４】本発明の一実施例による画像のブラー除去方法において、互いに異なるスケールから推定されたカーネルを示す。
【図５】本発明の一実施例によるブラーカーネル推定の収斂速度を従来のブラーカーネル推定方法と比較して示した図である。
【図６】本発明の一実施例によるブラーカーネル推定の正確度を示す。
【図７】本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された画像を示す。
【図８】本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された実際画像を示す。
【図９】図８に示した画像のブラー除去に要した処理時間を示す。
【発明を実施するための形態】
【００２２】
本発明は多様に変更することができ、多様な形態を有することができるが、ここでは、特定の実施形態を図面に例示して詳細に説明する。但し、ここでの記載は、本発明を特定の開示形態に限定するものではなく、本発明の権利範囲は、本発明の思想及び技術範囲に含まれる全ての変更、均等物、乃至代替物を含むことを理解すべきである。以下の記載では、各図面を説明しながら類似の参照符号を類似の構成要素に対して付与した。
【００２３】
また、第１、第２、Ａ、Ｂ等の用語は、多様な構成要素を説明するために使用することができるが、構成要素は用語によって限定されない。用語は一つの構成要素を他の構成要素から区別する目的としてのみ使用される。例えば、本発明の権利範囲から逸脱することなしに、第１構成要素は第２構成要素と称されてもよく、同様に第２構成要素も第１構成要素に称されてもよい。この他、「及び／または」という用語は、複数関連記載の項目の組合せまたは複数関連記載の項目のうちのいずれかを含む用語である。
【００２４】
また、いかなる構成要素についても、当該構成要素が他の構成要素に「連結」されている、或いは、「接続」されていると言及する時には、他の構成要素に直接的に連結されているか或いは接続されていることもあるが、それらの中間に更に他の構成要素が存在することもあることを理解すべきである。
【００２５】
反面、いかなる構成要素についても、当該構成要素が他の構成要素に「直接連結」されている、或いは、「直接接続」されていると言及するときには、中間に更に他の構成要素が存在しないことと理解すべきである。
【００２６】
また、本出願において用いた用語は、ただ特定の実施例を説明するためのものであって、本発明を限定するものではない。単数の表現は、文脈上、明白に相違が示されない限り、複数の表現を含む。本出願において、「含む」または「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを意図するものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品、又はこれらを組み合わせたもの等の存在または付加の可能性を予め排除しないことを理解しなければならない。
【００２７】
なお、異なるものとして定義しない限り、技術的な用語や科学的な用語を含めてここで用いられる全ての用語は、本発明が属する技術分野において通常の知識を有する者によって一般的に理解されるものと同一の意味を有している。一般的に用いられる辞典に定義されているもののような用語は、関連技術の文脈上で有する意味と一致する意味を有することと解釈すべきであり、本出願で明白に定義されない限り、異常的であるか過度に形式的な意味に解釈されない。
【００２８】
以下に添付図面を参照して本発明の好適な実施形態について詳細に説明する。
一般的にモーションブラーは、下記の数式１（以下、数式番号については、対応する項目番号を引用して記載する。）のように示すことができる。
【００２９】
【数１】
数式１でＢは、ブラーのある画像(ｂｌｕｒｒｅｄ ｉｍａｇｅ)を示し、Ｋは、画像のブラー情報を示すモーションブラーカーネル(ｍｏｔｉｏｎ ｂｌｕｒ ｋｅｒｎｅｌ)または点広がり関数(ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ)を示し、Ｌは、潜像(ｌａｔｅｎｔ ｉｍａｇｅ)、すなわち、ブラーのない鮮明な画像を示す。また、Ｎは、画像獲得過程で導入された未知のノイズを示し、＊は、畳み込み演算子(ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｏｒ)を示す。
【００３０】
前記数式１のブラインドデコンボリューション(ｂｌｉｎｄ ｄｅｃｏｎｖｏｌｕｔｉｏｎ)のためには、反復処理過程(ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｓｓ)でＬとＫの最適化が必要である。また、潜像推定およびブラーカーネル推定は、数式２および数式３の解決によって得ることができる。
【００３１】
【数２】
【００３２】
【数３】
数式２および数式３で、
は、データ調整項(ｄａｔａ ｆｉｔｔｉｎｇ ｔｅｒｍ)を示し、ρLおよびρKは、正規化項(ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｔｅｒｍｓ)を示す。
【００３３】
反復処理過程での最適化（以下、反復的最適化という。）の目的は、ブラーカーネルＫの正確度を徐々に改善(ｒｅｆｉｎｅ)することにある。ブラーの除去された最終画像は、最終ブラーカーネルＫと与えられたブラーのある画像Ｂに対するデコンボリューション演算を行うことによって得られる。反復的最適化の途中、推定された潜像は、ブラーの除去された最終画像に直接的な影響を及ぼさなくて、モーションブラーカーネルＫの改善に影響を及ぼすことによって、ブラーの除去された最終画像には間接的に影響を及ぼすようになる。
【００３４】
潜像推定のための反復的最適化過程によって潜像から鮮明なエッジ(ｓｈａｒｐ ｅｄｇｅ)復元と平坦な領域(ｓｍｏｏｔｈ ｒｅｇｉｏｎ)におけるノイズ減殺特性を得ることができ、これはより正確なモーションブラーカーネルを推定することに用いられる。与えられた画像が均一なブラーを含むことに仮定する場合にも鮮明なエッジの周辺からさらに正確なモーションブラーカーネルを得ることができる。例えば、均一な強度(ｃｏｎｓｔａｎｔ ｉｎｔｅｎｓｉｔｙ)を有する領域では、モーションブラーカーネルが推定できないが、一般的に自然画像(ｎａｔｕｒａｌ ｉｍａｇｅ)は、強いエッジ(ｓｔｒｏｎｇ ｅｄｇｅｓ)を含んでいるため、モーションブラーカーネルは、潜像（ｌａｔｅｎｔ ｉｍａｇｅ)推定過程で復元されたエッジを通じて効果的に予測することが可能である。
【００３５】
また、一般的な自然画像では平坦な領域が鮮明なエッジ領域より更に多い領域を占めるため、平坦な領域におけるノイズ抑圧も重要である。もし平坦な領域でノイズが抑圧されないと、数式３のデータ調整項は、ノイズによって非常に大きい影響を受けるようになり、これによって鮮明なエッジからブラーカーネルを推定することにおいて正確度が損なわれる。
【００３６】
数式２の解を求める過程で鮮明なエッジ復元およびノイズ抑圧のための従来の方法は、計算的に複雑な非線形最適化（ｎｏｎ−ｌｉｎｅａｒ ｏｐｔｉｍｉｚａｔｉｏｎ)方法を用いる。また、数式３を用いる従来のブラーカーネル推定方法は、莫大な行列およびベクトルに対して演算を必要とする。結果的に、レイタント画像（潜像）およびブラーカーネル推定のための従来のブラインドデコンボリューションの反復的遂行方法は、計算量が非常に大きいという短所がある。
【００３７】
前記のような従来の短所を解決するために本発明の一実施例による画像のブラー除去方法では、潜像推定およびブラーカーネル推定過程で計算量を減少させることによって、迅速なブラインドデコンボリューション方法を提供する。
【００３８】
本発明の一実施例による画像のブラー除去方法では、レイタント画像の推定速度を向上させるために、潜像の鮮明なエッジを十分に含むことと仮定し、数式２で計算複雑度の高い非線形正規化項(ｎｏｎ−ｌｉｎｅａｒ ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｔｅｒｍ)を最適化する代わりに画像フィルターを用いて鮮明なエッジ復元およびノイズ抑圧特性を用いる。
【００３９】
また、ブラーカーネル推定過程では、ピクセル値(ｐｉｘｅｌ ｖａｌｕｅ)を除くことによって、数式３の数値最適化(ｎｕｍｅｒｉｃａｌ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ)速度を向上させる。
【００４０】
本発明の一実施例による画像のブラー除去方法において、潜像の推定過程は、大きく単純デコンボリューションと予測との２段階で構成される。
単純デコンボリューション段階では、ブラーのある画像ＢとブラーカーネルＫが与えられた場合、先に潜像Ｌを推定するために、ガウスプライア（ｇａｕｓｓｉａｎ ｐｒｉｏｒ）を有する単純かつ迅速なデコンボリューションを用いてブラーを除去する。
【００４１】
ガウスプライアの特徴によって、潜像Ｌは、平坦なエッジ(ｓｍｏｏｔｈ ｅｄｇｅｓ)および平坦な領域にノイズを含む。
潜像Ｌの予測段階では、画像フィルターを用いて鮮明なエッジ復元とノイズを除去して正確度の改善された(ｒｅｆｉｎｅｄ)推定潜像Ｌ’を獲得する。ここで、潜像の平坦な領域で鮮明な(ｓｔｒｏｎｇ)エッジおよび抑圧されたノイズは、潜像がブラーカーネル推定に用いられる時、重要な特徴として用いられるため、単純デコンボリューションは画像品質が低下するにもかかわらず、結果的に推定潜像Ｌ’は正確なブラーカーネル推定に必要な高品質の潜像を提供する。
【００４２】
ブラーカーネル推定段階では、前記数式３の解を求めるために、共役勾配（ＣＧ：Ｃｏｎｊｕｇａｔｅ Ｇｒａｄｉｅｎｔ）法を用いる。また、数式３の解を求める過程でエネルギー関数のグラジエント計算が数回行われる。
【００４３】
グラジエント計算は、高次元の行列およびベクトルの掛け算を含むため、演算が非常に複雑であるがコンボリューション演算に関わる掛け算は、高速フーリエ変換(ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ)を用いて計算速度を向上させることができる。
【００４４】
しかし、順次に高速フーリエ変換を行う過程で、高速フーリエ変換の直接的な連接(ｃｏｎｃａｔｅｎａｔｉｏｎ)に妨害となる画像境界を適切に調整することが必要である。
数式３を単に画像導関数(ｉｍａｇｅ ｄｅｒｉｖａｔｉｖｅｓ)を有するエネルギー関数に公式化することによって、画像境界調節および高速フーリエ変換の数を顕著に減少させることができる。
【００４５】
また、前記エネルギー関数の公式化は、付加的に共役勾配法(ＣＧ)の処理速度の向上を提供し、数式３から誘導される計算体系に小さい条件数(ｃｏｎｄｉｔｉｏｎ ｎｕｍｂｅｒ)を有する正しい条件(ｗｅｌｌ−ｃｏｎｄｉｔｉｏｎｅｄ)を提供して収斂速度を向上させる。
【００４６】
図１は、本発明の一実施例による画像のブラー除去方法を示すフローチャートである。
図１を参照すると、まず、ブラーのある画像が提供される(段階１１０)。
予測段階(段階１２０)は、ブラーのある画像が提供された時、ブラーカーネル推定のための潜像Ｌの初期値を提供するために反復されるループの始めに位置する。
【００４７】
予測段階では、平坦な領域でノイズの抑圧された潜像で著しいエッジを予測するために、潜像Ｌのｘ方向およびｙ方向に沿ってグラジエントマップ[Ｐx，Ｐy]を計算する。
段階１２０〜段階１５０の反復過程における予測段階への入力は、初回（一回目）を除いて以前の反復過程におけるデコンボリューション段階で獲得した、推定された潜像Ｌになる。
【００４８】
ブラーカーネル推定段階(段階１３０)では、段階１２０で計算によって予測されたグラジエントマップ[Ｐx，Ｐy]およびブラーのある画像Ｂを用いてブラーカーネルＫを推定する。
【００４９】
デコンボリューション段階(段階１４０)では、ブラーカーネルＫおよびブラーのある画像Ｂを用いて潜像Ｌを推定する。ここで、前記推定された潜像Ｌは、次の反復過程の予測段階(段階１２０)に入力される。
【００５０】
本発明の一実施例による画像のブラー除去方法では、より効果的にブラーカーネルＫおよび潜像Ｌを推定するために、段階１２０および段階１３０を反復的に行うことで、推定の正確度を向上させる。
【００５１】
本発明の一実施例による画像のブラー除去方法では、ブラーカーネルＫおよび潜像Ｌの正確度向上ための反復的処理過程でブラーのある画像および潜像Ｌのグレースケールバージョンを用いる。
【００５２】
最終デコンボリューション段階(段階１５０)では、反復動作によって最終ブラーカーネルＫが得られた後、ブラーの除去された最終画像を得るために、前記最終ブラーカーネルＫとブラーのある画像Ｂの各カラーチャンネルに対する最終デコンボリューションを行う(段階１５０)。
【００５３】
図２は、図１に示した本発明の一実施例による画像のブラー除去方法でブラーが除去された画像を反復回数に応じて複数示す。
図２を参照すると、図２の(ａ)はブラーの含まれたオリジナル画像を示し、図２の(ｂ)は本発明の一実施例によりブラーの除去された最終画像を示す。
【００５４】
また、図２の(ｃ)〜(ｅ)は、それぞれ図１の段階１２０〜段階１４０を１回、３回、および５回を反復して行った結果を示すものであって、予測されたグラジエントマップ[Ｐx，Ｐy]と、推定されたブラーカーネルを含むデコンボリューションの結果を示す。図２では、図示の予測されたグラジエントマップ[Ｐx，Ｐy]は、視覚化のためにポアソン復元(Ｐｏｉｓｓｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)を用いた。
【００５５】
図２に示したように、本発明の一実施例による画像のブラー除去方法では、図１の段階１２０〜段階１４０の反復回数が増加するほど(図５の(ｅ)、５ｔｈ ｉｔｅｒａｔｉｏｎ)より更に正確に潜像を推定でき、推定された潜像に基づいて、より更に正確なブラーカーネルをブラーカーネルを予測することができる。そして、より正確に推定されたブラーカーネルを用いてブラーの除去された最終画像(ｂ)を得ることができる。
【００５６】
以下、本発明の一実施例による画像のブラー除去方法をより詳細に説明する。
先に、図１の予測段階(段階１２０)は潜像Ｌから著しいエッジのみを残して、残りの領域はグラジエントを０に設定することによって画像グラジエントマップ[Ｐx，Ｐy]を推定する。グラジエント０のコンボリューションは、推定されたブラーカーネルに関係なくいつも０であるため、結果的にブラーカーネル推定段階(段階１３０)で著しいエッジのみブラーカーネルの最適化に影響を及ぼす。
【００５７】
また、予測段階では、強い(ｓｔｒｏｎｇ)エッジを復元するために、ショックフィルター用いる。ショックフィルターは、ブラーのある画像から鮮明なエッジを復元することによって画像の特徴を強化させる効率的な道具である。
【００５８】
ショックフィルターは、下記の数式４のように示すことができる。
【００５９】
【数４】
数式４で、Ｉtは時間ｔにおける画像を示し、ΔItおよび∇Itは、それぞれＩtのラプラシアンおよびグラジエントを示す。また、ｄｔは単一展開(ｅｖｏｌｕｔｉｏｎ)に対する時間段階(ｔｉｍｅ ｓｔｅｐ)を示す。
【００６０】
図３は、図１に示した予測段階のより詳細な処理過程を示すフローチャートである。
図３を参照すると、予測段階は、両方向フィルタリング段階、ショックフィルタリング段階、およびグラジエント臨界値適用段階を含む段階とすることができる。
【００６１】
まず、現在の推定された潜像Ｌに対して存在可能なノイズおよび小さいディテール(ｓｍａｌｌ ｄｅｔａｉｌ)を抑圧するために、両方向フィルターを適用する(段階１２１)。ここで、両方向フィルタリングで支援可能な画像のサイズは固定（例えば、５×５)することができる。
【００６２】
その後、推定された潜像Ｌで強い（ｓｔｒｏｎｇ）エッジを復元するために、ショックフィルターが適用される(段階１２３)。ここで、ショックフィルターの適用された結果の画像である潜像Ｌ’は、エッジのコントラストが向上するが同時にノイズが増加する。
【００６３】
したがって、潜像Ｌ’のグラジエントマップ
を計算し(段階１２５)、計算されたグラジエントマップに臨界値を適用してグラジエントを省略(ｔｒｕｎｃａｔｅ)することによってノイズを除去する(段階１２７)。省略されたグラジエントマップ｛Ｐx，Ｐy｝がこの予測段階の最終出力となる。ここで、前記グラジエントの省略は、例えば、臨界値より小さいグラジエントを０に設定することで行うことができる。
【００６４】
グラジエントの省略のための臨界値は、まず、グラジエントの方向を所定角度(例えば、４５°)間隔に区分し、各方向に対してグラジエント大きさによるヒストグラムを生成し(ここで、１８０°〜３６０°の間は、符号のみ相違であり、大きさは同一の方向の角度で計算)、生成されたそれぞれの方向に対してブラーカーネルの垂直および水平大きさのうち、最大値の所定倍数(例えば、２倍)以上のピクセルを含むことのできるグラジエント大きさを臨界値に設定する。
【００６５】
デコンボリューション段階(段階１４０)では、与えられたブラーカーネルＫおよび提供されたブラーのある画像Ｂに基づいて潜像Ｌを推定する。ここで、潜像Ｌを推定するために、エネルギー関数を用いる。エネルギー関数は、下記の数式５のように示すことができる。
【００６６】
【数５】
数式５で、
は、互いに違う方向での偏微分演算子および次数を示し、
は、各偏微分に対する加重値を示し、αは、正規化項に対する加重値(例えば、０．１)を示す。
【００６７】
数式５の一番目の項は、リンギング効果(ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔｓ)を減少させるために画像導関数を用いるＳｈａｎなどが提案したブラーモデルに基づく（非特許文献７）。また、正規化項
は、平坦なグラジエントを有する潜像Ｌを取る。
【００６８】
前記数式５は、ただ２回の高速フーリエ演算による周波数領域でピクセル別割算演算(ｐｉｘｅｌ−ｗｉｓｅ ｄｉｖｉｓｉｏｎ)によって非常に速く最適化することができる。数式５が最適化された結果は、平坦なエッジおよびリンギング効果を含むことができる。しかし、段階１２０で強いエッジのみを復元し、リンギング効果を含む残りは省略するため、予測段階(段階１２０)に基づいた単一デコンボリューションの遂行結果（実行結果）は、正確なブラーカーネルの推定に影響を及ぼさない。
【００６９】
本発明の一実施例による画像のブラー除去方法では、大きいブラー(ｌａｒｇｅ ｂｌｕｒ)の有する画像から効果的にブラーを除去するために、マルチスケール反復処理(ｍｕｌｔｉ−ｓｃａｌｅ ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｓｓ)を行う。
【００７０】
図４は、本発明の一実施例による画像のブラー除去方法において、互いに異なるスケールで推定されたカーネルを示す。
図４を参照してマルチスケール反復処理過程を説明すると、先に、ブラーの範囲が狭くて深刻な局部化エラー(ｓｅｖｅｒｅ ｌｏｃａｌｉｚａｔｉｏｎ ｅｒｒｏｒｓ)なしにエッジを推定できる低い解像度(ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ)で鮮明なエッジを推定する。
【００７１】
高い解像度では、以前の低い解像度を通じて獲得したデコンボリューションされた画像から深刻な局部化エラーを避けて鮮明なエッジ推定を始める。特定スケールで反復処理を行う間、鮮明なエッジ推定は以前の反復処理過程で更新されたブラーカーネルを通じて得られたデコンボリューション結果に適用される。
【００７２】
前記のように、本発明の一実施例による画像のブラー除去方法では、マルチスケール反復処理過程によって小さいサイズの両方向フィルターおよびショックフィルターを用いて大きいブラーに対するブラーカーネルを推定することができる。
【００７３】
マルチスケール反復処理過程は、一つのスケールを用いては扱うことのできなかった大きいブラーを推定可能にする。また、本発明の一実施例による画像のブラー除去方法では、ブラーカーネル推定のための潜像のグラジエントマップ予測で２回の高速フーリエ変換と単純な画像フィルタリングを行い、両方向フィルタリング、ショックフィルタリング、およびグラジエント臨界値適用については非常に速く実行することが可能である。このため、本発明では、従来のブラー除去方法(例えば、Ｓｈａｎ ｅｔ ａｌ．２００８)が３０〜６０回の高速フーリエ変換を行うことに比べて非常に速く処理することが可能である。
【００７４】
推定されたグラジエントマップ[Ｐx，Ｐy]を用いるブラーカーネル推定は、数式６のエネルギー関数を用いる。
【００７５】
【数６】
数式６で
は、各偏微分のための加重値を示し、Ｐ*およびＢ*は、下記の数式７のように変えることができる。
【００７６】
【数７】
数式６で各
はマップを形成し、マップＩは
に定義される。ここで、(ｘ，ｙ)はＩでピクセルのインデックスを示す。また、βはチホノフ正規化(Ｔｉｋｈｏｎｏｖ ｒｅｇｕｌａｒｉｚａｔｉｏｎ)に対する加重値を示す。
【００７７】
数式６に記載のように、本発明ではエネルギー関数でピクセル値を含ませないでただ画像導関数のみを用いる。また、本発明では、従来のブラー除去方法で用いたＫのＬ１ノルム(ｎｏｒｍ)の代わりにチホノフ正規化項を用いる。
【００７８】
数式６は、数式８のように行列式形態に表現することができる。
【００７９】
【数８】
数式８でＡは５つのＰ*で構成された行列を示し、ｋはブラーカーネルＫのベクトルを示す。また、ｂは５つのＢ*で構成された行列を示す。
【００８０】
数式８を最小化するために共役勾配法(ＣＧ)を用いると、ｆkのグラジエントは数式９のように定義される。
【００８１】
【数９】
数式９で∂ｆk（ｋ）／∂ｋの計算は、Ａが大きくなるほど多くの時間を必要とする。潜像ＬとブラーカーネルＫの大きさがそれぞれｎ×ｎおよびｍ×ｍの場合、Ａの大きさは５ｎ2×ｍ2になる。したがって、Ａｋの直接的な計算は、厖大な計算量と大きい保存容量を必要とする。ＡTＡの大きさはｍ2×ｍ2で相対的に小さいがこれも計算に多くの時間を必要とする。
【００８２】
しかし、Ａｋが５つＰ*のＫとのコンボリューションに相応するため、高速フーリエ変換を用いて計算速度を向上させることができる。特に、Ａｋの計算は、６回の高速フーリエ変換が必要である。すなわち、１回の
と５回の
の高速フーリエ変換が必要である。ここで、および
は、それぞれフーリエ変換(ｆｏｒｗａｒｄ ＦＦＴ)および逆フーリエ変換(ｉｎｖｅｒｓｅ ＦＦＴ)を示し、○はピクセル別掛け算を示す。
は、共役勾配法(ＣＧ)の計算の前にあらかじめ計算することができる。
【００８３】
前述した方法と類似的に６回の高速フーリエ変換を通じて、
の計算速度を向上させることができる。
結果的に、共役勾配法(ＣＧ)の各反復段階でグラジエント∂ｆk（ｋ）／∂ｋの計算に総１２回の高速フーリエ変換が行われる。そして、前処理段階で
だけでなくＡTｂも高速フーリエ変換によって計算することができる。
【００８４】
本発明では、高速フーリエ変換の回数を減少させることによって、計算速度を更に向上させるために、ＡｋとＡTｙとを関連させてＡTＡｋを直接的に計算する。ＡTＡｋは、下記の数式１０のように示すことができる。
【００８５】
【数１０】
数式１０で、
は
の共役複素数(ｃｏｍｐｌｅｘ ｃｏｎｊｕｇａｔｅ)を示す。
は、共役勾配法(ＣＧ)の反復の前にあらかじめ計算することができる。したがって、グラジエント計算にただ二回の高速フーリエ変換が行われるため、高速フーリエ変換の回数を１０回減少させることができる。
【００８６】
前述したのような効率的な計算は、数式６でピクセル値を用いないで画像導関数のみを用いることから起因する。すなわち、本発明では画像偏微分のみを用いるため、Ａｋを計算する前に画像の境界(ｂｏｕｎｄａｒｙ)を偏微分値が０である値を有する領域に拡張することによって画像境界の問題を回避する。
【００８７】
前記数式６の最適化以後、最も大きい値の１/２０より小さい値を有する要素を０に設定した後、０でない値に対しては合計が１となるように正規化する。
数値最適化の過程で最適化収斂のための反復遂行の回数および収斂速度は非常に重要である。本発明の一実施例によるブラーカーネル推定方法は、ピクセル値を含む従来の場合より非常に速い速度で計算が最適化する。
【００８８】
図５は、本発明の一実施例によるブラーカーネル推定の収斂速度を従来のブラーカーネル推定方法と比較して示したものである。
図５を参照すると、本発明の一実施例によるブラーカーネル推定は、数回以内の反復によって画期的にブラーカーネル推定エラーが減少するが、ピクセル値を用いる従来のブラーカーネル推定方法は、本発明に比べてブラーカーネル推定エラーがより遅く減少することが分かる。
【００８９】
前記したように、数値最適化の速い収斂は、数式９で行列ＡTＡのよく定義された条件に起因する。ＡTＡは、下記の数式１１のように示すことができる。
【００９０】
【数１１】
数式１１でＡ*TＡ*は
で定義される。ここで、Ｉ*iはに依存する量によってシフトされた後の∂*Ｌのベクトル表現である。画像偏微分は、エッジピクセルを除いては一般的に０に近い。したがって、Ａ*TＡ*の成分値は対角(ｄｉａｇｏｎａｌ)領域では大きい値を有し、対角線でない領域(ｏｆｆ−ｄｉａｇｏｎａｌ ｒｅｇｉｏｎ)では急激に小さい値になる。
【００９１】
ブラーカーネル推定速度の比較のために、チホノフ正規化項がカーネル推定の正規化項に用いられることを除いて、エネルギー関数が「Ｓｈａｎ ｅｔ ａｌ．２００８」と同じ状態でカーネル推定方法を考慮する。ここで、チホノフ正規化項の用いられた「Ｓｈａｎ ｅｔ ａｌ．２００８」を「Ｓｈａｎ−Ｌ２」と称する。
「Ｓｈａｎ ｅｔ ａｌ．２００８」の本来バージョンは、エネルギー関数の正規化項にＬ１ノルムを用いるため、更に多い計算量を必要とする。また、前記「Ｓｈａｎ ｅｔ ａｌ．２００８」の本来バージョンにおけるカーネル推定段階では、厖大な大きさの行列が生成されるため、メモリー不足および過度な計算量を招く短所がある。
【００９２】
反面、本発明の一実施例によるブラーカーネル推定は、各共役勾配法(ＣＧ)の遂行段階で２回の高速フーリエ変換を行うが、「Ｓｈａｎ−Ｌ２」は一枚のピクセル値の画像と５枚の偏微分された画像で構成された６枚の画像を用いるため、総１４回の高速フーリエ変換を行う。また、「Ｓｈａｎ−Ｌ２」は、ピクセル値を用いるため、本発明よりさらに多い反復遂行が必要である。
【００９３】
図５に示したように、本発明の一実施例によるブラーカーネル推定方法では５回の共役勾配法(ＣＧ)処理を繰り返して行ったが、類似の正確度を得るために「Ｓｈａｎ−Ｌ２」は、３０回の反復遂行が必要であることが分かる。
【００９４】
結果的に、本発明の一実施例によるブラーカーネル推定方法は、「Ｓｈａｎ−Ｌ２」に比べて４０倍以上に速く、ピクセル値を用いる従来の他の方法よりも１０倍以上速い。
図６は、本発明の一実施例によるブラーカーネル推定の正確度を示す。
【００９５】
本発明の一実施例によるカーネル推定方法の正確度を検証するために、互いに異なるガウスノイズを付加したテスト画像を用いて本発明とピクセル値を用いる従来の方法とを比較した。
【００９６】
図６を参照すると、本発明の一実施例によるカーネル推定方法では、ピクセル値を用いないにもかかわらずピクセル値を用いた従来のカーネル推定方法と実質的に同一の正確度を有する。また、一部のケースでは、本発明のカーネル推定方法がピクセル値を除くことによって得られるよく定義された計算体系によって、ピクセル値を用いる従来のカーネル推定方法よりさらに優秀な正確度を有する。
【００９７】
図７は、本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された画像を示す。
図７を参照すると、推定されたブラーカーネルは、本来のブラーカーネルと実質的に同一であり、ブラーの除去された画像はオリジナル画像の繊細なディテールに正確に復元されたことが分かる。
【００９８】
図８は、本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された実際画像を示す。図８に示された各画像は、互いに異なる複雑な形状(ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ)およびカメラモーション(ｃａｍｅｒａ ｍｏｔｉｏｎｓ)を含む。
【００９９】
図８を参照すると、ブラーの除去された各画像は、鮮明なエッジが非常に強化されて客体の形態と構造とをより明らかに示すことが分かる。
図９は、図８に示した画像のブラー除去に要した処理時間を示す。
【０１００】
実験環境は、ＭＳ Ｗｉｎｄｏｗｓ（登録商標） ＸＰ(３２ｂｉｔ)基盤のＩｎｔｅｌ（登録商標） Ｃｏｒｅ ２ ＣＰＵ ２．６６ＧＨｚ，３．２５ＧＢ ＲＡＭ、ＮＶＩＤＩＡ（登録商標） ＧｅＦｏｒｃｅ（登録商標） ＧＴＸ グラフィックカードを有するＰＣである。実験のために具現されたブラー除去方法は、グラフィックカードのＧＰＵ加速機能を用いて具現された。図９を参照すると、本発明の一実施例による画像のブラー除去方法が、カーネルの大きさが大きい場合にも、入力されたブラーのある画像から数秒以内にブラーを除去できることを理解することができる。
【０１０１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範囲内において、各種の変更例または修正例を想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属する。
【技術分野】
【０００１】
本発明は、画像処理方法に関し、より詳細には、一枚の画像のみで迅速かつ効果的にブラーを除去しうる画像のブラー除去方法および当該画像のブラー除去方法に対応するプログラムの記録された記録媒体に関する。
【背景技術】
【０００２】
ブラー現象は、画像獲得装置を用いて画像を獲得する過程でよく発生可能な現象であって、画像の品質を低下させる主要な原因の一つである。
暗い室内や夕方頃の野外のように光量の足りない環境で、カメラなどの装置を用いて画像を獲得する場合、鮮明な画像を得るためには、十分な光量が必要であり、このために画像センサーを光に長い時間露出させなければならない。しかし、露出時間が長くなると、画像センサーの揺れによって獲得した画像にブラーが発生してしまう。
【０００３】
ブラー現象を除去するためにいままで多くの研究がなされてきたが、画像からブラーを除去することは相変らず解決しにくい問題である。
これは、画像からブラーを推定して除去する問題が、与えられた情報の量に比べて知らなければならない情報の量のほうがさらに多いためである。
【０００４】
従来の多くの解決策は、前記のような問題を解決するために、複数枚の画像を用いる或いはセンサーの露出時間を用いることなど、付加的な情報を必要としたり、ブラーの形が２次元ベクトルに表現可能な線形モーションに制限する方式などにように極めて制限された形態のブラーのみを仮定して問題を解決してきた。
【０００５】
Ｙｔｉｚｈａｋｅｙなどは、画像が等方性を有するという仮定を用いて２Ｄベクトルに表現可能なブラーを推定した（非特許文献１）。Ｒａｖ−ＡｃｈａとＰｅｌｅｇは、２枚のブラーのある画像を用いてブラーを推定する方法を提示して（非特許文献２）、Ｙｕａｎなどは、ブラーはないが、ノイズのある画像とブラーのある画像を用いてブラーを推定して除去する方法を提示した（非特許文献３）。ＭｏｎｅｙとＫａｎｇは、ブラーのある画像にショックフィルター(ｓｈｏｃｋ ｆｉｌｔｅｒ)を適用して鮮明なエッジ(ｓｈａｒｐ ｅｄｇｅｓ)を復元した後、これを用いてガウスブラー(ｇａｕｓｓｉａｎ ｂｌｕｒ)および２Ｄベクトルで表現可能なブラーを推定する方法を提示した（非特許文献４）。
【０００６】
最近は一枚の画像から少ない数のパラメーターで表現可能なモーションブラーより一般的なブラーを推定して除去する方法が紹介された。
Ｆｅｒｇｕｓなどは、一般的な画像が有する統計的な特性を用いてブラーを推定する方法を提示していて（非特許文献５）、Ｊｉａは、画像でブラーの発生した領域に対する情報をアルファマット(ａｌｐｈａ ｍａｔｔｅ)技法を用いて得た後、画像のブラーを除去する方法を提示した（非特許文献６）。しかし、Ｆｅｒｇｕｓなどの提示した方法は、統計的モデルの複雑度によって良い結果を出すことが難しく、ブラーの推定に長い時間がかかるという短所がある。
【０００７】
また、Ｊｉａの提示した方法の場合、アルファマット技法の結果に非常に依存的であるため、良いマットを具備することができてこそ満足な結果を得ることができるという短所がある。
【０００８】
Ｓｈａｎなどは、Ｆｅｒｇｕｓなどの提示した一般的な画像が有する統計的特性をより計算しやすい形態で提示して、これを用いるブラーの推定および除去を行う方法を提示した（非特許文献７）。しかし、一枚の画像を処理するのに数分から十数分以上の処理時間を必要とするため、実用的に用いにくいという短所がある。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Ｙｔｉｚｈａｋｅｙ，Ｙ．，ＭＯＲ，I．，Ａ．，Ａｎｄ ＫＯＰＥＩＫＡ，Ｎ．Ｓ．,「モーションブラー画像復元のための直接法（Direct method for restoration of motion-blurred images.）」，米国光学会誌Ａ（Journal of Optical Society of America A），（米国），１９９８年，第１５巻，６号，ｐ．１５１２−１５１９．
【非特許文献２】ＲＡＶ−ＡＣＨＡ，Ａ．，ＡＮＤ ＰＥＬＥＧ，Ｓ．，「一より二つのモーションブラー画像のほうが好ましい（Two motion-blurred images are better than one.）」，パターン認識論文誌（Pattern Recognition Letters），（オランダ），２００５年，第２６巻，ｐ．３１１-３１７．
【非特許文献３】ＹＵＡＮ，Ｌ．，ＳＵＮ，Ｊ．，ＱＵＡＮ．，Ｌ．，ＡＮＤ ＳＨＵＭ，Ｈ．−Ｙ．，「ブラー画像及びノイズ画像の組による画像のブラー修正（Image deblurring with blurred/noisy image pairs.）」，国際計算機学会誌グラフィックス分野（ACM Transactions on Graphics），（米国），２００７年，第２６巻，第３号，記事１．
【非特許文献４】ＭＯＮＥＹ，Ｊ．Ｈ．，ＡＮＤ ＫＡＮＧ，Ｓ．Ｈ．，「ショックフィルターの参照によるブラインドデコンボリューションのトータルバリエーション最小化（Total variation minimizing blind deconvolution with shock filter reference）」，イメージ アンド ビジョン コンピューティング（Image and Vision Computing），（オランダ），２００８年，第２６巻，第２号，ｐ．３０２-３１４．
【非特許文献５】ＦＥＲＧＵＳ，Ｒ，．ＳＩＮＧＨ，Ｂ．，ＨＥＲＴＡＭＡＮ，Ａ．，ＲＯＷＥＩＳ，ＳＴ．，ＡＮＤ ＦＲＥＥＭＡＮ，Ｗ．，「単一写真からのカメラ振動除去（Removing camera shake from a single photograph.）」，国際計算機学会誌グラフィックス分野（ACM Transactions on Graphics），（米国），２００６年，第２５巻，ｐ．７８７-７９４．
【非特許文献６】ＪＩＡ，Ｊ．，「トランスパレンシーを用いた単一画像モーションブラー修正（Single image motion deblurring using transparency.）」，２００７年ＣＶＰＲ会報（In Proc.CVPR 2007），（米国）,２００７年，ｐ．１−８．
【非特許文献７】ＳＨＡＮ，Ｑ．，ＪＩＡ．，ＡＮＤ ＡＧＡＲＷＡＬＡ，Ａ．，「単一画像からの高品質モーションブラー除去（High-quality motion deblurring from a single image.）」，国際計算機学会誌グラフィックス分野（ACM Transactions on Graphics），（米国），２００８年，第２７巻，３号，記事７３．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は、前記問題に鑑みてなされたものであり、本発明の目的とするところは、一枚の画像から容易かつ迅速にブラーを除去することができ、画像の品質を向上させることが可能な、新規かつ改良された画像のブラー除去方法を提供することにある。
【００１１】
本発明の他の目的は、一枚の画像から容易かつ迅速にブラーを除去でき、画像の品質を向上させることが可能な、新規かつ改良された画像のブラー除去方法に対応するプログラムの記録された記録媒体を提供することにある。
【課題を解決するための手段】
【００１２】
前述した本発明の目的を達成するための本発明の一側面による画像のブラー除去方法は、ブラーのある画像を提供される段階と、提供された前記ブラーのある画像からブラーのない画像を推定する画像推定段階と、前記ブラーのある画像および推定された前記ブラーのない画像からブラー情報を推定するブラー情報推定段階と、前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像からブラーを除去するブラー除去段階とを含み、前記画像推定段階および前記ブラー情報推定段階については、反復的に行うものである。
【００１３】
前記画像推定段階は、前記ブラーのある画像のグラジエント情報を予測するグラジエント情報予測段階および前記推定されたブラー情報および前記ブラーのある画像に基づいて第１デコンボリューションを行う第１デコンボリューション遂行段階を含む段階とすることができる。
【００１４】
また、前記グラジエント情報予測段階は、前記ブラーの含まれたオリジナル画像に両方向フィルターを適用する段階と、前記両方向フィルターの適用された画像にショックフィルターを適用する段階と、前記ショックフィルターの適用された画像のグラジエントマップを算出する段階と、算出された前記グラジエントマップに臨界値を適用する段階とを含むものとすることができる。
【００１５】
そして、前記算出された前記グラジエントマップに臨界値を適用する段階は、前記算出されたグラジエントの方向および大きさに基づいてヒストグラムを生成する段階と、前記生成されたヒストグラムに含まれた各方向に相応するブラー情報の垂直および水平大きさのうち、最大値の所定倍数以上のピクセルを含むことの可能なグラジエントの大きさを臨界値に設定する段階と、設定された前記臨界値を前記グラジエントマップに適用してグラジエントを省略する段階とを含むものとすることができる。
【００１６】
前記設定された前記臨界値を前記グラジエントマップに適用してグラジエントを省略する段階は、前記臨界値より小さいグラジエントを０に設定する段階とすることができる。
また、前記ブラー情報推定段階は、前記ブラーのある画像および前記省略されたグラジエントに基づいて、前記ブラー情報を推定する段階とすることができる。
【００１７】
この他、前記ブラー情報推定段階は、ピクセル値を含ませないで画像導関数のみを含むエネルギー関数を用いて、ブラー情報を推定する段階とすることができる。
また、前記画像推定段階および前記ブラー情報推定段階については、前記ブラーのある画像および前記推定されたブラーのない画像の解像度を変化させて、反復的に行うことができる。
【００１８】
前記本発明の他の目的を達成するための本発明の一側面による画像のブラー除去方法に対応するプログラムが記録された記録媒体は、ブラーのある画像が提供される段階と、提供された前記ブラーのある画像からブラーのない画像を推定する画像推定段階と、前記ブラーのある画像および推定された前記ブラーのない画像からブラー情報を推定するブラー情報推定段階と、前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像でブラーを除去するブラー除去段階とをデジタル処理装置（コンピュータ）に実行させ、前記画像推定段階および前記ブラー情報推定段階については、これらの段階を、前記デジタル処理装置に反復的に実行させるためのプログラムを記録する。
【発明の効果】
【００１９】
前述したような画像のブラー除去方法および画像のブラー除去方法に対応するプログラムの記録された記録媒体によると、提供されたブラーのある画像に対して画像フィルターを適用してエッジを復元してノイズを除去してグラジエントマップを予測した後、前記グラジエントマップとブラーのある画像に基づいてブラーカーネルを推定し、推定されたブラーカーネルとブラーのある画像に対してデコンボリューションを行って潜像（ｌａｔｅｎｔ ｉｍａｇｅ）を推定する。そして前記した過程を繰り返してブラーカーネルの推定の正確度を向上させて、最終ブラーカーネルを推定した後、推定された最終ブラーカーネルとブラーのある画像に対して最終デコンボリューションを行って画像のブラーを除去する。前記ブラーカーネル推定過程ではピクセル値を用いることなく画像導関数のみを用いる。
【００２０】
よって、ブラーの含まれた一枚の映像のみで画像の品質を維持しかつブラーが除去でき、従来のブラーの除去方法より画期的にブラーの除去に要する処理時間を短縮することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施例による画像のブラー除去方法を示すフローチャートである。
【図２】図１に示した本発明の一実施例による画像のブラー除去方法において、反復遂行の回数に応じたブラーの除去された画像を示す。
【図３】図１に示した予測段階のより詳細な処理過程を示すフローチャートである。
【図４】本発明の一実施例による画像のブラー除去方法において、互いに異なるスケールから推定されたカーネルを示す。
【図５】本発明の一実施例によるブラーカーネル推定の収斂速度を従来のブラーカーネル推定方法と比較して示した図である。
【図６】本発明の一実施例によるブラーカーネル推定の正確度を示す。
【図７】本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された画像を示す。
【図８】本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された実際画像を示す。
【図９】図８に示した画像のブラー除去に要した処理時間を示す。
【発明を実施するための形態】
【００２２】
本発明は多様に変更することができ、多様な形態を有することができるが、ここでは、特定の実施形態を図面に例示して詳細に説明する。但し、ここでの記載は、本発明を特定の開示形態に限定するものではなく、本発明の権利範囲は、本発明の思想及び技術範囲に含まれる全ての変更、均等物、乃至代替物を含むことを理解すべきである。以下の記載では、各図面を説明しながら類似の参照符号を類似の構成要素に対して付与した。
【００２３】
また、第１、第２、Ａ、Ｂ等の用語は、多様な構成要素を説明するために使用することができるが、構成要素は用語によって限定されない。用語は一つの構成要素を他の構成要素から区別する目的としてのみ使用される。例えば、本発明の権利範囲から逸脱することなしに、第１構成要素は第２構成要素と称されてもよく、同様に第２構成要素も第１構成要素に称されてもよい。この他、「及び／または」という用語は、複数関連記載の項目の組合せまたは複数関連記載の項目のうちのいずれかを含む用語である。
【００２４】
また、いかなる構成要素についても、当該構成要素が他の構成要素に「連結」されている、或いは、「接続」されていると言及する時には、他の構成要素に直接的に連結されているか或いは接続されていることもあるが、それらの中間に更に他の構成要素が存在することもあることを理解すべきである。
【００２５】
反面、いかなる構成要素についても、当該構成要素が他の構成要素に「直接連結」されている、或いは、「直接接続」されていると言及するときには、中間に更に他の構成要素が存在しないことと理解すべきである。
【００２６】
また、本出願において用いた用語は、ただ特定の実施例を説明するためのものであって、本発明を限定するものではない。単数の表現は、文脈上、明白に相違が示されない限り、複数の表現を含む。本出願において、「含む」または「有する」等の用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを意図するものであって、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品、又はこれらを組み合わせたもの等の存在または付加の可能性を予め排除しないことを理解しなければならない。
【００２７】
なお、異なるものとして定義しない限り、技術的な用語や科学的な用語を含めてここで用いられる全ての用語は、本発明が属する技術分野において通常の知識を有する者によって一般的に理解されるものと同一の意味を有している。一般的に用いられる辞典に定義されているもののような用語は、関連技術の文脈上で有する意味と一致する意味を有することと解釈すべきであり、本出願で明白に定義されない限り、異常的であるか過度に形式的な意味に解釈されない。
【００２８】
以下に添付図面を参照して本発明の好適な実施形態について詳細に説明する。
一般的にモーションブラーは、下記の数式１（以下、数式番号については、対応する項目番号を引用して記載する。）のように示すことができる。
【００２９】
【数１】
数式１でＢは、ブラーのある画像(ｂｌｕｒｒｅｄ ｉｍａｇｅ)を示し、Ｋは、画像のブラー情報を示すモーションブラーカーネル(ｍｏｔｉｏｎ ｂｌｕｒ ｋｅｒｎｅｌ)または点広がり関数(ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ)を示し、Ｌは、潜像(ｌａｔｅｎｔ ｉｍａｇｅ)、すなわち、ブラーのない鮮明な画像を示す。また、Ｎは、画像獲得過程で導入された未知のノイズを示し、＊は、畳み込み演算子(ｃｏｎｖｏｌｕｔｉｏｎ ｏｐｅｒａｔｏｒ)を示す。
【００３０】
前記数式１のブラインドデコンボリューション(ｂｌｉｎｄ ｄｅｃｏｎｖｏｌｕｔｉｏｎ)のためには、反復処理過程(ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｓｓ)でＬとＫの最適化が必要である。また、潜像推定およびブラーカーネル推定は、数式２および数式３の解決によって得ることができる。
【００３１】
【数２】
【００３２】
【数３】
数式２および数式３で、
は、データ調整項(ｄａｔａ ｆｉｔｔｉｎｇ ｔｅｒｍ)を示し、ρLおよびρKは、正規化項(ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｔｅｒｍｓ)を示す。
【００３３】
反復処理過程での最適化（以下、反復的最適化という。）の目的は、ブラーカーネルＫの正確度を徐々に改善(ｒｅｆｉｎｅ)することにある。ブラーの除去された最終画像は、最終ブラーカーネルＫと与えられたブラーのある画像Ｂに対するデコンボリューション演算を行うことによって得られる。反復的最適化の途中、推定された潜像は、ブラーの除去された最終画像に直接的な影響を及ぼさなくて、モーションブラーカーネルＫの改善に影響を及ぼすことによって、ブラーの除去された最終画像には間接的に影響を及ぼすようになる。
【００３４】
潜像推定のための反復的最適化過程によって潜像から鮮明なエッジ(ｓｈａｒｐ ｅｄｇｅ)復元と平坦な領域(ｓｍｏｏｔｈ ｒｅｇｉｏｎ)におけるノイズ減殺特性を得ることができ、これはより正確なモーションブラーカーネルを推定することに用いられる。与えられた画像が均一なブラーを含むことに仮定する場合にも鮮明なエッジの周辺からさらに正確なモーションブラーカーネルを得ることができる。例えば、均一な強度(ｃｏｎｓｔａｎｔ ｉｎｔｅｎｓｉｔｙ)を有する領域では、モーションブラーカーネルが推定できないが、一般的に自然画像(ｎａｔｕｒａｌ ｉｍａｇｅ)は、強いエッジ(ｓｔｒｏｎｇ ｅｄｇｅｓ)を含んでいるため、モーションブラーカーネルは、潜像（ｌａｔｅｎｔ ｉｍａｇｅ)推定過程で復元されたエッジを通じて効果的に予測することが可能である。
【００３５】
また、一般的な自然画像では平坦な領域が鮮明なエッジ領域より更に多い領域を占めるため、平坦な領域におけるノイズ抑圧も重要である。もし平坦な領域でノイズが抑圧されないと、数式３のデータ調整項は、ノイズによって非常に大きい影響を受けるようになり、これによって鮮明なエッジからブラーカーネルを推定することにおいて正確度が損なわれる。
【００３６】
数式２の解を求める過程で鮮明なエッジ復元およびノイズ抑圧のための従来の方法は、計算的に複雑な非線形最適化（ｎｏｎ−ｌｉｎｅａｒ ｏｐｔｉｍｉｚａｔｉｏｎ)方法を用いる。また、数式３を用いる従来のブラーカーネル推定方法は、莫大な行列およびベクトルに対して演算を必要とする。結果的に、レイタント画像（潜像）およびブラーカーネル推定のための従来のブラインドデコンボリューションの反復的遂行方法は、計算量が非常に大きいという短所がある。
【００３７】
前記のような従来の短所を解決するために本発明の一実施例による画像のブラー除去方法では、潜像推定およびブラーカーネル推定過程で計算量を減少させることによって、迅速なブラインドデコンボリューション方法を提供する。
【００３８】
本発明の一実施例による画像のブラー除去方法では、レイタント画像の推定速度を向上させるために、潜像の鮮明なエッジを十分に含むことと仮定し、数式２で計算複雑度の高い非線形正規化項(ｎｏｎ−ｌｉｎｅａｒ ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｔｅｒｍ)を最適化する代わりに画像フィルターを用いて鮮明なエッジ復元およびノイズ抑圧特性を用いる。
【００３９】
また、ブラーカーネル推定過程では、ピクセル値(ｐｉｘｅｌ ｖａｌｕｅ)を除くことによって、数式３の数値最適化(ｎｕｍｅｒｉｃａｌ ｏｐｔｉｍｉｚａｔｉｏｎ ｐｒｏｃｅｓｓ)速度を向上させる。
【００４０】
本発明の一実施例による画像のブラー除去方法において、潜像の推定過程は、大きく単純デコンボリューションと予測との２段階で構成される。
単純デコンボリューション段階では、ブラーのある画像ＢとブラーカーネルＫが与えられた場合、先に潜像Ｌを推定するために、ガウスプライア（ｇａｕｓｓｉａｎ ｐｒｉｏｒ）を有する単純かつ迅速なデコンボリューションを用いてブラーを除去する。
【００４１】
ガウスプライアの特徴によって、潜像Ｌは、平坦なエッジ(ｓｍｏｏｔｈ ｅｄｇｅｓ)および平坦な領域にノイズを含む。
潜像Ｌの予測段階では、画像フィルターを用いて鮮明なエッジ復元とノイズを除去して正確度の改善された(ｒｅｆｉｎｅｄ)推定潜像Ｌ’を獲得する。ここで、潜像の平坦な領域で鮮明な(ｓｔｒｏｎｇ)エッジおよび抑圧されたノイズは、潜像がブラーカーネル推定に用いられる時、重要な特徴として用いられるため、単純デコンボリューションは画像品質が低下するにもかかわらず、結果的に推定潜像Ｌ’は正確なブラーカーネル推定に必要な高品質の潜像を提供する。
【００４２】
ブラーカーネル推定段階では、前記数式３の解を求めるために、共役勾配（ＣＧ：Ｃｏｎｊｕｇａｔｅ Ｇｒａｄｉｅｎｔ）法を用いる。また、数式３の解を求める過程でエネルギー関数のグラジエント計算が数回行われる。
【００４３】
グラジエント計算は、高次元の行列およびベクトルの掛け算を含むため、演算が非常に複雑であるがコンボリューション演算に関わる掛け算は、高速フーリエ変換(ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ)を用いて計算速度を向上させることができる。
【００４４】
しかし、順次に高速フーリエ変換を行う過程で、高速フーリエ変換の直接的な連接(ｃｏｎｃａｔｅｎａｔｉｏｎ)に妨害となる画像境界を適切に調整することが必要である。
数式３を単に画像導関数(ｉｍａｇｅ ｄｅｒｉｖａｔｉｖｅｓ)を有するエネルギー関数に公式化することによって、画像境界調節および高速フーリエ変換の数を顕著に減少させることができる。
【００４５】
また、前記エネルギー関数の公式化は、付加的に共役勾配法(ＣＧ)の処理速度の向上を提供し、数式３から誘導される計算体系に小さい条件数(ｃｏｎｄｉｔｉｏｎ ｎｕｍｂｅｒ)を有する正しい条件(ｗｅｌｌ−ｃｏｎｄｉｔｉｏｎｅｄ)を提供して収斂速度を向上させる。
【００４６】
図１は、本発明の一実施例による画像のブラー除去方法を示すフローチャートである。
図１を参照すると、まず、ブラーのある画像が提供される(段階１１０)。
予測段階(段階１２０)は、ブラーのある画像が提供された時、ブラーカーネル推定のための潜像Ｌの初期値を提供するために反復されるループの始めに位置する。
【００４７】
予測段階では、平坦な領域でノイズの抑圧された潜像で著しいエッジを予測するために、潜像Ｌのｘ方向およびｙ方向に沿ってグラジエントマップ[Ｐx，Ｐy]を計算する。
段階１２０〜段階１５０の反復過程における予測段階への入力は、初回（一回目）を除いて以前の反復過程におけるデコンボリューション段階で獲得した、推定された潜像Ｌになる。
【００４８】
ブラーカーネル推定段階(段階１３０)では、段階１２０で計算によって予測されたグラジエントマップ[Ｐx，Ｐy]およびブラーのある画像Ｂを用いてブラーカーネルＫを推定する。
【００４９】
デコンボリューション段階(段階１４０)では、ブラーカーネルＫおよびブラーのある画像Ｂを用いて潜像Ｌを推定する。ここで、前記推定された潜像Ｌは、次の反復過程の予測段階(段階１２０)に入力される。
【００５０】
本発明の一実施例による画像のブラー除去方法では、より効果的にブラーカーネルＫおよび潜像Ｌを推定するために、段階１２０および段階１３０を反復的に行うことで、推定の正確度を向上させる。
【００５１】
本発明の一実施例による画像のブラー除去方法では、ブラーカーネルＫおよび潜像Ｌの正確度向上ための反復的処理過程でブラーのある画像および潜像Ｌのグレースケールバージョンを用いる。
【００５２】
最終デコンボリューション段階(段階１５０)では、反復動作によって最終ブラーカーネルＫが得られた後、ブラーの除去された最終画像を得るために、前記最終ブラーカーネルＫとブラーのある画像Ｂの各カラーチャンネルに対する最終デコンボリューションを行う(段階１５０)。
【００５３】
図２は、図１に示した本発明の一実施例による画像のブラー除去方法でブラーが除去された画像を反復回数に応じて複数示す。
図２を参照すると、図２の(ａ)はブラーの含まれたオリジナル画像を示し、図２の(ｂ)は本発明の一実施例によりブラーの除去された最終画像を示す。
【００５４】
また、図２の(ｃ)〜(ｅ)は、それぞれ図１の段階１２０〜段階１４０を１回、３回、および５回を反復して行った結果を示すものであって、予測されたグラジエントマップ[Ｐx，Ｐy]と、推定されたブラーカーネルを含むデコンボリューションの結果を示す。図２では、図示の予測されたグラジエントマップ[Ｐx，Ｐy]は、視覚化のためにポアソン復元(Ｐｏｉｓｓｏｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ)を用いた。
【００５５】
図２に示したように、本発明の一実施例による画像のブラー除去方法では、図１の段階１２０〜段階１４０の反復回数が増加するほど(図５の(ｅ)、５ｔｈ ｉｔｅｒａｔｉｏｎ)より更に正確に潜像を推定でき、推定された潜像に基づいて、より更に正確なブラーカーネルをブラーカーネルを予測することができる。そして、より正確に推定されたブラーカーネルを用いてブラーの除去された最終画像(ｂ)を得ることができる。
【００５６】
以下、本発明の一実施例による画像のブラー除去方法をより詳細に説明する。
先に、図１の予測段階(段階１２０)は潜像Ｌから著しいエッジのみを残して、残りの領域はグラジエントを０に設定することによって画像グラジエントマップ[Ｐx，Ｐy]を推定する。グラジエント０のコンボリューションは、推定されたブラーカーネルに関係なくいつも０であるため、結果的にブラーカーネル推定段階(段階１３０)で著しいエッジのみブラーカーネルの最適化に影響を及ぼす。
【００５７】
また、予測段階では、強い(ｓｔｒｏｎｇ)エッジを復元するために、ショックフィルター用いる。ショックフィルターは、ブラーのある画像から鮮明なエッジを復元することによって画像の特徴を強化させる効率的な道具である。
【００５８】
ショックフィルターは、下記の数式４のように示すことができる。
【００５９】
【数４】
数式４で、Ｉtは時間ｔにおける画像を示し、ΔItおよび∇Itは、それぞれＩtのラプラシアンおよびグラジエントを示す。また、ｄｔは単一展開(ｅｖｏｌｕｔｉｏｎ)に対する時間段階(ｔｉｍｅ ｓｔｅｐ)を示す。
【００６０】
図３は、図１に示した予測段階のより詳細な処理過程を示すフローチャートである。
図３を参照すると、予測段階は、両方向フィルタリング段階、ショックフィルタリング段階、およびグラジエント臨界値適用段階を含む段階とすることができる。
【００６１】
まず、現在の推定された潜像Ｌに対して存在可能なノイズおよび小さいディテール(ｓｍａｌｌ ｄｅｔａｉｌ)を抑圧するために、両方向フィルターを適用する(段階１２１)。ここで、両方向フィルタリングで支援可能な画像のサイズは固定（例えば、５×５)することができる。
【００６２】
その後、推定された潜像Ｌで強い（ｓｔｒｏｎｇ）エッジを復元するために、ショックフィルターが適用される(段階１２３)。ここで、ショックフィルターの適用された結果の画像である潜像Ｌ’は、エッジのコントラストが向上するが同時にノイズが増加する。
【００６３】
したがって、潜像Ｌ’のグラジエントマップ
を計算し(段階１２５)、計算されたグラジエントマップに臨界値を適用してグラジエントを省略(ｔｒｕｎｃａｔｅ)することによってノイズを除去する(段階１２７)。省略されたグラジエントマップ｛Ｐx，Ｐy｝がこの予測段階の最終出力となる。ここで、前記グラジエントの省略は、例えば、臨界値より小さいグラジエントを０に設定することで行うことができる。
【００６４】
グラジエントの省略のための臨界値は、まず、グラジエントの方向を所定角度(例えば、４５°)間隔に区分し、各方向に対してグラジエント大きさによるヒストグラムを生成し(ここで、１８０°〜３６０°の間は、符号のみ相違であり、大きさは同一の方向の角度で計算)、生成されたそれぞれの方向に対してブラーカーネルの垂直および水平大きさのうち、最大値の所定倍数(例えば、２倍)以上のピクセルを含むことのできるグラジエント大きさを臨界値に設定する。
【００６５】
デコンボリューション段階(段階１４０)では、与えられたブラーカーネルＫおよび提供されたブラーのある画像Ｂに基づいて潜像Ｌを推定する。ここで、潜像Ｌを推定するために、エネルギー関数を用いる。エネルギー関数は、下記の数式５のように示すことができる。
【００６６】
【数５】
数式５で、
は、互いに違う方向での偏微分演算子および次数を示し、
は、各偏微分に対する加重値を示し、αは、正規化項に対する加重値(例えば、０．１)を示す。
【００６７】
数式５の一番目の項は、リンギング効果(ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔｓ)を減少させるために画像導関数を用いるＳｈａｎなどが提案したブラーモデルに基づく（非特許文献７）。また、正規化項
は、平坦なグラジエントを有する潜像Ｌを取る。
【００６８】
前記数式５は、ただ２回の高速フーリエ演算による周波数領域でピクセル別割算演算(ｐｉｘｅｌ−ｗｉｓｅ ｄｉｖｉｓｉｏｎ)によって非常に速く最適化することができる。数式５が最適化された結果は、平坦なエッジおよびリンギング効果を含むことができる。しかし、段階１２０で強いエッジのみを復元し、リンギング効果を含む残りは省略するため、予測段階(段階１２０)に基づいた単一デコンボリューションの遂行結果（実行結果）は、正確なブラーカーネルの推定に影響を及ぼさない。
【００６９】
本発明の一実施例による画像のブラー除去方法では、大きいブラー(ｌａｒｇｅ ｂｌｕｒ)の有する画像から効果的にブラーを除去するために、マルチスケール反復処理(ｍｕｌｔｉ−ｓｃａｌｅ ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｓｓ)を行う。
【００７０】
図４は、本発明の一実施例による画像のブラー除去方法において、互いに異なるスケールで推定されたカーネルを示す。
図４を参照してマルチスケール反復処理過程を説明すると、先に、ブラーの範囲が狭くて深刻な局部化エラー(ｓｅｖｅｒｅ ｌｏｃａｌｉｚａｔｉｏｎ ｅｒｒｏｒｓ)なしにエッジを推定できる低い解像度(ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ)で鮮明なエッジを推定する。
【００７１】
高い解像度では、以前の低い解像度を通じて獲得したデコンボリューションされた画像から深刻な局部化エラーを避けて鮮明なエッジ推定を始める。特定スケールで反復処理を行う間、鮮明なエッジ推定は以前の反復処理過程で更新されたブラーカーネルを通じて得られたデコンボリューション結果に適用される。
【００７２】
前記のように、本発明の一実施例による画像のブラー除去方法では、マルチスケール反復処理過程によって小さいサイズの両方向フィルターおよびショックフィルターを用いて大きいブラーに対するブラーカーネルを推定することができる。
【００７３】
マルチスケール反復処理過程は、一つのスケールを用いては扱うことのできなかった大きいブラーを推定可能にする。また、本発明の一実施例による画像のブラー除去方法では、ブラーカーネル推定のための潜像のグラジエントマップ予測で２回の高速フーリエ変換と単純な画像フィルタリングを行い、両方向フィルタリング、ショックフィルタリング、およびグラジエント臨界値適用については非常に速く実行することが可能である。このため、本発明では、従来のブラー除去方法(例えば、Ｓｈａｎ ｅｔ ａｌ．２００８)が３０〜６０回の高速フーリエ変換を行うことに比べて非常に速く処理することが可能である。
【００７４】
推定されたグラジエントマップ[Ｐx，Ｐy]を用いるブラーカーネル推定は、数式６のエネルギー関数を用いる。
【００７５】
【数６】
数式６で
は、各偏微分のための加重値を示し、Ｐ*およびＢ*は、下記の数式７のように変えることができる。
【００７６】
【数７】
数式６で各
はマップを形成し、マップＩは
に定義される。ここで、(ｘ，ｙ)はＩでピクセルのインデックスを示す。また、βはチホノフ正規化(Ｔｉｋｈｏｎｏｖ ｒｅｇｕｌａｒｉｚａｔｉｏｎ)に対する加重値を示す。
【００７７】
数式６に記載のように、本発明ではエネルギー関数でピクセル値を含ませないでただ画像導関数のみを用いる。また、本発明では、従来のブラー除去方法で用いたＫのＬ１ノルム(ｎｏｒｍ)の代わりにチホノフ正規化項を用いる。
【００７８】
数式６は、数式８のように行列式形態に表現することができる。
【００７９】
【数８】
数式８でＡは５つのＰ*で構成された行列を示し、ｋはブラーカーネルＫのベクトルを示す。また、ｂは５つのＢ*で構成された行列を示す。
【００８０】
数式８を最小化するために共役勾配法(ＣＧ)を用いると、ｆkのグラジエントは数式９のように定義される。
【００８１】
【数９】
数式９で∂ｆk（ｋ）／∂ｋの計算は、Ａが大きくなるほど多くの時間を必要とする。潜像ＬとブラーカーネルＫの大きさがそれぞれｎ×ｎおよびｍ×ｍの場合、Ａの大きさは５ｎ2×ｍ2になる。したがって、Ａｋの直接的な計算は、厖大な計算量と大きい保存容量を必要とする。ＡTＡの大きさはｍ2×ｍ2で相対的に小さいがこれも計算に多くの時間を必要とする。
【００８２】
しかし、Ａｋが５つＰ*のＫとのコンボリューションに相応するため、高速フーリエ変換を用いて計算速度を向上させることができる。特に、Ａｋの計算は、６回の高速フーリエ変換が必要である。すなわち、１回の
と５回の
の高速フーリエ変換が必要である。ここで、および
は、それぞれフーリエ変換(ｆｏｒｗａｒｄ ＦＦＴ)および逆フーリエ変換(ｉｎｖｅｒｓｅ ＦＦＴ)を示し、○はピクセル別掛け算を示す。
は、共役勾配法(ＣＧ)の計算の前にあらかじめ計算することができる。
【００８３】
前述した方法と類似的に６回の高速フーリエ変換を通じて、
の計算速度を向上させることができる。
結果的に、共役勾配法(ＣＧ)の各反復段階でグラジエント∂ｆk（ｋ）／∂ｋの計算に総１２回の高速フーリエ変換が行われる。そして、前処理段階で
だけでなくＡTｂも高速フーリエ変換によって計算することができる。
【００８４】
本発明では、高速フーリエ変換の回数を減少させることによって、計算速度を更に向上させるために、ＡｋとＡTｙとを関連させてＡTＡｋを直接的に計算する。ＡTＡｋは、下記の数式１０のように示すことができる。
【００８５】
【数１０】
数式１０で、
は
の共役複素数(ｃｏｍｐｌｅｘ ｃｏｎｊｕｇａｔｅ)を示す。
は、共役勾配法(ＣＧ)の反復の前にあらかじめ計算することができる。したがって、グラジエント計算にただ二回の高速フーリエ変換が行われるため、高速フーリエ変換の回数を１０回減少させることができる。
【００８６】
前述したのような効率的な計算は、数式６でピクセル値を用いないで画像導関数のみを用いることから起因する。すなわち、本発明では画像偏微分のみを用いるため、Ａｋを計算する前に画像の境界(ｂｏｕｎｄａｒｙ)を偏微分値が０である値を有する領域に拡張することによって画像境界の問題を回避する。
【００８７】
前記数式６の最適化以後、最も大きい値の１/２０より小さい値を有する要素を０に設定した後、０でない値に対しては合計が１となるように正規化する。
数値最適化の過程で最適化収斂のための反復遂行の回数および収斂速度は非常に重要である。本発明の一実施例によるブラーカーネル推定方法は、ピクセル値を含む従来の場合より非常に速い速度で計算が最適化する。
【００８８】
図５は、本発明の一実施例によるブラーカーネル推定の収斂速度を従来のブラーカーネル推定方法と比較して示したものである。
図５を参照すると、本発明の一実施例によるブラーカーネル推定は、数回以内の反復によって画期的にブラーカーネル推定エラーが減少するが、ピクセル値を用いる従来のブラーカーネル推定方法は、本発明に比べてブラーカーネル推定エラーがより遅く減少することが分かる。
【００８９】
前記したように、数値最適化の速い収斂は、数式９で行列ＡTＡのよく定義された条件に起因する。ＡTＡは、下記の数式１１のように示すことができる。
【００９０】
【数１１】
数式１１でＡ*TＡ*は
で定義される。ここで、Ｉ*iはに依存する量によってシフトされた後の∂*Ｌのベクトル表現である。画像偏微分は、エッジピクセルを除いては一般的に０に近い。したがって、Ａ*TＡ*の成分値は対角(ｄｉａｇｏｎａｌ)領域では大きい値を有し、対角線でない領域(ｏｆｆ−ｄｉａｇｏｎａｌ ｒｅｇｉｏｎ)では急激に小さい値になる。
【００９１】
ブラーカーネル推定速度の比較のために、チホノフ正規化項がカーネル推定の正規化項に用いられることを除いて、エネルギー関数が「Ｓｈａｎ ｅｔ ａｌ．２００８」と同じ状態でカーネル推定方法を考慮する。ここで、チホノフ正規化項の用いられた「Ｓｈａｎ ｅｔ ａｌ．２００８」を「Ｓｈａｎ−Ｌ２」と称する。
「Ｓｈａｎ ｅｔ ａｌ．２００８」の本来バージョンは、エネルギー関数の正規化項にＬ１ノルムを用いるため、更に多い計算量を必要とする。また、前記「Ｓｈａｎ ｅｔ ａｌ．２００８」の本来バージョンにおけるカーネル推定段階では、厖大な大きさの行列が生成されるため、メモリー不足および過度な計算量を招く短所がある。
【００９２】
反面、本発明の一実施例によるブラーカーネル推定は、各共役勾配法(ＣＧ)の遂行段階で２回の高速フーリエ変換を行うが、「Ｓｈａｎ−Ｌ２」は一枚のピクセル値の画像と５枚の偏微分された画像で構成された６枚の画像を用いるため、総１４回の高速フーリエ変換を行う。また、「Ｓｈａｎ−Ｌ２」は、ピクセル値を用いるため、本発明よりさらに多い反復遂行が必要である。
【００９３】
図５に示したように、本発明の一実施例によるブラーカーネル推定方法では５回の共役勾配法(ＣＧ)処理を繰り返して行ったが、類似の正確度を得るために「Ｓｈａｎ−Ｌ２」は、３０回の反復遂行が必要であることが分かる。
【００９４】
結果的に、本発明の一実施例によるブラーカーネル推定方法は、「Ｓｈａｎ−Ｌ２」に比べて４０倍以上に速く、ピクセル値を用いる従来の他の方法よりも１０倍以上速い。
図６は、本発明の一実施例によるブラーカーネル推定の正確度を示す。
【００９５】
本発明の一実施例によるカーネル推定方法の正確度を検証するために、互いに異なるガウスノイズを付加したテスト画像を用いて本発明とピクセル値を用いる従来の方法とを比較した。
【００９６】
図６を参照すると、本発明の一実施例によるカーネル推定方法では、ピクセル値を用いないにもかかわらずピクセル値を用いた従来のカーネル推定方法と実質的に同一の正確度を有する。また、一部のケースでは、本発明のカーネル推定方法がピクセル値を除くことによって得られるよく定義された計算体系によって、ピクセル値を用いる従来のカーネル推定方法よりさらに優秀な正確度を有する。
【００９７】
図７は、本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された画像を示す。
図７を参照すると、推定されたブラーカーネルは、本来のブラーカーネルと実質的に同一であり、ブラーの除去された画像はオリジナル画像の繊細なディテールに正確に復元されたことが分かる。
【００９８】
図８は、本発明の一実施例による画像のブラー推定方法を用いてブラーの除去された実際画像を示す。図８に示された各画像は、互いに異なる複雑な形状(ｃｏｍｐｌｅｘ ｓｔｒｕｃｔｕｒｅｓ)およびカメラモーション(ｃａｍｅｒａ ｍｏｔｉｏｎｓ)を含む。
【００９９】
図８を参照すると、ブラーの除去された各画像は、鮮明なエッジが非常に強化されて客体の形態と構造とをより明らかに示すことが分かる。
図９は、図８に示した画像のブラー除去に要した処理時間を示す。
【０１００】
実験環境は、ＭＳ Ｗｉｎｄｏｗｓ（登録商標） ＸＰ(３２ｂｉｔ)基盤のＩｎｔｅｌ（登録商標） Ｃｏｒｅ ２ ＣＰＵ ２．６６ＧＨｚ，３．２５ＧＢ ＲＡＭ、ＮＶＩＤＩＡ（登録商標） ＧｅＦｏｒｃｅ（登録商標） ＧＴＸ グラフィックカードを有するＰＣである。実験のために具現されたブラー除去方法は、グラフィックカードのＧＰＵ加速機能を用いて具現された。図９を参照すると、本発明の一実施例による画像のブラー除去方法が、カーネルの大きさが大きい場合にも、入力されたブラーのある画像から数秒以内にブラーを除去できることを理解することができる。
【０１０１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範囲内において、各種の変更例または修正例を想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属する。
【特許請求の範囲】
【請求項１】
ブラーのある画像が提供される段階と、
提供された前記ブラーのある画像からブラーのない画像を推定する画像推定段階と、
前記ブラーのある画像および推定された前記ブラーのない画像からブラー情報を推定するブラー情報推定段階と、
前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像からブラーを除去するブラー除去段階と、
を含み、
前記画像推定段階および前記ブラー情報推定段階は、反復的に行われることを特徴とする画像のブラー除去方法。
【請求項２】
前記画像推定段階は、
前記ブラーのある画像のグラジエント情報を予測するグラジエント情報予測段階と、
前記推定されたブラー情報および前記ブラーのある画像に基づいて第１デコンボリューションを行う第１デコンボリューション遂行段階と、を含むことを特徴とする請求項１に記載の画像のブラー除去方法。
【請求項３】
前記グラジエント情報予測段階は、
前記ブラーのある画像に両方向フィルターを適用する段階と、
前記両方向フィルターの適用された画像にショックフィルターを適用する段階と、
前記ショックフィルターの適用された画像のグラジエントマップを算出する段階と、
算出された前記グラジエントマップに臨界値を適用する段階と、を含むことを特徴とする請求項２に記載の画像のブラー除去方法。
【請求項４】
前記算出された前記グラジエントマップに臨界値を適用する段階は、
前記算出されたグラジエントの方向および大きさに基づいてヒストグラムを生成する段階と、
前記生成されたヒストグラムに含まれた各方向に相応するブラー情報の垂直および水平大きさのうち、最大値の所定倍数以上のピクセルを含みうるグラジエントの大きさを臨界値に設定する段階と、
設定された前記臨界値を前記グラジエントマップに適用して、グラジエントを省略(ｔｒｕｎｃａｔｅ)する段階と、を含むことを特徴とする請求項３に記載の画像のブラー除去方法。
【請求項５】
前記設定された前記臨界値を前記グラジエントマップに適用してグラジエントを省略する段階では、
前記臨界値より小さいグラジエントを０に設定することを特徴とする請求項４に記載の画像のブラー除去方法。
【請求項６】
前記ブラー情報推定段階では、
前記ブラーのある画像および前記省略されたグラジエントに基づいて、前記ブラー情報を推定することを特徴とする請求項４又は請求項５に記載の画像のブラー除去方法。
【請求項７】
前記ブラー情報推定段階では、
ピクセル値を含むことなく画像導関数だけを含むエネルギー関数を用いてブラー情報を推定することを特徴とする請求項１〜請求項６のいずれか一項に記載の画像のブラー除去方法。
【請求項８】
前記画像推定段階および前記ブラー情報推定段階は、
前記ブラーのある画像および前記推定されたブラーのない画像の解像度を変化させて反復的に行われることを特徴とする請求項１〜請求項７のいずれか一項に記載の画像のブラー除去方法。
【請求項９】
画像に含まれたブラーの除去を行うデジタル処理装置によって実行可能な命令語のプログラムが有形的に具現されていて、前記デジタル処理装置によって判読可能なプログラムを記録した記録媒体であって、
ブラーのある画像を提供される段階と、
提供された前記ブラーのある画像からブラーのない画像を推定する画像推定段階と、
前記ブラーのある画像および推定された前記ブラーのない画像からブラー情報を推定するブラー情報推定段階と、
前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像からブラーを除去するブラー除去段階と、
を前記デジタル処理装置に実行させ、
前記画像推定段階および前記ブラー情報推定段階については、これらの段階を、前記デジタル処理装置に反復的に実行させるためのプログラム
を記録した記録媒体。
【請求項１】
ブラーのある画像が提供される段階と、
提供された前記ブラーのある画像からブラーのない画像を推定する画像推定段階と、
前記ブラーのある画像および推定された前記ブラーのない画像からブラー情報を推定するブラー情報推定段階と、
前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像からブラーを除去するブラー除去段階と、
を含み、
前記画像推定段階および前記ブラー情報推定段階は、反復的に行われることを特徴とする画像のブラー除去方法。
【請求項２】
前記画像推定段階は、
前記ブラーのある画像のグラジエント情報を予測するグラジエント情報予測段階と、
前記推定されたブラー情報および前記ブラーのある画像に基づいて第１デコンボリューションを行う第１デコンボリューション遂行段階と、を含むことを特徴とする請求項１に記載の画像のブラー除去方法。
【請求項３】
前記グラジエント情報予測段階は、
前記ブラーのある画像に両方向フィルターを適用する段階と、
前記両方向フィルターの適用された画像にショックフィルターを適用する段階と、
前記ショックフィルターの適用された画像のグラジエントマップを算出する段階と、
算出された前記グラジエントマップに臨界値を適用する段階と、を含むことを特徴とする請求項２に記載の画像のブラー除去方法。
【請求項４】
前記算出された前記グラジエントマップに臨界値を適用する段階は、
前記算出されたグラジエントの方向および大きさに基づいてヒストグラムを生成する段階と、
前記生成されたヒストグラムに含まれた各方向に相応するブラー情報の垂直および水平大きさのうち、最大値の所定倍数以上のピクセルを含みうるグラジエントの大きさを臨界値に設定する段階と、
設定された前記臨界値を前記グラジエントマップに適用して、グラジエントを省略(ｔｒｕｎｃａｔｅ)する段階と、を含むことを特徴とする請求項３に記載の画像のブラー除去方法。
【請求項５】
前記設定された前記臨界値を前記グラジエントマップに適用してグラジエントを省略する段階では、
前記臨界値より小さいグラジエントを０に設定することを特徴とする請求項４に記載の画像のブラー除去方法。
【請求項６】
前記ブラー情報推定段階では、
前記ブラーのある画像および前記省略されたグラジエントに基づいて、前記ブラー情報を推定することを特徴とする請求項４又は請求項５に記載の画像のブラー除去方法。
【請求項７】
前記ブラー情報推定段階では、
ピクセル値を含むことなく画像導関数だけを含むエネルギー関数を用いてブラー情報を推定することを特徴とする請求項１〜請求項６のいずれか一項に記載の画像のブラー除去方法。
【請求項８】
前記画像推定段階および前記ブラー情報推定段階は、
前記ブラーのある画像および前記推定されたブラーのない画像の解像度を変化させて反復的に行われることを特徴とする請求項１〜請求項７のいずれか一項に記載の画像のブラー除去方法。
【請求項９】
画像に含まれたブラーの除去を行うデジタル処理装置によって実行可能な命令語のプログラムが有形的に具現されていて、前記デジタル処理装置によって判読可能なプログラムを記録した記録媒体であって、
ブラーのある画像を提供される段階と、
提供された前記ブラーのある画像からブラーのない画像を推定する画像推定段階と、
前記ブラーのある画像および推定された前記ブラーのない画像からブラー情報を推定するブラー情報推定段階と、
前記ブラーのある画像および推定された前記ブラー情報に基づいて前記ブラーのある画像からブラーを除去するブラー除去段階と、
を前記デジタル処理装置に実行させ、
前記画像推定段階および前記ブラー情報推定段階については、これらの段階を、前記デジタル処理装置に反復的に実行させるためのプログラム
を記録した記録媒体。
【図９】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−１５７２１０（Ｐ２０１０−１５７２１０Ａ）
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００９−２３９７９７（Ｐ２００９−２３９７９７）
【出願日】平成２１年１０月１６日（２００９．１０．１６）
【出願人】（５０９２４２７９４）ポステック アカデミー‐インダストリー ファウンデーション (9)
【Ｆターム（参考）】
【公開日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２１年１０月１６日（２００９．１０．１６）
【出願人】（５０９２４２７９４）ポステック アカデミー‐インダストリー ファウンデーション (9)
【Ｆターム（参考）】
[ Back to top ]