画像復元装置、画像復元方法及び画像復元プログラム
【課題】リンギングを抑制しながら鮮明さを確保可能なウィーナフィルタを使用した画像復元を行う。
【解決手段】撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置であって、前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定手段（ステップＳ７）と、前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元手段（ステップＳ８〜Ｓ１８）とを有する。
【解決手段】撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置であって、前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定手段（ステップＳ７）と、前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元手段（ステップＳ８〜Ｓ１８）とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置、画像復元方法及び画像復元プログラムに関する。
【背景技術】
【０００２】
従来の画像復元装置としては、例えば劣化関数を用いて、劣化画像から元画像に近い復元画像を復元する際に、劣化関数を構成する振れ方向、振れ量等の劣化パラメータを変化させながら劣化画像を復元し、復元された画像の画像復元度を求め、該画像復元度を基に劣化パラメータを選択して劣化関数を導出し、該劣化関数により復元画像を生成するようにした画像処理方法及び装置が提案されている（例えば特許文献１参照）。
【０００３】
しかしながら、上記特許文献１に記載の従来例にあっては、振れ方向、振れ量等の劣化パラメータを変化させるだけであるので、劣化画像を復元する際のリンギングを抑制することはできない。
このため、従来、劣化画像情報の雑音に関する統計的性質が既知の場合、その情報を利用し、逆フィルタの雑音に対する弱点を補う方法としてウィーナフィルタが知られている（非特許文献１参照）。このウィーナフィルタは元画像ｆ（ｘ，ｙ）と復元画像ｆ＾（ｘ，ｙ）との平均２乗誤差が最小となるような復元方法であり、その周波数応答Ｍ（ｕ，ｖ）は下記のようにして算出される。
【０００４】
【数１】
【０００５】
観測された画像のフーリエ変換Ｇ（ｕ，ｖ）に周波数応答Ｍ（ｕ，ｖ）を掛けた後フーリエ逆変換すると、復元画像が求まる。通常は［Ｐnn（ｕ，ｖ）／Ｐff（ｕ，ｖ）を正確に求めることができないため、適当な定数Γで近似することが多い。ウィーナフィルタでは、この項があるため、Ｈ（ｕ，ｖ）＝０となるような周波数でＭ（ｕ，ｖ）＝０となり、逆フィルタのような不安定さは生じない。
【特許文献１】特開２０００−５７３３９号公報（第２頁、図２）
【非特許文献１】「コンピュータ画像処理」平成１６年１０月２０日株式会社オーム社発行
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記非特許文献１に記載された従来例にあっては、ウィーナフィルタの周波数応答Ｍ（ｕ，ｖ）を算出するために適当な近似定数Γを使用するようにしているので、この近似定数Γが大きいと、リンギングの問題は改善されるが、鮮明さが不十分となり、逆に近似定数Γが小さいと、鮮明になるが、リンギングが発生することになり、最適なΓを決定することが困難であるという未解決の課題がある。
【０００７】
そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、リンギングを抑制しながら鮮明さを確保することができるウィーナフィルタを使用した画像復元装置、画像復元方法及び画像復元プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の第１の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置であって、前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定手段と、前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元手段とを有することを特徴としている。
【０００９】
この第１の技術手段では、角速度データ等の撮像装置の振れ検出情報を含む劣化画像情報から振れ検出情報に基づいてウィーナフィルタの点広がり関数を算出し、劣化画像情報から切り出した局所領域画像情報毎に、点広がり関数と最適な近似定数とに基づいて算出されるウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成するので、劣化画像情報の局所領域画像情報毎に最適な近似定数を設定することができ、リンギングを抑制しながら鮮明さを確保した画像復元を行うことができる。
【００１０】
また、第２の技術手段は、上記第１の技術手段において、前記振れ検出情報は撮像装置の上下及び左右の振れを検出する角速度センサの出力情報であることを特徴としている。
この第２の技術手段においては、撮像装置の前後左右の振れを角速度センサで正確に検出することができるので、この角速度センサの出力情報を使用して点広がり関数を算出することにより、劣化画像情報の振れに応じた点広がり関数を算出することができる。
【００１１】
さらに、本発明の第３の技術手段は、第１又は第２の技術手段において、前記点広がり関数推定手段は、前記振れ検出情報から点広がり関数のフーリエスペクトルを算出するように構成されていることを特徴としている。
この第３の技術手段では、点広がり関数推定手段で点広がり関数のフーリエスペクトルを算出するので、このフーリエスペクトルと、その共役複素数と、近似定数Γとからウィーナフィルタの周波数応答を算出することができる。
【００１２】
さらにまた、本発明の第４の技術手段は、第１〜第３の技術手段の１つにおいて、前記点広がり関数推定手段は、前記振れ検出情報の振れ幅が大きいときに当該触れ検出情報をスプライン補間処理することを特徴としている。
この第４の技術手段では、振れ検出情報の触れ幅が大きいときに振れ検出情報をスプライン補間処理するので、より多くの振れ検出情報を得ることができ、正確な点広がり関数を算出することができる。
【００１３】
なおさらに、本発明の第５の技術手段は、上記第１乃至第４の技術手段の１つにおいて、前記点広がり関数推定手段は、前記振れ検出情報をガウスフィルタ処理することを特徴としている。
この第５の技術手段では、振れ検出情報をガウスフィルタ処理することにより、振れ検出情報が平滑化されてより正確な点広がり関数を算出することができる。
【００１４】
また、本発明の第６の技術手段は、第１〜第５の技術手段の１つにおいて、前記画像復元手段は、前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出し手段と、該画像情報切り出し手段で切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出手段と、該復元結果算出手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成手段と、該復元画像生成手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択手段とを有することを特徴としている。
【００１５】
この第６の技術手段では、画像復元手段で、画像切り出し手段で切り出した局所領域画像情報をフーリエ変換した空間周波数領域情報に、推定した点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出し、算出した所定数の復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成し、復元した所定数の局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる復元画像情報を選択するので、局所領域画像情報毎に最適な近似定数で復元した局所領域復元画像情報を生成することができる。
【００１６】
さらに、本発明の第７の技術手段は、第６の技術手段において、前記画像情報切り出し手段は、前記局所画像領域を含む拡大局所画像情報を切り出すように構成され、前記復元画像生成手段は、フーリエ逆変換した前記復元結果算出手段で算出した復元結果から前記局所画像領域を切り出して前記局所領域復元画像情報を生成するように構成されていることを特徴としている。
【００１７】
この第７の技術手段では、画像切り出し手段で、局所画像領域を含むこれより大きい拡大局所画像情報を切り出し、復元画像生成手段で、フーリエ逆変換した復元結果算出手段で算出した復元結果から前記局所画像領域を切り出して前記局所領域復元画像情報を生成するようにしているので、振れ幅による折り返しの影響を受けることなく正確な局所領域の画像復元を行うことができる。
【００１８】
さらにまた、第８の技術手段は、第６又は第７の技術手段の１つにおいて、前記復元結果算出手段は、前記点広がり関数推定手段で算出した点広がり関数のフーリエスペクトルと、当該フーリエスペクトルの共役複素数と、前記近似定数Γとから周波数応答を算出するように構成されていることを特徴としている。
この第８の技術手段では、点広がり関数のフーリエスペクトルと、その共役複素数と、近似定数Γからウィーナフィルタの周波数応答を算出するので、近似定数Γを異なる値とすることにより、近似定数Γの異なる種々の周波数応答を算出することができる。
【００１９】
なおさらに、本発明の第９の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元方法であって、点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとを有することを特徴としている。
【００２０】
この第９の技術手段では、前述した第１の技術手段と同様の効果を得ることができる。
さらにまた、本発明の第１０の技術手段は、第９の技術手段において、前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴としている。
【００２１】
この第１０の技術手段では、前述した第６の技術手段と同様の効果を得ることができる。
なおさらに、本発明の第１１の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元処理をコンピュータに実行させるための画像復元プログラムであって、点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとをコンピュータに実行させることを特徴としている。
この第１１の技術手段では、前述した第１の技術手段及び第９の技術手段と同様の効果を得ることができる。
【００２２】
また、本発明の第１２の技術手段は、第１１の技術手段において、前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴としている。
【００２３】
この第１２の技術手段では、前述した第６及び１０の技術手段と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明の一実施形態を示す概略構成図であり、図中、１はプリンタであって、このプリンタ１にＣＤ−Ｒ装置１００、デジタルカメラ１２０及びホストコンピュータ１４０が例えばＵＳＢの接続コードを介して接続される。なお、ＣＤ−Ｒ装置１００、例えば被写体を静止画像として撮影する撮像装置としてのデジタルスチルカメラ１２０及びホストコンピュータ１４０とプリンタ１との接続は接続コードを使用する場合に限らず無線で画像情報の授受を行うようにしてもよい。
【００２５】
そして、プリンタ１は、ヘッドユニット２０、用紙搬送機構３０、キャリッジ移動機構４０、検出器群５０、プリンタ側コントローラ６０、液晶表示器３、操作ボタン５、及びカードスロット６を有する。また、これらの他に、プリンタ１はホストコンピュータ１４０と接続するための第１インタフェース１２と、デジタルスチルカメラ１２０やＣＤ−Ｒ装置１００と接続するための第２インタフェース１４とを有している。
【００２６】
ヘッドユニット２０は、インクを用紙に向けて吐出させるものであり、インクを吐出するヘッド２２を有する。このヘッドユニット２０は、キャリッジ（図示せず）に取付けられており、キャリッジをキャリッジ移動方向に移動させるキャリッジ移動機構４０によって、キャリッジと共に移動する。
用紙搬送機構３０は、キャリッジ移動方向と交差する方向に用紙を搬送する。検出器群５０は、プリンタ１の状態を検出するためのものであり、例えば、キャリッジの位置を検出するリニア式エンコーダ、紙の搬送量を検出するロータリー式エンコーダ、及び用紙の有無を検出する紙検出器（何れも図示せず）等が含まれる。
【００２７】
プリンタ側コントローラ６０は、プリンタ１の制御を行うものであり、ＣＰＵ６２と、メモリ６４と、制御ユニット６８とを有する。ＣＰＵ６２は、プリンタ１の全体的な制御を行うための演算処理装置である。メモリ６４は、ＣＰＵ６２のプログラムを格納する領域や作業領域等を確保するためのものであり、ＲＡＭ、ＥＥＰＲＯＭ、ＲＯＭ等の記憶素子によって構成されている。そして、画像情報の復元時において、メモリ６４に復元画像情報が格納される。制御ユニット６８は、制御対象となる各部とＣＰＵ６２との間に配置され、ＣＰＵ６２からのコマンドに基づいてモータ用の駆動信号を生成したり、各部から送られてくる信号を、ＣＰＵ６２が解釈できる形態にして出力したりする。
【００２８】
通常、プリンタ１は、ホストコンピュータ１４０又はデジタルスチルカメラ１２０から印刷データを受信すると、印刷データに基づいて印刷処理を行う。すなわち、印刷データの受信後、プリンタ側コントローラ６０は、用紙搬送機構３０に印刷開始位置まで用紙を搬送させ、キャリッジ移動機構４０にキャリッジをキャリッジ移動方向に移動させ、キャリッジと共に移動するヘッドから印刷データに基づいてインクを吐出させる。そして、これらの動作が繰り返して行われると、用紙に画像が印刷される。
【００２９】
さらに、プリンタ１は、ユーザーが操作ボタン５を操作することにより、画像情報のバックアップ処理を行う。このバックアップ処理では、プリンタ側コントローラ６０は、カードスロット６に装着されたメモリカード１１０から画像情報を、ＣＤ−Ｒ装置１００に送出し、ＣＤ−Ｒに記憶させる。
さらにまた、デジタルスチルカメラ１２０は、カメラレンズ１２１によって被写体像がその後段に配設された固体撮像素子１２２に結像される。この固体撮像素子１２２は、固体撮像素子駆動回路１２３からの駆動信号によって光電変換を行い、その光電変換出力がカメラ系信号処理部１２４に供給され、このカメラ系信号処理部１２４で、サンプリング処理、ＡＧＣ処理を行った後にＡ／Ｄ変換処理によってデジタルデータに変換してからガンマ補正処理、エンコード処理等が行われて画像メモリ１２５に入力される。
【００３０】
画像メモリ１２５から読出された画像データが液晶ディスプレイ、有機ＥＬディスプレイ等で構成される表示器１３５に供給されると共に、記録系信号処理部１２６に出力され、この記録系信号処理部１２６でＪＰＥＧ変換等を行ってＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ等で構成されるメモリカード１１０に記憶される。
一方、手振れ補正を行うために、デジタルスチルカメラ１２０の筐体に垂直方向及び水平方向のコリオリ力が発生したときにこれを検出する振れ量検出手段としての例えばジャイロセンサ（ジャイロスコープ）で構成される垂直方向及び水平方向角速度センサ１２８及び１２９が設けられ、これら垂直方向及び水平方向角速度センサ１２８及び１２９から出力される検出信号が帯域制限フィルタ１３０及び１３１に供給されて帯域制限された後、増幅器１３２及び１３３で増幅されてからＡ／Ｄ変換器１３４によって所定サンプリング周期でデジタル信号に変換されてバッファメモリ１３６に一時格納される。そして、バッファメモリ１３６に格納された垂直方向及び水平方向の角速度データがデジタルスチルカメラ１２０の制御を統括するマイクロコンピュータ１２７に読出される。
【００３１】
そして、マイクロコンピュータ１２７では、シャッタ開閉センサ１３７からのシャッタ開閉信号ＳＳが入力されたときに、このシャッタ開閉信号がシャッタ開状態となっている間及びその前後の所定時間のバッファメモリ１３６に格納されている垂直方向及び水平方向の角速度データを読込み、読込んだ角速度データを記録系信号処理部１２６が画像メモリ１２５から画像データを読込むタイミングで記録系信号処理部１２６に出力して、この記録系信号処理部１２６で画像データと共に信号処理してメモリカード１１０に記憶する。
【００３２】
すなわち、角速度センサ１２８及び１２９の各角速度データをサンプリング間隔Δｔ（例えば４０〜４００Ｈｚの範囲の任意の周波数）でサンプリングし、それをバッファメモリ１３６に時系列的に格納しておく、シャッタ開閉センサ１３７でシャッタが開かれる前の所定数のサンプルデータ、シャッタが開いてから閉じられるまでのサンプルデータ、シャッタが閉じられた後での所定数のサンプルのデータを使用して、角速度の変化を求める。その際、画像データは画像メモリ１２５に蓄積する。
【００３３】
そして、バッファメモリ１３６に蓄積された各角速度データを画像メモリ１２５に記憶した画像データと共に記録系信号処理部１２６で信号処理してメモリカード１１０に記憶する。
この記録系信号処理部１２６では、画像情報をＪＰＥＧ変換してＪＰＥＧ画像ファイルに記憶すると共に、そのＪＰＥＧ画像ファイルのＥｘｉｆ ＩＦＤ内の階層化されたユーザタグに各角速度データを記憶する。
【００３４】
また、デジタルスチルカメラ１２０は、メモリカード１１０に記憶した画像情報をプリンタ１やホストコンピュータ１４０に出力する画像データ出力部１３８を有し、この画像データ出力部１３８からＵＳＢ等の接続コードを介して画像情報を出力する。
また、前述したプリンタ１では、デジタルスチルカメラ１２０からの振れがある劣化画像情報が接続コードを介して第２インタフェース１４から直接入力されるか又はメモリカード１１０を介して入力されたときに、ユーザーが画像復元ボタン７を操作することにより、ウィーナフィルタを使用した画像復元処理を実行する。
【００３５】
ここで、画像復元の原理は、原画像から劣化画像が生じる画像劣化モデルを図３について説明すると、原画像ｆ（ｘ，ｙ）とし、劣化画像をｇ（ｘ，ｙ）とし、さらに点広がり関数をｈ（ｘ，ｙ）、ノイズをｎ（ｘ，ｙ）としたとき、これらの関係は図３に示すようになり、式で表すと下記（１）式となる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ）＋ｎ（ｘ，ｙ） …………（１）
但し、＊は畳み込みを表す。
【００３６】
そして、劣化画像ｇ（ｘ，ｙ）、原画像ｆ（ｘ，ｙ）、点広がり関数ｈ（ｘ，ｙ）及びノイズｎ（ｘ，ｙ）のフーリエ変換を夫々Ｇ（μ，ν）、Ｆ（μ，ν）、Ｈ（μ，ν）及びＮ（μ，ν）とすると、前記（１）式より
Ｇ（μ，ν）＝Ｆ（μ，ν）Ｈ（μ，ν）＋Ｎ（μ，ν） …………（２）
が得られる。
【００３７】
そして、ウィーナフィルタによる画像復元の周波数応答Ｂ（μ，ν）は、
Ｂ（μ，ν）＝Ｈ（μ，ν）*／｛Ｈ（μ，ν）Ｈ（μ，ν）*＋Γ ……（３）
と表すことができる。ここで、*は共役複素数、Γは近似定数を表す。
したがって、観測された画像のフーリエ変換Ｇ（μ，ν）に周波数応答Ｂ（μ，ν）を掛けた後、フーリエ逆変換すると復元画像を求めることができる。
【００３８】
そして、画像復元処理は、プリンタ側コントローラ６０内のＣＰＵ６２で実行され、図４に示すように、先ず、ステップＳ１で、振れが生じている劣化画像情報を読込み、次いでステップＳ２に移行して、劣化画像情報のＥｘｉｆ ＩＦＤ内の階層化されたユーザタグから各角速度データを取得する。
次いで、ステップＳ３に移行して、取得した各角速度データから振れ幅（ピクセル）を算出する。
【００３９】
この振れ量の算出は、デジタルスチルカメラ１２０のカメラレンズ１２１における光軸方位の変動状況を検出する角速度センサ２成分（角速度センサ１２８，１２９）は、図５に示すように、固体撮像素子１２２の平面内の直交ベクトル成分に対応するものである。これら２つの角速度成分は、図５に示すように、θｘ及びθｙの変数で表される。
この角度成分に補正係数λｘ及びλｙを乗算することにより、画像のｘ軸方向或いはｙ軸方向の振れ量（ピクセル）を求めることができる。
【００４０】
ここで、画像のＸ方向の振れ量ｘnはθｙ×λｘ、画像のｙ方向の振れ量ｙnはθｘ×λｙとなる。この場合の角速度センサ１２８，１２９より求めた振れ幅（ｘn，ｙn）（ｎ＝１，２，……Ｎ）の変化の様子は図６（ａ）に示すようになる。
次いで、ステップＳ４に移行して、算出した隣接する振れ幅（ｘn，ｙn）及び（ｘn+1，ｙn+1）間の最大変化量が大きいか否かを判定し、変化量が小さいときには直接ステップＳ６に移行するが、変化量が大きいときにはステップＳ５に移行して、振れ幅（ｘn，ｙn）を例えばキュービックスプライン処理を行うことによりスプライン補間して振れ幅（ｘm，ｙm）を算出してからステップＳ６に移行する。
【００４１】
このステップＳ６では、変化量の小さい振れ幅（ｘn，ｙn）又はスプライン補間した振れ幅（ｘm，ｙm）に対してガウスフィルタ処理を行う。このガウスフィルタ処理は、下記（４）式で表される２次元のガウス関数ｆ（ｘ，ｙ）を畳み込むことにより、振れ幅（ｘn，ｙn）又は（ｘm，ｙm）を平滑化する。
ｆ（ｘ，ｙ）＝ｅ−（ｘ2＋ｙ2）／２σ2 …………（４）
この場合のガウス分布は図７（ａ）に示すようになり、図７（ａ）の矢印で示した断面におけるガウス分布断面図は図７（ｂ）で表される。
【００４２】
次いで、ステップＳ７に移行して、平滑化された振れ量からウィーナフィルタの点広がり関数を推定する点広がり関数推定処理を行う。
この点広がり関数推定処理は、振れ幅（ｘ1，ｙ1），（ｘ2，ｙ2），……（ｘN，ｙN）が与えられたとき、劣化画像ｇ（ｘ，ｙ）は次式で示されるように、原画像ｆ（ｘ，ｙ）を（ｘn，ｙn）（ｎ＝１，２，……Ｎ）画素だけ移動した画像の和により得られる。
【００４３】
【数２】
このとき、劣化画像のフーリエスペクトルに注目すると、
【００４４】
【数３】
これにより、点広がり関数のフーリエスペクトルＨ（μ，ν）は
【００４５】
【数４】
となる。
【００４６】
次いで、ステップＳ８に移行して、点広がり関数のフーリエスペクトルＨ（μ，ν）とその共役複素数Ｈ（μ，ν）*と所定数の異なる近似定数Γ1〜ΓNとに基づいて所定数Ｎ個のウィーナフィルタの周波数応答ＢΓ（μ，ν）を算出する。
【００４７】
次いで、ステップＳ９に移行して、復元対象となる劣化画像情報（例えば２３０４×１７２８画素）から予め設定した幅ｗ（例えば８０画素）,高さｈ（例えば６０画素）のサイズの局所領域画像情報ｇs（ｘ，ｙ）（（ｗ×ｈ）画素）を含みこれに幅ｐ（例えば２０画素）及び高さｑ（例えば２０画素）を加算したサイズの拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を切り出す。ここで、拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）の幅ｐ及び高さｑは、撮像装置となるデジタルスチルカメラ１２０の最大振れ幅によって設定され、最大振れ幅が１０画素であるときに余裕をみて幅ｐ及び高さｑを夫々２０画素に設定する。なお、幅ｐ及び高さｑは異なる値に設定するようにしてもよい。
【００４８】
次いで、ステップＳ１０に移行して、拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を離散フーリエ変換（Discrete Fourier Transform;DFT）して空間周波数領域情報Ｇl（ｘ，ｙ）に変換する。
次いで、ステップＳ１１に移行して、算出した空間周波数領域情報Ｇl（ｘ，ｙ）に所定数のウィーナフィルタの周波数応答ＢΓ（ｘ，ｙ）を個別に掛けることにより、所定数の空間周波数領域復元情報Ｆ＾Γl（μ，ν）を算出する。
【００４９】
次いで、ステップＳ１２に移行して、算出した所定数の周波数領域復元情報Ｆ＾Γl（μ，ν）を逆離散フーリエ変換（ＩＤＦＴ）を行って所定数の拡大局所領域復元画像情報ｆ＾Γl（ｘ，ｙ）を算出する。
次いで、ステップＳ１３に移行して、算出した各拡大局所領域復元画像情報ｆ＾Γl（ｘ，ｙ）の中央部から個別に前述した局所領域ｇs（ｘ，ｙ）と同一サイズの局所領域復元画像情報ｆ＾Γs（ｘ，ｙ）を切り出す。
【００５０】
次いで、ステップＳ１４に移行して、切り出した所定数の局所領域復元画像情報ｆ＾Γs（ｘ，ｙ）と劣化画像情報ｇ（ｘ，ｙ）から切り出した局所領域復元画像情報ｆs（ｘ，ｙ）から下式によって所定数の平均二乗誤差ＤΓを算出する。
【００５１】
【数５】
【００５２】
次いで、ステップＳ１５に移行して、算出した所定数の平均二乗誤差ＤΓのうちから最小の平均二乗誤差ＤΓを選択し、この最小の平均二乗誤差ＤΓの局所領域復元画像情報ｆ＾Γs（ｘ，ｙ）における輝度値を切り出した局所領域画像情報ｇs（ｘ，ｙ）における復元画像の輝度値の推定値とする。
【００５３】
次いで、ステップＳ１６に移行して、劣化画像情報ｇ（ｘ，ｙ）の全ての局所領域について前述したステップＳ９〜Ｓ１５の輝度値の推定が終了したか否かを判定し、全ての局所領域についての輝度値の推定が終了していないときには、ステップＳ１７に移行して、次に切り出す拡大局所領域を指定してから前記ステップＳ９に戻り、全ての局所領域について輝度値の推定が終了したときにはステップＳ１８に移行して、全ての局所領域で推定した輝度値の復元画像ｆ＾Γ（ｘ，ｙ）をメモリカード１１０に記憶すると共に、液晶表示器３に表示してから画像復元処理を終了する。
【００５４】
この図４の処理において、ステップＳ１〜ステップＳ７の処理が点広がり関数推定手段に対応し、ステップＳ８〜ステップＳ１８の処理が画像復元手段に対応し、ステップＳ９の処理が画像切り出し手段に対応し、ステップＳ１０〜ステップＳ１３の処理が復元画像生成手段に対応し、ステップＳ１４及びＳ１５の処理が復元画像選択手段に対応している。
【００５５】
次に、上記実施形態の動作を説明する。
先ず、デジタルスチルカメラ１２０のカメラレンズ１２１を被写体に向けて図示しないレリーズボタンを押圧することにより、露出計で測光された露出に基づいてシャッタ速度が算出され、算出されたシャッタ速度でシャッタが作動されることにより、カメラレンズ１２１を通った画像が固体撮像素子１２２上に投影される。
【００５６】
この固体撮像素子１２２上に投影された画像情報が固体撮像素子駆動回路１２３からの駆動信号によって順次読出され、カメラ系信号処理部１２４で所定の信号処理が行われて画像データとして画像メモリ１２５に記憶される。この画像メモリ１２５に記憶された画像データは表示器１３５に供給されて表示される。この表示器１３５に表示された画像データは振れ量を含んだ画像データであり、表示された画像データから振れ量の程度を判断することができる。
【００５７】
このとき、シャッタが作動されることにより、シャッタ開閉センサ１３７からシャッタが開いてから閉じるときにオン状態からオフ状態に反転するシャッタ開閉信号ＳＳがマイクロコンピュータ１２７に入力されると、この時点から所定時間即ちＡ／Ｄ変換器１３４で角速度センサ１２８及び１２９の角速度データを予め設定した所定数のサンプル分の角速度データがバッファメモリ１３６に格納される時間が経過した時点で、バッファメモリ１３６からシャッタが開状態となる前の所定数のサンプル分とシャッタが開状態を継続している間のサンプル分とシャッタが閉じてからの所定数のサンプル分とを合計した連続的な角速度データθｘ1〜θｘN及びθｙ1〜θｙNを読出す。
【００５８】
そして、読出した角速度データθｘ0〜θｘN及びθｙ1〜θｙNをバッファメモリ１３６に一時記憶し、その後記録系信号処理部１２６が画像メモリ１２５に記憶された画像データを読込むタイミングで角速度データθｘ0〜θｘN及びθｙ1〜θｙNを記録系信号処理部１２６に供給することにより、画像データＪＰＥＧ変換してＪＰＥＧファイルに格納する共に、ＪＰＥＧファイルのＥｘｉｆに角速度データθｘ0〜θｘN及びθｙ1〜θｙNを格納し、作成したＪＰＥＧファイルをメモリカード１１０に記憶する。
【００５９】
このようにして順次デジタルスチルカメラ１２０で所望の被写体を撮影して画像データ及び角速度データθｘ0〜θｘN及びθｙ1〜θｙNをＪＰＥＧファイルに格納してメモリカード１１０に記憶する。
その後、所望のタイミングでデジタルスチルカメラ１２０を接続コードでプリンタ１の第２インタフェース１４に接続するか又はデジタルスチルカメラ１２０からメモリカード１１０を引き出して、このメモリカード１１０をプリンタのカードスロット６に装着することにより、メモリカード１１０に記憶されている撮影した画像情報及び角速度データを含むＪＰＥＧファイルを、制御ユニット６８を介してＣＰＵ６２に読込む。
【００６０】
そして、デジタルスチルカメラ１２０で同一被写体を撮影したときに、振れを生じると、図８に示すようにぼけとノイズが生じた劣化画像ｇ（ｘ，ｙ）となる。この劣化画像では、ウィーナフィルタで復元画像を生成したときに、輝度変化の大きいエッジ部の近傍の平坦部でリンギングを生じ易くなる。
このため、劣化画像情報をプリンタ１に読込んだ状態で、ユーザーが画像復元ボタン７を操作すると、ＣＰＵ６２で、図４に示す画像復元処理が実行される。
【００６１】
この画像復元処理では、先ず、デジタルスチルカメラ１２０又はメモリカード１１０から劣化画像情報及び角速度データθｘ1〜θｘN及びθｙ1〜θｙNを含むＪＰＥＧファイルを読込み（ステップＳ１）、次いでＪＰＥＧファイルのＥｘｉｆから角速度データθｘ1〜θｘN及びθｙ1〜θｙNを取得する（ステップＳ２）。
次いで、角速度データθｘ1〜θｘN及びθｙ1〜θｙNから振れ幅（ｘn，ｙn）を算出し（ステップＳ３）、次いで隣接する振れ幅（ｘn，ｙn）及び（ｘn+1，ｙn+1）間の最大変化量が大きいか否かを判定する（ステップＳ４）。
【００６２】
このとき、隣接する振れ幅（ｘn，ｙn）及び（ｘn+1，ｙn+1）間の最大変化量が小さいときには振れ幅（ｘ1，ｙ1）〜（ｘN，ｙN）の夫々についてガウスフィルタ処理を行って平滑化するが（ステップＳ６）、図６（ａ）に示すように、隣接する振れ幅（ｘn，ｙn）及び（ｘn+1，ｙn+1）間の最大変化量が大きいときには振れ幅（ｘ1，ｙ1）〜（ｘN，ｙN）に対してキュービックスプライン処理することにより（ステップＳ５）、図６（ｂ）に示すように、スプライン補間してより多くの振れ幅を得、これをガウスフィルタ処理することにより平滑化する（ステップＳ６）。
【００６３】
そして、劣化画像情報ｇ（ｘ，ｙ）は原画像ｆ（ｘ，ｙ）を振れ幅（ｘn，ｙn）だけ移動した画像の和により得られることから、平滑化された振れ幅（ｘ1，ｙ1）〜（ｘN，ｙN）から前記（７）式の演算を行って点広がり関数のフーリエスペクトルＨ（μ，ν）を算出する。算出した点広がり関数のフーリエスペクトルＨ（μ，ν）はスプライン補間した図６（ｂ）の振れ幅（ｘ1，ｙ1）〜（ｘN，ｙN）を使用した場合、図９に示すようになる。
【００６４】
そして、点広がり関数のフーリエスペクトルＨ（μ，ν）が算出されると、算出した点広がり関数のフーリエスペクトルＨ（μ，ν）とその共役複素数Ｈ（μ，ν）*と所定数の異なる値の所定数Ｎ（＝１０）の近似定数Γ（＝０．２５，０．５，……１．０）を使用して、前述した（３）式の演算を行うことにより、図１０の処理２に示すように所定数のウィーナフィルタの周波数応答ＢΓ=0.25（μ，ν）、ＢΓ=0.5（μ，ν）、……ＢΓ=1.0（μ，ν）を算出する（ステップＳ８）。
【００６５】
次いで、図８及び図１０の処理１に示すように、劣化画像情報ｇ（ｘ，ｙ）から局所領域画像情報ｇs（ｘ，ｙ）（ｗ×ｈ）画素）を中央部に含む最初の拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を切り出す（ステップＳ９）。
次いで、図１１に示すように、切り出した拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を、離散フーリエ変換して空間周波数領域情報Ｇl（ｘ，ｙ）に変換し（ステップＳ１０）、変換した空間周波数領域情報Ｇl（ｘ，ｙ）に前記ステップＳ８で算出した所定数のウィーナフィルタの周波数応答ＢΓ=0.25（μ，ν）、ＢΓ=0.5（μ，ν）、……ＢΓ=1.0（μ，ν）を個別に掛けることにより、図１０の処理２に示すように、所定数の空間周波数領域復元画像Ｆ＾lΓ=0.25〜Ｆ＾lΓ=1.0を算出する（ステップＳ１１）。
【００６６】
次いで、算出した各空間周波数領域復元画像Ｆ＾lΓ=0.25〜Ｆ＾lΓ=1.0を逆離散フーリエ変換することにより、図１０の処理３に示すように拡大局所領域復元情報ｆ＾lΓ=0.25〜Ｆ＾lΓ=1.0を算出する（ステップＳ１２）。
次いで、図１０に示すように、算出した拡大局所領域復元情報ｆ＾lΓ=0.25〜Ｆ＾lΓ=1.0の中央部から個別に局所領域ｇs（ｘ，ｙ）と同一サイズの局所領域復元画像情報ｆ＾sΓ=0.25（ｘ，ｙ）〜ｆ＾sΓ=1.0（ｘ，ｙ）を切り出す（ステップＳ１３）。
【００６７】
次いで、図１０に示すように、切り出した局所領域復元画像情報ｆ＾sΓ=0.25（ｘ，ｙ）〜ｆ＾sΓ=1.0（ｘ，ｙ）とステップＳ９で切り出した局所領域画像情報ｇ＾s（ｘ，ｙ）との平均二乗誤差ＤΓ=0.25〜ＤΓ=1.0を算出し（ステップＳ１４）、算出した平均二乗誤差ＤΓ=0.25〜ＤΓ=1.0のうちから最小の平均二乗誤差ＤΓを選択し、選択した最小の平均二乗誤差ＤΓの局所領域復元画像情報ｆ＾sΓ（ｘ，ｙ）における輝度値を切り出した局所領域画像情報ｇs（ｘ，ｙ）における復元画像の輝度値の推定値とする。
【００６８】
このようにして、切り出した局所領域画像情報ｇs（ｘ，ｙ）における復元画像の輝度値の推定値が求まると、次いで劣化画像情報ｇ（ｘ，ｙ）の全ての局所領域画像情報ｇs（ｘ，ｙ）における輝度値の推定が終了したか否かを判定し（ステップＳ１６）、全ての局所領域画像情報ｇs（ｘ，ｙ）における輝度値の推定が終了していないときには、次に切り出す拡大局所領域を指定してから再度上記と同様の局所領域画像復元処理を行ない、全ての局所領域画像情報ｇs（ｘ，ｙ）における輝度値の推定が終了したときには、全ての局所領域で推定した輝度値の復元画像ｆ＾Γ（ｘ，ｙ）をメモリカード１１０に記憶すると共に、液晶表示器３に表示してから画像復元処理を終了する。
【００６９】
このように上記実施形態によると、角速度データに基づいてウィーナフィルタの点広がり関数のフーリエスペクトラムＨ（μ，ν）を算出し、この点広がり関数のフーリエスペクトルとその共役複素数Ｈ（μ，ν）*と所定数の異なる近似定数Γ1〜ΓNとに基づいてウィーナフィルタの周波数応答Ｂ（μ，ν）を算出すると共に、劣化画像情報ｇ（ｘ，ｙ）から拡大局所領域画像情報ｇl（ｘ，ｙ）を順次切り出し、これら拡大局所領域画像情報ｇl（ｘ，ｙ）を離散フーリエ変換した空間周波数領域画像情報Ｇl（ｘ，ｙ）に所定数のウィーナフィルタの周波数応答ＢΓ（μ，ν）を個別に掛けて所定数の空間周波数領域復元画像情報Ｆ＾l（ｘ，ｙ）を算出し、これらを逆離散フーリエ変換して拡大局所領域復元画像情報とし、この拡大局所領域復元画像情報から中央部の局所領域復元画像情報を切り出し、これら局所領域復元画像情報と局所領域画像情報との最小二乗誤差ＤΓが最小となる局所領域復元画像情報を選択して、選択した局所領域復元画像情報の輝度値を局所領域画像情報の輝度値として推定し、この局所領域画像情報の推定処理を繰り返すことにより、劣化画像情報の復元画像情報を生成するので、劣化画像情報を局所領域毎にウィーナフィルタの近似定数Γを最適に設定することができ、リンギングを抑制しながらぼけの成分をそのまま残すことなく、鮮明な復元画像情報を得ることができる。
【００７０】
ここで、角速度データから点広がり関数のフーリエスペクトルＨ（μ，ν）を算出する際に、角速度データの隣接する振れ幅の変化量が大きいときに、スプライン補間処理することにより、より多くの角速度データを得ることができ、正確な点広がり関数のフーリエスペクトルを算出することができる。しかも、そのままの振れ幅又はスプライン補間した振れ幅をガウスフィルタ処理して平滑化することにより、より正確な点広がり関数のフーリエスペクトルＨ（μ，ν）を算出することができる。
【００７１】
また、劣化画像情報ｇ（ｘ，ｙ）から局所領域画像情報ｇs（ｘ，ｙ）（（ｗ×ｈ）画素）を抽出する際に、この局所領域画像情報ｇs（ｘ，ｙ）（（ｗ×ｈ）画素）に対して撮像装置としてのデジタルスチルカメラ１２０の最大振れ幅を考慮した拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を切り出すようにしているので、デジタルスチルカメラ１２０の振れ幅による折り返しの影響を受けることなく、画像抽出を行うことができ、後に得られる復元画像を正確に復元することができる。
【００７２】
なお、上記実施形態においては、本発明をプリンタに適用した場合について説明したが、これに限定されるものではなく、デジタルスチルカメラ１２０を含む撮像装置や画像情報を再生するプロジェクタやテレビ等の表示装置に本発明を適用して劣化画像情報を復元して表示したり、コンピュータに本発明を適用して劣化画像情報を復元して表示したりすることができる。
【００７３】
また、上記実施形態では、角速度データを直接ＪＰＥＧファイルのＥｘｉｆに格納する場合について説明したが、これに限定されるものではなく、角速度データをｎ次の多項式に近似して、各次数の係数を記憶することにより、記憶容量を減少させるようにしてもよい。
さらに、上記実施形態においては、撮像装置としてデジタルスチルカメラ１２０を適用した場合について説明したが、これに限定されるものではなく、他の撮像装置を適用することもできる。また、劣化画像情報の入力もデジタルスチルカメラ１２０から入力される場合に限られるものではなく、ホストコンピュータから劣化画像を入力したり、ＣＤ−Ｒ、ＤＶＤ等の記録媒体から劣化画像を入力したりするようにしてもよい。
【００７４】
さらにまた、上記実施形態においては、振れ幅（ｘn，ｙn）に対してガウスフィルタ処理する場合について説明したが、これに限定されるものではなく、ガウスフィルタ処理を省略するようにしてもよい。
【図面の簡単な説明】
【００７５】
【図１】本発明の一実施形態を示す概略構成図である。
【図２】デジタルスチルカメラの電気的構成を示すブロック図である。
【図３】画像劣化モデルを示す説明図である。
【図４】ＣＰＵで実行する画像復元処理手順の一例を示すフローチャートである。
【図５】デジタルスチルカメラに生じる角速度の説明に供する模式図である。
【図６】角速度データを示す特性線図であって、（ａ）は角速度データであり、（ｂ）はスプライン補間した角速度データである。
【図７】ガウス分布を示す説明図であって、（ａ）はガウス分布特性図、（ｂ）は（ａ）の矢印上のガウス分布断面図である。
【図８】劣化画像情報を示す説明図である。
【図９】点広がり関数のフーリエスペクトルを示す特性線図である。
【図１０】劣化画像情報を復元するための処理手順を示す説明図である。
【図１１】局所画像情報を離散フーリエ変換して空間周波数領域情報を得ることを示す説明図である。
【符号の説明】
【００７６】
１…プリンタ、５…操作ボタン、６…カードスロット、７…画像復元ボタン、２０…ヘッドユニット、３０…用紙搬送機構、４０…キャリッジ移動機構、５０…検出器群、６０…プリンタ側コントローラ、６２…ＣＰＵ、１００…ＣＤ−Ｒ装置、１１０…メモリカード、１２０…デジタルスチルカメラ、１２１…カメラレンズ、１２２…固体撮像素子、１２４…カメラ系信号処理部、１２５…画像メモリ、１２６…記録系信号処理部、１２７…マイクロコンピュータ、１２８，１２９…角速度センサ、１３４…Ａ／Ｄ変換器、１３５…表示器、１３６…バッファメモリ、１３７…シャッタ開閉センサ、１４０…ホストコンピュータ
【技術分野】
【０００１】
本発明は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置、画像復元方法及び画像復元プログラムに関する。
【背景技術】
【０００２】
従来の画像復元装置としては、例えば劣化関数を用いて、劣化画像から元画像に近い復元画像を復元する際に、劣化関数を構成する振れ方向、振れ量等の劣化パラメータを変化させながら劣化画像を復元し、復元された画像の画像復元度を求め、該画像復元度を基に劣化パラメータを選択して劣化関数を導出し、該劣化関数により復元画像を生成するようにした画像処理方法及び装置が提案されている（例えば特許文献１参照）。
【０００３】
しかしながら、上記特許文献１に記載の従来例にあっては、振れ方向、振れ量等の劣化パラメータを変化させるだけであるので、劣化画像を復元する際のリンギングを抑制することはできない。
このため、従来、劣化画像情報の雑音に関する統計的性質が既知の場合、その情報を利用し、逆フィルタの雑音に対する弱点を補う方法としてウィーナフィルタが知られている（非特許文献１参照）。このウィーナフィルタは元画像ｆ（ｘ，ｙ）と復元画像ｆ＾（ｘ，ｙ）との平均２乗誤差が最小となるような復元方法であり、その周波数応答Ｍ（ｕ，ｖ）は下記のようにして算出される。
【０００４】
【数１】
【０００５】
観測された画像のフーリエ変換Ｇ（ｕ，ｖ）に周波数応答Ｍ（ｕ，ｖ）を掛けた後フーリエ逆変換すると、復元画像が求まる。通常は［Ｐnn（ｕ，ｖ）／Ｐff（ｕ，ｖ）を正確に求めることができないため、適当な定数Γで近似することが多い。ウィーナフィルタでは、この項があるため、Ｈ（ｕ，ｖ）＝０となるような周波数でＭ（ｕ，ｖ）＝０となり、逆フィルタのような不安定さは生じない。
【特許文献１】特開２０００−５７３３９号公報（第２頁、図２）
【非特許文献１】「コンピュータ画像処理」平成１６年１０月２０日株式会社オーム社発行
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記非特許文献１に記載された従来例にあっては、ウィーナフィルタの周波数応答Ｍ（ｕ，ｖ）を算出するために適当な近似定数Γを使用するようにしているので、この近似定数Γが大きいと、リンギングの問題は改善されるが、鮮明さが不十分となり、逆に近似定数Γが小さいと、鮮明になるが、リンギングが発生することになり、最適なΓを決定することが困難であるという未解決の課題がある。
【０００７】
そこで、本発明は、上記従来例の未解決の課題に着目してなされたものであり、リンギングを抑制しながら鮮明さを確保することができるウィーナフィルタを使用した画像復元装置、画像復元方法及び画像復元プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の第１の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置であって、前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定手段と、前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元手段とを有することを特徴としている。
【０００９】
この第１の技術手段では、角速度データ等の撮像装置の振れ検出情報を含む劣化画像情報から振れ検出情報に基づいてウィーナフィルタの点広がり関数を算出し、劣化画像情報から切り出した局所領域画像情報毎に、点広がり関数と最適な近似定数とに基づいて算出されるウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成するので、劣化画像情報の局所領域画像情報毎に最適な近似定数を設定することができ、リンギングを抑制しながら鮮明さを確保した画像復元を行うことができる。
【００１０】
また、第２の技術手段は、上記第１の技術手段において、前記振れ検出情報は撮像装置の上下及び左右の振れを検出する角速度センサの出力情報であることを特徴としている。
この第２の技術手段においては、撮像装置の前後左右の振れを角速度センサで正確に検出することができるので、この角速度センサの出力情報を使用して点広がり関数を算出することにより、劣化画像情報の振れに応じた点広がり関数を算出することができる。
【００１１】
さらに、本発明の第３の技術手段は、第１又は第２の技術手段において、前記点広がり関数推定手段は、前記振れ検出情報から点広がり関数のフーリエスペクトルを算出するように構成されていることを特徴としている。
この第３の技術手段では、点広がり関数推定手段で点広がり関数のフーリエスペクトルを算出するので、このフーリエスペクトルと、その共役複素数と、近似定数Γとからウィーナフィルタの周波数応答を算出することができる。
【００１２】
さらにまた、本発明の第４の技術手段は、第１〜第３の技術手段の１つにおいて、前記点広がり関数推定手段は、前記振れ検出情報の振れ幅が大きいときに当該触れ検出情報をスプライン補間処理することを特徴としている。
この第４の技術手段では、振れ検出情報の触れ幅が大きいときに振れ検出情報をスプライン補間処理するので、より多くの振れ検出情報を得ることができ、正確な点広がり関数を算出することができる。
【００１３】
なおさらに、本発明の第５の技術手段は、上記第１乃至第４の技術手段の１つにおいて、前記点広がり関数推定手段は、前記振れ検出情報をガウスフィルタ処理することを特徴としている。
この第５の技術手段では、振れ検出情報をガウスフィルタ処理することにより、振れ検出情報が平滑化されてより正確な点広がり関数を算出することができる。
【００１４】
また、本発明の第６の技術手段は、第１〜第５の技術手段の１つにおいて、前記画像復元手段は、前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出し手段と、該画像情報切り出し手段で切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出手段と、該復元結果算出手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成手段と、該復元画像生成手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択手段とを有することを特徴としている。
【００１５】
この第６の技術手段では、画像復元手段で、画像切り出し手段で切り出した局所領域画像情報をフーリエ変換した空間周波数領域情報に、推定した点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出し、算出した所定数の復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成し、復元した所定数の局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる復元画像情報を選択するので、局所領域画像情報毎に最適な近似定数で復元した局所領域復元画像情報を生成することができる。
【００１６】
さらに、本発明の第７の技術手段は、第６の技術手段において、前記画像情報切り出し手段は、前記局所画像領域を含む拡大局所画像情報を切り出すように構成され、前記復元画像生成手段は、フーリエ逆変換した前記復元結果算出手段で算出した復元結果から前記局所画像領域を切り出して前記局所領域復元画像情報を生成するように構成されていることを特徴としている。
【００１７】
この第７の技術手段では、画像切り出し手段で、局所画像領域を含むこれより大きい拡大局所画像情報を切り出し、復元画像生成手段で、フーリエ逆変換した復元結果算出手段で算出した復元結果から前記局所画像領域を切り出して前記局所領域復元画像情報を生成するようにしているので、振れ幅による折り返しの影響を受けることなく正確な局所領域の画像復元を行うことができる。
【００１８】
さらにまた、第８の技術手段は、第６又は第７の技術手段の１つにおいて、前記復元結果算出手段は、前記点広がり関数推定手段で算出した点広がり関数のフーリエスペクトルと、当該フーリエスペクトルの共役複素数と、前記近似定数Γとから周波数応答を算出するように構成されていることを特徴としている。
この第８の技術手段では、点広がり関数のフーリエスペクトルと、その共役複素数と、近似定数Γからウィーナフィルタの周波数応答を算出するので、近似定数Γを異なる値とすることにより、近似定数Γの異なる種々の周波数応答を算出することができる。
【００１９】
なおさらに、本発明の第９の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元方法であって、点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとを有することを特徴としている。
【００２０】
この第９の技術手段では、前述した第１の技術手段と同様の効果を得ることができる。
さらにまた、本発明の第１０の技術手段は、第９の技術手段において、前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴としている。
【００２１】
この第１０の技術手段では、前述した第６の技術手段と同様の効果を得ることができる。
なおさらに、本発明の第１１の技術手段は、撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元処理をコンピュータに実行させるための画像復元プログラムであって、点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとをコンピュータに実行させることを特徴としている。
この第１１の技術手段では、前述した第１の技術手段及び第９の技術手段と同様の効果を得ることができる。
【００２２】
また、本発明の第１２の技術手段は、第１１の技術手段において、前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴としている。
【００２３】
この第１２の技術手段では、前述した第６及び１０の技術手段と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は本発明の一実施形態を示す概略構成図であり、図中、１はプリンタであって、このプリンタ１にＣＤ−Ｒ装置１００、デジタルカメラ１２０及びホストコンピュータ１４０が例えばＵＳＢの接続コードを介して接続される。なお、ＣＤ−Ｒ装置１００、例えば被写体を静止画像として撮影する撮像装置としてのデジタルスチルカメラ１２０及びホストコンピュータ１４０とプリンタ１との接続は接続コードを使用する場合に限らず無線で画像情報の授受を行うようにしてもよい。
【００２５】
そして、プリンタ１は、ヘッドユニット２０、用紙搬送機構３０、キャリッジ移動機構４０、検出器群５０、プリンタ側コントローラ６０、液晶表示器３、操作ボタン５、及びカードスロット６を有する。また、これらの他に、プリンタ１はホストコンピュータ１４０と接続するための第１インタフェース１２と、デジタルスチルカメラ１２０やＣＤ−Ｒ装置１００と接続するための第２インタフェース１４とを有している。
【００２６】
ヘッドユニット２０は、インクを用紙に向けて吐出させるものであり、インクを吐出するヘッド２２を有する。このヘッドユニット２０は、キャリッジ（図示せず）に取付けられており、キャリッジをキャリッジ移動方向に移動させるキャリッジ移動機構４０によって、キャリッジと共に移動する。
用紙搬送機構３０は、キャリッジ移動方向と交差する方向に用紙を搬送する。検出器群５０は、プリンタ１の状態を検出するためのものであり、例えば、キャリッジの位置を検出するリニア式エンコーダ、紙の搬送量を検出するロータリー式エンコーダ、及び用紙の有無を検出する紙検出器（何れも図示せず）等が含まれる。
【００２７】
プリンタ側コントローラ６０は、プリンタ１の制御を行うものであり、ＣＰＵ６２と、メモリ６４と、制御ユニット６８とを有する。ＣＰＵ６２は、プリンタ１の全体的な制御を行うための演算処理装置である。メモリ６４は、ＣＰＵ６２のプログラムを格納する領域や作業領域等を確保するためのものであり、ＲＡＭ、ＥＥＰＲＯＭ、ＲＯＭ等の記憶素子によって構成されている。そして、画像情報の復元時において、メモリ６４に復元画像情報が格納される。制御ユニット６８は、制御対象となる各部とＣＰＵ６２との間に配置され、ＣＰＵ６２からのコマンドに基づいてモータ用の駆動信号を生成したり、各部から送られてくる信号を、ＣＰＵ６２が解釈できる形態にして出力したりする。
【００２８】
通常、プリンタ１は、ホストコンピュータ１４０又はデジタルスチルカメラ１２０から印刷データを受信すると、印刷データに基づいて印刷処理を行う。すなわち、印刷データの受信後、プリンタ側コントローラ６０は、用紙搬送機構３０に印刷開始位置まで用紙を搬送させ、キャリッジ移動機構４０にキャリッジをキャリッジ移動方向に移動させ、キャリッジと共に移動するヘッドから印刷データに基づいてインクを吐出させる。そして、これらの動作が繰り返して行われると、用紙に画像が印刷される。
【００２９】
さらに、プリンタ１は、ユーザーが操作ボタン５を操作することにより、画像情報のバックアップ処理を行う。このバックアップ処理では、プリンタ側コントローラ６０は、カードスロット６に装着されたメモリカード１１０から画像情報を、ＣＤ−Ｒ装置１００に送出し、ＣＤ−Ｒに記憶させる。
さらにまた、デジタルスチルカメラ１２０は、カメラレンズ１２１によって被写体像がその後段に配設された固体撮像素子１２２に結像される。この固体撮像素子１２２は、固体撮像素子駆動回路１２３からの駆動信号によって光電変換を行い、その光電変換出力がカメラ系信号処理部１２４に供給され、このカメラ系信号処理部１２４で、サンプリング処理、ＡＧＣ処理を行った後にＡ／Ｄ変換処理によってデジタルデータに変換してからガンマ補正処理、エンコード処理等が行われて画像メモリ１２５に入力される。
【００３０】
画像メモリ１２５から読出された画像データが液晶ディスプレイ、有機ＥＬディスプレイ等で構成される表示器１３５に供給されると共に、記録系信号処理部１２６に出力され、この記録系信号処理部１２６でＪＰＥＧ変換等を行ってＤＲＡＭ、ＳＲＡＭ、フラッシュメモリ等で構成されるメモリカード１１０に記憶される。
一方、手振れ補正を行うために、デジタルスチルカメラ１２０の筐体に垂直方向及び水平方向のコリオリ力が発生したときにこれを検出する振れ量検出手段としての例えばジャイロセンサ（ジャイロスコープ）で構成される垂直方向及び水平方向角速度センサ１２８及び１２９が設けられ、これら垂直方向及び水平方向角速度センサ１２８及び１２９から出力される検出信号が帯域制限フィルタ１３０及び１３１に供給されて帯域制限された後、増幅器１３２及び１３３で増幅されてからＡ／Ｄ変換器１３４によって所定サンプリング周期でデジタル信号に変換されてバッファメモリ１３６に一時格納される。そして、バッファメモリ１３６に格納された垂直方向及び水平方向の角速度データがデジタルスチルカメラ１２０の制御を統括するマイクロコンピュータ１２７に読出される。
【００３１】
そして、マイクロコンピュータ１２７では、シャッタ開閉センサ１３７からのシャッタ開閉信号ＳＳが入力されたときに、このシャッタ開閉信号がシャッタ開状態となっている間及びその前後の所定時間のバッファメモリ１３６に格納されている垂直方向及び水平方向の角速度データを読込み、読込んだ角速度データを記録系信号処理部１２６が画像メモリ１２５から画像データを読込むタイミングで記録系信号処理部１２６に出力して、この記録系信号処理部１２６で画像データと共に信号処理してメモリカード１１０に記憶する。
【００３２】
すなわち、角速度センサ１２８及び１２９の各角速度データをサンプリング間隔Δｔ（例えば４０〜４００Ｈｚの範囲の任意の周波数）でサンプリングし、それをバッファメモリ１３６に時系列的に格納しておく、シャッタ開閉センサ１３７でシャッタが開かれる前の所定数のサンプルデータ、シャッタが開いてから閉じられるまでのサンプルデータ、シャッタが閉じられた後での所定数のサンプルのデータを使用して、角速度の変化を求める。その際、画像データは画像メモリ１２５に蓄積する。
【００３３】
そして、バッファメモリ１３６に蓄積された各角速度データを画像メモリ１２５に記憶した画像データと共に記録系信号処理部１２６で信号処理してメモリカード１１０に記憶する。
この記録系信号処理部１２６では、画像情報をＪＰＥＧ変換してＪＰＥＧ画像ファイルに記憶すると共に、そのＪＰＥＧ画像ファイルのＥｘｉｆ ＩＦＤ内の階層化されたユーザタグに各角速度データを記憶する。
【００３４】
また、デジタルスチルカメラ１２０は、メモリカード１１０に記憶した画像情報をプリンタ１やホストコンピュータ１４０に出力する画像データ出力部１３８を有し、この画像データ出力部１３８からＵＳＢ等の接続コードを介して画像情報を出力する。
また、前述したプリンタ１では、デジタルスチルカメラ１２０からの振れがある劣化画像情報が接続コードを介して第２インタフェース１４から直接入力されるか又はメモリカード１１０を介して入力されたときに、ユーザーが画像復元ボタン７を操作することにより、ウィーナフィルタを使用した画像復元処理を実行する。
【００３５】
ここで、画像復元の原理は、原画像から劣化画像が生じる画像劣化モデルを図３について説明すると、原画像ｆ（ｘ，ｙ）とし、劣化画像をｇ（ｘ，ｙ）とし、さらに点広がり関数をｈ（ｘ，ｙ）、ノイズをｎ（ｘ，ｙ）としたとき、これらの関係は図３に示すようになり、式で表すと下記（１）式となる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）＊ｈ（ｘ，ｙ）＋ｎ（ｘ，ｙ） …………（１）
但し、＊は畳み込みを表す。
【００３６】
そして、劣化画像ｇ（ｘ，ｙ）、原画像ｆ（ｘ，ｙ）、点広がり関数ｈ（ｘ，ｙ）及びノイズｎ（ｘ，ｙ）のフーリエ変換を夫々Ｇ（μ，ν）、Ｆ（μ，ν）、Ｈ（μ，ν）及びＮ（μ，ν）とすると、前記（１）式より
Ｇ（μ，ν）＝Ｆ（μ，ν）Ｈ（μ，ν）＋Ｎ（μ，ν） …………（２）
が得られる。
【００３７】
そして、ウィーナフィルタによる画像復元の周波数応答Ｂ（μ，ν）は、
Ｂ（μ，ν）＝Ｈ（μ，ν）*／｛Ｈ（μ，ν）Ｈ（μ，ν）*＋Γ ……（３）
と表すことができる。ここで、*は共役複素数、Γは近似定数を表す。
したがって、観測された画像のフーリエ変換Ｇ（μ，ν）に周波数応答Ｂ（μ，ν）を掛けた後、フーリエ逆変換すると復元画像を求めることができる。
【００３８】
そして、画像復元処理は、プリンタ側コントローラ６０内のＣＰＵ６２で実行され、図４に示すように、先ず、ステップＳ１で、振れが生じている劣化画像情報を読込み、次いでステップＳ２に移行して、劣化画像情報のＥｘｉｆ ＩＦＤ内の階層化されたユーザタグから各角速度データを取得する。
次いで、ステップＳ３に移行して、取得した各角速度データから振れ幅（ピクセル）を算出する。
【００３９】
この振れ量の算出は、デジタルスチルカメラ１２０のカメラレンズ１２１における光軸方位の変動状況を検出する角速度センサ２成分（角速度センサ１２８，１２９）は、図５に示すように、固体撮像素子１２２の平面内の直交ベクトル成分に対応するものである。これら２つの角速度成分は、図５に示すように、θｘ及びθｙの変数で表される。
この角度成分に補正係数λｘ及びλｙを乗算することにより、画像のｘ軸方向或いはｙ軸方向の振れ量（ピクセル）を求めることができる。
【００４０】
ここで、画像のＸ方向の振れ量ｘnはθｙ×λｘ、画像のｙ方向の振れ量ｙnはθｘ×λｙとなる。この場合の角速度センサ１２８，１２９より求めた振れ幅（ｘn，ｙn）（ｎ＝１，２，……Ｎ）の変化の様子は図６（ａ）に示すようになる。
次いで、ステップＳ４に移行して、算出した隣接する振れ幅（ｘn，ｙn）及び（ｘn+1，ｙn+1）間の最大変化量が大きいか否かを判定し、変化量が小さいときには直接ステップＳ６に移行するが、変化量が大きいときにはステップＳ５に移行して、振れ幅（ｘn，ｙn）を例えばキュービックスプライン処理を行うことによりスプライン補間して振れ幅（ｘm，ｙm）を算出してからステップＳ６に移行する。
【００４１】
このステップＳ６では、変化量の小さい振れ幅（ｘn，ｙn）又はスプライン補間した振れ幅（ｘm，ｙm）に対してガウスフィルタ処理を行う。このガウスフィルタ処理は、下記（４）式で表される２次元のガウス関数ｆ（ｘ，ｙ）を畳み込むことにより、振れ幅（ｘn，ｙn）又は（ｘm，ｙm）を平滑化する。
ｆ（ｘ，ｙ）＝ｅ−（ｘ2＋ｙ2）／２σ2 …………（４）
この場合のガウス分布は図７（ａ）に示すようになり、図７（ａ）の矢印で示した断面におけるガウス分布断面図は図７（ｂ）で表される。
【００４２】
次いで、ステップＳ７に移行して、平滑化された振れ量からウィーナフィルタの点広がり関数を推定する点広がり関数推定処理を行う。
この点広がり関数推定処理は、振れ幅（ｘ1，ｙ1），（ｘ2，ｙ2），……（ｘN，ｙN）が与えられたとき、劣化画像ｇ（ｘ，ｙ）は次式で示されるように、原画像ｆ（ｘ，ｙ）を（ｘn，ｙn）（ｎ＝１，２，……Ｎ）画素だけ移動した画像の和により得られる。
【００４３】
【数２】
このとき、劣化画像のフーリエスペクトルに注目すると、
【００４４】
【数３】
これにより、点広がり関数のフーリエスペクトルＨ（μ，ν）は
【００４５】
【数４】
となる。
【００４６】
次いで、ステップＳ８に移行して、点広がり関数のフーリエスペクトルＨ（μ，ν）とその共役複素数Ｈ（μ，ν）*と所定数の異なる近似定数Γ1〜ΓNとに基づいて所定数Ｎ個のウィーナフィルタの周波数応答ＢΓ（μ，ν）を算出する。
【００４７】
次いで、ステップＳ９に移行して、復元対象となる劣化画像情報（例えば２３０４×１７２８画素）から予め設定した幅ｗ（例えば８０画素）,高さｈ（例えば６０画素）のサイズの局所領域画像情報ｇs（ｘ，ｙ）（（ｗ×ｈ）画素）を含みこれに幅ｐ（例えば２０画素）及び高さｑ（例えば２０画素）を加算したサイズの拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を切り出す。ここで、拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）の幅ｐ及び高さｑは、撮像装置となるデジタルスチルカメラ１２０の最大振れ幅によって設定され、最大振れ幅が１０画素であるときに余裕をみて幅ｐ及び高さｑを夫々２０画素に設定する。なお、幅ｐ及び高さｑは異なる値に設定するようにしてもよい。
【００４８】
次いで、ステップＳ１０に移行して、拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を離散フーリエ変換（Discrete Fourier Transform;DFT）して空間周波数領域情報Ｇl（ｘ，ｙ）に変換する。
次いで、ステップＳ１１に移行して、算出した空間周波数領域情報Ｇl（ｘ，ｙ）に所定数のウィーナフィルタの周波数応答ＢΓ（ｘ，ｙ）を個別に掛けることにより、所定数の空間周波数領域復元情報Ｆ＾Γl（μ，ν）を算出する。
【００４９】
次いで、ステップＳ１２に移行して、算出した所定数の周波数領域復元情報Ｆ＾Γl（μ，ν）を逆離散フーリエ変換（ＩＤＦＴ）を行って所定数の拡大局所領域復元画像情報ｆ＾Γl（ｘ，ｙ）を算出する。
次いで、ステップＳ１３に移行して、算出した各拡大局所領域復元画像情報ｆ＾Γl（ｘ，ｙ）の中央部から個別に前述した局所領域ｇs（ｘ，ｙ）と同一サイズの局所領域復元画像情報ｆ＾Γs（ｘ，ｙ）を切り出す。
【００５０】
次いで、ステップＳ１４に移行して、切り出した所定数の局所領域復元画像情報ｆ＾Γs（ｘ，ｙ）と劣化画像情報ｇ（ｘ，ｙ）から切り出した局所領域復元画像情報ｆs（ｘ，ｙ）から下式によって所定数の平均二乗誤差ＤΓを算出する。
【００５１】
【数５】
【００５２】
次いで、ステップＳ１５に移行して、算出した所定数の平均二乗誤差ＤΓのうちから最小の平均二乗誤差ＤΓを選択し、この最小の平均二乗誤差ＤΓの局所領域復元画像情報ｆ＾Γs（ｘ，ｙ）における輝度値を切り出した局所領域画像情報ｇs（ｘ，ｙ）における復元画像の輝度値の推定値とする。
【００５３】
次いで、ステップＳ１６に移行して、劣化画像情報ｇ（ｘ，ｙ）の全ての局所領域について前述したステップＳ９〜Ｓ１５の輝度値の推定が終了したか否かを判定し、全ての局所領域についての輝度値の推定が終了していないときには、ステップＳ１７に移行して、次に切り出す拡大局所領域を指定してから前記ステップＳ９に戻り、全ての局所領域について輝度値の推定が終了したときにはステップＳ１８に移行して、全ての局所領域で推定した輝度値の復元画像ｆ＾Γ（ｘ，ｙ）をメモリカード１１０に記憶すると共に、液晶表示器３に表示してから画像復元処理を終了する。
【００５４】
この図４の処理において、ステップＳ１〜ステップＳ７の処理が点広がり関数推定手段に対応し、ステップＳ８〜ステップＳ１８の処理が画像復元手段に対応し、ステップＳ９の処理が画像切り出し手段に対応し、ステップＳ１０〜ステップＳ１３の処理が復元画像生成手段に対応し、ステップＳ１４及びＳ１５の処理が復元画像選択手段に対応している。
【００５５】
次に、上記実施形態の動作を説明する。
先ず、デジタルスチルカメラ１２０のカメラレンズ１２１を被写体に向けて図示しないレリーズボタンを押圧することにより、露出計で測光された露出に基づいてシャッタ速度が算出され、算出されたシャッタ速度でシャッタが作動されることにより、カメラレンズ１２１を通った画像が固体撮像素子１２２上に投影される。
【００５６】
この固体撮像素子１２２上に投影された画像情報が固体撮像素子駆動回路１２３からの駆動信号によって順次読出され、カメラ系信号処理部１２４で所定の信号処理が行われて画像データとして画像メモリ１２５に記憶される。この画像メモリ１２５に記憶された画像データは表示器１３５に供給されて表示される。この表示器１３５に表示された画像データは振れ量を含んだ画像データであり、表示された画像データから振れ量の程度を判断することができる。
【００５７】
このとき、シャッタが作動されることにより、シャッタ開閉センサ１３７からシャッタが開いてから閉じるときにオン状態からオフ状態に反転するシャッタ開閉信号ＳＳがマイクロコンピュータ１２７に入力されると、この時点から所定時間即ちＡ／Ｄ変換器１３４で角速度センサ１２８及び１２９の角速度データを予め設定した所定数のサンプル分の角速度データがバッファメモリ１３６に格納される時間が経過した時点で、バッファメモリ１３６からシャッタが開状態となる前の所定数のサンプル分とシャッタが開状態を継続している間のサンプル分とシャッタが閉じてからの所定数のサンプル分とを合計した連続的な角速度データθｘ1〜θｘN及びθｙ1〜θｙNを読出す。
【００５８】
そして、読出した角速度データθｘ0〜θｘN及びθｙ1〜θｙNをバッファメモリ１３６に一時記憶し、その後記録系信号処理部１２６が画像メモリ１２５に記憶された画像データを読込むタイミングで角速度データθｘ0〜θｘN及びθｙ1〜θｙNを記録系信号処理部１２６に供給することにより、画像データＪＰＥＧ変換してＪＰＥＧファイルに格納する共に、ＪＰＥＧファイルのＥｘｉｆに角速度データθｘ0〜θｘN及びθｙ1〜θｙNを格納し、作成したＪＰＥＧファイルをメモリカード１１０に記憶する。
【００５９】
このようにして順次デジタルスチルカメラ１２０で所望の被写体を撮影して画像データ及び角速度データθｘ0〜θｘN及びθｙ1〜θｙNをＪＰＥＧファイルに格納してメモリカード１１０に記憶する。
その後、所望のタイミングでデジタルスチルカメラ１２０を接続コードでプリンタ１の第２インタフェース１４に接続するか又はデジタルスチルカメラ１２０からメモリカード１１０を引き出して、このメモリカード１１０をプリンタのカードスロット６に装着することにより、メモリカード１１０に記憶されている撮影した画像情報及び角速度データを含むＪＰＥＧファイルを、制御ユニット６８を介してＣＰＵ６２に読込む。
【００６０】
そして、デジタルスチルカメラ１２０で同一被写体を撮影したときに、振れを生じると、図８に示すようにぼけとノイズが生じた劣化画像ｇ（ｘ，ｙ）となる。この劣化画像では、ウィーナフィルタで復元画像を生成したときに、輝度変化の大きいエッジ部の近傍の平坦部でリンギングを生じ易くなる。
このため、劣化画像情報をプリンタ１に読込んだ状態で、ユーザーが画像復元ボタン７を操作すると、ＣＰＵ６２で、図４に示す画像復元処理が実行される。
【００６１】
この画像復元処理では、先ず、デジタルスチルカメラ１２０又はメモリカード１１０から劣化画像情報及び角速度データθｘ1〜θｘN及びθｙ1〜θｙNを含むＪＰＥＧファイルを読込み（ステップＳ１）、次いでＪＰＥＧファイルのＥｘｉｆから角速度データθｘ1〜θｘN及びθｙ1〜θｙNを取得する（ステップＳ２）。
次いで、角速度データθｘ1〜θｘN及びθｙ1〜θｙNから振れ幅（ｘn，ｙn）を算出し（ステップＳ３）、次いで隣接する振れ幅（ｘn，ｙn）及び（ｘn+1，ｙn+1）間の最大変化量が大きいか否かを判定する（ステップＳ４）。
【００６２】
このとき、隣接する振れ幅（ｘn，ｙn）及び（ｘn+1，ｙn+1）間の最大変化量が小さいときには振れ幅（ｘ1，ｙ1）〜（ｘN，ｙN）の夫々についてガウスフィルタ処理を行って平滑化するが（ステップＳ６）、図６（ａ）に示すように、隣接する振れ幅（ｘn，ｙn）及び（ｘn+1，ｙn+1）間の最大変化量が大きいときには振れ幅（ｘ1，ｙ1）〜（ｘN，ｙN）に対してキュービックスプライン処理することにより（ステップＳ５）、図６（ｂ）に示すように、スプライン補間してより多くの振れ幅を得、これをガウスフィルタ処理することにより平滑化する（ステップＳ６）。
【００６３】
そして、劣化画像情報ｇ（ｘ，ｙ）は原画像ｆ（ｘ，ｙ）を振れ幅（ｘn，ｙn）だけ移動した画像の和により得られることから、平滑化された振れ幅（ｘ1，ｙ1）〜（ｘN，ｙN）から前記（７）式の演算を行って点広がり関数のフーリエスペクトルＨ（μ，ν）を算出する。算出した点広がり関数のフーリエスペクトルＨ（μ，ν）はスプライン補間した図６（ｂ）の振れ幅（ｘ1，ｙ1）〜（ｘN，ｙN）を使用した場合、図９に示すようになる。
【００６４】
そして、点広がり関数のフーリエスペクトルＨ（μ，ν）が算出されると、算出した点広がり関数のフーリエスペクトルＨ（μ，ν）とその共役複素数Ｈ（μ，ν）*と所定数の異なる値の所定数Ｎ（＝１０）の近似定数Γ（＝０．２５，０．５，……１．０）を使用して、前述した（３）式の演算を行うことにより、図１０の処理２に示すように所定数のウィーナフィルタの周波数応答ＢΓ=0.25（μ，ν）、ＢΓ=0.5（μ，ν）、……ＢΓ=1.0（μ，ν）を算出する（ステップＳ８）。
【００６５】
次いで、図８及び図１０の処理１に示すように、劣化画像情報ｇ（ｘ，ｙ）から局所領域画像情報ｇs（ｘ，ｙ）（ｗ×ｈ）画素）を中央部に含む最初の拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を切り出す（ステップＳ９）。
次いで、図１１に示すように、切り出した拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を、離散フーリエ変換して空間周波数領域情報Ｇl（ｘ，ｙ）に変換し（ステップＳ１０）、変換した空間周波数領域情報Ｇl（ｘ，ｙ）に前記ステップＳ８で算出した所定数のウィーナフィルタの周波数応答ＢΓ=0.25（μ，ν）、ＢΓ=0.5（μ，ν）、……ＢΓ=1.0（μ，ν）を個別に掛けることにより、図１０の処理２に示すように、所定数の空間周波数領域復元画像Ｆ＾lΓ=0.25〜Ｆ＾lΓ=1.0を算出する（ステップＳ１１）。
【００６６】
次いで、算出した各空間周波数領域復元画像Ｆ＾lΓ=0.25〜Ｆ＾lΓ=1.0を逆離散フーリエ変換することにより、図１０の処理３に示すように拡大局所領域復元情報ｆ＾lΓ=0.25〜Ｆ＾lΓ=1.0を算出する（ステップＳ１２）。
次いで、図１０に示すように、算出した拡大局所領域復元情報ｆ＾lΓ=0.25〜Ｆ＾lΓ=1.0の中央部から個別に局所領域ｇs（ｘ，ｙ）と同一サイズの局所領域復元画像情報ｆ＾sΓ=0.25（ｘ，ｙ）〜ｆ＾sΓ=1.0（ｘ，ｙ）を切り出す（ステップＳ１３）。
【００６７】
次いで、図１０に示すように、切り出した局所領域復元画像情報ｆ＾sΓ=0.25（ｘ，ｙ）〜ｆ＾sΓ=1.0（ｘ，ｙ）とステップＳ９で切り出した局所領域画像情報ｇ＾s（ｘ，ｙ）との平均二乗誤差ＤΓ=0.25〜ＤΓ=1.0を算出し（ステップＳ１４）、算出した平均二乗誤差ＤΓ=0.25〜ＤΓ=1.0のうちから最小の平均二乗誤差ＤΓを選択し、選択した最小の平均二乗誤差ＤΓの局所領域復元画像情報ｆ＾sΓ（ｘ，ｙ）における輝度値を切り出した局所領域画像情報ｇs（ｘ，ｙ）における復元画像の輝度値の推定値とする。
【００６８】
このようにして、切り出した局所領域画像情報ｇs（ｘ，ｙ）における復元画像の輝度値の推定値が求まると、次いで劣化画像情報ｇ（ｘ，ｙ）の全ての局所領域画像情報ｇs（ｘ，ｙ）における輝度値の推定が終了したか否かを判定し（ステップＳ１６）、全ての局所領域画像情報ｇs（ｘ，ｙ）における輝度値の推定が終了していないときには、次に切り出す拡大局所領域を指定してから再度上記と同様の局所領域画像復元処理を行ない、全ての局所領域画像情報ｇs（ｘ，ｙ）における輝度値の推定が終了したときには、全ての局所領域で推定した輝度値の復元画像ｆ＾Γ（ｘ，ｙ）をメモリカード１１０に記憶すると共に、液晶表示器３に表示してから画像復元処理を終了する。
【００６９】
このように上記実施形態によると、角速度データに基づいてウィーナフィルタの点広がり関数のフーリエスペクトラムＨ（μ，ν）を算出し、この点広がり関数のフーリエスペクトルとその共役複素数Ｈ（μ，ν）*と所定数の異なる近似定数Γ1〜ΓNとに基づいてウィーナフィルタの周波数応答Ｂ（μ，ν）を算出すると共に、劣化画像情報ｇ（ｘ，ｙ）から拡大局所領域画像情報ｇl（ｘ，ｙ）を順次切り出し、これら拡大局所領域画像情報ｇl（ｘ，ｙ）を離散フーリエ変換した空間周波数領域画像情報Ｇl（ｘ，ｙ）に所定数のウィーナフィルタの周波数応答ＢΓ（μ，ν）を個別に掛けて所定数の空間周波数領域復元画像情報Ｆ＾l（ｘ，ｙ）を算出し、これらを逆離散フーリエ変換して拡大局所領域復元画像情報とし、この拡大局所領域復元画像情報から中央部の局所領域復元画像情報を切り出し、これら局所領域復元画像情報と局所領域画像情報との最小二乗誤差ＤΓが最小となる局所領域復元画像情報を選択して、選択した局所領域復元画像情報の輝度値を局所領域画像情報の輝度値として推定し、この局所領域画像情報の推定処理を繰り返すことにより、劣化画像情報の復元画像情報を生成するので、劣化画像情報を局所領域毎にウィーナフィルタの近似定数Γを最適に設定することができ、リンギングを抑制しながらぼけの成分をそのまま残すことなく、鮮明な復元画像情報を得ることができる。
【００７０】
ここで、角速度データから点広がり関数のフーリエスペクトルＨ（μ，ν）を算出する際に、角速度データの隣接する振れ幅の変化量が大きいときに、スプライン補間処理することにより、より多くの角速度データを得ることができ、正確な点広がり関数のフーリエスペクトルを算出することができる。しかも、そのままの振れ幅又はスプライン補間した振れ幅をガウスフィルタ処理して平滑化することにより、より正確な点広がり関数のフーリエスペクトルＨ（μ，ν）を算出することができる。
【００７１】
また、劣化画像情報ｇ（ｘ，ｙ）から局所領域画像情報ｇs（ｘ，ｙ）（（ｗ×ｈ）画素）を抽出する際に、この局所領域画像情報ｇs（ｘ，ｙ）（（ｗ×ｈ）画素）に対して撮像装置としてのデジタルスチルカメラ１２０の最大振れ幅を考慮した拡大局所領域画像情報ｇl（ｘ，ｙ）（（ｗ＋ｐ）×（ｈ＋ｑ）画素）を切り出すようにしているので、デジタルスチルカメラ１２０の振れ幅による折り返しの影響を受けることなく、画像抽出を行うことができ、後に得られる復元画像を正確に復元することができる。
【００７２】
なお、上記実施形態においては、本発明をプリンタに適用した場合について説明したが、これに限定されるものではなく、デジタルスチルカメラ１２０を含む撮像装置や画像情報を再生するプロジェクタやテレビ等の表示装置に本発明を適用して劣化画像情報を復元して表示したり、コンピュータに本発明を適用して劣化画像情報を復元して表示したりすることができる。
【００７３】
また、上記実施形態では、角速度データを直接ＪＰＥＧファイルのＥｘｉｆに格納する場合について説明したが、これに限定されるものではなく、角速度データをｎ次の多項式に近似して、各次数の係数を記憶することにより、記憶容量を減少させるようにしてもよい。
さらに、上記実施形態においては、撮像装置としてデジタルスチルカメラ１２０を適用した場合について説明したが、これに限定されるものではなく、他の撮像装置を適用することもできる。また、劣化画像情報の入力もデジタルスチルカメラ１２０から入力される場合に限られるものではなく、ホストコンピュータから劣化画像を入力したり、ＣＤ−Ｒ、ＤＶＤ等の記録媒体から劣化画像を入力したりするようにしてもよい。
【００７４】
さらにまた、上記実施形態においては、振れ幅（ｘn，ｙn）に対してガウスフィルタ処理する場合について説明したが、これに限定されるものではなく、ガウスフィルタ処理を省略するようにしてもよい。
【図面の簡単な説明】
【００７５】
【図１】本発明の一実施形態を示す概略構成図である。
【図２】デジタルスチルカメラの電気的構成を示すブロック図である。
【図３】画像劣化モデルを示す説明図である。
【図４】ＣＰＵで実行する画像復元処理手順の一例を示すフローチャートである。
【図５】デジタルスチルカメラに生じる角速度の説明に供する模式図である。
【図６】角速度データを示す特性線図であって、（ａ）は角速度データであり、（ｂ）はスプライン補間した角速度データである。
【図７】ガウス分布を示す説明図であって、（ａ）はガウス分布特性図、（ｂ）は（ａ）の矢印上のガウス分布断面図である。
【図８】劣化画像情報を示す説明図である。
【図９】点広がり関数のフーリエスペクトルを示す特性線図である。
【図１０】劣化画像情報を復元するための処理手順を示す説明図である。
【図１１】局所画像情報を離散フーリエ変換して空間周波数領域情報を得ることを示す説明図である。
【符号の説明】
【００７６】
１…プリンタ、５…操作ボタン、６…カードスロット、７…画像復元ボタン、２０…ヘッドユニット、３０…用紙搬送機構、４０…キャリッジ移動機構、５０…検出器群、６０…プリンタ側コントローラ、６２…ＣＰＵ、１００…ＣＤ−Ｒ装置、１１０…メモリカード、１２０…デジタルスチルカメラ、１２１…カメラレンズ、１２２…固体撮像素子、１２４…カメラ系信号処理部、１２５…画像メモリ、１２６…記録系信号処理部、１２７…マイクロコンピュータ、１２８，１２９…角速度センサ、１３４…Ａ／Ｄ変換器、１３５…表示器、１３６…バッファメモリ、１３７…シャッタ開閉センサ、１４０…ホストコンピュータ
【特許請求の範囲】
【請求項１】
撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置であって、
前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定手段と、前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元手段とを有することを特徴とする画像復元装置。
【請求項２】
前記振れ検出情報は撮像装置の上下及び左右の振れを検出する角速度センサの出力情報であることを特徴とする請求項１に記載の画像復元装置。
【請求項３】
前記点広がり関数推定手段は、前記振れ検出情報から点広がり関数のフーリエスペクトルを算出するように構成されていることを特徴とする請求項１又は２に記載の画像復元装置。
【請求項４】
前記点広がり関数推定手段は、前記振れ検出情報の振れ幅が大きいときに当該触れ検出情報をスプライン補間処理することを特徴とする請求項１乃至３の何れか１項に記載の画像復元装置。
【請求項５】
前記点広がり関数推定手段は、前記振れ検出情報をガウスフィルタ処理することを特徴とする請求項１乃至４の何れか１項に記載の画像復元装置。
【請求項６】
前記画像復元手段は、前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出し手段と、該画像情報切り出し手段で切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出手段と、該復元結果算出手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成手段と、該復元画像生成手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択手段とを有することを特徴とする請求項１乃至５の何れか１項に記載の画像復元装置。
【請求項７】
前記画像情報切り出し手段は、前記局所画像領域を含む拡大局所画像情報を切り出すように構成され、前記復元画像生成手段は、フーリエ逆変換した前記復元結果算出手段で算出した復元結果から前記局所画像領域を切り出して前記局所領域復元画像情報を生成するように構成されていることを特徴とする請求項６に記載の画像復元装置。
【請求項８】
前記復元結果算出手段は、前記点広がり関数推定手段で算出した点広がり関数のフーリエスペクトルと、当該フーリエスペクトルの共役複素数と、前記近似定数Γとから周波数応答を算出するように構成されていることを特徴とする請求項６又は７の何れか１項に記載の画像復元装置。
【請求項９】
撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元方法であって、
点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとを有することを特徴とする画像復元方法。
【請求項１０】
前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴とする請求項９に記載の画像復元方法。
【請求項１１】
撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元処理をコンピュータに実行させるための画像復元プログラムであって、
点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとをコンピュータに実行させることを特徴とする画像復元プログラム。
【請求項１２】
前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴とする請求項１１に記載の画像復元プログラム。
【請求項１】
撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元装置であって、
前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定手段と、前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元手段とを有することを特徴とする画像復元装置。
【請求項２】
前記振れ検出情報は撮像装置の上下及び左右の振れを検出する角速度センサの出力情報であることを特徴とする請求項１に記載の画像復元装置。
【請求項３】
前記点広がり関数推定手段は、前記振れ検出情報から点広がり関数のフーリエスペクトルを算出するように構成されていることを特徴とする請求項１又は２に記載の画像復元装置。
【請求項４】
前記点広がり関数推定手段は、前記振れ検出情報の振れ幅が大きいときに当該触れ検出情報をスプライン補間処理することを特徴とする請求項１乃至３の何れか１項に記載の画像復元装置。
【請求項５】
前記点広がり関数推定手段は、前記振れ検出情報をガウスフィルタ処理することを特徴とする請求項１乃至４の何れか１項に記載の画像復元装置。
【請求項６】
前記画像復元手段は、前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出し手段と、該画像情報切り出し手段で切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出手段と、該復元結果算出手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成手段と、該復元画像生成手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択手段とを有することを特徴とする請求項１乃至５の何れか１項に記載の画像復元装置。
【請求項７】
前記画像情報切り出し手段は、前記局所画像領域を含む拡大局所画像情報を切り出すように構成され、前記復元画像生成手段は、フーリエ逆変換した前記復元結果算出手段で算出した復元結果から前記局所画像領域を切り出して前記局所領域復元画像情報を生成するように構成されていることを特徴とする請求項６に記載の画像復元装置。
【請求項８】
前記復元結果算出手段は、前記点広がり関数推定手段で算出した点広がり関数のフーリエスペクトルと、当該フーリエスペクトルの共役複素数と、前記近似定数Γとから周波数応答を算出するように構成されていることを特徴とする請求項６又は７の何れか１項に記載の画像復元装置。
【請求項９】
撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元方法であって、
点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとを有することを特徴とする画像復元方法。
【請求項１０】
前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した前記点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴とする請求項９に記載の画像復元方法。
【請求項１１】
撮像装置から得られる画像の振れを表す振れ検出情報を含む劣化画像情報を、ウィーナフィルタを使用して原画像情報を復元する画像復元処理をコンピュータに実行させるための画像復元プログラムであって、
点広がり関数推定手段によって前記劣化画像情報に含まれる前記振れ検出情報に基づいて前記ウィーナフィルタの点広がり関数を推定する点広がり関数推定ステップと、画像復元手段によって前記劣化画像情報から切り出した局所領域画像情報毎に前記点広がり関数と最適な近似定数とに基づいて算出される前記ウィーナフィルタの周波数応答に基づいて局所領域復元画像情報を生成する画像復元ステップとをコンピュータに実行させることを特徴とする画像復元プログラム。
【請求項１２】
前記画像復元ステップは、画像情報切り出し手段で前記劣化画像情報から局所領域画像情報を切り出す画像情報切り出しステップと、復元結果算出手段で前記画像情報切り出しステップによって切り出した前記局所領域画像情報をフーリエ変換した空間周波数領域情報に、前記点広がり関数推定手段で推定した点広がり関数と所定数の異なる近似定数Γとに基づいて算出されたウィーナフィルタの周波数応答を掛けて所定数の復元結果を算出する復元結果算出ステップと、復元画像生成手段で算出した所定数の前記復元結果をフーリエ逆変換して所定数の局所領域復元画像情報を生成する復元画像生成ステップと、復元画像選択手段で復元した所定数の前記局所領域復元画像情報と前記局所領域画像情報との平均二乗誤差が最小となる前記局所領域復元画像情報を選択する復元画像選択ステップとを備えていることを特徴とする請求項１１に記載の画像復元プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００８−１６５６５７（Ｐ２００８−１６５６５７Ａ）
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願番号】特願２００６−３５６７７８（Ｐ２００６−３５６７７８）
【出願日】平成１８年１２月２９日（２００６．１２．２９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
【公開日】平成２０年７月１７日（２００８．７．１７）
【国際特許分類】
【出願日】平成１８年１２月２９日（２００６．１２．２９）
【出願人】（０００００２３６９）セイコーエプソン株式会社 (51,324)
【Ｆターム（参考）】
[ Back to top ]