画像復元装置および画像復元方法
【課題】画像復元性能を向上できるシンプルで実用的な画像復元装置を提供する。
【解決手段】画像復元装置は、時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算部と、時刻ｎのみの劣化画像情報に対して、前記相関演算部によって算出された相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出部と、時刻ｎのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出部とを有する。
【解決手段】画像復元装置は、時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算部と、時刻ｎのみの劣化画像情報に対して、前記相関演算部によって算出された相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出部と、時刻ｎのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出部とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復元装置および画像復元方法に関する。
【背景技術】
【０００２】
近年、画像工学の分野において、劣化した画像から原画像を復元する技術の研究開発が多くなされている。すなわち、原画像（所望情報、クリアな画像）に不必要な情報（ぼけと雑音）が混在した劣化画像（受信情報）から不必要な情報（ぼけと雑音）を取り除き、原画像（所望情報）のみを抽出することは、画像復元の分野において必要不可欠な技術であり、近年盛んに研究開発が行われている。例えば、デジタルカメラ（デジタルスチルカメラおよびデジタルビデオカメラの総称）や携帯電話などで撮影された画像は、手ぶれや焦点ずれなどに起因する「ぼけ」と、暗電流や熱雑音などに起因するガウス性またはインパルス性の「雑音」との影響から、実物と比較して画質が劣化することは避けられない。「画像復元」とは、このように劣化した画像からできるだけ原画像に近い画像を復元することである。
【０００３】
現在一般に市場で普及している画像復元技術の多くは、例えば、手ぶれ補正や顔認識、色補正、様々なフィルタなどを用いて、予めぼけと雑音の影響を軽減させる予防的な技術が主流となっている。この結果、近年、特にデジタルカメラの分野では、デジタルカメラの多機能化・高性能化により鮮明な画像が気軽に手に入れられるようになってきている。
【０００４】
しかし、これらの予防的な技術は、何度も画像を撮り直せる状況下では問題ないが、古文書などの既に劣化している画像や、スポーツや医療などの分野における瞬間的に変化する画像など、撮り直しが許されない画像に対する復元は、いまだ困難な問題である。ここで、スポーツと医療の分野における瞬間的に変化する画像は、例えば、選手の瞬間的な動作や、肺や心臓などの臓器の瞬間的な様子などである。したがって、今日、特に、撮り直しが許されない状況下における画像復元の重要性が高まってきている。
【０００５】
撮り直しが許されない状況下における従来の画像復元技術として、ウィナーフィルタ（Wiener Filter）を用いた画像復元手法が広く知られている（非特許文献１、非特許文献２）。この手法は、フィルタを通して得られる復元画像と原画像との平均２乗誤差を最小にするフィルタであって、最小２乗フィルタとも呼ばれている。この手法は、周波数領域で処理を行うため、確率過程の定常性と半無限長の画像のサイズとを前提にした画像復元手法である。
【０００６】
また、他の画像復元技術として、射影フィルタを用いた画像復元手法も知られている（非特許文献３、非特許文献４）。射影フィルタは、原画像と復元画像との近さを直接原画像の空間で評価しており、復元画像の雑音の画像成分が個々の原画像の最良近似、つまり、個々の原画像の正射影となるものの中で、復元画像の雑音成分の２乗平均を最小にするものである。また、この性質から、射影フィルタは、出現頻度に無関係に、最良近似画像を復元する手法である。
【０００７】
また、さらに他の画像復元技術として、カルマンフィルタ（Kalman Filter）を用いた画像復元手法も知られている（非特許文献５、非特許文献６）。この手法は、まずステップ１で、劣化画像を用いて原画像のＡＲ（Auto Regressive：自己回帰）システムのパラメータ（以下「ＡＲ係数」という）を推定した後、ステップ２で、ステップ１で推定したＡＲ係数を用いて状態空間モデル（状態方程式と観測方程式）を構成し、これにカルマンフィルタ理論（カルマンフィルタアルゴリズム）を適用することによって、高性能な画像復元を実現している。さらには、このような２段階処理を行うカルマンフィルタを２次元カルマンフィルタに拡張した画像復元手法も知られている（非特許文献７、非特許文献８）。この手法は、２次元に拡張した状態空間モデルを用いて、劣化画像を復元するカルマンフィルタを実現している。なお、非特許文献７および非特許文献８に示す２次元カルマンフィルタと区別するため、適宜、非特許文献５および非特許文献６に示すカルマンフィルタを「１次元カルマンフィルタ」と称する。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】西宮亮平、外１名、「複数のウィーナーフィルタによる画像復元」（Image Restoration by Using Multiple Wiener Filters）、電子情報通信学会論文誌、Ａ、Ｖｏｌ．Ｊ８３−Ａ、Ｎｏ．７、ｐｐ．８９２−９０２、２０００年７月
【非特許文献２】山根延元、外３名、「画像の局所定常ガウス混合モデルに基づく適応的ウィーナーフィルタを用いた最適雑音除去」（An Optimal Noise Removal Using Adaptive Wiener Filter Based on Locally Stationary Gaussian Mixture Distribution Model for Images）、電子情報通信学会論文誌、Ａ、Ｖｏｌ．Ｊ８５−Ａ、Ｎｏ．９、ｐｐ．９９３−１００４、２００２年９月
【非特許文献３】小川 英光 、外１名、「部分射影フィルタの諸性質」（Properties of Partial Projection Filter）、電子情報通信学会論文誌、Ａ、Ｖｏｌ．Ｊ７１−Ａ、Ｎｏ．２、ｐｐ．５２７−５３４、１９８８年２月
【非特許文献４】小出 裕司、外２名、「信号・画像推定のための射影フィルタ族の統一理論」（A Unified Theory of the Family of Projection Filters for Signal and Image Estimation）、電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ、Ｎｏ．７、ｐｐ．１２９３−１３０１、１９９４年７月
【非特許文献５】城崇、外２名、「カルマンフィルタによる高精度画像復元のための画像のモデリングとパラメータ推定」（Image Modeling and Parameter Identification for Image Restoration Using a Kalman Filter）、電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．２９１２−２９１９、１９９７年１１月
【非特許文献６】松村淳、外２名、「効果的な雑音除去のための適応的な画像のモデル化によるカルマンフィルタ」（A Kalman Filter Using Adaptive Image Modeling for Noise Reduction）、電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．Ｊ８６−Ｄ−ＩＩ、Ｎｏ．２、ｐｐ．２１２−２２２、２００３年２月
【非特許文献７】Mahmood R Azimi-Sadjadi and Ping Wong, "Two-Dimensional Block Kalman Filtering for Image Restoration," IEEE Trans. On Signal Process, vol.ASSP-35, no.12, Dec. 1987
【非特許文献８】Stuart Citrin and Mahmood R. Azimi-Sadjadi, "A Full-Plane Block Kalman Filter for Image Restoration," IEEE Trans. on Image Processing, vol.1, no.4, Oct. 1992
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、ウィナーフィルタを用いた画像復元手法は、画像の劣化状態によらず復元が可能であるという利点を有する反面、非定常性（画像の分散が変化していること）が強い自然画像（加工されていない撮影されたままの画像）に対する復元精度が低いという欠点がある。
【００１０】
すなわち、ウィナーフィルタを用いた画像復元手法は、上記のように、周波数領域で処理を行うため、確率過程の定常性と半無限長の画像のサイズとを前提にしているが、現実には、実環境においてこの前提条件が成り立つことは困難であるため、適切に復元されない場合が存在する（自然画像の非定常性の問題）。また、この手法は、最小２乗誤差を評価量とした一括処理であるため、復元画像にぼけが残るという問題が生じる可能性もある（評価量の問題）。
【００１１】
具体的には、ウィナーフィルタを用いた画像復元手法では、画像の出現頻度が低くなると、復元精度が低下する、つまり、画像においては、出現頻度が低いエッジ部分の復元に影響するという問題がある。換言すれば、例えば、カメラで撮影された画像は、エッジ部分が多く非定常性が強いため、特にエッジ部分において最適に復元できないという問題がある。ただし、階調や色などが変化していない、つまり、画像の分散が変化していない、単調な背景部分などは、定常性が強いため、通常、良好な復元精度を得ることができる。
【００１２】
また、カルマンフィルタを用いた画像復元手法は、ウィナーフィルタを用いた画像復元手法の問題点（自然画像の非定常性の問題と評価量の問題）を解決するための手法であって、ウィナーフィルタを用いた画像復元手法の問題点を解決可能であるという利点を有する反面、処理対象画像（観測画像・劣化画像）にぼけに基づく劣化があると、復元精度が低いという問題がある。
【００１３】
すなわち、カルマンフィルタを用いた画像復元手法は、ステップ１で、注目画素とその周囲の画素との相関を考慮すべく、前処理として注目画素とその周囲の画素に対して原画像のＡＲ係数を推定した後、ステップ２で、ステップ１で推定したＡＲ係数を用いて状態空間モデル（状態方程式と観測方程式）を構成し、具体的には、ステップ１で推定したＡＲ係数と原画像から状態方程式を構成し、原画像とぼけ関数と雑音から観測方程式を構成することにより、カルマンフィルタ理論（カルマンフィルタアルゴリズム）を用いて画像を復元している。したがって、カルマンフィルタを用いた画像復元手法は、定常性を前提としない時間領域のみの処理であり、かつ、推定誤差の分散を評価量とする逐次的処理であるため、ウィナーフィルタを用いた画像復元手法の問題点を解決することができる。なお、このような２段階処理を必要とする点は、１次元カルマンフィルタを用いた手法も２次元カルマンフィルタを用いた手法も同様である。
【００１４】
しかしながら、一方で、カルマンフィルタを用いた手法は、１次元カルマンフィルタであれ２次元カルマンフィルタであれ、ステップ１で推定したＡＲ係数を用いてステップ２のカルマンフィルタアルゴリズムを実行するため、ステップ１でのＡＲ係数の推定精度に劣化画像の復元精度が大きく依存してしまうという問題を有している（ＡＲシステムの問題）。例えば、デジタルカメラの場合、処理対象画像にぼけ（焦点ずれなど）に基づく劣化が含まれると、ステップ１でのＡＲ次数の決定およびＡＲ係数の推定が困難となるため、ステップ２でのカルマンフィルタによる画像復元の精度に影響が出てしまう。
【００１５】
この点、一般には、ＡＲ係数の正確な推定は困難である。ＡＲ係数の正確な推定は、例えば、画像復元であれば、クリアな画像（原画像）に依存しているからである。このことは、原画像が既知でなければならないことを意味しているため、リアルタイム処理は困難となる。また、仮に何らかの手法でリアルタイムにＡＲ係数を正確に推定することが可能になったとしても、処理が増加するため演算量の問題は避けられない。また、そもそも、ＡＲ係数の推定はＡＲ係数の次数を決定した後に行われるが、ＡＲ係数の次数を決定するのは非常に困難であり、この点からもＡＲ係数の正確な推定は困難であるといえる。
【００１６】
したがって、今日、ウィナーフィルタを用いた画像復元手法の問題点およびカルマンフィルタを用いた画像復元手法の問題点の両方を解決しうる、シンプルで実用的な高性能の画像復元手法、つまり、シンプルな構成を有し、かつ、実環境でも使用可能であり、しかも劣化画像の復元性能（つまり、画像復元能力）が高い画像復元手法が求められている。特に、劣化画像の復元性能（画像復元能力）としては、クリアな画像にぼけと雑音が含まれた劣化画像に対して、ぼけと雑音を同時に取り除くことができる高い性能（能力）が求められている。
【００１７】
本発明の目的は、ぼけと雑音を同時に除去することができる高い画像復元能力を実現することができるシンプルで実用的な画像復元装置および画像復元方法を提供することである。
【課題を解決するための手段】
【００１８】
本発明の画像復元装置は、原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元装置であって、時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により前記原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算部と、時刻ｎのみの劣化画像情報に対して、前記相関演算部によって算出された相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出部と、時刻ｎのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出部と、を有する構成を採る。
【００１９】
本発明の画像復元方法は、原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元方法であって、時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により前記原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算工程と、時刻ｎのみの劣化画像情報に対して、前記相関演算工程で算出した相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、時刻ｎのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出工程と、を有するようにした。
【発明の効果】
【００２０】
本発明によれば、ぼけと雑音を同時に除去することができる高い画像復元能力を実現することができるシンプルで実用的な画像復元装置および画像復元方法を得ることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態１に係る画像復元装置の構成を示すブロック図
【図２】（Ａ）は、図１の画像復元処理部の構成を示すブロック図、（Ｂ）は、図２（Ａ）の第１復元処理部の構成を示すブロック図
【図３】画像の劣化の過程を説明するための図
【図４】発明手法１の状態空間モデルのシステム構成を表すブロック線図
【図５】発明手法１の状態方程式の定式化の具体例を説明するための図であり、特に、（Ａ）は、状態空間モデルの状態過程を示す図、（Ｂ）は、処理対象ブロックおよびその時間変化の一例を示す図、（Ｃ）は、状態方程式の具体例を示す図
【図６】発明手法１の状態方程式の構成を説明するための図
【図７】発明手法１の観測方程式の定式化の具体例を説明するための図であり、特に、（Ａ）は、状態空間モデルの観測過程を示す図、（Ｂ）は、観測方程式の具体例を示す図
【図８】従来一般的な観測方程式の構成（一般例）を説明するための図であり、特に、（Ａ）は、従来の観測方程式の定義を示す図、（Ｂ）は、観測量に影響する状態量の範囲を視覚的に示す図
【図９】発明手法１の観測方程式の構成を説明するための図であり、特に、（Ａ）は、発明手法１の観測方程式の定義を示す図、（Ｂ）は、観測量に影響する状態量の範囲を視覚的に示す図
【図１０】観測遷移行列を構成する係数の割り当て方法を説明するための図
【図１１】図９（Ａ）に示す観測遷移行列に基づく、各観測量に影響する状態量の範囲を、割り当てられた係数と共に示す図
【図１２】発明手法１のアルゴリズムの一例を示す図
【図１３】図１２のアルゴリズムを実行する処理手順を示すフローチャート
【図１４】発明手法１を視覚的にまとめた説明図
【図１５】シミュレーション条件を説明するための図
【図１６】原画像「カメラマン」を説明するための図
【図１７】従来手法との対比において原画像「カメラマン」に対する発明手法１のシミュレーション結果（視覚評価）を示す図
【図１８】図１７中の破線の円の周辺領域を拡大した図
【図１９】図１７と同様のシミュレーション結果（視覚評価）を示す図
【図２０】図１９中の破線の円の周辺領域を拡大した図
【図２１】従来手法との対比において原画像「レナ」に対する発明手法１のシミュレーション結果（視覚評価）を示す図
【図２２】図２１中の破線の円の周辺領域を拡大した図
【図２３】従来手法との対比において原画像に対する発明手法１のシミュレーション結果（客観評価）を示す図
【図２４】従来手法との対比において原画像に対する発明手法１のシミュレーション結果（主観評価）を示す図
【図２５】図１の画像復元装置の動作の一例を示すフローチャート
【図２６】図２５のステップＳ２３００の検出方法の一例を説明するための図
【図２７】復元モードの実装の一例を説明するための図
【図２８】復元モードの実装の他の例を説明するための図
【図２９】劣化画像モデルを視覚的に説明するための図
【図３０】発明手法１の状態空間モデルを視覚的に説明するための図
【図３１】発明手法１の状態過程を視覚的に説明するための図
【図３２】発明手法１の観測過程を視覚的に説明するための図
【図３３】発明手法１の状態方程式と観測方程式をまとめて示す説明図
【図３４】発明手法１のアルゴリズムを説明するための図
【図３５】図３４のアルゴリズムを実行する処理手順を示すフローチャート
【図３６】発明手法１の課題を視覚的に説明するための図
【図３７】発明手法２の状態方程式の構成を視覚的に示す説明図であり、特に、（Ａ）は、発明手法１の状態方程式の具体例を示す図、（Ｂ）は、時刻の変化に伴う処理対象ブロックの変化を示す図
【図３８】発明手法２の観測方程式の構成を視覚的に示す説明図
【図３９】発明手法２の観測方程式の構成を視覚的に示す他の説明図
【図４０】発明手法２の状態方程式と観測方程式をまとめて示す説明図
【図４１】発明手法２のアルゴリズムを説明するための図
【図４２】図４１のアルゴリズムを実行する処理手順を示すフローチャート
【図４３】発明手法１と発明手法２のアルゴリズムを比較した説明図
【図４４】発明手法２の演算量評価を説明するための図
【図４５】発明手法２の復元処理速度評価を説明するための図
【図４６】シミュレーション条件を説明するための図
【図４７】比較対象手法との対比において原画像「カメラマン」に対する発明手法２のシミュレーション結果（視覚評価）を示す図
【図４８】図４７中の破線の円の周辺領域を拡大した図
【図４９】比較対象手法との対比において原画像「レナ」に対する発明手法２のシミュレーション結果（視覚評価）を示す図
【図５０】図４９中の破線の円の周辺領域を拡大した図
【図５１】比較対象手法との対比において原画像に対する発明手法２のシミュレーション結果（客観評価）を示す図
【図５２】発明手法２の課題を視覚的に説明するための図
【図５３】発明手法３の観測方程式の構成を視覚的に示す説明図
【図５４】発明手法３の状態空間モデルを視覚的に説明するための図
【図５５】発明手法３の状態方程式と観測方程式をまとめて示す説明図
【図５６】発明手法３のアルゴリズムを説明するための図
【図５７】図５６のアルゴリズムを実行する処理手順を示すフローチャート
【図５８】発明手法３の演算量評価を説明するための図
【図５９】発明手法３の復元処理速度評価を説明するための図
【図６０】比較対象手法との対比において原画像「カメラマン」に対する発明手法３のシミュレーション結果（視覚評価）を示す図
【図６１】図６０中の破線の円の周辺領域を拡大した図
【図６２】比較対象手法との対比において原画像「レナ」に対する発明手法３のシミュレーション結果（視覚評価）を示す図
【図６３】図６２中の破線の円の周辺領域を拡大した図
【図６４】比較対象手法との対比において原画像に対する発明手法３のシミュレーション結果（客観評価）を示す図
【図６５】１次元の画像復元手法の特徴を説明するための図
【図６６】２次元の画像復元手法の特徴を説明するための図
【図６７】発明手法４の状態空間モデルを視覚的に説明するための図
【図６８】発明手法４の状態過程を視覚的に説明するための図
【図６９】発明手法４の状態方程式の構成を視覚的に示す説明図
【図７０】発明手法４の観測過程を視覚的に説明するための図
【図７１】発明手法４の観測方程式の構成を視覚的に示す説明図
【図７２】発明手法４の観測遷移行列の具体例を示す図
【図７３】図７２の観測遷移行列の構成を視覚的に示す説明図
【図７４】図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示す図
【図７５】図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示す他の図
【図７６】図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示すさらに他の図
【図７７】発明手法４の状態方程式と観測方程式をまとめて示す説明図
【図７８】発明手法４のアルゴリズムを説明するための図
【図７９】図７８のアルゴリズムを実行する処理手順を示すフローチャート
【図８０】発明手法４の演算量評価を説明するための図
【図８１】発明手法４の復元処理速度評価を説明するための図
【図８２】比較対象手法との対比において原画像「カメラマン」に対する発明手法４のシミュレーション結果（視覚評価）を示す図
【図８３】図８２中の破線の円の周辺領域を拡大した図
【図８４】比較対象手法との対比において原画像「レナ」に対する発明手法４のシミュレーション結果（視覚評価）を示す図
【図８５】図８４中の破線の円の周辺領域を拡大した図
【図８６】比較対象手法との対比において原画像に対する発明手法４のシミュレーション結果（客観評価）を示す図
【図８７】発明手法４の課題を視覚的に説明するための図
【図８８】発明手法５の状態方程式の構成を視覚的に示す説明図であり、特に、（Ａ）は、発明手法４の状態方程式の具体例を示す図、（Ｂ）は、時刻の変化に伴う処理対象ブロックの変化を示す図
【図８９】発明手法５の観測方程式の構成を視覚的に示す説明図
【図９０】発明手法５の観測方程式の構成を視覚的に示す他の説明図
【図９１】発明手法５の状態方程式と観測方程式をまとめて示す説明図
【図９２】発明手法５のアルゴリズムを説明するための図
【図９３】図９２のアルゴリズムを実行する処理手順を示すフローチャート
【図９４】発明手法４と発明手法５のアルゴリズムを比較した説明図
【図９５】発明手法５の演算量評価を説明するための図
【図９６】発明手法５の復元処理速度評価を説明するための図
【図９７】比較対象手法との対比において原画像「カメラマン」に対する発明手法５のシミュレーション結果（視覚評価）を示す図
【図９８】図９７中の破線の円の周辺領域を拡大した図
【図９９】比較対象手法との対比において原画像「レナ」に対する発明手法５のシミュレーション結果（視覚評価）を示す図
【図１００】図９９中の破線の円の周辺領域を拡大した図
【図１０１】比較対象手法との対比において原画像に対する発明手法５のシミュレーション結果（客観評価）を示す図
【図１０２】発明手法５の課題を視覚的に説明するための図
【図１０３】発明手法６の観測方程式の構成を視覚的に示す説明図
【図１０４】発明手法６の状態空間モデルを視覚的に説明するための図
【図１０５】発明手法６の状態方程式と観測方程式をまとめて示す説明図
【図１０６】発明手法６のアルゴリズムを説明するための図
【図１０７】図１０６のアルゴリズムを実行する処理手順を示すフローチャート
【図１０８】発明手法６の演算量評価を説明するための図
【図１０９】発明手法６の復元処理速度評価を説明するための図
【図１１０】比較対象手法との対比において原画像「カメラマン」に対する発明手法６のシミュレーション結果（視覚評価）を示す図
【図１１１】図１１０中の破線の円の周辺領域を拡大した図
【図１１２】比較対象手法との対比において原画像「レナ」に対する発明手法６のシミュレーション結果（視覚評価）を示す図
【図１１３】図１１２中の破線の円の周辺領域を拡大した図
【図１１４】比較対象手法との対比において原画像に対する発明手法６のシミュレーション結果（客観評価）を示す図
【図１１５】本発明の実施の形態２に係る画像復元装置の構成を示すブロック図
【図１１６】図１１５の復元モード指定部によって指定可能な復元モードの具体例を示す図
【図１１７】図１１５の画像復元装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２３】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像復元装置の構成を示すブロック図である。ここでは、本発明の画像復元方法を適用した好適な画像復元装置について、特に各種の用途に対応可能な汎用的な画像復元装置を例にとって説明する。
【００２４】
図１に示す画像復元装置１００は、コンピュータで構成されており、大別して、画像入力装置１１０、入力インタフェース部１２０、操作部１３０、内部インタフェース部１４０、記憶部１５０、画像復元処理部１６０、出力インタフェース部１７０、および画像出力装置１８０を有する。
【００２５】
画像入力装置１１０は、復元処理の対象となる画像データ（劣化画像）をデジタルデータとしてコンピュータに入力するための入力装置である。入力する画像は、静止画像でも動画像でもよい。画像入力装置１１０としては、例えば、カメラ１１２やスキャナ１１４、記録メディア１１６、モデム１１８などを用いることができる。カメラ１１２は、撮像機能を有するすべての装置を意味し、例えば、デジタルカメラ（デジタルスチルカメラとデジタルビデオカメラ）のほかに、カメラ機能を搭載した携帯電話や、防犯カメラ（監視カメラ）、画像診断を行うための医療機器（内視鏡、レントゲン、エコー、ＣＴ、ＭＲＩなど）などを含むことができる。スキャナ１１４は、代表的な画像入力装置の１つであり、ネガやポジといったファイルからの読み込みを専用に行うフィルムスキャナなども含んでいる。記録メディア１１６は、画像データを記録可能な記録媒体を広く意味し、例えば、磁気ディスク（ＨＤＤやＦＤなど）や、光ディスク（ＣＤやＤＶＤ、ＢＤなど）、光磁気ディスク（ＭＯ）、フラッシュメモリ（メモリカードやＵＳＢメモリなど）などである。モデム１１８は、外部の通信ネットワーク（例えば、電話回線やＬＡＮ、インターネットなど）と接続するための装置である。なお、画像入力装置１１０の種類は、画像復元装置１００の用途に応じて適宜選択すればよい。
【００２６】
入力インタフェース部１２０は、画像入力装置１１０から提供される画像データをコンピュータで処理可能なデータ形式に変換するなどの入力処理を行う。図示しないが、入力インタフェース部１２０は、画像入力装置１１０の種類に応じて別個独立に設けられる。例えば、記録メディア１１６の入力インタフェース部１２０は、ドライブとも呼ばれ、記録メディア１１６の種類に応じて様々な種類のドライブが使用可能である。なお、ドライブは、記録メディアを読み書きする装置であり、記録メディアに関する限り、通常は、入力インタフェース部１２０と出力インタフェース部１７０は一体化されている。また、通常、モデム１１８は、画像入力装置１１０としても画像出力装置１８０としても機能しうるため、モデム１１８に関しても、通常、入力インタフェース部１２０と出力インタフェース部１７０は一体化されている。入力インタフェース部１２０は、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部１４０を介して接続された外部設置型機器であってもよい。
【００２７】
なお、画像入力装置１１０が画像情報をアナログデータとして出力する場合、対応する入力インタフェース部１２０は、サンプリング部およびＡ／Ｄ変換部（共に図示せず）を有する。サンプリング部は、所定のサンプリング周波数で、入力されたアナログ信号をサンプリング処理し、Ａ／Ｄ変換部に出力する。サンプリング周波数は、復元処理対象（情報源）の種類に応じて変更可能である。Ａ／Ｄ変換部は、サンプリングされた信号の振幅値を所定の分解能でＡ／Ｄ変換処理する。
【００２８】
操作部１３０は、典型的にはキーボートやマウス、タッチパネルなどであるが、音声認識装置などを用いてもよい。使用者は、操作部１３０を用い、例えば、後述するディスプレイ１８２で確認をしながらコンピュータを操作することができる。また、操作部１３０は、パラメータ設定部１３２、領域指定部１３４、および復元モード指定部１３６を有する。パラメータ設定部１３２は、使用者の入力操作により、後で詳述する本実施の形態における画像復元処理に必要な各種パラメータの値を設定する。領域指定部１３４は、使用者の入力操作により、入力された画像に対して画像復元処理の対象となる領域（画像の特定の範囲）を指定する。復元モード指定部１３６は、使用者の入力操作により、後述する復元モードを指定する。
【００２９】
内部インタフェース部１４０は、コンピュータ本体の内部にあって、入力インタフェース部１２０、操作部１３０、記憶部１５０、画像復元処理部１６０、および出力インタフェース部１７０を相互に接続する機能を有する。コンピュータの内部における各種信号のやり取りは、内部インタフェース部１４０を介して行われる。
【００３０】
記憶部１５０は、主記憶装置１５２および補助記憶装置１５４を有する。主記憶装置１５２は、コンピュータの本体を構成する一要素であって、主にプログラムとデータを格納する。補助記憶装置１５４は、主記憶装置１５２の容量の不足を補う記憶装置である。補助記憶装置１５４は、典型的にはハードディスク（ＨＤ）であるが、ＣＤ−ＲＯＭやＤＶＤ、ＳＳＤ（Solid State Drive）、フラッシュメモリなどの可搬性のあるものであってもよいし、また、それらの組み合わせであってもよい。本実施の形態における画像復元処理を実行させるプログラム（画像復元アルゴリズム）は、予め記憶部１５０（主記憶装置１５２または補助記憶装置１５４）に格納されていてもよいし、記録メディア１１６から両インタフェース部１２０、１４０を介して記憶部１５０にインストールしたり、モデム１１８および両インタフェース部１２０、１４０を介して外部から記憶部１５０にダウンロードしたりしてもよい。
【００３１】
なお、画像入力装置１１０から画像データを取り込み、取り込んだ画像データに対して画像復元処理を行い、復元処理後の画像データを画像出力装置１８０から取り出すという一連の処理を実行するためには、取り込んだ画像データを格納しておく記憶領域と、データ処理の上で一時的に必要な記憶領域（作業領域または作業用メモリと呼ばれる）と、出力すべき画像データを格納しておく記憶領域とが必要である。これらの記憶領域は、主記憶装置１５２または補助記憶装置１５４の上に取られるが、ここでは、説明の便宜上、復元処理後の画像データを後述するディスプレイ１８２に出力する場合を想定して、特に表示メモリ１５６を図面上に別途表記している。
【００３２】
画像復元処理部１６０は、本発明の特徴的な構成要素であり、後述する内蔵された画像復元アルゴリズムを実行する。例えば、カルマンフィルタを用いた従来の画像復元手法では、２段階処理、つまり、ＡＲ次数を決定し、ＡＲ係数を推定した後、この推定したＡＲ係数を用いて状態空間モデル（状態方程式と観測方程式）を構成してカルマンフィルタを実行することによって、画像復元を実現しているのに対し、本発明の画像復元方法（以下「発明手法」という）では、状態方程式と観測方程式から構成される新しい予測法によって画像復元を実現している。具体的には、発明手法では、ＡＲシステムのコンセプトを必要としない新しい状態空間モデル（状態方程式と観測方程式）を構成することによって、より具体的には、状態方程式をクリアな画像情報（原画像情報）のみで構成し、かつ、観測方程式を劣化画像情報、クリアな画像情報（原画像情報）、ぼけ情報、および雑音で構成した新たな状態空間モデルを用いることによって、画像復元を実現している。画像復元の対象となる画像は、静止画像でも動画像でもよい。なお、本発明の画像復元方法については、後で詳細に説明する。
【００３３】
画像出力装置１８０は、コンピュータ（画像復元処理部１６０）で復元処理された画像データ（復元画像）を所定の出力形態で外部に取り出すための出力装置である。画像出力装置１８０としては、例えば、ディスプレイ１８２やプリンタ１８４、記録メディア１８６、モデム１８８などを用いることができる。記録メディア１８６およびモデム１８８は、画像入力装置１１０としての記録メディア１１６およびモデム１１８とそれぞれ共用してもよい。なお、画像出力装置１８０の種類は、画像復元装置１００の用途に応じて適宜選択すればよい。
【００３４】
出力インタフェース部１７０は、コンピュータ（画像復元処理部１６０）で復元処理された画像データ（復元画像）を画像出力装置１８０に出力可能なデータ形式に変換するなどの出力処理を行う。図示しないが、出力インタフェース部１７０は、画像出力装置１８０の種類に応じて別個独立に設けられる。上記のように、記録メディアおよびモデムに関しては、通常、入力インタフェース部１２０と出力インタフェース部１７０は一体化されている。出力インタフェース部１７０も、入力インタフェース部１２０と同様に、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部１４０を介して接続された外部設置型機器であってもよい。
【００３５】
図２（Ａ）は、図１の画像復元処理部１６０の構成を示すブロック図であり、図２（Ｂ）は、図２（Ａ）の第１復元処理部１６０ａの構成を示すブロック図である。
【００３６】
本実施の形態では、図２（Ａ）に示すように、画像復元処理部１６０は、第１復元処理部１６０ａと第２復元処理部１６０ｂを有する。第１復元処理部１６０ａは、本発明の画像復元方法を実施する。第２復元処理部１６０ｂは、本発明の画像復元方法以外の画像復元方法、例えば、ウィナーフィルタを用いた画像復元手法やカルマンフィルタを用いた画像復元手法などの従来の画像復元方法を実施する。これによって、第１復元処理部１６０ａと第２復元処理部１６０ｂとを用いた画像復元処理が可能となる。なお、以下では、第２復元処理部１６０ｂで実施する従来の画像復元方法として、例えば、ウィナーフィルタを用いた画像復元手法（以下「従来手法１」という）を例にとって説明する。
【００３７】
第１復元処理部１６０ａは、図２（Ｂ）に示すように、初期設定部１６２、相関演算部１６４、重み係数算出部１６６、および最適推定値算出部１６８を有する。第１復元処理部１６０ａは、各部１６２〜１６８の協働の下、内蔵された画像復元アルゴリズム（発明手法）を実行することによって、取り込んだ画像データ（劣化画像）のみからクリアな画像（原画像）を復元する。このとき、初期設定部１６２は、発明手法の画像復元アルゴリズムの初期設定を行い、相関演算部１６４は、原画像（所望情報、クリアな画像）の推定誤差の相関演算を行い、重み係数算出部１６６は、原画像（所望情報）の最適推定値の算出に必要な重み係数の算出を行い、最適推定値算出部１６８は、原画像（所望情報）の最適推定値の算出を行う。なお、各部１６２〜１６８の具体的な処理内容は、後で詳細に説明する。
【００３８】
以下、第１復元処理部１６０ａで行われる画像復元処理動作について詳細に説明するが、ここでは、まず、画像復元の理論となる劣化画像モデルについて説明しておく。
【００３９】
劣化した画像は、一般的に、原画像とぼけの点拡がり関数（ＰＳＦ：Point Spread Function、以下単に「ぼけ関数」ともいう）の畳み込み（コンボリューション）に雑音を加えたモデルによって得られる。すなわち、イメージングシステム（対象物を撮像する装置や画像を生成するシステムなど）によって得られる劣化画像ｇ（ｘ，ｙ）は、対象物を表す原画像をｆ（ｎ，ｍ）、ぼけの点拡がり関数をｈ（ｘ，ｙ）、雑音をｎ（ｘ，ｙ）でそれぞれ表すと、次の式（１）で表される。なお、ぼけの点拡がり関数ｈ（ｘ，ｙ）は、撮影条件なども含めたイメージングシステムの特性を表している。
【００４０】
【数１】
【００４１】
図３は、画像の劣化の過程を説明するための図である。
【００４２】
例えば、図３の左端に示す原画像にぼけが生じると、図３の中央に示す画像となり、この画像にさらに雑音が加わると、図３の右端に示す劣化画像となる。ぼけは、ある画素がその周囲の画素に影響することによって生じるが、雑音は、画素に関係なく発生する。上記のように、カメラなどで撮影された画像の場合、ぼけは、手ぶれや焦点ずれなどに起因して生じ、雑音は、暗電流や熱雑音などに起因して不可避的に発生する。図３に示すように、劣化画像の復元は、劣化画像からぼけと雑音を取り除くことにほかならない。
【００４３】
発明手法では、上記のように、ＡＲシステムのコンセプトを用いないようにするために、新しい状態空間モデル（状態方程式と観測方程式）を構成する。すなわち、クリアな画像情報（原画像情報）のみを用いて状態方程式を構成し、かつ、劣化画像情報、クリアな画像情報（原画像情報）、ぼけ情報、および雑音を用いて観測方程式を構成する。なお、本実施の形態では、発明手法として、６つの具体的な手法を提示する。ここでは、便宜上、第１の発明手法から第６の発明手法を、発明手法１、発明手法２、発明手法３、発明手法４、発明手法５、発明手法６とそれぞれ称し、順次説明する。
【００４４】
発明手法１〜６は、いずれも、ＡＲ係数を用いない画像復元手法であって、ぼけと雑音を同時に除去することができる、シンプルで実用的な高性能の画像復元手法である。ただし、発明手法１〜６は、互いに、アルゴリズムの違いに応じて、演算量や復元処理速度、画像復元能力などが異なる。ここでは、各発明手法１〜６を詳細に説明する前に、各発明手法１〜６の特徴、長所、短所をまとめておく。
【００４５】
発明手法１〜３は、１次元の画像復元手法であり、発明手法４〜６は、発明手法１〜３をそれぞれ２次元に拡張した２次元の画像復元手法である。発明手法１は、本発明に係る画像復元方法の基本型である。発明手法１は、ＡＲ係数を用いない画像復元手法であって、有色性駆動源を持つ状態空間モデルを構成している。発明手法１は、従来技術に対して、高性能な劣化画像復元が可能であるという長所を有する反面、他の発明手法２、３に比べて、演算量が多いという短所を有する。発明手法２は、発明手法１に対して、注目画素領域のみ考慮した状態空間モデルを再構成した手法であって、注目画素領域のみ用いることで、演算量を大幅に軽減している。発明手法２は、高速（低演算量）な劣化画像復元が可能であるという長所を有する（画像復元能力は発明手法１とほぼ同等である）。発明手法３は、発明手法１、２に対して、有色駆動源の影響も考慮した状態空間モデルを再構成した手法である。発明手法３は、演算量の軽減、復元処理速度の向上、有色性駆動源にも適用可能、および画像復元能力の向上といった長所を有し、画像復元能力を向上しながら高速（低演算量）な劣化画像復元が可能な手法である。
【００４６】
上記のように、発明手法１は、ＡＲ係数を用いない１次元の画像復元手法であって、従来技術に対して、高性能な劣化画像復元が可能であるという特徴を有する。発明手法４〜６は、２次元の画像復元手法であって、発明手法１に対して、柔軟な処理効率の向上が図られるという特徴を有する。発明手法４は、発明手法１を２次元に拡張した画像復元手法であって、注目画素領域と周辺画素領域をそれぞれ任意にとることにより処理効率の向上が図られるという長所を有する反面、他の発明手法１〜３、５、６に比べて、演算量が多いという短所を有する。発明手法５は、発明手法４に対して、注目画素領域のみ考慮した状態空間モデルを再構成した手法であって、注目画素領域のみ用いることで、発明手法４に対して、演算量を大幅に軽減している。発明手法５は、高速（低演算量）な劣化画像復元が可能であるという長所を有する反面、発明手法４よりも若干復元精度が低下するという短所を有する。発明手法６は、発明手法４、５に対して、有色駆動源の影響も考慮した状態空間モデルを再構成した手法であって、発明手法５の短所を改善したものである。発明手法６は、良好な画像復元能力、有色性駆動源にも適用可能、演算量の軽減、復元する画素に適した復元処理が可能といった長所を有し、処理効率性を考慮した実用的な劣化画像復元手法である。特に、発明手法１〜３を２次元に拡張した発明手法４〜６は、注目画素領域と周辺画素領域をそれぞれ任意に選択することができるため、劣化画像の状態と使用者の要望（処理速度または処理品質）に応じて、１次元の発明手法１〜３に適応することも可能であるし、あるいは、若干の変更により２次元の発明手法４〜６に適応することも可能である、という特徴を有する。
【００４７】
具体的には、発明手法では、新しい状態空間モデル（状態方程式と観測方程式）を構成し、この新しい状態空間モデルは、次の式（２）で表される。ただし、状態方程式において、ベクトルｘｐ１（ｎ）は状態ベクトル（原画像情報）、行列Φｐ１は状態遷移行列、ベクトルδｐ１（ｎ）は駆動源ベクトルである。また、観測方程式において、ベクトルｙｐ１（ｎ）は観測ベクトル（観測画像情報、劣化画像情報）、行列Ｍｐ１は観測遷移行列、ベクトルεｐ１（ｎ）は観測雑音ベクトルである。また、「ｎ」とは、装置の時刻ｎである。時刻ｎは、注目画素（または注目画素領域）と複数の周辺画素（または周辺画素領域）とからなる処理対象ブロックの処理の順番（ｎ番目）を表している。なお、ここでは、説明の便宜上、発明手法として、例えば、基本型である発明手法１を提示する。以下の説明において、添え字「ｐ１」は、発明手法１に係るものであることを示している。また、ここでは、注目画素領域および周辺画素領域における「画素領域」は、１つの画素のみを含む場合と、複数の画素を含む場合の両方を意味する。すなわち、ぼけと雑音が含まれる劣化画像を復元する際の復元処理対象として、１つの画素を「注目画素」と称し、少なくとも１つ以上の画素を含む領域を「注目画素領域」と称する。また、注目画素に隣接する画素を「周辺画素」と称し、注目画素に隣接する画素を含む領域、または、注目画素に隣接する画素および注目画素に隣接しないがその周辺の画素を含む領域を、「周辺画素領域」と称する。
【００４８】
【数２】
【００４９】
図４は、この状態空間モデルにおけるシステム構成をブロック線図で表したものである。
【００５０】
図４に示すように、この状態空間モデルは、状態過程と観測過程とで構成される。状態過程は、状態方程式によって記述され、観測過程は、観測方程式によって記述される。図４において、「２０１」は時刻ｎにおける状態ベクトルｘｐ１（ｎ）、「２０２」は時刻ｎ＋１における状態ベクトルｘｐ１（ｎ＋１）、「２０３」は時刻ｎにおける観測ベクトルｙｐ１（ｎ）、「２０４」は時刻ｎにおける観測雑音ベクトルεｐ１（ｎ）、「２０５」は時刻ｎ＋１における駆動源ベクトルδｐ１（ｎ＋１）、「２０６」は状態遷移行列Φｐ１、「２０７」は観測遷移行列Ｍｐ１である。式（２）における状態方程式は、観測対象のシステムを状態空間モデルで記述したものであり、内部状態つまり状態変数（ここでは、状態ベクトルｘｐ１（ｎ）、ｘｐ１（ｎ＋１））の時間に対する生成過程を表している。また、式（２）における観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果（ここでは、観測ベクトルｙｐ１（ｎ））が、被観測量つまり入力（ここでは、状態ベクトルｘｐ１（ｎ））に依存して生成される様子を示している。
【００５１】
図５は、発明手法１の状態方程式の定式化の具体例を説明するための図であり、特に、図５（Ａ）は、状態空間モデルの状態過程を示す図、図５（Ｂ）は、処理対象ブロックおよびその時間変化の一例を示す図、図５（Ｃ）は、状態方程式の具体例を示す図である。
【００５２】
発明手法１では、劣化画像の復元処理は、復元対象である注目画素のみを用いるのではなく、その周辺の画素も含めて処理を行う。すなわち、Ｊ×Ｊの大きさの画像のある注目画素を中心にして、その周辺Ｋ×Ｋ（ただし、Ｊ＞Ｋ）の領域を処理対象ブロックとし、この処理対象ブロックの中の画素情報を用いて、画像の復元処理を行う。このように、処理対象ブロックとは、画像復元においてＫ×Ｋの画素を用いて処理を行う範囲を意味する。
【００５３】
例えば、Ｊ＝２５６、Ｋ＝３とした場合、図５に示すように、２５６×２５６の大きさの画像のある注目画素を中心にして、その周辺３×３の画素領域が処理対象ブロックとなる。図面上、処理対象ブロックは、網かけされている。画像復元処理は、この３×３の処理対象ブロックの中の画素情報を用いて行われる。単に説明の便宜上、図５（Ｂ）に示すように、２５６×２５６の大きさの画像の一部の画素に１〜３６の番号を付したとすると、時刻ｎにおける状態ベクトルｘｐ１（ｎ）に対応する処理対象ブロックは、番号が１、２、３、７、８、９、１３、１４、１５の３×３の９個の画素を構成要素とし、次の時刻ｎ＋１における状態ベクトルｘｐ１（ｎ＋１）に対応する処理対象ブロックは、番号が７、８、９、１３、１４、１５、１９、２０、２１の３×３の９個の画素を構成要素としている。
【００５４】
このとき、式（２）における状態方程式は、図５（Ｃ）にも示す次の式（３）で定義される。ここで、状態ベクトルｘｐ１（ｎ）は、原画像情報を含む状態量として３×３の処理対象ブロックに含まれる９個の画素情報ｘ１（ｎ）、ｘ２（ｎ）、ｘ３（ｎ）、ｘ４（ｎ）、ｘ５（ｎ）、ｘ６（ｎ）、ｘ７（ｎ）、ｘ８（ｎ）、ｘ９（ｎ）を要素とする９×１次のベクトルである。また、状態遷移行列Φｐ１は、式（３）で定義された９×９次の行列であり、駆動源ベクトルδｐ１（ｎ）は、同じく式（３）で定義された９×１次のベクトルである。
【００５５】
【数３】
【００５６】
図６は、式（３）で表される状態方程式の構成を説明するための図である。
【００５７】
式（３）で表される状態方程式の特徴は、状態遷移行列Φｐ１の一部の要素を「１」に設定し、残りの要素をすべて「０」に設定した点、および、駆動源ベクトルδｐ１（ｎ）の一部の要素を有色信号である状態量ｘｉ（ｎ）（ｉ＝７，８，９）で表した点にある。これは、図６に示すように、現在の時刻ｎ＋１における処理対象ブロックと過去の時刻ｎにおける処理対象ブロックとが重なる部分において、現在の状態量（原画像の画素情報）ｘ１（ｎ＋１）、ｘ２（ｎ＋１）、ｘ３（ｎ＋１）、ｘ４（ｎ＋１）、ｘ５（ｎ＋１）、ｘ６（ｎ＋１）と過去の状態量（原画像の画素情報）ｘ４（ｎ）、ｘ５（ｎ）、ｘ６（ｎ）、ｘ７（ｎ）、ｘ８（ｎ）、ｘ９（ｎ）とを対応させるためである。この結果、ｘｐ１（ｎ）とｘｐ１（ｎ＋１）の関係を表す状態方程式は、クリアな画像からなる状態ベクトルｘｐ１（ｎ）と、０と１からなる状態遷移行列Φｐ１と、有色信号であるクリアな画像からなる駆動源ベクトルδｐ１（ｎ）とから構成されるため、所望の状態量（原画像の画素情報）、つまり、クリアな画像情報（原画像情報）のみで構成されることになる。
【００５８】
図７は、発明手法１の観測方程式の定式化の具体例を説明するための図であり、特に、図７（Ａ）は、状態空間モデルの観測過程を示す図、図７（Ｂ）は、観測方程式の具体例を示す図である。
【００５９】
図５および図６の例に対応して、式（２）における観測方程式は、図７（Ｂ）にも示す次の式（４）で定義される。ここで、観測ベクトルｙｐ１（ｎ）は、劣化画像情報を含む観測量として３×３の処理対象ブロックに含まれる９個の画素情報ｙ１（ｎ）、ｙ２（ｎ）、ｙ３（ｎ）、ｙ４（ｎ）、ｙ５（ｎ）、ｙ６（ｎ）、ｙ７（ｎ）、ｙ８（ｎ）、ｙ９（ｎ）を要素とする９×１次のベクトルである。また、観測遷移行列Ｍｐ１は、式（４）で定義された９×９次の行列であって、画像の劣化モデルにおけるぼけの点拡がり関数（ＰＳＦ）に対応している。観測遷移行列Ｍｐ１を構成する各要素ｈｒ，ｓ（ｒ，ｓはｈの座標であり、ｒ，ｓ＝−１，０，１）は、既知であって、予めデータ化して適切に設定されている。また、観測雑音ベクトルεｐ１（ｎ）は、３×３の処理対象ブロックに含まれる９個の画素に対応する観測雑音ε１（ｎ）、ε２（ｎ）、ε３（ｎ）、ε４（ｎ）、ε５（ｎ）、ε６（ｎ）、ε７（ｎ）、ε８（ｎ）、ε９（ｎ）を要素とする９×１次のベクトルである。
【００６０】
【数４】
【００６１】
図８は、従来一般的な観測方程式の構成（一般例）を説明するための図であり、図９は、式（４）で表される発明手法１の観測方程式の構成を説明するための図である。特に、図８（Ａ）は、従来一般的な観測方程式の定義を示す図、図８（Ｂ）は、観測量に影響する状態量の範囲を視覚的に示す図である。また、図９（Ａ）は、発明手法１の観測方程式の定義を示す図、図９（Ｂ）は、観測量に影響する状態量の範囲を視覚的に示す図である。なお、図８および図９の説明においては、便宜上、観測雑音ベクトルεｐ１（ｎ）は省略する。
【００６２】
画像においてぼけに基づく劣化とは、上記のように、ある画素がその周囲の画素の影響を受けて劣化することである。そこで、従来は、一般的に、図８（Ａ）に示すように観測方程式を定義していた。この場合、ぼけは、周囲のすべての画素の影響を受けることに起因して生じる。すなわち、処理対象ブロックの中の各画素は、処理対象ブロックの中のすべての画素の影響を受けることになる。言い換えれば、各観測量ｙｉ（ｉ＝１，２，…，９）は、すべての状態量ｘｉ（ｉ＝１，２，…，９）の影響を受けて成り立つ。これを視覚的に示すと、例えば、図８（Ｂ）に示すようになる。すなわち、図８（Ｂ）に示すように、例えば、観測量がｙ１の場合もｙ２の場合も、３×３（＝９）個のすべての状態量ｘ１〜ｘ９の影響を受けることになる。
【００６３】
これに対し、式（４）で表される発明手法１の観測方程式の特徴は、観測遷移行列Ｍｐ１の一部の要素を、３×３（＝９）個の係数ｈｒ，ｓ（座標ｒ，ｓ＝−１，０，１）を用いて規則的に設定し、残りの要素をすべて「０」に設定した点にある。例えば、図９（Ａ）は、観測方程式を展開して得られる一部の式（ｙ１（ｎ）、ｙ２（ｎ）に関する式）を示している。観測遷移行列Ｍｐ１に対する係数ｈｒ，ｓの割り当て方法は、次の通りである。すなわち、９個の係数ｈｒ，ｓ（ｒ，ｓ＝−１，０，１）を図１０に示すようにマトリックス状に配列し（以下「係数マトリックス」という）、係数マトリックスの中央（つまり、係数ｈ０，０）の位置を観測量ｙｉ（ｉ＝１，２，…，９）の注目画素ｉの位置に合わせたときの、その係数マトリックスに従って、観測遷移行列Ｍｐ１の一部の要素に係数ｈｒ，ｓ（ｒ，ｓ＝−１，０，１）を割り当てる。これを視覚的に示すと、例えば、図９（Ｂ）に示すようになる。すなわち、図９（Ｂ）に示すように、例えば、観測量がｙ１の場合は、３×３（＝９）個の状態量ｘ１〜ｘ９のうち、５個のｘ１〜ｘ５の影響を受け、観測量がｙ２の場合は、６個のｘ１〜ｘ６の影響を受けることになる。
【００６４】
図１１は、図９（Ａ）に示す観測遷移行列Ｍｐ１に基づく、各観測量ｙｉに影響する状態量ｘｉの範囲を、割り当てられた係数ｈｒ，ｓ（ｒ，ｓ＝−１，０，１）と共に示す図である。なお、ここでは、説明の便宜上、図１１（Ａ）〜図１１（Ｉ）の各図において、左側の処理対象ブロックには、注目する観測量ｙｉのみを示し、右側の処理対象ブロックには、影響を与える各状態量ｘｉの場所に、この状態量ｘｉに乗算されるｈｒ，ｓのみを示している。
【００６５】
式（４）で表される観測方程式では、観測量ｙ１は、図１１（Ａ）に示すように、５個の状態量ｘ１〜ｘ５の影響を受け、観測量ｙ２は、図１１（Ｂ）に示すように、６個の状態量ｘ１〜ｘ６の影響を受け、観測量ｙ３は、図１１（Ｃ）に示すように、７個の状態量ｘ１〜ｘ７の影響を受ける。また、観測量ｙ４は、図１１（Ｄ）に示すように、８個の状態量ｘ１〜ｘ８の影響を受け、観測量ｙ５は、図１１（Ｅ）に示すように、９個すべての状態量ｘ１〜ｘ９の影響を受け、観測量ｙ６は、図１１（Ｆ）に示すように、８個の状態量ｘ２〜ｘ９の影響を受ける。また、観測量ｙ７は、図１１（Ｇ）に示すように、７個の状態量ｘ３〜ｘ９の影響を受け、観測量ｙ８は、図１１（Ｈ）に示すように、６個の状態量ｘ４〜ｘ９の影響を受け、観測量ｙ９は、図１１（Ｉ）に示すように、５個の状態量ｘ５〜ｘ９の影響を受ける。
【００６６】
図１２は、発明手法１のアルゴリズムの一例を示す図である。なお、このアルゴリズムは、画像の種類を問わず、静止画像のみならず動画像にも適用可能である。
【００６７】
発明手法１のアルゴリズムは、図１２に示すように、初期設定（Initialization）の過程と反復（Iteration）の過程とに大別され、反復過程は、新しい状態空間モデル（状態方程式と観測方程式）を基に構成されている。反復過程では、１〜６の手順を逐次繰り返す。
【００６８】
図１３は、図１２のアルゴリズムを実行する処理手順を示すフローチャートである。
【００６９】
まず、初期設定部１６２で、初期設定を行う（Ｓ１０００）。具体的には、初期設定部１６２において、状態ベクトル、つまり、状態量である所望信号（原画像信号）ベクトルの最適推定値（以下「所望信号の最適推定値ベクトル」という）の初期値ｘｐ１（０｜０）、所望信号ベクトルの推定誤差（以下「所望信号の推定誤差ベクトル」という）の相関行列の初期値Ｐｐ１（０｜０）、駆動源ベクトルの共分散の値Ｒδｐ１（ｎ）［ｉ，ｊ］、および、観測雑音ベクトルの共分散の値Ｒεｐ１（ｎ）［ｉ，ｊ］を、次の式（５）に示すようにそれぞれ設定する。また、図１２では図示しないが、状態遷移行列Φｐ１および観測遷移行列Ｍｐ１を、式（３）および式（４）に示すようにそれぞれ設定する。なお、ここでは、時刻ｎのカウンタの初期値を「０」に設定している。また、ベクトルと行列の要素を示す場合、ベクトルａ（ｎ）のｉ番目の要素をａ（ｎ）［ｉ］と表記し、行列Ａ（ｎ）のｉ行ｊ列の要素をＡ（ｎ）［ｉ，ｊ］と表記することとする。また、図１２において、所望信号の最適推定値ベクトルｘｐ１は、ハットｘｐ１と表記する。
【００７０】
【数５】
【００７１】
ただし、ベクトル０Ｋは、Ｋ次元の零ベクトルであり、行列ＩＫは、Ｋ次の単位行列である。また、Ｋは、Ｋ×Ｋの大きさの処理対象ブロック（注目画素領域と周辺画素領域）のその次元である。Ｋ＝３の場合、Ｋ２−Ｋ＝６となり、「ｉ，ｊ＞Ｋ２−Ｋ」は、「ｉ，ｊ＝７，８，９」に対応している。また、Ｅ［δｐ１（ｎ），δｐ１Ｔ（ｎ）］は、駆動源ベクトルδｐ１（ｎ）の自己相関行列である。Ｅ［εｐ１（ｎ）εｐ１Ｔ（ｎ）］［ｉ，ｊ］は、観測雑音ベクトルεｐ１の自己相関行列であり、ここではσ２ε［ｉ，ｊ］と等しく、既知と仮定している。ここでいう「既知」とは、別の任意の方法（アルゴリズム）で求められて与えられることを意味する。もし観測雑音ベクトルεｐ１（ｎ）が白色雑音であり零平均であれば、σ２εは所定のサンプル数の分散で与えられる。
【００７２】
次に、相関演算部１６４で、ｎ→（ｎ＋１）の誤差共分散行列、つまり、ｎ→（ｎ＋１）の推定誤差の相関値（行列）（以下「相関行列」ともいう）を計算する（Ｓ１１００）。具体的には、相関演算部１６４において、時刻ｎまでの情報により時刻ｎ＋１での所望信号ベクトルを推定した場合の誤差（所望信号の推定誤差ベクトル）の相関行列Ｐｐ１（ｎ＋１｜ｎ）を計算する。この計算は、ステップＳ１０００でそれぞれ設定した状態遷移行列Φｐ１および駆動源ベクトルの共分散Ｒδｐ１（ｎ＋１）［ｉ，ｊ］の値、ならびに、ステップＳ１０００で設定した（ｎ＝０の場合）または前回のステップＳ１６００で計算した（ｎ≧１の場合）所望信号の推定誤差ベクトルの相関行列Ｐｐ１（ｎ｜ｎ）を用いて、次の式（６）により行う。なお、このステップＳ１１００は、図１２の反復過程の手順１に相当する。
【００７３】
【数６】
【００７４】
次に、重み係数算出部１６６で、重み係数（行列）の計算を行う（Ｓ１２００）。具体的には、重み係数算出部１６６において、観測量である観測信号ベクトルの推定誤差（以下「観測信号の推定誤差ベクトル」という）に重み係数（行列）をかけて、時刻ｎまでの情報による時刻ｎ＋１での所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ）を加えたものが、時刻ｎ＋１までの情報による時刻ｎ＋１での所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ＋１）になるような、その重み係数行列Ｋｐ１（ｎ＋１）を計算する。この計算は、ステップＳ１１００で計算した所望信号の推定誤差ベクトルの相関行列Ｐｐ１（ｎ＋１｜ｎ）、ならびに、ステップＳ１０００でそれぞれ設定した観測遷移行列Ｍｐ１および観測雑音ベクトルの共分散Ｒεｐ１（ｎ＋１）［ｉ，ｊ］の値を用いて、次の式（７）により行う。なお、このステップＳ１２００は、図１２の反復過程の手順２に相当する。
【００７５】
【数７】
【００７６】
次に、最適推定値算出部１６８で、ｎ→（ｎ＋１）の状態量（所望信号）の最適推定値（ベクトル）を計算する（Ｓ１３００）。具体的には、最適推定値算出部１６８において、時刻ｎまでの情報による時刻ｎ＋１での所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ）を計算する。この計算は、ステップＳ１０００で設定した状態遷移行列Φｐ１、および、前回のステップＳ１４００で計算した所望信号の最適推定値ベクトルｘｐ１（ｎ｜ｎ）を用いて、次の式（８）により行う。なお、このステップＳ１３００は、図１２の反復過程の手順３に相当する。
【００７７】
【数８】
【００７８】
次に、同じく最適推定値算出部１６８で、（ｎ＋１）→（ｎ＋１）の状態量（所望信号）の最適推定値（ベクトル）を計算する（Ｓ１４００）。具体的には、最適推定値算出部１６８において、時刻ｎ＋１までの情報による時刻ｎ＋１での所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ＋１）を計算する。この計算は、ステップＳ１３００で計算した所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ）、ステップＳ１２００で計算した重み係数行列Ｋｐ１（ｎ＋１）、ステップＳ１０００で設定した観測遷移行列Ｍｐ１、および時刻ｎ＋１における観測信号ベクトルｙｐ１（ｎ＋１）を用いて、次の式（９）により行う。なお、このステップＳ１４００は、図１２の反復過程の手順４に相当する。
【００７９】
【数９】
【００８０】
次に、処理を終了するか否かを判断する（Ｓ１５００）。この判断は、例えば、時刻ｎが所定のサンプル数Ｎに達したか否かを判定することによって行う。この判断の結果として、時刻ｎが所定のサンプル数Ｎに達していない場合は（Ｓ１５００：ＮＯ）、ステップＳ１６００に進み、時刻ｎが所定のサンプル数Ｎに達した場合は（Ｓ１５００：ＹＥＳ）、ステップＳ１８００に進む。なお、判断の基準は、上記の例に限定されない。例えば、リアルタイムで処理を行う場合は、時刻ｎが所定のサンプル数Ｎに達していなくても、サンプルがなくなった時点で処理を終了するようにしてもよい。
【００８１】
ステップＳ１６００では、相関演算部１６４で、（ｎ＋１）→（ｎ＋１）の誤差共分散行列、つまり、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（行列）を計算する。具体的には、相関演算部１６４において、時刻ｎ＋１までの情報により時刻ｎ＋１での所望信号ベクトルを推定した場合の誤差（所望信号の推定誤差ベクトル）の相関行列Ｐｐ１（ｎ＋１｜ｎ＋１）を計算する。この計算は、ステップＳ１２００で計算した重み係数行列Ｋｐ１（ｎ＋１）、ステップＳ１０００で設定した観測遷移行列Ｍｐ１、およびステップＳ１１００で計算した所望信号の推定誤差ベクトルの相関行列Ｐｐ１（ｎ＋１｜ｎ）を用いて、次の式（１０）により行う。なお、このステップＳ１６００は、図１２の反復過程の手順５に相当する。
【００８２】
【数１０】
【００８３】
次に、ステップＳ１７００では、時刻ｎのカウンタを１だけインクリメントして（ｎ＝ｎ＋１）、ステップＳ１１００に戻る。
【００８４】
一方、ステップＳ１８００では、本アルゴリズムの計算結果を出力値として一時保存する。具体的には、ステップＳ１４００で計算した所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ＋１）を、本アルゴリズムの出力値として画像復元処理部１６０内または記憶部１５０内に一時保存する。
【００８５】
図１４は、発明手法１を視覚的にまとめた説明図である。このように、発明手法１では、新しい状態空間モデル（状態方程式と観測方程式）を構成しているため、１段階処理で画像の復元処理が可能となる。このことは、他の発明手法２〜６も含めて本発明の大きな特徴の１つである。
【００８６】
ここで、カルマンフィルタを用いた従来の画像復元手法との対比において、発明手法１の特徴と効果をまとめて説明しておく。
【００８７】
カルマンフィルタを用いた従来の画像復元手法では、上記のように、２段階処理（ステップ１で、ＡＲ次数を決定し、ＡＲ係数を推定した後、ステップ２で、この推定したＡＲ係数を用いて状態空間モデル（状態方程式と観測方程式）を構成してカルマンフィルタを実行する）によって、画像の復元を実現している。したがって、ステップ１でのＡＲ次数の決定およびＡＲ係数の推定の精度によってステップ２でのカルマンフィルタによる画像復元能力が大きく左右されることが、容易に予想される。これに対して、発明手法１では、ＡＲシステムのコンセプトを必要としない新しい状態空間モデル（状態方程式と観測方程式）を構成し、これを用いた１段階処理の新しい予測法によって、高性能な画像復元を実現している。また、発明手法１では、処理ステップを１段階減らすことができるため、演算量を削減することができ、ひいては、回路規模の縮小やメモリ容量の削減などを図ることができる。
【００８８】
また、カルマンフィルタを用いた従来の画像復元手法では、ステップ１でＡＲ係数の推定を行う際に必要となるＡＲ係数の次数の決定が大きな問題点となる。一般にＡＲ係数の次数は状態量に依存しているため、状態量が既知でなければ、理論的にＡＲ係数の次数を正確に決定することは困難である。このことは、状態量が既知でなければならないことを意味しているため、リアルタイム処理は困難となる。また、それにより、正確でないＡＲ係数の次数を用いることになるため、正確なＡＲ係数の推定は困難である。したがって、このことは、カルマンフィルタを用いた従来の画像復元手法の画像復元能力を劣化させる大きな要因となっている。また、何らかの技術でＡＲ次数とＡＲ係数をリアルタイムに推定できるようになったとしても、処理ステップが１段階増えることより演算量の増加は避けられない。これに対して、発明手法１では、ＡＲシステムのコンセプトを必要としないため、このような問題は生じない。
【００８９】
また、カルマンフィルタを用いた従来の画像復元手法では、状態量をＡＲシステムを用いて表現することによってモデル化している。このことは、カルマンフィルタを用いた従来の画像復元手法はＡＲシステムでモデル化可能な状態量にしか適用できないことを意味している。すなわち、カルマンフィルタを用いた従来の画像復元手法は、ＡＲシステムでモデル化が困難な状態量には適用することができない。これに対して、発明手法１は、ＡＲシステムのコンセプトを必要としないため、適用対象に関するこのような制約は存在しない。
【００９０】
また、カルマンフィルタを用いた従来の画像復元手法では、状態方程式の駆動源が白色信号で、かつ、状態量と観測雑音が無相関であることを仮定した上で、カルマンフィルタ理論を適用している。これに対して、発明手法１では、駆動源が有色信号（クリアな画像）となるものの、状態方程式と観測方程式の特殊な構成によって発明手法１のアルゴリズムを実行することができる。このことは、発明手法１は、カルマンフィルタ理論の一般的な適用条件を考慮しなくても実行可能であることを意味している。すなわち、発明手法１は、カルマンフィルタ理論よりも適用範囲が広いといえる。
【００９１】
したがって、ＡＲシステムのコンセプトを必要としない発明手法１は、画像の撮り直しが許されない場面、例えば、医療分野における瞬間的な心臓や肺などの画像復元、汚れなどで劣化した古文書などの復元、および文字・物体認識においても貢献可能な技術である。
【００９２】
また、本発明者は、本発明の効果（発明手法１の有効性）を実証するためにシミュレーションを行った。具体的には、発明手法１の画像復元能力を評価するために、（１）視覚評価、（２）客観評価、および（３）主観評価を行った。視覚評価は、原画像と復元画像とを視覚により比較した評価である。客観評価は、数値による評価である。主観評価は、聞き取り調査である。以下、これらを順に説明する。
【００９３】
まず、シミュレーションの条件について説明しておく。
【００９４】
図１５は、シミュレーション条件を説明するための図である。
【００９５】
本シミュレーションでは、原画像として、図１５に示す２つの画像、つまり、（ａ）「カメラマン（Cameraman）」と（ｂ）「レナ（Lenna）」を用いた。また、原画像に加えるぼけに対応する点拡がり関数（ＰＳＦ）のモデルとして、図１５に示す２次元ガウス関数を用い、雑音として、加法性白色ガウス雑音を用いた。また、信号対雑音比ＳＮＲを２０ｄＢとした。また、比較のため、シミュレーションは、同一の上記シミュレーション条件の下で、従来手法１（ウィナーフィルタを用いた画像復元手法）と、従来手法２（射影フィルタを用いた画像復元手法）と、従来手法３（カルマンフィルタを用いた画像復元手法）と、発明手法１に対して行った。例えば、画像「カメラマン」は、図１６に示すように、空の部分は画像の分散が変化していないため定常性が強く、人物の頭の部分は画像の分散が変化しているため非定常性が強いといえる。
【００９６】
（１）視覚評価
図１７は、原画像「カメラマン」に対するシミュレーション結果（視覚評価）を示す図であり、図１８は、図１７中の破線の円の周辺領域を拡大した図である。
【００９７】
図１８によく示すように、従来手法１は、ぼけがほとんど取り除かれていない。また、従来手法２は、従来手法１よりもぼけが取り除かれているが、原画像と比べるとまだぼけが残っている。一方、従来手法３は、従来手法１、２に比べて、ぼけは取り除かれてくっきりしているように見えるが、原画像とは異なった復元画像となっている。特に、従来手法３は、原画像と比べて全体的に暗くなっており、空の部分においては、劣化画像よりも劣化してしまっている。
【００９８】
これに対して、発明手法１は、図１８によく示すように、従来手法１、２、３に比べて原画像を忠実に復元していることが確認できる。すなわち、図１８の拡大画像においても、発明手法の有効性を確認することができる。
【００９９】
図１９は、図１７と同様の、原画像「カメラマン」に対するシミュレーション結果（視覚評価）を示す図であり、図２０は、図１９中の破線の円の周辺領域を拡大した図である。
【０１００】
図２０によく示すように、カメラの三脚部分に注目すると、従来手法１は、全くぼけが取り除かれていない。また、従来手法２は、従来手法１よりはぼけが取り除かれているが、原画像までは復元されていない。一方、従来手法３は、従来手法１、２に比べるとぼけは取り除かれているように見えるが、画像全体が荒れてしまっており、原画像とかけ離れた復元画像となっていることが確認できる。
【０１０１】
これに対して、発明手法１は、図２０によく示すように、従来手法１、２、３に比べて原画像をより忠実に復元していることが確認できる。すなわち、図２０の拡大画像においても、発明手法１の有効性を確認することができる。
【０１０２】
図２１は、原画像「レナ」に対するシミュレーション結果（視覚評価）を示す図であり、図２２は、図２１中の破線の円の周辺領域を拡大した図である。
【０１０３】
図２２によく示すように、従来手法１は、ほとんどぼけが取り除かれておらず、復元画像が原画像と比べて全体的に白くなっている（輝度が高くなっている）。また、従来手法２は、従来手法１に比べるとぼけは取り除かれているが、原画像まではぼけが取り除かれていない。一方、従来手法３は、従来手法１、２に比べるとぼけが取り除かれておりはっきりとしているように見えるが、劣化画像よりも劣化してしまっており、原画像とはかけ離れた画像になっている。特に肌の部分に注目すると、この点が顕著に表れている。
【０１０４】
これに対して、発明手法１は、図２２によく示すように、従来手法１、２、３に比べて原画像を忠実に復元していることが確認できる。すなわち、図２２の拡大画像においても、発明手法１の有効性を確認することができる。
【０１０５】
（２）客観評価（数値による評価）
図２３は、原画像に対するシミュレーション結果（客観評価）を示す図である。
【０１０６】
ここでは、従来手法１〜３と発明手法１の画像復元能力を数値により評価するため、図２３にも示す次の式（１１）で表されるＰＳＮＲ［ｄＢ］を用いて画像復元能力を評価した。なお、ＰＳＮＲ（Peak Signal-to-Noise Ratio）は、画像の信号に対する雑音の比であり、数値が大きいほど劣化（ぼけや雑音など）が少なく画像として良好であるといえる。
【０１０７】
【数１１】
【０１０８】
この場合、図２３に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法１は、従来手法１、２、３よりもＳＮＲＯＵＴの数値が大きいことが確認できる。これにより、発明手法１は、客観評価の点でも、従来手法１、２、３に比べて画像復元能力が高いことがわかる。
【０１０９】
（３）主観評価（聞き取り調査）
図２４は、原画像に対するシミュレーション結果（主観評価）を示す図である。
【０１１０】
ここでは、従来手法１〜３と発明手法１の画像復元能力を評価するために、聞き取り調査による主観評価を行った。画像復元の性能評価は、ＡＣＲ（絶対範疇評価）に基づく５段階ＭＯＳ（平均オピニオン値）を用いた聞き取り調査により行った。ＭＯＳ評価基準は、図２４に示す通りである。５０人の聴取者が画像復元により得られた画像（図１７〜図２２参照）を評価した。各々の聴取者は、評価値「１」から「５」を決定する。評価値「５」が最良である。
【０１１１】
図２４に示すように、ＭＯＳ評価は、「カメラマン」、「レナ」どちらの画像についても、発明手法１は、従来手法１、２、３よりも高い評価を得ていることが確認できる。これにより、発明手法１は、主観評価の点でも、従来手法１、２、３に比べて画像復元能力が高いことがわかる。
【０１１２】
以上の実験結果により、本発明の画像復元方法（発明手法１）は、従来手法１〜３に比べて高い画像復元能力を発揮していることがわかる。特に、図１７〜図２２の視覚評価から明らかなように、本発明の画像復元方法は、非定常性が強いエッジ部分などにおいて、従来手法１〜３に比べて著しく復元精度が高いことがわかる。
【０１１３】
次いで、上記構成を有する画像復元装置１００の動作について、図２５に示すフローチャートを用いて説明する。なお、図２５に示すフローチャートは、記憶部１５０（主記憶装置１５２または補助記憶装置１５４）に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。
【０１１４】
まず、ステップＳ２０００では、画像入力装置１１０から復元処理対象の画像データ（劣化画像）を取り込み、記憶部１５０（主記憶装置１５２または補助記憶装置１５４）の所定の記憶領域に格納する。
【０１１５】
そして、ステップＳ２０５０では、ステップＳ２０００で取り込んだ画像データを表示メモリ１５６に書き込んで、ディスプレイ１８２に表示する。
【０１１６】
そして、ステップＳ２１００では、操作部１３０の領域指定部１３４で、領域指定処理を行う。具体的には、使用者の入力操作により、ステップＳ２０５０でディスプレイ１８２に表示した画像のうち画像復元処理の対象となる領域（画像の特定の範囲）が指定されると、その指定された領域のデータを生成する。領域の指定は、例えば、画面上、ポインタなどで行われる。なお、使用者により領域の指定が行われなかった場合は、表示された画像全体を指定したものとして取り扱われる。
【０１１７】
そして、ステップＳ２１５０では、拡大処理を行うか否かを判断する。この判断は、例えば、ステップＳ２１００で生成した指定領域データに基づいて行われる。具体的には、指定された領域が表示された画像全体よりも小さい場合には、拡大処理を行うと判断する。この判断の結果として、拡大処理を行う場合は（Ｓ２１５０：ＹＥＳ）、ステップＳ２２００に進み、拡大処理を行わない場合は（Ｓ２１５０：ＮＯ）、直ちにステップＳ２２５０に進む。
【０１１８】
ステップＳ２２００では、ステップＳ２１００で指定した領域の拡大処理を行う。具体的には、例えば、指定された領域が表示された画像全体に対応する大きさとなるように拡大処理を行う。拡大処理の結果は、記憶部１５０（主記憶装置１５２または補助記憶装置１５４）の作業用メモリに書き込まれる。なお、拡大処理が行われなかった場合も、その画像データは作業用メモリに書き込まれる。
【０１１９】
そして、ステップＳ２２５０では、時刻ｎの処理対象ブロック（例えば、３×３の大きさ）を選択する。
【０１２０】
そして、ステップＳ２３００では、ステップＳ２２５０で選択した処理対象ブロックに対して、画像の急激な変化領域が検出されたか否かを判断する。画像の急激な変化領域は、例えば、画像のエッジ部分などに相当する。具体的には、例えば、作業用メモリに書き込まれた画像データ（拡大処理の有無を問わず）に対して、ステップＳ２２５０で選択した処理対象ブロック（３×３の大きさ）上で画素データを順次スキャンすることにより、急激な画素データの変化点があるか否かを検出する。この判断の結果として、画像の急激な変化領域が検出された場合は（Ｓ２３００：ＹＥＳ）、ステップＳ２３５０に進み、画像の急激な変化領域が検出されなかった場合は（Ｓ２３００：ＮＯ）、ステップＳ２４００に進む。
【０１２１】
具体的な検出方法の一例は、次の通りである。ある一定量の過去の観測量の平均値ｙ’（ｎ−１）と現在の観測量ｙ（ｎ）との差の絶対値、つまり、|ｙ’（ｎ−１）−ｙ（ｎ）|の値をしきい値αと比較する。そして、その値がしきい値α以上の場合、つまり、|ｙ’（ｎ−１）−ｙ（ｎ）|≧αの場合は、急激な画素データの変化点があると判断し、その値がしきい値α未満の場合、つまり、|ｙ’（ｎ−１）−ｙ（ｎ）|＜αの場合は、急激な画素データの変化点はないと判断する。例えば、図２６において、時刻ｎ−１の処理対象ブロック３０１における所定部分３０２の観測量の平均値ｙ’（ｎ−１）と、時刻ｎの処理対象ブロック３０３における注目画素の部分３０４の観測量ｙ（ｎ）とを比較する。
【０１２２】
ステップＳ２３５０では、ステップＳ２２５０で選択した処理対象ブロックに対して、発明手法による画像復元処理を行う。発明手法による画像復元処理は、上記のように、急激な画素データの変化点がある場合、つまり、エッジ部分などを含む場合であっても、高精度な復元処理が可能である。なお、発明手法による画像復元処理の詳細な手順の一例については、図１３のフローチャートを用いて説明した通りである。
【０１２３】
一方、ステップＳ２４００では、ステップＳ２２５０で選択した処理対象ブロックに対して、発明手法以外の他の画像復元手法による画像復元処理を行う。他の画像復元手法としては、ウィナーフィルタを用いた画像復元手法や射影フィルタを用いた画像復元手法、カルマンフィルタを用いた画像復元手法などを含む任意の画像復元手法を用いることができる。急激な画素データの変化点がない場合、つまり、エッジ部分などを含まない場合には、他の画像復元手法でも精度良く復元処理を行うことができるからである。
【０１２４】
そして、ステップＳ２４５０では、ステップＳ２３５０での復元処理結果またはステップＳ２４００での復元処理結果を、順次、記憶部１５０（主記憶装置１５２または補助記憶装置１５４）の作業用メモリに保存する。
【０１２５】
そして、ステップＳ２５００では、時刻ｎのカウンタの値を１だけインクリメントする。
【０１２６】
そして、ステップＳ２５５０では、１頁分の画像復元処理が終了したか否かを判断する。この判断は、時刻ｎのカウンタの値に基づいて行われる。この判断の結果として、１頁分の画像復元処理が終了した場合は（Ｓ２５５０：ＹＥＳ）、ステップＳ２６００に進み、１頁分の画像復元処理が終了していない場合は（Ｓ２５５０：ＮＯ）、ステップＳ２２５０に戻る。
【０１２７】
ステップＳ２６００では、１頁分の画像復元処理が終了したため、表示メモリ１５６の更新処理を行う。すなわち、ここでは、１頁分の画像復元処理が終了した時点で表示メモリ１５６を更新するように構成されている。
【０１２８】
そして、ステップＳ２６５０では、ステップＳ２０００で取り込んだ画像データの全頁分に対して画像復元処理が終了したか否かを判断する。この判断の結果として、全頁分の画像復元処理が終了していない場合は（Ｓ２６５０：ＮＯ）、ステップＳ２２５０に戻り、全頁分の画像復元処理が終了した場合は（Ｓ２６５０：ＹＥＳ）、上記一連の処理を終了する。
【０１２９】
次に、ぼけ情報である点拡がり関数（ＰＳＦ）に対応する観測遷移行列Ｍｐ１の設定と実装の具体例について、図２７および図２８を用いて説明する。
【０１３０】
図２７は、復元モードの実装の一例を説明するための図である。
【０１３１】
上記のように、観測遷移行列Ｍｐ１は、式（４）で定義された９×９次の行列であって、画像の劣化モデルにおけるぼけの点拡がり関数（ＰＳＦ）に対応しており、観測遷移行列Ｍｐ１を構成する各要素ｈｒ，ｓ（ｒ，ｓ＝−１，０，１）は、既知であって、予めデータ化して適切に設定されている。すなわち、本実施の形態では、画像によってぼけ具合が変わるため、いわばぼけ情報である観測遷移行列Ｍｐ１の各要素ｈｒ，ｓの値の組を復元モードとしていくつか予め設定しておき、使用者は、操作部１３０の復元モード指定部１３６を介して、その復元モードを任意に指定できるように構成されている。例えば、図２７の例では、デジタルカメラなどによく設定されている夜景モードやスポーツモードなどの撮影モード毎に、予め、その撮影モードに合った適切な観測遷移行列Ｍｐ１がそれぞれ設定されている。したがって、使用者は、撮影モードを切り替えることによって、最適な復元モードを使用することができる。なお、復元モード（観測遷移行列Ｍｐ１の各要素ｈｒ，ｓの値）自体を自動または手動で再調整することも可能である。
【０１３２】
図２８は、復元モードの実装の他の例を説明するための図である。
【０１３３】
図２８の例では、画像によってぼけ具合が変わるため、まず、図２８（Ａ）に示すように、ディスプレイ１８２上で、処理対象の劣化画像を選択した後、図２８（Ｂ）に示すように、観測遷移行列Ｍｐ１（各要素ｈｒ，ｓの値）を変えた復元画像をいくつかディスプレイ１８２に表示する。このとき、使用者が、例えば、操作部１３０（タッチパネルなど）を介して、ディスプレイ１８２に表示された複数の復元画像の中から、最適な復元画像を選択すると、復元画像が決定される。なお、使用者の選択の履歴をデータとして蓄積することによって、使用者の好みに合った復元モード（観測遷移行列Ｍｐ１の各要素ｈｒ，ｓの値）を自動で選択することも可能となる。
【０１３４】
このように、本実施の形態によれば、ＡＲシステムのコンセプトを必要としない新しい状態空間モデル（状態方程式と観測方程式）を構成して１段階処理の新しい予測法によって画像復元を行うため、シンプルで実用的かつ高性能な画像復元を実現することができる。すなわち、ＡＲ次数の決定およびＡＲ係数を推定するステップを必要としないシンプルな構成で、かつ、非定常性が強い自然画像に対しても有効に復元処理を行うことができる実用性を有し、しかも、従来手法１〜３に比べて画像復元能力を向上することができる。
【０１３５】
また、本実施の形態では、上記のように、ＡＲシステムのコンセプトを必要としないため、画像の撮り直しが許されない場面にも広く適用可能である。なお、もちろん、ここでも、上記のように、画像の種類は限定されず、静止画像でも動画像でもよい。
【０１３６】
例えば、古文書の傷や汚れなどをぼけや雑音とみなし、発明手法１を用いてこれらを取り除き、文字・物体認識技術を用いることによって、古文書の解読、復元、およびデジタルデータベース化に効果を発揮することが期待される。
【０１３７】
また、防犯分野においても、近年、防犯カメラ（監視カメラ）などの設置が普及しつつあり、犯罪者の多くは防犯カメラなどに撮影されていることが多いため、この画像が犯罪者の発見の手がかりとなることがある。しかし、これらの画像は一般に画質が荒く、動いている対象物の画像はぼけが生じていることが一般的である。また、これらの画像を拡大した場合には、通常、画像はより一層劣化する。そこで、拡大画像を含めてこれらの劣化画像に発明手法１を適用することによって、劣化画像のぼけと雑音を取り除き、クリアな画像を提供することで、犯罪者の早期発見につながることが期待される。なお、このように、拡大画像を含めて劣化画像に発明手法１を適用することによって、劣化画像のぼけと雑音を取り除き、クリアな画像を提供することは、防犯分野に限らず、監視カメラなどで撮影された画像に基づいて、事故の判定や器具の故障診断などを行う場合にも適用可能である。
【０１３８】
また、近年、カメラ機能付き携帯電話やデジタルカメラなどが急速な勢いで普及し、１人１台の時代となっている。しかし、これらの製品に搭載されている画像復元技術は、顔認識やフィルタなどのぼけや雑音を予防する技術であり、撮り直しが許されない場面を想定していない。したがって、これらの製品に発明手法１を適用することによって、撮り直しが許されない瞬間的な画像復元が可能になる。
【０１３９】
また、医療の分野において、健康を調査する最も効果的な手段の１つとして、内視鏡やレントゲン、エコー、ＣＴ、ＭＲＩなどの画像診断がある。例えば、肺や心臓などの画像診断では、肺や心臓などの動作によってぼけと雑音を含んだ情報から健康診断を行っている。これらの画像診断に発明手法を適用してぼけと雑音を取り除くことによって、専門医にクリアな画像を迅速に提供することが可能となり、病気の早期発見の一助になることが期待される。
【０１４０】
また、近年カーナビゲーションシステムが普及していることから、フロント・リアカメラを搭載した自動車も増えている。このようなリアルタイムで画像復元処理が必要な自動車のフロント・リアカメラなどの場合においても発明手法１は有効である。
【０１４１】
なお、上記のように、本発明に係る画像復元方法の具体的な手法（発明手法）は、発明手法１に限定されない。以下では、他の発明手法として、５つの発明手法２〜６を順次説明する。ただし、発明手法１〜６相互間の比較を容易にするため、上記した発明手法１についても簡単にまとめて説明しておく。また、共通する部分については、適宜、その説明を省略する。
【０１４２】
＜発明手法１＞
まず、各発明手法１〜６に共通の問題設定として、画像復元の理論となる画像劣化モデルについて、再度、簡単に説明しておく。図２９は、劣化画像モデルを視覚的に説明するための図である（図３、式（１）参照）。
【０１４３】
画像の劣化は、図２９の上側に示すように、原画像にぼけと雑音が加わることによって生じる。ぼけは、ある画素がその周囲の画素に影響することによって生じるが、雑音は、画素に関係なく発生する。カメラなどで撮影された画像の場合、ぼけは、手ぶれや焦点ずれなどに起因して生じ、雑音は、暗電流や熱雑音などに起因して不可避的に発生する。劣化画像は、一般的に、原画像とぼけの点拡がり関数（ＰＳＦ）の畳み込み（コンボリューション）に雑音を加えたモデルによって得られる。具体的には、劣化画像ｇ（ｘ，ｙ）は、原画像をｆ（ｍ，ｎ）、ぼけの点拡がり関数をｈ（ｘ，ｙ）、雑音をｎ（ｘ，ｙ）でそれぞれ表すと、図２９に示す劣化画像生成式で表される。この劣化画像モデルでは、雑音ｎ（ｘ，ｙ）と原画像ｆ（ｍ，ｎ）は無相関であること、雑音ｎ（ｘ，ｙ）は加法性白色ガウス雑音であること、が条件となっている。劣化画像の復元は、劣化画像からぼけと雑音を取り除くことにほかならない。
【０１４４】
図３０は、発明手法１の状態空間モデルを視覚的に説明するための図、図３１は、発明手法１の状態過程を視覚的に説明するための図、図３２は、発明手法１の観測過程を視覚的に説明するための図である（以上、図４〜図１１、式（２）〜式（４）参照）。
【０１４５】
発明手法１では、図３０にまとめて示すように、新しい状態空間モデル（状態方程式と観測方程式）を構成し、定式化している。この状態空間モデルは、状態過程と観測過程とで構成される。状態過程は、図３１に示すように、状態方程式によって記述され、観測過程は、図３２に示すように、観測方程式によって記述される。ここで、状態方程式において、ベクトルｘｐ１（ｎ）は状態ベクトル（原画像情報）、行列Φｐ１は状態遷移行列、ベクトルδｐ１（ｎ）は駆動源ベクトルである。また、観測方程式において、ベクトルｙｐ１（ｎ）は観測ベクトル（観測画像情報、劣化画像情報）、行列Ｍｐ１は観測遷移行列、ベクトルεｐ１（ｎ）は観測雑音ベクトルである。また、ベクトルｘｐ１（ｎ）、δｐ１（ｎ）、ｙｐ１（ｎ）、εｐ１（ｎ）の変数としての「ｎ」は、装置の時刻ｎである。時刻ｎは、注目画素（または注目画素領域）と複数の周辺画素（または周辺画素領域）とからなる処理対象ブロックの処理の順番（ｎ番目）を表している。状態方程式は、観測対象のシステムを状態空間モデルで記述したものであり、内部状態つまり状態変数（ここでは、状態ベクトルｘｐ１（ｎ）、ｘｐ１（ｎ＋１））の時間に対する生成過程を表している。また、観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果（ここでは、観測ベクトルｙｐ１（ｎ））が、被観測量つまり入力（ここでは、状態ベクトルｘｐ１（ｎ））に依存して生成される様子を示している。
【０１４６】
図３３は、発明手法１の状態方程式と観測方程式をまとめて示す説明図であり、図３４は、発明手法１のアルゴリズムを説明するための図である（図１２、図１４、式（５）〜式（１０）参照）。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表している。
【０１４７】
図３３に示す状態方程式および観測方程式、ならびに図３４に示すアルゴリズムにおいて、Ｋ１は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ１＝ｍ×ｎで表される。すなわち、発明手法１では、劣化画像の復元処理は、復元対象である注目画素のみを用いるのではなく、その周辺の画素も含めて処理を行う。具体的には、例えば、Ｊ×Ｊの大きさの画像のある注目画素を中心にして、その周辺ｍ×ｎ（ただし、Ｊ＞ｍ、ｎ）の領域を処理対象ブロックとし、この処理対象ブロックの中の画素情報を用いて、画像の復元処理を行う。処理対象ブロックは、画像復元においてｍ×ｎの画素を用いて処理を行う範囲を意味する。図３３および図３４の右下には、Ｋ１＝９（＝３×３）の場合の処理対象ブロックが例示されている。
【０１４８】
図３５は、図３４のアルゴリズムを実行する処理手順を示すフローチャートである（図１３参照）。
【０１４９】
ここでは、図３４のアルゴリズムの表記に対応して、行列とベクトルのサイズをそれぞれ明記している。具体的には、ｎ→（ｎ＋１）の推定誤差の相関値（行列）（Ｓ１１００）は、サイズがＫ１×Ｋ１の行列、重み係数（行列）（Ｓ１２００）は、サイズがＫ１×Ｋ１の行列、ｎ→（ｎ＋１）の状態量の最適推定値（ベクトル）（Ｓ１３００）は、サイズがＫ１×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（ベクトル）（Ｓ１４００）は、サイズがＫ１×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（行列）（Ｓ１６００）は、サイズがＫ１×Ｋ１の行列となる。
【０１５０】
＜発明手法２＞
図３６は、発明手法１の課題を視覚的に説明するための図である。
【０１５１】
発明手法１では、図３６に示すように、時刻ｎの変化は、画素領域（処理対象ブロック）の遷移を用いて表される。時刻ｎ＋１では、例えば、過去の１時刻前の９（＝３×３）個の状態量（原画像の画素情報）ｘ１〜ｘ９を用いて、現在の処理対象ブロックの９（＝３×３）個の状態量（原画像の画素情報）ｘ４〜ｘ１２を推定することにより、注目画素領域の状態量ｘ８を復元する。このように、発明手法１では、１つの注目画素領域の状態量（要素）を復元するために、処理対象ブロック内の状態量（要素）をすべて推定している。しかし、そもそも、１つの注目画素領域の要素を復元するためには、その注目画素領域の要素のみを求めればよく、他の要素の推定は不要である。そこで、発明手法２では、注目画素領域のみを考慮した状態空間モデルを再構成する。具体的には、発明手法２では、発明手法１の観測方程式を再構成して注目画素領域の要素のみを抽出するようにしている。これにより、発明手法２では、発明手法１に対して大幅な演算量の軽減を可能にして、高速（低演算量）な劣化画像復元を実現している。
【０１５２】
図３７は、発明手法２の状態方程式の構成を視覚的に示す説明図であり、特に、（Ａ）は、発明手法１の状態方程式の具体例を示す図、（Ｂ）は、時刻の変化に伴う処理対象ブロックの変化を示す図である。なお、図３７に示すように、発明手法２の状態方程式は、発明手法１の状態方程式と全く同じであるため、その説明を省略する。
【０１５３】
図３８は、発明手法２の観測方程式の構成を視覚的に示す説明図であり、図３９は、発明手法２の観測方程式の構成を視覚的に示す他の説明図である。
【０１５４】
発明手法２では、図３８に示すように、発明手法１の観測方程式において注目画素領域の要素（例えば、画素情報ｙ５（ｎ））のみを抽出して観測方程式を再構成する。これにより、発明手法２では、図３９に示すように、発明手法１における観測ベクトルｙｐ１（ｎ）、観測遷移行列Ｍｐ１、観測雑音ベクトルεｐ１（ｎ）が、それぞれ、スカラー化、ベクトル化、スカラー化されて、観測値ｙｐ２（ｎ）、観測遷移ベクトルｍＴｐ２、観測雑音εｐ２（ｎ）となる。この結果、発明手法２は、発明手法１に対して、サイズが縮小されるため、演算量が大幅に軽減される。なお、演算量の軽減効果については、後で詳述する。
【０１５５】
図４０は、発明手法２の状態方程式と観測方程式をまとめて示す説明図であり、図４１は、発明手法２のアルゴリズムを説明するための図である。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表している。
【０１５６】
図４０に示す状態方程式および観測方程式、ならびに図４１に示すアルゴリズムにおいて、Ｋ２は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ２＝ｍ×ｎで表される。発明手法２のアルゴリズムは、図４２に示すように、初期設定（Initialization）の過程と反復（Iteration）の過程とに大別され、反復過程は、発明手法１の場合（図３４参照）よりも演算量が軽減されるよう、図４０に示す新しい状態空間モデル（状態方程式と観測方程式）を基に構成されている。反復過程では、１〜６の手順を逐次繰り返す。
【０１５７】
図４２は、図４１のアルゴリズムを実行する処理手順を示すフローチャートである。
【０１５８】
上記のように、発明手法２では、図３９に示すように、発明手法１における観測ベクトルｙｐ１（ｎ）、観測遷移行列Ｍｐ１、観測雑音ベクトルεｐ１（ｎ）が、それぞれ、スカラー化、ベクトル化、スカラー化されて、観測値ｙｐ２（ｎ）、観測遷移ベクトルｍＴｐ２、観測雑音εｐ２（ｎ）となっている。これにより、図４２のフローチャートにおいて、ｎ→（ｎ＋１）の推定誤差の相関値（Ｓ３１００）は、サイズがＫ２×Ｋ２の行列、重み係数（Ｓ３２００）は、サイズがＫ２×１のベクトル、ｎ→（ｎ＋１）の状態量の最適推定値（Ｓ３３００）は、サイズがＫ２×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（Ｓ３４００）は、サイズがＫ２×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（Ｓ３６００）は、サイズがＫ２×Ｋ２の行列となる。
【０１５９】
図４３は、発明手法１と発明手法２のアルゴリズムを比較した説明図である。
【０１６０】
図４３に示すように、発明手法１のアルゴリズムでは、逆行列の計算が必要である（反復過程つまり更新式の手順２参照）。一般に、逆行列の計算は複雑であり、演算量が多い。これに対し、発明手法２では、上記したサイズの縮小により、発明手法１における逆行列の計算が、スカラーの逆数の計算となる（反復過程つまり更新式の手順２参照）。スカラーの逆数の計算は簡単であり、演算量は１回で済む。したがって、発明手法２は、発明手法１よりも演算量が大幅に軽減される。
【０１６１】
図４４は、発明手法２の演算量評価を説明するための図である。なお、ここで、従来手法３は、カルマンフィルタを用いた画像復元手法（例えば、非特許文献６参照）である。ただし、非特許文献６に記載された手法は、原画像に雑音が加わった劣化画像にしか対応できないため、本発明者は、非特許文献６に記載された手法をぼけと雑音に対応できるように拡張した上で、以下の各種比較（シミュレーションを含む）を行った。
【０１６２】
図４４において、演算量は、乗算の回数によって表される。図４４の上側に、従来手法３、発明手法１、および発明手法２に対する、更新１回当たりの演算回数の比較結果を示す。これに基づき、更新１回当たりの演算量（乗算回数）を求めると、図４４の中央左側に示す棒グラフが得られる。この棒グラフから明らかなように、発明手法２は、発明手法１よりも演算量が大幅に減少している。演算量の減少効果で見た場合、その大小関係は、従来手法３＜発明手法１＜発明手法２、となる。したがって、発明手法２は、大幅な演算量の軽減を実現している。
【０１６３】
図４５は、発明手法２の復元処理速度評価を説明するための図である。
【０１６４】
ここでは、各手法の処理速度を比較するために、図４５に示すスペック表に基づいて、サイズが異なる２種類の画像の処理時間を測定した。その結果、発明手法１および発明手法２は、いずれも、従来手法３と比較して、ＡＲ係数推定（導出）の演算量が不要であるため、処理速度が速くなっている。また、発明手法２は、上記のように発明手法１よりも演算量が大幅に少ないため、発明手法１よりも高速な処理が可能となっている。処理速度で見た場合、その大小関係は、図４５に示すように、従来手法３＜発明手法１＜発明手法２、となる。したがって、発明手法２は、高速な画像復元処理が可能である。
【０１６５】
また、本発明者は、発明手法２の有効性を検証するためにシミュレーションを行った。具体的には、発明手法２の画像復元能力を評価するために、視覚評価と客観評価を行った。視覚評価は、原画像と復元画像とを視覚により比較した評価であり、客観評価は、数値による評価である。
【０１６６】
図４６は、シミュレーションの条件を説明するための図である。
【０１６７】
本シミュレーションでも、図１５のシミュレーション条件と同様に、原画像として、「カメラマン（Cameraman）」と「レナ（Lenna）」を用いた（画像サイズは共に２５６×２５６）。また、原画像に加えるぼけに対応する点拡がり関数（ＰＳＦ）のモデルとして、図１５に示す２次元ガウス関数を用い、雑音として、加法性白色ガウス雑音を用いた。また、信号対雑音比ＳＮＲを２０ｄＢとした。
【０１６８】
図４７は、比較対象手法との対比において原画像「カメラマン」に対する発明手法２のシミュレーション結果（視覚評価）を示す図であり、図４８は、図４７中の破線の円の周辺領域を拡大した図である。また、図４９は、比較対象手法との対比において原画像「レナ」に対する発明手法２のシミュレーション結果（視覚評価）を示す図であり、図５０は、図４９中の破線の円の周辺領域を拡大した図である。なお、ここで、比較対象手法は、従来手法３と発明手法１である。
【０１６９】
図４７〜図５０に示すように、発明手法１および発明手法２は、従来手法３に比べて、明らかに原画像を忠実に復元していることがわかる。ただし、発明手法１と発明手法２を比較した場合、画像復元能力はほぼ同等のレベルであるといえる。
【０１７０】
図５１は、比較対象手法との対比において原画像に対する発明手法２のシミュレーション結果（客観評価）を示す図である。
【０１７１】
ここでは、従来手法３、発明手法１、および発明手法２の画像復元能力を数値により評価するため、図５１に示すＰＳＮＲ（Peak Signal-to-Noise Ratio）（式（１１）参照）を用いて画像復元能力を評価した。なお、ＰＳＮＲは、画像の似かより度を示す値であり、値が大きいほど劣化（ぼけや雑音など）が少なく画像として良好であるといえる。
【０１７２】
この場合、図５１に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法１および発明手法２は、従来手法３よりもＰＳＮＲの数値が大きいことが確認できる。これにより、発明手法１および発明手法２は、客観評価の点でも、従来手法３に比べて画像復元能力が高いことがわかる。一方、発明手法１と発明手法２を比較した場合には、発明手法１よりも発明手法２のほうが若干高い客観評価（数値による評価）となっている。これにより、客観評価の大小（良否）関係は、図５１に示すように、従来手法３＜発明手法１＜発明手法２、となる。ただし、この若干の差異は、図４７〜図５０の比較からわかるように、ほぼないに等しい。
【０１７３】
以上より、発明手法２は、発明手法１に対して、画像復元能力をほぼ維持しながら、演算量を大幅に軽減して高速な画像復元処理を実現していることがわかる。
【０１７４】
＜発明手法３＞
図５２は、発明手法２の課題を視覚的に説明するための図である。
【０１７５】
発明手法２は、上記のように、発明手法１に対して、演算量を大幅に軽減して高速な画像復元処理を実現することができるものの、画像復元能力が若干低下している。これは、図５２に示すように、発明手法２の観測方程式において、有色性駆動源の影響が大きい領域が含まれていないためであると考えられる。そこで、発明手法３では、注目画素領域のみでなく有色駆動源をも考慮した状態空間モデルを再構成する。すなわち、発明手法３では、有色性駆動源の影響を最大限に与えるように状態空間モデルを再構成する。
【０１７６】
図５３は、発明手法３の観測方程式の構成を視覚的に示す説明図であり、図５４は、発明手法３の状態空間モデルを視覚的に説明するための図である。なお、発明手法３の状態方程式は、発明手法２（ひいては発明手法１）の状態方程式と全く同じであるため、その説明を省略する。
【０１７７】
発明手法３では、図５３に示すように、発明手法１の観測方程式において、注目画素領域の要素（例えば、画素情報ｙ５（ｎ））に加えて、有色性駆動源の影響を受ける領域の要素（例えば、画素情報ｙ７（ｎ）、ｙ８（ｎ）、ｙ９（ｎ））をも抽出して観測方程式を再構成する。すなわち、発明手法３では、有色性駆動源の影響を考慮するために、発明手法２と比較して、画素情報ｙ７（ｎ）、ｙ８（ｎ）、ｙ９（ｎ）をも取り入れる。これにより、発明手法３では、発明手法１における観測ベクトルｙｐ１（ｎ）、観測遷移行列Ｍｐ１、および観測雑音ベクトルεｐ１（ｎ）は、サイズがそれぞれ縮小されて、観測ベクトルｙｐ３（ｎ）、観測遷移行列Ｍｐ３、観測雑音ベクトルεｐ３（ｎ）となる。このように、発明手法３では、図５４に示すように、状態方程式における有色性駆動源の影響を最大限に考慮するべく、注目画素領域と有色性駆動源の影響を受ける領域とから観測方程式を再構成する。これにより、発明手法３は、発明手法２の場合よりもサイズの縮小は小さいものの、発明手法１に対してサイズが縮小されるため、演算量は大幅に軽減される。
【０１７８】
図５５は、発明手法３の状態方程式と観測方程式をまとめて示す説明図であり、図５６は、発明手法３のアルゴリズムを説明するための図である。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表し、アルファベットの大文字「Ｃ（γ×ζ）」は、サイズがγ×ζの行列を表している。
【０１７９】
図５５に示す状態方程式および観測方程式、ならびに図５６に示すアルゴリズムにおいて、Ｋ３は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ３＝ｍ×ｎで表される。また、Ｌ３は、注目画素領域と有色性駆動源を含む領域とを合わせた領域に含まれる画素数であり、Ｌ３＝１＋ｍで表される（Ｌ３＜Ｋ３）。発明手法３のアルゴリズムは、図５６に示すように、初期設定（Initialization）の過程と反復（Iteration）の過程とに大別され、反復過程は、発明手法２の場合（図４１参照）よりも演算量が若干増加するものの、発明手法１の場合（図３４参照）よりも演算量が軽減されるよう、図５５に示す新しい状態空間モデル（状態方程式と観測方程式）を基に構成されている。反復過程では、１〜６の手順を逐次繰り返す。
【０１８０】
図５７は、図５６のアルゴリズムを実行する処理手順を示すフローチャートである。
【０１８１】
上記のように、発明手法３では、図５３に示すように、発明手法１における観測ベクトルｙｐ１（ｎ）、観測遷移行列Ｍｐ１、観測雑音ベクトルεｐ１（ｎ）は、サイズがそれぞれ縮小されて（つまり、Ｌ３＜Ｋ３）、観測ベクトルｙｐ３（ｎ）、観測遷移行列Ｍｐ３、観測雑音ベクトルεｐ３（ｎ）となっている。これにより、図５７のフローチャートにおいて、ｎ→（ｎ＋１）の推定誤差の相関値（Ｓ４１００）は、サイズがＫ３×Ｋ３の行列、重み係数（Ｓ４２００）は、サイズがＫ３×Ｌ３の行列、ｎ→（ｎ＋１）の状態量の最適推定値（Ｓ４３００）は、サイズがＫ３×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（Ｓ４４００）は、サイズがＫ３×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（Ｓ４６００）は、サイズがＫ３×Ｋ３の行列となる。
【０１８２】
図５８は、発明手法３の演算量評価を説明するための図である。
【０１８３】
図５８の上側に、発明手法３に対する、更新１回当たりの演算回数（乗算回数）を示す。これに基づき、更新１回当たりの演算量（乗算回数）を求め、得られた結果を図４４に示す棒グラフに加えると、図５８の中央左側に示す棒グラフが得られる。この棒グラフから明らかなように、発明手法３は、発明手法１よりも演算量は大幅に少ない。演算量の減少効果で見た場合、その大小関係は、従来手法３＜発明手法１＜発明手法３＜発明手法２、となる。したがって、発明手法３は、良好な演算量軽減を実現している。
【０１８４】
図５９は、発明手法３の復元処理速度評価を説明するための図である。
【０１８５】
ここでは、図４５の結果に、発明手法３の測定結果を追加した。その結果、発明手法３も、従来手法３と比較して、ＡＲ係数推定（導出）の演算量が不要であるため、処理速度が速くなっている。また、発明手法３は、上記のように発明手法１よりも演算量が大幅に少ないため、発明手法１よりも高速な処理が可能となっている。発明手法３は、発明手法２よりも処理速度が若干遅い程度である。処理速度で見た場合、その大小関係は、図５９に示すように、従来手法３＜発明手法１＜発明手法３＜発明手法２、となる。したがって、発明手法３も、高速な画像復元処理が可能である。
【０１８６】
図６０は、比較対象手法との対比において原画像「カメラマン」に対する発明手法３のシミュレーション結果（視覚評価）を示す図であり、図６１は、図６０中の破線の円の周辺領域を拡大した図である。また、図６２は、比較対象手法との対比において原画像「レナ」に対する発明手法３のシミュレーション結果（視覚評価）を示す図であり、図６３は、図６２中の破線の円の周辺領域を拡大した図である。なお、シミュレーション条件は、図４６に示す通りである。また、ここでの比較対象手法は、従来手法３と発明手法１である。
【０１８７】
図６０〜図６３に示すように、発明手法３は、従来手法３に比べて、明らかに原画像を忠実に復元していることがわかる。しかも、発明手法１と比較しても、画像復元能力は、発明手法３のほうが高いことがわかる。
【０１８８】
図６４は、比較対象手法との対比において原画像に対する発明手法３のシミュレーション結果（客観評価）を示す図である。
【０１８９】
この場合、図６４に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法３は、他のどの手法（従来手法３はもとより発明手法１および発明手法２）よりもＰＳＮＲの数値が大きいことが確認できる。これにより、発明手法３は、客観評価の点でも、他の手法（従来手法３、発明手法１、発明手法２）に比べて画像復元能力が高いことがわかる。これにより、客観評価（数値による評価）の大小（良否）関係は、図６４に示すように、従来手法３＜発明手法１＜発明手法２＜発明手法３、となる。
【０１９０】
以上より、発明手法３は、発明手法２よりも演算量を若干増加させつつも、発明手法１および発明手法２よりも高い良好な画像復元能力を発揮することができる高速な画像復元処理を実現していることがわかる。
【０１９１】
＜発明手法４＞
図６５は、１次元の画像復元手法の特徴を説明するための図である。
【０１９２】
発明手法１〜３は、１次元の画像復元手法である。１次元の画像復元手法である発明手法１〜３では、図６５に示すように、周辺画素領域を用いて注目画素領域（１画素のみ）を復元する。このとき、画像復元手法は、用途や状況などに応じて適用可能である。例えば、上記のように、発明手法２は、発明手法１に比べて、高速（低演算量）な画像復元手法であり、発明手法３は、発明手法２よりも演算量は若干多いが、発明手法１および発明手法２よりも画像復元能力を向上させた手法であるため、処理速度を優先したい場合には発明手法２を適用し、画質を優先したい場合には発明手法３を適用する、という使い方が可能である。
【０１９３】
図６６は、２次元の画像復元手法の特徴を説明するための図である。
【０１９４】
発明手法４では、１次元の発明手法１を２次元に拡張した２次元の画像復元手法を提案する。発明手法４では、発明手法１の場合よりも注目画素領域を大きくとることにより、更新回数を軽減して処理効率のよい復元が可能となる。そのため、発明手法４では、発明手法１における画素領域（１画素のみ）を、縦と横の任意の長さをｐ、ｑとした画素領域に拡張する（以下「画素領域の２次元化」ともいう）。１つの画素領域がｐ＝ｑ＝２、かつ、処理対象ブロック（注目画素領域と周辺画素領域とからなる）が３ｐｑ×３ｐｑの場合の例を、図６６に示す。画素領域の２次元化に当たり、画素領域のサイズおよび処理対象ブロックのサイズは、それぞれ、自由に選択可能である。画素領域の２次元化により、注目画素領域の画素数が多くなるため、処理の効率化が図られる。また、ｐ＝ｑ＝１の場合、注目画素領域は１次元の画像復元手法（発明手法１〜３）と等しくなるため、２次元の画像復元手法である発明手法４は、柔軟性のある手法といえる。なお、上記のように、１次元カルマンフィルタを２次元に拡張した２次元カルマンフィルタも知られているが、２次元カルマンフィルタも、１次元カルマンフィルタと同様に、ＡＲ係数を用いるため、ＡＲ係数の推定精度に起因する画像復元能力の低下は避けられない。これを解決するためには、ＡＲ係数を必要としない新しい予測法を発案して、２次元カルマンフィルタの状態空間モデルを再構成すればよい。発明手法４は、まさに、このための新しい手法であり、発明手法１を２次元に拡張した新しい予測法に基づく画像復元手法である。以下、発明手法４について、より詳細に説明する。
【０１９５】
図６７は、発明手法４の状態空間モデルを視覚的に説明するための図である。また、図６８は、発明手法４の状態過程を視覚的に説明するための図であり、図６９は、発明手法４の状態方程式の構成を視覚的に示す説明図である。
【０１９６】
状態過程について、発明手法４では、図６８に示すように、画素領域として、サイズがｐ×ｑの領域を指定し、指定した画素領域に含まれる画素情報を並べてｐｑ×１次の画素領域ベクトルを生成する。例えば、図６８に示すように、ｐ＝ｑ＝２、かつ、３ｐｑ×３ｐｑの領域の場合を例にとると、一番左上の画素領域ベクトルｘ１（ｎ）は、４個の画素情報ｘ１（ｎ）、ｘ２（ｎ）、ｘ３（ｎ）、ｘ４（ｎ）を要素とする４×１次のベクトルであり、一番右下の画素領域ベクトルｘ９（ｎ）は、４個の画素情報ｘ３３（ｎ）、ｘ３４（ｎ）、ｘ３５（ｎ）、ｘ３６（ｎ）を要素とする４×１次のベクトルである。そして、９個の画素領域に対応する画素領域ベクトルｘｋ（ｎ）（ｋ＝１、２、…、９）を並べて状態ベクトルｘ（ｎ）を表現する。すなわち、発明手法４では、図６９に示すように、画素領域を、発明手法１における画素情報と対応付けて、同様の処理を行う。
【０１９７】
図７０は、発明手法４の観測過程を視覚的に説明するための図であり、図７１は、発明手法４の観測方程式の構成を視覚的に示す説明図である。
【０１９８】
観測過程についても、発明手法４では、図７０に示すように、画素領域として、サイズがｐ×ｑの領域を指定し、指定した画素領域に含まれる画素情報を並べてｐｑ×１次の画素領域ベクトルを生成する。例えば、図７０に示すように、ｐ＝ｑ＝２、かつ、３ｐｑ×３ｐｑの領域の場合を例にとると、一番左上の画素領域ベクトルｙ１（ｎ）は、４個の画素情報ｙ１（ｎ）、ｙ２（ｎ）、ｙ３（ｎ）、ｙ４（ｎ）を要素とする４×１次のベクトルであり、一番右下の画素領域ベクトルｙ９（ｎ）は、４個の画素情報ｙ３３（ｎ）、ｙ３４（ｎ）、ｙ３５（ｎ）、ｙ３６（ｎ）を要素とする４×１次のベクトルである。そして、９個の画素領域に対応する画素領域ベクトルｙｋ（ｎ）（ｋ＝１、２、…、９）を並べて観測ベクトルｙ（ｎ）を表現する。すなわち、発明手法４では、図７１に示すように、画素領域を、発明手法１における画素情報と対応付けて、同様の処理を行う。
【０１９９】
図７２は、発明手法４の観測遷移行列の、ｐ＝ｑ＝２、かつ、３ｐｑ×３ｐｑの領域の場合の具体例を示す図であり、図７３は、図７２の観測遷移行列の構成を視覚的に示す説明図である。また、図７４は、図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示す図、図７５は、図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示す他の図、図７６は、図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示すさらに他の図である。
【０２００】
ここでは、発明手法４の観測遷移行列を構成する３×３（＝９）個の係数ｈｒ，ｓ（座標ｒ，ｓ＝−１，０，１）は、発明手法１の場合と同じであり、画素情報を単位として見たときに、発明手法１の場合と同様の関係が成り立つように、割り当てられている。係数ｈｒ，ｓ（ｒ，ｓ＝−１，０，１）の具体的な割り当て方法は、画素情報を単位としたときの観測量ｙｉの位置に応じて、図７４〜図７６にそれぞれ示す通りである。
【０２０１】
図７７は、発明手法４の状態方程式と観測方程式をまとめて示す説明図であり、図７８は、発明手法４のアルゴリズムを説明するための図である。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表している。
【０２０２】
図７７に示す状態方程式および観測方程式、ならびに図７８に示すアルゴリズムにおいて、Ｋ４は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ４＝ｍ×ｎで表される。ここで、ｍ、ｎは、それぞれ、ｍ＝ｌｍ×ｐ、ｎ＝ｌｎ×ｑで表される。ｐ、ｑは、それぞれ、注目画素領域の縦軸と横軸の長さであり、ｌｍ、ｌｎは、それぞれ、ｐ×ｑと同等のサイズを周辺画素領域の縦軸と横軸に構成した数である。
【０２０３】
図７９は、図７８のアルゴリズムを実行する処理手順を示すフローチャートである。
【０２０４】
ここでは、図７８のアルゴリズムの表記に対応して、行列とベクトルのサイズをそれぞれ明記している。具体的には、ｎ→（ｎ＋１）の推定誤差の相関値（行列）（Ｓ５１００）は、サイズがＫ４×Ｋ４の行列、重み係数（行列）（Ｓ５２００）は、サイズがＫ４×Ｋ４の行列、ｎ→（ｎ＋１）の状態量の最適推定値（ベクトル）（Ｓ５３００）は、サイズがＫ４×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（ベクトル）（Ｓ５４００）は、サイズがＫ４×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（行列）（Ｓ５６００）は、サイズがＫ４×Ｋ４の行列となる。
【０２０５】
図８０は、発明手法４の演算量評価を説明するための図である。なお、ここで、従来手法４は、２次元カルマンフィルタを用いた画像復元手法（例えば、非特許文献８参照）である。ただし、非特許文献８に記載された手法は、原画像に雑音が加わった劣化画像にしか対応できないため、本発明者は、非特許文献８に記載された手法をぼけと雑音に対応できるように拡張した上で、以下の各種比較（シミュレーションを含む）を行った。
【０２０６】
図８０の上側に、従来手法４および発明手法４に対する、更新１回当たりの演算回数（乗算回数）を示す。これに基づき、２５６×２５６サイズの１枚の画像を復元するのに必要な演算量（乗算回数）を求め、得られた結果を発明手法１に対する結果と一緒に示すと、図８０の中央左側に示す棒グラフが得られる。この棒グラフから明らかなように、発明手法４は、従来手法４よりも演算量は少ないが、発明手法１よりも演算量は多い。しかし、発明手法４は、発明手法１に比べて、注目画素領域が広いため、更新回数は少ない。演算量の減少効果で見た場合、その大小関係は、従来手法４＜発明手法４＜発明手法１、となる。したがって、発明手法４は、注目画素領域と周辺画素領域のサイズをそれぞれ変化させることにより、効率のよい画像復元が可能である。
【０２０７】
図８１は、発明手法４の復元処理速度評価を説明するための図である。
【０２０８】
ここでは、発明手法１の測定結果に、従来手法４と発明手法４の測定結果を追加した。その結果、発明手法４は、従来手法４と比較して、ＡＲ係数推定（導出）の演算量が不要であるため、処理速度が速くなっている。また、発明手法４は、上記のように発明手法１よりも演算量は多いものの更新回数は少ないため、発明手法１よりも高速な処理が可能となっている。処理速度で見た場合、その大小関係は、図８１に示すように、従来手法４＜発明手法１＜発明手法４、となる。したがって、発明手法４は、高速な画像復元処理が可能である。
【０２０９】
図８２は、比較対象手法との対比において原画像「カメラマン」に対する発明手法４のシミュレーション結果（視覚評価）を示す図であり、図８３は、図８２中の破線の円の周辺領域を拡大した図である。また、図８４は、比較対象手法との対比において原画像「レナ」に対する発明手法４のシミュレーション結果（視覚評価）を示す図であり、図８５は、図８４中の破線の円の周辺領域を拡大した図である。なお、シミュレーション条件は、図４６に示す通りである。また、ここでの比較対象手法は、従来手法３と発明手法１である。
【０２１０】
図８２〜図８５に示すように、発明手法４は、従来手法３に比べて、明らかに原画像を忠実に復元していることがわかる。しかも、発明手法１と比較しても、画像復元能力は、発明手法４のほうが高いことがわかる。
【０２１１】
図８６は、比較対象手法との対比において原画像に対する発明手法４のシミュレーション結果（客観評価）を示す図である。
【０２１２】
この場合、図８６に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法４は、発明手法３よりもＰＳＮＲの数値はやや小さいものの、従来手法３はもとより発明手法１および発明手法２よりもＰＳＮＲの数値が大きいことが確認できる。これにより、発明手法４は、客観評価の点でも、従来手法３、発明手法１、および発明手法２に比べて画像復元能力が高いことがわかる。これにより、客観評価（数値による評価）の大小（良否）関係は、図８６に示すように、従来手法３＜発明手法１＜発明手法２＜発明手法４＜発明手法３、となる。
【０２１３】
以上より、発明手法４は、発明手法１よりも演算量は多いものの、発明手法１および発明手法２よりも高い良好な画像復元能力を発揮することができる高速な画像復元処理を実現していることがわかる。
【０２１４】
＜発明手法５＞
図８７は、発明手法４の課題を視覚的に説明するための図である。
【０２１５】
発明手法４では、図８７に示すように、時刻ｎの変化は、画素領域（処理対象ブロック）の遷移を用いて表される。時刻ｎ＋１では、例えば、過去の１時刻前の９（＝３×３）個の画素領域にそれぞれ含まれる各状態量（原画像の画素情報）を用いて、現在の処理対象ブロックの９（＝３×３）個の画素領域にそれぞれ含まれる各状態量（原画像の画素情報）を推定することにより、注目画素領域の状態量ｘ２９、ｘ３０、ｘ３１、ｘ３２を復元する。このように、発明手法４では、１つの注目画素領域に含まれる各状態量（要素）を復元するために、処理対象ブロック内の状態量（要素）をすべて推定している。しかし、そもそも、１つの注目画素領域内の要素を復元するためには、その注目画素領域内の要素のみを求めればよく、他の要素の推定は不要である。そこで、発明手法５では、注目画素領域のみを考慮した状態空間モデルを再構成する。具体的には、発明手法５では、発明手法４の観測方程式を再構成して注目画素領域に含まれる要素のみを抽出するようにしている。これにより、発明手法５では、発明手法４に対して大幅な演算量の軽減を可能にして、高速（低演算量）な劣化画像復元を実現している。なお、発明手法５は、発明手法２を２次元に拡張したものともいえる。
【０２１６】
図８８は、発明手法５の状態方程式の構成を視覚的に示す説明図であり、特に、（Ａ）は、発明手法４の状態方程式の具体例を示す図、（Ｂ）は、時刻の変化に伴う処理対象ブロックの変化を示す図である。なお、図８８に示すように、発明手法５の状態方程式は、発明手法４の状態方程式と全く同じであるため、その説明を省略する。
【０２１７】
図８９は、発明手法５の観測方程式の構成を視覚的に示す説明図であり、図９０は、発明手法５の観測方程式の構成を視覚的に示す他の説明図である。
【０２１８】
発明手法５では、図８９に示すように、発明手法４の観測方程式において注目画素領域に含まれる要素（例えば、画素領域ベクトルｙ５（ｎ））のみを抽出して観測方程式を再構成する。これにより、発明手法５では、図９０に示すように、発明手法４における観測ベクトルｙｐ４（ｎ）、観測遷移行列Ｍｐ４、観測雑音ベクトルεｐ４（ｎ）は、それぞれ、サイズが縮小されて、観測ベクトルｙｐ５（ｎ）、観測遷移行列Ｍｐ５、観測雑音ベクトルεｐ５（ｎ）となる。この結果、発明手法５は、発明手法４に対して、サイズが縮小されるため、演算量が大幅に軽減される。なお、演算量の軽減効果については、後で詳述する。
【０２１９】
図９１は、発明手法５の状態方程式と観測方程式をまとめて示す説明図であり、図９２は、発明手法５のアルゴリズムを説明するための図である。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表し、アルファベットの大文字「Ｃ（γ×ζ）」は、サイズがγ×ζの行列を表している。
【０２２０】
図９１に示す状態方程式および観測方程式、ならびに図９２に示すアルゴリズムにおいて、Ｋ５は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ５＝ｍ×ｎで表される。ここで、ｍ、ｎは、それぞれ、ｍ＝ｌｍ×ｐ、ｎ＝ｌｎ×ｑで表される。ｐ、ｑは、それぞれ、注目画素領域の縦軸と横軸の長さであり、ｌｍ、ｌｎは、それぞれ、ｐ×ｑと同等のサイズを周辺画素領域の縦軸と横軸に構成した数である。また、Ｌ５は、注目画素領域に含まれる画素数であり、Ｌ５＝ｐ×ｑで表される。
【０２２１】
図９３は、図９２のアルゴリズムを実行する処理手順を示すフローチャートである。
【０２２２】
上記のように、発明手法５では、図９０に示すように、発明手法４における観測ベクトルｙｐ４（ｎ）、観測遷移行列Ｍｐ４、観測雑音ベクトルεｐ４（ｎ）は、それぞれ、サイズが９ｐｑ×１→ｐｑ×１、９ｐｑ×９ｐｑ→ｐｑ×９ｐｑ、９ｐｑ×１→ｐｑ×１に縮小されて（つまり、Ｌ５＜Ｋ５）、観測ベクトルｙｐ５（ｎ）、観測遷移行列Ｍｐ５、観測雑音ベクトルεｐ５（ｎ）となっている。これにより、図９３のフローチャートにおいて、ｎ→（ｎ＋１）の推定誤差の相関値（Ｓ６１００）は、サイズがＫ５×Ｋ５の行列、重み係数（Ｓ６２００）は、サイズがＫ５×Ｌ５の行列、ｎ→（ｎ＋１）の状態量の最適推定値（Ｓ６３００）は、サイズがＫ５×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（Ｓ６４００）は、サイズがＫ５×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（Ｓ６６００）は、サイズがＫ５×Ｋ５の行列となる。
【０２２３】
図９４は、発明手法４と発明手法５のアルゴリズムを比較した説明図である。
【０２２４】
図９４に示すように、発明手法４のアルゴリズムでは、サイズが９ｐｑ×９ｐｑの逆行列の計算が必要であり（反復過程つまり更新式の手順２参照）、演算量が多い。これに対し、発明手法５では、上記したサイズの縮小により、サイズが９ｐｑ×９ｐｑの逆行列が、サイズがｐｑ×ｐｑの逆行列となっている（反復過程つまり更新式の手順２参照）。したがって、発明手法５は、発明手法４よりも演算量が大幅に軽減される。
【０２２５】
図９５は、発明手法５の演算量評価を説明するための図である。
【０２２６】
図９５の上側に、発明手法５に対する、更新１回当たりの演算回数（乗算回数）を示す。これに基づき、２５６×２５６サイズの１枚の画像を復元するのに必要な演算量（乗算回数）を求め、得られた結果を図８０に示す棒グラフに加えると、図９５の中央左側に示す棒グラフが得られる。この棒グラフから明らかなように、発明手法５は、従来手法４および発明手法４よりも演算量は大幅に少ない。演算量の減少効果で見た場合、その大小関係は、従来手法４＜発明手法４＜発明手法１＜発明手法５、となる。したがって、発明手法５は、大幅な演算量の軽減が可能であり、高速（低演算量）な画像復元が可能である。
【０２２７】
図９６は、発明手法５の復元処理速度評価を説明するための図
【０２２８】
ここでは、図８１の結果に、発明手法５の測定結果を追加した。その結果、発明手法５も、従来手法４と比較して、ＡＲ係数推定（導出）の演算量が不要であるため、処理速度が速くなっている。また、発明手法５は、上記のように発明手法１および発明手法４よりも演算量が少ないため、発明手法１および発明手法４よりも高速な処理が可能となっている。処理速度で見た場合、その大小関係は、図９６に示すように、従来手法４＜発明手法１＜発明手法４＜発明手法５、となる。したがって、発明手法５は、高速な画像復元処理が可能である。
【０２２９】
図９７は、比較対象手法との対比において原画像「カメラマン」に対する発明手法５のシミュレーション結果（視覚評価）を示す図であり、図９８は、図９７中の破線の円の周辺領域を拡大した図である。また、図９９は、比較対象手法との対比において原画像「レナ」に対する発明手法５のシミュレーション結果（視覚評価）を示す図であり、図１００は、図９９中の破線の円の周辺領域を拡大した図である。なお、シミュレーション条件は、図４６に示す通りである。また、ここでの比較対象手法は、従来手法３と発明手法１である。
【０２３０】
図９７〜図１００に示すように、発明手法５は、従来手法３に比べて、明らかに原画像を忠実に復元していることがわかる。ただし、発明手法１と発明手法５を比較した場合、画像復元能力はほぼ同等のレベルである。
【０２３１】
図１０１は、比較対象手法との対比において原画像に対する発明手法５のシミュレーション結果（客観評価）を示す図である。
【０２３２】
この場合、図１０１に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法５は、発明手法３よりもＰＳＮＲの数値が小さく、従来手法３よりはＰＳＮＲの数値が大きいものの、発明手法１、２、４とはＰＳＮＲの数値がほぼ同レベルであることが確認できる。これにより、発明手法５は、客観評価の点でも、従来手法３に比べて画像復元能力が高いことがわかる。これにより、客観評価（数値による評価）の大小（良否）関係は、図１０１に示すように、従来手法３＜発明手法１＜発明手法５＜発明手法２＜発明手法４＜発明手法３、となる。
【０２３３】
以上より、発明手法５は、２次元に拡張した発明手法４とほぼ同等な画像復元能力を維持しつつ、演算量の軽減により高速で、かつ、処理効率が向上した画像復元手法を実現していることがわかる。
【０２３４】
＜発明手法６＞
図１０２は、発明手法５の課題を視覚的に説明するための図である。
【０２３５】
発明手法５は、上記のように、発明手法４に対して、演算量を大幅に軽減して高速な画像復元処理を実現することができるものの、画像復元能力が若干低下している。これは、図１０２に示すように、発明手法５の観測方程式において、有色性駆動源の影響が大きい領域が含まれていないためであると考えられる。そこで、発明手法６では、注目画素領域のみでなく有色駆動源をも考慮した状態空間モデルを再構成する。すなわち、発明手法６では、有色性駆動源の影響を最大限に与えるように状態空間モデルを再構成する。
【０２３６】
図１０３は、発明手法６の観測方程式の構成を視覚的に示す説明図であり、図１０４は、発明手法６の状態空間モデルを視覚的に説明するための図である。なお、発明手法６の状態方程式は、発明手法５（ひいては発明手法４）の状態方程式と全く同じであるため、その説明を省略する。
【０２３７】
発明手法６では、図１０３に示すように、発明手法４の観測方程式において、注目画素領域に含まれる要素（例えば、画素領域ベクトルｙ５（ｎ））に加えて、有色性駆動源の影響を受ける領域に含まれる要素（例えば、画素領域ベクトルｙ７（ｎ）、ｙ８（ｎ）、ｙ９（ｎ））をも抽出して観測方程式を再構成する。すなわち、発明手法６では、有色性駆動源の影響を考慮するために、発明手法５と比較して、画素領域ベクトルｙ７（ｎ）、ｙ８（ｎ）、ｙ９（ｎ）をも取り入れる。これにより、発明手法６では、発明手法４における観測ベクトルｙｐ４（ｎ）、観測遷移行列Ｍｐ４、および観測雑音ベクトルεｐ４（ｎ）は、サイズがそれぞれ縮小されて、観測ベクトルｙｐ６（ｎ）、観測遷移行列Ｍｐ６、観測雑音ベクトルεｐ６（ｎ）となる。このように、発明手法６では、図１０４に示すように、状態方程式における有色性駆動源の影響を最大限に考慮するべく、注目画素領域と有色性駆動源の影響を受ける領域とから観測方程式を再構成する。これにより、発明手法６は、発明手法５の場合よりもサイズの縮小は小さいものの、発明手法４に対してサイズが縮小されるため、演算量は大幅に軽減される。
【０２３８】
図１０５は、発明手法６の状態方程式と観測方程式をまとめて示す説明図であり、図１０６は、発明手法６のアルゴリズムを説明するための図である。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表し、アルファベットの大文字「Ｃ（γ×ζ）」は、サイズがγ×ζの行列を表している。
【０２３９】
図１０５に示す状態方程式および観測方程式、ならびに図１０６に示すアルゴリズムにおいて、Ｋ６は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ６＝ｍ×ｎで表される。ここで、ｍ、ｎは、それぞれ、ｍ＝ｌｍ×ｐ、ｎ＝ｌｎ×ｑで表される。ｐ、ｑは、それぞれ、注目画素領域の縦軸と横軸の長さであり、ｌｍ、ｌｎは、それぞれ、ｐ×ｑと同等のサイズを周辺画素領域の縦軸と横軸に構成した数である。また、Ｌ６は、注目画素領域と有色性駆動源を含む領域とを合わせた領域に含まれる画素数であり、Ｌ６＝ｐ×ｑ＋ｍ×ｑで表される（Ｌ６＜Ｋ６）。発明手法６のアルゴリズムは、図１０６に示すように、初期設定（Initialization）の過程と反復（Iteration）の過程とに大別され、反復過程は、発明手法５の場合（図９２参照）よりも演算量が若干増加するものの、発明手法４の場合（図７８参照）よりも演算量が軽減されるよう、図１０５に示す新しい状態空間モデル（状態方程式と観測方程式）を基に構成されている。反復過程では、１〜６の手順を逐次繰り返す。
【０２４０】
図１０７は、図１０６のアルゴリズムを実行する処理手順を示すフローチャートである。
【０２４１】
上記のように、発明手法６では、図１０３に示すように、発明手法４における観測ベクトルｙｐ４（ｎ）、観測遷移行列Ｍｐ４、観測雑音ベクトルεｐ４（ｎ）は、サイズがそれぞれ縮小されて（つまり、Ｌ６＜Ｋ６）、観測ベクトルｙｐ６（ｎ）、観測遷移行列Ｍｐ６、観測雑音ベクトルεｐ６（ｎ）となっている。これにより、図１０７のフローチャートにおいて、ｎ→（ｎ＋１）の推定誤差の相関値（Ｓ７１００）は、サイズがＫ６×Ｋ６の行列、重み係数（Ｓ７２００）は、サイズがＫ６×Ｌ６の行列、ｎ→（ｎ＋１）の状態量の最適推定値（Ｓ７３００）は、サイズがＫ６×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（Ｓ７４００）は、サイズがＫ６×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（Ｓ７６００）は、サイズがＫ６×Ｋ６の行列となる。
【０２４２】
図１０８は、発明手法６の演算量評価を説明するための図である。
【０２４３】
図１０８の上側に、発明手法６に対する、２５６×２５６サイズの１枚の画像を復元するのに必要な演算量（乗算回数）示す。これに基づき、更新１回当たりの演算量（乗算回数）を求め、得られた結果を図９５に示す棒グラフに加えると、図１０８の中央左側に示す棒グラフが得られる。この棒グラフから明らかなように、発明手法６は、発明手法５よりも演算量は若干多いものの、発明手法４よりも演算量は大幅に少ない。演算量の減少効果で見た場合、その大小関係は、従来手法４＜発明手法４＜発明手法１＜発明手法６＜発明手法５、となる。したがって、発明手法６は、良好な演算量軽減を実現している。
【０２４４】
図１０９は、発明手法６の復元処理速度評価を説明するための図である。
【０２４５】
ここでは、図９６の結果に、発明手法６の測定結果を追加した。その結果、発明手法６も、従来手法４と比較して、ＡＲ係数推定（導出）の演算量が不要であるため、処理速度が速くなっている。また、発明手法６は、上記のように発明手法４よりも演算量が大幅に少ないため、発明手法４よりも高速な処理が可能となっている。発明手法６は、発明手法５よりも処理速度が若干遅い程度である。処理速度で見た場合、その大小関係は、図１０９に示すように、従来手法４＜発明手法１＜発明手法４＜発明手法６＜発明手法５、となる。したがって、発明手法６も、高速な画像復元処理が可能である。
【０２４６】
図１１０は、比較対象手法との対比において原画像「カメラマン」に対する発明手法６のシミュレーション結果（視覚評価）を示す図であり、図１１１は、図１１０中の破線の円の周辺領域を拡大した図である。また、図１１２は、比較対象手法との対比において原画像「レナ」に対する発明手法６のシミュレーション結果（視覚評価）を示す図であり、図１１３は、図１１２中の破線の円の周辺領域を拡大した図である。なお、シミュレーション条件は、図４６に示す通りである。また、ここでの比較対象手法は、従来手法３と発明手法１である。
【０２４７】
図１１０〜図１１３に示すように、発明手法６は、従来手法３に比べて、明らかに原画像を忠実に復元していることがわかる。しかも、発明手法１と比較しても、画像復元能力は、発明手法６のほうが高いことがわかる。
【０２４８】
図１１４は、比較対象手法との対比において原画像に対する発明手法６のシミュレーション結果（客観評価）を示す図である。
【０２４９】
この場合、図１１４に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法６は、他のどの手法（従来手法３はもとより発明手法１〜５）よりもＰＳＮＲの数値が大きいことが確認できる。これにより、発明手法６は、客観評価の点でも、他の手法（従来手法３、発明手法１〜５）に比べて画像復元能力が高いことがわかる。これにより、客観評価（数値による評価）の大小（良否）関係は、図１１４に示すように、従来手法３＜発明手法１＜発明手法５＜発明手法２＜発明手法４＜発明手法３＜発明手法６、となる。
【０２５０】
以上より、発明手法６は、発明手法５よりも演算量を若干増加させつつも、発明手法１〜５よりも高い良好な画像復元能力を発揮することができる高速な画像復元処理を実現していることがわかる。
【０２５１】
ここで、発明手法１〜６の状態空間モデル（状態方程式と観測方程式）の特徴についてまとめておく。
【０２５２】
＜発明手法１＞
状態方程式は、時刻ｎ＋１のＫ１個の原画像（画素情報）が、時刻ｎのＫ１個の原画像（画素情報）と、ｍ個の原画像（画素情報）を含む有色性駆動源とから構成されている。また、観測方程式は、時刻ｎのＫ１個の原画像（画素情報）が、ぼけと雑音の影響を受けてＫ１個の劣化画像（画素情報）から構成されている。このような状態空間モデルにより、発明手法１では、観測方程式のＫ１個の劣化画像（画素情報）を用いて、状態方程式の時刻ｎ＋１におけるＫ１個の原画像（画素情報）を予測している。
【０２５３】
＜発明手法２＞
発明手法１において、必要な復元画像（画素情報）は１個である。それゆえ、発明手法２では、演算量を軽減するために、発明手法１の観測方程式の１個の劣化画像（画素情報）のみに着目して、発明手法１の観測方程式を再構成する。ただし、発明手法２の状態方程式は、発明手法１と同じである。このような状態空間モデルにより、発明手法２の観測方程式では、時刻ｎの１個の劣化画像（画素情報）のみを用いるため、過去の劣化画像（画素情報）に依存することなく、最も少ない演算量で１個の原画像（画素情報）を予測している。
【０２５４】
＜発明手法３＞
少ない演算量で高性能な画像復元能力を得るために、発明手法３の観測方程式は、有色性駆動源の影響を含む時刻ｎの原画像（画素情報）からなる発明手法１の観測方程式の一部と、発明手法２の観測方程式とから構成されている。このような状態空間モデルにより、発明手法３では、有色性駆動源の影響を最大限に考慮しているため、演算量の軽減を図りながら高性能な画像復元を実現している。
【０２５５】
＜発明手法４＞
処理効率を向上させるために、２次元に拡張した状態方程式は、時刻ｎ＋１のＫ４個の原画像（画素情報）が、時刻ｎのＫ４個の原画像（画素情報）と、ｍ×ｑ個の原画像（画素情報）を含む有色性駆動源とから構成されている。また、２次元に拡張した観測方程式は、時刻ｎのＫ４個の原画像（画素情報）が、ぼけと雑音の影響を受けてＫ４個の劣化画像（画素情報）から構成されている。このような状態空間モデルにより、発明手法４では、観測方程式のＫ４個の劣化画像（画素情報）を用いて、状態方程式の時刻ｎ＋１におけるＫ４個の原画像（画素情報）を予測している。
【０２５６】
＜発明手法５＞
２次元に拡張した発明手法４において、必要な復元画像（画素情報）はｐ×ｑ個である。それゆえ、発明手法２では、演算量を軽減するために、発明手法４の観測方程式のｐ×ｑ個の劣化画像（画素情報）のみに着目して、発明手法４の観測方程式を再構成する。ただし、発明手法５の状態方程式は、発明手法４と同じである。このような状態空間モデルにより、発明手法５の観測方程式では、時刻ｎのｐ×ｑ個の劣化画像（画素情報）のみを用いるため、過去の劣化画像（画素情報）に依存することなく、最も少ない演算量でｐ×ｑ個の原画像（画素情報）を予測している。
【０２５７】
＜発明手法６＞
少ない演算量で高性能な画像復元能力を得るために、発明手法６の観測方程式は、有色性駆動源の影響を含む時刻ｎの原画像（画素情報）からなる発明手法４の観測方程式の一部と、発明手法５の観測方程式とから構成されている。このような状態空間モデルにより、発明手法６では、有色性駆動源の影響を最大限に考慮しているため、演算量を軽減しながら高性能な画像復元を実現している。
【０２５８】
このように、発明手法１〜６によれば、いずれも、ＡＲ係数を必要としない新しい状態空間モデル（状態方程式と観測方程式）を構成して１段階処理の新しい予測法によって画像復元を行うため、１枚の劣化画像のみを用いてぼけと雑音を同時に取り除くことができる。
【０２５９】
また、発明手法１〜６によれば、いずれも、ＡＲ係数を必要としないため、演算量を軽減することができる。
【０２６０】
また、発明手法１〜３を２次元に拡張した発明手法４〜６によれば、注目画素領域および周辺画素領域のサイズをそれぞれ任意に変化させることができるため、例えば、劣化画像の性質によって１次元および２次元の新しい予測法に基づく画像復元手法を使い分けることが可能となり、効率のよい画像復元を実現することができる。
【０２６１】
特に、発明手法４〜６は、２次元に拡張された新しい予測法を用いた劣化画像復元手法である。この発明手法４〜６の最大の特徴は、劣化画像の性質やユーザの目的などに応じて、発明手法１、発明手法１の演算量を軽減した発明手法２、および性能を優先させた発明手法３を実現可能となるだけでなく、２次元に拡張した発明手法４、発明手法４の演算量を軽減した発明手法５、および性能を優先させた発明手法６と適応的に変更できることである。
【０２６２】
（実施の形態２）
実施の形態２は、状況に応じて複数の画像復元手法を適応的に切り替えて実行させる場合である。
【０２６３】
図１１５は、本発明の実施の形態２に係る画像復元装置の構成を示すブロック図である。なお、この画像復元装置２００は、図１に示す画像復元装置１００と同様の基本的構成を有しており、同一の構成要素にば同一の符号を付し、その説明を省略する。
【０２６４】
図１１５に示す画像復元装置２００は、複数の画像復元アルゴリズムを内蔵しており、ユーザの選択によって、または、状況に応じて自動的に、内蔵した画像復元アルゴリズムを切り替えて実行可能である。複数の画像復元アルゴリズムとしては、例えば、上記した発明手法１〜６の全部または一部を用いることができる。発明手法１〜６は、上記のように、復元能力や処理速度（演算量）、処理効率、柔軟性などの点で、それぞれ特徴を有するため、適用する発明手法を状況に応じて適宜選択することによって、状況に応じた最適な画像復元を行うことができる。なお、内蔵する複数の画像復元アルゴリズムは、発明手法１〜６に限定されるわけではなく、発明手法１〜６と従来手法（例えば、上記の従来手法１〜４）との任意の組み合わせであってもよい。
【０２６５】
このような機能を実現するため、画像復元装置２００は、復元モード指定部２１０と画像復元処理部２２０を有する。復元モード指定部２１０は、例えば、操作部１３０に設けられている。復元モード指定部２１０は、使用者の入力操作により、後述する復元モードを指定する。また、画像復元処理部２２０は、例えば、パラメータ設定部２２２、被写体領域判定部２２４を有する。また、記憶部１５０において、例えば、主記憶装置１５２は、取込画像メモリ２３０、被写体領域メモリ２３２、処理パラメータメモリ２３４、および復元画像メモリ２３６を有し、表示メモリ１５６は、取込画像メモリ２４０、処理内容メモリ２４２、および復元画像メモリ２４４を有する。
【０２６６】
図１１６は、復元モード指定部２１０によって指定可能な復元モードの具体例を示す図である。
【０２６７】
復元モード指定部２１０によって指定可能な復元モードは、図１１６に示すように、復元モード指定部２１０の内部構造として与えられる。図１１６に示す例では、復元モードとして、まず大別して、例えば、「カメラモード」、「取込画像」、「品質」が設けられている。そして、カメラモードには、例えば、「スポーツ」や「風景」、「夜景」、「接写」、「ポートレー」などのモードが設けられ、取込画像には、例えば、「写真」や「文字」、「風景」などのモードが設けられている。また、品質には、「画質優先」や「オート」、「処理速度優先」などのモードが設けられている。画質優先のモードは、さらに、「非常に細かい」、「細かい」、「普通」の３段階に分かれている。それぞれの復元モードには、予め、最適な画像復元アルゴリズムが対応付けられている。例えば、「品質」の「処理速度優先」には、発明手法５が対応付けられ、「品質」の「非常に細かい」には、発明手法３または発明手法６が対応付けられている。また、復元モードは、異なる項目から複数同時に指定することもできる。例えば、「取込画像」から「写真」を指定し、「品質」から「画質優先」の「非常に細かい」を指定した場合には、これらの条件にマッチした復元処理を行う画像復元アルゴリズムが実行される。
【０２６８】
画像復元処理部２２０において、パラメータ設定部２２２は、操作部１３０のパラメータ設定部１３２によって入力された各種パラメータの値を内部的に設定する。また、被写体領域判定部２２４は、所定の被写体領域判定アルゴリズムによって、被写体の領域を判定する。ここでは、被写体領域判定アルゴリズムは、特に限定されず、周知の任意のアルゴリズムを用いることができる。
【０２６９】
また、主記憶装置１５２において、取込画像メモリ２３０は、画像入力装置１１０によって取り込まれた画像を格納し、被写体領域メモリ２３２は、被写体領域判定部２２４によって判定された被写体の領域を格納する。被写体領域メモリ２３２に格納される被写体領域は、被写体の画像そのものでも被写体の画像の格納場所でもよい。処理パラメータメモリ２３４は、操作部１３０によって設定された復元処理の内容（設定されたパラメータや復元モードなど）を格納する。復元画像メモリ２３４は、画像復元処理部２２０によって復元された画像を格納する。また、表示メモリ１５６において、取込画像メモリ２４０は、主記憶装置１５２の取込画像メモリ２３０に格納された取込画像のうち、表示する取込画像を一時格納し、処理内容メモリ２４２は、処理パラメータメモリ２３４に格納された復元処理の内容（設定されたパラメータや復元モードなど）のうち、表示する処理内容を一時格納する。復元画像メモリ２４４は、主記憶装置１５２の復元画像メモリ２３４に格納された復元画像のうち、表示する復元画像を一時格納する。
【０２７０】
次いで、上記構成を有する画像復元装置２００の動作について、図１１７に示すフローチャートを用いて説明する。なお、図１１７に示すフローチャートは、記憶部１５０（主記憶装置１５２または補助記憶装置１５４）に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。
【０２７１】
まず、ステップＳ８０００では、画像入力装置１１０から復元処理対象の画像データ（劣化画像）を取り込み、主記憶装置１５２の取込画像メモリ２３０に格納する。
【０２７２】
そして、ステップＳ８０５０では、ステップＳ８０００で取り込んだ画像データを、少なくとも１フレーム、一時的に記憶する。ここでは、取り込んだ画像データ（少なくとも１フレーム）を、１フレーム以上の画像データを一時的に蓄積するメモリ（例えば、主記憶装置１５２の図示しない作業用メモリ）に記憶する。
【０２７３】
そして、ステップＳ８１００では、画像復元処理部２２０の被写体領域判定部２２４で、ステップＳ８０５０で一時的に記憶した取込画像データに対して、所定のレベルでプレスキャン（被写体認識）する。具体的には、取込画像データ中で所定レベル以上の変化点抽出する。
【０２７４】
そして、ステップＳ８１５０では、ステップＳ８１００の結果を用いて、所定レベル以上の変化点を抽出した位置を、取込画像データに対応付けて、主記憶装置１５２の被写体領域メモリ２３２に記憶する。
【０２７５】
そして、ステップＳ８２００では、プレスキャンを終了するか否かを判断する。この判断は、プレスキャンを行っていないフレームが存在するか否かに基づいて行われる。すなわち、複数のフレームが存在する場合には、フレームの数だけプレスキャンを繰り返すことになる。この判断の結果として、プレスキャンを終了する場合は（Ｓ８２００：ＹＥＳ）、ステップＳ８２５０に進み、プレスキャンを終了しない場合は（Ｓ８２００：ＮＯ）、ステップＳ８１００に戻る。
【０２７６】
ステップＳ８２５０では、操作部１３０の復元モード指定部２１０および領域指定部１３４で、復元モードの設定と境界領域の設定を行う。設定可能な復元モードは、例えば、上記した図１１６に示す通りである。また、境界領域の設定では、ステップＳ８１００でプレスキャンしたときの境界領域の確認を行う。
【０２７７】
そして、ステップＳ８３００では、被写体領域か否かの判断を行う。具体的には、処理対象ブロック（注目画素とその周辺画素）が被写体領域を含んでいるか否かを判断する。この判断は、例えば、プレスキャンした段階で、劣化画像の中のどの位置にユーザが注目している被写体があるのかを画素の輝度値により自動的に判定しておき、この結果を利用したり、あるいは、ユーザにタッチパネルを使って選択的に被写体領域を判定させたりすることによって行われる。この判断の結果として、処理対象ブロックが被写体領域を含む場合は（Ｓ８３００：ＹＥＳ）、ステップＳ８３５０に進み、処理対象ブロックが被写体領域を含まない場合は（Ｓ８３００：ＮＯ）、ステップＳ８４００に進む。
【０２７８】
ステップＳ８３５０では、実行する画像復元手法として、ステップＳ８２５０で設定した復元モードに対応する１次元の画像復元手法（例えば、発明手法１〜３のいずれか）を選択する。また、ステップＳ８４００では、実行する画像復元手法として、ステップＳ８２５０で設定した復元モードに対応する２次元の画像復元手法（例えば、発明手法４〜６のいずれか）を選択する。すなわち、本実施の形態では、処理対象ブロックが被写体領域を含むか否かで大きく１次元復元手法を実行するか２次元復元手法を実行するかを選択し、その後、選択された１次元復元手法または２次元復元手法の中から、例えば、取込画像（写真や文字など）、品質（画質やスピードなど）、または様々な用途（ポートレートや夜景など）に適応した復元モードに応じて、最適な復元手法を選択するようにしている。
【０２７９】
そして、ステップＳ８４５０では、画像復元処理部２２０で、ステップＳ８３５０またはステップＳ８４００で選択した画像復元手法を用いて、設定されたパラメータに従った画像復元処理を行う。ここで、パラメータの設定は、操作部１３０のパラメータ設定部１３２で行われる。
【０２８０】
そして、ステップＳ８５００では、当該フレームについて画像復元処理が終了したか否かを判断する。この判断の結果として、当該フレームについて画像復元処理が終了した場合は（Ｓ８５００：ＹＥＳ）、ステップＳ８５５０に進み、当該フレームについて画像復元処理が終了していない場合は（Ｓ８５００：ＮＯ）、ステップＳ８３００に戻る。
【０２８１】
ステップＳ８５５０では、全フレームについて画像復元処理が終了したか否かを判断する。この判断の結果として、全フレームについて画像復元処理が終了していない場合は（Ｓ８５５０：ＮＯ）、ステップＳ８２５０に戻り、全フレームについて画像復元処理が終了した場合は（Ｓ８５５０：ＹＥＳ）、上記一連の処理を終了する。したがって、複数のフレームが存在する場合には、フレームの数だけ画像復元処理を繰り返すことになる。
【０２８２】
このように、本実施の形態によれば、状況に応じて複数の画像復元手法を適応的に切り替えて実行させるため、復元する画素に適した画像復元処理を、１チップで、高精度かつ高速に行うことができる。
【産業上の利用可能性】
【０２８３】
本発明に係る画像復元装置および画像復元方法は、画像復元能力を向上することができるシンプルで実用的な画像復元装置および画像復元方法として有用である。
【符号の説明】
【０２８４】
１００、２００ 画像復元装置
１１０ 画像入力装置
１１２ カメラ
１１４ スキャナ
１１６、１８６ 記録メディア
１１８、１８８ モデム
１２０ 入力インタフェース部
１３０ 操作部
１３２、２２２ パラメータ設定部
１３４ 領域指定部
１３６、２１０ 復元モード指定部
１４０ 内部インタフェース部
１５０ 記憶部
１５２ 主記憶装置
１５４ 補助記憶装置
１５６ 表示メモリ
１６０、２２０ 画像復元処理部
１６０ａ 第１復元処理部
１６０ｂ 第２復元処理部
１６２ 初期設定部
１６４ 相関演算部
１６６ 重み係数算出部
１６８ 最適推定値算出部
１７０ 出力インタフェース部
１８０ 画像出力装置
１８２ ディスプレイ
１８４ プリンタ
２２４ 被写体領域判定部
２３０、２４０ 取込画像メモリ
２３２ 被写体領域メモリ
２３４ 処理パラメータメモリ
２３６、２４４ 復元画像メモリ
２４２ 処理内容メモリ
【技術分野】
【０００１】
本発明は、画像復元装置および画像復元方法に関する。
【背景技術】
【０００２】
近年、画像工学の分野において、劣化した画像から原画像を復元する技術の研究開発が多くなされている。すなわち、原画像（所望情報、クリアな画像）に不必要な情報（ぼけと雑音）が混在した劣化画像（受信情報）から不必要な情報（ぼけと雑音）を取り除き、原画像（所望情報）のみを抽出することは、画像復元の分野において必要不可欠な技術であり、近年盛んに研究開発が行われている。例えば、デジタルカメラ（デジタルスチルカメラおよびデジタルビデオカメラの総称）や携帯電話などで撮影された画像は、手ぶれや焦点ずれなどに起因する「ぼけ」と、暗電流や熱雑音などに起因するガウス性またはインパルス性の「雑音」との影響から、実物と比較して画質が劣化することは避けられない。「画像復元」とは、このように劣化した画像からできるだけ原画像に近い画像を復元することである。
【０００３】
現在一般に市場で普及している画像復元技術の多くは、例えば、手ぶれ補正や顔認識、色補正、様々なフィルタなどを用いて、予めぼけと雑音の影響を軽減させる予防的な技術が主流となっている。この結果、近年、特にデジタルカメラの分野では、デジタルカメラの多機能化・高性能化により鮮明な画像が気軽に手に入れられるようになってきている。
【０００４】
しかし、これらの予防的な技術は、何度も画像を撮り直せる状況下では問題ないが、古文書などの既に劣化している画像や、スポーツや医療などの分野における瞬間的に変化する画像など、撮り直しが許されない画像に対する復元は、いまだ困難な問題である。ここで、スポーツと医療の分野における瞬間的に変化する画像は、例えば、選手の瞬間的な動作や、肺や心臓などの臓器の瞬間的な様子などである。したがって、今日、特に、撮り直しが許されない状況下における画像復元の重要性が高まってきている。
【０００５】
撮り直しが許されない状況下における従来の画像復元技術として、ウィナーフィルタ（Wiener Filter）を用いた画像復元手法が広く知られている（非特許文献１、非特許文献２）。この手法は、フィルタを通して得られる復元画像と原画像との平均２乗誤差を最小にするフィルタであって、最小２乗フィルタとも呼ばれている。この手法は、周波数領域で処理を行うため、確率過程の定常性と半無限長の画像のサイズとを前提にした画像復元手法である。
【０００６】
また、他の画像復元技術として、射影フィルタを用いた画像復元手法も知られている（非特許文献３、非特許文献４）。射影フィルタは、原画像と復元画像との近さを直接原画像の空間で評価しており、復元画像の雑音の画像成分が個々の原画像の最良近似、つまり、個々の原画像の正射影となるものの中で、復元画像の雑音成分の２乗平均を最小にするものである。また、この性質から、射影フィルタは、出現頻度に無関係に、最良近似画像を復元する手法である。
【０００７】
また、さらに他の画像復元技術として、カルマンフィルタ（Kalman Filter）を用いた画像復元手法も知られている（非特許文献５、非特許文献６）。この手法は、まずステップ１で、劣化画像を用いて原画像のＡＲ（Auto Regressive：自己回帰）システムのパラメータ（以下「ＡＲ係数」という）を推定した後、ステップ２で、ステップ１で推定したＡＲ係数を用いて状態空間モデル（状態方程式と観測方程式）を構成し、これにカルマンフィルタ理論（カルマンフィルタアルゴリズム）を適用することによって、高性能な画像復元を実現している。さらには、このような２段階処理を行うカルマンフィルタを２次元カルマンフィルタに拡張した画像復元手法も知られている（非特許文献７、非特許文献８）。この手法は、２次元に拡張した状態空間モデルを用いて、劣化画像を復元するカルマンフィルタを実現している。なお、非特許文献７および非特許文献８に示す２次元カルマンフィルタと区別するため、適宜、非特許文献５および非特許文献６に示すカルマンフィルタを「１次元カルマンフィルタ」と称する。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】西宮亮平、外１名、「複数のウィーナーフィルタによる画像復元」（Image Restoration by Using Multiple Wiener Filters）、電子情報通信学会論文誌、Ａ、Ｖｏｌ．Ｊ８３−Ａ、Ｎｏ．７、ｐｐ．８９２−９０２、２０００年７月
【非特許文献２】山根延元、外３名、「画像の局所定常ガウス混合モデルに基づく適応的ウィーナーフィルタを用いた最適雑音除去」（An Optimal Noise Removal Using Adaptive Wiener Filter Based on Locally Stationary Gaussian Mixture Distribution Model for Images）、電子情報通信学会論文誌、Ａ、Ｖｏｌ．Ｊ８５−Ａ、Ｎｏ．９、ｐｐ．９９３−１００４、２００２年９月
【非特許文献３】小川 英光 、外１名、「部分射影フィルタの諸性質」（Properties of Partial Projection Filter）、電子情報通信学会論文誌、Ａ、Ｖｏｌ．Ｊ７１−Ａ、Ｎｏ．２、ｐｐ．５２７−５３４、１９８８年２月
【非特許文献４】小出 裕司、外２名、「信号・画像推定のための射影フィルタ族の統一理論」（A Unified Theory of the Family of Projection Filters for Signal and Image Estimation）、電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ、Ｎｏ．７、ｐｐ．１２９３−１３０１、１９９４年７月
【非特許文献５】城崇、外２名、「カルマンフィルタによる高精度画像復元のための画像のモデリングとパラメータ推定」（Image Modeling and Parameter Identification for Image Restoration Using a Kalman Filter）、電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ、Ｎｏ．１１、ｐｐ．２９１２−２９１９、１９９７年１１月
【非特許文献６】松村淳、外２名、「効果的な雑音除去のための適応的な画像のモデル化によるカルマンフィルタ」（A Kalman Filter Using Adaptive Image Modeling for Noise Reduction）、電子情報通信学会論文誌、Ｄ−ＩＩ、Ｖｏｌ．Ｊ８６−Ｄ−ＩＩ、Ｎｏ．２、ｐｐ．２１２−２２２、２００３年２月
【非特許文献７】Mahmood R Azimi-Sadjadi and Ping Wong, "Two-Dimensional Block Kalman Filtering for Image Restoration," IEEE Trans. On Signal Process, vol.ASSP-35, no.12, Dec. 1987
【非特許文献８】Stuart Citrin and Mahmood R. Azimi-Sadjadi, "A Full-Plane Block Kalman Filter for Image Restoration," IEEE Trans. on Image Processing, vol.1, no.4, Oct. 1992
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、ウィナーフィルタを用いた画像復元手法は、画像の劣化状態によらず復元が可能であるという利点を有する反面、非定常性（画像の分散が変化していること）が強い自然画像（加工されていない撮影されたままの画像）に対する復元精度が低いという欠点がある。
【００１０】
すなわち、ウィナーフィルタを用いた画像復元手法は、上記のように、周波数領域で処理を行うため、確率過程の定常性と半無限長の画像のサイズとを前提にしているが、現実には、実環境においてこの前提条件が成り立つことは困難であるため、適切に復元されない場合が存在する（自然画像の非定常性の問題）。また、この手法は、最小２乗誤差を評価量とした一括処理であるため、復元画像にぼけが残るという問題が生じる可能性もある（評価量の問題）。
【００１１】
具体的には、ウィナーフィルタを用いた画像復元手法では、画像の出現頻度が低くなると、復元精度が低下する、つまり、画像においては、出現頻度が低いエッジ部分の復元に影響するという問題がある。換言すれば、例えば、カメラで撮影された画像は、エッジ部分が多く非定常性が強いため、特にエッジ部分において最適に復元できないという問題がある。ただし、階調や色などが変化していない、つまり、画像の分散が変化していない、単調な背景部分などは、定常性が強いため、通常、良好な復元精度を得ることができる。
【００１２】
また、カルマンフィルタを用いた画像復元手法は、ウィナーフィルタを用いた画像復元手法の問題点（自然画像の非定常性の問題と評価量の問題）を解決するための手法であって、ウィナーフィルタを用いた画像復元手法の問題点を解決可能であるという利点を有する反面、処理対象画像（観測画像・劣化画像）にぼけに基づく劣化があると、復元精度が低いという問題がある。
【００１３】
すなわち、カルマンフィルタを用いた画像復元手法は、ステップ１で、注目画素とその周囲の画素との相関を考慮すべく、前処理として注目画素とその周囲の画素に対して原画像のＡＲ係数を推定した後、ステップ２で、ステップ１で推定したＡＲ係数を用いて状態空間モデル（状態方程式と観測方程式）を構成し、具体的には、ステップ１で推定したＡＲ係数と原画像から状態方程式を構成し、原画像とぼけ関数と雑音から観測方程式を構成することにより、カルマンフィルタ理論（カルマンフィルタアルゴリズム）を用いて画像を復元している。したがって、カルマンフィルタを用いた画像復元手法は、定常性を前提としない時間領域のみの処理であり、かつ、推定誤差の分散を評価量とする逐次的処理であるため、ウィナーフィルタを用いた画像復元手法の問題点を解決することができる。なお、このような２段階処理を必要とする点は、１次元カルマンフィルタを用いた手法も２次元カルマンフィルタを用いた手法も同様である。
【００１４】
しかしながら、一方で、カルマンフィルタを用いた手法は、１次元カルマンフィルタであれ２次元カルマンフィルタであれ、ステップ１で推定したＡＲ係数を用いてステップ２のカルマンフィルタアルゴリズムを実行するため、ステップ１でのＡＲ係数の推定精度に劣化画像の復元精度が大きく依存してしまうという問題を有している（ＡＲシステムの問題）。例えば、デジタルカメラの場合、処理対象画像にぼけ（焦点ずれなど）に基づく劣化が含まれると、ステップ１でのＡＲ次数の決定およびＡＲ係数の推定が困難となるため、ステップ２でのカルマンフィルタによる画像復元の精度に影響が出てしまう。
【００１５】
この点、一般には、ＡＲ係数の正確な推定は困難である。ＡＲ係数の正確な推定は、例えば、画像復元であれば、クリアな画像（原画像）に依存しているからである。このことは、原画像が既知でなければならないことを意味しているため、リアルタイム処理は困難となる。また、仮に何らかの手法でリアルタイムにＡＲ係数を正確に推定することが可能になったとしても、処理が増加するため演算量の問題は避けられない。また、そもそも、ＡＲ係数の推定はＡＲ係数の次数を決定した後に行われるが、ＡＲ係数の次数を決定するのは非常に困難であり、この点からもＡＲ係数の正確な推定は困難であるといえる。
【００１６】
したがって、今日、ウィナーフィルタを用いた画像復元手法の問題点およびカルマンフィルタを用いた画像復元手法の問題点の両方を解決しうる、シンプルで実用的な高性能の画像復元手法、つまり、シンプルな構成を有し、かつ、実環境でも使用可能であり、しかも劣化画像の復元性能（つまり、画像復元能力）が高い画像復元手法が求められている。特に、劣化画像の復元性能（画像復元能力）としては、クリアな画像にぼけと雑音が含まれた劣化画像に対して、ぼけと雑音を同時に取り除くことができる高い性能（能力）が求められている。
【００１７】
本発明の目的は、ぼけと雑音を同時に除去することができる高い画像復元能力を実現することができるシンプルで実用的な画像復元装置および画像復元方法を提供することである。
【課題を解決するための手段】
【００１８】
本発明の画像復元装置は、原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元装置であって、時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により前記原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算部と、時刻ｎのみの劣化画像情報に対して、前記相関演算部によって算出された相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出部と、時刻ｎのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出部と、を有する構成を採る。
【００１９】
本発明の画像復元方法は、原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元方法であって、時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により前記原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算工程と、時刻ｎのみの劣化画像情報に対して、前記相関演算工程で算出した相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、時刻ｎのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出工程と、を有するようにした。
【発明の効果】
【００２０】
本発明によれば、ぼけと雑音を同時に除去することができる高い画像復元能力を実現することができるシンプルで実用的な画像復元装置および画像復元方法を得ることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態１に係る画像復元装置の構成を示すブロック図
【図２】（Ａ）は、図１の画像復元処理部の構成を示すブロック図、（Ｂ）は、図２（Ａ）の第１復元処理部の構成を示すブロック図
【図３】画像の劣化の過程を説明するための図
【図４】発明手法１の状態空間モデルのシステム構成を表すブロック線図
【図５】発明手法１の状態方程式の定式化の具体例を説明するための図であり、特に、（Ａ）は、状態空間モデルの状態過程を示す図、（Ｂ）は、処理対象ブロックおよびその時間変化の一例を示す図、（Ｃ）は、状態方程式の具体例を示す図
【図６】発明手法１の状態方程式の構成を説明するための図
【図７】発明手法１の観測方程式の定式化の具体例を説明するための図であり、特に、（Ａ）は、状態空間モデルの観測過程を示す図、（Ｂ）は、観測方程式の具体例を示す図
【図８】従来一般的な観測方程式の構成（一般例）を説明するための図であり、特に、（Ａ）は、従来の観測方程式の定義を示す図、（Ｂ）は、観測量に影響する状態量の範囲を視覚的に示す図
【図９】発明手法１の観測方程式の構成を説明するための図であり、特に、（Ａ）は、発明手法１の観測方程式の定義を示す図、（Ｂ）は、観測量に影響する状態量の範囲を視覚的に示す図
【図１０】観測遷移行列を構成する係数の割り当て方法を説明するための図
【図１１】図９（Ａ）に示す観測遷移行列に基づく、各観測量に影響する状態量の範囲を、割り当てられた係数と共に示す図
【図１２】発明手法１のアルゴリズムの一例を示す図
【図１３】図１２のアルゴリズムを実行する処理手順を示すフローチャート
【図１４】発明手法１を視覚的にまとめた説明図
【図１５】シミュレーション条件を説明するための図
【図１６】原画像「カメラマン」を説明するための図
【図１７】従来手法との対比において原画像「カメラマン」に対する発明手法１のシミュレーション結果（視覚評価）を示す図
【図１８】図１７中の破線の円の周辺領域を拡大した図
【図１９】図１７と同様のシミュレーション結果（視覚評価）を示す図
【図２０】図１９中の破線の円の周辺領域を拡大した図
【図２１】従来手法との対比において原画像「レナ」に対する発明手法１のシミュレーション結果（視覚評価）を示す図
【図２２】図２１中の破線の円の周辺領域を拡大した図
【図２３】従来手法との対比において原画像に対する発明手法１のシミュレーション結果（客観評価）を示す図
【図２４】従来手法との対比において原画像に対する発明手法１のシミュレーション結果（主観評価）を示す図
【図２５】図１の画像復元装置の動作の一例を示すフローチャート
【図２６】図２５のステップＳ２３００の検出方法の一例を説明するための図
【図２７】復元モードの実装の一例を説明するための図
【図２８】復元モードの実装の他の例を説明するための図
【図２９】劣化画像モデルを視覚的に説明するための図
【図３０】発明手法１の状態空間モデルを視覚的に説明するための図
【図３１】発明手法１の状態過程を視覚的に説明するための図
【図３２】発明手法１の観測過程を視覚的に説明するための図
【図３３】発明手法１の状態方程式と観測方程式をまとめて示す説明図
【図３４】発明手法１のアルゴリズムを説明するための図
【図３５】図３４のアルゴリズムを実行する処理手順を示すフローチャート
【図３６】発明手法１の課題を視覚的に説明するための図
【図３７】発明手法２の状態方程式の構成を視覚的に示す説明図であり、特に、（Ａ）は、発明手法１の状態方程式の具体例を示す図、（Ｂ）は、時刻の変化に伴う処理対象ブロックの変化を示す図
【図３８】発明手法２の観測方程式の構成を視覚的に示す説明図
【図３９】発明手法２の観測方程式の構成を視覚的に示す他の説明図
【図４０】発明手法２の状態方程式と観測方程式をまとめて示す説明図
【図４１】発明手法２のアルゴリズムを説明するための図
【図４２】図４１のアルゴリズムを実行する処理手順を示すフローチャート
【図４３】発明手法１と発明手法２のアルゴリズムを比較した説明図
【図４４】発明手法２の演算量評価を説明するための図
【図４５】発明手法２の復元処理速度評価を説明するための図
【図４６】シミュレーション条件を説明するための図
【図４７】比較対象手法との対比において原画像「カメラマン」に対する発明手法２のシミュレーション結果（視覚評価）を示す図
【図４８】図４７中の破線の円の周辺領域を拡大した図
【図４９】比較対象手法との対比において原画像「レナ」に対する発明手法２のシミュレーション結果（視覚評価）を示す図
【図５０】図４９中の破線の円の周辺領域を拡大した図
【図５１】比較対象手法との対比において原画像に対する発明手法２のシミュレーション結果（客観評価）を示す図
【図５２】発明手法２の課題を視覚的に説明するための図
【図５３】発明手法３の観測方程式の構成を視覚的に示す説明図
【図５４】発明手法３の状態空間モデルを視覚的に説明するための図
【図５５】発明手法３の状態方程式と観測方程式をまとめて示す説明図
【図５６】発明手法３のアルゴリズムを説明するための図
【図５７】図５６のアルゴリズムを実行する処理手順を示すフローチャート
【図５８】発明手法３の演算量評価を説明するための図
【図５９】発明手法３の復元処理速度評価を説明するための図
【図６０】比較対象手法との対比において原画像「カメラマン」に対する発明手法３のシミュレーション結果（視覚評価）を示す図
【図６１】図６０中の破線の円の周辺領域を拡大した図
【図６２】比較対象手法との対比において原画像「レナ」に対する発明手法３のシミュレーション結果（視覚評価）を示す図
【図６３】図６２中の破線の円の周辺領域を拡大した図
【図６４】比較対象手法との対比において原画像に対する発明手法３のシミュレーション結果（客観評価）を示す図
【図６５】１次元の画像復元手法の特徴を説明するための図
【図６６】２次元の画像復元手法の特徴を説明するための図
【図６７】発明手法４の状態空間モデルを視覚的に説明するための図
【図６８】発明手法４の状態過程を視覚的に説明するための図
【図６９】発明手法４の状態方程式の構成を視覚的に示す説明図
【図７０】発明手法４の観測過程を視覚的に説明するための図
【図７１】発明手法４の観測方程式の構成を視覚的に示す説明図
【図７２】発明手法４の観測遷移行列の具体例を示す図
【図７３】図７２の観測遷移行列の構成を視覚的に示す説明図
【図７４】図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示す図
【図７５】図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示す他の図
【図７６】図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示すさらに他の図
【図７７】発明手法４の状態方程式と観測方程式をまとめて示す説明図
【図７８】発明手法４のアルゴリズムを説明するための図
【図７９】図７８のアルゴリズムを実行する処理手順を示すフローチャート
【図８０】発明手法４の演算量評価を説明するための図
【図８１】発明手法４の復元処理速度評価を説明するための図
【図８２】比較対象手法との対比において原画像「カメラマン」に対する発明手法４のシミュレーション結果（視覚評価）を示す図
【図８３】図８２中の破線の円の周辺領域を拡大した図
【図８４】比較対象手法との対比において原画像「レナ」に対する発明手法４のシミュレーション結果（視覚評価）を示す図
【図８５】図８４中の破線の円の周辺領域を拡大した図
【図８６】比較対象手法との対比において原画像に対する発明手法４のシミュレーション結果（客観評価）を示す図
【図８７】発明手法４の課題を視覚的に説明するための図
【図８８】発明手法５の状態方程式の構成を視覚的に示す説明図であり、特に、（Ａ）は、発明手法４の状態方程式の具体例を示す図、（Ｂ）は、時刻の変化に伴う処理対象ブロックの変化を示す図
【図８９】発明手法５の観測方程式の構成を視覚的に示す説明図
【図９０】発明手法５の観測方程式の構成を視覚的に示す他の説明図
【図９１】発明手法５の状態方程式と観測方程式をまとめて示す説明図
【図９２】発明手法５のアルゴリズムを説明するための図
【図９３】図９２のアルゴリズムを実行する処理手順を示すフローチャート
【図９４】発明手法４と発明手法５のアルゴリズムを比較した説明図
【図９５】発明手法５の演算量評価を説明するための図
【図９６】発明手法５の復元処理速度評価を説明するための図
【図９７】比較対象手法との対比において原画像「カメラマン」に対する発明手法５のシミュレーション結果（視覚評価）を示す図
【図９８】図９７中の破線の円の周辺領域を拡大した図
【図９９】比較対象手法との対比において原画像「レナ」に対する発明手法５のシミュレーション結果（視覚評価）を示す図
【図１００】図９９中の破線の円の周辺領域を拡大した図
【図１０１】比較対象手法との対比において原画像に対する発明手法５のシミュレーション結果（客観評価）を示す図
【図１０２】発明手法５の課題を視覚的に説明するための図
【図１０３】発明手法６の観測方程式の構成を視覚的に示す説明図
【図１０４】発明手法６の状態空間モデルを視覚的に説明するための図
【図１０５】発明手法６の状態方程式と観測方程式をまとめて示す説明図
【図１０６】発明手法６のアルゴリズムを説明するための図
【図１０７】図１０６のアルゴリズムを実行する処理手順を示すフローチャート
【図１０８】発明手法６の演算量評価を説明するための図
【図１０９】発明手法６の復元処理速度評価を説明するための図
【図１１０】比較対象手法との対比において原画像「カメラマン」に対する発明手法６のシミュレーション結果（視覚評価）を示す図
【図１１１】図１１０中の破線の円の周辺領域を拡大した図
【図１１２】比較対象手法との対比において原画像「レナ」に対する発明手法６のシミュレーション結果（視覚評価）を示す図
【図１１３】図１１２中の破線の円の周辺領域を拡大した図
【図１１４】比較対象手法との対比において原画像に対する発明手法６のシミュレーション結果（客観評価）を示す図
【図１１５】本発明の実施の形態２に係る画像復元装置の構成を示すブロック図
【図１１６】図１１５の復元モード指定部によって指定可能な復元モードの具体例を示す図
【図１１７】図１１５の画像復元装置の動作の一例を示すフローチャート
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２３】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像復元装置の構成を示すブロック図である。ここでは、本発明の画像復元方法を適用した好適な画像復元装置について、特に各種の用途に対応可能な汎用的な画像復元装置を例にとって説明する。
【００２４】
図１に示す画像復元装置１００は、コンピュータで構成されており、大別して、画像入力装置１１０、入力インタフェース部１２０、操作部１３０、内部インタフェース部１４０、記憶部１５０、画像復元処理部１６０、出力インタフェース部１７０、および画像出力装置１８０を有する。
【００２５】
画像入力装置１１０は、復元処理の対象となる画像データ（劣化画像）をデジタルデータとしてコンピュータに入力するための入力装置である。入力する画像は、静止画像でも動画像でもよい。画像入力装置１１０としては、例えば、カメラ１１２やスキャナ１１４、記録メディア１１６、モデム１１８などを用いることができる。カメラ１１２は、撮像機能を有するすべての装置を意味し、例えば、デジタルカメラ（デジタルスチルカメラとデジタルビデオカメラ）のほかに、カメラ機能を搭載した携帯電話や、防犯カメラ（監視カメラ）、画像診断を行うための医療機器（内視鏡、レントゲン、エコー、ＣＴ、ＭＲＩなど）などを含むことができる。スキャナ１１４は、代表的な画像入力装置の１つであり、ネガやポジといったファイルからの読み込みを専用に行うフィルムスキャナなども含んでいる。記録メディア１１６は、画像データを記録可能な記録媒体を広く意味し、例えば、磁気ディスク（ＨＤＤやＦＤなど）や、光ディスク（ＣＤやＤＶＤ、ＢＤなど）、光磁気ディスク（ＭＯ）、フラッシュメモリ（メモリカードやＵＳＢメモリなど）などである。モデム１１８は、外部の通信ネットワーク（例えば、電話回線やＬＡＮ、インターネットなど）と接続するための装置である。なお、画像入力装置１１０の種類は、画像復元装置１００の用途に応じて適宜選択すればよい。
【００２６】
入力インタフェース部１２０は、画像入力装置１１０から提供される画像データをコンピュータで処理可能なデータ形式に変換するなどの入力処理を行う。図示しないが、入力インタフェース部１２０は、画像入力装置１１０の種類に応じて別個独立に設けられる。例えば、記録メディア１１６の入力インタフェース部１２０は、ドライブとも呼ばれ、記録メディア１１６の種類に応じて様々な種類のドライブが使用可能である。なお、ドライブは、記録メディアを読み書きする装置であり、記録メディアに関する限り、通常は、入力インタフェース部１２０と出力インタフェース部１７０は一体化されている。また、通常、モデム１１８は、画像入力装置１１０としても画像出力装置１８０としても機能しうるため、モデム１１８に関しても、通常、入力インタフェース部１２０と出力インタフェース部１７０は一体化されている。入力インタフェース部１２０は、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部１４０を介して接続された外部設置型機器であってもよい。
【００２７】
なお、画像入力装置１１０が画像情報をアナログデータとして出力する場合、対応する入力インタフェース部１２０は、サンプリング部およびＡ／Ｄ変換部（共に図示せず）を有する。サンプリング部は、所定のサンプリング周波数で、入力されたアナログ信号をサンプリング処理し、Ａ／Ｄ変換部に出力する。サンプリング周波数は、復元処理対象（情報源）の種類に応じて変更可能である。Ａ／Ｄ変換部は、サンプリングされた信号の振幅値を所定の分解能でＡ／Ｄ変換処理する。
【００２８】
操作部１３０は、典型的にはキーボートやマウス、タッチパネルなどであるが、音声認識装置などを用いてもよい。使用者は、操作部１３０を用い、例えば、後述するディスプレイ１８２で確認をしながらコンピュータを操作することができる。また、操作部１３０は、パラメータ設定部１３２、領域指定部１３４、および復元モード指定部１３６を有する。パラメータ設定部１３２は、使用者の入力操作により、後で詳述する本実施の形態における画像復元処理に必要な各種パラメータの値を設定する。領域指定部１３４は、使用者の入力操作により、入力された画像に対して画像復元処理の対象となる領域（画像の特定の範囲）を指定する。復元モード指定部１３６は、使用者の入力操作により、後述する復元モードを指定する。
【００２９】
内部インタフェース部１４０は、コンピュータ本体の内部にあって、入力インタフェース部１２０、操作部１３０、記憶部１５０、画像復元処理部１６０、および出力インタフェース部１７０を相互に接続する機能を有する。コンピュータの内部における各種信号のやり取りは、内部インタフェース部１４０を介して行われる。
【００３０】
記憶部１５０は、主記憶装置１５２および補助記憶装置１５４を有する。主記憶装置１５２は、コンピュータの本体を構成する一要素であって、主にプログラムとデータを格納する。補助記憶装置１５４は、主記憶装置１５２の容量の不足を補う記憶装置である。補助記憶装置１５４は、典型的にはハードディスク（ＨＤ）であるが、ＣＤ−ＲＯＭやＤＶＤ、ＳＳＤ（Solid State Drive）、フラッシュメモリなどの可搬性のあるものであってもよいし、また、それらの組み合わせであってもよい。本実施の形態における画像復元処理を実行させるプログラム（画像復元アルゴリズム）は、予め記憶部１５０（主記憶装置１５２または補助記憶装置１５４）に格納されていてもよいし、記録メディア１１６から両インタフェース部１２０、１４０を介して記憶部１５０にインストールしたり、モデム１１８および両インタフェース部１２０、１４０を介して外部から記憶部１５０にダウンロードしたりしてもよい。
【００３１】
なお、画像入力装置１１０から画像データを取り込み、取り込んだ画像データに対して画像復元処理を行い、復元処理後の画像データを画像出力装置１８０から取り出すという一連の処理を実行するためには、取り込んだ画像データを格納しておく記憶領域と、データ処理の上で一時的に必要な記憶領域（作業領域または作業用メモリと呼ばれる）と、出力すべき画像データを格納しておく記憶領域とが必要である。これらの記憶領域は、主記憶装置１５２または補助記憶装置１５４の上に取られるが、ここでは、説明の便宜上、復元処理後の画像データを後述するディスプレイ１８２に出力する場合を想定して、特に表示メモリ１５６を図面上に別途表記している。
【００３２】
画像復元処理部１６０は、本発明の特徴的な構成要素であり、後述する内蔵された画像復元アルゴリズムを実行する。例えば、カルマンフィルタを用いた従来の画像復元手法では、２段階処理、つまり、ＡＲ次数を決定し、ＡＲ係数を推定した後、この推定したＡＲ係数を用いて状態空間モデル（状態方程式と観測方程式）を構成してカルマンフィルタを実行することによって、画像復元を実現しているのに対し、本発明の画像復元方法（以下「発明手法」という）では、状態方程式と観測方程式から構成される新しい予測法によって画像復元を実現している。具体的には、発明手法では、ＡＲシステムのコンセプトを必要としない新しい状態空間モデル（状態方程式と観測方程式）を構成することによって、より具体的には、状態方程式をクリアな画像情報（原画像情報）のみで構成し、かつ、観測方程式を劣化画像情報、クリアな画像情報（原画像情報）、ぼけ情報、および雑音で構成した新たな状態空間モデルを用いることによって、画像復元を実現している。画像復元の対象となる画像は、静止画像でも動画像でもよい。なお、本発明の画像復元方法については、後で詳細に説明する。
【００３３】
画像出力装置１８０は、コンピュータ（画像復元処理部１６０）で復元処理された画像データ（復元画像）を所定の出力形態で外部に取り出すための出力装置である。画像出力装置１８０としては、例えば、ディスプレイ１８２やプリンタ１８４、記録メディア１８６、モデム１８８などを用いることができる。記録メディア１８６およびモデム１８８は、画像入力装置１１０としての記録メディア１１６およびモデム１１８とそれぞれ共用してもよい。なお、画像出力装置１８０の種類は、画像復元装置１００の用途に応じて適宜選択すればよい。
【００３４】
出力インタフェース部１７０は、コンピュータ（画像復元処理部１６０）で復元処理された画像データ（復元画像）を画像出力装置１８０に出力可能なデータ形式に変換するなどの出力処理を行う。図示しないが、出力インタフェース部１７０は、画像出力装置１８０の種類に応じて別個独立に設けられる。上記のように、記録メディアおよびモデムに関しては、通常、入力インタフェース部１２０と出力インタフェース部１７０は一体化されている。出力インタフェース部１７０も、入力インタフェース部１２０と同様に、コンピュータ本体の内部に格納された内蔵カード（ボード）であってもよいし、内部インタフェース部１４０を介して接続された外部設置型機器であってもよい。
【００３５】
図２（Ａ）は、図１の画像復元処理部１６０の構成を示すブロック図であり、図２（Ｂ）は、図２（Ａ）の第１復元処理部１６０ａの構成を示すブロック図である。
【００３６】
本実施の形態では、図２（Ａ）に示すように、画像復元処理部１６０は、第１復元処理部１６０ａと第２復元処理部１６０ｂを有する。第１復元処理部１６０ａは、本発明の画像復元方法を実施する。第２復元処理部１６０ｂは、本発明の画像復元方法以外の画像復元方法、例えば、ウィナーフィルタを用いた画像復元手法やカルマンフィルタを用いた画像復元手法などの従来の画像復元方法を実施する。これによって、第１復元処理部１６０ａと第２復元処理部１６０ｂとを用いた画像復元処理が可能となる。なお、以下では、第２復元処理部１６０ｂで実施する従来の画像復元方法として、例えば、ウィナーフィルタを用いた画像復元手法（以下「従来手法１」という）を例にとって説明する。
【００３７】
第１復元処理部１６０ａは、図２（Ｂ）に示すように、初期設定部１６２、相関演算部１６４、重み係数算出部１６６、および最適推定値算出部１６８を有する。第１復元処理部１６０ａは、各部１６２〜１６８の協働の下、内蔵された画像復元アルゴリズム（発明手法）を実行することによって、取り込んだ画像データ（劣化画像）のみからクリアな画像（原画像）を復元する。このとき、初期設定部１６２は、発明手法の画像復元アルゴリズムの初期設定を行い、相関演算部１６４は、原画像（所望情報、クリアな画像）の推定誤差の相関演算を行い、重み係数算出部１６６は、原画像（所望情報）の最適推定値の算出に必要な重み係数の算出を行い、最適推定値算出部１６８は、原画像（所望情報）の最適推定値の算出を行う。なお、各部１６２〜１６８の具体的な処理内容は、後で詳細に説明する。
【００３８】
以下、第１復元処理部１６０ａで行われる画像復元処理動作について詳細に説明するが、ここでは、まず、画像復元の理論となる劣化画像モデルについて説明しておく。
【００３９】
劣化した画像は、一般的に、原画像とぼけの点拡がり関数（ＰＳＦ：Point Spread Function、以下単に「ぼけ関数」ともいう）の畳み込み（コンボリューション）に雑音を加えたモデルによって得られる。すなわち、イメージングシステム（対象物を撮像する装置や画像を生成するシステムなど）によって得られる劣化画像ｇ（ｘ，ｙ）は、対象物を表す原画像をｆ（ｎ，ｍ）、ぼけの点拡がり関数をｈ（ｘ，ｙ）、雑音をｎ（ｘ，ｙ）でそれぞれ表すと、次の式（１）で表される。なお、ぼけの点拡がり関数ｈ（ｘ，ｙ）は、撮影条件なども含めたイメージングシステムの特性を表している。
【００４０】
【数１】
【００４１】
図３は、画像の劣化の過程を説明するための図である。
【００４２】
例えば、図３の左端に示す原画像にぼけが生じると、図３の中央に示す画像となり、この画像にさらに雑音が加わると、図３の右端に示す劣化画像となる。ぼけは、ある画素がその周囲の画素に影響することによって生じるが、雑音は、画素に関係なく発生する。上記のように、カメラなどで撮影された画像の場合、ぼけは、手ぶれや焦点ずれなどに起因して生じ、雑音は、暗電流や熱雑音などに起因して不可避的に発生する。図３に示すように、劣化画像の復元は、劣化画像からぼけと雑音を取り除くことにほかならない。
【００４３】
発明手法では、上記のように、ＡＲシステムのコンセプトを用いないようにするために、新しい状態空間モデル（状態方程式と観測方程式）を構成する。すなわち、クリアな画像情報（原画像情報）のみを用いて状態方程式を構成し、かつ、劣化画像情報、クリアな画像情報（原画像情報）、ぼけ情報、および雑音を用いて観測方程式を構成する。なお、本実施の形態では、発明手法として、６つの具体的な手法を提示する。ここでは、便宜上、第１の発明手法から第６の発明手法を、発明手法１、発明手法２、発明手法３、発明手法４、発明手法５、発明手法６とそれぞれ称し、順次説明する。
【００４４】
発明手法１〜６は、いずれも、ＡＲ係数を用いない画像復元手法であって、ぼけと雑音を同時に除去することができる、シンプルで実用的な高性能の画像復元手法である。ただし、発明手法１〜６は、互いに、アルゴリズムの違いに応じて、演算量や復元処理速度、画像復元能力などが異なる。ここでは、各発明手法１〜６を詳細に説明する前に、各発明手法１〜６の特徴、長所、短所をまとめておく。
【００４５】
発明手法１〜３は、１次元の画像復元手法であり、発明手法４〜６は、発明手法１〜３をそれぞれ２次元に拡張した２次元の画像復元手法である。発明手法１は、本発明に係る画像復元方法の基本型である。発明手法１は、ＡＲ係数を用いない画像復元手法であって、有色性駆動源を持つ状態空間モデルを構成している。発明手法１は、従来技術に対して、高性能な劣化画像復元が可能であるという長所を有する反面、他の発明手法２、３に比べて、演算量が多いという短所を有する。発明手法２は、発明手法１に対して、注目画素領域のみ考慮した状態空間モデルを再構成した手法であって、注目画素領域のみ用いることで、演算量を大幅に軽減している。発明手法２は、高速（低演算量）な劣化画像復元が可能であるという長所を有する（画像復元能力は発明手法１とほぼ同等である）。発明手法３は、発明手法１、２に対して、有色駆動源の影響も考慮した状態空間モデルを再構成した手法である。発明手法３は、演算量の軽減、復元処理速度の向上、有色性駆動源にも適用可能、および画像復元能力の向上といった長所を有し、画像復元能力を向上しながら高速（低演算量）な劣化画像復元が可能な手法である。
【００４６】
上記のように、発明手法１は、ＡＲ係数を用いない１次元の画像復元手法であって、従来技術に対して、高性能な劣化画像復元が可能であるという特徴を有する。発明手法４〜６は、２次元の画像復元手法であって、発明手法１に対して、柔軟な処理効率の向上が図られるという特徴を有する。発明手法４は、発明手法１を２次元に拡張した画像復元手法であって、注目画素領域と周辺画素領域をそれぞれ任意にとることにより処理効率の向上が図られるという長所を有する反面、他の発明手法１〜３、５、６に比べて、演算量が多いという短所を有する。発明手法５は、発明手法４に対して、注目画素領域のみ考慮した状態空間モデルを再構成した手法であって、注目画素領域のみ用いることで、発明手法４に対して、演算量を大幅に軽減している。発明手法５は、高速（低演算量）な劣化画像復元が可能であるという長所を有する反面、発明手法４よりも若干復元精度が低下するという短所を有する。発明手法６は、発明手法４、５に対して、有色駆動源の影響も考慮した状態空間モデルを再構成した手法であって、発明手法５の短所を改善したものである。発明手法６は、良好な画像復元能力、有色性駆動源にも適用可能、演算量の軽減、復元する画素に適した復元処理が可能といった長所を有し、処理効率性を考慮した実用的な劣化画像復元手法である。特に、発明手法１〜３を２次元に拡張した発明手法４〜６は、注目画素領域と周辺画素領域をそれぞれ任意に選択することができるため、劣化画像の状態と使用者の要望（処理速度または処理品質）に応じて、１次元の発明手法１〜３に適応することも可能であるし、あるいは、若干の変更により２次元の発明手法４〜６に適応することも可能である、という特徴を有する。
【００４７】
具体的には、発明手法では、新しい状態空間モデル（状態方程式と観測方程式）を構成し、この新しい状態空間モデルは、次の式（２）で表される。ただし、状態方程式において、ベクトルｘｐ１（ｎ）は状態ベクトル（原画像情報）、行列Φｐ１は状態遷移行列、ベクトルδｐ１（ｎ）は駆動源ベクトルである。また、観測方程式において、ベクトルｙｐ１（ｎ）は観測ベクトル（観測画像情報、劣化画像情報）、行列Ｍｐ１は観測遷移行列、ベクトルεｐ１（ｎ）は観測雑音ベクトルである。また、「ｎ」とは、装置の時刻ｎである。時刻ｎは、注目画素（または注目画素領域）と複数の周辺画素（または周辺画素領域）とからなる処理対象ブロックの処理の順番（ｎ番目）を表している。なお、ここでは、説明の便宜上、発明手法として、例えば、基本型である発明手法１を提示する。以下の説明において、添え字「ｐ１」は、発明手法１に係るものであることを示している。また、ここでは、注目画素領域および周辺画素領域における「画素領域」は、１つの画素のみを含む場合と、複数の画素を含む場合の両方を意味する。すなわち、ぼけと雑音が含まれる劣化画像を復元する際の復元処理対象として、１つの画素を「注目画素」と称し、少なくとも１つ以上の画素を含む領域を「注目画素領域」と称する。また、注目画素に隣接する画素を「周辺画素」と称し、注目画素に隣接する画素を含む領域、または、注目画素に隣接する画素および注目画素に隣接しないがその周辺の画素を含む領域を、「周辺画素領域」と称する。
【００４８】
【数２】
【００４９】
図４は、この状態空間モデルにおけるシステム構成をブロック線図で表したものである。
【００５０】
図４に示すように、この状態空間モデルは、状態過程と観測過程とで構成される。状態過程は、状態方程式によって記述され、観測過程は、観測方程式によって記述される。図４において、「２０１」は時刻ｎにおける状態ベクトルｘｐ１（ｎ）、「２０２」は時刻ｎ＋１における状態ベクトルｘｐ１（ｎ＋１）、「２０３」は時刻ｎにおける観測ベクトルｙｐ１（ｎ）、「２０４」は時刻ｎにおける観測雑音ベクトルεｐ１（ｎ）、「２０５」は時刻ｎ＋１における駆動源ベクトルδｐ１（ｎ＋１）、「２０６」は状態遷移行列Φｐ１、「２０７」は観測遷移行列Ｍｐ１である。式（２）における状態方程式は、観測対象のシステムを状態空間モデルで記述したものであり、内部状態つまり状態変数（ここでは、状態ベクトルｘｐ１（ｎ）、ｘｐ１（ｎ＋１））の時間に対する生成過程を表している。また、式（２）における観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果（ここでは、観測ベクトルｙｐ１（ｎ））が、被観測量つまり入力（ここでは、状態ベクトルｘｐ１（ｎ））に依存して生成される様子を示している。
【００５１】
図５は、発明手法１の状態方程式の定式化の具体例を説明するための図であり、特に、図５（Ａ）は、状態空間モデルの状態過程を示す図、図５（Ｂ）は、処理対象ブロックおよびその時間変化の一例を示す図、図５（Ｃ）は、状態方程式の具体例を示す図である。
【００５２】
発明手法１では、劣化画像の復元処理は、復元対象である注目画素のみを用いるのではなく、その周辺の画素も含めて処理を行う。すなわち、Ｊ×Ｊの大きさの画像のある注目画素を中心にして、その周辺Ｋ×Ｋ（ただし、Ｊ＞Ｋ）の領域を処理対象ブロックとし、この処理対象ブロックの中の画素情報を用いて、画像の復元処理を行う。このように、処理対象ブロックとは、画像復元においてＫ×Ｋの画素を用いて処理を行う範囲を意味する。
【００５３】
例えば、Ｊ＝２５６、Ｋ＝３とした場合、図５に示すように、２５６×２５６の大きさの画像のある注目画素を中心にして、その周辺３×３の画素領域が処理対象ブロックとなる。図面上、処理対象ブロックは、網かけされている。画像復元処理は、この３×３の処理対象ブロックの中の画素情報を用いて行われる。単に説明の便宜上、図５（Ｂ）に示すように、２５６×２５６の大きさの画像の一部の画素に１〜３６の番号を付したとすると、時刻ｎにおける状態ベクトルｘｐ１（ｎ）に対応する処理対象ブロックは、番号が１、２、３、７、８、９、１３、１４、１５の３×３の９個の画素を構成要素とし、次の時刻ｎ＋１における状態ベクトルｘｐ１（ｎ＋１）に対応する処理対象ブロックは、番号が７、８、９、１３、１４、１５、１９、２０、２１の３×３の９個の画素を構成要素としている。
【００５４】
このとき、式（２）における状態方程式は、図５（Ｃ）にも示す次の式（３）で定義される。ここで、状態ベクトルｘｐ１（ｎ）は、原画像情報を含む状態量として３×３の処理対象ブロックに含まれる９個の画素情報ｘ１（ｎ）、ｘ２（ｎ）、ｘ３（ｎ）、ｘ４（ｎ）、ｘ５（ｎ）、ｘ６（ｎ）、ｘ７（ｎ）、ｘ８（ｎ）、ｘ９（ｎ）を要素とする９×１次のベクトルである。また、状態遷移行列Φｐ１は、式（３）で定義された９×９次の行列であり、駆動源ベクトルδｐ１（ｎ）は、同じく式（３）で定義された９×１次のベクトルである。
【００５５】
【数３】
【００５６】
図６は、式（３）で表される状態方程式の構成を説明するための図である。
【００５７】
式（３）で表される状態方程式の特徴は、状態遷移行列Φｐ１の一部の要素を「１」に設定し、残りの要素をすべて「０」に設定した点、および、駆動源ベクトルδｐ１（ｎ）の一部の要素を有色信号である状態量ｘｉ（ｎ）（ｉ＝７，８，９）で表した点にある。これは、図６に示すように、現在の時刻ｎ＋１における処理対象ブロックと過去の時刻ｎにおける処理対象ブロックとが重なる部分において、現在の状態量（原画像の画素情報）ｘ１（ｎ＋１）、ｘ２（ｎ＋１）、ｘ３（ｎ＋１）、ｘ４（ｎ＋１）、ｘ５（ｎ＋１）、ｘ６（ｎ＋１）と過去の状態量（原画像の画素情報）ｘ４（ｎ）、ｘ５（ｎ）、ｘ６（ｎ）、ｘ７（ｎ）、ｘ８（ｎ）、ｘ９（ｎ）とを対応させるためである。この結果、ｘｐ１（ｎ）とｘｐ１（ｎ＋１）の関係を表す状態方程式は、クリアな画像からなる状態ベクトルｘｐ１（ｎ）と、０と１からなる状態遷移行列Φｐ１と、有色信号であるクリアな画像からなる駆動源ベクトルδｐ１（ｎ）とから構成されるため、所望の状態量（原画像の画素情報）、つまり、クリアな画像情報（原画像情報）のみで構成されることになる。
【００５８】
図７は、発明手法１の観測方程式の定式化の具体例を説明するための図であり、特に、図７（Ａ）は、状態空間モデルの観測過程を示す図、図７（Ｂ）は、観測方程式の具体例を示す図である。
【００５９】
図５および図６の例に対応して、式（２）における観測方程式は、図７（Ｂ）にも示す次の式（４）で定義される。ここで、観測ベクトルｙｐ１（ｎ）は、劣化画像情報を含む観測量として３×３の処理対象ブロックに含まれる９個の画素情報ｙ１（ｎ）、ｙ２（ｎ）、ｙ３（ｎ）、ｙ４（ｎ）、ｙ５（ｎ）、ｙ６（ｎ）、ｙ７（ｎ）、ｙ８（ｎ）、ｙ９（ｎ）を要素とする９×１次のベクトルである。また、観測遷移行列Ｍｐ１は、式（４）で定義された９×９次の行列であって、画像の劣化モデルにおけるぼけの点拡がり関数（ＰＳＦ）に対応している。観測遷移行列Ｍｐ１を構成する各要素ｈｒ，ｓ（ｒ，ｓはｈの座標であり、ｒ，ｓ＝−１，０，１）は、既知であって、予めデータ化して適切に設定されている。また、観測雑音ベクトルεｐ１（ｎ）は、３×３の処理対象ブロックに含まれる９個の画素に対応する観測雑音ε１（ｎ）、ε２（ｎ）、ε３（ｎ）、ε４（ｎ）、ε５（ｎ）、ε６（ｎ）、ε７（ｎ）、ε８（ｎ）、ε９（ｎ）を要素とする９×１次のベクトルである。
【００６０】
【数４】
【００６１】
図８は、従来一般的な観測方程式の構成（一般例）を説明するための図であり、図９は、式（４）で表される発明手法１の観測方程式の構成を説明するための図である。特に、図８（Ａ）は、従来一般的な観測方程式の定義を示す図、図８（Ｂ）は、観測量に影響する状態量の範囲を視覚的に示す図である。また、図９（Ａ）は、発明手法１の観測方程式の定義を示す図、図９（Ｂ）は、観測量に影響する状態量の範囲を視覚的に示す図である。なお、図８および図９の説明においては、便宜上、観測雑音ベクトルεｐ１（ｎ）は省略する。
【００６２】
画像においてぼけに基づく劣化とは、上記のように、ある画素がその周囲の画素の影響を受けて劣化することである。そこで、従来は、一般的に、図８（Ａ）に示すように観測方程式を定義していた。この場合、ぼけは、周囲のすべての画素の影響を受けることに起因して生じる。すなわち、処理対象ブロックの中の各画素は、処理対象ブロックの中のすべての画素の影響を受けることになる。言い換えれば、各観測量ｙｉ（ｉ＝１，２，…，９）は、すべての状態量ｘｉ（ｉ＝１，２，…，９）の影響を受けて成り立つ。これを視覚的に示すと、例えば、図８（Ｂ）に示すようになる。すなわち、図８（Ｂ）に示すように、例えば、観測量がｙ１の場合もｙ２の場合も、３×３（＝９）個のすべての状態量ｘ１〜ｘ９の影響を受けることになる。
【００６３】
これに対し、式（４）で表される発明手法１の観測方程式の特徴は、観測遷移行列Ｍｐ１の一部の要素を、３×３（＝９）個の係数ｈｒ，ｓ（座標ｒ，ｓ＝−１，０，１）を用いて規則的に設定し、残りの要素をすべて「０」に設定した点にある。例えば、図９（Ａ）は、観測方程式を展開して得られる一部の式（ｙ１（ｎ）、ｙ２（ｎ）に関する式）を示している。観測遷移行列Ｍｐ１に対する係数ｈｒ，ｓの割り当て方法は、次の通りである。すなわち、９個の係数ｈｒ，ｓ（ｒ，ｓ＝−１，０，１）を図１０に示すようにマトリックス状に配列し（以下「係数マトリックス」という）、係数マトリックスの中央（つまり、係数ｈ０，０）の位置を観測量ｙｉ（ｉ＝１，２，…，９）の注目画素ｉの位置に合わせたときの、その係数マトリックスに従って、観測遷移行列Ｍｐ１の一部の要素に係数ｈｒ，ｓ（ｒ，ｓ＝−１，０，１）を割り当てる。これを視覚的に示すと、例えば、図９（Ｂ）に示すようになる。すなわち、図９（Ｂ）に示すように、例えば、観測量がｙ１の場合は、３×３（＝９）個の状態量ｘ１〜ｘ９のうち、５個のｘ１〜ｘ５の影響を受け、観測量がｙ２の場合は、６個のｘ１〜ｘ６の影響を受けることになる。
【００６４】
図１１は、図９（Ａ）に示す観測遷移行列Ｍｐ１に基づく、各観測量ｙｉに影響する状態量ｘｉの範囲を、割り当てられた係数ｈｒ，ｓ（ｒ，ｓ＝−１，０，１）と共に示す図である。なお、ここでは、説明の便宜上、図１１（Ａ）〜図１１（Ｉ）の各図において、左側の処理対象ブロックには、注目する観測量ｙｉのみを示し、右側の処理対象ブロックには、影響を与える各状態量ｘｉの場所に、この状態量ｘｉに乗算されるｈｒ，ｓのみを示している。
【００６５】
式（４）で表される観測方程式では、観測量ｙ１は、図１１（Ａ）に示すように、５個の状態量ｘ１〜ｘ５の影響を受け、観測量ｙ２は、図１１（Ｂ）に示すように、６個の状態量ｘ１〜ｘ６の影響を受け、観測量ｙ３は、図１１（Ｃ）に示すように、７個の状態量ｘ１〜ｘ７の影響を受ける。また、観測量ｙ４は、図１１（Ｄ）に示すように、８個の状態量ｘ１〜ｘ８の影響を受け、観測量ｙ５は、図１１（Ｅ）に示すように、９個すべての状態量ｘ１〜ｘ９の影響を受け、観測量ｙ６は、図１１（Ｆ）に示すように、８個の状態量ｘ２〜ｘ９の影響を受ける。また、観測量ｙ７は、図１１（Ｇ）に示すように、７個の状態量ｘ３〜ｘ９の影響を受け、観測量ｙ８は、図１１（Ｈ）に示すように、６個の状態量ｘ４〜ｘ９の影響を受け、観測量ｙ９は、図１１（Ｉ）に示すように、５個の状態量ｘ５〜ｘ９の影響を受ける。
【００６６】
図１２は、発明手法１のアルゴリズムの一例を示す図である。なお、このアルゴリズムは、画像の種類を問わず、静止画像のみならず動画像にも適用可能である。
【００６７】
発明手法１のアルゴリズムは、図１２に示すように、初期設定（Initialization）の過程と反復（Iteration）の過程とに大別され、反復過程は、新しい状態空間モデル（状態方程式と観測方程式）を基に構成されている。反復過程では、１〜６の手順を逐次繰り返す。
【００６８】
図１３は、図１２のアルゴリズムを実行する処理手順を示すフローチャートである。
【００６９】
まず、初期設定部１６２で、初期設定を行う（Ｓ１０００）。具体的には、初期設定部１６２において、状態ベクトル、つまり、状態量である所望信号（原画像信号）ベクトルの最適推定値（以下「所望信号の最適推定値ベクトル」という）の初期値ｘｐ１（０｜０）、所望信号ベクトルの推定誤差（以下「所望信号の推定誤差ベクトル」という）の相関行列の初期値Ｐｐ１（０｜０）、駆動源ベクトルの共分散の値Ｒδｐ１（ｎ）［ｉ，ｊ］、および、観測雑音ベクトルの共分散の値Ｒεｐ１（ｎ）［ｉ，ｊ］を、次の式（５）に示すようにそれぞれ設定する。また、図１２では図示しないが、状態遷移行列Φｐ１および観測遷移行列Ｍｐ１を、式（３）および式（４）に示すようにそれぞれ設定する。なお、ここでは、時刻ｎのカウンタの初期値を「０」に設定している。また、ベクトルと行列の要素を示す場合、ベクトルａ（ｎ）のｉ番目の要素をａ（ｎ）［ｉ］と表記し、行列Ａ（ｎ）のｉ行ｊ列の要素をＡ（ｎ）［ｉ，ｊ］と表記することとする。また、図１２において、所望信号の最適推定値ベクトルｘｐ１は、ハットｘｐ１と表記する。
【００７０】
【数５】
【００７１】
ただし、ベクトル０Ｋは、Ｋ次元の零ベクトルであり、行列ＩＫは、Ｋ次の単位行列である。また、Ｋは、Ｋ×Ｋの大きさの処理対象ブロック（注目画素領域と周辺画素領域）のその次元である。Ｋ＝３の場合、Ｋ２−Ｋ＝６となり、「ｉ，ｊ＞Ｋ２−Ｋ」は、「ｉ，ｊ＝７，８，９」に対応している。また、Ｅ［δｐ１（ｎ），δｐ１Ｔ（ｎ）］は、駆動源ベクトルδｐ１（ｎ）の自己相関行列である。Ｅ［εｐ１（ｎ）εｐ１Ｔ（ｎ）］［ｉ，ｊ］は、観測雑音ベクトルεｐ１の自己相関行列であり、ここではσ２ε［ｉ，ｊ］と等しく、既知と仮定している。ここでいう「既知」とは、別の任意の方法（アルゴリズム）で求められて与えられることを意味する。もし観測雑音ベクトルεｐ１（ｎ）が白色雑音であり零平均であれば、σ２εは所定のサンプル数の分散で与えられる。
【００７２】
次に、相関演算部１６４で、ｎ→（ｎ＋１）の誤差共分散行列、つまり、ｎ→（ｎ＋１）の推定誤差の相関値（行列）（以下「相関行列」ともいう）を計算する（Ｓ１１００）。具体的には、相関演算部１６４において、時刻ｎまでの情報により時刻ｎ＋１での所望信号ベクトルを推定した場合の誤差（所望信号の推定誤差ベクトル）の相関行列Ｐｐ１（ｎ＋１｜ｎ）を計算する。この計算は、ステップＳ１０００でそれぞれ設定した状態遷移行列Φｐ１および駆動源ベクトルの共分散Ｒδｐ１（ｎ＋１）［ｉ，ｊ］の値、ならびに、ステップＳ１０００で設定した（ｎ＝０の場合）または前回のステップＳ１６００で計算した（ｎ≧１の場合）所望信号の推定誤差ベクトルの相関行列Ｐｐ１（ｎ｜ｎ）を用いて、次の式（６）により行う。なお、このステップＳ１１００は、図１２の反復過程の手順１に相当する。
【００７３】
【数６】
【００７４】
次に、重み係数算出部１６６で、重み係数（行列）の計算を行う（Ｓ１２００）。具体的には、重み係数算出部１６６において、観測量である観測信号ベクトルの推定誤差（以下「観測信号の推定誤差ベクトル」という）に重み係数（行列）をかけて、時刻ｎまでの情報による時刻ｎ＋１での所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ）を加えたものが、時刻ｎ＋１までの情報による時刻ｎ＋１での所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ＋１）になるような、その重み係数行列Ｋｐ１（ｎ＋１）を計算する。この計算は、ステップＳ１１００で計算した所望信号の推定誤差ベクトルの相関行列Ｐｐ１（ｎ＋１｜ｎ）、ならびに、ステップＳ１０００でそれぞれ設定した観測遷移行列Ｍｐ１および観測雑音ベクトルの共分散Ｒεｐ１（ｎ＋１）［ｉ，ｊ］の値を用いて、次の式（７）により行う。なお、このステップＳ１２００は、図１２の反復過程の手順２に相当する。
【００７５】
【数７】
【００７６】
次に、最適推定値算出部１６８で、ｎ→（ｎ＋１）の状態量（所望信号）の最適推定値（ベクトル）を計算する（Ｓ１３００）。具体的には、最適推定値算出部１６８において、時刻ｎまでの情報による時刻ｎ＋１での所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ）を計算する。この計算は、ステップＳ１０００で設定した状態遷移行列Φｐ１、および、前回のステップＳ１４００で計算した所望信号の最適推定値ベクトルｘｐ１（ｎ｜ｎ）を用いて、次の式（８）により行う。なお、このステップＳ１３００は、図１２の反復過程の手順３に相当する。
【００７７】
【数８】
【００７８】
次に、同じく最適推定値算出部１６８で、（ｎ＋１）→（ｎ＋１）の状態量（所望信号）の最適推定値（ベクトル）を計算する（Ｓ１４００）。具体的には、最適推定値算出部１６８において、時刻ｎ＋１までの情報による時刻ｎ＋１での所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ＋１）を計算する。この計算は、ステップＳ１３００で計算した所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ）、ステップＳ１２００で計算した重み係数行列Ｋｐ１（ｎ＋１）、ステップＳ１０００で設定した観測遷移行列Ｍｐ１、および時刻ｎ＋１における観測信号ベクトルｙｐ１（ｎ＋１）を用いて、次の式（９）により行う。なお、このステップＳ１４００は、図１２の反復過程の手順４に相当する。
【００７９】
【数９】
【００８０】
次に、処理を終了するか否かを判断する（Ｓ１５００）。この判断は、例えば、時刻ｎが所定のサンプル数Ｎに達したか否かを判定することによって行う。この判断の結果として、時刻ｎが所定のサンプル数Ｎに達していない場合は（Ｓ１５００：ＮＯ）、ステップＳ１６００に進み、時刻ｎが所定のサンプル数Ｎに達した場合は（Ｓ１５００：ＹＥＳ）、ステップＳ１８００に進む。なお、判断の基準は、上記の例に限定されない。例えば、リアルタイムで処理を行う場合は、時刻ｎが所定のサンプル数Ｎに達していなくても、サンプルがなくなった時点で処理を終了するようにしてもよい。
【００８１】
ステップＳ１６００では、相関演算部１６４で、（ｎ＋１）→（ｎ＋１）の誤差共分散行列、つまり、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（行列）を計算する。具体的には、相関演算部１６４において、時刻ｎ＋１までの情報により時刻ｎ＋１での所望信号ベクトルを推定した場合の誤差（所望信号の推定誤差ベクトル）の相関行列Ｐｐ１（ｎ＋１｜ｎ＋１）を計算する。この計算は、ステップＳ１２００で計算した重み係数行列Ｋｐ１（ｎ＋１）、ステップＳ１０００で設定した観測遷移行列Ｍｐ１、およびステップＳ１１００で計算した所望信号の推定誤差ベクトルの相関行列Ｐｐ１（ｎ＋１｜ｎ）を用いて、次の式（１０）により行う。なお、このステップＳ１６００は、図１２の反復過程の手順５に相当する。
【００８２】
【数１０】
【００８３】
次に、ステップＳ１７００では、時刻ｎのカウンタを１だけインクリメントして（ｎ＝ｎ＋１）、ステップＳ１１００に戻る。
【００８４】
一方、ステップＳ１８００では、本アルゴリズムの計算結果を出力値として一時保存する。具体的には、ステップＳ１４００で計算した所望信号の最適推定値ベクトルｘｐ１（ｎ＋１｜ｎ＋１）を、本アルゴリズムの出力値として画像復元処理部１６０内または記憶部１５０内に一時保存する。
【００８５】
図１４は、発明手法１を視覚的にまとめた説明図である。このように、発明手法１では、新しい状態空間モデル（状態方程式と観測方程式）を構成しているため、１段階処理で画像の復元処理が可能となる。このことは、他の発明手法２〜６も含めて本発明の大きな特徴の１つである。
【００８６】
ここで、カルマンフィルタを用いた従来の画像復元手法との対比において、発明手法１の特徴と効果をまとめて説明しておく。
【００８７】
カルマンフィルタを用いた従来の画像復元手法では、上記のように、２段階処理（ステップ１で、ＡＲ次数を決定し、ＡＲ係数を推定した後、ステップ２で、この推定したＡＲ係数を用いて状態空間モデル（状態方程式と観測方程式）を構成してカルマンフィルタを実行する）によって、画像の復元を実現している。したがって、ステップ１でのＡＲ次数の決定およびＡＲ係数の推定の精度によってステップ２でのカルマンフィルタによる画像復元能力が大きく左右されることが、容易に予想される。これに対して、発明手法１では、ＡＲシステムのコンセプトを必要としない新しい状態空間モデル（状態方程式と観測方程式）を構成し、これを用いた１段階処理の新しい予測法によって、高性能な画像復元を実現している。また、発明手法１では、処理ステップを１段階減らすことができるため、演算量を削減することができ、ひいては、回路規模の縮小やメモリ容量の削減などを図ることができる。
【００８８】
また、カルマンフィルタを用いた従来の画像復元手法では、ステップ１でＡＲ係数の推定を行う際に必要となるＡＲ係数の次数の決定が大きな問題点となる。一般にＡＲ係数の次数は状態量に依存しているため、状態量が既知でなければ、理論的にＡＲ係数の次数を正確に決定することは困難である。このことは、状態量が既知でなければならないことを意味しているため、リアルタイム処理は困難となる。また、それにより、正確でないＡＲ係数の次数を用いることになるため、正確なＡＲ係数の推定は困難である。したがって、このことは、カルマンフィルタを用いた従来の画像復元手法の画像復元能力を劣化させる大きな要因となっている。また、何らかの技術でＡＲ次数とＡＲ係数をリアルタイムに推定できるようになったとしても、処理ステップが１段階増えることより演算量の増加は避けられない。これに対して、発明手法１では、ＡＲシステムのコンセプトを必要としないため、このような問題は生じない。
【００８９】
また、カルマンフィルタを用いた従来の画像復元手法では、状態量をＡＲシステムを用いて表現することによってモデル化している。このことは、カルマンフィルタを用いた従来の画像復元手法はＡＲシステムでモデル化可能な状態量にしか適用できないことを意味している。すなわち、カルマンフィルタを用いた従来の画像復元手法は、ＡＲシステムでモデル化が困難な状態量には適用することができない。これに対して、発明手法１は、ＡＲシステムのコンセプトを必要としないため、適用対象に関するこのような制約は存在しない。
【００９０】
また、カルマンフィルタを用いた従来の画像復元手法では、状態方程式の駆動源が白色信号で、かつ、状態量と観測雑音が無相関であることを仮定した上で、カルマンフィルタ理論を適用している。これに対して、発明手法１では、駆動源が有色信号（クリアな画像）となるものの、状態方程式と観測方程式の特殊な構成によって発明手法１のアルゴリズムを実行することができる。このことは、発明手法１は、カルマンフィルタ理論の一般的な適用条件を考慮しなくても実行可能であることを意味している。すなわち、発明手法１は、カルマンフィルタ理論よりも適用範囲が広いといえる。
【００９１】
したがって、ＡＲシステムのコンセプトを必要としない発明手法１は、画像の撮り直しが許されない場面、例えば、医療分野における瞬間的な心臓や肺などの画像復元、汚れなどで劣化した古文書などの復元、および文字・物体認識においても貢献可能な技術である。
【００９２】
また、本発明者は、本発明の効果（発明手法１の有効性）を実証するためにシミュレーションを行った。具体的には、発明手法１の画像復元能力を評価するために、（１）視覚評価、（２）客観評価、および（３）主観評価を行った。視覚評価は、原画像と復元画像とを視覚により比較した評価である。客観評価は、数値による評価である。主観評価は、聞き取り調査である。以下、これらを順に説明する。
【００９３】
まず、シミュレーションの条件について説明しておく。
【００９４】
図１５は、シミュレーション条件を説明するための図である。
【００９５】
本シミュレーションでは、原画像として、図１５に示す２つの画像、つまり、（ａ）「カメラマン（Cameraman）」と（ｂ）「レナ（Lenna）」を用いた。また、原画像に加えるぼけに対応する点拡がり関数（ＰＳＦ）のモデルとして、図１５に示す２次元ガウス関数を用い、雑音として、加法性白色ガウス雑音を用いた。また、信号対雑音比ＳＮＲを２０ｄＢとした。また、比較のため、シミュレーションは、同一の上記シミュレーション条件の下で、従来手法１（ウィナーフィルタを用いた画像復元手法）と、従来手法２（射影フィルタを用いた画像復元手法）と、従来手法３（カルマンフィルタを用いた画像復元手法）と、発明手法１に対して行った。例えば、画像「カメラマン」は、図１６に示すように、空の部分は画像の分散が変化していないため定常性が強く、人物の頭の部分は画像の分散が変化しているため非定常性が強いといえる。
【００９６】
（１）視覚評価
図１７は、原画像「カメラマン」に対するシミュレーション結果（視覚評価）を示す図であり、図１８は、図１７中の破線の円の周辺領域を拡大した図である。
【００９７】
図１８によく示すように、従来手法１は、ぼけがほとんど取り除かれていない。また、従来手法２は、従来手法１よりもぼけが取り除かれているが、原画像と比べるとまだぼけが残っている。一方、従来手法３は、従来手法１、２に比べて、ぼけは取り除かれてくっきりしているように見えるが、原画像とは異なった復元画像となっている。特に、従来手法３は、原画像と比べて全体的に暗くなっており、空の部分においては、劣化画像よりも劣化してしまっている。
【００９８】
これに対して、発明手法１は、図１８によく示すように、従来手法１、２、３に比べて原画像を忠実に復元していることが確認できる。すなわち、図１８の拡大画像においても、発明手法の有効性を確認することができる。
【００９９】
図１９は、図１７と同様の、原画像「カメラマン」に対するシミュレーション結果（視覚評価）を示す図であり、図２０は、図１９中の破線の円の周辺領域を拡大した図である。
【０１００】
図２０によく示すように、カメラの三脚部分に注目すると、従来手法１は、全くぼけが取り除かれていない。また、従来手法２は、従来手法１よりはぼけが取り除かれているが、原画像までは復元されていない。一方、従来手法３は、従来手法１、２に比べるとぼけは取り除かれているように見えるが、画像全体が荒れてしまっており、原画像とかけ離れた復元画像となっていることが確認できる。
【０１０１】
これに対して、発明手法１は、図２０によく示すように、従来手法１、２、３に比べて原画像をより忠実に復元していることが確認できる。すなわち、図２０の拡大画像においても、発明手法１の有効性を確認することができる。
【０１０２】
図２１は、原画像「レナ」に対するシミュレーション結果（視覚評価）を示す図であり、図２２は、図２１中の破線の円の周辺領域を拡大した図である。
【０１０３】
図２２によく示すように、従来手法１は、ほとんどぼけが取り除かれておらず、復元画像が原画像と比べて全体的に白くなっている（輝度が高くなっている）。また、従来手法２は、従来手法１に比べるとぼけは取り除かれているが、原画像まではぼけが取り除かれていない。一方、従来手法３は、従来手法１、２に比べるとぼけが取り除かれておりはっきりとしているように見えるが、劣化画像よりも劣化してしまっており、原画像とはかけ離れた画像になっている。特に肌の部分に注目すると、この点が顕著に表れている。
【０１０４】
これに対して、発明手法１は、図２２によく示すように、従来手法１、２、３に比べて原画像を忠実に復元していることが確認できる。すなわち、図２２の拡大画像においても、発明手法１の有効性を確認することができる。
【０１０５】
（２）客観評価（数値による評価）
図２３は、原画像に対するシミュレーション結果（客観評価）を示す図である。
【０１０６】
ここでは、従来手法１〜３と発明手法１の画像復元能力を数値により評価するため、図２３にも示す次の式（１１）で表されるＰＳＮＲ［ｄＢ］を用いて画像復元能力を評価した。なお、ＰＳＮＲ（Peak Signal-to-Noise Ratio）は、画像の信号に対する雑音の比であり、数値が大きいほど劣化（ぼけや雑音など）が少なく画像として良好であるといえる。
【０１０７】
【数１１】
【０１０８】
この場合、図２３に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法１は、従来手法１、２、３よりもＳＮＲＯＵＴの数値が大きいことが確認できる。これにより、発明手法１は、客観評価の点でも、従来手法１、２、３に比べて画像復元能力が高いことがわかる。
【０１０９】
（３）主観評価（聞き取り調査）
図２４は、原画像に対するシミュレーション結果（主観評価）を示す図である。
【０１１０】
ここでは、従来手法１〜３と発明手法１の画像復元能力を評価するために、聞き取り調査による主観評価を行った。画像復元の性能評価は、ＡＣＲ（絶対範疇評価）に基づく５段階ＭＯＳ（平均オピニオン値）を用いた聞き取り調査により行った。ＭＯＳ評価基準は、図２４に示す通りである。５０人の聴取者が画像復元により得られた画像（図１７〜図２２参照）を評価した。各々の聴取者は、評価値「１」から「５」を決定する。評価値「５」が最良である。
【０１１１】
図２４に示すように、ＭＯＳ評価は、「カメラマン」、「レナ」どちらの画像についても、発明手法１は、従来手法１、２、３よりも高い評価を得ていることが確認できる。これにより、発明手法１は、主観評価の点でも、従来手法１、２、３に比べて画像復元能力が高いことがわかる。
【０１１２】
以上の実験結果により、本発明の画像復元方法（発明手法１）は、従来手法１〜３に比べて高い画像復元能力を発揮していることがわかる。特に、図１７〜図２２の視覚評価から明らかなように、本発明の画像復元方法は、非定常性が強いエッジ部分などにおいて、従来手法１〜３に比べて著しく復元精度が高いことがわかる。
【０１１３】
次いで、上記構成を有する画像復元装置１００の動作について、図２５に示すフローチャートを用いて説明する。なお、図２５に示すフローチャートは、記憶部１５０（主記憶装置１５２または補助記憶装置１５４）に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。
【０１１４】
まず、ステップＳ２０００では、画像入力装置１１０から復元処理対象の画像データ（劣化画像）を取り込み、記憶部１５０（主記憶装置１５２または補助記憶装置１５４）の所定の記憶領域に格納する。
【０１１５】
そして、ステップＳ２０５０では、ステップＳ２０００で取り込んだ画像データを表示メモリ１５６に書き込んで、ディスプレイ１８２に表示する。
【０１１６】
そして、ステップＳ２１００では、操作部１３０の領域指定部１３４で、領域指定処理を行う。具体的には、使用者の入力操作により、ステップＳ２０５０でディスプレイ１８２に表示した画像のうち画像復元処理の対象となる領域（画像の特定の範囲）が指定されると、その指定された領域のデータを生成する。領域の指定は、例えば、画面上、ポインタなどで行われる。なお、使用者により領域の指定が行われなかった場合は、表示された画像全体を指定したものとして取り扱われる。
【０１１７】
そして、ステップＳ２１５０では、拡大処理を行うか否かを判断する。この判断は、例えば、ステップＳ２１００で生成した指定領域データに基づいて行われる。具体的には、指定された領域が表示された画像全体よりも小さい場合には、拡大処理を行うと判断する。この判断の結果として、拡大処理を行う場合は（Ｓ２１５０：ＹＥＳ）、ステップＳ２２００に進み、拡大処理を行わない場合は（Ｓ２１５０：ＮＯ）、直ちにステップＳ２２５０に進む。
【０１１８】
ステップＳ２２００では、ステップＳ２１００で指定した領域の拡大処理を行う。具体的には、例えば、指定された領域が表示された画像全体に対応する大きさとなるように拡大処理を行う。拡大処理の結果は、記憶部１５０（主記憶装置１５２または補助記憶装置１５４）の作業用メモリに書き込まれる。なお、拡大処理が行われなかった場合も、その画像データは作業用メモリに書き込まれる。
【０１１９】
そして、ステップＳ２２５０では、時刻ｎの処理対象ブロック（例えば、３×３の大きさ）を選択する。
【０１２０】
そして、ステップＳ２３００では、ステップＳ２２５０で選択した処理対象ブロックに対して、画像の急激な変化領域が検出されたか否かを判断する。画像の急激な変化領域は、例えば、画像のエッジ部分などに相当する。具体的には、例えば、作業用メモリに書き込まれた画像データ（拡大処理の有無を問わず）に対して、ステップＳ２２５０で選択した処理対象ブロック（３×３の大きさ）上で画素データを順次スキャンすることにより、急激な画素データの変化点があるか否かを検出する。この判断の結果として、画像の急激な変化領域が検出された場合は（Ｓ２３００：ＹＥＳ）、ステップＳ２３５０に進み、画像の急激な変化領域が検出されなかった場合は（Ｓ２３００：ＮＯ）、ステップＳ２４００に進む。
【０１２１】
具体的な検出方法の一例は、次の通りである。ある一定量の過去の観測量の平均値ｙ’（ｎ−１）と現在の観測量ｙ（ｎ）との差の絶対値、つまり、|ｙ’（ｎ−１）−ｙ（ｎ）|の値をしきい値αと比較する。そして、その値がしきい値α以上の場合、つまり、|ｙ’（ｎ−１）−ｙ（ｎ）|≧αの場合は、急激な画素データの変化点があると判断し、その値がしきい値α未満の場合、つまり、|ｙ’（ｎ−１）−ｙ（ｎ）|＜αの場合は、急激な画素データの変化点はないと判断する。例えば、図２６において、時刻ｎ−１の処理対象ブロック３０１における所定部分３０２の観測量の平均値ｙ’（ｎ−１）と、時刻ｎの処理対象ブロック３０３における注目画素の部分３０４の観測量ｙ（ｎ）とを比較する。
【０１２２】
ステップＳ２３５０では、ステップＳ２２５０で選択した処理対象ブロックに対して、発明手法による画像復元処理を行う。発明手法による画像復元処理は、上記のように、急激な画素データの変化点がある場合、つまり、エッジ部分などを含む場合であっても、高精度な復元処理が可能である。なお、発明手法による画像復元処理の詳細な手順の一例については、図１３のフローチャートを用いて説明した通りである。
【０１２３】
一方、ステップＳ２４００では、ステップＳ２２５０で選択した処理対象ブロックに対して、発明手法以外の他の画像復元手法による画像復元処理を行う。他の画像復元手法としては、ウィナーフィルタを用いた画像復元手法や射影フィルタを用いた画像復元手法、カルマンフィルタを用いた画像復元手法などを含む任意の画像復元手法を用いることができる。急激な画素データの変化点がない場合、つまり、エッジ部分などを含まない場合には、他の画像復元手法でも精度良く復元処理を行うことができるからである。
【０１２４】
そして、ステップＳ２４５０では、ステップＳ２３５０での復元処理結果またはステップＳ２４００での復元処理結果を、順次、記憶部１５０（主記憶装置１５２または補助記憶装置１５４）の作業用メモリに保存する。
【０１２５】
そして、ステップＳ２５００では、時刻ｎのカウンタの値を１だけインクリメントする。
【０１２６】
そして、ステップＳ２５５０では、１頁分の画像復元処理が終了したか否かを判断する。この判断は、時刻ｎのカウンタの値に基づいて行われる。この判断の結果として、１頁分の画像復元処理が終了した場合は（Ｓ２５５０：ＹＥＳ）、ステップＳ２６００に進み、１頁分の画像復元処理が終了していない場合は（Ｓ２５５０：ＮＯ）、ステップＳ２２５０に戻る。
【０１２７】
ステップＳ２６００では、１頁分の画像復元処理が終了したため、表示メモリ１５６の更新処理を行う。すなわち、ここでは、１頁分の画像復元処理が終了した時点で表示メモリ１５６を更新するように構成されている。
【０１２８】
そして、ステップＳ２６５０では、ステップＳ２０００で取り込んだ画像データの全頁分に対して画像復元処理が終了したか否かを判断する。この判断の結果として、全頁分の画像復元処理が終了していない場合は（Ｓ２６５０：ＮＯ）、ステップＳ２２５０に戻り、全頁分の画像復元処理が終了した場合は（Ｓ２６５０：ＹＥＳ）、上記一連の処理を終了する。
【０１２９】
次に、ぼけ情報である点拡がり関数（ＰＳＦ）に対応する観測遷移行列Ｍｐ１の設定と実装の具体例について、図２７および図２８を用いて説明する。
【０１３０】
図２７は、復元モードの実装の一例を説明するための図である。
【０１３１】
上記のように、観測遷移行列Ｍｐ１は、式（４）で定義された９×９次の行列であって、画像の劣化モデルにおけるぼけの点拡がり関数（ＰＳＦ）に対応しており、観測遷移行列Ｍｐ１を構成する各要素ｈｒ，ｓ（ｒ，ｓ＝−１，０，１）は、既知であって、予めデータ化して適切に設定されている。すなわち、本実施の形態では、画像によってぼけ具合が変わるため、いわばぼけ情報である観測遷移行列Ｍｐ１の各要素ｈｒ，ｓの値の組を復元モードとしていくつか予め設定しておき、使用者は、操作部１３０の復元モード指定部１３６を介して、その復元モードを任意に指定できるように構成されている。例えば、図２７の例では、デジタルカメラなどによく設定されている夜景モードやスポーツモードなどの撮影モード毎に、予め、その撮影モードに合った適切な観測遷移行列Ｍｐ１がそれぞれ設定されている。したがって、使用者は、撮影モードを切り替えることによって、最適な復元モードを使用することができる。なお、復元モード（観測遷移行列Ｍｐ１の各要素ｈｒ，ｓの値）自体を自動または手動で再調整することも可能である。
【０１３２】
図２８は、復元モードの実装の他の例を説明するための図である。
【０１３３】
図２８の例では、画像によってぼけ具合が変わるため、まず、図２８（Ａ）に示すように、ディスプレイ１８２上で、処理対象の劣化画像を選択した後、図２８（Ｂ）に示すように、観測遷移行列Ｍｐ１（各要素ｈｒ，ｓの値）を変えた復元画像をいくつかディスプレイ１８２に表示する。このとき、使用者が、例えば、操作部１３０（タッチパネルなど）を介して、ディスプレイ１８２に表示された複数の復元画像の中から、最適な復元画像を選択すると、復元画像が決定される。なお、使用者の選択の履歴をデータとして蓄積することによって、使用者の好みに合った復元モード（観測遷移行列Ｍｐ１の各要素ｈｒ，ｓの値）を自動で選択することも可能となる。
【０１３４】
このように、本実施の形態によれば、ＡＲシステムのコンセプトを必要としない新しい状態空間モデル（状態方程式と観測方程式）を構成して１段階処理の新しい予測法によって画像復元を行うため、シンプルで実用的かつ高性能な画像復元を実現することができる。すなわち、ＡＲ次数の決定およびＡＲ係数を推定するステップを必要としないシンプルな構成で、かつ、非定常性が強い自然画像に対しても有効に復元処理を行うことができる実用性を有し、しかも、従来手法１〜３に比べて画像復元能力を向上することができる。
【０１３５】
また、本実施の形態では、上記のように、ＡＲシステムのコンセプトを必要としないため、画像の撮り直しが許されない場面にも広く適用可能である。なお、もちろん、ここでも、上記のように、画像の種類は限定されず、静止画像でも動画像でもよい。
【０１３６】
例えば、古文書の傷や汚れなどをぼけや雑音とみなし、発明手法１を用いてこれらを取り除き、文字・物体認識技術を用いることによって、古文書の解読、復元、およびデジタルデータベース化に効果を発揮することが期待される。
【０１３７】
また、防犯分野においても、近年、防犯カメラ（監視カメラ）などの設置が普及しつつあり、犯罪者の多くは防犯カメラなどに撮影されていることが多いため、この画像が犯罪者の発見の手がかりとなることがある。しかし、これらの画像は一般に画質が荒く、動いている対象物の画像はぼけが生じていることが一般的である。また、これらの画像を拡大した場合には、通常、画像はより一層劣化する。そこで、拡大画像を含めてこれらの劣化画像に発明手法１を適用することによって、劣化画像のぼけと雑音を取り除き、クリアな画像を提供することで、犯罪者の早期発見につながることが期待される。なお、このように、拡大画像を含めて劣化画像に発明手法１を適用することによって、劣化画像のぼけと雑音を取り除き、クリアな画像を提供することは、防犯分野に限らず、監視カメラなどで撮影された画像に基づいて、事故の判定や器具の故障診断などを行う場合にも適用可能である。
【０１３８】
また、近年、カメラ機能付き携帯電話やデジタルカメラなどが急速な勢いで普及し、１人１台の時代となっている。しかし、これらの製品に搭載されている画像復元技術は、顔認識やフィルタなどのぼけや雑音を予防する技術であり、撮り直しが許されない場面を想定していない。したがって、これらの製品に発明手法１を適用することによって、撮り直しが許されない瞬間的な画像復元が可能になる。
【０１３９】
また、医療の分野において、健康を調査する最も効果的な手段の１つとして、内視鏡やレントゲン、エコー、ＣＴ、ＭＲＩなどの画像診断がある。例えば、肺や心臓などの画像診断では、肺や心臓などの動作によってぼけと雑音を含んだ情報から健康診断を行っている。これらの画像診断に発明手法を適用してぼけと雑音を取り除くことによって、専門医にクリアな画像を迅速に提供することが可能となり、病気の早期発見の一助になることが期待される。
【０１４０】
また、近年カーナビゲーションシステムが普及していることから、フロント・リアカメラを搭載した自動車も増えている。このようなリアルタイムで画像復元処理が必要な自動車のフロント・リアカメラなどの場合においても発明手法１は有効である。
【０１４１】
なお、上記のように、本発明に係る画像復元方法の具体的な手法（発明手法）は、発明手法１に限定されない。以下では、他の発明手法として、５つの発明手法２〜６を順次説明する。ただし、発明手法１〜６相互間の比較を容易にするため、上記した発明手法１についても簡単にまとめて説明しておく。また、共通する部分については、適宜、その説明を省略する。
【０１４２】
＜発明手法１＞
まず、各発明手法１〜６に共通の問題設定として、画像復元の理論となる画像劣化モデルについて、再度、簡単に説明しておく。図２９は、劣化画像モデルを視覚的に説明するための図である（図３、式（１）参照）。
【０１４３】
画像の劣化は、図２９の上側に示すように、原画像にぼけと雑音が加わることによって生じる。ぼけは、ある画素がその周囲の画素に影響することによって生じるが、雑音は、画素に関係なく発生する。カメラなどで撮影された画像の場合、ぼけは、手ぶれや焦点ずれなどに起因して生じ、雑音は、暗電流や熱雑音などに起因して不可避的に発生する。劣化画像は、一般的に、原画像とぼけの点拡がり関数（ＰＳＦ）の畳み込み（コンボリューション）に雑音を加えたモデルによって得られる。具体的には、劣化画像ｇ（ｘ，ｙ）は、原画像をｆ（ｍ，ｎ）、ぼけの点拡がり関数をｈ（ｘ，ｙ）、雑音をｎ（ｘ，ｙ）でそれぞれ表すと、図２９に示す劣化画像生成式で表される。この劣化画像モデルでは、雑音ｎ（ｘ，ｙ）と原画像ｆ（ｍ，ｎ）は無相関であること、雑音ｎ（ｘ，ｙ）は加法性白色ガウス雑音であること、が条件となっている。劣化画像の復元は、劣化画像からぼけと雑音を取り除くことにほかならない。
【０１４４】
図３０は、発明手法１の状態空間モデルを視覚的に説明するための図、図３１は、発明手法１の状態過程を視覚的に説明するための図、図３２は、発明手法１の観測過程を視覚的に説明するための図である（以上、図４〜図１１、式（２）〜式（４）参照）。
【０１４５】
発明手法１では、図３０にまとめて示すように、新しい状態空間モデル（状態方程式と観測方程式）を構成し、定式化している。この状態空間モデルは、状態過程と観測過程とで構成される。状態過程は、図３１に示すように、状態方程式によって記述され、観測過程は、図３２に示すように、観測方程式によって記述される。ここで、状態方程式において、ベクトルｘｐ１（ｎ）は状態ベクトル（原画像情報）、行列Φｐ１は状態遷移行列、ベクトルδｐ１（ｎ）は駆動源ベクトルである。また、観測方程式において、ベクトルｙｐ１（ｎ）は観測ベクトル（観測画像情報、劣化画像情報）、行列Ｍｐ１は観測遷移行列、ベクトルεｐ１（ｎ）は観測雑音ベクトルである。また、ベクトルｘｐ１（ｎ）、δｐ１（ｎ）、ｙｐ１（ｎ）、εｐ１（ｎ）の変数としての「ｎ」は、装置の時刻ｎである。時刻ｎは、注目画素（または注目画素領域）と複数の周辺画素（または周辺画素領域）とからなる処理対象ブロックの処理の順番（ｎ番目）を表している。状態方程式は、観測対象のシステムを状態空間モデルで記述したものであり、内部状態つまり状態変数（ここでは、状態ベクトルｘｐ１（ｎ）、ｘｐ１（ｎ＋１））の時間に対する生成過程を表している。また、観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果（ここでは、観測ベクトルｙｐ１（ｎ））が、被観測量つまり入力（ここでは、状態ベクトルｘｐ１（ｎ））に依存して生成される様子を示している。
【０１４６】
図３３は、発明手法１の状態方程式と観測方程式をまとめて示す説明図であり、図３４は、発明手法１のアルゴリズムを説明するための図である（図１２、図１４、式（５）〜式（１０）参照）。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表している。
【０１４７】
図３３に示す状態方程式および観測方程式、ならびに図３４に示すアルゴリズムにおいて、Ｋ１は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ１＝ｍ×ｎで表される。すなわち、発明手法１では、劣化画像の復元処理は、復元対象である注目画素のみを用いるのではなく、その周辺の画素も含めて処理を行う。具体的には、例えば、Ｊ×Ｊの大きさの画像のある注目画素を中心にして、その周辺ｍ×ｎ（ただし、Ｊ＞ｍ、ｎ）の領域を処理対象ブロックとし、この処理対象ブロックの中の画素情報を用いて、画像の復元処理を行う。処理対象ブロックは、画像復元においてｍ×ｎの画素を用いて処理を行う範囲を意味する。図３３および図３４の右下には、Ｋ１＝９（＝３×３）の場合の処理対象ブロックが例示されている。
【０１４８】
図３５は、図３４のアルゴリズムを実行する処理手順を示すフローチャートである（図１３参照）。
【０１４９】
ここでは、図３４のアルゴリズムの表記に対応して、行列とベクトルのサイズをそれぞれ明記している。具体的には、ｎ→（ｎ＋１）の推定誤差の相関値（行列）（Ｓ１１００）は、サイズがＫ１×Ｋ１の行列、重み係数（行列）（Ｓ１２００）は、サイズがＫ１×Ｋ１の行列、ｎ→（ｎ＋１）の状態量の最適推定値（ベクトル）（Ｓ１３００）は、サイズがＫ１×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（ベクトル）（Ｓ１４００）は、サイズがＫ１×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（行列）（Ｓ１６００）は、サイズがＫ１×Ｋ１の行列となる。
【０１５０】
＜発明手法２＞
図３６は、発明手法１の課題を視覚的に説明するための図である。
【０１５１】
発明手法１では、図３６に示すように、時刻ｎの変化は、画素領域（処理対象ブロック）の遷移を用いて表される。時刻ｎ＋１では、例えば、過去の１時刻前の９（＝３×３）個の状態量（原画像の画素情報）ｘ１〜ｘ９を用いて、現在の処理対象ブロックの９（＝３×３）個の状態量（原画像の画素情報）ｘ４〜ｘ１２を推定することにより、注目画素領域の状態量ｘ８を復元する。このように、発明手法１では、１つの注目画素領域の状態量（要素）を復元するために、処理対象ブロック内の状態量（要素）をすべて推定している。しかし、そもそも、１つの注目画素領域の要素を復元するためには、その注目画素領域の要素のみを求めればよく、他の要素の推定は不要である。そこで、発明手法２では、注目画素領域のみを考慮した状態空間モデルを再構成する。具体的には、発明手法２では、発明手法１の観測方程式を再構成して注目画素領域の要素のみを抽出するようにしている。これにより、発明手法２では、発明手法１に対して大幅な演算量の軽減を可能にして、高速（低演算量）な劣化画像復元を実現している。
【０１５２】
図３７は、発明手法２の状態方程式の構成を視覚的に示す説明図であり、特に、（Ａ）は、発明手法１の状態方程式の具体例を示す図、（Ｂ）は、時刻の変化に伴う処理対象ブロックの変化を示す図である。なお、図３７に示すように、発明手法２の状態方程式は、発明手法１の状態方程式と全く同じであるため、その説明を省略する。
【０１５３】
図３８は、発明手法２の観測方程式の構成を視覚的に示す説明図であり、図３９は、発明手法２の観測方程式の構成を視覚的に示す他の説明図である。
【０１５４】
発明手法２では、図３８に示すように、発明手法１の観測方程式において注目画素領域の要素（例えば、画素情報ｙ５（ｎ））のみを抽出して観測方程式を再構成する。これにより、発明手法２では、図３９に示すように、発明手法１における観測ベクトルｙｐ１（ｎ）、観測遷移行列Ｍｐ１、観測雑音ベクトルεｐ１（ｎ）が、それぞれ、スカラー化、ベクトル化、スカラー化されて、観測値ｙｐ２（ｎ）、観測遷移ベクトルｍＴｐ２、観測雑音εｐ２（ｎ）となる。この結果、発明手法２は、発明手法１に対して、サイズが縮小されるため、演算量が大幅に軽減される。なお、演算量の軽減効果については、後で詳述する。
【０１５５】
図４０は、発明手法２の状態方程式と観測方程式をまとめて示す説明図であり、図４１は、発明手法２のアルゴリズムを説明するための図である。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表している。
【０１５６】
図４０に示す状態方程式および観測方程式、ならびに図４１に示すアルゴリズムにおいて、Ｋ２は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ２＝ｍ×ｎで表される。発明手法２のアルゴリズムは、図４２に示すように、初期設定（Initialization）の過程と反復（Iteration）の過程とに大別され、反復過程は、発明手法１の場合（図３４参照）よりも演算量が軽減されるよう、図４０に示す新しい状態空間モデル（状態方程式と観測方程式）を基に構成されている。反復過程では、１〜６の手順を逐次繰り返す。
【０１５７】
図４２は、図４１のアルゴリズムを実行する処理手順を示すフローチャートである。
【０１５８】
上記のように、発明手法２では、図３９に示すように、発明手法１における観測ベクトルｙｐ１（ｎ）、観測遷移行列Ｍｐ１、観測雑音ベクトルεｐ１（ｎ）が、それぞれ、スカラー化、ベクトル化、スカラー化されて、観測値ｙｐ２（ｎ）、観測遷移ベクトルｍＴｐ２、観測雑音εｐ２（ｎ）となっている。これにより、図４２のフローチャートにおいて、ｎ→（ｎ＋１）の推定誤差の相関値（Ｓ３１００）は、サイズがＫ２×Ｋ２の行列、重み係数（Ｓ３２００）は、サイズがＫ２×１のベクトル、ｎ→（ｎ＋１）の状態量の最適推定値（Ｓ３３００）は、サイズがＫ２×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（Ｓ３４００）は、サイズがＫ２×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（Ｓ３６００）は、サイズがＫ２×Ｋ２の行列となる。
【０１５９】
図４３は、発明手法１と発明手法２のアルゴリズムを比較した説明図である。
【０１６０】
図４３に示すように、発明手法１のアルゴリズムでは、逆行列の計算が必要である（反復過程つまり更新式の手順２参照）。一般に、逆行列の計算は複雑であり、演算量が多い。これに対し、発明手法２では、上記したサイズの縮小により、発明手法１における逆行列の計算が、スカラーの逆数の計算となる（反復過程つまり更新式の手順２参照）。スカラーの逆数の計算は簡単であり、演算量は１回で済む。したがって、発明手法２は、発明手法１よりも演算量が大幅に軽減される。
【０１６１】
図４４は、発明手法２の演算量評価を説明するための図である。なお、ここで、従来手法３は、カルマンフィルタを用いた画像復元手法（例えば、非特許文献６参照）である。ただし、非特許文献６に記載された手法は、原画像に雑音が加わった劣化画像にしか対応できないため、本発明者は、非特許文献６に記載された手法をぼけと雑音に対応できるように拡張した上で、以下の各種比較（シミュレーションを含む）を行った。
【０１６２】
図４４において、演算量は、乗算の回数によって表される。図４４の上側に、従来手法３、発明手法１、および発明手法２に対する、更新１回当たりの演算回数の比較結果を示す。これに基づき、更新１回当たりの演算量（乗算回数）を求めると、図４４の中央左側に示す棒グラフが得られる。この棒グラフから明らかなように、発明手法２は、発明手法１よりも演算量が大幅に減少している。演算量の減少効果で見た場合、その大小関係は、従来手法３＜発明手法１＜発明手法２、となる。したがって、発明手法２は、大幅な演算量の軽減を実現している。
【０１６３】
図４５は、発明手法２の復元処理速度評価を説明するための図である。
【０１６４】
ここでは、各手法の処理速度を比較するために、図４５に示すスペック表に基づいて、サイズが異なる２種類の画像の処理時間を測定した。その結果、発明手法１および発明手法２は、いずれも、従来手法３と比較して、ＡＲ係数推定（導出）の演算量が不要であるため、処理速度が速くなっている。また、発明手法２は、上記のように発明手法１よりも演算量が大幅に少ないため、発明手法１よりも高速な処理が可能となっている。処理速度で見た場合、その大小関係は、図４５に示すように、従来手法３＜発明手法１＜発明手法２、となる。したがって、発明手法２は、高速な画像復元処理が可能である。
【０１６５】
また、本発明者は、発明手法２の有効性を検証するためにシミュレーションを行った。具体的には、発明手法２の画像復元能力を評価するために、視覚評価と客観評価を行った。視覚評価は、原画像と復元画像とを視覚により比較した評価であり、客観評価は、数値による評価である。
【０１６６】
図４６は、シミュレーションの条件を説明するための図である。
【０１６７】
本シミュレーションでも、図１５のシミュレーション条件と同様に、原画像として、「カメラマン（Cameraman）」と「レナ（Lenna）」を用いた（画像サイズは共に２５６×２５６）。また、原画像に加えるぼけに対応する点拡がり関数（ＰＳＦ）のモデルとして、図１５に示す２次元ガウス関数を用い、雑音として、加法性白色ガウス雑音を用いた。また、信号対雑音比ＳＮＲを２０ｄＢとした。
【０１６８】
図４７は、比較対象手法との対比において原画像「カメラマン」に対する発明手法２のシミュレーション結果（視覚評価）を示す図であり、図４８は、図４７中の破線の円の周辺領域を拡大した図である。また、図４９は、比較対象手法との対比において原画像「レナ」に対する発明手法２のシミュレーション結果（視覚評価）を示す図であり、図５０は、図４９中の破線の円の周辺領域を拡大した図である。なお、ここで、比較対象手法は、従来手法３と発明手法１である。
【０１６９】
図４７〜図５０に示すように、発明手法１および発明手法２は、従来手法３に比べて、明らかに原画像を忠実に復元していることがわかる。ただし、発明手法１と発明手法２を比較した場合、画像復元能力はほぼ同等のレベルであるといえる。
【０１７０】
図５１は、比較対象手法との対比において原画像に対する発明手法２のシミュレーション結果（客観評価）を示す図である。
【０１７１】
ここでは、従来手法３、発明手法１、および発明手法２の画像復元能力を数値により評価するため、図５１に示すＰＳＮＲ（Peak Signal-to-Noise Ratio）（式（１１）参照）を用いて画像復元能力を評価した。なお、ＰＳＮＲは、画像の似かより度を示す値であり、値が大きいほど劣化（ぼけや雑音など）が少なく画像として良好であるといえる。
【０１７２】
この場合、図５１に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法１および発明手法２は、従来手法３よりもＰＳＮＲの数値が大きいことが確認できる。これにより、発明手法１および発明手法２は、客観評価の点でも、従来手法３に比べて画像復元能力が高いことがわかる。一方、発明手法１と発明手法２を比較した場合には、発明手法１よりも発明手法２のほうが若干高い客観評価（数値による評価）となっている。これにより、客観評価の大小（良否）関係は、図５１に示すように、従来手法３＜発明手法１＜発明手法２、となる。ただし、この若干の差異は、図４７〜図５０の比較からわかるように、ほぼないに等しい。
【０１７３】
以上より、発明手法２は、発明手法１に対して、画像復元能力をほぼ維持しながら、演算量を大幅に軽減して高速な画像復元処理を実現していることがわかる。
【０１７４】
＜発明手法３＞
図５２は、発明手法２の課題を視覚的に説明するための図である。
【０１７５】
発明手法２は、上記のように、発明手法１に対して、演算量を大幅に軽減して高速な画像復元処理を実現することができるものの、画像復元能力が若干低下している。これは、図５２に示すように、発明手法２の観測方程式において、有色性駆動源の影響が大きい領域が含まれていないためであると考えられる。そこで、発明手法３では、注目画素領域のみでなく有色駆動源をも考慮した状態空間モデルを再構成する。すなわち、発明手法３では、有色性駆動源の影響を最大限に与えるように状態空間モデルを再構成する。
【０１７６】
図５３は、発明手法３の観測方程式の構成を視覚的に示す説明図であり、図５４は、発明手法３の状態空間モデルを視覚的に説明するための図である。なお、発明手法３の状態方程式は、発明手法２（ひいては発明手法１）の状態方程式と全く同じであるため、その説明を省略する。
【０１７７】
発明手法３では、図５３に示すように、発明手法１の観測方程式において、注目画素領域の要素（例えば、画素情報ｙ５（ｎ））に加えて、有色性駆動源の影響を受ける領域の要素（例えば、画素情報ｙ７（ｎ）、ｙ８（ｎ）、ｙ９（ｎ））をも抽出して観測方程式を再構成する。すなわち、発明手法３では、有色性駆動源の影響を考慮するために、発明手法２と比較して、画素情報ｙ７（ｎ）、ｙ８（ｎ）、ｙ９（ｎ）をも取り入れる。これにより、発明手法３では、発明手法１における観測ベクトルｙｐ１（ｎ）、観測遷移行列Ｍｐ１、および観測雑音ベクトルεｐ１（ｎ）は、サイズがそれぞれ縮小されて、観測ベクトルｙｐ３（ｎ）、観測遷移行列Ｍｐ３、観測雑音ベクトルεｐ３（ｎ）となる。このように、発明手法３では、図５４に示すように、状態方程式における有色性駆動源の影響を最大限に考慮するべく、注目画素領域と有色性駆動源の影響を受ける領域とから観測方程式を再構成する。これにより、発明手法３は、発明手法２の場合よりもサイズの縮小は小さいものの、発明手法１に対してサイズが縮小されるため、演算量は大幅に軽減される。
【０１７８】
図５５は、発明手法３の状態方程式と観測方程式をまとめて示す説明図であり、図５６は、発明手法３のアルゴリズムを説明するための図である。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表し、アルファベットの大文字「Ｃ（γ×ζ）」は、サイズがγ×ζの行列を表している。
【０１７９】
図５５に示す状態方程式および観測方程式、ならびに図５６に示すアルゴリズムにおいて、Ｋ３は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ３＝ｍ×ｎで表される。また、Ｌ３は、注目画素領域と有色性駆動源を含む領域とを合わせた領域に含まれる画素数であり、Ｌ３＝１＋ｍで表される（Ｌ３＜Ｋ３）。発明手法３のアルゴリズムは、図５６に示すように、初期設定（Initialization）の過程と反復（Iteration）の過程とに大別され、反復過程は、発明手法２の場合（図４１参照）よりも演算量が若干増加するものの、発明手法１の場合（図３４参照）よりも演算量が軽減されるよう、図５５に示す新しい状態空間モデル（状態方程式と観測方程式）を基に構成されている。反復過程では、１〜６の手順を逐次繰り返す。
【０１８０】
図５７は、図５６のアルゴリズムを実行する処理手順を示すフローチャートである。
【０１８１】
上記のように、発明手法３では、図５３に示すように、発明手法１における観測ベクトルｙｐ１（ｎ）、観測遷移行列Ｍｐ１、観測雑音ベクトルεｐ１（ｎ）は、サイズがそれぞれ縮小されて（つまり、Ｌ３＜Ｋ３）、観測ベクトルｙｐ３（ｎ）、観測遷移行列Ｍｐ３、観測雑音ベクトルεｐ３（ｎ）となっている。これにより、図５７のフローチャートにおいて、ｎ→（ｎ＋１）の推定誤差の相関値（Ｓ４１００）は、サイズがＫ３×Ｋ３の行列、重み係数（Ｓ４２００）は、サイズがＫ３×Ｌ３の行列、ｎ→（ｎ＋１）の状態量の最適推定値（Ｓ４３００）は、サイズがＫ３×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（Ｓ４４００）は、サイズがＫ３×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（Ｓ４６００）は、サイズがＫ３×Ｋ３の行列となる。
【０１８２】
図５８は、発明手法３の演算量評価を説明するための図である。
【０１８３】
図５８の上側に、発明手法３に対する、更新１回当たりの演算回数（乗算回数）を示す。これに基づき、更新１回当たりの演算量（乗算回数）を求め、得られた結果を図４４に示す棒グラフに加えると、図５８の中央左側に示す棒グラフが得られる。この棒グラフから明らかなように、発明手法３は、発明手法１よりも演算量は大幅に少ない。演算量の減少効果で見た場合、その大小関係は、従来手法３＜発明手法１＜発明手法３＜発明手法２、となる。したがって、発明手法３は、良好な演算量軽減を実現している。
【０１８４】
図５９は、発明手法３の復元処理速度評価を説明するための図である。
【０１８５】
ここでは、図４５の結果に、発明手法３の測定結果を追加した。その結果、発明手法３も、従来手法３と比較して、ＡＲ係数推定（導出）の演算量が不要であるため、処理速度が速くなっている。また、発明手法３は、上記のように発明手法１よりも演算量が大幅に少ないため、発明手法１よりも高速な処理が可能となっている。発明手法３は、発明手法２よりも処理速度が若干遅い程度である。処理速度で見た場合、その大小関係は、図５９に示すように、従来手法３＜発明手法１＜発明手法３＜発明手法２、となる。したがって、発明手法３も、高速な画像復元処理が可能である。
【０１８６】
図６０は、比較対象手法との対比において原画像「カメラマン」に対する発明手法３のシミュレーション結果（視覚評価）を示す図であり、図６１は、図６０中の破線の円の周辺領域を拡大した図である。また、図６２は、比較対象手法との対比において原画像「レナ」に対する発明手法３のシミュレーション結果（視覚評価）を示す図であり、図６３は、図６２中の破線の円の周辺領域を拡大した図である。なお、シミュレーション条件は、図４６に示す通りである。また、ここでの比較対象手法は、従来手法３と発明手法１である。
【０１８７】
図６０〜図６３に示すように、発明手法３は、従来手法３に比べて、明らかに原画像を忠実に復元していることがわかる。しかも、発明手法１と比較しても、画像復元能力は、発明手法３のほうが高いことがわかる。
【０１８８】
図６４は、比較対象手法との対比において原画像に対する発明手法３のシミュレーション結果（客観評価）を示す図である。
【０１８９】
この場合、図６４に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法３は、他のどの手法（従来手法３はもとより発明手法１および発明手法２）よりもＰＳＮＲの数値が大きいことが確認できる。これにより、発明手法３は、客観評価の点でも、他の手法（従来手法３、発明手法１、発明手法２）に比べて画像復元能力が高いことがわかる。これにより、客観評価（数値による評価）の大小（良否）関係は、図６４に示すように、従来手法３＜発明手法１＜発明手法２＜発明手法３、となる。
【０１９０】
以上より、発明手法３は、発明手法２よりも演算量を若干増加させつつも、発明手法１および発明手法２よりも高い良好な画像復元能力を発揮することができる高速な画像復元処理を実現していることがわかる。
【０１９１】
＜発明手法４＞
図６５は、１次元の画像復元手法の特徴を説明するための図である。
【０１９２】
発明手法１〜３は、１次元の画像復元手法である。１次元の画像復元手法である発明手法１〜３では、図６５に示すように、周辺画素領域を用いて注目画素領域（１画素のみ）を復元する。このとき、画像復元手法は、用途や状況などに応じて適用可能である。例えば、上記のように、発明手法２は、発明手法１に比べて、高速（低演算量）な画像復元手法であり、発明手法３は、発明手法２よりも演算量は若干多いが、発明手法１および発明手法２よりも画像復元能力を向上させた手法であるため、処理速度を優先したい場合には発明手法２を適用し、画質を優先したい場合には発明手法３を適用する、という使い方が可能である。
【０１９３】
図６６は、２次元の画像復元手法の特徴を説明するための図である。
【０１９４】
発明手法４では、１次元の発明手法１を２次元に拡張した２次元の画像復元手法を提案する。発明手法４では、発明手法１の場合よりも注目画素領域を大きくとることにより、更新回数を軽減して処理効率のよい復元が可能となる。そのため、発明手法４では、発明手法１における画素領域（１画素のみ）を、縦と横の任意の長さをｐ、ｑとした画素領域に拡張する（以下「画素領域の２次元化」ともいう）。１つの画素領域がｐ＝ｑ＝２、かつ、処理対象ブロック（注目画素領域と周辺画素領域とからなる）が３ｐｑ×３ｐｑの場合の例を、図６６に示す。画素領域の２次元化に当たり、画素領域のサイズおよび処理対象ブロックのサイズは、それぞれ、自由に選択可能である。画素領域の２次元化により、注目画素領域の画素数が多くなるため、処理の効率化が図られる。また、ｐ＝ｑ＝１の場合、注目画素領域は１次元の画像復元手法（発明手法１〜３）と等しくなるため、２次元の画像復元手法である発明手法４は、柔軟性のある手法といえる。なお、上記のように、１次元カルマンフィルタを２次元に拡張した２次元カルマンフィルタも知られているが、２次元カルマンフィルタも、１次元カルマンフィルタと同様に、ＡＲ係数を用いるため、ＡＲ係数の推定精度に起因する画像復元能力の低下は避けられない。これを解決するためには、ＡＲ係数を必要としない新しい予測法を発案して、２次元カルマンフィルタの状態空間モデルを再構成すればよい。発明手法４は、まさに、このための新しい手法であり、発明手法１を２次元に拡張した新しい予測法に基づく画像復元手法である。以下、発明手法４について、より詳細に説明する。
【０１９５】
図６７は、発明手法４の状態空間モデルを視覚的に説明するための図である。また、図６８は、発明手法４の状態過程を視覚的に説明するための図であり、図６９は、発明手法４の状態方程式の構成を視覚的に示す説明図である。
【０１９６】
状態過程について、発明手法４では、図６８に示すように、画素領域として、サイズがｐ×ｑの領域を指定し、指定した画素領域に含まれる画素情報を並べてｐｑ×１次の画素領域ベクトルを生成する。例えば、図６８に示すように、ｐ＝ｑ＝２、かつ、３ｐｑ×３ｐｑの領域の場合を例にとると、一番左上の画素領域ベクトルｘ１（ｎ）は、４個の画素情報ｘ１（ｎ）、ｘ２（ｎ）、ｘ３（ｎ）、ｘ４（ｎ）を要素とする４×１次のベクトルであり、一番右下の画素領域ベクトルｘ９（ｎ）は、４個の画素情報ｘ３３（ｎ）、ｘ３４（ｎ）、ｘ３５（ｎ）、ｘ３６（ｎ）を要素とする４×１次のベクトルである。そして、９個の画素領域に対応する画素領域ベクトルｘｋ（ｎ）（ｋ＝１、２、…、９）を並べて状態ベクトルｘ（ｎ）を表現する。すなわち、発明手法４では、図６９に示すように、画素領域を、発明手法１における画素情報と対応付けて、同様の処理を行う。
【０１９７】
図７０は、発明手法４の観測過程を視覚的に説明するための図であり、図７１は、発明手法４の観測方程式の構成を視覚的に示す説明図である。
【０１９８】
観測過程についても、発明手法４では、図７０に示すように、画素領域として、サイズがｐ×ｑの領域を指定し、指定した画素領域に含まれる画素情報を並べてｐｑ×１次の画素領域ベクトルを生成する。例えば、図７０に示すように、ｐ＝ｑ＝２、かつ、３ｐｑ×３ｐｑの領域の場合を例にとると、一番左上の画素領域ベクトルｙ１（ｎ）は、４個の画素情報ｙ１（ｎ）、ｙ２（ｎ）、ｙ３（ｎ）、ｙ４（ｎ）を要素とする４×１次のベクトルであり、一番右下の画素領域ベクトルｙ９（ｎ）は、４個の画素情報ｙ３３（ｎ）、ｙ３４（ｎ）、ｙ３５（ｎ）、ｙ３６（ｎ）を要素とする４×１次のベクトルである。そして、９個の画素領域に対応する画素領域ベクトルｙｋ（ｎ）（ｋ＝１、２、…、９）を並べて観測ベクトルｙ（ｎ）を表現する。すなわち、発明手法４では、図７１に示すように、画素領域を、発明手法１における画素情報と対応付けて、同様の処理を行う。
【０１９９】
図７２は、発明手法４の観測遷移行列の、ｐ＝ｑ＝２、かつ、３ｐｑ×３ｐｑの領域の場合の具体例を示す図であり、図７３は、図７２の観測遷移行列の構成を視覚的に示す説明図である。また、図７４は、図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示す図、図７５は、図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示す他の図、図７６は、図７２の観測遷移行列を構成する係数の割り当て方法の具体例を示すさらに他の図である。
【０２００】
ここでは、発明手法４の観測遷移行列を構成する３×３（＝９）個の係数ｈｒ，ｓ（座標ｒ，ｓ＝−１，０，１）は、発明手法１の場合と同じであり、画素情報を単位として見たときに、発明手法１の場合と同様の関係が成り立つように、割り当てられている。係数ｈｒ，ｓ（ｒ，ｓ＝−１，０，１）の具体的な割り当て方法は、画素情報を単位としたときの観測量ｙｉの位置に応じて、図７４〜図７６にそれぞれ示す通りである。
【０２０１】
図７７は、発明手法４の状態方程式と観測方程式をまとめて示す説明図であり、図７８は、発明手法４のアルゴリズムを説明するための図である。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表している。
【０２０２】
図７７に示す状態方程式および観測方程式、ならびに図７８に示すアルゴリズムにおいて、Ｋ４は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ４＝ｍ×ｎで表される。ここで、ｍ、ｎは、それぞれ、ｍ＝ｌｍ×ｐ、ｎ＝ｌｎ×ｑで表される。ｐ、ｑは、それぞれ、注目画素領域の縦軸と横軸の長さであり、ｌｍ、ｌｎは、それぞれ、ｐ×ｑと同等のサイズを周辺画素領域の縦軸と横軸に構成した数である。
【０２０３】
図７９は、図７８のアルゴリズムを実行する処理手順を示すフローチャートである。
【０２０４】
ここでは、図７８のアルゴリズムの表記に対応して、行列とベクトルのサイズをそれぞれ明記している。具体的には、ｎ→（ｎ＋１）の推定誤差の相関値（行列）（Ｓ５１００）は、サイズがＫ４×Ｋ４の行列、重み係数（行列）（Ｓ５２００）は、サイズがＫ４×Ｋ４の行列、ｎ→（ｎ＋１）の状態量の最適推定値（ベクトル）（Ｓ５３００）は、サイズがＫ４×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（ベクトル）（Ｓ５４００）は、サイズがＫ４×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（行列）（Ｓ５６００）は、サイズがＫ４×Ｋ４の行列となる。
【０２０５】
図８０は、発明手法４の演算量評価を説明するための図である。なお、ここで、従来手法４は、２次元カルマンフィルタを用いた画像復元手法（例えば、非特許文献８参照）である。ただし、非特許文献８に記載された手法は、原画像に雑音が加わった劣化画像にしか対応できないため、本発明者は、非特許文献８に記載された手法をぼけと雑音に対応できるように拡張した上で、以下の各種比較（シミュレーションを含む）を行った。
【０２０６】
図８０の上側に、従来手法４および発明手法４に対する、更新１回当たりの演算回数（乗算回数）を示す。これに基づき、２５６×２５６サイズの１枚の画像を復元するのに必要な演算量（乗算回数）を求め、得られた結果を発明手法１に対する結果と一緒に示すと、図８０の中央左側に示す棒グラフが得られる。この棒グラフから明らかなように、発明手法４は、従来手法４よりも演算量は少ないが、発明手法１よりも演算量は多い。しかし、発明手法４は、発明手法１に比べて、注目画素領域が広いため、更新回数は少ない。演算量の減少効果で見た場合、その大小関係は、従来手法４＜発明手法４＜発明手法１、となる。したがって、発明手法４は、注目画素領域と周辺画素領域のサイズをそれぞれ変化させることにより、効率のよい画像復元が可能である。
【０２０７】
図８１は、発明手法４の復元処理速度評価を説明するための図である。
【０２０８】
ここでは、発明手法１の測定結果に、従来手法４と発明手法４の測定結果を追加した。その結果、発明手法４は、従来手法４と比較して、ＡＲ係数推定（導出）の演算量が不要であるため、処理速度が速くなっている。また、発明手法４は、上記のように発明手法１よりも演算量は多いものの更新回数は少ないため、発明手法１よりも高速な処理が可能となっている。処理速度で見た場合、その大小関係は、図８１に示すように、従来手法４＜発明手法１＜発明手法４、となる。したがって、発明手法４は、高速な画像復元処理が可能である。
【０２０９】
図８２は、比較対象手法との対比において原画像「カメラマン」に対する発明手法４のシミュレーション結果（視覚評価）を示す図であり、図８３は、図８２中の破線の円の周辺領域を拡大した図である。また、図８４は、比較対象手法との対比において原画像「レナ」に対する発明手法４のシミュレーション結果（視覚評価）を示す図であり、図８５は、図８４中の破線の円の周辺領域を拡大した図である。なお、シミュレーション条件は、図４６に示す通りである。また、ここでの比較対象手法は、従来手法３と発明手法１である。
【０２１０】
図８２〜図８５に示すように、発明手法４は、従来手法３に比べて、明らかに原画像を忠実に復元していることがわかる。しかも、発明手法１と比較しても、画像復元能力は、発明手法４のほうが高いことがわかる。
【０２１１】
図８６は、比較対象手法との対比において原画像に対する発明手法４のシミュレーション結果（客観評価）を示す図である。
【０２１２】
この場合、図８６に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法４は、発明手法３よりもＰＳＮＲの数値はやや小さいものの、従来手法３はもとより発明手法１および発明手法２よりもＰＳＮＲの数値が大きいことが確認できる。これにより、発明手法４は、客観評価の点でも、従来手法３、発明手法１、および発明手法２に比べて画像復元能力が高いことがわかる。これにより、客観評価（数値による評価）の大小（良否）関係は、図８６に示すように、従来手法３＜発明手法１＜発明手法２＜発明手法４＜発明手法３、となる。
【０２１３】
以上より、発明手法４は、発明手法１よりも演算量は多いものの、発明手法１および発明手法２よりも高い良好な画像復元能力を発揮することができる高速な画像復元処理を実現していることがわかる。
【０２１４】
＜発明手法５＞
図８７は、発明手法４の課題を視覚的に説明するための図である。
【０２１５】
発明手法４では、図８７に示すように、時刻ｎの変化は、画素領域（処理対象ブロック）の遷移を用いて表される。時刻ｎ＋１では、例えば、過去の１時刻前の９（＝３×３）個の画素領域にそれぞれ含まれる各状態量（原画像の画素情報）を用いて、現在の処理対象ブロックの９（＝３×３）個の画素領域にそれぞれ含まれる各状態量（原画像の画素情報）を推定することにより、注目画素領域の状態量ｘ２９、ｘ３０、ｘ３１、ｘ３２を復元する。このように、発明手法４では、１つの注目画素領域に含まれる各状態量（要素）を復元するために、処理対象ブロック内の状態量（要素）をすべて推定している。しかし、そもそも、１つの注目画素領域内の要素を復元するためには、その注目画素領域内の要素のみを求めればよく、他の要素の推定は不要である。そこで、発明手法５では、注目画素領域のみを考慮した状態空間モデルを再構成する。具体的には、発明手法５では、発明手法４の観測方程式を再構成して注目画素領域に含まれる要素のみを抽出するようにしている。これにより、発明手法５では、発明手法４に対して大幅な演算量の軽減を可能にして、高速（低演算量）な劣化画像復元を実現している。なお、発明手法５は、発明手法２を２次元に拡張したものともいえる。
【０２１６】
図８８は、発明手法５の状態方程式の構成を視覚的に示す説明図であり、特に、（Ａ）は、発明手法４の状態方程式の具体例を示す図、（Ｂ）は、時刻の変化に伴う処理対象ブロックの変化を示す図である。なお、図８８に示すように、発明手法５の状態方程式は、発明手法４の状態方程式と全く同じであるため、その説明を省略する。
【０２１７】
図８９は、発明手法５の観測方程式の構成を視覚的に示す説明図であり、図９０は、発明手法５の観測方程式の構成を視覚的に示す他の説明図である。
【０２１８】
発明手法５では、図８９に示すように、発明手法４の観測方程式において注目画素領域に含まれる要素（例えば、画素領域ベクトルｙ５（ｎ））のみを抽出して観測方程式を再構成する。これにより、発明手法５では、図９０に示すように、発明手法４における観測ベクトルｙｐ４（ｎ）、観測遷移行列Ｍｐ４、観測雑音ベクトルεｐ４（ｎ）は、それぞれ、サイズが縮小されて、観測ベクトルｙｐ５（ｎ）、観測遷移行列Ｍｐ５、観測雑音ベクトルεｐ５（ｎ）となる。この結果、発明手法５は、発明手法４に対して、サイズが縮小されるため、演算量が大幅に軽減される。なお、演算量の軽減効果については、後で詳述する。
【０２１９】
図９１は、発明手法５の状態方程式と観測方程式をまとめて示す説明図であり、図９２は、発明手法５のアルゴリズムを説明するための図である。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表し、アルファベットの大文字「Ｃ（γ×ζ）」は、サイズがγ×ζの行列を表している。
【０２２０】
図９１に示す状態方程式および観測方程式、ならびに図９２に示すアルゴリズムにおいて、Ｋ５は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ５＝ｍ×ｎで表される。ここで、ｍ、ｎは、それぞれ、ｍ＝ｌｍ×ｐ、ｎ＝ｌｎ×ｑで表される。ｐ、ｑは、それぞれ、注目画素領域の縦軸と横軸の長さであり、ｌｍ、ｌｎは、それぞれ、ｐ×ｑと同等のサイズを周辺画素領域の縦軸と横軸に構成した数である。また、Ｌ５は、注目画素領域に含まれる画素数であり、Ｌ５＝ｐ×ｑで表される。
【０２２１】
図９３は、図９２のアルゴリズムを実行する処理手順を示すフローチャートである。
【０２２２】
上記のように、発明手法５では、図９０に示すように、発明手法４における観測ベクトルｙｐ４（ｎ）、観測遷移行列Ｍｐ４、観測雑音ベクトルεｐ４（ｎ）は、それぞれ、サイズが９ｐｑ×１→ｐｑ×１、９ｐｑ×９ｐｑ→ｐｑ×９ｐｑ、９ｐｑ×１→ｐｑ×１に縮小されて（つまり、Ｌ５＜Ｋ５）、観測ベクトルｙｐ５（ｎ）、観測遷移行列Ｍｐ５、観測雑音ベクトルεｐ５（ｎ）となっている。これにより、図９３のフローチャートにおいて、ｎ→（ｎ＋１）の推定誤差の相関値（Ｓ６１００）は、サイズがＫ５×Ｋ５の行列、重み係数（Ｓ６２００）は、サイズがＫ５×Ｌ５の行列、ｎ→（ｎ＋１）の状態量の最適推定値（Ｓ６３００）は、サイズがＫ５×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（Ｓ６４００）は、サイズがＫ５×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（Ｓ６６００）は、サイズがＫ５×Ｋ５の行列となる。
【０２２３】
図９４は、発明手法４と発明手法５のアルゴリズムを比較した説明図である。
【０２２４】
図９４に示すように、発明手法４のアルゴリズムでは、サイズが９ｐｑ×９ｐｑの逆行列の計算が必要であり（反復過程つまり更新式の手順２参照）、演算量が多い。これに対し、発明手法５では、上記したサイズの縮小により、サイズが９ｐｑ×９ｐｑの逆行列が、サイズがｐｑ×ｐｑの逆行列となっている（反復過程つまり更新式の手順２参照）。したがって、発明手法５は、発明手法４よりも演算量が大幅に軽減される。
【０２２５】
図９５は、発明手法５の演算量評価を説明するための図である。
【０２２６】
図９５の上側に、発明手法５に対する、更新１回当たりの演算回数（乗算回数）を示す。これに基づき、２５６×２５６サイズの１枚の画像を復元するのに必要な演算量（乗算回数）を求め、得られた結果を図８０に示す棒グラフに加えると、図９５の中央左側に示す棒グラフが得られる。この棒グラフから明らかなように、発明手法５は、従来手法４および発明手法４よりも演算量は大幅に少ない。演算量の減少効果で見た場合、その大小関係は、従来手法４＜発明手法４＜発明手法１＜発明手法５、となる。したがって、発明手法５は、大幅な演算量の軽減が可能であり、高速（低演算量）な画像復元が可能である。
【０２２７】
図９６は、発明手法５の復元処理速度評価を説明するための図
【０２２８】
ここでは、図８１の結果に、発明手法５の測定結果を追加した。その結果、発明手法５も、従来手法４と比較して、ＡＲ係数推定（導出）の演算量が不要であるため、処理速度が速くなっている。また、発明手法５は、上記のように発明手法１および発明手法４よりも演算量が少ないため、発明手法１および発明手法４よりも高速な処理が可能となっている。処理速度で見た場合、その大小関係は、図９６に示すように、従来手法４＜発明手法１＜発明手法４＜発明手法５、となる。したがって、発明手法５は、高速な画像復元処理が可能である。
【０２２９】
図９７は、比較対象手法との対比において原画像「カメラマン」に対する発明手法５のシミュレーション結果（視覚評価）を示す図であり、図９８は、図９７中の破線の円の周辺領域を拡大した図である。また、図９９は、比較対象手法との対比において原画像「レナ」に対する発明手法５のシミュレーション結果（視覚評価）を示す図であり、図１００は、図９９中の破線の円の周辺領域を拡大した図である。なお、シミュレーション条件は、図４６に示す通りである。また、ここでの比較対象手法は、従来手法３と発明手法１である。
【０２３０】
図９７〜図１００に示すように、発明手法５は、従来手法３に比べて、明らかに原画像を忠実に復元していることがわかる。ただし、発明手法１と発明手法５を比較した場合、画像復元能力はほぼ同等のレベルである。
【０２３１】
図１０１は、比較対象手法との対比において原画像に対する発明手法５のシミュレーション結果（客観評価）を示す図である。
【０２３２】
この場合、図１０１に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法５は、発明手法３よりもＰＳＮＲの数値が小さく、従来手法３よりはＰＳＮＲの数値が大きいものの、発明手法１、２、４とはＰＳＮＲの数値がほぼ同レベルであることが確認できる。これにより、発明手法５は、客観評価の点でも、従来手法３に比べて画像復元能力が高いことがわかる。これにより、客観評価（数値による評価）の大小（良否）関係は、図１０１に示すように、従来手法３＜発明手法１＜発明手法５＜発明手法２＜発明手法４＜発明手法３、となる。
【０２３３】
以上より、発明手法５は、２次元に拡張した発明手法４とほぼ同等な画像復元能力を維持しつつ、演算量の軽減により高速で、かつ、処理効率が向上した画像復元手法を実現していることがわかる。
【０２３４】
＜発明手法６＞
図１０２は、発明手法５の課題を視覚的に説明するための図である。
【０２３５】
発明手法５は、上記のように、発明手法４に対して、演算量を大幅に軽減して高速な画像復元処理を実現することができるものの、画像復元能力が若干低下している。これは、図１０２に示すように、発明手法５の観測方程式において、有色性駆動源の影響が大きい領域が含まれていないためであると考えられる。そこで、発明手法６では、注目画素領域のみでなく有色駆動源をも考慮した状態空間モデルを再構成する。すなわち、発明手法６では、有色性駆動源の影響を最大限に与えるように状態空間モデルを再構成する。
【０２３６】
図１０３は、発明手法６の観測方程式の構成を視覚的に示す説明図であり、図１０４は、発明手法６の状態空間モデルを視覚的に説明するための図である。なお、発明手法６の状態方程式は、発明手法５（ひいては発明手法４）の状態方程式と全く同じであるため、その説明を省略する。
【０２３７】
発明手法６では、図１０３に示すように、発明手法４の観測方程式において、注目画素領域に含まれる要素（例えば、画素領域ベクトルｙ５（ｎ））に加えて、有色性駆動源の影響を受ける領域に含まれる要素（例えば、画素領域ベクトルｙ７（ｎ）、ｙ８（ｎ）、ｙ９（ｎ））をも抽出して観測方程式を再構成する。すなわち、発明手法６では、有色性駆動源の影響を考慮するために、発明手法５と比較して、画素領域ベクトルｙ７（ｎ）、ｙ８（ｎ）、ｙ９（ｎ）をも取り入れる。これにより、発明手法６では、発明手法４における観測ベクトルｙｐ４（ｎ）、観測遷移行列Ｍｐ４、および観測雑音ベクトルεｐ４（ｎ）は、サイズがそれぞれ縮小されて、観測ベクトルｙｐ６（ｎ）、観測遷移行列Ｍｐ６、観測雑音ベクトルεｐ６（ｎ）となる。このように、発明手法６では、図１０４に示すように、状態方程式における有色性駆動源の影響を最大限に考慮するべく、注目画素領域と有色性駆動源の影響を受ける領域とから観測方程式を再構成する。これにより、発明手法６は、発明手法５の場合よりもサイズの縮小は小さいものの、発明手法４に対してサイズが縮小されるため、演算量は大幅に軽減される。
【０２３８】
図１０５は、発明手法６の状態方程式と観測方程式をまとめて示す説明図であり、図１０６は、発明手法６のアルゴリズムを説明するための図である。なお、式の表記法として、ここでは、一般に、アルファベットの小文字「αγ」は、サイズがγ×１のベクトルを表し、アルファベットの大文字「Βγ」は、サイズがγ×γの行列を表し、アルファベットの大文字「Ｃ（γ×ζ）」は、サイズがγ×ζの行列を表している。
【０２３９】
図１０５に示す状態方程式および観測方程式、ならびに図１０６に示すアルゴリズムにおいて、Ｋ６は周辺画素領域（厳密には処理対象ブロック）に含まれる画素数であり、ｍ、ｎをそれぞれ周辺画素領域の縦軸と横軸の長さとした場合、Ｋ６＝ｍ×ｎで表される。ここで、ｍ、ｎは、それぞれ、ｍ＝ｌｍ×ｐ、ｎ＝ｌｎ×ｑで表される。ｐ、ｑは、それぞれ、注目画素領域の縦軸と横軸の長さであり、ｌｍ、ｌｎは、それぞれ、ｐ×ｑと同等のサイズを周辺画素領域の縦軸と横軸に構成した数である。また、Ｌ６は、注目画素領域と有色性駆動源を含む領域とを合わせた領域に含まれる画素数であり、Ｌ６＝ｐ×ｑ＋ｍ×ｑで表される（Ｌ６＜Ｋ６）。発明手法６のアルゴリズムは、図１０６に示すように、初期設定（Initialization）の過程と反復（Iteration）の過程とに大別され、反復過程は、発明手法５の場合（図９２参照）よりも演算量が若干増加するものの、発明手法４の場合（図７８参照）よりも演算量が軽減されるよう、図１０５に示す新しい状態空間モデル（状態方程式と観測方程式）を基に構成されている。反復過程では、１〜６の手順を逐次繰り返す。
【０２４０】
図１０７は、図１０６のアルゴリズムを実行する処理手順を示すフローチャートである。
【０２４１】
上記のように、発明手法６では、図１０３に示すように、発明手法４における観測ベクトルｙｐ４（ｎ）、観測遷移行列Ｍｐ４、観測雑音ベクトルεｐ４（ｎ）は、サイズがそれぞれ縮小されて（つまり、Ｌ６＜Ｋ６）、観測ベクトルｙｐ６（ｎ）、観測遷移行列Ｍｐ６、観測雑音ベクトルεｐ６（ｎ）となっている。これにより、図１０７のフローチャートにおいて、ｎ→（ｎ＋１）の推定誤差の相関値（Ｓ７１００）は、サイズがＫ６×Ｋ６の行列、重み係数（Ｓ７２００）は、サイズがＫ６×Ｌ６の行列、ｎ→（ｎ＋１）の状態量の最適推定値（Ｓ７３００）は、サイズがＫ６×１のベクトル、（ｎ＋１）→（ｎ＋１）の状態量の最適推定値（Ｓ７４００）は、サイズがＫ６×１のベクトル、（ｎ＋１）→（ｎ＋１）の推定誤差の相関値（Ｓ７６００）は、サイズがＫ６×Ｋ６の行列となる。
【０２４２】
図１０８は、発明手法６の演算量評価を説明するための図である。
【０２４３】
図１０８の上側に、発明手法６に対する、２５６×２５６サイズの１枚の画像を復元するのに必要な演算量（乗算回数）示す。これに基づき、更新１回当たりの演算量（乗算回数）を求め、得られた結果を図９５に示す棒グラフに加えると、図１０８の中央左側に示す棒グラフが得られる。この棒グラフから明らかなように、発明手法６は、発明手法５よりも演算量は若干多いものの、発明手法４よりも演算量は大幅に少ない。演算量の減少効果で見た場合、その大小関係は、従来手法４＜発明手法４＜発明手法１＜発明手法６＜発明手法５、となる。したがって、発明手法６は、良好な演算量軽減を実現している。
【０２４４】
図１０９は、発明手法６の復元処理速度評価を説明するための図である。
【０２４５】
ここでは、図９６の結果に、発明手法６の測定結果を追加した。その結果、発明手法６も、従来手法４と比較して、ＡＲ係数推定（導出）の演算量が不要であるため、処理速度が速くなっている。また、発明手法６は、上記のように発明手法４よりも演算量が大幅に少ないため、発明手法４よりも高速な処理が可能となっている。発明手法６は、発明手法５よりも処理速度が若干遅い程度である。処理速度で見た場合、その大小関係は、図１０９に示すように、従来手法４＜発明手法１＜発明手法４＜発明手法６＜発明手法５、となる。したがって、発明手法６も、高速な画像復元処理が可能である。
【０２４６】
図１１０は、比較対象手法との対比において原画像「カメラマン」に対する発明手法６のシミュレーション結果（視覚評価）を示す図であり、図１１１は、図１１０中の破線の円の周辺領域を拡大した図である。また、図１１２は、比較対象手法との対比において原画像「レナ」に対する発明手法６のシミュレーション結果（視覚評価）を示す図であり、図１１３は、図１１２中の破線の円の周辺領域を拡大した図である。なお、シミュレーション条件は、図４６に示す通りである。また、ここでの比較対象手法は、従来手法３と発明手法１である。
【０２４７】
図１１０〜図１１３に示すように、発明手法６は、従来手法３に比べて、明らかに原画像を忠実に復元していることがわかる。しかも、発明手法１と比較しても、画像復元能力は、発明手法６のほうが高いことがわかる。
【０２４８】
図１１４は、比較対象手法との対比において原画像に対する発明手法６のシミュレーション結果（客観評価）を示す図である。
【０２４９】
この場合、図１１４に示すように、「カメラマン」、「レナ」どちらの画像についても、発明手法６は、他のどの手法（従来手法３はもとより発明手法１〜５）よりもＰＳＮＲの数値が大きいことが確認できる。これにより、発明手法６は、客観評価の点でも、他の手法（従来手法３、発明手法１〜５）に比べて画像復元能力が高いことがわかる。これにより、客観評価（数値による評価）の大小（良否）関係は、図１１４に示すように、従来手法３＜発明手法１＜発明手法５＜発明手法２＜発明手法４＜発明手法３＜発明手法６、となる。
【０２５０】
以上より、発明手法６は、発明手法５よりも演算量を若干増加させつつも、発明手法１〜５よりも高い良好な画像復元能力を発揮することができる高速な画像復元処理を実現していることがわかる。
【０２５１】
ここで、発明手法１〜６の状態空間モデル（状態方程式と観測方程式）の特徴についてまとめておく。
【０２５２】
＜発明手法１＞
状態方程式は、時刻ｎ＋１のＫ１個の原画像（画素情報）が、時刻ｎのＫ１個の原画像（画素情報）と、ｍ個の原画像（画素情報）を含む有色性駆動源とから構成されている。また、観測方程式は、時刻ｎのＫ１個の原画像（画素情報）が、ぼけと雑音の影響を受けてＫ１個の劣化画像（画素情報）から構成されている。このような状態空間モデルにより、発明手法１では、観測方程式のＫ１個の劣化画像（画素情報）を用いて、状態方程式の時刻ｎ＋１におけるＫ１個の原画像（画素情報）を予測している。
【０２５３】
＜発明手法２＞
発明手法１において、必要な復元画像（画素情報）は１個である。それゆえ、発明手法２では、演算量を軽減するために、発明手法１の観測方程式の１個の劣化画像（画素情報）のみに着目して、発明手法１の観測方程式を再構成する。ただし、発明手法２の状態方程式は、発明手法１と同じである。このような状態空間モデルにより、発明手法２の観測方程式では、時刻ｎの１個の劣化画像（画素情報）のみを用いるため、過去の劣化画像（画素情報）に依存することなく、最も少ない演算量で１個の原画像（画素情報）を予測している。
【０２５４】
＜発明手法３＞
少ない演算量で高性能な画像復元能力を得るために、発明手法３の観測方程式は、有色性駆動源の影響を含む時刻ｎの原画像（画素情報）からなる発明手法１の観測方程式の一部と、発明手法２の観測方程式とから構成されている。このような状態空間モデルにより、発明手法３では、有色性駆動源の影響を最大限に考慮しているため、演算量の軽減を図りながら高性能な画像復元を実現している。
【０２５５】
＜発明手法４＞
処理効率を向上させるために、２次元に拡張した状態方程式は、時刻ｎ＋１のＫ４個の原画像（画素情報）が、時刻ｎのＫ４個の原画像（画素情報）と、ｍ×ｑ個の原画像（画素情報）を含む有色性駆動源とから構成されている。また、２次元に拡張した観測方程式は、時刻ｎのＫ４個の原画像（画素情報）が、ぼけと雑音の影響を受けてＫ４個の劣化画像（画素情報）から構成されている。このような状態空間モデルにより、発明手法４では、観測方程式のＫ４個の劣化画像（画素情報）を用いて、状態方程式の時刻ｎ＋１におけるＫ４個の原画像（画素情報）を予測している。
【０２５６】
＜発明手法５＞
２次元に拡張した発明手法４において、必要な復元画像（画素情報）はｐ×ｑ個である。それゆえ、発明手法２では、演算量を軽減するために、発明手法４の観測方程式のｐ×ｑ個の劣化画像（画素情報）のみに着目して、発明手法４の観測方程式を再構成する。ただし、発明手法５の状態方程式は、発明手法４と同じである。このような状態空間モデルにより、発明手法５の観測方程式では、時刻ｎのｐ×ｑ個の劣化画像（画素情報）のみを用いるため、過去の劣化画像（画素情報）に依存することなく、最も少ない演算量でｐ×ｑ個の原画像（画素情報）を予測している。
【０２５７】
＜発明手法６＞
少ない演算量で高性能な画像復元能力を得るために、発明手法６の観測方程式は、有色性駆動源の影響を含む時刻ｎの原画像（画素情報）からなる発明手法４の観測方程式の一部と、発明手法５の観測方程式とから構成されている。このような状態空間モデルにより、発明手法６では、有色性駆動源の影響を最大限に考慮しているため、演算量を軽減しながら高性能な画像復元を実現している。
【０２５８】
このように、発明手法１〜６によれば、いずれも、ＡＲ係数を必要としない新しい状態空間モデル（状態方程式と観測方程式）を構成して１段階処理の新しい予測法によって画像復元を行うため、１枚の劣化画像のみを用いてぼけと雑音を同時に取り除くことができる。
【０２５９】
また、発明手法１〜６によれば、いずれも、ＡＲ係数を必要としないため、演算量を軽減することができる。
【０２６０】
また、発明手法１〜３を２次元に拡張した発明手法４〜６によれば、注目画素領域および周辺画素領域のサイズをそれぞれ任意に変化させることができるため、例えば、劣化画像の性質によって１次元および２次元の新しい予測法に基づく画像復元手法を使い分けることが可能となり、効率のよい画像復元を実現することができる。
【０２６１】
特に、発明手法４〜６は、２次元に拡張された新しい予測法を用いた劣化画像復元手法である。この発明手法４〜６の最大の特徴は、劣化画像の性質やユーザの目的などに応じて、発明手法１、発明手法１の演算量を軽減した発明手法２、および性能を優先させた発明手法３を実現可能となるだけでなく、２次元に拡張した発明手法４、発明手法４の演算量を軽減した発明手法５、および性能を優先させた発明手法６と適応的に変更できることである。
【０２６２】
（実施の形態２）
実施の形態２は、状況に応じて複数の画像復元手法を適応的に切り替えて実行させる場合である。
【０２６３】
図１１５は、本発明の実施の形態２に係る画像復元装置の構成を示すブロック図である。なお、この画像復元装置２００は、図１に示す画像復元装置１００と同様の基本的構成を有しており、同一の構成要素にば同一の符号を付し、その説明を省略する。
【０２６４】
図１１５に示す画像復元装置２００は、複数の画像復元アルゴリズムを内蔵しており、ユーザの選択によって、または、状況に応じて自動的に、内蔵した画像復元アルゴリズムを切り替えて実行可能である。複数の画像復元アルゴリズムとしては、例えば、上記した発明手法１〜６の全部または一部を用いることができる。発明手法１〜６は、上記のように、復元能力や処理速度（演算量）、処理効率、柔軟性などの点で、それぞれ特徴を有するため、適用する発明手法を状況に応じて適宜選択することによって、状況に応じた最適な画像復元を行うことができる。なお、内蔵する複数の画像復元アルゴリズムは、発明手法１〜６に限定されるわけではなく、発明手法１〜６と従来手法（例えば、上記の従来手法１〜４）との任意の組み合わせであってもよい。
【０２６５】
このような機能を実現するため、画像復元装置２００は、復元モード指定部２１０と画像復元処理部２２０を有する。復元モード指定部２１０は、例えば、操作部１３０に設けられている。復元モード指定部２１０は、使用者の入力操作により、後述する復元モードを指定する。また、画像復元処理部２２０は、例えば、パラメータ設定部２２２、被写体領域判定部２２４を有する。また、記憶部１５０において、例えば、主記憶装置１５２は、取込画像メモリ２３０、被写体領域メモリ２３２、処理パラメータメモリ２３４、および復元画像メモリ２３６を有し、表示メモリ１５６は、取込画像メモリ２４０、処理内容メモリ２４２、および復元画像メモリ２４４を有する。
【０２６６】
図１１６は、復元モード指定部２１０によって指定可能な復元モードの具体例を示す図である。
【０２６７】
復元モード指定部２１０によって指定可能な復元モードは、図１１６に示すように、復元モード指定部２１０の内部構造として与えられる。図１１６に示す例では、復元モードとして、まず大別して、例えば、「カメラモード」、「取込画像」、「品質」が設けられている。そして、カメラモードには、例えば、「スポーツ」や「風景」、「夜景」、「接写」、「ポートレー」などのモードが設けられ、取込画像には、例えば、「写真」や「文字」、「風景」などのモードが設けられている。また、品質には、「画質優先」や「オート」、「処理速度優先」などのモードが設けられている。画質優先のモードは、さらに、「非常に細かい」、「細かい」、「普通」の３段階に分かれている。それぞれの復元モードには、予め、最適な画像復元アルゴリズムが対応付けられている。例えば、「品質」の「処理速度優先」には、発明手法５が対応付けられ、「品質」の「非常に細かい」には、発明手法３または発明手法６が対応付けられている。また、復元モードは、異なる項目から複数同時に指定することもできる。例えば、「取込画像」から「写真」を指定し、「品質」から「画質優先」の「非常に細かい」を指定した場合には、これらの条件にマッチした復元処理を行う画像復元アルゴリズムが実行される。
【０２６８】
画像復元処理部２２０において、パラメータ設定部２２２は、操作部１３０のパラメータ設定部１３２によって入力された各種パラメータの値を内部的に設定する。また、被写体領域判定部２２４は、所定の被写体領域判定アルゴリズムによって、被写体の領域を判定する。ここでは、被写体領域判定アルゴリズムは、特に限定されず、周知の任意のアルゴリズムを用いることができる。
【０２６９】
また、主記憶装置１５２において、取込画像メモリ２３０は、画像入力装置１１０によって取り込まれた画像を格納し、被写体領域メモリ２３２は、被写体領域判定部２２４によって判定された被写体の領域を格納する。被写体領域メモリ２３２に格納される被写体領域は、被写体の画像そのものでも被写体の画像の格納場所でもよい。処理パラメータメモリ２３４は、操作部１３０によって設定された復元処理の内容（設定されたパラメータや復元モードなど）を格納する。復元画像メモリ２３４は、画像復元処理部２２０によって復元された画像を格納する。また、表示メモリ１５６において、取込画像メモリ２４０は、主記憶装置１５２の取込画像メモリ２３０に格納された取込画像のうち、表示する取込画像を一時格納し、処理内容メモリ２４２は、処理パラメータメモリ２３４に格納された復元処理の内容（設定されたパラメータや復元モードなど）のうち、表示する処理内容を一時格納する。復元画像メモリ２４４は、主記憶装置１５２の復元画像メモリ２３４に格納された復元画像のうち、表示する復元画像を一時格納する。
【０２７０】
次いで、上記構成を有する画像復元装置２００の動作について、図１１７に示すフローチャートを用いて説明する。なお、図１１７に示すフローチャートは、記憶部１５０（主記憶装置１５２または補助記憶装置１５４）に制御プログラムとして格納されており、図示しないＣＰＵによって実行される。
【０２７１】
まず、ステップＳ８０００では、画像入力装置１１０から復元処理対象の画像データ（劣化画像）を取り込み、主記憶装置１５２の取込画像メモリ２３０に格納する。
【０２７２】
そして、ステップＳ８０５０では、ステップＳ８０００で取り込んだ画像データを、少なくとも１フレーム、一時的に記憶する。ここでは、取り込んだ画像データ（少なくとも１フレーム）を、１フレーム以上の画像データを一時的に蓄積するメモリ（例えば、主記憶装置１５２の図示しない作業用メモリ）に記憶する。
【０２７３】
そして、ステップＳ８１００では、画像復元処理部２２０の被写体領域判定部２２４で、ステップＳ８０５０で一時的に記憶した取込画像データに対して、所定のレベルでプレスキャン（被写体認識）する。具体的には、取込画像データ中で所定レベル以上の変化点抽出する。
【０２７４】
そして、ステップＳ８１５０では、ステップＳ８１００の結果を用いて、所定レベル以上の変化点を抽出した位置を、取込画像データに対応付けて、主記憶装置１５２の被写体領域メモリ２３２に記憶する。
【０２７５】
そして、ステップＳ８２００では、プレスキャンを終了するか否かを判断する。この判断は、プレスキャンを行っていないフレームが存在するか否かに基づいて行われる。すなわち、複数のフレームが存在する場合には、フレームの数だけプレスキャンを繰り返すことになる。この判断の結果として、プレスキャンを終了する場合は（Ｓ８２００：ＹＥＳ）、ステップＳ８２５０に進み、プレスキャンを終了しない場合は（Ｓ８２００：ＮＯ）、ステップＳ８１００に戻る。
【０２７６】
ステップＳ８２５０では、操作部１３０の復元モード指定部２１０および領域指定部１３４で、復元モードの設定と境界領域の設定を行う。設定可能な復元モードは、例えば、上記した図１１６に示す通りである。また、境界領域の設定では、ステップＳ８１００でプレスキャンしたときの境界領域の確認を行う。
【０２７７】
そして、ステップＳ８３００では、被写体領域か否かの判断を行う。具体的には、処理対象ブロック（注目画素とその周辺画素）が被写体領域を含んでいるか否かを判断する。この判断は、例えば、プレスキャンした段階で、劣化画像の中のどの位置にユーザが注目している被写体があるのかを画素の輝度値により自動的に判定しておき、この結果を利用したり、あるいは、ユーザにタッチパネルを使って選択的に被写体領域を判定させたりすることによって行われる。この判断の結果として、処理対象ブロックが被写体領域を含む場合は（Ｓ８３００：ＹＥＳ）、ステップＳ８３５０に進み、処理対象ブロックが被写体領域を含まない場合は（Ｓ８３００：ＮＯ）、ステップＳ８４００に進む。
【０２７８】
ステップＳ８３５０では、実行する画像復元手法として、ステップＳ８２５０で設定した復元モードに対応する１次元の画像復元手法（例えば、発明手法１〜３のいずれか）を選択する。また、ステップＳ８４００では、実行する画像復元手法として、ステップＳ８２５０で設定した復元モードに対応する２次元の画像復元手法（例えば、発明手法４〜６のいずれか）を選択する。すなわち、本実施の形態では、処理対象ブロックが被写体領域を含むか否かで大きく１次元復元手法を実行するか２次元復元手法を実行するかを選択し、その後、選択された１次元復元手法または２次元復元手法の中から、例えば、取込画像（写真や文字など）、品質（画質やスピードなど）、または様々な用途（ポートレートや夜景など）に適応した復元モードに応じて、最適な復元手法を選択するようにしている。
【０２７９】
そして、ステップＳ８４５０では、画像復元処理部２２０で、ステップＳ８３５０またはステップＳ８４００で選択した画像復元手法を用いて、設定されたパラメータに従った画像復元処理を行う。ここで、パラメータの設定は、操作部１３０のパラメータ設定部１３２で行われる。
【０２８０】
そして、ステップＳ８５００では、当該フレームについて画像復元処理が終了したか否かを判断する。この判断の結果として、当該フレームについて画像復元処理が終了した場合は（Ｓ８５００：ＹＥＳ）、ステップＳ８５５０に進み、当該フレームについて画像復元処理が終了していない場合は（Ｓ８５００：ＮＯ）、ステップＳ８３００に戻る。
【０２８１】
ステップＳ８５５０では、全フレームについて画像復元処理が終了したか否かを判断する。この判断の結果として、全フレームについて画像復元処理が終了していない場合は（Ｓ８５５０：ＮＯ）、ステップＳ８２５０に戻り、全フレームについて画像復元処理が終了した場合は（Ｓ８５５０：ＹＥＳ）、上記一連の処理を終了する。したがって、複数のフレームが存在する場合には、フレームの数だけ画像復元処理を繰り返すことになる。
【０２８２】
このように、本実施の形態によれば、状況に応じて複数の画像復元手法を適応的に切り替えて実行させるため、復元する画素に適した画像復元処理を、１チップで、高精度かつ高速に行うことができる。
【産業上の利用可能性】
【０２８３】
本発明に係る画像復元装置および画像復元方法は、画像復元能力を向上することができるシンプルで実用的な画像復元装置および画像復元方法として有用である。
【符号の説明】
【０２８４】
１００、２００ 画像復元装置
１１０ 画像入力装置
１１２ カメラ
１１４ スキャナ
１１６、１８６ 記録メディア
１１８、１８８ モデム
１２０ 入力インタフェース部
１３０ 操作部
１３２、２２２ パラメータ設定部
１３４ 領域指定部
１３６、２１０ 復元モード指定部
１４０ 内部インタフェース部
１５０ 記憶部
１５２ 主記憶装置
１５４ 補助記憶装置
１５６ 表示メモリ
１６０、２２０ 画像復元処理部
１６０ａ 第１復元処理部
１６０ｂ 第２復元処理部
１６２ 初期設定部
１６４ 相関演算部
１６６ 重み係数算出部
１６８ 最適推定値算出部
１７０ 出力インタフェース部
１８０ 画像出力装置
１８２ ディスプレイ
１８４ プリンタ
２２４ 被写体領域判定部
２３０、２４０ 取込画像メモリ
２３２ 被写体領域メモリ
２３４ 処理パラメータメモリ
２３６、２４４ 復元画像メモリ
２４２ 処理内容メモリ
【特許請求の範囲】
【請求項１】
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元装置であって、
時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により前記原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算部と、
時刻ｎのみの劣化画像情報に対して、前記相関演算部によって算出された相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出部と、
時刻ｎのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出部と、
を有する画像復元装置。
【請求項２】
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元方法であって、
時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により前記原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算工程と、
時刻ｎのみの劣化画像情報に対して、前記相関演算工程で算出した相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、
時刻ｎのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出工程と、
を有する画像復元方法。
【請求項３】
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定するための画像復元プログラムであって、
コンピュータに、
時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により前記原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算工程と、
時刻ｎのみの劣化画像情報に対して、前記相関演算工程で算出した相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、
時刻ｎのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出工程と、
を実行させるための画像復元プログラム。
【請求項１】
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元装置であって、
時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により前記原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算部と、
時刻ｎのみの劣化画像情報に対して、前記相関演算部によって算出された相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出部と、
時刻ｎのみの劣化画像情報に対して、前記重み係数算出部によって算出された重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出部と、
を有する画像復元装置。
【請求項２】
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定する画像復元方法であって、
時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により前記原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算工程と、
時刻ｎのみの劣化画像情報に対して、前記相関演算工程で算出した相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、
時刻ｎのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出工程と、
を有する画像復元方法。
【請求項３】
原画像情報に不必要な情報が混在した劣化画像情報のみから前記原画像情報を推定するための画像復元プログラムであって、
コンピュータに、
時刻ｎのみの劣化画像情報に対して、時刻ｎまたは時刻ｎ＋１までの情報により前記原画像情報を含む時刻ｎ＋１でのシステムの状態量を推定した場合の推定誤差の相関値を算出する相関演算工程と、
時刻ｎのみの劣化画像情報に対して、前記相関演算工程で算出した相関値を用いて、時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値と、時刻ｎまでの情報による時刻ｎ＋１での前記状態量の最適推定値と、前記劣化画像情報を含む観測量の推定誤差と、の関係を規定するための重み係数を算出する重み係数算出工程と、
時刻ｎのみの劣化画像情報に対して、前記重み係数算出工程で算出した重み係数を用いて、時刻ｎまたは時刻ｎ＋１までの情報による時刻ｎ＋１での前記状態量の最適推定値を算出する最適推定値算出工程と、
を実行させるための画像復元プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図７６】
【図７７】
【図７８】
【図７９】
【図８０】
【図８１】
【図８２】
【図８３】
【図８４】
【図８５】
【図８６】
【図８７】
【図８８】
【図８９】
【図９０】
【図９１】
【図９２】
【図９３】
【図９４】
【図９５】
【図９６】
【図９７】
【図９８】
【図９９】
【図１００】
【図１０１】
【図１０２】
【図１０３】
【図１０４】
【図１０５】
【図１０６】
【図１０７】
【図１０８】
【図１０９】
【図１１０】
【図１１１】
【図１１２】
【図１１３】
【図１１４】
【図１１５】
【図１１６】
【図１１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図５９】
【図６０】
【図６１】
【図６２】
【図６３】
【図６４】
【図６５】
【図６６】
【図６７】
【図６８】
【図６９】
【図７０】
【図７１】
【図７２】
【図７３】
【図７４】
【図７５】
【図７６】
【図７７】
【図７８】
【図７９】
【図８０】
【図８１】
【図８２】
【図８３】
【図８４】
【図８５】
【図８６】
【図８７】
【図８８】
【図８９】
【図９０】
【図９１】
【図９２】
【図９３】
【図９４】
【図９５】
【図９６】
【図９７】
【図９８】
【図９９】
【図１００】
【図１０１】
【図１０２】
【図１０３】
【図１０４】
【図１０５】
【図１０６】
【図１０７】
【図１０８】
【図１０９】
【図１１０】
【図１１１】
【図１１２】
【図１１３】
【図１１４】
【図１１５】
【図１１６】
【図１１７】
【公開番号】特開２０１１−１６５０１３（Ｐ２０１１−１６５０１３Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２８２７８（Ｐ２０１０−２８２７８）
【出願日】平成２２年２月１０日（２０１０．２．１０）
【出願人】（８０３０００１１５）学校法人東京理科大学 (545)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月１０日（２０１０．２．１０）
【出願人】（８０３０００１１５）学校法人東京理科大学 (545)
【Ｆターム（参考）】
[ Back to top ]