画像復元方法およびその装置
【課題】 劣化画像から高解像度画像を復元するときに、高周波成分が過大に復元されることによる画像の乱れを抑制する。
【解決手段】 復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算した値を復元フィルタとし、前記復元対象画像のフーリエ変換に前記復元フィルタを周波数空間で乗算し、前記乗算した結果を逆フーリエ変換して得られた画像を復元画像とする。復元後においても微少な広がりを持つことを期待した復元フィルタを用いるため、高周波成分を減衰させることで復元画像で高周波成分による画像の乱れやざらつきが抑制される。
【解決手段】 復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算した値を復元フィルタとし、前記復元対象画像のフーリエ変換に前記復元フィルタを周波数空間で乗算し、前記乗算した結果を逆フーリエ変換して得られた画像を復元画像とする。復元後においても微少な広がりを持つことを期待した復元フィルタを用いるため、高周波成分を減衰させることで復元画像で高周波成分による画像の乱れやざらつきが抑制される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像した画像から高解像度の画像を復元する画像復元方法及びその装置に関する。
【背景技術】
【０００２】
カメラで被写体を撮像すると、劣化した画像として撮像されてしまう。画像復元装置は、劣化した画像を、本来の高解像度の画像に復元する装置である。
【０００３】
図２０は、従来の画像復元装置のブロック構成図である。この画像復元装置１０は、カメラで撮像した画像（劣化画像）を復元対象画像として取り込む画像入力部１１と、画像入力部１１から入力された劣化画像をフーリエ変換するフーリエ変換装置１２と、点広がり関数入力部１３と、点広がり関数入力部１３から入力された点広がり関数をフーリエ変換するフーリエ変換装置１４と、フーリエ変換装置１２の出力をフーリエ変換装置１４の出力で除算する除算回路１５と、除算回路１５による除算結果を逆フーリエ変換する逆フーリエ変換装置１６と、逆フーリエ変換結果を復元画像として出力する画像出力部１７とを備える。
【０００４】
図２１は、上述した従来の画像復元装置１０の動作手順を示すフローチャートである。先ず、カメラで撮影する時の点広がり関数を点広がり関数入力部１３から入力し（ステップＳ１１）、次に、この点広がり関数をフーリエ変換装置１４でフーリエ変換し（ステップＳ１２）、次に、このフーリエ変換結果の逆数を求めてこれを復元用のフィルタ特性とする（ステップＳ１３）。
【０００５】
次に、カメラで撮像した画像（劣化画像）を画像入力部１１から取り込み（ステップＳ１４）、次にこの画像をフーリエ変換装置１２でフーリエ変換し（ステップＳ１５）、次に復元用のフィルタ特性を画像のフーリエ変換結果に乗算する（ステップＳ１６）。即ち、フーリエ変換装置１２の出力を、フーリエ変換装置１４の出力で除算する。そして、除算結果すなわち除算回路１５の出力に対して逆フーリエ変換装置１６で逆フーリエ変換し（ステップＳ１７）、逆フーリエ変換結果を復元画像として画像出力部１７から出力する（例えば、非特許文献１参照）。
【０００６】
この従来の画像復元装置では、モデルは点広がり関数が位置不変の特性をもち、劣化前の画像ｆ（ｘ，ｙ）に対し、点広がり関数ｈ（ｘ，ｙ）によって劣化した画像ｇ（ｘ，ｙ）は、次のように表されると仮定している。
【０００７】
ｇ（ｘ，ｙ）＝∬f(x0, y0)＊h(x-x0, y-y0) dx0 dy0 ＋ n(x,y)
ここで、
ｆ（ｘ，ｙ）：劣化前の画像
ｇ（ｘ，ｙ）：劣化画像
ｈ（ｘ，ｙ）：点広がり関数
ｎ（ｘ，ｙ）：雑音
ｘ、ｙ：空間座標
である。
【０００８】
これをフーリエ変換によって周波数空間での表示に変えると、畳み込み演算は積に置き換えられるので
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） ＋ Ｎ（ｕ，ｖ）
となる。
【０００９】
ここで
Ｆ（ｕ，ｖ）：劣化前の画像の２次元フーリエ変換
Ｇ（ｕ，ｖ）：劣化画像の２次元フーリエ変換
Ｈ（ｕ，ｖ）：点広がり関数の２次元フーリエ変換
Ｎ（ｕ，ｖ）：雑音の２次元フーリエ変換
ｕ，ｖ：空間周波数
である。
【００１０】
従って、
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） − Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
となる。このＦ（ｕ，ｖ）を逆フーリエ変換することにより、高解像度の復元画像を得ることができる。
【００１１】
この画像復元の手法は、点広がり関数による劣化画像の復元において基本となる手法であり、点広がり関数に誤差がなく、画像に線形性がある限りにおいて、良好な復元画像を得ることができる。
【００１２】
【非特許文献１】斎藤恒雄 著「画像処理アルゴリズム」近代科学社、１９９３年３月１０日発行、ｐ．６８〜ｐ．８４）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、従来の画像復元装置は、以下の様な問題があった。すなわち、高周波で復元倍率が極めて増大するため、復元画像が不安定になるという問題である。その程度は、復元処理後の画像にざらつきを生じるという程度のものから、劣化画像の中に見えていた画像さえノイズの中に埋もれてしまうまで激しく不安定になる程度のものまである。
【００１４】
復元画像の不安定性は次のようにして起こる。現実の系で像復元を行う場合、点広がり関数には誤差がつきものである。とりわけ、点広がり関数の２次元フーリエ変換を表すＨ（ｕ，ｖ）（＝光学的伝達関数 ＯＴＦ）が、高周波でその絶対値が小さくなり、Ｈ（ｕ，ｖ）の測定値の相対誤差が増大する。高周波では、周波数成分の復元率に相当する１／Ｈ（ｕ，ｖ）の値自体が大きいところで、Ｈ（ｕ，ｖ）の相対誤差が増大するため、高周波成分を極めて過大に復元してしまうことが時として生じる。その過大に評価されてしまった高周波成分により、画像は乱れる。この効果が小さいときには、画像が高周波成分によりざらついて見える程度であるが、この効果が極めて大きいときは、高周波成分だけが画像の中で支配的になることで、画像がまったくのランダム画像に見えてしまうまで、画像が乱れてしまうこともある。
【００１５】
本発明は、このような従来の問題を解決するためになされたもので、復元画像を安定にすることができる画像復元方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の画像復元方法及びその装置は、復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算した値を復元フィルタとし、前記復元対象画像のフーリエ変換に前記復元フィルタを周波数空間で乗算し、前記乗算した結果を逆フーリエ変換して得られた画像を復元画像とすることを特徴とする。
【００１７】
この構成により、即ち、従来の画像復元技術では、復元後に理想的な１点になることを期待した復元フィルタを用いるのに対し、本発明では、復元後においても微少な広がりを持つことを期待した復元フィルタになっているため、高周波成分を減衰させることで復元後の画像で高周波成分による画像の乱れやざらつきを抑えることが可能となる。
【００１８】
本発明の画像復元方法及びその装置は、復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算し、前記除算した値を逆フーリエ変換して得られた結果の実数部を取り出して前記実数部を実空間での復元フィルタとし、前記復元対象画像を前記復元フィルタで畳み込んで得られる画像を復元画像とすることを特徴とする。
【００１９】
この構成により、復元後の点広がり関数と、撮影時の点広がり関数とが、あらかじめ用意されていれば、実空間でのフィルタをあらかじめ計算しておくことができ、画像の復元は実空間でのフィルタを利用して畳み込むことだけで達成できる。また、復元に必要な範囲の画像の行データがそろった時点で、それぞれの画像の復元画像を計算することが可能となる。
【００２０】
このとき、畳み込むべき実空間でのフィルタの大きさを小さくする必要があるが、それは、例えば次のような手順で計算すればよい。最小限の行列の大きさにした撮影時の点広がり関数のフーリエ変換を分母とし、同じ行列の大きさの復元画像に期待する点広がり関数のフーリエ変換を分子として複素数として割り算を実行する。その結果を逆フーリエ変換し実数部を取り出すことで、畳み込みのためのフィルタが得られる。
【００２１】
これにより、上記実空間のフィルタの大きさの範囲の画素だけで復元画像上の１点を計算できるようになる。そのため、必要な行データがそろった行から順次復元の計算ができ、１画面全体の画像を取得するのを待たずに復元処理を開始できる。
【００２２】
位置不変な特性を持つ場合には、この畳み込み演算のためのフィルタとして、画面全体にわたって共通の値を用いればよい。畳み込み演算に対して専用のハードウエアを用いた場合には、並列性の向上のために、画面全体にわたるＦＦＴ（高速フーリエ変換）を使う場合よりも計算が速くなる。
【００２３】
本発明の画像復元方法及びその装置は、前記撮影時の点広がり関数から計算される実空間での前記復元フィルタを単一のＦＩＲフィルタ（＝Finite Impulse Response Filter）とし、復元対象画像１方向へのスイープした時系列に対する前記ＦＩＲフィルタによる畳み込みを行うことで前記復元画像を求めると共に、画角に応じて前記点広がり関数と前記復元フィルタとを切り替えることを特徴とする。
【００２４】
この構成により、画面全体に対するデコンボリューション処理が、時系列データに対して単一のＦＩＲを施すことで表現できる。そのため、復元処理を、画像全体がそろうのを待たずに開始でき、リアルタイム性が向上する。また点広がり関数が画角によって異なることから、復元画像に生じるリンギングが低下し、良好な復元画像を得ることができる。
【００２５】
本発明の画像復元方法及びその装置は、前記復元対象画像の上端及び下端の各々に前記撮影時の点広がり関数の行数分の画像領域を追加し、前記復元対象画像の左端及び右端の各々に前記撮影時の点広がり関数の列数分の画像領域を追加し、前記画像領域を追加した前記復元対象画像から前記復元画像を求めると共にこの復元画像から前記追加した画像領域を除去した範囲の画像を真の復元画像とすることを特徴とする。
【００２６】
この構成により、画像復元の際に、周期的境界条件を仮定することに由来する復元画像の縁付近に生じるノイズを、復元画像から取り除くことができる。
【発明の効果】
【００２７】
本発明によれば、画像の復元後に対しても点像に微少な広がりを設定することで、即ち、復元後の点像の点広がり関数のフーリエ変換を撮影時の点広がり関数のフーリエ変換で割った値を画像復元用のフィルタ特性とすることで、復元画像に生じやすい高周波成分による画像の乱れやざらつきを抑えることが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の一実施の形態を、図面を参照して説明する。
【００２９】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像復元装置のブロック構成図である。本実施形態に係る画像復元装置１００は、復元対象の画像を入力する画像入力部１０１と、復元後の点広がり関数を入力する入力部１０２と、撮影時の点広がり関数を入力する入力部１０３と、画像入力部１０１が取り込んだ復元対象画像をフーリエ変換するフーリエ変換装置１０４と、入力部１０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置１０５と、入力部１０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置１０６と、フーリエ変換装置１０５の出力をフーリエ変換装置１０６の出力で除算する除算回路１０７と、フーリエ変換装置１０４の出力に除算回路１０７の出力を乗算する乗算回路１０８と、乗算回路１０８の乗算結果に対して逆フーリエ変換を施す逆フーリエ変換装置１０９と、逆フーリエ変換結果の実数部を復元画像として出力する画像出力部１１０とを備える。
【００３０】
フーリエ変換装置１０２、１０３は、夫々、復元後と撮影時の点広がり関数をフーリエ変換するが、フーリエ変換の際に予め配列の大きさが画像の大きさと同じになるようにゼロでパディングする。
【００３１】
図２は、図１に示す画像復元装置の動作手順を示すフローチャートである。まず、復元後の点広がり関数と撮影時の点広がり関数とを夫々入力部１０２、１０３から読み取り（ステップＳ１０１）、次に、入力部１０２、１０３で読み取った復元後と撮影時の点広がり関数を夫々フーリエ変換装置１０５、１０６でフーリエ変換する（ステップＳ１０２）。
【００３２】
その後、除算回路１０７により、フーリエ変換装置１０５の出力を、フーリエ変換装置１０６の出力で除算する。これにより、
〔復元後の点広がり関数のフーリエ変換〕＝Ａ
〔撮影時の点広がり関数のフーリエ変換〕＝Ｂ
としたとき、
復元用のフィルタ特性＝Ａ／Ｂ
として算出される（ステップＳ１０３）。
【００３３】
次に、画像入力部１０１から復元対象の画像を取り込み（ステップＳ１０４）、フーリエ変換装置１０４でこの復元対象画像をフーリエ変換する（ステップＳ１０５）。そして、乗算回路１０８により、復元用のフィルタ特性と、復元対象画像をフーリエ変換したものとを周波数空間で乗算し（ステップＳ１０６）、最後に、乗算回路１０８の出力を、逆フーリエ変換装置１０９で逆フーリエ変換する（ステップＳ１０７）。逆フーリエ変換された結果が復元画像として画像出力部１１０から出力される。
【００３４】
尚、図１に示すブロック構成図では、計算手順をわかりやすくするために、フーリエ変換装置１０４、１０５、１０６を３つ別々に記載しているが、実際の装置では、１つのフーリエ変換装置で兼用する構成としてもよいことはいうまでもない。また、図２において、同じ撮影時の点広がり関数での画像の復元を繰り返す場合には、ステップＳ１０１からステップＳ１０３までを省略し、一旦計算された復元用フィルタ特性を繰り返し使用することでもよい。
【００３５】
本実施形態に係る画像復元装置によれば、復元用のフィルタ特性として、撮影時の点広がり関数のフーリエ変換を分母とし、復元後の点広がり関数のフーリエ変換を分子としたときの商を用いることにより、高周波成分を減衰させ、復元後の画像における高周波成分による画像の乱れやざらつきを抑えることが可能となる。
【００３６】
図３は、図１の入力部１０３に入力するデータすなわち撮影時に用いた点広がり関数の２次元強度分布の一例を示す図である。縦軸、横軸は、それぞれ画素の位置である。図の中央で点広がり関数の最大値がくるようにとってある。点広がり関数は、左側にやや裾野を引いている。
【００３７】
図４は、図３に示す関数の水平方向の断面図である。左側に裾野を引いているのがはっきりと見て取れる。
【００３８】
図５は、図３に示す撮影時に用いた点広がり関数に対応する水平方向のＭＴＦの一例を示す図である。横軸はナイキスト周波数を「０．５」としたときの空間周波数であり、縦軸はＭＴＦである。空間周波数が大きくなるにつれてＭＴＦの値が著しく減少している。
【００３９】
図１に示す第１の実施形態の画像復元装置１００では、図２０に示す従来例に比較して、復元後の点広がり関数の周波数特性を復元用のフィルタ特性の分子として追加しており、その追加した周波数特性はローパスフィルタになる。仮定する復元後の広がりを大きくすると、それに対応して高周波側から周波数特性の大きさが減少していく。このローパスフィルタにより、高周波でＭＴＦの相対誤差が増大しても、劣化前の画像よりも高周波成分を過大に評価する可能性が減少する。このローパスフィルタは、周波数に対してなめらかに変化することが、自然な復元画像を得るうえで重要である。
【００４０】
復元後に微少な広がりを持つ復元後の点広がり関数としては、たとえば、微少な広がりを持つ、次式（１）の２次元のガウス関数を想定することができる。復元後の点広がり関数が連続的に滑らかに推移すると同時に、その周波数特性も連続的に滑らかに推移するので、復元画像に不自然な不連続な挙動を引き起こすことがない。
【００４１】
ｚ＝ｅｘｐ（−（ｘ２＋ｙ２）／σ２） …（１）式
ここで、
ｘ、ｙ：空間座標
ｚ：ガウス関数で定義される復元後の点広がり関数
である。
【００４２】
上記の式（１）のσはガウス関数の広がりを与えるパラメータであり、その値として「０．６」画素といった連続値をとることができる。σ=０．２、σ＝０．４といった微少な値を用いている範囲では、復元後の点広がり関数はほとんど１点に近い。そのような状況においても、高周波成分の振幅をわずかに抑えることが、画像の平滑化につながり、復元後の画像における高周波成分のあばれを小さくする。
【００４３】
図６は、図１に示す入力部１０２に入力される復元後の点広がり関数の一例を示す図である。復元後の点広がり関数として２次元のガウス関数を用いた例であり、種々のσに対する点広がり関数の断面を示している。横軸は画素、縦軸は点広がり関数の強度である。
【００４４】
図７は、図６に示す関数に対応するＭＴＦの一例を示す図である。横軸はナイキスト周波数を「０．５」としたときの空間周波数であり、縦軸はＭＴＦの値である。種々のσによって、ＭＴＦの減衰の仕方が異なっている。元々の点広がり関数の広がりσが「０．２」と小さい場合には、ＭＴＦはナイキスト周波数でも「１」に近い値を持つが、σの値が大きくなるにつれて、高周波でのＭＴＦの値が小さくなっているのがわかる。
【００４５】
図８は、第１の実施形態に係る画像復元装置で用いる復元用のフィルタ特性の一例を示す図である。横軸は、ナイキスト周波数を「０．５」としたときの空間周波数であり、縦軸は復元用のフィルタの振幅、復元倍率である。
【００４６】
この復元用のフィルタは、前述した様に、
〔復元後の点広がり関数のフーリエ変換〕＝Ａ
〔撮影時の点広がり関数のフーリエ変換〕＝Ｂ
と表したとき、
〔復元用のフィルタ〕＝Ａ／Ｂ
で定義される。
【００４７】
このため、空間周波数「０」では、元々のＭＴＦ＝１であるため、復元用のフィルタの倍率は「１」である。しかし、図８に示す様に、空間周波数が大きくなりＭＴＦの値が小さくなるにつれて、復元用フィルタの振幅（＝復元倍率）は大きくなる。
【００４８】
図３、図４に示す撮影時の点広がり関数の場合には、その水平方向のＭＴＦは、図５に示すように、空間周波数「０．１７」でＭＴＦ＝０．１にまで減少しており、対応して、空間周波数０．１７で復元倍率は図８に示す様に１０倍に達している。空間周波数がさらに大きくなると、ＭＴＦは図５に示すように更に小さくなっており、図８に示す復元倍率は更に大きくなる。
【００４９】
図８中の黒丸点は第１の実施形態に係る復元倍率を示し、四角点は従来の手法における復元倍率である。この図８に示す様に、第１の実施形態においては、復元倍率が大きくなる高周波領域において、従来の手法よりも低い復元倍率を与えている。ＭＴＦの値が小さくなる領域では、ＭＴＦの相対誤差が大きくなるので、高周波成分を過大に復元しがちであった従来手法にくらべ、本実施形態では、高周波成分を過大に評価する可能性を減らしている。
【００５０】
復元後の画像に対して微少な広がりを仮定することは、次のようにして正当化される。第１に、一般に画像のスペクトルはナイキスト周波数近くの高周波で減衰しているものであり、ナイキスト周波数付近の周波数成分は、画像のそれが極めて過大に評価されない限り、人間の視覚に与える影響は大きくない。
【００５１】
第２に、像復元による画像のスペクトルの変化が、人間の視覚に与える影響が大きいのは、元々の画像のスペクトルが強い低周波領域での周波数成分の復元である。このため低周波でのスペクトル成分の減少を像復元で復元することで、画像の見栄えが著しく改善する。また、低周波でのＭＴＦはＭＴＦの値も大きいために少ない相対誤差でＭＴＦの値を決定できることも大きい。
【００５２】
第３に、ナイキスト周波数近くのＭＴＦは小さくＭＴＦの相対誤差は大きくなるので、その周波数成分を〔１／ＭＴＦ〕倍することは、ナイキスト周波数付近の空間周波数成分を過大評価する危険が高く、誤差のあるＭＴＦを使用したときにおいても復元率を過大評価しないように、ナイキスト周波数付近の周波数成分を減衰させる必要がある。
【００５３】
実際、光学的伝達関数（その絶対値をＭＴＦと呼ぶ）であるＨ（ｕ，ｖ）は、高周波においては、たとえカメラが無収差光学系であっても減衰するものである。しかも、収差のある通常の光学系では、高周波成分の減衰がさらに大きい。その上、カメラの検出器では、画像の折り返しひずみを抑制するために、ナイキスト周波数以上の成分をカットするための光学ローパスフィルタを用いている。このためナイキスト周波数近傍では取得画像のＭＴＦの値自体がさらに小さくなっており、ＭＴＦは高周波で値が小さくなり、その相対誤差は不可避的に大きくなる。
【００５４】
これが、従来の手法では、時として高周波成分を過大評価させてしまう原因であり、軽微な状況では画像のざらつきを生じさせ、重度の場合には、画像をすべてノイズによって埋もれさせてしまう。
【００５５】
これに対し、本実施形態の画像復元装置では、復元後に微少な広がりを持つ点広がり関数を持たせることで、ナイキスト周波数近傍を減少させる効果を持っている。即ち、本実施形態では、復元後の画像に対して微少な広がりを仮定して画像を復元することとしている。
【００５６】
ここで、復元後の点広がり関数を想定することは、従来の手法に対し単にローパスフィルタを加えたものではない。復元後の分布が、滑らかな特性を持つ点広がり関数を仮定しているので、ローパスフィルタの周波数特性も滑らかに単調に減衰し、復元後の画像に対して自然な微少なボケを残すことができる。
【００５７】
単純にローパスフィルタをかけたときには、ローパスフィルタによっては、あまりに急峻に高周波側をカットすることになり、カットした限界の周波数成分が画像の中で強調されてしまうことがある。このため、不自然な画像になってしまう。
【００５８】
これに対し、復元後の画像に対して微少な広がりをもつ点広がり関数を仮定して高周波成分の復元を抑制すると、復元後の点広がり関数による自然なボケ方で高周波成分による画像の乱れやざらつきを抑えることができる。
【００５９】
なお、本実施形態の画像復元装置では、復元後に期待する点広がり関数を、入力部１０２から取り込む構成としているが、復元後に想定する点広がり関数は、条件による差はなく、あらかじめ一定の値を装置の中に組み込んでおくことも可能である。その場合、そのフーリエ変換まではあらかじめ計算しておき装置に組み込んでおくことができる。
【００６０】
（第２の実施の形態）
図９は、本発明の第２の実施の形態に係る画像復元装置のブロック構成図である。本実施形態の画像復元装置２００は、復元対象の画像を入力する画像入力部２０１と、復元後の点広がり関数を入力する入力部２０２と、撮影時の点広がり関数を入力する入力部２０３と、入力部２０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置２０５と、入力部２０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置２０６と、フーリエ変換装置２０５の出力をフーリエ変換装置２０６の出力で除算する除算回路２０７と、除算回路２０７の出力を逆フーリエ変換する逆フーリエ変換装置２０９と、画像入力部２０１によって取り込まれた復元対象画像に対して逆フーリエ変換装置２０９の出力を畳み込み演算する畳み込み回路２１１と、畳み込み回路２１１の出力を復元画像として出力する画像出力部２１０とを備える。
【００６１】
図１０は、第２の実施形態に係る画像復元装置の動作手順を示すフローチャートである。
【００６２】
まず、撮影時の点広がり関数を入力部２０３で読み取ると共に復元後の点広がり関数を入力部２０２で読み取る（ステップＳ２０１）。次に、撮影時の点広がり関数と復元後の点広がり関数とを夫々フーリエ変換装置２０６、２０５でフーリエ変換する（ステップＳ２０２）。
【００６３】
次に、除算回路２０７により、フーリエ変換装置２０５の出力をフーリエ変換装置２０６の出力で除算する。除算回路２０７の出力が復元用のフィルタ特性となり、この除算回路２０７の出力を逆フーリエ変換装置２０９で逆フーリエ変換することで、実空間の復元用フィルタが得られる（ステップＳ２０３）。
【００６４】
次に、画像入力部２０１から復元対象となる画像を取り込み（ステップＳ２０４）、最後に、復元対象の画像に対して実空間の復元用フィルタすなわち逆フーリエ変換装置２０９の出力を畳み込み演算する（ステップＳ２０５）。これにより、復元画像が画像出力部２１０から出力される。
【００６５】
尚、この第２の実施形態における復元用のフィルタ特性と、実空間の復元用フィルタは、点広がり関数を考慮した、できるだけ小さな大きさの配列としており、第１の実施形態の場合とは異なる。第１の実施形態の場合には、画像の大きさの分だけのフーリエ変換装置を用意し、画像、復元後の点広がり関数、撮影時の点広がり関数に対してフーリエ変換を実施するため、フーリエ変換装置が大規模なものになる。これに対し、第２の実施形態の場合、フーリエ変換装置としては、点広がり関数の実空間の逆フィルタを計算するのに十分な大きさであればよく、例えば、縦横共に２０画素程度を処理できれば済む。
【００６６】
図１１は、第２の実施形態における実空間での復元用フィルタの一例を示す図である。縦軸と横軸は夫々実空間における画素位置を示す。濃淡は各画素位置におけるフィルタの数値を表す。復元用のフィルタは中央で値が高いが、そのすぐ近傍の画素で負の値を持つ画素が存在する場合もある。このため、一種の微分フィルタとなっており、高周波成分を強調するフィルタになっていて、このフィルタで画像を畳み込むと画像の分解能が向上する。
【００６７】
図１２は、第２の実施形態における実空間での復元用フィルタと撮影時に用いた点広がり関数との畳み込み演算の結果を示す図である。縦軸と横軸はそれぞれ実空間における画素位置を表す。畳み込み演算の結果は、図３の撮影時の点広がり関数よりも点像の広がりが小さくなっている。このように、実空間での復元用フィルタで復元対象画像を畳み込むことで、画像のボケを減少させることができる。
【００６８】
以上のように、本発明の第２の実施形態に係る画像復元装置によれば、復元用のフィルタ特性として、撮影時の点広がり関数のフーリエ変換結果で復元後の点広がり関数のフーリエ変換結果を割った値を用い、それを実空間でのフィルタに変換し、そのフィルタで畳み込み演算するため、復元画像の高周波成分による画像の乱れやざらつきを抑えることが可能となる。
【００６９】
尚、本実施形態の画像復元装置では、畳み込み演算を行うフィルタ特性を画像復元装置の内部で計算する構成としたが、畳み込み演算を行うフィルタ特性を、あらかじめ外部の装置で計算しておき、その結果を画像復元装置の中に保存しておきそれを用いる構成としても良い。
【００７０】
この第２の実施形態の画像復元装置で画像を復元する場合には、高周波成分を減衰させておくことが極めて重要な意味を持っている。逆フーリエ変換を施したフィルタ（逆フィルタ）を作る際に、高周波成分を完全に再現し、点広がり関数と実空間の逆フィルタのとの積が理想的な１点、デルタ関数になるように意図すると、高い次数までフィルタの特性を与えることが必要になる。
【００７１】
しかし、点広がり関数と実空間逆フィルタとの積が微少な広がりを持った点になるようにすると、必要な空間周波数が限られ、高い次数でのフィルタ特性は不要になる。そのため、高周波特性を抑制して微少な広がりを許容することで、実空間での畳み込み行列の大きさが点広がり関数行列の大きさ程度に抑えられる。
【００７２】
（第３の実施の形態）
図１３は、本発明の第３の実施の形態に係る画像復元装置のブロック構成図である。本実施形態の画像復元装置３００は、復元対象の画像を入力する画像入力部３０１と、復元後の点広がり関数を入力する入力部３０２と、撮影時の点広がり関数を入力する入力部３０３と、画像入力部３０１が取り込んだ復元対象画像に対して後述の領域拡張処理を施す領域拡張回路３１２と、領域拡張処理後の復元対象画像をフーリエ変換するフーリエ変換装置３０４と、入力部３０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置３０５と、入力部３０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置３０６と、フーリエ変換装置３０５の出力をフーリエ変換装置３０６の出力で除算する除算回路３０７と、フーリエ変換装置３０４の出力に除算回路３０７の出力を乗算する乗算回路３０８と、乗算回路３０８の乗算結果に対して逆フーリエ変換を施す逆フーリエ変換装置３０９と、逆フーリエ変換装置３０９の出力に対して後述の拡張領域除去処理を施す拡張領域除去回路３１３と、拡張領域除去回路３１３の出力を復元画像として出力する画像出力部３１０とを備える。
【００７３】
領域拡張回路３１２は、撮影時の点広がり関数の行数の画像領域を、復元対象画像の上端と下端の各々に追加し、撮影時の点広がり関数の列数の画像領域を復元対象画像の右端と左端の各々に追加し、復元対象画像の最外周の画素値を追加領域に代入する処理を行う。領域拡張除去回路３１３は、領域拡張回路３１２とは逆に、復元画像から上記の追加した画像範囲を削除する処理を行う。
【００７４】
図１４は、本発明の第３の実施の形態に係る画像復元装置の動作手順を示すフローチャートである。先ず、復元後の点広がり関数を入力部３０２で読み取る共に撮影時の点広がり関数を入力部３０３で読み取る（ステップＳ３０１）。次に、撮影時の点広がり関数と復元後の点広がり関数とを夫々フーリエ変換装置３０６、３０５でフーリエ変換し（ステップＳ３０２）、除算回路３０７により、フーリエ変換装置３０５の出力をフーリエ変換装置３０６の出力で除算することで復元用のフィルタ特性を算出する（ステップＳ３０３）。フーリエ変換装置３０５、３０６では、画素配列の大きさを、領域拡張回路３１２で拡張した後の画像の大きさと同じにしておく。
【００７５】
次に、画像入力部３０１から復元対象画像を読み込み（ステップＳ３０４）、領域拡張回路３１２で復元対象画像に対し画像周辺の画像領域を拡張する（ステップＳ３０５）。例えば、図１５に示す様に、撮影時の点広がり関数の行数の画像領域を、画像の上端と下端の各々に追加し、撮影時の点広がり関数の列数の画像領域を画像の右端と左端の各々に追加する。そして、追加した拡張領域の部分の値として、画像の最外周の画素値を代入しておく。
【００７６】
次に、画像の最外周が領域拡張された復元対象画像をフーリエ変換装置３０４でフーリエ変換し（ステップＳ３０６）、フーリエ変換結果に対して乗算回路３０８で復元用のフィルタ特性を乗算する（ステップＳ３０７）。次に、乗算回路３０８の乗算結果に対して逆フーリエ変換装置３０９が逆フーリエ変換を行い（ステップＳ３０８）、最後に、拡張領域除去回路３１３が逆フーリエ変換結果から拡張領域を除去して元々の復元画像範囲を切り出し（ステップＳ３０９）、画像出力部３１０から復元画像として出力する。
【００７７】
以上のように、本発明の第３の実施の形態に係る画像復元装置によれば、画像範囲を拡大する前処理回路（領域拡張回路３１２）を追加し、追加した領域を除去する後処理回路（拡張領域除去回路３１３）を付加したため、画像復元で周期的な境界条件を仮定することにより生じるノイズすなわち復元画像の縁部分に生じるノイズを防ぐことができる。
【００７８】
（第４の実施の形態）
図１６は、本発明の第４の実施の形態に係る画像復元装置のブロック構成図である。本実施形態に係る画像復元装置４００は、復元対象の画像を入力する画像入力部４０１と、復元後の点広がり関数を入力する入力部４０２と、撮影時の点広がり関数を入力する入力部４０３と、画像入力部４０１が取り込んだ復元対象画像に対して第３の実施形態と同様に領域拡張処理を施す領域拡張回路４１２と、入力部４０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置４０５と、入力部４０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置４０６と、フーリエ変換装置４０５の出力をフーリエ変換装置４０６の出力で除算する除算回路４０７と、除算回路４０７の出力を逆フーリエ変換する逆フーリエ変換装置４０９と、領域拡張回路４１２の出力に対して逆フーリエ変換装置４０９の変換結果を畳み込み演算する畳み込み回路４１１と、畳み込み回路４１１の出力結果から第３の実施形態と同様に拡張領域を除去する拡張領域除去回路４１３と、拡張領域除去回路４１３の出力を復元画像として出力する画像出力部４１０とを備える。
【００７９】
図１７は、第４の実施形態に係る画像復元装置の動作手順を示すフローチャートである。まず、復元後の点広がり関数を入力部４０２から取り込むと共に撮影時の点広がり関数を入力部４０３から取り込む（ステップＳ４０１）。次に、撮影時の点広がり関数と復元時の点広がり関数とをフーリエ変換装置４０６、４０５で夫々フーリエ変換し（ステップＳ４０２）、両フーリエ変換結果に基づいて除算回路４０７で復元用のフィルタ特性を算出した後に逆フーリエ変換装置４０９で逆フーリエ変換し、逆フーリエ変換結果の実部を、復元のための実空間の復元用フィルタとする（ステップＳ４０３）。
【００８０】
次に、画像入力部４０１で復元対象画像を読み込み（ステップＳ４０４）、領域拡張回路４１２で、復元対象画像に対し画像周辺の画像領域を拡張する（ステップＳ４０５）。拡張は、第３の実施形態と同様に行う。
【００８１】
次に、畳み込み回路４１１で、領域拡張を行った画像に対し、復元のための実空間のフィルタを用いて畳み込み演算を実施し、拡張領域を含む復元画像を得る（ステップＳ４０６）。最後に、拡張領域除去回路４１３で、その画像から元々の画像に対応する範囲を切り出し（ステップＳ４０７）、その結果を画像出力回路４１０から復元画像として出力する。
【００８２】
以上のように、本発明の第４の実施の形態に係る画像復元装置によれば、画像範囲を拡大する前処理回路（領域拡張回路４１２）を追加し、追加した領域を除去する後処理回路（拡張領域除去回路４１３）を付加したため、画像復元で周期的な境界条件を仮定することにより生じるノイズを防ぐことができる。
【００８３】
（第５の実施の形態）
図１８は、動画を構成する各画像をリアルタイムに復元処理する本発明の第５の実施形態に係る画像復元装置５００のブロック構成図である。本実施形態に係る画像復元装置５００は、復元対象の画像を入力する画像入力部５０１と、復元後の点広がり関数を入力する入力部５０２と、撮影時の点広がり関数を入力する入力部５０３と、画像入力部５０１が取り込んだ復元対象画像に対して第３の実施形態と同様に領域拡張処理を施す領域拡張回路５１２と、入力部５０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置５０５と、入力部５０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置５０６と、フーリエ変換装置５０５の出力をフーリエ変換装置５０６の出力で除算する除算回路５０７と、除算回路５０７の出力を逆フーリエ変換する逆フーリエ変換装置５０９と、領域拡張回路５１２の出力に対して逆フーリエ変換装置５０９の変換結果を後述する様にして畳み込み演算する単一のＦＩＲフィルタで実装される畳み込み回路５１１と、畳み込み回路５１１の出力結果から第３の実施形態と同様に拡張領域を除去する拡張領域除去回路５１３と、拡張領域除去回路５１３の出力を復元画像として出力する画像出力部５１０とを備える。
【００８４】
上記実施形態において、領域拡張回路５１２からの出力は、画像データを１方向にスイープした時系列データであり、それを単一のＦＩＲフィルタで実装される畳み込み回路の入力とすることで、各画素に対する畳み込み演算を共通の電気回路で実装できる。画像データの入力サイズを増大させた場合においても、単に時系列データが長くなっただけである。単一のＦＩＲフィルタの構成としては、実空間での復元フィルタの２次元配列を、画像データと同一方向にスイープして、各行に対応する部分ＦＩＲフィルタを作成する。それぞれの行に対応する部分ＦＩＲフィルタは、行の長さの調整分だけの遅延回路を伴って数珠繋ぎに接続する。各ＦＩＲ部分フィルタの出力を加算回路で和をとって出力する。そうすると、これらのＦＩＲフィルタの組み合わせは、行の長さの調整分だけの遅延回路を含んだＦＩＲフィルタとみなせる。画像は全体のＦＩＲフィルタに対し１箇所から、時系列データとしてスイープして与え、その出力は加算回路からの出力としてスイープされた画像として与えられる点で、構成が極めて単純化される。
【００８５】
カメラ光学系に収差の影響がある場合には、点広がり関数は画面上の位置（画角）によって異なってくる。画角に応じた撮影時の点広がり関数は、１つの画像データに対し、画角により異なる撮影時の点広がり関数となる。このため、逆フーリエ変換装置５０９から出力される実空間でのフィルタ特性も、画角に応じて異なることになる。そこで、本実施形態の画像復元装置５００では、撮影時の点広がり関数を入力する入力部５０２から、単一のＦＩＲフィルタで実装される畳み込み回路５１１までは、画角に応じた複数の点広がり関数とそれに応じた実空間の復元用フィルタを利用できる構成になっている。
【００８６】
図１９は、第５の実施形態に係る画像復元装置の動作手順を示すフローチャートである。まず、画角に応じた撮影時の点広がり関数を入力部５０３から取り込む（ステップＳ５０１）。次に、復元後の点広がり関数と、画角に応じた撮影時の点広がり関数とを、夫々、フーリエ変換装置５０５、５０６でフーリエ変換する（ステップＳ５０２）。
【００８７】
次に、除算回路５０７により、フーリエ変換装置５０５の出力をフーリエ変換装置５０６の出力で除算し、その結果を逆フーリエ変換装置５０９で逆フーリエ変換し、その実数部を取り出して実空間での復元用のフィルタとする（ステップＳ５０３）。上述したステップＳ５０１からステップＳ５０３まで処理において、画角に応じた点広がり関数を使うことにより、ステップＳ５０３で得られる実空間での復元用のフィルタも、画角に応じて異なるものとなる。
【００８８】
次に、画像入力部５０１から復元対象の画像を入力する（ステップＳ５０４）。そして、領域拡張回路５１２で、復元対象の画像に対し、画像の周辺に画像領域を拡張する（ステップＳ５０５）。拡張は、第３の実施形態と同様に行う。
【００８９】
次に、単一のＦＩＲフィルタで実装される畳み込み回路５１１により、画像の時系列データを畳み込んで、時系列として畳み込み後の画像を出力する。単一のＦＩＲフィルタで実装される畳み込み回路５１１は、画像復元のための実空間のフィルタを用いたものである。入力が拡張領域を含む画像データであるため、単一のＦＩＲフィルタで実装される畳み込み回路５１１の出力も拡張領域を含む画像データである。元々２次元の画像データを１次元の時系列として単一のフィルタで畳み込む際に生じる不連続の影響は、画像の拡張領域にだけ現れ、本来の画像領域には現れない。このため、本構成を用いて、２次元の画像に対する実空間での畳み込みを単一のＦＩＲフィルタで行うことができる。
【００９０】
画角による点広がり関数の違いを取り入れる場合は、画角によって復元用フィルタすなわち上記ＦＩＲフィルタでの係数が異なることとなるため、画角の領域に応じて、実空間での復元用フィルタを切り替えつつ畳み込み演算を実施し、拡張領域を含む復元画像を得る（ステップＳ５０６）。
【００９１】
そして、拡張領域除去回路５１３により、拡張領域を含む復元画像から元々の画像に対応する範囲を切り出し（ステップＳ５０７）、その結果を画像出力回路５１０から復元画像として出力する。
【００９２】
以上のように、本発明の第５の実施の形態に係る画像復元装置によれば、画角により異なる撮影時の点広がり関数から、画角に応じた復元用の実空間のフィルタを切り替えつつ単一のＦＩＲフィルタで画像データを畳み込む仕組みを設けたため、復元画像に生じるリンギングを低下させ、良好な復元画像の得ることが可能になると共に、復元処理を、画像全体がそろうのを待たずに開始でき、リアルタイム性が向上するという利点を持つ。
【００９３】
なお、以上の説明では、画像領域の拡張と画像領域の切り出しを行う構成としたが、それらを有しない構成、つまり、領域拡張回路５１２と拡張領域除去回路５１３を有しない画像復元装置とすることも可能である。
【００９４】
以上述べた第１から第５の実施形態に係る画像復元装置では、撮影時の点広がり関数を、各カメラ条件（ズーム、焦点距離、Ｆナンバーなどの条件）であらかじめ測定しておき、撮影時には、撮影時のカメラの条件だけを転送することで、対応する撮影時の点広がり関数を選び出し、その結果対応する実空間でのフィルタを選択することで置き換えてもよい。この場合、対応する実空間でのフィルタの計算をあらかじめ別の装置で実施しておけば、画像復元装置の中にはフーリエ変換装置、逆フーリエ変換装置、除算回路、乗算回路が不要になり、実空間でのフィルタを選択する回路と画像を畳み込む回路だけで、画像復元が可能になる。
【産業上の利用可能性】
【００９５】
本発明の画像復元方法およびその装置は、高周波成分を減衰させることで復元後の画像で高周波成分による画像の乱れやざらつきを抑えることができるという効果を有し、特にカメラ（デジタルスチルカメラや動画のカメラ）で取得した画像（劣化画像）から高解像度の画像を復元することができ、画像復元装置等として有用である。また、デジタルカメラや動画カメラの分野で、撮影画像の解像度を向上させる画像復元方法として有用であり、更に、ラインセンサによるスキャン画像の解像度を向上させる画像復元方法としても有効である。
【図面の簡単な説明】
【００９６】
【図１】本発明の第１の実施の形態における画像復元装置のブロック構成図
【図２】本発明の第１の実施の形態における画像復元装置の動作手順を示すフローチャート
【図３】本発明の第１の実施形態における撮影時に用いた点広がり関数の一例を示す図
【図４】本発明の第１の実施形態における撮影時に用いた点広がり関数の水平方向の断面の一例を示す図
【図５】本発明の第１の実施形態における撮影時に用いた点広がり関数に対応する水平方向のＭＴＦの一例を示す図
【図６】本発明の第１の実施形態における復元時の点広がり関数の一例を示す図
【図７】本発明の第１の実施形態における復元時の点広がり関数に対応するＭＴＦの一例を示す図
【図８】本発明の第１の実施形態における復元用のフィルタ特性の一例を示す図
【図９】本発明の第２の実施の形態における画像復元装置のブロック構成図
【図１０】本発明の第２の実施の形態における画像復元装置の動作手順を示すフローチャート
【図１１】本発明の第２の実施形態における実空間での復元フィルタの一例を示す図
【図１２】本発明の第２の実施形態における実空間での復元フィルタと撮影時に用いた点広がり関数との畳み込み結果を示す図
【図１３】本発明の第３の実施の形態における画像復元装置のブロック構成図
【図１４】本発明の第３の実施の形態における画像復元装置の動作手順を示すフローチャート
【図１５】本発明の第３の実施の形態における領域拡張回路による画像範囲の拡張例を示す図
【図１６】本発明の第４の実施の形態における画像復元装置のブロック構成図
【図１７】本発明の第４の実施の形態における画像復元装置の動作手順を示すフローチャート
【図１８】本発明の第５の実施形態における画像復元装置のブロック構成図
【図１９】本発明の第５の実施形態における画像復元装置の動作手順を示すフローチャート
【図２０】従来の画像復元装置のブロック構成図
【図２１】従来の画像復元装置の動作手順を示すフローチャート
【符号の説明】
【００９７】
１００、２００、３００、４００、５００ 画像復元装置
１０１、２０１、３０１、４０１、５０１ 画像入力部
１０２、２０２、３０２、４０２、５０２、復元後の点広がり関数の入力部
１０３、２０３、３０３、４０３、５０３、撮影時の点広がり関数の入力部
１０４、１０５、１０６、２０５、２０６、３０４、３０５、３０６、４０５、４０６、５０５、５０６ フーリエ変換装置
１０７、２０７、３０７、４０７、５０７ 除算回路
１０８、３０８ 乗算回路
１０９、２０９、３０９、４０９、５０９ 逆フーリエ変換装置
１１０、２１０、３１０、４１０、５１０ 画像出力部
２１１、４１１ 畳み込み回路
３１２、４１２、５１２ 領域拡張回路
３１３、４１３、５１３ 拡張領域除去回路
５１１ 単一のＦＩＲフィルタで実装される畳み込み演算部
【技術分野】
【０００１】
本発明は、カメラで撮像した画像から高解像度の画像を復元する画像復元方法及びその装置に関する。
【背景技術】
【０００２】
カメラで被写体を撮像すると、劣化した画像として撮像されてしまう。画像復元装置は、劣化した画像を、本来の高解像度の画像に復元する装置である。
【０００３】
図２０は、従来の画像復元装置のブロック構成図である。この画像復元装置１０は、カメラで撮像した画像（劣化画像）を復元対象画像として取り込む画像入力部１１と、画像入力部１１から入力された劣化画像をフーリエ変換するフーリエ変換装置１２と、点広がり関数入力部１３と、点広がり関数入力部１３から入力された点広がり関数をフーリエ変換するフーリエ変換装置１４と、フーリエ変換装置１２の出力をフーリエ変換装置１４の出力で除算する除算回路１５と、除算回路１５による除算結果を逆フーリエ変換する逆フーリエ変換装置１６と、逆フーリエ変換結果を復元画像として出力する画像出力部１７とを備える。
【０００４】
図２１は、上述した従来の画像復元装置１０の動作手順を示すフローチャートである。先ず、カメラで撮影する時の点広がり関数を点広がり関数入力部１３から入力し（ステップＳ１１）、次に、この点広がり関数をフーリエ変換装置１４でフーリエ変換し（ステップＳ１２）、次に、このフーリエ変換結果の逆数を求めてこれを復元用のフィルタ特性とする（ステップＳ１３）。
【０００５】
次に、カメラで撮像した画像（劣化画像）を画像入力部１１から取り込み（ステップＳ１４）、次にこの画像をフーリエ変換装置１２でフーリエ変換し（ステップＳ１５）、次に復元用のフィルタ特性を画像のフーリエ変換結果に乗算する（ステップＳ１６）。即ち、フーリエ変換装置１２の出力を、フーリエ変換装置１４の出力で除算する。そして、除算結果すなわち除算回路１５の出力に対して逆フーリエ変換装置１６で逆フーリエ変換し（ステップＳ１７）、逆フーリエ変換結果を復元画像として画像出力部１７から出力する（例えば、非特許文献１参照）。
【０００６】
この従来の画像復元装置では、モデルは点広がり関数が位置不変の特性をもち、劣化前の画像ｆ（ｘ，ｙ）に対し、点広がり関数ｈ（ｘ，ｙ）によって劣化した画像ｇ（ｘ，ｙ）は、次のように表されると仮定している。
【０００７】
ｇ（ｘ，ｙ）＝∬f(x0, y0)＊h(x-x0, y-y0) dx0 dy0 ＋ n(x,y)
ここで、
ｆ（ｘ，ｙ）：劣化前の画像
ｇ（ｘ，ｙ）：劣化画像
ｈ（ｘ，ｙ）：点広がり関数
ｎ（ｘ，ｙ）：雑音
ｘ、ｙ：空間座標
である。
【０００８】
これをフーリエ変換によって周波数空間での表示に変えると、畳み込み演算は積に置き換えられるので
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ） ＋ Ｎ（ｕ，ｖ）
となる。
【０００９】
ここで
Ｆ（ｕ，ｖ）：劣化前の画像の２次元フーリエ変換
Ｇ（ｕ，ｖ）：劣化画像の２次元フーリエ変換
Ｈ（ｕ，ｖ）：点広がり関数の２次元フーリエ変換
Ｎ（ｕ，ｖ）：雑音の２次元フーリエ変換
ｕ，ｖ：空間周波数
である。
【００１０】
従って、
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ） − Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
となる。このＦ（ｕ，ｖ）を逆フーリエ変換することにより、高解像度の復元画像を得ることができる。
【００１１】
この画像復元の手法は、点広がり関数による劣化画像の復元において基本となる手法であり、点広がり関数に誤差がなく、画像に線形性がある限りにおいて、良好な復元画像を得ることができる。
【００１２】
【非特許文献１】斎藤恒雄 著「画像処理アルゴリズム」近代科学社、１９９３年３月１０日発行、ｐ．６８〜ｐ．８４）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、従来の画像復元装置は、以下の様な問題があった。すなわち、高周波で復元倍率が極めて増大するため、復元画像が不安定になるという問題である。その程度は、復元処理後の画像にざらつきを生じるという程度のものから、劣化画像の中に見えていた画像さえノイズの中に埋もれてしまうまで激しく不安定になる程度のものまである。
【００１４】
復元画像の不安定性は次のようにして起こる。現実の系で像復元を行う場合、点広がり関数には誤差がつきものである。とりわけ、点広がり関数の２次元フーリエ変換を表すＨ（ｕ，ｖ）（＝光学的伝達関数 ＯＴＦ）が、高周波でその絶対値が小さくなり、Ｈ（ｕ，ｖ）の測定値の相対誤差が増大する。高周波では、周波数成分の復元率に相当する１／Ｈ（ｕ，ｖ）の値自体が大きいところで、Ｈ（ｕ，ｖ）の相対誤差が増大するため、高周波成分を極めて過大に復元してしまうことが時として生じる。その過大に評価されてしまった高周波成分により、画像は乱れる。この効果が小さいときには、画像が高周波成分によりざらついて見える程度であるが、この効果が極めて大きいときは、高周波成分だけが画像の中で支配的になることで、画像がまったくのランダム画像に見えてしまうまで、画像が乱れてしまうこともある。
【００１５】
本発明は、このような従来の問題を解決するためになされたもので、復元画像を安定にすることができる画像復元方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の画像復元方法及びその装置は、復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算した値を復元フィルタとし、前記復元対象画像のフーリエ変換に前記復元フィルタを周波数空間で乗算し、前記乗算した結果を逆フーリエ変換して得られた画像を復元画像とすることを特徴とする。
【００１７】
この構成により、即ち、従来の画像復元技術では、復元後に理想的な１点になることを期待した復元フィルタを用いるのに対し、本発明では、復元後においても微少な広がりを持つことを期待した復元フィルタになっているため、高周波成分を減衰させることで復元後の画像で高周波成分による画像の乱れやざらつきを抑えることが可能となる。
【００１８】
本発明の画像復元方法及びその装置は、復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算し、前記除算した値を逆フーリエ変換して得られた結果の実数部を取り出して前記実数部を実空間での復元フィルタとし、前記復元対象画像を前記復元フィルタで畳み込んで得られる画像を復元画像とすることを特徴とする。
【００１９】
この構成により、復元後の点広がり関数と、撮影時の点広がり関数とが、あらかじめ用意されていれば、実空間でのフィルタをあらかじめ計算しておくことができ、画像の復元は実空間でのフィルタを利用して畳み込むことだけで達成できる。また、復元に必要な範囲の画像の行データがそろった時点で、それぞれの画像の復元画像を計算することが可能となる。
【００２０】
このとき、畳み込むべき実空間でのフィルタの大きさを小さくする必要があるが、それは、例えば次のような手順で計算すればよい。最小限の行列の大きさにした撮影時の点広がり関数のフーリエ変換を分母とし、同じ行列の大きさの復元画像に期待する点広がり関数のフーリエ変換を分子として複素数として割り算を実行する。その結果を逆フーリエ変換し実数部を取り出すことで、畳み込みのためのフィルタが得られる。
【００２１】
これにより、上記実空間のフィルタの大きさの範囲の画素だけで復元画像上の１点を計算できるようになる。そのため、必要な行データがそろった行から順次復元の計算ができ、１画面全体の画像を取得するのを待たずに復元処理を開始できる。
【００２２】
位置不変な特性を持つ場合には、この畳み込み演算のためのフィルタとして、画面全体にわたって共通の値を用いればよい。畳み込み演算に対して専用のハードウエアを用いた場合には、並列性の向上のために、画面全体にわたるＦＦＴ（高速フーリエ変換）を使う場合よりも計算が速くなる。
【００２３】
本発明の画像復元方法及びその装置は、前記撮影時の点広がり関数から計算される実空間での前記復元フィルタを単一のＦＩＲフィルタ（＝Finite Impulse Response Filter）とし、復元対象画像１方向へのスイープした時系列に対する前記ＦＩＲフィルタによる畳み込みを行うことで前記復元画像を求めると共に、画角に応じて前記点広がり関数と前記復元フィルタとを切り替えることを特徴とする。
【００２４】
この構成により、画面全体に対するデコンボリューション処理が、時系列データに対して単一のＦＩＲを施すことで表現できる。そのため、復元処理を、画像全体がそろうのを待たずに開始でき、リアルタイム性が向上する。また点広がり関数が画角によって異なることから、復元画像に生じるリンギングが低下し、良好な復元画像を得ることができる。
【００２５】
本発明の画像復元方法及びその装置は、前記復元対象画像の上端及び下端の各々に前記撮影時の点広がり関数の行数分の画像領域を追加し、前記復元対象画像の左端及び右端の各々に前記撮影時の点広がり関数の列数分の画像領域を追加し、前記画像領域を追加した前記復元対象画像から前記復元画像を求めると共にこの復元画像から前記追加した画像領域を除去した範囲の画像を真の復元画像とすることを特徴とする。
【００２６】
この構成により、画像復元の際に、周期的境界条件を仮定することに由来する復元画像の縁付近に生じるノイズを、復元画像から取り除くことができる。
【発明の効果】
【００２７】
本発明によれば、画像の復元後に対しても点像に微少な広がりを設定することで、即ち、復元後の点像の点広がり関数のフーリエ変換を撮影時の点広がり関数のフーリエ変換で割った値を画像復元用のフィルタ特性とすることで、復元画像に生じやすい高周波成分による画像の乱れやざらつきを抑えることが可能となる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の一実施の形態を、図面を参照して説明する。
【００２９】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像復元装置のブロック構成図である。本実施形態に係る画像復元装置１００は、復元対象の画像を入力する画像入力部１０１と、復元後の点広がり関数を入力する入力部１０２と、撮影時の点広がり関数を入力する入力部１０３と、画像入力部１０１が取り込んだ復元対象画像をフーリエ変換するフーリエ変換装置１０４と、入力部１０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置１０５と、入力部１０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置１０６と、フーリエ変換装置１０５の出力をフーリエ変換装置１０６の出力で除算する除算回路１０７と、フーリエ変換装置１０４の出力に除算回路１０７の出力を乗算する乗算回路１０８と、乗算回路１０８の乗算結果に対して逆フーリエ変換を施す逆フーリエ変換装置１０９と、逆フーリエ変換結果の実数部を復元画像として出力する画像出力部１１０とを備える。
【００３０】
フーリエ変換装置１０２、１０３は、夫々、復元後と撮影時の点広がり関数をフーリエ変換するが、フーリエ変換の際に予め配列の大きさが画像の大きさと同じになるようにゼロでパディングする。
【００３１】
図２は、図１に示す画像復元装置の動作手順を示すフローチャートである。まず、復元後の点広がり関数と撮影時の点広がり関数とを夫々入力部１０２、１０３から読み取り（ステップＳ１０１）、次に、入力部１０２、１０３で読み取った復元後と撮影時の点広がり関数を夫々フーリエ変換装置１０５、１０６でフーリエ変換する（ステップＳ１０２）。
【００３２】
その後、除算回路１０７により、フーリエ変換装置１０５の出力を、フーリエ変換装置１０６の出力で除算する。これにより、
〔復元後の点広がり関数のフーリエ変換〕＝Ａ
〔撮影時の点広がり関数のフーリエ変換〕＝Ｂ
としたとき、
復元用のフィルタ特性＝Ａ／Ｂ
として算出される（ステップＳ１０３）。
【００３３】
次に、画像入力部１０１から復元対象の画像を取り込み（ステップＳ１０４）、フーリエ変換装置１０４でこの復元対象画像をフーリエ変換する（ステップＳ１０５）。そして、乗算回路１０８により、復元用のフィルタ特性と、復元対象画像をフーリエ変換したものとを周波数空間で乗算し（ステップＳ１０６）、最後に、乗算回路１０８の出力を、逆フーリエ変換装置１０９で逆フーリエ変換する（ステップＳ１０７）。逆フーリエ変換された結果が復元画像として画像出力部１１０から出力される。
【００３４】
尚、図１に示すブロック構成図では、計算手順をわかりやすくするために、フーリエ変換装置１０４、１０５、１０６を３つ別々に記載しているが、実際の装置では、１つのフーリエ変換装置で兼用する構成としてもよいことはいうまでもない。また、図２において、同じ撮影時の点広がり関数での画像の復元を繰り返す場合には、ステップＳ１０１からステップＳ１０３までを省略し、一旦計算された復元用フィルタ特性を繰り返し使用することでもよい。
【００３５】
本実施形態に係る画像復元装置によれば、復元用のフィルタ特性として、撮影時の点広がり関数のフーリエ変換を分母とし、復元後の点広がり関数のフーリエ変換を分子としたときの商を用いることにより、高周波成分を減衰させ、復元後の画像における高周波成分による画像の乱れやざらつきを抑えることが可能となる。
【００３６】
図３は、図１の入力部１０３に入力するデータすなわち撮影時に用いた点広がり関数の２次元強度分布の一例を示す図である。縦軸、横軸は、それぞれ画素の位置である。図の中央で点広がり関数の最大値がくるようにとってある。点広がり関数は、左側にやや裾野を引いている。
【００３７】
図４は、図３に示す関数の水平方向の断面図である。左側に裾野を引いているのがはっきりと見て取れる。
【００３８】
図５は、図３に示す撮影時に用いた点広がり関数に対応する水平方向のＭＴＦの一例を示す図である。横軸はナイキスト周波数を「０．５」としたときの空間周波数であり、縦軸はＭＴＦである。空間周波数が大きくなるにつれてＭＴＦの値が著しく減少している。
【００３９】
図１に示す第１の実施形態の画像復元装置１００では、図２０に示す従来例に比較して、復元後の点広がり関数の周波数特性を復元用のフィルタ特性の分子として追加しており、その追加した周波数特性はローパスフィルタになる。仮定する復元後の広がりを大きくすると、それに対応して高周波側から周波数特性の大きさが減少していく。このローパスフィルタにより、高周波でＭＴＦの相対誤差が増大しても、劣化前の画像よりも高周波成分を過大に評価する可能性が減少する。このローパスフィルタは、周波数に対してなめらかに変化することが、自然な復元画像を得るうえで重要である。
【００４０】
復元後に微少な広がりを持つ復元後の点広がり関数としては、たとえば、微少な広がりを持つ、次式（１）の２次元のガウス関数を想定することができる。復元後の点広がり関数が連続的に滑らかに推移すると同時に、その周波数特性も連続的に滑らかに推移するので、復元画像に不自然な不連続な挙動を引き起こすことがない。
【００４１】
ｚ＝ｅｘｐ（−（ｘ２＋ｙ２）／σ２） …（１）式
ここで、
ｘ、ｙ：空間座標
ｚ：ガウス関数で定義される復元後の点広がり関数
である。
【００４２】
上記の式（１）のσはガウス関数の広がりを与えるパラメータであり、その値として「０．６」画素といった連続値をとることができる。σ=０．２、σ＝０．４といった微少な値を用いている範囲では、復元後の点広がり関数はほとんど１点に近い。そのような状況においても、高周波成分の振幅をわずかに抑えることが、画像の平滑化につながり、復元後の画像における高周波成分のあばれを小さくする。
【００４３】
図６は、図１に示す入力部１０２に入力される復元後の点広がり関数の一例を示す図である。復元後の点広がり関数として２次元のガウス関数を用いた例であり、種々のσに対する点広がり関数の断面を示している。横軸は画素、縦軸は点広がり関数の強度である。
【００４４】
図７は、図６に示す関数に対応するＭＴＦの一例を示す図である。横軸はナイキスト周波数を「０．５」としたときの空間周波数であり、縦軸はＭＴＦの値である。種々のσによって、ＭＴＦの減衰の仕方が異なっている。元々の点広がり関数の広がりσが「０．２」と小さい場合には、ＭＴＦはナイキスト周波数でも「１」に近い値を持つが、σの値が大きくなるにつれて、高周波でのＭＴＦの値が小さくなっているのがわかる。
【００４５】
図８は、第１の実施形態に係る画像復元装置で用いる復元用のフィルタ特性の一例を示す図である。横軸は、ナイキスト周波数を「０．５」としたときの空間周波数であり、縦軸は復元用のフィルタの振幅、復元倍率である。
【００４６】
この復元用のフィルタは、前述した様に、
〔復元後の点広がり関数のフーリエ変換〕＝Ａ
〔撮影時の点広がり関数のフーリエ変換〕＝Ｂ
と表したとき、
〔復元用のフィルタ〕＝Ａ／Ｂ
で定義される。
【００４７】
このため、空間周波数「０」では、元々のＭＴＦ＝１であるため、復元用のフィルタの倍率は「１」である。しかし、図８に示す様に、空間周波数が大きくなりＭＴＦの値が小さくなるにつれて、復元用フィルタの振幅（＝復元倍率）は大きくなる。
【００４８】
図３、図４に示す撮影時の点広がり関数の場合には、その水平方向のＭＴＦは、図５に示すように、空間周波数「０．１７」でＭＴＦ＝０．１にまで減少しており、対応して、空間周波数０．１７で復元倍率は図８に示す様に１０倍に達している。空間周波数がさらに大きくなると、ＭＴＦは図５に示すように更に小さくなっており、図８に示す復元倍率は更に大きくなる。
【００４９】
図８中の黒丸点は第１の実施形態に係る復元倍率を示し、四角点は従来の手法における復元倍率である。この図８に示す様に、第１の実施形態においては、復元倍率が大きくなる高周波領域において、従来の手法よりも低い復元倍率を与えている。ＭＴＦの値が小さくなる領域では、ＭＴＦの相対誤差が大きくなるので、高周波成分を過大に復元しがちであった従来手法にくらべ、本実施形態では、高周波成分を過大に評価する可能性を減らしている。
【００５０】
復元後の画像に対して微少な広がりを仮定することは、次のようにして正当化される。第１に、一般に画像のスペクトルはナイキスト周波数近くの高周波で減衰しているものであり、ナイキスト周波数付近の周波数成分は、画像のそれが極めて過大に評価されない限り、人間の視覚に与える影響は大きくない。
【００５１】
第２に、像復元による画像のスペクトルの変化が、人間の視覚に与える影響が大きいのは、元々の画像のスペクトルが強い低周波領域での周波数成分の復元である。このため低周波でのスペクトル成分の減少を像復元で復元することで、画像の見栄えが著しく改善する。また、低周波でのＭＴＦはＭＴＦの値も大きいために少ない相対誤差でＭＴＦの値を決定できることも大きい。
【００５２】
第３に、ナイキスト周波数近くのＭＴＦは小さくＭＴＦの相対誤差は大きくなるので、その周波数成分を〔１／ＭＴＦ〕倍することは、ナイキスト周波数付近の空間周波数成分を過大評価する危険が高く、誤差のあるＭＴＦを使用したときにおいても復元率を過大評価しないように、ナイキスト周波数付近の周波数成分を減衰させる必要がある。
【００５３】
実際、光学的伝達関数（その絶対値をＭＴＦと呼ぶ）であるＨ（ｕ，ｖ）は、高周波においては、たとえカメラが無収差光学系であっても減衰するものである。しかも、収差のある通常の光学系では、高周波成分の減衰がさらに大きい。その上、カメラの検出器では、画像の折り返しひずみを抑制するために、ナイキスト周波数以上の成分をカットするための光学ローパスフィルタを用いている。このためナイキスト周波数近傍では取得画像のＭＴＦの値自体がさらに小さくなっており、ＭＴＦは高周波で値が小さくなり、その相対誤差は不可避的に大きくなる。
【００５４】
これが、従来の手法では、時として高周波成分を過大評価させてしまう原因であり、軽微な状況では画像のざらつきを生じさせ、重度の場合には、画像をすべてノイズによって埋もれさせてしまう。
【００５５】
これに対し、本実施形態の画像復元装置では、復元後に微少な広がりを持つ点広がり関数を持たせることで、ナイキスト周波数近傍を減少させる効果を持っている。即ち、本実施形態では、復元後の画像に対して微少な広がりを仮定して画像を復元することとしている。
【００５６】
ここで、復元後の点広がり関数を想定することは、従来の手法に対し単にローパスフィルタを加えたものではない。復元後の分布が、滑らかな特性を持つ点広がり関数を仮定しているので、ローパスフィルタの周波数特性も滑らかに単調に減衰し、復元後の画像に対して自然な微少なボケを残すことができる。
【００５７】
単純にローパスフィルタをかけたときには、ローパスフィルタによっては、あまりに急峻に高周波側をカットすることになり、カットした限界の周波数成分が画像の中で強調されてしまうことがある。このため、不自然な画像になってしまう。
【００５８】
これに対し、復元後の画像に対して微少な広がりをもつ点広がり関数を仮定して高周波成分の復元を抑制すると、復元後の点広がり関数による自然なボケ方で高周波成分による画像の乱れやざらつきを抑えることができる。
【００５９】
なお、本実施形態の画像復元装置では、復元後に期待する点広がり関数を、入力部１０２から取り込む構成としているが、復元後に想定する点広がり関数は、条件による差はなく、あらかじめ一定の値を装置の中に組み込んでおくことも可能である。その場合、そのフーリエ変換まではあらかじめ計算しておき装置に組み込んでおくことができる。
【００６０】
（第２の実施の形態）
図９は、本発明の第２の実施の形態に係る画像復元装置のブロック構成図である。本実施形態の画像復元装置２００は、復元対象の画像を入力する画像入力部２０１と、復元後の点広がり関数を入力する入力部２０２と、撮影時の点広がり関数を入力する入力部２０３と、入力部２０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置２０５と、入力部２０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置２０６と、フーリエ変換装置２０５の出力をフーリエ変換装置２０６の出力で除算する除算回路２０７と、除算回路２０７の出力を逆フーリエ変換する逆フーリエ変換装置２０９と、画像入力部２０１によって取り込まれた復元対象画像に対して逆フーリエ変換装置２０９の出力を畳み込み演算する畳み込み回路２１１と、畳み込み回路２１１の出力を復元画像として出力する画像出力部２１０とを備える。
【００６１】
図１０は、第２の実施形態に係る画像復元装置の動作手順を示すフローチャートである。
【００６２】
まず、撮影時の点広がり関数を入力部２０３で読み取ると共に復元後の点広がり関数を入力部２０２で読み取る（ステップＳ２０１）。次に、撮影時の点広がり関数と復元後の点広がり関数とを夫々フーリエ変換装置２０６、２０５でフーリエ変換する（ステップＳ２０２）。
【００６３】
次に、除算回路２０７により、フーリエ変換装置２０５の出力をフーリエ変換装置２０６の出力で除算する。除算回路２０７の出力が復元用のフィルタ特性となり、この除算回路２０７の出力を逆フーリエ変換装置２０９で逆フーリエ変換することで、実空間の復元用フィルタが得られる（ステップＳ２０３）。
【００６４】
次に、画像入力部２０１から復元対象となる画像を取り込み（ステップＳ２０４）、最後に、復元対象の画像に対して実空間の復元用フィルタすなわち逆フーリエ変換装置２０９の出力を畳み込み演算する（ステップＳ２０５）。これにより、復元画像が画像出力部２１０から出力される。
【００６５】
尚、この第２の実施形態における復元用のフィルタ特性と、実空間の復元用フィルタは、点広がり関数を考慮した、できるだけ小さな大きさの配列としており、第１の実施形態の場合とは異なる。第１の実施形態の場合には、画像の大きさの分だけのフーリエ変換装置を用意し、画像、復元後の点広がり関数、撮影時の点広がり関数に対してフーリエ変換を実施するため、フーリエ変換装置が大規模なものになる。これに対し、第２の実施形態の場合、フーリエ変換装置としては、点広がり関数の実空間の逆フィルタを計算するのに十分な大きさであればよく、例えば、縦横共に２０画素程度を処理できれば済む。
【００６６】
図１１は、第２の実施形態における実空間での復元用フィルタの一例を示す図である。縦軸と横軸は夫々実空間における画素位置を示す。濃淡は各画素位置におけるフィルタの数値を表す。復元用のフィルタは中央で値が高いが、そのすぐ近傍の画素で負の値を持つ画素が存在する場合もある。このため、一種の微分フィルタとなっており、高周波成分を強調するフィルタになっていて、このフィルタで画像を畳み込むと画像の分解能が向上する。
【００６７】
図１２は、第２の実施形態における実空間での復元用フィルタと撮影時に用いた点広がり関数との畳み込み演算の結果を示す図である。縦軸と横軸はそれぞれ実空間における画素位置を表す。畳み込み演算の結果は、図３の撮影時の点広がり関数よりも点像の広がりが小さくなっている。このように、実空間での復元用フィルタで復元対象画像を畳み込むことで、画像のボケを減少させることができる。
【００６８】
以上のように、本発明の第２の実施形態に係る画像復元装置によれば、復元用のフィルタ特性として、撮影時の点広がり関数のフーリエ変換結果で復元後の点広がり関数のフーリエ変換結果を割った値を用い、それを実空間でのフィルタに変換し、そのフィルタで畳み込み演算するため、復元画像の高周波成分による画像の乱れやざらつきを抑えることが可能となる。
【００６９】
尚、本実施形態の画像復元装置では、畳み込み演算を行うフィルタ特性を画像復元装置の内部で計算する構成としたが、畳み込み演算を行うフィルタ特性を、あらかじめ外部の装置で計算しておき、その結果を画像復元装置の中に保存しておきそれを用いる構成としても良い。
【００７０】
この第２の実施形態の画像復元装置で画像を復元する場合には、高周波成分を減衰させておくことが極めて重要な意味を持っている。逆フーリエ変換を施したフィルタ（逆フィルタ）を作る際に、高周波成分を完全に再現し、点広がり関数と実空間の逆フィルタのとの積が理想的な１点、デルタ関数になるように意図すると、高い次数までフィルタの特性を与えることが必要になる。
【００７１】
しかし、点広がり関数と実空間逆フィルタとの積が微少な広がりを持った点になるようにすると、必要な空間周波数が限られ、高い次数でのフィルタ特性は不要になる。そのため、高周波特性を抑制して微少な広がりを許容することで、実空間での畳み込み行列の大きさが点広がり関数行列の大きさ程度に抑えられる。
【００７２】
（第３の実施の形態）
図１３は、本発明の第３の実施の形態に係る画像復元装置のブロック構成図である。本実施形態の画像復元装置３００は、復元対象の画像を入力する画像入力部３０１と、復元後の点広がり関数を入力する入力部３０２と、撮影時の点広がり関数を入力する入力部３０３と、画像入力部３０１が取り込んだ復元対象画像に対して後述の領域拡張処理を施す領域拡張回路３１２と、領域拡張処理後の復元対象画像をフーリエ変換するフーリエ変換装置３０４と、入力部３０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置３０５と、入力部３０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置３０６と、フーリエ変換装置３０５の出力をフーリエ変換装置３０６の出力で除算する除算回路３０７と、フーリエ変換装置３０４の出力に除算回路３０７の出力を乗算する乗算回路３０８と、乗算回路３０８の乗算結果に対して逆フーリエ変換を施す逆フーリエ変換装置３０９と、逆フーリエ変換装置３０９の出力に対して後述の拡張領域除去処理を施す拡張領域除去回路３１３と、拡張領域除去回路３１３の出力を復元画像として出力する画像出力部３１０とを備える。
【００７３】
領域拡張回路３１２は、撮影時の点広がり関数の行数の画像領域を、復元対象画像の上端と下端の各々に追加し、撮影時の点広がり関数の列数の画像領域を復元対象画像の右端と左端の各々に追加し、復元対象画像の最外周の画素値を追加領域に代入する処理を行う。領域拡張除去回路３１３は、領域拡張回路３１２とは逆に、復元画像から上記の追加した画像範囲を削除する処理を行う。
【００７４】
図１４は、本発明の第３の実施の形態に係る画像復元装置の動作手順を示すフローチャートである。先ず、復元後の点広がり関数を入力部３０２で読み取る共に撮影時の点広がり関数を入力部３０３で読み取る（ステップＳ３０１）。次に、撮影時の点広がり関数と復元後の点広がり関数とを夫々フーリエ変換装置３０６、３０５でフーリエ変換し（ステップＳ３０２）、除算回路３０７により、フーリエ変換装置３０５の出力をフーリエ変換装置３０６の出力で除算することで復元用のフィルタ特性を算出する（ステップＳ３０３）。フーリエ変換装置３０５、３０６では、画素配列の大きさを、領域拡張回路３１２で拡張した後の画像の大きさと同じにしておく。
【００７５】
次に、画像入力部３０１から復元対象画像を読み込み（ステップＳ３０４）、領域拡張回路３１２で復元対象画像に対し画像周辺の画像領域を拡張する（ステップＳ３０５）。例えば、図１５に示す様に、撮影時の点広がり関数の行数の画像領域を、画像の上端と下端の各々に追加し、撮影時の点広がり関数の列数の画像領域を画像の右端と左端の各々に追加する。そして、追加した拡張領域の部分の値として、画像の最外周の画素値を代入しておく。
【００７６】
次に、画像の最外周が領域拡張された復元対象画像をフーリエ変換装置３０４でフーリエ変換し（ステップＳ３０６）、フーリエ変換結果に対して乗算回路３０８で復元用のフィルタ特性を乗算する（ステップＳ３０７）。次に、乗算回路３０８の乗算結果に対して逆フーリエ変換装置３０９が逆フーリエ変換を行い（ステップＳ３０８）、最後に、拡張領域除去回路３１３が逆フーリエ変換結果から拡張領域を除去して元々の復元画像範囲を切り出し（ステップＳ３０９）、画像出力部３１０から復元画像として出力する。
【００７７】
以上のように、本発明の第３の実施の形態に係る画像復元装置によれば、画像範囲を拡大する前処理回路（領域拡張回路３１２）を追加し、追加した領域を除去する後処理回路（拡張領域除去回路３１３）を付加したため、画像復元で周期的な境界条件を仮定することにより生じるノイズすなわち復元画像の縁部分に生じるノイズを防ぐことができる。
【００７８】
（第４の実施の形態）
図１６は、本発明の第４の実施の形態に係る画像復元装置のブロック構成図である。本実施形態に係る画像復元装置４００は、復元対象の画像を入力する画像入力部４０１と、復元後の点広がり関数を入力する入力部４０２と、撮影時の点広がり関数を入力する入力部４０３と、画像入力部４０１が取り込んだ復元対象画像に対して第３の実施形態と同様に領域拡張処理を施す領域拡張回路４１２と、入力部４０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置４０５と、入力部４０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置４０６と、フーリエ変換装置４０５の出力をフーリエ変換装置４０６の出力で除算する除算回路４０７と、除算回路４０７の出力を逆フーリエ変換する逆フーリエ変換装置４０９と、領域拡張回路４１２の出力に対して逆フーリエ変換装置４０９の変換結果を畳み込み演算する畳み込み回路４１１と、畳み込み回路４１１の出力結果から第３の実施形態と同様に拡張領域を除去する拡張領域除去回路４１３と、拡張領域除去回路４１３の出力を復元画像として出力する画像出力部４１０とを備える。
【００７９】
図１７は、第４の実施形態に係る画像復元装置の動作手順を示すフローチャートである。まず、復元後の点広がり関数を入力部４０２から取り込むと共に撮影時の点広がり関数を入力部４０３から取り込む（ステップＳ４０１）。次に、撮影時の点広がり関数と復元時の点広がり関数とをフーリエ変換装置４０６、４０５で夫々フーリエ変換し（ステップＳ４０２）、両フーリエ変換結果に基づいて除算回路４０７で復元用のフィルタ特性を算出した後に逆フーリエ変換装置４０９で逆フーリエ変換し、逆フーリエ変換結果の実部を、復元のための実空間の復元用フィルタとする（ステップＳ４０３）。
【００８０】
次に、画像入力部４０１で復元対象画像を読み込み（ステップＳ４０４）、領域拡張回路４１２で、復元対象画像に対し画像周辺の画像領域を拡張する（ステップＳ４０５）。拡張は、第３の実施形態と同様に行う。
【００８１】
次に、畳み込み回路４１１で、領域拡張を行った画像に対し、復元のための実空間のフィルタを用いて畳み込み演算を実施し、拡張領域を含む復元画像を得る（ステップＳ４０６）。最後に、拡張領域除去回路４１３で、その画像から元々の画像に対応する範囲を切り出し（ステップＳ４０７）、その結果を画像出力回路４１０から復元画像として出力する。
【００８２】
以上のように、本発明の第４の実施の形態に係る画像復元装置によれば、画像範囲を拡大する前処理回路（領域拡張回路４１２）を追加し、追加した領域を除去する後処理回路（拡張領域除去回路４１３）を付加したため、画像復元で周期的な境界条件を仮定することにより生じるノイズを防ぐことができる。
【００８３】
（第５の実施の形態）
図１８は、動画を構成する各画像をリアルタイムに復元処理する本発明の第５の実施形態に係る画像復元装置５００のブロック構成図である。本実施形態に係る画像復元装置５００は、復元対象の画像を入力する画像入力部５０１と、復元後の点広がり関数を入力する入力部５０２と、撮影時の点広がり関数を入力する入力部５０３と、画像入力部５０１が取り込んだ復元対象画像に対して第３の実施形態と同様に領域拡張処理を施す領域拡張回路５１２と、入力部５０２が取り込んだ復元後の点広がり関数をフーリエ変換するフーリエ変換装置５０５と、入力部５０３が取り込んだ撮影時の点広がり関数をフーリエ変換するフーリエ変換装置５０６と、フーリエ変換装置５０５の出力をフーリエ変換装置５０６の出力で除算する除算回路５０７と、除算回路５０７の出力を逆フーリエ変換する逆フーリエ変換装置５０９と、領域拡張回路５１２の出力に対して逆フーリエ変換装置５０９の変換結果を後述する様にして畳み込み演算する単一のＦＩＲフィルタで実装される畳み込み回路５１１と、畳み込み回路５１１の出力結果から第３の実施形態と同様に拡張領域を除去する拡張領域除去回路５１３と、拡張領域除去回路５１３の出力を復元画像として出力する画像出力部５１０とを備える。
【００８４】
上記実施形態において、領域拡張回路５１２からの出力は、画像データを１方向にスイープした時系列データであり、それを単一のＦＩＲフィルタで実装される畳み込み回路の入力とすることで、各画素に対する畳み込み演算を共通の電気回路で実装できる。画像データの入力サイズを増大させた場合においても、単に時系列データが長くなっただけである。単一のＦＩＲフィルタの構成としては、実空間での復元フィルタの２次元配列を、画像データと同一方向にスイープして、各行に対応する部分ＦＩＲフィルタを作成する。それぞれの行に対応する部分ＦＩＲフィルタは、行の長さの調整分だけの遅延回路を伴って数珠繋ぎに接続する。各ＦＩＲ部分フィルタの出力を加算回路で和をとって出力する。そうすると、これらのＦＩＲフィルタの組み合わせは、行の長さの調整分だけの遅延回路を含んだＦＩＲフィルタとみなせる。画像は全体のＦＩＲフィルタに対し１箇所から、時系列データとしてスイープして与え、その出力は加算回路からの出力としてスイープされた画像として与えられる点で、構成が極めて単純化される。
【００８５】
カメラ光学系に収差の影響がある場合には、点広がり関数は画面上の位置（画角）によって異なってくる。画角に応じた撮影時の点広がり関数は、１つの画像データに対し、画角により異なる撮影時の点広がり関数となる。このため、逆フーリエ変換装置５０９から出力される実空間でのフィルタ特性も、画角に応じて異なることになる。そこで、本実施形態の画像復元装置５００では、撮影時の点広がり関数を入力する入力部５０２から、単一のＦＩＲフィルタで実装される畳み込み回路５１１までは、画角に応じた複数の点広がり関数とそれに応じた実空間の復元用フィルタを利用できる構成になっている。
【００８６】
図１９は、第５の実施形態に係る画像復元装置の動作手順を示すフローチャートである。まず、画角に応じた撮影時の点広がり関数を入力部５０３から取り込む（ステップＳ５０１）。次に、復元後の点広がり関数と、画角に応じた撮影時の点広がり関数とを、夫々、フーリエ変換装置５０５、５０６でフーリエ変換する（ステップＳ５０２）。
【００８７】
次に、除算回路５０７により、フーリエ変換装置５０５の出力をフーリエ変換装置５０６の出力で除算し、その結果を逆フーリエ変換装置５０９で逆フーリエ変換し、その実数部を取り出して実空間での復元用のフィルタとする（ステップＳ５０３）。上述したステップＳ５０１からステップＳ５０３まで処理において、画角に応じた点広がり関数を使うことにより、ステップＳ５０３で得られる実空間での復元用のフィルタも、画角に応じて異なるものとなる。
【００８８】
次に、画像入力部５０１から復元対象の画像を入力する（ステップＳ５０４）。そして、領域拡張回路５１２で、復元対象の画像に対し、画像の周辺に画像領域を拡張する（ステップＳ５０５）。拡張は、第３の実施形態と同様に行う。
【００８９】
次に、単一のＦＩＲフィルタで実装される畳み込み回路５１１により、画像の時系列データを畳み込んで、時系列として畳み込み後の画像を出力する。単一のＦＩＲフィルタで実装される畳み込み回路５１１は、画像復元のための実空間のフィルタを用いたものである。入力が拡張領域を含む画像データであるため、単一のＦＩＲフィルタで実装される畳み込み回路５１１の出力も拡張領域を含む画像データである。元々２次元の画像データを１次元の時系列として単一のフィルタで畳み込む際に生じる不連続の影響は、画像の拡張領域にだけ現れ、本来の画像領域には現れない。このため、本構成を用いて、２次元の画像に対する実空間での畳み込みを単一のＦＩＲフィルタで行うことができる。
【００９０】
画角による点広がり関数の違いを取り入れる場合は、画角によって復元用フィルタすなわち上記ＦＩＲフィルタでの係数が異なることとなるため、画角の領域に応じて、実空間での復元用フィルタを切り替えつつ畳み込み演算を実施し、拡張領域を含む復元画像を得る（ステップＳ５０６）。
【００９１】
そして、拡張領域除去回路５１３により、拡張領域を含む復元画像から元々の画像に対応する範囲を切り出し（ステップＳ５０７）、その結果を画像出力回路５１０から復元画像として出力する。
【００９２】
以上のように、本発明の第５の実施の形態に係る画像復元装置によれば、画角により異なる撮影時の点広がり関数から、画角に応じた復元用の実空間のフィルタを切り替えつつ単一のＦＩＲフィルタで画像データを畳み込む仕組みを設けたため、復元画像に生じるリンギングを低下させ、良好な復元画像の得ることが可能になると共に、復元処理を、画像全体がそろうのを待たずに開始でき、リアルタイム性が向上するという利点を持つ。
【００９３】
なお、以上の説明では、画像領域の拡張と画像領域の切り出しを行う構成としたが、それらを有しない構成、つまり、領域拡張回路５１２と拡張領域除去回路５１３を有しない画像復元装置とすることも可能である。
【００９４】
以上述べた第１から第５の実施形態に係る画像復元装置では、撮影時の点広がり関数を、各カメラ条件（ズーム、焦点距離、Ｆナンバーなどの条件）であらかじめ測定しておき、撮影時には、撮影時のカメラの条件だけを転送することで、対応する撮影時の点広がり関数を選び出し、その結果対応する実空間でのフィルタを選択することで置き換えてもよい。この場合、対応する実空間でのフィルタの計算をあらかじめ別の装置で実施しておけば、画像復元装置の中にはフーリエ変換装置、逆フーリエ変換装置、除算回路、乗算回路が不要になり、実空間でのフィルタを選択する回路と画像を畳み込む回路だけで、画像復元が可能になる。
【産業上の利用可能性】
【００９５】
本発明の画像復元方法およびその装置は、高周波成分を減衰させることで復元後の画像で高周波成分による画像の乱れやざらつきを抑えることができるという効果を有し、特にカメラ（デジタルスチルカメラや動画のカメラ）で取得した画像（劣化画像）から高解像度の画像を復元することができ、画像復元装置等として有用である。また、デジタルカメラや動画カメラの分野で、撮影画像の解像度を向上させる画像復元方法として有用であり、更に、ラインセンサによるスキャン画像の解像度を向上させる画像復元方法としても有効である。
【図面の簡単な説明】
【００９６】
【図１】本発明の第１の実施の形態における画像復元装置のブロック構成図
【図２】本発明の第１の実施の形態における画像復元装置の動作手順を示すフローチャート
【図３】本発明の第１の実施形態における撮影時に用いた点広がり関数の一例を示す図
【図４】本発明の第１の実施形態における撮影時に用いた点広がり関数の水平方向の断面の一例を示す図
【図５】本発明の第１の実施形態における撮影時に用いた点広がり関数に対応する水平方向のＭＴＦの一例を示す図
【図６】本発明の第１の実施形態における復元時の点広がり関数の一例を示す図
【図７】本発明の第１の実施形態における復元時の点広がり関数に対応するＭＴＦの一例を示す図
【図８】本発明の第１の実施形態における復元用のフィルタ特性の一例を示す図
【図９】本発明の第２の実施の形態における画像復元装置のブロック構成図
【図１０】本発明の第２の実施の形態における画像復元装置の動作手順を示すフローチャート
【図１１】本発明の第２の実施形態における実空間での復元フィルタの一例を示す図
【図１２】本発明の第２の実施形態における実空間での復元フィルタと撮影時に用いた点広がり関数との畳み込み結果を示す図
【図１３】本発明の第３の実施の形態における画像復元装置のブロック構成図
【図１４】本発明の第３の実施の形態における画像復元装置の動作手順を示すフローチャート
【図１５】本発明の第３の実施の形態における領域拡張回路による画像範囲の拡張例を示す図
【図１６】本発明の第４の実施の形態における画像復元装置のブロック構成図
【図１７】本発明の第４の実施の形態における画像復元装置の動作手順を示すフローチャート
【図１８】本発明の第５の実施形態における画像復元装置のブロック構成図
【図１９】本発明の第５の実施形態における画像復元装置の動作手順を示すフローチャート
【図２０】従来の画像復元装置のブロック構成図
【図２１】従来の画像復元装置の動作手順を示すフローチャート
【符号の説明】
【００９７】
１００、２００、３００、４００、５００ 画像復元装置
１０１、２０１、３０１、４０１、５０１ 画像入力部
１０２、２０２、３０２、４０２、５０２、復元後の点広がり関数の入力部
１０３、２０３、３０３、４０３、５０３、撮影時の点広がり関数の入力部
１０４、１０５、１０６、２０５、２０６、３０４、３０５、３０６、４０５、４０６、５０５、５０６ フーリエ変換装置
１０７、２０７、３０７、４０７、５０７ 除算回路
１０８、３０８ 乗算回路
１０９、２０９、３０９、４０９、５０９ 逆フーリエ変換装置
１１０、２１０、３１０、４１０、５１０ 画像出力部
２１１、４１１ 畳み込み回路
３１２、４１２、５１２ 領域拡張回路
３１３、４１３、５１３ 拡張領域除去回路
５１１ 単一のＦＩＲフィルタで実装される畳み込み演算部
【特許請求の範囲】
【請求項１】
復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算した値を復元フィルタとし、前記復元対象画像のフーリエ変換に前記復元フィルタを周波数空間で乗算し、前記乗算した結果を逆フーリエ変換して得られた画像を復元画像とすることを特徴とする画像復元方法。
【請求項２】
復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算し、前記除算した値を逆フーリエ変換して得られた結果の実数部を取り出して前記実数部を実空間での復元フィルタとし、前記復元対象画像を前記復元フィルタで畳み込んで得られる画像を復元画像とすることを特徴とする画像復元方法。
【請求項３】
前記撮影時の点広がり関数から計算される実空間での前記復元フィルタを単一のＦＩＲフィルタとし、復元対象画像１方向へのスイープした時系列に対する前記ＦＩＲフィルタによる畳み込みを行うことで前記復元画像を求めると共に、画角に応じて前記点広がり関数と前記復元フィルタとを切り替えることを特徴とする請求項２に記載の画像復元方法。
【請求項４】
前記復元対象画像の上端及び下端の各々に前記撮影時の点広がり関数の行数分の画像領域を追加し、前記復元対象画像の左端及び右端の各々に前記撮影時の点広がり関数の列数分の画像領域を追加し、前記画像領域を追加した前記復元対象画像から前記復元画像を求めると共にこの復元画像から前記追加した画像領域を除去した範囲の画像を真の復元画像とすることを特徴とする請求項１乃至請求項３のいずれかに記載の画像復元方法。
【請求項５】
復元対象画像を入力する入力手段と、復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算した値を復元フィルタとし前記復元フィルタを前記復元対象画像のフーリエ変換に乗算したあと逆フーリエ変換する処理手段と、前記逆フーリエ変換して得られる画像を復元画像として出力する出力手段とを備えることを特徴とする画像復元装置。
【請求項６】
復元対象画像を入力する入力手段と、復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算した値を逆フーリエ変換して得た結果の実数部を復元フィルタとし前記復元フィルタを前記復元対象画像に畳み込み演算する処理手段と、前記畳み込み演算の結果得られた画像を復元画像として出力する出力手段とを備えることを特徴とする画像復元装置。
【請求項７】
前記撮影時の点広がり関数から計算される実空間での前記復元フィルタを単一のＦＩＲフィルタとし、復元対象画像１方向へのスイープした時系列に対する前記ＦＩＲフィルタによる畳み込みを行うことで前記復元画像を求めると共に、画角に応じて前記点広がり関数と前記復元フィルタとを切り替える手段を備えることを特徴とする請求項６に記載の画像復元装置。
【請求項８】
前記復元対象画像の上端及び下端の各々に前記撮影時の点広がり関数の行数分の画像領域を追加すると共に前記復元対象画像の左端及び右端の各々に前記撮影時の点広がり関数の列数分の画像領域を追加する領域拡張手段と、前記画像領域を追加した前記復元対象画像を前記処理手段が処理して得られた画像から前記追加した画像領域を除去して復元画像を求め前記出力手段から出力させる拡張領域除去手段とを備えることを特徴とする請求項５乃至請求項７のいずれかに記載の画像復元装置。
【請求項１】
復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算した値を復元フィルタとし、前記復元対象画像のフーリエ変換に前記復元フィルタを周波数空間で乗算し、前記乗算した結果を逆フーリエ変換して得られた画像を復元画像とすることを特徴とする画像復元方法。
【請求項２】
復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算し、前記除算した値を逆フーリエ変換して得られた結果の実数部を取り出して前記実数部を実空間での復元フィルタとし、前記復元対象画像を前記復元フィルタで畳み込んで得られる画像を復元画像とすることを特徴とする画像復元方法。
【請求項３】
前記撮影時の点広がり関数から計算される実空間での前記復元フィルタを単一のＦＩＲフィルタとし、復元対象画像１方向へのスイープした時系列に対する前記ＦＩＲフィルタによる畳み込みを行うことで前記復元画像を求めると共に、画角に応じて前記点広がり関数と前記復元フィルタとを切り替えることを特徴とする請求項２に記載の画像復元方法。
【請求項４】
前記復元対象画像の上端及び下端の各々に前記撮影時の点広がり関数の行数分の画像領域を追加し、前記復元対象画像の左端及び右端の各々に前記撮影時の点広がり関数の列数分の画像領域を追加し、前記画像領域を追加した前記復元対象画像から前記復元画像を求めると共にこの復元画像から前記追加した画像領域を除去した範囲の画像を真の復元画像とすることを特徴とする請求項１乃至請求項３のいずれかに記載の画像復元方法。
【請求項５】
復元対象画像を入力する入力手段と、復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算した値を復元フィルタとし前記復元フィルタを前記復元対象画像のフーリエ変換に乗算したあと逆フーリエ変換する処理手段と、前記逆フーリエ変換して得られる画像を復元画像として出力する出力手段とを備えることを特徴とする画像復元装置。
【請求項６】
復元対象画像を入力する入力手段と、復元後の点広がり関数のフーリエ変換を復元対象画像の撮影時の点広がり関数のフーリエ変換で除算した値を逆フーリエ変換して得た結果の実数部を復元フィルタとし前記復元フィルタを前記復元対象画像に畳み込み演算する処理手段と、前記畳み込み演算の結果得られた画像を復元画像として出力する出力手段とを備えることを特徴とする画像復元装置。
【請求項７】
前記撮影時の点広がり関数から計算される実空間での前記復元フィルタを単一のＦＩＲフィルタとし、復元対象画像１方向へのスイープした時系列に対する前記ＦＩＲフィルタによる畳み込みを行うことで前記復元画像を求めると共に、画角に応じて前記点広がり関数と前記復元フィルタとを切り替える手段を備えることを特徴とする請求項６に記載の画像復元装置。
【請求項８】
前記復元対象画像の上端及び下端の各々に前記撮影時の点広がり関数の行数分の画像領域を追加すると共に前記復元対象画像の左端及び右端の各々に前記撮影時の点広がり関数の列数分の画像領域を追加する領域拡張手段と、前記画像領域を追加した前記復元対象画像を前記処理手段が処理して得られた画像から前記追加した画像領域を除去して復元画像を求め前記出力手段から出力させる拡張領域除去手段とを備えることを特徴とする請求項５乃至請求項７のいずれかに記載の画像復元装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００６−２３８０３２（Ｐ２００６−２３８０３２Ａ）
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願番号】特願２００５−４９３８４（Ｐ２００５−４９３８４）
【出願日】平成１７年２月２４日（２００５．２．２４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成１８年９月７日（２００６．９．７）
【国際特許分類】
【出願日】平成１７年２月２４日（２００５．２．２４）
【出願人】（０００００５８２１）松下電器産業株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]