画像復元装置、画像復元方法およびプログラム
【課題】劣化した画像を適切に復元することができる画像復元装置を提供すること。
【解決手段】入力画像の画素間の画素値の変化度合を示す複雑度を算出する画像解析部と、所定の補正量を用いて入力画像を補正する画像更新部と、画像更新部によって補正された入力画像と算出された複雑度とに基づき、補正量を算出する補正量算出部とを具備することを特徴とする。
【解決手段】入力画像の画素間の画素値の変化度合を示す複雑度を算出する画像解析部と、所定の補正量を用いて入力画像を補正する画像更新部と、画像更新部によって補正された入力画像と算出された複雑度とに基づき、補正量を算出する補正量算出部とを具備することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復元装置、画像復元方法およびプログラムに関する。
【背景技術】
【０００２】
従来から、ぼやけ、動きブレ、量子化、標本化などに起因して劣化した画像から、劣化前の画像を復元する技術として、畳み込み演算による手法がある。
例えば、劣化画像に対し、ラプラシアンなどの微分演算子によってエッジを抽出し、該エッジを（必要に応じて適当なゲインや振幅制限を課した後、）劣化画像に対して加算または減算することで鮮鋭化を図るエッジ強調による手法がある。
また、ぼやけや動きブレの点拡がり関数をモデル化（または計測）し、該点拡がり関数の逆畳み込み（デコンボリューション）を実行することによって画像を復元する逆畳み込みに基づく手法がある。例えば、点拡がり関数をフーリエ変換によって伝達関数に変換し、該伝達関数の逆数の伝達関数を有するフィルタを劣化画像に対して適用することで、画像復元を行う手法がある。
【０００３】
このとき、点拡がり関数の伝達関数に零点や零に近い部分があると、その逆数は大きな絶対値をとるため雑音が過剰に強調されてしまうことがある。この雑音の強調を防ぐ方法として、雑音の周波数特性を考慮したウィーナフィルタを用いる手法がある。
しかし、例えば、劣化時に画像が再標本化されて画素数が減る場合など、劣化過程の逆問題が不良設定（条件式が未知変数よりも少なく解が不定となる状態）となる場合には、ウィーナフィルタなど逆畳み込みに基づく手法では、画像を復元することはできない。
そこで、動画像においては複数のフレームと、動き情報とを利用して拘束条件を増やし求解する複数枚超解像による手法が存在する。
【０００４】
しかし、上述のエッジ強調による手法は、画像に対して一律の基準により高周波成分を強調するものであるから、復元画像がもともとの画像に近づく保証はないという問題がある。
また、上述の逆畳み込みに基づく手法では、「高周波域が減衰するが、完全に喪失する周波数成分が少ない劣化過程」に対しては有効であるものの、再標本化のように多くの周波数成分において周波数成分が完全に失われる場合には、解が不定となり復元を行うことができないという問題がある。
【０００５】
さらに、上述の複数枚超解像による手法では、劣化過程においてナイキスト周波数を超える周波数成分が低域に折り返していることが必要で、さらに複数のフレーム間で被写体が非整数の動きを有することが必要であるという条件もある。
これらの問題を解決する方法として、画像は滑らかであるといった信号波形に対する拘束条件を導入し、該拘束条件によって劣化過程の逆問題を解けるようにする正則化に基づく復元法がある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２９９０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の正則化に基づく復元法にあっては、正則化の評価方法次第で復元結果が左右され、適切な復元ができないことがあるという問題がある。例えば、正則化項が画像の滑らかさを定量化するものであると、画像を過剰に平滑化してしまい精細感が得られない可能性があるという問題がある。また、正則化項がトータルバリエーションノルムのように比較的緩い拘束条件であると、精細感は向上するものの、本来存在しないはずのエッジが生じてしまう可能性もあるという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、その目的は、劣化した画像を適切に復元することができる画像復元装置、画像復元方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力画像の画素間の画素値の変化度合を示す複雑度を算出する画像解析部と、所定の補正量を用いて前記入力画像を補正する画像更新部と、前記画像更新部によって補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する補正量算出部とを具備することを特徴とする画像復元装置である。
【００１０】
（２）また、本発明の他の態様は、上述の画像復元装置であって、前記補正量算出部は、正則条件の項を含む損失値が減少するように前記補正量を決定し、前記正則条件は、前記複雑度が低いほど、より拘束の強い条件とすることを特徴とする。
【００１１】
（３）また、本発明の他の態様は、上述の画像復元装置であって、前記正則条件の項は、前記更新画像に関する勾配ベクトルのＬｎノルムの項であり、前記複雑度が低いほど、前記Ｌｎノルムにおける乗数の値ｎを大きくすることで、より拘束の強い条件とすることを特徴とする。
【００１２】
（４）また、本発明の他の態様は、上述のいずれかの画像復元装置であって、前記更新画像に対して、劣化を模擬した過程を施して、模擬劣化画像を生成する劣化模擬部を具備し、前記補正量算出部は、前記入力画像と前記模擬劣化画像との近似度に基づいて前記損失値を算出し、前回算出した損失値と今回算出した損失値とを比較し、該比較結果に基づき、前記補正量を決定することを特徴とする。
【００１３】
（５）また、本発明の他の態様は、上述のいずれかの画像復元装置であって、前記更新画像に対して、劣化を模擬した過程を施して、模擬劣化画像を生成する劣化模擬部を具備し、前記補正量算出部は、前記入力画像と前記模擬劣化画像との当該画素における差分と、当該画素を微小量変化させたときの正則条件の項の変化量とに基づき、当該画素の前記補正量を決定することを特徴とする。
【００１４】
（６）また、本発明の他の態様は、入力画像の画素間の画素値の変化度合を示す複雑度を算出する第１の過程と、所定の補正量を用いて前記入力画像を補正する第２の過程と、前記第２の過程にて補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する第３の過程とを有することを特徴とする画像復元方法である。
【００１５】
（７）また、本発明の他の態様は、コンピュータを、入力画像の画素間の画素値の変化度合を示す複雑度を算出する画像解析部、所定の補正量を用いて前記入力画像を補正する画像更新部、前記画像更新部によって補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する補正量算出部として機能させるためのプログラムである。
【発明の効果】
【００１６】
この発明によれば、劣化した画像を適切に復元することができる。
【図面の簡単な説明】
【００１７】
【図１】この発明の第１の実施形態による画像復元装置１００の構成を示す概略ブロック図である。
【図２】同実施形態における補正情報生成部１０２の構成を示す概略ブロック図である。
【図３】同実施形態における画像復元装置１００の動作を説明するフローチャートである。
【図４】この発明の第２の実施形態による画像復元装置１００ａの構成を示す概略ブロック図である。
【図５】同実施形態における補正情報生成部１０２ａの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１８】
［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による画像復元装置１００の構成を示す概略ブロック図である。本実施形態に係る画像復元装置１００は、すでに劣化した入力画像Ｒに対し、画像劣化過程の逆問題を正則化により解くことによって、劣化する前の高画質な画像（復元画像Ｄ）を推定し、出力する。このとき、正則化に用いる条件（本実施形態では、後述するＬｎノルム）を入力画像Ｒの画像特徴に応じて可変とすることで、復元画像Ｄの高画質化を図る。
以下では、画像Ｉの画像座標（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）のように表記する。また、入力画像Ｒ全体の領域をＵ、復元画像Ｄ全体の領域をＶと表記する。なお、本実施形態では、復元画像Ｄは、入力画像Ｒよりも解像度が高い。
【００１９】
画像復元装置１００は、復元画像Ｄを繰り返し演算による最適化によって求める。このとき、繰り返しの第ｉ回（ｉは自然数）における復元画像の途中結果を仮復元画像Ｑｉと表記する。また、繰り返し開始前に設定する仮復元画像の初期値を、初期画像Ｑ０と表記する。繰り返し演算の終端条件は、本実施形態では、所定の繰り返し回数Ｉｍａｘ回（Ｉｍａｘは自然数）に達したときの仮復元画像ＱＩｍａｘを以て復元画像Ｄとする。なお、終端条件を、後述する損失値が既定値以下となったときの仮復元画像ＱＫ（Ｋは非負の整数）を以て復元画像Ｄとするようにしてもよいし、繰り返し回数の増加に対する前記損失値の変化が既定の状態（例えば、変化分の絶対値が所定の閥値以下）になった場合の仮復元画像ＱＡを以て復元画像Ｄとするようにしてもよい。また、前記の繰り返し回数、損失値、損失値の変化の値など複数の条件の１以上の条件を満たしたときの仮復元画像ＱＬ（例えば、Ｌ＝ｍｉｎ｛Ｍ、Ｋ、Ａ｝）を以て復元画像Ｄとするようにしてもよい。
【００２０】
図１に示すように、画像復元装置１００は、画像解析部１０１、補正情報生成部１０２、画像更新部１０３、記憶部１０４、劣化模擬部１０５、初期画像生成部１０６を含んで構成される。初期画像生成部１０６は、入力画像Ｒから初期画像Ｑ０を生成し、記憶部１０４に記憶させる。初期画像生成部１０６は、例えば、入力画像Ｒを復元画像Ｄの解像度に一致するよう補間内挿したものを、初期画像Ｑ０とする。
【００２１】
記憶部１０４は、画像更新部１０３が生成した仮復元画像Ｑｉおよび初期画像生成部１０６が生成した初期画像Ｑ０を記憶する。記憶部１０４は、必要に応じて、仮復元画像を、補正情報生成部１０２、画像更新部１０３、劣化模擬部１０５に出力する。すなわち、記憶部１０４は、繰り返し演算の第i回目に、第（ｉ−１）回の仮復元画像Ｑｉ−１（以下、前ステップ仮復元画像Ｑｉ−１という。また、ｉ＝１すなわちｉ−１＝０のときにあっては、初期画像Ｑ０）を補正情報生成部１０２、劣化模擬部１０５に出力する。画像更新部１０３に対しては、後述するように、仮復元画像Ｑｊ（ｊ＝ｉ−１またはｉ−２）を出力する。
【００２２】
劣化模擬部１０５は、記憶部１０４が記憶している前ステップ仮復元画像Ｑｉ−１に対して、画像劣化のモデルを適用し、劣化画像を模擬的に生成する。劣化模擬部１０５は、こうして得た模擬的な劣化画像を模擬劣化画像Ｓｉ−１とし、補正情報生成部１０２に出力する。
画像劣化のモデルは、例えば、画像のぼやけ、画像のブレ、画像の動き、画像の解像度の変化（典型的には解像度の低下）などの、いずれであってもよい。以下では、画像のぼやけと、画像の解像度の変化とを有する画像劣化のモデルを用いて説明する。画像のぼやけは、例えば、撮像系の焦点外れなどに起因して、合焦したあるべき画像の高周波成分が低下して劣化画像となる過程を指す。例えば、画像のぼやけは、点拡がり関数Ｐの畳み込みとして表現することができる。画像の解像度の変化は、例えば、高解像度の画像から画素を間引くことで低解像度の劣化画像となる過程を指す。
ここでは、劣化模擬部１０５は、前ステップ仮復元画像Ｑｉ−１に点拡がり関数Ｐを畳み込んだのち、画素を間引いた結果を模擬劣化画像Ｓｉ−１とする。
【００２３】
画像解析部１０１は、入力画像Ｒの画像特徴を解析して、補正情報生成部１０２におけるノルム制御パラメータｐを算出する。画像解析部１０１は、例えば、入力画像Ｒに対して画像の複雑度を表す特微量ｆを求め、該特徴量ｆに応じて入力画像Ｒのノルム制御パラメータｐを算出する。複雑度を示す特微量ｆとしては、画素間の画素値の変化度合いを示す値、たとえば、式（１）に示す入力画像Ｒの卜−タルバリエーションノルムを用いる。
【００２４】
【数１】
【００２５】
特微量ｆに対するノルム制御パラメータｐ（ｆ）の算出法としては、例えば、式（２）のような値域が非負であり、特微量ｆが大きいほど値が小さくなる関数を用いる。なお、式（２）に変えて、式（３）を用いてもよい。すなわち、ノルム制御パラメータｐは、画像の複雑度を表す情報となっており、画像が複雑であるほど、その値は小さくなる。
【００２６】
【数２】
【００２７】
【数３】
【００２８】
なお、Ｆ、κ、およびμはいずれも正の実定数である。また、画像解析部１０１が、ノルム制御パラメータｐをｆの値に応じてＩＦ／ＴＨＥＮルールに基づいて決定してもよい。
【００２９】
補正情報生成部１０２（補正量算出部）は、記憶部１０４が記憶している前回ステップの更新画像Ｑｉ―１と、画像解析部１０１が算出したノルム制御パラメータｐとに基づき、今回ステップにおける補正内容を示す補正情報ｄｉを生成する。本実施形態では、補正情報生成部１０２は、前ステップ仮復元画像Ｑｉ−１、入力画像Ｒ、模擬劣化画像Ｓｉ−１、ノルム制御パラメータｐに基づき、前ステップ仮復元画像Ｑｉ−１に関する勾配ノルムのｎ乗（以降、Ｌｎノルムという）の項を正則条件として含む損失値を算出し、ステップが進むに従って該損失値が減少していくように、補正内容を決定する。Ｌｎノルムは、ｎの値が大きいほど、より強い拘束の正則条件となる。Ｌｎノルムの詳細については、後述する。また、補正情報ｄｉは、少なくとも仮復元画像を補正（更新）して、新しい更新画像を得る際の補正量を示す情報を含む。本実施形態では、補正情報ｄｉは、補正対象とする更新画像Ｑｊ（ｊ＝ｉ−１またはｉ−２）を示す情報と、補正量を示す係数とを含む。
【００３０】
画像更新部１０３は、記憶部１０４が記憶する仮復元画像を、補正情報ｄｉに従い補正して、更新画像Ｑｉを生成し、記憶部１０４に記憶させる。なお、画像更新部１０３は、繰り返し演算の終端条件を満たしているときは、更新画像Ｑｉを復元画像Ｄとして出力する。補正情報ｄｉは、例えば、補正対象の画像を、更新画像Ｑｉ−１と更新画像Ｑｉ−２とのいずれにするかを示す情報と、ランダムノイズや所定パタ−ンの摂動を、補正対象の画像に加える際に乗じる係数を示す情報とを含む。画像更新部１０３は、補正情報ｄｉにて指定された補正対象の画像に対して、予め生成していたランダムノイズあるいは所定パタ−ン（以降、Ｒｎという）に補正情報ｄｉにて指定された係数を乗じたものを加えることで、更新画像Ｑｉを生成する。例えば、補正対象の画像を、更新画像Ｑｉ−１とすることと、係数をα１とすることが補正情報ｄｉにて指定されているときは、更新画像Ｑｉ＝Ｑｉ−１＋α１×Ｒｎである。また、補正対象の画像を、更新画像Ｑｉ−２とすることと、係数をα２とすることが補正情報ｄｉにて指定されているときは、Ｑｉ＝Ｑｉ−２＋α２×Ｒｎである。
【００３１】
図２は、補正情報生成部１０２の構成を示す概略ブロック図である。図２に示すように補正情報生成部１０２は、比較部１２１、勾配ノルム算出部１２２、損失値算出部１２３、補正情報決定部１２４、損失値記憶部１２５を含んで構成される。比較部１２１は、入力画像Ｒと模擬劣化画像Ｓｉ−１との差異を求め、これらの画像の近似度を示す比較結果ｅｉとして出力する。例えば、比較部１２１は、式（４）を用いて、入力画像Ｒと模擬劣化画像Ｓｉ−１との画素ごとの差分を求め、その画像内における自乗値の総和を以て比較結果ｅｉとする。
【００３２】
【数４】
【００３３】
勾配ノルム算出部１２２は、まず、式（５）を用いて、前ステップ仮復元画像Ｑｉ−１の画素ごとの勾配ベクトルの画像である勾配画像Ｇｉを算出する。なお、勾配画像Ｇｉの画像座標（ｘ，ｙ）における画素値Ｇｉ（ｘ，ｙ）は２次元ベクトル値たる勾配ベクトルである。なお、式（５）における微分演算を、差分演算に置き換えて、式（６）を用いてもよい。
【００３４】
【数５】
【００３５】
【数６】
【００３６】
続いて、勾配ノルム算出部１２２は、勾配画像Ｇｉに対してノルム値ｃｉを求める。ここで、ノルムの種類は可変（連続的に可変であっても、離散的に可変であっても構わない）である。勾配ノルム算出部１２２は、このノルムの種類を、画像解析部１０１が生成したノルム制御パラメータｐに応じて、適応的に制御する。例えば、勾配ノルム算出部１２２は、式（７）に示すように、勾配画像Ｇｉの画素ごとに勾配ベクトルのＬｎノルム（ｎは非負の実数）（勾配ノルムのｎ乗ともいう）を求め、該Ｌｎノルムの画像全体領域Ｕにおける総和を以てノルム値ｃｉとする。このとき、式（７）におけるｎの値を、ノルム制御パラメータｐとする。すなわち、ｎ＝ｐとする。
【００３７】
【数７】
【００３８】
損失値算出部１２３は、比較部１２１で求められた比較結果ｅｉと、勾配ノルム算出部１２２で求められたノルム値ｃｉとを引数にとる損失関数θ（ｅｉ、ｃｉ）によって損失値θｉを算出する。損失値θｉを算出する損失関数θとしては、例えば、式（８）のように、ｅｉとｃｉの線形結合を用いる。なお、λは実定数であり、好ましくはλ＞０とである。
【００３９】
【数８】
【００４０】
損失値記憶部１２５は、損失値算出部１２３が算出した損失値θｉを記憶し、前回ステップの損失値θｉ−１を補正情報決定部１２４に出力する。補正情報決定部１２４は、損失値算出部１２３が算出した損失値θｉと、損失値記憶部１２５が記憶していた前回ステップの損失値θｉ−１とに基づき、画像更新部１０３における画像の補正内容を示す補正情報ｄｉを生成する。補正情報決定部１２４は、損失値θiが長期的には小さくなるよう補正内容を決定する。例えば、補正情報決定部１２４は、補正対象とする画像を、仮復元画像Ｑｉ−１と仮復元画像Ｑｉ−２とのいずれにするかを示す情報と、ランダムノイズや所定パタ−ンＲｎの摂動を、補正対象の画像に加える際に乗じる係数を示す情報とを含む補正情報ｄｉを生成する。
【００４１】
具体的には、補正情報決定部１２４は、現ステップの損失値θｉと、前ステップの損失値θｉ―１とを比較し、損失値θｉの方が小さい、すなわち損失値が減少しているときには、補正対象の画像を前ステップ仮復元値Ｑｉ−１とし、上述の係数を前ステップと同様の符号を有し、絶対値を増加させたものとする。例えば、前ステップで用いた係数に、予め設定された値α（α＞１）を乗じた値とする。
補正情報決定部１２４は、比較の結果、現ステップの損失値θｉが前ステップの損失値θｉ―１と同じか大きい、すなわち損失値が減少していないときには、補正対象の画像を前々ステップ仮復元画像Ｑｉ−２とし、上述の係数を前ステップと反転した符号を有し、絶対値を減少させたものとする。例えば、前ステップで用いた係数に、予め設定された値β（−１＜β＜０）を乗じた値とする。
【００４２】
補正情報決定部１２４は、このように補正情報ｄｉを決定するので、短期的には損失値θｉは増減するものの、長期的には減少させることができる。
なお、補正情報決定部１２４は、損失値の変化に応じて、補正対象の画像と補正量とを決定する方法として、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法など公知の方法を用いるようにしてもよい。
また、処理を効率化するため、入力画像Ｒを複数の部分領域に分解し、画像復元装置１００の各部における処理を、画像の部分領域ごとに行うようにしてもよい。また、繰り返し演算を該部分領域ごとに行い、終端条件を該部分領域ごとに判定するようにしてもよい。
【００４３】
図３は、画像復元装置１００の動作を説明するフローチャートである。まず、画像解析部１０１が、入力画像Ｒの特徴量ｆを算出する（Ｓａ１）。次に、画像解析部１０１が、該特徴量ｆに応じたノルム制御パラメータｐを算出する（Ｓａ２）。次に、初期画像生成部１０６が、入力画像Ｒから初期画像Ｑ０を生成する（Ｓａ３）。次に、繰り返し回数ｉがＩｍａｘとなるまで、ステップＳａ５からＳａ１０を繰り返す（Ｓａ４、Ｓａ１１）。
【００４４】
ステップＳａ５では、劣化模擬部１０５が更新画像Ｑｉ−１に劣化モデルを適用して、模擬劣化画像Ｓｉ−１を生成する。ステップＳａ６では、比較部１２１が、入力画像Ｒと模擬劣化画像Ｓｉ−１との比較値ｅｉを算出する。ステップＳａ７では、勾配ノルム算出部１２２が、ノルム制御パラメータｐに応じた更新画像Ｑｉ−１のＬｎノルムｃｉを算出する。ステップＳａ８では、損失値算出部１２３が、比較値ｅｉとＬｎノルムｃｉとから損失値θｉを算出する。ステップＳａ９では、補正情報決定部１２４が、損失値θｉ、θｉ−１に基づき、補正情報ｄｉを決定する。ステップＳａ１０では、画像更新部１０３が、補正情報ｄｉに従い、更新画像Ｑｉを生成する。ステップＳａ５からＳａ１０の繰り返しが終了すると、画像更新部１０３は、更新画像ＱＩｍａｘを復元画像Ｄとして出力する（Ｓａ１２）。
【００４５】
上述のように、画像解析部１０１は、入力画像Ｒの複雑度が低いほど、ノルム制御パラメータｐを大きな値とし、損失値を算出する際の正則条件として、より拘束の強い条件を用いるようにしている。拘束が強いほど、画像は強く平滑化されるので、入力画像Ｒの複雑度に応じて、適切に復元することができる。
【００４６】
また、正則条件としてＬｎノルムを用い、ｎの値を変えることで、拘束の強さを変更している。このため、拘束の強さを変更しても、乗数が変わるのみで算出処理の多くが共通したものとなっているため、専用のハードウェアにて勾配ノルム算出部１２２を実現する場合には、回路規模を抑えることができる。また、ＣＰＵなどの汎用のプロセッサと、プログラムとで勾配ノルム算出部１２２を実現する場合には、プログラムの規模を抑えることができる。
【００４７】
［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。図４は、この発明の第２の実施形態による画像復元装置１００ａの構成を示す概略ブロック図である。画像復元装置１００ａは、前ステップ仮復元画像Ｑｉ−１全体に対する損失値を評価してその最小化を行うのではなく、前ステップ仮復元画像Ｑｉ−１の各画素の画素値を摂動したときの損失値の変化量に基づいて、損失値の最小化を行う。
【００４８】
画像復元装置１００ａは、図１の画像復元装置１００とは、補正情報生成部１０２に変えて補正情報生成部１０２ａを備える点のみが異なる。その他の各部は、図１の画像復元装置１００と同様であるので、説明を省略する。補正情報生成部１０２ａ（補正量算出部）は、入力画像Ｒ、模擬劣化画像Ｓｉ−１、前ステップ仮復元画像Ｑｉ−１、ノルム制御パラメータｐに基づき、補正情報ｄｉを生成する。補正情報生成部１０２ａが、補正情報を生成する際に用いる情報は、図１の補正情報生成部１０２と同様であるが、前ステップ仮復元画像Ｑｉ−１の各画素の画素値を摂動したときの損失値の変化量に基づいて、損失値を減少させるように補正内容を決定する点が異なる。
【００４９】
図５は、補正情報生成部１０２ａの構成を示す概略ブロック図である。補正情報生成部１０２ａは、比較部１２１ａ、勾配ノルム変化量算出部１２２ａ、補正情報決定部１２４ａを含んで構成される。勾配ノルム変化量算出部１２２ａは、前ステップ仮復元画像Ｑｉ−１の各画素値Ｑｉ−１（ｘ，ｙ）を微小量△Ｑだけ増減したときの、勾配ノルム変化量（またはその近似値）△ｃｉ（ｘ，ｙ）を求める。△Ｑの値は、予め設定されており、例えば、△Ｑ＝１である。
【００５０】
例えば、勾配ノルム変化量算出部１２２ａは、注目画像座標（ｘ，ｙ）とその近傍画素N（ｘ，ｙ）（例えば、上下左右に隣接する４画素）とに基づいて、勾配ノルム変化量△ｃｉ（ｘ，ｙ）を以下の式（９）または（９’）を用いて求める。すなわち、勾配ノルム変化量は、当該画素の値を△Ｑだけ増やしたときに、当該画素近傍の勾配ノルム（第１の実施形態におけるＬｎノルム）がどのように変化するかを示す値である。
【００５１】
【数９】
【００５２】
【数１０】
【００５３】
なお、Ｎ（ｘ，ｙ）は、上述のように画像座標（ｘ，ｙ）の画素の近傍画素位置の集合である。例えば４近傍画素の場合は、式（１０）で示される画素の集合であり、８近傍画素であれば、式（１１）で示される画素の集合である。
【００５４】
【数１１】
【００５５】
【数１２】
【００５６】
また、式（９）または（９’）の代わりに，注目画素（ｘ，ｙ）と近傍画素（ξ，η）の位置関係を考慮した重みづけｗ（ξ，η； ｘ，ｙ）を適用した式（１２）または（１２’）により算出した値を、勾配ノルム変化量△ｃｉ（ｘ，ｙ）としてもよい。
【００５７】
【数１３】
【００５８】
【数１４】
【００５９】
重みづけｗ（ξ，η；ｘ，ｙ）は、例えば、注目画素（ｘ，ｙ）と近傍画素（ξ，η）との距離（ノルムは任意，例えばＬ２ノルム）に応じて設定する。例えば、距離ｄに対するスカラー関数ψ（ｄ）により，重みづけｗ（ξ，η；ｘ，ｙ）を式（１３）のようにして算出する。なお、関数ψ（ｄ）には距離ｄに対して増加しないものを用いる。例えば、関数ψ（ｄ）を、式（１４）とする。
【００６０】
【数１５】
【００６１】
【数１６】
【００６２】
なお、式（９）、（９’）、（１２）および（１２’）において、ｎは非負の実数値とし、第１の実施形態と同様に、画像解析部１０１が出力したノルム制御パラメータｐである。なお、００＝０と定義する（ｎ＝０の場合の例外値の定義）。
【００６３】
比較部１２１ａは、入力画像Ｒと模擬劣化画像Ｓｉ−１との差異を画素ごとに求め、比較結果画像Ｅｉとして出力する。例えば、比較部１２１ａは、式（１５）を用いて、模擬劣化画像Ｓｉ−１と劣化画像Ｒとの画素ごとの差分値を算出し、これを比較結果画像Ｅｉの画素値とする。
【００６４】
【数１７】
【００６５】
補正情報決定部１２４ａは、勾配ノルム変化量Δｃｉと比較結果画像Ｅｉとに基づいて、式（１６）を用いて画素ごとの画素値補正量を求め、その結果である補正量画像Ｈｉを、補正情報ｄｉとして出力する。このように補正量を決定しているので、本実施形態における正則条件も、第１の実施形態と同様にＬｎノルムとなっている。また、模擬劣化画像と劣化画像の画素値の差の項と、Ｌｎノルムの項とを含む損失値が、繰り返し演算により減少するように、補正量を決定している。本実施形態では、画像更新部１０３における補正対象の画像は、常に前ステップ仮復元画像Ｑｉ−１であるので、補正情報ｄｉには、補正対象の画像を示す情報を含んでいなくてもよい。
【００６６】
【数１８】
【００６７】
ここでλは、式（８）におけるλと同様の実定数で、好ましくはλ＞０である。また、Ｊ[ｘ]は、入力画像Ｒの解像度から復元画像Ｄの解像度への解像度変換を行う汎関数である。本実施形態では、入力画像Ｒよりも、復元画像Ｄの方が解像度が高いので、汎関数Ｊ[ｘ]は、例えば補間内挿により解像度変換（アップサンプリング）を行う。なお、入力画像Ｒの解像度を水平ＸＲ画素、垂直ＹＲ画素とし、復元画像の解像度を水平ＸＱ画素、垂直ＹＱ画素として、例えば、汎関数Ｊ［ｘ］を、式（１７）の最近傍補間としてもよい。そのほか、汎関数Ｊに双１次補間や双３次補間を用いてもよいし、フィルタの畳み込みと標本化からなる補間手法を用いてもよい。
【００６８】
【数１９】
【００６９】
なお、画像更新部１０３は、図１における画像更新部１０３と同様に補正情報ｄｉに従い、仮復元画像Ｑｉを生成するが、上述のように補正情報ｄｉは、補正量画像Ｈｉである。例えば、画像更新部１０３は、式（１８）を用いて、仮復元画像Ｑｉを生成する。
【００７０】
【数２０】
【００７１】
なお、γは正の実数とする。γは定数であっても、繰り返し演算のステップ数などに応じた変数であってもよい。γの値が大きいほど１ステップあたりの補正量が大きくなるため初期段階での収束速度が向上するが、収束時に振動的になることがある。一方、γの値が小さいと、収束速度は低下するが、収束時の安定性は向上する。そこで、繰り返し演算の初期には大きなγを設定し、ステップ数が増えるにつれてγを減少させるようにしてもよい。
【００７２】
本実施形態では、繰り返し演算の終端条件としては、例えば、補正量画像Ｈｉの全画素の絶対値の合計が予め設定された閾値以下になったときとしてもよい。あるいは、該合計の前ステップからの変化量が予め設定された閾値以下になったときとしてもよいし、繰り返し回数が最大値に達したときとしてもよい。
【００７３】
本実施形態においても、第１の実施形態と同様に、画像解析部１０１は、入力画像Ｒの複雑度が低いほど、ノルム制御パラメータｐを大きな値とし、正則条件として、より拘束の強い条件を用いるようにしている。拘束が強いほど、画像は強く平滑化されるので、入力画像Ｒの複雑度に応じた、適切な復元処理をすることができる。
【００７４】
また、勾配ノルム変化量算出部１２２ａにおいても、ｎの値を変えることで、拘束の強さを変更している。このため、拘束の強さを変更しても、乗数が変わるのみで算出処理の多くが共通したものとなっているため、専用のハードウェアにて勾配ノルム変化量算出部１２２ａを実現する場合には、回路規模を抑えることができる。また、ＣＰＵなどの汎用のプロセッサと、プログラムとで勾配ノルム変化量算出部１２２ａを実現する場合には、プログラムの規模を抑えることができる。
また、補正情報決定部１２４ａは、画素値を摂動したときの損失値の変化量に基づいて、損失値が減少するように補正量を決定しているので、第１の実施形態に比べて、繰り返し演算を早く収束させることができる。
【００７５】
また、図１における各部および図４における各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部を実現してもよいし、半導体チップによるプロセッサなどの専用のハードウェアにより実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００７６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００７７】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００７８】
１００、１００ａ・・・画像復元装置
１０１…画像解析部
１０２、１０２ａ…補正情報生成部
１０３…画像更新部
１０４…記憶部
１０５…劣化模擬部
１０６…初期画像生成部
１２１、１２１ａ…比較部
１２２…勾配ノルム算出部
１２２ａ…勾配ノルム変化量算出部
１２３…損失値算出部
１２４、１２４ａ…補正情報決定部
１２５…損失値記憶部
【技術分野】
【０００１】
本発明は、画像復元装置、画像復元方法およびプログラムに関する。
【背景技術】
【０００２】
従来から、ぼやけ、動きブレ、量子化、標本化などに起因して劣化した画像から、劣化前の画像を復元する技術として、畳み込み演算による手法がある。
例えば、劣化画像に対し、ラプラシアンなどの微分演算子によってエッジを抽出し、該エッジを（必要に応じて適当なゲインや振幅制限を課した後、）劣化画像に対して加算または減算することで鮮鋭化を図るエッジ強調による手法がある。
また、ぼやけや動きブレの点拡がり関数をモデル化（または計測）し、該点拡がり関数の逆畳み込み（デコンボリューション）を実行することによって画像を復元する逆畳み込みに基づく手法がある。例えば、点拡がり関数をフーリエ変換によって伝達関数に変換し、該伝達関数の逆数の伝達関数を有するフィルタを劣化画像に対して適用することで、画像復元を行う手法がある。
【０００３】
このとき、点拡がり関数の伝達関数に零点や零に近い部分があると、その逆数は大きな絶対値をとるため雑音が過剰に強調されてしまうことがある。この雑音の強調を防ぐ方法として、雑音の周波数特性を考慮したウィーナフィルタを用いる手法がある。
しかし、例えば、劣化時に画像が再標本化されて画素数が減る場合など、劣化過程の逆問題が不良設定（条件式が未知変数よりも少なく解が不定となる状態）となる場合には、ウィーナフィルタなど逆畳み込みに基づく手法では、画像を復元することはできない。
そこで、動画像においては複数のフレームと、動き情報とを利用して拘束条件を増やし求解する複数枚超解像による手法が存在する。
【０００４】
しかし、上述のエッジ強調による手法は、画像に対して一律の基準により高周波成分を強調するものであるから、復元画像がもともとの画像に近づく保証はないという問題がある。
また、上述の逆畳み込みに基づく手法では、「高周波域が減衰するが、完全に喪失する周波数成分が少ない劣化過程」に対しては有効であるものの、再標本化のように多くの周波数成分において周波数成分が完全に失われる場合には、解が不定となり復元を行うことができないという問題がある。
【０００５】
さらに、上述の複数枚超解像による手法では、劣化過程においてナイキスト周波数を超える周波数成分が低域に折り返していることが必要で、さらに複数のフレーム間で被写体が非整数の動きを有することが必要であるという条件もある。
これらの問題を解決する方法として、画像は滑らかであるといった信号波形に対する拘束条件を導入し、該拘束条件によって劣化過程の逆問題を解けるようにする正則化に基づく復元法がある（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−２９９０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の正則化に基づく復元法にあっては、正則化の評価方法次第で復元結果が左右され、適切な復元ができないことがあるという問題がある。例えば、正則化項が画像の滑らかさを定量化するものであると、画像を過剰に平滑化してしまい精細感が得られない可能性があるという問題がある。また、正則化項がトータルバリエーションノルムのように比較的緩い拘束条件であると、精細感は向上するものの、本来存在しないはずのエッジが生じてしまう可能性もあるという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、その目的は、劣化した画像を適切に復元することができる画像復元装置、画像復元方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様は、入力画像の画素間の画素値の変化度合を示す複雑度を算出する画像解析部と、所定の補正量を用いて前記入力画像を補正する画像更新部と、前記画像更新部によって補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する補正量算出部とを具備することを特徴とする画像復元装置である。
【００１０】
（２）また、本発明の他の態様は、上述の画像復元装置であって、前記補正量算出部は、正則条件の項を含む損失値が減少するように前記補正量を決定し、前記正則条件は、前記複雑度が低いほど、より拘束の強い条件とすることを特徴とする。
【００１１】
（３）また、本発明の他の態様は、上述の画像復元装置であって、前記正則条件の項は、前記更新画像に関する勾配ベクトルのＬｎノルムの項であり、前記複雑度が低いほど、前記Ｌｎノルムにおける乗数の値ｎを大きくすることで、より拘束の強い条件とすることを特徴とする。
【００１２】
（４）また、本発明の他の態様は、上述のいずれかの画像復元装置であって、前記更新画像に対して、劣化を模擬した過程を施して、模擬劣化画像を生成する劣化模擬部を具備し、前記補正量算出部は、前記入力画像と前記模擬劣化画像との近似度に基づいて前記損失値を算出し、前回算出した損失値と今回算出した損失値とを比較し、該比較結果に基づき、前記補正量を決定することを特徴とする。
【００１３】
（５）また、本発明の他の態様は、上述のいずれかの画像復元装置であって、前記更新画像に対して、劣化を模擬した過程を施して、模擬劣化画像を生成する劣化模擬部を具備し、前記補正量算出部は、前記入力画像と前記模擬劣化画像との当該画素における差分と、当該画素を微小量変化させたときの正則条件の項の変化量とに基づき、当該画素の前記補正量を決定することを特徴とする。
【００１４】
（６）また、本発明の他の態様は、入力画像の画素間の画素値の変化度合を示す複雑度を算出する第１の過程と、所定の補正量を用いて前記入力画像を補正する第２の過程と、前記第２の過程にて補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する第３の過程とを有することを特徴とする画像復元方法である。
【００１５】
（７）また、本発明の他の態様は、コンピュータを、入力画像の画素間の画素値の変化度合を示す複雑度を算出する画像解析部、所定の補正量を用いて前記入力画像を補正する画像更新部、前記画像更新部によって補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する補正量算出部として機能させるためのプログラムである。
【発明の効果】
【００１６】
この発明によれば、劣化した画像を適切に復元することができる。
【図面の簡単な説明】
【００１７】
【図１】この発明の第１の実施形態による画像復元装置１００の構成を示す概略ブロック図である。
【図２】同実施形態における補正情報生成部１０２の構成を示す概略ブロック図である。
【図３】同実施形態における画像復元装置１００の動作を説明するフローチャートである。
【図４】この発明の第２の実施形態による画像復元装置１００ａの構成を示す概略ブロック図である。
【図５】同実施形態における補正情報生成部１０２ａの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１８】
［第１の実施形態］
以下、図面を参照して、本発明の第１の実施形態について説明する。図１は、この発明の第１の実施形態による画像復元装置１００の構成を示す概略ブロック図である。本実施形態に係る画像復元装置１００は、すでに劣化した入力画像Ｒに対し、画像劣化過程の逆問題を正則化により解くことによって、劣化する前の高画質な画像（復元画像Ｄ）を推定し、出力する。このとき、正則化に用いる条件（本実施形態では、後述するＬｎノルム）を入力画像Ｒの画像特徴に応じて可変とすることで、復元画像Ｄの高画質化を図る。
以下では、画像Ｉの画像座標（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）のように表記する。また、入力画像Ｒ全体の領域をＵ、復元画像Ｄ全体の領域をＶと表記する。なお、本実施形態では、復元画像Ｄは、入力画像Ｒよりも解像度が高い。
【００１９】
画像復元装置１００は、復元画像Ｄを繰り返し演算による最適化によって求める。このとき、繰り返しの第ｉ回（ｉは自然数）における復元画像の途中結果を仮復元画像Ｑｉと表記する。また、繰り返し開始前に設定する仮復元画像の初期値を、初期画像Ｑ０と表記する。繰り返し演算の終端条件は、本実施形態では、所定の繰り返し回数Ｉｍａｘ回（Ｉｍａｘは自然数）に達したときの仮復元画像ＱＩｍａｘを以て復元画像Ｄとする。なお、終端条件を、後述する損失値が既定値以下となったときの仮復元画像ＱＫ（Ｋは非負の整数）を以て復元画像Ｄとするようにしてもよいし、繰り返し回数の増加に対する前記損失値の変化が既定の状態（例えば、変化分の絶対値が所定の閥値以下）になった場合の仮復元画像ＱＡを以て復元画像Ｄとするようにしてもよい。また、前記の繰り返し回数、損失値、損失値の変化の値など複数の条件の１以上の条件を満たしたときの仮復元画像ＱＬ（例えば、Ｌ＝ｍｉｎ｛Ｍ、Ｋ、Ａ｝）を以て復元画像Ｄとするようにしてもよい。
【００２０】
図１に示すように、画像復元装置１００は、画像解析部１０１、補正情報生成部１０２、画像更新部１０３、記憶部１０４、劣化模擬部１０５、初期画像生成部１０６を含んで構成される。初期画像生成部１０６は、入力画像Ｒから初期画像Ｑ０を生成し、記憶部１０４に記憶させる。初期画像生成部１０６は、例えば、入力画像Ｒを復元画像Ｄの解像度に一致するよう補間内挿したものを、初期画像Ｑ０とする。
【００２１】
記憶部１０４は、画像更新部１０３が生成した仮復元画像Ｑｉおよび初期画像生成部１０６が生成した初期画像Ｑ０を記憶する。記憶部１０４は、必要に応じて、仮復元画像を、補正情報生成部１０２、画像更新部１０３、劣化模擬部１０５に出力する。すなわち、記憶部１０４は、繰り返し演算の第i回目に、第（ｉ−１）回の仮復元画像Ｑｉ−１（以下、前ステップ仮復元画像Ｑｉ−１という。また、ｉ＝１すなわちｉ−１＝０のときにあっては、初期画像Ｑ０）を補正情報生成部１０２、劣化模擬部１０５に出力する。画像更新部１０３に対しては、後述するように、仮復元画像Ｑｊ（ｊ＝ｉ−１またはｉ−２）を出力する。
【００２２】
劣化模擬部１０５は、記憶部１０４が記憶している前ステップ仮復元画像Ｑｉ−１に対して、画像劣化のモデルを適用し、劣化画像を模擬的に生成する。劣化模擬部１０５は、こうして得た模擬的な劣化画像を模擬劣化画像Ｓｉ−１とし、補正情報生成部１０２に出力する。
画像劣化のモデルは、例えば、画像のぼやけ、画像のブレ、画像の動き、画像の解像度の変化（典型的には解像度の低下）などの、いずれであってもよい。以下では、画像のぼやけと、画像の解像度の変化とを有する画像劣化のモデルを用いて説明する。画像のぼやけは、例えば、撮像系の焦点外れなどに起因して、合焦したあるべき画像の高周波成分が低下して劣化画像となる過程を指す。例えば、画像のぼやけは、点拡がり関数Ｐの畳み込みとして表現することができる。画像の解像度の変化は、例えば、高解像度の画像から画素を間引くことで低解像度の劣化画像となる過程を指す。
ここでは、劣化模擬部１０５は、前ステップ仮復元画像Ｑｉ−１に点拡がり関数Ｐを畳み込んだのち、画素を間引いた結果を模擬劣化画像Ｓｉ−１とする。
【００２３】
画像解析部１０１は、入力画像Ｒの画像特徴を解析して、補正情報生成部１０２におけるノルム制御パラメータｐを算出する。画像解析部１０１は、例えば、入力画像Ｒに対して画像の複雑度を表す特微量ｆを求め、該特徴量ｆに応じて入力画像Ｒのノルム制御パラメータｐを算出する。複雑度を示す特微量ｆとしては、画素間の画素値の変化度合いを示す値、たとえば、式（１）に示す入力画像Ｒの卜−タルバリエーションノルムを用いる。
【００２４】
【数１】
【００２５】
特微量ｆに対するノルム制御パラメータｐ（ｆ）の算出法としては、例えば、式（２）のような値域が非負であり、特微量ｆが大きいほど値が小さくなる関数を用いる。なお、式（２）に変えて、式（３）を用いてもよい。すなわち、ノルム制御パラメータｐは、画像の複雑度を表す情報となっており、画像が複雑であるほど、その値は小さくなる。
【００２６】
【数２】
【００２７】
【数３】
【００２８】
なお、Ｆ、κ、およびμはいずれも正の実定数である。また、画像解析部１０１が、ノルム制御パラメータｐをｆの値に応じてＩＦ／ＴＨＥＮルールに基づいて決定してもよい。
【００２９】
補正情報生成部１０２（補正量算出部）は、記憶部１０４が記憶している前回ステップの更新画像Ｑｉ―１と、画像解析部１０１が算出したノルム制御パラメータｐとに基づき、今回ステップにおける補正内容を示す補正情報ｄｉを生成する。本実施形態では、補正情報生成部１０２は、前ステップ仮復元画像Ｑｉ−１、入力画像Ｒ、模擬劣化画像Ｓｉ−１、ノルム制御パラメータｐに基づき、前ステップ仮復元画像Ｑｉ−１に関する勾配ノルムのｎ乗（以降、Ｌｎノルムという）の項を正則条件として含む損失値を算出し、ステップが進むに従って該損失値が減少していくように、補正内容を決定する。Ｌｎノルムは、ｎの値が大きいほど、より強い拘束の正則条件となる。Ｌｎノルムの詳細については、後述する。また、補正情報ｄｉは、少なくとも仮復元画像を補正（更新）して、新しい更新画像を得る際の補正量を示す情報を含む。本実施形態では、補正情報ｄｉは、補正対象とする更新画像Ｑｊ（ｊ＝ｉ−１またはｉ−２）を示す情報と、補正量を示す係数とを含む。
【００３０】
画像更新部１０３は、記憶部１０４が記憶する仮復元画像を、補正情報ｄｉに従い補正して、更新画像Ｑｉを生成し、記憶部１０４に記憶させる。なお、画像更新部１０３は、繰り返し演算の終端条件を満たしているときは、更新画像Ｑｉを復元画像Ｄとして出力する。補正情報ｄｉは、例えば、補正対象の画像を、更新画像Ｑｉ−１と更新画像Ｑｉ−２とのいずれにするかを示す情報と、ランダムノイズや所定パタ−ンの摂動を、補正対象の画像に加える際に乗じる係数を示す情報とを含む。画像更新部１０３は、補正情報ｄｉにて指定された補正対象の画像に対して、予め生成していたランダムノイズあるいは所定パタ−ン（以降、Ｒｎという）に補正情報ｄｉにて指定された係数を乗じたものを加えることで、更新画像Ｑｉを生成する。例えば、補正対象の画像を、更新画像Ｑｉ−１とすることと、係数をα１とすることが補正情報ｄｉにて指定されているときは、更新画像Ｑｉ＝Ｑｉ−１＋α１×Ｒｎである。また、補正対象の画像を、更新画像Ｑｉ−２とすることと、係数をα２とすることが補正情報ｄｉにて指定されているときは、Ｑｉ＝Ｑｉ−２＋α２×Ｒｎである。
【００３１】
図２は、補正情報生成部１０２の構成を示す概略ブロック図である。図２に示すように補正情報生成部１０２は、比較部１２１、勾配ノルム算出部１２２、損失値算出部１２３、補正情報決定部１２４、損失値記憶部１２５を含んで構成される。比較部１２１は、入力画像Ｒと模擬劣化画像Ｓｉ−１との差異を求め、これらの画像の近似度を示す比較結果ｅｉとして出力する。例えば、比較部１２１は、式（４）を用いて、入力画像Ｒと模擬劣化画像Ｓｉ−１との画素ごとの差分を求め、その画像内における自乗値の総和を以て比較結果ｅｉとする。
【００３２】
【数４】
【００３３】
勾配ノルム算出部１２２は、まず、式（５）を用いて、前ステップ仮復元画像Ｑｉ−１の画素ごとの勾配ベクトルの画像である勾配画像Ｇｉを算出する。なお、勾配画像Ｇｉの画像座標（ｘ，ｙ）における画素値Ｇｉ（ｘ，ｙ）は２次元ベクトル値たる勾配ベクトルである。なお、式（５）における微分演算を、差分演算に置き換えて、式（６）を用いてもよい。
【００３４】
【数５】
【００３５】
【数６】
【００３６】
続いて、勾配ノルム算出部１２２は、勾配画像Ｇｉに対してノルム値ｃｉを求める。ここで、ノルムの種類は可変（連続的に可変であっても、離散的に可変であっても構わない）である。勾配ノルム算出部１２２は、このノルムの種類を、画像解析部１０１が生成したノルム制御パラメータｐに応じて、適応的に制御する。例えば、勾配ノルム算出部１２２は、式（７）に示すように、勾配画像Ｇｉの画素ごとに勾配ベクトルのＬｎノルム（ｎは非負の実数）（勾配ノルムのｎ乗ともいう）を求め、該Ｌｎノルムの画像全体領域Ｕにおける総和を以てノルム値ｃｉとする。このとき、式（７）におけるｎの値を、ノルム制御パラメータｐとする。すなわち、ｎ＝ｐとする。
【００３７】
【数７】
【００３８】
損失値算出部１２３は、比較部１２１で求められた比較結果ｅｉと、勾配ノルム算出部１２２で求められたノルム値ｃｉとを引数にとる損失関数θ（ｅｉ、ｃｉ）によって損失値θｉを算出する。損失値θｉを算出する損失関数θとしては、例えば、式（８）のように、ｅｉとｃｉの線形結合を用いる。なお、λは実定数であり、好ましくはλ＞０とである。
【００３９】
【数８】
【００４０】
損失値記憶部１２５は、損失値算出部１２３が算出した損失値θｉを記憶し、前回ステップの損失値θｉ−１を補正情報決定部１２４に出力する。補正情報決定部１２４は、損失値算出部１２３が算出した損失値θｉと、損失値記憶部１２５が記憶していた前回ステップの損失値θｉ−１とに基づき、画像更新部１０３における画像の補正内容を示す補正情報ｄｉを生成する。補正情報決定部１２４は、損失値θiが長期的には小さくなるよう補正内容を決定する。例えば、補正情報決定部１２４は、補正対象とする画像を、仮復元画像Ｑｉ−１と仮復元画像Ｑｉ−２とのいずれにするかを示す情報と、ランダムノイズや所定パタ−ンＲｎの摂動を、補正対象の画像に加える際に乗じる係数を示す情報とを含む補正情報ｄｉを生成する。
【００４１】
具体的には、補正情報決定部１２４は、現ステップの損失値θｉと、前ステップの損失値θｉ―１とを比較し、損失値θｉの方が小さい、すなわち損失値が減少しているときには、補正対象の画像を前ステップ仮復元値Ｑｉ−１とし、上述の係数を前ステップと同様の符号を有し、絶対値を増加させたものとする。例えば、前ステップで用いた係数に、予め設定された値α（α＞１）を乗じた値とする。
補正情報決定部１２４は、比較の結果、現ステップの損失値θｉが前ステップの損失値θｉ―１と同じか大きい、すなわち損失値が減少していないときには、補正対象の画像を前々ステップ仮復元画像Ｑｉ−２とし、上述の係数を前ステップと反転した符号を有し、絶対値を減少させたものとする。例えば、前ステップで用いた係数に、予め設定された値β（−１＜β＜０）を乗じた値とする。
【００４２】
補正情報決定部１２４は、このように補正情報ｄｉを決定するので、短期的には損失値θｉは増減するものの、長期的には減少させることができる。
なお、補正情報決定部１２４は、損失値の変化に応じて、補正対象の画像と補正量とを決定する方法として、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法など公知の方法を用いるようにしてもよい。
また、処理を効率化するため、入力画像Ｒを複数の部分領域に分解し、画像復元装置１００の各部における処理を、画像の部分領域ごとに行うようにしてもよい。また、繰り返し演算を該部分領域ごとに行い、終端条件を該部分領域ごとに判定するようにしてもよい。
【００４３】
図３は、画像復元装置１００の動作を説明するフローチャートである。まず、画像解析部１０１が、入力画像Ｒの特徴量ｆを算出する（Ｓａ１）。次に、画像解析部１０１が、該特徴量ｆに応じたノルム制御パラメータｐを算出する（Ｓａ２）。次に、初期画像生成部１０６が、入力画像Ｒから初期画像Ｑ０を生成する（Ｓａ３）。次に、繰り返し回数ｉがＩｍａｘとなるまで、ステップＳａ５からＳａ１０を繰り返す（Ｓａ４、Ｓａ１１）。
【００４４】
ステップＳａ５では、劣化模擬部１０５が更新画像Ｑｉ−１に劣化モデルを適用して、模擬劣化画像Ｓｉ−１を生成する。ステップＳａ６では、比較部１２１が、入力画像Ｒと模擬劣化画像Ｓｉ−１との比較値ｅｉを算出する。ステップＳａ７では、勾配ノルム算出部１２２が、ノルム制御パラメータｐに応じた更新画像Ｑｉ−１のＬｎノルムｃｉを算出する。ステップＳａ８では、損失値算出部１２３が、比較値ｅｉとＬｎノルムｃｉとから損失値θｉを算出する。ステップＳａ９では、補正情報決定部１２４が、損失値θｉ、θｉ−１に基づき、補正情報ｄｉを決定する。ステップＳａ１０では、画像更新部１０３が、補正情報ｄｉに従い、更新画像Ｑｉを生成する。ステップＳａ５からＳａ１０の繰り返しが終了すると、画像更新部１０３は、更新画像ＱＩｍａｘを復元画像Ｄとして出力する（Ｓａ１２）。
【００４５】
上述のように、画像解析部１０１は、入力画像Ｒの複雑度が低いほど、ノルム制御パラメータｐを大きな値とし、損失値を算出する際の正則条件として、より拘束の強い条件を用いるようにしている。拘束が強いほど、画像は強く平滑化されるので、入力画像Ｒの複雑度に応じて、適切に復元することができる。
【００４６】
また、正則条件としてＬｎノルムを用い、ｎの値を変えることで、拘束の強さを変更している。このため、拘束の強さを変更しても、乗数が変わるのみで算出処理の多くが共通したものとなっているため、専用のハードウェアにて勾配ノルム算出部１２２を実現する場合には、回路規模を抑えることができる。また、ＣＰＵなどの汎用のプロセッサと、プログラムとで勾配ノルム算出部１２２を実現する場合には、プログラムの規模を抑えることができる。
【００４７】
［第２の実施形態］
以下、図面を参照して、本発明の第２の実施形態について説明する。図４は、この発明の第２の実施形態による画像復元装置１００ａの構成を示す概略ブロック図である。画像復元装置１００ａは、前ステップ仮復元画像Ｑｉ−１全体に対する損失値を評価してその最小化を行うのではなく、前ステップ仮復元画像Ｑｉ−１の各画素の画素値を摂動したときの損失値の変化量に基づいて、損失値の最小化を行う。
【００４８】
画像復元装置１００ａは、図１の画像復元装置１００とは、補正情報生成部１０２に変えて補正情報生成部１０２ａを備える点のみが異なる。その他の各部は、図１の画像復元装置１００と同様であるので、説明を省略する。補正情報生成部１０２ａ（補正量算出部）は、入力画像Ｒ、模擬劣化画像Ｓｉ−１、前ステップ仮復元画像Ｑｉ−１、ノルム制御パラメータｐに基づき、補正情報ｄｉを生成する。補正情報生成部１０２ａが、補正情報を生成する際に用いる情報は、図１の補正情報生成部１０２と同様であるが、前ステップ仮復元画像Ｑｉ−１の各画素の画素値を摂動したときの損失値の変化量に基づいて、損失値を減少させるように補正内容を決定する点が異なる。
【００４９】
図５は、補正情報生成部１０２ａの構成を示す概略ブロック図である。補正情報生成部１０２ａは、比較部１２１ａ、勾配ノルム変化量算出部１２２ａ、補正情報決定部１２４ａを含んで構成される。勾配ノルム変化量算出部１２２ａは、前ステップ仮復元画像Ｑｉ−１の各画素値Ｑｉ−１（ｘ，ｙ）を微小量△Ｑだけ増減したときの、勾配ノルム変化量（またはその近似値）△ｃｉ（ｘ，ｙ）を求める。△Ｑの値は、予め設定されており、例えば、△Ｑ＝１である。
【００５０】
例えば、勾配ノルム変化量算出部１２２ａは、注目画像座標（ｘ，ｙ）とその近傍画素N（ｘ，ｙ）（例えば、上下左右に隣接する４画素）とに基づいて、勾配ノルム変化量△ｃｉ（ｘ，ｙ）を以下の式（９）または（９’）を用いて求める。すなわち、勾配ノルム変化量は、当該画素の値を△Ｑだけ増やしたときに、当該画素近傍の勾配ノルム（第１の実施形態におけるＬｎノルム）がどのように変化するかを示す値である。
【００５１】
【数９】
【００５２】
【数１０】
【００５３】
なお、Ｎ（ｘ，ｙ）は、上述のように画像座標（ｘ，ｙ）の画素の近傍画素位置の集合である。例えば４近傍画素の場合は、式（１０）で示される画素の集合であり、８近傍画素であれば、式（１１）で示される画素の集合である。
【００５４】
【数１１】
【００５５】
【数１２】
【００５６】
また、式（９）または（９’）の代わりに，注目画素（ｘ，ｙ）と近傍画素（ξ，η）の位置関係を考慮した重みづけｗ（ξ，η； ｘ，ｙ）を適用した式（１２）または（１２’）により算出した値を、勾配ノルム変化量△ｃｉ（ｘ，ｙ）としてもよい。
【００５７】
【数１３】
【００５８】
【数１４】
【００５９】
重みづけｗ（ξ，η；ｘ，ｙ）は、例えば、注目画素（ｘ，ｙ）と近傍画素（ξ，η）との距離（ノルムは任意，例えばＬ２ノルム）に応じて設定する。例えば、距離ｄに対するスカラー関数ψ（ｄ）により，重みづけｗ（ξ，η；ｘ，ｙ）を式（１３）のようにして算出する。なお、関数ψ（ｄ）には距離ｄに対して増加しないものを用いる。例えば、関数ψ（ｄ）を、式（１４）とする。
【００６０】
【数１５】
【００６１】
【数１６】
【００６２】
なお、式（９）、（９’）、（１２）および（１２’）において、ｎは非負の実数値とし、第１の実施形態と同様に、画像解析部１０１が出力したノルム制御パラメータｐである。なお、００＝０と定義する（ｎ＝０の場合の例外値の定義）。
【００６３】
比較部１２１ａは、入力画像Ｒと模擬劣化画像Ｓｉ−１との差異を画素ごとに求め、比較結果画像Ｅｉとして出力する。例えば、比較部１２１ａは、式（１５）を用いて、模擬劣化画像Ｓｉ−１と劣化画像Ｒとの画素ごとの差分値を算出し、これを比較結果画像Ｅｉの画素値とする。
【００６４】
【数１７】
【００６５】
補正情報決定部１２４ａは、勾配ノルム変化量Δｃｉと比較結果画像Ｅｉとに基づいて、式（１６）を用いて画素ごとの画素値補正量を求め、その結果である補正量画像Ｈｉを、補正情報ｄｉとして出力する。このように補正量を決定しているので、本実施形態における正則条件も、第１の実施形態と同様にＬｎノルムとなっている。また、模擬劣化画像と劣化画像の画素値の差の項と、Ｌｎノルムの項とを含む損失値が、繰り返し演算により減少するように、補正量を決定している。本実施形態では、画像更新部１０３における補正対象の画像は、常に前ステップ仮復元画像Ｑｉ−１であるので、補正情報ｄｉには、補正対象の画像を示す情報を含んでいなくてもよい。
【００６６】
【数１８】
【００６７】
ここでλは、式（８）におけるλと同様の実定数で、好ましくはλ＞０である。また、Ｊ[ｘ]は、入力画像Ｒの解像度から復元画像Ｄの解像度への解像度変換を行う汎関数である。本実施形態では、入力画像Ｒよりも、復元画像Ｄの方が解像度が高いので、汎関数Ｊ[ｘ]は、例えば補間内挿により解像度変換（アップサンプリング）を行う。なお、入力画像Ｒの解像度を水平ＸＲ画素、垂直ＹＲ画素とし、復元画像の解像度を水平ＸＱ画素、垂直ＹＱ画素として、例えば、汎関数Ｊ［ｘ］を、式（１７）の最近傍補間としてもよい。そのほか、汎関数Ｊに双１次補間や双３次補間を用いてもよいし、フィルタの畳み込みと標本化からなる補間手法を用いてもよい。
【００６８】
【数１９】
【００６９】
なお、画像更新部１０３は、図１における画像更新部１０３と同様に補正情報ｄｉに従い、仮復元画像Ｑｉを生成するが、上述のように補正情報ｄｉは、補正量画像Ｈｉである。例えば、画像更新部１０３は、式（１８）を用いて、仮復元画像Ｑｉを生成する。
【００７０】
【数２０】
【００７１】
なお、γは正の実数とする。γは定数であっても、繰り返し演算のステップ数などに応じた変数であってもよい。γの値が大きいほど１ステップあたりの補正量が大きくなるため初期段階での収束速度が向上するが、収束時に振動的になることがある。一方、γの値が小さいと、収束速度は低下するが、収束時の安定性は向上する。そこで、繰り返し演算の初期には大きなγを設定し、ステップ数が増えるにつれてγを減少させるようにしてもよい。
【００７２】
本実施形態では、繰り返し演算の終端条件としては、例えば、補正量画像Ｈｉの全画素の絶対値の合計が予め設定された閾値以下になったときとしてもよい。あるいは、該合計の前ステップからの変化量が予め設定された閾値以下になったときとしてもよいし、繰り返し回数が最大値に達したときとしてもよい。
【００７３】
本実施形態においても、第１の実施形態と同様に、画像解析部１０１は、入力画像Ｒの複雑度が低いほど、ノルム制御パラメータｐを大きな値とし、正則条件として、より拘束の強い条件を用いるようにしている。拘束が強いほど、画像は強く平滑化されるので、入力画像Ｒの複雑度に応じた、適切な復元処理をすることができる。
【００７４】
また、勾配ノルム変化量算出部１２２ａにおいても、ｎの値を変えることで、拘束の強さを変更している。このため、拘束の強さを変更しても、乗数が変わるのみで算出処理の多くが共通したものとなっているため、専用のハードウェアにて勾配ノルム変化量算出部１２２ａを実現する場合には、回路規模を抑えることができる。また、ＣＰＵなどの汎用のプロセッサと、プログラムとで勾配ノルム変化量算出部１２２ａを実現する場合には、プログラムの規模を抑えることができる。
また、補正情報決定部１２４ａは、画素値を摂動したときの損失値の変化量に基づいて、損失値が減少するように補正量を決定しているので、第１の実施形態に比べて、繰り返し演算を早く収束させることができる。
【００７５】
また、図１における各部および図４における各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部を実現してもよいし、半導体チップによるプロセッサなどの専用のハードウェアにより実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００７６】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００７７】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００７８】
１００、１００ａ・・・画像復元装置
１０１…画像解析部
１０２、１０２ａ…補正情報生成部
１０３…画像更新部
１０４…記憶部
１０５…劣化模擬部
１０６…初期画像生成部
１２１、１２１ａ…比較部
１２２…勾配ノルム算出部
１２２ａ…勾配ノルム変化量算出部
１２３…損失値算出部
１２４、１２４ａ…補正情報決定部
１２５…損失値記憶部
【特許請求の範囲】
【請求項１】
入力画像の画素間の画素値の変化度合を示す複雑度を算出する画像解析部と、
所定の補正量を用いて前記入力画像を補正する画像更新部と、
前記画像更新部によって補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する補正量算出部と
を具備することを特徴とする画像復元装置。
【請求項２】
前記補正量算出部は、正則条件の項を含む損失値が減少するように前記補正量を決定し、
前記正則条件は、前記複雑度が低いほど、より拘束の強い条件とすること
を特徴とする請求項１に記載の画像復元装置。
【請求項３】
前記正則条件の項は、前記更新画像に関する勾配ベクトルのＬｎノルムの項であり、
前記複雑度が低いほど、前記Ｌｎノルムにおける乗数の値ｎを大きくすることで、より拘束の強い条件とすること
を特徴とする請求項２に記載の画像復元装置。
【請求項４】
前記更新画像に対して、劣化を模擬した過程を施して、模擬劣化画像を生成する劣化模擬部を具備し、
前記補正量算出部は、前記入力画像と前記模擬劣化画像との近似度に基づいて前記損失値を算出し、前回算出した損失値と今回算出した損失値とを比較し、該比較結果に基づき、前記補正量を決定すること
を特徴とする請求項２または請求項３に記載の画像復元装置。
【請求項５】
前記更新画像に対して、劣化を模擬した過程を施して、模擬劣化画像を生成する劣化模擬部を具備し、
前記補正量算出部は、前記入力画像と前記模擬劣化画像との当該画素における差分と、当該画素を微小量変化させたときの正則条件の項の変化量とに基づき、当該画素の前記補正量を決定すること
を特徴とする請求項２または請求項３に記載の画像復元装置。
【請求項６】
入力画像の画素間の画素値の変化度合を示す複雑度を算出する第１の過程と、
所定の補正量を用いて前記入力画像を補正する第２の過程と、
前記第２の過程にて補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する第３の過程と
を有することを特徴とする画像復元方法。
【請求項７】
コンピュータを、
入力画像の画素間の画素値の変化度合を示す複雑度を算出する画像解析部、
所定の補正量を用いて前記入力画像を補正する画像更新部、
前記画像更新部によって補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する補正量算出部
として機能させるためのプログラム。
【請求項１】
入力画像の画素間の画素値の変化度合を示す複雑度を算出する画像解析部と、
所定の補正量を用いて前記入力画像を補正する画像更新部と、
前記画像更新部によって補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する補正量算出部と
を具備することを特徴とする画像復元装置。
【請求項２】
前記補正量算出部は、正則条件の項を含む損失値が減少するように前記補正量を決定し、
前記正則条件は、前記複雑度が低いほど、より拘束の強い条件とすること
を特徴とする請求項１に記載の画像復元装置。
【請求項３】
前記正則条件の項は、前記更新画像に関する勾配ベクトルのＬｎノルムの項であり、
前記複雑度が低いほど、前記Ｌｎノルムにおける乗数の値ｎを大きくすることで、より拘束の強い条件とすること
を特徴とする請求項２に記載の画像復元装置。
【請求項４】
前記更新画像に対して、劣化を模擬した過程を施して、模擬劣化画像を生成する劣化模擬部を具備し、
前記補正量算出部は、前記入力画像と前記模擬劣化画像との近似度に基づいて前記損失値を算出し、前回算出した損失値と今回算出した損失値とを比較し、該比較結果に基づき、前記補正量を決定すること
を特徴とする請求項２または請求項３に記載の画像復元装置。
【請求項５】
前記更新画像に対して、劣化を模擬した過程を施して、模擬劣化画像を生成する劣化模擬部を具備し、
前記補正量算出部は、前記入力画像と前記模擬劣化画像との当該画素における差分と、当該画素を微小量変化させたときの正則条件の項の変化量とに基づき、当該画素の前記補正量を決定すること
を特徴とする請求項２または請求項３に記載の画像復元装置。
【請求項６】
入力画像の画素間の画素値の変化度合を示す複雑度を算出する第１の過程と、
所定の補正量を用いて前記入力画像を補正する第２の過程と、
前記第２の過程にて補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する第３の過程と
を有することを特徴とする画像復元方法。
【請求項７】
コンピュータを、
入力画像の画素間の画素値の変化度合を示す複雑度を算出する画像解析部、
所定の補正量を用いて前記入力画像を補正する画像更新部、
前記画像更新部によって補正された前記入力画像と算出された前記複雑度とに基づき、前記補正量を算出する補正量算出部
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−７７０４９（Ｐ２０１３−７７０４９Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１５０４３（Ｐ２０１１−２１５０４３）
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月２９日（２０１１．９．２９）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]