画像再構成装置、符号化装置、復号装置及びプログラム
【課題】動きぼけ関数を用いた画像再構成装置、符号化装置、復号装置及びプログラムを提供する。
【解決手段】本発明の画像再構成装置２０は、動画像の超解像処理における画像縮小後の画像信号を再構成して高解像画像を復元する装置であり、画像縮小後の画像信号又は画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得する動き推定部２０１と、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する画素対応付け処理部２０２と、前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成する再構成処理部２０３とを備える。
【解決手段】本発明の画像再構成装置２０は、動画像の超解像処理における画像縮小後の画像信号を再構成して高解像画像を復元する装置であり、画像縮小後の画像信号又は画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得する動き推定部２０１と、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する画素対応付け処理部２０２と、前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成する再構成処理部２０３とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きぼけ関数を用いた画像再構成装置、符号化装置、復号装置及びプログラムに関する。
【背景技術】
【０００２】
従来から、例えば復号画像の画像劣化に対する後処理として動きぼけ関数を用いた画像再構成処理が知られている。従来の画像再構成装置は、例えば画像の超解像処理において、画像劣化時の動きぼけ関数として点広がり関数ＰＳＦ（Point Spreading Function）を用いて再構成処理を行う技術がある（例えば、非特許文献１，２，３参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Sung C. Park, Min K. Park, Moon G. Kang., “Super-Resolution Image Reconstruction : A Technical Overview”, IEEE Signal Processing Magagine, vol. 20, no. 3, pp.21-36, 2003
【非特許文献２】David Capel,“Image Mosaicing and Super-resolution”, Springer出版杜, January 9, 2004
【非特許文献３】Tomomasa Gotoh, Masatoshi Okutomi,“Direct Super-Resolution and Registration Using Raw CFA Images”, Proceedings of IEEE Computer Society Conference on CVPR, vol.2, pp. 600-607, 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の画像再構成装置は、画像の超解像処理において、画像劣化時の動きぼけ関数として点広がり関数ＰＳＦ（Point Spreading Function）を用いて再構成処理を行う。しかし、この動きぼけ関数としての点広がり関数は、単純に解像度変換に伴う動きぼけのみを考慮したものであり、シーンやカメラの動き量と方向を考慮していないために、動画像に対して用いる際にはその性能は十分であるとは言えなかった。
【０００５】
本発明の目的は、上述の問題に鑑みて為されたものであり、動きぼけ関数のＰＳＦを動き情報を基に２次元方向に拡張して、画像の超解像処理における画像再構成を行う画像再構成装置、符号化装置、復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明による第１の態様の画像再構成装置は、動画像の復号処理の後処理装置として構成され、動画像の複数フレームからの動き情報を元に被超解像フレーム上に画素の位置合わせを行って標本点を増やし、点広がり関数を動き情報を元に拡張した「拡張動きぼけ情報」として画像再構成処理に利用し、画像の先鋭化を行う。例えば、「拡張動きぼけ情報」は、シーンやカメラの動き量と方向を考慮するために動き情報を用い、動きぼけ関数のＰＳＦ（点広がり関数）を２次元方向に拡張したものとして生成される。
【０００７】
画像再構成処理としては、ＭＡＰ（Maximum A Posterior）法や、その他の方法を用いることができる。ＭＡＰ法を用いる場合は、符号化側で画像縮小情報を補助情報として送信し、復号側での再構成処理に利用することができる。
【０００８】
本発明による第２の態様の画像再構成装置は、符号化装置や復号装置に備えられ、符号化側で原画像を用いて推定した動き情報を補助情報として送信し、復号側で再構成処理に利用することができる。また再構成処理としてＭＡＰ法を用いる場合は、符号化側で原画像の画像縮小を行った際の画像縮小情報と、「拡張動きぼけ情報」とを補助情報として送信し、復号側で再構成処理に利用する。即ち、符号化側で原画像を用いて推定した動き情報を生成するため高精度な動き情報が得られる。
【０００９】
即ち、本発明の画像再構成装置は、動画像の超解像処理における画像縮小後の画像信号を再構成して高解像画像を復元する画像再構成装置であって、画像縮小後の画像信号又は画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得する動き推定手段と、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する画素対応付け処理手段と、前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成する再構成処理手段と、を備えることを特徴とする。
【００１０】
また、本発明の画像再構成装置において、前記再構成処理手段は、前記拡張動きぼけ関数として、点広がり関数ＰＳＦ（Point Spreading Function）を模擬する２次元ガウス関数近似を用いて、前記動き情報を元に動きぼけ関数情報の動きぼけ量を制御することを特徴とする。
【００１１】
また、本発明の画像再構成装置において、前記再構成処理手段は、前記拡張動きぼけ関数として、前記２次元ガウス関数近似を用いて、前記動き情報を元に２次元ガウス関数近似の水平及び垂直方向の動きぼけ量を制御することを特徴とする。
【００１２】
また、本発明の画像再構成装置において、前記再構成処理手段は、ＭＡＰ（Maximum A Posterior）法を用いて当該高解像画像を復元することを特徴とする。
【００１３】
さらに、本発明の符号化装置は、動画像の超解像処理における画像縮小を施して符号化する符号化装置であって、動画像の超解像処理における画像縮小を施す画像縮小手段と、画像縮小された動画像を符号化する符号化手段と、符号化した画像縮小後の動画像を局部復号する局部復号手段と、動画像の画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得する動き推定手段と、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する画素対応付け処理手段と、前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行う再構成処理手段とを備え、前記動き推定手段によって取得した動き情報、前記画素対応付け処理手段によって生成された対応付け情報、及び、前記再構成処理手段によって用いた拡張動きぼけ関数の情報は、前記符号化した画像縮小後の動画像の補助情報として復号側に伝送されるように構成されていることを特徴とする。
【００１４】
さらに、本発明の復号装置は、本発明の符号化装置によって符号化された画像信号を復号する復号装置であって、前記符号化した画像縮小後の動画像を復号する復号手段と、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する第２の画素対応付け処理手段と、前記拡張動きぼけ関数の情報を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成する再構成処理手段と、を備えることを特徴とする。
【００１５】
さらに、本発明のプログラムは、動画像の超解像処理における画像縮小を施して符号化する符号化装置として構成するコンピュータに、動画像の超解像処理における画像縮小を施すステップと、画像縮小された動画像を符号化するステップと、符号化した画像縮小後の動画像を局部復号するステップと、動画像の画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得するステップと、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成するステップと、前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行うステップと、を実行させるためのプログラムとして構成される。
【００１６】
さらに、本発明のプログラムは、本発明の符号化装置によって符号化された画像信号を復号する復号装置として構成するコンピュータに、前記符号化した画像縮小後の動画像を復号するステップと、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成するステップと、前記拡張動きぼけ関数の情報を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成するステップと、を実行させるためのプログラムとして構成される。
【発明の効果】
【００１７】
本発明では、従来よりも高画質な超解像処理における再構成処理を行うことができる。そして本発明の画像再構成装置を備えた符号化／復号装置においても、符号化側で原画像の画像縮小を行った際の画像縮小情報と、原画像を用いて動き推定した動き情報とを補助情報として利用することにより高画質な処理を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明による第１の実施形態の画像再構成装置を示すブロック図である。
【図２】本発明による第２の実施形態の画像再構成装置を示すブロック図である。
【図３】本発明による画像再構成装置に画素対応付けを説明する図である。
【発明を実施するための形態】
【００１９】
まず、本発明による第１の実施形態の画像再構成装置を説明する。
【００２０】
（第１の実施形態）
図１は、本発明による第１の実施形態の画像再構成装置を示すブロック図である。本実施形態の画像再構成装置２０は、超解像処理における画像縮小後の符号化信号を復号する動画像の復号装置１０の後処理装置として構成され、画像縮小条件が未知である場合を想定している。画像再構成装置２０の再構成処理は、超解像処理において画像を再構成して超解像画像を作成するプロセスである。通常、画像縮小の際に発生する動きぼけ関数として点広がり関数ＰＳＦを用い、画像拡大の際にその逆関数を利用して超解像を行う。したがって、画像再構成装置２０は、未知の動きぼけ関数に対して再構成処理を実行する。
【００２１】
再構成処理では、動きぼけ関数のパラメータを推定（或いは経験測に基づいて設定）して画像の先鋭化を行う必要がある。さらに、動画像の複数フレームを用いる超解像処理では、複数フレームからの動き情報を元に被超解像フレーム上に画素の位置合わせを行って標本点を増やし、その情報を利用した動きぼけ関数を用いて画像の先鋭化を行う必要がある。そこで、本実施形態の画像再構成装置２０は、動画像の複数フレームからの動き情報を元に被超解像フレーム上に画素の位置合わせを行って標本点を増やし、点広がり関数を動き情報を元に拡張した「拡張動きぼけ情報」として画像再構成処理に利用し、この「拡張動きぼけ情報」は、シーンやカメラの動き量と方向を考慮するために動き情報を用い、動きぼけ関数のＰＳＦ（点広がり関数）を２次元方向に拡張したものとして生成される。
【００２２】
より具体的には、本実施形態の画像再構成装置２０は、再構成処理における動きぼけ関数情報としての点広がり関数を、動き情報を元に拡張した拡張動きぼけ情報として利用する装置として構成され、動き推定部２０１と、画素対応付け処理部２０２と、再構成処理部２０３とを備える。尚、復号装置１０は、未知の条件で画像縮小を行って符号化された信号を入力し、この符号化に対応する復号処理を施して画像再構成装置２０に送出する。
【００２３】
動き推定部２０１は、画像縮小された動画像の複数フレームを用いて動き推定を行い、動き情報を取得して動画像とともに画素対応付け処理部２０２に送出する。
【００２４】
画素対応付け処理部２０２は、動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、超解像元フレーム（画像縮小されたフレーム）の画素を被超解像フレーム（画像拡大するフレーム）上に反映する対応付け情報を、再構成処理部２０３に送出する（図３参照）。
【００２５】
再構成処理部２０３は、画像縮小後のフレームの画素を、画像拡大するフレーム上に反映するときの事後確率（被超解像フレーム上に複数の低解像度な超解像元フレームの画素が与えられた時の事後確率）を最大にする高解像度画像の推定を行って、高解像度画像を再構成する。この推定にはＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒ）法や、その他の方法を用いることができる。また拡張動きぼけ関数は、動き情報を元に動きぼけ関数情報の動きぼけ量を制御するよう、ＰＳＦを拡張した動きぼけ関数である。詳細に後述するが、再構成処理部２０３は、拡張動きぼけ関数として、点広がり関数ＰＳＦ（Point Spreading Function）を模擬する２次元ガウス関数近似を用いて、２次元ガウス関数近似の水平及び垂直方向の動きぼけ量を制御することができる。
【００２６】
従来からのＭＡＰ法（以下、「従来ＭＡＰ法」と称する）は、ｘを高解像度な画像復元されたフレーム画像ベクトル、ｙを低解像度な超解像元フレーム画像ベクトル、Ｎを入力フレーム数とした時の事後確率ｐ(ｘ｜ｙ１，ｙ２，・・・，ｙＮ)を最大にする高解像度フレーム画像を推定する方法である。
【００２７】
従来ＭＡＰ法によれば、誤差分布を正規分布と仮定した場合、推定される高解像度フレーム画像ｘ(＾)は、式（１）で計算される。
【００２８】
【数１】
【００２９】
式（１）での第１項では、Ｄはサブサンプリングを表す行列、Ｂｋは「動きぼけ関数情報」としての点広がり関数ＰＳＦ（Point Spreading Function）行列、Ｗｋはシーンやカメラの動きを表す「動き情報」の行列を示す。
【００３０】
ゆえに、式（１）の第１項の||ｙｋ−Ｄ・Ｂｋ・Ｗｋ・ｘ||２は、ｋ番目の低解像度の超解像元フレーム画像と、観測信号としての高解像度の画像復元されるフレーム画像に「動きぼけ関数情報」としてのＰＳＦによる解像度変換時の動きぼけとｋ番目の超解像元フレームからの「動き情報」を与えてサブサンプリングした画像との二乗誤差となる。
【００３１】
そして、式（１）の第２項のλ||Ｃ・ｘ||２は、λが事前情報の寄与度合いを示す変数量、Ｃが入力画像の事前情報として与えられる「画像縮小情報」の行列となる。
【００３２】
ただし、従来ＭＡＰ法では、「動きぼけ関数情報」、「動き情報」、「画像縮小情報」は補助情報としては与えられないことに注意する。ゆえに、従来ＭＡＰ法におけるＣは、例えば４近傍のＭＲＦ(Markov Random Field)を仮定して、４近傍のラプラシアンカーネルを利用するものであるため、シーンやカメラの動きに十分に対応できていなかった。
【００３３】
また、従来ＭＡＰ法の課題の１つに、式（１）における「動きぼけ関数情報」Ｂｋの設定を経験則的に求めていることにある。画像再構成装置２０は、画像縮小された結果の観測画像のみが既知であり、画像縮小時の劣化過程は未知であるため、観測画像から超解像画像を復元する処理は、点拡がり関数 （ＰＳＦ）が未知であるので完全なブラインド・デコンボリューションの処理となる。
【００３４】
ゆえに、従来からの複数フレームの超解像処理では、再構成処理における画像拡大率などを元に、全てのフレームにおいてＰＳＦを一定とし、その値を経験則的に求めている。さらに画像縮小の劣化過程も未知であるため、「画像縮小情報」Ｃの値も未知である。さらには、符号化劣化を含む縮小画像のみを用いて「動き推定」を行わなければならない。
【００３５】
そこで、本実施形態の画像再構成装置２０は、「動き情報」及び「画像縮小情報」が補助情報としては与えられない状況下で、式（１）の「動きぼけ関数情報」のＰＳＦ関数Ｂｋを、２次元ガウス関数近似による点広がり関数とし、動き推定においてブロックまたは画素単位で求めた動き情報（フレーム間動きベクトルの向きと大きさ）に応じて、２次元ガウス関数近似による点広がり関数の拡張を行う。この拡張された「動きぼけ関数情報」のＰＳＦ関数を拡張ＰＳＫカーネルＥＢｋとする。
【００３６】
式(２)に、拡張動きぼけ関数の拡張ＰＳＫカーネルＥＢｋを用いたＭＡＰ再構成処理式を示す。
【００３７】
【数２】
【００３８】
より具体的に、「動きぼけ関数情報（２次元ガウス関数近似による点広がり関数ＰＳＫ）」と、「拡張動きぼけ情報（拡張された２次元ガウス関数近似による点広がり関数ＰＳＫ）」について、詳細に説明する。
【００３９】
〔動きぼけ関数情報（２次元ガウス関数近似による点広がり関数）〕
ＰＳＫを、２次元のガウス関数で近似するあたり、式（３）のように、半値幅をｗとし、面積が１の規格化ガウス関数の振幅をαとして定義する。
【００４０】
【数３】
【００４１】
式（３）より、２次元のガウス関数は、式（４）のようになる。ここで、水平方向の基準位置はｘ０、垂直方向の基準位置はｙ０となる。
【００４２】
【数４】
【００４３】
〔拡張動きぼけ情報（拡張された２次元ガウス関数近以による点広がり関数）〕
本実施形態の画像再構成装置２０は、式（４）の点広がり関数を拡張する。動きベクトルｍの水平方向の動き量をｍｘ、垂直方向の動き量をｍｙとすると、式（４）のガウス関数における水平方向と垂直方向の半値幅は、式（５）のように制御される。
【００４４】
【数５】
【００４５】
式（５）は、動きベクトルの向きと大きさに応じて点広がり関数の広がり方向と広がり量を制御するものである。
【００４６】
画像再構成装置２０の再構成処理では、式（２）の拡張ＰＳＫカーネルＥＢｋを式（５）の２次元のガウス関数として、画像拡大倍率に応じて式（５）の半値幅ｗを決定し、式（２）のλを変化させながら式（２）の繰り返し演算を行い、最適な高解像度画像を求めることができる。
【００４７】
次に、本発明による第２の実施形態の画像再構成装置を説明する。
【００４８】
（第２の実施形態）
図２は、本発明による第２の実施形態の画像再構成装置を備える符号化装置３０及び復号装置４０を示すブロック図である。図１と図２における画像再構成装置は同様の処理を行う機能部を有するが、利用形態に応じて入力される補助情報が異なる。即ち、第１の実施形態の画像再構成装置２０では、「動き情報」及び「画像縮小情報」が補助情報としては与えられない状況下の例を説明したが、第２の実施形態の画像再構成装置を備える符号化装置３０及び復号装置４０を構成することで、「動きぼけ関数情報」、「動き情報」、「画像縮小情報」は補助情報としては与えられるように構成することができるため、より優れた超解像度処理を実現することができる。
【００４９】
符号化装置３０は、原画像信号を入力して画像縮小を施し、符号化する装置であり、画像縮小部３０１と、符号化部３０２と、局部復号部３０３と、第２の実施形態の画像再構成装置３０４とを備える。画像再構成装置３０４は、動き推定部３０４１と、画素対応付け処理部３０４２と、再構成処理部３０４３とを備える。
【００５０】
復号装置４０は、符号化装置３０によって符号化された信号を入力して画像拡大を行って復号する装置であり、復号部４０１と、第２の実施形態の画像再構成装置４０２とを備える。画像再構成装置４０２は、画素対応付け処理部４０２１と、再構成処理部４０２２とを備える。
【００５１】
画像縮小部３０１は、動画像の複数フレームからなる原画像信号を入力し、画像縮小を施して符号化部３０２に送出する。ここで、画像縮小部３０１における「画像縮小」は、任意の方法を用いることができ、例えば、線形フィルタによる縮小やウェーブレット分解の低周波画像を用いる縮小を用いることができる。また、画像縮小部３０１は、縮小方法やフィルタ係数等の情報を、補助情報である「画像縮小情報」として、復号側（再構成処理部４０２２）及び再構成処理部３０４３に伝送する。
【００５２】
符号化部３０２は、画像縮小を施した動画像の複数フレームの信号を入力し、予め定めた符号化方式に従う符号化処理を施して復号装置４０に伝送する。利用する符号化方式は、例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣによる方法や別の符号化方式も用いることができる。
【００５３】
局部復号部３０３は、符号化部３０２によって符号化した画像縮小を施した動画像の複数フレームの信号を復号して超解像元フレームを画素対応付け処理部３０４２に送出する。
【００５４】
動き推定部３０４１は、画像縮小を施した動画像の複数フレームの信号を入力して動き推定を行って高精度且つ高確度の動き情報を抽出する。「動き推定」の方法は、任意の方法を用いることができる。例えば、全探索ブロツクマッチング法などが利用できる。動き推定は、小数画素精度で行う。動き推定部３０４１は、補助情報として動き情報を復号側（画素対応付け処理部４０２１）に伝送することができる。
【００５５】
画素対応付け処理部３０４２は、動き推定部３０４１から取得する動き情報を用いて、局部復号部３０３から復号して得られる超解像元フレームの画素の対応付けを行い、被超解像フレーム上に反映する対応付け情報を、再構成処理部３０４３に送出する（図３参照）。
【００５６】
再構成処理部３０４３は、動き情報に基づいて設定された対応付け情報を用いて、画素の対応付けによって得られた画素情報の事後確率（被超解像フレーム上に複数の低解像度な超解像元フレームの画素が与えられた時の事後確率）を最大にする高解像度画像の推定を行って、画素単位またはブロック単位毎に動きぼけ関数（即ち、拡張動きぼけ情報）を設定し、この「拡張動きぼけ情報」を復号側（再構成処理部４０２２）に送出する。従来符号化における従来複数フレーム超解像処理において、この推定にはＭＡＰ法や、その他方法を用いることができる。
【００５７】
復号部４０１は、符号化部３０２によって符号化された超解像元フレームの信号を入力し、この符号化に対応する復号処理を施して画像再構成装置４０２１に送出する。
【００５８】
画素対応付け処理部４０２１は、動き推定部３０４１から得られる動き情報を用いて、復号部４０１から復号して得られる超解像元フレームの画素の対応付けを行い、被超解像フレーム上に反映する対応付け情報を、再構成処理部４０２２に送出する。
【００５９】
再構成処理部４０２２は、画像縮小部３０１から得られる「画像縮小情報」Ｃと、再構成処理部３０４３から得られる「拡張動きぼけ情報」を用いて、画素対応付け処理部４０２１の画素の対応付けによって得られた画素情報の事後確率（被超解像フレーム上に複数の低解像度な超解像元フレームの画素が与えられた時の事後確率）を最大にする高解像度画像の推定を行って、高解像度画像を再構成し、外部に送出する。
【００６０】
本実施形態の画像再構成装置３０４，４０２では、式（２）における「画像縮小情報」Ｃは、理想上は既知となり得るが、劣化した空間周波数を完全に復元する逆フィルタを定義することは事実上不可能であるところ、画像縮小部３０１から補助情報として画像縮小情報を取得することにより、理想に近い式（２）における「画像縮小情報」Ｃを設計することができる。
【００６１】
具体的には、画像縮小部３０１によって、画像縮小に任意のマザーウェーブレットによるウェーブレット分解を用いた場合、「画像縮小情報」はそのウェーブレット分解用のマザーウェーブレットとすることができ、式（２）における「画像縮小情報」Ｃには「画像縮小情報」と対をなすウェーブレット再構成用のマザーウェーブレットとすることができる。
【００６２】
さらに、本実施形態の画像再構成装置３０４を備える符号化装置３０では、原画像を用いて「動き情報」の推定を行うため、高精度かつ高確度の動き情報が得られ、本実施形態の画像再構成装置３０４の再構成処理において、画素単位またはブロック単位毎に動きぼけ関数を設定し、「拡張動きぼけ情報」としての拡張ＰＳＦカーネルＥＢｋを生成することができるため、画像縮小や拡大における動きぼけだけでなく、シーンやカメラワークの動きに起因する動きぼけも考慮することができるようになる。
【００６３】
また、本実施形態の画像再構成装置３０４を備える符号化装置３０は、「画像縮小情報」Ｃ、「動き情報」、及び「拡張動きぼけ情報」の値を補助情報として復号装置４０に伝送するため、復号装置４０は、この補助情報を再構成処理に用いることで高画質な超解像処理を行うことができる。
【産業上の利用可能性】
【００６４】
本発明は、画像符号化全般に用いることができる。特に、目標とする符号化ビットレートが低い場合に有効である。またストレージメディアヘの圧縮記録等の利用も可能である。
【符号の説明】
【００６５】
１０ 復号装置
２０ 画像再構成装置
３０ 符号化装置
４０ 復号装置
２０１ 動き推定部
２０２ 画素対応付け処理部
２０３ 再構成処理部
３０１ 画像縮小部
３０２ 符号化部
３０３ 局部復号部
３０４ 画像再構成装置
４０１ 復号部
４０２ 画像再構成装置
３０４１ 動き推定部
３０４２ 画素対応付け処理部
３０４３ 再構成処理部
４０２１ 画素対応付け処理部
４０２２ 再構成処理部
【技術分野】
【０００１】
本発明は、動きぼけ関数を用いた画像再構成装置、符号化装置、復号装置及びプログラムに関する。
【背景技術】
【０００２】
従来から、例えば復号画像の画像劣化に対する後処理として動きぼけ関数を用いた画像再構成処理が知られている。従来の画像再構成装置は、例えば画像の超解像処理において、画像劣化時の動きぼけ関数として点広がり関数ＰＳＦ（Point Spreading Function）を用いて再構成処理を行う技術がある（例えば、非特許文献１，２，３参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Sung C. Park, Min K. Park, Moon G. Kang., “Super-Resolution Image Reconstruction : A Technical Overview”, IEEE Signal Processing Magagine, vol. 20, no. 3, pp.21-36, 2003
【非特許文献２】David Capel,“Image Mosaicing and Super-resolution”, Springer出版杜, January 9, 2004
【非特許文献３】Tomomasa Gotoh, Masatoshi Okutomi,“Direct Super-Resolution and Registration Using Raw CFA Images”, Proceedings of IEEE Computer Society Conference on CVPR, vol.2, pp. 600-607, 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の画像再構成装置は、画像の超解像処理において、画像劣化時の動きぼけ関数として点広がり関数ＰＳＦ（Point Spreading Function）を用いて再構成処理を行う。しかし、この動きぼけ関数としての点広がり関数は、単純に解像度変換に伴う動きぼけのみを考慮したものであり、シーンやカメラの動き量と方向を考慮していないために、動画像に対して用いる際にはその性能は十分であるとは言えなかった。
【０００５】
本発明の目的は、上述の問題に鑑みて為されたものであり、動きぼけ関数のＰＳＦを動き情報を基に２次元方向に拡張して、画像の超解像処理における画像再構成を行う画像再構成装置、符号化装置、復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明による第１の態様の画像再構成装置は、動画像の復号処理の後処理装置として構成され、動画像の複数フレームからの動き情報を元に被超解像フレーム上に画素の位置合わせを行って標本点を増やし、点広がり関数を動き情報を元に拡張した「拡張動きぼけ情報」として画像再構成処理に利用し、画像の先鋭化を行う。例えば、「拡張動きぼけ情報」は、シーンやカメラの動き量と方向を考慮するために動き情報を用い、動きぼけ関数のＰＳＦ（点広がり関数）を２次元方向に拡張したものとして生成される。
【０００７】
画像再構成処理としては、ＭＡＰ（Maximum A Posterior）法や、その他の方法を用いることができる。ＭＡＰ法を用いる場合は、符号化側で画像縮小情報を補助情報として送信し、復号側での再構成処理に利用することができる。
【０００８】
本発明による第２の態様の画像再構成装置は、符号化装置や復号装置に備えられ、符号化側で原画像を用いて推定した動き情報を補助情報として送信し、復号側で再構成処理に利用することができる。また再構成処理としてＭＡＰ法を用いる場合は、符号化側で原画像の画像縮小を行った際の画像縮小情報と、「拡張動きぼけ情報」とを補助情報として送信し、復号側で再構成処理に利用する。即ち、符号化側で原画像を用いて推定した動き情報を生成するため高精度な動き情報が得られる。
【０００９】
即ち、本発明の画像再構成装置は、動画像の超解像処理における画像縮小後の画像信号を再構成して高解像画像を復元する画像再構成装置であって、画像縮小後の画像信号又は画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得する動き推定手段と、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する画素対応付け処理手段と、前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成する再構成処理手段と、を備えることを特徴とする。
【００１０】
また、本発明の画像再構成装置において、前記再構成処理手段は、前記拡張動きぼけ関数として、点広がり関数ＰＳＦ（Point Spreading Function）を模擬する２次元ガウス関数近似を用いて、前記動き情報を元に動きぼけ関数情報の動きぼけ量を制御することを特徴とする。
【００１１】
また、本発明の画像再構成装置において、前記再構成処理手段は、前記拡張動きぼけ関数として、前記２次元ガウス関数近似を用いて、前記動き情報を元に２次元ガウス関数近似の水平及び垂直方向の動きぼけ量を制御することを特徴とする。
【００１２】
また、本発明の画像再構成装置において、前記再構成処理手段は、ＭＡＰ（Maximum A Posterior）法を用いて当該高解像画像を復元することを特徴とする。
【００１３】
さらに、本発明の符号化装置は、動画像の超解像処理における画像縮小を施して符号化する符号化装置であって、動画像の超解像処理における画像縮小を施す画像縮小手段と、画像縮小された動画像を符号化する符号化手段と、符号化した画像縮小後の動画像を局部復号する局部復号手段と、動画像の画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得する動き推定手段と、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する画素対応付け処理手段と、前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行う再構成処理手段とを備え、前記動き推定手段によって取得した動き情報、前記画素対応付け処理手段によって生成された対応付け情報、及び、前記再構成処理手段によって用いた拡張動きぼけ関数の情報は、前記符号化した画像縮小後の動画像の補助情報として復号側に伝送されるように構成されていることを特徴とする。
【００１４】
さらに、本発明の復号装置は、本発明の符号化装置によって符号化された画像信号を復号する復号装置であって、前記符号化した画像縮小後の動画像を復号する復号手段と、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する第２の画素対応付け処理手段と、前記拡張動きぼけ関数の情報を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成する再構成処理手段と、を備えることを特徴とする。
【００１５】
さらに、本発明のプログラムは、動画像の超解像処理における画像縮小を施して符号化する符号化装置として構成するコンピュータに、動画像の超解像処理における画像縮小を施すステップと、画像縮小された動画像を符号化するステップと、符号化した画像縮小後の動画像を局部復号するステップと、動画像の画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得するステップと、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成するステップと、前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行うステップと、を実行させるためのプログラムとして構成される。
【００１６】
さらに、本発明のプログラムは、本発明の符号化装置によって符号化された画像信号を復号する復号装置として構成するコンピュータに、前記符号化した画像縮小後の動画像を復号するステップと、前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成するステップと、前記拡張動きぼけ関数の情報を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成するステップと、を実行させるためのプログラムとして構成される。
【発明の効果】
【００１７】
本発明では、従来よりも高画質な超解像処理における再構成処理を行うことができる。そして本発明の画像再構成装置を備えた符号化／復号装置においても、符号化側で原画像の画像縮小を行った際の画像縮小情報と、原画像を用いて動き推定した動き情報とを補助情報として利用することにより高画質な処理を行うことができる。
【図面の簡単な説明】
【００１８】
【図１】本発明による第１の実施形態の画像再構成装置を示すブロック図である。
【図２】本発明による第２の実施形態の画像再構成装置を示すブロック図である。
【図３】本発明による画像再構成装置に画素対応付けを説明する図である。
【発明を実施するための形態】
【００１９】
まず、本発明による第１の実施形態の画像再構成装置を説明する。
【００２０】
（第１の実施形態）
図１は、本発明による第１の実施形態の画像再構成装置を示すブロック図である。本実施形態の画像再構成装置２０は、超解像処理における画像縮小後の符号化信号を復号する動画像の復号装置１０の後処理装置として構成され、画像縮小条件が未知である場合を想定している。画像再構成装置２０の再構成処理は、超解像処理において画像を再構成して超解像画像を作成するプロセスである。通常、画像縮小の際に発生する動きぼけ関数として点広がり関数ＰＳＦを用い、画像拡大の際にその逆関数を利用して超解像を行う。したがって、画像再構成装置２０は、未知の動きぼけ関数に対して再構成処理を実行する。
【００２１】
再構成処理では、動きぼけ関数のパラメータを推定（或いは経験測に基づいて設定）して画像の先鋭化を行う必要がある。さらに、動画像の複数フレームを用いる超解像処理では、複数フレームからの動き情報を元に被超解像フレーム上に画素の位置合わせを行って標本点を増やし、その情報を利用した動きぼけ関数を用いて画像の先鋭化を行う必要がある。そこで、本実施形態の画像再構成装置２０は、動画像の複数フレームからの動き情報を元に被超解像フレーム上に画素の位置合わせを行って標本点を増やし、点広がり関数を動き情報を元に拡張した「拡張動きぼけ情報」として画像再構成処理に利用し、この「拡張動きぼけ情報」は、シーンやカメラの動き量と方向を考慮するために動き情報を用い、動きぼけ関数のＰＳＦ（点広がり関数）を２次元方向に拡張したものとして生成される。
【００２２】
より具体的には、本実施形態の画像再構成装置２０は、再構成処理における動きぼけ関数情報としての点広がり関数を、動き情報を元に拡張した拡張動きぼけ情報として利用する装置として構成され、動き推定部２０１と、画素対応付け処理部２０２と、再構成処理部２０３とを備える。尚、復号装置１０は、未知の条件で画像縮小を行って符号化された信号を入力し、この符号化に対応する復号処理を施して画像再構成装置２０に送出する。
【００２３】
動き推定部２０１は、画像縮小された動画像の複数フレームを用いて動き推定を行い、動き情報を取得して動画像とともに画素対応付け処理部２０２に送出する。
【００２４】
画素対応付け処理部２０２は、動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、超解像元フレーム（画像縮小されたフレーム）の画素を被超解像フレーム（画像拡大するフレーム）上に反映する対応付け情報を、再構成処理部２０３に送出する（図３参照）。
【００２５】
再構成処理部２０３は、画像縮小後のフレームの画素を、画像拡大するフレーム上に反映するときの事後確率（被超解像フレーム上に複数の低解像度な超解像元フレームの画素が与えられた時の事後確率）を最大にする高解像度画像の推定を行って、高解像度画像を再構成する。この推定にはＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒ）法や、その他の方法を用いることができる。また拡張動きぼけ関数は、動き情報を元に動きぼけ関数情報の動きぼけ量を制御するよう、ＰＳＦを拡張した動きぼけ関数である。詳細に後述するが、再構成処理部２０３は、拡張動きぼけ関数として、点広がり関数ＰＳＦ（Point Spreading Function）を模擬する２次元ガウス関数近似を用いて、２次元ガウス関数近似の水平及び垂直方向の動きぼけ量を制御することができる。
【００２６】
従来からのＭＡＰ法（以下、「従来ＭＡＰ法」と称する）は、ｘを高解像度な画像復元されたフレーム画像ベクトル、ｙを低解像度な超解像元フレーム画像ベクトル、Ｎを入力フレーム数とした時の事後確率ｐ(ｘ｜ｙ１，ｙ２，・・・，ｙＮ)を最大にする高解像度フレーム画像を推定する方法である。
【００２７】
従来ＭＡＰ法によれば、誤差分布を正規分布と仮定した場合、推定される高解像度フレーム画像ｘ(＾)は、式（１）で計算される。
【００２８】
【数１】
【００２９】
式（１）での第１項では、Ｄはサブサンプリングを表す行列、Ｂｋは「動きぼけ関数情報」としての点広がり関数ＰＳＦ（Point Spreading Function）行列、Ｗｋはシーンやカメラの動きを表す「動き情報」の行列を示す。
【００３０】
ゆえに、式（１）の第１項の||ｙｋ−Ｄ・Ｂｋ・Ｗｋ・ｘ||２は、ｋ番目の低解像度の超解像元フレーム画像と、観測信号としての高解像度の画像復元されるフレーム画像に「動きぼけ関数情報」としてのＰＳＦによる解像度変換時の動きぼけとｋ番目の超解像元フレームからの「動き情報」を与えてサブサンプリングした画像との二乗誤差となる。
【００３１】
そして、式（１）の第２項のλ||Ｃ・ｘ||２は、λが事前情報の寄与度合いを示す変数量、Ｃが入力画像の事前情報として与えられる「画像縮小情報」の行列となる。
【００３２】
ただし、従来ＭＡＰ法では、「動きぼけ関数情報」、「動き情報」、「画像縮小情報」は補助情報としては与えられないことに注意する。ゆえに、従来ＭＡＰ法におけるＣは、例えば４近傍のＭＲＦ(Markov Random Field)を仮定して、４近傍のラプラシアンカーネルを利用するものであるため、シーンやカメラの動きに十分に対応できていなかった。
【００３３】
また、従来ＭＡＰ法の課題の１つに、式（１）における「動きぼけ関数情報」Ｂｋの設定を経験則的に求めていることにある。画像再構成装置２０は、画像縮小された結果の観測画像のみが既知であり、画像縮小時の劣化過程は未知であるため、観測画像から超解像画像を復元する処理は、点拡がり関数 （ＰＳＦ）が未知であるので完全なブラインド・デコンボリューションの処理となる。
【００３４】
ゆえに、従来からの複数フレームの超解像処理では、再構成処理における画像拡大率などを元に、全てのフレームにおいてＰＳＦを一定とし、その値を経験則的に求めている。さらに画像縮小の劣化過程も未知であるため、「画像縮小情報」Ｃの値も未知である。さらには、符号化劣化を含む縮小画像のみを用いて「動き推定」を行わなければならない。
【００３５】
そこで、本実施形態の画像再構成装置２０は、「動き情報」及び「画像縮小情報」が補助情報としては与えられない状況下で、式（１）の「動きぼけ関数情報」のＰＳＦ関数Ｂｋを、２次元ガウス関数近似による点広がり関数とし、動き推定においてブロックまたは画素単位で求めた動き情報（フレーム間動きベクトルの向きと大きさ）に応じて、２次元ガウス関数近似による点広がり関数の拡張を行う。この拡張された「動きぼけ関数情報」のＰＳＦ関数を拡張ＰＳＫカーネルＥＢｋとする。
【００３６】
式(２)に、拡張動きぼけ関数の拡張ＰＳＫカーネルＥＢｋを用いたＭＡＰ再構成処理式を示す。
【００３７】
【数２】
【００３８】
より具体的に、「動きぼけ関数情報（２次元ガウス関数近似による点広がり関数ＰＳＫ）」と、「拡張動きぼけ情報（拡張された２次元ガウス関数近似による点広がり関数ＰＳＫ）」について、詳細に説明する。
【００３９】
〔動きぼけ関数情報（２次元ガウス関数近似による点広がり関数）〕
ＰＳＫを、２次元のガウス関数で近似するあたり、式（３）のように、半値幅をｗとし、面積が１の規格化ガウス関数の振幅をαとして定義する。
【００４０】
【数３】
【００４１】
式（３）より、２次元のガウス関数は、式（４）のようになる。ここで、水平方向の基準位置はｘ０、垂直方向の基準位置はｙ０となる。
【００４２】
【数４】
【００４３】
〔拡張動きぼけ情報（拡張された２次元ガウス関数近以による点広がり関数）〕
本実施形態の画像再構成装置２０は、式（４）の点広がり関数を拡張する。動きベクトルｍの水平方向の動き量をｍｘ、垂直方向の動き量をｍｙとすると、式（４）のガウス関数における水平方向と垂直方向の半値幅は、式（５）のように制御される。
【００４４】
【数５】
【００４５】
式（５）は、動きベクトルの向きと大きさに応じて点広がり関数の広がり方向と広がり量を制御するものである。
【００４６】
画像再構成装置２０の再構成処理では、式（２）の拡張ＰＳＫカーネルＥＢｋを式（５）の２次元のガウス関数として、画像拡大倍率に応じて式（５）の半値幅ｗを決定し、式（２）のλを変化させながら式（２）の繰り返し演算を行い、最適な高解像度画像を求めることができる。
【００４７】
次に、本発明による第２の実施形態の画像再構成装置を説明する。
【００４８】
（第２の実施形態）
図２は、本発明による第２の実施形態の画像再構成装置を備える符号化装置３０及び復号装置４０を示すブロック図である。図１と図２における画像再構成装置は同様の処理を行う機能部を有するが、利用形態に応じて入力される補助情報が異なる。即ち、第１の実施形態の画像再構成装置２０では、「動き情報」及び「画像縮小情報」が補助情報としては与えられない状況下の例を説明したが、第２の実施形態の画像再構成装置を備える符号化装置３０及び復号装置４０を構成することで、「動きぼけ関数情報」、「動き情報」、「画像縮小情報」は補助情報としては与えられるように構成することができるため、より優れた超解像度処理を実現することができる。
【００４９】
符号化装置３０は、原画像信号を入力して画像縮小を施し、符号化する装置であり、画像縮小部３０１と、符号化部３０２と、局部復号部３０３と、第２の実施形態の画像再構成装置３０４とを備える。画像再構成装置３０４は、動き推定部３０４１と、画素対応付け処理部３０４２と、再構成処理部３０４３とを備える。
【００５０】
復号装置４０は、符号化装置３０によって符号化された信号を入力して画像拡大を行って復号する装置であり、復号部４０１と、第２の実施形態の画像再構成装置４０２とを備える。画像再構成装置４０２は、画素対応付け処理部４０２１と、再構成処理部４０２２とを備える。
【００５１】
画像縮小部３０１は、動画像の複数フレームからなる原画像信号を入力し、画像縮小を施して符号化部３０２に送出する。ここで、画像縮小部３０１における「画像縮小」は、任意の方法を用いることができ、例えば、線形フィルタによる縮小やウェーブレット分解の低周波画像を用いる縮小を用いることができる。また、画像縮小部３０１は、縮小方法やフィルタ係数等の情報を、補助情報である「画像縮小情報」として、復号側（再構成処理部４０２２）及び再構成処理部３０４３に伝送する。
【００５２】
符号化部３０２は、画像縮小を施した動画像の複数フレームの信号を入力し、予め定めた符号化方式に従う符号化処理を施して復号装置４０に伝送する。利用する符号化方式は、例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣによる方法や別の符号化方式も用いることができる。
【００５３】
局部復号部３０３は、符号化部３０２によって符号化した画像縮小を施した動画像の複数フレームの信号を復号して超解像元フレームを画素対応付け処理部３０４２に送出する。
【００５４】
動き推定部３０４１は、画像縮小を施した動画像の複数フレームの信号を入力して動き推定を行って高精度且つ高確度の動き情報を抽出する。「動き推定」の方法は、任意の方法を用いることができる。例えば、全探索ブロツクマッチング法などが利用できる。動き推定は、小数画素精度で行う。動き推定部３０４１は、補助情報として動き情報を復号側（画素対応付け処理部４０２１）に伝送することができる。
【００５５】
画素対応付け処理部３０４２は、動き推定部３０４１から取得する動き情報を用いて、局部復号部３０３から復号して得られる超解像元フレームの画素の対応付けを行い、被超解像フレーム上に反映する対応付け情報を、再構成処理部３０４３に送出する（図３参照）。
【００５６】
再構成処理部３０４３は、動き情報に基づいて設定された対応付け情報を用いて、画素の対応付けによって得られた画素情報の事後確率（被超解像フレーム上に複数の低解像度な超解像元フレームの画素が与えられた時の事後確率）を最大にする高解像度画像の推定を行って、画素単位またはブロック単位毎に動きぼけ関数（即ち、拡張動きぼけ情報）を設定し、この「拡張動きぼけ情報」を復号側（再構成処理部４０２２）に送出する。従来符号化における従来複数フレーム超解像処理において、この推定にはＭＡＰ法や、その他方法を用いることができる。
【００５７】
復号部４０１は、符号化部３０２によって符号化された超解像元フレームの信号を入力し、この符号化に対応する復号処理を施して画像再構成装置４０２１に送出する。
【００５８】
画素対応付け処理部４０２１は、動き推定部３０４１から得られる動き情報を用いて、復号部４０１から復号して得られる超解像元フレームの画素の対応付けを行い、被超解像フレーム上に反映する対応付け情報を、再構成処理部４０２２に送出する。
【００５９】
再構成処理部４０２２は、画像縮小部３０１から得られる「画像縮小情報」Ｃと、再構成処理部３０４３から得られる「拡張動きぼけ情報」を用いて、画素対応付け処理部４０２１の画素の対応付けによって得られた画素情報の事後確率（被超解像フレーム上に複数の低解像度な超解像元フレームの画素が与えられた時の事後確率）を最大にする高解像度画像の推定を行って、高解像度画像を再構成し、外部に送出する。
【００６０】
本実施形態の画像再構成装置３０４，４０２では、式（２）における「画像縮小情報」Ｃは、理想上は既知となり得るが、劣化した空間周波数を完全に復元する逆フィルタを定義することは事実上不可能であるところ、画像縮小部３０１から補助情報として画像縮小情報を取得することにより、理想に近い式（２）における「画像縮小情報」Ｃを設計することができる。
【００６１】
具体的には、画像縮小部３０１によって、画像縮小に任意のマザーウェーブレットによるウェーブレット分解を用いた場合、「画像縮小情報」はそのウェーブレット分解用のマザーウェーブレットとすることができ、式（２）における「画像縮小情報」Ｃには「画像縮小情報」と対をなすウェーブレット再構成用のマザーウェーブレットとすることができる。
【００６２】
さらに、本実施形態の画像再構成装置３０４を備える符号化装置３０では、原画像を用いて「動き情報」の推定を行うため、高精度かつ高確度の動き情報が得られ、本実施形態の画像再構成装置３０４の再構成処理において、画素単位またはブロック単位毎に動きぼけ関数を設定し、「拡張動きぼけ情報」としての拡張ＰＳＦカーネルＥＢｋを生成することができるため、画像縮小や拡大における動きぼけだけでなく、シーンやカメラワークの動きに起因する動きぼけも考慮することができるようになる。
【００６３】
また、本実施形態の画像再構成装置３０４を備える符号化装置３０は、「画像縮小情報」Ｃ、「動き情報」、及び「拡張動きぼけ情報」の値を補助情報として復号装置４０に伝送するため、復号装置４０は、この補助情報を再構成処理に用いることで高画質な超解像処理を行うことができる。
【産業上の利用可能性】
【００６４】
本発明は、画像符号化全般に用いることができる。特に、目標とする符号化ビットレートが低い場合に有効である。またストレージメディアヘの圧縮記録等の利用も可能である。
【符号の説明】
【００６５】
１０ 復号装置
２０ 画像再構成装置
３０ 符号化装置
４０ 復号装置
２０１ 動き推定部
２０２ 画素対応付け処理部
２０３ 再構成処理部
３０１ 画像縮小部
３０２ 符号化部
３０３ 局部復号部
３０４ 画像再構成装置
４０１ 復号部
４０２ 画像再構成装置
３０４１ 動き推定部
３０４２ 画素対応付け処理部
３０４３ 再構成処理部
４０２１ 画素対応付け処理部
４０２２ 再構成処理部
【特許請求の範囲】
【請求項１】
動画像の超解像処理における画像縮小後の画像信号を再構成して高解像画像を復元する画像再構成装置であって、
画像縮小後の画像信号又は画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得する動き推定手段と、
前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する画素対応付け処理手段と、
前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成する再構成処理手段と、
を備えることを特徴とする画像再構成装置。
【請求項２】
前記再構成処理手段は、前記拡張動きぼけ関数として、点広がり関数ＰＳＦ（Point Spreading Function）を模擬する２次元ガウス関数近似を用いて、前記動き情報を元に動きぼけ関数情報の動きぼけ量を制御することを特徴とする、請求項１に記載の画像再構成装置。
【請求項３】
前記再構成処理手段は、前記拡張動きぼけ関数として、前記２次元ガウス関数近似を用いて、前記動き情報を元に２次元ガウス関数近似の水平及び垂直方向の動きぼけ量を制御することを特徴とする、請求項２に記載の画像再構成装置。
【請求項４】
前記再構成処理手段は、ＭＡＰ（Maximum A Posterior）法を用いて当該高解像画像を復元することを特徴とする、請求項３に記載の画像再構成装置。
【請求項５】
動画像の超解像処理における画像縮小を施して符号化する符号化装置であって、
動画像の超解像処理における画像縮小を施す画像縮小手段と、
画像縮小された動画像を符号化する符号化手段と、
符号化した画像縮小後の動画像を局部復号する局部復号手段と、
動画像の画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得する動き推定手段と、
前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する画素対応付け処理手段と、
前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行う再構成処理手段とを備え、
前記動き推定手段によって取得した動き情報、前記画素対応付け処理手段によって生成された対応付け情報、及び、前記再構成処理手段によって用いた拡張動きぼけ関数の情報は、前記符号化した画像縮小後の動画像の補助情報として復号側に伝送されるように構成されていることを特徴とする符号化装置。
【請求項６】
請求項５に記載の符号化装置によって符号化された画像信号を復号する復号装置であって、
前記符号化した画像縮小後の動画像を復号する復号手段と、
前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する第２の画素対応付け処理手段と、
前記拡張動きぼけ関数の情報を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成する再構成処理手段と、
を備えることを特徴とする復号装置。
【請求項７】
動画像の超解像処理における画像縮小を施して符号化する符号化装置として構成するコンピュータに、
動画像の超解像処理における画像縮小を施すステップと、
画像縮小された動画像を符号化するステップと、
符号化した画像縮小後の動画像を局部復号するステップと、
動画像の画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得するステップと、
前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成するステップと、
前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行うステップと、
を実行させるためのプログラム。
【請求項８】
請求項５に記載の符号化装置によって符号化された画像信号を復号する復号装置として構成するコンピュータに、
前記符号化した画像縮小後の動画像を復号するステップと、
前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成するステップと、
前記拡張動きぼけ関数の情報を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成するステップと、
を実行させるためのプログラム。
【請求項１】
動画像の超解像処理における画像縮小後の画像信号を再構成して高解像画像を復元する画像再構成装置であって、
画像縮小後の画像信号又は画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得する動き推定手段と、
前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する画素対応付け処理手段と、
前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成する再構成処理手段と、
を備えることを特徴とする画像再構成装置。
【請求項２】
前記再構成処理手段は、前記拡張動きぼけ関数として、点広がり関数ＰＳＦ（Point Spreading Function）を模擬する２次元ガウス関数近似を用いて、前記動き情報を元に動きぼけ関数情報の動きぼけ量を制御することを特徴とする、請求項１に記載の画像再構成装置。
【請求項３】
前記再構成処理手段は、前記拡張動きぼけ関数として、前記２次元ガウス関数近似を用いて、前記動き情報を元に２次元ガウス関数近似の水平及び垂直方向の動きぼけ量を制御することを特徴とする、請求項２に記載の画像再構成装置。
【請求項４】
前記再構成処理手段は、ＭＡＰ（Maximum A Posterior）法を用いて当該高解像画像を復元することを特徴とする、請求項３に記載の画像再構成装置。
【請求項５】
動画像の超解像処理における画像縮小を施して符号化する符号化装置であって、
動画像の超解像処理における画像縮小を施す画像縮小手段と、
画像縮小された動画像を符号化する符号化手段と、
符号化した画像縮小後の動画像を局部復号する局部復号手段と、
動画像の画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得する動き推定手段と、
前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する画素対応付け処理手段と、
前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行う再構成処理手段とを備え、
前記動き推定手段によって取得した動き情報、前記画素対応付け処理手段によって生成された対応付け情報、及び、前記再構成処理手段によって用いた拡張動きぼけ関数の情報は、前記符号化した画像縮小後の動画像の補助情報として復号側に伝送されるように構成されていることを特徴とする符号化装置。
【請求項６】
請求項５に記載の符号化装置によって符号化された画像信号を復号する復号装置であって、
前記符号化した画像縮小後の動画像を復号する復号手段と、
前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成する第２の画素対応付け処理手段と、
前記拡張動きぼけ関数の情報を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成する再構成処理手段と、
を備えることを特徴とする復号装置。
【請求項７】
動画像の超解像処理における画像縮小を施して符号化する符号化装置として構成するコンピュータに、
動画像の超解像処理における画像縮小を施すステップと、
画像縮小された動画像を符号化するステップと、
符号化した画像縮小後の動画像を局部復号するステップと、
動画像の画像縮小前の画像信号を用いて動き推定を行い、動き情報を取得するステップと、
前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成するステップと、
前記動き情報を元に点広がり関数ＰＳＦ（Point Spreading Function）を拡張した拡張動きぼけ関数を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行うステップと、
を実行させるためのプログラム。
【請求項８】
請求項５に記載の符号化装置によって符号化された画像信号を復号する復号装置として構成するコンピュータに、
前記符号化した画像縮小後の動画像を復号するステップと、
前記動き情報から、画像縮小された動画像の複数フレーム間で画素の対応付けを行い、当該画像縮小後のフレームの画素を、画像拡大するフレーム上に反映する対応付け情報を生成するステップと、
前記拡張動きぼけ関数の情報を用いて、前記画像縮小後のフレームの画素を、前記画像拡大するフレーム上に反映するときの事後確率を最大にする高解像度画像の推定を行って、高解像度画像を再構成するステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−６０３０６（Ｐ２０１２−６０３０６Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−１９９９９０（Ｐ２０１０−１９９９９０）
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]