画像縮小装置、画像拡大装置、及びこれらのプログラム
【課題】原画像列を縮小して縮小画像列を生成する画像縮小装置、縮小画像列を拡大して復元する画像拡大装置、及びこれらのプログラムを提供する。
【解決手段】画像縮小装置１０は、処理対象の原画像フレームから位置合わせ情報を生成する位置合わせ情報生成部２０１と、縮小した縮小画像列を生成する画像縮小部２０２と、生成した位置合わせ情報、縮小画像列及び点広がり関数を用いて拡大画像フレームを生成し、拡大画像フレームと原画像フレームとの差分値が最小となるように当該位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成する位置合わせ情報修正部２０３と、空間オクターブ分解処理とガウシアンフィルタを用いて拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値が最小となるガウシアンフィルタの分散値を単一フレーム超解像補助情報として生成する分散値決定部２０４とを備える。
【解決手段】画像縮小装置１０は、処理対象の原画像フレームから位置合わせ情報を生成する位置合わせ情報生成部２０１と、縮小した縮小画像列を生成する画像縮小部２０２と、生成した位置合わせ情報、縮小画像列及び点広がり関数を用いて拡大画像フレームを生成し、拡大画像フレームと原画像フレームとの差分値が最小となるように当該位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成する位置合わせ情報修正部２０３と、空間オクターブ分解処理とガウシアンフィルタを用いて拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値が最小となるガウシアンフィルタの分散値を単一フレーム超解像補助情報として生成する分散値決定部２０４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、送信側で原画像に対して画像縮小を施して伝送し、受信側で画像拡大を行なって復元する技術に関し、特に、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する画像縮小装置、縮小画像列を拡大して復元する画像拡大装置、及びこれらのプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置及び表示装置の高精細化が進んでおり、超解像（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ）と称される動画像の高解像化技術が研究されている（例えば、特許文献１参照）。いわゆる８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像、又は４Ｋシステムと呼ばれるデジタルシネマのような高精細映像は、従来のハイビジョン（ＨＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。
【０００３】
そこで、２枚の画像を利用して超解像を行う際、シーンチェンジ検出や画素の位置合わせに適さない画素領域のマスク処理などの前処理を行った後、画素再構成処理により超解像画像を作成する技法が知られている（例えば、特許文献２参照）。
【０００４】
一方、送信側で原画像に対して画像縮小（低解像度化）を施して伝送し、受信側で画像拡大（高解像度化）を行なって復元する技術が知られており、特に、画像縮小を行う際に、受信側で高解像度の画像を作成する際の補助情報として、色調を利用して縮小画像と元の原画像の色調が似ている箇所では高解像度画像を作成するように指示する補助情報を生成する技法がある（例えば、特許文献３参照）。
【０００５】
また、画像を解像度の低い表示装置に表示させる際、画像をブロックに分割し、各ブロックの空間高周波成分を検出してブロック毎の代表値を決定して画像縮小を行い、先に検出した空間高周波成分を補助情報として例えばエッジ領域表示に利用する技法が知られている（例えば、特許文献４参照）。
【０００６】
また、送信側で原画像に対して画像縮小（低解像度化）を施して伝送し、受信側で画像拡大（高解像度化）を行なって復元する技術において、低解像度した画像を最適に符号化する際の符号化パラメータと、この符号化パラメータを高解像度画像に適用するためにスケール変換した補助情報を生成する技法が知られている（例えば、特許文献５参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１０５４９０号公報
【特許文献２】特開２０１０−１３４５８２号公報
【特許文献３】特許第２５４２７２６号明細書
【特許文献４】特許第４４５９７８９号明細書
【特許文献５】特許第４５２３５２２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術のように、補助情報は原画像が持つ空間高周波成分をパラメータとして、画像超解像、符号化、エッジ表示などに用いられる。そこで、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する場合にも、このような補助情報を用いることは縮小画像列に対して画像拡大を実行する処理（明細書中、「複数フレーム超解像処理」と称される）に有効であると考えられる。
【０００９】
一般に、複数フレーム超解像処理では、このような補助情報を用いることなく、縮小画像列のうちの１つの被処理フレームからその前後フレームへの位置合わせ（例えば、動き推定に基づく動き補償）による画素補完を行なって画像拡大を行う。したがって、補助情報を用いない複数フレーム超解像処理では、縮小画像列のみを用いて位置合わせを行うため、位置合わせ精度が低いという問題があった。
【００１０】
そこで、縮小画像列における位置合わせとは別に、原画像列のうちの１つの被処理フレームからその前後フレームへの位置合わせを行うことで、高精度の位置合わせ情報を取得することができ、この位置合わせ情報を補助情報とすることが考えられる。この場合、複数フレーム超解像処理時には、所定の点広がり関数による復元過程を経て画像拡大が行われる。ただし、この位置合わせ情報は、当該所定の点広がり関数による復元過程を考慮したものではないため、複数フレーム超解像処理後の画質について更なる改善の余地がある。
【００１１】
また、拡大処理時の位置合わせの確度が低い領域、（例えば静止領域）では、複数フレームを用いた超解像処理よりも、単一フレームで行う超解像処理のほうが復元時の画素の位置合わせの確度が高くなることも予想され、所定の点広がり関数による復元過程を考慮しても複数フレーム超解像処理のみでは復元時の画素の位置合わせ情報としての確度の限界が生じることも予想される。
【００１２】
本発明は、上述の問題を鑑みて為されたものであり、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する画像縮小装置、縮小画像列を拡大して復元する画像拡大装置、及びこれらのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の画像縮小装置は、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成するとともに、複数フレームを用いた超解像処理のための補助情報（明細書中、「複数フレーム超解像補助情報」と称される）を生成するとともに、単一フレームを用いた超解像処理のための補助情報（明細書中、「単一フレーム超解像補助情報」と称される）を生成する。本発明の画像拡大装置は、予め定めた画素補完候補を基準として、複数フレーム超解像補助情報を用いて生成した拡大時の画素補完候補と、単一フレーム超解像補助情報を用いて生成した拡大時の画素補完候補とを選別し、選別した画素補完候補を用いて縮小画像列の拡大処理を実行する。
【００１４】
従来の補助情報を用いない一般的な複数フレーム超解像処理では、縮小画像列を用いて位置合わせを行うものであったのに対して、本発明に係る超解像処理では、原画像列を用いて位置合わせを行なうことで、縮小画像列を用いて生成するよりも高精度の位置合わせ情報を生成しておき、さらに、複数フレーム超解像時の点広がり関数による復元過程を考慮して、この位置合わせ情報を修正し、複数フレーム超解像処理に適した修正後位置合わせ情報を複数フレーム超解像補助情報として利用するとともに、単一フレームにおける高周波成分におけるガウシアンフィルタ処理による誤差が最小となるガウシアンフィルタの分散値を算出して単一フレーム超解像補助情報として利用する。このため、原画像列が動領域及び静止領域が混在する場合でも、拡大処理時の画素の位置合わせの確度を高めつつ高画質化を図ることができる。
【００１５】
即ち、本発明の画像縮小装置は、原画像列を縮小して縮小画像列を生成する画像縮小装置であって、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成する位置合わせ情報生成部と、原画像列を所定の画像縮小率で縮小した縮小画像列を生成する画像縮小部と、生成した位置合わせ情報、縮小画像列及び点広がり関数を用いて拡大画像フレームを生成し、当該位置合わせ情報の値を可変して拡大画像フレームと原画像フレームとの差分値が最小となるように当該位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成する位置合わせ情報修正部と、空間オクターブ分解処理とガウシアンフィルタを用いて拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値が最小となるガウシアンフィルタの分散値を単一フレーム超解像補助情報として生成する分散値決定部と、を備えることを特徴とする。
【００１６】
また、本発明の画像縮小装置において、前記位置合わせ情報修正部は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成することを特徴とする。
【００１７】
また、本発明の画像縮小装置において、前記分散値決定部は、空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成することを特徴とする。
【００１８】
また、本発明の画像拡大装置は、本発明の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成する第１画素補完候補生成部と、本発明の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成する第２画素補完候補生成部と、予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別する画素補完候補選別処理部と、当該選別された画素補完候補を用いて縮小画像列を拡大する拡大画像生成部と、を備えることを特徴とする。
【００１９】
本発明のプログラムは、原画像列を縮小して縮小画像列を生成する画像縮小装置として機能するコンピュータに、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成するステップと、原画像列を所定の画像縮小率で縮小した縮小画像列を生成するステップと、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成するステップと、空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成するステップと、を実行させるためのプログラムである。
【００２０】
また、本発明のプログラムは、コンピュータに、本発明の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成するステップと、本発明の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成するステップと、予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別するステップと、当該選別された画素補完候補を用いて縮小画像列を拡大するステップと、を実行させるためのプログラムである。
【発明の効果】
【００２１】
本発明によれば、超解像処理のために、原画像精度のみならず点広がり関数による復元過程の誤差を修正した修正後位置合わせ情報を用いることができるようになるので、従来よりも高画質な超解像処理の画像を得ることができるようになる。
【００２２】
また、本発明によれば、超解像処理のために、複数フレーム超解像補助情報と単一フレーム補助情報の双方を用いて適切に画素補完候補を選別できるので、原画像列が動領域及び静止領域が混在する場合でも、拡大処理時の画素の位置合わせの確度を高めつつ高画質化を図ることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明による一実施例の画像縮小装置のブロック図である。
【図２】本発明による一実施例の画像縮小装置における位置合わせ情報生成部のブロック図である。
【図３】本発明による一実施例の画像縮小装置における画像縮小部のブロック図である。
【図４】本発明による一実施例の画像縮小装置における位置合わせ情報修正部のブロック図である。
【図５】本発明による一実施例の画像縮小装置における分散値決定部のブロック図である。
【図６】本発明による一実施例の画像縮小装置における分散値決定部の動作例を示す図である。
【図７】本発明による一実施例の画像縮小装置における分散値決定部の別の動作例を示す図である。
【図８】本発明による一実施例の画像拡大装置のブロック図である。
【図９】本発明による一実施例の画像拡大装置における第１画素補完候補生成部のブロック図である。
【図１０】本発明による一実施例の画像拡大装置における第２画素補完候補生成部のブロック図である。
【図１１】本発明による一実施例の画像拡大装置における画素補完候補選別処理部のブロック図である。
【図１２】本発明による一実施例の画像拡大装置における画素補完候補選別処理部の動作例を示す図である。
【図１３】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部のブロック図である。
【図１４】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における時間方向高周波領域パワー算出部のブロック図である。
【図１５】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における空間方向低周波領域パワー算出部のブロック図である。
【図１６】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における位置合わせ開始分解能決定部のブロック図である。
【図１７】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における階層型位置合わせ処理部のブロック図である。
【図１８】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部の動作を示す動作フローである。
【図１９】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部におけるフレーム画像列の時間方向周波数帯域毎のパワーの算出例を示す図である。
【図２０】（ａ），（ｂ），（ｃ），（ｄ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部におけるフレーム画像列について時間方向にＮｍａｘ階に分解する例を示す図である。
【図２１】（ａ），（ｂ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における２次元２階離散ウェーブレットの例を示す図である。
【図２２】（ａ），（ｂ），（ｃ），（ｄ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における空間方向の低周波領域のパワーの割合と位置合わせ開始階数の関係を例示する図である。
【図２３】（ａ），（ｂ），（ｃ），（ｄ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における位置合わせ開始階数とブロックサイズの関係例を示す図である。
【図２４】本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部のブロック図である。
【図２５】本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の動作フロー図である。
【図２６】（ａ），（ｂ）は、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の位置合わせ情報の算出例を説明する図である。
【図２７】本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の確度判定例を説明する図である。
【図２８】本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置のブロック図である。
【図２９】本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置の処理の説明図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明による一実施例の画像縮小装置及び画像拡大装置を順に説明する。
【００２５】
〔画像縮小装置〕
図１は、本発明による一実施例の画像縮小装置のブロック図である。本実施例の画像縮小装置１０は、制御部２０と、記憶部３０とを備える。制御部２０は、位置合わせ情報生成部２０１と、画像縮小部２０２と、位置合わせ情報修正部２０３と、分散値決定部２０４とを備える。本実施例の画像縮小装置１０をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部３０に記憶される。コンピュータに備えられる制御部２０は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部３０から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。尚、後述の説明で明らかとなるが、記憶部３０には、「ブロック分割サイズ情報」、「画像縮小率情報」、「マザーウェーブレット情報」、及び「点広がり関数情報」が格納されている。
【００２６】
位置合わせ情報生成部２０１は、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成し、位置合わせ情報修正部２０３に送出する。位置合わせ情報生成部２０１の詳細は、図２を参照して後述する。
【００２７】
画像縮小部２０２は、空間ウェーブレット分解処理を用いて原画像列を所定の画像縮小率で縮小した縮小画像列を生成し、外部に送出するとともに、位置合わせ情報修正部２０３に送出する。画像縮小部２０２の詳細は、図３を参照して後述する。
【００２８】
位置合わせ情報修正部２０３は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報（以下、「複数フレーム超解像補助情報」と称する）として生成し、外部に送出する。位置合わせ情報修正部２０３の詳細は、図４を参照して後述する。
【００２９】
分散値決定部２０４は、画像縮小部２０２による空間ウェーブレット分解処理により単一の原画像フレームを用いて縮小画像を生成する際に、空間ウェーブレット分解処理とガウシアンフィルタ処理を用いて縮小画像が持つスペクトラム情報から縮小画像のナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間ウェーブレット分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を補助情報（以下、「単一フレーム超解像補助情報」と称する）として生成し、外部に送出する。尚、実施例として空間ウェーブレット分解処理を例に説明するが、空間オクターブ分解処理（オクターブ分解フィルタバンク処理とも称される）を行えるものであれば、どのようなものでも使用可能である。分散値決定部２０４の詳細は、図５を参照して後述する。
【００３０】
図２は、本発明による一実施例の画像縮小装置における位置合わせ情報生成部のブロック図である。位置合わせ情報生成部２０１は、ブロック分割部２０１１と、ブロックマッチング処理部２０１２とを備える。
【００３１】
ブロック分割部２０１１は、入力される原画像列のうちの被処理フレーム位置の原画像を基準フレーム画像として、記憶部３０に格納されるブロック分割サイズ情報を読み出し、ブロック分割サイズ情報で指定されるＢｘ×Ｂｙサイズのブロックに分割する。
【００３２】
ブロックマッチング処理部２０１２は、ブロック分割した基準フレーム画像に対して、その前後フレーム位置の原画像を参照フレーム画像として小数画素精度ブロックマッチングを行い、ブロック毎の位置合わせ情報（つまり、ブロックマッチングによる動き情報に対応する情報）を出力する。代表的な小数画素精度ブロックマッチングとして、パラボラフィッティング法などがある。また、後述するように、階層型位置合わせ処理により位置合わせ情報を生成することもできる。
【００３３】
図３は、本発明による一実施例の画像縮小装置における画像縮小部のブロック図である。画像縮小部２０２は、ウェーブレット分解部２０２１と、空間低周波成分抽出部２０２２と、縮小画像生成部２０２３とを備える。
【００３４】
ウェーブレット分解部２０２１は、ｎ階空間ウェーブレット分解法を用いて画像縮小を行う例である（ｎは、０を含む自然数）。ウェーブレット分解部２０２１は、記憶部３０に予め格納されているマザーウェーブレット情報（つまり、マザーウェーブレットの分解係数を表すフィルタ係数の情報）と、画像縮小率の情報を読み出し、当該被処理フレーム位置の原画像を基準フレーム画像としてマザーウェーブレット情報を用いて当該画像縮小率に対応する分解能でウェーブレット分解を行ない、ウェーブレット分解した画像を空間低周波成分抽出部２０２２に送出する。
【００３５】
空間低周波成分抽出部２０２２は、ウェーブレット分解した画像の低周波成分（例えば、ｎ＝１として、１階空間ウェーブレット分解を行なった場合には、水平・垂直方向に低周波成分の画像）を抽出して縮小画像生成部２０２３に送出する。
【００３６】
縮小画像生成部２０２３は、抽出した低周波成分に対応する縮小画像を生成する。これにより、画像縮小部２０２に入力される原画像列は、縮小画像列に変換される。尚、マザーウェーブレットを可変として、マザーウェーブレットを変化させることで縮小画像列に含まれる折り返し歪量を制御することもできるため、この場合、可変するマザーウェーブレットの情報をマザーウェーブレット情報として記憶部３０に格納する。
【００３７】
図４は、本発明による一実施例の画像縮小装置における位置合わせ情報修正部のブロック図である。位置合わせ情報修正部２０３は、全画素比較処理部２０３１と、加算部２０３４と、補助情報生成部２０３５とを備えており、全画素比較処理部２０３１は、画素補完処理部２０３２と補完誤差算出部２０３３からなる。
【００３８】
画素補完処理部２０３２は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の被処理フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なうことで拡大画像を生成し、当該縮小画像列の被処理フレームに対応する原画像とともに、補完誤差算出部２０３３に送出する。
【００３９】
補完誤差算出部２０３３は、生成した拡大画像の画素と原画像の画素との差分値を算出し、画素補完処理部２０３２に対して当該位置合わせ情報の値を点広がり関数幅を超えない範囲でシフトしながら当該差分値が最小となるシフト量を算出し、加算部２０３４に送出する。生成した拡大画像の画素と原画像の画素との差分値の算出は、生成した拡大画像の全画素について行うことにより、画素毎に当該最小となるシフト量が算出される。
【００４０】
加算部２０３４は、画素毎に算出した当該最小となるシフト量を、当該位置合わせ情報の各画素に対する値（同一ブロック内では、各画素に同じ値が付与されている）に加算することにより、画素単位で修正した修正後位置合わせ情報として補助情報生成部２０３５に送出する。
【００４１】
補助情報生成部２０３５は、生成した修正後位置合わせ情報と、記憶部３０に格納されるブロック分割サイズ情報、画像縮小率情報及び点広がり関数情報とを含めて、複数フレーム超解像補助情報として生成し、外部に送出する。これにより、原画像列を用いて生成した位置合わせ情報を、画素補完における点広がり関数を考慮した位置合わせ情報に修正した複数フレーム超解像補助情報を生成することができる。尚、画像拡大装置側でウェーブレット再構成を用いた拡大処理を行う用途に対しては、マザーウェーブレット情報を複数フレーム超解像補助情報に含めることができる。
【００４２】
図５は、本発明により一実施例の画像縮小装置における分散値決定部のブロック図である。分散値決定部２０４は、分散値可変制御部２０４１と、階層別高周波成分ガウシアンフィルタ処理部２０４２と、空間ウェーブレット再構成部２０４３と、画像比較処理部２０４４と、最小誤差分散値決定部２０４５とを備える。図６を参照しながら、分散値決定部２０４について説明する。
【００４３】
分散値可変制御部２０４１は、階層別高周波成分ガウシアンフィルタ処理部２０４２で用いるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を所定の範囲内で変化させる制御部であり、例えば初期値をσＣＨ（ｎ）＝０．１，σＣＶ（ｎ）＝０．１，σＣＤ（ｎ）＝０．１として、０．１刻みで１０．０まで変化させる。ここで説明する（ｎ）は、分解階数を表し、ｎ＝０は、原画像Ｆであり、ｎの値は画像縮小率に応じて定めることができる。また、符号ＣＨ，ＣＶ，ＣＤは、水平、垂直、斜め方向の高周波成分を示す。
【００４４】
階層別高周波成分ガウシアンフィルタ処理部２０４２は、ｎ階空間ウェーブレット分解画像（原画像Ｆからｎ階分の分解画像の水平低周波・垂直低周波の周波数成分ＣＡ（ｎ）、水平高周波・垂直低周波成分ＣＨ（ｎ）、水平低周波・垂直高周波成分ＣＶ（ｎ）、水平高周波・垂直高周波成分ＣＤ（ｎ））が入力され、分解階数ｎの低周波領域成分ＣＡ（ｎ）を１階離散ウェーブレット分解して、分解階数ｎ＋１における水平、垂直、斜め方向の各高周波領域成分ＣＡ（ｎ＋１），ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）を生成し（ステップＳ１０１）、空間ウェーブレット再構成部２０４３と協動して、ＣＨ（ｎ＋１）を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として水平、垂直方向に２倍拡大し（後述する式（２）により算出される）、ＥｘＣＨ（ｎ）を生成、同様にしてＣＶ（ｎ＋１）を基にＥｘＣＶ（ｎ），ＣＤ（ｎ＋１）を基にＥｘＣＤ（ｎ）を生成し（ステップＳ１０２）、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いたガウシアンフィルタ処理を行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を生成し（ステップＳ１０３）、低周波領域成分ＣＡ（ｎ）を空間低周波領域成分とし、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を空間高周波領域成分として、１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大し、ＧＥｘＣＡ（ｎ−１）を生成して、画像比較処理部２０４４に送出する（ステップＳ１０４）。
【００４５】
尚、原画像Ｆ（ｘ，ｙ，ｔ）は、ｎ階空間ウェーブレット分解ＤＷＴ（ｎ）（Ｆ（ｘ，ｙ，ｔ），ｗａｖｅｌｅｔ＿ｎ）を用いて、式（１）のように分解される。ｔは時間を示す。なお、ここでの説明に用いるウェーブレットをｗａｖｅｌｅｔ＿ｎとし、分解階数がｎ階の水平低周波・垂直低周波の周波数成分をＣＡ（ｎ）（χ，Ψ）、水平高周波・垂直低周波成分をＣＨ（ｎ）（χ，Ψ）、水平低周波・垂直高周波成分をＣＶ（ｎ）（χ，Ψ）、水平高周波・垂直高周波成分をＣＤ（ｎ）（χ，Ψ）とする。水平と垂直の（ｘ，ｙ）を（χ，Ψ）と表示したのは、解像度を変換すると、縦、横とも標本が半分になってしまうので、（ｘ，ｙ）と表示せず、（χ，Ψ）と表示している。
【００４６】
[ＣＡ（ｎ），ＣＨ（ｎ），ＣＶ（ｎ），ＣＤ（ｎ）]
＝ＤＷＴ（ｎ）（Ｆ（ｘ，ｙ，ｔ），ｗａｖｅｌｅｔ＿ｎ） （１）
【００４７】
式（２）に、ＣＨ（ｎ＋１）を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成した式を示す。０はゼロ行列を示す。
ＥｘＣＨ（ｎ）
＝ＩＤＷＴ（１）（ＣＨ（ｎ＋１），０，０，０，ｗａｖｅｌｅｔ＿ｎ） （２）
【００４８】
空間ウェーブレット再構成部２０４３は、階層別高周波成分ガウシアンフィルタ処理部２０４２で用いるウェーブレット再構成処理の画像を生成する機能部である。
【００４９】
画像比較処理部２０４４は、階層別高周波成分ガウシアンフィルタ処理部２０４２から得られるＧＥｘＣＡ（ｎ−１）を得た後、ＣＡ（ｎ−１）との間の差分値を算出して、最小誤差分散値決定部２０４５に送出する。
【００５０】
最小誤差分散値決定部２０４５は、画像比較処理部２０４４から得られる今回の差分値が前回の差分値より小さければ、今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそれぞれ記憶し、分散値可変制御部２０４１によってガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を変化させながら繰り返し行い、得られたＧＥｘＣＡ（ｎ−１）と同じ分解階数のＣＡ（ｎ−１）と比較し、ＧＥｘＣＡ（ｎ−１）とＣＡ（ｎ−１）との間の差分値が最も小さくなるときのガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を最小誤差分散値として決定し、単一フレーム超解像補助情報として外部に送出する。なお、最小誤差分散値決定部２０４５は図示しないメモリを有しており、このメモリに今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を記憶する。最初の１回目は前回の差分値が無いことから、今回算出した差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそのまま記憶する。また、画像の評価方法としては、平均二乗誤差（ＭＳＥ：Mean Square Error)があり、この評価方法を用いるとよい。
式（３）にガウシアンフィルタを示す。
Ｇａｕｓｓ（ｘ，ｙ，σ）＝ｅｘｐ（−（ｘ２＋ｙ２）／２σ２） （３）
【００５１】
式（３）のσ２は分散を表す。斜め方向高周波領域成分ＣＤ（ｎ＋１）を水平、垂直方向に２倍拡大してＥｘＣＤ（ｎ）を得た後（図６のステップＳ１０２）、式（３）のガウシアンフィルタを用いて式（４）に示すフィルタリング処理を行い（図６のステップＳ１０３）、ＧＥｘＣＤ（ｎ）を得る。なお、式（３）のσは、本処理がＥｘＣＤ（ｎ）のフィルタリングを行う処理内であるため、σＣＤ（ｎ）となる。
【００５２】
【数１】
【００５３】
また、階層別高周波成分ガウシアンフィルタ処理部２０４２は、空間ウェーブレット再構成部２０４３によって階層ｎ＋１における水平方向高周波領域成分ＣＨ（ｎ＋１）、垂直方向高周波領域成分ＣＶ（ｎ＋１）を、水平、垂直方向に２倍拡大した後、式（５）に示すような方向性拡張したガウシアンフィルタ処理を用いて拡大することができる。
ＥｘＧａｕｓｓ（ｘ，ｙ，α，β，σ）
＝ｅｘｐ（−（αｘ２＋βｙ２）／２σ２） （５）
【００５４】
式（５）のα，βは方向性拡張係数であり、水平方向高周波領域成分ＣＨ（ｎ）の場合はα＝１，β＝０、垂直方向高周波領域成分ＣＶ（ｎ）の場合はα＝０，β＝１となる。以下では、σＣＨ（ｎ）を決定する場合のみを説明するが、σＣＤ（ｎ）も同様に決定することができる。
【００５５】
階層ｎ＋１における水平方向高周波領域成分ＣＨ（ｎ＋１）を水平、垂直方向に２倍拡大してＥｘＣＨ（ｎ）を得た後、式（５）の方向性拡張したガウシアンフィルタを用いて、式（６）に示すフィルタリング処理を行い、ＧＥｘＣＨ（ｎ）を得る。なお、式（５）のσは、本処理がＣＨ（ｎ）のフィルタリングを行う処理内であるため、σＣＨ（ｎ）となる。
【００５６】
【数２】
【００５７】
したがって、分散値決定部２０４は、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を計算した後、ＣＡ（ｎ），ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を用いて１階離散ウェーブレット再構成を行い（図６のステップＳ１０４）、ＧＥｘＣＡ（ｎ−１）を得た後に、式（７）に示すように、ＣＡ（ｎ−１）の領域とＧＥｘＣＡ（ｎ−１）の領域における平均二乗誤差（ＲＭＳ)の計算を行い、ＲＭＳ(ＣＡ（ｎ−１）)及びＲＭＳ(ＧＥｘＣＡ（ｎ−１）)を得て、その差分値を計算する（図６のステップＳ１０５）。分散値決定部２０４は、以上の処理をガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）の値を変化させながら行い、Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））が最小となるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を求めることができる。
【００５８】
Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））
＝ＲＭＳ（ＣＡ（ｎ−１）（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）））
−ＲＭＳ（ＧＥｘＣＡ（ｎ−１）（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））
σＣＨ（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ）））
σＣＶ（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σＣＶ（ｎ））） （７）
【００５９】
なお、本実施例では、ＧＥｘＣＡ（ｎ−１）とＣＡ（ｎ−１）とを比較することにより、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するようにしたが、ＣＨ（ｎ）とＧＥｘＣＨ（ｎ）、ＣＶ（ｎ）とＧＥｘＣＶ（ｎ）、及びＣＤ（ｎ）とＧＥｘＣＤ（ｎ）のそれぞれを比較することにより、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するようにしてもよい。
【００６０】
例えば、図７は、分散値決定部２０４における図６に示す動作の変形例の概要を示しており、分散値決定部２０４は、前述と同様に、ｎ階空間ウェーブレット分解画像（原画像Ｆからｎ階分の分解画像の水平低周波・垂直低周波の周波数成分ＣＡ（ｎ）、水平高周波・垂直低周波成分ＣＨ（ｎ）、水平低周波・垂直高周波成分ＣＶ（ｎ）、水平高周波・垂直高周波成分ＣＤ（ｎ））が入力され、分解階数ｎの低周波領域成分ＣＡ（ｎ）を１階離散ウェーブレット分解して、分解階数ｎ＋１における水平、垂直、斜め方向の各高周波領域成分ＣＡ（ｎ＋１），ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）を生成し（ステップＳ２０１）、空間ウェーブレット再構成部２０４３と協動して、ＣＨ（ｎ＋１）を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として式（２）により水平、垂直方向に２倍拡大しＥｘＣＨ（ｎ）を生成、同様にしてＣＶ（ｎ＋１）を基にＥｘＣＶ（ｎ），ＣＤ（ｎ＋１）を基にＥｘＣＤ（ｎ）を生成し（ステップＳ２０２）、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いたガウシアンフィルタ処理を行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を生成する（ステップＳ２０３）。本変形例では、分散値決定部２０４は、ＣＨ（ｎ）とＧＥｘＣＨ（ｎ）の比較において平均二乗誤差（ＭＳＥ）が最小となる分散値σＣＨ（ｎ）を求め、ＣＶ（ｎ）とＧＥｘＣＶ（ｎ）の比較において平均二乗誤差が最小となる分散値σＣＶ（ｎ）を求め、ＣＤ（ｎ）とＧＥｘＣＤ（ｎ）の比較において平均二乗誤差が最小となる分散値σＣＤ（ｎ）を求める。
【００６１】
このようにして、分散値決定部２０４では、空間ウェーブレット分解とガウシアンフィルタ処理を用いて縮小画像が持つスペクトラム情報から縮小画像のナイキスト周波数を超える空間高周波成分を生成し、原画像からの空間ウェーブレット分解画像との比較によってガウシアン分散値を最適化した最小誤差分散値を含む単一フレーム超解像補助情報を生成する。
【００６２】
なお、線形（直線）位相特性を持つＨａａｒ等のウェーブレット以外のウェーブレットを用いる場合は、ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）の位相に注意する必要がある。ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を水平、垂直位相（φμ，φν）分だけずらした画像ＥｘＣＨ（ｎ）（χ＋φμ，Ψ＋φν），ＥｘＣＶ（ｎ）（χ＋φμ，Ψ＋φν），ＥｘＣＤ（ｎ）（χ＋φμ，Ψ＋φν）についてＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得て、位相を変化させながら最終的にガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するとよい。但し、本実施例では、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を変化させながらＣＡ（ｎ−１）とＧＥｘＣＡ（ｎ−１）を比較するため、この部分で位相ずれによる劣化はある程度吸収される。このため、処理量も多く大規模回路処理となる位相合わせ処理は必ずしも必要ではない。
【００６３】
以上のように、縮小画像列のほかに、単一フレーム補助情報及び複数フレーム超解像補助情報を拡大処理装置側に提供するように構成し、従来のような補助情報を用いることなく単に拡大処理を実行する技法よりも、拡大処理時の画素の位置合わせ精度の高い超解像処理を実現することができる。後述するように、動領域などでは複数フレーム超解像補助情報を用いたほうが、原画像が持つ真の空間高周波に近い成分が得られ、静止領域などでは単一フレーム超解像補助情報を用いたほうが、原画像が持つ真の空間高周波に近い成分が得られ、画素の位置合わせ精度が高くなることが期待できる。そこで、本発明に係る拡大処理装置５０は、画像縮小装置１０から、縮小画像列のほかに、単一フレーム補助情報及び複数フレーム超解像補助情報を取得し、縮小画像列の拡大処理を行うにあたって、予め定めた点広がり関数を用いた拡大処理で生成した画素補完候補を基準にして、単一フレーム補助情報を用いた画素補完候補と、複数フレーム超解像補助情報を用いた画素補完候補を生成して選別し、より高画質な超解像画像を生成可能とする。
【００６４】
以下、本発明による一実施例の画像拡大装置について説明する。
【００６５】
〔画像拡大装置〕
図８は、本発明による一実施例の画像拡大装置のブロック図である。本実施例の画像拡大装置５０は、縮小画像列に対して、単一フレーム補助情報及び複数フレーム超解像補助情報を用いてそれぞれ当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点を画素補完する画素補完候補を生成し、基準画素補完候補を用いて画素補完候補を選別して画素補完後の拡大画像を用いて原画像列に対応する拡大画像列を生成する装置であり、制御部６０と、記憶部７０とを備える。制御部６０は、第１画素補完候補生成部６０１と、第２画素補完候補生成部６０２と、画素補完候補選別処理部６０３と、拡大画像生成部６０４とを備える。本実施例の画像拡大装置５０をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部７０に記憶される。コンピュータに備えられる制御部７０は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部７０から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。
【００６６】
第１画素補完候補生成部６０１は、画像縮小装置１０によって生成された縮小画像列に対して、複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成する機能部であり、図９に示すように、位置合わせ処理部６０１１と、画素補完候補生成部６０１２とを備える。位置合わせ処理部６０１１は、画像縮小装置１０から、縮小画像列と、修正後位置合わせ情報、ブロック分割サイズ情報、画像縮小率情報及び点広がり関数情報を含む複数フレーム超解像補助情報とを入力し、まず、縮小画像列における被処理フレーム位置の縮小画像について、入力される画像縮小率情報を用いて当該画像縮小率に対応する拡大率で、縮小画像列に対応する被超解像処理フレーム列（つまり、補完を要する標本点が存在するブロックからなる被超解像処理フレーム）を生成し、ブロック分割サイズ情報に基づく個々のブロックにおける画素値について、修正後位置合わせ情報を含む複数フレーム超解像補助情報に基づいて各縮小画像列からの画素の対応付けを行う。画素補完候補生成部６０１２は、被超解像処理フレーム列において拡大されたブロックにて対応付けされた画素位置ごとに、複数フレーム超解像補助情報に含まれる点広がり関数情報を用いて、生成した被超解像処理フレーム列におけるブロック毎の画素補完候補を生成する。
【００６７】
第２画素補完候補生成部６０２は、画像縮小装置によって生成された縮小画像列の各縮小画像に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに当該ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成する機能部であり、図１０に示すように、空間ウェーブレット分解処理部６０２１と、階層別高周波成分ガウシアンフィルタ処理部６０２２と、空間ウェーブレット再構成処理部６０２３とを備える。
【００６８】
空間ウェーブレット分解処理部６０２１は、単一フレーム超解像補助情報がｎ階分の空間ウェーブレット分解による高周波の画像分解領域ごとのガウシアンフィルタの最適分散値の情報を有するものである場合に、縮小画像に対してｎ＋１階離散ウェーブレット分解を施して、ｎ＋１階離散ウェーブレット分解画像を生成する。階層別高周波成分ガウシアンフィルタ処理部６０２２は、ｎ＋１階離散ウェーブレット分解画像を基に行う１階離散ウェーブレット再構成処理について、当該縮小画像をｎ階の低周波成分として各ｎ階における再構成画像の高周波成分に対して、当該単一フレーム超解像補助情報を用いて階層毎のガウシアンフィルタ処理を実行しながらｎ階分繰返し施し、ガウシアンフィルタ処理を実行したｎ階分の空間ウェーブレット分解画像を生成する。空間ウェーブレット再構成処理部６０２３は、ガウシアンフィルタ処理を実行したｎ階分の空間ウェーブレット分解画像について空間ウェーブレット再構成処理を施すことにより、被超解像処理フレーム列におけるブロック毎の画素補完候補を生成する。
【００６９】
尚、第２画素補完候補生成部６０２は、単一フレーム超解像補助情報が１階空間ウェーブレット分解による高周波の画像分解領域ごとのガウシアンフィルタの最適分散値の情報を有するものである場合も、縮小画像に対して１階離散ウェーブレット分解を施し、この縮小画像に対して１階離散ウェーブレット分解した画像について１階離散ウェーブレット再構成処理を施し、当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分としてガウシアンフィルタ処理を実行後の再構成画像の高周波成分とする空間ウェーブレット分解画像を生成し、ガウシアンフィルタ処理を実行した高周波成分を有する空間ウェーブレット分解画像について空間ウェーブレット再構成処理を施すことにより、被超解像処理フレーム列におけるブロック毎の画素補完候補を生成することができる。
【００７０】
また、単一フレーム超解像補助情報がｎ階分の空間ウェーブレット分解による高周波の画像分解領域ごとのガウシアンフィルタの最適分散値の情報を有するものであるときに、画像分解領域ごとに階層毎のガウシアンフィルタ処理を実行する際に、縮小画像を用いて再構成した画素値と、ガウシアンフィルタ処理を実行した画素値との差分値を算出して所定の閾値以下となる場合にのみガウシアンフィルタ処理を実行した画素値を利用するのが好適である。
【００７１】
第２画素補完候補生成部６０２による画素補完候補の生成処理の様子は、前述した図６及び図７と同様となるが、図６に対応する例を図１２に示している。図１２は、第２画素補完候補生成部６０２による画素補完候補の生成処理の様子を示す図である。まず、空間ウェーブレット分解処理部６０２１は、式（８）に示すように、入力される縮小画像列ＣＡ（ｎ）について１階離散ウェーブレット分解ＤＷＴ（１）し、ＣＡ（ｎ＋１），ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）を得る（ステップＳ３０１）。
［ＣＡ（ｎ＋１），ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）］
＝ＤＷＴ（１）（ＣＡ（ｎ），ｗａｖｅｌｅｔ＿ｎ） （８）
【００７２】
そして、階層別高周波成分ガウシアンフィルタ処理部６０２２は、ＣＡ（ｎ＋１），ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）と分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて、水平、垂直、斜め方向拡大成分を計算する。つまり、階層別高周波成分ガウシアンフィルタ処理部６０２２は、ＣＤ（ｎ＋１）を空間低周波領域成分とし空間高周波領域成分に同じサイズのゼロ行列として、１階離散ウェーブレット再構成して水平２倍、垂直２倍拡大成分ＥｘＣＤ（ｎ）を算出し、同様にして、ＣＨ（ｎ＋１）とＣＶ（ｎ＋１）から１階離散ウェーブレット再構成して水平２倍、垂直２倍拡大成分ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ）を生成し、ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）に対し、分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）のガウシアンフィルタ処理を行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得る（ステップＳ３０３）。
【００７３】
そして、空間ウェーブレット再構成処理部６０２３は、式（９）に示すように、ＣＡ（ｎ）,ＧＥｘＣＨ（ｎ）,ＧＥｘＣＶ（ｎ）,ＧＥｘＣＤ（ｎ）を用いて、１階離散ウェーブレット再構成を行う（ステップＳ３０４）。
［ＣＡ（ｎ−１）］
＝ＩＤＷＴ（１）(ＣＡ（ｎ）, ＧＥｘＣＨ（ｎ）, ＧＥｘＣＶ（ｎ）, ＧＥｘＣＤ（ｎ）,ｗａｖｅｌｅｔ＿ｎ） （９）
【００７４】
第２画素補完候補生成部６０２は、以降、ｎ＝ｎ−１として、ｎ＝０となるまで繰り返す（ステップＳ３０５）。
【００７５】
画素補完候補選別処理部６０３は、予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別する処理部であり、図１１に示すように、基準点広がり関数画素補完候補生成部６０３１と、第１画素補完候補比較処理部６０３２と、第２画素補完候補比較処理部６０３３と、画素補完候補決定部６０３４とを備える。
【００７６】
基準点広がり関数画素補完候補生成部６０３１は、縮小画像を基準点広がり関数により拡大することで、被超解像フレーム上にて、補完対象の画素単位で基準点広がり関数画素補完候補を生成して割り付ける。この基準点広がり関数は、縮小対象とする原画像列の各原画像フレームに対して縮小処理を施して構成する縮小画像列について、この「縮小時の劣化」を最も抑制して復元する（原画像に近くなる）点広がり関数を基準点広がり関数として画像縮小装置１０側で予め事前に学習しておき、この基準点広がり関数を基準点広がり関数画素補完候補生成部６０３１が予め保持しているものとする。尚、この基準点広がり関数の情報は、例えば補助情報として事前に伝送したり、逐次、複数フレーム超解像補助情報に含めて伝送したりする態様で、画像縮小装置１０から画像拡大装置５０に伝送するように構成してもよい。また、基準点広がり関数は、動き量適応型点広がり関数ではない線形拡大処理の点広がり関数を用いるのが好適であり、任意の固定値からなる線形拡大処理の点広がり関数とすることができる。
【００７７】
第１画素補完候補比較処理部６０３２は、補完対象の画素位置に、基準点広がり関数画素補完候補、及び複数フレーム画素補完候補が存在する場合に、基準点広がり関数画素補完候補及び複数フレーム画素補完候補の画素差分値を算出し、算出した画素差分値が閾値Ｔｈ＿Ａ以上の場合には当該複数フレーム画素補完候補の確度が低いとして判断して棄却する。これは、複数フレーム画素補完候補が基準点広がり関数画素補完候補に近い画素値を有している場合にのみ画素補完候補として採用することを意味する。
【００７８】
第２画素補完候補比較処理部６０３３は、補完対象の画素位置に、基準点広がり関数画素補完候補、及び単一フレーム画素補完候補が存在する場合に、基準点広がり関数画素補完候補及び単一フレーム画素補完候補の画素差分値を算出し、算出した画素差分値が閾値Ｔｈ＿Ａ（上記と同値の閾値）以上の場合には当該単一フレーム画素補完候補の確度が低いとして判断して棄却する。これは、単一フレーム画素補完候補が基準点広がり関数画素補完候補に近い画素値を有している場合にのみ画素補完候補として採用することを意味する。
【００７９】
画素補完候補決定部６０３４は、補完対象の画素位置に、基準点広がり関数画素補完候補との比較処理で棄却されているか否かに関わらず、基準点広がり関数画素補完候補が入力され、基準点広がり関数画素補完候補との比較処理で棄却されていない場合には、複数フレーム画素補完候補又は単一フレーム画素補完候補のいずれか一方又は双方が入力される。そこで、画素補完候補決定部６０３４は、補完対象の画素位置に、複数フレーム画素補完候補及び単一フレーム画素補完候補のいずれか一方が存在するときには、第１画素補完候補比較処理部６０３２及び第２画素補完候補比較処理部６０３３で判断された画素補完候補を採用し、一方、補完対象の画素位置に、複数フレーム画素補完候補及び単一フレーム画素補完候補の双方が存在するときには、複数フレーム画素補完候補及び単一フレーム画素補完候補の画素差分値を算出し、算出した画素差分値が閾値Ｔｈ＿Ｂ（上記と同値の閾値としてもよい）以上の場合には、複数フレーム画素補完候補及び単一フレーム画素補完候補の双方を棄却して基準点広がり関数画素補完候補を採用し、当該算出した画素差分値が閾値Ｔｈ＿Ｂ（上記と同値の閾値としてもよい）未満の場合には、単一フレーム画素補完候補を棄却して、複数フレーム画素補完候補を採用する。画素補完候補決定部６０３４の処理は、確度の高い基準点広がり関数画素補完候補を基準としつつ、より高画質な画素補完候補を採用するよう選別することを意図したものであるが、複数フレーム画素補完候補及び単一フレーム画素補完候補の画素差分値が閾値Ｔｈ＿Ｂ以上の場合にその双方を棄却する理由は、基準点広がり関数画素補完候補との比較処理で棄却されていない場合にて複数フレーム画素補完候補及び単一フレーム画素補完候補の双方の差が大きいことは、いずれの候補も確度が低いと考えられるためである。
【００８０】
画素補完候補決定部６０３４の処理により、被超解像フレーム上に、基準点広がり関数画素補完候補、単一フレーム画素補完候補又は複数フレーム画素補完候補について最終決定した画素補完候補が拡大画像生成部６０４に送出される。
【００８１】
拡大画像生成部６０４は、画素補完候補選別処理部６０３によって選別された画素補完候補を用いて縮小画像列を拡大する。
【００８２】
ここで、画素補完候補決定部６０３４によって、基準点広がり関数画素補完候補を基準にして、単一フレーム画素補完候補と複数フレーム画素補完候補を選別することの意義について補足説明する。画像拡大装置５０にて、「動領域及び静止領域」を適切に区別して復元した画像を高画質として称することとすると、高画質の画素補完候補は、複数フレーム画素補完候補、単一フレーム画素補完候補、及び基準点広がり関数画素補完候補の順になることは分かっているが、復元対象のブロック内における確度が不明であることから、複数の画素候補があるときなど、「動領域及び静止領域」を適切に区別可能な画素補完候補の選別処理が必要になる。
【００８３】
つまり、複数フレーム超解像補助情報を用いた拡大画素補完候補は、原画像列に対して高精度の位置合わせを行って生成されたものとなるため、動領域については原画像が持つ真の成分の画素補完候補となるが、静止領域については、単一フレーム超解像補助情報を用いた拡大画素補完候補のほうがより原画像が持つ真の成分の画素補完候補となることが想定される。
【００８４】
ただし、複数フレーム画素補完候補の生成における位置合わせは、複数フレームに基づいた画像拡大時のブロック領域単位となり、単一フレーム画素補完候補の生成における最適化された分散値による位置合わせは、単一フレームに基づいた画像拡大時のブロック領域単位（又は画面全体）となることから、少なくとも画像拡大時のブロック領域単位で拡大補完対象の任意の画素位置において、基準点広がり関数画素補完候補及び単一フレーム画素補完候補が存在するが、動領域であるか否かで複数フレーム画素補完候補が存在する場合と存在しない場合が生じることに留意する。また、基準点広がり関数画素補完候補は、動領域（特に、動きぼけが生じる領域）では位置合わせ精度として高精度とはいえない画素補完候補ではあるが、縮小画像から線形処理で得た画素補完候補のため確度（信頼度）は高い。
【００８５】
そこで、本実施例の画像拡大装置５０では、画素補完候補決定部６０３４によって、基準点広がり関数画素補完候補を基準にして、単一フレーム画素補完候補と複数フレーム画素補完候補を選別するため、縮小画像列を拡大画像列に復元する際に、確度の高い高画質となる画素補完候補を適切に選択して拡大画像を生成することができるようになる。
【００８６】
次に、図１３〜図２３を参照して、画像縮小装置１０における位置合わせ情報生成部の別例を説明する。
【００８７】
（位置合わせ情報の生成）
位置合わせ情報生成部２０１ｂとして、時間方向及び空間方向の周波数解析にウェーブレット変換を用いる場合について説明する。尚、時間方向及び空間方向の周波数解析には、ウェーブレット変換を用いる場合以外に、他の直交変換又はＦＦＴ（Fast Fourier transform）を用いることができる。
【００８８】
[装置構成]
図１３は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部のブロック図である。本例の位置合わせ情報生成部２０１ｂは、原画像列の時間方向スペクトルパワーを算出して空間方向の周波数分解階層数を決定し、周波数分解階層数に応じた空間解像度で原画像の空間解像度となるまで階層的に位置合わせを行なった情報を位置合わせ情報として生成する機能を有し、具体的には、時間方向高周波領域パワー算出部２０１１ｂと、空間分解階数決定部２０１２ｂと、空間方向低周波領域パワー算出部２０１３ｂと、位置合わせ開始分解能決定部２０１４ｂと、階層型位置合わせ処理部２０１５ｂとを備える。
【００８９】
時間方向高周波領域パワー算出部２０１１ｂは、位置合わせ処理を行う基準フレームＦ（ｔＣ）及び位置合わせ情報の探索に用いる参照フレームＦ（ｔＲ）を含む、時刻ｔ＝ｔ０・・・ｔｍにおける複数フレームのフレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力し、基準フレームＦ（ｔＣ）における全画素について、この複数フレームを時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部２０１２ｂに送出する。
【００９０】
例えば、図１４に示すように、時間方向高周波領域パワー算出部２０１１ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を含む、時刻ｔ＝ｔ０・・・ｔｍにおけるフレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力し、基準フレームＦ（ｔＣ）の全画素について時間方向に予め規定したＮｍａｘ階（例えば、４階）の離散ウェーブレット分解を行う時間方向１次元Ｎｍａｘ階離散ウェーブレット分解処理部２１１１ｂと、基準フレームＦ（ｔＣ）の全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部２０１２ｂに送出する時間方向周波数帯域別パワー算出部２１１２ｂから構成することができる。
【００９１】
空間分解階数決定部２０１２は、時間方向高周波領域パワー算出部２０１１ｂによって算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど、動領域面積が大きく、且つ動き量が大きいと判断し、時間方向の高周波領域のパワーの割合に応じて空間周波数の分解階数Ｎｓ（即ち、空間方向の分解能）を決定し、決定した空間周波数の分解階数Ｎｓの情報を空間方向低周波領域パワー算出部２０１３ｂに送出する。
【００９２】
空間方向低周波領域パワー算出部２０１３ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）と空間周波数の分解階数Ｎｓの情報を入力し、空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ（ｔＣ）及び／又は参照フレームＦ（ｔＲ）に対して空間Ｎｓ階離散ウェーブレット分解を実行し、当該フレームにおける空間周波数帯域毎のパワーを算出し、算出した空間周波数帯域毎のパワーから当該フレームにおける空間方向の低周波領域のパワーの割合を算出し、算出した空間方向の低周波領域のパワーの割合と空間Ｎｓ階離散ウェーブレット分解したデータを位置合わせ開始分解能決定部２０１４ｂに送出する。
【００９３】
尚、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の双方に対して空間Ｎｓ階離散ウェーブレット分解を実行することは、後の処理として、固定のブロックサイズ及び探索範囲の大きさで階層型位置合わせ処理を行う際のウェーブレット再構成を階層的に行うことにより、元画像に対して可変のブロックサイズ及び探索範囲の大きさとする階層型位置合わせ処理を行うことができる点で有利であり、特に、位置合わせ処理を階層的に行うための分解能の決定のためには、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）のうちの空間方向の低周波領域のパワーの割合が大きいほうを選定するのが好適となる。以下の説明では、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の双方について空間Ｎｓ階離散ウェーブレット分解を行う例を説明する。
【００９４】
例えば、図１５に示すように、空間方向低周波領域パワー算出部２０１３ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、空間分解階数決定部２０１２ｂによって決定した空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々の全画素に対して空間Ｎｓ階離散ウェーブレット分解を行う空間方向２次元Ｎｓ階離散ウェーブレット分解処理部２１３１ｂと、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々における空間周波数帯域毎のパワーを算出し、算出した空間周波数帯域毎のパワーから基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々における空間方向の低周波領域のパワーの割合を算出し、算出した基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々における空間方向の低周波領域のパワーの割合の大きいほうの情報を位置合わせ開始分解能決定部２０１４ｂに送出する空間方向周波数帯域別パワー算出部２１３２ｂから構成することができる。
【００９５】
位置合わせ開始分解能決定部２０１４ｂは、空間方向低周波領域パワー算出部２０１３ｂによって算出した空間方向の低周波領域のパワーの割合の情報から、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）、動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせ処理を階層的に開始するための分解能（以下、「位置合わせ開始分解能」と称する）が小さい値（即ち、低解像度画像）となるように、空間方向の低周波領域のパワーの割合に応じて位置合わせ開始分解能を決定し、決定した階層的な位置合わせ開始分解能の情報を階層型位置合わせ処理部２０１５ｂに送出する。
【００９６】
例えば、図１６に示すように、位置合わせ開始分解能決定部２０１４ｂは、空間方向低周波領域パワー算出部２０１３ｂによって算出した空間方向の低周波領域のパワーの割合から、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせを開始する階数（以下、「位置合わせ開始階数」と称する）ｎｓが大きな値となるように、空間方向の低周波領域のパワーの割合に応じて位置合わせ開始階数ｎｓを決定し、決定した位置合わせ開始階数ｎｓの情報を階層型位置合わせ処理部２０１５ｂに送出する位置合わせ開始階数決定部２１４１ｂとして構成することができる。
【００９７】
階層型位置合わせ処理部２０１５ｂは、位置合わせ開始階数ｎｓに応じた空間方向に低周波領域の基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の画像を得るために、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の空間方向２次元Ｎｓ階離散ウェーブレット分解したデータに対して、位置合わせ開始階数ｎｓに応じた空間ｎｓ階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ処理を実行し、続いて空間ｎｓ−１階ウェーブレットの再構成を行い、当該予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ処理を再度実行し、最上位の階層（即ち、元の画像レベル）にて当該予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ情報の検出を行うまで階数をデクリメントして繰り返す。この階層型位置合わせ処理の動作は、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、位置合わせ開始分解能に基づいて、基準フレームＦ（ｔＣ）に対して順次ブロックサイズ及び探索範囲の大きさを縮小しながら位置合わせ処理を行うことと類似した処理となる。ただし、空間ｎｓ階ウェーブレット分解及び再構成を経て順次繰り返すことによる階層型位置合わせ処理によれば、階層に応じて順次可変にすべきブロックサイズ及び探索範囲の大きさを用意する必要がなく固定とすることができ、且つ画像シーンに応じた位置合わせ開始階数ｎｓに応じた位置合わせ処理を行うため、高精度化が期待できる。
【００９８】
例えば、図１７に示すように、階層型位置合わせ処理部２０１５ｂは、位置合わせ開始階数ｎｓに応じた空間方向に低周波領域の基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の画像を得るために位置合わせ開始階数ｎｓに応じた空間ｎｓ階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで小数画素精度のブロックマッチングによる位置合わせ処理を行う位置合わせ情報生成部２１５１ｂと、この位置合わせ情報の生成処理を最上位の階数に対応する元の画像レベルとなるまで階数をデクリメントして繰り返すために、空間方向低周波領域パワー算出部２０１３ｂによって算出した空間Ｎｓ階離散ウェーブレット分解データに対して位置合わせ開始階数ｎｓよりも上位の階数の画像となるように空間方向に１階上位のウェーブレット再構成を実行して位置合わせ情報生成部２１５１ｂに送出する空間１階ウェーブレット再構成部２１５２ｂから構成することができる。従って、位置合わせ情報生成部２１５１ｂは、空間１階ウェーブレット再構成部２１５２ｂから得られる基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の再構成画像を用いて、位置合わせ処理を階層的に繰り返し、最終的な位置合わせ情報を決定して出力することができる。
【００９９】
以下、本例の位置合わせ情報生成部の動作について更に詳細に説明する。
【０１００】
[装置動作]
図１８は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部の動作を示す動作フローである。ステップＳ１にて、位置合わせ情報生成部２０１ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を含む、時刻ｔ＝ｔ０・・・ｔｍにおけるフレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力して、位置合わせ情報生成部２０１ｂが備える記憶部（図示せず）に適宜読み出し可能に格納する。
【０１０１】
ステップＳ２にて、時間方向高周波領域パワー算出部２０１１ｂにより、フレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力し、基準フレームＦ（ｔＣ）における全画素について時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出する。
【０１０２】
例えば、図１９に示すように、フレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）における或る画素Ｒ（ｋ，ｌ）について、時間方向に予め規定した最大階数（Ｎｍａｘ）の周波領域に分解した後、全画素における時間方向周波数帯域毎のパワーを算出することができる。例えば、図２０に示すように、１６フレームのフレーム画像列Ｆ（ｔ）を時間方向にＮｍａｘ階に分解するとすれば、Ｎｍａｘ＝１では、低周波領域Ｌ１及び高周波領域Ｈ１として分割することができ（図２０（ａ）参照）、Ｎｍａｘ＝２では、低周波領域Ｌ２及び高周波領域Ｈ１，Ｈ２として分割することができ（図２０（ｂ）参照）、Ｎｍａｘ＝３では、低周波領域Ｌ３及び高周波領域Ｈ１，Ｈ２，Ｈ３として分割することができ（図２０（ｃ）参照）、Ｎｍａｘ＝４では、低周波領域Ｌ４及び高周波領域Ｈ１，Ｈ２，Ｈ３，Ｈ４として分割することができる（図２０（ｄ）参照）。
【０１０３】
ステップＳ３にて、空間分解階数決定部２０１２ｂにより、算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど動領域面積が大きく、且つ動き量が大きいと判断し、空間周波数の分解階数Ｎｓが大きな値となるように、時間方向の高周波領域のパワーの割合に応じて準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の空間周波数の分解階数Ｎｓを決定する。
【０１０４】
例えば、表１に示すように、時間方向の高周波領域のパワーの割合と空間周波数の分解階数Ｎｓとの間で規定されるテーブルを予め保持しておく。
【０１０５】
【表１】
【０１０６】
ステップＳ４にて、空間方向低周波領域パワー算出部２０１３ｂにより、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、空間分解階数決定部２０１２ｂによって決定した空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）に対して空間Ｎｓ階離散ウェーブレット分解を実行し、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）における空間周波数帯域毎のパワーをそれぞれ算出し、位置合わせ開始分解能（又は位置合わせ開始階数ｎｓ）の決定のために、算出した空間周波数帯域毎のパワーから基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）における空間周波数帯域毎のパワーの割合の大きいほうを選定する。基準フレームＦ（ｔＣ）又は参照フレームＦ（ｔＲ）における空間周波数帯域毎のパワーの割合のみを算出してもよい。
【０１０７】
例えば、図２１（ａ）に示すように、基準フレームＦ（ｔＣ）の全画素に対して空間方向に２次元２階離散ウェーブレット分解を実行して、各周波領域のパワーを算出し、算出した空間周波数帯域毎のパワーから空間方向の低周波領域のパワーの割合を算出することができる。また、図２１（ｂ）に示すように、基準フレームＦ（ｔＣ）の空間方向の低周波領域（例えば、ＬＬ２）のみを抽出して基準フレームＦ（ｔＣ）の低周波領域のみの画像を再構成することができる。
【０１０８】
ステップＳ５にて、位置合わせ開始分解能決定部２０１４ｂにより、空間Ｎｓ階離散ウェーブレット分解データ及び空間方向の低周波領域のパワーの割合から、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせ開始分解能が小さい値（位置合わせ開始階数ｎｓが大きい値）となるように、空間方向の低周波領域のパワーの割合に応じて階層的な位置合わせ開始分解能（又は位置合わせ開始階数ｎｓ）を決定する。ただし、ｎｓ≦Ｎｓである。
【０１０９】
例えば、表２に示すように、空間方向の低周波領域のパワーの割合と位置合わせ開始分解能（又は位置合わせ開始階数ｎｓ）との間で規定されるテーブルを予め保持しておく。尚、位置合わせ開始階数が大きくなるにつれて、元の画像が低解像度化することを意味しており、元の画像に対して相対的にブロックサイズ及び位置合わせ情報の探索範囲の大きさが増大することを意味している。例えば、空間分解能１／１６，１／８，１／４，１／２とすれば、それぞれ（ブロックサイズ，位置合わせ情報の探索範囲の大きさ）は、（１６×１６，水平・垂直１６画素），（８×８，水平・垂直８画素），（４×４，水平・垂直４画素），（２×２，水平・垂直２画素）などである。ここで、例えば、空間分解能１／１６は、元の画像における水平標本化周波数Ｈｓ及び垂直標本化周波数Ｖｓにおいて、１６画素を１画素として標本化する低解像度化を意味する。
【０１１０】
【表２】
【０１１１】
つまり、図２２に示すように、空間方向の低周波領域のパワーの割合によって、位置合わせ開始階数ｎｓを関連付けることができる。例えば、Ｎｓ＝４のとき、低周波領域（ＬＬ４）及び高周波領域（ＬＬ４以外）のそれぞれのパワーを算出して、全体における低周波領域（ＬＬ４）の割合が、９９．５％以上であれば、位置合わせ開始階数ｎｓ＝４として４階層の低周波領域のみの画像を再構成することができる（図２２（ｄ）参照）。また、全体における低周波領域（ＬＬ４）の割合が、９８．０％以上９９．５％未満であれば、位置合わせ開始階数ｎｓ＝３として３階層の低周波領域（この場合、ＬＬ３）のみの画像を再構成することができる（図２２（ｃ）参照）。同様に、全体における低周波領域（ＬＬ４）の割合が、９５．０％以上９８．０％未満であれば、位置合わせ開始階数ｎｓ＝２として２階層の低周波領域（この場合、ＬＬ２）のみの画像を再構成することができ（図２２（ｂ）参照）、全体における低周波領域（ＬＬ４）の割合が、９５．０％未満であれば、位置合わせ開始階数ｎｓ＝１として１階層の低周波領域（この場合、ＬＬ１）のみの画像を再構成することができる（図２２（ａ）参照）。
【０１１２】
ステップＳ６にて、階層型位置合わせ処理部２０１５ｂにより、位置合わせ開始分解能（位置合わせ開始階数ｎｓ）に基づいた基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の低周波画像に対して、基準フレームＦ（ｔＣ）の低周波画像を所定のブロックサイズに分割し、分割した各ブロックについて、所定の位置合わせ情報の探索範囲の大きさで、小数画素精度のブロックマッチングによる位置合わせ情報の生成処理を行う。
【０１１３】
ステップＳ７にて、階層型位置合わせ処理部２０１５ｂにより、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）に対してブロックサイズ及び位置合わせ情報の探索範囲の大きさを縮小しながら位置合わせ処理を繰り返す効果を得るために、算出していた基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の空間ｎｓ階離散ウェーブレット分解データに対して位置合わせ開始階数ｎｓよりも上位の階数の画像となるように空間方向に１階上位のウェーブレット再構成を実行する。
【０１１４】
階層型位置合わせ処理部２０１５ｂは、空間１階ウェーブレット再構成部２１５２ｂから得られる基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の再構成画像を用いて、最上位の階層（即ち、元の画像レベルにおける位置合わせ情報）となるまで順次階数をデクリメントして位置合わせ処理を繰り返し（ステップＳ８）、最終的な位置合わせ情報を決定して出力することができる（ステップＳ９）。
【０１１５】
例えば、図２３（ａ）〜（ｄ）に示すように、位置合わせ開始階数ｎｓが大きいほどブロックサイズが大きくなる様子を示しており、ブロックサイズが大きいほど参照フレームＦ（ｔＲ）における位置合わせ情報の探索範囲の大きさも大きくなる。
【０１１６】
つまり、基準フレームＦ（ｔＣ）のｎｓ階低周波画像を水平及び垂直のブロックサイズ（Ｂｘｎｓ，Ｂｙｎｓ）の或るブロックＢｎｓ（上添え字は、階層を示す）に分割し、参照フレームＦ（ｔＲ）の±Ｓｘｎｓ，±Ｓｙｎｓの範囲（例えば、±２ブロック）で探索し、各ブロックの位置合わせ情報ｖｎｓを算出する。次に、基準フレームＦ（ｔＣ）のｎｓ−１階低周波画像を、ブロックサイズ（Ｂｘｎｓ，Ｂｙｎｓ）で分割し、参照フレームＦ（ｔＲ）のｎｓ階低周波画像上の同じ位置から２×ｖｎｓだけずらした場所を中心位置とする水平及び垂直画素数としてそれぞれ±Ｓｘｎｓ，±Ｓｙｎｓの範囲で探索し、得られた位置合わせ情報に２×ｖｎｓをベクトル加算して、ｎｓ−１階低周波画像における位置合わせ情報ｖｎｓ−１を算出する。このようにして、最上位の階数（即ち、１階）まで位置合わせ処理を繰り返すことにより、高精度化を図ることができる。
【０１１７】
尚、位置合わせ処理は、２次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数（即ち、１階）でのみ行うのが好適であり、次式で与えられる。
【０１１８】
【０１１９】
尚、探索位置における画素位置をxとしたとき、SSD(x)は、画素位置におけるＳＳＤ値（誤差二乗和）を表し、より具体的には、SSD(0)は中心位置におけるＳＳＤ値、SSD(−1)は中心位置から−Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値、SSD(1)は中心位置から＋Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値を表す。上記の式から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。
【０１２０】
このように、時空間方向の周波数パワーに基づいて位置合わせ情報を生成することができる。
【０１２１】
次に、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部について説明する。
【０１２２】
（位置合わせ情報の確度判定）
図２４は、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部のブロック図である。本例の位置合わせ情報生成部２０１ｃは、原画像フレームをブロック分割したブロック単位で位置合わせ情報を生成し、各ブロック内の小領域のサブブロック単位で位置合わせ情報を生成し、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び／又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行ない、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正することにより、位置合わせ情報修正部２０３で用いる位置合わせ情報を生成する機能を有し、具体的には、ブロック単位小数画素の位置合わせ処理部２０１１ｃと、画素単位小数位置合わせ処理部２０１２ｃと、位置合わせ情報確度判定部２０１３ｃと、補正位置合わせ情報生成部２０１４ｃとを備える。尚、本例の位置合わせ情報生成部２０１ｃは、各構成要素が処理するのに必要なデータを格納する記憶部（図示せず）を備える。位置合わせ処理を行う基準フレームをＦ（ｔＣ）、及び位置合わせ情報の探索を行う参照フレームをＦ（ｔＲ）とする。
【０１２３】
ブロック単位小数画素の位置合わせ処理部２０１１ｃは、原画像列についてブロック単位で位置合わせ情報を算出する。より具体的には、後述するように、ブロック単位小数画素の位置合わせ処理部２０１１ｃは、基準フレームＦ（ｔＣ）、及び参照フレームＦ（ｔＲ）を入力して、基準フレームＦ（ｔＣ）を例えば１６×１６画素のブロックＢｉ，ｊ（ｉ，ｊは、水平及び垂直のブロック番号）で分割し、参照フレームＦ（ｔＲ）上を探索してブロック単位の位置合わせ情報ｖＢｉ，ｊを求め、当該記憶部に保持する。ブロック単位の位置合わせ処理は、小数画素精度の位置合わせ処理を行うのが好適である。
【０１２４】
画素単位小数画素の位置合わせ処理部２０１２ｃは、ブロックＢｉ，ｊ内の小領域のサブブロック単位（例えば、１画素単位）で位置合わせ情報を算出する。より具体的には、後述するように、画素単位小数画素の位置合わせ処理部２０１２ｃは、ブロックＢｉ，ｊ内の画素位置（ｋ，ｌ）について、各画素位置の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）を求め、当該記憶部に保持する。小領域のサブブロック単位（例えば、１画素単位）の位置合わせ情報は、小数画素精度の位置合わせ処理を行うのが好適である。
【０１２５】
位置合わせ情報確度判定部２０１３ｃは、当該記憶部に保持したブロック単位及びサブブロック単位で検出した位置合わせ情報を読み出し、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び／又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行う。位置合わせ情報確度判定部２０１３ｃは、確度判定によって得られたサブブロック単位の位置合わせ情報について有効であるか否かを表す情報と、ブロック単位及びサブブロック単位で検出した位置合わせ情報を補正位置合わせ情報生成部２０１４ｃに送出する。より具体的には、位置合わせ情報確度判定部２０１３ｃは、サブブロック単位で検出した位置合わせ情報が、ブロック単位の動き量の半値以上である場合、及び／又は、一致度評価関数値が一定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。
【０１２６】
補正位置合わせ情報生成部２０１４ｃは、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正する。
【０１２７】
これにより、ブロック単位で求めた位置合わせ情報に関して、より小領域のサブブロック単位（例えば、画素単位）で再検出し、サブブロック単位（例えば、画素単位）の位置合わせ情報について有効又は無効の判定を行うため、確度の高い位置合わせ情報を得ることができる。また、少なくとも小領域のサブブロック単位（例えば、画素単位）で小数画素精度の位置合わせ処理を行うため、精度の高い位置合わせ情報を得ることができる。
【０１２８】
以下、図２５を参照して、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の動作について詳細に説明する。
【０１２９】
ステップＳ１１にて、原画像列を構成する基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、適宜記憶部に保持する。
【０１３０】
ステップＳ１２にて、ブロック単位小数画素の位置合わせ処理部２０１１ｃにより、まず、ブロック単位（例えば、１６×１６画素のブロック単位）の小数画素精度の位置合わせ情報の生成を行う。例えば、図２６（ａ）に示すように、基準フレームＦ（ｔＣ）をブロックＢｉ，ｊ（ｉ，ｊは、列及び行のブロック番号）で分割し、図２６（ｂ）に示すように、参照フレームＦ（ｔＲ）上を探索してブロック単位の位置合わせ情報ｖＢｉ，ｊを求める。
【０１３１】
ステップＳ１３にて、画素単位小数画素の位置合わせ処理部２０１２ｃにより、小領域のサブブロック単位（例えば、画素単位）の小数画素精度の位置合わせ処理を行う。以下、画素単位の小数画素精度の位置合わせ処理を行う例を説明する。
【０１３２】
ブロックＢｉ，ｊ内の画素位置（ｋ，ｌ）とし、各画素位置の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）を、上述したように、画素単位の小数画素精度位置における位置合わせ情報の生成を行う。画素単位の位置合わせ処理は、２次関数近似（パラボラフィッティング）を用いた一致度評価関数とするブロックマッチング法を用いて、参照フレームＦ（ｔＲ）上をブロック単位の位置合わせ情報ｖＢｉ，ｊだけずらした位置を中心とする±Ｓｘ’（Ｓｙ’）の範囲で探索する。尚、探索範囲の大きさを規定する±Ｓｘ’又はＳｙ’の大きさは、±１画素とすることができる。
【０１３３】
ステップＳ１４にて、位置合わせ情報確度判定部２０１３ｃにより、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量に対して所定の閾値以上、及び／又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする（ステップＳ１５，Ｓ１６）。
【０１３４】
例えば、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量の半値、即ち±（０．５，０．５）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする（図２７参照）。
【０１３５】
更に別の例として、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ＳＳＤ値が一定の閾値（例えば、SSD(0)の値）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。
【０１３６】
更に別の例として、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量の半値、即ち±（０．５，０．５）以上である場合、且つＳＳＤ値（誤差二乗和）が一定の閾値（例えば、SSD(0)の値）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。
【０１３７】
有効と判断した場合に、補正位置合わせ情報生成部２０１４ｃにより、この基準フレームＦ（ｔＣ）における小領域のサブブロック単位（例えば、画素単位）の位置合わせ情報Ｖ（ｉ，ｊ，ｋ，ｌ）を、Ｖ（ｉ，ｊ，ｋ，ｌ）＝ｖＢｉ，ｊ＋ｕｉ，ｊ（ｋ，ｌ）として補正する。
【０１３８】
尚、補正位置合わせ情報生成部２０１４ｃは、無効であるとされた対象の画素単位小数精度位置の位置合わせ情報については、その周囲の有効値（例えば、最も隣接する有効値）で置き換えるか、又は周囲の複数の有効値で平均化するか、又は、ブロック単位の位置合わせ情報で置き換える（即ち、Ｖ（ｉ，ｊ，ｋ，ｌ）＝ｖＢｉ，ｊ）ことにより、全ての小領域のサブブロック単位（例えば、画素単位）の位置合わせ情報Ｖ（ｉ，ｊ，ｋ，ｌ）を決定することもできる。
【０１３９】
このように、本実施例の位置合わせ情報生成部２０１ｃであれば、ブロック単位で求めた位置合わせ情報に関して、より小領域のサブブロック単位（例えば、画素単位）にて小数精度で再検出し、サブブロック単位の位置合わせ情報について有効及び無効の判定を行うため、確度の高く、且つ精度も高い位置合わせ情報を得ることができる。
【０１４０】
次に、動き量適応型点広がり関数について説明する。
【０１４１】
（動き量適応型点広がり関数）
図２８は、本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置のブロック図である。通常、画像縮小の際に発生する動きぼけ関数として点広がり関数ＰＳＦ（Point Spreading Function）を用い、画像拡大の際にその逆関数を利用して超解像を行う。したがって、動き量適応型点広がり関数生成装置３００は、原画像列を用いて位置合わせ情報を生成し、この位置合わせ情報に応じて適応的に点広がり関数が変化する動き量適応型点広がり関数を生成する例である。この動き量適応型点広がり関数は、前述した画像縮小装置１０における記憶部３０に予め記憶しておくことで利用可能となる。
【０１４２】
動き量適応型点広がり関数生成装置３００は、位置合わせ情報生成部２０１によって生成した位置合わせ情報に応じて点広がり関数の幅が変化する動き量適応型点広がり関数を用いて、当該位置合わせ情報を修正した情報を補助情報として生成する機能を有し、位置合わせ情報修正部２０３に組み入れることができる。具体的には、動き量適応型点広がり関数生成装置３００は、位置合わせ情報生成部３０１と、画素対応付け処理部３０２と、再構成処理部３０３とを備える。
【０１４３】
位置合わせ情報生成部３０１は、図１で説明した場合と同様に、原画像列を用いて位置合わせ情報を生成する。
【０１４４】
画素対応付け処理部３０２は、原画像列を用いて生成した位置合わせ情報から、図１で説明した場合と同様に生成された縮小画像列について、複数フレーム間で画素の対応付けを行い、超解像元フレーム（縮小画像列のフレーム）の画素を被超解像フレーム（画像拡大するフレーム）上に反映する対応付け情報を生成して再構成処理部３０３に送出する（図２９参照）。
【０１４５】
再構成処理部３０３は、縮小画像の画素を、画像拡大するフレーム上に反映するときの事後確率（被超解像フレーム上に複数の低解像度な超解像元フレームの画素が与えられた時の事後確率）を最大にする高解像度画像の推定を行って高解像度画像を再構成するのに必要な動き量適応型点広がり関数を決定する。この推定にはＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒ）法や、その他の方法を用いることができる。また動き量適応型点広がり関数は、原画像列を用いて生成した位置合わせ情報を基に、ＰＳＦを拡張した動きぼけ関数である。詳細に後述するが、再構成処理部３０３は、動き量適応型点広がり関数として、点広がり関数ＰＳＦを模擬する２次元ガウス関数近似を用いて、２次元ガウス関数近似の水平及び垂直方向の動きぼけ量を制御することができる。
【０１４６】
従来からのＭＡＰ法（以下、「従来ＭＡＰ法」と称する）は、ｘを高解像度な画像復元されたフレーム画像ベクトル、ｙを低解像度な超解像元フレーム画像ベクトル、Ｎを入力フレーム数とした時の事後確率ｐ(ｘ｜ｙ１，ｙ２，・・・，ｙＮ)を最大にする高解像度フレーム画像を推定する方法である。
【０１４７】
従来ＭＡＰ法によれば、誤差分布を正規分布と仮定した場合、推定される高解像度フレーム画像ｘ(＾)は、式（１０）で計算される。
【０１４８】
【数３】
【０１４９】
式（１０）での第１項では、Ｄはサブサンプリングを表す行列、Ｂｋは点広がり関数ＰＳＦ行列、Ｗｋは位置合わせ情報（特に、シーンやカメラの動きを表す動き量にも適用できる）の行列を示す。
【０１５０】
ゆえに、式（１０）の第１項の||ｙｋ−Ｄ・Ｂｋ・Ｗｋ・ｘ||２は、ｋ番目の低解像度の超解像元フレーム画像と、観測信号としての高解像度の画像復元されるフレーム画像にＰＳＦによる解像度変換時の動きぼけとｋ番目の超解像元フレームからの位置合わせ情報を与えてサブサンプリングした画像との二乗誤差となる。
【０１５１】
そして、式（１０）の第２項のλ||Ｃ・ｘ||２は、λが事前情報の寄与度合いを示す変数量、Ｃが入力画像の事前情報として与えられる「画像縮小率情報」の行列となる。
【０１５２】
ただし、従来ＭＡＰ法では、「点広がり関数ＰＳＦ」、「位置合わせ情報」、「画像縮小率情報」は補助情報としては与えられないことに注意する。ゆえに、従来ＭＡＰ法におけるＣは、例えば４近傍のＭＲＦ(Markov Random Field)を仮定して、４近傍のラプラシアンカーネルを利用するものであるため、シーンやカメラの動きに十分に対応できていなかった。
【０１５３】
本例の動き量適応型点広がり関数生成装置３００は、「位置合わせ情報」及び「画像縮小率情報」が補助情報としては与えられない状況下で、式（１０）の点広がり関数ＰＳＦのＢｋを、２次元ガウス関数近似による点広がり関数とし、位置合わせ情報（つまり、フレーム間動きベクトルの向きと大きさに対応する情報）に応じて、２次元ガウス関数近似による点広がり関数の拡張を行う。この拡張されたＰＳＦ関数を動き量適応型点広がり関数カーネルＥＢｋとする。
【０１５４】
式（１１）に、動き量適応型点広がり関数カーネルＥＢｋを用いたＭＡＰ再構成処理式を示す。
【０１５５】
【数４】
【０１５６】
より具体的に、「２次元ガウス関数近似による点広がり関数ＰＳＫ」と、「動き量適応型点広がり関数（拡張された２次元ガウス関数近似による点広がり関数ＰＳＫ）」について、詳細に説明する。
【０１５７】
〔２次元ガウス関数近似による点広がり関数〕
ＰＳＫを、２次元のガウス関数で近似するあたり、式（１２）のように、半値幅をｗとし、面積が１の規格化ガウス関数の振幅をαとして定義する。
【０１５８】
【数５】
【０１５９】
式（１２）より、２次元のガウス関数は、式（１３）のようになる。ここで、水平方向の基準位置はｘ０、垂直方向の基準位置はｙ０となる。
【０１６０】
【数６】
【０１６１】
〔動き量適応型点広がり関数（拡張された２次元ガウス関数近以による点広がり関数）〕
動き量適応型点広がり関数生成装置３００は、式（１３）の点広がり関数を拡張する。位置合わせ情報ｍの水平方向の動き量をｍｘ、垂直方向の動き量をｍｙとすると、式（１３）のガウス関数における水平方向と垂直方向の半値幅は、式（１４）のように制御される。
【０１６２】
【数７】
【０１６３】
式（１４）は、位置合わせ情報の向きと大きさに応じて点広がり関数の広がり方向と広がり量を制御するものである。
【０１６４】
動き量適応型点広がり関数生成装置３００の再構成処理では、式（１１）のカーネルＥＢｋを式（１４）の２次元のガウス関数として、画像拡大倍率に応じて式（１４）の半値幅ｗを決定し、式（１３）のλを変化させながら式（１３）の繰り返し演算を行い、最適な高解像度画像を求めることができる。
【０１６５】
このように、動き量適応型点広がり関数生成装置３００で生成した動き量適応型点広がり関数を、図１に示す画像縮小装置１０に適用すれば、動き量に対する鮮鋭な位置合わせ情報を生成することができる。
【０１６６】
以上の説明では、特定の実施例についてのみ説明したが、画像縮小装置から出力される縮小画像列や各補助情報を符号化・伝送し、画像拡大装置が符号化・伝送された縮小画像列や各補助情報を受信して復号するように構成できることは勿論である。
【産業上の利用可能性】
【０１６７】
本発明によれば、複数フレーム超解像処理のために、原画像精度のみならず点広がり関数による復元過程の誤差を修正した修正後位置合わせ情報を用いることができるようになるので、従来よりも高画質な超解像処理の画像を得ることができ、縮小画像から拡大画像を得る用途に有用である。
【符号の説明】
【０１６８】
１０ 画像縮小装置
５０ 画像拡大装置
２０１ 位置合わせ情報生成部
２０２ 画像縮小部
２０３ 位置合わせ情報修正部
２０４ 分散値決定部
６０１ 第１画素補完候補生成部
６０２ 第２画素補完候補生成部
６０３ 画素補完候補選別処理部
６０４ 拡大画像生成部
【技術分野】
【０００１】
本発明は、送信側で原画像に対して画像縮小を施して伝送し、受信側で画像拡大を行なって復元する技術に関し、特に、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する画像縮小装置、縮小画像列を拡大して復元する画像拡大装置、及びこれらのプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置及び表示装置の高精細化が進んでおり、超解像（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ）と称される動画像の高解像化技術が研究されている（例えば、特許文献１参照）。いわゆる８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像、又は４Ｋシステムと呼ばれるデジタルシネマのような高精細映像は、従来のハイビジョン（ＨＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。
【０００３】
そこで、２枚の画像を利用して超解像を行う際、シーンチェンジ検出や画素の位置合わせに適さない画素領域のマスク処理などの前処理を行った後、画素再構成処理により超解像画像を作成する技法が知られている（例えば、特許文献２参照）。
【０００４】
一方、送信側で原画像に対して画像縮小（低解像度化）を施して伝送し、受信側で画像拡大（高解像度化）を行なって復元する技術が知られており、特に、画像縮小を行う際に、受信側で高解像度の画像を作成する際の補助情報として、色調を利用して縮小画像と元の原画像の色調が似ている箇所では高解像度画像を作成するように指示する補助情報を生成する技法がある（例えば、特許文献３参照）。
【０００５】
また、画像を解像度の低い表示装置に表示させる際、画像をブロックに分割し、各ブロックの空間高周波成分を検出してブロック毎の代表値を決定して画像縮小を行い、先に検出した空間高周波成分を補助情報として例えばエッジ領域表示に利用する技法が知られている（例えば、特許文献４参照）。
【０００６】
また、送信側で原画像に対して画像縮小（低解像度化）を施して伝送し、受信側で画像拡大（高解像度化）を行なって復元する技術において、低解像度した画像を最適に符号化する際の符号化パラメータと、この符号化パラメータを高解像度画像に適用するためにスケール変換した補助情報を生成する技法が知られている（例えば、特許文献５参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１０５４９０号公報
【特許文献２】特開２０１０−１３４５８２号公報
【特許文献３】特許第２５４２７２６号明細書
【特許文献４】特許第４４５９７８９号明細書
【特許文献５】特許第４５２３５２２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術のように、補助情報は原画像が持つ空間高周波成分をパラメータとして、画像超解像、符号化、エッジ表示などに用いられる。そこで、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する場合にも、このような補助情報を用いることは縮小画像列に対して画像拡大を実行する処理（明細書中、「複数フレーム超解像処理」と称される）に有効であると考えられる。
【０００９】
一般に、複数フレーム超解像処理では、このような補助情報を用いることなく、縮小画像列のうちの１つの被処理フレームからその前後フレームへの位置合わせ（例えば、動き推定に基づく動き補償）による画素補完を行なって画像拡大を行う。したがって、補助情報を用いない複数フレーム超解像処理では、縮小画像列のみを用いて位置合わせを行うため、位置合わせ精度が低いという問題があった。
【００１０】
そこで、縮小画像列における位置合わせとは別に、原画像列のうちの１つの被処理フレームからその前後フレームへの位置合わせを行うことで、高精度の位置合わせ情報を取得することができ、この位置合わせ情報を補助情報とすることが考えられる。この場合、複数フレーム超解像処理時には、所定の点広がり関数による復元過程を経て画像拡大が行われる。ただし、この位置合わせ情報は、当該所定の点広がり関数による復元過程を考慮したものではないため、複数フレーム超解像処理後の画質について更なる改善の余地がある。
【００１１】
また、拡大処理時の位置合わせの確度が低い領域、（例えば静止領域）では、複数フレームを用いた超解像処理よりも、単一フレームで行う超解像処理のほうが復元時の画素の位置合わせの確度が高くなることも予想され、所定の点広がり関数による復元過程を考慮しても複数フレーム超解像処理のみでは復元時の画素の位置合わせ情報としての確度の限界が生じることも予想される。
【００１２】
本発明は、上述の問題を鑑みて為されたものであり、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成する画像縮小装置、縮小画像列を拡大して復元する画像拡大装置、及びこれらのプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の画像縮小装置は、複数の原画像フレームからなる原画像列を縮小して縮小画像列を生成するとともに、複数フレームを用いた超解像処理のための補助情報（明細書中、「複数フレーム超解像補助情報」と称される）を生成するとともに、単一フレームを用いた超解像処理のための補助情報（明細書中、「単一フレーム超解像補助情報」と称される）を生成する。本発明の画像拡大装置は、予め定めた画素補完候補を基準として、複数フレーム超解像補助情報を用いて生成した拡大時の画素補完候補と、単一フレーム超解像補助情報を用いて生成した拡大時の画素補完候補とを選別し、選別した画素補完候補を用いて縮小画像列の拡大処理を実行する。
【００１４】
従来の補助情報を用いない一般的な複数フレーム超解像処理では、縮小画像列を用いて位置合わせを行うものであったのに対して、本発明に係る超解像処理では、原画像列を用いて位置合わせを行なうことで、縮小画像列を用いて生成するよりも高精度の位置合わせ情報を生成しておき、さらに、複数フレーム超解像時の点広がり関数による復元過程を考慮して、この位置合わせ情報を修正し、複数フレーム超解像処理に適した修正後位置合わせ情報を複数フレーム超解像補助情報として利用するとともに、単一フレームにおける高周波成分におけるガウシアンフィルタ処理による誤差が最小となるガウシアンフィルタの分散値を算出して単一フレーム超解像補助情報として利用する。このため、原画像列が動領域及び静止領域が混在する場合でも、拡大処理時の画素の位置合わせの確度を高めつつ高画質化を図ることができる。
【００１５】
即ち、本発明の画像縮小装置は、原画像列を縮小して縮小画像列を生成する画像縮小装置であって、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成する位置合わせ情報生成部と、原画像列を所定の画像縮小率で縮小した縮小画像列を生成する画像縮小部と、生成した位置合わせ情報、縮小画像列及び点広がり関数を用いて拡大画像フレームを生成し、当該位置合わせ情報の値を可変して拡大画像フレームと原画像フレームとの差分値が最小となるように当該位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成する位置合わせ情報修正部と、空間オクターブ分解処理とガウシアンフィルタを用いて拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値が最小となるガウシアンフィルタの分散値を単一フレーム超解像補助情報として生成する分散値決定部と、を備えることを特徴とする。
【００１６】
また、本発明の画像縮小装置において、前記位置合わせ情報修正部は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成することを特徴とする。
【００１７】
また、本発明の画像縮小装置において、前記分散値決定部は、空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成することを特徴とする。
【００１８】
また、本発明の画像拡大装置は、本発明の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成する第１画素補完候補生成部と、本発明の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成する第２画素補完候補生成部と、予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別する画素補完候補選別処理部と、当該選別された画素補完候補を用いて縮小画像列を拡大する拡大画像生成部と、を備えることを特徴とする。
【００１９】
本発明のプログラムは、原画像列を縮小して縮小画像列を生成する画像縮小装置として機能するコンピュータに、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成するステップと、原画像列を所定の画像縮小率で縮小した縮小画像列を生成するステップと、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成するステップと、空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成するステップと、を実行させるためのプログラムである。
【００２０】
また、本発明のプログラムは、コンピュータに、本発明の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成するステップと、本発明の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成するステップと、予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別するステップと、当該選別された画素補完候補を用いて縮小画像列を拡大するステップと、を実行させるためのプログラムである。
【発明の効果】
【００２１】
本発明によれば、超解像処理のために、原画像精度のみならず点広がり関数による復元過程の誤差を修正した修正後位置合わせ情報を用いることができるようになるので、従来よりも高画質な超解像処理の画像を得ることができるようになる。
【００２２】
また、本発明によれば、超解像処理のために、複数フレーム超解像補助情報と単一フレーム補助情報の双方を用いて適切に画素補完候補を選別できるので、原画像列が動領域及び静止領域が混在する場合でも、拡大処理時の画素の位置合わせの確度を高めつつ高画質化を図ることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明による一実施例の画像縮小装置のブロック図である。
【図２】本発明による一実施例の画像縮小装置における位置合わせ情報生成部のブロック図である。
【図３】本発明による一実施例の画像縮小装置における画像縮小部のブロック図である。
【図４】本発明による一実施例の画像縮小装置における位置合わせ情報修正部のブロック図である。
【図５】本発明による一実施例の画像縮小装置における分散値決定部のブロック図である。
【図６】本発明による一実施例の画像縮小装置における分散値決定部の動作例を示す図である。
【図７】本発明による一実施例の画像縮小装置における分散値決定部の別の動作例を示す図である。
【図８】本発明による一実施例の画像拡大装置のブロック図である。
【図９】本発明による一実施例の画像拡大装置における第１画素補完候補生成部のブロック図である。
【図１０】本発明による一実施例の画像拡大装置における第２画素補完候補生成部のブロック図である。
【図１１】本発明による一実施例の画像拡大装置における画素補完候補選別処理部のブロック図である。
【図１２】本発明による一実施例の画像拡大装置における画素補完候補選別処理部の動作例を示す図である。
【図１３】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部のブロック図である。
【図１４】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における時間方向高周波領域パワー算出部のブロック図である。
【図１５】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における空間方向低周波領域パワー算出部のブロック図である。
【図１６】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における位置合わせ開始分解能決定部のブロック図である。
【図１７】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における階層型位置合わせ処理部のブロック図である。
【図１８】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部の動作を示す動作フローである。
【図１９】本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部におけるフレーム画像列の時間方向周波数帯域毎のパワーの算出例を示す図である。
【図２０】（ａ），（ｂ），（ｃ），（ｄ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部におけるフレーム画像列について時間方向にＮｍａｘ階に分解する例を示す図である。
【図２１】（ａ），（ｂ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における２次元２階離散ウェーブレットの例を示す図である。
【図２２】（ａ），（ｂ），（ｃ），（ｄ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における空間方向の低周波領域のパワーの割合と位置合わせ開始階数の関係を例示する図である。
【図２３】（ａ），（ｂ），（ｃ），（ｄ）は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部における位置合わせ開始階数とブロックサイズの関係例を示す図である。
【図２４】本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部のブロック図である。
【図２５】本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の動作フロー図である。
【図２６】（ａ），（ｂ）は、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の位置合わせ情報の算出例を説明する図である。
【図２７】本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の確度判定例を説明する図である。
【図２８】本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置のブロック図である。
【図２９】本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置の処理の説明図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して、本発明による一実施例の画像縮小装置及び画像拡大装置を順に説明する。
【００２５】
〔画像縮小装置〕
図１は、本発明による一実施例の画像縮小装置のブロック図である。本実施例の画像縮小装置１０は、制御部２０と、記憶部３０とを備える。制御部２０は、位置合わせ情報生成部２０１と、画像縮小部２０２と、位置合わせ情報修正部２０３と、分散値決定部２０４とを備える。本実施例の画像縮小装置１０をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部３０に記憶される。コンピュータに備えられる制御部２０は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部３０から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。尚、後述の説明で明らかとなるが、記憶部３０には、「ブロック分割サイズ情報」、「画像縮小率情報」、「マザーウェーブレット情報」、及び「点広がり関数情報」が格納されている。
【００２６】
位置合わせ情報生成部２０１は、連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成し、位置合わせ情報修正部２０３に送出する。位置合わせ情報生成部２０１の詳細は、図２を参照して後述する。
【００２７】
画像縮小部２０２は、空間ウェーブレット分解処理を用いて原画像列を所定の画像縮小率で縮小した縮小画像列を生成し、外部に送出するとともに、位置合わせ情報修正部２０３に送出する。画像縮小部２０２の詳細は、図３を参照して後述する。
【００２８】
位置合わせ情報修正部２０３は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像を生成し、生成した拡大画像の画素と原画像の画素との差分値を算出し、当該位置合わせ情報の値を点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を補助情報（以下、「複数フレーム超解像補助情報」と称する）として生成し、外部に送出する。位置合わせ情報修正部２０３の詳細は、図４を参照して後述する。
【００２９】
分散値決定部２０４は、画像縮小部２０２による空間ウェーブレット分解処理により単一の原画像フレームを用いて縮小画像を生成する際に、空間ウェーブレット分解処理とガウシアンフィルタ処理を用いて縮小画像が持つスペクトラム情報から縮小画像のナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間ウェーブレット分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を補助情報（以下、「単一フレーム超解像補助情報」と称する）として生成し、外部に送出する。尚、実施例として空間ウェーブレット分解処理を例に説明するが、空間オクターブ分解処理（オクターブ分解フィルタバンク処理とも称される）を行えるものであれば、どのようなものでも使用可能である。分散値決定部２０４の詳細は、図５を参照して後述する。
【００３０】
図２は、本発明による一実施例の画像縮小装置における位置合わせ情報生成部のブロック図である。位置合わせ情報生成部２０１は、ブロック分割部２０１１と、ブロックマッチング処理部２０１２とを備える。
【００３１】
ブロック分割部２０１１は、入力される原画像列のうちの被処理フレーム位置の原画像を基準フレーム画像として、記憶部３０に格納されるブロック分割サイズ情報を読み出し、ブロック分割サイズ情報で指定されるＢｘ×Ｂｙサイズのブロックに分割する。
【００３２】
ブロックマッチング処理部２０１２は、ブロック分割した基準フレーム画像に対して、その前後フレーム位置の原画像を参照フレーム画像として小数画素精度ブロックマッチングを行い、ブロック毎の位置合わせ情報（つまり、ブロックマッチングによる動き情報に対応する情報）を出力する。代表的な小数画素精度ブロックマッチングとして、パラボラフィッティング法などがある。また、後述するように、階層型位置合わせ処理により位置合わせ情報を生成することもできる。
【００３３】
図３は、本発明による一実施例の画像縮小装置における画像縮小部のブロック図である。画像縮小部２０２は、ウェーブレット分解部２０２１と、空間低周波成分抽出部２０２２と、縮小画像生成部２０２３とを備える。
【００３４】
ウェーブレット分解部２０２１は、ｎ階空間ウェーブレット分解法を用いて画像縮小を行う例である（ｎは、０を含む自然数）。ウェーブレット分解部２０２１は、記憶部３０に予め格納されているマザーウェーブレット情報（つまり、マザーウェーブレットの分解係数を表すフィルタ係数の情報）と、画像縮小率の情報を読み出し、当該被処理フレーム位置の原画像を基準フレーム画像としてマザーウェーブレット情報を用いて当該画像縮小率に対応する分解能でウェーブレット分解を行ない、ウェーブレット分解した画像を空間低周波成分抽出部２０２２に送出する。
【００３５】
空間低周波成分抽出部２０２２は、ウェーブレット分解した画像の低周波成分（例えば、ｎ＝１として、１階空間ウェーブレット分解を行なった場合には、水平・垂直方向に低周波成分の画像）を抽出して縮小画像生成部２０２３に送出する。
【００３６】
縮小画像生成部２０２３は、抽出した低周波成分に対応する縮小画像を生成する。これにより、画像縮小部２０２に入力される原画像列は、縮小画像列に変換される。尚、マザーウェーブレットを可変として、マザーウェーブレットを変化させることで縮小画像列に含まれる折り返し歪量を制御することもできるため、この場合、可変するマザーウェーブレットの情報をマザーウェーブレット情報として記憶部３０に格納する。
【００３７】
図４は、本発明による一実施例の画像縮小装置における位置合わせ情報修正部のブロック図である。位置合わせ情報修正部２０３は、全画素比較処理部２０３１と、加算部２０３４と、補助情報生成部２０３５とを備えており、全画素比較処理部２０３１は、画素補完処理部２０３２と補完誤差算出部２０３３からなる。
【００３８】
画素補完処理部２０３２は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の被処理フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なうことで拡大画像を生成し、当該縮小画像列の被処理フレームに対応する原画像とともに、補完誤差算出部２０３３に送出する。
【００３９】
補完誤差算出部２０３３は、生成した拡大画像の画素と原画像の画素との差分値を算出し、画素補完処理部２０３２に対して当該位置合わせ情報の値を点広がり関数幅を超えない範囲でシフトしながら当該差分値が最小となるシフト量を算出し、加算部２０３４に送出する。生成した拡大画像の画素と原画像の画素との差分値の算出は、生成した拡大画像の全画素について行うことにより、画素毎に当該最小となるシフト量が算出される。
【００４０】
加算部２０３４は、画素毎に算出した当該最小となるシフト量を、当該位置合わせ情報の各画素に対する値（同一ブロック内では、各画素に同じ値が付与されている）に加算することにより、画素単位で修正した修正後位置合わせ情報として補助情報生成部２０３５に送出する。
【００４１】
補助情報生成部２０３５は、生成した修正後位置合わせ情報と、記憶部３０に格納されるブロック分割サイズ情報、画像縮小率情報及び点広がり関数情報とを含めて、複数フレーム超解像補助情報として生成し、外部に送出する。これにより、原画像列を用いて生成した位置合わせ情報を、画素補完における点広がり関数を考慮した位置合わせ情報に修正した複数フレーム超解像補助情報を生成することができる。尚、画像拡大装置側でウェーブレット再構成を用いた拡大処理を行う用途に対しては、マザーウェーブレット情報を複数フレーム超解像補助情報に含めることができる。
【００４２】
図５は、本発明により一実施例の画像縮小装置における分散値決定部のブロック図である。分散値決定部２０４は、分散値可変制御部２０４１と、階層別高周波成分ガウシアンフィルタ処理部２０４２と、空間ウェーブレット再構成部２０４３と、画像比較処理部２０４４と、最小誤差分散値決定部２０４５とを備える。図６を参照しながら、分散値決定部２０４について説明する。
【００４３】
分散値可変制御部２０４１は、階層別高周波成分ガウシアンフィルタ処理部２０４２で用いるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を所定の範囲内で変化させる制御部であり、例えば初期値をσＣＨ（ｎ）＝０．１，σＣＶ（ｎ）＝０．１，σＣＤ（ｎ）＝０．１として、０．１刻みで１０．０まで変化させる。ここで説明する（ｎ）は、分解階数を表し、ｎ＝０は、原画像Ｆであり、ｎの値は画像縮小率に応じて定めることができる。また、符号ＣＨ，ＣＶ，ＣＤは、水平、垂直、斜め方向の高周波成分を示す。
【００４４】
階層別高周波成分ガウシアンフィルタ処理部２０４２は、ｎ階空間ウェーブレット分解画像（原画像Ｆからｎ階分の分解画像の水平低周波・垂直低周波の周波数成分ＣＡ（ｎ）、水平高周波・垂直低周波成分ＣＨ（ｎ）、水平低周波・垂直高周波成分ＣＶ（ｎ）、水平高周波・垂直高周波成分ＣＤ（ｎ））が入力され、分解階数ｎの低周波領域成分ＣＡ（ｎ）を１階離散ウェーブレット分解して、分解階数ｎ＋１における水平、垂直、斜め方向の各高周波領域成分ＣＡ（ｎ＋１），ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）を生成し（ステップＳ１０１）、空間ウェーブレット再構成部２０４３と協動して、ＣＨ（ｎ＋１）を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として水平、垂直方向に２倍拡大し（後述する式（２）により算出される）、ＥｘＣＨ（ｎ）を生成、同様にしてＣＶ（ｎ＋１）を基にＥｘＣＶ（ｎ），ＣＤ（ｎ＋１）を基にＥｘＣＤ（ｎ）を生成し（ステップＳ１０２）、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いたガウシアンフィルタ処理を行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を生成し（ステップＳ１０３）、低周波領域成分ＣＡ（ｎ）を空間低周波領域成分とし、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を空間高周波領域成分として、１階離散ウェーブレット再構成により水平、垂直方向に２倍拡大し、ＧＥｘＣＡ（ｎ−１）を生成して、画像比較処理部２０４４に送出する（ステップＳ１０４）。
【００４５】
尚、原画像Ｆ（ｘ，ｙ，ｔ）は、ｎ階空間ウェーブレット分解ＤＷＴ（ｎ）（Ｆ（ｘ，ｙ，ｔ），ｗａｖｅｌｅｔ＿ｎ）を用いて、式（１）のように分解される。ｔは時間を示す。なお、ここでの説明に用いるウェーブレットをｗａｖｅｌｅｔ＿ｎとし、分解階数がｎ階の水平低周波・垂直低周波の周波数成分をＣＡ（ｎ）（χ，Ψ）、水平高周波・垂直低周波成分をＣＨ（ｎ）（χ，Ψ）、水平低周波・垂直高周波成分をＣＶ（ｎ）（χ，Ψ）、水平高周波・垂直高周波成分をＣＤ（ｎ）（χ，Ψ）とする。水平と垂直の（ｘ，ｙ）を（χ，Ψ）と表示したのは、解像度を変換すると、縦、横とも標本が半分になってしまうので、（ｘ，ｙ）と表示せず、（χ，Ψ）と表示している。
【００４６】
[ＣＡ（ｎ），ＣＨ（ｎ），ＣＶ（ｎ），ＣＤ（ｎ）]
＝ＤＷＴ（ｎ）（Ｆ（ｘ，ｙ，ｔ），ｗａｖｅｌｅｔ＿ｎ） （１）
【００４７】
式（２）に、ＣＨ（ｎ＋１）を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として１階離散ウェーブレット再構成した式を示す。０はゼロ行列を示す。
ＥｘＣＨ（ｎ）
＝ＩＤＷＴ（１）（ＣＨ（ｎ＋１），０，０，０，ｗａｖｅｌｅｔ＿ｎ） （２）
【００４８】
空間ウェーブレット再構成部２０４３は、階層別高周波成分ガウシアンフィルタ処理部２０４２で用いるウェーブレット再構成処理の画像を生成する機能部である。
【００４９】
画像比較処理部２０４４は、階層別高周波成分ガウシアンフィルタ処理部２０４２から得られるＧＥｘＣＡ（ｎ−１）を得た後、ＣＡ（ｎ−１）との間の差分値を算出して、最小誤差分散値決定部２０４５に送出する。
【００５０】
最小誤差分散値決定部２０４５は、画像比較処理部２０４４から得られる今回の差分値が前回の差分値より小さければ、今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそれぞれ記憶し、分散値可変制御部２０４１によってガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を変化させながら繰り返し行い、得られたＧＥｘＣＡ（ｎ−１）と同じ分解階数のＣＡ（ｎ−１）と比較し、ＧＥｘＣＡ（ｎ−１）とＣＡ（ｎ−１）との間の差分値が最も小さくなるときのガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を最小誤差分散値として決定し、単一フレーム超解像補助情報として外部に送出する。なお、最小誤差分散値決定部２０４５は図示しないメモリを有しており、このメモリに今回の差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を記憶する。最初の１回目は前回の差分値が無いことから、今回算出した差分値と今回使用したガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）をそのまま記憶する。また、画像の評価方法としては、平均二乗誤差（ＭＳＥ：Mean Square Error)があり、この評価方法を用いるとよい。
式（３）にガウシアンフィルタを示す。
Ｇａｕｓｓ（ｘ，ｙ，σ）＝ｅｘｐ（−（ｘ２＋ｙ２）／２σ２） （３）
【００５１】
式（３）のσ２は分散を表す。斜め方向高周波領域成分ＣＤ（ｎ＋１）を水平、垂直方向に２倍拡大してＥｘＣＤ（ｎ）を得た後（図６のステップＳ１０２）、式（３）のガウシアンフィルタを用いて式（４）に示すフィルタリング処理を行い（図６のステップＳ１０３）、ＧＥｘＣＤ（ｎ）を得る。なお、式（３）のσは、本処理がＥｘＣＤ（ｎ）のフィルタリングを行う処理内であるため、σＣＤ（ｎ）となる。
【００５２】
【数１】
【００５３】
また、階層別高周波成分ガウシアンフィルタ処理部２０４２は、空間ウェーブレット再構成部２０４３によって階層ｎ＋１における水平方向高周波領域成分ＣＨ（ｎ＋１）、垂直方向高周波領域成分ＣＶ（ｎ＋１）を、水平、垂直方向に２倍拡大した後、式（５）に示すような方向性拡張したガウシアンフィルタ処理を用いて拡大することができる。
ＥｘＧａｕｓｓ（ｘ，ｙ，α，β，σ）
＝ｅｘｐ（−（αｘ２＋βｙ２）／２σ２） （５）
【００５４】
式（５）のα，βは方向性拡張係数であり、水平方向高周波領域成分ＣＨ（ｎ）の場合はα＝１，β＝０、垂直方向高周波領域成分ＣＶ（ｎ）の場合はα＝０，β＝１となる。以下では、σＣＨ（ｎ）を決定する場合のみを説明するが、σＣＤ（ｎ）も同様に決定することができる。
【００５５】
階層ｎ＋１における水平方向高周波領域成分ＣＨ（ｎ＋１）を水平、垂直方向に２倍拡大してＥｘＣＨ（ｎ）を得た後、式（５）の方向性拡張したガウシアンフィルタを用いて、式（６）に示すフィルタリング処理を行い、ＧＥｘＣＨ（ｎ）を得る。なお、式（５）のσは、本処理がＣＨ（ｎ）のフィルタリングを行う処理内であるため、σＣＨ（ｎ）となる。
【００５６】
【数２】
【００５７】
したがって、分散値決定部２０４は、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を計算した後、ＣＡ（ｎ），ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を用いて１階離散ウェーブレット再構成を行い（図６のステップＳ１０４）、ＧＥｘＣＡ（ｎ−１）を得た後に、式（７）に示すように、ＣＡ（ｎ−１）の領域とＧＥｘＣＡ（ｎ−１）の領域における平均二乗誤差（ＲＭＳ)の計算を行い、ＲＭＳ(ＣＡ（ｎ−１）)及びＲＭＳ(ＧＥｘＣＡ（ｎ−１）)を得て、その差分値を計算する（図６のステップＳ１０５）。分散値決定部２０４は、以上の処理をガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）の値を変化させながら行い、Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））が最小となるガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を求めることができる。
【００５８】
Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））
＝ＲＭＳ（ＣＡ（ｎ−１）（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）））
−ＲＭＳ（ＧＥｘＣＡ（ｎ−１）（σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ））
σＣＨ（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σＣＨ（ｎ）））
σＣＶ（ｎ）＝ａｒｇｍｉｎ（Ｄｉｆｆ＿ｒｍｓ（σＣＶ（ｎ））） （７）
【００５９】
なお、本実施例では、ＧＥｘＣＡ（ｎ−１）とＣＡ（ｎ−１）とを比較することにより、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するようにしたが、ＣＨ（ｎ）とＧＥｘＣＨ（ｎ）、ＣＶ（ｎ）とＧＥｘＣＶ（ｎ）、及びＣＤ（ｎ）とＧＥｘＣＤ（ｎ）のそれぞれを比較することにより、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するようにしてもよい。
【００６０】
例えば、図７は、分散値決定部２０４における図６に示す動作の変形例の概要を示しており、分散値決定部２０４は、前述と同様に、ｎ階空間ウェーブレット分解画像（原画像Ｆからｎ階分の分解画像の水平低周波・垂直低周波の周波数成分ＣＡ（ｎ）、水平高周波・垂直低周波成分ＣＨ（ｎ）、水平低周波・垂直高周波成分ＣＶ（ｎ）、水平高周波・垂直高周波成分ＣＤ（ｎ））が入力され、分解階数ｎの低周波領域成分ＣＡ（ｎ）を１階離散ウェーブレット分解して、分解階数ｎ＋１における水平、垂直、斜め方向の各高周波領域成分ＣＡ（ｎ＋１），ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）を生成し（ステップＳ２０１）、空間ウェーブレット再構成部２０４３と協動して、ＣＨ（ｎ＋１）を空間低周波領域成分、同じサイズのゼロ行列を空間高周波領域成分として式（２）により水平、垂直方向に２倍拡大しＥｘＣＨ（ｎ）を生成、同様にしてＣＶ（ｎ＋１）を基にＥｘＣＶ（ｎ），ＣＤ（ｎ＋１）を基にＥｘＣＤ（ｎ）を生成し（ステップＳ２０２）、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いたガウシアンフィルタ処理を行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を生成する（ステップＳ２０３）。本変形例では、分散値決定部２０４は、ＣＨ（ｎ）とＧＥｘＣＨ（ｎ）の比較において平均二乗誤差（ＭＳＥ）が最小となる分散値σＣＨ（ｎ）を求め、ＣＶ（ｎ）とＧＥｘＣＶ（ｎ）の比較において平均二乗誤差が最小となる分散値σＣＶ（ｎ）を求め、ＣＤ（ｎ）とＧＥｘＣＤ（ｎ）の比較において平均二乗誤差が最小となる分散値σＣＤ（ｎ）を求める。
【００６１】
このようにして、分散値決定部２０４では、空間ウェーブレット分解とガウシアンフィルタ処理を用いて縮小画像が持つスペクトラム情報から縮小画像のナイキスト周波数を超える空間高周波成分を生成し、原画像からの空間ウェーブレット分解画像との比較によってガウシアン分散値を最適化した最小誤差分散値を含む単一フレーム超解像補助情報を生成する。
【００６２】
なお、線形（直線）位相特性を持つＨａａｒ等のウェーブレット以外のウェーブレットを用いる場合は、ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）の位相に注意する必要がある。ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）を水平、垂直位相（φμ，φν）分だけずらした画像ＥｘＣＨ（ｎ）（χ＋φμ，Ψ＋φν），ＥｘＣＶ（ｎ）（χ＋φμ，Ψ＋φν），ＥｘＣＤ（ｎ）（χ＋φμ，Ψ＋φν）についてＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得て、位相を変化させながら最終的にガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を決定するとよい。但し、本実施例では、ガウシアンフィルタの分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を変化させながらＣＡ（ｎ−１）とＧＥｘＣＡ（ｎ−１）を比較するため、この部分で位相ずれによる劣化はある程度吸収される。このため、処理量も多く大規模回路処理となる位相合わせ処理は必ずしも必要ではない。
【００６３】
以上のように、縮小画像列のほかに、単一フレーム補助情報及び複数フレーム超解像補助情報を拡大処理装置側に提供するように構成し、従来のような補助情報を用いることなく単に拡大処理を実行する技法よりも、拡大処理時の画素の位置合わせ精度の高い超解像処理を実現することができる。後述するように、動領域などでは複数フレーム超解像補助情報を用いたほうが、原画像が持つ真の空間高周波に近い成分が得られ、静止領域などでは単一フレーム超解像補助情報を用いたほうが、原画像が持つ真の空間高周波に近い成分が得られ、画素の位置合わせ精度が高くなることが期待できる。そこで、本発明に係る拡大処理装置５０は、画像縮小装置１０から、縮小画像列のほかに、単一フレーム補助情報及び複数フレーム超解像補助情報を取得し、縮小画像列の拡大処理を行うにあたって、予め定めた点広がり関数を用いた拡大処理で生成した画素補完候補を基準にして、単一フレーム補助情報を用いた画素補完候補と、複数フレーム超解像補助情報を用いた画素補完候補を生成して選別し、より高画質な超解像画像を生成可能とする。
【００６４】
以下、本発明による一実施例の画像拡大装置について説明する。
【００６５】
〔画像拡大装置〕
図８は、本発明による一実施例の画像拡大装置のブロック図である。本実施例の画像拡大装置５０は、縮小画像列に対して、単一フレーム補助情報及び複数フレーム超解像補助情報を用いてそれぞれ当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点を画素補完する画素補完候補を生成し、基準画素補完候補を用いて画素補完候補を選別して画素補完後の拡大画像を用いて原画像列に対応する拡大画像列を生成する装置であり、制御部６０と、記憶部７０とを備える。制御部６０は、第１画素補完候補生成部６０１と、第２画素補完候補生成部６０２と、画素補完候補選別処理部６０３と、拡大画像生成部６０４とを備える。本実施例の画像拡大装置５０をコンピュータとして機能させることができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられる記憶部７０に記憶される。コンピュータに備えられる制御部７０は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部７０から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。
【００６６】
第１画素補完候補生成部６０１は、画像縮小装置１０によって生成された縮小画像列に対して、複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成する機能部であり、図９に示すように、位置合わせ処理部６０１１と、画素補完候補生成部６０１２とを備える。位置合わせ処理部６０１１は、画像縮小装置１０から、縮小画像列と、修正後位置合わせ情報、ブロック分割サイズ情報、画像縮小率情報及び点広がり関数情報を含む複数フレーム超解像補助情報とを入力し、まず、縮小画像列における被処理フレーム位置の縮小画像について、入力される画像縮小率情報を用いて当該画像縮小率に対応する拡大率で、縮小画像列に対応する被超解像処理フレーム列（つまり、補完を要する標本点が存在するブロックからなる被超解像処理フレーム）を生成し、ブロック分割サイズ情報に基づく個々のブロックにおける画素値について、修正後位置合わせ情報を含む複数フレーム超解像補助情報に基づいて各縮小画像列からの画素の対応付けを行う。画素補完候補生成部６０１２は、被超解像処理フレーム列において拡大されたブロックにて対応付けされた画素位置ごとに、複数フレーム超解像補助情報に含まれる点広がり関数情報を用いて、生成した被超解像処理フレーム列におけるブロック毎の画素補完候補を生成する。
【００６７】
第２画素補完候補生成部６０２は、画像縮小装置によって生成された縮小画像列の各縮小画像に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに当該ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成する機能部であり、図１０に示すように、空間ウェーブレット分解処理部６０２１と、階層別高周波成分ガウシアンフィルタ処理部６０２２と、空間ウェーブレット再構成処理部６０２３とを備える。
【００６８】
空間ウェーブレット分解処理部６０２１は、単一フレーム超解像補助情報がｎ階分の空間ウェーブレット分解による高周波の画像分解領域ごとのガウシアンフィルタの最適分散値の情報を有するものである場合に、縮小画像に対してｎ＋１階離散ウェーブレット分解を施して、ｎ＋１階離散ウェーブレット分解画像を生成する。階層別高周波成分ガウシアンフィルタ処理部６０２２は、ｎ＋１階離散ウェーブレット分解画像を基に行う１階離散ウェーブレット再構成処理について、当該縮小画像をｎ階の低周波成分として各ｎ階における再構成画像の高周波成分に対して、当該単一フレーム超解像補助情報を用いて階層毎のガウシアンフィルタ処理を実行しながらｎ階分繰返し施し、ガウシアンフィルタ処理を実行したｎ階分の空間ウェーブレット分解画像を生成する。空間ウェーブレット再構成処理部６０２３は、ガウシアンフィルタ処理を実行したｎ階分の空間ウェーブレット分解画像について空間ウェーブレット再構成処理を施すことにより、被超解像処理フレーム列におけるブロック毎の画素補完候補を生成する。
【００６９】
尚、第２画素補完候補生成部６０２は、単一フレーム超解像補助情報が１階空間ウェーブレット分解による高周波の画像分解領域ごとのガウシアンフィルタの最適分散値の情報を有するものである場合も、縮小画像に対して１階離散ウェーブレット分解を施し、この縮小画像に対して１階離散ウェーブレット分解した画像について１階離散ウェーブレット再構成処理を施し、当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分としてガウシアンフィルタ処理を実行後の再構成画像の高周波成分とする空間ウェーブレット分解画像を生成し、ガウシアンフィルタ処理を実行した高周波成分を有する空間ウェーブレット分解画像について空間ウェーブレット再構成処理を施すことにより、被超解像処理フレーム列におけるブロック毎の画素補完候補を生成することができる。
【００７０】
また、単一フレーム超解像補助情報がｎ階分の空間ウェーブレット分解による高周波の画像分解領域ごとのガウシアンフィルタの最適分散値の情報を有するものであるときに、画像分解領域ごとに階層毎のガウシアンフィルタ処理を実行する際に、縮小画像を用いて再構成した画素値と、ガウシアンフィルタ処理を実行した画素値との差分値を算出して所定の閾値以下となる場合にのみガウシアンフィルタ処理を実行した画素値を利用するのが好適である。
【００７１】
第２画素補完候補生成部６０２による画素補完候補の生成処理の様子は、前述した図６及び図７と同様となるが、図６に対応する例を図１２に示している。図１２は、第２画素補完候補生成部６０２による画素補完候補の生成処理の様子を示す図である。まず、空間ウェーブレット分解処理部６０２１は、式（８）に示すように、入力される縮小画像列ＣＡ（ｎ）について１階離散ウェーブレット分解ＤＷＴ（１）し、ＣＡ（ｎ＋１），ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）を得る（ステップＳ３０１）。
［ＣＡ（ｎ＋１），ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）］
＝ＤＷＴ（１）（ＣＡ（ｎ），ｗａｖｅｌｅｔ＿ｎ） （８）
【００７２】
そして、階層別高周波成分ガウシアンフィルタ処理部６０２２は、ＣＡ（ｎ＋１），ＣＨ（ｎ＋１），ＣＶ（ｎ＋１），ＣＤ（ｎ＋１）と分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）を用いて、水平、垂直、斜め方向拡大成分を計算する。つまり、階層別高周波成分ガウシアンフィルタ処理部６０２２は、ＣＤ（ｎ＋１）を空間低周波領域成分とし空間高周波領域成分に同じサイズのゼロ行列として、１階離散ウェーブレット再構成して水平２倍、垂直２倍拡大成分ＥｘＣＤ（ｎ）を算出し、同様にして、ＣＨ（ｎ＋１）とＣＶ（ｎ＋１）から１階離散ウェーブレット再構成して水平２倍、垂直２倍拡大成分ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ）を生成し、ＥｘＣＨ（ｎ），ＥｘＣＶ（ｎ），ＥｘＣＤ（ｎ）に対し、分散値σＣＨ（ｎ），σＣＶ（ｎ），σＣＤ（ｎ）のガウシアンフィルタ処理を行い、ＧＥｘＣＨ（ｎ），ＧＥｘＣＶ（ｎ），ＧＥｘＣＤ（ｎ）を得る（ステップＳ３０３）。
【００７３】
そして、空間ウェーブレット再構成処理部６０２３は、式（９）に示すように、ＣＡ（ｎ）,ＧＥｘＣＨ（ｎ）,ＧＥｘＣＶ（ｎ）,ＧＥｘＣＤ（ｎ）を用いて、１階離散ウェーブレット再構成を行う（ステップＳ３０４）。
［ＣＡ（ｎ−１）］
＝ＩＤＷＴ（１）(ＣＡ（ｎ）, ＧＥｘＣＨ（ｎ）, ＧＥｘＣＶ（ｎ）, ＧＥｘＣＤ（ｎ）,ｗａｖｅｌｅｔ＿ｎ） （９）
【００７４】
第２画素補完候補生成部６０２は、以降、ｎ＝ｎ−１として、ｎ＝０となるまで繰り返す（ステップＳ３０５）。
【００７５】
画素補完候補選別処理部６０３は、予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別する処理部であり、図１１に示すように、基準点広がり関数画素補完候補生成部６０３１と、第１画素補完候補比較処理部６０３２と、第２画素補完候補比較処理部６０３３と、画素補完候補決定部６０３４とを備える。
【００７６】
基準点広がり関数画素補完候補生成部６０３１は、縮小画像を基準点広がり関数により拡大することで、被超解像フレーム上にて、補完対象の画素単位で基準点広がり関数画素補完候補を生成して割り付ける。この基準点広がり関数は、縮小対象とする原画像列の各原画像フレームに対して縮小処理を施して構成する縮小画像列について、この「縮小時の劣化」を最も抑制して復元する（原画像に近くなる）点広がり関数を基準点広がり関数として画像縮小装置１０側で予め事前に学習しておき、この基準点広がり関数を基準点広がり関数画素補完候補生成部６０３１が予め保持しているものとする。尚、この基準点広がり関数の情報は、例えば補助情報として事前に伝送したり、逐次、複数フレーム超解像補助情報に含めて伝送したりする態様で、画像縮小装置１０から画像拡大装置５０に伝送するように構成してもよい。また、基準点広がり関数は、動き量適応型点広がり関数ではない線形拡大処理の点広がり関数を用いるのが好適であり、任意の固定値からなる線形拡大処理の点広がり関数とすることができる。
【００７７】
第１画素補完候補比較処理部６０３２は、補完対象の画素位置に、基準点広がり関数画素補完候補、及び複数フレーム画素補完候補が存在する場合に、基準点広がり関数画素補完候補及び複数フレーム画素補完候補の画素差分値を算出し、算出した画素差分値が閾値Ｔｈ＿Ａ以上の場合には当該複数フレーム画素補完候補の確度が低いとして判断して棄却する。これは、複数フレーム画素補完候補が基準点広がり関数画素補完候補に近い画素値を有している場合にのみ画素補完候補として採用することを意味する。
【００７８】
第２画素補完候補比較処理部６０３３は、補完対象の画素位置に、基準点広がり関数画素補完候補、及び単一フレーム画素補完候補が存在する場合に、基準点広がり関数画素補完候補及び単一フレーム画素補完候補の画素差分値を算出し、算出した画素差分値が閾値Ｔｈ＿Ａ（上記と同値の閾値）以上の場合には当該単一フレーム画素補完候補の確度が低いとして判断して棄却する。これは、単一フレーム画素補完候補が基準点広がり関数画素補完候補に近い画素値を有している場合にのみ画素補完候補として採用することを意味する。
【００７９】
画素補完候補決定部６０３４は、補完対象の画素位置に、基準点広がり関数画素補完候補との比較処理で棄却されているか否かに関わらず、基準点広がり関数画素補完候補が入力され、基準点広がり関数画素補完候補との比較処理で棄却されていない場合には、複数フレーム画素補完候補又は単一フレーム画素補完候補のいずれか一方又は双方が入力される。そこで、画素補完候補決定部６０３４は、補完対象の画素位置に、複数フレーム画素補完候補及び単一フレーム画素補完候補のいずれか一方が存在するときには、第１画素補完候補比較処理部６０３２及び第２画素補完候補比較処理部６０３３で判断された画素補完候補を採用し、一方、補完対象の画素位置に、複数フレーム画素補完候補及び単一フレーム画素補完候補の双方が存在するときには、複数フレーム画素補完候補及び単一フレーム画素補完候補の画素差分値を算出し、算出した画素差分値が閾値Ｔｈ＿Ｂ（上記と同値の閾値としてもよい）以上の場合には、複数フレーム画素補完候補及び単一フレーム画素補完候補の双方を棄却して基準点広がり関数画素補完候補を採用し、当該算出した画素差分値が閾値Ｔｈ＿Ｂ（上記と同値の閾値としてもよい）未満の場合には、単一フレーム画素補完候補を棄却して、複数フレーム画素補完候補を採用する。画素補完候補決定部６０３４の処理は、確度の高い基準点広がり関数画素補完候補を基準としつつ、より高画質な画素補完候補を採用するよう選別することを意図したものであるが、複数フレーム画素補完候補及び単一フレーム画素補完候補の画素差分値が閾値Ｔｈ＿Ｂ以上の場合にその双方を棄却する理由は、基準点広がり関数画素補完候補との比較処理で棄却されていない場合にて複数フレーム画素補完候補及び単一フレーム画素補完候補の双方の差が大きいことは、いずれの候補も確度が低いと考えられるためである。
【００８０】
画素補完候補決定部６０３４の処理により、被超解像フレーム上に、基準点広がり関数画素補完候補、単一フレーム画素補完候補又は複数フレーム画素補完候補について最終決定した画素補完候補が拡大画像生成部６０４に送出される。
【００８１】
拡大画像生成部６０４は、画素補完候補選別処理部６０３によって選別された画素補完候補を用いて縮小画像列を拡大する。
【００８２】
ここで、画素補完候補決定部６０３４によって、基準点広がり関数画素補完候補を基準にして、単一フレーム画素補完候補と複数フレーム画素補完候補を選別することの意義について補足説明する。画像拡大装置５０にて、「動領域及び静止領域」を適切に区別して復元した画像を高画質として称することとすると、高画質の画素補完候補は、複数フレーム画素補完候補、単一フレーム画素補完候補、及び基準点広がり関数画素補完候補の順になることは分かっているが、復元対象のブロック内における確度が不明であることから、複数の画素候補があるときなど、「動領域及び静止領域」を適切に区別可能な画素補完候補の選別処理が必要になる。
【００８３】
つまり、複数フレーム超解像補助情報を用いた拡大画素補完候補は、原画像列に対して高精度の位置合わせを行って生成されたものとなるため、動領域については原画像が持つ真の成分の画素補完候補となるが、静止領域については、単一フレーム超解像補助情報を用いた拡大画素補完候補のほうがより原画像が持つ真の成分の画素補完候補となることが想定される。
【００８４】
ただし、複数フレーム画素補完候補の生成における位置合わせは、複数フレームに基づいた画像拡大時のブロック領域単位となり、単一フレーム画素補完候補の生成における最適化された分散値による位置合わせは、単一フレームに基づいた画像拡大時のブロック領域単位（又は画面全体）となることから、少なくとも画像拡大時のブロック領域単位で拡大補完対象の任意の画素位置において、基準点広がり関数画素補完候補及び単一フレーム画素補完候補が存在するが、動領域であるか否かで複数フレーム画素補完候補が存在する場合と存在しない場合が生じることに留意する。また、基準点広がり関数画素補完候補は、動領域（特に、動きぼけが生じる領域）では位置合わせ精度として高精度とはいえない画素補完候補ではあるが、縮小画像から線形処理で得た画素補完候補のため確度（信頼度）は高い。
【００８５】
そこで、本実施例の画像拡大装置５０では、画素補完候補決定部６０３４によって、基準点広がり関数画素補完候補を基準にして、単一フレーム画素補完候補と複数フレーム画素補完候補を選別するため、縮小画像列を拡大画像列に復元する際に、確度の高い高画質となる画素補完候補を適切に選択して拡大画像を生成することができるようになる。
【００８６】
次に、図１３〜図２３を参照して、画像縮小装置１０における位置合わせ情報生成部の別例を説明する。
【００８７】
（位置合わせ情報の生成）
位置合わせ情報生成部２０１ｂとして、時間方向及び空間方向の周波数解析にウェーブレット変換を用いる場合について説明する。尚、時間方向及び空間方向の周波数解析には、ウェーブレット変換を用いる場合以外に、他の直交変換又はＦＦＴ（Fast Fourier transform）を用いることができる。
【００８８】
[装置構成]
図１３は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部のブロック図である。本例の位置合わせ情報生成部２０１ｂは、原画像列の時間方向スペクトルパワーを算出して空間方向の周波数分解階層数を決定し、周波数分解階層数に応じた空間解像度で原画像の空間解像度となるまで階層的に位置合わせを行なった情報を位置合わせ情報として生成する機能を有し、具体的には、時間方向高周波領域パワー算出部２０１１ｂと、空間分解階数決定部２０１２ｂと、空間方向低周波領域パワー算出部２０１３ｂと、位置合わせ開始分解能決定部２０１４ｂと、階層型位置合わせ処理部２０１５ｂとを備える。
【００８９】
時間方向高周波領域パワー算出部２０１１ｂは、位置合わせ処理を行う基準フレームＦ（ｔＣ）及び位置合わせ情報の探索に用いる参照フレームＦ（ｔＲ）を含む、時刻ｔ＝ｔ０・・・ｔｍにおける複数フレームのフレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力し、基準フレームＦ（ｔＣ）における全画素について、この複数フレームを時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部２０１２ｂに送出する。
【００９０】
例えば、図１４に示すように、時間方向高周波領域パワー算出部２０１１ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を含む、時刻ｔ＝ｔ０・・・ｔｍにおけるフレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力し、基準フレームＦ（ｔＣ）の全画素について時間方向に予め規定したＮｍａｘ階（例えば、４階）の離散ウェーブレット分解を行う時間方向１次元Ｎｍａｘ階離散ウェーブレット分解処理部２１１１ｂと、基準フレームＦ（ｔＣ）の全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出して空間分解階数決定部２０１２ｂに送出する時間方向周波数帯域別パワー算出部２１１２ｂから構成することができる。
【００９１】
空間分解階数決定部２０１２は、時間方向高周波領域パワー算出部２０１１ｂによって算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど、動領域面積が大きく、且つ動き量が大きいと判断し、時間方向の高周波領域のパワーの割合に応じて空間周波数の分解階数Ｎｓ（即ち、空間方向の分解能）を決定し、決定した空間周波数の分解階数Ｎｓの情報を空間方向低周波領域パワー算出部２０１３ｂに送出する。
【００９２】
空間方向低周波領域パワー算出部２０１３ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）と空間周波数の分解階数Ｎｓの情報を入力し、空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ（ｔＣ）及び／又は参照フレームＦ（ｔＲ）に対して空間Ｎｓ階離散ウェーブレット分解を実行し、当該フレームにおける空間周波数帯域毎のパワーを算出し、算出した空間周波数帯域毎のパワーから当該フレームにおける空間方向の低周波領域のパワーの割合を算出し、算出した空間方向の低周波領域のパワーの割合と空間Ｎｓ階離散ウェーブレット分解したデータを位置合わせ開始分解能決定部２０１４ｂに送出する。
【００９３】
尚、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の双方に対して空間Ｎｓ階離散ウェーブレット分解を実行することは、後の処理として、固定のブロックサイズ及び探索範囲の大きさで階層型位置合わせ処理を行う際のウェーブレット再構成を階層的に行うことにより、元画像に対して可変のブロックサイズ及び探索範囲の大きさとする階層型位置合わせ処理を行うことができる点で有利であり、特に、位置合わせ処理を階層的に行うための分解能の決定のためには、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）のうちの空間方向の低周波領域のパワーの割合が大きいほうを選定するのが好適となる。以下の説明では、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の双方について空間Ｎｓ階離散ウェーブレット分解を行う例を説明する。
【００９４】
例えば、図１５に示すように、空間方向低周波領域パワー算出部２０１３ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、空間分解階数決定部２０１２ｂによって決定した空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々の全画素に対して空間Ｎｓ階離散ウェーブレット分解を行う空間方向２次元Ｎｓ階離散ウェーブレット分解処理部２１３１ｂと、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々における空間周波数帯域毎のパワーを算出し、算出した空間周波数帯域毎のパワーから基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々における空間方向の低周波領域のパワーの割合を算出し、算出した基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の各々における空間方向の低周波領域のパワーの割合の大きいほうの情報を位置合わせ開始分解能決定部２０１４ｂに送出する空間方向周波数帯域別パワー算出部２１３２ｂから構成することができる。
【００９５】
位置合わせ開始分解能決定部２０１４ｂは、空間方向低周波領域パワー算出部２０１３ｂによって算出した空間方向の低周波領域のパワーの割合の情報から、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）、動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせ処理を階層的に開始するための分解能（以下、「位置合わせ開始分解能」と称する）が小さい値（即ち、低解像度画像）となるように、空間方向の低周波領域のパワーの割合に応じて位置合わせ開始分解能を決定し、決定した階層的な位置合わせ開始分解能の情報を階層型位置合わせ処理部２０１５ｂに送出する。
【００９６】
例えば、図１６に示すように、位置合わせ開始分解能決定部２０１４ｂは、空間方向低周波領域パワー算出部２０１３ｂによって算出した空間方向の低周波領域のパワーの割合から、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせを開始する階数（以下、「位置合わせ開始階数」と称する）ｎｓが大きな値となるように、空間方向の低周波領域のパワーの割合に応じて位置合わせ開始階数ｎｓを決定し、決定した位置合わせ開始階数ｎｓの情報を階層型位置合わせ処理部２０１５ｂに送出する位置合わせ開始階数決定部２１４１ｂとして構成することができる。
【００９７】
階層型位置合わせ処理部２０１５ｂは、位置合わせ開始階数ｎｓに応じた空間方向に低周波領域の基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の画像を得るために、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の空間方向２次元Ｎｓ階離散ウェーブレット分解したデータに対して、位置合わせ開始階数ｎｓに応じた空間ｎｓ階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ処理を実行し、続いて空間ｎｓ−１階ウェーブレットの再構成を行い、当該予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ処理を再度実行し、最上位の階層（即ち、元の画像レベル）にて当該予め定めたブロックサイズ及び探索範囲の大きさで位置合わせ情報の検出を行うまで階数をデクリメントして繰り返す。この階層型位置合わせ処理の動作は、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、位置合わせ開始分解能に基づいて、基準フレームＦ（ｔＣ）に対して順次ブロックサイズ及び探索範囲の大きさを縮小しながら位置合わせ処理を行うことと類似した処理となる。ただし、空間ｎｓ階ウェーブレット分解及び再構成を経て順次繰り返すことによる階層型位置合わせ処理によれば、階層に応じて順次可変にすべきブロックサイズ及び探索範囲の大きさを用意する必要がなく固定とすることができ、且つ画像シーンに応じた位置合わせ開始階数ｎｓに応じた位置合わせ処理を行うため、高精度化が期待できる。
【００９８】
例えば、図１７に示すように、階層型位置合わせ処理部２０１５ｂは、位置合わせ開始階数ｎｓに応じた空間方向に低周波領域の基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の画像を得るために位置合わせ開始階数ｎｓに応じた空間ｎｓ階ウェーブレットの再構成を行い、予め定めたブロックサイズ及び探索範囲の大きさで小数画素精度のブロックマッチングによる位置合わせ処理を行う位置合わせ情報生成部２１５１ｂと、この位置合わせ情報の生成処理を最上位の階数に対応する元の画像レベルとなるまで階数をデクリメントして繰り返すために、空間方向低周波領域パワー算出部２０１３ｂによって算出した空間Ｎｓ階離散ウェーブレット分解データに対して位置合わせ開始階数ｎｓよりも上位の階数の画像となるように空間方向に１階上位のウェーブレット再構成を実行して位置合わせ情報生成部２１５１ｂに送出する空間１階ウェーブレット再構成部２１５２ｂから構成することができる。従って、位置合わせ情報生成部２１５１ｂは、空間１階ウェーブレット再構成部２１５２ｂから得られる基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の再構成画像を用いて、位置合わせ処理を階層的に繰り返し、最終的な位置合わせ情報を決定して出力することができる。
【００９９】
以下、本例の位置合わせ情報生成部の動作について更に詳細に説明する。
【０１００】
[装置動作]
図１８は、本発明による一実施例の画像縮小装置における別例の位置合わせ情報生成部の動作を示す動作フローである。ステップＳ１にて、位置合わせ情報生成部２０１ｂは、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を含む、時刻ｔ＝ｔ０・・・ｔｍにおけるフレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力して、位置合わせ情報生成部２０１ｂが備える記憶部（図示せず）に適宜読み出し可能に格納する。
【０１０１】
ステップＳ２にて、時間方向高周波領域パワー算出部２０１１ｂにより、フレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）を入力し、基準フレームＦ（ｔＣ）における全画素について時間方向に予め規定した最大階数の周波領域に分解した後、全画素における時間方向の周波数帯域毎のパワーを算出し、算出した全画素における時間方向の周波数帯域別のパワーから時間方向の高周波領域のパワーの割合を算出する。
【０１０２】
例えば、図１９に示すように、フレーム画像列Ｆ（ｔ０），・・・，Ｆ（ｔＣ），・・・，Ｆ（ｔＲ），・・・，Ｆ（ｔｍ）における或る画素Ｒ（ｋ，ｌ）について、時間方向に予め規定した最大階数（Ｎｍａｘ）の周波領域に分解した後、全画素における時間方向周波数帯域毎のパワーを算出することができる。例えば、図２０に示すように、１６フレームのフレーム画像列Ｆ（ｔ）を時間方向にＮｍａｘ階に分解するとすれば、Ｎｍａｘ＝１では、低周波領域Ｌ１及び高周波領域Ｈ１として分割することができ（図２０（ａ）参照）、Ｎｍａｘ＝２では、低周波領域Ｌ２及び高周波領域Ｈ１，Ｈ２として分割することができ（図２０（ｂ）参照）、Ｎｍａｘ＝３では、低周波領域Ｌ３及び高周波領域Ｈ１，Ｈ２，Ｈ３として分割することができ（図２０（ｃ）参照）、Ｎｍａｘ＝４では、低周波領域Ｌ４及び高周波領域Ｈ１，Ｈ２，Ｈ３，Ｈ４として分割することができる（図２０（ｄ）参照）。
【０１０３】
ステップＳ３にて、空間分解階数決定部２０１２ｂにより、算出した時間方向の高周波領域のパワーの割合から、時間方向の高周波領域のパワーの割合が大きいほど動領域面積が大きく、且つ動き量が大きいと判断し、空間周波数の分解階数Ｎｓが大きな値となるように、時間方向の高周波領域のパワーの割合に応じて準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の空間周波数の分解階数Ｎｓを決定する。
【０１０４】
例えば、表１に示すように、時間方向の高周波領域のパワーの割合と空間周波数の分解階数Ｎｓとの間で規定されるテーブルを予め保持しておく。
【０１０５】
【表１】
【０１０６】
ステップＳ４にて、空間方向低周波領域パワー算出部２０１３ｂにより、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、空間分解階数決定部２０１２ｂによって決定した空間周波数の分解階数Ｎｓに基づいて、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）に対して空間Ｎｓ階離散ウェーブレット分解を実行し、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）における空間周波数帯域毎のパワーをそれぞれ算出し、位置合わせ開始分解能（又は位置合わせ開始階数ｎｓ）の決定のために、算出した空間周波数帯域毎のパワーから基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）における空間周波数帯域毎のパワーの割合の大きいほうを選定する。基準フレームＦ（ｔＣ）又は参照フレームＦ（ｔＲ）における空間周波数帯域毎のパワーの割合のみを算出してもよい。
【０１０７】
例えば、図２１（ａ）に示すように、基準フレームＦ（ｔＣ）の全画素に対して空間方向に２次元２階離散ウェーブレット分解を実行して、各周波領域のパワーを算出し、算出した空間周波数帯域毎のパワーから空間方向の低周波領域のパワーの割合を算出することができる。また、図２１（ｂ）に示すように、基準フレームＦ（ｔＣ）の空間方向の低周波領域（例えば、ＬＬ２）のみを抽出して基準フレームＦ（ｔＣ）の低周波領域のみの画像を再構成することができる。
【０１０８】
ステップＳ５にて、位置合わせ開始分解能決定部２０１４ｂにより、空間Ｎｓ階離散ウェーブレット分解データ及び空間方向の低周波領域のパワーの割合から、空間方向の低周波領域のパワーの割合が大きいほど（空間方向の高周波領域のパワーの割合が小さいほど）動領域面積が大きく、且つ動き量が大きいと判断し、位置合わせ開始分解能が小さい値（位置合わせ開始階数ｎｓが大きい値）となるように、空間方向の低周波領域のパワーの割合に応じて階層的な位置合わせ開始分解能（又は位置合わせ開始階数ｎｓ）を決定する。ただし、ｎｓ≦Ｎｓである。
【０１０９】
例えば、表２に示すように、空間方向の低周波領域のパワーの割合と位置合わせ開始分解能（又は位置合わせ開始階数ｎｓ）との間で規定されるテーブルを予め保持しておく。尚、位置合わせ開始階数が大きくなるにつれて、元の画像が低解像度化することを意味しており、元の画像に対して相対的にブロックサイズ及び位置合わせ情報の探索範囲の大きさが増大することを意味している。例えば、空間分解能１／１６，１／８，１／４，１／２とすれば、それぞれ（ブロックサイズ，位置合わせ情報の探索範囲の大きさ）は、（１６×１６，水平・垂直１６画素），（８×８，水平・垂直８画素），（４×４，水平・垂直４画素），（２×２，水平・垂直２画素）などである。ここで、例えば、空間分解能１／１６は、元の画像における水平標本化周波数Ｈｓ及び垂直標本化周波数Ｖｓにおいて、１６画素を１画素として標本化する低解像度化を意味する。
【０１１０】
【表２】
【０１１１】
つまり、図２２に示すように、空間方向の低周波領域のパワーの割合によって、位置合わせ開始階数ｎｓを関連付けることができる。例えば、Ｎｓ＝４のとき、低周波領域（ＬＬ４）及び高周波領域（ＬＬ４以外）のそれぞれのパワーを算出して、全体における低周波領域（ＬＬ４）の割合が、９９．５％以上であれば、位置合わせ開始階数ｎｓ＝４として４階層の低周波領域のみの画像を再構成することができる（図２２（ｄ）参照）。また、全体における低周波領域（ＬＬ４）の割合が、９８．０％以上９９．５％未満であれば、位置合わせ開始階数ｎｓ＝３として３階層の低周波領域（この場合、ＬＬ３）のみの画像を再構成することができる（図２２（ｃ）参照）。同様に、全体における低周波領域（ＬＬ４）の割合が、９５．０％以上９８．０％未満であれば、位置合わせ開始階数ｎｓ＝２として２階層の低周波領域（この場合、ＬＬ２）のみの画像を再構成することができ（図２２（ｂ）参照）、全体における低周波領域（ＬＬ４）の割合が、９５．０％未満であれば、位置合わせ開始階数ｎｓ＝１として１階層の低周波領域（この場合、ＬＬ１）のみの画像を再構成することができる（図２２（ａ）参照）。
【０１１２】
ステップＳ６にて、階層型位置合わせ処理部２０１５ｂにより、位置合わせ開始分解能（位置合わせ開始階数ｎｓ）に基づいた基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の低周波画像に対して、基準フレームＦ（ｔＣ）の低周波画像を所定のブロックサイズに分割し、分割した各ブロックについて、所定の位置合わせ情報の探索範囲の大きさで、小数画素精度のブロックマッチングによる位置合わせ情報の生成処理を行う。
【０１１３】
ステップＳ７にて、階層型位置合わせ処理部２０１５ｂにより、基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）に対してブロックサイズ及び位置合わせ情報の探索範囲の大きさを縮小しながら位置合わせ処理を繰り返す効果を得るために、算出していた基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の空間ｎｓ階離散ウェーブレット分解データに対して位置合わせ開始階数ｎｓよりも上位の階数の画像となるように空間方向に１階上位のウェーブレット再構成を実行する。
【０１１４】
階層型位置合わせ処理部２０１５ｂは、空間１階ウェーブレット再構成部２１５２ｂから得られる基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）の再構成画像を用いて、最上位の階層（即ち、元の画像レベルにおける位置合わせ情報）となるまで順次階数をデクリメントして位置合わせ処理を繰り返し（ステップＳ８）、最終的な位置合わせ情報を決定して出力することができる（ステップＳ９）。
【０１１５】
例えば、図２３（ａ）〜（ｄ）に示すように、位置合わせ開始階数ｎｓが大きいほどブロックサイズが大きくなる様子を示しており、ブロックサイズが大きいほど参照フレームＦ（ｔＲ）における位置合わせ情報の探索範囲の大きさも大きくなる。
【０１１６】
つまり、基準フレームＦ（ｔＣ）のｎｓ階低周波画像を水平及び垂直のブロックサイズ（Ｂｘｎｓ，Ｂｙｎｓ）の或るブロックＢｎｓ（上添え字は、階層を示す）に分割し、参照フレームＦ（ｔＲ）の±Ｓｘｎｓ，±Ｓｙｎｓの範囲（例えば、±２ブロック）で探索し、各ブロックの位置合わせ情報ｖｎｓを算出する。次に、基準フレームＦ（ｔＣ）のｎｓ−１階低周波画像を、ブロックサイズ（Ｂｘｎｓ，Ｂｙｎｓ）で分割し、参照フレームＦ（ｔＲ）のｎｓ階低周波画像上の同じ位置から２×ｖｎｓだけずらした場所を中心位置とする水平及び垂直画素数としてそれぞれ±Ｓｘｎｓ，±Ｓｙｎｓの範囲で探索し、得られた位置合わせ情報に２×ｖｎｓをベクトル加算して、ｎｓ−１階低周波画像における位置合わせ情報ｖｎｓ−１を算出する。このようにして、最上位の階数（即ち、１階）まで位置合わせ処理を繰り返すことにより、高精度化を図ることができる。
【０１１７】
尚、位置合わせ処理は、２次関数近似による小数画素位置のブロックマッチング法を用いて行うのは、最上位の階数（即ち、１階）でのみ行うのが好適であり、次式で与えられる。
【０１１８】
【０１１９】
尚、探索位置における画素位置をxとしたとき、SSD(x)は、画素位置におけるＳＳＤ値（誤差二乗和）を表し、より具体的には、SSD(0)は中心位置におけるＳＳＤ値、SSD(−1)は中心位置から−Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値、SSD(1)は中心位置から＋Ｓｘ（Ｓｙ）画素の位置におけるＳＳＤ値を表す。上記の式から、水平又は垂直方向の小数画素精度の画素位置（小数画素位置）をそれぞれ算出することができる。
【０１２０】
このように、時空間方向の周波数パワーに基づいて位置合わせ情報を生成することができる。
【０１２１】
次に、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部について説明する。
【０１２２】
（位置合わせ情報の確度判定）
図２４は、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部のブロック図である。本例の位置合わせ情報生成部２０１ｃは、原画像フレームをブロック分割したブロック単位で位置合わせ情報を生成し、各ブロック内の小領域のサブブロック単位で位置合わせ情報を生成し、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び／又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行ない、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正することにより、位置合わせ情報修正部２０３で用いる位置合わせ情報を生成する機能を有し、具体的には、ブロック単位小数画素の位置合わせ処理部２０１１ｃと、画素単位小数位置合わせ処理部２０１２ｃと、位置合わせ情報確度判定部２０１３ｃと、補正位置合わせ情報生成部２０１４ｃとを備える。尚、本例の位置合わせ情報生成部２０１ｃは、各構成要素が処理するのに必要なデータを格納する記憶部（図示せず）を備える。位置合わせ処理を行う基準フレームをＦ（ｔＣ）、及び位置合わせ情報の探索を行う参照フレームをＦ（ｔＲ）とする。
【０１２３】
ブロック単位小数画素の位置合わせ処理部２０１１ｃは、原画像列についてブロック単位で位置合わせ情報を算出する。より具体的には、後述するように、ブロック単位小数画素の位置合わせ処理部２０１１ｃは、基準フレームＦ（ｔＣ）、及び参照フレームＦ（ｔＲ）を入力して、基準フレームＦ（ｔＣ）を例えば１６×１６画素のブロックＢｉ，ｊ（ｉ，ｊは、水平及び垂直のブロック番号）で分割し、参照フレームＦ（ｔＲ）上を探索してブロック単位の位置合わせ情報ｖＢｉ，ｊを求め、当該記憶部に保持する。ブロック単位の位置合わせ処理は、小数画素精度の位置合わせ処理を行うのが好適である。
【０１２４】
画素単位小数画素の位置合わせ処理部２０１２ｃは、ブロックＢｉ，ｊ内の小領域のサブブロック単位（例えば、１画素単位）で位置合わせ情報を算出する。より具体的には、後述するように、画素単位小数画素の位置合わせ処理部２０１２ｃは、ブロックＢｉ，ｊ内の画素位置（ｋ，ｌ）について、各画素位置の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）を求め、当該記憶部に保持する。小領域のサブブロック単位（例えば、１画素単位）の位置合わせ情報は、小数画素精度の位置合わせ処理を行うのが好適である。
【０１２５】
位置合わせ情報確度判定部２０１３ｃは、当該記憶部に保持したブロック単位及びサブブロック単位で検出した位置合わせ情報を読み出し、サブブロック単位で検出した位置合わせ情報が、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び／又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行う。位置合わせ情報確度判定部２０１３ｃは、確度判定によって得られたサブブロック単位の位置合わせ情報について有効であるか否かを表す情報と、ブロック単位及びサブブロック単位で検出した位置合わせ情報を補正位置合わせ情報生成部２０１４ｃに送出する。より具体的には、位置合わせ情報確度判定部２０１３ｃは、サブブロック単位で検出した位置合わせ情報が、ブロック単位の動き量の半値以上である場合、及び／又は、一致度評価関数値が一定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。
【０１２６】
補正位置合わせ情報生成部２０１４ｃは、有効と判断したサブブロック単位の位置合わせ情報を、対応するブロック単位の位置合わせ情報にベクトル加算して補正する。
【０１２７】
これにより、ブロック単位で求めた位置合わせ情報に関して、より小領域のサブブロック単位（例えば、画素単位）で再検出し、サブブロック単位（例えば、画素単位）の位置合わせ情報について有効又は無効の判定を行うため、確度の高い位置合わせ情報を得ることができる。また、少なくとも小領域のサブブロック単位（例えば、画素単位）で小数画素精度の位置合わせ処理を行うため、精度の高い位置合わせ情報を得ることができる。
【０１２８】
以下、図２５を参照して、本発明による一実施例の画像縮小装置における更に別例の位置合わせ情報生成部の動作について詳細に説明する。
【０１２９】
ステップＳ１１にて、原画像列を構成する基準フレームＦ（ｔＣ）及び参照フレームＦ（ｔＲ）を入力し、適宜記憶部に保持する。
【０１３０】
ステップＳ１２にて、ブロック単位小数画素の位置合わせ処理部２０１１ｃにより、まず、ブロック単位（例えば、１６×１６画素のブロック単位）の小数画素精度の位置合わせ情報の生成を行う。例えば、図２６（ａ）に示すように、基準フレームＦ（ｔＣ）をブロックＢｉ，ｊ（ｉ，ｊは、列及び行のブロック番号）で分割し、図２６（ｂ）に示すように、参照フレームＦ（ｔＲ）上を探索してブロック単位の位置合わせ情報ｖＢｉ，ｊを求める。
【０１３１】
ステップＳ１３にて、画素単位小数画素の位置合わせ処理部２０１２ｃにより、小領域のサブブロック単位（例えば、画素単位）の小数画素精度の位置合わせ処理を行う。以下、画素単位の小数画素精度の位置合わせ処理を行う例を説明する。
【０１３２】
ブロックＢｉ，ｊ内の画素位置（ｋ，ｌ）とし、各画素位置の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）を、上述したように、画素単位の小数画素精度位置における位置合わせ情報の生成を行う。画素単位の位置合わせ処理は、２次関数近似（パラボラフィッティング）を用いた一致度評価関数とするブロックマッチング法を用いて、参照フレームＦ（ｔＲ）上をブロック単位の位置合わせ情報ｖＢｉ，ｊだけずらした位置を中心とする±Ｓｘ’（Ｓｙ’）の範囲で探索する。尚、探索範囲の大きさを規定する±Ｓｘ’又はＳｙ’の大きさは、±１画素とすることができる。
【０１３３】
ステップＳ１４にて、位置合わせ情報確度判定部２０１３ｃにより、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量に対して所定の閾値以上、及び／又は一致度評価関数値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする（ステップＳ１５，Ｓ１６）。
【０１３４】
例えば、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量の半値、即ち±（０．５，０．５）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする（図２７参照）。
【０１３５】
更に別の例として、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ＳＳＤ値が一定の閾値（例えば、SSD(0)の値）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。
【０１３６】
更に別の例として、求めた画素単位の位置合わせ情報ｕｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量の半値、即ち±（０．５，０．５）以上である場合、且つＳＳＤ値（誤差二乗和）が一定の閾値（例えば、SSD(0)の値）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。
【０１３７】
有効と判断した場合に、補正位置合わせ情報生成部２０１４ｃにより、この基準フレームＦ（ｔＣ）における小領域のサブブロック単位（例えば、画素単位）の位置合わせ情報Ｖ（ｉ，ｊ，ｋ，ｌ）を、Ｖ（ｉ，ｊ，ｋ，ｌ）＝ｖＢｉ，ｊ＋ｕｉ，ｊ（ｋ，ｌ）として補正する。
【０１３８】
尚、補正位置合わせ情報生成部２０１４ｃは、無効であるとされた対象の画素単位小数精度位置の位置合わせ情報については、その周囲の有効値（例えば、最も隣接する有効値）で置き換えるか、又は周囲の複数の有効値で平均化するか、又は、ブロック単位の位置合わせ情報で置き換える（即ち、Ｖ（ｉ，ｊ，ｋ，ｌ）＝ｖＢｉ，ｊ）ことにより、全ての小領域のサブブロック単位（例えば、画素単位）の位置合わせ情報Ｖ（ｉ，ｊ，ｋ，ｌ）を決定することもできる。
【０１３９】
このように、本実施例の位置合わせ情報生成部２０１ｃであれば、ブロック単位で求めた位置合わせ情報に関して、より小領域のサブブロック単位（例えば、画素単位）にて小数精度で再検出し、サブブロック単位の位置合わせ情報について有効及び無効の判定を行うため、確度の高く、且つ精度も高い位置合わせ情報を得ることができる。
【０１４０】
次に、動き量適応型点広がり関数について説明する。
【０１４１】
（動き量適応型点広がり関数）
図２８は、本発明による一実施例の画像縮小装置で利用可能な点広がり関数を生成する動き量適応型点広がり関数生成装置のブロック図である。通常、画像縮小の際に発生する動きぼけ関数として点広がり関数ＰＳＦ（Point Spreading Function）を用い、画像拡大の際にその逆関数を利用して超解像を行う。したがって、動き量適応型点広がり関数生成装置３００は、原画像列を用いて位置合わせ情報を生成し、この位置合わせ情報に応じて適応的に点広がり関数が変化する動き量適応型点広がり関数を生成する例である。この動き量適応型点広がり関数は、前述した画像縮小装置１０における記憶部３０に予め記憶しておくことで利用可能となる。
【０１４２】
動き量適応型点広がり関数生成装置３００は、位置合わせ情報生成部２０１によって生成した位置合わせ情報に応じて点広がり関数の幅が変化する動き量適応型点広がり関数を用いて、当該位置合わせ情報を修正した情報を補助情報として生成する機能を有し、位置合わせ情報修正部２０３に組み入れることができる。具体的には、動き量適応型点広がり関数生成装置３００は、位置合わせ情報生成部３０１と、画素対応付け処理部３０２と、再構成処理部３０３とを備える。
【０１４３】
位置合わせ情報生成部３０１は、図１で説明した場合と同様に、原画像列を用いて位置合わせ情報を生成する。
【０１４４】
画素対応付け処理部３０２は、原画像列を用いて生成した位置合わせ情報から、図１で説明した場合と同様に生成された縮小画像列について、複数フレーム間で画素の対応付けを行い、超解像元フレーム（縮小画像列のフレーム）の画素を被超解像フレーム（画像拡大するフレーム）上に反映する対応付け情報を生成して再構成処理部３０３に送出する（図２９参照）。
【０１４５】
再構成処理部３０３は、縮小画像の画素を、画像拡大するフレーム上に反映するときの事後確率（被超解像フレーム上に複数の低解像度な超解像元フレームの画素が与えられた時の事後確率）を最大にする高解像度画像の推定を行って高解像度画像を再構成するのに必要な動き量適応型点広がり関数を決定する。この推定にはＭＡＰ（Ｍａｘｉｍｕｍ Ａ Ｐｏｓｔｅｒｉｏｒ）法や、その他の方法を用いることができる。また動き量適応型点広がり関数は、原画像列を用いて生成した位置合わせ情報を基に、ＰＳＦを拡張した動きぼけ関数である。詳細に後述するが、再構成処理部３０３は、動き量適応型点広がり関数として、点広がり関数ＰＳＦを模擬する２次元ガウス関数近似を用いて、２次元ガウス関数近似の水平及び垂直方向の動きぼけ量を制御することができる。
【０１４６】
従来からのＭＡＰ法（以下、「従来ＭＡＰ法」と称する）は、ｘを高解像度な画像復元されたフレーム画像ベクトル、ｙを低解像度な超解像元フレーム画像ベクトル、Ｎを入力フレーム数とした時の事後確率ｐ(ｘ｜ｙ１，ｙ２，・・・，ｙＮ)を最大にする高解像度フレーム画像を推定する方法である。
【０１４７】
従来ＭＡＰ法によれば、誤差分布を正規分布と仮定した場合、推定される高解像度フレーム画像ｘ(＾)は、式（１０）で計算される。
【０１４８】
【数３】
【０１４９】
式（１０）での第１項では、Ｄはサブサンプリングを表す行列、Ｂｋは点広がり関数ＰＳＦ行列、Ｗｋは位置合わせ情報（特に、シーンやカメラの動きを表す動き量にも適用できる）の行列を示す。
【０１５０】
ゆえに、式（１０）の第１項の||ｙｋ−Ｄ・Ｂｋ・Ｗｋ・ｘ||２は、ｋ番目の低解像度の超解像元フレーム画像と、観測信号としての高解像度の画像復元されるフレーム画像にＰＳＦによる解像度変換時の動きぼけとｋ番目の超解像元フレームからの位置合わせ情報を与えてサブサンプリングした画像との二乗誤差となる。
【０１５１】
そして、式（１０）の第２項のλ||Ｃ・ｘ||２は、λが事前情報の寄与度合いを示す変数量、Ｃが入力画像の事前情報として与えられる「画像縮小率情報」の行列となる。
【０１５２】
ただし、従来ＭＡＰ法では、「点広がり関数ＰＳＦ」、「位置合わせ情報」、「画像縮小率情報」は補助情報としては与えられないことに注意する。ゆえに、従来ＭＡＰ法におけるＣは、例えば４近傍のＭＲＦ(Markov Random Field)を仮定して、４近傍のラプラシアンカーネルを利用するものであるため、シーンやカメラの動きに十分に対応できていなかった。
【０１５３】
本例の動き量適応型点広がり関数生成装置３００は、「位置合わせ情報」及び「画像縮小率情報」が補助情報としては与えられない状況下で、式（１０）の点広がり関数ＰＳＦのＢｋを、２次元ガウス関数近似による点広がり関数とし、位置合わせ情報（つまり、フレーム間動きベクトルの向きと大きさに対応する情報）に応じて、２次元ガウス関数近似による点広がり関数の拡張を行う。この拡張されたＰＳＦ関数を動き量適応型点広がり関数カーネルＥＢｋとする。
【０１５４】
式（１１）に、動き量適応型点広がり関数カーネルＥＢｋを用いたＭＡＰ再構成処理式を示す。
【０１５５】
【数４】
【０１５６】
より具体的に、「２次元ガウス関数近似による点広がり関数ＰＳＫ」と、「動き量適応型点広がり関数（拡張された２次元ガウス関数近似による点広がり関数ＰＳＫ）」について、詳細に説明する。
【０１５７】
〔２次元ガウス関数近似による点広がり関数〕
ＰＳＫを、２次元のガウス関数で近似するあたり、式（１２）のように、半値幅をｗとし、面積が１の規格化ガウス関数の振幅をαとして定義する。
【０１５８】
【数５】
【０１５９】
式（１２）より、２次元のガウス関数は、式（１３）のようになる。ここで、水平方向の基準位置はｘ０、垂直方向の基準位置はｙ０となる。
【０１６０】
【数６】
【０１６１】
〔動き量適応型点広がり関数（拡張された２次元ガウス関数近以による点広がり関数）〕
動き量適応型点広がり関数生成装置３００は、式（１３）の点広がり関数を拡張する。位置合わせ情報ｍの水平方向の動き量をｍｘ、垂直方向の動き量をｍｙとすると、式（１３）のガウス関数における水平方向と垂直方向の半値幅は、式（１４）のように制御される。
【０１６２】
【数７】
【０１６３】
式（１４）は、位置合わせ情報の向きと大きさに応じて点広がり関数の広がり方向と広がり量を制御するものである。
【０１６４】
動き量適応型点広がり関数生成装置３００の再構成処理では、式（１１）のカーネルＥＢｋを式（１４）の２次元のガウス関数として、画像拡大倍率に応じて式（１４）の半値幅ｗを決定し、式（１３）のλを変化させながら式（１３）の繰り返し演算を行い、最適な高解像度画像を求めることができる。
【０１６５】
このように、動き量適応型点広がり関数生成装置３００で生成した動き量適応型点広がり関数を、図１に示す画像縮小装置１０に適用すれば、動き量に対する鮮鋭な位置合わせ情報を生成することができる。
【０１６６】
以上の説明では、特定の実施例についてのみ説明したが、画像縮小装置から出力される縮小画像列や各補助情報を符号化・伝送し、画像拡大装置が符号化・伝送された縮小画像列や各補助情報を受信して復号するように構成できることは勿論である。
【産業上の利用可能性】
【０１６７】
本発明によれば、複数フレーム超解像処理のために、原画像精度のみならず点広がり関数による復元過程の誤差を修正した修正後位置合わせ情報を用いることができるようになるので、従来よりも高画質な超解像処理の画像を得ることができ、縮小画像から拡大画像を得る用途に有用である。
【符号の説明】
【０１６８】
１０ 画像縮小装置
５０ 画像拡大装置
２０１ 位置合わせ情報生成部
２０２ 画像縮小部
２０３ 位置合わせ情報修正部
２０４ 分散値決定部
６０１ 第１画素補完候補生成部
６０２ 第２画素補完候補生成部
６０３ 画素補完候補選別処理部
６０４ 拡大画像生成部
【特許請求の範囲】
【請求項１】
原画像列を縮小して縮小画像列を生成する画像縮小装置であって、
連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成する位置合わせ情報生成部と、
原画像列を所定の画像縮小率で縮小した縮小画像列を生成する画像縮小部と、
生成した位置合わせ情報、縮小画像列及び点広がり関数を用いて拡大画像フレームを生成し、当該位置合わせ情報の値を可変して拡大画像フレームと原画像フレームとの差分値が最小となるように当該位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成する位置合わせ情報修正部と、
空間オクターブ分解処理とガウシアンフィルタを用いて拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値が最小となるガウシアンフィルタの分散値を単一フレーム超解像補助情報として生成する分散値決定部と
を備えることを特徴とする画像縮小装置。
【請求項２】
前記位置合わせ情報修正部は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成することを特徴とする、請求項１に記載の画像縮小装置。
【請求項３】
前記分散値決定部は、空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成することを特徴とする、請求項１又は２に記載の画像縮小装置。
【請求項４】
請求項１に記載の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成する第１画素補完候補生成部と、
請求項１に記載の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成する第２画素補完候補生成部と、
予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別する画素補完候補選別処理部と、
当該選別された画素補完候補を用いて縮小画像列を拡大する拡大画像生成部と、
を備えることを特徴とする画像拡大装置。
【請求項５】
原画像列を縮小して縮小画像列を生成する画像縮小装置として機能するコンピュータに、
連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成するステップと、
原画像列を所定の画像縮小率で縮小した縮小画像列を生成するステップと、
生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成するステップと、
空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成するステップと、
を実行させるためのプログラム。
【請求項６】
コンピュータに、
請求項１に記載の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成するステップと、
請求項１に記載の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成するステップと、
予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別するステップと、
当該選別された画素補完候補を用いて縮小画像列を拡大するステップと、
を実行させるためのプログラム。
【請求項１】
原画像列を縮小して縮小画像列を生成する画像縮小装置であって、
連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成する位置合わせ情報生成部と、
原画像列を所定の画像縮小率で縮小した縮小画像列を生成する画像縮小部と、
生成した位置合わせ情報、縮小画像列及び点広がり関数を用いて拡大画像フレームを生成し、当該位置合わせ情報の値を可変して拡大画像フレームと原画像フレームとの差分値が最小となるように当該位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成する位置合わせ情報修正部と、
空間オクターブ分解処理とガウシアンフィルタを用いて拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値が最小となるガウシアンフィルタの分散値を単一フレーム超解像補助情報として生成する分散値決定部と
を備えることを特徴とする画像縮小装置。
【請求項２】
前記位置合わせ情報修正部は、生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成することを特徴とする、請求項１に記載の画像縮小装置。
【請求項３】
前記分散値決定部は、空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成することを特徴とする、請求項１又は２に記載の画像縮小装置。
【請求項４】
請求項１に記載の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成する第１画素補完候補生成部と、
請求項１に記載の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成する第２画素補完候補生成部と、
予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別する画素補完候補選別処理部と、
当該選別された画素補完候補を用いて縮小画像列を拡大する拡大画像生成部と、
を備えることを特徴とする画像拡大装置。
【請求項５】
原画像列を縮小して縮小画像列を生成する画像縮小装置として機能するコンピュータに、
連続する複数の原画像フレームからなる原画像列を入力して、処理対象の原画像フレームから連続する少なくとも１つの原画像フレームへの位置合わせ情報を生成するステップと、
原画像列を所定の画像縮小率で縮小した縮小画像列を生成するステップと、
生成した位置合わせ情報と縮小画像列を用いて、当該画像縮小率に対応する拡大率で縮小画像列の処理対象の縮小画像フレームを拡大する際に、拡大した標本位置に対して点広がり関数を用いた画素補完を行なって拡大画像フレームを生成し、生成した拡大画像の画素と原画像フレームの画素との差分値を算出し、当該位置合わせ情報の値を前記点広がり関数の処理範囲内でシフトしながら当該差分値が最小となるシフト量を算出し、該シフト量を当該位置合わせ情報の値に加算することにより前記位置合わせ情報を修正した情報を複数フレーム超解像補助情報として生成するステップと、
空間オクターブ分解処理とガウシアンフィルタを用いて、縮小画像列の処理対象の縮小画像フレームが持つスペクトラム情報から当該縮小画像フレームのナイキスト周波数を超える空間高周波成分を含む拡大画像を生成し、生成した拡大画像の画素と、該拡大画像と対応する画像サイズの空間オクターブ分解画像の画素との画素差分値を算出し、当該ガウシアンフィルタの分散値をガウシアンフィルタの処理範囲内で可変しながら当該画素差分値が最小となる誤差最小分散値を算出し、該誤差最小分散値を単一フレーム超解像補助情報として生成するステップと、
を実行させるためのプログラム。
【請求項６】
コンピュータに、
請求項１に記載の画像縮小装置によって生成された縮小画像列に対して、前記複数フレーム超解像補助情報を用いて当該画像縮小率に対応する拡大率で位置合わせを行ない、当該位置合わせを行った拡大後の標本点について当該点広がり関数に基づく画素補完候補を生成するステップと、
請求項１に記載の画像縮小装置によって生成された縮小画像列に対して、空間オクターブ分解後に再構成した再構成画像の高周波成分について当該単一フレーム超解像補助情報を用いてガウシアンフィルタ処理を実行し、当該縮小画像を低周波成分として用いるとともに前記ガウシアンフィルタ処理を実行後の再構成画像の高周波成分を用いて空間オクターブ分解画像を構成し、該空間オクターブ分解画像について空間オクターブ再構成処理を施すことにより、当該ガウシアンフィルタ処理に基づく画素補完候補を生成するステップと、
予め定めた基準となる画素補完候補である基準点広がり関数画素補完候補を基に、基準点広がり関数画素補完候補、単一フレーム画素補完候補、及び複数フレーム画素補完候補を選別するステップと、
当該選別された画素補完候補を用いて縮小画像列を拡大するステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【公開番号】特開２０１２−１６４１４７（Ｐ２０１２−１６４１４７Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２４２１５（Ｐ２０１１−２４２１５）
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月７日（２０１１．２．７）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]