画像超解像処理装置及びそのプログラム
【課題】原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置及びそのプログラムを提供する。
【解決手段】原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像スペクトルに変換する。当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間高周波スペクトルを推定して生成する。予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成し、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正する。当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成する。
【解決手段】原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像スペクトルに変換する。当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間高周波スペクトルを推定して生成する。予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成し、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正する。当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原画像に対して例えば符号化処理によって劣化過程を経て縮小された縮小画像を、所定の拡大倍率で拡大して元の原画像のサイズに戻す超解像処理を行う画像超解像処理装置及びそのプログラムに関する。
【背景技術】
【０００２】
原画像に対して例えば符号化処理によって劣化過程を経て縮小された縮小画像を、所定の拡大倍率で拡大して元の原画像のサイズに戻す超解像処理が知られている（例えば、特許文献１参照）。
【０００３】
また、画像拡大を行う際に、ウェーブレット変換を用いて、縮小画像を超え原画像の空間標本化周波数に至る高周波スペクトルを生成することにより、超解像画像を得る技術が知られている（例えば、特許文献２参照）。このような周波数再構成型の超解像処理は、例えば、縮小画像と原画像のスペクトル間には、相似性（「自己相似性」とも称する）が存在することが多いことを利用している。
【０００４】
つまり、縮小画像のスペクトルから、縮小画像が持つ空間標本化周波数を超えて原画像が持つ空間標本化周波数に至る高周波スペクトルを生成する。例えば、縮小画像を水平２倍、垂直２倍に拡大して原画像を生成する場合、縮小画像のスペクトルについて水平、垂直方向共に標本化周波数の１／２倍を超えて１倍に至る領域のスペクトルを補間拡大し、縮小画像が持つ空間標本化周波数を超えて原画像が持つ空間標本化周波数に至る帯域へコピーすることで高周波スペクトルを生成する。
【０００５】
尚、周波数再構成型の超解像処理として、離散ウェーブレットパケット変換を用いる技術（例えば、非特許文献１参照）や、離散フーリエ変換を用いる技術（例えば、非特許文献２参照）が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−２０４２６８号公報
【特許文献２】特許第２６３９３２３号明細書
【非特許文献】
【０００７】
【非特許文献１】R. Coifman, Y. Meyer, S. Quake, and V. Wickerhauser, “Signal Processing and Compression with Wavelet Packets,” Numerical Algorithms Research Group, New Haven, CT, Yale University, 1990
【非特許文献２】S. G. Mallat, “A theory for multiresolution signal decomposition: The wavelet decompression,” IEEE Trans. Patt. Anal. Mach. Intell., vol.11, pp. 674-693, 1989
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術は、高周波スペクトルを生成する際、その高周波スペクトルパワーを正確に設定することができない。ゆえに、高周波スペクトルパワーが過大となり、アーティファクトが発生する問題や、逆に高周波スペクトルパワーが過小となり高精細感がほとんど得られないという問題が生じる。
【０００９】
そこで、本発明の目的は、上述の問題に鑑みて、スペクトルパワーを制御して、縮小画像に対して超解像処理を行う画像超解像処理装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明では、縮小画像を原画像サイズに拡大する際、縮小画像のスペクトルと原画像帯域毎スペクトルパワー代表値を用いて、縮小画像を超え原画像の空間標本化周波数に至る空間高周波スペクトルを推定し、高画質化を図ることにある。
【００１１】
即ち、本発明の画像超解像処理装置は、原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置であって、原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換する直交変換部と、当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する高周波スペクトル生成部と、予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成する原画像帯域毎スペクトルパワー決定部と、前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するスペクトルパワー補正部と、当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成する逆直交変換部と、を備えることを特徴とする。
【００１２】
また、本発明の画像超解像処理装置において、前記高周波スペクトル生成部は、ウェーブレット変換を用いて推定することを特徴とする。
【００１３】
前記直交変換部は、前記直交変換処理として、離散フーリエ変換、離散コサイン変換、離散ウェーブレット変換、離散ウェーブレットパケット変換のうちのいずれかとし、前記直交変換部は、前記逆直交変換処理として、前記直交変換処理に対応する逆離散フーリエ変換、逆離散コサイン変換、逆離散ウェーブレット変換、逆離散ウェーブレットパケット変換のうちのいずれかとすることを特徴とする。
【００１４】
前記原画像帯域毎スペクトルパワー決定部は、原画像帯域毎スペクトルパワー代表値が事前に用意されていない場合に、前記縮小画像をオクターブ分解し、各帯域におけるスペクトルパワーの平均値を各帯域における当該原画像帯域毎スペクトルパワー代表値として求める手段と、原画像帯域毎スペクトルパワー代表値が事前に用意されている場合に、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応している際には、各帯域における当該原画像帯域毎スペクトルパワー代表値とし、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応していない際には、事前に用意された原画像帯域毎スペクトルパワー代表値を、前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応するように補間して、各帯域における当該原画像帯域毎スペクトルパワー代表値として決定する手段と、を有することを特徴とする。
【００１５】
また、本発明のプログラムは、原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置として構成するコンピュータに、原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換するステップと、当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成するステップと、予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成するステップと、前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するステップと、当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成するステップと、を実行させるためのプログラムとして構成される。
【発明の効果】
【００１６】
本発明では、従来技術の課題である高周波スペクトルパワーが過大となり、アーティファクトが発生する問題や、逆に高周波スペクトルパワーが過小となり高精細感がほとんど得られないという問題を解決し、高画質な超解像画像が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明による一実施例の画像超解像処理装置のブロック図である。
【図２】（ａ），（ｂ），（ｃ）は、周波数再構成型の超解像処理の概念図を示す図である。
【図３】（ａ），（ｂ）は、本発明による一実施例の画像超解像処理装置における直交変換処理として、２次元１階ウェーブレット変換を用いた場合の例を示す図である。
【図４】（ａ），（ｂ），（ｃ），（ｄ），（ｅ）は、本発明による一実施例の画像超解像処理装置における高周波スペクトル生成部の処理例を示す図である。
【図５】（ａ），（ｂ）は、本発明による一実施例の画像超解像処理装置における原画像帯域毎スペクトルパワー決定部の一処理例を示す図である。
【図６】（ａ），（ｂ）は、本発明による一実施例の画像超解像処理装置における原画像帯域毎スペクトルパワー決定部の一処理例を示す図である。
【図７】（ａ），（ｂ），（ｃ）は、本発明による一実施例の画像超解像処理装置におけるスペクトルパワー補正部の処理例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明による一実施例の画像超解像処理装置について説明する。
【００１９】
〔装置構成〕
図１は、本発明による一実施例の画像超解像処理装置のブロック図である。本実施例の画像超解像処理装置１は、原画像に対して予め縮小された縮小画像を画像拡大するための装置であり、直交変換部１０と、高周波スペクトル生成部２０と、代表値判定部３０と、原画像帯域毎スペクトルパワー決定部４０と、スペクトルパワー補正部５０と、逆直交変換部６０とを備える。本実施例では、直交変換として離散ウェーブレット分解を用い、縮小画像（縮小画像Ｆ）を水平２倍、垂直２倍に画像拡大する場合について説明する。
【００２０】
直交変換部１０は、原画像に対して予め縮小された縮小画像Ｆを入力して直交変換処理を施し、縮小画像Ｆの帯域幅の縮小画像スペクトルに変換し、高周波スペクトル生成部２０に送出する。
【００２１】
高周波スペクトル生成部２０は、当該原画像のサイズに戻すための拡大倍率値Ａを入力して、直交変換部１０を経て得られる縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成し、原画像帯域毎スペクトルパワー決定部４０に送出する。
【００２２】
原画像帯域毎スペクトルパワー決定部４０は、予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を入力し、拡大倍率値Ａを入力して、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成し、スペクトルパワー補正部５０に送出する。
【００２３】
スペクトルパワー補正部５０は、原画像帯域毎スペクトルパワー決定部４０から得られる原画像帯域毎スペクトルパワー補正値によって、当該縮小画像スペクトル及び当該空間高周波スペクトルを補正し、逆直交変換部６０に送出する。
【００２４】
逆直交変換部６０は、スペクトルパワー補正部５０によって補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成する。
【００２５】
尚、代表値判定部３０は、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されていない場合を想定して設けられた機能部であり、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されていない場合には、直交変換部１０から得られる縮小画像スペクトルか、又は縮小画像そのものを原画像帯域毎スペクトルパワー決定部４０に送出し、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されている場合には、この事前に用意された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を原画像帯域毎スペクトルパワー決定部４０に送出する。
【００２６】
この場合、原画像帯域毎スペクトルパワー決定部４０は、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されていない場合に、直交変換部１０から得られる縮小画像スペクトルか、又は得られた縮小画像をオクターブ分解し、各帯域におけるスペクトルパワーの平均値を、拡大倍率値Ａに応じて各帯域における当該原画像帯域毎スペクトルパワー代表値として求め、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されている場合に、該原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を持つ帯域幅が当該縮小画像スペクトル及び当該空間高周波スペクトルの帯域幅と対応している際には、各帯域における当該原画像帯域毎スペクトルパワー代表値として決定し、該原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を持つ帯域幅が当該縮小画像スペクトル及び当該空間高周波スペクトルの帯域幅と対応していない際には、事前に用意された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を、当該縮小画像スペクトル及び当該空間高周波スペクトルの帯域幅と対応するように補間して、各帯域における当該原画像帯域毎スペクトルパワー代表値として新たに決定する。
【００２７】
以下、より具合的に、本実施例の画像超解像処理装置１の動作について、図２〜図７を参照して説明する。
【００２８】
〔装置動作〕
まず、本発明の理解を高めるために、従来技術における超解像処理の問題点を明らかにする。図２には、周波数再構成型の超解像処理の概念図を示している。図２（ａ）は、原画像の空間標本化周波数において、特に水平方向のスペクトルを例示する図である。例えば、原画像が最大標本化周波数ωｘ０に従って徐々に減衰するようなスペクトルパワーを有していたとする。一方、図２（ｂ）は、原画像に対して１／２に縮小された縮小画像についての空間標本化周波数において、特に水平方向のスペクトルを例示する図である。この場合、縮小画像がその最大標本化周波数ωｘ０／２に従って徐々に減衰するようなスペクトルパワーを有していたとする。図２（ｃ）に示すように、従来技術における超解像処理（以下、「単純超解像度処理」とも称する）では、２倍の拡大倍率値を用いて縮小画像を画像拡大して再構成後の画像を得たとすると、この再構成後の画像のスペクトルは、ＤＣ成分及び原画像の最大標本化周波数ωｘ０のパワーＰが一致しても、ＤＣ成分から原画像の最大標本化周波数ωｘ０までの帯域内においてパワー誤差ΔＰが生じることがよくある。従って、単純超解像度処理では、高周波スペクトルパワーが過大となり、アーティファクトが発生する問題や、逆に高周波スペクトルパワーが過小となり高精細感がほとんど得られないという問題が生じ、原画像の復元に関して画質改善の余地があった。
【００２９】
このため、本実施例の画像超解像処理装置１では、スペクトルパワーを制御して、縮小画像に対して超解像処理を行うように構成している。
【００３０】
まず、直交変換部１０は、原画像に対して予め縮小された縮小画像Ｆを入力して直交変換処理を施し、縮小画像Ｆの帯域幅の縮小画像スペクトルを算出する。図３は、この直交変換処理に、２次元１階ウェーブレット変換を用いた場合の例を示している。
【００３１】
例えば、直交変換部１０は、縮小画像Ｆに対して（図３（ａ）参照）、例えばスケーリング関数φを用いて２次元ｎ階離散ウェーブレット分解を行ない、空間低周波帯域成分Ｆ＿ＬＬｎと、水平・垂直・斜め方向空間高周波帯域成分Ｆ＿ＬＨｎ，Ｆ＿ＨＬｎ，Ｆ＿ＨＨｎを得ることができる（図３（ｂ）参照）。尚、ｎは階数を表し、図３の例ではｎ＝１である。
【００３２】
次に、高周波スペクトル生成部２０は、当該原画像のサイズに戻すための拡大倍率値Ａを入力して、直交変換部１０を経て得られる縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する。図４は、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する例を示しており、空間高周波成分を補間生成して水平・垂直方向にそれぞれ拡大する例である。
【００３３】
例えば、高周波スペクトル生成部２０は、縮小画像スペクトルより縮小画像が持つ空間標本化周波数を超え原画像が持つ空間標本化周波数に至る空間高周波スペクトルを推定する。ここでは、縮小画像Ｆを原画像サイズに超解像した画像のスペクトルと原画像スペクトルには、自己相似性を持つと仮定して、高周波成分の補間生成を行っている。
【００３４】
図４に示す例では、縮小画像Ｆ（図４（ａ）参照）に対して例えば２次元１階の縮小画像スペクトルが得られているので（図４（ｂ）参照）、空間高周波スペクトルの推定のために、この縮小画像スペクトルのうちのＦ＿ＬＨ１を空間低周波成分とし、同じサイズのゼロ行列（要素がゼロ）を空間高周波成分として（図４（ｃ）参照）、２次元１階ウェーブレット再構成し直交変換を施してＦ＿ＨＬ０を得る（図４（ｄ）参照）。同様に、この縮小画像スペクトルのうちのＦ＿ＬＨ１を空間低周波成分とし空間高周波成分をゼロとして、１階ウェーブレット再構成して直交変換を施しＦ＿ＬＨ０を得るとともに、縮小画像スペクトルのうちのＦ＿ＨＨ１を空間低周波成分とし空間高周波成分をゼロとして１階ウェーブレット再構成して直交変換を施しＦ＿ＨＨ０を得る。最終的に、原画像サイズに相当するオクターブ分解のスペクトル成分は、縮小画像スペクトルの成分Ｆ＿ＬＬ１，Ｆ＿ＬＨ１，Ｆ＿ＨＬ１，Ｆ＿ＨＨ１と、推定して得られた空間高周波スペクトルＦ＿ＬＨ０，Ｆ＿ＨＬ０，Ｆ＿ＨＨ０を組み合わせることで推定され、各帯域幅内のパワー値Ｐ（Ｆ＿ＬＬ１），Ｐ（Ｆ＿ＬＨ１），Ｐ（Ｆ＿ＨＬ１），Ｐ（Ｆ＿ＨＨ１），Ｐ（Ｆ＿ＬＨ０），Ｐ（Ｆ＿ＨＬ０），Ｐ（Ｆ＿ＨＨ０）も推定することができる（図４（ｅ）参照）。この処理は、単純超解像処理と同等の推定性能であるが、後述するように、原画像帯域毎スペクトルパワー代表値を用いた補正処理に適した処理となっていることに留意する。
【００３５】
次に、原画像帯域毎スペクトルパワー決定部４０は、代表値判定部３０による判定結果として原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されているか否かに応じて、３種類のケースに場合分けして動作するように構成することができる。
【００３６】
（ケース１）
ケース１は、原画像帯域毎スペクトルパワー代表値がＮＵＬＬの場合（入力されない場合又は値がゼロの場合）である。この場合、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を生成する必要がある。ここで、原画像と縮小画像のスペクトルは、自己相似性があると仮定している。縮小画像Ｆをｎ階離散ウェーブレット分解して各帯域のスペクトルパワー代表値を求め（図５（ａ）参照）、そのまま水平・垂直方向に２倍した帯域のスペクトラムパワー値として原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）とする（図５（ｂ）参照）。
【００３７】
（ケース２）
ケース２は、原画像帯域毎スペクトルパワー代表値が入力され、この原画像帯域毎スペクトルパワー代表値を持つ帯域幅が、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応している場合である。この場合、入力された原画像帯域毎スペクトルパワー代表値を、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）とする。
【００３８】
（ケース３）
ケース３は、原画像帯域毎スペクトルパワー代表値が入力されるが、この原画像帯域毎スペクトルパワー代表値を持つ帯域幅が、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応していない場合である。この場合、入力された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応するように補間して、補間後の原画像帯域毎スペクトルパワー代表値を生成する。例えば、水平・垂直・斜め方向に最小二乗法による線形補間によって、入力される原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を補間して、補間後の原画像帯域毎スペクトルパワー代表値を算出することができる。図６に示すように、入力された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）のうち水平方向の帯域の代表値を抽出して得られる帯域幅が（図６（ａ）参照）、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応していない場合に（尚、代表値が１つの帯域幅内に複数ある場合も対応していないと判断する）、最小二乗法による線形補間によって補間して新たな原画像帯域毎スペクトルパワー代表値を算出する例を示している（図６（ｂ）参照）。
【００３９】
次に、スペクトルパワー補正部５０は、原画像帯域毎スペクトルパワー決定部４０から得られる原画像帯域毎スペクトルパワー補正値（補間後の原画像帯域毎スペクトルパワー代表値に対応する）によって（図７（ａ）参照）、当該縮小画像スペクトル及び当該空間高周波スペクトルを補正し（図７（ｂ）参照）、補正後のパワー値からなるウェーブレット係数を得る（図７（ｃ）参照）。
【００４０】
例えば、図７に示すように、Ｆ＿ＬＨ０帯域内で各要素のスペクトルパワー絶対平均値Ｐ（Ｆ＿ＬＨ０）を算出し、該当帯域に相当する原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ＿ＬＨ０）と同じになる倍率でＦ＿ＬＨ０帯域内の全要素のウェーブレット分解係数に対して乗算を行うことで縮小画像スペクトル及び空間高周波スペクトルに対して補正し、同様の処理を全帯域に対して行う。
【００４１】
最終的に、逆直交変換部６０は、スペクトルパワー補正部５０によって補正した縮小画像スペクトル及び空間高周波スペクトル（スペクトルレベル補正後のｎ階離散ウェーブレット分解係数）に対して、ｎ階離散ウェーブレット逆変換を施し、当該縮小画像を拡大した超解像画像を生成する。
【００４２】
このように、本実施例の画像超解像処理装置１では、スペクトルパワーを制御して、縮小画像に対して超解像処理を行うため、単純超解像度処理で生じていた問題を解決し、原画像の復元に関して画質の改善を図ることができるようになる。
【００４３】
また、上述の実施例では、各周波領域のパワーの算出のために、ウェーブレット変換を用いる例を説明したが、離散フーリエ変換、離散コサイン変換、離散ウェーブレット変換、離散ウェーブレットパケット変換等を用いて各周波領域のパワーを算出することができる。ウェーブレット変換を用いる場合には、画像の周波数変化を高精度に捉えることができる点で優れており、離散コサイン変換を用いる場合には、既存のシステムが離散コサイン変換を用いている場合に装置構成が容易になる。
【００４４】
更に、本発明の一態様として、本発明の画像超解像処理装置をコンピュータとして構成させることができる。コンピュータに、前述した本発明の画像超解像処理装置の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
【００４５】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【００４６】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【００４７】
以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。
【産業上の利用可能性】
【００４８】
本発明によれば、原画像の復元に関して画質の改善を図ることができるようになるので、超解像処理を要する任意の用途に有用である。
【符号の説明】
【００４９】
１ 画像超解像処理装置
１０ 直交変換部
２０ 高周波スペクトル生成部
３０ 代表値判定部
４０ 原画像帯域毎スペクトルパワー決定部
５０ スペクトルパワー補正部
６０ 逆直交変換部
【技術分野】
【０００１】
本発明は、原画像に対して例えば符号化処理によって劣化過程を経て縮小された縮小画像を、所定の拡大倍率で拡大して元の原画像のサイズに戻す超解像処理を行う画像超解像処理装置及びそのプログラムに関する。
【背景技術】
【０００２】
原画像に対して例えば符号化処理によって劣化過程を経て縮小された縮小画像を、所定の拡大倍率で拡大して元の原画像のサイズに戻す超解像処理が知られている（例えば、特許文献１参照）。
【０００３】
また、画像拡大を行う際に、ウェーブレット変換を用いて、縮小画像を超え原画像の空間標本化周波数に至る高周波スペクトルを生成することにより、超解像画像を得る技術が知られている（例えば、特許文献２参照）。このような周波数再構成型の超解像処理は、例えば、縮小画像と原画像のスペクトル間には、相似性（「自己相似性」とも称する）が存在することが多いことを利用している。
【０００４】
つまり、縮小画像のスペクトルから、縮小画像が持つ空間標本化周波数を超えて原画像が持つ空間標本化周波数に至る高周波スペクトルを生成する。例えば、縮小画像を水平２倍、垂直２倍に拡大して原画像を生成する場合、縮小画像のスペクトルについて水平、垂直方向共に標本化周波数の１／２倍を超えて１倍に至る領域のスペクトルを補間拡大し、縮小画像が持つ空間標本化周波数を超えて原画像が持つ空間標本化周波数に至る帯域へコピーすることで高周波スペクトルを生成する。
【０００５】
尚、周波数再構成型の超解像処理として、離散ウェーブレットパケット変換を用いる技術（例えば、非特許文献１参照）や、離散フーリエ変換を用いる技術（例えば、非特許文献２参照）が知られている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平３−２０４２６８号公報
【特許文献２】特許第２６３９３２３号明細書
【非特許文献】
【０００７】
【非特許文献１】R. Coifman, Y. Meyer, S. Quake, and V. Wickerhauser, “Signal Processing and Compression with Wavelet Packets,” Numerical Algorithms Research Group, New Haven, CT, Yale University, 1990
【非特許文献２】S. G. Mallat, “A theory for multiresolution signal decomposition: The wavelet decompression,” IEEE Trans. Patt. Anal. Mach. Intell., vol.11, pp. 674-693, 1989
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術は、高周波スペクトルを生成する際、その高周波スペクトルパワーを正確に設定することができない。ゆえに、高周波スペクトルパワーが過大となり、アーティファクトが発生する問題や、逆に高周波スペクトルパワーが過小となり高精細感がほとんど得られないという問題が生じる。
【０００９】
そこで、本発明の目的は、上述の問題に鑑みて、スペクトルパワーを制御して、縮小画像に対して超解像処理を行う画像超解像処理装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明では、縮小画像を原画像サイズに拡大する際、縮小画像のスペクトルと原画像帯域毎スペクトルパワー代表値を用いて、縮小画像を超え原画像の空間標本化周波数に至る空間高周波スペクトルを推定し、高画質化を図ることにある。
【００１１】
即ち、本発明の画像超解像処理装置は、原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置であって、原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換する直交変換部と、当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する高周波スペクトル生成部と、予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成する原画像帯域毎スペクトルパワー決定部と、前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するスペクトルパワー補正部と、当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成する逆直交変換部と、を備えることを特徴とする。
【００１２】
また、本発明の画像超解像処理装置において、前記高周波スペクトル生成部は、ウェーブレット変換を用いて推定することを特徴とする。
【００１３】
前記直交変換部は、前記直交変換処理として、離散フーリエ変換、離散コサイン変換、離散ウェーブレット変換、離散ウェーブレットパケット変換のうちのいずれかとし、前記直交変換部は、前記逆直交変換処理として、前記直交変換処理に対応する逆離散フーリエ変換、逆離散コサイン変換、逆離散ウェーブレット変換、逆離散ウェーブレットパケット変換のうちのいずれかとすることを特徴とする。
【００１４】
前記原画像帯域毎スペクトルパワー決定部は、原画像帯域毎スペクトルパワー代表値が事前に用意されていない場合に、前記縮小画像をオクターブ分解し、各帯域におけるスペクトルパワーの平均値を各帯域における当該原画像帯域毎スペクトルパワー代表値として求める手段と、原画像帯域毎スペクトルパワー代表値が事前に用意されている場合に、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応している際には、各帯域における当該原画像帯域毎スペクトルパワー代表値とし、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応していない際には、事前に用意された原画像帯域毎スペクトルパワー代表値を、前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応するように補間して、各帯域における当該原画像帯域毎スペクトルパワー代表値として決定する手段と、を有することを特徴とする。
【００１５】
また、本発明のプログラムは、原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置として構成するコンピュータに、原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換するステップと、当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成するステップと、予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成するステップと、前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するステップと、当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成するステップと、を実行させるためのプログラムとして構成される。
【発明の効果】
【００１６】
本発明では、従来技術の課題である高周波スペクトルパワーが過大となり、アーティファクトが発生する問題や、逆に高周波スペクトルパワーが過小となり高精細感がほとんど得られないという問題を解決し、高画質な超解像画像が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明による一実施例の画像超解像処理装置のブロック図である。
【図２】（ａ），（ｂ），（ｃ）は、周波数再構成型の超解像処理の概念図を示す図である。
【図３】（ａ），（ｂ）は、本発明による一実施例の画像超解像処理装置における直交変換処理として、２次元１階ウェーブレット変換を用いた場合の例を示す図である。
【図４】（ａ），（ｂ），（ｃ），（ｄ），（ｅ）は、本発明による一実施例の画像超解像処理装置における高周波スペクトル生成部の処理例を示す図である。
【図５】（ａ），（ｂ）は、本発明による一実施例の画像超解像処理装置における原画像帯域毎スペクトルパワー決定部の一処理例を示す図である。
【図６】（ａ），（ｂ）は、本発明による一実施例の画像超解像処理装置における原画像帯域毎スペクトルパワー決定部の一処理例を示す図である。
【図７】（ａ），（ｂ），（ｃ）は、本発明による一実施例の画像超解像処理装置におけるスペクトルパワー補正部の処理例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明による一実施例の画像超解像処理装置について説明する。
【００１９】
〔装置構成〕
図１は、本発明による一実施例の画像超解像処理装置のブロック図である。本実施例の画像超解像処理装置１は、原画像に対して予め縮小された縮小画像を画像拡大するための装置であり、直交変換部１０と、高周波スペクトル生成部２０と、代表値判定部３０と、原画像帯域毎スペクトルパワー決定部４０と、スペクトルパワー補正部５０と、逆直交変換部６０とを備える。本実施例では、直交変換として離散ウェーブレット分解を用い、縮小画像（縮小画像Ｆ）を水平２倍、垂直２倍に画像拡大する場合について説明する。
【００２０】
直交変換部１０は、原画像に対して予め縮小された縮小画像Ｆを入力して直交変換処理を施し、縮小画像Ｆの帯域幅の縮小画像スペクトルに変換し、高周波スペクトル生成部２０に送出する。
【００２１】
高周波スペクトル生成部２０は、当該原画像のサイズに戻すための拡大倍率値Ａを入力して、直交変換部１０を経て得られる縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成し、原画像帯域毎スペクトルパワー決定部４０に送出する。
【００２２】
原画像帯域毎スペクトルパワー決定部４０は、予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を入力し、拡大倍率値Ａを入力して、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成し、スペクトルパワー補正部５０に送出する。
【００２３】
スペクトルパワー補正部５０は、原画像帯域毎スペクトルパワー決定部４０から得られる原画像帯域毎スペクトルパワー補正値によって、当該縮小画像スペクトル及び当該空間高周波スペクトルを補正し、逆直交変換部６０に送出する。
【００２４】
逆直交変換部６０は、スペクトルパワー補正部５０によって補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成する。
【００２５】
尚、代表値判定部３０は、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されていない場合を想定して設けられた機能部であり、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されていない場合には、直交変換部１０から得られる縮小画像スペクトルか、又は縮小画像そのものを原画像帯域毎スペクトルパワー決定部４０に送出し、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されている場合には、この事前に用意された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を原画像帯域毎スペクトルパワー決定部４０に送出する。
【００２６】
この場合、原画像帯域毎スペクトルパワー決定部４０は、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されていない場合に、直交変換部１０から得られる縮小画像スペクトルか、又は得られた縮小画像をオクターブ分解し、各帯域におけるスペクトルパワーの平均値を、拡大倍率値Ａに応じて各帯域における当該原画像帯域毎スペクトルパワー代表値として求め、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されている場合に、該原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を持つ帯域幅が当該縮小画像スペクトル及び当該空間高周波スペクトルの帯域幅と対応している際には、各帯域における当該原画像帯域毎スペクトルパワー代表値として決定し、該原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を持つ帯域幅が当該縮小画像スペクトル及び当該空間高周波スペクトルの帯域幅と対応していない際には、事前に用意された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を、当該縮小画像スペクトル及び当該空間高周波スペクトルの帯域幅と対応するように補間して、各帯域における当該原画像帯域毎スペクトルパワー代表値として新たに決定する。
【００２７】
以下、より具合的に、本実施例の画像超解像処理装置１の動作について、図２〜図７を参照して説明する。
【００２８】
〔装置動作〕
まず、本発明の理解を高めるために、従来技術における超解像処理の問題点を明らかにする。図２には、周波数再構成型の超解像処理の概念図を示している。図２（ａ）は、原画像の空間標本化周波数において、特に水平方向のスペクトルを例示する図である。例えば、原画像が最大標本化周波数ωｘ０に従って徐々に減衰するようなスペクトルパワーを有していたとする。一方、図２（ｂ）は、原画像に対して１／２に縮小された縮小画像についての空間標本化周波数において、特に水平方向のスペクトルを例示する図である。この場合、縮小画像がその最大標本化周波数ωｘ０／２に従って徐々に減衰するようなスペクトルパワーを有していたとする。図２（ｃ）に示すように、従来技術における超解像処理（以下、「単純超解像度処理」とも称する）では、２倍の拡大倍率値を用いて縮小画像を画像拡大して再構成後の画像を得たとすると、この再構成後の画像のスペクトルは、ＤＣ成分及び原画像の最大標本化周波数ωｘ０のパワーＰが一致しても、ＤＣ成分から原画像の最大標本化周波数ωｘ０までの帯域内においてパワー誤差ΔＰが生じることがよくある。従って、単純超解像度処理では、高周波スペクトルパワーが過大となり、アーティファクトが発生する問題や、逆に高周波スペクトルパワーが過小となり高精細感がほとんど得られないという問題が生じ、原画像の復元に関して画質改善の余地があった。
【００２９】
このため、本実施例の画像超解像処理装置１では、スペクトルパワーを制御して、縮小画像に対して超解像処理を行うように構成している。
【００３０】
まず、直交変換部１０は、原画像に対して予め縮小された縮小画像Ｆを入力して直交変換処理を施し、縮小画像Ｆの帯域幅の縮小画像スペクトルを算出する。図３は、この直交変換処理に、２次元１階ウェーブレット変換を用いた場合の例を示している。
【００３１】
例えば、直交変換部１０は、縮小画像Ｆに対して（図３（ａ）参照）、例えばスケーリング関数φを用いて２次元ｎ階離散ウェーブレット分解を行ない、空間低周波帯域成分Ｆ＿ＬＬｎと、水平・垂直・斜め方向空間高周波帯域成分Ｆ＿ＬＨｎ，Ｆ＿ＨＬｎ，Ｆ＿ＨＨｎを得ることができる（図３（ｂ）参照）。尚、ｎは階数を表し、図３の例ではｎ＝１である。
【００３２】
次に、高周波スペクトル生成部２０は、当該原画像のサイズに戻すための拡大倍率値Ａを入力して、直交変換部１０を経て得られる縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する。図４は、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する例を示しており、空間高周波成分を補間生成して水平・垂直方向にそれぞれ拡大する例である。
【００３３】
例えば、高周波スペクトル生成部２０は、縮小画像スペクトルより縮小画像が持つ空間標本化周波数を超え原画像が持つ空間標本化周波数に至る空間高周波スペクトルを推定する。ここでは、縮小画像Ｆを原画像サイズに超解像した画像のスペクトルと原画像スペクトルには、自己相似性を持つと仮定して、高周波成分の補間生成を行っている。
【００３４】
図４に示す例では、縮小画像Ｆ（図４（ａ）参照）に対して例えば２次元１階の縮小画像スペクトルが得られているので（図４（ｂ）参照）、空間高周波スペクトルの推定のために、この縮小画像スペクトルのうちのＦ＿ＬＨ１を空間低周波成分とし、同じサイズのゼロ行列（要素がゼロ）を空間高周波成分として（図４（ｃ）参照）、２次元１階ウェーブレット再構成し直交変換を施してＦ＿ＨＬ０を得る（図４（ｄ）参照）。同様に、この縮小画像スペクトルのうちのＦ＿ＬＨ１を空間低周波成分とし空間高周波成分をゼロとして、１階ウェーブレット再構成して直交変換を施しＦ＿ＬＨ０を得るとともに、縮小画像スペクトルのうちのＦ＿ＨＨ１を空間低周波成分とし空間高周波成分をゼロとして１階ウェーブレット再構成して直交変換を施しＦ＿ＨＨ０を得る。最終的に、原画像サイズに相当するオクターブ分解のスペクトル成分は、縮小画像スペクトルの成分Ｆ＿ＬＬ１，Ｆ＿ＬＨ１，Ｆ＿ＨＬ１，Ｆ＿ＨＨ１と、推定して得られた空間高周波スペクトルＦ＿ＬＨ０，Ｆ＿ＨＬ０，Ｆ＿ＨＨ０を組み合わせることで推定され、各帯域幅内のパワー値Ｐ（Ｆ＿ＬＬ１），Ｐ（Ｆ＿ＬＨ１），Ｐ（Ｆ＿ＨＬ１），Ｐ（Ｆ＿ＨＨ１），Ｐ（Ｆ＿ＬＨ０），Ｐ（Ｆ＿ＨＬ０），Ｐ（Ｆ＿ＨＨ０）も推定することができる（図４（ｅ）参照）。この処理は、単純超解像処理と同等の推定性能であるが、後述するように、原画像帯域毎スペクトルパワー代表値を用いた補正処理に適した処理となっていることに留意する。
【００３５】
次に、原画像帯域毎スペクトルパワー決定部４０は、代表値判定部３０による判定結果として原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）が事前に用意されているか否かに応じて、３種類のケースに場合分けして動作するように構成することができる。
【００３６】
（ケース１）
ケース１は、原画像帯域毎スペクトルパワー代表値がＮＵＬＬの場合（入力されない場合又は値がゼロの場合）である。この場合、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を生成する必要がある。ここで、原画像と縮小画像のスペクトルは、自己相似性があると仮定している。縮小画像Ｆをｎ階離散ウェーブレット分解して各帯域のスペクトルパワー代表値を求め（図５（ａ）参照）、そのまま水平・垂直方向に２倍した帯域のスペクトラムパワー値として原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）とする（図５（ｂ）参照）。
【００３７】
（ケース２）
ケース２は、原画像帯域毎スペクトルパワー代表値が入力され、この原画像帯域毎スペクトルパワー代表値を持つ帯域幅が、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応している場合である。この場合、入力された原画像帯域毎スペクトルパワー代表値を、原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）とする。
【００３８】
（ケース３）
ケース３は、原画像帯域毎スペクトルパワー代表値が入力されるが、この原画像帯域毎スペクトルパワー代表値を持つ帯域幅が、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応していない場合である。この場合、入力された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応するように補間して、補間後の原画像帯域毎スペクトルパワー代表値を生成する。例えば、水平・垂直・斜め方向に最小二乗法による線形補間によって、入力される原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）を補間して、補間後の原画像帯域毎スペクトルパワー代表値を算出することができる。図６に示すように、入力された原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ）のうち水平方向の帯域の代表値を抽出して得られる帯域幅が（図６（ａ）参照）、直交変換部１０を経て得られる縮小画像スペクトル及び高周波スペクトル生成部２０を経て得られる空間高周波スペクトルの帯域幅と対応していない場合に（尚、代表値が１つの帯域幅内に複数ある場合も対応していないと判断する）、最小二乗法による線形補間によって補間して新たな原画像帯域毎スペクトルパワー代表値を算出する例を示している（図６（ｂ）参照）。
【００３９】
次に、スペクトルパワー補正部５０は、原画像帯域毎スペクトルパワー決定部４０から得られる原画像帯域毎スペクトルパワー補正値（補間後の原画像帯域毎スペクトルパワー代表値に対応する）によって（図７（ａ）参照）、当該縮小画像スペクトル及び当該空間高周波スペクトルを補正し（図７（ｂ）参照）、補正後のパワー値からなるウェーブレット係数を得る（図７（ｃ）参照）。
【００４０】
例えば、図７に示すように、Ｆ＿ＬＨ０帯域内で各要素のスペクトルパワー絶対平均値Ｐ（Ｆ＿ＬＨ０）を算出し、該当帯域に相当する原画像帯域毎スペクトルパワー代表値Ｐ（Ｏ＿ＬＨ０）と同じになる倍率でＦ＿ＬＨ０帯域内の全要素のウェーブレット分解係数に対して乗算を行うことで縮小画像スペクトル及び空間高周波スペクトルに対して補正し、同様の処理を全帯域に対して行う。
【００４１】
最終的に、逆直交変換部６０は、スペクトルパワー補正部５０によって補正した縮小画像スペクトル及び空間高周波スペクトル（スペクトルレベル補正後のｎ階離散ウェーブレット分解係数）に対して、ｎ階離散ウェーブレット逆変換を施し、当該縮小画像を拡大した超解像画像を生成する。
【００４２】
このように、本実施例の画像超解像処理装置１では、スペクトルパワーを制御して、縮小画像に対して超解像処理を行うため、単純超解像度処理で生じていた問題を解決し、原画像の復元に関して画質の改善を図ることができるようになる。
【００４３】
また、上述の実施例では、各周波領域のパワーの算出のために、ウェーブレット変換を用いる例を説明したが、離散フーリエ変換、離散コサイン変換、離散ウェーブレット変換、離散ウェーブレットパケット変換等を用いて各周波領域のパワーを算出することができる。ウェーブレット変換を用いる場合には、画像の周波数変化を高精度に捉えることができる点で優れており、離散コサイン変換を用いる場合には、既存のシステムが離散コサイン変換を用いている場合に装置構成が容易になる。
【００４４】
更に、本発明の一態様として、本発明の画像超解像処理装置をコンピュータとして構成させることができる。コンピュータに、前述した本発明の画像超解像処理装置の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
【００４５】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【００４６】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【００４７】
以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。
【産業上の利用可能性】
【００４８】
本発明によれば、原画像の復元に関して画質の改善を図ることができるようになるので、超解像処理を要する任意の用途に有用である。
【符号の説明】
【００４９】
１ 画像超解像処理装置
１０ 直交変換部
２０ 高周波スペクトル生成部
３０ 代表値判定部
４０ 原画像帯域毎スペクトルパワー決定部
５０ スペクトルパワー補正部
６０ 逆直交変換部
【特許請求の範囲】
【請求項１】
原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置であって、
原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換する直交変換部と、
当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する高周波スペクトル生成部と、
予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成する原画像帯域毎スペクトルパワー決定部と、
前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するスペクトルパワー補正部と、
当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成する逆直交変換部と、
を備えることを特徴とする画像超解像処理装置。
【請求項２】
また、本発明の画像超解像処理装置において、前記高周波スペクトル生成部は、ウェーブレット変換を用いて推定することを特徴とする、請求項１に記載の画像超解像処理装置。
【請求項３】
前記直交変換部は、前記直交変換処理として、離散フーリエ変換、離散コサイン変換、離散ウェーブレット変換、離散ウェーブレットパケット変換のうちのいずれかとし、
前記直交変換部は、前記逆直交変換処理として、前記直交変換処理に対応する逆離散フーリエ変換、逆離散コサイン変換、逆離散ウェーブレット変換、逆離散ウェーブレットパケット変換のうちのいずれかとすることを特徴とする、請求項１又は２に記載の画像超解像処理装置。
【請求項４】
前記原画像帯域毎スペクトルパワー決定部は、
原画像帯域毎スペクトルパワー代表値が事前に用意されていない場合に、前記縮小画像をオクターブ分解し、各帯域におけるスペクトルパワーの平均値を各帯域における当該原画像帯域毎スペクトルパワー代表値として求める手段と、
原画像帯域毎スペクトルパワー代表値が事前に用意されている場合に、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応している際には、各帯域における当該原画像帯域毎スペクトルパワー代表値とし、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応していない際には、事前に用意された原画像帯域毎スペクトルパワー代表値を、前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応するように補間して、各帯域における当該原画像帯域毎スペクトルパワー代表値として決定する手段と、
を有することを特徴とする、請求項１〜３のいずれか一項に記載の画像超解像処理装置。
【請求項５】
原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置として構成するコンピュータに、
原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換するステップと、
当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成するステップと、
予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成するステップと、
前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するステップと、
当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成するステップと、
を実行させるためのプログラム。
【請求項１】
原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置であって、
原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換する直交変換部と、
当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成する高周波スペクトル生成部と、
予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成する原画像帯域毎スペクトルパワー決定部と、
前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するスペクトルパワー補正部と、
当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成する逆直交変換部と、
を備えることを特徴とする画像超解像処理装置。
【請求項２】
また、本発明の画像超解像処理装置において、前記高周波スペクトル生成部は、ウェーブレット変換を用いて推定することを特徴とする、請求項１に記載の画像超解像処理装置。
【請求項３】
前記直交変換部は、前記直交変換処理として、離散フーリエ変換、離散コサイン変換、離散ウェーブレット変換、離散ウェーブレットパケット変換のうちのいずれかとし、
前記直交変換部は、前記逆直交変換処理として、前記直交変換処理に対応する逆離散フーリエ変換、逆離散コサイン変換、逆離散ウェーブレット変換、逆離散ウェーブレットパケット変換のうちのいずれかとすることを特徴とする、請求項１又は２に記載の画像超解像処理装置。
【請求項４】
前記原画像帯域毎スペクトルパワー決定部は、
原画像帯域毎スペクトルパワー代表値が事前に用意されていない場合に、前記縮小画像をオクターブ分解し、各帯域におけるスペクトルパワーの平均値を各帯域における当該原画像帯域毎スペクトルパワー代表値として求める手段と、
原画像帯域毎スペクトルパワー代表値が事前に用意されている場合に、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応している際には、各帯域における当該原画像帯域毎スペクトルパワー代表値とし、該原画像帯域毎スペクトルパワー代表値を持つ帯域幅が前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応していない際には、事前に用意された原画像帯域毎スペクトルパワー代表値を、前記縮小画像スペクトル及び前記空間高周波スペクトルの帯域幅と対応するように補間して、各帯域における当該原画像帯域毎スペクトルパワー代表値として決定する手段と、
を有することを特徴とする、請求項１〜３のいずれか一項に記載の画像超解像処理装置。
【請求項５】
原画像に対して予め縮小された縮小画像を画像拡大する画像超解像処理装置として構成するコンピュータに、
原画像に対して予め縮小された縮小画像を入力して直交変換処理を施し、縮小画像の帯域幅の縮小画像スペクトルに変換するステップと、
当該原画像のサイズに戻すための拡大倍率に従って、前記縮小画像スペクトルから、当該縮小画像の空間標本化周波数から当該原画像の空間標本化周波数までの帯域幅の空間高周波スペクトルを推定して生成するステップと、
予め決定される当該原画像の帯域毎のスペクトルパワー代表値を表す原画像帯域毎スペクトルパワー代表値に対して、前記拡大倍率に従って、前記縮小画像スペクトル及び前記空間高周波スペクトルの各帯域幅内の代表値となるように補正して、原画像帯域毎スペクトルパワー補正値を生成するステップと、
前記原画像帯域毎スペクトルパワー補正値によって、前記縮小画像スペクトル及び前記空間高周波スペクトルを補正するステップと、
当該補正した縮小画像スペクトル及び空間高周波スペクトルに対して逆直交変換処理を施し、当該縮小画像を拡大した画像を生成するステップと、
を実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−５９１３８（Ｐ２０１２−５９１３８Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０３４８０（Ｐ２０１０−２０３４８０）
【出願日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月１０日（２０１０．９．１０）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]