画像の高品質化方法及び装置
【課題】画像の特徴量の輝度変動が小さい場合でも、高品質化に適した特徴量を選択できるようにして画像のさらなる高品質化を可能とする。
【解決手段】画像高品質化装置は、第１の画像を高品質化するための、輝度成分を有する複数の特徴量候補を記憶した記憶部１０２と；第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるように複数のブロックに分割し、第１ブロック及び第２ブロックに選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てる割り当て部１０３と；重複領域における第１特徴量候補が持つ第１輝度パターンと重複領域における第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出する算出部１０４と；第１エネルギーを用いて第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択する選択部１０５等を有する。
【解決手段】画像高品質化装置は、第１の画像を高品質化するための、輝度成分を有する複数の特徴量候補を記憶した記憶部１０２と；第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるように複数のブロックに分割し、第１ブロック及び第２ブロックに選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てる割り当て部１０３と；重複領域における第１特徴量候補が持つ第１輝度パターンと重複領域における第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出する算出部１０４と；第１エネルギーを用いて第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択する選択部１０５等を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低品質の画像を高品質化する方法及び装置に関する。
【背景技術】
【０００２】
低品質の入力画像、例えば低解像度画像あるいはぼやけた画像に対して、高解像度化あるいは鮮鋭化等の処理を行い、高品質の画像を生成する技術が注目されている。非特許文献１には、このような画像高品質化技術のうち特に学習データを用いる手法が開示されている。
【０００３】
非特許文献１の手法では、まず学習段階で画像を高品質化するための特徴量（例えば、画像の高周波成分を表すパッチ）を格納した辞書を作成する。一方、高品質化段階では低品質の入力画像を仮に高品質化して仮高品質化画像を作成し、仮高品質化画像について画像ブロック毎に辞書中の特徴量を用いて高品質化を行う。
【０００４】
高品質化に際しては、まず仮高品質化画像を隣接ブロック間で重複領域が生じるようにブロック化し、各ブロックに複数の特徴量を割り当てる。この後、隣接する第１及び第２ブロックにそれぞれ割り当てられている第１及び第２特徴量同士の適合度を表すエネルギーと、仮高品質化画像への特徴量の適合度を表すエネルギーとからなるエネルギー関数を設定する。本明細書では前者のエネルギーを隣接エネルギーと呼び、後者のエネルギーを生起エネルギーと呼ぶ。次に、仮高品質化画像全体でエネルギー関数が最小となる組み合わせの第１特徴量及び第２特徴量を選択する。こうして選択された特徴量を用いて、仮高品質化画像について高品質化を行う。
【非特許文献１】W. T. Freeman, E. C. Pasztor, and O. T. Carmichael, "Learning low-level vision", International Journal of Computer Vision, vol. 40, no. 1, pp.25-47, 2000.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１の技術では、隣接エネルギーは重複領域において第１ブロックに割り当てられている第１特徴量の輝度値と第２ブロックに割り当てられている第２特徴量の輝度値との差の２乗和（Sum of Squared Difference:ＳＳＤ）に基づいて算出される。こうして算出される隣接エネルギーは、通常は第１及び第２特徴量のパターン（模様）が類似するほど小さな値を示す。
【０００６】
しかしながら、特徴量の輝度の変動が小さい場合には、第１及び第２特徴量のパターンが類似していなくとも隣接エネルギーの値は小さくなる。このため、結果としてエネルギー最適化により輝度変動の小さい特徴量が優先して選択されてしまい、画像の高品質化の効果が十分得られない。
【０００７】
本発明は、画像の特徴量の輝度変動が小さい場合でも、高品質化に適した特徴量を選択できるようにして画像のさらなる高品質化を可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の観点によると、第１の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶するステップと；前記第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるようにブロック化するステップと；前記第１ブロック及び第２ブロックに前記複数の特徴量候補から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てるステップと；前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出するステップと；前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択するステップと；前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成するステップと；を具備することを特徴とする画像高品質化方法が提供される。
【０００９】
本発明の第２の観点によれば、第１の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶した記憶部と；前記第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるように複数のブロックに分割し、前記第１ブロック及び第２ブロックに前記複数の特徴量から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てる割り当て部と；前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出する第１エネルギー算出部と；前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択する選択部と；前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成する高品質化部と；を具備することを特徴とする画像高品質化装置が提供される。
【００１０】
本発明の第３の観点によれば、第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるようにブロック化する処理と；前記第１ブロック及び第２ブロックに前記第１の画像を高品質化するための、輝度成分を有する複数の特徴量から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てる処理と；前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出する処理と；前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択する処理と；前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成する処理と；を含む画像高品質化処理をコンピュータに行わせるためのプログラムが提供される。
【発明の効果】
【００１１】
本発明によれば、輝度変動の小さい特徴量が選択されやすくなる課題を解決して画像の高品質化を効果的に行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施形態について説明する。
（第１の実施形態）
図１に示されるように、本発明の第１の実施形態に従う画像高品質化装置は、仮高品質化部１０１、特徴量メモリ１０２、特徴量候補割り当て部１０３、隣接エネルギー算出部１０４、選択部１０５及び本高品質化部１０６を有する。
【００１３】
画像高品質化装置の入力画像１１０は低品質画像であり、仮高品質化部１０１及び本高品質化部１０６を経て高品質化されることにより出力画像１１７が生成される。仮高品質化部１０１では入力画像１１０に対して仮の高品質化が行われ、仮高品質化画像１１１が作成される。仮高品質化画像１１１は、特徴量候補割り当て部１０３に入力される。
【００１４】
特徴量候補割り当て部１０３では、仮高品質化画像１１１がブロック化され、ブロック毎に仮高品質化画像１１１を高品質化するための複数の特徴量候補が割り当てられる。後述するように、ここでいうブロック化は仮高品質化画像１１１を複数の画素を有するブロックに単純に分割されるのではなく、隣接するブロック間に重複領域が生じるように複数のブロックに分割される。仮高品質化部１０１以降の処理は、ブロック単位で行われる。そこで、以下では処理中のブロックを処理ブロックという。
【００１５】
仮高品質化画像１１１を高品質化するための特徴量は、特徴量メモリ１０２に予め記憶されている。特徴量候補割り当て部１０３における特徴量候補の割り当ては、実際にはインデックスの割り当てによってなされる。すなわち、仮高品質化画像１１１の処理ブロックに、特徴量メモリ１０２から特徴量候補として読み出される特徴量を示す特徴量インデックス１１２が割り当てられる。この結果、特徴量候補割り当て部１０３から、処理ブロックに割り当てられた特徴量候補を表す候補インデックス１１４が出力される。
【００１６】
特徴量メモリ１０２からは、特徴量インデックス１１２と共にインデックス１１２によって示される特徴量データ１１３が読み出され、この特徴量データ１１３は隣接エネルギー算出部１０４に与えられる。隣接エネルギー算出部１０４では、特徴量候補割り当て部１０３からの候補インデックス１１４及び特徴量メモリ１０２からの特徴量データ１１３に基づいて、仮高品質化画像１１１の重複領域における隣接２ブロック、つまり第１ブロックに割り当てられている第１特徴量候補と第２ブロックに割り当てられている第２特徴量候補との間の類似度を表すエネルギー（これを隣接エネルギーという）が算出される。隣接エネルギー算出部１０４から出力される隣接エネルギー情報１１５は、選択部１０５に与えられる。
【００１７】
選択部１０５では隣接エネルギーに従って、隣接２ブロックにそれぞれ割り当てられた特徴量候補からそれぞれ一つの特徴量が選択される。例えば、隣接エネルギーが極小（好ましくは最小）となる特徴量が隣接２ブロックに割り当てられた特徴量候補から選択される。本高品質化部１０６では、選択部１０５により選択された特徴量によって仮出力画像１１１の高品質化が行われ、出力画像１１７が生成される。
【００１８】
次に、図２を用いて図１の画像高品質化装置の概略的な動作の流れを説明する。以下の説明では、低解像度の入力画像１１０を高解像度化して高解像度の出力画像１１７を生成する例について述べる。なお、高品質化として高解像度化のほかに、例えばボケ復元、画像圧縮歪除去及び輝度の高階調化などを行う場合についても、基本的に同様の実施が可能である。
【００１９】
まず、仮高品質化部１０１によって低解像度画像である入力画像１１０を要求される解像度に高解像度化し、仮高解像度化画像である仮高品質化画像１１１を作成する（ステップＳ１１）。ステップＳ１１での高解像度化処理には、例えば最近傍拡大などによる画像拡大や、双直線補間法や３次畳込み内挿法などによる補間を用いることができる。仮高品質化画像１１１は、特徴量候補割り当て部１０３に入力される。
【００２０】
次に、特徴量候補割り当て部１０３において仮高品質化画像１１１をブロック化し、各ブロックに対して特徴量メモリ１０２から選択された複数の特徴量を特徴量候補として割り当てる（ステップＳ２０）。
【００２１】
次に、隣接エネルギー算出部１０４によって仮高品質化画像１１１の隣接２ブロックにそれぞれ割り当てられた特徴量候補間の類似度を示す隣接エネルギーを算出する（ステップＳ３０）。
【００２２】
次に、選択部１０５によって仮高品質化画像１１１の各ブロックに割り当てられた特徴量候補の中から、隣接エネルギー算出部１０４で計算された隣接エネルギーが極小となる組み合わせの特徴量を決定し、それらの特徴量を示す特徴量インデックス１１６を出力する（ステップＳ４０）。
【００２３】
最後に、本高品質化部１０６において選択部１０５により選択された特徴量、すなわち特徴量インデックス１１６で示される、特徴量メモリ１０２に記憶された特徴量を用いて仮高品質化画像１１１を高品質化し、高品質化された出力画像１１７を生成する（ステップＳ５０）。
【００２４】
（特徴量メモリ１０２について）
ここで、特徴量メモリ１０２について説明する。特徴量メモリ１０２には、事前の学習により得られた、仮高品質化画像１１１を高品質化するための特徴量が記憶されている。図３は、特徴量メモリ１０２の構造の一例を模式的に示している。
【００２５】
図３に示されるように、特徴量メモリ１０２には仮高品質化画像１１１の画像ブロックから抽出された複数（Ｎ）の低品質画像特徴量ｌi(i=1,2,…,N)と仮高品質化画像１１１の画像ブロックを高品質化するための高品質化用特徴量ｈi(i=1,2,…,N)とのペアが記憶されている。
【００２６】
図４によりｌi−ｈiペアの作り方の例を説明する。学習用画像から抜き出した高解像度画像ブロックｘを入力画像１１０と同程度の画質になるように一度劣化させることによって、低解像度画像ブロックｙを作成する。次に、低解像度画像ブロックｙに対して仮高品質化部１０１でなされる仮高品質化と同様の高品質化（高解像度化）を行い、仮高解像度画像ブロックｇを作成する。同時に、低解像度画像ブロックｙについて最近傍拡大を行って拡大画像ｚを作成する。
【００２７】
次に、仮高解像度画像ブロックｇから拡大画像ｚを減算して低品質画像特徴量ｌを生成し、高解像度化画像ブロックｘから仮高解像度画像ブロックｇを減算して高品質化用特徴量ｈを生成する。こうして得られる低品質画像特徴量ｌと高品質化用特徴量ｈを一つのペアとする。このようにペアを作成しておけば、入力画像１１０から抜き出したブロックを仮高品質化させてｇ′を作り、適当なｈを選択することでｇ′＋ｈにより高品質の高解像度画像を生成することができる。なお、低品質画像特徴量ｌとして低解像度画像ブロックｙを代用してもよいし、高品質化用画像特徴量ｈと相関の高い低解像度画像ブロックｙを選んで作成してもよい。また、計算時間の短縮や特徴量メモリ１０２の容量削減のために、主成分分析などを用いて次元圧縮してもよい。
【００２８】
以上のように高品質化用特徴量ｈは、例えば仮高品質化画像１１１中に存在しない高周波数成分である。本実施形態によれば、仮高品質化部１０１では復元することのできない情報を高品質化用特徴量で補うことにより、画像の高解像度化さらには鮮鋭化などの高品質化を行うことができる。
【００２９】
（特徴量候補割り当て部１０３について）
次に、図５を用いて特徴量候補割り当て部１０３の処理について説明する。図５は、図２中のステップＳ２０の詳細な処理例を示している。
【００３０】
特徴量候補割り当て部１０３では、まず仮高品質化画像１１１をブロック化する（ステップＳ２１）。このとき、各ブロックは仮高品質画像１１１中で互いに重複領域があるように設定する。
【００３１】
次に、ステップＳ２１で得られた複数のブロックから１つのブロックを処理ブロックとして選択する（ステップＳ２２）。次に、選択されたブロックから低品質画像特徴量lqueryを抽出する（ステップＳ２３）。低品質画像特徴量lqueryの作成方法は、図４に従う。つまり、ステップＳ２２で選択したブロックを図４におけるgとする。そして、対応する位置の入力画像のブロックをyとし、ｇ−ｚによりlqueryを作成する。
【００３２】
次に、ステップＳ２４で抽出された低品質画像特徴量ｌqueryに類似する低品質画像特徴量ｌiを特徴量メモリ１０２から一つ以上探索する（ステップＳ２４）。すなわち、低品質画像特徴量ｌiのうち抽出された低品質画像特徴量ｌqueryとの類似度が最大の特徴量、または類似度が大きい順から幾つかの数の特徴量を特徴量メモリ１０２から探索する。この場合、類似度としては例えばステップＳ２４で抽出された低品質画像特徴量lqueryと特徴量メモリ１０２中の低品質特徴量ｌiとの間の距離‖ｌi−ｌquery‖を用いることができる。
【００３３】
次に、ステップＳ２４で探索された一つ以上の低品質画像特徴量ｌiに対応付けられている全ての高品質化用特徴量ｈiのインデックス１１４を読み出して記録する（ステップＳ２５）。
【００３４】
以上のステップＳ２１〜Ｓ２５の処理をステップＳ２６で全てのブロックが処理されたと判断されるまで繰り返し行い、特徴量候補割り当て部１０３の処理が終了する。
【００３５】
（隣接エネルギー算出部１０４について）
次に、図６を用いて隣接エネルギー算出部１０４の処理について説明する。図６は、図２中のステップＳ３０の具体的な処理例を示している。まず、隣接する２つのブロック（Ａ，Ｂとする）を選択する（ステップＳ３１）。
【００３６】
次に、選択された２つのブロックＡ，Ｂにそれぞれ割り当てられている特徴量候補を示す候補インデックス１１４を特徴量候補割り当て部１０３から読み込み（ステップＳ３２）、さらに特徴量メモリ１０２から候補インデックス１１４に対応する特徴量データ１１３を読み込む（ステップＳ３３）。
【００３７】
ここで、ブロックＡについて読み込んだＮA個の特徴量データを{hA,1, hA,2,…, hA,NA}とし、ブロックＢについて読み込んだＮB個の特徴量データを{hB,1, hB,2,…, hB,NB}とする。
【００３８】
次に、特徴量データ{hA,1, hA,2,…, hA,NA}及び{hB,1, hB,2,…, hB,NB}を増分符号ベクトルに変換する（ステップＳ３４）。
【００３９】
説明を簡単にするため、以下に示す条件を例にとって説明する。特徴量候補割り当て部１０３において仮高品質化画像１１１をブロック化する際、ブロックサイズは８×８画素であり、また全てのブロックには水平方向及び垂直方向共に４画素ずつ重複領域が存在するように配置されているとする。さらに、ブロックＡとブロックＢはそれぞれ左右に隣り合っているとする。ここで挙げたブロックのサイズと形状及び重複領域のサイズと形状はあくまで一例であり、任意に決めることができる。
【００４０】
ブロックＡ及びブロックＢは、図７に破線で示すように水平方向４画素×垂直方向８画素の重複領域Ｒを有する。この重複領域Ｒについて、ブロックＡ及びブロックＢに割り当てられている特徴量候補同士の空間的な輝度パターンの類似度を算出することで、隣接エネルギーを算出することができる。ここでは、ブロックＡとブロックＢが水平方向に隣り合っている場合を説明したが、垂直方向に隣り合っている場合についても同様に隣接エネルギーを算出できる。
【００４１】
隣接エネルギーを算出するため、まずステップＳ３４では特徴量候補の特徴量データ{hA,1, hA,2,…, hA,NA}及び{hB,1, hB,2,…, hB,NB}について、重複領域Ｒの輝度値から図８Ａ及び図８Ｂに示すように増分符号ベクト{sA,1, sA,2,…, sA,NA}及{sB,1, sB,2,…, sB,NB}をそれぞれ作成する。それぞれ２画素（２画素ａ，ｂの輝度値をそれぞれＩa，Ｉbとする）の増分符号ｓは、例えば次式（１）により求められる。
【数１】
【００４２】
ここで、σは輝度値ＩaとＩbの差を有効と認める閾値である。
【００４３】
ここでは、輝度値ＩaとＩbの差に対して３つのクラス（０，１，２）を割り当てたが、２つ以上の任意の数のクラスを割り当てることができる。さらに、増分符号ベクトルは図８Ａ及び図８Ｂに示したように３２画素の４９６通りの全ての組合せについての増分符号から生成してもよいが、一部の組合せについての増分符号から生成してもよい。つまり、増分符号ベクトルの次元数は４９６次元より少なくともよい。例えば、水平方向に隣接した画素のペアだけから増分符号ベクトルを求めれば、次元数は２４次元となる。
【００４４】
増分符号ベクトルとしては、他に輝度勾配を表現するベクトルや、ラプラシアンオペレータによるエッジ強度を表現するベクトルなど、空間的な輝度パターンの類似度を算出できるベクトルであれば、それらを用いることができる。さらに、増分符号ベクトルは特徴量を用いて高品質化した画像ブロックから作成してもよい。すなわち、特徴量をｈ、仮高品質化画像１１１から切り出したブロックをｇとすると、ｇ＋ｈから増分符号ベクトルを作成してもよい。
【００４５】
次に、上述のようにして生成された増分符号ベクトルを用いて特徴量候補ｈA,iと特徴量候補ｈB,jとの間の類似度を表す隣接エネルギーＶA,B,I,jをブロックＡ及びブロックＢに割り当てられている全ての特徴量候補の組合せについて算出する（ステップＳ３５）。具体的には、例えば次式（２）により増分符号ベクトルｓA,iとｓB,jの一致度を隣接エネルギーＶA,B,I,jとして算出する。
【数２】
【００４６】
ただし、ｓA,i（ｋ）は増分符号ベクトルｓA,iのｋ番目の成分、ｓB,j（ｋ）は増分符号ベクトルｓB,jのｋ番目の成分である。
【００４７】
式（２）では、増分符号ベクトルｓA,iとｓB,jとの差分絶対値和（Sum of Absolute Difference:ＳＡＤ）をｓA,iとｓB,jとの一致度としているが、次式（３）に示すように増分符号ベクトルｓA,iとｓB,jとの差の２乗和（Sum of Squared Difference:ＳＳＤ）をｓA,iとｓB,jとの一致度としてもよい。
【数３】
【００４８】
また、例えば次式（４）に示すように増分符号ベクトルｓA,iとｓB,jの符号が一致する数を用いてｓA,iとｓB,jとの一致度を算出してもよい。
【数４】
【００４９】
ただし、δ(x)はｘ＝０のとき１、それ以外のとき０の値をとる関数である。すなわち、式（４）の右辺第２項は、ｓA,iとｓB,jの符号が一致する数を増分符号ベクトルの次元数４９６で除した値であるから、式（３）及び式（４）と同様に特徴量候補ｈA,iと特徴量候補ｈB,jとの間の類似度を表す。
【００５０】
このように増分符号ベクトルを用いて算出される隣接エネルギーＶA,B,I,jは、特徴量ｈA,iと特徴量ｈB,jとの間の類似度が高いほど値が小さくなる関数になっている。隣接エネルギーＶA,B,I,jは式（３）及び（４）に示したような１つの項からなる必要はなく、例えば次式（５）のように２つ以上の項の組合せ（加重和）により計算してもよい。
【数５】
【００５１】
ただし、λは緩和パラメタであり、ｈA,i(pm)及びｈB,j(pm)はｈA,i及びｈB,j(pmが重なった時に、重複領域Ｒ内でｍ番目の同一画素位置に配置される画素である。式（５）の右辺第１項は式（３）に示したＳＡＤに相当し、重複領域ＲのブロックＡ及びブロックＢにそれぞれ割り当てられている特徴量候補についての増分符号間の一致度を表す。式（５）の右辺第２項は非特許文献１に開示されたＳＳＤに相当し、重複領域ＲのブロックＡ及びブロックＢに割り当てられている特徴量候補の輝度値の差の２乗和を表す。式（５）では、緩和パラメタλを重み係数として、第１項の一致度と第２項の２乗和との加重和を隣接エネルギーＶA,B,I,jとして算出している。
【００５２】
式（５）の隣接エネルギーＶA,B,I,jを用いると、第１項で重複領域ＲのブロックＡ及びブロックＢにそれぞれ割り当てられている特徴量候補同士の輝度パターンの類似度を評価しつつ、第２項で大幅な輝度の開きを抑制することができるため、アーチファクトノイズの少ない画像を生成する効果がある。
【００５３】
以上のステップＳ３１〜Ｓ３５の処理をステップＳ３６で全ての隣接するブロックについて処理されたと判断されるまで繰り返し行い、隣接エネルギー算出部１０４の処理が終了する。
【００５４】
（選択部１０５について）
次に、図９を用いて選択部１０５の処理について説明する。図２中のステップＳ４０では、前述したように仮高品質化画像１１１の隣接２ブロックにそれぞれ割り当てられた特徴量候補の中から、隣接エネルギー算出部１０４で計算された隣接エネルギーが極小、好ましくは最小となる特徴量候補の組合せを決定してその組み合わせの特徴量を選択し、その組み合わせを示す特徴量インデックス１１６を出力する。組合せの決定方法としては、（ａ）隣接エネルギーの総和を局所的に最適化する方法と、（ｂ）隣接エネルギーの総和を大域的または全てのブロックで最適化する方法が考えられる。
【００５５】
図９は、図２中のステップＳ４０の具体的な処理例として、前記（ａ）の隣接エネルギーが局所的に小さくなる特徴量を選択する例を示している。まず、左上端ブロックの特徴量を決定する（ステップＳ４１）。すなわち、左上端ブロックに割り当てられている特徴量候補の中から一つの特徴量を選択する。特徴量の選択は無作為に行ってもよいし、特徴量候補割り当て部１０３で計算した‖li−lquery‖に基づく類似度が最も高かった候補を選択してもよい。
【００５６】
次に、左上端ブロックに対して右隣接ブロックを処理ブロックに設定する。すなわち、右隣接ブロックがあるかどうかを調べ（ステップＳ４２）。右隣接ブロックがあればそれを処理ブロックとして選択する（ステップＳ４３）。右隣接ブロックがなく、処理の途中で画像の右端ブロックに到達すれば、１つ下段の最左ブロックを処理ブロックとして選択する（ステップＳ４４）。
【００５７】
次に、ステップＳ４３またはＳ４４で選択された処理ブロックに割り当てられている特徴量候補のインデックスを読み込む（ステップＳ４５）。次に、処理ブロックに割り当てられている特徴量候補と上隣接ブロックに割り当てられている特徴量との間の隣接エネルギーと、左隣接ブロックに割り当てられている特徴量との間の隣接エネルギーとの和が最小となる特徴量を特徴量候補の中から選択し、これを処理ブロックのための高品質化用特徴量とする（ステップＳ４６）。ステップＳ４６の処理時には、処理ブロックに対して上隣接ブロック及び左隣接ブロックは既に処理されており、上隣接ブロック及び左隣接ブロックに割り当てられている特徴量は一意に決定されている。
【００５８】
以上のステップＳ４２〜Ｓ４６の処理をステップＳ４７で全てのブロックが処理されたと判断されるまで繰り返し行い、選択部１０５の処理が終了する。
【００５９】
隣接エネルギーＶA,B,I,jの総和の最適化は、例えばビリーフプロパゲーション(Belief Propagation)のような最適化アルゴリズムを用いることで行うことができる。図１０は、図２中のステップＳ４０の具体的な処理例として、前記（ｂ）のうち隣接エネルギーの総和を全ブロックで最適化する例を示している。
【００６０】
まず、処理ブロックＡを選択する（ステップＳ５１）。次に、処理ブロックＡに隣接する一つのブロック（隣接ブロック）Ｂを選択する（ステップＳ５２）。次に、処理ブロックＡから隣接ブロックＢの各候補に対して、信頼度（適合度）を表現するメッセージを次式（６）により計算する（ステップＳ５３）。
【数６】
【００６１】
式（６）の左辺はｔ回目の反復における処理ブロックＡから隣接ブロックＢのｊ番目の候補へのメッセージであり、全てのメッセージは初期値として“０”が与えられる。Ｎei(A)は、処理ブロックＡに隣接するブロックの集合である。つまり、式（６）におけるＣは処理ブロックＡに隣接するブロックの集合のうち、隣接ブロックＢ以外のブロックを表している。
【００６２】
式（６）からわかるように、ｔ回目の反復におけるメッセージは、前回の反復で計算された他ブロックのメッセージから計算されるため、反復を繰り返すとメッセージは全てのブロックに対して伝搬していく。また、伝搬されるメッセージは処理ブロックＡから隣接ブロックＢへ伝搬されるメッセージの総和が”０”となるように、次式（７）により正規化されていてもよい。
【数７】
【００６３】
ここで、式（７）の左辺は正規化されたメッセージを表す。
【００６４】
ステップＳ５２〜Ｓ５３の操作をステップＳ５４で処理ブロックＡに隣接する全てのブロックが処理されたと判断されるまで繰り返し行う。さらに、ＳＳ５２〜Ｓ５４の操作をステップＳ５５で全てのブロックが処理されたと判断されるまで繰り返し行う。ステップＳ５１〜Ｓ５５の処理が一回の反復になる。
【００６５】
ステップＳ５１〜Ｓ３５の反復処理をステップＳ５６で反復終了基準が満足されるまで行うる。反復終了基準としては、反復回数が一定回数に達したこと、または全てのメッセージの値の大小関係が変化しなくなるなどの基準を利用できる。最後に、各ブロックについて候補の中から選択する一つの特徴量を次式（８）に基づいて決定し、その特徴量を選択する（ステップＳ５７）。
【数８】
【００６６】
（本高品質化部１０６について）
本高品質化部１０６は、前述したように選択部１０５によって選択された特徴量を用いて仮高品質化画像１１１を高品質化し、出力画像１１７を生成する。ここでは、仮高品質化画像１１１の各ブロックは水平及び垂直方向に４画素ずつ重複しているので、高品質化された出力画像１１７の各画素に対して４つの特徴量が関連することになる。そこで、本高品質化部１０６では、出力画像１１７の各画素の輝度値は例えば仮高品質化画像１１１の輝度値に４つの特徴量の輝度値の平均値を加算することにより算出される。
【００６７】
（第２の実施形態）
図１１は、本発明の第２実施形態に従う画像高品質化装置を示している。第１の実施形態に従う図１に示した画像高品質化装置に対して、生起エネルギー算出部１０７が追加されている。
【００６８】
第１の実施形態では、選択部１０５において隣接エネルギーを最適化するように特徴量を選択する例を説明した。これに対し、第２の実施形態では生起エネルギー算出部１０７によって特徴量候補の入力画像１１０への適合度を示すエネルギー（これを生起エネルギーという）を別途計算する。選択部１０５では、隣接エネルギー算出部１０４からの隣接エネルギー情報１１５及び生起エネルギー算出部１０７からの生起エネルギー情報１１８を受け、次式（９）で表わされる、隣接エネルギーと生起エネルギーとの加重和を最適化するように特徴量を選択する。
【数９】
【００６９】
ただし、μは緩和パラメタ、Ωは全ての隣接するブロックの集合である。また、ＤA,iは特徴量候補ｈA,iについて定義される生起エネルギーである。式（９）では、緩和パラメタμを重み係数として、第１項の生起エネルギーと第２項の隣接エネルギーとの加重和を算出している。生起エネルギーＤA,iは、例えば次式（１０）で定義する。
【数１０】
【００７０】
ただし、ｌA,iは特徴量メモリ１０２中でｈA,iに対応付けられていた低品質画像特徴量であり、ｌA,queryはブロックＡから抽出された低品質画像特徴量である。
【００７１】
本実施形態によると、入力画像に適した高周波成分が選択され、画質が向上する、あるいはアーチファクトノイズの発生が抑制されるという効果がある。
【００７２】
（実験例）
図１２Ａ、図１２Ｂ、図１２Ｃ及び図１２Ｄにより、発明者が第１の実施形態に従って高品質化画像を生成した結果について説明する。図１２Ａは原画像であり、これを縦横それぞれ１/４倍に縮小して擬似的に入力画像１１０を作成した。この入力画像１１０を縦横それぞれ４倍の大きさに拡大する高解像度化を行った結果が図１２Ｂ、図１２Ｃ及び図１２Ｄである。図１２Ｂは従来の隣接エネルギーを用いて得られる高品質化画像、図１２Ｃは仮高品質化画像１１１、図１２Ｄは出力画像１１７をそれぞれ示している。
【００７３】
実験の条件としては、高品質化用特徴量は仮高品質化画像１１１に存在しない高周波数成分を表す画像パッチとし、また仮高品質化画像１１１の各ブロックに対してそれぞれ１６個の特徴量候補を割り当てた。選択部１０５における隣接エネルギーの最適化には、Belief Propagationを用いた。
【００７４】
図１２Ｂ、図１２Ｃ及び図１２Ｄの各画像と原画像との誤差をＰＳＮＲ(Peak Signal to Noise Ratio)で測定したところ、それぞれ３１．６ｄＢ、３０．６ｄＢ及び３２．１ｄＢという値が得られた。これらの結果からも理解されるように、実施形態は従来技術による出力画像よりも鮮鋭で高品質の出力画像を生成できる。
【００７５】
このように、本発明の各実施形態に従う画像高品質化装置によれば、特徴量の輝度パターンの類似度に基づいた隣接エネルギーの評価を行うことにより、従来技術の課題が解決され、鮮鋭で高品質の画像を生成することができる。
【００７６】
なお、本発明の実施形態に従う画像高品質化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、低品質化手段、分離手段、学習手段、画像作成手段は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像高品質化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、記憶手段は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００７７】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施形態に従う画像高品質化装置を示すブロック図
【図２】第１の実施形態における画像高品質化処理の概略を示すフローチャート
【図３】特徴量メモリの構造の一例を示した模式図。
【図４】特徴量メモリ中のデータの作成方法を説明するための模式図
【図５】特徴量候補割り当て部の処理を示すフローチャート
【図６】隣接エネルギー算出部の処理を示すフローチャート
【図７】ブロックの配置状況を説明するための模式図
【図８Ａ】増分符号ベクトルを生成する方法を説明するための模式図
【図８Ｂ】増分符号ベクトルを生成する方法を説明するための模式図
【図９】選択部において局所的に最適化を行う動作を示すフローチャート
【図１０】選択部において大域的に最適化を行う動作を示すフローチャート
【図１１】本発明の第２の実施形態に従う画像高品質化装置を示すブロック図
【図１２Ａ】第１の実施形態に従って画像を高品質化した結果を説明するための原画像を示す図
【図１２Ｂ】第１の実施形態に従って画像を高品質化した結果を説明するための従来技術に基づく高画質化画像を示す図
【図１２Ｃ】第１の実施形態に従って画像を高品質化した結果を説明するための仮高品質化画像を示す図
【図１２Ｄ】第１の実施形態に従って画像を高品質化した結果を説明するための出力画像を示す図
【符号の説明】
【００７９】
１０１・・・仮高品質化部
１０２・・・特徴量メモリ
１０３・・・特徴量候補割り当て部
１０４・・・隣接エネルギー算出部
１０５・・・選択部
１０６・・・本高品質化部
１０７・・・生起エネルギー算出部
【技術分野】
【０００１】
本発明は、低品質の画像を高品質化する方法及び装置に関する。
【背景技術】
【０００２】
低品質の入力画像、例えば低解像度画像あるいはぼやけた画像に対して、高解像度化あるいは鮮鋭化等の処理を行い、高品質の画像を生成する技術が注目されている。非特許文献１には、このような画像高品質化技術のうち特に学習データを用いる手法が開示されている。
【０００３】
非特許文献１の手法では、まず学習段階で画像を高品質化するための特徴量（例えば、画像の高周波成分を表すパッチ）を格納した辞書を作成する。一方、高品質化段階では低品質の入力画像を仮に高品質化して仮高品質化画像を作成し、仮高品質化画像について画像ブロック毎に辞書中の特徴量を用いて高品質化を行う。
【０００４】
高品質化に際しては、まず仮高品質化画像を隣接ブロック間で重複領域が生じるようにブロック化し、各ブロックに複数の特徴量を割り当てる。この後、隣接する第１及び第２ブロックにそれぞれ割り当てられている第１及び第２特徴量同士の適合度を表すエネルギーと、仮高品質化画像への特徴量の適合度を表すエネルギーとからなるエネルギー関数を設定する。本明細書では前者のエネルギーを隣接エネルギーと呼び、後者のエネルギーを生起エネルギーと呼ぶ。次に、仮高品質化画像全体でエネルギー関数が最小となる組み合わせの第１特徴量及び第２特徴量を選択する。こうして選択された特徴量を用いて、仮高品質化画像について高品質化を行う。
【非特許文献１】W. T. Freeman, E. C. Pasztor, and O. T. Carmichael, "Learning low-level vision", International Journal of Computer Vision, vol. 40, no. 1, pp.25-47, 2000.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
非特許文献１の技術では、隣接エネルギーは重複領域において第１ブロックに割り当てられている第１特徴量の輝度値と第２ブロックに割り当てられている第２特徴量の輝度値との差の２乗和（Sum of Squared Difference:ＳＳＤ）に基づいて算出される。こうして算出される隣接エネルギーは、通常は第１及び第２特徴量のパターン（模様）が類似するほど小さな値を示す。
【０００６】
しかしながら、特徴量の輝度の変動が小さい場合には、第１及び第２特徴量のパターンが類似していなくとも隣接エネルギーの値は小さくなる。このため、結果としてエネルギー最適化により輝度変動の小さい特徴量が優先して選択されてしまい、画像の高品質化の効果が十分得られない。
【０００７】
本発明は、画像の特徴量の輝度変動が小さい場合でも、高品質化に適した特徴量を選択できるようにして画像のさらなる高品質化を可能とすることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の観点によると、第１の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶するステップと；前記第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるようにブロック化するステップと；前記第１ブロック及び第２ブロックに前記複数の特徴量候補から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てるステップと；前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出するステップと；前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択するステップと；前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成するステップと；を具備することを特徴とする画像高品質化方法が提供される。
【０００９】
本発明の第２の観点によれば、第１の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶した記憶部と；前記第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるように複数のブロックに分割し、前記第１ブロック及び第２ブロックに前記複数の特徴量から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てる割り当て部と；前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出する第１エネルギー算出部と；前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択する選択部と；前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成する高品質化部と；を具備することを特徴とする画像高品質化装置が提供される。
【００１０】
本発明の第３の観点によれば、第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるようにブロック化する処理と；前記第１ブロック及び第２ブロックに前記第１の画像を高品質化するための、輝度成分を有する複数の特徴量から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てる処理と；前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出する処理と；前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択する処理と；前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成する処理と；を含む画像高品質化処理をコンピュータに行わせるためのプログラムが提供される。
【発明の効果】
【００１１】
本発明によれば、輝度変動の小さい特徴量が選択されやすくなる課題を解決して画像の高品質化を効果的に行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施形態について説明する。
（第１の実施形態）
図１に示されるように、本発明の第１の実施形態に従う画像高品質化装置は、仮高品質化部１０１、特徴量メモリ１０２、特徴量候補割り当て部１０３、隣接エネルギー算出部１０４、選択部１０５及び本高品質化部１０６を有する。
【００１３】
画像高品質化装置の入力画像１１０は低品質画像であり、仮高品質化部１０１及び本高品質化部１０６を経て高品質化されることにより出力画像１１７が生成される。仮高品質化部１０１では入力画像１１０に対して仮の高品質化が行われ、仮高品質化画像１１１が作成される。仮高品質化画像１１１は、特徴量候補割り当て部１０３に入力される。
【００１４】
特徴量候補割り当て部１０３では、仮高品質化画像１１１がブロック化され、ブロック毎に仮高品質化画像１１１を高品質化するための複数の特徴量候補が割り当てられる。後述するように、ここでいうブロック化は仮高品質化画像１１１を複数の画素を有するブロックに単純に分割されるのではなく、隣接するブロック間に重複領域が生じるように複数のブロックに分割される。仮高品質化部１０１以降の処理は、ブロック単位で行われる。そこで、以下では処理中のブロックを処理ブロックという。
【００１５】
仮高品質化画像１１１を高品質化するための特徴量は、特徴量メモリ１０２に予め記憶されている。特徴量候補割り当て部１０３における特徴量候補の割り当ては、実際にはインデックスの割り当てによってなされる。すなわち、仮高品質化画像１１１の処理ブロックに、特徴量メモリ１０２から特徴量候補として読み出される特徴量を示す特徴量インデックス１１２が割り当てられる。この結果、特徴量候補割り当て部１０３から、処理ブロックに割り当てられた特徴量候補を表す候補インデックス１１４が出力される。
【００１６】
特徴量メモリ１０２からは、特徴量インデックス１１２と共にインデックス１１２によって示される特徴量データ１１３が読み出され、この特徴量データ１１３は隣接エネルギー算出部１０４に与えられる。隣接エネルギー算出部１０４では、特徴量候補割り当て部１０３からの候補インデックス１１４及び特徴量メモリ１０２からの特徴量データ１１３に基づいて、仮高品質化画像１１１の重複領域における隣接２ブロック、つまり第１ブロックに割り当てられている第１特徴量候補と第２ブロックに割り当てられている第２特徴量候補との間の類似度を表すエネルギー（これを隣接エネルギーという）が算出される。隣接エネルギー算出部１０４から出力される隣接エネルギー情報１１５は、選択部１０５に与えられる。
【００１７】
選択部１０５では隣接エネルギーに従って、隣接２ブロックにそれぞれ割り当てられた特徴量候補からそれぞれ一つの特徴量が選択される。例えば、隣接エネルギーが極小（好ましくは最小）となる特徴量が隣接２ブロックに割り当てられた特徴量候補から選択される。本高品質化部１０６では、選択部１０５により選択された特徴量によって仮出力画像１１１の高品質化が行われ、出力画像１１７が生成される。
【００１８】
次に、図２を用いて図１の画像高品質化装置の概略的な動作の流れを説明する。以下の説明では、低解像度の入力画像１１０を高解像度化して高解像度の出力画像１１７を生成する例について述べる。なお、高品質化として高解像度化のほかに、例えばボケ復元、画像圧縮歪除去及び輝度の高階調化などを行う場合についても、基本的に同様の実施が可能である。
【００１９】
まず、仮高品質化部１０１によって低解像度画像である入力画像１１０を要求される解像度に高解像度化し、仮高解像度化画像である仮高品質化画像１１１を作成する（ステップＳ１１）。ステップＳ１１での高解像度化処理には、例えば最近傍拡大などによる画像拡大や、双直線補間法や３次畳込み内挿法などによる補間を用いることができる。仮高品質化画像１１１は、特徴量候補割り当て部１０３に入力される。
【００２０】
次に、特徴量候補割り当て部１０３において仮高品質化画像１１１をブロック化し、各ブロックに対して特徴量メモリ１０２から選択された複数の特徴量を特徴量候補として割り当てる（ステップＳ２０）。
【００２１】
次に、隣接エネルギー算出部１０４によって仮高品質化画像１１１の隣接２ブロックにそれぞれ割り当てられた特徴量候補間の類似度を示す隣接エネルギーを算出する（ステップＳ３０）。
【００２２】
次に、選択部１０５によって仮高品質化画像１１１の各ブロックに割り当てられた特徴量候補の中から、隣接エネルギー算出部１０４で計算された隣接エネルギーが極小となる組み合わせの特徴量を決定し、それらの特徴量を示す特徴量インデックス１１６を出力する（ステップＳ４０）。
【００２３】
最後に、本高品質化部１０６において選択部１０５により選択された特徴量、すなわち特徴量インデックス１１６で示される、特徴量メモリ１０２に記憶された特徴量を用いて仮高品質化画像１１１を高品質化し、高品質化された出力画像１１７を生成する（ステップＳ５０）。
【００２４】
（特徴量メモリ１０２について）
ここで、特徴量メモリ１０２について説明する。特徴量メモリ１０２には、事前の学習により得られた、仮高品質化画像１１１を高品質化するための特徴量が記憶されている。図３は、特徴量メモリ１０２の構造の一例を模式的に示している。
【００２５】
図３に示されるように、特徴量メモリ１０２には仮高品質化画像１１１の画像ブロックから抽出された複数（Ｎ）の低品質画像特徴量ｌi(i=1,2,…,N)と仮高品質化画像１１１の画像ブロックを高品質化するための高品質化用特徴量ｈi(i=1,2,…,N)とのペアが記憶されている。
【００２６】
図４によりｌi−ｈiペアの作り方の例を説明する。学習用画像から抜き出した高解像度画像ブロックｘを入力画像１１０と同程度の画質になるように一度劣化させることによって、低解像度画像ブロックｙを作成する。次に、低解像度画像ブロックｙに対して仮高品質化部１０１でなされる仮高品質化と同様の高品質化（高解像度化）を行い、仮高解像度画像ブロックｇを作成する。同時に、低解像度画像ブロックｙについて最近傍拡大を行って拡大画像ｚを作成する。
【００２７】
次に、仮高解像度画像ブロックｇから拡大画像ｚを減算して低品質画像特徴量ｌを生成し、高解像度化画像ブロックｘから仮高解像度画像ブロックｇを減算して高品質化用特徴量ｈを生成する。こうして得られる低品質画像特徴量ｌと高品質化用特徴量ｈを一つのペアとする。このようにペアを作成しておけば、入力画像１１０から抜き出したブロックを仮高品質化させてｇ′を作り、適当なｈを選択することでｇ′＋ｈにより高品質の高解像度画像を生成することができる。なお、低品質画像特徴量ｌとして低解像度画像ブロックｙを代用してもよいし、高品質化用画像特徴量ｈと相関の高い低解像度画像ブロックｙを選んで作成してもよい。また、計算時間の短縮や特徴量メモリ１０２の容量削減のために、主成分分析などを用いて次元圧縮してもよい。
【００２８】
以上のように高品質化用特徴量ｈは、例えば仮高品質化画像１１１中に存在しない高周波数成分である。本実施形態によれば、仮高品質化部１０１では復元することのできない情報を高品質化用特徴量で補うことにより、画像の高解像度化さらには鮮鋭化などの高品質化を行うことができる。
【００２９】
（特徴量候補割り当て部１０３について）
次に、図５を用いて特徴量候補割り当て部１０３の処理について説明する。図５は、図２中のステップＳ２０の詳細な処理例を示している。
【００３０】
特徴量候補割り当て部１０３では、まず仮高品質化画像１１１をブロック化する（ステップＳ２１）。このとき、各ブロックは仮高品質画像１１１中で互いに重複領域があるように設定する。
【００３１】
次に、ステップＳ２１で得られた複数のブロックから１つのブロックを処理ブロックとして選択する（ステップＳ２２）。次に、選択されたブロックから低品質画像特徴量lqueryを抽出する（ステップＳ２３）。低品質画像特徴量lqueryの作成方法は、図４に従う。つまり、ステップＳ２２で選択したブロックを図４におけるgとする。そして、対応する位置の入力画像のブロックをyとし、ｇ−ｚによりlqueryを作成する。
【００３２】
次に、ステップＳ２４で抽出された低品質画像特徴量ｌqueryに類似する低品質画像特徴量ｌiを特徴量メモリ１０２から一つ以上探索する（ステップＳ２４）。すなわち、低品質画像特徴量ｌiのうち抽出された低品質画像特徴量ｌqueryとの類似度が最大の特徴量、または類似度が大きい順から幾つかの数の特徴量を特徴量メモリ１０２から探索する。この場合、類似度としては例えばステップＳ２４で抽出された低品質画像特徴量lqueryと特徴量メモリ１０２中の低品質特徴量ｌiとの間の距離‖ｌi−ｌquery‖を用いることができる。
【００３３】
次に、ステップＳ２４で探索された一つ以上の低品質画像特徴量ｌiに対応付けられている全ての高品質化用特徴量ｈiのインデックス１１４を読み出して記録する（ステップＳ２５）。
【００３４】
以上のステップＳ２１〜Ｓ２５の処理をステップＳ２６で全てのブロックが処理されたと判断されるまで繰り返し行い、特徴量候補割り当て部１０３の処理が終了する。
【００３５】
（隣接エネルギー算出部１０４について）
次に、図６を用いて隣接エネルギー算出部１０４の処理について説明する。図６は、図２中のステップＳ３０の具体的な処理例を示している。まず、隣接する２つのブロック（Ａ，Ｂとする）を選択する（ステップＳ３１）。
【００３６】
次に、選択された２つのブロックＡ，Ｂにそれぞれ割り当てられている特徴量候補を示す候補インデックス１１４を特徴量候補割り当て部１０３から読み込み（ステップＳ３２）、さらに特徴量メモリ１０２から候補インデックス１１４に対応する特徴量データ１１３を読み込む（ステップＳ３３）。
【００３７】
ここで、ブロックＡについて読み込んだＮA個の特徴量データを{hA,1, hA,2,…, hA,NA}とし、ブロックＢについて読み込んだＮB個の特徴量データを{hB,1, hB,2,…, hB,NB}とする。
【００３８】
次に、特徴量データ{hA,1, hA,2,…, hA,NA}及び{hB,1, hB,2,…, hB,NB}を増分符号ベクトルに変換する（ステップＳ３４）。
【００３９】
説明を簡単にするため、以下に示す条件を例にとって説明する。特徴量候補割り当て部１０３において仮高品質化画像１１１をブロック化する際、ブロックサイズは８×８画素であり、また全てのブロックには水平方向及び垂直方向共に４画素ずつ重複領域が存在するように配置されているとする。さらに、ブロックＡとブロックＢはそれぞれ左右に隣り合っているとする。ここで挙げたブロックのサイズと形状及び重複領域のサイズと形状はあくまで一例であり、任意に決めることができる。
【００４０】
ブロックＡ及びブロックＢは、図７に破線で示すように水平方向４画素×垂直方向８画素の重複領域Ｒを有する。この重複領域Ｒについて、ブロックＡ及びブロックＢに割り当てられている特徴量候補同士の空間的な輝度パターンの類似度を算出することで、隣接エネルギーを算出することができる。ここでは、ブロックＡとブロックＢが水平方向に隣り合っている場合を説明したが、垂直方向に隣り合っている場合についても同様に隣接エネルギーを算出できる。
【００４１】
隣接エネルギーを算出するため、まずステップＳ３４では特徴量候補の特徴量データ{hA,1, hA,2,…, hA,NA}及び{hB,1, hB,2,…, hB,NB}について、重複領域Ｒの輝度値から図８Ａ及び図８Ｂに示すように増分符号ベクト{sA,1, sA,2,…, sA,NA}及{sB,1, sB,2,…, sB,NB}をそれぞれ作成する。それぞれ２画素（２画素ａ，ｂの輝度値をそれぞれＩa，Ｉbとする）の増分符号ｓは、例えば次式（１）により求められる。
【数１】
【００４２】
ここで、σは輝度値ＩaとＩbの差を有効と認める閾値である。
【００４３】
ここでは、輝度値ＩaとＩbの差に対して３つのクラス（０，１，２）を割り当てたが、２つ以上の任意の数のクラスを割り当てることができる。さらに、増分符号ベクトルは図８Ａ及び図８Ｂに示したように３２画素の４９６通りの全ての組合せについての増分符号から生成してもよいが、一部の組合せについての増分符号から生成してもよい。つまり、増分符号ベクトルの次元数は４９６次元より少なくともよい。例えば、水平方向に隣接した画素のペアだけから増分符号ベクトルを求めれば、次元数は２４次元となる。
【００４４】
増分符号ベクトルとしては、他に輝度勾配を表現するベクトルや、ラプラシアンオペレータによるエッジ強度を表現するベクトルなど、空間的な輝度パターンの類似度を算出できるベクトルであれば、それらを用いることができる。さらに、増分符号ベクトルは特徴量を用いて高品質化した画像ブロックから作成してもよい。すなわち、特徴量をｈ、仮高品質化画像１１１から切り出したブロックをｇとすると、ｇ＋ｈから増分符号ベクトルを作成してもよい。
【００４５】
次に、上述のようにして生成された増分符号ベクトルを用いて特徴量候補ｈA,iと特徴量候補ｈB,jとの間の類似度を表す隣接エネルギーＶA,B,I,jをブロックＡ及びブロックＢに割り当てられている全ての特徴量候補の組合せについて算出する（ステップＳ３５）。具体的には、例えば次式（２）により増分符号ベクトルｓA,iとｓB,jの一致度を隣接エネルギーＶA,B,I,jとして算出する。
【数２】
【００４６】
ただし、ｓA,i（ｋ）は増分符号ベクトルｓA,iのｋ番目の成分、ｓB,j（ｋ）は増分符号ベクトルｓB,jのｋ番目の成分である。
【００４７】
式（２）では、増分符号ベクトルｓA,iとｓB,jとの差分絶対値和（Sum of Absolute Difference:ＳＡＤ）をｓA,iとｓB,jとの一致度としているが、次式（３）に示すように増分符号ベクトルｓA,iとｓB,jとの差の２乗和（Sum of Squared Difference:ＳＳＤ）をｓA,iとｓB,jとの一致度としてもよい。
【数３】
【００４８】
また、例えば次式（４）に示すように増分符号ベクトルｓA,iとｓB,jの符号が一致する数を用いてｓA,iとｓB,jとの一致度を算出してもよい。
【数４】
【００４９】
ただし、δ(x)はｘ＝０のとき１、それ以外のとき０の値をとる関数である。すなわち、式（４）の右辺第２項は、ｓA,iとｓB,jの符号が一致する数を増分符号ベクトルの次元数４９６で除した値であるから、式（３）及び式（４）と同様に特徴量候補ｈA,iと特徴量候補ｈB,jとの間の類似度を表す。
【００５０】
このように増分符号ベクトルを用いて算出される隣接エネルギーＶA,B,I,jは、特徴量ｈA,iと特徴量ｈB,jとの間の類似度が高いほど値が小さくなる関数になっている。隣接エネルギーＶA,B,I,jは式（３）及び（４）に示したような１つの項からなる必要はなく、例えば次式（５）のように２つ以上の項の組合せ（加重和）により計算してもよい。
【数５】
【００５１】
ただし、λは緩和パラメタであり、ｈA,i(pm)及びｈB,j(pm)はｈA,i及びｈB,j(pmが重なった時に、重複領域Ｒ内でｍ番目の同一画素位置に配置される画素である。式（５）の右辺第１項は式（３）に示したＳＡＤに相当し、重複領域ＲのブロックＡ及びブロックＢにそれぞれ割り当てられている特徴量候補についての増分符号間の一致度を表す。式（５）の右辺第２項は非特許文献１に開示されたＳＳＤに相当し、重複領域ＲのブロックＡ及びブロックＢに割り当てられている特徴量候補の輝度値の差の２乗和を表す。式（５）では、緩和パラメタλを重み係数として、第１項の一致度と第２項の２乗和との加重和を隣接エネルギーＶA,B,I,jとして算出している。
【００５２】
式（５）の隣接エネルギーＶA,B,I,jを用いると、第１項で重複領域ＲのブロックＡ及びブロックＢにそれぞれ割り当てられている特徴量候補同士の輝度パターンの類似度を評価しつつ、第２項で大幅な輝度の開きを抑制することができるため、アーチファクトノイズの少ない画像を生成する効果がある。
【００５３】
以上のステップＳ３１〜Ｓ３５の処理をステップＳ３６で全ての隣接するブロックについて処理されたと判断されるまで繰り返し行い、隣接エネルギー算出部１０４の処理が終了する。
【００５４】
（選択部１０５について）
次に、図９を用いて選択部１０５の処理について説明する。図２中のステップＳ４０では、前述したように仮高品質化画像１１１の隣接２ブロックにそれぞれ割り当てられた特徴量候補の中から、隣接エネルギー算出部１０４で計算された隣接エネルギーが極小、好ましくは最小となる特徴量候補の組合せを決定してその組み合わせの特徴量を選択し、その組み合わせを示す特徴量インデックス１１６を出力する。組合せの決定方法としては、（ａ）隣接エネルギーの総和を局所的に最適化する方法と、（ｂ）隣接エネルギーの総和を大域的または全てのブロックで最適化する方法が考えられる。
【００５５】
図９は、図２中のステップＳ４０の具体的な処理例として、前記（ａ）の隣接エネルギーが局所的に小さくなる特徴量を選択する例を示している。まず、左上端ブロックの特徴量を決定する（ステップＳ４１）。すなわち、左上端ブロックに割り当てられている特徴量候補の中から一つの特徴量を選択する。特徴量の選択は無作為に行ってもよいし、特徴量候補割り当て部１０３で計算した‖li−lquery‖に基づく類似度が最も高かった候補を選択してもよい。
【００５６】
次に、左上端ブロックに対して右隣接ブロックを処理ブロックに設定する。すなわち、右隣接ブロックがあるかどうかを調べ（ステップＳ４２）。右隣接ブロックがあればそれを処理ブロックとして選択する（ステップＳ４３）。右隣接ブロックがなく、処理の途中で画像の右端ブロックに到達すれば、１つ下段の最左ブロックを処理ブロックとして選択する（ステップＳ４４）。
【００５７】
次に、ステップＳ４３またはＳ４４で選択された処理ブロックに割り当てられている特徴量候補のインデックスを読み込む（ステップＳ４５）。次に、処理ブロックに割り当てられている特徴量候補と上隣接ブロックに割り当てられている特徴量との間の隣接エネルギーと、左隣接ブロックに割り当てられている特徴量との間の隣接エネルギーとの和が最小となる特徴量を特徴量候補の中から選択し、これを処理ブロックのための高品質化用特徴量とする（ステップＳ４６）。ステップＳ４６の処理時には、処理ブロックに対して上隣接ブロック及び左隣接ブロックは既に処理されており、上隣接ブロック及び左隣接ブロックに割り当てられている特徴量は一意に決定されている。
【００５８】
以上のステップＳ４２〜Ｓ４６の処理をステップＳ４７で全てのブロックが処理されたと判断されるまで繰り返し行い、選択部１０５の処理が終了する。
【００５９】
隣接エネルギーＶA,B,I,jの総和の最適化は、例えばビリーフプロパゲーション(Belief Propagation)のような最適化アルゴリズムを用いることで行うことができる。図１０は、図２中のステップＳ４０の具体的な処理例として、前記（ｂ）のうち隣接エネルギーの総和を全ブロックで最適化する例を示している。
【００６０】
まず、処理ブロックＡを選択する（ステップＳ５１）。次に、処理ブロックＡに隣接する一つのブロック（隣接ブロック）Ｂを選択する（ステップＳ５２）。次に、処理ブロックＡから隣接ブロックＢの各候補に対して、信頼度（適合度）を表現するメッセージを次式（６）により計算する（ステップＳ５３）。
【数６】
【００６１】
式（６）の左辺はｔ回目の反復における処理ブロックＡから隣接ブロックＢのｊ番目の候補へのメッセージであり、全てのメッセージは初期値として“０”が与えられる。Ｎei(A)は、処理ブロックＡに隣接するブロックの集合である。つまり、式（６）におけるＣは処理ブロックＡに隣接するブロックの集合のうち、隣接ブロックＢ以外のブロックを表している。
【００６２】
式（６）からわかるように、ｔ回目の反復におけるメッセージは、前回の反復で計算された他ブロックのメッセージから計算されるため、反復を繰り返すとメッセージは全てのブロックに対して伝搬していく。また、伝搬されるメッセージは処理ブロックＡから隣接ブロックＢへ伝搬されるメッセージの総和が”０”となるように、次式（７）により正規化されていてもよい。
【数７】
【００６３】
ここで、式（７）の左辺は正規化されたメッセージを表す。
【００６４】
ステップＳ５２〜Ｓ５３の操作をステップＳ５４で処理ブロックＡに隣接する全てのブロックが処理されたと判断されるまで繰り返し行う。さらに、ＳＳ５２〜Ｓ５４の操作をステップＳ５５で全てのブロックが処理されたと判断されるまで繰り返し行う。ステップＳ５１〜Ｓ５５の処理が一回の反復になる。
【００６５】
ステップＳ５１〜Ｓ３５の反復処理をステップＳ５６で反復終了基準が満足されるまで行うる。反復終了基準としては、反復回数が一定回数に達したこと、または全てのメッセージの値の大小関係が変化しなくなるなどの基準を利用できる。最後に、各ブロックについて候補の中から選択する一つの特徴量を次式（８）に基づいて決定し、その特徴量を選択する（ステップＳ５７）。
【数８】
【００６６】
（本高品質化部１０６について）
本高品質化部１０６は、前述したように選択部１０５によって選択された特徴量を用いて仮高品質化画像１１１を高品質化し、出力画像１１７を生成する。ここでは、仮高品質化画像１１１の各ブロックは水平及び垂直方向に４画素ずつ重複しているので、高品質化された出力画像１１７の各画素に対して４つの特徴量が関連することになる。そこで、本高品質化部１０６では、出力画像１１７の各画素の輝度値は例えば仮高品質化画像１１１の輝度値に４つの特徴量の輝度値の平均値を加算することにより算出される。
【００６７】
（第２の実施形態）
図１１は、本発明の第２実施形態に従う画像高品質化装置を示している。第１の実施形態に従う図１に示した画像高品質化装置に対して、生起エネルギー算出部１０７が追加されている。
【００６８】
第１の実施形態では、選択部１０５において隣接エネルギーを最適化するように特徴量を選択する例を説明した。これに対し、第２の実施形態では生起エネルギー算出部１０７によって特徴量候補の入力画像１１０への適合度を示すエネルギー（これを生起エネルギーという）を別途計算する。選択部１０５では、隣接エネルギー算出部１０４からの隣接エネルギー情報１１５及び生起エネルギー算出部１０７からの生起エネルギー情報１１８を受け、次式（９）で表わされる、隣接エネルギーと生起エネルギーとの加重和を最適化するように特徴量を選択する。
【数９】
【００６９】
ただし、μは緩和パラメタ、Ωは全ての隣接するブロックの集合である。また、ＤA,iは特徴量候補ｈA,iについて定義される生起エネルギーである。式（９）では、緩和パラメタμを重み係数として、第１項の生起エネルギーと第２項の隣接エネルギーとの加重和を算出している。生起エネルギーＤA,iは、例えば次式（１０）で定義する。
【数１０】
【００７０】
ただし、ｌA,iは特徴量メモリ１０２中でｈA,iに対応付けられていた低品質画像特徴量であり、ｌA,queryはブロックＡから抽出された低品質画像特徴量である。
【００７１】
本実施形態によると、入力画像に適した高周波成分が選択され、画質が向上する、あるいはアーチファクトノイズの発生が抑制されるという効果がある。
【００７２】
（実験例）
図１２Ａ、図１２Ｂ、図１２Ｃ及び図１２Ｄにより、発明者が第１の実施形態に従って高品質化画像を生成した結果について説明する。図１２Ａは原画像であり、これを縦横それぞれ１/４倍に縮小して擬似的に入力画像１１０を作成した。この入力画像１１０を縦横それぞれ４倍の大きさに拡大する高解像度化を行った結果が図１２Ｂ、図１２Ｃ及び図１２Ｄである。図１２Ｂは従来の隣接エネルギーを用いて得られる高品質化画像、図１２Ｃは仮高品質化画像１１１、図１２Ｄは出力画像１１７をそれぞれ示している。
【００７３】
実験の条件としては、高品質化用特徴量は仮高品質化画像１１１に存在しない高周波数成分を表す画像パッチとし、また仮高品質化画像１１１の各ブロックに対してそれぞれ１６個の特徴量候補を割り当てた。選択部１０５における隣接エネルギーの最適化には、Belief Propagationを用いた。
【００７４】
図１２Ｂ、図１２Ｃ及び図１２Ｄの各画像と原画像との誤差をＰＳＮＲ(Peak Signal to Noise Ratio)で測定したところ、それぞれ３１．６ｄＢ、３０．６ｄＢ及び３２．１ｄＢという値が得られた。これらの結果からも理解されるように、実施形態は従来技術による出力画像よりも鮮鋭で高品質の出力画像を生成できる。
【００７５】
このように、本発明の各実施形態に従う画像高品質化装置によれば、特徴量の輝度パターンの類似度に基づいた隣接エネルギーの評価を行うことにより、従来技術の課題が解決され、鮮鋭で高品質の画像を生成することができる。
【００７６】
なお、本発明の実施形態に従う画像高品質化装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、低品質化手段、分離手段、学習手段、画像作成手段は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、画像高品質化装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、記憶手段は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００７７】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施形態に従う画像高品質化装置を示すブロック図
【図２】第１の実施形態における画像高品質化処理の概略を示すフローチャート
【図３】特徴量メモリの構造の一例を示した模式図。
【図４】特徴量メモリ中のデータの作成方法を説明するための模式図
【図５】特徴量候補割り当て部の処理を示すフローチャート
【図６】隣接エネルギー算出部の処理を示すフローチャート
【図７】ブロックの配置状況を説明するための模式図
【図８Ａ】増分符号ベクトルを生成する方法を説明するための模式図
【図８Ｂ】増分符号ベクトルを生成する方法を説明するための模式図
【図９】選択部において局所的に最適化を行う動作を示すフローチャート
【図１０】選択部において大域的に最適化を行う動作を示すフローチャート
【図１１】本発明の第２の実施形態に従う画像高品質化装置を示すブロック図
【図１２Ａ】第１の実施形態に従って画像を高品質化した結果を説明するための原画像を示す図
【図１２Ｂ】第１の実施形態に従って画像を高品質化した結果を説明するための従来技術に基づく高画質化画像を示す図
【図１２Ｃ】第１の実施形態に従って画像を高品質化した結果を説明するための仮高品質化画像を示す図
【図１２Ｄ】第１の実施形態に従って画像を高品質化した結果を説明するための出力画像を示す図
【符号の説明】
【００７９】
１０１・・・仮高品質化部
１０２・・・特徴量メモリ
１０３・・・特徴量候補割り当て部
１０４・・・隣接エネルギー算出部
１０５・・・選択部
１０６・・・本高品質化部
１０７・・・生起エネルギー算出部
【特許請求の範囲】
【請求項１】
第１の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶するステップと；
前記第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるようにブロック化するステップと；
前記第１ブロック及び第２ブロックに前記複数の特徴量候補から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てるステップと；
前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出するステップと；
前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択するステップと；
前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成するステップと；を具備することを特徴とする画像高品質化方法。
【請求項２】
前記特徴量は、画像の高周波成分であることを特徴とする請求項１記載の画像高品質化方法。
【請求項３】
前記選択するステップは、前記複数の第１特徴量候補及び複数の第２特徴量候補から前記第１エネルギーが極小となる第１特徴量及び第２特徴量を選択する請求項１記載の画像高品質化方法。
【請求項４】
前記第１の画像に対する前記複数の第１特徴量候補の適合度を表す第２エネルギーを算出するステップをさらに具備し、
前記選択するステップは、前記第１エネルギーと前記第２エネルギーとの加重和が極小となる第１特徴量及び第２特徴量を選択する請求項１記載の画像高品質化方法。
【請求項５】
第１の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶した記憶部と；
前記第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるように複数のブロックに分割し、前記第１ブロック及び第２ブロックに前記複数の特徴量から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てる割り当て部と；
前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出する第１エネルギー算出部と；
前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択する選択部と；
前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成する高品質化部と；を具備することを特徴とする画像高品質化装置。
【請求項６】
前記選択部は、前記複数の第１特徴量候補及び複数の第２特徴量候補から前記第１エネルギーが極小となる第１特徴量及び第２特徴量を選択することを特徴とする請求項５記載の画像高品質化方法。
【請求項７】
前記第１の画像に対する前記複数の第１特徴量候補の適合度を表す第２エネルギーを算出する第２エネルギー算出部をさらに具備し、
前記選択部は、前記第１エネルギーと前記第２エネルギーとの加重和が極小となる第１特徴量及び第２特徴量を選択することを特徴とする請求項５記載の画像高品質化装置。
【請求項８】
前記第１エネルギー算出部は、前記重複領域における前記第１特徴量候補についての第１増分符号と前記重複領域における前記第２特徴量候補についての第２増分符号との間の一致度を前記第１エネルギーとして算出することを特徴とする請求項５記載の画像高品質化装置。
【請求項９】
前記第１エネルギー算出部は、前記重複領域における前記第１特徴量候補についての第１増分符号と前記重複領域における前記第２特徴量候補についての第２増分符号との間の一致度、及び前記重複領域における前記第１特徴量候補の第１輝度値と前記重複領域における前記第２特徴量候補の第２輝度値との差の２乗和を算出し、前記一致度と前記２乗和との加重和を前記第１エネルギーとして算出することを特徴とする請求項５記載の画像高品質化装置。
【請求項１０】
前記第１エネルギー算出部は、前記重複領域における前記第１特徴量候補の全ての画素の組み合わせについて前記第１増分符号を求め、前記重複領域における前記第２特徴量候補の全ての画素の組み合わせについて前記第２増分符号を求めることを特徴とする請求項５記載の画像高品質化装置。
【請求項１１】
前記第１エネルギー算出部は、前記重複領域における前記第１特徴量候補の一部の画素の組み合わせについて前記第１増分符号を求め、前記重複領域における前記第２特徴量候補の一部の画素の組み合わせについて前記第２増分符号を求めることを特徴とする請求項５記載の画像高品質化装置。
【請求項１２】
前記第１エネルギー算出部は、前記重複領域における前記第１特徴量候補の２つの画素間の輝度値の差に対して２つ以上の種類の符号を割り当てて前記第１増分符号を求め、前記重複領域における前記第２特徴量候補の２つの画素間の輝度値の差に対して２つ以上の種類の符号を割り当てて前記第２増分符号を求めることを特徴とする請求項８乃至１１のいずれか１項記載の画像高品質化装置。
【請求項１３】
前記選択部は、全ての第１ブロック及び第２ブロックの組合せで計算される第１エネルギーの総和が極小となる特徴量の組合せを選択することを特徴とする請求項５記載の画像高品質化装置。
【請求項１４】
第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるようにブロック化する処理と；
前記第１ブロック及び第２ブロックに前記第１の画像を高品質化するための、輝度成分を有する複数の特徴量から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てる処理と；
前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出する処理と；
前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択する処理と；
前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成する処理と；を含む画像高品質化処理をコンピュータに行わせるためのプログラム。
【請求項１】
第１の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶するステップと；
前記第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるようにブロック化するステップと；
前記第１ブロック及び第２ブロックに前記複数の特徴量候補から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てるステップと；
前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出するステップと；
前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択するステップと；
前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成するステップと；を具備することを特徴とする画像高品質化方法。
【請求項２】
前記特徴量は、画像の高周波成分であることを特徴とする請求項１記載の画像高品質化方法。
【請求項３】
前記選択するステップは、前記複数の第１特徴量候補及び複数の第２特徴量候補から前記第１エネルギーが極小となる第１特徴量及び第２特徴量を選択する請求項１記載の画像高品質化方法。
【請求項４】
前記第１の画像に対する前記複数の第１特徴量候補の適合度を表す第２エネルギーを算出するステップをさらに具備し、
前記選択するステップは、前記第１エネルギーと前記第２エネルギーとの加重和が極小となる第１特徴量及び第２特徴量を選択する請求項１記載の画像高品質化方法。
【請求項５】
第１の画像を高品質化するための、輝度成分を有する複数の特徴量を記憶した記憶部と；
前記第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるように複数のブロックに分割し、前記第１ブロック及び第２ブロックに前記複数の特徴量から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てる割り当て部と；
前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出する第１エネルギー算出部と；
前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択する選択部と；
前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成する高品質化部と；を具備することを特徴とする画像高品質化装置。
【請求項６】
前記選択部は、前記複数の第１特徴量候補及び複数の第２特徴量候補から前記第１エネルギーが極小となる第１特徴量及び第２特徴量を選択することを特徴とする請求項５記載の画像高品質化方法。
【請求項７】
前記第１の画像に対する前記複数の第１特徴量候補の適合度を表す第２エネルギーを算出する第２エネルギー算出部をさらに具備し、
前記選択部は、前記第１エネルギーと前記第２エネルギーとの加重和が極小となる第１特徴量及び第２特徴量を選択することを特徴とする請求項５記載の画像高品質化装置。
【請求項８】
前記第１エネルギー算出部は、前記重複領域における前記第１特徴量候補についての第１増分符号と前記重複領域における前記第２特徴量候補についての第２増分符号との間の一致度を前記第１エネルギーとして算出することを特徴とする請求項５記載の画像高品質化装置。
【請求項９】
前記第１エネルギー算出部は、前記重複領域における前記第１特徴量候補についての第１増分符号と前記重複領域における前記第２特徴量候補についての第２増分符号との間の一致度、及び前記重複領域における前記第１特徴量候補の第１輝度値と前記重複領域における前記第２特徴量候補の第２輝度値との差の２乗和を算出し、前記一致度と前記２乗和との加重和を前記第１エネルギーとして算出することを特徴とする請求項５記載の画像高品質化装置。
【請求項１０】
前記第１エネルギー算出部は、前記重複領域における前記第１特徴量候補の全ての画素の組み合わせについて前記第１増分符号を求め、前記重複領域における前記第２特徴量候補の全ての画素の組み合わせについて前記第２増分符号を求めることを特徴とする請求項５記載の画像高品質化装置。
【請求項１１】
前記第１エネルギー算出部は、前記重複領域における前記第１特徴量候補の一部の画素の組み合わせについて前記第１増分符号を求め、前記重複領域における前記第２特徴量候補の一部の画素の組み合わせについて前記第２増分符号を求めることを特徴とする請求項５記載の画像高品質化装置。
【請求項１２】
前記第１エネルギー算出部は、前記重複領域における前記第１特徴量候補の２つの画素間の輝度値の差に対して２つ以上の種類の符号を割り当てて前記第１増分符号を求め、前記重複領域における前記第２特徴量候補の２つの画素間の輝度値の差に対して２つ以上の種類の符号を割り当てて前記第２増分符号を求めることを特徴とする請求項８乃至１１のいずれか１項記載の画像高品質化装置。
【請求項１３】
前記選択部は、全ての第１ブロック及び第２ブロックの組合せで計算される第１エネルギーの総和が極小となる特徴量の組合せを選択することを特徴とする請求項５記載の画像高品質化装置。
【請求項１４】
第１の画像を互いに隣接する第１ブロックと第２ブロック間に重複領域が生じるようにブロック化する処理と；
前記第１ブロック及び第２ブロックに前記第１の画像を高品質化するための、輝度成分を有する複数の特徴量から選択された複数の第１特徴量候補及び複数の第２特徴量候補をそれぞれ割り当てる処理と；
前記重複領域における前記第１特徴量候補が持つ第１輝度パターンと前記重複領域における前記第２特徴量候補が持つ第２輝度パターンとの間の類似度を表す第１エネルギーを算出する処理と；
前記第１エネルギーを用いて前記複数の第１特徴量候補及び複数の第２特徴量候補から一つの第１特徴量及び一つの第２特徴量を選択する処理と；
前記第１特徴量及び第２特徴量を用いて前記第１ブロック及び第２ブロックを高品質化して第２の画像を生成する処理と；を含む画像高品質化処理をコンピュータに行わせるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１２Ｄ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１２Ｄ】
【公開番号】特開２００９−１３４３５０（Ｐ２００９−１３４３５０Ａ）
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願番号】特願２００７−３０７７４６（Ｐ２００７−３０７７４６）
【出願日】平成１９年１１月２８日（２００７．１１．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２１年６月１８日（２００９．６．１８）
【国際特許分類】
【出願日】平成１９年１１月２８日（２００７．１１．２８）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]