画像解像度変換装置
【課題】Ｍ×Ｍ画素の局所共分散計算対象画素群の画素数Ｍが奇数の場合でも局所共分散計算対象領域の偏りが殆ど無い良好な画質の拡大画像を得る。
【解決手段】５×５画素メモリ１２は、重み付け平均計算対象画素群を一部に含む、Ｍ×Ｍ画素の局所共分散計算対象画素群の候補を複数設定する。相関計算部１４は、局所共分散計算対象画素群の複数の候補のそれぞれについて、重み付け平均計算対象画素群の各画素との相互相関を計算し、その相関値が最大値を示す局所共分散計算対象画素群の候補を、計算する局所共分散計算対象画素群として選択する。重み付け平均計算部１６は、重み付け係数αと重み付け平均計算対象画素群Ｗとから重み付け平均により補間値を生成し拡大画像を生成する。これにより、既存の共分散利用の拡大アルゴリズムに比べ、Ｍが奇数の場合でも局所共分散計算対象領域の偏りが無く良好な拡大画像を得ることができる。
【解決手段】５×５画素メモリ１２は、重み付け平均計算対象画素群を一部に含む、Ｍ×Ｍ画素の局所共分散計算対象画素群の候補を複数設定する。相関計算部１４は、局所共分散計算対象画素群の複数の候補のそれぞれについて、重み付け平均計算対象画素群の各画素との相互相関を計算し、その相関値が最大値を示す局所共分散計算対象画素群の候補を、計算する局所共分散計算対象画素群として選択する。重み付け平均計算部１６は、重み付け係数αと重み付け平均計算対象画素群Ｗとから重み付け平均により補間値を生成し拡大画像を生成する。これにより、既存の共分散利用の拡大アルゴリズムに比べ、Ｍが奇数の場合でも局所共分散計算対象領域の偏りが無く良好な拡大画像を得ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像解像度変換装置に係り、特に入力画像をその画像よりも画素数の多い、高解像度の画像に変換する画像解像度変換装置に関する。
【背景技術】
【０００２】
自然画では近傍の画素間には強い相関性を持つことが知られている。画像を拡大する解像度変換の場合、その相関性を利用し、近傍の画素を重み付け平均処理することで拡大の補間画素を生成する。一般的なバイリニア補間の場合、補間対象画素位置に対する距離に応じた重み付けを用いる。この場合、物体のエッジが保存されず、ボケたりジャギーなどの劣化が生じる。
【０００３】
これに対し、補間対象画素周辺の輝度変化パターンを推定し、推定したパターンに応じた重み付けを行うことで、物体エッジの再現性の向上させた手法が検討されている。非特許文献１に開示されている手法は、輝度変化パターンの特徴量として共分散を用いた手法である。すなわち、この非特許文献１に記載の手法は、低解像度における共分散と、高解像度における共分散は局所的には同じであるという前提に基づいて、まず低解像度における局所共分散を求め、求めた局所共分散から求めようとする高解像度画像の局所共分散を推定し、その推定局所共分散に応じた重み付け平均処理を行うことで、低解像度画像のエッジを保存した拡大画像の変換が可能となる。なお、低解像度画像の局所共分散の推定値を古典的なウィナー(Wiener)フィルタ補間を実行するのに用いることが特許文献１に開示されている。
【０００４】
非特許文献１に開示されたアルゴリズムでは、図２に示すように補間対象画素Ｘはその周辺の４画素Ｘ0〜Ｘ3の重み付け平均として求められる。また、高さＨ、幅Ｗの大きさの低解像度画像Ｘi,j{0≦i＜H, 0≦j＜W}を、高さ２Ｈ、幅２Ｗの大きさの高解像度画像Ym,n{0≦m＜2H, 0≦n＜2W}に拡大するとき、高解像度画像において、(2i,2j)の位置にある画素Ｙ2i,2jの値を
Ｙ2i,2j＝Ｘi,j （１）
と仮定し、画素Ｙ2i+1,2j+1の値を補間により求めるとすれば、以下のような重み付き平均で求められる。
【０００５】
【数１】
ただし、式（２）中、αは重み付け係数である。
【０００６】
上記の重み付け係数αは、古典的なウィナー(Wiener)フィルタ補間の理論によれば、以下のように表わせる。
【０００７】
α＝Ｒ-1 ・r where Ｒ＝[Ｒkl] ，r＝[rk] （３）
ただし、式（３）中、ｋ及びｌは０以上３以下の自然数である。
【０００８】
ここで、式（３）のＲ,ｒは高解像度画像における共分散であり、対応関係を図３の実線矢印で示す。このＲ,ｒに対応する低解像度画像の共分散Ｒ’，ｒ’は位置関係の相似形を考えると、図３に破線矢印で示される。このような相似関係に関して、補間対象画素周辺を全て考慮に入れると最終的なＲ’，ｒ’は次式で表わされる。
【０００９】
Ｒ’＝(ＣT・Ｃ)/Ｍ2 , ｒ’＝(ＣT・ｙ)/Ｍ2 （４）
ここで、式（４）中、ｙは補間対象画素周辺のＭｘＭ画素（Ｍは２以上の自然数）からなるベクトルであり、局所共分散計算対象画素領域を示し、[y1,y2,・・・yk,・・・,yM2]Tで表わされる（Ｔは転置行列）。また、Ｃは４xＭ2の行列であり、その第ｋ列はykの対角線上の最近４画素である（図４参照）。なお、図４において、Ｍ＝２の場合の補間対象画素ＸはＹ2i+1,2j+1であり、また、補間周辺画素の集合ｙは{Ｘ5 Ｘ9 Ｘ10 Ｘ6}である。また、図４において、行列Ｃは次式で表わされる。
【００１０】
【数２】
低解像度画像における重み付け係数αは、式（３）に式（４）を代入することで次式により求めることができる。
【００１１】
α＝(ＣT・Ｃ)-1・(ＣT・ｙ) （５）
そして、低解像度画像から高解像度画像に解像度変換する場合は、この重み付け係数αを式（２）に用いて高解像度画像の補間対象画素値Ｙ2i+1,2j+1を求める。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特許第４０３５４７４号公報
【非特許文献】
【００１３】
【非特許文献１】Xin Li,and Michael T. Orchard,“New Edge-Directed Interpolation”,IEEE Transaction on Image Processing,Vol.10,No.10,October 2001
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、上記の解像度変換方法では、上記のＭで定義される局所共分散計算対象画素領域ｙの大きさが問題となる。Ｍが大きいと局所共分散計算対象画素領域に重み付け平均計算対象画素群と相関関係の無い画素が混入する確率が大きくなり、補間誤差が増大する。一方、Ｍが小さいと相関関係の強い領域での計算が期待できるが、ノイズやイレギュラーな輝度変化の影響が強くなるため、滑らかな補間が難しい。従って、Ｍの設定は慎重に行う必要があるが、Ｍが奇数の場合、局所共分散計算対象画素領域ｙと重み付け平均計算対象画素群との対称性が保てないという問題がある。ある一つの周辺領域設定に固定してしまうと、特定の方向の影響に偏る結果となり拡大画像の劣化の要因となる。
【００１５】
例えば、図５（Ａ）に示すように、低解像度画像の補間対象画素Ｘを低解像度画像の周辺４画素Ｘ5、Ｘ6、Ｘ9、Ｘ10からなる重み付け平均計算対象画素群Ｗを用いて補間生成する場合、Ｍを奇数である「３」に設定すると、重み付け平均計算対象画素群Ｗを含む３×３画素の局所共分散計算対象画素領域ｙの候補が図５（Ｂ）に示すようにＰ0〜Ｐ3の４つ存在することとなり、これらの候補Ｐ0〜Ｐ3と重み付け平均計算対象画素群Ｗとの対称性が保てず、いずれか一つの候補を周辺領域設定に固定しても、特定の方向の影響に偏り、拡大画像が劣化する可能性が極めて高い。
【００１６】
このため、Ｍは偶数から選ばざるを得ないことになり、画像によっては最良の値が選べない可能性があるという問題がある。
【００１７】
本発明は以上の点に鑑みなされたもので、Ｍ×Ｍ画素の局所共分散計算対象画素群の画素数Ｍが奇数の場合でも局所共分散計算対象領域の偏りが殆ど無い良好な画質の拡大画像を得ることができる画像解像度変換装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するため、本発明の画像解像度変換装置は、解像度変換前の低解像度画像における２×２画素を周辺画素とし、その周辺画素の各画素値の重み付け平均値を周辺画素の中心位置の補間対象画素の画素値とするとき、その周辺画素からなる重み付け平均計算対象画素群を一部に含む、Ｍ×Ｍ画素（Ｍは３以上の任意の自然数）の局所共分散計算対象画素群の候補を複数設定する候補設定手段と、局所共分散計算対象画素群の複数の候補のそれぞれについて、重み付け平均計算対象画素群の各画素との相互相関を計算する相関計算手段と、局所共分散計算対象画素群の複数の候補のうち、相関計算手段により計算された相関値が最大値を示す局所共分散計算対象画素群の候補を、計算する局所共分散計算対象画素群として選択する選択手段と、選択手段により選択された計算する局所共分散対象画素群を用いて所定の演算式により重み付け係数を計算する重み付け係数計算手段と、重み付け係数計算手段により計算された重み付け係数を用いて重み付け平均対象画素群における周辺画素の各画素値の重み付け平均値を求めて周辺画素の中心位置の補間対象画素の画素値として拡大画像を生成する重み付け平均計算手段と、重み付け平均計算手段により生成された拡大画像の画素配置を４５度回転し、その画素配置が４５度回転された拡大画像に対し、候補設定手段、相関計算手段、選択手段、重み付け係数計算手段、及び重み付け平均計算手段による処理動作を再度行わせて重み付け平均計算手段から高解像度に解像度変換された画像を出力させる回転処理手段と、を有することを特徴とする。
【００１９】
ここで、上記の候補設定手段は、Ｍが奇数である局所共分散計算対象画素群の候補を複数設定するようにしてもよい。
【発明の効果】
【００２０】
本発明によれば、Ｍ×Ｍ画素の局所共分散計算対象画素群の画素数Ｍが奇数の場合でも局所共分散計算対象領域の偏りが殆ど無い良好な画質の拡大画像を得ることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の画像解像度変換装置の一実施の形態のブロック図である。
【図２】周辺４画素の概念図である。
【図３】低解像度画像、高解像度画像それぞれにおける共分散計算の対応画素の図である。
【図４】Ｍ＝２における計算対象画素を示す図である。
【図５】Ｍ＝３におけるyの候補の画素の組み合わせを示す図である。
【発明を実施するための形態】
【００２２】
次に、本発明の実施の形態について図面を参照して説明する。
【００２３】
図１は、本発明になる画像解像度変換装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の画像解像度変換装置１０は、画像解像度変換前の低解像度画像である原画像Ａを１フレーム分一時保存するフレームメモリ１１と、フレームメモリ１１に保存された１フレーム分の原画像Ａを横方向５画素、縦方向５画素（すなわち、５×５画素）単位で記憶する５×５画素メモリ１２と、５×５画素メモリ１２の記憶画素群を所定のアドレス順序で読み出す読み出しアドレス生成部１３と、５×５画素メモリ１２から読み出された画素群に基づいて後述する相関計算を行い、相関が最大となる候補の番号を５×５画素メモリ１２へ出力する相関計算部１４と、５×５画素メモリ１２から読み出された画素群に基づいて重み付け係数αを計算するα計算部１５と、重み付け平均計算部１６と、重み付け平均計算部１６から出力される第１回目の計算結果である拡大画像Ｂを４５度回転して、フレームメモリ１１に供給する４５度回転処理部１７とより構成される。
【００２４】
本実施の形態の画像解像度変換装置１０は、補間対象画素値を周辺画素の重み付け平均により求める際に、低解像度画像におけるＭ×Ｍ画素の局所共分散領域の局所共分散から、求めようとする高解像度画像の局所共分散を推定し、その推定局所共分散で重み付け平均処理を行って高解像度画像（拡大画像）を得るという解像度変換アルゴリズムは従来と同じであるが、上記の画素数Ｍを偶数に設定する場合だけでなく、奇数を設定した場合でも高画質の拡大画像を得ることができるようにしたものである。画素数Ｍが偶数の場合、上記のＭで定義される局所共分散計算対象画素領域（ベクトル）ｙは重み付け平均計算対象画素群を対称に包括する条件で一意に決まる。従って、以下では画素数Ｍが奇数の場合について説明するが、ここでは説明の簡略化のため一例としてＭ＝３の場合について説明する。
【００２５】
フレームメモリ１１は、低解像度画像の原画像Ａを１フレーム分一時保存する。ここで、ある画素を補間する場合、低解像度画像における重み付け平均計算対象画素群Ｗは図２及び図５（Ａ）に示したように補間対象画素Ｘの周辺の２×２画素（Ｘ0,Ｘ1,Ｘ2,Ｘ3）である。また、Ｍ＝３の場合、２×２画素の重み付け平均計算対象画素群Ｗを含む３×３画素の局所共分散計算対象画素領域ｙの候補は、図５（Ａ）、（Ｂ）に示したように全部でＰ0〜Ｐ3の４つ存在する。これら４つの候補Ｐa（ただし、０≦ａ≦３）をすべて含む領域を確保すると、図５（Ａ）に示したように補間対象画素Ｘの周辺の４×４画素必要となり、更にある候補が選択された場合、そのｙに対応するＣ行列を生成するために更に一画素必要となるため、本実施の形態で必要になる周辺画素数は５×５画素となる。
【００２６】
そこで、フレームメモリ１１から補間対象画素位置を中心にした５×５画素単位で読み出され、５×５画素メモリ１２に格納される。ここで、補間対象画素の画素値をＹ2i+1,2j+1とすると、候補Ｐa（ただし、０≦ａ≦３）は、低解像度画像Ｘにおける補間対象画素位置を含む以下の９画素の集合である。
【００２７】
P0＝{Xi-1,j-1, Xi-1,j, Xi-1,j+1, Xi,j-1, Xi,j, Xi,j+1, Xi+1,j-1,
Xi+1,j, Xi+1,j+1} (6a)
P1＝{Xi,j-1, Xi,j, Xi,j+1, Xi+1,j-1, Xi+1,j, Xi+1,j+1, Xi+2,j-1,
Xi+2,j, Xi+2,j+1} (6b)
P2＝{Xi-1,j, Xi-1,j+1, Xi-1,j+2, Xi,j, Xi,j+1, Xi,j+2, Xi+1,j,
Xi+1,j+1, Xi+1,j+2} (6c)
P3＝{Xi,j, Xi,j+1, Xi,j+2, Xi+1,j, Xi+1,j+1, Xi+1,j+2, Xi+2,j,
Xi+2,j+1, Xi+2,j+2} (6d)
一方、重み付け平均計算対象画素群Ｗは低解像度画像Ｘにおける補間対象画素位置を中心とする以下の４画素の集合である。
【００２８】
Ｗ＝{Xi,j, Xi,j+1, Xi+1,j, Xi+1,j-1} (7)
読み出しアドレス生成部１３は、５×５画素メモリ１２の読み出しアドレスを指定して、上記の式（６ａ）〜（６ｄ）で表わされる候補Ｐaの各画素及び式（７）で表わされる重み付け平均計算対象画素群Ｗの各画素を読み出して相関計算部１４に供給する。重み付け平均計算対象画素群Ｗの各画素値は、同時に重み付け平均計算部１６にも送られる。
【００２９】
相関計算部１４は、入力された候補Ｐaと重み付け平均計算対象画素群Ｗとの相関を取る画素を選定する。具体的には、相関計算部１４は、候補Ｐaの各画素値と重み付け平均計算対象画素群Ｗの各画素値とは相似の関係にあるという仮定から、候補Ｐaの四隅の画素を対象として選び、それぞれ次式で表わされるＰwaとする。
【００３０】
Ｐw0＝{Xi-1,j-1, Xi-1,j+1, Xi+1,j-1, Xi+1,j+1} (8a)
Ｐw1＝{Xi,j-1, Xi,j+1, Xi+2,j-1, Xi+2,j+1} (8b)
Ｐw2＝{Xi-1,j, Xi-1,j+2, Xi+1,j, Xi+1,j+2} (8c)
Ｐw3＝{Xi,j, Xi,j+2, Xi+2,j, Xi+2,j+2} (8d)
次に、相関計算部１４は、各々４画素であるＰwaとＷとの相互相関を計算する。続いて、相関計算部１４は、Ｐw0とＷとの相互相関を計算して得た第1の相関結果と、Ｐw1とＷとの相互相関を計算して得た第２の相関結果と、Ｐw2とＷとの相互相関を計算して得た第３の相関結果と、Ｐw3とＷとの相互相関を計算して得た第４の相関結果とをそれぞれ比較し、相関結果が最大値である候補Ｐwz（ｚは０〜３のいずれか一の値）の候補番号ｚを５×５画素メモリ１２に通知する。
【００３１】
５×５画素メモリ１２は、入力された候補番号ｚに対応する候補Ｐzを選択し、これを低解像度画像における３×３画素の局所共分散領域の局所共分散ｙとしてα計算部１５に供給すると共に、図３に示した行列Ｃに相当する画素群をα計算部１５に供給する。α計算部１５は、上記の局所共分散ｙ及び行列Ｃを入力信号として受け、式（５）に基づいて、重み付け係数αを算出する。
【００３２】
重み付け平均計算部１６は、α計算部１５により計算された重み付け係数αと、５×５画素メモリ１２からの重み付け平均計算対象画素群Ｗの各画素値とを入力信号として受け、重み付け平均計算対象画素群Ｗの各画素値を重み付け係数αで重み付けして平均をとり、その平均値を補間値として出力する。これにより、重み付け平均計算部１６は、図１に示すように、低解像度画像の重み付け平均計算対象画素群Ｗの黒丸で示す画素のうち隣接する２×２画素毎に、その２×２画素を周辺の４画素とする二重丸で示す補間値（周辺４画素の重み付け平均値）を周辺４画素の中心位置に合成した拡大画像Ｂを生成する。
【００３３】
ただし、この拡大画像Ｂは、本来の拡大結果に必要な補間画素の一部しか生成されていないので、本来の拡大結果に必要な補間画素を生成するために、重み付け平均計算部１６は、第１回目の重み付け平均計算により生成した拡大画像Ｂを一旦、４５度回転処理部１７に供給する。
【００３４】
４５度回転処理部１７は、入力された拡大画像Ｂの画素配置を４５度回転してフレームメモリ１１に供給する。以降、５×５画素メモリ１２と、読み出しアドレス生成部１３と、相関計算部１４と、α計算部１５と、重み付け平均計算部１６とが上記と同様の動作を行う。
【００３５】
これにより、重み付け平均計算部１６は、図１に示すように、４５度回転後の拡大画像Ｂの重み付け平均計算対象画素群Ｗの黒丸と二重丸とで示す画素のうち隣接する２×２画素毎に、その２×２画素を周辺の４画素とする丸で示す補間値（周辺４画素の重み付け平均値）を周辺４画素の中心位置に合成した拡大画像Ｂ’を生成する。すなわち、４５度回転後の拡大画像Ｂの重み付け平均計算対象画素群Ｗの黒丸と二重丸とで示す画素のうち、隣接する２×２画素は２本の対角線のうち一方には黒丸で示す画素が並び、他方には二重丸で示す画素が並び、それら対角線の交点の中心位置に、前述した重み付け計算により丸で示す補間値（周辺４画素の重み付け平均値）が補間されることになる。
【００３６】
拡大画像Ｂ’は全ての補間位置が処理された画像であるので、重み付け平均計算部１６は、この第２回目の重み付け平均計算により生成した拡大画像Ｂ’を拡大結果として出力する。相関計算部１４とα計算部１５では共分散計算が存在するので、この計算処理を共有化することでハード規模を縮小することが可能である。
【００３７】
このように、本実施の形態の画像解像度変換装置１０によれば、Ｍ×Ｍ画素の局所共分散計算対象画素群のＭが奇数（上記の例では「３」）の場合、対称性が偏る複数の局所共分散計算対象画素群を複数の候補Ｐaとし、各候補Ｐaのそれぞれについて重み付け平均計算対象画素群Ｗとの相互相関を求め、その相互相関値が最大値を示す候補Ｐzを、計算する局所共分散計算対象画素群として選択するようにしたため、既存の共分散利用の拡大アルゴリズムに比べ、Ｍが奇数の場合でも局所共分散計算対象領域の偏りが殆ど無い良好な画質の拡大画像を得ることができる。
【００３８】
なお、本発明は以上の実施の形態に限定されるものではなく、Ｍが偶数の場合にも重み付け平均計算対象画素群と対称性が偏る複数の局所共分散計算対象画素領域を候補に設定することで本発明を適用することができる。
【符号の説明】
【００３９】
１０ 画像解像度変換装置
１１ フレームメモリ
１２ ５×５画素メモリ
１３ 読み出しアドレス生成部
１４ 相関計算部
１５ α計算部
１６ 重み付け平均計算部
１７ ４５度回転処理部
Ａ 原画像
Ｂ、Ｂ’ 拡大画像
【技術分野】
【０００１】
本発明は画像解像度変換装置に係り、特に入力画像をその画像よりも画素数の多い、高解像度の画像に変換する画像解像度変換装置に関する。
【背景技術】
【０００２】
自然画では近傍の画素間には強い相関性を持つことが知られている。画像を拡大する解像度変換の場合、その相関性を利用し、近傍の画素を重み付け平均処理することで拡大の補間画素を生成する。一般的なバイリニア補間の場合、補間対象画素位置に対する距離に応じた重み付けを用いる。この場合、物体のエッジが保存されず、ボケたりジャギーなどの劣化が生じる。
【０００３】
これに対し、補間対象画素周辺の輝度変化パターンを推定し、推定したパターンに応じた重み付けを行うことで、物体エッジの再現性の向上させた手法が検討されている。非特許文献１に開示されている手法は、輝度変化パターンの特徴量として共分散を用いた手法である。すなわち、この非特許文献１に記載の手法は、低解像度における共分散と、高解像度における共分散は局所的には同じであるという前提に基づいて、まず低解像度における局所共分散を求め、求めた局所共分散から求めようとする高解像度画像の局所共分散を推定し、その推定局所共分散に応じた重み付け平均処理を行うことで、低解像度画像のエッジを保存した拡大画像の変換が可能となる。なお、低解像度画像の局所共分散の推定値を古典的なウィナー(Wiener)フィルタ補間を実行するのに用いることが特許文献１に開示されている。
【０００４】
非特許文献１に開示されたアルゴリズムでは、図２に示すように補間対象画素Ｘはその周辺の４画素Ｘ0〜Ｘ3の重み付け平均として求められる。また、高さＨ、幅Ｗの大きさの低解像度画像Ｘi,j{0≦i＜H, 0≦j＜W}を、高さ２Ｈ、幅２Ｗの大きさの高解像度画像Ym,n{0≦m＜2H, 0≦n＜2W}に拡大するとき、高解像度画像において、(2i,2j)の位置にある画素Ｙ2i,2jの値を
Ｙ2i,2j＝Ｘi,j （１）
と仮定し、画素Ｙ2i+1,2j+1の値を補間により求めるとすれば、以下のような重み付き平均で求められる。
【０００５】
【数１】
ただし、式（２）中、αは重み付け係数である。
【０００６】
上記の重み付け係数αは、古典的なウィナー(Wiener)フィルタ補間の理論によれば、以下のように表わせる。
【０００７】
α＝Ｒ-1 ・r where Ｒ＝[Ｒkl] ，r＝[rk] （３）
ただし、式（３）中、ｋ及びｌは０以上３以下の自然数である。
【０００８】
ここで、式（３）のＲ,ｒは高解像度画像における共分散であり、対応関係を図３の実線矢印で示す。このＲ,ｒに対応する低解像度画像の共分散Ｒ’，ｒ’は位置関係の相似形を考えると、図３に破線矢印で示される。このような相似関係に関して、補間対象画素周辺を全て考慮に入れると最終的なＲ’，ｒ’は次式で表わされる。
【０００９】
Ｒ’＝(ＣT・Ｃ)/Ｍ2 , ｒ’＝(ＣT・ｙ)/Ｍ2 （４）
ここで、式（４）中、ｙは補間対象画素周辺のＭｘＭ画素（Ｍは２以上の自然数）からなるベクトルであり、局所共分散計算対象画素領域を示し、[y1,y2,・・・yk,・・・,yM2]Tで表わされる（Ｔは転置行列）。また、Ｃは４xＭ2の行列であり、その第ｋ列はykの対角線上の最近４画素である（図４参照）。なお、図４において、Ｍ＝２の場合の補間対象画素ＸはＹ2i+1,2j+1であり、また、補間周辺画素の集合ｙは{Ｘ5 Ｘ9 Ｘ10 Ｘ6}である。また、図４において、行列Ｃは次式で表わされる。
【００１０】
【数２】
低解像度画像における重み付け係数αは、式（３）に式（４）を代入することで次式により求めることができる。
【００１１】
α＝(ＣT・Ｃ)-1・(ＣT・ｙ) （５）
そして、低解像度画像から高解像度画像に解像度変換する場合は、この重み付け係数αを式（２）に用いて高解像度画像の補間対象画素値Ｙ2i+1,2j+1を求める。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特許第４０３５４７４号公報
【非特許文献】
【００１３】
【非特許文献１】Xin Li,and Michael T. Orchard,“New Edge-Directed Interpolation”,IEEE Transaction on Image Processing,Vol.10,No.10,October 2001
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、上記の解像度変換方法では、上記のＭで定義される局所共分散計算対象画素領域ｙの大きさが問題となる。Ｍが大きいと局所共分散計算対象画素領域に重み付け平均計算対象画素群と相関関係の無い画素が混入する確率が大きくなり、補間誤差が増大する。一方、Ｍが小さいと相関関係の強い領域での計算が期待できるが、ノイズやイレギュラーな輝度変化の影響が強くなるため、滑らかな補間が難しい。従って、Ｍの設定は慎重に行う必要があるが、Ｍが奇数の場合、局所共分散計算対象画素領域ｙと重み付け平均計算対象画素群との対称性が保てないという問題がある。ある一つの周辺領域設定に固定してしまうと、特定の方向の影響に偏る結果となり拡大画像の劣化の要因となる。
【００１５】
例えば、図５（Ａ）に示すように、低解像度画像の補間対象画素Ｘを低解像度画像の周辺４画素Ｘ5、Ｘ6、Ｘ9、Ｘ10からなる重み付け平均計算対象画素群Ｗを用いて補間生成する場合、Ｍを奇数である「３」に設定すると、重み付け平均計算対象画素群Ｗを含む３×３画素の局所共分散計算対象画素領域ｙの候補が図５（Ｂ）に示すようにＰ0〜Ｐ3の４つ存在することとなり、これらの候補Ｐ0〜Ｐ3と重み付け平均計算対象画素群Ｗとの対称性が保てず、いずれか一つの候補を周辺領域設定に固定しても、特定の方向の影響に偏り、拡大画像が劣化する可能性が極めて高い。
【００１６】
このため、Ｍは偶数から選ばざるを得ないことになり、画像によっては最良の値が選べない可能性があるという問題がある。
【００１７】
本発明は以上の点に鑑みなされたもので、Ｍ×Ｍ画素の局所共分散計算対象画素群の画素数Ｍが奇数の場合でも局所共分散計算対象領域の偏りが殆ど無い良好な画質の拡大画像を得ることができる画像解像度変換装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記目的を達成するため、本発明の画像解像度変換装置は、解像度変換前の低解像度画像における２×２画素を周辺画素とし、その周辺画素の各画素値の重み付け平均値を周辺画素の中心位置の補間対象画素の画素値とするとき、その周辺画素からなる重み付け平均計算対象画素群を一部に含む、Ｍ×Ｍ画素（Ｍは３以上の任意の自然数）の局所共分散計算対象画素群の候補を複数設定する候補設定手段と、局所共分散計算対象画素群の複数の候補のそれぞれについて、重み付け平均計算対象画素群の各画素との相互相関を計算する相関計算手段と、局所共分散計算対象画素群の複数の候補のうち、相関計算手段により計算された相関値が最大値を示す局所共分散計算対象画素群の候補を、計算する局所共分散計算対象画素群として選択する選択手段と、選択手段により選択された計算する局所共分散対象画素群を用いて所定の演算式により重み付け係数を計算する重み付け係数計算手段と、重み付け係数計算手段により計算された重み付け係数を用いて重み付け平均対象画素群における周辺画素の各画素値の重み付け平均値を求めて周辺画素の中心位置の補間対象画素の画素値として拡大画像を生成する重み付け平均計算手段と、重み付け平均計算手段により生成された拡大画像の画素配置を４５度回転し、その画素配置が４５度回転された拡大画像に対し、候補設定手段、相関計算手段、選択手段、重み付け係数計算手段、及び重み付け平均計算手段による処理動作を再度行わせて重み付け平均計算手段から高解像度に解像度変換された画像を出力させる回転処理手段と、を有することを特徴とする。
【００１９】
ここで、上記の候補設定手段は、Ｍが奇数である局所共分散計算対象画素群の候補を複数設定するようにしてもよい。
【発明の効果】
【００２０】
本発明によれば、Ｍ×Ｍ画素の局所共分散計算対象画素群の画素数Ｍが奇数の場合でも局所共分散計算対象領域の偏りが殆ど無い良好な画質の拡大画像を得ることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の画像解像度変換装置の一実施の形態のブロック図である。
【図２】周辺４画素の概念図である。
【図３】低解像度画像、高解像度画像それぞれにおける共分散計算の対応画素の図である。
【図４】Ｍ＝２における計算対象画素を示す図である。
【図５】Ｍ＝３におけるyの候補の画素の組み合わせを示す図である。
【発明を実施するための形態】
【００２２】
次に、本発明の実施の形態について図面を参照して説明する。
【００２３】
図１は、本発明になる画像解像度変換装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の画像解像度変換装置１０は、画像解像度変換前の低解像度画像である原画像Ａを１フレーム分一時保存するフレームメモリ１１と、フレームメモリ１１に保存された１フレーム分の原画像Ａを横方向５画素、縦方向５画素（すなわち、５×５画素）単位で記憶する５×５画素メモリ１２と、５×５画素メモリ１２の記憶画素群を所定のアドレス順序で読み出す読み出しアドレス生成部１３と、５×５画素メモリ１２から読み出された画素群に基づいて後述する相関計算を行い、相関が最大となる候補の番号を５×５画素メモリ１２へ出力する相関計算部１４と、５×５画素メモリ１２から読み出された画素群に基づいて重み付け係数αを計算するα計算部１５と、重み付け平均計算部１６と、重み付け平均計算部１６から出力される第１回目の計算結果である拡大画像Ｂを４５度回転して、フレームメモリ１１に供給する４５度回転処理部１７とより構成される。
【００２４】
本実施の形態の画像解像度変換装置１０は、補間対象画素値を周辺画素の重み付け平均により求める際に、低解像度画像におけるＭ×Ｍ画素の局所共分散領域の局所共分散から、求めようとする高解像度画像の局所共分散を推定し、その推定局所共分散で重み付け平均処理を行って高解像度画像（拡大画像）を得るという解像度変換アルゴリズムは従来と同じであるが、上記の画素数Ｍを偶数に設定する場合だけでなく、奇数を設定した場合でも高画質の拡大画像を得ることができるようにしたものである。画素数Ｍが偶数の場合、上記のＭで定義される局所共分散計算対象画素領域（ベクトル）ｙは重み付け平均計算対象画素群を対称に包括する条件で一意に決まる。従って、以下では画素数Ｍが奇数の場合について説明するが、ここでは説明の簡略化のため一例としてＭ＝３の場合について説明する。
【００２５】
フレームメモリ１１は、低解像度画像の原画像Ａを１フレーム分一時保存する。ここで、ある画素を補間する場合、低解像度画像における重み付け平均計算対象画素群Ｗは図２及び図５（Ａ）に示したように補間対象画素Ｘの周辺の２×２画素（Ｘ0,Ｘ1,Ｘ2,Ｘ3）である。また、Ｍ＝３の場合、２×２画素の重み付け平均計算対象画素群Ｗを含む３×３画素の局所共分散計算対象画素領域ｙの候補は、図５（Ａ）、（Ｂ）に示したように全部でＰ0〜Ｐ3の４つ存在する。これら４つの候補Ｐa（ただし、０≦ａ≦３）をすべて含む領域を確保すると、図５（Ａ）に示したように補間対象画素Ｘの周辺の４×４画素必要となり、更にある候補が選択された場合、そのｙに対応するＣ行列を生成するために更に一画素必要となるため、本実施の形態で必要になる周辺画素数は５×５画素となる。
【００２６】
そこで、フレームメモリ１１から補間対象画素位置を中心にした５×５画素単位で読み出され、５×５画素メモリ１２に格納される。ここで、補間対象画素の画素値をＹ2i+1,2j+1とすると、候補Ｐa（ただし、０≦ａ≦３）は、低解像度画像Ｘにおける補間対象画素位置を含む以下の９画素の集合である。
【００２７】
P0＝{Xi-1,j-1, Xi-1,j, Xi-1,j+1, Xi,j-1, Xi,j, Xi,j+1, Xi+1,j-1,
Xi+1,j, Xi+1,j+1} (6a)
P1＝{Xi,j-1, Xi,j, Xi,j+1, Xi+1,j-1, Xi+1,j, Xi+1,j+1, Xi+2,j-1,
Xi+2,j, Xi+2,j+1} (6b)
P2＝{Xi-1,j, Xi-1,j+1, Xi-1,j+2, Xi,j, Xi,j+1, Xi,j+2, Xi+1,j,
Xi+1,j+1, Xi+1,j+2} (6c)
P3＝{Xi,j, Xi,j+1, Xi,j+2, Xi+1,j, Xi+1,j+1, Xi+1,j+2, Xi+2,j,
Xi+2,j+1, Xi+2,j+2} (6d)
一方、重み付け平均計算対象画素群Ｗは低解像度画像Ｘにおける補間対象画素位置を中心とする以下の４画素の集合である。
【００２８】
Ｗ＝{Xi,j, Xi,j+1, Xi+1,j, Xi+1,j-1} (7)
読み出しアドレス生成部１３は、５×５画素メモリ１２の読み出しアドレスを指定して、上記の式（６ａ）〜（６ｄ）で表わされる候補Ｐaの各画素及び式（７）で表わされる重み付け平均計算対象画素群Ｗの各画素を読み出して相関計算部１４に供給する。重み付け平均計算対象画素群Ｗの各画素値は、同時に重み付け平均計算部１６にも送られる。
【００２９】
相関計算部１４は、入力された候補Ｐaと重み付け平均計算対象画素群Ｗとの相関を取る画素を選定する。具体的には、相関計算部１４は、候補Ｐaの各画素値と重み付け平均計算対象画素群Ｗの各画素値とは相似の関係にあるという仮定から、候補Ｐaの四隅の画素を対象として選び、それぞれ次式で表わされるＰwaとする。
【００３０】
Ｐw0＝{Xi-1,j-1, Xi-1,j+1, Xi+1,j-1, Xi+1,j+1} (8a)
Ｐw1＝{Xi,j-1, Xi,j+1, Xi+2,j-1, Xi+2,j+1} (8b)
Ｐw2＝{Xi-1,j, Xi-1,j+2, Xi+1,j, Xi+1,j+2} (8c)
Ｐw3＝{Xi,j, Xi,j+2, Xi+2,j, Xi+2,j+2} (8d)
次に、相関計算部１４は、各々４画素であるＰwaとＷとの相互相関を計算する。続いて、相関計算部１４は、Ｐw0とＷとの相互相関を計算して得た第1の相関結果と、Ｐw1とＷとの相互相関を計算して得た第２の相関結果と、Ｐw2とＷとの相互相関を計算して得た第３の相関結果と、Ｐw3とＷとの相互相関を計算して得た第４の相関結果とをそれぞれ比較し、相関結果が最大値である候補Ｐwz（ｚは０〜３のいずれか一の値）の候補番号ｚを５×５画素メモリ１２に通知する。
【００３１】
５×５画素メモリ１２は、入力された候補番号ｚに対応する候補Ｐzを選択し、これを低解像度画像における３×３画素の局所共分散領域の局所共分散ｙとしてα計算部１５に供給すると共に、図３に示した行列Ｃに相当する画素群をα計算部１５に供給する。α計算部１５は、上記の局所共分散ｙ及び行列Ｃを入力信号として受け、式（５）に基づいて、重み付け係数αを算出する。
【００３２】
重み付け平均計算部１６は、α計算部１５により計算された重み付け係数αと、５×５画素メモリ１２からの重み付け平均計算対象画素群Ｗの各画素値とを入力信号として受け、重み付け平均計算対象画素群Ｗの各画素値を重み付け係数αで重み付けして平均をとり、その平均値を補間値として出力する。これにより、重み付け平均計算部１６は、図１に示すように、低解像度画像の重み付け平均計算対象画素群Ｗの黒丸で示す画素のうち隣接する２×２画素毎に、その２×２画素を周辺の４画素とする二重丸で示す補間値（周辺４画素の重み付け平均値）を周辺４画素の中心位置に合成した拡大画像Ｂを生成する。
【００３３】
ただし、この拡大画像Ｂは、本来の拡大結果に必要な補間画素の一部しか生成されていないので、本来の拡大結果に必要な補間画素を生成するために、重み付け平均計算部１６は、第１回目の重み付け平均計算により生成した拡大画像Ｂを一旦、４５度回転処理部１７に供給する。
【００３４】
４５度回転処理部１７は、入力された拡大画像Ｂの画素配置を４５度回転してフレームメモリ１１に供給する。以降、５×５画素メモリ１２と、読み出しアドレス生成部１３と、相関計算部１４と、α計算部１５と、重み付け平均計算部１６とが上記と同様の動作を行う。
【００３５】
これにより、重み付け平均計算部１６は、図１に示すように、４５度回転後の拡大画像Ｂの重み付け平均計算対象画素群Ｗの黒丸と二重丸とで示す画素のうち隣接する２×２画素毎に、その２×２画素を周辺の４画素とする丸で示す補間値（周辺４画素の重み付け平均値）を周辺４画素の中心位置に合成した拡大画像Ｂ’を生成する。すなわち、４５度回転後の拡大画像Ｂの重み付け平均計算対象画素群Ｗの黒丸と二重丸とで示す画素のうち、隣接する２×２画素は２本の対角線のうち一方には黒丸で示す画素が並び、他方には二重丸で示す画素が並び、それら対角線の交点の中心位置に、前述した重み付け計算により丸で示す補間値（周辺４画素の重み付け平均値）が補間されることになる。
【００３６】
拡大画像Ｂ’は全ての補間位置が処理された画像であるので、重み付け平均計算部１６は、この第２回目の重み付け平均計算により生成した拡大画像Ｂ’を拡大結果として出力する。相関計算部１４とα計算部１５では共分散計算が存在するので、この計算処理を共有化することでハード規模を縮小することが可能である。
【００３７】
このように、本実施の形態の画像解像度変換装置１０によれば、Ｍ×Ｍ画素の局所共分散計算対象画素群のＭが奇数（上記の例では「３」）の場合、対称性が偏る複数の局所共分散計算対象画素群を複数の候補Ｐaとし、各候補Ｐaのそれぞれについて重み付け平均計算対象画素群Ｗとの相互相関を求め、その相互相関値が最大値を示す候補Ｐzを、計算する局所共分散計算対象画素群として選択するようにしたため、既存の共分散利用の拡大アルゴリズムに比べ、Ｍが奇数の場合でも局所共分散計算対象領域の偏りが殆ど無い良好な画質の拡大画像を得ることができる。
【００３８】
なお、本発明は以上の実施の形態に限定されるものではなく、Ｍが偶数の場合にも重み付け平均計算対象画素群と対称性が偏る複数の局所共分散計算対象画素領域を候補に設定することで本発明を適用することができる。
【符号の説明】
【００３９】
１０ 画像解像度変換装置
１１ フレームメモリ
１２ ５×５画素メモリ
１３ 読み出しアドレス生成部
１４ 相関計算部
１５ α計算部
１６ 重み付け平均計算部
１７ ４５度回転処理部
Ａ 原画像
Ｂ、Ｂ’ 拡大画像
【特許請求の範囲】
【請求項１】
解像度変換前の低解像度画像における２×２画素を周辺画素とし、その周辺画素の各画素値の重み付け平均値を前記周辺画素の中心位置の補間対象画素の画素値とするとき、その周辺画素からなる重み付け平均計算対象画素群を一部に含む、Ｍ×Ｍ画素（Ｍは３以上の任意の自然数）の局所共分散計算対象画素群の候補を複数設定する候補設定手段と、
前記局所共分散計算対象画素群の複数の候補のそれぞれについて、前記重み付け平均計算対象画素群の各画素との相互相関を計算する相関計算手段と、
前記局所共分散計算対象画素群の複数の候補のうち、前記相関計算手段により計算された相関値が最大値を示す局所共分散計算対象画素群の候補を、計算する局所共分散計算対象画素群として選択する選択手段と、
前記選択手段により選択された計算する前記局所共分散対象画素群を用いて所定の演算式により重み付け係数を計算する重み付け係数計算手段と、
前記重み付け係数計算手段により計算された前記重み付け係数を用いて前記重み付け平均対象画素群における周辺画素の各画素値の重み付け平均値を求めて前記周辺画素の中心位置の補間対象画素の画素値として拡大画像を生成する重み付け平均計算手段と、
前記重み付け平均計算手段により生成された前記拡大画像の画素配置を４５度回転し、その画素配置が４５度回転された拡大画像に対し、前記候補設定手段、前記相関計算手段、前記選択手段、前記重み付け係数計算手段、及び前記重み付け平均計算手段による処理動作を再度行わせて前記重み付け平均計算手段から高解像度に解像度変換された画像を出力させる回転処理手段と、
を有することを特徴とする画像解像度変換装置。
【請求項２】
前記候補設定手段は、前記Ｍが奇数である局所共分散計算対象画素群の候補を複数設定することを特徴とする請求項１記載の画像解像度変換装置。
【請求項１】
解像度変換前の低解像度画像における２×２画素を周辺画素とし、その周辺画素の各画素値の重み付け平均値を前記周辺画素の中心位置の補間対象画素の画素値とするとき、その周辺画素からなる重み付け平均計算対象画素群を一部に含む、Ｍ×Ｍ画素（Ｍは３以上の任意の自然数）の局所共分散計算対象画素群の候補を複数設定する候補設定手段と、
前記局所共分散計算対象画素群の複数の候補のそれぞれについて、前記重み付け平均計算対象画素群の各画素との相互相関を計算する相関計算手段と、
前記局所共分散計算対象画素群の複数の候補のうち、前記相関計算手段により計算された相関値が最大値を示す局所共分散計算対象画素群の候補を、計算する局所共分散計算対象画素群として選択する選択手段と、
前記選択手段により選択された計算する前記局所共分散対象画素群を用いて所定の演算式により重み付け係数を計算する重み付け係数計算手段と、
前記重み付け係数計算手段により計算された前記重み付け係数を用いて前記重み付け平均対象画素群における周辺画素の各画素値の重み付け平均値を求めて前記周辺画素の中心位置の補間対象画素の画素値として拡大画像を生成する重み付け平均計算手段と、
前記重み付け平均計算手段により生成された前記拡大画像の画素配置を４５度回転し、その画素配置が４５度回転された拡大画像に対し、前記候補設定手段、前記相関計算手段、前記選択手段、前記重み付け係数計算手段、及び前記重み付け平均計算手段による処理動作を再度行わせて前記重み付け平均計算手段から高解像度に解像度変換された画像を出力させる回転処理手段と、
を有することを特徴とする画像解像度変換装置。
【請求項２】
前記候補設定手段は、前記Ｍが奇数である局所共分散計算対象画素群の候補を複数設定することを特徴とする請求項１記載の画像解像度変換装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１２９８２９（Ｐ２０１２−１２９８２９Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８００１７（Ｐ２０１０−２８００１７）
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１６日（２０１０．１２．１６）
【出願人】（３０８０３６４０２）株式会社ＪＶＣケンウッド (1,152)
【Ｆターム（参考）】
[ Back to top ]