画像高画質化装置、及びその方法、並びに画像表示装置
【課題】様々な画像の動きに対応して、低解像度の画像から高画質な高解像度の画像を得るのに好適な技術を提供する。
【解決手段】画像表示装置10は、低解像度の画像を入力する入力部11、12と、入力部で入力された低解像度度画像を用いて、高解像度の画像を生成する解像度変換部15とを備えている。この解像度変換部は、入力された低解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部151と、この取得された動きベクトル情報に基づいて高解像度の画像を生成するために用いられる係数を演算し、該係数を用いて高解像度画像を生成する演算部154とを含んで構成される。
【解決手段】画像表示装置10は、低解像度の画像を入力する入力部11、12と、入力部で入力された低解像度度画像を用いて、高解像度の画像を生成する解像度変換部15とを備えている。この解像度変換部は、入力された低解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部151と、この取得された動きベクトル情報に基づいて高解像度の画像を生成するために用いられる係数を演算し、該係数を用いて高解像度画像を生成する演算部154とを含んで構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を高解像度化するための技術に関し、特に複数枚（フレーム）の低解像度の画像から高解像度の画像を得るための技術に関する。
【背景技術】
【０００２】
近年のテレビジョン受像機は大画面化が進んでおり、放送、通信、及び／または蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増加させて表示する場合がある。このとき、一般的に知られているSinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは、解像度を上げることはできない。
【０００３】
画像の画素数を増加させるとともに解像度を高くするための技術が、例えば下記非特許文献１及び非特許文献２に記載のものが知られている。下記非特許文献１及び２には、複数の第１解像度画像（低解像度画像、以下、LR(Low Resolution)と略記））を用いて第２解像度画像（高解像度画像、以下、HR(High Resolution)と略記）を生成する際に、入力された複数LRの各画像データを用いて各画像データのサンプリング位相(標本化位置)の差を推定し、このサンプリング位相差に応じてLRをサンプリングすることで、折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元することを開示する。
【０００４】
【非特許文献１】青木伸：“複数のデジタル画像データによる超解像処理”, Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998.
【非特許文献２】David Capel: “Image Mosaicing and Super resolution”, PP.218, Springer, 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記非特許文献１及び２においては、被写体の動きが例えば回転や拡大・縮小などの動きを伴う場合であっても、局所的な平行移動に近似することによって、上記サンプリング位相差を推定するようにしている。それは、隣接するフレーム間では時間間隔が微小であるため、被写体の回転や拡大・縮小などの動きが微小となり、平行移動に近似可能であるためである。
【０００６】
しかしながら、放送映像などの動きが複雑なコンテンツの場合、画像の動きを平行移動に近似した場合、HRの画質は大きく向上することは困難となる。これについて以下に説明する。
【０００７】
図２は、LR画像上の注目画素と周辺画素の関係が、復元されたHR上でどのように変化するかを説明するものである。
【０００８】
LR103には、復元先となるHR200を一次変換Ａ（例えばアフィン変換）して低解像化した台形の画像領域201が含まれるものとする。一般にカメラなどで映像を撮像する場合、観測できる画素値はカメラ撮像系で起きる光学現象によりボケが生ずる。この時のボケの形は２次元のガウス分布に近似できることが知られており、この形状は点広がり関数(PSF: Point Spread Function)400と呼ばれる。
【０００９】
HRの画素値が低解像化される際には、符号500に示すような円形の範囲にわたって符号400のような重みで周辺の画素値の影響を受けてボケが生ずる。領域201上の画素値300も低解像化される際に、元々のHR201上での周辺画素から円領域501の形状に従って影響を受ける（画素値が畳み込まれる）。
【００１０】
しかしながら、LR103上の高解像画像領域201は一次変換Ａによって変形された領域であるため、復元結果となる高解像画像200上では、円領域501は逆変換Ａ-1された領域502のような楕円形状となる。このように、高解像を復元する際に考慮すべき領域範囲は、入力となるLRの各画素がどのように変換を受けているかによって大きく変わる。よって、画像の動きを単に平行移動に近似すると、誤った領域を畳み込むことになるため、高画質な（すなわち高周波成分が良好に復元された）HRを得ることが困難となる。なお、ここでは点広がり関数での平行移動近似による影響について説明したが、画素を補間する場合にSinc関数を用いて周辺領域の画素値を畳み込む場合も、同様の問題が生じる。
【００１１】
従って、LRからより高画質なHRを得ようとする場合には、LRとHRとの間における画素単位の幾何学的関係（一次変換係数）を簡便かつ正確に推定する必要がある。すなわち、画素単位の画像の動きを、単純な平行移動のみならず、平行移動以外の動き（つまり、回転、縮小、拡大などの動き）の情報も考慮して一次変換係数を求めることが好ましい。
【００１２】
本発明は、上記課題に鑑みて為されたものであり、その目的は、様々な画像の動きに対応して、低解像度の画像から高画質な高解像度の画像を得るのに好適な技術を提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明は、入力された第１解像度画像（低解像度画像）から画素単位で動きベクトル情報を取得し、この動きベクトル情報に基づいて、第２解像度画像（高解像度画像）を生成するために用いられる係数（例えば一次変換の係数）を演算し、この係数を用いて第２解像度画像を生成することを特徴とするものである。
【００１４】
そして本発明の構成によれば、動きベクトルを用いて例えば一次変換の係数を求めているので、正確な変換写像の推定と領域分離を行うことができ、画素値生成時の畳み込み演算の際に本来関係ない画素が混入することを防ぐことが可能となる。よって、本発明の構成によれば、より高画質な画像生成が可能になる。
【発明の効果】
【００１５】
本発明によれば、より高画質な高解像度の画像を得ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について、図面を参照しつつ説明する。図１は、高解像画像復元方式の処理手順の概要を示したものである。まず、入力された複数のLR100〜102について、小数画素精度で位置合わせを行う。ここで、小数画素精度とは、例えば時間的に連続する２つのフレーム間である画素が移動する場合、その画素の動きの大きさを小数点以下で求めることを言うものとする。例えば、前フレームの注目画素の座標が（100，200）である場合、後フレームにおいて当該注目画素が（110.5，205.3）に動いたと検出する。
【００１７】
LR100を基準位置としてLR101,102を位置あわせした結果を図１の中央に示す。このように、位置合わせは、回転や拡大・縮小などの動きも考慮する。こうして標本化位置が整数画素位置からずれた１枚の合成画像を生成した後、目的とする解像度で再度サンプリングしなおして高解像画像200を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数(サンプリング点)を補間して増やす方法、あるいは、前述した点広がり関数の逆関数を適用するなどの方法で周辺画素の影響を畳み込みながら、画素値を決定する。
【００１８】
次に、本実施形態に係る高解像画像処理の一例について説明する。まず、図６を用いて本実施形態に係る高画質化装置の構成の一例について説明する。本実施形態に係る高画質化装置は、図６に示されるように、例えばテレビジョン受像機などの画像表示装置に適用される。当然、ＤＶＤプレーヤ、ＨＤＤプレーヤ、動画ストリームを受信可能なパーソナルコンピュータ、ビデオカメラ、デジタルカメラ等にも適用可能である。
【００１９】
図６において、画像表示装置10は、チューナ部11を備えており、このチューナにより選局されたチャンネルの例えばデジタルテレビジョン放送を受信し入力する。また画像表示装置10は、インターネット30と接続可能なネットワークＩ／Ｆ12を有しており、要求された動画ストリーム等がインターネット30を介して受信され入力される。ここで、チューナ部11及びネットワークＩ／Ｆ12に入力される画像は、例えばVGA（640×480）相当のLRであり、かつ例えばMPEG等により圧縮符号化されているものとする。
【００２０】
チューナ部11、ネットワークＩ／Ｆ12に入力された画像、およびＨＤＤ上の画像は、デコーダ13に供給される。デコーダ13は、入力された符号化画像を復号し、複数のフレーム列から構成されるLRのデータを解像度変換部15に出力する。解像度変換部15は、演算部155を有しており、上述した位置推定処理、広帯域補間処理、畳み込み演算等の加重和処理を行う。複合化されたLRは、メモリ部152に接続される動きベクトル取得部151にも供給され、ここでメモリ部152を用いながら画素単位で小数精度の動きベクトル情報を取得する。例えば、メモリ部152に複数フレームのLRを記憶し、これら複数フレーム相互間の画素毎の差分からLRの画素毎に小数精度の動きベクトル情報を求める。
【００２１】
この動きベクトル取得部151にて取得された動きベクトル情報は、演算部154に入力される。演算部154は、動きベクトル情報を用いて、入力されたLRの各画素がHR上のどこに位置するのかを演算する。そして、LRの画素とHRの画素との関係から一次変換（アフィン変換）の係数を演算する。更に、この一次変換の係数を用いてHRの画素毎に重み係数を演算し、この画素毎に得られた重み係数を畳み込み演算してHRを生成する。
【００２２】
また、この動きベクトル取得部151にて取得された動きベクトル情報は、有効範囲算出部153にも入力され、ここで、演算部154における上記畳み込み演算に使用するHR上の画素の範囲を算出する。この画素の範囲をここでは有効範囲と呼ぶこととする。演算部154では、有効範囲算出部153で算出された有効範囲内のHRの画素について、上記の畳み込み演算を行う。これら演算処理の詳細については後述する。
【００２３】
演算部154で生成されたHRは、画質調整部17及び録画部であるＨＤＤ16に供給される。ＨＤＤ16は、演算部154からのＨＲを圧縮符号化して記録し、例えばユーザからの支持に応答して、記録されたHRのデータを複合化して再生する。このＨＤＤ17から再生されたHRも画質調整部17へ供給される。画質調整部17では、供給された画像データに対し例えば色補正、コントラスト補正、輪郭補正等の画質調整処理を施し、例えばＰＤＰまたはＬＣＤで構成される表示部18に供給する。これにより表示部18では、LRからHRに解像度が変換された高解像度の画像が表示される。
【００２４】
尚、デコーダ13からの復号信号を解像度変換部15で高精細化せずに、LRのまま直接ＨＤＤ16に記録させるようにしてもよい。そして、ＨＤＤ16からLRを再生し、複合化して解像度変換部15に供給し、上記のように高精細化して画質調整部17、表示部18に供給するようにしてもよい。このようにすれば、ＨＤＤ16へ記録される画像はLRであってもHRで表示することが可能となるので、記録されるデータ量の増加を抑えつつ高精細な画像を表示することが可能となる。
【００２５】
また制御回路（ＣＰＵ）14は、チューナ部11、ネットワークＩ／Ｆ12、デコーダ13、解像度変換部15、ＨＤＤ16、画質調整部17の各部を、例えばユーザからの指示もしくは入力される画像の情報に応じて制御する。
【００２６】
次に、演算部154の処理の詳細について説明する。まず、動きベクトルを用いた一次変換係数の求め方について、図３を参照しつつ説明する。前提として、入力となる低解像画像100上の全ての画素について、HR上への動きベクトルが小数精度で得られているとする。
【００２７】
まず、任意の注目画素P（310）と復元された高解像画像HR上の写像点Q（320）を、注目画素P（310）に対応する動きベクトル情報から決定する。同様にして、注目画素Pの左に隣接する画素311、下に隣接する画素312、右に隣接する画素313、上に隣接する画素314のそれぞれについて、各隣接画素に対応する動きベクトル情報を用いて、同様にHR上の対応点321、322、323、324を求める。本例では、LRの点311が左上方向に、点312が左下方向に、点313が右下方向に、点314が若干右下方向に移動していることを示している。すなわち、図３の例は、注目点310を中心とする小領域が、時計回りに回転しながら拡大する動きを示している。このように、本実施例では、画素毎に求められた動きベクトルを用いることで、着目する小領域の写像が単なる平行移動のみならず、回転、拡大、縮小等の動きを把握することが可能となる。よって、画像の動きを微小な平行移動に近似する従来技術に比べ、HR上の画像の動きをより正確に得ることができる。
【００２８】
次に、これら５点が同一の写像（一次変換）であるかどうかを判別する。この判定は、「直線」は一次変換されても直線性を保つという性質を利用する。具体的には、注目点Pに対応する点Qと点321、及び点323の３点が同一直線上にあるかどうかを判別する。ここの判別は、これら３点が下記の数１の関係を満足するか否かを調べればよい。同様に点Qと点322、及び点324の3点についても同一直線上にあるかどうかを調べる。
【００２９】
【数１】
【００３０】
ここで、点Q、点321及び点323が同一直線上に位置し、かつ点Q、点322及び点324が同一直線上に位置すれば、HR上の点321〜324は同一の楕円上に位置するとみなすものとする。そして、HR上の点321〜324は同一の楕円上に位置する場合は、LR上の点310〜314とHR上の点320〜324との間には、一次変換による幾何学的な関係が成立しているものとして扱う。尚、本例では、一次変換としてアフィン変換を用いるものとする（以下の処理は、３×３の行列で穂表現される射影変換であっても同様である）。すなわち、かかる場合においては、LR上の点310〜314とHR上の点320〜324との間に下記数２の一次変換による連立方程式で表される関係が成立しており、この連立方程式を解くことによって、一次変換の係数であるＡ１１、Ａ１２、Ａ２１、Ａ２２、Ａ３１、Ａ３２を求めることができる。これらの係数のうちシフト係数であるＡ３１、Ａ３２を点Pと点Qとの差分からまず求め、その後、残る４つの係数Ａ１１、Ａ１２、Ａ２１、Ａ２２について、数２の連立方程式を解いて算出する。
【００３１】
【数２】
【００３２】
尚、上記数２の左辺は、上から順に、それぞれLR上の点310、311、312、313、314に対応する。また、右辺の係数Ａ１１、Ａ１２、Ａ２１、Ａ２２の行列に乗算される項は、上から順に、それぞれHR上の点320、321、322、323、324に対応する。
【００３３】
以上の手順により、画素単位の平行移動情報（シフト係数Ａ３１、Ａ３２）から、回転、拡大、縮小等の複雑な動きに対応した領域動き（一次変換）を求めることが可能となる。このように、本実施例は、LR上の注目画素とそれに上下左右に隣接する４画素について、各画素の動きベクトルを用いてHR上のどの画素に移動したかを算出し、そのHR上の画素が特定の条件、すなわち数１の条件を満たす場合に、LR上の５点とHR上の５点とが互いに一次変換による幾何学的な関係を有しているとして、数２に示す一次変換の連立方程式を適用する。そして、画素単位の平行移動情報を参照してかかる連立方程式を解くことによって、一次変換の係数を得るようにしているものである。上記数２を用いた一次変換の係数の算出は、LRの全ての画素について行い、該全画素についての一次変換の係数を算出する。
【００３４】
次に、上記一次変換の係数を用いてHRを生成するための重み係数を算出するための処理の詳細について説明する。
【００３５】
ここで、重み係数は、非特許文献２に示されるように正規分布（ガウス分布）に従うものとする。すなわち、LR上の注目画素がHR上のある領域の画素に対して影響を及ぼすものとしたとき、その影響の度合いは、おおよそガウス分布に従っている。つまり、LR上の注目画素に対応するHR上の画素が当該LR上の注目画素の影響を大きく受け、その注目画素に対応する画素から空間的に離れるに従い、その影響の度合いはガウス分布を示す確率密度関数に従い減少する。この影響の度合いを示すものが重み係数（ｆ(x、y)）であり、二次元の確率密度関数に従い、下記数３によって求められる。
【００３６】
【数３】
数３において、ｘ、ｙは、それぞれHR上の画素の座標、μｘ、μｙは、それぞれx方向及びy方向の中心位置を、σｘ、σｙは、それぞれx方向及びy方向の広がりを示すものとする。
【００３７】
そして、上記数２から得られた係数Ａ１１、Ａ１２、Ａ２１、Ａ２２、Ａ３１、Ａ３２を用いて、上記数３のx、yを数４のように置き換える。
【００３８】
【数４】
このようにxとyが置き換えられた数３を用いて、重み係数ｆ(x、y)が演算される。上述のように、一次変換の係数はLRの全画素について算出されるため、この重み係数の関数は、LRの全画素と等しい数だけ生成される。例えばLRの全画素数をＮとしたとき、重み付け係数の関数は、ｆ１(x、y)〜ｆＮ(x、y)のＮ個生成される。そして、各重み付け係数の関数のそれぞれについて、HRの全画素の重み付け係数が算出される。よって、HR上のある注目画素の座標を(x1、y2)としたとき、その注目画素に対応する重み付け係数は、ｆ１(x1、y2)〜ｆＮ(x1、y2)のＮ個分求められる。そして、最終的なHR上の注目画素(x1、y2)の重み付け係数は、これらＮ個の重み付け係数ｆ１(x1、y2)〜ｆＮ(x1、y2)を畳み込み演算することによって求められる。この畳み込み演算は、例えば各重み付け係数の積和もしくは内積を算出するための演算である。
【００３９】
このように、本実施例は、HRを生成に用いられる重み係数を得るための二次元ガウス分布の形状を、LRの画素毎の動きベクトルを用いて算出されたHR上の画素位置と、その画素位置から得られた一次変換の係数によって変形するものである。そして本実施例によれば、このような構成によって、LRの各画素に対応するHR上での各画素の正確な位置と、その位置に対応した高精度な重み付け関数を得ることができ、より高画質なHRを生成することができる。
【００４０】
尚、上記の説明では、点Qの上下左右ともそれぞれ同一直線上にある場合を想定したが、どちらか一方しか直線上にない、あるいは、上下左右いずれも直線上にない場合の処理については後述のフローチャート部分で説明する。
【００４１】
上記ガウス分布は無限の広がりを持つため、有限の範囲を設定し、これを有効範囲として当該有効範囲内の画素について畳み込み演算する必要がある。この有効範囲の設定について図４及び図５を参照しつつ説明する。
【００４２】
図４は動き（一次変換）推定アルゴリズムのフローチャートを示したものである。まず、一次変換推定を行うLRを選択・入力とする（ステップ1001）。次に、LR上の全画素について動きベクトルを求める（ステップ1002）。次に、LR上の未だ探索していない画素を選び注目画素Pとする（ステップ1003）。注目画素Pと上下左右の隣接画素について、ステップ1002にて算出した画素毎の動きベクトル情報からHR上の写像点Qとそれぞれの対応点を求める（ステップ1004）。
【００４３】
このHR上の５つの点から、図３で説明した方法に従って、注目点Qと残る2対の点がそれぞれ同一直線上にあるかどうかを判定する（ステップ1005）。いずれかが直線上にある場合、P→Qによって得られるシフト係数のみを算出し、残る2次正方行列（すなわちＡ１１、Ａ１２、Ａ２１、Ａ２２）の係数を直線上に乗る２点から算出する。残る２点が同一の一次変換を満たすかどうかは、次のようにして判別できる（ステップ1006）。すなわち、得られた一次変換係数を数２に代入した方程式に、LR上での座標値とHR上での座標値を代入して、方程式が成り立つかどうかを確認する。その結果、いずれも直線上にない場合、一次変換は平行移動のみとしてP→Qによって得られるシフト係数のみを算出する。残る２次正方行列については、これを単位行列とするとともに、注目点Pによる影響範囲、すなわち有効領域をQと写像点との中点までと決定する（ステップ1007）。
【００４４】
最後にLR上の全画素を調べたか判定し、調べ終わっていなければステップ1003に戻る。すべて終了していれば処理を終了する（ステップ1008,1009）。
【００４５】
続いて、図５を参照して、同一の一次変換を有する領域を探索／統合する方法の一例について説明する。高解像画像HR 200上の領域502は、図３、４で説明した手順に従って算出された、注目画素P310の影響領域である。LR上の点313の一画素外側にある点315がHR上で写像される点325が作る領域を503とする。領域502に隣接する領域503が同一の一次変換となるかどうかを判別するには、図３で述べたのと同様に、点Q320、323、325の3点が同一の直線上にのるかどうかを判定することによって決定できる。この処理を繰り返すことで領域を統合拡大できる。
【００４６】
なお、LR上の近傍画素として上下左右に隣接する４つの画素を用いたが、これに、左上、左下、右上、右下の４つの斜め方向に位置する４つの画素を加えた８つの画素を用いてもよい。この場合も、上述したものと同様の手順で処理が可能である。８画素を用いれば、より高精度な変換行列と領域の推定が可能となる。
【００４７】
以上の説明のように、本実施例は、次のような処理を実行するものである。
【００４８】
(1)複数のLRの画像を入力する；
(2)複数のLR画像から画素単位で小数精度の動きベクトル情報を取得する；
(3)低解像画像(LR)の注目画素Pとその上下左右に隣接する画素の小数精度動きベクトルから、同一の一次変換となるかどうかを判別する；
(4)同一の一次変換と判定された画素の組み合わせから一次変換の係数を求める；
(5)同一一次変換を持つHR上の隣接小領域を探索／統合する；
(6) 上記統合処理により得られた有効領域内の画素を用いて、HR画像の生成に使用される重み係数を算出するための畳み込み演算を行う。
【００４９】
以上の説明のように、本実施例によれば、高解像映像の生成に必要となる、画素単位の一次変換とその影響範囲の推定を簡便かつ正確に行うことができる。
【図面の簡単な説明】
【００５０】
【図１】複数の低解像画像から高解像画像を復元する際の手順を示す図。
【図２】低解像画像と高解像画像との幾何学的関係を示す図。
【図３】本実施例に係る一次変換を推定するための手順を示す図。
【図４】一次変換推定手順のフローチャートを示す図。
【図５】同一の一次変換領域を統合する手順を示す図。
【図６】本発明に係る画像表示装置の構成の一例を示す図。
【符号の説明】
【００５１】
１０…画像表示装置、１１…チューナ部、１２…ネットワークＩ／Ｆ、１３…デコーダ、１４…制御回路、１５…解像度変換部、１６…ＨＤＤ、１７…画質調整部、１８…表示部、２０…アンテナ、３０…ネットワーク、１５１…動きベクトル取得部、１５２…メモリ部、１５３…有効範囲算出部、１５４…演算部。
【技術分野】
【０００１】
本発明は、画像を高解像度化するための技術に関し、特に複数枚（フレーム）の低解像度の画像から高解像度の画像を得るための技術に関する。
【背景技術】
【０００２】
近年のテレビジョン受像機は大画面化が進んでおり、放送、通信、及び／または蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増加させて表示する場合がある。このとき、一般的に知られているSinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは、解像度を上げることはできない。
【０００３】
画像の画素数を増加させるとともに解像度を高くするための技術が、例えば下記非特許文献１及び非特許文献２に記載のものが知られている。下記非特許文献１及び２には、複数の第１解像度画像（低解像度画像、以下、LR(Low Resolution)と略記））を用いて第２解像度画像（高解像度画像、以下、HR(High Resolution)と略記）を生成する際に、入力された複数LRの各画像データを用いて各画像データのサンプリング位相(標本化位置)の差を推定し、このサンプリング位相差に応じてLRをサンプリングすることで、折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元することを開示する。
【０００４】
【非特許文献１】青木伸：“複数のデジタル画像データによる超解像処理”, Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998.
【非特許文献２】David Capel: “Image Mosaicing and Super resolution”, PP.218, Springer, 2004.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記非特許文献１及び２においては、被写体の動きが例えば回転や拡大・縮小などの動きを伴う場合であっても、局所的な平行移動に近似することによって、上記サンプリング位相差を推定するようにしている。それは、隣接するフレーム間では時間間隔が微小であるため、被写体の回転や拡大・縮小などの動きが微小となり、平行移動に近似可能であるためである。
【０００６】
しかしながら、放送映像などの動きが複雑なコンテンツの場合、画像の動きを平行移動に近似した場合、HRの画質は大きく向上することは困難となる。これについて以下に説明する。
【０００７】
図２は、LR画像上の注目画素と周辺画素の関係が、復元されたHR上でどのように変化するかを説明するものである。
【０００８】
LR103には、復元先となるHR200を一次変換Ａ（例えばアフィン変換）して低解像化した台形の画像領域201が含まれるものとする。一般にカメラなどで映像を撮像する場合、観測できる画素値はカメラ撮像系で起きる光学現象によりボケが生ずる。この時のボケの形は２次元のガウス分布に近似できることが知られており、この形状は点広がり関数(PSF: Point Spread Function)400と呼ばれる。
【０００９】
HRの画素値が低解像化される際には、符号500に示すような円形の範囲にわたって符号400のような重みで周辺の画素値の影響を受けてボケが生ずる。領域201上の画素値300も低解像化される際に、元々のHR201上での周辺画素から円領域501の形状に従って影響を受ける（画素値が畳み込まれる）。
【００１０】
しかしながら、LR103上の高解像画像領域201は一次変換Ａによって変形された領域であるため、復元結果となる高解像画像200上では、円領域501は逆変換Ａ-1された領域502のような楕円形状となる。このように、高解像を復元する際に考慮すべき領域範囲は、入力となるLRの各画素がどのように変換を受けているかによって大きく変わる。よって、画像の動きを単に平行移動に近似すると、誤った領域を畳み込むことになるため、高画質な（すなわち高周波成分が良好に復元された）HRを得ることが困難となる。なお、ここでは点広がり関数での平行移動近似による影響について説明したが、画素を補間する場合にSinc関数を用いて周辺領域の画素値を畳み込む場合も、同様の問題が生じる。
【００１１】
従って、LRからより高画質なHRを得ようとする場合には、LRとHRとの間における画素単位の幾何学的関係（一次変換係数）を簡便かつ正確に推定する必要がある。すなわち、画素単位の画像の動きを、単純な平行移動のみならず、平行移動以外の動き（つまり、回転、縮小、拡大などの動き）の情報も考慮して一次変換係数を求めることが好ましい。
【００１２】
本発明は、上記課題に鑑みて為されたものであり、その目的は、様々な画像の動きに対応して、低解像度の画像から高画質な高解像度の画像を得るのに好適な技術を提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明は、入力された第１解像度画像（低解像度画像）から画素単位で動きベクトル情報を取得し、この動きベクトル情報に基づいて、第２解像度画像（高解像度画像）を生成するために用いられる係数（例えば一次変換の係数）を演算し、この係数を用いて第２解像度画像を生成することを特徴とするものである。
【００１４】
そして本発明の構成によれば、動きベクトルを用いて例えば一次変換の係数を求めているので、正確な変換写像の推定と領域分離を行うことができ、画素値生成時の畳み込み演算の際に本来関係ない画素が混入することを防ぐことが可能となる。よって、本発明の構成によれば、より高画質な画像生成が可能になる。
【発明の効果】
【００１５】
本発明によれば、より高画質な高解像度の画像を得ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について、図面を参照しつつ説明する。図１は、高解像画像復元方式の処理手順の概要を示したものである。まず、入力された複数のLR100〜102について、小数画素精度で位置合わせを行う。ここで、小数画素精度とは、例えば時間的に連続する２つのフレーム間である画素が移動する場合、その画素の動きの大きさを小数点以下で求めることを言うものとする。例えば、前フレームの注目画素の座標が（100，200）である場合、後フレームにおいて当該注目画素が（110.5，205.3）に動いたと検出する。
【００１７】
LR100を基準位置としてLR101,102を位置あわせした結果を図１の中央に示す。このように、位置合わせは、回転や拡大・縮小などの動きも考慮する。こうして標本化位置が整数画素位置からずれた１枚の合成画像を生成した後、目的とする解像度で再度サンプリングしなおして高解像画像200を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数(サンプリング点)を補間して増やす方法、あるいは、前述した点広がり関数の逆関数を適用するなどの方法で周辺画素の影響を畳み込みながら、画素値を決定する。
【００１８】
次に、本実施形態に係る高解像画像処理の一例について説明する。まず、図６を用いて本実施形態に係る高画質化装置の構成の一例について説明する。本実施形態に係る高画質化装置は、図６に示されるように、例えばテレビジョン受像機などの画像表示装置に適用される。当然、ＤＶＤプレーヤ、ＨＤＤプレーヤ、動画ストリームを受信可能なパーソナルコンピュータ、ビデオカメラ、デジタルカメラ等にも適用可能である。
【００１９】
図６において、画像表示装置10は、チューナ部11を備えており、このチューナにより選局されたチャンネルの例えばデジタルテレビジョン放送を受信し入力する。また画像表示装置10は、インターネット30と接続可能なネットワークＩ／Ｆ12を有しており、要求された動画ストリーム等がインターネット30を介して受信され入力される。ここで、チューナ部11及びネットワークＩ／Ｆ12に入力される画像は、例えばVGA（640×480）相当のLRであり、かつ例えばMPEG等により圧縮符号化されているものとする。
【００２０】
チューナ部11、ネットワークＩ／Ｆ12に入力された画像、およびＨＤＤ上の画像は、デコーダ13に供給される。デコーダ13は、入力された符号化画像を復号し、複数のフレーム列から構成されるLRのデータを解像度変換部15に出力する。解像度変換部15は、演算部155を有しており、上述した位置推定処理、広帯域補間処理、畳み込み演算等の加重和処理を行う。複合化されたLRは、メモリ部152に接続される動きベクトル取得部151にも供給され、ここでメモリ部152を用いながら画素単位で小数精度の動きベクトル情報を取得する。例えば、メモリ部152に複数フレームのLRを記憶し、これら複数フレーム相互間の画素毎の差分からLRの画素毎に小数精度の動きベクトル情報を求める。
【００２１】
この動きベクトル取得部151にて取得された動きベクトル情報は、演算部154に入力される。演算部154は、動きベクトル情報を用いて、入力されたLRの各画素がHR上のどこに位置するのかを演算する。そして、LRの画素とHRの画素との関係から一次変換（アフィン変換）の係数を演算する。更に、この一次変換の係数を用いてHRの画素毎に重み係数を演算し、この画素毎に得られた重み係数を畳み込み演算してHRを生成する。
【００２２】
また、この動きベクトル取得部151にて取得された動きベクトル情報は、有効範囲算出部153にも入力され、ここで、演算部154における上記畳み込み演算に使用するHR上の画素の範囲を算出する。この画素の範囲をここでは有効範囲と呼ぶこととする。演算部154では、有効範囲算出部153で算出された有効範囲内のHRの画素について、上記の畳み込み演算を行う。これら演算処理の詳細については後述する。
【００２３】
演算部154で生成されたHRは、画質調整部17及び録画部であるＨＤＤ16に供給される。ＨＤＤ16は、演算部154からのＨＲを圧縮符号化して記録し、例えばユーザからの支持に応答して、記録されたHRのデータを複合化して再生する。このＨＤＤ17から再生されたHRも画質調整部17へ供給される。画質調整部17では、供給された画像データに対し例えば色補正、コントラスト補正、輪郭補正等の画質調整処理を施し、例えばＰＤＰまたはＬＣＤで構成される表示部18に供給する。これにより表示部18では、LRからHRに解像度が変換された高解像度の画像が表示される。
【００２４】
尚、デコーダ13からの復号信号を解像度変換部15で高精細化せずに、LRのまま直接ＨＤＤ16に記録させるようにしてもよい。そして、ＨＤＤ16からLRを再生し、複合化して解像度変換部15に供給し、上記のように高精細化して画質調整部17、表示部18に供給するようにしてもよい。このようにすれば、ＨＤＤ16へ記録される画像はLRであってもHRで表示することが可能となるので、記録されるデータ量の増加を抑えつつ高精細な画像を表示することが可能となる。
【００２５】
また制御回路（ＣＰＵ）14は、チューナ部11、ネットワークＩ／Ｆ12、デコーダ13、解像度変換部15、ＨＤＤ16、画質調整部17の各部を、例えばユーザからの指示もしくは入力される画像の情報に応じて制御する。
【００２６】
次に、演算部154の処理の詳細について説明する。まず、動きベクトルを用いた一次変換係数の求め方について、図３を参照しつつ説明する。前提として、入力となる低解像画像100上の全ての画素について、HR上への動きベクトルが小数精度で得られているとする。
【００２７】
まず、任意の注目画素P（310）と復元された高解像画像HR上の写像点Q（320）を、注目画素P（310）に対応する動きベクトル情報から決定する。同様にして、注目画素Pの左に隣接する画素311、下に隣接する画素312、右に隣接する画素313、上に隣接する画素314のそれぞれについて、各隣接画素に対応する動きベクトル情報を用いて、同様にHR上の対応点321、322、323、324を求める。本例では、LRの点311が左上方向に、点312が左下方向に、点313が右下方向に、点314が若干右下方向に移動していることを示している。すなわち、図３の例は、注目点310を中心とする小領域が、時計回りに回転しながら拡大する動きを示している。このように、本実施例では、画素毎に求められた動きベクトルを用いることで、着目する小領域の写像が単なる平行移動のみならず、回転、拡大、縮小等の動きを把握することが可能となる。よって、画像の動きを微小な平行移動に近似する従来技術に比べ、HR上の画像の動きをより正確に得ることができる。
【００２８】
次に、これら５点が同一の写像（一次変換）であるかどうかを判別する。この判定は、「直線」は一次変換されても直線性を保つという性質を利用する。具体的には、注目点Pに対応する点Qと点321、及び点323の３点が同一直線上にあるかどうかを判別する。ここの判別は、これら３点が下記の数１の関係を満足するか否かを調べればよい。同様に点Qと点322、及び点324の3点についても同一直線上にあるかどうかを調べる。
【００２９】
【数１】
【００３０】
ここで、点Q、点321及び点323が同一直線上に位置し、かつ点Q、点322及び点324が同一直線上に位置すれば、HR上の点321〜324は同一の楕円上に位置するとみなすものとする。そして、HR上の点321〜324は同一の楕円上に位置する場合は、LR上の点310〜314とHR上の点320〜324との間には、一次変換による幾何学的な関係が成立しているものとして扱う。尚、本例では、一次変換としてアフィン変換を用いるものとする（以下の処理は、３×３の行列で穂表現される射影変換であっても同様である）。すなわち、かかる場合においては、LR上の点310〜314とHR上の点320〜324との間に下記数２の一次変換による連立方程式で表される関係が成立しており、この連立方程式を解くことによって、一次変換の係数であるＡ１１、Ａ１２、Ａ２１、Ａ２２、Ａ３１、Ａ３２を求めることができる。これらの係数のうちシフト係数であるＡ３１、Ａ３２を点Pと点Qとの差分からまず求め、その後、残る４つの係数Ａ１１、Ａ１２、Ａ２１、Ａ２２について、数２の連立方程式を解いて算出する。
【００３１】
【数２】
【００３２】
尚、上記数２の左辺は、上から順に、それぞれLR上の点310、311、312、313、314に対応する。また、右辺の係数Ａ１１、Ａ１２、Ａ２１、Ａ２２の行列に乗算される項は、上から順に、それぞれHR上の点320、321、322、323、324に対応する。
【００３３】
以上の手順により、画素単位の平行移動情報（シフト係数Ａ３１、Ａ３２）から、回転、拡大、縮小等の複雑な動きに対応した領域動き（一次変換）を求めることが可能となる。このように、本実施例は、LR上の注目画素とそれに上下左右に隣接する４画素について、各画素の動きベクトルを用いてHR上のどの画素に移動したかを算出し、そのHR上の画素が特定の条件、すなわち数１の条件を満たす場合に、LR上の５点とHR上の５点とが互いに一次変換による幾何学的な関係を有しているとして、数２に示す一次変換の連立方程式を適用する。そして、画素単位の平行移動情報を参照してかかる連立方程式を解くことによって、一次変換の係数を得るようにしているものである。上記数２を用いた一次変換の係数の算出は、LRの全ての画素について行い、該全画素についての一次変換の係数を算出する。
【００３４】
次に、上記一次変換の係数を用いてHRを生成するための重み係数を算出するための処理の詳細について説明する。
【００３５】
ここで、重み係数は、非特許文献２に示されるように正規分布（ガウス分布）に従うものとする。すなわち、LR上の注目画素がHR上のある領域の画素に対して影響を及ぼすものとしたとき、その影響の度合いは、おおよそガウス分布に従っている。つまり、LR上の注目画素に対応するHR上の画素が当該LR上の注目画素の影響を大きく受け、その注目画素に対応する画素から空間的に離れるに従い、その影響の度合いはガウス分布を示す確率密度関数に従い減少する。この影響の度合いを示すものが重み係数（ｆ(x、y)）であり、二次元の確率密度関数に従い、下記数３によって求められる。
【００３６】
【数３】
数３において、ｘ、ｙは、それぞれHR上の画素の座標、μｘ、μｙは、それぞれx方向及びy方向の中心位置を、σｘ、σｙは、それぞれx方向及びy方向の広がりを示すものとする。
【００３７】
そして、上記数２から得られた係数Ａ１１、Ａ１２、Ａ２１、Ａ２２、Ａ３１、Ａ３２を用いて、上記数３のx、yを数４のように置き換える。
【００３８】
【数４】
このようにxとyが置き換えられた数３を用いて、重み係数ｆ(x、y)が演算される。上述のように、一次変換の係数はLRの全画素について算出されるため、この重み係数の関数は、LRの全画素と等しい数だけ生成される。例えばLRの全画素数をＮとしたとき、重み付け係数の関数は、ｆ１(x、y)〜ｆＮ(x、y)のＮ個生成される。そして、各重み付け係数の関数のそれぞれについて、HRの全画素の重み付け係数が算出される。よって、HR上のある注目画素の座標を(x1、y2)としたとき、その注目画素に対応する重み付け係数は、ｆ１(x1、y2)〜ｆＮ(x1、y2)のＮ個分求められる。そして、最終的なHR上の注目画素(x1、y2)の重み付け係数は、これらＮ個の重み付け係数ｆ１(x1、y2)〜ｆＮ(x1、y2)を畳み込み演算することによって求められる。この畳み込み演算は、例えば各重み付け係数の積和もしくは内積を算出するための演算である。
【００３９】
このように、本実施例は、HRを生成に用いられる重み係数を得るための二次元ガウス分布の形状を、LRの画素毎の動きベクトルを用いて算出されたHR上の画素位置と、その画素位置から得られた一次変換の係数によって変形するものである。そして本実施例によれば、このような構成によって、LRの各画素に対応するHR上での各画素の正確な位置と、その位置に対応した高精度な重み付け関数を得ることができ、より高画質なHRを生成することができる。
【００４０】
尚、上記の説明では、点Qの上下左右ともそれぞれ同一直線上にある場合を想定したが、どちらか一方しか直線上にない、あるいは、上下左右いずれも直線上にない場合の処理については後述のフローチャート部分で説明する。
【００４１】
上記ガウス分布は無限の広がりを持つため、有限の範囲を設定し、これを有効範囲として当該有効範囲内の画素について畳み込み演算する必要がある。この有効範囲の設定について図４及び図５を参照しつつ説明する。
【００４２】
図４は動き（一次変換）推定アルゴリズムのフローチャートを示したものである。まず、一次変換推定を行うLRを選択・入力とする（ステップ1001）。次に、LR上の全画素について動きベクトルを求める（ステップ1002）。次に、LR上の未だ探索していない画素を選び注目画素Pとする（ステップ1003）。注目画素Pと上下左右の隣接画素について、ステップ1002にて算出した画素毎の動きベクトル情報からHR上の写像点Qとそれぞれの対応点を求める（ステップ1004）。
【００４３】
このHR上の５つの点から、図３で説明した方法に従って、注目点Qと残る2対の点がそれぞれ同一直線上にあるかどうかを判定する（ステップ1005）。いずれかが直線上にある場合、P→Qによって得られるシフト係数のみを算出し、残る2次正方行列（すなわちＡ１１、Ａ１２、Ａ２１、Ａ２２）の係数を直線上に乗る２点から算出する。残る２点が同一の一次変換を満たすかどうかは、次のようにして判別できる（ステップ1006）。すなわち、得られた一次変換係数を数２に代入した方程式に、LR上での座標値とHR上での座標値を代入して、方程式が成り立つかどうかを確認する。その結果、いずれも直線上にない場合、一次変換は平行移動のみとしてP→Qによって得られるシフト係数のみを算出する。残る２次正方行列については、これを単位行列とするとともに、注目点Pによる影響範囲、すなわち有効領域をQと写像点との中点までと決定する（ステップ1007）。
【００４４】
最後にLR上の全画素を調べたか判定し、調べ終わっていなければステップ1003に戻る。すべて終了していれば処理を終了する（ステップ1008,1009）。
【００４５】
続いて、図５を参照して、同一の一次変換を有する領域を探索／統合する方法の一例について説明する。高解像画像HR 200上の領域502は、図３、４で説明した手順に従って算出された、注目画素P310の影響領域である。LR上の点313の一画素外側にある点315がHR上で写像される点325が作る領域を503とする。領域502に隣接する領域503が同一の一次変換となるかどうかを判別するには、図３で述べたのと同様に、点Q320、323、325の3点が同一の直線上にのるかどうかを判定することによって決定できる。この処理を繰り返すことで領域を統合拡大できる。
【００４６】
なお、LR上の近傍画素として上下左右に隣接する４つの画素を用いたが、これに、左上、左下、右上、右下の４つの斜め方向に位置する４つの画素を加えた８つの画素を用いてもよい。この場合も、上述したものと同様の手順で処理が可能である。８画素を用いれば、より高精度な変換行列と領域の推定が可能となる。
【００４７】
以上の説明のように、本実施例は、次のような処理を実行するものである。
【００４８】
(1)複数のLRの画像を入力する；
(2)複数のLR画像から画素単位で小数精度の動きベクトル情報を取得する；
(3)低解像画像(LR)の注目画素Pとその上下左右に隣接する画素の小数精度動きベクトルから、同一の一次変換となるかどうかを判別する；
(4)同一の一次変換と判定された画素の組み合わせから一次変換の係数を求める；
(5)同一一次変換を持つHR上の隣接小領域を探索／統合する；
(6) 上記統合処理により得られた有効領域内の画素を用いて、HR画像の生成に使用される重み係数を算出するための畳み込み演算を行う。
【００４９】
以上の説明のように、本実施例によれば、高解像映像の生成に必要となる、画素単位の一次変換とその影響範囲の推定を簡便かつ正確に行うことができる。
【図面の簡単な説明】
【００５０】
【図１】複数の低解像画像から高解像画像を復元する際の手順を示す図。
【図２】低解像画像と高解像画像との幾何学的関係を示す図。
【図３】本実施例に係る一次変換を推定するための手順を示す図。
【図４】一次変換推定手順のフローチャートを示す図。
【図５】同一の一次変換領域を統合する手順を示す図。
【図６】本発明に係る画像表示装置の構成の一例を示す図。
【符号の説明】
【００５１】
１０…画像表示装置、１１…チューナ部、１２…ネットワークＩ／Ｆ、１３…デコーダ、１４…制御回路、１５…解像度変換部、１６…ＨＤＤ、１７…画質調整部、１８…表示部、２０…アンテナ、３０…ネットワーク、１５１…動きベクトル取得部、１５２…メモリ部、１５３…有効範囲算出部、１５４…演算部。
【特許請求の範囲】
【請求項１】
画像高画質化装置において、
前記第１解像度の画像を入力する入力部と、
前記入力部で入力された第１解像度画像を用いて、該第１解像度画像よりも解像度が高い第２解像度画像を生成する解像度変換部と、を備え、
前記解像度変換部は、
前記入力された第１解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部と、
前記動きベクトル取得部で取得された動きベクトル情報に基づいて前記第２解像度画像を生成するために用いられる係数を演算し、該係数を用いて前記第２解像度画像を生成する演算部と、
を含むことを特徴とする画像高画質化装置。
【請求項２】
請求項１に記載の画像高画質化装置において、前記係数は、前記第１解像度画像上の画素が前記第２解像度画像のどこに位置するのかを求めるための一次変換の係数であることを特徴とする画像高画質化装置。
【請求項３】
請求項２に記載の画像高画質化装置において、前記一次変換は、アフィン変換であることを特徴とする画像高画質化装置。
【請求項４】
請求項１に記載の画像高画質化装置において、前記動きベクトル取得部で取得される前記動きベクトル情報は、少数精度の動きベクトル情報であることを特徴とする画像高画質化装置。
【請求項５】
請求項１に記載の画像高画質化装置において、前記演算部は、更に、前記第１解像度画像の注目画素と、該注目画素と上下左右に隣接する４つの画素の動きベクトル情報とにより前記有効範囲を算出することを特徴とする画像高画質化装置。
【請求項６】
画像高画質化装置において、
前記第１解像度の画像を入力する入力部と、
前記入力部で入力された第１解像度画像を用いて、該第１解像度画像よりも解像度が高い第２解像度画像を生成する解像度変換部と、を備え、
前記解像度変換部は、
前記入力された複数の第１解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部と、
入力された第１解像度画像の注目画素とその上下左右に隣接画素について、対応する小数精度動きベクトルから、同一の一次変換となるかどうかを判別するとともに、前記同一の一次変換と判定された画素位置の組み合わせから一次変換係数を求める演算部と、
前記同一の一次変換を持つ第２解像度画像上の領域に基づき前記一次変換の有効範囲を求める有効範囲算出部と、を含み、
前記演算部は、前記有効範囲算出部で算出された有効範囲内の画素を用いて畳み込み演算の範囲を行うことを特徴とする画像高画質装置。
【請求項７】
請求項６に記載の画像高画質装置おいて、前記注目画素の上下左右の隣接画素以外に、斜め方向を加えた８画素近傍にて画素ごとの動きを一次変換として推定することを特徴とする画像高画質装置。
【請求項８】
請求項６記載の画像高画質化装置おいて、前記第１解像度画像上の注目画素とその上下隣接画素あるいはその左右隣接画素が、前記第２解像度画像上につくる対応点において、それら３点が同一直線上に位置するかどうかを判別することにより、同一の一次変換となるかどうかを判別することを特徴とする画像高画質化方式及び装置。
【請求項９】
請求項２記載の画像高画質化装置において、前期有効範囲算出手段は、前記第１解像度画像上の注目画素とその上下隣接画素あるいはその左右隣接画素の、前記第２解像度画像上の対応点において、追加する領域上の点が同一の直線上に位置するかを判別することにより前記有効範囲を算出することを特徴とする画像高画質化方式及び装置。
【請求項１０】
画像高画質化方法において、
前記第１解像度の画像を入力する入力ステップと、
前記入力部で入力された第１解像度画像を用いて、該第１解像度画像よりも解像度が高い第２解像度画像を生成する解像度変換部ステップと、を備え、
前記解像度変換ステップは、
前記入力された複数の第１解像度の画像から、画素単位で動きベクトル情報を取得するステップと、
前記取得された動きベクトル情報に基づいて前記第２解像度画像を生成するために用いられる係数を演算するステップと、
該演算された係数を用いて畳み込み演算を行って前記第２解像度画像を生成するステップと、
を含むことを特徴とする画像高画質化方法。
【請求項１１】
画像表示装置において、
前記第１解像度の画像を入力する入力部と、
前記入力部で入力された第１解像度画像を用いて、該第１解像度画像よりも解像度が高い第２解像度画像を生成する解像度変換部と、
前記解像度変換部で得られた前記第２解像度画像を表示するための表示部と、を備え、
前記解像度変換部は、
前記入力された第１解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部と、
前記動きベクトル取得部で取得された動きベクトル情報に基づいて前記第２解像度画像を生成するために用いられる係数を演算し、該係数を用いて前記第２解像度画像を生成する演算部と、
を含むことを特徴とする画像高画質化装置。
【請求項１】
画像高画質化装置において、
前記第１解像度の画像を入力する入力部と、
前記入力部で入力された第１解像度画像を用いて、該第１解像度画像よりも解像度が高い第２解像度画像を生成する解像度変換部と、を備え、
前記解像度変換部は、
前記入力された第１解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部と、
前記動きベクトル取得部で取得された動きベクトル情報に基づいて前記第２解像度画像を生成するために用いられる係数を演算し、該係数を用いて前記第２解像度画像を生成する演算部と、
を含むことを特徴とする画像高画質化装置。
【請求項２】
請求項１に記載の画像高画質化装置において、前記係数は、前記第１解像度画像上の画素が前記第２解像度画像のどこに位置するのかを求めるための一次変換の係数であることを特徴とする画像高画質化装置。
【請求項３】
請求項２に記載の画像高画質化装置において、前記一次変換は、アフィン変換であることを特徴とする画像高画質化装置。
【請求項４】
請求項１に記載の画像高画質化装置において、前記動きベクトル取得部で取得される前記動きベクトル情報は、少数精度の動きベクトル情報であることを特徴とする画像高画質化装置。
【請求項５】
請求項１に記載の画像高画質化装置において、前記演算部は、更に、前記第１解像度画像の注目画素と、該注目画素と上下左右に隣接する４つの画素の動きベクトル情報とにより前記有効範囲を算出することを特徴とする画像高画質化装置。
【請求項６】
画像高画質化装置において、
前記第１解像度の画像を入力する入力部と、
前記入力部で入力された第１解像度画像を用いて、該第１解像度画像よりも解像度が高い第２解像度画像を生成する解像度変換部と、を備え、
前記解像度変換部は、
前記入力された複数の第１解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部と、
入力された第１解像度画像の注目画素とその上下左右に隣接画素について、対応する小数精度動きベクトルから、同一の一次変換となるかどうかを判別するとともに、前記同一の一次変換と判定された画素位置の組み合わせから一次変換係数を求める演算部と、
前記同一の一次変換を持つ第２解像度画像上の領域に基づき前記一次変換の有効範囲を求める有効範囲算出部と、を含み、
前記演算部は、前記有効範囲算出部で算出された有効範囲内の画素を用いて畳み込み演算の範囲を行うことを特徴とする画像高画質装置。
【請求項７】
請求項６に記載の画像高画質装置おいて、前記注目画素の上下左右の隣接画素以外に、斜め方向を加えた８画素近傍にて画素ごとの動きを一次変換として推定することを特徴とする画像高画質装置。
【請求項８】
請求項６記載の画像高画質化装置おいて、前記第１解像度画像上の注目画素とその上下隣接画素あるいはその左右隣接画素が、前記第２解像度画像上につくる対応点において、それら３点が同一直線上に位置するかどうかを判別することにより、同一の一次変換となるかどうかを判別することを特徴とする画像高画質化方式及び装置。
【請求項９】
請求項２記載の画像高画質化装置において、前期有効範囲算出手段は、前記第１解像度画像上の注目画素とその上下隣接画素あるいはその左右隣接画素の、前記第２解像度画像上の対応点において、追加する領域上の点が同一の直線上に位置するかを判別することにより前記有効範囲を算出することを特徴とする画像高画質化方式及び装置。
【請求項１０】
画像高画質化方法において、
前記第１解像度の画像を入力する入力ステップと、
前記入力部で入力された第１解像度画像を用いて、該第１解像度画像よりも解像度が高い第２解像度画像を生成する解像度変換部ステップと、を備え、
前記解像度変換ステップは、
前記入力された複数の第１解像度の画像から、画素単位で動きベクトル情報を取得するステップと、
前記取得された動きベクトル情報に基づいて前記第２解像度画像を生成するために用いられる係数を演算するステップと、
該演算された係数を用いて畳み込み演算を行って前記第２解像度画像を生成するステップと、
を含むことを特徴とする画像高画質化方法。
【請求項１１】
画像表示装置において、
前記第１解像度の画像を入力する入力部と、
前記入力部で入力された第１解像度画像を用いて、該第１解像度画像よりも解像度が高い第２解像度画像を生成する解像度変換部と、
前記解像度変換部で得られた前記第２解像度画像を表示するための表示部と、を備え、
前記解像度変換部は、
前記入力された第１解像度の画像から、画素単位で動きベクトル情報を取得する動きベクトル取得部と、
前記動きベクトル取得部で取得された動きベクトル情報に基づいて前記第２解像度画像を生成するために用いられる係数を演算し、該係数を用いて前記第２解像度画像を生成する演算部と、
を含むことを特徴とする画像高画質化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２００８−９１９７９（Ｐ２００８−９１９７９Ａ）
【公開日】平成２０年４月１７日（２００８．４．１７）
【国際特許分類】
【出願番号】特願２００６−２６７０５４（Ｐ２００６−２６７０５４）
【出願日】平成１８年９月２９日（２００６．９．２９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２０年４月１７日（２００８．４．１７）
【国際特許分類】
【出願日】平成１８年９月２９日（２００６．９．２９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]