画像信号処理装置、画像高解像度化方法、画像表示装置
【課題】
画像信号または動画像の画像信号を、複数枚の画像フレームから高解像度化する際に、画像フレームに対する位置推定処理を行わずに位相差を導出し高解像度化する。
【解決手段】
画像を構成するオブジェクトが分離され、各々のオブジェクトの動き情報が形状情報やテクスチャ情報とは別に保持されている画像モデルが入力される画像モデル部と、入力された画像モデルからｎ枚(ｎは２以上の整数)の画像フレームを生成する画像フレーム生成部と、前記生成されたｎ枚の画像フレームを合成することにより、該入力画像フレーム上の被写体が移動する方向に応じて異なる解像度変換特性を持ち、画像フレームを構成する画素数をｎ倍に増加して出力画像フレームを得るための解像度変換部とを備え、該解像度変換部の出力結果を用いて高解像度画像を得る。
画像信号または動画像の画像信号を、複数枚の画像フレームから高解像度化する際に、画像フレームに対する位置推定処理を行わずに位相差を導出し高解像度化する。
【解決手段】
画像を構成するオブジェクトが分離され、各々のオブジェクトの動き情報が形状情報やテクスチャ情報とは別に保持されている画像モデルが入力される画像モデル部と、入力された画像モデルからｎ枚(ｎは２以上の整数)の画像フレームを生成する画像フレーム生成部と、前記生成されたｎ枚の画像フレームを合成することにより、該入力画像フレーム上の被写体が移動する方向に応じて異なる解像度変換特性を持ち、画像フレームを構成する画素数をｎ倍に増加して出力画像フレームを得るための解像度変換部とを備え、該解像度変換部の出力結果を用いて高解像度画像を得る。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を高解像度化するための技術に関し、特に複数の画像フレームを合成することにより、画像フレームを構成する画素数を増やすとともに不要な折返し成分を除去して高解像度化を行う技術に関する。
【背景技術】
【０００２】
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。
【０００３】
そこで、特許文献１、特許文献２、非特許文献１に記載されているように、入力された複数の画像フレーム(以下、フレームと略記)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術(以下、従来技術)が提案されている。
【０００４】
さらに、特許文献３には、各々のオブジェクトの動き情報、形状情報、テクスチャ情報が保持された画像モデル（ＣＧモデル）を利用して、複数フレームの低解像度データから中解像度データを得ることが記載されている。具体的には、現在のフレームよりも時間的に後の複数フレームの低解像度映像データに含まれている各交点に割り当てられている複数の２次元動きベクトルの中から、現在のフレームへと戻る動きを表すものを選択して加算することにより、現在のフレームよりも時間的に後の複数フレームの低解像度映像データを、現在のフレームの低解像度映像データに重ね合わせることが記載されている（0054段落など）。
【０００５】
【特許文献１】特開平８−３３６０４６号公報
【特許文献２】特開平９−６９７５５号公報
【特許文献３】特開2007-66012号公報
【非特許文献１】青木伸 “複数のデジタル画像データによる超解像処理”, Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998
【発明の開示】
【発明が解決しようとする課題】
【０００６】
これらの従来技術では、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。
【０００７】
図２に、これらの高解像度化技術の概要を示す。同図(a)に示すように、異なる時間軸上のフレーム#1(201)、フレーム#2(202)、フレーム#3(203)が入力され、これらを合成して出力フレーム(206)を得ることを想定する。簡単のため、まず被写体が水平方向に移動(矢印204)した場合を考え、水平線(205)の上の1次元の信号処理によって高解像度化することを考える。このとき、同図(b)と同図(d)に示すように、フレーム#2(202)とフレーム#1(201)では、被写体の移動(矢印204)の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、同図(c)に示すように、位置ずれが無くなるようにフレーム#2(202)を動き補償(矢印207)するとともに、各フレームの画素(208)のサンプリング位相(209)(210)の間の位相差θ(211)を求める。この位相差θ(211)に基づき、上記(2)広帯域補間および(3)加重和を行うことにより、同図(e)に示すように、元の画素(208)のちょうど中間(位相差θ=π)の位置に新規画素(212)を生成することにより、高解像度化を実現する。 (3)加重和については後述する。なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。
【０００８】
特許文献１、特許文献２、非特許文献１に記載の従来技術によって１次元方向の２倍の高解像度化を行う場合、上記(3)の加重和を行う際に、図３に示すように、少なくとも３枚のフレーム画像の信号を用いる必要があった。ここで、図３は、１次元の周波数領域で、各成分の周波数スペクトルを示した図である。同図（ａ）は、各成分の位相関係を示す図であり、同図（ｂ）は、原成分の位相関係を示す図であり、同図（ｃ）は、折返し成分の位相関係を示す図である。同図において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。上記(3)の加重和について、以下に詳しく説明する。
【０００９】
上記(2)の広帯域補間にて、ナイキスト周波数の2倍の帯域(周波数0〜サンプリング周波数fsまでの帯域)を透過する広帯域ローパスフィルタによって画素補間すると、原信号と同じ成分(以下、原成分)と、サンプリング位相に応じた折返し成分の和が得られる。このとき、3枚のフレーム画像の信号に対して上記(2)広帯域補間の処理を行うと、図３(a)に示すように、各フレームの原成分(301)(302)(303)の位相はすべて一致し、折返し成分(304)(305)(306)の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分の位相関係を同図(b)に示し、各フレームの折返し成分の位相関係を同図(c)に示す。
ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して上記(3)加重和を行うことにより、各フレームの折返し成分(304)(305)(306)を互いに打ち消して除去することができ、原成分だけを抽出できる。このとき、各フレームの折返し成分(304)(305)(306)のベクトル和を0にする、すなわち、Re軸(実軸)の成分とIm軸(虚軸)の成分を両方ともに0とするためには、少なくとも３つの折返し成分が必要となる。従って、2倍の高解像度化を実現するために、すなわち１個の折返し成分を除去するために、少なくとも３枚のフレーム画像の信号を用いる必要があった。
【００１０】
同様に、特許文献１、特許文献２、非特許文献１に記載されているように、水平・垂直の2次元の入力信号に対して高解像度化する場合、折返しが縦横2方向から来るので、原信号の帯域が縦横共に2倍に広がると、3つの折返し成分が重なり、それらを打ち消すためには2M+1=7個のデジタルデータ(=7枚のフレーム画像の信号)を必要としていた。
従って従来技術は、フレームメモリや信号処理回路の規模が大きくなって経済的でない。また、時間的に離れた数多くのフレーム画像の位置推定を正確に行う必要があるため構成が複雑となる。すなわち、従来技術は、例えばテレビジョン放送信号等の動画像のフレームを高解像度化することが困難である。
【００１１】
また、上記の従来技術によって高解像度化を行う場合、上記(1)の位置推定において、サンプリングの位相差を生成する方法は、「安藤繁 “画像の時空間微分算法を用いた速度ベクトル分布計測システム”，計測自動制御学会論文集，pp.1330-1336, Vol.22, No.12，1986」（以下、「参考文献１」という）や、「小林弘幸ほか “DCT変換に基づく画像の位相限定相関法”, 信学技法 IEICE Technical Report ITS2005-92，IE2005-299(2006-02), pp.73-78」（以下、「参考文献２」という）に記載されている連続する2枚の画像フレームに関し一方の特徴点を他方の特徴点に対応付ける手順を充分に繰り返す手法や画像フレームの時間空間微分を用いた方法や離散コサイン変換の符号係数を用いた方法がある。これらの方法は、どれも計算処理量が多く複雑な構成となる。また、いずれの方法も画像フレームの全範囲を探索すると計算量が膨大となるため、位置推定探索範囲を近傍に限定して適用するため、被写体の動きが位置推定探索範囲外まで及んだ場合、正確な位置推定ができないと考えられる。
【００１２】
また、特許文献３の技術では、「現在のフレームへと戻る動き」によって複数のフレーム画像を、画像の着目している画素が一致するように重ね合わせているだけである、つまり位相差を利用していないため、十分な高解像度画像を得ることが困難と考えられる。
【００１３】
本発明の目的は、画像フレームに対する位置推定処理を行わずに、正確な位相差を高解像化処理前に導出する技術を提供することにある。
【課題を解決するための手段】
【００１４】
本発明は、画像モデルを入力として画像フレームおよび画像フレーム間の位相差を生成する位相差生成部と、画像フレームと位相差を用いて高解像度化する解像度変換部を備え、位相差を画像モデルから取得することを特徴とするものである。
【発明の効果】
【００１５】
本発明によれば、より好適に画像信号を高解像度化することが可能となる。
【００１６】
本発明によれば、画像モデルから正確な位相差を導出することにより、位置推定処理を除去した、精度の高い高解像度化をおこなうことが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下に説明する本発明の実施例に係る高解像度化画像信号処理装置、方法、プログラムでは、高解像度化を行う際に、画像モデルを入力としてフレームおよびフレーム間の位相差を生成する位相差生成部と、フレームと位相差を用いて高解像度化する解像度変換部を備え、位相差を画像モデルから取得することを特徴とするものである。
【００１８】
なお、以下の各実施例の記載において、上述した(1)位置推定には、参考文献１や参考文献２に記載されているような方法を用いればよい。また上述した(2)広帯域補間については、非特許文献１に記載されているようなナイキスト周波数の2倍の通過帯域を持つ一般的なローパスフィルタを用いればよい。
【００１９】
以下の実施例で「ＳＲ信号」との表記は「Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ信号」の略である。
【００２０】
以下、本発明の実施例について、図面を参照しつつ説明する。
【実施例１】
【００２１】
図１に、本発明の第１の実施例に係る画像信号処理装置を示し、その特徴について述べる。本実施例に係る画像信号処理装置は、例えばテレビジョン受像機等の画像表示装置に適用される。以下の本実施例の説明においては、画像信号処理装置として画像表示装置を例にして説明する。図１において、本実施例に係る画像信号処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部(1)と、この入力部(1)から入力されたフレームを高解像度化するための解像度変換部(2)と、更にこの解像度変換部(2)によって高解像度化されたフレームに基づき画像を表示する表示部（表示モジュール）(3)とを備えている。この表示部(3)として、例えばプラズマディスプレイパネル、液晶表示パネル、もしくは電子／電解放出型ディスプレイパネルが用いられる。以下、解像度変換部(2)の詳細について説明する。
【００２２】
図１において、まず位置推定部(101)により、入力部(1)に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、サンプリング位相差θ(102)を求める。次に、動き補償・アップレート部(115)のアップレート器(103)(104)により、位相差θ(102)の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ2倍に増して高密度化する。位相シフト部(116)では、この高密度化したデータの位相を一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器(106)(108)を用いることができる。また、π/2位相シフト器(106)(108)で生じる遅延を補償するために、遅延器(105)(107)により高密度化したフレーム#1とフレーム#2の信号を遅延させる。折返し成分除去部(117)では、遅延器(105)(107)とπ／２位相シフト器(106)(108)の各出力信号に対して、係数決定器(109)にて位相差θ(102)をもとに生成した係数C0,C2,C1,C3を乗算器(110)(112)(111)(113)にてそれぞれ乗算し、加算器(114)にてこれらの信号を加算して出力を得る。この出力は、表示部３に供給される。なお、位置推定部(101)は、上記従来技術をそのまま用いて実現することができる。アップレート器(103)(104)、π/2位相シフト器(106)(108)、折返し成分除去部(117)の各詳細については後述する。
【００２３】
なお、図１において、位置推定部（１０１）で位相差（１０２）を求めた後、アップレート器（１０３），（１０４）でフレーム＃１およびフレーム＃２をそれぞれアップレートしているが、これに限らず、アップレート器（１０３），（１０４）でフレーム＃１およびフレーム＃２をそれぞれアップレートした後、アップレートしたフレーム＃１およびフレーム＃２を基に、位置推定部（１０１）が位相差（１０２）を求めてもよい。
【００２４】
図４に、本発明の第１の実施例の動作を示す。図４は、第１の実施例において、１次元の周波数領域で、各成分の周波数スペクトルを示した図であり、（ａ）は、各成分の位相関係を示す図であり、（ｂ）は、原成分の位相関係を示す図であり、（ｃ）は、折返し成分の位相関係を示す図である。同図は、図１に示した遅延器(105)(107)とπ/2位相シフト器(106)(108)の各出力を1次元の周波数領域で示したものである。
【００２５】
同図(a)において、遅延器(105)(107)から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、原成分(401)(402)と、元のサンプリング周波数(fs)から折り返された折返し成分(405)(406)を加えた信号となる。このとき、折返し成分(406)は上述の位相差θ(102)だけ位相が回転している。一方、π/2位相シフト器(106)(108) から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、π/2位相シフト後の原成分(403)(404)と、π/2位相シフト後の折返し成分(407)(408)を加えた信号となる。同図(b)および同図(c)は、同図(a)に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。ここで、同図(b)に示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図(c)に示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。この係数決定方法の詳細については後述する。
【００２６】
図５に、本発明の第１の実施例に用いるアップレート器(103)(104)の動作を示す。同図において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、アップレート器(103)(104)の「周波数-利得」特性を示している。ここで、アップレート器(103)(104)では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数とし、もとの画素間隔のちょうど中間の位置に新しい画素のサンリング点(=ゼロ点)を挿入することによって画素数を2倍にして高密度化するとともに、-fs〜+fsの間の周波数をすべて利得2.0の通過帯域とするフィルタをかける。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
【００２７】
図6に、本発明の第1の実施例に用いるアップレート器(103)(104)の具体例を示す。同図は、図5に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的に知られているsinc関数となり、サンプリングの位相差θ(102)を補償するために(-θ)だけシフトし、Ck=2sin(πk+θ)/(πk+θ)とすればよい。なお、アップレート器(103)では、位相差θ(102)を0とおき、Ck=2sin(πk)/(πk)とすればよい。また、位相差θ(102)を、整数画素単位(2π)の位相差+小数画素単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償については上記アップレート器(103)(104)のフィルタを用いてもよい。
【００２８】
図７に、本発明の第1の実施例に用いるπ/2位相シフト器(106)(108)の動作例を示す。（ａ）は、「周波数‐利得」特性を示す図であり、（ｂ）は、「周波数‐位相差」特性を示す図である。π/2位相シフト器(106)(108)として、一般に知られているヒルベルト変換器を用いることができる。同図(a)において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、ヒルベルト変換器の「周波数-利得」特性を示している。ここで、ヒルベルト変換器では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数として、-fs〜+fsの間の0を除く周波数成分をすべて利得1.0の通過帯域とする。また、同図(b)において、横軸は周波数を、縦軸は位相差(入力信号位相に対する出力信号位相の差)を表し、ヒルベルト変換器の「周波数-位相差」特性を示している。ここで、0〜fsの間の周波数成分についてはπ/2だけ位相を遅らせ、0〜-fsの間の周波数成分についてはπ/2だけ位相を進ませる。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
【００２９】
図８に、本発明の第１の実施例に用いるπ/2位相シフト器(106)(108)をヒルベルト変換器で構成した例を示す。同図は、図７に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ckは、k=2m(ただしmは整数)のときはCk=0とし、k=2m+1のときはCk=-2/(πk)とすればよい。
【００３０】
なお、本発明の第1の実施例に用いるπ/2位相シフト器(106)(108)は、微分器を用いることも可能である。この場合、正弦波を表す一般式cos(ωt+α)をtで微分して1/ωを乗じると、d(cos(ωt+α))/dt*(1/ω)=-sin(ωt+α)=cos(ωt+α+π/2)となり、π/2位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、1/ωの「周波数-振幅」特性を持ったフィルタを掛けることによってπ/2位相シフトの機能を実現してもよい。
【００３１】
図９に、本発明の第１の実施例に用いる係数決定器(109)の動作と具体例を示す。（ａ）は、各成分における条件を示し、（ｂ）は、各係数の条件を示し、（ｃ）は、（ａ）および（ｂ）の条件から導き出される各係数の式を示し、（ｄ）は、各係数の具体値の例を示す 同図(a)に示すように、図４(b)に示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図４(c)に示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。図１に示すように、遅延器(105)の出力(アップレート後のフレーム#1の原成分と折返し成分の和)に対する係数をC0、π/2位相シフト器(106)の出力(アップレート後のフレーム#1の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC1、遅延器(107)の出力(アップレート後のフレーム#2の原成分と折返し成分の和)に対する係数をC2、π／２位相シフト器(106)の出力(アップレート後のフレーム#2の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC3、として図9(a)の条件を満たすようにすると、図4(b)および図4(c)に示した各成分の位相関係から、図9(b)に示す連立方程式を得ることができ、これを解くと図9(c)に示す結果を導くことができる。係数決定器(109)は、このようにして得た係数C0、C1、C2、C3を出力すればよい。一例として、位相差θ(102)をπ/8ごとに0〜2πまで変化させたときの係数C0、C1、C2、C3の値を、図9(d)に示す。これは、もとのフレーム#2の信号を、1/16画素の精度で位置推定し、フレーム#1に対して動き補償した場合に相当する。
【００３２】
なお、アップレート器(103)(104)およびπ/2位相シフト器(106)(107)は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数(例えばハニング窓関数やハミング窓関数など)を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、C0を中心として左右点対象の値、すなわちC(-k)=-Ck(kは整数)とすれば、位相を一定量だけシフトすることができる。
【００３３】
以上のように各部を構成すれば、好適に、すなわちより少ないフレーム数で、かつ簡単な構成で高解像度化を実現することができる。
【実施例２】
【００３４】
図１０に、本発明の第２の実施例に係る位相シフト部および折返し成分除去部の構成を示す。同図に示した構成は、図９(c)に示した係数C0、C1、C2、C3の関係を利用して、図１に示した構成を簡略化したものである。すなわち、C0=C2=1/2であり、C1=-C3=-(1+cosθ)/sinθであることから、アップレート後のフレーム#1と動き補償・アップレート後のフレーム#2の各信号から、加算器(1001)と減算器(1004)により和と差の信号を生成する。和信号については、fs遮断フィルタ(1002)を介したのちに、乗算器(1003)にてC0(=0.5)を掛けて加算器(1008)に入力する。ここで、fs遮断フィルタ(1002)は、アップレート前のサンプリング周波数(fs)の成分を零点として遮断するフィルタであり、例えば同図の(1011)に示すタップ係数を用いることにより実現できる。このfs遮断フィルタ(1002)は、図7(a)に示したようにヒルベルト変換器(1005)の「周波数-利得」特性にて周波数fsの利得が零点になるために折返し成分を除去できず、周波数fsの不要成分が残留してしまうことを防ぐのが目的である。従って、周波数fsの成分も含めてπ/2位相シフトできる手段をヒルベルト変換器(1005)の替わりに用いれば、このfs遮断フィルタ(1002)は不要になる。
【００３５】
一方、差信号については、ヒルベルト変換器(1005)にて位相を一定量(=π/2)だけシフトしたのちに、係数決定器(1007)にて位相差(102)に基づいて決定した係数C1を乗算器(1006)で乗算し、加算器(1008)にて加算して出力を得る。ここで、ｆｓ遮断フィルタ(1002)とヒルベルト変換器(1005) を有す位相シフト部(1009)は、図１に示した位相シフト部(116)の半分の回路規模で実現できる。また、係数決定器(1007)は図９(c)に示した係数C1だけを出力すればよく、加算器(1001)、減算器(1004)、乗算器(1003)(1006)、加算器(1008)、係数決定器(1007) を有す折返し成分除去部(1010)は乗算器の個数を減らすことができるため、図１に示した折返し成分除去部(117)よりも小さい回路規模で実現できる。
【実施例３】
【００３６】
図１１に、本発明の第３の実施例を示す。同図に示す構成は、図９(d)に示したように位相差θが0のときに係数C1、C3が不定になることや、位相差θが0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図１０に示した構成をベースとして、位相差θが0近傍になったときに補助的画素補間部(1105)からの出力に切り替えるように構成したものである。すなわち、一般的な補間ローパスフィルタ(1101)をバイパス経路として用意し、係数決定器(1103)にて上述した係数C0、C1のほかに新たにC4を生成して、乗算器(1102)にて補間ローパスフィルタ(1101)の出力と係数C4を乗算し、加算器(1104)で高解像度化した信号に加えて出力する。それ以外は、図１０に示した構成と同一である。
【００３７】
図１２に、本発明の第３の実施例に用いる補間ローパスフィルタ(1101)の具体例を示す。同図は、もとのサンプリング周波数fsの1/2をカットオフ周波数とする周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的なsinc関数となり、Ck=sin(πk/2)/(πk/2)とすればよい。
【００３８】
図１３に、本発明の第3の実施例に用いる係数決定器(1103)の具体例を示す。同図は、図9(d)に示した係数C0、C1をベースとし、通常は新たな係数C4を0としているが、位相差θが0近傍になったときに、係数C1の値を強制的に0にするとともに、係数C4の値を1.0とする動作を示している。この動作により、図１１に示す構成において、位相差θ(102)が0近傍になったときに、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えることができるようになる。なお、位相差θが0に近づくとともに、図１２に示した係数から図１３に示した係数に連続的に徐々に近づけるようにしてもよい。また、図１における位置推定部(101)にて、フレーム#1上の処理対象の画素に対応した画素がフレーム#2上にないと判定された場合も、位相差θ(102)が0近傍になったときと同様に各係数を制御して、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えてもよい。
【実施例４】
【００３９】
図１４に、本発明の第４の実施例を示す。同図は、上記第１の実施例の動作のフローチャートである。このフローチャートの方法は、例えば、上記第１の実施例のような構成で実施してもよく、また、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラム等で実施してもよい。以下、各部の名称および符号は、図１に準ずることとする。また、図１４のステップＳ１４０１〜ステップＳ１４１７をステップＳ５、図１５のステップＳ１５０１〜ステップＳ１５１７をステップＳ５’、および図１６とのステップＳ１５０１〜ステップＳ１５１７をステップＳ５’’とする。
【００４０】
なお、図１では、位置推定部（１０１）で位相差（１０２）を求めた後、アップレート器（１０３），（１０４）でフレーム＃１およびフレーム＃２をそれぞれアップレートしているが、前記したように、アップレート器（１０３），（１０４）でフレーム＃１およびフレーム＃２をそれぞれアップレートした後、アップレートしたフレーム＃１およびフレーム＃２を基に、位置推定部（１０１）が位相差（１０２）を求めてもよい。図１４と、後記する図１５および図１６では、アップレート器（１０３），（１０４）でフレーム＃１およびフレーム＃２をそれぞれアップレートした後、アップレートしたフレーム＃１およびフレーム＃２を基に、位置推定部（１０１）が位相差θ（１０２）を求める例を説明するが、位置推定とアップレートの順番が入れ替わってもよいことは、当然である。
【００４１】
同図において、処理はステップ(1401)から開始し、ステップ(1418)にて、動き補償・アップレート部１１５が、各フレームの画像データを２倍にアップレートする。すなわち、ステップ(1402)にて、アップレート器１０３が、フレーム#1の画像データをアップレートしてフレームバッファ#1に書込み、ステップ(1403)にて、アップレート器１０４が、フレーム#2の画像データをアップレートしてフレームバッファ#2に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦0でクリアしたのちに、1画素おきにデータを書き込むことにより実現できる。また、フレームバッファとは、アップレートされた画像データ（フレーム）を、ＲＡＭ（Random Access memory）や、ＨＤ（Hard Disk）などに一時的に記憶することである。
【００４２】
次に、ステップ(1404)にて、解像度変換部２は、フレームバッファ#1の最初の画素(例えば左上の画素)を処理対象に設定して、以下、フレームバッファ#1に対するすべての画素データの処理が終わるまで、処理をループする。
【００４３】
ステップ(1405)では、位置推定部１０１が、フレームバッファ#1の対象画素を基準にしてフレームバッファ#2の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、上記の従来技術をそのまま用いることができる。
【００４４】
ステップ(1406)では、動き補償・アップレート部１１５が、ステップ(1405)で求めた位相差θをもとに、フレームバッファ#2の中の対応する画素の近傍の画素を動き補償する。このとき、近傍の画素として、ステップ(1408)のπ/2位相シフトの処理で用いる画素データ、すなわち有限のタップ数が作用す
る範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図5および図6を用いて説明した動作と同一である。
【００４５】
続いて、ステップ(1419)にて、位相シフト部１１６が、フレームバッファ#1と動き補償したフレームバッファ#2に対して、位相を一定量だけシフトする。すなわち、ステップ(1407)(1408)により、π／２位相シフト器１０６，１０８が、各フレームバッファの中の画素データをπ/2位相シフトする。
【００４６】
続いて、ステップ(1420)にて、折返し成分除去部１１７が、位相差θに基づいて図９(a)(b)(c)の条件を満たすように設定した係数C0、C1、C2、C3を用いて、ステップ(1419)の出力データそれぞれに乗算し、これらを加算をすることにより、フレームバッファ#1、#2の画素データから折返し成分を除去し、フレームバッファ#3に出力する。すなわち、ステップ(1409)にて、係数決定機１１９が、位相差θをもとに係数C0、C1、C2、C3を決定し、ステップ(1410)(1411)(1412)(1413)にて、乗算器１１０〜１１３が、各係数とフレームバッファ#1、#2の画素データおよびπ/2位相シフト後のデータとそれぞれ乗算したのち、ステップ(1414)にて、加算器１１４が、すべてを加算して、フレームバッファ#3に出力する。この折返し成分除去部（１１７）のの動作は、図9を用いて説明した動作と同一である。
【００４７】
続いて、ステップ(1415)にて、解像度変換部２は、フレームバッファ#1の全画素の処理が完了したかどうかを判定し、完了していなけれ（Ｓ１４１５→Ｎｏ）ば、ステップ(1416)で次の画素(例えば右隣の画素)を処理の対象に設定してステップ(1405)以降に戻り、完了していれば（Ｓ１４１５→Ｙｅｓ）ステップ(1417)にて処理を終了する。
【００４８】
以上のような処理を行うことにより、解像度変換部２は、フレームバッファ#1とフレームバッファ#2の画素データを用いて、フレームバッファ#3に高解像度化した信号を出力することができる。動画に応用する場合は、解像度変換部２が、ステップ(1401)からステップ(1417)に至る処理を、フレームごとに繰り返せばよい。
【実施例５】
【００４９】
図１５に、本発明の第5の実施例を示す。上記第２の実施例の動作のフローチャートである。このフローチャートの方法は、例えば、上記第２の実施例のような構成で実施してもよく、また、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラム等で実施してもよい。以下、各部の名称および符号は、図１に準ずることとする。なお、ステップＳ１５０１〜ステップＳ１５１７をステップＳ５とする。
【００５０】
同図において、処理はステップ(1501)から開始し、ステップ(1518)にて、動き補償・アップレート部１１５が、各フレームの画像データをアップレートする。すなわち、ステップ(1502)にて、アップレート器１０４が、フレーム#1の画像データをアップレートしてフレームバッファ#1に書込み、ステップ(1503)にて、アップレート器１０３が、フレーム#2の画像データをアップレートしてフレームバッファ#2に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦0でクリアしたのちに、1画素おきにデータを書き込むことにより実現できる。
【００５１】
次に、ステップ(1504)にて、解像度変換部２が、フレームバッファ#1の最初の画素(例えば左上の画素)を処理対象に設定して、以下、フレームバッファ#1のすべての画素データの処理が終わるまで、処理をループする。
【００５２】
ステップ(1505)では、位置推定部１０１が、フレームバッファ#1の対象画素を基準にしてフレームバッファ#2の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、上記の従来技術をそのまま用いることができる。
【００５３】
ステップ(1506)では、動き補償・アップレート部１１５が、ステップ(1505)で求めた位相差θ（102）をもとに、フレームバッファ#2の中の対応する画素の近傍の画素を動き補償する。このとき、「近傍の画素」として、ステップ(1510)のヒルベルト変換の処理で用いる画素データ、すなわち有限のタップ数が作用する範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図５および図６を用いて説明した動作と同一である。
【００５４】
続いて、ステップＳ（１５１９）およびステップ(1520)にて、折返し成分除去部１０１０および位相シフト部１００９が、位相差θに基づいて、位相を一定量だけシフトし、フレームバッファ#1、#2の画素データから折返し成分を除去し、フレームバッファ#3に出力する。まず、ステップ(1507)にて、加算部１００１が、、フレームバッファ#1の画素データの値と動き補償したフレームバッファ#2の画素データの値を加算し、ステップ(1509)にて、ｆｓ遮断フィルタ１００２が、周波数fsの成分を遮断する。このfs遮断フィルタ(1509)の動作は、図１0に示した(1002)の動作と同一である。
【００５５】
また、ステップ(1508)にて、減算部１００４が、フレームバッファ#1の画素データの値から動き補償したフレームバッファ#2の画素データの値を減算する。ここで、減算した結果に対して、ステップ(1519)にて位相を一定量だけシフトする。すなわち、同様に減算した近傍のデータも用いて、ステップ(1510)にて、ヒルベルト変換器１００５が、ヒルベルト変換する。この位相シフトの動作（ステップＳ１５１９）は、図７および図８を用いて説明した動作と同一である。
【００５６】
続いて、ステップ(1511)にて、乗算部１００３が、ｆｓ成分遮断後のデータに係数C0(=0.5)を乗算するとともに、ステップ(1512)にて、係数決定器１００７が、位相差θをもとに係数C1を決定し、ステップ(1513)にて、乗算部１００６が、係数C1とヒルベルト変換後のデータを乗算したのち、ステップ(1514)にて、加算部１００８が、両者のデータを加算して、フレームバッファ#3に出力する。この折返し成分除去の動作は、図１０を用いて説明した動作と同一である。
【００５７】
続いて、ステップ(1515)にて、解像度変換部２は、フレームバッファ#1の全画素の処理が完了したかどうかを判定し、完了していなければ（Ｓ１５１５→Ｎｏ）、ステップ(1516)で次の画素(例えば右隣の画素)を処理の対象に設定してステップ(1505)以降に戻り、完了していれば（Ｓ１５１５→Ｙｅｓ）ステップ(1517)にて処理を終了する。
【００５８】
以上のような処理を行うことにより、解像度変換部２は、フレームバッファ#1とフレームバッファ#2の画素データを用いて、フレームバッファ#3に高解像度化した信号を出力することができる。動画に応用する場合は、解像度変換部２が、ステップ(1501)からステップ(1517)に至る処理を、フレームごとに繰り返せばよい。
【実施例６】
【００５９】
図１６に、本発明の第６の実施例を示す。上記第３の実施例の動作のフローチャートである。このフローチャートの方法は、例えば、上記第３の実施例のような構成で実施してもよく、また、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラム等で実施してもよい。同図に示した処理ステップの動作は、図9(d)に示したように位相差θが0のときに係数C1、C3が不定になることや、位相差θが0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図１5に示した処理ステップをベースとして、位相差θが0近傍になったときにステップ(1606)の処理結果をフレームバッファ#3に出力するように構成したものである。すなわち、ステップＳ（１５０５）の後、ステップ(1601)にて、係数決定器１１０３が、位相差θをもとに係数C0、C1、C4を決定し、ステップＳ１５０４の後、ステップ(1602)にて、補間ローパスフィルタ１１０１が、フレームバッファ#1の中の対象の画素データとその近傍の画素データを用いて一般的な補間ローパスフィルタ処理を行ったのちに、ステップ(1603)にて、乗算部１１０２が、補間ローパスフィルタ処理を行った画素データに、係数C4を乗算して、ステップ(1604)にて、加算器１１０４が、ステップＳ１６０３の出力に、ステップ(1511)(1513)の出力と加算してフレームバッファ#3に出力する。それ以外は、図１５に示した処理ステップと同一である。なお、ステップ(1601)での係数決定の動作は、図１３を用いて説明した動作と同一である。また、ステップ(1602)での補間ローパスフィルタの動作は、図１２を用いて説明した動作と同一である。
【００６０】
なお、図１４、図１５、図１６に示した処理ステップを動作させるハードウェアは、信号入出力部(I/O)、CPU(Central Processing Unit)やDSP(Digital Signal Processor)などの信号処理LSI、フレームバッファ(メモリ)から構成される一般的な映像処理機器やコンピュータ等により容易に実現できるため、図示は省略する。
【００６１】
以上のような技術により、複数の画像フレームを合成することにより不要な折返し成分を除去して高解像度化を行う装置において、少なくとも２枚のフレーム画像があれば、１次元方向の２倍の高解像度化行う画像信号処理を実現できる。
【００６２】
図１7を用いて、本発明の一実施の態様と上記従来技術の動作の違いを説明する。図１７は、本実施例と従来技術の動作の違いを説明するための図であり、（ａ）は、各入力画像を示す図であり、（ｂ）は、各サンプリング位相を示す図であり、（ｃ）は、折返し成分の位相関係を示す図である。同図(a)において、フレーム#1(1701)からフレーム#5(1705)の間に、被写体が右方向に移動するような入力画像を用意する。この際、同図(b)に示すように、各フレームにおけるサンプリング位相を見ると、フレーム#1(1701)とフレーム#2(1702)の間では対応画素の位置が1/4画素(=π/2)ずれており、フレーム#1(1701)とフレーム#3(1703)の間では対応画素の位置が1画素(=2π)ずれており、フレーム#1(1701)とフレーム#4(1704)の間では対応画素の位置が5/4画素(=5π/2)ずれており、フレーム#1(1701)とフレーム#5(1705)の間では対応画素の位置が2画素(=4π)ずれているように、意図的に被写体を移動させる。このとき、各フレーム上の信号に含まれるそれぞれの折返し成分の位相は、フレーム#1(1701)上の信号に含まれる折返し成分の位相を基準にして、同図(c)のように表すことができる。この入力画像(a) （フレーム＃１ １７０１〜フレーム＃５ １７０５）に対して2倍の高解像度化を行う場合、上記従来技術では、フレーム#1(1701)からフレーム#5(1705)の中のどの3フレームを用いても折返し成分のベクトル和を0にすることができないため、高解像度化は実現できない。一方、本実施例１〜６を用いれば、例えば、隣接する２フレーム(例：フレーム#1(1701)とフレーム#2(1702))を用いて折返し成分のベクトル和を0にできるため、高解像度化を実現できる。すなわち、同図(a)の入力画像をテストパターンとして用いることにより、本実施例１〜６の動作状況を確認することができる。
【実施例７】
【００６３】
上記では２フレームの信号を用いて２倍の高解像度化を説明したが、同様にｎフレーム(ｎは２以上の整数)の信号を用いてｎ倍の高解像度化を実現できる。この際に、図９(a)に示したように、原成分の和のRe軸=1、原成分の和のIm軸=0、の条件とともに、もとのサンプリング周波数(fs)の1〜(n-1)倍の周波数からそれぞれ折り返された(ｎ−１)個の折返し成分のベクトル和をそれぞれ0と置いて、連立方程式を解けばよい。以下、図１８と図１９を用いて上記を詳細に説明する。
【００６４】
図１８に、ｎフレーム(ｎは２以上の整数)の信号を用いてｎ倍の高解像度化を行う画像信号処理装置の実施例を示す。同図において、まず位置推定部(1801) の位置推定器（１８０１−１〜１８０１−（ｎ−１））により、入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、入力されたフレーム#2〜フレーム#n上の対応する画素の位置を推定し、位相差θ1(1802-1)〜位相差θ(n-1)(1802-(n-1))を求める。次に、動き補償・アップレート部(1806)のアップレート器(1803-0)〜(1803-(n-1))により、各位相差θの情報を用いてフレーム#2〜フレーム#nを動き補償してフレーム#1と位置を合わせるとともに、各フレームの画素数をそれぞれn倍に増して高密度化する。位相シフト部(1807)では、この高密度化したデータの位相を一定量だけシフトして、信号Si0〜Si(n-1)とする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器(1805-0)〜1805-(n-1))を用いることができる。また、各π/2位相シフト器（１８０５−０〜１８０５−（ｎ−１））で生じる遅延を補償するために、遅延器(1804-0)〜(1804-(n-1))により高密度化した各フレームの信号を遅延させて、信号Sr0〜Sr(n-1)とする。折返し成分除去部(1808)では、これらの信号Si0〜Si(n-1)、Sr0〜Sr(n-1)、位相差θ1〜θ(n-1)を用いて折返し成分除去のための演算を行い、出力を得る。なお、位置推定部(1801) における位置推定器（１８０１−１〜１８０１−（ｎ−１））は、上記従来技術をそのまま用いて実現することができる。また、動き補償・アップレート部(1806)、位相シフト部(1807)については、図５〜図８に示した内容をもとに、図中の周波数をfsからfs*n/2に変更することによって容易に類推して実現可能なため、図示は省略する。なお、位相シフト部(1807)にて、fs*n/2の周波数の利得が零点になって折返し歪を除去できない場合は、fs*n/2の周波数の利得が零点になる遮断フィルタを用いたほうがよい。この遮断フィルタは、遅延器(1804-0)〜(1804-(n-1))の位置に挿入してもよいが、折返し成分除去部(1808)の出力の位置に挿入しても同様の効果が得られることは明らかである。
【００６５】
なお、図１８においても、図１と同様に、位置推定器（１８０１−１〜１８０１−（ｎ−１））と、アップレート器（１８０３−１〜１８０３−（ｎ−１））とのそれぞれの位置が入れ替わり、フレーム＃１〜フレーム＃ｎをそれぞれアップレートした後、位置推定器（１８０１−１〜１８０１−（ｎ−１））で各位相差θ（１８０２−１〜１８０２−（ｎ−１））を求めてもよい。
【００６６】
図１９に、折返し成分除去部(1808)の動作の詳細を示す。（ａ）は、折返し成分除去した出力を得るための計算式であり、（ｂ）は、係数を求めるための計算式である。
【００６７】
同図(a)に、信号Si0〜Si(n-1)、Sr0〜Sr(n-1)、位相差θ1〜θ(n-1)を用いて折返し成分除去した出力を得るための計算式を示す。ここで、Ci0〜Ci(n-1)、Cr0〜Cr(n-1)は、それぞれ信号Si0〜Si(n-1)、Sr0〜Sr(n-1)に乗じる係数である。
【００６８】
同図(b)に、これらの係数Ci0〜Ci(n-1)、Cr0〜Cr(n-1)を求めるための計算式を示す。同計算式は、左辺、右辺ともにマトリクス形式になっており、上から2行ごとに、原成分、サンプリング周波数(fs)の成分、サンプリング周波数(fs)の2倍の成分、以下同様に、サンプリング周波数(fs)の(n-1)倍までの成分を示しており、各1行目(奇数行)はRe軸、各2行目(偶数行)はIm軸の各成分を示している。同計算式の左辺のマトリクスは、原成分のRe軸の和が１であり、その他の成分はすべて０であることを示している。同計算式の右辺はマトリクスの積演算になっている。右辺の左側のマトリクスは、左から2列ごとに、フレーム#1のサンプリング位相(基準)、フレーム#2とフレーム#1とのサンプリング位相差、以下同様に、フレーム#nとフレーム#1のサンプリング位相差に応じて長さ1のベクトルを回転させることを示しており、各1列目(奇数列)はRe軸、各2列目(偶数列)はIm軸にそれぞれ長さ1のベクトルを射影した際の値を示している。ここで、上から2行ごとに、サンプリング周波数に比例してサンプリング位相差(回転角)が大きくなる特徴がある。右辺の右側のマトリクスは求めたい係数である。すなわち、同図(b)に示す計算式は、不要な折返し成分を除去して原成分のRe軸のみを抽出するために、フレーム#1〜フレーム#nの各成分に適切な係数を乗じてベクトル和をとる、ということを示している。従って、同図(b)の逆マトリクス演算によって係数Ci0〜Ci(n-1)、Cr0〜Cr(n-1)を求め、その係数を同図(a)に代入して演算することによって不要な(n-1)個の折返し成分を除去することができ、n倍の高解像度化を実現できる。この際、n=2とおけば、図１８に示した構成は図１に示した構成と一致し、図１９に示した計算式は図９に示した計算式と一致する。
【００６９】
上記第７の実施例の動作のフローチャートは、例えば、図１４に示した実施例(フローチャート)の入力フレーム数を２からnとし、＃２から＃nまでにおける任意のの＃kのフレームについて、フレームのデータをフレームバッファ＃kに書き込むステップ、フレームバッファ#1の対象画素を基準にしてフレームバッファ＃kの対応画素の位置を推定し、位相差θを出力するステップ、位相差θをもとに、フレームバッファ＃kの対応画素の近傍の画素を動き補償を行うステップ、動き補償後のデータを１フレームにつき２系統出力し、一方はそのままで他方をπ/2位相シフトするステップを各k分追加する。次に図１４のステップ1420を、フレーム＃1とフレーム＃kとの位相差θ(k-1)に応じて定めた各係数と各出力データとを乗算し、すべての乗算結果を加算するステップとすればよい。
【００７０】
また、上記第７の実施例の動作のフローチャートは、例えば、図１５、図１６に示した実施例(フローチャート)の入力フレーム数を２からnとしてもよい。すなわち、＃２から＃nまでにおける任意の＃kのフレームについて、フレームのデータをフレームバッファ＃kに書き込むステップ、フレームバッファ#1の対象画素を基準にしてフレームバッファ＃kの対応画素の位置を推定し、位相差θを出力するステップ、位相差θをもとに、フレームバッファ＃kの対応画素の近傍の画素を動き補償を行うステップを追加する。つぎに、図１５、図１６のステップ1506から出力される２系統の出力が、ｎが１増えるごとに２ずつ増える。これらの出力データ各々に乗算する係数をフレーム＃1とフレーム＃kとの位相差θ(k-1)に応じて定める。最後に図１５のステップ1520をフレーム＃1とフレーム＃kとの位相差θ(k-1)に応じて定めた各係数と各出力データとを乗算し、すべての乗算結果を加算するステップとすればよい。または、図１６のステップ1605を、フレーム＃1とフレーム＃kとの位相差θ(k-1)に応じて定めた各係数と各出力データとを乗算し、補間ローパスフィルタ1602の出力と係数Ｃ４との積と、すべての乗算結果とを加算するステップとすればよい。
【００７１】
上記第７の実施例の動作は、上記第７の実施例のような構成で実施しなくとも、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラム等で実施してもよい。
なお、上記では水平方向の高解像度化を例に挙げて説明したが、本発明の各実施例は、これに限定されるわけではなく、垂直方向や斜め方向の高解像度化に適用することが可能である。例えば、本発明をインタレース-プログレッシブ走査変換(I-P変換)に適用することにより、2枚のフィールド画像から1枚のフレーム画像を生成することができる。すなわち、フィールド画像を「走査線数が1/2のフレーム画像」と見なして本発明を適用することにより、静止画・動画に関わらず、画像1枚あたりの走査線数を2倍(すなわち、垂直方向の解像度を２倍)にした出力画像を得ることができる。また、水平・垂直方向を組み合わせた2次元の高解像度化にも適用可能である。
【実施例８】
【００７２】
図２０に、本発明の第8の実施例に係る画像信号処理装置を示す。本実施例に係る画像処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部(1)と、この入力部(1)から入力されたフレームを水平・垂直方向を組み合わせた2次元の高解像度化するための解像度変換部(4)と、更にこの解像度変換部(4)によって高解像度化されたフレームに基づき画像を表示する表示部(3)とを備えている。この解像度変換部(4)では、水平方向および垂直方向のそれぞれに解像度変換処理を行い、それぞれの結果のうち解像度向上効果が大きい成分を選択的に、もしくは混合させて出力することにより、2次元の高解像度化を実現する。以下、解像度変換部(4)の詳細について説明する。
図２０において、入力部(1)に入力されたフレーム#1(2010)とフレーム#2(2013)をもとに、水平解像度変換部(2001)と垂直解像度変換部(2005)を用いて、水平方向の画素数を増加させたフレーム(2011)と垂直方向の画素数を増加させたフレーム(2014)をそれぞれ生成する。ここで、各解像度変換部(2001)(2005)は、図１に示した解像度変換部(2)の構成をそのまま用いて、水平方向および垂直方向の信号処理をそれぞれ行う。この際、水平解像度変換部(2001)では、図１に示したアップレート器(103)(104)、遅延器(105)(107)、π/2位相シフト器(106)(108)は、それぞれ水平方向のアップレート、遅延、π/2位相シフトを行うように構成する。同様に、垂直解像度変換部(2005)では、図１に示したアップレート器(103)(104)、遅延器(105)(107)、π/2位相シフト器(106)(108)は、それぞれ垂直方向のアップレート、遅延、π/2位相シフトを行うように構成する。これらは、図5〜図8に示した動作と従来技術等とを用いて実施可能である。
【００７３】
本実施例では、被写体が水平・垂直方向の2次元的に移動したことを想定し、図１および図２に示した動作を2次元に拡張する。すなわち、水平解像度変換部(2001)の中の位置推定部(図１中の(101))および動き補償・アップレート部(図１中の(115))では、フレーム#1上の被写体を基準としてフレーム#2上の被写体を2次元的に動き補償するとともに、各フレームの画素のサンプリング位相差のうち、水平位相差θHを折返し成分除去部(図１中の(117))の係数決定に用いる。同様に、垂直解像度変換部(2005)の中の位置推定部(図１中の(101))および動き補償・アップレート部(図１中の(115))では、フレーム#1上の被写体(2016)を基準としてフレーム#2上の被写体(2017)を2次元的に動き補償するとともに、各フレームの画素のサンプリング位相差のうち、垂直位相差θVを折返し成分除去部(図１中の(117))の係数決定に用いる。折返し成分除去部(図１中の(117))の係数決定は、図9に示した動作をそのまま用いればよい。
【００７４】
被写体が斜め方向に移動した場合を想定すると、水平解像度変換部(2001) によって水平方向の画素数を増加させたフレーム(2011)には斜め方向の歪が含まれることになるが、もともとの入力信号の垂直周波数が低い成分(縦線など)では、この歪が無視できる程度に小さい。同様に、垂直解像度変換部(2005) によって垂直方向の画素数を増加させたフレーム(2014)には斜め方向の歪が含まれることになるが、もともとの入力信号の水平周波数が低い成分(横線など)では、この歪が無視できる程度に小さい。
【００７５】
この特性を利用し、上記の信号処理に従って水平方向の画素数を増加させたフレーム(2011)は、垂直アップレート器(2002)および画素補間器(2003)からなる垂直補間部(2004)によりフレーム(2012)を生成し、SR(水平)信号とする。ここで画素補間器(2003)は、補間したい画素の上下の画素データの平均値を出力するような、一般的な垂直ローパスフィルタを用いればよい。同様に、垂直方向の画素数を増加させたフレーム(2014)は、水平アップレート器(2006)および画素補間器(2007)からなる水平補間部(2008)により、フレーム(2015)を生成しSR(垂直)信号とする。ここで、画素補間器(2007)は、補間したい画素の左右の画素データの平均値を出力するような、一般的な水平ローパスフィルタを用いればよい。このように、画素補間器(2003)(2007)を用いて、処理対象の方向と直交する方向の高周波成分を除去して低周波成分だけを抽出すれば、上述した斜め方向に移動した際に発生する歪の影響を無視できる程度に小さくすることができる。上記の処理によって生成したSR(水平)信号とSR(垂直)信号を混合器(2009)によって混合して出力信号とし、表示部(3)にて表示する。混合器(2009)の詳細な構成および動作については後述する。
【実施例９】
【００７６】
図２１に、本発明の第9の実施例に係る画像信号処理装置を示す。本実施例に係る画像処理装置は、上述した第8の実施例の構成を変形したものであり、図２０に示した解像度変換部(2001)(2005)と補間部(2004)(2008)の処理順序を逆にして、補間処理を行ったのちに解像度変換を行うように構成したものである。これにより、解像度変換部(2001)(2005)の中にあるアップレート器(図１中の(103)(104))と、補間部(2004)(2008)の中にあるアップレート器(図２０中の(2002)(2006))を共通化するとともに、水平解像度変換部(2001)と垂直解像度変換部(2005)の中にあるそれぞれの位置推定部(図１中の(101))を共通化できるため、より小さい回路規模および演算量で同様の信号処理を実現できるようになる。
図２１において、まず位置推定部(2101)により、入力部(1)に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、水平方向と垂直方向のそれぞれのサンプリング位相差θH(2102)、θV(2103)を求める。次に、動き補償・アップレート部(2110)の水平・垂直アップレート器(2104)(2105)により、位相差θH(2102)、θV(2103)の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ水平・垂直ともに2倍(合計4倍)に増して高密度化する。水平・垂直アップレート器(2104)(2105)は、図5および図6に示した動作・構成を水平・垂直方向の2次元に拡張したものであり、容易に実施可能なため、図示は省略する。位相シフト部(2111)では、この高密度化したデータの位相を一定量だけシフトする。このとき、水平位相シフト器(2106)は水平方向の位相シフトを行い、垂直位相シフト器(2107)は垂直方向の位相シフトを行うものであり、図1に示した遅延器(105)(107)およびπ/2位相シフト器(108)と図7および図8に示した動作・構成と同様に実施できる為、図示は省略する。位相シフトした各信号に対し、折返し成分除去部(2112)における水平方向の折返し成分除去部(2108)および垂直方向の折返し成分除去部(2109)にてそれぞれ水平・垂直方向の折返し成分を除去する。次に水平方向の折返し成分除去部(2108)の出力を画素補間器(2003)を用いて画素補間してSR(水平)信号ととし、垂直方向の折返し成分除去部(2109)の出力を画素補間器(2007)を用いて画素補間してSR(垂直)信号ととし、これらを混合器(2009)で両者を混合して出力とする。折返し成分除去部(2108)(2109)は、図1に示した折返し成分除去部(117)の構成をそのまま用いることができる。位相差θ(102)として、折返し成分除去部(2108)では水平位相差θH(2102)を用い、折返し成分除去部(2109)では水平位相差θH(2103)を用いて図9に示した動作を行うことにより、それぞれの方向の折返し成分を除去することができる。
【００７７】
図２２に、混合器(2009)の第1の構成例を示す。同図において、混合器２００９は、加算器(2201)と乗算器(2202)を用いて、混合器(2009)に入力されたSR(水平)とSR(垂直)の各信号の平均値を生成して出力する。同図に示す構成は、混合器(2009)を最も簡単に構成した例であるが、水平・垂直の各解像度向上効果もそれぞれ1/2になってしまう。
【００７８】
図２３に、混合器(2009)の第2の構成例を示す。同図において、混合器(2009)に入力されたSR(水平)とSR(垂直)の各信号に対し、混合器２００９は、乗算器(2303)および乗算器(2304)を用いて係数K(水平)と係数K(垂直)をそれぞれ乗じ、加算器(2305)で両者を加算して出力とする。係数K(水平)と係数K(垂直)は、それぞれ係数決定器(2301)(2302)にて生成する。以下、この係数決定器(2301)(2302)の動作について説明する。
【００７９】
図２１に示した折返し成分除去部(2108)(2109)は、同図に示す位相差θH(2102)および位相差θV(2103)をもとに、図1に示す係数決定器(109)にて図9に示す係数C0〜C3を発生して折返し成分除去の演算を行う。このとき、位相差θH(2102)、θV(2103)が0のときに係数C1およびC3が不定になることや、位相差θH(2102)、θV(2103)が0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図13に示す係数C4(0≦C4≦1)を導入して、図11に示す構成のように補助的画素補間を行うのが好ましい。逆に言えば、係数C4の値が0.0のときは解像度向上の効果があるが、係数C4の値が1.0に近づくにつれて、解像度向上の効果が小さくなることになる。この性質を利用し、水平位相差θH(2102)が0近傍(すなわち、係数C4(水平)が1.0近傍)のときは垂直解像度変換結果のSR(垂直)が強く反映され、垂直位相差θV(2103)が0近傍(すなわち、係数C4(垂直)が1.0近傍)のときは水平解像度変換結果のSR(水平)が強く反映されるように、水平・垂直方向それぞれの係数C4の値を用いて係数K(水平)と係数K(垂直)を決定する。この動作を実現するため、例えば図２３に示す係数決定器(2301)ではK(水平)=C4(水平)+(1-C4(垂直))/2の演算を行ってK(水平)を決定し、係数決定器(2303)ではK(垂)=C4(垂直)+(1-C4(水平))/2の演算を行ってK(垂直)を決定している。
【００８０】
図２４に、係数C4(水平)および係数C4(垂直)をそれぞれ変化させたときの係数決定器(2301)(2302)の出力(係数K(水平)および係数K(垂直))の一例をまとめて示す。同図に示すように、係数C4(水平)が大きくなると係数K(水平)が小さくなるとともに係数K(垂直)が大きくなり、係数C4(垂直)が大きくなると係数K(水平)が大きくなるとともに係数K(垂直)が小さくなるように動作する。係数C4(水平)と係数C4(垂直)の値が等しいときには、係数K(水平)と係数K(垂直)がそれぞれ0.5となる。このように水平・垂直で独立して変化する係数C4に対して、係数K(水平)と係数K(垂直)を足してちょうど1.0になるように係数Kを決定して、SR(水平)とSR(垂直)を混合する。
【００８１】
図２５および図２６を用いて、混合器(2009)の第3の動作および構成例をそれぞれ説明する。図２５は、水平周波数をμ、垂直周波数をνとして表した2次元周波数領域である。もとの入力画像の水平サンプリング周波数をμs、垂直サンプリング周波数をνsとすると、図２０および図２１に示した解像度変換部(4)の出力は、水平周波数μが-μs〜μsの範囲、垂直周波数νが-νs〜νsの範囲の信号となる。水平・垂直の各解像度変換により高周波成分が再生されるようになるが、高周波成分はもともと信号レベルが小さいため、水平解像度変換による効果が大きいのは(μ,ν)=(±μs/2, 0)の近傍の周波数領域(2501)の成分（特に(μ,ν)=(+μs/2, 0)を含み、μ＞０となる周波数の領域と、(μ,ν)=(-μs/2, 0)を含み、μ＜０となる周波数の領域の成分）となり、垂直解像度変換による効果が大きいのは(μ,ν)=(0, ±νs/2)の近傍の周波数領域(2502)の成分（特に(μ,ν)=(0, +νs/2)を含み、ν＞０となる周波数の領域と、(μ,ν)=(0, -νs/2)を含み、ν＜０となる周波数の領域の成分）となる。従って、これらの周波数成分(2501)(2502)を2次元フィルタで抽出して混合すると、解像度向上効果が大きい成分を選択的に出力することができる。
【００８２】
図２６に、水平・垂直の各解像度変換による効果が大きい成分を抽出する混合器(2009)の構成例を示す。同図において、混合器２００９は、2次元フィルタ(2601)を用いて、混合器(2009)に入力されたSR(水平)の解像度向上効果が大きい周波数領域(2501)の成分を抽出する。同様に、混合器２００９は、2次元フィルタ(2602)を用いて、混合器(2009)に入力されたSR(垂直)の解像度向上効果が大きい周波数領域(2502)の成分を抽出する。さらに、混合器２００９は、周波数領域(2501)(2502)以外の成分として、加算器(2603)と乗算器(2604)を用いてSR(水平)とSR(垂直)の平均の信号を作り、2次元フィルタ(2605)を用いて、2次元フィルタ(2601)(2602)の各通過帯域以外の成分(すなわち、残りの成分)を抽出する。2次元フィルタ(2601)(2602)(2605)の各出力信号を加算器(2606)で加算し、混合器(2009)の出力とする。なお、同図中に示す2次元フィルタ(2601)(2602)(2605)の中の丸で囲まれた数字はそれぞれのフィルタのタップ係数の一例を示している。（各フィルタの係数は説明の簡略化のため、整数にて表記している。本来の係数値は丸で囲まれた数字とその右部に示された「×1/16」等に示される演算の積である。例えば、2次元フィルタ(2601)では丸で囲まれた各数字にそれぞれ1/16を乗算したのが本来の係数値である。以下の実施例に示される２次元フィルタの係数において同じ。）2次元フィルタ(2601)は±μs/2を通過帯域の中心周波数とする水平バンドパスフィルタと垂直ローパスフィルタの積とし、2次元フィルタ(2602)は±νs/2を通過帯域の中心周波数とする垂直バンドパスフィルタと水平ローパスフィルタの積とし、2次元フィルタ(2605)は全帯域から2次元フィルタ(2601)と2次元フィルタ(2602)の通過帯域を減じた特性とすればよい。
【実施例１０】
【００８３】
図２７に、本発明の第10の実施例に係る画像信号処理装置を示す。本実施例に係る画像処理装置は、図21に示した構成例に、さらに右下および右上方向の斜め成分の高解像度変換部を加えた構成としている。すなわち、位相シフト部(2708)に斜め(右下)位相シフト部(2701)と斜め(右上)位相シフト部(2702)を追加するとともに、折返し成分除去部(2709)に折返し成分除去部(2705)(2706)を追加し、画素補間器(2710)(2711)をそれぞれ介したのちに、SR(水平)、SR(垂直)、SR(右上)、SR(右下)の各信号を混合部(2707)にて混合し、出力とする。ここで、画素補間器(2710)(2711)は、補間したい画素の上下左右の画素データの平均値を出力するような、一般的な2次元ローパスフィルタを用いればよい。位相差θとして斜め方向の位相差情報が必要であり、水平位相差θH(2102)と垂直位相差θV(2103)を加算器(2703)で加算した位相差(θH+θV)を折返し成分除去部(2705)に入力し、減算器(2704)で生成した位相差(-θH+θV)を折返し成分除去部(2706)に入力するように構成すればよい。なお、折返し成分除去部(2106)(2109)(2705)(2706)の構成および動作は、すべて共通である。
【００８４】
なお、図２７においても、図１などと同様に、位置推定部（２１０１）と、水平・垂直アップレート器（２１０４），（２１０５）は、入れ替え可能である。
【００８５】
図２８は、２次元周波数領域における位相シフト部の動作を示す図であり、（ａ）は、水平位相シフト部における図、（ｂ）は、垂直位相シフト部における図、（ｃ）は、斜め（右下）位相シフト部における図、（ｄ）は、斜め（右上）位相シフト部における図である。図２８(a)〜(d)に、2次元周波数領域における水平位相シフト部(2106)、垂直位相シフト部(2107)、斜め(右下)位相シフト部(2701)、斜め(右上)位相シフト部(2702)のそれぞれの動作を示す。図２８(a)〜(d)は図２５と同様に水平周波数をμ、垂直周波数をνとして表した2次元周波数領域である。これらの位相シフト部(2106)(2107)(2701)(2702)は、図1に示した位相シフト部(116)と同様の構成とし、その中のπ/2位相シフト器(106)(108)の「周波数-位相差」特性をそれぞれの方向に合わせて変更する。すなわち、同図(a)において、水平位相シフト部(2106)では、入力信号の水平周波数サンプリング周波数をμsとした場合に、図7に示した動作と同様に、-μs〜0の範囲の周波数成分の位相をπ/2だけシフトし、0〜μsの範囲の周波数成分の位相を-π/2だけシフトする。同様に、垂直位相シフト部(2107)では、入力信号の垂直周波数サンプリング周波数をνsとした場合に、-νs〜0の範囲の周波数成分の位相をπ/2だけシフトし、0〜νsの範囲の周波数成分の位相を-π/2だけシフトする。同様に、斜め(右下)位相シフト部(2701)および斜め(右上)位相シフト部(2702)では、同図(c)および同図(d)にそれぞれ示すように、信号の位相を-π/2あるいはπ/2だけシフトする。これらの「周波数-位相差」特性は、図8に示したタップ係数を、2次元のサンプリング点に合わせて水平、垂直、斜め(右下)、斜め(右上)のそれぞれの方向に配置することにより容易に実現できる。
【００８６】
図２９に、混合器(2707)の第1の構成例を示す。同図において、混合器２７０７は、加算器(2901)と乗算器(2902)を用いて、混合器(2707)に入力されたSR(水平)、SR(垂直)、SR(右下)、SR(右上)の各信号の平均値を生成して出力する。同図に示す構成は、混合器(2707)を最も簡単に構成した例であるが、水平・垂直・右下・右上の各解像度向上効果もそれぞれ1/4になってしまう。
【００８７】
図３０に、混合器(2707)の第2の構成例を示す。同図において、混合器２７０７は、混合器(2707)に入力されたSR(水平)、SR(垂直)、SR(右下)、SR(右上)の各信号に対し、乗算器(3005)、乗算器(3006)、 乗算器(3007)、乗算器(3008)を用いて、係数K(水平)、係数K(垂直)、係数K(右下)、係数K(右上)をそれぞれ乗じ、加算器(3009)でそれらの信号を加算して出力とする。係数K(水平)、係数K(垂直)、係数K(右下)、係数K(右上)は、それぞれ係数決定器(3001)(3002)(3003)(3004)にて生成する。以下、この係数決定器(3001)(3002)(3003)(3004)の動作について説明する。図２７に示した折返し成分除去部(2108)(2109)(2705)(2706)は、同図に示す位相差θH(2102)、位相差θV(2103)、位相差(θH+θV)、位相差(-θH+θV)をもとに、図1に示す係数決定器(109)にて図9に示す係数C0〜C3を発生して折返し成分除去の演算を行う。このとき、位相差θH(2102)、θV(2103)、(θH+θV)、(-θH+θV)が0のときに係数C1およびC3が不定になることや、位相差θH(2102)、θV(2103)、(θH+θV)、(-θH+θV)が0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図13に示す係数C4(0≦C4≦1)を導入して、図11に示す構成のように補助的画素補間を行うのが好ましい。逆に言えば、係数C4の値が0.0のときは解像度向上の効果があるが、係数C4の値が1.0に近づくにつれて、解像度向上の効果が小さくなることになる。この性質を利用し、水平位相差θH(2102)が0近傍(すなわち、係数C4(水平)が1.0近傍)のときは水平解像度変換結果のSR(水平)が弱くなり、水平位相差θH(2102)が0近傍でないとき(すなわち、係数C4(水平)が0.0近傍のとき)は水平解像度変換結果のSR(水平)が強くなるように、係数決定器(3001)にて係数K(水平)を決定する。この一例として、係数K(水平)=(1+C4(水平)*3-C4(垂直)-C4(右下)-C4(右上))/4とすればよい。同様に、係数決定器(3002)(3003)(3004)にて、それぞれ係数K(垂直)、K(右下)、K(右上)を決定する。このとき、独立して変化する係数C4(水平)、係数C4(垂直)、係数C4(右下)、係数C4(右上)に対して、係数K(水平)+係数K(垂直)+係数K(右下)+係数K(右上)=1.0となるよう係数Kを決定して、SR(水平)、SR(垂直)、SR(右下)、SR(右上)を混合する。
【００８８】
図３１および図３２に、混合器(2707)の第3の動作および構成例をそれぞれ示す。図３１は図２５と同様に水平周波数をμ、垂直周波数をνとして表した2次元周波数領域である。図３１において、もとの入力画像の水平サンプリング周波数をμs、垂直サンプリング周波数をνsとすると、図２７に示した解像度変換部(4)の出力は、水平周波数μが-μs〜μsの範囲、垂直周波数νが-νs〜νsの範囲の信号となる。斜め(右上)の解像度変換による効果が大きいのは、図３１に示すような(μ,ν)=(+μs/2, +νs/2)の近傍と(μ,ν)=(-μs/2, -νs/2)の近傍の周波数領域(3101)の成分(特に(μ,ν)=(+μs/2, +νs/2)を含み、μ＞０, ν＞０となる周波数の領域と、(μ,ν)=(-μs/2, -νs/2)を含み、μ＜０, ν＜０となる周波数の領域の成分)となる。斜め(右下)の解像度変換による効果が大きいのは、図３１に示すような(μ,ν)=(+μs/2,-νs/2)の近傍と(μ,ν)=(-μs/2, +νs/2)の近傍の周波数領域(3102)の成分(特に(μ,ν)=(+μs/2, -νs/2)を含み、μ＞０, ν＜０となる周波数の領域と、(μ,ν)=(-μs/2, +νs/2)を含み、μ＜０, ν＞０となる周波数の領域の成分)となる。従って、これらの周波数成分(3101)(3102)を2次元フィルタで抽出し、図２５に示した周波数成分(2501)(2502)も併せて混合すると、解像度向上効果が大きい成分を選択的に出力することができる。
【００８９】
図３２に、水平・垂直・斜め(右下)・斜め(右上)の各解像度変換による効果が大きい成分を抽出する混合器(2707)の構成例を示す。同図において、混合器２７０７は、2次元フィルタ(3201)を用いて、混合器(2707)に入力されたSR(右下)の解像度向上効果が大きい周波数領域(3102)の成分を抽出する。同様に、混合器２７０７は、2次元フィルタ(3202)を用いて、混合器(2707)に入力されたSR(右上)の解像度向上効果が大きい周波数領域(3101)の成分を抽出する。また、図２６に示示すフィルタと同様のフィルタである2次元フィルタ(2601)(2602)により、それぞれSR(水平)およびSR(垂直)の解像度向上効果が大きい周波数領域(2501)(2502)の成分を抽出する。周波数領域(2501)(2502)(3101)(3102)以外の成分として、加算器(3203)と乗算器(3204)を用いてSR(水平)、SR(垂直)、SR(右下)、SR(右上)の平均の信号を作り、2次元フィルタ(3205)を用いて、2次元フィルタ(2601)(2602)(3201)(3202)の各通過帯域以外の成分を抽出する。混合器２７０７は、2次元フィルタ(2601)(2602)(3201)(3202)(3205)の各出力信号を加算器(3206)で加算し、混合器(2707)の出力とする。なお、同図中に示す2次元フィルタ(2601)(2602)(3201)(3202)(3205)の中の丸で囲まれた数字は、それぞれのフィルタのタップ係数の一例を示す。
【実施例１１】
【００９０】
図３３に、本発明の第１１の実施例を示す。同図は、上記第10の実施例の動作をソフトウェアプログラムにより実現した例である。
【００９１】
同図において、解像度変換部４は、処理はステップ(3301)から開始し、ステップ(5-1)(5-2)(5-3)(5-4)にてそれぞれ水平、垂直、斜め(右下)、斜め(右上)の高解像度化を行う。ここで、各ステップ(5-1)(5-2)(5-3)(5-4)では、図14乃至図16に示した処理ステップ(5)の処理のうち、いずれかを、水平、垂直、斜め(右下)、斜め(右上)の各方向に実行すればよい。すなわち、、解像度変換部４は、π/2位相シフト(1407)(1408)、ヒルベルト変換(1510)などの「周波数-位相」特性を、図２８に示すようにそれぞれの方向に応じて変更するとともに、位相差θをθH、θV、(θH+θV)、(-θH+θV)にそれぞれ置き換えて処理すればよい。各ステップ(5-1)(5-2)(5-3)(5-4)の処理結果は、図14乃至図16を用いて説明したように、それぞれのフレームバッファ#3に書き込まれる。続くステップ(3302-1)(3302-2)(3302-3) (3302-4)では、画素補間器２００３，２００７，２７０５，２７０６が、それぞれ垂直、水平、斜め方向の画素補間を行い、出力するフレームの水平・垂直の画素数と同じになるように、2次元フレームバッファ#3の全画素を生成する。続くステップ(3303)では、混合器２７０７が、図29、図30、図32を用いて説明した方法に従って各フレームバッファ#3のデータを画素ごとに混合して、出力用のフレームバッファ#4に出力する。なお、上記第8乃至第9の実施例の動作をソフトウェアプログラムにより実現する場合には、斜め方向の処理を行うステップ(5-3)(5-4)、それらの結果に対して画素補間を行うステップ(3302-3)(3302-4)は不要である。また、ステップ(3303)の混合方法として、図22、図23、図26を用いて説明した方法に従って、データを混合すればよい。このステップ(3303)の混合方法については、上記の動作説明をもとにして容易に実現可能なため、フローチャートの図示は省略する。
【実施例１２】
【００９２】
図３５に、本発明の第12の実施例に係る画像表示装置を示す。本実施例に係る画像表示装置は、上述の第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う構成とした画像表示装置である。
【００９３】
同図において、画像表示装置3500は、例えば、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号や映像コンテンツや画像コンテンツなどを入力する入力部3501と、入力部3501から入力されたコンテンツを録画もしくは再生する録画再生部3502と、録画再生部3502がコンテンツを記録するコンテンツ蓄積部3503と、録画再生部3502が再生した映像信号または画像信号に第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う画像信号処理部3504と、画像信号処理部3504にて処理された映像信号または画像信号を表示する表示部3505と、録画再生部3502が再生した音声信号を出力する音声出力部3506と、画像表示装置3500の各構成部を制御する制御部3507と、ユーザーが画像表示装置3500の操作を行うユーザインターフェース部3508などを備える。
【００９４】
画像表示装置3500が第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う画像信号処理部3504を備えることで、入力部3501に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として表示部3505に表示することができる。よって、表示部3505の表示デバイスの解像度よりも、低解像度の信号が入力部3501から入力された場合も、再生信号を高解像度化しつつ高画質で高精細な表示を行うことが可能となる。
【００９５】
また、コンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツを再生する際も、より高解像度で高画質な映像信号または画像信号に変換して表示部3505に表示することができる。
【００９６】
また、画像信号処理部3504の画像処理をコンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツの再生後に行うことにより、コンテンツ蓄積部3503に蓄積されるデータは、表示部3505に表示される解像度のよりも相対的に低解像度である。よって相対的にコンテンツのデータ量を小さくして蓄積できるという効果がある。
また、画像信号処理部3504を録画再生部3502に含め、録画時に上述の画像信号処理を行ってもよい。この場合は、再生時には上述の画像信号処理を行う必要が無いため、再生時の処理負荷を低減できるという効果がある。
ここで、上述の画像信号処理は画像信号処理部3504にて行うと説明したが、制御部3507とソフトウェアで実現しても良い。この場合、第1乃至第11の実施例のいずれか一の実施例に記載された方法で画像信号処理を行えばよい。
本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツの状態に応じて、符号化を行ってからコンテンツ蓄積部3503に記録すればよい。
また、本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツが符号化された状態であれば、復号化を行って再生すればよい。
また、本実施例に係る画像表示装置において、コンテンツ蓄積部3503は必ずしも必要ない。この場合は、録画再生部3503は録画は行わず、入力部3501から入力された映像などのコンテンツの再生を行えばよい。
【００９７】
この場合も、入力部3501に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として表示部3505に表示することができる効果に変わりは無い。
【００９８】
また、画像表示装置3500は、例えば、プラズマテレビでも、液晶テレビでも、ブラウン管でも、プロジェクタでもよく、また他のデバイスを用いた装置でも良い。同様に、表示部3505は例えば、プラズマパネルモジュールでも、ＬＣＤモジュールでも、プロジェクタ用デバイスでもよい。また、コンテンツ蓄積部3503は例えば、ハードディスクドライブでも、フラッシュメモリでもよく、リムーバブルメディアディスクドライブでもよい。音声出力部3506は例えば、スピーカ等でもよい。また、入力部3501は、放送波を受信するチューナを備えたものでもよく、またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、映像信号や音声信号をデジタル入力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ入力端子を備えたものでもよい。また、ワイヤレスにてデータを転送する受信部でも良い。
【実施例１３】
【００９９】
図３６に、本発明の第13の実施例に係る録画再生装置を示す。本実施例に係る録画再生装置は、上述の第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う構成とした録画再生装置である。
【０１００】
同図において、録画再生装置3600は、例えば、例えば、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号や映像コンテンツや画像コンテンツなどを入力する入力部3501と、入力部3501から入力されたコンテンツを録画もしくは再生する録画再生部3502と、録画再生部3502がコンテンツを記録するコンテンツ蓄積部3503と、録画再生部3502が再生した映像信号または画像信号に第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う画像信号処理部3504と、画像信号処理部3504にて処理された映像信号または画像信号を他の装置などに出力する画像映像出力部3605と、録画再生部3502が再生した音声信号を他の装置などに出力する音声出力部3606と、録画再生装置3600の各構成部を制御する制御部3507と、ユーザーが録画再生装置3600の操作を行うユーザインターフェース部3508などを備える。
【０１０１】
録画再生装置3600が第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う画像信号処理部3504を備えることで、入力部3501に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として、他の装置などに出力するすることができる。よって、低解像度の映像信号または画像信号を高解像度化しつつ高画質で高精細な映像信号または画像信号に変換する高画質高解像度化信号変換装置が好適に実現できる。
【０１０２】
また、コンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツを再生する際も、より高解像度で高画質な映像信号または画像信号に変換して他の装置などに出力するすることができる。
よって、低解像度の映像信号または画像信号を入力して蓄積しておき、再生・出力時には高解像度化しつつ高画質で高精細な映像信号または画像信号に変換して出力する録画再生装置が好適に実現できる。
また、画像信号処理部3504の画像処理をコンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツの再生後に行うことにより、コンテンツ蓄積部3503に蓄積されるデータは、他の装置に出力する信号の解像度のよりも相対的に低解像度である。よって相対的にコンテンツのデータ量を小さくして蓄積できるという効果がある。
また、画像信号処理部3504を録画再生部3502に含め、録画時に上述の画像信号処理を行ってもよい。この場合は、再生時には上述の画像信号処理を行う必要が無いため、再生時の処理負荷を低減できるという効果がある。
ここで、上述の画像信号処理は画像信号処理部3504にて行うと説明したが、制御部3507とソフトウェアで実現しても良い。この場合、第1乃至第11の実施例のいずれか一の実施例に記載された方法で画像信号処理を行えばよい。
本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツの状態に応じて、符号化を行ってからコンテンツ蓄積部3503に記録すればよい。
【０１０３】
また、本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツが符号化された状態であれば、復号化を行って再生すればよい。
また、本実施例に係る画像映像出力部3605と音声出力部3606は一体としても構わない。この場合は、映像信号と音声信号を一本のケーブルで出力するコネクタ形状などを用いることができる。
また、録画再生装置3600は、例えば、ＨＤＤレコーダでも、ＤＶＤレコーダでも、また他の記憶装置デバイスを用いた装置でも良い。同様に、コンテンツ蓄積部3503は例えば、ハードディスクドライブでも、フラッシュメモリでもよく、リムーバブルメディアディスクドライブでもよい。
また、入力部3501は、放送波を受信するチューナを備えたものでもよく、またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、映像信号や音声信号をデジタル入力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ入力端子を備えたものでもよい。また、ワイヤレスでデータを転送する受信部でも良い。
また、画像映像出力部3605は映像信号をデジタル出力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ出力する端子を備えたものでもよい。またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、ワイヤレスでデータを転送する送信部でも良い。音声出力部3606に関しても、画像映像出力部3605と同様である。
さらに、入力部3501は例えば、撮像光学系と受光素子を備えるものとしても良い。この場合、録画再生装置3600は例えば、デジタルカメラ、ビデオカメラ、監視カメラ（監視カメラシステム）などに適用できる。このとき例えば入力部3501は、撮像光学系にて撮影対象を受光素子上に撮像し、受光素子にから出力される信号を元に画像データまたは映像データを生成し、録画再生部3502に出力すればよい。
録画再生装置3600が例えばデジタルカメラであれば、1回の撮影で時間的に異なる複数の画像を記録するようにし、この複数の画像データに画像信号処理部3504の画像信号処理を行えば、1枚の高画質な高解像度画像を得ることができる。尚、画像信号処理部3504の画像処理は、デジタルカメラからデータを出力する際に、コンテンツ蓄積部3503に記録される画像に対して行っても良い。また、録画再生部3502と画像信号処理部3504を一体とするなどして、コンテンツ蓄積部3503に記録するよりも前に、画像信号処理部3504の画像処理を行うようにしても良い。この場合、コンテンツ蓄積部3503には最終的にユーザーが取り扱いたい拡大画像のみを保存すればよく、後にユーザーが画像データを取り扱う際に管理が容易になる。
以上説明したデジタルカメラによれば、デジタルカメラの受光素子の解像度を越えた解像度を有する高画質画像データを得ることができる。
【０１０４】
また、録画再生装置3600が例えばビデオカメラであれば、入力部3501の撮像光学系にて受光素子上に撮像した映像を映像データとして録画再生部3502に出力すればよい。録画再生部3502はコンテンツ蓄積部3503に映像データを記録し、画像信号処理部3504は記録された映像データから、高解像度化された映像データを生成すればよい。このようにすれば、ビデオカメラの受光素子の解像度を越えた解像度を有する高画質映像データを得ることができる。またこのとき、画像信号処理部3504は記録された映像データに含まれる複数のフレームのデータを用いて、一枚のスチル画像データを生成しても良い。このようにすれば、映像データから一枚の高画質画像データを得ることができる。また、上述したデジタルカメラの場合と同様に、画像信号処理部3504の画像処理はコンテンツ蓄積部3503への映像データの記録前でも、記録後でも構わない。
以上説明したビデオカメラによれば、ビデオカメラの受光素子の解像度を越えた解像度を有する高画質映像データや、撮影した映像データを用いて高画質なスチル画像データを得ることができる。
また、録画再生装置3600が例えば監視カメラ（監視カメラシステム）である場合も、上述したビデオカメラの場合と同様に監視カメラの受光素子の解像度を越えた解像度を有する高画質映像データや、撮影した映像データを用いて高画質なスチル画像データを得ることができる。このとき、例えば、撮像光学系と受光素子を備えた入力部3501と録画再生部3502との距離が離れており、ネットワークケーブル等で接続されている場合でも、録画再生部3502までは低解像度の映像データで送信し、その後の画像信号処理部3504の画像信号処理により、高解像度化することができる。これにより、撮像光学系と受光素子を備えた入力部3501からの送信ネットワークの帯域を効率よく利用しながら、高解像度の映像データを得ることができる。
本実施例12に係る画像表示装置と、本実施例13に係る録画再生装置は、両者の機能と各構成部を一体としても、また、本発明の一実施の形態となりうる。この場合は上述の画像信号処理を行った映像信号または画像信号を表示することも、他の装置に出力することもでき、表示装置、記録再生装置、出力装置のいずれの装置としても使用でき、ユーザーにとって使い勝手が良い。
【０１０５】
次に、図３４を用いて、本発明の一実施の形態と上記従来技術の動作の違いを説明する。同図(a)は、解像度変換部(4)に入力されたフレーム#1(3401)、フレーム#2(3402)、フレーム#3(3403)、フレーム#4(3404)、フレーム#5(3405)を示し、同図(b)は解像度変換部(4)から出力された各フレームを示す。各フレームにて、被写体が1/4画素ずつ右回りに移動し、4フレームで1周するように意図的に被写体を移動させる。この動きをフレーム#6以降も同様に連続させる。
【０１０６】
特許文献１、特許文献２、非特許文献１に記載されている従来技術では、上述したように、水平・垂直の2次元の入力信号に対して高解像度化する場合、折返しが縦横2方向から来るので、原信号の帯域が縦横共に2倍に広がると、3つの折返し成分が重なり、それらを打ち消すためには2M+1=7個のデジタルデータ(=7枚のフレーム画像の信号)を必要としていた。従って、図３３(a)に示すような4フレームで一巡するような信号を入力した場合、どの7フレームを選択しても独立したデータが得られないため、高解像度化処理による解が不定となり求められない。
【０１０７】
一方、本実施例を用いれば、例えば隣接する2フレーム(例えば、フレーム#1(3401)とフレーム#2(3402)、(あるいはフレーム#2(3402)とフレーム#3(3403)))を用いて、同図(b)に示すように水平方向(あるいは垂直方向)の折返し成分を除去して高解像度化を実現できる。すなわち、同図(a)の入力画像をテストパターンとして用いることにより、本実施例の動作状況を確認することができる。このテストパターンの絵柄として、一般的によく知られている円形ゾーンプレート(CZP：Circular Zone Plate)を用いれば、解像度変換の効果を表示部(3)にて直視できるようになる。すなわち、円形ゾーンプレートをフレームごとに左右に移動させれば水平方向の解像度が向上した画像が表示され、上下(あるいは斜め)に移動させれば垂直方向(あるいは斜め方向)の解像度が向上した画像が表示されるなど、テストパターンの移動方向に応じた解像度向上の効果を確認することができる。
なお、特許文献１、特許文献２、非特許文献１に記載されている従来技術により、3フレームを用いて1次元(水平・垂直・斜め(右下)・斜め(右上))の高解像度化を複数方向に対して行い、それらの各結果を本発明の実施例における混合器(2009)あるいは混合器(2707)に入力して混合し、2次元の解像度変換結果として出力してもよい。この場合、図２０、図２１、図２７、図３３に示したように2フレームのみを用いて2次元の解像度変換を行う構成よりもフレームメモリや動き推定部などの信号処理回路の規模が大きくなるが、特許文献１、特許文献２、非特許文献１に記載されているように少なくとも7フレームの信号を用いるよりも、フレームメモリや動き推定部などの信号処理回路の規模を小さくできる。
【０１０８】
また、上記第8乃至第11の実施例では、1次元方向の2倍の高解像度化を例に挙げて説明したが、図18および図19を用いて説明したようなn倍の高解像度化処理を、第8乃至第11の実施例の水平、垂直、斜め(右上)、斜め(右下)の各高解像度処理として用いてもよい。
【０１０９】
また、上記実施例では、フレーム#1とフレーム#2の入力信号の組を用いてフレーム#1の解像度を変換する場合を例に挙げて説明したが、これ以外にも例えば、フレーム#1とフレーム#3、フレーム#1とフレーム#4などの複数の組を用いてそれぞれでフレーム#1の解像度を変換し、それらの結果を混合して、フレーム#1の最終的な解像度変換結果としてもよい。このときの混合方法として、各結果の平均値をとってもよいし、図23および図24に示したようにフレームごとの係数C4(フレーム)の値に応じて混合してもよい。この場合、係数C4(フレーム)として、フレームごとの係数C4(水平)と係数C4(垂直)のMAX値(小さくないほうの値)を用いてもよい。また、画素ごとにすべての組の係数C4(水平)、C4(垂直)を比較し、係数C4が最も小さい組(すなわち、最も解像度向上効果が大きい組)から得られる解像度変換結果を画素ごとに選択して、フレーム#1の最終的な解像度変換結果としてもよい。
【０１１０】
なお、上述したフレーム#1、フレーム#2、フレーム#3などは、時間的に不連続なフレームでもよいし、時間的に逆順となっていてもよい。
本発明の各実施例は、上記実施例で説明した装置以外に、例えば、ＤＶＤプレーヤーやＨＤＤプレーヤーにも同様に適用でき、更には１セグ放送を受信するための携帯画像表示端末（例えば携帯電話）にも適用できることは言うまでも無い。また画像フレームとしては、テレビジョン放送信号以外の信号の画像フレームを用いてもよい。例えばインターネットを介して送信されるストリーミング画像や、ＤＶＤプレーヤーやＨＤＤプレーヤーから再生された画像に対しても、同様に本発明は適用できる。
また、本発明の一実施の形態は、下記の場合にも有用である。
【０１１１】
すなわち、本発明の一実施の形態は、複数の低解像画像を入力し、これらを位置合わせして、１枚の高解像画像を生成する技術であり、入力画像の解像度の限界を超えた高精細画像が得られることができる。
【０１１２】
従来技術では、１枚の出力画像を作成する際に、大量(１０〜５０フレーム程度)の入力フレームと多数(１０〜１００回程度)の繰り返し演算が必要であった。このため、大量のメモリや超高速な演算を行うプロセッサが必要であり、リアルタイムのテレビ映像に応用するのは困難であった。
【０１１３】
ここで、いかに少ない入力フレーム数／演算量で超解像処理を実現するかが、テレビ受像機への応用に向けた重要な課題となっていたが、本発明の一実施の形態を用いれば、入力フレーム数を最少で２枚まで減らすとともに、繰り返し演算も不要とすることができる。
本発明の一実施の形態を用いれば、画像を単純に拡大して画素数を増やしていた従来のＳＤ→ＨＤ変換技術(アップコンバート技術)とは異なり、入力画像の解像度の限界を超えて、標準画質(SD：Standard Definition)の動画像を高精細画質(HD：High Definition)に変換することができる。これにより、例えば、デジタル放送と大画面薄型テレビの普及に伴いＨＤ化が進むテレビの高精細表示ニーズに応え、既存のＤＶＤメディアやＳＤ画質の番組、既にＳＤ画質で記録した映像などを、ハイビジョンに近い画質で再生することが可能となる。
また、本発明の一実施の形態を用いれば、従来技術よりも少ない入力フレーム数で高精細な映像が得られるため、テレビ受像機でのリアルタイム処理を前提とした信号処理方式に好適に用いることが可能となる。
また、本発明の一実施の形態を用いれば、例えば、640×360画素のSD画質の画像を入力し、縦方向２倍、横方向２倍の解像度となる1280×720画素のHD画質の画像を、例えば２枚の入力画像からより高精細に生成することが可能となる。すなわち標準画質のテレビ映像をハイビジョンに近い画質に変換を得ることが可能となる。
また、上述した各実施例ではフレーム単位での高解像度化を例に挙げて説明した。しかし高解像度化の対象は、必ずしもフレーム全体でなくとも良い。例えば、入力画像または入力映像のフレームの一部分を解像度化の対象としても良い。すなわち、入力映像のフレームの一部分の複数フレーム分を対象として上述した本発明の一の実施例の画像処理を実施すれば、入力画像または入力映像の一部分の高画質な拡大画像を得ることができる。これは、例えば、映像の一部分の拡大表示などに適用できる。
なお、上述した各実施例のいずれを組み合わせても、本発明の一実施の形態となりうる。
上述した本発明の各実施例によれば、低解像度の画像を好適に拡大画像に変換する処理を行うことができ、高画質な高解像度画像を好適に得ることができる。すなわち画像信号を好適に高解像度化することができる。
また、上述した本発明の各実施例によれば、高画質な高解像度画像を得るために必要な画像のフレーム数を低減することができる。
【実施例１４】
【０１１４】
図３７に、本発明の第14の実施例に係る画像信号処理装置を示す。本実施例に係る画像信号処理装置は、例えばテレビジョン受像機等の画像表示装置に適用される。以下の本実施例の説明においては、画像信号処理装置として画像表示装置を例にして説明する。
【０１１５】
図３７において、本実施例に関わる画像信号処理装置は、画像モデル(3701)を入力としてフレーム(3703)およびフレーム間の位相差(3704)を生成する位相差生成部(3702)と、フレーム(3703)と位相差(3704)を用いて高解像度化する解像度変換部(3705)と、更にこの解像度変換部(3705)によって高解像度化されたフレームに基づき画像を出力する画像映像出力部(3706)とを備える。
【０１１６】
図３７において、画像モデル(3701)とは、画像フレームを作成するためのデータモデルで、コンピュータグラフィックスの3次元オブジェクトモデルやMPEG-4のオブジェクト符号化データなどが画像モデル(3701)に該当する。、画像モデル(3701)は、画像における被写体（例えば、人物、車両、山）がオブジェクトとして分離されており, オブジェクトの形状情報やテクスチャ情報とは別に動き情報が保持されていることを特徴とする。
【０１１７】
図３７において、位相差生成部(3702)は、まず位相差生成部(3702)に入力された画像モデル(3701)から、形状情報とテクスチャ情報を元に、画像フレーム(3703)を作成する（詳細については実施例１５、実施例１６にて説明する）。また、位相差生成部(3702)は、形状情報と動き情報を元に、位相差生成部(3702)が出力するフレーム(3703)の各画素における位相差(3704)を作成する（詳細については実施例１５、実施例１６にて説明する）。
【０１１８】
本実施例における解像度変換部(3705)は、上述の第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う構成から位置推定部を除いた構成で、位相差生成部(3702)の出力であるフレーム(3703)と位相差(3704)から高解像度化した画像信号を出力する。
【実施例１５】
【０１１９】
図３８に、本発明の第１５の実施例を示す。同図は、上記第１４の実施例の動作をコンピュータグラフィックスのリアルタイム描画に関して実現した例である。同図における解像度変換部(3705)は、上述の第一の実施例における画像信号処理装置から位置推定部(101)を除いた構成となる。
【０１２０】
図３８において、位相差生成部(3702)への入力である画像モデル(3701)は、時間的に連続する３次元モデル(3801)(3802)となる。３次元モデル(3801)(3802)は、描画するオブジェクトを１又は複数保持し、各オブジェクトはそのワールド座標系における位置と、オブジェクト内ローカル座標系による面や頂点の情報と、オブジェクトの平行移動・拡大縮小・回転の動き情報(3803)を持つ。
【０１２１】
次に、ジオメトリ(3804)(3805)では、それぞれ３次元モデル(3801)(3802)を入力として、３次元座標系で表現されたモデルを画面に描画するために２次元座標系へ座標変換が行われる。座標変換された情報はレンダリング(3806)(3807)への入力となり、レンダリング(3806)(3807)では、色補間・陰面処理などを行いフレーム(3703-1)(3703-2)を生成する。ジオメトリ(3804)(3805)では、３次元ワールド座標系で表現されている３次元モデル(3801)(3802)を、視点を原点とした３次元の視点座標系に変換し、透視投影変換により２次元座標系へ変換する。レンダリング(3806)(3807)では、可視面の決定をする陰面処理、光の反射や透過を計算するシェーディング処理、表面の凹凸や模様を計算するマッピング処理が行われる。この処理は、「James D. Foleyほか “コンピュータグラフィックス 理論と実践” , オーム社 , 2001」（以下、「参考文献３」という）に記載されている。
【０１２２】
図３８において、動き情報ジオメトリ(3808)は、３次元モデル(3801)の動き情報(3803)とジオメトリ(3804)の出力（２次元座標系で表現された２次元モデル）を、入力として受け取り位相差(3704)を出力する。動き情報ジオメトリ(3808)は下記に説明する。
【０１２３】
図３９に、動き情報ジオメトリ(3808)の処理内容を示す。
【０１２４】
まず、動き情報ジオメトリ(3808)の出力は画像フレーム(3703-1)の各画素における位相差(3704)となるため、各画素における描画対象のオブジェクトをジオメトリ(3804)の出力から特定する(3902)。ジオメトリ(3804)の出力は２次元座標系で表現されたオブジェクトモデルのため、簡単にオブジェクトを特定することが可能である。
【０１２５】
次に、 (3902)にて特定したオブジェクトの動き情報を、３次元動き情報(3803)から取得する(3903)。取得した動き情報は、(3902)で特定された単一のオブジェクトに関わる平行移動・拡大縮小・回転といった動きを３次元座標系で表現した情報である。
【０１２６】
(3903)で取得した動き情報を３次元座標系から２次元座標系に座標変換する(3904)。具体的には、(3903)で取得した平行移動・拡大縮小・回転といった動き情報は、３次元座標における同次座標ベクトルで表現される。この(3903)で取得した動き情報のベクトルと(3902)で特定したオブジェクトの各点（面や頂点）の３次元座標を掛け合わせることで移動先の３次元座標を得ることができる。ここで得た移動先の３次元座標を２次元座標系に座標変換することで、２次元座標系における動き情報を得る。ここで、動き情報の座標変換は、ジオメトリ(3804)(3805)と同様の処理となり、３次元ワールド座標系で表現されている移動先の３次元座標を、視点を原点とした３次元の視点座標系に変換し、透視投影変換により２次元座標系へ変換する[参考文献３]。
【０１２７】
(3904)で得られた２次元座標系で表現された動き情報を元に位相差を計算する(3905)。これは、上述の図２における動き補償(207)を、(3904)で得た２次元座標の動き情報を用いて行い位相差を計算する。
【０１２８】
図３８において、解像度変換部(3705)は、上述の第一の実施例から位置推定部(101)を取り除いた構成で、第一の実施例においては位置推定部(101)から得るはずであった位相差を、動き情報ジオメトリ(3808)から取得することが可能である。そのため、上述の第一の実施例における解像度変換部(2)と同様の効果を、図３８における解像度変換部(3705)は有する。
【０１２９】
ここで、図３８における解像度変換部(3705)は、上述の第一の実施例における解像度変換部(2)を例に説明したが、第1乃至第13の実施例のいずれか一の実施例に記載された方法で画像信号処理を行えばよい。
【０１３０】
以上のような処理を行うことにより、画像フレームにおける各画素の近傍の位置推定処理を行わずに位相差を得ることができるため、高解像度化に必要な正確な位相差をより処理量を少なく得ることができる。
【実施例１６】
【０１３１】
図４０に、本発明の第１６の実施例を示す。同図は、上記第１４の実施例の動作をMPEG-4の復号化に関して実現した例である。MPEG-4はISO(International Organization for Standardization:国際標準化機構)で規格化されており、Video Object Plane(VOP)構造がとられ、画像の構成要素をオブジェクトとしてとらえ、オブジェクトごとに最適な符号化処理を行って、画像を符号化する。VOPは形状情報(4003)・動きベクトル情報(4004)・テクスチャ情報(4005)で構成される。同図における画像モデル(3701)および画像フレーム生成部(3702)は、MPEG-4の符号化されたVOPデータ復号部の構成から位相差を取得する構成となっている。
【０１３２】
図４０において、画像モデル(3701)は、入力としてMPEG-4により符号化されたデータを受け取り、分離部(4002)において形状情報(4003)・動きベクトル情報(4004)・テクスチャ情報(4005)に分離する。
【０１３３】
VOPを構成する形状情報(4003)・動きベクトル情報(4004)・テクスチャ情報(4005)のうち、形状情報(4003)・動きベクトル情報(4004)は各々符号化されているため、それぞれ形状復号化(4006)・動き復号化(4007)により復号化される。
【０１３４】
次に、前画面の再構成されたVOP(4009)と動き復号化(4007)で復号化された動き情報を入力として、動き補償(4010)を行い、時間的に連続したフレームの間の差を補う。動き補償(4010)の結果と形状復号化(4006)の結果を用いて、テクスチャ情報(4005)はテクスチャ復号化(4008)で復号化される。
【０１３５】
ここで、VOPを構成する形状情報(4003)・動きベクトル情報(4004)・テクスチャ情報(4005)が全て復号化されて、テクスチャ復号化(4008)と動き補償(4010)の出力よりVOP再構成(4011)により画像が構成されてフレーム#2(3702-2)を生成する。
【０１３６】
VOP再構成(4011)の出力の時間的に連続した前の出力は前画面の再構成VOP(4009)となりフレーム#1(3702-1)を出力するとともに、次フレームの動き補償(4010)に用いられる。
【０１３７】
そして、位相差計算(4012)において、動き復号化(4007)と形状復号化(4006)の出力を用いて、各画素における位相差を計算する。動き情報から位相差の計算には、参考文献１・参考文献２の方法を用いれば良い。
【０１３８】
また、図４０において、解像度変換部(3705)は、上述の第一の実施例における画像信号処理装置から位置推定部(101)を除いた構成となる。位置推定部(101)が出力していた位相差(102)は、位相差計算(4012)から取得する。そのため、上述の第一の実施例における解像度変換部(2)と同様の効果を、図４０における解像度変換部(3705)は有する。
【０１３９】
ここで、図４０における解像度変換部(3705)は、上述の第一の実施例における解像度変換部(2)を例に説明したが、第1乃至第13の実施例のいずれか一の実施例に記載された方法で画像信号処理を行えばよい。
【０１４０】
以上のような処理を行うことにより、画像フレームにおける各画素の近傍の位置推定処理を行わずに位相差を得ることができるため、高解像度化に必要な正確な位相差をより処理量を少なく得ることができる。
【産業上の利用可能性】
【０１４１】
本発明は、テレビジョン表示装置に利用可能である。
【図面の簡単な説明】
【０１４２】
【図１】本発明に係る第１の実施例の説明図である。
【図２】一般的な高解像度化画像信号処理の動作の一例を説明する図である
【図３】従来技術の動作を説明した図である。
【図４】本発明に係る第１の実施例の動作を説明した図である。
【図５】本発明に係る第１の実施例の説明図である。
【図６】本発明に係る第１の実施例の説明図である。
【図７】本発明に係る第１の実施例の説明図である。
【図８】本発明に係る第１の実施例の説明図である。
【図９】本発明に係る第１の実施例の説明図である。
【図１０】本発明に係る第２の実施例の説明図である。
【図１１】本発明に係る第３の実施例の説明図である。
【図１２】本発明に係る第３の実施例の説明図である。
【図１３】本発明に係る第３の実施例の説明図である。
【図１４】本発明に係る第４の実施例の説明図である。
【図１５】本発明に係る第５の実施例の説明図である。
【図１６】本発明に係る第６の実施例の説明図である。
【図１７】本発明の一実施の態様と従来技術の動作の違いを説明した図である。
【図１８】本発明に係る第７の実施例の説明図である。
【図１９】本発明に係る第７の実施例の説明図である。
【図２０】本発明に係る第８の実施例の説明図である。
【図２１】本発明に係る第９の実施例の説明図である。
【図２２】本発明に係る第８及び第９の実施例の説明図である。
【図２３】本発明に係る第８及び第９の実施例の説明図である。
【図２４】本発明に係る第８及び第９の実施例の説明図である。
【図２５】本発明に係る第８及び第９の実施例の説明図である。
【図２６】本発明に係る第８及び第９の実施例の説明図である。
【図２７】本発明に係る第１０の実施例の説明図である。
【図２８】本発明に係る第１０の実施例の説明図である。
【図２９】本発明に係る第１０の実施例の説明図である。
【図３０】本発明に係る第１０の実施例の説明図である。
【図３１】本発明に係る第１０の実施例の説明図である。
【図３２】本発明に係る第１０の実施例の説明図である。
【図３３】本発明に係る第１１の実施例の説明図である。
【図３４】本発明の一実施の態様と従来技術の動作の違いを説明した図である。
【図３５】本発明に係る第１２の実施例の説明図である。
【図３６】本発明に係る第１３の実施例の説明図である。
【図３７】本発明に係る第１４の実施例の説明図である。
【図３８】本発明に係る第１５の実施例の説明図である。
【図３９】本発明に係る第１５の実施例の説明図である。
【図４０】本発明に係る第１６の実施例の説明図である。
【符号の説明】
【０１４３】
1・・・入力部；2,4,3705・・・解像度変換部；3,3706・・・表示部；5・・・高解像度化タスク；101,1801,2101・・・位置推定部；102,211,1802,3704・・・位相差θ；103,104,1803・・・アップレート器；105,107,1002,1804・・・遅延器；106,108,1805・・・π/2位相シフト器；109,1007,1103,2301,2302,3001,3002,3003, 3004・・・係数決定器；110,111,112,113,1003,1006,1102,2202,2303,2304,2604,2902,3005, 3006,3007,3008・・・乗算器；114,1001,1008,1104,2201,2305,2603, 2606,2703,2901,3009・・・加算器；115,1806,2110・・・動き補償・アップレート部；116,1009,1807,2111・・・位相シフト部；117,1010,1808,2108,2109,2112,2705,2706・・・折返し成分除去部；201,202,203,206,1701, 1702,1703,1704,1705,2010,2011,2012,2013,2014,2015,3401,3402,3403,3404,3405,3703・・・フレーム；204・・・移動；205・・・水平線；207・・・動き補償；208,212・・・画素；209,210・・・サンプリング位相；301,302,303,401, 402・・・原成分；304,305,306,405,406・・・折返し成分；403,404・・・π/2位相シフト後の原成分；407,408・・・π/2位相シフト後の折返し成分；1004,2704・・・減算器；1005・・・ヒルベルト変換器；1101・・・補間ローパスフィルタ；1105・・・補助的画素補間部；2001・・・水平解像度変換部；2002・・・垂直アップレート器；2003,2007,2710,2711・・・画素補間器；2004・・・垂直補間部；2005・・・垂直解像度変換部；2006・・・水平アップレート器；2008・・・水平補間部；2009,2707・・・混合器；2104,2105・・・水平・垂直アップレート器；2106・・・水平位相シフト部；2107・・・垂直位相シフト部；2501・・・水平解像度変換による効果が大きい周波数領域；2502・・・垂直解像度変換による効果が大きい周波数領域；2601,2602,2605・・・2次元フィルタ；2701・・・斜め(右下)位相シフト部；2702・・・斜め(右上)位相シフト部；3101・・・斜め(右上)解像度変換による効果が大きい周波数領域；3102・・・斜め(右下)解像度変換による効果が大きい周波数領域;3500・・・画像表示装置;3501・・・入力部;3502・・・録画再生部;3503・・・コンテンツ蓄積部; 3504・・・画像信号処理部; 3505・・・表示部; 3506・・・音声出力部; 3507・・・制御部;3508・・・ユーザインターフェース部; 3600・・・録画再生装置; 3605・・・画像映像出力部; 3600・・・音声出力部；3701・・・画像モデル；3702・・・位相差生成部；3801,3802・・・３次元モデル；3803・・・動き情報；3804,3805・・・ジオメトリ；3806,3807・・・レンダリング；3808・・・動き情報ジオメトリ；4001・・・符号化データ；4002・・・分離部；4003・・・形状情報；4004・・・動きベクトル情報；4005・・・テクスチャ情報；4006・・・形状復号化部；4007・・・動き復号化部；4008・・・テクスチャ復号化部；4009・・・全画面再構成VOP；4010・・・動き補償部；4011・・・VOP再構成；4012・・・位相差計算部。
【技術分野】
【０００１】
本発明は、画像信号を高解像度化するための技術に関し、特に複数の画像フレームを合成することにより、画像フレームを構成する画素数を増やすとともに不要な折返し成分を除去して高解像度化を行う技術に関する。
【背景技術】
【０００２】
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。
【０００３】
そこで、特許文献１、特許文献２、非特許文献１に記載されているように、入力された複数の画像フレーム(以下、フレームと略記)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術(以下、従来技術)が提案されている。
【０００４】
さらに、特許文献３には、各々のオブジェクトの動き情報、形状情報、テクスチャ情報が保持された画像モデル（ＣＧモデル）を利用して、複数フレームの低解像度データから中解像度データを得ることが記載されている。具体的には、現在のフレームよりも時間的に後の複数フレームの低解像度映像データに含まれている各交点に割り当てられている複数の２次元動きベクトルの中から、現在のフレームへと戻る動きを表すものを選択して加算することにより、現在のフレームよりも時間的に後の複数フレームの低解像度映像データを、現在のフレームの低解像度映像データに重ね合わせることが記載されている（0054段落など）。
【０００５】
【特許文献１】特開平８−３３６０４６号公報
【特許文献２】特開平９−６９７５５号公報
【特許文献３】特開2007-66012号公報
【非特許文献１】青木伸 “複数のデジタル画像データによる超解像処理”, Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998
【発明の開示】
【発明が解決しようとする課題】
【０００６】
これらの従来技術では、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。
【０００７】
図２に、これらの高解像度化技術の概要を示す。同図(a)に示すように、異なる時間軸上のフレーム#1(201)、フレーム#2(202)、フレーム#3(203)が入力され、これらを合成して出力フレーム(206)を得ることを想定する。簡単のため、まず被写体が水平方向に移動(矢印204)した場合を考え、水平線(205)の上の1次元の信号処理によって高解像度化することを考える。このとき、同図(b)と同図(d)に示すように、フレーム#2(202)とフレーム#1(201)では、被写体の移動(矢印204)の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、同図(c)に示すように、位置ずれが無くなるようにフレーム#2(202)を動き補償(矢印207)するとともに、各フレームの画素(208)のサンプリング位相(209)(210)の間の位相差θ(211)を求める。この位相差θ(211)に基づき、上記(2)広帯域補間および(3)加重和を行うことにより、同図(e)に示すように、元の画素(208)のちょうど中間(位相差θ=π)の位置に新規画素(212)を生成することにより、高解像度化を実現する。 (3)加重和については後述する。なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。
【０００８】
特許文献１、特許文献２、非特許文献１に記載の従来技術によって１次元方向の２倍の高解像度化を行う場合、上記(3)の加重和を行う際に、図３に示すように、少なくとも３枚のフレーム画像の信号を用いる必要があった。ここで、図３は、１次元の周波数領域で、各成分の周波数スペクトルを示した図である。同図（ａ）は、各成分の位相関係を示す図であり、同図（ｂ）は、原成分の位相関係を示す図であり、同図（ｃ）は、折返し成分の位相関係を示す図である。同図において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。上記(3)の加重和について、以下に詳しく説明する。
【０００９】
上記(2)の広帯域補間にて、ナイキスト周波数の2倍の帯域(周波数0〜サンプリング周波数fsまでの帯域)を透過する広帯域ローパスフィルタによって画素補間すると、原信号と同じ成分(以下、原成分)と、サンプリング位相に応じた折返し成分の和が得られる。このとき、3枚のフレーム画像の信号に対して上記(2)広帯域補間の処理を行うと、図３(a)に示すように、各フレームの原成分(301)(302)(303)の位相はすべて一致し、折返し成分(304)(305)(306)の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分の位相関係を同図(b)に示し、各フレームの折返し成分の位相関係を同図(c)に示す。
ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して上記(3)加重和を行うことにより、各フレームの折返し成分(304)(305)(306)を互いに打ち消して除去することができ、原成分だけを抽出できる。このとき、各フレームの折返し成分(304)(305)(306)のベクトル和を0にする、すなわち、Re軸(実軸)の成分とIm軸(虚軸)の成分を両方ともに0とするためには、少なくとも３つの折返し成分が必要となる。従って、2倍の高解像度化を実現するために、すなわち１個の折返し成分を除去するために、少なくとも３枚のフレーム画像の信号を用いる必要があった。
【００１０】
同様に、特許文献１、特許文献２、非特許文献１に記載されているように、水平・垂直の2次元の入力信号に対して高解像度化する場合、折返しが縦横2方向から来るので、原信号の帯域が縦横共に2倍に広がると、3つの折返し成分が重なり、それらを打ち消すためには2M+1=7個のデジタルデータ(=7枚のフレーム画像の信号)を必要としていた。
従って従来技術は、フレームメモリや信号処理回路の規模が大きくなって経済的でない。また、時間的に離れた数多くのフレーム画像の位置推定を正確に行う必要があるため構成が複雑となる。すなわち、従来技術は、例えばテレビジョン放送信号等の動画像のフレームを高解像度化することが困難である。
【００１１】
また、上記の従来技術によって高解像度化を行う場合、上記(1)の位置推定において、サンプリングの位相差を生成する方法は、「安藤繁 “画像の時空間微分算法を用いた速度ベクトル分布計測システム”，計測自動制御学会論文集，pp.1330-1336, Vol.22, No.12，1986」（以下、「参考文献１」という）や、「小林弘幸ほか “DCT変換に基づく画像の位相限定相関法”, 信学技法 IEICE Technical Report ITS2005-92，IE2005-299(2006-02), pp.73-78」（以下、「参考文献２」という）に記載されている連続する2枚の画像フレームに関し一方の特徴点を他方の特徴点に対応付ける手順を充分に繰り返す手法や画像フレームの時間空間微分を用いた方法や離散コサイン変換の符号係数を用いた方法がある。これらの方法は、どれも計算処理量が多く複雑な構成となる。また、いずれの方法も画像フレームの全範囲を探索すると計算量が膨大となるため、位置推定探索範囲を近傍に限定して適用するため、被写体の動きが位置推定探索範囲外まで及んだ場合、正確な位置推定ができないと考えられる。
【００１２】
また、特許文献３の技術では、「現在のフレームへと戻る動き」によって複数のフレーム画像を、画像の着目している画素が一致するように重ね合わせているだけである、つまり位相差を利用していないため、十分な高解像度画像を得ることが困難と考えられる。
【００１３】
本発明の目的は、画像フレームに対する位置推定処理を行わずに、正確な位相差を高解像化処理前に導出する技術を提供することにある。
【課題を解決するための手段】
【００１４】
本発明は、画像モデルを入力として画像フレームおよび画像フレーム間の位相差を生成する位相差生成部と、画像フレームと位相差を用いて高解像度化する解像度変換部を備え、位相差を画像モデルから取得することを特徴とするものである。
【発明の効果】
【００１５】
本発明によれば、より好適に画像信号を高解像度化することが可能となる。
【００１６】
本発明によれば、画像モデルから正確な位相差を導出することにより、位置推定処理を除去した、精度の高い高解像度化をおこなうことが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下に説明する本発明の実施例に係る高解像度化画像信号処理装置、方法、プログラムでは、高解像度化を行う際に、画像モデルを入力としてフレームおよびフレーム間の位相差を生成する位相差生成部と、フレームと位相差を用いて高解像度化する解像度変換部を備え、位相差を画像モデルから取得することを特徴とするものである。
【００１８】
なお、以下の各実施例の記載において、上述した(1)位置推定には、参考文献１や参考文献２に記載されているような方法を用いればよい。また上述した(2)広帯域補間については、非特許文献１に記載されているようなナイキスト周波数の2倍の通過帯域を持つ一般的なローパスフィルタを用いればよい。
【００１９】
以下の実施例で「ＳＲ信号」との表記は「Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ信号」の略である。
【００２０】
以下、本発明の実施例について、図面を参照しつつ説明する。
【実施例１】
【００２１】
図１に、本発明の第１の実施例に係る画像信号処理装置を示し、その特徴について述べる。本実施例に係る画像信号処理装置は、例えばテレビジョン受像機等の画像表示装置に適用される。以下の本実施例の説明においては、画像信号処理装置として画像表示装置を例にして説明する。図１において、本実施例に係る画像信号処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部(1)と、この入力部(1)から入力されたフレームを高解像度化するための解像度変換部(2)と、更にこの解像度変換部(2)によって高解像度化されたフレームに基づき画像を表示する表示部（表示モジュール）(3)とを備えている。この表示部(3)として、例えばプラズマディスプレイパネル、液晶表示パネル、もしくは電子／電解放出型ディスプレイパネルが用いられる。以下、解像度変換部(2)の詳細について説明する。
【００２２】
図１において、まず位置推定部(101)により、入力部(1)に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、サンプリング位相差θ(102)を求める。次に、動き補償・アップレート部(115)のアップレート器(103)(104)により、位相差θ(102)の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ2倍に増して高密度化する。位相シフト部(116)では、この高密度化したデータの位相を一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器(106)(108)を用いることができる。また、π/2位相シフト器(106)(108)で生じる遅延を補償するために、遅延器(105)(107)により高密度化したフレーム#1とフレーム#2の信号を遅延させる。折返し成分除去部(117)では、遅延器(105)(107)とπ／２位相シフト器(106)(108)の各出力信号に対して、係数決定器(109)にて位相差θ(102)をもとに生成した係数C0,C2,C1,C3を乗算器(110)(112)(111)(113)にてそれぞれ乗算し、加算器(114)にてこれらの信号を加算して出力を得る。この出力は、表示部３に供給される。なお、位置推定部(101)は、上記従来技術をそのまま用いて実現することができる。アップレート器(103)(104)、π/2位相シフト器(106)(108)、折返し成分除去部(117)の各詳細については後述する。
【００２３】
なお、図１において、位置推定部（１０１）で位相差（１０２）を求めた後、アップレート器（１０３），（１０４）でフレーム＃１およびフレーム＃２をそれぞれアップレートしているが、これに限らず、アップレート器（１０３），（１０４）でフレーム＃１およびフレーム＃２をそれぞれアップレートした後、アップレートしたフレーム＃１およびフレーム＃２を基に、位置推定部（１０１）が位相差（１０２）を求めてもよい。
【００２４】
図４に、本発明の第１の実施例の動作を示す。図４は、第１の実施例において、１次元の周波数領域で、各成分の周波数スペクトルを示した図であり、（ａ）は、各成分の位相関係を示す図であり、（ｂ）は、原成分の位相関係を示す図であり、（ｃ）は、折返し成分の位相関係を示す図である。同図は、図１に示した遅延器(105)(107)とπ/2位相シフト器(106)(108)の各出力を1次元の周波数領域で示したものである。
【００２５】
同図(a)において、遅延器(105)(107)から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、原成分(401)(402)と、元のサンプリング周波数(fs)から折り返された折返し成分(405)(406)を加えた信号となる。このとき、折返し成分(406)は上述の位相差θ(102)だけ位相が回転している。一方、π/2位相シフト器(106)(108) から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、π/2位相シフト後の原成分(403)(404)と、π/2位相シフト後の折返し成分(407)(408)を加えた信号となる。同図(b)および同図(c)は、同図(a)に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。ここで、同図(b)に示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図(c)に示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。この係数決定方法の詳細については後述する。
【００２６】
図５に、本発明の第１の実施例に用いるアップレート器(103)(104)の動作を示す。同図において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、アップレート器(103)(104)の「周波数-利得」特性を示している。ここで、アップレート器(103)(104)では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数とし、もとの画素間隔のちょうど中間の位置に新しい画素のサンリング点(=ゼロ点)を挿入することによって画素数を2倍にして高密度化するとともに、-fs〜+fsの間の周波数をすべて利得2.0の通過帯域とするフィルタをかける。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
【００２７】
図6に、本発明の第1の実施例に用いるアップレート器(103)(104)の具体例を示す。同図は、図5に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的に知られているsinc関数となり、サンプリングの位相差θ(102)を補償するために(-θ)だけシフトし、Ck=2sin(πk+θ)/(πk+θ)とすればよい。なお、アップレート器(103)では、位相差θ(102)を0とおき、Ck=2sin(πk)/(πk)とすればよい。また、位相差θ(102)を、整数画素単位(2π)の位相差+小数画素単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償については上記アップレート器(103)(104)のフィルタを用いてもよい。
【００２８】
図７に、本発明の第1の実施例に用いるπ/2位相シフト器(106)(108)の動作例を示す。（ａ）は、「周波数‐利得」特性を示す図であり、（ｂ）は、「周波数‐位相差」特性を示す図である。π/2位相シフト器(106)(108)として、一般に知られているヒルベルト変換器を用いることができる。同図(a)において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、ヒルベルト変換器の「周波数-利得」特性を示している。ここで、ヒルベルト変換器では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数として、-fs〜+fsの間の0を除く周波数成分をすべて利得1.0の通過帯域とする。また、同図(b)において、横軸は周波数を、縦軸は位相差(入力信号位相に対する出力信号位相の差)を表し、ヒルベルト変換器の「周波数-位相差」特性を示している。ここで、0〜fsの間の周波数成分についてはπ/2だけ位相を遅らせ、0〜-fsの間の周波数成分についてはπ/2だけ位相を進ませる。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
【００２９】
図８に、本発明の第１の実施例に用いるπ/2位相シフト器(106)(108)をヒルベルト変換器で構成した例を示す。同図は、図７に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ckは、k=2m(ただしmは整数)のときはCk=0とし、k=2m+1のときはCk=-2/(πk)とすればよい。
【００３０】
なお、本発明の第1の実施例に用いるπ/2位相シフト器(106)(108)は、微分器を用いることも可能である。この場合、正弦波を表す一般式cos(ωt+α)をtで微分して1/ωを乗じると、d(cos(ωt+α))/dt*(1/ω)=-sin(ωt+α)=cos(ωt+α+π/2)となり、π/2位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、1/ωの「周波数-振幅」特性を持ったフィルタを掛けることによってπ/2位相シフトの機能を実現してもよい。
【００３１】
図９に、本発明の第１の実施例に用いる係数決定器(109)の動作と具体例を示す。（ａ）は、各成分における条件を示し、（ｂ）は、各係数の条件を示し、（ｃ）は、（ａ）および（ｂ）の条件から導き出される各係数の式を示し、（ｄ）は、各係数の具体値の例を示す 同図(a)に示すように、図４(b)に示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図４(c)に示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。図１に示すように、遅延器(105)の出力(アップレート後のフレーム#1の原成分と折返し成分の和)に対する係数をC0、π/2位相シフト器(106)の出力(アップレート後のフレーム#1の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC1、遅延器(107)の出力(アップレート後のフレーム#2の原成分と折返し成分の和)に対する係数をC2、π／２位相シフト器(106)の出力(アップレート後のフレーム#2の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC3、として図9(a)の条件を満たすようにすると、図4(b)および図4(c)に示した各成分の位相関係から、図9(b)に示す連立方程式を得ることができ、これを解くと図9(c)に示す結果を導くことができる。係数決定器(109)は、このようにして得た係数C0、C1、C2、C3を出力すればよい。一例として、位相差θ(102)をπ/8ごとに0〜2πまで変化させたときの係数C0、C1、C2、C3の値を、図9(d)に示す。これは、もとのフレーム#2の信号を、1/16画素の精度で位置推定し、フレーム#1に対して動き補償した場合に相当する。
【００３２】
なお、アップレート器(103)(104)およびπ/2位相シフト器(106)(107)は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数(例えばハニング窓関数やハミング窓関数など)を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、C0を中心として左右点対象の値、すなわちC(-k)=-Ck(kは整数)とすれば、位相を一定量だけシフトすることができる。
【００３３】
以上のように各部を構成すれば、好適に、すなわちより少ないフレーム数で、かつ簡単な構成で高解像度化を実現することができる。
【実施例２】
【００３４】
図１０に、本発明の第２の実施例に係る位相シフト部および折返し成分除去部の構成を示す。同図に示した構成は、図９(c)に示した係数C0、C1、C2、C3の関係を利用して、図１に示した構成を簡略化したものである。すなわち、C0=C2=1/2であり、C1=-C3=-(1+cosθ)/sinθであることから、アップレート後のフレーム#1と動き補償・アップレート後のフレーム#2の各信号から、加算器(1001)と減算器(1004)により和と差の信号を生成する。和信号については、fs遮断フィルタ(1002)を介したのちに、乗算器(1003)にてC0(=0.5)を掛けて加算器(1008)に入力する。ここで、fs遮断フィルタ(1002)は、アップレート前のサンプリング周波数(fs)の成分を零点として遮断するフィルタであり、例えば同図の(1011)に示すタップ係数を用いることにより実現できる。このfs遮断フィルタ(1002)は、図7(a)に示したようにヒルベルト変換器(1005)の「周波数-利得」特性にて周波数fsの利得が零点になるために折返し成分を除去できず、周波数fsの不要成分が残留してしまうことを防ぐのが目的である。従って、周波数fsの成分も含めてπ/2位相シフトできる手段をヒルベルト変換器(1005)の替わりに用いれば、このfs遮断フィルタ(1002)は不要になる。
【００３５】
一方、差信号については、ヒルベルト変換器(1005)にて位相を一定量(=π/2)だけシフトしたのちに、係数決定器(1007)にて位相差(102)に基づいて決定した係数C1を乗算器(1006)で乗算し、加算器(1008)にて加算して出力を得る。ここで、ｆｓ遮断フィルタ(1002)とヒルベルト変換器(1005) を有す位相シフト部(1009)は、図１に示した位相シフト部(116)の半分の回路規模で実現できる。また、係数決定器(1007)は図９(c)に示した係数C1だけを出力すればよく、加算器(1001)、減算器(1004)、乗算器(1003)(1006)、加算器(1008)、係数決定器(1007) を有す折返し成分除去部(1010)は乗算器の個数を減らすことができるため、図１に示した折返し成分除去部(117)よりも小さい回路規模で実現できる。
【実施例３】
【００３６】
図１１に、本発明の第３の実施例を示す。同図に示す構成は、図９(d)に示したように位相差θが0のときに係数C1、C3が不定になることや、位相差θが0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図１０に示した構成をベースとして、位相差θが0近傍になったときに補助的画素補間部(1105)からの出力に切り替えるように構成したものである。すなわち、一般的な補間ローパスフィルタ(1101)をバイパス経路として用意し、係数決定器(1103)にて上述した係数C0、C1のほかに新たにC4を生成して、乗算器(1102)にて補間ローパスフィルタ(1101)の出力と係数C4を乗算し、加算器(1104)で高解像度化した信号に加えて出力する。それ以外は、図１０に示した構成と同一である。
【００３７】
図１２に、本発明の第３の実施例に用いる補間ローパスフィルタ(1101)の具体例を示す。同図は、もとのサンプリング周波数fsの1/2をカットオフ周波数とする周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的なsinc関数となり、Ck=sin(πk/2)/(πk/2)とすればよい。
【００３８】
図１３に、本発明の第3の実施例に用いる係数決定器(1103)の具体例を示す。同図は、図9(d)に示した係数C0、C1をベースとし、通常は新たな係数C4を0としているが、位相差θが0近傍になったときに、係数C1の値を強制的に0にするとともに、係数C4の値を1.0とする動作を示している。この動作により、図１１に示す構成において、位相差θ(102)が0近傍になったときに、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えることができるようになる。なお、位相差θが0に近づくとともに、図１２に示した係数から図１３に示した係数に連続的に徐々に近づけるようにしてもよい。また、図１における位置推定部(101)にて、フレーム#1上の処理対象の画素に対応した画素がフレーム#2上にないと判定された場合も、位相差θ(102)が0近傍になったときと同様に各係数を制御して、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えてもよい。
【実施例４】
【００３９】
図１４に、本発明の第４の実施例を示す。同図は、上記第１の実施例の動作のフローチャートである。このフローチャートの方法は、例えば、上記第１の実施例のような構成で実施してもよく、また、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラム等で実施してもよい。以下、各部の名称および符号は、図１に準ずることとする。また、図１４のステップＳ１４０１〜ステップＳ１４１７をステップＳ５、図１５のステップＳ１５０１〜ステップＳ１５１７をステップＳ５’、および図１６とのステップＳ１５０１〜ステップＳ１５１７をステップＳ５’’とする。
【００４０】
なお、図１では、位置推定部（１０１）で位相差（１０２）を求めた後、アップレート器（１０３），（１０４）でフレーム＃１およびフレーム＃２をそれぞれアップレートしているが、前記したように、アップレート器（１０３），（１０４）でフレーム＃１およびフレーム＃２をそれぞれアップレートした後、アップレートしたフレーム＃１およびフレーム＃２を基に、位置推定部（１０１）が位相差（１０２）を求めてもよい。図１４と、後記する図１５および図１６では、アップレート器（１０３），（１０４）でフレーム＃１およびフレーム＃２をそれぞれアップレートした後、アップレートしたフレーム＃１およびフレーム＃２を基に、位置推定部（１０１）が位相差θ（１０２）を求める例を説明するが、位置推定とアップレートの順番が入れ替わってもよいことは、当然である。
【００４１】
同図において、処理はステップ(1401)から開始し、ステップ(1418)にて、動き補償・アップレート部１１５が、各フレームの画像データを２倍にアップレートする。すなわち、ステップ(1402)にて、アップレート器１０３が、フレーム#1の画像データをアップレートしてフレームバッファ#1に書込み、ステップ(1403)にて、アップレート器１０４が、フレーム#2の画像データをアップレートしてフレームバッファ#2に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦0でクリアしたのちに、1画素おきにデータを書き込むことにより実現できる。また、フレームバッファとは、アップレートされた画像データ（フレーム）を、ＲＡＭ（Random Access memory）や、ＨＤ（Hard Disk）などに一時的に記憶することである。
【００４２】
次に、ステップ(1404)にて、解像度変換部２は、フレームバッファ#1の最初の画素(例えば左上の画素)を処理対象に設定して、以下、フレームバッファ#1に対するすべての画素データの処理が終わるまで、処理をループする。
【００４３】
ステップ(1405)では、位置推定部１０１が、フレームバッファ#1の対象画素を基準にしてフレームバッファ#2の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、上記の従来技術をそのまま用いることができる。
【００４４】
ステップ(1406)では、動き補償・アップレート部１１５が、ステップ(1405)で求めた位相差θをもとに、フレームバッファ#2の中の対応する画素の近傍の画素を動き補償する。このとき、近傍の画素として、ステップ(1408)のπ/2位相シフトの処理で用いる画素データ、すなわち有限のタップ数が作用す
る範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図5および図6を用いて説明した動作と同一である。
【００４５】
続いて、ステップ(1419)にて、位相シフト部１１６が、フレームバッファ#1と動き補償したフレームバッファ#2に対して、位相を一定量だけシフトする。すなわち、ステップ(1407)(1408)により、π／２位相シフト器１０６，１０８が、各フレームバッファの中の画素データをπ/2位相シフトする。
【００４６】
続いて、ステップ(1420)にて、折返し成分除去部１１７が、位相差θに基づいて図９(a)(b)(c)の条件を満たすように設定した係数C0、C1、C2、C3を用いて、ステップ(1419)の出力データそれぞれに乗算し、これらを加算をすることにより、フレームバッファ#1、#2の画素データから折返し成分を除去し、フレームバッファ#3に出力する。すなわち、ステップ(1409)にて、係数決定機１１９が、位相差θをもとに係数C0、C1、C2、C3を決定し、ステップ(1410)(1411)(1412)(1413)にて、乗算器１１０〜１１３が、各係数とフレームバッファ#1、#2の画素データおよびπ/2位相シフト後のデータとそれぞれ乗算したのち、ステップ(1414)にて、加算器１１４が、すべてを加算して、フレームバッファ#3に出力する。この折返し成分除去部（１１７）のの動作は、図9を用いて説明した動作と同一である。
【００４７】
続いて、ステップ(1415)にて、解像度変換部２は、フレームバッファ#1の全画素の処理が完了したかどうかを判定し、完了していなけれ（Ｓ１４１５→Ｎｏ）ば、ステップ(1416)で次の画素(例えば右隣の画素)を処理の対象に設定してステップ(1405)以降に戻り、完了していれば（Ｓ１４１５→Ｙｅｓ）ステップ(1417)にて処理を終了する。
【００４８】
以上のような処理を行うことにより、解像度変換部２は、フレームバッファ#1とフレームバッファ#2の画素データを用いて、フレームバッファ#3に高解像度化した信号を出力することができる。動画に応用する場合は、解像度変換部２が、ステップ(1401)からステップ(1417)に至る処理を、フレームごとに繰り返せばよい。
【実施例５】
【００４９】
図１５に、本発明の第5の実施例を示す。上記第２の実施例の動作のフローチャートである。このフローチャートの方法は、例えば、上記第２の実施例のような構成で実施してもよく、また、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラム等で実施してもよい。以下、各部の名称および符号は、図１に準ずることとする。なお、ステップＳ１５０１〜ステップＳ１５１７をステップＳ５とする。
【００５０】
同図において、処理はステップ(1501)から開始し、ステップ(1518)にて、動き補償・アップレート部１１５が、各フレームの画像データをアップレートする。すなわち、ステップ(1502)にて、アップレート器１０４が、フレーム#1の画像データをアップレートしてフレームバッファ#1に書込み、ステップ(1503)にて、アップレート器１０３が、フレーム#2の画像データをアップレートしてフレームバッファ#2に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦0でクリアしたのちに、1画素おきにデータを書き込むことにより実現できる。
【００５１】
次に、ステップ(1504)にて、解像度変換部２が、フレームバッファ#1の最初の画素(例えば左上の画素)を処理対象に設定して、以下、フレームバッファ#1のすべての画素データの処理が終わるまで、処理をループする。
【００５２】
ステップ(1505)では、位置推定部１０１が、フレームバッファ#1の対象画素を基準にしてフレームバッファ#2の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、上記の従来技術をそのまま用いることができる。
【００５３】
ステップ(1506)では、動き補償・アップレート部１１５が、ステップ(1505)で求めた位相差θ（102）をもとに、フレームバッファ#2の中の対応する画素の近傍の画素を動き補償する。このとき、「近傍の画素」として、ステップ(1510)のヒルベルト変換の処理で用いる画素データ、すなわち有限のタップ数が作用する範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図５および図６を用いて説明した動作と同一である。
【００５４】
続いて、ステップＳ（１５１９）およびステップ(1520)にて、折返し成分除去部１０１０および位相シフト部１００９が、位相差θに基づいて、位相を一定量だけシフトし、フレームバッファ#1、#2の画素データから折返し成分を除去し、フレームバッファ#3に出力する。まず、ステップ(1507)にて、加算部１００１が、、フレームバッファ#1の画素データの値と動き補償したフレームバッファ#2の画素データの値を加算し、ステップ(1509)にて、ｆｓ遮断フィルタ１００２が、周波数fsの成分を遮断する。このfs遮断フィルタ(1509)の動作は、図１0に示した(1002)の動作と同一である。
【００５５】
また、ステップ(1508)にて、減算部１００４が、フレームバッファ#1の画素データの値から動き補償したフレームバッファ#2の画素データの値を減算する。ここで、減算した結果に対して、ステップ(1519)にて位相を一定量だけシフトする。すなわち、同様に減算した近傍のデータも用いて、ステップ(1510)にて、ヒルベルト変換器１００５が、ヒルベルト変換する。この位相シフトの動作（ステップＳ１５１９）は、図７および図８を用いて説明した動作と同一である。
【００５６】
続いて、ステップ(1511)にて、乗算部１００３が、ｆｓ成分遮断後のデータに係数C0(=0.5)を乗算するとともに、ステップ(1512)にて、係数決定器１００７が、位相差θをもとに係数C1を決定し、ステップ(1513)にて、乗算部１００６が、係数C1とヒルベルト変換後のデータを乗算したのち、ステップ(1514)にて、加算部１００８が、両者のデータを加算して、フレームバッファ#3に出力する。この折返し成分除去の動作は、図１０を用いて説明した動作と同一である。
【００５７】
続いて、ステップ(1515)にて、解像度変換部２は、フレームバッファ#1の全画素の処理が完了したかどうかを判定し、完了していなければ（Ｓ１５１５→Ｎｏ）、ステップ(1516)で次の画素(例えば右隣の画素)を処理の対象に設定してステップ(1505)以降に戻り、完了していれば（Ｓ１５１５→Ｙｅｓ）ステップ(1517)にて処理を終了する。
【００５８】
以上のような処理を行うことにより、解像度変換部２は、フレームバッファ#1とフレームバッファ#2の画素データを用いて、フレームバッファ#3に高解像度化した信号を出力することができる。動画に応用する場合は、解像度変換部２が、ステップ(1501)からステップ(1517)に至る処理を、フレームごとに繰り返せばよい。
【実施例６】
【００５９】
図１６に、本発明の第６の実施例を示す。上記第３の実施例の動作のフローチャートである。このフローチャートの方法は、例えば、上記第３の実施例のような構成で実施してもよく、また、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラム等で実施してもよい。同図に示した処理ステップの動作は、図9(d)に示したように位相差θが0のときに係数C1、C3が不定になることや、位相差θが0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図１5に示した処理ステップをベースとして、位相差θが0近傍になったときにステップ(1606)の処理結果をフレームバッファ#3に出力するように構成したものである。すなわち、ステップＳ（１５０５）の後、ステップ(1601)にて、係数決定器１１０３が、位相差θをもとに係数C0、C1、C4を決定し、ステップＳ１５０４の後、ステップ(1602)にて、補間ローパスフィルタ１１０１が、フレームバッファ#1の中の対象の画素データとその近傍の画素データを用いて一般的な補間ローパスフィルタ処理を行ったのちに、ステップ(1603)にて、乗算部１１０２が、補間ローパスフィルタ処理を行った画素データに、係数C4を乗算して、ステップ(1604)にて、加算器１１０４が、ステップＳ１６０３の出力に、ステップ(1511)(1513)の出力と加算してフレームバッファ#3に出力する。それ以外は、図１５に示した処理ステップと同一である。なお、ステップ(1601)での係数決定の動作は、図１３を用いて説明した動作と同一である。また、ステップ(1602)での補間ローパスフィルタの動作は、図１２を用いて説明した動作と同一である。
【００６０】
なお、図１４、図１５、図１６に示した処理ステップを動作させるハードウェアは、信号入出力部(I/O)、CPU(Central Processing Unit)やDSP(Digital Signal Processor)などの信号処理LSI、フレームバッファ(メモリ)から構成される一般的な映像処理機器やコンピュータ等により容易に実現できるため、図示は省略する。
【００６１】
以上のような技術により、複数の画像フレームを合成することにより不要な折返し成分を除去して高解像度化を行う装置において、少なくとも２枚のフレーム画像があれば、１次元方向の２倍の高解像度化行う画像信号処理を実現できる。
【００６２】
図１7を用いて、本発明の一実施の態様と上記従来技術の動作の違いを説明する。図１７は、本実施例と従来技術の動作の違いを説明するための図であり、（ａ）は、各入力画像を示す図であり、（ｂ）は、各サンプリング位相を示す図であり、（ｃ）は、折返し成分の位相関係を示す図である。同図(a)において、フレーム#1(1701)からフレーム#5(1705)の間に、被写体が右方向に移動するような入力画像を用意する。この際、同図(b)に示すように、各フレームにおけるサンプリング位相を見ると、フレーム#1(1701)とフレーム#2(1702)の間では対応画素の位置が1/4画素(=π/2)ずれており、フレーム#1(1701)とフレーム#3(1703)の間では対応画素の位置が1画素(=2π)ずれており、フレーム#1(1701)とフレーム#4(1704)の間では対応画素の位置が5/4画素(=5π/2)ずれており、フレーム#1(1701)とフレーム#5(1705)の間では対応画素の位置が2画素(=4π)ずれているように、意図的に被写体を移動させる。このとき、各フレーム上の信号に含まれるそれぞれの折返し成分の位相は、フレーム#1(1701)上の信号に含まれる折返し成分の位相を基準にして、同図(c)のように表すことができる。この入力画像(a) （フレーム＃１ １７０１〜フレーム＃５ １７０５）に対して2倍の高解像度化を行う場合、上記従来技術では、フレーム#1(1701)からフレーム#5(1705)の中のどの3フレームを用いても折返し成分のベクトル和を0にすることができないため、高解像度化は実現できない。一方、本実施例１〜６を用いれば、例えば、隣接する２フレーム(例：フレーム#1(1701)とフレーム#2(1702))を用いて折返し成分のベクトル和を0にできるため、高解像度化を実現できる。すなわち、同図(a)の入力画像をテストパターンとして用いることにより、本実施例１〜６の動作状況を確認することができる。
【実施例７】
【００６３】
上記では２フレームの信号を用いて２倍の高解像度化を説明したが、同様にｎフレーム(ｎは２以上の整数)の信号を用いてｎ倍の高解像度化を実現できる。この際に、図９(a)に示したように、原成分の和のRe軸=1、原成分の和のIm軸=0、の条件とともに、もとのサンプリング周波数(fs)の1〜(n-1)倍の周波数からそれぞれ折り返された(ｎ−１)個の折返し成分のベクトル和をそれぞれ0と置いて、連立方程式を解けばよい。以下、図１８と図１９を用いて上記を詳細に説明する。
【００６４】
図１８に、ｎフレーム(ｎは２以上の整数)の信号を用いてｎ倍の高解像度化を行う画像信号処理装置の実施例を示す。同図において、まず位置推定部(1801) の位置推定器（１８０１−１〜１８０１−（ｎ−１））により、入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、入力されたフレーム#2〜フレーム#n上の対応する画素の位置を推定し、位相差θ1(1802-1)〜位相差θ(n-1)(1802-(n-1))を求める。次に、動き補償・アップレート部(1806)のアップレート器(1803-0)〜(1803-(n-1))により、各位相差θの情報を用いてフレーム#2〜フレーム#nを動き補償してフレーム#1と位置を合わせるとともに、各フレームの画素数をそれぞれn倍に増して高密度化する。位相シフト部(1807)では、この高密度化したデータの位相を一定量だけシフトして、信号Si0〜Si(n-1)とする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器(1805-0)〜1805-(n-1))を用いることができる。また、各π/2位相シフト器（１８０５−０〜１８０５−（ｎ−１））で生じる遅延を補償するために、遅延器(1804-0)〜(1804-(n-1))により高密度化した各フレームの信号を遅延させて、信号Sr0〜Sr(n-1)とする。折返し成分除去部(1808)では、これらの信号Si0〜Si(n-1)、Sr0〜Sr(n-1)、位相差θ1〜θ(n-1)を用いて折返し成分除去のための演算を行い、出力を得る。なお、位置推定部(1801) における位置推定器（１８０１−１〜１８０１−（ｎ−１））は、上記従来技術をそのまま用いて実現することができる。また、動き補償・アップレート部(1806)、位相シフト部(1807)については、図５〜図８に示した内容をもとに、図中の周波数をfsからfs*n/2に変更することによって容易に類推して実現可能なため、図示は省略する。なお、位相シフト部(1807)にて、fs*n/2の周波数の利得が零点になって折返し歪を除去できない場合は、fs*n/2の周波数の利得が零点になる遮断フィルタを用いたほうがよい。この遮断フィルタは、遅延器(1804-0)〜(1804-(n-1))の位置に挿入してもよいが、折返し成分除去部(1808)の出力の位置に挿入しても同様の効果が得られることは明らかである。
【００６５】
なお、図１８においても、図１と同様に、位置推定器（１８０１−１〜１８０１−（ｎ−１））と、アップレート器（１８０３−１〜１８０３−（ｎ−１））とのそれぞれの位置が入れ替わり、フレーム＃１〜フレーム＃ｎをそれぞれアップレートした後、位置推定器（１８０１−１〜１８０１−（ｎ−１））で各位相差θ（１８０２−１〜１８０２−（ｎ−１））を求めてもよい。
【００６６】
図１９に、折返し成分除去部(1808)の動作の詳細を示す。（ａ）は、折返し成分除去した出力を得るための計算式であり、（ｂ）は、係数を求めるための計算式である。
【００６７】
同図(a)に、信号Si0〜Si(n-1)、Sr0〜Sr(n-1)、位相差θ1〜θ(n-1)を用いて折返し成分除去した出力を得るための計算式を示す。ここで、Ci0〜Ci(n-1)、Cr0〜Cr(n-1)は、それぞれ信号Si0〜Si(n-1)、Sr0〜Sr(n-1)に乗じる係数である。
【００６８】
同図(b)に、これらの係数Ci0〜Ci(n-1)、Cr0〜Cr(n-1)を求めるための計算式を示す。同計算式は、左辺、右辺ともにマトリクス形式になっており、上から2行ごとに、原成分、サンプリング周波数(fs)の成分、サンプリング周波数(fs)の2倍の成分、以下同様に、サンプリング周波数(fs)の(n-1)倍までの成分を示しており、各1行目(奇数行)はRe軸、各2行目(偶数行)はIm軸の各成分を示している。同計算式の左辺のマトリクスは、原成分のRe軸の和が１であり、その他の成分はすべて０であることを示している。同計算式の右辺はマトリクスの積演算になっている。右辺の左側のマトリクスは、左から2列ごとに、フレーム#1のサンプリング位相(基準)、フレーム#2とフレーム#1とのサンプリング位相差、以下同様に、フレーム#nとフレーム#1のサンプリング位相差に応じて長さ1のベクトルを回転させることを示しており、各1列目(奇数列)はRe軸、各2列目(偶数列)はIm軸にそれぞれ長さ1のベクトルを射影した際の値を示している。ここで、上から2行ごとに、サンプリング周波数に比例してサンプリング位相差(回転角)が大きくなる特徴がある。右辺の右側のマトリクスは求めたい係数である。すなわち、同図(b)に示す計算式は、不要な折返し成分を除去して原成分のRe軸のみを抽出するために、フレーム#1〜フレーム#nの各成分に適切な係数を乗じてベクトル和をとる、ということを示している。従って、同図(b)の逆マトリクス演算によって係数Ci0〜Ci(n-1)、Cr0〜Cr(n-1)を求め、その係数を同図(a)に代入して演算することによって不要な(n-1)個の折返し成分を除去することができ、n倍の高解像度化を実現できる。この際、n=2とおけば、図１８に示した構成は図１に示した構成と一致し、図１９に示した計算式は図９に示した計算式と一致する。
【００６９】
上記第７の実施例の動作のフローチャートは、例えば、図１４に示した実施例(フローチャート)の入力フレーム数を２からnとし、＃２から＃nまでにおける任意のの＃kのフレームについて、フレームのデータをフレームバッファ＃kに書き込むステップ、フレームバッファ#1の対象画素を基準にしてフレームバッファ＃kの対応画素の位置を推定し、位相差θを出力するステップ、位相差θをもとに、フレームバッファ＃kの対応画素の近傍の画素を動き補償を行うステップ、動き補償後のデータを１フレームにつき２系統出力し、一方はそのままで他方をπ/2位相シフトするステップを各k分追加する。次に図１４のステップ1420を、フレーム＃1とフレーム＃kとの位相差θ(k-1)に応じて定めた各係数と各出力データとを乗算し、すべての乗算結果を加算するステップとすればよい。
【００７０】
また、上記第７の実施例の動作のフローチャートは、例えば、図１５、図１６に示した実施例(フローチャート)の入力フレーム数を２からnとしてもよい。すなわち、＃２から＃nまでにおける任意の＃kのフレームについて、フレームのデータをフレームバッファ＃kに書き込むステップ、フレームバッファ#1の対象画素を基準にしてフレームバッファ＃kの対応画素の位置を推定し、位相差θを出力するステップ、位相差θをもとに、フレームバッファ＃kの対応画素の近傍の画素を動き補償を行うステップを追加する。つぎに、図１５、図１６のステップ1506から出力される２系統の出力が、ｎが１増えるごとに２ずつ増える。これらの出力データ各々に乗算する係数をフレーム＃1とフレーム＃kとの位相差θ(k-1)に応じて定める。最後に図１５のステップ1520をフレーム＃1とフレーム＃kとの位相差θ(k-1)に応じて定めた各係数と各出力データとを乗算し、すべての乗算結果を加算するステップとすればよい。または、図１６のステップ1605を、フレーム＃1とフレーム＃kとの位相差θ(k-1)に応じて定めた各係数と各出力データとを乗算し、補間ローパスフィルタ1602の出力と係数Ｃ４との積と、すべての乗算結果とを加算するステップとすればよい。
【００７１】
上記第７の実施例の動作は、上記第７の実施例のような構成で実施しなくとも、制御部とメモリとソフトウェアプログラムにより実施してもよい。また、一部のステップを回路で行い、一部のステップを制御部とメモリとソフトウェアプログラム等で実施してもよい。
なお、上記では水平方向の高解像度化を例に挙げて説明したが、本発明の各実施例は、これに限定されるわけではなく、垂直方向や斜め方向の高解像度化に適用することが可能である。例えば、本発明をインタレース-プログレッシブ走査変換(I-P変換)に適用することにより、2枚のフィールド画像から1枚のフレーム画像を生成することができる。すなわち、フィールド画像を「走査線数が1/2のフレーム画像」と見なして本発明を適用することにより、静止画・動画に関わらず、画像1枚あたりの走査線数を2倍(すなわち、垂直方向の解像度を２倍)にした出力画像を得ることができる。また、水平・垂直方向を組み合わせた2次元の高解像度化にも適用可能である。
【実施例８】
【００７２】
図２０に、本発明の第8の実施例に係る画像信号処理装置を示す。本実施例に係る画像処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部(1)と、この入力部(1)から入力されたフレームを水平・垂直方向を組み合わせた2次元の高解像度化するための解像度変換部(4)と、更にこの解像度変換部(4)によって高解像度化されたフレームに基づき画像を表示する表示部(3)とを備えている。この解像度変換部(4)では、水平方向および垂直方向のそれぞれに解像度変換処理を行い、それぞれの結果のうち解像度向上効果が大きい成分を選択的に、もしくは混合させて出力することにより、2次元の高解像度化を実現する。以下、解像度変換部(4)の詳細について説明する。
図２０において、入力部(1)に入力されたフレーム#1(2010)とフレーム#2(2013)をもとに、水平解像度変換部(2001)と垂直解像度変換部(2005)を用いて、水平方向の画素数を増加させたフレーム(2011)と垂直方向の画素数を増加させたフレーム(2014)をそれぞれ生成する。ここで、各解像度変換部(2001)(2005)は、図１に示した解像度変換部(2)の構成をそのまま用いて、水平方向および垂直方向の信号処理をそれぞれ行う。この際、水平解像度変換部(2001)では、図１に示したアップレート器(103)(104)、遅延器(105)(107)、π/2位相シフト器(106)(108)は、それぞれ水平方向のアップレート、遅延、π/2位相シフトを行うように構成する。同様に、垂直解像度変換部(2005)では、図１に示したアップレート器(103)(104)、遅延器(105)(107)、π/2位相シフト器(106)(108)は、それぞれ垂直方向のアップレート、遅延、π/2位相シフトを行うように構成する。これらは、図5〜図8に示した動作と従来技術等とを用いて実施可能である。
【００７３】
本実施例では、被写体が水平・垂直方向の2次元的に移動したことを想定し、図１および図２に示した動作を2次元に拡張する。すなわち、水平解像度変換部(2001)の中の位置推定部(図１中の(101))および動き補償・アップレート部(図１中の(115))では、フレーム#1上の被写体を基準としてフレーム#2上の被写体を2次元的に動き補償するとともに、各フレームの画素のサンプリング位相差のうち、水平位相差θHを折返し成分除去部(図１中の(117))の係数決定に用いる。同様に、垂直解像度変換部(2005)の中の位置推定部(図１中の(101))および動き補償・アップレート部(図１中の(115))では、フレーム#1上の被写体(2016)を基準としてフレーム#2上の被写体(2017)を2次元的に動き補償するとともに、各フレームの画素のサンプリング位相差のうち、垂直位相差θVを折返し成分除去部(図１中の(117))の係数決定に用いる。折返し成分除去部(図１中の(117))の係数決定は、図9に示した動作をそのまま用いればよい。
【００７４】
被写体が斜め方向に移動した場合を想定すると、水平解像度変換部(2001) によって水平方向の画素数を増加させたフレーム(2011)には斜め方向の歪が含まれることになるが、もともとの入力信号の垂直周波数が低い成分(縦線など)では、この歪が無視できる程度に小さい。同様に、垂直解像度変換部(2005) によって垂直方向の画素数を増加させたフレーム(2014)には斜め方向の歪が含まれることになるが、もともとの入力信号の水平周波数が低い成分(横線など)では、この歪が無視できる程度に小さい。
【００７５】
この特性を利用し、上記の信号処理に従って水平方向の画素数を増加させたフレーム(2011)は、垂直アップレート器(2002)および画素補間器(2003)からなる垂直補間部(2004)によりフレーム(2012)を生成し、SR(水平)信号とする。ここで画素補間器(2003)は、補間したい画素の上下の画素データの平均値を出力するような、一般的な垂直ローパスフィルタを用いればよい。同様に、垂直方向の画素数を増加させたフレーム(2014)は、水平アップレート器(2006)および画素補間器(2007)からなる水平補間部(2008)により、フレーム(2015)を生成しSR(垂直)信号とする。ここで、画素補間器(2007)は、補間したい画素の左右の画素データの平均値を出力するような、一般的な水平ローパスフィルタを用いればよい。このように、画素補間器(2003)(2007)を用いて、処理対象の方向と直交する方向の高周波成分を除去して低周波成分だけを抽出すれば、上述した斜め方向に移動した際に発生する歪の影響を無視できる程度に小さくすることができる。上記の処理によって生成したSR(水平)信号とSR(垂直)信号を混合器(2009)によって混合して出力信号とし、表示部(3)にて表示する。混合器(2009)の詳細な構成および動作については後述する。
【実施例９】
【００７６】
図２１に、本発明の第9の実施例に係る画像信号処理装置を示す。本実施例に係る画像処理装置は、上述した第8の実施例の構成を変形したものであり、図２０に示した解像度変換部(2001)(2005)と補間部(2004)(2008)の処理順序を逆にして、補間処理を行ったのちに解像度変換を行うように構成したものである。これにより、解像度変換部(2001)(2005)の中にあるアップレート器(図１中の(103)(104))と、補間部(2004)(2008)の中にあるアップレート器(図２０中の(2002)(2006))を共通化するとともに、水平解像度変換部(2001)と垂直解像度変換部(2005)の中にあるそれぞれの位置推定部(図１中の(101))を共通化できるため、より小さい回路規模および演算量で同様の信号処理を実現できるようになる。
図２１において、まず位置推定部(2101)により、入力部(1)に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、水平方向と垂直方向のそれぞれのサンプリング位相差θH(2102)、θV(2103)を求める。次に、動き補償・アップレート部(2110)の水平・垂直アップレート器(2104)(2105)により、位相差θH(2102)、θV(2103)の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ水平・垂直ともに2倍(合計4倍)に増して高密度化する。水平・垂直アップレート器(2104)(2105)は、図5および図6に示した動作・構成を水平・垂直方向の2次元に拡張したものであり、容易に実施可能なため、図示は省略する。位相シフト部(2111)では、この高密度化したデータの位相を一定量だけシフトする。このとき、水平位相シフト器(2106)は水平方向の位相シフトを行い、垂直位相シフト器(2107)は垂直方向の位相シフトを行うものであり、図1に示した遅延器(105)(107)およびπ/2位相シフト器(108)と図7および図8に示した動作・構成と同様に実施できる為、図示は省略する。位相シフトした各信号に対し、折返し成分除去部(2112)における水平方向の折返し成分除去部(2108)および垂直方向の折返し成分除去部(2109)にてそれぞれ水平・垂直方向の折返し成分を除去する。次に水平方向の折返し成分除去部(2108)の出力を画素補間器(2003)を用いて画素補間してSR(水平)信号ととし、垂直方向の折返し成分除去部(2109)の出力を画素補間器(2007)を用いて画素補間してSR(垂直)信号ととし、これらを混合器(2009)で両者を混合して出力とする。折返し成分除去部(2108)(2109)は、図1に示した折返し成分除去部(117)の構成をそのまま用いることができる。位相差θ(102)として、折返し成分除去部(2108)では水平位相差θH(2102)を用い、折返し成分除去部(2109)では水平位相差θH(2103)を用いて図9に示した動作を行うことにより、それぞれの方向の折返し成分を除去することができる。
【００７７】
図２２に、混合器(2009)の第1の構成例を示す。同図において、混合器２００９は、加算器(2201)と乗算器(2202)を用いて、混合器(2009)に入力されたSR(水平)とSR(垂直)の各信号の平均値を生成して出力する。同図に示す構成は、混合器(2009)を最も簡単に構成した例であるが、水平・垂直の各解像度向上効果もそれぞれ1/2になってしまう。
【００７８】
図２３に、混合器(2009)の第2の構成例を示す。同図において、混合器(2009)に入力されたSR(水平)とSR(垂直)の各信号に対し、混合器２００９は、乗算器(2303)および乗算器(2304)を用いて係数K(水平)と係数K(垂直)をそれぞれ乗じ、加算器(2305)で両者を加算して出力とする。係数K(水平)と係数K(垂直)は、それぞれ係数決定器(2301)(2302)にて生成する。以下、この係数決定器(2301)(2302)の動作について説明する。
【００７９】
図２１に示した折返し成分除去部(2108)(2109)は、同図に示す位相差θH(2102)および位相差θV(2103)をもとに、図1に示す係数決定器(109)にて図9に示す係数C0〜C3を発生して折返し成分除去の演算を行う。このとき、位相差θH(2102)、θV(2103)が0のときに係数C1およびC3が不定になることや、位相差θH(2102)、θV(2103)が0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図13に示す係数C4(0≦C4≦1)を導入して、図11に示す構成のように補助的画素補間を行うのが好ましい。逆に言えば、係数C4の値が0.0のときは解像度向上の効果があるが、係数C4の値が1.0に近づくにつれて、解像度向上の効果が小さくなることになる。この性質を利用し、水平位相差θH(2102)が0近傍(すなわち、係数C4(水平)が1.0近傍)のときは垂直解像度変換結果のSR(垂直)が強く反映され、垂直位相差θV(2103)が0近傍(すなわち、係数C4(垂直)が1.0近傍)のときは水平解像度変換結果のSR(水平)が強く反映されるように、水平・垂直方向それぞれの係数C4の値を用いて係数K(水平)と係数K(垂直)を決定する。この動作を実現するため、例えば図２３に示す係数決定器(2301)ではK(水平)=C4(水平)+(1-C4(垂直))/2の演算を行ってK(水平)を決定し、係数決定器(2303)ではK(垂)=C4(垂直)+(1-C4(水平))/2の演算を行ってK(垂直)を決定している。
【００８０】
図２４に、係数C4(水平)および係数C4(垂直)をそれぞれ変化させたときの係数決定器(2301)(2302)の出力(係数K(水平)および係数K(垂直))の一例をまとめて示す。同図に示すように、係数C4(水平)が大きくなると係数K(水平)が小さくなるとともに係数K(垂直)が大きくなり、係数C4(垂直)が大きくなると係数K(水平)が大きくなるとともに係数K(垂直)が小さくなるように動作する。係数C4(水平)と係数C4(垂直)の値が等しいときには、係数K(水平)と係数K(垂直)がそれぞれ0.5となる。このように水平・垂直で独立して変化する係数C4に対して、係数K(水平)と係数K(垂直)を足してちょうど1.0になるように係数Kを決定して、SR(水平)とSR(垂直)を混合する。
【００８１】
図２５および図２６を用いて、混合器(2009)の第3の動作および構成例をそれぞれ説明する。図２５は、水平周波数をμ、垂直周波数をνとして表した2次元周波数領域である。もとの入力画像の水平サンプリング周波数をμs、垂直サンプリング周波数をνsとすると、図２０および図２１に示した解像度変換部(4)の出力は、水平周波数μが-μs〜μsの範囲、垂直周波数νが-νs〜νsの範囲の信号となる。水平・垂直の各解像度変換により高周波成分が再生されるようになるが、高周波成分はもともと信号レベルが小さいため、水平解像度変換による効果が大きいのは(μ,ν)=(±μs/2, 0)の近傍の周波数領域(2501)の成分（特に(μ,ν)=(+μs/2, 0)を含み、μ＞０となる周波数の領域と、(μ,ν)=(-μs/2, 0)を含み、μ＜０となる周波数の領域の成分）となり、垂直解像度変換による効果が大きいのは(μ,ν)=(0, ±νs/2)の近傍の周波数領域(2502)の成分（特に(μ,ν)=(0, +νs/2)を含み、ν＞０となる周波数の領域と、(μ,ν)=(0, -νs/2)を含み、ν＜０となる周波数の領域の成分）となる。従って、これらの周波数成分(2501)(2502)を2次元フィルタで抽出して混合すると、解像度向上効果が大きい成分を選択的に出力することができる。
【００８２】
図２６に、水平・垂直の各解像度変換による効果が大きい成分を抽出する混合器(2009)の構成例を示す。同図において、混合器２００９は、2次元フィルタ(2601)を用いて、混合器(2009)に入力されたSR(水平)の解像度向上効果が大きい周波数領域(2501)の成分を抽出する。同様に、混合器２００９は、2次元フィルタ(2602)を用いて、混合器(2009)に入力されたSR(垂直)の解像度向上効果が大きい周波数領域(2502)の成分を抽出する。さらに、混合器２００９は、周波数領域(2501)(2502)以外の成分として、加算器(2603)と乗算器(2604)を用いてSR(水平)とSR(垂直)の平均の信号を作り、2次元フィルタ(2605)を用いて、2次元フィルタ(2601)(2602)の各通過帯域以外の成分(すなわち、残りの成分)を抽出する。2次元フィルタ(2601)(2602)(2605)の各出力信号を加算器(2606)で加算し、混合器(2009)の出力とする。なお、同図中に示す2次元フィルタ(2601)(2602)(2605)の中の丸で囲まれた数字はそれぞれのフィルタのタップ係数の一例を示している。（各フィルタの係数は説明の簡略化のため、整数にて表記している。本来の係数値は丸で囲まれた数字とその右部に示された「×1/16」等に示される演算の積である。例えば、2次元フィルタ(2601)では丸で囲まれた各数字にそれぞれ1/16を乗算したのが本来の係数値である。以下の実施例に示される２次元フィルタの係数において同じ。）2次元フィルタ(2601)は±μs/2を通過帯域の中心周波数とする水平バンドパスフィルタと垂直ローパスフィルタの積とし、2次元フィルタ(2602)は±νs/2を通過帯域の中心周波数とする垂直バンドパスフィルタと水平ローパスフィルタの積とし、2次元フィルタ(2605)は全帯域から2次元フィルタ(2601)と2次元フィルタ(2602)の通過帯域を減じた特性とすればよい。
【実施例１０】
【００８３】
図２７に、本発明の第10の実施例に係る画像信号処理装置を示す。本実施例に係る画像処理装置は、図21に示した構成例に、さらに右下および右上方向の斜め成分の高解像度変換部を加えた構成としている。すなわち、位相シフト部(2708)に斜め(右下)位相シフト部(2701)と斜め(右上)位相シフト部(2702)を追加するとともに、折返し成分除去部(2709)に折返し成分除去部(2705)(2706)を追加し、画素補間器(2710)(2711)をそれぞれ介したのちに、SR(水平)、SR(垂直)、SR(右上)、SR(右下)の各信号を混合部(2707)にて混合し、出力とする。ここで、画素補間器(2710)(2711)は、補間したい画素の上下左右の画素データの平均値を出力するような、一般的な2次元ローパスフィルタを用いればよい。位相差θとして斜め方向の位相差情報が必要であり、水平位相差θH(2102)と垂直位相差θV(2103)を加算器(2703)で加算した位相差(θH+θV)を折返し成分除去部(2705)に入力し、減算器(2704)で生成した位相差(-θH+θV)を折返し成分除去部(2706)に入力するように構成すればよい。なお、折返し成分除去部(2106)(2109)(2705)(2706)の構成および動作は、すべて共通である。
【００８４】
なお、図２７においても、図１などと同様に、位置推定部（２１０１）と、水平・垂直アップレート器（２１０４），（２１０５）は、入れ替え可能である。
【００８５】
図２８は、２次元周波数領域における位相シフト部の動作を示す図であり、（ａ）は、水平位相シフト部における図、（ｂ）は、垂直位相シフト部における図、（ｃ）は、斜め（右下）位相シフト部における図、（ｄ）は、斜め（右上）位相シフト部における図である。図２８(a)〜(d)に、2次元周波数領域における水平位相シフト部(2106)、垂直位相シフト部(2107)、斜め(右下)位相シフト部(2701)、斜め(右上)位相シフト部(2702)のそれぞれの動作を示す。図２８(a)〜(d)は図２５と同様に水平周波数をμ、垂直周波数をνとして表した2次元周波数領域である。これらの位相シフト部(2106)(2107)(2701)(2702)は、図1に示した位相シフト部(116)と同様の構成とし、その中のπ/2位相シフト器(106)(108)の「周波数-位相差」特性をそれぞれの方向に合わせて変更する。すなわち、同図(a)において、水平位相シフト部(2106)では、入力信号の水平周波数サンプリング周波数をμsとした場合に、図7に示した動作と同様に、-μs〜0の範囲の周波数成分の位相をπ/2だけシフトし、0〜μsの範囲の周波数成分の位相を-π/2だけシフトする。同様に、垂直位相シフト部(2107)では、入力信号の垂直周波数サンプリング周波数をνsとした場合に、-νs〜0の範囲の周波数成分の位相をπ/2だけシフトし、0〜νsの範囲の周波数成分の位相を-π/2だけシフトする。同様に、斜め(右下)位相シフト部(2701)および斜め(右上)位相シフト部(2702)では、同図(c)および同図(d)にそれぞれ示すように、信号の位相を-π/2あるいはπ/2だけシフトする。これらの「周波数-位相差」特性は、図8に示したタップ係数を、2次元のサンプリング点に合わせて水平、垂直、斜め(右下)、斜め(右上)のそれぞれの方向に配置することにより容易に実現できる。
【００８６】
図２９に、混合器(2707)の第1の構成例を示す。同図において、混合器２７０７は、加算器(2901)と乗算器(2902)を用いて、混合器(2707)に入力されたSR(水平)、SR(垂直)、SR(右下)、SR(右上)の各信号の平均値を生成して出力する。同図に示す構成は、混合器(2707)を最も簡単に構成した例であるが、水平・垂直・右下・右上の各解像度向上効果もそれぞれ1/4になってしまう。
【００８７】
図３０に、混合器(2707)の第2の構成例を示す。同図において、混合器２７０７は、混合器(2707)に入力されたSR(水平)、SR(垂直)、SR(右下)、SR(右上)の各信号に対し、乗算器(3005)、乗算器(3006)、 乗算器(3007)、乗算器(3008)を用いて、係数K(水平)、係数K(垂直)、係数K(右下)、係数K(右上)をそれぞれ乗じ、加算器(3009)でそれらの信号を加算して出力とする。係数K(水平)、係数K(垂直)、係数K(右下)、係数K(右上)は、それぞれ係数決定器(3001)(3002)(3003)(3004)にて生成する。以下、この係数決定器(3001)(3002)(3003)(3004)の動作について説明する。図２７に示した折返し成分除去部(2108)(2109)(2705)(2706)は、同図に示す位相差θH(2102)、位相差θV(2103)、位相差(θH+θV)、位相差(-θH+θV)をもとに、図1に示す係数決定器(109)にて図9に示す係数C0〜C3を発生して折返し成分除去の演算を行う。このとき、位相差θH(2102)、θV(2103)、(θH+θV)、(-θH+θV)が0のときに係数C1およびC3が不定になることや、位相差θH(2102)、θV(2103)、(θH+θV)、(-θH+θV)が0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図13に示す係数C4(0≦C4≦1)を導入して、図11に示す構成のように補助的画素補間を行うのが好ましい。逆に言えば、係数C4の値が0.0のときは解像度向上の効果があるが、係数C4の値が1.0に近づくにつれて、解像度向上の効果が小さくなることになる。この性質を利用し、水平位相差θH(2102)が0近傍(すなわち、係数C4(水平)が1.0近傍)のときは水平解像度変換結果のSR(水平)が弱くなり、水平位相差θH(2102)が0近傍でないとき(すなわち、係数C4(水平)が0.0近傍のとき)は水平解像度変換結果のSR(水平)が強くなるように、係数決定器(3001)にて係数K(水平)を決定する。この一例として、係数K(水平)=(1+C4(水平)*3-C4(垂直)-C4(右下)-C4(右上))/4とすればよい。同様に、係数決定器(3002)(3003)(3004)にて、それぞれ係数K(垂直)、K(右下)、K(右上)を決定する。このとき、独立して変化する係数C4(水平)、係数C4(垂直)、係数C4(右下)、係数C4(右上)に対して、係数K(水平)+係数K(垂直)+係数K(右下)+係数K(右上)=1.0となるよう係数Kを決定して、SR(水平)、SR(垂直)、SR(右下)、SR(右上)を混合する。
【００８８】
図３１および図３２に、混合器(2707)の第3の動作および構成例をそれぞれ示す。図３１は図２５と同様に水平周波数をμ、垂直周波数をνとして表した2次元周波数領域である。図３１において、もとの入力画像の水平サンプリング周波数をμs、垂直サンプリング周波数をνsとすると、図２７に示した解像度変換部(4)の出力は、水平周波数μが-μs〜μsの範囲、垂直周波数νが-νs〜νsの範囲の信号となる。斜め(右上)の解像度変換による効果が大きいのは、図３１に示すような(μ,ν)=(+μs/2, +νs/2)の近傍と(μ,ν)=(-μs/2, -νs/2)の近傍の周波数領域(3101)の成分(特に(μ,ν)=(+μs/2, +νs/2)を含み、μ＞０, ν＞０となる周波数の領域と、(μ,ν)=(-μs/2, -νs/2)を含み、μ＜０, ν＜０となる周波数の領域の成分)となる。斜め(右下)の解像度変換による効果が大きいのは、図３１に示すような(μ,ν)=(+μs/2,-νs/2)の近傍と(μ,ν)=(-μs/2, +νs/2)の近傍の周波数領域(3102)の成分(特に(μ,ν)=(+μs/2, -νs/2)を含み、μ＞０, ν＜０となる周波数の領域と、(μ,ν)=(-μs/2, +νs/2)を含み、μ＜０, ν＞０となる周波数の領域の成分)となる。従って、これらの周波数成分(3101)(3102)を2次元フィルタで抽出し、図２５に示した周波数成分(2501)(2502)も併せて混合すると、解像度向上効果が大きい成分を選択的に出力することができる。
【００８９】
図３２に、水平・垂直・斜め(右下)・斜め(右上)の各解像度変換による効果が大きい成分を抽出する混合器(2707)の構成例を示す。同図において、混合器２７０７は、2次元フィルタ(3201)を用いて、混合器(2707)に入力されたSR(右下)の解像度向上効果が大きい周波数領域(3102)の成分を抽出する。同様に、混合器２７０７は、2次元フィルタ(3202)を用いて、混合器(2707)に入力されたSR(右上)の解像度向上効果が大きい周波数領域(3101)の成分を抽出する。また、図２６に示示すフィルタと同様のフィルタである2次元フィルタ(2601)(2602)により、それぞれSR(水平)およびSR(垂直)の解像度向上効果が大きい周波数領域(2501)(2502)の成分を抽出する。周波数領域(2501)(2502)(3101)(3102)以外の成分として、加算器(3203)と乗算器(3204)を用いてSR(水平)、SR(垂直)、SR(右下)、SR(右上)の平均の信号を作り、2次元フィルタ(3205)を用いて、2次元フィルタ(2601)(2602)(3201)(3202)の各通過帯域以外の成分を抽出する。混合器２７０７は、2次元フィルタ(2601)(2602)(3201)(3202)(3205)の各出力信号を加算器(3206)で加算し、混合器(2707)の出力とする。なお、同図中に示す2次元フィルタ(2601)(2602)(3201)(3202)(3205)の中の丸で囲まれた数字は、それぞれのフィルタのタップ係数の一例を示す。
【実施例１１】
【００９０】
図３３に、本発明の第１１の実施例を示す。同図は、上記第10の実施例の動作をソフトウェアプログラムにより実現した例である。
【００９１】
同図において、解像度変換部４は、処理はステップ(3301)から開始し、ステップ(5-1)(5-2)(5-3)(5-4)にてそれぞれ水平、垂直、斜め(右下)、斜め(右上)の高解像度化を行う。ここで、各ステップ(5-1)(5-2)(5-3)(5-4)では、図14乃至図16に示した処理ステップ(5)の処理のうち、いずれかを、水平、垂直、斜め(右下)、斜め(右上)の各方向に実行すればよい。すなわち、、解像度変換部４は、π/2位相シフト(1407)(1408)、ヒルベルト変換(1510)などの「周波数-位相」特性を、図２８に示すようにそれぞれの方向に応じて変更するとともに、位相差θをθH、θV、(θH+θV)、(-θH+θV)にそれぞれ置き換えて処理すればよい。各ステップ(5-1)(5-2)(5-3)(5-4)の処理結果は、図14乃至図16を用いて説明したように、それぞれのフレームバッファ#3に書き込まれる。続くステップ(3302-1)(3302-2)(3302-3) (3302-4)では、画素補間器２００３，２００７，２７０５，２７０６が、それぞれ垂直、水平、斜め方向の画素補間を行い、出力するフレームの水平・垂直の画素数と同じになるように、2次元フレームバッファ#3の全画素を生成する。続くステップ(3303)では、混合器２７０７が、図29、図30、図32を用いて説明した方法に従って各フレームバッファ#3のデータを画素ごとに混合して、出力用のフレームバッファ#4に出力する。なお、上記第8乃至第9の実施例の動作をソフトウェアプログラムにより実現する場合には、斜め方向の処理を行うステップ(5-3)(5-4)、それらの結果に対して画素補間を行うステップ(3302-3)(3302-4)は不要である。また、ステップ(3303)の混合方法として、図22、図23、図26を用いて説明した方法に従って、データを混合すればよい。このステップ(3303)の混合方法については、上記の動作説明をもとにして容易に実現可能なため、フローチャートの図示は省略する。
【実施例１２】
【００９２】
図３５に、本発明の第12の実施例に係る画像表示装置を示す。本実施例に係る画像表示装置は、上述の第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う構成とした画像表示装置である。
【００９３】
同図において、画像表示装置3500は、例えば、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号や映像コンテンツや画像コンテンツなどを入力する入力部3501と、入力部3501から入力されたコンテンツを録画もしくは再生する録画再生部3502と、録画再生部3502がコンテンツを記録するコンテンツ蓄積部3503と、録画再生部3502が再生した映像信号または画像信号に第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う画像信号処理部3504と、画像信号処理部3504にて処理された映像信号または画像信号を表示する表示部3505と、録画再生部3502が再生した音声信号を出力する音声出力部3506と、画像表示装置3500の各構成部を制御する制御部3507と、ユーザーが画像表示装置3500の操作を行うユーザインターフェース部3508などを備える。
【００９４】
画像表示装置3500が第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う画像信号処理部3504を備えることで、入力部3501に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として表示部3505に表示することができる。よって、表示部3505の表示デバイスの解像度よりも、低解像度の信号が入力部3501から入力された場合も、再生信号を高解像度化しつつ高画質で高精細な表示を行うことが可能となる。
【００９５】
また、コンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツを再生する際も、より高解像度で高画質な映像信号または画像信号に変換して表示部3505に表示することができる。
【００９６】
また、画像信号処理部3504の画像処理をコンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツの再生後に行うことにより、コンテンツ蓄積部3503に蓄積されるデータは、表示部3505に表示される解像度のよりも相対的に低解像度である。よって相対的にコンテンツのデータ量を小さくして蓄積できるという効果がある。
また、画像信号処理部3504を録画再生部3502に含め、録画時に上述の画像信号処理を行ってもよい。この場合は、再生時には上述の画像信号処理を行う必要が無いため、再生時の処理負荷を低減できるという効果がある。
ここで、上述の画像信号処理は画像信号処理部3504にて行うと説明したが、制御部3507とソフトウェアで実現しても良い。この場合、第1乃至第11の実施例のいずれか一の実施例に記載された方法で画像信号処理を行えばよい。
本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツの状態に応じて、符号化を行ってからコンテンツ蓄積部3503に記録すればよい。
また、本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツが符号化された状態であれば、復号化を行って再生すればよい。
また、本実施例に係る画像表示装置において、コンテンツ蓄積部3503は必ずしも必要ない。この場合は、録画再生部3503は録画は行わず、入力部3501から入力された映像などのコンテンツの再生を行えばよい。
【００９７】
この場合も、入力部3501に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として表示部3505に表示することができる効果に変わりは無い。
【００９８】
また、画像表示装置3500は、例えば、プラズマテレビでも、液晶テレビでも、ブラウン管でも、プロジェクタでもよく、また他のデバイスを用いた装置でも良い。同様に、表示部3505は例えば、プラズマパネルモジュールでも、ＬＣＤモジュールでも、プロジェクタ用デバイスでもよい。また、コンテンツ蓄積部3503は例えば、ハードディスクドライブでも、フラッシュメモリでもよく、リムーバブルメディアディスクドライブでもよい。音声出力部3506は例えば、スピーカ等でもよい。また、入力部3501は、放送波を受信するチューナを備えたものでもよく、またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、映像信号や音声信号をデジタル入力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ入力端子を備えたものでもよい。また、ワイヤレスにてデータを転送する受信部でも良い。
【実施例１３】
【００９９】
図３６に、本発明の第13の実施例に係る録画再生装置を示す。本実施例に係る録画再生装置は、上述の第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う構成とした録画再生装置である。
【０１００】
同図において、録画再生装置3600は、例えば、例えば、テレビジョン信号などを含む放送波やネットワークなどを介して放送信号や映像コンテンツや画像コンテンツなどを入力する入力部3501と、入力部3501から入力されたコンテンツを録画もしくは再生する録画再生部3502と、録画再生部3502がコンテンツを記録するコンテンツ蓄積部3503と、録画再生部3502が再生した映像信号または画像信号に第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う画像信号処理部3504と、画像信号処理部3504にて処理された映像信号または画像信号を他の装置などに出力する画像映像出力部3605と、録画再生部3502が再生した音声信号を他の装置などに出力する音声出力部3606と、録画再生装置3600の各構成部を制御する制御部3507と、ユーザーが録画再生装置3600の操作を行うユーザインターフェース部3508などを備える。
【０１０１】
録画再生装置3600が第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う画像信号処理部3504を備えることで、入力部3501に入力された映像信号または画像信号をより高解像度で高画質な映像信号または画像信号として、他の装置などに出力するすることができる。よって、低解像度の映像信号または画像信号を高解像度化しつつ高画質で高精細な映像信号または画像信号に変換する高画質高解像度化信号変換装置が好適に実現できる。
【０１０２】
また、コンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツを再生する際も、より高解像度で高画質な映像信号または画像信号に変換して他の装置などに出力するすることができる。
よって、低解像度の映像信号または画像信号を入力して蓄積しておき、再生・出力時には高解像度化しつつ高画質で高精細な映像信号または画像信号に変換して出力する録画再生装置が好適に実現できる。
また、画像信号処理部3504の画像処理をコンテンツ蓄積部3503に蓄積された映像コンテンツまたは画像コンテンツの再生後に行うことにより、コンテンツ蓄積部3503に蓄積されるデータは、他の装置に出力する信号の解像度のよりも相対的に低解像度である。よって相対的にコンテンツのデータ量を小さくして蓄積できるという効果がある。
また、画像信号処理部3504を録画再生部3502に含め、録画時に上述の画像信号処理を行ってもよい。この場合は、再生時には上述の画像信号処理を行う必要が無いため、再生時の処理負荷を低減できるという効果がある。
ここで、上述の画像信号処理は画像信号処理部3504にて行うと説明したが、制御部3507とソフトウェアで実現しても良い。この場合、第1乃至第11の実施例のいずれか一の実施例に記載された方法で画像信号処理を行えばよい。
本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツの状態に応じて、符号化を行ってからコンテンツ蓄積部3503に記録すればよい。
【０１０３】
また、本実施例において、録画再生部3502は、録画時は入力部3501から入力された映像などのコンテンツが符号化された状態であれば、復号化を行って再生すればよい。
また、本実施例に係る画像映像出力部3605と音声出力部3606は一体としても構わない。この場合は、映像信号と音声信号を一本のケーブルで出力するコネクタ形状などを用いることができる。
また、録画再生装置3600は、例えば、ＨＤＤレコーダでも、ＤＶＤレコーダでも、また他の記憶装置デバイスを用いた装置でも良い。同様に、コンテンツ蓄積部3503は例えば、ハードディスクドライブでも、フラッシュメモリでもよく、リムーバブルメディアディスクドライブでもよい。
また、入力部3501は、放送波を受信するチューナを備えたものでもよく、またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、映像信号や音声信号をデジタル入力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ入力端子を備えたものでもよい。また、ワイヤレスでデータを転送する受信部でも良い。
また、画像映像出力部3605は映像信号をデジタル出力する端子を備えたものでもよく、コンポジット端子やコンポーネント端子などのアナログ出力する端子を備えたものでもよい。またネットワークと接続するＬＡＮ用コネクタを備えたものでもよく、ＵＳＢコネクタを備えたものでもよい。さらに、ワイヤレスでデータを転送する送信部でも良い。音声出力部3606に関しても、画像映像出力部3605と同様である。
さらに、入力部3501は例えば、撮像光学系と受光素子を備えるものとしても良い。この場合、録画再生装置3600は例えば、デジタルカメラ、ビデオカメラ、監視カメラ（監視カメラシステム）などに適用できる。このとき例えば入力部3501は、撮像光学系にて撮影対象を受光素子上に撮像し、受光素子にから出力される信号を元に画像データまたは映像データを生成し、録画再生部3502に出力すればよい。
録画再生装置3600が例えばデジタルカメラであれば、1回の撮影で時間的に異なる複数の画像を記録するようにし、この複数の画像データに画像信号処理部3504の画像信号処理を行えば、1枚の高画質な高解像度画像を得ることができる。尚、画像信号処理部3504の画像処理は、デジタルカメラからデータを出力する際に、コンテンツ蓄積部3503に記録される画像に対して行っても良い。また、録画再生部3502と画像信号処理部3504を一体とするなどして、コンテンツ蓄積部3503に記録するよりも前に、画像信号処理部3504の画像処理を行うようにしても良い。この場合、コンテンツ蓄積部3503には最終的にユーザーが取り扱いたい拡大画像のみを保存すればよく、後にユーザーが画像データを取り扱う際に管理が容易になる。
以上説明したデジタルカメラによれば、デジタルカメラの受光素子の解像度を越えた解像度を有する高画質画像データを得ることができる。
【０１０４】
また、録画再生装置3600が例えばビデオカメラであれば、入力部3501の撮像光学系にて受光素子上に撮像した映像を映像データとして録画再生部3502に出力すればよい。録画再生部3502はコンテンツ蓄積部3503に映像データを記録し、画像信号処理部3504は記録された映像データから、高解像度化された映像データを生成すればよい。このようにすれば、ビデオカメラの受光素子の解像度を越えた解像度を有する高画質映像データを得ることができる。またこのとき、画像信号処理部3504は記録された映像データに含まれる複数のフレームのデータを用いて、一枚のスチル画像データを生成しても良い。このようにすれば、映像データから一枚の高画質画像データを得ることができる。また、上述したデジタルカメラの場合と同様に、画像信号処理部3504の画像処理はコンテンツ蓄積部3503への映像データの記録前でも、記録後でも構わない。
以上説明したビデオカメラによれば、ビデオカメラの受光素子の解像度を越えた解像度を有する高画質映像データや、撮影した映像データを用いて高画質なスチル画像データを得ることができる。
また、録画再生装置3600が例えば監視カメラ（監視カメラシステム）である場合も、上述したビデオカメラの場合と同様に監視カメラの受光素子の解像度を越えた解像度を有する高画質映像データや、撮影した映像データを用いて高画質なスチル画像データを得ることができる。このとき、例えば、撮像光学系と受光素子を備えた入力部3501と録画再生部3502との距離が離れており、ネットワークケーブル等で接続されている場合でも、録画再生部3502までは低解像度の映像データで送信し、その後の画像信号処理部3504の画像信号処理により、高解像度化することができる。これにより、撮像光学系と受光素子を備えた入力部3501からの送信ネットワークの帯域を効率よく利用しながら、高解像度の映像データを得ることができる。
本実施例12に係る画像表示装置と、本実施例13に係る録画再生装置は、両者の機能と各構成部を一体としても、また、本発明の一実施の形態となりうる。この場合は上述の画像信号処理を行った映像信号または画像信号を表示することも、他の装置に出力することもでき、表示装置、記録再生装置、出力装置のいずれの装置としても使用でき、ユーザーにとって使い勝手が良い。
【０１０５】
次に、図３４を用いて、本発明の一実施の形態と上記従来技術の動作の違いを説明する。同図(a)は、解像度変換部(4)に入力されたフレーム#1(3401)、フレーム#2(3402)、フレーム#3(3403)、フレーム#4(3404)、フレーム#5(3405)を示し、同図(b)は解像度変換部(4)から出力された各フレームを示す。各フレームにて、被写体が1/4画素ずつ右回りに移動し、4フレームで1周するように意図的に被写体を移動させる。この動きをフレーム#6以降も同様に連続させる。
【０１０６】
特許文献１、特許文献２、非特許文献１に記載されている従来技術では、上述したように、水平・垂直の2次元の入力信号に対して高解像度化する場合、折返しが縦横2方向から来るので、原信号の帯域が縦横共に2倍に広がると、3つの折返し成分が重なり、それらを打ち消すためには2M+1=7個のデジタルデータ(=7枚のフレーム画像の信号)を必要としていた。従って、図３３(a)に示すような4フレームで一巡するような信号を入力した場合、どの7フレームを選択しても独立したデータが得られないため、高解像度化処理による解が不定となり求められない。
【０１０７】
一方、本実施例を用いれば、例えば隣接する2フレーム(例えば、フレーム#1(3401)とフレーム#2(3402)、(あるいはフレーム#2(3402)とフレーム#3(3403)))を用いて、同図(b)に示すように水平方向(あるいは垂直方向)の折返し成分を除去して高解像度化を実現できる。すなわち、同図(a)の入力画像をテストパターンとして用いることにより、本実施例の動作状況を確認することができる。このテストパターンの絵柄として、一般的によく知られている円形ゾーンプレート(CZP：Circular Zone Plate)を用いれば、解像度変換の効果を表示部(3)にて直視できるようになる。すなわち、円形ゾーンプレートをフレームごとに左右に移動させれば水平方向の解像度が向上した画像が表示され、上下(あるいは斜め)に移動させれば垂直方向(あるいは斜め方向)の解像度が向上した画像が表示されるなど、テストパターンの移動方向に応じた解像度向上の効果を確認することができる。
なお、特許文献１、特許文献２、非特許文献１に記載されている従来技術により、3フレームを用いて1次元(水平・垂直・斜め(右下)・斜め(右上))の高解像度化を複数方向に対して行い、それらの各結果を本発明の実施例における混合器(2009)あるいは混合器(2707)に入力して混合し、2次元の解像度変換結果として出力してもよい。この場合、図２０、図２１、図２７、図３３に示したように2フレームのみを用いて2次元の解像度変換を行う構成よりもフレームメモリや動き推定部などの信号処理回路の規模が大きくなるが、特許文献１、特許文献２、非特許文献１に記載されているように少なくとも7フレームの信号を用いるよりも、フレームメモリや動き推定部などの信号処理回路の規模を小さくできる。
【０１０８】
また、上記第8乃至第11の実施例では、1次元方向の2倍の高解像度化を例に挙げて説明したが、図18および図19を用いて説明したようなn倍の高解像度化処理を、第8乃至第11の実施例の水平、垂直、斜め(右上)、斜め(右下)の各高解像度処理として用いてもよい。
【０１０９】
また、上記実施例では、フレーム#1とフレーム#2の入力信号の組を用いてフレーム#1の解像度を変換する場合を例に挙げて説明したが、これ以外にも例えば、フレーム#1とフレーム#3、フレーム#1とフレーム#4などの複数の組を用いてそれぞれでフレーム#1の解像度を変換し、それらの結果を混合して、フレーム#1の最終的な解像度変換結果としてもよい。このときの混合方法として、各結果の平均値をとってもよいし、図23および図24に示したようにフレームごとの係数C4(フレーム)の値に応じて混合してもよい。この場合、係数C4(フレーム)として、フレームごとの係数C4(水平)と係数C4(垂直)のMAX値(小さくないほうの値)を用いてもよい。また、画素ごとにすべての組の係数C4(水平)、C4(垂直)を比較し、係数C4が最も小さい組(すなわち、最も解像度向上効果が大きい組)から得られる解像度変換結果を画素ごとに選択して、フレーム#1の最終的な解像度変換結果としてもよい。
【０１１０】
なお、上述したフレーム#1、フレーム#2、フレーム#3などは、時間的に不連続なフレームでもよいし、時間的に逆順となっていてもよい。
本発明の各実施例は、上記実施例で説明した装置以外に、例えば、ＤＶＤプレーヤーやＨＤＤプレーヤーにも同様に適用でき、更には１セグ放送を受信するための携帯画像表示端末（例えば携帯電話）にも適用できることは言うまでも無い。また画像フレームとしては、テレビジョン放送信号以外の信号の画像フレームを用いてもよい。例えばインターネットを介して送信されるストリーミング画像や、ＤＶＤプレーヤーやＨＤＤプレーヤーから再生された画像に対しても、同様に本発明は適用できる。
また、本発明の一実施の形態は、下記の場合にも有用である。
【０１１１】
すなわち、本発明の一実施の形態は、複数の低解像画像を入力し、これらを位置合わせして、１枚の高解像画像を生成する技術であり、入力画像の解像度の限界を超えた高精細画像が得られることができる。
【０１１２】
従来技術では、１枚の出力画像を作成する際に、大量(１０〜５０フレーム程度)の入力フレームと多数(１０〜１００回程度)の繰り返し演算が必要であった。このため、大量のメモリや超高速な演算を行うプロセッサが必要であり、リアルタイムのテレビ映像に応用するのは困難であった。
【０１１３】
ここで、いかに少ない入力フレーム数／演算量で超解像処理を実現するかが、テレビ受像機への応用に向けた重要な課題となっていたが、本発明の一実施の形態を用いれば、入力フレーム数を最少で２枚まで減らすとともに、繰り返し演算も不要とすることができる。
本発明の一実施の形態を用いれば、画像を単純に拡大して画素数を増やしていた従来のＳＤ→ＨＤ変換技術(アップコンバート技術)とは異なり、入力画像の解像度の限界を超えて、標準画質(SD：Standard Definition)の動画像を高精細画質(HD：High Definition)に変換することができる。これにより、例えば、デジタル放送と大画面薄型テレビの普及に伴いＨＤ化が進むテレビの高精細表示ニーズに応え、既存のＤＶＤメディアやＳＤ画質の番組、既にＳＤ画質で記録した映像などを、ハイビジョンに近い画質で再生することが可能となる。
また、本発明の一実施の形態を用いれば、従来技術よりも少ない入力フレーム数で高精細な映像が得られるため、テレビ受像機でのリアルタイム処理を前提とした信号処理方式に好適に用いることが可能となる。
また、本発明の一実施の形態を用いれば、例えば、640×360画素のSD画質の画像を入力し、縦方向２倍、横方向２倍の解像度となる1280×720画素のHD画質の画像を、例えば２枚の入力画像からより高精細に生成することが可能となる。すなわち標準画質のテレビ映像をハイビジョンに近い画質に変換を得ることが可能となる。
また、上述した各実施例ではフレーム単位での高解像度化を例に挙げて説明した。しかし高解像度化の対象は、必ずしもフレーム全体でなくとも良い。例えば、入力画像または入力映像のフレームの一部分を解像度化の対象としても良い。すなわち、入力映像のフレームの一部分の複数フレーム分を対象として上述した本発明の一の実施例の画像処理を実施すれば、入力画像または入力映像の一部分の高画質な拡大画像を得ることができる。これは、例えば、映像の一部分の拡大表示などに適用できる。
なお、上述した各実施例のいずれを組み合わせても、本発明の一実施の形態となりうる。
上述した本発明の各実施例によれば、低解像度の画像を好適に拡大画像に変換する処理を行うことができ、高画質な高解像度画像を好適に得ることができる。すなわち画像信号を好適に高解像度化することができる。
また、上述した本発明の各実施例によれば、高画質な高解像度画像を得るために必要な画像のフレーム数を低減することができる。
【実施例１４】
【０１１４】
図３７に、本発明の第14の実施例に係る画像信号処理装置を示す。本実施例に係る画像信号処理装置は、例えばテレビジョン受像機等の画像表示装置に適用される。以下の本実施例の説明においては、画像信号処理装置として画像表示装置を例にして説明する。
【０１１５】
図３７において、本実施例に関わる画像信号処理装置は、画像モデル(3701)を入力としてフレーム(3703)およびフレーム間の位相差(3704)を生成する位相差生成部(3702)と、フレーム(3703)と位相差(3704)を用いて高解像度化する解像度変換部(3705)と、更にこの解像度変換部(3705)によって高解像度化されたフレームに基づき画像を出力する画像映像出力部(3706)とを備える。
【０１１６】
図３７において、画像モデル(3701)とは、画像フレームを作成するためのデータモデルで、コンピュータグラフィックスの3次元オブジェクトモデルやMPEG-4のオブジェクト符号化データなどが画像モデル(3701)に該当する。、画像モデル(3701)は、画像における被写体（例えば、人物、車両、山）がオブジェクトとして分離されており, オブジェクトの形状情報やテクスチャ情報とは別に動き情報が保持されていることを特徴とする。
【０１１７】
図３７において、位相差生成部(3702)は、まず位相差生成部(3702)に入力された画像モデル(3701)から、形状情報とテクスチャ情報を元に、画像フレーム(3703)を作成する（詳細については実施例１５、実施例１６にて説明する）。また、位相差生成部(3702)は、形状情報と動き情報を元に、位相差生成部(3702)が出力するフレーム(3703)の各画素における位相差(3704)を作成する（詳細については実施例１５、実施例１６にて説明する）。
【０１１８】
本実施例における解像度変換部(3705)は、上述の第1乃至第11の実施例のいずれか一の実施例に記載された画像信号処理を行う構成から位置推定部を除いた構成で、位相差生成部(3702)の出力であるフレーム(3703)と位相差(3704)から高解像度化した画像信号を出力する。
【実施例１５】
【０１１９】
図３８に、本発明の第１５の実施例を示す。同図は、上記第１４の実施例の動作をコンピュータグラフィックスのリアルタイム描画に関して実現した例である。同図における解像度変換部(3705)は、上述の第一の実施例における画像信号処理装置から位置推定部(101)を除いた構成となる。
【０１２０】
図３８において、位相差生成部(3702)への入力である画像モデル(3701)は、時間的に連続する３次元モデル(3801)(3802)となる。３次元モデル(3801)(3802)は、描画するオブジェクトを１又は複数保持し、各オブジェクトはそのワールド座標系における位置と、オブジェクト内ローカル座標系による面や頂点の情報と、オブジェクトの平行移動・拡大縮小・回転の動き情報(3803)を持つ。
【０１２１】
次に、ジオメトリ(3804)(3805)では、それぞれ３次元モデル(3801)(3802)を入力として、３次元座標系で表現されたモデルを画面に描画するために２次元座標系へ座標変換が行われる。座標変換された情報はレンダリング(3806)(3807)への入力となり、レンダリング(3806)(3807)では、色補間・陰面処理などを行いフレーム(3703-1)(3703-2)を生成する。ジオメトリ(3804)(3805)では、３次元ワールド座標系で表現されている３次元モデル(3801)(3802)を、視点を原点とした３次元の視点座標系に変換し、透視投影変換により２次元座標系へ変換する。レンダリング(3806)(3807)では、可視面の決定をする陰面処理、光の反射や透過を計算するシェーディング処理、表面の凹凸や模様を計算するマッピング処理が行われる。この処理は、「James D. Foleyほか “コンピュータグラフィックス 理論と実践” , オーム社 , 2001」（以下、「参考文献３」という）に記載されている。
【０１２２】
図３８において、動き情報ジオメトリ(3808)は、３次元モデル(3801)の動き情報(3803)とジオメトリ(3804)の出力（２次元座標系で表現された２次元モデル）を、入力として受け取り位相差(3704)を出力する。動き情報ジオメトリ(3808)は下記に説明する。
【０１２３】
図３９に、動き情報ジオメトリ(3808)の処理内容を示す。
【０１２４】
まず、動き情報ジオメトリ(3808)の出力は画像フレーム(3703-1)の各画素における位相差(3704)となるため、各画素における描画対象のオブジェクトをジオメトリ(3804)の出力から特定する(3902)。ジオメトリ(3804)の出力は２次元座標系で表現されたオブジェクトモデルのため、簡単にオブジェクトを特定することが可能である。
【０１２５】
次に、 (3902)にて特定したオブジェクトの動き情報を、３次元動き情報(3803)から取得する(3903)。取得した動き情報は、(3902)で特定された単一のオブジェクトに関わる平行移動・拡大縮小・回転といった動きを３次元座標系で表現した情報である。
【０１２６】
(3903)で取得した動き情報を３次元座標系から２次元座標系に座標変換する(3904)。具体的には、(3903)で取得した平行移動・拡大縮小・回転といった動き情報は、３次元座標における同次座標ベクトルで表現される。この(3903)で取得した動き情報のベクトルと(3902)で特定したオブジェクトの各点（面や頂点）の３次元座標を掛け合わせることで移動先の３次元座標を得ることができる。ここで得た移動先の３次元座標を２次元座標系に座標変換することで、２次元座標系における動き情報を得る。ここで、動き情報の座標変換は、ジオメトリ(3804)(3805)と同様の処理となり、３次元ワールド座標系で表現されている移動先の３次元座標を、視点を原点とした３次元の視点座標系に変換し、透視投影変換により２次元座標系へ変換する[参考文献３]。
【０１２７】
(3904)で得られた２次元座標系で表現された動き情報を元に位相差を計算する(3905)。これは、上述の図２における動き補償(207)を、(3904)で得た２次元座標の動き情報を用いて行い位相差を計算する。
【０１２８】
図３８において、解像度変換部(3705)は、上述の第一の実施例から位置推定部(101)を取り除いた構成で、第一の実施例においては位置推定部(101)から得るはずであった位相差を、動き情報ジオメトリ(3808)から取得することが可能である。そのため、上述の第一の実施例における解像度変換部(2)と同様の効果を、図３８における解像度変換部(3705)は有する。
【０１２９】
ここで、図３８における解像度変換部(3705)は、上述の第一の実施例における解像度変換部(2)を例に説明したが、第1乃至第13の実施例のいずれか一の実施例に記載された方法で画像信号処理を行えばよい。
【０１３０】
以上のような処理を行うことにより、画像フレームにおける各画素の近傍の位置推定処理を行わずに位相差を得ることができるため、高解像度化に必要な正確な位相差をより処理量を少なく得ることができる。
【実施例１６】
【０１３１】
図４０に、本発明の第１６の実施例を示す。同図は、上記第１４の実施例の動作をMPEG-4の復号化に関して実現した例である。MPEG-4はISO(International Organization for Standardization:国際標準化機構)で規格化されており、Video Object Plane(VOP)構造がとられ、画像の構成要素をオブジェクトとしてとらえ、オブジェクトごとに最適な符号化処理を行って、画像を符号化する。VOPは形状情報(4003)・動きベクトル情報(4004)・テクスチャ情報(4005)で構成される。同図における画像モデル(3701)および画像フレーム生成部(3702)は、MPEG-4の符号化されたVOPデータ復号部の構成から位相差を取得する構成となっている。
【０１３２】
図４０において、画像モデル(3701)は、入力としてMPEG-4により符号化されたデータを受け取り、分離部(4002)において形状情報(4003)・動きベクトル情報(4004)・テクスチャ情報(4005)に分離する。
【０１３３】
VOPを構成する形状情報(4003)・動きベクトル情報(4004)・テクスチャ情報(4005)のうち、形状情報(4003)・動きベクトル情報(4004)は各々符号化されているため、それぞれ形状復号化(4006)・動き復号化(4007)により復号化される。
【０１３４】
次に、前画面の再構成されたVOP(4009)と動き復号化(4007)で復号化された動き情報を入力として、動き補償(4010)を行い、時間的に連続したフレームの間の差を補う。動き補償(4010)の結果と形状復号化(4006)の結果を用いて、テクスチャ情報(4005)はテクスチャ復号化(4008)で復号化される。
【０１３５】
ここで、VOPを構成する形状情報(4003)・動きベクトル情報(4004)・テクスチャ情報(4005)が全て復号化されて、テクスチャ復号化(4008)と動き補償(4010)の出力よりVOP再構成(4011)により画像が構成されてフレーム#2(3702-2)を生成する。
【０１３６】
VOP再構成(4011)の出力の時間的に連続した前の出力は前画面の再構成VOP(4009)となりフレーム#1(3702-1)を出力するとともに、次フレームの動き補償(4010)に用いられる。
【０１３７】
そして、位相差計算(4012)において、動き復号化(4007)と形状復号化(4006)の出力を用いて、各画素における位相差を計算する。動き情報から位相差の計算には、参考文献１・参考文献２の方法を用いれば良い。
【０１３８】
また、図４０において、解像度変換部(3705)は、上述の第一の実施例における画像信号処理装置から位置推定部(101)を除いた構成となる。位置推定部(101)が出力していた位相差(102)は、位相差計算(4012)から取得する。そのため、上述の第一の実施例における解像度変換部(2)と同様の効果を、図４０における解像度変換部(3705)は有する。
【０１３９】
ここで、図４０における解像度変換部(3705)は、上述の第一の実施例における解像度変換部(2)を例に説明したが、第1乃至第13の実施例のいずれか一の実施例に記載された方法で画像信号処理を行えばよい。
【０１４０】
以上のような処理を行うことにより、画像フレームにおける各画素の近傍の位置推定処理を行わずに位相差を得ることができるため、高解像度化に必要な正確な位相差をより処理量を少なく得ることができる。
【産業上の利用可能性】
【０１４１】
本発明は、テレビジョン表示装置に利用可能である。
【図面の簡単な説明】
【０１４２】
【図１】本発明に係る第１の実施例の説明図である。
【図２】一般的な高解像度化画像信号処理の動作の一例を説明する図である
【図３】従来技術の動作を説明した図である。
【図４】本発明に係る第１の実施例の動作を説明した図である。
【図５】本発明に係る第１の実施例の説明図である。
【図６】本発明に係る第１の実施例の説明図である。
【図７】本発明に係る第１の実施例の説明図である。
【図８】本発明に係る第１の実施例の説明図である。
【図９】本発明に係る第１の実施例の説明図である。
【図１０】本発明に係る第２の実施例の説明図である。
【図１１】本発明に係る第３の実施例の説明図である。
【図１２】本発明に係る第３の実施例の説明図である。
【図１３】本発明に係る第３の実施例の説明図である。
【図１４】本発明に係る第４の実施例の説明図である。
【図１５】本発明に係る第５の実施例の説明図である。
【図１６】本発明に係る第６の実施例の説明図である。
【図１７】本発明の一実施の態様と従来技術の動作の違いを説明した図である。
【図１８】本発明に係る第７の実施例の説明図である。
【図１９】本発明に係る第７の実施例の説明図である。
【図２０】本発明に係る第８の実施例の説明図である。
【図２１】本発明に係る第９の実施例の説明図である。
【図２２】本発明に係る第８及び第９の実施例の説明図である。
【図２３】本発明に係る第８及び第９の実施例の説明図である。
【図２４】本発明に係る第８及び第９の実施例の説明図である。
【図２５】本発明に係る第８及び第９の実施例の説明図である。
【図２６】本発明に係る第８及び第９の実施例の説明図である。
【図２７】本発明に係る第１０の実施例の説明図である。
【図２８】本発明に係る第１０の実施例の説明図である。
【図２９】本発明に係る第１０の実施例の説明図である。
【図３０】本発明に係る第１０の実施例の説明図である。
【図３１】本発明に係る第１０の実施例の説明図である。
【図３２】本発明に係る第１０の実施例の説明図である。
【図３３】本発明に係る第１１の実施例の説明図である。
【図３４】本発明の一実施の態様と従来技術の動作の違いを説明した図である。
【図３５】本発明に係る第１２の実施例の説明図である。
【図３６】本発明に係る第１３の実施例の説明図である。
【図３７】本発明に係る第１４の実施例の説明図である。
【図３８】本発明に係る第１５の実施例の説明図である。
【図３９】本発明に係る第１５の実施例の説明図である。
【図４０】本発明に係る第１６の実施例の説明図である。
【符号の説明】
【０１４３】
1・・・入力部；2,4,3705・・・解像度変換部；3,3706・・・表示部；5・・・高解像度化タスク；101,1801,2101・・・位置推定部；102,211,1802,3704・・・位相差θ；103,104,1803・・・アップレート器；105,107,1002,1804・・・遅延器；106,108,1805・・・π/2位相シフト器；109,1007,1103,2301,2302,3001,3002,3003, 3004・・・係数決定器；110,111,112,113,1003,1006,1102,2202,2303,2304,2604,2902,3005, 3006,3007,3008・・・乗算器；114,1001,1008,1104,2201,2305,2603, 2606,2703,2901,3009・・・加算器；115,1806,2110・・・動き補償・アップレート部；116,1009,1807,2111・・・位相シフト部；117,1010,1808,2108,2109,2112,2705,2706・・・折返し成分除去部；201,202,203,206,1701, 1702,1703,1704,1705,2010,2011,2012,2013,2014,2015,3401,3402,3403,3404,3405,3703・・・フレーム；204・・・移動；205・・・水平線；207・・・動き補償；208,212・・・画素；209,210・・・サンプリング位相；301,302,303,401, 402・・・原成分；304,305,306,405,406・・・折返し成分；403,404・・・π/2位相シフト後の原成分；407,408・・・π/2位相シフト後の折返し成分；1004,2704・・・減算器；1005・・・ヒルベルト変換器；1101・・・補間ローパスフィルタ；1105・・・補助的画素補間部；2001・・・水平解像度変換部；2002・・・垂直アップレート器；2003,2007,2710,2711・・・画素補間器；2004・・・垂直補間部；2005・・・垂直解像度変換部；2006・・・水平アップレート器；2008・・・水平補間部；2009,2707・・・混合器；2104,2105・・・水平・垂直アップレート器；2106・・・水平位相シフト部；2107・・・垂直位相シフト部；2501・・・水平解像度変換による効果が大きい周波数領域；2502・・・垂直解像度変換による効果が大きい周波数領域；2601,2602,2605・・・2次元フィルタ；2701・・・斜め(右下)位相シフト部；2702・・・斜め(右上)位相シフト部；3101・・・斜め(右上)解像度変換による効果が大きい周波数領域；3102・・・斜め(右下)解像度変換による効果が大きい周波数領域;3500・・・画像表示装置;3501・・・入力部;3502・・・録画再生部;3503・・・コンテンツ蓄積部; 3504・・・画像信号処理部; 3505・・・表示部; 3506・・・音声出力部; 3507・・・制御部;3508・・・ユーザインターフェース部; 3600・・・録画再生装置; 3605・・・画像映像出力部; 3600・・・音声出力部；3701・・・画像モデル；3702・・・位相差生成部；3801,3802・・・３次元モデル；3803・・・動き情報；3804,3805・・・ジオメトリ；3806,3807・・・レンダリング；3808・・・動き情報ジオメトリ；4001・・・符号化データ；4002・・・分離部；4003・・・形状情報；4004・・・動きベクトル情報；4005・・・テクスチャ情報；4006・・・形状復号化部；4007・・・動き復号化部；4008・・・テクスチャ復号化部；4009・・・全画面再構成VOP；4010・・・動き補償部；4011・・・VOP再構成；4012・・・位相差計算部。
【特許請求の範囲】
【請求項１】
複数フレームの低解像画像から高解像画像を生成する画像信号処理装置において、
上記低解像画像において表示されるオブジェクトがオブジェクトごとに分離され、各々のオブジェクトの動き情報・形状情報・テクスチャ情報が上記オブジェクトとは別に保持されている画像モデルを入力し、上記画像モデルから画像フレームおよび画像フレーム間の位相差を計算する手段と、
上記画像モデルの上記各々のオブジェクトの動き情報・形状情報・テクスチャ情報に基づいて、上記画像フレームと上記位相差を用いて上記画像フレームを高解像度化する回路とを備えることを特徴とする画像信号処理装置。
【請求項２】
請求項１に記載の画像信号処理装置において、
上記画像モデルは、コンピュータグラフィックスにおける３次元座標系で表現されたオブジェクト情報であることを特徴とする画像信号処理装置。
【請求項３】
請求項２に記載の画像信号処理装置において、
上記位相差を計算する手段は、３次元座標系で表現されたオブジェクトの動き情報に対してジオメトリ処理を行うことによって画像フレーム間の位相差を計算することを特徴とする画像信号処理装置。
【請求項４】
請求項１に記載の画像信号処理装置において、
上記画像モデルは、MPEG-4によって符号化された映像情報であることを特徴とする画像信号処理装置。
【請求項５】
請求項４に記載の画像信号処理装置において、
上記位相差を計算する手段は、オブジェクトベース符号化された映像データの動きベクトル情報を用いて画像フレーム間の位相差を計算することを特徴とする画像信号処理装置。
【請求項６】
請求項１から５の何れかに記載の画像信号処理装置と、
上記画像信号処理装置により生成された高解像画像を表示する表示モジュールとを備えたことを特徴とする画像表示装置。
【請求項７】
複数フレームの低解像画像から高解像画像を生成する画像高解像度化方法において、
上記低解像画像において表示されるオブジェクトがオブジェクトごとに分離され、各々のオブジェクトの動き情報・形状情報・テクスチャ情報が上記オブジェクトとは別に保持されている画像モデルを入力し、
上記画像モデルから画像フレームおよび画像フレーム間の位相差を計算し、
上記画像モデルの上記各々のオブジェクトの動き情報・形状情報・テクスチャ情報に基づいて、上記画像フレームと上記位相差を用いて上記画像フレームを高解像度化することを特徴とする画像高解像度化方法。
【請求項８】
入力画像の解像度を上げて出力する画像信号処理装置において、
オブジェクトのワールド座標系上の位置とオブジェクト内のローカル座標系上の当該オブジェクトの面や頂点の位置とオブジェクトの動き情報とをオブジェクトごとに含む上記入力画像の３次元モデルを複数フレーム画像分入力し、フレーム画像のそれぞれに対して、ワールド座標系で表現された３次元モデルを、視点を原点とした視点座標系で表現された３次元モデルへ変換し、透視投影変換により上記視点座標系で表現された３次元モデルを２次元座標系で表現された２次元モデルへ変換する第１のジオメトリ回路と、
上記フレーム画像のそれぞれの２次元モデルに対して、可視面を決定するための陰面処理、光の反射や透過を計算するためのシェーディング処理、表面の凹凸や模様を計算するためのマッピング処理を行うレンダリング回路と、
各画素におけるオブジェクトを前フレーム画像の上記２次元モデルから特定し、特定された上記オブジェクトの動き情報を前フレーム画像の上記３次元モデルの動き情報から取得し、上記オブジェクトに上記３次元モデルの動き情報を演算して移動先の動き情報の３次元座標を得、上記ワールド座標系で表現された上記移動先の動き情報の３次元座標を、上記視点座標系で表現された上記移動先の動き情報の３次元座標へ変換し、上記透視投影変換により上記視点座標系で表現された上記移動先の動き情報の３次元座標を２次元座標系へ変換し、上記２次元座標系の動き情報に対して動き補償を適用することにより位相差を計算する第２のジオメトリ回路と、
上記フレーム画像の２次元モデルのそれぞれをアップレートし、アップレートされた上記画像を、上記位相差に応じた重み係数により加重和をとることによって、解像度を上げた高解像度画像を生成する変換回路とを備えたことを特徴とする画像信号処理装置。
【請求項９】
請求項８に記載の画像信号処理装置と、
上記画像信号処理装置により生成された高解像画像を表示する表示モジュールとを備えたことを特徴とする画像表示装置。
【請求項１０】
入力画像を高解像度化する画像高解像度化方法において、
オブジェクトのワールド座標系上の位置とオブジェクト内のローカル座標系上の当該オブジェクトの面や頂点の位置とオブジェクトの動き情報とをオブジェクトごとに含む上記入力画像の３次元モデルを複数フレーム画像分入力し、フレーム画像のそれぞれに対して、ワールド座標系で表現された３次元モデルを、視点を原点とした視点座標系で表現された３次元モデルへ変換し、透視投影変換により上記視点座標系で表現された３次元モデルを２次元座標系で表現された２次元モデルへ変換し、
上記フレーム画像のそれぞれの２次元モデルに対して、可視面を決定するための陰面処理、光の反射や透過を計算するためのシェーディング処理、表面の凹凸や模様を計算するためのマッピング処理を行い、
各画素におけるオブジェクトを前フレーム画像の上記２次元モデルから特定し、特定された上記オブジェクトの動き情報を前フレーム画像の上記３次元モデルの動き情報から取得し、上記オブジェクトに上記３次元モデルの動き情報を演算して移動先の動き情報の３次元座標を得、上記ワールド座標系で表現された上記移動先の動き情報の３次元座標を、上記視点座標系で表現された上記移動先の動き情報の３次元座標へ変換し、上記透視投影変換により上記視点座標系で表現された上記移動先の動き情報の３次元座標を２次元座標系へ変換し、上記２次元座標系の動き情報に対して動き補償を適用することにより位相差を計算し、
上記フレーム画像の２次元モデルのそれぞれをアップレートし、アップレートされた上記画像を、上記位相差に応じた重み係数により加重和をとることによって、解像度を上げた高解像度画像を生成することを特徴とする画像高解像度化方法。
【請求項１１】
入力画像の解像度を上げ、その結果得られた高解像画像を出力する画像信号処理装置において、
ＭＰＥＧ形式の入力画像を入力し、形状情報と動きベクトル情報とテクスチャ情報とを上記入力画像から分離する分離回路と、
上記形状情報と上記動きベクトル情報を復号化する第１の復号回路と、
再構成された１フレーム前の画像の形状情報と動きベクトル情報とテクスチャ情報と、復号化された上記形状情報および復号化された上記動きベクトル情報とに基づいて、１フレーム前の画像との差を補い、上記１フレーム前の画像との差を補った結果と復号化された上記形状情報を用いて、上記テクスチャ情報を復号化する第２の復号回路と、
上記１フレーム前の画像との差を補った結果と復号化された上記テクスチャ情報を用いて画像を再構成する再構成回路と、
上記復号化された動きベクトル情報と上記復号化された形状情報とに基づいて、位相差を計算する位相差計算回路と、
再構成された上記画像と上記再構成された１フレーム前の画像のそれぞれをアップレートし、アップレートされた上記画像を、上記位相差に応じた重み係数により加重和をとることによって、解像度を上げた高解像度画像を生成する変換回路とを備えたことを特徴とする画像信号処理装置。
【請求項１２】
請求項１１に記載の画像信号処理装置と、
上記画像信号処理装置により生成された高解像画像を表示する表示モジュールとを備えたことを特徴とする画像表示装置。
【請求項１３】
入力画像を高解像度化する画像高解像度化方法において、
ＭＰＥＧ形式の入力画像を入力し、形状情報と動きベクトル情報とテクスチャ情報とを上記入力画像から分離し、
上記形状情報と上記動きベクトル情報を復号化し、
再構成された１フレーム前の画像の形状情報と動きベクトル情報とテクスチャ情報と、復号化された上記形状情報および復号化された上記動きベクトル情報とに基づいて、１フレーム前の画像との差を補い、上記１フレーム前の画像との差を補った結果と復号化された上記形状情報を用いて、上記テクスチャ情報を復号化し、
上記１フレーム前の画像との差を補った結果と復号化された上記テクスチャ情報を用いて画像を再構成し、
上記復号化された動きベクトル情報と上記復号化された形状情報とに基づいて、位相差を計算し、
再構成された上記画像と上記再構成された１フレーム前の画像のそれぞれをアップレートし、アップレートされた上記画像を、上記位相差に応じた重み係数により加重和をとることによって、解像度を上げた高解像度画像を生成することを特徴とする画像高解像度化方法。
【請求項１】
複数フレームの低解像画像から高解像画像を生成する画像信号処理装置において、
上記低解像画像において表示されるオブジェクトがオブジェクトごとに分離され、各々のオブジェクトの動き情報・形状情報・テクスチャ情報が上記オブジェクトとは別に保持されている画像モデルを入力し、上記画像モデルから画像フレームおよび画像フレーム間の位相差を計算する手段と、
上記画像モデルの上記各々のオブジェクトの動き情報・形状情報・テクスチャ情報に基づいて、上記画像フレームと上記位相差を用いて上記画像フレームを高解像度化する回路とを備えることを特徴とする画像信号処理装置。
【請求項２】
請求項１に記載の画像信号処理装置において、
上記画像モデルは、コンピュータグラフィックスにおける３次元座標系で表現されたオブジェクト情報であることを特徴とする画像信号処理装置。
【請求項３】
請求項２に記載の画像信号処理装置において、
上記位相差を計算する手段は、３次元座標系で表現されたオブジェクトの動き情報に対してジオメトリ処理を行うことによって画像フレーム間の位相差を計算することを特徴とする画像信号処理装置。
【請求項４】
請求項１に記載の画像信号処理装置において、
上記画像モデルは、MPEG-4によって符号化された映像情報であることを特徴とする画像信号処理装置。
【請求項５】
請求項４に記載の画像信号処理装置において、
上記位相差を計算する手段は、オブジェクトベース符号化された映像データの動きベクトル情報を用いて画像フレーム間の位相差を計算することを特徴とする画像信号処理装置。
【請求項６】
請求項１から５の何れかに記載の画像信号処理装置と、
上記画像信号処理装置により生成された高解像画像を表示する表示モジュールとを備えたことを特徴とする画像表示装置。
【請求項７】
複数フレームの低解像画像から高解像画像を生成する画像高解像度化方法において、
上記低解像画像において表示されるオブジェクトがオブジェクトごとに分離され、各々のオブジェクトの動き情報・形状情報・テクスチャ情報が上記オブジェクトとは別に保持されている画像モデルを入力し、
上記画像モデルから画像フレームおよび画像フレーム間の位相差を計算し、
上記画像モデルの上記各々のオブジェクトの動き情報・形状情報・テクスチャ情報に基づいて、上記画像フレームと上記位相差を用いて上記画像フレームを高解像度化することを特徴とする画像高解像度化方法。
【請求項８】
入力画像の解像度を上げて出力する画像信号処理装置において、
オブジェクトのワールド座標系上の位置とオブジェクト内のローカル座標系上の当該オブジェクトの面や頂点の位置とオブジェクトの動き情報とをオブジェクトごとに含む上記入力画像の３次元モデルを複数フレーム画像分入力し、フレーム画像のそれぞれに対して、ワールド座標系で表現された３次元モデルを、視点を原点とした視点座標系で表現された３次元モデルへ変換し、透視投影変換により上記視点座標系で表現された３次元モデルを２次元座標系で表現された２次元モデルへ変換する第１のジオメトリ回路と、
上記フレーム画像のそれぞれの２次元モデルに対して、可視面を決定するための陰面処理、光の反射や透過を計算するためのシェーディング処理、表面の凹凸や模様を計算するためのマッピング処理を行うレンダリング回路と、
各画素におけるオブジェクトを前フレーム画像の上記２次元モデルから特定し、特定された上記オブジェクトの動き情報を前フレーム画像の上記３次元モデルの動き情報から取得し、上記オブジェクトに上記３次元モデルの動き情報を演算して移動先の動き情報の３次元座標を得、上記ワールド座標系で表現された上記移動先の動き情報の３次元座標を、上記視点座標系で表現された上記移動先の動き情報の３次元座標へ変換し、上記透視投影変換により上記視点座標系で表現された上記移動先の動き情報の３次元座標を２次元座標系へ変換し、上記２次元座標系の動き情報に対して動き補償を適用することにより位相差を計算する第２のジオメトリ回路と、
上記フレーム画像の２次元モデルのそれぞれをアップレートし、アップレートされた上記画像を、上記位相差に応じた重み係数により加重和をとることによって、解像度を上げた高解像度画像を生成する変換回路とを備えたことを特徴とする画像信号処理装置。
【請求項９】
請求項８に記載の画像信号処理装置と、
上記画像信号処理装置により生成された高解像画像を表示する表示モジュールとを備えたことを特徴とする画像表示装置。
【請求項１０】
入力画像を高解像度化する画像高解像度化方法において、
オブジェクトのワールド座標系上の位置とオブジェクト内のローカル座標系上の当該オブジェクトの面や頂点の位置とオブジェクトの動き情報とをオブジェクトごとに含む上記入力画像の３次元モデルを複数フレーム画像分入力し、フレーム画像のそれぞれに対して、ワールド座標系で表現された３次元モデルを、視点を原点とした視点座標系で表現された３次元モデルへ変換し、透視投影変換により上記視点座標系で表現された３次元モデルを２次元座標系で表現された２次元モデルへ変換し、
上記フレーム画像のそれぞれの２次元モデルに対して、可視面を決定するための陰面処理、光の反射や透過を計算するためのシェーディング処理、表面の凹凸や模様を計算するためのマッピング処理を行い、
各画素におけるオブジェクトを前フレーム画像の上記２次元モデルから特定し、特定された上記オブジェクトの動き情報を前フレーム画像の上記３次元モデルの動き情報から取得し、上記オブジェクトに上記３次元モデルの動き情報を演算して移動先の動き情報の３次元座標を得、上記ワールド座標系で表現された上記移動先の動き情報の３次元座標を、上記視点座標系で表現された上記移動先の動き情報の３次元座標へ変換し、上記透視投影変換により上記視点座標系で表現された上記移動先の動き情報の３次元座標を２次元座標系へ変換し、上記２次元座標系の動き情報に対して動き補償を適用することにより位相差を計算し、
上記フレーム画像の２次元モデルのそれぞれをアップレートし、アップレートされた上記画像を、上記位相差に応じた重み係数により加重和をとることによって、解像度を上げた高解像度画像を生成することを特徴とする画像高解像度化方法。
【請求項１１】
入力画像の解像度を上げ、その結果得られた高解像画像を出力する画像信号処理装置において、
ＭＰＥＧ形式の入力画像を入力し、形状情報と動きベクトル情報とテクスチャ情報とを上記入力画像から分離する分離回路と、
上記形状情報と上記動きベクトル情報を復号化する第１の復号回路と、
再構成された１フレーム前の画像の形状情報と動きベクトル情報とテクスチャ情報と、復号化された上記形状情報および復号化された上記動きベクトル情報とに基づいて、１フレーム前の画像との差を補い、上記１フレーム前の画像との差を補った結果と復号化された上記形状情報を用いて、上記テクスチャ情報を復号化する第２の復号回路と、
上記１フレーム前の画像との差を補った結果と復号化された上記テクスチャ情報を用いて画像を再構成する再構成回路と、
上記復号化された動きベクトル情報と上記復号化された形状情報とに基づいて、位相差を計算する位相差計算回路と、
再構成された上記画像と上記再構成された１フレーム前の画像のそれぞれをアップレートし、アップレートされた上記画像を、上記位相差に応じた重み係数により加重和をとることによって、解像度を上げた高解像度画像を生成する変換回路とを備えたことを特徴とする画像信号処理装置。
【請求項１２】
請求項１１に記載の画像信号処理装置と、
上記画像信号処理装置により生成された高解像画像を表示する表示モジュールとを備えたことを特徴とする画像表示装置。
【請求項１３】
入力画像を高解像度化する画像高解像度化方法において、
ＭＰＥＧ形式の入力画像を入力し、形状情報と動きベクトル情報とテクスチャ情報とを上記入力画像から分離し、
上記形状情報と上記動きベクトル情報を復号化し、
再構成された１フレーム前の画像の形状情報と動きベクトル情報とテクスチャ情報と、復号化された上記形状情報および復号化された上記動きベクトル情報とに基づいて、１フレーム前の画像との差を補い、上記１フレーム前の画像との差を補った結果と復号化された上記形状情報を用いて、上記テクスチャ情報を復号化し、
上記１フレーム前の画像との差を補った結果と復号化された上記テクスチャ情報を用いて画像を再構成し、
上記復号化された動きベクトル情報と上記復号化された形状情報とに基づいて、位相差を計算し、
再構成された上記画像と上記再構成された１フレーム前の画像のそれぞれをアップレートし、アップレートされた上記画像を、上記位相差に応じた重み係数により加重和をとることによって、解像度を上げた高解像度画像を生成することを特徴とする画像高解像度化方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【公開番号】特開２００９−１６３５８８（Ｐ２００９−１６３５８８Ａ）
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願番号】特願２００８−１７６４（Ｐ２００８−１７６４）
【出願日】平成２０年１月９日（２００８．１．９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年７月２３日（２００９．７．２３）
【国際特許分類】
【出願日】平成２０年１月９日（２００８．１．９）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]