画像信号処理装置、及び画像信号を高解像度化するための方法、及びそれを実行するためのプログラム
【課題】
本発明は、画像信号、特に動画像の画像信号を少ないフレーム数で好適に高解像度化するための技術を提供する。
【解決手段】
本発明に係る画像信号処理装置は、基準となる入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定する位置推定部(101)と、前記サンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数をｎ倍に増加する動き補償・アップレート部(115)と、高密度化した各画像フレームの画像データを一定量だけ位相シフトする位相シフト部（116）と、前記サンプリング位相差の情報を用いて係数を決定する係数決定部(109)と、前記位相シフトの前後の各画像データに前記係数を乗じて加重加算することにより(n-1)個の折返し成分を除去して出力する折返し成分除去部(117)とを備える。
本発明は、画像信号、特に動画像の画像信号を少ないフレーム数で好適に高解像度化するための技術を提供する。
【解決手段】
本発明に係る画像信号処理装置は、基準となる入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定する位置推定部(101)と、前記サンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数をｎ倍に増加する動き補償・アップレート部(115)と、高密度化した各画像フレームの画像データを一定量だけ位相シフトする位相シフト部（116）と、前記サンプリング位相差の情報を用いて係数を決定する係数決定部(109)と、前記位相シフトの前後の各画像データに前記係数を乗じて加重加算することにより(n-1)個の折返し成分を除去して出力する折返し成分除去部(117)とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を高解像度化するための技術に関し、特に複数の画像フレームを合成することにより、画像フレームを構成する画素数を増やすとともに不要な折返し成分を除去して高解像度化を行う技術に関する。
【背景技術】
【０００２】
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。
【０００３】
そこで、非特許文献１に記載されているように、入力された複数の画像フレーム(以下、フレームと略記)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術(以下、従来技術)が提案されている。この従来技術では、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。
【０００４】
図２に、この高解像度化技術の概要を示す。同図(a)に示すように、異なる時間軸上のフレーム#1(201)、フレーム#2(202)、フレーム#3(203)が入力され、これらを合成して出力フレーム(206)を得ることを想定する。簡単のため、まず被写体が水平方向に移動(204)した場合を考え、水平線(205)の上の1次元の信号処理によって高解像度化することを考える。このとき、同図(b)と同図(d)に示すように、フレーム#2(202)とフレーム#1(201)では、被写体の移動(204)の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、同図(c)に示すように、位置ずれが無くなるようにフレーム#2(202)を動き補償(207)するとともに、各フレームの画素(208)のサンプリング位相(209)(210)の間の位相差θ(211)を求める。この位相差θ(211)に基づき、上記(2)広帯域補間および(3)加重和を行うことにより、同図(e)に示すように、元の画素(208)のちょうど中間(位相差θ=π)の位置に新規画素(212)を生成することにより、高解像度化を実現する。ここで、上記(1)位置推定として、非特許文献２や非特許文献３に記載されているような数多くの方法が提案されており、これらをそのまま用いることができる。(2)広帯域補間については、非特許文献１に記載されているように、ナイキスト周波数の2倍の通過帯域を持つ一般的なローパスフィルタにより実現できる。(3)加重和については後述する。なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。
【０００５】
【非特許文献１】青木伸 “複数のデジタル画像データによる超解像処理”, Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998
【非特許文献２】安藤繁 “画像の時空間微分算法を用いた速度ベクトル分布計測システム”，計測自動制御学会論文集，pp.1330-1336, Vol.22, No.12，1986
【非特許文献３】小林弘幸ほか “DCT変換に基づく画像の位相限定相関法”, 信学技法 IEICE Technical Report ITS2005-92，IE2005-299(2006-02), pp.73-78
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記の従来技術によって１次元方向の２倍の高解像度化を行う場合、上記(3)の加重和を行う際に、図３に示すように、少なくとも３枚のフレーム画像の信号を用いる必要があった。ここで、図３は、１次元の周波数領域で、各成分の周波数スペクトルを示した図である。同図において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。上記(3)の加重和について、以下に詳しく説明する。
【０００７】
上述のように、上記(2)の広帯域補間にて、ナイキスト周波数の2倍の帯域(周波数0〜サンプリング周波数fsまでの帯域)を透過する広帯域ローパスフィルタによって画素補間すると、原信号と同じ成分(以下、原成分)と、サンプリング位相に応じた折返し成分の和が得られる。このとき、3枚のフレーム画像の信号に対して上記(2)広帯域補間の処理を行うと、図３(a)に示すように、各フレームの原成分(301)(302)(303)の位相はすべて一致し、折返し成分(304)(305)(306)の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分の位相関係を同図(b)に示し、各フレームの折返し成分の位相関係を同図(c)に示す。
【０００８】
ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して上記(3)加重和を行うことにより、各フレームの折返し成分(304)(305)(306)を互いに打ち消して除去することができ、原成分だけを抽出できる。このとき、各フレームの折返し成分(304)(305)(306)のベクトル和を0にする、すなわち、Re軸(実軸)の成分とIm軸(虚軸)の成分を両方ともに0とするためには、少なくとも３つの折返し成分が必要となる。従って、2倍の高解像度化を実現するために、すなわち１個の折返し成分を除去するために、少なくとも３枚のフレーム画像の信号を用いる必要があった。
【０００９】
同様に、非特許文献１に記載されているように、ｎ倍(ｎは２以上の整数)の高解像度化を実現するために、すなわち(ｎ−１)個の折返し成分を除去するために、少なくとも(２ｎ−１)枚のフレーム画像の信号を用いる必要があった。
【００１０】
従って従来技術は、フレームメモリや信号処理回路の規模が大きくなって経済的でない。また、時間的に離れた数多くのフレーム画像の位置推定を正確に行う必要があるため構成が複雑となる。すなわち、従来技術は、例えばテレビジョン放送信号等の動画像のフレームを高解像度化することが困難である。
【００１１】
本発明は、上記従来技術の課題に鑑みて為されたものであって、その目的は、好適に画像信号を高解像度化するための技術を提供することにある。より詳細には、本発明は、より少ない枚数のフレームを用いることによって、動画像の画像信号を好適に高解像度化するための技術を提供するものである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、ｎ枚(ｎは２以上の整数)のの画像フレームを合成することにより、画像フレームを構成する画素数をｎ倍に増加して出力画像フレームを得ることを特徴とするものである。より具体的には、本発明は、基準となる前記入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定し、このサンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数をｎ倍に増加する。そして、この画素数が増加された各画像フレームの画像データを所定量位相シフトし、この位相シフトの前後の各画像データに、上記サンプリング位相差に基づき決定された係数を乗じて互いに加算することにより(ｎ−１)個の折返し成分を除去することを特徴とするものである。
【００１３】
また、画素補間により入力画像フレームの画像データを増加する補助的画素補間手段を設け、前記係数が決定できないときに、前記折返し成分を除去した結果の代わりに前記補助的画素補間手段の結果を出力するように構成してもよい。
【発明の効果】
【００１４】
本発明によれば、より好適に画像信号を高解像度化することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下に説明する本発明の実施例に係る画像信号処理装置、及び画像信号を高解像度化するための方法、並びにそれを実行するためのプログラムでは、高解像度化を行う際に、入力した画像データの位相を所定量（例えばπ／２）シフトすることにより、折返し成分を除去することを特徴とするものである。以下、本発明の実施例について、図面を参照しつつ説明する。
【実施例１】
【００１６】
図１に、本発明に係る画像信号処理装置の第１の実施例を示し、その特徴について述べる。本実施例に係る画像信号処理装置は、例えばテレビジョン受像機等の画像表示装置に適用される。以下の本実施例の説明においては、画像信号処理装置として画像表示装置を例にして説明する。図１において、本実施例に係る画像信号処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部１と、この入力部１から入力されたフレームを高解像度化するための解像度変換部２と、更にこの解像度変換部２によって高解像度化されたフレームに基づき画像を表示する表示部３とを備えている。この表示部３として、例えばプラズマディスプレイパネル、液晶表示パネル、もしくは電子／電解放出型ディスプレイパネルが用いられる。以下、解像度変換部２の詳細について説明する。
【００１７】
図１において、まず位置推定部(101)により、入力部１に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、サンプリング位相差θ(102)を求める。次に、動き補償・アップレート部(115)のアップレート器(103)(104)により、位相差θ(102)の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ2倍に増して高密度化する。位相シフト部(116)では、この高密度化したデータの位相を一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器(106)(108)を用いることができる。また、π/2位相シフト器(106)(108)で生じる遅延を補償するために、遅延器(105)(107)により高密度化したフレーム#1とフレーム#2の信号を遅延させる。折返し成分除去部(117)では、遅延器(105)(107)とヒルベルト変換器(106)(108)の各出力信号に対して、係数決定器(109)にて位相差θ(102)をもとに生成した係数C0,C2,C1,C3を乗算器(110)(112)(111)(113)にてそれぞれ乗算し、加算器(114)にてこれらの信号を加算して出力を得る。この出力は、表示部３に供給される。なお、位置推定部(101)は、上記従来技術をそのまま用いて実現することができる。アップレート器(103)(104)、π/2位相シフト器(106)(108)、折返し成分除去部(117)の各詳細については後述する。
【００１８】
図４に、本発明の第１の実施例の動作を示す。同図は、図1に示した遅延器(105)(107)とπ/2位相シフト器(106)(108)の各出力を1次元の周波数領域で示したものである。同図(a)において、遅延器(105)(107)から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、原成分(401)(402)と、元のサンプリング周波数(fs)から折り返された折返し成分(405)(406)を加えた信号となる。このとき、折返し成分(406)は上述の位相差θ(102)だけ位相が回転している。一方、π/2位相シフト器(106)(108) から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、π/2位相シフト後の原成分(403)(404)と、π/2位相シフト後の折返し成分(407)(408)を加えた信号となる。同図(b)および同図(c)は、同図(a)に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。ここで、同図(b)に示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図(c)に示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。この係数決定方法の詳細については後述する。
【００１９】
図５に、本発明の第１の実施例に用いるアップレート器(103)(104)の動作を示す。同図において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、アップレート器(103)(104)の「周波数-利得」特性を示している。ここで、アップレート器(103)(104)では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数とし、もとの画素間隔のちょうど中間の位置に新しい画素のサンリング点(=ゼロ点)を挿入することによって画素数を2倍にして高密度化するとともに、-fs〜+fsの間の周波数をすべて利得2.0の通過帯域とするフィルタをかける。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
図6に、本発明の第1の実施例に用いるアップレート器(103)(104)の具体例を示す。同図は、図5に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的に知られているsinc関数となり、位相差θ(102)を考慮して、Ck=2sin(πk-θ)/(πk-θ)とすればよい。なお、アップレート器(103)では、位相差θ(102)を0とおき、Ck=2sin(πk)/(πk)とすればよい。また、位相差θ(102)を、整数画素単位(2π)の位相差+小数画素単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償については上記アップレート器(103)(104)のフィルタを用いてもよい。
【００２０】
図７に、本発明の第1の実施例に用いるπ/2位相シフト器(106)(108)の動作例を示す。π/2位相シフト器(106)(108)として、一般に知られているヒルベルト変換器を用いることができる。同図(a)において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、ヒルベルト変換器の「周波数-利得」特性を示している。ここで、ヒルベルト変換器では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数として、-fs〜+fsの間の0を除く周波数成分をすべて利得1.0の通過帯域とする。また、同図(b)において、横軸は周波数を、縦軸は位相差(入力信号位相に対する出力信号位相の差)を表し、ヒルベルト変換器の「周波数-位相差」特性を示している。ここで、0〜fsの間の周波数成分についてはπ/2だけ位相を遅らせ、0〜-fsの間の周波数成分についてはπ/2だけ位相を進ませる。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
【００２１】
図８に、本発明の第１の実施例に用いるπ/2位相シフト器(106)(108)をヒルベルト変換器で構成した例を示す。同図は、図７に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ckは、k=2m(ただしmは整数)のときはCk=0とし、k=2m+1のときはCk=-2/(πk)とすればよい。
【００２２】
なお、本発明の第1の実施例に用いるπ/2位相シフト器(106)(108)は、微分器を用いることも可能である。この場合、正弦波を表す一般式cos(ωt+α)をtで微分して1/ωを乗じると、d(cos(ωt+α))/dt*(1/ω)=-sin(ωt+α)=cos(ωt+α+π/2)となり、π/2位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、1/ωの「周波数-振幅」特性を持ったフィルタを掛けることによってπ/2位相シフトの機能を実現してもよい。
【００２３】
図９に、本発明の第１の実施例に用いる係数決定器(109)の動作と具体例を示す。同図(a)に示すように、図４(b)に示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図４(c)に示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。図１に示すように、遅延器(105)の出力(アップレート後のフレーム#1の原成分と折返し成分の和)に対する係数をC0、π/2位相シフト器(106)の出力(アップレート後のフレーム#1の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC1、遅延器(107)の出力(アップレート後のフレーム#2の原成分と折返し成分の和)に対する係数をC2、ヒルベルト変換器(106)の出力(アップレート後のフレーム#2の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC3、として図9(a)の条件を満たすようにすると、図4(b)および図4(c)に示した各成分の位相関係から、図9(b)に示す連立方程式を得ることができ、これを解くと図9(c)に示す結果を導くことができる。係数決定器(109)は、このようにして得た係数C0、C1、C2、C3を出力すればよい。一例として、位相差θ(102)をπ/8ごとに0〜2πまで変化させたときの係数C0、C1、C2、C3の値を、図9(d)に示す。これは、もとのフレーム#2の信号を、1/16画素の精度で位置推定し、フレーム#1に対して動き補償した場合に相当する。
【００２４】
なお、アップレート器(103)(104)およびπ/2位相シフト器(106)(107)は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数(例えばハニング窓関数やハミング窓関数など)を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、C0を中心として左右点対象の値、すなわちC(-k)=-Ck(kは整数)とすれば、位相を一定量だけシフトすることができる。
【００２５】
以上のように各部を構成すれば、好適に、すなわちより少ないフレーム数で、かつ簡単な構成で高解像度化を実現することができる。
【実施例２】
【００２６】
図１０に、本発明の第２の実施例を示す。同図に示した構成は、図９(c)に示した係数C0、C1、C2、C3の関係を利用して、図１に示した構成を簡略化したものである。すなわち、C0=C2=1/2であり、C1=-C3=-(1+cosθ)/sinθであることから、アップレート後のフレーム#1と動き補償・アップレート後のフレーム#2の各信号から、加算器(1001)と減算器(1004)により和と差の信号を生成する。和信号については、fs遮断フィルタ(1002)を介したのちに、乗算器(1003)にてC0(=0.5)を掛けて加算器(1008)に入力する。ここで、fs遮断フィルタ(1002)は、アップレート前のサンプリング周波数(fs)の成分を零点として遮断するフィルタであり、例えば同図の(1011)に示すタップ係数を用いることにより実現できる。このfs遮断フィルタ(1002)は、図7(a)に示したようにヒルベルト変換器(1005)の「周波数-利得」特性にて周波数fsの利得が零点になるために折返し成分を除去できず、周波数fsの不要成分が残留してしまうことを防ぐのが目的である。従って、周波数fsの成分も含めてπ/2位相シフトできる手段をヒルベルト変換器(1005)の替わりに用いれば、このfs遮断フィルタ(1002)は不要になる。
【００２７】
一方、差信号については、ヒルベルト変換器(1005)にて位相を一定量(=π/2)だけシフトしたのちに、係数決定器(1007)にて位相差(102)に基づいて決定した係数C1を乗算器(1006)で乗算し、加算器(1008)にて加算して出力を得る。ここで、遅延器(1002)とヒルベルト変換器(1005)から成る位相シフト部(1009)は、図１に示した位相シフト部(116)の半分の回路規模で実現できる。また、係数決定器(1007)は図９(c)に示した係数C1だけを出力すればよく、加算器(1001)、減算器(1004)、乗算器(1003)(1006)、加算器(1008)、係数決定器(1007)から成る折返し成分除去部(1010)は乗算器の個数を減らすことができるため、図１に示した折返し成分除去部(117)よりも小さい回路規模で実現できる。
【実施例３】
【００２８】
図１１に、本発明の第３の実施例を示す。同図に示す構成は、図９(d)に示したように位相差θが0のときに係数C1、C3が不定になることや、位相差θが0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図１０に示した構成をベースとして、位相差θが0近傍になったときに補助的画素補間部(1105)からの出力に切り替えるように構成したものである。すなわち、一般的な補間ローパスフィルタ(1101)をバイパス経路として用意し、係数決定器(1103)にて上述した係数C0、C1のほかに新たにC4を生成して、乗算器(1102)にて補間ローパスフィルタ(1101)の出力と係数C4を乗算し、加算器(1104)で高解像度化した信号に加えて出力する。それ以外は、図１０に示した構成と同一である。
【００２９】
図１２に、本発明の第３の実施例に用いる補間ローパスフィルタ(1101)の具体例を示す。同図は、もとのサンプリング周波数fsの1/2をカットオフ周波数とする周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的なsinc関数となり、Ck=sin(πk/2)/(πk/2)とすればよい。
【００３０】
図１３に、本発明の第3の実施例に用いる係数決定器(1103)の具体例を示す。同図は、図9(d)に示した係数C0、C1をベースとし、通常は新たな係数C4を0としているが、位相差θが0近傍になったときに、係数C0、C1の値を強制的に0にするとともに、係数C4の値を1.0とする動作を示している。この動作により、図１１に示す構成において、位相差θ(102)が0近傍になったときに、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えることができるようになる。なお、位相差θが0に近づくとともに、図１２に示した係数から図１３に示した係数に連続的に徐々に近づけるようにしてもよい。また、図１における位置推定部(101)にて、フレーム#1上の処理対象の画素に対応した画素がフレーム#2上にないと判定された場合も、位相差θ(102)が0近傍になったときと同様に各係数を制御して、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えてもよい。
【実施例４】
【００３１】
図１４に、本発明の第４の実施例を示す。同図は、上記第１の実施例の動作をソフトウェアプログラムにより実現した例である。同図において、処理はステップ(1401)から開始し、ステップ(1418)にて各フレームの画像データを２倍にアップレートする。すなわち、ステップ(1402)にてフレーム#1の画像データをアップレートしてフレームバッファ#1に書込み、ステップ(1403)にてフレーム#2の画像データをアップレートしてフレームバッファ#2に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦0でクリアしたのちに、1画素おきにデータを書き込むことにより実現できる。
【００３２】
次に、ステップ(1404)にて、フレームバッファ#1の最初の画素(例えば左上の画素)を処理対象に設定して、以下、フレームバッファ#1に対するすべての画素データの処理が終わるまで、処理をループする。
【００３３】
ステップ(1405)では、フレームバッファ#1の対象画素を基準にしてフレームバッファ#2の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、上記の従来技術をそのまま用いることができる。
【００３４】
ステップ(1406)では、ステップ(1405)で求めた位相差θをもとに、フレームバッファ#2の中の対応する画素の近傍の画素を動き補償する。このとき、近傍の画素として、ステップ(1408)のπ/2位相シフトの処理で用いる画素データ、すなわち有限のタップ数が作用する範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図5および図6を用いて説明した動作と同一である。
【００３５】
続いて、ステップ(1419)にて、フレームバッファ#1と動き補償したフレームバッファ#2に対して、位相を一定量だけシフトする。すなわち、ステップ(1407)(1408)により、各フレームバッファの中の画素データをπ/2位相シフトする。
【００３６】
続いて、ステップ(1420)にて、位相差θに基づいてフレームバッファ#1、#2の画素データから折返し成分を除去し、フレームバッファ#3に出力する。すなわち、ステップ(1409)にて、位相差θをもとに係数C0、C1、C2、C3を決定し、ステップ(1410)(1411)(1412)(1413)にて各係数とフレームバッファ#1、#2の画素データおよびπ/2位相シフト後のデータとそれぞれ乗算したのち、ステップ(1414)にてすべてを加算して、フレームバッファ#3に出力する。この折返し成分除去の動作は、図9を用いて説明した動作と同一である。
【００３７】
続いて、ステップ(1415)にて、フレームバッファ#1の全画素の処理が完了したかどうかを判定し、完了していなければ、ステップ(1416)で次の画素(例えば右隣の画素)を処理の対象に設定してステップ(1405)以降に戻り、完了していればステップ(1417)にて処理を終了する。
【００３８】
以上のような処理を行うことにより、フレームバッファ#1とフレームバッファ#2の画素データを用いて、フレームバッファ#3に高解像度化した信号を出力することができる。動画に応用する場合は、ステップ(1401)からステップ(1417)に至る処理を、フレームごとに繰り返せばよい。
【実施例５】
【００３９】
図１５に、本発明の第5の実施例を示す。同図は、上記第２の実施例の動作をソフトウェアプログラムにより実現した例である。同図において、処理はステップ(1501)から開始し、ステップ(1518)にて各フレームの画像データをアップレートする。すなわち、ステップ(1502)にてフレーム#1の画像データをアップレートしてフレームバッファ#1に書込み、ステップ(1503)にてフレーム#2の画像データをアップレートしてフレームバッファ#2に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦0でクリアしたのちに、1画素おきにデータを書き込むことにより実現できる。
【００４０】
次に、ステップ(1504)にて、フレームバッファ#1の最初の画素(例えば左上の画素)を処理対象に設定して、以下、フレームバッファ#1のすべての画素データの処理が終わるまで、処理をループする。
【００４１】
ステップ(1505)では、フレームバッファ#1の対象画素を基準にしてフレームバッファ#2の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、上記の従来技術をそのまま用いることができる。
【００４２】
ステップ(1506)では、ステップ(1505)で求めた位相差θをもとに、フレームバッファ#2の中の対応する画素の近傍の画素を動き補償する。このとき、「近傍の画素」として、ステップ(1510)のヒルベルト変換の処理で用いる画素データ、すなわち有限のタップ数が作用する範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図５および図６を用いて説明した動作と同一である。
【００４３】
続いて、ステップ(1520)にて、位相差θに基づいてフレームバッファ#1、#2の画素データから折返し成分を除去し、フレームバッファ#3に出力する。まず、ステップ(1507)にて、フレームバッファ#1の画素データの値と動き補償したフレームバッファ#2の画素データの値を加算し、ステップ(1509)にて周波数fsの成分を遮断する。このfs遮断フィルタ(1509)の動作は、図10に示した(1002)の動作と同一である。
【００４４】
また、ステップ(1508)にて、フレームバッファ#1の画素データの値から動き補償したフレームバッファ#2の画素データの値を減算する。ここで、減算した結果に対して、ステップ(1519)にて位相を一定量だけシフトする。すなわち、同様に減算した近傍のデータも用いて、ステップ(1510)にてヒルベルト変換する。この位相シフトの動作は、図７および図８を用いて説明した動作と同一である。
【００４５】
続いて、ステップ(1511)にて上記加算後のデータに係数C0(=0.5)を乗算するとともに、ステップ(1512)にて位相差θをもとに係数C1を決定し、ステップ(1513)にて係数C1とヒルベルト変換後のデータを乗算したのち、ステップ(1514)にて両者のデータを加算して、フレームバッファ#3に出力する。この折返し成分除去の動作は、図１０を用いて説明した動作と同一である。
【００４６】
続いて、ステップ(1515)にて、フレームバッファ#1の全画素の処理が完了したかどうかを判定し、完了していなければ、ステップ(1516)で次の画素(例えば右隣の画素)を処理の対象に設定してステップ(1505)以降に戻り、完了していればステップ(1517)にて処理を終了する。
【００４７】
以上のような処理を行うことにより、フレームバッファ#1とフレームバッファ#2の画素データを用いて、フレームバッファ#3に高解像度化した信号を出力することができる。動画に応用する場合は、ステップ(1501)からステップ(1517)に至る処理を、フレームごとに繰り返せばよい。
【実施例６】
【００４８】
図１６に、本発明の第６の実施例を示す。同図は、上記第３の実施例の動作をソフトウェアプログラムにより実現した例である。同図に示した処理ステップの動作は、図9(d)に示したように位相差θが0のときに係数C1、C3が不定になることや、位相差θが0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図15に示した処理ステップをベースとして、位相差θが0近傍になったときにステップ(1606)の処理結果をフレームバッファ#3に出力するように構成したものである。すなわち、ステップ(1601)にて位相差θをもとに係数C0、C1、C4を決定し、ステップ(1602)にてフレームバッファ#1の中の対象の画素データとその近傍の画素データを用いて一般的な補間ローパスフィルタ処理を行ったのちに、ステップ(1603)にて係数C4を乗算して、ステップ(1604)にてステップ(1511)(1513)の出力と加算してフレームバッファ#3に出力する。それ以外は、図１５に示した処理ステップと同一である。なお、ステップ(1601)での係数決定の動作は、図１３を用いて説明した動作と同一である。また、ステップ(1602)での補間ローパスフィルタの動作は、図１２を用いて説明した動作と同一である。
【００４９】
なお、図１４、図１５、図１６に示した処理ステップを動作させるハードウェアは、信号入出力部(I/O)、CPU(Central Processing Unit)やDSP(Digital Signal Processor)などの信号処理LSI、フレームバッファ(メモリ)から構成される一般的な映像処理機器やコンピュータ等により容易に実現できるため、図示は省略する。
【００５０】
以上のような技術により、複数の画像フレームを合成することにより不要な折返し成分を除去して高解像度化を行う装置において、少なくとも２枚のフレーム画像があれば、１次元方向の２倍の高解像度化行う画像信号処理を実現できる。
【００５１】
図17を用いて、本発明と上記従来技術の動作の違いを説明する。同図(a)において、フレーム#1(1701)からフレーム#5(1705)の間に、被写体が右方向に移動するような入力画像を用意する。この際、同図(b)に示すように、各フレームにおけるサンプリング位相を見ると、フレーム#1(1701)とフレーム#2(1702)の間では対応画素の位置が1/4画素(=π/2)ずれており、フレーム#1(1701)とフレーム#3(1703)の間では対応画素の位置が1画素(=2π)ずれており、フレーム#1(1701)とフレーム#4(1704)の間では対応画素の位置が5/4画素(=5π/2)ずれており、フレーム#1(1701)とフレーム#5(1705)の間では対応画素の位置が2画素(=4π)ずれているように、意図的に被写体を移動させる。このとき、各フレーム上の信号に含まれるそれぞれの折返し成分の位相は、フレーム#1(1701)上の信号に含まれる折返し成分の位相を基準にして、同図(c)のように表すことができる。この入力画像(a)に対して2倍の高解像度化を行う場合、上記従来技術では、フレーム#1(1701)からフレーム#5(1705)の中のどの3フレームを用いても折返し成分のベクトル和を0にすることができないため、高解像度化は実現できない。一方、本実施例を用いれば、隣接する２フレーム(例えば、フレーム#1(1701)とフレーム#2(1702))を用いて折返し成分のベクトル和を0にできるため、高解像度化を実現できる。すなわち、同図(a)の入力画像をテストパターンとして用いることにより、本実施例の動作状況を確認することができる。
【実施例７】
【００５２】
上記では２フレームの信号を用いて２倍の高解像度化を説明したが、同様にｎフレーム(ｎは２以上の整数)の信号を用いてｎ倍の高解像度化を実現できる。この際に、図９(a)に示したように、原成分の和のRe軸=1、原成分の和のIm軸=0、の条件とともに、もとのサンプリング周波数(fs)の1〜(n-1)倍の周波数からそれぞれ折り返された(ｎ−１)個の折返し成分のベクトル和をそれぞれ0と置いて、連立方程式を解けばよい。以下、図１８と図１９を用いて上記を詳細に説明する。
【００５３】
図１８に、ｎフレーム(ｎは２以上の整数)の信号を用いてｎ倍の高解像度化する装置の実施例を示す。同図において、まず位置推定部(1801)により、入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、入力されたフレーム#2〜フレーム#n上の対応する画素の位置を推定し、位相差θ1(1802-1)〜位相差θ(n-1)(1802-(n-1))を求める。次に、動き補償・アップレート部(1806)のアップレート器(1803-0)〜(1803-(n-1))により、各位相差θの情報を用いてフレーム#2〜フレーム#nを動き補償してフレーム#1と位置を合わせるとともに、各フレームの画素数をそれぞれn倍に増して高密度化する。位相シフト部(1807)では、この高密度化したデータの位相を一定量だけシフトして、信号Si0〜Si(n-1)とする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器(1805-0)〜(1805-(n-1))を用いることができる。また、各π/2位相シフト器で生じる遅延を補償するために、遅延器(1804-0)〜(1804-(n-1))により高密度化した各フレームの信号を遅延させて、信号Sr0〜Sr(n-1)とする。折返し成分除去部(1808)では、これらの信号Si0〜Si(n-1)、Sr0〜Sr(n-1)、位相差θ1〜θ(n-1)を用いて折返し成分除去のための演算を行い、出力を得る。なお、位置推定部(1801)は、上記従来技術をそのまま用いて実現することができる。また、動き補償・アップレート部(1806)、位相シフト部(1807)については、図５〜図８に示した内容をもとに、図中の周波数をfsからfs*n/2に変更することによって容易に類推して実現可能なため、図示は省略する。なお、位相シフト部(1807)にて、fs*n/2の周波数の利得が零点になって折返し歪を除去できない場合は、fs*n/2の周波数の利得が零点になる遮断フィルタを用いたほうがよい。この遮断フィルタは、遅延器(1804-0)〜(1804-(n-1))の位置に挿入してもよいが、折返し成分除去部(1808)の出力の位置に挿入しても同様の効果が得られることは明らかである。
【００５４】
図１９に、折返し成分除去部(1808)の動作の詳細を示す。同図(a)に、信号Si0〜Si(n-1)、Sr0〜Sr(n-1)、位相差θ1〜θ(n-1)を用いて折返し成分除去した出力を得るための計算式を示す。ここで、Ci0〜Ci(n-1)、Cr0〜Cr(n-1)は、それぞれ信号Si0〜Si(n-1)、Sr0〜Sr(n-1)に乗じる係数である。
【００５５】
同図(b)に、これらの係数Ci0〜Ci(n-1)、Cr0〜Cr(n-1)を求めるための計算式を示す。同計算式は、左辺、右辺ともにマトリクス形式になっており、上から2行ごとに、原成分、サンプリング周波数(fs)の成分、サンプリング周波数(fs)の2倍の成分、以下同様に、サンプリング周波数(fs)の(n-1)倍までの成分を示しており、各1行目(奇数行)はRe軸、各2行目(偶数行)はIm軸の各成分を示している。同計算式の左辺のマトリクスは、原成分のRe軸の和が１であり、その他の成分はすべて０であることを示している。同計算式の右辺はマトリクスの積演算になっている。右辺の左側のマトリクスは、左から2列ごとに、フレーム#1のサンプリング位相(基準)、フレーム#2とフレーム#1とのサンプリング位相差、以下同様に、フレーム#nとフレーム#1のサンプリング位相差に応じて長さ1のベクトルを回転させることを示しており、各1列目(奇数列)はRe軸、各2列目(偶数列)はIm軸にそれぞれ長さ1のベクトルを射影した際の値を示している。ここで、上から2行ごとに、サンプリング周波数に比例してサンプリング位相差(回転角)が大きくなる特徴がある。右辺の右側のマトリクスは求めたい係数である。すなわち、同図(b)に示す計算式は、不要な折返し成分を除去して原成分のRe軸のみを抽出するために、フレーム#1〜フレーム#nの各成分に適切な係数を乗じてベクトル和をとる、ということを示している。従って、同図(b)の逆マトリクス演算によって係数Ci0〜Ci(n-1)、Cr0〜Cr(n-1)を求め、その係数を同図(a)に代入して演算することによって不要な(n-1)個の折返し成分を除去することができ、n倍の高解像度化を実現できる。この際、n=2とおけば、図１８に示した構成は図１に示した構成と一致し、図１９に示した計算式は図９に示した計算式と一致する。また同様に、図１４、図１５、図１６に示した実施例(フローチャート)の入力フレーム数を２からｎに容易に拡張可能なため、ｎ倍の高解像度化に対応したフローチャートの図示は省略する。
【００５６】
なお、上記では水平方向の高解像度化を例に挙げて説明したが、本発明はこれに限定されるわけではなく、垂直方向や斜め方向の高解像度化に適用することが可能である。例えば、本発明をインタレース-プログレッシブ走査変換(I-P変換)に適用することにより、2枚のフィールド画像から1枚のフレーム画像を生成することができる。すなわち、フィールド画像を「走査線数が1/2のフレーム画像」と見なして本発明を適用することにより、静止画・動画に関わらず、画像1枚あたりの走査線数を2倍(すなわち、垂直方向の解像度を２倍)にした出力画像を得ることができる。また、水平・垂直方向を組み合わせた2次元の高解像度化にも容易に拡張可能である。
【００５７】
更に、上記実施例では、画像信号処理装置として、画像表示装置を例にして説明したがこれに限られるものではない、例えば、ＤＶＤプレーヤーやＨＤＤプレーヤーにも同様に適用でき、更には１セグ放送を受信するための携帯画像表示端末（例えば携帯電話）にも適用できることは言うまでも無い。また画像フレームとしては、テレビジョン放送信号以外の信号の画像フレームを用いてもよい。例えばインターネットを介して送信されるストリーミング画像や、ＤＶＤプレーヤーやＨＤＤプレーヤーから再生された画像に対しても、同様に本発明は適用できる。
【図面の簡単な説明】
【００５８】
【図１】本発明に係る第１の実施例の説明図である。
【図２】一般的な高解像度化画像信号処理の動作を説明した図である
【図３】従来技術の動作を説明した図である。
【図４】本発明に係る第１の実施例の動作を説明した図である。
【図５】本発明に係る第１の実施例の説明図である。
【図６】本発明に係る第１の実施例の説明図である。
【図７】本発明に係る第１の実施例の説明図である。
【図８】本発明に係る第１の実施例の説明図である。
【図９】本発明に係る第１の実施例の説明図である。
【図１０】本発明に係る第２の実施例の説明図である。
【図１１】本発明に係る第３の実施例の説明図である。
【図１２】本発明に係る第３の実施例の説明図である。
【図１３】本発明に係る第３の実施例の説明図である。
【図１４】本発明に係る第４の実施例の説明図である。
【図１５】本発明に係る第５の実施例の説明図である。
【図１６】本発明に係る第６の実施例の説明図である。
【図１７】本発明と従来技術の動作の違いを説明した図である。
【図１８】本発明に係る第７の実施例の説明図である。
【図１９】本発明に係る第７の実施例の説明図である。
【符号の説明】
【００５９】
101,1801…位置推定部；102,211,1802…位相差θ；103,104,1803…アップレート器；105,107,1002,1804…遅延器；106,108,1805…π/2位相シフト器；109,1007,1103…係数決定器；110,111,112,113,1003,1006,1102…乗算器；114, 1001,1008,1104…加算器；115,1806…動き補償・アップレート部；116,1009,1807…位相シフト部；117,1010,1808…折返し成分除去部；201,202,203,206,1701,1702,1703,1704,1705…フレーム；204…移動；205…水平線；207…動き補償；208,212…画素；209,210…サンプリング位相；301,302,303,401,402…原成分；304,305,306,405,406…折返し成分；403,404…π/2位相シフト後の原成分；407,408…π/2位相シフト後の折返し成分；1004…減算器；1005…ヒルベルト変換器；1101…補間ローパスフィルタ；1105…補助的画素補間部。
【技術分野】
【０００１】
本発明は、画像信号を高解像度化するための技術に関し、特に複数の画像フレームを合成することにより、画像フレームを構成する画素数を増やすとともに不要な折返し成分を除去して高解像度化を行う技術に関する。
【背景技術】
【０００２】
最近のテレビ受像機は大画面化が進んでおり、放送や通信、蓄積媒体などから入力された画像信号をそのまま表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして表示することが一般的に行われている。この際、一般的に知られているsinc関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やすだけでは解像度を上げることはできない。
【０００３】
そこで、非特許文献１に記載されているように、入力された複数の画像フレーム(以下、フレームと略記)を合成して1枚のフレームとすることにより、高解像度化しながら画素数を増やす技術(以下、従来技術)が提案されている。この従来技術では、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。
【０００４】
図２に、この高解像度化技術の概要を示す。同図(a)に示すように、異なる時間軸上のフレーム#1(201)、フレーム#2(202)、フレーム#3(203)が入力され、これらを合成して出力フレーム(206)を得ることを想定する。簡単のため、まず被写体が水平方向に移動(204)した場合を考え、水平線(205)の上の1次元の信号処理によって高解像度化することを考える。このとき、同図(b)と同図(d)に示すように、フレーム#2(202)とフレーム#1(201)では、被写体の移動(204)の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、同図(c)に示すように、位置ずれが無くなるようにフレーム#2(202)を動き補償(207)するとともに、各フレームの画素(208)のサンプリング位相(209)(210)の間の位相差θ(211)を求める。この位相差θ(211)に基づき、上記(2)広帯域補間および(3)加重和を行うことにより、同図(e)に示すように、元の画素(208)のちょうど中間(位相差θ=π)の位置に新規画素(212)を生成することにより、高解像度化を実現する。ここで、上記(1)位置推定として、非特許文献２や非特許文献３に記載されているような数多くの方法が提案されており、これらをそのまま用いることができる。(2)広帯域補間については、非特許文献１に記載されているように、ナイキスト周波数の2倍の通過帯域を持つ一般的なローパスフィルタにより実現できる。(3)加重和については後述する。なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。
【０００５】
【非特許文献１】青木伸 “複数のデジタル画像データによる超解像処理”, Ricoh Technical Report pp.19-25, No.24, NOVEMBER, 1998
【非特許文献２】安藤繁 “画像の時空間微分算法を用いた速度ベクトル分布計測システム”，計測自動制御学会論文集，pp.1330-1336, Vol.22, No.12，1986
【非特許文献３】小林弘幸ほか “DCT変換に基づく画像の位相限定相関法”, 信学技法 IEICE Technical Report ITS2005-92，IE2005-299(2006-02), pp.73-78
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記の従来技術によって１次元方向の２倍の高解像度化を行う場合、上記(3)の加重和を行う際に、図３に示すように、少なくとも３枚のフレーム画像の信号を用いる必要があった。ここで、図３は、１次元の周波数領域で、各成分の周波数スペクトルを示した図である。同図において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。上記(3)の加重和について、以下に詳しく説明する。
【０００７】
上述のように、上記(2)の広帯域補間にて、ナイキスト周波数の2倍の帯域(周波数0〜サンプリング周波数fsまでの帯域)を透過する広帯域ローパスフィルタによって画素補間すると、原信号と同じ成分(以下、原成分)と、サンプリング位相に応じた折返し成分の和が得られる。このとき、3枚のフレーム画像の信号に対して上記(2)広帯域補間の処理を行うと、図３(a)に示すように、各フレームの原成分(301)(302)(303)の位相はすべて一致し、折返し成分(304)(305)(306)の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分の位相関係を同図(b)に示し、各フレームの折返し成分の位相関係を同図(c)に示す。
【０００８】
ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して上記(3)加重和を行うことにより、各フレームの折返し成分(304)(305)(306)を互いに打ち消して除去することができ、原成分だけを抽出できる。このとき、各フレームの折返し成分(304)(305)(306)のベクトル和を0にする、すなわち、Re軸(実軸)の成分とIm軸(虚軸)の成分を両方ともに0とするためには、少なくとも３つの折返し成分が必要となる。従って、2倍の高解像度化を実現するために、すなわち１個の折返し成分を除去するために、少なくとも３枚のフレーム画像の信号を用いる必要があった。
【０００９】
同様に、非特許文献１に記載されているように、ｎ倍(ｎは２以上の整数)の高解像度化を実現するために、すなわち(ｎ−１)個の折返し成分を除去するために、少なくとも(２ｎ−１)枚のフレーム画像の信号を用いる必要があった。
【００１０】
従って従来技術は、フレームメモリや信号処理回路の規模が大きくなって経済的でない。また、時間的に離れた数多くのフレーム画像の位置推定を正確に行う必要があるため構成が複雑となる。すなわち、従来技術は、例えばテレビジョン放送信号等の動画像のフレームを高解像度化することが困難である。
【００１１】
本発明は、上記従来技術の課題に鑑みて為されたものであって、その目的は、好適に画像信号を高解像度化するための技術を提供することにある。より詳細には、本発明は、より少ない枚数のフレームを用いることによって、動画像の画像信号を好適に高解像度化するための技術を提供するものである。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明は、ｎ枚(ｎは２以上の整数)のの画像フレームを合成することにより、画像フレームを構成する画素数をｎ倍に増加して出力画像フレームを得ることを特徴とするものである。より具体的には、本発明は、基準となる前記入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定し、このサンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数をｎ倍に増加する。そして、この画素数が増加された各画像フレームの画像データを所定量位相シフトし、この位相シフトの前後の各画像データに、上記サンプリング位相差に基づき決定された係数を乗じて互いに加算することにより(ｎ−１)個の折返し成分を除去することを特徴とするものである。
【００１３】
また、画素補間により入力画像フレームの画像データを増加する補助的画素補間手段を設け、前記係数が決定できないときに、前記折返し成分を除去した結果の代わりに前記補助的画素補間手段の結果を出力するように構成してもよい。
【発明の効果】
【００１４】
本発明によれば、より好適に画像信号を高解像度化することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下に説明する本発明の実施例に係る画像信号処理装置、及び画像信号を高解像度化するための方法、並びにそれを実行するためのプログラムでは、高解像度化を行う際に、入力した画像データの位相を所定量（例えばπ／２）シフトすることにより、折返し成分を除去することを特徴とするものである。以下、本発明の実施例について、図面を参照しつつ説明する。
【実施例１】
【００１６】
図１に、本発明に係る画像信号処理装置の第１の実施例を示し、その特徴について述べる。本実施例に係る画像信号処理装置は、例えばテレビジョン受像機等の画像表示装置に適用される。以下の本実施例の説明においては、画像信号処理装置として画像表示装置を例にして説明する。図１において、本実施例に係る画像信号処理装置は、例えばテレビジョン放送信号などの動画像のフレーム列が入力される入力部１と、この入力部１から入力されたフレームを高解像度化するための解像度変換部２と、更にこの解像度変換部２によって高解像度化されたフレームに基づき画像を表示する表示部３とを備えている。この表示部３として、例えばプラズマディスプレイパネル、液晶表示パネル、もしくは電子／電解放出型ディスプレイパネルが用いられる。以下、解像度変換部２の詳細について説明する。
【００１７】
図１において、まず位置推定部(101)により、入力部１に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、サンプリング位相差θ(102)を求める。次に、動き補償・アップレート部(115)のアップレート器(103)(104)により、位相差θ(102)の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ2倍に増して高密度化する。位相シフト部(116)では、この高密度化したデータの位相を一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器(106)(108)を用いることができる。また、π/2位相シフト器(106)(108)で生じる遅延を補償するために、遅延器(105)(107)により高密度化したフレーム#1とフレーム#2の信号を遅延させる。折返し成分除去部(117)では、遅延器(105)(107)とヒルベルト変換器(106)(108)の各出力信号に対して、係数決定器(109)にて位相差θ(102)をもとに生成した係数C0,C2,C1,C3を乗算器(110)(112)(111)(113)にてそれぞれ乗算し、加算器(114)にてこれらの信号を加算して出力を得る。この出力は、表示部３に供給される。なお、位置推定部(101)は、上記従来技術をそのまま用いて実現することができる。アップレート器(103)(104)、π/2位相シフト器(106)(108)、折返し成分除去部(117)の各詳細については後述する。
【００１８】
図４に、本発明の第１の実施例の動作を示す。同図は、図1に示した遅延器(105)(107)とπ/2位相シフト器(106)(108)の各出力を1次元の周波数領域で示したものである。同図(a)において、遅延器(105)(107)から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、原成分(401)(402)と、元のサンプリング周波数(fs)から折り返された折返し成分(405)(406)を加えた信号となる。このとき、折返し成分(406)は上述の位相差θ(102)だけ位相が回転している。一方、π/2位相シフト器(106)(108) から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、π/2位相シフト後の原成分(403)(404)と、π/2位相シフト後の折返し成分(407)(408)を加えた信号となる。同図(b)および同図(c)は、同図(a)に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。ここで、同図(b)に示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図(c)に示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。この係数決定方法の詳細については後述する。
【００１９】
図５に、本発明の第１の実施例に用いるアップレート器(103)(104)の動作を示す。同図において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、アップレート器(103)(104)の「周波数-利得」特性を示している。ここで、アップレート器(103)(104)では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数とし、もとの画素間隔のちょうど中間の位置に新しい画素のサンリング点(=ゼロ点)を挿入することによって画素数を2倍にして高密度化するとともに、-fs〜+fsの間の周波数をすべて利得2.0の通過帯域とするフィルタをかける。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
図6に、本発明の第1の実施例に用いるアップレート器(103)(104)の具体例を示す。同図は、図5に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的に知られているsinc関数となり、位相差θ(102)を考慮して、Ck=2sin(πk-θ)/(πk-θ)とすればよい。なお、アップレート器(103)では、位相差θ(102)を0とおき、Ck=2sin(πk)/(πk)とすればよい。また、位相差θ(102)を、整数画素単位(2π)の位相差+小数画素単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償については上記アップレート器(103)(104)のフィルタを用いてもよい。
【００２０】
図７に、本発明の第1の実施例に用いるπ/2位相シフト器(106)(108)の動作例を示す。π/2位相シフト器(106)(108)として、一般に知られているヒルベルト変換器を用いることができる。同図(a)において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、ヒルベルト変換器の「周波数-利得」特性を示している。ここで、ヒルベルト変換器では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数として、-fs〜+fsの間の0を除く周波数成分をすべて利得1.0の通過帯域とする。また、同図(b)において、横軸は周波数を、縦軸は位相差(入力信号位相に対する出力信号位相の差)を表し、ヒルベルト変換器の「周波数-位相差」特性を示している。ここで、0〜fsの間の周波数成分についてはπ/2だけ位相を遅らせ、0〜-fsの間の周波数成分についてはπ/2だけ位相を進ませる。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
【００２１】
図８に、本発明の第１の実施例に用いるπ/2位相シフト器(106)(108)をヒルベルト変換器で構成した例を示す。同図は、図７に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ckは、k=2m(ただしmは整数)のときはCk=0とし、k=2m+1のときはCk=-2/(πk)とすればよい。
【００２２】
なお、本発明の第1の実施例に用いるπ/2位相シフト器(106)(108)は、微分器を用いることも可能である。この場合、正弦波を表す一般式cos(ωt+α)をtで微分して1/ωを乗じると、d(cos(ωt+α))/dt*(1/ω)=-sin(ωt+α)=cos(ωt+α+π/2)となり、π/2位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、1/ωの「周波数-振幅」特性を持ったフィルタを掛けることによってπ/2位相シフトの機能を実現してもよい。
【００２３】
図９に、本発明の第１の実施例に用いる係数決定器(109)の動作と具体例を示す。同図(a)に示すように、図４(b)に示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図４(c)に示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。図１に示すように、遅延器(105)の出力(アップレート後のフレーム#1の原成分と折返し成分の和)に対する係数をC0、π/2位相シフト器(106)の出力(アップレート後のフレーム#1の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC1、遅延器(107)の出力(アップレート後のフレーム#2の原成分と折返し成分の和)に対する係数をC2、ヒルベルト変換器(106)の出力(アップレート後のフレーム#2の原成分と折返し成分のそれぞれのπ/2位相シフト結果の和)に対する係数をC3、として図9(a)の条件を満たすようにすると、図4(b)および図4(c)に示した各成分の位相関係から、図9(b)に示す連立方程式を得ることができ、これを解くと図9(c)に示す結果を導くことができる。係数決定器(109)は、このようにして得た係数C0、C1、C2、C3を出力すればよい。一例として、位相差θ(102)をπ/8ごとに0〜2πまで変化させたときの係数C0、C1、C2、C3の値を、図9(d)に示す。これは、もとのフレーム#2の信号を、1/16画素の精度で位置推定し、フレーム#1に対して動き補償した場合に相当する。
【００２４】
なお、アップレート器(103)(104)およびπ/2位相シフト器(106)(107)は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数(例えばハニング窓関数やハミング窓関数など)を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、C0を中心として左右点対象の値、すなわちC(-k)=-Ck(kは整数)とすれば、位相を一定量だけシフトすることができる。
【００２５】
以上のように各部を構成すれば、好適に、すなわちより少ないフレーム数で、かつ簡単な構成で高解像度化を実現することができる。
【実施例２】
【００２６】
図１０に、本発明の第２の実施例を示す。同図に示した構成は、図９(c)に示した係数C0、C1、C2、C3の関係を利用して、図１に示した構成を簡略化したものである。すなわち、C0=C2=1/2であり、C1=-C3=-(1+cosθ)/sinθであることから、アップレート後のフレーム#1と動き補償・アップレート後のフレーム#2の各信号から、加算器(1001)と減算器(1004)により和と差の信号を生成する。和信号については、fs遮断フィルタ(1002)を介したのちに、乗算器(1003)にてC0(=0.5)を掛けて加算器(1008)に入力する。ここで、fs遮断フィルタ(1002)は、アップレート前のサンプリング周波数(fs)の成分を零点として遮断するフィルタであり、例えば同図の(1011)に示すタップ係数を用いることにより実現できる。このfs遮断フィルタ(1002)は、図7(a)に示したようにヒルベルト変換器(1005)の「周波数-利得」特性にて周波数fsの利得が零点になるために折返し成分を除去できず、周波数fsの不要成分が残留してしまうことを防ぐのが目的である。従って、周波数fsの成分も含めてπ/2位相シフトできる手段をヒルベルト変換器(1005)の替わりに用いれば、このfs遮断フィルタ(1002)は不要になる。
【００２７】
一方、差信号については、ヒルベルト変換器(1005)にて位相を一定量(=π/2)だけシフトしたのちに、係数決定器(1007)にて位相差(102)に基づいて決定した係数C1を乗算器(1006)で乗算し、加算器(1008)にて加算して出力を得る。ここで、遅延器(1002)とヒルベルト変換器(1005)から成る位相シフト部(1009)は、図１に示した位相シフト部(116)の半分の回路規模で実現できる。また、係数決定器(1007)は図９(c)に示した係数C1だけを出力すればよく、加算器(1001)、減算器(1004)、乗算器(1003)(1006)、加算器(1008)、係数決定器(1007)から成る折返し成分除去部(1010)は乗算器の個数を減らすことができるため、図１に示した折返し成分除去部(117)よりも小さい回路規模で実現できる。
【実施例３】
【００２８】
図１１に、本発明の第３の実施例を示す。同図に示す構成は、図９(d)に示したように位相差θが0のときに係数C1、C3が不定になることや、位相差θが0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図１０に示した構成をベースとして、位相差θが0近傍になったときに補助的画素補間部(1105)からの出力に切り替えるように構成したものである。すなわち、一般的な補間ローパスフィルタ(1101)をバイパス経路として用意し、係数決定器(1103)にて上述した係数C0、C1のほかに新たにC4を生成して、乗算器(1102)にて補間ローパスフィルタ(1101)の出力と係数C4を乗算し、加算器(1104)で高解像度化した信号に加えて出力する。それ以外は、図１０に示した構成と同一である。
【００２９】
図１２に、本発明の第３の実施例に用いる補間ローパスフィルタ(1101)の具体例を示す。同図は、もとのサンプリング周波数fsの1/2をカットオフ周波数とする周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的なsinc関数となり、Ck=sin(πk/2)/(πk/2)とすればよい。
【００３０】
図１３に、本発明の第3の実施例に用いる係数決定器(1103)の具体例を示す。同図は、図9(d)に示した係数C0、C1をベースとし、通常は新たな係数C4を0としているが、位相差θが0近傍になったときに、係数C0、C1の値を強制的に0にするとともに、係数C4の値を1.0とする動作を示している。この動作により、図１１に示す構成において、位相差θ(102)が0近傍になったときに、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えることができるようになる。なお、位相差θが0に近づくとともに、図１２に示した係数から図１３に示した係数に連続的に徐々に近づけるようにしてもよい。また、図１における位置推定部(101)にて、フレーム#1上の処理対象の画素に対応した画素がフレーム#2上にないと判定された場合も、位相差θ(102)が0近傍になったときと同様に各係数を制御して、加算器(1104)の出力を自動的に補間ローパスフィルタ(1101)の出力に切替えてもよい。
【実施例４】
【００３１】
図１４に、本発明の第４の実施例を示す。同図は、上記第１の実施例の動作をソフトウェアプログラムにより実現した例である。同図において、処理はステップ(1401)から開始し、ステップ(1418)にて各フレームの画像データを２倍にアップレートする。すなわち、ステップ(1402)にてフレーム#1の画像データをアップレートしてフレームバッファ#1に書込み、ステップ(1403)にてフレーム#2の画像データをアップレートしてフレームバッファ#2に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦0でクリアしたのちに、1画素おきにデータを書き込むことにより実現できる。
【００３２】
次に、ステップ(1404)にて、フレームバッファ#1の最初の画素(例えば左上の画素)を処理対象に設定して、以下、フレームバッファ#1に対するすべての画素データの処理が終わるまで、処理をループする。
【００３３】
ステップ(1405)では、フレームバッファ#1の対象画素を基準にしてフレームバッファ#2の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、上記の従来技術をそのまま用いることができる。
【００３４】
ステップ(1406)では、ステップ(1405)で求めた位相差θをもとに、フレームバッファ#2の中の対応する画素の近傍の画素を動き補償する。このとき、近傍の画素として、ステップ(1408)のπ/2位相シフトの処理で用いる画素データ、すなわち有限のタップ数が作用する範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図5および図6を用いて説明した動作と同一である。
【００３５】
続いて、ステップ(1419)にて、フレームバッファ#1と動き補償したフレームバッファ#2に対して、位相を一定量だけシフトする。すなわち、ステップ(1407)(1408)により、各フレームバッファの中の画素データをπ/2位相シフトする。
【００３６】
続いて、ステップ(1420)にて、位相差θに基づいてフレームバッファ#1、#2の画素データから折返し成分を除去し、フレームバッファ#3に出力する。すなわち、ステップ(1409)にて、位相差θをもとに係数C0、C1、C2、C3を決定し、ステップ(1410)(1411)(1412)(1413)にて各係数とフレームバッファ#1、#2の画素データおよびπ/2位相シフト後のデータとそれぞれ乗算したのち、ステップ(1414)にてすべてを加算して、フレームバッファ#3に出力する。この折返し成分除去の動作は、図9を用いて説明した動作と同一である。
【００３７】
続いて、ステップ(1415)にて、フレームバッファ#1の全画素の処理が完了したかどうかを判定し、完了していなければ、ステップ(1416)で次の画素(例えば右隣の画素)を処理の対象に設定してステップ(1405)以降に戻り、完了していればステップ(1417)にて処理を終了する。
【００３８】
以上のような処理を行うことにより、フレームバッファ#1とフレームバッファ#2の画素データを用いて、フレームバッファ#3に高解像度化した信号を出力することができる。動画に応用する場合は、ステップ(1401)からステップ(1417)に至る処理を、フレームごとに繰り返せばよい。
【実施例５】
【００３９】
図１５に、本発明の第5の実施例を示す。同図は、上記第２の実施例の動作をソフトウェアプログラムにより実現した例である。同図において、処理はステップ(1501)から開始し、ステップ(1518)にて各フレームの画像データをアップレートする。すなわち、ステップ(1502)にてフレーム#1の画像データをアップレートしてフレームバッファ#1に書込み、ステップ(1503)にてフレーム#2の画像データをアップレートしてフレームバッファ#2に書き込む。ここで、アップレートとは、各フレームバッファの値を一旦0でクリアしたのちに、1画素おきにデータを書き込むことにより実現できる。
【００４０】
次に、ステップ(1504)にて、フレームバッファ#1の最初の画素(例えば左上の画素)を処理対象に設定して、以下、フレームバッファ#1のすべての画素データの処理が終わるまで、処理をループする。
【００４１】
ステップ(1505)では、フレームバッファ#1の対象画素を基準にしてフレームバッファ#2の中の対応する画素の位置を推定し、位相差θを出力する。このとき、対応する画素の位置を推定する方法として、上記の従来技術をそのまま用いることができる。
【００４２】
ステップ(1506)では、ステップ(1505)で求めた位相差θをもとに、フレームバッファ#2の中の対応する画素の近傍の画素を動き補償する。このとき、「近傍の画素」として、ステップ(1510)のヒルベルト変換の処理で用いる画素データ、すなわち有限のタップ数が作用する範囲の画素データだけを動き補償すればよい。この動き補償の動作は、図５および図６を用いて説明した動作と同一である。
【００４３】
続いて、ステップ(1520)にて、位相差θに基づいてフレームバッファ#1、#2の画素データから折返し成分を除去し、フレームバッファ#3に出力する。まず、ステップ(1507)にて、フレームバッファ#1の画素データの値と動き補償したフレームバッファ#2の画素データの値を加算し、ステップ(1509)にて周波数fsの成分を遮断する。このfs遮断フィルタ(1509)の動作は、図10に示した(1002)の動作と同一である。
【００４４】
また、ステップ(1508)にて、フレームバッファ#1の画素データの値から動き補償したフレームバッファ#2の画素データの値を減算する。ここで、減算した結果に対して、ステップ(1519)にて位相を一定量だけシフトする。すなわち、同様に減算した近傍のデータも用いて、ステップ(1510)にてヒルベルト変換する。この位相シフトの動作は、図７および図８を用いて説明した動作と同一である。
【００４５】
続いて、ステップ(1511)にて上記加算後のデータに係数C0(=0.5)を乗算するとともに、ステップ(1512)にて位相差θをもとに係数C1を決定し、ステップ(1513)にて係数C1とヒルベルト変換後のデータを乗算したのち、ステップ(1514)にて両者のデータを加算して、フレームバッファ#3に出力する。この折返し成分除去の動作は、図１０を用いて説明した動作と同一である。
【００４６】
続いて、ステップ(1515)にて、フレームバッファ#1の全画素の処理が完了したかどうかを判定し、完了していなければ、ステップ(1516)で次の画素(例えば右隣の画素)を処理の対象に設定してステップ(1505)以降に戻り、完了していればステップ(1517)にて処理を終了する。
【００４７】
以上のような処理を行うことにより、フレームバッファ#1とフレームバッファ#2の画素データを用いて、フレームバッファ#3に高解像度化した信号を出力することができる。動画に応用する場合は、ステップ(1501)からステップ(1517)に至る処理を、フレームごとに繰り返せばよい。
【実施例６】
【００４８】
図１６に、本発明の第６の実施例を示す。同図は、上記第３の実施例の動作をソフトウェアプログラムにより実現した例である。同図に示した処理ステップの動作は、図9(d)に示したように位相差θが0のときに係数C1、C3が不定になることや、位相差θが0に近づくにつれて係数C1、C3が大きくなることでノイズ等に脆弱になることを防ぐために、図15に示した処理ステップをベースとして、位相差θが0近傍になったときにステップ(1606)の処理結果をフレームバッファ#3に出力するように構成したものである。すなわち、ステップ(1601)にて位相差θをもとに係数C0、C1、C4を決定し、ステップ(1602)にてフレームバッファ#1の中の対象の画素データとその近傍の画素データを用いて一般的な補間ローパスフィルタ処理を行ったのちに、ステップ(1603)にて係数C4を乗算して、ステップ(1604)にてステップ(1511)(1513)の出力と加算してフレームバッファ#3に出力する。それ以外は、図１５に示した処理ステップと同一である。なお、ステップ(1601)での係数決定の動作は、図１３を用いて説明した動作と同一である。また、ステップ(1602)での補間ローパスフィルタの動作は、図１２を用いて説明した動作と同一である。
【００４９】
なお、図１４、図１５、図１６に示した処理ステップを動作させるハードウェアは、信号入出力部(I/O)、CPU(Central Processing Unit)やDSP(Digital Signal Processor)などの信号処理LSI、フレームバッファ(メモリ)から構成される一般的な映像処理機器やコンピュータ等により容易に実現できるため、図示は省略する。
【００５０】
以上のような技術により、複数の画像フレームを合成することにより不要な折返し成分を除去して高解像度化を行う装置において、少なくとも２枚のフレーム画像があれば、１次元方向の２倍の高解像度化行う画像信号処理を実現できる。
【００５１】
図17を用いて、本発明と上記従来技術の動作の違いを説明する。同図(a)において、フレーム#1(1701)からフレーム#5(1705)の間に、被写体が右方向に移動するような入力画像を用意する。この際、同図(b)に示すように、各フレームにおけるサンプリング位相を見ると、フレーム#1(1701)とフレーム#2(1702)の間では対応画素の位置が1/4画素(=π/2)ずれており、フレーム#1(1701)とフレーム#3(1703)の間では対応画素の位置が1画素(=2π)ずれており、フレーム#1(1701)とフレーム#4(1704)の間では対応画素の位置が5/4画素(=5π/2)ずれており、フレーム#1(1701)とフレーム#5(1705)の間では対応画素の位置が2画素(=4π)ずれているように、意図的に被写体を移動させる。このとき、各フレーム上の信号に含まれるそれぞれの折返し成分の位相は、フレーム#1(1701)上の信号に含まれる折返し成分の位相を基準にして、同図(c)のように表すことができる。この入力画像(a)に対して2倍の高解像度化を行う場合、上記従来技術では、フレーム#1(1701)からフレーム#5(1705)の中のどの3フレームを用いても折返し成分のベクトル和を0にすることができないため、高解像度化は実現できない。一方、本実施例を用いれば、隣接する２フレーム(例えば、フレーム#1(1701)とフレーム#2(1702))を用いて折返し成分のベクトル和を0にできるため、高解像度化を実現できる。すなわち、同図(a)の入力画像をテストパターンとして用いることにより、本実施例の動作状況を確認することができる。
【実施例７】
【００５２】
上記では２フレームの信号を用いて２倍の高解像度化を説明したが、同様にｎフレーム(ｎは２以上の整数)の信号を用いてｎ倍の高解像度化を実現できる。この際に、図９(a)に示したように、原成分の和のRe軸=1、原成分の和のIm軸=0、の条件とともに、もとのサンプリング周波数(fs)の1〜(n-1)倍の周波数からそれぞれ折り返された(ｎ−１)個の折返し成分のベクトル和をそれぞれ0と置いて、連立方程式を解けばよい。以下、図１８と図１９を用いて上記を詳細に説明する。
【００５３】
図１８に、ｎフレーム(ｎは２以上の整数)の信号を用いてｎ倍の高解像度化する装置の実施例を示す。同図において、まず位置推定部(1801)により、入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、入力されたフレーム#2〜フレーム#n上の対応する画素の位置を推定し、位相差θ1(1802-1)〜位相差θ(n-1)(1802-(n-1))を求める。次に、動き補償・アップレート部(1806)のアップレート器(1803-0)〜(1803-(n-1))により、各位相差θの情報を用いてフレーム#2〜フレーム#nを動き補償してフレーム#1と位置を合わせるとともに、各フレームの画素数をそれぞれn倍に増して高密度化する。位相シフト部(1807)では、この高密度化したデータの位相を一定量だけシフトして、信号Si0〜Si(n-1)とする。ここで、データの位相を一定量だけシフトする手段として、π/2位相シフト器(1805-0)〜(1805-(n-1))を用いることができる。また、各π/2位相シフト器で生じる遅延を補償するために、遅延器(1804-0)〜(1804-(n-1))により高密度化した各フレームの信号を遅延させて、信号Sr0〜Sr(n-1)とする。折返し成分除去部(1808)では、これらの信号Si0〜Si(n-1)、Sr0〜Sr(n-1)、位相差θ1〜θ(n-1)を用いて折返し成分除去のための演算を行い、出力を得る。なお、位置推定部(1801)は、上記従来技術をそのまま用いて実現することができる。また、動き補償・アップレート部(1806)、位相シフト部(1807)については、図５〜図８に示した内容をもとに、図中の周波数をfsからfs*n/2に変更することによって容易に類推して実現可能なため、図示は省略する。なお、位相シフト部(1807)にて、fs*n/2の周波数の利得が零点になって折返し歪を除去できない場合は、fs*n/2の周波数の利得が零点になる遮断フィルタを用いたほうがよい。この遮断フィルタは、遅延器(1804-0)〜(1804-(n-1))の位置に挿入してもよいが、折返し成分除去部(1808)の出力の位置に挿入しても同様の効果が得られることは明らかである。
【００５４】
図１９に、折返し成分除去部(1808)の動作の詳細を示す。同図(a)に、信号Si0〜Si(n-1)、Sr0〜Sr(n-1)、位相差θ1〜θ(n-1)を用いて折返し成分除去した出力を得るための計算式を示す。ここで、Ci0〜Ci(n-1)、Cr0〜Cr(n-1)は、それぞれ信号Si0〜Si(n-1)、Sr0〜Sr(n-1)に乗じる係数である。
【００５５】
同図(b)に、これらの係数Ci0〜Ci(n-1)、Cr0〜Cr(n-1)を求めるための計算式を示す。同計算式は、左辺、右辺ともにマトリクス形式になっており、上から2行ごとに、原成分、サンプリング周波数(fs)の成分、サンプリング周波数(fs)の2倍の成分、以下同様に、サンプリング周波数(fs)の(n-1)倍までの成分を示しており、各1行目(奇数行)はRe軸、各2行目(偶数行)はIm軸の各成分を示している。同計算式の左辺のマトリクスは、原成分のRe軸の和が１であり、その他の成分はすべて０であることを示している。同計算式の右辺はマトリクスの積演算になっている。右辺の左側のマトリクスは、左から2列ごとに、フレーム#1のサンプリング位相(基準)、フレーム#2とフレーム#1とのサンプリング位相差、以下同様に、フレーム#nとフレーム#1のサンプリング位相差に応じて長さ1のベクトルを回転させることを示しており、各1列目(奇数列)はRe軸、各2列目(偶数列)はIm軸にそれぞれ長さ1のベクトルを射影した際の値を示している。ここで、上から2行ごとに、サンプリング周波数に比例してサンプリング位相差(回転角)が大きくなる特徴がある。右辺の右側のマトリクスは求めたい係数である。すなわち、同図(b)に示す計算式は、不要な折返し成分を除去して原成分のRe軸のみを抽出するために、フレーム#1〜フレーム#nの各成分に適切な係数を乗じてベクトル和をとる、ということを示している。従って、同図(b)の逆マトリクス演算によって係数Ci0〜Ci(n-1)、Cr0〜Cr(n-1)を求め、その係数を同図(a)に代入して演算することによって不要な(n-1)個の折返し成分を除去することができ、n倍の高解像度化を実現できる。この際、n=2とおけば、図１８に示した構成は図１に示した構成と一致し、図１９に示した計算式は図９に示した計算式と一致する。また同様に、図１４、図１５、図１６に示した実施例(フローチャート)の入力フレーム数を２からｎに容易に拡張可能なため、ｎ倍の高解像度化に対応したフローチャートの図示は省略する。
【００５６】
なお、上記では水平方向の高解像度化を例に挙げて説明したが、本発明はこれに限定されるわけではなく、垂直方向や斜め方向の高解像度化に適用することが可能である。例えば、本発明をインタレース-プログレッシブ走査変換(I-P変換)に適用することにより、2枚のフィールド画像から1枚のフレーム画像を生成することができる。すなわち、フィールド画像を「走査線数が1/2のフレーム画像」と見なして本発明を適用することにより、静止画・動画に関わらず、画像1枚あたりの走査線数を2倍(すなわち、垂直方向の解像度を２倍)にした出力画像を得ることができる。また、水平・垂直方向を組み合わせた2次元の高解像度化にも容易に拡張可能である。
【００５７】
更に、上記実施例では、画像信号処理装置として、画像表示装置を例にして説明したがこれに限られるものではない、例えば、ＤＶＤプレーヤーやＨＤＤプレーヤーにも同様に適用でき、更には１セグ放送を受信するための携帯画像表示端末（例えば携帯電話）にも適用できることは言うまでも無い。また画像フレームとしては、テレビジョン放送信号以外の信号の画像フレームを用いてもよい。例えばインターネットを介して送信されるストリーミング画像や、ＤＶＤプレーヤーやＨＤＤプレーヤーから再生された画像に対しても、同様に本発明は適用できる。
【図面の簡単な説明】
【００５８】
【図１】本発明に係る第１の実施例の説明図である。
【図２】一般的な高解像度化画像信号処理の動作を説明した図である
【図３】従来技術の動作を説明した図である。
【図４】本発明に係る第１の実施例の動作を説明した図である。
【図５】本発明に係る第１の実施例の説明図である。
【図６】本発明に係る第１の実施例の説明図である。
【図７】本発明に係る第１の実施例の説明図である。
【図８】本発明に係る第１の実施例の説明図である。
【図９】本発明に係る第１の実施例の説明図である。
【図１０】本発明に係る第２の実施例の説明図である。
【図１１】本発明に係る第３の実施例の説明図である。
【図１２】本発明に係る第３の実施例の説明図である。
【図１３】本発明に係る第３の実施例の説明図である。
【図１４】本発明に係る第４の実施例の説明図である。
【図１５】本発明に係る第５の実施例の説明図である。
【図１６】本発明に係る第６の実施例の説明図である。
【図１７】本発明と従来技術の動作の違いを説明した図である。
【図１８】本発明に係る第７の実施例の説明図である。
【図１９】本発明に係る第７の実施例の説明図である。
【符号の説明】
【００５９】
101,1801…位置推定部；102,211,1802…位相差θ；103,104,1803…アップレート器；105,107,1002,1804…遅延器；106,108,1805…π/2位相シフト器；109,1007,1103…係数決定器；110,111,112,113,1003,1006,1102…乗算器；114, 1001,1008,1104…加算器；115,1806…動き補償・アップレート部；116,1009,1807…位相シフト部；117,1010,1808…折返し成分除去部；201,202,203,206,1701,1702,1703,1704,1705…フレーム；204…移動；205…水平線；207…動き補償；208,212…画素；209,210…サンプリング位相；301,302,303,401,402…原成分；304,305,306,405,406…折返し成分；403,404…π/2位相シフト後の原成分；407,408…π/2位相シフト後の折返し成分；1004…減算器；1005…ヒルベルト変換器；1101…補間ローパスフィルタ；1105…補助的画素補間部。
【特許請求の範囲】
【請求項１】
画像信号処理装置において、
ｎ枚(ｎは２以上の整数)の画像フレームが入力される入力部と、
前記入力されたｎ枚の画像フレームを合成することにより、画像フレームを構成する画素数をｎ倍に増加して出力画像フレームを得るための解像度変換部と、
を備えることを特徴とする画像信号処理装置。
【請求項２】
請求項１記載の画像信号処理装置において、前記解像度変換部は、
基準となる前記入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定する位置推定部と、
前記サンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数をｎ倍に増加する動き補償・アップレート部と、
前記画素数が増加された各画像フレームの画像データを所定量位相シフトする位相シフト部と、
前記サンプリング位相差の情報を用いて係数を決定する係数決定部と、
前記位相シフトの前後の各画像データに前記係数を乗じて加算することにより(ｎ−１)個の折返し成分を除去して出力する折返し成分除去手段を備えたことを特徴とする画像信号処理装置。
【請求項３】
請求項２記載の画像信号処理装置において、前記解像度変換部は、更に、画素補間により入力画像フレームの画像データを増加する補助的画素補間部を備え、前記の係数決定部にて係数を決定できないときに、前記折返し成分を除去した結果の代わりに前記補助的画素補間部の結果を出力するように構成したことを特徴とする画像信号処理装置。
【請求項４】
画像信号を高解像度化するための方法において、
ｎ枚(ｎは２以上の整数)の画像フレームが入力するステップと、
前記入力されたｎ枚の画像フレームを合成することにより、画像フレームを構成する画素数をｎ倍に増加して出力画像フレームを得るステップと、
を備えることを特徴とする画像信号の高解像度化方法。
【請求項５】
請求項４記載の画像信号の高解像度化方法において、前記出力画像フレームを得るステップは、
基準となる前記入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定するステップと、
前記サンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数をｎ倍に増加するステップと、
前記画素数が増加された各画像フレームの画像データを所定量位相シフトするステップと、
前記サンプリング位相差の情報を用いて係数を決定するステップと、
前記位相シフトの前後の各画像データに前記係数を乗じて加算することにより(ｎ−１)個の折返し成分を除去して出力するステップと、
を含むことを特徴とする画像信号の高解像度化方法。
【請求項６】
請求項５記載の画像信号の高解像度化方法において、更に、画素補間によって入力画像フレームの画像データを増加する補助的画素補間ステップを含み、前記係数を決定するステップにて係数を決定できないときに、前記折返し成分を除去した結果の代わりに前記補助的画素補間ステップの結果を出力することを特徴とする画像信号の高解像度化方法。
【請求項７】
画像信号を高解像度化するためのプログラムにおいて、
ｎ枚(ｎは２以上の整数)の画像フレームを入力するタスクと、
前記入力されたｎ枚の画像フレームを合成することにより、画像フレームを構成する画素数をｎ倍に増加して出力画像フレームを得るためのタスクと、
を画像処理装置に実行させることを特徴とする画像信号を高解像度化するためのプログラム。
【請求項８】
請求項７記載のプログラムにおいて、前記出力画像フレームを得るタスクは、
ｎ枚(ｎは２以上の整数)の画像フレームを入力するタスクと、
基準となる前記入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定するタスクと、
前記サンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数をn倍に増加するタスクと、
前記画素数が増加された各画像フレームの画像データを所定量位相シフトするタスクと、
前記サンプリング位相差の情報を用いて係数を決定するタスクと、
前記位相シフトの前後の各画像データに前記係数を乗じて加算することにより(ｎ−１)個の折返し成分を除去して出力するタスクと、
を含むことを特徴とするプログラム。
【請求項９】
請求項８記載のプログラムにおいて、更に、画素補間により入力画像フレームの画像データを増加する補助的画素補間タスクを含み、前記係数を決定するためのタスクにて係数を決定できないときに、前記折返し成分を除去した結果の代わりに前記補助的画素補間タスクの結果を出力することを特徴とするプログラム。
【請求項１０】
画像表示装置において、
第１画像フレームと、第の画像フレームとを入力する入力部と、
前記入力された第１画像フレーム及び第２画像フレームのそれぞれの画素数を増加させる画素数変換部と、
前記画素数が増加された第１及び第２画像フレームの位相をそれぞれπ／２シフトするとともに、該位相がシフトされた第１及び第２画像フレームと位相がシフトされる前の第１及び第２画像フレームとを加算して、入力画像フレームに含まれる折り返し成分を除去する折り返し成分除去部と、
該折り返し成分除去部からの画像フレームに基づき画像の表示を行う表示部と、
を備えることを特徴とする画像表示装置。
【請求項１１】
請求項１０記載の画像表示装置において、前記第１及び第２画像フレームが動画像の画像フレームであることを特徴とする画像表示装置。
【請求項１２】
請求項１０記載の画像表示装置において、更に、前記位相がシフトされた第１及び第２画像フレームと位相がシフトされる前の第１及び第２画像フレームのそれぞれに対応する係数を生成するための係数生成部と、該係数生成部で生成された係数を前記位相シフト前後の第１及び第２画像フレームに乗算する乗算部とを備え、
前記係数生成部は、前記第１画像フレームと前記第２画像フレームとのサンプリング位相差に基づき前記係数を生成することを特徴とする画像表示装置
【請求項１３】
請求項１０に記載の画像表示装置において、前記第１及び第２画像フレームは、テレビジョン放送信号に含まれるフレームであることを特徴とする画像表示装置。
【請求項１４】
請求項１０記載の画像表示装置において、前記画素数変換部は、前記第１及び第２画像フレームの画素数を２倍にすることを特徴とする画像表示装置。
【請求項１】
画像信号処理装置において、
ｎ枚(ｎは２以上の整数)の画像フレームが入力される入力部と、
前記入力されたｎ枚の画像フレームを合成することにより、画像フレームを構成する画素数をｎ倍に増加して出力画像フレームを得るための解像度変換部と、
を備えることを特徴とする画像信号処理装置。
【請求項２】
請求項１記載の画像信号処理装置において、前記解像度変換部は、
基準となる前記入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定する位置推定部と、
前記サンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数をｎ倍に増加する動き補償・アップレート部と、
前記画素数が増加された各画像フレームの画像データを所定量位相シフトする位相シフト部と、
前記サンプリング位相差の情報を用いて係数を決定する係数決定部と、
前記位相シフトの前後の各画像データに前記係数を乗じて加算することにより(ｎ−１)個の折返し成分を除去して出力する折返し成分除去手段を備えたことを特徴とする画像信号処理装置。
【請求項３】
請求項２記載の画像信号処理装置において、前記解像度変換部は、更に、画素補間により入力画像フレームの画像データを増加する補助的画素補間部を備え、前記の係数決定部にて係数を決定できないときに、前記折返し成分を除去した結果の代わりに前記補助的画素補間部の結果を出力するように構成したことを特徴とする画像信号処理装置。
【請求項４】
画像信号を高解像度化するための方法において、
ｎ枚(ｎは２以上の整数)の画像フレームが入力するステップと、
前記入力されたｎ枚の画像フレームを合成することにより、画像フレームを構成する画素数をｎ倍に増加して出力画像フレームを得るステップと、
を備えることを特徴とする画像信号の高解像度化方法。
【請求項５】
請求項４記載の画像信号の高解像度化方法において、前記出力画像フレームを得るステップは、
基準となる前記入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定するステップと、
前記サンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数をｎ倍に増加するステップと、
前記画素数が増加された各画像フレームの画像データを所定量位相シフトするステップと、
前記サンプリング位相差の情報を用いて係数を決定するステップと、
前記位相シフトの前後の各画像データに前記係数を乗じて加算することにより(ｎ−１)個の折返し成分を除去して出力するステップと、
を含むことを特徴とする画像信号の高解像度化方法。
【請求項６】
請求項５記載の画像信号の高解像度化方法において、更に、画素補間によって入力画像フレームの画像データを増加する補助的画素補間ステップを含み、前記係数を決定するステップにて係数を決定できないときに、前記折返し成分を除去した結果の代わりに前記補助的画素補間ステップの結果を出力することを特徴とする画像信号の高解像度化方法。
【請求項７】
画像信号を高解像度化するためのプログラムにおいて、
ｎ枚(ｎは２以上の整数)の画像フレームを入力するタスクと、
前記入力されたｎ枚の画像フレームを合成することにより、画像フレームを構成する画素数をｎ倍に増加して出力画像フレームを得るためのタスクと、
を画像処理装置に実行させることを特徴とする画像信号を高解像度化するためのプログラム。
【請求項８】
請求項７記載のプログラムにおいて、前記出力画像フレームを得るタスクは、
ｎ枚(ｎは２以上の整数)の画像フレームを入力するタスクと、
基準となる前記入力画像フレーム上の画像データと他の入力画像フレーム上の対応する各画像データを用いてサンプリング位相差を推定するタスクと、
前記サンプリング位相差の情報を用いて各入力画像フレームの画像データを動き補償するとともに画素数をn倍に増加するタスクと、
前記画素数が増加された各画像フレームの画像データを所定量位相シフトするタスクと、
前記サンプリング位相差の情報を用いて係数を決定するタスクと、
前記位相シフトの前後の各画像データに前記係数を乗じて加算することにより(ｎ−１)個の折返し成分を除去して出力するタスクと、
を含むことを特徴とするプログラム。
【請求項９】
請求項８記載のプログラムにおいて、更に、画素補間により入力画像フレームの画像データを増加する補助的画素補間タスクを含み、前記係数を決定するためのタスクにて係数を決定できないときに、前記折返し成分を除去した結果の代わりに前記補助的画素補間タスクの結果を出力することを特徴とするプログラム。
【請求項１０】
画像表示装置において、
第１画像フレームと、第の画像フレームとを入力する入力部と、
前記入力された第１画像フレーム及び第２画像フレームのそれぞれの画素数を増加させる画素数変換部と、
前記画素数が増加された第１及び第２画像フレームの位相をそれぞれπ／２シフトするとともに、該位相がシフトされた第１及び第２画像フレームと位相がシフトされる前の第１及び第２画像フレームとを加算して、入力画像フレームに含まれる折り返し成分を除去する折り返し成分除去部と、
該折り返し成分除去部からの画像フレームに基づき画像の表示を行う表示部と、
を備えることを特徴とする画像表示装置。
【請求項１１】
請求項１０記載の画像表示装置において、前記第１及び第２画像フレームが動画像の画像フレームであることを特徴とする画像表示装置。
【請求項１２】
請求項１０記載の画像表示装置において、更に、前記位相がシフトされた第１及び第２画像フレームと位相がシフトされる前の第１及び第２画像フレームのそれぞれに対応する係数を生成するための係数生成部と、該係数生成部で生成された係数を前記位相シフト前後の第１及び第２画像フレームに乗算する乗算部とを備え、
前記係数生成部は、前記第１画像フレームと前記第２画像フレームとのサンプリング位相差に基づき前記係数を生成することを特徴とする画像表示装置
【請求項１３】
請求項１０に記載の画像表示装置において、前記第１及び第２画像フレームは、テレビジョン放送信号に含まれるフレームであることを特徴とする画像表示装置。
【請求項１４】
請求項１０記載の画像表示装置において、前記画素数変換部は、前記第１及び第２画像フレームの画素数を２倍にすることを特徴とする画像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２００７−３２４７８９（Ｐ２００７−３２４７８９Ａ）
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願番号】特願２００６−１５０８７５（Ｐ２００６−１５０８７５）
【出願日】平成１８年５月３１日（２００６．５．３１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成１９年１２月１３日（２００７．１２．１３）
【国際特許分類】
【出願日】平成１８年５月３１日（２００６．５．３１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]