説明

運動補償されたビデオの空間アップコンバート

【課題】ビデオについて運動補償されたビデオの空間アップコンバートを実行するための方法を提供する。
【解決手段】連続するフィールドにおける水平サンプルが、空間的内挿技法を用いて最初に内挿される。運動補償されたインターレース解除技法を用いた対応する垂直サンプルの内挿が、これに続く。そのような技法は、適応再帰的な運動補償されたビデオの空間アップコンバート、または、一般化されたサンプリング定理を用いた適応再帰的な運動補償されたビデオの空間アップコンバートを含むことができる。本発明は、例えば携帯電話のような携帯装置上でキャプチャされたビデオを、その後テレビに十分に表示できるよう、コンバートするために用いることができる。

【発明の詳細な説明】
【技術分野】
【0001】
発明の分野
本発明は一般的に、ビデオ処理に関する。より詳細には、本発明は、ビデオ処理において運動補償を用いたビデオの空間アップコンバートに関する。
【背景技術】
【0002】
発明の背景
ビデオの空間アップコンバート(V−SUC:video spatial up−conversion)は、ビデオ解像度の向上としても、また知られている。V−SUCは、水平及び垂直の両方の空間的内挿を通じて、任意のビデオシーケンスにおける空間解像度を向上させるために用いられる。ビデオの空間アップコンバートは、ビデオ信号が1つのフォーマットから別のフォーマットへと変換されるようなビデオフォーマット変換(VFC:video format conversion)の、1つの態様である。VFCにおける2つの典型的な態様は、ビデオスキャン速度アップコンバートとしても知られているようなビデオのインターレース解除(video deinterlacing)と、ビデオピクチャ速度アップコンバートである。インターレース解除は、垂直方向における内挿を通じた、ビデオ信号の空間解像度の向上を伴う。ビデオピクチャ速度アップコンバートは、時間的内挿を通じて、ビデオ信号におけるピクチャ速度(フレーム速度としても知られている)を向上させる。
【0003】
ビデオの空間アップコンバートは、携帯電話でキャプチャされたビデオのテレビ出力のためには必須である。NTSCテレビの典型的な空間解像度は、640×480ないしは800×576である。対照的に、従来の携帯電話によってキャプチャされたビデオは、典型的にはSIF(320×240)、CIF(352×288)、またはQCIF(176×144)としての空間解像度を有する。したがって、携帯電話でキャプチャされたビデオを正規のテレビ装置に表示する前に、その空間解像度を向上させる必要がある。ビデオの空間アップコンバートにおける別の例としては、標準解像度テレビ(SDTV: standard definition TV)の信号を高解像度テレビ(HDTV: high definition TV)装置において表示することが含まれる。
【0004】
ビデオの空間アップコンバートは主に、空間解像度向上のプロセスにおいて、2つの仕事を全うする必要がある。アンチエイリアシングと、過度に滑らかなアーティファクトを克服するための、高空間周波数発生である。
【0005】
デジタルビデオ信号は、元の連続的ビデオ信号の3次元(3D)サンプリングを通じて得られる。例えば、Δx,Δy,及びTによって、3Dサンプリンググリッドを指定するような、それぞれ水平方向、垂直方向、及び時間方向においてのサンプリング距離を表すことができる。この状況において、デジタルビデオ信号のフーリエスペクトルは、サンプリング周波数fsx,fsy,及びfst,によって指定される3Dサンプリンググリッドに沿った、連続的ビデオ信号のフーリエスペクトルの複数のレプリケーションの集合体である。ここにおいて、fsx=1/(Δx),fsy=1/(Δy),及びfst=1/Tである。座標(0,0,0)に中心があるレプリケーションは、ベースバンドスペクトルとも言われる。元の連続的信号が帯域制限され、そしてfmaxx,fmaxy,及びfmaxtと表示されるような各々の方向における最大周波数が、以下の制限を、すなわちfmaxx≦fsx/2=1/(2Δx),fmaxy≦fsy/2=1/(2Δy),及びfmaxt≦fst/2=1/(2T)を満たす場合、その連続的信号を、その3Dサンプルから完全に復元することができる。そして、理想的な内挿フィルタリングはベースバンドスペクトルを全て通すことに対応し、その他のレプリケーションはゼロ設定される。上述の制限が破られる場合には、隣接したスペクトルレプリケーションがお互いに重なり、エイリアシングを生じる。
【0006】
連続的ビデオ信号がサンプリングされる場合、各々のサンプリング周波数の半分よりも大きい全ての周波数が除去され、エイリアシングの問題を回避できるようにと、アンチエイリアシングフィルタリングが最初に適用される。しかしながら、カメラによってキャプチャされるプログレッシブスキャンされたビデオに対しては、そうはならない。垂直方向及び時間方向の両方におけるサンプリングは、カメラを用いて統合されるスキャンフォーマットの一部であることが知られている。こうして、カメラの光学経路においては所望のアンチエイリアシングが要求されるのであって、それは極端に困難であり、また実現するために高額の費用がかかる。したがって、図1において示される通りfy−ft周波数空間において通常はエイリアシングが存在する。fy−ft周波数空間において、スペクトルの方向性が垂直の運動により決定される一方、スペクトルサポートの範囲はそのシーンの垂直の詳細により決定される。
【0007】
デジタルビデオ信号がアップサンプリングされる場合、理想的な内挿フィルタは、エイリアシング部分を可能な限り抑えつつ、エイリアシングすることなく、ベースバンドスペクトルを全て通すべきである。図1(b)において示す通り、垂直の運動が存在する場合、内挿のための理想的な低域通過フィルタは、エイリアシングすることなく、効率的にベースバンドスペクトルを抽出するために、運動補償されるべきである。
【0008】
対照的に、水平サンプリングは画像取得プロセスの後に実現される。この理由により、サンプリングを行う前において、水平方向にアンチエイリアシングフィルタリングを実装可能である。これは、ビデオの空間アップコンバートのために、水平方向及び垂直方向における内挿を別々に扱うべきであるということを意味含んでいる。高周波数成分はサンプリングプロセスにおいてフィルタ除去されるか、またはアップサンプリングプロセスにおけるエイリアシングに起因して抑えられるので、空間アップコンバート後のビデオ信号は高周波数成分を欠いており、ぼやけや過度に滑らかなアーティファクトを生じる。空間的内挿の間の高周波数成分を高めるために、多くの空間フィルタが設計されてきた。
【0009】
ビデオの空間アップコンバートのための従来の技法は主として、フレーム毎を基礎としての空間的内挿を通じて実現されてきた。この理由から、2D静止画像のための空間的内挿技法は、ビデオ信号に対する使用へと直接拡張されてきた。そこにおいて、デジタルビデオの異なったフレームにまたがっての相関は完全に無視されてきた。
【0010】
有限インパルス応答(FIR)フィルタリングを用いた空間的内挿は、最も一般的に使われている技法である。そこにおいては、静止画像の水平方向及び垂直方向の両方において、画像に依存しないFIRフィルタが適用される。典型的な例としては、双線形フィルタ、双三次フィルタ、双三次スプラインフィルタ、ガウスフィルタ、及びLanczosフィルタを含む、さまざまな内挿FIRフィルタが設計されてきた。これらFIRフィルタは、そのフィルタカーネルの長さだけでなく、もっぱら異なった通過帯域及び阻止帯域周波数によって、お互いから差別化される。これらFIRフィルタの設計は、主に、エイリアスを含まないベースバンドスペクトルを全て通し、エイリアシングスペクトル成分を抑え、そしてエッジのような、画像の詳細を維持するために、高周波数を高めることを目標としたものである。言及されている通り、適切なアンチエイリアシングは通常、水平サンプリングに先立って適用されるのであり、しかしながら垂直サンプリングにおいて適用されるのではないのであるが、水平内挿と垂直内挿のために異なったフィルタを用いるということが示唆されている。
【0011】
画像コンテンツ依存のフィルタもまた、画像の空間的内挿のために開発されてきた。そのようなフィルタとしては、ウィナーフィルタと呼ばれるものがある。ウィナーフィルタは、最小の二乗平均誤差(MSE:mean square error)に目標を置いた線形フィルタである。これらの種類のフィルタにおける係数は局所的画像コンテンツから得られるのであって、したがって局所的画像特性に適合する。それ以外の画像の空間的内挿技法もまた、従来から知られている。これらの技法には、画像コンテンツにおける異なった解像度にまたがった幾何学的二重性を用いるNew Edge−Directed Interpolation (NEDI)や、最適な復元理論に基づいており、そして任意の因子による画像の内挿を可能とするために用いることが可能な2次適応(A Qua: Adaptive Quadratic)画像内挿が含まれる。より長いFIRフィルタカーネル、または画像に依存するフィルタがしばしば好ましいということが示されてきた。
【0012】
それにも関わらず、ビデオの空間アップコンバートのためにフレーム毎を基礎としての空間的内挿を用いる技法に対しては、時間方向における運動の軌道に沿っての相関が広範囲に亘って無視されている。NEDIはビデオの空間アップコンバートにおいて用いるために、運動補償を考慮に入れることにより拡張されてきた、ということが知られている。しかしながら、この運動補償の考慮は、特定の概略的フレームワークに制限されている。加えて、運動補償は「超解像」(最近になって出現した応用であり、任意のビデオ信号の空間解像度を向上させることも狙ったものである)のために考慮されてきた。しかしながら、超解像の目標は、空間解像度の向上した所定のビデオシーケンスから1つまたは限られたセットの画像を発生させることに置かれている、という意味で、超解像とビデオの空間アップコンバートとはかなり異なっている。対照的に、ビデオの空間アップコンバートは、ビデオシーケンスにおけるあらゆるピクチャの空間解像度を向上させることを狙ったものである。効率的なビデオの空間アップコンバート技法においては、現在のフレームの解像度を向上させるために限られた数の隣接フレームを用いることが許されるのみであって、計算の複雑性は合理的に低いままで維持されるべきである。したがって、運動補償されたビデオの空間アップコンバートの概念が大々的に検討されることはなかった。
【発明の概要】
【課題を解決するための手段】
【0013】
発明の概要
本発明は、ビデオの空間アップコンバートとビデオのインターレース解除との間の関連性を利用することにより、効率的な運動補償されたビデオのアップコンバート技法を設計することを含む。具体的に言えば、ビデオの空間アップコンバートのための2つの空間的方向における内挿が異なって扱われ、そして運動補償された技法が垂直方向における内挿のために用いられるような発想を、本発明は含む。
【0014】
本発明は、ビデオの空間アップコンバートのための空間解像度向上のプロセスに伴う、2つの主要な課題に取り組む。詳細には、本発明は、アンチエイリアシングと、高空間周波数発生の両方に取り組む。それは過度に滑らかなアーティファクトを克服するために役立つのであって、従来のアプローチを採用していれば、そのようなアーティファクトが存在することになるだろう。本発明を用いれば、水平及び垂直の両方向において、2のスケーリングパラメータでビデオ解像度が向上する。
【0015】
本発明におけるこれらの、そして他の利点と特徴とは、その編成や動作方法と共に、以下に続く詳細な説明を添付図面と組み合わせた時に、明らかとなるであろう。そこにおいて、同様の要素は、以下に説明される複数の図面の全般に亘って同様の数字を有している。
【図面の簡単な説明】
【0016】
【図1(a)】図1(a)は、垂直運動を伴うプログレッシブスキャンされたビデオに対するfy−ft周波数空間の表現である。
【図1(b)】図1(b)は、垂直運動を伴わない、プログレッシブスキャンされたビデオに対するfy−ft周波数空間の表現である。
【図2】図2は、ビデオのインターレース解除に対する3次元サンプリンググリッドの表現である。
【図3】図3は、ビデオの空間アップコンバートに対する3次元サンプリンググリッドの表現である。
【図4(a)】図4(a)はビデオのインターレース解除を用いた、運動補償されたサンプルを用いた垂直の内挿の例を示す、表現である。
【図4(b)】図4(b)は、ビデオの空間アップコンバートを用いた、運動補償されたサンプルを用いた垂直の内挿の例を示す、表現である。
【図5】図5は、ビデオの空間アップコンバートにおける4種類のサンプルの表現である。
【図6】図6は、一般化されたサンプリング定理(GST:Generalized Sampling Theorem)を用いた運動補償された内挿の表現である。
【図7】図7は、本発明の本質を組み込むことが可能な電子装置の斜視図である。
【図8】そして図8は、図7の電子装置における回路の概略的表現である。
【発明を実施するための形態】
【0017】
好ましい実施形態の詳細な説明
本発明は、ビデオの空間アップコンバートとビデオのインターレース解除との間の緊密な関連性を取り扱う。このことは重要である。なぜならば、ビデオフォーマット変換(VFC)におけるこれら2つの態様の間での類似性が一旦明らかにされれば、ビデオのインターレース解除の領域における成功を、ビデオの空間アップコンバートの領域に直接転用することができるからである。詳細には、運動補償されたビデオのアップコンバート技法は、各々の運動補償されたビデオのインターレース解除アルゴリズムを拡張することにより、容易に作り出すことができる。
【0018】
ビデオにおけるユニークかつ重要な特性とは、運動である。ビデオの空間解像度向上という課題において、運動の軌道に沿っての相関を考慮することは有益である。しかしながら、運動補償されたビデオの空間アップコンバート技法は、優れた質を有する空間解像度の向上したビデオの構成において、時間的相関を用いずにそのような相関を考慮することよりも、更に有利である。この事実は、ビデオのインターレース解除における運動補償の利点と、ビデオの空間アップコンバート及びビデオのインターレース解除の間での緊密な関連性と、によってサポートされている。
【0019】
本発明は、ビデオの空間アップコンバートとビデオのインターレース解除との間の関連性を利用することにより、効率的な運動補償されたビデオのアップコンバート技法を設計するという概念を含む。具体的に言えば、ビデオの空間アップコンバートのための2つの空間的方向における内挿が異なって扱われ、そして運動補償された技法が垂直方向における内挿のために用いられるような発想を、本発明は含む。ビデオの空間アップコンバートは、携帯ビジュアルコンテンツのテレビ出力のために要求される。携帯ビジュアルコンテンツサービスと伝統的テレビビジネスとの結合が急速に進んでおり、消費者の電子機器市場においては、効率的なビデオの空間アップコンバートへの要求が厳しくなる一方である。
【0020】
運動補償されたビデオの空間アップコンバートのためには、正確な運動ベクトルが要求される。ビデオ予測符号化のための運動は、ビデオフォーマット変換(VFC)のための運動とは異なると言うことに注意すべきである。ビデオ予測符号化において、あるブロックにおける運動ベクトルが隣接ブロックにおける運動ベクトルと相関している必要はない。他方、ビデオフォーマット変換に対しては、ある対象に属する隣接ブロックにおける運動ベクトルがお互いに相関しているべきであるような、真の運動が識別されることになっている。そのような運動は、ビデオのインターレース解除またはビデオのフレーム速度アップコンバートのために実装される運動評価作業と同様のやり方で、ビデオの空間アップコンバートのために、得ることが可能である。運動補償されたビデオの空間アップコンバート技法は、その運動評価の必要性に起因して、運動補償されない技法よりも多くの計算資源を必要とする。しかしながら、運動評価は従来から知られており、ビデオのインターレース解除のために用いることが可能である。したがって、ビデオの空間アップコンバートにおいて運動評価のためにかかる追加的コストは限定的なものである。
【0021】
本発明に従えば、ビデオのインターレース解除は、図2において示される通り、ビデオの垂直解像度を向上させるために用いられる。対照的に、ビデオの空間アップコンバートは、水平及び垂直の両方のビデオ解像度を向上させるために用いられる。このことは図3において表現されている。
【0022】
ビデオの空間アップコンバートに対しては、図3において描写されている通り、元のビデオ信号が空間的距離(Δx’,Δy’)をおいてサンプリングされるならば、その3Dサンプリンググリッドを、同一の時間的サンプリング距離を有し、しかしながら空間的サンプリング距離はそれぞれΔx=Δx’/2及びΔy=Δy’/2を有するようなグリッドへと、転換することができる。水平解像度が最初に向上される場合、すなわちFIR内挿フィルタリングの使用を通じて水平サンプルが最初に内挿される場合、その内挿された水平サンプルを、垂直解像度の向上のために、再帰的に用いることができる。図2におけるインターレースされたビデオに対する3Dサンプリンググリッドと比較して、図3におけるビデオの空間的アップコンバートのための垂直サンプルの内挿は、隣接フレームにおける「元の」垂直サンプリング線が、ビデオのインターレース解除シナリオのためにインターレースされるのではなく、ビデオの空間アップコンバートに対する同一の位置に配置される、ということを除いては、同様のやり方で実現可能である。したがって、ビデオの空間アップコンバートとビデオのインターレース解除との間の緊密な関連性が、3Dサンプリンググリッドの観点から確立される。
【0023】
運動補償されたインターレース解除技法は、運動補償されたサンプルを、前のフレームから(または、前のフレームと次に続くフレームとの両方から)、現在のフレームにおける内挿されるサンプルのための候補として、取得する。ここにおいて議論される例は具体的にフレームへの言及をしているのではあるが、フレーム、フレームの一部分、または他の情報コレクションを含みうるような、異なった種類のさまざまなフィールドを、本発明と組み合わせて用いることが可能であるということに注意すべきである。ビデオの空間アップコンバートとビデオのインターレース解除との間の関連性に起因して、本発明における運動補償されたビデオのインターレース解除技法は、ビデオの空間アップコンバートを使用するためにと、修正及び拡張可能であるべきである。
【0024】
以下は、本発明における1つの実施形態の実装を示す単純な例である。図4(a)において示されるようなビデオのインターレース解除に対して、ビデオ信号が一様な垂直速度v=2kΔy/T (但しk∈Z)を有する対象を含むだけである場合には、内挿されるサンプルを、単純に前のフレームからの運動補償されたサンプルによって置き換えることができる。同じように、図4(b)において示されるビデオの空間アップコンバートに対しては、ビデオ信号が垂直速度v=(2k+1)Δy/T (但しk∈Z)を含むのみである場合には、内挿されるサンプルを、同じく単純に、前のフレームからの運動補償されたサンプルによって置き換えることができる。ビデオシーケンスの運動の軌道に沿っての時間的相関を考慮するので、運動補償の使用はまた、ビデオのインターレース解除において運動補償作業が演じる役割と同様、ビデオの空間アップコンバートにおいても有益である。
【0025】
一般的に、本発明に従っての運動補償されたビデオの空間アップコンバートのための方法は、2つのステップを通じて実装することが可能である。第1のステップは、幅広い様々な空間的内挿技法を用いた水平サンプルの内挿を伴う。第2のステップは、運動補償されたインターレース解除に類似した技法の使用を通じての、垂直サンプルの内挿を伴う。垂直サンプリングがカメラによる画像取得プロセスの一部として実現される一方、水平サンプリングは画像取得プロセスの後に実装されるので、水平方向及び垂直方向における空間的内挿のために異なった方法を使用するということは、許容可能である。ビデオのインターレース解除における運動補償の成功、そしてビデオフォーマット変換(VFC)における2つの態様の間での緊密な関連性は、ビデオの空間的アップコンバートにおける運動補償の成功を暗示する。
【0026】
本発明のプロセスを実装するための異なった実施形態においては、2つのビデオインターレース解除方法が選択される。これらの方法は、特に優れた、インターレース解除されたビデオの質を実証した。これらの方法は、2つの運動補償されたビデオの空間アップコンバート技法を作り上げるために用いられる。
【0027】
アルゴリズムI:適応再帰的な、運動補償されたビデオの空間アップコンバート
【0028】
適応再帰的なビデオのインターレース解除技法から拡張して、以下のような適応再帰的な運動補償された(ARMC:Adaptive Recursive Motion Compensated)ビデオの空間アップコンバートを実装することができる:
【数1】

【0029】
全ての離散的空間座標

及び時間座標nにおいて、

は元のサンプルを、

は最初に内挿されるサンプルを、そして

は、ビデオの空間アップコンバート後に最終的に内挿されるサンプルを、それぞれ表す。
(・)Tは、ベクトル/行列の転置を表す。図5において示される通り、3次元サンプリンググリッドにおける4種類の座標が、(xmod2,ymod2)=(0,0)に対する“A”と、(xmod2,ymod2)=(1,0)に対する“B”と、(xmod2,ymod2)=(0,1)に対する“C”と、(xmod2,ymod2)=(1,1)に対する“D”と、によって指示されている。

は、

に配置されたサンプルの運動ベクトルを表す。
【0030】
任意の空間的内挿技法を、B,C,Dの地点において最初に内挿されるサンプル

を生成するために、用いてよい。水平サンプル(B)及び垂直サンプル(C及びD)の内挿のために、異なったFIRフィルタを選択することが可能である。
【0031】

は元のサンプルAに対する運動ベクトルの信頼性により決定される。
【数2】

ここで、CLIP(m1,a,m2)は下式のとおりであり、cはスカラー量である。
【0032】

は、サンプルBに対する運動の軌道に沿った固定されていないピクセルが、ビデオの空間アップコンバート後に、その水平に隣接したピクセルにおけるものと同じとなるように、選択される。
【数3】

【0033】
式(3)において、δはゼロによる除算を回避するための小さな定数であり、また以下の通りである。
【数4】

【0034】

は、サンプルCに対する運動の軌道に沿った固定されていないピクセルが、ビデオの空間アップコンバート後に、その垂直に隣接したピクセルにおけるものと同じとなるように、選択される。
【数5】

【0035】
式(4)において、δはゼロによる除算を回避するための小さな定数であり、また以下の通りである。
【数6】

【0036】

は、サンプルDに対する運動の軌道に沿った固定されていないピクセルが、ビデオの空間アップコンバート後に、その4つの斜めに隣接したピクセルにおけるものと同じとなるように、選択される。
【数7】

【0037】
式(5)において、δはゼロによる除算を回避するための小さな定数であり、また以下の通りである。
【数8】

【0038】
アルゴリズムII:適応再帰的な、一般化されたサンプリング定理(GST:Generalized Sampling Theorem)を用いたビデオの空間アップコンバート
【0039】
最大周波数fmaxを有する、連続的な帯域制限された信号は、少なくともfs=2fmaxのサンプリング周波数を用いての、その離散的サンプルから完全に復元することができる。1956年にYenが明らかにした、一般化されたサンプリング定理(GST)は、最大周波数fmaxを有する任意の帯域制限された信号は、そのN個のバラバラな、各々のセットが少なくともfs=2fmax/Nのサンプリング周波数を用いて得られるような、離散的サンプルのセットから完全に復元することができることを示した。この状況で、「バラバラであること」とは、時間/空間領域におけるシフトか、または同等に、周波数領域における位相差のことを言っている。
【0040】
図6において示される通り、垂直方向における内挿のみを考慮する場合は、運動ベクトルの垂直成分が2k (但しk∈Z)に等しくない限りにおいて、2つのバラバラなサンプルセットを、フレームnにおける高解像度サンプルの内挿のために利用することができる。1つのセットは、フレームnにおける元のサンプルで構成され、そしてもう1つのセットは、フレーム(n−1)からの運動補償されたサンプルで構成される。最大垂直周波数がfmaxy≦2fsy/2=fsy,を満たす場合、元の連続的信号は、2つのサンプルセットから厳密に復元することができるのであり、そして、再構築された信号を再サンプリングすることにより、内挿されたサンプルが更に得られる。これが、内挿においてGSTを用いる基本的発想である。
【0041】
ビデオのインターレース解除においてGSTがうまく用いられてきた。既知のインターレース解除アルゴリズム、適応再帰的GSTから拡張して、以下のような、適応再帰的な運動補償されたGSTを用いる枠組み(ARMC−GST:Adaptive Recursive Motion Compensated scheme using GST)を、ビデオの空間アップコンバートのために用いることができる。ARMC−GSTは、2ステップのアルゴリズムである。第1のステップは、水平内挿を伴う。水平方向における内挿のための、最適化されたFIRフィルタが設計される。これは、従来より理解されていた1D内挿の問題である。水平内挿を通じて、B位置におけるサンプルが得られる。第2のステップは、垂直内挿を伴う。垂直内挿は、C及びD位置におけるサンプルを得るために、以下のように実装される。
【数9】

【0042】
式(6)において、

は式(4)から得られ、

は式(5)から得られ、そして

は任意の空間的内挿技法によって得られるのであり、また以下の通りである。
【数10】

(7)
【0043】
式(7)において、

及び

,(但しk,m∈Z)は、垂直方向における、運動ベクトルの垂直成分の関数としての、2つのFIRフィルタである。FIRフィルタは、GSTを用いたビデオのインターレース解除においてのそれらの設計と厳密に同じやり方で設計することができる。その参照によって設計されるのと同様に、バラバラなサンプルの2セットからの連続的信号の復元において、fmaxy≦2fsy/2=fsyという条件が満たされるならば、各々のサンプルセットに対するエイリアシングは、2つの隣接したスペクトルレプリケーションの干渉によってのみ引き起こされる、ということが知られている。元の連続信号のスペクトルはこうして、2つのサンプルセットにおけるスペクトルの、複素数の(complex)重み付けを用いた線形結合として、閉じた形式で表現することができる。そして、再構築された連続信号の再サンプリングを通じて内挿されるサンプルが得られる。
【0044】
図7と図8とは、本発明を実装することが可能であるような、1つの代表的電子装置12を示している。図7と図8とにおいて示される電子装置12には、携帯電話が含まれる。しかしながら、本発明は如何なる種類の電子装置にも制限されるわけではなく、例えば個人用デジタル補助装置、パーソナルコンピュータ、統合メッセージ装置のような装置、及び幅広いさまざまな他の装置へと組み込むことが可能であることに注意することが重要である。本発明は、幅広いさまざまな電子装置12に組み込むことが可能であるということを、理解すべきである。
【0045】
図7及び図8における電子装置12は、筐体30、液晶ディスプレイの形でのディスプレイ32、キーパッド34、マイクロフォン36、イヤーピース38、バッテリ40、赤外線ポート42、アンテナ44、本発明の1つの実施形態に従うところではUICC(universal integrated circuit card)の形式での、スマートカード46、カードリーダ48、無線インターフェース回路52、コーデック回路54、コントローラ56、及びメモリ58を含む。コントローラ56はカメラプロセッサ116と同じユニットであっても、または異なったユニットであってもよいということに注意すべきである。メモリ58は、本発明のさまざまな実施形態におけるプライマリメモリユニット114と同じ構成要素であってもよいし、そうでなくともよい。個別の回路や素子は、全て当該技術分野において広く知られている種類のものであり、例えば携帯電話のNokia range内のものである。
【0046】
本発明は、携帯端末のためのテレビ出力システムの一部として実装することが可能である。そのようなシステムは、ハンドセットによってキャプチャされたビデオを、離れたテレビ装置において表示させることを、ユーザにとって可能とする。
【0047】
本発明は、方法ステップの一般的コンテクストにおいて説明されており、その方法ステップは、1つの実施形態においては、ネットワーク化された環境においてコンピュータにより実行される、例えばプログラムコードのようなコンピュータ実行可能な命令を含むプログラム製品によって実装することが可能である。
【0048】
一般にプログラムモジュールは、特定のタスクを実行するか、または特定の抽象データ型を実装するような、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。コンピュータ実行可能な命令、関連するデータ構造、そしてプログラムモジュールは、ここに開示される方法のステップを実行するためのプログラムコードの例を表す。そのような実行可能命令または関連するデータ構造の特定のシーケンスは、そのようなステップにおいて説明される機能を実装するための対応する振る舞いの例を表す。
【0049】
さまざまなデータベース検索ステップ、相関ステップ、比較ステップ、及び決定ステップを成し遂げるための、規則に基づくロジック及び他のロジックを用いて、標準的なプログラム技法を用いて、本発明のソフトウェア及びWEBでの実装を完成させることができる。併せて、ここで、そして請求の範囲において使われるような、「コンポーネント(構成要素)」及び「モジュール(部品)」という単語は、1以上のソフトウェアコード、及び/またはハードウェア実装、及び/またはマニュアル入力を受け付けるための機器の実装を網羅することを意図している、ということに注意すべきである。
【0050】
本発明の実施形態についての前述の説明は、描写と記述の目的で与えられたものである。それは網羅的であることを意図されているものではないし、また本発明を、その開示された正確な形式へと制限することを意図されたものでもない。上記教示に照らしての修正及び変更が可能であるし、またそれらは本発明の実践から習得されるかもしれない。実施形態は、そしていわゆる当業者が、本発明を、さまざまな実施形態で、そして特定の意図された使用に合うようにとさまざまな修正を加えて、利用できるようにするために、本発明の原理とその実践的な応用を説明する目的で、選択され、そして記述されたものである。

【特許請求の範囲】
【請求項1】
第1のフィールド及び第2のフィールドを含むビデオであって、該第1のフィールド及び該第2のフィールドの各々が複数の水平サンプルと複数の垂直サンプルとを有するビデオについて、運動補償されたビデオの空間アップコンバートを実行するための方法であって、
前記第1のフィールドと前記第2のフィールドとにおける前記複数の水平サンプルを、空間的内挿技法を用いて内挿することと、
前記第1のフィールドと前記第2のフィールドとにおける前記複数の垂直サンプルを、運動補償されたインターレース解除技法を用いて内挿することと、
を含む、方法。
【請求項2】
前記運動補償されたインターレース解除技法が、適応再帰的な運動補償されたビデオの空間アップコンバートを含む、請求項1に記載の方法。
【請求項3】
前記運動補償されたインターレース解除技法が、一般化されたサンプリング定理を用いた適応再帰的なビデオの空間アップコンバートを含む、請求項1に記載の方法。
【請求項4】
最適化された有限インパルス応答フィルタが前記複数の水平サンプルの内挿に用いられる、請求項1に記載の方法。
【請求項5】
少なくとも1つの最適化された有限インパルス応答フィルタが前記複数の垂直サンプルの内挿に用いられる、請求項1に記載の方法。
【請求項6】
前記ビデオが携帯装置によってキャプチャされ、更に前記方法が、前記複数の水平サンプルと前記複数の垂直サンプルとが内挿された後に、前記ビデオをテレビに表示することを含む、請求項1に記載の方法。
【請求項7】
前記ビデオは、高解像度ではないテレビ向けのビデオであって、更に前記方法が、前記複数の水平サンプルと前記複数の垂直サンプルとが内挿された後に前記ビデオを高解像度テレビに表示することを含む、請求項1に記載の方法。
【請求項8】
第1のフィールド及び第2のフィールドを含むビデオであって、該第1のフィールド及び該第2のフィールドの各々が複数の水平サンプルと複数の垂直サンプルとを有するビデオについて、運動補償されたビデオの空間アップコンバートを実行するためのコンピュータプログラム製品であって、
前記第1のフィールドと前記第2のフィールドとにおける前記複数の水平サンプルを、空間的内挿技法を用いて内挿するためのコンピュータコードと、
前記第1のフィールドと前記第2のフィールドとにおける前記複数の垂直サンプルを、運動補償されたインターレース解除技法を用いて内挿するためのコンピュータコードと、 を含む、コンピュータプログラム製品。
【請求項9】
前記運動補償されたインターレース解除技法が、適応再帰的な運動補償されたビデオの空間アップコンバートを含む、請求項8に記載のコンピュータプログラム製品。
【請求項10】
前記運動補償されたインターレース解除技法が、一般化されたサンプリング定理を用いた適応再帰的なビデオの空間アップコンバートを含む、請求項8に記載のコンピュータプログラム製品。
【請求項11】
最適化された有限インパルス応答フィルタが前記複数の水平サンプルの内挿に用いられる、請求項8に記載のコンピュータプログラム製品。
【請求項12】
少なくとも1つの最適化された有限インパルス応答フィルタが前記複数の垂直サンプルの内挿に用いられる、請求項8に記載のコンピュータプログラム製品。
【請求項13】
前記ビデオは携帯装置によってキャプチャされ、更に前記コンピュータプログラム製品が、前記複数の水平サンプルと前記複数の垂直サンプルとが内挿された後に前記ビデオをテレビに表示するためのコンピュータコードを含む、請求項8に記載のコンピュータプログラム製品。
【請求項14】
前記ビデオは、高解像度ではないテレビ向けのビデオであって、更に前記コンピュータプログラム製品が、前記複数の水平サンプルと前記複数の垂直サンプルとが内挿された後に前記ビデオを高解像度テレビに表示することを含む、請求項8に記載のコンピュータプログラム製品。
【請求項15】
プロセッサと、
第1のフィールド及び第2のフィールドを含むビデオであって、該第1のフィールド及び該第2のフィールドの各々が複数の水平サンプルと複数の垂直サンプルとを有するビデオについて、運動補償されたビデオの空間アップコンバートを実行するためのコンピュータプログラム製品、を含む、前記プロセッサへ動作可能に接続されたメモリユニットと、 を含む、電子装置であって、
前記コンピュータプログラム製品が、
前記第1のフィールドと前記第2のフィールドとにおける前記複数の水平サンプルを、空間的内挿技法を用いて内挿するためのコンピュータコードと、
前記第1のフィールドと前記第2のフィールドとにおける前記複数の垂直サンプルを、運動補償されたインターレース解除技法を用いて内挿するためのコンピュータコードと、 を含む、
電子装置。
【請求項16】
前記運動補償されたインターレース解除技法が、適応再帰的な運動補償されたビデオの空間アップコンバートを含む、請求項15に記載の電子装置。
【請求項17】
前記運動補償されたインターレース解除技法が、一般化されたサンプリング定理を用いた適応再帰的なビデオの空間アップコンバートを含む、請求項15に記載の電子装置。
【請求項18】
最適化された有限インパルス応答フィルタが前記複数の水平サンプルの内挿に用いられる、請求項15に記載の電子装置。
【請求項19】
少なくとも1つの最適化された有限インパルス応答フィルタが前記複数の垂直サンプルの内挿に用いられる、請求項15に記載の電子装置。
【請求項20】
前記電子装置は携帯電話を含む、請求項15に記載の電子装置。

【図1(a)】
image rotate

【図1(b)】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4(a)】
image rotate

【図4(b)】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2013−102538(P2013−102538A)
【公開日】平成25年5月23日(2013.5.23)
【国際特許分類】
【出願番号】特願2013−24748(P2013−24748)
【出願日】平成25年2月12日(2013.2.12)
【分割の表示】特願2009−507228(P2009−507228)の分割
【原出願日】平成19年4月24日(2007.4.24)
【出願人】(512198316)
【Fターム(参考)】