ビデオフレームの空間のアップスケーリング方法
本発明は、ｐ行ｑ列の画素（ｐ及びｑは整数）を含むオリジナルビデオフレームの空間的なアップスケーリングの方法に関する。かかるアップスケーリング方法は、水平方向、垂直方向、又は両方向のそれぞれで、ロウ−ロウ空間周波サブバンド（ＬＬ）として考えられるオリジナルビデオフレームのハイパスフィルタリングの使用から、ｐ行ｑ列の画素を有するハイ−ロウＨＬ、ロウ−ハイＬＨ及びハイ−ハイＨＨのバーチャル空間周波数サブバンドを構成するステップを含む。かかるアップスケーリング方法は、アップサンプリングバージョンの原画像が得られるようなやり方で、逆ウェーブレット変換（ＩＷＴ）を構成されたサブバンド及びオリジナルビデオフレームに適用するステップを更に含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ｐ行ｑ列（ｐ，ｑは整数）の画素を含むオリジナルビデオフレームの空間的なアップスケールの方法及び装置に関する。
【０００２】
また、本発明は、かかるアップスケーリング方法を実現するコンピュータ命令を含むコンピュータプログラムプロダクトに関する。
【０００３】
本発明は、たとえば、異なるスケールで静止画像又は画像系列を表示可能であることが必要なテレビジョンレシーバ又はパーソナルコンピュータに関連する。
【背景技術】
【０００４】
高解像度ディスプレイの開発は、静止画像又は画像系列の空間的なアップスケーリングの効果的な方法の使用を必要とする。従来のアップスケーリングの方法は、画像及びラインの複製、双一次変換又は他の平均技術の利用を含んでいる。しかし、これらの技術は、粗い輪郭の出現による低品質のアップスケールされた画像となる。たとえ個別のポリフェーズアップコンバージョンフィルタが使用された場合でも、ぎざぎざのラインの問題が残る。
【０００５】
他のアップスケーリング方法は、ウェーブレットベースの圧縮アルゴリズムに類似したやり方で、離散ウェーブレット変換を使用する。この考えは、原画像の前方ウェーブレット変換は、ロウ−ロウＬＬバンドとなり、このバンドは、水平方向及び垂直方向の両者で低周波情報を含み、かかる原画像のファクタ２でダウンスケールされたバージョンである。対照的に、原画像が前方ウェーブレット変換の後に受信されたロウ−ロウサブバンドとして考えられる場合、前記原画像は、逆ウェーブレット変換を適用することでアップスケールされる場合がある。しかし、ロウ−ロウサブバンドＬＬ（すなわち原画像）に対応する高周波サブバンド（すなわち、ハイ−ロウＨＬ、ロウ−ハイＬＨ、及びハイ−ハイＨＨのサブバンド）は、逆ウェーブレット変換を適用するために構築される必要がある。
【０００６】
米国特許第６，３７７，２８０号は、これら仮想的な高周波サブバンドＨＬ，ＬＨ及びＨＨを構築するステップを含むアップスケーリング方法を提案している。かかる方法によれば、原画像は、第一の分解レベルのＨＬ１，ＬＨ１，ＨＨ１サブバンドを得るために前方ウェーブレット変換される。次いで、サブバンドＨＬ１及びＬＨ１からのウェーブレット係数の値は、仮想的なサブバンドＨＬ及びＬＨのそれぞれに供給される。サブバンドＨＬ１又はＬＨ１におけるウェーブレット係数の数は、仮想サブバンドＨＬ，ＬＨのそれぞれにおける数の４倍少なく、ＨＬ及びＬＨサブバンドにおける係数の残りは、予め決定されたパターンに従ってゼロに設定される。この従来の方法は、異なる分解レベルでのウェーブレット係数が振幅及び符号の両者で非常に類似するという仮定に基づいている。しかし、ことは常に真ではなく、予め決定されたレベル、たとえばＨＬ１から前記予め決定されたレベルよりも低いレベルの別のサブバンド、たとえばＨＬへの係数の再配置は、高画質を常に提供しない。さらに、このアップスケーリング方法は、むしろ複雑であって、非常に多くの計算上のリソースを必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、従来技術の方法よりも複雑さが低いアップスケーリング方法を提案することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係るアップスケーリング方法は、水平方向、垂直方向、及び両方向で、ロウ−ロウ空間周波サブバンドとして考えられるオリジナルビデオフレームをハイパスフィルタでフィルタリングし、ハイ−ロウ、ロウ−ハイ、及びハイ−ハイのｐ行ｑ列の画素を含む仮想的な空周波サブバンドを構築するステップ、アップサンプルバージョンの原画像が得られるように、構築されたサブバンド及びオリジナルビデオフレームに逆ウェーブレット変換を適用するステップを含む。
【０００９】
結果として、生成された仮想的な空間周波サブバンドは、オリジナルビデオフレームと同じサイズを有する。本発明に従うアップサンプリング方法は、従来技術の方法で行われたように、ｐ行ｑ列のデータを含む仮想的な空間周波サブバンドを得るため、ヌル係数をもつサイズｐ／２＊ｑ／２を有する第一の分解レベルの仮想的な空間週はサブバンドを結合する更なるステップを必要としない。
【００１０】
さらに、高域通過フィルタの適切な選択により、画質が改善される。これは、たとえば、逆ウェーブレット変換について使用されたフィルタと同じフィルタファミリの中でハイパスフィルタが選択された場である。
【００１１】
本発明のこれらの態様及び他の態様は、以下に記載される実施の形態を参照して明らかにされるであろう。本発明は、添付図面を参照して、例を通して詳細に記載される。
【発明を実施するための最良の形態】
【００１２】
本発明は、静止画像又はビデオ画像系列の空間的なアップスケーリングの方法及び装置に関する。
本発明は、ロウ−ロウＬＬサブバンドとしての原画像への、及び原画像情報に基づいて効果的に予測される対応する高周波サブバンドへの、逆離散ウェーブレット変換（ＩＷＴ）の適用に基づいている。画像のエッジ特性の高品質の近似を実行するための離散ウェーブレット変換の能力は、アップサンプリングアプリケーションについて理想的なものにする。
【００１３】
図１は、本発明に係るアップスケーリング方法の一般的な原理を例示している。
本方法の第一のステップで、ｐ行ｑ列の画素を含む原画像ＯＲＩは、仮想的なアップサンプリングされた画像の前方ウェーブレット変換の後に受信された仮想的なロウ−ロウＬＬサブバンドとして考えられる。
【００１４】
その後、高周波空間サブバンド（すなわち、ロウ−ハイＬＨ、ハイ−ロウＨＬ、及びハイ−ハイＨＨ）は、ハイパスフィルタリングＨＦを使用してロウ−ロウＬＬサブバンドと考えられる原画像から構築される。ロウ−ハイＬＨサブバンドは、原画像における水平方向のエッジに関する情報を含み、ハイ−ロウＨＬサブバンドは、垂直エッジに関する情報を含み、ハイ−ハイＨＨサブバンドは、対角線方向のエッジに関する情報を含む。
【００１５】
最後のステージで、提案されるアップスケーリング方法は、２次元の離散逆ウェーブレット変換ＩＷＴを含み、このＩＷＴは、アップスケーリングされた画像ＵＰＩを取得及び送信するため、原画像及び構築された高周波サブバンドに適用され、行及び列の画素数は、原画像におけるよりも２倍多く、すなわち２ｐ行及び２ｑ行の画素である。
【００１６】
図２は、かかる２次元の逆ウェーブレット変換を例示している。かかる逆ウェーブレット変換は、垂直なｙ方向に沿ってファクタ２で、異なるサブバンドＬＬ，ＬＨ，ＨＬ及びＨＨをアップサンプリングする第一のステップＵＰ２ｖを含んでいる。次いで、かかる逆ウェーブレット変換は、垂直方向でロウパスフィルタＬＰを使用して、アップサンプリングされたＬＬ及びＨＬサブバンドをフィルタリングするステップＬＰｖを含んでいる。また、かかる逆ウェーブレット変換は、垂直方向でハイパスフィルタＨＰを使用して、アップサンプリングされたＬＨ及びＨＨサブバンドをフィルタリングするステップＨＰｖを含んでいる。次いで、ロウパスフィルタでフィルタリングされた、アップサンプリングされたＬＬサブバンドと、ハイパスフィルタでフィルタリングされた、アップサンプリングされたＬＨサブバンドが加算され、２ｐ*ｑ画素を含む中間的な低周波フレームＩＬを生じる。ロウパスフィルタでフィルタリングされた、アップサンプリングされたＨＬサブバンドと、ハイパスフィルタでフィルタリングされた、アップサンプリングされたＨＨサブバンドも加算され、２ｐ*ｑ画素を含む中間的な高周波フレームを生じる。
【００１７】
逆ウェーブレット変換は、水平ｘ軸方向に沿ってファクタ２で、中間的なフレームＩＬ及びＩＨをアップサンプリングする第二のステップＵＰ２ｈを含んでいる。次いで、逆ウェーブレット変換は、水平方向でロウパスフィルタＬＰを使用してアップサンプリングされたＩＬフレームをフィルタリングするステップＬＰｈを含む。逆ウェーブレット変換は、水平方向でハイパスフィルタＨＰを使用してアップサンプリングされたＩＨフレームをフィルタリングするステップＨＰｈを含んでいる。次いで、ロウパスフィルタでフィルタリングされた、アップサンプリングされたＩＬフレームと、ハイパスフィルタでフィルタリングされた、アップサンプリングされたＩＨフレームが加算され、２ｐ*２ｑ画素を含むアップスケーリングされた画像ＵＰＩを生じる。
【００１８】
例として、ロウパスフィルタはＬＰ１＝１／２［１，１］であり、ハイパスフィルタはＨＰ１＝１／２［１，−１］である。言い換えれば、ロウパスフィルタＬＰが水平ｘ方向で画素ｍに適用された場合、以下を得る。
ＬＰ１（ｍ）＝（ｘ（ｍ）＋ｘ（ｍ＋１））／２
さらに、垂直ｙ方向で画素ｎに適用された場合、以下を得る。
ＬＰ１（ｎ）＝（ｙ（ｎ）＋ｙ（ｎ＋１））／２
同様にして、ハイパスフィルタＨＰが水平ｘ方向で画素ｍに適用された場合、以下を得る。
ＨＰ１（ｍ）＝（ｘ（ｍ）−ｘ（ｍ＋１））／２
さらに、垂直ｙ方向で画素ｎに適用された場合、以下を得る。
ＨＰ１（ｎ）＝（ｙ（ｎ）−ｙ（ｎ＋１））／２
当業者であれば、本発明は、このフィルタ対に限定されるものではないことは明らかであり、たとえば、Ａｎｔｏｎｉｎｉ等により“Image Coding Using Wavelet Transform” IEEE Trans. Image Processing, vol.1, no.2, pp.205-220, April 1992と題された論文で提案された
【００１９】
【表１】
のような他のフィルタ対にも適用可能であって、
本発明は、ハイパスフィルタを使用してロウ−ロウサブバンドＬＬから仮想的な高周波サブバンドＨＬ，ＬＨ及びＨＨの係数を構築することを提案する。かかるハイパスフィルタＨＰは、ＨＬ，ＬＨ及びＨＨサブバンドのそれぞれを得るため、垂直方向、水平方向及び両方向で、オリジナルフレーム、すなわちＬＬサブバンドに適用される。
【００２０】
本発明の実施の形態によれば、ハイパスフィルタＨＰは、逆ウェーブレット変換で使用されるフィルタ以外の同じウェーブレットフィルタのファミリのなかから選択される。これにより、ほぼ最適な逆ウェーブレット変換との組み合わせが提供される。
【００２１】
例として、構築するステップで使用されるハイパスフィルタＨＰは、本発明に係るアップスケーリング方法で使用される逆ウェーブレット変換に対応する前方ウェーブレット変換のハイパスフィルタＨＰｆと同じである。より正確には、ＬＰｆ及びＨＰｆが前方ウェーブレット変換のロウパスフィルタ及びハイパスフィルタであり、ＬＰｉ及びＨＰｉが逆ウェーブレット変換のロウパスフィルタ及びハイパスフィルタである場合、周波数領域におけるそれらの関係は、以下の通りである。
ＬＰｉ（ω）＝ＨＰｆ（ω＋π）
ＨＰｉ（ω）＝−ＬＰｆ（ω＋π），ここでωは周波数である。
【００２２】
空間領域でのそれらの関係は以下の通りである。
ＨＰｆ（ｋ）＝−（−１）kＬＰｉ（ｋ）
ＨＰｉ（ｋ）＝（−１）kＬＰｆ（ｋ），ここでｋは−ＫとＫとの間で含まれる整数であって、Ｋは予め決定された値を有する。
【００２３】
たとえば、逆ウェーブレット変換フィルタがＬＰｉ＝１／４［１，２，１］及びＨＰ＝１／４［１，２、−６，２，１］である場合、ＨＬ，ＬＨ及びＨＨサブバンドの構成に使用されるハイパスフィルタは、ＨＰ＝ＨＰｆ＝１／４［１，−２，１］である。
【００２４】
したがって、提案される方法は、完全な前方ウェーブレット変換を必要としないが、かかるウェーブレット変換の簡略化されたバージョンを必要とする。同時に、前方ウェーブレット変換に必要とされるダウンサンプリングの動作を利用せず、予め決定されたレベルのサブバンドからの情報をかかる予め決定されたレベルよりも低いレベルのサブバンドにコピーしないので、原画像の高周波情報の良好な反映を可能にする。サブバンド予測で使用される簡略化されたウェーブレット変換は、さもなければ、従来の前方ウェーブレット変換により必要とされる、ウェーブレット係数のロウパスフィルタリング及びダウンサンプリングなしで、１方向又は両方向でのハイパスフィルタリングを含む。
【００２５】
それぞれの高周波サブバンドは、水平方向で、垂直方向で又は両方向で、このハイパスフィルタをロウ−ロウサブバンドＬＬすなわち原画像に適用することで構成される。ロウ−ハイサブバンドＬＨを受けるため、原画像は、垂直方向にハイパスフィルタでフィルタリングされ、したがって水平方向のエッジが保存される。ハイ−ロウサブバンドＨＬは、水平方向に原画像をハイパスフィルタでフィルタリングすることで構成される。ハイ−ハイサブバンドＨＨは、水平方向及び垂直方向の両者でハイパスフィルタを適用することで構成される。代替的に、このハイ−ハイサブバンドＨＨは、ヌルフィルタを原画像に適用することで構成され、ゼロで満たされたＨＨサブバンドとなる。かかる代替的なソリューションは、計算上のリソースを節約可能である。ハイパスフィルタリングの結果、構成されたサブバンドのサイズは原画像のサイズに等しい。
【００２６】
本発明の実施の形態によれば、ＬＨ，ＨＬ及びＨＨサブバンドを構築するステップは、簡略化されたリフティングスキームを使用して実現される。１次元の前方ウェーブレット変換の従来のリフティングスキームは、図３Ａに示されている。かかるスキームによれば、原画像に含まれる入力信号ｘは、偶数ｘｅ［ｎ］及び奇数ｘｏ［ｎ］サンプルに分裂される。予測フェーズの間、高周波ウェーブレット係数ｄ［ｎ］は、以下のように計算される。
ｄ［ｎ］＝ｘｏ［ｎ］−Ｐ（ｘｅ［ｎ］），ここでＰ（）は予測関数である。
【００２７】
更新フェーズの間、低周波のウェーブレット係数ｃ［ｎ］は以下のように計算される。
ｃ［ｎ］＝ｘｅ［ｎ］＋Ｕ（ｄ［ｎ］），ここでＵ（）は更新関数である。ｃ［ｎ］及びｄ［ｎ］の解像度は、奇数／偶数分離の演算のため、ｘ［ｎ］の１つよりも２倍小さい。
【００２８】
アップスケーリング方法は完全な前方ウェーブレット変換を実現せず、入力信号ｘ［ｎ］は低周波係数ｃ［ｎ］を既に表しているので、かかるアップスケーリング方法は、高周波ウェーブレット係数ｄ［ｎ］を計算し、低周波のウェーブレット係数ｃ［ｎ］を正規化するために調整される。したがって、アップデートＵ（）の動作は必要とされない。その上、高周波ウェーブレット係数ｄ［ｎ］は入力信号と同じ解像度で伝送されるため、アップスケーリングは、入力信号の偶数及び奇数サンプルの系列への分離を実現しない。提案される簡略化されたリフティングスキームは、図３Ｂに示されている。かかるスキームによれば、入力サンプルｘ（ｎ）はシフトされ、シフトされたサンプルｘｓ（ｎ）が得られる。高周波ウェーブレット係数ｄ［ｎ］は、以下のような予測関数ｄ［ｎ］＝ｋｏ（ｘｓ［ｎ］＋Ｐ（ｘ［ｎ］））のおかげで入力及びシフトされたサンプルに基づいて計算され、低周波ウェーブレット係数ｃ［ｎ］は、次のように入力サンプルから導出される。ｃ［ｎ］＝ｋｅｘ［ｎ］、ここでｋｅ及びｋｏは正規化ファクタである。
【００２９】
当業者には、構成するステップのハイパスフィルタが他の異なる方式に従う逆ウェーブレット変換のフィルタから導出することができることは明らかであろう。
【００３０】
本発明の実施の形態によれば、原画像の画素値は、正規化ファクタにより正規化され、かかる正規化ファクタは、サブバンドの予測及び逆ウェーブレット変換ＩＷＴについて選択される、ハイパスフィルタの係数（又はタップ）に依存する。
【００３１】
この正規化は、前方ウェーブレット変換が自然画像のうちの１つとは異なる強度値のレンジを有する係数をもつロウ−ロウサブバンドＬＬとなるために必要とされる。この強度値のレンジの差は、使用されるウェーブレットフィルタのタイプに依存する。したがって、正規化ファクタは、逆ウェーブレット変換のために使用されるウェーブレットフィルタに基づいて定義されることが必要である。たとえば、９／７双直交ウェーブレット変換が使用される場合、正規化ファクタの値は、ロウパスフィルタ係数の合計の平方に等しい。入力フレームの全ての画素は、ＬＬサブバンドとして考えられ、この正規化ファクタにより乗算される必要がある。
【００３２】
本発明の別の実施の形態によれば、予め決定されたアップスケーリングファクタに到達するまで、構成ステップ及び逆ウェーブレット変換ステップが繰り返される。かかるアップスケーリングファクタは、２から２Nまで変化し、ここでＮは１よりも厳密に大きい整数である。
【００３３】
このように構成されたロウ−ハイＬＨ，ハイ−ロウＨＬ及びハイ−ハイＨＨサブバンドは、原画像のアップスケーリングについて予測される方向に依存する高周波情報を含む。この情報の可用性は、アップスケールの画像における階段状のアーチファクト、すなわちいわゆるジグザグラインを低減し、かかるアーチファクトは、従来のアップサンプリング技術について典型的である。
【００３４】
提案される発明は、静止画像又はウェーブレットベースのデコーダでデコードされるビデオフレームの系列の空間的なアップスケールにその用途を見出す。たとえば、ウェーブレットベースのデコーダにより圧縮された空間的にスケーラブルなストリームは、幾つものレイヤに分割される場合があり、それぞれが異なる解像度レベルを提供する。これらのレイヤは、ダウンスケーリングされたバージョンの画像、すなわちＬＬサブバンドを含むベースレイヤを有しており、エンハンスメントレイヤは、高い解像度での画像、すなわちＨＬ，ＬＨ，ＨＨサブバンドの再構成について必要とされるデータを提供する。エンハンスメントレイヤがデコーダ側で利用可能ではない場合、すなわちベースレイヤのみがデコーダにより受信された場合、原画像は、本発明に係るアップスケーリング方法を実現するアップスケーリング装置を使用してベースレイヤからデコードされたダウンスケーリングバージョンの画像から再構成される場合がある。
【００３５】
本発明の実施の形態によれば、提案される空間的なアップスケーリング装置は、ウェーブレットベースのデコーダに組み込まれる。したがって、逆ウェーブレット変換が画像復号化のために既に使用されているので、更なる専用のアーキテクチャブロックを必要としない。したがって、高周波サブバンドの予測は、更なるオーバヘッドなしに実現される場合がある。
【００３６】
当業者にとって、アップスケーリング装置がデコードされたビデオフレームを受ける表示装置に組み込むことができることは明らかであろう。表示装置は、たとえばテレビジョンレシーバ又はパーソナルコンピュータである。
【００３７】
先に記載されたアプリケーションは、本発明の範囲を制限しない。提案されるアップスケーリング方法は、ウェーブレットベースの符号化／復号化システムとは独立に使用される場合もある。
【００３８】
本発明に係るアップスケーリング方法は、ハードウェア、ソフトウェア又はその両者のアイテムにより実現することができる。かかるハードウェア又はソフトウェアのアイテムは、配線された電子回路又は適切にプログラムされた集積回路のそれぞれによるような、幾つかのやり方で実現することができる。集積回路は、たとえばデコーダ、パーソナルコンピュータ、又はテレビジョンレシーバに含むことができる。たとえばメモリに含まれる命令のセットにより、集積回路は、アップスケーリング方法の異なるステップを実行する。命令のセットは、たとえばディスクのようなデータキャリアを読むことでメモリにロードされる場合がある。サービスプロバイダは、たとえばインターネットのような通信ネットワークを介して命令のセットを利用可能にすることができる。
【００３９】
特許請求の範囲における参照符号は、請求項を限定するとして解釈されるべきではない。動詞「有する“to comprise”」及びその派生語の使用は、請求項で定義された以外の他のステップ又はエレメントの存在を排除するものではないことは明らかである。エレメント又はステップに先行する単語“ａ”又は“ａｎ”は、複数のかかるエレメント又はステップの存在を排除するものではない。
【図面の簡単な説明】
【００４０】
【図１】本発明に係るアップスケーリング方法のブロック図である。
【図２】従来の２次元の逆ウェーブレット変換のブロック図である。
【図３Ａ】従来のリフティングスキームのブロック図である。
【図３Ｂ】簡略化されたリフティングスキームのブロック図である。
【技術分野】
【０００１】
本発明は、ｐ行ｑ列（ｐ，ｑは整数）の画素を含むオリジナルビデオフレームの空間的なアップスケールの方法及び装置に関する。
【０００２】
また、本発明は、かかるアップスケーリング方法を実現するコンピュータ命令を含むコンピュータプログラムプロダクトに関する。
【０００３】
本発明は、たとえば、異なるスケールで静止画像又は画像系列を表示可能であることが必要なテレビジョンレシーバ又はパーソナルコンピュータに関連する。
【背景技術】
【０００４】
高解像度ディスプレイの開発は、静止画像又は画像系列の空間的なアップスケーリングの効果的な方法の使用を必要とする。従来のアップスケーリングの方法は、画像及びラインの複製、双一次変換又は他の平均技術の利用を含んでいる。しかし、これらの技術は、粗い輪郭の出現による低品質のアップスケールされた画像となる。たとえ個別のポリフェーズアップコンバージョンフィルタが使用された場合でも、ぎざぎざのラインの問題が残る。
【０００５】
他のアップスケーリング方法は、ウェーブレットベースの圧縮アルゴリズムに類似したやり方で、離散ウェーブレット変換を使用する。この考えは、原画像の前方ウェーブレット変換は、ロウ−ロウＬＬバンドとなり、このバンドは、水平方向及び垂直方向の両者で低周波情報を含み、かかる原画像のファクタ２でダウンスケールされたバージョンである。対照的に、原画像が前方ウェーブレット変換の後に受信されたロウ−ロウサブバンドとして考えられる場合、前記原画像は、逆ウェーブレット変換を適用することでアップスケールされる場合がある。しかし、ロウ−ロウサブバンドＬＬ（すなわち原画像）に対応する高周波サブバンド（すなわち、ハイ−ロウＨＬ、ロウ−ハイＬＨ、及びハイ−ハイＨＨのサブバンド）は、逆ウェーブレット変換を適用するために構築される必要がある。
【０００６】
米国特許第６，３７７，２８０号は、これら仮想的な高周波サブバンドＨＬ，ＬＨ及びＨＨを構築するステップを含むアップスケーリング方法を提案している。かかる方法によれば、原画像は、第一の分解レベルのＨＬ１，ＬＨ１，ＨＨ１サブバンドを得るために前方ウェーブレット変換される。次いで、サブバンドＨＬ１及びＬＨ１からのウェーブレット係数の値は、仮想的なサブバンドＨＬ及びＬＨのそれぞれに供給される。サブバンドＨＬ１又はＬＨ１におけるウェーブレット係数の数は、仮想サブバンドＨＬ，ＬＨのそれぞれにおける数の４倍少なく、ＨＬ及びＬＨサブバンドにおける係数の残りは、予め決定されたパターンに従ってゼロに設定される。この従来の方法は、異なる分解レベルでのウェーブレット係数が振幅及び符号の両者で非常に類似するという仮定に基づいている。しかし、ことは常に真ではなく、予め決定されたレベル、たとえばＨＬ１から前記予め決定されたレベルよりも低いレベルの別のサブバンド、たとえばＨＬへの係数の再配置は、高画質を常に提供しない。さらに、このアップスケーリング方法は、むしろ複雑であって、非常に多くの計算上のリソースを必要とする。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、従来技術の方法よりも複雑さが低いアップスケーリング方法を提案することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係るアップスケーリング方法は、水平方向、垂直方向、及び両方向で、ロウ−ロウ空間周波サブバンドとして考えられるオリジナルビデオフレームをハイパスフィルタでフィルタリングし、ハイ−ロウ、ロウ−ハイ、及びハイ−ハイのｐ行ｑ列の画素を含む仮想的な空周波サブバンドを構築するステップ、アップサンプルバージョンの原画像が得られるように、構築されたサブバンド及びオリジナルビデオフレームに逆ウェーブレット変換を適用するステップを含む。
【０００９】
結果として、生成された仮想的な空間周波サブバンドは、オリジナルビデオフレームと同じサイズを有する。本発明に従うアップサンプリング方法は、従来技術の方法で行われたように、ｐ行ｑ列のデータを含む仮想的な空間周波サブバンドを得るため、ヌル係数をもつサイズｐ／２＊ｑ／２を有する第一の分解レベルの仮想的な空間週はサブバンドを結合する更なるステップを必要としない。
【００１０】
さらに、高域通過フィルタの適切な選択により、画質が改善される。これは、たとえば、逆ウェーブレット変換について使用されたフィルタと同じフィルタファミリの中でハイパスフィルタが選択された場である。
【００１１】
本発明のこれらの態様及び他の態様は、以下に記載される実施の形態を参照して明らかにされるであろう。本発明は、添付図面を参照して、例を通して詳細に記載される。
【発明を実施するための最良の形態】
【００１２】
本発明は、静止画像又はビデオ画像系列の空間的なアップスケーリングの方法及び装置に関する。
本発明は、ロウ−ロウＬＬサブバンドとしての原画像への、及び原画像情報に基づいて効果的に予測される対応する高周波サブバンドへの、逆離散ウェーブレット変換（ＩＷＴ）の適用に基づいている。画像のエッジ特性の高品質の近似を実行するための離散ウェーブレット変換の能力は、アップサンプリングアプリケーションについて理想的なものにする。
【００１３】
図１は、本発明に係るアップスケーリング方法の一般的な原理を例示している。
本方法の第一のステップで、ｐ行ｑ列の画素を含む原画像ＯＲＩは、仮想的なアップサンプリングされた画像の前方ウェーブレット変換の後に受信された仮想的なロウ−ロウＬＬサブバンドとして考えられる。
【００１４】
その後、高周波空間サブバンド（すなわち、ロウ−ハイＬＨ、ハイ−ロウＨＬ、及びハイ−ハイＨＨ）は、ハイパスフィルタリングＨＦを使用してロウ−ロウＬＬサブバンドと考えられる原画像から構築される。ロウ−ハイＬＨサブバンドは、原画像における水平方向のエッジに関する情報を含み、ハイ−ロウＨＬサブバンドは、垂直エッジに関する情報を含み、ハイ−ハイＨＨサブバンドは、対角線方向のエッジに関する情報を含む。
【００１５】
最後のステージで、提案されるアップスケーリング方法は、２次元の離散逆ウェーブレット変換ＩＷＴを含み、このＩＷＴは、アップスケーリングされた画像ＵＰＩを取得及び送信するため、原画像及び構築された高周波サブバンドに適用され、行及び列の画素数は、原画像におけるよりも２倍多く、すなわち２ｐ行及び２ｑ行の画素である。
【００１６】
図２は、かかる２次元の逆ウェーブレット変換を例示している。かかる逆ウェーブレット変換は、垂直なｙ方向に沿ってファクタ２で、異なるサブバンドＬＬ，ＬＨ，ＨＬ及びＨＨをアップサンプリングする第一のステップＵＰ２ｖを含んでいる。次いで、かかる逆ウェーブレット変換は、垂直方向でロウパスフィルタＬＰを使用して、アップサンプリングされたＬＬ及びＨＬサブバンドをフィルタリングするステップＬＰｖを含んでいる。また、かかる逆ウェーブレット変換は、垂直方向でハイパスフィルタＨＰを使用して、アップサンプリングされたＬＨ及びＨＨサブバンドをフィルタリングするステップＨＰｖを含んでいる。次いで、ロウパスフィルタでフィルタリングされた、アップサンプリングされたＬＬサブバンドと、ハイパスフィルタでフィルタリングされた、アップサンプリングされたＬＨサブバンドが加算され、２ｐ*ｑ画素を含む中間的な低周波フレームＩＬを生じる。ロウパスフィルタでフィルタリングされた、アップサンプリングされたＨＬサブバンドと、ハイパスフィルタでフィルタリングされた、アップサンプリングされたＨＨサブバンドも加算され、２ｐ*ｑ画素を含む中間的な高周波フレームを生じる。
【００１７】
逆ウェーブレット変換は、水平ｘ軸方向に沿ってファクタ２で、中間的なフレームＩＬ及びＩＨをアップサンプリングする第二のステップＵＰ２ｈを含んでいる。次いで、逆ウェーブレット変換は、水平方向でロウパスフィルタＬＰを使用してアップサンプリングされたＩＬフレームをフィルタリングするステップＬＰｈを含む。逆ウェーブレット変換は、水平方向でハイパスフィルタＨＰを使用してアップサンプリングされたＩＨフレームをフィルタリングするステップＨＰｈを含んでいる。次いで、ロウパスフィルタでフィルタリングされた、アップサンプリングされたＩＬフレームと、ハイパスフィルタでフィルタリングされた、アップサンプリングされたＩＨフレームが加算され、２ｐ*２ｑ画素を含むアップスケーリングされた画像ＵＰＩを生じる。
【００１８】
例として、ロウパスフィルタはＬＰ１＝１／２［１，１］であり、ハイパスフィルタはＨＰ１＝１／２［１，−１］である。言い換えれば、ロウパスフィルタＬＰが水平ｘ方向で画素ｍに適用された場合、以下を得る。
ＬＰ１（ｍ）＝（ｘ（ｍ）＋ｘ（ｍ＋１））／２
さらに、垂直ｙ方向で画素ｎに適用された場合、以下を得る。
ＬＰ１（ｎ）＝（ｙ（ｎ）＋ｙ（ｎ＋１））／２
同様にして、ハイパスフィルタＨＰが水平ｘ方向で画素ｍに適用された場合、以下を得る。
ＨＰ１（ｍ）＝（ｘ（ｍ）−ｘ（ｍ＋１））／２
さらに、垂直ｙ方向で画素ｎに適用された場合、以下を得る。
ＨＰ１（ｎ）＝（ｙ（ｎ）−ｙ（ｎ＋１））／２
当業者であれば、本発明は、このフィルタ対に限定されるものではないことは明らかであり、たとえば、Ａｎｔｏｎｉｎｉ等により“Image Coding Using Wavelet Transform” IEEE Trans. Image Processing, vol.1, no.2, pp.205-220, April 1992と題された論文で提案された
【００１９】
【表１】
のような他のフィルタ対にも適用可能であって、
本発明は、ハイパスフィルタを使用してロウ−ロウサブバンドＬＬから仮想的な高周波サブバンドＨＬ，ＬＨ及びＨＨの係数を構築することを提案する。かかるハイパスフィルタＨＰは、ＨＬ，ＬＨ及びＨＨサブバンドのそれぞれを得るため、垂直方向、水平方向及び両方向で、オリジナルフレーム、すなわちＬＬサブバンドに適用される。
【００２０】
本発明の実施の形態によれば、ハイパスフィルタＨＰは、逆ウェーブレット変換で使用されるフィルタ以外の同じウェーブレットフィルタのファミリのなかから選択される。これにより、ほぼ最適な逆ウェーブレット変換との組み合わせが提供される。
【００２１】
例として、構築するステップで使用されるハイパスフィルタＨＰは、本発明に係るアップスケーリング方法で使用される逆ウェーブレット変換に対応する前方ウェーブレット変換のハイパスフィルタＨＰｆと同じである。より正確には、ＬＰｆ及びＨＰｆが前方ウェーブレット変換のロウパスフィルタ及びハイパスフィルタであり、ＬＰｉ及びＨＰｉが逆ウェーブレット変換のロウパスフィルタ及びハイパスフィルタである場合、周波数領域におけるそれらの関係は、以下の通りである。
ＬＰｉ（ω）＝ＨＰｆ（ω＋π）
ＨＰｉ（ω）＝−ＬＰｆ（ω＋π），ここでωは周波数である。
【００２２】
空間領域でのそれらの関係は以下の通りである。
ＨＰｆ（ｋ）＝−（−１）kＬＰｉ（ｋ）
ＨＰｉ（ｋ）＝（−１）kＬＰｆ（ｋ），ここでｋは−ＫとＫとの間で含まれる整数であって、Ｋは予め決定された値を有する。
【００２３】
たとえば、逆ウェーブレット変換フィルタがＬＰｉ＝１／４［１，２，１］及びＨＰ＝１／４［１，２、−６，２，１］である場合、ＨＬ，ＬＨ及びＨＨサブバンドの構成に使用されるハイパスフィルタは、ＨＰ＝ＨＰｆ＝１／４［１，−２，１］である。
【００２４】
したがって、提案される方法は、完全な前方ウェーブレット変換を必要としないが、かかるウェーブレット変換の簡略化されたバージョンを必要とする。同時に、前方ウェーブレット変換に必要とされるダウンサンプリングの動作を利用せず、予め決定されたレベルのサブバンドからの情報をかかる予め決定されたレベルよりも低いレベルのサブバンドにコピーしないので、原画像の高周波情報の良好な反映を可能にする。サブバンド予測で使用される簡略化されたウェーブレット変換は、さもなければ、従来の前方ウェーブレット変換により必要とされる、ウェーブレット係数のロウパスフィルタリング及びダウンサンプリングなしで、１方向又は両方向でのハイパスフィルタリングを含む。
【００２５】
それぞれの高周波サブバンドは、水平方向で、垂直方向で又は両方向で、このハイパスフィルタをロウ−ロウサブバンドＬＬすなわち原画像に適用することで構成される。ロウ−ハイサブバンドＬＨを受けるため、原画像は、垂直方向にハイパスフィルタでフィルタリングされ、したがって水平方向のエッジが保存される。ハイ−ロウサブバンドＨＬは、水平方向に原画像をハイパスフィルタでフィルタリングすることで構成される。ハイ−ハイサブバンドＨＨは、水平方向及び垂直方向の両者でハイパスフィルタを適用することで構成される。代替的に、このハイ−ハイサブバンドＨＨは、ヌルフィルタを原画像に適用することで構成され、ゼロで満たされたＨＨサブバンドとなる。かかる代替的なソリューションは、計算上のリソースを節約可能である。ハイパスフィルタリングの結果、構成されたサブバンドのサイズは原画像のサイズに等しい。
【００２６】
本発明の実施の形態によれば、ＬＨ，ＨＬ及びＨＨサブバンドを構築するステップは、簡略化されたリフティングスキームを使用して実現される。１次元の前方ウェーブレット変換の従来のリフティングスキームは、図３Ａに示されている。かかるスキームによれば、原画像に含まれる入力信号ｘは、偶数ｘｅ［ｎ］及び奇数ｘｏ［ｎ］サンプルに分裂される。予測フェーズの間、高周波ウェーブレット係数ｄ［ｎ］は、以下のように計算される。
ｄ［ｎ］＝ｘｏ［ｎ］−Ｐ（ｘｅ［ｎ］），ここでＰ（）は予測関数である。
【００２７】
更新フェーズの間、低周波のウェーブレット係数ｃ［ｎ］は以下のように計算される。
ｃ［ｎ］＝ｘｅ［ｎ］＋Ｕ（ｄ［ｎ］），ここでＵ（）は更新関数である。ｃ［ｎ］及びｄ［ｎ］の解像度は、奇数／偶数分離の演算のため、ｘ［ｎ］の１つよりも２倍小さい。
【００２８】
アップスケーリング方法は完全な前方ウェーブレット変換を実現せず、入力信号ｘ［ｎ］は低周波係数ｃ［ｎ］を既に表しているので、かかるアップスケーリング方法は、高周波ウェーブレット係数ｄ［ｎ］を計算し、低周波のウェーブレット係数ｃ［ｎ］を正規化するために調整される。したがって、アップデートＵ（）の動作は必要とされない。その上、高周波ウェーブレット係数ｄ［ｎ］は入力信号と同じ解像度で伝送されるため、アップスケーリングは、入力信号の偶数及び奇数サンプルの系列への分離を実現しない。提案される簡略化されたリフティングスキームは、図３Ｂに示されている。かかるスキームによれば、入力サンプルｘ（ｎ）はシフトされ、シフトされたサンプルｘｓ（ｎ）が得られる。高周波ウェーブレット係数ｄ［ｎ］は、以下のような予測関数ｄ［ｎ］＝ｋｏ（ｘｓ［ｎ］＋Ｐ（ｘ［ｎ］））のおかげで入力及びシフトされたサンプルに基づいて計算され、低周波ウェーブレット係数ｃ［ｎ］は、次のように入力サンプルから導出される。ｃ［ｎ］＝ｋｅｘ［ｎ］、ここでｋｅ及びｋｏは正規化ファクタである。
【００２９】
当業者には、構成するステップのハイパスフィルタが他の異なる方式に従う逆ウェーブレット変換のフィルタから導出することができることは明らかであろう。
【００３０】
本発明の実施の形態によれば、原画像の画素値は、正規化ファクタにより正規化され、かかる正規化ファクタは、サブバンドの予測及び逆ウェーブレット変換ＩＷＴについて選択される、ハイパスフィルタの係数（又はタップ）に依存する。
【００３１】
この正規化は、前方ウェーブレット変換が自然画像のうちの１つとは異なる強度値のレンジを有する係数をもつロウ−ロウサブバンドＬＬとなるために必要とされる。この強度値のレンジの差は、使用されるウェーブレットフィルタのタイプに依存する。したがって、正規化ファクタは、逆ウェーブレット変換のために使用されるウェーブレットフィルタに基づいて定義されることが必要である。たとえば、９／７双直交ウェーブレット変換が使用される場合、正規化ファクタの値は、ロウパスフィルタ係数の合計の平方に等しい。入力フレームの全ての画素は、ＬＬサブバンドとして考えられ、この正規化ファクタにより乗算される必要がある。
【００３２】
本発明の別の実施の形態によれば、予め決定されたアップスケーリングファクタに到達するまで、構成ステップ及び逆ウェーブレット変換ステップが繰り返される。かかるアップスケーリングファクタは、２から２Nまで変化し、ここでＮは１よりも厳密に大きい整数である。
【００３３】
このように構成されたロウ−ハイＬＨ，ハイ−ロウＨＬ及びハイ−ハイＨＨサブバンドは、原画像のアップスケーリングについて予測される方向に依存する高周波情報を含む。この情報の可用性は、アップスケールの画像における階段状のアーチファクト、すなわちいわゆるジグザグラインを低減し、かかるアーチファクトは、従来のアップサンプリング技術について典型的である。
【００３４】
提案される発明は、静止画像又はウェーブレットベースのデコーダでデコードされるビデオフレームの系列の空間的なアップスケールにその用途を見出す。たとえば、ウェーブレットベースのデコーダにより圧縮された空間的にスケーラブルなストリームは、幾つものレイヤに分割される場合があり、それぞれが異なる解像度レベルを提供する。これらのレイヤは、ダウンスケーリングされたバージョンの画像、すなわちＬＬサブバンドを含むベースレイヤを有しており、エンハンスメントレイヤは、高い解像度での画像、すなわちＨＬ，ＬＨ，ＨＨサブバンドの再構成について必要とされるデータを提供する。エンハンスメントレイヤがデコーダ側で利用可能ではない場合、すなわちベースレイヤのみがデコーダにより受信された場合、原画像は、本発明に係るアップスケーリング方法を実現するアップスケーリング装置を使用してベースレイヤからデコードされたダウンスケーリングバージョンの画像から再構成される場合がある。
【００３５】
本発明の実施の形態によれば、提案される空間的なアップスケーリング装置は、ウェーブレットベースのデコーダに組み込まれる。したがって、逆ウェーブレット変換が画像復号化のために既に使用されているので、更なる専用のアーキテクチャブロックを必要としない。したがって、高周波サブバンドの予測は、更なるオーバヘッドなしに実現される場合がある。
【００３６】
当業者にとって、アップスケーリング装置がデコードされたビデオフレームを受ける表示装置に組み込むことができることは明らかであろう。表示装置は、たとえばテレビジョンレシーバ又はパーソナルコンピュータである。
【００３７】
先に記載されたアプリケーションは、本発明の範囲を制限しない。提案されるアップスケーリング方法は、ウェーブレットベースの符号化／復号化システムとは独立に使用される場合もある。
【００３８】
本発明に係るアップスケーリング方法は、ハードウェア、ソフトウェア又はその両者のアイテムにより実現することができる。かかるハードウェア又はソフトウェアのアイテムは、配線された電子回路又は適切にプログラムされた集積回路のそれぞれによるような、幾つかのやり方で実現することができる。集積回路は、たとえばデコーダ、パーソナルコンピュータ、又はテレビジョンレシーバに含むことができる。たとえばメモリに含まれる命令のセットにより、集積回路は、アップスケーリング方法の異なるステップを実行する。命令のセットは、たとえばディスクのようなデータキャリアを読むことでメモリにロードされる場合がある。サービスプロバイダは、たとえばインターネットのような通信ネットワークを介して命令のセットを利用可能にすることができる。
【００３９】
特許請求の範囲における参照符号は、請求項を限定するとして解釈されるべきではない。動詞「有する“to comprise”」及びその派生語の使用は、請求項で定義された以外の他のステップ又はエレメントの存在を排除するものではないことは明らかである。エレメント又はステップに先行する単語“ａ”又は“ａｎ”は、複数のかかるエレメント又はステップの存在を排除するものではない。
【図面の簡単な説明】
【００４０】
【図１】本発明に係るアップスケーリング方法のブロック図である。
【図２】従来の２次元の逆ウェーブレット変換のブロック図である。
【図３Ａ】従来のリフティングスキームのブロック図である。
【図３Ｂ】簡略化されたリフティングスキームのブロック図である。
【特許請求の範囲】
【請求項１】
ｐ及びｑを整数としてｐ行ｑ列の画素を含むオリジナルビデオフレームの空間的なアップスケーリングのための方法であって、
当該アップスケーリング方法は、
ｐ行ｑ列の画素をそれぞれ含むハイ−ロウ空間周波サブバンド（ＨＬ）、ロウ−ハイ空間周波サブバンド（ＬＨ）及びハイ−ハイ空間周波サブバンド（ＨＨ）を構成するため、水平方向、垂直方向及び両方向で、ロウ−ロウ空間周波サブバンド（ＬＬ）として考えられるオリジナルビデオフレームをハイパスフィルタでフィルタリングするステップと、
アップサンプリングされたバージョンの原画像を得るため、構成されたサブバンド及び前記オリジナルビデオフレームに逆ウェーブレット変換を適用するステップと、
を含むことを特徴とする方法。
【請求項２】
前記構成するステップのために使用される前記ハイパスフィルタは、前記逆ウェーブレット変換のために使用されるロウパスフィルタから導出される、
請求項１記載の方法。
【請求項３】
前記構成するステップの前に正規化ファクタにより前記オリジナルビデオフレームの画素値を正規化するステップを含み、前記正規ファクタは、前記逆ウェーブレット変換フィルタの係数から導出される、
請求項１記載の方法。
【請求項４】
高周波サブバンドを構成するステップは、前記オリジナルビデオフレームの入力サンプルをシフトするサブステップと、予測関数を使用して入力サンプルからサンプルを予測するサブステップと、シフトされたサンプルと予測されたサンプルに基づいてサブバンドの高周波係数を計算するサブステップとを含む、
請求項１記載の方法。
【請求項５】
前記ハイ−ハイ空間周波サブバンドを構成するステップは、ヌルフィルタを使用するために調整され、ゼロで満たされたサブバンドを得る、
請求項１記載の方法。
【請求項６】
前記構成するステップ及び逆ウェーブレット変換ステップは、予め決定されたアップスケーリングファクタに到達するまで繰り返される、
請求項１記載の方法。
【請求項７】
ｐ及びｑを整数としてｐ行ｑ列の画素を含むオリジナルビデオフレームの空間的なアップスケーリングのための装置であって、
当該アップスケーリング装置は、
ｐ行ｑ列の画素をそれぞれ含むハイ−ロウ空間周波サブバンド（ＨＬ）、ロウ−ハイ空間周波サブバンド（ＬＨ）及びハイ−ハイ空間周波サブバンド（ＨＨ）を構成するため、水平方向、垂直方向及び両方向で、ロウ−ロウ空間周波サブバンド（ＬＬ）として考えられるオリジナルビデオフレームをハイパスフィルタでフィルタリングする手段と、
アップサンプリングされたバージョンの原画像を得るため、構成されたサブバンド及び前記オリジナルビデオフレームに逆ウェーブレット変換を実行する手段と、
を含むことを特徴とする装置。
【請求項８】
ビデオフレームを表示し、請求項７記載のアップスケーリング装置を含む装置であって、前記アップスケーリング装置は、当該装置によって受信された入力ビデオフレームからアップスケーリングされたビデオフレームを提供する、
ことを特徴とする装置。
【請求項９】
符号化されたビデオフレームを含む入力ストリームから復号化されたビデオフレームを含む出力ストリームを生成するビデオ復号化装置であって、
前記復号化装置は、復号化されたビデオフレームからアップスケーリングされたビデオフレームを提供するために調整される、請求項７記載のアップスケーリング装置を有する、
ことを特徴とするビデオ復号化装置。
【請求項１０】
プロセッサにより実行されたときに請求項１記載の方法を実現するためのプログラム命令を含むコンピュータプログラムプロダクト。
【請求項１】
ｐ及びｑを整数としてｐ行ｑ列の画素を含むオリジナルビデオフレームの空間的なアップスケーリングのための方法であって、
当該アップスケーリング方法は、
ｐ行ｑ列の画素をそれぞれ含むハイ−ロウ空間周波サブバンド（ＨＬ）、ロウ−ハイ空間周波サブバンド（ＬＨ）及びハイ−ハイ空間周波サブバンド（ＨＨ）を構成するため、水平方向、垂直方向及び両方向で、ロウ−ロウ空間周波サブバンド（ＬＬ）として考えられるオリジナルビデオフレームをハイパスフィルタでフィルタリングするステップと、
アップサンプリングされたバージョンの原画像を得るため、構成されたサブバンド及び前記オリジナルビデオフレームに逆ウェーブレット変換を適用するステップと、
を含むことを特徴とする方法。
【請求項２】
前記構成するステップのために使用される前記ハイパスフィルタは、前記逆ウェーブレット変換のために使用されるロウパスフィルタから導出される、
請求項１記載の方法。
【請求項３】
前記構成するステップの前に正規化ファクタにより前記オリジナルビデオフレームの画素値を正規化するステップを含み、前記正規ファクタは、前記逆ウェーブレット変換フィルタの係数から導出される、
請求項１記載の方法。
【請求項４】
高周波サブバンドを構成するステップは、前記オリジナルビデオフレームの入力サンプルをシフトするサブステップと、予測関数を使用して入力サンプルからサンプルを予測するサブステップと、シフトされたサンプルと予測されたサンプルに基づいてサブバンドの高周波係数を計算するサブステップとを含む、
請求項１記載の方法。
【請求項５】
前記ハイ−ハイ空間周波サブバンドを構成するステップは、ヌルフィルタを使用するために調整され、ゼロで満たされたサブバンドを得る、
請求項１記載の方法。
【請求項６】
前記構成するステップ及び逆ウェーブレット変換ステップは、予め決定されたアップスケーリングファクタに到達するまで繰り返される、
請求項１記載の方法。
【請求項７】
ｐ及びｑを整数としてｐ行ｑ列の画素を含むオリジナルビデオフレームの空間的なアップスケーリングのための装置であって、
当該アップスケーリング装置は、
ｐ行ｑ列の画素をそれぞれ含むハイ−ロウ空間周波サブバンド（ＨＬ）、ロウ−ハイ空間周波サブバンド（ＬＨ）及びハイ−ハイ空間周波サブバンド（ＨＨ）を構成するため、水平方向、垂直方向及び両方向で、ロウ−ロウ空間周波サブバンド（ＬＬ）として考えられるオリジナルビデオフレームをハイパスフィルタでフィルタリングする手段と、
アップサンプリングされたバージョンの原画像を得るため、構成されたサブバンド及び前記オリジナルビデオフレームに逆ウェーブレット変換を実行する手段と、
を含むことを特徴とする装置。
【請求項８】
ビデオフレームを表示し、請求項７記載のアップスケーリング装置を含む装置であって、前記アップスケーリング装置は、当該装置によって受信された入力ビデオフレームからアップスケーリングされたビデオフレームを提供する、
ことを特徴とする装置。
【請求項９】
符号化されたビデオフレームを含む入力ストリームから復号化されたビデオフレームを含む出力ストリームを生成するビデオ復号化装置であって、
前記復号化装置は、復号化されたビデオフレームからアップスケーリングされたビデオフレームを提供するために調整される、請求項７記載のアップスケーリング装置を有する、
ことを特徴とするビデオ復号化装置。
【請求項１０】
プロセッサにより実行されたときに請求項１記載の方法を実現するためのプログラム命令を含むコンピュータプログラムプロダクト。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図２】
【図３Ａ】
【図３Ｂ】
【公表番号】特表２００７−５０４５２３（Ｐ２００７−５０４５２３Ａ）
【公表日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願番号】特願２００６−５２４４４７（Ｐ２００６−５２４４４７）
【出願日】平成１６年８月１９日（２００４．８．１９）
【国際出願番号】ＰＣＴ／ＩＢ２００４／００２６９８
【国際公開番号】ＷＯ２００５／０２２４６３
【国際公開日】平成１７年３月１０日（２００５．３．１０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １，５６２１ ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
【公表日】平成１９年３月１日（２００７．３．１）
【国際特許分類】
【出願日】平成１６年８月１９日（２００４．８．１９）
【国際出願番号】ＰＣＴ／ＩＢ２００４／００２６９８
【国際公開番号】ＷＯ２００５／０２２４６３
【国際公開日】平成１７年３月１０日（２００５．３．１０）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｅｌｅｃｔｒｏｎｉｃｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １，５６２１ ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈｅ Ｎｅｔｈｅｒｌａｎｄｓ
【Ｆターム（参考）】
[ Back to top ]