データ値をダウンサンプリングする方法
本発明は、データ値をダウンサンプリングする方法に関し、元の現行データ値と、この現行データを空間的に囲む元のデータ値とを備える第１のデータ値群を判定する工程と、この第１の群に基づいて、この第１の群の元のデータ値を、上記現行データ値と、上記元のデータ値との間の差が閾値よりも大きい場合にクリッピングすることにより、第２のデータ値群を作成する工程と、現行データ値を第２のデータ値群に基づいて低域通過フィルタリングする工程とを備える。本発明は、例えば、ビデオ符号器装置、ビデオ復号器装置、又はポータブル装置（携帯情報端末や携帯電話機など）に用いることができ、前述の装置は、ピクチャを符号化し、復号化し、より低い空間分解能でピクチャを記憶又は表示するよう構成される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ値をダウンサンプリングする方法及び装置に関する。
【０００２】
本発明は、静止ピクチャ、又はピクチャ系列に適用することができる。本発明は、例えば、ビデオ符号器装置、ビデオ復号器装置、又はポータブル装置（携帯情報端末や携帯電話機など）に用いることができ、前述の装置は、ピクチャを符号化又は復号化して、より低い空間分解能でピクチャを記憶又は表示するよう構成される。
【背景技術】
【０００３】
ビデオ・ピクチャ処理及び静止ピクチャ処理では、ダウンサンプリング手法及びアップサンプリング手法は、ディスプレイの空間分解能にピクチャのコンテンツを適合させるか、又は、特定のビットレートを達成するために、符号化工程の前にピクチャ系列を予め処理するのに広く用いられている。従来用いられているダウンサンプリング・フィルタ及びアップサンプリング・フィルタは、線形低域通過フィルタである。
【０００４】
既知のダウンサンプリング線形フィルタ及びアップサンプリング線形フィルタを組み合わせることは、ぼやけた画像につながるが、それは、高周波が前述のフィルタによって減衰させられるからである。高周波をエンハンスするか生成してエッジを向上させるために、更なる手法を導入することが可能である。しかし、アップサンプリング・フィルタの後に通常用いられている画像エンハンス手法（すなわち、後処理手法に相当する）は多くの場合、複雑である。
【０００５】
そうした後処理手法（ピーキングと呼ばれる）の例が、Ｅ．Ｇ．Ｔ．Ｊａｓｐｅｒｓ及びＰ．Ｈ．Ｎ，ｄｅ Ｗｉｔｈによる「Ａ ｇｅｎｅｒｉｃ ２Ｄ Ｓｈａｒｐｎｅｓｓ Ｅｎｈａｎｃｅｍｅｎｔ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｌｕｍｉｎａｎｃｅ Ｓｉｇｎａｌｓ，Ｓｉｘｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ，１９９７，Ｖｏｌｕｍｅ １，ｐｐ．２６９ −２７３，１４−１７ ＪｕＩｙ １９９７」に記載されている。大まかに言えば、ピーキングは、アップサンプリングされた画像に、そのアップリングされた画像の高域通過フィルタリングに重み付け係数を乗算した結果を加えることによって高周波をエンハンスする工程を備える。
【０００６】
更に、そうした処理手法は、アップサンプリングされた画像全体を処理し、よって、多くの計算につながる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の方法は、従来技術の方法よりも複雑度が低い、データ値をダウンサンプリングする方法を提案することである。
【課題を解決するための手段】
【０００８】
この目的で、本発明によるダウンサンプリング方法は、
元の現行データ値と、この現行データを空間的に囲む元のデータ値とを備える第１のデータ値群を判定する工程と、
この第１の群に基づいて、この第１の群の元のデータ値を、上記現行データ値と、上記元のデータ値との間の差が閾値よりも大きい場合にクリッピングすることにより、第２のデータ値群を作成する工程と、
現行データ値を第２のデータ値群に基づいて低域通過フィルタリングする工程とを備えることを特徴とする。
【０００９】
クリッピング処理の導入により、本発明は、画像がダウンサンプリングされ、それによって、より鮮鋭なダウンサンプリング画像につながり、よって、より鮮鋭なアップサンプリング画像につながる、画像をダウンサンプリングする非線形方法を提案している。すなわち、ダウンサンプリング方法は、画像を直接、鮮鋭化し、よって、後処理画像エンハンスメント手法に対する必要性をなくすものである。このダウンサンプリング方法を用いることにより、複雑度が削減される。それは、鮮鋭度エンハンスメントが、従来技術の後処理方法に記載されているようにアップサンプリング画像を処理するのでなく、ダウンサンプリング画像を処理するからである。以下に更に詳細に説明するように、単純であり、かつ低費用の処理が、上記提案している解決策において行われる。
【００１０】
元のデータ値が０以上２５５以下の範囲に位置する場合に、閾値が３に等しいことが有利である。
【００１１】
本発明は、そうしたダウンサンプリング方法を実施する装置にも関する。本発明は、データ値をダウンサンプリングする前述の装置と、ダウンサンプリングされたデータ値を表示する画面とを備える表示装置に関する。本発明は、データ値をダウンサンプリングする前述の装置、ダウンサンプリングされたデータ値を記憶するメモリ、及びメモリに記憶されたダウンサンプリング・データ値をアップサンプリングする装置に関する。
【００１２】
本発明は、残差誤差を備える復号化装置と、動き補償データ値を供給するよう構成された動き補償装置と直列である上記記憶装置と、加算器であって、上記加算器の出力が記憶装置の入力に供給される加算器とを備える復号器にも関する。記憶装置が、ダウンサンプリングする装置とメモリとの間に、埋め込まれた符号化装置を備え、メモリと、アップサンプリング装置との間に、埋め込まれた復号化装置を更に備えることが有利である。
【００１３】
本発明は、前述の、データ値をダウンサンプリングする装置を備えるビデオ符号器又はポータブル装置にも関する。
【００１４】
本発明は最後に、ダウンサンプリング方法を実施するプログラム命令を備えるコンピュータ・プログラムに関する。
【発明を実施するための最良の形態】
【００１５】
本発明の前述及びその他の局面は、以下で説明する実施例から明らかであり、そうした実施例を参照しながら明らかになるであろう。
【００１６】
本発明は次に、更に詳細に、例として、添付図面を参照しながら説明する。
【実施例】
【００１７】
本発明は、静止ピクチャ又は静止ピクチャ系列に備えられるデータ値をダウンサンプリングする方法に関する。こうしたデータ値は、例えば、画素の輝度又はクロミナンスである。従来のダウンサンプリング方法は通常、相当する最も近い値の補間によって遷移を平滑にする線形フィルタリング工程を備える。データ値ｖａｌ（元のデータ値と、フィルタリングされたデータ値）の変遷を、ピクチャ内のそれらの位置ｐｏｓの関数として示して、この点を図１に図示している。図１では、ばつ印は元のデータ値Ｆを表し、円は、フィルタリングされたデータ値ＦＦを表し、破線曲線は、線形フィルタの平滑化効果を示す。こうした線形フィルタは、データ値の高周波成分を抑制する傾向にあるため、ぼやけ効果をもたらすことが周知である。
【００１８】
この課題を克服するために、本発明によるダウンサンプリング方法は、元の中央画素の値と、その中央画素を空間的に囲む元の画素の値とを備えるデータ値の群を判定する工程を備える。このデータ値群は通常、従来の線形フィルタリングの入力値に相当する。
【００１９】
上記ダウンサンプリング方法は、エッジに相当する遷移における上記群の元のデータ値を修正する工程を更に備える。基本的には、修正する工程は、図２Ａ及び図２Ｂによって示す以下の２つのサブ工程を備える。図２Ａ及び図２Ｂは、係数２のダウンサンプリングに相当する。しかし、本発明が何れかの他のダウンサンプリング係数にも適用可能であることが当業者には明らかであろう。
【００２０】
第１のサブ工程中に、ダウンサンプリングされた値ＦＦ（ｉ）を作成するのに用いる差ｄｉｆｆ（ｋ）（中央画素の元の値Ｆ（ｉ）と各画素値ｆ（ｉ±ｋ）との間の差）が式（１）に示すように計算される。
【００２１】
ｄｉｆｆ（ｋ）＝｜Ｆ（ｉ）−Ｆ（ｉ±ｋ）｜ （１）
であり、ここで、ｋは、７タップ・フィルタの例において、１、２又は３に等しい整数である。
【００２２】
第２のサブ工程中に、差ｄｉｆｆ（ｋ）が閾値δと比較される。特定のｋ値について、差ｄｉｆｆ（ｋ）が閾値δよりも低い場合、元の相当する画素値Ｆ（ｉ±ｋ）は変わらない状態に維持される。特定のｋ値について、差ｄｉｆｆ（ｋ）が閾値δよりも高い場合、元の相当する画素値Ｆ（ｉ±ｋ）は、式（２）に示すように、フィルタリングされたデータ値ＦＦ（ｉ）の計算における、クリッピングされた値Ｆ’（ｉ±ｋ）によって置き換えられる。
【００２３】
Ｆ’（ｉ±ｋ）＝Ｆ（ｉ）±δ （２）
である。
【００２４】
新たなダウンサンプリング値は、修正された画素値の群の低域通過フィルタリングの結果であり、上記修正画素値は、比較サブ工程の結果に応じて、変えられていない画素値と、クリッピングされた画素値とを備える。図２Ａの例では、修正値群は、Ｆ（ｉ−６）、Ｆ（ｉ−４）、Ｆ（ｉ−２）、Ｆ（ｉ）、Ｆ’（ｉ＋２）、Ｆ’（ｉ＋４）、及びＦ’（ｉ＋６）を備える。
【００２５】
図２Ａ及び図２Ｂは、本発明によるダウンサンプリング方法を用いた、フィルタリングする対象の連続した２つの画素値についての元の値の修正を示す。現行ダウンサンプリング値ＦＦ（ｉ）を生成することにのみ修正値Ｆ’（ｉ±ｋ）を用いていることを特筆する。算出する対象の、次のダウンサンプリング値ＦＦ（ｉ’）＝ＦＦ（ｉ＋２）について、図２Ｂに示すように元の値をもう一度用い、前述のように修正工程及び低域通過フィルタリング工程が施される。
【００２６】
本発明によるダウンサンプリング方法は、閾値δを用いることを必要とし、これは非線形処理である。これによって、動作帯域にフォールドオーバされることになる、ナイキスト限界を超える周波数がもたらされる。閾値δが低いほど、エイリアシング信号がより目立つようになる。０以上２５５以下で変動するデータ値について、閾値に好適な値がδ＝３であることが視覚検査によって示され、これは、エイリアシング（低いδ）とぼやけ（高いδ）との間の好適なトレードオフである。上記非線形フィルタリングによって、再構成されたピクチャ系列は、より鮮鋭であり、それは、視覚的に快いものである。
【００２７】
クリッピング工程の後、何れかの線形フィルタを、ダウンサンプリング処理に用い、任意的には、アップサンプリング処理に用いることが可能である。本発明の実施例によれば、視覚品質と計算量との間の最良のトレードオフは、例えばダウンサンプリングの場合、（−１／３２，０，９／３２，１６／３２，９／３２，０，−１／３２）の重みを備えた７タップのＦＩＲ（有限インパルス応答の略）フィルタを用いるものであり、アップサンプリングの場合、（１／３２，０，−５／３２，５／８，５／８，−５／３２，１／３２）の重みを備えた６タップＦＩＲフィルタを用いるものであり、前述のフィルタは、「ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４／ＩＳＯ／ＩＥＣ １１４９６−１０，Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，Ｆｉｎａｌ Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ，Ｄｏｃｕｍｅｎｔ ＪＶＴＦ１００，Ｄｅｃｅｍｂｅｒ ２００２」に記載されたＨ．２６４標準におけるサブ画素動き補償に用いられるフィルタである。
【００２８】
ダウンサンプリング方法の結果は図３に図示している。図３には、データ値ｖａｌ（元のデータ値と、フィルタリングされた値）の変遷を、ピクチャ内のそれらの位置ｐｏｓの関数として示している。図３では、ばつ印は元のデータ値Ｆを表し、円は、フィルタリングされたデータ値ＦＦを表す。破線曲線は、エッジ周りのダウンサンプリング値の算出を修正した場合に変遷を急峻な状態に維持し得ることを示す。
【００２９】
ダウンサンプリング方法は、一方向のみで説明している。しかし、ダウンサンプリング方法を水平方向に施すことが可能であるか、若しくは垂直方向に施すことが可能であるか、又は両方の方向に施すことが可能であることが当業者には明らかであろう。
【００３０】
本発明は、データ値をダウンサンプリングする装置にも関し、この装置は、別個のいくつかの通常の構成要素を備えたハードウェアによって、又は適切にプログラムされたプロセッサによってダウンサンプリング方法を実施する。上記ダウンサンプリング装置は、
元の現行データ値と、この現行データを空間的に囲む元のデータ値とを備える第１のデータ値群を判定する手段と、
この第１の群に基づいて、この第１の群の元のデータ値を、上記現行データ値と、上記元のデータ値との間の差が閾値よりも大きい場合にクリッピングすることにより、第２のデータ値群を作成する手段と、
現行データ値を第２のデータ値群に基づいて低域通過フィルタリングする手段とを備える。
【００３１】
上記提案している発明は、系列をメモリに記憶しなければならない何れかのビデオ符号化装置又はビデオ復号化装置に適用することが可能である。出力される復号化画像にぼやけ効果をもたらすことなく参照画像メモリの容量を削減することに特に関心がある。
【００３２】
図４は、本発明による復号化装置の例を示す。上記復号化装置は、
符号化入力データ・ストリームＢＳを復号化し、一方で、復号化データを供給し、他方で、復号化動きベクトルＭＶを画像メモリに供給するのに適した可変長復号化装置ＶＬＤと、
量子化データを復号化データから生成するのに適した逆量子化装置ＩＱと、
量子化データからの残差誤差を表す逆変換データを生成する逆離散コサイン変換ブロックＩＤＣＴとを備える。
【００３３】
復号化装置は、データ・ブロック毎に動き補償データを残差誤差に加算する（これは、当業者に既に知られている）加算器を更に有する。動き補償データは、ダウンサンプリング装置ＤＳＦ、画像メモリＭＥＭ、アップサンプリング装置ＵＳＦ及び動き補償装置ＭＣを直列に備える修正動き補償装置ＭＭＣによって生成される。加算器の出力は、復号化された出力画像ＯＦのデータ・ブロックであり、これは次いでディスプレイ（図示せず）に供給され、本発明によるダウンサンプリング装置ＤＳＦにも供給される。復号化装置は任意的には、ブロック解除フィルタＦＩＬを備え、このフィルタは例えば、Ｈ．２６４標準に提案されているフィルタである。前述の別々の装置はダウンサンプリング装置以外はこの技術分野において通常の装置であることは当業者に明らかであろう。
【００３４】
参照フレーム・メモリの容量は、いわゆる埋め込み圧縮の組み合わせを用いることによって更に削減することが可能であり、上記埋め込み圧縮は、通常の復号化／符号化連鎖と、いわゆる埋め込みリサイズとを備え、この埋め込みリサイズは、前述のダウンサンプリング及びアップサンプリングを備える。
【００３５】
図５は、復号化装置の例を示し、修正動き補償装置ＭＭＣは、本発明によるダウンサンプリング装置ＤＳＦと、埋め込み圧縮装置と、画像メモリＭＥＭと、埋め込み復元装置と、アップサンプリング装置ＵＳＦと、動き補償装置ＭＣとを直列に備える。埋め込み圧縮装置は、例えば、変換ブロックＴ、量子化ブロックＱ、及び可変長符号化ブロックＶＬＣを直列に備える。埋め込み復元装置は、例えば、可変長復号化ブロックＶＬＤと、逆量子化ブロックＩＱと、逆変換ブロックＩＴとを直列に備える。
【００３６】
図６は、ビデオ符号化装置の例を示す。そうした符号化装置は、入力ビデオ・データＩＮを変換データに変換するのに適した直接周波数変換ブロック（例えば、直接離散コサイン変換ＤＣＴ）と、変換データから量子化データを生成するのに適した量子化ブロックＱと、符号化データＥＳを量子化データから生成するのに適した可変長符号化ブロックＶＬＣとを備える。そうした符号化装置は更に、逆量子化ブロックＩＱと、逆周波数変換ブロック（例えば、逆離散コサイン変換ブロックＩＤＣＴ）と、逆変換ブロックＩＤＣＴ及び動き補償装置ＭＣから入力されるデータ・ブロックを加算する加算器と、本発明によるダウンサンプリング装置ＤＳＦと、動き補償装置ＭＣによって用いられる画像と、動き推定装置ＭＥから生じる動きベクトルとを記憶するのに適した画像メモリＭＥＭと、アップサンプリング装置ＵＳＦと、動き補償装置ＭＣから入力されるデータを入力ビデオ・データＩＮから減算するのに適しており、減算器の結果が変換ブロックＤＣＴに供給される減算器とを直列に備える予測回路を備える。
【００３７】
提案している本発明は、伝送チャンネルを介して伝送されるようにビデオ系列をリサイズしなければならない何れかのビデオ符号化／復号化装置にも適用することが可能である。
【００３８】
図７に示すように、伝送チャンネルＴＣ（例えば、ブロードキャスト・チャンネルや移動体チャンネル）を介して伝送されるビデオ系列を、ダウンサイズして、所要帯域に符号器が収まることを支援することができる。符号化装置ＥＮＣの入力では、ビデオは、例えば、標準品位ＳＤのものである。符号化装置ＥＮＣは、削減された品位ＨＳＤにビデオをリサイズする、本発明によるダウンサンプリング・フィルタリング装置ＤＳＦと、チャンネルＴＣを介して伝送される対象の圧縮ビデオ・ストリームを生成する従来の符号化装置ＣＯＭＰとを備える。受信端では、通常の復号化装置ＵＮＣＯＭＰによって圧縮ビデオ・ストリームを展開し、アップサンプリング・フィルタ装置ＵＳＦによって、復号化フレームをアップサンプリングして、最終表示分解能で画面ＤＩＳ上に表示するよう構成される。
【００３９】
本発明によるダウンサンプリング方法は、記憶アプリケーションにおける単純な圧縮方法としてみなすことも可能である。
【００４０】
図８は、削減されたＨＳＤにビデオをリサイズする、本発明によるダウンサンプリング装置ＤＳＦと、削減された分解能でピクチャを記憶するよう構成されたメモリＭＥＭと、標準品位ＳＤにビデオをリサイズするアップサンプリング装置ＵＳＦとを直列に備える記憶装置を示す。
【００４１】
本発明によるダウンサンプリング方法は、表示装置の機能にソース系列を適合させるよう利用することも可能である。
【００４２】
図９は、削減された品位ＨＳＤにビデオをリサイズする、本発明によるダウンサンプリング装置ＤＳＦと、削減された品位でピクチャを表示するよう構成された画面とを直列に備える表示装置を示す。
【００４３】
本発明のいくつかの実施例を例としてのみ上記に説明した。特許請求の範囲記載の本発明の範囲から逸脱することなく、上記説明された実施例に修正及び変形を行うことが可能であることは当業者には明らかであろう。更に、特許請求の範囲では、括弧内にある参照符号は何れも、特許請求の範囲を限定するものとして解釈されないものとする。「ｃｏｍｐｒｉｓｉｎｇ」という語は、特許請求の範囲記載の構成要素又は工程以外の構成要素又は工程が存在することを排除するものでない。「ａ」又は「ａｎ」という語は、複数形を排除するものでない。本発明は、別個のいくつかの構成要素を備えるハードウェアによって、かつ、適切にプログラムされるコンピュータによって実施することが可能である。いくつかの手段を列挙した装置クレームでは、これらの手段のいくつかを、同一のハードウェア・アイテムによって実施することが可能である。単に方策が互いに別々の独立請求項に列挙されていることは、こうした方策の組み合わせを利用することができないことを示すものでない。
【図面の簡単な説明】
【００４４】
【図１】エッジを囲む画素の群に対する従来のダウンサンプリング方法の結果を示す図である。
【図２Ａ】本発明によるダウンサンプリング方法の、連続した２つのクリッピング工程及びフィルタリング工程を示す図である。
【図２Ｂ】本発明によるダウンサンプリング方法の、連続した２つのクリッピング工程及びフィルタリング工程を示す図である。
【図３】エッジを囲む画素の群に対する、本発明によるダウンサンプリング方法の結果を示す図である。
【図４】本発明によるダウンサンプリング装置を有する復号化装置の実施例を示す図である。
【図５】本発明によるダウンサンプリング装置を有する復号化装置の別の実施例を示す図である。
【図６】本発明によるダウンサンプリング装置を有する符号化装置の実施例を示す図である。
【図７】本発明によるダウンサンプリング装置を有するブロ―ドキャスト・システムを示す図である。
【図８】本発明によるダウンサンプリング装置を有する記憶装置を示す図である。
【図９】本発明によるダウンサンプリング装置を有する表示装置を示す図である。
【技術分野】
【０００１】
本発明は、データ値をダウンサンプリングする方法及び装置に関する。
【０００２】
本発明は、静止ピクチャ、又はピクチャ系列に適用することができる。本発明は、例えば、ビデオ符号器装置、ビデオ復号器装置、又はポータブル装置（携帯情報端末や携帯電話機など）に用いることができ、前述の装置は、ピクチャを符号化又は復号化して、より低い空間分解能でピクチャを記憶又は表示するよう構成される。
【背景技術】
【０００３】
ビデオ・ピクチャ処理及び静止ピクチャ処理では、ダウンサンプリング手法及びアップサンプリング手法は、ディスプレイの空間分解能にピクチャのコンテンツを適合させるか、又は、特定のビットレートを達成するために、符号化工程の前にピクチャ系列を予め処理するのに広く用いられている。従来用いられているダウンサンプリング・フィルタ及びアップサンプリング・フィルタは、線形低域通過フィルタである。
【０００４】
既知のダウンサンプリング線形フィルタ及びアップサンプリング線形フィルタを組み合わせることは、ぼやけた画像につながるが、それは、高周波が前述のフィルタによって減衰させられるからである。高周波をエンハンスするか生成してエッジを向上させるために、更なる手法を導入することが可能である。しかし、アップサンプリング・フィルタの後に通常用いられている画像エンハンス手法（すなわち、後処理手法に相当する）は多くの場合、複雑である。
【０００５】
そうした後処理手法（ピーキングと呼ばれる）の例が、Ｅ．Ｇ．Ｔ．Ｊａｓｐｅｒｓ及びＰ．Ｈ．Ｎ，ｄｅ Ｗｉｔｈによる「Ａ ｇｅｎｅｒｉｃ ２Ｄ Ｓｈａｒｐｎｅｓｓ Ｅｎｈａｎｃｅｍｅｎｔ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｌｕｍｉｎａｎｃｅ Ｓｉｇｎａｌｓ，Ｓｉｘｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎｓ，１９９７，Ｖｏｌｕｍｅ １，ｐｐ．２６９ −２７３，１４−１７ ＪｕＩｙ １９９７」に記載されている。大まかに言えば、ピーキングは、アップサンプリングされた画像に、そのアップリングされた画像の高域通過フィルタリングに重み付け係数を乗算した結果を加えることによって高周波をエンハンスする工程を備える。
【０００６】
更に、そうした処理手法は、アップサンプリングされた画像全体を処理し、よって、多くの計算につながる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の方法は、従来技術の方法よりも複雑度が低い、データ値をダウンサンプリングする方法を提案することである。
【課題を解決するための手段】
【０００８】
この目的で、本発明によるダウンサンプリング方法は、
元の現行データ値と、この現行データを空間的に囲む元のデータ値とを備える第１のデータ値群を判定する工程と、
この第１の群に基づいて、この第１の群の元のデータ値を、上記現行データ値と、上記元のデータ値との間の差が閾値よりも大きい場合にクリッピングすることにより、第２のデータ値群を作成する工程と、
現行データ値を第２のデータ値群に基づいて低域通過フィルタリングする工程とを備えることを特徴とする。
【０００９】
クリッピング処理の導入により、本発明は、画像がダウンサンプリングされ、それによって、より鮮鋭なダウンサンプリング画像につながり、よって、より鮮鋭なアップサンプリング画像につながる、画像をダウンサンプリングする非線形方法を提案している。すなわち、ダウンサンプリング方法は、画像を直接、鮮鋭化し、よって、後処理画像エンハンスメント手法に対する必要性をなくすものである。このダウンサンプリング方法を用いることにより、複雑度が削減される。それは、鮮鋭度エンハンスメントが、従来技術の後処理方法に記載されているようにアップサンプリング画像を処理するのでなく、ダウンサンプリング画像を処理するからである。以下に更に詳細に説明するように、単純であり、かつ低費用の処理が、上記提案している解決策において行われる。
【００１０】
元のデータ値が０以上２５５以下の範囲に位置する場合に、閾値が３に等しいことが有利である。
【００１１】
本発明は、そうしたダウンサンプリング方法を実施する装置にも関する。本発明は、データ値をダウンサンプリングする前述の装置と、ダウンサンプリングされたデータ値を表示する画面とを備える表示装置に関する。本発明は、データ値をダウンサンプリングする前述の装置、ダウンサンプリングされたデータ値を記憶するメモリ、及びメモリに記憶されたダウンサンプリング・データ値をアップサンプリングする装置に関する。
【００１２】
本発明は、残差誤差を備える復号化装置と、動き補償データ値を供給するよう構成された動き補償装置と直列である上記記憶装置と、加算器であって、上記加算器の出力が記憶装置の入力に供給される加算器とを備える復号器にも関する。記憶装置が、ダウンサンプリングする装置とメモリとの間に、埋め込まれた符号化装置を備え、メモリと、アップサンプリング装置との間に、埋め込まれた復号化装置を更に備えることが有利である。
【００１３】
本発明は、前述の、データ値をダウンサンプリングする装置を備えるビデオ符号器又はポータブル装置にも関する。
【００１４】
本発明は最後に、ダウンサンプリング方法を実施するプログラム命令を備えるコンピュータ・プログラムに関する。
【発明を実施するための最良の形態】
【００１５】
本発明の前述及びその他の局面は、以下で説明する実施例から明らかであり、そうした実施例を参照しながら明らかになるであろう。
【００１６】
本発明は次に、更に詳細に、例として、添付図面を参照しながら説明する。
【実施例】
【００１７】
本発明は、静止ピクチャ又は静止ピクチャ系列に備えられるデータ値をダウンサンプリングする方法に関する。こうしたデータ値は、例えば、画素の輝度又はクロミナンスである。従来のダウンサンプリング方法は通常、相当する最も近い値の補間によって遷移を平滑にする線形フィルタリング工程を備える。データ値ｖａｌ（元のデータ値と、フィルタリングされたデータ値）の変遷を、ピクチャ内のそれらの位置ｐｏｓの関数として示して、この点を図１に図示している。図１では、ばつ印は元のデータ値Ｆを表し、円は、フィルタリングされたデータ値ＦＦを表し、破線曲線は、線形フィルタの平滑化効果を示す。こうした線形フィルタは、データ値の高周波成分を抑制する傾向にあるため、ぼやけ効果をもたらすことが周知である。
【００１８】
この課題を克服するために、本発明によるダウンサンプリング方法は、元の中央画素の値と、その中央画素を空間的に囲む元の画素の値とを備えるデータ値の群を判定する工程を備える。このデータ値群は通常、従来の線形フィルタリングの入力値に相当する。
【００１９】
上記ダウンサンプリング方法は、エッジに相当する遷移における上記群の元のデータ値を修正する工程を更に備える。基本的には、修正する工程は、図２Ａ及び図２Ｂによって示す以下の２つのサブ工程を備える。図２Ａ及び図２Ｂは、係数２のダウンサンプリングに相当する。しかし、本発明が何れかの他のダウンサンプリング係数にも適用可能であることが当業者には明らかであろう。
【００２０】
第１のサブ工程中に、ダウンサンプリングされた値ＦＦ（ｉ）を作成するのに用いる差ｄｉｆｆ（ｋ）（中央画素の元の値Ｆ（ｉ）と各画素値ｆ（ｉ±ｋ）との間の差）が式（１）に示すように計算される。
【００２１】
ｄｉｆｆ（ｋ）＝｜Ｆ（ｉ）−Ｆ（ｉ±ｋ）｜ （１）
であり、ここで、ｋは、７タップ・フィルタの例において、１、２又は３に等しい整数である。
【００２２】
第２のサブ工程中に、差ｄｉｆｆ（ｋ）が閾値δと比較される。特定のｋ値について、差ｄｉｆｆ（ｋ）が閾値δよりも低い場合、元の相当する画素値Ｆ（ｉ±ｋ）は変わらない状態に維持される。特定のｋ値について、差ｄｉｆｆ（ｋ）が閾値δよりも高い場合、元の相当する画素値Ｆ（ｉ±ｋ）は、式（２）に示すように、フィルタリングされたデータ値ＦＦ（ｉ）の計算における、クリッピングされた値Ｆ’（ｉ±ｋ）によって置き換えられる。
【００２３】
Ｆ’（ｉ±ｋ）＝Ｆ（ｉ）±δ （２）
である。
【００２４】
新たなダウンサンプリング値は、修正された画素値の群の低域通過フィルタリングの結果であり、上記修正画素値は、比較サブ工程の結果に応じて、変えられていない画素値と、クリッピングされた画素値とを備える。図２Ａの例では、修正値群は、Ｆ（ｉ−６）、Ｆ（ｉ−４）、Ｆ（ｉ−２）、Ｆ（ｉ）、Ｆ’（ｉ＋２）、Ｆ’（ｉ＋４）、及びＦ’（ｉ＋６）を備える。
【００２５】
図２Ａ及び図２Ｂは、本発明によるダウンサンプリング方法を用いた、フィルタリングする対象の連続した２つの画素値についての元の値の修正を示す。現行ダウンサンプリング値ＦＦ（ｉ）を生成することにのみ修正値Ｆ’（ｉ±ｋ）を用いていることを特筆する。算出する対象の、次のダウンサンプリング値ＦＦ（ｉ’）＝ＦＦ（ｉ＋２）について、図２Ｂに示すように元の値をもう一度用い、前述のように修正工程及び低域通過フィルタリング工程が施される。
【００２６】
本発明によるダウンサンプリング方法は、閾値δを用いることを必要とし、これは非線形処理である。これによって、動作帯域にフォールドオーバされることになる、ナイキスト限界を超える周波数がもたらされる。閾値δが低いほど、エイリアシング信号がより目立つようになる。０以上２５５以下で変動するデータ値について、閾値に好適な値がδ＝３であることが視覚検査によって示され、これは、エイリアシング（低いδ）とぼやけ（高いδ）との間の好適なトレードオフである。上記非線形フィルタリングによって、再構成されたピクチャ系列は、より鮮鋭であり、それは、視覚的に快いものである。
【００２７】
クリッピング工程の後、何れかの線形フィルタを、ダウンサンプリング処理に用い、任意的には、アップサンプリング処理に用いることが可能である。本発明の実施例によれば、視覚品質と計算量との間の最良のトレードオフは、例えばダウンサンプリングの場合、（−１／３２，０，９／３２，１６／３２，９／３２，０，−１／３２）の重みを備えた７タップのＦＩＲ（有限インパルス応答の略）フィルタを用いるものであり、アップサンプリングの場合、（１／３２，０，−５／３２，５／８，５／８，−５／３２，１／３２）の重みを備えた６タップＦＩＲフィルタを用いるものであり、前述のフィルタは、「ＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４／ＩＳＯ／ＩＥＣ １１４９６−１０，Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ，Ｆｉｎａｌ Ｃｏｍｍｉｔｔｅｅ Ｄｒａｆｔ，Ｄｏｃｕｍｅｎｔ ＪＶＴＦ１００，Ｄｅｃｅｍｂｅｒ ２００２」に記載されたＨ．２６４標準におけるサブ画素動き補償に用いられるフィルタである。
【００２８】
ダウンサンプリング方法の結果は図３に図示している。図３には、データ値ｖａｌ（元のデータ値と、フィルタリングされた値）の変遷を、ピクチャ内のそれらの位置ｐｏｓの関数として示している。図３では、ばつ印は元のデータ値Ｆを表し、円は、フィルタリングされたデータ値ＦＦを表す。破線曲線は、エッジ周りのダウンサンプリング値の算出を修正した場合に変遷を急峻な状態に維持し得ることを示す。
【００２９】
ダウンサンプリング方法は、一方向のみで説明している。しかし、ダウンサンプリング方法を水平方向に施すことが可能であるか、若しくは垂直方向に施すことが可能であるか、又は両方の方向に施すことが可能であることが当業者には明らかであろう。
【００３０】
本発明は、データ値をダウンサンプリングする装置にも関し、この装置は、別個のいくつかの通常の構成要素を備えたハードウェアによって、又は適切にプログラムされたプロセッサによってダウンサンプリング方法を実施する。上記ダウンサンプリング装置は、
元の現行データ値と、この現行データを空間的に囲む元のデータ値とを備える第１のデータ値群を判定する手段と、
この第１の群に基づいて、この第１の群の元のデータ値を、上記現行データ値と、上記元のデータ値との間の差が閾値よりも大きい場合にクリッピングすることにより、第２のデータ値群を作成する手段と、
現行データ値を第２のデータ値群に基づいて低域通過フィルタリングする手段とを備える。
【００３１】
上記提案している発明は、系列をメモリに記憶しなければならない何れかのビデオ符号化装置又はビデオ復号化装置に適用することが可能である。出力される復号化画像にぼやけ効果をもたらすことなく参照画像メモリの容量を削減することに特に関心がある。
【００３２】
図４は、本発明による復号化装置の例を示す。上記復号化装置は、
符号化入力データ・ストリームＢＳを復号化し、一方で、復号化データを供給し、他方で、復号化動きベクトルＭＶを画像メモリに供給するのに適した可変長復号化装置ＶＬＤと、
量子化データを復号化データから生成するのに適した逆量子化装置ＩＱと、
量子化データからの残差誤差を表す逆変換データを生成する逆離散コサイン変換ブロックＩＤＣＴとを備える。
【００３３】
復号化装置は、データ・ブロック毎に動き補償データを残差誤差に加算する（これは、当業者に既に知られている）加算器を更に有する。動き補償データは、ダウンサンプリング装置ＤＳＦ、画像メモリＭＥＭ、アップサンプリング装置ＵＳＦ及び動き補償装置ＭＣを直列に備える修正動き補償装置ＭＭＣによって生成される。加算器の出力は、復号化された出力画像ＯＦのデータ・ブロックであり、これは次いでディスプレイ（図示せず）に供給され、本発明によるダウンサンプリング装置ＤＳＦにも供給される。復号化装置は任意的には、ブロック解除フィルタＦＩＬを備え、このフィルタは例えば、Ｈ．２６４標準に提案されているフィルタである。前述の別々の装置はダウンサンプリング装置以外はこの技術分野において通常の装置であることは当業者に明らかであろう。
【００３４】
参照フレーム・メモリの容量は、いわゆる埋め込み圧縮の組み合わせを用いることによって更に削減することが可能であり、上記埋め込み圧縮は、通常の復号化／符号化連鎖と、いわゆる埋め込みリサイズとを備え、この埋め込みリサイズは、前述のダウンサンプリング及びアップサンプリングを備える。
【００３５】
図５は、復号化装置の例を示し、修正動き補償装置ＭＭＣは、本発明によるダウンサンプリング装置ＤＳＦと、埋め込み圧縮装置と、画像メモリＭＥＭと、埋め込み復元装置と、アップサンプリング装置ＵＳＦと、動き補償装置ＭＣとを直列に備える。埋め込み圧縮装置は、例えば、変換ブロックＴ、量子化ブロックＱ、及び可変長符号化ブロックＶＬＣを直列に備える。埋め込み復元装置は、例えば、可変長復号化ブロックＶＬＤと、逆量子化ブロックＩＱと、逆変換ブロックＩＴとを直列に備える。
【００３６】
図６は、ビデオ符号化装置の例を示す。そうした符号化装置は、入力ビデオ・データＩＮを変換データに変換するのに適した直接周波数変換ブロック（例えば、直接離散コサイン変換ＤＣＴ）と、変換データから量子化データを生成するのに適した量子化ブロックＱと、符号化データＥＳを量子化データから生成するのに適した可変長符号化ブロックＶＬＣとを備える。そうした符号化装置は更に、逆量子化ブロックＩＱと、逆周波数変換ブロック（例えば、逆離散コサイン変換ブロックＩＤＣＴ）と、逆変換ブロックＩＤＣＴ及び動き補償装置ＭＣから入力されるデータ・ブロックを加算する加算器と、本発明によるダウンサンプリング装置ＤＳＦと、動き補償装置ＭＣによって用いられる画像と、動き推定装置ＭＥから生じる動きベクトルとを記憶するのに適した画像メモリＭＥＭと、アップサンプリング装置ＵＳＦと、動き補償装置ＭＣから入力されるデータを入力ビデオ・データＩＮから減算するのに適しており、減算器の結果が変換ブロックＤＣＴに供給される減算器とを直列に備える予測回路を備える。
【００３７】
提案している本発明は、伝送チャンネルを介して伝送されるようにビデオ系列をリサイズしなければならない何れかのビデオ符号化／復号化装置にも適用することが可能である。
【００３８】
図７に示すように、伝送チャンネルＴＣ（例えば、ブロードキャスト・チャンネルや移動体チャンネル）を介して伝送されるビデオ系列を、ダウンサイズして、所要帯域に符号器が収まることを支援することができる。符号化装置ＥＮＣの入力では、ビデオは、例えば、標準品位ＳＤのものである。符号化装置ＥＮＣは、削減された品位ＨＳＤにビデオをリサイズする、本発明によるダウンサンプリング・フィルタリング装置ＤＳＦと、チャンネルＴＣを介して伝送される対象の圧縮ビデオ・ストリームを生成する従来の符号化装置ＣＯＭＰとを備える。受信端では、通常の復号化装置ＵＮＣＯＭＰによって圧縮ビデオ・ストリームを展開し、アップサンプリング・フィルタ装置ＵＳＦによって、復号化フレームをアップサンプリングして、最終表示分解能で画面ＤＩＳ上に表示するよう構成される。
【００３９】
本発明によるダウンサンプリング方法は、記憶アプリケーションにおける単純な圧縮方法としてみなすことも可能である。
【００４０】
図８は、削減されたＨＳＤにビデオをリサイズする、本発明によるダウンサンプリング装置ＤＳＦと、削減された分解能でピクチャを記憶するよう構成されたメモリＭＥＭと、標準品位ＳＤにビデオをリサイズするアップサンプリング装置ＵＳＦとを直列に備える記憶装置を示す。
【００４１】
本発明によるダウンサンプリング方法は、表示装置の機能にソース系列を適合させるよう利用することも可能である。
【００４２】
図９は、削減された品位ＨＳＤにビデオをリサイズする、本発明によるダウンサンプリング装置ＤＳＦと、削減された品位でピクチャを表示するよう構成された画面とを直列に備える表示装置を示す。
【００４３】
本発明のいくつかの実施例を例としてのみ上記に説明した。特許請求の範囲記載の本発明の範囲から逸脱することなく、上記説明された実施例に修正及び変形を行うことが可能であることは当業者には明らかであろう。更に、特許請求の範囲では、括弧内にある参照符号は何れも、特許請求の範囲を限定するものとして解釈されないものとする。「ｃｏｍｐｒｉｓｉｎｇ」という語は、特許請求の範囲記載の構成要素又は工程以外の構成要素又は工程が存在することを排除するものでない。「ａ」又は「ａｎ」という語は、複数形を排除するものでない。本発明は、別個のいくつかの構成要素を備えるハードウェアによって、かつ、適切にプログラムされるコンピュータによって実施することが可能である。いくつかの手段を列挙した装置クレームでは、これらの手段のいくつかを、同一のハードウェア・アイテムによって実施することが可能である。単に方策が互いに別々の独立請求項に列挙されていることは、こうした方策の組み合わせを利用することができないことを示すものでない。
【図面の簡単な説明】
【００４４】
【図１】エッジを囲む画素の群に対する従来のダウンサンプリング方法の結果を示す図である。
【図２Ａ】本発明によるダウンサンプリング方法の、連続した２つのクリッピング工程及びフィルタリング工程を示す図である。
【図２Ｂ】本発明によるダウンサンプリング方法の、連続した２つのクリッピング工程及びフィルタリング工程を示す図である。
【図３】エッジを囲む画素の群に対する、本発明によるダウンサンプリング方法の結果を示す図である。
【図４】本発明によるダウンサンプリング装置を有する復号化装置の実施例を示す図である。
【図５】本発明によるダウンサンプリング装置を有する復号化装置の別の実施例を示す図である。
【図６】本発明によるダウンサンプリング装置を有する符号化装置の実施例を示す図である。
【図７】本発明によるダウンサンプリング装置を有するブロ―ドキャスト・システムを示す図である。
【図８】本発明によるダウンサンプリング装置を有する記憶装置を示す図である。
【図９】本発明によるダウンサンプリング装置を有する表示装置を示す図である。
【特許請求の範囲】
【請求項１】
データ値をダウンサンプリングする方法であって、
元の現行データ値と、該現行データを空間的に囲む元のデータ値とを備える第１のデータ値群を判定する工程と、
前記第１の群に基づいて、前記第１の群の元のデータ値を、前記現行データ値と、前記元のデータ値との間の差が閾値よりも大きい場合にクリッピングすることにより、第２のデータ値群を作成する工程と、
前記現行データ値を前記第２のデータ値群に基づいて低域通過フィルタリングする工程とを備えることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記閾値は、前記元のデータ値が０以上２２５以下の範囲に位置する場合に３に等しいことを特徴とする方法。
【請求項３】
データ値をダウンサンプリングする装置であって、
元の現行データ値と、前記現行データを囲む元のデータ値とを備える第１のデータ値群を判定する手段と、
前記第１の群に基づいて、前記第１の群の元のデータ値を、前記現行データ値と、前記元のデータ値との間の差が閾値よりも大きい場合にクリッピングすることにより、第２のデータ値群を作成する手段と、
前記現行データ値を前記第２のデータ値群に基づいて低域通過フィルタリングする手段とを備えることを特徴とする装置。
【請求項４】
記憶装置であって、請求項３記載の、データ値をダウンサンプリングする装置と、前記ダウンサンプリングされたデータ値を記憶するメモリと、該メモリに記憶された前記ダウンサンプリング・データ値をアップサンプリングする装置とを備えることを特徴とする記憶装置。
【請求項５】
表示装置であって、請求項３記載の、データ値をダウンサンプリングする装置と、前記ダウンサンプリングされたデータ値を表示する画面とを備えることを特徴とする表示装置。
【請求項６】
ビデオ復号器であって、残差誤差を備える復号化装置と、動き補償データ値を供給するよう構成された動き補償装置と直列である、請求項４記載の記憶装置と、前記動き補償データ値に前記残差誤差を加算し、加算器の出力が前記記憶装置の入力に供給される加算器とを備えることを特徴とするビデオ復号器。
【請求項７】
請求項６記載のビデオ復号器であって、前記記憶装置は更に、前記ダウンサンプリングする装置と前記メモリとの間に、埋め込み符号化装置を備え、前記メモリと、前記アップサンプリングする装置との間に、埋め込まれた復号化装置を備えることを特徴とするビデオ復号器。
【請求項８】
ビデオ符号器であって、請求項３記載の、データ値をダウンサンプリングする装置を備えることを特徴とするビデオ符号器。
【請求項９】
ポータブル装置であって、請求項３記載の、データ値をダウンサンプリングする装置を備えることを特徴とするポータブル装置。
【請求項１０】
コンピュータ・プログラムであって、プロセッサによって実行されると請求項１記載の方法を実施するプログラム命令を備えることを特徴とするコンピュータ・プログラム。
【請求項１】
データ値をダウンサンプリングする方法であって、
元の現行データ値と、該現行データを空間的に囲む元のデータ値とを備える第１のデータ値群を判定する工程と、
前記第１の群に基づいて、前記第１の群の元のデータ値を、前記現行データ値と、前記元のデータ値との間の差が閾値よりも大きい場合にクリッピングすることにより、第２のデータ値群を作成する工程と、
前記現行データ値を前記第２のデータ値群に基づいて低域通過フィルタリングする工程とを備えることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記閾値は、前記元のデータ値が０以上２２５以下の範囲に位置する場合に３に等しいことを特徴とする方法。
【請求項３】
データ値をダウンサンプリングする装置であって、
元の現行データ値と、前記現行データを囲む元のデータ値とを備える第１のデータ値群を判定する手段と、
前記第１の群に基づいて、前記第１の群の元のデータ値を、前記現行データ値と、前記元のデータ値との間の差が閾値よりも大きい場合にクリッピングすることにより、第２のデータ値群を作成する手段と、
前記現行データ値を前記第２のデータ値群に基づいて低域通過フィルタリングする手段とを備えることを特徴とする装置。
【請求項４】
記憶装置であって、請求項３記載の、データ値をダウンサンプリングする装置と、前記ダウンサンプリングされたデータ値を記憶するメモリと、該メモリに記憶された前記ダウンサンプリング・データ値をアップサンプリングする装置とを備えることを特徴とする記憶装置。
【請求項５】
表示装置であって、請求項３記載の、データ値をダウンサンプリングする装置と、前記ダウンサンプリングされたデータ値を表示する画面とを備えることを特徴とする表示装置。
【請求項６】
ビデオ復号器であって、残差誤差を備える復号化装置と、動き補償データ値を供給するよう構成された動き補償装置と直列である、請求項４記載の記憶装置と、前記動き補償データ値に前記残差誤差を加算し、加算器の出力が前記記憶装置の入力に供給される加算器とを備えることを特徴とするビデオ復号器。
【請求項７】
請求項６記載のビデオ復号器であって、前記記憶装置は更に、前記ダウンサンプリングする装置と前記メモリとの間に、埋め込み符号化装置を備え、前記メモリと、前記アップサンプリングする装置との間に、埋め込まれた復号化装置を備えることを特徴とするビデオ復号器。
【請求項８】
ビデオ符号器であって、請求項３記載の、データ値をダウンサンプリングする装置を備えることを特徴とするビデオ符号器。
【請求項９】
ポータブル装置であって、請求項３記載の、データ値をダウンサンプリングする装置を備えることを特徴とするポータブル装置。
【請求項１０】
コンピュータ・プログラムであって、プロセッサによって実行されると請求項１記載の方法を実施するプログラム命令を備えることを特徴とするコンピュータ・プログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２００７−５３５２６３（Ｐ２００７−５３５２６３Ａ）
【公表日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願番号】特願２００７−５１０１９５（Ｐ２００７−５１０１９５）
【出願日】平成１７年４月２１日（２００５．４．２１）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５１３１３
【国際公開番号】ＷＯ２００５／１０４０３１
【国際公開日】平成１７年１１月３日（２００５．１１．３）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願日】平成１７年４月２１日（２００５．４．２１）
【国際出願番号】ＰＣＴ／ＩＢ２００５／０５１３１３
【国際公開番号】ＷＯ２００５／１０４０３１
【国際公開日】平成１７年１１月３日（２００５．１１．３）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]