多格子スパース性ベースのフィルタリングのための方法及び装置
多格子スパース性ベースのフィルタリングのための方法及び装置を提供する。装置は、ピクチャのフィルタリングされた少なくとも２つのバージョンの適応的に重み付けられた組合せを生成するためにピクチャのピクチャ・データをフィルタリングするフィルタ（３００）を含む。ピクチャ・データは、ピクチャの少なくとも１つのサブサンプリングを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、その内容全部を本明細書及び特許請求の範囲に援用する、西暦２００７年６月８日付出願の米国特許仮出願第６０／９４２６７７号の利益を主張する。
【０００２】
本願の原理は、一般に、画像フィルタリングに関し、特に、多格子スパース性ベースのフィルタリングのための方法及び装置に関する。
【背景技術】
【０００３】
画像の汎用ロバスト・フィルタリングは、何れかのディジタル手順（例えば、予測、圧縮、アップスケーリング、獲得等など）から発出される低精度信号からの画像の高精度推定値を生成する必要がある多くのアプリケーションにとって必須である。
【０００４】
多くのディジタル処理により、雑音、アーチファクト、及び／又は他のタイプの歪みが画像に挿入される。この目的で、スパース性近似に基づいたロバスト・フィルタリングを使用することが可能である。通常、スパース性近似を使用した前述のフィルタリングには、信号変換、変換された信号係数の閾値化（例えば、特定の値未満の係数全てをゼロに設定することが関係する）、及び空間領域への変換という手順が関係する。
【０００５】
この目的で、完全変換及び／又は過完全変換を使用することが可能である。変換は、限定数の主方向を有する。これは、変換における基底関数が、限定数の方向に指向性特性を有するということを意味している。例として、２Ｄ ＤＣＴ（２次元離散コサイン変換）の基底関数は、画像及びビデオに使用される矩形サンプリング・グリッド上に２つの方向（すなわち、垂直方向及び水平方向）を有する。このことは困難な制約である。変換が定義されると、使用される変換の純粋の「固有の」方向（例えば、対角線方向のエッジ、指向性のテクスチャ等）とは別の方向を有する画像における信号構造を効率的にフィルタリングする能力が限られるからである。
【０００６】
第１の従来技術手法では、画像の雑音除去のための適応的フィルタリングが、冗長性変換の使用に基づいて提案されている。第１の従来技術手法では、冗長性変換は、特定の変換Ｈの考えられる平行移動Ｈｉ全てによって生成される。よって、画像Ｉがあれば、画像Ｉの一連の別々の変換バージョンＹｉが、変換ＨｉをＩに施すことによって生成される。変換バージョンＹｉは全て、次いで、変換係数に含まれた雑音を削減するために、係数雑音除去手順（通常、閾値処理）によって処理される。これにより、一連のＹ’ｉが生成される。その後、Ｙ’ｉそれぞれは空間領域に変換され、別々の推定値Ｉ’ｉ（そのそれぞれでは、より低い量の雑音が存在する）になる。第１の従来技術手法は、別々のＩ’ｉが、別々の位置について最善の雑音除去バージョンＩを含む。よって、最終的なフィルタリングされたバージョンＩ’を、Ｉ’ｉの加重和として推定し、最善のＩ’ｉが、Ｉ’の全位置で好ましいように最適化される。図１及び図２は、この第１の従来技術の手法に関する。
【０００７】
図１に移れば、従来技術における、ピクチャの位置適応的スパース性ベースのフィルタリングのための装置の全体を参照符号１００で示す。
【０００８】
装置１００は、第１の雑音除去係数モジュール１２０の入力と信号通信で接続された出力を有する第１の変換モジュール（変換行列１を有する）１０５を含む。第１の雑音除去係数モジュール１２０の出力は、第１の逆変換モジュール（逆変換行列１を有する）１３５の入力、組合せ重み計算モジュール１５０の入力、及びＮ番目の逆変換モジュール（逆変換行列Ｎ）１４５の入力と信号通信で接続される。第１の逆変換モジュール（逆変換行列１を有する）１３５の出力が合成器１５５の第１の入力と信号通信で接続される。
【０００９】
第２の変換モジュール（変換行列２を有する）１１０の出力は、第２の雑音除去係数モジュール１２５の入力と信号通信で接続される。第２の雑音除去係数モジュール１２５の出力は、第２の逆変換モジュール（逆変換行列２を有する）１４０の入力、組合せ重み計算モジュール１５０の入力、及びＮ番目の逆変換モジュール（逆変換行列Ｎを有する）１４５の入力と信号通信で接続される。第２の逆変換モジュール（逆変換行列２を有する）１４０の出力は合成器１５５の第２の入力と信号通信で接続される。
【００１０】
Ｎ番目の変換モジュール（変換行列Ｎを有する）１１５の出力は、Ｎ番目の雑音除去係数モジュール１３０の入力と信号通信で接続される。Ｎ番目の雑音除去係数モジュール１３０の出力は、Ｎ番目の逆変換モジュール（逆変換行列Ｎを有する）１４５の入力、組合せ重み計算モジュール１５０の入力、及び第１の逆変換モジュール（逆変換系列１を有する）１３５の入力と信号通信で接続される。Ｎ番目の逆変換モジュール（逆変換行列Ｎを有する）の出力は、合成器１５５の第３の入力と信号通信で接続される。
【００１１】
組合せ重み計算モジュール１５０の出力は、合成器１５５の第４の入力と信号通信で接続される。
【００１２】
第１の変換モジュール（変換行列１を有する）１０５の入力、第２の変換モジュール（変換行列２を有する）１１０の入力、及びＮ番目の変換モジュール（変換行列Ｎを有する）１１５の入力が、入力画像を受け取るために、装置１００の入力として利用可能である。合成器１５５の出力は、出力画像を供給するために、装置１００の出力として利用可能である。
【００１３】
図２に移れば、従来技術による、ピクチャの位置適応的スパース性ベースのフィルタリングのための方法の全体を参照符号２００で示す。
【００１４】
方法２００は、制御をループ限度ブロック２１０に渡す開始ブロック２０５を含む。ループ限度ブロック２１０は、変数ｉの値毎にループを行い、制御を関数ブロック２１５に渡す。関数ブロック２１５は、変換行列ｉで変換を行い、制御を関数ブロック２２０に渡す。関数ブロック２２０は、雑音除去係数を求め、制御を関数ブロック２２５に渡す。関数ブロック２２５は、逆変換行列ｉで逆変換を行い、制御をループ限度ブロック２３０に渡す。ループ限度ブロック２３０は、変数ｉの各値にわたるループを終了し、制御を機能ブロック２３５に渡す。機能ブロック２３５は、雑音除去係数画像の別々の逆変換バージョンの合成（例えば、局所適応的加重和）を行う。
【００１５】
重み付け手法には種々のものがあり得る。重み付け手法は、フィルタリングする対象のデータ、データに対して使用する変換、及びフィルタリングする対象の雑音／歪みに対する統計的な前提のうちの少なくとも１つに依存し得る。
【００１６】
第１の従来技術手法は各Ｈｉを直交変換とみなす。更に、各Ｈｉを、ウェーブレットやＤＣＴなどの特定の２Ｄ直交変換の平行移動されたバージョンとみなす。これを考慮に入れれば、第１の従来技術の手法は、特定の直交変換が限定量の解析の方向を有するということを考慮に入れていない。よって、ＤＣＴの考えられる変換全てが、Ｉの過完全表現を生成するために使用されても、Ｉは、Ｉの特定の成分と無関係に、垂直方向の成分及び水平方向の成分に一意に分解されることになる。
【００１７】
第２の従来技術手法は、第１の従来技術手法に対する何れの新たな概念ももたらさず、単に、第１の従来技術手法と同じアルゴリズムが、国際標準化機構／国際電気技術委員会（ＩＳＯ／ＩＥＣ）動画像専門家グループ（ＭＰＥＧ−４）パート１０高度ビデオ符号化（ＡＶＣ）標準／国際電気通信連合、電気通信セクタ（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以降、「ＭＰＥＧ−４ＡＶＣ標準」）などのハイブリッド・ビデオ符号化フレームワークにおけるインループ・アーチファクト・フィルタリングに適用される。
【００１８】
第３の従来技術手法では、指向性ウェーブレット分解を実現するために副格子においてウェーブレット・フィルタリングを行うために画像の格子サブサンプリングを使用することがウェーブレット画像符号化のフレームワーク内で提案されている。第３の従来技術の手法では、系統的サンプリング・パターンの組が画像上で規定され、次いで、ウェーブレット・フィルタリングが、画像のサブサンプリングされたバージョンに対してのみ行われる。ウェーブレット・フィルタリングは、前述のサンプリング・パターンの主方向に沿って行われる。
【００１９】
第３の従来技術手法は、指向性ウェーブレット変換の画像の前述のサブサンプリングを使用するやり方を提示する。提案されたサブサンプリングを使用する方法の特定の例では、サブサンプリングされたグリッドそれぞれを矩形サンプリング・グリッドに変えるように、サブサンプリングされたグリッドそれぞれを回転によって再配置する。次いで、新たに生成された矩形サンプリング・グリッドそれぞれに対する分離可能な規則性ワーブレット・フィルタリングは固有に、元々再配置されていないサンプリング・グリッドの方向に指向性ウェーブレット・フィルタリングをもたらす。これにより、指向性ウェーブレットが望まれる場合、元の矩形サンプリング・グリッドに対する特殊なウェーブレット変換を再定義する必要性が避けられる。
【００２０】
第４の従来技術手法は、５点形格子上に表されるフーリエ変換を示す。しかし、第４の従来技術手法は、前述の変換の更なる適用も、何れの他の変換との組合せも提示していない。
【００２１】
第５の従来技術手法では、非常に広い範囲の信号指向特性に対処するために、広い範囲の解析の方向を有する変換が提示される。しかし、その使用法、定義、及び計算処理は難しく、長たらしく、複雑である。これにより、現在のビデオ符号化標準には概ね適切でない。
【発明の概要】
【発明が解決しようとする課題】
【００２２】
従来技術の前述並びに他の弊害及び欠点は、多格子スパース性ベースのフィルタリングのための方法及び装置に関する本願の原理によって対処される。
【課題を解決するための手段】
【００２３】
本願の原理の局面によれば、装置が提供される。装置は、ピクチャのフィルタリングされた少なくとも２つのバージョンの適応的に重み付けられた組合せを生成するためにピクチャのピクチャ・データをフィルタリングするフィルタを含む。ピクチャ・データは、ピクチャの少なくとも１つのサブサンプリングを含む。
【００２４】
本願の原理の別の局面によれば、方法が提供される。方法は、ピクチャのフィルタリングされた少なくとも２つのバージョンを生成するためにピクチャのピクチャ・データをフィルタリングする工程を含む。ピクチャ・データは、ピクチャの少なくとも１つのサブサンプリングを含む。方法は、ピクチャのフィルタリングされた少なくとも２つのバージョンの適応的加重組合せを算出する工程を更に含む。
【図面の簡単な説明】
【００２５】
【図１】従来技術による、ピクチャの位置適応的スパース性ベースのフィルタリングのための装置を示すブロック図である。
【図２】従来技術による、ピクチャの位置適応的スパース性ベースのフィルタリングのための方法を示すブロック図である。
【図３Ａ】本願の原理の実施例による、多格子信号変換を備えた、ピクチャの例示的な位置適応的スパース性ベースのフィルタを示す概要レベルのブロック図である。
【図３Ｂ】本願の原理の実施例による、多格子信号変換を備えた、ピクチャの例示的な位置適応的スパース性ベースのフィルタを示す概要レベルのブロック図である。
【図４】本願の原理の実施例による、多格子信号変換を備えた、ピクチャの別の例示的な位置適応的スパース性ベースのフィルタを示す概要レベルのブロック図である。
【図５】本願の原理の実施例による、多格子信号変換を備えた、ピクチャの別の更に例示的な位置適応的スパース性ベースのフィルタを示す概要レベルのブロック図である。
【図６】本願の原理の実施例により、本願の原理を施すことができる、離散コサイン変換（ＤＣＴ）の基底関数、及び８×８のサイズのＤＣＴに含まれるその形状の図である。
【図７Ａ】本願の原理の実施例により、本願の原理を施すことができる、格子サンプリング、及び対応する格子サンプリング行列による格子サンプリングの例を示す図である。
【図７Ｂ】本願の原理の実施例により、本願の原理を施すことができる、格子サンプリング、及び対応する格子サンプリング行列による格子サンプリングの例を示す図である。
【図８】本願の原理の実施例により、何れかの前述のサンプリング格子における全コセットを再配置することができる例示的なダウンサンプリングされた矩形グリッドの図である。
【図９】本願の原理の実施例による、多格子信号変換による、ピクチャの位置適応的スパース性ベースのフィルタリングの例示的な方法を示すフロー図である。
【図１０Ａ】本願の原理の実施例により、本願の原理を施すことができる４×４のＤＣＴ変換の１６個の考えられる平行移動のうちの４つのうちの個別の１つの図である。
【図１０Ｂ】本願の原理の実施例により、本願の原理を施すことができる４×４のＤＣＴ変換の１６個の考えられる平行移動のうちの４つのうちの個別の１つの図である。
【図１０Ｃ】本願の原理の実施例により、本願の原理を施すことができる４×４のＤＣＴ変換の１６個の考えられる平行移動のうちの４つのうちの個別の１つの図である。
【図１０Ｄ】本願の原理の実施例により、本願の原理を施すことができる４×４のＤＣＴ変換の１６個の考えられる平行移動のうちの４つのうちの個別の１つの図である。
【発明を実施するための形態】
【００２６】
本発明の前述並びに他の局面、構成及び効果は、添付図面とともに読まれる例示的な実施例の以下の詳細な説明から明らかになるであろう。
【００２７】
本願の原理は、以下の例示的な図により、更に詳細に理解することができる。
【実施例】
【００２８】
本願の原理は、多格子スパース性ベースのフィルタリングのための方法及び装置に関する。
【００２９】
本明細書及び特許請求の範囲は、本願の原理を示す。よって、本明細書及び特許請求の範囲に明示的に説明し、又は示している訳でないが、本願の原理を実施し、その趣旨及び範囲内に含まれる種々の配置を当業者が考え出すことができるであろう。
【００３０】
本明細書及び特許請求の範囲記載の例及び条件付文言は全て、本願の原理、及び当該技術分野を発展させるために本願の発明者が貢献する概念の、読者の理解を支援するための教示の目的を意図しており、前述の、特記した例及び条件への限定なしであると解するものとする。
【００３１】
更に、本願の原理、局面、及び実施例、並びにそれらの具体例を記載した、本明細書及び特許請求の範囲の記載は全て、その構造的均等物及び機能的均等物を包含することを意図している。更に、前述の均等物は、現在知られている均等物、及び将来に開発される均等物（すなわち、構造にかかわらず、同じ機能を行う、開発された何れかの構成要素）をともに含むことが意図されている。
【００３２】
よって、例えば、本明細書及び特許請求の範囲に提示されたブロック図が、本願の原理を実施する例証的な回路の概念図を表すことは当業者によって理解されるであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コード等は何れも、コンピュータ読み取り可能な媒体において実質的に表し、コンピュータ又はプロセッサにより、前述のコンピュータ又はプロセッサが明記されているかにかかわらず、実行し得る種々の処理を表す。
【００３３】
図に示す種々の構成要素の機能は、専用ハードウェア、及び適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアの使用によって備えることができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって提供されるか、単一の共有プロセッサによって提供されるか、又は、複数の個々のプロセッサ（この一部は共有であり得る）によって提供され得る。更に、「プロセッサ」又は「コントローラ」の語を明示的に使用していることは、ソフトウェアを実行することができるハードウェアを専ら表すものと解するべきでなく、暗黙的には、限定列挙でないが、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）及び不揮発性記憶装置を含み得る。
【００３４】
他のハードウェア（汎用及び／又はカスタム）も含まれ得る。同様に、図に示すスイッチは何れも概念のみである。その機能は、プログラム・ロジックの動作により、専用ロジックにより、プログラム制御及び専用ロジックの相互作用により、又は手作業によって行うことができ、特定の手法は、コンテキストから更に具体的に分かるように実現者によって選択可能である。
【００３５】
本願の特許請求の範囲では、特定の機能を行う手段として表される構成要素は何れも、その機能を行う何れの手段（例えば、ａ）その機能を行う回路構成要素の組合せや、ｂ）機能を行うためにそのソフトウェアを実行する適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む、何れかの形態のソフトウェア）も包含することが意図される。前述の特許請求の範囲で規定された本願の原理は、記載された種々の手段によって提供される機能が、請求項が要求するやり方で組合せられ、集約されるということに存在する。よって、前述の機能を提供することが可能な手段は何れも、本願の明細書及び特許請求の範囲記載のものと均等であるとみなされる。
【００３６】
本願明細書における、本願の原理の「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ａｎ ｅｍｂｏｄｉｍｅｎｔ」への言及は、本願の実施例に関して説明した特定の構成、構造又は特性等が本願の原理の少なくとも一実施例に含まれていることを意味している。よって、本明細書全体の種々の箇所に記載された「ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ」の句は、必ずしも、同じ実施例を全て表している訳でない。
【００３７】
本明細書及び特許請求の範囲では、「ピクチャ」の語は、静止ビデオ及び動画ビデオに関する画像及び／又はピクチャを含む画像及び／又はピクチャに関する。
【００３８】
更に、本明細書及び特許請求の範囲記載の「スパース性」という語は、変換領域において信号が有する非ゼロ係数が少ない場合を表す。例として、５つの非ゼロ係数を有する変換表現を備えた信号は、同じ変換フレームワークを使用した、１０個の非ゼロ係数を有する別の信号よりもスパース性が高い表現を有する。
【００３９】
更に、本明細書及び特許請求の範囲記載の、ピクチャのサブサンプリングに関して使用される「格子」又は「格子ベースの」の語は、空間的に連続したサンプル及び／又は連続していないサンプルの特定の構造化パターンによって選択される。例では、前述のパターンは、矩形パターンなどの幾何パターンであり得る。
【００４０】
更に、本明細書及び特許請求の範囲記載の「局所」の語は、画素位置レベルに対する関心の項目（限定列挙でないが、平均雑音エネルギ、平均振幅の尺度、又は重みの尺度の微分を含む）、及び／又は、ピクチャ内の画素の局所化近傍、又は画素に対応する関心の項目の関係を表す。
【００４１】
更に、本明細書及び特許請求の範囲記載の「大局」の語は、ピクチャ・レベルに対する関心の項目（限定列挙でないが、平均雑音エネルギ、平均振幅の尺度、又は重みの尺度の微分を含む）、及び／又は、ピクチャ又は系列の画素全体に対応する関心の項目の関係を表す。
【００４２】
図３に移れば、多格子信号変換を備えた、ピクチャの例示的な位置適応的スパース性ベースのフィルタ全体を参照符号３００で示す。
【００４３】
ダウンサンプル及びサンプル配置モジュール３０２は、変換モジュール（変換行列１を有する）３１２の入力、変換モジュール（変換行列２を有する）３１４の入力、及び変換モジュール（変換行列Ｍを有する）３１６の入力と信号通信する出力を有する。
【００４４】
ダウンサンプル及びサンプル再配置モジュール３０４は、変換モジュール（変換行列１を有する）３１８の入力、変換モジュール（変換行列２を有する）３２０の入力、及び変換モジュール（変換行列Ｍを有する）３２２の入力と信号通信する出力を有する。
【００４５】
変換モジュール（変換行列１を有する）３１２の出力は、雑音除去係数モジュール３３０の入力と信号通信で接続される。変換モジュール（変換行列２を有する）３１４の出力は、雑音除去係数モジュール３３２の入力と信号通信で接続される。変換モジュール（変換行列Ｍを有する）３１６の出力は、雑音除去係数モジュール３３４の入力と信号通信で接続される。
【００４６】
変換モジュール（変換行列１を有する）３１８の出力は、雑音除去係数モジュール３３６の入力と信号通信で接続される。変換モジュール（変換行列２を有する）３２０の出力は、雑音除去係数モジュール３３８の入力と信号通信で接続される。変換モジュール（変換行列Ｍを有する）３２２の出力は、雑音除去係数モジュール３４０の入力と信号通信で接続される。
【００４７】
変換モジュール（変換行列１を有する）３０６の出力は、雑音除去係数モジュール３２４の入力と信号通信で接続される。変換モジュール（変換行列２を有する）の出力は、雑音除去係数モジュール３２６の入力と信号通信で接続される。変換モジュールＭ（変換行列Ｎを有する）３１０の出力は、雑音除去係数モジュール３２８の入力と信号通信で接続される。
【００４８】
雑音除去係数モジュール３２４の出力、雑音除去係数モジュール３２６の出力、及び雑音除去係数モジュール３２８の出力はそれぞれ、逆変換モジュール（逆変換行列１を有する）３４２の入力、逆変換モジュール（逆変換行列２を有する）３４４の入力、逆変換モジュール（逆変換行列Ｎを有する）３４６の入力、及び組合せ重み計算モジュール３６０の入力と信号通信で接続される。
【００４９】
雑音除去係数モジュール３３０の出力、雑音除去係数モジュール３３２の出力、及び雑音除去係数モジュール３３４の出力はそれぞれ、逆変換モジュール（逆変換行列１を有する）３４８の入力、逆変換モジュール（逆変換行列２を有する）３５０の入力、逆変換モジュール（逆変換行列Ｍを有する）３５２の入力、及び組合せ重み計算モジュール３６２の入力と信号通信で接続される。
【００５０】
雑音除去係数モジュール３３６の出力、雑音除去係数モジュール３３８の出力、及び雑音除去係数モジュール３４０の出力はそれぞれ、逆変換モジュール（逆変換行列１を有する）３５４の入力、逆変換モジュール（逆変換行列２を有する）３５６の入力、逆変換モジュール（逆変換行列Ｍを有する）３５８の入力、及び組合せ重み計算モジュール３６４の入力と信号通信で接続される。
【００５１】
逆変換モジュール（逆変換行列１を有する）３４２の出力は合成器モジュール３７６の第１の入力と信号通信で接続される。逆変換モジュール（逆変換行列２１を有する）３４４の出力は合成器３７６の第２の入力と信号通信で接続される。逆変換モジュール（逆変換行列３を有する）３４４の出力は合成器モジュール３７６の第３の入力と信号通信で接続される。逆変換モジュール（逆変換行列Ｎを有する）３４６の出力は合成器モジュール３７６の第３の入力と信号通信で接続される。
【００５２】
逆変換モジュール（逆変換行列１を有する）３４８の出力は、アップサンプル、サンプル再配置、及びマージ・コセット・モジュール３６８の第１の入力と信号通信で接続される。逆変換モジュール（逆変換行列２を有する）３５０の出力は、アップサンプル、サンプル再配置、及びマージ・コセット・モジュール３７０の第１の入力と信号通信で接続される。逆変換モジュール（逆変換行列Ｍを有する）３５２の出力は、アップサンプル、サンプル再配置、及びマージ・コセット・モジュール３７２の第１の入力と信号通信で接続される。
【００５３】
逆変換モジュール（逆変換行列１を有する）３５４の出力は、アップサンプル、サンプル再配置、及びマージ・コセット・モジュール３６８の第２の入力と信号通信で接続される。逆変換モジュール（逆変換行列２を有する）３５６の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール３７０の第２の入力と信号通信で接続される。逆変換モジュール（逆変換行列Ｍを有する）３５８の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール３７２の第２の入力と信号通信で接続される。
【００５４】
組合せ重み計算モジュール３６０の出力は、汎用組合せ重み計算モジュール３７４の第１の入力と信号通信で接続される。組合せ重み計算モジュール３６２の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール３６６の第１の入力と信号通信で接続される。組合せ重み計算モジュール３６４の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール３６６の第２の入力と信号通信で接続される。
【００５５】
アップサンプル、サンプル再配置及びマージ・コセット・モジュール３６６の出力は、汎用組合せ重み計算モジュール３７４の第２の入力と信号通信で接続される。汎用組合せ重み計算モジュール３７４の出力は、合成モジュール３７６の第４の入力と信号通信で接続される。アップサンプル、サンプル再配置及びマージ・コセット・モジュール３６８の出力は、合成器モジュール３７６の第５の入力と信号通信で接続される。アップサンプル、サンプル再配置及びマージ・コセット・モジュール３７０の出力は、合成器モジュール３７６の第６の入力と信号通信で接続される。アップサンプル、サンプル再配置及びマージ・コセット・モジュール３７２の出力は、合成器モジュール３７６の第７の入力と信号通信で接続される。
【００５６】
変換モジュール（変換行列１を有する）３０６の入力、変換モジュール（変換行列２を有する）３０８の入力、変換モジュール（変換行列Ｎを有する）３１０の入力、ダウンサンプル及びサンプル配置モジュール３０２の入力、並びに、ダウンサンプル及びサンプル配置モジュール３０４の入力は、入力画像を受け取るために、フィルタ３００の入力として利用可能である。合成器モジュール３７６の出力は、出力ピクチャを供給するために、フィルタ３００の出力として利用可能である。
【００５７】
よって、フィルタ３００は、入力データのダウンサンプリングされていない処理に対応する処理分岐、及び入力データの格子ベースのダウンサンプリングされた処理に対応する処理分岐をもたらす。フィルタ３００は、並列に処理することもしないこともあり得る一連の処理分岐をもたらす。更に、別々のいくつかの処理が、フィルタ３００の別々の構成要素それぞれによって行われるものとして説明しているが、本明細書及び特許請求の範囲記載の本願の原理の教示があれば、当業者は、前述の処理の２つ以上を組合せ、単一の構成要素（例えば、データの非並列処理の再使用を可能にするための、２つ以上の処理分岐に共通の単一の構成要素）によって行うことができ、本願の原理の趣旨を維持しながら、他の修正を施すことができる。例えば、一実施例では、合成器モジュール３７６は、本願の原理の趣旨を維持しながら、フィルタ３００外部で実現することができる。
【００５８】
更に、図３に示すように、別々の変換及びサブサンプリングによって処理することによって得られる別々のフィルタリングされた画像を混合する（又は融合させる）のための重み及びその用途の計算は、（本願の実施例に示すように）順次の計算工程によって行うことができ、又は、サブサンプリング格子及び／又は変換それぞれにおける画素それぞれを再構成するために使用される係数の量を直接考慮に入れることにより、最後の最後に単一の工程で行うことができる。
【００５９】
本明細書及び特許請求の範囲記載の本願の原理の教示があれば、当業者は、本願の原理の趣旨を維持しながら、フィルタ３００（並びに本明細書に記載したフィルタ４００及び５００）の前述及び他の変形を想定するであろう。
【００６０】
図４に移れば、多格子信号変換を備えた、ピクチャの別の例示的な位置適応的スパース性ベースのフィルタの全体を参照符号４００で示す。図３のフィルタ３００と比較して、図４のフィルタ４００は、信号解析のために、より広範囲の構造的特性を有するよう、使用される変換を適合させるために、同じ変換エンジンを、信号の別々のサブサンプリングにおいて使用することができるようにスイッチを利用する。すなわち、図４では、スイッチの組は、非ダウンサンプリング処理及びダウンサンプリング処理、並びにフィルタリング推定値重み付け手順に必要なデータ全てを計算するために、同じコア変換領域処理装置を使用することができる。
【００６１】
スイッチ４０６の出力は、変換モジュール（変換行列１を有する）４０８の入力、変換モジュール（変換行列２を有する）４１０の入力、及び変換モジュール（変換行列Ｎを有する）４１２の入力と信号通信で接続される。
【００６２】
変換モジュール（変換行列１を有する）４０８の出力は、雑音除去係数モジュール４１４の入力と信号通信で接続される。変換モジュール（変換行列２を有する）４１０の出力は、雑音除去係数モジュール４１６の入力と信号通信で接続される。変換モジュール（変換行列Ｎを有する）４１２の出力は、雑音除去係数モジュール４１８の入力と信号通信で接続される。
【００６３】
雑音除去係数モジュール４１４の出力は、逆変換部（逆変換行列１を有する）４２０の入力、逆変換部（逆変換行列２を有する）４２２の入力、逆変換部（逆変換行列Ｎを有する）４２４の入力、及び組合せ重み計算モジュール４２６の入力と信号通信で接続される。
【００６４】
変換モジュール（変換行列１を有する）４２０の出力は、スイッチ４２８の入力と信号通信で接続される。変換モジュール（変換行列２を有する）４２２の出力は、スイッチ４３０の入力と信号通信で接続される。変換モジュール（変換行列Ｎを有する）４２４の出力は、スイッチ４３２の入力と信号通信で接続される。
【００６５】
組合せ重み計算モジュール４２６の出力は、スイッチ４３４の入力と信号通信で接続される。スイッチ４３４の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３６の第１の入力、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３６の第２の入力、及び汎用組合せ重み計算モジュール４４４の第１の入力と信号通信で選択的に接続される。アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３６の出力は、汎用組合せ重み計算モジュール４４４の第２の入力と信号通信で接続される。汎用組合せ重み計算モジュール４４４の出力は、合成モジュール４４６の第１の入力と信号通信で接続される。
【００６６】
スイッチ４２８の第１の出力は、合成器モジュール４４６の第２の入力と信号通信で接続される。スイッチ４２８の第２の出力が、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３８の第２の入力と信号通信で接続される。スイッチ４２８の第３の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３８の第３の入力と信号通信で接続される。
【００６７】
スイッチ４３０の第１の出力は、合成器モジュール４４６の第３の入力と信号通信で接続される。スイッチ４３０の第２の出力が、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４４０の第２の入力と信号通信で接続される。スイッチ４３０の第３の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４４０の第３の入力と信号通信で接続される。
【００６８】
スイッチ４３２の第１の出力は、合成器モジュール４４６の第４の入力と信号通信で接続される。スイッチ４３２の第２の出力が、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４４２の第２の入力と信号通信で接続される。スイッチ４３２の第３の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４４２の第３の入力と信号通信で接続される。
【００６９】
アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３８の出力は合成器モジュール４４６の第５の入力と信号通信で接続される。アップサンプル、サンプル再配置及びマージ・コセット・モジュール４４０の出力は、合成器モジュール４４６の第６の入力と信号通信で接続される。アップサンプル、サンプル配置及びマージ・コセット・モジュール４４２の出力は、合成器モジュール４４６の第７の入力と信号通信で接続される。
【００７０】
ダウンサンプル及びサンプル再配置モジュール４０２の出力はスイッチ４０６の第２の入力と信号通信で接続される。ダウンサンプル及びサンプル再配置モジュール４０４の出力は、スイッチ４０６の第３の入力と信号通信で接続される。
【００７１】
スイッチ４０６の第１の入力、並びに、ダウンサンプル及びサンプル再配置モジュール４０２の入力、及びダウンサンプル及びサンプル再配置モジュール４０４の入力はそれぞれ、入力画像を受け取るためにフィルタ４００の入力として利用可能である。合成モジュール４４６の出力は、出力画像を供給するために、フィルタ４００の出力として利用可能である。
【００７２】
図５に移れば、多格子信号変換を備えた、ピクチャの更に別の例示的な位置適応的スパース性ベースのフィルタの全体を参照符号５００で示す。図５のフィルタ５００では、変換の冗長な組が単一のブロックにパッキングされる。図５００では、考えられる別々の２つの冗長性変換Ａ及びＢの組を検討する。最終的には、Ａ及びＢは、同じ冗長な変換の組であってもなくてもよい。
【００７３】
ダウンサンプル及びサンプル再配置モジュール５０２の出力は、順変換モジュール（変換Ｂの冗長な組を有する）５０８の入力と信号通信で接続される。ダウンサンプル及びサンプル再配置モジュール５０４の出力は、順変換モジュール（変換Ｂの冗長な組を有する）５１０の入力と信号通信で接続される。
【００７４】
順変換モジュール（変換Ａの冗長な組を有する）５０６の出力は雑音除去係数モジュール５１２と信号通信で接続される。順変換モジュール（変換Ｂの冗長な組を有する）５０８の出力は雑音除去係数モジュール５１４と信号通信で接続される。順変換モジュール（変換Ｂの冗長な組を有する）５１０の出力は雑音除去係数モジュール５１６と信号通信で接続される。
【００７５】
雑音除去係数モジュール５１２の出力は、各画素モジュール５２６に影響を及ぼす非ゼロ係数の数の計算の入力、及び逆変換モジュール（変換Ａの冗長な組を有する）５１８の入力と信号通信で接続される。雑音除去係数モジュール５１４の出力は、各画素モジュール５３０に影響を及ぼす非ゼロ係数の数の計算の入力、及び逆変換モジュール（変換Ｂの冗長な組を有する）５２０の入力と信号通信で接続される。雑音除去係数モジュール５１６の出力は、各画素モジュール５３２に影響を及ぼす非ゼロ係数の数の計算の入力、及び逆変換モジュール（変換Ｂの冗長な組を有する）５２２の入力と信号通信で接続される。
【００７６】
逆変換モジュール（変換Ａの冗長な組を有する）５１８の出力は、合成モジュール５３６の第１の入力と信号通信で接続される。逆変換モジュール（変換Ｂの冗長な組を有する）５２０の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール５２４の第１の入力と信号通信で接続される。逆変換モジュール（変換Ｂの冗長な組を有する）５２２の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール５２４の第２の入力と信号通信で接続される。
【００７７】
変換モジュール５３０毎の各画素に影響を及ぼす非ゼロ係数の数の計算の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール５２８の第１の入力と信号通信で接続される。変換モジュール５３２毎の各画素に影響を及ぼす非ゼロ係数の数の計算の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール５２８の第２の入力と信号通信で接続される。
【００７８】
アップサンプル、サンプル再配置、及びマージ・コセット・モジュール５２８の出力は、汎用組合せ重み計算モジュール５３４の第１の入力と信号通信で接続される。各画素５２６に影響を及ぼす非ゼロ係数の数の計算の出力は、汎用組合せ重み計算モジュール５３４の第２の入力と信号通信で接続される。汎用組合せ重み計算モジュール５３４の出力は、合成モジュール５３６の第２の入力と信号通信で接続される。
【００７９】
アップサンプル、サンプル再配置及びマージ・コセット・モジュール５２４の出力は、合成モジュール５３６の第３の入力と信号通信で接続される。
【００８０】
順変換モジュール（変換Ａの冗長な組を有する）５０６の入力、ダウンサンプル及びサンプル再配置モジュール５０２の入力、並びに、ダウンサンプル及びサンプル再配置モジュール５０４の入力はそれぞれ、入力画像を受け取るために、フィルタ５００の入力として利用可能である。合成モジュール５３６の出力は、出力画像を供給するために、フィルタの出力として利用可能である。
【００８１】
図５のフィルタ５００は、図３のフィルタ３００に対し、単純にし、明瞭にするために、ピクチャの冗長な表現への、関係する別々の変換を単一のボックスにパッキングする、アルゴリズムの非常にコンパクトな実現形態を提供する。変換、雑音除去、及び／又は逆変換の処理は、冗長な変換の組に含まれる変換毎に並列に行うことができてもできなくてもよい。
【００８２】
組合せ重みの算出に先行してピクチャ・データをフィルタするための、図３乃至図５に示す種々の処理分岐は、入力ピクチャの別々のバージョンを生成するという点でバージョン生成器とみなし得る。
【００８３】
前述の通り、本願の原理は、多格子スパース性ベースのフィルタリングのための方法及び装置に関する。
【００８４】
本願の原理の実施例では、規則性矩形サンプリングから、別々の空間的向きを有するいくつかの格子がサンプリングされるフィルタリング・ストラテジが提供される。空間的格子サンプリングは、限定列挙でないが、完全矩形サンプリング格子、及び５点形サンプリング格子などの格子を含み得る。次いで、スパース性近似を使用したフィルタが、サンプリングされた格子それぞれに対する特定の変換を使用して施される。格子サンプリングは、変換の基底関数の方向に変化を与える役目を担う。フィルタリング工程全てが、サンプル格子全てに対して行われると、これらは、特定の場所全てにおける最も信頼度の高いフィルタリングされた画像バージョンにより大きな重みを与えるために、局所適応的重み付け工程によって再合成される。
【００８５】
本願の原理は、フィルタリングが施される前に、適切なやり方で信号を予めサンプリングすることにより、変換の指向性の制約という課題を解決する。このようにして、指向的特性（例えば、対角線方向）を有する、平滑で高周波の特徴、テクスチャ、エッジ等を有する画像のより良好なフィルタリングを実現することが可能である。フィルタリングの改良により、客観的尺度及び主観的尺度におけるより少ない歪み、及び、符号化アプリケーション等におけるより低い符号化コストを示唆する、理想的な信号のより良好な推定につながり得る。
【００８６】
本願の原理の実施例により、フィルタリングされる対象の画像の別々の副格子サンプリングに対するいくつかのフィルタリング工程の重み付けされた組合せに基づいた画像に対する高性能の非線形フィルタが提案されている。各フィルタリング工程は、フィルタリングする対象の画像の格子サンプリングのスパース性近似によって行われる。スパース性近似は、雑音、歪み及びアーチファクトからの真の信号成分のロバストな分離を可能にする。信号及びスパース性フィルタリング手法に応じて、一部の信号領域は、１つの格子及び／又は別の格子において、より良好にフィルタリングされる。最終的な重み付けの組合せの工程は、最も適切な副格子サンプリングからの最も良好にフィルタリングされたデータの適応的な選択を可能にする。
【００８７】
したがって、本願の原理により、フィルタリングされる対象の画像の別々の副格子サンプリングに対するいくつかのフィルタリング工程の重み付けされた組合せに基づいた画像に対する高性能の非線形フィルタを開示する。方向適応的フィルタリングを構成するために格子ベースの変換を使用することを検討する。よって、フィルタリングする特定のタイプの歪み（又はアーチファクト）が特定の指向性構造を有する場合、本願の原理の実施例によれば、歪み（又はアーチファクト）が維持されないようなフィルタ方向を適応的に選択することが可能である。
【００８８】
格子の副サンプリングの変換による指向性変換：
一般に、離散コサイン変換（ＤＣＴ）は、基底関数又はプリミティブの和として信号を分解する。前述の基底関数又はプリミティブは、使用される変換に応じて別々の特性及び構造的特性を有する。図６に移れば、離散コサイン変換（ＤＣＴ）基底関数、及び８×８のサイズのＤＣＴに含まれるその形状は全体を参照符号６００で示す。基底関数６００は、２つの主な構造的向きを有するとみられる。概ね垂直方向を向いた関数が存在しており、概ね水平方向を向いた関数が存在しており、両方の格子縞模様の混合に似た種類の関数が存在している。前述の形状は、静止信号の効率的な表現、並びに垂直方向及び水平方向の形状の信号成分の効率的な表現に適切である。しかし、指向的特性を有する信号の部分は、前述の変換によって効率的に表されない。一般に、ＤＣＴの例のように、大半の変換基底関数は、限定された種類の指向性成分を有する。
【００８９】
変換の分解の方向を修正する１つのやり方は、ディジタル画像の別々のサブサンプリングにおける前述の変換を使用することである。実際には、画素の相補的な部分集合（又はコセット）において、２Ｄサンプリングされた画像を分解することが可能である。前述のサンプルのコセットは、特定のサンプリング・パターンによって行うことが可能である。サブサンプリング・パターンは、指向性を有しているように確立することが可能である。固定の変換と組み合わせたサブサンプリング・パターンによって課される前述の向きは、一連の所望の方向に変換の分解の方向を適応させるために使用することが可能である。
【００９０】
画像サブサンプリングの実施例では、サンプリング格子を、一意でない生成器行列によって表すことが可能な整数格子サブサンプリングを使用することが可能である。何れの格子∧（すなわち、立方体整数格子
【数１】
の副格子）も一意でない生成器行列：
【００９１】
【数２】
で表すことが可能である。
【００９２】
相補的なコセットの数は、上記行列の行列式によって表される。更に、ｄ１及びｄ２は、２Ｄ座標平面におけるサンプリング格子の主方向に関係し得る。図７Ａ及び図７Ｂに移れば、本願の原理を施すことができる、対応する格子サンプリング行列による格子サンプリングの例の全体を参照符号７００及び７５０それぞれによって示す。図７Ａでは、５点形格子サンプリングを示す。５点形格子サンプリングに関する２つのコセットのうちの１つを黒色の点（埋めた点）で示す。相補的なコセットは、ｘ／ｙ軸の方向における１−シフトによって得られる。図７Ｂでは、別の指向性格子サンプリングを示す。考えられる４つのコセットのうちの２つを黒色の点及び白色の点で示す。矢印は、格子サンプリングの主方向を表す。当業者は、格子サンプリング上の主方向（矢印）及び格子行列の間の関係を認識することが可能である。
【００９３】
生成器行列は、サンプリング空間、例えば、指向性５点形、及び規則的な矩形グリッドの両方の間のマッピング行列である。完全な格子に対する一サンプリング格子の座標軸間の暗黙の回転が存在しているということが分かる。両方のサンプリング格子間のマッピングはよって、
【数３】
として表すことが可能である。ここで、
【数４】
は矩形グリッドにおけるサンプル座標であり、
【数５】
は格子グリッド（例えば、５点形）におけるサンプル座標であり、
【数６】
は、生成器行列に関連付けられた相補的コセット格子それぞれを選択するために、（図７に例証されたような）シフト・ベクトルを表す。行列に応じて、より多くのシフト・ベクトル、又はより少ないシフト・ベクトルが存在する。
【００９４】
前述のサンプリング格子の何れかにおけるコセットは全て、ダウンサンプリングされた矩形グリッドにおいて全体的に再配置し得る（例えば、回転させ得る）ように整合させる。このことは、格子サブサンプリングされた信号に対する、矩形グリッドに適した何れかの変換（２Ｄ ＤＣＴなど）をその後、施すことを可能にする。図８に移れば、何れかの前述のサンプリング格子における全コセットを再配置することが可能である例示的なダウンサンプリングされた矩形グリッドの全体を参照符号８００で示す。
【００９５】
格子分解、格子再配置、２Ｄ変換、及び逆処理の個別の組は、任意の向きを有する２Ｄ信号変換の実現を可能にする。
【００９６】
向き適応的フィルタリングの場合の多格子ピクチャ処理
一実施例では、ピクチャの適応的フィルタリングに、ピクチャの少なくとも２つのサンプリングを使用することが提案されている。一実施例では、ＤＣＴ係数閾値化などの同じフィルタリング・ストラテジを再使用し、指向性適応的フィルタリングに一般化することが可能である。
【００９７】
少なくとも２つの格子サンプリング／サブサンプリングのうちの１つが、例えば、特定のピクチャの元のサンプリング・グリッド（すなわち、ピクチャの非サブサンプリング）であり得る。一実施例では、少なくとも２つのサンプリングのうちの別のものは、いわゆる「５点形」格子サブサンプリングであり得る。前述のサブサンプリングは、１つおきの画素の対角線方向に整合されたサンプリング上に配置された２つのサンプリング・コセットで構成される。
【００９８】
一実施例では、少なくとも２つの格子サンプリング／サブサンプリングの組合せが、図９、３及び４に表すように、適応的フィルタリングについて、本発明において使用される。
【００９９】
図９に移れば、多格子信号変換による、ピクチャの位置適応的スパース性ベースのフィルタリングの例示的な方法全体を参照符号９００で示す。図９の方法９００は、ディジタル画像の一連の再配置された整数格子サブサンプリングに対して、変換領域においてスパース性ベースのフィルタリングを施すことに対応する。
【０１００】
方法９００は、関数ブロック９１０に制御を渡す開始ブロック９０５を含む。関数ブロック９１０は、副格子画像分解の考えられるファミリーの形状及び数を設定し、制御をループ限度ブロック９１５に渡す。ループ限度ブロック９１５は、変数ｊを使用して、（副）格子の全ファミリーのループを行い、制御を関数ブロック９２０に渡す。機能ブロック９２０は、画像をダウンサンプルし、副格子ｊのファミリーに応じたＮ個の副格子（副格子の合計数は全ファミリーｊに依存する）に分割し、制御をループ限度ブロック９２５に渡す。ループ限度ブロック９２５は、変数ｋ（合計量はファミリーｊに依存する）を使用して副格子毎のループを行い、制御を関数ブロック９３０に渡す。関数ブロック９３０は、（例えば、配置Ａ（ｊ，ｋ）からＢに）サンプルを再配置し、制御をループ限度ブロック９３５に渡す。ループ限度ブロック９３５は、変数ｉの値毎にループを行い、制御を関数ブロック９４０に渡す。関数ブロック９４０は、変数行列ｉで変換を行い、制御を関数ブロック９４５に渡す。関数ブロック９４５は、係数をフィルタリングし、制御を関数ブロック９５０に渡す。機能ブロック９５０は、逆変換行列ｉで逆変換を行い、制御をループ限度ブロック９５５に渡す。ループ限度ブロック９５５は、変数ｉの各値にわたるループを終了し、制御を機能ブロック９６０に渡す。機能ブロック９６０は、（配置ＢからＡ（ｊ，ｋ）に）サンプルを再配置し、制御をループ限度ブロック９６５に渡す。ループ限度ブロック９６５は、変数ｋの各値にわたるループを終了し、制御を関数ブロック９７０に渡す。機能ブロック９７０は、副格子をアップサンプリングし、副格子ｊのファミリーに応じてマージし、制御をループ限度ブロック９７５に渡す。ループ限度ブロック９７５は、変数ｊの各値にわたるループを終了し、制御を機能ブロック９８０に渡す。機能ブロック９８０は、雑音除去係数画像の別々の逆変換バージョン（の局所適応的加重和）を合成し、制御を終了ブロック９９９に渡す。
【０１０１】
図９を参照すれば、一実施例では、一連のフィルタリングされたピクチャが、変換領域フィルタリングの使用によって生成され、変換領域フィルタリングは、同様に、ピクチャの別々のサブサンプリングにおいて別々の変換を使用する。最終フィルタリング画像は、フィルタリングされたピクチャそれぞれの局所適応的加重和として計算される。
【０１０２】
一実施例では、ディジタル画像の何れかの再配置された整数格子サブサンプリングに施された変換の組は、２Ｄ ＤＣＴの考えられる平行移動全てによって形成される。これは、ＤＣＴブロック変換の場合、ピクチャのブロック・ベースの区分のための、４×４ＤＣＴの合計１６個の考えられる平行移動が存在していることを示唆している。同様に、６４が、８×８のＤＣＴの考えられる平行移動の合計数となる。この例は、図１０Ａ乃至図１０Ｄで分かる。図１０Ａ乃至図１０Ｄに移れば、画像のＤＣＴ変換のブロック区分の例示的な考えられる平行移動は全体を参照符号１０１０、１０２０、１０３０及び１０４０で示す。図１０Ａ乃至図１０Ｄはそれぞれ、４×４ＤＣＴ変換の１６個の考えられる平行移動のうちの４個のうちの１つを示す。変換サイズよりも小さい不完全境界ブロックは、例えば、特定のパディング又は画像拡張を使用して、事実上、拡張することが可能である。ピクチャの境界上の、変換サイズよりも小さな区分は、パディング又は特定の種類のピクチャ拡張によって事実上拡張することが可能である。これは、画像ブロック全てにおける同じ変換サイズの使用を可能にする。図９は、副格子それぞれ（本願の例では、２つの５点形コセットそれぞれ）に、本願の例における前述の平行移動ＤＣＴの組が施されるということを示す。
【０１０３】
一実施例では、フィルタリング処理は、全格子サブサンプリングの平行移動された変換全ての変換係数を閾値化することにより、変換段階のコアにおいて行うことが可能である。前述の目的の閾値の値は限定列挙でないが、局所信号特性、ユーザの選択、局所統計、大局統計、局所雑音、大局雑音、除去に予め指定された信号成分の統計、及び除去に予め指定された信号成分の特性のうちの１つ又は複数に依存し得る。閾値化工程後、全変換格子サブサンプリングは逆変換される。相補的コセットの全ての組が、その元のサンプリング手法に回転させられ、アップサンプリングされ、マージされる（元のピクチャの元のサンプリング・グリッドを回復するために）。変換が、ピクチャの元のサンプリングに直接施された特定の場合、回転、アップサンプリング、及びサンプル・マ―ジが必要である。
【０１０４】
最後に、図９によれば、違ったふうにフィルタリングされたピクチャは全て、全ての重み付けられた加算により、一ピクチャに混合する。これは、以下のやり方で行われる。Ｉ’ｉを、閾値化によってフィルタリングされる別々の画像それぞれとし、Ｉ’ｉは全て、フィルタリング処理中、サブサンプリングを受けているか、又は受けていないピクチャの何れかのＤＣＴの平行移動の閾値化後の、再構成されたピクチャの何れかに対応し得る。Ｗｉを、Ｉ’ｉにおけるそのコロケートされた画素に関連付けられた重みを全画素が含む重みのピクチャとする。その場合、最終推定値Ｉ’finalは、
【数７】
として得られる。ここで、ｘ及びｙは空間座標を表す。
【０１０５】
Ｗｉ（ｘ，ｙ）を計算するために、先行する式において使用された場合、全位置で、変換領域において高スパース性の局所の表現を有するＩ’ｉ（ｘ，ｙ）は、より大きな重みを有する。閾値化後の、変換のうちの、スパース性が高い変換から得られるＩ’ｉ（ｘ．ｙ）が、最低量の雑音／歪みを含む。一実施例では、Ｗｉ（ｘ，ｙ）行列が、Ｉ’ｉ（ｘ，ｙ）毎に、（サブサンプリングされていないフィルタリングから、かつ格子サブサンプリング・ベースのフィルタリングについて）得られる。格子サブサンプリング手順を経た、Ｉ’ｉ（ｘ，ｙ）に対応するＷｉ（ｘ，ｙ）は、フィルタリングされたサブサンプル画像（すなわち、回転、アップサンプリング及びマージの前）毎の別個のＷｉ．ｃｏｓｅｔ(j)（ｘ，ｙ）の生成によって得られ、次いで、Ｉ’ｉ（ｘ．ｙ）に対応する別のＷｉ．ｃｏｓｅｔ(j)（ｘ，ｙ）は、その相補的なサブサンプリングされた成分からＩ’ｉ（ｘ．ｙ）を再構成するために行われるように回転させられ、アップサンプリングされ、マージされる。よって、一例では、フィルタリング処理中に５点形サブサンプリングを経た、フィルタリングされた画像は全て、２つの重みサブサンプリングされた行列を有する。これらは次いで、その対応するＩ’ｉ（ｘ．ｙ）に使用する対象の１つの単一の重み付け行列に回転させ、アップサンプリングし、マージすることが可能である。
【０１０６】
一実施例では、Ｗｉ．ｃｏｓｅｔ(j)（ｘ，ｙ）それぞれの生成は、Ｗｉ（ｘ，ｙ）と同様に行われる。各画素は、前述の画素が含まれるブロック変換の非ゼロ係数の量から得られる。一例では、Ｗｉ．ｃｏｓｅｔ(j)（ｘ，ｙ）（及びＷｉ（ｘ，ｙ））は、画素それぞれを含むブロック変換内の非ゼロ係数の量と反比例するように画素毎に計算することが可能である。この手法によれば、Ｗｉ（ｘ，ｙ）における重みは、Ｉ’ｉ（ｘ．ｙ）を生成するために使用される変換と同じブロック構造を有する。
【０１０７】
多格子スパース性ベースのフィルタリングの例示的な適用例は、限定列挙でないが、ピクチャ雑音除去、ピクチャ・アーチファクト解除、一部の他の後処理の目的、ビデオ符号化器／復号化器内のアーチファクト解除のためのインループ・フィルタリング、フィルム・グレイン除去のためのビデオ・データの前処理等を含む。
【０１０８】
次に、本発明の多くの付随的な利点／特徴の一部について説明する。この一部は上述している。例えば、一利点／特徴は、ピクチャのフィルタリングされた少なくとも２つのバージョンの適応的に重み付けられた組合せを生成するためにピクチャのピクチャ・データをフィルタリングするフィルタを有する装置である。ピクチャ・データは、ピクチャの少なくとも１つのサブサンプリングを含む。
【０１０９】
別の利点／特徴は、前述のフィルタを有する装置であり、ピクチャの少なくとも２つのフィルタリングされたバージョンの少なくとも１つが、ピクチャの少なくとも１つのサブサンプリングにフィルタを施すことによって生成される。ピクチャの少なくとも１つのサブサンプリングは、ピクチャの少なくとも一部分を表す値の少なくとも１つの２次元パターンを含む。
【０１１０】
更に別の利点／特徴は、前述のフィルタを有する装置であり、ピクチャ・データは、ピクチャの別々の２つのサンプリングを含み、フィルタをピクチャの別々の少なくとも２つのサンプリングに施して、ピクチャのフィルタリングされた少なくとも２つのバージョンを生成する。別々の少なくとも２つのサンプリングは、ピクチャの少なくとも１つのサブサンプリングを含む。
【０１１１】
更に別の利点／特徴は、前述のフィルタを有する装置であり、フィルタは線形及び非線形の少なくとも一方である。
【０１１２】
更に、別の利点／特徴は、前述のフィルタを有する装置であり。ピクチャ・データは係数に変換され、フィルタは、信号スパース性制約に基づいて変換領域において係数をフィルタリングする。
更に、別の利点／特徴は、前述の信号スパース性制約に基づいて変換領域において係数をフィルタリングするフィルタを有する装置であり、適応的に重み付けされた組合せは、変換領域におけるフィルタリングされた係数のスパース性の尺度に基づく。
【０１１３】
更に、別の利点／特徴は、前述の信号スパース性制約に基づいて変換領域において係数をフィルタリングするフィルタを有する装置であり、変換された領域は、少なくとも１つの冗長性変換、及び少なくとも１つの組の変換の少なくとも一方に対する応答性を有する。
【０１１４】
更に、別の利点／特徴は、前述の信号スパース性制約に基づいて変換領域において係数をフィルタリングするフィルタを有する装置であって、係数が、少なくとも１つの閾値を使用して変換領域においてフィルタリングされる。
【０１１５】
更に、別の利点／特徴は、前述の少なくとも１つの閾値を使用して、変換領域において係数をフィルタリングするフィルタを有する装置であり、少なくとも１つの閾値は、ユーザ選択、局所信号特性、大局信号特性、局所信号統計、大局信号統計、局所歪み、大局歪み、局所雑音、大局雑音、除去のために予め指定された信号成分の統計、除去に予め指定された信号成分の特性、ピクチャ・データを含む入力信号の信号成分の統計、及びピクチャ・データを含む入力信号の信号成分の統計、並びにピクチャ・データを含む入力信号の信号成分の特性のうちの少なくとも１つに応じた、局所的な適応性を有する。
【０１１６】
更に、別の利点／構成は、上述のフィルタを有する装置であり、上記装置はビデオ符号化器内に含まれる。
【０１１７】
更に、別の利点／構成は、上述のフィルタを有する装置であり、上記装置はビデオ復号化器内に含まれる。
【０１１８】
更に、別の利点／特徴は、上述のフィルタを有する装置であり、少なくとも１つの２次元の値パターンは、ピクチャの少なくとも一部分を表す少なくとも１つの２次元幾何パターンを含む。
【０１１９】
更に、別の利点／特徴は、上述のフィルタを有する装置であり、フィルタは、バージョン生成器、重み算出器、及び合成器を含む。バージョン生成器は、ピクチャの少なくとも２つのフィルタリングされたバージョンを生成する。重み算出器は、ピクチャの少なくとも２つのフィルタリングされたバージョンそれぞれの重みを算出する。合成器は、ピクチャの少なくとも２つのフィルタリングされたバージョンの適応的に重み付けられた組合せを適応的に算出する。
【０１２０】
本願の原理の前述並びに他の特徴及び利点は、本明細書及び特許請求の範囲記載の教示に基づいて、当業者が容易に確かめることができる。本願の原理の教示は、種々の形態のハードウェア、ソフトウェア、ファームウェア、特殊用途向プロセッサ、又はそれらの組み合わせで実現することができる。
【０１２１】
最も好ましくは、本願の原理の教示は、ハードウェア及びソフトウェアの組合せとして実現される。更に、ソフトウェアは、プログラム記憶装置上に有形に実施されたアプリケーション・プログラムとして実現することができる。アプリケーション・プログラムは、何れかの適切なアーキテクチャを有するマシンにアップロードし、前述のマシンによって実行することができる。好ましくは、マシンは、１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）や、入出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上に実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、ＣＰＵによって実行することができるアプリケーション・プログラムの一部若しくはマイクロ命令コードの一部（又はそれらの組み合わせ）であり得る。更に、種々の他の周辺装置を、更なるデータ記憶装置や、印刷装置などのコンピュータ・プラットフォームに接続することができる。
【０１２２】
添付図面に表す構成システム部分及び方法の一部は好ましくはソフトウェアで実現されるので、システム部分（又は処理機能ブロック）間の実際の接続は、本願の原理がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲記載の教示があれば、当業者は、本願の原理の前述及び同様な実現形態又は構成に想到することができるであろう。
【０１２３】
例証的な実施例を添付図面を参照して本明細書及び特許請求の範囲において記載しているが、本願の原理は上述のまさにその実施例に限定されず、本願の原理の範囲又は趣旨から逸脱しない限り、種々の変更及び修正を当業者により、本願の原理において行うことができる。前述の変更及び修正は全て、特許請求の範囲記載の本願の原理の範囲内に含まれることが意図されている。
【技術分野】
【０００１】
本出願は、その内容全部を本明細書及び特許請求の範囲に援用する、西暦２００７年６月８日付出願の米国特許仮出願第６０／９４２６７７号の利益を主張する。
【０００２】
本願の原理は、一般に、画像フィルタリングに関し、特に、多格子スパース性ベースのフィルタリングのための方法及び装置に関する。
【背景技術】
【０００３】
画像の汎用ロバスト・フィルタリングは、何れかのディジタル手順（例えば、予測、圧縮、アップスケーリング、獲得等など）から発出される低精度信号からの画像の高精度推定値を生成する必要がある多くのアプリケーションにとって必須である。
【０００４】
多くのディジタル処理により、雑音、アーチファクト、及び／又は他のタイプの歪みが画像に挿入される。この目的で、スパース性近似に基づいたロバスト・フィルタリングを使用することが可能である。通常、スパース性近似を使用した前述のフィルタリングには、信号変換、変換された信号係数の閾値化（例えば、特定の値未満の係数全てをゼロに設定することが関係する）、及び空間領域への変換という手順が関係する。
【０００５】
この目的で、完全変換及び／又は過完全変換を使用することが可能である。変換は、限定数の主方向を有する。これは、変換における基底関数が、限定数の方向に指向性特性を有するということを意味している。例として、２Ｄ ＤＣＴ（２次元離散コサイン変換）の基底関数は、画像及びビデオに使用される矩形サンプリング・グリッド上に２つの方向（すなわち、垂直方向及び水平方向）を有する。このことは困難な制約である。変換が定義されると、使用される変換の純粋の「固有の」方向（例えば、対角線方向のエッジ、指向性のテクスチャ等）とは別の方向を有する画像における信号構造を効率的にフィルタリングする能力が限られるからである。
【０００６】
第１の従来技術手法では、画像の雑音除去のための適応的フィルタリングが、冗長性変換の使用に基づいて提案されている。第１の従来技術手法では、冗長性変換は、特定の変換Ｈの考えられる平行移動Ｈｉ全てによって生成される。よって、画像Ｉがあれば、画像Ｉの一連の別々の変換バージョンＹｉが、変換ＨｉをＩに施すことによって生成される。変換バージョンＹｉは全て、次いで、変換係数に含まれた雑音を削減するために、係数雑音除去手順（通常、閾値処理）によって処理される。これにより、一連のＹ’ｉが生成される。その後、Ｙ’ｉそれぞれは空間領域に変換され、別々の推定値Ｉ’ｉ（そのそれぞれでは、より低い量の雑音が存在する）になる。第１の従来技術手法は、別々のＩ’ｉが、別々の位置について最善の雑音除去バージョンＩを含む。よって、最終的なフィルタリングされたバージョンＩ’を、Ｉ’ｉの加重和として推定し、最善のＩ’ｉが、Ｉ’の全位置で好ましいように最適化される。図１及び図２は、この第１の従来技術の手法に関する。
【０００７】
図１に移れば、従来技術における、ピクチャの位置適応的スパース性ベースのフィルタリングのための装置の全体を参照符号１００で示す。
【０００８】
装置１００は、第１の雑音除去係数モジュール１２０の入力と信号通信で接続された出力を有する第１の変換モジュール（変換行列１を有する）１０５を含む。第１の雑音除去係数モジュール１２０の出力は、第１の逆変換モジュール（逆変換行列１を有する）１３５の入力、組合せ重み計算モジュール１５０の入力、及びＮ番目の逆変換モジュール（逆変換行列Ｎ）１４５の入力と信号通信で接続される。第１の逆変換モジュール（逆変換行列１を有する）１３５の出力が合成器１５５の第１の入力と信号通信で接続される。
【０００９】
第２の変換モジュール（変換行列２を有する）１１０の出力は、第２の雑音除去係数モジュール１２５の入力と信号通信で接続される。第２の雑音除去係数モジュール１２５の出力は、第２の逆変換モジュール（逆変換行列２を有する）１４０の入力、組合せ重み計算モジュール１５０の入力、及びＮ番目の逆変換モジュール（逆変換行列Ｎを有する）１４５の入力と信号通信で接続される。第２の逆変換モジュール（逆変換行列２を有する）１４０の出力は合成器１５５の第２の入力と信号通信で接続される。
【００１０】
Ｎ番目の変換モジュール（変換行列Ｎを有する）１１５の出力は、Ｎ番目の雑音除去係数モジュール１３０の入力と信号通信で接続される。Ｎ番目の雑音除去係数モジュール１３０の出力は、Ｎ番目の逆変換モジュール（逆変換行列Ｎを有する）１４５の入力、組合せ重み計算モジュール１５０の入力、及び第１の逆変換モジュール（逆変換系列１を有する）１３５の入力と信号通信で接続される。Ｎ番目の逆変換モジュール（逆変換行列Ｎを有する）の出力は、合成器１５５の第３の入力と信号通信で接続される。
【００１１】
組合せ重み計算モジュール１５０の出力は、合成器１５５の第４の入力と信号通信で接続される。
【００１２】
第１の変換モジュール（変換行列１を有する）１０５の入力、第２の変換モジュール（変換行列２を有する）１１０の入力、及びＮ番目の変換モジュール（変換行列Ｎを有する）１１５の入力が、入力画像を受け取るために、装置１００の入力として利用可能である。合成器１５５の出力は、出力画像を供給するために、装置１００の出力として利用可能である。
【００１３】
図２に移れば、従来技術による、ピクチャの位置適応的スパース性ベースのフィルタリングのための方法の全体を参照符号２００で示す。
【００１４】
方法２００は、制御をループ限度ブロック２１０に渡す開始ブロック２０５を含む。ループ限度ブロック２１０は、変数ｉの値毎にループを行い、制御を関数ブロック２１５に渡す。関数ブロック２１５は、変換行列ｉで変換を行い、制御を関数ブロック２２０に渡す。関数ブロック２２０は、雑音除去係数を求め、制御を関数ブロック２２５に渡す。関数ブロック２２５は、逆変換行列ｉで逆変換を行い、制御をループ限度ブロック２３０に渡す。ループ限度ブロック２３０は、変数ｉの各値にわたるループを終了し、制御を機能ブロック２３５に渡す。機能ブロック２３５は、雑音除去係数画像の別々の逆変換バージョンの合成（例えば、局所適応的加重和）を行う。
【００１５】
重み付け手法には種々のものがあり得る。重み付け手法は、フィルタリングする対象のデータ、データに対して使用する変換、及びフィルタリングする対象の雑音／歪みに対する統計的な前提のうちの少なくとも１つに依存し得る。
【００１６】
第１の従来技術手法は各Ｈｉを直交変換とみなす。更に、各Ｈｉを、ウェーブレットやＤＣＴなどの特定の２Ｄ直交変換の平行移動されたバージョンとみなす。これを考慮に入れれば、第１の従来技術の手法は、特定の直交変換が限定量の解析の方向を有するということを考慮に入れていない。よって、ＤＣＴの考えられる変換全てが、Ｉの過完全表現を生成するために使用されても、Ｉは、Ｉの特定の成分と無関係に、垂直方向の成分及び水平方向の成分に一意に分解されることになる。
【００１７】
第２の従来技術手法は、第１の従来技術手法に対する何れの新たな概念ももたらさず、単に、第１の従来技術手法と同じアルゴリズムが、国際標準化機構／国際電気技術委員会（ＩＳＯ／ＩＥＣ）動画像専門家グループ（ＭＰＥＧ−４）パート１０高度ビデオ符号化（ＡＶＣ）標準／国際電気通信連合、電気通信セクタ（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以降、「ＭＰＥＧ−４ＡＶＣ標準」）などのハイブリッド・ビデオ符号化フレームワークにおけるインループ・アーチファクト・フィルタリングに適用される。
【００１８】
第３の従来技術手法では、指向性ウェーブレット分解を実現するために副格子においてウェーブレット・フィルタリングを行うために画像の格子サブサンプリングを使用することがウェーブレット画像符号化のフレームワーク内で提案されている。第３の従来技術の手法では、系統的サンプリング・パターンの組が画像上で規定され、次いで、ウェーブレット・フィルタリングが、画像のサブサンプリングされたバージョンに対してのみ行われる。ウェーブレット・フィルタリングは、前述のサンプリング・パターンの主方向に沿って行われる。
【００１９】
第３の従来技術手法は、指向性ウェーブレット変換の画像の前述のサブサンプリングを使用するやり方を提示する。提案されたサブサンプリングを使用する方法の特定の例では、サブサンプリングされたグリッドそれぞれを矩形サンプリング・グリッドに変えるように、サブサンプリングされたグリッドそれぞれを回転によって再配置する。次いで、新たに生成された矩形サンプリング・グリッドそれぞれに対する分離可能な規則性ワーブレット・フィルタリングは固有に、元々再配置されていないサンプリング・グリッドの方向に指向性ウェーブレット・フィルタリングをもたらす。これにより、指向性ウェーブレットが望まれる場合、元の矩形サンプリング・グリッドに対する特殊なウェーブレット変換を再定義する必要性が避けられる。
【００２０】
第４の従来技術手法は、５点形格子上に表されるフーリエ変換を示す。しかし、第４の従来技術手法は、前述の変換の更なる適用も、何れの他の変換との組合せも提示していない。
【００２１】
第５の従来技術手法では、非常に広い範囲の信号指向特性に対処するために、広い範囲の解析の方向を有する変換が提示される。しかし、その使用法、定義、及び計算処理は難しく、長たらしく、複雑である。これにより、現在のビデオ符号化標準には概ね適切でない。
【発明の概要】
【発明が解決しようとする課題】
【００２２】
従来技術の前述並びに他の弊害及び欠点は、多格子スパース性ベースのフィルタリングのための方法及び装置に関する本願の原理によって対処される。
【課題を解決するための手段】
【００２３】
本願の原理の局面によれば、装置が提供される。装置は、ピクチャのフィルタリングされた少なくとも２つのバージョンの適応的に重み付けられた組合せを生成するためにピクチャのピクチャ・データをフィルタリングするフィルタを含む。ピクチャ・データは、ピクチャの少なくとも１つのサブサンプリングを含む。
【００２４】
本願の原理の別の局面によれば、方法が提供される。方法は、ピクチャのフィルタリングされた少なくとも２つのバージョンを生成するためにピクチャのピクチャ・データをフィルタリングする工程を含む。ピクチャ・データは、ピクチャの少なくとも１つのサブサンプリングを含む。方法は、ピクチャのフィルタリングされた少なくとも２つのバージョンの適応的加重組合せを算出する工程を更に含む。
【図面の簡単な説明】
【００２５】
【図１】従来技術による、ピクチャの位置適応的スパース性ベースのフィルタリングのための装置を示すブロック図である。
【図２】従来技術による、ピクチャの位置適応的スパース性ベースのフィルタリングのための方法を示すブロック図である。
【図３Ａ】本願の原理の実施例による、多格子信号変換を備えた、ピクチャの例示的な位置適応的スパース性ベースのフィルタを示す概要レベルのブロック図である。
【図３Ｂ】本願の原理の実施例による、多格子信号変換を備えた、ピクチャの例示的な位置適応的スパース性ベースのフィルタを示す概要レベルのブロック図である。
【図４】本願の原理の実施例による、多格子信号変換を備えた、ピクチャの別の例示的な位置適応的スパース性ベースのフィルタを示す概要レベルのブロック図である。
【図５】本願の原理の実施例による、多格子信号変換を備えた、ピクチャの別の更に例示的な位置適応的スパース性ベースのフィルタを示す概要レベルのブロック図である。
【図６】本願の原理の実施例により、本願の原理を施すことができる、離散コサイン変換（ＤＣＴ）の基底関数、及び８×８のサイズのＤＣＴに含まれるその形状の図である。
【図７Ａ】本願の原理の実施例により、本願の原理を施すことができる、格子サンプリング、及び対応する格子サンプリング行列による格子サンプリングの例を示す図である。
【図７Ｂ】本願の原理の実施例により、本願の原理を施すことができる、格子サンプリング、及び対応する格子サンプリング行列による格子サンプリングの例を示す図である。
【図８】本願の原理の実施例により、何れかの前述のサンプリング格子における全コセットを再配置することができる例示的なダウンサンプリングされた矩形グリッドの図である。
【図９】本願の原理の実施例による、多格子信号変換による、ピクチャの位置適応的スパース性ベースのフィルタリングの例示的な方法を示すフロー図である。
【図１０Ａ】本願の原理の実施例により、本願の原理を施すことができる４×４のＤＣＴ変換の１６個の考えられる平行移動のうちの４つのうちの個別の１つの図である。
【図１０Ｂ】本願の原理の実施例により、本願の原理を施すことができる４×４のＤＣＴ変換の１６個の考えられる平行移動のうちの４つのうちの個別の１つの図である。
【図１０Ｃ】本願の原理の実施例により、本願の原理を施すことができる４×４のＤＣＴ変換の１６個の考えられる平行移動のうちの４つのうちの個別の１つの図である。
【図１０Ｄ】本願の原理の実施例により、本願の原理を施すことができる４×４のＤＣＴ変換の１６個の考えられる平行移動のうちの４つのうちの個別の１つの図である。
【発明を実施するための形態】
【００２６】
本発明の前述並びに他の局面、構成及び効果は、添付図面とともに読まれる例示的な実施例の以下の詳細な説明から明らかになるであろう。
【００２７】
本願の原理は、以下の例示的な図により、更に詳細に理解することができる。
【実施例】
【００２８】
本願の原理は、多格子スパース性ベースのフィルタリングのための方法及び装置に関する。
【００２９】
本明細書及び特許請求の範囲は、本願の原理を示す。よって、本明細書及び特許請求の範囲に明示的に説明し、又は示している訳でないが、本願の原理を実施し、その趣旨及び範囲内に含まれる種々の配置を当業者が考え出すことができるであろう。
【００３０】
本明細書及び特許請求の範囲記載の例及び条件付文言は全て、本願の原理、及び当該技術分野を発展させるために本願の発明者が貢献する概念の、読者の理解を支援するための教示の目的を意図しており、前述の、特記した例及び条件への限定なしであると解するものとする。
【００３１】
更に、本願の原理、局面、及び実施例、並びにそれらの具体例を記載した、本明細書及び特許請求の範囲の記載は全て、その構造的均等物及び機能的均等物を包含することを意図している。更に、前述の均等物は、現在知られている均等物、及び将来に開発される均等物（すなわち、構造にかかわらず、同じ機能を行う、開発された何れかの構成要素）をともに含むことが意図されている。
【００３２】
よって、例えば、本明細書及び特許請求の範囲に提示されたブロック図が、本願の原理を実施する例証的な回路の概念図を表すことは当業者によって理解されるであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コード等は何れも、コンピュータ読み取り可能な媒体において実質的に表し、コンピュータ又はプロセッサにより、前述のコンピュータ又はプロセッサが明記されているかにかかわらず、実行し得る種々の処理を表す。
【００３３】
図に示す種々の構成要素の機能は、専用ハードウェア、及び適切なソフトウェアに関連してソフトウェアを実行することができるハードウェアの使用によって備えることができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって提供されるか、単一の共有プロセッサによって提供されるか、又は、複数の個々のプロセッサ（この一部は共有であり得る）によって提供され得る。更に、「プロセッサ」又は「コントローラ」の語を明示的に使用していることは、ソフトウェアを実行することができるハードウェアを専ら表すものと解するべきでなく、暗黙的には、限定列挙でないが、ディジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（「ＲＯＭ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）及び不揮発性記憶装置を含み得る。
【００３４】
他のハードウェア（汎用及び／又はカスタム）も含まれ得る。同様に、図に示すスイッチは何れも概念のみである。その機能は、プログラム・ロジックの動作により、専用ロジックにより、プログラム制御及び専用ロジックの相互作用により、又は手作業によって行うことができ、特定の手法は、コンテキストから更に具体的に分かるように実現者によって選択可能である。
【００３５】
本願の特許請求の範囲では、特定の機能を行う手段として表される構成要素は何れも、その機能を行う何れの手段（例えば、ａ）その機能を行う回路構成要素の組合せや、ｂ）機能を行うためにそのソフトウェアを実行する適切な回路と組み合わせた、ファームウェア、マイクロコード等を含む、何れかの形態のソフトウェア）も包含することが意図される。前述の特許請求の範囲で規定された本願の原理は、記載された種々の手段によって提供される機能が、請求項が要求するやり方で組合せられ、集約されるということに存在する。よって、前述の機能を提供することが可能な手段は何れも、本願の明細書及び特許請求の範囲記載のものと均等であるとみなされる。
【００３６】
本願明細書における、本願の原理の「ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ａｎ ｅｍｂｏｄｉｍｅｎｔ」への言及は、本願の実施例に関して説明した特定の構成、構造又は特性等が本願の原理の少なくとも一実施例に含まれていることを意味している。よって、本明細書全体の種々の箇所に記載された「ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ」又は「ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ」の句は、必ずしも、同じ実施例を全て表している訳でない。
【００３７】
本明細書及び特許請求の範囲では、「ピクチャ」の語は、静止ビデオ及び動画ビデオに関する画像及び／又はピクチャを含む画像及び／又はピクチャに関する。
【００３８】
更に、本明細書及び特許請求の範囲記載の「スパース性」という語は、変換領域において信号が有する非ゼロ係数が少ない場合を表す。例として、５つの非ゼロ係数を有する変換表現を備えた信号は、同じ変換フレームワークを使用した、１０個の非ゼロ係数を有する別の信号よりもスパース性が高い表現を有する。
【００３９】
更に、本明細書及び特許請求の範囲記載の、ピクチャのサブサンプリングに関して使用される「格子」又は「格子ベースの」の語は、空間的に連続したサンプル及び／又は連続していないサンプルの特定の構造化パターンによって選択される。例では、前述のパターンは、矩形パターンなどの幾何パターンであり得る。
【００４０】
更に、本明細書及び特許請求の範囲記載の「局所」の語は、画素位置レベルに対する関心の項目（限定列挙でないが、平均雑音エネルギ、平均振幅の尺度、又は重みの尺度の微分を含む）、及び／又は、ピクチャ内の画素の局所化近傍、又は画素に対応する関心の項目の関係を表す。
【００４１】
更に、本明細書及び特許請求の範囲記載の「大局」の語は、ピクチャ・レベルに対する関心の項目（限定列挙でないが、平均雑音エネルギ、平均振幅の尺度、又は重みの尺度の微分を含む）、及び／又は、ピクチャ又は系列の画素全体に対応する関心の項目の関係を表す。
【００４２】
図３に移れば、多格子信号変換を備えた、ピクチャの例示的な位置適応的スパース性ベースのフィルタ全体を参照符号３００で示す。
【００４３】
ダウンサンプル及びサンプル配置モジュール３０２は、変換モジュール（変換行列１を有する）３１２の入力、変換モジュール（変換行列２を有する）３１４の入力、及び変換モジュール（変換行列Ｍを有する）３１６の入力と信号通信する出力を有する。
【００４４】
ダウンサンプル及びサンプル再配置モジュール３０４は、変換モジュール（変換行列１を有する）３１８の入力、変換モジュール（変換行列２を有する）３２０の入力、及び変換モジュール（変換行列Ｍを有する）３２２の入力と信号通信する出力を有する。
【００４５】
変換モジュール（変換行列１を有する）３１２の出力は、雑音除去係数モジュール３３０の入力と信号通信で接続される。変換モジュール（変換行列２を有する）３１４の出力は、雑音除去係数モジュール３３２の入力と信号通信で接続される。変換モジュール（変換行列Ｍを有する）３１６の出力は、雑音除去係数モジュール３３４の入力と信号通信で接続される。
【００４６】
変換モジュール（変換行列１を有する）３１８の出力は、雑音除去係数モジュール３３６の入力と信号通信で接続される。変換モジュール（変換行列２を有する）３２０の出力は、雑音除去係数モジュール３３８の入力と信号通信で接続される。変換モジュール（変換行列Ｍを有する）３２２の出力は、雑音除去係数モジュール３４０の入力と信号通信で接続される。
【００４７】
変換モジュール（変換行列１を有する）３０６の出力は、雑音除去係数モジュール３２４の入力と信号通信で接続される。変換モジュール（変換行列２を有する）の出力は、雑音除去係数モジュール３２６の入力と信号通信で接続される。変換モジュールＭ（変換行列Ｎを有する）３１０の出力は、雑音除去係数モジュール３２８の入力と信号通信で接続される。
【００４８】
雑音除去係数モジュール３２４の出力、雑音除去係数モジュール３２６の出力、及び雑音除去係数モジュール３２８の出力はそれぞれ、逆変換モジュール（逆変換行列１を有する）３４２の入力、逆変換モジュール（逆変換行列２を有する）３４４の入力、逆変換モジュール（逆変換行列Ｎを有する）３４６の入力、及び組合せ重み計算モジュール３６０の入力と信号通信で接続される。
【００４９】
雑音除去係数モジュール３３０の出力、雑音除去係数モジュール３３２の出力、及び雑音除去係数モジュール３３４の出力はそれぞれ、逆変換モジュール（逆変換行列１を有する）３４８の入力、逆変換モジュール（逆変換行列２を有する）３５０の入力、逆変換モジュール（逆変換行列Ｍを有する）３５２の入力、及び組合せ重み計算モジュール３６２の入力と信号通信で接続される。
【００５０】
雑音除去係数モジュール３３６の出力、雑音除去係数モジュール３３８の出力、及び雑音除去係数モジュール３４０の出力はそれぞれ、逆変換モジュール（逆変換行列１を有する）３５４の入力、逆変換モジュール（逆変換行列２を有する）３５６の入力、逆変換モジュール（逆変換行列Ｍを有する）３５８の入力、及び組合せ重み計算モジュール３６４の入力と信号通信で接続される。
【００５１】
逆変換モジュール（逆変換行列１を有する）３４２の出力は合成器モジュール３７６の第１の入力と信号通信で接続される。逆変換モジュール（逆変換行列２１を有する）３４４の出力は合成器３７６の第２の入力と信号通信で接続される。逆変換モジュール（逆変換行列３を有する）３４４の出力は合成器モジュール３７６の第３の入力と信号通信で接続される。逆変換モジュール（逆変換行列Ｎを有する）３４６の出力は合成器モジュール３７６の第３の入力と信号通信で接続される。
【００５２】
逆変換モジュール（逆変換行列１を有する）３４８の出力は、アップサンプル、サンプル再配置、及びマージ・コセット・モジュール３６８の第１の入力と信号通信で接続される。逆変換モジュール（逆変換行列２を有する）３５０の出力は、アップサンプル、サンプル再配置、及びマージ・コセット・モジュール３７０の第１の入力と信号通信で接続される。逆変換モジュール（逆変換行列Ｍを有する）３５２の出力は、アップサンプル、サンプル再配置、及びマージ・コセット・モジュール３７２の第１の入力と信号通信で接続される。
【００５３】
逆変換モジュール（逆変換行列１を有する）３５４の出力は、アップサンプル、サンプル再配置、及びマージ・コセット・モジュール３６８の第２の入力と信号通信で接続される。逆変換モジュール（逆変換行列２を有する）３５６の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール３７０の第２の入力と信号通信で接続される。逆変換モジュール（逆変換行列Ｍを有する）３５８の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール３７２の第２の入力と信号通信で接続される。
【００５４】
組合せ重み計算モジュール３６０の出力は、汎用組合せ重み計算モジュール３７４の第１の入力と信号通信で接続される。組合せ重み計算モジュール３６２の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール３６６の第１の入力と信号通信で接続される。組合せ重み計算モジュール３６４の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール３６６の第２の入力と信号通信で接続される。
【００５５】
アップサンプル、サンプル再配置及びマージ・コセット・モジュール３６６の出力は、汎用組合せ重み計算モジュール３７４の第２の入力と信号通信で接続される。汎用組合せ重み計算モジュール３７４の出力は、合成モジュール３７６の第４の入力と信号通信で接続される。アップサンプル、サンプル再配置及びマージ・コセット・モジュール３６８の出力は、合成器モジュール３７６の第５の入力と信号通信で接続される。アップサンプル、サンプル再配置及びマージ・コセット・モジュール３７０の出力は、合成器モジュール３７６の第６の入力と信号通信で接続される。アップサンプル、サンプル再配置及びマージ・コセット・モジュール３７２の出力は、合成器モジュール３７６の第７の入力と信号通信で接続される。
【００５６】
変換モジュール（変換行列１を有する）３０６の入力、変換モジュール（変換行列２を有する）３０８の入力、変換モジュール（変換行列Ｎを有する）３１０の入力、ダウンサンプル及びサンプル配置モジュール３０２の入力、並びに、ダウンサンプル及びサンプル配置モジュール３０４の入力は、入力画像を受け取るために、フィルタ３００の入力として利用可能である。合成器モジュール３７６の出力は、出力ピクチャを供給するために、フィルタ３００の出力として利用可能である。
【００５７】
よって、フィルタ３００は、入力データのダウンサンプリングされていない処理に対応する処理分岐、及び入力データの格子ベースのダウンサンプリングされた処理に対応する処理分岐をもたらす。フィルタ３００は、並列に処理することもしないこともあり得る一連の処理分岐をもたらす。更に、別々のいくつかの処理が、フィルタ３００の別々の構成要素それぞれによって行われるものとして説明しているが、本明細書及び特許請求の範囲記載の本願の原理の教示があれば、当業者は、前述の処理の２つ以上を組合せ、単一の構成要素（例えば、データの非並列処理の再使用を可能にするための、２つ以上の処理分岐に共通の単一の構成要素）によって行うことができ、本願の原理の趣旨を維持しながら、他の修正を施すことができる。例えば、一実施例では、合成器モジュール３７６は、本願の原理の趣旨を維持しながら、フィルタ３００外部で実現することができる。
【００５８】
更に、図３に示すように、別々の変換及びサブサンプリングによって処理することによって得られる別々のフィルタリングされた画像を混合する（又は融合させる）のための重み及びその用途の計算は、（本願の実施例に示すように）順次の計算工程によって行うことができ、又は、サブサンプリング格子及び／又は変換それぞれにおける画素それぞれを再構成するために使用される係数の量を直接考慮に入れることにより、最後の最後に単一の工程で行うことができる。
【００５９】
本明細書及び特許請求の範囲記載の本願の原理の教示があれば、当業者は、本願の原理の趣旨を維持しながら、フィルタ３００（並びに本明細書に記載したフィルタ４００及び５００）の前述及び他の変形を想定するであろう。
【００６０】
図４に移れば、多格子信号変換を備えた、ピクチャの別の例示的な位置適応的スパース性ベースのフィルタの全体を参照符号４００で示す。図３のフィルタ３００と比較して、図４のフィルタ４００は、信号解析のために、より広範囲の構造的特性を有するよう、使用される変換を適合させるために、同じ変換エンジンを、信号の別々のサブサンプリングにおいて使用することができるようにスイッチを利用する。すなわち、図４では、スイッチの組は、非ダウンサンプリング処理及びダウンサンプリング処理、並びにフィルタリング推定値重み付け手順に必要なデータ全てを計算するために、同じコア変換領域処理装置を使用することができる。
【００６１】
スイッチ４０６の出力は、変換モジュール（変換行列１を有する）４０８の入力、変換モジュール（変換行列２を有する）４１０の入力、及び変換モジュール（変換行列Ｎを有する）４１２の入力と信号通信で接続される。
【００６２】
変換モジュール（変換行列１を有する）４０８の出力は、雑音除去係数モジュール４１４の入力と信号通信で接続される。変換モジュール（変換行列２を有する）４１０の出力は、雑音除去係数モジュール４１６の入力と信号通信で接続される。変換モジュール（変換行列Ｎを有する）４１２の出力は、雑音除去係数モジュール４１８の入力と信号通信で接続される。
【００６３】
雑音除去係数モジュール４１４の出力は、逆変換部（逆変換行列１を有する）４２０の入力、逆変換部（逆変換行列２を有する）４２２の入力、逆変換部（逆変換行列Ｎを有する）４２４の入力、及び組合せ重み計算モジュール４２６の入力と信号通信で接続される。
【００６４】
変換モジュール（変換行列１を有する）４２０の出力は、スイッチ４２８の入力と信号通信で接続される。変換モジュール（変換行列２を有する）４２２の出力は、スイッチ４３０の入力と信号通信で接続される。変換モジュール（変換行列Ｎを有する）４２４の出力は、スイッチ４３２の入力と信号通信で接続される。
【００６５】
組合せ重み計算モジュール４２６の出力は、スイッチ４３４の入力と信号通信で接続される。スイッチ４３４の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３６の第１の入力、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３６の第２の入力、及び汎用組合せ重み計算モジュール４４４の第１の入力と信号通信で選択的に接続される。アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３６の出力は、汎用組合せ重み計算モジュール４４４の第２の入力と信号通信で接続される。汎用組合せ重み計算モジュール４４４の出力は、合成モジュール４４６の第１の入力と信号通信で接続される。
【００６６】
スイッチ４２８の第１の出力は、合成器モジュール４４６の第２の入力と信号通信で接続される。スイッチ４２８の第２の出力が、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３８の第２の入力と信号通信で接続される。スイッチ４２８の第３の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３８の第３の入力と信号通信で接続される。
【００６７】
スイッチ４３０の第１の出力は、合成器モジュール４４６の第３の入力と信号通信で接続される。スイッチ４３０の第２の出力が、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４４０の第２の入力と信号通信で接続される。スイッチ４３０の第３の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４４０の第３の入力と信号通信で接続される。
【００６８】
スイッチ４３２の第１の出力は、合成器モジュール４４６の第４の入力と信号通信で接続される。スイッチ４３２の第２の出力が、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４４２の第２の入力と信号通信で接続される。スイッチ４３２の第３の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール４４２の第３の入力と信号通信で接続される。
【００６９】
アップサンプル、サンプル再配置及びマージ・コセット・モジュール４３８の出力は合成器モジュール４４６の第５の入力と信号通信で接続される。アップサンプル、サンプル再配置及びマージ・コセット・モジュール４４０の出力は、合成器モジュール４４６の第６の入力と信号通信で接続される。アップサンプル、サンプル配置及びマージ・コセット・モジュール４４２の出力は、合成器モジュール４４６の第７の入力と信号通信で接続される。
【００７０】
ダウンサンプル及びサンプル再配置モジュール４０２の出力はスイッチ４０６の第２の入力と信号通信で接続される。ダウンサンプル及びサンプル再配置モジュール４０４の出力は、スイッチ４０６の第３の入力と信号通信で接続される。
【００７１】
スイッチ４０６の第１の入力、並びに、ダウンサンプル及びサンプル再配置モジュール４０２の入力、及びダウンサンプル及びサンプル再配置モジュール４０４の入力はそれぞれ、入力画像を受け取るためにフィルタ４００の入力として利用可能である。合成モジュール４４６の出力は、出力画像を供給するために、フィルタ４００の出力として利用可能である。
【００７２】
図５に移れば、多格子信号変換を備えた、ピクチャの更に別の例示的な位置適応的スパース性ベースのフィルタの全体を参照符号５００で示す。図５のフィルタ５００では、変換の冗長な組が単一のブロックにパッキングされる。図５００では、考えられる別々の２つの冗長性変換Ａ及びＢの組を検討する。最終的には、Ａ及びＢは、同じ冗長な変換の組であってもなくてもよい。
【００７３】
ダウンサンプル及びサンプル再配置モジュール５０２の出力は、順変換モジュール（変換Ｂの冗長な組を有する）５０８の入力と信号通信で接続される。ダウンサンプル及びサンプル再配置モジュール５０４の出力は、順変換モジュール（変換Ｂの冗長な組を有する）５１０の入力と信号通信で接続される。
【００７４】
順変換モジュール（変換Ａの冗長な組を有する）５０６の出力は雑音除去係数モジュール５１２と信号通信で接続される。順変換モジュール（変換Ｂの冗長な組を有する）５０８の出力は雑音除去係数モジュール５１４と信号通信で接続される。順変換モジュール（変換Ｂの冗長な組を有する）５１０の出力は雑音除去係数モジュール５１６と信号通信で接続される。
【００７５】
雑音除去係数モジュール５１２の出力は、各画素モジュール５２６に影響を及ぼす非ゼロ係数の数の計算の入力、及び逆変換モジュール（変換Ａの冗長な組を有する）５１８の入力と信号通信で接続される。雑音除去係数モジュール５１４の出力は、各画素モジュール５３０に影響を及ぼす非ゼロ係数の数の計算の入力、及び逆変換モジュール（変換Ｂの冗長な組を有する）５２０の入力と信号通信で接続される。雑音除去係数モジュール５１６の出力は、各画素モジュール５３２に影響を及ぼす非ゼロ係数の数の計算の入力、及び逆変換モジュール（変換Ｂの冗長な組を有する）５２２の入力と信号通信で接続される。
【００７６】
逆変換モジュール（変換Ａの冗長な組を有する）５１８の出力は、合成モジュール５３６の第１の入力と信号通信で接続される。逆変換モジュール（変換Ｂの冗長な組を有する）５２０の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール５２４の第１の入力と信号通信で接続される。逆変換モジュール（変換Ｂの冗長な組を有する）５２２の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール５２４の第２の入力と信号通信で接続される。
【００７７】
変換モジュール５３０毎の各画素に影響を及ぼす非ゼロ係数の数の計算の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール５２８の第１の入力と信号通信で接続される。変換モジュール５３２毎の各画素に影響を及ぼす非ゼロ係数の数の計算の出力は、アップサンプル、サンプル再配置及びマージ・コセット・モジュール５２８の第２の入力と信号通信で接続される。
【００７８】
アップサンプル、サンプル再配置、及びマージ・コセット・モジュール５２８の出力は、汎用組合せ重み計算モジュール５３４の第１の入力と信号通信で接続される。各画素５２６に影響を及ぼす非ゼロ係数の数の計算の出力は、汎用組合せ重み計算モジュール５３４の第２の入力と信号通信で接続される。汎用組合せ重み計算モジュール５３４の出力は、合成モジュール５３６の第２の入力と信号通信で接続される。
【００７９】
アップサンプル、サンプル再配置及びマージ・コセット・モジュール５２４の出力は、合成モジュール５３６の第３の入力と信号通信で接続される。
【００８０】
順変換モジュール（変換Ａの冗長な組を有する）５０６の入力、ダウンサンプル及びサンプル再配置モジュール５０２の入力、並びに、ダウンサンプル及びサンプル再配置モジュール５０４の入力はそれぞれ、入力画像を受け取るために、フィルタ５００の入力として利用可能である。合成モジュール５３６の出力は、出力画像を供給するために、フィルタの出力として利用可能である。
【００８１】
図５のフィルタ５００は、図３のフィルタ３００に対し、単純にし、明瞭にするために、ピクチャの冗長な表現への、関係する別々の変換を単一のボックスにパッキングする、アルゴリズムの非常にコンパクトな実現形態を提供する。変換、雑音除去、及び／又は逆変換の処理は、冗長な変換の組に含まれる変換毎に並列に行うことができてもできなくてもよい。
【００８２】
組合せ重みの算出に先行してピクチャ・データをフィルタするための、図３乃至図５に示す種々の処理分岐は、入力ピクチャの別々のバージョンを生成するという点でバージョン生成器とみなし得る。
【００８３】
前述の通り、本願の原理は、多格子スパース性ベースのフィルタリングのための方法及び装置に関する。
【００８４】
本願の原理の実施例では、規則性矩形サンプリングから、別々の空間的向きを有するいくつかの格子がサンプリングされるフィルタリング・ストラテジが提供される。空間的格子サンプリングは、限定列挙でないが、完全矩形サンプリング格子、及び５点形サンプリング格子などの格子を含み得る。次いで、スパース性近似を使用したフィルタが、サンプリングされた格子それぞれに対する特定の変換を使用して施される。格子サンプリングは、変換の基底関数の方向に変化を与える役目を担う。フィルタリング工程全てが、サンプル格子全てに対して行われると、これらは、特定の場所全てにおける最も信頼度の高いフィルタリングされた画像バージョンにより大きな重みを与えるために、局所適応的重み付け工程によって再合成される。
【００８５】
本願の原理は、フィルタリングが施される前に、適切なやり方で信号を予めサンプリングすることにより、変換の指向性の制約という課題を解決する。このようにして、指向的特性（例えば、対角線方向）を有する、平滑で高周波の特徴、テクスチャ、エッジ等を有する画像のより良好なフィルタリングを実現することが可能である。フィルタリングの改良により、客観的尺度及び主観的尺度におけるより少ない歪み、及び、符号化アプリケーション等におけるより低い符号化コストを示唆する、理想的な信号のより良好な推定につながり得る。
【００８６】
本願の原理の実施例により、フィルタリングされる対象の画像の別々の副格子サンプリングに対するいくつかのフィルタリング工程の重み付けされた組合せに基づいた画像に対する高性能の非線形フィルタが提案されている。各フィルタリング工程は、フィルタリングする対象の画像の格子サンプリングのスパース性近似によって行われる。スパース性近似は、雑音、歪み及びアーチファクトからの真の信号成分のロバストな分離を可能にする。信号及びスパース性フィルタリング手法に応じて、一部の信号領域は、１つの格子及び／又は別の格子において、より良好にフィルタリングされる。最終的な重み付けの組合せの工程は、最も適切な副格子サンプリングからの最も良好にフィルタリングされたデータの適応的な選択を可能にする。
【００８７】
したがって、本願の原理により、フィルタリングされる対象の画像の別々の副格子サンプリングに対するいくつかのフィルタリング工程の重み付けされた組合せに基づいた画像に対する高性能の非線形フィルタを開示する。方向適応的フィルタリングを構成するために格子ベースの変換を使用することを検討する。よって、フィルタリングする特定のタイプの歪み（又はアーチファクト）が特定の指向性構造を有する場合、本願の原理の実施例によれば、歪み（又はアーチファクト）が維持されないようなフィルタ方向を適応的に選択することが可能である。
【００８８】
格子の副サンプリングの変換による指向性変換：
一般に、離散コサイン変換（ＤＣＴ）は、基底関数又はプリミティブの和として信号を分解する。前述の基底関数又はプリミティブは、使用される変換に応じて別々の特性及び構造的特性を有する。図６に移れば、離散コサイン変換（ＤＣＴ）基底関数、及び８×８のサイズのＤＣＴに含まれるその形状は全体を参照符号６００で示す。基底関数６００は、２つの主な構造的向きを有するとみられる。概ね垂直方向を向いた関数が存在しており、概ね水平方向を向いた関数が存在しており、両方の格子縞模様の混合に似た種類の関数が存在している。前述の形状は、静止信号の効率的な表現、並びに垂直方向及び水平方向の形状の信号成分の効率的な表現に適切である。しかし、指向的特性を有する信号の部分は、前述の変換によって効率的に表されない。一般に、ＤＣＴの例のように、大半の変換基底関数は、限定された種類の指向性成分を有する。
【００８９】
変換の分解の方向を修正する１つのやり方は、ディジタル画像の別々のサブサンプリングにおける前述の変換を使用することである。実際には、画素の相補的な部分集合（又はコセット）において、２Ｄサンプリングされた画像を分解することが可能である。前述のサンプルのコセットは、特定のサンプリング・パターンによって行うことが可能である。サブサンプリング・パターンは、指向性を有しているように確立することが可能である。固定の変換と組み合わせたサブサンプリング・パターンによって課される前述の向きは、一連の所望の方向に変換の分解の方向を適応させるために使用することが可能である。
【００９０】
画像サブサンプリングの実施例では、サンプリング格子を、一意でない生成器行列によって表すことが可能な整数格子サブサンプリングを使用することが可能である。何れの格子∧（すなわち、立方体整数格子
【数１】
の副格子）も一意でない生成器行列：
【００９１】
【数２】
で表すことが可能である。
【００９２】
相補的なコセットの数は、上記行列の行列式によって表される。更に、ｄ１及びｄ２は、２Ｄ座標平面におけるサンプリング格子の主方向に関係し得る。図７Ａ及び図７Ｂに移れば、本願の原理を施すことができる、対応する格子サンプリング行列による格子サンプリングの例の全体を参照符号７００及び７５０それぞれによって示す。図７Ａでは、５点形格子サンプリングを示す。５点形格子サンプリングに関する２つのコセットのうちの１つを黒色の点（埋めた点）で示す。相補的なコセットは、ｘ／ｙ軸の方向における１−シフトによって得られる。図７Ｂでは、別の指向性格子サンプリングを示す。考えられる４つのコセットのうちの２つを黒色の点及び白色の点で示す。矢印は、格子サンプリングの主方向を表す。当業者は、格子サンプリング上の主方向（矢印）及び格子行列の間の関係を認識することが可能である。
【００９３】
生成器行列は、サンプリング空間、例えば、指向性５点形、及び規則的な矩形グリッドの両方の間のマッピング行列である。完全な格子に対する一サンプリング格子の座標軸間の暗黙の回転が存在しているということが分かる。両方のサンプリング格子間のマッピングはよって、
【数３】
として表すことが可能である。ここで、
【数４】
は矩形グリッドにおけるサンプル座標であり、
【数５】
は格子グリッド（例えば、５点形）におけるサンプル座標であり、
【数６】
は、生成器行列に関連付けられた相補的コセット格子それぞれを選択するために、（図７に例証されたような）シフト・ベクトルを表す。行列に応じて、より多くのシフト・ベクトル、又はより少ないシフト・ベクトルが存在する。
【００９４】
前述のサンプリング格子の何れかにおけるコセットは全て、ダウンサンプリングされた矩形グリッドにおいて全体的に再配置し得る（例えば、回転させ得る）ように整合させる。このことは、格子サブサンプリングされた信号に対する、矩形グリッドに適した何れかの変換（２Ｄ ＤＣＴなど）をその後、施すことを可能にする。図８に移れば、何れかの前述のサンプリング格子における全コセットを再配置することが可能である例示的なダウンサンプリングされた矩形グリッドの全体を参照符号８００で示す。
【００９５】
格子分解、格子再配置、２Ｄ変換、及び逆処理の個別の組は、任意の向きを有する２Ｄ信号変換の実現を可能にする。
【００９６】
向き適応的フィルタリングの場合の多格子ピクチャ処理
一実施例では、ピクチャの適応的フィルタリングに、ピクチャの少なくとも２つのサンプリングを使用することが提案されている。一実施例では、ＤＣＴ係数閾値化などの同じフィルタリング・ストラテジを再使用し、指向性適応的フィルタリングに一般化することが可能である。
【００９７】
少なくとも２つの格子サンプリング／サブサンプリングのうちの１つが、例えば、特定のピクチャの元のサンプリング・グリッド（すなわち、ピクチャの非サブサンプリング）であり得る。一実施例では、少なくとも２つのサンプリングのうちの別のものは、いわゆる「５点形」格子サブサンプリングであり得る。前述のサブサンプリングは、１つおきの画素の対角線方向に整合されたサンプリング上に配置された２つのサンプリング・コセットで構成される。
【００９８】
一実施例では、少なくとも２つの格子サンプリング／サブサンプリングの組合せが、図９、３及び４に表すように、適応的フィルタリングについて、本発明において使用される。
【００９９】
図９に移れば、多格子信号変換による、ピクチャの位置適応的スパース性ベースのフィルタリングの例示的な方法全体を参照符号９００で示す。図９の方法９００は、ディジタル画像の一連の再配置された整数格子サブサンプリングに対して、変換領域においてスパース性ベースのフィルタリングを施すことに対応する。
【０１００】
方法９００は、関数ブロック９１０に制御を渡す開始ブロック９０５を含む。関数ブロック９１０は、副格子画像分解の考えられるファミリーの形状及び数を設定し、制御をループ限度ブロック９１５に渡す。ループ限度ブロック９１５は、変数ｊを使用して、（副）格子の全ファミリーのループを行い、制御を関数ブロック９２０に渡す。機能ブロック９２０は、画像をダウンサンプルし、副格子ｊのファミリーに応じたＮ個の副格子（副格子の合計数は全ファミリーｊに依存する）に分割し、制御をループ限度ブロック９２５に渡す。ループ限度ブロック９２５は、変数ｋ（合計量はファミリーｊに依存する）を使用して副格子毎のループを行い、制御を関数ブロック９３０に渡す。関数ブロック９３０は、（例えば、配置Ａ（ｊ，ｋ）からＢに）サンプルを再配置し、制御をループ限度ブロック９３５に渡す。ループ限度ブロック９３５は、変数ｉの値毎にループを行い、制御を関数ブロック９４０に渡す。関数ブロック９４０は、変数行列ｉで変換を行い、制御を関数ブロック９４５に渡す。関数ブロック９４５は、係数をフィルタリングし、制御を関数ブロック９５０に渡す。機能ブロック９５０は、逆変換行列ｉで逆変換を行い、制御をループ限度ブロック９５５に渡す。ループ限度ブロック９５５は、変数ｉの各値にわたるループを終了し、制御を機能ブロック９６０に渡す。機能ブロック９６０は、（配置ＢからＡ（ｊ，ｋ）に）サンプルを再配置し、制御をループ限度ブロック９６５に渡す。ループ限度ブロック９６５は、変数ｋの各値にわたるループを終了し、制御を関数ブロック９７０に渡す。機能ブロック９７０は、副格子をアップサンプリングし、副格子ｊのファミリーに応じてマージし、制御をループ限度ブロック９７５に渡す。ループ限度ブロック９７５は、変数ｊの各値にわたるループを終了し、制御を機能ブロック９８０に渡す。機能ブロック９８０は、雑音除去係数画像の別々の逆変換バージョン（の局所適応的加重和）を合成し、制御を終了ブロック９９９に渡す。
【０１０１】
図９を参照すれば、一実施例では、一連のフィルタリングされたピクチャが、変換領域フィルタリングの使用によって生成され、変換領域フィルタリングは、同様に、ピクチャの別々のサブサンプリングにおいて別々の変換を使用する。最終フィルタリング画像は、フィルタリングされたピクチャそれぞれの局所適応的加重和として計算される。
【０１０２】
一実施例では、ディジタル画像の何れかの再配置された整数格子サブサンプリングに施された変換の組は、２Ｄ ＤＣＴの考えられる平行移動全てによって形成される。これは、ＤＣＴブロック変換の場合、ピクチャのブロック・ベースの区分のための、４×４ＤＣＴの合計１６個の考えられる平行移動が存在していることを示唆している。同様に、６４が、８×８のＤＣＴの考えられる平行移動の合計数となる。この例は、図１０Ａ乃至図１０Ｄで分かる。図１０Ａ乃至図１０Ｄに移れば、画像のＤＣＴ変換のブロック区分の例示的な考えられる平行移動は全体を参照符号１０１０、１０２０、１０３０及び１０４０で示す。図１０Ａ乃至図１０Ｄはそれぞれ、４×４ＤＣＴ変換の１６個の考えられる平行移動のうちの４個のうちの１つを示す。変換サイズよりも小さい不完全境界ブロックは、例えば、特定のパディング又は画像拡張を使用して、事実上、拡張することが可能である。ピクチャの境界上の、変換サイズよりも小さな区分は、パディング又は特定の種類のピクチャ拡張によって事実上拡張することが可能である。これは、画像ブロック全てにおける同じ変換サイズの使用を可能にする。図９は、副格子それぞれ（本願の例では、２つの５点形コセットそれぞれ）に、本願の例における前述の平行移動ＤＣＴの組が施されるということを示す。
【０１０３】
一実施例では、フィルタリング処理は、全格子サブサンプリングの平行移動された変換全ての変換係数を閾値化することにより、変換段階のコアにおいて行うことが可能である。前述の目的の閾値の値は限定列挙でないが、局所信号特性、ユーザの選択、局所統計、大局統計、局所雑音、大局雑音、除去に予め指定された信号成分の統計、及び除去に予め指定された信号成分の特性のうちの１つ又は複数に依存し得る。閾値化工程後、全変換格子サブサンプリングは逆変換される。相補的コセットの全ての組が、その元のサンプリング手法に回転させられ、アップサンプリングされ、マージされる（元のピクチャの元のサンプリング・グリッドを回復するために）。変換が、ピクチャの元のサンプリングに直接施された特定の場合、回転、アップサンプリング、及びサンプル・マ―ジが必要である。
【０１０４】
最後に、図９によれば、違ったふうにフィルタリングされたピクチャは全て、全ての重み付けられた加算により、一ピクチャに混合する。これは、以下のやり方で行われる。Ｉ’ｉを、閾値化によってフィルタリングされる別々の画像それぞれとし、Ｉ’ｉは全て、フィルタリング処理中、サブサンプリングを受けているか、又は受けていないピクチャの何れかのＤＣＴの平行移動の閾値化後の、再構成されたピクチャの何れかに対応し得る。Ｗｉを、Ｉ’ｉにおけるそのコロケートされた画素に関連付けられた重みを全画素が含む重みのピクチャとする。その場合、最終推定値Ｉ’finalは、
【数７】
として得られる。ここで、ｘ及びｙは空間座標を表す。
【０１０５】
Ｗｉ（ｘ，ｙ）を計算するために、先行する式において使用された場合、全位置で、変換領域において高スパース性の局所の表現を有するＩ’ｉ（ｘ，ｙ）は、より大きな重みを有する。閾値化後の、変換のうちの、スパース性が高い変換から得られるＩ’ｉ（ｘ．ｙ）が、最低量の雑音／歪みを含む。一実施例では、Ｗｉ（ｘ，ｙ）行列が、Ｉ’ｉ（ｘ，ｙ）毎に、（サブサンプリングされていないフィルタリングから、かつ格子サブサンプリング・ベースのフィルタリングについて）得られる。格子サブサンプリング手順を経た、Ｉ’ｉ（ｘ，ｙ）に対応するＷｉ（ｘ，ｙ）は、フィルタリングされたサブサンプル画像（すなわち、回転、アップサンプリング及びマージの前）毎の別個のＷｉ．ｃｏｓｅｔ(j)（ｘ，ｙ）の生成によって得られ、次いで、Ｉ’ｉ（ｘ．ｙ）に対応する別のＷｉ．ｃｏｓｅｔ(j)（ｘ，ｙ）は、その相補的なサブサンプリングされた成分からＩ’ｉ（ｘ．ｙ）を再構成するために行われるように回転させられ、アップサンプリングされ、マージされる。よって、一例では、フィルタリング処理中に５点形サブサンプリングを経た、フィルタリングされた画像は全て、２つの重みサブサンプリングされた行列を有する。これらは次いで、その対応するＩ’ｉ（ｘ．ｙ）に使用する対象の１つの単一の重み付け行列に回転させ、アップサンプリングし、マージすることが可能である。
【０１０６】
一実施例では、Ｗｉ．ｃｏｓｅｔ(j)（ｘ，ｙ）それぞれの生成は、Ｗｉ（ｘ，ｙ）と同様に行われる。各画素は、前述の画素が含まれるブロック変換の非ゼロ係数の量から得られる。一例では、Ｗｉ．ｃｏｓｅｔ(j)（ｘ，ｙ）（及びＷｉ（ｘ，ｙ））は、画素それぞれを含むブロック変換内の非ゼロ係数の量と反比例するように画素毎に計算することが可能である。この手法によれば、Ｗｉ（ｘ，ｙ）における重みは、Ｉ’ｉ（ｘ．ｙ）を生成するために使用される変換と同じブロック構造を有する。
【０１０７】
多格子スパース性ベースのフィルタリングの例示的な適用例は、限定列挙でないが、ピクチャ雑音除去、ピクチャ・アーチファクト解除、一部の他の後処理の目的、ビデオ符号化器／復号化器内のアーチファクト解除のためのインループ・フィルタリング、フィルム・グレイン除去のためのビデオ・データの前処理等を含む。
【０１０８】
次に、本発明の多くの付随的な利点／特徴の一部について説明する。この一部は上述している。例えば、一利点／特徴は、ピクチャのフィルタリングされた少なくとも２つのバージョンの適応的に重み付けられた組合せを生成するためにピクチャのピクチャ・データをフィルタリングするフィルタを有する装置である。ピクチャ・データは、ピクチャの少なくとも１つのサブサンプリングを含む。
【０１０９】
別の利点／特徴は、前述のフィルタを有する装置であり、ピクチャの少なくとも２つのフィルタリングされたバージョンの少なくとも１つが、ピクチャの少なくとも１つのサブサンプリングにフィルタを施すことによって生成される。ピクチャの少なくとも１つのサブサンプリングは、ピクチャの少なくとも一部分を表す値の少なくとも１つの２次元パターンを含む。
【０１１０】
更に別の利点／特徴は、前述のフィルタを有する装置であり、ピクチャ・データは、ピクチャの別々の２つのサンプリングを含み、フィルタをピクチャの別々の少なくとも２つのサンプリングに施して、ピクチャのフィルタリングされた少なくとも２つのバージョンを生成する。別々の少なくとも２つのサンプリングは、ピクチャの少なくとも１つのサブサンプリングを含む。
【０１１１】
更に別の利点／特徴は、前述のフィルタを有する装置であり、フィルタは線形及び非線形の少なくとも一方である。
【０１１２】
更に、別の利点／特徴は、前述のフィルタを有する装置であり。ピクチャ・データは係数に変換され、フィルタは、信号スパース性制約に基づいて変換領域において係数をフィルタリングする。
更に、別の利点／特徴は、前述の信号スパース性制約に基づいて変換領域において係数をフィルタリングするフィルタを有する装置であり、適応的に重み付けされた組合せは、変換領域におけるフィルタリングされた係数のスパース性の尺度に基づく。
【０１１３】
更に、別の利点／特徴は、前述の信号スパース性制約に基づいて変換領域において係数をフィルタリングするフィルタを有する装置であり、変換された領域は、少なくとも１つの冗長性変換、及び少なくとも１つの組の変換の少なくとも一方に対する応答性を有する。
【０１１４】
更に、別の利点／特徴は、前述の信号スパース性制約に基づいて変換領域において係数をフィルタリングするフィルタを有する装置であって、係数が、少なくとも１つの閾値を使用して変換領域においてフィルタリングされる。
【０１１５】
更に、別の利点／特徴は、前述の少なくとも１つの閾値を使用して、変換領域において係数をフィルタリングするフィルタを有する装置であり、少なくとも１つの閾値は、ユーザ選択、局所信号特性、大局信号特性、局所信号統計、大局信号統計、局所歪み、大局歪み、局所雑音、大局雑音、除去のために予め指定された信号成分の統計、除去に予め指定された信号成分の特性、ピクチャ・データを含む入力信号の信号成分の統計、及びピクチャ・データを含む入力信号の信号成分の統計、並びにピクチャ・データを含む入力信号の信号成分の特性のうちの少なくとも１つに応じた、局所的な適応性を有する。
【０１１６】
更に、別の利点／構成は、上述のフィルタを有する装置であり、上記装置はビデオ符号化器内に含まれる。
【０１１７】
更に、別の利点／構成は、上述のフィルタを有する装置であり、上記装置はビデオ復号化器内に含まれる。
【０１１８】
更に、別の利点／特徴は、上述のフィルタを有する装置であり、少なくとも１つの２次元の値パターンは、ピクチャの少なくとも一部分を表す少なくとも１つの２次元幾何パターンを含む。
【０１１９】
更に、別の利点／特徴は、上述のフィルタを有する装置であり、フィルタは、バージョン生成器、重み算出器、及び合成器を含む。バージョン生成器は、ピクチャの少なくとも２つのフィルタリングされたバージョンを生成する。重み算出器は、ピクチャの少なくとも２つのフィルタリングされたバージョンそれぞれの重みを算出する。合成器は、ピクチャの少なくとも２つのフィルタリングされたバージョンの適応的に重み付けられた組合せを適応的に算出する。
【０１２０】
本願の原理の前述並びに他の特徴及び利点は、本明細書及び特許請求の範囲記載の教示に基づいて、当業者が容易に確かめることができる。本願の原理の教示は、種々の形態のハードウェア、ソフトウェア、ファームウェア、特殊用途向プロセッサ、又はそれらの組み合わせで実現することができる。
【０１２１】
最も好ましくは、本願の原理の教示は、ハードウェア及びソフトウェアの組合せとして実現される。更に、ソフトウェアは、プログラム記憶装置上に有形に実施されたアプリケーション・プログラムとして実現することができる。アプリケーション・プログラムは、何れかの適切なアーキテクチャを有するマシンにアップロードし、前述のマシンによって実行することができる。好ましくは、マシンは、１つ又は複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）や、入出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォーム上に実現される。コンピュータ・プラットフォームは、オペレーティング・システム及びマイクロ命令コードも含み得る。本明細書及び特許請求の範囲記載の種々の処理及び機能は、ＣＰＵによって実行することができるアプリケーション・プログラムの一部若しくはマイクロ命令コードの一部（又はそれらの組み合わせ）であり得る。更に、種々の他の周辺装置を、更なるデータ記憶装置や、印刷装置などのコンピュータ・プラットフォームに接続することができる。
【０１２２】
添付図面に表す構成システム部分及び方法の一部は好ましくはソフトウェアで実現されるので、システム部分（又は処理機能ブロック）間の実際の接続は、本願の原理がプログラムされるやり方によって変わり得る。本明細書及び特許請求の範囲記載の教示があれば、当業者は、本願の原理の前述及び同様な実現形態又は構成に想到することができるであろう。
【０１２３】
例証的な実施例を添付図面を参照して本明細書及び特許請求の範囲において記載しているが、本願の原理は上述のまさにその実施例に限定されず、本願の原理の範囲又は趣旨から逸脱しない限り、種々の変更及び修正を当業者により、本願の原理において行うことができる。前述の変更及び修正は全て、特許請求の範囲記載の本願の原理の範囲内に含まれることが意図されている。
【特許請求の範囲】
【請求項１】
装置であって、
ピクチャの少なくとも２つのフィルタリングされたバージョンの適応された重み付けされた組合せを生成するようピクチャのピクチャ・データをフィルタリングするフィルタを備え、前記ピクチャ・データは、前記ピクチャの少なくとも１つのサブサンプリングを含む装置。
【請求項２】
請求項１記載の装置であって、前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンのうちの少なくとも１つが、前記ピクチャの前記少なくとも１つのサブサンプリングに前記フィルタを施すことによって生成され、前記ピクチャの前記少なくとも１つのサブサンプリングは、前記ピクチャの少なくとも一部分を表す値の少なくとも１つの２次元パターンを備える装置。
【請求項３】
請求項１記載の装置であって、前記ピクチャ・データは前記ピクチャの別々の２つのサンプリングを備え、前記フィルタを前記ピクチャの前記別々の少なくとも２つのサンプリングに施して前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンを生成し、前記別々の少なくとも２つのサンプリングは、前記ピクチャの前記少なくとも１つのサブサンプリングを含む装置。
【請求項４】
請求項１記載の装置であって、前記ピクチャ・データは係数に変換され、前記フィルタは、信号スパース性制約に基づいて、変換された領域において前記係数をフィルタリングする装置。
【請求項５】
請求項４記載の装置であって、前記適応された重み付けされた組合せは、前記変換された領域における前記フィルタリングされた係数のスパース性の尺度に基づく装置。
【請求項６】
請求項４記載の装置であって、前記係数は、少なくとも１つの閾値を使用して、前記変換された領域においてフィルタリングされる装置。
【請求項７】
請求項６記載の装置であって、前記少なくとも１つの閾値は、
ユーザ選択、局所信号特性、大局信号特性、局所信号統計、大局信号統計、局所歪み、大局歪み、局所雑音、大局雑音、除去のために予め指定された信号成分の統計、除去のために予め指定された前記信号成分の特性、前記ピクチャ・データを含む入力信号の信号成分の統計、及びピクチャ・データを含む入力信号の信号成分の統計、並びに前記ピクチャ・データを含む前記入力信号の前記信号成分の特性
のうちの少なくとも１つに応じて局所的に適応される装置。
【請求項８】
請求項１記載の装置であって、前記装置はビデオ符号化器内に含まれる装置。
【請求項９】
請求項１記載の装置であって、前記装置はビデオ復号化器内に含まれる装置。
【請求項１０】
請求項１記載の装置であって、前記フィルタは、
前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンを生成するバージョン生成器と、
前記ピクチャの前記少なくとも２つのフィルタリングされたバージョン毎の重みを算出する重み算出器と、
前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンの前記適応された重み付けされた組合せを算出する合成器と
を備える装置。
【請求項１１】
方法であって、
ピクチャの少なくとも２つのフィルタリングされたバージョンを生成するようピクチャのピクチャ・データをフィルタリングする工程であって、前記ピクチャ・データは、前記ピクチャの少なくとも１つのサブサンプリングを含む工程と、
前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンの適応された重み付けされた組合せを算出する工程と
を含む方法。
【請求項１２】
請求項１１記載の方法であって、前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンのうちの少なくとも１つが、前記ピクチャの前記少なくとも１つのサブサンプリングをフィルタリングすることによって生成され、前記ピクチャの前記少なくとも１つのサブサンプリングは、前記ピクチャの少なくとも一部分を表す値の少なくとも１つの２次元パターンを備える方法。
【請求項１３】
請求項１１記載の方法であって、前記ピクチャ・データは、前記ピクチャの２つの別々のサンプリングを備え、前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンは前記ピクチャの前記２つの別々のサンプリングをフィルタリングすることによって生成され、前記少なくとも２つの別々のサンプリングは、前記ピクチャの前記少なくとも１つのサブサンプリングを含む方法。
【請求項１４】
請求項１１記載の方法であって、前記ピクチャ・データは係数に変換され、前記フィルタリングする工程は、信号スパース性制約に基づいて、変換された領域において前記係数をフィルタリングする方法。
【請求項１５】
請求項１４記載の方法であって、前記適応された重み付けされた組合せは、前記変換された領域における前記フィルタリングされた係数のスパース性の尺度に基づく方法。
【請求項１６】
請求項１４記載の方法であって、前記変換された領域は、少なくとも一冗長性変換、及び少なくとも一冗長性変換の組のうちの少なくとも１つに対する応答性を有する方法。
【請求項１７】
請求項１４記載の方法であって、前記ピクチャの前記係数は、少なくとも１つの閾値を使用して、前記変換された領域においてフィルタリングされる方法。
【請求項１８】
請求項１７記載の方法であって、前記少なくとも１つの閾値は、
ユーザ選択、局所信号特性、大局信号特性、局所信号統計、大局信号統計、局所歪み、大局歪み、局所雑音、大局雑音、除去のために予め指定された信号成分の統計、除去のために予め指定された前記信号成分の特性、前記ピクチャ・データを含む入力信号の信号成分の統計、及び前記ピクチャ・データを含む前記入力信号の前記信号成分の統計、並びに前記ピクチャ・データを含む前記入力信号の前記信号成分の特性
のうちの少なくとも１つに応じた、局所的な適応性を有する方法。
【請求項１９】
請求項１１記載の方法であって、前記方法はビデオ符号化器内で行われる方法。
【請求項２０】
請求項１１記載の方法であって、前記方法はビデオ復号化器内で行われる方法。
【請求項２１】
請求項１１記載の方法であって、前記少なくとも１つの２次元値パターンは、前記ピクチャの少なくとも一部分を表す値の少なくとも１つの２次元幾何パターンを含む方法。
【請求項２２】
請求項１１記載の方法であって、前記少なくとも１つのフィルタは、前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンそれぞれの重みを算出する工程を含む方法。
【請求項１】
装置であって、
ピクチャの少なくとも２つのフィルタリングされたバージョンの適応された重み付けされた組合せを生成するようピクチャのピクチャ・データをフィルタリングするフィルタを備え、前記ピクチャ・データは、前記ピクチャの少なくとも１つのサブサンプリングを含む装置。
【請求項２】
請求項１記載の装置であって、前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンのうちの少なくとも１つが、前記ピクチャの前記少なくとも１つのサブサンプリングに前記フィルタを施すことによって生成され、前記ピクチャの前記少なくとも１つのサブサンプリングは、前記ピクチャの少なくとも一部分を表す値の少なくとも１つの２次元パターンを備える装置。
【請求項３】
請求項１記載の装置であって、前記ピクチャ・データは前記ピクチャの別々の２つのサンプリングを備え、前記フィルタを前記ピクチャの前記別々の少なくとも２つのサンプリングに施して前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンを生成し、前記別々の少なくとも２つのサンプリングは、前記ピクチャの前記少なくとも１つのサブサンプリングを含む装置。
【請求項４】
請求項１記載の装置であって、前記ピクチャ・データは係数に変換され、前記フィルタは、信号スパース性制約に基づいて、変換された領域において前記係数をフィルタリングする装置。
【請求項５】
請求項４記載の装置であって、前記適応された重み付けされた組合せは、前記変換された領域における前記フィルタリングされた係数のスパース性の尺度に基づく装置。
【請求項６】
請求項４記載の装置であって、前記係数は、少なくとも１つの閾値を使用して、前記変換された領域においてフィルタリングされる装置。
【請求項７】
請求項６記載の装置であって、前記少なくとも１つの閾値は、
ユーザ選択、局所信号特性、大局信号特性、局所信号統計、大局信号統計、局所歪み、大局歪み、局所雑音、大局雑音、除去のために予め指定された信号成分の統計、除去のために予め指定された前記信号成分の特性、前記ピクチャ・データを含む入力信号の信号成分の統計、及びピクチャ・データを含む入力信号の信号成分の統計、並びに前記ピクチャ・データを含む前記入力信号の前記信号成分の特性
のうちの少なくとも１つに応じて局所的に適応される装置。
【請求項８】
請求項１記載の装置であって、前記装置はビデオ符号化器内に含まれる装置。
【請求項９】
請求項１記載の装置であって、前記装置はビデオ復号化器内に含まれる装置。
【請求項１０】
請求項１記載の装置であって、前記フィルタは、
前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンを生成するバージョン生成器と、
前記ピクチャの前記少なくとも２つのフィルタリングされたバージョン毎の重みを算出する重み算出器と、
前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンの前記適応された重み付けされた組合せを算出する合成器と
を備える装置。
【請求項１１】
方法であって、
ピクチャの少なくとも２つのフィルタリングされたバージョンを生成するようピクチャのピクチャ・データをフィルタリングする工程であって、前記ピクチャ・データは、前記ピクチャの少なくとも１つのサブサンプリングを含む工程と、
前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンの適応された重み付けされた組合せを算出する工程と
を含む方法。
【請求項１２】
請求項１１記載の方法であって、前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンのうちの少なくとも１つが、前記ピクチャの前記少なくとも１つのサブサンプリングをフィルタリングすることによって生成され、前記ピクチャの前記少なくとも１つのサブサンプリングは、前記ピクチャの少なくとも一部分を表す値の少なくとも１つの２次元パターンを備える方法。
【請求項１３】
請求項１１記載の方法であって、前記ピクチャ・データは、前記ピクチャの２つの別々のサンプリングを備え、前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンは前記ピクチャの前記２つの別々のサンプリングをフィルタリングすることによって生成され、前記少なくとも２つの別々のサンプリングは、前記ピクチャの前記少なくとも１つのサブサンプリングを含む方法。
【請求項１４】
請求項１１記載の方法であって、前記ピクチャ・データは係数に変換され、前記フィルタリングする工程は、信号スパース性制約に基づいて、変換された領域において前記係数をフィルタリングする方法。
【請求項１５】
請求項１４記載の方法であって、前記適応された重み付けされた組合せは、前記変換された領域における前記フィルタリングされた係数のスパース性の尺度に基づく方法。
【請求項１６】
請求項１４記載の方法であって、前記変換された領域は、少なくとも一冗長性変換、及び少なくとも一冗長性変換の組のうちの少なくとも１つに対する応答性を有する方法。
【請求項１７】
請求項１４記載の方法であって、前記ピクチャの前記係数は、少なくとも１つの閾値を使用して、前記変換された領域においてフィルタリングされる方法。
【請求項１８】
請求項１７記載の方法であって、前記少なくとも１つの閾値は、
ユーザ選択、局所信号特性、大局信号特性、局所信号統計、大局信号統計、局所歪み、大局歪み、局所雑音、大局雑音、除去のために予め指定された信号成分の統計、除去のために予め指定された前記信号成分の特性、前記ピクチャ・データを含む入力信号の信号成分の統計、及び前記ピクチャ・データを含む前記入力信号の前記信号成分の統計、並びに前記ピクチャ・データを含む前記入力信号の前記信号成分の特性
のうちの少なくとも１つに応じた、局所的な適応性を有する方法。
【請求項１９】
請求項１１記載の方法であって、前記方法はビデオ符号化器内で行われる方法。
【請求項２０】
請求項１１記載の方法であって、前記方法はビデオ復号化器内で行われる方法。
【請求項２１】
請求項１１記載の方法であって、前記少なくとも１つの２次元値パターンは、前記ピクチャの少なくとも一部分を表す値の少なくとも１つの２次元幾何パターンを含む方法。
【請求項２２】
請求項１１記載の方法であって、前記少なくとも１つのフィルタは、前記ピクチャの前記少なくとも２つのフィルタリングされたバージョンそれぞれの重みを算出する工程を含む方法。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１０Ｄ】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１０Ｄ】
【公表番号】特表２０１０−５２９７７６（Ｐ２０１０−５２９７７６Ａ）
【公表日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願番号】特願２０１０−５１１１６０（Ｐ２０１０−５１１１６０）
【出願日】平成２０年５月２９日（２００８．５．２９）
【国際出願番号】ＰＣＴ／ＵＳ２００８／００６８０９
【国際公開番号】ＷＯ２００８／１５３８２３
【国際公開日】平成２０年１２月１８日（２００８．１２．１８）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公表日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願日】平成２０年５月２９日（２００８．５．２９）
【国際出願番号】ＰＣＴ／ＵＳ２００８／００６８０９
【国際公開番号】ＷＯ２００８／１５３８２３
【国際公開日】平成２０年１２月１８日（２００８．１２．１８）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]