アーチファクト評価による向上した画像／ビデオ品質
【課題】アーチファクト評価器を採用した、画像／ビデオ符号化および復号化システムを提供する。
【解決手段】ビデオブロックを処理する方法および／または装置は、フィルタリングされていない再構成済みのビデオブロックまたはフレームを受信し、アーチファクトフィルタを同期させるべく動作する復号器を備えており、これは、フィルタリングされた再構成済みビデオブロックまたはフレームを生成する。メモリバッファは、フィルタリングされた再構成済みビデオブロックまたはフレーム、あるいはフィルタリングされていない再構成済みのビデオブロックまたはフレームを記憶するべく動作し、アーチファクト評価器は、どのフィルタリングされたビデオブロックまたはフレーム、あるいはフィルタリングされていないビデオブロックまたはフレームがより優れた画像／ビデオ品質を生成するかを評価および決定した後に、メモリバッファを更新するべく動作する。
【解決手段】ビデオブロックを処理する方法および／または装置は、フィルタリングされていない再構成済みのビデオブロックまたはフレームを受信し、アーチファクトフィルタを同期させるべく動作する復号器を備えており、これは、フィルタリングされた再構成済みビデオブロックまたはフレームを生成する。メモリバッファは、フィルタリングされた再構成済みビデオブロックまたはフレーム、あるいはフィルタリングされていない再構成済みのビデオブロックまたはフレームを記憶するべく動作し、アーチファクト評価器は、どのフィルタリングされたビデオブロックまたはフレーム、あるいはフィルタリングされていないビデオブロックまたはフレームがより優れた画像／ビデオ品質を生成するかを評価および決定した後に、メモリバッファを更新するべく動作する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ディジタル画像およびビデオ処理に関し、より具体的には、アーチファクト (artifact)評価による向上した画像／ビデオ品質に関する。
【背景技術】
【０００２】
ディジタルビデオ機能は、ディジタルテレビ、ディジタルダイレクト放送システム、無線通信デバイス、パーソナルディジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、ディジタルカメラ、ディジタル記憶デバイス、移動式または衛星無線電話などの幅広いデバイスに採用できる。ディジタルビデオおよび映像デバイスは、フル動画ビデオシーケンスおよび映像を作成、修正、送信、記憶、記録、再生を行う上で、従来のアナログビデオおよび映像システムよりも著しく向上している。ビデオシーケンス（ビデオクリップとも呼ばれる）はフレームのシーケンスで構成されている。さらに、映像はフレームとして表すことができる。ビデオまたは映像からのフレームあるいはフレームの一部は、多くの場合、画像と呼ばれる。
【０００３】
移動電話やハンドヘルド型ディジタルカメラのようなディジタルデバイスは、写真および／またはビデオの両方を撮ることができる。写真およびビデオシーケンスは記憶され、別のデバイスへ無線またはケーブルで送信される。送信前に、フレームをサンプリングおよびディジタル化することができる。ディジタル化の後に、フレームをより小さいブロックにパース(parse)し、符号化することができる。符号化は、時に圧縮と同義語である。圧縮によって、フレームを表すために必要なデータの全体（通常は冗長）量（即ちビット）を減少させることができる。ビデオおよび画像データを圧縮することにより、多くの画像およびビデオ符号化基準が、ビデオシーケンスおよび画像の送信速度を向上させることが可能となる。典型的には、圧縮されたビデオシーケンスおよび圧縮された画像は符号化されたビットストリーム、符号化されたパケット、またはビットストリームと呼ばれる。多くの画像およびビデオ符号化基準は、送信するビットを、圧縮技術を用いずに使用したものよりも少なくすることで、ビデオおよび画像送信を促進するように設計された画像／ビデオ圧縮技術を利用する。
【０００４】
圧縮をサポートするために、ディジタルビデオおよび／または写真デバイスは、典型的に、ディジタルビデオシーケンスを圧縮し、写真を圧縮するための符号器と、ディジタルビデオシーケンスを解凍するための復号器とを含んでいる。多くの場合、符号器と復号器は、ビデオシーケンスを定義するフレーム内の画素のブロック上で動作する集積符号器／復号器（ＣＯＤＥＣ）を形成する。例えば国際電気通信連合（ＩＴＵ）Ｈ．２６４や動画エキスパートグループ（ＭＰＥＧ）−４、ジョイント・フォトグラフ・エキスパート・グループ（ＪＰＥＧ）のような基準においては、典型的に、符号器は送信するビデオフレームまたは画像を、「マクロブロック」と呼ばれるビデオブロックに分割する。典型的な１つのマクロブロックのサイズは、高さ１６画素×幅１６画素である。様々なサイズのビデオブロックを使用できる。画像およびビデオ処理の当業者は、ビデオブロック、または画像ブロックという用語を相互交換可能に使用できることを認識する。時に相互交換可能性において明確にするために、「画像／ビデオブロック」という用語を使用する。ＩＴＵ Ｈ．２６４基準は、１６×１６ビデオブロック、１６×８ビデオブロック、８×１６画像ブロック、８×８画像ブロック、８×４画像ブロック、４×８画像ブロック、４×４画像ブロックの処理をサポートする。これ以外の基準は、サイズの異なる画像ブロックをサポートすることができる。時に当業者は、符号化処理を説明する場合に、ビデオブロックまたはフレームを相互交換可能に使用し、また時に、これをビデオ物質としてのビデオブロックまたはフレームとも呼ぶ。一般に、ビデオ符号化基準は、ビデオユニットの符号化および復号化をサポートし、この場合、ビデオユニットはビデオブロックまたはビデオフレームであってよい。
【０００５】
ビデオフレーム中の各ビデオブロックについて、符号器は多数の「予測」モードで動作する。或るモードでは、「最予測ブロック」と呼ばれる最も類似したビデオブロックを識別するために、１以上の直前のビデオフレーム（または後続のフレーム）の類似サイズのビデオブロックを検索する。現在のビデオブロックを別のフレームのビデオブロックと比較する処理は、一般にブロックレベル動作推定（ＢＭＥ）と呼ばれる。ＢＭＥは、各ブロックに動作ベクトルを生成する。現在のビデオブロックに「最予測ブロック」が識別されると、符号器は、現在のビデオブロックと最予測ブロックとの間の差を符号化することができる。現在のビデオブロックと最予測ブロックの間の差を使用するこの処理は、動作補正と呼ばれる処理が含まれる。具体的には、動作補正は、動作ベクトルを使用して、最予測ブロックを取り出し、次に、入力ビデオブロックから最予測ブロックを除去して差分ブロックを生成する動作を意味する。動作補正の後に、典型的には、一連の追加的な符号化ステップが実行されて、差分ブロックの符号化が終了する。これらの追加的な符号化ステップは、使用する符号化基準に依存する。別モードでは、符号器は、同一フレーム内における、１以上の、近接し、サイズが類似したビデオブロックを検索し、これらブロックからの情報を符号化処理の補助に使用する。
【０００６】
一般に、符号化処理の一部として、ビデオブロック（または差分ビデオブロック）の変換が実行される。この変換は、ビデオブロック（または差分ビデオブロック）が画素で表されている状態から、変換係数で表される状態に変換する。ビデオ符号化における典型的な変換は離散コサイン変換（ＤＣＴ）と呼ばれる。ＤＣＴは、ビデオブロックデータを画素ドメインから空間周波数ドメイン(domain)へ変換する。空間周波数ドメインでは、データはＤＣＴブロック係数で表される。ＤＣＴブロック係数は、ビデオブロック内に検出された空間周波数の数および大きさを表す。ＤＣＴの計算が終わると、「ブロック量子化」として公知の処理によって、ＤＣＴブロック係数を量子化することができる。ＤＣＴブロック係数の量子化（ビデオブロックまたは差分ビデオブロックのいずれかからのもの）は、ブロックから空間冗長性の一部を除去する。この「ブロック量子化」処理中に、量子化したＤＣＴブロック係数を閾値と比較することで、さらなる空間冗長性を除去することができる。量子化されたＤＣＴブロック係数の大きさが閾値未満である場合、係数は廃棄されるか、ゼロ値に設定される。
【０００７】
しかし、符号器におけるブロック量子化では、符号器において圧縮されているビデオフレームまたは画像を再構成する再に、復号器に異なるアーチファクトが発生することが多い。アーチファクトの一例に、再構成されたビデオ画像内へのブロックの出現があり、これは「ブロックノイズ」として知られている。いくつかの基準は、符号化処理の一部としてデブロッキングフィルタを含めることでこの問題に対処しようとしてきた。いくつかのケースでは、デブロッキングフィルタはブロックノイズを除去するだけでなく、さらに、ビデオフレームまたは画像を汚したり不明瞭にする効果もあり、これは不明瞭性アーチファクトとして知られている。そのため、画像／ビデオ品質がデブロッキングフィルタからの「ブロックノイズ」または不明瞭性によって劣化してしまう。感知される視覚的品質への符号化アーチファクトの影響を減じる方法および装置は著しい利点となる。
【発明の概要】
【０００８】
添付の図面および以下の説明において、１以上の実施形態の詳細を述べる。別の特徴、目的、利点は説明、図面、特許請求項から明らかになる。
【０００９】
一般に、ビデオブロックを処理するアーチファクト評価器を採用した画像／ビデオ符号化および復号化システムは、画像／ビデオ品質を向上することができる。符号化処理中に、テクスチャ復号器およびビデオブロック、またはインター符号化もしくはイントラ符号化予測モードからのフレーム結果はフィルタリングされていない再構成済みビデオブロックまたはフレームと同期する。フィルタリングされていない再構成済みのビデオブロックまたはフレームは、アーチファクトフィルタを通過して、フィルタリングされた再構成済みのビデオブロックまたはフレームを生じる。アーチファクトフィルタはデブロッキングフィルタであるか、またはデブロッキングフィルタとして構成されていてよい。アーキテクトフィルタがデブロッキングフィルタである、もしくはこれとして構成されている場合には、ブロックノイズが抑圧される。しかし、フィルタリング後に得られる、フィルタリングされた再構成済みのビデオブロックまたはフレームは不明瞭になる可能性がある。現在の符号化方法および基準は、インループメモリバッファの更新方法を「適合的に」変更する手法を有していないために制限されてしまう。現在の符号化方法および基準におけるこの制限のために、特にインター符号化予測モードにて、他のフレームに粗悪な画像／ビデオ品質が伝播されてしまう。
【００１０】
アーチファクト評価器を使用することで、この現在の符号化方法および基準の制限を克服することができる。アーチファクト評価器を使用することで、感知された画像／ビデオ品質に基づき、デブロッキングフィルタのようなアーチファクトフィルタの出力をいつ使用するのがよいか、また、インループメモリバッファを更新するために、デブロッキングフィルタのようなアーチファクトフィルタの入力をいつ使用するのがよいかを評価および決定できる。アーチファクト評価器を使用することにより、現在のフレームの現在の方法および基準を画像／ビデオ品質を向上するだけでなく、特にインター符号化予測モードで使用している場合に、粗悪な画像／ビデオ品質が後続の処理済みフレームへ伝播することを防止するというさらなる利点が得られる。アーチファクト評価器はまた、基準に準拠していてよい。
【００１１】
フィルタリングされていない再構成済みのビデオブロックまたはフレームと、フィルタリングされた再構成済みビデオブロックまたはフレームの各々について、アーチファクトの量を測定するべくアーチファクトメトリック(artifact metric)を生成することができる。アーチファクトメトリックは非オリジナル基準（ＮＲ）またはフルオリジナル基準（ＦＲ）であってよい。ＮＲおよびＦＲアーチファクトメトリックの間の差は、オリジナルビデオブロックまたはフレームの使用可能性に基づく。アーチファクトメトリック生成器は、アーチファクトメトリックを生成し、また、アーチファクト評価器の一部である。アーチファクトメトリックが生成されると、インループメモリバッファを更新する上でビデオブロックまたはフレームが使用される感知された画像／ビデオ品質に基づいて決定される。アーチファクトメトリックの生成方法には応用形があり、また、インループメモリバッファを更新する上で用いられる、フィルタリングされた再構成済みビデオブロックまたはフレーム、あるいはフィルタリングされていないビデオブロックまたはフレームを使用する様々な方法が存在する。これらの応用形は以下の実施形態において例証されている。
【００１２】
一実施形態では、アーチファクトメトリック生成器は、ＮＲアーチファクトメトリックを生成するためにビデオ符号器に使用される。
【００１３】
別の実施形態では、アーチファクトメトリック生成器は、ＦＲアーチファクトメトリックを生成するためにビデオ符号器に使用される。
【００１４】
さらなる実施形態では、ＮＲまたはＦＲアーチファクトメトリックは、ブロックノイズの量を測定するために使用される。
【００１５】
さらなる実施形態では、構成可能なアーチファクトメトリック生成器は、複数のアーチファクトメトリックを一度に出力するために使用される。
【００１６】
またさらなる実施形態では、インループメモリバッファを更新するためにはどのビデオブロックまたはフレームを使用するべきかを決める決定は、１タイプのみのメトリック、例えばブロックノイズ（またはデブロックノイズ）メトリックに基づいている。
【００１７】
別の実施形態では、インループメモリバッファを更新するためにはどのビデオブロックまたはフレームを使用するべきかを決める決定は、複数タイプのメトリック、例えばブロックノイズ（またはデブロックノイズ）メトリックおよび不明瞭性メトリックに基づいていてよい。
【００１８】
上記のいくつかの実施形態を組み合わせて他の実施形態を形成することができる。
【００１９】
１以上の実施形態の詳細を、添付の図面および以下の説明において述べる。これ以外の特徴、目的、利点は、説明、図面、特許請求項から明らかになる。
【図面の簡単な説明】
【００２０】
【図１Ａ】本明細書で説明した技術に基づくアーチファクト評価器を採用した画像／ビデオ符号化および復号化システムを図示する。
【図１Ｂ】本明細書で説明した技術に基づいて使用できる２つのＣＯＤＥＣを図示する。
【図２】グループオブピクチャーズ（ＧＯＰ）として公知のビデオシーケンスを図示する。
【図３】図１Ａまたは図１Ｂのデバイスに使用できる例証的な画像／ビデオ符号器を図示する。
【図４Ａ】図３の単純化した例証的な画像／ビデオ符号器を図示しており、この場合、図３のデブロッキングフィルの代わりにより一般的なアーチファクトフィルタを使用している。
【図４Ｂ】再構成され、オプションのオリジナル画像／ビデオブロック（１以上）またはフレームの両方を評価する上で補助となるアーチファクトメトリック生成器の使用を図示する。
【図５Ａ】図４Ｂで使用されるアーチファクトメトリック生成器の一態様を図示し、この場合、再構成済みの画像／ビデオブロック（１以上）またはフレームのみを示す。
【図５Ｂ】再構成されオプションである画像／ビデオブロック（１以上）またはフレームを設けたブロック線図であり、図４Ｂで使用したアーチファクトメトリック生成器の一態様を図示する。
【図６】ＡＳＮＲメトリックを計算するのに使用される、アーチファクトメトリック生成器で使用される重量値選択（ＷＶＳ）を図示したグラフである。
【図７】汎用アーチファクトフィルタと、より一般的な、オプションのメトリック制御装置で構成されていてよいアーチファクトメトリック生成器を設けた例証的な画像／ビデオ符号器を図示する。
【図８】アーチファクトメトリック生成器の一般的な構成を図示する。
【図９】別バージョンのＡＳＮＲメトリックを実現するために、図８のアーチファクトメトリック生成器を構成できることを図示する。
【図１０】典型的な画像／ビデオ符号器のフィードバックループ内にアーチファクト評価器を使用できることを図示する。
【図１１Ａ】１タイプのメトリックを使用して出力決定を行う、１バージョンのアーチファクト評価器を図示する。
【図１１Ｂ】出力決定を行うために複数タイプのメトリックを使用する、１バージョンのアーチファクト評価器を図示する。
【図１２】図１１Ａ中の決定論理ブロックによって使用される方法のフローチャートを図示する。
【図１３】図１１Ｂ中の決定論理ブロックに使用される方法のフローチャートを図示する。
【図１４】アーチファクト評価処理のフローチャートを図示する。
【詳細な説明】
【００２１】
本明細書で使用されている「例証的な」という用語は、「例、実例、または例証として働く」ことを意味する。本明細書で「例証的な」として述べられている任意の実施形態、構成、または設計は、他の実施形態もしくは設計にかけて好ましいあるいは有利なものとして構造される必要はない。一般に、本明細書で述べているように、アーチファクトを評価するだけでなく、評価の結果として感知した画像／ビデオ品質を向上させる新規の方法および装置である。
【００２２】
図１Ａは、本明細書で説明している実施形態による技術に基づいてアーチファクト評価機を採用できる画像／ビデオ符号化および復号化システム２を図示する。図１Ａに示すように、ソースデバイス４ａは、ビデオシーケンスまたは画像をディスプレイデバイス８へ送信する前にビデオまたは映像入力をとらえるキャプチャデバイス６を含有している。このビデオシーケンスまたは画像を、メモリ１０あるいは画像／ビデオ処理ユニット１４へ送信することができる。ビデオシーケンスあるいは画像は、画像／ビデオ処理ユニット１４からメモリ１０内へ書き込むことができる。画像／ビデオ処理ユニット１４がメモリ１０あるいはキャプチャデバイス６から受信する入力を、画像／ビデオ符号器へ送信することができる。画像／ビデオ符号器は画像／ビデオ処理ユニット１４内にあってよい。ビデオ符号器が出力し符号化されたビットストリームを送信機１６に記憶するか、送信機１６へ送信することができる。ソースデバイス４ａは、符号化したビットストリームを受信デバイス１８ａへチャンネル１９を介して送信する。チャネル１９は無線チャネルまたは有線チャネルであってよい。媒体は空気や、ソースデバイスを受信デバイスに接続できる任意のケーブルおよびリンクであってよい。例えば、受信機２０を、画像／ビデオ復号器２１を駆動する任意のコンピュータ、ＰＤＡ、移動電話、ディジタルテレビ、ＤＶＤプレーヤ、画像／ビデオ試験装置の内部に設置して、上述の符号化されたビットストリームを復号することができる。画像／ビデオ復号器２１の出力は復号化された信号を、ディスプレイデバイス２２へ送信でき、そこで復号化された信号が表示される。
【００２３】
ソースデバイス４ａおよび／または受信デバイス１８ａの全体または一部は、移動電話用の「チップセット」または「チップ」を備えることができ、これらには、ハードウェア、ソフトウェア、ファームウェアの組み合わせ、および／または１以上のマイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、アプリケーション限定集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、またはこれらの様々な組み合わせが含まれる。これに加え、別の実施形態では、画像／ビデオ符号化および復号化システム２は、ＣＯＤＥＣ２４の一部としての１つのソースデバイス４ｂおよび１つの受信デバイス１８ｂの内部に設けることができる。したがって、図１Ｂに見られるように、ソースデバイス４ｂと受信デバイス１８ｂは、ソースおよび受信デバイスが少なくとも１つのＣＯＤＥＣ２４を含有できることを例示している。ＣＯＤＥＣ２４は画像／ビデオ符号器２３および画像／ビデオ符号器２１で構成されており、また、画像／ビデオ処理ユニット１４内に配置することができる。
【００２４】
図２は、グループオブピクチャー（ＧＯＰ）１３０として知られたビデオシーケンスを図示する。インター符号化予測モード符号化は、典型的に、異なるフレーム内のビデオブロック同士の間における時間および空間差分を補正するために使用される。イントラ符号化予測モード符号化は、同一フレーム内のビデオブロック同士の間の空間差分を補正するために使用される。インター符号化モードとイントラ符号化モードの両方は、現在のビデオブロックの符号化を補助するために過去の（または後にバッファされる）情報を使用することから、予測モードとして知られている。いくつかの基準において、Ｉフレーム３１は、典型的に、過去のフレームとはコンテンツが異なるシーンの第１フレームまたはフレームのシーケンスを示す。典型的に、Ｉフレームはイントラ符号化モードを使用する。Ｂフレーム（１以上）３３とＰフレーム（１以上）３５はイントラ符号化モードとインター符号化モードの両方を使用する。Ｐフレーム（１以上）３５は、過去のフレームを符号化の基準として使用し、一方、Ｂフレーム（１以上）３３は過去のフレームと将来のフレームの両方を符号化の基準として使用できる。しかし、ＩＴＵ Ｈ．２６４標準では、任意のフレーム（Ｉフレーム、Ｐフレーム、Ｂフレーム）を符号化の基準として使用できる。将来のフレームを使用できる理由は、通常、フレームはバッファされ、バッファ内の過去または将来のフレームからのデータを符号化の最中にある現在のフレームに使用できるためである。
【００２５】
図３は、図１Ａまたは図１Ｂのデバイスに使用できる例証的な画像／ビデオ符号器を図示する。ビデオシーケンスからのフレームまたはフレームの一部を、ＣＯＤＥＣ２４の一部であってよい画像／ビデオ符号器２３内部、および／または画像／ビデオ処理ユニット１４内部の入力フレームバッファ４２内に配置することができる。入力フレームバッファ４２からの入力フレームはブロック内へパースされ（ビデオブロックは任意のサイズのものでよいが、標準的なスクエアビデオブロックサイズは４×４、８×８、または１６×１６である）、ビデオブロックバッファ４３へ送信される。典型的に、ビデオブロックバッファ４３はビデオブロックを減算器４４へ送信する。減算器４４は、スイッチ４６の出力からビデオブロックｘを減算する。スイッチ４６は、符号化のイントラ符号化予測モードとインター符号化予測モードを切り換える。スイッチ４６がインター符号化予測モードを有効にしている場合には、ビデオブロックｘと、別の（過去または後続の）フレームからのビデオブロックとの差が、テクスチャ符号器４７によって圧縮される。スイッチ４６がイントラ符号化予測モードを有効にしている場合には、ビデオブロックｘと、過去のビデオブロックから予測された値との差がテクスチャ(texture)符号器４７によって圧縮される。
【００２６】
テクスチャ符号器４７は、画素ドメインからの入力ｘ（ビデオブロックまたは別のブロック）を空間周波数ドメインに変換するＤＣＴブロック４８を有する。空間周波数ドメイン内では、データはＤＣＴブロック係数によって表される。ＤＣＴブロック係数は、ビデオブロック内で検出された空間周波数の数と大きさを表す。ＤＣＴの計算後に、「ブロック量子化」として公知の処理にて、ＤＣＴブロック係数を量子化器５０を用いて量子化することができる。ＤＣＴブロック係数の量子化（ビデオブロックまたはビデオブロックの差から得たもの）が、ブロックからの空間冗長の一部を除去する。この「ブロック量子化」処理中、量子化したＤＣＴブロック係数と閾値を比較することにより、さらなる空間冗長を除去することが可能である。この比較は、量子化器５０、または別の比較器ブロック（図示せず）の内部において実施される。量子化したＤＣＴブロック係数の大きさが閾値よりも小さい場合には、この係数は廃棄されるか、ゼロ値に設定される。
【００２７】
ブロック量子化の後に、結果の出力が別個の２つの構造、即ち（１）テクスチャ復号器６５、（２）エントロピー符号器５５へ送信される。テクスチャ復号器６５は、再構成された画像／ビデオブロックまたはフレームの製造を補助する逆量子化器６６を備えている。この逆量子化器６６は符号化予測モードで使用される。エントロピー符号器５５は、送信または記憶のためのビットストリームを生成する。エントロピー符号器５５はスキャナ５６を含有していてよく、このスキャナ５６は、ブロック量子化された出力を受信し、これを再順序化することで、可変長符号器（ＶＬＣ）５８によるより効率的な符号化を行えるようにする。ＶＬＣ５８は、符号化したビットストリームを生成するために、実行長さおよびハフマン符号化技術の使用を採用している。符号化されたビットストリームは出力バッファ６０へ送信される。ビットストリームを速度制御装置６２へ送信してもよい。速度制御装置６２は、基礎品質を維持しながら、量子化器５０が使用する量子ビット数の予定を立てる。エントロピー符号化は、無損失形式の圧縮であると考えられる。無損失圧縮とは、符号化されたデータが乱れることなくエントロピー復号器によって復元された場合に、符号化中のデータが全く同一に復元されることを意味する。エントロピー符号器５５は、無損失圧縮を実行する。
【００２８】
損失圧縮とは、符号化された入力に乱れがない場合であっても、符号化の結果、入力ｘが同一コピーを生成しないことを意味する。再構成された入力はこれの情報の「損失」部分を有する。テクスチャ符号器４７は損失圧縮を実行する。典型的な画像／ビデオ符号器２３は、通常、インター符号化予測モードとイントラ符号化予測モードの両方の補正を補助するローカルテクスチャ復号器６５を有する。逆量子化器６６と、逆ＤＣＴ６８と、加算器６９へ送信されたスイッチ４６の出力とが協働し、テクスチャ符号器４７の出力を復号し、テクスチャ符号器４７に入った入力ｘを再構成する。再構成された入力ｙはｘと似ているが、完全にｘと同じではない。一般的な画像／ビデオ「復号器」は、典型的に、逆量子化器６６の機能、逆ＤＣＴ６８の機能、さらに、加算器６９へ送信されたスイッチ４６の出力の機能を備えている。
【００２９】
ＭＰＥＧ−４、Ｈ．２６３基線プロファイルのようないくつかの基準においては、デブロッキングフィルタ７０は存在しない。ＭＰＥＧ−４、Ｈ．２６３基線プロフィールでは、デブロッキングフィルタは、受信装置のビデオ復号器における処理後ステップと同様、任意である。ＩＴＵ Ｈ．２６４、Ｗｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ ９（ＷＭ９）、Ｒｅａｌ Ｖｉｄｅｏ９（ＲＶ９）のような別の基準は、「インループ」デブロッキングフィルタとして公知であるデブロッキングフィルタ７０の使用の有効化をサポートする。デブロッキングフィルタ７０は、再構成された入力ｙがブロックを有する場合に発生する「ブロックノイズ」を除去するために使用される。先述したように、いくつかのケースでは、デブロッキングフィルタはブロックノイズを除去する上に、ビデオフレームまたは画像を不明瞭化する効果もある。ブロックノイズアーチファクトと不明瞭アーチファクトの間には相殺が存在する。デブロッキングフィルタ７０を有効化することでブロックノイズを低減できるが、これにより画像が不明瞭化してしまうために、感知される視覚品質が劣化する可能性がある。デブロッキングフィルタ７０の使用を有効化する基準は、常に、メモリバッファ８１を、フィルタリングした再構成済みのビデオブロックまたはフレームｙ^で更新する。
【数１】
【００３０】
デブロッキングフィルタ７０の出力をいつ使用すればより良いか、または、デブロッキングフィルタ７０の入力をいつ使用すればより良いかを決定する方法を見つけることが大いに有利である。本開示における様々な実施形態は、以前の基準の制限を特定し、解決する。この開示における様々な実施形態は、デブロッキングフィルタ７０のような出力アーチファクトフィルタをいつ使用すればより良いか、または、デブロッキングフィルタ７０のようなアーチファクトフィルタの入力をいつ使用すればより良いかを評価および決定する方法を示唆している。
【００３１】
先述したように、いくつかの基準においては、デブロッキングフィルタ７０が有効化されている時に、出力をメモリバッファ８１へ送信することができる。メモリバッファ８１内部には２つのメモリバッファ、即ち（１）再構成された新規のフレームバッファ８２、（２）再構成された古いフレームバッファ８４が設けられている。再構成された新規のフレームバッファ８２は、現在の処理された再構成フレーム（または部分フレーム）を記憶する。再構成された古いフレームバッファ８４は過去の処理済の再構成されたフレームを記憶する。この過去の処理済の再構成されたフレームは（再構成された）基準フレームとして使用される。再構成された基準フレームは、入力フレームバッファ４２内における現在のフレームの前または後のフレームであってよい。現在のフレーム（または、現在のフレームからのビデオブロック）、あるいは現在のフレームと再構成された基準フレーム（または別のブロックからのビデオブロック）の間の差分は「現在」符号化されている。現在のフレームの符号化が終了し、入力フレームバッファ４２からの入力における次のフレームが符号化されるべく取り出される前に、再構成された古いフレームバッファ８４が、再構成された新規のフレームバッファ８２の内容を設けたコピーによって更新される。
【００３２】
再構成された新規のフレームバッファ８２は、空間予測子８６で使用するために受信した再構成済みのビデオブロックを送信することができる。再構成された古いフレームバッファ８４は、過去に処理された再構成済みのビデオブロックをＭＥＣ（動作推定および補正ブロック）８７へ送信する。ＭＥＣブロックは、動作評価器８８と動作補正器９０を備えている。動作評価器８８は、動作補正器９０が符号化中のフレームと別のフレームとの差分を補正するために使用できる動作ベクトル（ＭＶ）９２と動作ベクトル予測子（ＭＶＰ）を生成する。ＭＶ９２はエントロピー符号器５５によっても使用される。ＩＴＵ Ｈ．２６４のようないくつかの基準においては、空間予測子８６の出力がイントラフレーム予測モードにおいて使用され、減算器４４と加算器６９の両方に供給し戻される。ＭＰＥＧ−４またはＪＰＥＧのようないくつかの基準では、空間予測子８６は存在しない。
【００３３】
図４Ａは図３と類似して見える。しかし、図示目的のみのために、図４Ａおよびこれに続く図面では、速度制御装置６２とエントロピー符号器５５を省略している。これに加え、図４Ａおよびこれに続く図面では、図３のデブロッキングフィルタ７０の代わりに、より一般的なフィルタであるアーチファクトフィルタ７２を使用している。この置き換えの意図は、一般的なアーチファクトフィルタを「インループ」にて使用できることを伝えることである。先述したように、アーチファクトは、復号中に、圧縮されたフレームを再構成する時に現れる。アーチファクトのいくつかの例には、ブロックノイズ、不明瞭性、リンギング、色滲みがある。ブロックノイズは、個々のビデオブロックの独立的な量子化によって生じる。不明瞭性は、高周波ＤＣＴ係数の粗量子化または省略によって高周波係数を抑圧することで発生する。不明瞭性はまた、低パスフィルタリングまたは平滑化によっても発生する可能性がある。リンギングは、高コントラストエッジロケーションと共に脈動し、高周波係数の量子化または切捨てにより引き起こされうる。色滲みは、彩度成分の高周波係数の抑圧によって生じた、クロミナンスが大きく異なる範囲にて発生する。
【００３４】
画像およびビデオ品質の測定に使用される最も一般的に使用されるメトリックの１つは、ピーク信号対ノイズ比（ＰＳＮＲ）であり、これは次の数式１によって定義される：
【数２】
【００３５】
ここで、ＰＫＳは２乗されたピーク画素値であり、通常は２５５２である。ｃｏｄｉｎｇ＿ｅｒｒｏｒは、一対のビデオブロック間の画素内における差分の平均２乗エラー（ＭＳＥ）を取ることで計算されることが多い。この一対のビデオブロックは、オリジナル基準フレームからのビデオブロックｘと、再構成されたフレームからのビデオブロックｙによって構成されている。ＰＳＮＲは、一対のビデオブロック間におけるｃｏｄｉｎｇ＿ｅｒｒｏｒの関数である。Ｃｏｄｉｎｇ＿ｅｒｒｏｒは、比較中であるビデオブロック内の画素間における類似性の量を示す。類似した画素が多いほどＰＳＮＲが大きくなる。ＰＳＮＲが小さいということは、画素の類似性が低いことを意味する。これに加え、ＰＳＮＲは平均符号化エラー数を示すためにも使用される。平均ｃｏｄｉｎｇ＿ｅｒｒｏｒは＜ｃｏｄｉｎｇ＿ｅｒｒｏｒ＞で表され、ｃｏｄｉｎｇ＿ｅｒｒｏｒの実行平均を取ることで生成できる。この場合、ＰＳＮＲは、フレーム上のｃｏｄｉｎｇ＿ｅｒｒｏｒの数である。ＰＳＮＲはｃｏｄｉｎｇ＿ｅｒｒｏｒの関数であるが、ｃｏｄｉｎｇ＿ｅｒｒｏｒが小さい場合には、ユーザが感知する優れた画像およびビデオ品質が常に生成されるとは限らない。一例として、タイルを張った壁または床の画像は、デブロッキングフィルタをかけた後に不明瞭となる。タイル同士の間の境界、すなわち縁は、全体画像のほんの僅かな部分しか示さない。そのため、ｃｏｄｉｎｇ＿ｅｒｒｏｒを画素毎に計算すると、たとえタイルの縁が不明瞭であっても、これによって得られるＰＳＮＲは画像およびビデオ品質が良質であることを示す。再構成した画像にデブロッキングフィルタを適用しない場合には、タイルの縁に濃淡のムラが生じる可能性がある。このようなケースでは、ＰＳＮＲによって感知される画像およびビデオ品質の測定が制限されてしまい望ましくない。
【００３６】
ＰＳＮＲの制限は新規のメトリック、即ちアーチファクト信号対ノイズ比（ＡＳＮＲ）によって克服できる。ＡＳＮＲメトリックは、アーチファクトの欠損（または存在）を測定する方法を提供する。あるバージョンのＡＳＮＲメトリック、即ちＡＳＮＲ（ｙまたはｙ^）は、図４Ｂのアーチファクトメトリック生成器１０１によって生成される。オプションの入力ｘを使用する場合には、アーチファクトメトリック生成器１０１によって、別バージョンのＡＳＮＲメトリックであるＡＳＮＲ（ｘ、ｙまたはｙ^）を生成できる。図中では、入力ｘがオプションであることを示すために、アーチファクトメトリック生成器１０１内に点線を描いている。ＡＮＳＲメトリックは様々な具体例を有することができる。
【００３７】
符号化アーチファクトまたはｃｏｄｉｎｇ＿ｅｒｒｏｒを測定する際に使用できる２つのフレームワークは、（１）非オリジナル基準（ＮＲ）、または（２）フルオリジナル基準（ＦＲ）である。図５ＡにＮＲフレームワークの一例を示す。図５Ａは、図４Ｂのアーチファクトメトリック生成器１０１を使用できる一態様を図示する。図５Ａ中のアーチファクトメトリック生成器１０１ａは、再構成された（ＲＥＣ、オリジナルフレームなし）ビデオブロックまたはフレームのみからのビデオブロックを設けている、感知された画像およびビデオ品質の評価を補助する。非基準フレームは、オリジナルフレームでない任意のフレームであってよい。典型的には、圧縮および再構成されたビデオブロックまたはフレームであってよい。図５Ｂに、ＦＲフレームワークの一例を示す。図５Ｂは、図４Ｂの任意のオリジナル入力ｘを設けたアーチファクトメトリック生成器１０１を使用した一態様を図示するブロック線図である。図５Ｂのアーチファクトメトリック生成器１０１ｂは、オリジナル（基準）入力ｘと、非オリジナル（再構成された）（ＲＥＤ、ｙまたはｙ^）ビデオブロックまたはフレームの両方からのビデオブロックを設けている、感知された画像およびビデオ品質の評価を補助する。
【００３８】
一般に、アーチファクトメトリック生成器の出力は、アーチファクト量の評価基準である。アーチファクトがブロックノイズである場合には、ＡＳＮＲメトリックの具体例を使用することができる。この具体例は、ブロックノイズの有無を測定するデブロッキング信号対ノイズ比（ＤＳＮＲ）メトリックである。ＮＲフレームワークでは、アーチファクトメトリック生成器によって実行される生成は再構成されたフレームのみに基づく。アーチファクトフィルタ７２がデブロッキングフィルタであれば、図４Ｂの頂部アーチファクトメトリック生成器１０１は、ｘが無い場合にＤＳＮＲ（ｙ）を出力することができる。ＤＳＮＲ（ｙ）は、ビデオブロックｙ、即ち再構成されたビデオブロックのブロックノイズの量の評価基準となる。アーチファクトフィルタ７２がデブロッキングフィルタであれば、図４Ｂの底部アーチファクトメトリック生成器１０１は、ｘが無い場合にＤＳＮＲ（ｙ^）を出力することができる。ＤＳＮＲ（ｙ^）は、ビデオブロックｙ^、即ちアーチファクトをフィルタリングしたビデオブロックのブロックノイズの量の評価基準となる。ＤＳＮＲ（ｙまたはｙ^）と書かれたＤＳＮＲ（ｙ）またはＤＳＮＲ（ｙ^）は非オリジナル基準（ＮＲ）メトリックである。
【００３９】
図４Ｂのアーチファクトメトリック生成器１０１内にオリジナル入力ｘが供給される場合には、ＦＲフレームワークを使用してメトリックを生成することができる。ＦＲフレームワークにおけるこのメトリックは、オリジナル基準フレームに対する非基準フレームのアーチファクト量の評価基準となる。アーチファクトフィルタ７２がデブロッキングフィルタである場合、図４Ｂの頂部アーチファクトメトリック生成器１０１はＤＳＮＲ（ｘ、ｙ）を出力できる。ＤＳＮＲ（ｘ、ｙ）は、ビデオブロックｘに対するビデオブロックｙのブロックノイズの量を判断する評価基準となる。アーチファクトフィルタ７２がデブロッキングフィルタである場合には、底部アーチファクトメトリック生成器１０１はＤＳＮＲ（ｘ、ｙ^）を生成できる。ＤＳＮＲ（ｘ、ｙ^）は、ビデオブロックｘに対するビデオブロックｙ^のブロックノイズの量を判断する評価基準となる。ＤＳＮＲ（ｘ、ｙまたはｙ^）と書かれたＤＳＮＲ（ｘ、ｙ）またはＤＳＮＲ（ｘ、ｙ^）は、フルオリジナル基準（ＦＲ）メトリックである。
【００４０】
画像またはフレーム中のブロックノイズの量を測定するために、時に、傾きの平均２乗差（ＭＳＤＳ）メトリックを使用して、再構成された画像またはフレーム中のブロックノイズの量を決定することがある。しかし、ＭＳＤＳメトリックは、オリジナル画像またはフレームの実テクスチャ内のブロックノイズと、ビデオ符号器のブロック量子化ステップにより導入されたブロックノイズとを区別しない。その上、このＭＳＤＳメトリックの使用は人間の視覚感知の使用を役立てたものではない。このＭＳＤＳによる制限はＤＳＮＲメトリックによって克服できる。ＤＳＮＲメトリックは、異なるタイプのブロックノイズを明確にすることによって、また、人間視覚感知を考慮することによって、ブロックベースのビデオ符号器の画像およびビデオ品質をより精密に評価するために使用されるので、形式は様々であってよい。先述したように、ＤＳＮＲメトリックはＡＳＮＲメトリックの１つの具体例である。
【００４１】
アーチファクト信号対ノイズ比（ＡＳＮＲ）メトリックの一般的な形式は、以下の数式２で示される。
【数３】
【００４２】
ここで、ＰＫＳはピーク画素値２乗の略であり、通常この値は２５５２である。数式２の分子は、ＰＫＳ、ＷＳ、ＷＰ、ＷＴの積を含有している。ＷＳ、ＷＰ、ＷＴは、画像およびビデオ品質に影響する空間（ＷＳ）成分、知覚（ＷＰ）成分、時間（ＷＴ）成分を明確にするために選択された重量である。数式２の分母はＦ（ｘ、ｙ）であり、ｘおよびｙのジョイント関数またはディスジョイント関数であってよい。ｘが使用できない場合には、Ｆ（ｘ、ｙ）をＦ（ｙ）で置き換えることができる。フィルタリングされていない再構成済みビデオブロックまたはフレームであるｙを、フィルタリングされた再構成済みビデオブロックまたはフレームであるｙ^で置き換えられる点にも留意すべきである。
【００４３】
Ｆ（ｘ、ｙ）に使用できる機能の１つにＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）がある。典型的に、ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）は、ＡＳＮＲメトリックのＤＳＮＲメトリックの具体例を用いる場合に使用される。一態様では、ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）はＭＳＤＳ（ｘ）とＭＳＤＳ（ｙ）の間のエラーの２乗である。別の態様では、ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）は、ＭＳＤＳ（ｘ）とＭＳＤＳ（ｙ）の間のエラーの絶対値である。ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）は別の変数を有していてよいが、ＦＲフレームワーク中では、ＭＳＤＳ（ｘ）とＭＳＤＳ（ｙ）の間のエラーの関数であることが多い。ＮＲフレームワーク内では、ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）を、相互に比較できる少なくとも２つの異なるＭＳＤＳ計算で置き換えることが可能である。例えば、ＭＳＤＳ（ｙ）とＭＳＤＳ（ｙ^）を使用できる。ＭＳＤＳ（ｘ）は、オリジナル基準フレームからの入力ビデオブロックｘの関数である。ＭＳＤＳ（ｙまたはｙ^）は、再構成されたフレームからのビデオブロックの関数ｙまたはｙ^である。
【００４４】
傾きの平均２乗差（ＭＳＤＳ）は、多くの場合、全てのビデオブロック境界にて計算され、また、一対の隣接するビデオブロック間の境界付近における異なる３タイプの傾きを設けている。この異なる３タイプの傾きは、通常、同一の画素行上にある画素間で計算される。直接隣り合った、Ｌ行を設けた２つの隣接するビデオブロックを考慮する。第１ビデオブロック内の最後２列の画素は、第２ビデオブロック内の第１の２列の画素の隣にある。Ｔｙｐｅ＿１の傾きは、第１ビデオブロックの最終列内の画素と、最後から２番目の列内の画素と間で計算される。Ｔｙｐｅ＿２の傾きは、第２ビデオブロックの第１列内の画素と第２列内の画素との間で計算される。Ｔｙｐｅ＿３の傾きは、第２ビデオブロックの第１列内の画素と、第１ビデオブロックの最終列内の画素との間で計算される。
【００４５】
典型的に、ＭＳＤＳは、数式３に示すように共通の画素行にかけて計算される。
【数４】
【００４６】
ここで、画素（ｉ）はｉ番目の画素グループがＬ行のいずれかにおける計算に関係していることを表す。この場合、ｉ番目のグループは６ピクセル含んでいる。各ビデオブロック境界について、ＭＳＤＳ（画素（ｉ））はＬ行にかけて平均化されている。各ビデオブロックおよびビデオブロック境界の全体（平均）ＭＳＤＳは次の数式４として書かれる。
【数５】
【００４７】
ここで、Ｌは、ビデオブロックの境界を定義する行の数である。
【００４８】
しかし、列は画素のアレイであるため、同タイプの全ての傾きを平行して計算することができる。この平行した計算はグラジエントと呼ばれる。そのため、一対の隣接したビデオブロック間の境界付近のＭＳＤＳを計算する場合には、次の３つのグラジエントを計算することができる：（１）ｐｒｅ＿ｇｒａｄｉｅｎｔ（タイプ１の傾き）、（２）ｐｏｓｔ＿ｇｒａｄｉｅｎｔ（タイプ２の傾き）、（３）ｅｄｇｅ＿ｇｒａｄｉｅｎｔ（タイプ３の傾き）。算出したグラジエントはベクトルである。そのため、数式４の平行した例は下の数式（５）によって計算できる。
【数６】
【００４９】
ここで、ｂは任意のビデオブロックを表す。ｉ番目のグループの画素（ｉ＝１．．．Ｌ）について、ＭＳＤＳ（ｂ）が、一対の隣接したビデオブロックの間の境界にて計算される。
【００５０】
差分ベクトルのＬ２ノルム（ｅｄｇｅ＿ｇｒａｄｉｅｎｔ−＿ａｖｅｒａｇｅ（ｐｒｅ＿ｇｒａｄｉｅｎｔ，ｐｏｓｔ＿ｇｒａｄｉｅｎｔ））を２乗することにより、数式５を実現できる。ノルムは数学的な構造である。Ｌ２ノルムは１タイプのノルムであり、ベクトルの大きさを計算するために使用できる。このベクトルの大きさを計算するために、Ｌ２ノルムはベクトル成分の２乗の和の平方根を取る。ＭＳＤＳは数式４、５に示すように計算されることが多いが、ｅｄｇｅ＿ｇｒａｄｉｅｎｔと、ｐｒｅ＿ｇｒａｄｉｅｎｔとｐｏｓｔ＿ｇｒａｄｉｅｎｔの平均との間の差を２乗しない別形が存在してもよい。例えば、代わりにＬ１ノルムを使用することもできる。本明細書に含まれている実施形態は、タイプ１、タイプ２、タイプ３の傾きを使用するあらゆる別形を包括し、これに適用される。
【００５１】
既述のように、Ｆ（ｘ、ｙ）にＭＳＤＳを使用することで、ＡＳＮＲメトリックの具体例であるＤＳＮＲメトリックが生成される。同様に、Ｆ（ｘ、ｙ）の代わりに別の公知のメトリックを使用することで、ＡＳＮＲメトリックの別の具体例を生成することができる。デブロッキング信号対ノイズ比（ＤＳＮＲ）メトリックの一般的なＦＲ形式は、下の数式６で定義される。
【数７】
【００５２】
ＤＳＮＲメトリックの一般的なＮＲ形式を下の数式７にて定義する。
【数８】
【００５３】
図５Ａは、図４Ｂで使用したアーチファクトメトリック生成器の一態様を示しており、この生成器は、再構成された画像／ビデオブロック（１以上）あるいはフレームのみを設けている。図５Ａのアーチファクトメトリック生成器１０１ａは、オリジナル基準のないＤＳＮＲメトリックを生成する。デブロッキングアーチファクトを評価するために、ＤＳＮＲ（ｙ）とＤＳＮＲ（ｙ^）の間で比較（図示せず）を行うことができる。数式６または数式７で示すＤＳＮＲメトリックの分子は、アーチファクトメトリック生成器１０１ａ内で、以下の３つの重量値セレクタで構成された重量値セレクタ（ＷＶＳ）バンク１０３を使用して生成することができる：（１）重量ＷＳを出力する空間ＷＶＳ１０４；（２）重量ＷＰを出力する知覚ＷＶＳ１０５；（３）重量ＷＴを出力する時間ＷＶＳ１０６。この重量ＷＳ、ＷＰ、ＷＴは、事前に選択するか、または入力パラメータＺＳ、ＺＰ、ＺＴからの復号化処理中に選択することができる。入力パラメータＺＳ、ＺＰ、ＺＴは、暗号化処理中、または符号器を実行する前に生成できる。分子生成器１０７は、数式６または７の分子に見られるＰＫＳ、Ｗｓ、ＷＰ、ＷＴの積を計算する。重量ＷＳ、ＷＰ、ＷＴが全て１と等しい場合には、ＤＳＮＲメトリックの分子貢献は数式１のＰＳＮＲの分子と同じである。分子生成器１０７内に設ける乗算器１０８は１つで十分であるが、分子にＷＳ、ＷＰ、ＷＴ有することによる効果を強調するために２つの分子が示されている。
【００５４】
数式７で示すＤＳＮＲメトリックの分母は、アーチファクトメトリック生成器１０１ａ内で実行される。入力はＲＥＣ（再構成されたビデオブロックまたはフレーム）であるため、数式２のＦ（ｘ、ｙ）はＲＥＣの関数Ｆ（ｙまたはｙ^）でしかない。図５Ａは、Ｆ（ｙまたはｙ^）がＭＳＤＳ（ｙまたはｙ^）である場合の例を示す。再構成された入力ＲＥＣは、ｙまたはｙ^のいずれであってもよく、ＭＳＤＳ１１２は、数式４または数式５のいずれかに見られるとおりに、ＭＳＤＳ（ｙ）およびＭＳＤＳ（ｙ^）を計算する。
【００５５】
割算器１０９は、分子生成器１０７の出力（ＰＫＳ＊ＷＳ＊ＷＰ＊ＷＴ）をＭＳＤＳ１１２の出力ＭＳＤＳ（ＲＥＣ（ｙまたはｙ^））で割る。ログブロック１１４は、割算器１０９によって生成された結果である１０＊ｌｏｇ１０を取る。ログブロック１１４の出力はＤＳＮＲメトリックであり、これは、アーチファクトメトリック生成器１０１で計算したＡＳＮＲ（ｙまたはｙ^）の具体例である。
【００５６】
図５Ｂは、図４Ｂの任意のオリジナル入力ｘを設けたアーチファクトメトリック生成器１０１を使用できる一態様を図示する。アーチファクトメトリック生成器１０１ｂは、１つのみのＭＳＤＳ１１２の代わりに分母生成器１１０を有する点を除いて、ＤＳＮＲメトリックであるアーチファクトメトリック生成器１０１ａと類似した構造を有する。分母生成器１１０は、２つのＭＳＤＳ１１２ブロック、減算器４４、ノルムファクタ（norm factor）１１６で構成されている。分母生成器１１０は２つの入力、即ち（１）オリジナル入力ＯＲＩＧ（ｘ）、（２）再構成された入力ＲＥＣ（ｙまたはｙ^）を受信する。減算器４４は、ＭＳＤＳ（ｘ）とＭＳＤＳ（ｙまたはｙ^）の間の差を計算し、この差をノルムファクタ１１６へ送信する。分母生成器１１０の或る構成では、ノルムファクタ１１６はこれの入力を２乗できる。別の構成では、ノルムファクタ１１６はこれの入力の絶対値を取ることができる。いずれのケースにおいても、ノルムファクタ１１６は、分母生成器１１０による出力であるＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）を生成できる。割算器１０９は分子生成器１０７の出力をＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）で割り、ログブロック１１４は、割算器１０９によって生成された結果の１０＊ｌｏｇ１０を取る。ログブロック１１４の出力はＤＳＮＲ（ＯＲＩＧ、ＲＥＣ）であり、これは、アーチファクトメトリック生成器１０１によって生成されたＡＳＮＲ（ｘ、ｙまたはｙ^）メトリックの具体例である。ＤＳＮＲメトリックの空間、知覚、時間成分は、評価中のブロックノイズアーチファクトを逆強調する、強調する、またはこれに対して何もしないことができる。しかし、ＤＳＮＲはブロックノイズアーチファクトを対象とし、この構造は、これ以外のそこに存在するアーチファクト全てに影響するようになっている。例えば、デブロッキングフィルタを適用した結果生じた不明瞭アーチファクトに対しても、逆強調する、強調する、または同じ状態を維持することができる。
【００５７】
一般に、ＡＳＮＲメトリックのＷＶＳバンク１０３中のもののような重量の選択処理は、画像／ビデオ品質を向上させる形で行われる。ＤＳＮＲメトリックでは、正確な量のデブロックノイズは強調され、正確な量の不明瞭性は強調されない。選択処理は図６のグラフ１１８に基づいている。図６では、グラフ１１８は、アーチファクト評価器で使用される重量値選択子（ＷＶＳ）（空間、知覚、時間）を図示する。グラフ１１８の横座標軸上には２つの印、即ち（１）閾値１を表すＴｈ１、（２）閾値２を表すＴｈ２が存在する。グラフ１１８の縦座標軸上には、ＷＶＳからの重量値を表す３つの印が存在している。一般的入力パラメータＺ（ＺＳ、ＺＰ、ＺＴ）が生成され、グラフ１１８の横座標軸（Ｚ）にマッピングされる。Ｚは次の３つの範囲のうちの１つにある：（１）０≦Ｚ＜Ｔｈ１：（２）ＴＨ１≦Ｚ＜Ｔｈ２；（３）Ｔｈ２≦Ｚ。ＷＶＳからの重量は、Ｚの範囲によって決定される。ＷＶＳは、次の３つの範囲に基づいて重量を選択する：（１）では［ＷＺ］−１が選択され；（２）では１が選択され；（３）ではＷｚが選択される。［ＷＺ］−１重量は、ブロックノイズアーチファクトの空間、知覚、時間成分を逆強調する。１の重量値はブロックノイズアーチファクトを修正しない。ＷＺ重量は、ブロックノイズアーチファクトの空間、知覚、時間成分を強調することができる。これは、数式２の次のような書き換えからわかる。
【数９】
【００５８】
分子成分および分母の対数を取ることにより、重量の影響が加算的、減算的であるか、または影響がないか（重量値が１の場合）が示される。
【００５９】
入力パラメータの選択は変化する。しかし、ＺＳ、ＺＰ、ＺＴの選択は次のとおりであってよい。ＺＳは、１つの例を通して説明されているマルチステップ処理によって生成できる。近傍Ｄ（Ｅの左側）、Ｂ（Ｅの上）、Ａ（Ｅの上方左側対角線付近）を有する、符号化対象である現在のビデオブロックＥを考慮する。ビデオブロックＥの一部と、ビデオブロックＡの一部を使用してビデオブロックＡＥが形成される。ビデオブロックＢＥとＤＥも同様に形成できる。各ビデオブロックＡＥ、ＢＥ、ＤＥについてＤＣＴを形成し、ＤＣＴの平均をＺＳに使用することができる。ＺＰは、フレーム全体にかけて平均ＤＣＴを計算することによって生成できる。ＺＴは、１フレーム内の平均ＤＣＴと別のフレーム内の平均ＤＣＴの間の差を計算することによって生成できる。
【００６０】
図７は、一般的なアーチファクトフィルタと、オプションのメトリック制御装置１２２で構成できるより一般的なアーチファクトメトリック生成器１２１とを設けた、例証的な画像／ビデオ符号器を図示する。図７において、メトリック制御装置１２２、並びに入力ｘは、それぞれオプションであることを示すために破線で描かれている。アーチファクトメトリック生成器１２１は事前に構成することができ、したがってメトリック制御装置１２２を必ずしも必要としない。メトリック制御装置１２２を使用する場合には、この制御装置が入力パラメータをアーチファクトメトリック生成器１２１へ送る。入力パラメータはアーチファクトメトリック生成器１２１に記憶されるか、またはメトリック制御装置１２２によって同生成器１２１に送られる。アーチファクトメトリック生成器は、１つの出力ではなく、一組のメトリックを出力する。アーチファクトメトリック生成器１２１はまた、一組のメトリックを計算する際に、オリジナル入力ｘを使用しても、使用しなくてもよい。
【００６１】
図８は、アーチファクトメトリック生成器１２１の全体構造を図示する。成分ブロック内のサブ［ｉ］は、アーチファクトメトリック生成器１２１ａ内の次の２つの態様を示すために使用される：（１）様々なメトリックバージョンを生成できる；（２）全く違うメトリックを生成できる。例えば態様（１）からは、様々な形式のＡＳＮＲを生成できることがわかる。また、例えば態様（２）からは、デブロッキング（またはブロッキング）メトリック、不明瞭性メトリック、リンギングメトリック、色滲みメトリック、またこれ以外の任意タイプのアーチファクトメトリックを生成できる。使用可能である、異なるメトリックおよび様々なメトリックバージョンを捕獲するための一般的なアーキテクチャを示す。
【００６２】
Ｆ＿ｅｒｒブロック１２３は、オリジナルビデオブロックまたはフレームの関数の例と、再構成されたビデオブロックまたはフレームの関数の例との間のエラーをとらえるために使用できる。関数同士の間の差は減算器４４によって計算され、具体的に選択したＦにノルムファクタ（ＮＦ）１２８を選択することができる。アーチファクトメトリック生成器１２１は、アーチファクトメトリック生成器１０１の機能を実現することができる。これは、図５Ａのアーチファクトメトリック生成器１０１ａのアーキテクチャにおいて、Ｆの選択がＭＳＤＳ（ｙ）およびＭＳＤＳ（ｙ^）であったことを知ることでわかる。図５Ｂのアーチファクトメトリック生成器１０１ｂのアーキテクチャでは、Ｆの選択はＭＳＤＳ（ｘ、ｙ）およびＭＳＤＳ（ｘ、ｙ^）の関数であった。Ｆの選択は、メトリック制御装置１２２によって事前構成または送信されることが可能なＭＥＴＲＩＣ＿ＳＯＲＴ［ｉ］により制御される。掛ける１を含む、Ｆ＿ｅｒｒブロック１２３の出力上のあらゆる動作の組に、調整器１３０を使用することができる。調整器［ｉ］１３０は、Ｆ＿ｅｒｒブロック１２３の出力を「調整」する。調整器［ｉ］の出力は、メトリックアレンジャ１３２へ送信することができる。メトリックアレンジャ１３２は、セレクタ１３４を使用して、様々なメトリックまたはメトリックバージョンをメトリックバッファ１３６内へ送る。セレクタ１３４は内部的に駆動されるか、または、メトリック制御装置１２２を介してオプションで制御される。出力ＭＳＥＴ（ＯＲＩＧ，ＲＥＣ）は，出力ＭＡ［１］、ＭＡ［２］、ＭＡ［Ｎ］の組である。ＭＳＥＴ（ＯＲＩＧ、ＲＥＣ）のそれぞれは異なるメトリックまたは様々なメトリックバージョンであってよい。図８からは、ＡＳＮＲメトリックの一般的な形式は調整器（Ｆ（ｘ、ｙ））であってよい、即ち、Ｆ（ｘ、ｙ）は何らかの別の機能あるいは機能の組によって調整されてよいことを示している。数式２では、調整器は１０＊ｌｏｇ１０（ＰＫＳ＊ＷＳ＊ＷＰ＊ＷＴ）である。
【００６３】
図９は、図８のアーチファクトメトリック生成器１２１ａが、様々なバージョンのＡＳＮＲを実現するように構成できることを図示する。どのバージョンのＡＳＮＲを出力できるかを選択するために使用できる、追加的なオプションのセレクタ１３９が設けられている。このオプションのセレクタ１３９は、図９のアーチファクトメトリック生成器１２１ｂを、アーチファクトメトリック生成器１０１（ＡＳＮＲ出力は１つのみ）と同様に機能するように構成できることを示すために使用されている。オプションのセレクタ１３９を使用していない場合は、アーチファクトメトリック生成器の出力１２１ｂはＡＳＮＲＳＥＴ（ＯＲＩＧ、ＲＥＧ）であってよい。先述したように、Ｆ＿ｅｒｒブロック１２３は、ＭＳＤＳ（ｘ、ｙ）およびＭＳＤＳ（ｘ、ｙ^）を実現できる。図９はまた、調整器［ｉ］１３０を示す。調整器［ｉ］１３０は数式２の分子を実現し、並びに、割算を行い、割算のログを取ることができる。メトリック制御装置１２２は、異なる入力パラメータを送信でき、この結果、異なるバージョンの調整器［ｉ］１３０が得られる。あるいは、ＭＥＴＲＩＣ＿ＳＯＲＴ［ｉ］は、ＭＳＤＳとは別の関数を選ぶこともできる。別のノルムファクタ（１以上）［ｉ］１２８を選択することもできる。図９の構成では、一般的な出力ＡＳＮＲＳＥＴ（ＯＲＩＧ、ＲＥＣ）はＡＳＮＲ［１］、ＡＳＮＲ［２］、．．．ＡＳＮＲ［Ｎ］であり、これらのうち１つは、セレクタ１３９が、出力する目的でオプションにて選択することができる。
【００６４】
アーチファクトは画像およびビデオ品質に影響するため、符号化処理中に感知した画像およびビデオ品質を評価する上でメトリックを使用する方法が望まれる。図１０のアーチファクト評価器１４０を使用することでこのような方法が可能となる。アーチファクト評価器１４０は、どの再構成された入力が、画像およびビデオ品質の感知度がより高いかを評価する。典型的には、復号化処理中に、メモリバッファ８１は２つの選択のうちの１つによって更新される。典型的に、この選択は、フィルタリングされていない再構成済みのビデオブロック（またはフレーム）ｙと、（デブロックされた）フィルタリングされた再構成済みのビデオブロック（またはフレーム）ｙ^との間で行われる。より低いビット条件の下では、ブロックノイズは時に優勢なアーチファクトである。そのため、アーチファクトフィルタ７２は、典型的にブロックノイズを減少させるように構成されている。これを行う上で、フィルタリングされた再構成済みのビデオブロック（またはフレーム）ｙ^が非常に不明瞭になってしまう可能性がある。ｙ^が非常に不明瞭になると、メモリバッファ８１をｙ^で更新した結果、縁が不明瞭となる。ｙに濃淡のムラがありすぎる場合、メモリバッファ８１をｙで更新した結果「濃淡のムラ」が生じる。現在の符号化方法および基準がデブロッキングフィルタ７０を使用する場合、これらの方法および基準は常に、メモリバッファ８１をデブロッキングフィルタ７０の出力によって更新する。現在の符号化方法および基準は、メモリバッファ８１を「適切に」変更する方法を有していないために制限されてしまう。現在の符号化方法および基準におけるこの制限により、特にインター符号化予測モードにて、粗悪な画像／ビデオ品質が別のフレームへ伝播される。
【００６５】
図１０のアーチファクト評価器を使用することで、「インループ」、即ち画像／ビデオ符号器のフィードバックループにより、どのようにメモリバッファを更新するかを「適切な」方法で変更できるようになる。「適切に」とは、視覚的品質の感知度が高いのは、再構成されたビデオブロック（またはフレーム）ｙまたはｙ^のうちどちらであるかに応じて、画像／ビデオ符号器が入力をメモリバッファ８１内に調整できることを意味する。アーチファクト評価器１４０は、ｙまたはｙ^のうちどちらの画像およびビデオ品質がより優れているかを評価する。ｙの品質がより優れている場合には、アーチファクト評価器１４０は出力ＱＡ（ｘ、ｙ、ｙ^）をｙに設定し、メモリバッファ８１をｙで更新する。ｙ^の品質の方が優れている場合には、アーチファクト評価器１４０は出力ＱＡ（ｘ、ｙ、ｙ^）をｙ^に設定し、メモリバッファ８１をｙ^で更新する。ｙとｙ^の両方の画像およびビデオ品質が許容できる画像およびビデオ品質でない場合には、アーチファクト評価器１４０は画像／ビデオ符号器２３に、別の量子化係数の組で再符号化を行うように命令する。そのため、アーチファクト評価器１４０によって評価される画像およびビデオ品質を、フレーム中の任意のビデオブロックを符号化および再構成した直後に適切に向上させることができる。したがって、アーチファクト評価器１４０を使用することで、現在の符号化方法および基準の制限を克服できる。図１０に見られる、アーチファクト評価器１４０を使用したアーキテクチャは、現在の方法および基準の画像／ビデオ品質を向上するだけでなく、特にインター符号化予測モードについて、粗悪な画像／ビデオ品質がこれ以降に処理されるフレームへ伝播することを防止するというさらなる利点を提供する。
【００６６】
これに加え、ＩＴＵ Ｈ．２６４，ＷＭ９、ＲＶ９のようないくつかの基準は、デブロッキングフィルタの使用をサポートし、アーチファクト評価器１４０の使用は標準準拠である。例えば、メモリバッファ８１を更新するために、符号器内のどの再構成済み（フィルタリングされた、またはフィルタリングされていない）ビデオブロックまたはフレームが使用されたかの決定が、ビデオ復号器へ送られる。これにより、ビデオ符号器およびビデオ復号器を「同期させる」ために、この決定をビデオ復号器ヘッダ情報内に挿入する、即ち、デブロッキングフィルタがオンであるかオフであるかをビデオ復号器に知らせるビットストリームの一部として挿入することができる。
【００６７】
図１１Ａは、出力決定を行うために１タイプのメトリックを使用する或るバージョンのアーチファクト評価器１０１を図示する。図１１Ａは、図１０で使用されているアーチファクト評価器１４０の構成を図示する。アーチファクト評価器１４０は、２つの入力ｙ、ｙ^を受信する。あるいは、メトリック制御装置１２２から入力ｘと入力パラメータ（ＩＰ）を受信する。メトリック制御装置１２２から送られたアーチファクト評価器１４０ａのための入力パラメータ（ＩＰ）を事前に構成できるようになり、即ち、メトリック制御装置１２２からの直接入力が不要となる。そのため、図１１Ａでは、メトリック制御装置１２２からの入力パラメータが省略される。アーチファクト評価器１４０は、入力ｘ（受信した場合）とｙをアーチファクトメトリック生成器１０１内へ送り、さらに、入力ｘ（受信した場合）とｙ^を別のアーチファクトメトリック生成器１０１内へ送る。アーチファクトメトリック生成器１０１の構造の実施形態を図５Ａ、図５Ｂの両方に示し、これの機能については上述したとおりであり、どちらを使用してもよい。図１１Ａでは、頂部アーチファクトメトリック生成器１０１がＡＳＮＲ（ｘ、ｙ^）を出力し（ＡＳＮＲ（ｙ^）と交互に使用できる）、底部アーチファクト評価器１０１がＡＳＮＲ（ｘ、ｙ）を出力する（ＡＳＮＲ（ｙ）と交互に使用できる）。決定論理１４２がＡＳＮＲ（ｘ、ｙ^）とＡＳＮＲ（ｘ、ｙ）を受信し、ｙまたはｙ^を出力すると決定するか、または、２つの入力ＡＳＮＲメトリックに基づいて、ライン出力ＲＥを再符号化するために出力する。図１１Ａに図示した論理を、ＤＳＮＲメトリックのみにではなく、任意のＡＳＮＲメトリックに使用できることが理解される。
【００６８】
図１１Ｂは、複数のメトリックまたはメトリックバージョン使用して出力決定を行う、或るバージョンのアーチファクト評価器１２１を図示する。図１１Ｂは、図１０で使用されているアーチファクト評価器１４０の構成を図示する。アーチファクト評価器１４０は、２つの入力ｙ、ｙ^を受信するかまたはメトリック制御装置１２２から入力ｘと入力パラメータ（ＩＰ）を受信する。メトリック制御装置１２２から送られたアーチファクト評価器１４０ｂ用の入力パラメータ（ＩＰ）を事前に構成する、即ち、メトリック制御装置１２２からの直接入力が不要となる。そのため、図１１Ｂでは、メトリック制御装置１２２からの入力パラメータが省略されている。アーチファクト評価器１４０は、入力ｘ（受信した場合）とｙをアーチファクトメトリック生成器１２１内へ送り、さらに、入力ｘ（受信した場合）とｙ^を別のアーチファクトメトリック生成器１２１内へ送る。アーチファクトメトリック生成器１２１の構造を図８、図９の両方に示しており、これらの機能は上述したとおりであり、どちらを使用してもよい。図１１Ｂでは、頂部アーチファクトメトリック生成器１２１が、ＭＳＥＴ（ｘ、ｙ^）を出力し（ＭＳＥＴ（ｙ^）と交互に使用できる）、底部アーチファクト評価器１２１がＭＳＥＴ（ｘ、ｙ）を出力する（ＭＳＥＴ（ｙ）と交互に使用できる）。決定論理１４３はＭＳＥＴ（ｘ、ｙ^）、ＭＳＥＴ（ｘ、ｙ）を受信し、２つの入力メトリックの組に基づいて、ｙまたはｙ^を出力するように決定するか、またはライン出力ＲＥを再符号化するべく作動させる。
【００６９】
図１２は、図１１Ａ中の決定論理１４２ブロックの使用される方法のフローチャートを図示する。減算器４４は、ＡＳＮＲメトリック入力、ＡＳＮＲ（ｘ、ｙ^）、ＡＳＮＲ（ｘ、ｙ）を減算し、この結果の差が出力品質１４４ブロックへ送信される。出力品質１４４ブロック内で、この差がゼロ１４６と比較される。この比較による差がゼロよりも大きい場合には、（１）ＡＳＮＲ（ｘ、ｙ^）＞ＡＳＮＲ（ｘ、ｙ）であり、出力１４８はｙ^であり、（２）ＡＳＮＲ（ｘ、ｙ^）＞画像およびビデオ品質の許容可能な閾値であることを意味する。上記差がゼロよりも小さい場合には、（１）ＡＳＮＲ（ｘ、ｙ）＞ＡＳＮＲ（ｘ、ｙ^）であり、出力１５０はｙであり、（２）ＡＳＮＲ（ｘ、ｙ）＞画像およびビデオ品質の許容可能な閾値となる。制御（ＣＴＲＬ）信号が有効である場合には、決定論理１４２ブロックの出力（ＲＥ）は画像／ビデオ符号器２３にｘを再符号化するように命令できる。これは、ＡＳＮＲ（ｘ、ｙ）とＡＳＮＲ（ｘ、ｙ^）の両方が、画像およびビデオ品質の許容可能な閾値未満である場合に可能である。出力ＱＡ（ｘ、ｙ、ｙ^）は、符号器メモリバッファを更新するために使用できる（図１０参照）。図１２のフローチャートに図示された論理は、ＤＳＮＲメトリックのみにではなく、あらゆるＡＳＮＲメトリックに使用することができる。
【００７０】
図１３は、図１１Ｂ中の決定論理１４３により決定された方法のフローチャートを図示する。このフローチャートは、任意のアーチファクトメトリックまたはアーチファクトメトリックの変形例の設計論理を表す。例えば、Ａ［１］はブロックノイズであってよく、ＭＡ［１］（ｘ、ｙ^）はＤＳＮＲ（ｘ、ｙ^）であってよい。同様に、Ａ［２］は不明瞭性であってよく、ＭＡ［２］（ｘ、ｙ^）はｙ^の不明瞭性の量を測定するメトリックであってよい。また同様に、ＭＡ［１］（ｘ、ｙ）はＤＳＮＲ（ｘ、ｙ）であってよく、ＭＡ［２］（ｘ、ｙ）はｙの不明瞭性の量を測定するメトリックであってよい。ＭＡ［２］（ｘ、ｙ、ｙ^）は、ブロックノイズを逆強調する別バージョンのＤＳＮＲであってよく、そのため、ＭＡ［１］（ｘ、ｙ、ｙ^）に関連して不明瞭性がより強調される。ＭＡ［２］（ｘ、ｙ、ｙ^）も、不明瞭性の量を測定するメトリックであってよい。
【００７１】
フィルタリングした再構成済みのビデオブロック（またはフレーム）ｙ^内部に存在するブロックノイズの量を調べるために、ＭＡ［１］（ｘ、ｙ^）とブロックノイズ閾値との間の比較１６０が行われる。比較１６０が真（はい）である場合には、ｙ^は「許容可能」に感知された画像およびビデオ品質を満たす。さらに、ｙ^内の不明瞭性の量を調べるために、ＭＡ［２］（ｘ、ｙ^）と不明瞭性閾値との間の比較１６２を行う。比較１６２が真（はい）である場合には、ｙ^は、不明瞭性とブロックノイズの両方について「許容可能に」感知された画像およびビデオ品質を満たす。この結果による出力ＱＡ（ｘ、ｙ、ｙ^）は１６４ｙ^となり、符号器メモリバッファ（図１０を参照）がｙ^で更新される。
【００７２】
比較１６０または１６２のいずれかが間違い（いいえ）である場合には、フィルタリングされていない再構成済みのビデオブロック（またはフレーム）ｙにおける不明瞭性の量を調べるために、ＭＡ［１］（ｘ、ｙ）と不明瞭性閾値の間の比較１６６を行う。比較１６６が真（はい）である場合には、ｙは「許容可能に」感知された画像およびビデオ品質を満たす。さらに、ｙ内における不明瞭性の量を調べるために、ＭＡ［２］（ｘ、ｙ）と不明瞭性閾値の間の比較１６８を行う。比較１６８が真（はい）の場合、ｙは不明瞭性とブロックノイズの両方について「許容可能に」感知された画像およびビデオ品質を満たす。この結果の出力ＱＡ（ｘ、ｙ、ｙ^）は１７０ｙになり、符号器メモリバッファ（図１０を参照）がｙ^で更新される。比較１６６または１６８が間違い（いいえ）である場合には、ライン出力ＲＥはアクティブ１７２となり、オリジナルビデオブロック（またはフレーム）ｘの再符号化が実行される。
【００７３】
図１４は、アーチファクト評価処理のフローチャートを図示する。アーチファクト評価のスタート後、ｍｅｔｒｉｃ＿ｓｏｒｔ１８０の選択は、どのタイプまたはバージョンのメトリックが生成されるかに基づく。オリジナルｘビデオブロックまたはフレーム（１が使用可能である場合）のローディングと、使用可能な再構成済みのｙまたはｙ^ビデオブロック（１以上）あるいはフレーム（１以上）１８２のローディングが実行される。関数Ｆ、および／またはノルムファクタ（ＮＦ）１８４を用いて、エラー（１以上）を計算できる。調整器［ｉ］は符号化１８６の前または最中（シリアルまたはパラレル）に実行できる。次に、調整器［ｉ］と、関数Ｆおよび／またはＮＦ１８８で計算したエラー（１以上）の結果との組み合わせが実行される。この結果の組み合わせ（１以上）により、２つのＭＳＥＴメトリック結果、即ちＭＳＥＴ（ｘ、ｙ）とＭＳＥＴ（ｘ、ｙ^）が得られる。ＭＳＥＴ（ｘ、ｙ）とＭＳＥＴ（ｘ、ｙ^）の各メンバーはアレンジ１９２できる。ＭＳＥＴ（ｘ、ｙ）のメンバーとＭＳＥＴ（ｘ、ｙ^）のメンバーの間の少なくとも１つの比較に基づいた論理決定１９４は、ｙ、ｙ^のいずれの画像および／またはビデオ品質が優れているかを決定する。この決定に基づいて、出力ＱＡ（ｘ、ｙ、ｙ^）、ｙとｙ^のうちの優れた一方を使用して、符号化処理中に、符号器メモリバッファインループが更新される。決定論理１９４ブロックはまた、ｙまたはｙ^の画像およびビデオ品質が許容不能である場合には、再符号化信号ＲＥを送信することができる。
【００７４】
多数の異なる実施形態を説明してきた。これらの技術は、符号化処理中に、アーチファクト評価器インループを使用して画像およびビデオ品質を向上させることで、ビデオ符号化を向上させることができる。これらの技術は基準に準拠する。これらの技術はさらに、ハードウェア、ソフトウェア、ファームウェア、これらの任意の組み合わせにおいて実現される。ソフトウェア内で実現された場合、これらの技術は、コンピュータ読み出し可能プログラムコード（コンピュータコードとも呼ばれる）を備えたコンピュータ読み出し可能媒体に向けられる。このプログラムコードは、デバイス内で実行されると、ビデオシーケンスを符号化し、上述した１以上の方法を実行する。
【００７５】
コンピュータ読み出し可能プログラムコードは、コンピュータ読み出し可能な命令の形式でメモリ上に記憶できる。このケースでは、ＤＳＰのようなプロセッサはメモリに記憶されている命令を実行して、本明細書で説明された１以上の技術を実行することができる。いくつかのケースでは、この技術は、符号化処理を加速化させるために、動作推定器のような様々なハードウェア成分を呼び出すＤＳＰによって実行される。別のケースでは、ビデオ符号器はマイクロプロセッサ、１以上のアプリケーション専用集積回路（ＡＳＩＣ）、１以上のフィールドプログラム可能なゲートアレイ（ＦＰＧＡ）、またはこれ以外の何らかのハードウェア／ソフトウェアの組み合わせとして実現される。これらおよびこれ以外の実施形態は、請求項の範囲内に包括される。
【技術分野】
【０００１】
本開示は、ディジタル画像およびビデオ処理に関し、より具体的には、アーチファクト (artifact)評価による向上した画像／ビデオ品質に関する。
【背景技術】
【０００２】
ディジタルビデオ機能は、ディジタルテレビ、ディジタルダイレクト放送システム、無線通信デバイス、パーソナルディジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、デスクトップコンピュータ、ディジタルカメラ、ディジタル記憶デバイス、移動式または衛星無線電話などの幅広いデバイスに採用できる。ディジタルビデオおよび映像デバイスは、フル動画ビデオシーケンスおよび映像を作成、修正、送信、記憶、記録、再生を行う上で、従来のアナログビデオおよび映像システムよりも著しく向上している。ビデオシーケンス（ビデオクリップとも呼ばれる）はフレームのシーケンスで構成されている。さらに、映像はフレームとして表すことができる。ビデオまたは映像からのフレームあるいはフレームの一部は、多くの場合、画像と呼ばれる。
【０００３】
移動電話やハンドヘルド型ディジタルカメラのようなディジタルデバイスは、写真および／またはビデオの両方を撮ることができる。写真およびビデオシーケンスは記憶され、別のデバイスへ無線またはケーブルで送信される。送信前に、フレームをサンプリングおよびディジタル化することができる。ディジタル化の後に、フレームをより小さいブロックにパース(parse)し、符号化することができる。符号化は、時に圧縮と同義語である。圧縮によって、フレームを表すために必要なデータの全体（通常は冗長）量（即ちビット）を減少させることができる。ビデオおよび画像データを圧縮することにより、多くの画像およびビデオ符号化基準が、ビデオシーケンスおよび画像の送信速度を向上させることが可能となる。典型的には、圧縮されたビデオシーケンスおよび圧縮された画像は符号化されたビットストリーム、符号化されたパケット、またはビットストリームと呼ばれる。多くの画像およびビデオ符号化基準は、送信するビットを、圧縮技術を用いずに使用したものよりも少なくすることで、ビデオおよび画像送信を促進するように設計された画像／ビデオ圧縮技術を利用する。
【０００４】
圧縮をサポートするために、ディジタルビデオおよび／または写真デバイスは、典型的に、ディジタルビデオシーケンスを圧縮し、写真を圧縮するための符号器と、ディジタルビデオシーケンスを解凍するための復号器とを含んでいる。多くの場合、符号器と復号器は、ビデオシーケンスを定義するフレーム内の画素のブロック上で動作する集積符号器／復号器（ＣＯＤＥＣ）を形成する。例えば国際電気通信連合（ＩＴＵ）Ｈ．２６４や動画エキスパートグループ（ＭＰＥＧ）−４、ジョイント・フォトグラフ・エキスパート・グループ（ＪＰＥＧ）のような基準においては、典型的に、符号器は送信するビデオフレームまたは画像を、「マクロブロック」と呼ばれるビデオブロックに分割する。典型的な１つのマクロブロックのサイズは、高さ１６画素×幅１６画素である。様々なサイズのビデオブロックを使用できる。画像およびビデオ処理の当業者は、ビデオブロック、または画像ブロックという用語を相互交換可能に使用できることを認識する。時に相互交換可能性において明確にするために、「画像／ビデオブロック」という用語を使用する。ＩＴＵ Ｈ．２６４基準は、１６×１６ビデオブロック、１６×８ビデオブロック、８×１６画像ブロック、８×８画像ブロック、８×４画像ブロック、４×８画像ブロック、４×４画像ブロックの処理をサポートする。これ以外の基準は、サイズの異なる画像ブロックをサポートすることができる。時に当業者は、符号化処理を説明する場合に、ビデオブロックまたはフレームを相互交換可能に使用し、また時に、これをビデオ物質としてのビデオブロックまたはフレームとも呼ぶ。一般に、ビデオ符号化基準は、ビデオユニットの符号化および復号化をサポートし、この場合、ビデオユニットはビデオブロックまたはビデオフレームであってよい。
【０００５】
ビデオフレーム中の各ビデオブロックについて、符号器は多数の「予測」モードで動作する。或るモードでは、「最予測ブロック」と呼ばれる最も類似したビデオブロックを識別するために、１以上の直前のビデオフレーム（または後続のフレーム）の類似サイズのビデオブロックを検索する。現在のビデオブロックを別のフレームのビデオブロックと比較する処理は、一般にブロックレベル動作推定（ＢＭＥ）と呼ばれる。ＢＭＥは、各ブロックに動作ベクトルを生成する。現在のビデオブロックに「最予測ブロック」が識別されると、符号器は、現在のビデオブロックと最予測ブロックとの間の差を符号化することができる。現在のビデオブロックと最予測ブロックの間の差を使用するこの処理は、動作補正と呼ばれる処理が含まれる。具体的には、動作補正は、動作ベクトルを使用して、最予測ブロックを取り出し、次に、入力ビデオブロックから最予測ブロックを除去して差分ブロックを生成する動作を意味する。動作補正の後に、典型的には、一連の追加的な符号化ステップが実行されて、差分ブロックの符号化が終了する。これらの追加的な符号化ステップは、使用する符号化基準に依存する。別モードでは、符号器は、同一フレーム内における、１以上の、近接し、サイズが類似したビデオブロックを検索し、これらブロックからの情報を符号化処理の補助に使用する。
【０００６】
一般に、符号化処理の一部として、ビデオブロック（または差分ビデオブロック）の変換が実行される。この変換は、ビデオブロック（または差分ビデオブロック）が画素で表されている状態から、変換係数で表される状態に変換する。ビデオ符号化における典型的な変換は離散コサイン変換（ＤＣＴ）と呼ばれる。ＤＣＴは、ビデオブロックデータを画素ドメインから空間周波数ドメイン(domain)へ変換する。空間周波数ドメインでは、データはＤＣＴブロック係数で表される。ＤＣＴブロック係数は、ビデオブロック内に検出された空間周波数の数および大きさを表す。ＤＣＴの計算が終わると、「ブロック量子化」として公知の処理によって、ＤＣＴブロック係数を量子化することができる。ＤＣＴブロック係数の量子化（ビデオブロックまたは差分ビデオブロックのいずれかからのもの）は、ブロックから空間冗長性の一部を除去する。この「ブロック量子化」処理中に、量子化したＤＣＴブロック係数を閾値と比較することで、さらなる空間冗長性を除去することができる。量子化されたＤＣＴブロック係数の大きさが閾値未満である場合、係数は廃棄されるか、ゼロ値に設定される。
【０００７】
しかし、符号器におけるブロック量子化では、符号器において圧縮されているビデオフレームまたは画像を再構成する再に、復号器に異なるアーチファクトが発生することが多い。アーチファクトの一例に、再構成されたビデオ画像内へのブロックの出現があり、これは「ブロックノイズ」として知られている。いくつかの基準は、符号化処理の一部としてデブロッキングフィルタを含めることでこの問題に対処しようとしてきた。いくつかのケースでは、デブロッキングフィルタはブロックノイズを除去するだけでなく、さらに、ビデオフレームまたは画像を汚したり不明瞭にする効果もあり、これは不明瞭性アーチファクトとして知られている。そのため、画像／ビデオ品質がデブロッキングフィルタからの「ブロックノイズ」または不明瞭性によって劣化してしまう。感知される視覚的品質への符号化アーチファクトの影響を減じる方法および装置は著しい利点となる。
【発明の概要】
【０００８】
添付の図面および以下の説明において、１以上の実施形態の詳細を述べる。別の特徴、目的、利点は説明、図面、特許請求項から明らかになる。
【０００９】
一般に、ビデオブロックを処理するアーチファクト評価器を採用した画像／ビデオ符号化および復号化システムは、画像／ビデオ品質を向上することができる。符号化処理中に、テクスチャ復号器およびビデオブロック、またはインター符号化もしくはイントラ符号化予測モードからのフレーム結果はフィルタリングされていない再構成済みビデオブロックまたはフレームと同期する。フィルタリングされていない再構成済みのビデオブロックまたはフレームは、アーチファクトフィルタを通過して、フィルタリングされた再構成済みのビデオブロックまたはフレームを生じる。アーチファクトフィルタはデブロッキングフィルタであるか、またはデブロッキングフィルタとして構成されていてよい。アーキテクトフィルタがデブロッキングフィルタである、もしくはこれとして構成されている場合には、ブロックノイズが抑圧される。しかし、フィルタリング後に得られる、フィルタリングされた再構成済みのビデオブロックまたはフレームは不明瞭になる可能性がある。現在の符号化方法および基準は、インループメモリバッファの更新方法を「適合的に」変更する手法を有していないために制限されてしまう。現在の符号化方法および基準におけるこの制限のために、特にインター符号化予測モードにて、他のフレームに粗悪な画像／ビデオ品質が伝播されてしまう。
【００１０】
アーチファクト評価器を使用することで、この現在の符号化方法および基準の制限を克服することができる。アーチファクト評価器を使用することで、感知された画像／ビデオ品質に基づき、デブロッキングフィルタのようなアーチファクトフィルタの出力をいつ使用するのがよいか、また、インループメモリバッファを更新するために、デブロッキングフィルタのようなアーチファクトフィルタの入力をいつ使用するのがよいかを評価および決定できる。アーチファクト評価器を使用することにより、現在のフレームの現在の方法および基準を画像／ビデオ品質を向上するだけでなく、特にインター符号化予測モードで使用している場合に、粗悪な画像／ビデオ品質が後続の処理済みフレームへ伝播することを防止するというさらなる利点が得られる。アーチファクト評価器はまた、基準に準拠していてよい。
【００１１】
フィルタリングされていない再構成済みのビデオブロックまたはフレームと、フィルタリングされた再構成済みビデオブロックまたはフレームの各々について、アーチファクトの量を測定するべくアーチファクトメトリック(artifact metric)を生成することができる。アーチファクトメトリックは非オリジナル基準（ＮＲ）またはフルオリジナル基準（ＦＲ）であってよい。ＮＲおよびＦＲアーチファクトメトリックの間の差は、オリジナルビデオブロックまたはフレームの使用可能性に基づく。アーチファクトメトリック生成器は、アーチファクトメトリックを生成し、また、アーチファクト評価器の一部である。アーチファクトメトリックが生成されると、インループメモリバッファを更新する上でビデオブロックまたはフレームが使用される感知された画像／ビデオ品質に基づいて決定される。アーチファクトメトリックの生成方法には応用形があり、また、インループメモリバッファを更新する上で用いられる、フィルタリングされた再構成済みビデオブロックまたはフレーム、あるいはフィルタリングされていないビデオブロックまたはフレームを使用する様々な方法が存在する。これらの応用形は以下の実施形態において例証されている。
【００１２】
一実施形態では、アーチファクトメトリック生成器は、ＮＲアーチファクトメトリックを生成するためにビデオ符号器に使用される。
【００１３】
別の実施形態では、アーチファクトメトリック生成器は、ＦＲアーチファクトメトリックを生成するためにビデオ符号器に使用される。
【００１４】
さらなる実施形態では、ＮＲまたはＦＲアーチファクトメトリックは、ブロックノイズの量を測定するために使用される。
【００１５】
さらなる実施形態では、構成可能なアーチファクトメトリック生成器は、複数のアーチファクトメトリックを一度に出力するために使用される。
【００１６】
またさらなる実施形態では、インループメモリバッファを更新するためにはどのビデオブロックまたはフレームを使用するべきかを決める決定は、１タイプのみのメトリック、例えばブロックノイズ（またはデブロックノイズ）メトリックに基づいている。
【００１７】
別の実施形態では、インループメモリバッファを更新するためにはどのビデオブロックまたはフレームを使用するべきかを決める決定は、複数タイプのメトリック、例えばブロックノイズ（またはデブロックノイズ）メトリックおよび不明瞭性メトリックに基づいていてよい。
【００１８】
上記のいくつかの実施形態を組み合わせて他の実施形態を形成することができる。
【００１９】
１以上の実施形態の詳細を、添付の図面および以下の説明において述べる。これ以外の特徴、目的、利点は、説明、図面、特許請求項から明らかになる。
【図面の簡単な説明】
【００２０】
【図１Ａ】本明細書で説明した技術に基づくアーチファクト評価器を採用した画像／ビデオ符号化および復号化システムを図示する。
【図１Ｂ】本明細書で説明した技術に基づいて使用できる２つのＣＯＤＥＣを図示する。
【図２】グループオブピクチャーズ（ＧＯＰ）として公知のビデオシーケンスを図示する。
【図３】図１Ａまたは図１Ｂのデバイスに使用できる例証的な画像／ビデオ符号器を図示する。
【図４Ａ】図３の単純化した例証的な画像／ビデオ符号器を図示しており、この場合、図３のデブロッキングフィルの代わりにより一般的なアーチファクトフィルタを使用している。
【図４Ｂ】再構成され、オプションのオリジナル画像／ビデオブロック（１以上）またはフレームの両方を評価する上で補助となるアーチファクトメトリック生成器の使用を図示する。
【図５Ａ】図４Ｂで使用されるアーチファクトメトリック生成器の一態様を図示し、この場合、再構成済みの画像／ビデオブロック（１以上）またはフレームのみを示す。
【図５Ｂ】再構成されオプションである画像／ビデオブロック（１以上）またはフレームを設けたブロック線図であり、図４Ｂで使用したアーチファクトメトリック生成器の一態様を図示する。
【図６】ＡＳＮＲメトリックを計算するのに使用される、アーチファクトメトリック生成器で使用される重量値選択（ＷＶＳ）を図示したグラフである。
【図７】汎用アーチファクトフィルタと、より一般的な、オプションのメトリック制御装置で構成されていてよいアーチファクトメトリック生成器を設けた例証的な画像／ビデオ符号器を図示する。
【図８】アーチファクトメトリック生成器の一般的な構成を図示する。
【図９】別バージョンのＡＳＮＲメトリックを実現するために、図８のアーチファクトメトリック生成器を構成できることを図示する。
【図１０】典型的な画像／ビデオ符号器のフィードバックループ内にアーチファクト評価器を使用できることを図示する。
【図１１Ａ】１タイプのメトリックを使用して出力決定を行う、１バージョンのアーチファクト評価器を図示する。
【図１１Ｂ】出力決定を行うために複数タイプのメトリックを使用する、１バージョンのアーチファクト評価器を図示する。
【図１２】図１１Ａ中の決定論理ブロックによって使用される方法のフローチャートを図示する。
【図１３】図１１Ｂ中の決定論理ブロックに使用される方法のフローチャートを図示する。
【図１４】アーチファクト評価処理のフローチャートを図示する。
【詳細な説明】
【００２１】
本明細書で使用されている「例証的な」という用語は、「例、実例、または例証として働く」ことを意味する。本明細書で「例証的な」として述べられている任意の実施形態、構成、または設計は、他の実施形態もしくは設計にかけて好ましいあるいは有利なものとして構造される必要はない。一般に、本明細書で述べているように、アーチファクトを評価するだけでなく、評価の結果として感知した画像／ビデオ品質を向上させる新規の方法および装置である。
【００２２】
図１Ａは、本明細書で説明している実施形態による技術に基づいてアーチファクト評価機を採用できる画像／ビデオ符号化および復号化システム２を図示する。図１Ａに示すように、ソースデバイス４ａは、ビデオシーケンスまたは画像をディスプレイデバイス８へ送信する前にビデオまたは映像入力をとらえるキャプチャデバイス６を含有している。このビデオシーケンスまたは画像を、メモリ１０あるいは画像／ビデオ処理ユニット１４へ送信することができる。ビデオシーケンスあるいは画像は、画像／ビデオ処理ユニット１４からメモリ１０内へ書き込むことができる。画像／ビデオ処理ユニット１４がメモリ１０あるいはキャプチャデバイス６から受信する入力を、画像／ビデオ符号器へ送信することができる。画像／ビデオ符号器は画像／ビデオ処理ユニット１４内にあってよい。ビデオ符号器が出力し符号化されたビットストリームを送信機１６に記憶するか、送信機１６へ送信することができる。ソースデバイス４ａは、符号化したビットストリームを受信デバイス１８ａへチャンネル１９を介して送信する。チャネル１９は無線チャネルまたは有線チャネルであってよい。媒体は空気や、ソースデバイスを受信デバイスに接続できる任意のケーブルおよびリンクであってよい。例えば、受信機２０を、画像／ビデオ復号器２１を駆動する任意のコンピュータ、ＰＤＡ、移動電話、ディジタルテレビ、ＤＶＤプレーヤ、画像／ビデオ試験装置の内部に設置して、上述の符号化されたビットストリームを復号することができる。画像／ビデオ復号器２１の出力は復号化された信号を、ディスプレイデバイス２２へ送信でき、そこで復号化された信号が表示される。
【００２３】
ソースデバイス４ａおよび／または受信デバイス１８ａの全体または一部は、移動電話用の「チップセット」または「チップ」を備えることができ、これらには、ハードウェア、ソフトウェア、ファームウェアの組み合わせ、および／または１以上のマイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、アプリケーション限定集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、またはこれらの様々な組み合わせが含まれる。これに加え、別の実施形態では、画像／ビデオ符号化および復号化システム２は、ＣＯＤＥＣ２４の一部としての１つのソースデバイス４ｂおよび１つの受信デバイス１８ｂの内部に設けることができる。したがって、図１Ｂに見られるように、ソースデバイス４ｂと受信デバイス１８ｂは、ソースおよび受信デバイスが少なくとも１つのＣＯＤＥＣ２４を含有できることを例示している。ＣＯＤＥＣ２４は画像／ビデオ符号器２３および画像／ビデオ符号器２１で構成されており、また、画像／ビデオ処理ユニット１４内に配置することができる。
【００２４】
図２は、グループオブピクチャー（ＧＯＰ）１３０として知られたビデオシーケンスを図示する。インター符号化予測モード符号化は、典型的に、異なるフレーム内のビデオブロック同士の間における時間および空間差分を補正するために使用される。イントラ符号化予測モード符号化は、同一フレーム内のビデオブロック同士の間の空間差分を補正するために使用される。インター符号化モードとイントラ符号化モードの両方は、現在のビデオブロックの符号化を補助するために過去の（または後にバッファされる）情報を使用することから、予測モードとして知られている。いくつかの基準において、Ｉフレーム３１は、典型的に、過去のフレームとはコンテンツが異なるシーンの第１フレームまたはフレームのシーケンスを示す。典型的に、Ｉフレームはイントラ符号化モードを使用する。Ｂフレーム（１以上）３３とＰフレーム（１以上）３５はイントラ符号化モードとインター符号化モードの両方を使用する。Ｐフレーム（１以上）３５は、過去のフレームを符号化の基準として使用し、一方、Ｂフレーム（１以上）３３は過去のフレームと将来のフレームの両方を符号化の基準として使用できる。しかし、ＩＴＵ Ｈ．２６４標準では、任意のフレーム（Ｉフレーム、Ｐフレーム、Ｂフレーム）を符号化の基準として使用できる。将来のフレームを使用できる理由は、通常、フレームはバッファされ、バッファ内の過去または将来のフレームからのデータを符号化の最中にある現在のフレームに使用できるためである。
【００２５】
図３は、図１Ａまたは図１Ｂのデバイスに使用できる例証的な画像／ビデオ符号器を図示する。ビデオシーケンスからのフレームまたはフレームの一部を、ＣＯＤＥＣ２４の一部であってよい画像／ビデオ符号器２３内部、および／または画像／ビデオ処理ユニット１４内部の入力フレームバッファ４２内に配置することができる。入力フレームバッファ４２からの入力フレームはブロック内へパースされ（ビデオブロックは任意のサイズのものでよいが、標準的なスクエアビデオブロックサイズは４×４、８×８、または１６×１６である）、ビデオブロックバッファ４３へ送信される。典型的に、ビデオブロックバッファ４３はビデオブロックを減算器４４へ送信する。減算器４４は、スイッチ４６の出力からビデオブロックｘを減算する。スイッチ４６は、符号化のイントラ符号化予測モードとインター符号化予測モードを切り換える。スイッチ４６がインター符号化予測モードを有効にしている場合には、ビデオブロックｘと、別の（過去または後続の）フレームからのビデオブロックとの差が、テクスチャ符号器４７によって圧縮される。スイッチ４６がイントラ符号化予測モードを有効にしている場合には、ビデオブロックｘと、過去のビデオブロックから予測された値との差がテクスチャ(texture)符号器４７によって圧縮される。
【００２６】
テクスチャ符号器４７は、画素ドメインからの入力ｘ（ビデオブロックまたは別のブロック）を空間周波数ドメインに変換するＤＣＴブロック４８を有する。空間周波数ドメイン内では、データはＤＣＴブロック係数によって表される。ＤＣＴブロック係数は、ビデオブロック内で検出された空間周波数の数と大きさを表す。ＤＣＴの計算後に、「ブロック量子化」として公知の処理にて、ＤＣＴブロック係数を量子化器５０を用いて量子化することができる。ＤＣＴブロック係数の量子化（ビデオブロックまたはビデオブロックの差から得たもの）が、ブロックからの空間冗長の一部を除去する。この「ブロック量子化」処理中、量子化したＤＣＴブロック係数と閾値を比較することにより、さらなる空間冗長を除去することが可能である。この比較は、量子化器５０、または別の比較器ブロック（図示せず）の内部において実施される。量子化したＤＣＴブロック係数の大きさが閾値よりも小さい場合には、この係数は廃棄されるか、ゼロ値に設定される。
【００２７】
ブロック量子化の後に、結果の出力が別個の２つの構造、即ち（１）テクスチャ復号器６５、（２）エントロピー符号器５５へ送信される。テクスチャ復号器６５は、再構成された画像／ビデオブロックまたはフレームの製造を補助する逆量子化器６６を備えている。この逆量子化器６６は符号化予測モードで使用される。エントロピー符号器５５は、送信または記憶のためのビットストリームを生成する。エントロピー符号器５５はスキャナ５６を含有していてよく、このスキャナ５６は、ブロック量子化された出力を受信し、これを再順序化することで、可変長符号器（ＶＬＣ）５８によるより効率的な符号化を行えるようにする。ＶＬＣ５８は、符号化したビットストリームを生成するために、実行長さおよびハフマン符号化技術の使用を採用している。符号化されたビットストリームは出力バッファ６０へ送信される。ビットストリームを速度制御装置６２へ送信してもよい。速度制御装置６２は、基礎品質を維持しながら、量子化器５０が使用する量子ビット数の予定を立てる。エントロピー符号化は、無損失形式の圧縮であると考えられる。無損失圧縮とは、符号化されたデータが乱れることなくエントロピー復号器によって復元された場合に、符号化中のデータが全く同一に復元されることを意味する。エントロピー符号器５５は、無損失圧縮を実行する。
【００２８】
損失圧縮とは、符号化された入力に乱れがない場合であっても、符号化の結果、入力ｘが同一コピーを生成しないことを意味する。再構成された入力はこれの情報の「損失」部分を有する。テクスチャ符号器４７は損失圧縮を実行する。典型的な画像／ビデオ符号器２３は、通常、インター符号化予測モードとイントラ符号化予測モードの両方の補正を補助するローカルテクスチャ復号器６５を有する。逆量子化器６６と、逆ＤＣＴ６８と、加算器６９へ送信されたスイッチ４６の出力とが協働し、テクスチャ符号器４７の出力を復号し、テクスチャ符号器４７に入った入力ｘを再構成する。再構成された入力ｙはｘと似ているが、完全にｘと同じではない。一般的な画像／ビデオ「復号器」は、典型的に、逆量子化器６６の機能、逆ＤＣＴ６８の機能、さらに、加算器６９へ送信されたスイッチ４６の出力の機能を備えている。
【００２９】
ＭＰＥＧ−４、Ｈ．２６３基線プロファイルのようないくつかの基準においては、デブロッキングフィルタ７０は存在しない。ＭＰＥＧ−４、Ｈ．２６３基線プロフィールでは、デブロッキングフィルタは、受信装置のビデオ復号器における処理後ステップと同様、任意である。ＩＴＵ Ｈ．２６４、Ｗｉｎｄｏｗｓ（登録商標） Ｍｅｄｉａ ９（ＷＭ９）、Ｒｅａｌ Ｖｉｄｅｏ９（ＲＶ９）のような別の基準は、「インループ」デブロッキングフィルタとして公知であるデブロッキングフィルタ７０の使用の有効化をサポートする。デブロッキングフィルタ７０は、再構成された入力ｙがブロックを有する場合に発生する「ブロックノイズ」を除去するために使用される。先述したように、いくつかのケースでは、デブロッキングフィルタはブロックノイズを除去する上に、ビデオフレームまたは画像を不明瞭化する効果もある。ブロックノイズアーチファクトと不明瞭アーチファクトの間には相殺が存在する。デブロッキングフィルタ７０を有効化することでブロックノイズを低減できるが、これにより画像が不明瞭化してしまうために、感知される視覚品質が劣化する可能性がある。デブロッキングフィルタ７０の使用を有効化する基準は、常に、メモリバッファ８１を、フィルタリングした再構成済みのビデオブロックまたはフレームｙ^で更新する。
【数１】
【００３０】
デブロッキングフィルタ７０の出力をいつ使用すればより良いか、または、デブロッキングフィルタ７０の入力をいつ使用すればより良いかを決定する方法を見つけることが大いに有利である。本開示における様々な実施形態は、以前の基準の制限を特定し、解決する。この開示における様々な実施形態は、デブロッキングフィルタ７０のような出力アーチファクトフィルタをいつ使用すればより良いか、または、デブロッキングフィルタ７０のようなアーチファクトフィルタの入力をいつ使用すればより良いかを評価および決定する方法を示唆している。
【００３１】
先述したように、いくつかの基準においては、デブロッキングフィルタ７０が有効化されている時に、出力をメモリバッファ８１へ送信することができる。メモリバッファ８１内部には２つのメモリバッファ、即ち（１）再構成された新規のフレームバッファ８２、（２）再構成された古いフレームバッファ８４が設けられている。再構成された新規のフレームバッファ８２は、現在の処理された再構成フレーム（または部分フレーム）を記憶する。再構成された古いフレームバッファ８４は過去の処理済の再構成されたフレームを記憶する。この過去の処理済の再構成されたフレームは（再構成された）基準フレームとして使用される。再構成された基準フレームは、入力フレームバッファ４２内における現在のフレームの前または後のフレームであってよい。現在のフレーム（または、現在のフレームからのビデオブロック）、あるいは現在のフレームと再構成された基準フレーム（または別のブロックからのビデオブロック）の間の差分は「現在」符号化されている。現在のフレームの符号化が終了し、入力フレームバッファ４２からの入力における次のフレームが符号化されるべく取り出される前に、再構成された古いフレームバッファ８４が、再構成された新規のフレームバッファ８２の内容を設けたコピーによって更新される。
【００３２】
再構成された新規のフレームバッファ８２は、空間予測子８６で使用するために受信した再構成済みのビデオブロックを送信することができる。再構成された古いフレームバッファ８４は、過去に処理された再構成済みのビデオブロックをＭＥＣ（動作推定および補正ブロック）８７へ送信する。ＭＥＣブロックは、動作評価器８８と動作補正器９０を備えている。動作評価器８８は、動作補正器９０が符号化中のフレームと別のフレームとの差分を補正するために使用できる動作ベクトル（ＭＶ）９２と動作ベクトル予測子（ＭＶＰ）を生成する。ＭＶ９２はエントロピー符号器５５によっても使用される。ＩＴＵ Ｈ．２６４のようないくつかの基準においては、空間予測子８６の出力がイントラフレーム予測モードにおいて使用され、減算器４４と加算器６９の両方に供給し戻される。ＭＰＥＧ−４またはＪＰＥＧのようないくつかの基準では、空間予測子８６は存在しない。
【００３３】
図４Ａは図３と類似して見える。しかし、図示目的のみのために、図４Ａおよびこれに続く図面では、速度制御装置６２とエントロピー符号器５５を省略している。これに加え、図４Ａおよびこれに続く図面では、図３のデブロッキングフィルタ７０の代わりに、より一般的なフィルタであるアーチファクトフィルタ７２を使用している。この置き換えの意図は、一般的なアーチファクトフィルタを「インループ」にて使用できることを伝えることである。先述したように、アーチファクトは、復号中に、圧縮されたフレームを再構成する時に現れる。アーチファクトのいくつかの例には、ブロックノイズ、不明瞭性、リンギング、色滲みがある。ブロックノイズは、個々のビデオブロックの独立的な量子化によって生じる。不明瞭性は、高周波ＤＣＴ係数の粗量子化または省略によって高周波係数を抑圧することで発生する。不明瞭性はまた、低パスフィルタリングまたは平滑化によっても発生する可能性がある。リンギングは、高コントラストエッジロケーションと共に脈動し、高周波係数の量子化または切捨てにより引き起こされうる。色滲みは、彩度成分の高周波係数の抑圧によって生じた、クロミナンスが大きく異なる範囲にて発生する。
【００３４】
画像およびビデオ品質の測定に使用される最も一般的に使用されるメトリックの１つは、ピーク信号対ノイズ比（ＰＳＮＲ）であり、これは次の数式１によって定義される：
【数２】
【００３５】
ここで、ＰＫＳは２乗されたピーク画素値であり、通常は２５５２である。ｃｏｄｉｎｇ＿ｅｒｒｏｒは、一対のビデオブロック間の画素内における差分の平均２乗エラー（ＭＳＥ）を取ることで計算されることが多い。この一対のビデオブロックは、オリジナル基準フレームからのビデオブロックｘと、再構成されたフレームからのビデオブロックｙによって構成されている。ＰＳＮＲは、一対のビデオブロック間におけるｃｏｄｉｎｇ＿ｅｒｒｏｒの関数である。Ｃｏｄｉｎｇ＿ｅｒｒｏｒは、比較中であるビデオブロック内の画素間における類似性の量を示す。類似した画素が多いほどＰＳＮＲが大きくなる。ＰＳＮＲが小さいということは、画素の類似性が低いことを意味する。これに加え、ＰＳＮＲは平均符号化エラー数を示すためにも使用される。平均ｃｏｄｉｎｇ＿ｅｒｒｏｒは＜ｃｏｄｉｎｇ＿ｅｒｒｏｒ＞で表され、ｃｏｄｉｎｇ＿ｅｒｒｏｒの実行平均を取ることで生成できる。この場合、ＰＳＮＲは、フレーム上のｃｏｄｉｎｇ＿ｅｒｒｏｒの数である。ＰＳＮＲはｃｏｄｉｎｇ＿ｅｒｒｏｒの関数であるが、ｃｏｄｉｎｇ＿ｅｒｒｏｒが小さい場合には、ユーザが感知する優れた画像およびビデオ品質が常に生成されるとは限らない。一例として、タイルを張った壁または床の画像は、デブロッキングフィルタをかけた後に不明瞭となる。タイル同士の間の境界、すなわち縁は、全体画像のほんの僅かな部分しか示さない。そのため、ｃｏｄｉｎｇ＿ｅｒｒｏｒを画素毎に計算すると、たとえタイルの縁が不明瞭であっても、これによって得られるＰＳＮＲは画像およびビデオ品質が良質であることを示す。再構成した画像にデブロッキングフィルタを適用しない場合には、タイルの縁に濃淡のムラが生じる可能性がある。このようなケースでは、ＰＳＮＲによって感知される画像およびビデオ品質の測定が制限されてしまい望ましくない。
【００３６】
ＰＳＮＲの制限は新規のメトリック、即ちアーチファクト信号対ノイズ比（ＡＳＮＲ）によって克服できる。ＡＳＮＲメトリックは、アーチファクトの欠損（または存在）を測定する方法を提供する。あるバージョンのＡＳＮＲメトリック、即ちＡＳＮＲ（ｙまたはｙ^）は、図４Ｂのアーチファクトメトリック生成器１０１によって生成される。オプションの入力ｘを使用する場合には、アーチファクトメトリック生成器１０１によって、別バージョンのＡＳＮＲメトリックであるＡＳＮＲ（ｘ、ｙまたはｙ^）を生成できる。図中では、入力ｘがオプションであることを示すために、アーチファクトメトリック生成器１０１内に点線を描いている。ＡＮＳＲメトリックは様々な具体例を有することができる。
【００３７】
符号化アーチファクトまたはｃｏｄｉｎｇ＿ｅｒｒｏｒを測定する際に使用できる２つのフレームワークは、（１）非オリジナル基準（ＮＲ）、または（２）フルオリジナル基準（ＦＲ）である。図５ＡにＮＲフレームワークの一例を示す。図５Ａは、図４Ｂのアーチファクトメトリック生成器１０１を使用できる一態様を図示する。図５Ａ中のアーチファクトメトリック生成器１０１ａは、再構成された（ＲＥＣ、オリジナルフレームなし）ビデオブロックまたはフレームのみからのビデオブロックを設けている、感知された画像およびビデオ品質の評価を補助する。非基準フレームは、オリジナルフレームでない任意のフレームであってよい。典型的には、圧縮および再構成されたビデオブロックまたはフレームであってよい。図５Ｂに、ＦＲフレームワークの一例を示す。図５Ｂは、図４Ｂの任意のオリジナル入力ｘを設けたアーチファクトメトリック生成器１０１を使用した一態様を図示するブロック線図である。図５Ｂのアーチファクトメトリック生成器１０１ｂは、オリジナル（基準）入力ｘと、非オリジナル（再構成された）（ＲＥＤ、ｙまたはｙ^）ビデオブロックまたはフレームの両方からのビデオブロックを設けている、感知された画像およびビデオ品質の評価を補助する。
【００３８】
一般に、アーチファクトメトリック生成器の出力は、アーチファクト量の評価基準である。アーチファクトがブロックノイズである場合には、ＡＳＮＲメトリックの具体例を使用することができる。この具体例は、ブロックノイズの有無を測定するデブロッキング信号対ノイズ比（ＤＳＮＲ）メトリックである。ＮＲフレームワークでは、アーチファクトメトリック生成器によって実行される生成は再構成されたフレームのみに基づく。アーチファクトフィルタ７２がデブロッキングフィルタであれば、図４Ｂの頂部アーチファクトメトリック生成器１０１は、ｘが無い場合にＤＳＮＲ（ｙ）を出力することができる。ＤＳＮＲ（ｙ）は、ビデオブロックｙ、即ち再構成されたビデオブロックのブロックノイズの量の評価基準となる。アーチファクトフィルタ７２がデブロッキングフィルタであれば、図４Ｂの底部アーチファクトメトリック生成器１０１は、ｘが無い場合にＤＳＮＲ（ｙ^）を出力することができる。ＤＳＮＲ（ｙ^）は、ビデオブロックｙ^、即ちアーチファクトをフィルタリングしたビデオブロックのブロックノイズの量の評価基準となる。ＤＳＮＲ（ｙまたはｙ^）と書かれたＤＳＮＲ（ｙ）またはＤＳＮＲ（ｙ^）は非オリジナル基準（ＮＲ）メトリックである。
【００３９】
図４Ｂのアーチファクトメトリック生成器１０１内にオリジナル入力ｘが供給される場合には、ＦＲフレームワークを使用してメトリックを生成することができる。ＦＲフレームワークにおけるこのメトリックは、オリジナル基準フレームに対する非基準フレームのアーチファクト量の評価基準となる。アーチファクトフィルタ７２がデブロッキングフィルタである場合、図４Ｂの頂部アーチファクトメトリック生成器１０１はＤＳＮＲ（ｘ、ｙ）を出力できる。ＤＳＮＲ（ｘ、ｙ）は、ビデオブロックｘに対するビデオブロックｙのブロックノイズの量を判断する評価基準となる。アーチファクトフィルタ７２がデブロッキングフィルタである場合には、底部アーチファクトメトリック生成器１０１はＤＳＮＲ（ｘ、ｙ^）を生成できる。ＤＳＮＲ（ｘ、ｙ^）は、ビデオブロックｘに対するビデオブロックｙ^のブロックノイズの量を判断する評価基準となる。ＤＳＮＲ（ｘ、ｙまたはｙ^）と書かれたＤＳＮＲ（ｘ、ｙ）またはＤＳＮＲ（ｘ、ｙ^）は、フルオリジナル基準（ＦＲ）メトリックである。
【００４０】
画像またはフレーム中のブロックノイズの量を測定するために、時に、傾きの平均２乗差（ＭＳＤＳ）メトリックを使用して、再構成された画像またはフレーム中のブロックノイズの量を決定することがある。しかし、ＭＳＤＳメトリックは、オリジナル画像またはフレームの実テクスチャ内のブロックノイズと、ビデオ符号器のブロック量子化ステップにより導入されたブロックノイズとを区別しない。その上、このＭＳＤＳメトリックの使用は人間の視覚感知の使用を役立てたものではない。このＭＳＤＳによる制限はＤＳＮＲメトリックによって克服できる。ＤＳＮＲメトリックは、異なるタイプのブロックノイズを明確にすることによって、また、人間視覚感知を考慮することによって、ブロックベースのビデオ符号器の画像およびビデオ品質をより精密に評価するために使用されるので、形式は様々であってよい。先述したように、ＤＳＮＲメトリックはＡＳＮＲメトリックの１つの具体例である。
【００４１】
アーチファクト信号対ノイズ比（ＡＳＮＲ）メトリックの一般的な形式は、以下の数式２で示される。
【数３】
【００４２】
ここで、ＰＫＳはピーク画素値２乗の略であり、通常この値は２５５２である。数式２の分子は、ＰＫＳ、ＷＳ、ＷＰ、ＷＴの積を含有している。ＷＳ、ＷＰ、ＷＴは、画像およびビデオ品質に影響する空間（ＷＳ）成分、知覚（ＷＰ）成分、時間（ＷＴ）成分を明確にするために選択された重量である。数式２の分母はＦ（ｘ、ｙ）であり、ｘおよびｙのジョイント関数またはディスジョイント関数であってよい。ｘが使用できない場合には、Ｆ（ｘ、ｙ）をＦ（ｙ）で置き換えることができる。フィルタリングされていない再構成済みビデオブロックまたはフレームであるｙを、フィルタリングされた再構成済みビデオブロックまたはフレームであるｙ^で置き換えられる点にも留意すべきである。
【００４３】
Ｆ（ｘ、ｙ）に使用できる機能の１つにＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）がある。典型的に、ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）は、ＡＳＮＲメトリックのＤＳＮＲメトリックの具体例を用いる場合に使用される。一態様では、ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）はＭＳＤＳ（ｘ）とＭＳＤＳ（ｙ）の間のエラーの２乗である。別の態様では、ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）は、ＭＳＤＳ（ｘ）とＭＳＤＳ（ｙ）の間のエラーの絶対値である。ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）は別の変数を有していてよいが、ＦＲフレームワーク中では、ＭＳＤＳ（ｘ）とＭＳＤＳ（ｙ）の間のエラーの関数であることが多い。ＮＲフレームワーク内では、ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）を、相互に比較できる少なくとも２つの異なるＭＳＤＳ計算で置き換えることが可能である。例えば、ＭＳＤＳ（ｙ）とＭＳＤＳ（ｙ^）を使用できる。ＭＳＤＳ（ｘ）は、オリジナル基準フレームからの入力ビデオブロックｘの関数である。ＭＳＤＳ（ｙまたはｙ^）は、再構成されたフレームからのビデオブロックの関数ｙまたはｙ^である。
【００４４】
傾きの平均２乗差（ＭＳＤＳ）は、多くの場合、全てのビデオブロック境界にて計算され、また、一対の隣接するビデオブロック間の境界付近における異なる３タイプの傾きを設けている。この異なる３タイプの傾きは、通常、同一の画素行上にある画素間で計算される。直接隣り合った、Ｌ行を設けた２つの隣接するビデオブロックを考慮する。第１ビデオブロック内の最後２列の画素は、第２ビデオブロック内の第１の２列の画素の隣にある。Ｔｙｐｅ＿１の傾きは、第１ビデオブロックの最終列内の画素と、最後から２番目の列内の画素と間で計算される。Ｔｙｐｅ＿２の傾きは、第２ビデオブロックの第１列内の画素と第２列内の画素との間で計算される。Ｔｙｐｅ＿３の傾きは、第２ビデオブロックの第１列内の画素と、第１ビデオブロックの最終列内の画素との間で計算される。
【００４５】
典型的に、ＭＳＤＳは、数式３に示すように共通の画素行にかけて計算される。
【数４】
【００４６】
ここで、画素（ｉ）はｉ番目の画素グループがＬ行のいずれかにおける計算に関係していることを表す。この場合、ｉ番目のグループは６ピクセル含んでいる。各ビデオブロック境界について、ＭＳＤＳ（画素（ｉ））はＬ行にかけて平均化されている。各ビデオブロックおよびビデオブロック境界の全体（平均）ＭＳＤＳは次の数式４として書かれる。
【数５】
【００４７】
ここで、Ｌは、ビデオブロックの境界を定義する行の数である。
【００４８】
しかし、列は画素のアレイであるため、同タイプの全ての傾きを平行して計算することができる。この平行した計算はグラジエントと呼ばれる。そのため、一対の隣接したビデオブロック間の境界付近のＭＳＤＳを計算する場合には、次の３つのグラジエントを計算することができる：（１）ｐｒｅ＿ｇｒａｄｉｅｎｔ（タイプ１の傾き）、（２）ｐｏｓｔ＿ｇｒａｄｉｅｎｔ（タイプ２の傾き）、（３）ｅｄｇｅ＿ｇｒａｄｉｅｎｔ（タイプ３の傾き）。算出したグラジエントはベクトルである。そのため、数式４の平行した例は下の数式（５）によって計算できる。
【数６】
【００４９】
ここで、ｂは任意のビデオブロックを表す。ｉ番目のグループの画素（ｉ＝１．．．Ｌ）について、ＭＳＤＳ（ｂ）が、一対の隣接したビデオブロックの間の境界にて計算される。
【００５０】
差分ベクトルのＬ２ノルム（ｅｄｇｅ＿ｇｒａｄｉｅｎｔ−＿ａｖｅｒａｇｅ（ｐｒｅ＿ｇｒａｄｉｅｎｔ，ｐｏｓｔ＿ｇｒａｄｉｅｎｔ））を２乗することにより、数式５を実現できる。ノルムは数学的な構造である。Ｌ２ノルムは１タイプのノルムであり、ベクトルの大きさを計算するために使用できる。このベクトルの大きさを計算するために、Ｌ２ノルムはベクトル成分の２乗の和の平方根を取る。ＭＳＤＳは数式４、５に示すように計算されることが多いが、ｅｄｇｅ＿ｇｒａｄｉｅｎｔと、ｐｒｅ＿ｇｒａｄｉｅｎｔとｐｏｓｔ＿ｇｒａｄｉｅｎｔの平均との間の差を２乗しない別形が存在してもよい。例えば、代わりにＬ１ノルムを使用することもできる。本明細書に含まれている実施形態は、タイプ１、タイプ２、タイプ３の傾きを使用するあらゆる別形を包括し、これに適用される。
【００５１】
既述のように、Ｆ（ｘ、ｙ）にＭＳＤＳを使用することで、ＡＳＮＲメトリックの具体例であるＤＳＮＲメトリックが生成される。同様に、Ｆ（ｘ、ｙ）の代わりに別の公知のメトリックを使用することで、ＡＳＮＲメトリックの別の具体例を生成することができる。デブロッキング信号対ノイズ比（ＤＳＮＲ）メトリックの一般的なＦＲ形式は、下の数式６で定義される。
【数７】
【００５２】
ＤＳＮＲメトリックの一般的なＮＲ形式を下の数式７にて定義する。
【数８】
【００５３】
図５Ａは、図４Ｂで使用したアーチファクトメトリック生成器の一態様を示しており、この生成器は、再構成された画像／ビデオブロック（１以上）あるいはフレームのみを設けている。図５Ａのアーチファクトメトリック生成器１０１ａは、オリジナル基準のないＤＳＮＲメトリックを生成する。デブロッキングアーチファクトを評価するために、ＤＳＮＲ（ｙ）とＤＳＮＲ（ｙ^）の間で比較（図示せず）を行うことができる。数式６または数式７で示すＤＳＮＲメトリックの分子は、アーチファクトメトリック生成器１０１ａ内で、以下の３つの重量値セレクタで構成された重量値セレクタ（ＷＶＳ）バンク１０３を使用して生成することができる：（１）重量ＷＳを出力する空間ＷＶＳ１０４；（２）重量ＷＰを出力する知覚ＷＶＳ１０５；（３）重量ＷＴを出力する時間ＷＶＳ１０６。この重量ＷＳ、ＷＰ、ＷＴは、事前に選択するか、または入力パラメータＺＳ、ＺＰ、ＺＴからの復号化処理中に選択することができる。入力パラメータＺＳ、ＺＰ、ＺＴは、暗号化処理中、または符号器を実行する前に生成できる。分子生成器１０７は、数式６または７の分子に見られるＰＫＳ、Ｗｓ、ＷＰ、ＷＴの積を計算する。重量ＷＳ、ＷＰ、ＷＴが全て１と等しい場合には、ＤＳＮＲメトリックの分子貢献は数式１のＰＳＮＲの分子と同じである。分子生成器１０７内に設ける乗算器１０８は１つで十分であるが、分子にＷＳ、ＷＰ、ＷＴ有することによる効果を強調するために２つの分子が示されている。
【００５４】
数式７で示すＤＳＮＲメトリックの分母は、アーチファクトメトリック生成器１０１ａ内で実行される。入力はＲＥＣ（再構成されたビデオブロックまたはフレーム）であるため、数式２のＦ（ｘ、ｙ）はＲＥＣの関数Ｆ（ｙまたはｙ^）でしかない。図５Ａは、Ｆ（ｙまたはｙ^）がＭＳＤＳ（ｙまたはｙ^）である場合の例を示す。再構成された入力ＲＥＣは、ｙまたはｙ^のいずれであってもよく、ＭＳＤＳ１１２は、数式４または数式５のいずれかに見られるとおりに、ＭＳＤＳ（ｙ）およびＭＳＤＳ（ｙ^）を計算する。
【００５５】
割算器１０９は、分子生成器１０７の出力（ＰＫＳ＊ＷＳ＊ＷＰ＊ＷＴ）をＭＳＤＳ１１２の出力ＭＳＤＳ（ＲＥＣ（ｙまたはｙ^））で割る。ログブロック１１４は、割算器１０９によって生成された結果である１０＊ｌｏｇ１０を取る。ログブロック１１４の出力はＤＳＮＲメトリックであり、これは、アーチファクトメトリック生成器１０１で計算したＡＳＮＲ（ｙまたはｙ^）の具体例である。
【００５６】
図５Ｂは、図４Ｂの任意のオリジナル入力ｘを設けたアーチファクトメトリック生成器１０１を使用できる一態様を図示する。アーチファクトメトリック生成器１０１ｂは、１つのみのＭＳＤＳ１１２の代わりに分母生成器１１０を有する点を除いて、ＤＳＮＲメトリックであるアーチファクトメトリック生成器１０１ａと類似した構造を有する。分母生成器１１０は、２つのＭＳＤＳ１１２ブロック、減算器４４、ノルムファクタ（norm factor）１１６で構成されている。分母生成器１１０は２つの入力、即ち（１）オリジナル入力ＯＲＩＧ（ｘ）、（２）再構成された入力ＲＥＣ（ｙまたはｙ^）を受信する。減算器４４は、ＭＳＤＳ（ｘ）とＭＳＤＳ（ｙまたはｙ^）の間の差を計算し、この差をノルムファクタ１１６へ送信する。分母生成器１１０の或る構成では、ノルムファクタ１１６はこれの入力を２乗できる。別の構成では、ノルムファクタ１１６はこれの入力の絶対値を取ることができる。いずれのケースにおいても、ノルムファクタ１１６は、分母生成器１１０による出力であるＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）を生成できる。割算器１０９は分子生成器１０７の出力をＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）で割り、ログブロック１１４は、割算器１０９によって生成された結果の１０＊ｌｏｇ１０を取る。ログブロック１１４の出力はＤＳＮＲ（ＯＲＩＧ、ＲＥＣ）であり、これは、アーチファクトメトリック生成器１０１によって生成されたＡＳＮＲ（ｘ、ｙまたはｙ^）メトリックの具体例である。ＤＳＮＲメトリックの空間、知覚、時間成分は、評価中のブロックノイズアーチファクトを逆強調する、強調する、またはこれに対して何もしないことができる。しかし、ＤＳＮＲはブロックノイズアーチファクトを対象とし、この構造は、これ以外のそこに存在するアーチファクト全てに影響するようになっている。例えば、デブロッキングフィルタを適用した結果生じた不明瞭アーチファクトに対しても、逆強調する、強調する、または同じ状態を維持することができる。
【００５７】
一般に、ＡＳＮＲメトリックのＷＶＳバンク１０３中のもののような重量の選択処理は、画像／ビデオ品質を向上させる形で行われる。ＤＳＮＲメトリックでは、正確な量のデブロックノイズは強調され、正確な量の不明瞭性は強調されない。選択処理は図６のグラフ１１８に基づいている。図６では、グラフ１１８は、アーチファクト評価器で使用される重量値選択子（ＷＶＳ）（空間、知覚、時間）を図示する。グラフ１１８の横座標軸上には２つの印、即ち（１）閾値１を表すＴｈ１、（２）閾値２を表すＴｈ２が存在する。グラフ１１８の縦座標軸上には、ＷＶＳからの重量値を表す３つの印が存在している。一般的入力パラメータＺ（ＺＳ、ＺＰ、ＺＴ）が生成され、グラフ１１８の横座標軸（Ｚ）にマッピングされる。Ｚは次の３つの範囲のうちの１つにある：（１）０≦Ｚ＜Ｔｈ１：（２）ＴＨ１≦Ｚ＜Ｔｈ２；（３）Ｔｈ２≦Ｚ。ＷＶＳからの重量は、Ｚの範囲によって決定される。ＷＶＳは、次の３つの範囲に基づいて重量を選択する：（１）では［ＷＺ］−１が選択され；（２）では１が選択され；（３）ではＷｚが選択される。［ＷＺ］−１重量は、ブロックノイズアーチファクトの空間、知覚、時間成分を逆強調する。１の重量値はブロックノイズアーチファクトを修正しない。ＷＺ重量は、ブロックノイズアーチファクトの空間、知覚、時間成分を強調することができる。これは、数式２の次のような書き換えからわかる。
【数９】
【００５８】
分子成分および分母の対数を取ることにより、重量の影響が加算的、減算的であるか、または影響がないか（重量値が１の場合）が示される。
【００５９】
入力パラメータの選択は変化する。しかし、ＺＳ、ＺＰ、ＺＴの選択は次のとおりであってよい。ＺＳは、１つの例を通して説明されているマルチステップ処理によって生成できる。近傍Ｄ（Ｅの左側）、Ｂ（Ｅの上）、Ａ（Ｅの上方左側対角線付近）を有する、符号化対象である現在のビデオブロックＥを考慮する。ビデオブロックＥの一部と、ビデオブロックＡの一部を使用してビデオブロックＡＥが形成される。ビデオブロックＢＥとＤＥも同様に形成できる。各ビデオブロックＡＥ、ＢＥ、ＤＥについてＤＣＴを形成し、ＤＣＴの平均をＺＳに使用することができる。ＺＰは、フレーム全体にかけて平均ＤＣＴを計算することによって生成できる。ＺＴは、１フレーム内の平均ＤＣＴと別のフレーム内の平均ＤＣＴの間の差を計算することによって生成できる。
【００６０】
図７は、一般的なアーチファクトフィルタと、オプションのメトリック制御装置１２２で構成できるより一般的なアーチファクトメトリック生成器１２１とを設けた、例証的な画像／ビデオ符号器を図示する。図７において、メトリック制御装置１２２、並びに入力ｘは、それぞれオプションであることを示すために破線で描かれている。アーチファクトメトリック生成器１２１は事前に構成することができ、したがってメトリック制御装置１２２を必ずしも必要としない。メトリック制御装置１２２を使用する場合には、この制御装置が入力パラメータをアーチファクトメトリック生成器１２１へ送る。入力パラメータはアーチファクトメトリック生成器１２１に記憶されるか、またはメトリック制御装置１２２によって同生成器１２１に送られる。アーチファクトメトリック生成器は、１つの出力ではなく、一組のメトリックを出力する。アーチファクトメトリック生成器１２１はまた、一組のメトリックを計算する際に、オリジナル入力ｘを使用しても、使用しなくてもよい。
【００６１】
図８は、アーチファクトメトリック生成器１２１の全体構造を図示する。成分ブロック内のサブ［ｉ］は、アーチファクトメトリック生成器１２１ａ内の次の２つの態様を示すために使用される：（１）様々なメトリックバージョンを生成できる；（２）全く違うメトリックを生成できる。例えば態様（１）からは、様々な形式のＡＳＮＲを生成できることがわかる。また、例えば態様（２）からは、デブロッキング（またはブロッキング）メトリック、不明瞭性メトリック、リンギングメトリック、色滲みメトリック、またこれ以外の任意タイプのアーチファクトメトリックを生成できる。使用可能である、異なるメトリックおよび様々なメトリックバージョンを捕獲するための一般的なアーキテクチャを示す。
【００６２】
Ｆ＿ｅｒｒブロック１２３は、オリジナルビデオブロックまたはフレームの関数の例と、再構成されたビデオブロックまたはフレームの関数の例との間のエラーをとらえるために使用できる。関数同士の間の差は減算器４４によって計算され、具体的に選択したＦにノルムファクタ（ＮＦ）１２８を選択することができる。アーチファクトメトリック生成器１２１は、アーチファクトメトリック生成器１０１の機能を実現することができる。これは、図５Ａのアーチファクトメトリック生成器１０１ａのアーキテクチャにおいて、Ｆの選択がＭＳＤＳ（ｙ）およびＭＳＤＳ（ｙ^）であったことを知ることでわかる。図５Ｂのアーチファクトメトリック生成器１０１ｂのアーキテクチャでは、Ｆの選択はＭＳＤＳ（ｘ、ｙ）およびＭＳＤＳ（ｘ、ｙ^）の関数であった。Ｆの選択は、メトリック制御装置１２２によって事前構成または送信されることが可能なＭＥＴＲＩＣ＿ＳＯＲＴ［ｉ］により制御される。掛ける１を含む、Ｆ＿ｅｒｒブロック１２３の出力上のあらゆる動作の組に、調整器１３０を使用することができる。調整器［ｉ］１３０は、Ｆ＿ｅｒｒブロック１２３の出力を「調整」する。調整器［ｉ］の出力は、メトリックアレンジャ１３２へ送信することができる。メトリックアレンジャ１３２は、セレクタ１３４を使用して、様々なメトリックまたはメトリックバージョンをメトリックバッファ１３６内へ送る。セレクタ１３４は内部的に駆動されるか、または、メトリック制御装置１２２を介してオプションで制御される。出力ＭＳＥＴ（ＯＲＩＧ，ＲＥＣ）は，出力ＭＡ［１］、ＭＡ［２］、ＭＡ［Ｎ］の組である。ＭＳＥＴ（ＯＲＩＧ、ＲＥＣ）のそれぞれは異なるメトリックまたは様々なメトリックバージョンであってよい。図８からは、ＡＳＮＲメトリックの一般的な形式は調整器（Ｆ（ｘ、ｙ））であってよい、即ち、Ｆ（ｘ、ｙ）は何らかの別の機能あるいは機能の組によって調整されてよいことを示している。数式２では、調整器は１０＊ｌｏｇ１０（ＰＫＳ＊ＷＳ＊ＷＰ＊ＷＴ）である。
【００６３】
図９は、図８のアーチファクトメトリック生成器１２１ａが、様々なバージョンのＡＳＮＲを実現するように構成できることを図示する。どのバージョンのＡＳＮＲを出力できるかを選択するために使用できる、追加的なオプションのセレクタ１３９が設けられている。このオプションのセレクタ１３９は、図９のアーチファクトメトリック生成器１２１ｂを、アーチファクトメトリック生成器１０１（ＡＳＮＲ出力は１つのみ）と同様に機能するように構成できることを示すために使用されている。オプションのセレクタ１３９を使用していない場合は、アーチファクトメトリック生成器の出力１２１ｂはＡＳＮＲＳＥＴ（ＯＲＩＧ、ＲＥＧ）であってよい。先述したように、Ｆ＿ｅｒｒブロック１２３は、ＭＳＤＳ（ｘ、ｙ）およびＭＳＤＳ（ｘ、ｙ^）を実現できる。図９はまた、調整器［ｉ］１３０を示す。調整器［ｉ］１３０は数式２の分子を実現し、並びに、割算を行い、割算のログを取ることができる。メトリック制御装置１２２は、異なる入力パラメータを送信でき、この結果、異なるバージョンの調整器［ｉ］１３０が得られる。あるいは、ＭＥＴＲＩＣ＿ＳＯＲＴ［ｉ］は、ＭＳＤＳとは別の関数を選ぶこともできる。別のノルムファクタ（１以上）［ｉ］１２８を選択することもできる。図９の構成では、一般的な出力ＡＳＮＲＳＥＴ（ＯＲＩＧ、ＲＥＣ）はＡＳＮＲ［１］、ＡＳＮＲ［２］、．．．ＡＳＮＲ［Ｎ］であり、これらのうち１つは、セレクタ１３９が、出力する目的でオプションにて選択することができる。
【００６４】
アーチファクトは画像およびビデオ品質に影響するため、符号化処理中に感知した画像およびビデオ品質を評価する上でメトリックを使用する方法が望まれる。図１０のアーチファクト評価器１４０を使用することでこのような方法が可能となる。アーチファクト評価器１４０は、どの再構成された入力が、画像およびビデオ品質の感知度がより高いかを評価する。典型的には、復号化処理中に、メモリバッファ８１は２つの選択のうちの１つによって更新される。典型的に、この選択は、フィルタリングされていない再構成済みのビデオブロック（またはフレーム）ｙと、（デブロックされた）フィルタリングされた再構成済みのビデオブロック（またはフレーム）ｙ^との間で行われる。より低いビット条件の下では、ブロックノイズは時に優勢なアーチファクトである。そのため、アーチファクトフィルタ７２は、典型的にブロックノイズを減少させるように構成されている。これを行う上で、フィルタリングされた再構成済みのビデオブロック（またはフレーム）ｙ^が非常に不明瞭になってしまう可能性がある。ｙ^が非常に不明瞭になると、メモリバッファ８１をｙ^で更新した結果、縁が不明瞭となる。ｙに濃淡のムラがありすぎる場合、メモリバッファ８１をｙで更新した結果「濃淡のムラ」が生じる。現在の符号化方法および基準がデブロッキングフィルタ７０を使用する場合、これらの方法および基準は常に、メモリバッファ８１をデブロッキングフィルタ７０の出力によって更新する。現在の符号化方法および基準は、メモリバッファ８１を「適切に」変更する方法を有していないために制限されてしまう。現在の符号化方法および基準におけるこの制限により、特にインター符号化予測モードにて、粗悪な画像／ビデオ品質が別のフレームへ伝播される。
【００６５】
図１０のアーチファクト評価器を使用することで、「インループ」、即ち画像／ビデオ符号器のフィードバックループにより、どのようにメモリバッファを更新するかを「適切な」方法で変更できるようになる。「適切に」とは、視覚的品質の感知度が高いのは、再構成されたビデオブロック（またはフレーム）ｙまたはｙ^のうちどちらであるかに応じて、画像／ビデオ符号器が入力をメモリバッファ８１内に調整できることを意味する。アーチファクト評価器１４０は、ｙまたはｙ^のうちどちらの画像およびビデオ品質がより優れているかを評価する。ｙの品質がより優れている場合には、アーチファクト評価器１４０は出力ＱＡ（ｘ、ｙ、ｙ^）をｙに設定し、メモリバッファ８１をｙで更新する。ｙ^の品質の方が優れている場合には、アーチファクト評価器１４０は出力ＱＡ（ｘ、ｙ、ｙ^）をｙ^に設定し、メモリバッファ８１をｙ^で更新する。ｙとｙ^の両方の画像およびビデオ品質が許容できる画像およびビデオ品質でない場合には、アーチファクト評価器１４０は画像／ビデオ符号器２３に、別の量子化係数の組で再符号化を行うように命令する。そのため、アーチファクト評価器１４０によって評価される画像およびビデオ品質を、フレーム中の任意のビデオブロックを符号化および再構成した直後に適切に向上させることができる。したがって、アーチファクト評価器１４０を使用することで、現在の符号化方法および基準の制限を克服できる。図１０に見られる、アーチファクト評価器１４０を使用したアーキテクチャは、現在の方法および基準の画像／ビデオ品質を向上するだけでなく、特にインター符号化予測モードについて、粗悪な画像／ビデオ品質がこれ以降に処理されるフレームへ伝播することを防止するというさらなる利点を提供する。
【００６６】
これに加え、ＩＴＵ Ｈ．２６４，ＷＭ９、ＲＶ９のようないくつかの基準は、デブロッキングフィルタの使用をサポートし、アーチファクト評価器１４０の使用は標準準拠である。例えば、メモリバッファ８１を更新するために、符号器内のどの再構成済み（フィルタリングされた、またはフィルタリングされていない）ビデオブロックまたはフレームが使用されたかの決定が、ビデオ復号器へ送られる。これにより、ビデオ符号器およびビデオ復号器を「同期させる」ために、この決定をビデオ復号器ヘッダ情報内に挿入する、即ち、デブロッキングフィルタがオンであるかオフであるかをビデオ復号器に知らせるビットストリームの一部として挿入することができる。
【００６７】
図１１Ａは、出力決定を行うために１タイプのメトリックを使用する或るバージョンのアーチファクト評価器１０１を図示する。図１１Ａは、図１０で使用されているアーチファクト評価器１４０の構成を図示する。アーチファクト評価器１４０は、２つの入力ｙ、ｙ^を受信する。あるいは、メトリック制御装置１２２から入力ｘと入力パラメータ（ＩＰ）を受信する。メトリック制御装置１２２から送られたアーチファクト評価器１４０ａのための入力パラメータ（ＩＰ）を事前に構成できるようになり、即ち、メトリック制御装置１２２からの直接入力が不要となる。そのため、図１１Ａでは、メトリック制御装置１２２からの入力パラメータが省略される。アーチファクト評価器１４０は、入力ｘ（受信した場合）とｙをアーチファクトメトリック生成器１０１内へ送り、さらに、入力ｘ（受信した場合）とｙ^を別のアーチファクトメトリック生成器１０１内へ送る。アーチファクトメトリック生成器１０１の構造の実施形態を図５Ａ、図５Ｂの両方に示し、これの機能については上述したとおりであり、どちらを使用してもよい。図１１Ａでは、頂部アーチファクトメトリック生成器１０１がＡＳＮＲ（ｘ、ｙ^）を出力し（ＡＳＮＲ（ｙ^）と交互に使用できる）、底部アーチファクト評価器１０１がＡＳＮＲ（ｘ、ｙ）を出力する（ＡＳＮＲ（ｙ）と交互に使用できる）。決定論理１４２がＡＳＮＲ（ｘ、ｙ^）とＡＳＮＲ（ｘ、ｙ）を受信し、ｙまたはｙ^を出力すると決定するか、または、２つの入力ＡＳＮＲメトリックに基づいて、ライン出力ＲＥを再符号化するために出力する。図１１Ａに図示した論理を、ＤＳＮＲメトリックのみにではなく、任意のＡＳＮＲメトリックに使用できることが理解される。
【００６８】
図１１Ｂは、複数のメトリックまたはメトリックバージョン使用して出力決定を行う、或るバージョンのアーチファクト評価器１２１を図示する。図１１Ｂは、図１０で使用されているアーチファクト評価器１４０の構成を図示する。アーチファクト評価器１４０は、２つの入力ｙ、ｙ^を受信するかまたはメトリック制御装置１２２から入力ｘと入力パラメータ（ＩＰ）を受信する。メトリック制御装置１２２から送られたアーチファクト評価器１４０ｂ用の入力パラメータ（ＩＰ）を事前に構成する、即ち、メトリック制御装置１２２からの直接入力が不要となる。そのため、図１１Ｂでは、メトリック制御装置１２２からの入力パラメータが省略されている。アーチファクト評価器１４０は、入力ｘ（受信した場合）とｙをアーチファクトメトリック生成器１２１内へ送り、さらに、入力ｘ（受信した場合）とｙ^を別のアーチファクトメトリック生成器１２１内へ送る。アーチファクトメトリック生成器１２１の構造を図８、図９の両方に示しており、これらの機能は上述したとおりであり、どちらを使用してもよい。図１１Ｂでは、頂部アーチファクトメトリック生成器１２１が、ＭＳＥＴ（ｘ、ｙ^）を出力し（ＭＳＥＴ（ｙ^）と交互に使用できる）、底部アーチファクト評価器１２１がＭＳＥＴ（ｘ、ｙ）を出力する（ＭＳＥＴ（ｙ）と交互に使用できる）。決定論理１４３はＭＳＥＴ（ｘ、ｙ^）、ＭＳＥＴ（ｘ、ｙ）を受信し、２つの入力メトリックの組に基づいて、ｙまたはｙ^を出力するように決定するか、またはライン出力ＲＥを再符号化するべく作動させる。
【００６９】
図１２は、図１１Ａ中の決定論理１４２ブロックの使用される方法のフローチャートを図示する。減算器４４は、ＡＳＮＲメトリック入力、ＡＳＮＲ（ｘ、ｙ^）、ＡＳＮＲ（ｘ、ｙ）を減算し、この結果の差が出力品質１４４ブロックへ送信される。出力品質１４４ブロック内で、この差がゼロ１４６と比較される。この比較による差がゼロよりも大きい場合には、（１）ＡＳＮＲ（ｘ、ｙ^）＞ＡＳＮＲ（ｘ、ｙ）であり、出力１４８はｙ^であり、（２）ＡＳＮＲ（ｘ、ｙ^）＞画像およびビデオ品質の許容可能な閾値であることを意味する。上記差がゼロよりも小さい場合には、（１）ＡＳＮＲ（ｘ、ｙ）＞ＡＳＮＲ（ｘ、ｙ^）であり、出力１５０はｙであり、（２）ＡＳＮＲ（ｘ、ｙ）＞画像およびビデオ品質の許容可能な閾値となる。制御（ＣＴＲＬ）信号が有効である場合には、決定論理１４２ブロックの出力（ＲＥ）は画像／ビデオ符号器２３にｘを再符号化するように命令できる。これは、ＡＳＮＲ（ｘ、ｙ）とＡＳＮＲ（ｘ、ｙ^）の両方が、画像およびビデオ品質の許容可能な閾値未満である場合に可能である。出力ＱＡ（ｘ、ｙ、ｙ^）は、符号器メモリバッファを更新するために使用できる（図１０参照）。図１２のフローチャートに図示された論理は、ＤＳＮＲメトリックのみにではなく、あらゆるＡＳＮＲメトリックに使用することができる。
【００７０】
図１３は、図１１Ｂ中の決定論理１４３により決定された方法のフローチャートを図示する。このフローチャートは、任意のアーチファクトメトリックまたはアーチファクトメトリックの変形例の設計論理を表す。例えば、Ａ［１］はブロックノイズであってよく、ＭＡ［１］（ｘ、ｙ^）はＤＳＮＲ（ｘ、ｙ^）であってよい。同様に、Ａ［２］は不明瞭性であってよく、ＭＡ［２］（ｘ、ｙ^）はｙ^の不明瞭性の量を測定するメトリックであってよい。また同様に、ＭＡ［１］（ｘ、ｙ）はＤＳＮＲ（ｘ、ｙ）であってよく、ＭＡ［２］（ｘ、ｙ）はｙの不明瞭性の量を測定するメトリックであってよい。ＭＡ［２］（ｘ、ｙ、ｙ^）は、ブロックノイズを逆強調する別バージョンのＤＳＮＲであってよく、そのため、ＭＡ［１］（ｘ、ｙ、ｙ^）に関連して不明瞭性がより強調される。ＭＡ［２］（ｘ、ｙ、ｙ^）も、不明瞭性の量を測定するメトリックであってよい。
【００７１】
フィルタリングした再構成済みのビデオブロック（またはフレーム）ｙ^内部に存在するブロックノイズの量を調べるために、ＭＡ［１］（ｘ、ｙ^）とブロックノイズ閾値との間の比較１６０が行われる。比較１６０が真（はい）である場合には、ｙ^は「許容可能」に感知された画像およびビデオ品質を満たす。さらに、ｙ^内の不明瞭性の量を調べるために、ＭＡ［２］（ｘ、ｙ^）と不明瞭性閾値との間の比較１６２を行う。比較１６２が真（はい）である場合には、ｙ^は、不明瞭性とブロックノイズの両方について「許容可能に」感知された画像およびビデオ品質を満たす。この結果による出力ＱＡ（ｘ、ｙ、ｙ^）は１６４ｙ^となり、符号器メモリバッファ（図１０を参照）がｙ^で更新される。
【００７２】
比較１６０または１６２のいずれかが間違い（いいえ）である場合には、フィルタリングされていない再構成済みのビデオブロック（またはフレーム）ｙにおける不明瞭性の量を調べるために、ＭＡ［１］（ｘ、ｙ）と不明瞭性閾値の間の比較１６６を行う。比較１６６が真（はい）である場合には、ｙは「許容可能に」感知された画像およびビデオ品質を満たす。さらに、ｙ内における不明瞭性の量を調べるために、ＭＡ［２］（ｘ、ｙ）と不明瞭性閾値の間の比較１６８を行う。比較１６８が真（はい）の場合、ｙは不明瞭性とブロックノイズの両方について「許容可能に」感知された画像およびビデオ品質を満たす。この結果の出力ＱＡ（ｘ、ｙ、ｙ^）は１７０ｙになり、符号器メモリバッファ（図１０を参照）がｙ^で更新される。比較１６６または１６８が間違い（いいえ）である場合には、ライン出力ＲＥはアクティブ１７２となり、オリジナルビデオブロック（またはフレーム）ｘの再符号化が実行される。
【００７３】
図１４は、アーチファクト評価処理のフローチャートを図示する。アーチファクト評価のスタート後、ｍｅｔｒｉｃ＿ｓｏｒｔ１８０の選択は、どのタイプまたはバージョンのメトリックが生成されるかに基づく。オリジナルｘビデオブロックまたはフレーム（１が使用可能である場合）のローディングと、使用可能な再構成済みのｙまたはｙ^ビデオブロック（１以上）あるいはフレーム（１以上）１８２のローディングが実行される。関数Ｆ、および／またはノルムファクタ（ＮＦ）１８４を用いて、エラー（１以上）を計算できる。調整器［ｉ］は符号化１８６の前または最中（シリアルまたはパラレル）に実行できる。次に、調整器［ｉ］と、関数Ｆおよび／またはＮＦ１８８で計算したエラー（１以上）の結果との組み合わせが実行される。この結果の組み合わせ（１以上）により、２つのＭＳＥＴメトリック結果、即ちＭＳＥＴ（ｘ、ｙ）とＭＳＥＴ（ｘ、ｙ^）が得られる。ＭＳＥＴ（ｘ、ｙ）とＭＳＥＴ（ｘ、ｙ^）の各メンバーはアレンジ１９２できる。ＭＳＥＴ（ｘ、ｙ）のメンバーとＭＳＥＴ（ｘ、ｙ^）のメンバーの間の少なくとも１つの比較に基づいた論理決定１９４は、ｙ、ｙ^のいずれの画像および／またはビデオ品質が優れているかを決定する。この決定に基づいて、出力ＱＡ（ｘ、ｙ、ｙ^）、ｙとｙ^のうちの優れた一方を使用して、符号化処理中に、符号器メモリバッファインループが更新される。決定論理１９４ブロックはまた、ｙまたはｙ^の画像およびビデオ品質が許容不能である場合には、再符号化信号ＲＥを送信することができる。
【００７４】
多数の異なる実施形態を説明してきた。これらの技術は、符号化処理中に、アーチファクト評価器インループを使用して画像およびビデオ品質を向上させることで、ビデオ符号化を向上させることができる。これらの技術は基準に準拠する。これらの技術はさらに、ハードウェア、ソフトウェア、ファームウェア、これらの任意の組み合わせにおいて実現される。ソフトウェア内で実現された場合、これらの技術は、コンピュータ読み出し可能プログラムコード（コンピュータコードとも呼ばれる）を備えたコンピュータ読み出し可能媒体に向けられる。このプログラムコードは、デバイス内で実行されると、ビデオシーケンスを符号化し、上述した１以上の方法を実行する。
【００７５】
コンピュータ読み出し可能プログラムコードは、コンピュータ読み出し可能な命令の形式でメモリ上に記憶できる。このケースでは、ＤＳＰのようなプロセッサはメモリに記憶されている命令を実行して、本明細書で説明された１以上の技術を実行することができる。いくつかのケースでは、この技術は、符号化処理を加速化させるために、動作推定器のような様々なハードウェア成分を呼び出すＤＳＰによって実行される。別のケースでは、ビデオ符号器はマイクロプロセッサ、１以上のアプリケーション専用集積回路（ＡＳＩＣ）、１以上のフィールドプログラム可能なゲートアレイ（ＦＰＧＡ）、またはこれ以外の何らかのハードウェア／ソフトウェアの組み合わせとして実現される。これらおよびこれ以外の実施形態は、請求項の範囲内に包括される。
【特許請求の範囲】
【請求項１】
ビデオブロックを処理するように構成された装置であって、
フィルタリングされていない再構成済みビデオユニットを同期させることが可能な復号器を備え、ビデオユニットはビデオブロックとビデオフレームのうち少なくとも１つであり、
前記フィルタリングされていない再構成済みのビデオユニットを受信するべく動作可能であり、フィルタリングされた再構成済みのビデオユニットを生成するアーチファクトフィルタをさらに備え、前記ビデオユニットはビデオブロックまたはフレームのうち少なくとも１つであり、
前記フィルタリングされた再構成済みビデオユニットまたはフィルタリングされていない再構成されたビデオユニットを記憶するべく動作可能なメモリバッファをさらに備え、
前記メモリバッファを更新するべく動作可能なアーチファクト評価器をさらに備える、装置。
【請求項２】
前記アーチファクト評価器は、少なくとも１つのアーチファクトメトリック生成器と決定論理ブロックを備えている、請求項１に記載の装置。
【請求項３】
前記少なくとも１つのアーチファクト生成器のうちの任意のアーチファクトメトリック生成器は、前記フィルタリングされたビデオユニットまたは前記フィルタリングされていない再構成済みのビデオユニットを受信するように構成されている、請求項２に記載の装置。
【請求項４】
前記少なくとも１つのアーチファクトメトリック生成器はさらに、前記オリジナルビデオユニットを受信するように構成されている、請求項３に記載の装置。
【請求項５】
前記少なくとも１つのアーチファクトメトリック生成器のうちの任意のアーチファクトメトリック生成器は、非オリジナル基準（ＮＲ）アーチファクトメトリックまたはフルオリジナル基準（ＦＲ）アーチファクトメトリックを生成することを備える、請求項４に記載の装置。
【請求項６】
少なくとも１つのアーチファクトメトリック生成器からの第１アーチファクトメトリック生成器と、少なくとも１つのアーチファクトメトリック生成器からの第２アーチファクトメトリック生成器が第１決定論理ブロックまたは第２決定論理ブロックに結合している、請求項５に記載の装置。
【請求項７】
前記第１決定論理ブロックは、フィルタリングされた再構成済みビデオユニットと前記フィルタリングされてない再構成ビデオユニットを受信するように構成されており、さらに、第１ＮＲアーチファクトメトリックを第２ＮＲアーチファクトメトリックと比較するか、または、第１ＦＲアーチファクトメトリックを第２ＦＲアーチファクトメトリックと比較し、いずれかの比較決定に基づいて、前記フィルタリングされた再構成済みビデオユニットまたは前記フィルタリングされていない再構成済みビデオユニットを出力するように構成されている、請求項６に記載の装置。
【請求項８】
前記第２決定論理ブロックは、前記フィルタリングされた再構成済みビデオユニットと前記フィルタリングされてない再構成済みビデオユニットとを受信するように構成されており、さらに、第１組のＮＲアーチファクトメトリックを第１組のＮＲアーチファクトメトリックと比較する、または、第１組のＦＲアーチファクトメトリックを第２組のＦＲアーチファクトメトリックと比較し、いずれかの比較決定に基づいて、前記フィルタリングされた再構成済みビデオユニットまたは前記フィルタリングされていない再構成済みビデオユニットを出力するように構成されている、請求項６に記載の装置。
【請求項９】
前記出力は、再生デバイス、移動デバイス、またはコンピュータ内の前記メモリバッファインループへ送信される、請求項７に記載の装置。
【請求項１０】
前記出力は、再生デバイス、移動デバイス、またはコンピュータ内の前記メモリバッファインループへ送信される、請求項８に記載の装置。
【請求項１１】
アーチファクト評価器デバイスであって、
フィルタリングされていない再構成済みビデオユニットから少なくとも１つのアーチファクトメトリックを生成する手段を備えており、前記ビデオユニットはビデオブロックおよびフレームのうち少なくとも１つであり、
フィルタリングされた再構成済みビデオユニットから少なくとも１つのアーチファクトメトリックを生成する手段をさらに備え、前記ビデオユニットはビデオブロックおよびフレーム、前記オリジナルビデオユニットのうちの少なくとも１つであり、
第１アーチファクトメトリックを第２アーチファクトメトリックと比較する手段をさらに備え、
前記比較する手段に基づいて出力を決定する手段をさらに備える、アーチファクト評価器デバイス。
【請求項１２】
前記出力は、画像／ビデオ符号器のインループメモリバッファに結合している、請求項１１に記載のアーチファクト評価器デバイス。
【請求項１３】
前記第１アーチファクトメトリックと前記第２アーチファクトメトリックは、非オリジナル基準（ＮＲ）アーチファクトメトリックまたはフルオリジナル基準（ＦＲ）アーチファクトメトリックである、請求項１２に記載のアーチファクト評価器デバイス。
【請求項１４】
前記出力は、前記フィルタリングされた再構成済みのビデオユニット、または前記フィルタリングされていないビデオユニットである、請求項１３に記載のアーチファクト評価器デバイス。
【請求項１５】
アーチファクト評価器デバイスであって、
フィルタリングされていない再構成済みビデオユニットから少なくとも１つのアーチファクトメトリックを生成する手段を備え、前記ビデオユニットはビデオブロックおよびフレーム、オリジナルビデオユニットのうち少なくとも１つであり、前記ビデオユニットはビデオブロックおよびフレームのうち少なくとも１つであり、
フィルタリングされた再構成済みビデオユニットから少なくとも１つのアーチファクトメトリックを生成する手段をさらに備え、前記ビデオユニットは、ビデオブロックおよびフレーム、前記オリジナルビデオユニットのうち少なくとも１つであり、
第１アーチファクトメトリックを第１アーチファクト閾値と比較する第１比較手段をさらに備え、
第２アーチファクトメトリックを第２アーチファクト閾値と比較する第２比較手段をさらに備え、
第３アーチファクトメトリックの第３閾値を第３アーチファクト閾値と比較する第３比較手段をさらに備え、
第４アーチファクトメトリックを第４アーチファクト閾値と比較する第４比較手段をさらに備え、
比較手段の様々な組み合わせに基づいて出力を決定する手段をさらに備える、アーチファクト評価器デバイス。
【請求項１６】
前記出力は、画像／ビデオ符号器のインループメモリバッファと結合される、請求項１５に記載のアーチファクト評価器デバイス。
【請求項１７】
前記第１、第２、第３、第４アーチファクトメトリックは、非オリジナル基準（ＮＲ）アーチファクトメトリックまたはフルオリジナル基準（ＦＲ）アーチファクトメトリックである、請求項１６に記載のデバイス。
【請求項１８】
前記出力は、前記フィルタリングされた再構成済みのビデオユニット、または前記フィルタリングされていない再構成済みのビデオユニットである、請求項１７に記載のデバイス。
【請求項１９】
命令の組を記憶するように構成されたコンピュータ読み出し可能な媒体であって、前記命令は実行可能な処理ビデオブロックであり、
フィルタリングされていない再構成済みのビデオユニットから少なくとも１つのアーチファクトメトリックを生成するための、コンピュータ読み出し可能なプログラムコード手段を備え、前記ビデオユニットは、ビデオブロックおよびフレーム、オリジナルビデオユニットのうちの少なくとも１つであり、前記ビデオユニットはビデオおよびフレームのうちの少なくとも１つであり、
フィルタリングされた再構成済みのビデオユニットから少なくとも１つのアーチファクトメトリックを生成するためのコンピュータ読み出し可能なプログラムコード手段であり、前記ビデオユニットはビデオブロックおよびフレーム、前記オリジナルビデオユニットのうちの少なくとも１つであり、
第１アーチファクトメトリックを第２アーチファクトメトリックと比較するための、コンピュータ読み出し可能なプログラムコード手段をさらに備え、
前記比較手段に基づいて、前記出力を決定するための、コンピュータ読み出し可能なプログラムコード手段をさらに備え、
メモリバッファインループを決定手段に基づく出力によって更新するためのコンピュータ読み出し可能なプログラムコード手段をさらに備える、コンピュータ読み出し可能媒体。
【請求項２０】
前記少なくともアーチファクトメトリックを生成する手段は、非オリジナル基準（ＮＲ）アーチファクトメトリックまたはフルオリジナル基準（ＦＲ）アーチファクトメトリックである、請求項１９に記載のコンピュータ読み出し可能媒体。
【請求項２１】
前記メモリバッファインループを更新手段を決定する手段は、前記メモリバッファを前記フィルタリングされた再構成済みビデオユニットまたは前記フィルタリングされていない再構成済みのビデオユニットで更新する手段さらに備えている、請求項２０に記載のコンピュータ読み出し可能媒体。
【請求項２２】
ビデオブロックを処理するように構成されたコンピュータ読み出し可能な媒体であって、
フィルタリングされていない再構成済みビデオユニットから少なくとも１つのアーチファクトメトリックを生成するための、コンピュータ読み出し可能なプログラムコード手段を備え、前記ビデオユニットはビデオブロックおよびフレーム、オリジナルビデオユニットのうちの少なくとも１つであり、前記ビデオユニットはビデオブロックおよびフレームのうち少なくとも１つであり、
フィルタリングされた構成済みのビデオユニットおよび前記オリジナルビデオユニットから少なくとも１つのアーチファクトメトリックを生成するコンピュータ読み出し可能なコード手段をさらに備え、
第１アーチファクトメトリックを第１アーチファクト閾値と第１比較するためのコンピュータ読み出し可能なプログラムコード手段をさらに備え、
第２アーチファクトメトリックを第２アーチファクトメトリックと第２比較するコンピュータ読み出し可能なプログラムコード手段をさらに備え、
第３アーチファクトメトリックを第３アーチファクト閾値と第３比較するための前記コンピュータ読み出し可能プログラムコード手段をさらに備え、
第４アーチファクトメトリックを第４アーチファクト閾値と第４比較するための前記コンピュータ読み出し可能プログラムコード手段をさらに備え、
前記比較手段の様々な組み合わせに基づいて前記出力を決定するためのコンピュータ読み出し可能なプログラムコード手段をさらに備え、
メモリバッファインループを前記決定手段に基づく出力で更新するためのコンピュータ読み出し可能なプログラムコード手段をさらに備える、コンピュータ読み出し可能な媒体。
【請求項２３】
前記少なくとも１つのアーチファクトメトリックを生成する手段は、非（オリジナル）基準（ＮＲ）アーチファクトメトリックまたはフル（オリジナル）基準（ＦＲ）アーチファクトメトリックである、請求項２２に記載のコンピュータ読み出し可能な媒体。
【請求項２４】
前記メモリバッファインループの更新を決定する手段は、さらに、前記メモリバッファを、前記フィルタリングされた再構成済みビデオユニットまたは前記フィルタリングされていない再構成されたビデオユニットで更新することを備えている、請求項２３に記載のコンピュータ読み出し可能な媒体。
【請求項２５】
アーチファクト評価の方法であって、
オリジナルビデオユニットを入力することを備え、前記ビデオユニットは、ビデオブロックおよびフレームのうち少なくとも１つであり、
フィルタリングされていない再構成済みのビデオユニットを入力することをさらに備え、前記ビデオユニットはビデオブロックおよびフレームのうち少なくとも１つであり、
フィルタリングされた再構成済みのビデオユニットを入力することをさらに備え、前記ビデオユニットはビデオブロックおよびフレームのうち少なくとも１つであり、
前記オリジナルビデオユニットと前記フィルタリングされていない再構成済みのビデオユニットから少なくとも１つのアーチファクトメトリックを生成することをさらに備え、
前記オリジナルビデオユニットおよび前記フィルタリングされた再構成済みのビデオユニットから少なくとも１つのアーチファクトメトリックを生成することをさらに備える、方法。
【請求項２６】
前記オリジナルビデオユニットおよび前記フィルタリングされていない再構成済みビデオユニットから生成された前記アーチファクトメトリックのうちの任意の１つ、および前記オリジナルビデオユニットおよび前記フィルタリングされた再構成済みのビデオブロックから生成された前記アーチファクトメトリックのうちの任意の１つはブロックノイズまたは不明瞭性の量を測定する、請求項２５に記載の方法。
【請求項２７】
前記オリジナルビデオユニットから生成した前記アーチファクトメトリックとフィルタリングされていない再構成済みのビデオユニットのうちの任意の１つを、オリジナルビデオユニットから生成されたアーチファクトメトリックおよび前記フィルタリングされた再構成済みのビデオユニットのうちの任意の１つと比較することをさらに備え、
前記比較に基づいて、フィルタリングされていない再構成済みのビデオユニットまたはフィルタリングされた再構成済みのビデオブロックを出力することを決定することをさらに備え、
必要であれば前記比較に基づいて再符号化することをさらに備える、請求項２６に記載の方法。
【請求項２８】
前記オリジナルビデオユニットおよび前記フィルタリングされていない再構成済みのビデオユニットから生成された前記アーチファクトメトリックのうちの任意の１つを、第１アーチファクト閾値と第１比較させることと、
前記第１比較において使用される前記アーチファクトメトリックが前記第１アーチファクト閾値よりも小さい場合には、前記オリジナルビデオユニットおよび前記フィルタリングされていない再構成済みのビデオユニットから生成された前記アーチファクトメトリックのうちの任意の１つを、第２アーチファクト閾値と第２比較させることと、
前記第１比較に使用される任意の前記アーチファクトメトリックが前記第１アーチファクト閾値よりも低く、前記第２比較に使用される任意の前記アーチファクトメトリックが前記第２アーチファクト閾値よりも低い場合には、前記オリジナルビデオユニットおよび前記フィルタリングされた再構成済みのビデオユニットから生成された前記アーチファクトメトリックのうちの任意の１つを第３アーチファクト閾値と第３比較させることと、
前記第３比較に使用される前記アーチファクトメトリックが前記第３アーチファクト閾値よりも低い場合には、前記オリジナルビデオユニットおよび前記フィルタリングされた再構成済みのビデオユニットから生成された前記アーチファクトメトリックのうちの任意の１つを第４アーチファクト閾値と第４比較させることと、
前記第１および第２比較に基づいて、前記フィルタリングされた再構成済みのビデオユニットの出力を決定することと、
前記第３および第４に比較に基づいて、前記フィルタリングされていない再構成済みのビデオユニットの出力を決定することと、
必要であれば、前記第３または第４比較のいずれかに基づいて再符号化を行うこととをさらに備える、請求項２７に記載の方法。
【請求項２９】
前記フィルタリングされた再構成済みのビデオユニット、または前記フィルタリングされていない再構成済みのビデオユニットは、テクスチャ符号器を含んだ符号化処理の一部として同期使用されているメモリバッファ内に記憶される、請求項２７に記載の方法。
【請求項３０】
前記フィルタリングされた再構成済みビデオユニット、またはフィルタリングされていない再構成済みのビデオユニットは、テクスチャ符号器を含んだ符号化処理の一部としてインループ使用されているメモリバッファ内に記憶されている、請求項２９に記載の方法。
【請求項３１】
画像／ビデオ符号器における方法であって、
メモリバッファをアーチファクト評価器の出力で更新することを備え、前記アーチファクト評価器はインループ使用され、
前記アーチファクト評価器の一部としての決定論理ブロックによって決定を行うことをさらに備え、前記決定論理ブロックは、第１組のアーチファクトメトリックと第２組のアーチファクトメトリックを使用して比較を行い、また、前記比較に基づいて、前記アーチファクト評価器は、フィルタリングされた再構成済みのビデオユニットを出力し、ビデオユニットはビデオブロックおよびフレーム、またはフィルタリングされていない再構成済みのビデオユニットのうちの少なくとも１つであり、ビデオユニットはビデオブロックおよびフレームのうちの少なくとも１つである、方法。
【請求項３２】
前記メモリバッファはフィルタリングされた再構成済みのビデオユニット、または前記フィルタリングされていない再構成済みのビデオユニットのうちいずれかを記憶する、請求項３１に記載の方法。
【請求項３３】
前記第１組のメトリックは前記オリジナルビデオユニットおよび前記フィルタリングされていない再構成済みのビデオユニットに基づく、請求項３２に記載の方法。
【請求項３４】
前記第２組のメトリックは、前記オリジナルビデオユニットと、前記フィルタリングされた再構成済みのビデオユニットに基づく、請求項３３に記載の方法。
【請求項３５】
前記第１組のメトリックは前記フィルタリングされていない再構成済みのビデオユニットに基づく、請求項３２に記載の方法。
【請求項３６】
前記第２組のメトリックは前記フィルタリングされた再構成済みのビデオユニットに基づく、請求項３３に記載の方法。
【請求項３７】
アーチファクトを測定する方法であって、
フィルタリングされていない再構成済みのビデオユニットを使用することを備え、前記ビデオユニットはビデオブロックおよびフレーム、またはフィルタリングされた再構成済みのビデオユニットのうちの少なくとも１つであり、ビデオユニットはビデオブロックおよびフレームのうちの少なくとも１つであり、以下のアーチファクトメトリック実現を設け、
【数１】
ここで、ｙはフィルタリングされていない再構成済みのビデオユニットまたはフィルタリングされた再構成済みのビデオユニットのいずれかを表し、
ＰＫＳは、前記平方画素のピーク値であり、
ＷＳは、空間要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
ＷＰは、知覚要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
ＷＴは、時間要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
Ｆ（ｙ）はｙの関数である、方法。
【請求項３８】
Ｆ（ｙ）がＮｏｒｍ＿Ｆａｃｔｏｒ（ＭＳＤＳ（ｙ））である場合には、ＡＳＮＲ（ｙ）はＤＳＮＲ（ｙ）であり、
Ｎｏｒｍ＿Ｆａｃｔｏｒは絶対値または平方のいずれかを取ることを伴う、請求項３７に記載の方法。
【請求項３９】
前記アーチファクトの測定はさらに、ＷＳ、ＷＰ、ＷＴの値の組み合わせによって、ブロックノイズアーチファクトを強調する、または逆強調することをさらに備えている、請求項３８に記載の方法。
【請求項４０】
アーチファクトを測定する方法であって、
フィルタリングされていない再構成済みのビデオユニットを使用することを備え、前記ビデオユニットはビデオブロックおよびフレーム、またはフィルタリングされた再構成済みのビデオユニットのうちの少なくとも１つであり、ビデオユニットはビデオブロックおよびフレームのうちの少なくとも１つであり、以下のアーチファクトメトリック実現を設けたオリジナルビデオユニットと協働し、
【数２】
ここで、ｙはフィルタリングされていない再構成済みのビデオユニットまたはフィルタリングされた再構成済みのビデオユニットのいずれかを表し、
ｘは、前記オリジナルビデオユニットを表し、この場合、ビデオユニットはビデオブロックおよびフレームのうちの少なくとも１つであり、
ＰＫＳは、前記平方画素のピーク値であり、
ＷＳは、空間要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
ＷＰは、知覚要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
ＷＴは、時間要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
Ｆ（ｘ、ｙ）はｘおよびｙの関数である、方法。
【請求項４１】
Ｆ（ｘ、ｙ）がＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）である場合、ＡＳＮＲ（ｘ、ｙ）はＤＳＮＲ（ｘ、ｙ）であり；
ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）＝Ｎｏｒｍ＿Ｆａｃｔｏｒ（ＭＳＤＳ（ｘ）−ＭＳＤＳ（ｙ））であり；
ＭＳＤＳ（ｘ）は（ｘ）の傾きの平均２乗差であり；
ＭＳＤＳ（ｙ）は（ｙ）の前記傾きの平均２乗差であり、
Ｎｏｒｍ＿Ｆａｃｔｏｒは絶対値または平方のいずれかを取ることを伴う、請求項４０に記載の方法。
【請求項４２】
前記アーチファクトの測定はさらに、
値ＷＳ、ＷＰ、ＷＴの組み合わせによってブロックノイズアーチファクトを強調する、または逆強調する、請求項４１に記載の方法。
【請求項１】
ビデオブロックを処理するように構成された装置であって、
フィルタリングされていない再構成済みビデオユニットを同期させることが可能な復号器を備え、ビデオユニットはビデオブロックとビデオフレームのうち少なくとも１つであり、
前記フィルタリングされていない再構成済みのビデオユニットを受信するべく動作可能であり、フィルタリングされた再構成済みのビデオユニットを生成するアーチファクトフィルタをさらに備え、前記ビデオユニットはビデオブロックまたはフレームのうち少なくとも１つであり、
前記フィルタリングされた再構成済みビデオユニットまたはフィルタリングされていない再構成されたビデオユニットを記憶するべく動作可能なメモリバッファをさらに備え、
前記メモリバッファを更新するべく動作可能なアーチファクト評価器をさらに備える、装置。
【請求項２】
前記アーチファクト評価器は、少なくとも１つのアーチファクトメトリック生成器と決定論理ブロックを備えている、請求項１に記載の装置。
【請求項３】
前記少なくとも１つのアーチファクト生成器のうちの任意のアーチファクトメトリック生成器は、前記フィルタリングされたビデオユニットまたは前記フィルタリングされていない再構成済みのビデオユニットを受信するように構成されている、請求項２に記載の装置。
【請求項４】
前記少なくとも１つのアーチファクトメトリック生成器はさらに、前記オリジナルビデオユニットを受信するように構成されている、請求項３に記載の装置。
【請求項５】
前記少なくとも１つのアーチファクトメトリック生成器のうちの任意のアーチファクトメトリック生成器は、非オリジナル基準（ＮＲ）アーチファクトメトリックまたはフルオリジナル基準（ＦＲ）アーチファクトメトリックを生成することを備える、請求項４に記載の装置。
【請求項６】
少なくとも１つのアーチファクトメトリック生成器からの第１アーチファクトメトリック生成器と、少なくとも１つのアーチファクトメトリック生成器からの第２アーチファクトメトリック生成器が第１決定論理ブロックまたは第２決定論理ブロックに結合している、請求項５に記載の装置。
【請求項７】
前記第１決定論理ブロックは、フィルタリングされた再構成済みビデオユニットと前記フィルタリングされてない再構成ビデオユニットを受信するように構成されており、さらに、第１ＮＲアーチファクトメトリックを第２ＮＲアーチファクトメトリックと比較するか、または、第１ＦＲアーチファクトメトリックを第２ＦＲアーチファクトメトリックと比較し、いずれかの比較決定に基づいて、前記フィルタリングされた再構成済みビデオユニットまたは前記フィルタリングされていない再構成済みビデオユニットを出力するように構成されている、請求項６に記載の装置。
【請求項８】
前記第２決定論理ブロックは、前記フィルタリングされた再構成済みビデオユニットと前記フィルタリングされてない再構成済みビデオユニットとを受信するように構成されており、さらに、第１組のＮＲアーチファクトメトリックを第１組のＮＲアーチファクトメトリックと比較する、または、第１組のＦＲアーチファクトメトリックを第２組のＦＲアーチファクトメトリックと比較し、いずれかの比較決定に基づいて、前記フィルタリングされた再構成済みビデオユニットまたは前記フィルタリングされていない再構成済みビデオユニットを出力するように構成されている、請求項６に記載の装置。
【請求項９】
前記出力は、再生デバイス、移動デバイス、またはコンピュータ内の前記メモリバッファインループへ送信される、請求項７に記載の装置。
【請求項１０】
前記出力は、再生デバイス、移動デバイス、またはコンピュータ内の前記メモリバッファインループへ送信される、請求項８に記載の装置。
【請求項１１】
アーチファクト評価器デバイスであって、
フィルタリングされていない再構成済みビデオユニットから少なくとも１つのアーチファクトメトリックを生成する手段を備えており、前記ビデオユニットはビデオブロックおよびフレームのうち少なくとも１つであり、
フィルタリングされた再構成済みビデオユニットから少なくとも１つのアーチファクトメトリックを生成する手段をさらに備え、前記ビデオユニットはビデオブロックおよびフレーム、前記オリジナルビデオユニットのうちの少なくとも１つであり、
第１アーチファクトメトリックを第２アーチファクトメトリックと比較する手段をさらに備え、
前記比較する手段に基づいて出力を決定する手段をさらに備える、アーチファクト評価器デバイス。
【請求項１２】
前記出力は、画像／ビデオ符号器のインループメモリバッファに結合している、請求項１１に記載のアーチファクト評価器デバイス。
【請求項１３】
前記第１アーチファクトメトリックと前記第２アーチファクトメトリックは、非オリジナル基準（ＮＲ）アーチファクトメトリックまたはフルオリジナル基準（ＦＲ）アーチファクトメトリックである、請求項１２に記載のアーチファクト評価器デバイス。
【請求項１４】
前記出力は、前記フィルタリングされた再構成済みのビデオユニット、または前記フィルタリングされていないビデオユニットである、請求項１３に記載のアーチファクト評価器デバイス。
【請求項１５】
アーチファクト評価器デバイスであって、
フィルタリングされていない再構成済みビデオユニットから少なくとも１つのアーチファクトメトリックを生成する手段を備え、前記ビデオユニットはビデオブロックおよびフレーム、オリジナルビデオユニットのうち少なくとも１つであり、前記ビデオユニットはビデオブロックおよびフレームのうち少なくとも１つであり、
フィルタリングされた再構成済みビデオユニットから少なくとも１つのアーチファクトメトリックを生成する手段をさらに備え、前記ビデオユニットは、ビデオブロックおよびフレーム、前記オリジナルビデオユニットのうち少なくとも１つであり、
第１アーチファクトメトリックを第１アーチファクト閾値と比較する第１比較手段をさらに備え、
第２アーチファクトメトリックを第２アーチファクト閾値と比較する第２比較手段をさらに備え、
第３アーチファクトメトリックの第３閾値を第３アーチファクト閾値と比較する第３比較手段をさらに備え、
第４アーチファクトメトリックを第４アーチファクト閾値と比較する第４比較手段をさらに備え、
比較手段の様々な組み合わせに基づいて出力を決定する手段をさらに備える、アーチファクト評価器デバイス。
【請求項１６】
前記出力は、画像／ビデオ符号器のインループメモリバッファと結合される、請求項１５に記載のアーチファクト評価器デバイス。
【請求項１７】
前記第１、第２、第３、第４アーチファクトメトリックは、非オリジナル基準（ＮＲ）アーチファクトメトリックまたはフルオリジナル基準（ＦＲ）アーチファクトメトリックである、請求項１６に記載のデバイス。
【請求項１８】
前記出力は、前記フィルタリングされた再構成済みのビデオユニット、または前記フィルタリングされていない再構成済みのビデオユニットである、請求項１７に記載のデバイス。
【請求項１９】
命令の組を記憶するように構成されたコンピュータ読み出し可能な媒体であって、前記命令は実行可能な処理ビデオブロックであり、
フィルタリングされていない再構成済みのビデオユニットから少なくとも１つのアーチファクトメトリックを生成するための、コンピュータ読み出し可能なプログラムコード手段を備え、前記ビデオユニットは、ビデオブロックおよびフレーム、オリジナルビデオユニットのうちの少なくとも１つであり、前記ビデオユニットはビデオおよびフレームのうちの少なくとも１つであり、
フィルタリングされた再構成済みのビデオユニットから少なくとも１つのアーチファクトメトリックを生成するためのコンピュータ読み出し可能なプログラムコード手段であり、前記ビデオユニットはビデオブロックおよびフレーム、前記オリジナルビデオユニットのうちの少なくとも１つであり、
第１アーチファクトメトリックを第２アーチファクトメトリックと比較するための、コンピュータ読み出し可能なプログラムコード手段をさらに備え、
前記比較手段に基づいて、前記出力を決定するための、コンピュータ読み出し可能なプログラムコード手段をさらに備え、
メモリバッファインループを決定手段に基づく出力によって更新するためのコンピュータ読み出し可能なプログラムコード手段をさらに備える、コンピュータ読み出し可能媒体。
【請求項２０】
前記少なくともアーチファクトメトリックを生成する手段は、非オリジナル基準（ＮＲ）アーチファクトメトリックまたはフルオリジナル基準（ＦＲ）アーチファクトメトリックである、請求項１９に記載のコンピュータ読み出し可能媒体。
【請求項２１】
前記メモリバッファインループを更新手段を決定する手段は、前記メモリバッファを前記フィルタリングされた再構成済みビデオユニットまたは前記フィルタリングされていない再構成済みのビデオユニットで更新する手段さらに備えている、請求項２０に記載のコンピュータ読み出し可能媒体。
【請求項２２】
ビデオブロックを処理するように構成されたコンピュータ読み出し可能な媒体であって、
フィルタリングされていない再構成済みビデオユニットから少なくとも１つのアーチファクトメトリックを生成するための、コンピュータ読み出し可能なプログラムコード手段を備え、前記ビデオユニットはビデオブロックおよびフレーム、オリジナルビデオユニットのうちの少なくとも１つであり、前記ビデオユニットはビデオブロックおよびフレームのうち少なくとも１つであり、
フィルタリングされた構成済みのビデオユニットおよび前記オリジナルビデオユニットから少なくとも１つのアーチファクトメトリックを生成するコンピュータ読み出し可能なコード手段をさらに備え、
第１アーチファクトメトリックを第１アーチファクト閾値と第１比較するためのコンピュータ読み出し可能なプログラムコード手段をさらに備え、
第２アーチファクトメトリックを第２アーチファクトメトリックと第２比較するコンピュータ読み出し可能なプログラムコード手段をさらに備え、
第３アーチファクトメトリックを第３アーチファクト閾値と第３比較するための前記コンピュータ読み出し可能プログラムコード手段をさらに備え、
第４アーチファクトメトリックを第４アーチファクト閾値と第４比較するための前記コンピュータ読み出し可能プログラムコード手段をさらに備え、
前記比較手段の様々な組み合わせに基づいて前記出力を決定するためのコンピュータ読み出し可能なプログラムコード手段をさらに備え、
メモリバッファインループを前記決定手段に基づく出力で更新するためのコンピュータ読み出し可能なプログラムコード手段をさらに備える、コンピュータ読み出し可能な媒体。
【請求項２３】
前記少なくとも１つのアーチファクトメトリックを生成する手段は、非（オリジナル）基準（ＮＲ）アーチファクトメトリックまたはフル（オリジナル）基準（ＦＲ）アーチファクトメトリックである、請求項２２に記載のコンピュータ読み出し可能な媒体。
【請求項２４】
前記メモリバッファインループの更新を決定する手段は、さらに、前記メモリバッファを、前記フィルタリングされた再構成済みビデオユニットまたは前記フィルタリングされていない再構成されたビデオユニットで更新することを備えている、請求項２３に記載のコンピュータ読み出し可能な媒体。
【請求項２５】
アーチファクト評価の方法であって、
オリジナルビデオユニットを入力することを備え、前記ビデオユニットは、ビデオブロックおよびフレームのうち少なくとも１つであり、
フィルタリングされていない再構成済みのビデオユニットを入力することをさらに備え、前記ビデオユニットはビデオブロックおよびフレームのうち少なくとも１つであり、
フィルタリングされた再構成済みのビデオユニットを入力することをさらに備え、前記ビデオユニットはビデオブロックおよびフレームのうち少なくとも１つであり、
前記オリジナルビデオユニットと前記フィルタリングされていない再構成済みのビデオユニットから少なくとも１つのアーチファクトメトリックを生成することをさらに備え、
前記オリジナルビデオユニットおよび前記フィルタリングされた再構成済みのビデオユニットから少なくとも１つのアーチファクトメトリックを生成することをさらに備える、方法。
【請求項２６】
前記オリジナルビデオユニットおよび前記フィルタリングされていない再構成済みビデオユニットから生成された前記アーチファクトメトリックのうちの任意の１つ、および前記オリジナルビデオユニットおよび前記フィルタリングされた再構成済みのビデオブロックから生成された前記アーチファクトメトリックのうちの任意の１つはブロックノイズまたは不明瞭性の量を測定する、請求項２５に記載の方法。
【請求項２７】
前記オリジナルビデオユニットから生成した前記アーチファクトメトリックとフィルタリングされていない再構成済みのビデオユニットのうちの任意の１つを、オリジナルビデオユニットから生成されたアーチファクトメトリックおよび前記フィルタリングされた再構成済みのビデオユニットのうちの任意の１つと比較することをさらに備え、
前記比較に基づいて、フィルタリングされていない再構成済みのビデオユニットまたはフィルタリングされた再構成済みのビデオブロックを出力することを決定することをさらに備え、
必要であれば前記比較に基づいて再符号化することをさらに備える、請求項２６に記載の方法。
【請求項２８】
前記オリジナルビデオユニットおよび前記フィルタリングされていない再構成済みのビデオユニットから生成された前記アーチファクトメトリックのうちの任意の１つを、第１アーチファクト閾値と第１比較させることと、
前記第１比較において使用される前記アーチファクトメトリックが前記第１アーチファクト閾値よりも小さい場合には、前記オリジナルビデオユニットおよび前記フィルタリングされていない再構成済みのビデオユニットから生成された前記アーチファクトメトリックのうちの任意の１つを、第２アーチファクト閾値と第２比較させることと、
前記第１比較に使用される任意の前記アーチファクトメトリックが前記第１アーチファクト閾値よりも低く、前記第２比較に使用される任意の前記アーチファクトメトリックが前記第２アーチファクト閾値よりも低い場合には、前記オリジナルビデオユニットおよび前記フィルタリングされた再構成済みのビデオユニットから生成された前記アーチファクトメトリックのうちの任意の１つを第３アーチファクト閾値と第３比較させることと、
前記第３比較に使用される前記アーチファクトメトリックが前記第３アーチファクト閾値よりも低い場合には、前記オリジナルビデオユニットおよび前記フィルタリングされた再構成済みのビデオユニットから生成された前記アーチファクトメトリックのうちの任意の１つを第４アーチファクト閾値と第４比較させることと、
前記第１および第２比較に基づいて、前記フィルタリングされた再構成済みのビデオユニットの出力を決定することと、
前記第３および第４に比較に基づいて、前記フィルタリングされていない再構成済みのビデオユニットの出力を決定することと、
必要であれば、前記第３または第４比較のいずれかに基づいて再符号化を行うこととをさらに備える、請求項２７に記載の方法。
【請求項２９】
前記フィルタリングされた再構成済みのビデオユニット、または前記フィルタリングされていない再構成済みのビデオユニットは、テクスチャ符号器を含んだ符号化処理の一部として同期使用されているメモリバッファ内に記憶される、請求項２７に記載の方法。
【請求項３０】
前記フィルタリングされた再構成済みビデオユニット、またはフィルタリングされていない再構成済みのビデオユニットは、テクスチャ符号器を含んだ符号化処理の一部としてインループ使用されているメモリバッファ内に記憶されている、請求項２９に記載の方法。
【請求項３１】
画像／ビデオ符号器における方法であって、
メモリバッファをアーチファクト評価器の出力で更新することを備え、前記アーチファクト評価器はインループ使用され、
前記アーチファクト評価器の一部としての決定論理ブロックによって決定を行うことをさらに備え、前記決定論理ブロックは、第１組のアーチファクトメトリックと第２組のアーチファクトメトリックを使用して比較を行い、また、前記比較に基づいて、前記アーチファクト評価器は、フィルタリングされた再構成済みのビデオユニットを出力し、ビデオユニットはビデオブロックおよびフレーム、またはフィルタリングされていない再構成済みのビデオユニットのうちの少なくとも１つであり、ビデオユニットはビデオブロックおよびフレームのうちの少なくとも１つである、方法。
【請求項３２】
前記メモリバッファはフィルタリングされた再構成済みのビデオユニット、または前記フィルタリングされていない再構成済みのビデオユニットのうちいずれかを記憶する、請求項３１に記載の方法。
【請求項３３】
前記第１組のメトリックは前記オリジナルビデオユニットおよび前記フィルタリングされていない再構成済みのビデオユニットに基づく、請求項３２に記載の方法。
【請求項３４】
前記第２組のメトリックは、前記オリジナルビデオユニットと、前記フィルタリングされた再構成済みのビデオユニットに基づく、請求項３３に記載の方法。
【請求項３５】
前記第１組のメトリックは前記フィルタリングされていない再構成済みのビデオユニットに基づく、請求項３２に記載の方法。
【請求項３６】
前記第２組のメトリックは前記フィルタリングされた再構成済みのビデオユニットに基づく、請求項３３に記載の方法。
【請求項３７】
アーチファクトを測定する方法であって、
フィルタリングされていない再構成済みのビデオユニットを使用することを備え、前記ビデオユニットはビデオブロックおよびフレーム、またはフィルタリングされた再構成済みのビデオユニットのうちの少なくとも１つであり、ビデオユニットはビデオブロックおよびフレームのうちの少なくとも１つであり、以下のアーチファクトメトリック実現を設け、
【数１】
ここで、ｙはフィルタリングされていない再構成済みのビデオユニットまたはフィルタリングされた再構成済みのビデオユニットのいずれかを表し、
ＰＫＳは、前記平方画素のピーク値であり、
ＷＳは、空間要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
ＷＰは、知覚要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
ＷＴは、時間要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
Ｆ（ｙ）はｙの関数である、方法。
【請求項３８】
Ｆ（ｙ）がＮｏｒｍ＿Ｆａｃｔｏｒ（ＭＳＤＳ（ｙ））である場合には、ＡＳＮＲ（ｙ）はＤＳＮＲ（ｙ）であり、
Ｎｏｒｍ＿Ｆａｃｔｏｒは絶対値または平方のいずれかを取ることを伴う、請求項３７に記載の方法。
【請求項３９】
前記アーチファクトの測定はさらに、ＷＳ、ＷＰ、ＷＴの値の組み合わせによって、ブロックノイズアーチファクトを強調する、または逆強調することをさらに備えている、請求項３８に記載の方法。
【請求項４０】
アーチファクトを測定する方法であって、
フィルタリングされていない再構成済みのビデオユニットを使用することを備え、前記ビデオユニットはビデオブロックおよびフレーム、またはフィルタリングされた再構成済みのビデオユニットのうちの少なくとも１つであり、ビデオユニットはビデオブロックおよびフレームのうちの少なくとも１つであり、以下のアーチファクトメトリック実現を設けたオリジナルビデオユニットと協働し、
【数２】
ここで、ｙはフィルタリングされていない再構成済みのビデオユニットまたはフィルタリングされた再構成済みのビデオユニットのいずれかを表し、
ｘは、前記オリジナルビデオユニットを表し、この場合、ビデオユニットはビデオブロックおよびフレームのうちの少なくとも１つであり、
ＰＫＳは、前記平方画素のピーク値であり、
ＷＳは、空間要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
ＷＰは、知覚要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
ＷＴは、時間要因に基づいて、フィルタリングされていない再構成済みのビデオユニットに影響する重量であり、
Ｆ（ｘ、ｙ）はｘおよびｙの関数である、方法。
【請求項４１】
Ｆ（ｘ、ｙ）がＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）である場合、ＡＳＮＲ（ｘ、ｙ）はＤＳＮＲ（ｘ、ｙ）であり；
ＭＳＤＳ＿ｅｒｒｏｒ（ｘ、ｙ）＝Ｎｏｒｍ＿Ｆａｃｔｏｒ（ＭＳＤＳ（ｘ）−ＭＳＤＳ（ｙ））であり；
ＭＳＤＳ（ｘ）は（ｘ）の傾きの平均２乗差であり；
ＭＳＤＳ（ｙ）は（ｙ）の前記傾きの平均２乗差であり、
Ｎｏｒｍ＿Ｆａｃｔｏｒは絶対値または平方のいずれかを取ることを伴う、請求項４０に記載の方法。
【請求項４２】
前記アーチファクトの測定はさらに、
値ＷＳ、ＷＰ、ＷＴの組み合わせによってブロックノイズアーチファクトを強調する、または逆強調する、請求項４１に記載の方法。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３】
【図１４】
【図１Ｂ】
【図２】
【図３】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１Ａ】
【図１１Ｂ】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１０２４７１（Ｐ２０１３−１０２４７１Ａ）
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−２７９９８８（Ｐ２０１２−２７９９８８）
【出願日】平成２４年１２月２１日（２０１２．１２．２１）
【分割の表示】特願２００８−５５７４９９（Ｐ２００８−５５７４９９）の分割
【原出願日】平成１９年３月１日（２００７．３．１）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公開日】平成２５年５月２３日（２０１３．５．２３）
【国際特許分類】
【出願番号】特願２０１２−２７９９８８（Ｐ２０１２−２７９９８８）
【出願日】平成２４年１２月２１日（２０１２．１２．２１）
【分割の表示】特願２００８−５５７４９９（Ｐ２００８−５５７４９９）の分割
【原出願日】平成１９年３月１日（２００７．３．１）
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]