映像信号符号化
【解決手段】 映像信号の符号化方法およびシステムは、符号化された信号がリンク上で効率的に送信されるとともに復号および表示された際に推定される知覚品質の点で所定の基準を満たすように圧縮された符号化された信号を提供する。これは、符号化側で、知覚品質メトリック（ＰＱＭ）システム（３２）を利用して推定される知覚品質を数量化する制御ユニット（２４）、数量化されたＰＱＭを信号が送信前に満たさなければならないユーザ定義の基準と比較する制御ロジック（３４）を設けることによって達成される。または、制御ユニットは、例えば事前濾波を使用して信号を修正するか、修正された符号化パラメータを用いてその品質を上げるように信号を再符号化するように動作可能である。これによって、数量化されたＰＱＭが基準に近づく。この符号化・修正・符号化シーケンスの多数の繰り返しが、結果得るＰＱＭが基準を満たし送信される前に必要かもしれない。
【発明の詳細な説明】
【背景技術】
【０００１】
本発明は、複数のフレームを表わす映像信号を符号化する方法およびシステムに関し、特に、符号化された信号についての品質測度を導出する映像信号を符号化する方法およびシステムに関する。
【０００２】
ディジタル映像信号が、通信リンクを通して効率的に送信されることができるように符号化することが知られている。ソースデータは、例えば画素のブロックの予測、離散コサイン変換（ＤＣＴ）、量子化、ランレングス符号化、および統計・心理物理的冗長性を利用する他の圧縮技術のような良く知られている技術を使用して、送信される必要のあるデータ量を低減するような方法で符号化される。良く知られている映像符号化アルゴリズム／規格はＭＰＥＧ２およびＨ．２６４／ＭＰＥＧ−４ ＡＶＣを含んでいる。また、他の既知の規格が存在することが認識されるだろう。通信リンクの復号側において、符号化映像を表示装置にそれを出力することができるように復号する（あるいは伸長）ためにソフトウェアが設けられている。
【０００３】
データリンクを介して送信されるデータ量を低減する点では有用であるが、量子化プロセス（無ノイズ符号化ではない）を伴った映像信号を圧縮する工程は、歪みを導入し、したがって、映像の質を低減し得る。多くの符号化アルゴリズムは、歪みが見る人によって可能な限りほとんど知覚されないように人間視覚システム（ＨＶＳ）の限界を活用する傾向がある。歪みを測定する１つの方法は、復号された映像シーケンス内の知覚可能な歪みのレベルに注目し、その結果を平均して平均オピニオン評点（ＭＯＳ）を得ることを含んでいる。しかしながら、この人の手による工程は時間のかかるものであり得、訓練された人が、意味のあるデータを提供するために適切に映像の代表的な主題サンプルを判断することを要求する。そこで、知覚品質を評価するソフトウェア・ツール（いわゆる知覚品質メトリック（ＰＱＭ）ツール）を設けることが知られている。そのようなＰＱＭツールは通信リンクの復号器側に設けられる。出願人の国際特許出願番号ＧＢ２００６／００４１５５は典型的なＰＱＭツールについて詳細に記述している。
【０００４】
商用映像システム（例えばインターネット・プロトコル・テレビ（ＩＰＴＶ）システム）では、知覚品質は重要な問題である。チャネルの性質は符号化器側でデータ圧縮を必要とするだろう。しかしながら、ＩＰＴＶサービス・プロバイダの顧客は、映像品質の点においてサービスの一定レベルを期待する。また、したがって、サービス・プロバイダは、送信された映像が、（常にではないとしても）大量の送信の場合に顧客の期待を満たすだろうということを保証することを切望している。
【発明の概要】
【０００５】
本発明の第１の側面によれば、複数のフレームを表す映像信号を符号化する方法であって、（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化し、（ｂ）知覚品質メトリックを使用して符号化された信号についての品質測度を生成するとともに前記品質測度が所定の品質基準を満たすかを確認し、（ｃ）前記品質測度が前記所定の品質基準を満たさない場合、前記少なくとも１つの符号化パラメータの修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまでステップ（ａ）乃至（ｃ）を繰り返す、ことを具備する方法が提供される。
【０００６】
知覚品質メトリックは、知覚される映像の品質（すなわち人間の視聴者によって知覚されるような映像の品質）を客観的に評価または予測するように構成されているメトリックまたはモデルを意味すると理解される。これは、結果得る品質測度が自動的に一貫して適用されることが可能であることを意味する。
【０００７】
本方法は、映像信号と関連付けられている品質測度が所定の品質基準を満たさない場合にこの映像信号の繰り返しの再符号化を提供する。この再符号化は、前記少なくとも1つの符号化パラメータの修正値または映像信号の修正された形態を使用する。こうすることによって、フィードバック構成が使用されて、符号化された信号が品質要求事項の何らかの形態を満たすことを保証する。そのような方法は、ＩＰＴＶのような商用の適用形態において顧客に対する最小レベルのサービスを保証したい映像コンテンツ・サービス・プロバイダにとって特に利益を提供し得る。一旦品質測度が所定の品質基準を満たすものとして確認されるとステップ（ｃ）は実行される必要がないことが認識されるだろう。
【０００８】
本方法は、好ましくは通信リンクの符号器側で実行され、また前記品質測度が前記所定の品質基準を満たす場合のみ、前記符号化された信号を通信リンク上で映像復号器に送信することをさらに具備する。
【０００９】
ステップ（ｃ）において、前記符号化パラメータの値または前記映像信号に適用される修正の量は、ステップ（ｂ）において生成される前記品質測度の値の関数であり得る。
【００１０】
本方法は第１および第２信号部分に対して実行され得、前記第２信号部分は、前記品質測度が前記第１信号部分について前記所定の品質基準を満たす場合に符号化される。
【００１１】
前記品質測度は、好ましくは所定のアルゴリズムを用いて生成される数値であり、前記品質測度は、前記数値が所定の範囲内にある場合に前記所定の品質基準を満たす。前記所定の範囲は第１および第２境界値によって定義され得、前記適用される修正は、前記品質測度の値が後続の繰り返しにおいて前記境界値の一方に近づく変化に帰着する。
【００１２】
前記符号化された信号は、複数の個別に識別可能なフレーム群（ＧＯＦ）を表わし得、 品質測度は各ＧＯＦに対して導出可能であって、ステップ（ｃ）において、前記少なくとも１つの符号化パラメータの修正された値または前記映像信号の修正された形態は前記所定の品質基準を満たさない各ＧＯＦに適用される。
【００１３】
本方法は、各々がステップ（ｃ）において適用される択一的なプロファイルを定義する複数の修正プロファイルを提供し、１つ以上の選択規則に応じて前記複数のプロファイルのうちの１つを選択する、ことをさらに具備し得る。たとえば、連続する所定数のＧＯＦが前記所定の品質基準を満たさない場合に第１修正プロファイルが選択される。前記第１プロファイルは、適用されると前記ＧＯＦに対応する前記映像信号の濾波された形態を再符号化するように構成されている。前記濾波は、前記ＧＯＦの各フレームを符号化するのに必要なビット数を減じることを具備し得る。所定数のＧＯＦを具備するセグメントにおいて一部のＧＯＦのみが前記所定の品質基準を満たさない場合に第２プロファイルが選択される。前記第２プロファイルは、適用されると各不合格ＧＯＦに対応する前記映像信号を修正された符号化パラメータを使用して再符号化するように構成されている。
【００１４】
各フレームについてのさらなる品質測度が生成され得る。あるフレームについての前記さらなる品質測度が前記所定の品質基準を満たさない場合、フレーム内分析が該フレームに対して実行されて該フレームのどの部分が修正を必要としているかを判断する。
【００１５】
上記の少なくとも１つの符号化パラメータは、量子化ステップ幅を含み得る。この場合、ステップ（ｃ）は量子化ステップ幅の修正された値を適用することを具備する。択一的にまたは付加的に、前記少なくとも１つの符号化パラメータは、符号化ビットレートを含み得る。この場合、ステップ（ｃ）は前記符号化ビットレートの修正された値を適用することを具備する。
【００１６】
本発明の第２の側面によれば、複数のフレームを表す映像信号を符号化する方法であって、（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化し、（ｂ）知覚品質メトリックを使用して符号化された信号についての数値の形態の品質測度を生成するとともに前記品質測度が所定の品質基準を満たすかを確認し（前記品質基準は上限および下限を有する数値の範囲によって定義されている）、（ｃ）前記品質測度が前記所定の品質基準を満たさない場合、前記少なくとも１つの符号化パラメータを修正するとともに前記値が前記値の範囲に入るまでステップ（ａ）乃至（ｃ）を繰り返す、ことを具備する方法が提供される。
【００１７】
本発明の第３の側面によれば、複数のフレームを表す映像信号を符号化する方法であって、（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化し、（ｂ）知覚品質メトリックを使用して符号化された信号についての品質測度を生成するとともに前記品質測度が所定の品質基準を満たすかを確認し、（ｃ）前記品質測度が前記所定の品質基準を満たさない場合、複数の修正プロファイルのうちの１つを選択するとともに前記少なくとも１つの符号化パラメータの修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまでステップ（ａ）乃至（ｃ）を繰り返す、ことを具備し、所定数のフレームを具備する前記映像信号のセグメントが前記所定の品質基準を満たさない場合に第１修正プロファイルが選択され、前記第１プロファイルが、適用されると前記映像セグメントの濾波された形態を再符号化するように構成されており、所定数のフレームを具備する前記映像信号のセグメント内のフレーム部分集合またはフレーム群のみが前記所定の品質基準を満たさない場合に第２プロファイルが選択され、前記第２プロファイルが、適用されると各不合格フレームまたはフレーム群に対応する前記映像信号を修正された符号化パラメータを使用して再符号化するように構成されている方法が提供される。
【００１８】
本発明の第４の側面によれば、複数のフレームを表す映像信号を符号化する方法であって、（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化することであって、前記符号化された信号が複数の個別に識別可能なフレーム群（ＧＯＦ）を表わしており、（ｂ）複数のＧＯＦを具備する映像セグメントについて、知覚品質メトリックを使用して各ＧＯＦについての品質測度を生成し、（ｃ）前記品質測度が所定の品質レベルを下回っている前記映像セグメント内の１つ以上のＧＯＦを特定し、再符号化されたときに前記品質測度が前記所定の品質レベルを満たすか前記所定の品質レベルに近づくように品質レベルを下回るＧＯＦについて用いられる前記少なくとも１つの符号化パラメータを修正し、（ｄ）前記品質測度が所定の品質レベルを上回っている同じ前記映像セグメント内の１つ以上のＧＯＦを特定し、再符号化されたときに前記品質測度が前記所定の品質レベルを満たすか前記所定の品質レベルに近づくように品質レベルを上回るＧＯＦについて用いられる前記少なくとも１つの符号化パラメータを修正し、（ｅ）（ｃ）および（ｄ）において修正された前記符号化パラメータを使用して前記映像セグメントを再符号化する、ことを具備する方法が提供される。
【００１９】
プロセッサ上で実行されると前記プロセッサに上記の方法を実行させるプロセッサ・コードを運ぶためのキャリア媒体が提供され得る。
【００２０】
本発明の第５の側面によれば、少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して複数のフレームを表す映像信号を符号化するように構成されている映像符号化器と、前記映像符号化器からの前記符号化された信号を受け取るためのものであって、前記符号化された信号についての品質測度を生成し、前記品質測度が所定の品質基準を満たすかを確認し、前記品質測度が前記所定の品質基準を満たさない場合、前記映像符号化器に前記少なくとも１つの符号化パラメータについての修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまで前記映像信号を繰り返し再符号化させるように構成されているコントローラと、を具備する映像符号化システムが提供される。
【００２１】
前記コントローラは、前記品質測度が前記所定の品質基準を満たす場合のみ、前記符号化された信号を通信リンク上で映像復号器に送信するように構成され得る。前記コントローラは、使用の際、前記符号化パラメータの値または前記映像信号に適用される修正の量が生成される前記品質測度の値の関数であるように構成され得る。本システムは、前記映像符号器からの所定数の符号化されたフレームを受信および保存するためのバッファをさらに具備し得る。前記バッファは、以前に送信されたフレームの組について生成された前記品質測度が前記所定の品質基準を満たさないことを示す前記コントローラからの制御信号に応答して前記符号化されたフレームを前記コントローラに送信するように構成されている。 前記コントローラにおける前記品質測度は所定のアルゴリズムを用いて生成される数値とされることが可能である。前記数値が所定の範囲内にある場合、前記品質測度が前記所定の品質基準を満たす。前記所定の範囲は、第１および第２境界値によって定義され得、前記コントローラにおいて適用される修正は、前記品質測度の値が後続の繰り返しにおいて前記境界値の一方に近づく変化に帰着する。前記符号化器によって生成された前記符号化された信号は、複数の個別に識別可能なフレーム群（ＧＯＦ）を表わし得る。前記コントローラは、各ＧＯＦに対して品質測度を生成し、前記所定の品質基準を満たさない各ＧＯＦに対して前記少なくとも１つの符号化パラメータの修正された値または前記映像信号の修正された形態を適用するように構成されている。前記コントローラは、各々がステップ（ｃ）において適用される択一的なプロファイルを定義する複数の修正プロファイルを提供し得、また、１つ以上の選択規則に応じて前記複数のプロファイルのうちの１つを選択するように構成されている。前記コントローラは、使用の際、連続する所定数のＧＯＦが前記所定の品質基準を満たさない場合に第１修正プロファイルを選択するように構成されることが可能である。前記第１プロファイルは、前記コントローラによって適用されると前記ＧＯＦに対応する前記映像信号の濾波された形態を再符号化するように構成されている。前記濾波は、前記ＧＯＦの各フレームを符号化するのに必要なビット数を減じることを具備することを具備し得る。前記コントローラは、使用の際、所定数のＧＯＦを具備するセグメントにおいて一部のＧＯＦのみが前記所定の品質基準を満たさない場合に第２プロファイルを選択するように構成されることが可能である。前記第２プロファイルは、前記コントローラによって適用されると各不合格ＧＯＦに対応する前記映像信号を修正された符号化パラメータを使用して再符号化するように構成されている。前記コントローラは、各フレームについてのさらなる品質測度を生成するように構成され得る。あるフレームについての前記さらなる品質測度が前記所定の品質基準を満たさない場合、フレーム内分析が該フレームに対して実行されて該フレームのどの部分が修正を必要としているかを判断する。前記少なくとも１つの符号化パラメータは量子化ステップ幅を含み得、ステップ（ｃ）は量子化ステップ幅の修正された値を適用することを具備する。前記少なくとも１つの符号化パラメータは符号化ビットレートを含み得、ステップ（ｃ）が前記符号化ビットレートの修正された値を適用することを具備する。
【００２２】
次に、本発明が、添付図面を参照して例として記述される。
【図面の簡単な説明】
【００２３】
【図１】本発明に従った符号化システムがコンテンツ・サービス・プロバイダ側で用いられ得るところの商用映像システムのブロック図。
【図２】本発明に従った、一般化された映像符号化システムのブロック図。
【図３】符号化された映像についての品質測度を示すために用いられることが可能な代替的な知覚品質測定スケールを数の形態で示す。
【図４】本発明の好ましい実施形態に従ったＨ．２６４の映像符号化システムのブロック図。
【図５】品質シナリオについて複数のフレームに関して取得された例示的な知覚品質測度を示すグラフ。
【図６】品質シナリオについて複数のフレームに関して取得された例示的な知覚品質測度を示すグラフ。
【図７】品質シナリオについて複数のフレームに関して取得された例示的な知覚品質測度を示すグラフ。
【図８】映像シーケンスの品質の評価のための、好ましい実施形態での使用に適する、知覚品質測定装置を機能の観点から示すブロック図。
【図９】図８の装置において、水平コントラスト測度が画像内の画素についてのどのように計算されるかを示す。
【図１０】図８の装置において、垂直コントラスト測度が図９の画像内の画素についてのどのように計算されるかを示す。
【図１１】トレーニング・シーケンスについてのＡｖＰＳＮＲ対測定されたＭＯＳを示す。
【図１２】トレーニング・シーケンスについてのＡｖＱＰ対測定されたＭＯＳを示す。
【図１３】トレーニング・シーケンスについてのＣＳ対測定されたＭＯＳを示す。
【図１４】ＡｖＱＰ／ＣＳモデルについての評価されたＭＯＳ対測定されたＭＯＳを示す。
【発明を実施するための形態】
【００２４】
次に、映像信号を符号化する方法およびシステムが詳細に記述される。この方法およびシステムにおける目的は、信号がリンク上で効率的に送信され得るとともにこの信号が複合および表示される際に推定された知覚品質の点において所定の基準を満たすために圧縮される信号を通信リンクの符号化側で提供することである。このことは、知覚品質メトリック（ＰＱＭ）システムを利用して推定知覚品質の数量化する制御ユニットと、該数量化されたＰＱＭを信号が送信に先立って満たさなければならないユーザ定義の基準と比較する制御ロジックと、を符号化側で設けることによって達成される。基準を満たす場合、信号は単に通信リンクを介して前方へ送信される。そうでなければ、コントロール・システムは、信号を例えば、事前濾波を用いて修正するかまたは修正された符号化パラメータを用いてその品質を改善するような方法で信号を再符号化するように動作可能である。このことは、数量化されたＰＱＭを基準に向かって収束させることである。この符号化・修正・符号化シーケンスを多く繰り返すことは、結果生じるＰＱＭがその基準を満たして送信される前に必要である。有利なことに、一旦符号化と基準のための初期値パラメータがユーザによってセットされれば、本システムは自動的に動作することができる。したがって、映像コンテンツのプロバイダは、プロバイダに要求される最小の双方向交流で、視聴者が最低のサービス水準、すなわち改善されたサービス水準を満たすコンテンツを復号し視聴するだろうという以前よりも高い確信を有する。
【００２５】
図１を参照すると、そのような符号化システムを使用することが有利な商用システムの一例が示されている。図において、コンテンツ・サービス・プロバイダ１０は、複数の顧客にディジタル形式の映像コンテンツを送信する。これらの顧客は、それぞれのセットトップ・ボックス（ＳＴＢ）１２をテレビジョンセット（テレビ）１４への出力に用いて、ディジタル信号を受け取るとともに復号する。コンテンツは、様々な方法、例えば地上放送アンテナ１６を用いる無線リンク、または銅または光ファイバー・ケーブルを利用する、ＩＰリンク１８のような「インターネットに通じた（ｗｉｒｅｄ）」接続を通して送信され得る。後者の方法はますます一般的になっており、一般にＩＰＴＶと呼ばれる。衛星放送はさらなる選択肢である。確かに、一部のサービス・プロバイダは、例えば無線リンクを通して無料放送のコンテンツを放送すると同時にＩＰＴＶリンクを用いてビデオ・オン・デマンド（ＶＯＤ）サービスを提供することによって複数の通信方式を組合せて実行する。どちらの方法が用いられても、サービス・プロバイダ１０は、映像信号を、サービス・プロバイダと顧客のＳＴＢ１２の間の有限の帯域幅リンクを通して効率的にそれを送信することができるようにソース・ディジタル信号が圧縮されるような方法で映像信号を符号化することを要求される。この工程は時にソース符号化と呼ばれ、多くの符号化アルゴリズムまたは規格が知られている。以下の記述は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格の使用を想定している。ただし、他の映像符号化規格が用いられることが可能であることが理解されるべきである。各ＳＴＢ１２において、復号器が、符号化器で用いられる規格に従って受信信号を復号するために設けられる。
【００２６】
図２を参照すると、上記の品質管理機能を使用する、一般化された符号化システムのブロック図が示されている。ソース映像２０は、選択された符号化規格に従って動作するように設計された符号化器２２に供給される。ソース映像２０は、フレームのシーケンスを含む映像コンテンツをディジタル形式で表わす。各フレームは、ｎ×ｍ個の画像素子または画素を含む。符号化器２２は、多くのユーザ定義のパラメータ、特に符号化ビットレートさらに随意で符号化プロファイルに従って動作する。後者については、ある符号化規格は圧縮の所定の水準をもたらす具体的な符号化プロファイルを定義する。ビットレートおよび符号化プロファイルに加えて、ユーザは、さらに知覚の品質の合格水準に対応する一連の品質値を定義する品質閾値を指定する。ユーザはさらに最適の目標品質を設定し得る。
【００２７】
品質閾値および目標は、符号化器２２に供給されていることが示されているが、次のステージ（すなわち制御ユニット２４）に直接供給されてもよい。
【００２８】
制御ユニット２４は符号化された映像データおよび上記の品質閾値および目標品質を受け取るように設計されている。制御ユニット２４内には、サービス・プロバイダが何を必要とするかに依存して個々のフレームまたはフレーム群の知覚品質を示すために後に用いられることが可能な１つまたは複数の数値を生成するＰＱＭシステム３２がある。下に挙げられた具体例では、我々は、平均オピニオン評点（ＭＯＳ）と呼ばれる測度を生成する。ＭＯＳは、我々が一般に今後参照する品質パラメータである。ＰＱＭシステム３２が生成できるＭＯＳ値の範囲は予め定められている。また、多くの標準化されたシステムが、ITU-R Recommendationによって提供されている。図３ａは、５ポイントのスケールを示す。ここでは、値「１」は悪い水準の知覚品質を示し、他方、「５」は優良を表わしている。図３ｂは、代替的な１対１００スケールを示す。ここでは、「０」が最低の品質を表わし、「１００」が最高品質を表わす。ＰＱＭシステム３２は既知のＰＱＭシステム（例えば完全参照システム、無参照システム、簡易参照システム）から構成されることが可能である。読み手が別のタイプおよびそれらの一般的な動作原理を知っていると思われる。純粋な無参照ＰＱＭシステムの場合には、未加工の符号化ビット・ストリームへアクセスすることが必要なことの全てである。完全参照ＰＱＭシステムの場合は、ソース映像のコピーが必要である。したがって、図２中に点線が存在している。簡易参照ＰＱＭシステムは、ソース内容に関する、全てではなく一部の情報を必要とする。以下尾の詳細な記述では、我々は、異なる品質情報を生成するためにビット・ストリームおよび複合された内容の両方を必要とするハイブリッド・ビット・ストリーム／復号器無参照ＰＱＭシステム３２の使用について記述する。従って、ＰＱＭシステム３２は復号器（この具体的事例ではＨ．２６４復号器）を含んでいるだろう。
【００２９】
ＰＱＭシステムによって生成されることが可能な情報のタイプは、パラメータの次の非網羅的なリストを含んでいる：
・フィールド／フレーム毎平均オピニオン評点ＭＯＳＦｎ
・映像ユニット／画像群平均オピニオン評点ＭＯＳＧＯＰ
・品質の一時的変化（ＭＯＳＦｎ−ＭＯＳＦｎ−１）
・平均オピニオン評点の映像ユニット変化（ＭＯＳＧｏｐ（ｋ）−ＭＯＳＧｏｐ（ｋ−ｉ））
・空間上の複雑性
・空間上のマスキング
・一時的複雑性
・（フィールド／フレーム毎）量子化器ステップ幅
・ビットレート
・スライス構造
・マクロブロックサイズおよび構成
・動きベクトル値
制御装置２４内にさらに設けられているのは、ＰＱＭシステム３２によって生成された１つまたは各パラメータ（詳細な説明においては、１つのＭＯＳ値が用いられている）を受け取って、示されている品質測度が、ユーザ入力によって閾値および目標値によって定義された品質値の範囲内にあるか否かを判断するように構成されているロジック回路３４である。そうである場合、制御ロジック３４は映像を「合格」とし、映像は後の送信に備えて格納されるか、直ちに送信される。そうでない場合、制御ロジック３４は映像を「不合格」とし、映像は送信も格納もされない。代わりに、映像データ（すなわち不合格のフレームまたはフレーム群に対応するソース映像データ）は、符号化前に事前濾波された映像データとともに、および／または修正済符号化パラメータ（典型的には、量子化ステップ幅（ＱＳＳ）または符号化ビットレートの修正された値）を用いて、再び符号化される。符号化パラメータを事前濾波するか修正するかどうかの選択は、制御装置のロジック３４の一部として提供される所定の修正規則に基づく。この規則は、次の符号化反復において品質測度が閾値によって定義された合格品質範囲に少なくとも近づくものとして定義される。さらに、後に説明されるように、適用される修正のタイプおよび／または量は、ＰＱＭシステム３２によって生成されたパラメータの１つ以上に依存する。図２は、フレームまたはフレーム群が再符号化および符号化器２２のための更新されたパラメータの組を要求していることを示す制御信号をソース映像に供給するものとして個別のモジュール２８を示している。実際上、これは、制御装置２４の不可欠な部分を形成し得る。
【００３０】
上記のように、品質測度が範囲内に収まり、また映像が記憶装置に渡され、また／または前方への送信の前に、多くの再符号化の繰返しが必要であるかもしれない。時間が重要な（time critical）適用形態では、映像データが送信される前の繰返しの回数が所定回数に制限されてもよい。
【００３１】
一般化された符号化システムの操作手順が、次に記述される。
【００３２】
まず、ソース映像２０が符号化器に提示される。操作者は関連する符号化パラメータ、例えばＱＳＳ、符号化ビットレート、符号化プロファイル、品質閾値、を設定する。その後、符号化された出力が制御装置２４のＰＱＭシステム３２に渡される。ＰＱＭシステムのタイプに応じて、ＰＱＭシステム３２が完全参照またはビット・ストリーム／復号器ハイブリッド法を使用する場合、符号化された映像は例えば復号を要求し得る。知覚品質測定値は各フレームに対して取得される。この測定値は、以前に列挙されたパラメータの１つ以上を提供する。測定法は、品質の瞬間的且つ局部的測度（例えばＭＯＳｉ、ＭＯＳＧＯＰ）を出力し得る。次の段階は品質閾値によって定義される範囲に対する品質測定値を検査することを含んでいる。本検査は品質パラメータの任意の１つまたは組合せを使用し得る。ただし、以下に記述される実施形態では、１つの品質パラメータが生成および検査される。ＭＯＳＧＯＰ測度が最も重要なものであると考えられる。なぜなら、ＭＯＳｉ閾値未満への時折の低下は許容されるべきと考えられるからである。さらに、不合格だった内容に対処するかの決定は、好ましいか必要なビットレート制限で動作しつつ目標品質に合致するように品質を調節するために複数のＧＯＰを考慮に入れることが推奨される。
【００３３】
品質閾値以内にある映像コンテンツは格納または移送のために渡される。制御ロジック中の品質閾値検査に不合格のコンテンツは、このコンテンツの事前濾波されたバージョンを使用して、また／または修正済の符号化パラメータを使用して、再符号化される。我々は合格品質範囲を定義するために閾値を使用することについて記述するが、システムが、これよりも上にあれば品質検査に合格するという下限だけを使用して正しく機能することが認識されるだろう。しかしながら、我々の詳細な実行形態では、上限と下限の両方が設定される。また、ある状況では、上限すなわち高品質閾値の外側にあるデータを再符号化することが有利であり得る。
【００３４】
修正された符号化パラメータが必要であるとコントロール・システムの制御ロジックが判断する場合、これらが所定の規則に従って生成され、符号化器に送られる。本プロセスが繰り返し実行されて符号化、測定、再符号化することができる。繰り返しは、映像品質が許容可能になるまで、あるいは定義済みの最大の繰返し回数に達するまで続く。新しい値は、符号化パラメータ（例えばＱＳＳ、符号化プロファイル、符号化ビットレートなど）の全てあるいは一部に対して提供され得る。非常に単純な例において、符号化ビットレートは、例えば、各繰返しについての百分率値によってビットレートを修正することによって、あるいは代わりに参照表（ＬＵＴ）を参照することによって、符号化され得る。ＬＵＴは、ＰＱＭシステム３２によって大きなコンテンツ・データベースを前もって処理することにより定義され得る。その後、ＬＵＴは、映像属性（例えば異なる空間上の複雑性または時間上の複雑性）、および符号化器パラメータ値（例えば量子化マップ）と並んで生成されたＭＯＳ値によって構築される。一旦コンテンツが制御装置２４のＰＱＭシステム３２において測定されると、その後、不合格のコンテンツの特性が品質閾値と一緒にＬＵＴに写像され、ＬＵＴから新しいパラメータまたはパラメータ・セットが生成されて符号化器２２に渡される。
【００３５】
空間上エラー写像を行なう（ＰＱＭシステムによって使用される）知覚モデルは、知覚品質情報を使用して特にエラーの傾向のある部分を対象にして品質を改善することができる。例えば、新しい符号化器パラメータの組を定義するには、その品質判定基準を満たすフレームは生成された新しい値を有さず、他方、不合格のフレームは新しいパラメータの組を有する。同様に、空間の領域では、画像のうちの品質境界内にある部分には新しい符号化値は提供されず、画像のうちの品質検査に不合格の部分には新しいパラメータが割り当てられることが可能である。ビットレートが主な制約である場合、本方法は、多くのＧＯＰ（例えば関連する受信器バッファのサイズと等価なＧＯＰの組）に亘って空間上および時間上の品質を検討することによって動作する。この結果、（ａ）例えばＱＳＳを増加させることによって、上側の品質境界を越えているフレームあるいはフレームの一部の品質が減じられる、および／または（ｂ）例えばＱＳＳを減じることによって、下側の品質境界未満のフレームあるいはフレームの一部の品質が増加させられる。
【００３６】
符号化パラメータを修正することの代わりとして、制御ロジック３４は、実際のソース映像２０を変更する（すなわち事前濾波する）ことが適切であると判断し得る。符号化された映像の問題部分を特定することによって、品質測定値を使用して、符号化器２２を強調する（stress）ソース映像のセグメントまたは領域を特定することが可能である。例えば、ソース映像２０のある部分が動きが速くまたは細かな細部を有するものと特定され、ＰＱＭシステム３２で低い品質を示す場合、特定の事前濾波が適用されることが可能である。制御装置２４は、次の繰返しのためにデータの品質を改善する目的で、例えば画像解像度を減じるかあるいは空間周波数フィルタを適用することによって対応するソース・コンテンツを修正する命令を事前フィルタに送ることができる。
【００３７】
品質管理ユニットを使用する符号化システムのより詳細な例が、次に記述される。
【００３８】
図４を参照すると、符号化システムは、Ｈ．２６４符号化器４２を利用して、フレームＦｎのシーケンスとして提供されるソース・コンテンツ４０を符号化する。Ｈ．２６４符号化器４２の構成および動作は良く知られており、詳細な記述は本明細書において提示されない。一般に、第一段４４は、動き推定と動き補償を含む予測符号化を行なって、予測スライスおよびデータの残余値を生成する。後段では、変換符号化４６、量子化４８、画像並び替え５０およびエントロピー符号化５２が、例えば、ＣＡＶＣＬまたはＣＡＢＡＣを使用して行なわれる。符号化された出力データは、本明細書でネットワーク抽象層（ＮＡＬ）ユニット５４と呼ばれる信号／データパケットに入れられる。
【００３９】
符号化システムは、図２において示されるとともに図に関して記述された一般化された制御装置２４のような、符号化されたデータの推定知覚品質を測定するためのＰＱＭシステム３２および制御ロジック３４を含んでいる品質管理単位（ＱＣＵ）５６をさらに含み、品質が所定の品質判定基準を満たすかどうか判断し、満たさない場合、その信号および／またはそれの符号化を修正して品質を向上させる。信号は前処理フィルタ６２を使用して修正される。符号化は、Ｈ．２６４符号化器４２の量子化器部４８へ入力される１つ以上のパラメータを修正することによって修正される。ＱＣＵ５６が符号化済映像を合格とした場合、符号化された映像は、後の、通信リンク／チャネルでの送信のために映像バッファ６０に転送される。
【００４０】
使用の際、操作者は、２Ｍｂｉｔ／秒の目標符号化ビットレートを設定する。また、２秒の受信器バッファが指定される。操作者は、さらに上限および下限と目標品質とを指定することにより、品質判定基準を定義する。図３ａにおいて示される５点の目盛が使用される。また、上限＝４．０、下限＝２．８および目標＝３．４の値の例が使用される。符号化・測定・再符号化の繰返しの回数は３に制限されている。値はすべて符号化器４２へ入力される。ただし、上限および下限、目標、および繰返しの制限は、ＱＣＵ５６に直接供給されてもよい。
【００４１】
符号化されたＮＡＬユニット５８はＱＣＵ５６に送られる。その目的は、不合格のＧＯＰまたはＧＯＰ内のフレームが無いかまたは最小で、下限より上でかつ好ましくは目標品質付近の比較的一貫した品質の映像コンテンツを生成することである。
【００４２】
ＱＣＵ５６はＰＱＭシステムを使用して、知覚品質測定を行なう。ＰＱＭシステムは、任意のタイプの既知のＰＱＭシステム３２とすることができる。実例を示すために、我々は同時係属の国際特許出願番号ＧＢ２００６／００４１５５に記述されているようなハイブリッド・ビット・ストリーム／復号器ＰＱＭシステムを使用する。その内容は、参照することによって本明細書に組込まれる。この種のＰＱＭシステムのさらなる細部はこの記述の終わりに与えられる。
【００４３】
ＰＱＭシステム３２は２秒受信器バッファに従って映像データのセグメントに対して動作する。すなわち、２秒バッファ（図示せず）が符号化器およびＰＱＭシステムの間に設けられる。後者は、このバッファからＧＯＰを受け取り、受け取ったＧＯＰを分析するように構成されている。ＱＣＵ５６および符号化器４２は、さらなるＧＯＰが、現在のＧＯＰが処理され終わるまで、すなわち、現在のＧＯＰが送信に向けて渡されるまで、バッファからＰＱＭシステム３２に供給されないように協力して動作する。唯一これが生じるのは、新しいＧＯＰが受け取られた時である。不合格のコンテンツに対しては、符号化器４２は、量子化器４８に対する修正済の値についての指示を受け取るか、または次の前濾波後に入力される新しいソース・コンテンツを待つ。この目的のために、ＱＣＵ５６は符号化器４２への次の制御信号のうちの１つを生成するように構成される：
制御信号 意味
０ 合格映像、次の２秒のコンテンツ・セグメントを符号化せよ
１ 不合格映像、新しい量子化器パラメータ（例えばＱＳＳ、ビットレート）を待て
２ 不合格映像、新しい事前濾波されたソース入力を待て
ＱＣＵ５６の内には、不合格映像が次にどのように処理されるべきかを判断する多くの規則が設けられている。それは、どの事前濾波（ある場合）が適用されるべきか、また／または、量子化パラメータがどのように修正されるべきか、を判断することである。この規則は不合格のセグメントが３つの品質プロファイルＡ〜Ｃのどれに当てはまるか同定することを含んでいる。次に、各プロファイルが、関連するプロファイルの識別に応じてＱＣＵロジック３４によって取られる通信アクションと共に、現実のシナリオとの関連で次に考察される。この目的のために、ＰＡＬ映像の２秒を表わし、よって５０のフレームを含んだ映像データ・セグメントを想定する。各ＧＯＰが１０個のフレームを含むものとする。
【００４４】
プロファイルＡ：全体またはほとんどのセグメントが不合格
このシナリオでは、２秒のセグメントのデータの全体が品質判定基準を満たさない。図５は、この状況に帰着し得る出力をグラフの形態で示す。あらゆるＧＯＰについて、品質要求事項を満たすための符号化プロセスを操作する余地はほとんどない。したがって、この場合、再符号化前にソース映像が事前濾波される。制御信号「２」が符号化器４２に送られる。事前濾波は、空間上および時間上周波数濾波の一方または両方を行なうことによって、映像の複雑性を減少させる。あるいは、画像が、例えば最大解像度度から４分の３または３分の２の解像度まで減じられ得る。その後、濾波されたソースが符号化器４２に渡されるとともに繰返し回数が増加させられる。
【００４５】
プロファイルＢ：ほとんどのセグメントが合格で若干が不合格
このシナリオでは、検討中のセグメントの少数が不合格である。図６は、帰着し得る出力をグラフの形態で示す。セグメントの期間、ＧＯＰ５〜ＧＯＰ７は下限未満へと低下している。この場合、ＱＣＵは、不合格のＧＯＰに関する情報を抽出し、かつ修正された符号化パラメータ（例えばＱＳＳ）を生成することを命じられる。制御信号「１」が符号化器４２に渡される。さらに、品質の低下のための良好な候補であることとして標的ＧＯＰ、この場合、ＧＯＰ３、ＧＯＰ９、およびＧＯＰ１０が特定される。この点で、不合格のＧＯＰの品質を改善するために、ＱＳＳを減じることによる圧縮コストがかかることが認識される。目標品質を超えているＧＯＰを特定することができれば、我々はもちろん最小の品質要求事項を満たしながら補正を行うように管理された方法でそれらの品質を減じ得る。もちろん、第２のＧＯＰの候補、例えばＧＯＰ１、ＧＯＰ２、およびＧＯＰ８が特定されることも可能である。
【００４６】
ＱＣＵ５６の内の制御ロジック３４はＧＯＰ１〜１０の全てについて修正されたＱＳＳ値を生成するように構成されている。これらの修正されたＱＳＳ値は、関連するＧＯＰ中の各フレームについて、ＬＵＴを参照することによって、またはＱＳＳを調整することによって取得される。例えば、あるＧＯＰが下限を下回っている場合、この下限より下において０．５ＭＯＳごとにＱＳＳが１ずつ減じられることが可能である。品質が範囲以内にある場合、品質の下限を０．５ＭＯＳ上回っているＧＯＰだけが、例えば各０．５ＭＯＳごとに１ずつＱＳＳを増加させられることにより修正される。これらの修正量が例であり、より小さいまたはより大きな値が異なる品質範囲に使用されてもよいことに注意されたい。品質範囲が小さい場合、ＭＯＳの小さな変化が使用されてＱＳＳを調整するべきである。下記の表１は、図６に示される各ＧＯＰに関連するＱＳＳの変化例を示す。これらの新しいパラメータ値は、符号化器４２の量子化器に直接渡される。この量子化器は、制御信号「１」を受け取っている場合、ＧＯＰを再符号化する。繰返し回数がインクリメントされ、また、コンテンツが品質要求事項を満たすとＱＣＵ５６が判断するか、最大繰返し回数である３が満たされるすまで、プロセスは継続する。
【表１】
【００４７】
ＧＯＰ４がそれを構成するフレームにわたって品質の大規模な変化を有していることに注目する価値がある。これを補償する、平均ＭＯＳとフレーム相互間でのＭＯＳの変化が検査される方法が採用されることが可能である。品質閾値を下回っているフレームの割合が例えば３０％を超えている場合、ＱＣＵは閾値を下回っているフレームのみについてＭＯＳを再計算し、これらのフレームのみにＱＳＳの変更を適用し得る。ＧＯＰ内の品質閾値を上回っているフレームはそのままにしておく（あるいは、品質閾値を上回っているフレームが＞０．５ＭＯＳである場合、これらのフレームについてのＱＳＳが増加されてもよい）。下記の表２において示される数値は、変化し得る品質ＧＯＰを扱うためのこのアプローチを示している。やはり、３０％の閾値が単に例であることに注意されたい。
【００４８】
個々のＧＯＰ内のフレーム相互間で異なるこのＱＳＳ修正も、全フレームが品質閾値を下回っているＧＯＰに適用されることが可能である。不合格範囲が大きく異なり得る場合、いくつかのフレームは（例えば）２の減少を要求してもよい。一方で、他のフレームは、約１の変更を要求し得る。ほんの少数の不合格のフレーム（例えば３０％未満）を含んでいるＧＯＰについては、これらは無視され得る。
【表２】
【００４９】
プロファイルＣ：ほとんどのセグメントが合格し、一部が境界を下回るおよび上回る
このシナリオは図７にグラフの形態で示されている。若干のコンテンツは下限未満であることによって不合格であり、若干のコンテンツは良好過ぎることによって、つまり上限を超えていることによって不合格であった。残りのコンテンツは、品質境界内に収まっていた。上記のように、ＱＣＵ５６は各ＧＯＰ、または品質が可変のＧＯＰ内のフレームを修正する。この事例では、しかしながら、最初の繰返しは、ＧＯＰ２、４、９、１０の品質を上げるとともに、この改善をＧＯＰ５、６、７の品質を下げることによって埋め合わせることによって、品質範囲外のＧＯＰＳ、すなわちＧＯＰ２、ＧＯＰ４、ＧＯＰ５、ＧＯＰ６、ＧＯＰ７、ＧＯＰ９およびＧＯＰ１０に対処する。
【００５０】
プロファイルＢおよびＣは、同様の状況、すなわち、ほとんどのセグメントが合格し、しかし若干のセグメントが不合格である状況を扱うことを意図されている。両方の例は、ＱＳＳの適応がどのように使用されて映像の不合格部分を回復することができるかを示す。プロファイルＢでは、その意図は、映像の不合格部分が、ＧＯＰおよびフレームの両方について、どのように改善され得るかを示すことである。ＧＯＰの例は、複数のＧＯＰが不合格または目標品質である状況に制限されている。いくつかの目標品質ＧＯＰはＱＳＳを増加させられており、また、このことが使用されて不合格のＧＯＰについてのＱＳＳの減少を埋め合わせる。ただし、トレードオフの平衡は必ずしも保たれていない。つまり、ＱＳＳの増加量よりも多くの減少量が適用され得る。フレームの例は、若干の目標および若干の不合格を伴って品質が劇的に変化する１つのＧＯＰにわたってＱＳＳの修正がどのように適用され得るか示す。やはり、ＱＳＳの不平衡なトレードオフが使用されて品質境界内にあるＧＯＰ内にあるフレーム品質を得ることができる。プロファイルＣの意図は、実際に１組のＧＯＰが３つのレベルすなわち不合格、目標、そして目標を越えている、すなわち、良好過ぎの品質を有している場合、ＱＳＳ（あるいは他のパラメータ）の修正がどのように適用され得るか示すことである。ユーザの体験にとって一貫した品質が好ましく、また、「良好過ぎる」セグメントから取り上げて不合格セグメントに与えることによって、複数のＧＯＰにわたってより予測され易くより一貫した品質が得られることが知られている。
【００５１】
本明細書において提示されている（操作者が一貫して目標ビットレートを上回るコンテンツを送信する能力を有している）全ての例について、ビットレートの増加が品質目標を満たすために適用され得る。この場合、信号が符号化器４２に送られてコンテンツについての目標ビットレートを増加させる。この方法は、映像信号に適用されるビットレートを動的に調整する知覚的に感知可能な方法を提供する。参照表、例えば上記の参照表が、ＱＣＵ５６が新しい符号化レートを選択するために参照され得る。ＱＳＳが、特に有用な品質指標であると知られているとともに本例において使用されるＰＱＭについて主要なものであることを受けて、ＱＳＳがビットレートの代わりに使用されてきた。上記のプロファイルＡのように品質プロファイルが全て不合格である場合、ビットレートを修正することがより適切であり得る。しかしながら、目標ビットレートが符号化に対する主な制約であって、また操作者が目標ビットレートをこれが満たされることを期待して通常設定するので、本例において使用されているハイブリッド・ビット・ストリーム／復号ＰＱＭシステム３２を使用する場合、ＱＳＳを事前濾波することまたは調整することが最良のアプローチであると考えられる。
【００５２】
結論として、上記のＰＱＭシステム３２において使用されることが可能な知覚品質測定法およびシステムの一例が次に記述される。他のそのような測定法が使用されることが可能であることが認識される。
【００５３】
知覚品質測定システム
本システムの目的は、複数のフレームを表す映像信号についての品質の基準を生成することである。映像信号は、以下を有している：元の形態； 映像信号が、可変量子化器ステップ幅を利用する圧縮アルゴリズムを使用して符号化された信号がそれと関連可能な量子化器ステップ幅パラメータを有するように符号化されている符号化された形態； 符号化された映像信号の少なくとも一部が元の形態に再変換されている復号された形態。本システムは、次のステップを行なうように構成されている：ａ）上記の量子化器ステップ幅パラメータの関数である第１品質測度を生成し； ｂ）復号された形態の映像信号によって表わされるフレームの少なくとも一部の空間上の複雑性の関数である第２品質測度を生成し； ｃ）第１および第２測度を組み合わせる。
【００５４】
符号化された映像シーケンスからステップ幅が導出可能であり、また複雑性測度が復号された信号から取得されるので、元の映像信号を参照する必要が減じられる。さらに、多くの符号化方式ではステップ幅が映像シーケンスとともにパラメータとして送信されるので、便利なことに、このパラメータを使用して、このパラメータを新たに計算する必要なしに映像品質を予測することができる。重要なことに、ステップ幅と組み合わせて複雑性測度を使用することが、映像品質の指標としてのステップ幅または複雑性の信頼度のみから得られる信頼度よりも品質測度の信頼度を改善することが分かった。
【００５５】
システムの概観
下記の実施形態は、無参照型で復号器を基盤とする映像品質評価ツールに関する。本ツールのためのアルゴリズムは、映像復号器の内部で動作可能であり、各復号されたマクロブロックについての量子化器ステップ幅パラメータ（通常、入来する符号化された映像ストリームに含まれている変数）および各復号された画像の画素強度値を使用して復号された映像の主観的品質の評価を作成する。スライディング・ウィンドウ平均画素強度差（画素のコントラスト測度）計算が、各フレームの復号された画素に対して行なわれる。また、その結果得る平均（ＴＣＦ）は、映像のノイズ・マスキング特性の基準として使用される。その後、品質推定値が、ＴＣＦパラメータの重み関数およびステップ幅パラメータの平均から作られる。重み関数は、復号されたシーケンスおよびシーケンスについて前もって取得された主観的スコアの特性のトレーニング・データベースに対する多重回帰分析によって予め求められる。一方ではステップ幅の、他方ではスライディング・ウィンドウ平均画素強度差の組合せを使用して複雑性を推定することは、主観的品質の良好な推定値を提供する。
【００５６】
原則として、使用される測定プロセスは、変換符号化を使用するとともに量子化器ステップ幅が可変な圧縮技術を使用して符号化された映像信号に一般に適用可能である。しかしながら、以下に記述されるものは、Ｈ．２６４規格に従って符号化される信号との使用に向けて設計されている。本プロセスは、Ｈ．２６１、Ｈ．２６３および（フレームを基盤とする）ＭＰＥＧ２のような他のＤＣＴベースの標準コーデックにも適用される。
【００５７】
本測定法は非侵入性または「無参照」型である。すなわち、本測定方法は元の信号のコピーにアクセスする必要性を有さない。本方法は適切な復号器内での使用向けに設計されている。本方法が、符号化されたビット・ストリームおよび復号された映像の両方からのパラメータへのアクセスを必要とするからである。
【００５８】
図８に示される装置では、入力信号は入力１で受け取られ、各画像の次のパラメータを復号するとともに出力する映像復号器に渡す。
【００５９】
復号された画像（Ｄ）
画素内の水平方向の復号された画像サイズ（Ｐｘ）
画素内の垂直方向の復号された画像サイズ（Ｐｙ）
マクロブロック内の水平方向の復号された画像（Ｍｘ）
マクロブロック内の垂直方向の復号された画像サイズ（Ｍｙ）
量子化器ステップ幅パラメータの組（Ｑ）。
【００６０】
装置内には、２つの分析経路がある。それらは、画像平均された量子化器ステップ幅信号ＱＰＦ（ユニット３）および画像平均されたコントラスト測度ＣＦ（ユニット４）を算出する役目をする。次に、ユニット５は、信号ＱＰＦおよびＣＦを時間平均して信号ＴＱＰＦとＴＣＦをそれぞれ与える。最後に、これらの信号はユニット６で組み合わせられて復号された映像シーケンスＤについての主観的品質の推定値ＰＭＯＳを与える。個々のハードウェア要素によって要素３〜６が実現されることが可能である。しかし、より便利な実現形態は適切にプログラムされたプロセッサを使用して、それらの段階をすべて行なうことである。
【００６１】
Ｑを画像平均する
このことは、復号器からの出力された量子化器ステップ幅信号Ｑを使用する。Ｑは、現在の復号された画像の各マクロブロックについて１つの量子化器ステップ幅パラメータ値ＱＰを含んでいる。Ｈ．２６４については、量子化器パラメータＱＰは、変換係数を符号化するために使用される線形の量子化器の間隔ＱＳＴＥＰを定義する。実際には、ＱＰは、所定の間隔の表に索引を付ける。この表においては、ＱＰが６増分するごとにＱＳＴＥＰは幅が２倍になる。画像平均された量子化器パラメータＱＰＦは、以下に従ってユニット３で算出される。
【数１】
【００６２】
ここで、ＭｘおよびＭｙは、それぞれ画像の水平および垂直方向のマクロブロックの個数であり、Ｑ（ｉ、ｊ）は、位置（ｉ、ｊ）でのマクロブロックについての量子化器ステップ幅パラメータである。
【００６３】
コントラスト測度を算出する
図９および図１０は、水平方向サイズが画素Ｐｘ個および垂直方向サイズが画素Ｐｙ個の画像内の位置（ｘ，ｙ）の画素ｐ（ｘ，ｙ）についてのコントラスト測度がどのように計算されるかを示している。
【００６４】
水平方向のコントラスト測度を計算するための分析は図９に示されている。この図において、コントラスト測度は、影付きの部分によって示された画素ｐ（ｘ，ｙ）に関して算出される。サイズが同じ隣接する複数の領域が選択される（そのうちの１つは影付きの画素を含んでいる）。各領域は、影付きの画素が位置する行の（好ましくは連続する）画素の組から形成される。各領域の画素強度が平均され、次に、これらの平均の差分の絶対値が、下記の等式（２）によって算出される。コントラスト測度は、この差分の値である。図１０に示されているように、垂直のコントラスト測度が同様の方法で計算される。ここで、上側の画素の組および下側の画素の組が選択される。選択される画素の各々は同じ列の上にある。影付きの画素は、上側の組と下側の組との間の境界に隣接する。上側および下側の組内の画素の強度が平均され、次に各組の平均強度の差分が評価される。この差分の絶対値が、下記の等式（３）に示されている垂直方向のコントラスト、すなわち、垂直方向のコントラストの測度である。本例では、影付きの画素は下側の組に含まれている。しかしながら、コントラスト測度と関連付けられる画素の位置は任意である。ただし、それが、比較最中の画素の組によって共有される境界の近くにあることが条件である。
【００６５】
したがって、水平方向コントラスト測度を取得するために、長さＨである行部分が比較され、他方、垂直方向コントラスト測度を取得するために、長さＶである列部分が比較される（長さＨおよびＶは同じであり得るが、同じであることは必須ではない）。コントラスト測度は、位置が一方では行部分の共通の境界および他方では列部分の共通の境界に局所的な画素に対応付けられる。
【００６６】
次に、そのように算出された水平方向コントラスト測度および垂直方向コントラスト速度が比較され、２つの値（等式（４）において示されているように、水平・垂直方向測度と呼ばれる）のうちの大きい方が、影付きの画素と関連付けられてメモリに格納される。
【００６７】
この手順は、画像の（それぞれ画像の垂直方向・水平方向の端からの垂直方向距離Ｖおよび水平方向距離Ｈの範囲内の）各画素について繰り返される。これによって、ＨまたはＶのウィンドウサイズを用いて画素に対するスライディング・ウィンドウ分析を提供する。次に、画像（フレーム）内の各画素の水平方向および垂直方向測度が平均されて全体的画素差分測度ＣＦ（等式（５）を参照）を与える。次に、各画像に関連したこの全体的測度が複数の画像にわたって平均されて、シーケンス平均された測度、すなわち等式（７）によって時間平均された測度ＴＣＦを取得する。全体的（ＣＦ）測度が平均される対象の画像の数は、映像シーケンスの性質および場面変化の時間間隔に依存し、数秒程度であり得る。明らかなことに、特に量子化ステップ幅が画像ごとに変化する場合、画像の一部だけがこのように分析される必要がある。
【００６８】
画像内の異なる場所でのコントラストを測定するとともに平均を取ることによって、画像の複雑性の単純な測度が取得される。画像の複雑性が歪みを覆い隠すことがあり、それ故に、画像が所与の歪みについてより良い品質であると視聴者に信じさせる場合があるので、画像の複雑性の度合いが使用されて視聴者によって映像信号と対応付けされる品質の主観的度合いをある程度予測することができる。
【００６９】
影付きの画素に関するそれぞれの領域の幅（Ｈ）または高さ（Ｖ）は、視聴者が複雑性について気が付く詳細さの程度に関係する。したがって、画像が遠くから見られるのであれば、ＨとＶは視聴者が画像に接近することが意図される状況での場合よりも大きくなるように選択される。一般に、画像からの視聴者にとって快適な距離は画像のサイズに依存するので、ＨおよびＶのサイズおよびＶは画素サイズおよび画素寸法に依存する（典型的にはより大きなディスプレイはより多くの画素ではなくより大きな画素を有する。ただし、ある所与の画素密度についてはディスプレイサイズも要因となり得る）。典型的には、ＨおよびＶは、各々、それぞれの画像寸法の０．５％と２％の間にあることが予想される。例えば、水平方向に７２０個の画素があるとともに平均のための組がそれぞれ４つの画素を含んでいる場合、水平方向の値は４＊１００／７２０＝０．５６％であり得、また、垂直方向においては、垂直方向に５７６個の画素がある場合、４＊１００／５７６＝０．６９％であり得る。
【００７０】
コントラスト測度を算出するための分析は、以下の等式を参照して次のように記述されることが可能である。この計算は復号された映像画像Ｄを使用して各画像の画像平均された複雑性測度ＣＦを決定する。ＣＦは、復号された映像についてのスライディング・ウィンドウ画素分析を最初に行なうことにより決定される。図２（これは水平方向サイズが画素Ｐｘ個および垂直方向サイズが画素Ｐｙ個の画像内の画素ｐ（ｘ，ｙ）についての水平方向分析を示している）では、水平方向コントラスト測度Ｃｈは、復号されたシーケンスＤのｎ´番目の画像について、以下に従って計算される。
【数２】
【００７１】
Ｈは、水平方向画素分析のためのウィンドウ長さである。Ｃｈ（ｎ，ｘ，ｙ）は、復号された映像シーケンスＤのｎ´番目の画像の画素ｐ（ｘ，ｙ）のための水平方向コントラスト・パラメータである。Ｄ（ｎ，ｘ，ｙ）は、復号された映像シーケンスＤのｎ´番目の画像の画素ｐ（ｘ，ｙ）の強度である。
【００７２】
対応する垂直方向画素分析を示す図１０では、垂直方向コントラスト測度Ｃｖは、以下に従って計算される：
【数３】
【００７３】
ここで、Ｖは、垂直方向画素分析のためのウィンドウ長さである。
【００７４】
次に、ＣｈとＣｖが組み合わせられて水平垂直方向測度Ｃｈｖを与え得る。
【００７５】
Ｃｈｖ（ｎ，ｘ，ｙ）＝ｍａｘ（Ｃｈ（ｎ，ｘ，ｙ），Ｃｖ，（ｎ，ｘ，ｙ）） （４）
Ｘ＝Ｈ−１…Ｐｘ−Ｈ−１
ｙ＝Ｖ−１…Ｐｙ−Ｖ−１
ここで、適用形態によっては、水平方向・垂直方向成分を別々のままにして主観的品質の評価（ユニット６）の際に各々に異なる重み付けパラメータが適用されることを可能にする方が良い場合があることが注目されるべきである。
【００７６】
最後に、全体的な画像平均された画素差分測度ＣＦが、コントラスト値Ｃｈ、Ｃｖおよび（または）Ｃｈｖから、以下に従って計算される。
【数４】
【００７７】
時間平均する
このことは、画像平均されたパラメータＱＰＦおよびＣＦを使用して、対応する時間平均されたパラメータＴＱＰＦおよびＴＣＦを以下に従って決定する。
【数５】
【００７８】
パラメータ平均算出は、ＭＯＳ推定値が必要な時間間隔にわたって行なわれるべきである。これは、ＴＱＰＦとＴＣＦの１対を算出する１つの分析期間かもしれないし、一連のパラメータを算出する一連の間隔かもしれない。典型的に秒単位の長さのウィンドウ間隔で、ＣＦおよびＱＰＦ時間シーケンスを貫いて時間に関して分析ウィンドウを「滑らせる」ことによって、連続的な分析が達成され得る。
【００７９】
ＭＯＳを推定する
このことは、時間平均されたパラメータＴＱＰＦおよびＴＣＦを使用して、復号されたシーケンスＤの対応する期間についての主観的に測定された平均オピニオン評点の推定値ＰＭＯＳを作成する。ＴＱＰＦは、復号されたシーケンス内のノイズの推定に寄与し、ＴＣＦは、そのノイズが映像シーケンスのコンテンツによってどれくらい覆い隠され得るかの推定に寄付する。ＰＭＯＳは、以下に従って、パラメータの組合せから計算される。
【００８０】
ＰＭＯＳ＝Ｆ１（ＴＰＱＦ）＋Ｆ２（ＴＣＦ）＋Ｋ０ （８）
Ｆ１およびＦ２はＡｖＱｐおよびＣＳ内の適切な線形または非線形の関数である。Ｋ０は定数である。ＰＭＯＳは予測された平均オピニオン評点で、１…５の範囲内にある。５が優良品質に、１が悪い品質に等しい。Ｆ１、Ｆ２、およびＫ０は、多くの商用統計ソフトパッケージにおいて利用可能な適切な（例えば、線形、多項式、対数型の）回帰分析によって決定され得る。そのような分析は、既知の主観的品質のトレーニング・シーケンスの組を必要とする。次に、Ｆ１、Ｆ２、およびＫ０によって定義されたモデルは、ＭＯＳを独立変数としＴＱＰＦおよびＴＣＦを従属変数として用いて回帰分析によって導出され得る。典型的に、この、結果得るモデルが使用されてトレーニングにおいて使用される劣化に類似の劣化（コーデック・タイプおよび圧縮率）にさらされた検査シーケンスの品質を予測する。しかしながら、映像コンテンツは異なり得る。
【００８１】
最大解像度（full resolution）放送の素材のＨ．２６４圧縮については、適切な線形モデルは、
ＰＭＯＳ＝−０．１３５＊ＴＰＱＦ＋０．０４＊ＣＳ＋７．４４２ （９）
であることが見出された。
【００８２】
そして、その結果得る推定値は、以下に従って制限されている。
【００８３】
ｉｆ（ＰＭＯＳ＞５）ＰＭＯＳ＝５
ｉｆ（ＰＭＯＳ＜Ｉ）ＰＭＯＳ＝１ （１０）
以下に、上記の実施形態の様々な側面の補足説明が提供される。
【００８４】
導入：分析の際にソース映像シーケンスおよび劣化した映像シーケンスの両方を利用する完全参照型映像品質測定ツールは放送映像についての映像品質を高精度で予測できることが示された。既に劣化した「参照」シーケンスにアクセスしない無参照型技術のデザインは、より困難な提議である。
【００８５】
無参照型分析の別の形態は、復号器またはネットワーク中のどこかで、符号化されたビット・ストリームへアクセスすることによって達成され得る。そのような「ビット・ストリーム」分析は、量子化器ステップ幅、動きベクトル、およびブロック統計のような符号化パラメータに容易にアクセスできるという長所を有する。これは、フレーム・バッファ分析に対しては利用不可能である。ビット・ストリーム分析は、逆変換または動き予測されたマクロブロックの再構成無しの、復号されたパラメータの簡単な計算の分析から、映像シーケンスの完全復号まで及び得る。
【００８６】
ＰＳＮＲは、映像符号化器および完全参照型映像品質測定ツールの両方における主観的な映像品質の評価において使用される測度である。無参照型ツールでは、ＰＳＮＲは直接計算されることが不能であるが、推定されることは可能である。ここで、我々は、完全参照ＰＳＮＲ測度を性能で凌駕し得るＨ．２６４／ＡＶＣ復号器内で動作する無参照型映像品質予測技術を紹介する。
【００８７】
第１に、結果が、ＰＳＮＲ測度を様々なＨ．２６４符号化されたシーケンスに対して使用するベンチマーク品質推定に提供される。第２に、平均量子化器ステップ幅（ＡｖＱＰ）の測度を使用して主観的品質を推定するビット・ストリーム技術に対する考察が与えられる。ＰＳＮＲへの単なる近似ではなく、このビット・ストリーム無参照型測度は、品質推定について完全参照ＰＳＮＲ測度を性能で凌駕することができることが示されている。
【００８８】
最後に、ノイズ・マスキング（ＣＳ）の測度が導入される。これは、ＰＳＮＲおよび量子化器ステップ幅に基づいた品質推定技術の両方の性能をさらに向上させる。測度は、復号された画像シーケンスの画素差分分析に基づいており、映像復号器内で算出される。結果得る、復号器を基板とする無参照型モデルは、０．９１を超える測定された主観的スコアと推定された主観的スコアとの間の相関を達成することが示されている。
【００８９】
映像検査素材 − トレーニングおよびテスト・データベース：
本技術をトレーニングおよびテストするために使用される映像データベースは、１８個の異なる８秒のシーケンス（全て、６２５の放送フォーマット）から構成された。トレーニング・セットは９つのシーケンスから構成された。シーケンスのうちの６つはＶＱＥＧ１データベースから、また、残りの３つは他のところから調達された。テスト・セットは９つの異なるシーケンスから構成された。ＶＱＥＧ１コンテンツはよく知られており、ＶＱＥＧウェブサイトからダウンロードされることが可能である。品質パラメータは各シーケンスの継続時間にわたる平均に基づくことになっているので、動きおよび細部が一貫している特性を備えるコンテンツを選択することが重要であった。シーケンスの詳細は表４に示されている。
【表３】
【００９０】
映像テスト素材 − 符号化：
Ｈ．２６４符号化器ＪＭ７．５ｃを使用してトレーニング・シーケンスおよびテスト・シーケンスの全てが符号化された。各々に対して同じ符号化器オプションが設定されている。符号化器設定の主な特長は次の通りであった：
Ｉ、Ｐ、Ｂ、Ｐ、Ｂ、Ｐ、…フレームパタン； レート制御無効； 量子化パラメータ（ＱＰ）固定； 適応性フレーム／フィールド符号化有効； ループ濾波無効。
【００９１】
非常に多様な符号化器設定を用いて、上記の設定を一定に保つとともに各ソース・ファイルに対する検査の相互間で量子化器ステップ幅パラメータだけを変えることにした。
【００９２】
公式の単刺激主観テストが１２個の対象をトレーニング・セットとテスト・セットの両方に使用して行なわれた。平均ＭＯＳの結果は、表５（トレーニング・セット）および表６（テスト・セット）に示されている。
【表４】
【表５】
【００９３】
品質推定 − ピーク信号対雑音比：ピーク信号対雑音比（ＰＳＮＲ）は、一般に使用されている品質の完全参照型測度であり、多くの映像符号化器における最適化のための重要な測度である。正確に並べられた参照シーケンスおよび劣化したシーケンスを用いれば、ＰＳＮＲは算出される直接的測度であり、時間平均された測度（ＡｖＰＳＮＲ）が以下に従って計算されてもよい。
【数６】
【００９４】
ここで、ｓ（ｎ，ｘ，ｙ）およびｄ（ｎ，ｘ，ｙ）は、ソース・シーケンスｓおよび劣化シーケンスｄからの水平方向において画素Ｘ個（ｘ＝０…Ｘ−１）および垂直方向においてＹ個の画素（ｙ＝０…Ｙ−１）の寸法のＮ個のフレームのうちのｎ´番目のフレーム内の対応する画素強度値（０…２５５）である。この等式が使用されて、９つのトレーニング・シーケンスの各々の８秒間の平均ＰＳＮＲを計算した。平均測定ＭＯＳに対する平均ＰＳＮＲのプロットが図１１に示されている。
【００９５】
平均ＰＳＮＲが２５ｄＢのＭＯＳスコアが考慮される場合、データのコンテンツ依存の性質が示されている。データ中のＭＯＳスコアが３の範囲は、知覚される品質を推定するためにＰＳＮＲを使用することが不正確である可能性を示す。多項式回帰分析は、ＭＯＳとＡｖＰＳＮＲのデータ間の０．７８の相関および０．７１５のＲＭＳ残留を産出する。
【００９６】
品質推定 − 量子化器ステップ幅：Ｈ．２６４については、量子化器パラメータＱＰは、変換係数を符号化するために使用される線形量子化器の間隔ＱＳＴＥＰを定義する。ＱＰは、所定の間隔値の表に索引を付ける。ここでは、ＱＳＴＥＰは、ＱＰが６増分するごとに大きさが２倍になる。
【００９７】
トレーニング・セットの各テストに対して、ＱＰは、ＰおよびＩマクロブロックについては２０、２８、３２、３６、４０、または４４の１つの値に固定されており、Ｂマクロブロックについては２大きい。図１２は、９つのトレーニング・シーケンスの各々についての平均ＭＯＳに対する平均ＱＰのプロットを示している。
【００９８】
ＭＯＳと平均ＱＰとの間の多項式回帰分析は、０．９２４の相関および０．４２４のＲＭＳ残留を産出する。さらに、様々なＱＰ値での予測されるＭＯＳ範囲がＡｖＰＳＮＲについての範囲を著しく下回ることは明白である。
【００９９】
量子化器ステップ幅によるＰＳＮＲの推定値は、量子化範囲内のエラー値の一様分布の近似に依存する。しかしながら、大多数の係数が０まで「中心切り取り（center-clipped）」される場合、この近似は大きなステップ幅で且つ低ビットレートについては成り立たない。やや意外にも、結果は、ＡｖＱＰがＰＳＮＲより主観的点数のより良い予測値であり得ることを示している。Ｈ．２６４におけるＱＰおよび実際の量子化器ステップ幅の間の非線形写像が何らかの形で多項式分析を緩和し得る可能性が減少し、実際のステップ幅対ＭＯＳについても同様の結果が得られたことはここで注目されるべきである。
【０１００】
画素コントラスト測度 − 歪みマスキング：歪みマスキングは、符号化された映像シーケンス内の歪みの知覚に影響する重要な要素である。そのようなマスキングは、スペクトル上の、または時間上の、または空間上の同じ地点における信号とノイズ成分とを人間の知覚機構が識別できないために生じる。そのような考慮事項は、ビットの効率的配分が不可欠である映像符号化器の設計において非常に重要である。この分野における研究は変換と画素の両方の領域の中で行なわれてきた。ここでは、画素領域だけが考慮される。
【０１０１】
画素コントラスト測度 − 画素差分コントラスト測度：ここで、画素領域における分析によって画像シーケンスのマスキング特性を決定するという考え方が、映像品質推定に適用される。実験は、スライディング・ウィンドウ画素差分分析によって算出されたコントラスト測度が非常に良好に機能することを明らかにした。
【０１０２】
画素差分コントラスト測度ＣｈおよびＣｖは上記の等式（２）および（３）によって算出される。ここで、Ｈは水平方向画素分析用のウィンドウ長さであり、Ｖは垂直方向画素分析用のウィンドウ長さである。次に、等式（４）に従って、ＣｈとＣｖが組み合わせられて水平・垂直方向測度Ｃｈｖを与える。次に、Ｃｈｖが使用されて、等式（５）に従ってフレームについての全体の画素差分測度ＣＦを算出し、続いて、上記の等式（６）において定義されるようにシーケンス平均された測度ＣＳを算出し得る。シーケンス平均測度ＣＳ（上ではＴＣＦと称されている）は、Ｈ＝４およびＶ＝２を使用して、復号されたトレーニング・シーケンスの各々ついて算出され、その平均量子化器ステップ幅に対してプロットされた結果は図１３に示されている。
【０１０３】
図１３中の結果は、図１１のＰＳＮＲ対ＭＯＳ結果、およびより少ない程度で図１２のＡｖＱｓｔｅｐ対ＭＯＳ結果と、この順序で著しい類似性を示す。「カレンダー」および「岩」シーケンスは最も高いＣＳ値を有しており、また、ＰＳＮＲおよびＡｖＱｓｔｅｐの両方において良好な範囲にわたって最も高いＭＯＳ値を有している。同様に、「カヌー」および「稚魚」シーケンスは最低のＣＳ値を有しており、そして最低のＭＯＳ値群内にある。したがって、復号された画素から算出されたＣＳ測度は、シーケンスのノイズ・マスキング特性と関係を有しているようである。高いＣＳは、所与のＰＳＮＲについて、マスキングが高く、ひいてはＭＯＳが高いことを意味する。無参照型品質推定におけるＣＳ測度の潜在的用途が、下に述べられている多重回帰分析に含められることによって調べられた。
【０１０４】
結果：第１に、トレーニング・セット用の平均ＭＯＳ（従属変数）は、多くの商用統計ソフトパッケージ（例えばＳｔａｔｖｉｅｗＴＭ）において利用可能なもののような標準多項式／対数型回帰分析を使用して、ＰＳＮＲ（独立変数）によってモデル化された。これについては、www.statview.comを参照されたい。次に、結果得るモデルが、テスト・シーケンスに対して使用された。次に、これが、ＡｖＱＰを独立変数として使用して繰り返された。このプロセスが、各場合でのＣＳを補助的独立変数として用いて繰り返された。結果得る、推定ＭＯＳ値と測定ＭＯＳ値との間の相関およびＲＭＳ残差は、表７に示されている。
【表６】
【０１０５】
結果は、シーケンス平均されたコントラスト測度（ＣＳ）をＰＳＮＲまたはＡｖＱＰに基づいたＭＯＳ推定モデルに含めることが、トレーニング・セットおよびテスト・データ・セットの両方について成績を向上させることを示している。ＡｖＱＰパラメータおよびＣＳパラメータを使用するモデルの成績は特に良好であって、トレーニング（０．９５）およびより印象的なことにテスト（０．９１６）の両方について０．９を超える相関を達成した。
【０１０６】
ＡｖＱＰ／ＣＳモデルについての各トレーニング結果およびテスト結果は、図１４において散布図の形態で示されている。
【０１０７】
結論：Ｈ．２６４の映像復号器における主観的映像品質推定のための２つのパラメータ・モデルが提供された。映像シーケンスにわたって平均されたＨ．２６４量子化器ステップ幅インデックスに相当するＡｖＱＰパラメータは、ノイズの推定に寄与する。復号された画素のスライディング・ウィンドウ差分分析を使用して算出されるＣＳパラメータは、映像コンテンツのノイズ・マスキング特性の示度を付加する。これらのパラメータが一緒に使用されると、復号器において驚くほど正確な主観的品質推定が達成され得ることが示されている。
【０１０８】
８秒のトレーニング・シーケンスおよびテスト・シーケンスは、時間にわたる画像特性の著しい変動を減じる目的で選択された。その意図は、測定ＭＯＳスコアが一時的で明瞭な歪みによって過度に重み付けされないように、劣化が一貫している特性を備えた復号されたシーケンスを使用することであった。こうすることによって、シーケンス平均されたパラメータを使用するＭＯＳスコアのモデル化が、より実用的かつより正確なプロセスになる。
【０１０９】
等式（５）において定義されているコントラスト測度ＣＦは、取得された画像の全体についての各画素に対して行なわれている平均に依存する。空間上・時間上のブロックに対するＣＦの分析が有益であり得ることが分かった。
【背景技術】
【０００１】
本発明は、複数のフレームを表わす映像信号を符号化する方法およびシステムに関し、特に、符号化された信号についての品質測度を導出する映像信号を符号化する方法およびシステムに関する。
【０００２】
ディジタル映像信号が、通信リンクを通して効率的に送信されることができるように符号化することが知られている。ソースデータは、例えば画素のブロックの予測、離散コサイン変換（ＤＣＴ）、量子化、ランレングス符号化、および統計・心理物理的冗長性を利用する他の圧縮技術のような良く知られている技術を使用して、送信される必要のあるデータ量を低減するような方法で符号化される。良く知られている映像符号化アルゴリズム／規格はＭＰＥＧ２およびＨ．２６４／ＭＰＥＧ−４ ＡＶＣを含んでいる。また、他の既知の規格が存在することが認識されるだろう。通信リンクの復号側において、符号化映像を表示装置にそれを出力することができるように復号する（あるいは伸長）ためにソフトウェアが設けられている。
【０００３】
データリンクを介して送信されるデータ量を低減する点では有用であるが、量子化プロセス（無ノイズ符号化ではない）を伴った映像信号を圧縮する工程は、歪みを導入し、したがって、映像の質を低減し得る。多くの符号化アルゴリズムは、歪みが見る人によって可能な限りほとんど知覚されないように人間視覚システム（ＨＶＳ）の限界を活用する傾向がある。歪みを測定する１つの方法は、復号された映像シーケンス内の知覚可能な歪みのレベルに注目し、その結果を平均して平均オピニオン評点（ＭＯＳ）を得ることを含んでいる。しかしながら、この人の手による工程は時間のかかるものであり得、訓練された人が、意味のあるデータを提供するために適切に映像の代表的な主題サンプルを判断することを要求する。そこで、知覚品質を評価するソフトウェア・ツール（いわゆる知覚品質メトリック（ＰＱＭ）ツール）を設けることが知られている。そのようなＰＱＭツールは通信リンクの復号器側に設けられる。出願人の国際特許出願番号ＧＢ２００６／００４１５５は典型的なＰＱＭツールについて詳細に記述している。
【０００４】
商用映像システム（例えばインターネット・プロトコル・テレビ（ＩＰＴＶ）システム）では、知覚品質は重要な問題である。チャネルの性質は符号化器側でデータ圧縮を必要とするだろう。しかしながら、ＩＰＴＶサービス・プロバイダの顧客は、映像品質の点においてサービスの一定レベルを期待する。また、したがって、サービス・プロバイダは、送信された映像が、（常にではないとしても）大量の送信の場合に顧客の期待を満たすだろうということを保証することを切望している。
【発明の概要】
【０００５】
本発明の第１の側面によれば、複数のフレームを表す映像信号を符号化する方法であって、（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化し、（ｂ）知覚品質メトリックを使用して符号化された信号についての品質測度を生成するとともに前記品質測度が所定の品質基準を満たすかを確認し、（ｃ）前記品質測度が前記所定の品質基準を満たさない場合、前記少なくとも１つの符号化パラメータの修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまでステップ（ａ）乃至（ｃ）を繰り返す、ことを具備する方法が提供される。
【０００６】
知覚品質メトリックは、知覚される映像の品質（すなわち人間の視聴者によって知覚されるような映像の品質）を客観的に評価または予測するように構成されているメトリックまたはモデルを意味すると理解される。これは、結果得る品質測度が自動的に一貫して適用されることが可能であることを意味する。
【０００７】
本方法は、映像信号と関連付けられている品質測度が所定の品質基準を満たさない場合にこの映像信号の繰り返しの再符号化を提供する。この再符号化は、前記少なくとも1つの符号化パラメータの修正値または映像信号の修正された形態を使用する。こうすることによって、フィードバック構成が使用されて、符号化された信号が品質要求事項の何らかの形態を満たすことを保証する。そのような方法は、ＩＰＴＶのような商用の適用形態において顧客に対する最小レベルのサービスを保証したい映像コンテンツ・サービス・プロバイダにとって特に利益を提供し得る。一旦品質測度が所定の品質基準を満たすものとして確認されるとステップ（ｃ）は実行される必要がないことが認識されるだろう。
【０００８】
本方法は、好ましくは通信リンクの符号器側で実行され、また前記品質測度が前記所定の品質基準を満たす場合のみ、前記符号化された信号を通信リンク上で映像復号器に送信することをさらに具備する。
【０００９】
ステップ（ｃ）において、前記符号化パラメータの値または前記映像信号に適用される修正の量は、ステップ（ｂ）において生成される前記品質測度の値の関数であり得る。
【００１０】
本方法は第１および第２信号部分に対して実行され得、前記第２信号部分は、前記品質測度が前記第１信号部分について前記所定の品質基準を満たす場合に符号化される。
【００１１】
前記品質測度は、好ましくは所定のアルゴリズムを用いて生成される数値であり、前記品質測度は、前記数値が所定の範囲内にある場合に前記所定の品質基準を満たす。前記所定の範囲は第１および第２境界値によって定義され得、前記適用される修正は、前記品質測度の値が後続の繰り返しにおいて前記境界値の一方に近づく変化に帰着する。
【００１２】
前記符号化された信号は、複数の個別に識別可能なフレーム群（ＧＯＦ）を表わし得、 品質測度は各ＧＯＦに対して導出可能であって、ステップ（ｃ）において、前記少なくとも１つの符号化パラメータの修正された値または前記映像信号の修正された形態は前記所定の品質基準を満たさない各ＧＯＦに適用される。
【００１３】
本方法は、各々がステップ（ｃ）において適用される択一的なプロファイルを定義する複数の修正プロファイルを提供し、１つ以上の選択規則に応じて前記複数のプロファイルのうちの１つを選択する、ことをさらに具備し得る。たとえば、連続する所定数のＧＯＦが前記所定の品質基準を満たさない場合に第１修正プロファイルが選択される。前記第１プロファイルは、適用されると前記ＧＯＦに対応する前記映像信号の濾波された形態を再符号化するように構成されている。前記濾波は、前記ＧＯＦの各フレームを符号化するのに必要なビット数を減じることを具備し得る。所定数のＧＯＦを具備するセグメントにおいて一部のＧＯＦのみが前記所定の品質基準を満たさない場合に第２プロファイルが選択される。前記第２プロファイルは、適用されると各不合格ＧＯＦに対応する前記映像信号を修正された符号化パラメータを使用して再符号化するように構成されている。
【００１４】
各フレームについてのさらなる品質測度が生成され得る。あるフレームについての前記さらなる品質測度が前記所定の品質基準を満たさない場合、フレーム内分析が該フレームに対して実行されて該フレームのどの部分が修正を必要としているかを判断する。
【００１５】
上記の少なくとも１つの符号化パラメータは、量子化ステップ幅を含み得る。この場合、ステップ（ｃ）は量子化ステップ幅の修正された値を適用することを具備する。択一的にまたは付加的に、前記少なくとも１つの符号化パラメータは、符号化ビットレートを含み得る。この場合、ステップ（ｃ）は前記符号化ビットレートの修正された値を適用することを具備する。
【００１６】
本発明の第２の側面によれば、複数のフレームを表す映像信号を符号化する方法であって、（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化し、（ｂ）知覚品質メトリックを使用して符号化された信号についての数値の形態の品質測度を生成するとともに前記品質測度が所定の品質基準を満たすかを確認し（前記品質基準は上限および下限を有する数値の範囲によって定義されている）、（ｃ）前記品質測度が前記所定の品質基準を満たさない場合、前記少なくとも１つの符号化パラメータを修正するとともに前記値が前記値の範囲に入るまでステップ（ａ）乃至（ｃ）を繰り返す、ことを具備する方法が提供される。
【００１７】
本発明の第３の側面によれば、複数のフレームを表す映像信号を符号化する方法であって、（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化し、（ｂ）知覚品質メトリックを使用して符号化された信号についての品質測度を生成するとともに前記品質測度が所定の品質基準を満たすかを確認し、（ｃ）前記品質測度が前記所定の品質基準を満たさない場合、複数の修正プロファイルのうちの１つを選択するとともに前記少なくとも１つの符号化パラメータの修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまでステップ（ａ）乃至（ｃ）を繰り返す、ことを具備し、所定数のフレームを具備する前記映像信号のセグメントが前記所定の品質基準を満たさない場合に第１修正プロファイルが選択され、前記第１プロファイルが、適用されると前記映像セグメントの濾波された形態を再符号化するように構成されており、所定数のフレームを具備する前記映像信号のセグメント内のフレーム部分集合またはフレーム群のみが前記所定の品質基準を満たさない場合に第２プロファイルが選択され、前記第２プロファイルが、適用されると各不合格フレームまたはフレーム群に対応する前記映像信号を修正された符号化パラメータを使用して再符号化するように構成されている方法が提供される。
【００１８】
本発明の第４の側面によれば、複数のフレームを表す映像信号を符号化する方法であって、（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化することであって、前記符号化された信号が複数の個別に識別可能なフレーム群（ＧＯＦ）を表わしており、（ｂ）複数のＧＯＦを具備する映像セグメントについて、知覚品質メトリックを使用して各ＧＯＦについての品質測度を生成し、（ｃ）前記品質測度が所定の品質レベルを下回っている前記映像セグメント内の１つ以上のＧＯＦを特定し、再符号化されたときに前記品質測度が前記所定の品質レベルを満たすか前記所定の品質レベルに近づくように品質レベルを下回るＧＯＦについて用いられる前記少なくとも１つの符号化パラメータを修正し、（ｄ）前記品質測度が所定の品質レベルを上回っている同じ前記映像セグメント内の１つ以上のＧＯＦを特定し、再符号化されたときに前記品質測度が前記所定の品質レベルを満たすか前記所定の品質レベルに近づくように品質レベルを上回るＧＯＦについて用いられる前記少なくとも１つの符号化パラメータを修正し、（ｅ）（ｃ）および（ｄ）において修正された前記符号化パラメータを使用して前記映像セグメントを再符号化する、ことを具備する方法が提供される。
【００１９】
プロセッサ上で実行されると前記プロセッサに上記の方法を実行させるプロセッサ・コードを運ぶためのキャリア媒体が提供され得る。
【００２０】
本発明の第５の側面によれば、少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して複数のフレームを表す映像信号を符号化するように構成されている映像符号化器と、前記映像符号化器からの前記符号化された信号を受け取るためのものであって、前記符号化された信号についての品質測度を生成し、前記品質測度が所定の品質基準を満たすかを確認し、前記品質測度が前記所定の品質基準を満たさない場合、前記映像符号化器に前記少なくとも１つの符号化パラメータについての修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまで前記映像信号を繰り返し再符号化させるように構成されているコントローラと、を具備する映像符号化システムが提供される。
【００２１】
前記コントローラは、前記品質測度が前記所定の品質基準を満たす場合のみ、前記符号化された信号を通信リンク上で映像復号器に送信するように構成され得る。前記コントローラは、使用の際、前記符号化パラメータの値または前記映像信号に適用される修正の量が生成される前記品質測度の値の関数であるように構成され得る。本システムは、前記映像符号器からの所定数の符号化されたフレームを受信および保存するためのバッファをさらに具備し得る。前記バッファは、以前に送信されたフレームの組について生成された前記品質測度が前記所定の品質基準を満たさないことを示す前記コントローラからの制御信号に応答して前記符号化されたフレームを前記コントローラに送信するように構成されている。 前記コントローラにおける前記品質測度は所定のアルゴリズムを用いて生成される数値とされることが可能である。前記数値が所定の範囲内にある場合、前記品質測度が前記所定の品質基準を満たす。前記所定の範囲は、第１および第２境界値によって定義され得、前記コントローラにおいて適用される修正は、前記品質測度の値が後続の繰り返しにおいて前記境界値の一方に近づく変化に帰着する。前記符号化器によって生成された前記符号化された信号は、複数の個別に識別可能なフレーム群（ＧＯＦ）を表わし得る。前記コントローラは、各ＧＯＦに対して品質測度を生成し、前記所定の品質基準を満たさない各ＧＯＦに対して前記少なくとも１つの符号化パラメータの修正された値または前記映像信号の修正された形態を適用するように構成されている。前記コントローラは、各々がステップ（ｃ）において適用される択一的なプロファイルを定義する複数の修正プロファイルを提供し得、また、１つ以上の選択規則に応じて前記複数のプロファイルのうちの１つを選択するように構成されている。前記コントローラは、使用の際、連続する所定数のＧＯＦが前記所定の品質基準を満たさない場合に第１修正プロファイルを選択するように構成されることが可能である。前記第１プロファイルは、前記コントローラによって適用されると前記ＧＯＦに対応する前記映像信号の濾波された形態を再符号化するように構成されている。前記濾波は、前記ＧＯＦの各フレームを符号化するのに必要なビット数を減じることを具備することを具備し得る。前記コントローラは、使用の際、所定数のＧＯＦを具備するセグメントにおいて一部のＧＯＦのみが前記所定の品質基準を満たさない場合に第２プロファイルを選択するように構成されることが可能である。前記第２プロファイルは、前記コントローラによって適用されると各不合格ＧＯＦに対応する前記映像信号を修正された符号化パラメータを使用して再符号化するように構成されている。前記コントローラは、各フレームについてのさらなる品質測度を生成するように構成され得る。あるフレームについての前記さらなる品質測度が前記所定の品質基準を満たさない場合、フレーム内分析が該フレームに対して実行されて該フレームのどの部分が修正を必要としているかを判断する。前記少なくとも１つの符号化パラメータは量子化ステップ幅を含み得、ステップ（ｃ）は量子化ステップ幅の修正された値を適用することを具備する。前記少なくとも１つの符号化パラメータは符号化ビットレートを含み得、ステップ（ｃ）が前記符号化ビットレートの修正された値を適用することを具備する。
【００２２】
次に、本発明が、添付図面を参照して例として記述される。
【図面の簡単な説明】
【００２３】
【図１】本発明に従った符号化システムがコンテンツ・サービス・プロバイダ側で用いられ得るところの商用映像システムのブロック図。
【図２】本発明に従った、一般化された映像符号化システムのブロック図。
【図３】符号化された映像についての品質測度を示すために用いられることが可能な代替的な知覚品質測定スケールを数の形態で示す。
【図４】本発明の好ましい実施形態に従ったＨ．２６４の映像符号化システムのブロック図。
【図５】品質シナリオについて複数のフレームに関して取得された例示的な知覚品質測度を示すグラフ。
【図６】品質シナリオについて複数のフレームに関して取得された例示的な知覚品質測度を示すグラフ。
【図７】品質シナリオについて複数のフレームに関して取得された例示的な知覚品質測度を示すグラフ。
【図８】映像シーケンスの品質の評価のための、好ましい実施形態での使用に適する、知覚品質測定装置を機能の観点から示すブロック図。
【図９】図８の装置において、水平コントラスト測度が画像内の画素についてのどのように計算されるかを示す。
【図１０】図８の装置において、垂直コントラスト測度が図９の画像内の画素についてのどのように計算されるかを示す。
【図１１】トレーニング・シーケンスについてのＡｖＰＳＮＲ対測定されたＭＯＳを示す。
【図１２】トレーニング・シーケンスについてのＡｖＱＰ対測定されたＭＯＳを示す。
【図１３】トレーニング・シーケンスについてのＣＳ対測定されたＭＯＳを示す。
【図１４】ＡｖＱＰ／ＣＳモデルについての評価されたＭＯＳ対測定されたＭＯＳを示す。
【発明を実施するための形態】
【００２４】
次に、映像信号を符号化する方法およびシステムが詳細に記述される。この方法およびシステムにおける目的は、信号がリンク上で効率的に送信され得るとともにこの信号が複合および表示される際に推定された知覚品質の点において所定の基準を満たすために圧縮される信号を通信リンクの符号化側で提供することである。このことは、知覚品質メトリック（ＰＱＭ）システムを利用して推定知覚品質の数量化する制御ユニットと、該数量化されたＰＱＭを信号が送信に先立って満たさなければならないユーザ定義の基準と比較する制御ロジックと、を符号化側で設けることによって達成される。基準を満たす場合、信号は単に通信リンクを介して前方へ送信される。そうでなければ、コントロール・システムは、信号を例えば、事前濾波を用いて修正するかまたは修正された符号化パラメータを用いてその品質を改善するような方法で信号を再符号化するように動作可能である。このことは、数量化されたＰＱＭを基準に向かって収束させることである。この符号化・修正・符号化シーケンスを多く繰り返すことは、結果生じるＰＱＭがその基準を満たして送信される前に必要である。有利なことに、一旦符号化と基準のための初期値パラメータがユーザによってセットされれば、本システムは自動的に動作することができる。したがって、映像コンテンツのプロバイダは、プロバイダに要求される最小の双方向交流で、視聴者が最低のサービス水準、すなわち改善されたサービス水準を満たすコンテンツを復号し視聴するだろうという以前よりも高い確信を有する。
【００２５】
図１を参照すると、そのような符号化システムを使用することが有利な商用システムの一例が示されている。図において、コンテンツ・サービス・プロバイダ１０は、複数の顧客にディジタル形式の映像コンテンツを送信する。これらの顧客は、それぞれのセットトップ・ボックス（ＳＴＢ）１２をテレビジョンセット（テレビ）１４への出力に用いて、ディジタル信号を受け取るとともに復号する。コンテンツは、様々な方法、例えば地上放送アンテナ１６を用いる無線リンク、または銅または光ファイバー・ケーブルを利用する、ＩＰリンク１８のような「インターネットに通じた（ｗｉｒｅｄ）」接続を通して送信され得る。後者の方法はますます一般的になっており、一般にＩＰＴＶと呼ばれる。衛星放送はさらなる選択肢である。確かに、一部のサービス・プロバイダは、例えば無線リンクを通して無料放送のコンテンツを放送すると同時にＩＰＴＶリンクを用いてビデオ・オン・デマンド（ＶＯＤ）サービスを提供することによって複数の通信方式を組合せて実行する。どちらの方法が用いられても、サービス・プロバイダ１０は、映像信号を、サービス・プロバイダと顧客のＳＴＢ１２の間の有限の帯域幅リンクを通して効率的にそれを送信することができるようにソース・ディジタル信号が圧縮されるような方法で映像信号を符号化することを要求される。この工程は時にソース符号化と呼ばれ、多くの符号化アルゴリズムまたは規格が知られている。以下の記述は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格の使用を想定している。ただし、他の映像符号化規格が用いられることが可能であることが理解されるべきである。各ＳＴＢ１２において、復号器が、符号化器で用いられる規格に従って受信信号を復号するために設けられる。
【００２６】
図２を参照すると、上記の品質管理機能を使用する、一般化された符号化システムのブロック図が示されている。ソース映像２０は、選択された符号化規格に従って動作するように設計された符号化器２２に供給される。ソース映像２０は、フレームのシーケンスを含む映像コンテンツをディジタル形式で表わす。各フレームは、ｎ×ｍ個の画像素子または画素を含む。符号化器２２は、多くのユーザ定義のパラメータ、特に符号化ビットレートさらに随意で符号化プロファイルに従って動作する。後者については、ある符号化規格は圧縮の所定の水準をもたらす具体的な符号化プロファイルを定義する。ビットレートおよび符号化プロファイルに加えて、ユーザは、さらに知覚の品質の合格水準に対応する一連の品質値を定義する品質閾値を指定する。ユーザはさらに最適の目標品質を設定し得る。
【００２７】
品質閾値および目標は、符号化器２２に供給されていることが示されているが、次のステージ（すなわち制御ユニット２４）に直接供給されてもよい。
【００２８】
制御ユニット２４は符号化された映像データおよび上記の品質閾値および目標品質を受け取るように設計されている。制御ユニット２４内には、サービス・プロバイダが何を必要とするかに依存して個々のフレームまたはフレーム群の知覚品質を示すために後に用いられることが可能な１つまたは複数の数値を生成するＰＱＭシステム３２がある。下に挙げられた具体例では、我々は、平均オピニオン評点（ＭＯＳ）と呼ばれる測度を生成する。ＭＯＳは、我々が一般に今後参照する品質パラメータである。ＰＱＭシステム３２が生成できるＭＯＳ値の範囲は予め定められている。また、多くの標準化されたシステムが、ITU-R Recommendationによって提供されている。図３ａは、５ポイントのスケールを示す。ここでは、値「１」は悪い水準の知覚品質を示し、他方、「５」は優良を表わしている。図３ｂは、代替的な１対１００スケールを示す。ここでは、「０」が最低の品質を表わし、「１００」が最高品質を表わす。ＰＱＭシステム３２は既知のＰＱＭシステム（例えば完全参照システム、無参照システム、簡易参照システム）から構成されることが可能である。読み手が別のタイプおよびそれらの一般的な動作原理を知っていると思われる。純粋な無参照ＰＱＭシステムの場合には、未加工の符号化ビット・ストリームへアクセスすることが必要なことの全てである。完全参照ＰＱＭシステムの場合は、ソース映像のコピーが必要である。したがって、図２中に点線が存在している。簡易参照ＰＱＭシステムは、ソース内容に関する、全てではなく一部の情報を必要とする。以下尾の詳細な記述では、我々は、異なる品質情報を生成するためにビット・ストリームおよび複合された内容の両方を必要とするハイブリッド・ビット・ストリーム／復号器無参照ＰＱＭシステム３２の使用について記述する。従って、ＰＱＭシステム３２は復号器（この具体的事例ではＨ．２６４復号器）を含んでいるだろう。
【００２９】
ＰＱＭシステムによって生成されることが可能な情報のタイプは、パラメータの次の非網羅的なリストを含んでいる：
・フィールド／フレーム毎平均オピニオン評点ＭＯＳＦｎ
・映像ユニット／画像群平均オピニオン評点ＭＯＳＧＯＰ
・品質の一時的変化（ＭＯＳＦｎ−ＭＯＳＦｎ−１）
・平均オピニオン評点の映像ユニット変化（ＭＯＳＧｏｐ（ｋ）−ＭＯＳＧｏｐ（ｋ−ｉ））
・空間上の複雑性
・空間上のマスキング
・一時的複雑性
・（フィールド／フレーム毎）量子化器ステップ幅
・ビットレート
・スライス構造
・マクロブロックサイズおよび構成
・動きベクトル値
制御装置２４内にさらに設けられているのは、ＰＱＭシステム３２によって生成された１つまたは各パラメータ（詳細な説明においては、１つのＭＯＳ値が用いられている）を受け取って、示されている品質測度が、ユーザ入力によって閾値および目標値によって定義された品質値の範囲内にあるか否かを判断するように構成されているロジック回路３４である。そうである場合、制御ロジック３４は映像を「合格」とし、映像は後の送信に備えて格納されるか、直ちに送信される。そうでない場合、制御ロジック３４は映像を「不合格」とし、映像は送信も格納もされない。代わりに、映像データ（すなわち不合格のフレームまたはフレーム群に対応するソース映像データ）は、符号化前に事前濾波された映像データとともに、および／または修正済符号化パラメータ（典型的には、量子化ステップ幅（ＱＳＳ）または符号化ビットレートの修正された値）を用いて、再び符号化される。符号化パラメータを事前濾波するか修正するかどうかの選択は、制御装置のロジック３４の一部として提供される所定の修正規則に基づく。この規則は、次の符号化反復において品質測度が閾値によって定義された合格品質範囲に少なくとも近づくものとして定義される。さらに、後に説明されるように、適用される修正のタイプおよび／または量は、ＰＱＭシステム３２によって生成されたパラメータの１つ以上に依存する。図２は、フレームまたはフレーム群が再符号化および符号化器２２のための更新されたパラメータの組を要求していることを示す制御信号をソース映像に供給するものとして個別のモジュール２８を示している。実際上、これは、制御装置２４の不可欠な部分を形成し得る。
【００３０】
上記のように、品質測度が範囲内に収まり、また映像が記憶装置に渡され、また／または前方への送信の前に、多くの再符号化の繰返しが必要であるかもしれない。時間が重要な（time critical）適用形態では、映像データが送信される前の繰返しの回数が所定回数に制限されてもよい。
【００３１】
一般化された符号化システムの操作手順が、次に記述される。
【００３２】
まず、ソース映像２０が符号化器に提示される。操作者は関連する符号化パラメータ、例えばＱＳＳ、符号化ビットレート、符号化プロファイル、品質閾値、を設定する。その後、符号化された出力が制御装置２４のＰＱＭシステム３２に渡される。ＰＱＭシステムのタイプに応じて、ＰＱＭシステム３２が完全参照またはビット・ストリーム／復号器ハイブリッド法を使用する場合、符号化された映像は例えば復号を要求し得る。知覚品質測定値は各フレームに対して取得される。この測定値は、以前に列挙されたパラメータの１つ以上を提供する。測定法は、品質の瞬間的且つ局部的測度（例えばＭＯＳｉ、ＭＯＳＧＯＰ）を出力し得る。次の段階は品質閾値によって定義される範囲に対する品質測定値を検査することを含んでいる。本検査は品質パラメータの任意の１つまたは組合せを使用し得る。ただし、以下に記述される実施形態では、１つの品質パラメータが生成および検査される。ＭＯＳＧＯＰ測度が最も重要なものであると考えられる。なぜなら、ＭＯＳｉ閾値未満への時折の低下は許容されるべきと考えられるからである。さらに、不合格だった内容に対処するかの決定は、好ましいか必要なビットレート制限で動作しつつ目標品質に合致するように品質を調節するために複数のＧＯＰを考慮に入れることが推奨される。
【００３３】
品質閾値以内にある映像コンテンツは格納または移送のために渡される。制御ロジック中の品質閾値検査に不合格のコンテンツは、このコンテンツの事前濾波されたバージョンを使用して、また／または修正済の符号化パラメータを使用して、再符号化される。我々は合格品質範囲を定義するために閾値を使用することについて記述するが、システムが、これよりも上にあれば品質検査に合格するという下限だけを使用して正しく機能することが認識されるだろう。しかしながら、我々の詳細な実行形態では、上限と下限の両方が設定される。また、ある状況では、上限すなわち高品質閾値の外側にあるデータを再符号化することが有利であり得る。
【００３４】
修正された符号化パラメータが必要であるとコントロール・システムの制御ロジックが判断する場合、これらが所定の規則に従って生成され、符号化器に送られる。本プロセスが繰り返し実行されて符号化、測定、再符号化することができる。繰り返しは、映像品質が許容可能になるまで、あるいは定義済みの最大の繰返し回数に達するまで続く。新しい値は、符号化パラメータ（例えばＱＳＳ、符号化プロファイル、符号化ビットレートなど）の全てあるいは一部に対して提供され得る。非常に単純な例において、符号化ビットレートは、例えば、各繰返しについての百分率値によってビットレートを修正することによって、あるいは代わりに参照表（ＬＵＴ）を参照することによって、符号化され得る。ＬＵＴは、ＰＱＭシステム３２によって大きなコンテンツ・データベースを前もって処理することにより定義され得る。その後、ＬＵＴは、映像属性（例えば異なる空間上の複雑性または時間上の複雑性）、および符号化器パラメータ値（例えば量子化マップ）と並んで生成されたＭＯＳ値によって構築される。一旦コンテンツが制御装置２４のＰＱＭシステム３２において測定されると、その後、不合格のコンテンツの特性が品質閾値と一緒にＬＵＴに写像され、ＬＵＴから新しいパラメータまたはパラメータ・セットが生成されて符号化器２２に渡される。
【００３５】
空間上エラー写像を行なう（ＰＱＭシステムによって使用される）知覚モデルは、知覚品質情報を使用して特にエラーの傾向のある部分を対象にして品質を改善することができる。例えば、新しい符号化器パラメータの組を定義するには、その品質判定基準を満たすフレームは生成された新しい値を有さず、他方、不合格のフレームは新しいパラメータの組を有する。同様に、空間の領域では、画像のうちの品質境界内にある部分には新しい符号化値は提供されず、画像のうちの品質検査に不合格の部分には新しいパラメータが割り当てられることが可能である。ビットレートが主な制約である場合、本方法は、多くのＧＯＰ（例えば関連する受信器バッファのサイズと等価なＧＯＰの組）に亘って空間上および時間上の品質を検討することによって動作する。この結果、（ａ）例えばＱＳＳを増加させることによって、上側の品質境界を越えているフレームあるいはフレームの一部の品質が減じられる、および／または（ｂ）例えばＱＳＳを減じることによって、下側の品質境界未満のフレームあるいはフレームの一部の品質が増加させられる。
【００３６】
符号化パラメータを修正することの代わりとして、制御ロジック３４は、実際のソース映像２０を変更する（すなわち事前濾波する）ことが適切であると判断し得る。符号化された映像の問題部分を特定することによって、品質測定値を使用して、符号化器２２を強調する（stress）ソース映像のセグメントまたは領域を特定することが可能である。例えば、ソース映像２０のある部分が動きが速くまたは細かな細部を有するものと特定され、ＰＱＭシステム３２で低い品質を示す場合、特定の事前濾波が適用されることが可能である。制御装置２４は、次の繰返しのためにデータの品質を改善する目的で、例えば画像解像度を減じるかあるいは空間周波数フィルタを適用することによって対応するソース・コンテンツを修正する命令を事前フィルタに送ることができる。
【００３７】
品質管理ユニットを使用する符号化システムのより詳細な例が、次に記述される。
【００３８】
図４を参照すると、符号化システムは、Ｈ．２６４符号化器４２を利用して、フレームＦｎのシーケンスとして提供されるソース・コンテンツ４０を符号化する。Ｈ．２６４符号化器４２の構成および動作は良く知られており、詳細な記述は本明細書において提示されない。一般に、第一段４４は、動き推定と動き補償を含む予測符号化を行なって、予測スライスおよびデータの残余値を生成する。後段では、変換符号化４６、量子化４８、画像並び替え５０およびエントロピー符号化５２が、例えば、ＣＡＶＣＬまたはＣＡＢＡＣを使用して行なわれる。符号化された出力データは、本明細書でネットワーク抽象層（ＮＡＬ）ユニット５４と呼ばれる信号／データパケットに入れられる。
【００３９】
符号化システムは、図２において示されるとともに図に関して記述された一般化された制御装置２４のような、符号化されたデータの推定知覚品質を測定するためのＰＱＭシステム３２および制御ロジック３４を含んでいる品質管理単位（ＱＣＵ）５６をさらに含み、品質が所定の品質判定基準を満たすかどうか判断し、満たさない場合、その信号および／またはそれの符号化を修正して品質を向上させる。信号は前処理フィルタ６２を使用して修正される。符号化は、Ｈ．２６４符号化器４２の量子化器部４８へ入力される１つ以上のパラメータを修正することによって修正される。ＱＣＵ５６が符号化済映像を合格とした場合、符号化された映像は、後の、通信リンク／チャネルでの送信のために映像バッファ６０に転送される。
【００４０】
使用の際、操作者は、２Ｍｂｉｔ／秒の目標符号化ビットレートを設定する。また、２秒の受信器バッファが指定される。操作者は、さらに上限および下限と目標品質とを指定することにより、品質判定基準を定義する。図３ａにおいて示される５点の目盛が使用される。また、上限＝４．０、下限＝２．８および目標＝３．４の値の例が使用される。符号化・測定・再符号化の繰返しの回数は３に制限されている。値はすべて符号化器４２へ入力される。ただし、上限および下限、目標、および繰返しの制限は、ＱＣＵ５６に直接供給されてもよい。
【００４１】
符号化されたＮＡＬユニット５８はＱＣＵ５６に送られる。その目的は、不合格のＧＯＰまたはＧＯＰ内のフレームが無いかまたは最小で、下限より上でかつ好ましくは目標品質付近の比較的一貫した品質の映像コンテンツを生成することである。
【００４２】
ＱＣＵ５６はＰＱＭシステムを使用して、知覚品質測定を行なう。ＰＱＭシステムは、任意のタイプの既知のＰＱＭシステム３２とすることができる。実例を示すために、我々は同時係属の国際特許出願番号ＧＢ２００６／００４１５５に記述されているようなハイブリッド・ビット・ストリーム／復号器ＰＱＭシステムを使用する。その内容は、参照することによって本明細書に組込まれる。この種のＰＱＭシステムのさらなる細部はこの記述の終わりに与えられる。
【００４３】
ＰＱＭシステム３２は２秒受信器バッファに従って映像データのセグメントに対して動作する。すなわち、２秒バッファ（図示せず）が符号化器およびＰＱＭシステムの間に設けられる。後者は、このバッファからＧＯＰを受け取り、受け取ったＧＯＰを分析するように構成されている。ＱＣＵ５６および符号化器４２は、さらなるＧＯＰが、現在のＧＯＰが処理され終わるまで、すなわち、現在のＧＯＰが送信に向けて渡されるまで、バッファからＰＱＭシステム３２に供給されないように協力して動作する。唯一これが生じるのは、新しいＧＯＰが受け取られた時である。不合格のコンテンツに対しては、符号化器４２は、量子化器４８に対する修正済の値についての指示を受け取るか、または次の前濾波後に入力される新しいソース・コンテンツを待つ。この目的のために、ＱＣＵ５６は符号化器４２への次の制御信号のうちの１つを生成するように構成される：
制御信号 意味
０ 合格映像、次の２秒のコンテンツ・セグメントを符号化せよ
１ 不合格映像、新しい量子化器パラメータ（例えばＱＳＳ、ビットレート）を待て
２ 不合格映像、新しい事前濾波されたソース入力を待て
ＱＣＵ５６の内には、不合格映像が次にどのように処理されるべきかを判断する多くの規則が設けられている。それは、どの事前濾波（ある場合）が適用されるべきか、また／または、量子化パラメータがどのように修正されるべきか、を判断することである。この規則は不合格のセグメントが３つの品質プロファイルＡ〜Ｃのどれに当てはまるか同定することを含んでいる。次に、各プロファイルが、関連するプロファイルの識別に応じてＱＣＵロジック３４によって取られる通信アクションと共に、現実のシナリオとの関連で次に考察される。この目的のために、ＰＡＬ映像の２秒を表わし、よって５０のフレームを含んだ映像データ・セグメントを想定する。各ＧＯＰが１０個のフレームを含むものとする。
【００４４】
プロファイルＡ：全体またはほとんどのセグメントが不合格
このシナリオでは、２秒のセグメントのデータの全体が品質判定基準を満たさない。図５は、この状況に帰着し得る出力をグラフの形態で示す。あらゆるＧＯＰについて、品質要求事項を満たすための符号化プロセスを操作する余地はほとんどない。したがって、この場合、再符号化前にソース映像が事前濾波される。制御信号「２」が符号化器４２に送られる。事前濾波は、空間上および時間上周波数濾波の一方または両方を行なうことによって、映像の複雑性を減少させる。あるいは、画像が、例えば最大解像度度から４分の３または３分の２の解像度まで減じられ得る。その後、濾波されたソースが符号化器４２に渡されるとともに繰返し回数が増加させられる。
【００４５】
プロファイルＢ：ほとんどのセグメントが合格で若干が不合格
このシナリオでは、検討中のセグメントの少数が不合格である。図６は、帰着し得る出力をグラフの形態で示す。セグメントの期間、ＧＯＰ５〜ＧＯＰ７は下限未満へと低下している。この場合、ＱＣＵは、不合格のＧＯＰに関する情報を抽出し、かつ修正された符号化パラメータ（例えばＱＳＳ）を生成することを命じられる。制御信号「１」が符号化器４２に渡される。さらに、品質の低下のための良好な候補であることとして標的ＧＯＰ、この場合、ＧＯＰ３、ＧＯＰ９、およびＧＯＰ１０が特定される。この点で、不合格のＧＯＰの品質を改善するために、ＱＳＳを減じることによる圧縮コストがかかることが認識される。目標品質を超えているＧＯＰを特定することができれば、我々はもちろん最小の品質要求事項を満たしながら補正を行うように管理された方法でそれらの品質を減じ得る。もちろん、第２のＧＯＰの候補、例えばＧＯＰ１、ＧＯＰ２、およびＧＯＰ８が特定されることも可能である。
【００４６】
ＱＣＵ５６の内の制御ロジック３４はＧＯＰ１〜１０の全てについて修正されたＱＳＳ値を生成するように構成されている。これらの修正されたＱＳＳ値は、関連するＧＯＰ中の各フレームについて、ＬＵＴを参照することによって、またはＱＳＳを調整することによって取得される。例えば、あるＧＯＰが下限を下回っている場合、この下限より下において０．５ＭＯＳごとにＱＳＳが１ずつ減じられることが可能である。品質が範囲以内にある場合、品質の下限を０．５ＭＯＳ上回っているＧＯＰだけが、例えば各０．５ＭＯＳごとに１ずつＱＳＳを増加させられることにより修正される。これらの修正量が例であり、より小さいまたはより大きな値が異なる品質範囲に使用されてもよいことに注意されたい。品質範囲が小さい場合、ＭＯＳの小さな変化が使用されてＱＳＳを調整するべきである。下記の表１は、図６に示される各ＧＯＰに関連するＱＳＳの変化例を示す。これらの新しいパラメータ値は、符号化器４２の量子化器に直接渡される。この量子化器は、制御信号「１」を受け取っている場合、ＧＯＰを再符号化する。繰返し回数がインクリメントされ、また、コンテンツが品質要求事項を満たすとＱＣＵ５６が判断するか、最大繰返し回数である３が満たされるすまで、プロセスは継続する。
【表１】
【００４７】
ＧＯＰ４がそれを構成するフレームにわたって品質の大規模な変化を有していることに注目する価値がある。これを補償する、平均ＭＯＳとフレーム相互間でのＭＯＳの変化が検査される方法が採用されることが可能である。品質閾値を下回っているフレームの割合が例えば３０％を超えている場合、ＱＣＵは閾値を下回っているフレームのみについてＭＯＳを再計算し、これらのフレームのみにＱＳＳの変更を適用し得る。ＧＯＰ内の品質閾値を上回っているフレームはそのままにしておく（あるいは、品質閾値を上回っているフレームが＞０．５ＭＯＳである場合、これらのフレームについてのＱＳＳが増加されてもよい）。下記の表２において示される数値は、変化し得る品質ＧＯＰを扱うためのこのアプローチを示している。やはり、３０％の閾値が単に例であることに注意されたい。
【００４８】
個々のＧＯＰ内のフレーム相互間で異なるこのＱＳＳ修正も、全フレームが品質閾値を下回っているＧＯＰに適用されることが可能である。不合格範囲が大きく異なり得る場合、いくつかのフレームは（例えば）２の減少を要求してもよい。一方で、他のフレームは、約１の変更を要求し得る。ほんの少数の不合格のフレーム（例えば３０％未満）を含んでいるＧＯＰについては、これらは無視され得る。
【表２】
【００４９】
プロファイルＣ：ほとんどのセグメントが合格し、一部が境界を下回るおよび上回る
このシナリオは図７にグラフの形態で示されている。若干のコンテンツは下限未満であることによって不合格であり、若干のコンテンツは良好過ぎることによって、つまり上限を超えていることによって不合格であった。残りのコンテンツは、品質境界内に収まっていた。上記のように、ＱＣＵ５６は各ＧＯＰ、または品質が可変のＧＯＰ内のフレームを修正する。この事例では、しかしながら、最初の繰返しは、ＧＯＰ２、４、９、１０の品質を上げるとともに、この改善をＧＯＰ５、６、７の品質を下げることによって埋め合わせることによって、品質範囲外のＧＯＰＳ、すなわちＧＯＰ２、ＧＯＰ４、ＧＯＰ５、ＧＯＰ６、ＧＯＰ７、ＧＯＰ９およびＧＯＰ１０に対処する。
【００５０】
プロファイルＢおよびＣは、同様の状況、すなわち、ほとんどのセグメントが合格し、しかし若干のセグメントが不合格である状況を扱うことを意図されている。両方の例は、ＱＳＳの適応がどのように使用されて映像の不合格部分を回復することができるかを示す。プロファイルＢでは、その意図は、映像の不合格部分が、ＧＯＰおよびフレームの両方について、どのように改善され得るかを示すことである。ＧＯＰの例は、複数のＧＯＰが不合格または目標品質である状況に制限されている。いくつかの目標品質ＧＯＰはＱＳＳを増加させられており、また、このことが使用されて不合格のＧＯＰについてのＱＳＳの減少を埋め合わせる。ただし、トレードオフの平衡は必ずしも保たれていない。つまり、ＱＳＳの増加量よりも多くの減少量が適用され得る。フレームの例は、若干の目標および若干の不合格を伴って品質が劇的に変化する１つのＧＯＰにわたってＱＳＳの修正がどのように適用され得るか示す。やはり、ＱＳＳの不平衡なトレードオフが使用されて品質境界内にあるＧＯＰ内にあるフレーム品質を得ることができる。プロファイルＣの意図は、実際に１組のＧＯＰが３つのレベルすなわち不合格、目標、そして目標を越えている、すなわち、良好過ぎの品質を有している場合、ＱＳＳ（あるいは他のパラメータ）の修正がどのように適用され得るか示すことである。ユーザの体験にとって一貫した品質が好ましく、また、「良好過ぎる」セグメントから取り上げて不合格セグメントに与えることによって、複数のＧＯＰにわたってより予測され易くより一貫した品質が得られることが知られている。
【００５１】
本明細書において提示されている（操作者が一貫して目標ビットレートを上回るコンテンツを送信する能力を有している）全ての例について、ビットレートの増加が品質目標を満たすために適用され得る。この場合、信号が符号化器４２に送られてコンテンツについての目標ビットレートを増加させる。この方法は、映像信号に適用されるビットレートを動的に調整する知覚的に感知可能な方法を提供する。参照表、例えば上記の参照表が、ＱＣＵ５６が新しい符号化レートを選択するために参照され得る。ＱＳＳが、特に有用な品質指標であると知られているとともに本例において使用されるＰＱＭについて主要なものであることを受けて、ＱＳＳがビットレートの代わりに使用されてきた。上記のプロファイルＡのように品質プロファイルが全て不合格である場合、ビットレートを修正することがより適切であり得る。しかしながら、目標ビットレートが符号化に対する主な制約であって、また操作者が目標ビットレートをこれが満たされることを期待して通常設定するので、本例において使用されているハイブリッド・ビット・ストリーム／復号ＰＱＭシステム３２を使用する場合、ＱＳＳを事前濾波することまたは調整することが最良のアプローチであると考えられる。
【００５２】
結論として、上記のＰＱＭシステム３２において使用されることが可能な知覚品質測定法およびシステムの一例が次に記述される。他のそのような測定法が使用されることが可能であることが認識される。
【００５３】
知覚品質測定システム
本システムの目的は、複数のフレームを表す映像信号についての品質の基準を生成することである。映像信号は、以下を有している：元の形態； 映像信号が、可変量子化器ステップ幅を利用する圧縮アルゴリズムを使用して符号化された信号がそれと関連可能な量子化器ステップ幅パラメータを有するように符号化されている符号化された形態； 符号化された映像信号の少なくとも一部が元の形態に再変換されている復号された形態。本システムは、次のステップを行なうように構成されている：ａ）上記の量子化器ステップ幅パラメータの関数である第１品質測度を生成し； ｂ）復号された形態の映像信号によって表わされるフレームの少なくとも一部の空間上の複雑性の関数である第２品質測度を生成し； ｃ）第１および第２測度を組み合わせる。
【００５４】
符号化された映像シーケンスからステップ幅が導出可能であり、また複雑性測度が復号された信号から取得されるので、元の映像信号を参照する必要が減じられる。さらに、多くの符号化方式ではステップ幅が映像シーケンスとともにパラメータとして送信されるので、便利なことに、このパラメータを使用して、このパラメータを新たに計算する必要なしに映像品質を予測することができる。重要なことに、ステップ幅と組み合わせて複雑性測度を使用することが、映像品質の指標としてのステップ幅または複雑性の信頼度のみから得られる信頼度よりも品質測度の信頼度を改善することが分かった。
【００５５】
システムの概観
下記の実施形態は、無参照型で復号器を基盤とする映像品質評価ツールに関する。本ツールのためのアルゴリズムは、映像復号器の内部で動作可能であり、各復号されたマクロブロックについての量子化器ステップ幅パラメータ（通常、入来する符号化された映像ストリームに含まれている変数）および各復号された画像の画素強度値を使用して復号された映像の主観的品質の評価を作成する。スライディング・ウィンドウ平均画素強度差（画素のコントラスト測度）計算が、各フレームの復号された画素に対して行なわれる。また、その結果得る平均（ＴＣＦ）は、映像のノイズ・マスキング特性の基準として使用される。その後、品質推定値が、ＴＣＦパラメータの重み関数およびステップ幅パラメータの平均から作られる。重み関数は、復号されたシーケンスおよびシーケンスについて前もって取得された主観的スコアの特性のトレーニング・データベースに対する多重回帰分析によって予め求められる。一方ではステップ幅の、他方ではスライディング・ウィンドウ平均画素強度差の組合せを使用して複雑性を推定することは、主観的品質の良好な推定値を提供する。
【００５６】
原則として、使用される測定プロセスは、変換符号化を使用するとともに量子化器ステップ幅が可変な圧縮技術を使用して符号化された映像信号に一般に適用可能である。しかしながら、以下に記述されるものは、Ｈ．２６４規格に従って符号化される信号との使用に向けて設計されている。本プロセスは、Ｈ．２６１、Ｈ．２６３および（フレームを基盤とする）ＭＰＥＧ２のような他のＤＣＴベースの標準コーデックにも適用される。
【００５７】
本測定法は非侵入性または「無参照」型である。すなわち、本測定方法は元の信号のコピーにアクセスする必要性を有さない。本方法は適切な復号器内での使用向けに設計されている。本方法が、符号化されたビット・ストリームおよび復号された映像の両方からのパラメータへのアクセスを必要とするからである。
【００５８】
図８に示される装置では、入力信号は入力１で受け取られ、各画像の次のパラメータを復号するとともに出力する映像復号器に渡す。
【００５９】
復号された画像（Ｄ）
画素内の水平方向の復号された画像サイズ（Ｐｘ）
画素内の垂直方向の復号された画像サイズ（Ｐｙ）
マクロブロック内の水平方向の復号された画像（Ｍｘ）
マクロブロック内の垂直方向の復号された画像サイズ（Ｍｙ）
量子化器ステップ幅パラメータの組（Ｑ）。
【００６０】
装置内には、２つの分析経路がある。それらは、画像平均された量子化器ステップ幅信号ＱＰＦ（ユニット３）および画像平均されたコントラスト測度ＣＦ（ユニット４）を算出する役目をする。次に、ユニット５は、信号ＱＰＦおよびＣＦを時間平均して信号ＴＱＰＦとＴＣＦをそれぞれ与える。最後に、これらの信号はユニット６で組み合わせられて復号された映像シーケンスＤについての主観的品質の推定値ＰＭＯＳを与える。個々のハードウェア要素によって要素３〜６が実現されることが可能である。しかし、より便利な実現形態は適切にプログラムされたプロセッサを使用して、それらの段階をすべて行なうことである。
【００６１】
Ｑを画像平均する
このことは、復号器からの出力された量子化器ステップ幅信号Ｑを使用する。Ｑは、現在の復号された画像の各マクロブロックについて１つの量子化器ステップ幅パラメータ値ＱＰを含んでいる。Ｈ．２６４については、量子化器パラメータＱＰは、変換係数を符号化するために使用される線形の量子化器の間隔ＱＳＴＥＰを定義する。実際には、ＱＰは、所定の間隔の表に索引を付ける。この表においては、ＱＰが６増分するごとにＱＳＴＥＰは幅が２倍になる。画像平均された量子化器パラメータＱＰＦは、以下に従ってユニット３で算出される。
【数１】
【００６２】
ここで、ＭｘおよびＭｙは、それぞれ画像の水平および垂直方向のマクロブロックの個数であり、Ｑ（ｉ、ｊ）は、位置（ｉ、ｊ）でのマクロブロックについての量子化器ステップ幅パラメータである。
【００６３】
コントラスト測度を算出する
図９および図１０は、水平方向サイズが画素Ｐｘ個および垂直方向サイズが画素Ｐｙ個の画像内の位置（ｘ，ｙ）の画素ｐ（ｘ，ｙ）についてのコントラスト測度がどのように計算されるかを示している。
【００６４】
水平方向のコントラスト測度を計算するための分析は図９に示されている。この図において、コントラスト測度は、影付きの部分によって示された画素ｐ（ｘ，ｙ）に関して算出される。サイズが同じ隣接する複数の領域が選択される（そのうちの１つは影付きの画素を含んでいる）。各領域は、影付きの画素が位置する行の（好ましくは連続する）画素の組から形成される。各領域の画素強度が平均され、次に、これらの平均の差分の絶対値が、下記の等式（２）によって算出される。コントラスト測度は、この差分の値である。図１０に示されているように、垂直のコントラスト測度が同様の方法で計算される。ここで、上側の画素の組および下側の画素の組が選択される。選択される画素の各々は同じ列の上にある。影付きの画素は、上側の組と下側の組との間の境界に隣接する。上側および下側の組内の画素の強度が平均され、次に各組の平均強度の差分が評価される。この差分の絶対値が、下記の等式（３）に示されている垂直方向のコントラスト、すなわち、垂直方向のコントラストの測度である。本例では、影付きの画素は下側の組に含まれている。しかしながら、コントラスト測度と関連付けられる画素の位置は任意である。ただし、それが、比較最中の画素の組によって共有される境界の近くにあることが条件である。
【００６５】
したがって、水平方向コントラスト測度を取得するために、長さＨである行部分が比較され、他方、垂直方向コントラスト測度を取得するために、長さＶである列部分が比較される（長さＨおよびＶは同じであり得るが、同じであることは必須ではない）。コントラスト測度は、位置が一方では行部分の共通の境界および他方では列部分の共通の境界に局所的な画素に対応付けられる。
【００６６】
次に、そのように算出された水平方向コントラスト測度および垂直方向コントラスト速度が比較され、２つの値（等式（４）において示されているように、水平・垂直方向測度と呼ばれる）のうちの大きい方が、影付きの画素と関連付けられてメモリに格納される。
【００６７】
この手順は、画像の（それぞれ画像の垂直方向・水平方向の端からの垂直方向距離Ｖおよび水平方向距離Ｈの範囲内の）各画素について繰り返される。これによって、ＨまたはＶのウィンドウサイズを用いて画素に対するスライディング・ウィンドウ分析を提供する。次に、画像（フレーム）内の各画素の水平方向および垂直方向測度が平均されて全体的画素差分測度ＣＦ（等式（５）を参照）を与える。次に、各画像に関連したこの全体的測度が複数の画像にわたって平均されて、シーケンス平均された測度、すなわち等式（７）によって時間平均された測度ＴＣＦを取得する。全体的（ＣＦ）測度が平均される対象の画像の数は、映像シーケンスの性質および場面変化の時間間隔に依存し、数秒程度であり得る。明らかなことに、特に量子化ステップ幅が画像ごとに変化する場合、画像の一部だけがこのように分析される必要がある。
【００６８】
画像内の異なる場所でのコントラストを測定するとともに平均を取ることによって、画像の複雑性の単純な測度が取得される。画像の複雑性が歪みを覆い隠すことがあり、それ故に、画像が所与の歪みについてより良い品質であると視聴者に信じさせる場合があるので、画像の複雑性の度合いが使用されて視聴者によって映像信号と対応付けされる品質の主観的度合いをある程度予測することができる。
【００６９】
影付きの画素に関するそれぞれの領域の幅（Ｈ）または高さ（Ｖ）は、視聴者が複雑性について気が付く詳細さの程度に関係する。したがって、画像が遠くから見られるのであれば、ＨとＶは視聴者が画像に接近することが意図される状況での場合よりも大きくなるように選択される。一般に、画像からの視聴者にとって快適な距離は画像のサイズに依存するので、ＨおよびＶのサイズおよびＶは画素サイズおよび画素寸法に依存する（典型的にはより大きなディスプレイはより多くの画素ではなくより大きな画素を有する。ただし、ある所与の画素密度についてはディスプレイサイズも要因となり得る）。典型的には、ＨおよびＶは、各々、それぞれの画像寸法の０．５％と２％の間にあることが予想される。例えば、水平方向に７２０個の画素があるとともに平均のための組がそれぞれ４つの画素を含んでいる場合、水平方向の値は４＊１００／７２０＝０．５６％であり得、また、垂直方向においては、垂直方向に５７６個の画素がある場合、４＊１００／５７６＝０．６９％であり得る。
【００７０】
コントラスト測度を算出するための分析は、以下の等式を参照して次のように記述されることが可能である。この計算は復号された映像画像Ｄを使用して各画像の画像平均された複雑性測度ＣＦを決定する。ＣＦは、復号された映像についてのスライディング・ウィンドウ画素分析を最初に行なうことにより決定される。図２（これは水平方向サイズが画素Ｐｘ個および垂直方向サイズが画素Ｐｙ個の画像内の画素ｐ（ｘ，ｙ）についての水平方向分析を示している）では、水平方向コントラスト測度Ｃｈは、復号されたシーケンスＤのｎ´番目の画像について、以下に従って計算される。
【数２】
【００７１】
Ｈは、水平方向画素分析のためのウィンドウ長さである。Ｃｈ（ｎ，ｘ，ｙ）は、復号された映像シーケンスＤのｎ´番目の画像の画素ｐ（ｘ，ｙ）のための水平方向コントラスト・パラメータである。Ｄ（ｎ，ｘ，ｙ）は、復号された映像シーケンスＤのｎ´番目の画像の画素ｐ（ｘ，ｙ）の強度である。
【００７２】
対応する垂直方向画素分析を示す図１０では、垂直方向コントラスト測度Ｃｖは、以下に従って計算される：
【数３】
【００７３】
ここで、Ｖは、垂直方向画素分析のためのウィンドウ長さである。
【００７４】
次に、ＣｈとＣｖが組み合わせられて水平垂直方向測度Ｃｈｖを与え得る。
【００７５】
Ｃｈｖ（ｎ，ｘ，ｙ）＝ｍａｘ（Ｃｈ（ｎ，ｘ，ｙ），Ｃｖ，（ｎ，ｘ，ｙ）） （４）
Ｘ＝Ｈ−１…Ｐｘ−Ｈ−１
ｙ＝Ｖ−１…Ｐｙ−Ｖ−１
ここで、適用形態によっては、水平方向・垂直方向成分を別々のままにして主観的品質の評価（ユニット６）の際に各々に異なる重み付けパラメータが適用されることを可能にする方が良い場合があることが注目されるべきである。
【００７６】
最後に、全体的な画像平均された画素差分測度ＣＦが、コントラスト値Ｃｈ、Ｃｖおよび（または）Ｃｈｖから、以下に従って計算される。
【数４】
【００７７】
時間平均する
このことは、画像平均されたパラメータＱＰＦおよびＣＦを使用して、対応する時間平均されたパラメータＴＱＰＦおよびＴＣＦを以下に従って決定する。
【数５】
【００７８】
パラメータ平均算出は、ＭＯＳ推定値が必要な時間間隔にわたって行なわれるべきである。これは、ＴＱＰＦとＴＣＦの１対を算出する１つの分析期間かもしれないし、一連のパラメータを算出する一連の間隔かもしれない。典型的に秒単位の長さのウィンドウ間隔で、ＣＦおよびＱＰＦ時間シーケンスを貫いて時間に関して分析ウィンドウを「滑らせる」ことによって、連続的な分析が達成され得る。
【００７９】
ＭＯＳを推定する
このことは、時間平均されたパラメータＴＱＰＦおよびＴＣＦを使用して、復号されたシーケンスＤの対応する期間についての主観的に測定された平均オピニオン評点の推定値ＰＭＯＳを作成する。ＴＱＰＦは、復号されたシーケンス内のノイズの推定に寄与し、ＴＣＦは、そのノイズが映像シーケンスのコンテンツによってどれくらい覆い隠され得るかの推定に寄付する。ＰＭＯＳは、以下に従って、パラメータの組合せから計算される。
【００８０】
ＰＭＯＳ＝Ｆ１（ＴＰＱＦ）＋Ｆ２（ＴＣＦ）＋Ｋ０ （８）
Ｆ１およびＦ２はＡｖＱｐおよびＣＳ内の適切な線形または非線形の関数である。Ｋ０は定数である。ＰＭＯＳは予測された平均オピニオン評点で、１…５の範囲内にある。５が優良品質に、１が悪い品質に等しい。Ｆ１、Ｆ２、およびＫ０は、多くの商用統計ソフトパッケージにおいて利用可能な適切な（例えば、線形、多項式、対数型の）回帰分析によって決定され得る。そのような分析は、既知の主観的品質のトレーニング・シーケンスの組を必要とする。次に、Ｆ１、Ｆ２、およびＫ０によって定義されたモデルは、ＭＯＳを独立変数としＴＱＰＦおよびＴＣＦを従属変数として用いて回帰分析によって導出され得る。典型的に、この、結果得るモデルが使用されてトレーニングにおいて使用される劣化に類似の劣化（コーデック・タイプおよび圧縮率）にさらされた検査シーケンスの品質を予測する。しかしながら、映像コンテンツは異なり得る。
【００８１】
最大解像度（full resolution）放送の素材のＨ．２６４圧縮については、適切な線形モデルは、
ＰＭＯＳ＝−０．１３５＊ＴＰＱＦ＋０．０４＊ＣＳ＋７．４４２ （９）
であることが見出された。
【００８２】
そして、その結果得る推定値は、以下に従って制限されている。
【００８３】
ｉｆ（ＰＭＯＳ＞５）ＰＭＯＳ＝５
ｉｆ（ＰＭＯＳ＜Ｉ）ＰＭＯＳ＝１ （１０）
以下に、上記の実施形態の様々な側面の補足説明が提供される。
【００８４】
導入：分析の際にソース映像シーケンスおよび劣化した映像シーケンスの両方を利用する完全参照型映像品質測定ツールは放送映像についての映像品質を高精度で予測できることが示された。既に劣化した「参照」シーケンスにアクセスしない無参照型技術のデザインは、より困難な提議である。
【００８５】
無参照型分析の別の形態は、復号器またはネットワーク中のどこかで、符号化されたビット・ストリームへアクセスすることによって達成され得る。そのような「ビット・ストリーム」分析は、量子化器ステップ幅、動きベクトル、およびブロック統計のような符号化パラメータに容易にアクセスできるという長所を有する。これは、フレーム・バッファ分析に対しては利用不可能である。ビット・ストリーム分析は、逆変換または動き予測されたマクロブロックの再構成無しの、復号されたパラメータの簡単な計算の分析から、映像シーケンスの完全復号まで及び得る。
【００８６】
ＰＳＮＲは、映像符号化器および完全参照型映像品質測定ツールの両方における主観的な映像品質の評価において使用される測度である。無参照型ツールでは、ＰＳＮＲは直接計算されることが不能であるが、推定されることは可能である。ここで、我々は、完全参照ＰＳＮＲ測度を性能で凌駕し得るＨ．２６４／ＡＶＣ復号器内で動作する無参照型映像品質予測技術を紹介する。
【００８７】
第１に、結果が、ＰＳＮＲ測度を様々なＨ．２６４符号化されたシーケンスに対して使用するベンチマーク品質推定に提供される。第２に、平均量子化器ステップ幅（ＡｖＱＰ）の測度を使用して主観的品質を推定するビット・ストリーム技術に対する考察が与えられる。ＰＳＮＲへの単なる近似ではなく、このビット・ストリーム無参照型測度は、品質推定について完全参照ＰＳＮＲ測度を性能で凌駕することができることが示されている。
【００８８】
最後に、ノイズ・マスキング（ＣＳ）の測度が導入される。これは、ＰＳＮＲおよび量子化器ステップ幅に基づいた品質推定技術の両方の性能をさらに向上させる。測度は、復号された画像シーケンスの画素差分分析に基づいており、映像復号器内で算出される。結果得る、復号器を基板とする無参照型モデルは、０．９１を超える測定された主観的スコアと推定された主観的スコアとの間の相関を達成することが示されている。
【００８９】
映像検査素材 − トレーニングおよびテスト・データベース：
本技術をトレーニングおよびテストするために使用される映像データベースは、１８個の異なる８秒のシーケンス（全て、６２５の放送フォーマット）から構成された。トレーニング・セットは９つのシーケンスから構成された。シーケンスのうちの６つはＶＱＥＧ１データベースから、また、残りの３つは他のところから調達された。テスト・セットは９つの異なるシーケンスから構成された。ＶＱＥＧ１コンテンツはよく知られており、ＶＱＥＧウェブサイトからダウンロードされることが可能である。品質パラメータは各シーケンスの継続時間にわたる平均に基づくことになっているので、動きおよび細部が一貫している特性を備えるコンテンツを選択することが重要であった。シーケンスの詳細は表４に示されている。
【表３】
【００９０】
映像テスト素材 − 符号化：
Ｈ．２６４符号化器ＪＭ７．５ｃを使用してトレーニング・シーケンスおよびテスト・シーケンスの全てが符号化された。各々に対して同じ符号化器オプションが設定されている。符号化器設定の主な特長は次の通りであった：
Ｉ、Ｐ、Ｂ、Ｐ、Ｂ、Ｐ、…フレームパタン； レート制御無効； 量子化パラメータ（ＱＰ）固定； 適応性フレーム／フィールド符号化有効； ループ濾波無効。
【００９１】
非常に多様な符号化器設定を用いて、上記の設定を一定に保つとともに各ソース・ファイルに対する検査の相互間で量子化器ステップ幅パラメータだけを変えることにした。
【００９２】
公式の単刺激主観テストが１２個の対象をトレーニング・セットとテスト・セットの両方に使用して行なわれた。平均ＭＯＳの結果は、表５（トレーニング・セット）および表６（テスト・セット）に示されている。
【表４】
【表５】
【００９３】
品質推定 − ピーク信号対雑音比：ピーク信号対雑音比（ＰＳＮＲ）は、一般に使用されている品質の完全参照型測度であり、多くの映像符号化器における最適化のための重要な測度である。正確に並べられた参照シーケンスおよび劣化したシーケンスを用いれば、ＰＳＮＲは算出される直接的測度であり、時間平均された測度（ＡｖＰＳＮＲ）が以下に従って計算されてもよい。
【数６】
【００９４】
ここで、ｓ（ｎ，ｘ，ｙ）およびｄ（ｎ，ｘ，ｙ）は、ソース・シーケンスｓおよび劣化シーケンスｄからの水平方向において画素Ｘ個（ｘ＝０…Ｘ−１）および垂直方向においてＹ個の画素（ｙ＝０…Ｙ−１）の寸法のＮ個のフレームのうちのｎ´番目のフレーム内の対応する画素強度値（０…２５５）である。この等式が使用されて、９つのトレーニング・シーケンスの各々の８秒間の平均ＰＳＮＲを計算した。平均測定ＭＯＳに対する平均ＰＳＮＲのプロットが図１１に示されている。
【００９５】
平均ＰＳＮＲが２５ｄＢのＭＯＳスコアが考慮される場合、データのコンテンツ依存の性質が示されている。データ中のＭＯＳスコアが３の範囲は、知覚される品質を推定するためにＰＳＮＲを使用することが不正確である可能性を示す。多項式回帰分析は、ＭＯＳとＡｖＰＳＮＲのデータ間の０．７８の相関および０．７１５のＲＭＳ残留を産出する。
【００９６】
品質推定 − 量子化器ステップ幅：Ｈ．２６４については、量子化器パラメータＱＰは、変換係数を符号化するために使用される線形量子化器の間隔ＱＳＴＥＰを定義する。ＱＰは、所定の間隔値の表に索引を付ける。ここでは、ＱＳＴＥＰは、ＱＰが６増分するごとに大きさが２倍になる。
【００９７】
トレーニング・セットの各テストに対して、ＱＰは、ＰおよびＩマクロブロックについては２０、２８、３２、３６、４０、または４４の１つの値に固定されており、Ｂマクロブロックについては２大きい。図１２は、９つのトレーニング・シーケンスの各々についての平均ＭＯＳに対する平均ＱＰのプロットを示している。
【００９８】
ＭＯＳと平均ＱＰとの間の多項式回帰分析は、０．９２４の相関および０．４２４のＲＭＳ残留を産出する。さらに、様々なＱＰ値での予測されるＭＯＳ範囲がＡｖＰＳＮＲについての範囲を著しく下回ることは明白である。
【００９９】
量子化器ステップ幅によるＰＳＮＲの推定値は、量子化範囲内のエラー値の一様分布の近似に依存する。しかしながら、大多数の係数が０まで「中心切り取り（center-clipped）」される場合、この近似は大きなステップ幅で且つ低ビットレートについては成り立たない。やや意外にも、結果は、ＡｖＱＰがＰＳＮＲより主観的点数のより良い予測値であり得ることを示している。Ｈ．２６４におけるＱＰおよび実際の量子化器ステップ幅の間の非線形写像が何らかの形で多項式分析を緩和し得る可能性が減少し、実際のステップ幅対ＭＯＳについても同様の結果が得られたことはここで注目されるべきである。
【０１００】
画素コントラスト測度 − 歪みマスキング：歪みマスキングは、符号化された映像シーケンス内の歪みの知覚に影響する重要な要素である。そのようなマスキングは、スペクトル上の、または時間上の、または空間上の同じ地点における信号とノイズ成分とを人間の知覚機構が識別できないために生じる。そのような考慮事項は、ビットの効率的配分が不可欠である映像符号化器の設計において非常に重要である。この分野における研究は変換と画素の両方の領域の中で行なわれてきた。ここでは、画素領域だけが考慮される。
【０１０１】
画素コントラスト測度 − 画素差分コントラスト測度：ここで、画素領域における分析によって画像シーケンスのマスキング特性を決定するという考え方が、映像品質推定に適用される。実験は、スライディング・ウィンドウ画素差分分析によって算出されたコントラスト測度が非常に良好に機能することを明らかにした。
【０１０２】
画素差分コントラスト測度ＣｈおよびＣｖは上記の等式（２）および（３）によって算出される。ここで、Ｈは水平方向画素分析用のウィンドウ長さであり、Ｖは垂直方向画素分析用のウィンドウ長さである。次に、等式（４）に従って、ＣｈとＣｖが組み合わせられて水平・垂直方向測度Ｃｈｖを与える。次に、Ｃｈｖが使用されて、等式（５）に従ってフレームについての全体の画素差分測度ＣＦを算出し、続いて、上記の等式（６）において定義されるようにシーケンス平均された測度ＣＳを算出し得る。シーケンス平均測度ＣＳ（上ではＴＣＦと称されている）は、Ｈ＝４およびＶ＝２を使用して、復号されたトレーニング・シーケンスの各々ついて算出され、その平均量子化器ステップ幅に対してプロットされた結果は図１３に示されている。
【０１０３】
図１３中の結果は、図１１のＰＳＮＲ対ＭＯＳ結果、およびより少ない程度で図１２のＡｖＱｓｔｅｐ対ＭＯＳ結果と、この順序で著しい類似性を示す。「カレンダー」および「岩」シーケンスは最も高いＣＳ値を有しており、また、ＰＳＮＲおよびＡｖＱｓｔｅｐの両方において良好な範囲にわたって最も高いＭＯＳ値を有している。同様に、「カヌー」および「稚魚」シーケンスは最低のＣＳ値を有しており、そして最低のＭＯＳ値群内にある。したがって、復号された画素から算出されたＣＳ測度は、シーケンスのノイズ・マスキング特性と関係を有しているようである。高いＣＳは、所与のＰＳＮＲについて、マスキングが高く、ひいてはＭＯＳが高いことを意味する。無参照型品質推定におけるＣＳ測度の潜在的用途が、下に述べられている多重回帰分析に含められることによって調べられた。
【０１０４】
結果：第１に、トレーニング・セット用の平均ＭＯＳ（従属変数）は、多くの商用統計ソフトパッケージ（例えばＳｔａｔｖｉｅｗＴＭ）において利用可能なもののような標準多項式／対数型回帰分析を使用して、ＰＳＮＲ（独立変数）によってモデル化された。これについては、www.statview.comを参照されたい。次に、結果得るモデルが、テスト・シーケンスに対して使用された。次に、これが、ＡｖＱＰを独立変数として使用して繰り返された。このプロセスが、各場合でのＣＳを補助的独立変数として用いて繰り返された。結果得る、推定ＭＯＳ値と測定ＭＯＳ値との間の相関およびＲＭＳ残差は、表７に示されている。
【表６】
【０１０５】
結果は、シーケンス平均されたコントラスト測度（ＣＳ）をＰＳＮＲまたはＡｖＱＰに基づいたＭＯＳ推定モデルに含めることが、トレーニング・セットおよびテスト・データ・セットの両方について成績を向上させることを示している。ＡｖＱＰパラメータおよびＣＳパラメータを使用するモデルの成績は特に良好であって、トレーニング（０．９５）およびより印象的なことにテスト（０．９１６）の両方について０．９を超える相関を達成した。
【０１０６】
ＡｖＱＰ／ＣＳモデルについての各トレーニング結果およびテスト結果は、図１４において散布図の形態で示されている。
【０１０７】
結論：Ｈ．２６４の映像復号器における主観的映像品質推定のための２つのパラメータ・モデルが提供された。映像シーケンスにわたって平均されたＨ．２６４量子化器ステップ幅インデックスに相当するＡｖＱＰパラメータは、ノイズの推定に寄与する。復号された画素のスライディング・ウィンドウ差分分析を使用して算出されるＣＳパラメータは、映像コンテンツのノイズ・マスキング特性の示度を付加する。これらのパラメータが一緒に使用されると、復号器において驚くほど正確な主観的品質推定が達成され得ることが示されている。
【０１０８】
８秒のトレーニング・シーケンスおよびテスト・シーケンスは、時間にわたる画像特性の著しい変動を減じる目的で選択された。その意図は、測定ＭＯＳスコアが一時的で明瞭な歪みによって過度に重み付けされないように、劣化が一貫している特性を備えた復号されたシーケンスを使用することであった。こうすることによって、シーケンス平均されたパラメータを使用するＭＯＳスコアのモデル化が、より実用的かつより正確なプロセスになる。
【０１０９】
等式（５）において定義されているコントラスト測度ＣＦは、取得された画像の全体についての各画素に対して行なわれている平均に依存する。空間上・時間上のブロックに対するＣＦの分析が有益であり得ることが分かった。
【特許請求の範囲】
【請求項１】
複数のフレームを表す映像信号を符号化する方法であって、
（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化し、
（ｂ）知覚品質メトリックを使用して符号化された信号についての品質測度を生成するとともに前記品質測度が所定の品質基準を満たすかを確認し、
（ｃ）前記品質測度が前記所定の品質基準を満たさない場合、前記少なくとも１つの符号化パラメータの修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまでステップ（ａ）乃至（ｃ）を繰り返す、
ことを具備する方法。
【請求項２】
前記品質測度が前記所定の品質基準を満たす場合のみ、前記符号化された信号を通信リンク上で映像復号器に送信することをさらに含む、請求項１の方法。
【請求項３】
ステップ（ｃ）において、前記符号化パラメータの値または前記映像信号に適用される修正の量が、ステップ（ｂ）において生成される前記品質測度の値の関数である、請求項１または２の方法。
【請求項４】
前記方法が第１および第２信号部分に対して実行され、
前記品質測度が前記第１信号部分について前記所定の品質基準を満たす場合に前記第２信号部分が符号化される、
請求項１乃至３のいずれか１項の方法。
【請求項５】
前記品質測度が所定のアルゴリズムを用いて生成される数値であり、
前記数値が所定の範囲内にある場合、前記品質測度が前記所定の品質基準を満たす、
請求項１乃至４のいずれか１項の方法。
【請求項６】
前記所定の範囲が第１および第２境界値によって定義され、
前記適用される修正が、前記品質測度の値が後続の繰り返しにおいて前記境界値の一方に近づく変化に帰着する、
請求項５の方法。
【請求項７】
前記符号化された信号が、複数の個別に識別可能なフレーム群（ＧＯＦ）を表わし、
品質測度が各ＧＯＦに対して導出可能であって、
ステップ（ｃ）において、前記少なくとも１つの符号化パラメータの修正された値または前記映像信号の修正された形態が前記所定の品質基準を満たさない各ＧＯＦに適用される、
請求項７の方法。
【請求項８】
各々がステップ（ｃ）において適用される択一的なプロファイルを定義する複数の修正プロファイルを提供し、
１つ以上の選択規則に応じて前記複数のプロファイルのうちの１つを選択する、
ことをさらに具備する請求項７の方法。
【請求項９】
連続する所定数のＧＯＦが前記所定の品質基準を満たさない場合に第１修正プロファイルが選択され、
前記第１プロファイルが、適用されると前記ＧＯＦに対応する前記映像信号の濾波された形態を再符号化するように構成されている、
請求項８の方法。
【請求項１０】
前記濾波が、前記ＧＯＦの各フレームを符号化するのに必要なビット数を減じることを具備する、請求項９の方法。
【請求項１１】
所定数のＧＯＦを具備するセグメントにおいて一部のＧＯＦのみが前記所定の品質基準を満たさない場合に第２プロファイルが選択され、
前記第２プロファイルが、適用されると各不合格ＧＯＦに対応する前記映像信号を修正された符号化パラメータを使用して再符号化するように構成されている、
請求項８乃至１０のいずれか１項の方法。
【請求項１２】
各フレームについてのさらなる品質測度が生成され、
あるフレームについての前記さらなる品質測度が前記所定の品質基準を満たさない場合、フレーム内分析が該フレームに対して実行されて該フレームのどの部分が修正を必要としているかを判断する、
請求項１乃至１１のいずれか１項の方法。
【請求項１３】
前記少なくとも１つの符号化パラメータが量子化ステップ幅を含み、
ステップ（ｃ）が量子化ステップ幅の修正された値を適用することを具備する、
請求項１乃至１２のいずれか１項の方法。
【請求項１４】
前記少なくとも１つの符号化パラメータが符号化ビットレートを含み、
ステップ（ｃ）が前記符号化ビットレートの修正された値を適用することを具備する、
請求項１乃至１３のいずれか１項の方法。
【請求項１５】
複数のフレームを表す映像信号を符号化する方法であって、
（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化し、
（ｂ）知覚品質メトリックを使用して符号化された信号についての品質測度を生成するとともに前記品質測度が所定の品質基準を満たすかを確認し、
（ｃ）前記品質測度が前記所定の品質基準を満たさない場合、複数の修正プロファイルのうちの１つを選択するとともに前記少なくとも１つの符号化パラメータの修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまでステップ（ａ）乃至（ｃ）を繰り返す、
ことを具備し、
所定数のフレームを具備する前記映像信号のセグメントが前記所定の品質基準を満たさない場合に第１修正プロファイルが選択され、
前記第１プロファイルが、適用されると前記映像セグメントの濾波された形態を再符号化するように構成されており、
所定数のフレームを具備する前記映像信号のセグメント内のフレーム部分集合またはフレーム群のみが前記所定の品質基準を満たさない場合に第２プロファイルが選択され、
前記第２プロファイルが、適用されると各不合格フレームまたはフレーム群に対応する前記映像信号を修正された符号化パラメータを使用して再符号化するように構成されている、
方法。
【請求項１６】
複数のフレームを表す映像信号を符号化する方法であって、
（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化することであって、 前記符号化された信号が複数の個別に識別可能なフレーム群（ＧＯＦ）を表わしており、
（ｂ）複数のＧＯＦを具備する映像セグメントについて、知覚品質メトリックを使用して各ＧＯＦについての品質測度を生成し、
（ｃ）前記品質測度が所定の品質レベルを下回っている前記映像セグメント内の１つ以上のＧＯＦを特定し、再符号化されたときに前記品質測度が前記所定の品質レベルを満たすか前記所定の品質レベルに近づくように品質レベルを下回るＧＯＦについて用いられる前記少なくとも１つの符号化パラメータを修正し、
（ｄ）前記品質測度が所定の品質レベルを上回っている同じ前記映像セグメント内の１つ以上のＧＯＦを特定し、再符号化されたときに前記品質測度が前記所定の品質レベルを満たすか前記所定の品質レベルに近づくように品質レベルを上回るＧＯＦについて用いられる前記少なくとも１つの符号化パラメータを修正し、
（ｅ）（ｃ）および（ｄ）において修正された前記符号化パラメータを使用して前記映像セグメントを再符号化する、
ことを具備する方法。
【請求項１７】
プロセッサ上で実行されると前記プロセッサに請求項１乃至１６のいずれか１項の方法を実行させるプロセッサ・コードを運ぶためのキャリア媒体。
【請求項１８】
少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して複数のフレームを表す映像信号を符号化するように構成されている映像符号化器と、
前記映像符号化器からの前記符号化された信号を受け取るためのものであって、知覚品質メトリックを使用して前記符号化された信号についての品質測度を生成し、前記品質測度が所定の品質基準を満たすかを確認し、前記品質測度が前記所定の品質基準を満たさない場合、前記映像符号化器に前記少なくとも１つの符号化パラメータについての修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまで前記映像信号を繰り返し再符号化させるように構成されているコントローラと、
を具備する映像符号化システム。
【請求項１９】
映像データの少なくとも１つのチャネルを複数の受信器へとそれぞれのＩＰリンク上で送信するように構成されているとともに請求項１８において定義されている符号化システムを具備するＩＰＴＶサービス供給システム。
【請求項１】
複数のフレームを表す映像信号を符号化する方法であって、
（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化し、
（ｂ）知覚品質メトリックを使用して符号化された信号についての品質測度を生成するとともに前記品質測度が所定の品質基準を満たすかを確認し、
（ｃ）前記品質測度が前記所定の品質基準を満たさない場合、前記少なくとも１つの符号化パラメータの修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまでステップ（ａ）乃至（ｃ）を繰り返す、
ことを具備する方法。
【請求項２】
前記品質測度が前記所定の品質基準を満たす場合のみ、前記符号化された信号を通信リンク上で映像復号器に送信することをさらに含む、請求項１の方法。
【請求項３】
ステップ（ｃ）において、前記符号化パラメータの値または前記映像信号に適用される修正の量が、ステップ（ｂ）において生成される前記品質測度の値の関数である、請求項１または２の方法。
【請求項４】
前記方法が第１および第２信号部分に対して実行され、
前記品質測度が前記第１信号部分について前記所定の品質基準を満たす場合に前記第２信号部分が符号化される、
請求項１乃至３のいずれか１項の方法。
【請求項５】
前記品質測度が所定のアルゴリズムを用いて生成される数値であり、
前記数値が所定の範囲内にある場合、前記品質測度が前記所定の品質基準を満たす、
請求項１乃至４のいずれか１項の方法。
【請求項６】
前記所定の範囲が第１および第２境界値によって定義され、
前記適用される修正が、前記品質測度の値が後続の繰り返しにおいて前記境界値の一方に近づく変化に帰着する、
請求項５の方法。
【請求項７】
前記符号化された信号が、複数の個別に識別可能なフレーム群（ＧＯＦ）を表わし、
品質測度が各ＧＯＦに対して導出可能であって、
ステップ（ｃ）において、前記少なくとも１つの符号化パラメータの修正された値または前記映像信号の修正された形態が前記所定の品質基準を満たさない各ＧＯＦに適用される、
請求項７の方法。
【請求項８】
各々がステップ（ｃ）において適用される択一的なプロファイルを定義する複数の修正プロファイルを提供し、
１つ以上の選択規則に応じて前記複数のプロファイルのうちの１つを選択する、
ことをさらに具備する請求項７の方法。
【請求項９】
連続する所定数のＧＯＦが前記所定の品質基準を満たさない場合に第１修正プロファイルが選択され、
前記第１プロファイルが、適用されると前記ＧＯＦに対応する前記映像信号の濾波された形態を再符号化するように構成されている、
請求項８の方法。
【請求項１０】
前記濾波が、前記ＧＯＦの各フレームを符号化するのに必要なビット数を減じることを具備する、請求項９の方法。
【請求項１１】
所定数のＧＯＦを具備するセグメントにおいて一部のＧＯＦのみが前記所定の品質基準を満たさない場合に第２プロファイルが選択され、
前記第２プロファイルが、適用されると各不合格ＧＯＦに対応する前記映像信号を修正された符号化パラメータを使用して再符号化するように構成されている、
請求項８乃至１０のいずれか１項の方法。
【請求項１２】
各フレームについてのさらなる品質測度が生成され、
あるフレームについての前記さらなる品質測度が前記所定の品質基準を満たさない場合、フレーム内分析が該フレームに対して実行されて該フレームのどの部分が修正を必要としているかを判断する、
請求項１乃至１１のいずれか１項の方法。
【請求項１３】
前記少なくとも１つの符号化パラメータが量子化ステップ幅を含み、
ステップ（ｃ）が量子化ステップ幅の修正された値を適用することを具備する、
請求項１乃至１２のいずれか１項の方法。
【請求項１４】
前記少なくとも１つの符号化パラメータが符号化ビットレートを含み、
ステップ（ｃ）が前記符号化ビットレートの修正された値を適用することを具備する、
請求項１乃至１３のいずれか１項の方法。
【請求項１５】
複数のフレームを表す映像信号を符号化する方法であって、
（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化し、
（ｂ）知覚品質メトリックを使用して符号化された信号についての品質測度を生成するとともに前記品質測度が所定の品質基準を満たすかを確認し、
（ｃ）前記品質測度が前記所定の品質基準を満たさない場合、複数の修正プロファイルのうちの１つを選択するとともに前記少なくとも１つの符号化パラメータの修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまでステップ（ａ）乃至（ｃ）を繰り返す、
ことを具備し、
所定数のフレームを具備する前記映像信号のセグメントが前記所定の品質基準を満たさない場合に第１修正プロファイルが選択され、
前記第１プロファイルが、適用されると前記映像セグメントの濾波された形態を再符号化するように構成されており、
所定数のフレームを具備する前記映像信号のセグメント内のフレーム部分集合またはフレーム群のみが前記所定の品質基準を満たさない場合に第２プロファイルが選択され、
前記第２プロファイルが、適用されると各不合格フレームまたはフレーム群に対応する前記映像信号を修正された符号化パラメータを使用して再符号化するように構成されている、
方法。
【請求項１６】
複数のフレームを表す映像信号を符号化する方法であって、
（ａ）少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して前記映像信号またはその一部を符号化することであって、 前記符号化された信号が複数の個別に識別可能なフレーム群（ＧＯＦ）を表わしており、
（ｂ）複数のＧＯＦを具備する映像セグメントについて、知覚品質メトリックを使用して各ＧＯＦについての品質測度を生成し、
（ｃ）前記品質測度が所定の品質レベルを下回っている前記映像セグメント内の１つ以上のＧＯＦを特定し、再符号化されたときに前記品質測度が前記所定の品質レベルを満たすか前記所定の品質レベルに近づくように品質レベルを下回るＧＯＦについて用いられる前記少なくとも１つの符号化パラメータを修正し、
（ｄ）前記品質測度が所定の品質レベルを上回っている同じ前記映像セグメント内の１つ以上のＧＯＦを特定し、再符号化されたときに前記品質測度が前記所定の品質レベルを満たすか前記所定の品質レベルに近づくように品質レベルを上回るＧＯＦについて用いられる前記少なくとも１つの符号化パラメータを修正し、
（ｅ）（ｃ）および（ｄ）において修正された前記符号化パラメータを使用して前記映像セグメントを再符号化する、
ことを具備する方法。
【請求項１７】
プロセッサ上で実行されると前記プロセッサに請求項１乃至１６のいずれか１項の方法を実行させるプロセッサ・コードを運ぶためのキャリア媒体。
【請求項１８】
少なくとも１つの符号化パラメータを利用する圧縮アルゴリズムを使用して複数のフレームを表す映像信号を符号化するように構成されている映像符号化器と、
前記映像符号化器からの前記符号化された信号を受け取るためのものであって、知覚品質メトリックを使用して前記符号化された信号についての品質測度を生成し、前記品質測度が所定の品質基準を満たすかを確認し、前記品質測度が前記所定の品質基準を満たさない場合、前記映像符号化器に前記少なくとも１つの符号化パラメータについての修正値または前記映像信号の修正された形態を用いて前記品質測度が前記所定の品質基準を満たすまで前記映像信号を繰り返し再符号化させるように構成されているコントローラと、
を具備する映像符号化システム。
【請求項１９】
映像データの少なくとも１つのチャネルを複数の受信器へとそれぞれのＩＰリンク上で送信するように構成されているとともに請求項１８において定義されている符号化システムを具備するＩＰＴＶサービス供給システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公表番号】特表２０１０−５１５３９２（Ｐ２０１０−５１５３９２Ａ）
【公表日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願番号】特願２００９−５４４４４２（Ｐ２００９−５４４４４２）
【出願日】平成２０年１月３日（２００８．１．３）
【国際出願番号】ＰＣＴ／ＧＢ２００８／００００１０
【国際公開番号】ＷＯ２００８／０８１１８５
【国際公開日】平成２０年７月１０日（２００８．７．１０）
【出願人】（３９００２８５８７）ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】ＢＲＩＴＩＳＨ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＰＵＢＬＩＣ ＬＩＭＩＴＥＤ ＣＯＭＰＡＮＹ
【Ｆターム（参考）】
【公表日】平成２２年５月６日（２０１０．５．６）
【国際特許分類】
【出願日】平成２０年１月３日（２００８．１．３）
【国際出願番号】ＰＣＴ／ＧＢ２００８／００００１０
【国際公開番号】ＷＯ２００８／０８１１８５
【国際公開日】平成２０年７月１０日（２００８．７．１０）
【出願人】（３９００２８５８７）ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】ＢＲＩＴＩＳＨ ＴＥＬＥＣＯＭＭＵＮＩＣＡＴＩＯＮＳ ＰＵＢＬＩＣ ＬＩＭＩＴＥＤ ＣＯＭＰＡＮＹ
【Ｆターム（参考）】
[ Back to top ]