映像品質評価方法及びシステム
【課題】基準シーケンスと試験シーケンスとの間におけるサブフィールド/フレーム要素の不整合による悪影響を低減すること。
【解決手段】基準シーケンスと試験シーケンスとの間におけるサブフィールド/フレーム要素の不整合による悪影響を低減させる自動映像品質評価方法及びシステム。より具体的には、本発明は、試験映像フィールド/フレームのサブフィールド/フレーム要素を基準映像フィールド/フレームからのサブフィールド/フレーム要素と個々にマッチングさせることによってサブフィールド/フレームレベルまでの不整合を処理対象にしている。さらに、映像フィールド/フレームサイズよりも有意な量だけ小さいマッチング要素のサイズを使用することは、過渡的なサブフィールド/フレームの不整合を有効に追跡することを可能にする。
【解決手段】基準シーケンスと試験シーケンスとの間におけるサブフィールド/フレーム要素の不整合による悪影響を低減させる自動映像品質評価方法及びシステム。より具体的には、本発明は、試験映像フィールド/フレームのサブフィールド/フレーム要素を基準映像フィールド/フレームからのサブフィールド/フレーム要素と個々にマッチングさせることによってサブフィールド/フレームレベルまでの不整合を処理対象にしている。さらに、映像フィールド/フレームサイズよりも有意な量だけ小さいマッチング要素のサイズを使用することは、過渡的なサブフィールド/フレームの不整合を有効に追跡することを可能にする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般的には、映像の品質を評価するための方法及びシステムに関するものである。本発明は、より具体的には、映像品質評価値がサブフィールド/フレーム要素に基づいて生成される方法及びシステムに関するものである。
【背景技術】
【0002】
映像の品質に関する試験が長年にわたって実施されてきている。映像に関するデジタル圧縮技術の出現前は、相対的に安定した一組の標準的な方法による正式な主観的試験が行われていた。要約すると、これらの試験では、数人の専門家でない観察者を選んで各々の視覚能力に関する検査を行い、管理した環境において一連の試験場面を約10分乃至30分間見せ、様々な方法のうちの1つの方法でこれらの試験場面の品質に関する点数を付けるように求める。通常は、全基準試験の場合は、最初に基準シーケンスを見せてその後に試験シーケンスを見せ、基準シーケンスと比較した場合の試験対象シーケンスの点数を付けるように求める。該当規格であるITU−R BT.500"Methodology for the Subjective Assessment of the Quality of Television Picture"(テレビの画質に関する主観的評価)では、主観的測定に関するさらなる詳細が示されている。この規格が最初に発行されたのは1974年であり、正式名称はCCIR Rec.500である。さらに、この規格の第7版では、過去に提案されている主観的試験方法が網羅されている。
【0003】
人間の観察者による主観的試験は、従来のテレビシステム及び圧縮型テレビシステムの両システムに関して有効な結果を得ることができ、さらに静止画及び動画に関する非常に広範な用途において非常に有効であるなどの幾つかの利点を有している。しかしながら、主観的試験は、精密な試験装置構成が最終結果に対して影響を及ぼす可能性があり、細心の試験装置構成及び制御が要求され、さらには統計的に有意な結果を得るために非常に多くの人間の観察者の中から選別しなければならないという明らかな欠点も存在している。これらの欠点は、主観的試験を複雑でかつ時間のかかるものにし、その結果、主観的試験は開発目的には適している一方で、動作上のモニタリング、生産ライン試験、等には役立たない。
【0004】
従って、当業においては、上述されている人間による主観的試験の欠点を克服するために、自動化されて通常はコンピュータに基づいた映像比較技術を用いて映像の品質を自動的に評価する方法を確保することも知られている。画質を自動的に解析する1つの従来のシステムは、米国オレゴン州に所在するテクトロニクス・インク(Tektronix Inc)(14200 SW Karl Braun, P.O. Box 500, Beaverton, Oregon 97077 USA)製のPQA300システムである。PQA300は、5秒間の映像試験シーケンスのうちの2秒間の部分を測定するシステムである。該映像試験シーケンスは、CD ROMからダウンロードするか又はビデオから録画し、試験対象システムに対して展開させることができる。次に、試験対象システムからの出力項目を保存し、該2秒の試験シーケンスにおいてDSP加速ハードウェアを用いて該出力項目の解析を行う。測定後は、「画質評点」と呼ばれる単一の画質値が得られる。PQA300は、JNDメトリックスと呼ばれる人間の視覚システムのモデルを採用しており、画質に関する評点を生成するために映像情報に関して3種類の解析(即ち、空間解析、時間解析、及びフルカラー解析)を行う。さらに、PQA300は、基準画像と試験画像との間のPSNR差に関わる強度を有する動画マップの形で表示されるPSNR値を提供する。要約すると、PQA300は、PSNR測定値に加えて、映像品質値を生成するために試験映像シーケンス及び基準映像シーケンスを解析することができる。
【0005】
しかしながら、試験シーケンスと基準シーケンスを直接比較して上述した品質評価値を生成する方法においては問題が発生する可能性がある。例えば、基準シーケンスの全体又は一部と試験シーケンスの全体又は一部との間における空間的不整合又は時間的不整合は、当該測定値に対して大きな影響を及ぼす可能性があるが、人間の観察者にとっては知覚的に意味のないものとしてとらえられてしまうおそれがある。基準シーケンスと試験シーケンスの間における差を測定することによって信頼性の高い現実的な全基準評価を行うのであれば、このような不整合を処理しなければならない。
全基準試験状況においては、空間的不整合及び時間的不整合が常に一般的に発生することになり、これらの不整合は、全基準シーケンス又は劣化シーケンスに対して「ワンオフ」(one off)整合を行うことによって処理することができる。該ワンオフ整合について取り扱っているこれまでの文書例としては、US6483538、US6259477、US5894324、US6295083、及びUS6271879、等がある。さらに、フィールドに基づく空間ジター又は時間ジターの場合は、不整合がフィールド間で異なることがあり、これらのジターは、類似の技術を各々のフィールドごとに応用することによって処理することができる。しかしながら、フィールド内又はフレーム内では、これよりも複雑であるが同様に知覚不能な不整合が発生する可能性があり、1つの映像フィールド又はフレームの各領域ごとに異なったシフト、スケーリング、又は遅延が生じるおそれがある。例えば、空間ワープ、ライン消失、又はブロックのフリーズが映像処理中に生じる可能性がある。
【発明の開示】
【発明が解決しようとする課題】
【0006】
従って、人間による主観的試験結果の代わりに用いることができる画質評価基準が自動的に生成されるようにするためには上記の問題を考慮に入れる必要がある
【課題を解決するための手段】
【0007】
本発明は、基準シーケンスと試験シーケンスとの間におけるサブフィールド/フレームの不整合による悪影響を軽減させる自動映像品質評価方法及びシステムを提供することによって上記の特定された問題に対処するものである。より具体的には、本発明は、試験映像のフィールド/フレームのサブフィールド/フレーム要素を基準映像のフィールド/フレームのサブフィールド/フレーム要素と個別にマッチングさせることによって、処理すべきサブフィールド/フレームレベルまでの不整合に対処するものである。さらに、本発明においては、映像フィールド/フレーム のサイズよりも有意な量だけ小さいマッチング要素を用いることで、過渡的なサブフィールド/フレームの不整合を実効的に追跡することが可能である。
【0008】
上記に関して、本発明は、第1の側面においては、試験映像フィールド/フレームのサブフィールド/フレーム要素を少なくとも1つの基準映像フィールド/フレームの対応するサブフィールド/フレームとマッチングさせるステップと、該試験映像フィールド/フレーム及び該基準映像フィールド/フレームのマッチングされたサブフィールド/フレーム要素に基づいて映像品質値を生成するステップと、を具備する映像品質評価方法を提供する。
【0009】
本発明の該第1の側面は、上述されているように、サブフィールド/フレームの不整合及びその他の不具合を考慮することを可能にし、それによって全体的な映像品質値が該不整合による影響を受けないようにすることができるという利点を有する。この点に関して、サブフィールド/フレーム要素は、好ましいことに、人間の観察者が実質的に知覚的に気が付かない不整合及びその他の不具合のマッチングを可能にするような大きさになっている。
【0010】
1つの好ましい実施形態においては、該マッチングステップは、好ましいことに、試験映像フィールド/フレームのサブフィールド/フレーム要素に関して、該試験映像フィールド/フレームに時間的に対応する基準映像フィールド/フレームに先行するM1の基準映像フィールド/フレーム及び/又は後続するM2の基準映像フィールド/フレーム内のマッチングフィールド/フレーム要素を探索することをさらに具備する。ここで、M1及びM2は整数である。このことは、時間的に対応するフィールド/フレーム内だけでなく時間的に異なるフィールド/フレーム内における副要素間のマッチングを行うこと、又は時間的に対応するフィールド/フレームの代替として時間的に異なるフィールド/フレーム内における副要素間のマッチングを行うことを可能にし、その結果、ブロックのフリーズ等の時間上の不具合を考慮に入れることが可能になる。好ましいことに時間的探索限度M1及びM2は予め定義されているが、本発明の変形においては、該限度は適宜定義することができる。
【0011】
該好ましい実施形態において、該探索ステップは、好ましいことに、基準映像フィールド/フレームの領域のうちで、試験サブフィールド/フレーム要素が試験映像フィールド/フレーム内において占める位置に対応する基準映像フィールド/フレーム内の位置の周囲の空間的に限定された領域内を探索することをさらに具備する。各フィールド/フレーム内における空間探索範囲を限定することによって処理上の要求が低減され、さらに、人間の観察者にとって実質的に知覚的に意味のない不具合のみを含む副要素がマッチングされることになる。好ましいことに探索領域の空間範囲は予め定義されているが、本発明の変形においては、該空間範囲は適宜定義することができる。
【0012】
本発明のいくつかの実施形態においては、該マッチングステップは、好ましいことに、1つ以上のマッチング統計値及び/又はマッチングベクトルの計算をさらに具備することができ、該生成ステップは、該計算されたマッチング統計値及び/又はマッチングベクトルに基づいてさらに映像品質パラメータを生成する。該マッチングステップから得られたマッチング統計値を用いることは、得られる全体的な映像品質値を実質的に向上させ、人間による主観的試験によって得られる映像品質値により近づけることが判明している。同様に、マッチングベクトルを用いることは、全体的な映像品質値を向上させることが判明している。
【0013】
本発明のいくつかの実施形態においては、該生成ステップは、好ましいことに、試験映像フィールド/フレーム及び/又は基準映像フィールド/フレームの特性に各々関連する複数の映像特性値を、該試験映像フィールド/フレーム及び/又は基準映像フィールド/フレームのマッチングされたサブフィールド/フレーム要素に基づいて計算することと、少なくとも該計算された映像特性値を積分して映像品質値を得ること、とをさらに具備する。
【0014】
マッチングされた副要素に基づいて映像特性値を計算しさらに該映像特性値を積分することによって、視覚的に意味のない映像上の不具合を考慮した映像品質値を得ることができる。好ましいことに、該積分するステップは、マッチング統計値を計算された映像特性値と積分として映像品質値を得ることをさらに含む。さらに、好ましいことに、該映像特性値は、各々が、1つ以上の空間周波数値、1つ以上の質感値、少なくとも1つのエッジ値、少なくとも1つの輝度信号雑音比値、及び/又は1つ以上のクロミナンス信号雑音比値のうちのいずれか2つ以上である。
【0015】
本発明の1つの好ましい実施形態においては、試験フィールド/フレームに関するエッジ値の計算は、好ましいことに、該試験フィールド/フレームの各サブフィールド/フレーム要素内のエッジ数をカウントすることと、該試験フィールド/フレームのサブフィールド/フレーム要素とマッチングされた該少なくとも1つの基準フィールド/フレームの各サブフィールド/フレーム要素内のエッジ数をカウントすることと、各々のカウント値に基づいて該試験フィールド/フレームに関するエッジ値を決定すること、とを具備する。
【0016】
フィールド/フレームの副要素内におけるエッジ数をカウントすることによって、知覚不能な各エッジ位置の違いを明らかにすることができ、その結果、人間による主観的試験によって導き出される値により近い向上した映像品質値を導き出すために用いることができるエッジ評価値が得られる。
【0017】
好ましいことに、該好ましい実施形態においては、該積分ステップは、予め決められた係数によって各値を加重することと、該加重値を合計して映像品質値を得ること、とをさらに具備する。これらの加重係数は、事前の校正によって見つけ出され、最終的な映像品質値が人間による主観的試験において得られる値によりいっそう近い値になるように様々な映像特性値の全体的積分を微調整するために用いることができる。好ましいことに、これらの加重係数及びオフセット値は、試験映像フィールド/フレーム及び基準映像フィールド/フレームの型に依存し、このため、各型の映像フィールド/フレームごとに専用の加重係数を用いることができる。このことは、本発明によって提供される利点と同じ利点を数多くの異なった型の映像に関しても確保することを可能にする。
【0018】
本発明の第2の側面においては、試験映像フィールド/フレームのサブフィールド/フレーム要素を、少なくとも1つの基準映像フィールド/フレームの対応するサブフィールド/フレーム要素とマッチングさせるためのマッチング手段と、該試験映像フィールド/フレーム及び該基準映像フィールド/フレームのマッチングされたサブフィールド/フレーム要素に基づいて映像品質値を生成するために使用するように配備された映像処理手段と、を具備する映像品質評価システムをさらに提供する。
【0019】
本発明の該第2の側面のシステムは、本発明の第1の側面に関して前述されている利点と実質的に同じ利点を提供する。さらに、該第2の側面においては、該第1の側面に関して上述されている特長及び利点と実質的に類似したさらなる特長及び利点も提供することができる。
【0020】
本発明の第3の側面においては、コンピュータシステムによって実行時に前述の請求項のうちのいずれかの請求項のプロセスを該コンピュータシステムに実施させるように配備された1つのコンピュータプログラム又は一連のプログラムをさらに提供する。該1つのコンピュータプログラム又は該一連のプログラムは、該コンピュータプログラム又は該一連のプログラムのうちの少なくとも1つのプログラムに対応するデータを組み込んだ変調搬送波信号(例えば、インターネット等のネットワークを通じて搬送される信号)によって具体化することができる。
【0021】
本発明は、さらにもう1つの側面においては、該第3の側面に従った1つのコンピュータプログラム又は一連のコンピュータプログラムのうちの少なくとも1つのプログラムを格納したコンピュータ読取可能記憶媒体も提供する。該コンピュータ読取可能記憶媒体は、コンピュータによって読取可能なあらゆる磁気記憶媒体、光学記憶媒体、磁気光学記憶媒体、ソリッドステート記憶媒体、又はその他の記憶媒体であることができる。
【0022】
例示することのみを目的として示されている本発明の実施形態に関する下記の説明を読みさらに添付図面を参照することで本発明のさらなる特長及び利点が明確になる。該添付図面においては、同一のものについては図面全体に渡って同一の参照番号を付けることとする。
【発明を実施するための最良の実施形態】
【0023】
以下では本発明の実施形態について説明する。
【0024】
図1は、本発明の実施形態の一般的配備を示した全体的システムブロック図である。図1において、基準シーケンスフィールド/フレームを具備する基準シーケンスが検出器モジュール2に入力される。同様に、映像フィールド/フレームの試験シーケンス8(本出願明細書においては、試験シーケンス又は劣化シーケンスという名称と互換可能である)も検出器モジュール2に入力される。該試験シーケンスは、該基準シーケンスを試験対象システム(例えば、ビデオ録画装置、放送システム、ビデオコーデック、等)に入力し、次に該試験対象システムの出力を試験シーケンスとすることによって得られる。検出器モジュール2は、入力された基準映像フィールド/フレーム及び試験映像フィールド/フレームの様々な映像特性を検出して映像特性値を生成する働きをする。次に、該映像特性値が積分モジュール4に出力される。積分モジュール4は、映像特性値を積分して1個の予測される映像品質値10を提供し、該映像品質値が出力される。
【0025】
図2は、本発明の実施形態の配備をさらに詳細に例示した図である。図2からわかるように、本発明のシステムは、劣化した映像シーケンス6及び基準映像シーケンス8を入力項目として受け取るように配備されたクロップ・オフセットモジュール32を提供する。さらに、クロップ・オフセットモジュール32は、2個の予め決められたオフセット値であるoffsetX及びoffsetYを入力項目として受け取る。クロップ・オフセットモジュール32は、入力されたシーケンスをデインターレースされたフォーマットに変換し(必要な場合)、さらに、入力されたシーケンスを、後述されるような形で必要に応じてオフセットありで又はオフセットなしでクロッピングする機能も有する。次に、変換及びクロピングされた各々の試験映像シーケンス及び基準映像シーケンスは、クロップ・オフセットモジュール32からシーケンスマッチャーモジュール(sequence matcher module)30に出力される。さらに、図2において示されているように、クロッピングされた劣化映像シーケンス6は、クロップ・オフセットモジュール32から、空間周波数アナライザ22、輝度・クロミナンスピーク信号雑音比アナライザ24、エッジ検出器アナライザ26、及び質感アナライザ28の各々の劣化シーケンス入力部に直接出力される。以下では、アナライザ22乃至28の目的及び動作について説明する。
【0026】
再度シーケンスマッチャーモジュール30について説明すると、シーケンスマッチャーモジュール30は、クロッピングされた劣化映像シーケンス6及び基準映像シーケンス8を受け取り、さらに、試験対象となっている試験映像フィールド/フレームの副要素とマッチする基準映像フィールド/フレームの副要素を具備するマッチングされた基準フィールド/フレームを各試験映像フィールド/フレームごとに生成するために、劣化映像フィールド/フレームの副要素を基準フィールド/フレームのマッチング副要素とマッチングさせる。次に、マッチングされた基準映像フィールド/フレーム34は、シーケンスマッチャーモジュール30から、空間周波数アナライザ22、輝度・クロミナンスピーク信号雑音比アナライザ24、及びエッジ検出器アナライザ26の各々の基準入力部に出力される。さらに、シーケンスマッチャーモジュール30は、マッチングされた基準フィールド/フレーム34を生成するに際して、同じく出力されるマッチング統計値(XPerCent、YPerCent、TPerCent)を生成するために用いることができるマッチング統計値も生成する。さらに、マッチャーモジュール30は、マッチングされたピーク信号雑音比(MPSNR)値も生成し、この値も出力される。
【0027】
次に、4つのアナライザモジュール22乃至28の各々について概説すると、空間周波数アナライザ22は、入力された試験映像フィールド/フレーム及びマッチングされた基準映像フィールド/フレームを解析する働きをし、入力されたマッチングされた基準フィールド/フレーム及び試験フィールド/フレームに関するピラミッド解析からピラミッドSNR値PySNR(a,b)を生成する。さらに、輝度・クロミナンスPSNRアナライザ24は、入力されたマッチングされた基準フィールド/フレーム及び入力された試験フィールド/フレームを比較して輝度・クロミナンスPSNR値を生成し、次に該PSNR値が出力される。同様に、エッジ検出器アナライザ26は、入力されたマッチングされた基準フィールド/フレーム及び入力された試験フィールド/フレームを解析し、単一のエッジ検出器値EDifを出力する。最後に、質感アナライザ26は、試験フィールド/フレームを解析し、該フレーム内の質感を示すパラメータTextureDegを計算する。図2には示されていないが、質感アナライザ28は、原基準フィールド/フレーム8、又はマッチングされた基準フィールド/フレーム34のいずれのフィールド/フレームも受け取ることができ、さらにこれらのフィールド/フレームに関わるパラメータであるTextureRef又はTextureMrefをそれぞれ生成することができる点にも注目すること。以下では、これらの空間周波数アナライザ22、輝度・クロミナンスピーク信号雑音比アナライザ24、エッジ検出器アナライザ26、及び質感アナライザ28の各々の動作についてさらに詳細に説明する。
【0028】
再度図1において、各々のアナライザ22乃至28からの出力、及び、シーケンスマッチャーモジュール30から出力されたパーセント値及びMPSNR値は、各々が積分モジュール4に入力されることがわかる。積分モジュール4は、これらの値を積分して予測映像品質値10を生成する働きをする。以下では、積分器4の動作についてもさらに詳細に説明する。
【0029】
再度図2において、該図に示されている個々のモジュール及びアナライザの各々の動作について図3乃至図13を参照しつつ説明する。
【0030】
最初にクロップ・オフセットモジュール32について説明すると、図3は、クロップ・オフセットモジュール32が入力された試験映像フィールド/フレーム及び基準映像フィールド/フレームに関して実施するステップを例示した流れ図である。
【0031】
クロップ・オフセットモジュール32によって実施される一般手順では、最初に、入力されたシーケンスをインターレースフォーマットからブロックデインターレースフォーマットに変換し、次に、入力された劣化シーケンスをオフセットありでクロッピングし、入力された基準シーケンスをオフセットなしでクロッピングする。図3は、これらのタスクを完遂させるルーチン例を示した図である。
【0032】
図3のルーチンは、各入力されたシーケンス(試験シーケンス及び基準シーケンス)に対して別個に適用され、各々のクロッピングされた試験シーケンス及び基準シーケンスが生成される。該ルーチンの動作は以下のとおりである。
【0033】
最初に、ステップ3.2において、FOR処理ループが開始され、クロップ・オフセットモジュールが入力されたシーケンス(試験シーケンス又は基準シーケンスのうちのいずれかのシーケンス)内のすべての各フィールド/フレームを処理する。次に、ステップ3.4において、さらなる入れ子型のFOR処理ループが開始され、クロップ・オフセットモジュールが各フィールド/フレームのコンポーネント部分(例えば、Y、U及びV)の各々に関するプロセスを実施する。
【0034】
該入れ子型FORループ内において、最初に実施される動作はステップ3.6の動作であり、入力されたフィールド/フレームの現在のコンポーネント部分が最初に非インターレースフォーマットに変換される(必要な場合)。例えば、次式に従い、各後続フィールドがアレイRefY、RefU、及びRefVによって表されるようにするために、YUV422インターレースフォーマットからブロックYUV444デインターレースフォーマットへの変換を行うことができる。
【数1】
【数2】
【数3】
【0035】
ここで、Xはフィールド内の水平画素数、Yは垂直画素数である。YUV422入力の場合は、各U値及びV値を繰り返して全解像度アレイInUField及びInVFieldを得なければならない。
【0036】
次に、ステップ3.8において、現在のコンポーネント(Y、U、又はV)に関するクロッピング及びオフセットされた画素値を保持するためのアレイが初期設定される。該アレイは、RefYfield、RefUfield、RefVfield、DegYfield、DegUfield、又はDegVfieldのうちの1つであり、いずれのアレイになるかは、基準シーケンス又は試験シーケンスのいずれのシーケンスを現在処理中であるか、及び該シーケンスの現在のフレームのコンポーネントのうちのいずれのコンポーネントであるかに依存する。尚、各入力フィールドに関して完全な一組のYfieldアレイ、Ufieldアレイ、及びVfieldアレイが生成される。
【0037】
ステップ3.8に引き続き、ステップ3.10において、適用すべきオフセット(存在する場合)を考慮しつつ、各フィールド/フレームコンポーネントのうちのコピーすべき領域が計算される。このルーチンは、入力された劣化シーケンスをオフセットありでクロッピングし、入力された基準シーケンスをオフセットなしでクロッピングする。オフセットパラメータOffsetX及びOffsetYは、外部で決定され、劣化シーケンスが基準シーケンスからオフセットされる水平画素数及び垂直画素数を定義する。画像の起点は画像の左上隅に定められており、+ve水平増分が右方向に移動し、+ve垂直増分が下方に移動する。XOffset値が2の場合は、劣化フィールドが右に2画素だけオフセットされることを示しており、YOffset値が2の場合は、下方に2画素だけオフセットされることを示している。適用されるオフセット値は、画像整合技術、等によって見つけ出すことができる。画像整合技術は、当業においては既知であり、背景技術において引用されているこれまでの技術文書のうちのいくつかにおいて説明されている。
【0038】
アレイInField、InUFiled、及びInVField内においてYUV444フォーマットで保存されているYUV値を有する入力フィールドの場合は、クロッピング及びオフセットされた出力は、式(3−4)乃至(3−20)に従って計算される。
【数4】
【数5】
【数6】
【数7】
【数8】
【数9】
【数10】
【数11】
【0039】
ここで、X=水平フィールド寸法、Y=垂直フィールド寸法、Cx=左から右にクロッピングされる画素数、Cy=最上部から最下部にクロッピングされる画素数。
【0040】
625ライン映像シーケンスの場合は、下記の値を用いることができる。
【数12】
【0041】
525ラインシーケンスの場合は、下記の値を用いることができる。
【数13】
【0042】
これで、Xstart、Xend、 Ystart及びYendが、各フィールドのうちのコピーされる領域を定義する。この領域外の画素は、ステップ3.12において式(3−14)乃至(3−17)に従って初期設定され、ここで、YField、UField及びVFieldは、Y値、U値及びV値をそれぞれ含むXxYの出力画素アレイである。
【0043】
ステップ3.12において、フィールドの左右の垂直バーは、次式に従って初期設定される。
【数14】
【数15】
【0044】
フィールドの最上部及び最下部の水平バーは、次式に従って初期設定される。
【数16】
【数17】
【0045】
最後に、ステップ3.14において、画素値は、次式に従ってコピーされる。
【数18】
【数19】
【数20】
【0046】
入力された劣化シーケンスに関しては、クロッピング及びシフトは、出力フィールドアレイDegYField、DegUField及びDegVFieldを生成する。他方、基準シーケンスに関するシフトなしクロッピングは、RefYField、RefUField及びRefVFieldを生成する。これらのXxYの二次元アレイは、後述されているように、マッチングモジュール30及びアナライザ22乃至28への入力項目として用いられる。
【0047】
クロッピングされた試験映像フィールド/フレーム及び基準映像フィールド/フレームは、クロップ・オフセットモジュール32からシーケンスマッチングモジュール30に出力される。マッチングプロセスを実施するためには、シーケンスマッチャーモジュール30は、基準シーケンス及び試験シーケンスの各々のいくつかのフィールド/フレームを受け取り30さらにこれらのフィールド/フレームをバッファリングしなければならない。好ましいことに、マッチングモジュール30が有するバッファスペースと同じ数の基準フィールド/フレーム及び試験フィールド/フレームがバッファリングされる。シーケンスマッチングモジュール30の動作が図5において詳細に示されている。
【0048】
最初に、ステップ5.2において、マッチングモジュール30は、上述されているように、クロッピングされた基準フィールド/フレーム及び試験フィールド/フレームを受け取り、個々のフィールド/フレームをバッファリングする。次に、ステップ5.4において、各々の試験映像フィールド/フレームNに関する処理ループが開始され、各々の入力された試験フィールドが時間の経過とともに処理される。該処理ループ内において、現在のフィールド/フレームNに関する次のステップがステップ5.6において実施され、該現在のフィールド/フレームがbxxbyの画素ブロックに分割される(ここで、bx及びbyは、好ましいことに両方とも9である)各画素ブロックは、属するフィールド/フレームN及び該ブロックの左最上部座標(x,y)によってインデキシングされる。次に、次のステップであるステップ5.8において、各画素ブロックBdeg(N,Px,Py)を処理するための第2の処理プロセスが開始される。ここで、Nは該ブロックが見つかるフレームであり、(Px,Py)は、該ブロック内の左最上部の画素の座標である。
【0049】
現在のフィールド/フレーム内の各画素ブロックの処理を開始後は、ステップ5.10において、さらなる処理ループが開始され、基準シーケンス内のN−M1からN+M2までの各フィールド/フレームnの処理が行われる。該処理では、現在の試験対象フレームNよりも前のM1のフィールド/フレーム、さらにはM2の後続するフィールド/フレームが探索される。次に、ステップ5.12において、探索境界Px−LxとPx+Lxの間の各水平画素位置xを探索するためのさらなる処理ループが開始され、次に、ステップ5.14において、探索境界Py−LyとPy+Lyの間の各垂直位置yを処理するための別の処理ループが開始される。ステップ5.10、ステップ5.12、及びステップ5.14において開始された各々の処理ループの結果、現在の試験対象フィールド/フレームに時間的に対応する基準フィールド/フレームに先行するM1のフレームから後続するM2のフレームまでの各フレーム内において、水平限界Lx及び垂直限界Lyによって定義された探索領域によって境界が定められたエリアが探索される。このプロセスは図4に示されており、左最下部座標(x,y)を有する劣化シーケンスのフィールドN内に示されている画素ブロックBが、基準シーケンス内において指示されている各々のエリア内において探索される。
【0050】
基準シーケンスの指示されたエリア内において画素ブロックBを探索するために実施される試験では、ステップ5.16において、探索されたエリア内の各位置に関するマッチング誤差E(n,x,y)が次式に従って決定される。
【数21】
【0051】
ステップ5.16において決定されたマッチング誤差は、のちに使用するために、現在値n、x、及びyに関するマッチング誤差として保存される。次に、ステップ5.18において、値yが増分され(最大値に達していない場合)、処理がステップ5.14に戻る。ステップ5.14では、次のyの値に関するマッチング誤差が決定される。yが最大値に達している場合は、処理はステップ5.20に進む。ステップ5.20では、xが増分され(xが最大値に達していない場合)、処理がステップ5.12に戻る。xが最大値に達している場合は、処理はステップ5.22に進む。ステップ5.22では、ステップ5.10において定められた最大値に達していない場合はカウンタnの数が増やされ、処理がステップ5.10に戻る(該当する場合)。nが最大値に達している場合は、処理がステップ5.24に進む。ステップ5.10、5.12及び5.14の入れ子型FORループの結果、図4に示されている探索領域内において可能性のある各位置に関するマッチング誤差E(n,x,y)が決定される。
【0052】
可能性のある各位置に関するマッチング誤差E(n,x,y)が得られた後は、ステップ5.24において次のステップが開始され、これらのn、x、及びyの値が見つけ出される。該マッチングエラー値は、最小値である。この場合は、保存されているマッチング誤差値を選別して最小誤差値を決定し、該最小値を得るに至ったn、x、及びyの値を決定する。
【数22】
【0053】
上記の方法で最小のマッチング誤差が決定後においては、処理中の現ブロックBdeg(N,Px,Py)にマッチングされたブロックは、Bref(nm,xm,ym)であり、このブロックは、基準シーケンス内のブロックのうちで、試験シーケンス内において処理中の現ブロックとのマッチングブロックである。
【0054】
現在のマッチングブロックを見つけ出した後は、ステップ5.26において、マッチングされたブロックBref(nm,xm,ym)が、現在の試験フィールド/フレームに対応するマッチングされた基準アレイ内にコピーされ、特に、該マッチングされた基準アレイ内においてブロックBdeg(N,Px,Py)と同一の位置を有するブロック内にコピーされる。すなわち、該基準アレイ内のマッチングされたブロックは、探索領域内のどの箇所のブロックであるかにかかわらず、次式に従い、構築対象となっているマッチングされた基準フィールド/フレーム内において、現在の試験対象ブロックが現在の試験フィールド/フレーム内において有している位置に対応するブロック位置内にコピーされる。
【数23】
【0055】
ここで、bは該ブロックの寸法(bx及びby)である。
【0056】
次に、ステップ5.28において、現在の試験フィールド/フレーム内の次の画素ブロックに処理が進められ(該当する場合)、該次の画素ブロックが上記に従って処理される。現在の試験フィールド/フレーム内の各画素ブロックを上記に従って処理することは、試験ブロックの各々に関するマッチング基準ブロックが見つけ出され、さらに、該マッチング基準ブロックをマッチングされた基準アレイ内にコピーすることは、該現在の試験フィールド/フレームに関するマッチングされた基準フィールド/フレームを生成させる。従って、すべての画素ブロックが適宜処理された後は(ステップ5.28において決定される)、ステップ5.30において、新たに構築されたマッチングされた基準フィールド/フレームを、使用するために各々のアナライザ22乃至28に適宜出力することができる。さらに、試験シーケンス内のすべてのフィールド/フレームに関してこのプロセスを繰り返すことによって、一連のマッチングされたフィールド/フレームをアナライザ用に構築することができる。
【0057】
劣化ブロックに関する最良のマッチを最初に探索するためのマッチングプロセス、及びその結果得られたブロックをマッチングされた基準アレイ内にコピーするプロセスは、希望される解析領域全体に関して繰り返される。この解析領域は、以下の2つの式に従い、ブロック中心点Px()及びPy()によって定義される。
【数24】
【数25】
【0058】
ここで、Qx及びQyは、水平解析ブロック数及び垂直解析ブロック数をそれぞれ定義し、KX1及びKY1は、最上部から及び左側からの解析ブロックの初期オフセットをそれぞれ定義し、KX2及びKY2は、解析ブロックのシフトを定義する。
【0059】
従って、N番目のフィールドのマッチング解析は、以下の式(5−6)及び一組の最良マッチ誤差値(5−7)によって表されたマッチングされた基準シーケンスを生成させる。
【数26】
【数27】
【0060】
一組のオフセットアレイMatT、MatX及びMatYを次式のように定義することができる。
【数28】
【0061】
625及び525の放送シーケンスに関するマッチングパラメータが表1に示されている。
【表1】
【0062】
(5−4)及び(5−5)によって定義された解析領域は、完全なフィールドサイズを網羅していない。このため、MRefは、その他の場所において無制限で使用できるようにするために式(5−9)に従って初期設定しなければならない。
【数29】
【0063】
しかしながら、再度流れ図において、新たに構築された個々のフィールド/フレームをステップ5.30においてアナライザに出力後は、マッチングモジュールは次に進み、直前に実施されたマッチングプロセスからいくつかのマッチング統計値及びその他の値を計算する。以下では、これらのマッチング統計値及びその他の値の計算について説明する。
【0064】
マッチングモジュール30の主機能は、映像品質評価システムの検出モジュール内において使用するためのマッチングされた基準シーケンスを生成することであり、このマッチングされた基準シーケンスの生成については上述されている。しかしながら、マッチングプロセスにおいて導き出されたいくつかの評価基準は、最終的な映像品質値を生成する際にも使用できることも判明している。以下では、水平マッチング統計値に関わる1つの該評価基準について説明する。
【0065】
ステップ5.32において、マッチングプロセスから得られた水平マッチング統計値が、積分プロセスにおいて使用するために計算される。各解析ブロックに関する最良のマッチ(前述の方法で決定される)は、次式に従い、各フィールドに関するヒストグラムhistXを構築する際に用いられる。
【数30】
【0066】
ここで、アレイhistXは、各フィールドに関してゼロに初期設定される。次に、該ヒストグラムを用いて次式に従って評価基準fXPerCentを決定する。
【数31】
【0067】
各フィールドに関して、評価基準fXPerCentは、マッチングヒストグラムのピークに寄与するマッチングされたブロックの割合(%)を与える。評価基準fXPerCentは、後述するように、のちに使用するためにマッチングモジュール30から積分モジュール4に出力される。
【0068】
次に、ステップ5.34において、マッチングモジュール30内ではマッチングされたPSNR(MPSNR)値も計算される。ここでは、各マッチングされたブロックに関する最小誤差E()を用いて、マッチングされた信号雑音比を次式に従って計算する。
【数32】
【数33】
【0069】
次に、現在のフィールド/フレームに関して決定されたマッチングされたPSNRが、のちに使用するために(後述)積分モジュール4に出力される。
【0070】
最後に、ステップ5.36において、次式に従い、水平ベクトル、垂直ベクトル及び遅延ベクトルが輝度・クロミナンスピーク信号雑音比アナライザ24によって生成され、さらにのちに使用するために保存される。
【数34】
【数35】
【数36】
【0071】
要約すると、試験映像シーケンス内の各フィールド/フレームに関して、該フィールド/フレームの副要素を基準映像シーケンスのフィールド/フレームの副要素とマッチングさせることによってマッチングされた基準フィールド/フレームを見つけ出すことができること、さらに、該マッチングプロセスから導き出されたマッチング統計値及びその他の評価基準値を出力することもでき、これらの値は後述される積分モジュール4において用いられることが上記から明らかになる。
【0072】
さらに、上記においては、輝度値(Y)又はいずれかのクロミナンス値(U又はV)のうちの1個の一次元マッチングについて説明しているにすぎない。しかしながら、同じププロセスがY、U、及びVの各々の画素値に対して別々に適用されて、カラースペースのこれらのコンポーネントの各々に関して別々の一次元のマッチングされたシーケンスが生成されることに注目すべきである。従って、有効なことに、図5のプロセスは、Y画素値、U画素値、及びV画素値の各々に関して別々に繰り返される。
【0073】
代替実施形態においては、当然、単一の三次元マッチングプロセスを使用することができるが、現時点においては、該別々の色パラメータ一次元マッチングが、全マッチングプロセスに関する好ましい試験済みの技術である。
【0074】
当然のことであるが、上述されているマッチング技術は、当業者にとって明確なわずかな修正を行うだけでその他のカラースペース(YCbCr、RGB、等)にも利用することができる。
【0075】
さらに、図5の上記のマッチングプロセス内においては、現在の試験映像フィールド/フレームの特定の副要素の探索が実施される基準映像シーケンス内の探索エリアを定義するためにいくつかのパラメータが要求されることにも注目すべきである。より具体的には、基準シーケンス内において、現在の試験映像フィールド/フレームに時間的に対応する基準映像フィールド/フレームに先行するフレーム及び後続するフレームのうちで探索しなければならない先行フレーム数及び後続フレーム数を指定する時間パラメータM1及びM2を定義しなければならず、さらに、各々の探索対象基準映像フィールド/フレーム内の探索エリアを空間的に制限するための空間パラメータLx及びLyも定義される。マッチングパラメータLx、Ly、M1及びM2は、処理対象となっている映像シーケンスの特性に従って正確な値を設定しなければならない。例えば、625(720x576のインターレースされた50フィールド/秒)放送シーケンス及び525(720x486のインターレースされた60フィールド/秒)放送シーケンスの場合は、空間パラメータLx及びLyは4画素にすべきであり、時間パラメータM1及びM2は4フィールド及び5フィールドにそれぞれ設定すべきであることが発明者によって判明している。さらに、9x9画素のマッチングブロックサイズが好ましいものであった。
【0076】
再度図2において、シーケンスマッチャーモジュール30から出力されたマッチングされた基準シーケンス34は、空間周波数アナライザ22、輝度・クロミナンスピーク信号雑音比アナライザ24、及びエッジ検出器アナライザ26の各々に入力されることがわかる。従って、以下ではこれらの各々のアナライザの動作について説明する。
【0077】
最初に空間周波数アナライザ22について説明する。空間周波数アナライザ22の内部構成が図6に例示されており、該図においては、空間周波数アナライザ26は、試験映像フィールド/フレームを入力項目として受け取るように配備された第1のピラミッド変換生成器222を内部に具備することがわかる。さらに、マッチングされた基準フィールド/フレームを入力項目として受け取る第2のピラミッド変換生成器224も備えている。これらの2つのピラミッド変換生成器222及び224は、各々が同じ動作をして各入力されたフィールド/フレームに関するピラミッドアレイを生成し、次に、各々の対応する試験映像フィールド/フレームとマッチングされた基準映像フィールド/フレームとの間におけるピラミッドSNR評価基準を生成するために該ピラミッドアレイがピラミッドSNR計算器226に提供される。次に、該ピラミッドSNR評価基準値を生成する際における空間周波数アナライザ22の動作について図7乃至9を参照しつつ説明する。
【0078】
最初に、図8は、ピラミッド変換生成器222又は224のいずれかが各々のピラミッドアレイを生成するに際して実施するステップを示した流れ図である。このため、最初にステップ8.2において、ピラミッド変換生成器は、入力されたフィールド/フレームを各々のシーケンス(即ち、マッチングモジュール30から出力された試験シーケンス又はマッチングされた基準シーケンス)から受け取る。次に、ステップ8.4において、ピラミッドアレイを生成するためにカウンタステージがゼロに初期設定されて処理ループが開始される。ピラミッドアレイを生成するための一般手順は、3つのステージ、2つのステップであり、各ステージ0乃至2に関して水平解析が実施されてその後に垂直解析が実施される。次に、1つの特定の水平・垂直解析ステージに関わるステップについてステップ8.6乃至8.20を例として用いて説明する。
【0079】
ステップ8.4において開始された処理ループ内においては、特定のピラミッド処理ステージに関してステップ8.6において実施される第1のステップでは、処理対象となっている現在のフィールド/フレームが次式のように一時アレイ内にコピーされる。
【数37】
【0080】
次に、ステップ8.8において、水平解析限度がステージパラメータの現在値の関数として次式のように計算される。
【数38】
【数39】
【0081】
次に、上記の計算された限度内において水平解析が実施され、該一時アレイの水平の対の要素間における平均及び差がピラミッドアレイの更新に用いられる(次式)。
【数40】
【数41】
【0082】
さらに、ステップ8.12において、入力されたフィールド/フレーム値が水平解析結果によってオーバーライトされる。
【0083】
次に、現在の処理ステージに関する垂直解析がステップ8.14において開始され、入力されたフィールド/フレームが同じく一時アレイ内にコピーされる。しかしながら、この時点においては、入力されたフィールド/フレーム内の値はステップ8.12において水平解析結果によってオーバーライトされていることに注目すべきであり、従って、現在の垂直解析ステージへの入力は、直前の現在の水平解析ステージからの出力であることがわかる。
【0084】
次に、ステップ8.16において、垂直解析限度が該ステージ値の関数として次式のように計算される。
【数42】
【数43】
【0085】
後続して、一時アレイの垂直の対の要素の平均及び差を用いて下記に従ってピラミッドアレイを更新するために、該計算された限度内での垂直解析がステップ8.18において次式に従って実施される。
【数44】
【数45】
【0086】
ステップ8.20において、入力されたフィールド/フレームがステップ8.18において実施された垂直解析結果によってオーバーライトされ、従って入力されたフィールド/フレームアレイ内の値は、空間解析の第1ステージの結果に対応している。ステップ8.22において、ピラミッドアレイを生成するための各々の空間解析ステージが実施済みであるかどうかを決定するための評価が実施される。これらの各々のステージが実施済みでない場合は、処理はステップ8.4に戻り、ステージ値が増やされてステップ8.6乃至8.20が再度繰り返される。各ステージにおける各水平解析ステップ及び垂直解析ステップに関して、入力フィールド/フレームアレイ内の値が計算された垂直限度値及び水平限度値によってオーバーライトされ、このため、処理が各ステージにおいてステップごとに進行するのに従い、入力フィールド/フレームアレイ内において保持されている値が変換されて(各レベルにおいて各々が4象限を有する)ピラミッド構造に入る。従って、ステージ0乃至2の各々が完了されてステップ8.22における評価が処理ループを終了させるまでに、ステップ8.24において出力可能なピラミッドアレイが構築されている。
【0087】
各処理ステージの終了時における構築されたピラミッドアレイのフォーマットが図7に示されている。より具体的には、図7(a)は、ステージ0の処理が終了後における入力フィールド/フレームアレイの内容を例示した図であり、該図からわかるように、水平解析ステップ及び後続する垂直解析ステップが該アレイを4つの象限Q(ステージ、0乃至3)に分割させ、Q(0,0)は、入力されたフィールド/フレームの4画素ブロックの平均に対応する値を含み、Q(0,1)は、入力されたフィールド/フレームの4画素ブロックの水平の差に対応する値を含み、Q(0,2)は、4画素ブロックの垂直差に対応する値を含み、Q(0,3)は、4画素ブロックの対角差に対応する値を含む。
【0088】
次に、図7(a)に示されているステージ0解析から出力された象限Q(0,0)をFORループの第2の繰り返しへの入力項目として用いてステージ1の処理を実施する。該処理結果が図7(b)に示されている。この図においては、象限Q(0,0)は、4x4画素ブロックの解析に関わる結果Q(1,0乃至3)によってオーバーライトされているが、この場合は、各象限Q(1,0乃至3)は、ステージ0の出力に関して前述されている平均、水平差、垂直差、及び対角差に関わる値を含んでいる。
【0089】
図7(b)に示されているステージ1解析の出力項目は、図8のFORループの第3の繰り返しにおけるステージ2解析への入力項目として用いられ、図7(c)に示されている結果が得られる。この図においては、象限Q(1,0)は、象限Q(2,0乃至3)によってオーバーライトされており、象限Q(2,0乃至3)の各々は、前述されているブロックの平均、ブロックの水平差、等にそれぞれ関係していることがわかる。3つの解析ステージが終了後においては、その結果得られた図7(c)のピラミッドアレイは、合計10ブロックの結果を有しており、これらの10ブロックは、3つのブロックQ(0,1乃至3)がステージ0(2x2画素)解析によって得られたブロック、3つの象限Q(1,1乃至3)がステージ1(4x4画素)解析による象限、4つの象限Q(2,0乃至3)がステージ2(8x8画素)解析による象限である。図7に示されているピラミッドアレイを生成するための図8の手順は、各々のピラミッド変換生成器222乃至224によって実施されて各々のピラミッドアレイpref及びpdegが生成され、これらのピラミッドアレイがSNR計算器226に入力されるということに注目すべきである。ピラミッドSNR計算器226の動作は、図9に示されている。
【0090】
図9に関して、最初にステップ9.2において、ピラミッドSNR計算器226は、基準アレイをピラミッド変換生成器224から受け取り、劣化したピラミッドアレイをピラミッド変換生成器222から受け取る。次に、ステップ9.4において、0乃至2のカウンタ値ステージの各値を処理する処理ループが開始される。次に、値1と3の間のカウンタ値象限を処理する第2の入れ子型処理ループがステップ9.6において開始される。ステップ9.8におけるこれらの入れ子型処理ループ内において、基準アレイとピラミッドアレイとの間の平方誤差評価基準値E(ステージ、象限)が次式に従って計算される。
【数46】
【0091】
ここで、x1、x2、y1及びy2は、ピラミッドアレイ内の象限の水平限度及び垂直限度を定義し、次式に従って計算される。
【数47】
【数48】
【数49】
【0092】
各計算された誤差評価基準E(ステージ、象限)は、ステップ9.10において保存され、次に、ステップ9.12及び9.14において、象限カウンタ及びステージカウンタの値が処理ループに従って適宜更新される。ステップ9.4乃至9.14及びステップ9.6乃至ステップ9.12の処理ループの動作は、カウンタステージ及びカウンタ象限の各値に関する誤差評価基準値を計算する動作である。
【0093】
平方誤差評価基準値を計算後は、ステップ9.16において、カウンタステージの0乃至2の全利用可能値を処理するためのさらなる処理ループが開始される。その後は、ステップ9.18において、象限カウンタの値1乃至3を処理するための入れ子型処理ループが開始される。これらの入れ子型処理ループ内のステップ9.20において、PSNR評価基準PySNR(ステージ、象限)が次式に従って計算され、ステップ9.22において保存される。
【数50】
【0094】
ステップ9.24及び後続ステップ9.26において、カウンタステージ及びカウンタ象限の値が処理ループに従って適宜増やされ、従って、入れ子型処理ループの機能は、各ステージ値及び各象限値に関するPSNR評価基準を計算して保存することである。パラメータステージが0乃至2の値をとることができ、パラメータ象限が1乃至3の値をとることができることを考慮すると、ピラミッドSNR計算器226によって合計9つのPSNR評価基準が生成され、さらにこれらの全評価基準を積分ステージ4に出力可能であることがわかる。
【0095】
次に、エッジアナライザ26の動作について図10及び11を参照しつつ説明する。
【0096】
図10は、エッジアナライザ26の内部構成を示した図である。より具体的には、エッジアナライザ26は、映像フィールド/フレームを受け取って試験しさらに該映像フィールド/フレーム内のエッジを検出するように配備された第1のエッジ検出器262と、マッチングモジュール30から出力されたマッチングされた基準映像フィールド/フレームを受け取りさらに該基準映像フィールド/フレーム内のエッジを検出するように配備された第2のエッジ検出器264を具備する。エッジ検出器262及び264は両方とも、好ましいことに、既知のエッジ検出アルゴリズムに従って動作し、当業において既知である方法でエッジマップを作製する。例えば、既知のエッジ検出アルゴリズム例は、ラプラチアンエッジ検出器、キャニーエッジ検出器、及びロスウエルエッジ検出器である。優先権日(priority date)以前においては、キャニーエッジ検出器に関するCブログミング言語内のソースコードが、ftpを通じてftp://figment.csee.usf.edu/pub/Edge Comparison/source code/canny.srcから無料ダウンロード可能であり、ロスウエルエッジ検出器に関するC内のソースコードがftp://figment.csee.usf.edu/pub/Edge Comparison/source code/rothwell.srcから入手可能であった。
【0097】
エッジ検出器262及び264の各々によって製作された各々のエッジマップは、ブロックマッチング手段266に入力される。ブロックマッチング手段266は、後述される方法で各々のエッジマップを比較し、該比較結果を表す出力パラメータEDifを生成する。エッジアナライザ26の動作が、図11においてさらに詳細に示されている。
【0098】
図11に関して、最初にステップ11.2において、各々のエッジ検出器262及び264は、各々の基準エッジマップ及び劣化エッジマップを計算する。上述されているように、エッジ検出器262及び264によって用いられるエッジ検出アルゴリズムは、好ましいことに、当業において既知のアルゴリズム(キャニーエッジ検出器、等)である。エッジ検出器262及び264は、基準エッジマップ及び劣化エッジマップをブロックマッチング手段266に出力し、ステップ11.4において、該基準エッジマップ及び劣化エッジマップの各々がNxMブロックに分割される。次に、ブロックマッチング手段266は、基準エッジマップ及び劣化エッジマップの両マップにおいて、各ブロック内のエッジの一部を構成する各画素をカウントする。以上の結果、ステップ11.6が終了後には、ブロックマッチング手段266は、基準エッジマップ内及び劣化エッジマップ内の各ブロックに関するエッジ画素カウント値を入手している。
【0099】
カウントステップ後は、ステップ11.8において、ブロックマッチング手段266は、基準エッジマップ内及び劣化エッジマップ内の対応ブロック間における各々の画素カウント値の差を計算する。従って、ステップ11.8が終了後においては、基準エッジマップ又は劣化エッジマップのうちの1つエッジマップ内に存在するブロック数と同じ数の差値が入手されていることになる。
【0100】
ステップ11.8に引き続き、ステップ11.10において、ブロックマッチング手段266は、各差値をQ乗し、その結果得られた値をステップ11.12において合計する。従って、ステップ11.10が終了後は、基準エッジマップ又は劣化エッジマップのうちの1つのエッジマップ内に存在するブロック数と同じ数の値が依然として存在しているが、ステップ11.12が終了後は、ステップ11.10において計算された値の和に対応する単一の結果が得られる。次に、ステップ11.14において、該その結果得られた値が1/Q乗され、ステップ11.16において、この計算の結果がEDifパラメータとしてブロックマッチング手段266から出力される。図2から明らかなように、EDifパラメータは、エッジアナライザ26から積分ステージ4に出力される。積分ステージ内においてEDifパラメータを使用することについては後述される。
【0101】
エッジ差値に関するステップ11.6乃至11.16においてフィールド/フレームエッジからの解析オフセットを考慮することが有用な場合がある。この場合には、下記の処理が行われる。
【0102】
各々のエッジマップを作製後、ブロックマッチング手段は、各解析ブロック内におけるエッジ表示画素数の評価基準を計算する。ここで、nX及びnYは、水平方向及び垂直方向において解析対象となっている非オーバーラッピングブロック数を定義し、X1及びY1は、フィールドエッジからの解析オフセットを定義する。
【数51】
【数52】
【0103】
総計限度は次式に従って決定される。
【数53】
【数54】
【0104】
ここで、“div”演算子は、整数除算を表している。
【0105】
次に、フィールド全体における差の評価基準が次式に従って計算される。
【数55】
【0106】
625放送映像に関する720x288画素フィールドの場合:
【数56】
【0107】
525放送映像に関する720x243画素フィールドの場合:
【数57】
【0108】
式11−1乃至11−7によって表される上記の処理は、図11を参照しつつ説明済みの処理と実質的に同じであり、フィールド/フレームエッジからの解析オフセットが考慮されている点が異なることに注目すべきである。式11−5によって得られたパラメータEdifは、前述の方法と同じ方法で積分ステージ4に出力される。
【0109】
次に、質感アナライザ28の動作について図12を参照しつつ説明する。
【0110】
デジタル映像の圧縮は、符号化プロセスにおいて用いられるDCT係数が量子化されることで画像内の質感又は細部を低下させる傾向がある。このため、質感解析は、該圧縮に関する重要情報を入手することができ、本実施形態においては映像特性値TextureDeg及び/又はTextureRefを提供するために用いられる。より具体的には、質感パラメータ値TextureDeg及び/又はTextureRefは、水平画像ラインに沿った強度信号内のターニングポイント(turning point)数を記録することによって測定される。この動作は、図12に示したように実施される。
【0111】
図12に関して、最初にステップ12.2において、質感アナライザ28は、処理対象となる現在のフィールド/フレームを受け取る。図2からわかるように、質感アナライザ28は、クロップ・オフセットモジュール32から試験映像フィールド/フレームを受け取るが、マッチングされた基準フィールド/フレーム及び原基準フィールド/フレームのいずれも受け取らない。しかしながら、その他の実施形態においては、質感アナライザ28は、マッチングされた基準フィールド/フレーム又は原基準フィールド/フレームのうちのいずれかを受け取り、この場合は、TextureDegパラメータに関して後述される方法とまったく同じ方法でTextureRefパラメータを計算することができる。
【0112】
ステップ12.2に引き続き、ステップ12.4において、ターニングポイントカウンタの合計がゼロに初期設定される。次に、ステップ12.6において、リミットループ=0乃至Y−1内における入力映像フィールド/フレームループ内の各ラインに関して処理ループが開始される(ここで、Y=該映像フィールド/フレーム内におけるライン数)。該処理ループ内において、ステップ12.18では、last_pos及びlast_negの両値が0に初期設定される。次に、ステップ12.10において、各ラインy内の各画素xを処理するための第2の入れ子型処理ループが開始される。ここで、xは、0乃至X−2の値をとり、Xは、入力された映像フィールド/フレームの1本のライン内における画像数である。
【0113】
該入れ子型処理ループ内において、ステップ12.12では、位置xにおける画像値と位置x+1における画素値の間の差値が計算される。次に、ステップ12.14において、該計算された差値が0よりも大きいかどうか及び値last_negが値last_posよりも大きいかどうかを決定するための評価が行われる。この論理条件が満たされている場合は、カウンタ値合計が増やされる。ステップ12.14に引き続き、ステップ12.16において、ステップ12.12において計算された差値が0よりも小さいかどうか及び値last_negが値last_posよりも小さいかどうかを決定するための第2の評価が行われる。この論理条件が満たされている場合は、カウンタ値合計が増やされる。この場合、ステップ12.14及びステップ12.16の評価は互いに排他的であること及びいずれの単一の特定画像に関してもカウンタ値合計を2回増やすことはできないことが注目されることになる。ステップ12.16に引き続き、ステップ12.18において、該計算された差値がゼロよりも大きいかどうかを決定するためのさらなる評価が行われ、該差値がゼロよりも大きい場合は、値last_postが現在の画素xの番号に設定される。代替として、ステップ12.20において、該計算された差値がゼロよりも小さいかどうかを決定するための第2の評価が行われ、該差値がゼロよりも小さい場合は、カウンタ値last_negが現在の画素番号xに設定される。
【0114】
ステップ12.20に引き続き、ステップ12.22において、現在のライン内の全画素xが処理済みであるかどうかを決定するための評価が行われ、処理済みでない場合は、処理がステップ12.10に戻り、ステップ12.10において次の画素が処理される。しかしながら、全画素が処理済みである場合は、ステップ12.24に処理が進み、ステップ12.24において、現在の入力フレーム内における全ラインyが処理済みであるかどうかを決定するための評価が行われ、全ラインyが処理済みでない場合は、ステップ12.6に処理が戻り、ステップ12.6において次のラインの処理が開始される。これらの入れ子型処理ループによって得られる結果は、各ラインの各画素が処理され、さらに、ステップ12.14及びステップ12.16の評価結果が真であるたびにカウンタ合計が増やされる。従って、該処理ループが終了後においては、カウンタ合計は、入力されたフィールド/フレーム内における質感ターニングポイントを示すある一定の値を含むことになる。
【0115】
ステップ12.26では、カウンタ合計内に保持されているこの値を用いて、質感パラメータが次式のように該値の関数として計算される。
【数58】
【0116】
上記によって計算された質感パラメータは、ステップ12.28において質感アナライザ28から積分器ステージ4に出力することができる。
【0117】
既述されているように、図2は、劣化した映像フィールド/フレームのみを受け取り、従ってTextureDegパラメータ値のみを生成する質感アナライザ28を例示した図であるが、その他の実施形態においては、質感アナライザ28は、基準映像フィールド/フレーム又はマッチングされた基準映像フィールド/フレームのいずれかを受け取ることもでき、上記の処理ステップを該フィールド/フレームに当てはめてTextureRefパラメータ又はTextureMrefパラメータを生成することもできる。
【0118】
次に、輝度・クロミナンスピーク信号雑音比アナライザ24の動作について説明する。
【0119】
図2に示されているように、輝度・クロミナンスピーク信号雑音比アナライザ24は、マッチングされた基準映像フィールド/フレーム及び劣化した映像フィールド/フレームを入力項目として受け取る。これら入力項目は、次式に従い、強度及び色信号雑音比評価基準において使用することができる。ここで、RefY及びDegYは、マッチングされた基準強度フィールド及び劣化強度フィールドであり、RefU、DegU、RefY及びDegVは、YUV標準色フォーマットに従ったクロミナンスフィールドである。
【数59】
【数60】
【数61】
【0120】
当然のことであるが、YUV色モデル(RGB、YCbCr、等)を使用しない本発明のその他の実施形態においては、当業者にとって明らかなように、同様の対応する測定値を計算することができる。
【0121】
さらに、輝度・クロミナンスピーク信号雑音比アナライザ24は、マッチングモジュール30において生成されたマッチングベクトルの組を用いて、YUV色モデル使用時の画素のV値に関わるセグメントPSNR評価基準SegVPSNRを生成する。より具体的には、上記の(5−14)乃至(5−16)において定義されたマッチングベクトルを用いて、画素V値に関するマッチングされた信号雑音比が計算される。さらに、次式に従い、各組のマッチングベクトルに関する誤差評価基準VEが輝度・クロミナンスピーク信号雑音比アナライザ24によって計算される。
【数62】
【0122】
次に、フィールドに関するセグメントPSNR評価基準が次式に従って計算される。
【数63】
【0123】
次に、該セグメントPSNR評価基準SegVPSNRは、後述されるのちの用途のために積分モジュール4に出力される。
【0124】
再度図1において、マッチングモジュール及び検出器モジュール2内の諸アナライザからの様々な出力項目が積分ステージ4に送られ、積分ステージ4において、様々な値が積分されて映像品質値10が得られる。次に、積分ステージ4の動作について図13を参照しつつ説明する。
【0125】
一般的には、該積分ステージの動作は、アナライザ22乃至28によって生成された映像特性パラメータ値のうちの選択値を適宜加重することによって、試験映像シーケンスの知覚された映像品質の推定値を生成する動作である。使用される特定の組のパラメータ値及び対応する加重係数の値は、試験対象となる特定の型の映像に依存し、事前の校正によって事前に決定される。これらの校正は、既知の主観的得点を有しておりさらに好ましいことに試験対象となる劣化シーケンスと同様の特性を有する、大規模な一組の映像シーケンスに対して実施される。
【0126】
一般的形態の積分手順は、最初に、フィールド/フレームをフィールド/フレーム検出パラメータによって時間加重し、次に、時間加重値及び平均化値を組み合わせて全体的な映像品質値である1つの予測品質得点を得る。この手順を達成させるプロセスが図13に示されている。
【0127】
最初に、積分ステージ4は、ステップ13.2において様々な検出器及びアナライザから出力されたパラメータ値を受け取ってこれらのパラメータ値を保存する。前述されているように、マッチングモジュール30は、様々なPerCent値及びMPSNR値を出力することができ、空間周波数アナライザ22は、PySNR値を出力する。他方、輝度・クロミナンスピーク信号雑音比アナライザ24は、使用中の色モデル内の輝度特性及びクロミナンス特性の各々に関するPSNR値、及びマッチングベクトルから計算されたSegVPSNR値を出力する。さらに、エッジアナライザ26は、前出されているようにEDifパラメータを出力し、他方、質感アナライザ28は、少なくとも値TextureDegを与えるが、該当する場合は値TextureRef及びTextureMrefを出力することも可能である。特定の試験映像フィールド/フレームに関してそれ以前のステージの各々によってどのようなパラメータ及び値が出力されているかにかかわらず、積分ステージは、出力された情報を受け取って該情報を保存する。
【0128】
次に、ステップ13.4において、積分ステージは、映像の型を選択し、その結果として、該映像の型に依存する一組の積分パラメータを選択する。例えば、1Mbit/秒乃至5Mbit/秒においてMPEG符号化されている720x288画素/フィールドの625放送映像に関する一組の積分パラメータが下表に示されている。
【表2】
525ライン映像に関する加重値は以下のとおりである。
【表3】
【0129】
前述されているように、様々な加重係数の正確な値は、校正によって事前に決定される。さらに、積分ステージ4において各組の積分パラメータが早見表、等に保存される。
【0130】
映像の型を選択し、保存された早見表から積分パラメータを設定後は、ステップ13.6において、値0乃至K−1内の各積分パラメータ型kを処理するための処理ループが開始される。各パラメータ(k)は、様々なアナライザ又はマッチングモジュールから受け取られたパラメータのうちの特定の1個のパラメータである。該処理ループ内のステップ13.8において、最初に、パラメータ値の時間加重平均AvD(k)が次式に従って計算される。
【数64】
【0131】
ここで、Nはフィールド数、D(k,n)はk番目の検出パラメータのn番目のフィールド、mnkは加重係数である。次に、ステップ13.10において、時間加重平均値AvD(k)に該当する加重係数w(k)が掛けられ、その積が保存される。該当する加重係数w(k)は、積分ステージ4において保存された映像型に関する該当する早見表から読み取られる。
【0132】
ステップ13.12において、すべての積分パラメータ(k)が処理済みであるかどうかを決定するための評価が行われ、すべての積分パラメータ(k)が処理済みでない場合は、これらのすべてのパラメータが処理されるまでステップ13.6の処理ループが再実施される。これらのすべてのパラメータが処理された時点で、適宜時間加重された平均値が各型のパラメータkに関して入手可能になり、ステップ13.14においてこれらの平均値が次式のようにオフセット値とともに合計される。
【数65】
【0133】
ここで、Kは積分の際に用いられるパラメータ数であり、表2及び3に示されている例の場合は6である。この結果、最終的な映像品質値PDMOSが得られ、該PDMOSがステップ13.16において出力される。
【0134】
出力された映像品質値PDMOSは、人間の観察者では実質的に知覚的に検出不能な試験映像信号内の歪み及び誤差を考慮に入れて生成されているという点で、人間の観察者による主観的試験によって生成された評点と同等である。従って、この性質に鑑みて、該映像品質値はいくつかの用途に供することができる。特に、既存の映像サービスの品質を評価して該品質が適切であることを確認するために用いることができ、その代替として、異なったビデオコーデックの性能を試験するために使用することもできる。さらに、該映像品質値は、新しい映像サービス(インターネット上におけるブロードバンド型の映像サービス、等)の性能について評価するために使用することもできる。この点に関して、本発明の実施形態によって生成された映像品質レベルPDMOSは、従来の技術によって生成される自動品質評価値と同様の用途に供することができ、両値の相違点は、該映像品質値の場合は知覚的に無意味な歪みを考慮しているため、主観的試験中に人間の観察者によって生成される映像品質値と同等の映像品質値を表すことができる能力は、従来の自動映像品質評価技術よりも本発明の実施形態のほうがはるかに高い。
【0135】
図14は、ソフトウェア内に実装される本発明の第2の実施形態を例示した図である。この実施形態においては、本発明によって提供される様々なプロセスは、基準映像シーケンス及び試験映像シーケンスの両方を受け取るように配備されたコンピュータ140によって実施される。コンピュータ140は、コンピュータ140によって実行時にコンピュータ140に本発明を実施させる命令を含む様々なコンピュータプログラムが記憶されたプログラム記憶装置(例えば、ハードディスクドライブ、書込可能CD又はDVD、メモリ、等)を備えている。より具体的には、実行されたときにコンピュータが本発明に従って試験映像シーケンス及び基準映像シーケンスの処理を開始するように該コンピュータのユーザーが制御することを可能にし、さらに該コンピュータが画面上において試験結果を該ユーザーに出力することを可能にする制御・インタフェースプログラム148が提供される。該制御・インタフェースプログラムは、好ましいことに、図形が基本になっており、さらに、該プログラムの配備は、当業者にとって明確になるであろう。
【0136】
さらに、積分器プログラム144、制御・インタフェースプログラム148、質感アナライザプログラム150、マッチングプログラム152、クロッピングプログラム154、空間周波数解析プログラム156、信号雑音比計算プログラム158、及びエッジアナライザプログラム160も備えられている。以下では、これらのプログラムの各々の動作について動作例を挙げて説明する。
【0137】
汎用コンピュータ140のユーザーが映像シーケンスを試験したいと考えていると仮定すると、該ユーザーは、最初に、制御・インタフェースプログラム148を開始させる。制御・インタフェースプログラム148は、該ユーザーが処理対象となる試験映像シーケンス及び基準映像シーケンスを指定できるようにするための制御を該ユーザーに提供する。該ユーザーが制御・インタフェースプログラム148を通じて処理開始命令をコンピュータ140に出すと、制御・インタフェースプログラム148は、その他の様々なプログラムを実行させることによってコンピュータ140に処理を開始させさらにデータを適宜処理させる。従って、制御・インタフェースプログラム148は、処理開始命令をユーザーから受け取った時点で、最初にクロッピングプログラム154に実行を開始させ、クロッピングプログラム154は、クロップ・オフセットモジュール32に関して既述されている方法とまったく同じ方法で、入力された基準映像シーケンス及び試験映像シーケンスのクロッピングを行う。即ち、クロッピングプログラム145は、図3に関して前述されている方法と同じ方法で入力映像シーケンスのクロッピングを行う。次に、該クロッピングされた映像シーケンスは、データ記憶装置142のワーキングデータエリア146内に保存される。
【0138】
入力された映像シーケンスのクロッピング後は、制御・インタフェースプログラム148は、マッチングプログラム152を起動させる。マッチングプログラム152は、記憶装置142のワーキングデータ部146内のクロッピングされた基準映像シーケンス及び試験映像シーケンスにアクセスし、さらに、図4及び図5に関して前述されているように、シーケンスマッチャーモジュール30とまったく同じようにシーケンスマッチングを実施する。即ち、マッチングプログラム152は、図5の流れ図に従って動作し、マッチングされた基準シーケンスを生成する。該マッチングされた基準シーケンスは、データ記憶装置142のワーキングデータ部146に保存される。
【0139】
マッチングされた基準シーケンスを生成後は、制御・インタフェースプログラム148は、空間周波数解析プログラム156を開始させる。空間周波数解析プログラム156は、前述されている空間周波数アナライザ22とまったく同じように、マッチングされた基準フィールド/フレーム及び試験フィールド/フレームに関する空間周波数解析を実施し、従って、空間周波数解析プログラム156は、PySNR映像特性値を生成するために図8及び9の両方の流れ図を実施する。該PySNR映像特性値は、記憶装置142のワーキングデータ部146に保存される。
【0140】
次に、制御・インタフェースプログラム148は、信号雑音比計算プログラム158を開始させる。信号雑音比計算プログラム158は、ワーキングデータ部146内の試験映像フィールド/フレーム及びマッチングされた基準映像フィールド/フレームにアクセスし、前述された方法で輝度・クロミナンスピーク信号雑音比を計算する。即ち、信号雑音比計算プログラム158は、前述されている輝度・クロミナンスピーク信号雑音比アナライザ24とまったく同じように動作する。信号雑音比計算プログラム158によって計算された結果得られた輝度・クロミナンス信号雑音比は、記憶装置のワーキングデータエリア146に保存される。
【0141】
次に、制御・インタフェースプログラム148は、質感アナライザプログラム150を開始させる。質感アナライザプログラム150は、ワーキングデータエリア146からの試験映像フィールド/フレームにアクセスし、質感アナライザ28に関して前述されている方法と同じ方法でTextureDegパラメータを計算する。従って、質感アナライザプログラム150は、図12の流れ図に従って動作する。さらに、必要な場合は、該質感アナライザプログラムは、TextureRefパラメータ及びTextureMrefパラメータを同じ方法で計算することもできる。
【0142】
質感アナライザプログラム150の動作後、制御・インタフェースプログラム148は、エッジアナライザプログラム160を開始させる。該エッジアナライザプログラムは、試験映像フィールド/フレームに加えて、記憶装置142のワーキングデータエリア146内のマッチングされた基準フィールド/フレームにアクセスする。次に、エッジアナライザプログラム160は、エッジアナライザ26に関して前述されているのと実質的に同じように動作する。即ち、エッジアナライザプログラム160は、図11の流れ図において示されているステップを実質的に実施する。該エッジアナライザプログラムの出力項目は、EDifパラメータであり、該EDifパラメータは、ワーキングエリア146に保存される。
【0143】
第2の実施形態の動作におけるこの段階においては、各々のアナライザプログラムが実行済みであり、このため、ワーキングエリア146は、積分器のための入力項目として用いることができる全映像特性パラメータ値を含んでいる。従って、次の動作では、制御・インタフェースプログラム148が積分器プログラム144を開始させ、積分器プログラム144は、最終的な映像品質値PDMOSを生成するために、ワーキングエリア146にアクセスして特性パラメータ値を適宜読み取り、これらのパラメータを積分する。積分器プログラム144の動作は、前述されている積分器ステージ4の動作と実質的に同一である。従って、積分器プログラム144は、前述されているように、図13の流れ図に実質的に従って動作する。
【0144】
従って、本発明の第2の実施形態は、第1の実施形態に関して前述されている方法と実質的に同じ方法で映像品質値を生成するように動作するソフトウェア実施形態を提供する。しかしながら、前述されている第1の実施形態は、ソフトウェア内に実装することもでき、又はその代替として、ハードウェア要素とともに又はソフトウェアとハードウェアの組合せとともに実装することもできる点に注目すべきである。この点に関して、第1の実施形態は、第2の実施形態よりも一般的な実施形態であるとみなすべきである。
【0145】
説明されている実施形態に対してその他の様々な修正を加えてさらなる実施形態を提供することができる。例えば、1つのさらなる実施形態においては、異なったブロックサイズを用いてマッチングプロセスを実施させることができる。特に、誤差極小化ブロックサイズが再構築されたブロックサイズよりも大きい場合は、オーバーラップしているウィンドウに関する誤差が極小化され、2つ以上の劣化ブロックのマッチングに関していくつかの画素が検討されることになる。該プロセス内においては、マッチングモジュールは、依然として、前述されているように同じブロック数に試験映像フィールド/フレームを分割するように動作するが、マッチング対象ブロックの画素を完全に含んでいるだけでなくマッチング対象ブロックの周囲のさらなる画素も含んでいるマッチング要素を定義する。次に、このマッチング要素が誤差極小化関数内で用いられ、マッチング対象ブロックに関する基準シーケンス内のマッチングブロックが見つけ出される。このプロセスは、マッチングの精度を向上させることによって便益を提供することができる。
【0146】
本発明において用いられる上記のマッチングプロセスは、いくつかの異なった種類の歪みによる影響(一貫した定期的なフィールドの不整合からワープ及びより過渡的なブロックに基づく劣化までに至る影響)を克服することができる。次に、様々な歪みに対するPSNRの感度とマッチングされたPSNR評価基準の感度との間の差が提示され、該マッチングプロセスの便益が例示される。提示されるすべての結果は、光度画素値のみに関する結果である。
【0147】
最初に空間不整合上の不具合について説明すると、基準フィールドと劣化フィールドとの間における空間不整合がほんの1画素にすぎない場合でも、観察者は知覚できないがSNR評価基準に対して有意な影響を及ぼす可能性がある。本発明によって提供されるマッチングプロセスは、一定の空間オフセット及び時間とともに変化する空間オフセットの両方を、アルゴリズム内において設定されている知覚に基づく探索限度まで処理することができる。
【0148】
図15は、3Mb/秒に従ってMPEG2符号化されている625シーケンスから計算されたPSNR結果を示した図であり、基準シーケンス及び劣化シーケンスが空間的に(及び時間的に)整合されている。該PSNR作図は、次式に従って基準シーケンス及び劣化シーケンスの各々のフィールド間で計算された基本的なPSNRを示している。
【数66】
【0149】
ここで、X及びYは、フィールド画素の寸法である。
【0150】
MPSNR作図は、マッチングされたシーケンスがSNRモジュールへの入力項目として基準シーケンスに取って代わるときの結果を示している。この場合は、PSNRの結果とMPSNRの結果との間に密な整合性が存在することがわかる。図16は、劣化シーケンスに対する2画素水平オフセットの影響を示した図である。この図では、MPSNRは不変であり、PSNRは、最高で7dB低下していることがわかる。
【0151】
図17は、同じ試験シーケンスに関する±4画素間でのランダムな水平フィールドジターの影響を示した図である。同図においても、マッチングされたPSNRは、空間ジターによる影響を受けず、通常のPSNRは大きく変えられていることがわかる。
【0152】
時間的不整合に関しては、基準シーケンス及び劣化シーケンスの時間的不整合もSNR評価基準に対して有意な影響を及ぼす可能性がある。この場合における影響度は、映像シーケンスの時間とともに変化する性質に依存する。空間不整合と同様に、マッチングプロセスは、アルゴリズムの知覚に基づく探索限度内における一定の時間的オフセット及び時間とともに変化する時間的オフセットの両方を処理することができる。
【0153】
本発明によって提供されるマッチングプロセスの便益の興味深い1例が図18に示されている。該図においては、625放送シーケンスがCIF解像度でH.263符号化されており、その結果、後続する劣化フィールドは同一である。PSNR作図は、解像度が低下した符号化に起因して代替フィールドに関する値が大幅に低下しており、その一方でMPSNRは影響を受けないことを示している。
【0154】
マッチングプロセスは、不規則な時間的不整合を処理することもでき、図19は、フィールドのランダムなフリーズに関する例を示した図である。この例においては、各フィールドは、フリーズ状態になる(時間的に次のフィールドに取って代わる)確率が10%である。
【0155】
最後に、ブロックレベルの歪みに関して、本発明のマッチングプロセスは、これまでに検討されているフィールドに基づく空間的不整合及び時間的不整合よりも複雑な歪みを処理するように設計されている。フィールドの全体的なサイズと比較して小さいブロックのマッチングは、歪みによる望ましくない影響(例えば、画素のワープ、ラインの消失、ブロックのフリーズ、等)を低減させることを可能にする。
【0156】
図20は、「ブロックのフリーズ」がPSNR評価基準及びMPSNR評価基準に対して及ぼす影響を示した図である。「ブロックフリーズ」のシミュレーションでは、更新対象ブロック内の8x8画素ブロックの85%のみをランダムに選択する。本例においては、25番目のフィールドまでプロセスが開始されなかった。歪みは知覚不能であることが試験によって示された一方で、PSNRは大幅に低下していることがわかる。しかしながら、マッチングプロセスは、フリーズしたブロックを追跡することができるため、MPSNR評価基準はほとんど影響を受けていない。
【0157】
文脈上別の解釈をすることが明らかに要求されない限り、説明全体及び請求項全体を通じて、「具備する」、「具備している」、等の表現は、排他的又は網羅的という意味ではなく包含するという意味である、すなわち、「〜を含むがこれらに限定されるものではない」という意味であると解釈すべきである。
【0158】
さらに、不確かさを回避するため、これまでの技術文書又は開示が引用されている場合において、これらの技術文書又は開示の内容は、全体であるか又は一部であるにかかわらず、本発明のいずれかの実施形態の動作又は実装について意図されている読者(即ち当業者)が理解するために必要なものであり、本出願明細書において引用することによって本出願明細書に組み入れられていると解釈すべきである。
【図面の簡単な説明】
【0159】
【図1】本発明のシステムの全体的ブロック図である。
【図2】本発明の実施形態の個々の部分を示したシステムブロック図である。
【図3】本発明の実施形態において入力された映像信号をクロッピング及びオフセットするために実施されるステップを例示した流れ図である。
【図4】本発明の実施形態における副要素のマッチングの効果を例示した概略図である。
【図5】本発明の実施形態においてサブフィールド/フレーム要素をマッチングさせるために実施されるステップを例示した流れ図である。
【図6】本発明の実施形態において用いられる空間周波数アナライザのブロック図である。
【図7】本発明の実施形態におけるピラミッドアレイの構造を例示した概略図である。
【図8】本発明の実施形態において図7のピラミッドアレイを構築する際に実施されるステップを例示した流れ図である。
【図9】本発明の実施形態内においてピラミッドアレイに関する空間解析を実施する際に実施されるステップを例示した流れ図である。
【図10】本発明の実施形態内において用いられるエッジアナライザのブロック図である。
【図11】本発明の実施形態においてエッジアナライザによって実施されるステップを例示した流れ図である。
【図12】本発明の実施形態の質感アナライザによって実施されるステップを例示した流れ図である。
【図13】本発明の実施形態の積分器によって実施されるステップを例示した流れ図である。
【図14】本発明の第2のソフトウェアに基づく実施形態を例示した概略図である。
【図15】空間オフセットなしに関する計算されたPSNRを例示したグラフである(3Mb/秒MPEG2符号化)。
【図16】2画素水平オフセット関する計算されたPSNRを例示したグラフである(3Mb/秒MPEG2符号化)。
【図17】水平ジターに関する計算されたPSNRを例示したグラフである(3Mb/秒MPEG2符号化)。
【図18】時間的フィールド不整合に関する計算されたPSNRを例示したグラフである(768kb/秒H263CIF符号化)。
【図19】フィールドリピートに関する計算されたPSNRを例示したグラフである(3Mb/秒MPEG2符号化)。
【図20】時間的ブロック不整合に関する計算されたPSNRを例示したグラフである(3Mb/秒MPEG2符号化)。
【技術分野】
【0001】
本発明は、一般的には、映像の品質を評価するための方法及びシステムに関するものである。本発明は、より具体的には、映像品質評価値がサブフィールド/フレーム要素に基づいて生成される方法及びシステムに関するものである。
【背景技術】
【0002】
映像の品質に関する試験が長年にわたって実施されてきている。映像に関するデジタル圧縮技術の出現前は、相対的に安定した一組の標準的な方法による正式な主観的試験が行われていた。要約すると、これらの試験では、数人の専門家でない観察者を選んで各々の視覚能力に関する検査を行い、管理した環境において一連の試験場面を約10分乃至30分間見せ、様々な方法のうちの1つの方法でこれらの試験場面の品質に関する点数を付けるように求める。通常は、全基準試験の場合は、最初に基準シーケンスを見せてその後に試験シーケンスを見せ、基準シーケンスと比較した場合の試験対象シーケンスの点数を付けるように求める。該当規格であるITU−R BT.500"Methodology for the Subjective Assessment of the Quality of Television Picture"(テレビの画質に関する主観的評価)では、主観的測定に関するさらなる詳細が示されている。この規格が最初に発行されたのは1974年であり、正式名称はCCIR Rec.500である。さらに、この規格の第7版では、過去に提案されている主観的試験方法が網羅されている。
【0003】
人間の観察者による主観的試験は、従来のテレビシステム及び圧縮型テレビシステムの両システムに関して有効な結果を得ることができ、さらに静止画及び動画に関する非常に広範な用途において非常に有効であるなどの幾つかの利点を有している。しかしながら、主観的試験は、精密な試験装置構成が最終結果に対して影響を及ぼす可能性があり、細心の試験装置構成及び制御が要求され、さらには統計的に有意な結果を得るために非常に多くの人間の観察者の中から選別しなければならないという明らかな欠点も存在している。これらの欠点は、主観的試験を複雑でかつ時間のかかるものにし、その結果、主観的試験は開発目的には適している一方で、動作上のモニタリング、生産ライン試験、等には役立たない。
【0004】
従って、当業においては、上述されている人間による主観的試験の欠点を克服するために、自動化されて通常はコンピュータに基づいた映像比較技術を用いて映像の品質を自動的に評価する方法を確保することも知られている。画質を自動的に解析する1つの従来のシステムは、米国オレゴン州に所在するテクトロニクス・インク(Tektronix Inc)(14200 SW Karl Braun, P.O. Box 500, Beaverton, Oregon 97077 USA)製のPQA300システムである。PQA300は、5秒間の映像試験シーケンスのうちの2秒間の部分を測定するシステムである。該映像試験シーケンスは、CD ROMからダウンロードするか又はビデオから録画し、試験対象システムに対して展開させることができる。次に、試験対象システムからの出力項目を保存し、該2秒の試験シーケンスにおいてDSP加速ハードウェアを用いて該出力項目の解析を行う。測定後は、「画質評点」と呼ばれる単一の画質値が得られる。PQA300は、JNDメトリックスと呼ばれる人間の視覚システムのモデルを採用しており、画質に関する評点を生成するために映像情報に関して3種類の解析(即ち、空間解析、時間解析、及びフルカラー解析)を行う。さらに、PQA300は、基準画像と試験画像との間のPSNR差に関わる強度を有する動画マップの形で表示されるPSNR値を提供する。要約すると、PQA300は、PSNR測定値に加えて、映像品質値を生成するために試験映像シーケンス及び基準映像シーケンスを解析することができる。
【0005】
しかしながら、試験シーケンスと基準シーケンスを直接比較して上述した品質評価値を生成する方法においては問題が発生する可能性がある。例えば、基準シーケンスの全体又は一部と試験シーケンスの全体又は一部との間における空間的不整合又は時間的不整合は、当該測定値に対して大きな影響を及ぼす可能性があるが、人間の観察者にとっては知覚的に意味のないものとしてとらえられてしまうおそれがある。基準シーケンスと試験シーケンスの間における差を測定することによって信頼性の高い現実的な全基準評価を行うのであれば、このような不整合を処理しなければならない。
全基準試験状況においては、空間的不整合及び時間的不整合が常に一般的に発生することになり、これらの不整合は、全基準シーケンス又は劣化シーケンスに対して「ワンオフ」(one off)整合を行うことによって処理することができる。該ワンオフ整合について取り扱っているこれまでの文書例としては、US6483538、US6259477、US5894324、US6295083、及びUS6271879、等がある。さらに、フィールドに基づく空間ジター又は時間ジターの場合は、不整合がフィールド間で異なることがあり、これらのジターは、類似の技術を各々のフィールドごとに応用することによって処理することができる。しかしながら、フィールド内又はフレーム内では、これよりも複雑であるが同様に知覚不能な不整合が発生する可能性があり、1つの映像フィールド又はフレームの各領域ごとに異なったシフト、スケーリング、又は遅延が生じるおそれがある。例えば、空間ワープ、ライン消失、又はブロックのフリーズが映像処理中に生じる可能性がある。
【発明の開示】
【発明が解決しようとする課題】
【0006】
従って、人間による主観的試験結果の代わりに用いることができる画質評価基準が自動的に生成されるようにするためには上記の問題を考慮に入れる必要がある
【課題を解決するための手段】
【0007】
本発明は、基準シーケンスと試験シーケンスとの間におけるサブフィールド/フレームの不整合による悪影響を軽減させる自動映像品質評価方法及びシステムを提供することによって上記の特定された問題に対処するものである。より具体的には、本発明は、試験映像のフィールド/フレームのサブフィールド/フレーム要素を基準映像のフィールド/フレームのサブフィールド/フレーム要素と個別にマッチングさせることによって、処理すべきサブフィールド/フレームレベルまでの不整合に対処するものである。さらに、本発明においては、映像フィールド/フレーム のサイズよりも有意な量だけ小さいマッチング要素を用いることで、過渡的なサブフィールド/フレームの不整合を実効的に追跡することが可能である。
【0008】
上記に関して、本発明は、第1の側面においては、試験映像フィールド/フレームのサブフィールド/フレーム要素を少なくとも1つの基準映像フィールド/フレームの対応するサブフィールド/フレームとマッチングさせるステップと、該試験映像フィールド/フレーム及び該基準映像フィールド/フレームのマッチングされたサブフィールド/フレーム要素に基づいて映像品質値を生成するステップと、を具備する映像品質評価方法を提供する。
【0009】
本発明の該第1の側面は、上述されているように、サブフィールド/フレームの不整合及びその他の不具合を考慮することを可能にし、それによって全体的な映像品質値が該不整合による影響を受けないようにすることができるという利点を有する。この点に関して、サブフィールド/フレーム要素は、好ましいことに、人間の観察者が実質的に知覚的に気が付かない不整合及びその他の不具合のマッチングを可能にするような大きさになっている。
【0010】
1つの好ましい実施形態においては、該マッチングステップは、好ましいことに、試験映像フィールド/フレームのサブフィールド/フレーム要素に関して、該試験映像フィールド/フレームに時間的に対応する基準映像フィールド/フレームに先行するM1の基準映像フィールド/フレーム及び/又は後続するM2の基準映像フィールド/フレーム内のマッチングフィールド/フレーム要素を探索することをさらに具備する。ここで、M1及びM2は整数である。このことは、時間的に対応するフィールド/フレーム内だけでなく時間的に異なるフィールド/フレーム内における副要素間のマッチングを行うこと、又は時間的に対応するフィールド/フレームの代替として時間的に異なるフィールド/フレーム内における副要素間のマッチングを行うことを可能にし、その結果、ブロックのフリーズ等の時間上の不具合を考慮に入れることが可能になる。好ましいことに時間的探索限度M1及びM2は予め定義されているが、本発明の変形においては、該限度は適宜定義することができる。
【0011】
該好ましい実施形態において、該探索ステップは、好ましいことに、基準映像フィールド/フレームの領域のうちで、試験サブフィールド/フレーム要素が試験映像フィールド/フレーム内において占める位置に対応する基準映像フィールド/フレーム内の位置の周囲の空間的に限定された領域内を探索することをさらに具備する。各フィールド/フレーム内における空間探索範囲を限定することによって処理上の要求が低減され、さらに、人間の観察者にとって実質的に知覚的に意味のない不具合のみを含む副要素がマッチングされることになる。好ましいことに探索領域の空間範囲は予め定義されているが、本発明の変形においては、該空間範囲は適宜定義することができる。
【0012】
本発明のいくつかの実施形態においては、該マッチングステップは、好ましいことに、1つ以上のマッチング統計値及び/又はマッチングベクトルの計算をさらに具備することができ、該生成ステップは、該計算されたマッチング統計値及び/又はマッチングベクトルに基づいてさらに映像品質パラメータを生成する。該マッチングステップから得られたマッチング統計値を用いることは、得られる全体的な映像品質値を実質的に向上させ、人間による主観的試験によって得られる映像品質値により近づけることが判明している。同様に、マッチングベクトルを用いることは、全体的な映像品質値を向上させることが判明している。
【0013】
本発明のいくつかの実施形態においては、該生成ステップは、好ましいことに、試験映像フィールド/フレーム及び/又は基準映像フィールド/フレームの特性に各々関連する複数の映像特性値を、該試験映像フィールド/フレーム及び/又は基準映像フィールド/フレームのマッチングされたサブフィールド/フレーム要素に基づいて計算することと、少なくとも該計算された映像特性値を積分して映像品質値を得ること、とをさらに具備する。
【0014】
マッチングされた副要素に基づいて映像特性値を計算しさらに該映像特性値を積分することによって、視覚的に意味のない映像上の不具合を考慮した映像品質値を得ることができる。好ましいことに、該積分するステップは、マッチング統計値を計算された映像特性値と積分として映像品質値を得ることをさらに含む。さらに、好ましいことに、該映像特性値は、各々が、1つ以上の空間周波数値、1つ以上の質感値、少なくとも1つのエッジ値、少なくとも1つの輝度信号雑音比値、及び/又は1つ以上のクロミナンス信号雑音比値のうちのいずれか2つ以上である。
【0015】
本発明の1つの好ましい実施形態においては、試験フィールド/フレームに関するエッジ値の計算は、好ましいことに、該試験フィールド/フレームの各サブフィールド/フレーム要素内のエッジ数をカウントすることと、該試験フィールド/フレームのサブフィールド/フレーム要素とマッチングされた該少なくとも1つの基準フィールド/フレームの各サブフィールド/フレーム要素内のエッジ数をカウントすることと、各々のカウント値に基づいて該試験フィールド/フレームに関するエッジ値を決定すること、とを具備する。
【0016】
フィールド/フレームの副要素内におけるエッジ数をカウントすることによって、知覚不能な各エッジ位置の違いを明らかにすることができ、その結果、人間による主観的試験によって導き出される値により近い向上した映像品質値を導き出すために用いることができるエッジ評価値が得られる。
【0017】
好ましいことに、該好ましい実施形態においては、該積分ステップは、予め決められた係数によって各値を加重することと、該加重値を合計して映像品質値を得ること、とをさらに具備する。これらの加重係数は、事前の校正によって見つけ出され、最終的な映像品質値が人間による主観的試験において得られる値によりいっそう近い値になるように様々な映像特性値の全体的積分を微調整するために用いることができる。好ましいことに、これらの加重係数及びオフセット値は、試験映像フィールド/フレーム及び基準映像フィールド/フレームの型に依存し、このため、各型の映像フィールド/フレームごとに専用の加重係数を用いることができる。このことは、本発明によって提供される利点と同じ利点を数多くの異なった型の映像に関しても確保することを可能にする。
【0018】
本発明の第2の側面においては、試験映像フィールド/フレームのサブフィールド/フレーム要素を、少なくとも1つの基準映像フィールド/フレームの対応するサブフィールド/フレーム要素とマッチングさせるためのマッチング手段と、該試験映像フィールド/フレーム及び該基準映像フィールド/フレームのマッチングされたサブフィールド/フレーム要素に基づいて映像品質値を生成するために使用するように配備された映像処理手段と、を具備する映像品質評価システムをさらに提供する。
【0019】
本発明の該第2の側面のシステムは、本発明の第1の側面に関して前述されている利点と実質的に同じ利点を提供する。さらに、該第2の側面においては、該第1の側面に関して上述されている特長及び利点と実質的に類似したさらなる特長及び利点も提供することができる。
【0020】
本発明の第3の側面においては、コンピュータシステムによって実行時に前述の請求項のうちのいずれかの請求項のプロセスを該コンピュータシステムに実施させるように配備された1つのコンピュータプログラム又は一連のプログラムをさらに提供する。該1つのコンピュータプログラム又は該一連のプログラムは、該コンピュータプログラム又は該一連のプログラムのうちの少なくとも1つのプログラムに対応するデータを組み込んだ変調搬送波信号(例えば、インターネット等のネットワークを通じて搬送される信号)によって具体化することができる。
【0021】
本発明は、さらにもう1つの側面においては、該第3の側面に従った1つのコンピュータプログラム又は一連のコンピュータプログラムのうちの少なくとも1つのプログラムを格納したコンピュータ読取可能記憶媒体も提供する。該コンピュータ読取可能記憶媒体は、コンピュータによって読取可能なあらゆる磁気記憶媒体、光学記憶媒体、磁気光学記憶媒体、ソリッドステート記憶媒体、又はその他の記憶媒体であることができる。
【0022】
例示することのみを目的として示されている本発明の実施形態に関する下記の説明を読みさらに添付図面を参照することで本発明のさらなる特長及び利点が明確になる。該添付図面においては、同一のものについては図面全体に渡って同一の参照番号を付けることとする。
【発明を実施するための最良の実施形態】
【0023】
以下では本発明の実施形態について説明する。
【0024】
図1は、本発明の実施形態の一般的配備を示した全体的システムブロック図である。図1において、基準シーケンスフィールド/フレームを具備する基準シーケンスが検出器モジュール2に入力される。同様に、映像フィールド/フレームの試験シーケンス8(本出願明細書においては、試験シーケンス又は劣化シーケンスという名称と互換可能である)も検出器モジュール2に入力される。該試験シーケンスは、該基準シーケンスを試験対象システム(例えば、ビデオ録画装置、放送システム、ビデオコーデック、等)に入力し、次に該試験対象システムの出力を試験シーケンスとすることによって得られる。検出器モジュール2は、入力された基準映像フィールド/フレーム及び試験映像フィールド/フレームの様々な映像特性を検出して映像特性値を生成する働きをする。次に、該映像特性値が積分モジュール4に出力される。積分モジュール4は、映像特性値を積分して1個の予測される映像品質値10を提供し、該映像品質値が出力される。
【0025】
図2は、本発明の実施形態の配備をさらに詳細に例示した図である。図2からわかるように、本発明のシステムは、劣化した映像シーケンス6及び基準映像シーケンス8を入力項目として受け取るように配備されたクロップ・オフセットモジュール32を提供する。さらに、クロップ・オフセットモジュール32は、2個の予め決められたオフセット値であるoffsetX及びoffsetYを入力項目として受け取る。クロップ・オフセットモジュール32は、入力されたシーケンスをデインターレースされたフォーマットに変換し(必要な場合)、さらに、入力されたシーケンスを、後述されるような形で必要に応じてオフセットありで又はオフセットなしでクロッピングする機能も有する。次に、変換及びクロピングされた各々の試験映像シーケンス及び基準映像シーケンスは、クロップ・オフセットモジュール32からシーケンスマッチャーモジュール(sequence matcher module)30に出力される。さらに、図2において示されているように、クロッピングされた劣化映像シーケンス6は、クロップ・オフセットモジュール32から、空間周波数アナライザ22、輝度・クロミナンスピーク信号雑音比アナライザ24、エッジ検出器アナライザ26、及び質感アナライザ28の各々の劣化シーケンス入力部に直接出力される。以下では、アナライザ22乃至28の目的及び動作について説明する。
【0026】
再度シーケンスマッチャーモジュール30について説明すると、シーケンスマッチャーモジュール30は、クロッピングされた劣化映像シーケンス6及び基準映像シーケンス8を受け取り、さらに、試験対象となっている試験映像フィールド/フレームの副要素とマッチする基準映像フィールド/フレームの副要素を具備するマッチングされた基準フィールド/フレームを各試験映像フィールド/フレームごとに生成するために、劣化映像フィールド/フレームの副要素を基準フィールド/フレームのマッチング副要素とマッチングさせる。次に、マッチングされた基準映像フィールド/フレーム34は、シーケンスマッチャーモジュール30から、空間周波数アナライザ22、輝度・クロミナンスピーク信号雑音比アナライザ24、及びエッジ検出器アナライザ26の各々の基準入力部に出力される。さらに、シーケンスマッチャーモジュール30は、マッチングされた基準フィールド/フレーム34を生成するに際して、同じく出力されるマッチング統計値(XPerCent、YPerCent、TPerCent)を生成するために用いることができるマッチング統計値も生成する。さらに、マッチャーモジュール30は、マッチングされたピーク信号雑音比(MPSNR)値も生成し、この値も出力される。
【0027】
次に、4つのアナライザモジュール22乃至28の各々について概説すると、空間周波数アナライザ22は、入力された試験映像フィールド/フレーム及びマッチングされた基準映像フィールド/フレームを解析する働きをし、入力されたマッチングされた基準フィールド/フレーム及び試験フィールド/フレームに関するピラミッド解析からピラミッドSNR値PySNR(a,b)を生成する。さらに、輝度・クロミナンスPSNRアナライザ24は、入力されたマッチングされた基準フィールド/フレーム及び入力された試験フィールド/フレームを比較して輝度・クロミナンスPSNR値を生成し、次に該PSNR値が出力される。同様に、エッジ検出器アナライザ26は、入力されたマッチングされた基準フィールド/フレーム及び入力された試験フィールド/フレームを解析し、単一のエッジ検出器値EDifを出力する。最後に、質感アナライザ26は、試験フィールド/フレームを解析し、該フレーム内の質感を示すパラメータTextureDegを計算する。図2には示されていないが、質感アナライザ28は、原基準フィールド/フレーム8、又はマッチングされた基準フィールド/フレーム34のいずれのフィールド/フレームも受け取ることができ、さらにこれらのフィールド/フレームに関わるパラメータであるTextureRef又はTextureMrefをそれぞれ生成することができる点にも注目すること。以下では、これらの空間周波数アナライザ22、輝度・クロミナンスピーク信号雑音比アナライザ24、エッジ検出器アナライザ26、及び質感アナライザ28の各々の動作についてさらに詳細に説明する。
【0028】
再度図1において、各々のアナライザ22乃至28からの出力、及び、シーケンスマッチャーモジュール30から出力されたパーセント値及びMPSNR値は、各々が積分モジュール4に入力されることがわかる。積分モジュール4は、これらの値を積分して予測映像品質値10を生成する働きをする。以下では、積分器4の動作についてもさらに詳細に説明する。
【0029】
再度図2において、該図に示されている個々のモジュール及びアナライザの各々の動作について図3乃至図13を参照しつつ説明する。
【0030】
最初にクロップ・オフセットモジュール32について説明すると、図3は、クロップ・オフセットモジュール32が入力された試験映像フィールド/フレーム及び基準映像フィールド/フレームに関して実施するステップを例示した流れ図である。
【0031】
クロップ・オフセットモジュール32によって実施される一般手順では、最初に、入力されたシーケンスをインターレースフォーマットからブロックデインターレースフォーマットに変換し、次に、入力された劣化シーケンスをオフセットありでクロッピングし、入力された基準シーケンスをオフセットなしでクロッピングする。図3は、これらのタスクを完遂させるルーチン例を示した図である。
【0032】
図3のルーチンは、各入力されたシーケンス(試験シーケンス及び基準シーケンス)に対して別個に適用され、各々のクロッピングされた試験シーケンス及び基準シーケンスが生成される。該ルーチンの動作は以下のとおりである。
【0033】
最初に、ステップ3.2において、FOR処理ループが開始され、クロップ・オフセットモジュールが入力されたシーケンス(試験シーケンス又は基準シーケンスのうちのいずれかのシーケンス)内のすべての各フィールド/フレームを処理する。次に、ステップ3.4において、さらなる入れ子型のFOR処理ループが開始され、クロップ・オフセットモジュールが各フィールド/フレームのコンポーネント部分(例えば、Y、U及びV)の各々に関するプロセスを実施する。
【0034】
該入れ子型FORループ内において、最初に実施される動作はステップ3.6の動作であり、入力されたフィールド/フレームの現在のコンポーネント部分が最初に非インターレースフォーマットに変換される(必要な場合)。例えば、次式に従い、各後続フィールドがアレイRefY、RefU、及びRefVによって表されるようにするために、YUV422インターレースフォーマットからブロックYUV444デインターレースフォーマットへの変換を行うことができる。
【数1】
【数2】
【数3】
【0035】
ここで、Xはフィールド内の水平画素数、Yは垂直画素数である。YUV422入力の場合は、各U値及びV値を繰り返して全解像度アレイInUField及びInVFieldを得なければならない。
【0036】
次に、ステップ3.8において、現在のコンポーネント(Y、U、又はV)に関するクロッピング及びオフセットされた画素値を保持するためのアレイが初期設定される。該アレイは、RefYfield、RefUfield、RefVfield、DegYfield、DegUfield、又はDegVfieldのうちの1つであり、いずれのアレイになるかは、基準シーケンス又は試験シーケンスのいずれのシーケンスを現在処理中であるか、及び該シーケンスの現在のフレームのコンポーネントのうちのいずれのコンポーネントであるかに依存する。尚、各入力フィールドに関して完全な一組のYfieldアレイ、Ufieldアレイ、及びVfieldアレイが生成される。
【0037】
ステップ3.8に引き続き、ステップ3.10において、適用すべきオフセット(存在する場合)を考慮しつつ、各フィールド/フレームコンポーネントのうちのコピーすべき領域が計算される。このルーチンは、入力された劣化シーケンスをオフセットありでクロッピングし、入力された基準シーケンスをオフセットなしでクロッピングする。オフセットパラメータOffsetX及びOffsetYは、外部で決定され、劣化シーケンスが基準シーケンスからオフセットされる水平画素数及び垂直画素数を定義する。画像の起点は画像の左上隅に定められており、+ve水平増分が右方向に移動し、+ve垂直増分が下方に移動する。XOffset値が2の場合は、劣化フィールドが右に2画素だけオフセットされることを示しており、YOffset値が2の場合は、下方に2画素だけオフセットされることを示している。適用されるオフセット値は、画像整合技術、等によって見つけ出すことができる。画像整合技術は、当業においては既知であり、背景技術において引用されているこれまでの技術文書のうちのいくつかにおいて説明されている。
【0038】
アレイInField、InUFiled、及びInVField内においてYUV444フォーマットで保存されているYUV値を有する入力フィールドの場合は、クロッピング及びオフセットされた出力は、式(3−4)乃至(3−20)に従って計算される。
【数4】
【数5】
【数6】
【数7】
【数8】
【数9】
【数10】
【数11】
【0039】
ここで、X=水平フィールド寸法、Y=垂直フィールド寸法、Cx=左から右にクロッピングされる画素数、Cy=最上部から最下部にクロッピングされる画素数。
【0040】
625ライン映像シーケンスの場合は、下記の値を用いることができる。
【数12】
【0041】
525ラインシーケンスの場合は、下記の値を用いることができる。
【数13】
【0042】
これで、Xstart、Xend、 Ystart及びYendが、各フィールドのうちのコピーされる領域を定義する。この領域外の画素は、ステップ3.12において式(3−14)乃至(3−17)に従って初期設定され、ここで、YField、UField及びVFieldは、Y値、U値及びV値をそれぞれ含むXxYの出力画素アレイである。
【0043】
ステップ3.12において、フィールドの左右の垂直バーは、次式に従って初期設定される。
【数14】
【数15】
【0044】
フィールドの最上部及び最下部の水平バーは、次式に従って初期設定される。
【数16】
【数17】
【0045】
最後に、ステップ3.14において、画素値は、次式に従ってコピーされる。
【数18】
【数19】
【数20】
【0046】
入力された劣化シーケンスに関しては、クロッピング及びシフトは、出力フィールドアレイDegYField、DegUField及びDegVFieldを生成する。他方、基準シーケンスに関するシフトなしクロッピングは、RefYField、RefUField及びRefVFieldを生成する。これらのXxYの二次元アレイは、後述されているように、マッチングモジュール30及びアナライザ22乃至28への入力項目として用いられる。
【0047】
クロッピングされた試験映像フィールド/フレーム及び基準映像フィールド/フレームは、クロップ・オフセットモジュール32からシーケンスマッチングモジュール30に出力される。マッチングプロセスを実施するためには、シーケンスマッチャーモジュール30は、基準シーケンス及び試験シーケンスの各々のいくつかのフィールド/フレームを受け取り30さらにこれらのフィールド/フレームをバッファリングしなければならない。好ましいことに、マッチングモジュール30が有するバッファスペースと同じ数の基準フィールド/フレーム及び試験フィールド/フレームがバッファリングされる。シーケンスマッチングモジュール30の動作が図5において詳細に示されている。
【0048】
最初に、ステップ5.2において、マッチングモジュール30は、上述されているように、クロッピングされた基準フィールド/フレーム及び試験フィールド/フレームを受け取り、個々のフィールド/フレームをバッファリングする。次に、ステップ5.4において、各々の試験映像フィールド/フレームNに関する処理ループが開始され、各々の入力された試験フィールドが時間の経過とともに処理される。該処理ループ内において、現在のフィールド/フレームNに関する次のステップがステップ5.6において実施され、該現在のフィールド/フレームがbxxbyの画素ブロックに分割される(ここで、bx及びbyは、好ましいことに両方とも9である)各画素ブロックは、属するフィールド/フレームN及び該ブロックの左最上部座標(x,y)によってインデキシングされる。次に、次のステップであるステップ5.8において、各画素ブロックBdeg(N,Px,Py)を処理するための第2の処理プロセスが開始される。ここで、Nは該ブロックが見つかるフレームであり、(Px,Py)は、該ブロック内の左最上部の画素の座標である。
【0049】
現在のフィールド/フレーム内の各画素ブロックの処理を開始後は、ステップ5.10において、さらなる処理ループが開始され、基準シーケンス内のN−M1からN+M2までの各フィールド/フレームnの処理が行われる。該処理では、現在の試験対象フレームNよりも前のM1のフィールド/フレーム、さらにはM2の後続するフィールド/フレームが探索される。次に、ステップ5.12において、探索境界Px−LxとPx+Lxの間の各水平画素位置xを探索するためのさらなる処理ループが開始され、次に、ステップ5.14において、探索境界Py−LyとPy+Lyの間の各垂直位置yを処理するための別の処理ループが開始される。ステップ5.10、ステップ5.12、及びステップ5.14において開始された各々の処理ループの結果、現在の試験対象フィールド/フレームに時間的に対応する基準フィールド/フレームに先行するM1のフレームから後続するM2のフレームまでの各フレーム内において、水平限界Lx及び垂直限界Lyによって定義された探索領域によって境界が定められたエリアが探索される。このプロセスは図4に示されており、左最下部座標(x,y)を有する劣化シーケンスのフィールドN内に示されている画素ブロックBが、基準シーケンス内において指示されている各々のエリア内において探索される。
【0050】
基準シーケンスの指示されたエリア内において画素ブロックBを探索するために実施される試験では、ステップ5.16において、探索されたエリア内の各位置に関するマッチング誤差E(n,x,y)が次式に従って決定される。
【数21】
【0051】
ステップ5.16において決定されたマッチング誤差は、のちに使用するために、現在値n、x、及びyに関するマッチング誤差として保存される。次に、ステップ5.18において、値yが増分され(最大値に達していない場合)、処理がステップ5.14に戻る。ステップ5.14では、次のyの値に関するマッチング誤差が決定される。yが最大値に達している場合は、処理はステップ5.20に進む。ステップ5.20では、xが増分され(xが最大値に達していない場合)、処理がステップ5.12に戻る。xが最大値に達している場合は、処理はステップ5.22に進む。ステップ5.22では、ステップ5.10において定められた最大値に達していない場合はカウンタnの数が増やされ、処理がステップ5.10に戻る(該当する場合)。nが最大値に達している場合は、処理がステップ5.24に進む。ステップ5.10、5.12及び5.14の入れ子型FORループの結果、図4に示されている探索領域内において可能性のある各位置に関するマッチング誤差E(n,x,y)が決定される。
【0052】
可能性のある各位置に関するマッチング誤差E(n,x,y)が得られた後は、ステップ5.24において次のステップが開始され、これらのn、x、及びyの値が見つけ出される。該マッチングエラー値は、最小値である。この場合は、保存されているマッチング誤差値を選別して最小誤差値を決定し、該最小値を得るに至ったn、x、及びyの値を決定する。
【数22】
【0053】
上記の方法で最小のマッチング誤差が決定後においては、処理中の現ブロックBdeg(N,Px,Py)にマッチングされたブロックは、Bref(nm,xm,ym)であり、このブロックは、基準シーケンス内のブロックのうちで、試験シーケンス内において処理中の現ブロックとのマッチングブロックである。
【0054】
現在のマッチングブロックを見つけ出した後は、ステップ5.26において、マッチングされたブロックBref(nm,xm,ym)が、現在の試験フィールド/フレームに対応するマッチングされた基準アレイ内にコピーされ、特に、該マッチングされた基準アレイ内においてブロックBdeg(N,Px,Py)と同一の位置を有するブロック内にコピーされる。すなわち、該基準アレイ内のマッチングされたブロックは、探索領域内のどの箇所のブロックであるかにかかわらず、次式に従い、構築対象となっているマッチングされた基準フィールド/フレーム内において、現在の試験対象ブロックが現在の試験フィールド/フレーム内において有している位置に対応するブロック位置内にコピーされる。
【数23】
【0055】
ここで、bは該ブロックの寸法(bx及びby)である。
【0056】
次に、ステップ5.28において、現在の試験フィールド/フレーム内の次の画素ブロックに処理が進められ(該当する場合)、該次の画素ブロックが上記に従って処理される。現在の試験フィールド/フレーム内の各画素ブロックを上記に従って処理することは、試験ブロックの各々に関するマッチング基準ブロックが見つけ出され、さらに、該マッチング基準ブロックをマッチングされた基準アレイ内にコピーすることは、該現在の試験フィールド/フレームに関するマッチングされた基準フィールド/フレームを生成させる。従って、すべての画素ブロックが適宜処理された後は(ステップ5.28において決定される)、ステップ5.30において、新たに構築されたマッチングされた基準フィールド/フレームを、使用するために各々のアナライザ22乃至28に適宜出力することができる。さらに、試験シーケンス内のすべてのフィールド/フレームに関してこのプロセスを繰り返すことによって、一連のマッチングされたフィールド/フレームをアナライザ用に構築することができる。
【0057】
劣化ブロックに関する最良のマッチを最初に探索するためのマッチングプロセス、及びその結果得られたブロックをマッチングされた基準アレイ内にコピーするプロセスは、希望される解析領域全体に関して繰り返される。この解析領域は、以下の2つの式に従い、ブロック中心点Px()及びPy()によって定義される。
【数24】
【数25】
【0058】
ここで、Qx及びQyは、水平解析ブロック数及び垂直解析ブロック数をそれぞれ定義し、KX1及びKY1は、最上部から及び左側からの解析ブロックの初期オフセットをそれぞれ定義し、KX2及びKY2は、解析ブロックのシフトを定義する。
【0059】
従って、N番目のフィールドのマッチング解析は、以下の式(5−6)及び一組の最良マッチ誤差値(5−7)によって表されたマッチングされた基準シーケンスを生成させる。
【数26】
【数27】
【0060】
一組のオフセットアレイMatT、MatX及びMatYを次式のように定義することができる。
【数28】
【0061】
625及び525の放送シーケンスに関するマッチングパラメータが表1に示されている。
【表1】
【0062】
(5−4)及び(5−5)によって定義された解析領域は、完全なフィールドサイズを網羅していない。このため、MRefは、その他の場所において無制限で使用できるようにするために式(5−9)に従って初期設定しなければならない。
【数29】
【0063】
しかしながら、再度流れ図において、新たに構築された個々のフィールド/フレームをステップ5.30においてアナライザに出力後は、マッチングモジュールは次に進み、直前に実施されたマッチングプロセスからいくつかのマッチング統計値及びその他の値を計算する。以下では、これらのマッチング統計値及びその他の値の計算について説明する。
【0064】
マッチングモジュール30の主機能は、映像品質評価システムの検出モジュール内において使用するためのマッチングされた基準シーケンスを生成することであり、このマッチングされた基準シーケンスの生成については上述されている。しかしながら、マッチングプロセスにおいて導き出されたいくつかの評価基準は、最終的な映像品質値を生成する際にも使用できることも判明している。以下では、水平マッチング統計値に関わる1つの該評価基準について説明する。
【0065】
ステップ5.32において、マッチングプロセスから得られた水平マッチング統計値が、積分プロセスにおいて使用するために計算される。各解析ブロックに関する最良のマッチ(前述の方法で決定される)は、次式に従い、各フィールドに関するヒストグラムhistXを構築する際に用いられる。
【数30】
【0066】
ここで、アレイhistXは、各フィールドに関してゼロに初期設定される。次に、該ヒストグラムを用いて次式に従って評価基準fXPerCentを決定する。
【数31】
【0067】
各フィールドに関して、評価基準fXPerCentは、マッチングヒストグラムのピークに寄与するマッチングされたブロックの割合(%)を与える。評価基準fXPerCentは、後述するように、のちに使用するためにマッチングモジュール30から積分モジュール4に出力される。
【0068】
次に、ステップ5.34において、マッチングモジュール30内ではマッチングされたPSNR(MPSNR)値も計算される。ここでは、各マッチングされたブロックに関する最小誤差E()を用いて、マッチングされた信号雑音比を次式に従って計算する。
【数32】
【数33】
【0069】
次に、現在のフィールド/フレームに関して決定されたマッチングされたPSNRが、のちに使用するために(後述)積分モジュール4に出力される。
【0070】
最後に、ステップ5.36において、次式に従い、水平ベクトル、垂直ベクトル及び遅延ベクトルが輝度・クロミナンスピーク信号雑音比アナライザ24によって生成され、さらにのちに使用するために保存される。
【数34】
【数35】
【数36】
【0071】
要約すると、試験映像シーケンス内の各フィールド/フレームに関して、該フィールド/フレームの副要素を基準映像シーケンスのフィールド/フレームの副要素とマッチングさせることによってマッチングされた基準フィールド/フレームを見つけ出すことができること、さらに、該マッチングプロセスから導き出されたマッチング統計値及びその他の評価基準値を出力することもでき、これらの値は後述される積分モジュール4において用いられることが上記から明らかになる。
【0072】
さらに、上記においては、輝度値(Y)又はいずれかのクロミナンス値(U又はV)のうちの1個の一次元マッチングについて説明しているにすぎない。しかしながら、同じププロセスがY、U、及びVの各々の画素値に対して別々に適用されて、カラースペースのこれらのコンポーネントの各々に関して別々の一次元のマッチングされたシーケンスが生成されることに注目すべきである。従って、有効なことに、図5のプロセスは、Y画素値、U画素値、及びV画素値の各々に関して別々に繰り返される。
【0073】
代替実施形態においては、当然、単一の三次元マッチングプロセスを使用することができるが、現時点においては、該別々の色パラメータ一次元マッチングが、全マッチングプロセスに関する好ましい試験済みの技術である。
【0074】
当然のことであるが、上述されているマッチング技術は、当業者にとって明確なわずかな修正を行うだけでその他のカラースペース(YCbCr、RGB、等)にも利用することができる。
【0075】
さらに、図5の上記のマッチングプロセス内においては、現在の試験映像フィールド/フレームの特定の副要素の探索が実施される基準映像シーケンス内の探索エリアを定義するためにいくつかのパラメータが要求されることにも注目すべきである。より具体的には、基準シーケンス内において、現在の試験映像フィールド/フレームに時間的に対応する基準映像フィールド/フレームに先行するフレーム及び後続するフレームのうちで探索しなければならない先行フレーム数及び後続フレーム数を指定する時間パラメータM1及びM2を定義しなければならず、さらに、各々の探索対象基準映像フィールド/フレーム内の探索エリアを空間的に制限するための空間パラメータLx及びLyも定義される。マッチングパラメータLx、Ly、M1及びM2は、処理対象となっている映像シーケンスの特性に従って正確な値を設定しなければならない。例えば、625(720x576のインターレースされた50フィールド/秒)放送シーケンス及び525(720x486のインターレースされた60フィールド/秒)放送シーケンスの場合は、空間パラメータLx及びLyは4画素にすべきであり、時間パラメータM1及びM2は4フィールド及び5フィールドにそれぞれ設定すべきであることが発明者によって判明している。さらに、9x9画素のマッチングブロックサイズが好ましいものであった。
【0076】
再度図2において、シーケンスマッチャーモジュール30から出力されたマッチングされた基準シーケンス34は、空間周波数アナライザ22、輝度・クロミナンスピーク信号雑音比アナライザ24、及びエッジ検出器アナライザ26の各々に入力されることがわかる。従って、以下ではこれらの各々のアナライザの動作について説明する。
【0077】
最初に空間周波数アナライザ22について説明する。空間周波数アナライザ22の内部構成が図6に例示されており、該図においては、空間周波数アナライザ26は、試験映像フィールド/フレームを入力項目として受け取るように配備された第1のピラミッド変換生成器222を内部に具備することがわかる。さらに、マッチングされた基準フィールド/フレームを入力項目として受け取る第2のピラミッド変換生成器224も備えている。これらの2つのピラミッド変換生成器222及び224は、各々が同じ動作をして各入力されたフィールド/フレームに関するピラミッドアレイを生成し、次に、各々の対応する試験映像フィールド/フレームとマッチングされた基準映像フィールド/フレームとの間におけるピラミッドSNR評価基準を生成するために該ピラミッドアレイがピラミッドSNR計算器226に提供される。次に、該ピラミッドSNR評価基準値を生成する際における空間周波数アナライザ22の動作について図7乃至9を参照しつつ説明する。
【0078】
最初に、図8は、ピラミッド変換生成器222又は224のいずれかが各々のピラミッドアレイを生成するに際して実施するステップを示した流れ図である。このため、最初にステップ8.2において、ピラミッド変換生成器は、入力されたフィールド/フレームを各々のシーケンス(即ち、マッチングモジュール30から出力された試験シーケンス又はマッチングされた基準シーケンス)から受け取る。次に、ステップ8.4において、ピラミッドアレイを生成するためにカウンタステージがゼロに初期設定されて処理ループが開始される。ピラミッドアレイを生成するための一般手順は、3つのステージ、2つのステップであり、各ステージ0乃至2に関して水平解析が実施されてその後に垂直解析が実施される。次に、1つの特定の水平・垂直解析ステージに関わるステップについてステップ8.6乃至8.20を例として用いて説明する。
【0079】
ステップ8.4において開始された処理ループ内においては、特定のピラミッド処理ステージに関してステップ8.6において実施される第1のステップでは、処理対象となっている現在のフィールド/フレームが次式のように一時アレイ内にコピーされる。
【数37】
【0080】
次に、ステップ8.8において、水平解析限度がステージパラメータの現在値の関数として次式のように計算される。
【数38】
【数39】
【0081】
次に、上記の計算された限度内において水平解析が実施され、該一時アレイの水平の対の要素間における平均及び差がピラミッドアレイの更新に用いられる(次式)。
【数40】
【数41】
【0082】
さらに、ステップ8.12において、入力されたフィールド/フレーム値が水平解析結果によってオーバーライトされる。
【0083】
次に、現在の処理ステージに関する垂直解析がステップ8.14において開始され、入力されたフィールド/フレームが同じく一時アレイ内にコピーされる。しかしながら、この時点においては、入力されたフィールド/フレーム内の値はステップ8.12において水平解析結果によってオーバーライトされていることに注目すべきであり、従って、現在の垂直解析ステージへの入力は、直前の現在の水平解析ステージからの出力であることがわかる。
【0084】
次に、ステップ8.16において、垂直解析限度が該ステージ値の関数として次式のように計算される。
【数42】
【数43】
【0085】
後続して、一時アレイの垂直の対の要素の平均及び差を用いて下記に従ってピラミッドアレイを更新するために、該計算された限度内での垂直解析がステップ8.18において次式に従って実施される。
【数44】
【数45】
【0086】
ステップ8.20において、入力されたフィールド/フレームがステップ8.18において実施された垂直解析結果によってオーバーライトされ、従って入力されたフィールド/フレームアレイ内の値は、空間解析の第1ステージの結果に対応している。ステップ8.22において、ピラミッドアレイを生成するための各々の空間解析ステージが実施済みであるかどうかを決定するための評価が実施される。これらの各々のステージが実施済みでない場合は、処理はステップ8.4に戻り、ステージ値が増やされてステップ8.6乃至8.20が再度繰り返される。各ステージにおける各水平解析ステップ及び垂直解析ステップに関して、入力フィールド/フレームアレイ内の値が計算された垂直限度値及び水平限度値によってオーバーライトされ、このため、処理が各ステージにおいてステップごとに進行するのに従い、入力フィールド/フレームアレイ内において保持されている値が変換されて(各レベルにおいて各々が4象限を有する)ピラミッド構造に入る。従って、ステージ0乃至2の各々が完了されてステップ8.22における評価が処理ループを終了させるまでに、ステップ8.24において出力可能なピラミッドアレイが構築されている。
【0087】
各処理ステージの終了時における構築されたピラミッドアレイのフォーマットが図7に示されている。より具体的には、図7(a)は、ステージ0の処理が終了後における入力フィールド/フレームアレイの内容を例示した図であり、該図からわかるように、水平解析ステップ及び後続する垂直解析ステップが該アレイを4つの象限Q(ステージ、0乃至3)に分割させ、Q(0,0)は、入力されたフィールド/フレームの4画素ブロックの平均に対応する値を含み、Q(0,1)は、入力されたフィールド/フレームの4画素ブロックの水平の差に対応する値を含み、Q(0,2)は、4画素ブロックの垂直差に対応する値を含み、Q(0,3)は、4画素ブロックの対角差に対応する値を含む。
【0088】
次に、図7(a)に示されているステージ0解析から出力された象限Q(0,0)をFORループの第2の繰り返しへの入力項目として用いてステージ1の処理を実施する。該処理結果が図7(b)に示されている。この図においては、象限Q(0,0)は、4x4画素ブロックの解析に関わる結果Q(1,0乃至3)によってオーバーライトされているが、この場合は、各象限Q(1,0乃至3)は、ステージ0の出力に関して前述されている平均、水平差、垂直差、及び対角差に関わる値を含んでいる。
【0089】
図7(b)に示されているステージ1解析の出力項目は、図8のFORループの第3の繰り返しにおけるステージ2解析への入力項目として用いられ、図7(c)に示されている結果が得られる。この図においては、象限Q(1,0)は、象限Q(2,0乃至3)によってオーバーライトされており、象限Q(2,0乃至3)の各々は、前述されているブロックの平均、ブロックの水平差、等にそれぞれ関係していることがわかる。3つの解析ステージが終了後においては、その結果得られた図7(c)のピラミッドアレイは、合計10ブロックの結果を有しており、これらの10ブロックは、3つのブロックQ(0,1乃至3)がステージ0(2x2画素)解析によって得られたブロック、3つの象限Q(1,1乃至3)がステージ1(4x4画素)解析による象限、4つの象限Q(2,0乃至3)がステージ2(8x8画素)解析による象限である。図7に示されているピラミッドアレイを生成するための図8の手順は、各々のピラミッド変換生成器222乃至224によって実施されて各々のピラミッドアレイpref及びpdegが生成され、これらのピラミッドアレイがSNR計算器226に入力されるということに注目すべきである。ピラミッドSNR計算器226の動作は、図9に示されている。
【0090】
図9に関して、最初にステップ9.2において、ピラミッドSNR計算器226は、基準アレイをピラミッド変換生成器224から受け取り、劣化したピラミッドアレイをピラミッド変換生成器222から受け取る。次に、ステップ9.4において、0乃至2のカウンタ値ステージの各値を処理する処理ループが開始される。次に、値1と3の間のカウンタ値象限を処理する第2の入れ子型処理ループがステップ9.6において開始される。ステップ9.8におけるこれらの入れ子型処理ループ内において、基準アレイとピラミッドアレイとの間の平方誤差評価基準値E(ステージ、象限)が次式に従って計算される。
【数46】
【0091】
ここで、x1、x2、y1及びy2は、ピラミッドアレイ内の象限の水平限度及び垂直限度を定義し、次式に従って計算される。
【数47】
【数48】
【数49】
【0092】
各計算された誤差評価基準E(ステージ、象限)は、ステップ9.10において保存され、次に、ステップ9.12及び9.14において、象限カウンタ及びステージカウンタの値が処理ループに従って適宜更新される。ステップ9.4乃至9.14及びステップ9.6乃至ステップ9.12の処理ループの動作は、カウンタステージ及びカウンタ象限の各値に関する誤差評価基準値を計算する動作である。
【0093】
平方誤差評価基準値を計算後は、ステップ9.16において、カウンタステージの0乃至2の全利用可能値を処理するためのさらなる処理ループが開始される。その後は、ステップ9.18において、象限カウンタの値1乃至3を処理するための入れ子型処理ループが開始される。これらの入れ子型処理ループ内のステップ9.20において、PSNR評価基準PySNR(ステージ、象限)が次式に従って計算され、ステップ9.22において保存される。
【数50】
【0094】
ステップ9.24及び後続ステップ9.26において、カウンタステージ及びカウンタ象限の値が処理ループに従って適宜増やされ、従って、入れ子型処理ループの機能は、各ステージ値及び各象限値に関するPSNR評価基準を計算して保存することである。パラメータステージが0乃至2の値をとることができ、パラメータ象限が1乃至3の値をとることができることを考慮すると、ピラミッドSNR計算器226によって合計9つのPSNR評価基準が生成され、さらにこれらの全評価基準を積分ステージ4に出力可能であることがわかる。
【0095】
次に、エッジアナライザ26の動作について図10及び11を参照しつつ説明する。
【0096】
図10は、エッジアナライザ26の内部構成を示した図である。より具体的には、エッジアナライザ26は、映像フィールド/フレームを受け取って試験しさらに該映像フィールド/フレーム内のエッジを検出するように配備された第1のエッジ検出器262と、マッチングモジュール30から出力されたマッチングされた基準映像フィールド/フレームを受け取りさらに該基準映像フィールド/フレーム内のエッジを検出するように配備された第2のエッジ検出器264を具備する。エッジ検出器262及び264は両方とも、好ましいことに、既知のエッジ検出アルゴリズムに従って動作し、当業において既知である方法でエッジマップを作製する。例えば、既知のエッジ検出アルゴリズム例は、ラプラチアンエッジ検出器、キャニーエッジ検出器、及びロスウエルエッジ検出器である。優先権日(priority date)以前においては、キャニーエッジ検出器に関するCブログミング言語内のソースコードが、ftpを通じてftp://figment.csee.usf.edu/pub/Edge Comparison/source code/canny.srcから無料ダウンロード可能であり、ロスウエルエッジ検出器に関するC内のソースコードがftp://figment.csee.usf.edu/pub/Edge Comparison/source code/rothwell.srcから入手可能であった。
【0097】
エッジ検出器262及び264の各々によって製作された各々のエッジマップは、ブロックマッチング手段266に入力される。ブロックマッチング手段266は、後述される方法で各々のエッジマップを比較し、該比較結果を表す出力パラメータEDifを生成する。エッジアナライザ26の動作が、図11においてさらに詳細に示されている。
【0098】
図11に関して、最初にステップ11.2において、各々のエッジ検出器262及び264は、各々の基準エッジマップ及び劣化エッジマップを計算する。上述されているように、エッジ検出器262及び264によって用いられるエッジ検出アルゴリズムは、好ましいことに、当業において既知のアルゴリズム(キャニーエッジ検出器、等)である。エッジ検出器262及び264は、基準エッジマップ及び劣化エッジマップをブロックマッチング手段266に出力し、ステップ11.4において、該基準エッジマップ及び劣化エッジマップの各々がNxMブロックに分割される。次に、ブロックマッチング手段266は、基準エッジマップ及び劣化エッジマップの両マップにおいて、各ブロック内のエッジの一部を構成する各画素をカウントする。以上の結果、ステップ11.6が終了後には、ブロックマッチング手段266は、基準エッジマップ内及び劣化エッジマップ内の各ブロックに関するエッジ画素カウント値を入手している。
【0099】
カウントステップ後は、ステップ11.8において、ブロックマッチング手段266は、基準エッジマップ内及び劣化エッジマップ内の対応ブロック間における各々の画素カウント値の差を計算する。従って、ステップ11.8が終了後においては、基準エッジマップ又は劣化エッジマップのうちの1つエッジマップ内に存在するブロック数と同じ数の差値が入手されていることになる。
【0100】
ステップ11.8に引き続き、ステップ11.10において、ブロックマッチング手段266は、各差値をQ乗し、その結果得られた値をステップ11.12において合計する。従って、ステップ11.10が終了後は、基準エッジマップ又は劣化エッジマップのうちの1つのエッジマップ内に存在するブロック数と同じ数の値が依然として存在しているが、ステップ11.12が終了後は、ステップ11.10において計算された値の和に対応する単一の結果が得られる。次に、ステップ11.14において、該その結果得られた値が1/Q乗され、ステップ11.16において、この計算の結果がEDifパラメータとしてブロックマッチング手段266から出力される。図2から明らかなように、EDifパラメータは、エッジアナライザ26から積分ステージ4に出力される。積分ステージ内においてEDifパラメータを使用することについては後述される。
【0101】
エッジ差値に関するステップ11.6乃至11.16においてフィールド/フレームエッジからの解析オフセットを考慮することが有用な場合がある。この場合には、下記の処理が行われる。
【0102】
各々のエッジマップを作製後、ブロックマッチング手段は、各解析ブロック内におけるエッジ表示画素数の評価基準を計算する。ここで、nX及びnYは、水平方向及び垂直方向において解析対象となっている非オーバーラッピングブロック数を定義し、X1及びY1は、フィールドエッジからの解析オフセットを定義する。
【数51】
【数52】
【0103】
総計限度は次式に従って決定される。
【数53】
【数54】
【0104】
ここで、“div”演算子は、整数除算を表している。
【0105】
次に、フィールド全体における差の評価基準が次式に従って計算される。
【数55】
【0106】
625放送映像に関する720x288画素フィールドの場合:
【数56】
【0107】
525放送映像に関する720x243画素フィールドの場合:
【数57】
【0108】
式11−1乃至11−7によって表される上記の処理は、図11を参照しつつ説明済みの処理と実質的に同じであり、フィールド/フレームエッジからの解析オフセットが考慮されている点が異なることに注目すべきである。式11−5によって得られたパラメータEdifは、前述の方法と同じ方法で積分ステージ4に出力される。
【0109】
次に、質感アナライザ28の動作について図12を参照しつつ説明する。
【0110】
デジタル映像の圧縮は、符号化プロセスにおいて用いられるDCT係数が量子化されることで画像内の質感又は細部を低下させる傾向がある。このため、質感解析は、該圧縮に関する重要情報を入手することができ、本実施形態においては映像特性値TextureDeg及び/又はTextureRefを提供するために用いられる。より具体的には、質感パラメータ値TextureDeg及び/又はTextureRefは、水平画像ラインに沿った強度信号内のターニングポイント(turning point)数を記録することによって測定される。この動作は、図12に示したように実施される。
【0111】
図12に関して、最初にステップ12.2において、質感アナライザ28は、処理対象となる現在のフィールド/フレームを受け取る。図2からわかるように、質感アナライザ28は、クロップ・オフセットモジュール32から試験映像フィールド/フレームを受け取るが、マッチングされた基準フィールド/フレーム及び原基準フィールド/フレームのいずれも受け取らない。しかしながら、その他の実施形態においては、質感アナライザ28は、マッチングされた基準フィールド/フレーム又は原基準フィールド/フレームのうちのいずれかを受け取り、この場合は、TextureDegパラメータに関して後述される方法とまったく同じ方法でTextureRefパラメータを計算することができる。
【0112】
ステップ12.2に引き続き、ステップ12.4において、ターニングポイントカウンタの合計がゼロに初期設定される。次に、ステップ12.6において、リミットループ=0乃至Y−1内における入力映像フィールド/フレームループ内の各ラインに関して処理ループが開始される(ここで、Y=該映像フィールド/フレーム内におけるライン数)。該処理ループ内において、ステップ12.18では、last_pos及びlast_negの両値が0に初期設定される。次に、ステップ12.10において、各ラインy内の各画素xを処理するための第2の入れ子型処理ループが開始される。ここで、xは、0乃至X−2の値をとり、Xは、入力された映像フィールド/フレームの1本のライン内における画像数である。
【0113】
該入れ子型処理ループ内において、ステップ12.12では、位置xにおける画像値と位置x+1における画素値の間の差値が計算される。次に、ステップ12.14において、該計算された差値が0よりも大きいかどうか及び値last_negが値last_posよりも大きいかどうかを決定するための評価が行われる。この論理条件が満たされている場合は、カウンタ値合計が増やされる。ステップ12.14に引き続き、ステップ12.16において、ステップ12.12において計算された差値が0よりも小さいかどうか及び値last_negが値last_posよりも小さいかどうかを決定するための第2の評価が行われる。この論理条件が満たされている場合は、カウンタ値合計が増やされる。この場合、ステップ12.14及びステップ12.16の評価は互いに排他的であること及びいずれの単一の特定画像に関してもカウンタ値合計を2回増やすことはできないことが注目されることになる。ステップ12.16に引き続き、ステップ12.18において、該計算された差値がゼロよりも大きいかどうかを決定するためのさらなる評価が行われ、該差値がゼロよりも大きい場合は、値last_postが現在の画素xの番号に設定される。代替として、ステップ12.20において、該計算された差値がゼロよりも小さいかどうかを決定するための第2の評価が行われ、該差値がゼロよりも小さい場合は、カウンタ値last_negが現在の画素番号xに設定される。
【0114】
ステップ12.20に引き続き、ステップ12.22において、現在のライン内の全画素xが処理済みであるかどうかを決定するための評価が行われ、処理済みでない場合は、処理がステップ12.10に戻り、ステップ12.10において次の画素が処理される。しかしながら、全画素が処理済みである場合は、ステップ12.24に処理が進み、ステップ12.24において、現在の入力フレーム内における全ラインyが処理済みであるかどうかを決定するための評価が行われ、全ラインyが処理済みでない場合は、ステップ12.6に処理が戻り、ステップ12.6において次のラインの処理が開始される。これらの入れ子型処理ループによって得られる結果は、各ラインの各画素が処理され、さらに、ステップ12.14及びステップ12.16の評価結果が真であるたびにカウンタ合計が増やされる。従って、該処理ループが終了後においては、カウンタ合計は、入力されたフィールド/フレーム内における質感ターニングポイントを示すある一定の値を含むことになる。
【0115】
ステップ12.26では、カウンタ合計内に保持されているこの値を用いて、質感パラメータが次式のように該値の関数として計算される。
【数58】
【0116】
上記によって計算された質感パラメータは、ステップ12.28において質感アナライザ28から積分器ステージ4に出力することができる。
【0117】
既述されているように、図2は、劣化した映像フィールド/フレームのみを受け取り、従ってTextureDegパラメータ値のみを生成する質感アナライザ28を例示した図であるが、その他の実施形態においては、質感アナライザ28は、基準映像フィールド/フレーム又はマッチングされた基準映像フィールド/フレームのいずれかを受け取ることもでき、上記の処理ステップを該フィールド/フレームに当てはめてTextureRefパラメータ又はTextureMrefパラメータを生成することもできる。
【0118】
次に、輝度・クロミナンスピーク信号雑音比アナライザ24の動作について説明する。
【0119】
図2に示されているように、輝度・クロミナンスピーク信号雑音比アナライザ24は、マッチングされた基準映像フィールド/フレーム及び劣化した映像フィールド/フレームを入力項目として受け取る。これら入力項目は、次式に従い、強度及び色信号雑音比評価基準において使用することができる。ここで、RefY及びDegYは、マッチングされた基準強度フィールド及び劣化強度フィールドであり、RefU、DegU、RefY及びDegVは、YUV標準色フォーマットに従ったクロミナンスフィールドである。
【数59】
【数60】
【数61】
【0120】
当然のことであるが、YUV色モデル(RGB、YCbCr、等)を使用しない本発明のその他の実施形態においては、当業者にとって明らかなように、同様の対応する測定値を計算することができる。
【0121】
さらに、輝度・クロミナンスピーク信号雑音比アナライザ24は、マッチングモジュール30において生成されたマッチングベクトルの組を用いて、YUV色モデル使用時の画素のV値に関わるセグメントPSNR評価基準SegVPSNRを生成する。より具体的には、上記の(5−14)乃至(5−16)において定義されたマッチングベクトルを用いて、画素V値に関するマッチングされた信号雑音比が計算される。さらに、次式に従い、各組のマッチングベクトルに関する誤差評価基準VEが輝度・クロミナンスピーク信号雑音比アナライザ24によって計算される。
【数62】
【0122】
次に、フィールドに関するセグメントPSNR評価基準が次式に従って計算される。
【数63】
【0123】
次に、該セグメントPSNR評価基準SegVPSNRは、後述されるのちの用途のために積分モジュール4に出力される。
【0124】
再度図1において、マッチングモジュール及び検出器モジュール2内の諸アナライザからの様々な出力項目が積分ステージ4に送られ、積分ステージ4において、様々な値が積分されて映像品質値10が得られる。次に、積分ステージ4の動作について図13を参照しつつ説明する。
【0125】
一般的には、該積分ステージの動作は、アナライザ22乃至28によって生成された映像特性パラメータ値のうちの選択値を適宜加重することによって、試験映像シーケンスの知覚された映像品質の推定値を生成する動作である。使用される特定の組のパラメータ値及び対応する加重係数の値は、試験対象となる特定の型の映像に依存し、事前の校正によって事前に決定される。これらの校正は、既知の主観的得点を有しておりさらに好ましいことに試験対象となる劣化シーケンスと同様の特性を有する、大規模な一組の映像シーケンスに対して実施される。
【0126】
一般的形態の積分手順は、最初に、フィールド/フレームをフィールド/フレーム検出パラメータによって時間加重し、次に、時間加重値及び平均化値を組み合わせて全体的な映像品質値である1つの予測品質得点を得る。この手順を達成させるプロセスが図13に示されている。
【0127】
最初に、積分ステージ4は、ステップ13.2において様々な検出器及びアナライザから出力されたパラメータ値を受け取ってこれらのパラメータ値を保存する。前述されているように、マッチングモジュール30は、様々なPerCent値及びMPSNR値を出力することができ、空間周波数アナライザ22は、PySNR値を出力する。他方、輝度・クロミナンスピーク信号雑音比アナライザ24は、使用中の色モデル内の輝度特性及びクロミナンス特性の各々に関するPSNR値、及びマッチングベクトルから計算されたSegVPSNR値を出力する。さらに、エッジアナライザ26は、前出されているようにEDifパラメータを出力し、他方、質感アナライザ28は、少なくとも値TextureDegを与えるが、該当する場合は値TextureRef及びTextureMrefを出力することも可能である。特定の試験映像フィールド/フレームに関してそれ以前のステージの各々によってどのようなパラメータ及び値が出力されているかにかかわらず、積分ステージは、出力された情報を受け取って該情報を保存する。
【0128】
次に、ステップ13.4において、積分ステージは、映像の型を選択し、その結果として、該映像の型に依存する一組の積分パラメータを選択する。例えば、1Mbit/秒乃至5Mbit/秒においてMPEG符号化されている720x288画素/フィールドの625放送映像に関する一組の積分パラメータが下表に示されている。
【表2】
525ライン映像に関する加重値は以下のとおりである。
【表3】
【0129】
前述されているように、様々な加重係数の正確な値は、校正によって事前に決定される。さらに、積分ステージ4において各組の積分パラメータが早見表、等に保存される。
【0130】
映像の型を選択し、保存された早見表から積分パラメータを設定後は、ステップ13.6において、値0乃至K−1内の各積分パラメータ型kを処理するための処理ループが開始される。各パラメータ(k)は、様々なアナライザ又はマッチングモジュールから受け取られたパラメータのうちの特定の1個のパラメータである。該処理ループ内のステップ13.8において、最初に、パラメータ値の時間加重平均AvD(k)が次式に従って計算される。
【数64】
【0131】
ここで、Nはフィールド数、D(k,n)はk番目の検出パラメータのn番目のフィールド、mnkは加重係数である。次に、ステップ13.10において、時間加重平均値AvD(k)に該当する加重係数w(k)が掛けられ、その積が保存される。該当する加重係数w(k)は、積分ステージ4において保存された映像型に関する該当する早見表から読み取られる。
【0132】
ステップ13.12において、すべての積分パラメータ(k)が処理済みであるかどうかを決定するための評価が行われ、すべての積分パラメータ(k)が処理済みでない場合は、これらのすべてのパラメータが処理されるまでステップ13.6の処理ループが再実施される。これらのすべてのパラメータが処理された時点で、適宜時間加重された平均値が各型のパラメータkに関して入手可能になり、ステップ13.14においてこれらの平均値が次式のようにオフセット値とともに合計される。
【数65】
【0133】
ここで、Kは積分の際に用いられるパラメータ数であり、表2及び3に示されている例の場合は6である。この結果、最終的な映像品質値PDMOSが得られ、該PDMOSがステップ13.16において出力される。
【0134】
出力された映像品質値PDMOSは、人間の観察者では実質的に知覚的に検出不能な試験映像信号内の歪み及び誤差を考慮に入れて生成されているという点で、人間の観察者による主観的試験によって生成された評点と同等である。従って、この性質に鑑みて、該映像品質値はいくつかの用途に供することができる。特に、既存の映像サービスの品質を評価して該品質が適切であることを確認するために用いることができ、その代替として、異なったビデオコーデックの性能を試験するために使用することもできる。さらに、該映像品質値は、新しい映像サービス(インターネット上におけるブロードバンド型の映像サービス、等)の性能について評価するために使用することもできる。この点に関して、本発明の実施形態によって生成された映像品質レベルPDMOSは、従来の技術によって生成される自動品質評価値と同様の用途に供することができ、両値の相違点は、該映像品質値の場合は知覚的に無意味な歪みを考慮しているため、主観的試験中に人間の観察者によって生成される映像品質値と同等の映像品質値を表すことができる能力は、従来の自動映像品質評価技術よりも本発明の実施形態のほうがはるかに高い。
【0135】
図14は、ソフトウェア内に実装される本発明の第2の実施形態を例示した図である。この実施形態においては、本発明によって提供される様々なプロセスは、基準映像シーケンス及び試験映像シーケンスの両方を受け取るように配備されたコンピュータ140によって実施される。コンピュータ140は、コンピュータ140によって実行時にコンピュータ140に本発明を実施させる命令を含む様々なコンピュータプログラムが記憶されたプログラム記憶装置(例えば、ハードディスクドライブ、書込可能CD又はDVD、メモリ、等)を備えている。より具体的には、実行されたときにコンピュータが本発明に従って試験映像シーケンス及び基準映像シーケンスの処理を開始するように該コンピュータのユーザーが制御することを可能にし、さらに該コンピュータが画面上において試験結果を該ユーザーに出力することを可能にする制御・インタフェースプログラム148が提供される。該制御・インタフェースプログラムは、好ましいことに、図形が基本になっており、さらに、該プログラムの配備は、当業者にとって明確になるであろう。
【0136】
さらに、積分器プログラム144、制御・インタフェースプログラム148、質感アナライザプログラム150、マッチングプログラム152、クロッピングプログラム154、空間周波数解析プログラム156、信号雑音比計算プログラム158、及びエッジアナライザプログラム160も備えられている。以下では、これらのプログラムの各々の動作について動作例を挙げて説明する。
【0137】
汎用コンピュータ140のユーザーが映像シーケンスを試験したいと考えていると仮定すると、該ユーザーは、最初に、制御・インタフェースプログラム148を開始させる。制御・インタフェースプログラム148は、該ユーザーが処理対象となる試験映像シーケンス及び基準映像シーケンスを指定できるようにするための制御を該ユーザーに提供する。該ユーザーが制御・インタフェースプログラム148を通じて処理開始命令をコンピュータ140に出すと、制御・インタフェースプログラム148は、その他の様々なプログラムを実行させることによってコンピュータ140に処理を開始させさらにデータを適宜処理させる。従って、制御・インタフェースプログラム148は、処理開始命令をユーザーから受け取った時点で、最初にクロッピングプログラム154に実行を開始させ、クロッピングプログラム154は、クロップ・オフセットモジュール32に関して既述されている方法とまったく同じ方法で、入力された基準映像シーケンス及び試験映像シーケンスのクロッピングを行う。即ち、クロッピングプログラム145は、図3に関して前述されている方法と同じ方法で入力映像シーケンスのクロッピングを行う。次に、該クロッピングされた映像シーケンスは、データ記憶装置142のワーキングデータエリア146内に保存される。
【0138】
入力された映像シーケンスのクロッピング後は、制御・インタフェースプログラム148は、マッチングプログラム152を起動させる。マッチングプログラム152は、記憶装置142のワーキングデータ部146内のクロッピングされた基準映像シーケンス及び試験映像シーケンスにアクセスし、さらに、図4及び図5に関して前述されているように、シーケンスマッチャーモジュール30とまったく同じようにシーケンスマッチングを実施する。即ち、マッチングプログラム152は、図5の流れ図に従って動作し、マッチングされた基準シーケンスを生成する。該マッチングされた基準シーケンスは、データ記憶装置142のワーキングデータ部146に保存される。
【0139】
マッチングされた基準シーケンスを生成後は、制御・インタフェースプログラム148は、空間周波数解析プログラム156を開始させる。空間周波数解析プログラム156は、前述されている空間周波数アナライザ22とまったく同じように、マッチングされた基準フィールド/フレーム及び試験フィールド/フレームに関する空間周波数解析を実施し、従って、空間周波数解析プログラム156は、PySNR映像特性値を生成するために図8及び9の両方の流れ図を実施する。該PySNR映像特性値は、記憶装置142のワーキングデータ部146に保存される。
【0140】
次に、制御・インタフェースプログラム148は、信号雑音比計算プログラム158を開始させる。信号雑音比計算プログラム158は、ワーキングデータ部146内の試験映像フィールド/フレーム及びマッチングされた基準映像フィールド/フレームにアクセスし、前述された方法で輝度・クロミナンスピーク信号雑音比を計算する。即ち、信号雑音比計算プログラム158は、前述されている輝度・クロミナンスピーク信号雑音比アナライザ24とまったく同じように動作する。信号雑音比計算プログラム158によって計算された結果得られた輝度・クロミナンス信号雑音比は、記憶装置のワーキングデータエリア146に保存される。
【0141】
次に、制御・インタフェースプログラム148は、質感アナライザプログラム150を開始させる。質感アナライザプログラム150は、ワーキングデータエリア146からの試験映像フィールド/フレームにアクセスし、質感アナライザ28に関して前述されている方法と同じ方法でTextureDegパラメータを計算する。従って、質感アナライザプログラム150は、図12の流れ図に従って動作する。さらに、必要な場合は、該質感アナライザプログラムは、TextureRefパラメータ及びTextureMrefパラメータを同じ方法で計算することもできる。
【0142】
質感アナライザプログラム150の動作後、制御・インタフェースプログラム148は、エッジアナライザプログラム160を開始させる。該エッジアナライザプログラムは、試験映像フィールド/フレームに加えて、記憶装置142のワーキングデータエリア146内のマッチングされた基準フィールド/フレームにアクセスする。次に、エッジアナライザプログラム160は、エッジアナライザ26に関して前述されているのと実質的に同じように動作する。即ち、エッジアナライザプログラム160は、図11の流れ図において示されているステップを実質的に実施する。該エッジアナライザプログラムの出力項目は、EDifパラメータであり、該EDifパラメータは、ワーキングエリア146に保存される。
【0143】
第2の実施形態の動作におけるこの段階においては、各々のアナライザプログラムが実行済みであり、このため、ワーキングエリア146は、積分器のための入力項目として用いることができる全映像特性パラメータ値を含んでいる。従って、次の動作では、制御・インタフェースプログラム148が積分器プログラム144を開始させ、積分器プログラム144は、最終的な映像品質値PDMOSを生成するために、ワーキングエリア146にアクセスして特性パラメータ値を適宜読み取り、これらのパラメータを積分する。積分器プログラム144の動作は、前述されている積分器ステージ4の動作と実質的に同一である。従って、積分器プログラム144は、前述されているように、図13の流れ図に実質的に従って動作する。
【0144】
従って、本発明の第2の実施形態は、第1の実施形態に関して前述されている方法と実質的に同じ方法で映像品質値を生成するように動作するソフトウェア実施形態を提供する。しかしながら、前述されている第1の実施形態は、ソフトウェア内に実装することもでき、又はその代替として、ハードウェア要素とともに又はソフトウェアとハードウェアの組合せとともに実装することもできる点に注目すべきである。この点に関して、第1の実施形態は、第2の実施形態よりも一般的な実施形態であるとみなすべきである。
【0145】
説明されている実施形態に対してその他の様々な修正を加えてさらなる実施形態を提供することができる。例えば、1つのさらなる実施形態においては、異なったブロックサイズを用いてマッチングプロセスを実施させることができる。特に、誤差極小化ブロックサイズが再構築されたブロックサイズよりも大きい場合は、オーバーラップしているウィンドウに関する誤差が極小化され、2つ以上の劣化ブロックのマッチングに関していくつかの画素が検討されることになる。該プロセス内においては、マッチングモジュールは、依然として、前述されているように同じブロック数に試験映像フィールド/フレームを分割するように動作するが、マッチング対象ブロックの画素を完全に含んでいるだけでなくマッチング対象ブロックの周囲のさらなる画素も含んでいるマッチング要素を定義する。次に、このマッチング要素が誤差極小化関数内で用いられ、マッチング対象ブロックに関する基準シーケンス内のマッチングブロックが見つけ出される。このプロセスは、マッチングの精度を向上させることによって便益を提供することができる。
【0146】
本発明において用いられる上記のマッチングプロセスは、いくつかの異なった種類の歪みによる影響(一貫した定期的なフィールドの不整合からワープ及びより過渡的なブロックに基づく劣化までに至る影響)を克服することができる。次に、様々な歪みに対するPSNRの感度とマッチングされたPSNR評価基準の感度との間の差が提示され、該マッチングプロセスの便益が例示される。提示されるすべての結果は、光度画素値のみに関する結果である。
【0147】
最初に空間不整合上の不具合について説明すると、基準フィールドと劣化フィールドとの間における空間不整合がほんの1画素にすぎない場合でも、観察者は知覚できないがSNR評価基準に対して有意な影響を及ぼす可能性がある。本発明によって提供されるマッチングプロセスは、一定の空間オフセット及び時間とともに変化する空間オフセットの両方を、アルゴリズム内において設定されている知覚に基づく探索限度まで処理することができる。
【0148】
図15は、3Mb/秒に従ってMPEG2符号化されている625シーケンスから計算されたPSNR結果を示した図であり、基準シーケンス及び劣化シーケンスが空間的に(及び時間的に)整合されている。該PSNR作図は、次式に従って基準シーケンス及び劣化シーケンスの各々のフィールド間で計算された基本的なPSNRを示している。
【数66】
【0149】
ここで、X及びYは、フィールド画素の寸法である。
【0150】
MPSNR作図は、マッチングされたシーケンスがSNRモジュールへの入力項目として基準シーケンスに取って代わるときの結果を示している。この場合は、PSNRの結果とMPSNRの結果との間に密な整合性が存在することがわかる。図16は、劣化シーケンスに対する2画素水平オフセットの影響を示した図である。この図では、MPSNRは不変であり、PSNRは、最高で7dB低下していることがわかる。
【0151】
図17は、同じ試験シーケンスに関する±4画素間でのランダムな水平フィールドジターの影響を示した図である。同図においても、マッチングされたPSNRは、空間ジターによる影響を受けず、通常のPSNRは大きく変えられていることがわかる。
【0152】
時間的不整合に関しては、基準シーケンス及び劣化シーケンスの時間的不整合もSNR評価基準に対して有意な影響を及ぼす可能性がある。この場合における影響度は、映像シーケンスの時間とともに変化する性質に依存する。空間不整合と同様に、マッチングプロセスは、アルゴリズムの知覚に基づく探索限度内における一定の時間的オフセット及び時間とともに変化する時間的オフセットの両方を処理することができる。
【0153】
本発明によって提供されるマッチングプロセスの便益の興味深い1例が図18に示されている。該図においては、625放送シーケンスがCIF解像度でH.263符号化されており、その結果、後続する劣化フィールドは同一である。PSNR作図は、解像度が低下した符号化に起因して代替フィールドに関する値が大幅に低下しており、その一方でMPSNRは影響を受けないことを示している。
【0154】
マッチングプロセスは、不規則な時間的不整合を処理することもでき、図19は、フィールドのランダムなフリーズに関する例を示した図である。この例においては、各フィールドは、フリーズ状態になる(時間的に次のフィールドに取って代わる)確率が10%である。
【0155】
最後に、ブロックレベルの歪みに関して、本発明のマッチングプロセスは、これまでに検討されているフィールドに基づく空間的不整合及び時間的不整合よりも複雑な歪みを処理するように設計されている。フィールドの全体的なサイズと比較して小さいブロックのマッチングは、歪みによる望ましくない影響(例えば、画素のワープ、ラインの消失、ブロックのフリーズ、等)を低減させることを可能にする。
【0156】
図20は、「ブロックのフリーズ」がPSNR評価基準及びMPSNR評価基準に対して及ぼす影響を示した図である。「ブロックフリーズ」のシミュレーションでは、更新対象ブロック内の8x8画素ブロックの85%のみをランダムに選択する。本例においては、25番目のフィールドまでプロセスが開始されなかった。歪みは知覚不能であることが試験によって示された一方で、PSNRは大幅に低下していることがわかる。しかしながら、マッチングプロセスは、フリーズしたブロックを追跡することができるため、MPSNR評価基準はほとんど影響を受けていない。
【0157】
文脈上別の解釈をすることが明らかに要求されない限り、説明全体及び請求項全体を通じて、「具備する」、「具備している」、等の表現は、排他的又は網羅的という意味ではなく包含するという意味である、すなわち、「〜を含むがこれらに限定されるものではない」という意味であると解釈すべきである。
【0158】
さらに、不確かさを回避するため、これまでの技術文書又は開示が引用されている場合において、これらの技術文書又は開示の内容は、全体であるか又は一部であるにかかわらず、本発明のいずれかの実施形態の動作又は実装について意図されている読者(即ち当業者)が理解するために必要なものであり、本出願明細書において引用することによって本出願明細書に組み入れられていると解釈すべきである。
【図面の簡単な説明】
【0159】
【図1】本発明のシステムの全体的ブロック図である。
【図2】本発明の実施形態の個々の部分を示したシステムブロック図である。
【図3】本発明の実施形態において入力された映像信号をクロッピング及びオフセットするために実施されるステップを例示した流れ図である。
【図4】本発明の実施形態における副要素のマッチングの効果を例示した概略図である。
【図5】本発明の実施形態においてサブフィールド/フレーム要素をマッチングさせるために実施されるステップを例示した流れ図である。
【図6】本発明の実施形態において用いられる空間周波数アナライザのブロック図である。
【図7】本発明の実施形態におけるピラミッドアレイの構造を例示した概略図である。
【図8】本発明の実施形態において図7のピラミッドアレイを構築する際に実施されるステップを例示した流れ図である。
【図9】本発明の実施形態内においてピラミッドアレイに関する空間解析を実施する際に実施されるステップを例示した流れ図である。
【図10】本発明の実施形態内において用いられるエッジアナライザのブロック図である。
【図11】本発明の実施形態においてエッジアナライザによって実施されるステップを例示した流れ図である。
【図12】本発明の実施形態の質感アナライザによって実施されるステップを例示した流れ図である。
【図13】本発明の実施形態の積分器によって実施されるステップを例示した流れ図である。
【図14】本発明の第2のソフトウェアに基づく実施形態を例示した概略図である。
【図15】空間オフセットなしに関する計算されたPSNRを例示したグラフである(3Mb/秒MPEG2符号化)。
【図16】2画素水平オフセット関する計算されたPSNRを例示したグラフである(3Mb/秒MPEG2符号化)。
【図17】水平ジターに関する計算されたPSNRを例示したグラフである(3Mb/秒MPEG2符号化)。
【図18】時間的フィールド不整合に関する計算されたPSNRを例示したグラフである(768kb/秒H263CIF符号化)。
【図19】フィールドリピートに関する計算されたPSNRを例示したグラフである(3Mb/秒MPEG2符号化)。
【図20】時間的ブロック不整合に関する計算されたPSNRを例示したグラフである(3Mb/秒MPEG2符号化)。
【特許請求の範囲】
【請求項1】
映像品質評価方法であって、
試験映像フィールド/フレームのサブフィールド/フレーム要素を少なくとも1つの基準映像フィールド/フレームの対応するサブフィールド/フレーム要素とマッチングさせるステップと、
前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームの前記マッチングされたサブフィールド/フレーム要素に基づいて映像品質値を生成するステップと、を具備する方法。
【請求項2】
前記マッチングさせるステップは、前記試験映像フィールド/フレームのサブフィールド/フレーム要素に関して、前記試験映像フィールド/フレームに時間的に対応する基準映像フィールド/フレームに先行するM1の基準映像フィールド/フレーム内及び/又はM2の後続する基準映像フィールド/フレーム内においてマッチングサブフィールド/フレーム要素を探索することをさらに具備する、請求項1に記載の方法。
【請求項3】
M1及びM2は、予め定義されている、請求項2に記載の方法。
【請求項4】
前記探索するステップは、前記基準映像フィールド/フレームにおいて、前記試験サブフィールド/フレーム要素が前記試験映像フィールド/フレーム内において占める位置に対応する前記基準フィールド/フレーム内の位置の周囲の空間的に制限された領域内を探索することをさらに具備する、請求項2又は請求項3に記載の方法。
【請求項5】
前記探索領域の空間的範囲は、予め定義されている、請求項4に記載の方法。
【請求項6】
前記マッチングさせるステップは、前記試験映像フィールド/フレームのサブフィールド/フレーム要素に関して、前記試験映像フィールド/フレームのうちで前記サブフィールド/フレーム要素を含む部分を具備するマッチングテンプレートを定義することと、前記定義されたマッチングテンプレートを用いて前記少なくとも1つの基準映像フィールド/フレーム内のマッチングサブフィールド/フレーム要素を探索すること、とをさらに具備する、前記請求項のうちのいずれかの請求項に記載の方法。
【請求項7】
前記マッチングさせるステップは、1つ以上のマッチング統計値及び/又はマッチングベクトルを計算することをさらに具備し、前記生成するステップは、前記計算された統計値及び/又はマッチングベクトルに基づいてさらに映像品質パラメータを生成する、前記請求項のうちのいずれかの請求項に記載の方法。
【請求項8】
前記計算ステップは、前記基準映像フィールド/フレームの前記探索されたエリアに関わる1つ以上のヒストグラムを構築することと、マッチングされた要素のうちで前記ヒストグラムのピークに貢献する割合に関わる各ヒストグラムごとのマッチング統計値を計算すること、とを具備する、請求項7に記載の方法。
【請求項9】
前記生成するステップは、前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームの前記マッチングされたサブフィールド/フレーム要素に基づいて前記試験映像フィールド/フレーム及び/又は前記基準映像フィールド/フレームの特性に関わる複数の映像特性値を各々計算することと、少なくとも前記計算された映像特性値を積分して前記映像品質値を得ること、とをさらに具備する、前記請求項のうちのいずれかの請求項に記載の方法。
【請求項10】
請求項7又は請求項8に従属する場合において、前記積分するステップは、前記マッチング統計値を前記計算された映像特性値と積分して前記映像品質値を得ることをさらに含む、請求項9に記載の方法。
【請求項11】
前記映像特性値は、各々が、1つ以上の空間周波数値、1つ以上の質感値、少なくとも1つのエッジ値、少なくとも1つの輝度信号雑音比値、及び/又は1つ以上のクロミナンス信号雑音比値のうちのいずれかの2つ以上の値である、請求項9又は請求項10に記載の方法。
【請求項12】
前記エッジ値の計算は、試験フィールド/フレームに関して、前記試験フィールド/フレームの各サブフィールド/フレーム要素内におけるエッジ数をカウントすることと、前記試験フィールド/フレームの前記サブフィールド/フレーム要素にマッチングされた前記少なくとも1つの基準フィールド/フレームの各サブフィールド/フレーム要素内におけるエッジ数をカウントすることと、前記各々のカウント数値に基づいて前記試験フィールド/フレームに関するエッジ値を決定すること、とを具備する、請求項11に記載の方法。
【請求項13】
前記決定するステップは、各対の各々のカウント間における差値を計算することと、各計算された差値をQ乗することと、その結果得られた値を合計して合計値を得ることと、前記合計値を1/Q乗して前記エッジ値を得ること、とをさらに具備する、請求項12記載の方法。
【請求項14】
前記積分するステップは、予め決められた加重係数で各値を加重することと、前記加重された値を合計して前記映像品質値を得ること、とをさらに具備する、請求項9乃至請求項13のうちのいずれかの請求項に記載の方法。
【請求項15】
前記合計するステップは、前記加重された値を予め決められたオフセット値とともに合計するようにさらに手配された、請求項14に記載の方法。
【請求項16】
前記加重係数及び前記オフセット値は、前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームの型に依存する、請求項14又は請求項15のうちのいずれかの請求項に記載の方法。
【請求項17】
コンピュータシステムによって実行されたときに請求項1乃至請求項16のうちのいずれかの請求項に記載された方法を前記システムに実施させるように配備された1つのコンピュータプログラム又は一連のプログラム。
【請求項18】
請求項17に記載の前記コンピュータプログラム又は前記一連のプログラムのうちの少なくとも1つに対応するデータを組み入れた変調搬送波信号。
【請求項19】
請求項17に記載の前記コンピュータプログラム又は前記一連のプログラムのうちの少なくとも1つを記憶する、コンピュータによって読取可能な記憶媒体。
【請求項20】
映像品質評価システムであって、
試験映像フィールド/フレームのサブフィールド/フレーム要素を少なくとも1つの基準映像フィールド/フレームの対応するサブフィールド/フレーム要素とマッチングさせるためのマッチング手段と、
前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームのマッチングされたサブフィールド/フレーム要素に基づいて映像品質値を生成するために使用するように配備された映像処理手段と、を具備するシステム。
【請求項21】
前記マッチング手段は、前記試験映像フィールド/フレームに時間的に対応する基準映像フィールド/フレームに先行するM1の基準映像フィールド/フレーム内及び/又は後続するM2の基準映像フィールド/フレーム内においてマッチングサブフィールド/フレーム要素を探索するために使用するように配備された時間的探索手段をさらに具備する、請求項20に記載のシステム。
【請求項22】
M1及びM2は、予め定義されている、請求項21に記載のシステム。
【請求項23】
前記基準映像フィールド/フレームにおいて、前記試験サブフィールド/フレーム要素が前記試験映像フィールド/フレーム内において占める位置に対応する前記基準フィールド/フレーム内の位置の周囲の空間的に制限された領域内を探索するために使用するように配備された空間探索手段をさらに具備する、請求項21又は請求項22に記載のシステム。
【請求項24】
前記探索領域の空間的範囲は、予め定義されている、請求項23に記載の方法。
【請求項25】
前記マッチング手段は、前記試験映像フィールド/フレームのうちで前記サブフィールド/フレーム要素を含む部分を具備するマッチングテンプレートを定義する手段と、前記定義されたマッチングテンプレートを用いて前記少なくとも1つの基準映像フィールド/フレーム内のマッチングフィールド/フレーム要素を探索する手段と、をさらに具備する、請求項20乃至請求項24のうちのいずれかの請求項に記載のシステム。
【請求項26】
前記マッチング手段は、1つ以上のマッチング統計値及び/又はマッチングベクトルを計算するために使用するように配備された計算手段をさらに具備し、前記映像処理手段は、前記計算されたマッチング統計値及び/又はマッチングベクトルに基づいてさらに映像品質パラメータを生成するために使用するように配備されている、請求項20乃至請求項25のうちのいずれかの請求項に記載のシステム。
【請求項27】
前記計算手段は、前記基準映像フィールド/フレームの前記探索されたエリアに関わる1つ以上のヒストグラムを構築するために使用するように配備されたヒストグラム構築手段と、マッチングされた要素のうちで前記ヒストグラムのピークに貢献する割合に関わる各ヒストグラムごとのマッチング統計値を計算するためのマッチング統計計算手段と、をさらに具備する、請求項26に記載のシステム。
【請求項28】
前記映像処理手段は、前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームの前記マッチングされたサブフィールド/フレーム要素に基づいて前記試験映像フィールド/フレーム及び/又は前記基準映像フィールド/フレームの特性に関わる複数の映像特性値を各々計算するために使用するように各々配備された複数の解析手段と、少なくとも前記計算された映像特性値を積分して前記映像品質値を得るための手段と、をさらに具備する、請求項20乃至請求項27のうちのいずれかの請求項に記載のシステム。
【請求項29】
請求項26又は請求項27に従属する場合において、前記積分手段は、前記マッチング統計値を前記計算された映像特性値と積分して前記映像品質値を得るようにさらに配備された、請求項28に記載の方法。
【請求項30】
前記映像特性値は、各々が、1つ以上の空間周波数値、1つ以上の質感値、少なくとも1つのエッジ値、少なくとも1つの輝度信号雑音比値、及び/又は1つ以上のクロミナンス信号雑音比値のうちのいずれかの2つ以上の値である、請求項28又は請求項29に記載の方法。
【請求項31】
前記試験フィールド/フレームの各サブフィールド/フレーム要素内におけるエッジ数をカウントする手段と、前記試験フィールド/フレームの前記サブフィールド/フレーム要素にマッチングされた前記少なくとも1つの基準フィールド/フレームの各サブフィールド/フレーム要素内におけるエッジ数をカウントする手段と、前記各々のカウントに基づいて前記試験フィールド/フレームに関するエッジ値を決定する手段と、を具備するエッジ計算手段をさらに具備する、請求項30に記載のシステム。
【請求項32】
前記決定する手段は、各対になった各々のカウント間の差値を計算し、各計算された差値をQ乗し、その結果得られた値を合計して合計値を得、前記合計値を1/Q乗して前記エッジ値を得るために使用するように配備された算術計算器手段をさらに具備する、請求項31に記載のシステム。
【請求項33】
前記積分する手段は、予め決められた加重係数によって各値を加重するための加重手段と、前記加重された値を合計して前記映像品質値を得るための合計手段と、をさらに具備する、請求項28乃至請求項32のうちのいずれかの請求項に記載のシステム。
【請求項34】
前記合計手段は、前記加重された値を予め決められたオフセット値とともに合計するようにさらに配備されている、請求項33に記載のシステム。
【請求項35】
前記加重係数及び前記オフセット値は、前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームの型に依存する、請求項33又は請求項34のうちのいずれかの請求項に記載のシステム。
【請求項1】
映像品質評価方法であって、
試験映像フィールド/フレームのサブフィールド/フレーム要素を少なくとも1つの基準映像フィールド/フレームの対応するサブフィールド/フレーム要素とマッチングさせるステップと、
前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームの前記マッチングされたサブフィールド/フレーム要素に基づいて映像品質値を生成するステップと、を具備する方法。
【請求項2】
前記マッチングさせるステップは、前記試験映像フィールド/フレームのサブフィールド/フレーム要素に関して、前記試験映像フィールド/フレームに時間的に対応する基準映像フィールド/フレームに先行するM1の基準映像フィールド/フレーム内及び/又はM2の後続する基準映像フィールド/フレーム内においてマッチングサブフィールド/フレーム要素を探索することをさらに具備する、請求項1に記載の方法。
【請求項3】
M1及びM2は、予め定義されている、請求項2に記載の方法。
【請求項4】
前記探索するステップは、前記基準映像フィールド/フレームにおいて、前記試験サブフィールド/フレーム要素が前記試験映像フィールド/フレーム内において占める位置に対応する前記基準フィールド/フレーム内の位置の周囲の空間的に制限された領域内を探索することをさらに具備する、請求項2又は請求項3に記載の方法。
【請求項5】
前記探索領域の空間的範囲は、予め定義されている、請求項4に記載の方法。
【請求項6】
前記マッチングさせるステップは、前記試験映像フィールド/フレームのサブフィールド/フレーム要素に関して、前記試験映像フィールド/フレームのうちで前記サブフィールド/フレーム要素を含む部分を具備するマッチングテンプレートを定義することと、前記定義されたマッチングテンプレートを用いて前記少なくとも1つの基準映像フィールド/フレーム内のマッチングサブフィールド/フレーム要素を探索すること、とをさらに具備する、前記請求項のうちのいずれかの請求項に記載の方法。
【請求項7】
前記マッチングさせるステップは、1つ以上のマッチング統計値及び/又はマッチングベクトルを計算することをさらに具備し、前記生成するステップは、前記計算された統計値及び/又はマッチングベクトルに基づいてさらに映像品質パラメータを生成する、前記請求項のうちのいずれかの請求項に記載の方法。
【請求項8】
前記計算ステップは、前記基準映像フィールド/フレームの前記探索されたエリアに関わる1つ以上のヒストグラムを構築することと、マッチングされた要素のうちで前記ヒストグラムのピークに貢献する割合に関わる各ヒストグラムごとのマッチング統計値を計算すること、とを具備する、請求項7に記載の方法。
【請求項9】
前記生成するステップは、前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームの前記マッチングされたサブフィールド/フレーム要素に基づいて前記試験映像フィールド/フレーム及び/又は前記基準映像フィールド/フレームの特性に関わる複数の映像特性値を各々計算することと、少なくとも前記計算された映像特性値を積分して前記映像品質値を得ること、とをさらに具備する、前記請求項のうちのいずれかの請求項に記載の方法。
【請求項10】
請求項7又は請求項8に従属する場合において、前記積分するステップは、前記マッチング統計値を前記計算された映像特性値と積分して前記映像品質値を得ることをさらに含む、請求項9に記載の方法。
【請求項11】
前記映像特性値は、各々が、1つ以上の空間周波数値、1つ以上の質感値、少なくとも1つのエッジ値、少なくとも1つの輝度信号雑音比値、及び/又は1つ以上のクロミナンス信号雑音比値のうちのいずれかの2つ以上の値である、請求項9又は請求項10に記載の方法。
【請求項12】
前記エッジ値の計算は、試験フィールド/フレームに関して、前記試験フィールド/フレームの各サブフィールド/フレーム要素内におけるエッジ数をカウントすることと、前記試験フィールド/フレームの前記サブフィールド/フレーム要素にマッチングされた前記少なくとも1つの基準フィールド/フレームの各サブフィールド/フレーム要素内におけるエッジ数をカウントすることと、前記各々のカウント数値に基づいて前記試験フィールド/フレームに関するエッジ値を決定すること、とを具備する、請求項11に記載の方法。
【請求項13】
前記決定するステップは、各対の各々のカウント間における差値を計算することと、各計算された差値をQ乗することと、その結果得られた値を合計して合計値を得ることと、前記合計値を1/Q乗して前記エッジ値を得ること、とをさらに具備する、請求項12記載の方法。
【請求項14】
前記積分するステップは、予め決められた加重係数で各値を加重することと、前記加重された値を合計して前記映像品質値を得ること、とをさらに具備する、請求項9乃至請求項13のうちのいずれかの請求項に記載の方法。
【請求項15】
前記合計するステップは、前記加重された値を予め決められたオフセット値とともに合計するようにさらに手配された、請求項14に記載の方法。
【請求項16】
前記加重係数及び前記オフセット値は、前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームの型に依存する、請求項14又は請求項15のうちのいずれかの請求項に記載の方法。
【請求項17】
コンピュータシステムによって実行されたときに請求項1乃至請求項16のうちのいずれかの請求項に記載された方法を前記システムに実施させるように配備された1つのコンピュータプログラム又は一連のプログラム。
【請求項18】
請求項17に記載の前記コンピュータプログラム又は前記一連のプログラムのうちの少なくとも1つに対応するデータを組み入れた変調搬送波信号。
【請求項19】
請求項17に記載の前記コンピュータプログラム又は前記一連のプログラムのうちの少なくとも1つを記憶する、コンピュータによって読取可能な記憶媒体。
【請求項20】
映像品質評価システムであって、
試験映像フィールド/フレームのサブフィールド/フレーム要素を少なくとも1つの基準映像フィールド/フレームの対応するサブフィールド/フレーム要素とマッチングさせるためのマッチング手段と、
前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームのマッチングされたサブフィールド/フレーム要素に基づいて映像品質値を生成するために使用するように配備された映像処理手段と、を具備するシステム。
【請求項21】
前記マッチング手段は、前記試験映像フィールド/フレームに時間的に対応する基準映像フィールド/フレームに先行するM1の基準映像フィールド/フレーム内及び/又は後続するM2の基準映像フィールド/フレーム内においてマッチングサブフィールド/フレーム要素を探索するために使用するように配備された時間的探索手段をさらに具備する、請求項20に記載のシステム。
【請求項22】
M1及びM2は、予め定義されている、請求項21に記載のシステム。
【請求項23】
前記基準映像フィールド/フレームにおいて、前記試験サブフィールド/フレーム要素が前記試験映像フィールド/フレーム内において占める位置に対応する前記基準フィールド/フレーム内の位置の周囲の空間的に制限された領域内を探索するために使用するように配備された空間探索手段をさらに具備する、請求項21又は請求項22に記載のシステム。
【請求項24】
前記探索領域の空間的範囲は、予め定義されている、請求項23に記載の方法。
【請求項25】
前記マッチング手段は、前記試験映像フィールド/フレームのうちで前記サブフィールド/フレーム要素を含む部分を具備するマッチングテンプレートを定義する手段と、前記定義されたマッチングテンプレートを用いて前記少なくとも1つの基準映像フィールド/フレーム内のマッチングフィールド/フレーム要素を探索する手段と、をさらに具備する、請求項20乃至請求項24のうちのいずれかの請求項に記載のシステム。
【請求項26】
前記マッチング手段は、1つ以上のマッチング統計値及び/又はマッチングベクトルを計算するために使用するように配備された計算手段をさらに具備し、前記映像処理手段は、前記計算されたマッチング統計値及び/又はマッチングベクトルに基づいてさらに映像品質パラメータを生成するために使用するように配備されている、請求項20乃至請求項25のうちのいずれかの請求項に記載のシステム。
【請求項27】
前記計算手段は、前記基準映像フィールド/フレームの前記探索されたエリアに関わる1つ以上のヒストグラムを構築するために使用するように配備されたヒストグラム構築手段と、マッチングされた要素のうちで前記ヒストグラムのピークに貢献する割合に関わる各ヒストグラムごとのマッチング統計値を計算するためのマッチング統計計算手段と、をさらに具備する、請求項26に記載のシステム。
【請求項28】
前記映像処理手段は、前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームの前記マッチングされたサブフィールド/フレーム要素に基づいて前記試験映像フィールド/フレーム及び/又は前記基準映像フィールド/フレームの特性に関わる複数の映像特性値を各々計算するために使用するように各々配備された複数の解析手段と、少なくとも前記計算された映像特性値を積分して前記映像品質値を得るための手段と、をさらに具備する、請求項20乃至請求項27のうちのいずれかの請求項に記載のシステム。
【請求項29】
請求項26又は請求項27に従属する場合において、前記積分手段は、前記マッチング統計値を前記計算された映像特性値と積分して前記映像品質値を得るようにさらに配備された、請求項28に記載の方法。
【請求項30】
前記映像特性値は、各々が、1つ以上の空間周波数値、1つ以上の質感値、少なくとも1つのエッジ値、少なくとも1つの輝度信号雑音比値、及び/又は1つ以上のクロミナンス信号雑音比値のうちのいずれかの2つ以上の値である、請求項28又は請求項29に記載の方法。
【請求項31】
前記試験フィールド/フレームの各サブフィールド/フレーム要素内におけるエッジ数をカウントする手段と、前記試験フィールド/フレームの前記サブフィールド/フレーム要素にマッチングされた前記少なくとも1つの基準フィールド/フレームの各サブフィールド/フレーム要素内におけるエッジ数をカウントする手段と、前記各々のカウントに基づいて前記試験フィールド/フレームに関するエッジ値を決定する手段と、を具備するエッジ計算手段をさらに具備する、請求項30に記載のシステム。
【請求項32】
前記決定する手段は、各対になった各々のカウント間の差値を計算し、各計算された差値をQ乗し、その結果得られた値を合計して合計値を得、前記合計値を1/Q乗して前記エッジ値を得るために使用するように配備された算術計算器手段をさらに具備する、請求項31に記載のシステム。
【請求項33】
前記積分する手段は、予め決められた加重係数によって各値を加重するための加重手段と、前記加重された値を合計して前記映像品質値を得るための合計手段と、をさらに具備する、請求項28乃至請求項32のうちのいずれかの請求項に記載のシステム。
【請求項34】
前記合計手段は、前記加重された値を予め決められたオフセット値とともに合計するようにさらに配備されている、請求項33に記載のシステム。
【請求項35】
前記加重係数及び前記オフセット値は、前記試験映像フィールド/フレーム及び前記基準映像フィールド/フレームの型に依存する、請求項33又は請求項34のうちのいずれかの請求項に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【公表番号】特表2006−527947(P2006−527947A)
【公表日】平成18年12月7日(2006.12.7)
【国際特許分類】
【出願番号】特願2006−516375(P2006−516375)
【出願日】平成16年6月4日(2004.6.4)
【国際出願番号】PCT/GB2004/002384
【国際公開番号】WO2004/114215
【国際公開日】平成16年12月29日(2004.12.29)
【出願人】(390028587)ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】BRITISH TELECOMMUNICATIONS PUBLIC LIMITED COMPANY
【Fターム(参考)】
【公表日】平成18年12月7日(2006.12.7)
【国際特許分類】
【出願日】平成16年6月4日(2004.6.4)
【国際出願番号】PCT/GB2004/002384
【国際公開番号】WO2004/114215
【国際公開日】平成16年12月29日(2004.12.29)
【出願人】(390028587)ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー (104)
【氏名又は名称原語表記】BRITISH TELECOMMUNICATIONS PUBLIC LIMITED COMPANY
【Fターム(参考)】
[ Back to top ]