映像符号化のための時間的品質メトリック
本開示は符号化映像の時間的品質を評価する技法を対象とする。フレーム率または動き活性だけに基づいてジャーキネスを推定するのではなく、連続ドロップフレーム数が基本推定単位を構成する。時間的品質変動や動き活性度に対する感度など、いくつかの人間視覚系要因を考慮に入れて、予測されるジャーキネスを実際の人間視覚反応とより整合するものにしている。時間的品質メトリックは、映像ショット、動き活性度および局所的品質変動の様々な組み合わせの下で時間的不連続性によって導入される、人間に知覚される不快感を推定するのに使用することができる。これらの技法は、（１）ビットストリームモードと（２）画素モードの２つのモードで適用することができる。この品質メトリックは、時間的品質を評価するのに使用することもでき、時間的品質を改善するために符号化または復号特性を制御するのに使用することもできる。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、参照によりこれの全内容が本明細書に組み込まれる、２００６年４月５日に出願され本願譲受人に譲渡された米国仮出願第６０／７８９，６６４号の優先権および利益を主張するものである。
【０００２】
本開示はディジタル映像符号化に関し、より詳細には符号化映像の品質を評価する技法に関する。
【背景技術】
【０００３】
ディジタル映像シーケンスを符号化するためのいくつかの異なる映像符号化規格が確立されている。例えばＭＰＥＧ（Moving Picture Experts Group）は、ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４を含むいくつかの企画を策定している。他に、国際電気通信連合（International Telecommunication Union（ＩＴＵ））Ｈ．２６３規格や、台頭しつつあるＩＴＵ Ｈ．２６４規格などの例が含まれる。これらの映像符号化規格は一般に、データを圧縮して符号化することによる映像シーケンスの伝送効率の改善をサポートしている。
【０００４】
一例として、映像電話技術（ＶＴ）は、テレビ会議などのアプリケーションをサポートするために各ユーザが映像および音声情報を共用することを可能にする。映像電話技術規格の例には、セッション開始プロトコル（ＳＩＰ）によって定義される規格、ＩＴＵ Ｈ．３２３規格、およびＩＴＵ Ｈ．３２４規格が含まれる。ＶＴシステムでは、各ユーザは映像情報を送受信しても、映像情報の受信だけを行って、映像情報の送信だけを行ってもよい。受信者は一般に、送信者から送信される形で受信した映像情報を閲覧する。
【０００５】
符号化映像はフレーム落ち(frame dropping)により時間的品質の低下を来すことがある。フレーム落ちは、フレームスキップ(frame skipping)、フレーム率ダウンサンプリング(frame rate down-sampling)、通信路パケット紛失(channel packet loss)といった様々な要因から生じ得る。一般に、フレームスキップは、フレーム率ダウンサンプリングや通信路パケット紛失よりも時間的品質低下に大きな影響を及ぼしがちである。大量のフレーム落ちが生じた場合、閲覧者はフレーム凍結を目にすることになる。というのは、大部分の映像復号器は落ちたフレームの前に受け取った最後のフレームを自動的に複製し、落ちたフレームのかわりに複製フレームを提示して同じフレーム率を維持するからである。
【０００６】
フレーム落ちに伴う複製は、しばしば「ジャーキネス（jerkiness）」と呼ばれる時間的不連続性を引き起こす。ジャーキネスは、復号映像の閲覧者をいらいらさせることになりやすい。ぎくしゃくした映像シーケンスを見る際に、閲覧者は、ドロップフレームの量だけでなく、ドロップフレームと非ドロップフレームの間の時間的品質変動によっても不快を感じる。人間の視覚系は、現在のフレームとこれに隣接するフレームとの品質対比に非常に高い感受性を有する。
【発明の開示】
【発明の概要】
【０００７】
本開示は、符号化映像の時間的品質を評価する技法を対象とする。フレーム率(frame rate)または動き活性(motion activity)だけに基づいて時間的品質を推定するのではなく、開示の時間的品質メトリックは、基本推定単位として連続ドロップフレーム数(number of consecutive dropped frames)を使用する。ここでは連続ドロップフレーム数をフレームグループ落ちの長さ(frame group dropping length)と呼ぶ。加えて、時間的品質変動や動き活性度への感度といったいくつかの人間視覚系要因も考慮に入れて、予測される時間的品質を実際の人間視覚反応とより整合するものとしてもよい。
【０００８】
この時間的品質メトリックを、人間の閲覧者が知覚することのできる時間的品質低下、すなわち顕著なジャーキネスだけを重視するという点でジャスト・ノーティサブル・ジャーキネス（just noticeable jerkiness（ＪＮＪ））と呼ぶことができる。このＪＮＪメトリックを使って、映像ショット、映像動き活性度および局所的品質変動の様々な組み合わせの下で時間的不連続性（ジャーキネス）によって導入される、人間に知覚される不快感を効果的に推定することができる。説明される技法は、入力情報の利用可能性に基づき、２つのモード、すなわち（１）ビットストリームモードまたは（２）画素モードで適用され得る。時間的品質メトリックは、単に時間的品質を評価するためだけに使用してもよく、時間的品質がフレーム落ちにより著しく低下している場合に、時間的品質を改善するように符号化または復号特性を制御するためのフィードバックを生成するのに使用してもよい。
【０００９】
一実施形態では、本開示は、映像シーケンス内の連続ドロップ映像フレーム数に基づいて映像シーケンスの時間的品質メトリックを生成することを備える方法を提供する。
【００１０】
別の実施形態では、本開示は、映像シーケンス内の連続ドロップ映像フレーム数に基づいて映像シーケンスの時間的品質評価を生成するプロセッサを備える装置を提供する。
【００１１】
ここで述べる技法は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせとして実施され得る。ソフトウェアとして実施される場合、これらの技法の全部または一部は、実行されると、本開示で述べる方法の１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読媒体によって実現されてもよい。
【００１２】
１つまたは複数の実施形態の詳細を、添付の図面および以下の説明に示す。他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲を読めば明らかになるであろう。
【００１３】
本特許または出願のファイルは、カラーで実行される少なくとも１つの図面を含む。カラー図面を含む本特許または特許出願公開の写しは、必要な料金を支払って請求すれば特許庁より入手できる。
【詳細な説明】
【００１４】
図１はＪＮＪメトリックユニット３２を組み込んだ映像符号化／復号システム１０を示すブロック図である。本開示の一実施形態によれば、このメトリック計算は、ユーザが知覚できない時間的品質低下よりもユーザが知覚する時間的品質低下を重要視する。実施形態によっては、このメトリックは、人間の閲覧者が実際に知覚することのできる、ジャーキネスなどの時間的品質低下だけを考慮に入れ、このメトリックをＪＮＪメトリックと呼ぶ。
【００１５】
ＪＮＪメトリックユニット３２は、ユーザに簡単に気付かれない少量の時間的不連続性は無視し、または少なくとも、かかる少量の時間的不連続性がメトリック全体にほとんど影響を及ぼさないようにメトリックに重み付けするように構成される。というよりはむしろ、ＪＮＪメトリックは、人間の閲覧者が知覚することのできる時間的品質低下だけ、すなわち、ジャスト・ノーティサブル・ジャーキネス（ノーティサブル・ジャーキネスだけ）を重要視するように定式化される。
【００１６】
図１に示すように、システム１０は、第１の映像通信装置１２と第２の映像通信装置１４を含む。通信装置１２、１４は、伝送通信路１６で接続されている。伝送通信路１６は、有線または無線の通信媒体とすることができる。システム１０は、映像電話技術用の映像通信装置１２、１４間の両方向映像伝送、映像ストリーミング用の一方向映像伝送、またはこれら両方をサポートし得る。装置１２、１４は実質的に対称的に動作する。しかし、実施形態によっては、映像通信装置１２、１４の一方または両方が、映像ストリーミングをサポートする一方向通信のためだけに構成されていてもよい。
【００１７】
両方向の適用例では、通信路１６の両端に、相互の符号化、復号、多重化（ＭＵＸ）および逆多重化（ＤＥＭＵＸ）の各構成要素が設けられる。図１の例では、映像通信装置１２は、ＭＵＸ／ＤＥＭＵＸ構成要素１８、映像ＣＯＤＥＣ２０および音声ＣＯＤＥＣ２２を含む。同様に、映像通信装置１４も、ＭＵＸ／ＤＥＭＵＸ構成要素２６、映像ＣＯＤＥＣ２８および音声ＣＯＤＥＣ３０を含む。
【００１８】
映像通信装置１２、１４のうちの一方または両方が時間的品質推定の技法を適用するように構成されていてもよい。実施形態によっては、映像通信装置１２、１４は、固定的に、または適応的にフレームスキップおよび／またはフレーム率ダウンサンプリングを能動的に適用して符号化率、フレーム率、または他の帯域幅制限を補償する。加えて、通信路１６を介した伝送時に、データ破壊や短期間の通信路損失といった要因によりフレームが落ちることもある。
【００１９】
いずれの場合も、フレーム落ちは、ジャーキネスとも呼ばれることのある可視の時間的不連続性を含む時間的品質低下をもたらし得る。本開示によれば、一方または両方のＣＯＤＥＣ２０、２８がＪＮＪメトリックユニットを含む。図１の例では、映像ＣＯＤＥＣ２８が時間的品質を評価するＪＮＪメトリックユニット３２を含む。ＪＮＪメトリックユニット３２は、単に評価用のＪＮＪメトリックを生成し、または映像復号の制御や別の映像通信装置へのシグナリングなどのために、映像ＣＯＤＥＣ２８内の他の構成要素にＪＮＪメトリックを提供する。
【００２０】
例えば、映像ＣＯＤＥＣ２８は、時間的品質を改善するためにＪＮＪメトリックに基づいて１つまたは複数の復号特性を調整する。映像ＣＯＤＥＣ２８は、ＪＮＪメトリックの変化に応答して動的に、復号特性を周期的に調整する。代替として、またはこれに加えて、映像ＣＯＤＥＣ２８はＪＮＪメトリックに基づいてシグナリング情報を生成し、このシグナリング情報を帯域内または帯域外で映像通信装置１２に送って、映像ＣＯＤＥＣ２０が時間的品質を改善するために符号化特性を調整することができるようにする。別の例として、ＪＮＪメトリック、あるいはＪＮＪメトリックに基づいて生成された１つまたは複数の制御信号をフィードバックとして使って、映像通信装置１２内の適応フレームスキッププロセスを制御してもよい。
【００２１】
システム１０はセッション開始プロトコル（ＳＩＰ）、ＩＴＵ Ｈ．３２３規格、ＩＴＵ Ｈ．３２４規格、または他の規格に従って映像電話技術をサポートする。各映像ＣＯＤＥＣ２０、２８は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ Ｈ．２６３、ＩＴＵ Ｈ．２６４といった映像圧縮規格に従って符号化映像データを生成する。図１にさらに示すように、映像ＣＯＤＥＣ２０、２８は、それぞれの音声ＣＯＤＥＣ２２、３０と統合されており、データストリームの音声部分と映像部分を処理する適切なＭＵＸ／ＤＥＭＵＸ構成要素１８、２６を含む。ＭＵＸ−ＤＥＭＵＸユニット１８、２６は、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）など他のプロトコルに従う。
【００２２】
映像通信装置１２、１４は、映像ストリーミング、映像電話技術、またはこれら両方の装備を有する無線移動端末または有線端末として実施される。このために、映像通信装置１２、１４はさらに、無線通信をサポートするのに適する無線送信機、受信機、モデム、および処理電子回路を含む。無線移動端末の例には、移動無線電話機、モバイル携帯情報端末（ＰＤＡ）、モバイルコンピュータ、モバイルテレビ、または無線通信機能および映像符号化および／または復号機能を備える他の任意のモバイル機器が含まれる。有線端末の例には、デスクトップコンピュータ、ワークステーション、テレビ電話機、ネットワーク家電器具、セットトップボックス、双方向テレビなどが含まれる。どちらの映像通信装置１２、１４も、映像情報を送信し、映像情報を受信し、または映像情報を送受信するように構成され得る。
【００２３】
映像電話技術の適用例では、機器１２が映像送信機能と映像受信機能の両方をサポートすることが望ましい。しかし、ストリーミング映像用途も企図されている。映像電話技術、特に無線通信によるモバイル映像電話技術では、しばしば極めて低いビット速度が求められるため、帯域幅が重要な問題となる。特に、通信路１６には限られた帯域幅しかなく、通信路１６を介した高品質映像シーケンスの有効なリアルタイム伝送を行うことは非常に困難である。例えば通信路１６は、通信路１６における物理的制約条件、あるいはおそらく、通信路１６の提供者が強いるサービス品質（ＱｏＳ）制限または帯域幅割り振り制約条件による限られた帯域幅を有する無線通信リンクである。
【００２４】
一般に、システム１０は、時間的品質を評価する技法を用いて映像電話技術（ＶＴ）用途の時間的品質メトリックを生成する。時間的品質メトリックは、人間の閲覧者が知覚するジャーキネスの度合いを表す。本開示で述べる時間的品質メトリックは、フレーム率だけに従ってジャーキネスを推定するのではなく、グループフレーム落ちの長さを基本推定単位として使用する。グループフレーム落ちの長さとは、映像シーケンス内の連続ドロップフレームの数をいう。
【００２５】
加えて、時間的品質メトリックは、時間的品質変動や動き活性に対する感度といった人間視覚系要因を使って、予測されるジャーキネスを主観的視覚反応とより整合するものにする。詳細には、時間的品質変動および動き活性度の感度を、主観的経験からのオピニオン平均値(Mean Opinion Score)（ＭＯＳ）とより整合するように選択する。試験結果は、本開示で述べるＪＮＪメトリックが、人間が知覚するジャーキネスを効果的に測定し、主観的経験的結果と強い相関関係を有する出力を生成し得ることを示している。
【００２６】
映像の時間的品質低下においては、ジャーキネスが主要なアーティファクト(artifact)である。ジャーキネスは、通常、（１）符号化の間のフレームスキップ、（２）フレーム率ダウンサンプリングおよび／または（３）通信路パケット紛失によって生じる。上記の時間的品質低下の原因（１）〜（３）は、時間的品質低下に対する影響の重大度の順に挙げている。符号化ビットを保護し、または帯域幅容量制限内に留まるなどのためにフレーム落ちが発生すると、閲覧者はフレーム凍結を目にすることになる。典型的な映像復号器は、フレーム落ちが発生する前の最後のフレームを自動的に複製し、ドロップフレームの代用に複製フレームを使用して、同じ映像再生速度を維持する。残念ながらこれは、新しいフレームが表示されるときにフレーム凍結および時間的不連続性を生じる結果になり、いわゆる「ジャーキネス」が発生する。
【００２７】
閲覧者にとってのフレーム落ちのマイナスの影響を低減するために、いくつかの方法が研究されている。例えば、スマートフレーム落ちやフレーム率アップコンバージョンの技法が開発されている。しかし、人間の知覚に合わせた正確な誘導がなければスマートフレーム落ちやフレーム率アップコンバージョンによる映像改善は効果的に適用するのが難しい。提案されているメトリックの中には、フレーム率情報または動き活性度に基づいてジャーキネスを推定するものもある。多くの実際の観察が示すところでは、フレーム率に基づくジャーキネスの推定は、ドロップフレームが映像シーケンス全体を通して均一に分布しているものと仮定するために不十分である。
【００２８】
同じフレーム率で、連続フレームのグループを落とすことは、まばらなフレーム落ちと比べると著しく異なる品質上の影響を及ぼす。グループフレーム落ちとは、２つ以上、おそらくは数個の連続フレームが落ちることをいう。まばらなフレーム落ちとは、一般に、映像シーケンス内の異なる位置にある１、２フレームが落ちることをいう。人間に固有の認知的補間機構は、まばらなフレーム落ちとグループフレーム落ちとでは非常異なる反応を生じる。
【００２９】
加えて、フレーム率情報に基づくジャーキネスの推定は、非ドロップフレームがどんなマイナスの影響ももたらさないと想定する。しかし、ぎくしゃくしたシーケンスでは、閲覧者にとっての不快感は、ドロップフレームの量だけでなく、ドロップフレームと非ドロップフレームの間の時間的品質変動によっても生じる。人間の視覚系は、現在のフレームとこれに隣接したフレームの間の品質対比に対して非常に高い感度を有する。
【００３０】
ジャーキネスメトリックの中には、映像ビットストリームからのタイムスタンプ情報を使って、または連続するフレーム間の類似度を分析することによってフレーム損失および複製の量または期間を推定するものもある。フレーム損失／フレーム落ちが発生するとき、タイムスタンプの不連続性は明白であり、フレーム間の類似性は極めて高い。ドロップフレームの場所および数を獲得した後、合計ドロップフレーム数を所与のビットストリーム／映像クリップ内の総フレーム数で割ることによって平均フレーム率を推定することができる。
【００３１】
異なる動き活性度の下では同じフレーム率が異なるジャーキネスレベルをもたらし得るため、マッピング関数が、動き活性度をこれの入力として、フレーム率をジャーキネス尺度にマップする。ジャーキネスをより包括的に推定するために、マッピング段の後に、ドロップ期間の分布の統計的分析を用いて後処理を適用してもよい。しかし、こうした方式は、人間視覚反応に著しい影響を及ぼし得る局所的時間的品質変動の影響を考慮に入れない。
【００３２】
本開示によれば、ＪＮＪメトリックは、ショット、様々な映像動き活性度、および、さらに重要な、様々な局所的品質変動の様々な組み合わせの下で時間的不連続性（ジャーキネス）によって導入される、人間が知覚する視覚的不快感を正確に推定する。このように、時間的品質メトリックは、局所的ジャーキネスの変動をジャーキネスを推定するために使用される要因の１つとして考慮し、それは時間的品質評価にとって重要である。加えて、ＪＮＪメトリック３２は、人間の閲覧者が気付かない時間的品質低下を無視し、またはこれの価値を減ずるようにも構成され得る。
【００３３】
ＪＮＪメトリックユニット３２は、フレーム率を使用するだけでなく、グループフレーム落ちの長さも利用してジャーキネスを推定するように構成されている。グループフレーム落ちの長さの情報に基づき、時間的品質評価のより重要な属性を分析することができる。さらに、ＪＮＪメトリックは、２つの異なるモードで実施され得る。１つのモードでは、映像ビットストリームが評価される。別のモードでは、十分な入力情報が利用できる場合には、画素情報が評価される。したがって、実施形態によっては、ＪＮＪメトリック評価を実施するシステムが２つの異なる種類の入力情報をサポートし、著しい柔軟性を提供するものもある。
【００３４】
図２は、図１の時間的品質（ＪＮＪ）メトリックユニットの動作を示すブロック図である。図２に示すように、ジャスト・ノーティサブル・ジャーキネス（ＪＮＪ）ユニット３２は、映像ビットストリームまたは画素情報を受け取るＪＮＪプリプロセッサ３３を含む。ＪＮＪプリプロセッサ３３は、受け取った映像情報を処理して、ＪＮＪ計算器３５がＪＮＪメトリックを生成するのに使用するいくつかのパラメータを生成する。詳細には、ＪＮＪプリプロセッサ３３は、グループフレーム落ちの長さ情報、動き活性度情報、および時間的品質変動(temporal quality fluctuation)（ＴＱＦ）情報を推定する。グループフレーム落ちの長さ情報は、映像シーケンス内の、または映像シーケンス内の特定のショット内の連続ドロップフレームの数を示す。動き活性度情報は、一般に、映像シーケンスの内容の表す動きの度合いが低いか、中程度か、それとも高いかを示す。ＴＱＦ情報は、評価対象である現在のフレームとこれに隣接するフレーム、すなわち現在のフレームの前と後のフレームの間の時間的品質対比(temporal quality contrast)を示す。
【００３５】
グループフレーム落ちの長さ、動き活性度、およびＴＱＦ情報を使って、ＪＮＪ計算器３５は、ジャーキネスを表すＪＮＪメトリックを計算する。ＪＮＪ計算器３５は、単に、ジャーキネスを生成し、後で分析するためにこれを格納するだけである。これに加えて、または代替として、ＪＮＪメトリックユニット３２は、時間的品質情報、あるいはＪＮＪメトリックに基づくフィードバックまたは制御情報を、映像ＣＯＤＥＣ１４内の復号エンジン３４またはシグナリングエンジン３６に提供してもよい。復号エンジン３４は、時間的品質を改善するためにＪＮＪメトリックに基づいて１つまたは複数の復号特性を変更する。シグナリングエンジン３６は、映像情報を符号化する装置に送って、この装置に時間的品質を改善するように１つまたは複数の符号化特性を調整させるためのシグナリング情報を生成する。
【００３６】
後述するように、ビットストリームモードでは、ＪＮＪメトリックユニット３２は、入力映像ビットストリームからのタイムスタンプ情報を使って、フレーム落ちが発生しているかどうか判定する。連続するフレームのタイムスタンプがギャップを示す場合、フレームスキップ、フレーム率ダウンサンプリング、通信路損失などによって少なくとも１つの介在フレームが落ちていることが明らかである。タイムスタンプによって求められるギャップの長さにより、落ちている連続フレームの数、すなわちグループフレーム落ちの長さを求めることが可能になる。
【００３７】
例えば、連続符号化フレームのタイムスタンプは単位ステップで増大する。異なる内容を有する２つのフレームの間に複数の単位ステップがある場合、少なくとも１つのフレームが落ちていることが明らかである。このタイムスタンプ差を単位ステップで割ることによって、何個のフレームが落ちているか求めることが可能である。代替として、特定のタイムスタンプが反復される回数を数えることによってドロップフレームの数を求めてもよい。
【００３８】
ＪＮＪメトリックユニット３２は、入力ビットストリームからの符号化モード決定情報（例えば、イントラまたはインター符号化）を使ってショット境界を判定する。ショット境界とは、様々な場面について獲得される映像フレーム間の映像ショット境界をいう。あるショットは第１の場面について獲得した１つまたは複数の映像フレームを含み、第２のショットは第２の場面について獲得した１つまたは複数の映像フレームを含み、以下同様である。
【００３９】
これらのショットは、取り込んだ主題、光源条件などの撮像条件、あるいは他の差異の点で異なり得る。例えば、あるショットは、低い動き活性度を示す、シートに比較的静止した状態で座っているスポーツ観覧者など、第１の設定での第１の人物を含み、第２のショットは、高い動き活性状態にある競技場にいる別の１人または複数の人物を含むことがある。
【００４０】
動き活性度推定のためにショット境界を検出することが望ましい。というのは、類似の内容を有する映像シーケンスは普通、類似の動き活性度を有するからである。ジャーキネスを正確に推定するためには、「正しい」動き活性度を推定する必要がある。したがって、各ショットを相互に区別することによって様々な動き活性度を区別することができる。また、場面変化によって生じる動き活性度は、実際にはジャーキネスの原因とならないため、これを時間的品質メトリックにおける考察から除外するためにも、ショット境界を検出することは望ましい。
【００４１】
ＪＮＪメトリックユニット３２は、例示的実施形態では、フレーム率に基づくフレーム落ち重大度(frame dropping severity)を使用する動きマッピングモデルを適用する。動きマッピングモデルの入力の１つは動き活性度の推定値である。動き活性度の推定値は各フレーム内の動きベクトルの大きさの平均によって獲得される。動きマッピングモデルを適用した後、フレームごとにフレーム落ち重大度のフレーム率に基づく推定を利用することができる。
【００４２】
人間は急な品質の変化に非常に敏感であるため、各フレームの時間的品質低下は現在のフレームだけではなく、これと隣接するフレームにも関連する。現在のフレームと隣接するフレームの間の時間的品質低下は、この対比が大きくなるほど閲覧者に気付かれやすくなる。こうした理由で、隣接するフレームと比べて変動の大きいフレームの時間的劣化には、時間的品質を評価するに際してより大きな重み付けをすべきである。
【００４３】
映像再生は因果プロセスである。したがって、現在のフレームの品質変動に対する閲覧者の感受性は、前に見た映像フレームにだけ関連する。したがって、ＪＮＪメトリックユニット３２は、固定ウィンドウサイズによって定義されるウィンドウ内のフレームを遡って調べる時間的品質変動（ＴＱＦ）関数を使って重みを推定する。一般には、動きマッピングから獲得されるフレーム落ち重大度、ｓ’ｍ，ｎを時間的品質変動（ＴＱＦ）関数に適用して時間的品質変動を推定する。より詳細には、ＴＱＦ推定値は、ｓ’ｍ，ｎとこれに隣接するフレームのフレーム落ち重大度の差の二乗によって求めることができる。
【００４４】
差の二乗を使用するのは、グループフレーム落ちのサイズが増大するときに人間の視覚系が非線形の視感度を有するからである。次いで、各フレーム率の上／下限の可能な変動が可変であるため、ルックアップ表（ＬＵＴ）を使って時間的品質変動を０〜１の値に正規化する必要がある。次に、以下で詳細に説明するように、ＪＮＪメトリックユニット３２は、時間融合ユニットにおいて非線形ＴＱＦ関数、正規化パラメータｋ、フレーム落ち重大度および動きモデリングを適用して、分析、映像復号制御、またはシグナリングによる映像符号化制御で使用するためのジャーキネス報告を生成する。
【００４５】
一般に、ＴＱＦ応答はある点の後で急速に上昇し、急速に飽和する。人間の感度は、閲覧対象の映像中に少量の時間的品質変動が現れると増大し、グループフレーム落ちの長さが大きくなり、知覚される時間的品質で優勢になると急速に飽和する。正規化パラメータｋはフレーム率が減少するに従って減少し、これは、フレーム率が高いときに品質変動の影響がより目に付きやすくなることを意味する。このように、正規化パラメータｋを使って、人間視覚反応をより有効にシミュレートするようにメトリックの感度を調整することができる。
【００４６】
加えて、ＴＱＦ重み付けを用いて平均値を推定することによって各ショットのジャーキネスを獲得することもできる。この場合、ＪＮＪメトリックユニット３２は、単に各ショットの平均ジャーキネスを取ることによって入力映像シーケンス全体のジャーキネスを計算することができる。各ショットに様々な動きモデルが適用されるため、必ずしもすべてのショットの平均値がさらなる重み付けを必要とするとは限らない。
【００４７】
ＪＮＪメトリックユニット３２は、ビットストリーム情報が利用できないときには、ビットストリームモードではなく画素モードで動作し得る。画素モードでは、通常は、映像復号器のＹＵＶ（輝度、色差１、色差２）出力が利用できる。画素モードでＪＮＪメトリックを求める基本プロセスは、ビットストリームモードについて前述したのと同様である。しかし、入力情報は異なる。
【００４８】
大部分の復号器はフレーム落ちが発生する前に最後のフレームを複製するため、各フレームの画素類似度を使ってドロップフレームの場所を突き止めることができる。例えば、あるフレームが５回反復される場合、４つのフレームが落ちていることが明らかである。反復は、フレームごとの連続タイムスタンプ間のギャップおよび／または各フレームの類似度の分析によって検出することができる。
【００４９】
複製フレーム間の類似度が閾値に達すると、ＪＮＪメトリックユニット３２はどのフレームが失われたのか推定することができる。ＪＮＪメトリックユニット３２は、フレーム落ち推定に使用するのと同じ、または類似の画素情報をショット境界検出にも使用し得る。例えば、２つの連続するショットの間にショット遷移が発生すると、画素類似度は非常に低い値まで低下する。連続するフレーム間の画素類似度が所定の閾値を下回ると、ＪＮＪメトリックユニット３２はショット境界の有無を判定する。
【００５０】
動き活性度については、ＪＮＪメトリックユニット３２は、正規化画素差(normalized pixel difference)を使用してもよい。これについては、Ｄ．Ｔｉａｎ、Ｌ．ＳｈｅｎおよびＺ．Ｙａｏ、「動き活性度に基づく無線映像品質知覚メトリック（Motion Activity Based Wireless Video Quality Perceptual Metric）」、Ｐｒｏｃ．ＩＥＥＥ ＩＳＩＭＰ、２００６や、Ｓ．ＪｅａｎｎｉｎおよびＡ．Ｄｉｖａｋａｒａｎ、「ＭＰＥＧ−７視覚運動記述子（MPEG-7 Visual Motion Descriptors）」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｃｉｒｃｕｉｔ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、２００１などに記載されている。正規化された画像差は動き活性度の信頼性の高い指標である。適切な正規化を用いて画素からのすべての情報を抽出した後で、ＪＮＪメトリックユニット３２は、大体においてはビットストリームモードに関して前述したように、動きマッピング、重み推定および時間的融合を適用する。
【００５１】
図２に示す様々な構成要素は、別々の機能モジュールとして、またはここにおいて図示の各モジュールに帰せられる機能を包含するモノリシックなモジュールとして、様々なやり方で形成される。いずれにしても、映像符号化システム４４の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせとして実現され得る。例えば、かかる構成要素は、１つまたは複数のマイクロプロセッサまたはディジタル信号プロセッサ（ＤＳＰ）や、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）や、１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）や、他の同等の集積またはディスクリートの論理回路上で実行されるソフトウェアプロセスとして動作する。
【００５２】
図３は図２の時間的品質メトリックユニットの動作を示す流れ図である。図３に示すように、映像シーケンスを受け取る（３８）と、ＪＮＪメトリックユニット３２は、連続ドロップフレーム数、すなわちグループフレーム落ちの長さを推定し（４０）、時間的品質変動を求め（４２）、ショット境界を求め（４３）、動き活性度を求める（４４）。時間的品質変動、ショット境界および動き活性度に基づき、ＪＮＪメトリックユニット３２はジャーキネスを計算し（４６）、ＪＮＪメトリックを、例えば、分析、復号制御、符号化制御などに適用する（４７）。
【００５３】
例えば、ＪＮＪメトリックユニット３２の出力を使って、続いて符号化され、復号される映像フレーム内の時間的品質を改善する。特に、ＪＮＪメトリックユニット３２は、フレーム率または動き活性度だけに基づいてジャーキネスを推定するのではなく、実際の人間視覚反応とより適切に相関させるために、連続ドロップフレームの数を時間的品質変動および動き活性度と組み合わせる。このようにして生じるＪＮＪメトリックは、時間的不連続性の実際の閲覧者知覚のより有効な尺度を生成する。
【００５４】
図４は、図２のＪＮＪメトリックユニット３２の構成要素例を示すブロック図である。また、ＪＮＪメトリックを計算するプロセスについても、図４の様々な構成要素を参照してより詳細に説明する。図４に示すように、ＪＮＪメトリックユニット３２は、フレーム落ち推定器４８、ショット境界識別器５０、動き活性度推定器５２、およびモデル選択ユニット５４を含む。選択モジュール５６がフレーム落ち推定器４８の出力を、モデル選択ユニット５４の出力に基づいて３つの異なる動きモデル、すなわち、低動きモデル５８、中動きモデル６０および高動きモデル６２のうちの１つに適用する。時間的品質変動（ＴＱＦ）ユニット６６が、選択された動きモデル５８、６０、６２の出力にＴＱＦ関数を適用する。時間的融合ユニット６４が選択された動きモデルの出力およびＴＱＦユニット６６の出力を受け取り、ジャーキネス報告を生成する。
【００５５】
図４の例では、フレーム落ち推定器４８は、映像ビットストリームを受け取り、ビットストリームの各フレームに記録されたタイムスタンプを分析する。タイムスタンプを使って、フレーム落ち推定器４８は、連続する非ドロップフレーム間の時間間隔を求める。複数の連続フレームが落ちている場合、復号器による最後の非ドロップフレームの複製および反復により、複数の受け取りフレームのタイムスタンプが同一となる。
【００５６】
フレーム間のタイムスタンプが固定値または確定的な値であり、単位ステップを表わす場合、フレーム落ち推定器４８は、連続非ドロップフレーム間の時間間隔を求めることができ、したがって、グループフレーム落ちの長さ、すなわち映像シーケンス内の連続ドロップフレームの数を求めることができる。代替として、フレーム落ち推定器４８は、特定のフレームが繰り返される回数を数えてもよい。
【００５７】
グループフレーム落ちの長さに基づき、フレーム落ち推定器４８は、フレーム落ち重大度値ｓｍ，ｎを生成する。フレーム落ち重大度値は、単一のフレーム落ちグループのグループフレーム落ちの長さ、または複数のフレーム落ちグループのグループフレーム落ちの長さの関数とすることができる。
【００５８】
ショット境界識別器５０は、フレーム遷移がショット境界、すなわちある場面から別の場面への変化を表わすものであるかどうか判定する。例えば、ショット境界識別器５０は、受け取った映像ビットストリーム内のモード決定情報を分析してあるショットから別のショットへの遷移を識別する。詳細には、ショット境界識別器５０は、入力映像ビットストリームを分析してインター（ＰまたはＢ）符号化からイントラ（Ｉ）符号化への変化を識別する。
【００５９】
あるショットの風景が変化するとき、結果として生じる内容の変化は、通常、このショット内の少なくとも第１のフレームのより多くのイントラ符号化を必要とし、残りのフレームは、イントラ符号化される傾向がある。それでもなお、イントラ符号化マクロブロックの量はイントラフレームよりも少ない。したがって、ショット境界識別器５０は、上限と下限の閾値を用いてイントラ符号化マクロブロックの量を閾値処理することにより、ショット境界を識別する。例えば、イントラ符号化マクロブロックの量が所与の閾値を上回る場合、こられのマクロブロックを含むフレームは、ショット境界上にあるものとして識別される。
【００６０】
図４の例では、ショット境界識別器５０は境界識別をフレーム落ち推定器４８および決定モードユニット５４に提供する。フレーム落ち推定器４８は、ショット境界識別器５０からのショット境界識別を使って各ショット内のフレーム落ち重大度を推定する。映像シーケンスは複数のショットを有し得る。ジャーキネスを推定する間には、各ショットのフレーム落ち重大度を別々の追跡することが重要である。というのは、通常は場面が異なれば異なるジャーキネスの影響がもたらされるからである。したがって、ショットからショットへとフレーム落ちの長さを繰り越すと誤解を生じることになる。フレーム落ち推定器４８は、新しいショットが識別されると、グループフレーム落ちの長さをリセットする。
【００６１】
したがって、複数のショットを有するシーケンスについてはフレーム落ち重大度の複数のグループが推定され得る。さらに、以下で詳細に説明するように、単一のショット内で複数のグループフレーム落ちの長さが推定され得る。詳細には、単一のショットに連続ドロップフレームの複数の範囲があり得る。加えて、多数の連続フレームの抜けは、少数の連続フレームの抜けや、ショット全体に及ぶ非連続的な単一フレームの抜けよりもユーザの目を引きやすい。
【００６２】
動き活性度推定器５２は、受け取った映像ビットストリーム内の各フレームから動きベクトルを受け取る。一般に、動きベクトルは、あるフレーム内の映像ブロックから別のフレーム内の実質的に類似の、または同一の映像ブロックを指し示し、動きの指示を提供する。動き活性度推定器５２は、所与のフレーム内の全般的動き活性度を、このフレーム内の動きベクトルの平均の大きさに基づいて決定する。動き活性度推定器５２からの推定した動き活性度を使って、モデル選択ユニット５４は、選択器５６を介して低動きモデルモデル５８、中動きモデル６０および高動きモデル６２のうちの１つにフレーム落ち重大度値ｓｍ，ｎを適用する。詳細には、選択された動きモデルは、フレーム落ち推定器４８が生成したフレーム落ち重大度値ｓｍ，ｎを動きモデルマッピング５８、６０、６２にマップする。選択されたモデル５８、６０、６２の出力は、フレーム率に基づくフレーム落ち重大度ｓ’ｍ，ｎの推定である。
【００６３】
名前で示すように、低動きモデルモデル５８、中動きモデル６０および高動きモデル６２は、それぞれ、動き活性度推定器５２が、フレーム内の運動が低い、中程度、または高いと推定したときに適用される。図４の例には３つの異なる動きモデルが示されているが、動き活性のレベルをさらに増やすために動きモデルを追加してもよい。各モデル５８、６０、６２は、それぞれのフレーム落ち重大度値のマッピングｓｍ，ｎを動きマップフレーム落ち重大度値ｓ’ｍ，ｎに適用する。このように、時間的品質メトリックは、連続ドロップフレーム数だけでなく動き活性度も利用する。
【００６４】
また、モデル選択ユニット５４は、ショット境界識別器５０の出力も受け取る。ショット境界を追跡することにより、モデル選択ユニット５４は、所与のフレーム内の高い動き活性度を、ショット間の場面変化による見せかけの高い動き活性度と区別することができる。類似の内容を有する映像フレームは、通常、類似の動き活性度を有する。ジャーキネスを正確に推定するためには、「正しい」動き活性度を推定する必要がある。モデル選択ユニット５４は、ショット境界識別器５０からのショット境界指示を使って場面変化によって生じる動き活性度を除去し、またはこれに適切に重み付けする。
【００６５】
図５は、図４の時間的品質メトリックユニットの動作をより詳細に示す流れ図である。図５に示すように、フレーム落ち推定器４８、ショット境界識別器５０および動き活性度推定器５２が映像シーケンスを受け取る（６８）。映像シーケンスは、図４に示すように映像ビットストリームとすることもでき、映像シーケンスの復号から生じる映像画素とすることもできる。フレーム落ち推定器４８が映像シーケンス内のビットストリームからタイムスタンプを抽出する。タイムスタンプの差に基づき、フレーム落ち推定器４８が連続ドロップフレーム数を推定し（７０）、フレーム落ち重大度値ｓｍ，ｎを出力する。ショット境界識別器５０が映像フレームの類似度および／または符号化モードの変化、すなわち、イントラかインターかを分析してショット境界を求める（７２）。
【００６６】
動き活性度推定器５２が動き活性度を推定する（７４）。とりわけ、動き活性度推定器５２は、映像シーケンスからの動きベクトルを分析して、動きモデル５８、６０、６２のうちの１つを選択するために動き活性度を推定する（７４）。モデル選択ユニット５４が、ショット境界識別器５０から識別したショット境界の指示を受け取って、動き活性度推定器５２の動き活性度出力を補償する（７５）。とりわけ、モデル選択ユニット５４は、定常状態のフレーム内容から生じる実際の高い動き活性度を、ショット境界と関連付けられる場面変化から生じる見かけの高い動き活性度から区別する。しかし、前述のように、ショット境界識別は、フレームからフレームへのショット変化が大きな動きとして誤解されないように動き活性度を補償するのに使用される。補償した動き活性度を使って、モデル選択ユニット５４が動きモデル５８、６０、６２（すなわち低、中、高）のうちの１つを選択する（７６）。
【００６７】
選択された動きモデル５８、６０、６２は、フレーム落ちの長さを動きマップフレーム落ち重大度ｓ’ｍ，ｎにマップする。動きマップフレームマッピング長ｓ’ｍ，ｎが時間的融合ユニット６４と時間的品質変動（ＴＱＦ）ユニット６６に受け取られる。ＴＱＦユニット６６が、受け取った動きマップフレームマッピング長ｓ’ｍ，ｎにＴＱＦ関数を適用して（７８）、人間の閲覧者によって知覚されるような、連続フレーム間の時間的品質変動の量を表すＴＱＦ重みｗｍ，ｎを生成する。ＴＱＦ重みｗｍ，ｎと動きマップフレーム落ち重大度値ｓ’ｍ，ｎとを使用し、時間的融合ユニット６４は、時間的融合を適用し（８０）、これの出力としてジャーキネス（ＪＮＪ）メトリックを生成する（８２）。ＪＮＪメトリックは、符号化、復号または他の映像処理の分析またはフィードバック制御に使用され得る。
【００６８】
図６は、時間的品質メトリックユニットが使用するための動き活性度とフレーム落ち重大度ｓｍ，ｎの関数として構築された動きモデル（ＭＭ）を示す３次元グラフである。図６に示すように、このグラフでは、動きマップフレーム落ち重大度値ｓ’ｍ，ｎに対して、動き活性度対フレーム落ち重大度ｓｍ，ｎがマップされている。図４の例では、説明のために３つの別々のマッピングモデル５８、６０、６２を示している。しかし、決まった数のマッピングモデルの使用は任意選択であり、設計考慮事項に従って変更することができる。したがって、図６に示す動きマッピングは、実際には、利用できる計算処理能力、メモリおよび他の設計考慮事項に応じて、比較的多数の、または少数の動きマッピングモデルで表されてもよい。
【００６９】
図６のグラフには、動き活性度ｍａｍ，ｎとフレーム落ち重大度値ｓｍ，ｎの組み合わせによってフレーム落ち重大度値ｓｍ，ｎのスケーリングがもたらされ、動きマップフレーム落ち重大度値ｓ’ｍ，ｎが生成されることが示されている。一般に、高い動き活性度値ｍａｍ，ｎでは、動きマップフレーム落ち重大度値ｓ’ｍ，ｎは、フレーム落ち重大度値ｓｍ，ｎを追う傾向にある。より小さい動き活性度値ｍａｍ，ｎでは、動きマップフレーム落ち重大度値ｓ’ｍ，ｎは、フレーム落ち重大度値ｓｍ，ｎが高くない限り、フレーム落ち重大度値ｓｍ，ｎに比例して減少する。以下で、動きマップフレーム落ち重大度値ｓ’ｍ，ｎをもたらす関数を詳細に説明する。
【００７０】
図７は、時間的品質メトリックユニット３２と共に動作する時間的品質変動（ＴＱＦ）ユニット６６の構成要素例を示すブロック図である。図７に示すように、ＴＱＦユニット６６の機能構成要素は、動きマップフレーム落ち重大度値ｓ’ｍ，ｎを受け取る時間的変動推定器８４と、ＬＵＴベースの正規化ユニット８６と、パラメータｋを適用してＴＱＦ出力ｗ’ｍ，ｎを生成するＴＱＦ関数ユニット８８として表わされる。
【００７１】
時間的変動推定器８４は一連のフレーム落ち重大度値にわたる時間的変動を計算し、時間的変動推定値ｔｆｍ，ｎを生成する。ＬＵＴベースの正規化ユニ８６は一連のドロップフレームにわたる適用可能なフレーム率の上限（ＵＢ）と下限（ＬＢ）とに基づいて時間的変動推定値ｔｆｍ，ｎを正規化し、正規化された時間的変動推定値ｔｆ’ｍ，ｎを生成する。ＴＱＦ関数ユニット８８はＴＱＦ関数を適用して、局所的時間的活性度を、時間的品質と関連付けられたＴＱＦ出力重みｗ’ ｍ，ｎにマップする。
【００７２】
図８は図７のＴＱＦユニット８８によって実施される例示的ＴＱＦ関数の応答を示すグラフである。図８のグラフは、横軸上の時間的変動に対する縦軸上のＴＱＦ出力重みｗ’ｍ，ｎを表しており、異なるフレーム率に対応する３つの曲線９０、９２、９４を含んでいる。図８の例において、毎秒２０から３０フレームのフレーム率では、ＴＱＦ関数ユニット８８は曲線９０を使って時間的変動をＴＱＦ出力ｗ’ｍ，ｎにマップする。毎秒１４から１９フレームのフレーム率では、ＴＱＦ関数ユニット８８は曲線９２を使用する。毎秒１から１３フレームのフレーム率では、ＴＱＦ関数ユニット８８は曲線９４を使用する。
【００７３】
高いフレーム率では、ＴＱＦ関数は一般にＴＱＦ出力重みを低減する。というのは、高いフレーム率は時間的不連続性の知覚を軽減する傾向があるからである。中程度のフレーム率では、曲線９２は、時間的変動推定器８４によって生成される推定時間変動の範囲にわたってより高いＴＱＦ出力重みｗ’ｍ，ｎを生じる。曲線９４によれば、非常に低い時間変動ではＴＱＦ出力重みｗ’ｍ，ｎはさらにいっそう高く、人間の閲覧者による実質的な時間的品質変動の知覚を引き起こす可能性が非常に高い。時間的融合ユニット６４は、ＴＱＦ出力重みｗ’ｍ，ｎを適用してＪＮＪメトリック出力を生成する。
【００７４】
図９は、フレームグループ落ち重大度ｓｍ，ｎ、動き活性度ｍａｍ，ｎおよび時間的品質変動ｗｍ，ｎに基づく時間的品質メトリックの推定を示す図である。図９の図では、ＪＮＪメトリックユニット３２が映像シーケンス内の複数の映像フレームを受け取る。高い縦線９６はショット境界と一致する映像フレームを表し、中程度の高さの縦線９８は複製ではなく元の内容を示す通常の映像フレームを表す。短い縦線１００はドロップ映像フレームを表す。ドロップ映像フレームは、フレーム落ちの前に受け取られたフレームからの複製内容で置き換えられる。この結果、ドロップ映像フレームは通常、前の複製フレームと同じタイムスタンプを持つことになり、したがってフレーム落ちが判明する。
【００７５】
複製フレームの数、すなわちフレームグループ落ちの長さは、例えば、連続して受け取られる複製フレームの数、すなわち、フレーム落ちの前に受け取られるフレームと、次に異なるタイムスタンプと共に受け取られるフレームの間のタイムスタンプの差などによって求めることができる。図９の例では、フレーム落ち推定は、ショットごとのドロップフレームのインスタンスと、１ショット内での発生を追跡する。とりわけ、フレーム落ち重大度値ｓｍ，ｎはショットを識別する指数ｍとこのショット内の該当するフレーム落ちグループの順番を識別する指数ｎとを保持する。したがって、フレーム落ち重大度値ｓ１１は第１のショットＳｈｏｔ１のフレーム落ちの第１のインスタンスを指す。同様に、フレーム落ち重大度値ｓ１２、ｓ１３およびｓ１４は、それぞれ、第１のショットＳｈｏｔ１内のフレーム落ちの第２、第３および第４のインスタンスを指す。第２のショットＳｈｏｔ２はフレーム落ちのただ１つの発生ｓ２１を含む。
【００７６】
各フレーム落ち重大度値ｓｍ，ｎは、ドロップフレームと関連付けられるタイムスタンプ間の差の関数である値を有する。一実施形態では、例えば、フレーム落ち重大度値ｓｍ，ｎは以下のように表わされる。
【数１０】
【００７７】
式中、ｍは各ショットの指数であり、ｎはグループフレーム落ちの指数であり、Ｔは各フレーム間の時間間隔であり、ｔｍ，ｎ−１は落ちたフレームグループの後に続くフレームと関連付けられるタイムスタンプであり、ｔｍ，ｎは落ちたフレームグループの前のフレームと関連付けられるタイムスタンプである。動作に際して、フレーム落ち推定器４８（図４）は、式（１）を適用して映像シーケンスの推定フレーム落ち重大度値ｓを算出する。
【００７８】
タイムスタンプｔｍ，ｎ＋１からタイムスタンプｔｍ，ｎを差し引けば、１フレーム当たりの時間間隔Ｔで割ったときに、１グループとして落ちたフレームの数、すなわち評価対象の個々のフレーム落ちグループのグループフレーム落ちの長さを指示する差の値が生じる。この差の値から値１を差し引き、この結果をＲ−１で割ると正規化フレーム落ち重大度値ｓｍ，ｎがもたらされる。値Ｒ−１は、適用可能な最大フレーム率から１フレーム引いたものに等しく、異なるフレーム率にまたがるフレーム落ち重大度値を正規化するのに使用される。例えばフレーム率が３０である場合、値Ｒ−１は２９であり、上記の式（１）は以下のようになる。
【数１１】
【００７９】
個々のショットｍのフレーム落ち重大度値ｓを計算するために、式（１）に従って、このショット内のすべてのフレーム落ちグループのグループフレーム落ちの長さを計算し、それらを合計してこのショットの全般的重大度値を求めることができる。さらに、映像シーケンス全体のフレーム落ち重大度値ｓを計算するために、このシーケンス内のショットごとのフレーム落ち重大度値を合計することができる。
【００８０】
動きマッピングについて、動き活性度推定器５２（図４）は、映像シーケンス内の各フレームの動きベクトルを受け取り、ｍをショット指数とし、ｍをグループフレーム落ち指数とする動き活性度値ｍａｍ，ｎを生成する。モデル選択ユニット５４（図４）は、動きマッピングを適用して連続した動きマップフレーム落ち重大度値ｓ’ｍ，ｎを生成するための個々のモデル５８、６０、６２を選択する。例えば図９に示すように、選択された動きモデル５８、６０、６２は、Ｓｈｏｔ１からのフレーム落ち重大度値ｓ１１、ｓ１２、ｓ１３、ｓ１４を動きマップフレーム落ち重大度値ｓ’１１、ｓ’１２、ｓ’１３、ｓ’１４にマップし、Ｓｈｏｔ２からのフレーム落ち重大度値ｓ２１を動きマップフレーム落ち重大度値ｓ’２１にマップする。
【００８１】
選択された動きモデルは、式、
ｓ’ｍ，ｎ＝ＭＭ（ｓｍ，ｎ，ｍａｍ） （３）
を使って、フレーム落ち重大度値ｓｍ，ｎをフレーム落ち重大度値ｓ’ｍ，ｎにマップする。式中、ＭＭは図４の動きモデル５８、６０、６２といった既定の動きモデルの集合であり、ｍａはｔｍ，ｎ−１とｔｍ，ｎの間の動き活性度であり、１〜１０で正規化される。例示的実施形態では、式（３）を以下のように構成してもよい。
【数１２】
【００８２】
式中、
ｍａｍ，ｎ≧ｔｈのとき、γ＝１であり、
ｍａｍ，ｎ≦ｔｈのとき、γ＝０であり、
ｔｈは動き活性度閾値である。
【００８３】
選択された動きモデル５８、６０、６２の出力は動きマップフレーム落ち重大度値ｓ’ｍ，ｎであり、この値は時間的融合ユニット６４とＴＱＦユニット６６とに提供される。
【００８４】
ＴＱＦ関数ユニット６６は選択された動きモデル５８、６０、６２によって提供されるフレーム落ち重大度値ｓ’ｍ，ｎに基づいてＴＱＦ重みを生成する。ＴＱＦ重みは、映像シーケンス内の各フレーム間の時間的品質変動を表し、以下の式に従って計算される。
【数１３】
【００８５】
式中、ＩはＴＱＦ関数ユニット６６が映像シーケンス内の一連のフレームにわたり遡って調べるために使用するウィンドウのサイズであり、ＴＱＦは局所的時間的活性度をＴＱＦ重みにマップする関数であり、値κは人間視覚反応の感度を大まかにたどる正規化値である。ウィンドウのサイズＩは、固定でも可変でもよく、ＴＱＦを推定するために評価すべきフレームの数を指定する。ＴＱＦ関数ユニット６６は、各フレーム落ちグループごとに計算される動きマップフレーム落ち重大度値ｓｍ，ｎのＴＱＦ重みｗｍ，ｎを生成する。図９の例では、ＴＱＦ関数ユニット６６は、Ｓｈｏｔ１の動きマップフレーム落ち重大度値ｓ’１１、ｓ’１２、ｓ’１３およびｓ’１４にＴＱＦ重みｗ１１、ｗ１２、ｗ１３およびｗ１４を生成し、Ｓｈｏｔ２の動きマップフレーム落ち重大度値ｓ’２１に重みｗ２１を生成する。
【００８６】
時間的融合ユニット６４は、動きマップフレーム落ち重大度値ｓ’ｍ，ｎと対応するＴＱＦ重みｗｍ，ｎを受け取り、ジャーキネス報告を生成する。例えば、時間的融合ユニット６４は、時間的メトリック関数を以下のように適用する。
【数１４】
【００８７】
式中、
Ｎ∈フレーム落ちグループの番号であり、
Ｍ∈ショットの番号である。
【００８８】
上記式（６）で表わすように、時間的融合ユニット６４は、すべてのショットにわたる各ＴＱＦ重みｗｍ，ｎと各動きマップフレーム落ち重大度値の積を合計して映像シーケンス全体のＪＮＪメトリックを生成する。
【００８９】
以下でＴＱＦ関数ユニット６６の例示的動作についてより詳細に説明する。前述のように、ＴＱＦ関数ユニット６６は式（５）に従ってＴＱＦ重みを算出する。以下に再度式（５）を示す。
【数１５】
【００９０】
図７を参照すると、時間的変動推定ユニット８４、ＬＵＴベースの正規化ユニ８６およびＴＱＦ関数８８は、動きマップフレーム落ち重大度値ｓ’ｍ，ｎに基づいてＴＱＦ重みｗｍ，ｎを生成する。より詳細には、時間的変動推定ユニット８４は、推定される時間的変動を以下のように計算する。
【数１６】
【００９１】
ｔｆｍ，ｎが計算されると、正規化ユニット８６はこの値を以下の式に従って正規化する。
【数１７】
【００９２】
式中、ＵＢは適用可能なフレーム率の上限を表し、ＬＢは適用可能なフレーム率の下限を表す。
【００９３】
ＴＱＦ関数ユニット８８は、正規化ユニット８６からのｔｆｍ，ｎの結果と値Ψとを使って、ＴＱＦ重みを以下のように算出する。
【数１８】
【００９４】
式中、
２０≦フレーム率≦３０のときΨ＝５であり、
１９≦フレーム率≦１４の間Ψ＝１０であり、
１≦フレーム率≦１４の間Ψ＝１４である。
【００９５】
以下の表１に、式（９）における所与のｔｆおよびフレーム率での選択される値κを示す。一般には、表１に示すように、κの値はｔｆの値がより低くフレーム率がより高いほど高くなり、フレーム率が低くｔｆの値がより低いほど低くなるように選択される。
【表１】
【００９６】
表１
フレーム率とｔｆの関数としてのκの値
フレーム率
主観的実験において、同じフレーム率の下で、グループフレーム落ちの異なる組み合わせを有するいくつかの事例を生成した。主観的影響は、グループフレーム落ちの長さの違いに大きく影響される。実験では、動き活性度の範囲を表わすのに３つの標準的映像試験シーケンス（コンテナ、公道、ラグビー）を選択した。各シーケンスをダウンサンプリングして異なるフレーム率、すなわち、２７フレーム／秒（ｆｐｓ）、１５ｆｐｓ、１０ｆｐｓとした。加えて、フレーム率ごとに、グループフレーム落ちの異なる組み合わせを有するいくつかの下位事例も生成した。この実験は、５人の専門家と１０人の非専門家による閲覧者を含む１５人のボランティア閲覧者によって行われた。
【００９７】
以下の表２に、フレーム率２３ｆｐｓで、各閲覧者から得た主観的スコアと、本開示で述べるＪＮＪメトリックを使って得たＪＮＪ出力とを示す。表３と表４には、それぞれ、異なるフレーム率、すなわち１５ｆｐｓおよび１０ｆｐｓと、異なるグループフレーム落ちシナリオでの主観的スコアとＪＮＪメトリック出力を示す。主観的スコアは０〜１の範囲内になるように正規化されており、値が高いほどジャーキネスが大きく、値が低いほどジャーキネスが少ないことを示す。ＪＮＪメトリックも同様に正規化した。
【表２】
【表３】
【表４】
【００９８】
表２〜４において、左端の列にはフレーム落ちの様々な下位事例を、ａ＊ｂまたはａ＋ｂの形で示しており、グループフレーム落ちの長さをａで表わし、映像クリップ内のフレーム落ちグループ総数をｂで表わしている。例えば、１＊７は、１グループに１つのドロップフレームを有する７グループがあることを意味する。より詳細には、１秒の等間隔を有する７つの間隔にわたって一度に１フレームが落ちている。同様に、２＊１０は、１グループ当たり２つのドロップフレームを有する１０グループがあることを意味する。
【００９９】
代替として、ａとｂ両方で２つの異なるグループのグループフレーム落ちの長さを表わすものある。例えば、３＋４は、２つのフレーム落ちグループがあり、これらのグループの一方は３つのドロップフレームを有し、他方のグループは４つのドロップフレームを有することを意味する。同様に、７＋８は、それぞれ、１秒につき７個と８個のドロップフレームのある２つのグループがあることを意味する。表２に示すようにフレーム落ち事例が７である場合には、７ドロップフレームの長さのただ１つのフレーム落ちグループがある。
【０１００】
表２〜４の実験結果から、たとえ同じフレーム率であっても、異なるフレーム落ち下位事例では主観的ジャーキネススコアが大きく異なることが明らかである。主観的ジャーキネススコアは、フレーム落ち下位事例によって大きく変動する。というのは、閲覧者にとって急な品質変動は非常に煩わしいからである。この証明は、フレーム率によってジャーキネスを推定するのでは不十分であることを示している。フレーム率が減少するにつれて、ドロップフレームの総数が知覚されるジャーキネスを左右するようになるため、品質変動の影響も次第に減少する。
【０１０１】
表２〜４に示すＪＮＪ出力から、ＪＮＪメトリックが主観的スコアと非常に強い相関性を有することは明らかである。したがって、本開示で述べるＪＮＪメトリックは、時間的品質および時間的品質変動の主観的評価に代わるものとして十分に使用することができる。
【０１０２】
フレーム率または動き活性度だけに基づいてジャーキネスを推定するのではなく、開示の時間的品質測定法は、基本推定単位として、連続ドロップフレーム数、すなわちグループフレーム落ちの長さを使用する。２つの異なる入力モードを用いれば、本開示で述べる技法は、可用性に応じてビットストリームでも画素情報でも処理することができる。グループフレーム落ちの長さを使えば、ジャーキネスのより多くの属性を取り込むことができる。局所的品質活性度の分析を加えれば、開示の時間的品質メトリックは、視覚的時間的品質全般を評価する際に非常に重要となり得る品質変動に対する人間の感受性をうまく取り込むことができる。主観的観察との比較結果は、開示のＪＮＪメトリックが、時間的品質に対する人間視覚反応と強く相関することを示している。また、ジャーキネス感度は、動き活性度の度合いに応じて調整することもできる。
【０１０３】
本開示で述べる技法は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせとして実施され得る。例えば、これらの技法の様々な態様を、１つまたは複数のマイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の任意の同等の集積またはディスクリートの論理回路、ならびにかかる構成部品の任意の組み合わせにおいて実施してもよい。「プロセッサ（processor）」または「処理回路（processing circuitry）」という用語は、一般に、単独の、または他の論理回路と組み合わさった前述の論理回路のいずれか、あるいは他の任意の同等の回路を指す。実施形態によっては、本明細書で述べる機能が、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアユニット内で提供されてもよく、映像符号器／復号器の組み合わさったもの（ＣＯＤＥＣ）の内部に組み込まれていてもよい。
【０１０４】
ソフトウェアとして実施するとき、各技法の一部は、プロセッサによって実行されると、前述の各機能の１つまたは複数を実行するプログラムコードまたは命令を備えるコンピュータ可読媒体によって実現されてもよい。かかるプログラムコードまたは命令を格納するコンピュータ可読媒体には、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去書込み可能ＲＯＭ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気または光学的データ記憶媒体、あるいはかかるメモリまたは記憶媒体の任意の組み合わせが含まれる。
【０１０５】
本明細書では様々な実施形態を説明している。これらの実施形態およびこれら以外の実施形態は、添付の特許請求の範囲に含まれるものである。
【図面の簡単な説明】
【０１０６】
【図１】本開示によるジャスト・ノーティサブル・ジャーキネス（ＪＮＪ）メトリックユニットを備える映像符号化／復号システムを示すブロック図である。
【図２】図１のＪＮＪメトリックユニットの動作を示すブロック図である。
【図３】図２のＪＮＪメトリックユニットの動作を示す流れ図である。
【図４】図２のＪＮＪメトリックユニットの構成要素例を示すブロック図である。
【図５】図４のＪＮＪメトリックユニットの動作を詳細に示す流れ図である。
【図６】ＪＮＪメトリックユニットで使用するための、動き活性度とフレーム落ちの重大度の関数として構築された動きモデルを示す３次元グラフである。
【図７】ＪＮＪメトリックユニットと共に動作する時間的品質変動（ＴＱＦ）ユニットの構成要素例を示すブロック図である。
【図８】図７のＴＱＦユニットによって実施される例示的ＴＱＦ関数の応答を示すグラフである。
【図９】フレームグループ落ちの長さ、動き活性度および時間的品質変動に基づくＪＮＪメトリックの推定を示す図である。
【技術分野】
【０００１】
本願は、参照によりこれの全内容が本明細書に組み込まれる、２００６年４月５日に出願され本願譲受人に譲渡された米国仮出願第６０／７８９，６６４号の優先権および利益を主張するものである。
【０００２】
本開示はディジタル映像符号化に関し、より詳細には符号化映像の品質を評価する技法に関する。
【背景技術】
【０００３】
ディジタル映像シーケンスを符号化するためのいくつかの異なる映像符号化規格が確立されている。例えばＭＰＥＧ（Moving Picture Experts Group）は、ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４を含むいくつかの企画を策定している。他に、国際電気通信連合（International Telecommunication Union（ＩＴＵ））Ｈ．２６３規格や、台頭しつつあるＩＴＵ Ｈ．２６４規格などの例が含まれる。これらの映像符号化規格は一般に、データを圧縮して符号化することによる映像シーケンスの伝送効率の改善をサポートしている。
【０００４】
一例として、映像電話技術（ＶＴ）は、テレビ会議などのアプリケーションをサポートするために各ユーザが映像および音声情報を共用することを可能にする。映像電話技術規格の例には、セッション開始プロトコル（ＳＩＰ）によって定義される規格、ＩＴＵ Ｈ．３２３規格、およびＩＴＵ Ｈ．３２４規格が含まれる。ＶＴシステムでは、各ユーザは映像情報を送受信しても、映像情報の受信だけを行って、映像情報の送信だけを行ってもよい。受信者は一般に、送信者から送信される形で受信した映像情報を閲覧する。
【０００５】
符号化映像はフレーム落ち(frame dropping)により時間的品質の低下を来すことがある。フレーム落ちは、フレームスキップ(frame skipping)、フレーム率ダウンサンプリング(frame rate down-sampling)、通信路パケット紛失(channel packet loss)といった様々な要因から生じ得る。一般に、フレームスキップは、フレーム率ダウンサンプリングや通信路パケット紛失よりも時間的品質低下に大きな影響を及ぼしがちである。大量のフレーム落ちが生じた場合、閲覧者はフレーム凍結を目にすることになる。というのは、大部分の映像復号器は落ちたフレームの前に受け取った最後のフレームを自動的に複製し、落ちたフレームのかわりに複製フレームを提示して同じフレーム率を維持するからである。
【０００６】
フレーム落ちに伴う複製は、しばしば「ジャーキネス（jerkiness）」と呼ばれる時間的不連続性を引き起こす。ジャーキネスは、復号映像の閲覧者をいらいらさせることになりやすい。ぎくしゃくした映像シーケンスを見る際に、閲覧者は、ドロップフレームの量だけでなく、ドロップフレームと非ドロップフレームの間の時間的品質変動によっても不快を感じる。人間の視覚系は、現在のフレームとこれに隣接するフレームとの品質対比に非常に高い感受性を有する。
【発明の開示】
【発明の概要】
【０００７】
本開示は、符号化映像の時間的品質を評価する技法を対象とする。フレーム率(frame rate)または動き活性(motion activity)だけに基づいて時間的品質を推定するのではなく、開示の時間的品質メトリックは、基本推定単位として連続ドロップフレーム数(number of consecutive dropped frames)を使用する。ここでは連続ドロップフレーム数をフレームグループ落ちの長さ(frame group dropping length)と呼ぶ。加えて、時間的品質変動や動き活性度への感度といったいくつかの人間視覚系要因も考慮に入れて、予測される時間的品質を実際の人間視覚反応とより整合するものとしてもよい。
【０００８】
この時間的品質メトリックを、人間の閲覧者が知覚することのできる時間的品質低下、すなわち顕著なジャーキネスだけを重視するという点でジャスト・ノーティサブル・ジャーキネス（just noticeable jerkiness（ＪＮＪ））と呼ぶことができる。このＪＮＪメトリックを使って、映像ショット、映像動き活性度および局所的品質変動の様々な組み合わせの下で時間的不連続性（ジャーキネス）によって導入される、人間に知覚される不快感を効果的に推定することができる。説明される技法は、入力情報の利用可能性に基づき、２つのモード、すなわち（１）ビットストリームモードまたは（２）画素モードで適用され得る。時間的品質メトリックは、単に時間的品質を評価するためだけに使用してもよく、時間的品質がフレーム落ちにより著しく低下している場合に、時間的品質を改善するように符号化または復号特性を制御するためのフィードバックを生成するのに使用してもよい。
【０００９】
一実施形態では、本開示は、映像シーケンス内の連続ドロップ映像フレーム数に基づいて映像シーケンスの時間的品質メトリックを生成することを備える方法を提供する。
【００１０】
別の実施形態では、本開示は、映像シーケンス内の連続ドロップ映像フレーム数に基づいて映像シーケンスの時間的品質評価を生成するプロセッサを備える装置を提供する。
【００１１】
ここで述べる技法は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせとして実施され得る。ソフトウェアとして実施される場合、これらの技法の全部または一部は、実行されると、本開示で述べる方法の１つまたは複数を実行する命令を含むプログラムコードを備えるコンピュータ可読媒体によって実現されてもよい。
【００１２】
１つまたは複数の実施形態の詳細を、添付の図面および以下の説明に示す。他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲を読めば明らかになるであろう。
【００１３】
本特許または出願のファイルは、カラーで実行される少なくとも１つの図面を含む。カラー図面を含む本特許または特許出願公開の写しは、必要な料金を支払って請求すれば特許庁より入手できる。
【詳細な説明】
【００１４】
図１はＪＮＪメトリックユニット３２を組み込んだ映像符号化／復号システム１０を示すブロック図である。本開示の一実施形態によれば、このメトリック計算は、ユーザが知覚できない時間的品質低下よりもユーザが知覚する時間的品質低下を重要視する。実施形態によっては、このメトリックは、人間の閲覧者が実際に知覚することのできる、ジャーキネスなどの時間的品質低下だけを考慮に入れ、このメトリックをＪＮＪメトリックと呼ぶ。
【００１５】
ＪＮＪメトリックユニット３２は、ユーザに簡単に気付かれない少量の時間的不連続性は無視し、または少なくとも、かかる少量の時間的不連続性がメトリック全体にほとんど影響を及ぼさないようにメトリックに重み付けするように構成される。というよりはむしろ、ＪＮＪメトリックは、人間の閲覧者が知覚することのできる時間的品質低下だけ、すなわち、ジャスト・ノーティサブル・ジャーキネス（ノーティサブル・ジャーキネスだけ）を重要視するように定式化される。
【００１６】
図１に示すように、システム１０は、第１の映像通信装置１２と第２の映像通信装置１４を含む。通信装置１２、１４は、伝送通信路１６で接続されている。伝送通信路１６は、有線または無線の通信媒体とすることができる。システム１０は、映像電話技術用の映像通信装置１２、１４間の両方向映像伝送、映像ストリーミング用の一方向映像伝送、またはこれら両方をサポートし得る。装置１２、１４は実質的に対称的に動作する。しかし、実施形態によっては、映像通信装置１２、１４の一方または両方が、映像ストリーミングをサポートする一方向通信のためだけに構成されていてもよい。
【００１７】
両方向の適用例では、通信路１６の両端に、相互の符号化、復号、多重化（ＭＵＸ）および逆多重化（ＤＥＭＵＸ）の各構成要素が設けられる。図１の例では、映像通信装置１２は、ＭＵＸ／ＤＥＭＵＸ構成要素１８、映像ＣＯＤＥＣ２０および音声ＣＯＤＥＣ２２を含む。同様に、映像通信装置１４も、ＭＵＸ／ＤＥＭＵＸ構成要素２６、映像ＣＯＤＥＣ２８および音声ＣＯＤＥＣ３０を含む。
【００１８】
映像通信装置１２、１４のうちの一方または両方が時間的品質推定の技法を適用するように構成されていてもよい。実施形態によっては、映像通信装置１２、１４は、固定的に、または適応的にフレームスキップおよび／またはフレーム率ダウンサンプリングを能動的に適用して符号化率、フレーム率、または他の帯域幅制限を補償する。加えて、通信路１６を介した伝送時に、データ破壊や短期間の通信路損失といった要因によりフレームが落ちることもある。
【００１９】
いずれの場合も、フレーム落ちは、ジャーキネスとも呼ばれることのある可視の時間的不連続性を含む時間的品質低下をもたらし得る。本開示によれば、一方または両方のＣＯＤＥＣ２０、２８がＪＮＪメトリックユニットを含む。図１の例では、映像ＣＯＤＥＣ２８が時間的品質を評価するＪＮＪメトリックユニット３２を含む。ＪＮＪメトリックユニット３２は、単に評価用のＪＮＪメトリックを生成し、または映像復号の制御や別の映像通信装置へのシグナリングなどのために、映像ＣＯＤＥＣ２８内の他の構成要素にＪＮＪメトリックを提供する。
【００２０】
例えば、映像ＣＯＤＥＣ２８は、時間的品質を改善するためにＪＮＪメトリックに基づいて１つまたは複数の復号特性を調整する。映像ＣＯＤＥＣ２８は、ＪＮＪメトリックの変化に応答して動的に、復号特性を周期的に調整する。代替として、またはこれに加えて、映像ＣＯＤＥＣ２８はＪＮＪメトリックに基づいてシグナリング情報を生成し、このシグナリング情報を帯域内または帯域外で映像通信装置１２に送って、映像ＣＯＤＥＣ２０が時間的品質を改善するために符号化特性を調整することができるようにする。別の例として、ＪＮＪメトリック、あるいはＪＮＪメトリックに基づいて生成された１つまたは複数の制御信号をフィードバックとして使って、映像通信装置１２内の適応フレームスキッププロセスを制御してもよい。
【００２１】
システム１０はセッション開始プロトコル（ＳＩＰ）、ＩＴＵ Ｈ．３２３規格、ＩＴＵ Ｈ．３２４規格、または他の規格に従って映像電話技術をサポートする。各映像ＣＯＤＥＣ２０、２８は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ Ｈ．２６３、ＩＴＵ Ｈ．２６４といった映像圧縮規格に従って符号化映像データを生成する。図１にさらに示すように、映像ＣＯＤＥＣ２０、２８は、それぞれの音声ＣＯＤＥＣ２２、３０と統合されており、データストリームの音声部分と映像部分を処理する適切なＭＵＸ／ＤＥＭＵＸ構成要素１８、２６を含む。ＭＵＸ−ＤＥＭＵＸユニット１８、２６は、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）など他のプロトコルに従う。
【００２２】
映像通信装置１２、１４は、映像ストリーミング、映像電話技術、またはこれら両方の装備を有する無線移動端末または有線端末として実施される。このために、映像通信装置１２、１４はさらに、無線通信をサポートするのに適する無線送信機、受信機、モデム、および処理電子回路を含む。無線移動端末の例には、移動無線電話機、モバイル携帯情報端末（ＰＤＡ）、モバイルコンピュータ、モバイルテレビ、または無線通信機能および映像符号化および／または復号機能を備える他の任意のモバイル機器が含まれる。有線端末の例には、デスクトップコンピュータ、ワークステーション、テレビ電話機、ネットワーク家電器具、セットトップボックス、双方向テレビなどが含まれる。どちらの映像通信装置１２、１４も、映像情報を送信し、映像情報を受信し、または映像情報を送受信するように構成され得る。
【００２３】
映像電話技術の適用例では、機器１２が映像送信機能と映像受信機能の両方をサポートすることが望ましい。しかし、ストリーミング映像用途も企図されている。映像電話技術、特に無線通信によるモバイル映像電話技術では、しばしば極めて低いビット速度が求められるため、帯域幅が重要な問題となる。特に、通信路１６には限られた帯域幅しかなく、通信路１６を介した高品質映像シーケンスの有効なリアルタイム伝送を行うことは非常に困難である。例えば通信路１６は、通信路１６における物理的制約条件、あるいはおそらく、通信路１６の提供者が強いるサービス品質（ＱｏＳ）制限または帯域幅割り振り制約条件による限られた帯域幅を有する無線通信リンクである。
【００２４】
一般に、システム１０は、時間的品質を評価する技法を用いて映像電話技術（ＶＴ）用途の時間的品質メトリックを生成する。時間的品質メトリックは、人間の閲覧者が知覚するジャーキネスの度合いを表す。本開示で述べる時間的品質メトリックは、フレーム率だけに従ってジャーキネスを推定するのではなく、グループフレーム落ちの長さを基本推定単位として使用する。グループフレーム落ちの長さとは、映像シーケンス内の連続ドロップフレームの数をいう。
【００２５】
加えて、時間的品質メトリックは、時間的品質変動や動き活性に対する感度といった人間視覚系要因を使って、予測されるジャーキネスを主観的視覚反応とより整合するものにする。詳細には、時間的品質変動および動き活性度の感度を、主観的経験からのオピニオン平均値(Mean Opinion Score)（ＭＯＳ）とより整合するように選択する。試験結果は、本開示で述べるＪＮＪメトリックが、人間が知覚するジャーキネスを効果的に測定し、主観的経験的結果と強い相関関係を有する出力を生成し得ることを示している。
【００２６】
映像の時間的品質低下においては、ジャーキネスが主要なアーティファクト(artifact)である。ジャーキネスは、通常、（１）符号化の間のフレームスキップ、（２）フレーム率ダウンサンプリングおよび／または（３）通信路パケット紛失によって生じる。上記の時間的品質低下の原因（１）〜（３）は、時間的品質低下に対する影響の重大度の順に挙げている。符号化ビットを保護し、または帯域幅容量制限内に留まるなどのためにフレーム落ちが発生すると、閲覧者はフレーム凍結を目にすることになる。典型的な映像復号器は、フレーム落ちが発生する前の最後のフレームを自動的に複製し、ドロップフレームの代用に複製フレームを使用して、同じ映像再生速度を維持する。残念ながらこれは、新しいフレームが表示されるときにフレーム凍結および時間的不連続性を生じる結果になり、いわゆる「ジャーキネス」が発生する。
【００２７】
閲覧者にとってのフレーム落ちのマイナスの影響を低減するために、いくつかの方法が研究されている。例えば、スマートフレーム落ちやフレーム率アップコンバージョンの技法が開発されている。しかし、人間の知覚に合わせた正確な誘導がなければスマートフレーム落ちやフレーム率アップコンバージョンによる映像改善は効果的に適用するのが難しい。提案されているメトリックの中には、フレーム率情報または動き活性度に基づいてジャーキネスを推定するものもある。多くの実際の観察が示すところでは、フレーム率に基づくジャーキネスの推定は、ドロップフレームが映像シーケンス全体を通して均一に分布しているものと仮定するために不十分である。
【００２８】
同じフレーム率で、連続フレームのグループを落とすことは、まばらなフレーム落ちと比べると著しく異なる品質上の影響を及ぼす。グループフレーム落ちとは、２つ以上、おそらくは数個の連続フレームが落ちることをいう。まばらなフレーム落ちとは、一般に、映像シーケンス内の異なる位置にある１、２フレームが落ちることをいう。人間に固有の認知的補間機構は、まばらなフレーム落ちとグループフレーム落ちとでは非常異なる反応を生じる。
【００２９】
加えて、フレーム率情報に基づくジャーキネスの推定は、非ドロップフレームがどんなマイナスの影響ももたらさないと想定する。しかし、ぎくしゃくしたシーケンスでは、閲覧者にとっての不快感は、ドロップフレームの量だけでなく、ドロップフレームと非ドロップフレームの間の時間的品質変動によっても生じる。人間の視覚系は、現在のフレームとこれに隣接したフレームの間の品質対比に対して非常に高い感度を有する。
【００３０】
ジャーキネスメトリックの中には、映像ビットストリームからのタイムスタンプ情報を使って、または連続するフレーム間の類似度を分析することによってフレーム損失および複製の量または期間を推定するものもある。フレーム損失／フレーム落ちが発生するとき、タイムスタンプの不連続性は明白であり、フレーム間の類似性は極めて高い。ドロップフレームの場所および数を獲得した後、合計ドロップフレーム数を所与のビットストリーム／映像クリップ内の総フレーム数で割ることによって平均フレーム率を推定することができる。
【００３１】
異なる動き活性度の下では同じフレーム率が異なるジャーキネスレベルをもたらし得るため、マッピング関数が、動き活性度をこれの入力として、フレーム率をジャーキネス尺度にマップする。ジャーキネスをより包括的に推定するために、マッピング段の後に、ドロップ期間の分布の統計的分析を用いて後処理を適用してもよい。しかし、こうした方式は、人間視覚反応に著しい影響を及ぼし得る局所的時間的品質変動の影響を考慮に入れない。
【００３２】
本開示によれば、ＪＮＪメトリックは、ショット、様々な映像動き活性度、および、さらに重要な、様々な局所的品質変動の様々な組み合わせの下で時間的不連続性（ジャーキネス）によって導入される、人間が知覚する視覚的不快感を正確に推定する。このように、時間的品質メトリックは、局所的ジャーキネスの変動をジャーキネスを推定するために使用される要因の１つとして考慮し、それは時間的品質評価にとって重要である。加えて、ＪＮＪメトリック３２は、人間の閲覧者が気付かない時間的品質低下を無視し、またはこれの価値を減ずるようにも構成され得る。
【００３３】
ＪＮＪメトリックユニット３２は、フレーム率を使用するだけでなく、グループフレーム落ちの長さも利用してジャーキネスを推定するように構成されている。グループフレーム落ちの長さの情報に基づき、時間的品質評価のより重要な属性を分析することができる。さらに、ＪＮＪメトリックは、２つの異なるモードで実施され得る。１つのモードでは、映像ビットストリームが評価される。別のモードでは、十分な入力情報が利用できる場合には、画素情報が評価される。したがって、実施形態によっては、ＪＮＪメトリック評価を実施するシステムが２つの異なる種類の入力情報をサポートし、著しい柔軟性を提供するものもある。
【００３４】
図２は、図１の時間的品質（ＪＮＪ）メトリックユニットの動作を示すブロック図である。図２に示すように、ジャスト・ノーティサブル・ジャーキネス（ＪＮＪ）ユニット３２は、映像ビットストリームまたは画素情報を受け取るＪＮＪプリプロセッサ３３を含む。ＪＮＪプリプロセッサ３３は、受け取った映像情報を処理して、ＪＮＪ計算器３５がＪＮＪメトリックを生成するのに使用するいくつかのパラメータを生成する。詳細には、ＪＮＪプリプロセッサ３３は、グループフレーム落ちの長さ情報、動き活性度情報、および時間的品質変動(temporal quality fluctuation)（ＴＱＦ）情報を推定する。グループフレーム落ちの長さ情報は、映像シーケンス内の、または映像シーケンス内の特定のショット内の連続ドロップフレームの数を示す。動き活性度情報は、一般に、映像シーケンスの内容の表す動きの度合いが低いか、中程度か、それとも高いかを示す。ＴＱＦ情報は、評価対象である現在のフレームとこれに隣接するフレーム、すなわち現在のフレームの前と後のフレームの間の時間的品質対比(temporal quality contrast)を示す。
【００３５】
グループフレーム落ちの長さ、動き活性度、およびＴＱＦ情報を使って、ＪＮＪ計算器３５は、ジャーキネスを表すＪＮＪメトリックを計算する。ＪＮＪ計算器３５は、単に、ジャーキネスを生成し、後で分析するためにこれを格納するだけである。これに加えて、または代替として、ＪＮＪメトリックユニット３２は、時間的品質情報、あるいはＪＮＪメトリックに基づくフィードバックまたは制御情報を、映像ＣＯＤＥＣ１４内の復号エンジン３４またはシグナリングエンジン３６に提供してもよい。復号エンジン３４は、時間的品質を改善するためにＪＮＪメトリックに基づいて１つまたは複数の復号特性を変更する。シグナリングエンジン３６は、映像情報を符号化する装置に送って、この装置に時間的品質を改善するように１つまたは複数の符号化特性を調整させるためのシグナリング情報を生成する。
【００３６】
後述するように、ビットストリームモードでは、ＪＮＪメトリックユニット３２は、入力映像ビットストリームからのタイムスタンプ情報を使って、フレーム落ちが発生しているかどうか判定する。連続するフレームのタイムスタンプがギャップを示す場合、フレームスキップ、フレーム率ダウンサンプリング、通信路損失などによって少なくとも１つの介在フレームが落ちていることが明らかである。タイムスタンプによって求められるギャップの長さにより、落ちている連続フレームの数、すなわちグループフレーム落ちの長さを求めることが可能になる。
【００３７】
例えば、連続符号化フレームのタイムスタンプは単位ステップで増大する。異なる内容を有する２つのフレームの間に複数の単位ステップがある場合、少なくとも１つのフレームが落ちていることが明らかである。このタイムスタンプ差を単位ステップで割ることによって、何個のフレームが落ちているか求めることが可能である。代替として、特定のタイムスタンプが反復される回数を数えることによってドロップフレームの数を求めてもよい。
【００３８】
ＪＮＪメトリックユニット３２は、入力ビットストリームからの符号化モード決定情報（例えば、イントラまたはインター符号化）を使ってショット境界を判定する。ショット境界とは、様々な場面について獲得される映像フレーム間の映像ショット境界をいう。あるショットは第１の場面について獲得した１つまたは複数の映像フレームを含み、第２のショットは第２の場面について獲得した１つまたは複数の映像フレームを含み、以下同様である。
【００３９】
これらのショットは、取り込んだ主題、光源条件などの撮像条件、あるいは他の差異の点で異なり得る。例えば、あるショットは、低い動き活性度を示す、シートに比較的静止した状態で座っているスポーツ観覧者など、第１の設定での第１の人物を含み、第２のショットは、高い動き活性状態にある競技場にいる別の１人または複数の人物を含むことがある。
【００４０】
動き活性度推定のためにショット境界を検出することが望ましい。というのは、類似の内容を有する映像シーケンスは普通、類似の動き活性度を有するからである。ジャーキネスを正確に推定するためには、「正しい」動き活性度を推定する必要がある。したがって、各ショットを相互に区別することによって様々な動き活性度を区別することができる。また、場面変化によって生じる動き活性度は、実際にはジャーキネスの原因とならないため、これを時間的品質メトリックにおける考察から除外するためにも、ショット境界を検出することは望ましい。
【００４１】
ＪＮＪメトリックユニット３２は、例示的実施形態では、フレーム率に基づくフレーム落ち重大度(frame dropping severity)を使用する動きマッピングモデルを適用する。動きマッピングモデルの入力の１つは動き活性度の推定値である。動き活性度の推定値は各フレーム内の動きベクトルの大きさの平均によって獲得される。動きマッピングモデルを適用した後、フレームごとにフレーム落ち重大度のフレーム率に基づく推定を利用することができる。
【００４２】
人間は急な品質の変化に非常に敏感であるため、各フレームの時間的品質低下は現在のフレームだけではなく、これと隣接するフレームにも関連する。現在のフレームと隣接するフレームの間の時間的品質低下は、この対比が大きくなるほど閲覧者に気付かれやすくなる。こうした理由で、隣接するフレームと比べて変動の大きいフレームの時間的劣化には、時間的品質を評価するに際してより大きな重み付けをすべきである。
【００４３】
映像再生は因果プロセスである。したがって、現在のフレームの品質変動に対する閲覧者の感受性は、前に見た映像フレームにだけ関連する。したがって、ＪＮＪメトリックユニット３２は、固定ウィンドウサイズによって定義されるウィンドウ内のフレームを遡って調べる時間的品質変動（ＴＱＦ）関数を使って重みを推定する。一般には、動きマッピングから獲得されるフレーム落ち重大度、ｓ’ｍ，ｎを時間的品質変動（ＴＱＦ）関数に適用して時間的品質変動を推定する。より詳細には、ＴＱＦ推定値は、ｓ’ｍ，ｎとこれに隣接するフレームのフレーム落ち重大度の差の二乗によって求めることができる。
【００４４】
差の二乗を使用するのは、グループフレーム落ちのサイズが増大するときに人間の視覚系が非線形の視感度を有するからである。次いで、各フレーム率の上／下限の可能な変動が可変であるため、ルックアップ表（ＬＵＴ）を使って時間的品質変動を０〜１の値に正規化する必要がある。次に、以下で詳細に説明するように、ＪＮＪメトリックユニット３２は、時間融合ユニットにおいて非線形ＴＱＦ関数、正規化パラメータｋ、フレーム落ち重大度および動きモデリングを適用して、分析、映像復号制御、またはシグナリングによる映像符号化制御で使用するためのジャーキネス報告を生成する。
【００４５】
一般に、ＴＱＦ応答はある点の後で急速に上昇し、急速に飽和する。人間の感度は、閲覧対象の映像中に少量の時間的品質変動が現れると増大し、グループフレーム落ちの長さが大きくなり、知覚される時間的品質で優勢になると急速に飽和する。正規化パラメータｋはフレーム率が減少するに従って減少し、これは、フレーム率が高いときに品質変動の影響がより目に付きやすくなることを意味する。このように、正規化パラメータｋを使って、人間視覚反応をより有効にシミュレートするようにメトリックの感度を調整することができる。
【００４６】
加えて、ＴＱＦ重み付けを用いて平均値を推定することによって各ショットのジャーキネスを獲得することもできる。この場合、ＪＮＪメトリックユニット３２は、単に各ショットの平均ジャーキネスを取ることによって入力映像シーケンス全体のジャーキネスを計算することができる。各ショットに様々な動きモデルが適用されるため、必ずしもすべてのショットの平均値がさらなる重み付けを必要とするとは限らない。
【００４７】
ＪＮＪメトリックユニット３２は、ビットストリーム情報が利用できないときには、ビットストリームモードではなく画素モードで動作し得る。画素モードでは、通常は、映像復号器のＹＵＶ（輝度、色差１、色差２）出力が利用できる。画素モードでＪＮＪメトリックを求める基本プロセスは、ビットストリームモードについて前述したのと同様である。しかし、入力情報は異なる。
【００４８】
大部分の復号器はフレーム落ちが発生する前に最後のフレームを複製するため、各フレームの画素類似度を使ってドロップフレームの場所を突き止めることができる。例えば、あるフレームが５回反復される場合、４つのフレームが落ちていることが明らかである。反復は、フレームごとの連続タイムスタンプ間のギャップおよび／または各フレームの類似度の分析によって検出することができる。
【００４９】
複製フレーム間の類似度が閾値に達すると、ＪＮＪメトリックユニット３２はどのフレームが失われたのか推定することができる。ＪＮＪメトリックユニット３２は、フレーム落ち推定に使用するのと同じ、または類似の画素情報をショット境界検出にも使用し得る。例えば、２つの連続するショットの間にショット遷移が発生すると、画素類似度は非常に低い値まで低下する。連続するフレーム間の画素類似度が所定の閾値を下回ると、ＪＮＪメトリックユニット３２はショット境界の有無を判定する。
【００５０】
動き活性度については、ＪＮＪメトリックユニット３２は、正規化画素差(normalized pixel difference)を使用してもよい。これについては、Ｄ．Ｔｉａｎ、Ｌ．ＳｈｅｎおよびＺ．Ｙａｏ、「動き活性度に基づく無線映像品質知覚メトリック（Motion Activity Based Wireless Video Quality Perceptual Metric）」、Ｐｒｏｃ．ＩＥＥＥ ＩＳＩＭＰ、２００６や、Ｓ．ＪｅａｎｎｉｎおよびＡ．Ｄｉｖａｋａｒａｎ、「ＭＰＥＧ−７視覚運動記述子（MPEG-7 Visual Motion Descriptors）」、ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｃｉｒｃｕｉｔ ａｎｄ Ｓｙｓｔｅｍ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、２００１などに記載されている。正規化された画像差は動き活性度の信頼性の高い指標である。適切な正規化を用いて画素からのすべての情報を抽出した後で、ＪＮＪメトリックユニット３２は、大体においてはビットストリームモードに関して前述したように、動きマッピング、重み推定および時間的融合を適用する。
【００５１】
図２に示す様々な構成要素は、別々の機能モジュールとして、またはここにおいて図示の各モジュールに帰せられる機能を包含するモノリシックなモジュールとして、様々なやり方で形成される。いずれにしても、映像符号化システム４４の様々な構成要素は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせとして実現され得る。例えば、かかる構成要素は、１つまたは複数のマイクロプロセッサまたはディジタル信号プロセッサ（ＤＳＰ）や、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）や、１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）や、他の同等の集積またはディスクリートの論理回路上で実行されるソフトウェアプロセスとして動作する。
【００５２】
図３は図２の時間的品質メトリックユニットの動作を示す流れ図である。図３に示すように、映像シーケンスを受け取る（３８）と、ＪＮＪメトリックユニット３２は、連続ドロップフレーム数、すなわちグループフレーム落ちの長さを推定し（４０）、時間的品質変動を求め（４２）、ショット境界を求め（４３）、動き活性度を求める（４４）。時間的品質変動、ショット境界および動き活性度に基づき、ＪＮＪメトリックユニット３２はジャーキネスを計算し（４６）、ＪＮＪメトリックを、例えば、分析、復号制御、符号化制御などに適用する（４７）。
【００５３】
例えば、ＪＮＪメトリックユニット３２の出力を使って、続いて符号化され、復号される映像フレーム内の時間的品質を改善する。特に、ＪＮＪメトリックユニット３２は、フレーム率または動き活性度だけに基づいてジャーキネスを推定するのではなく、実際の人間視覚反応とより適切に相関させるために、連続ドロップフレームの数を時間的品質変動および動き活性度と組み合わせる。このようにして生じるＪＮＪメトリックは、時間的不連続性の実際の閲覧者知覚のより有効な尺度を生成する。
【００５４】
図４は、図２のＪＮＪメトリックユニット３２の構成要素例を示すブロック図である。また、ＪＮＪメトリックを計算するプロセスについても、図４の様々な構成要素を参照してより詳細に説明する。図４に示すように、ＪＮＪメトリックユニット３２は、フレーム落ち推定器４８、ショット境界識別器５０、動き活性度推定器５２、およびモデル選択ユニット５４を含む。選択モジュール５６がフレーム落ち推定器４８の出力を、モデル選択ユニット５４の出力に基づいて３つの異なる動きモデル、すなわち、低動きモデル５８、中動きモデル６０および高動きモデル６２のうちの１つに適用する。時間的品質変動（ＴＱＦ）ユニット６６が、選択された動きモデル５８、６０、６２の出力にＴＱＦ関数を適用する。時間的融合ユニット６４が選択された動きモデルの出力およびＴＱＦユニット６６の出力を受け取り、ジャーキネス報告を生成する。
【００５５】
図４の例では、フレーム落ち推定器４８は、映像ビットストリームを受け取り、ビットストリームの各フレームに記録されたタイムスタンプを分析する。タイムスタンプを使って、フレーム落ち推定器４８は、連続する非ドロップフレーム間の時間間隔を求める。複数の連続フレームが落ちている場合、復号器による最後の非ドロップフレームの複製および反復により、複数の受け取りフレームのタイムスタンプが同一となる。
【００５６】
フレーム間のタイムスタンプが固定値または確定的な値であり、単位ステップを表わす場合、フレーム落ち推定器４８は、連続非ドロップフレーム間の時間間隔を求めることができ、したがって、グループフレーム落ちの長さ、すなわち映像シーケンス内の連続ドロップフレームの数を求めることができる。代替として、フレーム落ち推定器４８は、特定のフレームが繰り返される回数を数えてもよい。
【００５７】
グループフレーム落ちの長さに基づき、フレーム落ち推定器４８は、フレーム落ち重大度値ｓｍ，ｎを生成する。フレーム落ち重大度値は、単一のフレーム落ちグループのグループフレーム落ちの長さ、または複数のフレーム落ちグループのグループフレーム落ちの長さの関数とすることができる。
【００５８】
ショット境界識別器５０は、フレーム遷移がショット境界、すなわちある場面から別の場面への変化を表わすものであるかどうか判定する。例えば、ショット境界識別器５０は、受け取った映像ビットストリーム内のモード決定情報を分析してあるショットから別のショットへの遷移を識別する。詳細には、ショット境界識別器５０は、入力映像ビットストリームを分析してインター（ＰまたはＢ）符号化からイントラ（Ｉ）符号化への変化を識別する。
【００５９】
あるショットの風景が変化するとき、結果として生じる内容の変化は、通常、このショット内の少なくとも第１のフレームのより多くのイントラ符号化を必要とし、残りのフレームは、イントラ符号化される傾向がある。それでもなお、イントラ符号化マクロブロックの量はイントラフレームよりも少ない。したがって、ショット境界識別器５０は、上限と下限の閾値を用いてイントラ符号化マクロブロックの量を閾値処理することにより、ショット境界を識別する。例えば、イントラ符号化マクロブロックの量が所与の閾値を上回る場合、こられのマクロブロックを含むフレームは、ショット境界上にあるものとして識別される。
【００６０】
図４の例では、ショット境界識別器５０は境界識別をフレーム落ち推定器４８および決定モードユニット５４に提供する。フレーム落ち推定器４８は、ショット境界識別器５０からのショット境界識別を使って各ショット内のフレーム落ち重大度を推定する。映像シーケンスは複数のショットを有し得る。ジャーキネスを推定する間には、各ショットのフレーム落ち重大度を別々の追跡することが重要である。というのは、通常は場面が異なれば異なるジャーキネスの影響がもたらされるからである。したがって、ショットからショットへとフレーム落ちの長さを繰り越すと誤解を生じることになる。フレーム落ち推定器４８は、新しいショットが識別されると、グループフレーム落ちの長さをリセットする。
【００６１】
したがって、複数のショットを有するシーケンスについてはフレーム落ち重大度の複数のグループが推定され得る。さらに、以下で詳細に説明するように、単一のショット内で複数のグループフレーム落ちの長さが推定され得る。詳細には、単一のショットに連続ドロップフレームの複数の範囲があり得る。加えて、多数の連続フレームの抜けは、少数の連続フレームの抜けや、ショット全体に及ぶ非連続的な単一フレームの抜けよりもユーザの目を引きやすい。
【００６２】
動き活性度推定器５２は、受け取った映像ビットストリーム内の各フレームから動きベクトルを受け取る。一般に、動きベクトルは、あるフレーム内の映像ブロックから別のフレーム内の実質的に類似の、または同一の映像ブロックを指し示し、動きの指示を提供する。動き活性度推定器５２は、所与のフレーム内の全般的動き活性度を、このフレーム内の動きベクトルの平均の大きさに基づいて決定する。動き活性度推定器５２からの推定した動き活性度を使って、モデル選択ユニット５４は、選択器５６を介して低動きモデルモデル５８、中動きモデル６０および高動きモデル６２のうちの１つにフレーム落ち重大度値ｓｍ，ｎを適用する。詳細には、選択された動きモデルは、フレーム落ち推定器４８が生成したフレーム落ち重大度値ｓｍ，ｎを動きモデルマッピング５８、６０、６２にマップする。選択されたモデル５８、６０、６２の出力は、フレーム率に基づくフレーム落ち重大度ｓ’ｍ，ｎの推定である。
【００６３】
名前で示すように、低動きモデルモデル５８、中動きモデル６０および高動きモデル６２は、それぞれ、動き活性度推定器５２が、フレーム内の運動が低い、中程度、または高いと推定したときに適用される。図４の例には３つの異なる動きモデルが示されているが、動き活性のレベルをさらに増やすために動きモデルを追加してもよい。各モデル５８、６０、６２は、それぞれのフレーム落ち重大度値のマッピングｓｍ，ｎを動きマップフレーム落ち重大度値ｓ’ｍ，ｎに適用する。このように、時間的品質メトリックは、連続ドロップフレーム数だけでなく動き活性度も利用する。
【００６４】
また、モデル選択ユニット５４は、ショット境界識別器５０の出力も受け取る。ショット境界を追跡することにより、モデル選択ユニット５４は、所与のフレーム内の高い動き活性度を、ショット間の場面変化による見せかけの高い動き活性度と区別することができる。類似の内容を有する映像フレームは、通常、類似の動き活性度を有する。ジャーキネスを正確に推定するためには、「正しい」動き活性度を推定する必要がある。モデル選択ユニット５４は、ショット境界識別器５０からのショット境界指示を使って場面変化によって生じる動き活性度を除去し、またはこれに適切に重み付けする。
【００６５】
図５は、図４の時間的品質メトリックユニットの動作をより詳細に示す流れ図である。図５に示すように、フレーム落ち推定器４８、ショット境界識別器５０および動き活性度推定器５２が映像シーケンスを受け取る（６８）。映像シーケンスは、図４に示すように映像ビットストリームとすることもでき、映像シーケンスの復号から生じる映像画素とすることもできる。フレーム落ち推定器４８が映像シーケンス内のビットストリームからタイムスタンプを抽出する。タイムスタンプの差に基づき、フレーム落ち推定器４８が連続ドロップフレーム数を推定し（７０）、フレーム落ち重大度値ｓｍ，ｎを出力する。ショット境界識別器５０が映像フレームの類似度および／または符号化モードの変化、すなわち、イントラかインターかを分析してショット境界を求める（７２）。
【００６６】
動き活性度推定器５２が動き活性度を推定する（７４）。とりわけ、動き活性度推定器５２は、映像シーケンスからの動きベクトルを分析して、動きモデル５８、６０、６２のうちの１つを選択するために動き活性度を推定する（７４）。モデル選択ユニット５４が、ショット境界識別器５０から識別したショット境界の指示を受け取って、動き活性度推定器５２の動き活性度出力を補償する（７５）。とりわけ、モデル選択ユニット５４は、定常状態のフレーム内容から生じる実際の高い動き活性度を、ショット境界と関連付けられる場面変化から生じる見かけの高い動き活性度から区別する。しかし、前述のように、ショット境界識別は、フレームからフレームへのショット変化が大きな動きとして誤解されないように動き活性度を補償するのに使用される。補償した動き活性度を使って、モデル選択ユニット５４が動きモデル５８、６０、６２（すなわち低、中、高）のうちの１つを選択する（７６）。
【００６７】
選択された動きモデル５８、６０、６２は、フレーム落ちの長さを動きマップフレーム落ち重大度ｓ’ｍ，ｎにマップする。動きマップフレームマッピング長ｓ’ｍ，ｎが時間的融合ユニット６４と時間的品質変動（ＴＱＦ）ユニット６６に受け取られる。ＴＱＦユニット６６が、受け取った動きマップフレームマッピング長ｓ’ｍ，ｎにＴＱＦ関数を適用して（７８）、人間の閲覧者によって知覚されるような、連続フレーム間の時間的品質変動の量を表すＴＱＦ重みｗｍ，ｎを生成する。ＴＱＦ重みｗｍ，ｎと動きマップフレーム落ち重大度値ｓ’ｍ，ｎとを使用し、時間的融合ユニット６４は、時間的融合を適用し（８０）、これの出力としてジャーキネス（ＪＮＪ）メトリックを生成する（８２）。ＪＮＪメトリックは、符号化、復号または他の映像処理の分析またはフィードバック制御に使用され得る。
【００６８】
図６は、時間的品質メトリックユニットが使用するための動き活性度とフレーム落ち重大度ｓｍ，ｎの関数として構築された動きモデル（ＭＭ）を示す３次元グラフである。図６に示すように、このグラフでは、動きマップフレーム落ち重大度値ｓ’ｍ，ｎに対して、動き活性度対フレーム落ち重大度ｓｍ，ｎがマップされている。図４の例では、説明のために３つの別々のマッピングモデル５８、６０、６２を示している。しかし、決まった数のマッピングモデルの使用は任意選択であり、設計考慮事項に従って変更することができる。したがって、図６に示す動きマッピングは、実際には、利用できる計算処理能力、メモリおよび他の設計考慮事項に応じて、比較的多数の、または少数の動きマッピングモデルで表されてもよい。
【００６９】
図６のグラフには、動き活性度ｍａｍ，ｎとフレーム落ち重大度値ｓｍ，ｎの組み合わせによってフレーム落ち重大度値ｓｍ，ｎのスケーリングがもたらされ、動きマップフレーム落ち重大度値ｓ’ｍ，ｎが生成されることが示されている。一般に、高い動き活性度値ｍａｍ，ｎでは、動きマップフレーム落ち重大度値ｓ’ｍ，ｎは、フレーム落ち重大度値ｓｍ，ｎを追う傾向にある。より小さい動き活性度値ｍａｍ，ｎでは、動きマップフレーム落ち重大度値ｓ’ｍ，ｎは、フレーム落ち重大度値ｓｍ，ｎが高くない限り、フレーム落ち重大度値ｓｍ，ｎに比例して減少する。以下で、動きマップフレーム落ち重大度値ｓ’ｍ，ｎをもたらす関数を詳細に説明する。
【００７０】
図７は、時間的品質メトリックユニット３２と共に動作する時間的品質変動（ＴＱＦ）ユニット６６の構成要素例を示すブロック図である。図７に示すように、ＴＱＦユニット６６の機能構成要素は、動きマップフレーム落ち重大度値ｓ’ｍ，ｎを受け取る時間的変動推定器８４と、ＬＵＴベースの正規化ユニット８６と、パラメータｋを適用してＴＱＦ出力ｗ’ｍ，ｎを生成するＴＱＦ関数ユニット８８として表わされる。
【００７１】
時間的変動推定器８４は一連のフレーム落ち重大度値にわたる時間的変動を計算し、時間的変動推定値ｔｆｍ，ｎを生成する。ＬＵＴベースの正規化ユニ８６は一連のドロップフレームにわたる適用可能なフレーム率の上限（ＵＢ）と下限（ＬＢ）とに基づいて時間的変動推定値ｔｆｍ，ｎを正規化し、正規化された時間的変動推定値ｔｆ’ｍ，ｎを生成する。ＴＱＦ関数ユニット８８はＴＱＦ関数を適用して、局所的時間的活性度を、時間的品質と関連付けられたＴＱＦ出力重みｗ’ ｍ，ｎにマップする。
【００７２】
図８は図７のＴＱＦユニット８８によって実施される例示的ＴＱＦ関数の応答を示すグラフである。図８のグラフは、横軸上の時間的変動に対する縦軸上のＴＱＦ出力重みｗ’ｍ，ｎを表しており、異なるフレーム率に対応する３つの曲線９０、９２、９４を含んでいる。図８の例において、毎秒２０から３０フレームのフレーム率では、ＴＱＦ関数ユニット８８は曲線９０を使って時間的変動をＴＱＦ出力ｗ’ｍ，ｎにマップする。毎秒１４から１９フレームのフレーム率では、ＴＱＦ関数ユニット８８は曲線９２を使用する。毎秒１から１３フレームのフレーム率では、ＴＱＦ関数ユニット８８は曲線９４を使用する。
【００７３】
高いフレーム率では、ＴＱＦ関数は一般にＴＱＦ出力重みを低減する。というのは、高いフレーム率は時間的不連続性の知覚を軽減する傾向があるからである。中程度のフレーム率では、曲線９２は、時間的変動推定器８４によって生成される推定時間変動の範囲にわたってより高いＴＱＦ出力重みｗ’ｍ，ｎを生じる。曲線９４によれば、非常に低い時間変動ではＴＱＦ出力重みｗ’ｍ，ｎはさらにいっそう高く、人間の閲覧者による実質的な時間的品質変動の知覚を引き起こす可能性が非常に高い。時間的融合ユニット６４は、ＴＱＦ出力重みｗ’ｍ，ｎを適用してＪＮＪメトリック出力を生成する。
【００７４】
図９は、フレームグループ落ち重大度ｓｍ，ｎ、動き活性度ｍａｍ，ｎおよび時間的品質変動ｗｍ，ｎに基づく時間的品質メトリックの推定を示す図である。図９の図では、ＪＮＪメトリックユニット３２が映像シーケンス内の複数の映像フレームを受け取る。高い縦線９６はショット境界と一致する映像フレームを表し、中程度の高さの縦線９８は複製ではなく元の内容を示す通常の映像フレームを表す。短い縦線１００はドロップ映像フレームを表す。ドロップ映像フレームは、フレーム落ちの前に受け取られたフレームからの複製内容で置き換えられる。この結果、ドロップ映像フレームは通常、前の複製フレームと同じタイムスタンプを持つことになり、したがってフレーム落ちが判明する。
【００７５】
複製フレームの数、すなわちフレームグループ落ちの長さは、例えば、連続して受け取られる複製フレームの数、すなわち、フレーム落ちの前に受け取られるフレームと、次に異なるタイムスタンプと共に受け取られるフレームの間のタイムスタンプの差などによって求めることができる。図９の例では、フレーム落ち推定は、ショットごとのドロップフレームのインスタンスと、１ショット内での発生を追跡する。とりわけ、フレーム落ち重大度値ｓｍ，ｎはショットを識別する指数ｍとこのショット内の該当するフレーム落ちグループの順番を識別する指数ｎとを保持する。したがって、フレーム落ち重大度値ｓ１１は第１のショットＳｈｏｔ１のフレーム落ちの第１のインスタンスを指す。同様に、フレーム落ち重大度値ｓ１２、ｓ１３およびｓ１４は、それぞれ、第１のショットＳｈｏｔ１内のフレーム落ちの第２、第３および第４のインスタンスを指す。第２のショットＳｈｏｔ２はフレーム落ちのただ１つの発生ｓ２１を含む。
【００７６】
各フレーム落ち重大度値ｓｍ，ｎは、ドロップフレームと関連付けられるタイムスタンプ間の差の関数である値を有する。一実施形態では、例えば、フレーム落ち重大度値ｓｍ，ｎは以下のように表わされる。
【数１０】
【００７７】
式中、ｍは各ショットの指数であり、ｎはグループフレーム落ちの指数であり、Ｔは各フレーム間の時間間隔であり、ｔｍ，ｎ−１は落ちたフレームグループの後に続くフレームと関連付けられるタイムスタンプであり、ｔｍ，ｎは落ちたフレームグループの前のフレームと関連付けられるタイムスタンプである。動作に際して、フレーム落ち推定器４８（図４）は、式（１）を適用して映像シーケンスの推定フレーム落ち重大度値ｓを算出する。
【００７８】
タイムスタンプｔｍ，ｎ＋１からタイムスタンプｔｍ，ｎを差し引けば、１フレーム当たりの時間間隔Ｔで割ったときに、１グループとして落ちたフレームの数、すなわち評価対象の個々のフレーム落ちグループのグループフレーム落ちの長さを指示する差の値が生じる。この差の値から値１を差し引き、この結果をＲ−１で割ると正規化フレーム落ち重大度値ｓｍ，ｎがもたらされる。値Ｒ−１は、適用可能な最大フレーム率から１フレーム引いたものに等しく、異なるフレーム率にまたがるフレーム落ち重大度値を正規化するのに使用される。例えばフレーム率が３０である場合、値Ｒ−１は２９であり、上記の式（１）は以下のようになる。
【数１１】
【００７９】
個々のショットｍのフレーム落ち重大度値ｓを計算するために、式（１）に従って、このショット内のすべてのフレーム落ちグループのグループフレーム落ちの長さを計算し、それらを合計してこのショットの全般的重大度値を求めることができる。さらに、映像シーケンス全体のフレーム落ち重大度値ｓを計算するために、このシーケンス内のショットごとのフレーム落ち重大度値を合計することができる。
【００８０】
動きマッピングについて、動き活性度推定器５２（図４）は、映像シーケンス内の各フレームの動きベクトルを受け取り、ｍをショット指数とし、ｍをグループフレーム落ち指数とする動き活性度値ｍａｍ，ｎを生成する。モデル選択ユニット５４（図４）は、動きマッピングを適用して連続した動きマップフレーム落ち重大度値ｓ’ｍ，ｎを生成するための個々のモデル５８、６０、６２を選択する。例えば図９に示すように、選択された動きモデル５８、６０、６２は、Ｓｈｏｔ１からのフレーム落ち重大度値ｓ１１、ｓ１２、ｓ１３、ｓ１４を動きマップフレーム落ち重大度値ｓ’１１、ｓ’１２、ｓ’１３、ｓ’１４にマップし、Ｓｈｏｔ２からのフレーム落ち重大度値ｓ２１を動きマップフレーム落ち重大度値ｓ’２１にマップする。
【００８１】
選択された動きモデルは、式、
ｓ’ｍ，ｎ＝ＭＭ（ｓｍ，ｎ，ｍａｍ） （３）
を使って、フレーム落ち重大度値ｓｍ，ｎをフレーム落ち重大度値ｓ’ｍ，ｎにマップする。式中、ＭＭは図４の動きモデル５８、６０、６２といった既定の動きモデルの集合であり、ｍａはｔｍ，ｎ−１とｔｍ，ｎの間の動き活性度であり、１〜１０で正規化される。例示的実施形態では、式（３）を以下のように構成してもよい。
【数１２】
【００８２】
式中、
ｍａｍ，ｎ≧ｔｈのとき、γ＝１であり、
ｍａｍ，ｎ≦ｔｈのとき、γ＝０であり、
ｔｈは動き活性度閾値である。
【００８３】
選択された動きモデル５８、６０、６２の出力は動きマップフレーム落ち重大度値ｓ’ｍ，ｎであり、この値は時間的融合ユニット６４とＴＱＦユニット６６とに提供される。
【００８４】
ＴＱＦ関数ユニット６６は選択された動きモデル５８、６０、６２によって提供されるフレーム落ち重大度値ｓ’ｍ，ｎに基づいてＴＱＦ重みを生成する。ＴＱＦ重みは、映像シーケンス内の各フレーム間の時間的品質変動を表し、以下の式に従って計算される。
【数１３】
【００８５】
式中、ＩはＴＱＦ関数ユニット６６が映像シーケンス内の一連のフレームにわたり遡って調べるために使用するウィンドウのサイズであり、ＴＱＦは局所的時間的活性度をＴＱＦ重みにマップする関数であり、値κは人間視覚反応の感度を大まかにたどる正規化値である。ウィンドウのサイズＩは、固定でも可変でもよく、ＴＱＦを推定するために評価すべきフレームの数を指定する。ＴＱＦ関数ユニット６６は、各フレーム落ちグループごとに計算される動きマップフレーム落ち重大度値ｓｍ，ｎのＴＱＦ重みｗｍ，ｎを生成する。図９の例では、ＴＱＦ関数ユニット６６は、Ｓｈｏｔ１の動きマップフレーム落ち重大度値ｓ’１１、ｓ’１２、ｓ’１３およびｓ’１４にＴＱＦ重みｗ１１、ｗ１２、ｗ１３およびｗ１４を生成し、Ｓｈｏｔ２の動きマップフレーム落ち重大度値ｓ’２１に重みｗ２１を生成する。
【００８６】
時間的融合ユニット６４は、動きマップフレーム落ち重大度値ｓ’ｍ，ｎと対応するＴＱＦ重みｗｍ，ｎを受け取り、ジャーキネス報告を生成する。例えば、時間的融合ユニット６４は、時間的メトリック関数を以下のように適用する。
【数１４】
【００８７】
式中、
Ｎ∈フレーム落ちグループの番号であり、
Ｍ∈ショットの番号である。
【００８８】
上記式（６）で表わすように、時間的融合ユニット６４は、すべてのショットにわたる各ＴＱＦ重みｗｍ，ｎと各動きマップフレーム落ち重大度値の積を合計して映像シーケンス全体のＪＮＪメトリックを生成する。
【００８９】
以下でＴＱＦ関数ユニット６６の例示的動作についてより詳細に説明する。前述のように、ＴＱＦ関数ユニット６６は式（５）に従ってＴＱＦ重みを算出する。以下に再度式（５）を示す。
【数１５】
【００９０】
図７を参照すると、時間的変動推定ユニット８４、ＬＵＴベースの正規化ユニ８６およびＴＱＦ関数８８は、動きマップフレーム落ち重大度値ｓ’ｍ，ｎに基づいてＴＱＦ重みｗｍ，ｎを生成する。より詳細には、時間的変動推定ユニット８４は、推定される時間的変動を以下のように計算する。
【数１６】
【００９１】
ｔｆｍ，ｎが計算されると、正規化ユニット８６はこの値を以下の式に従って正規化する。
【数１７】
【００９２】
式中、ＵＢは適用可能なフレーム率の上限を表し、ＬＢは適用可能なフレーム率の下限を表す。
【００９３】
ＴＱＦ関数ユニット８８は、正規化ユニット８６からのｔｆｍ，ｎの結果と値Ψとを使って、ＴＱＦ重みを以下のように算出する。
【数１８】
【００９４】
式中、
２０≦フレーム率≦３０のときΨ＝５であり、
１９≦フレーム率≦１４の間Ψ＝１０であり、
１≦フレーム率≦１４の間Ψ＝１４である。
【００９５】
以下の表１に、式（９）における所与のｔｆおよびフレーム率での選択される値κを示す。一般には、表１に示すように、κの値はｔｆの値がより低くフレーム率がより高いほど高くなり、フレーム率が低くｔｆの値がより低いほど低くなるように選択される。
【表１】
【００９６】
表１
フレーム率とｔｆの関数としてのκの値
フレーム率
主観的実験において、同じフレーム率の下で、グループフレーム落ちの異なる組み合わせを有するいくつかの事例を生成した。主観的影響は、グループフレーム落ちの長さの違いに大きく影響される。実験では、動き活性度の範囲を表わすのに３つの標準的映像試験シーケンス（コンテナ、公道、ラグビー）を選択した。各シーケンスをダウンサンプリングして異なるフレーム率、すなわち、２７フレーム／秒（ｆｐｓ）、１５ｆｐｓ、１０ｆｐｓとした。加えて、フレーム率ごとに、グループフレーム落ちの異なる組み合わせを有するいくつかの下位事例も生成した。この実験は、５人の専門家と１０人の非専門家による閲覧者を含む１５人のボランティア閲覧者によって行われた。
【００９７】
以下の表２に、フレーム率２３ｆｐｓで、各閲覧者から得た主観的スコアと、本開示で述べるＪＮＪメトリックを使って得たＪＮＪ出力とを示す。表３と表４には、それぞれ、異なるフレーム率、すなわち１５ｆｐｓおよび１０ｆｐｓと、異なるグループフレーム落ちシナリオでの主観的スコアとＪＮＪメトリック出力を示す。主観的スコアは０〜１の範囲内になるように正規化されており、値が高いほどジャーキネスが大きく、値が低いほどジャーキネスが少ないことを示す。ＪＮＪメトリックも同様に正規化した。
【表２】
【表３】
【表４】
【００９８】
表２〜４において、左端の列にはフレーム落ちの様々な下位事例を、ａ＊ｂまたはａ＋ｂの形で示しており、グループフレーム落ちの長さをａで表わし、映像クリップ内のフレーム落ちグループ総数をｂで表わしている。例えば、１＊７は、１グループに１つのドロップフレームを有する７グループがあることを意味する。より詳細には、１秒の等間隔を有する７つの間隔にわたって一度に１フレームが落ちている。同様に、２＊１０は、１グループ当たり２つのドロップフレームを有する１０グループがあることを意味する。
【００９９】
代替として、ａとｂ両方で２つの異なるグループのグループフレーム落ちの長さを表わすものある。例えば、３＋４は、２つのフレーム落ちグループがあり、これらのグループの一方は３つのドロップフレームを有し、他方のグループは４つのドロップフレームを有することを意味する。同様に、７＋８は、それぞれ、１秒につき７個と８個のドロップフレームのある２つのグループがあることを意味する。表２に示すようにフレーム落ち事例が７である場合には、７ドロップフレームの長さのただ１つのフレーム落ちグループがある。
【０１００】
表２〜４の実験結果から、たとえ同じフレーム率であっても、異なるフレーム落ち下位事例では主観的ジャーキネススコアが大きく異なることが明らかである。主観的ジャーキネススコアは、フレーム落ち下位事例によって大きく変動する。というのは、閲覧者にとって急な品質変動は非常に煩わしいからである。この証明は、フレーム率によってジャーキネスを推定するのでは不十分であることを示している。フレーム率が減少するにつれて、ドロップフレームの総数が知覚されるジャーキネスを左右するようになるため、品質変動の影響も次第に減少する。
【０１０１】
表２〜４に示すＪＮＪ出力から、ＪＮＪメトリックが主観的スコアと非常に強い相関性を有することは明らかである。したがって、本開示で述べるＪＮＪメトリックは、時間的品質および時間的品質変動の主観的評価に代わるものとして十分に使用することができる。
【０１０２】
フレーム率または動き活性度だけに基づいてジャーキネスを推定するのではなく、開示の時間的品質測定法は、基本推定単位として、連続ドロップフレーム数、すなわちグループフレーム落ちの長さを使用する。２つの異なる入力モードを用いれば、本開示で述べる技法は、可用性に応じてビットストリームでも画素情報でも処理することができる。グループフレーム落ちの長さを使えば、ジャーキネスのより多くの属性を取り込むことができる。局所的品質活性度の分析を加えれば、開示の時間的品質メトリックは、視覚的時間的品質全般を評価する際に非常に重要となり得る品質変動に対する人間の感受性をうまく取り込むことができる。主観的観察との比較結果は、開示のＪＮＪメトリックが、時間的品質に対する人間視覚反応と強く相関することを示している。また、ジャーキネス感度は、動き活性度の度合いに応じて調整することもできる。
【０１０３】
本開示で述べる技法は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせとして実施され得る。例えば、これらの技法の様々な態様を、１つまたは複数のマイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の任意の同等の集積またはディスクリートの論理回路、ならびにかかる構成部品の任意の組み合わせにおいて実施してもよい。「プロセッサ（processor）」または「処理回路（processing circuitry）」という用語は、一般に、単独の、または他の論理回路と組み合わさった前述の論理回路のいずれか、あるいは他の任意の同等の回路を指す。実施形態によっては、本明細書で述べる機能が、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアユニット内で提供されてもよく、映像符号器／復号器の組み合わさったもの（ＣＯＤＥＣ）の内部に組み込まれていてもよい。
【０１０４】
ソフトウェアとして実施するとき、各技法の一部は、プロセッサによって実行されると、前述の各機能の１つまたは複数を実行するプログラムコードまたは命令を備えるコンピュータ可読媒体によって実現されてもよい。かかるプログラムコードまたは命令を格納するコンピュータ可読媒体には、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的消去書込み可能ＲＯＭ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気または光学的データ記憶媒体、あるいはかかるメモリまたは記憶媒体の任意の組み合わせが含まれる。
【０１０５】
本明細書では様々な実施形態を説明している。これらの実施形態およびこれら以外の実施形態は、添付の特許請求の範囲に含まれるものである。
【図面の簡単な説明】
【０１０６】
【図１】本開示によるジャスト・ノーティサブル・ジャーキネス（ＪＮＪ）メトリックユニットを備える映像符号化／復号システムを示すブロック図である。
【図２】図１のＪＮＪメトリックユニットの動作を示すブロック図である。
【図３】図２のＪＮＪメトリックユニットの動作を示す流れ図である。
【図４】図２のＪＮＪメトリックユニットの構成要素例を示すブロック図である。
【図５】図４のＪＮＪメトリックユニットの動作を詳細に示す流れ図である。
【図６】ＪＮＪメトリックユニットで使用するための、動き活性度とフレーム落ちの重大度の関数として構築された動きモデルを示す３次元グラフである。
【図７】ＪＮＪメトリックユニットと共に動作する時間的品質変動（ＴＱＦ）ユニットの構成要素例を示すブロック図である。
【図８】図７のＴＱＦユニットによって実施される例示的ＴＱＦ関数の応答を示すグラフである。
【図９】フレームグループ落ちの長さ、動き活性度および時間的品質変動に基づくＪＮＪメトリックの推定を示す図である。
【特許請求の範囲】
【請求項１】
映像シーケンス内のドロップ映像フレーム数と前記映像シーケンス内の時間的品質変動とに基づいて前記映像シーケンスの時間的品質メトリックを生成することを備える方法。
【請求項２】
前記映像シーケンス内の動き活性に基づいて前記時間的品質メトリックを生成することをさらに備える請求項１に記載の方法。
【請求項３】
前記映像シーケンスを表すビットストリームまたは画素情報の１つの前記時間的品質メトリックを生成することをさらに備える請求項１に記載の方法。
【請求項４】
前記時間的品質メトリックを生成することは、
前記映像シーケンス内の前記連続ドロップ映像フレーム数を推定してフレーム落ち重大度値を生成することと、
前記映像シーケンス内の動き活性度を推定することと、
前記動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップすることと、
前記動き補償フレーム落ち重大度値に基づいて前記時間的品質メトリックを生成することと、
を含む請求項１に記載の方法。
【請求項５】
前記映像シーケンス内の異なるショット間の境界を識別することと、
前記識別されたショット境界識別に応答して前記推定された動き活性度を補償することと、
をさらに備える請求項４に記載の方法。
【請求項６】
前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成することと、
前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成することと、
をさらに備える請求項４に記載の方法。
【請求項７】
前記映像シーケンスの所与のフレーム率における時間的品質変動に対する人間の反応に対応する正規化値に基づいて前記時間的品質変動値を生成することをさらに備える請求項６に記載の方法。
【請求項８】
前記時間的品質メトリックを生成することは、
前記映像シーケンス内の連続ドロップ映像フレームのグループの数を推定してフレーム落ち重大度値を生成することと、
前記映像シーケンス内の動き活性度を推定することと、
前記映像シーケンス内の異なるショット間の境界を識別することと、
前記識別されたショット境界識別に応答して前記推定された動き活性度を補償することと、
前記補償された動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップすることと、
前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成することと、
ＪＮＪで時間的品質を表し、Ｎで前記グループの数を表し、Ｍで前記ショットの数を表し、ｓ’ｍ，ｎで前記マップされたフレーム落ち重大度値を表し、ｗｍ，ｎで時間的品質変動の度合いを表す式、
【数１】
に従い、前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成することと、
を含む請求項１に記載の方法。
【請求項９】
ＴＱＦを、時間的品質変動を表す関数とし、値κを前記映像シーケンスのフレーム率に従って変動する値とする式、
【数２】
に従って前記ｗｍ，ｎの値を計算することをさらに備える請求項８に記載の方法。
【請求項１０】
ｔｆ’ｍ，ｎを正規化された時間的変動推定値とし、値κを前記映像シーケンスのフレーム率および前記関連するｔｆ’ｍ，ｎに従って変動する値とし、Ψをフレーム率によって変動させる式、
【数３】
に従って前記ｗｍ，ｎの値を計算することをさらに備える請求項８に記載の方法。
【請求項１１】
２０≦フレーム率≦３０のときΨ＝５であり、
１９≦フレーム率≦１４の間Ψ＝１０であり、
１≦フレーム率≦１４の間Ψ＝１４である
請求項１０に記載の方法。
【請求項１２】
映像シーケンス内の連続ドロップ映像フレーム数と前記映像シーケンス内の時間的品質変動とに基づいて前記映像シーケンスの時間的品質メトリックを生成するプロセッサを備える装置。
【請求項１３】
前記プロセッサは、前記映像シーケンス内の動き活性度に基づいて前記時間的品質メトリックを生成する請求項１２に記載の装置。
【請求項１４】
前記プロセッサは、前記映像シーケンスを表すビットストリームまたは画素情報の１つの前記時間的品質メトリックを生成する請求項１４に記載の装置。
【請求項１５】
前記プロセッサは、
前記映像シーケンス内の前記連続ドロップ映像フレーム数を推定してフレーム落ち重大度値を生成し、
前記映像シーケンス内の動き活性度を推定し、
前記動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップし、
前記動き補償フレーム落ち重大度値に基づいて前記時間的品質メトリックを生成する
請求項１２に記載の装置。
【請求項１６】
前記プロセッサは、前記映像シーケンス内の異なるショット間の境界を識別し、前記識別されたショット境界識別に応答して前記推定された動き活性度を補償する請求項１５に記載の装置。
【請求項１７】
前記プロセッサは、前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成し、前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成する請求項１５に記載の装置。
【請求項１８】
前記プロセッサは、前記映像シーケンスの所与のフレーム率における時間的品質変動に対する人間の反応に対応する正規化値に基づいて前記時間的品質変動値を生成する請求項１７に記載の装置。
【請求項１９】
前記プロセッサは、
前記映像シーケンス内の連続ドロップ映像フレームのグループの数を推定してフレーム落ち重大度値を生成し、
前記映像シーケンス内の動き活性度を推定し、
前記映像シーケンス内の異なるショット間の境界を識別し、
前記識別されたショット境界識別に応答して前記推定された動き活性度を補償し、
前記補償された動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップし、
前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成し、
ＪＮＪで時間的品質を表し、Ｎで前記グループの数を表し、Ｍで前記ショットの数を表し、ｓ’ｍ，ｎで前記マップされたフレーム落ち重大度値を表し、ｗｍ，ｎで時間的品質変動の度合いを表す式、
【数４】
に従い、前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成する
請求項１２に記載の装置。
【請求項２０】
前記プロセッサは、ＴＱＦを、時間的品質変動を表す関数とし、値κを前記映像シーケンスのフレーム率および前記関連するｔｆ’ｍ，ｎに従って変動する値とする式、
【数５】
に従って前記ｗｍ，ｎの値を計算する請求項１９に記載の装置。
【請求項２１】
前記プロセッサは、ｔｆ’ｍ，ｎを正規化された時間的変動推定値とし、値κを前記映像シーケンスのフレーム率および前記関連するｔｆ’ｍ，ｎに従って変動する値とし、Ψをフレーム率によって変動させる式、
【数６】
に従って前記ｗｍ，ｎの値を計算する請求項１９に記載の装置。
【請求項２２】
プロセッサに、映像シーケンス内の連続ドロップ映像フレーム数と前記映像シーケンス内の時間的品質変動とに基づいて前記映像シーケンスの時間的品質メトリックを生成させる命令を備えるコンピュータ可読媒体。
【請求項２３】
前記プロセッサに、前記映像シーケンス内の動き活性度に基づいて前記時間的品質メトリックを生成させる命令をさらに備える請求項２２に記載のコンピュータ可読媒体。
【請求項２４】
前記プロセッサに、前記映像シーケンスを表すビットストリームまたは画素情報の１つの前記時間的品質メトリックを生成させる命令をさらに備える請求項２２に記載のコンピュータ可読媒体。
【請求項２５】
前記プロセッサに、
前記映像シーケンス内の前記連続ドロップ映像フレーム数を推定させてフレーム落ち重大度値を生成させ、
前記映像シーケンス内の動き活性度を推定させ、
前記動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップさせ、
前記動き補償フレーム落ち重大度値に基づいて前記時間的品質メトリックを生成させる
命令をさらに備える請求項２２に記載のコンピュータ可読媒体。
【請求項２６】
前記プロセッサに、前記映像シーケンス内の異なるショット間の境界を識別させ、前記識別されたショット境界識別に応答して前記推定された動き活性度を補償させる命令をさらに備える請求項２５に記載のコンピュータ可読媒体。
【請求項２７】
前記プロセッサに、前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成させ、前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成させる命令をさらに備える請求項２５に記載のコンピュータ可読媒体。
【請求項２８】
前記プロセッサに、前記映像シーケンスの所与のフレーム率における時間的品質変動に対する人間の反応に対応する正規化値に基づいて前記時間的品質変動値を生成させる命令をさらに備える請求項２７に記載のコンピュータ可読媒体。
【請求項２９】
前記命令は前記プロセッサに、
前記映像シーケンス内の連続ドロップ映像フレームのグループの数を推定させてフレーム落ち重大度値を生成させ、
前記映像シーケンス内の動き活性度を推定させ、
前記映像シーケンス内の異なるショット間の境界を識別させ、
前記識別されたショット境界識別に応答して前記推定された動き活性度を補償させ、
前記補償された動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップさせ、
前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成させ、
ＪＮＪで時間的品質を表し、Ｎで前記グループの数を表し、Ｍで前記ショットの数を表し、ｓ’ｍ，ｎで前記マップされたフレーム落ち重大度値を表し、ｗｍ，ｎで時間的品質変動の度合いを表す式、
【数７】
に従い、前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成させる
請求項２２に記載のコンピュータ可読媒体。
【請求項３０】
前記命令は前記プロセッサに、ＴＱＦを時間的品質変動を表す関数とし、値κを前記映像シーケンスのフレーム率に従って変動する値とする式、
【数８】
に従って前記ｗｍ，ｎの値を計算させる請求項２９に記載のコンピュータ可読媒体。
【請求項３１】
前記命令は前記プロセッサに、ｔｆ’ｍ，ｎを正規化された時間的変動推定値とし、値κを前記映像シーケンスのフレーム率および前記関連するｔｆ’ｍ，ｎに従って変動する値とし、Ψをフレーム率によって変動させる式、
【数９】
に従って前記ｗｍ，ｎの値を計算させる請求項２９に記載のコンピュータ可読媒体。
【請求項３２】
２０≦フレーム率≦３０のときΨ＝５であり、
１９≦フレーム率≦１４の間Ψ＝１０であり、
１≦フレーム率≦１４の間Ψ＝１４である
請求項３１に記載のコンピュータ可読媒体。
【請求項１】
映像シーケンス内のドロップ映像フレーム数と前記映像シーケンス内の時間的品質変動とに基づいて前記映像シーケンスの時間的品質メトリックを生成することを備える方法。
【請求項２】
前記映像シーケンス内の動き活性に基づいて前記時間的品質メトリックを生成することをさらに備える請求項１に記載の方法。
【請求項３】
前記映像シーケンスを表すビットストリームまたは画素情報の１つの前記時間的品質メトリックを生成することをさらに備える請求項１に記載の方法。
【請求項４】
前記時間的品質メトリックを生成することは、
前記映像シーケンス内の前記連続ドロップ映像フレーム数を推定してフレーム落ち重大度値を生成することと、
前記映像シーケンス内の動き活性度を推定することと、
前記動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップすることと、
前記動き補償フレーム落ち重大度値に基づいて前記時間的品質メトリックを生成することと、
を含む請求項１に記載の方法。
【請求項５】
前記映像シーケンス内の異なるショット間の境界を識別することと、
前記識別されたショット境界識別に応答して前記推定された動き活性度を補償することと、
をさらに備える請求項４に記載の方法。
【請求項６】
前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成することと、
前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成することと、
をさらに備える請求項４に記載の方法。
【請求項７】
前記映像シーケンスの所与のフレーム率における時間的品質変動に対する人間の反応に対応する正規化値に基づいて前記時間的品質変動値を生成することをさらに備える請求項６に記載の方法。
【請求項８】
前記時間的品質メトリックを生成することは、
前記映像シーケンス内の連続ドロップ映像フレームのグループの数を推定してフレーム落ち重大度値を生成することと、
前記映像シーケンス内の動き活性度を推定することと、
前記映像シーケンス内の異なるショット間の境界を識別することと、
前記識別されたショット境界識別に応答して前記推定された動き活性度を補償することと、
前記補償された動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップすることと、
前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成することと、
ＪＮＪで時間的品質を表し、Ｎで前記グループの数を表し、Ｍで前記ショットの数を表し、ｓ’ｍ，ｎで前記マップされたフレーム落ち重大度値を表し、ｗｍ，ｎで時間的品質変動の度合いを表す式、
【数１】
に従い、前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成することと、
を含む請求項１に記載の方法。
【請求項９】
ＴＱＦを、時間的品質変動を表す関数とし、値κを前記映像シーケンスのフレーム率に従って変動する値とする式、
【数２】
に従って前記ｗｍ，ｎの値を計算することをさらに備える請求項８に記載の方法。
【請求項１０】
ｔｆ’ｍ，ｎを正規化された時間的変動推定値とし、値κを前記映像シーケンスのフレーム率および前記関連するｔｆ’ｍ，ｎに従って変動する値とし、Ψをフレーム率によって変動させる式、
【数３】
に従って前記ｗｍ，ｎの値を計算することをさらに備える請求項８に記載の方法。
【請求項１１】
２０≦フレーム率≦３０のときΨ＝５であり、
１９≦フレーム率≦１４の間Ψ＝１０であり、
１≦フレーム率≦１４の間Ψ＝１４である
請求項１０に記載の方法。
【請求項１２】
映像シーケンス内の連続ドロップ映像フレーム数と前記映像シーケンス内の時間的品質変動とに基づいて前記映像シーケンスの時間的品質メトリックを生成するプロセッサを備える装置。
【請求項１３】
前記プロセッサは、前記映像シーケンス内の動き活性度に基づいて前記時間的品質メトリックを生成する請求項１２に記載の装置。
【請求項１４】
前記プロセッサは、前記映像シーケンスを表すビットストリームまたは画素情報の１つの前記時間的品質メトリックを生成する請求項１４に記載の装置。
【請求項１５】
前記プロセッサは、
前記映像シーケンス内の前記連続ドロップ映像フレーム数を推定してフレーム落ち重大度値を生成し、
前記映像シーケンス内の動き活性度を推定し、
前記動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップし、
前記動き補償フレーム落ち重大度値に基づいて前記時間的品質メトリックを生成する
請求項１２に記載の装置。
【請求項１６】
前記プロセッサは、前記映像シーケンス内の異なるショット間の境界を識別し、前記識別されたショット境界識別に応答して前記推定された動き活性度を補償する請求項１５に記載の装置。
【請求項１７】
前記プロセッサは、前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成し、前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成する請求項１５に記載の装置。
【請求項１８】
前記プロセッサは、前記映像シーケンスの所与のフレーム率における時間的品質変動に対する人間の反応に対応する正規化値に基づいて前記時間的品質変動値を生成する請求項１７に記載の装置。
【請求項１９】
前記プロセッサは、
前記映像シーケンス内の連続ドロップ映像フレームのグループの数を推定してフレーム落ち重大度値を生成し、
前記映像シーケンス内の動き活性度を推定し、
前記映像シーケンス内の異なるショット間の境界を識別し、
前記識別されたショット境界識別に応答して前記推定された動き活性度を補償し、
前記補償された動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップし、
前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成し、
ＪＮＪで時間的品質を表し、Ｎで前記グループの数を表し、Ｍで前記ショットの数を表し、ｓ’ｍ，ｎで前記マップされたフレーム落ち重大度値を表し、ｗｍ，ｎで時間的品質変動の度合いを表す式、
【数４】
に従い、前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成する
請求項１２に記載の装置。
【請求項２０】
前記プロセッサは、ＴＱＦを、時間的品質変動を表す関数とし、値κを前記映像シーケンスのフレーム率および前記関連するｔｆ’ｍ，ｎに従って変動する値とする式、
【数５】
に従って前記ｗｍ，ｎの値を計算する請求項１９に記載の装置。
【請求項２１】
前記プロセッサは、ｔｆ’ｍ，ｎを正規化された時間的変動推定値とし、値κを前記映像シーケンスのフレーム率および前記関連するｔｆ’ｍ，ｎに従って変動する値とし、Ψをフレーム率によって変動させる式、
【数６】
に従って前記ｗｍ，ｎの値を計算する請求項１９に記載の装置。
【請求項２２】
プロセッサに、映像シーケンス内の連続ドロップ映像フレーム数と前記映像シーケンス内の時間的品質変動とに基づいて前記映像シーケンスの時間的品質メトリックを生成させる命令を備えるコンピュータ可読媒体。
【請求項２３】
前記プロセッサに、前記映像シーケンス内の動き活性度に基づいて前記時間的品質メトリックを生成させる命令をさらに備える請求項２２に記載のコンピュータ可読媒体。
【請求項２４】
前記プロセッサに、前記映像シーケンスを表すビットストリームまたは画素情報の１つの前記時間的品質メトリックを生成させる命令をさらに備える請求項２２に記載のコンピュータ可読媒体。
【請求項２５】
前記プロセッサに、
前記映像シーケンス内の前記連続ドロップ映像フレーム数を推定させてフレーム落ち重大度値を生成させ、
前記映像シーケンス内の動き活性度を推定させ、
前記動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップさせ、
前記動き補償フレーム落ち重大度値に基づいて前記時間的品質メトリックを生成させる
命令をさらに備える請求項２２に記載のコンピュータ可読媒体。
【請求項２６】
前記プロセッサに、前記映像シーケンス内の異なるショット間の境界を識別させ、前記識別されたショット境界識別に応答して前記推定された動き活性度を補償させる命令をさらに備える請求項２５に記載のコンピュータ可読媒体。
【請求項２７】
前記プロセッサに、前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成させ、前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成させる命令をさらに備える請求項２５に記載のコンピュータ可読媒体。
【請求項２８】
前記プロセッサに、前記映像シーケンスの所与のフレーム率における時間的品質変動に対する人間の反応に対応する正規化値に基づいて前記時間的品質変動値を生成させる命令をさらに備える請求項２７に記載のコンピュータ可読媒体。
【請求項２９】
前記命令は前記プロセッサに、
前記映像シーケンス内の連続ドロップ映像フレームのグループの数を推定させてフレーム落ち重大度値を生成させ、
前記映像シーケンス内の動き活性度を推定させ、
前記映像シーケンス内の異なるショット間の境界を識別させ、
前記識別されたショット境界識別に応答して前記推定された動き活性度を補償させ、
前記補償された動き活性度に基づいて前記フレーム落ち重大度値を動き補償フレーム落ち重大度値にマップさせ、
前記映像シーケンス内のウィンドウ内の局所的時間的活性度に基づいて時間的品質変動値を生成させ、
ＪＮＪで時間的品質を表し、Ｎで前記グループの数を表し、Ｍで前記ショットの数を表し、ｓ’ｍ，ｎで前記マップされたフレーム落ち重大度値を表し、ｗｍ，ｎで時間的品質変動の度合いを表す式、
【数７】
に従い、前記動き補償フレーム落ち重大度値および前記時間的品質変動値に基づいて前記時間的品質メトリックを生成させる
請求項２２に記載のコンピュータ可読媒体。
【請求項３０】
前記命令は前記プロセッサに、ＴＱＦを時間的品質変動を表す関数とし、値κを前記映像シーケンスのフレーム率に従って変動する値とする式、
【数８】
に従って前記ｗｍ，ｎの値を計算させる請求項２９に記載のコンピュータ可読媒体。
【請求項３１】
前記命令は前記プロセッサに、ｔｆ’ｍ，ｎを正規化された時間的変動推定値とし、値κを前記映像シーケンスのフレーム率および前記関連するｔｆ’ｍ，ｎに従って変動する値とし、Ψをフレーム率によって変動させる式、
【数９】
に従って前記ｗｍ，ｎの値を計算させる請求項２９に記載のコンピュータ可読媒体。
【請求項３２】
２０≦フレーム率≦３０のときΨ＝５であり、
１９≦フレーム率≦１４の間Ψ＝１０であり、
１≦フレーム率≦１４の間Ψ＝１４である
請求項３１に記載のコンピュータ可読媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公表番号】特表２００９−５３３００８（Ｐ２００９−５３３００８Ａ）
【公表日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願番号】特願２００９−５０４４７９（Ｐ２００９−５０４４７９）
【出願日】平成１９年４月５日（２００７．４．５）
【国際出願番号】ＰＣＴ／ＵＳ２００７／０６６０８２
【国際公開番号】ＷＯ２００７／１１８１６０
【国際公開日】平成１９年１０月１８日（２００７．１０．１８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
【公表日】平成２１年９月１０日（２００９．９．１０）
【国際特許分類】
【出願日】平成１９年４月５日（２００７．４．５）
【国際出願番号】ＰＣＴ／ＵＳ２００７／０６６０８２
【国際公開番号】ＷＯ２００７／１１８１６０
【国際公開日】平成１９年１０月１８日（２００７．１０．１８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＥＥＰＲＯＭ
【出願人】（５９５０２０６４３）クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ
【Ｆターム（参考）】
[ Back to top ]