ビデオ位置予測方法
【課題】散乱による注視点フォーカス確率軌跡のビデオ位置を予測する。
【解決手段】テスト・ビデオ入力に基づいて公称測定マップを作成し、テスト・ビデオ入力に基づいて注視点確率マップを作成する。公称測定マップ及び注視点確率マップに基づいて周辺感度確率マップを作成する。公称測定マップ、注視点確率マップ、周辺感度マップ及び散乱制御に基づいて散乱を有する注視点確率マップのフォーカスを作成する。散乱を有する注視点確率マップのフォーカス及び公称測定マップに基づいて注視点重み付け測定マップを供給する。
【解決手段】テスト・ビデオ入力に基づいて公称測定マップを作成し、テスト・ビデオ入力に基づいて注視点確率マップを作成する。公称測定マップ及び注視点確率マップに基づいて周辺感度確率マップを作成する。公称測定マップ、注視点確率マップ、周辺感度マップ及び散乱制御に基づいて散乱を有する注視点確率マップのフォーカスを作成する。散乱を有する注視点確率マップのフォーカス及び公称測定マップに基づいて注視点重み付け測定マップを供給する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、ビデオの試験及び測定に関し、特に、因果視聴者(causal viewer)用の主観的ビデオ品質予測の如きコア・ビデオ画像品質(PQ)測定を改良するビデオ位置予測方法に関する。
【背景技術】
【0002】
MPEG−2及びH.264プロセス・ビデオの如きビデオ圧縮方法は、損失のある圧縮方法を用い、観念的には人間の目が見えないエラーを導入する。圧縮方法の損失により生じる任意の見えるエラーは、それ自体が、一般的に観察者に散乱できる欠陥アーティファクトとして、明瞭になる。さらに、ビデオ・イメージの他の外観は、観察者の注意を引く。これら他の非散乱注視点(attention)の引きつけにより空間及び時間にわたって注視点のフォーカスの確率密度を予測するのに用いるアルゴリズムが開発され、しばしば「注視点モデル」と呼ばれている。用語「散乱(distraction)」は、ここでは、ビデオ欠陥のことを言い、より一般的には、ビデオ内の意図した内容ではなくビデオ基準からの偏差を言う。この偏差は、「散乱」の独特な形式を有する。
【0003】
知覚差予測モデルなどの他のビデオ測定に関係して用いる際に、注視点モデルが今まで開発されてきた。散乱を有するビデオを測定する際、注視点モデルを削除する場合以上の主観的評価の知覚を一般的には改善しない。多くの研究は、散乱が存在しないときに、注視点のフォーカスの確率の予測は非常に良い。また、ビデオ表示がどの程度の視野を占めるかに応じて、人間の周辺視野は、「中心窩」即ち、中心視覚よりも、空間的散乱に対して実質的に敏感ではないことが知られている。よって、視覚ビデオがどの程度劣化しているかを示す知覚できない基本的な断片は、人々が上述の散乱を何時何処で見ているかに応じて決まる。
【0004】
【特許文献1】特開2003−199127号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
そこで、従来技術でのように注視点の観察者のフォーカスを予想するが、散乱による注視点を新たに追加した自動化方法が望まれている。
【課題を解決するための手段】
【0006】
本発明は、散乱による注視点フォーカス確率軌跡のビデオ位置を予測する方法であって;テスト・ビデオ入力に基づいて公称測定マップを作成するステップと;テスト・ビデオ入力に基づいて注視点確率マップを作成するステップと;公称測定マップ及び注視点確率マップに基づいて周辺感度確率マップを作成するステップと;公称測定マップ、注視点確率マップ、周辺感度マップ及び散乱制御に基づいて散乱を有する注視点確率マップのフォーカスを作成するステップと;散乱を有する注視点確率マップのフォーカス及び公称測定マップに基づいて注視点重み付け測定マップを供給するステップとを具えている。
【発明を実施するための最良の形態】
【0007】
本発明の方法は、既存のビデオ測定、特に、品質測定及び主観的品質評価予測に組み込まれる手段、例えば、これらの測定のオーバーモールドも付け手段を具える必要がある。また、散乱性の制御は、人口統計などに反映する特定のアプリケーションにとって重要である。最後に、散乱に応答した注視点の行動を含む方法には、コンピュータにより効率化でき、所定精度の処理が比較的低レベルであることがましい。
【0008】
よって、本発明の種々の実施例は、ビデオ品質評価用の注視点モデルにて散乱を表現するものを発生するメカニズムを含む。このメカニズムを含むことにより、周辺視野にて(ある大きさ以上の対象物の動きのような場合を除く)、低減した知覚感度(しきい値及びしきい値以上の両方)をシミュレーションする。よって、観察すべき散乱の可能性を良好に予測する。散乱として観察されるだろう適度な程度のビデオ・アーティファクトを認識するメカニズムを含んでおり、注視点の散乱の確率の予測において、各アーティファクトの程度を選択的に重み付けできるようにする。別の実施例では、所望のメカニズムに対応する主観的類似物を含んでいる。
【実施例】
【0009】
本発明の実施例を図6に示す。テスト・ビデオ入力620と、テスト・ビデオ620に対応するがテスト・ビデオ入力内に欠陥が存在しないオプションとしての基準ビデオ入力630とに基づいて、ブロック610に示すように、公称ビデオ測定を行い、散乱ソース・マップを作成する。テスト・ビデオ・フレームの例は、図1に示す対応基準ビデオ・フレームと共に、テスト・ビデオ・フレームの例を図2に示す。本発明の一実施例において、テスト・ビデオ入力620と共に基準ビデオ入力630を用いて、完全(フル)基準測定として、公称ビデオ測定を行い、散乱ソース・マップを作成する。別の実施例においては、基準ビデオ入力630を使用しないことを意味する非基準測定として、公称ビデオ測定を行うと共に、散乱ソース・マップを作成する。完全基準又は非基準のいずれかを用いて、本発明の実施例は、主観的、客観的、又は客観的な重み付け主観的な測定のいずれでもよい。主観的測定に適用する実施例においては、2005年12月13日に発行されたケビン・ファーガソンによる米国特許第6975776号「ヒューマン・ビジョン知覚及び知覚差」に開示された手段及び方法論を用いている。客観的測定に適用する実施例においては、PSNR測定を実行する。客観的測定に適用する他の実施例においては、2008年3月28日出願のケビン・ファーガソンによる米国特許出願第12/058474号「ビデオ・コーデック・ブロックにおける細部の損失を測定するシステム及び方法」に記載のように、アーティファクトの検出を行う。さらに他の実施例においては、2006年9月5日に発行されたケビン・ファーガソンによる米国特許第7102667号「知覚できる欠陥の明らかな原因に対するピクチャ品質分析」に開示された客観的重み付け主観的な測定を提供する。注視点で重み付けされておらず、「公称マップ」と呼ぶ公称ビデオ測定マップの例を図3に示す。図4は、「注視点マップ」という注視点確率マップのフォーカスの例を示す。これらは、610に示すように、公称ビデオ測定により提供される出力の例である。
【0010】
テスト・ビデオ入力620を用いて、注視点確率マップのフォーカス640を作成する。非基準測定の場合、テスト・ビデオは、それ自体による入力である。完全基準実施例において、基準ビデオ入力630も提供する。公称ビデオ測定ブロック及び注視点モデルの間の点線は、直接ビデオ入力の代わりの注視点モデルへの入力として用いる中間知覚モデル出力(知覚コントラスト)を含むオプションとしての実施例を示すことに留意されたい。本発明の実施例において、2003年12月30日に発行したウィルフレイド・オスバーガーによる米国特許第6670963号「仮想注視点モデル」に記載のように、注視点確率マップのフォーカスを提供する。
【0011】
散乱ソース・マップ及び公称ビデオ測定610と注視点確率マップのフォーカス640の出力を、散乱性制御(distractibility control)652と共に、散乱を含む注視点予測650に供給する。散乱性制御は、例えば、0及び100%の間の値を出力する。散乱を含む注視点予測650の出力は、公称マップと共に、散乱重み付け測定マップ660を含む注視点への入力として供給される。マップ660は、散乱650を有する注視点予測からの入力マップにより、公称マップをマスクする。この結果は、夫々100%、50%及び10%の散乱性制御設定に対応した図7〜9の例に示すようになる。
【0012】
散乱を含み、測定マップを重み付けした注視点の出力をマップ・フォーマット及びプール・ブロック670に供給する。これは、測定マップと共に、エンド・ユーザに表示するための測定概要データを提供する。ブロック670からの結果出力は、散乱、重み付けした測定マップを含む注視点の表示である。いくつかの実施例では、散乱、重み付けした測定を含む注視点も表示してもよい。
【0013】
散乱を含む注視点予測ブロック650は、ある操作を実行するために2つの他のブロックを提供する。公称マップ及び注視点確率マップに基づいて、周辺感度確率マップ654を作成する。第2ブロック658は、公称マップ、注視点確率マップ、周辺感度マップ、散乱性制御からの入力に基づいて、散乱マップを有する注視点散乱のフォーカスを生成する。散乱ブロックを含む注視点確率内のこれら2つのブロックの動作は、以下に詳述する。
【0014】
本発明の実施例において、返信マップに対する感度を注視点感度マップにより畳み込むことにより、周辺感度確率マップを作成する。返信を有する周辺感度の変化が、マーク・キャノンの研究などに示された実験的データ結果により、視覚科学に示されている。次のように、所定周波数に対して、コントラスト感度しきい値の上昇を図10に示すように近似してもよい(この場合、最大感度に略対応する)。
perifSensRawModel(Eccentricity)=1.165Eccentricity
【0015】
極座標において、2次元に渡るこの感度を表すヒューマン・ビジョン・ポイント・スプレッド関数(PSF)は、偏心を代用するrを伴う円掃引として近似できる。
perifSensModelPSFpolar(Θ,r)=perifSensModel(-r)
ポイント・スプレッド(点広がり)関数は感度上昇の逆数なので、―rをrの代わりに用いる点に留意されたい。最後に、直交座標では次のようになる。
perifSensModelPSF(x,y)=perifSensModel(-√(x2+y2))
【0016】
注視点マップによりポイント・スプレッド関数を畳み込んで、PSFFマップを作成する。このPSFFマップは、注視点マップ確率に応じてイメージ内の注視点誘引(attention attracters)を探す際に、周辺視野によるしきい値上昇の確率の逆数を表す。SPFFマップの各サンプルを0.1%知覚コントラスト(キャノン当たり)の公称(中心窩)しきい値に分割して、上昇しきい値を発生する。
【0017】
この方法は、高レベルの確度を達成する。しかし、これは、幾分計算的には効果である。特定の見える距離において、ポイント・スプレッド関数がどの程度変化するかを評価することにより、より簡単な別の方法により良好な近似ができる。ここでは、平均イメージ偏心による平均周辺感度上昇を用いる。例えば、次のように、見える距離(viewingDist:スクリーンの高さを単位とする)の関数として、最大偏心(MaxEccentricity)レンジを考慮する。
MaxEccentricity(viewingDist, aspecRatio)=tan-1(1/(2*viewingDist*aspectRatio))*180/π
【0018】
図11において、16/9の高分解能テレビジョン表示のアスペクト比(aspectRatio)用に、この関数を見える距離(viewingDist)に対してプロットする。このプロットは、多くの実際のビデオ視聴の場合にPSFのダイナミック・レンジが非常に低いことを示す。平均偏心に対応する一定の上昇を用いると、結果がほぼ最小の全体エラー(RMSなど)となる。所定最大偏心及び表示アスペクトの平均偏心は、次のようになる。
【0019】
【数1】
【0020】
なお、totalViewingAngle=2*MaxEccentricity(viewingDist, aspectRatio)となる。
【0021】
見える距離及び表示アスペクト比から得たperifSensModelPSFpolar(0, MeanEccentricity)を計算することにより、近似平均コントラスト感度しきい値上昇を計算できる。一般的に、注視点マップは、スクリーンの中央に向かって分布する高い確率を有するので、平均において、イメージを横切る上昇したしきい値に大きな変動がない。3スクリーン分の高さに対する略2からの上昇係数レンジの値は、10スクリーン分の高さに対して約1.25に落ちる。これら値を、図6のブロック654からの全周辺感度マップ出力として用いる。
【0022】
この方法は、ほとんどのアプリケーション用に良好な近似の速度(計算的には低い費用)を生じる。
【0023】
同様に、しきい値を超えた(suprathreshold)応答は、周辺視野で変化するが、一層少ない。しきい値の上昇が一定で表される場合には、しきい値を超えた感度も一定で表される。
【0024】
図6において、658で示す散乱マップによる注視点確率のフォーカスを作成する方法を提供する。通常低い注視点の領域を充分な散乱により上昇させる。この方法は、多くのアプリケーションに対して良好な近似の速度(計算的には低い費用)を生じる。次のピクセル様式の動作を用いて、周辺感度(上昇したしきい値、即ちET)確率マップ(オプションとしては上述の如き一定値と置換する)を注視点マップ及び散乱性制御と組合せる。
attentionProb(pcDiff, att, ET, EG, maxAttn, wt) = if(pcDiff > ET((maxAttn-attn)/maxAttn), EG, 0) (maxAttn-attn)*wt + attn
なお、pcDiffは、公称マップの行y及び列xにおけるピクセルを表す。attnは、注視点マップの対応ピクセルである。ETは、周辺感度(上昇したしきい値又はET)確率マップのピクセルである。EGは、しきい値を超えた感度確率マップである。maxAttnは、注視点マップ内の最大値である。wtは、散乱性制御である。if(boolean, x, y)は、booleanが真ならばx、偽ならばyである。この例では、便宜上、maxAttnは1に正規化されており、一般的には、この値は確率分布に応じて決まる点に留意されたい。
【0025】
図12〜15は、種々のレベルの公称マップ、注視点マップ及び散乱性制御によるattentionProbの動きを示す。
【0026】
実際には、注視点の低い確率を有するイメージ領域は、同様に、公称マップ(例えば、知覚コントラスト)用の上昇したしきい値を有し、低い値が全体にマスクされる。一方、高い注視点確率の領域は、散乱により影響されない。ここでは、注視点確率が変化せずに残り、最終注視点重み付け出力も同様に変化しない。注視点マップ値におけるこれら2つの極端な間では、応答が連続的であり、散乱性制御により総てが略重み付けされる。
【図面の簡単な説明】
【0027】
【図1】完全な基準測定に用いる基準ビデオ・シーケンスの無欠陥の基準ビデオ・フレームの例を示す図である。
【図2】完全な基準又は非基準測定のいずれかにより用いるテスト・ビデオ・シーケンスの欠陥テスト・ビデオ・フレームの例を示す図である。
【図3】図1の基準ビデオ・フレーム及び図2のテスト・ビデオ・フレーム用に計算した予測知覚コントラスト差マップの例を示す図である。
【図4】図1に示すビデオ用に計算した注視点確率マップの予測フォーカスの例を示す図である。
【図5】図3の注視点マップ及び図4の知覚差を用いて、図1に示すビデオ用に
【図6】本発明の実施例のブロック図である。
【図7】100%に設定された散乱性制御を伴う散乱を有する注視点確率マップのフォーカスの例を示す図である。
【図8】50%に設定された散乱性制御を伴う散乱を有する注視点確率マップのフォーカスの例を示す図である。
【図9】10%に設定された散乱性制御を伴う散乱を有する注視点確率マップのフォーカスの例を示す図である。
【図10】簡単なモデルperifSensModel(角度)に対する偏心データに関する周辺しきい値評価のグラフを示す図である。
【図11】16:9の表示アスペクト比の例用の見える距離に応じたイメージ内の最大しきい値評価係数のグラフを示す図である。
【図12】本発明の実施例による動きを示すのに用いる合成公称マップ・ラインを示す図である。
【図13】本発明の実施例による動きを示すのに用いる合成注視点マップ・ラインを示す図である。
【図14】夫々0%、25%、50%、75%及び100%の散乱制御にて設定された散乱を有する復号注視点マップ及び高めたしきい値(ET)マップにおける縮尺及び重ね合わさった図12及び図13の入力を示す図である。
【図15】夫々0%、25%、50%、75%及び100%の散乱制御にて設定された散乱を有する復号注視点マップに対応するETマップ上で重ね合わさった重み付け測定、散乱を含む結果としての注視点を示す図である。
【符号の説明】
【0028】
610 散乱ソース・マップ及び公称ビデオ測定
620 テスト・ビデオ入力
630 基準ビデオ入力
640 注視点確率マップのフォーカス
650 散乱を含む注視点予測
652 散乱性制御
654 周辺感度確率マップ
658 散乱マップによる注視点確率のフォーカス
660 散乱重み付け測定マップ
670 マップ・フォーマット及びプール
【技術分野】
【0001】
本発明は、一般に、ビデオの試験及び測定に関し、特に、因果視聴者(causal viewer)用の主観的ビデオ品質予測の如きコア・ビデオ画像品質(PQ)測定を改良するビデオ位置予測方法に関する。
【背景技術】
【0002】
MPEG−2及びH.264プロセス・ビデオの如きビデオ圧縮方法は、損失のある圧縮方法を用い、観念的には人間の目が見えないエラーを導入する。圧縮方法の損失により生じる任意の見えるエラーは、それ自体が、一般的に観察者に散乱できる欠陥アーティファクトとして、明瞭になる。さらに、ビデオ・イメージの他の外観は、観察者の注意を引く。これら他の非散乱注視点(attention)の引きつけにより空間及び時間にわたって注視点のフォーカスの確率密度を予測するのに用いるアルゴリズムが開発され、しばしば「注視点モデル」と呼ばれている。用語「散乱(distraction)」は、ここでは、ビデオ欠陥のことを言い、より一般的には、ビデオ内の意図した内容ではなくビデオ基準からの偏差を言う。この偏差は、「散乱」の独特な形式を有する。
【0003】
知覚差予測モデルなどの他のビデオ測定に関係して用いる際に、注視点モデルが今まで開発されてきた。散乱を有するビデオを測定する際、注視点モデルを削除する場合以上の主観的評価の知覚を一般的には改善しない。多くの研究は、散乱が存在しないときに、注視点のフォーカスの確率の予測は非常に良い。また、ビデオ表示がどの程度の視野を占めるかに応じて、人間の周辺視野は、「中心窩」即ち、中心視覚よりも、空間的散乱に対して実質的に敏感ではないことが知られている。よって、視覚ビデオがどの程度劣化しているかを示す知覚できない基本的な断片は、人々が上述の散乱を何時何処で見ているかに応じて決まる。
【0004】
【特許文献1】特開2003−199127号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
そこで、従来技術でのように注視点の観察者のフォーカスを予想するが、散乱による注視点を新たに追加した自動化方法が望まれている。
【課題を解決するための手段】
【0006】
本発明は、散乱による注視点フォーカス確率軌跡のビデオ位置を予測する方法であって;テスト・ビデオ入力に基づいて公称測定マップを作成するステップと;テスト・ビデオ入力に基づいて注視点確率マップを作成するステップと;公称測定マップ及び注視点確率マップに基づいて周辺感度確率マップを作成するステップと;公称測定マップ、注視点確率マップ、周辺感度マップ及び散乱制御に基づいて散乱を有する注視点確率マップのフォーカスを作成するステップと;散乱を有する注視点確率マップのフォーカス及び公称測定マップに基づいて注視点重み付け測定マップを供給するステップとを具えている。
【発明を実施するための最良の形態】
【0007】
本発明の方法は、既存のビデオ測定、特に、品質測定及び主観的品質評価予測に組み込まれる手段、例えば、これらの測定のオーバーモールドも付け手段を具える必要がある。また、散乱性の制御は、人口統計などに反映する特定のアプリケーションにとって重要である。最後に、散乱に応答した注視点の行動を含む方法には、コンピュータにより効率化でき、所定精度の処理が比較的低レベルであることがましい。
【0008】
よって、本発明の種々の実施例は、ビデオ品質評価用の注視点モデルにて散乱を表現するものを発生するメカニズムを含む。このメカニズムを含むことにより、周辺視野にて(ある大きさ以上の対象物の動きのような場合を除く)、低減した知覚感度(しきい値及びしきい値以上の両方)をシミュレーションする。よって、観察すべき散乱の可能性を良好に予測する。散乱として観察されるだろう適度な程度のビデオ・アーティファクトを認識するメカニズムを含んでおり、注視点の散乱の確率の予測において、各アーティファクトの程度を選択的に重み付けできるようにする。別の実施例では、所望のメカニズムに対応する主観的類似物を含んでいる。
【実施例】
【0009】
本発明の実施例を図6に示す。テスト・ビデオ入力620と、テスト・ビデオ620に対応するがテスト・ビデオ入力内に欠陥が存在しないオプションとしての基準ビデオ入力630とに基づいて、ブロック610に示すように、公称ビデオ測定を行い、散乱ソース・マップを作成する。テスト・ビデオ・フレームの例は、図1に示す対応基準ビデオ・フレームと共に、テスト・ビデオ・フレームの例を図2に示す。本発明の一実施例において、テスト・ビデオ入力620と共に基準ビデオ入力630を用いて、完全(フル)基準測定として、公称ビデオ測定を行い、散乱ソース・マップを作成する。別の実施例においては、基準ビデオ入力630を使用しないことを意味する非基準測定として、公称ビデオ測定を行うと共に、散乱ソース・マップを作成する。完全基準又は非基準のいずれかを用いて、本発明の実施例は、主観的、客観的、又は客観的な重み付け主観的な測定のいずれでもよい。主観的測定に適用する実施例においては、2005年12月13日に発行されたケビン・ファーガソンによる米国特許第6975776号「ヒューマン・ビジョン知覚及び知覚差」に開示された手段及び方法論を用いている。客観的測定に適用する実施例においては、PSNR測定を実行する。客観的測定に適用する他の実施例においては、2008年3月28日出願のケビン・ファーガソンによる米国特許出願第12/058474号「ビデオ・コーデック・ブロックにおける細部の損失を測定するシステム及び方法」に記載のように、アーティファクトの検出を行う。さらに他の実施例においては、2006年9月5日に発行されたケビン・ファーガソンによる米国特許第7102667号「知覚できる欠陥の明らかな原因に対するピクチャ品質分析」に開示された客観的重み付け主観的な測定を提供する。注視点で重み付けされておらず、「公称マップ」と呼ぶ公称ビデオ測定マップの例を図3に示す。図4は、「注視点マップ」という注視点確率マップのフォーカスの例を示す。これらは、610に示すように、公称ビデオ測定により提供される出力の例である。
【0010】
テスト・ビデオ入力620を用いて、注視点確率マップのフォーカス640を作成する。非基準測定の場合、テスト・ビデオは、それ自体による入力である。完全基準実施例において、基準ビデオ入力630も提供する。公称ビデオ測定ブロック及び注視点モデルの間の点線は、直接ビデオ入力の代わりの注視点モデルへの入力として用いる中間知覚モデル出力(知覚コントラスト)を含むオプションとしての実施例を示すことに留意されたい。本発明の実施例において、2003年12月30日に発行したウィルフレイド・オスバーガーによる米国特許第6670963号「仮想注視点モデル」に記載のように、注視点確率マップのフォーカスを提供する。
【0011】
散乱ソース・マップ及び公称ビデオ測定610と注視点確率マップのフォーカス640の出力を、散乱性制御(distractibility control)652と共に、散乱を含む注視点予測650に供給する。散乱性制御は、例えば、0及び100%の間の値を出力する。散乱を含む注視点予測650の出力は、公称マップと共に、散乱重み付け測定マップ660を含む注視点への入力として供給される。マップ660は、散乱650を有する注視点予測からの入力マップにより、公称マップをマスクする。この結果は、夫々100%、50%及び10%の散乱性制御設定に対応した図7〜9の例に示すようになる。
【0012】
散乱を含み、測定マップを重み付けした注視点の出力をマップ・フォーマット及びプール・ブロック670に供給する。これは、測定マップと共に、エンド・ユーザに表示するための測定概要データを提供する。ブロック670からの結果出力は、散乱、重み付けした測定マップを含む注視点の表示である。いくつかの実施例では、散乱、重み付けした測定を含む注視点も表示してもよい。
【0013】
散乱を含む注視点予測ブロック650は、ある操作を実行するために2つの他のブロックを提供する。公称マップ及び注視点確率マップに基づいて、周辺感度確率マップ654を作成する。第2ブロック658は、公称マップ、注視点確率マップ、周辺感度マップ、散乱性制御からの入力に基づいて、散乱マップを有する注視点散乱のフォーカスを生成する。散乱ブロックを含む注視点確率内のこれら2つのブロックの動作は、以下に詳述する。
【0014】
本発明の実施例において、返信マップに対する感度を注視点感度マップにより畳み込むことにより、周辺感度確率マップを作成する。返信を有する周辺感度の変化が、マーク・キャノンの研究などに示された実験的データ結果により、視覚科学に示されている。次のように、所定周波数に対して、コントラスト感度しきい値の上昇を図10に示すように近似してもよい(この場合、最大感度に略対応する)。
perifSensRawModel(Eccentricity)=1.165Eccentricity
【0015】
極座標において、2次元に渡るこの感度を表すヒューマン・ビジョン・ポイント・スプレッド関数(PSF)は、偏心を代用するrを伴う円掃引として近似できる。
perifSensModelPSFpolar(Θ,r)=perifSensModel(-r)
ポイント・スプレッド(点広がり)関数は感度上昇の逆数なので、―rをrの代わりに用いる点に留意されたい。最後に、直交座標では次のようになる。
perifSensModelPSF(x,y)=perifSensModel(-√(x2+y2))
【0016】
注視点マップによりポイント・スプレッド関数を畳み込んで、PSFFマップを作成する。このPSFFマップは、注視点マップ確率に応じてイメージ内の注視点誘引(attention attracters)を探す際に、周辺視野によるしきい値上昇の確率の逆数を表す。SPFFマップの各サンプルを0.1%知覚コントラスト(キャノン当たり)の公称(中心窩)しきい値に分割して、上昇しきい値を発生する。
【0017】
この方法は、高レベルの確度を達成する。しかし、これは、幾分計算的には効果である。特定の見える距離において、ポイント・スプレッド関数がどの程度変化するかを評価することにより、より簡単な別の方法により良好な近似ができる。ここでは、平均イメージ偏心による平均周辺感度上昇を用いる。例えば、次のように、見える距離(viewingDist:スクリーンの高さを単位とする)の関数として、最大偏心(MaxEccentricity)レンジを考慮する。
MaxEccentricity(viewingDist, aspecRatio)=tan-1(1/(2*viewingDist*aspectRatio))*180/π
【0018】
図11において、16/9の高分解能テレビジョン表示のアスペクト比(aspectRatio)用に、この関数を見える距離(viewingDist)に対してプロットする。このプロットは、多くの実際のビデオ視聴の場合にPSFのダイナミック・レンジが非常に低いことを示す。平均偏心に対応する一定の上昇を用いると、結果がほぼ最小の全体エラー(RMSなど)となる。所定最大偏心及び表示アスペクトの平均偏心は、次のようになる。
【0019】
【数1】
【0020】
なお、totalViewingAngle=2*MaxEccentricity(viewingDist, aspectRatio)となる。
【0021】
見える距離及び表示アスペクト比から得たperifSensModelPSFpolar(0, MeanEccentricity)を計算することにより、近似平均コントラスト感度しきい値上昇を計算できる。一般的に、注視点マップは、スクリーンの中央に向かって分布する高い確率を有するので、平均において、イメージを横切る上昇したしきい値に大きな変動がない。3スクリーン分の高さに対する略2からの上昇係数レンジの値は、10スクリーン分の高さに対して約1.25に落ちる。これら値を、図6のブロック654からの全周辺感度マップ出力として用いる。
【0022】
この方法は、ほとんどのアプリケーション用に良好な近似の速度(計算的には低い費用)を生じる。
【0023】
同様に、しきい値を超えた(suprathreshold)応答は、周辺視野で変化するが、一層少ない。しきい値の上昇が一定で表される場合には、しきい値を超えた感度も一定で表される。
【0024】
図6において、658で示す散乱マップによる注視点確率のフォーカスを作成する方法を提供する。通常低い注視点の領域を充分な散乱により上昇させる。この方法は、多くのアプリケーションに対して良好な近似の速度(計算的には低い費用)を生じる。次のピクセル様式の動作を用いて、周辺感度(上昇したしきい値、即ちET)確率マップ(オプションとしては上述の如き一定値と置換する)を注視点マップ及び散乱性制御と組合せる。
attentionProb(pcDiff, att, ET, EG, maxAttn, wt) = if(pcDiff > ET((maxAttn-attn)/maxAttn), EG, 0) (maxAttn-attn)*wt + attn
なお、pcDiffは、公称マップの行y及び列xにおけるピクセルを表す。attnは、注視点マップの対応ピクセルである。ETは、周辺感度(上昇したしきい値又はET)確率マップのピクセルである。EGは、しきい値を超えた感度確率マップである。maxAttnは、注視点マップ内の最大値である。wtは、散乱性制御である。if(boolean, x, y)は、booleanが真ならばx、偽ならばyである。この例では、便宜上、maxAttnは1に正規化されており、一般的には、この値は確率分布に応じて決まる点に留意されたい。
【0025】
図12〜15は、種々のレベルの公称マップ、注視点マップ及び散乱性制御によるattentionProbの動きを示す。
【0026】
実際には、注視点の低い確率を有するイメージ領域は、同様に、公称マップ(例えば、知覚コントラスト)用の上昇したしきい値を有し、低い値が全体にマスクされる。一方、高い注視点確率の領域は、散乱により影響されない。ここでは、注視点確率が変化せずに残り、最終注視点重み付け出力も同様に変化しない。注視点マップ値におけるこれら2つの極端な間では、応答が連続的であり、散乱性制御により総てが略重み付けされる。
【図面の簡単な説明】
【0027】
【図1】完全な基準測定に用いる基準ビデオ・シーケンスの無欠陥の基準ビデオ・フレームの例を示す図である。
【図2】完全な基準又は非基準測定のいずれかにより用いるテスト・ビデオ・シーケンスの欠陥テスト・ビデオ・フレームの例を示す図である。
【図3】図1の基準ビデオ・フレーム及び図2のテスト・ビデオ・フレーム用に計算した予測知覚コントラスト差マップの例を示す図である。
【図4】図1に示すビデオ用に計算した注視点確率マップの予測フォーカスの例を示す図である。
【図5】図3の注視点マップ及び図4の知覚差を用いて、図1に示すビデオ用に
【図6】本発明の実施例のブロック図である。
【図7】100%に設定された散乱性制御を伴う散乱を有する注視点確率マップのフォーカスの例を示す図である。
【図8】50%に設定された散乱性制御を伴う散乱を有する注視点確率マップのフォーカスの例を示す図である。
【図9】10%に設定された散乱性制御を伴う散乱を有する注視点確率マップのフォーカスの例を示す図である。
【図10】簡単なモデルperifSensModel(角度)に対する偏心データに関する周辺しきい値評価のグラフを示す図である。
【図11】16:9の表示アスペクト比の例用の見える距離に応じたイメージ内の最大しきい値評価係数のグラフを示す図である。
【図12】本発明の実施例による動きを示すのに用いる合成公称マップ・ラインを示す図である。
【図13】本発明の実施例による動きを示すのに用いる合成注視点マップ・ラインを示す図である。
【図14】夫々0%、25%、50%、75%及び100%の散乱制御にて設定された散乱を有する復号注視点マップ及び高めたしきい値(ET)マップにおける縮尺及び重ね合わさった図12及び図13の入力を示す図である。
【図15】夫々0%、25%、50%、75%及び100%の散乱制御にて設定された散乱を有する復号注視点マップに対応するETマップ上で重ね合わさった重み付け測定、散乱を含む結果としての注視点を示す図である。
【符号の説明】
【0028】
610 散乱ソース・マップ及び公称ビデオ測定
620 テスト・ビデオ入力
630 基準ビデオ入力
640 注視点確率マップのフォーカス
650 散乱を含む注視点予測
652 散乱性制御
654 周辺感度確率マップ
658 散乱マップによる注視点確率のフォーカス
660 散乱重み付け測定マップ
670 マップ・フォーマット及びプール
【特許請求の範囲】
【請求項1】
散乱による注視点フォーカス確率軌跡のビデオ位置を予測する方法であって、
テスト・ビデオ入力に基づいて公称測定マップを作成するステップと、
テスト・ビデオ入力に基づいて注視点確率マップを作成するステップと、
上記公称測定マップ及び上記注視点確率マップに基づいて周辺感度確率マップを作成するステップと、
上記公称測定マップ、上記注視点確率マップ、上記周辺感度マップ及び散乱制御に基づいて散乱を有する注視点確率マップのフォーカスを作成するステップと、
上記散乱を有する注視点確率マップのフォーカス及び上記公称測定マップに基づいて注視点重み付け測定マップを供給するステップと
を具えたビデオ位置予測方法。
【請求項2】
上記注視点重み付けマップをフォーマットすると共に上記注視点重み付け測定マップを表示するステップを更に具えた請求項1のビデオ位置予測方法。
【請求項3】
注視点重み付け測定をプールし、散乱、重み付けされた測定を含んで注視点を表示するステップを更に具えた請求項1のビデオ位置予測方法。
【請求項4】
上記公称測定マップを作成するステップは、上記テスト・ビデオ入力及び基準ビデオ入力に基づくことを特徴とする請求項1のビデオ位置予測方法。
【請求項5】
上記注視点確率マップは、上記テスト・ビデオ入力及び基準ビデオ入力に基づくことを特徴とする請求項1のビデオ位置予測方法。
【請求項6】
上記周辺感度確率マップを作成するステップは、上記注視点確率マップと一緒に上記公称測定マップに基づいて偏心マップに対する感度マップを畳み込むことを特徴とする請求項1のビデオ位置予測方法。
【請求項7】
散乱マップを有する注視点確率のフォーカスを作成するステップは、散乱のレベルに基づいて公称的に低い注視点の領域を持ち上げることを特徴とする請求項1のビデオ位置予測方法。
【請求項8】
上記注視点重み付け測定マップを提供するステップは、上記公称測定マップのマスクとして、上記注視点に関連したマップを用いることを特徴とする請求項1のビデオ位置予測方法。
【請求項1】
散乱による注視点フォーカス確率軌跡のビデオ位置を予測する方法であって、
テスト・ビデオ入力に基づいて公称測定マップを作成するステップと、
テスト・ビデオ入力に基づいて注視点確率マップを作成するステップと、
上記公称測定マップ及び上記注視点確率マップに基づいて周辺感度確率マップを作成するステップと、
上記公称測定マップ、上記注視点確率マップ、上記周辺感度マップ及び散乱制御に基づいて散乱を有する注視点確率マップのフォーカスを作成するステップと、
上記散乱を有する注視点確率マップのフォーカス及び上記公称測定マップに基づいて注視点重み付け測定マップを供給するステップと
を具えたビデオ位置予測方法。
【請求項2】
上記注視点重み付けマップをフォーマットすると共に上記注視点重み付け測定マップを表示するステップを更に具えた請求項1のビデオ位置予測方法。
【請求項3】
注視点重み付け測定をプールし、散乱、重み付けされた測定を含んで注視点を表示するステップを更に具えた請求項1のビデオ位置予測方法。
【請求項4】
上記公称測定マップを作成するステップは、上記テスト・ビデオ入力及び基準ビデオ入力に基づくことを特徴とする請求項1のビデオ位置予測方法。
【請求項5】
上記注視点確率マップは、上記テスト・ビデオ入力及び基準ビデオ入力に基づくことを特徴とする請求項1のビデオ位置予測方法。
【請求項6】
上記周辺感度確率マップを作成するステップは、上記注視点確率マップと一緒に上記公称測定マップに基づいて偏心マップに対する感度マップを畳み込むことを特徴とする請求項1のビデオ位置予測方法。
【請求項7】
散乱マップを有する注視点確率のフォーカスを作成するステップは、散乱のレベルに基づいて公称的に低い注視点の領域を持ち上げることを特徴とする請求項1のビデオ位置予測方法。
【請求項8】
上記注視点重み付け測定マップを提供するステップは、上記公称測定マップのマスクとして、上記注視点に関連したマップを用いることを特徴とする請求項1のビデオ位置予測方法。
【図6】
【図1】
【図2】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図1】
【図2】
【図3】
【図4】
【図5】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2008−263604(P2008−263604A)
【公開日】平成20年10月30日(2008.10.30)
【国際特許分類】
【出願番号】特願2008−100588(P2008−100588)
【出願日】平成20年4月8日(2008.4.8)
【出願人】(391002340)テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】TEKTRONIX,INC.
【Fターム(参考)】
【公開日】平成20年10月30日(2008.10.30)
【国際特許分類】
【出願日】平成20年4月8日(2008.4.8)
【出願人】(391002340)テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】TEKTRONIX,INC.
【Fターム(参考)】
[ Back to top ]