３次元ビデオの品質予測システム
【課題】予測ピクチャ品質レーティングを求める方法を提供する。
【解決手段】一般に３次元イメージの左及び右サブコンポーネントを比較して３次元イメージでの視差測定を行う（２２、２４）。次に、組合せのために視差測定からのデータを用いて、３次元イメージの左及び右サブコンポーネントを２次元イメージに組合せ（融合）する（４２、４４）。２次元イメージと元の３次元イメージの比較に関する品質情報とに基づいて、予測品質測定値を発生する（６０、９０）。
【解決手段】一般に３次元イメージの左及び右サブコンポーネントを比較して３次元イメージでの視差測定を行う（２２、２４）。次に、組合せのために視差測定からのデータを用いて、３次元イメージの左及び右サブコンポーネントを２次元イメージに組合せ（融合）する（４２、４４）。２次元イメージと元の３次元イメージの比較に関する品質情報とに基づいて、予測品質測定値を発生する（６０、９０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、イメージの品質予測に関し、特に、３次元（立体）ビデオの本質的品質を予測する品質予測システムに関する。
【背景技術】
【０００２】
立体に基づく３Ｄ（３次元）技術を現在用いているテレビジョン放送局、映画などの業界では、種々の品質保証及び品質問題に直面している。アーティファクト及び欠陥を処理することに、より多くのユーザが悩んでいる。さらに、３次元ビデオは、現在人気が上昇しているが、いくらかの視聴者にとっては視覚的に不快なものである。なお、不快さは、典型的には、３Ｄイメージの立体（左及び右）イメージの間の水平の視差の量に関連している。
【０００３】
２次元ビデオの制作設定において、ビデオに対する指示、予測、警告、視覚的不快及び欠陥の原因を求めるのに現在の技術が利用可能である。たとえ異なるやり方であっても、これら技術のいくつかを用いて、３Ｄイメージの右イメージ及び左イメージに関する測定値を種々に組合せして測定を行っている。例えば、技術は、進歩しており、３Ｄイメージを形成する右及び左の２Ｄイメージを別々に測定し、次に、右及び左の品質結果を平均化する。他の例として、３Ｄビデオ品質（アセスメント）評価にテクトロニクス社製ＰＱＡ６００型を用い、左ビューのビデオ品質評価のために、未処理の左（基準）ビデオに対して処理済みの左（テスト）ビデオを測定し、右ビューについても同じ測定を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２２３５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、３Ｄビデオを既存の２Ｄビデオから発生することが増えてきている。さらに、シネマ用の３Ｄ映画をブルーレイＤＶＤなどで再利用するなど、ビデオ装置（コーデックなどの処理及び捕捉）の開発研究や他のアプリケーションのために、他の３Ｄ処理も行われている。現在、立体ビデオの本質的品質を直接予測する完全な基準システムが存在しない。
【０００６】
そこで、本発明は、従来技術の上述及びその他の制限を解決するものである。
【課題を解決するための手段】
【０００７】
本発明の態様は、次の通りである。
（１）基準３次元ビデオに対する試験３次元ビデオの品質を予測する品質予測システムであって； 左コンポーネント及び右コンポーネントを含む試験３次元ビデオを受ける第１入力手段と；左コンポーネント及び右コンポーネントを含む基準３次元ビデオを受ける第２入力手段と；上記試験３次元ビデオの上記右コンポーネントに対する上記試験３次元ビデオの上記左コンポーネントの比較に関する第１視差情報を発生する第１アナライザと；上記基準３次元ビデオの上記右コンポーネントに対する上記基準３次元ビデオの上記左コンポーネントの比較に関する第２視差情報を発生する第２アナライザと；上記第１アナライザからの上記視差情報を用いて上記試験３次元ビデオの上記左コンポーネント及び上記右コンポーネントを組合せて、融合した２次元試験ビデオを生成する第１融合器と；上記第２アナライザからの上記視差情報を用いて上記基準３次元ビデオの上記左コンポーネント及び上記右コンポーネントを組合せて、融合した２次元基準ビデオを生成する第２融合器と；上記２次元基準ビデオを上記２次元試験ビデオと比較して、第１予測品質評価値を発生する品質アナライザと；上記品質アナライザに結合し、上記第１及び第２アナライザからの得た情報により上記第１予測品質評価値を変調して、上記基準３次元ビデオに対する上記試験３次元ビデオの比較の予測品質評価値を発生する概要（summary）手段とを具えた３次元ビデオの品質予測システム。
（２）態様１による品質予測システムであって、上記第１視差情報は、上記基準３次元ビデオの上記右コンポーネントに対する上記基準３次元ビデオの上記左コンポーネントの比較に関連した不一致データである。
（３）態様１による品質予測システムであって、上記第１視差情報は、上記基準３次元ビデオの上記右コンポーネントに対する上記基準３次元ビデオの上記左コンポーネントの比較に関連した視差データである。
（４）態様１による品質予測システムであって、上記第１及び第２アナライザから得た上記情報は、上記試験３次元ビデオ及び上記基準３次元ビデオから夫々得た第１及び第２深さマップ情報である。
（５）態様１による品質予測システムであって、上記第１融合器は、上記試験３次元ビデオの上記左及び右コンポーネントを組合せて上記融合した２次元試験ビデオを生成する際に、上記第１視差情報を補正オフセットとして用いる。
（６）態様１による品質予測システムであって、上記第１融合器は、上記融合済み２次元試験ビデオを生成する際に、上記試験３次元ビデオの上記左及び右コンポーネントに等しい重み付けを適用する。
（７）態様１による品質予測システムであって、上記第１融合器は、上記融合済み２次元試験ビデオを生成する際に、１の相補的手法を用いて、上記試験３次元ビデオの上記左及び右コンポーネントに異なる重み付けを割り当てる。
（８）態様１による品質予測システムであって、上記概要手段は、少なくとも１つのＣＩＥＣＡＭ０２カラー・アピアランス座標からのコンポーネントを含む知覚差ベクトルを発生する。
（９）態様８による品質予測システムであって、上記概要手段は、上記試験又は基準３次元ビデオの少なくとも１つの知覚した深さからのコンポーネントを含む上記知覚差ベクトルを発生する。
（１０）態様８による品質予測システムであって、上記概要手段は、融合限界と上記第１及び第２視差情報との比較分析から得たコンポーネントを含む上記視覚差ベクトルを発生する。
（１１）態様８による品質予測システムであって、上記概要手段は、閉塞（occlusion）から得たコンポーネントを含む上記知覚差ベクトルを発生する。
（１２）態様８による品質予測システムであって、上記概要手段は、不一致データ分析から得たコンポーネントを含む上記知覚差ベクトルを発生する。
（１３）態様８による品質予測システムであって、上記概要手段、注意分析から得たコンポーネントを含む上記知覚差ベクトルを発生する。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例による立体ビデオ用の完全な基準となる本質的な品質予測器（システム）のブロック図である。
【図２】図１の立体ビデオ用の完全な基準となる本質的な品質予測システムの追加的な詳細を示すブロック図である。
【図３】立体イメージを比較するのに用いることができる処理を示す例示的な流れ図である。
【図４】図３に示す２つの別々のイメージを組合せて作成した単一の融合イメージの例を示す図である。
【図５】本発明の実施例に用いる３次元イメージの標準ビューのプレーン観察深さ及び観察角度を示す基準イメージの図である。
【発明を実施するための形態】
【０００９】
本発明の概念においては、予測ピクチャ品質レーティング（評価）を行う方法を提供する。一般的に、視差測定は、３次元イメージで行い、３次元イメージの左及び右のサブコンポーネントを比較する。次に、組み合わせのため、視差測定からのデータを用いて、３次元イメージの左及び右のサブコンポーネントを２次元イメージに組合せる（融合する）。この２次元イメージに基づいて予測品質測定を行うが、これは、元の３次元イメージに関する品質情報を含んでいる。
【００１０】
本発明の他の概念は、基準立体ビデオに対する試験立体ビデオの品質を予測する品質予測システムを提供する。この予測システムは、試験３次元イメージ及び基準３次元イメージを受ける入力手段を含んでいる。これら３次元イメージ・ビデオの左及び右のコンポーネントは、比較器により別々に比較され、視差測定が行われる。融合器は、比較によるデータを用いて、３次元イメージの左及び右の要素を２次元イメージに夫々組合せる。次に、ピクチャ品質アナライザを用いて、２次元イメージに基づくピクチャ品質予測、即ち、測定を行う。さらに、概要（summary）ファシリティ（手段）は、品質予測システムの最終出力内に３次元比較の情報を含める。
【実施例】
【００１１】
今まで放送に用いた立体ビデオ表現の最も一般的な方法は、（公知のＭＰＥＧ−２又はＨ．２６４標準を用いて）並んで伝送された、又は、分離された別々のチャネル（マルチビュー・ビデオ・コーディング、即ち、Ｈ．２６４のＭＶＣ）で伝送された左右又は上下のビデオ・ビューを分離する。代わりに、他のチャネルの対応する深さマップも有する一つのチャネルで（即ち、１つのチャネルで２つのチャネル分の伝送ができるように、ＭＶＣの適応が可能ならば）２Ｄフレームを伝送してもよい。前者の方法（左及び右を分離する方法）を用いて、本発明のシステムの概要を説明するが、後者の方法（２Ｄフレーム＋チャネルの深さによるビデオ表現）でも本発明の要旨を用いて測定ができる。
【００１２】
本発明の実施例は、２Ｄの現在の解決法と両立性のある予測品質レーティングを行うスケール調整可能な（高精度に対するイメージ分解能、フレーム・レート、実時間が調整可能な）方法を提供する。すなわち、フレーム当たり及びシーケンス当たりが１つのスカラー測定基準、即ち、ＤＭＯＳ予測となり、３Ｄ試験ビデオ及び３Ｄ基準ビデオの間の本質的な差平均オピニオン・スコアが得られる。
【００１３】
図１は、本発明の実施例による立体ビデオ用の完全な基準である本質的品質予測器（予測システム）１０のブロック図である。品質予測器１０は、３Ｄイメージ即ち３Ｄビデオである基準イメージ及び試験イメージ用の２つの分離入力手段１２及び１４を有する。本願を通して、用語「３Ｄイメージ」（単数又は複数）の用いる際には、静的イメージ及びビデオ（動的）イメージの両方を含むことを理解されたい。３Ｄイメージの各々は、図示の如く、左コンポーネント及び右コンポーネントの両方を含む。
【００１４】
一般的な意味で、詳細に後述するように、最初の測定は、アナライザである評価（アセスメント）ブロック２２、２４の各々にて３Ｄイメージの各々に対して別々に行う。次に、基準イメージ及び試験イメージの各々の左コンポーネント及び右コンポーネントの各々を、融合したイメージに夫々組合せる。特に、基準イメージの左イメージ及び右イメージを融合器４２にて組合せて、融合された基準イメージ５２を発生し、試験イメージの左イメージ及び右イメージを融合器４４にて組合せて、融合された試験イメージ５４を発生する。この融合処理は、融合されたイメージ５２、５４を発生するのに、評価ブロック２２、２４の各々からのデータ（視差情報）を用いる。
【００１５】
融合された基準イメージ５２及び試験イメージ５４は、２Ｄ品質アナライザ６０の入力として供給される。この２Ｄ品質アナライザ６０は、いくつかの実施例において、上述のテクトロニクス社製ＰＱＡ６００型、又は同様な機能を有するアナライザでもよい。アナライザ６０の出力は、概要（summary）ファシリティ（手段）９０に伝送される。さらに、概要ファシリティ９０は、評価ブロック２２、２４からも入力を受ける。これら評価ブロック２２、２４は、３Ｄ試験イメージ及び３Ｄ基準イメージの３Ｄ状態に関する情報を概要ファシリティ９０に提供する。次に、概要ファシリティ９０は、３Ｄ立体イメージの予測したピクチャ品質レーティング（評価）の出力を発生する。この品質レーティングは、立体ビデオを分析するのに有用なＤＭＯＳ（差平均オピニオン・スコア：Difference Mean Opinion Score）レーティング又は他のレーティングの如きものである。
【００１６】
図２は、図１の立体ビデオ用の完全な基準の本質的な品質予測器（システム）の実施例２００の詳細を示すブロック図である。
【００１７】
品質予測器２００は、３Ｄ基準イメージ入力２１２と３Ｄ試験イメージ入力２１４を受ける。これら３Ｄ入力を視差測定ブロック２２２、２２４に夫々供給する。左コンポーネント部分及び右コンポーネント部分に分かれて受けていない場合に、測定ブロック２２２には、分離器（入力手段）２２６が含まれ、この分離器２２６が基準イメージ入力２１２を左コンポーネント部分及び右コンポーネント部分に分ける。いくつかの場合に、分離は、（Ｈ．２６４ＭＶＣの如く）通常である。他の場合に、左チャネルは、基準イメージ入力２１２の左又は上の部分から取られ、右チャネルは、入力フレームの残りである。測定ブロック２２４は、試験イメージ２１４用の類似の分離器（入力手段）２２８を含んでいる。分離が完了すると、全部で４つのビデオ・チャネルである基準左、規準右、試験左、試験右が生じる。
【００１８】
イメージ２１２、２１４の各々の左要素及び右要素は、視差測定ブロック（アナライザ）２３２、２３４に夫々入力する。これら視差測定ブロック２３２、２３４を用いて、３Ｄイメージ２１２、２１４のフレーム毎の視差及び不一致（ミスマッチ）を測定する。図３は、視差測定ブロック２３２、２３４で生じる処理の例を示す。
【００１９】
図３は、立体イメージの左フレーム及び右フレームの例から視差データ・イメージ及び不一致データ・イメージを作成する処理３００の例を示す流れ図である。処理３００において、３Ｄイメージは、左イメージ３１２及び右イメージ３１４に既に分離している。図３に示す左イメージ３１２及び右イメージ３１４が図２の基準３Ｄイメージ又は試験３Ｄイメージの一方のみである点がここでは重要である。すなわち、図３に示す処理は、基準イメージ及び試験イメージの両方に対して行う処理であるが、図示する処理は、立体イメージ（基準イメージ及び試験イメージ）の一方のみの処理である。
【００２０】
インターネットのwww.research.microsoft.comから入手可能なマイクロソフト・テクニカル・レポートＭＳＲ−ＴＲ−２００１−８１であるダニエル・スチャステイン及びリチャード・スゼリスキの論文「高密度２フレーム立体一致アルゴリズムの分類及び評価（A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms）」（以下、テクニカル・レポートと言う）には、３次元イメージの空間的視差を測定する一般的な方法が記載されている。視差測定を行う際の一般的な処理ステップは、次のａ〜ｄとなる。すなわち、ａ）ローカル・ベースで各イメージの部分の空間的マッチングを表す測定値を定量化する。ｂ）かかる定量化から局部的な結果を集計する。ｃ）視差を計算し／正規化する。ｄ）視差を洗練する。
【００２１】
オプション処理３１６、３１８において、左イメージ３１２及び右イメージ３１４を先ず垂直方向にダウン・サンプルする。例えば、イメージ３１２、３１４が標準ＨＤビデオ・フレームのように垂直方向に１０８０ピクセルを有し水平方向に１９２０ピクセルを有すると、各イメージは、１０×１９２０ピクセル・イメージにダウン・サンプルされる。これは、１対のイメージ（左及び右）を生成し、各イメージが正確に１０水平ラインを有し、各水平ラインが１９２０ピクセルの長さとなる。
【００２２】
他の１組のオプション処理３２０、３２２においては、垂直ダウン・サンプルされたイメージのラインが同様に短いラインに水平方向にダウン・サンプルされる。これは、例えば、立体イメージを評価するモニタの表示の幅が１９２０ピクセル未満の場合に、適切である。イメージを特定数のピクセルにダウン・サンプルする代わりに、所定の百分率、例えば、元の長さの７０％の長さにダウン・サンプルしてもよい。垂直及び水平の両方向でのかかるダウン・サンプルは、システムの計算速度と全体の測定の精度との間でのトレードオフである。
【００２３】
１対の処理３２６、３２８は、双方向ＩＩＲロウパス・フィルタを用いることにより、双方向ＩＩＲロウパス・フィルタ処理されたイメージを各々から減算することにより、元のイメージ又はダウン・サンプルされたイメージにてアンシャープ・マスク処理（マスキング）を行う。かかる双方向ＩＩＲロウパス・フィルタは、参照文献である米国特許出願公開第２００８／０１５２２５７号明細書「ビデオ空間スケール、オフセット及びクロッピングの測定装置及び測定方法（Measuremnt Apparatus and Method of Measurement of Video Spatial Scale, Offset and Cropping）」及び米国特許出願公開第２０１０／０２２６５９２号明細書「イメージ位置合わせの方法及びシステム（Methods and Systems for Image Registration）」に記載されている。ここで用いる双方向ＩＩＲフィルタのフィルタ係数は、ａ１＝１−ｂ０である。この結果は、イメージの各々又は垂直にダウン・サンプルされたイメージ・ラインにＤＣライン（低周波）ラインが生じる。
【００２４】
次に、処理３３０にて、例えば、変調された左及び右のイメージの間の差の絶対値を用いて、処理３２６、３２８からのアンシャープ・マスクされたイメージを組合せる。例えば、矩形差、相互相関、若しくは位相又はウェーブレット位相分析を用いることにより、他の技術も同様に用いることができる。実質的に、左及び右のイメージを異なる相対シフトにて比較し、局部的なマッチングの定量化の結果が各シフトとなる。
【００２５】
処理３４０は、処理３３０からの差値を、上述の双方向ＩＩＲロウパス・フィルタに通過させて、連続的な局所平均を生成する。次の処理３５０は、視差計算／最適化を行う。典型的には、これは、イメージ部分毎のベスト・マッチを行うことにより、迅速に実行できる。例えば、立体一致がピクセルの密度で測定されると、視差計算をピクセル毎に実行できる。しかし、全てのピクセル・シフトを計算した後に、いくつかのアプリケーションではうまくいかないと思える分、シフトのグループを「滑らかさ」又は不連続性について評価できる。ノイズ、メジアン又は他のフィルタによるフィルタ処理を用いてもよい。
【００２６】
処理３００のこの段階にて、処理３５０の出力から、視差マップ又はイメージ３６０と、不一致マップ又はイメージ３７０を生成する。まず、処理３５０の出力の各列に対して、最小エラー値を選択し、そのデータ値を不一致イメージ３７０のピクセルとしてコード化する。不一致イメージ３７０の最上ラインは、処理３５０の出力の各列における最小値の選択から作り、垂直ダウン・サンプル処理３１６、３１８を補償するために、更に１０７回繰り返す。すなわち、不一致イメージ３７０の最初の１０８ラインが同じである。これは、元のイメージ３１２、３１４がダウン・サンプルされても、不一致イメージ３７０及び元の立体イメージ３１２、３１４が同じ寸法となることを確実にする。全ての最小エラー値が選択された後、これら値は、不一致イメージ３７０用の最大イメージ・コントラスト用に正規化される。この不一致イメージ３７０は、立体イメージの特定部分の３次元深さ知覚を観察者がうまく生じるかの表現として影響する。すなわち、不一致イメージ３７０にて明るい領域として現れる不一致の高いレベルは、観察者の頭脳内で右イメージ３１２及び左イメージ３１４がうまく融合するという課題を観察者が持っていることを示す。
【００２７】
また処理３５０からのデータ出力から、視差イメージ３６０が生じる。視差イメージ３６０内の各ピクセルは、上述のように求まる最小エラーとするために各ピクセルが水平ラインに沿ってシフトしなければならないピクセルの数を表す。すなわち、それとは異なり、全ての列内での実際の最小比較値を得て不一致イメージ３７０を作る場合には、最長値が現れる各列のライン数に対応するシフトを視差イメージ３６０内でプロットして、視差イメージ３６０を作る。シフトは、本実施例にてライン数に関連し、シフト＝ライン数×シフト増分＋初期シフトとなる。不一致イメージ３７０と同様に、ラインを更に１０７回繰り返して視差イメージ３６０を作るので、そのサイズが元の左イメージ３１２及び右イメージ３１４に一致する。
【００２８】
３Ｄビデオでの時間に伴う深さの変化の高レートと深さの極値とは、視覚的不快さに関連することが知られている。同様に、左右の不一致部分は、視覚的不快さの原因になる。よって、更に後述するように、この情報を立体イメージ品質の最終的予測の要因とすることが適切である。
【００２９】
再び図２を参照する。視差測定ブロック２３２、２３４が視差データ及び不一致データを発生するように示してあるが、これら視差データ及び不一致データを図３に示す如きイメージに必ずしも生成する必要はない。
【００３０】
次に、処理（融合器）２４２及び２４４の各々にて、基準フレーム２１２及び試験フレーム２１４の視差測定値を用いて、融合されたフレーム２５２、２５４を夫々生成する。融合されたイメージの例を図４に示す。ここで、融合されたイメージ４１０は、図３の個別の左イメージ３１２が右イメージ３１４と融合され、イメージ３６０のように示され計算された視差測定値を更に用いた最終結果である。融合の証が現れている融合フレーム４１０の特定領域４２０及び４３０を留意されたい。
【００３１】
ビデオの各部分に対して、図３の処理３００にて生成された視差マップを補正オフセットとして用いて、特定の基準３Ｄイメージ２１２又は試験３Ｄイメージ２１４の左又は右のチャネルを整合させる。よって、左及び右のフレームの重み付けされた和として実現された２つの「クロス・フェード」により、位置合わせ済みの左及び右のフレームが「融合」される。名目上は、クロス・フェードは、左及び右が等しく重み付けされる。すなわち、例えば、融合されたイメージ２５２が次のようにピクセルで構成される。
融合された［ピクセル］＝左［ピクセル＋オフセット（視差）×０．５］×０．５＋左［ピクセル−オフセット（視差）×０．５］×０．５
【００３２】
しかし、図２の融合された基準イメージ２５２（又は融合された試験イメージ２５４）の融合は、必ずしも等しい必要がない。すなわち、オプションとして、直接ユーザ制御又は注意（アテンション）モデル帰還を用いて、右又は左の目の優先度をモデル化できる。例えば、注意モデル（後述する）は、左目内の近い対象により左目が優位となり、又は、いくつかの注意を引く領域がこれに対抗することを定める。左目がより優位ならば、それにより、上述の０．５の重み付けを増やし、右目用には１の相補的重み付けを用いる。同様に、重み付けを右目が優位な場合にも適用できる。図４の融合したイメージ４１０は、同じ重み付けの左イメージ３１２及び右イメージ３１４（図３）を用いる融合フレームのルミナンス部分の例を示す。
【００３３】
融合した基準イメージ２５２及び試験イメージ２５４を２Ｄビデオ品質予測システム（品質アナライザ）２６０に入力する。このビデオ品質予測システム２６０は、ＤＭＯＳの単位で予測本質品質データを最終的に発生する。しかし、ビデオ品質予測システム２６０は、知覚差応答の有用な中間結果も生成する。これら応答は、ＣＩＥＣＡＭ０２｛ａ，ｂ｝単位を用いて、百分率知覚コントラスト差と共に、オプションとしてカラー知覚差に関して得られる。ＣＩＥＣＡＭ０２は、ＣＩＥテクニカル・コミティー８−０１が２００２年に発行した既知の「カラー管理システム用のカラー・アピアランス・モデル（Color Appearance Modeling for Color Management Systems）」である。
【００３４】
ビデオ品質予測システム２６０は、基準表示モデル２６２及び試験表示モデル２６４と共に基準ビュー・モデル２６６及び試験ビュー・モデル２６８の如く、予測結果を発生する種々のモデルを更に含んでいる。これらモデルを用いて、評価対象のビデオの観察条件に基づいて知覚出力を調整する。
【００３５】
知覚差予測システム２８０は、基準イメージ２１２及び試験イメージ２１４の間の差の予測を行う際に、種々のモデル２６２、２６４、２６６及び２６８からの出力を得る。オプションの注意モデルは、イメージ２１２、２１４自体のフレーム内に生じる作用に基づいて最終出力予測スコアを変調する機能がある。最終的に、概要測定モジュール（概要手段）２９０は、上述の知覚差予測システム２８０が発生した情報の全てと共に、視差測定システム２３２、２３４が発生した試験不一致データと共に、１対の深さマップを組合せて、システム２００の出力として、立体イメージ品質レーティングの最終予測を発生する。なお、１対の深さマップの一方が基準ビデオ用で、他方が試験ビデオ用である。
【００３６】
上述のように、概要測定モジュール２９０が用いる１組の要因は、図５を参照して説明する発生器２７２、２７４の夫々が発生する基準深さマップ及び試験深さマップである。
【００３７】
図５は、１対のオフセットされた左目及び右目からの相対距離での表示角度の例の図的参考図５００である。参考図５００において、左目Ｌ及び右目Ｒは、距離Ｓｅだけ離れるように設定されている。図５に示すように、各表示深さでの左目及び右目からのラインの交差角度は、夫々の幾何学的配置で決まる。参考図５００において、３つの深さ面が示されている。これら深さ面は、標準深さ面Ｖｄと、Ｖｄの距離の１／２での深さ面１／２Ｖｄと、２倍の深さ面２Ｖｄとである。観察する任意の深さ面での任意の点にて、左目及び右目からの視線がその点にて交差しなければならない。これら視線は、種々の点にて表示面とも交差する。視界の左ラインと基準としての表示面との交差を用いて、視界の右ラインと表示面との交差をオフセットＯｓとして測定できる。よって、Ｏｓは、特定深さでの点に対する左イメージ及び右イメージの間の水平シフトを表す。図５において、右目に関して、Ｏｓｉが無限大の点に対するシフトを表し、Ｏｓ２が観察距離の２倍での点に対するシフトを表し、Ｏｓｈが観察距離の半分での点に対するシフトを表す。表示面上での点に対して、Ｏｓ＝０であることに注意されたい。
【００３８】
この関係から、右及び左の分離を深さの関数として求めることができ、逆も同様である。左（又は右）中央ラインに沿った点に対して、同様な三角形により数学的関係は次のように非常に簡単になる。
Os=Se×(深さ-Vd)/深さ・・・（式１）
【００３９】
この簡単な関係は、中央ラインに対して小さな角度の他の点に対しても良好に近似できる。左（又は右）中央ラインから外れた点を含むＯｓ用の一般的な等式は、平面スクリーン表示用の１／ｃｏｓ（左角度）の関数を次のように用いる。
Os=Se×(深さ-Vd)/(深さ×cos(左角度))・・・（式２）
この関係を視差（Ｏｓ）及び深さの間の変換に用いることができる。
【００４０】
本質的には、適切な設定の際、表示は、表示スクリーン表面（観察距離又は１Ｖｄ）と一致する面、観察者からの距離の１／２（１／２Ｖｄ）、観察距離の２倍の面（２Ｖｄ）及び無限の面を示す。Ｓｅよりも大きい視差（Ｏｓ）は、「無限の向こう」である深さに対応する。この大きな視差が与えられた対象物は、一般に、典型的な観察者ではＯｓがＳｅを超える量に対応する不快を起こす。
【００４１】
このＳｅの超過と共にパーヌム野（Panum's area）／ボリューム限界（融合限界）の他の違反は、知覚差ベクトルでの余分なコンポーネントとして、図２の立体ビデオ２００用の完全な基準としての本質的な予測器でのＤＭＯＳ計算に配慮（オプションとして）できる。例えば、上述の知覚差ベクトルの１つのコンポーネントとして深さの差を捉えるが、融合限界を超える視差量（不一致差で考慮された部分における）は、同様にＤＭＯＳ計算での要因にできる。
【００４２】
図５からの要因を用いて、対応する基準イメージ２１２及び試験イメージ２１４用の基準深さマップ及び試験深さマップを図２に示すように発生できる。深さマップに影響する要因には、イメージのサイズ（表示モデルから得る）、表示面からの距離（ビュー・モデルから得る）、基準イメージ２１２及び試験イメージ２１４の各々の左及び右のイメージの間の視差がある。次に、この試験深さマップを概要測定ブロック２９０に与えて、品質レーティングの標準２Ｄ予測からの既発生済みの予測を変調する。
【００４３】
深さマップ差（試験−基準）及び不一致マップ差は、図２の概要の測定モジュール２９０により２Ｄ知覚差（ＣＩＥＣＡＭ０２｛｛ａ，ｂ｝｝単位を用いた％知覚コントラスト差と、オプションとしてのカラー知覚差）と組合されると共に、米国特許第６８２９００５号明細書に記載の如き技術を用いてＤＭＯＳに変換される。いくつかの実施例において、最悪のトレーニング・シーケンスからの対応値により、各知覚差（深さ及び不一致を含む）コンポーネントが正規化される。米国特許第６８２９００５号明細書に記載のＤＭＯＳ知覚方法が知覚コントラスト差のみを用いて、非常に悪いビデオの例の知覚コントラスト差に正規化する（ＩＴＵ−ＲＢＴ．５００のシミュレーション最悪トレーニング）のに対して、この方法では、各最悪ビデオ応答によって各知覚差コンポーネントを正規化することによってベクトルを生成できる。例えば、深さで主要エラーを有する最悪のＤＭＯＳでのビデオ例（品質が劣悪であると見なせる試験ビデオ）を用いて、深さ差を正規化できる。米国特許第６８２９００５号明細書に記載の如き技術を用いて、正規化された差ベクトルの長さを次に測定して、Ｓカーブ非直線性に合わせてもよい。他の実施例において、平均に正規化するよりもＳカーブ非直線性に応じて、知覚差コンポーネントの各々を別々に処理してもよい。
【００４４】
２Ｄビデオ品質予測システム２６０は、ＤＭＯＳ予測を生じる際の中間ステップとして、知覚差ベクトルを発生する。知覚差ベクトルの発生にて多数の要因を考慮するが、例としては後述のようなものである。この知覚差ベクトルは、以下の如きいくつかのコンポーネントを含んでいる。
知覚差ベクトル={pad,pbd,pcd,pdd,ped,pmd}
なお、
pad=ＣＩＥＣＡＭ０２カラー・アピアランス座標ａでの差
pbd=ＣＩＥＣＡＭ０２カラー・アピアランス座標ｂでの差
pcd=百分率変化の単位での知覚コントラストでの差
pdd=百分率変化の単位での知覚深さでの差
ped=融合限界（深さの単位で）を超えた視差の量での差
pmd=閉塞（occlusion）からの左対右イメージの不一致、過度の融合限界、不一致欠陥、不一致ラミネーション(lamination)等での差
である。
【００４５】
pddの一例は、
pdd=100%×(試験深さ−基準深さ)／基準深さ
である。
【００４６】
さらに、２Ｄビデオ品質予測システム２６０が発生した知覚差ベクトルを用いると、米国特許第６８２９００５号明細書などに記載の技術を用いて、ＤＭＯＳ予測を行う種々の方法がある。ＤＭＯＳ予測を行う例は、次のようになる。
DMOS=Ｓカーブ(ベクトル長（トレーニング正規化（知覚差ベクトル））
ここで、
トレーニング正規化({pad,pbd,pcd,pdd,ped,pmd}) = {(pad-JNDa)/(tpad-JNDa), (pbd-JNDb)/(tpbd-JNDb), (pcd-JNDc)/(tpcd-JNDc), (pdd-JNDd)/(tpdd-JNDd), (ped-JNDe)/(tped-JNDe), (pmd-JNDm)/(tpmd-JNDm) }
JNDa=ＣＩＥＣＡＭ０２ａ次元での丁度際立つ差であり、（例えば）約０．０２５
JNDb=ＣＩＥＣＡＭ０２ｂ次元での丁度際立つ差であり、（例えば）約０．０２５
JNDc=知覚コントラスト用の丁度際立つ差であり、（例えば）約０．１％
JNDd=深さ、観察条件及び内容による丁度際立つ差であり、（例えば）約０
JNDe=深さ超過融合JNDd用の丁度際立つ差
JNDm=不一致用の丁度際立つ差であり、ほぼ、視差に変換されたJNDd
tpad=pad用の最悪トレーニング結果
tpbd=pdb用の最悪トレーニング結果
tpcd=pcd用の最悪トレーニング結果
tpdd=pdd用の最悪トレーニング結果
tped=peb用の最悪トレーニング結果
tpmd=pmd用の最悪トレーニング結果
【００４７】
さらに、２Ｄビデオ品質予測システム２６０において、ＤＭＯＳ予測を発生する際に、知覚応答の任意の組合せを用いることができる。例えば、単にpcdを用い、０を他のコンポーネントに割り当てて、既存のテクトロニクスのＰＱＡＤＭＯＳ結果に単に合わせて、ルミナンスのみのＤＭＯＳを計算できる。
【００４８】
［上述の装置及び方法の変形］
図１及び図２に示した本発明の実施例の利点は、精度及び頑強性と、速度、複雑さ及び実現都合とのバランスである。さらに一層精度の高いバージョンは、著しく計算コストが高く複雑でもよければ、実現できる。この方法のバージョンにおいて、図２に示す４つのビデオ・チャネル（基準左、基準右、試験左、試験右）を先ず知覚応答（ルミナンス用の％知覚コントラストと、オプションとしてのカラー用ＣＩＥＣＡＭ０２｛｛ａ，ｂ｝｝）に変換する。これは、ビデオの本質的品質レーティングの予測を行うシングル・エンド（基準なし）バージョンにより達成できる。これは、４つの入力ビデオ・チャネルの各々の代わりに、基準入（又は、等価的に、基準時空的な適応フィルタの出力）用の全ての黒を用いる。次に、これら４つの知覚応答を用いて、上述の知覚及び不一致測定値を発生する。処理の残りは、同じか又は類似である。
【００４９】
精度の改善は、主に、イメージが融合したイメージの融合の予測程度に由来する。この変動は、うまくいった融合の視覚的精度、マスキング及び他の要因を考慮したためである。
【００５０】
上述の主要方法についての他の判断には、図３を参照して説明した視差の反復計算を含む。２Ｄビデオ品質予測システム２６０に用いる表示サイズ及び観察距離の情報を用いて、視差及び深さの間での変換を行う。これには、ヒステリシス処理も含む。よって、パーヌム野（ボリューム）、視差変化のレート（両眼連動レートに関連する深さ変化レートによる）に基づいて視差レンジ限界を設定する。
【００５１】
散乱に基づく欠陥により「散乱」されるオプションの注意モデル２８４を更新して、追加の散乱として深さ差及び不一致差を含むようにしてもよい。これは、校正重み付け（一応は、知覚コントラスト差散乱）を用いて、これら差を単に加算して実現できる。実質的に、注意モデルの目的は、空間及び時間での各位置にて注意を引く可能性を見積もることである。深さ差（基準３Ｄビデオに対する試験）を伴う領域に注意を引く可能性は、一般的に、この差の大きさに比例する。これは、不一致差でも同様である。
【００５２】
上述のように、ここで説明したのと同じ又は類似の方法を用いて、｛左、右｝ビデオ及び｛２Ｄ、深さ｝ビデオ表現の両方も測定できる。すなわち、｛２Ｄ、深さ｝ビデオでは、視差測定及び融合ステップを省略できる。また、不一致を０に設定する。または、深さイメージに基づくレンダリング（ＤＩＢＲ）方法の如き方法の空間アプリケーションを用いて、不一致を見積もることができる。例えば、閉塞による不一致を次のように迅速に見積もることができる。
１）大きな深さ勾配を検索する。
２）ＤＩＢＲ（又は類似の方法）を用いて、局部的な（サブ・イメージ）左及び右ビューの見積りを行う。
３）図３を参照して説明したのと同じ又は類似の方法を用いて、これらの間の不一致を計算する。
【００５３】
本発明の特定実施例について説明したが、本発明の要旨は、これら実施例に限定されるものではないことが明らかであろう。本発明の要旨を逸脱することなく、種々の変形変更が可能である。
【符号の説明】
【００５４】
１０ 予測システム
１２ 第２入力手段
１４ 第１入力手段
２２ 評価ブロック（第２アナライザ）
２４ 評価ブロック（第１アナライザ）
４２ 第２融合器
４４ 第１融合器
６０ ２Ｄ品質アナライザ
９０ 概要ファシリティ（概要手段）
２００ 品質予測器
２２２、２２４ 視差測定ブロック
２２６ 分離器（第２入力手段）
２２８ 分離器（第１入力手段）
２３２ 視差測定ブロック（第２アナライザ）
２３４ 視差測定ブロック（第１アナライザ）
２４２ 第２融合器
２４４ 第１融合器
２６０ ２Ｄビデオ品質予測システム（品質アナライザ）
２６２ 基準表示モデル
２６４ 試験表示モデル
２６６ 基準ビュー・モデル
２６８ 試験ビュー・モデル
２７２、２７４ 発生器
２８０ 知覚差予測システム
２８４ 注意モデル
２９０ 概要測定モジュール（概要手段）
３１６、３１８ 垂直ダウン・サンプル処理
３２０、３２２ 水平ダウン・サンプル処理
３２６、３２８ 双方向ＩＩＲアンシャープ・マスキング処理
３３０ 差の絶対値処理
３４０ 双方向ＩＩＲ局所平均処理
３５０ 視差計算／最適化処理
【技術分野】
【０００１】
本発明は、一般に、イメージの品質予測に関し、特に、３次元（立体）ビデオの本質的品質を予測する品質予測システムに関する。
【背景技術】
【０００２】
立体に基づく３Ｄ（３次元）技術を現在用いているテレビジョン放送局、映画などの業界では、種々の品質保証及び品質問題に直面している。アーティファクト及び欠陥を処理することに、より多くのユーザが悩んでいる。さらに、３次元ビデオは、現在人気が上昇しているが、いくらかの視聴者にとっては視覚的に不快なものである。なお、不快さは、典型的には、３Ｄイメージの立体（左及び右）イメージの間の水平の視差の量に関連している。
【０００３】
２次元ビデオの制作設定において、ビデオに対する指示、予測、警告、視覚的不快及び欠陥の原因を求めるのに現在の技術が利用可能である。たとえ異なるやり方であっても、これら技術のいくつかを用いて、３Ｄイメージの右イメージ及び左イメージに関する測定値を種々に組合せして測定を行っている。例えば、技術は、進歩しており、３Ｄイメージを形成する右及び左の２Ｄイメージを別々に測定し、次に、右及び左の品質結果を平均化する。他の例として、３Ｄビデオ品質（アセスメント）評価にテクトロニクス社製ＰＱＡ６００型を用い、左ビューのビデオ品質評価のために、未処理の左（基準）ビデオに対して処理済みの左（テスト）ビデオを測定し、右ビューについても同じ測定を行う。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２２３５８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、３Ｄビデオを既存の２Ｄビデオから発生することが増えてきている。さらに、シネマ用の３Ｄ映画をブルーレイＤＶＤなどで再利用するなど、ビデオ装置（コーデックなどの処理及び捕捉）の開発研究や他のアプリケーションのために、他の３Ｄ処理も行われている。現在、立体ビデオの本質的品質を直接予測する完全な基準システムが存在しない。
【０００６】
そこで、本発明は、従来技術の上述及びその他の制限を解決するものである。
【課題を解決するための手段】
【０００７】
本発明の態様は、次の通りである。
（１）基準３次元ビデオに対する試験３次元ビデオの品質を予測する品質予測システムであって； 左コンポーネント及び右コンポーネントを含む試験３次元ビデオを受ける第１入力手段と；左コンポーネント及び右コンポーネントを含む基準３次元ビデオを受ける第２入力手段と；上記試験３次元ビデオの上記右コンポーネントに対する上記試験３次元ビデオの上記左コンポーネントの比較に関する第１視差情報を発生する第１アナライザと；上記基準３次元ビデオの上記右コンポーネントに対する上記基準３次元ビデオの上記左コンポーネントの比較に関する第２視差情報を発生する第２アナライザと；上記第１アナライザからの上記視差情報を用いて上記試験３次元ビデオの上記左コンポーネント及び上記右コンポーネントを組合せて、融合した２次元試験ビデオを生成する第１融合器と；上記第２アナライザからの上記視差情報を用いて上記基準３次元ビデオの上記左コンポーネント及び上記右コンポーネントを組合せて、融合した２次元基準ビデオを生成する第２融合器と；上記２次元基準ビデオを上記２次元試験ビデオと比較して、第１予測品質評価値を発生する品質アナライザと；上記品質アナライザに結合し、上記第１及び第２アナライザからの得た情報により上記第１予測品質評価値を変調して、上記基準３次元ビデオに対する上記試験３次元ビデオの比較の予測品質評価値を発生する概要（summary）手段とを具えた３次元ビデオの品質予測システム。
（２）態様１による品質予測システムであって、上記第１視差情報は、上記基準３次元ビデオの上記右コンポーネントに対する上記基準３次元ビデオの上記左コンポーネントの比較に関連した不一致データである。
（３）態様１による品質予測システムであって、上記第１視差情報は、上記基準３次元ビデオの上記右コンポーネントに対する上記基準３次元ビデオの上記左コンポーネントの比較に関連した視差データである。
（４）態様１による品質予測システムであって、上記第１及び第２アナライザから得た上記情報は、上記試験３次元ビデオ及び上記基準３次元ビデオから夫々得た第１及び第２深さマップ情報である。
（５）態様１による品質予測システムであって、上記第１融合器は、上記試験３次元ビデオの上記左及び右コンポーネントを組合せて上記融合した２次元試験ビデオを生成する際に、上記第１視差情報を補正オフセットとして用いる。
（６）態様１による品質予測システムであって、上記第１融合器は、上記融合済み２次元試験ビデオを生成する際に、上記試験３次元ビデオの上記左及び右コンポーネントに等しい重み付けを適用する。
（７）態様１による品質予測システムであって、上記第１融合器は、上記融合済み２次元試験ビデオを生成する際に、１の相補的手法を用いて、上記試験３次元ビデオの上記左及び右コンポーネントに異なる重み付けを割り当てる。
（８）態様１による品質予測システムであって、上記概要手段は、少なくとも１つのＣＩＥＣＡＭ０２カラー・アピアランス座標からのコンポーネントを含む知覚差ベクトルを発生する。
（９）態様８による品質予測システムであって、上記概要手段は、上記試験又は基準３次元ビデオの少なくとも１つの知覚した深さからのコンポーネントを含む上記知覚差ベクトルを発生する。
（１０）態様８による品質予測システムであって、上記概要手段は、融合限界と上記第１及び第２視差情報との比較分析から得たコンポーネントを含む上記視覚差ベクトルを発生する。
（１１）態様８による品質予測システムであって、上記概要手段は、閉塞（occlusion）から得たコンポーネントを含む上記知覚差ベクトルを発生する。
（１２）態様８による品質予測システムであって、上記概要手段は、不一致データ分析から得たコンポーネントを含む上記知覚差ベクトルを発生する。
（１３）態様８による品質予測システムであって、上記概要手段、注意分析から得たコンポーネントを含む上記知覚差ベクトルを発生する。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例による立体ビデオ用の完全な基準となる本質的な品質予測器（システム）のブロック図である。
【図２】図１の立体ビデオ用の完全な基準となる本質的な品質予測システムの追加的な詳細を示すブロック図である。
【図３】立体イメージを比較するのに用いることができる処理を示す例示的な流れ図である。
【図４】図３に示す２つの別々のイメージを組合せて作成した単一の融合イメージの例を示す図である。
【図５】本発明の実施例に用いる３次元イメージの標準ビューのプレーン観察深さ及び観察角度を示す基準イメージの図である。
【発明を実施するための形態】
【０００９】
本発明の概念においては、予測ピクチャ品質レーティング（評価）を行う方法を提供する。一般的に、視差測定は、３次元イメージで行い、３次元イメージの左及び右のサブコンポーネントを比較する。次に、組み合わせのため、視差測定からのデータを用いて、３次元イメージの左及び右のサブコンポーネントを２次元イメージに組合せる（融合する）。この２次元イメージに基づいて予測品質測定を行うが、これは、元の３次元イメージに関する品質情報を含んでいる。
【００１０】
本発明の他の概念は、基準立体ビデオに対する試験立体ビデオの品質を予測する品質予測システムを提供する。この予測システムは、試験３次元イメージ及び基準３次元イメージを受ける入力手段を含んでいる。これら３次元イメージ・ビデオの左及び右のコンポーネントは、比較器により別々に比較され、視差測定が行われる。融合器は、比較によるデータを用いて、３次元イメージの左及び右の要素を２次元イメージに夫々組合せる。次に、ピクチャ品質アナライザを用いて、２次元イメージに基づくピクチャ品質予測、即ち、測定を行う。さらに、概要（summary）ファシリティ（手段）は、品質予測システムの最終出力内に３次元比較の情報を含める。
【実施例】
【００１１】
今まで放送に用いた立体ビデオ表現の最も一般的な方法は、（公知のＭＰＥＧ−２又はＨ．２６４標準を用いて）並んで伝送された、又は、分離された別々のチャネル（マルチビュー・ビデオ・コーディング、即ち、Ｈ．２６４のＭＶＣ）で伝送された左右又は上下のビデオ・ビューを分離する。代わりに、他のチャネルの対応する深さマップも有する一つのチャネルで（即ち、１つのチャネルで２つのチャネル分の伝送ができるように、ＭＶＣの適応が可能ならば）２Ｄフレームを伝送してもよい。前者の方法（左及び右を分離する方法）を用いて、本発明のシステムの概要を説明するが、後者の方法（２Ｄフレーム＋チャネルの深さによるビデオ表現）でも本発明の要旨を用いて測定ができる。
【００１２】
本発明の実施例は、２Ｄの現在の解決法と両立性のある予測品質レーティングを行うスケール調整可能な（高精度に対するイメージ分解能、フレーム・レート、実時間が調整可能な）方法を提供する。すなわち、フレーム当たり及びシーケンス当たりが１つのスカラー測定基準、即ち、ＤＭＯＳ予測となり、３Ｄ試験ビデオ及び３Ｄ基準ビデオの間の本質的な差平均オピニオン・スコアが得られる。
【００１３】
図１は、本発明の実施例による立体ビデオ用の完全な基準である本質的品質予測器（予測システム）１０のブロック図である。品質予測器１０は、３Ｄイメージ即ち３Ｄビデオである基準イメージ及び試験イメージ用の２つの分離入力手段１２及び１４を有する。本願を通して、用語「３Ｄイメージ」（単数又は複数）の用いる際には、静的イメージ及びビデオ（動的）イメージの両方を含むことを理解されたい。３Ｄイメージの各々は、図示の如く、左コンポーネント及び右コンポーネントの両方を含む。
【００１４】
一般的な意味で、詳細に後述するように、最初の測定は、アナライザである評価（アセスメント）ブロック２２、２４の各々にて３Ｄイメージの各々に対して別々に行う。次に、基準イメージ及び試験イメージの各々の左コンポーネント及び右コンポーネントの各々を、融合したイメージに夫々組合せる。特に、基準イメージの左イメージ及び右イメージを融合器４２にて組合せて、融合された基準イメージ５２を発生し、試験イメージの左イメージ及び右イメージを融合器４４にて組合せて、融合された試験イメージ５４を発生する。この融合処理は、融合されたイメージ５２、５４を発生するのに、評価ブロック２２、２４の各々からのデータ（視差情報）を用いる。
【００１５】
融合された基準イメージ５２及び試験イメージ５４は、２Ｄ品質アナライザ６０の入力として供給される。この２Ｄ品質アナライザ６０は、いくつかの実施例において、上述のテクトロニクス社製ＰＱＡ６００型、又は同様な機能を有するアナライザでもよい。アナライザ６０の出力は、概要（summary）ファシリティ（手段）９０に伝送される。さらに、概要ファシリティ９０は、評価ブロック２２、２４からも入力を受ける。これら評価ブロック２２、２４は、３Ｄ試験イメージ及び３Ｄ基準イメージの３Ｄ状態に関する情報を概要ファシリティ９０に提供する。次に、概要ファシリティ９０は、３Ｄ立体イメージの予測したピクチャ品質レーティング（評価）の出力を発生する。この品質レーティングは、立体ビデオを分析するのに有用なＤＭＯＳ（差平均オピニオン・スコア：Difference Mean Opinion Score）レーティング又は他のレーティングの如きものである。
【００１６】
図２は、図１の立体ビデオ用の完全な基準の本質的な品質予測器（システム）の実施例２００の詳細を示すブロック図である。
【００１７】
品質予測器２００は、３Ｄ基準イメージ入力２１２と３Ｄ試験イメージ入力２１４を受ける。これら３Ｄ入力を視差測定ブロック２２２、２２４に夫々供給する。左コンポーネント部分及び右コンポーネント部分に分かれて受けていない場合に、測定ブロック２２２には、分離器（入力手段）２２６が含まれ、この分離器２２６が基準イメージ入力２１２を左コンポーネント部分及び右コンポーネント部分に分ける。いくつかの場合に、分離は、（Ｈ．２６４ＭＶＣの如く）通常である。他の場合に、左チャネルは、基準イメージ入力２１２の左又は上の部分から取られ、右チャネルは、入力フレームの残りである。測定ブロック２２４は、試験イメージ２１４用の類似の分離器（入力手段）２２８を含んでいる。分離が完了すると、全部で４つのビデオ・チャネルである基準左、規準右、試験左、試験右が生じる。
【００１８】
イメージ２１２、２１４の各々の左要素及び右要素は、視差測定ブロック（アナライザ）２３２、２３４に夫々入力する。これら視差測定ブロック２３２、２３４を用いて、３Ｄイメージ２１２、２１４のフレーム毎の視差及び不一致（ミスマッチ）を測定する。図３は、視差測定ブロック２３２、２３４で生じる処理の例を示す。
【００１９】
図３は、立体イメージの左フレーム及び右フレームの例から視差データ・イメージ及び不一致データ・イメージを作成する処理３００の例を示す流れ図である。処理３００において、３Ｄイメージは、左イメージ３１２及び右イメージ３１４に既に分離している。図３に示す左イメージ３１２及び右イメージ３１４が図２の基準３Ｄイメージ又は試験３Ｄイメージの一方のみである点がここでは重要である。すなわち、図３に示す処理は、基準イメージ及び試験イメージの両方に対して行う処理であるが、図示する処理は、立体イメージ（基準イメージ及び試験イメージ）の一方のみの処理である。
【００２０】
インターネットのwww.research.microsoft.comから入手可能なマイクロソフト・テクニカル・レポートＭＳＲ−ＴＲ−２００１−８１であるダニエル・スチャステイン及びリチャード・スゼリスキの論文「高密度２フレーム立体一致アルゴリズムの分類及び評価（A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms）」（以下、テクニカル・レポートと言う）には、３次元イメージの空間的視差を測定する一般的な方法が記載されている。視差測定を行う際の一般的な処理ステップは、次のａ〜ｄとなる。すなわち、ａ）ローカル・ベースで各イメージの部分の空間的マッチングを表す測定値を定量化する。ｂ）かかる定量化から局部的な結果を集計する。ｃ）視差を計算し／正規化する。ｄ）視差を洗練する。
【００２１】
オプション処理３１６、３１８において、左イメージ３１２及び右イメージ３１４を先ず垂直方向にダウン・サンプルする。例えば、イメージ３１２、３１４が標準ＨＤビデオ・フレームのように垂直方向に１０８０ピクセルを有し水平方向に１９２０ピクセルを有すると、各イメージは、１０×１９２０ピクセル・イメージにダウン・サンプルされる。これは、１対のイメージ（左及び右）を生成し、各イメージが正確に１０水平ラインを有し、各水平ラインが１９２０ピクセルの長さとなる。
【００２２】
他の１組のオプション処理３２０、３２２においては、垂直ダウン・サンプルされたイメージのラインが同様に短いラインに水平方向にダウン・サンプルされる。これは、例えば、立体イメージを評価するモニタの表示の幅が１９２０ピクセル未満の場合に、適切である。イメージを特定数のピクセルにダウン・サンプルする代わりに、所定の百分率、例えば、元の長さの７０％の長さにダウン・サンプルしてもよい。垂直及び水平の両方向でのかかるダウン・サンプルは、システムの計算速度と全体の測定の精度との間でのトレードオフである。
【００２３】
１対の処理３２６、３２８は、双方向ＩＩＲロウパス・フィルタを用いることにより、双方向ＩＩＲロウパス・フィルタ処理されたイメージを各々から減算することにより、元のイメージ又はダウン・サンプルされたイメージにてアンシャープ・マスク処理（マスキング）を行う。かかる双方向ＩＩＲロウパス・フィルタは、参照文献である米国特許出願公開第２００８／０１５２２５７号明細書「ビデオ空間スケール、オフセット及びクロッピングの測定装置及び測定方法（Measuremnt Apparatus and Method of Measurement of Video Spatial Scale, Offset and Cropping）」及び米国特許出願公開第２０１０／０２２６５９２号明細書「イメージ位置合わせの方法及びシステム（Methods and Systems for Image Registration）」に記載されている。ここで用いる双方向ＩＩＲフィルタのフィルタ係数は、ａ１＝１−ｂ０である。この結果は、イメージの各々又は垂直にダウン・サンプルされたイメージ・ラインにＤＣライン（低周波）ラインが生じる。
【００２４】
次に、処理３３０にて、例えば、変調された左及び右のイメージの間の差の絶対値を用いて、処理３２６、３２８からのアンシャープ・マスクされたイメージを組合せる。例えば、矩形差、相互相関、若しくは位相又はウェーブレット位相分析を用いることにより、他の技術も同様に用いることができる。実質的に、左及び右のイメージを異なる相対シフトにて比較し、局部的なマッチングの定量化の結果が各シフトとなる。
【００２５】
処理３４０は、処理３３０からの差値を、上述の双方向ＩＩＲロウパス・フィルタに通過させて、連続的な局所平均を生成する。次の処理３５０は、視差計算／最適化を行う。典型的には、これは、イメージ部分毎のベスト・マッチを行うことにより、迅速に実行できる。例えば、立体一致がピクセルの密度で測定されると、視差計算をピクセル毎に実行できる。しかし、全てのピクセル・シフトを計算した後に、いくつかのアプリケーションではうまくいかないと思える分、シフトのグループを「滑らかさ」又は不連続性について評価できる。ノイズ、メジアン又は他のフィルタによるフィルタ処理を用いてもよい。
【００２６】
処理３００のこの段階にて、処理３５０の出力から、視差マップ又はイメージ３６０と、不一致マップ又はイメージ３７０を生成する。まず、処理３５０の出力の各列に対して、最小エラー値を選択し、そのデータ値を不一致イメージ３７０のピクセルとしてコード化する。不一致イメージ３７０の最上ラインは、処理３５０の出力の各列における最小値の選択から作り、垂直ダウン・サンプル処理３１６、３１８を補償するために、更に１０７回繰り返す。すなわち、不一致イメージ３７０の最初の１０８ラインが同じである。これは、元のイメージ３１２、３１４がダウン・サンプルされても、不一致イメージ３７０及び元の立体イメージ３１２、３１４が同じ寸法となることを確実にする。全ての最小エラー値が選択された後、これら値は、不一致イメージ３７０用の最大イメージ・コントラスト用に正規化される。この不一致イメージ３７０は、立体イメージの特定部分の３次元深さ知覚を観察者がうまく生じるかの表現として影響する。すなわち、不一致イメージ３７０にて明るい領域として現れる不一致の高いレベルは、観察者の頭脳内で右イメージ３１２及び左イメージ３１４がうまく融合するという課題を観察者が持っていることを示す。
【００２７】
また処理３５０からのデータ出力から、視差イメージ３６０が生じる。視差イメージ３６０内の各ピクセルは、上述のように求まる最小エラーとするために各ピクセルが水平ラインに沿ってシフトしなければならないピクセルの数を表す。すなわち、それとは異なり、全ての列内での実際の最小比較値を得て不一致イメージ３７０を作る場合には、最長値が現れる各列のライン数に対応するシフトを視差イメージ３６０内でプロットして、視差イメージ３６０を作る。シフトは、本実施例にてライン数に関連し、シフト＝ライン数×シフト増分＋初期シフトとなる。不一致イメージ３７０と同様に、ラインを更に１０７回繰り返して視差イメージ３６０を作るので、そのサイズが元の左イメージ３１２及び右イメージ３１４に一致する。
【００２８】
３Ｄビデオでの時間に伴う深さの変化の高レートと深さの極値とは、視覚的不快さに関連することが知られている。同様に、左右の不一致部分は、視覚的不快さの原因になる。よって、更に後述するように、この情報を立体イメージ品質の最終的予測の要因とすることが適切である。
【００２９】
再び図２を参照する。視差測定ブロック２３２、２３４が視差データ及び不一致データを発生するように示してあるが、これら視差データ及び不一致データを図３に示す如きイメージに必ずしも生成する必要はない。
【００３０】
次に、処理（融合器）２４２及び２４４の各々にて、基準フレーム２１２及び試験フレーム２１４の視差測定値を用いて、融合されたフレーム２５２、２５４を夫々生成する。融合されたイメージの例を図４に示す。ここで、融合されたイメージ４１０は、図３の個別の左イメージ３１２が右イメージ３１４と融合され、イメージ３６０のように示され計算された視差測定値を更に用いた最終結果である。融合の証が現れている融合フレーム４１０の特定領域４２０及び４３０を留意されたい。
【００３１】
ビデオの各部分に対して、図３の処理３００にて生成された視差マップを補正オフセットとして用いて、特定の基準３Ｄイメージ２１２又は試験３Ｄイメージ２１４の左又は右のチャネルを整合させる。よって、左及び右のフレームの重み付けされた和として実現された２つの「クロス・フェード」により、位置合わせ済みの左及び右のフレームが「融合」される。名目上は、クロス・フェードは、左及び右が等しく重み付けされる。すなわち、例えば、融合されたイメージ２５２が次のようにピクセルで構成される。
融合された［ピクセル］＝左［ピクセル＋オフセット（視差）×０．５］×０．５＋左［ピクセル−オフセット（視差）×０．５］×０．５
【００３２】
しかし、図２の融合された基準イメージ２５２（又は融合された試験イメージ２５４）の融合は、必ずしも等しい必要がない。すなわち、オプションとして、直接ユーザ制御又は注意（アテンション）モデル帰還を用いて、右又は左の目の優先度をモデル化できる。例えば、注意モデル（後述する）は、左目内の近い対象により左目が優位となり、又は、いくつかの注意を引く領域がこれに対抗することを定める。左目がより優位ならば、それにより、上述の０．５の重み付けを増やし、右目用には１の相補的重み付けを用いる。同様に、重み付けを右目が優位な場合にも適用できる。図４の融合したイメージ４１０は、同じ重み付けの左イメージ３１２及び右イメージ３１４（図３）を用いる融合フレームのルミナンス部分の例を示す。
【００３３】
融合した基準イメージ２５２及び試験イメージ２５４を２Ｄビデオ品質予測システム（品質アナライザ）２６０に入力する。このビデオ品質予測システム２６０は、ＤＭＯＳの単位で予測本質品質データを最終的に発生する。しかし、ビデオ品質予測システム２６０は、知覚差応答の有用な中間結果も生成する。これら応答は、ＣＩＥＣＡＭ０２｛ａ，ｂ｝単位を用いて、百分率知覚コントラスト差と共に、オプションとしてカラー知覚差に関して得られる。ＣＩＥＣＡＭ０２は、ＣＩＥテクニカル・コミティー８−０１が２００２年に発行した既知の「カラー管理システム用のカラー・アピアランス・モデル（Color Appearance Modeling for Color Management Systems）」である。
【００３４】
ビデオ品質予測システム２６０は、基準表示モデル２６２及び試験表示モデル２６４と共に基準ビュー・モデル２６６及び試験ビュー・モデル２６８の如く、予測結果を発生する種々のモデルを更に含んでいる。これらモデルを用いて、評価対象のビデオの観察条件に基づいて知覚出力を調整する。
【００３５】
知覚差予測システム２８０は、基準イメージ２１２及び試験イメージ２１４の間の差の予測を行う際に、種々のモデル２６２、２６４、２６６及び２６８からの出力を得る。オプションの注意モデルは、イメージ２１２、２１４自体のフレーム内に生じる作用に基づいて最終出力予測スコアを変調する機能がある。最終的に、概要測定モジュール（概要手段）２９０は、上述の知覚差予測システム２８０が発生した情報の全てと共に、視差測定システム２３２、２３４が発生した試験不一致データと共に、１対の深さマップを組合せて、システム２００の出力として、立体イメージ品質レーティングの最終予測を発生する。なお、１対の深さマップの一方が基準ビデオ用で、他方が試験ビデオ用である。
【００３６】
上述のように、概要測定モジュール２９０が用いる１組の要因は、図５を参照して説明する発生器２７２、２７４の夫々が発生する基準深さマップ及び試験深さマップである。
【００３７】
図５は、１対のオフセットされた左目及び右目からの相対距離での表示角度の例の図的参考図５００である。参考図５００において、左目Ｌ及び右目Ｒは、距離Ｓｅだけ離れるように設定されている。図５に示すように、各表示深さでの左目及び右目からのラインの交差角度は、夫々の幾何学的配置で決まる。参考図５００において、３つの深さ面が示されている。これら深さ面は、標準深さ面Ｖｄと、Ｖｄの距離の１／２での深さ面１／２Ｖｄと、２倍の深さ面２Ｖｄとである。観察する任意の深さ面での任意の点にて、左目及び右目からの視線がその点にて交差しなければならない。これら視線は、種々の点にて表示面とも交差する。視界の左ラインと基準としての表示面との交差を用いて、視界の右ラインと表示面との交差をオフセットＯｓとして測定できる。よって、Ｏｓは、特定深さでの点に対する左イメージ及び右イメージの間の水平シフトを表す。図５において、右目に関して、Ｏｓｉが無限大の点に対するシフトを表し、Ｏｓ２が観察距離の２倍での点に対するシフトを表し、Ｏｓｈが観察距離の半分での点に対するシフトを表す。表示面上での点に対して、Ｏｓ＝０であることに注意されたい。
【００３８】
この関係から、右及び左の分離を深さの関数として求めることができ、逆も同様である。左（又は右）中央ラインに沿った点に対して、同様な三角形により数学的関係は次のように非常に簡単になる。
Os=Se×(深さ-Vd)/深さ・・・（式１）
【００３９】
この簡単な関係は、中央ラインに対して小さな角度の他の点に対しても良好に近似できる。左（又は右）中央ラインから外れた点を含むＯｓ用の一般的な等式は、平面スクリーン表示用の１／ｃｏｓ（左角度）の関数を次のように用いる。
Os=Se×(深さ-Vd)/(深さ×cos(左角度))・・・（式２）
この関係を視差（Ｏｓ）及び深さの間の変換に用いることができる。
【００４０】
本質的には、適切な設定の際、表示は、表示スクリーン表面（観察距離又は１Ｖｄ）と一致する面、観察者からの距離の１／２（１／２Ｖｄ）、観察距離の２倍の面（２Ｖｄ）及び無限の面を示す。Ｓｅよりも大きい視差（Ｏｓ）は、「無限の向こう」である深さに対応する。この大きな視差が与えられた対象物は、一般に、典型的な観察者ではＯｓがＳｅを超える量に対応する不快を起こす。
【００４１】
このＳｅの超過と共にパーヌム野（Panum's area）／ボリューム限界（融合限界）の他の違反は、知覚差ベクトルでの余分なコンポーネントとして、図２の立体ビデオ２００用の完全な基準としての本質的な予測器でのＤＭＯＳ計算に配慮（オプションとして）できる。例えば、上述の知覚差ベクトルの１つのコンポーネントとして深さの差を捉えるが、融合限界を超える視差量（不一致差で考慮された部分における）は、同様にＤＭＯＳ計算での要因にできる。
【００４２】
図５からの要因を用いて、対応する基準イメージ２１２及び試験イメージ２１４用の基準深さマップ及び試験深さマップを図２に示すように発生できる。深さマップに影響する要因には、イメージのサイズ（表示モデルから得る）、表示面からの距離（ビュー・モデルから得る）、基準イメージ２１２及び試験イメージ２１４の各々の左及び右のイメージの間の視差がある。次に、この試験深さマップを概要測定ブロック２９０に与えて、品質レーティングの標準２Ｄ予測からの既発生済みの予測を変調する。
【００４３】
深さマップ差（試験−基準）及び不一致マップ差は、図２の概要の測定モジュール２９０により２Ｄ知覚差（ＣＩＥＣＡＭ０２｛｛ａ，ｂ｝｝単位を用いた％知覚コントラスト差と、オプションとしてのカラー知覚差）と組合されると共に、米国特許第６８２９００５号明細書に記載の如き技術を用いてＤＭＯＳに変換される。いくつかの実施例において、最悪のトレーニング・シーケンスからの対応値により、各知覚差（深さ及び不一致を含む）コンポーネントが正規化される。米国特許第６８２９００５号明細書に記載のＤＭＯＳ知覚方法が知覚コントラスト差のみを用いて、非常に悪いビデオの例の知覚コントラスト差に正規化する（ＩＴＵ−ＲＢＴ．５００のシミュレーション最悪トレーニング）のに対して、この方法では、各最悪ビデオ応答によって各知覚差コンポーネントを正規化することによってベクトルを生成できる。例えば、深さで主要エラーを有する最悪のＤＭＯＳでのビデオ例（品質が劣悪であると見なせる試験ビデオ）を用いて、深さ差を正規化できる。米国特許第６８２９００５号明細書に記載の如き技術を用いて、正規化された差ベクトルの長さを次に測定して、Ｓカーブ非直線性に合わせてもよい。他の実施例において、平均に正規化するよりもＳカーブ非直線性に応じて、知覚差コンポーネントの各々を別々に処理してもよい。
【００４４】
２Ｄビデオ品質予測システム２６０は、ＤＭＯＳ予測を生じる際の中間ステップとして、知覚差ベクトルを発生する。知覚差ベクトルの発生にて多数の要因を考慮するが、例としては後述のようなものである。この知覚差ベクトルは、以下の如きいくつかのコンポーネントを含んでいる。
知覚差ベクトル={pad,pbd,pcd,pdd,ped,pmd}
なお、
pad=ＣＩＥＣＡＭ０２カラー・アピアランス座標ａでの差
pbd=ＣＩＥＣＡＭ０２カラー・アピアランス座標ｂでの差
pcd=百分率変化の単位での知覚コントラストでの差
pdd=百分率変化の単位での知覚深さでの差
ped=融合限界（深さの単位で）を超えた視差の量での差
pmd=閉塞（occlusion）からの左対右イメージの不一致、過度の融合限界、不一致欠陥、不一致ラミネーション(lamination)等での差
である。
【００４５】
pddの一例は、
pdd=100%×(試験深さ−基準深さ)／基準深さ
である。
【００４６】
さらに、２Ｄビデオ品質予測システム２６０が発生した知覚差ベクトルを用いると、米国特許第６８２９００５号明細書などに記載の技術を用いて、ＤＭＯＳ予測を行う種々の方法がある。ＤＭＯＳ予測を行う例は、次のようになる。
DMOS=Ｓカーブ(ベクトル長（トレーニング正規化（知覚差ベクトル））
ここで、
トレーニング正規化({pad,pbd,pcd,pdd,ped,pmd}) = {(pad-JNDa)/(tpad-JNDa), (pbd-JNDb)/(tpbd-JNDb), (pcd-JNDc)/(tpcd-JNDc), (pdd-JNDd)/(tpdd-JNDd), (ped-JNDe)/(tped-JNDe), (pmd-JNDm)/(tpmd-JNDm) }
JNDa=ＣＩＥＣＡＭ０２ａ次元での丁度際立つ差であり、（例えば）約０．０２５
JNDb=ＣＩＥＣＡＭ０２ｂ次元での丁度際立つ差であり、（例えば）約０．０２５
JNDc=知覚コントラスト用の丁度際立つ差であり、（例えば）約０．１％
JNDd=深さ、観察条件及び内容による丁度際立つ差であり、（例えば）約０
JNDe=深さ超過融合JNDd用の丁度際立つ差
JNDm=不一致用の丁度際立つ差であり、ほぼ、視差に変換されたJNDd
tpad=pad用の最悪トレーニング結果
tpbd=pdb用の最悪トレーニング結果
tpcd=pcd用の最悪トレーニング結果
tpdd=pdd用の最悪トレーニング結果
tped=peb用の最悪トレーニング結果
tpmd=pmd用の最悪トレーニング結果
【００４７】
さらに、２Ｄビデオ品質予測システム２６０において、ＤＭＯＳ予測を発生する際に、知覚応答の任意の組合せを用いることができる。例えば、単にpcdを用い、０を他のコンポーネントに割り当てて、既存のテクトロニクスのＰＱＡＤＭＯＳ結果に単に合わせて、ルミナンスのみのＤＭＯＳを計算できる。
【００４８】
［上述の装置及び方法の変形］
図１及び図２に示した本発明の実施例の利点は、精度及び頑強性と、速度、複雑さ及び実現都合とのバランスである。さらに一層精度の高いバージョンは、著しく計算コストが高く複雑でもよければ、実現できる。この方法のバージョンにおいて、図２に示す４つのビデオ・チャネル（基準左、基準右、試験左、試験右）を先ず知覚応答（ルミナンス用の％知覚コントラストと、オプションとしてのカラー用ＣＩＥＣＡＭ０２｛｛ａ，ｂ｝｝）に変換する。これは、ビデオの本質的品質レーティングの予測を行うシングル・エンド（基準なし）バージョンにより達成できる。これは、４つの入力ビデオ・チャネルの各々の代わりに、基準入（又は、等価的に、基準時空的な適応フィルタの出力）用の全ての黒を用いる。次に、これら４つの知覚応答を用いて、上述の知覚及び不一致測定値を発生する。処理の残りは、同じか又は類似である。
【００４９】
精度の改善は、主に、イメージが融合したイメージの融合の予測程度に由来する。この変動は、うまくいった融合の視覚的精度、マスキング及び他の要因を考慮したためである。
【００５０】
上述の主要方法についての他の判断には、図３を参照して説明した視差の反復計算を含む。２Ｄビデオ品質予測システム２６０に用いる表示サイズ及び観察距離の情報を用いて、視差及び深さの間での変換を行う。これには、ヒステリシス処理も含む。よって、パーヌム野（ボリューム）、視差変化のレート（両眼連動レートに関連する深さ変化レートによる）に基づいて視差レンジ限界を設定する。
【００５１】
散乱に基づく欠陥により「散乱」されるオプションの注意モデル２８４を更新して、追加の散乱として深さ差及び不一致差を含むようにしてもよい。これは、校正重み付け（一応は、知覚コントラスト差散乱）を用いて、これら差を単に加算して実現できる。実質的に、注意モデルの目的は、空間及び時間での各位置にて注意を引く可能性を見積もることである。深さ差（基準３Ｄビデオに対する試験）を伴う領域に注意を引く可能性は、一般的に、この差の大きさに比例する。これは、不一致差でも同様である。
【００５２】
上述のように、ここで説明したのと同じ又は類似の方法を用いて、｛左、右｝ビデオ及び｛２Ｄ、深さ｝ビデオ表現の両方も測定できる。すなわち、｛２Ｄ、深さ｝ビデオでは、視差測定及び融合ステップを省略できる。また、不一致を０に設定する。または、深さイメージに基づくレンダリング（ＤＩＢＲ）方法の如き方法の空間アプリケーションを用いて、不一致を見積もることができる。例えば、閉塞による不一致を次のように迅速に見積もることができる。
１）大きな深さ勾配を検索する。
２）ＤＩＢＲ（又は類似の方法）を用いて、局部的な（サブ・イメージ）左及び右ビューの見積りを行う。
３）図３を参照して説明したのと同じ又は類似の方法を用いて、これらの間の不一致を計算する。
【００５３】
本発明の特定実施例について説明したが、本発明の要旨は、これら実施例に限定されるものではないことが明らかであろう。本発明の要旨を逸脱することなく、種々の変形変更が可能である。
【符号の説明】
【００５４】
１０ 予測システム
１２ 第２入力手段
１４ 第１入力手段
２２ 評価ブロック（第２アナライザ）
２４ 評価ブロック（第１アナライザ）
４２ 第２融合器
４４ 第１融合器
６０ ２Ｄ品質アナライザ
９０ 概要ファシリティ（概要手段）
２００ 品質予測器
２２２、２２４ 視差測定ブロック
２２６ 分離器（第２入力手段）
２２８ 分離器（第１入力手段）
２３２ 視差測定ブロック（第２アナライザ）
２３４ 視差測定ブロック（第１アナライザ）
２４２ 第２融合器
２４４ 第１融合器
２６０ ２Ｄビデオ品質予測システム（品質アナライザ）
２６２ 基準表示モデル
２６４ 試験表示モデル
２６６ 基準ビュー・モデル
２６８ 試験ビュー・モデル
２７２、２７４ 発生器
２８０ 知覚差予測システム
２８４ 注意モデル
２９０ 概要測定モジュール（概要手段）
３１６、３１８ 垂直ダウン・サンプル処理
３２０、３２２ 水平ダウン・サンプル処理
３２６、３２８ 双方向ＩＩＲアンシャープ・マスキング処理
３３０ 差の絶対値処理
３４０ 双方向ＩＩＲ局所平均処理
３５０ 視差計算／最適化処理
【特許請求の範囲】
【請求項１】
基準３次元ビデオに対する試験３次元ビデオの品質を予測する品質予測システムであって、
左コンポーネント及び右コンポーネントを含む試験３次元ビデオを受ける第１入力手段と、
左コンポーネント及び右コンポーネントを含む基準３次元ビデオを受ける第２入力手段と、
上記試験３次元ビデオの上記右コンポーネントに対する上記試験３次元ビデオの上記左コンポーネントの比較に関する第１視差情報を発生する第１アナライザと、
上記基準３次元ビデオの上記右コンポーネントに対する上記基準３次元ビデオの上記左コンポーネントの比較に関する第２視差情報を発生する第２アナライザと、
上記第１アナライザからの上記視差情報を用いて上記試験３次元ビデオの上記左コンポーネント及び上記右コンポーネントを組合せて、融合した２次元試験ビデオを生成する第１融合器と、
上記第２アナライザからの上記視差情報を用いて上記基準３次元ビデオの上記左コンポーネント及び上記右コンポーネントを組合せて、融合した２次元基準ビデオを生成する第２融合器と、
上記２次元基準ビデオを上記２次元試験ビデオと比較して、第１予測品質評価値を発生する品質アナライザと、
上記品質アナライザに結合し、上記第１及び第２アナライザからの得た情報により上記第１予測品質評価値を変調して、上記基準３次元ビデオに対する上記試験３次元ビデオの比較の予測品質評価値を発生する概要手段と
を具えた３次元ビデオの品質予測システム。
【請求項１】
基準３次元ビデオに対する試験３次元ビデオの品質を予測する品質予測システムであって、
左コンポーネント及び右コンポーネントを含む試験３次元ビデオを受ける第１入力手段と、
左コンポーネント及び右コンポーネントを含む基準３次元ビデオを受ける第２入力手段と、
上記試験３次元ビデオの上記右コンポーネントに対する上記試験３次元ビデオの上記左コンポーネントの比較に関する第１視差情報を発生する第１アナライザと、
上記基準３次元ビデオの上記右コンポーネントに対する上記基準３次元ビデオの上記左コンポーネントの比較に関する第２視差情報を発生する第２アナライザと、
上記第１アナライザからの上記視差情報を用いて上記試験３次元ビデオの上記左コンポーネント及び上記右コンポーネントを組合せて、融合した２次元試験ビデオを生成する第１融合器と、
上記第２アナライザからの上記視差情報を用いて上記基準３次元ビデオの上記左コンポーネント及び上記右コンポーネントを組合せて、融合した２次元基準ビデオを生成する第２融合器と、
上記２次元基準ビデオを上記２次元試験ビデオと比較して、第１予測品質評価値を発生する品質アナライザと、
上記品質アナライザに結合し、上記第１及び第２アナライザからの得た情報により上記第１予測品質評価値を変調して、上記基準３次元ビデオに対する上記試験３次元ビデオの比較の予測品質評価値を発生する概要手段と
を具えた３次元ビデオの品質予測システム。
【図１】
【図２】
【図５】
【図３】
【図４】
【図２】
【図５】
【図３】
【図４】
【公開番号】特開２０１２−２２７９１６（Ｐ２０１２−２２７９１６Ａ）
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願番号】特願２０１２−６９５２５（Ｐ２０１２−６９５２５）
【出願日】平成２４年３月２６日（２０１２．３．２６）
【出願人】（３９１００２３４０）テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．
【Ｆターム（参考）】
【公開日】平成２４年１１月１５日（２０１２．１１．１５）
【国際特許分類】
【出願日】平成２４年３月２６日（２０１２．３．２６）
【出願人】（３９１００２３４０）テクトロニクス・インコーポレイテッド (234)
【氏名又は名称原語表記】ＴＥＫＴＲＯＮＩＸ，ＩＮＣ．
【Ｆターム（参考）】
[ Back to top ]