説明

立体表示可能ディスプレイにおける3Dビデオ画像のレンダリング

【課題】立体表示可能ディスプレイ(例えば、ステレオスコピック・ディスプレイ又はオートステレオスコピック・ディスプレイ)上での3Dビデオ画像のレンダリング方法を提供する。
【解決手段】処理は、視聴者に対向しないファセットを除外することと、左視野及び右視野の前景ファセットと、共通の背景ファセットとを定めることと、これらのファセットのライティングを決定することと、一方の視野(例えば、左視野)のファセットの計算結果を用いて、他方の視野(例えば、右視野)のスクリーン・マッピング及びシーン・レンダリングを実行することとを含む。1つの実施形態において、画像の視覚化は、例えばモバイル電話、コンピュータ、ビデオ・ゲーム・プラットフォーム、又は携帯情報端末(PDA)のような低電力デバイスの立体表示可能ディスプレイ上に提供される。

【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、コンピュータ・グラフィックの分野に関し、特に、立体表示可能ディスプレイに3D画像を効率的にレンダリングする技術に関する。
【背景技術】
【0002】
立体ビデオ処理の計算複雑性は、3Dグラフィックのレンダリングにおいて、特に、例えばモバイル電話、携帯情報端末(PDA)デバイス等のような低電力(すなわちバッテリー電力)デバイスでの3Dシーン及びビデオ・ゲームの視覚化において主要な要因である。
【0003】
一般に、立体表示可能ディスプレイ(例えば、オートステレオスコピック・ディスプレイ又はステレオスコピック・ディスプレイ)での3Dグラフィックのレンダリングにおける困難性は、立体ビデオ処理の効率の局面及びリアリティの局面から生じる。低電力デバイスの限られた計算リソースによって、3Dグラフィックのレンダリングは過度に時間のかかるルーチンとなりうる。立体ビデオ処理の性能を改善するために向けられた多大な努力にもかかわらず、更なる改善が望まれる。
【0004】
従って、当該技術分野において、3Dビデオ画像のリアリティが向上されたレンダリングを立体表示可能ディスプレイ上で効率的に実現する技術へのニーズがある。
【発明の概要】
【0005】
立体表示可能ディスプレイに3Dビデオ画像を効率的にレンダリングする技術が説明される。実施形態において、ビデオ・データの3Dモデルビュー変換中、視聴者に対向しないファセットが除外される。第1の視野(例えば、左視野)のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する第1の前景ファセットと、予め定められた奥行き閾値より奥に位置するそのような要素に対応する第1の背景ファセットとが選択的に定められる。第2の視野のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する第2の前景ファセットが定められ、第1の背景ファセットが、第2の背景ファセットとして用いられる。第1の前景ファセット、第1の背景ファセット、及び第2の前景ファセットのためのライティングが決定される。第1の前景ファセット及び第1の背景ファセットに基づいて、第1の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算が実行され、第2の前景ファセット及び第1の背景ファセットに基づいて、第2の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算が実行される。
【0006】
1つの設計において、この方法は、例えばモバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又はPDAデバイスのようなバッテリー駆動式デバイスのステレオスコピック・ディスプレイ又はオートステレオスコピック・ディスプレイでビデオ画像を視覚化するために用いられる。
【0007】
本発明の様々な局面及び実施形態が、以下で更に詳しく説明される。
【図面の簡単な説明】
【0008】
【図1】図1は、立体表示可能ディスプレイに3Dビデオをレンダリングする方法を示すフロー図を示す。
【図2】図2は、図1の方法において用いられるファセット分類手順の間に奥行き閾値を決定する方法を示す概略図を示す。
【図3】図3は、図1の方法を用いるために用いられる典型的なデバイスのブロック図を示す。
【発明を実施するための形態】
【0009】
理解を容易にするために、要素を区別する添付文字が付加されうる適切な場合を除いて、可能であれば、図面に共通である同一の要素を示すために同一の参照番号が用いられる。図面中のイメージは、例示目的のために簡略化されており、一定の比例に拡大縮小されていない。1つの実施形態のステップ又は特徴は、更なる記載なしで他の実施形態内に有益に組み込まれうることが意図されている。
【0010】
図面を参照すると、図1は、本発明の1つの実施形態に従って、立体表示可能ディスプレイに3Dビデオ画像をレンダリングする方法100を示すフロー図を示す。典型的なアプリケーションにおいて、方法100は、バッテリー駆動式(すなわち、低電力)デバイスで立体グラフィックを表示する計算の複雑さ及び電力消費を低減し、性能、特に視覚化された画像の奥行き感及びリアリティ感を改善するために用いられる。バッテリー駆動式デバイスは、モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又はPDAデバイスを含むが、それらに限定されない。
【0011】
方法100は、異なる角度及び観察地点からシーンを視覚化することによって、左目と右目との別々の視野(すなわち、左視野及び右視野)を生成する。ここで、視聴者の両目の間の瞳孔間隔によって生じる両眼視差を再生することによって、奥行き感が増す。視野は、視聴者の左目と右目とへ選択的に導かれ、視聴者の視点からは、左視野と右視野との間の距離が、奥行き感及びリアリティ感を増加させる。
【0012】
左視野及び右視野のレンダリングに対応する方法ステップのシーケンスが、それぞれ、103及び105として示される。以後、添え字「A」及び「B」は、左視野及び右視野をレンダリングするために入力されたビデオ・データで実行される処理をそれぞれ区別するために用いられる。例示的に、添え字「A」は、左視野をレンダリングするために実行される方法ステップを示す。
【0013】
様々な実施形態において、方法100の方法ステップは、図示された順序で実行されるか、あるいは、これらのステップ又はそれらの一部のうちの少なくとも2つが、同時に、並行して、又は異なる順序で実行されうる。例えば、ステップ140A及び140B、又はステップ160A及び170Bが同時に又は並行して実行され、ステップ152Aがステップ150Aの前に実行されうる。当業者は、以下で説明するその他の方法ステップ、処理、又はルーチンの少なくとも一部を実行する順序も変更されうることを容易に理解するであろう。
【0014】
ステップ110Aでは、入力されたビデオ・データの3Dモデルビュー変換が左視野について実行される。3Dモデルビュー変換ルーチン中、視聴者は、3Dワールド座標系のz次元に対向する中心に位置づけられ、シーン内の幾何学的物体が、左視野ファセット(例えば三角形のファセット)にマップされる。
【0015】
ステップ120Aでは、計算リソースを節約し、ビデオ処理の効率を増加させるために、視聴者に対向しないファセット(すなわち、視聴者に不可視であるファセット)が、左視野をレンダリングするために用いられるファセットのデータベースから除外又は除去される。
【0016】
ステップ130Aでは、残りの左視野ファセット(すなわち、シーンの幾何学的物体の、視聴者の左目に可視である要素に対応するファセット)が、2つのカテゴリに分類される。第1のカテゴリは、予め定められた奥行き閾値Z(図2に示す)より手前に位置するシーン要素に対応する左視野前景ファセットを含む。従って、第2のカテゴリは、予め定められた奥行き閾値より奥に位置するシーン要素に対応する左視野背景ファセットを含む。
【0017】
ファセットの分類は、シーン内の幾何学的物体間の視差が、左視野の画像ポイントと右視野の画像ポイントとの間の画素単位で測定されるように、物体に対する視聴者からの距離が増加すると減少し、これらの物体が視聴者から非常に離れて位置するとゼロになるという観測に基づいている。
【0018】
奥行き閾値Zは、任意の物体が視聴者の何れか片方の目によって観察される場合、その物体が同一の画素に対応する、視聴者からの最大距離として定義されうる(図2に関して以下で詳しく説明される)。相応じて、ステップ170A及びステップ170Bに関して以下で説明されるように、奥行き閾値Zより奥に位置する物体のシェーディングは、一方の視野(ここでは、左視野)のみについて実行されうる。
【0019】
ステップ140Aでは、左視野前景ファセット及び左視野背景ファセットのための色特性を決定するためにライティング処理が実行される。
【0020】
ステップ150Aでは、左視野前景ファセットを2D画像面に投影するために3Dから2Dへの透視変換が実行される。
【0021】
ステップ152Aでは、3Dから2Dへの透視変換が左視野背景ファセットに実行される。
【0022】
ステップ160Aでは、2D画像面において、スクリーン・マッピング処理が左視野のために実行される。スクリーン・マッピング処理は、左視野前景ファセット及び左視野背景ファセットを、ディスプレイの可視スクリーンのサイズに適合するようにスケールし、スクリーンからはみ出す幾何学的物体やその一部を除去する。ステップ160Aの間、左視野背景ファセットのスクリーン・マッピングに対応するデータの少なくとも一部は、ステップ160Bに関して以下で説明するように右視野の計算において用いるために、それぞれのメモリ媒体(例えば、ランダム・アクセス・メモリ(RAM))内に選択的に保存される。
【0023】
ステップ170Aでは、スクリーン・レンダリング処理が左視野のために実行される。スクリーン・レンダリング処理は、以下の計算ルーチンの少なくとも一部を含む。(i)左視野前景ファセット及び左視野背景ファセットの、視聴者に可視である部分をレンダリングする画素の輝度値を決定するシェーディング・ルーチン、(ii)左視野前景ファセット及び左視野背景ファセットの、視聴者に不可視である部分を決定し除去する隠れ面消去(HSR)ルーチン、(iii)可視左視野前景ファセット及び可視左視野背景ファセットを左視野物体ファセットに変換するテクスチャ・マッピング・ルーチン、及び(iv)画素の特性を定義するために、左視野物体ファセットの画素を選択的に結合するブレンディング・ルーチン。
【0024】
ステップ170Aの間、左視野背景ファセットのスクリーン・レンダリングに対応するデータの少なくとも一部が、ステップ170Bに関して以下で説明するように右視野の計算において用いるために、メモリ媒体内に選択的に保存される。
【0025】
ステップ110Bでは、入力されたビデオ・データの3Dモデルビュー変換が右視野のために実行される。ステップ120A及びステップ130A(リンク121Aとともに図示される)の計算結果を用いて、変換ルーチン中、幾何学的物体の視聴者の右目に可視である要素の右視野前景ファセットのみが生成されることを提供する方式で、三角形ファセットの頂点がフィルタされる。これら右視野ファセットは、集合的に、予め定められた奥行き閾値Zより手前に位置するシーン要素に対応する。加えて、(前のステップ130Aで定義された)左視野背景ファセットが、右視野背景ファセットとして用いられる。
【0026】
片側の視野(すなわち、左視野)のみに基づいて視聴者に対向しないファセットを除外すると、ビデオ・データ処理の量は著しく低減されるが、いくつかの例において、右視野のレンダリングにおける近似誤りを招きうる。しかし、実験及びコンピュータ・シミュレーションによって、視聴者の両目が互いに接近すると、ほんとどのアプリケーションにおいて、そのような誤りを受入れ可能な低いレベルに保つことができることが明らかになった。
【0027】
ステップ140Bでは、右視野前景ファセットの色特性を決定するためにライティング処理が実行される。
【0028】
ステップ150Bでは、右視野前景ファセットを2D画像面に投影するために3Dから2Dへの透視変換が実行される。
【0029】
ステップ160Bでは、2D画像面において、スクリーン・マッピング処理が右視野のために実行される。ステップ160Bのスクリーン・マッピング処理は、ディスプレイの可視スクリーンのサイズに適合するように、右視野前景ファセットをスケールし、更に、ステップ160Aで保存した左視野背景ファセットのスクリーン・マッピングの計算結果を、右視野背景ファセットのスクリーン・マッピング・データとして用いる(リンク161Aを用いて図示される)。動作中、ステップ160Aの間実行された計算の結果を用いることによって、右視野のスクリーン・マッピング処理のデータ処理量及び計算複雑さが低減される。
【0030】
ステップ170Bでは、スクリーン・レンダリング処理が右視野のために実行される。ステップ170Bのスクリーン・レンダリング処理は、以下の計算ルーチンの少なくとも一部を含む。(i)右視野前景ファセットの、視聴者に可視である部分をレンダリングする画素の輝度値を決定するシェーディング・ルーチン、(ii)右視野前景ファセットの、視聴者に不可視である部分を決定し除去する隠れ面消去(HSR)ルーチン、(iii)ステップ170Aで保存された左視野背景ファセットのスクリーン・レンダリングの結果を、右視野背景ファセットのスクリーン・レンダリング・データとして用いること(リンク171Aを用いて図示される)、(iv)可視右視野前景ファセット及び可視左視野背景ファセットを、右視野物体ファセットに変換するテクスチャ・マッピング・ルーチン、及び(v)スクリーン画素の特性を定めるために、右視野物体ファセットの画素を選択的に結合するブレンディング・ルーチン。
【0031】
ステップ160A及びステップ170Aで左視野背景ファセットのために実行された計算の結果を用いることによって、右視野のスクリーン・レンダリング処理のデータ処理量及び計算複雑性が更に著しく低減される。
【0032】
ステップ175では、フレーム形成処理においてステップ170A及びステップ170Bのブレンディング・ルーチンの計算結果を用いて、入力されたビデオ・データに含まれた3D画像が、オートステレオスコピック・ディスプレイ上で視覚化される。
【0033】
あるいはステップ180では、ステップ170A及びステップ170Bのブレンディング・ルーチンの結果を用いてアナグリフ画像が生成され、ステップ185では、フレーム形成処理が、対応する3D画像をステレオスコピック・ディスプレイ上で生成する。
【0034】
動作中、上述した方法ステップは、入力されたデータ・ストリームに含まれた画像を立体グラフィックの形式で連続して視覚化するために、循環して反復される。
【0035】
典型的な実施形態において、方法100は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組み合わせによって、1つ又は複数のコンピュータ実行可能命令を備えたコンピュータ・プログラム製品の形式で実現されうる。ソフトウェアによって実現される場合、コンピュータ・プログラム製品は、コンピュータ記憶媒体及びコンピュータ通信媒体を含むコンピュータ読取可能媒体に格納されるか、あるいはそれを用いて送信されうる。
【0036】
「コンピュータ記憶媒体」という用語は、本明細書において、コンピュータに方法を実行させる命令を格納するために用いられる任意の媒体を称する。限定ではなく一例として、コンピュータ記憶媒体は、電子メモリ・デバイス(例えば、RAM、ROM、EEPROM等)を含む固体メモリ・デバイス、光メモリ・デバイス(例えば、コンパクト・ディスク(CD(登録商標))、デジタル・バーサタイル・ディスク(DVD)等)、磁気メモリ・デバイス(例えば、ハード・ドライブ、フラッシュ・デバイス、テープ・ドライブ等)、あるいはコンピュータ・プログラム製品を格納するために用いられるその他のメモリ・デバイスや、そのようなメモリ・デバイスの組み合わせを備えることができる。
【0037】
「コンピュータ通信媒体」という用語は、本明細書において、例えば変調された搬送波、光信号、DC電流やAC電流等を用いて、1つの場所から別の場所へコンピュータ・プログラム製品を送るために用いられる任意の物理インタフェースを称する。限定ではなく一例として、コンピュータ通信媒体は、ツイスト線ペア、印刷ケーブル又はフラットケーブル、同軸ケーブル、光ファイバー・ケーブル、デジタル加入者線(DSL)、又はその他の有線インタフェース、無線インタフェース、光直列インタフェースや光並列インタフェース、あるいはそれらの組み合わせを備えることができる。
【0038】
図2は、図1の方法100において用いられるファセット分類手順中に奥行き閾値Zを決定する方法を示す概略図200を示す。特に、図2は、視聴者の左(L)目及び右目の視界201L及び202R、表示されたシーン210の3DポイントT(x,y,z)、投影面202、及び奥行き閾値Zを示す。
【0039】
視聴者の左(T1)目及び右(T2)目について、投影面202上の3DポイントT(x,y,z)の投影されるポイントの座標T1及びT2は、以下の式を用いて計算される。
【数1】

【0040】
及び
【数2】

【0041】
ここで、A及びBは、それぞれ視聴者の左目及び右目のための3DポイントT(x,y,z)のモデルビュー変換マトリクスであり、Cは、投影及びスクリーン・マッピング・マトリクスである。
【0042】
3DポイントT(x,y,z)が奥行き閾値Zより奥に位置する場合、投影面202において、投影されるポイントはオーバラップする。従って、3DポイントT(x,y,z)が奥行き閾値Zより手前に位置する場合、投影されるポイントは水平にシフトし、投影面202において、これらのポイント間の距離が、左視野と右視野との間の視差d=X1−X2を定める。ここで、X1及びX2は、T1及びT2の水平座標である。奥行き閾値Zより奥に位置する3Dポイントの場合、視差は1より大きく(すなわち、|d|>1であり)、左視野に対応する画素と右視野に対応する画素とはオーバラップする。
【0043】
式(1)及び式(2)を用い、視点ビューイングの単調特性(すなわち、物体と視聴者との間の距離が大きくなるにつれ、物体が単調に小さく見える特性)に基づいて、奥行き閾値Zは、次の式
【数3】

【0044】
を解き、表示されたシーンの頂点のサンプリングのために、式(4)のm個の解zのうちの最大成分を選択することによって計算されうる。すなわち、1≦k≦mのとき、Z=max(z,z,・・・x)。3Dモデルビュー変換(方法100のステップ110A、110B)中に生成された三角形のファセットは、その頂点全てが奥行き閾値Zより手前に位置する場合、前景ファセットとして分類され、そうでない場合、背景ファセットとして分類される。
【0045】
図3は、図1の方法100を用いるために用いられる典型的なデバイス300のブロック図を示す。例示的に、デバイス300(例えば、モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、携帯情報端末(PDA)デバイス等)は、ステレオスコピック・ディスプレイ又はオートステレオスコピック・ディスプレイ310、プロセッサ320、メモリ330、サポート回路340、入力/出力(I/O)モジュール350、及びユーザ制御360を含む。
【0046】
メモリ330(例えば、ダイナミック・ランダム・アクセス・メモリ(DRAM)、ハード・ドライブ、コンパクト・ディスク(CD)、又はその他の電子的コンピュータ読取可能媒体、磁気コンピュータ読取可能媒体、あるいは光学的コンピュータ読取可能媒体)は、他のプログラム・コードの中で、プロセッサ320によって実行されると、方法100を実行させるプログラム・コードを含む。サポート回路340は、動作可能ユニットにおいてデバイス300の機能構成要素を統合するデバイス、回路、及びバスを集合的に含む。ビデオ・データは、入力/出力(I/O)モジュール350を介してデバイス300へ提供され、その後、プロセッサ320によって処理され、ディスプレイ310上で立体グラフィック像を生成する。
【0047】
本開示における上記説明は、当業者をして、本開示の製造又は利用を可能とするために提供される。本開示への様々な変形例もまた、当業者には明らかであり、本明細書で定義された一般原理は、本開示の精神及び範囲を逸脱することなくその他の変形例にも適用可能である。従って、本開示は、本明細書で説明された例に限定することは意図されておらず、本明細書に開示された原理及び新規特徴と整合が取れた最も広い範囲と一致するように意図されている。

【特許請求の範囲】
【請求項1】
立体表示可能ディスプレイ上に3Dビデオ画像をレンダリングする方法であって、
(a)ビデオ・データの3Dモデルビュー変換中、
視聴者に対向しないファセットを除外することと、
第1の視野のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する第1の前景ファセットと、前記閾値より奥に位置するシーン要素に対応する第1の背景ファセットとを定めることと、
第2の視野のために、前記閾値より手前に位置するシーン要素に対応する第2の前景ファセットを選択的に定め、前記第1の背景ファセットを第2の背景ファセットとして用いることと、
(b)前記第1の前景ファセットと、前記第1の背景ファセットと、前記第2の前景ファセットとのためのライティングを決定することと、
(c)前記第1の前景ファセット及び前記第1の背景ファセットに基づいて、前記第1の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
(d)前記第2の前景ファセット及び前記第1の背景ファセットに基づいて、前記第2の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
を備えた方法。
【請求項2】
前記ステップ(a)乃至(d)又はそれらの一部のうちの少なくとも2つが、並行に又は同時に実行される請求項1に記載の方法。
【請求項3】
前記第1の視野が左視野であり、前記第2の視野が右視野である請求項1に記載の方法。
【請求項4】
前記第1の視野が右視野であり、前記第2の視野が左視野である請求項1に記載の方法。
【請求項5】
前記立体表示可能ディスプレイは、ステレオスコピック・ディスプレイである請求項1に記載の方法。
【請求項6】
アナグリフ画像を生成することを更に備えた請求項1に記載の方法。
【請求項7】
前記立体表示可能ディスプレイは、オートステレオスコピック・ディスプレイである請求項6に記載の方法。
【請求項8】
前記ディスプレイは、バッテリー駆動式デバイスの一部である請求項1に記載の方法。
【請求項9】
前記バッテリー駆動式デバイスは、モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又は携帯情報端末(PDA)デバイスを備える請求項8に記載の方法。
【請求項10】
前記ステップ(b)は更に、前記ファセットの頂点の色特性を計算することを備えた請求項1に記載の方法。
【請求項11】
前記ステップ(c)は更に、
前記第1の前景ファセットと、前記第1の背景ファセットとのための3Dから2Dへの透視変換を実行することと、
前記第1の背景ファセットの前記変換の結果を格納することと、
前記第1の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
前記第1の視野の、視聴者に対して不可視である部分を除去する隠れ面消去(HSR)ルーチンを実行することと、
前記第1の視野のHSR処理の結果を格納することと
を備えた請求項1に記載の方法。
【請求項12】
前記ステップ(d)は更に、
前記第2の前景ファセットのための3Dから2Dへの透視変換を実行することと、
前記第1の背景ファセットのために前記変換の結果を適合させることと、
前記第2の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
前記第1の視野のHSRルーチンの結果を用いて、前記第2の視野の、視聴者に対して不可視である部分を除去することと、
前記第2の視野の、視聴者に対して可視である部分をレンダリングする画素の輝度値を計算することと
を備えた請求項11に記載の方法。
【請求項13】
(a)ビデオ・データの3Dモデルビュー変換中、
視聴者に対向しないファセットを除外することと、
第1の視野のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する第1の前景ファセットと、前記閾値より奥に位置するシーン要素に対応する背景ファセットとを定めることと、
第2の視野のために、前記閾値より手前に位置するシーン要素に対応する第2の前景ファセットを選択的に定め、第2の背景ファセットとして前記第1の背景ファセットを用いることと、
(b)前記第1の前景ファセットと、前記第1の背景ファセットと、前記第2の前景ファセットとのためのライティングを決定することと、
(c)前記第1の前景ファセット及び前記第1の背景ファセットに基づいて、前記第1の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
(d)前記第2の前景ファセット及び前記第1の背景ファセットに基づいて、前記第2の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
によって、コンピュータに、3Dビデオ画像を立体表示可能ディスプレイにレンダさせるための命令群を有するコンピュータ読取可能媒体を含むコンピュータ・プログラム製品。
【請求項14】
立体表示可能ディスプレイに3Dビデオ画像をレンダリングする方法であって、
(a)第1のファセットを生成するために、左視野のビデオ・データの3Dモデルビュー変換を実行することと、
(b)前記第1のファセットのうちの視聴者に対向する第1の複数のファセットを、前記第1のファセットのうちの視聴者に対向しない第2の複数のファセットから分離することと、
(c)前記第1のファセットのうちの第2の複数のファセットを除外することと、
(d)前記第1のファセットのうちの第1の複数のファセットにおいて、予め定められた奥行き閾値より手前に位置する要素に対応する第1の前景ファセットを、前記閾値より奥に位置する要素に対応する第1の背景ファセットから分離することと、
(e)前記閾値より手前に位置する要素の第2の前景ファセットを選択的に生成するために、右視野のビデオ・データの3Dモデルビュー変換を実行し、第2の背景ファセットとして前記第1の背景ファセットを用いることと、
(f)前記第1の前景ファセットと、前記第1の背景ファセットと、前記第2の前景ファセットとのためのライティングを決定することと、
(g)前記第1の前景ファセット及び前記第1の背景ファセットに基づいて、前記左視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
(h)前記第2の前景ファセットに基づいて、前記右視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
を備えた方法。
【請求項15】
前記ステップ(a)乃至(h)又はそれらの一部のうちの少なくとも2つが並行して又は同時に実行される請求項14に記載の方法。
【請求項16】
前記立体表示可能ディスプレイは、ステレオスコピック・ディスプレイである請求項14に記載の方法。
【請求項17】
アナグリフ画像を生成することを更に備えた請求項14に記載の方法。
【請求項18】
前記立体表示可能ディスプレイは、オートステレオスコピック・ディスプレイである請求項17に記載の方法。
【請求項19】
前記ディスプレイは、モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又は携帯情報端末(PDA)デバイスの一部である請求項14に記載の方法。
【請求項20】
前記ステップ(f)は更に、前記ファセットの頂点の色特性を計算することを備えた請求項14に記載の方法。
【請求項21】
前記ステップ(g)は更に、
前記第1の前景ファセットと前記第1の背景ファセットとのための3Dから2Dへの透視変換を実行することと、
前記第1の背景ファセットの変換の結果を格納することと、
前記左視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
前記左視野の、視聴者に不可視である部分を除去する隠れ面消去(HSR)ルーチンを実行することと、
前記左視野のHSR処理の結果を格納することと
を備えた請求項14に記載の方法。
【請求項22】
前記ステップ(h)は更に、
前記第2の前景ファセットのための3Dから2Dへの透視変換を実行することと、
前記第1の背景ファセットの変換の結果を用いることと、
前記右視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
前記左視野のHSRルーチンの結果を用いて、前記右視野の、視聴者に不可視である部分を除去することと、
前記右視野の、視聴者に可視である部分の輝度値を計算することと
を備えた請求項21に記載の方法。
【請求項23】
(a)第1のファセットを生成するために、左視野のビデオ・データの3Dモデルビュー変換を実行することと、
(b)前記第1のファセットのうちの視聴者に対向する第1の複数のファセットを、前記第1のファセットのうちの前記視聴者に対向しない第2の複数のファセットから分離することと、
(c)前記第1のファセットのうちの第2の複数のファセットを除外することと、
(d)前記第1のファセットのうちの第1の複数のファセットにおいて、予め定められた奥行き閾値より手前に位置する要素に対応する第1の前景ファセットを、前記閾値より奥に位置する要素に対応する第1の背景ファセットから分離することと、
(e)前記閾値より手前に位置する要素の第2の前景ファセットを選択的に生成するために、右視野のためのビデオ・データの3Dモデルビュー変換を実行することと、前記第1の背景ファセットを第2の背景ファセットとして用いることと、
(f)前記第1の前景ファセットと、前記第1の背景ファセットと、前記第2の前景ファセットとのためのライティングを決定することと、
(g)前記第1の前景ファセット及び前記第1の背景ファセットに基づいて、前記左視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
(h)前記第2の前景ファセットに基づいて、前記右視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
によって、コンピュータに、立体表示可能ディスプレイに3Dビデオ画像をレンダさせるための命令群を有するコンピュータ読取可能媒体を含むコンピュータ・プログラム製品。
【請求項24】
立体表示可能ディスプレイに3Dビデオ画像をレンダリングする装置であって、
立体表示可能ディスプレイと、
プロセッサと、
プロセッサに、
(a)ビデオ・データの3Dモデルビュー変換中、
視聴者に対向しないファセットを除外させ、
第1の視野のために、予め定められた奥行き閾値より手前に位置するシーン要素に対応する第1の前景ファセットと、前記閾値より奥に位置するシーン要素に対応する第1の背景ファセットとを定めさせ、
第2の視野のために、前記閾値より手前に位置するシーン要素に対応する第2の前景ファセットを選択的に定めさせ、第2の背景ファセットとして前記第1の背景ファセットを用いさせ、
(b)前記第1の前景ファセットと、前記第1の背景ファセットと、前記第2の前景ファセットとのためのライティングを決定させ、
(c)前記第1の前景ファセット及び前記第1の背景ファセットに基づいて、前記第1の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させ、
(d)前記第2の前景ファセット及び前記第1の背景ファセットに基づいて、前記第2の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させるための命令群を有するプログラム・コードを格納するメモリと
を備えた装置。
【請求項25】
前記ステップ(a)乃至(d)又はそれらの一部のうちの少なくとも2つが並行して又は同時に実行される請求項24に記載の装置。
【請求項26】
前記第1の視野が左視野であり、前記第2の視野が右視野である請求項24に記載の装置。
【請求項27】
前記第1の視野が右視野であり、前記第2の視野が左視野である請求項24に記載の装置。
【請求項28】
モバイル電話、モバイル・コンピュータ、ビデオ・ゲーム・プラットフォーム、又は携帯情報端末(PDA)デバイスである請求項24に記載の装置。
【請求項29】
前記立体表示可能ディスプレイは、ステレオスコピック・ディスプレイ又はオートステレオスコピック・ディスプレイである請求項24に記載の装置。
【請求項30】
前記ステップ(b)は更に、前記ファセットの頂点の色特性を計算することを備えた請求項24に記載の装置。
【請求項31】
前記ステップ(c)は更に、
前記第1の前景ファセット及び前記第1の背景ファセットのための3Dから2Dへの透視変換を実行することと、
前記第1の背景ファセットの変換の結果を格納することと、
前記第1の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するシェーディング・ルーチンを実行することと、
前記第1の視野の、視聴者に不可視である部分を除去する隠れ面消去(HSR)ルーチンを実行することと、
前記第1の視野のHSR処理の結果を格納することと
を備えた請求項24に記載の装置。
【請求項32】
前記ステップ(d)は更に、
前記第2の前景ファセットのための3Dから2Dへの透視変換を実行することと、
前記第1の背景ファセットのために前記変換の結果を適合させることと、
前記第2の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算するためのシェーディング・ルーチンを実行することと、
前記第1の視野のHSRルーチンの結果を用いて、前記第2の視野の、視聴者に不可視である部分を除去することと、
前記第2の視野の、視聴者に可視である部分をレンダリングする画素の輝度値を計算することと
を備えた請求項31に記載の装置。
【請求項33】
立体表示可能ディスプレイに3Dビデオ画像をレンダリングする方法であって、
(a)第1の視野のビデオ・データの3Dモデルビュー変換中、
第1の前景ファセットと第1の背景ファセットとを決定することと、
(b)第2の視野のビデオ・データの3Dモデルビュー変換中、
第2の前景ファセットと第2の背景ファセットとを決定することと、
前記第2の背景ファセットを除外することと、
前記第1の背景ファセットを用いることと、
(c)前記第1及び第2の前景ファセットと前記第1の背景ファセットとのライティングを決定することと、
(d)前記第1の前景ファセット及び前記第1の背景ファセットに基づいて、前記第1の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと、
(e)前記第2の前景ファセット及び前記第1の背景ファセットに基づいて、前記第2の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行することと
を備えた方法。
【請求項34】
前記ステップ(a)乃至(e)又はそれらの一部のうちの少なくとも2つが並行して又は同時に実行される請求項33に記載の方法。
【請求項35】
前記第1の視野が左視野であり、前記第2の視野が右視野である請求項33に記載の方法。
【請求項36】
前記第1の視野が右視野であり、前記第2の視野が左視野である請求項33に記載の方法。
【請求項37】
前記ステップ(a)は更に、
視聴者に対向しないファセットを除外することと、
予め定められた閾値より奥に位置するシーン要素に対応するファセットを除外することと
のうちの少なくとも1つを備える請求項33に記載の方法。
【請求項38】
立体表示可能ディスプレイに3Dビデオ画像をレンダリングする装置であって、
立体表示可能ディスプレイと、
プロセッサと、
プロセッサに、
(a)第1の視野のビデオ・データの3Dモデルビュー変換中、
第1の前景ファセットと第1の背景ファセットとを決定させ、
(b)第2の視野のビデオ・データの3Dモデルビュー変換中、
第2の前景ファセットと第2の背景ファセットとを決定させ、
前記第2の背景ファセットを除外させ、
前記第1の背景ファセットを用いさせ、
(c)前記第1の前景ファセットと前記第2の前景ファセットと前記第1の背景ファセットとのためのライティングを決定させ、
(d)前記第1の前景ファセット及び前記第1の背景ファセットに基づいて、前記第1の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させ、
(e)前記第2の前景ファセット及び前記第1の背景ファセットに基づいて、前記第2の視野のためのスクリーン・マッピング計算及びシーン・レンダリング計算を実行させるための命令群を有するプログラム・コードを格納するメモリと
を備えた装置。
【請求項39】
前記ステップ(a)乃至(e)又はそれらの一部のうちの少なくとも2つが並行して又は同時に実行される請求項38に記載の装置。
【請求項40】
前記第1の視野が左視野であり、前記第2の視野が右視野である請求項38に記載の装置。
【請求項41】
前記第1の視野が右視野であり、前記第2の視野が左視野である請求項38に記載の装置。
【請求項42】
前記ステップ(a)は更に、
視聴者に対向しないファセットを除外することと、
予め定められた奥行き閾値より奥に位置するシーン要素に対応するファセットを除外することと
のうちの1つを備えた請求項38に記載の装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2012−104144(P2012−104144A)
【公開日】平成24年5月31日(2012.5.31)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−4619(P2012−4619)
【出願日】平成24年1月13日(2012.1.13)
【分割の表示】特願2009−544959(P2009−544959)の分割
【原出願日】平成20年1月2日(2008.1.2)
【出願人】(595020643)クゥアルコム・インコーポレイテッド (7,166)
【氏名又は名称原語表記】QUALCOMM INCORPORATED
【Fターム(参考)】