説明

コンピュータ生成ビデオホログラムを計算する方法及びデバイス

【課題】コンピュータ生成ビデオホログラムの計算を高速化する方法を提供する。
【解決手段】ホログラフィックに再構成されるオブジェクト(3D−S)を定義するデータは、複数の仮想セクション層(Lm)にまず配置される。各層は、2次元オブジェクトデータセット(OSm)を定義する。第1のステップは、各2次元オブジェクトデータセットを、セクション層(Lm)から有限距離(Dm)にある参照層(RL)の仮想観察者ウィンドウ(OW)に対して計算される2次元波動場分布に変換する。次に、セクション層の全ての2次元オブジェクトデータセットに対して、仮想観察者ウィンドウに対する計算された2次元波動場分布は加算され、観察者ウィンドウデータセット集合体を定義する。その後、観察者ウィンドウデータセット集合体は、参照層(RL)からビデオホログラム層(HL)に変換され、ビデオホログラムデータセット(HS)を生成する。

【発明の詳細な説明】
【技術分野】
【0001】
1.発明の分野
本発明は、コンピュータ生成ホログラム(CGH:computer-generated holograms)を計算する方法及びデバイスに関し、特に、各々が複素値データを表示する個々に制御可能なホログラムセルから構成されるビデオホログラム等のリアルタイムホログラム又はほぼリアルタイムのホログラムに関する。静止画に加え、リアルタイムビデオホログラムは特に興味深い。電子ホログラフィの目的は、リアルタイムでビデオホログラムを実現することである。電子ホログラムディスプレイは、照明光を空間変調することによりオブジェクトポイントを再構成する制御可能な画素を含む空間光変調器(SLM:Spatial Light Modulator)であるのが効果的である。本明細書中、リアルタイムホログラムをビデオホログラムと呼ぶ。ビデオホログラムは、別個に構成されるセルを示さない光学式SLM又は音響光学変調器(AOM:Acousto-Optic light Modulator)等も範囲に含むと、当業者には理解される。
【0002】
写真のように格納されるか又は干渉パターンの形で別の適切な方法で格納される従来のホログラムとは異なり、ビデオホログラムは、3次元シーンのシーケンスから離散的なホログラムデータを計算した結果として存在する。計算処理中、中間データは、例えばコンピュータの電子記憶媒体、グラフィックスプロセッサ、グラフィックスアダプタ又は他のハードウェア構成要素等の電子手段により格納される。3Dシーンデータは、干渉パターン又は2Dデータの3D変換等の任意の方法で生成される。
【背景技術】
【0003】
2.背景の概念
空間光変調器(SLM)は、複素値データ、すなわち光の各色成分の振幅の大きさ及び位相を空間的に制御するデバイスである。色は、空間的又は時間的に多重化されることにより符号化される。SLMは、各々がホログラムデータの離散的な値のセット(集合)により別個に処理及び制御される複数の制御可能なホログラムセルを含んでもよい。SLMは、連続していてもよく、離散的なセルを含まない。セルに基づくSLMにおいて空間多重化することにより色符号化を実現するために、セルの各画素は、各々が3つ以上の原色のうち1つを表示する複数の色サブ画素を含む。使用されるビデオホログラム符号化の種類に依存して、各原色を符号化するために更なるサブ画素が使用されてもよい。例えば、周知のBurckhardtの符号化のような迂回位相符号化は、色成分毎に3つのサブ画素の構成を必要とする。3つの色成分を考慮すると、ホログラムセルに対するサブ画素数の合計は9になる。例えば、3原色が存在し、それら3原色の各々に対して3つのサブ画素が存在すると、合計9つのサブ画素になる。これに対して、周知のLeeの符号化は4つのサブ画素を必要とする。二相符号化は、ホログラムセルの各色に対して2つのサブ画素を必要とする。
【0004】
各ホログラムセルは、少なくとも所定の色成分の振幅及び位相情報を含むホログラムデータの1つの離散的なセットにより符号化される。前記データは、ゼロであってもよく又は標準値を有してもよく、あるいは任意に選択されてもよい。ビデオホログラムのホログラムデータは、SLMを駆動する方式に従って連続的に更新されてもよい。ホログラム全体が数千のセルから構成されるため、数千のホログラムデータの離散的なセットが存在する。
【0005】
ホログラムデータセットは、3次元シーンを再構成するために時間シーケンスの一部として単一のビデオホログラムセルを符号化するのに必要な全ての情報を含む。
【0006】
専用ドライバは、離散的なホログラムデータセットを使用して、SLMの対応するサブ画素を制御する特定の制御信号を提供する。ドライバ及び制御信号の提供は、使用されるSLMの種類に特有であり、本発明の対象ではない。透過型又は反射型液晶ディスプレイ、マイクロ光学電気機械マイクロシステム、あるいは連続した光学式SLM及び音響光学変調器等の多くの種類のSLMが、本発明と組み合わされて使用される。
【0007】
変調光は、適切に制御された振幅及び位相でホログラムから出現し、光波面の形で自由空間を通って観察者に向けて伝播して、3次元シーンを再構成する。ホログラムデータセットを使用してSLMを符号化することにより、ディスプレイから放射される波動場は、表示空間において干渉を起こすことにより所望の3次元シーンを再構成する。
【0008】
本発明は、所定の波長に対する振幅と位相との少なくとも何れか一方を計算することにより、必要な波の変調に対してホログラムセル毎にリアルタイム制御データ又はほぼリアルタイムの制御データを提供する。
【0009】
3.関連技術の説明
3次元シーンを再構成する際の共通の問題は、従来のSLMで現在可能な画素解像度及び画素カウントが低いことである。今日入手可能な20インチ幅のSLMを再構成するために、基準として約1μmの画素ピッチが必要とされる。ホログラムセルの3原色成分の各々を符号化する3つのサブ画素を考慮すると、109画素より多い画素が必要となる。これは、ビデオホログラムを計算するために高価なハードウェア及び速い計算速度を必要とする。現在、これらの要求を満足する十分に速い計算速度を有する手頃なリアルタイムディスプレイ及びデバイスは市販されていない。
【0010】
ビデオホログラムを計算するために、実際に3Dシーンが存在する必要はない。これにより、技術、娯楽及び広告等、3次元動画シーンがコンピュータにより合成及び編集される種々の応用分野において仮想3Dシーンの再構成が可能になる。
【0011】
例えば、引用によりその内容がここに合体された特許文献1において出願人により説明されるように、コンピュータ生成ビデオホログラムは、ホログラフィックディスプレイを使用して再構成される。閲覧者は、瞳孔より大きい少なくとも1つの仮想観察者ウィンドウを介してディスプレイの画面を見る。観察者ウィンドウは、閲覧者の眼の近くに位置付けられ、周知の位置検出及び追跡デバイスを使用して閲覧者の位置に追従するために追跡される。光源の像平面は、ホログラムのフーリエ平面である。観察者ウィンドウがホログラムのフーリエ平面の一部であるため、観察者ウィンドウは光源の像平面上にある。
【0012】
従って、観察者ウィンドウは、瞳孔のサイズよりやや大きいサイズに制限されるのが好ましい。これにより、SLMの画素解像度及び画素カウントに対する要求は大幅に低減され、計算負荷も減少する。その結果、データ転送速度及び必要とされる計算力は低減され、低解像度の光変調器マトリクスが使用される。この出願において説明される符号化技術の1つの欠点は、その符号化技術が再構成されるオブジェクトの単一ポイント毎に実行される多くの計算を必要とする動作に基づくことである。
【0013】
本発明に従って計算されるビデオホログラムは、例えば約300万画素の画素配列を使用して再構成される。
【0014】
特許文献2は、表現に対して制限された階調範囲を有するビデオホログラムを計算する方法を開示する。目標ホログラムは、部分的なホログラムに分割され、それらの個々の再構成は、最適化されたサブホログラムを繰り返し計算するために使用され、それにより必要な計算力を減少する。小さな階調範囲を有するサブホログラムが構成され、それに従って小さな階調範囲を有する完全なホログラムを形成するまで、反復処理は繰り返される。逐次処理を同時に実行される計算ステップに変換するために、各サブホログラムの別個の再構成は、完全なホログラムに対して所望の結果が達成されるまで互いに独立して最適化される。各データセットに対して目標波面を生成した後、サブホログラムは構成される。しかし、最適化されたサブホログラムを計算する際の並列処理は処理速度を増加するが、必要な計算力は減少されない。
【0015】
特許文献3は、3次元シーンを計算し、LCDを使用してデジタル画像データから3次元シーンのリアルタイム再構成を行なう方法を開示する。画像データは、空間における輝度の分布により実際の又は仮想の3次元シーンを記述する。主なステップは、3Dシーンの各セクション境界線で3Dシーンをいくつかの並列セクション層(スライス)に分割すること、各セクション層に対するセクションホログラムを計算すること及び計算されたセクションホログラムを光変調器マトリクスを使用して逐次再構成することである。各セクションホログラムに対して、輝度分布により定義される所定の2次元画像は、複素関数により定義される2次元中間画像に変換される。3次元再構成の解像度は、画像をオーバーサンプリングすることにより増加される。想像上の回折画像は、セクション層まである距離で位置付けられる参照層の各シーンセクションに対して計算され、回折画像は、複素参照波により重ね合わされる。その結果、2次元ホログラムの表現は、参照層に対する干渉パターンの形となる。前記パターンは、光変調器マトリクスを符号化するためにドライバに離散的な制御値を提供する。従来技術の解決策では、光変調器マトリクスは参照層に位置付けられる。
【0016】
セクション層の回折画像は、セクション層と参照層との間の距離による球面波の数値式と複素画素振幅値とを乗算し且つシーンセクション(スライス)の全ての画素にわたり積分することにより計算される。この積分は、畳み込み積分として解釈され、因子のフーリエ変換と後続する逆変換との積を計算することにより評価される。
【0017】
欠点は、各セクション層のリアルタイム逐次再構成が超高速計算手段及び1秒に数百のセクションホログラムを再構成できる光変調器マトリクスを必要とすることである。更に、3次元シーンは、参照層の背後に再構成される。これは、閲覧者が光変調器マトリクスの背後の3Dシーン、すなわちホログラムディスプレイの内部の3Dシーンを見ることを意味する。
【0018】
シーンの深さの適切な再構成が100個より多いセクション層を含むため、この解決策は、ディスプレイの画面の再生速度が超高速となることを必要とする。低速で且つ再構成がホログラムディスプレイの内側に制限されることから、周知の計算及び表示手段を使用する3次元動画シーンの満足のいく自然なリアルタイム再構成は期待されない。
【特許文献1】国際公開第2004/044659号パンフレット
【特許文献2】国際公開第2003/025680号パンフレット
【特許文献3】国際公開第2000/034834号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【0019】
本発明の目的は、コンピュータ生成ビデオホログラムの計算を高速化する方法を提供することである。前記ビデオホログラムにより、空間解像度及び再構成品質を維持しつつ、3次元シーンを同時に再構成できる。本発明は、所定のビデオホログラムの対話式のリアルタイム再構成又はほぼリアルタイムの再構成、及び転送手段を可能にする。別の目的は、大きなコンピュータ生成ホログラフィック再構成が生成されるのを可能にする方法を提供することであり、それら再構成は、ホログラム自体の大きさ以上であってもよい。
【課題を解決するための手段】
【0020】
ビデオホログラムデータセットを2次元オブジェクトデータセットの一部又は全てから計算することが可能なように、3次元シーンのオブジェクトを定義するオブジェクトデータが複数の仮想セクション層に配置され、コンピュータ生成ビデオホログラムを計算する方法により達成される。なお、各層は2次元オブジェクトデータセットを定義する。この方法は、
(a)第1の変換において、仮想セクション層の各2次元オブジェクトデータセットを2次元波動場分布へ変換し、該波動場分布をビデオホログラム層から有限距離にある参照層の仮想観察者ウィンドウに対して計算する、ステップと、
(b)セクション層の全ての2次元オブジェクトデータセットに対して、仮想観察者ウィンドウに対して計算された2次元波動場分布を加算し、観察者ウィンドウデータセット集合体を定義する、ステップと、
(c)第2の変換において、観察者ウィンドウデータセット集合体を参照層からビデオホログラム層へ変換し、コンピュータ生成ビデオホログラムに対してビデオホログラムデータセットを生成する、ステップと、
を備える。
【0021】
オブジェクトデータは、2次元シーンを定義するが、3次元画像又はビデオデータを3次元データに変換するための追加の深さ情報を含むデータである。用語「3次元」の範囲には、「2次元」が含まれる。深さ情報は、全てのオブジェクトデータセットに対して同一であってもよい。従って、ホログラムを生成するデバイスは、入力及びユーザが表示したいものによって3次元モードから2次元モードに切り替えられる。
【0022】
用語「層」は、再構成されるシーンを構成するポイントを記述できる任意の種類の定義可能な仮想構造を範囲に含むと広範囲に解釈されるべきである。従って、用語「層」は、任意の仮想平行面の集合及びそれらポイントを空間的に定義できる任意のアルゴリズムを含む。しかし、仮想平面セクションは、計算上処理するのに最も効率的な形の層である。
【0023】
参照層は、照明光源の像平面と同一であるホログラムのフーリエ平面と同一空間を占めてもよい。しかし、許容度があり、フーリエ平面に十分に近接して置かれた観察者の眼は、適切に再構成されたシーンを見る。画素カウントが増加すると、許容度は増加する。
【0024】
1つの実現例において、第1の変換はフレネル変換であり、第2の変換はフーリエ変換である。用語「変換」は、変換と同等であるか又は類似する任意の数学的な技術又は計算技術を含むと広範囲に解釈されるべきである。通常の数学的な意味で使用される変換は、マクスウェル波動方程式でより正確に記述される物理処理に対する近似値であり、フレネル変換又はフーリエ変換として知られる特別な種類のフレネル変換等の変換は2次近似値である。しかし、それら変換は、微分とは対照的に代数的であるため、計算上効率的に処理されるという重要な利点を有する。
【0025】
観察者ウィンドウの再構成された波動場集合体のエラーを補償するために、反復処理は、観察者ウィンドウにおける分布とホログラム層との間で実行されてもよい。
【0026】
ノイズスペックルを減少し且つ明るさ又は回折効率及びシーンの参照層における明るさの定義を向上させるために、オブジェクトデータセットは、擬似ランダム位相分布等の適切な位相分布を示してもよい。
【0027】
従来技術の解決策とは異なり、本発明による上記ステップの最初の2つのステップを実行することにより、単一の波動場集合体のホログラムは回折公式を使用して計算される。全ての個々の波動場が重ね合わされるために、その波動場集合体は、3次元シーンに関する光情報全体を実現された精度内で含む。
【0028】
本発明の好適な実施形態において、セクション層に対する全てのオブジェクトデータセットには、同一総数の離散的なマトリクスポイントが割り当てられる。マトリクスポイント数がホログラムの走査ポイント数と同一である場合、高速なアルゴリズムが計算処理全体に対して使用されるのが好ましく、補間又はオーバーサンプリング等、解像度を各層に適応させる処理ステップは不必要になる。全ての層に対するマトリクスポイント数は、ホログラムディスプレイにおけるSLMの符号化画素数から得られる。
【0029】
特許文献1により周知であるビデオホログラムディスプレイと本発明を組み合わせた場合の主な利点は、ホログラム層の波動場集合体に対する参照データセットを変換する前に、参照層の観察者ウィンドウの領域がSLM光変調器マトリクスの領域より非常に小さくなるように制限されることである。観察者ウィンドウの最大範囲は、参照層においてホログラムを再構成する場合に再構成のために使用される光源の画像を含む層における周期間隔と一致する。これにより、本発明によるコンピュータ生成ビデオホログラムが他の解決策と比較して低い回折角を実現する必要があり、参照層及びホログラム層に対するデータセットが同一数のマトリクスポイント値を有する場合には更にその必要があるという結果が得られる。光変調器マトリクスに対する振幅値の計算のため、処理速度に対する要求は大幅に減少する。特に、現在の閲覧者の位置を追跡する周知の位置検出及び追跡デバイスと組み合わせると、観察者ウィンドウの寸法はかなり最小化され、その特長から利益を得る。更に、上述した特許文献1は、再構成されるシーンの単一ポイント毎に実行される多くの計算を必要とする動作を要求する。本発明を使用すると、単一オブジェクトポイント毎に多くの計算を必要とする動作を実行する必要はなく、例えば各セクション層から観察者の眼が位置する参照平面の仮想観察者ウィンドウへの第1の変換が、層の個々のオブジェクトポイントではなくセクション層全体に対して実行される。仮想観察者ウィンドウからホログラム層へ戻す第2の変換は、全てのオブジェクトポイントに対する情報を符号化するが、単一動作であるためより効率的である。
【0030】
本発明の更なる実施形態において、セクション層の各オブジェクトデータセットは、参照層までの距離に依存する仮想領域サイズに基づく。セクション層の領域は、各観察者ウィンドウのエッジからビデオホログラムのSLMのエッジにわたる想像上の面から得られる。各データセットにおけるマトリクスポイント値の数が同一であるため、個々のマトリクスポイントに割り当てられる領域は、参照層までの距離に比例して変化する。スライスとしても周知であるセクション層のオブジェクトデータセットに元のオブジェクトデータを割り当てることにより、各セクション層上のマトリクスポイントを記述する2次元座標系の各マトリクスポイントにシーンの離散的なオブジェクトポイント値を割り当てる。セクション層に対するオブジェクトポイントのローカル位置に応じて、元のオブジェクト情報は、空間位置に最近接する座標系のマトリクスポイントに割り当てられる。セクション層の距離に依存する領域は、シーンのセクション層を記述するための領域に依存するオブジェクトポイント解像度が大きくなる程、セクション層が参照層に対してより近接して位置付けられるという結果を招く。これは、シーンの前景が詳細に再構成される一方で、背景の同一シーンの要素が非常に低い解像度で再構成されることを意味する。しかし、より離れた仮想セクション層は、シーンの背景に対して非常に大きなビュー領域を再構成できる。この種のシーンの再構成は、一方ではシーンの前景及び背景の要素の非常に自然な表現を提供し、他方では必要な計算力を最小限にすることを助長する。
【0031】
本発明の好適な実施形態において、仮想セクション層の各オブジェクトデータセットの距離に対する値は、再構成全体又は再構成の一部がホログラム層の手前又は背後に現れるように、変換前に選択又は変更される。このように、閲覧者の眼の前の空間の深さにおける再構成の自然な位置及び合成ビデオホログラムの深さ効果の慎重な増幅又は減少は、ソフトウェア設定のみを介して実現される。
【0032】
特許文献1により周知である従来の方法に従って符号化する場合、再構成された3次元シーンは、光変調器マトリクスにより制御される波動場の形で閲覧者の眼の前の自由空間に現れる。計算するのに使用される想像上のセクション層は、観察者ウィンドウの前の空間において再構成の位置を定義し、参照層に対して有限距離に位置付けられる。光近接場における一般的な条件によると、これにより、波動場集合体に対するホログラフィックに再構成されたシーンの各光点の光の寄与が球面波として伝播し、参照層の観察者ウィンドウの目標波面に寄与する。参照層における各オブジェクトデータセットの変換は、フレネル変換による適切な近似値で表される。そのために、全てのオブジェクトデータセットの全てのオブジェクトポイントの振幅値は、参照層までの各セクション層の距離に依存するフレネル位相因子と乗算される。
【0033】
フレネル位相因子は、元の各セクション層と参照層との間の座標の2乗差及び他の因子に依存する指数部を有する。多くのフレネル変換を実行するために、多くの処理時間及び計算力が必要とされる。本発明の好適な実施形態によると、この欠点は、個々のステップが球面波因子との乗算の形の更なる処理ステップと共に高速フーリエ変換(FFT:Fast Fourier Transformation)を使用して実行されるように、困難なフレネル変換をそれらステップに分割することにより補償される。この方法は、グラフィックスとホログラフィアダプタとの少なくとも何れか一方等の専用電子ハードウェアがビデオホログラムを計算するのに使用されるという利点を有する。そのようなハードウェアは、スライス及び画像レンダリング等の他のビデオ処理ステップを行なう周知のモジュール、並びに高速フーリエ変換ルーチンを使用してフレネル変換を実行する少なくとも1つの特定のプロセッサモジュールを含む少なくとも1つの専用グラフィックスプロセッサを含む。必要なFFTルーチンを含むデジタル信号プロセッサ(DSP:Digital Signal Processor)であるそのようなプロセッサは、周知の方法を使用して安価に製造される。一般的なグラフィックスプロセッサにおける最近の利点は、いわゆる共有アルゴリズムを使用してセクション層のデータを参照層にフーリエ変換するような動作を可能にすることである。
【0034】
波動場の計算を簡単化するために、元のセクション層と参照層との間の光の伝播を記述する変換は、高速フーリエ変換(FFT)及び球面波を記述する位相因子との2回の乗算を含むように変更される。第1の位相因子は、元のセクション層の座標及び元のセクション層と参照層との間の距離に依存する。第2の位相因子は、参照層の座標及び元のセクション層と参照層との間の距離に依存する。光学系における光の照準に依存して、それら位相因子の一方又は双方が定数に設定されてもよい。
【0035】
従って、セクション層の分布を参照層に変換する手順は、3つのステップに分割される。
【0036】
1.各オブジェクトポイントの振幅は、第1の位相因子により乗算される。
【0037】
2.各オブジェクトポイントの光の複素振幅を元のセクション層から参照層に変換するために、生成された積が第1の高速フーリエ変換に対して使用される。
【0038】
3.生成された変換は、第2の位相因子と乗算される。
【0039】
シーンのビデオホログラム集合体に対するホログラムデータセットを生成するために、参照データセットのホログラム層への変換は、フレネル変換による光波伝播を記述する変換により表される。このステップを実行できるように、変換は上述のステップに従って実行されるが、この変換前に、参照層の全てのセクション層に対する参照データは複素加算により重ね合わされる。このフレネル変換のために、位相因子の一方又は双方が、光学系における光の照準に応じて定数に設定されてもよい。
【0040】
本発明の特定の利点は、波動場集合体に対する参照データセットが全てのセクション層の計算された参照データセットを加算することにより生成されることである。ホログラム層における変換後、その波動場集合体は、3次元シーン情報全体を含むため、ビデオホログラムに対する基礎としての役割を果たす。これにより、全てのセクション層の2次元画像及び従って3Dシーン全体を同時に再構成できる。
【0041】
符号化処理又は技術上の限界によるビデオホログラムにおける一般的なエラーを減少させたい場合、別の利点が得られる。ビデオホログラムの再構成エラーを減少するために、反復処理が使用されてもよい。従来技術において、再構成された3次元シーンのオブジェクトデータは、元の3次元オブジェクトシーンと比較される必要がある。再構成された3次元オブジェクトシーンとホログラム層との間の変換を多く含む複雑な反復処理は、所望の再構成品質が達成されるまで実行される。本発明の方法は、非常に単純な反復処理を有利に可能にする。参照データセットがオブジェクト情報全体を含むため、反復処理は、ホログラム層と2次元である参照層との間の変換を含む。
【0042】
今日の画像レンダリング技術による高品質の再構成は、そのような補正処理なしでは不可能である。
【0043】
ビデオホログラムは、スライサ手段を有するデジタル信号処理デバイスを使用して計算されるのが好ましい。デジタル信号処理デバイスは、トモグラフィック(断層)シーンセクション層の離散的なマトリクスポイントのオブジェクトポイントを含む別個のオブジェクトデータセットが各セクション層に対して定義されるように、実際の又は仮想の3次元シーンの光振幅の空間分布に対する離散的なオブジェクト値を含むオブジェクト情報を並列仮想セクション層のマトリクスポイントと共に割り当てる。ビデオホログラムのホログラムデータセットは、それらオブジェクトデータセットから計算される。本発明によると、信号処理デバイスは:
有限距離に位置付けられる参照層に対する波動場の別個の2次元分布を各オブジェクトデータセットから計算する第1の変換手段及び変換されたオブジェクトデータセットを層毎にバッファリングするバッファメモリ手段と、
参照データセットにおける波動場集合体の表現を生成するために、変換されたオブジェクトデータセットを加算する加算手段と、
シーンのビデオホログラム集合体に対するホログラムデータセットを生成するために、参照層に対して平行に且つ有限距離に位置付けられるホログラム層において参照(集合体)データセットを変換する第2の変換手段とを更に具備する。
【0044】
デジタル信号処理デバイスは、フレネル変換を実行する少なくとも1つの独立して動作する変換手段を具備し、変換手段は:
元のデータセットのマトリクスポイント値の振幅値と球面波を記述する第1の位相因子とを乗算する第1の乗算手段であり、因子の指数部が元の各層における座標の2乗及び参照層又はホログラム層等の目標層までの距離に依存する第1の乗算手段と、
第1の乗算手段の積を元のセクション層から目標層に変換する高速フーリエ変換手段と、
その変換と球面波を記述する別の位相因子とを乗算する第2の乗算手段であり、因子の指数部が目標層における座標の2乗及び目標層と元の層との間の距離に依存する第2の乗算手段とを含む。
【0045】
上述のように、光学系における光の照準に依存して、それら位相因子の一方又は双方が定数に設定されてもよい。
【0046】
デジタル信号処理デバイスは、同時に変換ルーチンを実行する独立して動作するいくつかのサブプロセッサを有するマルチプロセッサであってもよい。少なくともある特定の数の変換を同時に実行できるように、リソースマネージャは、3次元シーンの内容に依存して、計算に必要な変換を利用可能な変換ルーチンに動的に割り当てることを要求される。参照層において変換されたデータセットは、バッファメモリ手段にバッファリングされる。
【0047】
このようにシーンの内容に依存して、データセットは、あらゆる時点でアクティブにされ、ある特定のセクション層におけるシーンの動作中に変化が起こらない場合には数回使用される。
【0048】
高速フーリエ変換を実行する場合、仮想セクション層のオブジェクトデータセットは、N個の離散的なオブジェクトポイント値を割り当てられる。数字Nは、2のn乗である。
【発明を実施するための最良の形態】
【0049】
好適な実施形態及び添付の図面を使用して、本発明による機能原理を以下に詳細に説明する。
【0050】
ホログラムプロセッサを使用するビデオホログラムの計算は、RGB又はRGB準拠の形式で光振幅の空間分布に対する値を含む実際の又は仮想の3次元シーンの元のオブジェクト情報に基づく。それら値は、周知のファイル形式で利用可能であり、ホログラムプロセッサによりデータメモリから呼び出される。3次元シーンの離散的な各オブジェクトポイントに対してオブジェクトポイントファイル形式がBMPである場合、このオブジェクト情報は、例えば各2次元座標に対する複素カラーオブジェクトポイントデータR0、G0、B0のセットを含む。データメモリMEMは、3次元シーンの深さ情報z0を更に提供する。深さ情報z0が第1のビデオ画像ファイルにおいて既に提供されたか、又は追加の情報を含む少なくとも1つの第2のファイルからプロセッサにより計算されるかは、各ポイントに対する深さ情報z0にとって重要ではない。
【0051】
複雑な処理を理解し易くするために、3つの空間座標の1つ、ここではy座標を以下の説明において無視する。シーンのオブジェクトポイントをM個のセクション層L1...LMのマトリクスポイントP11...PMNに割り当てることにより、N個のマトリクスポイント値を含むオブジェクトデータセットOS1...OSMを生成する。全てのデータセットは、同一数N個のマトリクスポイント値を含む。この数字Nは、N1個の複素値を表すことができる光変調器マトリクスの画素数N1により判定される。高速フーリエ変換アルゴリズムがフーリエ変換の計算に使用される場合、Nは2の冪乗、すなわちN=2nに減少される必要がある。尚、nは整数であり、N≦N1である。例えばN1=1280画素のディスプレイの場合、各データセットは、N=1024のマトリクスポイント値を含む。しかし、2n個の入力値を必要とするわけではない他のフーリエ変換アルゴリズムが使用されてもよく、従ってディスプレイ全体の解像度N1が使用される。
【0052】
図2と合わせて理解されるように、図1は、好適な実施形態を示しており、計算のために図2に示すスライサによりシーンをM個の仮想セクション層L1...LMに分割する方法を示している。スライサは、データメモリMEMに格納された元のオブジェクト情報の深さ情報zを周知の方法で解析し、マトリクスポイントPmnを含むシーンの各オブジェクトポイントを割り当て、セクション層Lmに対応するオブジェクトデータセットOSmに一致したマトリクスポイント値を入力する。添え字に関しては、0≦m≦M、1≦n≦Nである。ここで、Nは、各層のマトリクスポイントPの数であり且つデータセットのマトリクスポイント値の数である。一方では、シーンが実際に存在するか否かに関わらず、セクション層L1...LMは任意に定義され、シーンの離散的なオブジェクトデータセットを判定する。他方では、同一のセクション層L1...LMは、ビデオホログラムに対する再構成されたシーン3D−Sの空間位置を定義することを意図する。従って、図1及び図2は、ビデオホログラムに対してローカルに定義されたようなシーンの所望の再構成3D−Sを示す。計算を実行できるように、更なる定義が必要である。各セクション層Lmは、閲覧者の眼EL/ERが近くに存在する観察者ウィンドウOWを有する参照層RLまでの距離Dmのところに位置付けられる。ビデオホログラムは、参照層までの距離DHのところに位置付けられるホログラム層HLに配置される。
【0053】
図2に示すように、ホログラムマトリクスの計算は、以下のステップを実行することにより継続される。
【0054】
シーンが存在した場合、参照層RLの波動場集合体に寄与するものとして各セクション層Lmのオブジェクトポイントの複素振幅A11...AMNを生成する波動場を判定するために、参照層RLのセクション層L1...LMのオブジェクトデータセットOS1...OSMを変換するステップ。
【0055】
シーンが再構成される場合、観察者ウィンドウOWに現れる波動場集合体を定義する参照データセットRSを形成するために、構成要素

を含む変換されたオブジェクトデータセットDS1...DSMを加算するステップ。
【0056】
Hの距離に位置付けられるホログラム層HLにおいてホログラムデータセットHSを形成して、ビデオホログラムを符号化するためのマトリクスポイント値H1...HNを得るために、参照層RLの参照データセットRSを逆変換するステップ。
【0057】
ビデオホログラムに対するN個の画素値は、ホログラムデータセットの典型的な複素値から得られる。ビデオホログラムにおいて、それら値は、シーン再構成中に光を変調するための波の位相及び振幅値を表す。
【0058】
観察者ウィンドウOWにおける閲覧者に対して3D−Sを再構成する方法を上述した。オブジェクトが実際に閲覧されているかのような実際の3次元法で3次元シーンを認識できるように、各眼に対する各観察者ウィンドウにおいて、種々のホログラムが必要とされる。
【0059】
第2の観察者ウィンドウに対するホログラムマトリクスは同様に計算されるが、変更されたマトリクスポイント値を使用して計算される。その変更は、シーン3D−Sに対して閲覧者の両眼の位置が異なることによる結果である。同時に動作するFFTルーチンを含む搭載されたマルチチャネルデジタル信号プロセッサにおいて、2つのホログラムマトリクスは、互いに完全に独立して同時に計算される。必要な計算力を低減するために、コンテンツの違いを殆ど示さない又は全く示さないオブジェクトデータセットの計算結果は合わせて使用されてもよい。これは、映像の背景を示すセクション層にも当てはまるだろう。両眼は、僅かにずれた角度から同一シーンを見る。
【0060】
本発明の特定の特徴によると、デジタル信号処理デバイスはオブジェクトデータセットマネージャを含む。変換のために2つの信号プロセッサチャネルのうち一方に2つの同一のオブジェクトデータセットのうち一方のみを交互に割り当てることにより余分な処理を回避するために、オブジェクトデータセットマネージャは対応するオブジェクトデータセットの内容を比較する。
【0061】
周知の解決策とは異なり、再構成は、観察者ウィンドウOWから光変調器マトリクスLMにわたる想像上の接続面A1及びA2により定義される錐台形状の空間の仮想観察者ウィンドウを介して閲覧される。3D−Sの再構成は、ビデオホログラム層HLの手前、背景又はその層の上に現れてもよく、あるいはその層と交差してもよい。
【0062】
観察者ウィンドウのサイズは、眼の横方向のサイズを範囲に含む場合に十分であり、特別な場合には、そのサイズは瞳孔のサイズまで減少されてもよい。ホログラム層まで1mの距離で配置される1×1cm2の観察者ウィンドウを仮定すると、コンピュータ生成ビデオホログラムに必要とされる画素数は、従来の符号化方法を有する光変調器マトリクスと比較して1/2,500...1/10,000に減少する。
【0063】
図3は、計算に必要とされる変換を実行する選択された層の位置を示す。第1の仮想セクション層L1及び別の1つの層Lmのみが示される。しかし、参照層RLのセクション層L1...LMの波動場を計算するために、全ての波動場の寄与が常に必要とされる。計算力を節約するために、3次元動画シーンを処理する場合、変換された個々のデータセットDS1...DSMはバッファリングされ、内容に変化があるまで、後続するいくつかのビデオホログラムに対して再利用される。
【0064】
図4は、参照層RLまでDmの距離にあるセクション層LmのオブジェクトデータセットOSmの振幅値Am1...AmNの変換方法を詳細に示す。この複雑な処理を理解し易くするために、1次元の変換のみが示される。式(1)は、フレネル変換の基礎的な部分を示す。
【0065】
(1)

ただし、項

は、座標xmを含む層から座標x0を含む層へのフーリエ変換、すなわちDmの距離に位置付けられるセクション層から参照層へのフーリエ変換の基礎的な部分を示す。
【0066】
上述のように、光学系の光の照準に依存して、2次位相因子の一方又は双方が1であってもよい。
【0067】
(2)

式(2)は、層Lmの対応する位相因子F1mnと乗算されたマトリクスポイント値の振幅Amnを定義する。
【0068】
最後に、式(3)は、(2)のフーリエ変換及び位相因子との乗算の結果を示す。ここで、位相因子は、参照層の観察者ウィンドウOWの座標x0及び各セクション層の参照層までの距離に依存する。式(3)は、参照層の観察者ウィンドウのマトリクスポイントの複素振幅を定義する。
【0069】
(3)

上記解決策により、専用デジタル信号プロセッサ回路が、ちらつきのないリアルタイム再構成の形式である両眼に対する動画シーンのビデオホログラムのシーケンスの計算を実行できるように、計算処理を加速できる。
【0070】
観察者ウィンドウOWの再構成された波動場集合体のエラーを補償するために、本発明の好適な実施形態において、図5に示す反復処理が観察者ウィンドウOWにおける分布とホログラム層HLとの間の計算に適用される。
【図面の簡単な説明】
【0071】
【図1】3次元シーンを再構成するための構成及びビデオホログラムを計算するのに必要な参照層を示す図である(一定の比率ではない)。
【図2】本発明に従ってビデオホログラムを計算する信号処理デバイスを示す概略図である。
【図3】図1に類似し且つ本発明による計算の主なステップを示す図である。
【図4】変換手段の機能原理を示す図である。
【図5】反復処理においてコンピュータ生成ホログラムのマトリクスポイント値を補正するために実行されるサブステップを示す図である。

【特許請求の範囲】
【請求項1】
ビデオホログラムデータセット(HS)を2次元オブジェクトデータセット(OS1...OSM)の一部又は全てから計算することが可能なように、
3次元シーンのオブジェクトを定義するオブジェクトデータが複数の仮想セクション層(L1...LM)に配置され、
各層は前記2次元オブジェクトデータセット(OSm)を定義する、
コンピュータ生成ビデオホログラムを計算する方法であって、
(a)第1の変換(TR1)において、前記仮想セクション層の各2次元オブジェクトデータセット(OSn)を2次元波動場分布へ変換し、該波動場分布を前記ビデオホログラム層(HL)から有限距離(DM)にある参照層(RL)の仮想観察者ウィンドウ(OW)に対して計算する、ステップと、
(b)セクション層(L1...LM)の全ての2次元オブジェクトデータセットに対して、前記仮想観察者ウィンドウ(OW)に対して計算された前記2次元波動場分布(DS1...DSM)を加算し、観察者ウィンドウデータセット集合体(RS)を定義する、ステップと、
(c)第2の変換(TR2)において、前記観察者ウィンドウデータセット集合体(RS)を前記参照層から前記ビデオホログラム層(HL)へ変換し、前記コンピュータ生成ビデオホログラムに対して前記ビデオホログラムデータセット(HS)を生成する、ステップと、
を備えることを特徴とする方法。
【請求項2】
前記ビデオホログラムデータセット(HS)の前記データは、前記ビデオホログラムにおいて均等に離間されたポイントに割り当てられ、前記ポイントは、マトリクスとして編成される、請求項1記載の方法。
【請求項3】
前記セクション層(L1...LM)と、前記ホログラム層(HL)と、前記参照層(RL)と、前記仮想観察者ウィンドウ(OW)とは、平面である、請求項1記載の方法。
【請求項4】
前記ビデオホログラム層(HL)と、前記セクション層と、前記仮想観察者ウィンドウとは、互いに平行である、請求項1記載の方法。
【請求項5】
再構成されたシーンが前記仮想観察者ウィンドウ(OW)を介して観察できるように、観察者の少なくとも一方の眼は、前記仮想観察者ウィンドウに近接して位置付けられる、請求項1記載の方法。
【請求項6】
2つ以上の仮想観察者ウィンドウ(OW)が存在する、請求項1又は5記載の方法。
【請求項7】
前記オブジェクトデータ(R1,G1,B1,z1...RP,GP,BP,zP)はオブジェクトデータセット(OS1...OSM)に割り当てられ、
前記オブジェクトデータセットの全ては、前記観察者ウィンドウデータセット集合体(RS)及び前記ホログラムデータセット(HS)と、同一数(N個)の値及び同じマトリクス構造を有し、
全てのデータセット(OS1...OSM,RS,HS)に対する値の数及び構造は、前記ビデオホログラムを符号化するのに使用される画素数から得られる、請求項1記載の方法。
【請求項8】
前記2次元オブジェクトデータセット(OS1...OSM)及び前記観察者ウィンドウデータセット集合体(RS)は、前記ビデオホログラムデータセット(HS)と同一のマトリクス構造を有する、請求項1又は7記載の方法。
【請求項9】
前記参照層の前記仮想観察者ウィンドウ(OW)は、前記参照層の周期間隔のサイズ以下となるように設定され、完全に1つの周期間隔内に位置付けられる、請求項1から8のいずれか1項に記載の方法。
【請求項10】
前記参照層は、前記ホログラムのフーリエ平面と同一空間を占める請求項1から9のいずれか1項に記載の方法。
【請求項11】
各オブジェクトデータセット(OSm)は、前記参照層(RL)までの距離(Dm)に依存する対応するセクション層(Lm)の領域に基づく、請求項1記載の方法。
【請求項12】
各セクション層の領域は、前記仮想観察者ウィンドウ(OW)のエッジと前記ビデオホログラムのエッジとを接続する、想像上の面(A1、A2)との交差部分により定義される、請求項11記載の方法。
【請求項13】
前記仮想参照層(RL)までの距離(D1...Dm)を有する前記セクション層(Lm)は、再構成されたシーン(3D−S)全体又はその一部が前記ホログラム層(HL)の手前と背後との少なくとも何れか一方に現れるように設定される、請求項1記載の方法。
【請求項14】
前記第1の変換(TR1)はフレネル変換であり、
前記フレネル変換は、
(aa)元のセクション層(Lm)の各オブジェクトポイントの振幅値Amnと球面波(F1mn)を記述する第1の位相因子とを乗算するサブステップであって、前記因子の指数部は、前記元のセクション層(Lm)の座標(xm,ym)の2乗と、前記元のセクション層(Lm)と参照層(RL)との間の距離(Dm)と、に依存する、サブステップと、
(ab)前記元のセクション層(Lm)から前記参照層(RL)への第1の高速フーリエ変換(FFT)を使用して前記元のセクション層(Lm)の各オブジェクトポイント(Am1...AmN)に対する前記計算された積を変換するサブステップと、
(ac)前記計算された変換

と球面波(F2mn)を記述する第2の位相因子とを乗算するサブステップであって、前記因子の指数部は、前記参照層(RL)の座標(x,y)の2乗と、前記元のセクション層(Lm)までの距離(Dm)と、に依存するサブステップと、
を備える請求項1記載の方法。
【請求項15】
前記第2の変換(TR2)はフレネル変換であり、
前記フレネル変換は、
(ca)前記参照データセット(RS)の各複素振幅値

と球面波(F3n)を記述する第3の位相因子とを乗算するサブステップであって、前記因子の指数部は、前記参照層(RL)の座標(x0,y0)の2乗と、前記参照層(RL)と前記ホログラム層(HL)との間の距離(Dm)と、に依存する、サブステップと、
(cb)前記参照層(RL)から前記ホログラム層(HL)への第2の高速フーリエ変換(FFT)を使用して前記複素振幅値

の前記計算された積を変換するサブステップと、
(cc)符号化に使用される前記ホログラムデータセット(HS)に対して所望のホログラム値(H1...HN)を得るために、前記計算された変換(H'1...H'N)と球面波(F4n)とを記述する第4の位相因子とを乗算するサブステップであって、前記因子の指数部は、前記ホログラム層(HL)の座標(x,y)の2乗と、前記ホログラム層(HL)と前記参照層(RL)との間の距離(DH)と、に依存する、サブステップと、
を備える請求項1記載の方法。
【請求項16】
球面波(F1mn、F2mn)を記述する前記位相因子の一方又は双方は定数に設定されてもよい、請求項14又は15記載の方法。
【請求項17】
前記第1の変換と前記第2の変換との少なくとも何れか一方はフーリエ変換である、請求項1記載の方法。
【請求項18】
反復することにより前記コンピュータ生成ビデオホログラムのポイント値を補正するために、
A)元の3次元シーンからの前記観察者ウィンドウデータセット(RS)を前記第1の変換に対する目標関数として定義するサブステップと、
B)前記ホログラムデータセット(HS)のマトリクスポイント値(H1...HN)を取得するために、前記目標関数の前記元の複素振幅値

を前記ホログラム層(HL)へ逆変換するサブステップと、
C)光変調器マトリクス(LM)に対して前記ホログラムデータセット(HS)のパラメータ(Paramn)を微分するサブステップと、
D)前記仮想観察者ウィンドウ(OW)における更新された複素振幅値

の分布を取得するために、パラメータ(Paramn)の前記微分を前記参照層(RL)へ変換するサブステップと、
E)前記目標関数の元の値

と更新された複素振幅値

の前記分布との差分(Δ)を形成するサブステップと、
F)前記差分(Δ)を前記ホログラム層(HL)における差分ポイント値(ΔH1...ΔHN)の分布へ逆変換するサブステップと、
G)前記ビデオホログラムデータセット(HS)から前記分布(ΔH)を減算し、前記ホログラムデータセットを更新するサブステップと、
H)ステップC)〜G)を繰り返すサブステップと、
I)近似精度が達成された場合に反復を終了するサブステップと、
を備える請求項1記載の方法。
【請求項19】
深さ情報は、全てのオブジェクトデータセットに対して同一である、請求項1から18のいずれか1項に記載の方法。
【請求項20】
ホログラムを生成するデバイスは、入力モードとユーザが選択したモードとの少なくとも何れか一方に応じて、3次元モードから2次元モードの切り替えられる、請求項1又は19記載の方法。
【請求項21】
ビデオホログラムに対するビデオホログラムデータセット(HS)をオブジェクトデータセットの一部又は全てから計算することが可能なように、
3次元シーンにおけるオブジェクトを定義するオブジェクトデータを複数の仮想セクション層(L1...LM)へ割り当てる、デジタルスライサ手段を有するコンピュータ生成ビデオホログラムを計算するデジタル信号処理デバイスであって、
各セクション層は別個のオブジェクトデータセット(OSn)を定義し、
(a)各オブジェクトデータセット(OSm)から、有限距離(DM)に設けられた参照層(RL)における仮想観察者ウィンドウ(OW)のための別個の2次元波動場分布を計算する第1の変換手段(TRM1)と、変換されたオブジェクトデータセットをバッファリングするバッファメモリ手段と、
(b)観察者ウィンドウデータセット集合体(RS)の波動場表現を生成するために、全てのセクション層の前記変換されたオブジェクトデータを加算する加算手段(AD)と、
(c)前記ビデオホログラム集合体に対して前記ホログラムデータセット(HS)を生成するために、前記観察者ウィンドウデータセット(RS)を、前記参照層(RL)と平行で有限距離に位置付けられたホログラム層(HL)へ変換する第2の変換手段(TRM2)と、
を備えるデバイス。
【請求項22】
変換を実行する独立して動作する1以上の変換手段(TR1、TR2)を備え、
元のオブジェクトデータセット(OSm)の値の振幅値

と球面波(F1mn/F3n)を記述する第1の位相因子とを乗算する第1の乗算手段(M1)であって、前記因子の指数部は、前記元の各層(Lm又はRL)における座標(xm,ym)の2乗と目標層(RL又はHL)までの距離(Dm)とに依存する、第1の乗算手段(M1)と、
前記第1の乗算手段(M1)の積を元の層(Lm/RL)から前記目標層(RL/HL)へ変換する高速フーリエ変換手段(FFT)と、
前記変換と球面波(F2mn/F4n)を記述する別の位相因子とを乗算する第2の乗算手段(M2)であって、前記因子の指数部は、前記目標層の座標の2乗と、目標層と元の層との間の距離と、に依存する、第2の乗算手段(M2)と、
を有する、請求項21記載のデバイス。
【請求項23】
前記高速フーリエ変換を実行するために、
全てのデータセットは複数(N個)の離散的なマトリクスポイント値を有し、
前記数字(N)は2のn乗である、
請求項22記載のデバイス。
【請求項24】
頻繁に繰り返して発生する計算ルーチンを独立して同時に実行するマルチチャネルデジタル信号プロセッサ(DSP)を有する、請求項21記載のデバイス。
【請求項25】
同時に実行される変換ルーチン(TR1、TR2)を有する独立して動作する複数のサブプロセッサと、
少なくともある特定の数の変換を同時に実行できるように、前記3次元オブジェクトの内容に依存して計算に必要な前記変換を前記利用可能な変換ルーチンに動的に割り当てるリソースマネージャと、
を有する請求項21記載のデバイス。
【請求項26】
双方の眼に対して前記ホログラムデータセット(HSL、HSR)を同時に計算するマルチチャネルプロセッサである、請求項21記載のデバイス。
【請求項27】
前記2つの信号プロセッサチャネルのうち一方において変換等を1回のみ実行するとともに、他方のチャネルにおいて前記変換を共用するために、ホログラム計算における対応するオブジェクトデータセット(OSm)の内容を異なる元のオブジェクトデータと比較するオブジェクトデータセット制御手段を有する、請求項21記載のデバイス。
【請求項28】
球面波(F1mn/F3n、F2mn/F4n)を記述する前記位相因子のうち1つ又は全てが定数に設定されてもよい、請求項21記載のデバイス。
【請求項29】
入力モードとユーザが選択したモードとの少なくとも何れか一方に応じて、3次元モードから2次元モードへ切り替える、請求項21記載のデバイス。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate


【公開番号】特開2012−128432(P2012−128432A)
【公開日】平成24年7月5日(2012.7.5)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−6540(P2012−6540)
【出願日】平成24年1月16日(2012.1.16)
【分割の表示】特願2007−547353(P2007−547353)の分割
【原出願日】平成17年12月22日(2005.12.22)
【出願人】(505176523)シーリアル、テクノロジーズ、ゲーエムベーハー (17)
【氏名又は名称原語表記】SEEREAL TECHNOLOGIES GMBH
【Fターム(参考)】