コリメートされたステレオディスプレイシステム
【課題】コリメートされたステレオディスプレイシステムが提供される。
【解決手段】このシステムは、左眼画像及び右眼画像を含む立体画像のストリームを提供可能な画像生成器と、画像生成器からの立体画像のストリームを受信可能であり、左眼画像及び右眼画像各々への光をフィルタする閲覧装置で閲覧するために光で立体画像を形成し、それによって、閲覧装置を通じて閲覧したときに、立体画像の三次元レンダリングを提供する、少なくとも一つの画像変調器と、少なくとも一つの画像変調器からの光を受信及びコリメート可能であり、光の線は、立体画像が閲覧装置で受信されたとき、略平行であるコリメート装置と、を含むシステム。
【解決手段】このシステムは、左眼画像及び右眼画像を含む立体画像のストリームを提供可能な画像生成器と、画像生成器からの立体画像のストリームを受信可能であり、左眼画像及び右眼画像各々への光をフィルタする閲覧装置で閲覧するために光で立体画像を形成し、それによって、閲覧装置を通じて閲覧したときに、立体画像の三次元レンダリングを提供する、少なくとも一つの画像変調器と、少なくとも一つの画像変調器からの光を受信及びコリメート可能であり、光の線は、立体画像が閲覧装置で受信されたとき、略平行であるコリメート装置と、を含むシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、一般的に三次元ディスプレイに関し、特にコリメートされたステレオディスプレイシステムに関する。
【背景技術】
【0002】
三次元ディスプレイは、一般的に、立体視(stereopsis)、よせ運動(vergence)及び調節(accommodation)の正確な提示で対立することにより、いくつかの閲覧者において眼の緊張を含む問題に悩まされている。例えば、3Dディスプレイは、一般的に、閲覧者に対して常時スクリーン平面に焦点合わせして、焦点合わせを維持することを要求するが、調節からの深さキュー(depth cues)は、よせ運動(vergence)からの深さキューとは不整合である。
【0003】
例えば、焦点面がスクリーンの面で保たれる場合、閲覧者の眼は、視差がスクリーン面とは異なる空間の位置を暗示する立体的な物体に収束する(converge)ように焦点合わせされるスクリーン面は、閲覧者から10フィート離れていると考える。眼は、スクリーン面での焦点合わせを保持するが、立体提示は、物体が閲覧者から15フィート離れていることを暗示する。物体は、その後、閲覧者から15フィート離れたことを意味するところから7フィート離れたことを意味するところへ移動する。その間、眼は、10フィート離れた固定されたスクリーン面に調節/焦点合わせを保持する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
人間の脳は、人間が、しみついた反応、又は調節/焦点合わせの筋肉メモリレベルを予期できるようにショートカットする。よせ運動及び焦点合わせのシステムは、よって、通常、共同で機能する。平面ディスプレイを有するステレオソリューションでは、閲覧者は、閲覧者が学習して距離を測るというこの関係を切り離すことが求められる。この切り離しは、時間と共に疲労及びストレスを引き起こす。
【課題を解決するための手段】
【0005】
本明細書の一態様は、左眼画像及び右眼画像を含む立体画像のストリームを提供可能な画像生成器と、前記画像生成器からの前記立体画像のストリームを受信可能であり、前記左眼画像及び前記右眼画像各々への光をフィルタする閲覧装置で閲覧するために光で前記立体画像を形成し、それによって、前記閲覧装置を通じて閲覧したときに、前記立体画像の三次元レンダリングを提供する、少なくとも一つの画像変調器と、前記少なくとも一つの画像変調器からの前記光を受信及びコリメート可能であり、前記光の線は、前記立体画像が前記閲覧装置で受信されたときに、略平行である、コリメート装置と、を含むシステムを提供する。
【0006】
前記システムは、前記立体画像を投影し、前記少なくとも一つの画像変調器を含む少なくとも一つのプロジェクタと、前記立体画像が投影される少なくとも一つのスクリーンと、反射された光がコリメートされるように前記少なくとも一つのスクリーンからの前記立体画像を反射する少なくとも一つのコリメートミラーと、をさらに含み得、前記コリメート装置は、前記少なくとも一つのスクリーン及び前記少なくとも一つのコリメートミラーをさらに含む。前記少なくとも一つのコリメートミラーは、球状又は放物線状のいずれか一方であり得、前記少なくとも一つのスクリーンは、前記少なくとも一つのコリメートミラーと補完する形状を有し得る。
【0007】
前記コリメート装置は、前記立体画像が提供される少なくとも一つのスクリーンと、反射された光がコリメートされるように前記少なくとも一つのスクリーンからの前記立体画像を反射する少なくとも一つのコリメートミラーと、を含み得る。
【0008】
前記システムは、前記少なくとも一つの画像変調器が前記光で前記立体画像を形成する前に、前記立体画像をワープすること、前記コリメーション装置に対して前記閲覧装置の変化位置に基づいて前記ワープを繰り返すこと、前記左眼画像と前記右眼画像との間の両眼間距離を変化させること、及び前記立体画像の前記ストリームに二次元画像を挿入すること、の少なくとも一つが可能であるコンピューティング装置をさらに含み得る。
【0009】
前記システムは、前記立体画像が没入環境での没入体験と関連付けられるような前記没入環境をさらに含み得る。前記没入環境は、シミュレーション環境、フライトシミュレータ及びドライブシミュレータのうちの一又はそれ以上を含み得る。前記没入環境は、可視化環境、顕微鏡可視化環境、医療画像可視化環境、オイル及びガス可視化環境、及び地震学可視化環境のうちの一又はそれ以上を含み得る。前記没入環境は、トレーニング環境を含み得る。
【0010】
前記システムは、前記閲覧装置の位置を捕捉可能なヘッドトラッキング装置と、閲覧のために、前記閲覧装置の位置及び方向の一又はそれ以上に基づいて前記立体画像を調整可能なプロセッサと、をさらに含み得る。前記立体画像は、閲覧のために曲面上に投影され得、前記プロセッサは、さらに、前記曲面の形状に基づいて前記立体画像を調整可能であり得る。前記システムは、前記形状を示すデータを記憶するメモリをさらに含み得る。前記プロセッサは、さらに、表示するために、平坦なスクリーンに提供されたときに前記立体画像を含む画像を求めること、前記曲面及び前記閲覧装置の前記位置の形状を示す前記データに基づいて前記平坦なスクリーンの歪みを求めること、及び前記曲面に投影されたときに前記立体画像が歪まずに表示されるように前記歪みに基づいて前記画像を調整することにより、前記曲面の形状に基づいて前記立体画像を調整可能であり得る。前記立体画像を調整することは、前記閲覧装置の位置の変化が求められるたびに繰り返されうる。前記コリメート装置は、コリメートミラーを含み得、前記コリメートミラーは、反射した光がコリメートされるように前記曲面からの前記光を反射可能であり得る。
【0011】
前記システムは、前記左眼画像及び前記右眼画像の両眼間距離を変化させることにより、前記立体画像を調整可能なプロセッサをさらに含み得る。前記両眼間距離は、前記立体画像の閲覧者と少なくとも一つの前記立体画像の与えられた特徴との仮想的な距離に基づいて変化させられ得る。前記両眼間距離は、前記左眼画像及び前記右眼画像がハイパーステレオで提供されるように変化させられ得る。前記左眼画像及び前記右眼画像は、前記仮想的な距離が、第1の閾値を超える、及び第2の閾値を下回る、の一方又は両方であるときに、ハイパーステレオで提供されるように変化させられ得る。
【0012】
前記システムは、前記立体画像の閲覧者と少なくとも一つの前記立体画像の与えられた特徴との仮想的な距離に基づいて、二次元画像を前記立体画像のストリームに挿入可能なプロセッサをさらに含み得る。前記プロセッサは、前記左眼画像及び前記右眼画像の一方を前記左眼画像及び前記右眼画像の他方と置き換えることにより、前記二次元画像を前記立体画像のストリームに挿入可能であり得る。前記プロセッサは、さらに、前記仮想的な距離が、第1の閾値を超える、及び第2の閾値を下回る、の一方又は両方であるときに、前記二次元画像を前記立体画像のストリームに挿入可能であり得る。
【図面の簡単な説明】
【0013】
本明細書に記載される各種実施のよりよい理解のため、及びそれらがどのように実行されるかをより明確に示すために、例示のためのみに、添付の図面が参照される。
【図1】図1は、制限されない実施に係るコリメートステレオディスプレイシステムを示す。
【図2】図2は、制限されない実施に係る図1の使用時のシステムを示す。
【図3】図3は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の両眼離反運動(vergence)の挙動を示す。
【図4】図4は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の両眼離反運動(vergence)の挙動を示す。
【図5】図5は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の両眼離反運動(vergence)の挙動を示す。
【図6】図6は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の調節(accommodation)の挙動を示す。
【図7】図7は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の調節(accommodation)の挙動を示す。
【図8】図8は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の調節(accommodation)の挙動を示す。
【図9】図9は、制限されない実施に係る、コリメートディスプレイシステムを示す。
【図10】図10は、制限されない実施に係る、コリメートディスプレイシステムを示す。
【図11】図11は、制限されない実施に係る、頭の捕捉によるコリメートディスプレイシステムを示す。
【図12】図12は、制限されない実施に係る、図11の使用時のシステムを示す。
【図13】図13は、制限されない実施に係る、閲覧中の装置の位置が変化したときの図11のシステムにおける立体画像の調整方法を示す。
【図14】図14は、制限されない実施に係る、両眼間距離を有するコリメートディスプレイシステムの使用を示す。
【図15】図15は、制限されない実施に係る、図14のシステムで使用される仮想的な景色を示す。
【図16】図16は、制限されない実施に係る、図14のシステムにおいて両眼間距離が変化したときの立体画像の変化を示す。
【図17】図17は、制限されない実施に係る、図14のシステムにおいて二次元画像を三次元画像のストリームに挿入することを示す。
【図18】図18は、制限されない実施に係る、スクリーンに投影される立体画像における仮想的な物体に焦点合わせされるときの人間の眼の調節(accommodation)の挙動を示す。
【発明を実施するための形態】
【0014】
制限されない実施に係る、コリメートステレオディスプレイシステム100を示す図1及びシステム100の使用を示す図2に注目する。システム100は、一般的に、少なくとも一つの画像変調器103と接続する画像生成器101を含む。画像生成器101は、一般的に、左眼画像106a及び右眼画像106bを含む立体画像のストリームを提供可能である。左眼画像106a及び右眼画像106bは、図1でのみ標示されるが、その後の図面では、それらは、それにもかかわらず、立体画像105に存在することがわかる。
【0015】
図示するように、ここで説明されるような画像生成器101は、立体画像105を処理する付加的なコンピューティング装置を通じて少なくとも1つの画像変調器103に接続される。コンピューティング装置104は、これに限定されないが、ワーピングエンジン、ビデオ処理装置、パーソナルコンピュータ(PC)、サーバ等を含む任意の適切なコンピューティング装置を含みうる。一般的に、コンピューティング装置104は、プロセッサ112及びメモリ114(揮発性及び不揮発性を含みうる)と共に、任意の適切な通信インターフェース、入力装置及び表示装置を含む。
【0016】
画像生成器101は、これに限定されないが、三次元シネマファイル、三次元ビデオファイル、三次元ディスプレイファイル、ビデオゲームシステム、シミュレーションシステム、ビジュアライゼーションシステム、トレーニングシステム等の記憶装置を含む任意の適切な画像生成器を含みうる。
【0017】
少なくとも1つの画像変調器103は、通常、画像生成器101からの立体画像105のストリームを受信し、閲覧装置109で閲覧するために光107で立体画像105を形成する。例えば、実施形態に示すように、少なくとも1つの画像変調器103は、立体画像105を投影するためのプロジェクタを含む。以下、少なくとも1つの画像変調器103は、一つの画像変調器103として示されるが、システム100が一又はそれ以上の画像変調器103を含みうることが理解される。さらに、この約束事は、本明細書全体を通じて使用される。
【0018】
画像変調器103、画像生成器101及びコンピューティング装置104は、それが存在するのであれば、任意の適切なプロトコルを用いて所望の有線又は無線通信であってもよく、互いにローカル又はリモートであってもよい。
【0019】
閲覧装置109は、一般的に、左眼画像106a及び右眼画像106bそれぞれへの光107をフィルタすることができ、それにより、閲覧装置109を通じて視たときに、立体画像105の三次元レンダリングが提供される。
【0020】
すなわち、システムは、一般的に、三次元で画像を閲覧する“3D”(“3次元”)システムを含み、その一方で、画像変調器103は、任意の適切な技術を用いて、閲覧装置109(“3D”眼鏡)により左眼画像106a及び右眼画像106bに分かれうる立体画像105を投影する“3D”プロジェクタを含む。実際には、通常、閲覧装置109は、画像変調器105と互換性があることが理解される。例えば、画像変調器103が、左眼画像106a及び右眼画像106bを異なる偏光状態(制限されないが、直交直線状態及び時計/反時計回りの円状態)で投影する場合の実施において、閲覧装置109は、閲覧者111の各眼への左眼画像106a及び右眼画像106bをフィルタするために適切に偏光されるフィルタを含む。同様に、画像変調器103が、左眼画像106a及び右眼画像106bを交互に投影する場合の実施において、交互に、閲覧装置109は、左眼画像106a及び右眼画像106bの各々が投影されると、開閉し、それによって、閲覧者111の各眼への左眼画像106a及び右眼画像106bをフィルタする適切な電子シャッター(制限されないが、LCD(液晶ディスプレイ)をベースにするシャッターを含む)を含む。いずれにせよ、閲覧のために、閲覧装置109を通じて立体画像105を提供する方法は、特段、制限されないことが理解される。例えば、他の実施は、制限されないが、カラーコンブフィルタ及び/又は偏光フィルタを用いるアクティブ又はパッシブステレオディスプレイシステムを含んでもよい。
【0021】
さらに、図1において閲覧装置109が紙面を向いて示されているが、このような図示は、単に概略的なものであり、閲覧者111は、通常、ミラー117への画像105に実質的に直面していることがわかる。
【0022】
通常、立体画像105が、スクリーンのような閲覧のために適切な表面において提供されることがわかる。しかし、従来の3Dシステムとは対照的に、システム100は、画像変調器103からの光107を受信及びコリメート可能なコリメーション装置113をさらに含み、光107の線121は、閲覧装置109で受信されたときに、略平行である。図示された制限しない実施において、コリメーション装置113は、立体画像105が投影される少なくとも一つのスクリーン115と、反射した光119がコリメートされるように、スクリーン115からの立体画像105を反射するコリメートミラー117と、を含む。
【0023】
スクリーン115は、コリメートミラー117により次々に反射される光107を散乱/反射可能な任意の適切なスクリーンを含みうる。スクリーン115は、一般的に、これに制限されないが、一般的に、球形状及び放物線形状を含む凸形状であることがわかる。凸状スクリーンの使用は、画像が閲覧される凹状スクリーンを使用しがちである従来の二次元シミュレータよりも優れた点を提供する。例えば、凹状スクリーンは、各側部での画像からの光が凹状スクリーンの反対側に反射されるときに、側部から側部へのクロストーク及び上部から下部へのクロストークに悩まされている。これは、劣化したコントラスト、フレア及びゴーストを引き起こす。さらに、このような問題は、凹状スクリーンへの逆投影(back projection)の使用及び/又は背面投影(rear projection)の使用を通じて、悪化しうることがわかる。例えば、通常、フライトシミュレータで使用される背面投影凹状スクリーンは、広く誤解されている。これらは、頻繁に正面投影(front projection)よりも明るくかつコントラストがよいとして誤って述べられているが、これは、単に環境光が多いだけである。一方、多くの背面投影スクリーンは、形状散乱(geometric scattering)及びスクリーン吸収により、二重画像及びフレアを生じる深刻な軸線のゴーストに悩まされている。対照的に、凸状正面投影スクリーンを用いることにより、クロストークの問題は、排除され、改善されたコントラスト、改善された輝度、改善された解像度、低いコスト、余裕のあるプロジェクタの配置、フレアの低減、ゴーストの低減等がもたらされる。
【0024】
コリメートミラー117は、制限されないが、略平行な線121での光を反射する一般的な特性を有する球状及び放物線状ミラーを含む任意の適切な凹状ミラーを含みうる。そのため、従来の3Dシステムと比べて、立体画像105を形成する光/平行線121は、閲覧装置109に到達したときにコリメートされて、閲覧者111の眼が、スクリーン115又はコリメートミラー117に焦点合わせされないが、無限遠で焦点合わせされる。この利点は、以下の図3から8を参照しながら説明される。
【0025】
しかし、放物線状ミラーは、球状ミラーよりも優れたコリメーションを提供しうることがわかる。しかし、放物線状ミラーは、製造コストが高くなりうる、一方、球状ミラーは、製造コストが安価であり、製造が容易であるが、放物線状ミラーは、エッジでいくつかのコマ収差(coma)を生じうる。それにもかかわらず、球状ミラーは、コリメーションの度合いとコストとのトレードオフを適切にしうる。そのため、コリメートミラー117のコリメーションは、完璧となる必要が無いことがわかる。
【0026】
さらに、コリメートミラー117は、制限されないが、ガラス、MylarTMフィルムを含む任意の適切な材料を含みうる。後者の場合、実際に完全な放物線状又は完全な球状のMylarTMフィルムミラーを製造することは困難となりうるし、通常、MylarTMフィルムミラーは、視野ディスプレイのクロスコックピットの広いフィールドために、境界及び圧力が制限され、中央でのサドル膨れ(saddle bulging)が頻繁に生じるカテナリー曲線を含む。しかし、より多くの収差がより質の低いミラーに現れるため、パフォーマンス及び快適さが低下するが、コリメーションの度合いは、一般的に適正である。
【0027】
さらに、スクリーン115は、コリメートミラー117と補完する形状を有し、そのため、スクリーン115は、通常、湾曲していることがわかる。例えば、コリメートミラー117が、通常、凹状であるとき、スクリーン115は、通常、凸状である。例えば、コリメートミラー117が、通常、球状かつ凹状である実施では、スクリーン115もまた、通常、球状かつ凸状であり、コリメートミラー117が、通常、放物線状かつ凹状である実施では、スクリーン115もまた、通常、放物線状かつ凸状である。しかし、スクリーン115は、コリメートミラー117と完全に補完される必要はないことがわかる。例えば、コリメートミラー117が、球状である実施では、閲覧される画像において得られる収差(aberrations)に対して補正するためのコンピューティング装置104により行われる画像105への補正により、スクリーン115は、放物線状であり、その逆も同様である。
【0028】
実際、理想的な凹状ミラーから凸状スクリーンへの変移は、本実施の範囲内であることがさらにわかる。このようなシステムは、理想的ではないが、このようなシステムは、本明細書に記載されるコリメートされた立体画像ディスプレイに利点をもたらす。例えば、いくつか実施では、平坦なスクリーン(つまり、スクリーン115)から反射される画像105は、大きな半径の放物線状ミラー(つまり、コリメートミラー117)を用いて閲覧されうる。これらの実施のいくつかでは、画像105への補正は、閲覧される画像においてもたらされる収差を補正するためのコンピューティング装置104により行われうる。
【0029】
さらに、コリメートミラー117は、設計視点(design eye point (DEP))123に達する平行な線(parallel rays)121がほぼ閲覧者111の眼に位置合わせされるように配置されることがわかる。さらに、DEP123から戻る平行な線121の捕捉は、閲覧者111が焦点合わせするスクリーン115の点で収束を生じることがわかる。すなわち、図示するように、平行な線121各々は、反射した光119各々を通じてスクリーン115へトレースバックされうる。
【0030】
さらに、いくつかの実施では、スクリーン115の下部は、コリメートミラー117の上部からクリア又はクリアに近い状態になりうることがわかる。すなわち、スクリーン115及びコリメートミラー117は、スクリーン115に投影される立体画像105が、閲覧者111により閲覧可能であり、コリメートミラー117の上部が、スクリーン115によりブロックされないように配置される。
【0031】
図示された実施では、システム100は、画像変調器103が、光107を立体画像105に形成する前に、立体画像105をワープすることが可能なコンピューティング装置104を含む。例えば、立体画像105は、立体画像105が、平行な線121を通じて、湾曲したスクリーン115に投影され、かつ閲覧装置109で閲覧されたときに、立体画像105が湾曲して表現されないように、コンピューティング装置104においてワープされる。
【0032】
さらなる実施では、現在説明されているように、コンピューティング装置104は、コリメーション装置113に関する閲覧装置109の位置の変化に基づいてワープを繰り返すことが可能にされうる。すなわち、システム100は、さらに、図11及び12を参照して説明するように、閲覧装置109及び/又は閲覧者111の頭部の位置を捕捉し、閲覧装置109及び/又は閲覧者111の頭部の位置に基づいて立体画像105を動的にワープさせて、変化したビューポイントを提供する頭部捕捉装置を含みうる。
【0033】
さらに別の実施では、現在説明されているように、コンピューティング装置104は、さらに、左眼画像106aと右眼画像106bとの間の両眼間距離(瞳孔間距離としても示される)を変化させること、及び立体画像105のストリームに二次元画像を挿入することの少なくとも一つを可能にしうる。
【0034】
しかし、他の実施では、画像生成器101は、コンピューティング装置104の全ての機能を行うことが可能となりうる。そのため、これらの実施では、画像生成器101及びコンピューティング装置104は、一つの装置に組み込まれ、画像生成器101は、その後、コンピューティング装置104を含む。
【0035】
いくつかの実施では、システム100は、制限されないが、3Dコリメートされた映画用途、コリメートされた3Dディスプレイ、一人用デスクトップコリメート3Dディスプレイ、3Dコリメートテレビジョン及び3Dコリメートされたビデオゲームシステムを含む一般的な3Dビデオ用途に用いられうる。
【0036】
さらに、システム100は、立体画像105が没入環境における没入体験と関連付けられるような没入環境をさらに含みうることがわかる。
【0037】
例えば、没入環境は、制限されないが、フライとシミュレータ、ドライブシミュレータ、スペースシップシミュレータ等を含むシミュレーション環境を含む。そのため、システム100は、フライトシミュレータでのように、例えば、フライトのシミュレーションを提供するために閲覧者111が立体画像を制御しうるような “実世界(real world)”制御を含みうる。立体画像105は、そのため、閲覧者111が実世界で魅了されるのと同様の手法によりシミュレーション環境で魅了されるような実世界を再現するために“実世界”の画像を含むように、画像生成器101(及び追加でコンピューティング装置104)によりフィードバックループで動的に更新されうる。
【0038】
従来、三次元効果は、コリメートされた光が、一般的に約9メートル(約30フィート)と見なされる“光学無限遠(optical infinity)”から到達すると仮定されるため、フライトシミュレータを含むシミュレーション環境のようなコリメートされたディスプレイシステムでは使用されないということが理解されている。例えば、光学無限遠(optical infinity)は、一般的に、物体の視点の角度での(平均的な成人のための)距離であると仮定され、その距離は、左眼及び右眼の両方から同じように効果的であり、故に、二つのチャネル画像及び立体ディスプレイシステムを用いた場合にわずかな利点があるとさらに仮定される。しかし、フライトシミュレータとして構成されるシステム100のワーキングプロトタイプの試験は、誤っている従来のこれらの仮定を示している。実際、ワーキングプロトタイプに接したパイロットは、コリメートされた非立体ディスプレイにより提供されるインタラクティブ体験よりもコリメートされた立体ディスプレイシステムにより提供されるインタラクティブ体験のほうがより現実的である(リアリティーがある)と感じた。
【0039】
第1に、約4フィートから少なくとも約400メートル(すなわち約1/4マイル)の範囲の距離であってもシミュレートされた特徴(simulated features)は、左眼及び右眼への異なるビュー(views)を生成でき、よりよい深さの知覚によって顕著かつ改善された三次元効果が提供される。
【0040】
第2に、フライトシミュレータのよりよい解像度は、二次元画像よりもむしろ立体画像を用いたときに、超解像度効果によって大きく認識される、すなわち、人間の脳は、立体的な左眼及び右眼画像を重畳することができ、かつ単一の画像が左眼及び右眼の両方に対して用いられた場合(つまり、二次元)よりも得られた画像に対してより高い解像度を補完することができる。
【0041】
第3に、制限されないが、空中給油ブーム、低空飛行ヘリコプター、ドライブシミュレータ及び着陸時の風景の特徴を含む、設計視点(design eye point)から9メートル程度であるフライトシミュレータに提供されうる特徴が存在する。しかし、これらの特徴は、9メートル以上かつ数メートル以下で提供されうる。これらの状況において、パイロットは、三次元立体画像が二次元画像よりもよりリアルな体験を提供することに気付く。
【0042】
さらなる実施では、没入環境は、実世界の環境に関連する必要の無い可視化環境を含む。例えば、可視化環境は、これに制限されないが、一又はそれ以上のCAVE(Cave Automatic Virtual Environment)、医療画像化可視化環境、オイル及びガス可視化環境、地震学可視化環境等を含みうる。これらの実施では、システム100は、可視化環境を“操作”するための制御を含みうる。例えば、このような可視化環境及び関連する制御は、立体画像105において、仮想的な医療分子/薬物等、オイル堆積物、地震性のプレート等を可視化及び操作するために用いられうる。コリメートされたディスプレイシステムは、これまで、可視化環境で用いられておらず、立体画像と組み合わせることももちろん用いられてこなかったことがわかる。実際、ディスプレイシステムの一般的な分野内では、シミュレーション環境と可視化環境とを重ね合わせることはほとんどなかった。
【0043】
さらに別の実施では、没入環境は、これに制限されないが、修理設備及び/又は構築設備のためのトレーニング環境(例えば、制限されない例として、産業車両の構築及び修理)を含む。例えば、このようなトレーニング環境及び関連する制御は、修理設備及び/又は建築設備のための立体画像105における仮想的なアイテムを可視化及び操作するために用いられうる。コリメートされたディスプレイシステムは、これまで、トレーニング環境で用いられておらず、立体画像と組み合わせることももちろん用いられてこなかったことがわかる。
【0044】
コリメートされたステレオディスプレイの一般的な利点は、図3から5、図6から8及び図18を参照してこれから説明される。具体的には、図3及び4は、スクリーンに投影される立体画像内の仮想的な物体に焦点合わせされる場合に、仮想的な物体がスクリーンの前及びスクリーンの後ろにそれぞれ“位置する”際の人間の眼のよせ運動(vergence)の挙動を示す。図3から、左眼及び右眼は、物体P3がスクリーンの前に現れたときに、交差(つまり、よせ運動)しようとするが、同時に左眼画像P1及び右眼画像P2は、実際にスクリーンに投影されており、これは閲覧者に頭痛及びむかつきを生じさせうるステレオスコピック・キュー(stereoscopic cues)と矛盾する(conflict)ことがわかる。不快の度合いは、閲覧者によって変化しうることがわかる。図4を参照すると、この問題は、物体P3がスクリーンの後ろに“位置する”ときには、眼がまだ収束(converge)しようとするため、それほど深刻にはならない。しかし、図5を参照して、本実施のように、物体P3(図5には図示せず)が光学無限遠に見かけ上位置するとき、バージェンス・キュー(vergence cues)は、画像P1,P2(つまりスクリーン)の実際の位置にほぼ一致し、眼の軸線(eye axes)は、ほぼ平行であり、それによって、眼の緊張が低減される。実際、このようなビューは、一般的に、実際のウィンドウの外の実際のビュー−つまり、略平行な軸により、両眼間(例えば、瞳孔間)距離により隔てられ、かつ心地よくリラックスしたビューをシミュレートし、それによって、眼の緊張が低減される。
【0045】
さらに、眼の焦点(調節)は、また、立体画像内の仮想的な物体が、スクリーンの前及びスクリーンの後ろにそれぞれ“位置する”場合、に矛盾する。例えば、図6及び7は、仮想的な物体がスクリーンの前及びスクリーンの後ろにそれぞれ“位置する”場合に、立体画像内の仮想的な物体が、スクリーンに投影される場合の人間の眼の調節の挙動を示す。図6を参照すると、物体がスクリーンの前に仮想的に位置する場合、眼は、スクリーンの前に焦点合わせしようとして、毛様体筋が、眼のレンズを、網膜上に画像を焦点合わせするのに必要な曲率にしようとするため、眼の前面が緊張する。
【0046】
図7を参照すると、物体がスクリーンの背後に“位置した”場合、眼及び毛様体筋がわずかに緊張するため、この問題がわずかにひどくなる。しかし、調節とよせ運動との矛盾は未だ存在する。
【0047】
しかし、図8を参照すると、本実施のように、物体が(図8には図示せず)、光学無限遠に見かけ上位置している場合、調節のキュー(accommodation cues)は、ほぼ左右の眼の画像の実際の位置(つまり、スクリーンでの)に一致し、眼及び毛様体筋がほぼ緩和され、それにより、眼の緊張が低減される。
【0048】
しかし、上述したように、多くの物体が、光学無限遠に見かけ上位置している場合であっても、コリメートされたステレオディスプレイシステム100を提供することにより、左及び右眼画像へのビューの顕著な差異が存在し、良好な立体画像がシステム100で形成されうる。そのため、疲労することなく、長時間にわたるより心地良い三次元閲覧体験を提供する。
【0049】
すなわち、図6、7及び8は、ウィンドウを見る三つの“通常の場合”である。本明細書により特定される問題をさらに示すために、図18に注目すると、図18は、ウィンドウ又はスクリーン平面(これは、全ての存在する3Dディスプレイに対する通常の場合である)に眼を焦点合わせることを示す。実際、人間の眼は、近い物体に焦点合わせするが、3Dディスプレイの深さのキュー(depth cues)は、物体がスクリーンの前面に“仮想的に”示された場合において、画像が実際にスクリーンに存在するときに、矛盾する。
【0050】
例えば、閲覧者が、3D画像、例えば、閲覧者の前面の約18インチのコンピュータスクリーン上のゲームを観ている場合、閲覧者の焦点は、固定され、図6のように前レンズ面が非常に急勾配になり、毛様筋が収縮する。しかし、ステレオゲーム又はシミュレーション、顕微鏡若しくは3Dで表示されるものは、図5に示されるような適切なバージェンス・キュー(vergence cues)により無限遠での物体(例えば、航空機)を示しうる。それ故、網膜の立体視差の大きなバージェンス・キュー(vergence cues)は、画像が無限遠であると言えるが、調節からの小さな深さのキューは、実際に18インチ離れているだけであるといえる。この深さの矛盾は、眼の緊張を生じさせる。
【0051】
コンピュータスクリーンの前面の物体に対して、バージェンス・キューが、図3のものと同様である場合でさえも眼が緊張し、かつ“不自然”であり、例えば、焦点調節のキュー(focus accommodation cues)が、物体が未だ約18インチ離れていると閲覧者の脳が認識しているときに、約12インチ離れている。
【0052】
このような矛盾は、調節及びよせ運動の両方がほぼ同期したときに、離れた物体のより心地よい、かつより自然なビューが実現されるため、本実施により若干解消され、この物体は、無限遠が、ウィンドウの実際の無限遠に見えるように、コリメートミラー117によりさらに遠くに“押される”−すなわちバージェンス(交差しない又は平行)及び焦点合わせ(つまり、弛緩した平らなレンズ)の両方で眼が弛緩(リラックス)される。これは、通常3D画像を観ることに多くの問題を有する閲覧者でさえも、より少ない眼の緊張で、シミュレートされたビューを一度に数時間観ることを容易にする。
【0053】
次に図9に注目すると、図9は、同様の数字を有する要素によりシステム100とほぼ類似しているが、“a”が付与されているシステム100aを示す。例えば、画像変調器100aは、画像変調器100と同様である。しかし、これらの実施において、スクリーン115aは、リアプロジェクションスクリーン(バックプロジェクションスクリーン(BPS)とも呼ばれる)を含み、画像変調器100aは、コリメートミラー117aにより反射される立体画像の各々が、スクリーン115aの背面に投影されるように配置される。すなわち、システム100aは、システム100と類似しているが、前方投影(front projection)形状ではなく背面投影(rear projection)形状を有する。
【0054】
次に図10に注目すると、図10は、同様の数字を有する要素によりシステム100とほぼ類似しているが、“b”が付与されているシステム100bを示す。例えば、コリメートミラー117bは、コリメートミラー117と同様である。しかし、これらの実施において、画像変調器103bは、スクリーンと組み合わせられる、つまり、画像変調器103bは、湾曲したディスプレイ(例えば発光ダイオード(LEDs)、有機LEDs又は曲面ディスプレイを製造するために任意の他の適切な技術に基づく)を含み、そこに形成される立体画像の各々は、コリメートミラー117bにより順次反射される。すなわち、システム100bは、システム100と類似しているが、湾曲したパネルディスプレイ技術により置き換えられる投影素子を有する。実際、湾曲したパネルディスプレイ技術の使用は、フライトシミュレータで今日使用される大きなBPSシミュレータスクリーンよりも低電力かつ小サイズの小さなニア−ザ−アイ(near−the−eye)ディスプレイを可能にすることがわかる。
【0055】
次に図11に注目すると、図11は、同様の数字を有する要素によりシステム100とほぼ類似しているが、“c”が付与されているシステム100cを示す。例えば、画像変調器100cは、画像変調器100と同様である。図12は、使用時のシステム100を示す。しかし、システム100cは、コンピューティング装置104cに組み込まれる頭部捕捉装置1101をさらに含み、頭部捕捉装置は、これに限らないが、閲覧者111cの頭部の位置を含む閲覧装置の位置を取得可能である。閲覧装置109cの位置は、これに限らないが、コリメートミラー117cの前の領域における閲覧装置109cの位置、及び閲覧装置109cの向き(例えば、閲覧者111cが左、右、上、下、前方を観ているか等)を含みうることがわかる。図11及び12は、以下にさらに説明するようなコンピューティング装置104cのさらなる詳細を示す。しかし、コンピューティング装置104cは、それぞれプロセッサ112及びメモリ114と同様のプロセッサ1103及びメモリ1105を含むことがわかる。
【0056】
図示される制限されない例の実施では、頭部捕捉装置1101は、閲覧装置109cの写真を撮るために位置付けられる一又はそれ以上のデジタルカメラ及びデジタルビデオカメラ(一般的なカメラ)、及び/又は閲覧者111cの頭部(例えば、コリメートミラー117cの前の領域)を含む。しかし、任意の適切な頭部捕捉装置が本実施の範囲内であり、本明細書は、カメラに不当に制限されるものではないことがわかる。いくつかの実施では、頭部捕捉装置は、頭部捕捉データを処理し、閲覧装置109cの位置を求めるコンピューティング装置(図示せず)をさらに含みうる;閲覧装置109cの位置を示すデータは、その後、コンピューティング装置104cに送信されうる。
【0057】
しかし、他の実施では、一旦、頭部捕捉装置1101が閲覧装置109cの位置を取得すると、取得されたデータは、処理のためにコンピューティング装置104cに送信されて、プロセッサ1103は、取得されたデータを処理することにより閲覧装置109cの位置を求める。
【0058】
実際には、プロセッサ1103は、一般的に、閲覧装置109cの位置に基づいて、閲覧のために立体画像105cを調整可能であることがわかる。例えば、閲覧装置109cの位置が変化すると、立体画像105cは、閲覧者111が位置の変化と視覚的に釣り合って(view commensurate)提示されるように調整される。例えば、閲覧者111cが左又は右に移った場合、及び/又は頭部が上又は下に動いた場合、立体画像105cの視差(parallax)及び視野(view)は、位置及び/又は方向の変化が反映されるように調整されうる。
【0059】
しかし、立体画像105cが、閲覧のために曲面(つまり、スクリーン115c)に投影された場合には、プロセッサ1103は、曲面の形状に基づいて、立体画像105cをさらに調整可能であることがさらにわかる。すなわち、プロセッサ1103は、一般的に、立体画像105cにより提示されるビューを変化させること、及び変化したビューにおける曲面に対する調整の両方が可能となる。
【0060】
頭部捕捉装置1101は、閲覧装置109cの位置が変化したときにコンピューティング装置104cと一又はそれ以上の通信を行いうる、かつ位置が変化したかどうか、閲覧装置109cの位置をコンピューティング装置104cに周期的に送信して、通信と通信とで生じる位置の差異により位置の変化が求められうることがさらにわかる。
【0061】
ここで図13に注目すると、図13は、閲覧装置109cの位置が変化したときの立体画像105cを調整する方法1300を示す。方法1300の説明を助けるために、方法1300は、システム100cを用いて行われるものとする。さらに、方法1300の以下の説明は、システム100c及びその各種構成要素のさらなる理解をもたらす。しかし、システム100c及び/又は方法1300は、変更されうること、及び本明細書において互いに連動して説明されるように正確に機能する必要が無いこと、及びこのような変更は、本実施の範囲内であることが理解される。
【0062】
方法1300は、システム100の形状を示すデータ1201が、メモリ1105に記憶されており、データ1201が、これに制限されないが、スクリーン115cの曲率、画像変調器103c、スクリーン115c及びコリメートミラー117cの相対的な位置と共に、閲覧装置109cの位置及び/又は方向が変化したと仮定される見かけDEP111cの位置を含む、曲面(つまり、スクリーン115c)の形状を示すデータを含むものと仮定する。
【0063】
ブロック1301において、プロセッサ1103は、閲覧装置109cの位置が変化したことを示すデータを受信する。例えば、頭部捕捉装置1101は、閲覧装置109cの位置の変化を検出し、それを示すデータをプロセッサ1103へ送信する。
【0064】
ブロック1303において、プロセッサ1103は、表示するための画像を決定し、この画像は、変化した位置に基づいて平坦なスクリーンに投影されるときの立体画像105cを含む。例えば、閲覧装置109cが、上、下、左、右等に移動したとき、DEP123cは、立体画像105cにおける仮想的な特徴の閲覧角度の変化を反映しうるように変化すると共に、視差(parallax)等において変化する。プロセッサ1103は、よって、立体画像105cが、平坦な面(つまり、湾曲していない)に提供された場合には、これらの変化を反映するために立体画像105cを処理可能である。
【0065】
ブロック1305において、プロセッサ1103は、曲面(つまり、スクリーン115c)の形状及び閲覧装置109cの位置を示すデータに基づいて、平坦な面の歪みを求める。すなわち、平坦な面は、歪むことが可能なメッシュとして処理され、立体画像105cが、変化した位置から閲覧装置109cを閲覧したときに、スクリーン115cの形状を反映するように歪められる。
【0066】
ブロック1307において、ブロック1301において生成された画像は、ブロック1305における歪みに基づいて調整され、立体画像105cは、曲面に投影されるとき、歪まずに表示される。
【0067】
対照的に、従来のディスプレイ生成器は、投射の単一点に対して描画されるコンテンツを生成する。このコンテンツは、通常、表示面が平坦な面であり、シミュレートされるシーンにおける形状の図を簡略化する空間に固定された位置での閲覧者により、単一ビューの錐台が、ビューの表示野を記述しうることの仮定をもとに生成される。
【0068】
ビューの広い視野を実現するために、コリメートされたディスプレイは、一般的に湾曲した投影面を採用することわかる。画像のワーピング(image warping)は、通常、平坦な対象物がフレキシブルなメッシュとして扱われることができ、曲面スクリーンを、コリメートミラーのような、コリメートされたディスプレイソリューションにおける湾曲した光学素子へ一旦リレーオフするように、画像の歪みを均一かつ適切にし、閲覧者の点(viewer’s point)の観点からの歪みに従わない又はレンズ効果が無い画像をもたらす。
【0069】
しかし、このようなシステムは、閲覧者の位置が変化しうることを考慮していない。これに対処するために、本明細書は、方法1300のように、空間における閲覧者の位置を捕捉することと、オン−ザ−フライ(on−the−fly)で画像の歪みを補正することとの組み合わせを通じて動きに対応するソリューションを提供する。
【0070】
立体視は、その三次元深さを矯正するために、二つのユニークな斜視図(つまり、左眼及び右眼)を合成すること、調節(焦点)の単眼深さのキュー、及び収束の両眼深さを用いる。モーション視差が加えられる(本明細書に記載した投射捕捉の点を通じて)ことにより、人間が取得可能な全ての単眼深さのキューは、その後、立体的な深さのキューを強化するために取得可能である。
【0071】
そのため、立体的な体験に拘束されうる単眼の深さのキューは、
−遠近(Perspective)(空間における閲覧者の位置からのビューの点。本実施は、閲覧者が動くと、実世界のように遠近を変更可能である)、
−モーションからの深さ(モーション視差及び可視シーンにおける物体の大きさの変更、これは一般的に遠近と対になる。例えば、森にある木を閲覧するとき、木は、閲覧者の位置に対して異なる平面に位置付けられ、閲覧者が動くと、近い木は、閲覧者の視野内を素早く動くように現れ、遠い木は、ゆっくりと動く。)、
−オクルージョン(Occlusion)(互いによって塞がれる物体の可視性を変更する移動についての効果。例えば、森の木は、閲覧者が動くと、閲覧者の位置に対して異なる平面に位置づけられ、遠くの木は、閲覧者に近い木により塞がれうる。)、
を含む。
【0072】
そのため、閲覧者111cの位置に基づく画像105を調整することにより、上述した深さのキューの全ては、システム100cに集約され、これは、仮想的な体験がより実物そっくりで現れることを可能にする。
【0073】
方法1300は、閲覧装置109cの位置の変化が求められる度に繰り返されうることがわかる。そのため、立体画像105cは、閲覧者111cがコリメートミラー117cに対して移動したとき、動的に調整され得、全体的に向上した3D環境を提供する。
【0074】
実際、モーション視差のキューの追加は、非常に強力な追加の深さのキューであり得、調節(accommodation)をはるかに超えて広がり、これは、一般的に、良好な光における2mmの瞳孔から算出される焦点の深さにより角度の一分(60分の1度)に制限される。頭部の動きからのモーション視差は、ステレオ視差(disparity)による画像のための“ベースライン”が大きくなりうるため、眼の離れ及びよせ運動よりも強いキューを提供する。例えば、閲覧者が、与えられたシーン閲覧するために2、3回頭部を動かした場合、大きな深さ及び副尺視力は、モーション視差による通常64mmの見かけ眼空間(nominal eye spacing)を解決しうる。例えば、片方の眼が悪い閲覧者であっても、良好な頭部捕捉を有する場合、頭部の動き及び調節により深さを把握しうる。モーション視差は、その後、バージェンス・キューに取って代わりうる。
【0075】
いくつかの実施では、頭部捕捉は、オン及びオフされうることがわかる。例えば、複数の閲覧者システム(例えば、制限されない実施におけるパイロット及びコックピットを有するクロスコックピットのコリメートされたシミュレータ)のために、頭部捕捉は、単一のユーザがシステムを使用しているだけの場合を除き、望まれなくてもよい。そのため、これらの実施では、頭部捕捉は、単一のユーザに対してオンになり得、複数のユーザに対してオフになり得る。
【0076】
図14に注目すると、図14は、同様の数字を有する要素によりシステム100cとほぼ同様の“使用時の”システム100cを示すが、“c”ではなく“d”が付与されている。例えば、コンピューティング装置104dは、コンピューティング装置104cと同様である。しかし、これらの実施では、頭部捕捉装置は、付加的なもの(かつ実際図示されない)であり、プロセッサ1103dは、左眼画像106adと右眼画像106bdとの間の両眼間距離を変化させることにより立体画像105dを調整可能である。例えば、図15のプロファイルに示されるように、“仮想的な”風景1500は、例えば、丘又は山のような形状的な特徴である仮想的な特徴を含みうる。DEP123dは、図15において、風景1500がフライトシミュレーションシステムの一部分と仮定された場合、“空”として示され、そのため、閲覧者111dは、風景1500の上に位置する。仮想的な距離1503は、DEP123d(つまり、閲覧者111d)と特徴1501とから求められうる。
【0077】
風景1500は、一般的に、図15に示すように閲覧者111dによって“見られ”ないが、立体画像105dは、DEP123dから見えるように風景1500のビューを提示するように生成されることがわかる。一般的に、立体画像105dは、約64mmの人間基準の両眼間距離に基づいて生成される(人間基準の両眼間距離は、一般的に、約62mmから約65mmの範囲であると認識されており、そのため、任意の両眼間距離は、基準を提示する場合に選択されうるが、しかし、人間の両眼間距離は、約58mmから約71mmの範囲となりうる)。しかし、図16に示すように、左眼画像106adと右眼画像106bdとの両眼間距離は、変化しうる、例えば、新たな両眼間距離に基づいて、更新された左眼画像106ad’及び右眼画像106bd’を生成するように仮想的な距離1503に応じて増加又は減少する。例えば、図16に示すように、両眼間距離は、左眼画像106ad’及び右眼画像106bd’がハイパーステレオで提供されるように増加しうる。ハイパーステレオは、一般的に、標準的なステレオ画像よりも閲覧者に対して光学深さ情報をより多く提供することが認識されている。すなわち、これらの実施において、システム100dは、ハイパーステレオモードに移行可能である。
【0078】
ハイパーステレオは、スケールの検知に影響を与えうるが、離れた物体のステレオ視差(stereo disparity)を増加させるために有用であることが認識されている。例えば、ハイパーステレオは、地形図を作製するために非常に長いベースラインを有する空中写真に用いられる。これは、相対的な深さを判断するための両眼間距離及びベースラインを効果的に増加させるための双眼鏡又はレンジファインダーでも有用である。さらに、約100mよりも長い距離では、数百フィートの両眼間距離は、一般的に、距離の知覚に大きな影響を与えないが、離れた物体のステレオ視差を増加させる。そのため、風景のハイパーステレオ画像を提供することは、例えば、仮想的な特徴の向上した細部を提供しうる。実際、地球の軌道(例えば、惑星軌道の一方側から他方側へ)のハイパーステレオベースライン画像は、月の科学的な3D研究に使用されている。
【0079】
いくつかの実施では、プロセッサ1103dは、仮想的な距離1503が第1の所定の閾値を超える、及び第2の所定の閾値を下回る、の一方又は両方であるとき、ハイパーステレオでの左眼画像106ad及び右眼画像106bdを提供可能でありうる。例えば、第1の所定の閾値は、100メートル程度であり得、第2の所定の閾値は、1000メートル程度であり得るが、任意の適切な閾値が本実施の範囲内である。
【0080】
例えば、64mmを下回るベースラインは、微生物又は血球の試験のようなミクロ及びマクロなワークの両方に有用でありうる。しかし、例えば、銀河の可視化のような場合、光年及び/又はパーセク及び/又は天文学的な単位のベースラインが本実施の範囲内となりうる。そのため、本実施における両眼間距離に特段の制限はなく、そのため、ゼロ(以下に示すような非常に大きな距離への二次元画像に対して)から及ぶことがわかる。視点は、左眼に対して約−32mm及び右眼に対して+32mmの“通常の”両眼間距離にプラス,マイナスが等しくなる(例えば、総計約64mm)ことがわかる。しかし、第2の閾値は、また、ハイパーステレオが短い距離及び長い距離で提供されるように第1の閾値以下となりうる:例えば、第2の閾値は、DEP123dに近い仮想的な特徴が、両眼間距離が普通の人のものであるときに通常取得可能であるものよりもより詳細な光学的ディティールを提供するより長いライフで現れるように、9メートル以下となりうる。
【0081】
両眼間距離を変化させることの例は、全てのフライトシミュレータを含む一方で、両眼間距離を変化させることは、上述したような任意の適切な没入環境で用いられうることがわかる。例えば、変更可能な両眼間距離は、手動でダイヤルされる、又はシミュレートされたシーンにおいて閲覧される実際の距離に応じて自動的に変化される、のいずれかでありうる(例えば、閲覧者が地面に近づいたときに、より自然な両眼間距離が使用されうる。閲覧者が高い高度にあるときに、ハイパーステレオ設定が使用されうる。)。
【0082】
いくつかの実施では、図16にも図示されるように、人間基準以下の両眼間距離が用いられうる(左眼画像106ad’’及び右眼画像106bd’’参照)。例えば、人間基準が特徴の適正なビューを生じない、医療可視化環境における薬物、又は任意の他の適切な没入環境における任意の他の非常に小さな特徴を増加する場合、人間基準以下の両眼間距離が用いられうる。すなわち、システム100dは、また、顕微鏡又はマクロな用途等のような非常に近接したワークに対して有用となりうるハイパーステレオモードに移行可能となりうる。
【0083】
一般に、両眼間距離は、これに限らないが、任意の適切な没入環境のために、閾値及び/又は仮想的な距離に基づくことを含む、任意の適切な手法で変化されうることがわかる。
【0084】
人間の両眼間距離は、人それぞれで変化しうるため、システム100dの両眼間距離は、また、所定の閲覧者の両眼間距離に基づいて変化しうることがさらにわかる。例えば、システム100dの両眼間距離は、所定の閲覧者に固定されうるが、その後、閲覧者それぞれの両眼間距離に変化を調節するために異なる閲覧者のために変更されうる。これらの実施では、ベースの両眼間距離は、システム100d、例えば、システム100dを用いる所定の閲覧者の前に、コンピューティング装置104dに入力されうる。
【0085】
他の実施では、図17に示すように、プロセッサ1103dは、仮想的な距離1503に基づいて立体画像105dのストリーム1703へ二次元画像1701を挿入可能となりうる。実際、二次元画像1701の挿入は、両眼間距離が0mmに減少したことを事実上意味する。いくつかの実施では、仮想的な距離1503が、第1の所定の閾値を超える、及び第2の所定の閾値を下回ることの一方又は両方であるとき、プロセッサ1103dは、立体画像105dのストリーム1703へ二次元画像1701を挿入可能となりうる。例えば、1000メートルのように仮想的な距離1503が第1の所定の閾値を超えると、非常にわずかな視差が立体画像105cに現れ、そのため、立体画像105dのストリームへの二次元画像1701の挿入を通じた二次元ビューへ切り替えることは、処理時間を低減しうる。任意の適切な数の二次元画像1701は、例えば、仮想的な距離1703に応じて任意の適切な時間の長さに対して、ストリーム1703へ挿入されうることがわかる。
【0086】
同様に、第2の所定の閾値を下回ると、三次元画像が適切でない又は望まれない状況となりうる。そのため、システム100dは、二次元モードへ切り替えられうる。二次元モードへ切り替えることは、例えば、高いフレームレート及び/又はシーンの多くの特徴を処理するための処理時間を節約する。
【0087】
いくつかの実施では、プロセッサ1103dは、左眼画像106ad及び右眼画像106bdの一方を右眼画像106bd及び左眼画像106adの他方と置き換えることにより、立体画像105dのストリーム1703へ二次元画像1701を挿入可能となりうる。すなわち、左眼及び右眼の各々は、同一の画像に設けられる。
【0088】
実際、両眼間距離を変化させることは、これに限らないが、二次元モードのために両眼間距離を0mmに設定することを含み、各種の特徴を可能にする両眼間距離のインタラクティブリアルタイムコントロールを含みうる。当該各種の特徴は、これに制限されないが、
1.ライフタイムスケーリング効果及び距離の判断が、各人のライフタイムを通じた各人に特有の両眼間距離でトレーニングされた所定の閲覧者にとって適切となるように、異なる両眼間距離により、あるユーザから他のユーザへの素早い切り替え及び再校正、
2.バンド幅を節約するため、又は非常に長い距離が見えるのみの“通常”の両眼間距離での三次元モードから二次元モードへの素早い切り替え、
3.通常モード(ベースラインでの両眼間距離)とハイパーステレオモード(両眼間距離ベースライン以上)又はハイポステレオモード(両眼間距離がベースライン以下)とを切り替えることにより、“感じ方”及び/又はシステム100dのビューを変化すること、を含む。
【0089】
各種の実施が本明細書において別々に記載されているが、例えば、頭部の捕捉及び両眼間距離の変化は、要望通りに、任意の適切な組み合わせで組み合わせられうることがわかる。
【0090】
三次元閲覧体験を向上させるための各種のさらなる改善により、コリメートされたディスプレイシステムが、三次元画像を閲覧したときに、眼の緊張の除去を提供するために本明細書において説明されてきた。
【0091】
いくつかの実施において、システム100,100a,100b,100c,100dの機能性は、予めプログラムされたハードウェア又はファームウェア要素(例えば、特定用途向け集積回路(ASICs)、electrically erasable programmable read−only memories(EEPROMs)、又は他の関連する構成要素を用いて実施されうることを当業者は理解するであろう。他の実施では、システム100,100a,100b,100c,100dの機能性は、コンピューティング装置を用いて実現されうる。コンピューティング装置のためのコンピュータで読み取り可能なプログラムコードを記憶するコードメモリ(図示せず)にアクセスする。コンピュータで読み取り可能なプログラムコードは、これらの構成要素(例えば、リムーバブルディスケット、CD−ROM,ROM、固定ディスク、USBドライブ)によって固定され、有形であり、直接読み取り可能であるコンピュータで読み取り可能な記憶媒体に記憶されうる。さらに、コンピュータで読み取り可能なプログラムは、コンピュータで使用可能な媒体を含むコンピュータプログラムプロダクトとして記憶されうることがわかる。さらに、持続性の記憶装置は、コンピュータで読み取り可能なプログラムコードを含みうる。コンピュータで読み取り可能なプログラムコード及び/又はコンピュータで使用可能な媒体は、一時的でないコンピュータで読み取り可能なプログラムコード及び/又は一時的でないコンピュータで使用可能な媒体を含みうることがわかる。それに代えて、コンピュータで読み取り可能なプログラムコードは、リモートで記憶されてもよいが、伝送媒体のネットワーク(制限されないがインターネットを含む)に接続されるモデム又は他のインターフェース装置を通じてこれらのコンポーネントへ伝送可能である。伝送媒体は、非モバイル媒体(例えば、光学的及び/又はデジタル及び/又はアナログ通信線)又はモバイル媒体(例えば、マイクロ波、赤外線、自由空間光学式、又は他の伝送スキーム)又はそれらの組み合わせのいずれかでありうる。
【0092】
当業者は、さらなる他の実施及び変更が可能であること、及び上記の例が一又はそれ以上の実施の実例のみであることを理解するであろう。したがって、本発明の範囲は、添付の特許請求の範囲のよってのみ制限される。
【技術分野】
【0001】
本明細書は、一般的に三次元ディスプレイに関し、特にコリメートされたステレオディスプレイシステムに関する。
【背景技術】
【0002】
三次元ディスプレイは、一般的に、立体視(stereopsis)、よせ運動(vergence)及び調節(accommodation)の正確な提示で対立することにより、いくつかの閲覧者において眼の緊張を含む問題に悩まされている。例えば、3Dディスプレイは、一般的に、閲覧者に対して常時スクリーン平面に焦点合わせして、焦点合わせを維持することを要求するが、調節からの深さキュー(depth cues)は、よせ運動(vergence)からの深さキューとは不整合である。
【0003】
例えば、焦点面がスクリーンの面で保たれる場合、閲覧者の眼は、視差がスクリーン面とは異なる空間の位置を暗示する立体的な物体に収束する(converge)ように焦点合わせされるスクリーン面は、閲覧者から10フィート離れていると考える。眼は、スクリーン面での焦点合わせを保持するが、立体提示は、物体が閲覧者から15フィート離れていることを暗示する。物体は、その後、閲覧者から15フィート離れたことを意味するところから7フィート離れたことを意味するところへ移動する。その間、眼は、10フィート離れた固定されたスクリーン面に調節/焦点合わせを保持する。
【発明の概要】
【発明が解決しようとする課題】
【0004】
人間の脳は、人間が、しみついた反応、又は調節/焦点合わせの筋肉メモリレベルを予期できるようにショートカットする。よせ運動及び焦点合わせのシステムは、よって、通常、共同で機能する。平面ディスプレイを有するステレオソリューションでは、閲覧者は、閲覧者が学習して距離を測るというこの関係を切り離すことが求められる。この切り離しは、時間と共に疲労及びストレスを引き起こす。
【課題を解決するための手段】
【0005】
本明細書の一態様は、左眼画像及び右眼画像を含む立体画像のストリームを提供可能な画像生成器と、前記画像生成器からの前記立体画像のストリームを受信可能であり、前記左眼画像及び前記右眼画像各々への光をフィルタする閲覧装置で閲覧するために光で前記立体画像を形成し、それによって、前記閲覧装置を通じて閲覧したときに、前記立体画像の三次元レンダリングを提供する、少なくとも一つの画像変調器と、前記少なくとも一つの画像変調器からの前記光を受信及びコリメート可能であり、前記光の線は、前記立体画像が前記閲覧装置で受信されたときに、略平行である、コリメート装置と、を含むシステムを提供する。
【0006】
前記システムは、前記立体画像を投影し、前記少なくとも一つの画像変調器を含む少なくとも一つのプロジェクタと、前記立体画像が投影される少なくとも一つのスクリーンと、反射された光がコリメートされるように前記少なくとも一つのスクリーンからの前記立体画像を反射する少なくとも一つのコリメートミラーと、をさらに含み得、前記コリメート装置は、前記少なくとも一つのスクリーン及び前記少なくとも一つのコリメートミラーをさらに含む。前記少なくとも一つのコリメートミラーは、球状又は放物線状のいずれか一方であり得、前記少なくとも一つのスクリーンは、前記少なくとも一つのコリメートミラーと補完する形状を有し得る。
【0007】
前記コリメート装置は、前記立体画像が提供される少なくとも一つのスクリーンと、反射された光がコリメートされるように前記少なくとも一つのスクリーンからの前記立体画像を反射する少なくとも一つのコリメートミラーと、を含み得る。
【0008】
前記システムは、前記少なくとも一つの画像変調器が前記光で前記立体画像を形成する前に、前記立体画像をワープすること、前記コリメーション装置に対して前記閲覧装置の変化位置に基づいて前記ワープを繰り返すこと、前記左眼画像と前記右眼画像との間の両眼間距離を変化させること、及び前記立体画像の前記ストリームに二次元画像を挿入すること、の少なくとも一つが可能であるコンピューティング装置をさらに含み得る。
【0009】
前記システムは、前記立体画像が没入環境での没入体験と関連付けられるような前記没入環境をさらに含み得る。前記没入環境は、シミュレーション環境、フライトシミュレータ及びドライブシミュレータのうちの一又はそれ以上を含み得る。前記没入環境は、可視化環境、顕微鏡可視化環境、医療画像可視化環境、オイル及びガス可視化環境、及び地震学可視化環境のうちの一又はそれ以上を含み得る。前記没入環境は、トレーニング環境を含み得る。
【0010】
前記システムは、前記閲覧装置の位置を捕捉可能なヘッドトラッキング装置と、閲覧のために、前記閲覧装置の位置及び方向の一又はそれ以上に基づいて前記立体画像を調整可能なプロセッサと、をさらに含み得る。前記立体画像は、閲覧のために曲面上に投影され得、前記プロセッサは、さらに、前記曲面の形状に基づいて前記立体画像を調整可能であり得る。前記システムは、前記形状を示すデータを記憶するメモリをさらに含み得る。前記プロセッサは、さらに、表示するために、平坦なスクリーンに提供されたときに前記立体画像を含む画像を求めること、前記曲面及び前記閲覧装置の前記位置の形状を示す前記データに基づいて前記平坦なスクリーンの歪みを求めること、及び前記曲面に投影されたときに前記立体画像が歪まずに表示されるように前記歪みに基づいて前記画像を調整することにより、前記曲面の形状に基づいて前記立体画像を調整可能であり得る。前記立体画像を調整することは、前記閲覧装置の位置の変化が求められるたびに繰り返されうる。前記コリメート装置は、コリメートミラーを含み得、前記コリメートミラーは、反射した光がコリメートされるように前記曲面からの前記光を反射可能であり得る。
【0011】
前記システムは、前記左眼画像及び前記右眼画像の両眼間距離を変化させることにより、前記立体画像を調整可能なプロセッサをさらに含み得る。前記両眼間距離は、前記立体画像の閲覧者と少なくとも一つの前記立体画像の与えられた特徴との仮想的な距離に基づいて変化させられ得る。前記両眼間距離は、前記左眼画像及び前記右眼画像がハイパーステレオで提供されるように変化させられ得る。前記左眼画像及び前記右眼画像は、前記仮想的な距離が、第1の閾値を超える、及び第2の閾値を下回る、の一方又は両方であるときに、ハイパーステレオで提供されるように変化させられ得る。
【0012】
前記システムは、前記立体画像の閲覧者と少なくとも一つの前記立体画像の与えられた特徴との仮想的な距離に基づいて、二次元画像を前記立体画像のストリームに挿入可能なプロセッサをさらに含み得る。前記プロセッサは、前記左眼画像及び前記右眼画像の一方を前記左眼画像及び前記右眼画像の他方と置き換えることにより、前記二次元画像を前記立体画像のストリームに挿入可能であり得る。前記プロセッサは、さらに、前記仮想的な距離が、第1の閾値を超える、及び第2の閾値を下回る、の一方又は両方であるときに、前記二次元画像を前記立体画像のストリームに挿入可能であり得る。
【図面の簡単な説明】
【0013】
本明細書に記載される各種実施のよりよい理解のため、及びそれらがどのように実行されるかをより明確に示すために、例示のためのみに、添付の図面が参照される。
【図1】図1は、制限されない実施に係るコリメートステレオディスプレイシステムを示す。
【図2】図2は、制限されない実施に係る図1の使用時のシステムを示す。
【図3】図3は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の両眼離反運動(vergence)の挙動を示す。
【図4】図4は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の両眼離反運動(vergence)の挙動を示す。
【図5】図5は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の両眼離反運動(vergence)の挙動を示す。
【図6】図6は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の調節(accommodation)の挙動を示す。
【図7】図7は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の調節(accommodation)の挙動を示す。
【図8】図8は、制限されない実施に係る、スクリーンに投影される立体画像の仮想的な物体に焦点合わせしたときの人間の眼の調節(accommodation)の挙動を示す。
【図9】図9は、制限されない実施に係る、コリメートディスプレイシステムを示す。
【図10】図10は、制限されない実施に係る、コリメートディスプレイシステムを示す。
【図11】図11は、制限されない実施に係る、頭の捕捉によるコリメートディスプレイシステムを示す。
【図12】図12は、制限されない実施に係る、図11の使用時のシステムを示す。
【図13】図13は、制限されない実施に係る、閲覧中の装置の位置が変化したときの図11のシステムにおける立体画像の調整方法を示す。
【図14】図14は、制限されない実施に係る、両眼間距離を有するコリメートディスプレイシステムの使用を示す。
【図15】図15は、制限されない実施に係る、図14のシステムで使用される仮想的な景色を示す。
【図16】図16は、制限されない実施に係る、図14のシステムにおいて両眼間距離が変化したときの立体画像の変化を示す。
【図17】図17は、制限されない実施に係る、図14のシステムにおいて二次元画像を三次元画像のストリームに挿入することを示す。
【図18】図18は、制限されない実施に係る、スクリーンに投影される立体画像における仮想的な物体に焦点合わせされるときの人間の眼の調節(accommodation)の挙動を示す。
【発明を実施するための形態】
【0014】
制限されない実施に係る、コリメートステレオディスプレイシステム100を示す図1及びシステム100の使用を示す図2に注目する。システム100は、一般的に、少なくとも一つの画像変調器103と接続する画像生成器101を含む。画像生成器101は、一般的に、左眼画像106a及び右眼画像106bを含む立体画像のストリームを提供可能である。左眼画像106a及び右眼画像106bは、図1でのみ標示されるが、その後の図面では、それらは、それにもかかわらず、立体画像105に存在することがわかる。
【0015】
図示するように、ここで説明されるような画像生成器101は、立体画像105を処理する付加的なコンピューティング装置を通じて少なくとも1つの画像変調器103に接続される。コンピューティング装置104は、これに限定されないが、ワーピングエンジン、ビデオ処理装置、パーソナルコンピュータ(PC)、サーバ等を含む任意の適切なコンピューティング装置を含みうる。一般的に、コンピューティング装置104は、プロセッサ112及びメモリ114(揮発性及び不揮発性を含みうる)と共に、任意の適切な通信インターフェース、入力装置及び表示装置を含む。
【0016】
画像生成器101は、これに限定されないが、三次元シネマファイル、三次元ビデオファイル、三次元ディスプレイファイル、ビデオゲームシステム、シミュレーションシステム、ビジュアライゼーションシステム、トレーニングシステム等の記憶装置を含む任意の適切な画像生成器を含みうる。
【0017】
少なくとも1つの画像変調器103は、通常、画像生成器101からの立体画像105のストリームを受信し、閲覧装置109で閲覧するために光107で立体画像105を形成する。例えば、実施形態に示すように、少なくとも1つの画像変調器103は、立体画像105を投影するためのプロジェクタを含む。以下、少なくとも1つの画像変調器103は、一つの画像変調器103として示されるが、システム100が一又はそれ以上の画像変調器103を含みうることが理解される。さらに、この約束事は、本明細書全体を通じて使用される。
【0018】
画像変調器103、画像生成器101及びコンピューティング装置104は、それが存在するのであれば、任意の適切なプロトコルを用いて所望の有線又は無線通信であってもよく、互いにローカル又はリモートであってもよい。
【0019】
閲覧装置109は、一般的に、左眼画像106a及び右眼画像106bそれぞれへの光107をフィルタすることができ、それにより、閲覧装置109を通じて視たときに、立体画像105の三次元レンダリングが提供される。
【0020】
すなわち、システムは、一般的に、三次元で画像を閲覧する“3D”(“3次元”)システムを含み、その一方で、画像変調器103は、任意の適切な技術を用いて、閲覧装置109(“3D”眼鏡)により左眼画像106a及び右眼画像106bに分かれうる立体画像105を投影する“3D”プロジェクタを含む。実際には、通常、閲覧装置109は、画像変調器105と互換性があることが理解される。例えば、画像変調器103が、左眼画像106a及び右眼画像106bを異なる偏光状態(制限されないが、直交直線状態及び時計/反時計回りの円状態)で投影する場合の実施において、閲覧装置109は、閲覧者111の各眼への左眼画像106a及び右眼画像106bをフィルタするために適切に偏光されるフィルタを含む。同様に、画像変調器103が、左眼画像106a及び右眼画像106bを交互に投影する場合の実施において、交互に、閲覧装置109は、左眼画像106a及び右眼画像106bの各々が投影されると、開閉し、それによって、閲覧者111の各眼への左眼画像106a及び右眼画像106bをフィルタする適切な電子シャッター(制限されないが、LCD(液晶ディスプレイ)をベースにするシャッターを含む)を含む。いずれにせよ、閲覧のために、閲覧装置109を通じて立体画像105を提供する方法は、特段、制限されないことが理解される。例えば、他の実施は、制限されないが、カラーコンブフィルタ及び/又は偏光フィルタを用いるアクティブ又はパッシブステレオディスプレイシステムを含んでもよい。
【0021】
さらに、図1において閲覧装置109が紙面を向いて示されているが、このような図示は、単に概略的なものであり、閲覧者111は、通常、ミラー117への画像105に実質的に直面していることがわかる。
【0022】
通常、立体画像105が、スクリーンのような閲覧のために適切な表面において提供されることがわかる。しかし、従来の3Dシステムとは対照的に、システム100は、画像変調器103からの光107を受信及びコリメート可能なコリメーション装置113をさらに含み、光107の線121は、閲覧装置109で受信されたときに、略平行である。図示された制限しない実施において、コリメーション装置113は、立体画像105が投影される少なくとも一つのスクリーン115と、反射した光119がコリメートされるように、スクリーン115からの立体画像105を反射するコリメートミラー117と、を含む。
【0023】
スクリーン115は、コリメートミラー117により次々に反射される光107を散乱/反射可能な任意の適切なスクリーンを含みうる。スクリーン115は、一般的に、これに制限されないが、一般的に、球形状及び放物線形状を含む凸形状であることがわかる。凸状スクリーンの使用は、画像が閲覧される凹状スクリーンを使用しがちである従来の二次元シミュレータよりも優れた点を提供する。例えば、凹状スクリーンは、各側部での画像からの光が凹状スクリーンの反対側に反射されるときに、側部から側部へのクロストーク及び上部から下部へのクロストークに悩まされている。これは、劣化したコントラスト、フレア及びゴーストを引き起こす。さらに、このような問題は、凹状スクリーンへの逆投影(back projection)の使用及び/又は背面投影(rear projection)の使用を通じて、悪化しうることがわかる。例えば、通常、フライトシミュレータで使用される背面投影凹状スクリーンは、広く誤解されている。これらは、頻繁に正面投影(front projection)よりも明るくかつコントラストがよいとして誤って述べられているが、これは、単に環境光が多いだけである。一方、多くの背面投影スクリーンは、形状散乱(geometric scattering)及びスクリーン吸収により、二重画像及びフレアを生じる深刻な軸線のゴーストに悩まされている。対照的に、凸状正面投影スクリーンを用いることにより、クロストークの問題は、排除され、改善されたコントラスト、改善された輝度、改善された解像度、低いコスト、余裕のあるプロジェクタの配置、フレアの低減、ゴーストの低減等がもたらされる。
【0024】
コリメートミラー117は、制限されないが、略平行な線121での光を反射する一般的な特性を有する球状及び放物線状ミラーを含む任意の適切な凹状ミラーを含みうる。そのため、従来の3Dシステムと比べて、立体画像105を形成する光/平行線121は、閲覧装置109に到達したときにコリメートされて、閲覧者111の眼が、スクリーン115又はコリメートミラー117に焦点合わせされないが、無限遠で焦点合わせされる。この利点は、以下の図3から8を参照しながら説明される。
【0025】
しかし、放物線状ミラーは、球状ミラーよりも優れたコリメーションを提供しうることがわかる。しかし、放物線状ミラーは、製造コストが高くなりうる、一方、球状ミラーは、製造コストが安価であり、製造が容易であるが、放物線状ミラーは、エッジでいくつかのコマ収差(coma)を生じうる。それにもかかわらず、球状ミラーは、コリメーションの度合いとコストとのトレードオフを適切にしうる。そのため、コリメートミラー117のコリメーションは、完璧となる必要が無いことがわかる。
【0026】
さらに、コリメートミラー117は、制限されないが、ガラス、MylarTMフィルムを含む任意の適切な材料を含みうる。後者の場合、実際に完全な放物線状又は完全な球状のMylarTMフィルムミラーを製造することは困難となりうるし、通常、MylarTMフィルムミラーは、視野ディスプレイのクロスコックピットの広いフィールドために、境界及び圧力が制限され、中央でのサドル膨れ(saddle bulging)が頻繁に生じるカテナリー曲線を含む。しかし、より多くの収差がより質の低いミラーに現れるため、パフォーマンス及び快適さが低下するが、コリメーションの度合いは、一般的に適正である。
【0027】
さらに、スクリーン115は、コリメートミラー117と補完する形状を有し、そのため、スクリーン115は、通常、湾曲していることがわかる。例えば、コリメートミラー117が、通常、凹状であるとき、スクリーン115は、通常、凸状である。例えば、コリメートミラー117が、通常、球状かつ凹状である実施では、スクリーン115もまた、通常、球状かつ凸状であり、コリメートミラー117が、通常、放物線状かつ凹状である実施では、スクリーン115もまた、通常、放物線状かつ凸状である。しかし、スクリーン115は、コリメートミラー117と完全に補完される必要はないことがわかる。例えば、コリメートミラー117が、球状である実施では、閲覧される画像において得られる収差(aberrations)に対して補正するためのコンピューティング装置104により行われる画像105への補正により、スクリーン115は、放物線状であり、その逆も同様である。
【0028】
実際、理想的な凹状ミラーから凸状スクリーンへの変移は、本実施の範囲内であることがさらにわかる。このようなシステムは、理想的ではないが、このようなシステムは、本明細書に記載されるコリメートされた立体画像ディスプレイに利点をもたらす。例えば、いくつか実施では、平坦なスクリーン(つまり、スクリーン115)から反射される画像105は、大きな半径の放物線状ミラー(つまり、コリメートミラー117)を用いて閲覧されうる。これらの実施のいくつかでは、画像105への補正は、閲覧される画像においてもたらされる収差を補正するためのコンピューティング装置104により行われうる。
【0029】
さらに、コリメートミラー117は、設計視点(design eye point (DEP))123に達する平行な線(parallel rays)121がほぼ閲覧者111の眼に位置合わせされるように配置されることがわかる。さらに、DEP123から戻る平行な線121の捕捉は、閲覧者111が焦点合わせするスクリーン115の点で収束を生じることがわかる。すなわち、図示するように、平行な線121各々は、反射した光119各々を通じてスクリーン115へトレースバックされうる。
【0030】
さらに、いくつかの実施では、スクリーン115の下部は、コリメートミラー117の上部からクリア又はクリアに近い状態になりうることがわかる。すなわち、スクリーン115及びコリメートミラー117は、スクリーン115に投影される立体画像105が、閲覧者111により閲覧可能であり、コリメートミラー117の上部が、スクリーン115によりブロックされないように配置される。
【0031】
図示された実施では、システム100は、画像変調器103が、光107を立体画像105に形成する前に、立体画像105をワープすることが可能なコンピューティング装置104を含む。例えば、立体画像105は、立体画像105が、平行な線121を通じて、湾曲したスクリーン115に投影され、かつ閲覧装置109で閲覧されたときに、立体画像105が湾曲して表現されないように、コンピューティング装置104においてワープされる。
【0032】
さらなる実施では、現在説明されているように、コンピューティング装置104は、コリメーション装置113に関する閲覧装置109の位置の変化に基づいてワープを繰り返すことが可能にされうる。すなわち、システム100は、さらに、図11及び12を参照して説明するように、閲覧装置109及び/又は閲覧者111の頭部の位置を捕捉し、閲覧装置109及び/又は閲覧者111の頭部の位置に基づいて立体画像105を動的にワープさせて、変化したビューポイントを提供する頭部捕捉装置を含みうる。
【0033】
さらに別の実施では、現在説明されているように、コンピューティング装置104は、さらに、左眼画像106aと右眼画像106bとの間の両眼間距離(瞳孔間距離としても示される)を変化させること、及び立体画像105のストリームに二次元画像を挿入することの少なくとも一つを可能にしうる。
【0034】
しかし、他の実施では、画像生成器101は、コンピューティング装置104の全ての機能を行うことが可能となりうる。そのため、これらの実施では、画像生成器101及びコンピューティング装置104は、一つの装置に組み込まれ、画像生成器101は、その後、コンピューティング装置104を含む。
【0035】
いくつかの実施では、システム100は、制限されないが、3Dコリメートされた映画用途、コリメートされた3Dディスプレイ、一人用デスクトップコリメート3Dディスプレイ、3Dコリメートテレビジョン及び3Dコリメートされたビデオゲームシステムを含む一般的な3Dビデオ用途に用いられうる。
【0036】
さらに、システム100は、立体画像105が没入環境における没入体験と関連付けられるような没入環境をさらに含みうることがわかる。
【0037】
例えば、没入環境は、制限されないが、フライとシミュレータ、ドライブシミュレータ、スペースシップシミュレータ等を含むシミュレーション環境を含む。そのため、システム100は、フライトシミュレータでのように、例えば、フライトのシミュレーションを提供するために閲覧者111が立体画像を制御しうるような “実世界(real world)”制御を含みうる。立体画像105は、そのため、閲覧者111が実世界で魅了されるのと同様の手法によりシミュレーション環境で魅了されるような実世界を再現するために“実世界”の画像を含むように、画像生成器101(及び追加でコンピューティング装置104)によりフィードバックループで動的に更新されうる。
【0038】
従来、三次元効果は、コリメートされた光が、一般的に約9メートル(約30フィート)と見なされる“光学無限遠(optical infinity)”から到達すると仮定されるため、フライトシミュレータを含むシミュレーション環境のようなコリメートされたディスプレイシステムでは使用されないということが理解されている。例えば、光学無限遠(optical infinity)は、一般的に、物体の視点の角度での(平均的な成人のための)距離であると仮定され、その距離は、左眼及び右眼の両方から同じように効果的であり、故に、二つのチャネル画像及び立体ディスプレイシステムを用いた場合にわずかな利点があるとさらに仮定される。しかし、フライトシミュレータとして構成されるシステム100のワーキングプロトタイプの試験は、誤っている従来のこれらの仮定を示している。実際、ワーキングプロトタイプに接したパイロットは、コリメートされた非立体ディスプレイにより提供されるインタラクティブ体験よりもコリメートされた立体ディスプレイシステムにより提供されるインタラクティブ体験のほうがより現実的である(リアリティーがある)と感じた。
【0039】
第1に、約4フィートから少なくとも約400メートル(すなわち約1/4マイル)の範囲の距離であってもシミュレートされた特徴(simulated features)は、左眼及び右眼への異なるビュー(views)を生成でき、よりよい深さの知覚によって顕著かつ改善された三次元効果が提供される。
【0040】
第2に、フライトシミュレータのよりよい解像度は、二次元画像よりもむしろ立体画像を用いたときに、超解像度効果によって大きく認識される、すなわち、人間の脳は、立体的な左眼及び右眼画像を重畳することができ、かつ単一の画像が左眼及び右眼の両方に対して用いられた場合(つまり、二次元)よりも得られた画像に対してより高い解像度を補完することができる。
【0041】
第3に、制限されないが、空中給油ブーム、低空飛行ヘリコプター、ドライブシミュレータ及び着陸時の風景の特徴を含む、設計視点(design eye point)から9メートル程度であるフライトシミュレータに提供されうる特徴が存在する。しかし、これらの特徴は、9メートル以上かつ数メートル以下で提供されうる。これらの状況において、パイロットは、三次元立体画像が二次元画像よりもよりリアルな体験を提供することに気付く。
【0042】
さらなる実施では、没入環境は、実世界の環境に関連する必要の無い可視化環境を含む。例えば、可視化環境は、これに制限されないが、一又はそれ以上のCAVE(Cave Automatic Virtual Environment)、医療画像化可視化環境、オイル及びガス可視化環境、地震学可視化環境等を含みうる。これらの実施では、システム100は、可視化環境を“操作”するための制御を含みうる。例えば、このような可視化環境及び関連する制御は、立体画像105において、仮想的な医療分子/薬物等、オイル堆積物、地震性のプレート等を可視化及び操作するために用いられうる。コリメートされたディスプレイシステムは、これまで、可視化環境で用いられておらず、立体画像と組み合わせることももちろん用いられてこなかったことがわかる。実際、ディスプレイシステムの一般的な分野内では、シミュレーション環境と可視化環境とを重ね合わせることはほとんどなかった。
【0043】
さらに別の実施では、没入環境は、これに制限されないが、修理設備及び/又は構築設備のためのトレーニング環境(例えば、制限されない例として、産業車両の構築及び修理)を含む。例えば、このようなトレーニング環境及び関連する制御は、修理設備及び/又は建築設備のための立体画像105における仮想的なアイテムを可視化及び操作するために用いられうる。コリメートされたディスプレイシステムは、これまで、トレーニング環境で用いられておらず、立体画像と組み合わせることももちろん用いられてこなかったことがわかる。
【0044】
コリメートされたステレオディスプレイの一般的な利点は、図3から5、図6から8及び図18を参照してこれから説明される。具体的には、図3及び4は、スクリーンに投影される立体画像内の仮想的な物体に焦点合わせされる場合に、仮想的な物体がスクリーンの前及びスクリーンの後ろにそれぞれ“位置する”際の人間の眼のよせ運動(vergence)の挙動を示す。図3から、左眼及び右眼は、物体P3がスクリーンの前に現れたときに、交差(つまり、よせ運動)しようとするが、同時に左眼画像P1及び右眼画像P2は、実際にスクリーンに投影されており、これは閲覧者に頭痛及びむかつきを生じさせうるステレオスコピック・キュー(stereoscopic cues)と矛盾する(conflict)ことがわかる。不快の度合いは、閲覧者によって変化しうることがわかる。図4を参照すると、この問題は、物体P3がスクリーンの後ろに“位置する”ときには、眼がまだ収束(converge)しようとするため、それほど深刻にはならない。しかし、図5を参照して、本実施のように、物体P3(図5には図示せず)が光学無限遠に見かけ上位置するとき、バージェンス・キュー(vergence cues)は、画像P1,P2(つまりスクリーン)の実際の位置にほぼ一致し、眼の軸線(eye axes)は、ほぼ平行であり、それによって、眼の緊張が低減される。実際、このようなビューは、一般的に、実際のウィンドウの外の実際のビュー−つまり、略平行な軸により、両眼間(例えば、瞳孔間)距離により隔てられ、かつ心地よくリラックスしたビューをシミュレートし、それによって、眼の緊張が低減される。
【0045】
さらに、眼の焦点(調節)は、また、立体画像内の仮想的な物体が、スクリーンの前及びスクリーンの後ろにそれぞれ“位置する”場合、に矛盾する。例えば、図6及び7は、仮想的な物体がスクリーンの前及びスクリーンの後ろにそれぞれ“位置する”場合に、立体画像内の仮想的な物体が、スクリーンに投影される場合の人間の眼の調節の挙動を示す。図6を参照すると、物体がスクリーンの前に仮想的に位置する場合、眼は、スクリーンの前に焦点合わせしようとして、毛様体筋が、眼のレンズを、網膜上に画像を焦点合わせするのに必要な曲率にしようとするため、眼の前面が緊張する。
【0046】
図7を参照すると、物体がスクリーンの背後に“位置した”場合、眼及び毛様体筋がわずかに緊張するため、この問題がわずかにひどくなる。しかし、調節とよせ運動との矛盾は未だ存在する。
【0047】
しかし、図8を参照すると、本実施のように、物体が(図8には図示せず)、光学無限遠に見かけ上位置している場合、調節のキュー(accommodation cues)は、ほぼ左右の眼の画像の実際の位置(つまり、スクリーンでの)に一致し、眼及び毛様体筋がほぼ緩和され、それにより、眼の緊張が低減される。
【0048】
しかし、上述したように、多くの物体が、光学無限遠に見かけ上位置している場合であっても、コリメートされたステレオディスプレイシステム100を提供することにより、左及び右眼画像へのビューの顕著な差異が存在し、良好な立体画像がシステム100で形成されうる。そのため、疲労することなく、長時間にわたるより心地良い三次元閲覧体験を提供する。
【0049】
すなわち、図6、7及び8は、ウィンドウを見る三つの“通常の場合”である。本明細書により特定される問題をさらに示すために、図18に注目すると、図18は、ウィンドウ又はスクリーン平面(これは、全ての存在する3Dディスプレイに対する通常の場合である)に眼を焦点合わせることを示す。実際、人間の眼は、近い物体に焦点合わせするが、3Dディスプレイの深さのキュー(depth cues)は、物体がスクリーンの前面に“仮想的に”示された場合において、画像が実際にスクリーンに存在するときに、矛盾する。
【0050】
例えば、閲覧者が、3D画像、例えば、閲覧者の前面の約18インチのコンピュータスクリーン上のゲームを観ている場合、閲覧者の焦点は、固定され、図6のように前レンズ面が非常に急勾配になり、毛様筋が収縮する。しかし、ステレオゲーム又はシミュレーション、顕微鏡若しくは3Dで表示されるものは、図5に示されるような適切なバージェンス・キュー(vergence cues)により無限遠での物体(例えば、航空機)を示しうる。それ故、網膜の立体視差の大きなバージェンス・キュー(vergence cues)は、画像が無限遠であると言えるが、調節からの小さな深さのキューは、実際に18インチ離れているだけであるといえる。この深さの矛盾は、眼の緊張を生じさせる。
【0051】
コンピュータスクリーンの前面の物体に対して、バージェンス・キューが、図3のものと同様である場合でさえも眼が緊張し、かつ“不自然”であり、例えば、焦点調節のキュー(focus accommodation cues)が、物体が未だ約18インチ離れていると閲覧者の脳が認識しているときに、約12インチ離れている。
【0052】
このような矛盾は、調節及びよせ運動の両方がほぼ同期したときに、離れた物体のより心地よい、かつより自然なビューが実現されるため、本実施により若干解消され、この物体は、無限遠が、ウィンドウの実際の無限遠に見えるように、コリメートミラー117によりさらに遠くに“押される”−すなわちバージェンス(交差しない又は平行)及び焦点合わせ(つまり、弛緩した平らなレンズ)の両方で眼が弛緩(リラックス)される。これは、通常3D画像を観ることに多くの問題を有する閲覧者でさえも、より少ない眼の緊張で、シミュレートされたビューを一度に数時間観ることを容易にする。
【0053】
次に図9に注目すると、図9は、同様の数字を有する要素によりシステム100とほぼ類似しているが、“a”が付与されているシステム100aを示す。例えば、画像変調器100aは、画像変調器100と同様である。しかし、これらの実施において、スクリーン115aは、リアプロジェクションスクリーン(バックプロジェクションスクリーン(BPS)とも呼ばれる)を含み、画像変調器100aは、コリメートミラー117aにより反射される立体画像の各々が、スクリーン115aの背面に投影されるように配置される。すなわち、システム100aは、システム100と類似しているが、前方投影(front projection)形状ではなく背面投影(rear projection)形状を有する。
【0054】
次に図10に注目すると、図10は、同様の数字を有する要素によりシステム100とほぼ類似しているが、“b”が付与されているシステム100bを示す。例えば、コリメートミラー117bは、コリメートミラー117と同様である。しかし、これらの実施において、画像変調器103bは、スクリーンと組み合わせられる、つまり、画像変調器103bは、湾曲したディスプレイ(例えば発光ダイオード(LEDs)、有機LEDs又は曲面ディスプレイを製造するために任意の他の適切な技術に基づく)を含み、そこに形成される立体画像の各々は、コリメートミラー117bにより順次反射される。すなわち、システム100bは、システム100と類似しているが、湾曲したパネルディスプレイ技術により置き換えられる投影素子を有する。実際、湾曲したパネルディスプレイ技術の使用は、フライトシミュレータで今日使用される大きなBPSシミュレータスクリーンよりも低電力かつ小サイズの小さなニア−ザ−アイ(near−the−eye)ディスプレイを可能にすることがわかる。
【0055】
次に図11に注目すると、図11は、同様の数字を有する要素によりシステム100とほぼ類似しているが、“c”が付与されているシステム100cを示す。例えば、画像変調器100cは、画像変調器100と同様である。図12は、使用時のシステム100を示す。しかし、システム100cは、コンピューティング装置104cに組み込まれる頭部捕捉装置1101をさらに含み、頭部捕捉装置は、これに限らないが、閲覧者111cの頭部の位置を含む閲覧装置の位置を取得可能である。閲覧装置109cの位置は、これに限らないが、コリメートミラー117cの前の領域における閲覧装置109cの位置、及び閲覧装置109cの向き(例えば、閲覧者111cが左、右、上、下、前方を観ているか等)を含みうることがわかる。図11及び12は、以下にさらに説明するようなコンピューティング装置104cのさらなる詳細を示す。しかし、コンピューティング装置104cは、それぞれプロセッサ112及びメモリ114と同様のプロセッサ1103及びメモリ1105を含むことがわかる。
【0056】
図示される制限されない例の実施では、頭部捕捉装置1101は、閲覧装置109cの写真を撮るために位置付けられる一又はそれ以上のデジタルカメラ及びデジタルビデオカメラ(一般的なカメラ)、及び/又は閲覧者111cの頭部(例えば、コリメートミラー117cの前の領域)を含む。しかし、任意の適切な頭部捕捉装置が本実施の範囲内であり、本明細書は、カメラに不当に制限されるものではないことがわかる。いくつかの実施では、頭部捕捉装置は、頭部捕捉データを処理し、閲覧装置109cの位置を求めるコンピューティング装置(図示せず)をさらに含みうる;閲覧装置109cの位置を示すデータは、その後、コンピューティング装置104cに送信されうる。
【0057】
しかし、他の実施では、一旦、頭部捕捉装置1101が閲覧装置109cの位置を取得すると、取得されたデータは、処理のためにコンピューティング装置104cに送信されて、プロセッサ1103は、取得されたデータを処理することにより閲覧装置109cの位置を求める。
【0058】
実際には、プロセッサ1103は、一般的に、閲覧装置109cの位置に基づいて、閲覧のために立体画像105cを調整可能であることがわかる。例えば、閲覧装置109cの位置が変化すると、立体画像105cは、閲覧者111が位置の変化と視覚的に釣り合って(view commensurate)提示されるように調整される。例えば、閲覧者111cが左又は右に移った場合、及び/又は頭部が上又は下に動いた場合、立体画像105cの視差(parallax)及び視野(view)は、位置及び/又は方向の変化が反映されるように調整されうる。
【0059】
しかし、立体画像105cが、閲覧のために曲面(つまり、スクリーン115c)に投影された場合には、プロセッサ1103は、曲面の形状に基づいて、立体画像105cをさらに調整可能であることがさらにわかる。すなわち、プロセッサ1103は、一般的に、立体画像105cにより提示されるビューを変化させること、及び変化したビューにおける曲面に対する調整の両方が可能となる。
【0060】
頭部捕捉装置1101は、閲覧装置109cの位置が変化したときにコンピューティング装置104cと一又はそれ以上の通信を行いうる、かつ位置が変化したかどうか、閲覧装置109cの位置をコンピューティング装置104cに周期的に送信して、通信と通信とで生じる位置の差異により位置の変化が求められうることがさらにわかる。
【0061】
ここで図13に注目すると、図13は、閲覧装置109cの位置が変化したときの立体画像105cを調整する方法1300を示す。方法1300の説明を助けるために、方法1300は、システム100cを用いて行われるものとする。さらに、方法1300の以下の説明は、システム100c及びその各種構成要素のさらなる理解をもたらす。しかし、システム100c及び/又は方法1300は、変更されうること、及び本明細書において互いに連動して説明されるように正確に機能する必要が無いこと、及びこのような変更は、本実施の範囲内であることが理解される。
【0062】
方法1300は、システム100の形状を示すデータ1201が、メモリ1105に記憶されており、データ1201が、これに制限されないが、スクリーン115cの曲率、画像変調器103c、スクリーン115c及びコリメートミラー117cの相対的な位置と共に、閲覧装置109cの位置及び/又は方向が変化したと仮定される見かけDEP111cの位置を含む、曲面(つまり、スクリーン115c)の形状を示すデータを含むものと仮定する。
【0063】
ブロック1301において、プロセッサ1103は、閲覧装置109cの位置が変化したことを示すデータを受信する。例えば、頭部捕捉装置1101は、閲覧装置109cの位置の変化を検出し、それを示すデータをプロセッサ1103へ送信する。
【0064】
ブロック1303において、プロセッサ1103は、表示するための画像を決定し、この画像は、変化した位置に基づいて平坦なスクリーンに投影されるときの立体画像105cを含む。例えば、閲覧装置109cが、上、下、左、右等に移動したとき、DEP123cは、立体画像105cにおける仮想的な特徴の閲覧角度の変化を反映しうるように変化すると共に、視差(parallax)等において変化する。プロセッサ1103は、よって、立体画像105cが、平坦な面(つまり、湾曲していない)に提供された場合には、これらの変化を反映するために立体画像105cを処理可能である。
【0065】
ブロック1305において、プロセッサ1103は、曲面(つまり、スクリーン115c)の形状及び閲覧装置109cの位置を示すデータに基づいて、平坦な面の歪みを求める。すなわち、平坦な面は、歪むことが可能なメッシュとして処理され、立体画像105cが、変化した位置から閲覧装置109cを閲覧したときに、スクリーン115cの形状を反映するように歪められる。
【0066】
ブロック1307において、ブロック1301において生成された画像は、ブロック1305における歪みに基づいて調整され、立体画像105cは、曲面に投影されるとき、歪まずに表示される。
【0067】
対照的に、従来のディスプレイ生成器は、投射の単一点に対して描画されるコンテンツを生成する。このコンテンツは、通常、表示面が平坦な面であり、シミュレートされるシーンにおける形状の図を簡略化する空間に固定された位置での閲覧者により、単一ビューの錐台が、ビューの表示野を記述しうることの仮定をもとに生成される。
【0068】
ビューの広い視野を実現するために、コリメートされたディスプレイは、一般的に湾曲した投影面を採用することわかる。画像のワーピング(image warping)は、通常、平坦な対象物がフレキシブルなメッシュとして扱われることができ、曲面スクリーンを、コリメートミラーのような、コリメートされたディスプレイソリューションにおける湾曲した光学素子へ一旦リレーオフするように、画像の歪みを均一かつ適切にし、閲覧者の点(viewer’s point)の観点からの歪みに従わない又はレンズ効果が無い画像をもたらす。
【0069】
しかし、このようなシステムは、閲覧者の位置が変化しうることを考慮していない。これに対処するために、本明細書は、方法1300のように、空間における閲覧者の位置を捕捉することと、オン−ザ−フライ(on−the−fly)で画像の歪みを補正することとの組み合わせを通じて動きに対応するソリューションを提供する。
【0070】
立体視は、その三次元深さを矯正するために、二つのユニークな斜視図(つまり、左眼及び右眼)を合成すること、調節(焦点)の単眼深さのキュー、及び収束の両眼深さを用いる。モーション視差が加えられる(本明細書に記載した投射捕捉の点を通じて)ことにより、人間が取得可能な全ての単眼深さのキューは、その後、立体的な深さのキューを強化するために取得可能である。
【0071】
そのため、立体的な体験に拘束されうる単眼の深さのキューは、
−遠近(Perspective)(空間における閲覧者の位置からのビューの点。本実施は、閲覧者が動くと、実世界のように遠近を変更可能である)、
−モーションからの深さ(モーション視差及び可視シーンにおける物体の大きさの変更、これは一般的に遠近と対になる。例えば、森にある木を閲覧するとき、木は、閲覧者の位置に対して異なる平面に位置付けられ、閲覧者が動くと、近い木は、閲覧者の視野内を素早く動くように現れ、遠い木は、ゆっくりと動く。)、
−オクルージョン(Occlusion)(互いによって塞がれる物体の可視性を変更する移動についての効果。例えば、森の木は、閲覧者が動くと、閲覧者の位置に対して異なる平面に位置づけられ、遠くの木は、閲覧者に近い木により塞がれうる。)、
を含む。
【0072】
そのため、閲覧者111cの位置に基づく画像105を調整することにより、上述した深さのキューの全ては、システム100cに集約され、これは、仮想的な体験がより実物そっくりで現れることを可能にする。
【0073】
方法1300は、閲覧装置109cの位置の変化が求められる度に繰り返されうることがわかる。そのため、立体画像105cは、閲覧者111cがコリメートミラー117cに対して移動したとき、動的に調整され得、全体的に向上した3D環境を提供する。
【0074】
実際、モーション視差のキューの追加は、非常に強力な追加の深さのキューであり得、調節(accommodation)をはるかに超えて広がり、これは、一般的に、良好な光における2mmの瞳孔から算出される焦点の深さにより角度の一分(60分の1度)に制限される。頭部の動きからのモーション視差は、ステレオ視差(disparity)による画像のための“ベースライン”が大きくなりうるため、眼の離れ及びよせ運動よりも強いキューを提供する。例えば、閲覧者が、与えられたシーン閲覧するために2、3回頭部を動かした場合、大きな深さ及び副尺視力は、モーション視差による通常64mmの見かけ眼空間(nominal eye spacing)を解決しうる。例えば、片方の眼が悪い閲覧者であっても、良好な頭部捕捉を有する場合、頭部の動き及び調節により深さを把握しうる。モーション視差は、その後、バージェンス・キューに取って代わりうる。
【0075】
いくつかの実施では、頭部捕捉は、オン及びオフされうることがわかる。例えば、複数の閲覧者システム(例えば、制限されない実施におけるパイロット及びコックピットを有するクロスコックピットのコリメートされたシミュレータ)のために、頭部捕捉は、単一のユーザがシステムを使用しているだけの場合を除き、望まれなくてもよい。そのため、これらの実施では、頭部捕捉は、単一のユーザに対してオンになり得、複数のユーザに対してオフになり得る。
【0076】
図14に注目すると、図14は、同様の数字を有する要素によりシステム100cとほぼ同様の“使用時の”システム100cを示すが、“c”ではなく“d”が付与されている。例えば、コンピューティング装置104dは、コンピューティング装置104cと同様である。しかし、これらの実施では、頭部捕捉装置は、付加的なもの(かつ実際図示されない)であり、プロセッサ1103dは、左眼画像106adと右眼画像106bdとの間の両眼間距離を変化させることにより立体画像105dを調整可能である。例えば、図15のプロファイルに示されるように、“仮想的な”風景1500は、例えば、丘又は山のような形状的な特徴である仮想的な特徴を含みうる。DEP123dは、図15において、風景1500がフライトシミュレーションシステムの一部分と仮定された場合、“空”として示され、そのため、閲覧者111dは、風景1500の上に位置する。仮想的な距離1503は、DEP123d(つまり、閲覧者111d)と特徴1501とから求められうる。
【0077】
風景1500は、一般的に、図15に示すように閲覧者111dによって“見られ”ないが、立体画像105dは、DEP123dから見えるように風景1500のビューを提示するように生成されることがわかる。一般的に、立体画像105dは、約64mmの人間基準の両眼間距離に基づいて生成される(人間基準の両眼間距離は、一般的に、約62mmから約65mmの範囲であると認識されており、そのため、任意の両眼間距離は、基準を提示する場合に選択されうるが、しかし、人間の両眼間距離は、約58mmから約71mmの範囲となりうる)。しかし、図16に示すように、左眼画像106adと右眼画像106bdとの両眼間距離は、変化しうる、例えば、新たな両眼間距離に基づいて、更新された左眼画像106ad’及び右眼画像106bd’を生成するように仮想的な距離1503に応じて増加又は減少する。例えば、図16に示すように、両眼間距離は、左眼画像106ad’及び右眼画像106bd’がハイパーステレオで提供されるように増加しうる。ハイパーステレオは、一般的に、標準的なステレオ画像よりも閲覧者に対して光学深さ情報をより多く提供することが認識されている。すなわち、これらの実施において、システム100dは、ハイパーステレオモードに移行可能である。
【0078】
ハイパーステレオは、スケールの検知に影響を与えうるが、離れた物体のステレオ視差(stereo disparity)を増加させるために有用であることが認識されている。例えば、ハイパーステレオは、地形図を作製するために非常に長いベースラインを有する空中写真に用いられる。これは、相対的な深さを判断するための両眼間距離及びベースラインを効果的に増加させるための双眼鏡又はレンジファインダーでも有用である。さらに、約100mよりも長い距離では、数百フィートの両眼間距離は、一般的に、距離の知覚に大きな影響を与えないが、離れた物体のステレオ視差を増加させる。そのため、風景のハイパーステレオ画像を提供することは、例えば、仮想的な特徴の向上した細部を提供しうる。実際、地球の軌道(例えば、惑星軌道の一方側から他方側へ)のハイパーステレオベースライン画像は、月の科学的な3D研究に使用されている。
【0079】
いくつかの実施では、プロセッサ1103dは、仮想的な距離1503が第1の所定の閾値を超える、及び第2の所定の閾値を下回る、の一方又は両方であるとき、ハイパーステレオでの左眼画像106ad及び右眼画像106bdを提供可能でありうる。例えば、第1の所定の閾値は、100メートル程度であり得、第2の所定の閾値は、1000メートル程度であり得るが、任意の適切な閾値が本実施の範囲内である。
【0080】
例えば、64mmを下回るベースラインは、微生物又は血球の試験のようなミクロ及びマクロなワークの両方に有用でありうる。しかし、例えば、銀河の可視化のような場合、光年及び/又はパーセク及び/又は天文学的な単位のベースラインが本実施の範囲内となりうる。そのため、本実施における両眼間距離に特段の制限はなく、そのため、ゼロ(以下に示すような非常に大きな距離への二次元画像に対して)から及ぶことがわかる。視点は、左眼に対して約−32mm及び右眼に対して+32mmの“通常の”両眼間距離にプラス,マイナスが等しくなる(例えば、総計約64mm)ことがわかる。しかし、第2の閾値は、また、ハイパーステレオが短い距離及び長い距離で提供されるように第1の閾値以下となりうる:例えば、第2の閾値は、DEP123dに近い仮想的な特徴が、両眼間距離が普通の人のものであるときに通常取得可能であるものよりもより詳細な光学的ディティールを提供するより長いライフで現れるように、9メートル以下となりうる。
【0081】
両眼間距離を変化させることの例は、全てのフライトシミュレータを含む一方で、両眼間距離を変化させることは、上述したような任意の適切な没入環境で用いられうることがわかる。例えば、変更可能な両眼間距離は、手動でダイヤルされる、又はシミュレートされたシーンにおいて閲覧される実際の距離に応じて自動的に変化される、のいずれかでありうる(例えば、閲覧者が地面に近づいたときに、より自然な両眼間距離が使用されうる。閲覧者が高い高度にあるときに、ハイパーステレオ設定が使用されうる。)。
【0082】
いくつかの実施では、図16にも図示されるように、人間基準以下の両眼間距離が用いられうる(左眼画像106ad’’及び右眼画像106bd’’参照)。例えば、人間基準が特徴の適正なビューを生じない、医療可視化環境における薬物、又は任意の他の適切な没入環境における任意の他の非常に小さな特徴を増加する場合、人間基準以下の両眼間距離が用いられうる。すなわち、システム100dは、また、顕微鏡又はマクロな用途等のような非常に近接したワークに対して有用となりうるハイパーステレオモードに移行可能となりうる。
【0083】
一般に、両眼間距離は、これに限らないが、任意の適切な没入環境のために、閾値及び/又は仮想的な距離に基づくことを含む、任意の適切な手法で変化されうることがわかる。
【0084】
人間の両眼間距離は、人それぞれで変化しうるため、システム100dの両眼間距離は、また、所定の閲覧者の両眼間距離に基づいて変化しうることがさらにわかる。例えば、システム100dの両眼間距離は、所定の閲覧者に固定されうるが、その後、閲覧者それぞれの両眼間距離に変化を調節するために異なる閲覧者のために変更されうる。これらの実施では、ベースの両眼間距離は、システム100d、例えば、システム100dを用いる所定の閲覧者の前に、コンピューティング装置104dに入力されうる。
【0085】
他の実施では、図17に示すように、プロセッサ1103dは、仮想的な距離1503に基づいて立体画像105dのストリーム1703へ二次元画像1701を挿入可能となりうる。実際、二次元画像1701の挿入は、両眼間距離が0mmに減少したことを事実上意味する。いくつかの実施では、仮想的な距離1503が、第1の所定の閾値を超える、及び第2の所定の閾値を下回ることの一方又は両方であるとき、プロセッサ1103dは、立体画像105dのストリーム1703へ二次元画像1701を挿入可能となりうる。例えば、1000メートルのように仮想的な距離1503が第1の所定の閾値を超えると、非常にわずかな視差が立体画像105cに現れ、そのため、立体画像105dのストリームへの二次元画像1701の挿入を通じた二次元ビューへ切り替えることは、処理時間を低減しうる。任意の適切な数の二次元画像1701は、例えば、仮想的な距離1703に応じて任意の適切な時間の長さに対して、ストリーム1703へ挿入されうることがわかる。
【0086】
同様に、第2の所定の閾値を下回ると、三次元画像が適切でない又は望まれない状況となりうる。そのため、システム100dは、二次元モードへ切り替えられうる。二次元モードへ切り替えることは、例えば、高いフレームレート及び/又はシーンの多くの特徴を処理するための処理時間を節約する。
【0087】
いくつかの実施では、プロセッサ1103dは、左眼画像106ad及び右眼画像106bdの一方を右眼画像106bd及び左眼画像106adの他方と置き換えることにより、立体画像105dのストリーム1703へ二次元画像1701を挿入可能となりうる。すなわち、左眼及び右眼の各々は、同一の画像に設けられる。
【0088】
実際、両眼間距離を変化させることは、これに限らないが、二次元モードのために両眼間距離を0mmに設定することを含み、各種の特徴を可能にする両眼間距離のインタラクティブリアルタイムコントロールを含みうる。当該各種の特徴は、これに制限されないが、
1.ライフタイムスケーリング効果及び距離の判断が、各人のライフタイムを通じた各人に特有の両眼間距離でトレーニングされた所定の閲覧者にとって適切となるように、異なる両眼間距離により、あるユーザから他のユーザへの素早い切り替え及び再校正、
2.バンド幅を節約するため、又は非常に長い距離が見えるのみの“通常”の両眼間距離での三次元モードから二次元モードへの素早い切り替え、
3.通常モード(ベースラインでの両眼間距離)とハイパーステレオモード(両眼間距離ベースライン以上)又はハイポステレオモード(両眼間距離がベースライン以下)とを切り替えることにより、“感じ方”及び/又はシステム100dのビューを変化すること、を含む。
【0089】
各種の実施が本明細書において別々に記載されているが、例えば、頭部の捕捉及び両眼間距離の変化は、要望通りに、任意の適切な組み合わせで組み合わせられうることがわかる。
【0090】
三次元閲覧体験を向上させるための各種のさらなる改善により、コリメートされたディスプレイシステムが、三次元画像を閲覧したときに、眼の緊張の除去を提供するために本明細書において説明されてきた。
【0091】
いくつかの実施において、システム100,100a,100b,100c,100dの機能性は、予めプログラムされたハードウェア又はファームウェア要素(例えば、特定用途向け集積回路(ASICs)、electrically erasable programmable read−only memories(EEPROMs)、又は他の関連する構成要素を用いて実施されうることを当業者は理解するであろう。他の実施では、システム100,100a,100b,100c,100dの機能性は、コンピューティング装置を用いて実現されうる。コンピューティング装置のためのコンピュータで読み取り可能なプログラムコードを記憶するコードメモリ(図示せず)にアクセスする。コンピュータで読み取り可能なプログラムコードは、これらの構成要素(例えば、リムーバブルディスケット、CD−ROM,ROM、固定ディスク、USBドライブ)によって固定され、有形であり、直接読み取り可能であるコンピュータで読み取り可能な記憶媒体に記憶されうる。さらに、コンピュータで読み取り可能なプログラムは、コンピュータで使用可能な媒体を含むコンピュータプログラムプロダクトとして記憶されうることがわかる。さらに、持続性の記憶装置は、コンピュータで読み取り可能なプログラムコードを含みうる。コンピュータで読み取り可能なプログラムコード及び/又はコンピュータで使用可能な媒体は、一時的でないコンピュータで読み取り可能なプログラムコード及び/又は一時的でないコンピュータで使用可能な媒体を含みうることがわかる。それに代えて、コンピュータで読み取り可能なプログラムコードは、リモートで記憶されてもよいが、伝送媒体のネットワーク(制限されないがインターネットを含む)に接続されるモデム又は他のインターフェース装置を通じてこれらのコンポーネントへ伝送可能である。伝送媒体は、非モバイル媒体(例えば、光学的及び/又はデジタル及び/又はアナログ通信線)又はモバイル媒体(例えば、マイクロ波、赤外線、自由空間光学式、又は他の伝送スキーム)又はそれらの組み合わせのいずれかでありうる。
【0092】
当業者は、さらなる他の実施及び変更が可能であること、及び上記の例が一又はそれ以上の実施の実例のみであることを理解するであろう。したがって、本発明の範囲は、添付の特許請求の範囲のよってのみ制限される。
【特許請求の範囲】
【請求項1】
左眼画像及び右眼画像を含む立体画像のストリームを提供可能な画像生成器と、
前記画像生成器からの前記立体画像のストリームを受信可能であり、前記左眼画像及び前記右眼画像各々への光をフィルタする閲覧装置で閲覧するために光で前記立体画像を形成し、それによって、前記閲覧装置を通じて閲覧したときに、前記立体画像の三次元レンダリングを提供する、少なくとも一つの画像変調器と、
前記少なくとも一つの画像変調器からの前記光を受信及びコリメート可能であり、前記光の線は、前記立体画像が前記閲覧装置で受信されたときに、略平行である、コリメート装置と、
を含むシステム。
【請求項2】
前記立体画像を投影し、前記少なくとも一つの画像変調器を含む少なくとも一つのプロジェクタと、
前記立体画像が投影される少なくとも一つのスクリーンと、
反射された光がコリメートされるように前記少なくとも一つのスクリーンからの前記立体画像を反射する少なくとも一つのコリメートミラーと、をさらに含み、
前記コリメート装置は、前記少なくとも一つのスクリーン及び前記少なくとも一つのコリメートミラーを含む、請求項1に記載のシステム。
【請求項3】
前記少なくとも一つのコリメートミラーは、球状又は放物線状のいずれか一方であり、前記少なくとも一つのスクリーンは、前記少なくとも一つのコリメートミラーと補完する形状を有する請求項1に記載のシステム。
【請求項4】
前記コリメート装置は、
前記立体画像が提供される少なくとも一つのスクリーンと、
反射された光がコリメートされるように前記少なくとも一つのスクリーンからの前記立体画像を反射する少なくとも一つのコリメートミラーと、
を含む請求項1に記載のシステム。
【請求項5】
前記少なくとも一つの画像変調器が前記光で前記立体画像を形成する前に、前記立体画像をワープすること、
前記コリメート装置に対して前記閲覧装置の変化位置に基づいて前記ワープを繰り返すこと、
前記左眼画像と前記右眼画像との間の両眼間距離を変化させること、及び
前記立体画像の前記ストリームに二次元画像を挿入すること、
の少なくとも一つが可能であるコンピューティング装置をさらに含む請求項1に記載のシステム。
【請求項6】
前記立体画像が没入環境での没入体験と関連付けられるような前記没入環境をさらに含む請求項1に記載のシステム。
【請求項7】
前記没入環境は、シミュレーション環境、フライトシミュレータ及びドライブシミュレータのうちの一又はそれ以上を含む請求項6に記載のシステム。
【請求項8】
前記没入環境は、可視化環境、顕微鏡可視化環境、医療画像可視化環境、オイル及びガス可視化環境、及び地震学可視化環境のうちの一又はそれ以上を含む請求項6に記載のシステム。
【請求項9】
前記没入環境は、トレーニング環境を含む請求項6に記載のシステム。
【請求項10】
前記閲覧装置の位置を捕捉可能なヘッドトラッキング装置と、
閲覧のために、前記閲覧装置の位置及び方向の一又はそれ以上に基づいて前記立体画像を調整可能なプロセッサと、
をさらに含む請求項1に記載のシステム。
【請求項11】
前記立体画像は、閲覧のために曲面上に投影され、前記プロセッサは、さらに、前記曲面の形状に基づいて前記立体画像を調整可能である請求項10に記載のシステム。
【請求項12】
前記形状を示すデータを記憶するメモリをさらに含む請求項11に記載のシステム。
【請求項13】
前記プロセッサは、さらに、
表示するために、平坦なスクリーンに提供されたときに前記立体画像を含む画像を求めること、
前記曲面及び前記閲覧装置の前記位置の形状を示す前記データに基づいて前記平坦なスクリーンの歪みを求めること、及び
前記曲面に投影されたときに前記立体画像が歪まずに表示されるように前記歪みに基づいて前記画像を調整すること
により、前記曲面の形状に基づいて前記立体画像を調整可能である請求項12に記載のシステム。
【請求項14】
前記立体画像を調整することは、前記閲覧装置の位置の変化が求められるたびに繰り返される請求項13に記載のシステム。
【請求項15】
前記コリメート装置は、コリメートミラーを含み、前記コリメートミラーは、反射した光がコリメートされるように曲面からの前記光を反射可能である請求項10に記載のシステム。
【請求項16】
前記左眼画像及び前記右眼画像の両眼間距離を変化させることにより、前記立体画像を調整可能なプロセッサをさらに含む請求項1に記載のシステム。
【請求項17】
前記両眼間距離は、前記立体画像の閲覧者と少なくとも一つの前記立体画像の与えられた特徴との仮想的な距離に基づいて変化させられる請求項16に記載のシステム。
【請求項18】
前記両眼間距離は、前記左眼画像及び前記右眼画像がハイパーステレオで提供されるように変化させられる請求項16に記載のシステム。
【請求項19】
前記左眼画像及び前記右眼画像は、仮想的な距離が第1の閾値を超える、及び第2の閾値を下回る、の一方又は両方であるときに、ハイパーステレオで提供されるように変化させられる請求項18に記載のシステム。
【請求項20】
前記立体画像の閲覧者と少なくとも一つの前記立体画像の与えられた特徴との仮想的な距離に基づいて、二次元画像を前記立体画像のストリームに挿入可能なプロセッサをさらに含む請求項1に記載のシステム。
【請求項21】
前記プロセッサは、前記左眼画像及び前記右眼画像の一方を前記左眼画像及び前記右眼画像の他方と置き換えることにより、前記二次元画像を前記立体画像のストリームに挿入可能である請求項20に記載のシステム。
【請求項22】
前記プロセッサは、さらに、前記仮想的な距離が、第1の閾値を超える、及び第2の閾値を下回る、の一方又は両方であるときに、前記二次元画像を前記立体画像のストリームに挿入可能である請求項20に記載のシステム。
【請求項1】
左眼画像及び右眼画像を含む立体画像のストリームを提供可能な画像生成器と、
前記画像生成器からの前記立体画像のストリームを受信可能であり、前記左眼画像及び前記右眼画像各々への光をフィルタする閲覧装置で閲覧するために光で前記立体画像を形成し、それによって、前記閲覧装置を通じて閲覧したときに、前記立体画像の三次元レンダリングを提供する、少なくとも一つの画像変調器と、
前記少なくとも一つの画像変調器からの前記光を受信及びコリメート可能であり、前記光の線は、前記立体画像が前記閲覧装置で受信されたときに、略平行である、コリメート装置と、
を含むシステム。
【請求項2】
前記立体画像を投影し、前記少なくとも一つの画像変調器を含む少なくとも一つのプロジェクタと、
前記立体画像が投影される少なくとも一つのスクリーンと、
反射された光がコリメートされるように前記少なくとも一つのスクリーンからの前記立体画像を反射する少なくとも一つのコリメートミラーと、をさらに含み、
前記コリメート装置は、前記少なくとも一つのスクリーン及び前記少なくとも一つのコリメートミラーを含む、請求項1に記載のシステム。
【請求項3】
前記少なくとも一つのコリメートミラーは、球状又は放物線状のいずれか一方であり、前記少なくとも一つのスクリーンは、前記少なくとも一つのコリメートミラーと補完する形状を有する請求項1に記載のシステム。
【請求項4】
前記コリメート装置は、
前記立体画像が提供される少なくとも一つのスクリーンと、
反射された光がコリメートされるように前記少なくとも一つのスクリーンからの前記立体画像を反射する少なくとも一つのコリメートミラーと、
を含む請求項1に記載のシステム。
【請求項5】
前記少なくとも一つの画像変調器が前記光で前記立体画像を形成する前に、前記立体画像をワープすること、
前記コリメート装置に対して前記閲覧装置の変化位置に基づいて前記ワープを繰り返すこと、
前記左眼画像と前記右眼画像との間の両眼間距離を変化させること、及び
前記立体画像の前記ストリームに二次元画像を挿入すること、
の少なくとも一つが可能であるコンピューティング装置をさらに含む請求項1に記載のシステム。
【請求項6】
前記立体画像が没入環境での没入体験と関連付けられるような前記没入環境をさらに含む請求項1に記載のシステム。
【請求項7】
前記没入環境は、シミュレーション環境、フライトシミュレータ及びドライブシミュレータのうちの一又はそれ以上を含む請求項6に記載のシステム。
【請求項8】
前記没入環境は、可視化環境、顕微鏡可視化環境、医療画像可視化環境、オイル及びガス可視化環境、及び地震学可視化環境のうちの一又はそれ以上を含む請求項6に記載のシステム。
【請求項9】
前記没入環境は、トレーニング環境を含む請求項6に記載のシステム。
【請求項10】
前記閲覧装置の位置を捕捉可能なヘッドトラッキング装置と、
閲覧のために、前記閲覧装置の位置及び方向の一又はそれ以上に基づいて前記立体画像を調整可能なプロセッサと、
をさらに含む請求項1に記載のシステム。
【請求項11】
前記立体画像は、閲覧のために曲面上に投影され、前記プロセッサは、さらに、前記曲面の形状に基づいて前記立体画像を調整可能である請求項10に記載のシステム。
【請求項12】
前記形状を示すデータを記憶するメモリをさらに含む請求項11に記載のシステム。
【請求項13】
前記プロセッサは、さらに、
表示するために、平坦なスクリーンに提供されたときに前記立体画像を含む画像を求めること、
前記曲面及び前記閲覧装置の前記位置の形状を示す前記データに基づいて前記平坦なスクリーンの歪みを求めること、及び
前記曲面に投影されたときに前記立体画像が歪まずに表示されるように前記歪みに基づいて前記画像を調整すること
により、前記曲面の形状に基づいて前記立体画像を調整可能である請求項12に記載のシステム。
【請求項14】
前記立体画像を調整することは、前記閲覧装置の位置の変化が求められるたびに繰り返される請求項13に記載のシステム。
【請求項15】
前記コリメート装置は、コリメートミラーを含み、前記コリメートミラーは、反射した光がコリメートされるように曲面からの前記光を反射可能である請求項10に記載のシステム。
【請求項16】
前記左眼画像及び前記右眼画像の両眼間距離を変化させることにより、前記立体画像を調整可能なプロセッサをさらに含む請求項1に記載のシステム。
【請求項17】
前記両眼間距離は、前記立体画像の閲覧者と少なくとも一つの前記立体画像の与えられた特徴との仮想的な距離に基づいて変化させられる請求項16に記載のシステム。
【請求項18】
前記両眼間距離は、前記左眼画像及び前記右眼画像がハイパーステレオで提供されるように変化させられる請求項16に記載のシステム。
【請求項19】
前記左眼画像及び前記右眼画像は、仮想的な距離が第1の閾値を超える、及び第2の閾値を下回る、の一方又は両方であるときに、ハイパーステレオで提供されるように変化させられる請求項18に記載のシステム。
【請求項20】
前記立体画像の閲覧者と少なくとも一つの前記立体画像の与えられた特徴との仮想的な距離に基づいて、二次元画像を前記立体画像のストリームに挿入可能なプロセッサをさらに含む請求項1に記載のシステム。
【請求項21】
前記プロセッサは、前記左眼画像及び前記右眼画像の一方を前記左眼画像及び前記右眼画像の他方と置き換えることにより、前記二次元画像を前記立体画像のストリームに挿入可能である請求項20に記載のシステム。
【請求項22】
前記プロセッサは、さらに、前記仮想的な距離が、第1の閾値を超える、及び第2の閾値を下回る、の一方又は両方であるときに、前記二次元画像を前記立体画像のストリームに挿入可能である請求項20に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【公開番号】特開2013−106355(P2013−106355A)
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【外国語出願】
【出願番号】特願2012−250650(P2012−250650)
【出願日】平成24年11月14日(2012.11.14)
【出願人】(508191949)クリスティ デジタル システムズ ユーエスエイ インコーポレイテッド (7)
【Fターム(参考)】
【公開日】平成25年5月30日(2013.5.30)
【国際特許分類】
【出願番号】特願2012−250650(P2012−250650)
【出願日】平成24年11月14日(2012.11.14)
【出願人】(508191949)クリスティ デジタル システムズ ユーエスエイ インコーポレイテッド (7)
【Fターム(参考)】
[ Back to top ]