説明

三次元ビュー表示用の観察者トラッキング

装置は、1以上の観察者をトラッキングし、1以上の観察者の各々に対して、トラッキングに基づき観察者の位置を判定しうる。加えて、装置は、1以上の観察者の各々に対して、右目用画像と左目用画像で構成され前記位置で見える立体画像を判定しうる。更に、装置は、観察者に関連する立体画像を1以上の観察者の各々に前記ディスプレイを介して提供するためにディスプレイの表示設定を制御しうる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元ビュー表示用の観察者トラッキングに関する。
【背景技術】
【0002】
三次元(3D)ディスプレイは、2つの僅かに異なる画像、すなわち観察者(viewer)の右目のための一つの画像(例えば、右目用画像)及び左目のための他の画像(例えば、左目用画像)をレンダリングすることで、立体感(例えば、奥行きの錯覚)を提供しうる。両目の各々がディスプレイ上のそれぞれの画像を見る場合に、観察者は立体画像を知覚しうる。
【発明の概要】
【0003】
ある観点によれば、方法は、1以上の観察者をトラッキングし、前記1以上の観察者の各々に対して、トラッキングに基づき観察者の位置を判定することを含みうる。加えて、方法は、前記1以上の観察者の各々に対して、右目用画像と左目用画像で構成され前記位置で前記観察者から見える立体画像を判定することを更に含みうる。さらに、方法は、前記観察者に関連する前記立体画像を前記1以上の観察者の各々に前記ディスプレイを介して提供するために前記ディスプレイの表示設定を制御することを含みうる。
【0004】
加えて、方法は、前記観察者に関連する前記立体画像を前記1以上の観察者の各々に前記ディスプレイを介して提供することを更に含みうる。
【0005】
加えて、トラッキングすることは、前記1以上の観察者の各々の頭部をトラッキングし、前記頭部の右目の位置を判定することを含みうる。
【0006】
加えて、1以上の観察者をトラッキングすることは、2人の観察者をトラッキングすることを含みうる。
【0007】
加えて、立体画像を判定することは、装置のメモリに記憶された、前記装置の表面上への仮想三次元物体の投影を判定して、前記右目用画像を取得することを含みうる。立体画像を判定することは、記憶された三次元のマルチメディア・コンテンツから前記右目用画像を取得することを含みうる。
【0008】
加えて、表示設定を制御することは、導光部を調整して、前記ディスプレイの表面上の前記右目用画像の画素から前記左目ではなく前記右目へ向けて光線を向かわせることを含みうる。
【0009】
加えて、方法は、前記ディスプレイ上に、前記右目に見えるサブピクセルの第1群を介した前記右目用画像と、前記左目に見えるサブピクセルの第2群を介した前記左目用画像とを表示させることを更に含みうる。
【0010】
加えて、方法は、前記ディスプレイ上にサブピクセルで前記右目用画像を表示し、前記サブピクセルからの光線を前記右目へ向かわせ、前記ディスプレイ上に前記サブピクセルで前記左目用画像を表示し、前記サブピクセルからの光線を前記左目へ向かわせることを更に含みうる。
【0011】
加えて、方法は、前記ディスプレイ上にサブピクセルで複数の立体画像のうちの一つを表示し、前記サブピクセルからの光線を他の観察者ではなく第1の観察者へ向かわせ、前記ディスプレイ上に前記サブピクセルで前記複数の立体画像のうちの他の一つを表示し、前記サブピクセルからの光線を他の観察者ではなく第2の観察者へ向かわせることを更に含みうる。
【0012】
別の観点によれば、装置は、観察者をトラッキングするためのセンサーと、ディスプレイと、処理部を含みうる。ディスプレイは、複数のピクセル及び導光部を含み、各導光部は、ピクセル内の第1のサブピクセルからの光線と前記ピクセル内の第2のサブピクセルからの光線を、それぞれ前記観察者の右目と左目へ向かわせるように構成されうる。処理部は、前記センサーの出力に基づいて前記観察者の位置を取得し、右目用画像と左目用画像で構成され前記位置で見られる立体画像を判定するように構成されうる。加えて、処理部は、サブピクセルの第1群で前記右目から見える前記右目用画像とサブピクセルの第2群で前記左目から見える前記左目用画像とを表示するように更に構成されうる。
【0013】
加えて、前記処理部は、前記ディスプレイを駆動して、前記立体画像が前記ディスプレイに表示される場合に前記立体画像を前記観察者に提供するように更に構成されうる。
【0014】
加えて、前記装置は、ラップトップ型コンピュータ、携帯電話、パーソナル・コンピュータ、パーソナル・デジタル・アシスタント(personal digital assistant)、またはゲーム機の少なくとも一つを含みうる。
加えて、前記センサーは、超音波センサー、赤外線センサー、カメラセンサー、熱センサーの少なくとも一つを含みうる。
【0015】
加えて、前記導光部は、レンチキュラーレンズ、または視差バリアを含みうる。
【0016】
加えて、前記視差バリアは、前記第1のサブピクセルからの光線の向きを前記観察者の位置に基づいて変更するように構成されうる。
【0017】
加えて、前記右目用画像は、三次元のマルチメディア・コンテンツから得られた画像、または前記ディスプレイ上の三次元の仮想物体の投影を含みうる。
【0018】
加えて、前記導光部は、新しい画素が前記第1のサブピクセルによって表示される場合に、前記第1のサブピクセルからの光線を前記観察者の左目に変更するように更に構成されうる。
【0019】
加えて、前記導光部は、新しい画素が前記第2のサブピクセルによって表示される場合に、前記第2のサブピクセルからの光線を他の観察者の左目に変更するように更に構成されうる。
【0020】
加えて、前記センサーは、前記観察者の左目と右目を検索するための機構を含みうる。
【0021】
更に別の観点によれば、装置は、観察者の頭部をトラッキングする手段と、三次元画像を表示する手段と、前記頭部をトラッキングする手段の出力に基づいて前記観察者の位置を取得する手段と、前記位置で見られる三次元画像を取得する手段と、前記三次元画像を表示する手段、を含みうる。
【図面の簡単な説明】
【0022】
本明細書に組み入れられて、その一部を成す添付図面は、発明を実施するための形態とともに、ここで説明する1以上の実施形態を示し、実施形態を説明する。図面において、
【図1】ここで説明する発想が実施可能な三次元(3D)システムの概観を示す図である。
【図2】図1の3Dシステム例を示す図である。
【図3A】図1の装置例の一実施の前面図と背面図である。
【図3B】図1の装置例の一実施の前面図と背面図である。
【図4】図1の装置例の要素のブロック図である。
【図5】図1の装置例の機能ブロック図である。
【図6A】観察者の左目用の3Dディスプレイ上への3D物体の投影例を示す。
【図6B】観察者の右目用の3Dディスプレイ上への3D物体の投影例を示す。
【図7】頭部トラッキングに基づいて3Dビューを表示するための処理例のフロー図である。
【図8】図1の装置の他の実施の動作を示す図である。
【図9】図7の処理を示すシナリオ(scenario)である。
【発明を実施するための形態】
【0023】
以下の詳細な説明は、添付図面を参照する。異なる図面における同一の参照番号は、同一または同様の要素を識別しうる。
【0024】
<概観>
ここで説明する側面は、観察者トラッキングに基づいて視覚的な三次元(3D)効果を提供する。図1は、ここで説明する発想が実施可能な3Dシステム例100の簡易図である。図示するように、3Dシステム100は、装置102と観察者104を含みうる。装置102は、二次元(2D)または3D画像を生成し、観察者104にディスプレイを介して提供しうる。装置102が3D画像を表示する場合、位置Xの観察者104は、右目用画像と左目画像を光線106−1と光線106−2を介して受け取る。光線106−1と光線106−2は、共に観察者104に立体画像を提供するように、異なる視覚情報を運びうる。
【0025】
観察者104が位置Xから位置Yへ移動する場合には、観察者104が3D物体(3D object)を見ているという印象を装置102が維持するために、装置102は、位置Xで見えていた3D物体の新しい右目用画像と左目用画像を、位置Yの観察者104に伝達する必要がありうる。前述のことを達成するために、装置102は、センサーを用いて観察者104の位置をトラッキングしうる。観察者104が位置Xから位置Yへ移動したことを装置102が検出する場合には、装置102は、新しい右目用画像と左目用画像を生成し、光線106−3、106−4を介して送信しうる。
【0026】
上記では、多くの異なる表示位置/角度用の右目用画像と左目用画像を予め計算する代わりに、装置102は、観察者104をトラッキングし、特定の時間での観察者104の位置に基づいた右目用画像と左目用画像を生成しうる。観察者104の位置に基づく画像を動的に生成することにより、装置102は、処理サイクル、電力、および/または画像を予め計算するのに必要でありうるメモリを節約しうる。
【0027】
<3Dシステム例>
図2は、図1の3Dシステムを示す図である。図2に示すように、3Dシステム100は、装置102と観察者104を含みうる。装置102は、2D画像と3D画像を表示する能力を有し又は表示するのに適合できる以下の任意の装置を含みうる。例えば、3Dディスプレイを有する無線電話または携帯電話;3Dディスプレイと、データ処理・ファクシミリ・データ通信機能とを組み合わせたパーソナル通信システム(PCS)端末;3Dディスプレイを有する電子メモ帳、ノートパソコン、および/またはパーソナルコンピュータ;3Dディスプレイを含むことができるパーソナルデジタルアシスタント(PDA);3Dディスプレイを有するゲーム装置、またはコンソール;周辺機器(例えば、無線ヘッドホン、ワイヤレスディスプレイ等);デジタルカメラ;または3Dディスプレイを有する他のタイプの計算装置や通信装置等である。
【0028】
さらに図2に示すように、装置102は、3Dディスプレイ202を含みうる。3Dディスプレイ202は、装置102によって生成される2D/3D画像を示しうる。位置Xの観察者104は、右眼104−1と左目104−2に通して光線を知覚しうる。
【0029】
また図2に示すように、3Dディスプレイ202は、画素(ピクセル)204−1、204−2、204−3(以下、総称してピクセル204と呼ばれる)と、導光部206−1、206−2、206−3(以下、総称して導光部206と呼ばれる)を含みうる。しかし、3Dディスプレイ202は、追加のピクセル、導光部、別の構成要素(例えば、装置102の構成要素から信号を受信する回路)を含みうる。このような構成要素は、単純化のために図2に示されていない。
【0030】
3Dディスプレイ202において、ピクセル204−2は、導光部206−2を介して観察者104に至る光線106−1〜106−4(以下、総称して光線106と、個別に光線106−xと呼ばれる)を発生しうる。導光部206−2は、ピクセル104−2からの光線106を3Dディスプレイ202の表面に対して特定の方向に導きうる。
【0031】
さらに図2に示すように、ピクセル204−2は、サブピクセル210−1〜210−4(以下、総称してサブピクセル210と、個別にサブピクセル210−xと呼ばれる)を含みうる。異なる実施では、ピクセル204−2は、より少ないまたは追加のサブピクセルを含みうる。
【0032】
3Dディスプレイ202に3D画像を示すために、サブピクセル210−1〜210−4は、それぞれ光線106−1〜106−4を発生しうる。サブピクセル210が光線106を発生する場合には、導光部206−2は、光線106の各々を他の光線106の経路とは異なる経路に向かわせうる。例えば、図2において、導光部206−2は、サブピクセル210−1からの光線106−1を観察者104の右目104−1に、サブピクセル210−2からの光線106−2を観察者104の左目104−2に導きうる。
【0033】
図2で、ピクセル204−1とピクセル204−3は、ピクセル204−2と同様の構成要素を含み(例えば、サブピクセル208−1〜208−4と、サブピクセル212−1〜212−4)、ピクセル204−2と同様に動作しうる。従って、右目104−1は、ピクセル204−2のサブピクセル210−1からの光線106−1だけでなく、ピクセル204−1、204−3の対応するサブピクセル(例えば、サブピクセル208−1、212−1)からの光線も受信しうる。左目104−2は、ピクセル204−2のサブピクセル210−2からの光線106−2だけでなく、ピクセル204−1、204−3の対応するサブピクセル(例えば、サブピクセル208−2、212−2)からの光線も受信しうる。
【0034】
上記では、立体画像の右目用画像がサブピクセル208−1、210−1、212−1を介して表示され、左目用画像がサブピクセル208−2、210−2、212−2を介して表示される場合に、右目104−1と左目104−2は、それぞれ右目用画像と左目用画像を見うる。その結果、観察者104は、位置Xで立体画像を知覚しうる。
【0035】
図2において、観察者104が位置Xから位置Yへ移動する場合には、3Dディスプレイ202にとって観察者104が3D物体を見ているという錯覚を維持するために、3Dディスプレイ202は、位置Xの観察者104によって知覚されるものに対して異なる3D物体の遠近感を示す右目用画像と左目用画像を表示する必要がありうる。前述のことを達成するために、装置102はセンサーを介して観察者104をトラッキングし、観察者104が位置Xから位置Yへ移動したことを装置102が検出する場合には、装置102は右目用画像と左目用画像を取り出しまたは動的に生成し、3Dディスプレイ202に右目用画像と左目用画像を表示させうる。例えば、図2において、観察者104が位置Yに位置する場合に、装置102は、サブピクセル208−3、210−3、212−3に新しい右目用画像を表示させ、サブピクセル208−4、210−4、210−4に新しい左目用画像を表示させうる。
【0036】
<装置例>
図3Aと図3Bは、それぞれ、装置102の一実施の正面図と背面図である。この実施において、装置102は、携帯電話(例えば、セル方式の携帯無線電話)の形態をとりうる。図3Aと図3Bに示すように、装置102は、スピーカ302と、ディスプレイ304と、制御ボタン306と、キーパッド308と、マイク310と、センサー312と、レンズアセンブリ314と、ハウジング316を含みうる。
【0037】
スピーカ302は、装置102のユーザに可聴情報を提供しうる。ディスプレイ304は、二次元または三次元の視覚情報をユーザに提供しうる。ディスプレイ304の例は、オートステレオスコピック3Dディスプレイ、ステレオスコピック3Dディスプレイ、ボリュメトリック(volumetric)ディスプレイ等を含みうる。ディスプレイ304は、ディスプレイ304の表面を覆う導光部206(図2)(例えば、レンチキュラーレンズ、視差バリア等)のマトリックスを介して、観察者104の右目104−1と左目104−2に異なる光線を放射するピクセル要素を含みうる。一実施では、導光部206−xは、装置102からの入力に応じて、ディスプレイ304の表面から放出される光線の方向を動的に変更しうる。
【0038】
制御ボタン306は、ユーザによる装置102とやりとりを可能にし、装置102に、例えば電話をかける、受ける等、1以上の動作を実行させうる。キーパッド308は、標準的な電話のキーパッドを含みうる。マイク310は、ユーザからの可聴情報を受信しうる。
【0039】
センサー312は、観察者104に画像をキャプチャさせる(例えば、レンズアセンブリ314に自動収束用の情報を提供するために)のに役立ち、および/または観察者104をトラッキングするのに用いられる情報(例えば、音響、赤外線等)を収集し、装置102に提供しうる。ある実施では、センサー312は、ディスプレイ304上の仮想3D物体の二次元(2D)投射を判定できるように、装置102からの観察者104の距離及び方向を提供しうる。センサー312の例は、観察者104の位置/場所を取得しうる超音波センサー、赤外線センサー、カメラセンサー、熱感知器等を含む。
【0040】
レンズアセンブリ314は、指定範囲又は選択範囲からの光線を操作する装置を含み、前記範囲内の画像が所望の方法でキャプチャされうる。ハウジング316は、装置102の構成要素用のケースを提供し、外部要素から構成要素を保護しうる。
【0041】
図4は、装置102のブロック図である。図示するように、装置102は、処理部402、メモリ404、入力/出力構成要素406、ネットワーク・インターフェース408、および通信パス410を含みうる。異なる実施では、装置102は、図4に示すもの構成要素に比べて追加の、より少ない、または異なる構成要素を含みうる。
【0042】
処理部402は、プロセッサ、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、および/または装置102を制御できる他の処理ロジックを含みうる。一実施では、処理部402は、3D画像を処理するように具体的に設計されている構成要素を含みうる。メモリ404は、データや機械読み取り可能な指示を記憶するために、リード・オンリー・メモリ(ROM)等のスタティックメモリ、および/または、ランダム・アクセス・メモリ(RAM)等のダイナミックメモリ、またはオンボードキャッシュを含みうる。メモリ404は、また、フロッピディスク、CD−ROM、CD読み取り/書き込み(RAV)ディスク、および/またはフラッシュメモリ等の記憶装置と、他のタイプの記憶装置を含みうる。
【0043】
入力/出力構成要素406は、ディスプレイ(例えば、ディスプレイ304)、キーパッド(例えば、キーパッド308)、マウス、スピーカ(例えば、スピーカ302)、マイク(例えば、マイク310)、デジタル・ビデオ・ディスク(DVD)ライター、DVDリーダー、ユニバーサル・シリアル・バス(USB)ライン、および/または物理的なイベントや現象を、装置102に関するデジタル信号へ変換し、および/またはデジタル信号から変換する他のタイプの構成要素を含みうる。
【0044】
ネットワーク・インターフェース408は、装置102が他の装置、および/またはシステムと通信できる任意の送受信機のような機構を含みうる。例えば、ネットワーク・インターフェース408は、インターネット、地上無線ネットワーク(例えば、WLAN)、衛星ベースのネットワーク、WPAN等を介した、通信用機構を含みうる。加えて、または代わりに、ネットワーク・インターフェース408は、モデム、LANへのイーサネット・インターフェース、および/または装置102と他の装置を接続するためのインターフェース/接続部(例えば、ブルートゥースインターフェース)を含みうる。
【0045】
通信パス410は、装置102の要素が互いに通信できるインターフェースを提供しうる。
【0046】
図5は、装置102の機能ブロック図である。図示するように、装置102は、3Dロジック502、観察者トラッキングロジック504、および3Dアプリケーション506を含みうる。図5には図示されていないが、装置102は、図4に示す構成要素、オペレーション・システム(例えば、シンビアンOS、パームOS、ウィンドウズ・モバイルOS等)、アプリケーション(例えば、インスタント・メッセンジャ・クライアント、電子メールクライアント等)など、追加機能の要素を含みうる。
【0047】
3Dロジック502は、右目用画像と左目用画像を取得し、および/または右/左目用画像を3Dディスプレイ(例えば、ディスプレイ304)に提供するハードウェア、および/またはソフトフェア要素を含みうる。いくつかの実施では、3Dロジック502は、格納されたメディア・コンテンツ(例えば、3D映画)から右目用画像と左目用画像を取得しうる。
【0048】
他の実施では、3Dロジック502は、異なるサブピクセルに3D物体の右目用画像と左目用画像を生成しうる。このような場合、装置102は、3Dディスプレイ202上の3D物体の投影を取得しうる。図6Aは、左目104−2用の3Dディスプレイ202上の3D物体602の投影例を示す。3D物体602は図6Aにおいて立方体で示されているが、3D物体602は、装置102のメモリ404内の任意の仮想物体(例えば、オブジェクト表現)に対応しうる。
【0049】
3Dディスプレイ202上の3D物体602の投影において、装置102は、3D物体602の表面上の各点に対して、点からの線が左目104−2に達するディスプレイ202上のピクセルを判定し、点から放射されたように見える光線をピクセルが放射するように設定するパラメータを判定しうる。装置102に関して、3Dディスプレイ202の表面内の可視領域におけるピクセル用の一連のそのようなパラメータは、左目画像に対応しうる。
【0050】
左目用画像が判定されると、装置102は、3Dディスプレイ202上に左目用画像を表示しうる。左目用画像を表示するために、装置102は、可視領域の各ピクセルに対して、放射された光が左目104−2に達するサブピクセルを選択しうる。装置102が、各ピクセル内の選択されたサブピクセルに対して判定パラメータを設定する場合には、左目104−2は、左目画像を3Dディスプレイ202の表面上の画像604として知覚できる。選択されたサブピクセルからの光線が右目104−1に達しないために、右目104−1は画像604を知覚できない。
【0051】
図6Bは、右目104−1用の3Dディスプレイ202上の3D物体602の投影例を示す。装置102は、画像604に対する方法と同様に、画像606を生成し、右目104−1に画像606を示しうる。右目104−1と左目104−2の各々が画像606、604を見る場合に、観察者104は立体画像または3D画像を知覚しうる。
【0052】
図5に戻って、観察者トラッキングロジック504は、観察者104、および/または観察者104の一部(例えば、頭部、両目等)をトラッキングし、観察者104の場所/位置を3Dロジック502に提供するハードウェア、および/またはソフトウェアを含みうる。いくつかの実施では、観察者トラッキングロジック504は、センサー(例えば、センサー312)、および/またはセンサー入力(例えば、3つ以上のセンサーからの距離情報、顔や目104−1、104−2の画像等)に基づいて観察者104の頭部または目の位置を判定するロジックを含みうる。
【0053】
3Dアプリケーション506は、3Dディスプレイ202上に3D画像を示しうるハードウェア、および/またはソフトウェアを含みうる。3D画像を示す際に、3Dアプリケーション506は、3Dロジック502、および/または観察者トラッキングロジック504を使用し、3D画像を生成し、および/または3Dディスプレイ202に3D画像を提供しうる。3Dアプリケーションの例は、3Dグラフィックスゲーム、3D映画プレーヤー等を含みうる。
【0054】
<観察者トラッキングに基づく3Dビュー表示の処理例>
図7は、観察者トラッキングに基づいて3D画像を表示する処理例700のフロー図である。処理700はブロック702で開始し、観察者トラッキングロジック504は、観察者104の目を検索しうる。目の検索は、例えば、観察者104または観察者104の目104−1、104−2をトラッキングすることを、伴いうる。
【0055】
装置102の要素は、観察者104の位置で見える右目用画像及び左目用画像を取得しうる(ブロック704)。一実施では、3Dロジック502は、メモリ404内のマルチメディア・コンテンツ(例えば、3D映画)から予め生成した画像を読み出す。装置102が多数の観察者を追跡する場合、3Dロジック502は、ブロック702で判定された位置で追跡された観察者が見ることができる画像のみを選択しうる。他の実施では、3Dロジック502は、例えばメモリ404に格納された仮想3D物体を3Dディスプレイ202に投影させることによって、観察者104の位置に基づき右目用画像と左目用画像を生成しうる。
【0056】
3Dロジック502は、3Dディスプレイ202上の各ピクセルに対して、右目用画像の要素を示しうるサブピクセルを判定しうる(ブロック706)。例えば、3Dディスプレイ202上の一式のピクセルが3D画像を示すものと仮定する。一式の各ピクセルに対して、3Dロジック502は、ピクセル内において、光線が観察者104の右目に達しうるサブピクセルを選択しうる。いくつかの実施で、観察者104からの3Dディスプレイの距離が、3Dディスプレイ202の寸法(dimensions)に比べて大きい場合には、3Dロジックは、光線が同一の方向であるサブピクセル(例えば、各ピクセル内における第2のサブピクセル)を選択しうる。
【0057】
3Dロジック502は、3Dディスプレイ202上の各ピクセルに対して、左目用画像の要素を示すサブピクセルを判定しうる(ブロック708)。
【0058】
3Dロジック502は、各サブピクセルに右目用画像と左目用画像を提供しうる(ブロック710)。画像を提供し又は示す際に関与するメカニズムは、装置102の特定の実施に左右されうる。例えば、一実施では、3Dアプリケーション506が、右目用画像、左目用画像、および観察者104の位置を3Dロジック502に送信するアプリケーション・プログラミング・インターフェース(API)を起動する場合には(例えば、グラフィックス・カード・ドライバとグラフィックス・カードの組み合わせ)、3Dロジック502は、各ピクセルに画像を送信しうる。
【0059】
仮想3D物体を表現する情報が提供される装置102の他の実施では、3Dロジック502は、観察者104の右目と左目のために、3Dディスプレイ202上の3D仮想物体の投影を判定しうる。3Dロジック502は、次に、各サブピクセルに画像を送信する。
【0060】
いくつかの実施では、導光部206を変更し又は調整し、左目用画像を示すサブピクセルからの光線を観察者104の左目に向かわせうる(ブロック712)。加えて、3Dロジック502は、導光部206を調整し、右目用画像を示すサブピクセルからの光線を観察者104の右目に向かわせうる(ブロック714)。
【0061】
ブロック712、714で、処理702は、ブロック702に戻り、観察者104の位置に応じた画像を表示し続けうる。
【0062】
<別の実施>
図8は、図1の装置の別の実施の動作を示す図である。図示するように、装置102は、3Dディスプレイ802を含みうる。更に図示するように、3Dディスプレイ802は、ピクセルと導光部の組を含み、この組は、ピクセル804と導光部806として示されている。この実施では、ピクセル804は、サブピクセル808−1、808−2を含みうる。
【0063】
図8で、サブピクセル808−1、808−2は、光線810−1、810−2を放射し、観察者104に立体画像または3D画像を提供しうる。観察者104が位置Lから位置Mに移動する場合には、観察者トラッキングに基づいて、装置102は、位置Mの観察者104用の新しい3D画像を取得し、または生成しうる。そして、装置102は、導光部806に、サブピクセル808−1、808−2からの光線810−3、810−4を観察者104に向かわせる。加えて、装置104は、導光部806を制御して、光線810−3、810−4を位置Mの観察者104の右目104−1と左目104−2に達するように導きうる。その結果、観察者104は、位置Mに係る新しい3D画像を知覚しうる。つまり、観察者104は、新しい位置Mで3D画像を見うる。
【0064】
上記の実施では、サブピクセルの数は2として説明されている。しかし、ディスプレイ802が設計されて、同時に追跡し、かつサポートする観察者の人数に応じて、ディスプレイ802は、追加のサブピクセルの組を含みうる。このような実施では、追加のサブピクセルを伴い、装置102は、様々な位置の観察者用の追加の画像を取得し、または生成しうる。
【0065】
いくつかの実施では、装置102が3D画像の表示に関してサポート可能な観察者の数は、各ピクセルにおけるサブピクセルの数/2よりも大きくてもよい。例えば、図8の装置102は、追跡し、「2つのピクセル/2=1」よりも多い2人の観察者に画像を提供しうる。このような例では、装置102は、各観察者が、連続して一貫した(coherent)3D画像を知覚するように、ディスプレイ802上の立体画像を入れ替えうる。導光部806は、立体画像の一つからの光線を適切な時間に対応する観察者に向かわせるために、装置102が立体画像を切替える速度(rate)に同期しうる。
【0066】
<例>
以下の例は、図9を参照して、上述した処理700を説明する。例において、ジュディ902は、3Dディスプレイ906を備えたノートパソコン904と共に、ホームオフィスにいる。ジュディ902は、オンラインの靴店でショッピングをし、異なる種類の靴を見ている。ジュディ902が、彼女が好きな特定ブランドの靴908を見ているときに、ノートパソコンにインストールされたブラウザを介して靴908の3D画像を要求している。ジュディ902は、靴908の3Dモデルをダウンロードする。
【0067】
ノートパソコン904は、ジュディの頭部をトラッキングすることによってジュディの目を判定し、右目用画像と左目用画像を取得するために靴908の2D投影を取得し、右目用画像及び左目用画像を異なる1組のサブピクセルを介してジュディの右目及び左目に提供する。その結果、ジュディ902は、靴908の3D画像を見る。
【0068】
ジュディ902が頭部を動かし、または位置を変更したときに、ノートパソコン904の観察者トラッキングロジック504がジュディの頭部を追跡し、3Dアプリケーション506が連続して彼女の右目及び左目用の新しい3D画像を生成する。従って、ジュディ902は、ジュディの動きに応じた異なる角度から靴908を見て、評価することができる。
【0069】
上述した例で、装置は観察者を追跡し、特定時間の観察者の位置に基づいた3D画像を生成しうる。観察者の位置に基づいて3D画像を生成し/判定することにより、装置は、予め計算し、かつ多数の異なる観察位置用の画像を提供する場合に比べて、より少ない計算サイクル、電力、メモリ量を必要/使用しうる。
【0070】
<結論>
前述の実施形態の説明は、説明を提供するものであるが、排他的であることを意図したものでもなければ、開示した厳密な形態に実施を限定することを意図したものではない。
修正および変形については、上述の開示に照らせば可能であり、また開示の実施から得られる場合もある。
【0071】
上記では、図7に示した処理例700について一連のブロックを説明したが、他の実施では処理700のブロックの順序を変更することも可能である。また、独立したブロックは、他のブロックと並行して行うことができる動作を表したものとすることも可能である。
【0072】
ここで説明した態様が、図示した実施において多種多様なソフトウェア、ファームウェア、ハードウェアで実施可能であることは明らかであろう。態様を実施するために用いる実際のソフトウェアコードや特定制御ハードウェアは、本発明を限定するものではない。したがって、ここでの説明に基づいてソフトウェアおよび制御ハードウェアを設計して態様を実施可能であるという理解のもと、態様の動作および挙動については、特定のソフトウェアコードを参照することなく説明した。
【0073】
「comprises/comprising」という用語を本明細書で用いた場合、言明した特徴、整数、ステップ、または構成要素の存在を特定するものであるが、1または2以上の他の特徴、整数、ステップ、構成要素、またはその組合せの存在または追加を排除するものではないと解されることを強調したい。
【0074】
また、実施のある部分は、1または2以上の機能を行う「ロジック(logic)」として説明した。このようなロジックとしては、プロセッサ、マイクロプロセッサ、特定用途向け集積回路、または電界プログラム可能ゲートアレイ等のハードウェア、ソフトウェア、ハードウェアとソフトウェアとの組合せなどが挙げられる。
【0075】
特徴の特定の組合せについて、特許請求の範囲および/または明細書における開示を行うが、かかる組合せで発明を限定する意図はない。実際、かかる特徴の多くは、具体的に特許請求の範囲および/または明細書の開示にはないやり方で組み合わせることも可能である。
【0076】
本出願で用いたいかなる要素、動作、命令も、明示していない限りは、ここで説明する実施に対して決定的または本質的であると考えるべきではない。また、ここで用いた「a」という冠詞は、1または2以上のアイテムを含むという意図がある。1つのアイテムを意図する場合は、「one」という言葉や同様の言語を用いる。さらに、「based on(に基づく)」という表現は「based, at least in part, on(少なくとも部分的に基づく)」という意味を意図しており、そうではない場合は明示してある。


【特許請求の範囲】
【請求項1】
1以上の観察者をトラッキングし、
前記1以上の観察者の各々に対して、トラッキングに基づき前記観察者の位置を判定し、
前記1以上の観察者の各々に対して、右目用画像と左目用画像で構成され前記位置で前記観察者から見える立体画像を判定し、
前記観察者に関連する前記立体画像を前記1以上の観察者の各々に前記ディスプレイを介して提供するために前記ディスプレイの表示設定を制御することを含む、方法。
【請求項2】
前記観察者に関連する前記立体画像を前記1以上の観察者の各々に前記ディスプレイを介して提供することを更に含む、請求項1記載の方法。
【請求項3】
トラッキングすることは、前記1以上の観察者の各々の頭部をトラッキングし、前記頭部の右目の位置を判定することを含む、請求項1記載の方法。
【請求項4】
1以上の観察者をトラッキングすることは、2人の観察者をトラッキングすることを含む、請求項3記載の方法。
【請求項5】
立体画像を判定することは、
装置のメモリに記憶された、前記装置の表面上への仮想三次元物体の投影を判定して、前記右目用画像を取得し、または、
記憶された三次元のマルチメディア・コンテンツから前記右目用画像を取得することを含む、請求項1記載の方法。
【請求項6】
表示設定を制御することは、導光部を調整して、前記ディスプレイの表面上の前記右目用画像の画素から前記左目ではなく前記右目へ向けて光線を向かわせることを含む、請求項1記載の方法。
【請求項7】
前記ディスプレイ上に、前記右目に見えるサブピクセルの第1群を介した前記右目用画像を、前記左目に見えるサブピクセルの第2群を介した前記左目用画像を表示させることを更に含む、請求項1記載の方法。
【請求項8】
前記ディスプレイ上にサブピクセルで前記右目用画像を表示し、
前記サブピクセルからの光線を前記右目へ向かわせ、
前記ディスプレイ上に前記サブピクセルで前記左目用画像を表示し、
前記サブピクセルからの光線を前記左目へ向かわせることを含む、請求項1記載の方法。
【請求項9】
前記ディスプレイ上にサブピクセルで複数の立体画像のうちの一つを表示し、
前記サブピクセルからの光線を他の観察者ではなく第1の観察者へ向かわせ、
前記ディスプレイ上に前記サブピクセルで前記複数の立体画像のうちの他の一つを表示し、
前記サブピクセルからの光線を他の観察者ではなく第2の観察者へ向かわせることを含む、請求項1記載の方法。
【請求項10】
観察者をトラッキングするためのセンサーと、
複数のピクセル及び導光部を含み、各導光部は、ピクセル内の第1のサブピクセルからの光線と前記ピクセル内の第2のサブピクセルからの光線を、それぞれ前記観察者の右目と左目へ向かわせるように構成されているディスプレイと、
前記センサーの出力に基づいて前記観察者の位置を取得し、右目用画像と左目用画像で構成され前記位置で見られる立体画像を判定し、サブピクセルの第1群を介して前記右目によって見える前記右目用画像と、サブピクセルの第2群を介して前記左目によって見える前記左目用画像とを表示する処理部、
を含む、装置。
【請求項11】
前記処理部は、更に、前記ディスプレイを駆動して、前記立体画像が前記ディスプレイに表示される場合に前記立体画像を前記観察者に提供するように構成されている、請求項10記載の装置。
【請求項12】
前記装置は、ラップトップ型コンピュータ、携帯電話、パーソナル・コンピュータ、パーソナル・デジタル・アシスタント、またはゲーム機の少なくとも一つを含む、請求項10記載の装置。
【請求項13】
前記センサーは、超音波センサー、赤外線センサー、カメラセンサー、熱センサーの少なくとも一つを含む、請求項10記載の装置。
【請求項14】
前記導光部は、レンチキュラーレンズ、または視差バリアを含む、請求項10記載の装置。
【請求項15】
前記視差バリアは、前記第1のサブピクセルからの光線の向きを前記観察者の位置に基づいて変更するように構成されている、請求項14記載の装置。
【請求項16】
前記右目用画像は、三次元のマルチメディア・コンテンツから得られた画像、または前記ディスプレイ上の三次元の仮想物体の投影を含む、請求項10記載の装置。
【請求項17】
前記導光部は、更に、新しい画素が前記第1のサブピクセルによって表示される場合に、前記第1のサブピクセルからの光線を前記観察者の左目に変更するように構成されている、請求項10記載の装置。
【請求項18】
前記導光部は、新しい画素が前記第2のサブピクセルによって表示される場合に、前記第2のサブピクセルからの光線を他の観察者の左目に変更するように更に構成されている、請求項10記載の装置。
【請求項19】
前記センサーは、前記観察者の左目と右目を検索するための機構を含む、請求項10記載の装置。
【請求項20】
観察者の頭部をトラッキングする手段と、
三次元画像を表示する手段と、
前記頭部をトラッキングする手段の出力に基づいて前記観察者の位置を取得する手段と、
前記位置で見られる三次元画像を取得する手段と、
前記三次元画像を表示する手段、
を含む、装置。


【図1】
image rotate

【図2】
image rotate

【図3A−3B】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6A】
image rotate

【図6B】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate


【公表番号】特表2011−526090(P2011−526090A)
【公表日】平成23年9月29日(2011.9.29)
【国際特許分類】
【出願番号】特願2011−506787(P2011−506787)
【出願日】平成20年11月6日(2008.11.6)
【国際出願番号】PCT/IB2008/054649
【国際公開番号】WO2009/136235
【国際公開日】平成21年11月12日(2009.11.12)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.イーサネット
2.ウィンドウズ
【出願人】(502087507)ソニー エリクソン モバイル コミュニケーションズ, エービー (823)
【Fターム(参考)】