空間相関したマルチディスプレイヒューマンマシンインターフェース
【課題】同一または類似の仮想位置から見た異なる視界の画像を２つのディスプレイ間の空間相関を提供し空間への没入性を高めるインターフェースを提供する。
【解決手段】複数の窓または覗き窓は、ハンドヘルドまたは他のディスプレイ装置を用いて提供される。可動窓の多次元空間特性の向きが決定され画像を生成するために用いられる。可動窓は仮想空間への一人称の観点からの覗き窓を提示することができる。この覗き窓からのビューは、多次元空間内での静止窓に対する可動窓の空間特性の向きに基づいて変化する。ディスプレイは、仮想空間の画像を提示することができ、追加の可動型ディスプレイは同一の仮想空間の追加の画像を提示することができる。
【解決手段】複数の窓または覗き窓は、ハンドヘルドまたは他のディスプレイ装置を用いて提供される。可動窓の多次元空間特性の向きが決定され画像を生成するために用いられる。可動窓は仮想空間への一人称の観点からの覗き窓を提示することができる。この覗き窓からのビューは、多次元空間内での静止窓に対する可動窓の空間特性の向きに基づいて変化する。ディスプレイは、仮想空間の画像を提示することができ、追加の可動型ディスプレイは同一の仮想空間の追加の画像を提示することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願の優先権主張の基礎となる出願は、２０１１年２月２日出願の米国特許出願１３／０１９９２４および２０１１年２月２日出願の米国特許出願１３／０１９９２８の一部継続出願である。上記米国特許出願は共に米国特許法第１１９条により、以下の日本国特許出願に基づく優先権を主張している：特願２０１０−０２２０２２および２０１０−０２２０２３（２０１０年２月３日出願）、特願２０１０−１７７８９３（２０１０年８月６日出願）、特願２０１０−１８５３１５（２０１０年８月２０日出願）、特願２０１０−１９２２２０および２０１０−１９２２２１（２０１０年８月３０日出願）、ならびに特願２０１０−２４５２９８および２０１０−２４５２９９（２０１０年１１月１日出願）。上記米国特許出願および日本国特許出願のすべてを参考のためここに援用する。
【０００２】
（分野）
本技術は、ヒューマンマシンインターフェースに関し、特に複数の表示面を有する双方向グラフィカルコンピュータインターフェースに関する。本技術はさらに、複数の空間相関したディスプレイ（例えばハンドヘルドなど）を提供することにより仮想空間を介したユーザの体験を高める、没入型で直覚的な双方向マルチディスプレイヒューマンマシンインターフェースに関する。
【０００３】
（背景技術および概要）
われわれ人間は３次元空間に存在しており、われわれを取り巻く３Ｄ世界内のどこにいるかを知っている。あなたの左、右、上、下を見られたい。今、あなたは室内の３Ｄ環境内におけるご自分の位置を判定した。
【０００４】
コンピュータグラフィクスが双方向になって以来、人々は、現実世界を見回すことによって得られるものと同種の没入型空間体験を提供するヒューマンマシンインターフェースを創り出そうとしてきた。一例として、ユーザが周りを見回していわゆるＣＡＶＥ仮想環境と対話できるようにする慣性感知型のヘッドマウントディスプレイを提供するシステムが公知である。例えば、『Ｂｕｘｔｏｎ等、ＨＭＤ’ｓ， Ｃａｖｅｓ ＆ Ｃｈａｍｅｌｅｏｎ： Ａ Ｈｕｍａｎ−Ｃｅｎｔｒｉｃ Ａｎａｌｙｓｉｓ ｏｆ Ｉｎｔｅｒａｃｔｉｏｎ ｉｎ Ｖｉｒｔｕａｌ Ｓｐａｃｅ， Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：Ｔｈｅ ＳＩＧＧＲＡＰＨ Ｑｕａｒｔｅｒｌｙ，（「ＨＭＤ、洞窟とカメレオン：仮想空間の双方向性に対する人間中心の分析」、コンピュータグラフィックス：ＳＩＧＧＲＡＰＨクウォータリー）３２（４）、６４〜６８頁（１９９８）』を参照のこと。しかし、ヘッドマウントディスプレイのなかには、ユーザの視野を制限し得るか、または人が現実世界と対話する能力を損ない得るタイプがある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
今日多くの家庭に普及しているフラットスクリーンテレビおよび他の同種のディスプレイを用いて仮想世界を表示することができる。これらは、高解像度または高精細度を有する適度に没入型の環境を低価格で提供し、ほとんどの消費者は既にこのようなディスプレイを所有している。これらのディスプレイのなかには「３Ｄ」（例えば特別な眼鏡を使用することによる）で、画像に奥行き感を与えるものさえある。テレビまたは他の同種のディスプレイを見ている、またはこれと対話している人は典型的には、少なくとも概してディスプレイの方を向いており、ディスプレイが提示する仮想環境を見てそれと対話し得る。室内にいる他の人々もディスプレイを見ることができ、それと対話し得る。これらのディスプレイは没入型コンテンツを表示するには優れているが、ステレオやシアターサウンドとは異なり、概してユーザを取り巻いたり取り囲んだりすることはない。取り巻きプロジェクション型または他のディスプレイも公知である（例えば、『Ｂｌａｎｋｅ等、「Ａｃｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｉｎ ａ Ｍｕｌｔｉｄｉｓｐｌａｙ Ｉｍｍｅｒｓｉｖｅ Ｅｎｖｉｒｏｎｍｅｎｔ」、Ｅｉｇｈｔｈ Ｅｕｒｏｇｒａｐｈｉｃｓ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ（「マルチディスプレイ没入型環境におけるアクティブ視覚化」第８回バーチャル環境に関するユーログラフィックスワークショップ）（２００２）』参照）が、家庭用には高価すぎるかもしれない。さらなる革新が可能である。
【課題を解決するための手段】
【０００６】
本明細書に記載の技術の、限定しない（非限定的）いくつかの実施形態は、仮想空間への可動（例えば把持可能）窓または覗き窓（ｐｏｒｔｈｏｌｅ）の表示面を提供する。別のディスプレイ（例えば静止型ディスプレイ）に対する可動型ディスプレイ面の多次元空間特性である向きを決定し、これを用いて、複数のディスプレイの少なくともいくつかの空間特性の向きが相関されている間に画像を生成する。非限定的な一実施形態では、可動型ディスプレイは、仮想空間への一人称視点での「覗き窓」を提示することができる。この覗き窓からのビューは、多次元空間内において、ユーザに位置関係の空間的基準を提供する静止型ディスプレイに対する可動型ディスプレイの空間特性の向きに基づいて変化する。
【０００７】
非限定的な一局面では、ヒューマンマシンインターフェースは、複数の可視提示面を含み、これらのうち少なくともいくつかは可動である。例えば、あるディスプレイは仮想空間の画像を提示し、別の可動型ディスプレイは、同一の仮想空間の画像であるが、上記画像とは異なる可能性のある視点、視界、視野、縮尺、画像の向き、オーグメンテーション、および／または、他の画像特性または向きから見た追加の画像を提示するようにできる。
【０００８】
非限定的な可動型ディスプレイは、他のディスプレイに対するそれ自体の姿勢に応じて、仮想空間の追加の画像および／または他のユーザインターフェース情報（例えば、該他のディスプレイが提示する画像に関連する、またはその画像に対して補足的なテキスト、画像または動画）を選択的に表示することができる。
【０００９】
いくつかの実施形態では、可動型ディスプレイはある環境ではポインティングデバイスとして作用可能である。可動型ディスプレイが他のディスプレイの方を向いている／指し示しているときには、可動型ディスプレイの姿勢は該他のディスプレイ上のポインティング記号の位置を制御する、またはそれに影響を与えることができる。他のディスプレイとは異なる方を向いている／指し示しているときには、可動型ディスプレイは、該別のディスプレイ上に表示された仮想空間の更なる画像であって、可動型ディスプレイの姿勢に依存する異なる視線方向から見た画像を表示することができる。
【００１０】
技術を用いて、物理世界にあるディスプレイのうち少なくとも１つの空間特性の向きを決定することができ、決定された空間特性の向きを用いて、適切な視点、視界、および／または、視線方向から見た画像、および／または、他の特性を有する画像をディスプレイ上に提示することができる。非限定的な一実施形態では、静止型または他のディスプレイに対する可動型ディスプレイの上記決定された空間特性を用いて、上記複数のディスプレイが提示する画像間の相対的空間特性を提供することができる。
【００１１】
非限定的な一実施形態では、没入型空間ヒューマンマシンインターフェースであって、自由空間内で可動な少なくとも１つのハンドヘルドディスプレイと、可動型ハンドヘルドディスプレイの姿勢の少なくともいくつかの方位を決定するように構成された装置と、少なくとも１つの追加ディスプレイと、ハンドヘルドディスプレイと追加ディスプレイとに対して作用可能に接続された少なくとも１つのグラフィカル画像生成部であって、ハンドヘルドディスプレイと追加ディスプレイとの各々に表示させる仮想空間の画像を生成する少なくとも１つのグラフィカル画像生成部とを含み、少なくとも１つのグラフィカル画像生成部は、ハンドヘルドディスプレイおよび追加ディスプレイに表示させる、同一または類似の仮想位置、視点、地域、有利な地点、地域、近傍、領域などから見た異なる視界（ビュー）の画像を、決定された姿勢の方位に少なくとも部分的に応じて生成して２つのディスプレイ間の空間相関を提供し、それによって前記ヒューマンマシンインターフェースにおける空間への没入性を高める、インターフェースが提供される。
【００１２】
このような非限定的実施例のインターフェースではさらに、２つの画像が実際上類似であれば、ハンドヘルドディスプレイによって提示された画像に代えて別の画像および／または関連情報が表示されてもよい。本明細書において「実際上類似」と表現する場合、２つのディスプレイを見ているユーザから見て類似、同一、またはほぼ同一であることを含み得る、または意味し得る。
【００１３】
いくつかの実施形態では、追加ディスプレイは、相対的に大型の静止型ディスプレイを含み、少なくとも１つのグラフィカル画像生成部は、決定された姿勢の向きに基づいて静止型ディスプレイ用に生成した画像に関して、境界部、周囲または周縁の場合に周りを見回す視界をシフトする可能性はあるがそれ以外は、レンダリングの視界（視点）を実際上変更しない。
【図面の簡単な説明】
【００１４】
これらおよび他の特徴および利点は、非限定的実施形態の以下の詳細な説明を図面を参照しながら読むことにより、より完全に理解される。
【図１】可動型ディスプレイ装置と静止型ディスプレイ装置とを含むシステムの非限定的実施例を示す図である。
【図１Ａ】６自由度でオブジェクト（この場合は飛行機）を動かす例を示す図である。
【図２Ａ】実施例の可動型ディスプレイ装置が垂直方向に並行移動するときに可動型ディスプレイ上に提示される画像の例を示す図である。
【図２Ｂ】実施例の可動型ディスプレイ装置が垂直方向に並行移動するときに可動型ディスプレイ上に提示される画像の例を示す図である。
【図３Ａ】可動型ディスプレイ装置が垂直方向に並行移動するときに可動型ディスプレイ装置および静止型ディスプレイ装置上に提示される画像の例を示す図である。
【図３Ｂ】可動型ディスプレイ装置が垂直方向に並行移動するときに可動型ディスプレイ装置および静止型ディスプレイ装置上に提示される画像の例を示す図である。
【図４Ａ】可動型ディスプレイ装置がロール軸回りに回転するときに可動型ディスプレイ装置上に提示される画像の例を示す図である。
【図４Ｂ】可動型ディスプレイ装置がロール軸回りに回転するときに可動型ディスプレイ装置上に提示される画像の例を示す図である。
【図５Ａ】可動型ディスプレイ装置がロール軸回りに回転するときに可動型ディスプレイ装置および静止型ディスプレイ装置上に提示される画像の例を示す図である。
【図５Ｂ】可動型ディスプレイ装置がロール軸回りに回転するときに可動型ディスプレイ装置および静止型ディスプレイ装置上に提示される画像の例を示す図である。
【図６】可動型ディスプレイ装置がロール軸に直交するヨー軸回りに回転するときに可動型ディスプレイ装置および静止型ディスプレイ装置上に提示される画像の例を示す図である。
【図６Ａ】静止型ディスプレイ装置に対する可動型ディスプレイ装置の姿勢の様々な例であって、範囲内、範囲外および遷移領域の相対的姿勢を含む姿勢の様々な例を示す図である。
【図６Ｂ】範囲内の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｃ】範囲内の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｄ】範囲内の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｅ】範囲外の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｆ】範囲外の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｇ】範囲外の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｈ】範囲外の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｉ】遷移領域の場合のアプリケーションおよび使用法の非限定的実施例を示す図。
【図６Ｊ】遷移領域の場合のアプリケーションおよび使用法の非限定的実施例を示す図。
【図７】可動型ディスプレイ装置のアプリケーションの非限定的実施例を示す図である。
【図８Ａ】人が両手で可動型ディスプレイ装置を保持する様子を示す図である。
【図８Ｂ】人が一方の手で可動型ディスプレイ装置を保持し、他方の手の人差し指をタッチスクリーンに向ける様子を示す図である。
【図８Ｃ】可動型ディスプレイ装置が面上にある状態を示す図である。
【図８Ｄ】複数の可動型ディスプレイ装置を共通の静止型ディスプレイと共に用いる様子を示す図である。
【図８Ｅ】可動型ディスプレイ装置を面上に載置または保持し、スタイラスをタッチスクリーン上に表示された画像に向けて、この画像を操作する様子を示す図である。
【図９Ａ】可動型ディスプレイ装置を一例としてのガンタイプの付属デバイスに取り付けた例を示す図である。
【図９Ｂ】可動型ディスプレイ装置を一例としてのガンタイプの付属デバイスに取り付けた例を示す図である。
【図１０Ａ】可動型ディスプレイ装置の非限定的実施例をさらに詳細に示す図である。
【図１０Ｂ】可動型ディスプレイ装置の非限定的実施例をさらに詳細に示す図である。
【図１０Ｃ】可動型ディスプレイ装置の非限定的実施例をさらに詳細に示す図である。
【図１０Ｄ】可動型ディスプレイ装置の非限定的実施例をさらに詳細に示す図である。
【図１１】可動型ディスプレイ装置の非限定的実施例を示すブロック図である。
【図１２】処理の非限定的実施例を示すフローチャートである。
【図１２Ａ】静止型ディスプレイの視体積および変換ならびに可動型ディスプレイの現在の姿勢に応じた可動型ディスプレイの視体積および変換の非限定的実施例を示す図である。
【図１２Ｂ】処理の更なる非限定的実施例を示すフローチャートである。
【図１３Ａ】ユーザが体験する仮想駆動シミュレーションの非限定的実施例を示す図である。
【図１３Ｂ】ユーザが体験する仮想駆動シミュレーションの非限定的実施例を示す図である。
【図１４Ａ】ユーザが体験する仮想一人称視点の非限定的例を示す図である。
【図１４Ｂ】ユーザが体験する仮想一人称視点の非限定的例を示す図である。
【発明を実施するための形態】
【００１５】
図１は、空間没入型双方向マルチディスプレイヒューマンマシンインターフェースを提供するシステムＳの非限定的実施例を示す。非限定的実施例におけるシステムＳは、２つのディスプレイ装置ＳＤ、ＭＤを含む。一方は可動（例えば把持可能）型であり、他方は静止型である。実施形態における可動型ディスプレイＭＤは、使用中に自由空間内で物理的に動かすことが可能であり、静止型ディスプレイＳＤは、使用中に空間内で物理的に相対的に静止している。無論、家庭用テレビなどの静止型ディスプレイＳＤはある場所から別の場所に移動させることはできるが、使用中は概して動かされない（あるいはあまり動かされない）。静止型ディスプレイＳＤの相対的に固定された位置によって、物理的に静止しているディスプレイＳＤと可動型ディスプレイＭＤとの物理的な相関関係が提供される。したがって用語「静止型」は必ずしも絶対的に動かないことを意味するわけではなく、使用中に概して動かされない（あるいはあまり動かされない）ディスプレイを含み得る。別の非限定的実施形態では、静止型ディスプレイＳＤも可動であるか、または部分的に可動であり得る。
【００１６】
１以上のグラフィックスソースＧは、コンピュータで生成された画像または他の画像を表示するようにディスプレイ装置ＳＤ、ＭＤを制御するか、または該表示を可能にする。図示する非限定的実施例では、ディスプレイ装置ＳＤ、ＭＤは空間的な相関関係を有し、共通の仮想世界の様子であって、例えば異なる視点または視界からの様子をそれぞれ表示する。
【００１７】
ディスプレイ装置ＳＤが静止型である場合、３Ｄ空間内でのその位置および姿勢は想定することができ、測定する必要はない。センサＴは、例えばＭＡＲＧ（「磁気・角速度・重力」）技術を用いて、可動型ディスプレイ装置ＭＤの、変化し得る空間特性である姿勢または他の向きを測定する。
【００１８】
グラフィックスソースＧは、センサＴからの情報に応じて、ディスプレイ装置ＳＤ、ＭＤの一方または両方に表示された画像を制御するように構成されている。例えばグラフィックスソースＧは、センサＴから情報を受け取り、受け取ったセンサ情報に基づいて上記表示された画像を制御する処理回路を含んでもよいし、上記処理回路と通信してもよい。
【００１９】
非限定的本実施形態では、可動型ディスプレイ装置ＭＤが表示した画像の視界、視点および／または視線方向は、可動型ディスプレイ装置の空間特性に応じて変化する。いくつかの例では、これらの画像の視界、視線方向および／または視点は、２つのディスプレイ装置ＳＤ、ＭＤの見かけ上または実際の相対的な空間特性によって少なくとも部分的に決定され、２つのディスプレイの提示画像を継続的に空間相関する。したがって非限定的な一実施形態において、可動型ディスプレイＭＤ上に提示された一連の画像は、静止型ディスプレイＳＤ上に提示された一連の画像と空間的および時間的に相関している。
【００２０】
ある特定の実施形態では、物理的ディスプレイ装置ＳＤはそれが位置する室内で物理的に静止している。ディスプレイ装置ＳＤは例えば、３Ｄ仮想世界（この例では素晴らしい山を含む風景）の画像を提示するために用いられる相対的に大きな固定型ディスプレイ（例えば壁掛け型またはテーブル置き型のテレビまたは他のディスプレイ）であり得る。ディスプレイ装置ＳＤが表示する画像は静止画であってもよいし、動画であってもよい。例えばこれらの画像は、例えばユーザ入力または他の要因に応答して、視点を含む様々な方法で動的に変化する動画および／または動画化（例えば実写）画像であり得る。
【００２１】
図示する非限定的実施形態では、ディスプレイ装置ＭＤは自由空間内で可動である。可動型ディスプレイ装置ＭＤは、移動しながら、静止型ディスプレイＳＤ上に表示されるものと同一の仮想世界の動画を表示することができる。しかし、可動型ディスプレイ装置が表示する仮想世界の画像は、可動型ディスプレイ装置ＭＤの空間特性の向きに基づいて変換される。例えば可動型ディスプレイＭＤの姿勢を用いて、異なる視点、視界、視線方向、視野、画像の向き、オーグメンテーション、縮尺および／または他の画像特性による仮想世界を可動型ディスプレイに表示することができる。
【００２２】
人は、自由空間内の任意の位置に可動型ディスプレイ装置ＭＤを移動させることができる。自由空間内の任意の位置にオブジェクトを移動させることは「６自由度（６ＤＯＦ）」で移動させると表現されることがある。なぜならオブジェクトが移動できる基本的方法は概して６つあるからである（例として飛行機を示す図１Ａを参照のこと）。
１）上下、
２）左右、
３）前後、
４）ピッチ回転（先端を上下させる）、
５）ヨー回転（水平飛行中のコンパス方位または向き）、および
６）ロール回転（一方または他方の翼を上げる）
【００２３】
例えば人は、互いに直交する３軸、すなわち上下（垂直または「ｙ」）、左右（水平または「ｘ」）および前後（奥行きまたは「ｚ」）のいずれに沿ってもディスプレイ装置ＭＤを動かす（「並行移動」させる）ことができる。人は、互いに直交する３回転軸（ピッチ、ヨー、ロール）のうちいずれの回りにもディスプレイ装置ＭＤを回転させることができる。人は、任意のオブジェクトと同様、これら「６自由度」のうち任意の組み合わせで同時にディスプレイ装置ＭＤを動かし、３次元空間内で任意の方向および任意の姿勢にディスプレイ装置ＭＤを動かすことができる。例えば人は、ディスプレイ装置ＭＤを下方または他の任意の方向に並行移動させると同時にロール（および／または他の任意の）回転軸回りに回転させることができる。これは例えば飛行機がローリングすると同時に下降するようなものである。
【００２４】
非限定的実施形態では、システムＳは、可動型ディスプレイＭＤの空間特性の向き、例えば姿勢の向きを検出するセンサＴを有する。これらのセンサＴは加速度計、ジャイロセンサ、磁気計、超音波トランスデューサ、カメラなどのうち１以上を含んでもよい。これらのセンサによって、可動型ディスプレイ装置ＭＤは、ディスプレイ装置の空間特性の現在の向きに応じた、異なる視点、視界、視線方向、または、他の特性にそれぞれ対応する、仮想世界（例えば、山）の異なる部分を表示することが可能となる。
【００２５】
非限定的実施例では、人は可動型ディスプレイ装置ＭＤを動かして、山の異なる部分を調べることができる新しい姿勢を取らせることが可能である。例えば山の麓を見るために、ディスプレイ装置ＭＤを下方に動かす、または回転させることができる。１以上のセンサＴがこの下方への動き、例えば並行移動および／または回転を検出し、グラフィックスソースＧが下方への動きが検出されたことに応答して、可動型ディスプレイ装置ＭＤに山の麓を表示させる。グラフィックスソースＧは同時に、静止型ディスプレイ装置には山の同じビューを表示し続けてもよい。これによりグラフィックスソースＧは、ディスプレイ装置ＭＤが山の麓を示していることを理解するための基準またはコンテキスト（位置関係を表すもの）として、および山の別の部分を見るために更にディスプレイ装置ＭＤを動かす、または回転させるための基準またはコンテキストとして、人が直覚的に用いることができるビューを効果的に提供する。例えば人は、山の頂上を見るために、ディスプレイ装置を上方に動かす、または回転させることができる。
【００２６】
いくつかの非限定的実施例では、人はディスプレイ装置ＭＤを動かして、３Ｄ仮想世界のうち静止型ディスプレイＳＤでは現在見ることができない部分を調べることができる。例えば、ディスプレイ装置ＭＤを左右、上下、または静止型ディスプレイ装置ＳＤから離れる方向に回転させて（例えば、可動型ディスプレイ装置ＭＤから延びる線であって可動型ディスプレイ装置の平面に対して垂直な方向の線が静止型ディスプレイＳＤに交差しないような方向に）、仮想世界のうち静止型ディスプレイＳＤでは現在見ることができない部分（例えば、他の山、山の中の湖、谷、街、同じ山の別の側など）が見えるようにすることができる。
【００２７】
このように一実施例では静止型ディスプレイＳＤは、３Ｄ仮想空間内でユーザを方向づける空間的基準として作用する。静止型ディスプレイＳＤは、可動型ディスプレイ装置ＭＤを用いるユーザに、知覚的コンテキストまたはアンカーを提供する。人は静止型ディスプレイＳＤと可動型ディスプレイＭＤとを同時に見ることができるため、人の脳は両方の画像を考慮に入れる。２つの画像の少なくともいくつかの向きが空間的に相関すると、人の脳は２つの表示画像を補間または解釈して、同一の仮想世界への２つの窓または他のビューとすることができる。このように可動型ディスプレイＭＤは、静止型ディスプレイＳＤに表示された画像のみからは得られない３Ｄ空間効果を提供する。
【００２８】
静止型ディスプレイＳＤに表示された画像は静止画であっても動画であってもよい。例えば、ジョイスティックを用いてバーチャルリアリティのデータベース内または空間内でキャラクタを動かすことが可能である。例えば、アナログスティックを用いて一人称プレイヤの方向を変更し、ゲーム中ずっと一人称キャラクタの歩行を制御することができる。一例はバーチャルリアリティのウォークスルーであり得る。この場合、静止型ディスプレイ（例えばテレビ）がキャラクタのビューまたは位置を動画シーンとして表示する。可動型ディスプレイＭＤの制御を操作（または可動型ディスプレイのハウジングの姿勢を変更）することにより、例えばシステムＳが静止型ディスプレイＳＤ上に一連の画像を生成し得る。これらの画像は次々に入れ替わって、仮想キャラクタが仮想シーンを進む様子を示す。いくつかの非限定的実施形態では、静止型ディスプレイＳＤに表示された変化する画像は、このように動画化されて、仮想キャラクタが３Ｄ仮想空間内を移動する間に様々な異なるオブジェクト、敵、味方および他の仮想物体を示し得る。図１４Ａを参照されたい。いくつかの実施形態では、ユーザは３Ｄ空間内で変化するビューを規定するために用いる仮想カメラの視点および視線方向を制御することができる。一旦仮想キャラクタが止まって可動型ディスプレイＭＤの姿勢が変更される（図１４Ｂ参照）と、ユーザは可動型ディスプレイＭＤ上のバーチャルリアリティのデータベースの追加のビューを見るというオプションを有し得る。例えばユーザは、可動型ディスプレイＭＤの姿勢を変更することによって仮想空間内で「周りを見回す」こと、または「首を伸ばす（ことによって向こうのものを見る）」ことができ、それによって仮想空間のうち静止型ディスプレイに現在表示されていないビューを表示することができる。人が可動型ディスプレイＭＤを用いて首を伸ばす、または周りを見回すことができると同時に、仮想キャラクタが双方向的に動く（歩く、または走る）ことが可能である。このように周りを見回すことは、おそらく仮想環境内で仮想キャラクタが一旦動きを停止した場合に最も自然に起こるが、歩くことまたは他の動きをすることと、首を伸ばすこととを同時にすることも可能である。
【００２９】
このようにシステムＳは高度の双方向性を提供する。人は、３Ｄ空間内の任意の位置に移動可能な追加の空間相関した視野面と対話することにより、仮想環境に没入する。自分が仮想環境内にいるかのように感じる。可動型ディスプレイＭＤを回転および／または並行移動させることにより（または可動型ディスプレイ装置を保持しながら自分自身が回転および／または並行移動することにより）、仮想環境内で周りを見回したり、仮想環境の新しい面を探索および発見することができる。さらには、興味または好奇心を持って周りを見回したり調べたりすることによって、仮想環境内で首を伸ばしたり熱心に周りを見回したりすることも可能である。さらに可動型ディスプレイＭＤ上の追加のユーザ入力装置を介して仮想環境と対話することもできる。例えば非限定的な一実施形態では、可動型ディスプレイＭＤは、人が仮想環境の一部を直接操作（例えばタッチ）できるようにするタッチセンサＴＳを提供する。図８Ｂを参照されたい。一方、静止型ディスプレイＳＤはずっと人の視界内にある。そのため人が仮想環境のハンドヘルド型空間相関パッチを動かし更にこれと対話しているときに、静止型ディスプレイＳＤは人に基準、または、位置を確認するためのアンカーを提供し続ける。
【００３０】
例えば人が仮想空間内を仮想的に歩いているとする。人は仮想世界で仮想的に歩くことができ（例えばジョイスイティックまたは可動型ディスプレイＭＤ上のスライダー型のコントロールを制御することによる）、ユーザが仮想空間内で前に進んでいることを反映してそれに対応して変化する、静止型ディスプレイＳＤ上の画像を見ることができる。人はいつでも立ち止まって周りを見回すことができる。このときシステムＳは、ほぼ同一の位置からの２つの異なる角度を規定することができる。非限定的な一実施形態では、２つのディスプレイ（一方はＳＤで他方はＭＤ）は、同一または類似の位置に基づいているが、２つの異なる視角または視界によって規定されるということが可能である。
【００３１】
非限定的な一実施例では、可動型ディスプレイ装置のタッチスクリーンＴＳのサイズは、可動型ディスプレイ装置ＭＤが容易に動かせて保持しても疲れないぐらい小さいが、可動型ディスプレイ装置ＭＤが提示する３Ｄ仮想世界の空間相関パッチが人の空間感覚に有意な影響を与えるほどには大きい。可動型ディスプレイ装置ＭＤは静止型ディスプレイＳＤよりもずっと人の目に近いため、人はその視野内で可動型ディスプレイ装置ＭＤが大きいと知覚する。実際、人は静止型ディスプレイＳＤが一時的に見えない、または隠れた状態になるように可動型ディスプレイ装置ＭＤを保持することができる。しかし静止型ディスプレイＳＤは人の環境内に存在し続け、時々は見える。静止型ディスプレイＳＤは、可動型ディスプレイＭＤに表示された空間相関した画像が静止型ディスプレイＳＤが表示するものと同一の仮想環境の一部であるように見せるコンテキストで、人の視覚を固定化し方向づける。概して、静止型ディスプレイＳＤの大型画面の方が大きいため、これを見る方が快適である。静止型ディスプレイＳＤおよび可動型ディスプレイＭＤに対して、同一、実際上同一、または類似の画像が表示されるならば、ほとんどのプレイヤは小型画面よりも大型画面に注目する。多くの非限定的場合では、ポインティングカーソルはポインティングターゲットとして静止型ディスプレイＳＤ上に表示され得る。可動型ディスプレイＭＤの姿勢を変更することにより、静止型ディスプレイＳＤの表示領域または他の提示領域内でポインティングターゲットの位置を制御することが可能である。
【００３２】
本明細書において、「実際上類似」または「実際上同一」とは、ユーザから見て同一またはほぼ同一であることを意味する。一実施形態では、処理は必ずしも画像が全く同一であることを条件にしていない。ユーザから見て視界が同一または類似であれば、または範囲内の状態であれば、処理は行われる。非限定的な一実施例では、「範囲内」の場合（例えば、可動型ディスプレイ装置ＭＤからの線であって可動型ディスプレイ装置の平面に対して垂直な方向の線が静止型ディスプレイＳＤ、または静止型ディスプレイＳＤの想定位置に交差する場合）、可動型ディスプレイは異なる情報を表示する。したがって２つのディスプレイ装置上のディスプレイがユーザの立場から見て本質的に同一である場合、ユーザは逆に、可動型ディスプレイＭＤ上に何か異なるものを見ることがある。
【００３３】
例えば、非限定的な別の実施例（図１３Ａ、図１３Ｂ参照）では、静止型ディスプレイＳＤは、田舎道を走る車のフロントガラスから運転者が見る景色を表示し得る。図１３Ａの例では、可動型ディスプレイＭＤは「ダッシュボード情報」、例えば速度、燃料レベルおよび他の情報を表示することができる。いくつかの非限定的実施例では、可動型ディスプレイ装置ＭＤは、静止型ディスプレイＳＤが表示しているもの全て（またはその一部）をぼかした又はかすませた状態で表示し得、ダッシュボード情報は、ぼかした又はかすんだ表示の上に重ねて表示される。他の実施例では、ダッシュボード情報は別の背景の上に重ねて表示されるか、または背景のない状態で表示される。静止型ディスプレイＳＤにこのコンテキストまたはアンカーが提示された場合、人は直覚的に可動型ディスプレイ装置ＭＤを動かしておよび／または回転させて、助手席または後部座席の人に見える景色、または助手席側または運転席側の窓から見える田舎の景色を提供し得る。このようにユーザは、例えば仮想車両の窓から外を見たり（図１３Ｂ）、車両の後ろを見たりすることができる。車が道を走行している間、人は車の中にいるかのように感じる。システムＳは、この空間没入経験に追加し得る空間特性に応じて、サラウンド音響効果、触覚または他の知覚情報を生成することができる。
【００３４】
多くの非限定的場合では、相対的に小型の可動型ディスプレイＭＤは、例えば武器あるいは他のアイテムの選択、または、ステータス情報を示す。主体が可動型ディスプレイを見続ける必要はなく、好きなときにタッチして例えばアイテムを選択したり変更したりできる。大型画面ＳＤで何か面白いことが起これば、例えば音や声が聞こえたり、大型画面で敵が飛び上がったり飛び去ったりすれば、人は可動型ディスプレイ装置の位置を変える、またはそれを動かすことによって、上方、下方また更には後方のような「範囲外」（例えば可動型ディスプレイ装置ＭＤからの線であって可動型ディスプレイ装置の平面に対して垂直な方向の線が、静止型ディスプレイＳＤまたは静止型ディスプレイＳＤの想定位置に交差しない状態）の位置に置くことができる。静止型ディスプレイＳＤのビューを取り囲む連続領域が可動型ディスプレイＭＤに表示され、静止型ディスプレイは同一または類似の位置に存在し続ける。静止型ディスプレイＳＤの大型画面は仮想世界の絶対的または相対的基準となり、人が元の場所へ引き返したり元の場所を一瞥したりすることを可能にする。
【００３５】
（ディスプレイ間の空間相関の具体例）
図２Ａ〜図７は、可動型ディスプレイＭＤが提供する画像と静止型ディスプレイＳＤが提示する画像間との相関関係の非限定的な例を示す。可動型ディスプレイがどのようにして仮想環境と双方向に作用するかをより良く説明するために、一部の図面に可動型ディスプレイＭＤ自体を示し（静止型ディスプレイＳＤが存在していないか、作動していないかのように）、その後の図面に可動型ディスプレイと静止型ディスプレイとの相関関係を示す。
【００３６】
図２Ａおよび図２Ｂは、一連の多角形（ポリゴン）Ｐ１〜Ｐ５を含む単純な３Ｄ仮想世界または３Ｄ仮想空間への窓として作用する可動型ディスプレイ装置ＭＤを示す。現実の３Ｄ世界には、ディスプレイ装置ＭＤと人とが存在する。破線で示す多角形（Ｐ１〜Ｐ５）は仮想３Ｄ世界に存在する。人は腕と手で可動型ディスプレイ装置ＭＤを保持している可能性があるが、図２Ａおよび図２Ｂは簡略化しているため腕と手を省略している。
【００３７】
非限定的実施形態では、ディスプレイ装置ＭＤに表示させる画像を生成するための、仮想世界の視点、視界または視線方向、あるいは他の視野変換が、ディスプレイ装置ＭＤの現実世界の姿勢によって決定される。例えば図２Ａは、可動型ディスプレイＭＤが八面体Ｐ３の斜視図をその表示フレームの底部近傍に表示している様子を示す。ディスプレイ装置ＭＤをｙ方向に沿って下方に移動させることにより（図２Ｂ参照）、八面体の底部がディスプレイ装置の表示フレームの上部近傍に表示されるように画像がシフトする。このように、可動型ディスプレイ装置ＭＤの空間特性が変化すると、可動型ディスプレイ装置上にディスプレイを生成し提示するためにシステムＳが用いる仮想世界への視点、視界または他の視野変換が変化する。
【００３８】
図３Ａおよび図３Ｂは同じ状況に静止型ディスプレイＳＤが加わった様子を示す。一実施形態では、静止型ディスプレイＳＤに表示させる画像を生成するために用いられる、３Ｄ仮想世界への視点、視界または視線方向、あるいは他の視野変換は変わらない。非限定的実施形態では、人は可動型ディスプレイ装置ＭＤ上の画像と静止型ディスプレイ装置ＳＤ上の画像とを同時に見ている。さらに、人が可動型ディスプレイ上の画像の向きを静止型ディスプレイ上の画像に対して変更した場合、システムＳは２つの表示画像間の空間相関の少なくともいくつかの向きを維持する。したがって人は、可動型ディスプレイ装置ＭＤ上に表示された仮想世界の一部は、静止型ディスプレイＳＤ上に表示された仮想世界の一部に対する空間特性を表していると知覚する。特に、センサＴは空間特性の変化を感知し、グラフィックスソースＧは、八面体のうち、この空間特性の変化に直覚的に対応する部分を表示するように可動型ディスプレイ装置ＭＤを制御し、または該表示を可能にする。効果は著しく、高度に直覚的、没入的そして双方向性である。特に静止型ディスプレイ装置ＳＤが相対的に大型（例えば最近の大型画面ＬＣＤ、プラズマ、またはプロジェクション型ディスプレイ）であって、採用されている３Ｄグラフィックス生成がフォトリアリスティックに近い場合、人は静止型ディスプレイ装置ＳＤが表示する画像を仮想現実として受け入れ、可動型ディスプレイＭＤが表示する画像を同一の仮想現実の可動パッチまたは一片として受け入れる。可動型ディスプレイＭＤが表示するパッチは、人が可動型ディスプレイをどのように動かすかにかかわらず、少なくともユーザから見た場合、システムＳが該パッチと静止型ディスプレイＳＤが表示する画像との空間相関を維持するという意味で、多次元的である。
【００３９】
静止型ディスプレイ装置ＳＤが表示する画像はそれ自体、リアリスティックであるだけでなく双方向性であり動画化されている（例えば実写）。可動型ディスプレイＭＤ上に表示されるパッチもまた双方向性であり動画化（例えば実写）されている。人は大型の静止型ディスプレイの提示画像にある程度没入しているように感じ得るが（そしてこの没入状態は３Ｄ効果および双方向性の提供により向上し得る）、静止型ディスプレイ装置ＳＤの没入性は、可動型ディスプレイＭＤ上の空間相関された画像パッチを追加することによって実質的に高まる。
【００４０】
可動型ディスプレイ装置ＭＤは人に近いため、サイズは小さく適切であるが没入性も高くなり得る。可動型ディスプレイ装置ＭＤはさらに、ユーザ入力に応答して、動画化された双方向画像を表示してもよい。一実施形態では、人は、可動型ディスプレイ装置を動かすことにより、仮想３Ｄ世界に対する可動型ディスプレイ装置ＭＤの視点、視界、視線方向または他の視野変換を制御することができる。可動型ディスプレイ装置ＭＤは、仮想世界への双方向ビューを提供し、このビューは人が身体や頭部などを動かす際に変化する。この機能によって人は、仮想３Ｄ世界との高度な没入型双方向性を楽しむことができる。この効果は、同一の仮想世界内でユーザを方向づけるより大きな没入性画像を提供する静止型ディスプレイＳＤの偏在性によって実質的に向上する。一実施形態では、人は動画化仮想３Ｄ世界への自分だけの覗き窓を有しており、頭部着用ディスプレイまたは特別な眼鏡などの拘束的道具を着用する必要はない。
【００４１】
さらにいくつかのアプリケーションではユーザは、可動型ディスプレイＭＤが表示するパッチと直接対話することができる。一実施例ではシステムＳは、ユーザが可動型ディスプレイＭＤに指またはスタイラスを置くことによって仮想世界の一部に触れることをシミュレートすることができる。図８Ｂ、図８Ｅを参照のこと。
【００４２】
例えば、可動型ディスプレイ装置ＭＤを動かして図３Ａに示す姿勢から図３Ｂに示す姿勢にすると、可動型ディスプレイ装置ＭＤが表示する画像の内容が静止型ディスプレイ装置ＳＤが表示し続ける画像に対して変化する。いずれの姿勢でも、可動型ディスプレイ装置ＭＤは、静止型ディスプレイ装置ＳＤが表示する仮想世界の部分であるサブセットに見えるものを表示してもよい。しかし特定のサブセットは、人が可動型ディスプレイ装置ＭＤをどこへ動かすかに応じて変化する。いくつかの実施形態では、可動型ディスプレイ装置ＭＤを下方に動かすと、可動型ディスプレイ装置ＭＤ上に表示させる画像を生成するために用いられる、仮想カメラの視点、視界、視角または視野変換が変化し、その結果、静止型ディスプレイＳＤ上に表示される八面体の上部ではなく底部が可動型ディスプレイＭＤ上に表示されるようになる。他の実施形態では、可動型ディスプレイＭＤは仮想空間のサブセットを選択的に表示してもよいし、これに代えて又はこれに加えて、例えば静止型ディスプレイＳＤに対する可動型ディスプレイの姿勢に応じて他の情報（例えば、メニュー、スコア、統計、補足テキスト、または他の補助的情報）を表示してもよい。
【００４３】
さらにいくつかの非限定的実施形態では、可動型ディスプレイはこのように使用されている間、ポインティングデバイスとして作用して静止型ディスプレイＳＤが表示するポインティングオブジェクトの位置を特定してもよい。可動型ディスプレイＭＤに対して垂直な線が静止型ディスプレイＳＤの想定位置に交差した場合、システムＳは可動型ディスプレイＭＤの姿勢の方位を用いてポインティングオブジェクト、例えば静止型ディスプレイＳＤ上のカーソル、サイトまたは他のインジケータの位置を制御してもよい。
【００４４】
さらなる実施例として図４Ａおよび図４Ｂは、人がロール軸回りに可動型ディスプレイ装置ＭＤを回転させると何が起こり得るかを示す。回転の前後で、人は仮想３Ｄ世界を見ることができるかのように、可動型ディスプレイ装置ＭＤ上に同じ向きで表示されている八面体を見る。この特定の実施例では、可動型ディスプレイ装置ＭＤを介した人の視点が静止型ディスプレイＳＤが表示する仮想空間の一部と交差すると、可動型ディスプレイは仮想世界への透明窓として作用するように見える。但しいくつかの実施形態では、可動型ディスプレイ装置が表示する画像は何らかの方法でエンハンスまたはオーグメントすることができる。いくつかのアプリケーションでは、可動型ディスプレイ装置ＭＤをピッチまたはロール方向に回転させると、可動型ディスプレイが提示する画像の３Ｄの視界が変化し、ユーザの目の視界では透明窓の錯覚が維持される。可動型ディスプレイＭＤをさらに回転させて静止型ディスプレイＳＤに現在表示されていない視界またはオブジェクトが窓から見えるのではないかとユーザに思わせることにより、このような追加のオブジェクトまたは視界が可動型ディスプレイの姿勢と空間的に一致した状態で見えるようにすることができる。これらのオブジェクトは静止していてもよいし、動画化されていてもよく、あるいはその組み合わせであってもよい。
【００４５】
図５Ａおよび図５Ｂは、一実施形態において、同一の八面体の向きが静止型ディスプレイＳＤに表示されている様子を示す。このような表示機能によって、可動型ディスプレイＭＤは人が仮想世界を覗き見ることができる個人の覗き窓または窓であるという錯覚が維持される。いくつかの実施形態では、可動型ディスプレイＭＤは、静止型ディスプレイＳＤの一部のビューを複製するのではなく、他の情報（例えば、テキスト、グラフィックス、命令、入力フィールドなど）を表示するために用いることができる。このことは、それ以外の場合に可動型ディスプレイ装置ＭＤが空間特性に応じて表示する仮想世界のビューが、静止型ディスプレイＳＤがすでに提示しているビューと同一の広がりを有する場合はいつでも可能である。さらなる実施形態では、可動型ディスプレイＭＤが表示する別の情報は、可動型ディスプレイがその姿勢の少なくともいくつかの向きに基づいて提示する仮想世界のビューに重なるオーグメンテーションであってもよい。
【００４６】
図６は、可動型ディスプレイ装置ＭＤの姿勢を変えて、それが表示する画像が静止型ディスプレイ装置ＳＤが表示する画像のサブセットでもなく該画像と同一の広がりを有するわけでもないようにする例を示す。この場合、可動型ディスプレイＭＤの面に垂直な線は、静止型ディスプレイＳＤの想定位置にも実際の位置にも交差しない。図示する例では、静止型ディスプレイ装置ＳＤはピラミッド形状、八面体およびプリズム（Ｐ２、Ｐ３、Ｐ４）を表示するが、立方体（Ｐ１）は見えない。人と仮想立方体との間に仮想窓として配置される空間姿勢となるように可動型ディスプレイ装置ＭＤを動かすことにより、人は可動型ディスプレイ装置上に立方体を「見る」ことができる。人は両方のディスプレイＳＤおよびＭＤを同時に見ることができるため、可動型ディスプレイ装置ＭＤは、自分は仮想世界内に存在し仮想世界に囲まれていると人に感じさせることにより没入型３Ｄ仮想世界の空間特性を高める。可動型ディスプレイ装置ＭＤによって人は、静止型ディスプレイ装置ＳＤが見せていない仮想世界の面を発見する。例えば人は、可動型ディスプレイ装置ＭＤを下方に向けて自分が立っている地面または他の仮想表面（例えば、ゴルフのフェアウェイ、砂漠の砂、船または宇宙船のデッキ、または他の仮想表面）を見えるようにすることができる。ゴルフの例として図７を参照されたい。図７は、仮想のゴルフボールと仮想のゴルフクラブヘッドを示す。あるいは人は、可動型ディスプレイＭＤを上方に向けて仮想の天井、空、星、月または他の仮想頭上空間を見ることができる。可能性は無限である。このような場合、所望であれば空間において延びる線（キュー）を静止型ディスプレイＳＤ上に表示して、人が可動型ディスプレイＭＤ上に表示された画像またはアクションと静止型ディスプレイＳＤ上に表示された画像またはアクションとを知覚的に相関づけることを補助することができる。この例では可動型ディスプレイＭＤは静止型ディスプレイＳＤの空間を延長するものとして作用し、それによってシステムＳは多次元的な空間であって空間的に干渉可能なものとなりユーザの仮想空間視野を広げる。
【００４７】
静止型ディスプレイＳＤおよび可動型ディスプレイＭＤは２台以上あってもよい。図８Ｄは、１台の静止型ディスプレイＳＤと２台の可動型ディスプレイＭＤ１、ＭＤ２とを有する実施例を示す。１人のユーザが１台の可動型ディスプレイＭＤ１を保持し、別のユーザが追加の可動型ディスプレイＭＤ２を保持することができる。２人のユーザは共に同じ静止型ディスプレイＳＤを見ることができる。このアプリケーションは、２人（またはそれ以上）のユーザが同じ仮想環境を同時に共有し対話したいと望む場合に有用である。ユーザは同じ場所にいる必要はない。例えばシステムＳはネットワーク、例えばインターネットまたは他のネットワークによって分散し、各ユーザが自身の静止型ディスプレイＳＤと可動型ディスプレイＭＤとを有し、すべてのディスプレイが同じ仮想環境の一部を表示することも可能である。
他の実施形態では、静止画面がなくてもよい。最初のキャリブレーションステップで物理的空間の向きの相関が始まるＮ個のモバイルスクリーンを想像されたい。このキャリブレーションステップの後、Ｎ個のスクリーンは仮想データベースの物理的、空間的にコヒーレントなビューを表す。あらゆる状況で明瞭に位置を感知するよい方法がある場合、これは位置相関にも拡張可能である。いくつかの実施形態では、向きは、磁気センサを用いて向きのドリフトを補正することによって決定される。しかし完璧な位置情報を有するより良い位置センサが存在すれば、上記と同じものを提供することが可能である。
【００４８】
（姿勢に基づいて可動型ディスプレイの状態を切り換えるアプリケーションの例）
いくつかの非限定的アプリケーションでは、可動型ディスプレイの、例えば静止型ディスプレイＳＤに対する姿勢および／またはポインティング方向に依存して複数の異なる目的または状態に可動型ディスプレイＭＤを用いることが望まれることがある。図６Ａは可動型ディスプレイＭＤの姿勢と静止型ディスプレイＳＤの姿勢との関係のうち以下の３つの異なる一般的タイプの関係を示す。
（ａ）範囲内、
（ｂ）範囲外、および
（ｃ）遷移領域。
【００４９】
図６Ａは複数の範囲外の場合ＯＲ１〜ＯＲ４を示す。範囲外の場合ＯＲ１〜ＯＲ４では、可動型ディスプレイＭＤから出たベクトルであって可動型ディスプレイの面に対して垂直なベクトルは、静止型ディスプレイＳＤの理想的位置または想定位置に対応する領域内の位置を示してもいないし、それに交差してもいない。図６Ａはさらに範囲内の場合ＩＲを示す。範囲内の場合ＩＲでは、可動型ディスプレイＭＤから出たベクトルは、静止型ディスプレイＳＤの理想的位置または想定位置に対応する領域内の位置を示すか、それに交差するか、またはその方向を向いている。図６Ａはさらに範囲内の場合ＩＲを取り囲むか、その境界線上にあるか、またはその周囲にある遷移領域ＴＡを示す。遷移領域ＴＡでは、可動型ディスプレイに対する垂線は、静止型ディスプレイＳＤの理想的位置または想定位置に対応する領域のエッジまたは周囲を示してもよいし、エッジまたは周囲に交差してもよい。
【００５０】
いくつかの非限定的実施形態では、システムＳは、可動型ディスプレイの姿勢またはポインティング方向が範囲内であるか範囲外であるかに応じて、可動型ディスプレイＭＤの使用法または状態を自動的に切り換えることができる。非限定的な一実施形態では、可動型ディスプレイＭＤのポインティング方向は例えば、可動型ディスプレイの面に垂直な線であって可動型ディスプレイの裏面からユーザとは逆方向に外方に延びる線によって規定されてもよい。従ってユーザが可動型ディスプレイＭＤを透明なガラス枠であるかのように透視することができれば、このような非限定的実施例のポインティング方向は、ユーザの視線方向に一致する。
【００５１】
（範囲内）
図６Ｂは、範囲内の場合の実施例を示す。この実施例では、可動型ディスプレイＭＤに対する垂線は、静止型ディスプレイＳＤの理想的な姿勢および大きさに従って仮想的に決定された領域内の位置を示すか、それに交差する。この特定の実施例では、システムＳは静止型ディスプレイＳＤの実際の姿勢および大きさを正確に知らないことがある（例えば、静止型ディスプレイが家庭用テレビを含む場合、ユーザは様々な異なるサイズおよび構造のテレビのいずれかを用い得る）。従ってシステムＳは、静止型ディスプレイのサイズ、可動型ディスプレイＭＤと静止型ディスプレイとの間の距離、可動型ディスプレイに対する静止型ディスプレイＳＤの向きについてある想定を行ってもよい。このような想定が可能であるのは、ほとんどのユーザは典型的には少なくとも概して静止型ディスプレイＳＤの方を向いており、通常多少の差こそあれ、静止型ディスプレイの前にいるが、静止型ディスプレイに非常に近い位置にいるとか、非常に遠い位置にいるとは考えにくいからである。ユーザによる追加の入力（例えば、テレビ画面のサイズまたはタイプ）などを用いてこれらの想定を補足することもできる。
【００５２】
このようないくつかの非限定的実施形態における範囲内の場合では、静止型ディスプレイＳＤ上に表示された（図６Ｃに示す）ポインタ、例えばカーソルまたは他のオブジェクトの位置は、可動型ディスプレイＭＤの姿勢によって制御してもよい。このような非限定的実施形態では、可動型ディスプレイＭＤを動かして姿勢を変更すると、静止型ディスプレイＳＤ上に表示されるポインタオブジェクトの位置が変化して（例えば、センサＴからの情報に基づく）、可動型ディスプレイが自由空間ポインティングデバイスとして作用するようになる。ユーザは可動型ディスプレイＭＤの姿勢を変えると同時に、ディスプレイＭＤおよびＳＤの一方または両方が表示する画像の向きを制御し得る追加の入力を行ってもよい（例えば、タッチスクリーンＴＳに触れる、ボタンを押すなどによる）。このように一実施形態では、可動型ディスプレイＭＤは静止型ディスプレイの方を向いている時には、静止型ディスプレイＳＤ用の仮想ポインタとして作用し、静止型ディスプレイの方を向いていない時には、可動型ディスプレイの姿勢の向きに応じて仮想世界の、空間相関した追加のビューを表示する。
【００５３】
このような実施例では、静止型ディスプレイＳＤが表示するビューを規定する仮想カメラは、必ずしも可動型ディスプレイＭＤの姿勢に応じて移動または変化するわけではない。多くのまたはほとんどのアプリケーションでユーザは主に静止型ディスプレイＳＤを見る。そのため静止型ディスプレイＳＤが表示する仮想空間は、必ずしも可動型ディスプレイＭＤ上に表示される必要はない。このような非限定的例では、可動型ディスプレイＭＤを用いて、他のタイプの情報、例えばスコア（ゲーム用）、統計、メニュー選択肢、ユーザ入力オプション、あるいはユーザに有用な様々な他の付随的またはその他の情報のいずれかを表示することができる。場合によっては、可動型ディスプレイは、このような情報を別の画像の上に重ねて表示し、可動型ディスプレイＭＤの姿勢に基づいた方向から見た仮想世界の表示画像をオーグメントしてもよい。そのためいくつかの実施形態では、ユーザが静止型ディスプレイＳＤに注目する傾向にあるときに、可動型ディスプレイＭＤは、より制限された（または異なる、補足的な、制御的な、冗長でない）情報を表示することができる。
【００５４】
図６Ｄは、静止型ディスプレイＳＤが表示する仮想空間の鳥瞰地図または鳥瞰図を示す。図６Ｄの矢印は、静止型ディスプレイＳＤが表示する画像を仮想空間内の仮想キャラクタの一人称視点に基づいて規定する仮想カメラの方向を示す。仮想キャラクタを仮想空間内で移動させると、静止型ディスプレイが表示するビューが変化し得る。無論、他の実施形態では、可動型ディスプレイＭＤ上に鳥瞰図または他のビューを表示して、静止型ディスプレイＳＤが表示する仮想空間内をユーザがより簡単にナビゲートできるようにすることも可能である。
【００５５】
（範囲外）
図６Ｅは、範囲外の場合の非限定的実施例を示す。この実施例では、可動型ディスプレイＭＤに対する垂線が静止型ディスプレイＳＤの理想的な姿勢に従って仮想的に決定された領域内の位置を示したり、その方向を向いたり、それに交差したりしない。可動型ディスプレイＭＤに対する垂線が静止型ディスプレイＳＤの領域外の位置を示す場合、システムＳは可動型ディスプレイＭＤを用いて仮想空間を表示してもよく、可動型ディスプレイＭＤに表示させる画像を生成する仮想カメラの方向は可動型ディスプレイの姿勢によって制御されてもよい。図６および図６Ｆを参照されたい。これらの図は、可動型ディスプレイＭＤがその姿勢に応じた方向から見た仮想空間を表示している様子を示す。ところで、このような非限定的場合では、静止型ディスプレイＳＤに表示させる画像を作成する仮想カメラの方向は、必ずしも可動型ディスプレイＭＤの姿勢に影響を受けるわけではない。ユーザは、可動型ディスプレイＭＤを動かすことによって仮想空間の右側、左上、下側および裏側を見ることができ、静止型ディスプレイＳＤを見ることによって仮想空間の前側を見ることができる。この非限定的アプリケーションでは、ユーザは、仮想空間の側面と前面とを同時に見ることができることにより、その可視性が広がったと感じることができる。
【００５６】
いくつかの非限定的実施形態では、可動型ディスプレイＭＤ上に表示されるポインタ、カーソルまたは他のオブジェクトが指し示す位置も制御可能であり、例えば可動型ディスプレイ装置に表示される画像の視線方向が可動型ディスプレイの姿勢を反映するように変化したときに、これらのオブジェクトが可動型ディスプレイ装置の表示画面の中央に留まるように制御することができる。図６Ｇを参照されたい。図６Ｈは、可動型ディスプレイＭＤ用の仮想カメラの方向を示す、仮想空間の鳥瞰図の一例であり、２つの視線方向を示す。一方は静止型ディスプレイの視線方向、他方は可動型ディスプレイの視線方向である。静止型ディスプレイＳＤ上に仮想空間の画像を表示し、同時に可動型ディスプレイＭＤ上に異なる視線方向からの仮想空間の追加の画像を表示することにより、ユーザに奥行きと空間的没入を知覚させる。図１２Ａを参照されたい。
【００５７】
（遷移領域）
図６Ｉおよび図６Ｊは、上記の範囲内の場合と範囲外の場合との間にある遷移領域の場合を示す。図６Ｉは、遷移領域ＴＡが範囲内と範囲外（内側と外側）との間に構築可能であり、そのためユーザは何らかの処理によって視線（目の方向）を静止型ディスプレイＳＤから可動型ディスプレイＭＤに円滑に変更することができることを示す。例えば可動型ディスプレイＭＤの姿勢が遷移領域に対応する場合、静止型ディスプレイＳＤ用の画像は視覚的、聴覚的および／または触覚的効果（例えば静止型ディスプレイＳＤが僅かにスクロールし得る）を提供してもよく、その結果ユーザは可動型ディスプレイＭＤの画像が範囲内状態から範囲外状態にいつ変わるか、または範囲外状態から範囲内状態にいつ変わるかを知ることができる。一実施形態では、可動型ディスプレイＭＤおよび静止型ディスプレイＳＤの相対的姿勢に応じて静止型ディスプレイＳＤを僅かにスクロールするまたは他の方法で動かすことにより、可動型ディスプレイＭＤの姿勢を回転し続けるまたは他の方法で変更し続ければ状態が変化することをユーザに警告することができる。同一のまたは異なる画像あるいは他の効果を用いて、範囲内から範囲外への変化および範囲外から範囲内への変化を示すことができる。
【００５８】
このようにユーザは、可動型ディスプレイＭＤを静止型ディスプレイＳＤの大型画面の方に向けている場合、常に大型画面を見てターゲットを制御する傾向がある。ユーザが画面の縁領域近傍をターゲットにする場合、遷移モードが存在してもよい。大型画面は僅かにまたは少しだけガン方向にシフトする。しかし大型画面が少しだけ移動した後、可動型ディスプレイＭＤの小型画面が突然、静止型ディスプレイＳＤ外の仮想空間の一部を表示し始める。これはドラマチックな効果となり得る。遷移時、僅かに周りを見回して、静止型ディスプレイＳＤが表示する画像を移動させることが可能である。このように境界または周囲における周りを見回すような画像のシフト（例えば可動型ディスプレイの姿勢の向きに応じて制御されたカーソルまたは他のポインタオブジェクトの存在に基づいて）は、可動型ディスプレイＭＤが動いた方向に、その動きに応じて行うことができ、これにより例えばユーザに、可動型ディスプレイの状態が周りを見回す表示モードから補助的情報表示モードに、またはその逆に切り換わろうとしていることを警告する。
【００５９】
（より詳細な非限定的実施例）
図８Ａに示すように、ディスプレイ装置ＭＤは人が容易に保持し動かせるように構成および構築されている。例えばディスプレイ装置ＭＤは相対的に小型で、持ち運び可能で、かつ、軽量であり、人の手で保持、把持、支持、操作および移動することができる。図８Ａに示す特定の実施例ではディスプレイ装置ＭＤは、人の左手と右手で同時に保持するように構築および構成されている。人が両手で可動型ディスプレイ装置ＭＤを保持し支持した場合、左手の親指でいくつかの手動入力コントロール（例えば左手スライドパッド５０および／またはＤパッドスイッチ５２）を操作でき、同時に右手の親指で他の手動入力コントロール（例えば、右手スライドパッド５４および／またはボタン配列５６）を操作できる。人差し指で操作可能な更なるコントロール５８ａ、５８ｂがあり、裏面には例えばディスプレイ装置ＭＤを保持しながら中指で操作可能なトリガ６０などの更なるコントロールがある（図１０Ｂ、図１０Ｄ参照）。可動型ディスプレイＭＤの詳細な電気機械的構成および動作の更なる詳細（図１０Ａ〜図１０Ｄも参照のこと。これらの図面は人間工学に基づくハンドヘルド設計の非限定的実施例を示す）は、２０１１年２月２日出願の米国特許出願１３／０１９９９２４および米国特許出願１３／０１９９９２８に記載されている。これらの全体を参考のためここに援用する。図１０Ａ〜図１０Ｃでは、可動またはハンドヘルド装置ＭＤのハウジング２００は、平坦な前面２０２と実質的に平坦でない裏面２０４とを含む。図１０Ｂ、図１０Ｃに示すように、平坦でない裏面２０４は、長手方向リッジ２０８まで傾斜する傾斜湾曲部２０６を含む。リッジ２０８の反対側の窪み２１０には、スタンドの脚（図８Ｃ参照）または他の周辺装置などの付属部品を受け入れる様々な収容部２１２が設けられてもよい。傾斜湾曲部２０６上に設けられた指で押圧可能なボタン６０ａ、６０ｂ（図１０Ｄ参照）は湾曲して傾斜湾曲部の輪郭に一致する輪郭を有する一方で、外方に延びてユーザの中指を快適に載せられるパッドとなっている。これによりユーザは、中指でボタン６０を操作しながら人差し指でボタン５８を引くことができる。他の装置、センサ、コネクタ、収容部および他の構造物（その一部は可動型ディスプレイＭＤを他の装置と連結させるのに有用であり得る）を周面２１２、２１４に設けてもよい。本実施形態はこの形態に限られず、可動型ハンドヘルドディスプレイ装置ＭＤは他の形態（例えば、タブレットコンピュータ、ｉＰＡＤ、スマートフォン、電子書籍、ＰＤＡなど）であってもよい。
【００６０】
いくつかの実施形態では、ディスプレイ装置ＭＤは人が着用することができ、例えば身体の一部、例えば、手首、前腕、上腕、脚、足首、ウエスト、頭部、あるいは身体または衣服の他の部分に取り付けることができる。他の実施形態では、可動型ハンドヘルド可能ディスプレイ装置ＭＤは、可動または固定の無生物構造物（例えば図７、図８Ｃ参照）に固定的または他の方法で搭載することができる。例えばいくつかの構成では、図８Ｃに示すように、ディスプレイ装置ＭＤは非可動構造物に一時的に固定または搭載することができる（例えば、別の構造物、例えばテーブルの上面、床、フレームなどに対するディスプレイ装置ＭＤの姿勢を、ディスプレイ装置ＭＤが容易に見えるような姿勢に維持する一体型の引き出し式または他の形態のスタンドを用いることによる）。他の構成では、ディスプレイ装置ＭＤの姿勢は別の構造物に対して一時的に固定されてもよいが、好きなときに人が向きを変えたり、取り上げて動かしたりできる。
【００６１】
上記のように、非限定的ディスプレイ装置ＭＤは、スタイラス（図８Ｅ参照）または指（図８Ｂ参照）で触れることによって制御可能なタッチスクリーンＴＳを有する。タッチスクリーンを用いて、手書き、ジェスチャー入力などを含む様々な入力を提供することができる。
【００６２】
センサＴはディスプレイ装置ＭＤの姿勢を決定する。センサＴはディスプレイ装置ＭＤ内に収容してもよいし、ディスプレイ装置ＭＤ外に配置してもよい。あるいは一部のセンサをディスプレイ装置ＭＤ内に収容し、他のセンサをディスプレイ装置ＭＤ外に配置してもよい。センサＴの構成の非限定的例の更なる詳細は、全体を参考のためここに援用する２０１１年２月２日出願の米国特許出願１３／０１９９９２４および米国特許出願１３／０１９９９２８に記載されている。特別な解決法またはアプリケーションは２Ｄ用の「ＭＡＲＧ」のうちＧ（重力）のみ、Ｍ（磁気）のみ、またはＭＧ（磁気＋ジャイロ）のみ、より少ないまたは低減した動きのアプリケーション、特別なゲームのアプリケーション、または他のアプリケーションを用いてもよい。
【００６３】
特定の一実施形態では、センサＴはディスプレイ装置ＭＤと、可動型ディスプレイＭＤを固定的に取付可能な可動付属デバイスとの間に広がる「ＭＡＲＧ」センサ列を含んでもよい（図９Ａ、９Ｂ参照）。例えばＭＡＲＧの磁気計は付属デバイス内に配置することができ、ＭＡＲＧの加速度計およびジャイロセンサは可動型ハンドヘルドディスプレイ装置ＭＤのハウジング内に配置することができる。可動型ディスプレイ装置ＭＤと付属デバイスとは連結されており、その電気接続は、付属デバイス内の磁気計が可動型ハンドヘルド可能ディスプレイ装置ＭＤからのパワーを受け取り、かつ可動型ディスプレイ装置が磁気計からのデータを受け取るようにすることができる。他の方法も可能である。
【００６４】
別の実施形態では、図１に示すセンサＴは任意の所望のセンサ、例えば、機械、音声、超音波、カメラ、光学、赤外線、磁気、電磁（例えば高周波またはマイクロ波）、慣性、ジャイロスコープ、加速度に基づく、基準マーカ（フィデューシャル）に基づく、外側から内側を見る、内側から外側を見る、ＧＰＳ、携帯電話および／またはこれらのいずれかの組み合わせなどを含んでもよい。
【００６５】
上記のようにいくつかの非限定的実施形態では、ＭＡＲＧを形成するセンサ群を代表するセンサＴは１以上のハウジングまたは場所に分散してもよい。このようなハウジングは例えば静止型でもよいし、ユーザによって空間的に移動されるものでもよい。図９Ａ、図９Ｂに示すように、ハウジング構成要件のサブセットを組み合わせて単一の構成要件として挙動させることもできる。
【００６６】
一実施例ではセンサＴは任天堂Ｗｉｉリモートコントローラおよび／または任天堂Ｗｉｉリモコンプラスビデオゲームコントローラで用いられるセンサ、すなわちダイレクトポインティングデバイス、３軸または他の加速度計、および／または３軸または他のジャイロスコープの一部または全部を含んでもよい。このようなセンサＴはさらに、多軸シングルチップ磁気計、内側から外側を見るまたは外側から内側を見るタイプの外部光学、超音波および／または他のトラッキングセンサ、あるいは当業者であれば理解する他の多くの変形物を含み得る。家庭用のバーチャルリアリティゲームおよびビデオゲームなどの多くのアプリケーションには不要であるが、ある種のアプリケーションでは可動型ディスプレイＭＤの完全なポーズ（位置および向き）を所望の正確さで正確に追跡して、可動型ディスプレイＭＤが表示する画像と静止型ディスプレイＳＤが表示する画像との間の空間相関においてほぼ完璧な忠実度を提供することが望ましいことがある。下にリストアップし参考のためここに援用する文献を読めば、当業者は、特定のシステム要件および所望のアプリケーションに基づいてセンサＴのいかなる所望の構成でも実施することができる。
Ｘ．Ｙｕｎら、「Ｄｅｓｉｇｎ ａｎｄ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ＭＡＲＧ Ｈｕｍａｎ Ｂｏｄｙ Ｍｏｔｉｏｎ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（「ＭＡＲＧ人体動作追跡システムの設計と実施」、インテリジェントロボットおよびシステムに関するＩＥＥＥ／ＲＳＪ国際会議会議録）（ＩＲＯＳ ０４），日本国仙台、２００４年９月〜１０月
Ｅ．Ｒ．Ｂａｃｈｍａｎｎら、「Ｉｎｅｒｔｉａｌ ａｎｄ Ｍａｇｎｅｔｉｃ Ｐｏｓｔｕｒｅ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｉｎｓｅｒｔｉｎｇ Ｈｕｍａｎｓ ｉｎｔｏ Ｎｅｔｗｏｒｋｅｄ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ」、ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，（「ネットワーク化バーチャル環境に人間を挿入する慣性および磁気姿勢追跡」、バーチャルリアリティソフトウェアおよび技術に関するＡＣＭシンポジウム） ＶＲＳＴ ０１，カナダ、アルバータ州バンフ、２００１年１１月、９〜１６頁
Ｂａｃｈｍａｎｎ、「Ｏｒｉｅｎｔａｔｉｏｎ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｈｕｍａｎｓ ａｎｄ Ｒｏｂｏｔｓ Ｕｓｉｎｇ Ｉｎｅｒｔｉａｌ Ｓｅｎｓｏｒｓ」、Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ｉｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ Ｐｒｏｃｅｅｄｉｎｇｓ（「慣性センサを用いた人およびロボット用方位追跡」、ロボティクスおよびオートメーションプロシーディングにおけるコンピュテーショナルインテリジェンス）（ＩＥＥＥ １９９９）（この文献は、人の動きの向きと位置を追跡することを開示している。）
Ｅｒｉｃ Ｂａｃｈｍａｎｎ、「Ｉｎｅｒｔｉａｌ ａｎｄ Ｍａｇｎｅｔｉｃ Ａｎｇｌｅ Ｔｒａｃｋｉｎｇ ｏｆ Ｈｕｍａｎ Ｌｉｍｂ Ｓｅｇｍｅｎｔｓ ｆｏｒ Ｉｎｓｅｒｔｉｎｇ Ｈｕｍａｎｓ ｉｎｔｏ Ｓｙｎｔｈｅｔｉｃ Ｅｎｖｉｒｏｎｍｅｎｔｓ」、ＰｈＤ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、Ｎａｖａｌ Ｐｏｓｔｇｒａｄｕａｔｅ Ｓｃｈｏｏｌ（「合成環境に人間を挿入する人体の四肢セグメントの慣性および磁気角度追跡」、コンピュータサイエンスＰｈＤ、海軍大学院）、２０００年１２月
Ｗｅｌｃｈら、「Ｍｏｔｉｏｎ Ｔｒａｃｋｉｎｇ： Ｎｏ Ｓｉｌｖｅｒ Ｂｕｌｌｅｔ， ｂｕｔ ａ Ｒｅｓｐｅｃｔａｂｌｅ Ａｒｓｅｎａｌ」（動作追跡：特効薬ではないが、まずまずの集積）、ＩＥＥＥ ＣＧ＆Ａ（２００２年１１月／１２月）
Ｗｏｒｍｅｌｌら、「Ａｄｖａｎｃｅｍｅｎｔｓ ｉｎ ３Ｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｄｅｖｉｃｅｓ ｆｏｒ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ」（バーチャル環境用３Ｄ双方向デバイスの進歩）（２００３）
米国特許出願１３／０１９９９２４および１３／０１９９９２８（２０１１年２月２日出願）
米国特許第７，９４２，７４５号
米国特許第７，９３１，５３５号
米国特許第７，９２７，２１６号
米国特許第７，９２５，４６７号
米国特許第７，９２４，２６４号
米国特許第７，９２０，９８５号
上記リストアップした文献は、多次元空間内での可動型ディスプレイＭＤの姿勢および他の特性を決定する様々な方法を可能にし開示する目的で参考のためここに援用する。
【００６７】
（実施例のブロック図）
図１１は、可動型ディスプレイＭＤの非限定的実施例を示す（詳細は、全体を参考のためここに援用する２０１１年２月２日出願の米国特許出願１３／０１９９９２４および米国特許出願１３／０１９９９２８を参照のこと）。上記で詳細に説明した手動コントロールからの手動コントロール入力をプロセッサ１０２に供給する。プロセッサはデータ入力（タッチパネルディスプレイＴＳからの入力も含む）を受け入れ、無線トランシーバ１０６または他の無線または有線の通信を介してリモートコンソールまたはコンピュータＧに分析のため報告する。リモートコンソールまたはコンピュータＧ（無線または有線で静止型ディスプレイＳＤにも接続されていてもよい）は報告されたデータ入力を処理して圧縮または他の処理をした画像を生成してもよい。リモートコンソールまたはコンピュータＧは、この画像を可動型ディスプレイの無線トランシーバ１０６に送信してもよい。可動型ディスプレイ装置プロセッサ１０２は受け取った画像を伸張してタッチパネルディスプレイＴＳに表示してもよい。
【００６８】
リモートコンソールまたはコンピュータＧは、１つの場所に位置する、または１以上のネットワークを介して通信する様々な場所に分散する１以上のグラフィックス生成部であり得る。このようなグラフィックス生成部は従来の３Ｄグラフィックス変換、仮想カメラおよび他の技術を用いて、ディスプレイＭＤ、ＳＤに表示させる空間的に適切にコヒーレントなまたは他の画像を提供することができる。例えばグラフィックス生成部Ｇは以下のいずれかであり得る。
【００６９】
静止型ディスプレイＳＤの一部である、またはそれと共に配置される別のコンポーネントであり、可動型ディスプレイＭＤと遠隔に（例えば無線で）通信するグラフィックス生成部、
【００７０】
可動型ディスプレイＭＤの一部である、またはそれと共に配置される別のコンポーネントであり、静止型ディスプレイＳＤまたは関連装置と遠隔に（例えば無線で）通信するグラフィックス生成部、
【００７１】
一部が可動型ディスプレイＭＤのハウジング内に収容され、一部が静止型ディスプレイＳＤと共に配置される分散型グラフィックス生成アレンジメントであって、分散された部分は無線または有線ネットワークなどの接続を介して互いに通信する、分散型グラフィックス生成アレンジメント、
【００７２】
静止型および可動型ディスプレイＳＤ、ＭＤのいずれからも遠方に（すなわちクラウド内に）位置し、１以上のネットワーク接続を介してこれらの各々と通信する、グラフィックス生成部、または
【００７３】
上記の組み合わせまたは変形物。
【００７４】
分散型グラフィックス生成器アーキテクチャまたはアレンジメントの場合、当業者であれば理解するように、適切なデータ交換および送信プロトコルを用いて、低レイテンシーを提供して双方向性を維持する。
【００７５】
特定の一実施例では、ＭＡＲＧ姿勢センサ（すなわち３軸加速度計、３軸ジャイロスコープおよび３軸磁気計）がセンサ出力をプロセッサ１０２に提供し、プロセッサ１０２は非一時的ファームウェア格納部１０４に格納された命令を実行する。ある非限定的方法では、重力ベクトル基準（ロールおよびピッチ用）に基づく３軸加速度計と北ベクトル基準（ヨー用）に基づく３軸磁力計を用いることによるエラー補正付きの３軸ジャイロスコープ（角速度）を用いる。このいわゆる向きまたは姿勢の測定は、「磁気角速度重力（ＭＡＲＧ）」によって行う。図示する実施例では、ＭＡＲＧセンサＴは絶対位置を検出することはできず、磁気計を用いて、地球の磁界に対する磁気コンパス方位のようなものと考えられ得るものを検出する。
【００７６】
多くのアプリケーションでは、システムＳが３Ｄ空間内の可動型ディスプレイＭＤの絶対位置を追跡することも、さらには相対位置を追跡することも不要である。なぜなら奥行きに関するユーザの知覚は、少なくともいくつかのアプリケーションではそのような忠実度を必要としないからである。例えば人の目は、近くの物体に焦点を合わすときと遠くの物体に焦点を合わすときとで形状が変わるレンズを含み、ユーザは単眼および両眼キューを用いて距離を知覚する。例えば、『Ｓｃｈｗａｒｔｚら、「Ｖｉｓｕａｌ Ｐｅｒｃｅｐｔｉｏｎ， Ｆｏｕｒｔｈ Ｅｄｉｔｉｏｎ ： Ａ Ｃｌｉｎｉｃａｌ Ｏｒｉｅｎｔａｔｉｏｎ」Ｃｈａｐｔｅｒ １０ （「視覚、第４版：臨床的オリエンテーション」第１０章）、（ＭｃＧｒａｗ Ｈｉｌｌ ２００４）』を参照のこと。多くのアプリケーションでは、可動型ディスプレイＭＤはユーザの近くの視界の大半を占め、静止型ディスプレイＳＤはユーザの遠くの視界の一部分のみに存在する。したがって多くのアプリケーションでは、ユーザの目が一度に焦点を合わせるのは２つのディスプレイのうちの一方であり得る。両方のディスプレイがユーザの視界にあったとしても、ユーザはまず一方のディスプレイを見て、その後他方のディスプレイを見ることがある。このことは、多くの有用なアプリケーションでは、所望の没入型ユーザインターフェース効果を作り出すために、位置空間相関およびコヒーレンスの忠実度は厳密である必要はないことを意味し得、２つのディスプレイ間の厳密な位置または距離の空間相関の維持は不要であり得る。他のアプリケーションでは、他の構成が望まれ得る。
【００７７】
さらに、実用的な消費者グレードのコンポーネントを用いた場合、システムＳが可動型ディスプレイＭＤの急速な動きについていけない場合がある。幸い、可動型ディスプレイＭＤがこのように急速な動きをしている間は、それを保持している人も概して表示されている画像を見ることができない。したがって多くのアプリケーションではシステムＳが、ユーザが可動型ディスプレイＭＤの画像を見ることができる、相対的に静止した、またはゆっくり動く状態において可動型ディスプレイＭＤの空間相関を維持していれば、概してそれで十分であり得る。
【００７８】
最初のキャリブレーションステップを用いて、システムＳが２つのディスプレイＳＤ、ＭＤ間の姿勢空間コヒーレンスを確立し維持することが可能である。この場合、人は、可動型ディスプレイＭＤを静止型ディスプレイＳＤに対してある方向に向けてシステムをキャリブレートし、室内または他の環境内での静止型ディスプレイＳＤの磁気コンパス方位（例えば北北西または３３７．５°）がわかるようにすることを求められることがある。可動型ディスプレイＭＤのキャリブレーションは概して自由な空間内（３Ｄ）での向き、または変換（移動）で可能である（自由空間における使用のサブセットとして、２次元または１次元の方向または移動など、いくつかの特別な使用もまた可能である）。この場合、非限定的実施形態は、最初のキャリブレーションによる可動型ディスプレイＭＤの相対的動きに依存する。
【００７９】
セットアップ中にキャリブレートするために、人は垂直ベクトルを概して静止型ディスプレイの中央に向けながら可動型ディスプレイＭＤの画面を静止型ディスプレイＳＤに対して平行に保持してもよい。ボタンまたは他のユーザコントロールを押してもよい。システムＳが室内の磁界を測定および格納し、可動型ディスプレイＭＤが静止型ディスプレイＳＤの方を向いているとユーザが考えるときの可動型ディスプレイＭＤの向きを決定する。このキャリブレーションは、（１）室内の磁界が変化しないこと、（２）静止型ディスプレイＳＤが移動しないこと、および（３）静止型ディスプレイＳＤが室内にある状態で可動型ディスプレイＭＤをセットアップすること、を想定している。磁界が変化したり、静止型ディスプレイＳＤが移動したり、システムＳが別の場所でセットアップされたりした場合は、再度キャリブレーションを行うことが望ましいと考えられる。例えば、室内の家具または室内の金属パネルが移動したり、バッテリが交換されたり（アルカリバッテリの金属の違い）、環境によって室内の磁界が変化したりした場合は、再度キャリブレーションを行ってもよい。市電またはトロリーなどのレールに近い住宅地では、磁界が動的に変化することがある。地球の磁界が予期せず動的に乱れた場合、最初の磁気読取値またはジャイロスコープ対応（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）に対する予期しない値によって、その乱れをフィルタリングすることが可能である。
【００８０】
図１２は、ソフトウェア命令のフローチャートであり、その少なくとも一部は可動型ディスプレイＭＤの非一時的記憶装置１０４および／またはリモートコンピュータＧと連動する非一時的記憶装置に格納されている（より詳細には、全体を参考のためここに援用する２０１１年２月２日出願の米国特許出願１３／０１９９９２４および米国特許出願１３／０１９９９２８に記載されている）。図示する実施例では、静止型ディスプレイ（ＳＤ）用の仮想３Ｄ世界の視点／視体積を規定する（ブロック１２０）（例えば図８Ａ、図８Ｂに示す可動型ディスプレイＭＤ、および／または、Ｗｉｉリモコンプラスおよびヌンチャクなどの他のユーザ入力装置に対するユーザコントロールからの入力に基づく）。その後センサＴは、可動型ディスプレイＭＤの姿勢を取得し（ブロック１２２）、可動型ディスプレイ（ＭＤ）用の、仮想３Ｄ世界の視点／視体積を規定する（ブロック１２４）。その後システムＳは、従来の高速双方向コンピュータグラフィックスハードウェアおよびソフトウェアを用いて、静止型ディスプレイに対して規定された視点／視体積に基づいて静止型ディスプレイ（ＳＤ）上に３Ｄ世界を投影する（ブロック１２６）。３Ｄ世界は、可動型ディスプレイに対して規定された視点／視体積に基づいて可動型ディスプレイ（ＭＤ）上にも投影される（ブロック１２８）。ブロック１２８では、可動型ディスプレイＭＤに３Ｄ仮想世界を投影するために用いる変換を、可動型ディスプレイＭＤの取得姿勢の一部または全部の向きを用いて変更することができる。取得姿勢をこのように用いる場合、視点、視角、視野、縮尺、回転、視体積、投影のタイプ、テクスチャマッピング、特殊効果、または、３Ｄ仮想世界から表示ビューを得るために用いるグラフィックス処理および計算の他の任意の態様を変更するなど、いずれの所望の方法で行ってもよい。非限定的な一実施例においてブロック１２８で、地球の磁界に対する可動型ディスプレイＭＤの決定された向きに基づいて、ビューの方向および／または向きを変えることができる。図１２Ａは静止型ディスプレイの視体積および変換ＳＤＴならびに可動型ディスプレイの視体積および変換ＭＤＴを示す。この非限定的実施例は、可動型ディスプレイＭＤに表示させる画像を生成するために用いる可動型ディスプレイの視体積および変換ＭＤＴの態様（例えば、変換の回転、位置、および縮尺の態様）を、可動型ディスプレイの現在の姿勢によって決定し得ることを示す。無論、静止型ディスプレイの視体積および変換ＳＤＴを固定する必要はない。いくつかのアプリケーションでは、この静止型ディスプレイの視体積および／または変換は、ユーザ入力、ソフトウェアプログラムなどに応じて変化し得る。いくつかの実施例のアプリケーションでは、２つの視体積および変換を規定する３Ｄ仮想世界内における、同一または実質的に同一の視点、位置、地域、領域および／または近傍を用いることが望ましいことがある。このように、システムＳは、３Ｄ仮想空間内の同一または類似の有利な地点から見ることができる、３Ｄ仮想空間の２つの異なるビューをユーザに提供することができる。「同一」または類似の位置に関して、いくつかのアプリケーションは２つの異なるビューに対して全く同一の位置を用いないかもしれないが、例えば一方の画面により全体的なビューを提供するために僅かに高い位置を用いることがある。同一または類似の位置、領域、地域および／または近傍に関する他の可能性は、以下を含む。
−より高いまたはより低い位置、
−前方の位置または後方の位置、
−僅かに見上げる、または見下ろす（ピッチ）、
−ズームアウトまたはズームイン、
−僅かにロールまたはヨーする、
−位置的に僅かに左または右、
−その他の差異。
他のアプリケーションでは、静止型ディスプレイＳＤおよび可動型ディスプレイＭＤにそれぞれ表示させる画像を生成するために、３Ｄ仮想世界内の異なる視点、位置、地域、領域および／または近傍を用いることができる。
【００８１】
図１２Ｂは、非一時的メモリ内に格納されたプログラム命令が、可動型ディスプレイの状態を切り換えるために実行するステップの例を示す。非限定的な一実施形態では、システムＳが可動型ディスプレイの姿勢を検出し（ブロック１５０）、可動型ディスプレイＭＤの表示面またはハウジングの平面に垂直なベクトルが静止型ディスプレイＳＤを囲む想定上の表面に交差するか否かを決定する。想定上の表面は、矩形、バウンディングボックス、球形、平面、または他の表面のいずれであってもよい。交差している場合（可動型および静止型ディスプレイＭＤ、ＳＤの相対的な向きまたは姿勢がある範囲内にあり、その結果静止型ディスプレイＳＤが存在しそうな空間内の領域の方を可動型ディスプレイが向いている場合）（ブロック１５２）、システムＳは、静止型ディスプレイＳＤの方を向いている（あるいは静止型ディスプレイＳＤと対話する）ポインティングデバイスとして可動型ディスプレイＭＤをユーザが用いるつもり（「範囲内」あるいは補助的表示状態）であると推定する。この場合、システムＳは可動型ディスプレイをポインティングデバイスとして用い（例えばそれによって静止型ディスプレイＳＤ上に表示されるポインティング記号の位置を制御する）、さらに可動型ディスプレイ上に補助的情報を表示してもよい（ブロック１５４）。交差していない場合（「範囲外」または周りを見回す状態）（ブロック１５６）、システムＳは、可動型ディスプレイＭＤがその姿勢に対応する視線方向から見た仮想世界の画像を提示するようにする（ブロック１５６）。いずれの場合も、交点が境界または周辺領域（「遷移領域」）内であれば（ブロック１６０）、ディスプレイＭＤ、ＳＤの一方、他方または両方が、その境界、周縁または周辺の状態を示す視覚効果（例えばディスプレイを動かす、またはスクロールする）を表示してもよい（ブロック１６０）。
【００８２】
図１２、図１２Ｂのプロセスを何度も繰り返すことによって、例えば、ユーザが自由空間内で可動型ディスプレイＭＤを動かすときにリアルタイムで双方向的に更新する動画化画像のシーケンスを生成してもよい。いくつかの実施形態では、これらの図面の各ステップをリモートコンピュータＧで行ってもよい。別の実施形態では、これらのステップを可動型ディスプレイＭＤのプロセッサ１０２で行う。さらに別の実施形態では、これらのステップの一部または全部を、静止型ディスプレイＳＤ内、またはこれと連動するプロセッサが行ってもよい。さらに非限定的な別の実施形態では、これらのステップの一部または全部を、図８Ａ、図８Ｂに示す１以上の付属デバイスが行ってもよい。
【００８３】
図９Ａおよび図９Ｂに示すように、いくつかの実施例の構成では、可動型ディスプレイＭＤは、ハンドヘルドプラスチックガンまたは他の照準補助装置などの付属部品に取り付けることができる。図９Ａに示すガンＧは、セットトップセンサＩＲバーを検出するＣＭＯＳセンサ（例えば、従来の任天堂Ｗｉｉリモコンプラス内に見られるタイプのセンサ）を含む。セットトップセンサＩＲバーは、絶対値測定用のフィデューシャルまたは基準ソースとして用いることができる。ＣＭＯＳセンサの視体積には制限があり得るが、多くのまたはほとんどの「射撃」およびポインティングタイプのアプリケーションは、静止型ディスプレイＳＤの方を向いて行われる。これら２つの光学（ＩＲ）セットトップライトハウスまたはビーコンは、最初のキャリブレーションまたは再構成を簡素化する、また更には排除するのに役立つ。非限定的且つより包括的な一使用法は、ＭＡＲＧ＋光学（例えばＣＭＯＳセンサ）である。これは、慣性、光学および磁気による位置および向きの感知の組み合わせを提供する。例えばＷｅｌｃｈら（上記で引用）に記載のＫａｌｍａｎフィルタリングまたは他の技術を用いてこれらの出力を融合して、または組み合わせて、融合結果を得ることができる。図９Ａ、図９Ｂに示す付属部品を用いない可動型ディスプレイＭＤの例では、テレビ画面の位置に関連する絶対値測定にとって唯一の基準ソースとなる光学直接ポインティングデバイスはない。このようなアプリケーションでは、システムＳは２つのディスプレイＭＤ、ＳＤ間のみの姿勢の空間相関を提供するが、絶対的または相対的位置の空間相関は提供しない。
【００８４】
本明細書では非限定的実施形態に関して技術を述べてきたが、本発明は本開示に限定されない。例えば本開示の概念の本質および実施可能な様々な異なる実施形態の詳細によると、本明細書中の多くの記載は、最終的に消費者に入手可能となり得る特定の実際の製品には対応しない。さらに、好ましい実施形態では静止型ディスプレイＳＤと可動型ディスプレイＭＤとが用いられるが、両方のディスプレイ共が可動型であってもよいし静止型であってもよい。あるいは３台以上のディスプレイがあり、一部が可動型で一部が静止型であってもよい。ＳＤおよびＭＤの一方または両方が、観察者に奥行き感のある立体画像を提供する３Ｄディスプレイ（例えば自動立体視ディスプレイ）であってもよい。ディスプレイＳＤおよびＭＤの一方または両方が、いわゆる高精細度ディスプレイ（例えば１，２８０×７２０ピクセル（７２０ｐ）または１，９２０×１，０８０ピクセル（１０８０ｉ／１０８０ｐ））であってもよい。さらに、ディスプレイＳＤおよびＭＤに表示された画像は、適切に変換または処理された動画化エンジン、ビデオゲームマシン、シミュレータまたはビデオなどのいずれのソースからのものでもよく、これにより異なる視界からのディスプレイが提供される。本発明は請求の範囲によって定義され、本明細書に具体的に記載されているか否かにかかわらず対応する構成および均等な構成のすべてを包括する。
【技術分野】
【０００１】
（関連出願の相互参照）
本出願の優先権主張の基礎となる出願は、２０１１年２月２日出願の米国特許出願１３／０１９９２４および２０１１年２月２日出願の米国特許出願１３／０１９９２８の一部継続出願である。上記米国特許出願は共に米国特許法第１１９条により、以下の日本国特許出願に基づく優先権を主張している：特願２０１０−０２２０２２および２０１０−０２２０２３（２０１０年２月３日出願）、特願２０１０−１７７８９３（２０１０年８月６日出願）、特願２０１０−１８５３１５（２０１０年８月２０日出願）、特願２０１０−１９２２２０および２０１０−１９２２２１（２０１０年８月３０日出願）、ならびに特願２０１０−２４５２９８および２０１０−２４５２９９（２０１０年１１月１日出願）。上記米国特許出願および日本国特許出願のすべてを参考のためここに援用する。
【０００２】
（分野）
本技術は、ヒューマンマシンインターフェースに関し、特に複数の表示面を有する双方向グラフィカルコンピュータインターフェースに関する。本技術はさらに、複数の空間相関したディスプレイ（例えばハンドヘルドなど）を提供することにより仮想空間を介したユーザの体験を高める、没入型で直覚的な双方向マルチディスプレイヒューマンマシンインターフェースに関する。
【０００３】
（背景技術および概要）
われわれ人間は３次元空間に存在しており、われわれを取り巻く３Ｄ世界内のどこにいるかを知っている。あなたの左、右、上、下を見られたい。今、あなたは室内の３Ｄ環境内におけるご自分の位置を判定した。
【０００４】
コンピュータグラフィクスが双方向になって以来、人々は、現実世界を見回すことによって得られるものと同種の没入型空間体験を提供するヒューマンマシンインターフェースを創り出そうとしてきた。一例として、ユーザが周りを見回していわゆるＣＡＶＥ仮想環境と対話できるようにする慣性感知型のヘッドマウントディスプレイを提供するシステムが公知である。例えば、『Ｂｕｘｔｏｎ等、ＨＭＤ’ｓ， Ｃａｖｅｓ ＆ Ｃｈａｍｅｌｅｏｎ： Ａ Ｈｕｍａｎ−Ｃｅｎｔｒｉｃ Ａｎａｌｙｓｉｓ ｏｆ Ｉｎｔｅｒａｃｔｉｏｎ ｉｎ Ｖｉｒｔｕａｌ Ｓｐａｃｅ， Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ：Ｔｈｅ ＳＩＧＧＲＡＰＨ Ｑｕａｒｔｅｒｌｙ，（「ＨＭＤ、洞窟とカメレオン：仮想空間の双方向性に対する人間中心の分析」、コンピュータグラフィックス：ＳＩＧＧＲＡＰＨクウォータリー）３２（４）、６４〜６８頁（１９９８）』を参照のこと。しかし、ヘッドマウントディスプレイのなかには、ユーザの視野を制限し得るか、または人が現実世界と対話する能力を損ない得るタイプがある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
今日多くの家庭に普及しているフラットスクリーンテレビおよび他の同種のディスプレイを用いて仮想世界を表示することができる。これらは、高解像度または高精細度を有する適度に没入型の環境を低価格で提供し、ほとんどの消費者は既にこのようなディスプレイを所有している。これらのディスプレイのなかには「３Ｄ」（例えば特別な眼鏡を使用することによる）で、画像に奥行き感を与えるものさえある。テレビまたは他の同種のディスプレイを見ている、またはこれと対話している人は典型的には、少なくとも概してディスプレイの方を向いており、ディスプレイが提示する仮想環境を見てそれと対話し得る。室内にいる他の人々もディスプレイを見ることができ、それと対話し得る。これらのディスプレイは没入型コンテンツを表示するには優れているが、ステレオやシアターサウンドとは異なり、概してユーザを取り巻いたり取り囲んだりすることはない。取り巻きプロジェクション型または他のディスプレイも公知である（例えば、『Ｂｌａｎｋｅ等、「Ａｃｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｉｎ ａ Ｍｕｌｔｉｄｉｓｐｌａｙ Ｉｍｍｅｒｓｉｖｅ Ｅｎｖｉｒｏｎｍｅｎｔ」、Ｅｉｇｈｔｈ Ｅｕｒｏｇｒａｐｈｉｃｓ Ｗｏｒｋｓｈｏｐ ｏｎ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ（「マルチディスプレイ没入型環境におけるアクティブ視覚化」第８回バーチャル環境に関するユーログラフィックスワークショップ）（２００２）』参照）が、家庭用には高価すぎるかもしれない。さらなる革新が可能である。
【課題を解決するための手段】
【０００６】
本明細書に記載の技術の、限定しない（非限定的）いくつかの実施形態は、仮想空間への可動（例えば把持可能）窓または覗き窓（ｐｏｒｔｈｏｌｅ）の表示面を提供する。別のディスプレイ（例えば静止型ディスプレイ）に対する可動型ディスプレイ面の多次元空間特性である向きを決定し、これを用いて、複数のディスプレイの少なくともいくつかの空間特性の向きが相関されている間に画像を生成する。非限定的な一実施形態では、可動型ディスプレイは、仮想空間への一人称視点での「覗き窓」を提示することができる。この覗き窓からのビューは、多次元空間内において、ユーザに位置関係の空間的基準を提供する静止型ディスプレイに対する可動型ディスプレイの空間特性の向きに基づいて変化する。
【０００７】
非限定的な一局面では、ヒューマンマシンインターフェースは、複数の可視提示面を含み、これらのうち少なくともいくつかは可動である。例えば、あるディスプレイは仮想空間の画像を提示し、別の可動型ディスプレイは、同一の仮想空間の画像であるが、上記画像とは異なる可能性のある視点、視界、視野、縮尺、画像の向き、オーグメンテーション、および／または、他の画像特性または向きから見た追加の画像を提示するようにできる。
【０００８】
非限定的な可動型ディスプレイは、他のディスプレイに対するそれ自体の姿勢に応じて、仮想空間の追加の画像および／または他のユーザインターフェース情報（例えば、該他のディスプレイが提示する画像に関連する、またはその画像に対して補足的なテキスト、画像または動画）を選択的に表示することができる。
【０００９】
いくつかの実施形態では、可動型ディスプレイはある環境ではポインティングデバイスとして作用可能である。可動型ディスプレイが他のディスプレイの方を向いている／指し示しているときには、可動型ディスプレイの姿勢は該他のディスプレイ上のポインティング記号の位置を制御する、またはそれに影響を与えることができる。他のディスプレイとは異なる方を向いている／指し示しているときには、可動型ディスプレイは、該別のディスプレイ上に表示された仮想空間の更なる画像であって、可動型ディスプレイの姿勢に依存する異なる視線方向から見た画像を表示することができる。
【００１０】
技術を用いて、物理世界にあるディスプレイのうち少なくとも１つの空間特性の向きを決定することができ、決定された空間特性の向きを用いて、適切な視点、視界、および／または、視線方向から見た画像、および／または、他の特性を有する画像をディスプレイ上に提示することができる。非限定的な一実施形態では、静止型または他のディスプレイに対する可動型ディスプレイの上記決定された空間特性を用いて、上記複数のディスプレイが提示する画像間の相対的空間特性を提供することができる。
【００１１】
非限定的な一実施形態では、没入型空間ヒューマンマシンインターフェースであって、自由空間内で可動な少なくとも１つのハンドヘルドディスプレイと、可動型ハンドヘルドディスプレイの姿勢の少なくともいくつかの方位を決定するように構成された装置と、少なくとも１つの追加ディスプレイと、ハンドヘルドディスプレイと追加ディスプレイとに対して作用可能に接続された少なくとも１つのグラフィカル画像生成部であって、ハンドヘルドディスプレイと追加ディスプレイとの各々に表示させる仮想空間の画像を生成する少なくとも１つのグラフィカル画像生成部とを含み、少なくとも１つのグラフィカル画像生成部は、ハンドヘルドディスプレイおよび追加ディスプレイに表示させる、同一または類似の仮想位置、視点、地域、有利な地点、地域、近傍、領域などから見た異なる視界（ビュー）の画像を、決定された姿勢の方位に少なくとも部分的に応じて生成して２つのディスプレイ間の空間相関を提供し、それによって前記ヒューマンマシンインターフェースにおける空間への没入性を高める、インターフェースが提供される。
【００１２】
このような非限定的実施例のインターフェースではさらに、２つの画像が実際上類似であれば、ハンドヘルドディスプレイによって提示された画像に代えて別の画像および／または関連情報が表示されてもよい。本明細書において「実際上類似」と表現する場合、２つのディスプレイを見ているユーザから見て類似、同一、またはほぼ同一であることを含み得る、または意味し得る。
【００１３】
いくつかの実施形態では、追加ディスプレイは、相対的に大型の静止型ディスプレイを含み、少なくとも１つのグラフィカル画像生成部は、決定された姿勢の向きに基づいて静止型ディスプレイ用に生成した画像に関して、境界部、周囲または周縁の場合に周りを見回す視界をシフトする可能性はあるがそれ以外は、レンダリングの視界（視点）を実際上変更しない。
【図面の簡単な説明】
【００１４】
これらおよび他の特徴および利点は、非限定的実施形態の以下の詳細な説明を図面を参照しながら読むことにより、より完全に理解される。
【図１】可動型ディスプレイ装置と静止型ディスプレイ装置とを含むシステムの非限定的実施例を示す図である。
【図１Ａ】６自由度でオブジェクト（この場合は飛行機）を動かす例を示す図である。
【図２Ａ】実施例の可動型ディスプレイ装置が垂直方向に並行移動するときに可動型ディスプレイ上に提示される画像の例を示す図である。
【図２Ｂ】実施例の可動型ディスプレイ装置が垂直方向に並行移動するときに可動型ディスプレイ上に提示される画像の例を示す図である。
【図３Ａ】可動型ディスプレイ装置が垂直方向に並行移動するときに可動型ディスプレイ装置および静止型ディスプレイ装置上に提示される画像の例を示す図である。
【図３Ｂ】可動型ディスプレイ装置が垂直方向に並行移動するときに可動型ディスプレイ装置および静止型ディスプレイ装置上に提示される画像の例を示す図である。
【図４Ａ】可動型ディスプレイ装置がロール軸回りに回転するときに可動型ディスプレイ装置上に提示される画像の例を示す図である。
【図４Ｂ】可動型ディスプレイ装置がロール軸回りに回転するときに可動型ディスプレイ装置上に提示される画像の例を示す図である。
【図５Ａ】可動型ディスプレイ装置がロール軸回りに回転するときに可動型ディスプレイ装置および静止型ディスプレイ装置上に提示される画像の例を示す図である。
【図５Ｂ】可動型ディスプレイ装置がロール軸回りに回転するときに可動型ディスプレイ装置および静止型ディスプレイ装置上に提示される画像の例を示す図である。
【図６】可動型ディスプレイ装置がロール軸に直交するヨー軸回りに回転するときに可動型ディスプレイ装置および静止型ディスプレイ装置上に提示される画像の例を示す図である。
【図６Ａ】静止型ディスプレイ装置に対する可動型ディスプレイ装置の姿勢の様々な例であって、範囲内、範囲外および遷移領域の相対的姿勢を含む姿勢の様々な例を示す図である。
【図６Ｂ】範囲内の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｃ】範囲内の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｄ】範囲内の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｅ】範囲外の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｆ】範囲外の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｇ】範囲外の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｈ】範囲外の場合のアプリケーションおよび使用法の非限定的実施例を示す図である。
【図６Ｉ】遷移領域の場合のアプリケーションおよび使用法の非限定的実施例を示す図。
【図６Ｊ】遷移領域の場合のアプリケーションおよび使用法の非限定的実施例を示す図。
【図７】可動型ディスプレイ装置のアプリケーションの非限定的実施例を示す図である。
【図８Ａ】人が両手で可動型ディスプレイ装置を保持する様子を示す図である。
【図８Ｂ】人が一方の手で可動型ディスプレイ装置を保持し、他方の手の人差し指をタッチスクリーンに向ける様子を示す図である。
【図８Ｃ】可動型ディスプレイ装置が面上にある状態を示す図である。
【図８Ｄ】複数の可動型ディスプレイ装置を共通の静止型ディスプレイと共に用いる様子を示す図である。
【図８Ｅ】可動型ディスプレイ装置を面上に載置または保持し、スタイラスをタッチスクリーン上に表示された画像に向けて、この画像を操作する様子を示す図である。
【図９Ａ】可動型ディスプレイ装置を一例としてのガンタイプの付属デバイスに取り付けた例を示す図である。
【図９Ｂ】可動型ディスプレイ装置を一例としてのガンタイプの付属デバイスに取り付けた例を示す図である。
【図１０Ａ】可動型ディスプレイ装置の非限定的実施例をさらに詳細に示す図である。
【図１０Ｂ】可動型ディスプレイ装置の非限定的実施例をさらに詳細に示す図である。
【図１０Ｃ】可動型ディスプレイ装置の非限定的実施例をさらに詳細に示す図である。
【図１０Ｄ】可動型ディスプレイ装置の非限定的実施例をさらに詳細に示す図である。
【図１１】可動型ディスプレイ装置の非限定的実施例を示すブロック図である。
【図１２】処理の非限定的実施例を示すフローチャートである。
【図１２Ａ】静止型ディスプレイの視体積および変換ならびに可動型ディスプレイの現在の姿勢に応じた可動型ディスプレイの視体積および変換の非限定的実施例を示す図である。
【図１２Ｂ】処理の更なる非限定的実施例を示すフローチャートである。
【図１３Ａ】ユーザが体験する仮想駆動シミュレーションの非限定的実施例を示す図である。
【図１３Ｂ】ユーザが体験する仮想駆動シミュレーションの非限定的実施例を示す図である。
【図１４Ａ】ユーザが体験する仮想一人称視点の非限定的例を示す図である。
【図１４Ｂ】ユーザが体験する仮想一人称視点の非限定的例を示す図である。
【発明を実施するための形態】
【００１５】
図１は、空間没入型双方向マルチディスプレイヒューマンマシンインターフェースを提供するシステムＳの非限定的実施例を示す。非限定的実施例におけるシステムＳは、２つのディスプレイ装置ＳＤ、ＭＤを含む。一方は可動（例えば把持可能）型であり、他方は静止型である。実施形態における可動型ディスプレイＭＤは、使用中に自由空間内で物理的に動かすことが可能であり、静止型ディスプレイＳＤは、使用中に空間内で物理的に相対的に静止している。無論、家庭用テレビなどの静止型ディスプレイＳＤはある場所から別の場所に移動させることはできるが、使用中は概して動かされない（あるいはあまり動かされない）。静止型ディスプレイＳＤの相対的に固定された位置によって、物理的に静止しているディスプレイＳＤと可動型ディスプレイＭＤとの物理的な相関関係が提供される。したがって用語「静止型」は必ずしも絶対的に動かないことを意味するわけではなく、使用中に概して動かされない（あるいはあまり動かされない）ディスプレイを含み得る。別の非限定的実施形態では、静止型ディスプレイＳＤも可動であるか、または部分的に可動であり得る。
【００１６】
１以上のグラフィックスソースＧは、コンピュータで生成された画像または他の画像を表示するようにディスプレイ装置ＳＤ、ＭＤを制御するか、または該表示を可能にする。図示する非限定的実施例では、ディスプレイ装置ＳＤ、ＭＤは空間的な相関関係を有し、共通の仮想世界の様子であって、例えば異なる視点または視界からの様子をそれぞれ表示する。
【００１７】
ディスプレイ装置ＳＤが静止型である場合、３Ｄ空間内でのその位置および姿勢は想定することができ、測定する必要はない。センサＴは、例えばＭＡＲＧ（「磁気・角速度・重力」）技術を用いて、可動型ディスプレイ装置ＭＤの、変化し得る空間特性である姿勢または他の向きを測定する。
【００１８】
グラフィックスソースＧは、センサＴからの情報に応じて、ディスプレイ装置ＳＤ、ＭＤの一方または両方に表示された画像を制御するように構成されている。例えばグラフィックスソースＧは、センサＴから情報を受け取り、受け取ったセンサ情報に基づいて上記表示された画像を制御する処理回路を含んでもよいし、上記処理回路と通信してもよい。
【００１９】
非限定的本実施形態では、可動型ディスプレイ装置ＭＤが表示した画像の視界、視点および／または視線方向は、可動型ディスプレイ装置の空間特性に応じて変化する。いくつかの例では、これらの画像の視界、視線方向および／または視点は、２つのディスプレイ装置ＳＤ、ＭＤの見かけ上または実際の相対的な空間特性によって少なくとも部分的に決定され、２つのディスプレイの提示画像を継続的に空間相関する。したがって非限定的な一実施形態において、可動型ディスプレイＭＤ上に提示された一連の画像は、静止型ディスプレイＳＤ上に提示された一連の画像と空間的および時間的に相関している。
【００２０】
ある特定の実施形態では、物理的ディスプレイ装置ＳＤはそれが位置する室内で物理的に静止している。ディスプレイ装置ＳＤは例えば、３Ｄ仮想世界（この例では素晴らしい山を含む風景）の画像を提示するために用いられる相対的に大きな固定型ディスプレイ（例えば壁掛け型またはテーブル置き型のテレビまたは他のディスプレイ）であり得る。ディスプレイ装置ＳＤが表示する画像は静止画であってもよいし、動画であってもよい。例えばこれらの画像は、例えばユーザ入力または他の要因に応答して、視点を含む様々な方法で動的に変化する動画および／または動画化（例えば実写）画像であり得る。
【００２１】
図示する非限定的実施形態では、ディスプレイ装置ＭＤは自由空間内で可動である。可動型ディスプレイ装置ＭＤは、移動しながら、静止型ディスプレイＳＤ上に表示されるものと同一の仮想世界の動画を表示することができる。しかし、可動型ディスプレイ装置が表示する仮想世界の画像は、可動型ディスプレイ装置ＭＤの空間特性の向きに基づいて変換される。例えば可動型ディスプレイＭＤの姿勢を用いて、異なる視点、視界、視線方向、視野、画像の向き、オーグメンテーション、縮尺および／または他の画像特性による仮想世界を可動型ディスプレイに表示することができる。
【００２２】
人は、自由空間内の任意の位置に可動型ディスプレイ装置ＭＤを移動させることができる。自由空間内の任意の位置にオブジェクトを移動させることは「６自由度（６ＤＯＦ）」で移動させると表現されることがある。なぜならオブジェクトが移動できる基本的方法は概して６つあるからである（例として飛行機を示す図１Ａを参照のこと）。
１）上下、
２）左右、
３）前後、
４）ピッチ回転（先端を上下させる）、
５）ヨー回転（水平飛行中のコンパス方位または向き）、および
６）ロール回転（一方または他方の翼を上げる）
【００２３】
例えば人は、互いに直交する３軸、すなわち上下（垂直または「ｙ」）、左右（水平または「ｘ」）および前後（奥行きまたは「ｚ」）のいずれに沿ってもディスプレイ装置ＭＤを動かす（「並行移動」させる）ことができる。人は、互いに直交する３回転軸（ピッチ、ヨー、ロール）のうちいずれの回りにもディスプレイ装置ＭＤを回転させることができる。人は、任意のオブジェクトと同様、これら「６自由度」のうち任意の組み合わせで同時にディスプレイ装置ＭＤを動かし、３次元空間内で任意の方向および任意の姿勢にディスプレイ装置ＭＤを動かすことができる。例えば人は、ディスプレイ装置ＭＤを下方または他の任意の方向に並行移動させると同時にロール（および／または他の任意の）回転軸回りに回転させることができる。これは例えば飛行機がローリングすると同時に下降するようなものである。
【００２４】
非限定的実施形態では、システムＳは、可動型ディスプレイＭＤの空間特性の向き、例えば姿勢の向きを検出するセンサＴを有する。これらのセンサＴは加速度計、ジャイロセンサ、磁気計、超音波トランスデューサ、カメラなどのうち１以上を含んでもよい。これらのセンサによって、可動型ディスプレイ装置ＭＤは、ディスプレイ装置の空間特性の現在の向きに応じた、異なる視点、視界、視線方向、または、他の特性にそれぞれ対応する、仮想世界（例えば、山）の異なる部分を表示することが可能となる。
【００２５】
非限定的実施例では、人は可動型ディスプレイ装置ＭＤを動かして、山の異なる部分を調べることができる新しい姿勢を取らせることが可能である。例えば山の麓を見るために、ディスプレイ装置ＭＤを下方に動かす、または回転させることができる。１以上のセンサＴがこの下方への動き、例えば並行移動および／または回転を検出し、グラフィックスソースＧが下方への動きが検出されたことに応答して、可動型ディスプレイ装置ＭＤに山の麓を表示させる。グラフィックスソースＧは同時に、静止型ディスプレイ装置には山の同じビューを表示し続けてもよい。これによりグラフィックスソースＧは、ディスプレイ装置ＭＤが山の麓を示していることを理解するための基準またはコンテキスト（位置関係を表すもの）として、および山の別の部分を見るために更にディスプレイ装置ＭＤを動かす、または回転させるための基準またはコンテキストとして、人が直覚的に用いることができるビューを効果的に提供する。例えば人は、山の頂上を見るために、ディスプレイ装置を上方に動かす、または回転させることができる。
【００２６】
いくつかの非限定的実施例では、人はディスプレイ装置ＭＤを動かして、３Ｄ仮想世界のうち静止型ディスプレイＳＤでは現在見ることができない部分を調べることができる。例えば、ディスプレイ装置ＭＤを左右、上下、または静止型ディスプレイ装置ＳＤから離れる方向に回転させて（例えば、可動型ディスプレイ装置ＭＤから延びる線であって可動型ディスプレイ装置の平面に対して垂直な方向の線が静止型ディスプレイＳＤに交差しないような方向に）、仮想世界のうち静止型ディスプレイＳＤでは現在見ることができない部分（例えば、他の山、山の中の湖、谷、街、同じ山の別の側など）が見えるようにすることができる。
【００２７】
このように一実施例では静止型ディスプレイＳＤは、３Ｄ仮想空間内でユーザを方向づける空間的基準として作用する。静止型ディスプレイＳＤは、可動型ディスプレイ装置ＭＤを用いるユーザに、知覚的コンテキストまたはアンカーを提供する。人は静止型ディスプレイＳＤと可動型ディスプレイＭＤとを同時に見ることができるため、人の脳は両方の画像を考慮に入れる。２つの画像の少なくともいくつかの向きが空間的に相関すると、人の脳は２つの表示画像を補間または解釈して、同一の仮想世界への２つの窓または他のビューとすることができる。このように可動型ディスプレイＭＤは、静止型ディスプレイＳＤに表示された画像のみからは得られない３Ｄ空間効果を提供する。
【００２８】
静止型ディスプレイＳＤに表示された画像は静止画であっても動画であってもよい。例えば、ジョイスティックを用いてバーチャルリアリティのデータベース内または空間内でキャラクタを動かすことが可能である。例えば、アナログスティックを用いて一人称プレイヤの方向を変更し、ゲーム中ずっと一人称キャラクタの歩行を制御することができる。一例はバーチャルリアリティのウォークスルーであり得る。この場合、静止型ディスプレイ（例えばテレビ）がキャラクタのビューまたは位置を動画シーンとして表示する。可動型ディスプレイＭＤの制御を操作（または可動型ディスプレイのハウジングの姿勢を変更）することにより、例えばシステムＳが静止型ディスプレイＳＤ上に一連の画像を生成し得る。これらの画像は次々に入れ替わって、仮想キャラクタが仮想シーンを進む様子を示す。いくつかの非限定的実施形態では、静止型ディスプレイＳＤに表示された変化する画像は、このように動画化されて、仮想キャラクタが３Ｄ仮想空間内を移動する間に様々な異なるオブジェクト、敵、味方および他の仮想物体を示し得る。図１４Ａを参照されたい。いくつかの実施形態では、ユーザは３Ｄ空間内で変化するビューを規定するために用いる仮想カメラの視点および視線方向を制御することができる。一旦仮想キャラクタが止まって可動型ディスプレイＭＤの姿勢が変更される（図１４Ｂ参照）と、ユーザは可動型ディスプレイＭＤ上のバーチャルリアリティのデータベースの追加のビューを見るというオプションを有し得る。例えばユーザは、可動型ディスプレイＭＤの姿勢を変更することによって仮想空間内で「周りを見回す」こと、または「首を伸ばす（ことによって向こうのものを見る）」ことができ、それによって仮想空間のうち静止型ディスプレイに現在表示されていないビューを表示することができる。人が可動型ディスプレイＭＤを用いて首を伸ばす、または周りを見回すことができると同時に、仮想キャラクタが双方向的に動く（歩く、または走る）ことが可能である。このように周りを見回すことは、おそらく仮想環境内で仮想キャラクタが一旦動きを停止した場合に最も自然に起こるが、歩くことまたは他の動きをすることと、首を伸ばすこととを同時にすることも可能である。
【００２９】
このようにシステムＳは高度の双方向性を提供する。人は、３Ｄ空間内の任意の位置に移動可能な追加の空間相関した視野面と対話することにより、仮想環境に没入する。自分が仮想環境内にいるかのように感じる。可動型ディスプレイＭＤを回転および／または並行移動させることにより（または可動型ディスプレイ装置を保持しながら自分自身が回転および／または並行移動することにより）、仮想環境内で周りを見回したり、仮想環境の新しい面を探索および発見することができる。さらには、興味または好奇心を持って周りを見回したり調べたりすることによって、仮想環境内で首を伸ばしたり熱心に周りを見回したりすることも可能である。さらに可動型ディスプレイＭＤ上の追加のユーザ入力装置を介して仮想環境と対話することもできる。例えば非限定的な一実施形態では、可動型ディスプレイＭＤは、人が仮想環境の一部を直接操作（例えばタッチ）できるようにするタッチセンサＴＳを提供する。図８Ｂを参照されたい。一方、静止型ディスプレイＳＤはずっと人の視界内にある。そのため人が仮想環境のハンドヘルド型空間相関パッチを動かし更にこれと対話しているときに、静止型ディスプレイＳＤは人に基準、または、位置を確認するためのアンカーを提供し続ける。
【００３０】
例えば人が仮想空間内を仮想的に歩いているとする。人は仮想世界で仮想的に歩くことができ（例えばジョイスイティックまたは可動型ディスプレイＭＤ上のスライダー型のコントロールを制御することによる）、ユーザが仮想空間内で前に進んでいることを反映してそれに対応して変化する、静止型ディスプレイＳＤ上の画像を見ることができる。人はいつでも立ち止まって周りを見回すことができる。このときシステムＳは、ほぼ同一の位置からの２つの異なる角度を規定することができる。非限定的な一実施形態では、２つのディスプレイ（一方はＳＤで他方はＭＤ）は、同一または類似の位置に基づいているが、２つの異なる視角または視界によって規定されるということが可能である。
【００３１】
非限定的な一実施例では、可動型ディスプレイ装置のタッチスクリーンＴＳのサイズは、可動型ディスプレイ装置ＭＤが容易に動かせて保持しても疲れないぐらい小さいが、可動型ディスプレイ装置ＭＤが提示する３Ｄ仮想世界の空間相関パッチが人の空間感覚に有意な影響を与えるほどには大きい。可動型ディスプレイ装置ＭＤは静止型ディスプレイＳＤよりもずっと人の目に近いため、人はその視野内で可動型ディスプレイ装置ＭＤが大きいと知覚する。実際、人は静止型ディスプレイＳＤが一時的に見えない、または隠れた状態になるように可動型ディスプレイ装置ＭＤを保持することができる。しかし静止型ディスプレイＳＤは人の環境内に存在し続け、時々は見える。静止型ディスプレイＳＤは、可動型ディスプレイＭＤに表示された空間相関した画像が静止型ディスプレイＳＤが表示するものと同一の仮想環境の一部であるように見せるコンテキストで、人の視覚を固定化し方向づける。概して、静止型ディスプレイＳＤの大型画面の方が大きいため、これを見る方が快適である。静止型ディスプレイＳＤおよび可動型ディスプレイＭＤに対して、同一、実際上同一、または類似の画像が表示されるならば、ほとんどのプレイヤは小型画面よりも大型画面に注目する。多くの非限定的場合では、ポインティングカーソルはポインティングターゲットとして静止型ディスプレイＳＤ上に表示され得る。可動型ディスプレイＭＤの姿勢を変更することにより、静止型ディスプレイＳＤの表示領域または他の提示領域内でポインティングターゲットの位置を制御することが可能である。
【００３２】
本明細書において、「実際上類似」または「実際上同一」とは、ユーザから見て同一またはほぼ同一であることを意味する。一実施形態では、処理は必ずしも画像が全く同一であることを条件にしていない。ユーザから見て視界が同一または類似であれば、または範囲内の状態であれば、処理は行われる。非限定的な一実施例では、「範囲内」の場合（例えば、可動型ディスプレイ装置ＭＤからの線であって可動型ディスプレイ装置の平面に対して垂直な方向の線が静止型ディスプレイＳＤ、または静止型ディスプレイＳＤの想定位置に交差する場合）、可動型ディスプレイは異なる情報を表示する。したがって２つのディスプレイ装置上のディスプレイがユーザの立場から見て本質的に同一である場合、ユーザは逆に、可動型ディスプレイＭＤ上に何か異なるものを見ることがある。
【００３３】
例えば、非限定的な別の実施例（図１３Ａ、図１３Ｂ参照）では、静止型ディスプレイＳＤは、田舎道を走る車のフロントガラスから運転者が見る景色を表示し得る。図１３Ａの例では、可動型ディスプレイＭＤは「ダッシュボード情報」、例えば速度、燃料レベルおよび他の情報を表示することができる。いくつかの非限定的実施例では、可動型ディスプレイ装置ＭＤは、静止型ディスプレイＳＤが表示しているもの全て（またはその一部）をぼかした又はかすませた状態で表示し得、ダッシュボード情報は、ぼかした又はかすんだ表示の上に重ねて表示される。他の実施例では、ダッシュボード情報は別の背景の上に重ねて表示されるか、または背景のない状態で表示される。静止型ディスプレイＳＤにこのコンテキストまたはアンカーが提示された場合、人は直覚的に可動型ディスプレイ装置ＭＤを動かしておよび／または回転させて、助手席または後部座席の人に見える景色、または助手席側または運転席側の窓から見える田舎の景色を提供し得る。このようにユーザは、例えば仮想車両の窓から外を見たり（図１３Ｂ）、車両の後ろを見たりすることができる。車が道を走行している間、人は車の中にいるかのように感じる。システムＳは、この空間没入経験に追加し得る空間特性に応じて、サラウンド音響効果、触覚または他の知覚情報を生成することができる。
【００３４】
多くの非限定的場合では、相対的に小型の可動型ディスプレイＭＤは、例えば武器あるいは他のアイテムの選択、または、ステータス情報を示す。主体が可動型ディスプレイを見続ける必要はなく、好きなときにタッチして例えばアイテムを選択したり変更したりできる。大型画面ＳＤで何か面白いことが起これば、例えば音や声が聞こえたり、大型画面で敵が飛び上がったり飛び去ったりすれば、人は可動型ディスプレイ装置の位置を変える、またはそれを動かすことによって、上方、下方また更には後方のような「範囲外」（例えば可動型ディスプレイ装置ＭＤからの線であって可動型ディスプレイ装置の平面に対して垂直な方向の線が、静止型ディスプレイＳＤまたは静止型ディスプレイＳＤの想定位置に交差しない状態）の位置に置くことができる。静止型ディスプレイＳＤのビューを取り囲む連続領域が可動型ディスプレイＭＤに表示され、静止型ディスプレイは同一または類似の位置に存在し続ける。静止型ディスプレイＳＤの大型画面は仮想世界の絶対的または相対的基準となり、人が元の場所へ引き返したり元の場所を一瞥したりすることを可能にする。
【００３５】
（ディスプレイ間の空間相関の具体例）
図２Ａ〜図７は、可動型ディスプレイＭＤが提供する画像と静止型ディスプレイＳＤが提示する画像間との相関関係の非限定的な例を示す。可動型ディスプレイがどのようにして仮想環境と双方向に作用するかをより良く説明するために、一部の図面に可動型ディスプレイＭＤ自体を示し（静止型ディスプレイＳＤが存在していないか、作動していないかのように）、その後の図面に可動型ディスプレイと静止型ディスプレイとの相関関係を示す。
【００３６】
図２Ａおよび図２Ｂは、一連の多角形（ポリゴン）Ｐ１〜Ｐ５を含む単純な３Ｄ仮想世界または３Ｄ仮想空間への窓として作用する可動型ディスプレイ装置ＭＤを示す。現実の３Ｄ世界には、ディスプレイ装置ＭＤと人とが存在する。破線で示す多角形（Ｐ１〜Ｐ５）は仮想３Ｄ世界に存在する。人は腕と手で可動型ディスプレイ装置ＭＤを保持している可能性があるが、図２Ａおよび図２Ｂは簡略化しているため腕と手を省略している。
【００３７】
非限定的実施形態では、ディスプレイ装置ＭＤに表示させる画像を生成するための、仮想世界の視点、視界または視線方向、あるいは他の視野変換が、ディスプレイ装置ＭＤの現実世界の姿勢によって決定される。例えば図２Ａは、可動型ディスプレイＭＤが八面体Ｐ３の斜視図をその表示フレームの底部近傍に表示している様子を示す。ディスプレイ装置ＭＤをｙ方向に沿って下方に移動させることにより（図２Ｂ参照）、八面体の底部がディスプレイ装置の表示フレームの上部近傍に表示されるように画像がシフトする。このように、可動型ディスプレイ装置ＭＤの空間特性が変化すると、可動型ディスプレイ装置上にディスプレイを生成し提示するためにシステムＳが用いる仮想世界への視点、視界または他の視野変換が変化する。
【００３８】
図３Ａおよび図３Ｂは同じ状況に静止型ディスプレイＳＤが加わった様子を示す。一実施形態では、静止型ディスプレイＳＤに表示させる画像を生成するために用いられる、３Ｄ仮想世界への視点、視界または視線方向、あるいは他の視野変換は変わらない。非限定的実施形態では、人は可動型ディスプレイ装置ＭＤ上の画像と静止型ディスプレイ装置ＳＤ上の画像とを同時に見ている。さらに、人が可動型ディスプレイ上の画像の向きを静止型ディスプレイ上の画像に対して変更した場合、システムＳは２つの表示画像間の空間相関の少なくともいくつかの向きを維持する。したがって人は、可動型ディスプレイ装置ＭＤ上に表示された仮想世界の一部は、静止型ディスプレイＳＤ上に表示された仮想世界の一部に対する空間特性を表していると知覚する。特に、センサＴは空間特性の変化を感知し、グラフィックスソースＧは、八面体のうち、この空間特性の変化に直覚的に対応する部分を表示するように可動型ディスプレイ装置ＭＤを制御し、または該表示を可能にする。効果は著しく、高度に直覚的、没入的そして双方向性である。特に静止型ディスプレイ装置ＳＤが相対的に大型（例えば最近の大型画面ＬＣＤ、プラズマ、またはプロジェクション型ディスプレイ）であって、採用されている３Ｄグラフィックス生成がフォトリアリスティックに近い場合、人は静止型ディスプレイ装置ＳＤが表示する画像を仮想現実として受け入れ、可動型ディスプレイＭＤが表示する画像を同一の仮想現実の可動パッチまたは一片として受け入れる。可動型ディスプレイＭＤが表示するパッチは、人が可動型ディスプレイをどのように動かすかにかかわらず、少なくともユーザから見た場合、システムＳが該パッチと静止型ディスプレイＳＤが表示する画像との空間相関を維持するという意味で、多次元的である。
【００３９】
静止型ディスプレイ装置ＳＤが表示する画像はそれ自体、リアリスティックであるだけでなく双方向性であり動画化されている（例えば実写）。可動型ディスプレイＭＤ上に表示されるパッチもまた双方向性であり動画化（例えば実写）されている。人は大型の静止型ディスプレイの提示画像にある程度没入しているように感じ得るが（そしてこの没入状態は３Ｄ効果および双方向性の提供により向上し得る）、静止型ディスプレイ装置ＳＤの没入性は、可動型ディスプレイＭＤ上の空間相関された画像パッチを追加することによって実質的に高まる。
【００４０】
可動型ディスプレイ装置ＭＤは人に近いため、サイズは小さく適切であるが没入性も高くなり得る。可動型ディスプレイ装置ＭＤはさらに、ユーザ入力に応答して、動画化された双方向画像を表示してもよい。一実施形態では、人は、可動型ディスプレイ装置を動かすことにより、仮想３Ｄ世界に対する可動型ディスプレイ装置ＭＤの視点、視界、視線方向または他の視野変換を制御することができる。可動型ディスプレイ装置ＭＤは、仮想世界への双方向ビューを提供し、このビューは人が身体や頭部などを動かす際に変化する。この機能によって人は、仮想３Ｄ世界との高度な没入型双方向性を楽しむことができる。この効果は、同一の仮想世界内でユーザを方向づけるより大きな没入性画像を提供する静止型ディスプレイＳＤの偏在性によって実質的に向上する。一実施形態では、人は動画化仮想３Ｄ世界への自分だけの覗き窓を有しており、頭部着用ディスプレイまたは特別な眼鏡などの拘束的道具を着用する必要はない。
【００４１】
さらにいくつかのアプリケーションではユーザは、可動型ディスプレイＭＤが表示するパッチと直接対話することができる。一実施例ではシステムＳは、ユーザが可動型ディスプレイＭＤに指またはスタイラスを置くことによって仮想世界の一部に触れることをシミュレートすることができる。図８Ｂ、図８Ｅを参照のこと。
【００４２】
例えば、可動型ディスプレイ装置ＭＤを動かして図３Ａに示す姿勢から図３Ｂに示す姿勢にすると、可動型ディスプレイ装置ＭＤが表示する画像の内容が静止型ディスプレイ装置ＳＤが表示し続ける画像に対して変化する。いずれの姿勢でも、可動型ディスプレイ装置ＭＤは、静止型ディスプレイ装置ＳＤが表示する仮想世界の部分であるサブセットに見えるものを表示してもよい。しかし特定のサブセットは、人が可動型ディスプレイ装置ＭＤをどこへ動かすかに応じて変化する。いくつかの実施形態では、可動型ディスプレイ装置ＭＤを下方に動かすと、可動型ディスプレイ装置ＭＤ上に表示させる画像を生成するために用いられる、仮想カメラの視点、視界、視角または視野変換が変化し、その結果、静止型ディスプレイＳＤ上に表示される八面体の上部ではなく底部が可動型ディスプレイＭＤ上に表示されるようになる。他の実施形態では、可動型ディスプレイＭＤは仮想空間のサブセットを選択的に表示してもよいし、これに代えて又はこれに加えて、例えば静止型ディスプレイＳＤに対する可動型ディスプレイの姿勢に応じて他の情報（例えば、メニュー、スコア、統計、補足テキスト、または他の補助的情報）を表示してもよい。
【００４３】
さらにいくつかの非限定的実施形態では、可動型ディスプレイはこのように使用されている間、ポインティングデバイスとして作用して静止型ディスプレイＳＤが表示するポインティングオブジェクトの位置を特定してもよい。可動型ディスプレイＭＤに対して垂直な線が静止型ディスプレイＳＤの想定位置に交差した場合、システムＳは可動型ディスプレイＭＤの姿勢の方位を用いてポインティングオブジェクト、例えば静止型ディスプレイＳＤ上のカーソル、サイトまたは他のインジケータの位置を制御してもよい。
【００４４】
さらなる実施例として図４Ａおよび図４Ｂは、人がロール軸回りに可動型ディスプレイ装置ＭＤを回転させると何が起こり得るかを示す。回転の前後で、人は仮想３Ｄ世界を見ることができるかのように、可動型ディスプレイ装置ＭＤ上に同じ向きで表示されている八面体を見る。この特定の実施例では、可動型ディスプレイ装置ＭＤを介した人の視点が静止型ディスプレイＳＤが表示する仮想空間の一部と交差すると、可動型ディスプレイは仮想世界への透明窓として作用するように見える。但しいくつかの実施形態では、可動型ディスプレイ装置が表示する画像は何らかの方法でエンハンスまたはオーグメントすることができる。いくつかのアプリケーションでは、可動型ディスプレイ装置ＭＤをピッチまたはロール方向に回転させると、可動型ディスプレイが提示する画像の３Ｄの視界が変化し、ユーザの目の視界では透明窓の錯覚が維持される。可動型ディスプレイＭＤをさらに回転させて静止型ディスプレイＳＤに現在表示されていない視界またはオブジェクトが窓から見えるのではないかとユーザに思わせることにより、このような追加のオブジェクトまたは視界が可動型ディスプレイの姿勢と空間的に一致した状態で見えるようにすることができる。これらのオブジェクトは静止していてもよいし、動画化されていてもよく、あるいはその組み合わせであってもよい。
【００４５】
図５Ａおよび図５Ｂは、一実施形態において、同一の八面体の向きが静止型ディスプレイＳＤに表示されている様子を示す。このような表示機能によって、可動型ディスプレイＭＤは人が仮想世界を覗き見ることができる個人の覗き窓または窓であるという錯覚が維持される。いくつかの実施形態では、可動型ディスプレイＭＤは、静止型ディスプレイＳＤの一部のビューを複製するのではなく、他の情報（例えば、テキスト、グラフィックス、命令、入力フィールドなど）を表示するために用いることができる。このことは、それ以外の場合に可動型ディスプレイ装置ＭＤが空間特性に応じて表示する仮想世界のビューが、静止型ディスプレイＳＤがすでに提示しているビューと同一の広がりを有する場合はいつでも可能である。さらなる実施形態では、可動型ディスプレイＭＤが表示する別の情報は、可動型ディスプレイがその姿勢の少なくともいくつかの向きに基づいて提示する仮想世界のビューに重なるオーグメンテーションであってもよい。
【００４６】
図６は、可動型ディスプレイ装置ＭＤの姿勢を変えて、それが表示する画像が静止型ディスプレイ装置ＳＤが表示する画像のサブセットでもなく該画像と同一の広がりを有するわけでもないようにする例を示す。この場合、可動型ディスプレイＭＤの面に垂直な線は、静止型ディスプレイＳＤの想定位置にも実際の位置にも交差しない。図示する例では、静止型ディスプレイ装置ＳＤはピラミッド形状、八面体およびプリズム（Ｐ２、Ｐ３、Ｐ４）を表示するが、立方体（Ｐ１）は見えない。人と仮想立方体との間に仮想窓として配置される空間姿勢となるように可動型ディスプレイ装置ＭＤを動かすことにより、人は可動型ディスプレイ装置上に立方体を「見る」ことができる。人は両方のディスプレイＳＤおよびＭＤを同時に見ることができるため、可動型ディスプレイ装置ＭＤは、自分は仮想世界内に存在し仮想世界に囲まれていると人に感じさせることにより没入型３Ｄ仮想世界の空間特性を高める。可動型ディスプレイ装置ＭＤによって人は、静止型ディスプレイ装置ＳＤが見せていない仮想世界の面を発見する。例えば人は、可動型ディスプレイ装置ＭＤを下方に向けて自分が立っている地面または他の仮想表面（例えば、ゴルフのフェアウェイ、砂漠の砂、船または宇宙船のデッキ、または他の仮想表面）を見えるようにすることができる。ゴルフの例として図７を参照されたい。図７は、仮想のゴルフボールと仮想のゴルフクラブヘッドを示す。あるいは人は、可動型ディスプレイＭＤを上方に向けて仮想の天井、空、星、月または他の仮想頭上空間を見ることができる。可能性は無限である。このような場合、所望であれば空間において延びる線（キュー）を静止型ディスプレイＳＤ上に表示して、人が可動型ディスプレイＭＤ上に表示された画像またはアクションと静止型ディスプレイＳＤ上に表示された画像またはアクションとを知覚的に相関づけることを補助することができる。この例では可動型ディスプレイＭＤは静止型ディスプレイＳＤの空間を延長するものとして作用し、それによってシステムＳは多次元的な空間であって空間的に干渉可能なものとなりユーザの仮想空間視野を広げる。
【００４７】
静止型ディスプレイＳＤおよび可動型ディスプレイＭＤは２台以上あってもよい。図８Ｄは、１台の静止型ディスプレイＳＤと２台の可動型ディスプレイＭＤ１、ＭＤ２とを有する実施例を示す。１人のユーザが１台の可動型ディスプレイＭＤ１を保持し、別のユーザが追加の可動型ディスプレイＭＤ２を保持することができる。２人のユーザは共に同じ静止型ディスプレイＳＤを見ることができる。このアプリケーションは、２人（またはそれ以上）のユーザが同じ仮想環境を同時に共有し対話したいと望む場合に有用である。ユーザは同じ場所にいる必要はない。例えばシステムＳはネットワーク、例えばインターネットまたは他のネットワークによって分散し、各ユーザが自身の静止型ディスプレイＳＤと可動型ディスプレイＭＤとを有し、すべてのディスプレイが同じ仮想環境の一部を表示することも可能である。
他の実施形態では、静止画面がなくてもよい。最初のキャリブレーションステップで物理的空間の向きの相関が始まるＮ個のモバイルスクリーンを想像されたい。このキャリブレーションステップの後、Ｎ個のスクリーンは仮想データベースの物理的、空間的にコヒーレントなビューを表す。あらゆる状況で明瞭に位置を感知するよい方法がある場合、これは位置相関にも拡張可能である。いくつかの実施形態では、向きは、磁気センサを用いて向きのドリフトを補正することによって決定される。しかし完璧な位置情報を有するより良い位置センサが存在すれば、上記と同じものを提供することが可能である。
【００４８】
（姿勢に基づいて可動型ディスプレイの状態を切り換えるアプリケーションの例）
いくつかの非限定的アプリケーションでは、可動型ディスプレイの、例えば静止型ディスプレイＳＤに対する姿勢および／またはポインティング方向に依存して複数の異なる目的または状態に可動型ディスプレイＭＤを用いることが望まれることがある。図６Ａは可動型ディスプレイＭＤの姿勢と静止型ディスプレイＳＤの姿勢との関係のうち以下の３つの異なる一般的タイプの関係を示す。
（ａ）範囲内、
（ｂ）範囲外、および
（ｃ）遷移領域。
【００４９】
図６Ａは複数の範囲外の場合ＯＲ１〜ＯＲ４を示す。範囲外の場合ＯＲ１〜ＯＲ４では、可動型ディスプレイＭＤから出たベクトルであって可動型ディスプレイの面に対して垂直なベクトルは、静止型ディスプレイＳＤの理想的位置または想定位置に対応する領域内の位置を示してもいないし、それに交差してもいない。図６Ａはさらに範囲内の場合ＩＲを示す。範囲内の場合ＩＲでは、可動型ディスプレイＭＤから出たベクトルは、静止型ディスプレイＳＤの理想的位置または想定位置に対応する領域内の位置を示すか、それに交差するか、またはその方向を向いている。図６Ａはさらに範囲内の場合ＩＲを取り囲むか、その境界線上にあるか、またはその周囲にある遷移領域ＴＡを示す。遷移領域ＴＡでは、可動型ディスプレイに対する垂線は、静止型ディスプレイＳＤの理想的位置または想定位置に対応する領域のエッジまたは周囲を示してもよいし、エッジまたは周囲に交差してもよい。
【００５０】
いくつかの非限定的実施形態では、システムＳは、可動型ディスプレイの姿勢またはポインティング方向が範囲内であるか範囲外であるかに応じて、可動型ディスプレイＭＤの使用法または状態を自動的に切り換えることができる。非限定的な一実施形態では、可動型ディスプレイＭＤのポインティング方向は例えば、可動型ディスプレイの面に垂直な線であって可動型ディスプレイの裏面からユーザとは逆方向に外方に延びる線によって規定されてもよい。従ってユーザが可動型ディスプレイＭＤを透明なガラス枠であるかのように透視することができれば、このような非限定的実施例のポインティング方向は、ユーザの視線方向に一致する。
【００５１】
（範囲内）
図６Ｂは、範囲内の場合の実施例を示す。この実施例では、可動型ディスプレイＭＤに対する垂線は、静止型ディスプレイＳＤの理想的な姿勢および大きさに従って仮想的に決定された領域内の位置を示すか、それに交差する。この特定の実施例では、システムＳは静止型ディスプレイＳＤの実際の姿勢および大きさを正確に知らないことがある（例えば、静止型ディスプレイが家庭用テレビを含む場合、ユーザは様々な異なるサイズおよび構造のテレビのいずれかを用い得る）。従ってシステムＳは、静止型ディスプレイのサイズ、可動型ディスプレイＭＤと静止型ディスプレイとの間の距離、可動型ディスプレイに対する静止型ディスプレイＳＤの向きについてある想定を行ってもよい。このような想定が可能であるのは、ほとんどのユーザは典型的には少なくとも概して静止型ディスプレイＳＤの方を向いており、通常多少の差こそあれ、静止型ディスプレイの前にいるが、静止型ディスプレイに非常に近い位置にいるとか、非常に遠い位置にいるとは考えにくいからである。ユーザによる追加の入力（例えば、テレビ画面のサイズまたはタイプ）などを用いてこれらの想定を補足することもできる。
【００５２】
このようないくつかの非限定的実施形態における範囲内の場合では、静止型ディスプレイＳＤ上に表示された（図６Ｃに示す）ポインタ、例えばカーソルまたは他のオブジェクトの位置は、可動型ディスプレイＭＤの姿勢によって制御してもよい。このような非限定的実施形態では、可動型ディスプレイＭＤを動かして姿勢を変更すると、静止型ディスプレイＳＤ上に表示されるポインタオブジェクトの位置が変化して（例えば、センサＴからの情報に基づく）、可動型ディスプレイが自由空間ポインティングデバイスとして作用するようになる。ユーザは可動型ディスプレイＭＤの姿勢を変えると同時に、ディスプレイＭＤおよびＳＤの一方または両方が表示する画像の向きを制御し得る追加の入力を行ってもよい（例えば、タッチスクリーンＴＳに触れる、ボタンを押すなどによる）。このように一実施形態では、可動型ディスプレイＭＤは静止型ディスプレイの方を向いている時には、静止型ディスプレイＳＤ用の仮想ポインタとして作用し、静止型ディスプレイの方を向いていない時には、可動型ディスプレイの姿勢の向きに応じて仮想世界の、空間相関した追加のビューを表示する。
【００５３】
このような実施例では、静止型ディスプレイＳＤが表示するビューを規定する仮想カメラは、必ずしも可動型ディスプレイＭＤの姿勢に応じて移動または変化するわけではない。多くのまたはほとんどのアプリケーションでユーザは主に静止型ディスプレイＳＤを見る。そのため静止型ディスプレイＳＤが表示する仮想空間は、必ずしも可動型ディスプレイＭＤ上に表示される必要はない。このような非限定的例では、可動型ディスプレイＭＤを用いて、他のタイプの情報、例えばスコア（ゲーム用）、統計、メニュー選択肢、ユーザ入力オプション、あるいはユーザに有用な様々な他の付随的またはその他の情報のいずれかを表示することができる。場合によっては、可動型ディスプレイは、このような情報を別の画像の上に重ねて表示し、可動型ディスプレイＭＤの姿勢に基づいた方向から見た仮想世界の表示画像をオーグメントしてもよい。そのためいくつかの実施形態では、ユーザが静止型ディスプレイＳＤに注目する傾向にあるときに、可動型ディスプレイＭＤは、より制限された（または異なる、補足的な、制御的な、冗長でない）情報を表示することができる。
【００５４】
図６Ｄは、静止型ディスプレイＳＤが表示する仮想空間の鳥瞰地図または鳥瞰図を示す。図６Ｄの矢印は、静止型ディスプレイＳＤが表示する画像を仮想空間内の仮想キャラクタの一人称視点に基づいて規定する仮想カメラの方向を示す。仮想キャラクタを仮想空間内で移動させると、静止型ディスプレイが表示するビューが変化し得る。無論、他の実施形態では、可動型ディスプレイＭＤ上に鳥瞰図または他のビューを表示して、静止型ディスプレイＳＤが表示する仮想空間内をユーザがより簡単にナビゲートできるようにすることも可能である。
【００５５】
（範囲外）
図６Ｅは、範囲外の場合の非限定的実施例を示す。この実施例では、可動型ディスプレイＭＤに対する垂線が静止型ディスプレイＳＤの理想的な姿勢に従って仮想的に決定された領域内の位置を示したり、その方向を向いたり、それに交差したりしない。可動型ディスプレイＭＤに対する垂線が静止型ディスプレイＳＤの領域外の位置を示す場合、システムＳは可動型ディスプレイＭＤを用いて仮想空間を表示してもよく、可動型ディスプレイＭＤに表示させる画像を生成する仮想カメラの方向は可動型ディスプレイの姿勢によって制御されてもよい。図６および図６Ｆを参照されたい。これらの図は、可動型ディスプレイＭＤがその姿勢に応じた方向から見た仮想空間を表示している様子を示す。ところで、このような非限定的場合では、静止型ディスプレイＳＤに表示させる画像を作成する仮想カメラの方向は、必ずしも可動型ディスプレイＭＤの姿勢に影響を受けるわけではない。ユーザは、可動型ディスプレイＭＤを動かすことによって仮想空間の右側、左上、下側および裏側を見ることができ、静止型ディスプレイＳＤを見ることによって仮想空間の前側を見ることができる。この非限定的アプリケーションでは、ユーザは、仮想空間の側面と前面とを同時に見ることができることにより、その可視性が広がったと感じることができる。
【００５６】
いくつかの非限定的実施形態では、可動型ディスプレイＭＤ上に表示されるポインタ、カーソルまたは他のオブジェクトが指し示す位置も制御可能であり、例えば可動型ディスプレイ装置に表示される画像の視線方向が可動型ディスプレイの姿勢を反映するように変化したときに、これらのオブジェクトが可動型ディスプレイ装置の表示画面の中央に留まるように制御することができる。図６Ｇを参照されたい。図６Ｈは、可動型ディスプレイＭＤ用の仮想カメラの方向を示す、仮想空間の鳥瞰図の一例であり、２つの視線方向を示す。一方は静止型ディスプレイの視線方向、他方は可動型ディスプレイの視線方向である。静止型ディスプレイＳＤ上に仮想空間の画像を表示し、同時に可動型ディスプレイＭＤ上に異なる視線方向からの仮想空間の追加の画像を表示することにより、ユーザに奥行きと空間的没入を知覚させる。図１２Ａを参照されたい。
【００５７】
（遷移領域）
図６Ｉおよび図６Ｊは、上記の範囲内の場合と範囲外の場合との間にある遷移領域の場合を示す。図６Ｉは、遷移領域ＴＡが範囲内と範囲外（内側と外側）との間に構築可能であり、そのためユーザは何らかの処理によって視線（目の方向）を静止型ディスプレイＳＤから可動型ディスプレイＭＤに円滑に変更することができることを示す。例えば可動型ディスプレイＭＤの姿勢が遷移領域に対応する場合、静止型ディスプレイＳＤ用の画像は視覚的、聴覚的および／または触覚的効果（例えば静止型ディスプレイＳＤが僅かにスクロールし得る）を提供してもよく、その結果ユーザは可動型ディスプレイＭＤの画像が範囲内状態から範囲外状態にいつ変わるか、または範囲外状態から範囲内状態にいつ変わるかを知ることができる。一実施形態では、可動型ディスプレイＭＤおよび静止型ディスプレイＳＤの相対的姿勢に応じて静止型ディスプレイＳＤを僅かにスクロールするまたは他の方法で動かすことにより、可動型ディスプレイＭＤの姿勢を回転し続けるまたは他の方法で変更し続ければ状態が変化することをユーザに警告することができる。同一のまたは異なる画像あるいは他の効果を用いて、範囲内から範囲外への変化および範囲外から範囲内への変化を示すことができる。
【００５８】
このようにユーザは、可動型ディスプレイＭＤを静止型ディスプレイＳＤの大型画面の方に向けている場合、常に大型画面を見てターゲットを制御する傾向がある。ユーザが画面の縁領域近傍をターゲットにする場合、遷移モードが存在してもよい。大型画面は僅かにまたは少しだけガン方向にシフトする。しかし大型画面が少しだけ移動した後、可動型ディスプレイＭＤの小型画面が突然、静止型ディスプレイＳＤ外の仮想空間の一部を表示し始める。これはドラマチックな効果となり得る。遷移時、僅かに周りを見回して、静止型ディスプレイＳＤが表示する画像を移動させることが可能である。このように境界または周囲における周りを見回すような画像のシフト（例えば可動型ディスプレイの姿勢の向きに応じて制御されたカーソルまたは他のポインタオブジェクトの存在に基づいて）は、可動型ディスプレイＭＤが動いた方向に、その動きに応じて行うことができ、これにより例えばユーザに、可動型ディスプレイの状態が周りを見回す表示モードから補助的情報表示モードに、またはその逆に切り換わろうとしていることを警告する。
【００５９】
（より詳細な非限定的実施例）
図８Ａに示すように、ディスプレイ装置ＭＤは人が容易に保持し動かせるように構成および構築されている。例えばディスプレイ装置ＭＤは相対的に小型で、持ち運び可能で、かつ、軽量であり、人の手で保持、把持、支持、操作および移動することができる。図８Ａに示す特定の実施例ではディスプレイ装置ＭＤは、人の左手と右手で同時に保持するように構築および構成されている。人が両手で可動型ディスプレイ装置ＭＤを保持し支持した場合、左手の親指でいくつかの手動入力コントロール（例えば左手スライドパッド５０および／またはＤパッドスイッチ５２）を操作でき、同時に右手の親指で他の手動入力コントロール（例えば、右手スライドパッド５４および／またはボタン配列５６）を操作できる。人差し指で操作可能な更なるコントロール５８ａ、５８ｂがあり、裏面には例えばディスプレイ装置ＭＤを保持しながら中指で操作可能なトリガ６０などの更なるコントロールがある（図１０Ｂ、図１０Ｄ参照）。可動型ディスプレイＭＤの詳細な電気機械的構成および動作の更なる詳細（図１０Ａ〜図１０Ｄも参照のこと。これらの図面は人間工学に基づくハンドヘルド設計の非限定的実施例を示す）は、２０１１年２月２日出願の米国特許出願１３／０１９９９２４および米国特許出願１３／０１９９９２８に記載されている。これらの全体を参考のためここに援用する。図１０Ａ〜図１０Ｃでは、可動またはハンドヘルド装置ＭＤのハウジング２００は、平坦な前面２０２と実質的に平坦でない裏面２０４とを含む。図１０Ｂ、図１０Ｃに示すように、平坦でない裏面２０４は、長手方向リッジ２０８まで傾斜する傾斜湾曲部２０６を含む。リッジ２０８の反対側の窪み２１０には、スタンドの脚（図８Ｃ参照）または他の周辺装置などの付属部品を受け入れる様々な収容部２１２が設けられてもよい。傾斜湾曲部２０６上に設けられた指で押圧可能なボタン６０ａ、６０ｂ（図１０Ｄ参照）は湾曲して傾斜湾曲部の輪郭に一致する輪郭を有する一方で、外方に延びてユーザの中指を快適に載せられるパッドとなっている。これによりユーザは、中指でボタン６０を操作しながら人差し指でボタン５８を引くことができる。他の装置、センサ、コネクタ、収容部および他の構造物（その一部は可動型ディスプレイＭＤを他の装置と連結させるのに有用であり得る）を周面２１２、２１４に設けてもよい。本実施形態はこの形態に限られず、可動型ハンドヘルドディスプレイ装置ＭＤは他の形態（例えば、タブレットコンピュータ、ｉＰＡＤ、スマートフォン、電子書籍、ＰＤＡなど）であってもよい。
【００６０】
いくつかの実施形態では、ディスプレイ装置ＭＤは人が着用することができ、例えば身体の一部、例えば、手首、前腕、上腕、脚、足首、ウエスト、頭部、あるいは身体または衣服の他の部分に取り付けることができる。他の実施形態では、可動型ハンドヘルド可能ディスプレイ装置ＭＤは、可動または固定の無生物構造物（例えば図７、図８Ｃ参照）に固定的または他の方法で搭載することができる。例えばいくつかの構成では、図８Ｃに示すように、ディスプレイ装置ＭＤは非可動構造物に一時的に固定または搭載することができる（例えば、別の構造物、例えばテーブルの上面、床、フレームなどに対するディスプレイ装置ＭＤの姿勢を、ディスプレイ装置ＭＤが容易に見えるような姿勢に維持する一体型の引き出し式または他の形態のスタンドを用いることによる）。他の構成では、ディスプレイ装置ＭＤの姿勢は別の構造物に対して一時的に固定されてもよいが、好きなときに人が向きを変えたり、取り上げて動かしたりできる。
【００６１】
上記のように、非限定的ディスプレイ装置ＭＤは、スタイラス（図８Ｅ参照）または指（図８Ｂ参照）で触れることによって制御可能なタッチスクリーンＴＳを有する。タッチスクリーンを用いて、手書き、ジェスチャー入力などを含む様々な入力を提供することができる。
【００６２】
センサＴはディスプレイ装置ＭＤの姿勢を決定する。センサＴはディスプレイ装置ＭＤ内に収容してもよいし、ディスプレイ装置ＭＤ外に配置してもよい。あるいは一部のセンサをディスプレイ装置ＭＤ内に収容し、他のセンサをディスプレイ装置ＭＤ外に配置してもよい。センサＴの構成の非限定的例の更なる詳細は、全体を参考のためここに援用する２０１１年２月２日出願の米国特許出願１３／０１９９９２４および米国特許出願１３／０１９９９２８に記載されている。特別な解決法またはアプリケーションは２Ｄ用の「ＭＡＲＧ」のうちＧ（重力）のみ、Ｍ（磁気）のみ、またはＭＧ（磁気＋ジャイロ）のみ、より少ないまたは低減した動きのアプリケーション、特別なゲームのアプリケーション、または他のアプリケーションを用いてもよい。
【００６３】
特定の一実施形態では、センサＴはディスプレイ装置ＭＤと、可動型ディスプレイＭＤを固定的に取付可能な可動付属デバイスとの間に広がる「ＭＡＲＧ」センサ列を含んでもよい（図９Ａ、９Ｂ参照）。例えばＭＡＲＧの磁気計は付属デバイス内に配置することができ、ＭＡＲＧの加速度計およびジャイロセンサは可動型ハンドヘルドディスプレイ装置ＭＤのハウジング内に配置することができる。可動型ディスプレイ装置ＭＤと付属デバイスとは連結されており、その電気接続は、付属デバイス内の磁気計が可動型ハンドヘルド可能ディスプレイ装置ＭＤからのパワーを受け取り、かつ可動型ディスプレイ装置が磁気計からのデータを受け取るようにすることができる。他の方法も可能である。
【００６４】
別の実施形態では、図１に示すセンサＴは任意の所望のセンサ、例えば、機械、音声、超音波、カメラ、光学、赤外線、磁気、電磁（例えば高周波またはマイクロ波）、慣性、ジャイロスコープ、加速度に基づく、基準マーカ（フィデューシャル）に基づく、外側から内側を見る、内側から外側を見る、ＧＰＳ、携帯電話および／またはこれらのいずれかの組み合わせなどを含んでもよい。
【００６５】
上記のようにいくつかの非限定的実施形態では、ＭＡＲＧを形成するセンサ群を代表するセンサＴは１以上のハウジングまたは場所に分散してもよい。このようなハウジングは例えば静止型でもよいし、ユーザによって空間的に移動されるものでもよい。図９Ａ、図９Ｂに示すように、ハウジング構成要件のサブセットを組み合わせて単一の構成要件として挙動させることもできる。
【００６６】
一実施例ではセンサＴは任天堂Ｗｉｉリモートコントローラおよび／または任天堂Ｗｉｉリモコンプラスビデオゲームコントローラで用いられるセンサ、すなわちダイレクトポインティングデバイス、３軸または他の加速度計、および／または３軸または他のジャイロスコープの一部または全部を含んでもよい。このようなセンサＴはさらに、多軸シングルチップ磁気計、内側から外側を見るまたは外側から内側を見るタイプの外部光学、超音波および／または他のトラッキングセンサ、あるいは当業者であれば理解する他の多くの変形物を含み得る。家庭用のバーチャルリアリティゲームおよびビデオゲームなどの多くのアプリケーションには不要であるが、ある種のアプリケーションでは可動型ディスプレイＭＤの完全なポーズ（位置および向き）を所望の正確さで正確に追跡して、可動型ディスプレイＭＤが表示する画像と静止型ディスプレイＳＤが表示する画像との間の空間相関においてほぼ完璧な忠実度を提供することが望ましいことがある。下にリストアップし参考のためここに援用する文献を読めば、当業者は、特定のシステム要件および所望のアプリケーションに基づいてセンサＴのいかなる所望の構成でも実施することができる。
Ｘ．Ｙｕｎら、「Ｄｅｓｉｇｎ ａｎｄ Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ＭＡＲＧ Ｈｕｍａｎ Ｂｏｄｙ Ｍｏｔｉｏｎ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（「ＭＡＲＧ人体動作追跡システムの設計と実施」、インテリジェントロボットおよびシステムに関するＩＥＥＥ／ＲＳＪ国際会議会議録）（ＩＲＯＳ ０４），日本国仙台、２００４年９月〜１０月
Ｅ．Ｒ．Ｂａｃｈｍａｎｎら、「Ｉｎｅｒｔｉａｌ ａｎｄ Ｍａｇｎｅｔｉｃ Ｐｏｓｔｕｒｅ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｉｎｓｅｒｔｉｎｇ Ｈｕｍａｎｓ ｉｎｔｏ Ｎｅｔｗｏｒｋｅｄ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ」、ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，（「ネットワーク化バーチャル環境に人間を挿入する慣性および磁気姿勢追跡」、バーチャルリアリティソフトウェアおよび技術に関するＡＣＭシンポジウム） ＶＲＳＴ ０１，カナダ、アルバータ州バンフ、２００１年１１月、９〜１６頁
Ｂａｃｈｍａｎｎ、「Ｏｒｉｅｎｔａｔｉｏｎ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｈｕｍａｎｓ ａｎｄ Ｒｏｂｏｔｓ Ｕｓｉｎｇ Ｉｎｅｒｔｉａｌ Ｓｅｎｓｏｒｓ」、Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ｉｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ Ｐｒｏｃｅｅｄｉｎｇｓ（「慣性センサを用いた人およびロボット用方位追跡」、ロボティクスおよびオートメーションプロシーディングにおけるコンピュテーショナルインテリジェンス）（ＩＥＥＥ １９９９）（この文献は、人の動きの向きと位置を追跡することを開示している。）
Ｅｒｉｃ Ｂａｃｈｍａｎｎ、「Ｉｎｅｒｔｉａｌ ａｎｄ Ｍａｇｎｅｔｉｃ Ａｎｇｌｅ Ｔｒａｃｋｉｎｇ ｏｆ Ｈｕｍａｎ Ｌｉｍｂ Ｓｅｇｍｅｎｔｓ ｆｏｒ Ｉｎｓｅｒｔｉｎｇ Ｈｕｍａｎｓ ｉｎｔｏ Ｓｙｎｔｈｅｔｉｃ Ｅｎｖｉｒｏｎｍｅｎｔｓ」、ＰｈＤ ｉｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ、Ｎａｖａｌ Ｐｏｓｔｇｒａｄｕａｔｅ Ｓｃｈｏｏｌ（「合成環境に人間を挿入する人体の四肢セグメントの慣性および磁気角度追跡」、コンピュータサイエンスＰｈＤ、海軍大学院）、２０００年１２月
Ｗｅｌｃｈら、「Ｍｏｔｉｏｎ Ｔｒａｃｋｉｎｇ： Ｎｏ Ｓｉｌｖｅｒ Ｂｕｌｌｅｔ， ｂｕｔ ａ Ｒｅｓｐｅｃｔａｂｌｅ Ａｒｓｅｎａｌ」（動作追跡：特効薬ではないが、まずまずの集積）、ＩＥＥＥ ＣＧ＆Ａ（２００２年１１月／１２月）
Ｗｏｒｍｅｌｌら、「Ａｄｖａｎｃｅｍｅｎｔｓ ｉｎ ３Ｄ Ｉｎｔｅｒａｃｔｉｖｅ Ｄｅｖｉｃｅｓ ｆｏｒ Ｖｉｒｔｕａｌ Ｅｎｖｉｒｏｎｍｅｎｔｓ」（バーチャル環境用３Ｄ双方向デバイスの進歩）（２００３）
米国特許出願１３／０１９９９２４および１３／０１９９９２８（２０１１年２月２日出願）
米国特許第７，９４２，７４５号
米国特許第７，９３１，５３５号
米国特許第７，９２７，２１６号
米国特許第７，９２５，４６７号
米国特許第７，９２４，２６４号
米国特許第７，９２０，９８５号
上記リストアップした文献は、多次元空間内での可動型ディスプレイＭＤの姿勢および他の特性を決定する様々な方法を可能にし開示する目的で参考のためここに援用する。
【００６７】
（実施例のブロック図）
図１１は、可動型ディスプレイＭＤの非限定的実施例を示す（詳細は、全体を参考のためここに援用する２０１１年２月２日出願の米国特許出願１３／０１９９９２４および米国特許出願１３／０１９９９２８を参照のこと）。上記で詳細に説明した手動コントロールからの手動コントロール入力をプロセッサ１０２に供給する。プロセッサはデータ入力（タッチパネルディスプレイＴＳからの入力も含む）を受け入れ、無線トランシーバ１０６または他の無線または有線の通信を介してリモートコンソールまたはコンピュータＧに分析のため報告する。リモートコンソールまたはコンピュータＧ（無線または有線で静止型ディスプレイＳＤにも接続されていてもよい）は報告されたデータ入力を処理して圧縮または他の処理をした画像を生成してもよい。リモートコンソールまたはコンピュータＧは、この画像を可動型ディスプレイの無線トランシーバ１０６に送信してもよい。可動型ディスプレイ装置プロセッサ１０２は受け取った画像を伸張してタッチパネルディスプレイＴＳに表示してもよい。
【００６８】
リモートコンソールまたはコンピュータＧは、１つの場所に位置する、または１以上のネットワークを介して通信する様々な場所に分散する１以上のグラフィックス生成部であり得る。このようなグラフィックス生成部は従来の３Ｄグラフィックス変換、仮想カメラおよび他の技術を用いて、ディスプレイＭＤ、ＳＤに表示させる空間的に適切にコヒーレントなまたは他の画像を提供することができる。例えばグラフィックス生成部Ｇは以下のいずれかであり得る。
【００６９】
静止型ディスプレイＳＤの一部である、またはそれと共に配置される別のコンポーネントであり、可動型ディスプレイＭＤと遠隔に（例えば無線で）通信するグラフィックス生成部、
【００７０】
可動型ディスプレイＭＤの一部である、またはそれと共に配置される別のコンポーネントであり、静止型ディスプレイＳＤまたは関連装置と遠隔に（例えば無線で）通信するグラフィックス生成部、
【００７１】
一部が可動型ディスプレイＭＤのハウジング内に収容され、一部が静止型ディスプレイＳＤと共に配置される分散型グラフィックス生成アレンジメントであって、分散された部分は無線または有線ネットワークなどの接続を介して互いに通信する、分散型グラフィックス生成アレンジメント、
【００７２】
静止型および可動型ディスプレイＳＤ、ＭＤのいずれからも遠方に（すなわちクラウド内に）位置し、１以上のネットワーク接続を介してこれらの各々と通信する、グラフィックス生成部、または
【００７３】
上記の組み合わせまたは変形物。
【００７４】
分散型グラフィックス生成器アーキテクチャまたはアレンジメントの場合、当業者であれば理解するように、適切なデータ交換および送信プロトコルを用いて、低レイテンシーを提供して双方向性を維持する。
【００７５】
特定の一実施例では、ＭＡＲＧ姿勢センサ（すなわち３軸加速度計、３軸ジャイロスコープおよび３軸磁気計）がセンサ出力をプロセッサ１０２に提供し、プロセッサ１０２は非一時的ファームウェア格納部１０４に格納された命令を実行する。ある非限定的方法では、重力ベクトル基準（ロールおよびピッチ用）に基づく３軸加速度計と北ベクトル基準（ヨー用）に基づく３軸磁力計を用いることによるエラー補正付きの３軸ジャイロスコープ（角速度）を用いる。このいわゆる向きまたは姿勢の測定は、「磁気角速度重力（ＭＡＲＧ）」によって行う。図示する実施例では、ＭＡＲＧセンサＴは絶対位置を検出することはできず、磁気計を用いて、地球の磁界に対する磁気コンパス方位のようなものと考えられ得るものを検出する。
【００７６】
多くのアプリケーションでは、システムＳが３Ｄ空間内の可動型ディスプレイＭＤの絶対位置を追跡することも、さらには相対位置を追跡することも不要である。なぜなら奥行きに関するユーザの知覚は、少なくともいくつかのアプリケーションではそのような忠実度を必要としないからである。例えば人の目は、近くの物体に焦点を合わすときと遠くの物体に焦点を合わすときとで形状が変わるレンズを含み、ユーザは単眼および両眼キューを用いて距離を知覚する。例えば、『Ｓｃｈｗａｒｔｚら、「Ｖｉｓｕａｌ Ｐｅｒｃｅｐｔｉｏｎ， Ｆｏｕｒｔｈ Ｅｄｉｔｉｏｎ ： Ａ Ｃｌｉｎｉｃａｌ Ｏｒｉｅｎｔａｔｉｏｎ」Ｃｈａｐｔｅｒ １０ （「視覚、第４版：臨床的オリエンテーション」第１０章）、（ＭｃＧｒａｗ Ｈｉｌｌ ２００４）』を参照のこと。多くのアプリケーションでは、可動型ディスプレイＭＤはユーザの近くの視界の大半を占め、静止型ディスプレイＳＤはユーザの遠くの視界の一部分のみに存在する。したがって多くのアプリケーションでは、ユーザの目が一度に焦点を合わせるのは２つのディスプレイのうちの一方であり得る。両方のディスプレイがユーザの視界にあったとしても、ユーザはまず一方のディスプレイを見て、その後他方のディスプレイを見ることがある。このことは、多くの有用なアプリケーションでは、所望の没入型ユーザインターフェース効果を作り出すために、位置空間相関およびコヒーレンスの忠実度は厳密である必要はないことを意味し得、２つのディスプレイ間の厳密な位置または距離の空間相関の維持は不要であり得る。他のアプリケーションでは、他の構成が望まれ得る。
【００７７】
さらに、実用的な消費者グレードのコンポーネントを用いた場合、システムＳが可動型ディスプレイＭＤの急速な動きについていけない場合がある。幸い、可動型ディスプレイＭＤがこのように急速な動きをしている間は、それを保持している人も概して表示されている画像を見ることができない。したがって多くのアプリケーションではシステムＳが、ユーザが可動型ディスプレイＭＤの画像を見ることができる、相対的に静止した、またはゆっくり動く状態において可動型ディスプレイＭＤの空間相関を維持していれば、概してそれで十分であり得る。
【００７８】
最初のキャリブレーションステップを用いて、システムＳが２つのディスプレイＳＤ、ＭＤ間の姿勢空間コヒーレンスを確立し維持することが可能である。この場合、人は、可動型ディスプレイＭＤを静止型ディスプレイＳＤに対してある方向に向けてシステムをキャリブレートし、室内または他の環境内での静止型ディスプレイＳＤの磁気コンパス方位（例えば北北西または３３７．５°）がわかるようにすることを求められることがある。可動型ディスプレイＭＤのキャリブレーションは概して自由な空間内（３Ｄ）での向き、または変換（移動）で可能である（自由空間における使用のサブセットとして、２次元または１次元の方向または移動など、いくつかの特別な使用もまた可能である）。この場合、非限定的実施形態は、最初のキャリブレーションによる可動型ディスプレイＭＤの相対的動きに依存する。
【００７９】
セットアップ中にキャリブレートするために、人は垂直ベクトルを概して静止型ディスプレイの中央に向けながら可動型ディスプレイＭＤの画面を静止型ディスプレイＳＤに対して平行に保持してもよい。ボタンまたは他のユーザコントロールを押してもよい。システムＳが室内の磁界を測定および格納し、可動型ディスプレイＭＤが静止型ディスプレイＳＤの方を向いているとユーザが考えるときの可動型ディスプレイＭＤの向きを決定する。このキャリブレーションは、（１）室内の磁界が変化しないこと、（２）静止型ディスプレイＳＤが移動しないこと、および（３）静止型ディスプレイＳＤが室内にある状態で可動型ディスプレイＭＤをセットアップすること、を想定している。磁界が変化したり、静止型ディスプレイＳＤが移動したり、システムＳが別の場所でセットアップされたりした場合は、再度キャリブレーションを行うことが望ましいと考えられる。例えば、室内の家具または室内の金属パネルが移動したり、バッテリが交換されたり（アルカリバッテリの金属の違い）、環境によって室内の磁界が変化したりした場合は、再度キャリブレーションを行ってもよい。市電またはトロリーなどのレールに近い住宅地では、磁界が動的に変化することがある。地球の磁界が予期せず動的に乱れた場合、最初の磁気読取値またはジャイロスコープ対応（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）に対する予期しない値によって、その乱れをフィルタリングすることが可能である。
【００８０】
図１２は、ソフトウェア命令のフローチャートであり、その少なくとも一部は可動型ディスプレイＭＤの非一時的記憶装置１０４および／またはリモートコンピュータＧと連動する非一時的記憶装置に格納されている（より詳細には、全体を参考のためここに援用する２０１１年２月２日出願の米国特許出願１３／０１９９９２４および米国特許出願１３／０１９９９２８に記載されている）。図示する実施例では、静止型ディスプレイ（ＳＤ）用の仮想３Ｄ世界の視点／視体積を規定する（ブロック１２０）（例えば図８Ａ、図８Ｂに示す可動型ディスプレイＭＤ、および／または、Ｗｉｉリモコンプラスおよびヌンチャクなどの他のユーザ入力装置に対するユーザコントロールからの入力に基づく）。その後センサＴは、可動型ディスプレイＭＤの姿勢を取得し（ブロック１２２）、可動型ディスプレイ（ＭＤ）用の、仮想３Ｄ世界の視点／視体積を規定する（ブロック１２４）。その後システムＳは、従来の高速双方向コンピュータグラフィックスハードウェアおよびソフトウェアを用いて、静止型ディスプレイに対して規定された視点／視体積に基づいて静止型ディスプレイ（ＳＤ）上に３Ｄ世界を投影する（ブロック１２６）。３Ｄ世界は、可動型ディスプレイに対して規定された視点／視体積に基づいて可動型ディスプレイ（ＭＤ）上にも投影される（ブロック１２８）。ブロック１２８では、可動型ディスプレイＭＤに３Ｄ仮想世界を投影するために用いる変換を、可動型ディスプレイＭＤの取得姿勢の一部または全部の向きを用いて変更することができる。取得姿勢をこのように用いる場合、視点、視角、視野、縮尺、回転、視体積、投影のタイプ、テクスチャマッピング、特殊効果、または、３Ｄ仮想世界から表示ビューを得るために用いるグラフィックス処理および計算の他の任意の態様を変更するなど、いずれの所望の方法で行ってもよい。非限定的な一実施例においてブロック１２８で、地球の磁界に対する可動型ディスプレイＭＤの決定された向きに基づいて、ビューの方向および／または向きを変えることができる。図１２Ａは静止型ディスプレイの視体積および変換ＳＤＴならびに可動型ディスプレイの視体積および変換ＭＤＴを示す。この非限定的実施例は、可動型ディスプレイＭＤに表示させる画像を生成するために用いる可動型ディスプレイの視体積および変換ＭＤＴの態様（例えば、変換の回転、位置、および縮尺の態様）を、可動型ディスプレイの現在の姿勢によって決定し得ることを示す。無論、静止型ディスプレイの視体積および変換ＳＤＴを固定する必要はない。いくつかのアプリケーションでは、この静止型ディスプレイの視体積および／または変換は、ユーザ入力、ソフトウェアプログラムなどに応じて変化し得る。いくつかの実施例のアプリケーションでは、２つの視体積および変換を規定する３Ｄ仮想世界内における、同一または実質的に同一の視点、位置、地域、領域および／または近傍を用いることが望ましいことがある。このように、システムＳは、３Ｄ仮想空間内の同一または類似の有利な地点から見ることができる、３Ｄ仮想空間の２つの異なるビューをユーザに提供することができる。「同一」または類似の位置に関して、いくつかのアプリケーションは２つの異なるビューに対して全く同一の位置を用いないかもしれないが、例えば一方の画面により全体的なビューを提供するために僅かに高い位置を用いることがある。同一または類似の位置、領域、地域および／または近傍に関する他の可能性は、以下を含む。
−より高いまたはより低い位置、
−前方の位置または後方の位置、
−僅かに見上げる、または見下ろす（ピッチ）、
−ズームアウトまたはズームイン、
−僅かにロールまたはヨーする、
−位置的に僅かに左または右、
−その他の差異。
他のアプリケーションでは、静止型ディスプレイＳＤおよび可動型ディスプレイＭＤにそれぞれ表示させる画像を生成するために、３Ｄ仮想世界内の異なる視点、位置、地域、領域および／または近傍を用いることができる。
【００８１】
図１２Ｂは、非一時的メモリ内に格納されたプログラム命令が、可動型ディスプレイの状態を切り換えるために実行するステップの例を示す。非限定的な一実施形態では、システムＳが可動型ディスプレイの姿勢を検出し（ブロック１５０）、可動型ディスプレイＭＤの表示面またはハウジングの平面に垂直なベクトルが静止型ディスプレイＳＤを囲む想定上の表面に交差するか否かを決定する。想定上の表面は、矩形、バウンディングボックス、球形、平面、または他の表面のいずれであってもよい。交差している場合（可動型および静止型ディスプレイＭＤ、ＳＤの相対的な向きまたは姿勢がある範囲内にあり、その結果静止型ディスプレイＳＤが存在しそうな空間内の領域の方を可動型ディスプレイが向いている場合）（ブロック１５２）、システムＳは、静止型ディスプレイＳＤの方を向いている（あるいは静止型ディスプレイＳＤと対話する）ポインティングデバイスとして可動型ディスプレイＭＤをユーザが用いるつもり（「範囲内」あるいは補助的表示状態）であると推定する。この場合、システムＳは可動型ディスプレイをポインティングデバイスとして用い（例えばそれによって静止型ディスプレイＳＤ上に表示されるポインティング記号の位置を制御する）、さらに可動型ディスプレイ上に補助的情報を表示してもよい（ブロック１５４）。交差していない場合（「範囲外」または周りを見回す状態）（ブロック１５６）、システムＳは、可動型ディスプレイＭＤがその姿勢に対応する視線方向から見た仮想世界の画像を提示するようにする（ブロック１５６）。いずれの場合も、交点が境界または周辺領域（「遷移領域」）内であれば（ブロック１６０）、ディスプレイＭＤ、ＳＤの一方、他方または両方が、その境界、周縁または周辺の状態を示す視覚効果（例えばディスプレイを動かす、またはスクロールする）を表示してもよい（ブロック１６０）。
【００８２】
図１２、図１２Ｂのプロセスを何度も繰り返すことによって、例えば、ユーザが自由空間内で可動型ディスプレイＭＤを動かすときにリアルタイムで双方向的に更新する動画化画像のシーケンスを生成してもよい。いくつかの実施形態では、これらの図面の各ステップをリモートコンピュータＧで行ってもよい。別の実施形態では、これらのステップを可動型ディスプレイＭＤのプロセッサ１０２で行う。さらに別の実施形態では、これらのステップの一部または全部を、静止型ディスプレイＳＤ内、またはこれと連動するプロセッサが行ってもよい。さらに非限定的な別の実施形態では、これらのステップの一部または全部を、図８Ａ、図８Ｂに示す１以上の付属デバイスが行ってもよい。
【００８３】
図９Ａおよび図９Ｂに示すように、いくつかの実施例の構成では、可動型ディスプレイＭＤは、ハンドヘルドプラスチックガンまたは他の照準補助装置などの付属部品に取り付けることができる。図９Ａに示すガンＧは、セットトップセンサＩＲバーを検出するＣＭＯＳセンサ（例えば、従来の任天堂Ｗｉｉリモコンプラス内に見られるタイプのセンサ）を含む。セットトップセンサＩＲバーは、絶対値測定用のフィデューシャルまたは基準ソースとして用いることができる。ＣＭＯＳセンサの視体積には制限があり得るが、多くのまたはほとんどの「射撃」およびポインティングタイプのアプリケーションは、静止型ディスプレイＳＤの方を向いて行われる。これら２つの光学（ＩＲ）セットトップライトハウスまたはビーコンは、最初のキャリブレーションまたは再構成を簡素化する、また更には排除するのに役立つ。非限定的且つより包括的な一使用法は、ＭＡＲＧ＋光学（例えばＣＭＯＳセンサ）である。これは、慣性、光学および磁気による位置および向きの感知の組み合わせを提供する。例えばＷｅｌｃｈら（上記で引用）に記載のＫａｌｍａｎフィルタリングまたは他の技術を用いてこれらの出力を融合して、または組み合わせて、融合結果を得ることができる。図９Ａ、図９Ｂに示す付属部品を用いない可動型ディスプレイＭＤの例では、テレビ画面の位置に関連する絶対値測定にとって唯一の基準ソースとなる光学直接ポインティングデバイスはない。このようなアプリケーションでは、システムＳは２つのディスプレイＭＤ、ＳＤ間のみの姿勢の空間相関を提供するが、絶対的または相対的位置の空間相関は提供しない。
【００８４】
本明細書では非限定的実施形態に関して技術を述べてきたが、本発明は本開示に限定されない。例えば本開示の概念の本質および実施可能な様々な異なる実施形態の詳細によると、本明細書中の多くの記載は、最終的に消費者に入手可能となり得る特定の実際の製品には対応しない。さらに、好ましい実施形態では静止型ディスプレイＳＤと可動型ディスプレイＭＤとが用いられるが、両方のディスプレイ共が可動型であってもよいし静止型であってもよい。あるいは３台以上のディスプレイがあり、一部が可動型で一部が静止型であってもよい。ＳＤおよびＭＤの一方または両方が、観察者に奥行き感のある立体画像を提供する３Ｄディスプレイ（例えば自動立体視ディスプレイ）であってもよい。ディスプレイＳＤおよびＭＤの一方または両方が、いわゆる高精細度ディスプレイ（例えば１，２８０×７２０ピクセル（７２０ｐ）または１，９２０×１，０８０ピクセル（１０８０ｉ／１０８０ｐ））であってもよい。さらに、ディスプレイＳＤおよびＭＤに表示された画像は、適切に変換または処理された動画化エンジン、ビデオゲームマシン、シミュレータまたはビデオなどのいずれのソースからのものでもよく、これにより異なる視界からのディスプレイが提供される。本発明は請求の範囲によって定義され、本明細書に具体的に記載されているか否かにかかわらず対応する構成および均等な構成のすべてを包括する。
【特許請求の範囲】
【請求項１】
没入型空間ヒューマンマシンインターフェースであって、
自由空間内で可動な少なくとも１つのハンドヘルドディスプレイと、
前記可動型のハンドヘルドディスプレイの姿勢の少なくともいくつかの向きを決定するように構成された装置と、
少なくとも１つの追加ディスプレイと、
前記ハンドヘルドディスプレイと前記追加ディスプレイとに対して作用可能に接続された少なくとも１つのグラフィカル画像生成部であって、前記ハンドヘルドディスプレイと前記追加ディスプレイとに表示させる仮想空間の画像を生成する少なくとも１つのグラフィカル画像生成部と、を含み、
前記少なくとも１つのグラフィカル画像生成部は、前記ハンドヘルドディスプレイおよび前記追加ディスプレイに表示させる、同一の仮想位置からの異なる視界の画像を生成し、前記画像の少なくともいくつかは、前記決定された姿勢の向きに少なくとも部分的に応じて生成されて、前記ハンドヘルドディスプレイの画像と前記追加ディスプレイの画像との間の空間相関を提供し、それによって前記ヒューマンマシンインターフェースにおける空間への没入性を高める、インターフェース。
【請求項２】
前記ハンドヘルドディスプレイの画像と前記追加ディスプレイの画像とが実際上類似であるモードでは、前記少なくとも１つのグラフィカル画像生成部は前記画像に代えて他の画像および／または情報を前記ハンドヘルドディスプレイに表示させる、請求項１に記載のインターフェース。
【請求項３】
前記追加ディスプレイは相対的に大型の静止型ディスプレイを含み、前記少なくとも１つのグラフィカル画像生成部は、周りを見回すときに視界を僅かにシフトする可能性はあることを除き、静止型ディスプレイ用に生成される画像を描画する視界を前記決定された姿勢の向きに基づいて変更することは実際上ない、請求項１に記載のインターフェース。
【請求項４】
前記少なくとも１つのグラフィカル画像生成部は、周りを見回すときに視界が僅かにシフトした場合に、前記静止型ディスプレイ用に生成した画像を描画する視界を変更する、請求項３に記載のインターフェース。
【請求項５】
前記ハンドヘルドディスプレイの視界と前記追加ディスプレイの視界とが実質的に同一または近いモードでは、前記少なくとも１つのグラフィカル画像生成部は前記画像に代えて他の画像および／または情報を前記ハンドヘルドディスプレイに表示させる、請求項２に記載のインターフェース。
【請求項６】
没入型空間ヒューマンマシンインターフェースであって、
自由空間内で可動な少なくとも１つのハンドヘルドディスプレイと、
前記可動型のハンドヘルドディスプレイの姿勢の少なくともいくつかの向きを決定するように構成された装置と、
少なくとも１つの追加ディスプレイと、
前記ハンドヘルドディスプレイと前記追加ディスプレイとに対して作用可能に接続された少なくとも１つのグラフィカル画像生成部であって、前記ハンドヘルドディスプレイおよび前記追加ディスプレイにそれぞれ表示させる、仮想空間内の共通の位置または互いに近い位置から見た異なる画像を生成する少なくとも１つのグラフィカル画像生成部と、を含み、
前記少なくとも１つのグラフィカル画像生成部は、前記ハンドヘルドディスプレイおよび前記追加ディスプレイに表示させる、前記仮想空間内の共通のまたは互いに近い位置から見た異なる視線方向の画像を生成し、少なくとも前記可動型ディスプレイに表示させるように生成された画像は、前記決定された姿勢の向きに応じて変化し、前記可動型ディスプレイが表示する画像と前記追加ディスプレイが表示する画像との間の空間相関を提供し、それによって前記ヒューマンマシンインターフェースにおける空間への没入性を高める、インターフェース。
【請求項７】
前記ハンドヘルドディスプレイ用の画像は、前記仮想空間の少なくとも一部であって、前記追加ディスプレイに表示させる画像内に表されていない一部を表す、請求項６に記載のインターフェース。
【請求項８】
前記グラフィカル画像生成部は、前記追加ディスプレイに表示させる基準視線方向からの画像と、前記ハンドヘルドディスプレイに表示させる画像であって、前記決定された姿勢の向きに応じて変化する、異なる／自由な／任意の視線方向から見た画像とを生成し、前記異なる／自由な／任意の視線方向は、前記基準方向に基づいている、請求項６に記載のインターフェース。
【請求項９】
前記グラフィカル画像生成部は、前記決定された姿勢の向きが前記追加ディスプレイに対応する範囲の外にあるとき、前記ハンドヘルドディスプレイ用の画像が、前記仮想空間の少なくとも一部であって、前記追加ディスプレイに表示させる画像内に表されていない一部を表すように、前記ハンドヘルドディスプレイおよび前記追加ディスプレイの各々に表示させる画像を生成する、請求項６に記載のインターフェース。
【請求項１０】
前記グラフィカル画像生成部は、前記決定された姿勢の向きが所定の姿勢に対応するとき、前記ハンドヘルドディスプレイ用の画像が、前記仮想空間の少なくとも一部であって、前記追加ディスプレイに表示させる画像内に表されていない一部を表すように、前記ハンドヘルドディスプレイおよび前記追加ディスプレイの各々に表示させる画像を生成する、請求項６に記載のインターフェース。
【請求項１１】
前記グラフィカル画像生成部は、前記ハンドヘルドディスプレイ用の仮想カメラを用いて前記ハンドヘルドディスプレイに表示させる画像を生成し、前記追加ディスプレイ用の仮想カメラを用いて前記追加ディスプレイに表示させる画像を生成し、前記グラフィカル画像生成部は、前記追加ディスプレイ用の前記仮想カメラの視線方向を実質的に変更することなく、前記決定された姿勢の向きに応じて前記ハンドヘルドディスプレイ用の前記仮想カメラの視線方向を変更する、請求項６に記載のインターフェース。
【請求項１２】
前記ハンドヘルドディスプレイ用の前記仮想カメラの位置と、前記追加ディスプレイ用の前記仮想カメラの位置とは実質的に同一である、請求項１１に記載のインターフェース。
【請求項１３】
前記仮想カメラの位置はプレイヤオブジェクトの位置に基づいて決定され、前記プレイヤオブジェクトの位置はプレイヤの操作によって変化する、請求項１２に記載のインターフェース。
【請求項１４】
前記グラフィカル画像生成部は、前記ハンドヘルドディスプレイと無線で通信する、請求項６に記載のインターフェース。
【請求項１５】
前記グラフィカル画像生成部は単一の情報処理ユニットであり、前記情報処理ユニットは、前記ハンドヘルドディスプレイ用の画像と前記追加ディスプレイ用の画像とを実質的に同時に生成する、請求項６に記載のインターフェース。
【請求項１６】
前記追加ディスプレイは、相対的に大型の静止型ディスプレイを含み、前記静止型ディスプレイ用に生成した画像を描画する視界を前記決定された姿勢の向きに基づいて変更することはない、請求項６に記載のインターフェース。
【請求項１７】
前記可動型ディスプレイは、姿勢を決定するためにＭＡＲＧセンサ装置を含む、請求項６に記載のインターフェース。
【請求項１８】
前記グラフィカル画像生成部は、前記可動型ディスプレイの前記決定された姿勢の向きに応じて投影視点を変更する、請求項６に記載のインターフェース。
【請求項１９】
前記可動型ディスプレイはハウジングで取り囲まれ、前記装置は前記ハウジング内に配置されている、請求項６に記載のインターフェース。
【請求項２０】
前記ハンドヘルドディスプレイはタッチディスプレイを含む、請求項６に記載のインターフェース。
【請求項２１】
前記装置は少なくとも１つの磁気計を含む、請求項６に記載のインターフェース。
【請求項２２】
前記装置は、（ａ）加速度計、（ｂ）ジャイロスコープ、（ｃ）磁気計、（ｄ）光学エレメント、（ｅ）超音波エレメント、（ｆ）赤外線エレメントから選択された少なくとも１つを含む、請求項６に記載のインターフェース。
【請求項２３】
前記装置は外側から内側を見るタイプである、請求項６に記載のインターフェース。
【請求項２４】
前記装置は内側から外側を見るタイプである、請求項６に記載のインターフェース。
【請求項２５】
前記可動型ハンドヘルドディスプレイは、前記追加ディスプレイが表示する画像と空間相関する、前記仮想空間の３Ｄ可動パッチを表示する、請求項６に記載のインターフェース。
【請求項２６】
前記可動型ハンドヘルドディスプレイは３Ｄ画像を表示する、請求項６に記載のインターフェース。
【請求項２７】
没入型空間ヒューマンマシンインターフェースであって、
各々が自由空間内で可動な複数のハンドヘルドディスプレイと、
前記可動型ハンドヘルドディスプレイのそれぞれの姿勢の少なくともいくつかの向きを決定するように構成された装置と、
少なくとも１つの追加ディスプレイと、
前記ハンドヘルドディスプレイおよび前記追加ディスプレイと通信する少なくとも１つのグラフィカル画像生成部であって、前記複数のハンドヘルドディスプレイの各々と前記追加ディスプレイとに表示させる仮想空間の画像を生成する少なくとも１つのグラフィカル画像生成部と、を含み、
前記少なくとも１つのグラフィカル画像生成部は、前記複数のハンドヘルドディスプレイおよび前記追加ディスプレイに同時に表示させる異なる視界の画像を、前記決定された姿勢の向きに少なくとも部分的に応じて生成し、すべての前記画像間の空間相関を提供し、それによって前記ヒューマンマシンインターフェースにおける空間の没入性を高める、没入型空間ヒューマンマシンインターフェース。
【請求項２８】
没入型空間ヒューマンマシンインターフェースを提供する方法であって、
自由空間で可動な少なくとも１つのハンドヘルド提示面の姿勢の少なくともいくつかの向きの測定と、
前記ハンドヘルド提示面および追加提示面に表示させる仮想空間の画像の生成であって、前記測定した姿勢の向きに少なくとも部分的に応じて前記ハンドヘルド提示面と前記追加提示面とに同時に表示させる異なる画像を生成して、前記表示した画像間を空間的に整合させ、それによって前記ヒューマンマシンインターフェースにおける空間への没入性を高めることを含む生成と、を含む方法。
【請求項２９】
コンピュータによって実行される場合に没入型空間ヒューマンマシンインターフェースを提供する命令を格納した非一時的格納媒体であって、
少なくとも１つのハンドヘルド提示面が自由空間内で動く場合に前記ハンドヘルド面の姿勢の少なくともいくつかの向きを決定する第１の命令と、
前記ハンドヘルド提示面および追加提示面に表示させる仮想空間の画像を生成する第２の命令であって、測定した姿勢の向きに少なくとも部分的に応じて、前記ハンドヘルド提示面と前記追加提示面とにおいて同時に見られるように異なる画像を生成して、表示した画像間を空間的に相関させ、それによって前記ヒューマンマシンインターフェースの没入性を高める命令を含む第２の命令と、を含む非一時的格納媒体。
【請求項３０】
（１）可動型ディスプレイおよび（２）仮想空間の画像を表示する追加ディスプレイに対して用いるユーザインターフェース方法であって、
前記可動型ディスプレイがいつ前記追加ディスプレイの方を向く／指し示すかを決定することと、
前記決定によって、前記可動型ディスプレイが前記追加ディスプレイの方を向いている／指し示していると決定される場合、前記追加ディスプレイにポインティングオブジェクトを表示し、前記追加ディスプレイに対する前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じてポインティングシンボルの表示位置を制御することと、
前記決定によって、前記可動型ディスプレイが前記追加ディスプレイの方を向いていない／指し示していないと決定される場合、前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じた視線方向から見た、前記仮想空間の画像を前記可動型ディスプレイに表示することと、を含むユーザインターフェース方法。
【請求項３１】
ユーザインターフェースであって、
可動型ディスプレイと、
仮想空間の画像を表示する追加ディスプレイと、
前記可動型ディスプレイがいつ前記追加ディスプレイの方を向く／指し示すかを決定する決定部と、
前記可動型ディスプレイおよび前記追加ディスプレイに接続された画像生成部であって、前記決定部が、前記可動型ディスプレイが前記追加ディスプレイの方を向いている／前記追加ディスプレイに向かっていると決定する場合、前記追加ディスプレイにポインティングオブジェクトを表示し、前記追加ディスプレイに対する前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じてポインティングシンボルの表示位置を制御し、前記決定部が、前記可動型ディスプレイが前記追加ディスプレイの方を向いていない／指し示していないと決定する場合、前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じた視線方向から見た、前記仮想空間の画像を前記可動型ディスプレイに表示する、画像生成部と、
を含むユーザインターフェース。
【請求項３２】
（１）可動型ディスプレイおよび（２）仮想空間の画像を表示する追加ディスプレイに対して用いるユーザインターフェース方法であって、
前記可動型ディスプレイの姿勢の少なくともいくつかの向きを決定することと、
前記決定された少なくともいくつかの向きに基づいて、前記追加ディスプレイに対する前記可動型ディスプレイの姿勢を推定することと、
前記可動型ディスプレイと前記追加ディスプレイとの推定された相対的姿勢に基づいて、（ａ）前記追加ディスプレイ上のポインティングオブジェクトの表示位置を制御することと、（ｂ）前記決定した姿勢の少なくともいくつかの向きに応じた視線方向から見た前記仮想空間の画像を前記可動型ディスプレイに表示することとの間で、前記可動型ディスプレイの状態を切り換えることと、を含むユーザインターフェース方法。
【請求項３３】
（１）自由空間内で可動なハンドヘルドディスプレイおよび（２）仮想空間の画像を表示するテレビを用いるユーザインターフェース方法であって、
前記ハンドヘルドディスプレイの姿勢の少なくともいくつかの向きを決定することと、
前記決定した少なくともいくつかの向きに基づいて、前記テレビに対する前記ハンドヘルドディスプレイの姿勢を推定することと、
前記推定した相対的な姿勢に基づいて、（ａ）前記決定した姿勢の少なくともいくつかの方位に応じた視線方向から見た、前記仮想空間内で周りを見回した画像を提示することと、（ｂ）ユーザインターフェース制御情報を提示することとの間で前記ハンドヘルドディスプレイの状態を切り換えることと、を含むユーザインターフェース方法。
【請求項３４】
前記姿勢の少なくともいくつかの向きに基づいて、前記ハンドヘルドディスプレイが前記テレビの周囲の方を向いているか否かを検出し、前記検出に応じて前記テレビの表示を選択的にシフトすることをさらに含む、請求項３３に記載のユーザインターフェース。
【請求項１】
没入型空間ヒューマンマシンインターフェースであって、
自由空間内で可動な少なくとも１つのハンドヘルドディスプレイと、
前記可動型のハンドヘルドディスプレイの姿勢の少なくともいくつかの向きを決定するように構成された装置と、
少なくとも１つの追加ディスプレイと、
前記ハンドヘルドディスプレイと前記追加ディスプレイとに対して作用可能に接続された少なくとも１つのグラフィカル画像生成部であって、前記ハンドヘルドディスプレイと前記追加ディスプレイとに表示させる仮想空間の画像を生成する少なくとも１つのグラフィカル画像生成部と、を含み、
前記少なくとも１つのグラフィカル画像生成部は、前記ハンドヘルドディスプレイおよび前記追加ディスプレイに表示させる、同一の仮想位置からの異なる視界の画像を生成し、前記画像の少なくともいくつかは、前記決定された姿勢の向きに少なくとも部分的に応じて生成されて、前記ハンドヘルドディスプレイの画像と前記追加ディスプレイの画像との間の空間相関を提供し、それによって前記ヒューマンマシンインターフェースにおける空間への没入性を高める、インターフェース。
【請求項２】
前記ハンドヘルドディスプレイの画像と前記追加ディスプレイの画像とが実際上類似であるモードでは、前記少なくとも１つのグラフィカル画像生成部は前記画像に代えて他の画像および／または情報を前記ハンドヘルドディスプレイに表示させる、請求項１に記載のインターフェース。
【請求項３】
前記追加ディスプレイは相対的に大型の静止型ディスプレイを含み、前記少なくとも１つのグラフィカル画像生成部は、周りを見回すときに視界を僅かにシフトする可能性はあることを除き、静止型ディスプレイ用に生成される画像を描画する視界を前記決定された姿勢の向きに基づいて変更することは実際上ない、請求項１に記載のインターフェース。
【請求項４】
前記少なくとも１つのグラフィカル画像生成部は、周りを見回すときに視界が僅かにシフトした場合に、前記静止型ディスプレイ用に生成した画像を描画する視界を変更する、請求項３に記載のインターフェース。
【請求項５】
前記ハンドヘルドディスプレイの視界と前記追加ディスプレイの視界とが実質的に同一または近いモードでは、前記少なくとも１つのグラフィカル画像生成部は前記画像に代えて他の画像および／または情報を前記ハンドヘルドディスプレイに表示させる、請求項２に記載のインターフェース。
【請求項６】
没入型空間ヒューマンマシンインターフェースであって、
自由空間内で可動な少なくとも１つのハンドヘルドディスプレイと、
前記可動型のハンドヘルドディスプレイの姿勢の少なくともいくつかの向きを決定するように構成された装置と、
少なくとも１つの追加ディスプレイと、
前記ハンドヘルドディスプレイと前記追加ディスプレイとに対して作用可能に接続された少なくとも１つのグラフィカル画像生成部であって、前記ハンドヘルドディスプレイおよび前記追加ディスプレイにそれぞれ表示させる、仮想空間内の共通の位置または互いに近い位置から見た異なる画像を生成する少なくとも１つのグラフィカル画像生成部と、を含み、
前記少なくとも１つのグラフィカル画像生成部は、前記ハンドヘルドディスプレイおよび前記追加ディスプレイに表示させる、前記仮想空間内の共通のまたは互いに近い位置から見た異なる視線方向の画像を生成し、少なくとも前記可動型ディスプレイに表示させるように生成された画像は、前記決定された姿勢の向きに応じて変化し、前記可動型ディスプレイが表示する画像と前記追加ディスプレイが表示する画像との間の空間相関を提供し、それによって前記ヒューマンマシンインターフェースにおける空間への没入性を高める、インターフェース。
【請求項７】
前記ハンドヘルドディスプレイ用の画像は、前記仮想空間の少なくとも一部であって、前記追加ディスプレイに表示させる画像内に表されていない一部を表す、請求項６に記載のインターフェース。
【請求項８】
前記グラフィカル画像生成部は、前記追加ディスプレイに表示させる基準視線方向からの画像と、前記ハンドヘルドディスプレイに表示させる画像であって、前記決定された姿勢の向きに応じて変化する、異なる／自由な／任意の視線方向から見た画像とを生成し、前記異なる／自由な／任意の視線方向は、前記基準方向に基づいている、請求項６に記載のインターフェース。
【請求項９】
前記グラフィカル画像生成部は、前記決定された姿勢の向きが前記追加ディスプレイに対応する範囲の外にあるとき、前記ハンドヘルドディスプレイ用の画像が、前記仮想空間の少なくとも一部であって、前記追加ディスプレイに表示させる画像内に表されていない一部を表すように、前記ハンドヘルドディスプレイおよび前記追加ディスプレイの各々に表示させる画像を生成する、請求項６に記載のインターフェース。
【請求項１０】
前記グラフィカル画像生成部は、前記決定された姿勢の向きが所定の姿勢に対応するとき、前記ハンドヘルドディスプレイ用の画像が、前記仮想空間の少なくとも一部であって、前記追加ディスプレイに表示させる画像内に表されていない一部を表すように、前記ハンドヘルドディスプレイおよび前記追加ディスプレイの各々に表示させる画像を生成する、請求項６に記載のインターフェース。
【請求項１１】
前記グラフィカル画像生成部は、前記ハンドヘルドディスプレイ用の仮想カメラを用いて前記ハンドヘルドディスプレイに表示させる画像を生成し、前記追加ディスプレイ用の仮想カメラを用いて前記追加ディスプレイに表示させる画像を生成し、前記グラフィカル画像生成部は、前記追加ディスプレイ用の前記仮想カメラの視線方向を実質的に変更することなく、前記決定された姿勢の向きに応じて前記ハンドヘルドディスプレイ用の前記仮想カメラの視線方向を変更する、請求項６に記載のインターフェース。
【請求項１２】
前記ハンドヘルドディスプレイ用の前記仮想カメラの位置と、前記追加ディスプレイ用の前記仮想カメラの位置とは実質的に同一である、請求項１１に記載のインターフェース。
【請求項１３】
前記仮想カメラの位置はプレイヤオブジェクトの位置に基づいて決定され、前記プレイヤオブジェクトの位置はプレイヤの操作によって変化する、請求項１２に記載のインターフェース。
【請求項１４】
前記グラフィカル画像生成部は、前記ハンドヘルドディスプレイと無線で通信する、請求項６に記載のインターフェース。
【請求項１５】
前記グラフィカル画像生成部は単一の情報処理ユニットであり、前記情報処理ユニットは、前記ハンドヘルドディスプレイ用の画像と前記追加ディスプレイ用の画像とを実質的に同時に生成する、請求項６に記載のインターフェース。
【請求項１６】
前記追加ディスプレイは、相対的に大型の静止型ディスプレイを含み、前記静止型ディスプレイ用に生成した画像を描画する視界を前記決定された姿勢の向きに基づいて変更することはない、請求項６に記載のインターフェース。
【請求項１７】
前記可動型ディスプレイは、姿勢を決定するためにＭＡＲＧセンサ装置を含む、請求項６に記載のインターフェース。
【請求項１８】
前記グラフィカル画像生成部は、前記可動型ディスプレイの前記決定された姿勢の向きに応じて投影視点を変更する、請求項６に記載のインターフェース。
【請求項１９】
前記可動型ディスプレイはハウジングで取り囲まれ、前記装置は前記ハウジング内に配置されている、請求項６に記載のインターフェース。
【請求項２０】
前記ハンドヘルドディスプレイはタッチディスプレイを含む、請求項６に記載のインターフェース。
【請求項２１】
前記装置は少なくとも１つの磁気計を含む、請求項６に記載のインターフェース。
【請求項２２】
前記装置は、（ａ）加速度計、（ｂ）ジャイロスコープ、（ｃ）磁気計、（ｄ）光学エレメント、（ｅ）超音波エレメント、（ｆ）赤外線エレメントから選択された少なくとも１つを含む、請求項６に記載のインターフェース。
【請求項２３】
前記装置は外側から内側を見るタイプである、請求項６に記載のインターフェース。
【請求項２４】
前記装置は内側から外側を見るタイプである、請求項６に記載のインターフェース。
【請求項２５】
前記可動型ハンドヘルドディスプレイは、前記追加ディスプレイが表示する画像と空間相関する、前記仮想空間の３Ｄ可動パッチを表示する、請求項６に記載のインターフェース。
【請求項２６】
前記可動型ハンドヘルドディスプレイは３Ｄ画像を表示する、請求項６に記載のインターフェース。
【請求項２７】
没入型空間ヒューマンマシンインターフェースであって、
各々が自由空間内で可動な複数のハンドヘルドディスプレイと、
前記可動型ハンドヘルドディスプレイのそれぞれの姿勢の少なくともいくつかの向きを決定するように構成された装置と、
少なくとも１つの追加ディスプレイと、
前記ハンドヘルドディスプレイおよび前記追加ディスプレイと通信する少なくとも１つのグラフィカル画像生成部であって、前記複数のハンドヘルドディスプレイの各々と前記追加ディスプレイとに表示させる仮想空間の画像を生成する少なくとも１つのグラフィカル画像生成部と、を含み、
前記少なくとも１つのグラフィカル画像生成部は、前記複数のハンドヘルドディスプレイおよび前記追加ディスプレイに同時に表示させる異なる視界の画像を、前記決定された姿勢の向きに少なくとも部分的に応じて生成し、すべての前記画像間の空間相関を提供し、それによって前記ヒューマンマシンインターフェースにおける空間の没入性を高める、没入型空間ヒューマンマシンインターフェース。
【請求項２８】
没入型空間ヒューマンマシンインターフェースを提供する方法であって、
自由空間で可動な少なくとも１つのハンドヘルド提示面の姿勢の少なくともいくつかの向きの測定と、
前記ハンドヘルド提示面および追加提示面に表示させる仮想空間の画像の生成であって、前記測定した姿勢の向きに少なくとも部分的に応じて前記ハンドヘルド提示面と前記追加提示面とに同時に表示させる異なる画像を生成して、前記表示した画像間を空間的に整合させ、それによって前記ヒューマンマシンインターフェースにおける空間への没入性を高めることを含む生成と、を含む方法。
【請求項２９】
コンピュータによって実行される場合に没入型空間ヒューマンマシンインターフェースを提供する命令を格納した非一時的格納媒体であって、
少なくとも１つのハンドヘルド提示面が自由空間内で動く場合に前記ハンドヘルド面の姿勢の少なくともいくつかの向きを決定する第１の命令と、
前記ハンドヘルド提示面および追加提示面に表示させる仮想空間の画像を生成する第２の命令であって、測定した姿勢の向きに少なくとも部分的に応じて、前記ハンドヘルド提示面と前記追加提示面とにおいて同時に見られるように異なる画像を生成して、表示した画像間を空間的に相関させ、それによって前記ヒューマンマシンインターフェースの没入性を高める命令を含む第２の命令と、を含む非一時的格納媒体。
【請求項３０】
（１）可動型ディスプレイおよび（２）仮想空間の画像を表示する追加ディスプレイに対して用いるユーザインターフェース方法であって、
前記可動型ディスプレイがいつ前記追加ディスプレイの方を向く／指し示すかを決定することと、
前記決定によって、前記可動型ディスプレイが前記追加ディスプレイの方を向いている／指し示していると決定される場合、前記追加ディスプレイにポインティングオブジェクトを表示し、前記追加ディスプレイに対する前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じてポインティングシンボルの表示位置を制御することと、
前記決定によって、前記可動型ディスプレイが前記追加ディスプレイの方を向いていない／指し示していないと決定される場合、前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じた視線方向から見た、前記仮想空間の画像を前記可動型ディスプレイに表示することと、を含むユーザインターフェース方法。
【請求項３１】
ユーザインターフェースであって、
可動型ディスプレイと、
仮想空間の画像を表示する追加ディスプレイと、
前記可動型ディスプレイがいつ前記追加ディスプレイの方を向く／指し示すかを決定する決定部と、
前記可動型ディスプレイおよび前記追加ディスプレイに接続された画像生成部であって、前記決定部が、前記可動型ディスプレイが前記追加ディスプレイの方を向いている／前記追加ディスプレイに向かっていると決定する場合、前記追加ディスプレイにポインティングオブジェクトを表示し、前記追加ディスプレイに対する前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じてポインティングシンボルの表示位置を制御し、前記決定部が、前記可動型ディスプレイが前記追加ディスプレイの方を向いていない／指し示していないと決定する場合、前記可動型ディスプレイの姿勢の少なくともいくつかの向きに応じた視線方向から見た、前記仮想空間の画像を前記可動型ディスプレイに表示する、画像生成部と、
を含むユーザインターフェース。
【請求項３２】
（１）可動型ディスプレイおよび（２）仮想空間の画像を表示する追加ディスプレイに対して用いるユーザインターフェース方法であって、
前記可動型ディスプレイの姿勢の少なくともいくつかの向きを決定することと、
前記決定された少なくともいくつかの向きに基づいて、前記追加ディスプレイに対する前記可動型ディスプレイの姿勢を推定することと、
前記可動型ディスプレイと前記追加ディスプレイとの推定された相対的姿勢に基づいて、（ａ）前記追加ディスプレイ上のポインティングオブジェクトの表示位置を制御することと、（ｂ）前記決定した姿勢の少なくともいくつかの向きに応じた視線方向から見た前記仮想空間の画像を前記可動型ディスプレイに表示することとの間で、前記可動型ディスプレイの状態を切り換えることと、を含むユーザインターフェース方法。
【請求項３３】
（１）自由空間内で可動なハンドヘルドディスプレイおよび（２）仮想空間の画像を表示するテレビを用いるユーザインターフェース方法であって、
前記ハンドヘルドディスプレイの姿勢の少なくともいくつかの向きを決定することと、
前記決定した少なくともいくつかの向きに基づいて、前記テレビに対する前記ハンドヘルドディスプレイの姿勢を推定することと、
前記推定した相対的な姿勢に基づいて、（ａ）前記決定した姿勢の少なくともいくつかの方位に応じた視線方向から見た、前記仮想空間内で周りを見回した画像を提示することと、（ｂ）ユーザインターフェース制御情報を提示することとの間で前記ハンドヘルドディスプレイの状態を切り換えることと、を含むユーザインターフェース方法。
【請求項３４】
前記姿勢の少なくともいくつかの向きに基づいて、前記ハンドヘルドディスプレイが前記テレビの周囲の方を向いているか否かを検出し、前記検出に応じて前記テレビの表示を選択的にシフトすることをさらに含む、請求項３３に記載のユーザインターフェース。
【図１】
【図１Ａ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図６Ｅ】
【図６Ｆ】
【図６Ｇ】
【図６Ｈ】
【図６Ｉ】
【図６Ｊ】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図８Ｅ】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１０Ｄ】
【図１１】
【図１２】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１Ａ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図４Ａ】
【図４Ｂ】
【図５Ａ】
【図５Ｂ】
【図６】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図６Ｅ】
【図６Ｆ】
【図６Ｇ】
【図６Ｈ】
【図６Ｉ】
【図６Ｊ】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図８Ｄ】
【図８Ｅ】
【図９Ａ】
【図９Ｂ】
【図１０Ａ】
【図１０Ｂ】
【図１０Ｃ】
【図１０Ｄ】
【図１１】
【図１２】
【図１２Ａ】
【図１２Ｂ】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【公開番号】特開２０１２−１６１６０４（Ｐ２０１２−１６１６０４Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−１４９０２（Ｐ２０１２−１４９０２）
【出願日】平成２４年１月２７日（２０１２．１．２７）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１２−１４９０２（Ｐ２０１２−１４９０２）
【出願日】平成２４年１月２７日（２０１２．１．２７）
【出願人】（０００２３３７７８）任天堂株式会社 (1,115)
【Ｆターム（参考）】
[ Back to top ]