ビデオゲームにおいてオブジェクトの動きを制御する方法およびシステム
【課題】ビデオゲームにおいてオブジェクトの動きを制御する技術を提供する。
【解決手段】少なくとも一人のプレイヤがビデオゲームをプレイする場所に少なくとも１つのビデオカメラが使用され、ビデオカメラがプレイヤの様々な動きを捉える。専用の装置（例えば、ゲームコンソールまたはコンピュータ）は、ビデオデータからプレイヤの動きを得るためのビデオデータを生成し、オブジェクトをプレイヤの動きに反応させるように構成されている。専用装置が２つ以上の場所からビデオデータを受け取る場合、それぞれの場所にいるプレイヤは、場所の現実の世界空間のいくつかまたは全てを表示する共有空間に基づいて構築され得るネットワークビデオゲームをプレイすることができる。ビデオゲームにはオブジェクトが組み込まれており、オブジェクトのいくつかはプレイヤの動きに反応し、ビデオゲームのルールに従って、他のオブジェクトと対話する。
【解決手段】少なくとも一人のプレイヤがビデオゲームをプレイする場所に少なくとも１つのビデオカメラが使用され、ビデオカメラがプレイヤの様々な動きを捉える。専用の装置（例えば、ゲームコンソールまたはコンピュータ）は、ビデオデータからプレイヤの動きを得るためのビデオデータを生成し、オブジェクトをプレイヤの動きに反応させるように構成されている。専用装置が２つ以上の場所からビデオデータを受け取る場合、それぞれの場所にいるプレイヤは、場所の現実の世界空間のいくつかまたは全てを表示する共有空間に基づいて構築され得るネットワークビデオゲームをプレイすることができる。ビデオゲームにはオブジェクトが組み込まれており、オブジェクトのいくつかはプレイヤの動きに反応し、ビデオゲームのルールに従って、他のオブジェクトと対話する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、コンピュータビデオゲームの分野に関し、より詳細には、ネットワークによって共有される三次元（３Ｄ）ゲーム空間を創出しかつその空間と対話するための技術に関する。３Ｄゲーム空間は、プレイヤの形態および場合によりプレイヤの現実の世界環境に関する情報から創出および維持される。この空間では、現実の世界におけるプレイヤの動きは、ネットワーク上の他のプレイヤとの物理的近さおよび物理的対話についての共感を生じさせるように解釈される。プレイヤは、３Ｄゲーム空間の仮想のエンティティおよびオブジェクトと一緒に対話することができる。
【背景技術】
【０００２】
任天堂のＷｉｉリモコン（登録商標）無線コントローラは、コンピュータディスプレイゲームシステム用のユーザ対話型コントローラの最先端技術における進歩の一例である。当該コントローラは、ユーザが手に持つことができる移動可能な無線リモートコントローラである。このコントローラは動きを検知する内蔵式の加速度計を使用しており、赤外線検出と組み合わせると、センサバーが到達する範囲内でＬＥＤをポイントした際に３Ｄ空間における位置情報が得られる。この設計によって、ユーザは身体のジェスチャ、ポインティングおよび従来のボタンの押下によってゲームを制御することができる。当該コントローラは、ブルートゥースによってコンソールに接続し、コントローラを振動させることができる「振動パック（rumble pack）」ならびに内蔵スピーカを特徴とする。ユーザがディスプレイに反応してコントローラを移動させると、コントローラは、従来の短距離無線ＲＦ通信を介してセンサデータをコンソールに送信してユーザと、表示されているゲームとの対話をシミュレートする。
【０００３】
任天堂Ｗｉｉビデオゲームシステムの人気によって、プレイヤをプレイ中のゲームに深く引き込むために、より高度なビデオゲームシステムが求められている。本明細書に提示されている開示内容は、ネットワークによって共有される三次元（３Ｄ）仮想ゲーム空間を創出しかつその空間と対話する方法およびシステムに関するものである。３Ｄ仮想ゲーム空間は、カメラおよび慣性センサの機能および構成を含む情報および／またはプレイヤおよびプレイヤの現実の世界環境に関するカメラおよび慣性センサから得られる情報から創出、組み合わせ、あるいは統合される。現実の世界におけるプレイヤの動きは、カメラおよび／または慣性センサによって検知され、これらの動きは、ネットワーク上の他のプレイヤの物理的近さおよび物理的対話についての共感を生じさせるように解釈される。そのような動きは通常見ることができ、それにより３Ｄ仮想プレイエリア内の仮想のエンティティおよびオブジェクトとの共同および独りでの対話が可能となる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
当該箇所は、本発明のいくつかの態様を要約し、いくつかの好ましい実施形態を簡単に説明するためのものである。当該箇所ならびに要約書での簡略化または省略は、当該箇所および要約書の目的を曖昧にすることを回避するためになされている。そのような簡略化または省略は、本発明の範囲を限定することを意図するものではない。
【０００５】
本発明は一般に、離れているプレイヤの１つまたは複数の現実の世界空間に基づいてゲーム空間を創出することに関し、ここでは、現実の世界空間が異なる方法で組み合わせられてゲーム空間が創出され、このゲーム空間では、現実の世界におけるプレイヤの動きは、ネットワーク上の他のプレイヤとの物理的近さおよび物理的対話についての共感を生じさせるように解釈される。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、１人または複数のプレイヤが存在し得る１つのプレイエリアには少なくとも１つのビデオカメラがある。ビデオカメラの機能および構成（例えば、その光学特性および照明感度）は、許容可能な持続期間にわたって所定のレベルの許容可能な信頼性およびいくらかの許容可能な忠実度でプレイヤの動きを追跡することができる有効なプレイエリアを画定する。有効なプレイエリアは、プレイヤおよびプレイヤの動きの追跡および特定を支援するためのＩＮＳセンサを用いて場合により強化および／または拡張することができる。現実の世界空間における有効なプレイエリアから得られるデータに適用されるマッピングは、有効なプレイエリアの仮想化された３Ｄ表示を創出する。３Ｄ表示は、ゲーム空間に組み込まれるネットワーク上でビデオゲームをプレイしているプレイヤの数が増えるにつれ、それぞれの現実の世界空間の３Ｄ表示も増える。従って、共有ゲーム空間は、様々な方法で組み合わされ得る現実の世界空間のそれぞれの３Ｄ表示に基づいて創出される。カメラは、プレイヤならびにプレイヤの環境を捉えたビデオデータを生成する。このデータは、現実の世界空間におけるプレイヤおよび／または他のオブジェクトの仮想化された３Ｄ表示オブジェクトを生成するために使用されてもよい。特定のビデオゲームに応じて、ゲーム空間には様々な仮想オブジェクトおよび表示オブジェクトが組み込まれている。様々なルールおよび採点機構と共に、そのようなビデオゲームは、各プレイヤの動きがネットワーク上の他のプレイヤとの物理的近さおよび物理的対話についての共感を生じさせるように解釈されるゲーム空間では、複数のプレイヤによってプレイすることができる。
【０００７】
本発明の別の態様によれば、現実の世界空間の３Ｄ表示は、異なる方法で組み合わされ得、現実の世界空間を画定するマッピングも変更され得るため、３Ｄ表示は、ゲームのための新しい興味深い場面を創出するために、ビデオゲームの間に修正またはモーフィングすることができる。典型的なグループビデオゲームでは、複数のゲームコンソールがあり、それぞれがビデオデータおよびセンサデータを提供する。ホスト装置（ゲームコンソールのうちの１つまたは専用の計算装置のうちのいずれか）は、データを受け取りかつビデオゲーム用のゲーム空間を創出するように構成されており、ここでは、表示およびプレイヤによる対話のために、ゲーム空間が参加中のゲームコンソールに送り戻される。あるいは、ゲーム空間は、いくつかの分散形態で、例えば、ピアツーピアネットワークによって複数の計算装置上に格納され得る。
【０００８】
そのため、ゲーム空間は、仮想オブジェクトと、現実の世界空間における１人または複数のプレイヤおよび／またはレイアウトおよび家具を表す表示オブジェクトとを含み得、オブジェクト間の対話を可能にする。表示オブジェクトのいくつかは、現実の世界空間におけるプレイヤの動きに従って移動する。例えば、プレイヤは、ゲーム空間ではアバターによって表わされ得、ゲーム空間でのアバターの動きは、プレイヤ自身の現実の世界空間におけるプレイヤの動きの解釈である。その解釈は、欠落しているデータを補うか、ゲームに適合しない動きを修正するか、動きをスムーズにするか、動きをより見た目に美しいものとするか、あるいは、いくつかの動きをより印象的なものとするように設計された様々な変換、強調、追加および拡張を含み得る。
【０００９】
また、単一のプレイエリアは、非視覚的な方法でレンダリングされ得る。例えば、ゲーム空間に仮想の音源がある場合、プレイヤが耳にする音は、プレイヤに対応するアバターが音源に近付くにつれて大きくなり、遠ざかるにつれて小さくならなければならない。プレイヤが耳にする音は、（例えば、ディスプレイスクリーンに一体化されているか取り付けられている）スピーカから、あるいは、プレイヤが使用しているコントローラから届くものである。その音は、コントローラの位置および向きによっても調節することができる。例えば、コントローラは、ゲーム空間の仮想のマイクロホンの位置および方向を決める役割を担うことができる。
【００１０】
また、本発明は、現実の世界環境において音の位置を特定するために使用することもできる。本発明は、ゲームに、プレイヤの少なくともおおよその場所に関する情報を与え得る。例えば、２人のプレイヤが１つのカメラの前にいる場合、カメラからのデータとゲームコントローラからのデータとを相関させることによって、プレイヤの場所をおおよそ決定することができる。次に、マイクロホン配列を使用して環境からの音を捉えることができ、場所情報を使用して、２人のプレイヤの別々の話し声および音を、互いにそして他の背景ノイズから分離させることができる。この機能は、音声認識のためのものとするか、遠く離れているプレイヤに、２人のプレイヤがいる場所においてプレイヤのうちの一方のみの声を聞くように選択させることができる。
【００１１】
コントローラは多くの場合、コントローラを振動させる「振動パック」を含む。その振動は、プレイヤによって使用されているコントローラの位置および向きによって調節することができる。また、その振動は、プレイヤを表わすオブジェクトの位置および向きによって修正することもできる。例えば、剣戦闘ゲームでは、２つの仮想の刃が交差した場合のみコントローラを振動させることができ、その際、振動の程度は仮想の刃に伝わったように計算された仮想の力の関数である。
【００１２】
実装に応じて、本発明は、方法、装置またはシステムの一部として実装され得る。一実施形態によれば、本発明は、ネットワークビデオゲーム用の共有ゲーム空間を創出する方法であり、この方法は、必ずしも同一の場所に位置していない１つまたは複数の現実の世界空間に関する１つまたは複数のデータストリームを受け取るステップであって、データストリームはそれぞれ少なくとも１人のプレイヤがネットワークビデオゲームをプレイする現実の世界空間のうちの１つに関するビデオデータを含み、このビデオデータはプレイヤの様々な動きを得るために使用されるステップと、現実の世界空間の三次元表示を参照して共有ゲーム空間を創出するステップであって、ビデオゲームにおける少なくともいくつかのオブジェクトの動きがそれぞれ現実の世界空間におけるプレイヤのそれぞれの動きに反応するステップとを含む。
【００１３】
別の実施形態によれば、本発明は、ネットワークビデオゲーム用の共有ゲーム空間を創出するシステムであり、このシステムは、必ずしも同一の場所に配置されておらず、それぞれのデータストリームを提供する複数のプレイエリアであって、プレイエリアにはそれぞれ、少なくとも１つのカメラおよびコンソールが備えられており、カメラは、共有ゲームをプレイするためのコントローラを握持する少なくとも１人のプレイヤがいるプレイエリアを監視するように設置されており、コンソールは、プレイヤの様々な動きを捉えたビデオデータおよびセンサデータの両方を含むデータストリームのうちの１つを提供するプレイエリアと、プレイエリアからデータストリームを受け取り、プレイエリアの現実の世界空間の三次元表示を参照して共有ゲーム空間を創出するように構成されたホスティングマシンであって、ビデオゲームにおける少なくともいくつかのオブジェクトの動きがそれぞれ現実の世界空間におけるプレイヤのそれぞれの動きにそれぞれ反応するホスティングマシンとを含む。
【００１４】
さらに別の実施形態によれば、本発明は、互いに離れている少なくとも２人のプレイヤによってプレイされているネットワークビデオゲーム用の共有ゲーム空間において２つ以上のオブジェクトの動きを制御する方法であって、この方法は、第１の場所にいる少なくとも第１のプレイヤの動きを捉える第１の場所に関連付けられた少なくとも第１のカメラから少なくとも第１のビデオストリームを受け取り、かつ第２の場所にいる少なくとも第２のプレイヤの動きを捉える第２の場所に関連付けられた少なくとも第２のカメラから第２のビデオストリームを受け取るステップと、第１および第２のビデオデータストリームからそれぞれ第１および第２のプレイヤの動きを得るステップと、共有ゲーム空間における少なくとも第１のオブジェクトを第１のプレイヤの得られた動きに反応させ、共有ゲーム空間における少なくとも第２のオブジェクトを第２のプレイヤの得られた動きに反応させるステップであって、第１および第２の場所は必ずしも同一の場所に位置していないステップと、第１および第２の場所それぞれの少なくとも１つの表示上に共有空間の描写を表示するステップとを含む。
【００１５】
さらに別の実施形態によれば、本発明は、ビデオゲームにおいてオブジェクトの動きを制御する方法であり、この方法は、ビデオゲームのプレイヤの様々な動きを捉えるビデオカメラから少なくとも１つのビデオストリームを受け取るステップと、ビデオデータからプレイヤの動きを得るステップと、オブジェクトをプレイヤの動きに反応させるステップとを含む。当該方法は、プレイヤの動きをビデオゲームにおける所定のルールに従ってオブジェクトの動作にマッピングすることをさらに含む。
【００１６】
上記と共に、他の目的、特徴、利益および利点が、以下に記載される本発明の実施において達成され、添付の図面に図示されている実施形態に至る。
【００１７】
本発明のこれらおよび他の特徴、態様、および利点は、以下の記載、特許請求の範囲および添付の図面を参照してさらに理解されるであろう。
【図面の簡単な説明】
【００１８】
【図１Ａ】本発明の一実施形態の典型的な構成を示す。
【図１Ｂ】２人のプレイヤが１つの場所で一緒にビデオゲームをプレイしている様子を示す。
【図１Ｃ】場合により、拡張された現実をサポートするディスプレイを有するバーチャルリアリティ（ＶＲ）ゴーグル／眼鏡を着用しているプレイヤを示す。
【図２Ａ】単一のプレイヤがいる現実の世界空間に似せて構成された典型的なゲーム空間を示す。
【図２Ｂ】１人または複数のプレイヤを含みかつそのプレイヤを囲む現実の世界空間に類似するゲーム空間を生成するフローチャートすなわちプロセス２１０である。
【図３Ａ】本発明の一実施形態に係る構成を示す。
【図３Ｂ】少なくとも２つのゲームコンソールから送信される複数のデータストリームからのデータに基づいてゲーム空間を創出するために使用され得るシステム構成を示す。
【図３Ｃ】物理的に遠く離れているか、同じ建物内の別々の部屋にいる２人の参加プレイヤの２つの現実の世界空間が組み込まれた典型的なゲーム空間を示す。
【図３Ｄ】参加プレイヤをそれぞれ囲む１つまたは複数の現実の世界空間を組み合わせてゲーム空間を生成するフローチャートすなわちプロセスである。
【図３Ｅ】２つの別々のプレイエリアの２つの現実の世界空間に基づいてゲーム空間を創出する説明図である。
【図３Ｆ】表示オブジェクトが対応するプレイヤの動きに従って移動するネットワークゲームにおいて表示オブジェクトを制御するフローチャートすなわちプロセスである。
【図４Ａ】ゲーム空間の人工的に追加された要素が２人のプレイヤまたはプレイヤの対応する表示画面のうちの一方をプレイヤの現実の世界空間の後方に移動させる事例を示す。
【図４Ｂ】２つの現実の世界空間に類似するか、あるいは、向かい合わせに組み合わせられたプレイヤの対応する表示画面によって表わされたゲーム空間を示す。
【図５】本発明の一実施形態に係るシステム構成５００を示す。
【発明を実施するための形態】
【００１９】
発明を実施するための形態は、主として、ネットワークに接続されたデータ処理装置の動作に直接または間接的に類似する手順、ステップ、論理ブロック、処理、および他の記号表示の観点から示されている。これらのプロセスの記載および表示は通常、彼らの仕事内容を他の当業者に最も有効に伝えるために当業者によって使用されている。本明細書における「一実施形態(one embodiment)」または「一実施形態(an embodiment)」という言及は、実施形態に関連させて記載される特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書中の様々な場所で「一実施形態では」という言葉が出現するが、これらは必ずしも全てが同じ実施形態を指すものではなく他の実施形態と相互排他的な関連のない実施形態または他の実施形態を指すものでもない。さらに、本発明の１つまたは複数の実施形態を示すプロセスフローチャートまたは図におけるブロックの順番は、本質的に任意の特定の順番を示すものではなく、本発明におけるいかなる限定を示唆するものでもない。
【００２０】
ここで図面を参照するが、図面では、複数の図にわたって同様の符号は同様の部分を指している。図１Ａは、本発明の一実施形態の典型的な構成１００を示す。構成１００は、居間に似ており、ここではプレイヤ１０５がゲームコンソール１０２およびディスプレイ１０３を介してビデオゲームをプレイしている。カメラ１０１は、プレイヤ１０５を監視している。カメラ１０１は、能動的または受動的な赤外線カメラ、あるいは可視光にのみ反応するカメラであってもよい（あるいは、カメラ１０１は異なるモードで動作可能であってもよい）。また、カメラ１０１は、当該場面を照らすのを支援する通常光または赤外線光を含んでいてもよく、あるいは、カメラ１０１によって監視されている場面を照らすために別個の光が設けられていてもよい。カメラ１０１は、立体情報を決定するための飛行時間情報を測定する機能を含んでいてもよい。カメラ１０１は、立体映像技術を適用することができるように１つまたは複数のカメラで構成されていてもよい。カメラ１０１は、所定の範囲内でプレイヤを追跡してプレイヤの動きを捉えることができるように（場合により、オートフオーカス機能を有する）モーターを備えていてもよい。
【００２１】
実装に応じて、ゲームコンソール１０２は、専用のコンピュータ装置（例えば、Ｗｉｉシステムなどのビデオゲームシステム）であってもよく、または、ビデオゲームシステムとして動作するように構成された通常のコンピュータであってもよい。ゲームコンソール１０２は、ＰＣの他の場所で実行されている仮想マシンであってもよい。一実施形態では、コントローラとして使用される動作検知装置１０４には、ゲームを実行するのに必要な機能が組み込まれていてもよい。当該プレイヤは、片手に１つずつ、２つの別々の動作検知コントローラを有していてもよい。別の実施形態では、携帯電話／ＰＤＡが、動作検知装置として機能するように構成されていてもよい。さらに別の実施形態では、動作検知装置は、プレイヤが着用している衣服の中に組み込まれていてもよく、それは帽子の中であってもよく、あるいは、身体にストラップで固定されていてもよく、様々な手段で身体に取り付けられていてもよい。あるいは、複数の動作検知装置が身体の異なる部分に取り付けられていてもよい。
【００２２】
特に記載がない限り、本明細書では、本開示内容において使用されるゲームコンソールは、ビデオゲーム専用の親機、ゲームソフトモジュールを実行する一般的なコンピュータ、またはビデオゲームの親機として機能するように構成された携帯機器のうちのいずれか１つを意味し得る。実際には、ゲームコンソール１０２は、ディスプレイ１０３の近くに存在している必要はなく、有線または無線ネットワークを介してディスプレイ１０３と通信してもよい。例えば、ゲームコンソール１０２は、無線ＨＤＭＩなどのプロトコルを使用して無線でディスプレイ１０３と通信する計算装置上で実行される仮想のコンソールであってもよい。一実施形態によれば、ゲームコンソールは、各種データ（例えば、画像およびセンサデータ）を受け取り、サーバにデータを送るネットワーク接続可能なボックスである。他方、当該ゲームコンソールは、データを統合し、複数の他の参加中のゲームコンソールによってプレイされているネットワークゲーム用のゲーム空間を創出／更新するように構成されたサーバから、常時更新されたディスプレイデータを受け取る。
【００２３】
本発明は、ビデオゲームについて記載されていることに留意されたい。当業者であれば、本発明の実施形態は、実際には遠く離れている１人または複数の人々の間でネットワークによって物理的近さおよび物理的対話についての共感を生じさせる他のゲーム以外の用途にも適用可能であり得ることが分かるであろう。例えば、様々な活動のためのソーシャルネットワーキング用ウェブサイトに登録されている幾人かのユーザ間での会合が創出される。その場にいない人物が本発明の一実施形態によって創出された仮想の３Ｄ空間に存在しているかのような感情を与えることによって、ビデオ会議が促進されたり、友人および家族間での電話が促進される可能性がある。同様に、３Ｄの仮想世界の構築および工学的設計などの仮想のプロジェクトに関する様々なコラボレーションを本発明の一実施形態によって創出された仮想の３Ｄ空間に実現させることができる。いくつかの用途では、動作検知コントローラが不要な場合もあり、カメラによる動作追跡のみで十分である可能性もある。
【００２４】
図１Ｂは、２人のプレイヤ１２２および１２４がビデオゲームを一緒にプレイしている様子を示す。カメラ１２６は、プレイヤ１２２および１２４の両方を監視している。一実施形態によれば、プレイヤ１２２および１２４はそれぞれ、片手に１つずつ、２つのコントローラを握持している。互いに区別し易いように、コントローラにはそれぞれ１つまたは複数の（赤外線）ＬＥＤが上に設けられている。また、カメラ１２６は、赤外線（または、他の非可視光）カメラであってもよい。別の実施形態では、より多くのカメラが使用される。カメラの例としては、赤外線（または、他の非可視光）カメラおよび可視光カメラが挙げられる。あるいは、異なるモード、すなわち、可視光モードおよび／または赤外線モード（または、他の非可視光）で動作可能な単一のカメラも使用され得る。さらに別の実施形態では、問題となる光の変化を改善するために当該場面を照らすのを支援する光１２８が存在する。光１２８は赤外線（または、他の非可視光）であってもよい。光１２８は、同じ場面において異なる照明を創出するためのストロボであってもよい。コントローラの動きは、ビデオゲームにおいて対応するオブジェクトの動きを制御するように使用され、かつ／または、プレイヤの動きは、プレイヤにそれぞれ対応するオブジェクトの動きを制御するために使用される。
【００２５】
図１Ｃは、プレイヤ１０５が（例えば、ｗｗｗ．ｖｕｚｉｘ．ｃｏｍウェブサイトから入手可能な）ディスプレイ／拡張された現実を有するバーチャルリアリティ（ＶＲ）ゴーグル／眼鏡を着用している一実施形態を示す。プレイヤ１０５は、ディスプレイ１０３を見る代わりに、ゴーグル／眼鏡の中に表示されるビデオゲームと対話し得る。また、プレイヤ１０５は、外部ディスプレイを見るために３Ｄ眼鏡を使用してもよい。あるいは、ディスプレイ１０５は、裸眼立体(autostereoscopic)ディスプレイまたは３Ｄホログラフィックディスプレイであってもよい。一実施形態によれば、ゲームコンソール、ディスプレイおよびコントローラは全て、同じ装置またはシステムの一部である。
【００２６】
図１Ａを再度参照すると、動作検知装置１０４、すなわち簡単に言えばコントローラは、一方が三軸加速度計であり、他方が三軸ジャイロスコープである少なくとも２つの慣性センサを含んでいてもよい。加速度計は、移動しているオブジェクト上の一点における１つまたは複数の軸に沿った加速度を測定する装置である。ジャイロスコープは、回転しているオブジェクト上の一点における１つまたは複数の軸の周りの角速度を測定する装置である。加速度計およびジャイロスコープに加えて、コントローラ１０４内に使用され得る他の慣性センサも存在する。そのような慣性センサの例としては、コンパスおよび磁力計が挙げられる。一般に、慣性センサからの信号（すなわち、センサデータ）は、電子的に捉えられ、親機（例えば、ゲームコンソール１０２）に送信されて、コントローラ１０４の一種の相対運動が得られる。
【００２７】
実装に応じて、慣性センサからのセンサ信号は、動作検知装置１０４の６つの相対的な並進および角運動の全てを得るのに十分な場合もあれば、十分でない場合もある。一実施形態では、動作検知装置１０４は、６つの相対的な並進および角運動の全てを得るのに必要な数の慣性センサよりも少ない慣性センサを含み、この場合、動作検知装置１０４は、６つの並進および角運動のうちの一部のみを検出および追跡し、全てを検出および追跡しないこともある（例えば、この中には３つの慣性センサのみが存在する）。別の実施形態では、動作検知装置１０４は、６つの相対的な並進および角運動の全てを得るのに必要とされる慣性センサの要求数と少なくとも同じか、またはそれよりも多い慣性センサを含み、この場合、動作検知装置１０４は、６つの並進および角運動の全てを検出および追跡し得る（例えば、この中には少なくとも６つの慣性センサが存在する）。
【００２８】
いずれの場合も、プレイヤ１０５およびプレイヤの周囲環境を撮像するためにカメラ１０１が設けられている。画像データは、有効なプレイエリアを実験的に得るために使用されてもよい。例えば、プレイヤが有効なプレイエリア外にいる場合には、最大限の有効なプレイエリアを決定することができる。有効なプレイエリアを使用して、プレイヤがビデオゲームをプレイする現実の世界空間の３Ｄ表示を決定することができる。
【００２９】
有効なプレイエリア、例えば、視野を決定する際には、カメラについて以前から知られている他の要因を使用してもよい。あるいは、有効なプレイエリアを画定するために実験的データに基づいて別々に位相較正を行なってもよい。
【００３０】
当業者であれば、画像データから３Ｄ空間の３Ｄ表示を得るための様々な方法が存在することを知っており、そのうちの１つを使用して、そのような３Ｄ表示を得てもよい。さらに、画像データは、慣性センサからのセンサデータと共に、コントローラの絶対運動を容易に決定するために使用してもよい。一実施形態によれば、プレイヤに、複数の特別な色のタグ、またはドットあるいは光を身に付けさせるか取り付けて、画像データからプレイヤの動きを容易に決定してもよい。
【００３１】
図２Ａは、プレイヤがいる現実の世界空間に似せて構成された典型的なゲーム空間２００を示す。図１Ａの現実の世界に類似するゲーム空間２００は、複数のオブジェクト２０３〜２０７を含み、それらのうちのいくつか（例えば、２０３および２０５を参照）は、現実の世界空間に実在するオブジェクトに対応するが、それ以外（例えば、２０４および２０７を参照）は、ゲーム目的のためにゲーム空間２００に人工的に配置されている。また、ゲーム空間２００は、コントローラを握持しているプレイヤに対応し得る、物２０１を握持するオブジェクト２０２を含む。３Ｄ仮想世界とも呼ばれるゲーム空間２００での動きは、プレイヤがいる現実の世界での動きに類似しているが、ビデオゲーム用のゲーム空間を構成する様々なオブジェクトを含む。
【００３２】
図２Ｂは、１人または複数のプレイヤを含み、それらのプレイヤを囲む現実の世界空間に類似するゲーム空間を生成するフローチャートすなわちプロセス２１０を示す。プロセス２１０は、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアとの組み合わせに実装され得る。一実施形態によれば、プロセス２１０は、２１２においてプレイヤがビデオゲームの開始を決定すると開始される。図１Ａに示す設定によれば、２１４では、カメラは、プレイヤを囲む環境を撮像するように動作する。カメラは、２１６においてプレイヤの現実の世界の３Ｄ画像または表示を再構築するために使用することができるデータを生成する３Ｄカメラまたはステレオカメラシステムであってもよい。当業者であれば、３Ｄの現実の世界または３Ｄの現実の世界空間におけるプレイヤの動きの３Ｄ表示を生成するための異なる方法があることを知っているが、その詳細については、本発明の態様を曖昧にすることを回避するためにここでは省略する。
【００３３】
２１８では、現実の世界の３Ｄ表示によって、仮想オブジェクトと表示オブジェクトとを含むようにゲーム空間が創出される。仮想オブジェクトとは、現実の世界にあるいずれの物にも対応しないオブジェクトであり、仮想オブジェクトの例としては、採点のために取得され得るアイコンあるいは他のオブジェクトまたは形状と対戦するために取得され得る様々な武器が挙げられる。表示オブジェクトとは、現実の世界にあるいずれかの物に対応するオブジェクトであり、表示オブジェクトの例としては、プレイヤ（複数可）（例えば、アバター（複数可））またはプレイヤの現実の世界にある主要な物（例えば、テーブル）に対応するオブジェクトが挙げられる。表示オブジェクトは、事前に定義されていてもよい。例えば、ゲームには、プレイヤのアバターとなるように指定されているゲームキャラクターが標準装備されている。アバターは、プレイヤの現実の世界の動きに反応して動くが、それ以外には、他の対応は全く存在しない。あるいは、事前に定義されているアバターは、ビデオデータによって修正され得る。例えば、プレイヤの顔をテクスチャとしてアバターに適用してもよく、あるいは、アバターは、プレイヤ自身の体の寸法に応じて縮尺されたものであってもよい。２２０では、特定のゲームに応じて、様々なルールまたは採点機構が、目標を設定するためのゲーム空間、異なるオブジェクト間で生じ得る様々な対話、およびスコアをカウントするため、あるいは結果を示すための方法を用いてビデオゲームに組み込まれる。２２２では、プレイヤの現実の世界に何とか類似するように創出されたゲーム空間を用いるビデオゲームは、プレイの準備を整えている。プロセス２１０は、ビデオゲームを実行するゲームコンソールまたは任意の他の計算装置、例えば携帯電話、ＰＣまたはリモートサーバで実行され得ることに留意されたい。
【００３４】
本発明の特徴、目的および利点のうちの１つは、例えば、１つまたは複数のアクション、動き、場所および向きの点で、ゲームオブジェクトとプレイヤ自身の現実の世界空間における対応するプレイヤとの少なくとも近い対応が存在するゲーム空間を創出することが可能なことである。ゲーム空間には、プレイヤの動きに伴って、あるいは他の人々の動きに伴って移動するアバターが追加されている可能性がある。図３Ａは、本発明の一実施形態に係る構成３００を示す。カメラ３０１は、１人のプレイヤを囲むプレイエリアに配置されており、プレイエリアは、居間または寝室あるいは任意の好適なエリア内であってもよい。一構成では、プレイヤは、プレイヤの家に複数のカメラ、例えば、居間に１つのカメラ、寝室にもう１つのカメラを有していてもよい。プレイヤが家中を動き回り、異なるカメラで観察可能なものとして認識されると、ゲーム空間は、現実の世界空間の変化に従って更新され、プレイヤの現在の場所をある程度反映することができる。
【００３５】
カメラ３０１は視野３０２を有する。カメラのパラメータ、カメラの配置、カメラ較正、および照明条件を含む要因に応じて、許容可能な持続期間にわたって所定のレベルの信頼性および忠実度によりプレイヤの動きを追跡することができる有効なプレイエリア３０３がある。有効なプレイエリア３０３は、プレイヤおよびプレイヤの動きを追跡および特定するのを支援するＩＮＳセンサを用いて、場合により強化および／または拡張３０４することができる。有効なプレイエリア３０３は、プレイヤが移動できる空間を本質的に画定し、その動きは、ビデオゲームと対話するために撮像および取得される。有効なプレイエリア３０３は通常、単一のプレイヤを含むが、ゲームおよび追跡能力に応じて、１人または複数のプレイヤを含み得ることに留意されたい。
【００３６】
有効なプレイエリア３０３は経時的に変化し得る。例えば、照明条件が変化する場合や、カメラが移動されて再較正される場合である。有効なプレイエリア３０３は、カメラの単純な光学的特性（例えば、視野または焦点）などの多くの要因から決定され得る。また、可能性のある有効なプレイエリアを事前に決定するために実験が必要な場合もある。あるいは、有効なプレイエリアは、ゲーム中に暗黙的に決定され得るか、位相較正中に明示的に決定され得、位相較正では、有効なプレイエリアを緻密にマップするためにプレイヤは様々な点で様々な作業を行なうように求められる。
【００３７】
マッピング３０５は、有効なプレイエリア３０３を有効なプレイエリア３０３の仮想化された３Ｄ表示３０７へのいくつかの変換、ワーピングまたはモーフィングを指定する。３Ｄ表示３０７は、いくらか理想的な規則的形状にスナップまたはクリッピングされ得るか、あるいは、存在すれば、元の現実の世界のプレイエリアの不規則形状の一部を維持してもよい。また、２つ以上の３Ｄ表示が存在することもある。例えば、異なるプレイヤ、異なる追跡精度を有する異なるプレイエリア部分、あるいは、異なるゲームまたはゲームの異なる部分に対して異なる表示があってもよい。また、単一のプレイヤの２つ以上の表示があってもよい。例えば、プレイヤは、ゲームの一部ではヒーローの役を演じ、ゲームの異なる部分ではヒーローの敵の役を演じることがあり、あるいは、プレイヤは、ゲームがプレイされている間、キャラクター群の中の異なるメンバー間を自由に行き来しながら、それらを制御するように選択する場合もある。
【００３８】
３Ｄ表示は、共有ゲーム空間３０６に組み込まれている。他の現実の世界空間の別の３Ｄ表示３０８もゲーム空間３０６に組み込まれている。これらの他の３Ｄ表示（３Ｄ表示３０８のみが示されている）は通常、遠く離れている、すなわち、物理的に互いに遠く離れているか、同じ建物内で物理的に離れている現実の世界空間のものである。
【００３９】
当業者であれば、３Ｄ表示および／または組み込みは、画像および／またはセンサデータストリームに適用されるいくつかの機能では暗黙的に行われ得ることに気付くであろう。その機能は、ゲーム空間との関連で、データストリームを有効に再解釈する。例えば、プレイヤに対応するアバターは、ａ×ｂ×ｃの寸法を有する部屋の中にいて、次に、これが単位寸法を有するプレイヤの周りの四角い枠に対応するように作製可能であることが想定される。従って、プレイヤがｘ次元内の有効なプレイエリアを半分だけ横切るように移動すると、アバターはゲーム空間を１／２単位だけ移動する。
【００４０】
図３Ｂは、少なくとも２つのゲームコンソールから送信される複数のデータからのデータに基づいてゲーム空間を創出するために使用され得るシステム構成３１０を示す。図３Ｂには、３つの典型的なゲームコンソール３１２、３１４および３１６がある。ゲームコンソール３１２、３１４および３１６はそれぞれ、少なくとも１つのカメラおよび場合により動作検知コントローラに接続されており、それにより画像データおよびセンサデータが提供される。一実施形態によれば、ゲームコンソール３１２、３１４および３１６はそれぞれ、データネットワークに接続されている。一実施形態では、ゲームコンソール３１２、３１４および３１６にはそれぞれ、インターネットへの無線接続を可能にするＷｉＦｉインタフェースが備えられている。別の実施形態では、ゲームコンソール３１２、３１４および３１６にはそれぞれ、インターネットへの有線接続を可能にするイーサネット（登録商標）インタフェースが備えられている。動作中、ゲームコンソール３１２、３１４および３１６のうちの１つは、本発明の一実施形態を実装するソフトウェアモジュールを実行するホスティングマシンとして構成されている。
【００４１】
プレイエリアの３Ｄ表示を創出するために必要とされる有効なプレイエリアからのマッピングは、１つまたは複数の参加中のコンソールまたは専用の計算装置に適用され得る。一実施形態では、関連のあるパラメータ（例えば、カメラのパラメータ、カメラ較正、照明）は、マッピングが行なわれるホスティングマシンに通信される。ホスティングマシンは、各３Ｄ表示をゲーム空間に組み込む方法を決定するように構成されている。
【００４２】
ホスティングマシンは、全ての参加中のゲームコンソールから（画像および／またはセンサ）データストリームを受け取り、受け取ったデータに基づいてゲーム空間を更新する。マッピングが行なわれる場所に応じて、データストリームは、コンソール上ですでに変換されているか、あるいは、ホスティングマシン上で変換されなければならない。本発明に関しては、ゲーム空間は、現実の世界空間の少なくとも仮想化された３Ｄ表示を含み、そこでは、現実の世界におけるプレイヤの動きが、プレイヤのゲームコンソールが参加しているネットワークゲーム上で、プレイヤの動きに類似するゲーム世界のオブジェクトの動きとして解釈される。どのゲームがプレイされているかに応じて、あるいは、同じゲーム中の異なる時点のためにでさえ、現実の世界空間の３Ｄ表示は、異なるルールを有する異なる方法、例えば、現実の世界空間の利用可能な３Ｄ表示をスティッチング、マージまたはワーピングして組み合わせられる。また、創出されたゲーム空間にはゲームのテーマに従って予め定められ得る様々なルールおよび採点機構が組み込まれている。ホストゲームコンソールは、プレイヤがビデオゲームをプレイするために参加中のゲームコンソールのそれぞれに、創出されたゲーム空間を送る。当業者であれば、本発明における利点、利益および利点のうちの１つは、プレイヤの現実の世界空間における全てのプレイヤの動きが、物理的近さおよび物理的対話についての共感を生じさせるようにゲーム空間に自然に解釈されることであることが分かるであろう。
【００４３】
図３Ｃは、物理的に遠く離れているか、あるいは同じ建物内の別々の部屋に存在し得る２人の参加プレイヤの２つの現実の世界空間が組み込まれた典型的なゲーム空間３２０を示す。２人の参加プレイヤの２つの現実の世界空間の組み合わせに基づいて創出されたゲーム空間３２０は、様々なオブジェクトを含み、それらのオブジェクトには現実の世界空間に実在するオブジェクトに対応するものもあれば、様々なアクションまたは対話のためにゲーム空間３２０を拡張するように人工的に追加されたものもある。一例では、ゲーム空間３２０は２つの異なる階を含み、１階の設定は、１つの現実の世界空間からのものであってもよく、２階の設定は、別の現実の世界空間からのものであってもよく、２つの階を繋ぐために階段が人工的に創出されている。ゲーム空間３２０は、２つのオブジェクトすなわちアバター３２２および３２４をさらに含み、それぞれがプレイヤのうちの一人に対応している。アバター３２２および３２４はそれぞれ、プレイヤの動きに従って移動する。一実施形態では、アバター３２２および３２４のうちの１つは、ウィジェット（例えば、武器または剣）を握持し得、対応するプレイヤによるコントローラの動きに従ってウィジェットを振り回し得る。ゲーム空間２３０であれば、アバター３２２および３２４をそれぞれ２つの各階に進入または移動させて、互いに、そして２つの階のいずれかにある他のオブジェクトと対話するように操作し得る。
【００４４】
再び図３Ｂを参照すると、別の実施形態によれば、ホスティングマシンとして機能するゲームコンソール３１２、３１４および３１６のうちの１つを有する代わりに、全ての（画像およびセンサ）データストリームを参加中のゲームコンソール３１２、３１４および３１６から受け取るためのホスティングマシンとして、サーバコンピュータ３１８が設けられている。サーバコンピュータ３１８は、ソフトウェアモジュールを実行して受け取ったデータストリームに基づいてゲーム空間を創出および更新する。また、参加中のコンソール３１２、３１４および３１６は、いくつかの他のリモートサーバ上または他の場所に位置するいくつかの計算装置上で実行されていてもよい。本発明に関しては、ゲーム空間における動きは、プレイヤのゲームコンソールが参加している、各プレイヤの現実の世界空間のいくつかまたは全てを組み合わせた現実の世界空間におけるプレイヤの動きに類似している。特定のゲームまたはさらにゲームにおける特定の段階に応じて、現実の世界空間の３Ｄ表示が、ゲームのための異なるルールを有する異なる方法で、例えば、現実の世界空間の２つ以上の３Ｄ表示をスティッチング、マージまたはワーピングすることで組み合わせられる。サーバコンピュータ３１８は、一緒にビデオゲームをプレイするために、参加中のゲームコンソールまたは他の関係者のそれぞれに、創出されたゲーム空間を送る。そのため、これらの参加プレイヤだけが物理的近さおよび物理的対話についての共感を持ってビデオゲームをプレイするだけでなく、他のゲームプレイヤもビデオゲームを鑑賞またはプレイするように勧誘され得る。
【００４５】
図３Ｄは、参加プレイヤをそれぞれ囲む１つまたは複数の現実の世界空間が組み込まれたゲーム空間を生成するフローチャートすなわちプロセス３３０を示す。プロセス３３０は、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアとの組み合わせに実装され得る。一実施形態によれば、プロセス３３０は、３３２において１つまたは複数のプレイヤがビデオゲームの開始を決定すると開始される。
【００４６】
上述のように、各プレイヤは、プレイヤおよびプレイヤの周囲空間（現実の世界空間）を撮像するために設置されている少なくとも１つのカメラの前でビデオゲームをプレイする準備を整えている。各プレイヤが動作検知コントローラを握持しているか、少なくとも１組の慣性センサを身に付けているか、あるいはそれらがプレイヤの体に取り付けられていることが想定される。いくつかの実施形態では、動作検知装置すなわちセンサが不要な場合も想定される。２人以上のプレイヤが１つの場所にいる事例もあり得、その場合、プレイヤの識別を容易にするために特別な設定を使用してもよく、例えば、各プレイヤが１つまたは複数の特別に色付けされたタグを身に付けていたり、それらが体に取り付けられていてもよく、あるいは、プレイヤのコントローラが外観的に異なるように標識されていてもよく、コントローラが異なる色で輝く光を含んでいてもよい。
【００４７】
３３４では、ゲームプレイヤの数が決定される。ゲームプレイヤの数は、プレイヤ自身の現実の世界空間に参加しているプレイヤの数とは異なる場合もあることに留意されたい。例えば、３人のゲームプレイヤがいて、２人は、参加している１つの現実の世界空間で一緒に撮像されているが、３人目は一人である場合もある。そのため、ビデオゲーム用のゲーム空間を創出するために２つの現実の世界空間が使用される。従って、３３６では、そのような複数の現実の世界空間が決定される。
【００４８】
３３８では、現実の世界空間を表示するデータストリームが受け取られなければならない。一実施形態では、２つのゲームコンソールが使用され、それぞれが１つの場所にあり、プレイヤ（複数可）を囲む１つの現実の世界空間を撮像するカメラに接続されている。ゲームコンソールのうちの１つは、一方がリモートサイトからのデータストリームであり、他方がそのゲームコンソール自体からのデータストリームである２つのデータストリームを受け取るためのホストゲームコンソールとして設定されていることが想定される。あるいは、各コンソールは、適度に近い対応を維持するために可能な限り頻繁に他のコンソールからの情報によって更新されるゲーム空間の別々のコピーを維持するように構成されている。２つのデータストリームのうちの一方が受け取られない場合には、プロセス３３０は待機するか、あるいは１つのデータストリームのみで進行され得る。１つのデータストリームのみしか届かない場合には、ゲーム空間は１つの現実の世界空間に基づいて仮に構築される。データが欠落している場合、例えば、プレイヤが剣を振り回し、胴体の動きのためのデータが欠落しているか不完全な場合には、ゲームは、好適であるとみなされたいくつかの状況依存的な動作の動きによって補われ、剣の一撃をより迫力あるものにするように動作を強化してもよく、あるいは、その一撃が標的を逃した場合には敵のキャラクターと接触させるように一撃を僅かに修正してもよい。
【００４９】
３４０では、３Ｄ表示のスティッチング、スーパインポーズまたはモーフィングすること、あるいは任意の他の数学的変換を行なうことのうちの１つまたはそれらの任意の組み合わせを含み得る様々な可能な方法で、現実の世界空間のそれぞれの３Ｄ表示を組み込むことによってゲーム空間が創出される。変換（例えば、モーフィング）は、３Ｄ表示が組み込まれる前に適用され得、場合により、その後にゲーム空間をスムーズにかつよりリアルに見せるための画像処理が施される。典型的な変換としては、平行移動、射影、任意の軸周りの回転、拡大縮小、ずらし変換、反転または任意の他の数学的変換が挙げられる。組み合わせられた３Ｄ表示は、３次元のうちの２つの次元に射影されていてもよい。２次元の射影は、組み合わせ前の３Ｄ表示にも適用し得る。ゲーム空間には、様々な他の構造物または場面、仮想または表示オブジェクト、およびオブジェクト間での対話のためのルールも組み込まれている。この時点で、ゲーム空間がゲームコンソールに送り戻されかつビデオゲームを一緒にプレイするように登録されると、ビデオゲームがプレイされる準備が整う。
【００５０】
ビデオゲームがプレイされている間、画像およびセンサデータが、それぞれのゲームコンソールから、３４２においてデータを参照してゲーム空間を更新するホストゲームコンソールに送られ続け、表示されているゲーム空間がタイミングよく更新される。３４４においてそれぞれのゲームコンソールからデータが受け取られている間、３４２ではゲーム空間が常時更新される。図３Ｅは、２つの離れたプレイエリアの２つの現実の世界空間に基づいてゲーム空間を創出するステップを説明するものであり、これは、複数の現実の世界空間を統合するように容易に修正され得る。
【００５１】
図３Ｆは、ネットワークゲームにおいて表示オブジェクトを制御するフローチャートすなわちプロセス３５０を示し、ここでは、少なくともいくつかの表示オブジェクトが、対応するプレイヤの動きに従って移動する。プロセス３５０は、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアとの組み合わせに実装され得る。一実施形態によれば、３５２において１つまたは複数のプレイヤがビデオゲームの開始を決定すると、プロセス３５０が開始される。
【００５２】
上述のように、各プレイヤは、プレイヤおよびプレイヤの周囲空間（現実の世界空間）を撮像するために設置されている少なくとも１つのカメラの前でビデオゲームをプレイする準備を整えている。各プレイヤは、動作検知コントローラを握持しているか、少なくとも１組の慣性センサを身に付けているか、あるいはそれらがプレイヤの体に取り付けられていることが想定される。いくつかの実施形態では、動作検知装置すなわちセンサが不要な場合も想定される。２人以上のプレイヤが１つの場所にいる事例もあり得、その場合、プレイヤの識別を容易にするために特別な設定を使用してもよく、例えば、各プレイヤが１つまたは複数の特別に色付けされたタグを身に付けたり、それらが体に取り付けられてもよく、あるいは、プレイヤのコントローラが外観的に異なるように標識されていてもよく、コントローラが異なる色で輝く光を含んでいてもよい。
【００５３】
３５４では、ゲームプレイヤの数が決定され、それにより、制御できるゲーム中の表示オブジェクトの数が決定される。どこでゲームがレンダリングされているかに関わらず、複数のビデオデータストリームがプレイヤから届く。但し、ゲームプレイヤの数は、そのゲームに参加しているビデオデータストリームの数とは異なる場合もあることに留意されたい。例えば、３人のゲームプレイヤがいて、２人は１つのビデオカメラで一緒に撮像されており、１人でいる３人目は、別のビデオカメラで撮像されている。そのため、３人のプレイヤからの２つのビデオデータストリームが存在する。一実施形態では、プレイヤは自身のプレイエリアを撮像するために２つ以上のカメラを使用するため、当該ビデオゲームのためにプレイヤから複数のビデオストリームが得られる。従って、ゲームプレイヤの数ならびにビデオデータストリームの数は３５４で決定される。
【００５４】
３５６では、全ての参加プレイヤの動きを表示する上記数のビデオデータストリームが受け取られなければならない。例えば、互いに遠く離れている２人のプレイヤがいる。２つのゲームコンソールが使用され、それぞれが１つの場所にあり、プレイヤを撮像するカメラに接続されている。ゲームコンソールのうちの１つは、一方がリモートサイトからのデータストリームであり、他方がそのゲームコンソール自体からのデータストリームである２つのデータストリームを受け取るためのホストゲームコンソールとして設定されていることが想定される（あるいは、別個の専用の計算機が存在していてもよい）。あるいは、各コンソールは、適度に近い対応を維持するために可能な限り頻繁に他のコンソールからの情報によって更新されるゲーム空間の別々のコピーを維持するように構成されている。２つのデータストリームのうちの一方が受け取られない場合には、プロセス３５６は待機するか、あるいは１つのデータストリームのみで進行され得る。１つのデータストリームのみしか届かない場合には、対応する表示オブジェクトの動きは、表示オブジェクトをプレイヤにとって最も利益になるように移動させるように構成されたホストゲームコンソールによって一時的に支配される。データが欠落している場合、例えば、プレイヤが剣を振り回し、胴体の動きのためのデータが欠落しているか不完全な場合には、ゲームは、公知のデータと可能な限り一貫しているとみなされたいくつかの状況依存的な動作の動きによって補われる。例えば、人間の身体の生体力学的に近そうなモデルおよびその可能な動かし方は、知られていない要素の可能な動作を制限するために使用され得る。その後に近そうな一組の動作から特定の動作を選択するための多くの公知の技術があり、例えば、エネルギー消費を最小にする動作または雑音のある筋肉アクチュエータよって忠実に実行される可能性が最も高い動作などを選択する技術がある。
【００５５】
３５７では、共有ゲーム空間をマッピングすることが決定される。プレイヤの動きをゲーム空間に何らかの方法で組み込まれなければならず、その組み込みが決定される。例えば、２人のプレイヤ、プレイヤＡおよびプレイヤＢがいると想定される。プレイヤＡはプレイヤＡの居間でプレイしているが、プレイヤＢは遠く離れており、プレイヤＢ自身の居間でプレイしている。プレイヤＡが、（例えば、上部にカメラを有する）ディスプレイに向かって移動すると、ゲームは、その動作を共有ゲーム空間に解釈させる方法を先に決定しなければならない。剣戦闘ゲームでは、ゲームは、現実の世界空間におけるプレイヤＡの前進運動を共有ゲーム空間における右方向運動に、後方運動を左方向運動などにマップすることを決定し得る。同様に、ゲームは、プレイヤＢの前進運動を左方向運動に、後方運動を右方向運動などにマップすることを決定し得る。さらに、ゲームは、プレイヤＡの代わりであるオブジェクト（例えば、プレイヤＡのアバター）を共有ゲーム空間の左側に、プレイヤＢのアバターをその空間の右側に配置することも決定し得る。その結果、プレイヤＡがプレイヤＡのカメラに向かって移動すると、対応するアバターがディスプレイ上で右側に移動し、プレイヤＢにより近づく。プレイヤＢがそれに応じてカメラから離れる方向に移動すると、プレイヤＡからは、プレイヤＢのアバターがディスプレイ上で右側に移動し、プレイヤＡの前進するアバターから遠ざかるように見える。
【００５６】
ゲーム世界における前進運動を共有ゲーム空間における右方向運動または左方向運動にマップすることは多くの可能性のうちの１つにすぎない。ゲームにおける任意の方向の動作が当該共有ゲーム空間において一方向にマップされ得る。また、動作は多種多様な他の方法で修正することができる。例えば、動作は、現実の世界の僅かな移動がゲーム世界における大きな移動に対応するように、あるいはその逆になるように拡大縮小することができる。その拡大縮小は、小さな動作はほぼ忠実にマップされるが、大きな動作は減衰させるように非線形なものとすることもできる。
【００５７】
現実の世界の動作のあらゆる他の態様もマップすることができる。プレイヤは、肘関節の周りでプレイヤの前腕を肩に向かって回転させる場合があり、対応するアバターもその前腕を肩に向かって回転させることができる。あるいは、アバターは魔法の呪文による「反対の動作」作用を受ける場合もあるため、プレイヤがプレイヤの前腕を肩に向かって回転させると、アバターはその前腕を肩から離れる方向に回転させる。
【００５８】
プレイヤの現実の世界の動作は、他のオブジェクトにマップすることもできる。例えば、プレイヤが肩から横方向に腕を回すと、それにより、巨大なカエルがその舌を突き出すように制御される可能性がある。プレイヤの巨視的レベルの重心の並進運動は、カエルの巨視的レベルの重心の並進運動を直接的に制御し得る。
【００５９】
当業者に知られている１つの空間から別の空間への他の標準的な数学的変換を使用することができ、これらの例としては、任意の種類の反射、拡大縮小、平行移動、回転、ずらし変換、射影またはワーピングが挙げられるが、それらに限定されない。
【００６０】
また、現実の世界の動作に適用される変換は、ゲーム内容およびプレイヤによって決定することができる。例えば、ゲームの１つのレベルでは、プレイヤのアバターが、磁気ブーツで天井を歩かなければならない場合もあるため、プレイヤの実際の動作が反転される。しかし、そのレベルが一旦終了すると、その反転マッピングは、プレイヤの現実の世界の動作にはもはや適用されない。また、プレイヤは、自身の動作がマップされる方法に対する好みを表現できる場合もある。例えば、プレイヤは前進運動が右方向運動にマップされることを好み、別のプレイヤは、動作が左方向運動にマップされることを好む場合もある。あるいは、プレイヤは、自身のアバターがゲーム空間の左側にいることを決定し、このようにして、暗黙的に前進運動が右方向運動に対応することを決定する場合がある。２人のプレイヤ用のゲームにいる両プレイヤが同じ好みを有する場合、例えば、どちらのプレイヤも共有ゲーム空間の左側にいることを望む場合には、プレイヤのそれぞれのディスプレイ上では、プレイヤのアバターの位置および動きが所望通りに表示されるように、２つの別々のマッピングによってプレイヤの望みに応じることが可能な場合もある。
【００６１】
あるいは、当該ゲームは、プレイヤの身長、スキルまたは過去の好みの決定に基づいて、これらの決定の一部または全てを自動的に行なってもよい。あるいは、当該ゲームの状況によってマッピングを暗黙的に決定してもよい。例えば、２人以上のプレイヤが、共通の敵のモンスターと戦う同じチームにいる場合には、現実の世界におけるプレイヤの全ての前進運動を、各プレイヤの対応するアバターのモンスターに向かう動作にマップすることができる。モンスターに向かう方向は、アバターごとに異なっていてもよい。この例では、左または右への動きは、ゲームの状況によって必ずしも決定し得ないため、態様はプレイヤの選択によって決まるか、いくつかの基準に基づいてゲームによって割り当てられ得る。但し、全ての動作を一貫させなければならない。例えば、現実の世界空間における左への動きによってプレイヤのアバターがその瞬間にさらに遠くに移動するように見せる場合には、理由もなく、別の瞬間に、現実の世界における同じプレイヤの左方向運動によって、対応するアバターが近くに移動するように見せるといったことが起こってはならない。
【００６２】
当該ゲームは、各プレイヤおよび当該ゲームの異なる部分に対して別々のマッピングを維持することができる。また、このマッピングは、照明条件などの現実の世界の特性の関数であってもよいため、薄暗い所での動作は、不正確な追跡によって引き起こされる任意の激しい変動を緩和するように、高い減衰係数でマップされる。
【００６３】
当業者であれば、現実の世界における動作とゲーム空間における動作とのマッピングのために多種多様な可能な表現があることが分かるであろう。選択される特定の表現は、本発明の中核をなすものではない。いくつかの可能性としては、現実の世界の追跡からの位置および向きの情報と共に積算される行列として変換を表すことが挙げられる。回転は、行列、四元数、オイラー角、または角度および軸として表すことができる。平行移動、反射、拡大縮小およびずらし変換は全て行列として表すことができる。ワーピングおよび他の変換は、陽の方程式または陰の方程式として表すことができる。別の態様では、プレイヤの周りの空間を３Ｄ空間（例えば、四角い枠）として明示的に表すことができ、マッピングは、この３Ｄ空間がゲーム世界に組み込まれると対応する３Ｄ空間に導かれる変換として表現される。現実の世界の３Ｄ空間の形状は、推測的であってもよく、あるいは、カメラの特性、いくつかの較正ステップまたは動的にデータストリームから推定される明示的に決定された有効なプレイエリアであってもよい。
【００６４】
当業者であれば、現実の世界の動作からゲーム世界の動作へのマッピングは、潜在的に様々な時点に適用されるか、さらに広がって２つ以上の時点に部分的に適用される可能性があることが分かるであろう。例えば、カメラおよび動作センサからの生データは、任意の他の処理の前に変換することができる。好ましい実施形態では、人間のプレイヤの動作は、最初に生データから抽出され、次に、典型的な人間の動作に関する知識を用いて仕上げられる。現実の世界の動作が十分に決定された後にのみ、同等のゲーム空間にそれがマップされる。その後、さらなるゲーム依存性マッピングを適用してもよい。例えば、プレイヤが蜘蛛を制御している場合、現実の世界の代わりに、その空間に組み込まれた場合にプレイヤが移動したと思われる方法についてゲーム空間における動作が最初に決定される。その際にのみ、任意のゲーム特異的マッピング、例えば、二足歩行運動が８つの脚にマップされる方法、または特定の手の動作が特別な攻撃にマップされ得る方法等が適用される。
【００６５】
３５８では、データストリームが送られてくると、ホストゲームコンソールは、ビデオデータを分析してプレイヤのそれぞれの動きを推測し、かつ同時に、プレイヤを表わす対応するオブジェクトを適宜移動させるように構成されている。特定のゲームおよび／またはそのルールに応じて、表示オブジェクトの動きは、ゲームをより刺激的に見せるか、あるいは、プレイヤに深いめり込みを感じさせるように強化または修正され得る。例えば、当該ゲームは、剣の一撃をより迫力あるものに見せるように動作を強化させるか、あるいは、その一撃が標的を逃した場合には、敵のキャラクターと接触させるように一撃を僅かに修正することができる。
【００６６】
ビデオゲームがプレイされている間、ビデオデータは、それぞれのゲームコンソールから、３６０および３６２において対応するオブジェクトを更新／修正／制御するホストゲームコンソールに供給され続ける。
【００６７】
ここで図４Ａを参照すると、事例４００が示されており、この事例では、ゲーム空間に人工的に追加された要素４０８によって２人のプレイヤのうちの一人４１１を有効なプレイエリア内の後方の新しい場所４１２に物理的に移動させている。ゲーム空間は、図示のように最初は統合されている現実の世界のプレイエリアの２つの３Ｄ表示４０２および４０３を含むと想定される。要素４０８（例えば、モンスター）がプレイヤに対応するアバター４１３に接近するにつれて、プレイヤは（ディスプレイから）モンスターの接近を目にすると、モンスターを避けるように後退し、それによりアバターを３Ｄ表示内の再位置４１４に移動させる。３Ｄ表示４０２で表わされる空間にいるプレイヤは、（ディスプレイから）他のプレイヤのアバターが後退するのを目にし、実際に一緒に同じ仮想の空間に存在しているかのような感情を抱くであろう。プレイヤの動きにより、対応する３Ｄ表示を変化させることもでき、例えば、その変化を、そのプレイヤの現実の世界の動きの作用を減衰させるように長引かせることもできる。
【００６８】
図４Ｂは、向かい合わせに組み合わせられた２つのそれぞれの現実の世界のプレイエリア４１２および４１４の２つの３Ｄ表示が組み込まれたゲーム空間４１０を示す。４１２内のアバターを制御するプレイヤがカメラに向かって移動すると、アバターが（ディスプレイ内で）右に移動する様子が見られ、その逆も見られる。４１４内のアバターを制御するプレイヤがカメラから離れる方向に移動すると、対応するアバターは右に移動する様子が見られ、その逆も見られる。別のビデオゲーム、あるいは、恐らく同じビデオゲームの後半で、３Ｄ表示４１２および４１４を異なる方法で組み合わせることができ、そこでは一方が回転され、他方が鏡映しに反転される。鏡映しに反転される場合には、プレイヤが自身のカメラに向かって移動すると、プレイヤのアバターは予期せずに、プレイヤの期待とは反対の方向に移動する場合もある。回転される場合には、その回転は、任意の軸の周りであってもよく、空間を上下ならびに左右に回転することも含まれる。正確に３Ｄ表示をゲーム空間に組み込む方法、および、存在すれば、ゲーム空間およびデータストリームを修正するためにどの機能が適用されるかについてはゲームおよびゲーム内の特定の時点によって決まる。
【００６９】
図５は、本発明の一実施形態に係るシステム構成５００を示す。システム５００は、記憶装置５０１、１つまたは複数のコントローラ５０２、データ処理装置５０３、１組の慣性センサ５０４、１つまたは複数のカメラ５０５、およびディスプレイドライバ５０６を含む。２種類のデータ、すなわち、慣性センサ５０４からのデータとカメラ５０５からのデータがあり、両データがデータ処理装置５０３に入力される。上述のように、慣性センサ５０４は、データ処理装置５０３にセンサデータを提供して、カメラ５０５からのセンサデータの有無に関わらず最大６°の自由度の角運動および並進運動が得られる。
【００７０】
データ処理装置５０３は、ディスプレイドライバ５０６を介してビデオシーケンスを表示するように構成されている。動作中、データ処理装置５０３は記憶装置５０１に格納されているコードを実行し、記憶装置５０１には、本明細書に記載されている発明の一実施形態に従ってコードが実装されている。コントローラ上のプレイヤのアクションおよびまたはプレイヤによって操作されているコントローラの所望の動きを解釈する制御装置５０２からの信号と共に、データ処理装置５０３はビデオ信号を更新してそのアクションまたは動きを反映させる。一実施形態では、ビデオ信号またはデータがホストゲームコンソールまたは別の計算装置に送られ、ゲーム空間を創出または更新し、次に、そのゲーム空間がディスプレイドライバ５０６を介してディスプレイスクリーンに表示される。
【００７１】
一実施形態によれば、１つまたは複数のゲームコンソールからデータストリームが受け取られ、プレイヤを囲む環境のそれぞれの３Ｄ表示が得られる。デジタル処理され、かつＣＧ画像を追加することによって「拡張された」ライブビデオ画像の使用に関係している拡張された現実を用いて、様々なオブジェクトが、現実の世界の人々またはオブジェクト（表示オブジェクトと呼ぶ）または他の仮想オブジェクトと対話可能なように、場面すなわちゲーム空間が創出される。プレイヤは、仮想オブジェクトの前にオブジェクトを配置し得、当該ゲームは、当該オブジェクトが何であるのかを解釈してそれに反応する。例えば、プレイヤがコントローラを介して仮想オブジェクト（例えば、仮想のペット）に向かってボールを転がす場合、そのオブジェクトは怪我を避けるように道の外に飛び出すであろう。また、そのオブジェクトは、プレイヤのアクションに対して反応し、プレイヤに、例えば、そのペットをくすぐったり、驚かせるように手を叩いたりさせることができる。
【００７２】
一実施形態によれば、センサデータをカメラからの画像データと相関させ、現実の世界空間におけるプレイヤの手などの要素をより容易に特定することができる。当業者には公知であるように、カメラから純粋に生成されたデータからは、ある程度の精度でコントローラの向きを追跡することは難しい。コントローラの相対的な向きの追跡は、慣性センサのいくつかを用いて行なわれ得、カメラからの立体情報によって場所の変化を得た後に、その場所を慣性センサからの計測値から除外して、角運動が変化している可能性があるため、コントローラの絶対的な向きを得ることができる。
【００７３】
当業者であれば、本発明の要素をソフトウェアに実装し得るが、ハードウェアまたはハードウェアとソフトウェアとの組み合わせにも実装可能であることが分かるであろう。本発明は、コンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとして具現化することもできる。コンピュータ読み取り可能な媒体は、後からコンピュータシステムによって読み出し可能なデータを格納することができる任意のデータ記憶装置であってもよい。コンピュータ読み取り可能な媒体の例としては、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、ハードディスク、光データ記憶装置または搬送波が挙げられるがそれらに限定されない。コンピュータ読み取り可能な媒体はコンピュータ読み取り可能なコードが分散式に格納および実行されるように、ネットワーク結合型コンピュータシステム上に分散させることができる。
【００７４】
本発明を、ある程度の特殊性と共に十分詳細に説明してきた。当業者であれば、この実施形態の開示が単に一例としてなされており、特許請求の範囲に記載の本発明の精神および範囲を逸脱せずに、その構成の多くの変形および部分の組み合わせが可能であることが分かる。本明細書で論じられている実施形態は、形式および構成の点で情報単位の提示についていくらかの制限を含むように見えるが、本発明は、そのような実施形態よりもはるかに優れた適用性を有し、それは当業者であれば理解することができる。従って、本発明の範囲は、上記実施形態の記載内容によってではなく、添付の特許請求の範囲によって定義されるものである。
【技術分野】
【０００１】
本発明は一般に、コンピュータビデオゲームの分野に関し、より詳細には、ネットワークによって共有される三次元（３Ｄ）ゲーム空間を創出しかつその空間と対話するための技術に関する。３Ｄゲーム空間は、プレイヤの形態および場合によりプレイヤの現実の世界環境に関する情報から創出および維持される。この空間では、現実の世界におけるプレイヤの動きは、ネットワーク上の他のプレイヤとの物理的近さおよび物理的対話についての共感を生じさせるように解釈される。プレイヤは、３Ｄゲーム空間の仮想のエンティティおよびオブジェクトと一緒に対話することができる。
【背景技術】
【０００２】
任天堂のＷｉｉリモコン（登録商標）無線コントローラは、コンピュータディスプレイゲームシステム用のユーザ対話型コントローラの最先端技術における進歩の一例である。当該コントローラは、ユーザが手に持つことができる移動可能な無線リモートコントローラである。このコントローラは動きを検知する内蔵式の加速度計を使用しており、赤外線検出と組み合わせると、センサバーが到達する範囲内でＬＥＤをポイントした際に３Ｄ空間における位置情報が得られる。この設計によって、ユーザは身体のジェスチャ、ポインティングおよび従来のボタンの押下によってゲームを制御することができる。当該コントローラは、ブルートゥースによってコンソールに接続し、コントローラを振動させることができる「振動パック（rumble pack）」ならびに内蔵スピーカを特徴とする。ユーザがディスプレイに反応してコントローラを移動させると、コントローラは、従来の短距離無線ＲＦ通信を介してセンサデータをコンソールに送信してユーザと、表示されているゲームとの対話をシミュレートする。
【０００３】
任天堂Ｗｉｉビデオゲームシステムの人気によって、プレイヤをプレイ中のゲームに深く引き込むために、より高度なビデオゲームシステムが求められている。本明細書に提示されている開示内容は、ネットワークによって共有される三次元（３Ｄ）仮想ゲーム空間を創出しかつその空間と対話する方法およびシステムに関するものである。３Ｄ仮想ゲーム空間は、カメラおよび慣性センサの機能および構成を含む情報および／またはプレイヤおよびプレイヤの現実の世界環境に関するカメラおよび慣性センサから得られる情報から創出、組み合わせ、あるいは統合される。現実の世界におけるプレイヤの動きは、カメラおよび／または慣性センサによって検知され、これらの動きは、ネットワーク上の他のプレイヤの物理的近さおよび物理的対話についての共感を生じさせるように解釈される。そのような動きは通常見ることができ、それにより３Ｄ仮想プレイエリア内の仮想のエンティティおよびオブジェクトとの共同および独りでの対話が可能となる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
当該箇所は、本発明のいくつかの態様を要約し、いくつかの好ましい実施形態を簡単に説明するためのものである。当該箇所ならびに要約書での簡略化または省略は、当該箇所および要約書の目的を曖昧にすることを回避するためになされている。そのような簡略化または省略は、本発明の範囲を限定することを意図するものではない。
【０００５】
本発明は一般に、離れているプレイヤの１つまたは複数の現実の世界空間に基づいてゲーム空間を創出することに関し、ここでは、現実の世界空間が異なる方法で組み合わせられてゲーム空間が創出され、このゲーム空間では、現実の世界におけるプレイヤの動きは、ネットワーク上の他のプレイヤとの物理的近さおよび物理的対話についての共感を生じさせるように解釈される。
【課題を解決するための手段】
【０００６】
本発明の一態様によれば、１人または複数のプレイヤが存在し得る１つのプレイエリアには少なくとも１つのビデオカメラがある。ビデオカメラの機能および構成（例えば、その光学特性および照明感度）は、許容可能な持続期間にわたって所定のレベルの許容可能な信頼性およびいくらかの許容可能な忠実度でプレイヤの動きを追跡することができる有効なプレイエリアを画定する。有効なプレイエリアは、プレイヤおよびプレイヤの動きの追跡および特定を支援するためのＩＮＳセンサを用いて場合により強化および／または拡張することができる。現実の世界空間における有効なプレイエリアから得られるデータに適用されるマッピングは、有効なプレイエリアの仮想化された３Ｄ表示を創出する。３Ｄ表示は、ゲーム空間に組み込まれるネットワーク上でビデオゲームをプレイしているプレイヤの数が増えるにつれ、それぞれの現実の世界空間の３Ｄ表示も増える。従って、共有ゲーム空間は、様々な方法で組み合わされ得る現実の世界空間のそれぞれの３Ｄ表示に基づいて創出される。カメラは、プレイヤならびにプレイヤの環境を捉えたビデオデータを生成する。このデータは、現実の世界空間におけるプレイヤおよび／または他のオブジェクトの仮想化された３Ｄ表示オブジェクトを生成するために使用されてもよい。特定のビデオゲームに応じて、ゲーム空間には様々な仮想オブジェクトおよび表示オブジェクトが組み込まれている。様々なルールおよび採点機構と共に、そのようなビデオゲームは、各プレイヤの動きがネットワーク上の他のプレイヤとの物理的近さおよび物理的対話についての共感を生じさせるように解釈されるゲーム空間では、複数のプレイヤによってプレイすることができる。
【０００７】
本発明の別の態様によれば、現実の世界空間の３Ｄ表示は、異なる方法で組み合わされ得、現実の世界空間を画定するマッピングも変更され得るため、３Ｄ表示は、ゲームのための新しい興味深い場面を創出するために、ビデオゲームの間に修正またはモーフィングすることができる。典型的なグループビデオゲームでは、複数のゲームコンソールがあり、それぞれがビデオデータおよびセンサデータを提供する。ホスト装置（ゲームコンソールのうちの１つまたは専用の計算装置のうちのいずれか）は、データを受け取りかつビデオゲーム用のゲーム空間を創出するように構成されており、ここでは、表示およびプレイヤによる対話のために、ゲーム空間が参加中のゲームコンソールに送り戻される。あるいは、ゲーム空間は、いくつかの分散形態で、例えば、ピアツーピアネットワークによって複数の計算装置上に格納され得る。
【０００８】
そのため、ゲーム空間は、仮想オブジェクトと、現実の世界空間における１人または複数のプレイヤおよび／またはレイアウトおよび家具を表す表示オブジェクトとを含み得、オブジェクト間の対話を可能にする。表示オブジェクトのいくつかは、現実の世界空間におけるプレイヤの動きに従って移動する。例えば、プレイヤは、ゲーム空間ではアバターによって表わされ得、ゲーム空間でのアバターの動きは、プレイヤ自身の現実の世界空間におけるプレイヤの動きの解釈である。その解釈は、欠落しているデータを補うか、ゲームに適合しない動きを修正するか、動きをスムーズにするか、動きをより見た目に美しいものとするか、あるいは、いくつかの動きをより印象的なものとするように設計された様々な変換、強調、追加および拡張を含み得る。
【０００９】
また、単一のプレイエリアは、非視覚的な方法でレンダリングされ得る。例えば、ゲーム空間に仮想の音源がある場合、プレイヤが耳にする音は、プレイヤに対応するアバターが音源に近付くにつれて大きくなり、遠ざかるにつれて小さくならなければならない。プレイヤが耳にする音は、（例えば、ディスプレイスクリーンに一体化されているか取り付けられている）スピーカから、あるいは、プレイヤが使用しているコントローラから届くものである。その音は、コントローラの位置および向きによっても調節することができる。例えば、コントローラは、ゲーム空間の仮想のマイクロホンの位置および方向を決める役割を担うことができる。
【００１０】
また、本発明は、現実の世界環境において音の位置を特定するために使用することもできる。本発明は、ゲームに、プレイヤの少なくともおおよその場所に関する情報を与え得る。例えば、２人のプレイヤが１つのカメラの前にいる場合、カメラからのデータとゲームコントローラからのデータとを相関させることによって、プレイヤの場所をおおよそ決定することができる。次に、マイクロホン配列を使用して環境からの音を捉えることができ、場所情報を使用して、２人のプレイヤの別々の話し声および音を、互いにそして他の背景ノイズから分離させることができる。この機能は、音声認識のためのものとするか、遠く離れているプレイヤに、２人のプレイヤがいる場所においてプレイヤのうちの一方のみの声を聞くように選択させることができる。
【００１１】
コントローラは多くの場合、コントローラを振動させる「振動パック」を含む。その振動は、プレイヤによって使用されているコントローラの位置および向きによって調節することができる。また、その振動は、プレイヤを表わすオブジェクトの位置および向きによって修正することもできる。例えば、剣戦闘ゲームでは、２つの仮想の刃が交差した場合のみコントローラを振動させることができ、その際、振動の程度は仮想の刃に伝わったように計算された仮想の力の関数である。
【００１２】
実装に応じて、本発明は、方法、装置またはシステムの一部として実装され得る。一実施形態によれば、本発明は、ネットワークビデオゲーム用の共有ゲーム空間を創出する方法であり、この方法は、必ずしも同一の場所に位置していない１つまたは複数の現実の世界空間に関する１つまたは複数のデータストリームを受け取るステップであって、データストリームはそれぞれ少なくとも１人のプレイヤがネットワークビデオゲームをプレイする現実の世界空間のうちの１つに関するビデオデータを含み、このビデオデータはプレイヤの様々な動きを得るために使用されるステップと、現実の世界空間の三次元表示を参照して共有ゲーム空間を創出するステップであって、ビデオゲームにおける少なくともいくつかのオブジェクトの動きがそれぞれ現実の世界空間におけるプレイヤのそれぞれの動きに反応するステップとを含む。
【００１３】
別の実施形態によれば、本発明は、ネットワークビデオゲーム用の共有ゲーム空間を創出するシステムであり、このシステムは、必ずしも同一の場所に配置されておらず、それぞれのデータストリームを提供する複数のプレイエリアであって、プレイエリアにはそれぞれ、少なくとも１つのカメラおよびコンソールが備えられており、カメラは、共有ゲームをプレイするためのコントローラを握持する少なくとも１人のプレイヤがいるプレイエリアを監視するように設置されており、コンソールは、プレイヤの様々な動きを捉えたビデオデータおよびセンサデータの両方を含むデータストリームのうちの１つを提供するプレイエリアと、プレイエリアからデータストリームを受け取り、プレイエリアの現実の世界空間の三次元表示を参照して共有ゲーム空間を創出するように構成されたホスティングマシンであって、ビデオゲームにおける少なくともいくつかのオブジェクトの動きがそれぞれ現実の世界空間におけるプレイヤのそれぞれの動きにそれぞれ反応するホスティングマシンとを含む。
【００１４】
さらに別の実施形態によれば、本発明は、互いに離れている少なくとも２人のプレイヤによってプレイされているネットワークビデオゲーム用の共有ゲーム空間において２つ以上のオブジェクトの動きを制御する方法であって、この方法は、第１の場所にいる少なくとも第１のプレイヤの動きを捉える第１の場所に関連付けられた少なくとも第１のカメラから少なくとも第１のビデオストリームを受け取り、かつ第２の場所にいる少なくとも第２のプレイヤの動きを捉える第２の場所に関連付けられた少なくとも第２のカメラから第２のビデオストリームを受け取るステップと、第１および第２のビデオデータストリームからそれぞれ第１および第２のプレイヤの動きを得るステップと、共有ゲーム空間における少なくとも第１のオブジェクトを第１のプレイヤの得られた動きに反応させ、共有ゲーム空間における少なくとも第２のオブジェクトを第２のプレイヤの得られた動きに反応させるステップであって、第１および第２の場所は必ずしも同一の場所に位置していないステップと、第１および第２の場所それぞれの少なくとも１つの表示上に共有空間の描写を表示するステップとを含む。
【００１５】
さらに別の実施形態によれば、本発明は、ビデオゲームにおいてオブジェクトの動きを制御する方法であり、この方法は、ビデオゲームのプレイヤの様々な動きを捉えるビデオカメラから少なくとも１つのビデオストリームを受け取るステップと、ビデオデータからプレイヤの動きを得るステップと、オブジェクトをプレイヤの動きに反応させるステップとを含む。当該方法は、プレイヤの動きをビデオゲームにおける所定のルールに従ってオブジェクトの動作にマッピングすることをさらに含む。
【００１６】
上記と共に、他の目的、特徴、利益および利点が、以下に記載される本発明の実施において達成され、添付の図面に図示されている実施形態に至る。
【００１７】
本発明のこれらおよび他の特徴、態様、および利点は、以下の記載、特許請求の範囲および添付の図面を参照してさらに理解されるであろう。
【図面の簡単な説明】
【００１８】
【図１Ａ】本発明の一実施形態の典型的な構成を示す。
【図１Ｂ】２人のプレイヤが１つの場所で一緒にビデオゲームをプレイしている様子を示す。
【図１Ｃ】場合により、拡張された現実をサポートするディスプレイを有するバーチャルリアリティ（ＶＲ）ゴーグル／眼鏡を着用しているプレイヤを示す。
【図２Ａ】単一のプレイヤがいる現実の世界空間に似せて構成された典型的なゲーム空間を示す。
【図２Ｂ】１人または複数のプレイヤを含みかつそのプレイヤを囲む現実の世界空間に類似するゲーム空間を生成するフローチャートすなわちプロセス２１０である。
【図３Ａ】本発明の一実施形態に係る構成を示す。
【図３Ｂ】少なくとも２つのゲームコンソールから送信される複数のデータストリームからのデータに基づいてゲーム空間を創出するために使用され得るシステム構成を示す。
【図３Ｃ】物理的に遠く離れているか、同じ建物内の別々の部屋にいる２人の参加プレイヤの２つの現実の世界空間が組み込まれた典型的なゲーム空間を示す。
【図３Ｄ】参加プレイヤをそれぞれ囲む１つまたは複数の現実の世界空間を組み合わせてゲーム空間を生成するフローチャートすなわちプロセスである。
【図３Ｅ】２つの別々のプレイエリアの２つの現実の世界空間に基づいてゲーム空間を創出する説明図である。
【図３Ｆ】表示オブジェクトが対応するプレイヤの動きに従って移動するネットワークゲームにおいて表示オブジェクトを制御するフローチャートすなわちプロセスである。
【図４Ａ】ゲーム空間の人工的に追加された要素が２人のプレイヤまたはプレイヤの対応する表示画面のうちの一方をプレイヤの現実の世界空間の後方に移動させる事例を示す。
【図４Ｂ】２つの現実の世界空間に類似するか、あるいは、向かい合わせに組み合わせられたプレイヤの対応する表示画面によって表わされたゲーム空間を示す。
【図５】本発明の一実施形態に係るシステム構成５００を示す。
【発明を実施するための形態】
【００１９】
発明を実施するための形態は、主として、ネットワークに接続されたデータ処理装置の動作に直接または間接的に類似する手順、ステップ、論理ブロック、処理、および他の記号表示の観点から示されている。これらのプロセスの記載および表示は通常、彼らの仕事内容を他の当業者に最も有効に伝えるために当業者によって使用されている。本明細書における「一実施形態(one embodiment)」または「一実施形態(an embodiment)」という言及は、実施形態に関連させて記載される特定の特徴、構造、または特性が本発明の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書中の様々な場所で「一実施形態では」という言葉が出現するが、これらは必ずしも全てが同じ実施形態を指すものではなく他の実施形態と相互排他的な関連のない実施形態または他の実施形態を指すものでもない。さらに、本発明の１つまたは複数の実施形態を示すプロセスフローチャートまたは図におけるブロックの順番は、本質的に任意の特定の順番を示すものではなく、本発明におけるいかなる限定を示唆するものでもない。
【００２０】
ここで図面を参照するが、図面では、複数の図にわたって同様の符号は同様の部分を指している。図１Ａは、本発明の一実施形態の典型的な構成１００を示す。構成１００は、居間に似ており、ここではプレイヤ１０５がゲームコンソール１０２およびディスプレイ１０３を介してビデオゲームをプレイしている。カメラ１０１は、プレイヤ１０５を監視している。カメラ１０１は、能動的または受動的な赤外線カメラ、あるいは可視光にのみ反応するカメラであってもよい（あるいは、カメラ１０１は異なるモードで動作可能であってもよい）。また、カメラ１０１は、当該場面を照らすのを支援する通常光または赤外線光を含んでいてもよく、あるいは、カメラ１０１によって監視されている場面を照らすために別個の光が設けられていてもよい。カメラ１０１は、立体情報を決定するための飛行時間情報を測定する機能を含んでいてもよい。カメラ１０１は、立体映像技術を適用することができるように１つまたは複数のカメラで構成されていてもよい。カメラ１０１は、所定の範囲内でプレイヤを追跡してプレイヤの動きを捉えることができるように（場合により、オートフオーカス機能を有する）モーターを備えていてもよい。
【００２１】
実装に応じて、ゲームコンソール１０２は、専用のコンピュータ装置（例えば、Ｗｉｉシステムなどのビデオゲームシステム）であってもよく、または、ビデオゲームシステムとして動作するように構成された通常のコンピュータであってもよい。ゲームコンソール１０２は、ＰＣの他の場所で実行されている仮想マシンであってもよい。一実施形態では、コントローラとして使用される動作検知装置１０４には、ゲームを実行するのに必要な機能が組み込まれていてもよい。当該プレイヤは、片手に１つずつ、２つの別々の動作検知コントローラを有していてもよい。別の実施形態では、携帯電話／ＰＤＡが、動作検知装置として機能するように構成されていてもよい。さらに別の実施形態では、動作検知装置は、プレイヤが着用している衣服の中に組み込まれていてもよく、それは帽子の中であってもよく、あるいは、身体にストラップで固定されていてもよく、様々な手段で身体に取り付けられていてもよい。あるいは、複数の動作検知装置が身体の異なる部分に取り付けられていてもよい。
【００２２】
特に記載がない限り、本明細書では、本開示内容において使用されるゲームコンソールは、ビデオゲーム専用の親機、ゲームソフトモジュールを実行する一般的なコンピュータ、またはビデオゲームの親機として機能するように構成された携帯機器のうちのいずれか１つを意味し得る。実際には、ゲームコンソール１０２は、ディスプレイ１０３の近くに存在している必要はなく、有線または無線ネットワークを介してディスプレイ１０３と通信してもよい。例えば、ゲームコンソール１０２は、無線ＨＤＭＩなどのプロトコルを使用して無線でディスプレイ１０３と通信する計算装置上で実行される仮想のコンソールであってもよい。一実施形態によれば、ゲームコンソールは、各種データ（例えば、画像およびセンサデータ）を受け取り、サーバにデータを送るネットワーク接続可能なボックスである。他方、当該ゲームコンソールは、データを統合し、複数の他の参加中のゲームコンソールによってプレイされているネットワークゲーム用のゲーム空間を創出／更新するように構成されたサーバから、常時更新されたディスプレイデータを受け取る。
【００２３】
本発明は、ビデオゲームについて記載されていることに留意されたい。当業者であれば、本発明の実施形態は、実際には遠く離れている１人または複数の人々の間でネットワークによって物理的近さおよび物理的対話についての共感を生じさせる他のゲーム以外の用途にも適用可能であり得ることが分かるであろう。例えば、様々な活動のためのソーシャルネットワーキング用ウェブサイトに登録されている幾人かのユーザ間での会合が創出される。その場にいない人物が本発明の一実施形態によって創出された仮想の３Ｄ空間に存在しているかのような感情を与えることによって、ビデオ会議が促進されたり、友人および家族間での電話が促進される可能性がある。同様に、３Ｄの仮想世界の構築および工学的設計などの仮想のプロジェクトに関する様々なコラボレーションを本発明の一実施形態によって創出された仮想の３Ｄ空間に実現させることができる。いくつかの用途では、動作検知コントローラが不要な場合もあり、カメラによる動作追跡のみで十分である可能性もある。
【００２４】
図１Ｂは、２人のプレイヤ１２２および１２４がビデオゲームを一緒にプレイしている様子を示す。カメラ１２６は、プレイヤ１２２および１２４の両方を監視している。一実施形態によれば、プレイヤ１２２および１２４はそれぞれ、片手に１つずつ、２つのコントローラを握持している。互いに区別し易いように、コントローラにはそれぞれ１つまたは複数の（赤外線）ＬＥＤが上に設けられている。また、カメラ１２６は、赤外線（または、他の非可視光）カメラであってもよい。別の実施形態では、より多くのカメラが使用される。カメラの例としては、赤外線（または、他の非可視光）カメラおよび可視光カメラが挙げられる。あるいは、異なるモード、すなわち、可視光モードおよび／または赤外線モード（または、他の非可視光）で動作可能な単一のカメラも使用され得る。さらに別の実施形態では、問題となる光の変化を改善するために当該場面を照らすのを支援する光１２８が存在する。光１２８は赤外線（または、他の非可視光）であってもよい。光１２８は、同じ場面において異なる照明を創出するためのストロボであってもよい。コントローラの動きは、ビデオゲームにおいて対応するオブジェクトの動きを制御するように使用され、かつ／または、プレイヤの動きは、プレイヤにそれぞれ対応するオブジェクトの動きを制御するために使用される。
【００２５】
図１Ｃは、プレイヤ１０５が（例えば、ｗｗｗ．ｖｕｚｉｘ．ｃｏｍウェブサイトから入手可能な）ディスプレイ／拡張された現実を有するバーチャルリアリティ（ＶＲ）ゴーグル／眼鏡を着用している一実施形態を示す。プレイヤ１０５は、ディスプレイ１０３を見る代わりに、ゴーグル／眼鏡の中に表示されるビデオゲームと対話し得る。また、プレイヤ１０５は、外部ディスプレイを見るために３Ｄ眼鏡を使用してもよい。あるいは、ディスプレイ１０５は、裸眼立体(autostereoscopic)ディスプレイまたは３Ｄホログラフィックディスプレイであってもよい。一実施形態によれば、ゲームコンソール、ディスプレイおよびコントローラは全て、同じ装置またはシステムの一部である。
【００２６】
図１Ａを再度参照すると、動作検知装置１０４、すなわち簡単に言えばコントローラは、一方が三軸加速度計であり、他方が三軸ジャイロスコープである少なくとも２つの慣性センサを含んでいてもよい。加速度計は、移動しているオブジェクト上の一点における１つまたは複数の軸に沿った加速度を測定する装置である。ジャイロスコープは、回転しているオブジェクト上の一点における１つまたは複数の軸の周りの角速度を測定する装置である。加速度計およびジャイロスコープに加えて、コントローラ１０４内に使用され得る他の慣性センサも存在する。そのような慣性センサの例としては、コンパスおよび磁力計が挙げられる。一般に、慣性センサからの信号（すなわち、センサデータ）は、電子的に捉えられ、親機（例えば、ゲームコンソール１０２）に送信されて、コントローラ１０４の一種の相対運動が得られる。
【００２７】
実装に応じて、慣性センサからのセンサ信号は、動作検知装置１０４の６つの相対的な並進および角運動の全てを得るのに十分な場合もあれば、十分でない場合もある。一実施形態では、動作検知装置１０４は、６つの相対的な並進および角運動の全てを得るのに必要な数の慣性センサよりも少ない慣性センサを含み、この場合、動作検知装置１０４は、６つの並進および角運動のうちの一部のみを検出および追跡し、全てを検出および追跡しないこともある（例えば、この中には３つの慣性センサのみが存在する）。別の実施形態では、動作検知装置１０４は、６つの相対的な並進および角運動の全てを得るのに必要とされる慣性センサの要求数と少なくとも同じか、またはそれよりも多い慣性センサを含み、この場合、動作検知装置１０４は、６つの並進および角運動の全てを検出および追跡し得る（例えば、この中には少なくとも６つの慣性センサが存在する）。
【００２８】
いずれの場合も、プレイヤ１０５およびプレイヤの周囲環境を撮像するためにカメラ１０１が設けられている。画像データは、有効なプレイエリアを実験的に得るために使用されてもよい。例えば、プレイヤが有効なプレイエリア外にいる場合には、最大限の有効なプレイエリアを決定することができる。有効なプレイエリアを使用して、プレイヤがビデオゲームをプレイする現実の世界空間の３Ｄ表示を決定することができる。
【００２９】
有効なプレイエリア、例えば、視野を決定する際には、カメラについて以前から知られている他の要因を使用してもよい。あるいは、有効なプレイエリアを画定するために実験的データに基づいて別々に位相較正を行なってもよい。
【００３０】
当業者であれば、画像データから３Ｄ空間の３Ｄ表示を得るための様々な方法が存在することを知っており、そのうちの１つを使用して、そのような３Ｄ表示を得てもよい。さらに、画像データは、慣性センサからのセンサデータと共に、コントローラの絶対運動を容易に決定するために使用してもよい。一実施形態によれば、プレイヤに、複数の特別な色のタグ、またはドットあるいは光を身に付けさせるか取り付けて、画像データからプレイヤの動きを容易に決定してもよい。
【００３１】
図２Ａは、プレイヤがいる現実の世界空間に似せて構成された典型的なゲーム空間２００を示す。図１Ａの現実の世界に類似するゲーム空間２００は、複数のオブジェクト２０３〜２０７を含み、それらのうちのいくつか（例えば、２０３および２０５を参照）は、現実の世界空間に実在するオブジェクトに対応するが、それ以外（例えば、２０４および２０７を参照）は、ゲーム目的のためにゲーム空間２００に人工的に配置されている。また、ゲーム空間２００は、コントローラを握持しているプレイヤに対応し得る、物２０１を握持するオブジェクト２０２を含む。３Ｄ仮想世界とも呼ばれるゲーム空間２００での動きは、プレイヤがいる現実の世界での動きに類似しているが、ビデオゲーム用のゲーム空間を構成する様々なオブジェクトを含む。
【００３２】
図２Ｂは、１人または複数のプレイヤを含み、それらのプレイヤを囲む現実の世界空間に類似するゲーム空間を生成するフローチャートすなわちプロセス２１０を示す。プロセス２１０は、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアとの組み合わせに実装され得る。一実施形態によれば、プロセス２１０は、２１２においてプレイヤがビデオゲームの開始を決定すると開始される。図１Ａに示す設定によれば、２１４では、カメラは、プレイヤを囲む環境を撮像するように動作する。カメラは、２１６においてプレイヤの現実の世界の３Ｄ画像または表示を再構築するために使用することができるデータを生成する３Ｄカメラまたはステレオカメラシステムであってもよい。当業者であれば、３Ｄの現実の世界または３Ｄの現実の世界空間におけるプレイヤの動きの３Ｄ表示を生成するための異なる方法があることを知っているが、その詳細については、本発明の態様を曖昧にすることを回避するためにここでは省略する。
【００３３】
２１８では、現実の世界の３Ｄ表示によって、仮想オブジェクトと表示オブジェクトとを含むようにゲーム空間が創出される。仮想オブジェクトとは、現実の世界にあるいずれの物にも対応しないオブジェクトであり、仮想オブジェクトの例としては、採点のために取得され得るアイコンあるいは他のオブジェクトまたは形状と対戦するために取得され得る様々な武器が挙げられる。表示オブジェクトとは、現実の世界にあるいずれかの物に対応するオブジェクトであり、表示オブジェクトの例としては、プレイヤ（複数可）（例えば、アバター（複数可））またはプレイヤの現実の世界にある主要な物（例えば、テーブル）に対応するオブジェクトが挙げられる。表示オブジェクトは、事前に定義されていてもよい。例えば、ゲームには、プレイヤのアバターとなるように指定されているゲームキャラクターが標準装備されている。アバターは、プレイヤの現実の世界の動きに反応して動くが、それ以外には、他の対応は全く存在しない。あるいは、事前に定義されているアバターは、ビデオデータによって修正され得る。例えば、プレイヤの顔をテクスチャとしてアバターに適用してもよく、あるいは、アバターは、プレイヤ自身の体の寸法に応じて縮尺されたものであってもよい。２２０では、特定のゲームに応じて、様々なルールまたは採点機構が、目標を設定するためのゲーム空間、異なるオブジェクト間で生じ得る様々な対話、およびスコアをカウントするため、あるいは結果を示すための方法を用いてビデオゲームに組み込まれる。２２２では、プレイヤの現実の世界に何とか類似するように創出されたゲーム空間を用いるビデオゲームは、プレイの準備を整えている。プロセス２１０は、ビデオゲームを実行するゲームコンソールまたは任意の他の計算装置、例えば携帯電話、ＰＣまたはリモートサーバで実行され得ることに留意されたい。
【００３４】
本発明の特徴、目的および利点のうちの１つは、例えば、１つまたは複数のアクション、動き、場所および向きの点で、ゲームオブジェクトとプレイヤ自身の現実の世界空間における対応するプレイヤとの少なくとも近い対応が存在するゲーム空間を創出することが可能なことである。ゲーム空間には、プレイヤの動きに伴って、あるいは他の人々の動きに伴って移動するアバターが追加されている可能性がある。図３Ａは、本発明の一実施形態に係る構成３００を示す。カメラ３０１は、１人のプレイヤを囲むプレイエリアに配置されており、プレイエリアは、居間または寝室あるいは任意の好適なエリア内であってもよい。一構成では、プレイヤは、プレイヤの家に複数のカメラ、例えば、居間に１つのカメラ、寝室にもう１つのカメラを有していてもよい。プレイヤが家中を動き回り、異なるカメラで観察可能なものとして認識されると、ゲーム空間は、現実の世界空間の変化に従って更新され、プレイヤの現在の場所をある程度反映することができる。
【００３５】
カメラ３０１は視野３０２を有する。カメラのパラメータ、カメラの配置、カメラ較正、および照明条件を含む要因に応じて、許容可能な持続期間にわたって所定のレベルの信頼性および忠実度によりプレイヤの動きを追跡することができる有効なプレイエリア３０３がある。有効なプレイエリア３０３は、プレイヤおよびプレイヤの動きを追跡および特定するのを支援するＩＮＳセンサを用いて、場合により強化および／または拡張３０４することができる。有効なプレイエリア３０３は、プレイヤが移動できる空間を本質的に画定し、その動きは、ビデオゲームと対話するために撮像および取得される。有効なプレイエリア３０３は通常、単一のプレイヤを含むが、ゲームおよび追跡能力に応じて、１人または複数のプレイヤを含み得ることに留意されたい。
【００３６】
有効なプレイエリア３０３は経時的に変化し得る。例えば、照明条件が変化する場合や、カメラが移動されて再較正される場合である。有効なプレイエリア３０３は、カメラの単純な光学的特性（例えば、視野または焦点）などの多くの要因から決定され得る。また、可能性のある有効なプレイエリアを事前に決定するために実験が必要な場合もある。あるいは、有効なプレイエリアは、ゲーム中に暗黙的に決定され得るか、位相較正中に明示的に決定され得、位相較正では、有効なプレイエリアを緻密にマップするためにプレイヤは様々な点で様々な作業を行なうように求められる。
【００３７】
マッピング３０５は、有効なプレイエリア３０３を有効なプレイエリア３０３の仮想化された３Ｄ表示３０７へのいくつかの変換、ワーピングまたはモーフィングを指定する。３Ｄ表示３０７は、いくらか理想的な規則的形状にスナップまたはクリッピングされ得るか、あるいは、存在すれば、元の現実の世界のプレイエリアの不規則形状の一部を維持してもよい。また、２つ以上の３Ｄ表示が存在することもある。例えば、異なるプレイヤ、異なる追跡精度を有する異なるプレイエリア部分、あるいは、異なるゲームまたはゲームの異なる部分に対して異なる表示があってもよい。また、単一のプレイヤの２つ以上の表示があってもよい。例えば、プレイヤは、ゲームの一部ではヒーローの役を演じ、ゲームの異なる部分ではヒーローの敵の役を演じることがあり、あるいは、プレイヤは、ゲームがプレイされている間、キャラクター群の中の異なるメンバー間を自由に行き来しながら、それらを制御するように選択する場合もある。
【００３８】
３Ｄ表示は、共有ゲーム空間３０６に組み込まれている。他の現実の世界空間の別の３Ｄ表示３０８もゲーム空間３０６に組み込まれている。これらの他の３Ｄ表示（３Ｄ表示３０８のみが示されている）は通常、遠く離れている、すなわち、物理的に互いに遠く離れているか、同じ建物内で物理的に離れている現実の世界空間のものである。
【００３９】
当業者であれば、３Ｄ表示および／または組み込みは、画像および／またはセンサデータストリームに適用されるいくつかの機能では暗黙的に行われ得ることに気付くであろう。その機能は、ゲーム空間との関連で、データストリームを有効に再解釈する。例えば、プレイヤに対応するアバターは、ａ×ｂ×ｃの寸法を有する部屋の中にいて、次に、これが単位寸法を有するプレイヤの周りの四角い枠に対応するように作製可能であることが想定される。従って、プレイヤがｘ次元内の有効なプレイエリアを半分だけ横切るように移動すると、アバターはゲーム空間を１／２単位だけ移動する。
【００４０】
図３Ｂは、少なくとも２つのゲームコンソールから送信される複数のデータからのデータに基づいてゲーム空間を創出するために使用され得るシステム構成３１０を示す。図３Ｂには、３つの典型的なゲームコンソール３１２、３１４および３１６がある。ゲームコンソール３１２、３１４および３１６はそれぞれ、少なくとも１つのカメラおよび場合により動作検知コントローラに接続されており、それにより画像データおよびセンサデータが提供される。一実施形態によれば、ゲームコンソール３１２、３１４および３１６はそれぞれ、データネットワークに接続されている。一実施形態では、ゲームコンソール３１２、３１４および３１６にはそれぞれ、インターネットへの無線接続を可能にするＷｉＦｉインタフェースが備えられている。別の実施形態では、ゲームコンソール３１２、３１４および３１６にはそれぞれ、インターネットへの有線接続を可能にするイーサネット（登録商標）インタフェースが備えられている。動作中、ゲームコンソール３１２、３１４および３１６のうちの１つは、本発明の一実施形態を実装するソフトウェアモジュールを実行するホスティングマシンとして構成されている。
【００４１】
プレイエリアの３Ｄ表示を創出するために必要とされる有効なプレイエリアからのマッピングは、１つまたは複数の参加中のコンソールまたは専用の計算装置に適用され得る。一実施形態では、関連のあるパラメータ（例えば、カメラのパラメータ、カメラ較正、照明）は、マッピングが行なわれるホスティングマシンに通信される。ホスティングマシンは、各３Ｄ表示をゲーム空間に組み込む方法を決定するように構成されている。
【００４２】
ホスティングマシンは、全ての参加中のゲームコンソールから（画像および／またはセンサ）データストリームを受け取り、受け取ったデータに基づいてゲーム空間を更新する。マッピングが行なわれる場所に応じて、データストリームは、コンソール上ですでに変換されているか、あるいは、ホスティングマシン上で変換されなければならない。本発明に関しては、ゲーム空間は、現実の世界空間の少なくとも仮想化された３Ｄ表示を含み、そこでは、現実の世界におけるプレイヤの動きが、プレイヤのゲームコンソールが参加しているネットワークゲーム上で、プレイヤの動きに類似するゲーム世界のオブジェクトの動きとして解釈される。どのゲームがプレイされているかに応じて、あるいは、同じゲーム中の異なる時点のためにでさえ、現実の世界空間の３Ｄ表示は、異なるルールを有する異なる方法、例えば、現実の世界空間の利用可能な３Ｄ表示をスティッチング、マージまたはワーピングして組み合わせられる。また、創出されたゲーム空間にはゲームのテーマに従って予め定められ得る様々なルールおよび採点機構が組み込まれている。ホストゲームコンソールは、プレイヤがビデオゲームをプレイするために参加中のゲームコンソールのそれぞれに、創出されたゲーム空間を送る。当業者であれば、本発明における利点、利益および利点のうちの１つは、プレイヤの現実の世界空間における全てのプレイヤの動きが、物理的近さおよび物理的対話についての共感を生じさせるようにゲーム空間に自然に解釈されることであることが分かるであろう。
【００４３】
図３Ｃは、物理的に遠く離れているか、あるいは同じ建物内の別々の部屋に存在し得る２人の参加プレイヤの２つの現実の世界空間が組み込まれた典型的なゲーム空間３２０を示す。２人の参加プレイヤの２つの現実の世界空間の組み合わせに基づいて創出されたゲーム空間３２０は、様々なオブジェクトを含み、それらのオブジェクトには現実の世界空間に実在するオブジェクトに対応するものもあれば、様々なアクションまたは対話のためにゲーム空間３２０を拡張するように人工的に追加されたものもある。一例では、ゲーム空間３２０は２つの異なる階を含み、１階の設定は、１つの現実の世界空間からのものであってもよく、２階の設定は、別の現実の世界空間からのものであってもよく、２つの階を繋ぐために階段が人工的に創出されている。ゲーム空間３２０は、２つのオブジェクトすなわちアバター３２２および３２４をさらに含み、それぞれがプレイヤのうちの一人に対応している。アバター３２２および３２４はそれぞれ、プレイヤの動きに従って移動する。一実施形態では、アバター３２２および３２４のうちの１つは、ウィジェット（例えば、武器または剣）を握持し得、対応するプレイヤによるコントローラの動きに従ってウィジェットを振り回し得る。ゲーム空間２３０であれば、アバター３２２および３２４をそれぞれ２つの各階に進入または移動させて、互いに、そして２つの階のいずれかにある他のオブジェクトと対話するように操作し得る。
【００４４】
再び図３Ｂを参照すると、別の実施形態によれば、ホスティングマシンとして機能するゲームコンソール３１２、３１４および３１６のうちの１つを有する代わりに、全ての（画像およびセンサ）データストリームを参加中のゲームコンソール３１２、３１４および３１６から受け取るためのホスティングマシンとして、サーバコンピュータ３１８が設けられている。サーバコンピュータ３１８は、ソフトウェアモジュールを実行して受け取ったデータストリームに基づいてゲーム空間を創出および更新する。また、参加中のコンソール３１２、３１４および３１６は、いくつかの他のリモートサーバ上または他の場所に位置するいくつかの計算装置上で実行されていてもよい。本発明に関しては、ゲーム空間における動きは、プレイヤのゲームコンソールが参加している、各プレイヤの現実の世界空間のいくつかまたは全てを組み合わせた現実の世界空間におけるプレイヤの動きに類似している。特定のゲームまたはさらにゲームにおける特定の段階に応じて、現実の世界空間の３Ｄ表示が、ゲームのための異なるルールを有する異なる方法で、例えば、現実の世界空間の２つ以上の３Ｄ表示をスティッチング、マージまたはワーピングすることで組み合わせられる。サーバコンピュータ３１８は、一緒にビデオゲームをプレイするために、参加中のゲームコンソールまたは他の関係者のそれぞれに、創出されたゲーム空間を送る。そのため、これらの参加プレイヤだけが物理的近さおよび物理的対話についての共感を持ってビデオゲームをプレイするだけでなく、他のゲームプレイヤもビデオゲームを鑑賞またはプレイするように勧誘され得る。
【００４５】
図３Ｄは、参加プレイヤをそれぞれ囲む１つまたは複数の現実の世界空間が組み込まれたゲーム空間を生成するフローチャートすなわちプロセス３３０を示す。プロセス３３０は、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアとの組み合わせに実装され得る。一実施形態によれば、プロセス３３０は、３３２において１つまたは複数のプレイヤがビデオゲームの開始を決定すると開始される。
【００４６】
上述のように、各プレイヤは、プレイヤおよびプレイヤの周囲空間（現実の世界空間）を撮像するために設置されている少なくとも１つのカメラの前でビデオゲームをプレイする準備を整えている。各プレイヤが動作検知コントローラを握持しているか、少なくとも１組の慣性センサを身に付けているか、あるいはそれらがプレイヤの体に取り付けられていることが想定される。いくつかの実施形態では、動作検知装置すなわちセンサが不要な場合も想定される。２人以上のプレイヤが１つの場所にいる事例もあり得、その場合、プレイヤの識別を容易にするために特別な設定を使用してもよく、例えば、各プレイヤが１つまたは複数の特別に色付けされたタグを身に付けていたり、それらが体に取り付けられていてもよく、あるいは、プレイヤのコントローラが外観的に異なるように標識されていてもよく、コントローラが異なる色で輝く光を含んでいてもよい。
【００４７】
３３４では、ゲームプレイヤの数が決定される。ゲームプレイヤの数は、プレイヤ自身の現実の世界空間に参加しているプレイヤの数とは異なる場合もあることに留意されたい。例えば、３人のゲームプレイヤがいて、２人は、参加している１つの現実の世界空間で一緒に撮像されているが、３人目は一人である場合もある。そのため、ビデオゲーム用のゲーム空間を創出するために２つの現実の世界空間が使用される。従って、３３６では、そのような複数の現実の世界空間が決定される。
【００４８】
３３８では、現実の世界空間を表示するデータストリームが受け取られなければならない。一実施形態では、２つのゲームコンソールが使用され、それぞれが１つの場所にあり、プレイヤ（複数可）を囲む１つの現実の世界空間を撮像するカメラに接続されている。ゲームコンソールのうちの１つは、一方がリモートサイトからのデータストリームであり、他方がそのゲームコンソール自体からのデータストリームである２つのデータストリームを受け取るためのホストゲームコンソールとして設定されていることが想定される。あるいは、各コンソールは、適度に近い対応を維持するために可能な限り頻繁に他のコンソールからの情報によって更新されるゲーム空間の別々のコピーを維持するように構成されている。２つのデータストリームのうちの一方が受け取られない場合には、プロセス３３０は待機するか、あるいは１つのデータストリームのみで進行され得る。１つのデータストリームのみしか届かない場合には、ゲーム空間は１つの現実の世界空間に基づいて仮に構築される。データが欠落している場合、例えば、プレイヤが剣を振り回し、胴体の動きのためのデータが欠落しているか不完全な場合には、ゲームは、好適であるとみなされたいくつかの状況依存的な動作の動きによって補われ、剣の一撃をより迫力あるものにするように動作を強化してもよく、あるいは、その一撃が標的を逃した場合には敵のキャラクターと接触させるように一撃を僅かに修正してもよい。
【００４９】
３４０では、３Ｄ表示のスティッチング、スーパインポーズまたはモーフィングすること、あるいは任意の他の数学的変換を行なうことのうちの１つまたはそれらの任意の組み合わせを含み得る様々な可能な方法で、現実の世界空間のそれぞれの３Ｄ表示を組み込むことによってゲーム空間が創出される。変換（例えば、モーフィング）は、３Ｄ表示が組み込まれる前に適用され得、場合により、その後にゲーム空間をスムーズにかつよりリアルに見せるための画像処理が施される。典型的な変換としては、平行移動、射影、任意の軸周りの回転、拡大縮小、ずらし変換、反転または任意の他の数学的変換が挙げられる。組み合わせられた３Ｄ表示は、３次元のうちの２つの次元に射影されていてもよい。２次元の射影は、組み合わせ前の３Ｄ表示にも適用し得る。ゲーム空間には、様々な他の構造物または場面、仮想または表示オブジェクト、およびオブジェクト間での対話のためのルールも組み込まれている。この時点で、ゲーム空間がゲームコンソールに送り戻されかつビデオゲームを一緒にプレイするように登録されると、ビデオゲームがプレイされる準備が整う。
【００５０】
ビデオゲームがプレイされている間、画像およびセンサデータが、それぞれのゲームコンソールから、３４２においてデータを参照してゲーム空間を更新するホストゲームコンソールに送られ続け、表示されているゲーム空間がタイミングよく更新される。３４４においてそれぞれのゲームコンソールからデータが受け取られている間、３４２ではゲーム空間が常時更新される。図３Ｅは、２つの離れたプレイエリアの２つの現実の世界空間に基づいてゲーム空間を創出するステップを説明するものであり、これは、複数の現実の世界空間を統合するように容易に修正され得る。
【００５１】
図３Ｆは、ネットワークゲームにおいて表示オブジェクトを制御するフローチャートすなわちプロセス３５０を示し、ここでは、少なくともいくつかの表示オブジェクトが、対応するプレイヤの動きに従って移動する。プロセス３５０は、ソフトウェア、ハードウェアまたはソフトウェアとハードウェアとの組み合わせに実装され得る。一実施形態によれば、３５２において１つまたは複数のプレイヤがビデオゲームの開始を決定すると、プロセス３５０が開始される。
【００５２】
上述のように、各プレイヤは、プレイヤおよびプレイヤの周囲空間（現実の世界空間）を撮像するために設置されている少なくとも１つのカメラの前でビデオゲームをプレイする準備を整えている。各プレイヤは、動作検知コントローラを握持しているか、少なくとも１組の慣性センサを身に付けているか、あるいはそれらがプレイヤの体に取り付けられていることが想定される。いくつかの実施形態では、動作検知装置すなわちセンサが不要な場合も想定される。２人以上のプレイヤが１つの場所にいる事例もあり得、その場合、プレイヤの識別を容易にするために特別な設定を使用してもよく、例えば、各プレイヤが１つまたは複数の特別に色付けされたタグを身に付けたり、それらが体に取り付けられてもよく、あるいは、プレイヤのコントローラが外観的に異なるように標識されていてもよく、コントローラが異なる色で輝く光を含んでいてもよい。
【００５３】
３５４では、ゲームプレイヤの数が決定され、それにより、制御できるゲーム中の表示オブジェクトの数が決定される。どこでゲームがレンダリングされているかに関わらず、複数のビデオデータストリームがプレイヤから届く。但し、ゲームプレイヤの数は、そのゲームに参加しているビデオデータストリームの数とは異なる場合もあることに留意されたい。例えば、３人のゲームプレイヤがいて、２人は１つのビデオカメラで一緒に撮像されており、１人でいる３人目は、別のビデオカメラで撮像されている。そのため、３人のプレイヤからの２つのビデオデータストリームが存在する。一実施形態では、プレイヤは自身のプレイエリアを撮像するために２つ以上のカメラを使用するため、当該ビデオゲームのためにプレイヤから複数のビデオストリームが得られる。従って、ゲームプレイヤの数ならびにビデオデータストリームの数は３５４で決定される。
【００５４】
３５６では、全ての参加プレイヤの動きを表示する上記数のビデオデータストリームが受け取られなければならない。例えば、互いに遠く離れている２人のプレイヤがいる。２つのゲームコンソールが使用され、それぞれが１つの場所にあり、プレイヤを撮像するカメラに接続されている。ゲームコンソールのうちの１つは、一方がリモートサイトからのデータストリームであり、他方がそのゲームコンソール自体からのデータストリームである２つのデータストリームを受け取るためのホストゲームコンソールとして設定されていることが想定される（あるいは、別個の専用の計算機が存在していてもよい）。あるいは、各コンソールは、適度に近い対応を維持するために可能な限り頻繁に他のコンソールからの情報によって更新されるゲーム空間の別々のコピーを維持するように構成されている。２つのデータストリームのうちの一方が受け取られない場合には、プロセス３５６は待機するか、あるいは１つのデータストリームのみで進行され得る。１つのデータストリームのみしか届かない場合には、対応する表示オブジェクトの動きは、表示オブジェクトをプレイヤにとって最も利益になるように移動させるように構成されたホストゲームコンソールによって一時的に支配される。データが欠落している場合、例えば、プレイヤが剣を振り回し、胴体の動きのためのデータが欠落しているか不完全な場合には、ゲームは、公知のデータと可能な限り一貫しているとみなされたいくつかの状況依存的な動作の動きによって補われる。例えば、人間の身体の生体力学的に近そうなモデルおよびその可能な動かし方は、知られていない要素の可能な動作を制限するために使用され得る。その後に近そうな一組の動作から特定の動作を選択するための多くの公知の技術があり、例えば、エネルギー消費を最小にする動作または雑音のある筋肉アクチュエータよって忠実に実行される可能性が最も高い動作などを選択する技術がある。
【００５５】
３５７では、共有ゲーム空間をマッピングすることが決定される。プレイヤの動きをゲーム空間に何らかの方法で組み込まれなければならず、その組み込みが決定される。例えば、２人のプレイヤ、プレイヤＡおよびプレイヤＢがいると想定される。プレイヤＡはプレイヤＡの居間でプレイしているが、プレイヤＢは遠く離れており、プレイヤＢ自身の居間でプレイしている。プレイヤＡが、（例えば、上部にカメラを有する）ディスプレイに向かって移動すると、ゲームは、その動作を共有ゲーム空間に解釈させる方法を先に決定しなければならない。剣戦闘ゲームでは、ゲームは、現実の世界空間におけるプレイヤＡの前進運動を共有ゲーム空間における右方向運動に、後方運動を左方向運動などにマップすることを決定し得る。同様に、ゲームは、プレイヤＢの前進運動を左方向運動に、後方運動を右方向運動などにマップすることを決定し得る。さらに、ゲームは、プレイヤＡの代わりであるオブジェクト（例えば、プレイヤＡのアバター）を共有ゲーム空間の左側に、プレイヤＢのアバターをその空間の右側に配置することも決定し得る。その結果、プレイヤＡがプレイヤＡのカメラに向かって移動すると、対応するアバターがディスプレイ上で右側に移動し、プレイヤＢにより近づく。プレイヤＢがそれに応じてカメラから離れる方向に移動すると、プレイヤＡからは、プレイヤＢのアバターがディスプレイ上で右側に移動し、プレイヤＡの前進するアバターから遠ざかるように見える。
【００５６】
ゲーム世界における前進運動を共有ゲーム空間における右方向運動または左方向運動にマップすることは多くの可能性のうちの１つにすぎない。ゲームにおける任意の方向の動作が当該共有ゲーム空間において一方向にマップされ得る。また、動作は多種多様な他の方法で修正することができる。例えば、動作は、現実の世界の僅かな移動がゲーム世界における大きな移動に対応するように、あるいはその逆になるように拡大縮小することができる。その拡大縮小は、小さな動作はほぼ忠実にマップされるが、大きな動作は減衰させるように非線形なものとすることもできる。
【００５７】
現実の世界の動作のあらゆる他の態様もマップすることができる。プレイヤは、肘関節の周りでプレイヤの前腕を肩に向かって回転させる場合があり、対応するアバターもその前腕を肩に向かって回転させることができる。あるいは、アバターは魔法の呪文による「反対の動作」作用を受ける場合もあるため、プレイヤがプレイヤの前腕を肩に向かって回転させると、アバターはその前腕を肩から離れる方向に回転させる。
【００５８】
プレイヤの現実の世界の動作は、他のオブジェクトにマップすることもできる。例えば、プレイヤが肩から横方向に腕を回すと、それにより、巨大なカエルがその舌を突き出すように制御される可能性がある。プレイヤの巨視的レベルの重心の並進運動は、カエルの巨視的レベルの重心の並進運動を直接的に制御し得る。
【００５９】
当業者に知られている１つの空間から別の空間への他の標準的な数学的変換を使用することができ、これらの例としては、任意の種類の反射、拡大縮小、平行移動、回転、ずらし変換、射影またはワーピングが挙げられるが、それらに限定されない。
【００６０】
また、現実の世界の動作に適用される変換は、ゲーム内容およびプレイヤによって決定することができる。例えば、ゲームの１つのレベルでは、プレイヤのアバターが、磁気ブーツで天井を歩かなければならない場合もあるため、プレイヤの実際の動作が反転される。しかし、そのレベルが一旦終了すると、その反転マッピングは、プレイヤの現実の世界の動作にはもはや適用されない。また、プレイヤは、自身の動作がマップされる方法に対する好みを表現できる場合もある。例えば、プレイヤは前進運動が右方向運動にマップされることを好み、別のプレイヤは、動作が左方向運動にマップされることを好む場合もある。あるいは、プレイヤは、自身のアバターがゲーム空間の左側にいることを決定し、このようにして、暗黙的に前進運動が右方向運動に対応することを決定する場合がある。２人のプレイヤ用のゲームにいる両プレイヤが同じ好みを有する場合、例えば、どちらのプレイヤも共有ゲーム空間の左側にいることを望む場合には、プレイヤのそれぞれのディスプレイ上では、プレイヤのアバターの位置および動きが所望通りに表示されるように、２つの別々のマッピングによってプレイヤの望みに応じることが可能な場合もある。
【００６１】
あるいは、当該ゲームは、プレイヤの身長、スキルまたは過去の好みの決定に基づいて、これらの決定の一部または全てを自動的に行なってもよい。あるいは、当該ゲームの状況によってマッピングを暗黙的に決定してもよい。例えば、２人以上のプレイヤが、共通の敵のモンスターと戦う同じチームにいる場合には、現実の世界におけるプレイヤの全ての前進運動を、各プレイヤの対応するアバターのモンスターに向かう動作にマップすることができる。モンスターに向かう方向は、アバターごとに異なっていてもよい。この例では、左または右への動きは、ゲームの状況によって必ずしも決定し得ないため、態様はプレイヤの選択によって決まるか、いくつかの基準に基づいてゲームによって割り当てられ得る。但し、全ての動作を一貫させなければならない。例えば、現実の世界空間における左への動きによってプレイヤのアバターがその瞬間にさらに遠くに移動するように見せる場合には、理由もなく、別の瞬間に、現実の世界における同じプレイヤの左方向運動によって、対応するアバターが近くに移動するように見せるといったことが起こってはならない。
【００６２】
当該ゲームは、各プレイヤおよび当該ゲームの異なる部分に対して別々のマッピングを維持することができる。また、このマッピングは、照明条件などの現実の世界の特性の関数であってもよいため、薄暗い所での動作は、不正確な追跡によって引き起こされる任意の激しい変動を緩和するように、高い減衰係数でマップされる。
【００６３】
当業者であれば、現実の世界における動作とゲーム空間における動作とのマッピングのために多種多様な可能な表現があることが分かるであろう。選択される特定の表現は、本発明の中核をなすものではない。いくつかの可能性としては、現実の世界の追跡からの位置および向きの情報と共に積算される行列として変換を表すことが挙げられる。回転は、行列、四元数、オイラー角、または角度および軸として表すことができる。平行移動、反射、拡大縮小およびずらし変換は全て行列として表すことができる。ワーピングおよび他の変換は、陽の方程式または陰の方程式として表すことができる。別の態様では、プレイヤの周りの空間を３Ｄ空間（例えば、四角い枠）として明示的に表すことができ、マッピングは、この３Ｄ空間がゲーム世界に組み込まれると対応する３Ｄ空間に導かれる変換として表現される。現実の世界の３Ｄ空間の形状は、推測的であってもよく、あるいは、カメラの特性、いくつかの較正ステップまたは動的にデータストリームから推定される明示的に決定された有効なプレイエリアであってもよい。
【００６４】
当業者であれば、現実の世界の動作からゲーム世界の動作へのマッピングは、潜在的に様々な時点に適用されるか、さらに広がって２つ以上の時点に部分的に適用される可能性があることが分かるであろう。例えば、カメラおよび動作センサからの生データは、任意の他の処理の前に変換することができる。好ましい実施形態では、人間のプレイヤの動作は、最初に生データから抽出され、次に、典型的な人間の動作に関する知識を用いて仕上げられる。現実の世界の動作が十分に決定された後にのみ、同等のゲーム空間にそれがマップされる。その後、さらなるゲーム依存性マッピングを適用してもよい。例えば、プレイヤが蜘蛛を制御している場合、現実の世界の代わりに、その空間に組み込まれた場合にプレイヤが移動したと思われる方法についてゲーム空間における動作が最初に決定される。その際にのみ、任意のゲーム特異的マッピング、例えば、二足歩行運動が８つの脚にマップされる方法、または特定の手の動作が特別な攻撃にマップされ得る方法等が適用される。
【００６５】
３５８では、データストリームが送られてくると、ホストゲームコンソールは、ビデオデータを分析してプレイヤのそれぞれの動きを推測し、かつ同時に、プレイヤを表わす対応するオブジェクトを適宜移動させるように構成されている。特定のゲームおよび／またはそのルールに応じて、表示オブジェクトの動きは、ゲームをより刺激的に見せるか、あるいは、プレイヤに深いめり込みを感じさせるように強化または修正され得る。例えば、当該ゲームは、剣の一撃をより迫力あるものに見せるように動作を強化させるか、あるいは、その一撃が標的を逃した場合には、敵のキャラクターと接触させるように一撃を僅かに修正することができる。
【００６６】
ビデオゲームがプレイされている間、ビデオデータは、それぞれのゲームコンソールから、３６０および３６２において対応するオブジェクトを更新／修正／制御するホストゲームコンソールに供給され続ける。
【００６７】
ここで図４Ａを参照すると、事例４００が示されており、この事例では、ゲーム空間に人工的に追加された要素４０８によって２人のプレイヤのうちの一人４１１を有効なプレイエリア内の後方の新しい場所４１２に物理的に移動させている。ゲーム空間は、図示のように最初は統合されている現実の世界のプレイエリアの２つの３Ｄ表示４０２および４０３を含むと想定される。要素４０８（例えば、モンスター）がプレイヤに対応するアバター４１３に接近するにつれて、プレイヤは（ディスプレイから）モンスターの接近を目にすると、モンスターを避けるように後退し、それによりアバターを３Ｄ表示内の再位置４１４に移動させる。３Ｄ表示４０２で表わされる空間にいるプレイヤは、（ディスプレイから）他のプレイヤのアバターが後退するのを目にし、実際に一緒に同じ仮想の空間に存在しているかのような感情を抱くであろう。プレイヤの動きにより、対応する３Ｄ表示を変化させることもでき、例えば、その変化を、そのプレイヤの現実の世界の動きの作用を減衰させるように長引かせることもできる。
【００６８】
図４Ｂは、向かい合わせに組み合わせられた２つのそれぞれの現実の世界のプレイエリア４１２および４１４の２つの３Ｄ表示が組み込まれたゲーム空間４１０を示す。４１２内のアバターを制御するプレイヤがカメラに向かって移動すると、アバターが（ディスプレイ内で）右に移動する様子が見られ、その逆も見られる。４１４内のアバターを制御するプレイヤがカメラから離れる方向に移動すると、対応するアバターは右に移動する様子が見られ、その逆も見られる。別のビデオゲーム、あるいは、恐らく同じビデオゲームの後半で、３Ｄ表示４１２および４１４を異なる方法で組み合わせることができ、そこでは一方が回転され、他方が鏡映しに反転される。鏡映しに反転される場合には、プレイヤが自身のカメラに向かって移動すると、プレイヤのアバターは予期せずに、プレイヤの期待とは反対の方向に移動する場合もある。回転される場合には、その回転は、任意の軸の周りであってもよく、空間を上下ならびに左右に回転することも含まれる。正確に３Ｄ表示をゲーム空間に組み込む方法、および、存在すれば、ゲーム空間およびデータストリームを修正するためにどの機能が適用されるかについてはゲームおよびゲーム内の特定の時点によって決まる。
【００６９】
図５は、本発明の一実施形態に係るシステム構成５００を示す。システム５００は、記憶装置５０１、１つまたは複数のコントローラ５０２、データ処理装置５０３、１組の慣性センサ５０４、１つまたは複数のカメラ５０５、およびディスプレイドライバ５０６を含む。２種類のデータ、すなわち、慣性センサ５０４からのデータとカメラ５０５からのデータがあり、両データがデータ処理装置５０３に入力される。上述のように、慣性センサ５０４は、データ処理装置５０３にセンサデータを提供して、カメラ５０５からのセンサデータの有無に関わらず最大６°の自由度の角運動および並進運動が得られる。
【００７０】
データ処理装置５０３は、ディスプレイドライバ５０６を介してビデオシーケンスを表示するように構成されている。動作中、データ処理装置５０３は記憶装置５０１に格納されているコードを実行し、記憶装置５０１には、本明細書に記載されている発明の一実施形態に従ってコードが実装されている。コントローラ上のプレイヤのアクションおよびまたはプレイヤによって操作されているコントローラの所望の動きを解釈する制御装置５０２からの信号と共に、データ処理装置５０３はビデオ信号を更新してそのアクションまたは動きを反映させる。一実施形態では、ビデオ信号またはデータがホストゲームコンソールまたは別の計算装置に送られ、ゲーム空間を創出または更新し、次に、そのゲーム空間がディスプレイドライバ５０６を介してディスプレイスクリーンに表示される。
【００７１】
一実施形態によれば、１つまたは複数のゲームコンソールからデータストリームが受け取られ、プレイヤを囲む環境のそれぞれの３Ｄ表示が得られる。デジタル処理され、かつＣＧ画像を追加することによって「拡張された」ライブビデオ画像の使用に関係している拡張された現実を用いて、様々なオブジェクトが、現実の世界の人々またはオブジェクト（表示オブジェクトと呼ぶ）または他の仮想オブジェクトと対話可能なように、場面すなわちゲーム空間が創出される。プレイヤは、仮想オブジェクトの前にオブジェクトを配置し得、当該ゲームは、当該オブジェクトが何であるのかを解釈してそれに反応する。例えば、プレイヤがコントローラを介して仮想オブジェクト（例えば、仮想のペット）に向かってボールを転がす場合、そのオブジェクトは怪我を避けるように道の外に飛び出すであろう。また、そのオブジェクトは、プレイヤのアクションに対して反応し、プレイヤに、例えば、そのペットをくすぐったり、驚かせるように手を叩いたりさせることができる。
【００７２】
一実施形態によれば、センサデータをカメラからの画像データと相関させ、現実の世界空間におけるプレイヤの手などの要素をより容易に特定することができる。当業者には公知であるように、カメラから純粋に生成されたデータからは、ある程度の精度でコントローラの向きを追跡することは難しい。コントローラの相対的な向きの追跡は、慣性センサのいくつかを用いて行なわれ得、カメラからの立体情報によって場所の変化を得た後に、その場所を慣性センサからの計測値から除外して、角運動が変化している可能性があるため、コントローラの絶対的な向きを得ることができる。
【００７３】
当業者であれば、本発明の要素をソフトウェアに実装し得るが、ハードウェアまたはハードウェアとソフトウェアとの組み合わせにも実装可能であることが分かるであろう。本発明は、コンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとして具現化することもできる。コンピュータ読み取り可能な媒体は、後からコンピュータシステムによって読み出し可能なデータを格納することができる任意のデータ記憶装置であってもよい。コンピュータ読み取り可能な媒体の例としては、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、ハードディスク、光データ記憶装置または搬送波が挙げられるがそれらに限定されない。コンピュータ読み取り可能な媒体はコンピュータ読み取り可能なコードが分散式に格納および実行されるように、ネットワーク結合型コンピュータシステム上に分散させることができる。
【００７４】
本発明を、ある程度の特殊性と共に十分詳細に説明してきた。当業者であれば、この実施形態の開示が単に一例としてなされており、特許請求の範囲に記載の本発明の精神および範囲を逸脱せずに、その構成の多くの変形および部分の組み合わせが可能であることが分かる。本明細書で論じられている実施形態は、形式および構成の点で情報単位の提示についていくらかの制限を含むように見えるが、本発明は、そのような実施形態よりもはるかに優れた適用性を有し、それは当業者であれば理解することができる。従って、本発明の範囲は、上記実施形態の記載内容によってではなく、添付の特許請求の範囲によって定義されるものである。
【特許請求の範囲】
【請求項１】
互いに離れている少なくとも２人のプレイヤによってプレイされているネットワークビデオゲーム用の共有ゲーム空間において２つ以上のオブジェクトの動きを制御する方法であって、
第１の場所にいる少なくとも第１のプレイヤの動きを捉える第１の場所に関連付けられた少なくとも第１のカメラから少なくとも第１のビデオストリームを受け取り、かつ第２の場所にいる少なくとも第２のプレイヤの動きを捉える第２の場所に関連付けられた少なくとも第２のカメラから第２のビデオストリームを受け取るステップと、
前記第１および第２のビデオデータストリームからそれぞれ前記第１および第２のプレイヤの前記動きを得るステップと、
前記共有ゲーム空間における少なくとも第１のオブジェクトを前記第１のプレイヤの前記得られた動きに反応させ、前記共有ゲーム空間における少なくとも第２のオブジェクトを前記第２のプレイヤの前記得られた動きに反応させるステップであって、前記第１および第２の場所は必ずしも同一の場所に位置していないステップと、
前記第１および第２の場所それぞれの少なくとも１つの表示上に前記共有空間の描写を表示するステップと、
を含む方法。
【請求項２】
前記第１および第２のプレイヤのうちの少なくとも１人が１つまたは複数の慣性センサを含むコントローラとしての装置を握持し、前記センサからのセンサデータが前記第１および第２のプレイヤの前記ぞれぞれの動きを得るために前記第１および第２のビデオストリームのうちの一つと組み合わせられる、請求項１に記載の方法。
【請求項３】
前記第１および第２の場所がそれぞれ、そこにいる前記第１または第２のプレイヤの動きが少なくとも１つのカメラによって捉えられ、前記共有ゲーム空間において対応するオブジェクトを制御するために使用される有効なプレイエリアを含み、前記有効なプレイエリアが前記第１および第２のカメラの視野を超えている場合には、前記カメラの前記視野を超える前記有効なプレイエリアの一部に含まれる前記第１および第２のプレイヤのうちのどちらか一方の前記動きが前記慣性センサによって追跡される、請求項１または２に記載の方法。
【請求項４】
前記ビデオゲームに、前記第１および第２のオブジェクト間ならびに前記第１および第２のオブジェクトおよび仮想オブジェクト間での様々な対話を可能にするためにゲームルールを組み込むステップと、
前記ビデオゲームにおいて予め定められたルールに従って、前記第１および第２のプレイヤの前記動きを前記第１および第２のオブジェクトにマップするステップと、
をさらに含む、請求項１に記載の方法。
【請求項５】
前記動きをマップする前記ステップが、前記共有ゲーム空間における２つの対応するオブジェクトが相補的に移動するように前記第１のプレイヤおよび第２のプレイヤの前記動きをマップする、請求項４に記載の方法。
【請求項６】
前記動きをマップする前記ステップが、対応するオブジェクトが、特定の方向に移動するか予め定められた仮想オブジェクトを避けて表示されるように、前記第１のプレイヤおよび第２のプレイヤのうちのいずれか一方がカメラに向かう前記動きをマップする、請求項４に記載の方法。
【請求項７】
前記動きをマップする前記ステップが、三次元の人間のような形状が前記第１のプレイヤおよび第２のプレイヤのいずれか一方に実質的に類似して移動するように、前記第１のプレイヤおよび第２のプレイヤのいずれか一方の前記動きをマップする、請求項４に記載の方法。
【請求項８】
ビデオゲームにおいてオブジェクトの動きを制御する方法であって、
前記ビデオゲームをプレイしているプレイヤの様々な動きを捉えるビデオカメラから少なくとも１つのビデオストリームを受け取るステップと、
前記ビデオデータから前記プレイヤの前記動きを得るステップと、
前記オブジェクトを前記プレイヤの前記動きに反応させるステップと、
を含む方法。
【請求項９】
前記ビデオゲームにおいて予め定められたルールに従って、前記プレイヤの前記動きを前記オブジェクトの動作にマップするステップをさらに含む、請求項８に記載の方法。
【請求項１０】
前記動作が、前記プレイヤの現実の世界空間における小さい平行移動が前記ビデオゲームのゲーム空間における大きな平行移動に対応するか、その逆であるように拡大縮小される、請求項９に記載の方法。
【請求項１１】
前記動作が、前記プレイヤの小さな動きはほぼ忠実にマップされるが、前記プレイヤの大きな動きは減衰されるように非線形に拡大縮小される、請求項９に記載の方法。
【請求項１２】
前記オブジェクトと他の仮想オブジェクト間での様々な対話を可能にするために、ゲームルールを前記ビデオゲームに組み込むステップをさらに含み、前記対話のそれぞれが、前記プレイヤが慣性センサを含む少なくとも１つのコントローラを操作するように生じる、請求項８に記載の方法。
【請求項１３】
互いに遠く離れている少なくとも２人のプレイヤによってプレイされているネットワークビデオゲーム用の共有ゲーム空間において２つ以上のオブジェクトの動きを制御するシステムであって、
第１の場所および第２の場所にそれぞれある少なくとも第１のカメラおよび第２のカメラであって、前記第１のカメラは、前記第１の場所にいる少なくとも第１のプレイヤの動きを捉えた第１のビデオストリームを生成し、前記第２のカメラは、前記第２の場所にいる少なくとも第２のプレイヤの動きを捉えた第２のビデオストリームを生成するカメラと、
前記第１および第２のビデオデータストリームからそれぞれ前記第１および第２のプレイヤの前記動きを得、前記共有ゲーム空間における少なくとも第１のオブジェクトを前記第１のプレイヤの前記得られた動きに反応させ、前記共有ゲーム空間における少なくとも第２のオブジェクトを前記第２のプレイヤの前記得られた動きに反応させるように構成された専用の計算装置であって、前記第１および第２の場所が必ずしも同一の場所に位置していない計算装置と、
前記共有空間を含む前記ネットワークビデオゲームをそれぞれ表示する第１および第２のディスプレイと、
を含むシステム。
【請求項１４】
前記共有空間が前記第１および第２の場所の現実の世界空間の三次元表示に基づいて構築される、請求項１３に記載のシステム。
【請求項１５】
前記第１および第２のプレイヤの少なくとも１人が１つまたは複数の慣性センサを含む装置を握持し、前記センサからのセンサデータが前記第１および第２のビデオストリームのうちの１つと組み合わせられて前記第１または第２のプレイヤの前記それぞれの動きが得られる、請求項１４に記載のシステム。
【請求項１】
互いに離れている少なくとも２人のプレイヤによってプレイされているネットワークビデオゲーム用の共有ゲーム空間において２つ以上のオブジェクトの動きを制御する方法であって、
第１の場所にいる少なくとも第１のプレイヤの動きを捉える第１の場所に関連付けられた少なくとも第１のカメラから少なくとも第１のビデオストリームを受け取り、かつ第２の場所にいる少なくとも第２のプレイヤの動きを捉える第２の場所に関連付けられた少なくとも第２のカメラから第２のビデオストリームを受け取るステップと、
前記第１および第２のビデオデータストリームからそれぞれ前記第１および第２のプレイヤの前記動きを得るステップと、
前記共有ゲーム空間における少なくとも第１のオブジェクトを前記第１のプレイヤの前記得られた動きに反応させ、前記共有ゲーム空間における少なくとも第２のオブジェクトを前記第２のプレイヤの前記得られた動きに反応させるステップであって、前記第１および第２の場所は必ずしも同一の場所に位置していないステップと、
前記第１および第２の場所それぞれの少なくとも１つの表示上に前記共有空間の描写を表示するステップと、
を含む方法。
【請求項２】
前記第１および第２のプレイヤのうちの少なくとも１人が１つまたは複数の慣性センサを含むコントローラとしての装置を握持し、前記センサからのセンサデータが前記第１および第２のプレイヤの前記ぞれぞれの動きを得るために前記第１および第２のビデオストリームのうちの一つと組み合わせられる、請求項１に記載の方法。
【請求項３】
前記第１および第２の場所がそれぞれ、そこにいる前記第１または第２のプレイヤの動きが少なくとも１つのカメラによって捉えられ、前記共有ゲーム空間において対応するオブジェクトを制御するために使用される有効なプレイエリアを含み、前記有効なプレイエリアが前記第１および第２のカメラの視野を超えている場合には、前記カメラの前記視野を超える前記有効なプレイエリアの一部に含まれる前記第１および第２のプレイヤのうちのどちらか一方の前記動きが前記慣性センサによって追跡される、請求項１または２に記載の方法。
【請求項４】
前記ビデオゲームに、前記第１および第２のオブジェクト間ならびに前記第１および第２のオブジェクトおよび仮想オブジェクト間での様々な対話を可能にするためにゲームルールを組み込むステップと、
前記ビデオゲームにおいて予め定められたルールに従って、前記第１および第２のプレイヤの前記動きを前記第１および第２のオブジェクトにマップするステップと、
をさらに含む、請求項１に記載の方法。
【請求項５】
前記動きをマップする前記ステップが、前記共有ゲーム空間における２つの対応するオブジェクトが相補的に移動するように前記第１のプレイヤおよび第２のプレイヤの前記動きをマップする、請求項４に記載の方法。
【請求項６】
前記動きをマップする前記ステップが、対応するオブジェクトが、特定の方向に移動するか予め定められた仮想オブジェクトを避けて表示されるように、前記第１のプレイヤおよび第２のプレイヤのうちのいずれか一方がカメラに向かう前記動きをマップする、請求項４に記載の方法。
【請求項７】
前記動きをマップする前記ステップが、三次元の人間のような形状が前記第１のプレイヤおよび第２のプレイヤのいずれか一方に実質的に類似して移動するように、前記第１のプレイヤおよび第２のプレイヤのいずれか一方の前記動きをマップする、請求項４に記載の方法。
【請求項８】
ビデオゲームにおいてオブジェクトの動きを制御する方法であって、
前記ビデオゲームをプレイしているプレイヤの様々な動きを捉えるビデオカメラから少なくとも１つのビデオストリームを受け取るステップと、
前記ビデオデータから前記プレイヤの前記動きを得るステップと、
前記オブジェクトを前記プレイヤの前記動きに反応させるステップと、
を含む方法。
【請求項９】
前記ビデオゲームにおいて予め定められたルールに従って、前記プレイヤの前記動きを前記オブジェクトの動作にマップするステップをさらに含む、請求項８に記載の方法。
【請求項１０】
前記動作が、前記プレイヤの現実の世界空間における小さい平行移動が前記ビデオゲームのゲーム空間における大きな平行移動に対応するか、その逆であるように拡大縮小される、請求項９に記載の方法。
【請求項１１】
前記動作が、前記プレイヤの小さな動きはほぼ忠実にマップされるが、前記プレイヤの大きな動きは減衰されるように非線形に拡大縮小される、請求項９に記載の方法。
【請求項１２】
前記オブジェクトと他の仮想オブジェクト間での様々な対話を可能にするために、ゲームルールを前記ビデオゲームに組み込むステップをさらに含み、前記対話のそれぞれが、前記プレイヤが慣性センサを含む少なくとも１つのコントローラを操作するように生じる、請求項８に記載の方法。
【請求項１３】
互いに遠く離れている少なくとも２人のプレイヤによってプレイされているネットワークビデオゲーム用の共有ゲーム空間において２つ以上のオブジェクトの動きを制御するシステムであって、
第１の場所および第２の場所にそれぞれある少なくとも第１のカメラおよび第２のカメラであって、前記第１のカメラは、前記第１の場所にいる少なくとも第１のプレイヤの動きを捉えた第１のビデオストリームを生成し、前記第２のカメラは、前記第２の場所にいる少なくとも第２のプレイヤの動きを捉えた第２のビデオストリームを生成するカメラと、
前記第１および第２のビデオデータストリームからそれぞれ前記第１および第２のプレイヤの前記動きを得、前記共有ゲーム空間における少なくとも第１のオブジェクトを前記第１のプレイヤの前記得られた動きに反応させ、前記共有ゲーム空間における少なくとも第２のオブジェクトを前記第２のプレイヤの前記得られた動きに反応させるように構成された専用の計算装置であって、前記第１および第２の場所が必ずしも同一の場所に位置していない計算装置と、
前記共有空間を含む前記ネットワークビデオゲームをそれぞれ表示する第１および第２のディスプレイと、
を含むシステム。
【請求項１４】
前記共有空間が前記第１および第２の場所の現実の世界空間の三次元表示に基づいて構築される、請求項１３に記載のシステム。
【請求項１５】
前記第１および第２のプレイヤの少なくとも１人が１つまたは複数の慣性センサを含む装置を握持し、前記センサからのセンサデータが前記第１および第２のビデオストリームのうちの１つと組み合わせられて前記第１または第２のプレイヤの前記それぞれの動きが得られる、請求項１４に記載のシステム。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図３Ｆ】
【図４Ａ】
【図４Ｂ】
【図５】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図３Ｆ】
【図４Ａ】
【図４Ｂ】
【図５】
【公開番号】特開２０１０−２５３２７７（Ｐ２０１０−２５３２７７Ａ）
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願番号】特願２０１０−９８５４７（Ｐ２０１０−９８５４７）
【出願日】平成２２年４月２２日（２０１０．４．２２）
【出願人】（５１０１１３５３１）アイライブ インコーポレイテッド (6)
【Ｆターム（参考）】
【公開日】平成２２年１１月１１日（２０１０．１１．１１）
【国際特許分類】
【出願日】平成２２年４月２２日（２０１０．４．２２）
【出願人】（５１０１１３５３１）アイライブ インコーポレイテッド (6)
【Ｆターム（参考）】
[ Back to top ]