エンタテインメントシステム及び方法
エンタテインメントシステムは、現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有するリモコン玩具と、データ通信リンクを使用してリモコン玩具と通信するように動作可能なエンタテインメント装置とを備え、該装置は、データ通信リンクを介して、リモコン玩具の制御に関連する制御データをリモコン玩具に送信するように動作可能な送信手段と、データ通信リンクから、リモコン玩具のビデオカメラによって取り込まれたビデオ画像を受信するように動作可能な受信手段と、現実環境内の現実環境特徴を検出するように動作可能な検出手段と、検出された現実環境特徴に応じて仮想画像特徴を生成するように動作可能な処理手段と、仮想画像特徴が、現実環境内の現実環境特徴の位置に対応するようにビデオ画像に対して配置されるように、取り込まれたビデオ画像及び仮想画像特徴を組み合わせた表示を生成するように動作可能な表示手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エンタテインメントシステム及び方法に関する。
【背景技術】
【０００２】
遠隔制御される車及び飛行機等のリモコン玩具（remotely controlled toy：遠隔制御玩具）は、出現以来、長年にわたって人気を得てきた。近年、電子装置のますますの小型化に伴い、追加機能がこれらの玩具に追加された。したがって、ビデオカメラ等の装置が、このような玩具に比較的低コストで含められ始めた。取り込まれたビデオ画像は、多くの場合、玩具に取り付けられたビデオカメラから、遠隔制御装置上のディスプレイ又はユーザが装着できるヘッドセットに送信される。このような玩具は、ユーザが友人の付近まで車両を走らせ、ビデオカメラを使用して友人をスパイすることにより、友人をスパイできるようにするため、「スパイ玩具」と呼ばれることが多い。さらに、これらの玩具は、音声を取り込むマイクロホン等の他の機構を備え得る。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「Virtual Bounds: a teleoperated mixed reality」（K. Ponto, F. Kuester, R, Nideffer, 及びS. Penny, Virtual Reality (2006)10, page 41-47）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、これらのリモコン玩具に取り付けられたビデオカメラは、多くの場合、帯域幅の制限及び製造コストにより比較的低解像度である。さらに、ユーザは、友人へのスパイ行動にすぐに飽き、ビデオカメラに関して他の可能な使用法を考えようとする場合がある。したがって、リモコン玩具の移動の態様ばかりを使用し、ビデオカメラのような、玩具に提供された追加の態様を十分に使用しない。
【０００５】
画像認識の異なる技術分野では、拡張現実を利用して、取り込まれたビデオ画像とのユーザの対話を向上させるシステムが、より広く知られつつある。これらのシステムでは、取り込まれた画像内の画像特徴が検出され、画像特徴として指定される。次に、システムは、指定された画像特徴に応じてコンピュータ生成画像を生成し、生成された画像を取り込まれた画像上に重ね得る。したがって、取り込まれたビデオ画像は、コンピュータ生成画像で拡張されたと言うことができる。例えば、このようなシステムは、ライブアクションスポーツのＴＶ放送において、球の位置が追跡され、球がとった経路を示すビデオ映像上に重ねられた黄線として再生成され得るために使用される。さらに、画像特徴を生成すべき場所を示す拡張現実マーカを含むビデオ画像にコンピュータ生成画像を重ねることが既知である。しかし、このような用途は比較的難解であり、機能が制限されがちである。関連する従来技術は、非特許文献１である。
【０００６】
本発明は、上記問題の解消又は軽減を目的とする。
【課題を解決するための手段】
【０００７】
本発明の様々なそれぞれの態様及び特徴が、添付の特許請求の範囲において規定される。
【０００８】
有利なことに、ユーザがリモコン玩具に飽きる可能性が低いような、多用途性及びエンタテインメント性が極めて高いエンタテインメントシステム、エンタテインメント装置、及びエンタテインメント方法が提供される。例えば、リモコン玩具がリモコン車である場合、ユーザは、リモコン車をゲーム内に登場する車として使用してエンタテインメント装置上でレースゲームをプレイし、自身のリビングルーム内での仮想レーストラックを回るレースをすることができる。
【０００９】
好ましくは、制御データが、仮想画像特徴に関連付けられる属性に関連する属性制御データを含み、処理手段は、仮想画像特徴に関連付けられる属性に基づいて属性制御データを生成する動作が可能である。
【００１０】
したがって、エンタテインメント装置上でプレイされるゲームの態様を、リモコン玩具を使用してシミュレーションすることができる。例えば、リモコン玩具が、例えばリモコン車である場合、仮想の釘が出た路面（bed of nails）上を走らせると、物理的な車を不規則に挙動させ、影響を受ける車輪の回転を阻止させることができる。
【００１１】
本発明の実施形態について、添付図面を参照して例としてこれより説明する。
【図面の簡単な説明】
【００１２】
【図１Ａ】本発明の一実施形態によるエンタテインメント装置の正面図である。
【図１Ｂ】本発明の一実施形態によるエンタテインメント装置の概略図である。
【図１Ｃ】本発明の一実施形態によるエンタテインメント装置の要素の機能構成の概略図である。
【図２】本発明の一実施形態によるリモコン玩具の概略図である。
【図３】本発明の一実施形態によるリモコン玩具とエンタテインメント装置との対話の概略図である。
【図４】本発明の一実施形態による拡張現実ゾーンの概略図である。
【図５】本発明の一実施形態による拡張現実ゾーンと対話しているリモコン玩具の概略図である。
【図６】本発明の一実施形態によるリモコン玩具の位置に対する拡張現実ゾーン及び拡張現実オブジェクトの概略図である。
【図７】本発明の一実施形態によるリモコン玩具を制御する方法のフローチャートの図である。
【発明を実施するための形態】
【００１３】
エンタテインメントシステム及び方法が開示される。以下の説明では、本発明の実施形態の完全な理解を提供するために、いくつかの具体的詳細が提示される。しかし、本発明を実施するために、これらの具体的詳細を利用する必要がないことが当業者には理解されるであろう。逆に、当業者にとって既知の具体的詳細は、実施形態を提示するに当たって明確にするために省略されている。
【００１４】
図１Ａを参照すると、本発明の実施形態では、Ｓｏｎｙ（登録商標）のＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）（ＰＳＰ）エンタテインメント装置が、エンタテインメント装置１００として機能する。ＰＳＰ本体１０４は、特に、左ショルダー入力ボタン１０５、左ジョイパッド１０６、右ショルダー入力ボタン１０７、右ジョイパッド１０８、及びアナログ入力装置１０９を備える。これらは、ＰＳＰ上で実行されるソフトウェアとの対話に使用される。さらに、ＰＳＰは、一体型ディスプレイ１０２及びスピーカ１０３を備える。
【００１５】
オプションとして、エンタテインメント装置は、３つの回転軸１９０、１９２、及び１９４を中心とした運動並びに３つの並進運動軸１９６での運動を検出するように動作可能な運動センサに動作可能に接続され得る。加速度計に基づくこのような運動感知技法は、当該技術分野において既知であり、Ｓｏｎｙ Ｃｏｍｐｕｔｅｒ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｅｕｒｏｐｅ（登録商標）製のＳＩＸＡＸＩＳ（登録商標）ユーザ入力装置又はＮｉｎｔｅｎｄｏ（登録商標）製のＷｉｉ Ｒｅｍｏｔｅ（登録商標）ユーザ入力装置のようなゲームコントローラに使用されている。例えば、運動センサは、エンタテインメント装置に電気的且つ機械的に結合されるように、ＵＳＢコネクタ１２５を介してエンタテインメント装置に接続することができる。代替的に、エンタテインメント装置は、運動センサとして機能するために動作可能な運動感知手段を備える。検出された運動は、リモコン玩具を制御する制御コマンドの生成に使用される。
【００１６】
さらなる代替の構成では、エンタテインメント装置はカメラを備え（又はカメラに接続され）、それによって該カメラによって取り込まれた画像間の画像間運動を検出することにより、エンタテインメント装置の運動を検出できる。このような構成は、「オプティカルフロー」運動検出と呼ばれることがある。
【００１７】
これらの代替の構成を、組み合わせることができる。
【００１８】
したがって、エンタテインメント装置は、リモコン玩具に適用される所望の方向制御及び速度制御を表すユーザ入力を受け入れる1つ又は複数の方法を提供する。これらは、ジョイパッド及び／若しくはアナログ入力装置を介しての手動制御、ＳＩＸＡＸＩＳ若しくは同様の入力装置を使用しての運動検出、並びに／又はオプティカルフロー検出装置を使用しての運動検出である。手動制御及び運動検出制御は、単一の装置内で代替手段として共存し得る。異なる種類の運動検出を単独で使用してもよく、又は運動の正確な検出を補強するように組み合わせてもよい。
【００１９】
これらの制御の使用のさらなる詳細を下記で与える。
【００２０】
これより図１Ｂも参照して、本発明の実施形態によるエンタテインメント装置１００として機能するＰＳＰの概要概略図を提供する。ＰＳＰは、共通バス１６０でリンクされた、中央演算処理装置（ＣＰＵ）１０１と、ポリゴンレンダリング等のためのグラフィックス処理ユニット（ＧＰＵ）１１０と、メディアエンジン１３１と、画像レンダリング、ビデオ及び音声の再生等のための音声／ビデオプロセッサ（ＡＶＣ）１３２と、ダイレクトメモリアクセスコントローラ（ＤＭＡＣ）１４０とを備える。ＤＭＡＣ１４０は外部バス１７０にもリンクされ、外部バス１７０を通じて入力及び出力が通信される通信先には、無線通信手段（Ｔｘ／Ｒｘ）１２０、ＵＳＢコネクタ１２５、装置の記憶装置として機能できるフラッシュメモリスティックインタフェース１３５、及び一体型ディスプレイ１０２が含まれる。図１Ｃは、本発明の実施形態での役割を識別するこれらの要素のサブセットの概略図を示す。すべてのものは、例えば、ディスク又はネットワーク（例えば、無線インターネット接続）からのソフトウェア制御下で動作する。
【００２１】
本発明の実施形態によれば、エンタテインメント装置１００は、リモコン玩具のための遠隔制御装置として機能するために動作可能である。そうするに当たり、遠隔制御データが、通信手段１２０を使用して玩具に送信される。後述する実施形態では、リモコン玩具はリモコン車であるが、リモコン玩具が、バイク、トラック、ヘリコプター、ボート、潜水艦、ホバークラフト、ロボット、恐竜、又は他の適切なリモコン玩具若しくはリモコン車両のような任意のリモコン玩具であり得ることが理解されるであろう。
【００２２】
例えば、左ジョイパッド１０６を使用して、リモコン車を操舵し、右ジョイパッド１０８を使用して、リモコン車の速度を制御することができる。代替的に、アナログ入力装置１０９を使用して、車を制御してもよい（入力装置の左右運動が方向を示し、装置の前後運動が前進及び後進の速度及びブレーキを示す）が、任意の適切な入力装置を使用することが可能である。オプションとして、ユーザは、結果として生じる運動が運動センサ及び／又はオプティカルフロー検出装置によって検出されるように、エンタテインメント装置を回転又は並進運動させることによりリモコン玩具を制御することができる。次に、ＣＰＵ１０１は、検出された運動に応じて、車を制御する制御信号を生成する。例えば、リモコン車を制御する場合、ユーザは、一体型ディスプレイ１０２に垂直な軸１９０を中心としてエンタテインメント装置を回転させて、車を左又は右に操縦し、エンタテインメント装置の長辺の中心に平行する軸１９４を中心としてエンタテインメント装置を傾けて、加速又は制動することができる。ＣＰＵ１０１が、運動センサからの入力に応じてリモコン玩具を制御するのに適した他の異なる制御信号を生成し得ることが当業者には理解されるであろう。
【００２３】
さらに、他の制御機能を提供してもよい。例えば、左ショルダーボタン１０５を使用して、ギアを減速チェンジし、右ショルダーボタン１０７を使用して、ギアを加速チェンジしてもよいが、ショルダーボタンの動作がギアチェンジに限定されず、車の他の機能又はゲームに関連する他の機能の制御に使用されることができることが理解されるであろう。車では、ギアチェンジは、物理的なギアを使用すること、又は仮想ギアボックスを提供するために、１つ若しくは複数のモータの回転を許容できる速度を制御することのいずれかで実施することができる。さらに、車の運動制御に使用されない左ジョイパッド及び右ジョイパッドのボタンは、ホーンを鳴らすこと、又は「ニトロブースト」を提供することのような他の機能を操作するのに使用されてもよい。「ニトロブースト」とは、短時間で車の速度を上げ、それによって、現実の車のエンジン内に一酸化二窒素を注入する効果を模倣する、レースゲームに一般に見られる機能である。リモコン車では、これは、車のモータの駆動電圧を短時間、増大させることによって達成することができる。
【００２４】
本発明の実施形態によるリモコン車について、図２を参照してこれより説明する。
【００２５】
図２は、本発明の実施形態によるリモコン車１００の概略図を示す。リモコン車に通常見られる特徴の他に、リモコン車１００は、車１００の制御に関連する車両制御コマンドを生成することによってコントローラとして機能すると共に、エンタテインメント装置１００から受信した制御データに応じて車の挙動を変更するように動作可能なプロセッサ２０５と、ビデオデータ、音声データ、車両制御データ等のようなデータを記憶するように動作可能なメモリ２１０と、通信リンク２２５を使用して、エンタテインメント装置１００のような遠隔制御装置と通信するように動作可能な送受信手段２１５（Ｔｘ／Ｒｘ）と、車が位置する環境のビデオ画像を取り込むように動作可能なビデオカメラ２２０と、車両推進手段２３５と、車両操舵手段２４０と、プロセッサ２０５、メモリ２１０、送受信手段２１５、ビデオカメラ２２０、車両推進手段２３５、及び車両操舵手段２４０のうちのいずれか又はすべてに給電するように動作可能な電池２４５と、通信／電力バス２３０とを備える。送受信手段（Ｔｘ／Ｒｘ）２１４、プロセッサ２０５及びメモリ２１０、車両推進手段２３５、車両操舵手段２４０、並びに電池２４５はすべて、通信／電力バス２３０を介して動作可能に接続される。好ましくは、電池２４５は充填可能であるが、車２００への給電に、燃料電池、太陽電池、使い捨て電池、内燃エンジン等のような他の電源を使用してもよいことが理解されるであろう。これらの電源は、車２００の異なる動作特徴にそれぞれ給電するように組み合わせることが可能である。
【００２６】
上述した実施形態は、後輪駆動車を示すが、車２００は前輪駆動又は四輪駆動とすることもできることが理解されるであろう。オプションとして、車両操舵手段２４０は、四輪すべてが車両の操縦に使用されるいわゆるモンスタートラックにおいて見られるものと同様に、四輪操舵を利用するように車２２０の車輪を制御するために動作可能である。
【００２７】
さらに、各車輪は、エンタテインメント装置１００から受信される制御信号に従って、又はプロセッサ２０５によって、独立して（例えば、選択的な制動、且つ／又は各駆動モータのパワー出力を制御することにより）制御することが可能である。さらに、車輪のうちの１つ又は複数は、各車輪が実施する毎秒回転数を検出するように動作可能な回転検出器（図示せず）に動作可能に結合することができる。回転検出器によって生成された信号は、通信バス２３０を介してプロセッサ１０５に送信される。プロセッサ２０５は、次に、回転検出器から受信したデータに応じて、車の速度に関連する速度データを生成することができる。回転検出器によって生成されたデータは、後述するようにデッドレコニングを実行するときに使用することもできる。オプションとして、回転検出器によって生成された信号は、通信リンク２２５を介してエンタテインメント装置１００に送信することができる。
【００２８】
本発明の実施形態によれば、リモコン車２００は、さらに、各車輪のサスペンションシステムへの負荷を検出するように動作可能なサスペンション位置センサ（図示せず）に動作可能に結合された独立懸架式サスペンション（図示せず）を備える。これらは、車２００が空中にある（例えば、ジャンプ中）か否か、又は車２００が後輪走行（前輪のみが地面から離れている）を実施しているか否かを検出するために使用することができる。例えば、サスペンション位置センサが、四輪すべてに負荷がかかっていないことを検出する場合、プロセッサ２０５は、車が空中にある（又はおそらく上下逆である）ことを示す信号を生成するために動作可能である。この信号は、次に、通信リンク２２５を使用してエンタテインメント装置１００に送信される。次に、受信された信号をドライブゲーム内で使用して、ゲーム内のスコアを生成するか又はゲーム統計を生成することができる。
【００２９】
例えば、車がジャンプ中に空中で費やす時間長の記録を記憶することができ、空中で費やした最長時間を示すテーブルを編成することができる。さらに、車が空中にいる間に走行した地面上の距離を、回転検出器（車２００が最初に空中に浮いた時点の車２００の速度を与える）によって生成されるデータ、及びサスペンション位置センサによって生成されるデータによって示される空中で費やした時間に応じて、ＣＰＵ１０１によって計算することができる。次いで、走行距離及び他のゲーム統計は、一体型ディスプレイ１０２上でユーザに対して表示することができるか、又はゲームスコアの生成に使用することができる。オプションとして、ゲームスコアは、所定の時間期限内で車両が実行したジャンプの回数に応じて生成されてもよい。
【００３０】
各車輪の独立制御は、アクティブサスペンション、アンチロックブレーキシステム（ＡＢＳ）、ポンピングブレーキ、トラクションコントロール、可変操舵、安定制御、車輪間のパワー分配、ギアボックス比変更、一酸化二窒素注入等のようなフルサイズの路上車に見られる特徴を再現するために使用することも可能なことが理解されるであろう。
【００３１】
さらに、車２００は、充電ステーションとの誘導結合によって電池２４５を充電するように動作可能な誘導性充電手段を備えることができる。オプションとして、電池２４５は、適した整流器を使用すると共に、電池を、一次コイルがナショナルグリッド電源に接続された変圧器の二次コイルのような充電源に電気的に接続することにより、充電されてもよい。
【００３２】
オプションとして、車２００は、製造コストを節減するために、メモリ２１０を備えず、プロセッサはおそらく特定用途向け集積回路の形態である。このような場合、車は単に、エンタテインメント装置から方向命令を受信して実施し、画像信号及び／又はサウンド信号を取り込み、エンタテインメント装置に転送する。
【００３３】
オプションとして、プロセッサは、Motion Pictures Expert Group４データフォーマット（ＭＰＥＧ４）、国際電気通信連合電気通信標準規格Ｈ．２６３ビデオ、音声ビデオ標準規格（ＡＶＳ）等のような適切なビデオ圧縮標準規格を使用して、取り込まれたビデオ画像を圧縮し、それによってビデオ画像をエンタテインメント装置１００に送信する（Ｔｘ／Ｒｘ２１５及び通信手段１２０を使用）ときの帯域幅要件を低減するために動作可能である。
【００３４】
さらに、車は、オプションとして、ホーン、車への衝突を検出するように動作可能な加速度計、車と別の物体との間の衝突を検出するスイッチに動作可能に結合されるバンパー又は緩衝材、ラウドスピーカのような音声再生手段、マイクロホン、ライト、発射体を発射するように動作可能な発射体発射装置、リモコン車２００の給電に使用される電池内の充電量を検出するように動作可能な電池充電検出手段、及び車と別の物体との間の距離を検出するように動作可能な距離測定手段のうちのいずれか又はすべてを備えてもよい。これらのそれぞれの動作及びエンタテインメント装置１００とこれらとの対話について下記でより詳細に後述する。
【００３５】
本発明の一実施形態によれば、上述した車の特徴、特に、操舵、ブレーキ、及びサスペンションのような車の実際の物理的な性能に関連する特徴は、ユーザによってカスタマイズ可能であるか、又は予めプログラムされた設定に従って設定することが可能である。これらの設定は、ユーザによって選択可能であるか、又はゲームの実行に使用されているソフトウェアによって定義可能である。本発明の一実施形態によれば、これらの設定は、以下のうちのいずれか１つを含むことができる。
標準モード：車のセットアップの可能なすべての組み合わせのうちの平均であるが、このモードは、エンタテインメント装置１００を使用しているユーザによってカスタマイズすることができる。
ラリースポーツモード：ギアボックスが急加速を提供するように設定され、サスペンションは硬に設定され、ＡＢＳが低に設定され、トラクションコントロールが低に設定され、安定制御が高に設定され、それによってフルサイズのラリー車の性能を模倣する。
オフロードモード：高トルク（すなわち、低ギア比）であり、アクティブサスペンションが軟に設定され、ＡＢＳが高に設定され、トラクションコントロールが高に設定され、アクティブ制御が、四輪すべてに均等なパワー分配を提供するように設定され、安定制御が高に設定され、四輪操舵であり、それによって不整地を走るときにユーザに車２００の最大の制御能力が与えられる。
Ｆ１スポーツモード：高マニュアルギアボックス比であり、アクティブサスペンションが硬に設定され、ＡＢＳが高に設定され、トラクションコントロールが高に設定され、アクティブドライブは１００−０リア／フロントパワー分配を有するが、フロントとリアとの間でのパワー分配のアナログ変更は回転半径に依存し、安定制御が高に設定され、それによって平地での走行のときに最大のグリップ及び速度が与えられる。
ニトロブーストモード：上述したように、駆動モータに供給される電圧が、短時間にわたって増大して、速度の顕著な増大を生み出す。このモードは常に利用可能なわけではない。
【００３６】
上述した設定では、「サスペンションが硬に設定される」は、サスペンションシステムが高いバネ比（車両サイズに合わせてスケーリングされる）を有することを意味し、「サスペンションが軟に設定される」は、サスペンションシステムが低バネ比（車両サイズに合わせてスケーリングされる）を有することを意味し、「高」は、エンタテインメント装置１００及び／又は車２００によるそのシステムのコンピュータ支援制御の程度が、システム（すなわち、トラクションコントロール、ＡＢＳ等）によって生成されたシステム監視信号に応答してエンタテインメント装置１００及び／又は車２００によって生成された制御信号が車の運転挙動に実質的な影響を有するように設定されることを意味し、「低」は、エンタテインメント装置及び／又は車２００が、車の動きがコンピュータ支援制御ではなくシステムの機械的属性によって主として決定されるようにセットアップされることを意味する。
【００３７】
図３は、リモコン車２００と通信するエンタテインメント装置１００の概略図を示す。ここで、車２００は、ビデオカメラ２２０を使用して、車が位置する環境のビデオ画像を取り込み、送受信手段２１５を使用してビデオ画像をエンタテインメント装置１００に送信する。例えば、車が位置する環境は、ソファ３０５、他の家庭の物体、又はドア若しくは階段のような構造的特徴のような物体を含み得る。代替的には、車を外で使用する場合、環境は、木、植物、庭のノーム人形等を含んでもよい。
【００３８】
次に、画像は、一体型ディスプレイ１０２上にエンタテインメント装置１００によってレンダリングされる。したがって、ユーザは、友人をスパイするように車２００を制御するか、又は障害物を構築し、障害物を乗り越えている車２００のビデオカメラ２２０からのライブビデオを見ることができる。さらに、エンタテインメント装置は、通信リンクを介してリモコン車から受信したビデオ画像を記憶装置１３５に記憶するために動作可能である。次に、ユーザは、無線通信手段１２０のような適切な通信インタフェースを使用して、記憶されているビデオ画像を、選択したウェブサイトにアップロードすることができる。通常、無線通信手段１２０は、ＩＥＥＥ８０２．１１（ＷｉＦｉ）標準規格に準拠するが、他の任意の適切な無線通信手段を使用することもできる。
【００３９】
オプションとして、車２００が音声再生手段及び／又はマイクロホンを備える場合、音をエンタテインメント装置１００によって取り込み記録することも可能である。さらに、ユーザは、通信リンク２２５を介して音楽又は他の音声を車に送信し、音声再生手段を使用して再生することができる。例えば、ユーザは、エンタテインメント装置１００を使用して、好みの曲を送信するか、又は選択した特定の車（例えば、フェラーリ、フォードＧＴ４０、オースティンミニ、２ＣＶ、トラバント等）のエンジン音を記録した音声トラックを車２００にダウンロードすることを選択することができ、車２００において、音声再生手段を使用して再生される。オプションとして、車２２０は、音楽又はエンジンノイズのようなサウンド効果のような予めロードされた音声データがメモリ２１０に記憶されている状態で販売又は供給されることができる。したがって、音声再生手段は、現実の車のエンジン音を再生し、それによって、ゲーム経験に本物の感覚を添えることができる。
【００４０】
通常、音声データは、Motion Pictures Expert Group１レベル３データフォーマット（ＭＰ３）でエンタテインメント装置１００から車２００に送信されるが、他の任意の適した圧縮されるか又は圧縮されない音声データフォーマットを使用してもよい。車２００がホーンをさらに備える場合、エンタテインメント装置は、車にホーンを鳴らすコマンドを送信することができるか、又は音声再生手段を使用してホーン音を再生することができる。例えば、ユーザは、車２００を別の部屋まで走らせ、ホーンを鳴らし、それによって、その部屋の居住者を驚かせることができる。
【００４１】
オプションとして、車２００は、車が生み出す音が、通常動作モードの音よりも低く低減される「サイレント走行モード」を備える。例えば、音声再生手段は、音声が出力されないように設定することができ、ＣＰＵ１０１は、車の速度を所定の閾値未満に制限して、車両推進手段によって生成されるノイズを制限する制御信号を生成することができる。したがって、例えば、サイレント走行モードは、ユーザが車を走らせて、友人をスパイするか、又は上述したようにホーンを鳴らして部屋の居住者を驚かす際の意外性を加えるのを助ける。
【００４２】
車２００がレースゲームのために使用される場合、エンタテインメント装置１００の一体型ディスプレイ１０２は、スピードメータ、タコメータ（回転数カウンタ）、現在のギアと共にいつギアチェンジすべきかについてのプロンプト、車の設定（例えば、車の設定に関連して上述したラリーモード、Ｆ１モード、オフロードモード等）等のようなレースゲームで一般に知られている機能を表示するために動作可能である。さらに、一体型ディスプレイは、ＣＰＵ１０１によって生成される制御信号に応答して、通信リンク２２５の信号強度、電池２４５に蓄えられた充電量、いつ「ニトロブースト」をゲーム内で使用できるかを示すための、車の車両推進手段２３５を駆動するために使用中の現在の電圧、ブレーキ圧等の情報を表示することができるが、一体型ディスプレイ１０２は、ゲームの任意の関連する機能を表示するために使用され得ることが理解されるであろう。
【００４３】
本発明の実施形態によれば、エンタテインメント装置１００は、拡張現実ゲームプレイモードでリモコン車２００と通信するために動作可能である。拡張現実ゲームプレイモードは、エンタテインメント装置１００が、車２００から受信するデータに応じて、現実の環境内の（おそらくは所定の）１つ又は複数の現実の特徴を検出し、検出された特徴（複数可）をコンピュータ生成画像材料で置き換えるか又は拡張するように動作可能なモードである。これは、装置１００が受信するビデオデータに対して作用するＣＰＵ１０１及びＧＰＵ１１０によって処理される。次に、エンタテインメント装置１００は、コンピュータ生成画像材料が、現実環境内で検出された画像特徴の物理的な位置に対応づけられてビデオ画像に対して配置されるように、取り込まれたビデオ画像及びコンピュータ生成画像材料を組み合わせた表示を生成する。
【００４４】
したがって、例えば、車２００は、仮想現実レーストラック３１０（コンピュータ生成特徴）に沿い、仮想現実給油ポンプ３１５（別のコンピュータ生成特徴）を通過して走っているように見えることができ、これらの仮想特徴は、車が位置する現実環境（例えば、ソファ３０５）も見えると共に、仮想現実レーストラックがソファの周りでカーブし、それによって、ユーザがレーストラックを辿ったときに、車がソファに衝突しないように表示される。さらに、拡張現実特徴を使用して、ゲーム機能を追加することができる。オプションとして、拡張現実特徴に加えて、ユーザは、物理的なレーストラック、ジャンプ、障害物等のような他の現実の物体を使用して、各自のゲームシナリオを作成することができる。
【００４５】
これを達成する技法についてこれより説明すると共に、拡張現実ゲームプレイモードについて図４及び図５を参照してより詳細にこれより説明する。
【００４６】
図４は、拡張現実ゾーン４１０と対話するリモコン車２００の概略図を示す。拡張現実ゾーン４１０は、拡張現実マーカ（ＡＲマーカ）４０５に対して定義される。本発明の実施形態では、ＡＲマーカは、既知の画像認識方法を使用して、取り込まれたビデオ画像内で比較的容易に自動的に区別される任意の物体とすることができるが、既知のＲＦ技法を使用して検出される無線周波数（ＲＦ）トランスポンダであり得る。ＲＦ ＡＲマーカの使用についてより詳細に後述する。
【００４７】
ＡＲマーカが、画像認識方法を使用して検出される場合、ＡＲマーカは、例えば、立方体若しくは円筒体のような三次元物体であってもよく、又は正方形又は円のような二次元マーカであってもよい。通常、ＡＲマーカは、白黒正方形等の容易に区別可能なパターンを含むが、特定の色又はカラーパターンを使用する等のような他の方法をマーカ認識に使用してもよい。好ましくは、ＡＲマーカは、拡張現実マーカの分野において既知の「フラクタル」マーカパターンを備える。
【００４８】
「フラクタルマーカ」とは、パターンとしてより小さなマーカの群を有するＡＲマーカである。より小さなマーカのそれぞれは、マーカとして機能することができる独自のパターンを有する。したがって、フラクタルマーカ全体のうちの一部のみが、ビデオカメラによって取り込まれた画像内で見える場合でも、より小さなマーカのうちのいくつかの完全な画像を依然としてビデオカメラによって取り込むことが可能であるため、依然としてフラクタルマーカを使用して拡張現実を提供することができる。さらに、カメラがフラクタルマーカに近すぎて、フラクタルマーカ全体の境界線がもはやビデオカメラの視野内で見えない場合でも、依然としてマーカにより、ＡＲシステムは効果的に機能することが可能である。マーカが二次元の場合、マーカは接着性を有し、それによって、ユーザがマーカを、ソファ３０５の側面のような環境内の物体に貼り付けることを可能にする。
【００４９】
通常、エンタテインメント装置１００のＣＰＵ１０１は、当該技術分野において既知の画像認識技法を使用することにより、ビデオ画像内のＡＲマーカを検出する。しかし、車２００のプロセッサ２０５が、取り込まれたビデオ画像内のマーカを検出し、画像内のマーカの位置に関連する画像マーカ位置データを（既知の技法を使用して）生成できることが理解されるであろう。次に、画像マーカ位置データは、送受信手段（Ｔｘ／Ｒｘ）２１５を使用して、通信リンクを介してエンタテインメント装置１００に送信することができる。したがって、ＡＲマーカの検出に必要な画像処理タスクは、エンタテインメント装置、車で行うことができるか、又はこれらの２つの間で分割することさえできる。
【００５０】
ＡＲマーカ４０５が検出されると、ＣＰＵ１０１は、ＡＲマーカ４０５が占めている表示された画像の割合−ここでも、既知の画像認識技法−に応じて、車２００とＡＲマーカ４０５との間の距離を検出するために動作可能である。ＣＰＵ１０１は、車の現実環境内のＡＲマーカの（現実の）位置を囲む現実環境内の領域を表すものとして、拡張現実ゾーン（ＡＲゾーン）４１０を定義するようにも動作可能である。
【００５１】
車２００が、ＡＲゾーン４１０に対応する現実エリア内にある場合、リモコン車２００と対話しているエンタテインメント装置１００の機能は、拡張又は変更される。拡張現実ゲームモードの以下の説明は、レースゲームを説明するが、他の任意の適したゲームを使用することができることが理解されるであろう。
【００５２】
本発明の実施形態では、拡張現実ゾーン４１０は、例えば、仮想の釘が出た路面（bed of nails）又は油膜を定義する。車２００が、釘が出た路面又は油膜上を走る（すなわち、ＡＲゾーン４１０に入る）場合、エンタテインメント装置１００は、車２００の走行性能が影響されるようなコマンドを車２００に送信するために動作可能である。したがって、エンタテインメント装置上で以前は単独で実行された仮想レースゲームに一般的に関連付けられるゲーム効果を、リモコン車２００のようなリモコン玩具又は車両によって現実環境内で実現可能でありながら、車２００はユーザの家の方々をレースすることができる。
【００５３】
上記で与えられた釘が出た路面の例では、エンタテインメント装置１００は、例えば、影響を受けた１つ又は複数の車輪の回転を停止することにより、タイヤがパンクした印象を与えるように車両推進手段２３５を制御する信号を車１００に送信することができる。上記で与えられた油膜の例では、エンタテインメント装置は、車２００のハンドルがとられてスピンするようにプロセッサ２０５によって実行されるコマンド、又はユーザによる任意のユーザ入力コマンドをディセーブルするコマンドを車２００に送信し、それによって、現実の油膜を横切って運転する効果を模倣することができる。オプションとして、車が拡張現実ゾーン４１０を出ると、これらの効果は停止する。しかし、これが必ずしも該当する必要はない。仮想の釘の出た路面の場合、影響を受けたタイヤは、特定の時間中、又は別のゲームアクションが行われるまで、動かないままであり得る。仮想油膜及び仮想の釘が出た路面をリモコン車に関連して説明したが、砂、雪、氷等のような他の効果及びリモコン玩具又はゲームに適切な他の任意の効果をシミュレートすることができることが理解されるであろう。
【００５４】
この機能に必要な処理タスクが、エンタテインメント装置、車、又は両方の間で分割して実施され得ることが理解されるであろう。基本ステップは、取り込まれたビデオ内のＡＲマーカを検出すること、ＡＲゾーンを定義すること、車がＡＲゾーン内にあるか否かを検出すること、ＡＲゾーン内の車の挙動又は応答を変更する制御命令を生成すること、及びこれらの制御命令に応答することである。これらのうちの最後（命令に対して物理的に応答すること）のみは、車によって実施される必要がある。残りのタスクは、車又はエンタテインメント装置によって実行することができ、データは、無線リンクを介して車とエンタテインメント装置との間で（適宜）共有される。
【００５５】
さらに、ＡＲゾーンの使用は、リモコン車の運動の制御に限定されず、車の他の挙動を変更してもよいことが理解されるであろう。例えば、上述した仮想の釘が出た路面では、エンタテインメント装置は、音声再生手段に、車のタイヤがバーストし、それから横滑りするか又は軋む音を再生させる制御信号を生成することができる。さらに、音声再生手段によって出力される音を変更する、車の設定を（例えば、オフロードモードとラリーモードとの間で）変更する、発射体発射手段に発射体を発射させる等のように、車の他の機能及び挙動を変更することができる。
【００５６】
車２００が、ＡＲゾーン４１０に対応する現実エリア内にあるか否かを判断するために、様々な異なる技法を利用することができる。通常、マーカに対する車の位置は、当該技術分野において既知の技法を使用して、取り込まれたビデオ画像内のＡＲマーカ４０５のサイズを求めることによって検出される。オプションとして、車の位置は、デッドレコニングを使用して、例えば、車輪の回転数を検出することにより、又は当該技術分野において既知の適切な技法を使用することによって取り込まれたビデオ画像内で検出された動きベクトルを追跡することにより、追跡することができる。これは、通常、車２００から通信リンク２２５を介して受信されたデータに基づいて、エンタテインメント装置のＣＰＵ１０１によって実施されるが、これがリモコン車２００のプロセッサ２０５によって実行され得ることが理解されるであろう。
【００５７】
図５は、リモコン車２００、仮想レーストラック３１０、並びに２つの拡張現実マーカ５０５及び５１０の概略図を示す。ここで、拡張現実マーカは、仮想道路３１０の位置を定義するために使用される。ＣＰＵ１０１は、ＡＲマーカ５０５及び５１０の位置を検出し、ビデオカメラ２２０によって取り込まれたビデオ画像と共にディスプレイ上にレンダリングされる仮想道路３１０を生成する。プレーヤがトラックから逸脱するか又はトラックから出る場合、ＣＰＵ１０１は、車２００に送信される、（標準的な画面ディスプレイベースのレースゲームでのように）車２００を減速させるコマンドを生成する。オプションとして、ＣＰＵ１０１は、オーバーステア及びアンダーステアの効果をシミュレートするコマンドを生成することができる。これらは、通信リンク２２５を介して車２００に送信され、車２００のプロセッサ２０５は、次に、車を制御しゲーム効果をシミュレートするように車両推進手段２３５及び車両操舵手段２４０を制御する制御信号を生成する。
【００５８】
さらに、マーカ５０５は、多くの異なる方法でレースゲームのゲームプレイを拡張するために使用され得る。例えば、レースゲームのタイムトライアルセクションでは、プレーヤは、特定の時間量以内に所定の距離内にある特定のマーカまで該プレーヤの車２００を走らせるか、又は特定の時間量内にマーカ５０５と５１０との間に到着する必要がある。
【００５９】
本発明の実施形態では、複数の拡張現実マーカを使用して、１人又は複数のプレーヤがレースするコースを定義することができる。例えば、マーカは、トラックのエッジ又はトラックの中心を定義することができ、既知のカーブ描画技法を使用して、カーブがマーカ間に挿入される。オプションとして、マーカは、該マーカ上に異なるマーカパターンを有することができ、異なる属性が各パターンに関連付けられ、エンタテインメント装置は、このような属性に応答して該エンタテインメント装置が生成する制御データを変更する。例えば、トラックの開始及び終了を記す「ラップ」マーカを定義することができる。さらに、「中間」マーカを使用して、トラックの中間を記すことができる。これは、有利なことに、ユーザが、最小数のマーカで該ユーザの家の地理的レイアウトを使用して該ユーザ自身のトラックレイアウトを定義できることを意味する。
【００６０】
一例として、ユーザは、コーヒーテーブル（「ラップマーカ」が貼り付けられている）において開始し、ソファ３０５の下でレースし、廊下で「中間」マーカを通過し、それから再びコーヒーテーブルに戻ると決定することができる。システムが仮想トラックを作成するのではなく、おそらくゲームのラリーにおける別の形として、マーカ間の任意の許容可能なルートを使用することができ、それによって、ユーザがトライして、マーカ間の最速ルートを見つけることができるようにする。さらに、複数の異なるマーカを使用して、異なる建物を示すことができる。したがって、例えば、ユーザは、可能な限り多額のお金を稼ぎ、それによって、ゲーム内で高スコアを獲得するように、車２００を特定のマーカ（建物）に所定の順序で特定の時間量以内で走らせる必要がある「タクシードライバ」ゲームをプレイすることができる。
【００６１】
ＣＰＵ１０１は、オプションとして、取り込まれたビデオ画像内で検出されたＡＲマーカと、壁掛け時計又はコーヒーテーブルのような取り込まれたビデオ内で検出された他の画像特徴とのアドホックな関連性を生成するために動作可能である。ＣＰＵ１０１は、ＡＲマーカ及び指定された画像特徴に対する車２００の相対位置に関連する位置データを生成することができる。これらのアドホックな関連性は、フラッシュメモリ１３５内に記憶される。したがって、アドホックな関連性を使用して、ビデオフレーム毎に車２００の位置を計算することなしに、追加の位置情報を提供することにより、ＣＰＵ１０１に対する処理負荷を低減することができる。さらに、例えば、アドホックな関連性を使用して、レースゲーム内で実行されなければならないゲームアクションを定義することができる。例えば、プレーヤは、アドホックな関連性によって定義される特定の角度からＡＲマーカに近づくように車２００を操縦する場合、追加ポイントを獲得することができる。
【００６２】
本発明の一実施形態によれば、エンタテインメント装置１００は、ＡＲマーカに割り当てることができる（給油ポンプ３１５のような）仮想オブジェクトのデータベースを記憶するために動作可能である。仮想オブジェクトのリストは、ユーザが、左ジョイパッド若しくは右ジョイパッド（１０６、１０８）又はショルダーボタン１０５及び１０７のような入力装置を使用して、各ＡＲマーカに割り当てる仮想オブジェクトを選択できるように、一体型ディスプレイ１０２上でユーザに対して表示される。したがって、ユーザは、ＡＲマーカを使用して、仮想オブジェクトをＡＲマーカに割り当てることにより、該ユーザ自身のゲーム環境を設計することができる。このようにして、ユーザは、エンタテインメント装置１００を使用して、異なる機能を１つ又は複数のＡＲマーカ４０５に割り当て、且つ／又はＡＲゾーン４１０の形状及びサイズを定義することもできる。例えば、ユーザは、「釘が出た路面」を該ユーザが選択したマーカに割り当てると共に、「釘が出た路面」コマンドが発効するそのマーカの周囲のＡＲゾーンのサイズを定義することができる。
【００６３】
車２００又はゲームに参加していない他のユーザに対する損傷の可能性を低減するため、本発明の実施形態では、「進入禁止」ＡＲマーカが提供される。通常、これらは、ＣＰＵ１０１がマーカに対する任意の閲覧方向から取り込まれたビデオ画像を使用して、それらのマーカを識別するのが容易であるように、ストライプの円筒体であるが、任意の適切なマーカデザインを使用することができる。「進入禁止」ＡＲマーカを検出すると、ＣＰＵ１０１は、送受信機（Ｔｘ／Ｒｘ）１２０を使用して、マーカに近づく際に車に減速し停止するように命令するコマンドを車２００に送信する。例えば、「進入禁止」ＡＲマーカは、車が進入阻止される除外ゾーンを定義することができる。これは、例えば、マーカが円の中心にあるようにマーカに対して定義される円であり得るが、任意の適した形状を使用することができる。除外ゾーンは、拡張現実ゾーン４１０に関して上述した方法と同様に進入禁止マーカに対して定義される。したがって、ユーザは車を除外ゾーンの周縁の周りを走らせることができるが、車は除外ゾーンへの進入を阻止される。
【００６４】
上述したように、ＣＰＵ１０１は、車の位置に対するマーカの位置を検出するために動作可能である。進入禁止マーカの位置は、該進入禁止マーカがビデオカメラ２２０によって取り込まれる画像内で視認できない場合であっても（例えば、車２００がバックしている場合）、進入禁止マーカに対する車２００の位置をデッドレコニング等を使用して決定し（上述したように）、それによって車２００の除外ゾーンへの進入を依然として阻止することができるように、記憶装置を使用して記憶媒体に記憶される。
【００６５】
したがって、例えば、「進入禁止」マーカのユーザによる適切な位置決めにより、車２００が階段を落下すること、キッチンのような危険な部屋へ入ることを阻止することができ、暖炉等のような危険な物体が回避される。
【００６６】
【表１】
【００６７】
表１は、本発明の実施形態に従ってリモコン車２００を制御するために生成することができる典型的なコマンドのうちのいくつかを示す。表１に与えられる例は、本発明の実施形態を説明するに当たっての例示のためのものであり、発明を限定する意図はないことが理解されるであろう。例えば、「釘が出た路面」コマンドは、左後輪に影響するものとして示されるが、車輪のうちの任意の１つ又はそれらの組み合わせが影響され得ることが理解されるであろう。通常、ＣＰＵ１０１は、コマンドという見出しの列中で与えられるコマンドを生成し、その間に、各車輪に関連する制御信号が、通信リンク２２５を介して車２００に送信される。
【００６８】
しかし、オプションとして、ＣＰＵ１０１は、コマンドを生成し、それから通信リンク２２５を介してコマンドを車２００に送信してもよい。プロセッサ２０５は、以下の表１に詳述される所望の挙動をシミュレートするために必要な制御信号を生成すると共に、通信バス２３０を介して該制御信号を車両推進手段２３５及び車両操舵手段２４０に送信するために動作可能である。各車輪は、表１に説明されるように独立して制御可能であり得るが、製造コストを簡素化するために、例えば、後輪を駆動車輪とすることができ、前輪を操舵に使用することができる。しかし、任意の適切な装置を本発明の一実施形態として構想できることが当業者には明らかであろう。
【００６９】
オプションとして、メモリ２１０は、所望の挙動をシミュレートするために必要な制御信号（例えば、装置１００から送信された属性定義データ）に関連する制御データを記憶する。この場合、プロセッサ２０５は、メモリ２１０に記憶されている制御データに応じて車輪制御信号を生成する。さらに、更新制御データ（例えば、プログラムコード）をエンタテインメント装置１００から通信リンク２２５を介してメモリ２１０にダウンロードすることにより、追加機能をリモコン車２００に追加することができる。
【００７０】
ゲームの拡張現実特徴に従って車を制御することに加えて、エンタテインメント装置１００は、車に、「ドーナツ」（車の後輪をスリップさせて回転させ、それによって、静止したままの前輪を中心として車の後部を回転させ、結果として生じるスリップ痕がドーナツの輪に似る）、スピンターン、バックスピンターン、スピンターンしてからバックスピンターン、バック駐車、３６０度スピンターン、５４０度スピンターン等のような予めプログラムされた操縦を実行させる制御コマンドを生成するために動作可能である。この場合、車は予めプログラムされた操縦を、ユーザがその操縦に関連付けられるエンタテインメント装置上のボタンを押下するときに実施する。例えば、ユーザが左ショルダーボタン１０５を押下すると、車は３６０度スピンターンを実施することができる。
【００７１】
オプションとして、予めプログラムされた操縦を、車２００のメモリ２１０（命令記憶装置として機能する）内に記憶して、それによって予めプログラムされた操縦が実行される都度、エンタテインメント装置１００から車２００に送信する必要があるデータ量を低減することができる。この場合、エンタテインメント装置１００は、エンタテインメント装置１００の特定のボタンが押下されるときに実行すべき予めプログラムされた操縦を指定するコマンドを生成する。このボタンがユーザによって押下されると、エンタテインメント装置１００は、無線通信リンク２２５を介してこのコマンドを車２００に送信する。次に、プロセッサ２０５は、メモリ２１０から所定のアクションに関連する、関連性のある制御コマンドシーケンスを取り出して、これらのコマンドを実行し、それによって関連性のある予めプログラムされた操縦を車２００に実行させる。
【００７２】
さらに、ユーザは、エンタテインメント装置を使用して、該ユーザ自身の操縦シーケンスを記録することができる。この場合、ユーザは、車２００をリアルタイムで制御し、エンタテインメント装置１００は、いずれのボタンがユーザによって押下されたか、いかなるシーケンスで押下されたか、及び該シーケンスの中でのその他の入力に関する入力の相対的なタイミングを検出する。ＣＰＵ１０１は、次に、検出されたユーザ入力に応じて、車制御コマンドシーケンスを生成し、フラッシュメモリスティックインタフェース１３５を使用してこのシーケンスを記憶媒体に記憶するために動作可能である。ユーザは、次に、該ユーザが選択した入力ボタン（車２００の制御にまだ割り当てられていない）をこの操縦シーケンスに割り当てることができる。したがって、ユーザが次回、そのボタンを押下すると、エンタテインメント装置１００は、その制御信号シーケンスを車２００に送信し、車２００は、その操縦シーケンスを実施する。代替的には、エンタテインメント装置１００は、未使用の入力装置又はボタンのリストを記憶して、記憶されているシーケンスをそれらのボタンのうちの1つにランダムに割り当てることができる。
【００７３】
オプションとして、車２００は、プロセッサ２０５を使用してエンタテインメント装置１００から受信した制御コマンドシーケンスを検出して、このシーケンスをメモリ２１０に記憶することができる。上述したように、このシーケンスに割り当てられたボタンが押下されると、プロセッサ２０５は、メモリ２１０から関連性のある制御コマンドを取り出して、その制御コマンドシーケンスを実行し、それによって車に所望のシーケンスを実行させる。
【００７４】
このようにして、ユーザは、現実環境内の仮想レーストラックの完全なラップに対応するコマンドシーケンスを車２００にプログラムすることができる。したがって、ユーザは、トラックを首尾良く走らせるために必要な操縦シーケンスを記録することにより、いわゆる「ゴーストカー」を作成することができる。「ゴーストカー」は、ユーザが、異なるラップからの自分自身のパフォーマンスを再作成することにより、自分と対抗してレースすることを可能にする。したがって、次に、ユーザは、異なるリモコン車を使用して、自分自身とレースすることができる。さらに、上述したシステムにより、ユーザは、車がラップを回る経路に対して小さな変更を行うことによってラップ時間を短縮し、それによって「完全な」ラップを作成しようとすることができる。この場合、ユーザの入力に応答してエンタテインメント装置によって生成される追加のコマンドは、すでに記憶されている制御コマンドシーケンスに連結される。この機能は、ユーザがゴーストカーとレースするときのユーザに対する挑戦を増大させる。
【００７５】
さらに、エンタテインメント装置は、ビデオカメラ２２０によって取り込まれたビデオ映像を記憶することが可能である。例えば、ユーザが「トリック録画モード」の入力を選択し、それによって上述したように操縦シーケンスを記録した場合、ＣＰＵ１０１は、このモードがユーザによって選択されたことを検出するように動作可能であり、車２００から通信リンク２２５を介して送信されたビデオ画像の取り込みを開始する。エンタテインメント装置１００は、次に、記憶装置１３５を使用して、取り込まれたビデオ画像を記憶する。
【００７６】
オプションとして、エンタテインメント装置１００は、取り込まれたビデオ画像から生成される「スナップショット」画像を記憶するために動作可能である。例えば、ゲームプレイ中、ユーザがエンタテインメント装置１００の所定のボタンを押下すると、ＣＰＵ１０１は、ビデオカメラ２２０によって生成され、車２００から通信リンク２２５を介してエンタテインメント装置２００に送信されたビデオ画像シーケンスから画像を取り込む。取り込まれたスナップショットは、次に、記憶装置１３５に記憶される。
【００７７】
上述したように、エンタテインメント装置１００は、操縦シーケンスを記録すると共に、回転検出器によって生成された信号に応じて車２００の走行速度及び走行距離を検出するために動作可能である。したがって、エンタテインメント装置１００は、車２００の位置を追跡し、それによってＡＲマーカ５０５及び５１０を参照せずに仮想レーストラック３１０を生成することができる。これについて、図６を参照してより詳細にこれより説明する。
【００７８】
図６は、本発明の実施形態によるリモコン玩具の位置に関しての拡張現実ゾーン及び拡張現実オブジェクトの概略図を示す。
【００７９】
図６に示すように、エンタテインメント装置１００は、車２００が現実環境内でとる経路６０５を検出すると共に、車２００が辿った経路６０５を示す仮想経路データを生成するために動作可能である。通常、この経路定義プロセスは、ユーザ入力に応答して生成される制御信号（上述したような）及び／又はゲームによって生成される制御信号と組み合わせて、回転検出手段によって生成されるデータに応じてデッドレコニング技法を使用することによって実行される。オプションとして、既知のオプティカルフロー技法を使用して、環境に対する車２００の位置を追跡し、それによって経路データを生成することができる。これらの技法を組み合わせてもよいこと、及び適切な距離測定手段を使用して実行される距離測定に基づくもののような他の車両追跡手段を利用してもよいことが理解されるであろう。好ましくは、車２００の位置は、検出された経路６０５からの車２００の現実の位置のずれを低減するために、車の以前の既知の位置ではなく車の開始位置を基準にして測定される。
【００８０】
車２００の経路６０５を追跡するときに生成されるデータ量を低減するために、ＣＰＵ１０１は、車２００の位置を所定の間隔で検出して、それによって、経路６０５上の様々なポイントにおいて車の位置を「サンプリング」するために動作可能である。ＣＰＵ１０１は、次に、検出された位置間を補間して、それによって車２００が辿った実際の経路６０５の近似値を求めることにより、仮想経路を生成するために動作可能である。ＣＰＵ１０１は、次に、仮想経路データに応じて仮想経路を定義するために動作可能である。
【００８１】
さらに、オプティカルフロー技法がデッドレコニングに加えて使用される場合、ＣＰＵ１０１は、デッドレコニングを使用して生成された仮想経路データと、オプティカルフロー技法を使用して生成された仮想経路データとを比較すると共に、任意の差を検出するために動作可能である。２つの対応する仮想経路の差が所定の閾値を超える場合、ＣＰＵ１０１は、これらの経路を無効と指定すると共に、そのため、このような経路に応じて仮想画像特徴を生成しないように動作可能である。これは、例えば、車２００の車輪が平滑な路面上をスリップして、車２００が走行した実際の距離よりも長い距離が検出されることになる場合に発生し得る。さらに、ＣＰＵ１０１は、一体型ディスプレイ１０２に「無効」経路信号を生成し得るユーザへの警告を表示させると共に、ユーザに経路定義プロセスのリスタートを指示させる。
【００８２】
２つの仮想経路の差が所定の閾値よりも小さい場合、ＣＰＵ１０１は、オプティカルフローを使用して生成された仮想経路、デッドレコニング技法を使用して生成された仮想経路、及び両経路の位置の平均のうちのいずれか1つに応じて、ゲーム内で使用する仮想経路を生成することができる。
【００８３】
有利なことに、経路６０５は、ユーザが（リビングルームのような）現実環境の方々に車２００を走らせることによって定義することができ、それによって例えば、レースするためのユーザ自身のトラックが作成される。代替的には、車は、所定の経路上で車を走らせるように、エンタテインメント装置２００で実行されているソフトウェアによって制御することができる。車を現実環境で走らせることにより、生成される仮想経路を現実環境に首尾良くマッピングすることができる。
【００８４】
次に、仮想経路データは、フラッシュメモリスティックインタフェース１３５を使用してエンタテインメント装置１００に記憶される。
【００８５】
仮想経路が定義されると、ＣＰＵ１０１は、生成された仮想経路に対して定義されるゲーム特徴及び仮想オブジェクトを生成するために動作可能である。例えば、給油ポンプのような仮想オブジェクト６１５又は建物のような仮想特徴６２０を生成し、それらを、現実環境を通じて車２００がとる実際の経路に応じて生成された仮想経路に対して定義される現実環境内の位置に現れるように、取り込まれたビデオ画像内にレンダリングすることができる。さらに、上述した拡張現実ゾーンのような拡張現実ゾーン（例えば、拡張現実ゾーン６１０）を仮想経路に対して定義することができる。
【００８６】
オプションとして、仮想経路に対する仮想オブジェクト、特徴、及び拡張現実ゾーンの位置決めは、ユーザによって定義されてもよい。この場合、ＣＰＵ１０１は、一体型ディスプレイ１０２上に、仮想オブジェクト、特徴、及び仮想現実ゾーンのリストと共に仮想経路を表示するために動作可能である。ユーザは、次に、エンタテインメント装置１００のユーザ入力機能（例えば、左ジョイパッド及び右ジョイパッド）を使用して、使用を望む特徴、物体、及びゾーンを選択し、これらの特徴を前に定義された仮想経路に対して所望のように位置決めすることができる。したがって、例えば、ユーザは、有利なことに、車２００を競走させるためのレーストラックを定義すると共に、使用を望む仮想オブジェクト及び拡張現実ゾーンを定義することができる。さらに、仮想経路を定義すると共に、記録された仮想経路に対して仮想オブジェクト、特徴、及びゾーンを定義することにより、ユーザは自身のゲームを望むように自由にデザインすることができる。
【００８７】
経路定義プロセス、並びに結果として生成される仮想経路に対する仮想オブジェクト、特徴、及びゾーンの配置を、本明細書において説明したＡＲマーカ技法と組み合わせてもよいことが理解されるであろう。
【００８８】
ゲームプレイ中の状況によっては、ゲーム内で、ユーザは、車両を操舵する入力を直接提供しなくてもよい場合がある。例えば、車２００がゲーム内のトラックの直線部分を走行している場合、ユーザは、車２００がユーザからの入力なしで直線で走行することを妥当に予期することができる。しかし、車両操舵手段がサーボを備える場合、サーボ差動間の差及び車２００内の製造許容差により、車が片側にドリフトするか、又は一定の程度で左若しくは右に操舵される場合がある。したがって、ユーザは、車が仮想トラック上に居続けることを確実にするために、現実環境において車２００の経路を常に修正する必要がある場合がある。
【００８９】
この問題に対処するために、エンタテインメント装置１００及び／又は車２００は、車両操舵手段と協働することによってステアリングを「調整」し、それによって、ユーザ入力がＣＰＵ１０１によって検出されないときに車２００に直線上を走行させることができる。
【００９０】
この場合、ＣＰＵ１０１及び／又はプロセッサ２０５は、デッドレコニング及び／又はオプティカルフローから生成されたデータに応じて、現実環境内の車２００の経路が、例えば、車両が辿っている現在の軌跡からの角度の逸脱である所定の閾値に関して定義された所望の経路（例えば、直線）から逸脱しているか否かを検出するために動作可能である。車の経路が、所望の経路から所定の閾値を超えて逸脱していることが検出される場合、ＣＰＵ１０１及び／又はプロセッサ２０５は、車に所望の経路を辿らせるように車を制御する制御信号を生成するために動作可能である。本発明の一実施形態では、これらの制御信号は、所定の閾値からの逸脱に対して既知の比例積分微分（ＰＩＤ）制御方式を使用して生成されるが、他の適切な制御方式を使用することができることが理解されるであろう。代替的には、逸脱が定数オフセットである場合、車が使用される都度、較正を実行する必要がないように、このオフセットをゼロに調整すると共に、その調整値をエンタテインメント装置１００のセットアップファイル内又は車２００のメモリ２１０内に記憶することができる。これは、ＣＰＵ１０１及び／又はプロセッサ２０５上の処理負荷が低減されるという追加の利点も有する。
【００９１】
さらに、デジタル出力を生成するユーザ入力装置が、車の制御（例えば、左ジョイパッド１０６及び右ジョイパッド１０８）に使用される場合、エンタテインメント装置１００は、操舵の応答性が、車２００が走行している速度に依存するような制御信号を生成するために動作可能である。例えば、車２００のサイズ及びスケールに関して高速において、ＣＰＵ１０１は、操舵コマンドに対応するユーザ入力が、車の現在のコースから極わずかな角度ずれを生じさせるような制御信号を生成する。しかし、低速では（車２００のサイズ及びスケールに関して）、各操舵コマンドは、それに対応して、低速での操縦を支援するために、該操舵コマンドに、その関連付けより大きな角度ずれを有する。オプションとして、直線調整、高速／低速操舵パラメータ等のような車のセットアップに関連するデータを記憶するセットアップファイルは、エンタテインメント装置１００及び／又は車２００に記憶することができる。上述したように、これらのセットアップファイルは、ゲームがプレイされる都度、又は車２００が使用される都度使用されて、それによって再較正する必要性を低減すると共に処理要件を低減することができる。
【００９２】
本発明のさらなる実施形態において、マルチプレーヤゲームを、自身の車をそれぞれのエンタテインメント装置と共にそれぞれ有するユーザ間でプレイすることができる。この場合、エンタテインメント装置は、標準のマルチプレーヤゲーム状況と同様に送受信手段１２０を介して互いに通信するようにさらに動作可能である。通常、マルチプレーヤゲームでのユーザの最大数は６人であるが、無線リンク２２５の帯域幅及びエンタテインメント装置内で利用可能な処理パワーに応じて、任意の数のユーザが参加することができることが理解されるであろう。
【００９３】
例えば、プレーヤは、上述したようにＡＲマーカによって決定されるルートを回ってレースすることができる。さらに、プレーヤは、仮想の地雷若しくは他の障害物を落とすことができるか、又は仮想ミサイルを発射して、別のプレーヤの進行を妨げることができる。さらに、仮想スモークをユーザの車から放出することができ、それによって、ビデオカメラによって取り込まれる対戦相手のビデオ画像の視野を妨げることができる。例えば、地雷を落とすことにより、ユーザ自身の車を３秒低速になるが、対戦相手の車が不幸にして地雷を踏んだ場合、対戦相手の車は１０秒低速になる。しかし、対戦相手の車がすぐ後ろにいる場合には対戦相手の車をノックアウトするよりよいチャンスがあるが、対戦相手の車が遠く離れている場合、対戦相手の車が障害物の回避に成功する場合にはリードを失うリスクがより大きい。
【００９４】
この機能を達成するために、少なくとも、地雷を落とさなかったユーザに対応するエンタテインメント装置は、地雷が落とされている場所を知る必要がある。これは、地雷を落としたユーザのエンタテインメント装置が、上述した技法、すなわちデッドレコニングを使用するか、又はＡＲマーカ間の三角測量によって位置を導出することによって達成することができる。代替的には、地雷を落とした車が、後続車のカメラの視野内にある場合、後続車は、地雷が落とされた瞬間に（地雷を落としたエンタテインメント装置から発せられる信号に応答して）前方の車の相対位置に気付くことができる。
【００９５】
オプションとして、本発明の実施形態によりユーザが２つ以上のリモコン車を所有する場合、エンタテインメント装置１００は、車に送信される適切な制御信号を生成することにより、ゲーム内のコンピュータ制御車としての車のうちの少なくとも一個を制御するために動作可能である。さらに、上述したように、エンタテインメント装置１００は、ユーザの車がトラックを回るときに該ユーザの車の位置を記録し、それによってトラックの周りで車２００をガイドするために使用された制御コマンドシーケンスの記録に代えて、又はそれと共に、「ゴーストカー」を生成することができる。オプションとして、ユーザが１台のみの車を所有している場合、以前のラップの記録は記憶され、ゴーストカーの生成に使用される。ここで、ゴーストカーは、アルファブレンドを使用して仮想レーストラックに重ねられる。
【００９６】
さらに、エンタテインメント装置１００は、画面分割ディスプレイを使用して本発明の実施形態による２台以上のリモコン車からのビデオ画像を表示するために動作可能である。この場合、ビデオ画像を１つのエンタテイメント装置１００に送信することができる車の数は、通信リンク２２５の帯域幅によって制限される。
【００９７】
拡張現実ゲームプレイモードが複数のプレーヤで使用される場合、車２００は、１つ又は複数の拡張現実マーカをさらに備えることができる。ＣＰＵ１０１は、車両の外観が、ディスプレイ１０２上に取り込まれたビデオ画像と共にレンダリングされるときに変更されることができるように、上述したようにこれらのマーカを検出するために動作可能である。この場合、車両の外観の拡張現実画像は、車２００の取り込まれたビデオ画像に重ねられたグラフィックオーバーレイとしてレンダリングされる。例えば、ユーザは、車２００の仮想外観を、いわゆるモンスタートラック、自動二輪車、トラクター、又はこれらのようなものとしてゲーム内に表現されるようにカスタマイズすることができる。さらに、ＣＰＵ１０１は、異なる車のＡＲマークを検出するために動作可能である。したがって、ＣＰＵ１０１は、その車が辿った経路に応じて仮想レーストラックを生成するか、又は車の衝突の場合を検出することができる。
【００９８】
さらに、ＡＲマーカを車２００に取り付けることにより、その他の車に対する各車の位置を求めることができるため、追加のゲーム機能を実現することができる。例えば、ゲームに参加している車のうちの１台が仮想ミサイルを発射することができ、エンタテイメント装置１００のＣＰＵ１０１は、標的車両に対するミサイル発射車の相対位置及び相対向きに応じて、標的とする車に命中したか否かを検出することが可能である。
【００９９】
上述したように、車２００と、別のプレーヤの車のような別の物体との間で衝突が発生したか否かを検出可能にするために、リモコン車２００は、オプションとして、バンパーが押されるときに閉じるスイッチに動作可能に結合された加速度計及び／又はバンパー若しくは緩衝材を備える。プロセッサ２１０は、通信バス２３０を介して加速度計及び／又はバンパーから受信した信号に応じて、衝突を検出するために動作可能である。次に、プロセッサは、送信機２１５から通信リンク２２５を介してエンタテイメント装置１００に送信される衝突データ信号を生成するために動作可能である。したがって、例えば、上述したようなレースゲームのプレイ中、衝突が検出される場合、ポイント又はペナルティを課すことができる。
【０１００】
さらに、上述したように、リモコン車２００は、車と別の物体との間の距離を検出するように動作可能な距離測定手段を備える。距離測定手段は、通信バス２３０を介してプロセッサ２０５と通信するために動作可能である。通常、距離測定手段は、当該技術分野において既知の赤外線距離測定装置を備えるが、超音波、レーザ反射等のような任意の適した距離測定技法を利用することができることが理解されるであろう。
【０１０１】
プロセッサ２０５は、距離測定手段から通信バス２３０を介して受信したデータ信号に応じて、距離測定手段と別の物体との間の距離を検出するために動作可能である。したがって、プロセッサ２０５は「物体までの距離」データを生成し、該データは通信リンク２２５を介してエンタテインメント装置１００に送信される。例えば、エンタテイメント装置は、物体までの距離データを使用してカメラ２２０の視野内の異なる物体までの距離を検出し、それによってＡＲマーカのうちの１つが別の物体によって部分的に遮蔽されている場合にマーカの検出を支援することができる。物体までの距離データは、オプションとして、上述したように現実環境内の車２００の経路６０５に関連する経路データを生成するときに使用することができる。
【０１０２】
オプションとして、ＣＰＵ１０１は、車２００と別の物体との距離が所定の距離以内にあることを検出する場合、「進入禁止」マーカが上述したように検出されるときに生成されるものと同様の衝突回避制御信号を生成し、それによって、車２００が別の物体と衝突する可能性を低減させる。しかし、例えば、マルチプレーヤレースゲームのプレイ中、ゲームのリアリティを増すために、ユーザがこの機能のディセーブルを望むのであれば、この特徴はユーザによってディセーブルされてもよく、又はゲームソフトウェアによって生成される信号に従って自動的に選択解除されてもよい。代替的には、リモコン車２００のプロセッサ２０５は、距離測定手段から受信した信号に従って衝突回避制御信号を生成することができる。
【０１０３】
上述したように、リモコン車２００は、オプションとして、電池充電検出手段を備えることができる。電池充電検出手段は、電池に蓄えられている充電量に関連する電池充電レベル信号を生成し、該信号を送受信手段（Ｔｘ／Ｒｘ）２１５を使用して通信バス２３０を介してプロセッサ２０５に、又は通信リンク２２５を介してエンタテイメント装置１００に送信するために動作可能である。したがって、電池充電が所定のレベル未満に下がった場合、警告をエンタテイメント装置１００の一体型ディスプレイ１０２上に表示することができる。システムはまた、ゲーム内の仮想燃料レベルを生成することもでき、これは実際の電池充電レベルから独立していてもよく、又は独立していなくてもよい。例えば、電池充電レベルが所定のレベルに達した場合、ユーザは車２００を、上述したように、適切なＡＲマーカに関連付けられる仮想現実給油ポンプ３１５まで走らせる必要がある。
【０１０４】
ＡＲマーカとしてのＲＦトランスポンダの使用についてこれより説明する。
【０１０５】
本発明の実施形態によれば、ＡＲマーカは、取り込まれたビデオ画像内で検出される可視マーカではなくＲＦトランスポンダとすることができる。この場合、車２００は、トランスポンダ検出手段による呼び掛けに応答して、無線周波数信号を送信すると共にトランスポンダによって送信されたＲＦ信号を検出するように動作可能なトランスポンダ通信手段をさらに備える。トランスポンダ通信手段は、通信バス２３０を介して車２００のプロセッサ２０５と通信することが可能である。通常、ＲＦトランスポンダは、既知の技術による無線自動識別（ＲＦＩＤ）タグであるが、任意の適したＲＦトランスポンダを使用することができる。
【０１０６】
トランスポンダ通信手段は、ＲＦＩＤタグによって送信されるトランスポンダ返信信号の検出された信号強度に関連する信号強度データを生成するために動作可能である。トランスポンダ返信信号は、トランスポンダ通信手段によって送信された呼び掛け信号に応答してＲＦＩＤタグによって送信され、そのタグの識別情報に関連するデータを含む。信号強度データは、通信リンク２２５を介してエンタテイメント装置１００に送信される。次に、ＣＰＵ１０１は、トランスポンダから車２２０がどの程度離れているかを示すトランスポンダ距離データを生成する。通常、ＲＦＩＤタグは受動素子であるが、能動素子又は半受動素子が使用され得ることが理解されるであろう。
【０１０７】
車２００に対するＲＦ ＡＲマーカの位置を記述する位置情報を生成するために、本発明の実施形態によれば、異なる技法を利用してもよい。
【０１０８】
通常、トランスポンダの信号強度は、現実環境内の車２００の第１の位置に記録される。車が現実環境内で動くにつれ、トランスポンダの信号強度は異なる位置に記録され、それによってＣＰＵ１０１が、環境内の車２００の異なる位置で生成された信号強度データに基づいてＡＲマーカの位置を三角測量できるようにする。三角測量の精度を向上させるために、信号強度データは、距離測定手段によって生成された距離データ及び／又はデッドレコニングを実行するときにＣＰＵ１０１若しくはプロセッサ２０５によって生成されたデータと組み合わせることができる。オプションとして、車２００が、マーカの場所を見失った場合、プロセッサ２０５は、経路に沿って所定の位置におけるトランスポンダの信号強度を検出できるように、短距離にわたって車を前方及び後方に走らせる制御信号を生成することができる。次に、ＡＲマーカの位置は、それらの位置において生成された信号強度データから三角測量することができる。この特徴は、ユーザが環境の方々で車２００を走らせる機会を有する前に、ゲームの開始時に利用することもできる。
【０１０９】
さらに、各トランスポンダは、環境内で一意に識別できるように、一意の識別コードを含む。したがって、上述したように、エンタテインメント装置１００は、ユーザがゲームのプレイを開始する前に、現実環境内のすべてのＡＲマーカの位置を検出することができる。オプションとして、トランスポンダ通信手段は、既知の技法を使用してアレイの各アンテナにおいてトランスポンダから受信した信号に基づいてＲＦ ＡＲマーカの位置を検出できるように、アンテナアレイを備える。
【０１１０】
ＲＦトランスポンダは、本発明の実施形態に従って使用することができるＡＲマーカを作成するように、可視マーカと組み合わせることができることが理解されるであろう。さらに、ＲＦトランスポンダに代えて、ＲＦ送信機をＲＦ ＡＲマーカとして使用することも可能なことが理解されるであろう。
【０１１１】
エンタテインメント装置１００に対する車２００の位置は、ＲＦＩＤタグＡＲマーカに関連して上述したような技法を使用して、無線通信リンク２２５を介して２つの装置間で送受信された信号の信号強度に応じて求めることもできる。
【０１１２】
上述したように、車２００は、オプションとして、電池充電検出手段を備え得る。さらに、上述したように、電池２４５を、充電ステーションとの誘導結合によって再充電することができる。本発明の実施形態によれば、充電ステーションは、上述した可視ＡＲマーカ又はＲＦ ＡＲマーカのようなＡＲマーカを備えることができる。したがって、エンタテインメント装置のＣＰＵ１０１は、上述したように、車２００に対する車２００の位置を検出することができる。さらに、ＣＰＵ１０１は、電池充電検出手段によって生成されると共に車２００から通信リンク２２５を介してエンタテインメント装置１００に送信される電池充電データに基づいて、電池に蓄えられている充電のレベルが所定のレベル未満に下がったときを検出するために動作可能である。ＣＰＵ１０１は、蓄えられている充電レベルが所定のレベル未満である（すなわち、電池充電が低い）ことを検出する場合、充電ステーションに取り付けられたＡＲマーカの検出位置に基づいて、車２００を充電ステーションまで走らせる制御信号を生成することができる。代替的には、車２００のプロセッサ２０５は、電池充電検出手段によって生成された信号に基づいて、この検出を実行すると共に、それに従って制御信号を生成してもよい。したがって、車２００の電池２４５は、ユーザが車２００を或る時間期限にわたって使用しなかった場合であっても、充電された状態を保つことができる。この機能によるゲームプレイの中断を回避するために、ユーザは、一体型ディスプレイ１０２並びに左ジョイパッド及び右ジョイパッドのような入力装置を使用して、ゲームのセットアップ段階時にこのオプションを選択解除することができる。
【０１１３】
本発明の実施形態による、リモコン玩具を制御する方法について、図７を参照してこれより説明する。図７は、リモコン車２００を制御すると共に、車が拡張現実ゾーン４１０内にあるか否かを検出するために使用されるプロセス例のフローチャートを示す。
【０１１４】
ステップｓ１０において、ビデオ画像が、ビデオカメラ２２０によって取り込まれ、通信リンク２２５を介してエンタテインメント装置１００に送信される。
【０１１５】
次に、ステップｓ１５において、エンタテインメント装置のＣＰＵ１０１は、上述したように当該技術分野において既知の画像認識技法に従ってＡＲマーカ４０５を検出する。ステップｓ１５において、ＣＰＵ１０１は、デッドレコニング、距離測定手段によって生成された距離情報、及び取り込まれたビデオ画像内のＡＲマーカ４０５の画像サイズに応じて生成された距離推定データのうちのいずれか又はすべてを使用して、ＡＲマーカ４０５に対する車２００の相対位置をさらに検出する。
【０１１６】
ステップｓ２０において、ＣＰＵ１０１は、ＡＲマーカ４０５に対する車２００の測定位置をＡＲゾーン閾値距離と比較して、車がＡＲゾーン４０５内にあるか否かを判断する。車がＡＲゾーン内にあると検出されない場合、ＣＰＵ１０１は、ユーザ入力装置によって生成された制御信号をオーバーライドするいかなる制御信号も生成せず、プロセスはステップｓ１０に進む。
【０１１７】
しかし、車２００がＡＲゾーン４０５内にあると検出された場合、ステップｓ２５において、ＣＰＵ１０１は、車両制御信号を生成し、該車両制御信号を通信リンク２２５を介して車に送信する。例えば、ＡＲゾーン４０５は、上述したように、仮想油膜に対応し得る。この場合、ＣＰＵ１０１は、上の表１に説明したように「油膜」制御信号を生成し、この信号を車に送信する。次に、プロセスはステップｓ３０に進み、車が依然として、上述したようにＡＲゾーン４０５内にあるか否かを検出する。車が依然としてＡＲゾーン内にある場合、制御はステップｓ２５に進む。しかし、車がＡＲゾーン４０５から出た場合、制御はステップｓ３５に進む。
【０１１８】
ステップｓ３５において、ＣＰＵは、車の制御がユーザに単独に返されるように、車２００への制御信号の送信を停止する信号を生成する。次に、制御プロセスはステップｓ１０に戻る。
【０１１９】
本発明の上述された実施形態の上記特徴及び態様を、ゲームプレイシナリオでの様々な異なる方法で使用することができることが理解されるであろう。例えば、ユーザには、特定のスキルレベル又は「ライセンス」を達成するために実行しなければならない、一連の操縦又はタスクが提示される。ユーザは、それらの操縦及びタスクを首尾良く完了すると、ＡＢＳ又はニトロブーストのような追加の機能を授与される。さらに、ユーザは、より難しいライセンスに挑戦することが許されるか、又は上述したように予めプログラムされた操縦を授与されることができる。オプションとして、エンタテインメント装置１００は、最高速度、最高回転数、プレイ回数、撮影された写真、記録されたビデオ、達成したジャンプ等のような車２００の任意の態様に関連する統計を収集することができる。このデータは、ゲームスコアを生成するか、又は特定の目標が達成されたとき、ユーザが車２２０若しくはゲームの追加機能を利用可能にするために使用することができる。
【０１２０】
本発明の上述された実施形態について、エンタテインメント装置１００として機能するＳｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）（ＰＳＰ）を参照して説明したが、任意の適したエンタテインメント装置を使用することができることが理解されるであろう。例えば、Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ ３（登録商標）エンタテインメントシステム（ＰＳ３）は、エンタテインメント装置１００として機能することができる。ここで、ＰｌａｙＳｔａｔｉｏｎ ３（登録商標）のゲームコントローラを使用して、ＰＳＰを参照して上述したものと同様の機能を有する玩具を制御することができる。オプションとして、例えば、無線通信リンク１２０を使用してＰＳＰとＰＳ３との間で無線通信することにより、ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）装置のような他の周辺機器をＰｌａｙＳｔａｔｉｏｎ ３（登録商標）のためのコントローラとして使用してもよい。
【０１２１】
本発明の実施形態では、エンタテインメント方法の要素は、エンタテインメント装置及びリモコン玩具において任意の適した様式で実施することができることが理解されるであろう。したがって、従来のエンタテインメント装置の既存のパーツの適合は、例えば、その内部の１つ又は複数のプロセッサを再プログラムすることを含むことができる。したがって、必要とされる適合は、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ、若しくはこれら若しくは他の記憶媒体の任意の組み合わせのようなデータキャリアに記憶されるか、又は、イーサネット（登録商標）、無線ネットワーク、インターネット、若しくはこれら及び他のネットワークの任意の組み合わせのようなネットワーク上のデータ信号を介して伝送されるプロセッサ実施可能な命令を含むコンピュータプログラム製品の形態で実施することができる。
【技術分野】
【０００１】
本発明は、エンタテインメントシステム及び方法に関する。
【背景技術】
【０００２】
遠隔制御される車及び飛行機等のリモコン玩具（remotely controlled toy：遠隔制御玩具）は、出現以来、長年にわたって人気を得てきた。近年、電子装置のますますの小型化に伴い、追加機能がこれらの玩具に追加された。したがって、ビデオカメラ等の装置が、このような玩具に比較的低コストで含められ始めた。取り込まれたビデオ画像は、多くの場合、玩具に取り付けられたビデオカメラから、遠隔制御装置上のディスプレイ又はユーザが装着できるヘッドセットに送信される。このような玩具は、ユーザが友人の付近まで車両を走らせ、ビデオカメラを使用して友人をスパイすることにより、友人をスパイできるようにするため、「スパイ玩具」と呼ばれることが多い。さらに、これらの玩具は、音声を取り込むマイクロホン等の他の機構を備え得る。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「Virtual Bounds: a teleoperated mixed reality」（K. Ponto, F. Kuester, R, Nideffer, 及びS. Penny, Virtual Reality (2006)10, page 41-47）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、これらのリモコン玩具に取り付けられたビデオカメラは、多くの場合、帯域幅の制限及び製造コストにより比較的低解像度である。さらに、ユーザは、友人へのスパイ行動にすぐに飽き、ビデオカメラに関して他の可能な使用法を考えようとする場合がある。したがって、リモコン玩具の移動の態様ばかりを使用し、ビデオカメラのような、玩具に提供された追加の態様を十分に使用しない。
【０００５】
画像認識の異なる技術分野では、拡張現実を利用して、取り込まれたビデオ画像とのユーザの対話を向上させるシステムが、より広く知られつつある。これらのシステムでは、取り込まれた画像内の画像特徴が検出され、画像特徴として指定される。次に、システムは、指定された画像特徴に応じてコンピュータ生成画像を生成し、生成された画像を取り込まれた画像上に重ね得る。したがって、取り込まれたビデオ画像は、コンピュータ生成画像で拡張されたと言うことができる。例えば、このようなシステムは、ライブアクションスポーツのＴＶ放送において、球の位置が追跡され、球がとった経路を示すビデオ映像上に重ねられた黄線として再生成され得るために使用される。さらに、画像特徴を生成すべき場所を示す拡張現実マーカを含むビデオ画像にコンピュータ生成画像を重ねることが既知である。しかし、このような用途は比較的難解であり、機能が制限されがちである。関連する従来技術は、非特許文献１である。
【０００６】
本発明は、上記問題の解消又は軽減を目的とする。
【課題を解決するための手段】
【０００７】
本発明の様々なそれぞれの態様及び特徴が、添付の特許請求の範囲において規定される。
【０００８】
有利なことに、ユーザがリモコン玩具に飽きる可能性が低いような、多用途性及びエンタテインメント性が極めて高いエンタテインメントシステム、エンタテインメント装置、及びエンタテインメント方法が提供される。例えば、リモコン玩具がリモコン車である場合、ユーザは、リモコン車をゲーム内に登場する車として使用してエンタテインメント装置上でレースゲームをプレイし、自身のリビングルーム内での仮想レーストラックを回るレースをすることができる。
【０００９】
好ましくは、制御データが、仮想画像特徴に関連付けられる属性に関連する属性制御データを含み、処理手段は、仮想画像特徴に関連付けられる属性に基づいて属性制御データを生成する動作が可能である。
【００１０】
したがって、エンタテインメント装置上でプレイされるゲームの態様を、リモコン玩具を使用してシミュレーションすることができる。例えば、リモコン玩具が、例えばリモコン車である場合、仮想の釘が出た路面（bed of nails）上を走らせると、物理的な車を不規則に挙動させ、影響を受ける車輪の回転を阻止させることができる。
【００１１】
本発明の実施形態について、添付図面を参照して例としてこれより説明する。
【図面の簡単な説明】
【００１２】
【図１Ａ】本発明の一実施形態によるエンタテインメント装置の正面図である。
【図１Ｂ】本発明の一実施形態によるエンタテインメント装置の概略図である。
【図１Ｃ】本発明の一実施形態によるエンタテインメント装置の要素の機能構成の概略図である。
【図２】本発明の一実施形態によるリモコン玩具の概略図である。
【図３】本発明の一実施形態によるリモコン玩具とエンタテインメント装置との対話の概略図である。
【図４】本発明の一実施形態による拡張現実ゾーンの概略図である。
【図５】本発明の一実施形態による拡張現実ゾーンと対話しているリモコン玩具の概略図である。
【図６】本発明の一実施形態によるリモコン玩具の位置に対する拡張現実ゾーン及び拡張現実オブジェクトの概略図である。
【図７】本発明の一実施形態によるリモコン玩具を制御する方法のフローチャートの図である。
【発明を実施するための形態】
【００１３】
エンタテインメントシステム及び方法が開示される。以下の説明では、本発明の実施形態の完全な理解を提供するために、いくつかの具体的詳細が提示される。しかし、本発明を実施するために、これらの具体的詳細を利用する必要がないことが当業者には理解されるであろう。逆に、当業者にとって既知の具体的詳細は、実施形態を提示するに当たって明確にするために省略されている。
【００１４】
図１Ａを参照すると、本発明の実施形態では、Ｓｏｎｙ（登録商標）のＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）（ＰＳＰ）エンタテインメント装置が、エンタテインメント装置１００として機能する。ＰＳＰ本体１０４は、特に、左ショルダー入力ボタン１０５、左ジョイパッド１０６、右ショルダー入力ボタン１０７、右ジョイパッド１０８、及びアナログ入力装置１０９を備える。これらは、ＰＳＰ上で実行されるソフトウェアとの対話に使用される。さらに、ＰＳＰは、一体型ディスプレイ１０２及びスピーカ１０３を備える。
【００１５】
オプションとして、エンタテインメント装置は、３つの回転軸１９０、１９２、及び１９４を中心とした運動並びに３つの並進運動軸１９６での運動を検出するように動作可能な運動センサに動作可能に接続され得る。加速度計に基づくこのような運動感知技法は、当該技術分野において既知であり、Ｓｏｎｙ Ｃｏｍｐｕｔｅｒ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｅｕｒｏｐｅ（登録商標）製のＳＩＸＡＸＩＳ（登録商標）ユーザ入力装置又はＮｉｎｔｅｎｄｏ（登録商標）製のＷｉｉ Ｒｅｍｏｔｅ（登録商標）ユーザ入力装置のようなゲームコントローラに使用されている。例えば、運動センサは、エンタテインメント装置に電気的且つ機械的に結合されるように、ＵＳＢコネクタ１２５を介してエンタテインメント装置に接続することができる。代替的に、エンタテインメント装置は、運動センサとして機能するために動作可能な運動感知手段を備える。検出された運動は、リモコン玩具を制御する制御コマンドの生成に使用される。
【００１６】
さらなる代替の構成では、エンタテインメント装置はカメラを備え（又はカメラに接続され）、それによって該カメラによって取り込まれた画像間の画像間運動を検出することにより、エンタテインメント装置の運動を検出できる。このような構成は、「オプティカルフロー」運動検出と呼ばれることがある。
【００１７】
これらの代替の構成を、組み合わせることができる。
【００１８】
したがって、エンタテインメント装置は、リモコン玩具に適用される所望の方向制御及び速度制御を表すユーザ入力を受け入れる1つ又は複数の方法を提供する。これらは、ジョイパッド及び／若しくはアナログ入力装置を介しての手動制御、ＳＩＸＡＸＩＳ若しくは同様の入力装置を使用しての運動検出、並びに／又はオプティカルフロー検出装置を使用しての運動検出である。手動制御及び運動検出制御は、単一の装置内で代替手段として共存し得る。異なる種類の運動検出を単独で使用してもよく、又は運動の正確な検出を補強するように組み合わせてもよい。
【００１９】
これらの制御の使用のさらなる詳細を下記で与える。
【００２０】
これより図１Ｂも参照して、本発明の実施形態によるエンタテインメント装置１００として機能するＰＳＰの概要概略図を提供する。ＰＳＰは、共通バス１６０でリンクされた、中央演算処理装置（ＣＰＵ）１０１と、ポリゴンレンダリング等のためのグラフィックス処理ユニット（ＧＰＵ）１１０と、メディアエンジン１３１と、画像レンダリング、ビデオ及び音声の再生等のための音声／ビデオプロセッサ（ＡＶＣ）１３２と、ダイレクトメモリアクセスコントローラ（ＤＭＡＣ）１４０とを備える。ＤＭＡＣ１４０は外部バス１７０にもリンクされ、外部バス１７０を通じて入力及び出力が通信される通信先には、無線通信手段（Ｔｘ／Ｒｘ）１２０、ＵＳＢコネクタ１２５、装置の記憶装置として機能できるフラッシュメモリスティックインタフェース１３５、及び一体型ディスプレイ１０２が含まれる。図１Ｃは、本発明の実施形態での役割を識別するこれらの要素のサブセットの概略図を示す。すべてのものは、例えば、ディスク又はネットワーク（例えば、無線インターネット接続）からのソフトウェア制御下で動作する。
【００２１】
本発明の実施形態によれば、エンタテインメント装置１００は、リモコン玩具のための遠隔制御装置として機能するために動作可能である。そうするに当たり、遠隔制御データが、通信手段１２０を使用して玩具に送信される。後述する実施形態では、リモコン玩具はリモコン車であるが、リモコン玩具が、バイク、トラック、ヘリコプター、ボート、潜水艦、ホバークラフト、ロボット、恐竜、又は他の適切なリモコン玩具若しくはリモコン車両のような任意のリモコン玩具であり得ることが理解されるであろう。
【００２２】
例えば、左ジョイパッド１０６を使用して、リモコン車を操舵し、右ジョイパッド１０８を使用して、リモコン車の速度を制御することができる。代替的に、アナログ入力装置１０９を使用して、車を制御してもよい（入力装置の左右運動が方向を示し、装置の前後運動が前進及び後進の速度及びブレーキを示す）が、任意の適切な入力装置を使用することが可能である。オプションとして、ユーザは、結果として生じる運動が運動センサ及び／又はオプティカルフロー検出装置によって検出されるように、エンタテインメント装置を回転又は並進運動させることによりリモコン玩具を制御することができる。次に、ＣＰＵ１０１は、検出された運動に応じて、車を制御する制御信号を生成する。例えば、リモコン車を制御する場合、ユーザは、一体型ディスプレイ１０２に垂直な軸１９０を中心としてエンタテインメント装置を回転させて、車を左又は右に操縦し、エンタテインメント装置の長辺の中心に平行する軸１９４を中心としてエンタテインメント装置を傾けて、加速又は制動することができる。ＣＰＵ１０１が、運動センサからの入力に応じてリモコン玩具を制御するのに適した他の異なる制御信号を生成し得ることが当業者には理解されるであろう。
【００２３】
さらに、他の制御機能を提供してもよい。例えば、左ショルダーボタン１０５を使用して、ギアを減速チェンジし、右ショルダーボタン１０７を使用して、ギアを加速チェンジしてもよいが、ショルダーボタンの動作がギアチェンジに限定されず、車の他の機能又はゲームに関連する他の機能の制御に使用されることができることが理解されるであろう。車では、ギアチェンジは、物理的なギアを使用すること、又は仮想ギアボックスを提供するために、１つ若しくは複数のモータの回転を許容できる速度を制御することのいずれかで実施することができる。さらに、車の運動制御に使用されない左ジョイパッド及び右ジョイパッドのボタンは、ホーンを鳴らすこと、又は「ニトロブースト」を提供することのような他の機能を操作するのに使用されてもよい。「ニトロブースト」とは、短時間で車の速度を上げ、それによって、現実の車のエンジン内に一酸化二窒素を注入する効果を模倣する、レースゲームに一般に見られる機能である。リモコン車では、これは、車のモータの駆動電圧を短時間、増大させることによって達成することができる。
【００２４】
本発明の実施形態によるリモコン車について、図２を参照してこれより説明する。
【００２５】
図２は、本発明の実施形態によるリモコン車１００の概略図を示す。リモコン車に通常見られる特徴の他に、リモコン車１００は、車１００の制御に関連する車両制御コマンドを生成することによってコントローラとして機能すると共に、エンタテインメント装置１００から受信した制御データに応じて車の挙動を変更するように動作可能なプロセッサ２０５と、ビデオデータ、音声データ、車両制御データ等のようなデータを記憶するように動作可能なメモリ２１０と、通信リンク２２５を使用して、エンタテインメント装置１００のような遠隔制御装置と通信するように動作可能な送受信手段２１５（Ｔｘ／Ｒｘ）と、車が位置する環境のビデオ画像を取り込むように動作可能なビデオカメラ２２０と、車両推進手段２３５と、車両操舵手段２４０と、プロセッサ２０５、メモリ２１０、送受信手段２１５、ビデオカメラ２２０、車両推進手段２３５、及び車両操舵手段２４０のうちのいずれか又はすべてに給電するように動作可能な電池２４５と、通信／電力バス２３０とを備える。送受信手段（Ｔｘ／Ｒｘ）２１４、プロセッサ２０５及びメモリ２１０、車両推進手段２３５、車両操舵手段２４０、並びに電池２４５はすべて、通信／電力バス２３０を介して動作可能に接続される。好ましくは、電池２４５は充填可能であるが、車２００への給電に、燃料電池、太陽電池、使い捨て電池、内燃エンジン等のような他の電源を使用してもよいことが理解されるであろう。これらの電源は、車２００の異なる動作特徴にそれぞれ給電するように組み合わせることが可能である。
【００２６】
上述した実施形態は、後輪駆動車を示すが、車２００は前輪駆動又は四輪駆動とすることもできることが理解されるであろう。オプションとして、車両操舵手段２４０は、四輪すべてが車両の操縦に使用されるいわゆるモンスタートラックにおいて見られるものと同様に、四輪操舵を利用するように車２２０の車輪を制御するために動作可能である。
【００２７】
さらに、各車輪は、エンタテインメント装置１００から受信される制御信号に従って、又はプロセッサ２０５によって、独立して（例えば、選択的な制動、且つ／又は各駆動モータのパワー出力を制御することにより）制御することが可能である。さらに、車輪のうちの１つ又は複数は、各車輪が実施する毎秒回転数を検出するように動作可能な回転検出器（図示せず）に動作可能に結合することができる。回転検出器によって生成された信号は、通信バス２３０を介してプロセッサ１０５に送信される。プロセッサ２０５は、次に、回転検出器から受信したデータに応じて、車の速度に関連する速度データを生成することができる。回転検出器によって生成されたデータは、後述するようにデッドレコニングを実行するときに使用することもできる。オプションとして、回転検出器によって生成された信号は、通信リンク２２５を介してエンタテインメント装置１００に送信することができる。
【００２８】
本発明の実施形態によれば、リモコン車２００は、さらに、各車輪のサスペンションシステムへの負荷を検出するように動作可能なサスペンション位置センサ（図示せず）に動作可能に結合された独立懸架式サスペンション（図示せず）を備える。これらは、車２００が空中にある（例えば、ジャンプ中）か否か、又は車２００が後輪走行（前輪のみが地面から離れている）を実施しているか否かを検出するために使用することができる。例えば、サスペンション位置センサが、四輪すべてに負荷がかかっていないことを検出する場合、プロセッサ２０５は、車が空中にある（又はおそらく上下逆である）ことを示す信号を生成するために動作可能である。この信号は、次に、通信リンク２２５を使用してエンタテインメント装置１００に送信される。次に、受信された信号をドライブゲーム内で使用して、ゲーム内のスコアを生成するか又はゲーム統計を生成することができる。
【００２９】
例えば、車がジャンプ中に空中で費やす時間長の記録を記憶することができ、空中で費やした最長時間を示すテーブルを編成することができる。さらに、車が空中にいる間に走行した地面上の距離を、回転検出器（車２００が最初に空中に浮いた時点の車２００の速度を与える）によって生成されるデータ、及びサスペンション位置センサによって生成されるデータによって示される空中で費やした時間に応じて、ＣＰＵ１０１によって計算することができる。次いで、走行距離及び他のゲーム統計は、一体型ディスプレイ１０２上でユーザに対して表示することができるか、又はゲームスコアの生成に使用することができる。オプションとして、ゲームスコアは、所定の時間期限内で車両が実行したジャンプの回数に応じて生成されてもよい。
【００３０】
各車輪の独立制御は、アクティブサスペンション、アンチロックブレーキシステム（ＡＢＳ）、ポンピングブレーキ、トラクションコントロール、可変操舵、安定制御、車輪間のパワー分配、ギアボックス比変更、一酸化二窒素注入等のようなフルサイズの路上車に見られる特徴を再現するために使用することも可能なことが理解されるであろう。
【００３１】
さらに、車２００は、充電ステーションとの誘導結合によって電池２４５を充電するように動作可能な誘導性充電手段を備えることができる。オプションとして、電池２４５は、適した整流器を使用すると共に、電池を、一次コイルがナショナルグリッド電源に接続された変圧器の二次コイルのような充電源に電気的に接続することにより、充電されてもよい。
【００３２】
オプションとして、車２００は、製造コストを節減するために、メモリ２１０を備えず、プロセッサはおそらく特定用途向け集積回路の形態である。このような場合、車は単に、エンタテインメント装置から方向命令を受信して実施し、画像信号及び／又はサウンド信号を取り込み、エンタテインメント装置に転送する。
【００３３】
オプションとして、プロセッサは、Motion Pictures Expert Group４データフォーマット（ＭＰＥＧ４）、国際電気通信連合電気通信標準規格Ｈ．２６３ビデオ、音声ビデオ標準規格（ＡＶＳ）等のような適切なビデオ圧縮標準規格を使用して、取り込まれたビデオ画像を圧縮し、それによってビデオ画像をエンタテインメント装置１００に送信する（Ｔｘ／Ｒｘ２１５及び通信手段１２０を使用）ときの帯域幅要件を低減するために動作可能である。
【００３４】
さらに、車は、オプションとして、ホーン、車への衝突を検出するように動作可能な加速度計、車と別の物体との間の衝突を検出するスイッチに動作可能に結合されるバンパー又は緩衝材、ラウドスピーカのような音声再生手段、マイクロホン、ライト、発射体を発射するように動作可能な発射体発射装置、リモコン車２００の給電に使用される電池内の充電量を検出するように動作可能な電池充電検出手段、及び車と別の物体との間の距離を検出するように動作可能な距離測定手段のうちのいずれか又はすべてを備えてもよい。これらのそれぞれの動作及びエンタテインメント装置１００とこれらとの対話について下記でより詳細に後述する。
【００３５】
本発明の一実施形態によれば、上述した車の特徴、特に、操舵、ブレーキ、及びサスペンションのような車の実際の物理的な性能に関連する特徴は、ユーザによってカスタマイズ可能であるか、又は予めプログラムされた設定に従って設定することが可能である。これらの設定は、ユーザによって選択可能であるか、又はゲームの実行に使用されているソフトウェアによって定義可能である。本発明の一実施形態によれば、これらの設定は、以下のうちのいずれか１つを含むことができる。
標準モード：車のセットアップの可能なすべての組み合わせのうちの平均であるが、このモードは、エンタテインメント装置１００を使用しているユーザによってカスタマイズすることができる。
ラリースポーツモード：ギアボックスが急加速を提供するように設定され、サスペンションは硬に設定され、ＡＢＳが低に設定され、トラクションコントロールが低に設定され、安定制御が高に設定され、それによってフルサイズのラリー車の性能を模倣する。
オフロードモード：高トルク（すなわち、低ギア比）であり、アクティブサスペンションが軟に設定され、ＡＢＳが高に設定され、トラクションコントロールが高に設定され、アクティブ制御が、四輪すべてに均等なパワー分配を提供するように設定され、安定制御が高に設定され、四輪操舵であり、それによって不整地を走るときにユーザに車２００の最大の制御能力が与えられる。
Ｆ１スポーツモード：高マニュアルギアボックス比であり、アクティブサスペンションが硬に設定され、ＡＢＳが高に設定され、トラクションコントロールが高に設定され、アクティブドライブは１００−０リア／フロントパワー分配を有するが、フロントとリアとの間でのパワー分配のアナログ変更は回転半径に依存し、安定制御が高に設定され、それによって平地での走行のときに最大のグリップ及び速度が与えられる。
ニトロブーストモード：上述したように、駆動モータに供給される電圧が、短時間にわたって増大して、速度の顕著な増大を生み出す。このモードは常に利用可能なわけではない。
【００３６】
上述した設定では、「サスペンションが硬に設定される」は、サスペンションシステムが高いバネ比（車両サイズに合わせてスケーリングされる）を有することを意味し、「サスペンションが軟に設定される」は、サスペンションシステムが低バネ比（車両サイズに合わせてスケーリングされる）を有することを意味し、「高」は、エンタテインメント装置１００及び／又は車２００によるそのシステムのコンピュータ支援制御の程度が、システム（すなわち、トラクションコントロール、ＡＢＳ等）によって生成されたシステム監視信号に応答してエンタテインメント装置１００及び／又は車２００によって生成された制御信号が車の運転挙動に実質的な影響を有するように設定されることを意味し、「低」は、エンタテインメント装置及び／又は車２００が、車の動きがコンピュータ支援制御ではなくシステムの機械的属性によって主として決定されるようにセットアップされることを意味する。
【００３７】
図３は、リモコン車２００と通信するエンタテインメント装置１００の概略図を示す。ここで、車２００は、ビデオカメラ２２０を使用して、車が位置する環境のビデオ画像を取り込み、送受信手段２１５を使用してビデオ画像をエンタテインメント装置１００に送信する。例えば、車が位置する環境は、ソファ３０５、他の家庭の物体、又はドア若しくは階段のような構造的特徴のような物体を含み得る。代替的には、車を外で使用する場合、環境は、木、植物、庭のノーム人形等を含んでもよい。
【００３８】
次に、画像は、一体型ディスプレイ１０２上にエンタテインメント装置１００によってレンダリングされる。したがって、ユーザは、友人をスパイするように車２００を制御するか、又は障害物を構築し、障害物を乗り越えている車２００のビデオカメラ２２０からのライブビデオを見ることができる。さらに、エンタテインメント装置は、通信リンクを介してリモコン車から受信したビデオ画像を記憶装置１３５に記憶するために動作可能である。次に、ユーザは、無線通信手段１２０のような適切な通信インタフェースを使用して、記憶されているビデオ画像を、選択したウェブサイトにアップロードすることができる。通常、無線通信手段１２０は、ＩＥＥＥ８０２．１１（ＷｉＦｉ）標準規格に準拠するが、他の任意の適切な無線通信手段を使用することもできる。
【００３９】
オプションとして、車２００が音声再生手段及び／又はマイクロホンを備える場合、音をエンタテインメント装置１００によって取り込み記録することも可能である。さらに、ユーザは、通信リンク２２５を介して音楽又は他の音声を車に送信し、音声再生手段を使用して再生することができる。例えば、ユーザは、エンタテインメント装置１００を使用して、好みの曲を送信するか、又は選択した特定の車（例えば、フェラーリ、フォードＧＴ４０、オースティンミニ、２ＣＶ、トラバント等）のエンジン音を記録した音声トラックを車２００にダウンロードすることを選択することができ、車２００において、音声再生手段を使用して再生される。オプションとして、車２２０は、音楽又はエンジンノイズのようなサウンド効果のような予めロードされた音声データがメモリ２１０に記憶されている状態で販売又は供給されることができる。したがって、音声再生手段は、現実の車のエンジン音を再生し、それによって、ゲーム経験に本物の感覚を添えることができる。
【００４０】
通常、音声データは、Motion Pictures Expert Group１レベル３データフォーマット（ＭＰ３）でエンタテインメント装置１００から車２００に送信されるが、他の任意の適した圧縮されるか又は圧縮されない音声データフォーマットを使用してもよい。車２００がホーンをさらに備える場合、エンタテインメント装置は、車にホーンを鳴らすコマンドを送信することができるか、又は音声再生手段を使用してホーン音を再生することができる。例えば、ユーザは、車２００を別の部屋まで走らせ、ホーンを鳴らし、それによって、その部屋の居住者を驚かせることができる。
【００４１】
オプションとして、車２００は、車が生み出す音が、通常動作モードの音よりも低く低減される「サイレント走行モード」を備える。例えば、音声再生手段は、音声が出力されないように設定することができ、ＣＰＵ１０１は、車の速度を所定の閾値未満に制限して、車両推進手段によって生成されるノイズを制限する制御信号を生成することができる。したがって、例えば、サイレント走行モードは、ユーザが車を走らせて、友人をスパイするか、又は上述したようにホーンを鳴らして部屋の居住者を驚かす際の意外性を加えるのを助ける。
【００４２】
車２００がレースゲームのために使用される場合、エンタテインメント装置１００の一体型ディスプレイ１０２は、スピードメータ、タコメータ（回転数カウンタ）、現在のギアと共にいつギアチェンジすべきかについてのプロンプト、車の設定（例えば、車の設定に関連して上述したラリーモード、Ｆ１モード、オフロードモード等）等のようなレースゲームで一般に知られている機能を表示するために動作可能である。さらに、一体型ディスプレイは、ＣＰＵ１０１によって生成される制御信号に応答して、通信リンク２２５の信号強度、電池２４５に蓄えられた充電量、いつ「ニトロブースト」をゲーム内で使用できるかを示すための、車の車両推進手段２３５を駆動するために使用中の現在の電圧、ブレーキ圧等の情報を表示することができるが、一体型ディスプレイ１０２は、ゲームの任意の関連する機能を表示するために使用され得ることが理解されるであろう。
【００４３】
本発明の実施形態によれば、エンタテインメント装置１００は、拡張現実ゲームプレイモードでリモコン車２００と通信するために動作可能である。拡張現実ゲームプレイモードは、エンタテインメント装置１００が、車２００から受信するデータに応じて、現実の環境内の（おそらくは所定の）１つ又は複数の現実の特徴を検出し、検出された特徴（複数可）をコンピュータ生成画像材料で置き換えるか又は拡張するように動作可能なモードである。これは、装置１００が受信するビデオデータに対して作用するＣＰＵ１０１及びＧＰＵ１１０によって処理される。次に、エンタテインメント装置１００は、コンピュータ生成画像材料が、現実環境内で検出された画像特徴の物理的な位置に対応づけられてビデオ画像に対して配置されるように、取り込まれたビデオ画像及びコンピュータ生成画像材料を組み合わせた表示を生成する。
【００４４】
したがって、例えば、車２００は、仮想現実レーストラック３１０（コンピュータ生成特徴）に沿い、仮想現実給油ポンプ３１５（別のコンピュータ生成特徴）を通過して走っているように見えることができ、これらの仮想特徴は、車が位置する現実環境（例えば、ソファ３０５）も見えると共に、仮想現実レーストラックがソファの周りでカーブし、それによって、ユーザがレーストラックを辿ったときに、車がソファに衝突しないように表示される。さらに、拡張現実特徴を使用して、ゲーム機能を追加することができる。オプションとして、拡張現実特徴に加えて、ユーザは、物理的なレーストラック、ジャンプ、障害物等のような他の現実の物体を使用して、各自のゲームシナリオを作成することができる。
【００４５】
これを達成する技法についてこれより説明すると共に、拡張現実ゲームプレイモードについて図４及び図５を参照してより詳細にこれより説明する。
【００４６】
図４は、拡張現実ゾーン４１０と対話するリモコン車２００の概略図を示す。拡張現実ゾーン４１０は、拡張現実マーカ（ＡＲマーカ）４０５に対して定義される。本発明の実施形態では、ＡＲマーカは、既知の画像認識方法を使用して、取り込まれたビデオ画像内で比較的容易に自動的に区別される任意の物体とすることができるが、既知のＲＦ技法を使用して検出される無線周波数（ＲＦ）トランスポンダであり得る。ＲＦ ＡＲマーカの使用についてより詳細に後述する。
【００４７】
ＡＲマーカが、画像認識方法を使用して検出される場合、ＡＲマーカは、例えば、立方体若しくは円筒体のような三次元物体であってもよく、又は正方形又は円のような二次元マーカであってもよい。通常、ＡＲマーカは、白黒正方形等の容易に区別可能なパターンを含むが、特定の色又はカラーパターンを使用する等のような他の方法をマーカ認識に使用してもよい。好ましくは、ＡＲマーカは、拡張現実マーカの分野において既知の「フラクタル」マーカパターンを備える。
【００４８】
「フラクタルマーカ」とは、パターンとしてより小さなマーカの群を有するＡＲマーカである。より小さなマーカのそれぞれは、マーカとして機能することができる独自のパターンを有する。したがって、フラクタルマーカ全体のうちの一部のみが、ビデオカメラによって取り込まれた画像内で見える場合でも、より小さなマーカのうちのいくつかの完全な画像を依然としてビデオカメラによって取り込むことが可能であるため、依然としてフラクタルマーカを使用して拡張現実を提供することができる。さらに、カメラがフラクタルマーカに近すぎて、フラクタルマーカ全体の境界線がもはやビデオカメラの視野内で見えない場合でも、依然としてマーカにより、ＡＲシステムは効果的に機能することが可能である。マーカが二次元の場合、マーカは接着性を有し、それによって、ユーザがマーカを、ソファ３０５の側面のような環境内の物体に貼り付けることを可能にする。
【００４９】
通常、エンタテインメント装置１００のＣＰＵ１０１は、当該技術分野において既知の画像認識技法を使用することにより、ビデオ画像内のＡＲマーカを検出する。しかし、車２００のプロセッサ２０５が、取り込まれたビデオ画像内のマーカを検出し、画像内のマーカの位置に関連する画像マーカ位置データを（既知の技法を使用して）生成できることが理解されるであろう。次に、画像マーカ位置データは、送受信手段（Ｔｘ／Ｒｘ）２１５を使用して、通信リンクを介してエンタテインメント装置１００に送信することができる。したがって、ＡＲマーカの検出に必要な画像処理タスクは、エンタテインメント装置、車で行うことができるか、又はこれらの２つの間で分割することさえできる。
【００５０】
ＡＲマーカ４０５が検出されると、ＣＰＵ１０１は、ＡＲマーカ４０５が占めている表示された画像の割合−ここでも、既知の画像認識技法−に応じて、車２００とＡＲマーカ４０５との間の距離を検出するために動作可能である。ＣＰＵ１０１は、車の現実環境内のＡＲマーカの（現実の）位置を囲む現実環境内の領域を表すものとして、拡張現実ゾーン（ＡＲゾーン）４１０を定義するようにも動作可能である。
【００５１】
車２００が、ＡＲゾーン４１０に対応する現実エリア内にある場合、リモコン車２００と対話しているエンタテインメント装置１００の機能は、拡張又は変更される。拡張現実ゲームモードの以下の説明は、レースゲームを説明するが、他の任意の適したゲームを使用することができることが理解されるであろう。
【００５２】
本発明の実施形態では、拡張現実ゾーン４１０は、例えば、仮想の釘が出た路面（bed of nails）又は油膜を定義する。車２００が、釘が出た路面又は油膜上を走る（すなわち、ＡＲゾーン４１０に入る）場合、エンタテインメント装置１００は、車２００の走行性能が影響されるようなコマンドを車２００に送信するために動作可能である。したがって、エンタテインメント装置上で以前は単独で実行された仮想レースゲームに一般的に関連付けられるゲーム効果を、リモコン車２００のようなリモコン玩具又は車両によって現実環境内で実現可能でありながら、車２００はユーザの家の方々をレースすることができる。
【００５３】
上記で与えられた釘が出た路面の例では、エンタテインメント装置１００は、例えば、影響を受けた１つ又は複数の車輪の回転を停止することにより、タイヤがパンクした印象を与えるように車両推進手段２３５を制御する信号を車１００に送信することができる。上記で与えられた油膜の例では、エンタテインメント装置は、車２００のハンドルがとられてスピンするようにプロセッサ２０５によって実行されるコマンド、又はユーザによる任意のユーザ入力コマンドをディセーブルするコマンドを車２００に送信し、それによって、現実の油膜を横切って運転する効果を模倣することができる。オプションとして、車が拡張現実ゾーン４１０を出ると、これらの効果は停止する。しかし、これが必ずしも該当する必要はない。仮想の釘の出た路面の場合、影響を受けたタイヤは、特定の時間中、又は別のゲームアクションが行われるまで、動かないままであり得る。仮想油膜及び仮想の釘が出た路面をリモコン車に関連して説明したが、砂、雪、氷等のような他の効果及びリモコン玩具又はゲームに適切な他の任意の効果をシミュレートすることができることが理解されるであろう。
【００５４】
この機能に必要な処理タスクが、エンタテインメント装置、車、又は両方の間で分割して実施され得ることが理解されるであろう。基本ステップは、取り込まれたビデオ内のＡＲマーカを検出すること、ＡＲゾーンを定義すること、車がＡＲゾーン内にあるか否かを検出すること、ＡＲゾーン内の車の挙動又は応答を変更する制御命令を生成すること、及びこれらの制御命令に応答することである。これらのうちの最後（命令に対して物理的に応答すること）のみは、車によって実施される必要がある。残りのタスクは、車又はエンタテインメント装置によって実行することができ、データは、無線リンクを介して車とエンタテインメント装置との間で（適宜）共有される。
【００５５】
さらに、ＡＲゾーンの使用は、リモコン車の運動の制御に限定されず、車の他の挙動を変更してもよいことが理解されるであろう。例えば、上述した仮想の釘が出た路面では、エンタテインメント装置は、音声再生手段に、車のタイヤがバーストし、それから横滑りするか又は軋む音を再生させる制御信号を生成することができる。さらに、音声再生手段によって出力される音を変更する、車の設定を（例えば、オフロードモードとラリーモードとの間で）変更する、発射体発射手段に発射体を発射させる等のように、車の他の機能及び挙動を変更することができる。
【００５６】
車２００が、ＡＲゾーン４１０に対応する現実エリア内にあるか否かを判断するために、様々な異なる技法を利用することができる。通常、マーカに対する車の位置は、当該技術分野において既知の技法を使用して、取り込まれたビデオ画像内のＡＲマーカ４０５のサイズを求めることによって検出される。オプションとして、車の位置は、デッドレコニングを使用して、例えば、車輪の回転数を検出することにより、又は当該技術分野において既知の適切な技法を使用することによって取り込まれたビデオ画像内で検出された動きベクトルを追跡することにより、追跡することができる。これは、通常、車２００から通信リンク２２５を介して受信されたデータに基づいて、エンタテインメント装置のＣＰＵ１０１によって実施されるが、これがリモコン車２００のプロセッサ２０５によって実行され得ることが理解されるであろう。
【００５７】
図５は、リモコン車２００、仮想レーストラック３１０、並びに２つの拡張現実マーカ５０５及び５１０の概略図を示す。ここで、拡張現実マーカは、仮想道路３１０の位置を定義するために使用される。ＣＰＵ１０１は、ＡＲマーカ５０５及び５１０の位置を検出し、ビデオカメラ２２０によって取り込まれたビデオ画像と共にディスプレイ上にレンダリングされる仮想道路３１０を生成する。プレーヤがトラックから逸脱するか又はトラックから出る場合、ＣＰＵ１０１は、車２００に送信される、（標準的な画面ディスプレイベースのレースゲームでのように）車２００を減速させるコマンドを生成する。オプションとして、ＣＰＵ１０１は、オーバーステア及びアンダーステアの効果をシミュレートするコマンドを生成することができる。これらは、通信リンク２２５を介して車２００に送信され、車２００のプロセッサ２０５は、次に、車を制御しゲーム効果をシミュレートするように車両推進手段２３５及び車両操舵手段２４０を制御する制御信号を生成する。
【００５８】
さらに、マーカ５０５は、多くの異なる方法でレースゲームのゲームプレイを拡張するために使用され得る。例えば、レースゲームのタイムトライアルセクションでは、プレーヤは、特定の時間量以内に所定の距離内にある特定のマーカまで該プレーヤの車２００を走らせるか、又は特定の時間量内にマーカ５０５と５１０との間に到着する必要がある。
【００５９】
本発明の実施形態では、複数の拡張現実マーカを使用して、１人又は複数のプレーヤがレースするコースを定義することができる。例えば、マーカは、トラックのエッジ又はトラックの中心を定義することができ、既知のカーブ描画技法を使用して、カーブがマーカ間に挿入される。オプションとして、マーカは、該マーカ上に異なるマーカパターンを有することができ、異なる属性が各パターンに関連付けられ、エンタテインメント装置は、このような属性に応答して該エンタテインメント装置が生成する制御データを変更する。例えば、トラックの開始及び終了を記す「ラップ」マーカを定義することができる。さらに、「中間」マーカを使用して、トラックの中間を記すことができる。これは、有利なことに、ユーザが、最小数のマーカで該ユーザの家の地理的レイアウトを使用して該ユーザ自身のトラックレイアウトを定義できることを意味する。
【００６０】
一例として、ユーザは、コーヒーテーブル（「ラップマーカ」が貼り付けられている）において開始し、ソファ３０５の下でレースし、廊下で「中間」マーカを通過し、それから再びコーヒーテーブルに戻ると決定することができる。システムが仮想トラックを作成するのではなく、おそらくゲームのラリーにおける別の形として、マーカ間の任意の許容可能なルートを使用することができ、それによって、ユーザがトライして、マーカ間の最速ルートを見つけることができるようにする。さらに、複数の異なるマーカを使用して、異なる建物を示すことができる。したがって、例えば、ユーザは、可能な限り多額のお金を稼ぎ、それによって、ゲーム内で高スコアを獲得するように、車２００を特定のマーカ（建物）に所定の順序で特定の時間量以内で走らせる必要がある「タクシードライバ」ゲームをプレイすることができる。
【００６１】
ＣＰＵ１０１は、オプションとして、取り込まれたビデオ画像内で検出されたＡＲマーカと、壁掛け時計又はコーヒーテーブルのような取り込まれたビデオ内で検出された他の画像特徴とのアドホックな関連性を生成するために動作可能である。ＣＰＵ１０１は、ＡＲマーカ及び指定された画像特徴に対する車２００の相対位置に関連する位置データを生成することができる。これらのアドホックな関連性は、フラッシュメモリ１３５内に記憶される。したがって、アドホックな関連性を使用して、ビデオフレーム毎に車２００の位置を計算することなしに、追加の位置情報を提供することにより、ＣＰＵ１０１に対する処理負荷を低減することができる。さらに、例えば、アドホックな関連性を使用して、レースゲーム内で実行されなければならないゲームアクションを定義することができる。例えば、プレーヤは、アドホックな関連性によって定義される特定の角度からＡＲマーカに近づくように車２００を操縦する場合、追加ポイントを獲得することができる。
【００６２】
本発明の一実施形態によれば、エンタテインメント装置１００は、ＡＲマーカに割り当てることができる（給油ポンプ３１５のような）仮想オブジェクトのデータベースを記憶するために動作可能である。仮想オブジェクトのリストは、ユーザが、左ジョイパッド若しくは右ジョイパッド（１０６、１０８）又はショルダーボタン１０５及び１０７のような入力装置を使用して、各ＡＲマーカに割り当てる仮想オブジェクトを選択できるように、一体型ディスプレイ１０２上でユーザに対して表示される。したがって、ユーザは、ＡＲマーカを使用して、仮想オブジェクトをＡＲマーカに割り当てることにより、該ユーザ自身のゲーム環境を設計することができる。このようにして、ユーザは、エンタテインメント装置１００を使用して、異なる機能を１つ又は複数のＡＲマーカ４０５に割り当て、且つ／又はＡＲゾーン４１０の形状及びサイズを定義することもできる。例えば、ユーザは、「釘が出た路面」を該ユーザが選択したマーカに割り当てると共に、「釘が出た路面」コマンドが発効するそのマーカの周囲のＡＲゾーンのサイズを定義することができる。
【００６３】
車２００又はゲームに参加していない他のユーザに対する損傷の可能性を低減するため、本発明の実施形態では、「進入禁止」ＡＲマーカが提供される。通常、これらは、ＣＰＵ１０１がマーカに対する任意の閲覧方向から取り込まれたビデオ画像を使用して、それらのマーカを識別するのが容易であるように、ストライプの円筒体であるが、任意の適切なマーカデザインを使用することができる。「進入禁止」ＡＲマーカを検出すると、ＣＰＵ１０１は、送受信機（Ｔｘ／Ｒｘ）１２０を使用して、マーカに近づく際に車に減速し停止するように命令するコマンドを車２００に送信する。例えば、「進入禁止」ＡＲマーカは、車が進入阻止される除外ゾーンを定義することができる。これは、例えば、マーカが円の中心にあるようにマーカに対して定義される円であり得るが、任意の適した形状を使用することができる。除外ゾーンは、拡張現実ゾーン４１０に関して上述した方法と同様に進入禁止マーカに対して定義される。したがって、ユーザは車を除外ゾーンの周縁の周りを走らせることができるが、車は除外ゾーンへの進入を阻止される。
【００６４】
上述したように、ＣＰＵ１０１は、車の位置に対するマーカの位置を検出するために動作可能である。進入禁止マーカの位置は、該進入禁止マーカがビデオカメラ２２０によって取り込まれる画像内で視認できない場合であっても（例えば、車２００がバックしている場合）、進入禁止マーカに対する車２００の位置をデッドレコニング等を使用して決定し（上述したように）、それによって車２００の除外ゾーンへの進入を依然として阻止することができるように、記憶装置を使用して記憶媒体に記憶される。
【００６５】
したがって、例えば、「進入禁止」マーカのユーザによる適切な位置決めにより、車２００が階段を落下すること、キッチンのような危険な部屋へ入ることを阻止することができ、暖炉等のような危険な物体が回避される。
【００６６】
【表１】
【００６７】
表１は、本発明の実施形態に従ってリモコン車２００を制御するために生成することができる典型的なコマンドのうちのいくつかを示す。表１に与えられる例は、本発明の実施形態を説明するに当たっての例示のためのものであり、発明を限定する意図はないことが理解されるであろう。例えば、「釘が出た路面」コマンドは、左後輪に影響するものとして示されるが、車輪のうちの任意の１つ又はそれらの組み合わせが影響され得ることが理解されるであろう。通常、ＣＰＵ１０１は、コマンドという見出しの列中で与えられるコマンドを生成し、その間に、各車輪に関連する制御信号が、通信リンク２２５を介して車２００に送信される。
【００６８】
しかし、オプションとして、ＣＰＵ１０１は、コマンドを生成し、それから通信リンク２２５を介してコマンドを車２００に送信してもよい。プロセッサ２０５は、以下の表１に詳述される所望の挙動をシミュレートするために必要な制御信号を生成すると共に、通信バス２３０を介して該制御信号を車両推進手段２３５及び車両操舵手段２４０に送信するために動作可能である。各車輪は、表１に説明されるように独立して制御可能であり得るが、製造コストを簡素化するために、例えば、後輪を駆動車輪とすることができ、前輪を操舵に使用することができる。しかし、任意の適切な装置を本発明の一実施形態として構想できることが当業者には明らかであろう。
【００６９】
オプションとして、メモリ２１０は、所望の挙動をシミュレートするために必要な制御信号（例えば、装置１００から送信された属性定義データ）に関連する制御データを記憶する。この場合、プロセッサ２０５は、メモリ２１０に記憶されている制御データに応じて車輪制御信号を生成する。さらに、更新制御データ（例えば、プログラムコード）をエンタテインメント装置１００から通信リンク２２５を介してメモリ２１０にダウンロードすることにより、追加機能をリモコン車２００に追加することができる。
【００７０】
ゲームの拡張現実特徴に従って車を制御することに加えて、エンタテインメント装置１００は、車に、「ドーナツ」（車の後輪をスリップさせて回転させ、それによって、静止したままの前輪を中心として車の後部を回転させ、結果として生じるスリップ痕がドーナツの輪に似る）、スピンターン、バックスピンターン、スピンターンしてからバックスピンターン、バック駐車、３６０度スピンターン、５４０度スピンターン等のような予めプログラムされた操縦を実行させる制御コマンドを生成するために動作可能である。この場合、車は予めプログラムされた操縦を、ユーザがその操縦に関連付けられるエンタテインメント装置上のボタンを押下するときに実施する。例えば、ユーザが左ショルダーボタン１０５を押下すると、車は３６０度スピンターンを実施することができる。
【００７１】
オプションとして、予めプログラムされた操縦を、車２００のメモリ２１０（命令記憶装置として機能する）内に記憶して、それによって予めプログラムされた操縦が実行される都度、エンタテインメント装置１００から車２００に送信する必要があるデータ量を低減することができる。この場合、エンタテインメント装置１００は、エンタテインメント装置１００の特定のボタンが押下されるときに実行すべき予めプログラムされた操縦を指定するコマンドを生成する。このボタンがユーザによって押下されると、エンタテインメント装置１００は、無線通信リンク２２５を介してこのコマンドを車２００に送信する。次に、プロセッサ２０５は、メモリ２１０から所定のアクションに関連する、関連性のある制御コマンドシーケンスを取り出して、これらのコマンドを実行し、それによって関連性のある予めプログラムされた操縦を車２００に実行させる。
【００７２】
さらに、ユーザは、エンタテインメント装置を使用して、該ユーザ自身の操縦シーケンスを記録することができる。この場合、ユーザは、車２００をリアルタイムで制御し、エンタテインメント装置１００は、いずれのボタンがユーザによって押下されたか、いかなるシーケンスで押下されたか、及び該シーケンスの中でのその他の入力に関する入力の相対的なタイミングを検出する。ＣＰＵ１０１は、次に、検出されたユーザ入力に応じて、車制御コマンドシーケンスを生成し、フラッシュメモリスティックインタフェース１３５を使用してこのシーケンスを記憶媒体に記憶するために動作可能である。ユーザは、次に、該ユーザが選択した入力ボタン（車２００の制御にまだ割り当てられていない）をこの操縦シーケンスに割り当てることができる。したがって、ユーザが次回、そのボタンを押下すると、エンタテインメント装置１００は、その制御信号シーケンスを車２００に送信し、車２００は、その操縦シーケンスを実施する。代替的には、エンタテインメント装置１００は、未使用の入力装置又はボタンのリストを記憶して、記憶されているシーケンスをそれらのボタンのうちの1つにランダムに割り当てることができる。
【００７３】
オプションとして、車２００は、プロセッサ２０５を使用してエンタテインメント装置１００から受信した制御コマンドシーケンスを検出して、このシーケンスをメモリ２１０に記憶することができる。上述したように、このシーケンスに割り当てられたボタンが押下されると、プロセッサ２０５は、メモリ２１０から関連性のある制御コマンドを取り出して、その制御コマンドシーケンスを実行し、それによって車に所望のシーケンスを実行させる。
【００７４】
このようにして、ユーザは、現実環境内の仮想レーストラックの完全なラップに対応するコマンドシーケンスを車２００にプログラムすることができる。したがって、ユーザは、トラックを首尾良く走らせるために必要な操縦シーケンスを記録することにより、いわゆる「ゴーストカー」を作成することができる。「ゴーストカー」は、ユーザが、異なるラップからの自分自身のパフォーマンスを再作成することにより、自分と対抗してレースすることを可能にする。したがって、次に、ユーザは、異なるリモコン車を使用して、自分自身とレースすることができる。さらに、上述したシステムにより、ユーザは、車がラップを回る経路に対して小さな変更を行うことによってラップ時間を短縮し、それによって「完全な」ラップを作成しようとすることができる。この場合、ユーザの入力に応答してエンタテインメント装置によって生成される追加のコマンドは、すでに記憶されている制御コマンドシーケンスに連結される。この機能は、ユーザがゴーストカーとレースするときのユーザに対する挑戦を増大させる。
【００７５】
さらに、エンタテインメント装置は、ビデオカメラ２２０によって取り込まれたビデオ映像を記憶することが可能である。例えば、ユーザが「トリック録画モード」の入力を選択し、それによって上述したように操縦シーケンスを記録した場合、ＣＰＵ１０１は、このモードがユーザによって選択されたことを検出するように動作可能であり、車２００から通信リンク２２５を介して送信されたビデオ画像の取り込みを開始する。エンタテインメント装置１００は、次に、記憶装置１３５を使用して、取り込まれたビデオ画像を記憶する。
【００７６】
オプションとして、エンタテインメント装置１００は、取り込まれたビデオ画像から生成される「スナップショット」画像を記憶するために動作可能である。例えば、ゲームプレイ中、ユーザがエンタテインメント装置１００の所定のボタンを押下すると、ＣＰＵ１０１は、ビデオカメラ２２０によって生成され、車２００から通信リンク２２５を介してエンタテインメント装置２００に送信されたビデオ画像シーケンスから画像を取り込む。取り込まれたスナップショットは、次に、記憶装置１３５に記憶される。
【００７７】
上述したように、エンタテインメント装置１００は、操縦シーケンスを記録すると共に、回転検出器によって生成された信号に応じて車２００の走行速度及び走行距離を検出するために動作可能である。したがって、エンタテインメント装置１００は、車２００の位置を追跡し、それによってＡＲマーカ５０５及び５１０を参照せずに仮想レーストラック３１０を生成することができる。これについて、図６を参照してより詳細にこれより説明する。
【００７８】
図６は、本発明の実施形態によるリモコン玩具の位置に関しての拡張現実ゾーン及び拡張現実オブジェクトの概略図を示す。
【００７９】
図６に示すように、エンタテインメント装置１００は、車２００が現実環境内でとる経路６０５を検出すると共に、車２００が辿った経路６０５を示す仮想経路データを生成するために動作可能である。通常、この経路定義プロセスは、ユーザ入力に応答して生成される制御信号（上述したような）及び／又はゲームによって生成される制御信号と組み合わせて、回転検出手段によって生成されるデータに応じてデッドレコニング技法を使用することによって実行される。オプションとして、既知のオプティカルフロー技法を使用して、環境に対する車２００の位置を追跡し、それによって経路データを生成することができる。これらの技法を組み合わせてもよいこと、及び適切な距離測定手段を使用して実行される距離測定に基づくもののような他の車両追跡手段を利用してもよいことが理解されるであろう。好ましくは、車２００の位置は、検出された経路６０５からの車２００の現実の位置のずれを低減するために、車の以前の既知の位置ではなく車の開始位置を基準にして測定される。
【００８０】
車２００の経路６０５を追跡するときに生成されるデータ量を低減するために、ＣＰＵ１０１は、車２００の位置を所定の間隔で検出して、それによって、経路６０５上の様々なポイントにおいて車の位置を「サンプリング」するために動作可能である。ＣＰＵ１０１は、次に、検出された位置間を補間して、それによって車２００が辿った実際の経路６０５の近似値を求めることにより、仮想経路を生成するために動作可能である。ＣＰＵ１０１は、次に、仮想経路データに応じて仮想経路を定義するために動作可能である。
【００８１】
さらに、オプティカルフロー技法がデッドレコニングに加えて使用される場合、ＣＰＵ１０１は、デッドレコニングを使用して生成された仮想経路データと、オプティカルフロー技法を使用して生成された仮想経路データとを比較すると共に、任意の差を検出するために動作可能である。２つの対応する仮想経路の差が所定の閾値を超える場合、ＣＰＵ１０１は、これらの経路を無効と指定すると共に、そのため、このような経路に応じて仮想画像特徴を生成しないように動作可能である。これは、例えば、車２００の車輪が平滑な路面上をスリップして、車２００が走行した実際の距離よりも長い距離が検出されることになる場合に発生し得る。さらに、ＣＰＵ１０１は、一体型ディスプレイ１０２に「無効」経路信号を生成し得るユーザへの警告を表示させると共に、ユーザに経路定義プロセスのリスタートを指示させる。
【００８２】
２つの仮想経路の差が所定の閾値よりも小さい場合、ＣＰＵ１０１は、オプティカルフローを使用して生成された仮想経路、デッドレコニング技法を使用して生成された仮想経路、及び両経路の位置の平均のうちのいずれか1つに応じて、ゲーム内で使用する仮想経路を生成することができる。
【００８３】
有利なことに、経路６０５は、ユーザが（リビングルームのような）現実環境の方々に車２００を走らせることによって定義することができ、それによって例えば、レースするためのユーザ自身のトラックが作成される。代替的には、車は、所定の経路上で車を走らせるように、エンタテインメント装置２００で実行されているソフトウェアによって制御することができる。車を現実環境で走らせることにより、生成される仮想経路を現実環境に首尾良くマッピングすることができる。
【００８４】
次に、仮想経路データは、フラッシュメモリスティックインタフェース１３５を使用してエンタテインメント装置１００に記憶される。
【００８５】
仮想経路が定義されると、ＣＰＵ１０１は、生成された仮想経路に対して定義されるゲーム特徴及び仮想オブジェクトを生成するために動作可能である。例えば、給油ポンプのような仮想オブジェクト６１５又は建物のような仮想特徴６２０を生成し、それらを、現実環境を通じて車２００がとる実際の経路に応じて生成された仮想経路に対して定義される現実環境内の位置に現れるように、取り込まれたビデオ画像内にレンダリングすることができる。さらに、上述した拡張現実ゾーンのような拡張現実ゾーン（例えば、拡張現実ゾーン６１０）を仮想経路に対して定義することができる。
【００８６】
オプションとして、仮想経路に対する仮想オブジェクト、特徴、及び拡張現実ゾーンの位置決めは、ユーザによって定義されてもよい。この場合、ＣＰＵ１０１は、一体型ディスプレイ１０２上に、仮想オブジェクト、特徴、及び仮想現実ゾーンのリストと共に仮想経路を表示するために動作可能である。ユーザは、次に、エンタテインメント装置１００のユーザ入力機能（例えば、左ジョイパッド及び右ジョイパッド）を使用して、使用を望む特徴、物体、及びゾーンを選択し、これらの特徴を前に定義された仮想経路に対して所望のように位置決めすることができる。したがって、例えば、ユーザは、有利なことに、車２００を競走させるためのレーストラックを定義すると共に、使用を望む仮想オブジェクト及び拡張現実ゾーンを定義することができる。さらに、仮想経路を定義すると共に、記録された仮想経路に対して仮想オブジェクト、特徴、及びゾーンを定義することにより、ユーザは自身のゲームを望むように自由にデザインすることができる。
【００８７】
経路定義プロセス、並びに結果として生成される仮想経路に対する仮想オブジェクト、特徴、及びゾーンの配置を、本明細書において説明したＡＲマーカ技法と組み合わせてもよいことが理解されるであろう。
【００８８】
ゲームプレイ中の状況によっては、ゲーム内で、ユーザは、車両を操舵する入力を直接提供しなくてもよい場合がある。例えば、車２００がゲーム内のトラックの直線部分を走行している場合、ユーザは、車２００がユーザからの入力なしで直線で走行することを妥当に予期することができる。しかし、車両操舵手段がサーボを備える場合、サーボ差動間の差及び車２００内の製造許容差により、車が片側にドリフトするか、又は一定の程度で左若しくは右に操舵される場合がある。したがって、ユーザは、車が仮想トラック上に居続けることを確実にするために、現実環境において車２００の経路を常に修正する必要がある場合がある。
【００８９】
この問題に対処するために、エンタテインメント装置１００及び／又は車２００は、車両操舵手段と協働することによってステアリングを「調整」し、それによって、ユーザ入力がＣＰＵ１０１によって検出されないときに車２００に直線上を走行させることができる。
【００９０】
この場合、ＣＰＵ１０１及び／又はプロセッサ２０５は、デッドレコニング及び／又はオプティカルフローから生成されたデータに応じて、現実環境内の車２００の経路が、例えば、車両が辿っている現在の軌跡からの角度の逸脱である所定の閾値に関して定義された所望の経路（例えば、直線）から逸脱しているか否かを検出するために動作可能である。車の経路が、所望の経路から所定の閾値を超えて逸脱していることが検出される場合、ＣＰＵ１０１及び／又はプロセッサ２０５は、車に所望の経路を辿らせるように車を制御する制御信号を生成するために動作可能である。本発明の一実施形態では、これらの制御信号は、所定の閾値からの逸脱に対して既知の比例積分微分（ＰＩＤ）制御方式を使用して生成されるが、他の適切な制御方式を使用することができることが理解されるであろう。代替的には、逸脱が定数オフセットである場合、車が使用される都度、較正を実行する必要がないように、このオフセットをゼロに調整すると共に、その調整値をエンタテインメント装置１００のセットアップファイル内又は車２００のメモリ２１０内に記憶することができる。これは、ＣＰＵ１０１及び／又はプロセッサ２０５上の処理負荷が低減されるという追加の利点も有する。
【００９１】
さらに、デジタル出力を生成するユーザ入力装置が、車の制御（例えば、左ジョイパッド１０６及び右ジョイパッド１０８）に使用される場合、エンタテインメント装置１００は、操舵の応答性が、車２００が走行している速度に依存するような制御信号を生成するために動作可能である。例えば、車２００のサイズ及びスケールに関して高速において、ＣＰＵ１０１は、操舵コマンドに対応するユーザ入力が、車の現在のコースから極わずかな角度ずれを生じさせるような制御信号を生成する。しかし、低速では（車２００のサイズ及びスケールに関して）、各操舵コマンドは、それに対応して、低速での操縦を支援するために、該操舵コマンドに、その関連付けより大きな角度ずれを有する。オプションとして、直線調整、高速／低速操舵パラメータ等のような車のセットアップに関連するデータを記憶するセットアップファイルは、エンタテインメント装置１００及び／又は車２００に記憶することができる。上述したように、これらのセットアップファイルは、ゲームがプレイされる都度、又は車２００が使用される都度使用されて、それによって再較正する必要性を低減すると共に処理要件を低減することができる。
【００９２】
本発明のさらなる実施形態において、マルチプレーヤゲームを、自身の車をそれぞれのエンタテインメント装置と共にそれぞれ有するユーザ間でプレイすることができる。この場合、エンタテインメント装置は、標準のマルチプレーヤゲーム状況と同様に送受信手段１２０を介して互いに通信するようにさらに動作可能である。通常、マルチプレーヤゲームでのユーザの最大数は６人であるが、無線リンク２２５の帯域幅及びエンタテインメント装置内で利用可能な処理パワーに応じて、任意の数のユーザが参加することができることが理解されるであろう。
【００９３】
例えば、プレーヤは、上述したようにＡＲマーカによって決定されるルートを回ってレースすることができる。さらに、プレーヤは、仮想の地雷若しくは他の障害物を落とすことができるか、又は仮想ミサイルを発射して、別のプレーヤの進行を妨げることができる。さらに、仮想スモークをユーザの車から放出することができ、それによって、ビデオカメラによって取り込まれる対戦相手のビデオ画像の視野を妨げることができる。例えば、地雷を落とすことにより、ユーザ自身の車を３秒低速になるが、対戦相手の車が不幸にして地雷を踏んだ場合、対戦相手の車は１０秒低速になる。しかし、対戦相手の車がすぐ後ろにいる場合には対戦相手の車をノックアウトするよりよいチャンスがあるが、対戦相手の車が遠く離れている場合、対戦相手の車が障害物の回避に成功する場合にはリードを失うリスクがより大きい。
【００９４】
この機能を達成するために、少なくとも、地雷を落とさなかったユーザに対応するエンタテインメント装置は、地雷が落とされている場所を知る必要がある。これは、地雷を落としたユーザのエンタテインメント装置が、上述した技法、すなわちデッドレコニングを使用するか、又はＡＲマーカ間の三角測量によって位置を導出することによって達成することができる。代替的には、地雷を落とした車が、後続車のカメラの視野内にある場合、後続車は、地雷が落とされた瞬間に（地雷を落としたエンタテインメント装置から発せられる信号に応答して）前方の車の相対位置に気付くことができる。
【００９５】
オプションとして、本発明の実施形態によりユーザが２つ以上のリモコン車を所有する場合、エンタテインメント装置１００は、車に送信される適切な制御信号を生成することにより、ゲーム内のコンピュータ制御車としての車のうちの少なくとも一個を制御するために動作可能である。さらに、上述したように、エンタテインメント装置１００は、ユーザの車がトラックを回るときに該ユーザの車の位置を記録し、それによってトラックの周りで車２００をガイドするために使用された制御コマンドシーケンスの記録に代えて、又はそれと共に、「ゴーストカー」を生成することができる。オプションとして、ユーザが１台のみの車を所有している場合、以前のラップの記録は記憶され、ゴーストカーの生成に使用される。ここで、ゴーストカーは、アルファブレンドを使用して仮想レーストラックに重ねられる。
【００９６】
さらに、エンタテインメント装置１００は、画面分割ディスプレイを使用して本発明の実施形態による２台以上のリモコン車からのビデオ画像を表示するために動作可能である。この場合、ビデオ画像を１つのエンタテイメント装置１００に送信することができる車の数は、通信リンク２２５の帯域幅によって制限される。
【００９７】
拡張現実ゲームプレイモードが複数のプレーヤで使用される場合、車２００は、１つ又は複数の拡張現実マーカをさらに備えることができる。ＣＰＵ１０１は、車両の外観が、ディスプレイ１０２上に取り込まれたビデオ画像と共にレンダリングされるときに変更されることができるように、上述したようにこれらのマーカを検出するために動作可能である。この場合、車両の外観の拡張現実画像は、車２００の取り込まれたビデオ画像に重ねられたグラフィックオーバーレイとしてレンダリングされる。例えば、ユーザは、車２００の仮想外観を、いわゆるモンスタートラック、自動二輪車、トラクター、又はこれらのようなものとしてゲーム内に表現されるようにカスタマイズすることができる。さらに、ＣＰＵ１０１は、異なる車のＡＲマークを検出するために動作可能である。したがって、ＣＰＵ１０１は、その車が辿った経路に応じて仮想レーストラックを生成するか、又は車の衝突の場合を検出することができる。
【００９８】
さらに、ＡＲマーカを車２００に取り付けることにより、その他の車に対する各車の位置を求めることができるため、追加のゲーム機能を実現することができる。例えば、ゲームに参加している車のうちの１台が仮想ミサイルを発射することができ、エンタテイメント装置１００のＣＰＵ１０１は、標的車両に対するミサイル発射車の相対位置及び相対向きに応じて、標的とする車に命中したか否かを検出することが可能である。
【００９９】
上述したように、車２００と、別のプレーヤの車のような別の物体との間で衝突が発生したか否かを検出可能にするために、リモコン車２００は、オプションとして、バンパーが押されるときに閉じるスイッチに動作可能に結合された加速度計及び／又はバンパー若しくは緩衝材を備える。プロセッサ２１０は、通信バス２３０を介して加速度計及び／又はバンパーから受信した信号に応じて、衝突を検出するために動作可能である。次に、プロセッサは、送信機２１５から通信リンク２２５を介してエンタテイメント装置１００に送信される衝突データ信号を生成するために動作可能である。したがって、例えば、上述したようなレースゲームのプレイ中、衝突が検出される場合、ポイント又はペナルティを課すことができる。
【０１００】
さらに、上述したように、リモコン車２００は、車と別の物体との間の距離を検出するように動作可能な距離測定手段を備える。距離測定手段は、通信バス２３０を介してプロセッサ２０５と通信するために動作可能である。通常、距離測定手段は、当該技術分野において既知の赤外線距離測定装置を備えるが、超音波、レーザ反射等のような任意の適した距離測定技法を利用することができることが理解されるであろう。
【０１０１】
プロセッサ２０５は、距離測定手段から通信バス２３０を介して受信したデータ信号に応じて、距離測定手段と別の物体との間の距離を検出するために動作可能である。したがって、プロセッサ２０５は「物体までの距離」データを生成し、該データは通信リンク２２５を介してエンタテインメント装置１００に送信される。例えば、エンタテイメント装置は、物体までの距離データを使用してカメラ２２０の視野内の異なる物体までの距離を検出し、それによってＡＲマーカのうちの１つが別の物体によって部分的に遮蔽されている場合にマーカの検出を支援することができる。物体までの距離データは、オプションとして、上述したように現実環境内の車２００の経路６０５に関連する経路データを生成するときに使用することができる。
【０１０２】
オプションとして、ＣＰＵ１０１は、車２００と別の物体との距離が所定の距離以内にあることを検出する場合、「進入禁止」マーカが上述したように検出されるときに生成されるものと同様の衝突回避制御信号を生成し、それによって、車２００が別の物体と衝突する可能性を低減させる。しかし、例えば、マルチプレーヤレースゲームのプレイ中、ゲームのリアリティを増すために、ユーザがこの機能のディセーブルを望むのであれば、この特徴はユーザによってディセーブルされてもよく、又はゲームソフトウェアによって生成される信号に従って自動的に選択解除されてもよい。代替的には、リモコン車２００のプロセッサ２０５は、距離測定手段から受信した信号に従って衝突回避制御信号を生成することができる。
【０１０３】
上述したように、リモコン車２００は、オプションとして、電池充電検出手段を備えることができる。電池充電検出手段は、電池に蓄えられている充電量に関連する電池充電レベル信号を生成し、該信号を送受信手段（Ｔｘ／Ｒｘ）２１５を使用して通信バス２３０を介してプロセッサ２０５に、又は通信リンク２２５を介してエンタテイメント装置１００に送信するために動作可能である。したがって、電池充電が所定のレベル未満に下がった場合、警告をエンタテイメント装置１００の一体型ディスプレイ１０２上に表示することができる。システムはまた、ゲーム内の仮想燃料レベルを生成することもでき、これは実際の電池充電レベルから独立していてもよく、又は独立していなくてもよい。例えば、電池充電レベルが所定のレベルに達した場合、ユーザは車２００を、上述したように、適切なＡＲマーカに関連付けられる仮想現実給油ポンプ３１５まで走らせる必要がある。
【０１０４】
ＡＲマーカとしてのＲＦトランスポンダの使用についてこれより説明する。
【０１０５】
本発明の実施形態によれば、ＡＲマーカは、取り込まれたビデオ画像内で検出される可視マーカではなくＲＦトランスポンダとすることができる。この場合、車２００は、トランスポンダ検出手段による呼び掛けに応答して、無線周波数信号を送信すると共にトランスポンダによって送信されたＲＦ信号を検出するように動作可能なトランスポンダ通信手段をさらに備える。トランスポンダ通信手段は、通信バス２３０を介して車２００のプロセッサ２０５と通信することが可能である。通常、ＲＦトランスポンダは、既知の技術による無線自動識別（ＲＦＩＤ）タグであるが、任意の適したＲＦトランスポンダを使用することができる。
【０１０６】
トランスポンダ通信手段は、ＲＦＩＤタグによって送信されるトランスポンダ返信信号の検出された信号強度に関連する信号強度データを生成するために動作可能である。トランスポンダ返信信号は、トランスポンダ通信手段によって送信された呼び掛け信号に応答してＲＦＩＤタグによって送信され、そのタグの識別情報に関連するデータを含む。信号強度データは、通信リンク２２５を介してエンタテイメント装置１００に送信される。次に、ＣＰＵ１０１は、トランスポンダから車２２０がどの程度離れているかを示すトランスポンダ距離データを生成する。通常、ＲＦＩＤタグは受動素子であるが、能動素子又は半受動素子が使用され得ることが理解されるであろう。
【０１０７】
車２００に対するＲＦ ＡＲマーカの位置を記述する位置情報を生成するために、本発明の実施形態によれば、異なる技法を利用してもよい。
【０１０８】
通常、トランスポンダの信号強度は、現実環境内の車２００の第１の位置に記録される。車が現実環境内で動くにつれ、トランスポンダの信号強度は異なる位置に記録され、それによってＣＰＵ１０１が、環境内の車２００の異なる位置で生成された信号強度データに基づいてＡＲマーカの位置を三角測量できるようにする。三角測量の精度を向上させるために、信号強度データは、距離測定手段によって生成された距離データ及び／又はデッドレコニングを実行するときにＣＰＵ１０１若しくはプロセッサ２０５によって生成されたデータと組み合わせることができる。オプションとして、車２００が、マーカの場所を見失った場合、プロセッサ２０５は、経路に沿って所定の位置におけるトランスポンダの信号強度を検出できるように、短距離にわたって車を前方及び後方に走らせる制御信号を生成することができる。次に、ＡＲマーカの位置は、それらの位置において生成された信号強度データから三角測量することができる。この特徴は、ユーザが環境の方々で車２００を走らせる機会を有する前に、ゲームの開始時に利用することもできる。
【０１０９】
さらに、各トランスポンダは、環境内で一意に識別できるように、一意の識別コードを含む。したがって、上述したように、エンタテインメント装置１００は、ユーザがゲームのプレイを開始する前に、現実環境内のすべてのＡＲマーカの位置を検出することができる。オプションとして、トランスポンダ通信手段は、既知の技法を使用してアレイの各アンテナにおいてトランスポンダから受信した信号に基づいてＲＦ ＡＲマーカの位置を検出できるように、アンテナアレイを備える。
【０１１０】
ＲＦトランスポンダは、本発明の実施形態に従って使用することができるＡＲマーカを作成するように、可視マーカと組み合わせることができることが理解されるであろう。さらに、ＲＦトランスポンダに代えて、ＲＦ送信機をＲＦ ＡＲマーカとして使用することも可能なことが理解されるであろう。
【０１１１】
エンタテインメント装置１００に対する車２００の位置は、ＲＦＩＤタグＡＲマーカに関連して上述したような技法を使用して、無線通信リンク２２５を介して２つの装置間で送受信された信号の信号強度に応じて求めることもできる。
【０１１２】
上述したように、車２００は、オプションとして、電池充電検出手段を備え得る。さらに、上述したように、電池２４５を、充電ステーションとの誘導結合によって再充電することができる。本発明の実施形態によれば、充電ステーションは、上述した可視ＡＲマーカ又はＲＦ ＡＲマーカのようなＡＲマーカを備えることができる。したがって、エンタテインメント装置のＣＰＵ１０１は、上述したように、車２００に対する車２００の位置を検出することができる。さらに、ＣＰＵ１０１は、電池充電検出手段によって生成されると共に車２００から通信リンク２２５を介してエンタテインメント装置１００に送信される電池充電データに基づいて、電池に蓄えられている充電のレベルが所定のレベル未満に下がったときを検出するために動作可能である。ＣＰＵ１０１は、蓄えられている充電レベルが所定のレベル未満である（すなわち、電池充電が低い）ことを検出する場合、充電ステーションに取り付けられたＡＲマーカの検出位置に基づいて、車２００を充電ステーションまで走らせる制御信号を生成することができる。代替的には、車２００のプロセッサ２０５は、電池充電検出手段によって生成された信号に基づいて、この検出を実行すると共に、それに従って制御信号を生成してもよい。したがって、車２００の電池２４５は、ユーザが車２００を或る時間期限にわたって使用しなかった場合であっても、充電された状態を保つことができる。この機能によるゲームプレイの中断を回避するために、ユーザは、一体型ディスプレイ１０２並びに左ジョイパッド及び右ジョイパッドのような入力装置を使用して、ゲームのセットアップ段階時にこのオプションを選択解除することができる。
【０１１３】
本発明の実施形態による、リモコン玩具を制御する方法について、図７を参照してこれより説明する。図７は、リモコン車２００を制御すると共に、車が拡張現実ゾーン４１０内にあるか否かを検出するために使用されるプロセス例のフローチャートを示す。
【０１１４】
ステップｓ１０において、ビデオ画像が、ビデオカメラ２２０によって取り込まれ、通信リンク２２５を介してエンタテインメント装置１００に送信される。
【０１１５】
次に、ステップｓ１５において、エンタテインメント装置のＣＰＵ１０１は、上述したように当該技術分野において既知の画像認識技法に従ってＡＲマーカ４０５を検出する。ステップｓ１５において、ＣＰＵ１０１は、デッドレコニング、距離測定手段によって生成された距離情報、及び取り込まれたビデオ画像内のＡＲマーカ４０５の画像サイズに応じて生成された距離推定データのうちのいずれか又はすべてを使用して、ＡＲマーカ４０５に対する車２００の相対位置をさらに検出する。
【０１１６】
ステップｓ２０において、ＣＰＵ１０１は、ＡＲマーカ４０５に対する車２００の測定位置をＡＲゾーン閾値距離と比較して、車がＡＲゾーン４０５内にあるか否かを判断する。車がＡＲゾーン内にあると検出されない場合、ＣＰＵ１０１は、ユーザ入力装置によって生成された制御信号をオーバーライドするいかなる制御信号も生成せず、プロセスはステップｓ１０に進む。
【０１１７】
しかし、車２００がＡＲゾーン４０５内にあると検出された場合、ステップｓ２５において、ＣＰＵ１０１は、車両制御信号を生成し、該車両制御信号を通信リンク２２５を介して車に送信する。例えば、ＡＲゾーン４０５は、上述したように、仮想油膜に対応し得る。この場合、ＣＰＵ１０１は、上の表１に説明したように「油膜」制御信号を生成し、この信号を車に送信する。次に、プロセスはステップｓ３０に進み、車が依然として、上述したようにＡＲゾーン４０５内にあるか否かを検出する。車が依然としてＡＲゾーン内にある場合、制御はステップｓ２５に進む。しかし、車がＡＲゾーン４０５から出た場合、制御はステップｓ３５に進む。
【０１１８】
ステップｓ３５において、ＣＰＵは、車の制御がユーザに単独に返されるように、車２００への制御信号の送信を停止する信号を生成する。次に、制御プロセスはステップｓ１０に戻る。
【０１１９】
本発明の上述された実施形態の上記特徴及び態様を、ゲームプレイシナリオでの様々な異なる方法で使用することができることが理解されるであろう。例えば、ユーザには、特定のスキルレベル又は「ライセンス」を達成するために実行しなければならない、一連の操縦又はタスクが提示される。ユーザは、それらの操縦及びタスクを首尾良く完了すると、ＡＢＳ又はニトロブーストのような追加の機能を授与される。さらに、ユーザは、より難しいライセンスに挑戦することが許されるか、又は上述したように予めプログラムされた操縦を授与されることができる。オプションとして、エンタテインメント装置１００は、最高速度、最高回転数、プレイ回数、撮影された写真、記録されたビデオ、達成したジャンプ等のような車２００の任意の態様に関連する統計を収集することができる。このデータは、ゲームスコアを生成するか、又は特定の目標が達成されたとき、ユーザが車２２０若しくはゲームの追加機能を利用可能にするために使用することができる。
【０１２０】
本発明の上述された実施形態について、エンタテインメント装置１００として機能するＳｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）（ＰＳＰ）を参照して説明したが、任意の適したエンタテインメント装置を使用することができることが理解されるであろう。例えば、Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ ３（登録商標）エンタテインメントシステム（ＰＳ３）は、エンタテインメント装置１００として機能することができる。ここで、ＰｌａｙＳｔａｔｉｏｎ ３（登録商標）のゲームコントローラを使用して、ＰＳＰを参照して上述したものと同様の機能を有する玩具を制御することができる。オプションとして、例えば、無線通信リンク１２０を使用してＰＳＰとＰＳ３との間で無線通信することにより、ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）装置のような他の周辺機器をＰｌａｙＳｔａｔｉｏｎ ３（登録商標）のためのコントローラとして使用してもよい。
【０１２１】
本発明の実施形態では、エンタテインメント方法の要素は、エンタテインメント装置及びリモコン玩具において任意の適した様式で実施することができることが理解されるであろう。したがって、従来のエンタテインメント装置の既存のパーツの適合は、例えば、その内部の１つ又は複数のプロセッサを再プログラムすることを含むことができる。したがって、必要とされる適合は、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ、若しくはこれら若しくは他の記憶媒体の任意の組み合わせのようなデータキャリアに記憶されるか、又は、イーサネット（登録商標）、無線ネットワーク、インターネット、若しくはこれら及び他のネットワークの任意の組み合わせのようなネットワーク上のデータ信号を介して伝送されるプロセッサ実施可能な命令を含むコンピュータプログラム製品の形態で実施することができる。
【特許請求の範囲】
【請求項１】
エンタテインメントシステムであって、該エンタテインメントシステムは、リモコン玩具と、データ通信リンクを使用して該リモコン玩具と通信するように動作可能なエンタテインメント装置とを備え、
前記リモコン玩具は、現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有し、該リモコン玩具は、
該リモコン玩具の挙動を制御するように動作可能なコントローラと、
前記データ通信リンクを介して、前記エンタテインメント装置によって生成される前記制御データを受信するように動作可能な制御データ受信機と、
を備え、
前記コントローラは、前記エンタテインメント装置から受信された前記制御データに応じて、前記リモコン玩具の前記挙動を変更するように動作可能であり、
前記エンタテインメント装置は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連する制御データを前記リモコン玩具に送信するように動作可能な送信機と、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれたビデオ画像を受信するように動作可能な受信機と、
前記現実環境内の現実環境特徴を検出するように動作可能な検出器と、
前記検出された現実環境特徴に応じて、仮想画像特徴を生成するように動作可能なプロセッサと、
前記仮想画像特徴が、前記現実環境内の前記現実環境特徴の位置に対応するように前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成するように動作可能な表示装置と、
を備える、エンタテインメントシステム。
【請求項２】
前記現実環境特徴は、前記現実環境内の所定の特徴に関連する画像特徴であり、該画像特徴は、前記受信ビデオ画像内で検出される、請求項１に記載のシステム。
【請求項３】
前記現実環境特徴は、無線周波数通信装置であり、前記検出器は、該無線周波数通信装置によって送信される無線周波数信号を検出するように動作可能である、請求項１又は２に記載のシステム。
【請求項４】
前記検出器は、前記無線周波数通信装置によって送信された前記無線周波数信号の前記検出された信号の強度に応じて、無線周波数信号強度データを生成するように動作可能であり、
前記プロセッサは、前記検出器によって生成された前記信号強度データに応じて、前記現実環境内の前記現実環境特徴の位置を検出するように動作可能である、請求項３に記載のシステム。
【請求項５】
前記無線周波数通信装置は、無線周波数トランスポンダを備え、
前記検出器はトランスポンダ通信器を備え、該トランスポンダ通信器は、無線周波数信号を前記無線周波数トランスポンダに送信すると共に、該トランスポンダ通信器による呼び掛けに応答して前記トランスポンダによって送信された無線周波数信号を検出するように動作可能である、請求項３又は４に記載のシステム。
【請求項６】
前記無線周波数トランスポンダは、無線周波数識別タグを備える、請求項５に記載のシステム。
【請求項７】
エンタテインメントシステムであって、該エンタテインメントシステムは、
現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有するリモコン玩具であって、該玩具の位置は、前記現実環境内の現実経路に関連付けられる、リモコン玩具と、
データ通信リンクを使用して、前記リモコン玩具と通信するように動作可能なエンタテインメント装置と、
を備え、前記エンタテインメント装置は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連する制御データを前記リモコン玩具に送信するように動作可能な送信機と、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれたビデオ画像を受信するように動作可能な受信機と、
前記現実環境内の前記玩具の前記現実経路を検出すると共に、該検出された現実経路に応じて現実経路データを生成するように動作可能な検出器と、
前記検出器によって生成された前記現実経路データに応じて、仮想経路を生成すると共に、該仮想経路に応じて仮想画像特徴を生成するように動作可能なプロセッサと、
前記仮想画像特徴が、前記現実環境内の所定の位置に該仮想画像特徴を提示するように前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成するように動作可能な表示装置と、
を備える、エンタテインメントシステム。
【請求項８】
前記検出器は、前記ビデオカメラによって取り込まれた前記ビデオ画像を使用して前記プロセッサによって生成されるオプティカルフローデータに応じて、前記現実環境に対する前記玩具の位置を検出するように動作可能である、請求項７に記載のシステム。
【請求項９】
前記検出器は、前記玩具の現在の検出位置と前記玩具の以前の検出位置との比較に応じて、前記玩具の前記現実経路を検出するように動作可能である、請求項７又は８に記載のシステム。
【請求項１０】
前記検出器は、
前記ビデオカメラによって取り込まれた前記ビデオ画像を使用して、前記プロセッサによって生成されたオプティカルフローデータに応じて、前記現実環境に対する前記玩具の位置を検出して、第１の仮想経路を生成し、
前記玩具の現在の検出位置と前記玩具の以前の検出位置との比較に応じて前記玩具の前記現実経路を検出して、第２の仮想経路を生成するように動作可能であり、
前記プロセッサは、前記第１の仮想経路に関連するデータと前記第２の仮想経路に関連するデータとの差を検出し、該検出された差が所定の閾値未満の場合、
前記第１の仮想経路、
前記第２の仮想経路、並びに
前記第１の仮想経路及び前記第２の仮想経路を定義する前記データの平均
のいずれか１つに応じて前記仮想画像特徴を生成するように動作可能である、請求項７に記載のシステム。
【請求項１１】
前記検出された差が前記所定の閾値よりも大きい場合、前記プロセッサは、前記仮想画像特徴を生成しないように動作可能である、請求項１０に記載のシステム。
【請求項１２】
前記検出器は、前記現実環境に対する前記玩具の位置を所定の時間間隔で検出することにより、前記玩具の前記経路を検出するように動作可能であり、
前記プロセッサは、前記玩具の位置を所定の時間間隔で検出することによって生成される前記現実経路データを補間することにより、前記仮想経路を生成するように動作可能である、請求項７〜１１のいずれか一項に記載のシステム。
【請求項１３】
前記プロセッサは、前記仮想画像特徴に関連付けられる属性に応じて、前記制御データを変更するように動作可能である、請求項１〜１２のいずれか一項に記載のシステム。
【請求項１４】
前記プロセッサは、前記仮想画像特徴に関連付けられる属性に応じて、属性定義データを送信するように動作可能であり、
前記リモコン玩具は、前記コントローラに、前記エンタテインメント装置から受信される前記属性定義データに応じて前記リモコン玩具の前記挙動を変更させるプログラムコードを記憶するように動作可能な記憶装置を備える、請求項１３に記載のシステム。
【請求項１５】
前記プロセッサは、前記リモコン玩具の制御に関連する更新プログラムコードを生成するように動作可能であり、
前記送信機は、前記データ通信リンクを介して前記リモコン玩具に前記更新プログラムコードを送信するように動作可能であり、
前記コントローラは、前記エンタテインメント装置によって送信された、前記データ通信リンクから受信される前記更新プログラムコードのデータに応じて、前記記憶装置に記憶されている前記プログラムコードを更新するように動作可能である、請求項１４に記載のシステム。
【請求項１６】
前記プロセッサは、前記リモコン玩具と前記所定の特徴との間の距離が所定の閾値距離未満であるか否かを検出するように動作可能であり、
前記プロセッサは、前記検出された距離が前記所定の閾値距離未満の場合、その所定の特徴に関する前記制御データを変更するように動作可能である、請求項１３〜１５のいずれか一項に記載のシステム。
【請求項１７】
前記制御データは、ユーザによる入力に関連するユーザ入力制御データを表し、
前記エンタテインメント装置は、前記ユーザによる前記入力に応じて、前記ユーザ入力制御データを生成するように動作可能なユーザ入力装置を備える、請求項１〜１６のいずれか一項に記載のシステム。
【請求項１８】
前記仮想画像特徴は、前記エンタテインメント装置に関連付けられるゲームのゲーム特徴を含む、請求項１〜１７のいずれか一項に記載のシステム。
【請求項１９】
前記プロセッサは、前記エンタテインメント装置に関連付けられる前記ゲームによって生成されるゲームプロセスに応じて、前記制御データを生成するように動作可能である、請求項１８に記載のシステム。
【請求項２０】
前記送信機は、前記データ通信リンクを使用して前記リモコン玩具に音声データを送信するように動作可能であり、該音声データは、前記エンタテインメント装置に関連付けられる音声コンテンツに関連し、
前記リモコン玩具は、前記エンタテインメント装置から前記データ通信リンクを介して受信される前記音声データに応じて、前記音声コンテンツを再生するように動作可能な音声再生器を備える、請求項１〜１９のいずれか一項に記載のシステム。
【請求項２１】
前記エンタテインメント装置に関連付けられる前記音声コンテンツは、Motion Pictures Expert Group１レベル３（ＭＰ３）規格に準拠したデータを含む、請求項２０に記載のシステム。
【請求項２２】
前記データ通信リンクは無線通信リンクを含む、請求項１〜２１のいずれか一項に記載のシステム。
【請求項２３】
前記エンタテインメント装置は、該エンタテインメント装置の運動を検出するように動作可能な運動センサを備え、
前記プロセッサは、前記エンタテインメント装置の検出された運動に応じて、前記制御データを生成するように動作可能である、請求項１〜２２のいずれか一項に記載のシステム。
【請求項２４】
ユーザ入力に応答して、前記プロセッサは、前記通信リンクを介して前記玩具に送信されると前記玩具に一連の所定のアクションを実行させる制御データを生成するように動作可能である、請求項１〜２３のいずれか一項に記載のシステム。
【請求項２５】
前記玩具は命令記憶装置を備え、
前記一連の所定のアクションに関連するデータは、前記命令記憶装置に記憶される、請求項２４に記載のシステム。
【請求項２６】
エンタテインメント装置であって、該エンタテインメント装置は、データ通信リンクを使用して、現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有するリモコン玩具と通信するように動作可能であり、該装置は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連する制御データを前記リモコン玩具に送信するように動作可能な送信機と、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれた前記ビデオ画像を受信するように動作可能な受信機と、
前記現実環境内の現実環境特徴を検出するように動作可能な検出器と、
前記検出された現実環境特徴に応じて、仮想画像特徴を生成するように動作可能なプロセッサと、
前記仮想画像特徴が、前記現実環境内の前記現実環境特徴の位置に対応するように前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成するように動作可能な表示装置と、
を備え、
前記リモコン玩具は、
該リモコン玩具の挙動を制御するように動作可能なコントローラと、
前記データ通信リンクを介して、該エンタテインメント装置によって生成される前記制御データを受信するように動作可能な制御データ受信機と、
を備え、
前記コントローラは、該エンタテインメント装置から受信された前記制御データに応じて、前記リモコン玩具の前記挙動を変更するように動作可能である、エンタテインメント装置。
【請求項２７】
エンタテインメント装置であって、該エンタテインメント装置は、データ通信リンクを使用して、現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有するリモコン玩具と通信するように動作可能であり、前記玩具の位置は、前記現実環境内の現実経路に関連付けられ、該装置は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連する制御データを前記リモコン玩具に送信するように動作可能な送信機と、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれたビデオ画像を受信するように動作可能な受信機と、
前記現実環境内の前記玩具の前記現実経路を検出すると共に、該検出された現実経路に応じて現実経路データを生成するように動作可能な検出器と、
前記検出器によって生成された前記現実経路データに応じて仮想経路を生成すると共に、該仮想経路に応じて仮想画像特徴を生成するように動作可能なプロセッサと、
前記仮想画像特徴を前記現実環境内の所定の位置に提示するように該仮想画像特徴が前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成するように動作可能な表示装置と、
を備える、エンタテインメント装置。
【請求項２８】
前記玩具の位置は、前記現実環境内の現実経路に関連付けられ、
前記検出器は、前記現実環境内の前記玩具の前記現実経路を検出すると共に、該検出された現実経路に応じて現実経路データを生成するように動作可能であり、
前記プロセッサは、前記検出器によって生成された前記現実経路データに応じて仮想経路を生成すると共に、該仮想経路に応じて前記仮想画像特徴を生成するように動作可能である、請求項２７に記載の装置。
【請求項２９】
前記検出器は、
前記ビデオカメラによって取り込まれた前記ビデオ画像を使用して、前記プロセッサによって生成されるオプティカルフローデータに応じて、前記現実環境に対する前記玩具の位置を検出して、第１の仮想経路を生成し、
前記玩具の現在の検出位置と前記玩具の以前の検出位置との比較に応じて、前記玩具の前記現実経路を検出して、第２の仮想経路を生成し、
前記プロセッサは、前記第１の仮想経路に関連するデータと前記第２の仮想経路に関連するデータとの差を検出し、該検出された差が所定の閾値未満の場合、
前記第１の仮想経路、
前記第２の仮想経路、並びに
前記第１の仮想経路及び前記第２の仮想経路を定義する前記データの平均
のいずれか１つに応じて前記仮想画像特徴を生成するように動作可能である、請求項２８に記載の装置。
【請求項３０】
前記制御データは、前記仮想画像特徴に関連付けられる属性に関連する属性制御データを含み、
前記プロセッサは、前記仮想画像特徴に関連付けられる前記属性に応じて、前記属性制御データを生成するように動作可能である、請求項２６〜２９のいずれか一項に記載の装置。
【請求項３１】
前記属性制御データは、前記リモコン玩具に該リモコン玩具の挙動を変更させる、請求項３０に記載の装置。
【請求項３２】
コンピュータによって実行されると、該コンピュータが請求項２６〜３１のいずれか一項に記載のエンタテインメント装置として動作するようにするコンピュータ可読命令を含むデータキャリア。
【請求項３３】
リモコン玩具であって、該リモコン玩具はデータ通信リンクを使用してエンタテインメント装置と通信するように動作可能であり、該リモコン玩具は、
現実環境のビデオ画像を取り込むように動作可能なビデオカメラと、
前記データ通信リンクを介して、前記ビデオカメラによって取り込まれた前記ビデオ画像を前記エンタテインメント装置に送信するように動作可能な送信機と、
前記データ通信リンクから、該リモコン玩具の制御に関連する、前記エンタテインメント装置によって生成される制御データを受信するように動作可能な受信機と、
該リモコン玩具の挙動を制御するように動作可能なコントローラと、
を備え、
前記制御データは、前記エンタテインメント装置によって生成される仮想画像特徴に関連付けられる属性に関連する属性制御データを含み、前記仮想画像特徴は、前記エンタテインメント装置による前記現実環境内の現実環境特徴の検出に応じて、前記エンタテインメント装置によって生成され、
前記コントローラは、前記エンタテインメント装置から受信された前記属性制御データに応じて、該リモコン玩具の前記挙動を変更するように動作可能である、リモコン玩具。
【請求項３４】
リモコン玩具であって、該リモコン玩具はデータ通信リンクを使用してエンタテインメント装置と通信するように動作可能であり、該リモコン玩具は、
現実環境のビデオ画像を取り込むように動作可能なビデオカメラと、
前記データ通信リンクを介して、前記ビデオカメラによって取り込まれた前記ビデオ画像を前記エンタテインメント装置に送信するように動作可能な送信機と、
前記データ通信リンクから、該リモコン玩具の制御に関連する、前記エンタテインメント装置によって生成される制御データを受信するように動作可能な受信機と、
前記リモコン玩具の挙動を制御するように動作可能なコントローラと、
を備え、
前記制御データは、前記エンタテインメント装置によって生成される仮想画像特徴に関連付けられる属性に関連する属性制御データを含み、前記仮想画像特徴は、前記エンタテインメント装置による前記現実環境に対する該リモコン玩具の位置の検出に応じて前記エンタテインメント装置によって生成され、
前記コントローラは、前記エンタテインメント装置から受信される前記属性制御データに応じて、前記リモコン玩具の前記挙動を変更するように動作可能である、リモコン玩具。
【請求項３５】
ホーン、
前記玩具への衝突を検出するように動作可能な加速度計、
前記玩具と別の物体との間の衝突を検出するスイッチに動作可能に結合されるバンパー又は緩衝材、
音声再生器、
マイクロホン、
光源、
発射体を発射するように動作可能な発射体発射装置、
前記リモコン玩具への給電に使用される電池内の充電量を検出するように動作可能な電池充電検出器、及び
該玩具と別の物体との間の距離を検出するように動作可能な距離測定器
から成るリストから選択される１つ又は複数を備える、請求項３３又は３４に記載の玩具。
【請求項３６】
前記玩具は距離測定器を有し、前記コントローラは、
前記距離測定器によって生成される信号に応じて、該リモコン玩具と前記検出された画像特徴との間の相対距離が、所定の閾値距離未満であるか否かを検出し、
前記検出された相対距離が前記所定の閾値距離未満である場合、前記リモコン玩具の前記挙動を変更するように動作可能である、請求項３５に記載の玩具。
【請求項３７】
前記エンタテインメント装置から受信される前記属性制御データに応じて、前記コントローラに前記リモコン玩具の前記挙動を変更させるプログラムコードを記憶するように動作可能な記憶装置を備える、請求項３３〜３６のいずれか一項に記載の玩具。
【請求項３８】
前記コントローラは、前記エンタテインメント装置によって生成されると共に前記エンタテインメント装置から前記データ通信リンクを介して受信される更新プログラムコードデータに応じて、前記記憶装置に記憶されている前記プログラムコードを更新するように動作可能である、請求項３７に記載の玩具。
【請求項３９】
エンタテインメント方法であって、該方法は、現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有するリモコン玩具、及びデータ通信リンクを使用して該リモコン玩具と通信するように動作可能なエンタテインメント装置を制御し、該方法は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連すると共に前記リモコン玩具の前記挙動を変更する制御データを前記リモコン玩具に送信すること、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれたビデオ画像を受信すること、
前記現実環境内の現実環境特徴を検出すること、
前記検出された現実環境特徴に応じて、仮想画像特徴を生成すること、及び
前記現実環境内の前記現実環境特徴の位置に対応するように前記仮想画像特徴が前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成すること、
を含む、エンタテインメント方法。
【請求項４０】
エンタテインメント方法であって、該方法は、現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有するリモコン玩具、及びデータ通信リンクを使用して該リモコン玩具と通信するように動作可能なエンタテインメント装置を制御し、前記玩具の位置は、前記現実環境内の現実経路に関連付けられ、該方法は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連する制御データを前記リモコン玩具に送信すること、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれたビデオ画像を受信すること、
前記現実環境内の前記玩具の前記現実経路を検出すると共に、該検出された現実経路に応じて現実経路データを生成すること、
前記現実経路データに応じて仮想経路を生成すると共に、該仮想経路に応じて仮想画像特徴を生成すること、及び
前記仮想画像特徴を前記現実環境内の所定の位置に提示するように該仮想画像特徴が前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成すること、
を含む、方法。
【請求項４１】
コンピュータによって実行されると、請求項３９又は４０に記載のリモコン玩具を制御する方法を前記コンピュータに実行させるコンピュータ可読命令を含むデータキャリア。
【請求項１】
エンタテインメントシステムであって、該エンタテインメントシステムは、リモコン玩具と、データ通信リンクを使用して該リモコン玩具と通信するように動作可能なエンタテインメント装置とを備え、
前記リモコン玩具は、現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有し、該リモコン玩具は、
該リモコン玩具の挙動を制御するように動作可能なコントローラと、
前記データ通信リンクを介して、前記エンタテインメント装置によって生成される前記制御データを受信するように動作可能な制御データ受信機と、
を備え、
前記コントローラは、前記エンタテインメント装置から受信された前記制御データに応じて、前記リモコン玩具の前記挙動を変更するように動作可能であり、
前記エンタテインメント装置は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連する制御データを前記リモコン玩具に送信するように動作可能な送信機と、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれたビデオ画像を受信するように動作可能な受信機と、
前記現実環境内の現実環境特徴を検出するように動作可能な検出器と、
前記検出された現実環境特徴に応じて、仮想画像特徴を生成するように動作可能なプロセッサと、
前記仮想画像特徴が、前記現実環境内の前記現実環境特徴の位置に対応するように前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成するように動作可能な表示装置と、
を備える、エンタテインメントシステム。
【請求項２】
前記現実環境特徴は、前記現実環境内の所定の特徴に関連する画像特徴であり、該画像特徴は、前記受信ビデオ画像内で検出される、請求項１に記載のシステム。
【請求項３】
前記現実環境特徴は、無線周波数通信装置であり、前記検出器は、該無線周波数通信装置によって送信される無線周波数信号を検出するように動作可能である、請求項１又は２に記載のシステム。
【請求項４】
前記検出器は、前記無線周波数通信装置によって送信された前記無線周波数信号の前記検出された信号の強度に応じて、無線周波数信号強度データを生成するように動作可能であり、
前記プロセッサは、前記検出器によって生成された前記信号強度データに応じて、前記現実環境内の前記現実環境特徴の位置を検出するように動作可能である、請求項３に記載のシステム。
【請求項５】
前記無線周波数通信装置は、無線周波数トランスポンダを備え、
前記検出器はトランスポンダ通信器を備え、該トランスポンダ通信器は、無線周波数信号を前記無線周波数トランスポンダに送信すると共に、該トランスポンダ通信器による呼び掛けに応答して前記トランスポンダによって送信された無線周波数信号を検出するように動作可能である、請求項３又は４に記載のシステム。
【請求項６】
前記無線周波数トランスポンダは、無線周波数識別タグを備える、請求項５に記載のシステム。
【請求項７】
エンタテインメントシステムであって、該エンタテインメントシステムは、
現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有するリモコン玩具であって、該玩具の位置は、前記現実環境内の現実経路に関連付けられる、リモコン玩具と、
データ通信リンクを使用して、前記リモコン玩具と通信するように動作可能なエンタテインメント装置と、
を備え、前記エンタテインメント装置は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連する制御データを前記リモコン玩具に送信するように動作可能な送信機と、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれたビデオ画像を受信するように動作可能な受信機と、
前記現実環境内の前記玩具の前記現実経路を検出すると共に、該検出された現実経路に応じて現実経路データを生成するように動作可能な検出器と、
前記検出器によって生成された前記現実経路データに応じて、仮想経路を生成すると共に、該仮想経路に応じて仮想画像特徴を生成するように動作可能なプロセッサと、
前記仮想画像特徴が、前記現実環境内の所定の位置に該仮想画像特徴を提示するように前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成するように動作可能な表示装置と、
を備える、エンタテインメントシステム。
【請求項８】
前記検出器は、前記ビデオカメラによって取り込まれた前記ビデオ画像を使用して前記プロセッサによって生成されるオプティカルフローデータに応じて、前記現実環境に対する前記玩具の位置を検出するように動作可能である、請求項７に記載のシステム。
【請求項９】
前記検出器は、前記玩具の現在の検出位置と前記玩具の以前の検出位置との比較に応じて、前記玩具の前記現実経路を検出するように動作可能である、請求項７又は８に記載のシステム。
【請求項１０】
前記検出器は、
前記ビデオカメラによって取り込まれた前記ビデオ画像を使用して、前記プロセッサによって生成されたオプティカルフローデータに応じて、前記現実環境に対する前記玩具の位置を検出して、第１の仮想経路を生成し、
前記玩具の現在の検出位置と前記玩具の以前の検出位置との比較に応じて前記玩具の前記現実経路を検出して、第２の仮想経路を生成するように動作可能であり、
前記プロセッサは、前記第１の仮想経路に関連するデータと前記第２の仮想経路に関連するデータとの差を検出し、該検出された差が所定の閾値未満の場合、
前記第１の仮想経路、
前記第２の仮想経路、並びに
前記第１の仮想経路及び前記第２の仮想経路を定義する前記データの平均
のいずれか１つに応じて前記仮想画像特徴を生成するように動作可能である、請求項７に記載のシステム。
【請求項１１】
前記検出された差が前記所定の閾値よりも大きい場合、前記プロセッサは、前記仮想画像特徴を生成しないように動作可能である、請求項１０に記載のシステム。
【請求項１２】
前記検出器は、前記現実環境に対する前記玩具の位置を所定の時間間隔で検出することにより、前記玩具の前記経路を検出するように動作可能であり、
前記プロセッサは、前記玩具の位置を所定の時間間隔で検出することによって生成される前記現実経路データを補間することにより、前記仮想経路を生成するように動作可能である、請求項７〜１１のいずれか一項に記載のシステム。
【請求項１３】
前記プロセッサは、前記仮想画像特徴に関連付けられる属性に応じて、前記制御データを変更するように動作可能である、請求項１〜１２のいずれか一項に記載のシステム。
【請求項１４】
前記プロセッサは、前記仮想画像特徴に関連付けられる属性に応じて、属性定義データを送信するように動作可能であり、
前記リモコン玩具は、前記コントローラに、前記エンタテインメント装置から受信される前記属性定義データに応じて前記リモコン玩具の前記挙動を変更させるプログラムコードを記憶するように動作可能な記憶装置を備える、請求項１３に記載のシステム。
【請求項１５】
前記プロセッサは、前記リモコン玩具の制御に関連する更新プログラムコードを生成するように動作可能であり、
前記送信機は、前記データ通信リンクを介して前記リモコン玩具に前記更新プログラムコードを送信するように動作可能であり、
前記コントローラは、前記エンタテインメント装置によって送信された、前記データ通信リンクから受信される前記更新プログラムコードのデータに応じて、前記記憶装置に記憶されている前記プログラムコードを更新するように動作可能である、請求項１４に記載のシステム。
【請求項１６】
前記プロセッサは、前記リモコン玩具と前記所定の特徴との間の距離が所定の閾値距離未満であるか否かを検出するように動作可能であり、
前記プロセッサは、前記検出された距離が前記所定の閾値距離未満の場合、その所定の特徴に関する前記制御データを変更するように動作可能である、請求項１３〜１５のいずれか一項に記載のシステム。
【請求項１７】
前記制御データは、ユーザによる入力に関連するユーザ入力制御データを表し、
前記エンタテインメント装置は、前記ユーザによる前記入力に応じて、前記ユーザ入力制御データを生成するように動作可能なユーザ入力装置を備える、請求項１〜１６のいずれか一項に記載のシステム。
【請求項１８】
前記仮想画像特徴は、前記エンタテインメント装置に関連付けられるゲームのゲーム特徴を含む、請求項１〜１７のいずれか一項に記載のシステム。
【請求項１９】
前記プロセッサは、前記エンタテインメント装置に関連付けられる前記ゲームによって生成されるゲームプロセスに応じて、前記制御データを生成するように動作可能である、請求項１８に記載のシステム。
【請求項２０】
前記送信機は、前記データ通信リンクを使用して前記リモコン玩具に音声データを送信するように動作可能であり、該音声データは、前記エンタテインメント装置に関連付けられる音声コンテンツに関連し、
前記リモコン玩具は、前記エンタテインメント装置から前記データ通信リンクを介して受信される前記音声データに応じて、前記音声コンテンツを再生するように動作可能な音声再生器を備える、請求項１〜１９のいずれか一項に記載のシステム。
【請求項２１】
前記エンタテインメント装置に関連付けられる前記音声コンテンツは、Motion Pictures Expert Group１レベル３（ＭＰ３）規格に準拠したデータを含む、請求項２０に記載のシステム。
【請求項２２】
前記データ通信リンクは無線通信リンクを含む、請求項１〜２１のいずれか一項に記載のシステム。
【請求項２３】
前記エンタテインメント装置は、該エンタテインメント装置の運動を検出するように動作可能な運動センサを備え、
前記プロセッサは、前記エンタテインメント装置の検出された運動に応じて、前記制御データを生成するように動作可能である、請求項１〜２２のいずれか一項に記載のシステム。
【請求項２４】
ユーザ入力に応答して、前記プロセッサは、前記通信リンクを介して前記玩具に送信されると前記玩具に一連の所定のアクションを実行させる制御データを生成するように動作可能である、請求項１〜２３のいずれか一項に記載のシステム。
【請求項２５】
前記玩具は命令記憶装置を備え、
前記一連の所定のアクションに関連するデータは、前記命令記憶装置に記憶される、請求項２４に記載のシステム。
【請求項２６】
エンタテインメント装置であって、該エンタテインメント装置は、データ通信リンクを使用して、現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有するリモコン玩具と通信するように動作可能であり、該装置は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連する制御データを前記リモコン玩具に送信するように動作可能な送信機と、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれた前記ビデオ画像を受信するように動作可能な受信機と、
前記現実環境内の現実環境特徴を検出するように動作可能な検出器と、
前記検出された現実環境特徴に応じて、仮想画像特徴を生成するように動作可能なプロセッサと、
前記仮想画像特徴が、前記現実環境内の前記現実環境特徴の位置に対応するように前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成するように動作可能な表示装置と、
を備え、
前記リモコン玩具は、
該リモコン玩具の挙動を制御するように動作可能なコントローラと、
前記データ通信リンクを介して、該エンタテインメント装置によって生成される前記制御データを受信するように動作可能な制御データ受信機と、
を備え、
前記コントローラは、該エンタテインメント装置から受信された前記制御データに応じて、前記リモコン玩具の前記挙動を変更するように動作可能である、エンタテインメント装置。
【請求項２７】
エンタテインメント装置であって、該エンタテインメント装置は、データ通信リンクを使用して、現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有するリモコン玩具と通信するように動作可能であり、前記玩具の位置は、前記現実環境内の現実経路に関連付けられ、該装置は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連する制御データを前記リモコン玩具に送信するように動作可能な送信機と、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれたビデオ画像を受信するように動作可能な受信機と、
前記現実環境内の前記玩具の前記現実経路を検出すると共に、該検出された現実経路に応じて現実経路データを生成するように動作可能な検出器と、
前記検出器によって生成された前記現実経路データに応じて仮想経路を生成すると共に、該仮想経路に応じて仮想画像特徴を生成するように動作可能なプロセッサと、
前記仮想画像特徴を前記現実環境内の所定の位置に提示するように該仮想画像特徴が前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成するように動作可能な表示装置と、
を備える、エンタテインメント装置。
【請求項２８】
前記玩具の位置は、前記現実環境内の現実経路に関連付けられ、
前記検出器は、前記現実環境内の前記玩具の前記現実経路を検出すると共に、該検出された現実経路に応じて現実経路データを生成するように動作可能であり、
前記プロセッサは、前記検出器によって生成された前記現実経路データに応じて仮想経路を生成すると共に、該仮想経路に応じて前記仮想画像特徴を生成するように動作可能である、請求項２７に記載の装置。
【請求項２９】
前記検出器は、
前記ビデオカメラによって取り込まれた前記ビデオ画像を使用して、前記プロセッサによって生成されるオプティカルフローデータに応じて、前記現実環境に対する前記玩具の位置を検出して、第１の仮想経路を生成し、
前記玩具の現在の検出位置と前記玩具の以前の検出位置との比較に応じて、前記玩具の前記現実経路を検出して、第２の仮想経路を生成し、
前記プロセッサは、前記第１の仮想経路に関連するデータと前記第２の仮想経路に関連するデータとの差を検出し、該検出された差が所定の閾値未満の場合、
前記第１の仮想経路、
前記第２の仮想経路、並びに
前記第１の仮想経路及び前記第２の仮想経路を定義する前記データの平均
のいずれか１つに応じて前記仮想画像特徴を生成するように動作可能である、請求項２８に記載の装置。
【請求項３０】
前記制御データは、前記仮想画像特徴に関連付けられる属性に関連する属性制御データを含み、
前記プロセッサは、前記仮想画像特徴に関連付けられる前記属性に応じて、前記属性制御データを生成するように動作可能である、請求項２６〜２９のいずれか一項に記載の装置。
【請求項３１】
前記属性制御データは、前記リモコン玩具に該リモコン玩具の挙動を変更させる、請求項３０に記載の装置。
【請求項３２】
コンピュータによって実行されると、該コンピュータが請求項２６〜３１のいずれか一項に記載のエンタテインメント装置として動作するようにするコンピュータ可読命令を含むデータキャリア。
【請求項３３】
リモコン玩具であって、該リモコン玩具はデータ通信リンクを使用してエンタテインメント装置と通信するように動作可能であり、該リモコン玩具は、
現実環境のビデオ画像を取り込むように動作可能なビデオカメラと、
前記データ通信リンクを介して、前記ビデオカメラによって取り込まれた前記ビデオ画像を前記エンタテインメント装置に送信するように動作可能な送信機と、
前記データ通信リンクから、該リモコン玩具の制御に関連する、前記エンタテインメント装置によって生成される制御データを受信するように動作可能な受信機と、
該リモコン玩具の挙動を制御するように動作可能なコントローラと、
を備え、
前記制御データは、前記エンタテインメント装置によって生成される仮想画像特徴に関連付けられる属性に関連する属性制御データを含み、前記仮想画像特徴は、前記エンタテインメント装置による前記現実環境内の現実環境特徴の検出に応じて、前記エンタテインメント装置によって生成され、
前記コントローラは、前記エンタテインメント装置から受信された前記属性制御データに応じて、該リモコン玩具の前記挙動を変更するように動作可能である、リモコン玩具。
【請求項３４】
リモコン玩具であって、該リモコン玩具はデータ通信リンクを使用してエンタテインメント装置と通信するように動作可能であり、該リモコン玩具は、
現実環境のビデオ画像を取り込むように動作可能なビデオカメラと、
前記データ通信リンクを介して、前記ビデオカメラによって取り込まれた前記ビデオ画像を前記エンタテインメント装置に送信するように動作可能な送信機と、
前記データ通信リンクから、該リモコン玩具の制御に関連する、前記エンタテインメント装置によって生成される制御データを受信するように動作可能な受信機と、
前記リモコン玩具の挙動を制御するように動作可能なコントローラと、
を備え、
前記制御データは、前記エンタテインメント装置によって生成される仮想画像特徴に関連付けられる属性に関連する属性制御データを含み、前記仮想画像特徴は、前記エンタテインメント装置による前記現実環境に対する該リモコン玩具の位置の検出に応じて前記エンタテインメント装置によって生成され、
前記コントローラは、前記エンタテインメント装置から受信される前記属性制御データに応じて、前記リモコン玩具の前記挙動を変更するように動作可能である、リモコン玩具。
【請求項３５】
ホーン、
前記玩具への衝突を検出するように動作可能な加速度計、
前記玩具と別の物体との間の衝突を検出するスイッチに動作可能に結合されるバンパー又は緩衝材、
音声再生器、
マイクロホン、
光源、
発射体を発射するように動作可能な発射体発射装置、
前記リモコン玩具への給電に使用される電池内の充電量を検出するように動作可能な電池充電検出器、及び
該玩具と別の物体との間の距離を検出するように動作可能な距離測定器
から成るリストから選択される１つ又は複数を備える、請求項３３又は３４に記載の玩具。
【請求項３６】
前記玩具は距離測定器を有し、前記コントローラは、
前記距離測定器によって生成される信号に応じて、該リモコン玩具と前記検出された画像特徴との間の相対距離が、所定の閾値距離未満であるか否かを検出し、
前記検出された相対距離が前記所定の閾値距離未満である場合、前記リモコン玩具の前記挙動を変更するように動作可能である、請求項３５に記載の玩具。
【請求項３７】
前記エンタテインメント装置から受信される前記属性制御データに応じて、前記コントローラに前記リモコン玩具の前記挙動を変更させるプログラムコードを記憶するように動作可能な記憶装置を備える、請求項３３〜３６のいずれか一項に記載の玩具。
【請求項３８】
前記コントローラは、前記エンタテインメント装置によって生成されると共に前記エンタテインメント装置から前記データ通信リンクを介して受信される更新プログラムコードデータに応じて、前記記憶装置に記憶されている前記プログラムコードを更新するように動作可能である、請求項３７に記載の玩具。
【請求項３９】
エンタテインメント方法であって、該方法は、現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有するリモコン玩具、及びデータ通信リンクを使用して該リモコン玩具と通信するように動作可能なエンタテインメント装置を制御し、該方法は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連すると共に前記リモコン玩具の前記挙動を変更する制御データを前記リモコン玩具に送信すること、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれたビデオ画像を受信すること、
前記現実環境内の現実環境特徴を検出すること、
前記検出された現実環境特徴に応じて、仮想画像特徴を生成すること、及び
前記現実環境内の前記現実環境特徴の位置に対応するように前記仮想画像特徴が前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成すること、
を含む、エンタテインメント方法。
【請求項４０】
エンタテインメント方法であって、該方法は、現実環境のビデオ画像を取り込むように動作可能なビデオカメラを有するリモコン玩具、及びデータ通信リンクを使用して該リモコン玩具と通信するように動作可能なエンタテインメント装置を制御し、前記玩具の位置は、前記現実環境内の現実経路に関連付けられ、該方法は、
前記データ通信リンクを介して、前記リモコン玩具の制御に関連する制御データを前記リモコン玩具に送信すること、
前記データ通信リンクから、前記リモコン玩具の前記ビデオカメラによって取り込まれたビデオ画像を受信すること、
前記現実環境内の前記玩具の前記現実経路を検出すると共に、該検出された現実経路に応じて現実経路データを生成すること、
前記現実経路データに応じて仮想経路を生成すると共に、該仮想経路に応じて仮想画像特徴を生成すること、及び
前記仮想画像特徴を前記現実環境内の所定の位置に提示するように該仮想画像特徴が前記ビデオ画像に対して配置されるように、前記取り込まれたビデオ画像及び前記仮想画像特徴を組み合わせた表示を生成すること、
を含む、方法。
【請求項４１】
コンピュータによって実行されると、請求項３９又は４０に記載のリモコン玩具を制御する方法を前記コンピュータに実行させるコンピュータ可読命令を含むデータキャリア。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１Ｂ】
【図１Ｃ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公表番号】特表２０１０−５２７７２２（Ｐ２０１０−５２７７２２Ａ）
【公表日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願番号】特願２０１０−５０９８８６（Ｐ２０１０−５０９８８６）
【出願日】平成２０年５月２７日（２００８．５．２７）
【国際出願番号】ＰＣＴ／ＧＢ２００８／００１７９０
【国際公開番号】ＷＯ２００８／１４５９８０
【国際公開日】平成２０年１２月４日（２００８．１２．４）
【出願人】（５０２０７０６７９）ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド (40)
【Ｆターム（参考）】
【公表日】平成２２年８月１９日（２０１０．８．１９）
【国際特許分類】
【出願日】平成２０年５月２７日（２００８．５．２７）
【国際出願番号】ＰＣＴ／ＧＢ２００８／００１７９０
【国際公開番号】ＷＯ２００８／１４５９８０
【国際公開日】平成２０年１２月４日（２００８．１２．４）
【出願人】（５０２０７０６７９）ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド (40)
【Ｆターム（参考）】
[ Back to top ]