家庭用ゲームシステムにおいて実行中のゲーム又はアプリケーションをリアルタイムに記録又は変更するための携帯型ゲーム装置の使用
【課題】ユーザが携帯型装置を用いてインタラクティブアプリケーションと相互作用することを可能とする方法及びシステムを提供する。
【解決手段】インタラクティブアプリケーションの第１のビデオストリームがディスプレーに描画される。同時に、インタラクティブアプリケーションのデータフィードが携帯型装置に送信される。データフィードは、携帯型装置に描画される補助的なビデオストリームを生成するために携帯型装置において処理される。補助的なビデオストリームが描画されているときに、携帯型装置においてインタラクティブな入力が受け付けられる。インタラクティブアプリケーションの状態がインタラクティブアプリケーションによる仮想タグの実行を誘起するための所定の状態になったときにディスプレーに描画されるべきイベントを定義する仮想タグを設定するために、インタラクティブな入力が適用される。
【解決手段】インタラクティブアプリケーションの第１のビデオストリームがディスプレーに描画される。同時に、インタラクティブアプリケーションのデータフィードが携帯型装置に送信される。データフィードは、携帯型装置に描画される補助的なビデオストリームを生成するために携帯型装置において処理される。補助的なビデオストリームが描画されているときに、携帯型装置においてインタラクティブな入力が受け付けられる。インタラクティブアプリケーションの状態がインタラクティブアプリケーションによる仮想タグの実行を誘起するための所定の状態になったときにディスプレーに描画されるべきイベントを定義する仮想タグを設定するために、インタラクティブな入力が適用される。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、米国特許出願第号（代理人ドケット番号：ＳＯＮＹＰ１１５、発明の名称：「携帯型装置がインタラクティブアプリケーションの映像を撮像することを可能とするためのシステム」、本出願と同日に出願）に関連し、その全体をここに援用する。
【０００２】
本発明は、インタラクティブアプリケーションとの相互作用を可能とするための方法及びシステムに関する。
【背景技術】
【０００３】
ビデオゲーム産業の成長しているセグメントは、携帯型装置の使用を含む。そのような携帯型装置の例は、例えば株式会社ソニー・コンピュータエンタテインメントなどにより製造された専用のゲーム装置や、スマートフォン、ＰＤＡ、ディジタルマルチメディアプレイヤーなどの他のタイプの携帯型装置を含む。このような携帯型装置の計算能力が向上して、携帯型装置はますます複雑なプログラム及びタスクを扱う能力を有するようになった。
【０００４】
例えば、今日の携帯型装置は、単一の装置に集積されたいくつかの異なるタイプのハードウェアを含みうる。そのような装置の多くは、カラーディスプレー、カメラ、スピーカ、及びボタン、タッチスクリーン、又はスタイラスなどの入力機構を含みうる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施の形態が生まれたのは、このコンテキストにおいてである。
【課題を解決するための手段】
【０００６】
本発明の実施の形態は、インタラクティブアプリケーションが携帯型装置のリソースを利用することを可能とするための方法及びシステムを提供する。本発明は、方法、装置、システム、デバイス、コンピュータ読み取り可能な記録媒体上の方法など、多様な方法で実現することが可能であることが理解されるべきである。本発明のいくつかの創意に富む実施の形態が以下に説明される。
【０００７】
一つの実施の形態において、ユーザが携帯型装置を用いてインタラクティブアプリケーションと相互作用することを可能とするための方法が提供される。この方法によれば、インタラクティブアプリケーションの状態が、インタラクティブアプリケーションの第１のビデオストリームを第１の処理インタフェースからディスプレーに送信することにより、ディスプレーに描画される。第１の処理インタフェースの周辺において携帯型装置の存在が検知される。インタラクティブアプリケーションのデータフィードが、第１の処理インタフェースから携帯型装置へ送信される。インタラクティブアプリケーションの補助的なビデオストリームを生成するためにデータフィードが携帯型装置において処理される。補助的なビデオストリームは、携帯型装置において描画される。携帯型装置に補助的なビデオストリームを描画しているときに、携帯型装置においてインタラクティブな入力が受け付けられる。ディスプレーに描画されるべきイベントを定義する仮想タグを設定するために、インタラクティブな入力が適用される。インタラクティブアプリケーションの状態が、インタラクティブアプリケーションによる仮想タグの実行を誘起するための所定の状態になったときに、仮想タグにより定義されたイベントがディスプレーに描画される。
【０００８】
一つの実施の形態において、描画される補助的なビデオストリームは、所定の期間、描画されるインタラクティブアプリケーションの第１のビデオストリームと同じ画像を生成する。
【０００９】
一つの実施の形態において、補助的なビデオストリームは、第１のビデオストリームの圧縮されたバージョンである。
【００１０】
一つの実施の形態において、描画される補助的なビデオストリームは、最初は、描画されるインタラクティブアプリケーションの第１のビデオストリームと同じ画像を生成する。つづいて、描画される補助的なビデオストリームは、受信されたインタラクティブな入力に基づいて、描画される第１のビデオストリームとは異なる画像を生成する。
【００１１】
一つの実施の形態において、仮想タグの設定は、インタラクティブアプリケーションの仮想的な空間内の位置を有するオブジェクトを設定することを含む。また、イベントの描画は、インタラクティブアプリケーションの状態がオブジェクトの位置を含む領域を描画するとき、その位置にオブジェクトを描画することを含む。
【００１２】
一つの実施の形態において、仮想タグにより特定されるオブジェクトは、テキスト、音声、映像、アイテム、又はキャラクタからなるグループから選択される。
【００１３】
一つの実施の形態において、仮想タグの設定は、インタラクティブアプリケーションの仮想的な時系列内のタイムスタンプを有するオブジェクトを設定することを含む。また、イベントの描画は、インタラクティブアプリケーションの状態が仮想タグのタイムスタンプに近似又は一致する時点になったときに、オブジェクトを描画することを含む。
【００１４】
一つの実施の形態において、描画される第１のビデオストリームは、インタラクティブアプリケーションの仮想的な空間内の第１の位置を示し、描画される補助的なビデオストリームは、インタラクティブアプリケーションの仮想的な空間内の第２の位置を示す。
【００１５】
一つの実施の形態において、描画される第１のビデオストリームは、インタラクティブアプリケーションの仮想的な時系列内の第１の位置を示し、描画される補助的なビデオストリームは、インタラクティブアプリケーションの仮想的な時系列内の第２の位置を示す。
【００１６】
一つの実施の形態において、描画される補助的なビデオストリームは、インタラクティブアプリケーションの仮想的な空間のマップを提供する。一つの実施の形態において、マップにおいて位置を選択することにより、携帯型装置において描画される、選択された位置の表示にアクセス可能とする。一つの実施の形態において、マップは仮想的な空間における１以上のオブジェクトの表現を含み、インタラクティブな入力によりオブジェクトの制御が可能とされる。一つの実施の形態において、１以上のオブジェクトは、インタラクティブアプリケーションのキャラクタを含み、インタラクティブな入力により、キャラクタにより実行されるアクションの決定が可能とされる。種々の実施の形態において、アクションは、インタラクティブアプリケーションのコンテキストにおいてキャラクタが実行可能な任意のタイプのアクションであってもよい。
【００１７】
一つの実施の形態において、アクションは、移動、攻撃的行動、及び防御的行動からなるグループから選択される。
【００１８】
一つの実施の形態において、インタラクティブな入力は、携帯型装置にマップが描画されたときに、マップにおいて描かれたジェスチャー入力を含む。
【００１９】
一つの実施の形態において、コントローラ装置からのコントローラ入力がコンソール装置において受け付けられる。また、インタラクティブアプリケーションの状態を変更するためにコントローラ入力が適用される。一つの実施の形態において、インタラクティブな入力は、携帯型装置のタッチスクリーンインタフェースを介して受信される。
【００２０】
本発明の他の態様は、本発明の原理を例示する添付の図面とともに考慮される下記の詳細な説明から明らかになる。
【図面の簡単な説明】
【００２１】
本発明は、以下の詳細な説明を添付図面とともに参照することによって、良く理解されよう。
【００２２】
【図１】図１は、本発明の実施の形態に係る、インタラクティブアプリケーションとのインタフェースのためのシステムを示す図である。
【００２３】
【図２】図２は、本発明の実施の形態に係る、仮想タグを格納及び取得するためのシステムを示す図である。
【００２４】
【図３】図３は、本発明の実施の形態に係る、インタラクティブアプリケーションとの相互作用を提供するためのシステムを示す図である。
【００２５】
【図４】図４は、本発明の実施の形態に係る、インタラクティブゲームとの相互作用を提供するのためのシステムを示す図である。
【００２６】
【図５】図５は、本発明の実施の形態に係る、インタラクティブアプリケーションが携帯型装置のリソースを利用することを可能とするためのシステムを示す図である。
【００２７】
【図６】図６は、本発明の実施の形態に係る、インタラクティブプログラムとのインタフェースのためのコントローラを示す図である。
【００２８】
【図７】図７は、本発明の実施の形態に係る、携帯型装置の例の前面を示す図である。
【００２９】
【図８】図８は、本発明の実施の形態に係る、携帯型装置の構成要素を示すダイアグラムを示す図である。
【００３０】
【図９】図９は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３１】
【図１０】図１０は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３２】
【図１１】図１１は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３３】
【図１２】図１２は、本発明の実施の形態に係る、インタラクティブゲーム内のシーンを示す概念図を示す図である。
【００３４】
【図１３Ａ】図１３Ａは、本発明の実施の形態に係る、種々のスタイルのゲームプレーを示す図である。
【図１３Ｂ】図１３Ｂは、本発明の実施の形態に係る、種々のスタイルのゲームプレーを示す図である。
【図１３Ｃ】図１３Ｃは、本発明の実施の形態に係る、種々のスタイルのゲームプレーを示す図である。
【００３５】
【図１４】図１４は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３６】
【図１５】図１５は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３７】
【図１６】図１６は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３８】
【図１７】図１７は、本発明の実施の形態に係る、仮想空間の座標系を示す図である。
【００３９】
【図１８】図１８は、本発明の実施の形態に係る、仮想タグを設定するためのユーザインタフェースを示す一連のアクションを示す図である。
【００４０】
【図１９】図１９は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００４１】
【図２０】図２０は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００４２】
【図２１】図２１は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００４３】
【図２２】図２２は、本発明の実施の形態に係る、インタラクティブアプリケーションを実行し描画するために用いられうるハードウェア及びユーザインタフェースを示す図である。
【００４４】
【図２３】図２３は、本発明の実施の形態に係る、基本となる計算装置において実行されるコンピュータプログラムを有する制御装置及び携帯型装置とのインタフェースのために親和性の高いコンソールである、ソニープレイステーション３（登録商標）エンタテインメント装置の全体のシステム構成を概略的に示す図である。
【発明を実施するための形態】
【００４５】
下記の実施の形態は、インタラクティブアプリケーションが携帯型装置のリソースを利用することを可能とするシステムのための方法及び装置を説明する。本発明の一つの実施の形態において、プライマリ（主要な）処理インタフェースは、インタラクティブアプリケーションのプライマリ（主要な）ビデオストリームをディスプレーに描画するために提供される。第１のユーザは、ディスプレーに描画されたプライマリビデオストリームを見て、プライマリ処理インタフェースと通信するコントローラ装置を操作することにより相互作用する。同時に、第２のユーザは、同じインタラクティブ環境において、携帯型装置を操作する。携帯型装置は、プライマリビデオストリームを表示するディスプレーとは分離された携帯型装置のディスプレーに、インタラクティブアプリケーションの補助的なビデオストリームを描画する。このように、本発明の実施の形態に係る方法及び装置が以下に説明される。
【００４６】
しかし、本発明は、これらの特定の詳細のいくつか又は全てを伴わずに実装されてもよいことは、当業者には明らかである。別の実例において、既知の処理手順は、本発明を不必要に不明瞭としないために、詳細には説明されない。
【００４７】
図１を参照して、本発明の実施の形態に係るインタラクティブアプリケーションとのインタフェースのためのシステムが示される。インタラクティブアプリケーション１０は、プライマリプロセッサ１２により実行される。プライマリ処理インタフェース１４は、インタラクティブアプリケーション１０の状態をディスプレー１８に描画する。これは、インタラクティブアプリケーション１０のプライマリビデオストリーム１６を、プライマリ処理インタフェース１４からディスプレー１８へ送ることにより達成される。本発明のいくつかの実施の形態において、プライマリ処理インタフェース１４及びプライマリプロセッサ１２は、コンピュータ又はコンソールシステムなどの同一の装置の一部であってもよい。または、他の実施の形態において、プライマリ処理インタフェース１４及びプライマリプロセッサ１２は、直接又はネットワークを介して互いに接続される分離された装置（例えば、分離されたコンピュータ又はコンソールシステム）の一部であってもよい。ディスプレー１８は、テレビジョン、モニタ、プロジェクタ、又はビデオストリームを表示するために利用可能な他の任意の種類のディスプレーなどの、種々のタイプのディスプレーのいずれかであってもよい。
【００４８】
コントローラ２０は、インタラクティブアプリケーション１０とのインタフェースのために提供される。コントローラは、ユーザ２４から入力を受け付けるための入力機構２２を含む。入力機構２２は、ボタン、ジョイスティック、タッチパッド、トラックボール、モーションセンサ、又はインタラクティブアプリケーション１０と相互作用するために有用なユーザ２４からの入力を受付可能な他の任意のタイプの入力機構などの、種々の種類の入力機構のいずれかを含んでもよい。コントローラ２０は、プライマリ処理インタフェース１４と通信する。一つの実施の形態において、通信は無線である。別の実施の形態において、通信は有線接続を介して生ずる。コントローラ２０は、入力データをプライマリ処理インタフェース１４に送信する。プライマリ処理インタフェース１４は、入力データを順に処理し、結果のデータをインタラクティブアプリケーション１０へ送信してもよいし、単に入力データを直接インタラクティブアプリケーション１０へ中継してもよい。入力データは、インタラクティブアプリケーションの状態に直接影響を与えるように適用される。
【００４９】
インタラクティブアプリケーション１０のデータフィード（供給）２６は、携帯型装置２８に提供される。携帯型装置２８は、別のユーザ３０がインタラクティブアプリケーション１０と相互作用するためのインタフェースを提供する。一つの実施の形態において、携帯型装置２８は、プライマリ処理インタフェース１４と無線通信する。別の実施の形態において、携帯型装置２８は、有線接続を介してプライマリ処理インタフェース１４と通信する。携帯型装置２８は、データフィード２６を受信し、携帯型装置２８のプロセッサ３２は、インタラクティブアプリケーション１０の補助的な副ビデオストリーム３４を生成するためにデータフィード２６を処理する。副ビデオストリーム３４は、携帯型装置２８に含まれるディスプレー３６に描画される。
【００５０】
さまざまな実施の形態において、副ビデオストリーム３４は、プライマリビデオストリーム１６と同じ画像を提供してもよいし、異なる程度でプライマリビデオストリーム１６とは異なってもよい。描画されたプライマリビデオストリーム１６とは完全に異なってもよい。例えば、一つの実施の形態において、副ビデオストリーム３４は、ある期間はプライマリビデオストリームと同じ画像を提供し、その後、異なる画像に遷移する。遷移は、携帯型装置２８から受け付けられる入力により誘発されてもよい。ディスプレー３６に描画される副ビデオストリーム３４の更なる実施の形態は、以下に更に詳述される。ユーザ３０は、ディスプレー３６の副ビデオストリーム３４を見て、携帯型装置２８に含まれる入力機構３８を解して入力を提供することにより、副ビデオストリーム３４と相互作用する。入力機構３８は、ボタン、タッチスクリーン、ジョイスティック、トラックボール、キーボード、スタイラス、又は携帯型装置に含まれうる任意の他の種類の入力機構などの、種々の入力機構のいずれかを含んでもよい。このように、ユーザ３０は、入力機構３８を介してインタラクティブ入力４０を提供するために、描画された副ビデオストリーム３８と相互作用する。インタラクティブ入力４０は、仮想タグデータ４２を決定するために、プロセッサ３２により処理される。仮想タグデータ４２は、プライマリ処理インタフェース１４を介してインタラクティブアプリケーション１０に送信される。仮想タグデータ４２は、仮想タグとして格納されてもよく、インタラクティブアプリケーション１０の状態が、インタラクティブアプリケーション１０による仮想タグの実行の契機となるための特定の予め定められた構成になったときに、インタラクティブアプリケーション１０により描画されるべきイベントを定義する情報を含んでもよい。仮想タグの内容は、種々の実施の形態において異なってもよく、オブジェクト、アイテム、キャラクタ、アクション、及びインタラクティブアプリケーション１０によりディスプレー１８に描画される他のタイプのイベントに関連してもよい。
【００５１】
本明細書で説明される実施の形態は、コントローラ２０を使用するユーザ２４及び携帯型装置２８を使用するユーザ３０を含むが、種々のユーザの構成がありうる。例えば、他の実施の形態において、コントローラを使用する１以上のユーザと、携帯型装置２８を使用する１以上のユーザがいてもよい。または、他の実施の形態において、コントローラを使用するユーザはいないが、携帯型装置を使用するユーザが少なくとも一人いてもよい。
【００５２】
図２を参照して、本発明の実施の形態にしたがって、仮想タグを格納し読み出すためのシステムが示される。携帯型装置のユーザ３０は、タグデータ４２を生成するために携帯型装置２８を利用する。一つの実施の形態において、タググラフィカルユーザインタフェース（ＧＵＩ）モジュール５０は、タグデータ４２を生成するためにユーザ３０により提供されたインタラクティブ入力の受付を容易にするためのＧＵＩをユーザ３０に提供するために、携帯型装置に含まれる。種々の実施の形態において、タグＧＵＩ５０は、選択可能なメニューオプション、ディスプレーに描かれたタッチスクリーン入力の追跡、タッチスクリーンのジェスチャー又は選択可能な入力に基づいた動き、又はタグデータ４２を生成するためのインタラクティブな入力をユーザ３０が提供することを可能とするために有用な任意のタイプのＧＵＩ要素又は特徴を含む種々の特徴のいずれかを含んでもよい。
【００５３】
一つの実施の形態において、タグデータ４２は、インタラクティブアプリケーション１０に送信される。タグデータ４２は、インタラクティブアプリケーションに含まれるタグモジュール６０により受信される。ある実施の形態において、タグデータは、タグデータにより定義されたイベントを描画するために、インタラクティブアプリケーション１０により直ちに適用される。例えば、タグデータは、描画されるべきオブジェクトを定義してもよいし、インタラクティブアプリケーションにより既に描画されている既存のオブジェクトに影響を与えてもよい。タグデータにより定義されたイベントは、インタラクティブアプリケーションにより適用され、そのイベントを含むインタラクティブアプリケーションの状態が更新される。この更新された状態は、図１に示されるように、ディスプレー１８に表示されるプライマリビデオストリーム１６に描画される。
【００５４】
ある実施の形態において、タグデータ４２は、直ちに適用可能でないが、インタラクティブアプリケーション１０の状態が特定の構成になったときにインタラクティブアプリケーション１０により適用可能となるイベントを定義する。例えば、一つの実施の形態において、タグデータ４２により定義されたイベントは、インタラクティブアプリケーション１０の仮想空間内の特定の位置にオブジェクトが描画されるべきであることを特定してもよい。インタラクティブアプリケーション１０の状態が、インタラクティブアプリケーション１０がタグデータにより定義された位置を含む領域を描画するような構成になったときに、インタラクティブアプリケーション１０は、そのオブジェクトを描画するためにタグデータを適用する。別の例において、タグデータ４２は、インタラクティブアプリケーション１０の仮想時系列内でイベントが発生すべき時刻を特定するタイムスタンプを含んでもよい。インタラクティブアプリケーション１０の状態が特定された時間になったとき、タグデータ４２により定義されたイベントの実行が誘発され、描画されたイベントを含むインタラクティブアプリケーション１０の状態が更新される。
【００５５】
タグモジュール６０は、タグデータをタグとしてローカルに格納してもよい。タグモジュール６０は、タグをタグリポジトリ５２に更に格納してもよい。タグリポジトリ５２は、インタラクティブアプリケーション１０と同一装置内にあってもよいし、インターネットなどのネットワーク５４を介してインタラクティブアプリケーション１０に接続されてもよい。タグリポジトリ５２は、将来の取得のためにタグ５６を格納する。それぞれのタグ５６は、インタラクティブアプリケーション１０により描画されるべきイベントを定義する種々のデータを含んでもよい。データは、インタラクティブアプリケーションの仮想空間内の位置を定義する座標データ、インタラクティブアプリケーションの仮想時系列内の時刻を定義する時間データ（又はタイムスタンプ）、テキスト、グラフィックデータ、オブジェクト又はアイテムのデータ、キャラクタデータ、及びインタラクティブアプリケーション１０内のイベント又はオブジェクトを定義又は影響することが可能な他のタイプのデータを含んでもよい。
【００５６】
タグリポジトリ５２は、複数のユーザからタグデータを受信し、同一のインタラクティブアプリケーションと相互作用する複数のユーザからのタグを統合するように構成されてもよい。ユーザは、インタラクティブアプリケーション１０の同一のセッション又は同一のインスタンスと相互作用してもよいし、同一のインタラクティブアプリケーション１０の異なるセッション又は異なるインスタンスと相互作用してもよい。一つの実施の形態において、インタラクティブアプリケーション１０のタグモジュール６０は、タグリポジトリ５２からタグデータを取得する。これは、インタラクティブアプリケーションの状態の現在位置５８に基づいて実行されてもよい。いくつかの実施の形態において、現在位置５８は、インタラクティブアプリケーションの仮想空間内の地理的な位置であってもよいし、インタラクティブアプリケーションの仮想時系列内の時間的位置であってもよい。インタラクティブアプリケーションの状態の変化に基づいて（例えばインタラクティブアプリケーション１０に対する入力に基づいて）現在位置５８は変化するので、タグモジュール６０は、タグリポジトリ５２から現在位置５８に関連するタグデータを取得し続ける。このように、インタラクティブアプリケーション１０のユーザは、他の複数のユーザから生成されたタグデータにより影響されたインタラクティブアプリケーション１０とのインタラクティブな体験を楽しむことができる。
【００５７】
別の実施の形態において、タグデータ４２は、携帯型装置２８からタグリポジトリ５２に直接送信される。これは、インタラクティブアプリケーション１０へのタグデータの送信に加えて、又はそれに代えて行われてもよい。
【００５８】
図３を参照して、本発明の実施の形態に係るインタラクティブアプリケーションとの間の相互作用を提供するためのシステムが示される。図示されるように、インタラクティブアプリケーション１０は、コンピュータ７０上で実行される。コンピュータ７０は、サーバ、パーソナルコンピュータ、ゲームコンソールシステム、又は、インタラクティブアプリケーションを実行可能な他のタイプの計算装置など、種々のタイプの計算装置のいずれかであってもよい。コンピュータ７０は、相互作用のために、インタラクティブアプリケーション１０を視覚的に描画するために、ディスプレー１８へのプライマリビデオストリームとしてインタラクティブアプリケーション１０の出力を提供する。また、コンピュータ７０は、相互作用のための音声を提供するために、スピーカ１９へのプライマリオーディオストリームとしてインタラクティブアプリケーション１０からの音声出力を提供する。
【００５９】
コンピュータ７０は、外部の要素との通信を容易にするために、無線トランシーバ７６を更に含む。図示された実施の形態において、無線トランシーバ７６は、ユーザ２４により操作されるコントローラ２０及びユーザ３０により操作される携帯型装置２８との無線通信を容易にする。ユーザ２４及び３０は、それぞれ、コントローラ２０及び携帯型装置２８を操作することにより、インタラクティブアプリケーション１０に対する入力を提供する。ユーザ２４は、ディスプレー１８に表示されるプライマリビデオストリームを視聴し、インタラクティブアプリケーション１０の状態に影響を与える直接の入力を提供するために、コントローラ２０の入力機構２２を操作して、インタラクティブアプリケーションと相互作用する。
【００６０】
同時に、インタラクティブアプリケーション１０のデータフィードは、インタラクティブアプリケーション１０のゲーム出力モジュール７２により生成され、携帯型装置２８において実行されるスレーブアプリケーション８０へ送信される。より具体的には、データフィードは、コンピュータ７０の無線トランシーバ７６から携帯型装置の無線トランシーバ７８へ送信され、スレーブアプリケーション８０のスレーブ入力モジュール８２により受信される。このデータフィードは、携帯型装置２８のディスプレー３６に描画される副ビデオストリームを生成するために、スレーブアプリケーション８０により処理される。ユーザ３０は、ディスプレー３６を視聴し、入力を提供するために携帯型装置２８の入力機構３８を操作することにより、副ビデオストリームと相互作用する。この入力は、スレーブアプリケーション８０のスレーブ出力モジュール８４により、インタラクティブアプリケーション１０のゲーム入力モジュール７４へ（携帯型装置２８の無線トランシーバ７８及びコンピュータ７０の無線トランシーバ７６をそれぞれ介して）送信されるデータを生成するために、スレーブアプリケーション８０により処理される。
【００６１】
本発明の種々の実施の形態において、スレーブアプリケーション８０は、ユーザ３０が相互作用するための種々のタイプのインタラクティブなインタフェースを提供するように構成されてもよい。例えば、一つの実施の形態において、携帯型装置２８のディスプレー３６に表示される副ビデオストリームは、ディスプレー１８に表示されるプライマリビデオストリームの画像と同一の画像を提供してもよい。別の実施の形態において、携帯型装置２８のディスプレー３６に表示される画像は、ディスプレー１８に表示された画像の変更されたバージョンであってもよい。更に別の実施の形態において、携帯型装置２８において表示される画像は、ディスプレー１８に表示された画像とは全く異なってもよい。
【００６２】
図４を参照して、本発明の実施の形態に係るインタラクティブなゲームとの相互作用を提供するためのシステムが示される。ゲームエンジン９０は、インタラクティブゲームの現在状態の決定を継続的に実行する。ゲームエンジン９０は、ディスプレー１８にプライマリビデオストリーム９１を描画する映像描画部９２にプライマリビデオストリーム９１を提供する。プライマリビデオストリーム９１は、インタラクティブゲームの現在状態を表現するビデオデータを含み、ディスプレー１８に表示されたとき、相互作用のためにインタラクティブゲームの映像表現を提供する。
【００６３】
ゲームエンジン９０は、ゲーム出力モジュール７２にもデータを提供する。一つの実施の形態において、ゲーム出力モジュール７２は、ゲームエンジンから受信されたデータに基づいて携帯型装置２８に送信されるＡＶデータフィード９５を生成する音声／映像（ＡＶ）フィード生成部９４を含む。ＡＶデータフィード９５は、ディスプレー１８に表示された画像と同一又は実質的に類似する画像を生成するために携帯型装置２８により使用されることが可能なデータを含んでもよい。例えば、一つの実施の形態において、ＡＶデータフィード９５は、ディスプレー１８に描画されるプライマリビデオストリームの、圧縮された、より低解像度の、より低いフレームレートの、又はより低い帯域幅のバージョンを含む。より低い帯域幅を使用することにより、ＡＶデータフィード９５は、とくに、有線送信技術よりも一般に帯域幅の容量が低い無線通信技術を介する場合に、より容易に送信されることができる。さらに、携帯型装置のディスプレー３６は一般にディスプレー１８よりも小さくて解像度が低く、プライマリビデオストリーム９１において提供されるデータの全量を必要としないので、ＡＶデータフィード９５は、より低い帯域幅を使用するように構成されてもよい。
【００６４】
ゲーム出力モジュール７２は、ゲームエンジンから受信されたデータに基づいて携帯型装置２８に送信されるゲームデータフィード９７を生成するゲームデータ生成部９６を更に含んでもよい。ゲームデータフィード９７は、インタラクティブゲームの状態に関する種々のタイプのデータを含んでもよい。携帯型装置２８において、ＡＶデータフィード９５及びゲームデータフィード９７は、スレーブ入力ハンドラ８２により受信され、スレーブ入力ハンドラ８２が最初にデータフィードを処理する。スレーブアプリケーションエンジン９８は、ユーザ３０にインタラクティブなインタフェースを提供するために携帯型装置２８において実行される。スレーブアプリケーションエンジン９８は、データフィードに基づいて副ビデオストリーム９９を生成する。副ビデオストリーム９９は、スレーブ映像描画部１００により、携帯型装置２８のディスプレー３６に描画される。
【００６５】
ユーザ３０は、ディスプレー３６に描画された副ビデオストリームを視聴し、携帯型装置２８の種々の入力機構を介して直接入力１０２を提供することにより、表示された画像と相互作用する。直接入力１０２の例は、ボタン入力１０４、タッチスクリーン入力１０６、及びジョイスティック入力１０８を含むが、他のタイプの入力が直接入力１０２に含まれてもよい。直接入力１０２は、スレーブアプリケーションエンジン９８による使用のために、直接入力プロセッサ１１０により処理される。コンピュータ７０から提供されたデータフィードだけでなく、処理された直接入力に基づいて、スレーブアプリケーションエンジン９８は、実行の状態を更新する。更新された状態は、ディスプレー３６に描画される副ビデオストリーム９９に反映される。スレーブ出力生成部８４は、スレーブアプリケーションエンジン９８の状態に基づいてスレーブデータ８５を生成し、スレーブデータ８５をインタラクティブゲームのゲーム入力モジュール７４に提供する。スレーブデータ８５は、ゲームエンジン９０の実行の状態に影響を与えるためにゲームエンジン９０により使用可能なデータや、ゲームエンジンの状態が特定の構成になったときにゲームエンジンの状態に影響を与えるタグデータなどの種々のタイプのデータを含んでもよい。
【００６６】
図５を参照して、本発明の実施の形態に係る、携帯型装置２８のリソースをインタラクティブアプリケーション９０が利用可能とするためのシステムが示される。図示されるように、インタラクティブアプリケーション又はゲームエンジン９０は、携帯型装置２８のリソースを利用するための要求１２０を生成する。要求１２０は、携帯型装置２８上で実行されるスレーブアプリケーション８０に送信される。スレーブアプリケーション８０は、携帯型装置２８のどのリソースが使用されるのかを決定するために要求１２０を処理する。携帯型装置のリソースは、携帯型装置２８に含まれる任意の装置又は機能であってもよい。例えば、携帯型装置２８のリソースは、携帯型装置のプロセッサ及びメモリを含む処理能力を含んでもよい。携帯型装置２８のリソースは、カメラ、モーションセンサ、マイクロフォン、生体信号センサ、タッチスクリーン、又は携帯型装置に含まれる他のハードウェアなどの、装置、センサ、又はハードウェアを含んでもよい、
【００６７】
要求１２０に基づいて、スレーブアプリケーション８０は、ハードウェア又はセンサ１２４の動作又はそれらからの検出を開始する。携帯型装置２８を操作するユーザ３０は、ハードウェア１２４の性質に依存して、種々の程度でハードウェアを制御する。例えば、ハードウェア１２４がカメラである場合、ユーザ３０はカメラの方向及び角度を制御してもよい。それに対して、ハードウェアが携帯型装置２８のプロセッサ又はメモリである場合は、ユーザ３０は、ハードウェアの動作に対してほとんど又は全く直接制御を行わなくてもよい。一つの実施の形態において、ハードウェア１２４の動作は、スレーブアプリケーション８０の生データプロセッサ１２６により処理される生データを生成する。生データの処理により処理済データ１２２が生成される。処理済データ１２２はインタラクティブアプリケーション９０に送信される。こうして、インタラクティブアプリケーション９０は、最初の要求１２０に対する応答として、処理済データ１２２を受信する。
【００６８】
前述したように、インタラクティブアプリケーション９０が携帯型装置２８のリソースを使用する多数の例が提供されうることは、当業者に理解されるところである。一つの実施の形態において、インタラクティブアプリケーション９０は、インタラクティブアプリケーション９０の１以上のタスクの処理を移管するために、プロセッサ及びメモリなどの携帯型装置の処理リソースを使用する。別の実施の形態において、インタラクティブアプリケーション９０は、動画又は静止画を撮像するために、携帯型装置２８のカメラを使用する。一つの実施の形態において、インタラクティブアプリケーション９０は、インタラクティブな環境から音声を取得するために、携帯型装置２８のマイクロフォンを使用する。別の実施の形態において、インタラクティブアプリケーション９０は、ユーザからの動きに基づいた入力を受け付けるために、携帯が耐装置２８のモーションセンサを使用する。別の実施の形態において、インタラクティブアプリケーション９０は、携帯型装置２８に含まれる他の任意のリソースを使用してもよい。
【００６９】
図６を参照して、本発明の実施の形態に係る、インタラクティブプログラムとのインタフェースのためのコントローラが示される。コントローラ２０は、コンピュータ、ゲームコンソール、又はインタラクティブアプリケーションを実行、描画、又は表示する他のタイプの計算装置などの、コンピュータ又はプライマリ処理インタフェースとのインタフェースのために用いられるタイプのものである。コントローラ２０は、無線又は有線接続を介してコンピュータと通信する。別の実施の形態において、インタラクティブアプリケーションは、ＬＡＮ、ＷＡＮ、インターネット、及び他の形式のネットワークなどを介してアクセス可能な計算装置により実行されてもよい。このような実施の形態において、コントローラにより検知された入力は、ネットワークを介してインタラクティブアプリケーションに送信される。コントローラからの入力は、まず、入力を処理可能なローカル装置により受信されてもよく、インタラクティブアプリケーションを実行するネットワーク接続された装置に、入力又は入力に基づいたデータを含むデータが送信されてもよい。ユーザは、コントローラ２０のハードウェア、例えば、方向パッド１３０、ジョイスティック１３２、ボタン１３４、及びトリガ１３６などを使用して、コントローラ２０を介してインタラクティブアプリケーションに対する入力を提供する。コントローラ２０は、ユーザからの生体電気的信号を検知するための電極１３８ａ及び１３８ｂを更に含む。生体電気的信号は、インタラクティブプログラムの入力として使用される生体測定データを決定するための処理されてもよい。
【００７０】
図７を参照して、本発明の実施の形態に係る、携帯型装置２８の例の前面図が示される。携帯型装置２８は、グラフィックを表示するためのディスプレー１４０を含む。本発明の実施の形態において、ディスプレー１４０は、インタラクティブなコンテンツをリアルタイムに表示するために使用される。本発明の種々の実施の形態において、ディスプレー１４０は、タッチ検知などの種々の表示技術のいずれかを組み込んでもよい。携帯型装置２８は、音声出力を容易にするためのスピーカ１４２を含む。スピーカ１４２からの音声出力は、キャラクタの音、背景音、サウンドトラック音声、リモートユーザからの音声、又は他のタイプの音声などの、インタラクティブなコンテンツに関連した任意の音声を含んでもよい。
【００７１】
携帯型装置２８は、携帯型装置のユーザからの入力を受け付けるための入力機構として機能するボタン１４４及び方向パッド１４６を含む。本発明の実施の形態において、他のタイプの種々の入力機構のいずれかが携帯型装置２８に含まれてもよい。入力機構の他の例は、スタイラス、タッチスクリーン、キーボード、キーパッド、タッチパッド、トラックボール、ジョイスティック、トリガ、又はユーザの入力を受け付けるために有用でありうる他の任意のタイプの入力機構を含んでもよい。
【００７２】
前面カメラ１４８は、携帯型装置２８のユーザ、又は携帯型装置２８の前面のオブジェクト又は風景の画像及び映像を撮像するために設けられる。図示されないが、携帯型装置２８の背後のシーンの画像又は映像を撮像するために、背面カメラが更に含まれてもよい。さらに、携帯型装置２８のユーザにより発せられる音声又は会話、又は携帯型装置２８が使用されているインタラクティブな環境における他の音声などの、周囲の領域からの音声を取得するために、マイクロフォン１５０が含まれる。
【００７３】
左電極１５２ａ及び右電極１５２ｂは、携帯型装置を把持するユーザの左手及び右手から生体電気的信号を検知するために設けられる。左電極１５２ａ及び右電極１５２ｂは、ユーザが携帯型装置２８を把持するときに、ユーザの左手及び右手にそれぞれ接触する。本発明の他の種々の実施の形態において、ユーザから生体測定データを検知するために携帯型装置に含まれる電極は、他の種々の構成のいずれかを有してもよい。
【００７４】
図８を参照して、本発明の実施の形態に係る、携帯型装置１０の構成要素を示す図が示される。携帯型装置１０は、プログラム命令を実行するためのプロセッサ１６０を含む。メモリ１６２は、記憶装置の目的のために設けられ、揮発性及び不揮発性のメモリの双方を含んでもよい。ユーザが見ることが可能な映像インタフェースを提供するディスプレー１６４が含まれる。バッテリー１６６は、携帯型装置１０の電力源として設けられる。動き検出モジュール１６８は、磁力計１７０、加速度計１７２、及びジャイロスコープ１７４などの種々の種類の動きを検出可能なハードウェアのいずれかを含んでもよい。
【００７５】
加速度計は、加速度及び重力により誘起される反力を測定するための装置である。単一及び複数の軸のモデルが、異なる方向における加速度の大きさ及び方向を検出するために利用可能である。加速度計は、傾き、振動、及び衝撃を検知するために用いられる。一つの実施の形態において、３つの加速度計１７２が、２つの角度（ワールド空間のピッチ及びワールド空間のロール）のための絶対的な参照を与える重力の方向を提供するために用いられる。
【００７６】
磁力計は、コントローラの周辺の磁場の強さ及び方向を測定する。一つの実施の形態において、３つの磁力計が、ワールド空間のヨー角のための絶対的な参照を確保するために、コントローラの内部で用いられる。一つの実施の形態において、磁力計は、±８０マイクロテスラである地磁場を測定するように設計される。磁力計は金属により影響され、現実のヨーに対して単調であるヨー測定を提供する。磁場は、環境内の金属により曲げられ、ヨー測定の歪みをもたらす可能性がある。必要であれば、この歪みは、ジャイロスコープ又はカメラなどの他のセンサからの情報を用いて較正することができる。一つの実施の形態において、携帯型装置２８の傾き及び方位を得るために、加速度計１７２が磁力計１７０とともに用いられる。
【００７７】
ジャイロスコープは、角運動量の法則に基づいて方向を測定又は維持するための装置である。一つの実施の形態において、３つのジャイロスコープ１７４が、慣性の検知に基づいて、それぞれの軸（ｘ、ｙ及びｚ）に関する動きについての情報を提供する。ジャイロスコープは、高速な回転を検知するのに有用である。しかし、ジャイロスコープは、絶対的な参照の存在がないと、時間の経過によりドリフトする。したがって、ジャイロスコープは定期的に再設定する必要がある。これは、オブジェクトの映像追跡、加速度計、磁力計などに基づいた位置／方向の決定など、利用可能な他の情報を用いてなされうる。
【００７８】
カメラ１７６は、現実の環境の画像及び画像ストリームを撮像するために設けられる。携帯型装置２８には、後方（ユーザが携帯型装置のディスプレーを見るときにユーザから離れる方向）に面したカメラ、及び前方（ユーザが携帯型装置のディスプレーを見るときにユーザに向かう方向）に面したカメラを含む、１以上のカメラが含まれてもよい。さらに、現実の環境におけるオブジェクトの深さ情報を検知するために、携帯型装置に深さカメラ１７８が含まれてもよい。
【００７９】
携帯型装置１０は、音声出力を提供するためのスピーカ１８０を含む。また、現実の環境から、周囲環境からの音声やユーザにより発せられた会話などの音声を取得するために、マイクロフォン１８２が含まれてもよい。携帯型装置２８は、ユーザに触覚のフィードバックを提供するための触覚フィードバックモジュール１８５を含む。一つの実施の形態において、触覚フィードバックモジュール１８４は、ユーザに触覚のフィードバックを提供するために、携帯型装置２８の動き及び／又は振動を発生させることができる。
【００８０】
ＬＥＤ１８６は、携帯型装置２８の状態の視覚的なインジケータとして設けられる。例えば、ＬＥＤは、バッテリーレベル、電源オンなどを示してもよい。カードリーダ１８８は、携帯型装置２８がメモリカードから情報を読み出したりメモリカードに情報を書き込んだりすることを可能とするために設けられる。ＵＳＢインタフェース１９０は、周辺装置の接続や、他の携帯型装置やコンピュータなどの他の装置への接続を可能とするためのインタフェースの一例として含まれる。携帯型装置２８の種々の実施の形態において、携帯型装置２８のより多くの接続を可能とするために、種々の種類のインタフェースのいずれかが含まれてもよい。
【００８１】
ＷｉＦｉモジュール１９２は、無線ネットワーク技術を介したインターネットへの接続を可能とするために含まれる。また、携帯型装置２８は、他の装置との無線接続を可能とするために、ブルートゥースモジュール１９４を含む。通信リンク１９６も、他の装置との接続のために含まれてもよい。一つの実施の形態において、通信リンク１９６は、無線通信のために赤外線送信を用いる。他の実施の形態において、通信リンク１９６は、他の装置と通信するために、無線又は有線の種々の送信プロトコルのいずれかを用いてもよい。
【００８２】
入力ボタン／センサ１９８は、ユーザに入力インタフェースを提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなどの種々の種類の入力インタフェースのいずれかが含まれてもよい。超音波通信モジュール２００は、超音波技術を介した他の装置との通信を容易にするために携帯型装置２８に含まれてもよい。
【００８３】
生体センサ２０２は、ユーザから生理的データの検出を可能とするために含まれる。一つの実施の形態において、生体センサ２０２は、ユーザの肌からユーザの生理電気的信号を検出するための１以上の乾式電極を含む。
【００８４】
上記の携帯型装置２８の構成要素は、携帯型装置２８に含まれうる構成要素の単なる例として説明された。本発明の種々の実施の形態において、携帯型装置２８は、上述の種々の構成要素のいくつかを含んでもよいし含まなくてもよい。携帯型装置２８の実施の形態は、ここで説明されなかったが技術分野において既知である他の構成要素を、本明細書で説明される本発明の態様を容易にする目的で更に含んでもよい。
【００８５】
本発明の種々の実施の形態において、上述した携帯型装置は、種々のインタラクティブな機能を提供するために、ディスプレーに表示されたインタラクティブアプリケーションに関連して使用されてもよいことは、当業者に理解されるところである。以下の実施の形態は例示の目的のみで提供され、限定の目的はない。
【００８６】
図９を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。コンソール又はコンピュータ７０は、ディスプレー１８上に描画されるプライマリビデオストリームを生成するインタラクティブアプリケーションを実行する。図示されるように、描画されたプライマリビデオストリームは、シーン２１０を表現する。シーン２１０は、キャラクタ２１２、オブジェクト２１４、又はインタラクティブアプリケーションにより描画される他の任意のアイテムを含んでもよい。ユーザ２４は、ディスプレー１８上のシーン２１０を見て、コントローラ２０を操作することによりインタラクティブアプリケーションとの間で相互作用する。コントローラ２０は、ユーザがインタラクティブアプリケーションの状態に直接影響を与えることを可能とする。インタラクティブアプリケーションの状態は、ディスプレー１８に描画されるプライマリビデオストリームにおいて更新され、反映される。
【００８７】
同時に、もう一人のユーザ３０は、インタラクティブな環境において、携帯型装置２８を視聴し、操作する。携帯型装置２８は、副ビデオストリームをコンピュータ７０から受信し、携帯型装置２８のディスプレー３６上に描画する。いま説明している実施の形態において、携帯型装置２８の拡大されたビュー２１６により図示されるように、描画された副ビデオストリームは、プライマリビデオストリームによりディスプレー１８上に描画されたシーンと実質的に類似又は同一のシーン２１８を表現する。ユーザ３０は、このシーン２１８を見て、タッチスクリーンを介して入力を提供したり、ボタン、ジョイスティック、又はモーションセンサなどの他の入力機構をアクティブ化したりするなど、携帯型装置の種々の入力機構によりシーン２１８と相互作用することができる。
【００８８】
本発明の種々の実施の形態において、携帯型装置２８において可能とされる特定のインタラクティブ機能は異なってもよい。例えば、ユーザは、携帯型装置２８において副ビデオストリームを録画してもよい。録画された副ビデオストリームは、他のユーザと共有するためにウェブサイトにアップロードされてもよい。または、一つの実施の形態において、ユーザは、ディスプレー３６にオブジェクト、例えばオブジェクト２１４が表示されているときに、オブジェクト２１４をタップすることによりオブジェクトを選択することができる。オブジェクト２１４の選択は、ユーザ３０が、オブジェクトの変形、移動、説明又は他の種類の情報を含むタグの追加など、オブジェクト２１４に関連したいくつかの機能を実行することを可能とする。
【００８９】
一つの実施の形態において、携帯型装置２８のディスプレー３６に表示されるシーン２１８は、ユーザ３０が、タッチスクリーンをタッチしたり、携帯型装置２８のボタンを押したりすることにより発生する、あるタイプの入力を提供するまでは、ディスプレー１８に表示されるシーン２１０と同一である。この時点において、ユーザ３０が、ユーザ２４とシーン２１０との間で発生する相互作用とは無関係にインタラクティブな入力を提供したので、携帯型装置２８に描画される副ビデオストリームは、もはやディスプレー１８に描画されるプライマリビデオストリームと同一のシーンを表現せず、その代わりに、プライマリビデオストリームにより表現されるものから分岐する。
【００９０】
例えば、一つの実施の形態において、携帯型装置のディスプレー３６をタッチ又はタップすると、シーン２１８がフリーズ又はポーズされ、ユーザ３０がシーン２１８にインタラクティブな操作を実行することが可能となる。この間、ディスプレー１８に表示されたシーン２１０は、ユーザ２４がコントローラ２０を操作し、又は、シーン２１０と相互作用するときに、進行し続ける。別の実施の形態において、シーン２１８はフリーズせず、シーン２１８により表現されたビューの眺望又は視点が、ユーザ３０により提供される入力に基づいて変更されてもよい。一つの実施の形態において、ユーザ３０により提供される入力は、ユーザ３０がディスプレー２８において指を移動させたときに検知されるジェスチャー入力を含む。更に別の実施の形態において、ディスプレー１８に表示されたシーン２１０から携帯型装置２８のディスプレー３６に表示されたシーン２１８の変更は、他の種々のタイプの変更のいずれかを含んでもよい。例えば、シーン２１８は、外観、色、照明、又は他の表示態様がシーン２１０から変更されてもよい。一つの実施の形態において、シーン２１８の外観は、シーン内の特定の特徴が強調表示されるように、シーン２１０から変更されてもよい。例えば、一人称視点シューティングゲームなどのインタラクティブゲームのコンテキストにおいて、シーン２１８は、赤外光、紫外光、ナイトビジョン、又は他のいくつかのタイプの変更された映像モードに基づいてビューを描写してもよい。他の実施の形態において、シーン２１８は、シーン２１０に比べて遅く又は速くされてもよい。更に別の実施の形態において、シーン２１０においては視認可能でない情報がシーン２１８において視認可能であってもよい。このような情報は、テキスト情報、マーカ又はインジケータ、カラースキーム、ハイライト、又はシーン２１８を見るユーザ３０に情報を提供する他の表現を含んでもよい。
【００９１】
図１０を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示されるように、コンピュータ７０は、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画するように構成される。プライマリビデオストリームの描画の結果、ディスプレー１８にシーン２２０が表現される。ユーザ２４は、シーン２２０を視聴し、インタラクティブアプリケーションに対する入力を提供するためにコントローラ２０を操作する。一つの実施の形態において、コントローラは、コンピュータ７０と無線通信する。同時に、第２のユーザ３０は、携帯型装置２８のディスプレー３６上の関連するシーン２２２を視聴する。図示された実施の形態に示されるように、シーン２２２は、選択可能なアイコン２２４を含むメニューを備える。本発明の種々の実施の形態において、シーン２２２に含まれるメニューは、インタラクティブアプリケーションに関連する種々の機能を可能としてもよい。このように、ユーザ３０は、ユーザ２４とシーン２２０との間の相互作用とは独立に、メニューインタフェースを介してインタラクティブアプリケーションに影響を与えることができる。
【００９２】
図１１を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。コンピュータ７０は、シーン２３０を表現するために、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画する。同時に、ディスプレー１８に表示されたシーン２３０と実質的に類似する又は同一のシーン２３２を表現する副ビデオストリームが、携帯型装置２８のディスプレー３６に描画される。携帯型装置２８を操作するユーザは、シーン２３２の領域２３４を選択し、更新されたシーン２３６により示されるように、領域２３４をズームインすることができる。
【００９３】
領域２３４の選択は、タッチスクリーン技術によってディスプレー３６において検知されるタッチ又はジェスチャー入力によるなど、種々の機構により発生してもよい。一つの実施の形態において、ユーザは、拡大されるべき領域２３４を決定するために、矩形を描く又は指定することができる。このように、ユーザは、別のディスプレー１８に表示されたシーン２３０内の興味のある領域をズームインすることができる。いくつかの実施の形態において、このような選択の操作により、携帯型装置２８に表示されたシーン２３２をフリーズ又はポーズさせるが、他の実施の形態においては、シーン２３２はフリーズしない。いくつかの実施の形態において、このような選択の操作により、ディスプレー１８に表示されたシーン２３０と携帯型装置２８に表示されたシーン２３２の双方がポーズされるが、他の実施の形態においては、携帯型装置に表示されたシーン２３２のみがフリーズする。一つの実施の形態において、携帯型装置２８に表示されたシーン２３２内の領域をユーザが選択又はズームインしたときに、ディスプレー１８に表示されたシーン２３０において実質的に類似する又は同一の効果が生じるように、プライマリ及び副ビデオストリームが同期される。
【００９４】
図示された実施の形態は、ズーム又は拡大機能に関連して説明されたが、本発明の他の実施の形態においては、ここで説明された選択の特徴は、他のタイプの機能を可能としてもよいことが理解されよう。例えば、シーンの範囲又は領域の選択の後、映像のプロパティを調整したり、仮想タグを設定したり、アイテムを追加したり、選択された領域を編集したりするなど、選択された領域において種々の機能を実行可能であってもよい。本発明の他の実施の形態において、シーンの領域の選択後、他の種々のタイプの機能のいずれかが実行されてもよい。
【００９５】
図１２を参照して、本発明の実施の形態に係る、インタラクティブゲーム内のシーンを示す概念図が示される。図示されるように、インタラクティブゲームは、一連のシーン２４０、２４２、及び２４４、シーン２４６までを含む。プレーヤーがインタラクティブゲームを進行させるとき、プレーヤーは、シーン２４０、２４２、及び２４４からシーン２４６までと連続して相互作用する。図示されるように、プレーヤーは、まずシーン２４０と相互作用し、シーン２４２、２４４が続き、最後にシーン２４６と相互作用する。プレーヤーは、ディスプレーにシーンを描画するように構成されたコンピュータ又はコンソールシステムに接続されたディスプレー上のシーンを見ることによりシーンと相互作用する。図示された実施の形態において、シーン２４０は、プレーヤーが現在プレー中の現在アクティブなシーンである。
【００９６】
同時に、第２のプレーヤーは、携帯型装置に表示するための一つのシーンを選択することができる。第２のプレーヤーにより選択されたシーンは、第１のプレーヤーが現在プレー中のアクティブなシーン２４０とは異なるシーンであってもよい。例示のために示されるように、第２のプレーヤーは、携帯型装置における表示及び相互作用のために、シーン２４２を選択している。携帯型装置に表示されたシーン２４８は、シーン２４２に対応する。第２のプレーヤーは、シーン内を時間的又は空間的に進んだり、シーンの変更を実行したりするなど、種々の方法でシーン２４８と相互作用することができる。例として、一つの実施の形態において、携帯型装置を使用する第２のプレーヤーは、シーン２５０において示されるように、メニュー２５２に表示されたオプションから選択することができる。オプションは、オブジェクトの追加、オブジェクトの移動、仮想タグの追加など、シーンを改変又は修正するための種々の選択肢を含んでもよい。シーン２５４において示されるように、第２のプレーヤーは、オブジェクト２５６を追加することによりシーンを改変した。
【００９７】
第１のプレーヤーが、第２のプレーヤーにより変更がなされたシーンにおいて同一の空間的又は時間的位置に到達するときに、ディスプレーに描画されるシーンにおいてこれらの変更が表示されるので、第１のプレーヤーは第２のプレーヤーによりシーンになされた変更を見ることができる。図示された実施の形態において、第１のプレーヤーがシーン２４２に到達すると、第１のプレーヤーは第２のプレーヤーにより配置されたオブジェクト２５６を見ることになる。ここで説明される実施の形態によれば、第２のプレーヤーは、第１のプレーヤーが同じ空間的又は時間的位置に到達するときに第１のプレーヤーが遭遇するシーンを変更するために、インタラクティブゲームのゲームプレーシーケンス内で先を見ることができる。種々の実施の形態において、インタラクティブゲームは、第２のプレーヤーが、ゲームプレーのシーケンス内で先を見ることにより、第１のプレーヤーのゲームのプレーを助けるような、協力的なゲームプレーを確立するように設計されてもよい。例えば、第２のプレーヤーは、特定のアイテム又は位置に、第１のプレーヤにとって有用な説明的情報又はヒントのタグを付けてもよい。または、第２のプレーヤーは、オブジェクトを追加したり、第１のプレーヤーがシーン内の同一の位置に到達するときに、第１のプレーヤーの助けとなるような、シーンに対する他の修正を実行したりすることにより、シーンを変更してもよい。本発明の他の実施の形態において、インタラクティブなゲームは、第１及び第２のプレーヤーが互いに競争するように設計されてもよい。例えば、第２のプレーヤーは、ゲームプレーのシーケンス内で先を見て、第１のプレーヤーが特定の位置に到達するときに第１のプレーヤーが遭遇する障害物を設定してもよい。
【００９８】
種々の実施の形態において、本発明の原則は、種々のスタイルのゲームプレーに適用されてもよい。例えば、図１３Ａ、１３Ｂ、及び１３Ｃを参照して、種々のスタイルのゲームプレーが示される。図１３Ａは、本発明の実施の形態に係る、直線型のゲームプレーを示す。図示されるように、ゲームプレーは、複数のシーン又はノード２６０、２６２、２６４、及び２６６を含む。シーンは、インタラクティブゲームの空間的又は時間的位置であってもよく、ユーザがインタラクティブゲームを進行させるときに、ユーザにより予め決定された順序で遭遇されてもよい。図示されるように、シーン２６０の完了後、ユーザはシーン２６２に遭遇し、その後、シーン２６４及び２６６の順に続く。本明細書で説明される本発明の原則によれば、携帯型装置を使用する第２のユーザは、第１のユーザがまだ遭遇していないシーンの一つに飛んで、シーンの変更を実行したり、シーンに関連付けられた仮想タグを設定したりしてもよい。例として、図示された実施の形態では、仮想タグ２７０がシーン２６２に関連付けられる。
【００９９】
図１３Ｂは、本発明の実施の形態に係る、非直線型のゲームプレーを示す。非直線型のゲームプレーは、いくつかのバリエーションを含んでもよい。例えば、ユーザのアクションに基づいて分岐するストーリーラインがあってもよく、ユーザは特定のシーンに遭遇する。例として示されるように、シーン２７２の後には、二者択一のシーン２７４が続く。分岐するストーリーラインは、同じシーンに収束してもよい。例えば、択一的なシーン２７４は、結局、シーン２７６に収束する。他の実施の形態において、分岐するストーリーラインは収束しなくてもよい。例えば、シーン２８２及び２８４は、シーン２８０から分岐し、収束しない。他の実施の形態において、ゲームプレーは、ユーザのアクションに依存して異なるエンディングを有してもよい。例えば、ゲームプレーは、ユーザのアクションに基づいてシーン２７８で終了してもよいが、ユーザがもし別のアクションのセットをとっていたら、ゲームプレーは、シーン２８０から先に続いていた。本明細書で説明される本発明の原則によれば、携帯型装置を使用する第２のユーザは、第１のユーザがまだ遭遇していないシーンの一つに飛んで、シーンの変更を実行したり、シーンに関連付けられた仮想タグを設定したりしてもよい。例として、図示された実施の形態では、仮想タグ２８６がシーン２７８に関連付けられる。
【０１００】
図１３Ｃは、本発明の実施の形態に係る、オープンワールド型のゲームプレーを示す。図示されるように、複数のシーン２８８がユーザによりアクセス可能であり、それぞれがユーザの選択する順序で訪問可能である。図示された実施の形態において、シーンは、全てのシーンが他の全てのシーンからアクセス可能ではないように互いに接続されている。しかし、別の実施の形態において、全てのシーンが他の全てのシーンからアクセス可能であってもよい。本明細書で説明される本発明の原則によれば、携帯型装置を使用する第２のユーザは、シーンのうちの任意の一つに飛んで、シーンの変更を実行したり、シーンに関連付けられた仮想タグを設定したりしてもよい。例として、図示された実施の形態では、仮想タグ２８６がシーン２７８に関連付けられる。
【０１０１】
上述した種々のスタイルのゲームプレーの例は、例示のみを目的として説明され、他の実施の形態において、他のスタイルのゲームプレーがありうる。本発明の原理は、ユーザがインタラクティブゲームのシーンに関連付けられた仮想タグの変更又は設定を実行可能とするために、これらの他のタイプのゲームプレーに適用されてもよい。
【０１０２】
図１４を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示されるように、コンピュータ７０は、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画する。描画されたプライマリビデオストリームはシーン３００を表現する。同時に、携帯型装置２８を把持するユーザは、携帯型装置２８をディスプレー１８に向ける。一つの実施の形態において、ディスプレーの方に携帯型装置２８を向けることは、ディスプレー１８の一部分に携帯型装置２８の背面を向けることを含んでもよい。ディスプレー１８に対する携帯型装置２８の方向は、種々の技術によって検知されてもよい。例えば、一つの実施の形態において、携帯型装置の後方に面するカメラ（図示せず）がディスプレーの画像を撮像し、ディスプレー１８に対する携帯型装置の方向を判定するために画像が処理される。他の実施の形態において、携帯型装置２８の方向は、携帯型装置において取得されたモーションセンサのデータに基づいて検知されてもよい。更に別の実施の形態において、ディスプレー１８に対する携帯型装置２８の方向を判定するために、他の種々の技術のいずれかが利用されてもよい。
【０１０３】
図示された実施の形態において、携帯型装置２８は、携帯型装置が向けられた方向のシーン３００の領域３０２の拡大されたビューをユーザに提供する拡大レンズとしての機能を果たす。このように、ユーザは、携帯型装置２８上のシーン３０４として、拡大された領域３０２を見ることができる。これは、ディスプレー１８において描画されるプライマリビデオストリームと同期させるために、コンピュータ７０から携帯型装置２８に送信され、携帯型装置２８においてリアルタイムに描画される補助的なビデオフィードの生成を介して達成されてもよい。インタラクティブアプリケーションが一人称視点シューティングゲームである類似する実施の形態において、携帯型装置２８は、ユーザがスナイパーライフル又は長距離砲の武器を使用しているときに発生する、照準合わせのための照準スコープとして機能してもよい。このような実施の形態において、ユーザは、ディスプレー１８上のゲームを見ることができるが、携帯型装置２８を持ち上げて、ディスプレー１８の特定の領域を狙うことにより、照準を合わせるために、その領域の拡大された表示を見ることができる。
【０１０４】
図１５を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示されるように、コンピュータ７０は、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画する。描画されたプライマリビデオストリームは、ディスプレー１８にシーン３１０を表示する。ユーザ２４は、シーン３１０を視聴し、インタラクティブアプリケーションに対する入力を提供するためにコントローラ２０を操作する。図示された実施の形態において、ユーザ２４は、シーン３１０の左側に示されるように、乗物を操縦するために入力を提供する。しかし、他の実施の形態において、ユーザ２４は、インタラクティブアプリケーションに関連する任意のタイプのアクションのために入力を提供してもよい。同時に、ユーザ３０は、シーン３１０を見ながら、携帯型装置２８を操作する。図示された実施の形態において、ユーザ３０は、シーン３１０の右側に示されるように、武器の照準合わせ及び発射を制御するために入力を提供する。しかし、他の実施の形態において、ユーザ３０は、インタラクティブアプリケーションに関連する任意のタイプのアクションのために入力を提供してもよい。
【０１０５】
一つの実施の形態において、ユーザ３０は、携帯型装置の背面がディスプレー１８から離れた方向を向くように、位置３１２においてディスプレー１８から離れるように携帯型装置２８を回転させる。これにより、シーン３１０が起こっている仮想的な環境のビューワとして機能する携帯型装置の表示モードがアクティブ化される。ビュー３１６に示されるように、携帯型装置２８をディスプレー１８から離れるように回転させることにより、携帯型装置２８は、ユーザ３０により制御される武器が携帯型装置２８の回転と同様に回転されるときに見られるような仮想的な環境のビューを表現するシーン３１４を表示する。本発明の他の実施の形態において、携帯型装置２８の表示モードのアクティブ化は、ユーザ３０により選択可能であってもよいし、携帯型装置２８の位置及び方向に基づいて自動的に生じるように構成されてもよい。
【０１０６】
図１６を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示されるように、コンピュータ７０は、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画する。描画されたプライマリビデオストリームは、ディスプレー１８にシーン３２０を表示する。ユーザ２４は、シーン３２０を視聴し、モーションコントローラ３２２を操作することによりインタラクティブな入力を提供する。一つの実施の形態において、モーションコントローラの位置は、カメラ３２４により撮像されたモーションコントローラ３２２の撮像画像に基づいて決定される。一つの実施の形態において、カメラ３２４は、深さ情報を取得することが可能な深さカメラを含む。図示されるように、第２のユーザ３０は、第１のユーザ２４に向けられた携帯型装置２８を把持する。一つの実施の形態において、携帯型装置２８は背面カメラを含み、ユーザ３０は、携帯型装置２８のカメラにより第１のユーザ２４の画像を撮像することを可能とするために、背面カメラを向ける。一つの実施の形態において、携帯型装置２８のカメラは、深さ情報を取得可能であってもよい。カメラ３２４の位置及び携帯型装置２８の位置に基づいた２つの異なる視点からユーザ２４及びモーションコントローラ３２２の画像を撮像することにより、モーションコントローラ３２２の位置及び方向だけでなく、第１のユーザ２４のより精確な三次元的表現を決定することができる。
【０１０７】
別の実施の形態において、ユーザ２４は、モーションコントローラを必要とせず、カメラ３２４により検出される動きを介して、インタラクティブアプリケーションにインタラクティブな入力を提供することができる。例えば、カメラ３２４は、ユーザ２４の画像及び深さ情報を取得してもよく、それらはユーザ２４の位置、方向、及び動きを決定するために処理される。これらは、インタラクティブアプリケーションのための入力として利用される。さらに、第１のユーザ２４の検出を向上させるために、上述したように、携帯型装置２８が第２のユーザ３０により操作されてもよい。
【０１０８】
図１７を参照して、本発明の実施の形態に係る、仮想空間の座標系が示される。図示されるように、仮想空間は、オブジェクト３３０及び３３２を含む。前述したように、携帯型装置を使用するユーザは、仮想空間内に仮想タグを設定することができる。図示された実施の形態において、仮想タグ３３４が座標（４，２，０）に設定されている。他方、仮想タグ３３６が座標（６，６，３）のオブジェクト３３０に設定されている。さらに、仮想タグ３３８が座標（１０，７，１）のオブジェクト３３２に設定されている。仮想タグは、別のユーザが仮想タグの近傍の位置に進んだときに、そのユーザにより視認されてもよい。前述したように、仮想タグは、位置又はオブジェクトを他のユーザに強調表示してもよいし、ヒント又はメッセージなど、ユーザにより決定された仮想空間に関連する情報を含んでもよいし、他のユーザがそれらに遭遇したときに、描画される変更又は実行されるアクションを定義してもよい。
【０１０９】
図１８を参照して、本発明の実施の形態に係る、仮想タグを設定するためのユーザインタフェースを示す一連のアクションが示される。図示されるように、携帯型装置２８のユーザは、種々のオプションを含むメニュー３４２を提示するために、例えばオブジェクトをタップすることにより、オブジェクト３４０を選択することができる。タグを設定するためのオプションをメニュー３４２から選択することができ、これによりテキスト情報を入力可能なキーボードインタフェース３４４が提示される。入力されたテキスト情報は、仮想タグ３４６に示される。仮想タグ３４６は、他のユーザが仮想タグ３４６の位置の近傍の位置に進んだときに、他のユーザに描画されてもよい。
【０１１０】
図１９を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示されるように、コンピュータ７０は、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画する。描画されたプライマリビデオストリームは、ディスプレー１８にシーン３５０を表示する。ユーザ２４は、シーン３５０を視聴し、インタラクティブアプリケーションに対する入力を提供するためにコントローラ２０を操作する。図示された実施の形態において、ユーザ２４は、一人称視点シューティングゲームにおいてキャラクタを制御する。同時に、第２のユーザは、第１のユーザのキャラクタが配置された仮想的な環境のマップ３５２を表示する携帯型装置２８を操作する。第１のユーザのキャラクタの位置は、マーカ３５４により示される。一つの実施の形態において、第２のユーザは、ユーザ２４がシーン３５０においてキャラクタを制御するのに忙しくて見ることができない領域を見るために、マップ３５２を進むことができる。このように、一つの実施の形態において、第２のユーザは、マップ３５２を見て、興味のある位置、オブジェクト、敵、又はマップ３５２に表示される他の任意の情報などの情報をユーザ２４に提供することにより、ユーザ２４を協力的に援助することができる。
【０１１１】
図２０を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示された実施の形態において、コントローラ２０を操作するユーザ２４と、携帯型装置２８を操作する第２のユーザ（第２のユーザの手以外は図示せず）は、フットボールのビデオゲームをプレーしている。第２のユーザは、シーン３６０を視聴する。シーン３６０において、第２のユーザは、例えば、携帯型装置２８のタッチスクリーンにおいてプレーを描くことにより、プレーを図解することができる。図示されるように、第２のユーザは、マーカ３６２により示されたプレーヤーのために指定された経路を描く。ユーザ２４は、ディスプレー１８に表示されたシーン３６４において示されるように、マーカ３６２に対応するプレーヤー３６６を制御する。ユーザ２４は、第２のユーザが図解した経路を見て、その経路を走るように、コントローラ２０を操作して、プレーヤー３６６の動きを制御することができる。
【０１１２】
図２１に示される関連する実施の形態において、第２のユーザは、例えば携帯型装置２８のタッチスクリーンにおいてプレーを描くことによりプレーを図解するために、携帯型装置２８を操作する。ディスプレー１８には、プレーの間にチームがハドルする様子が示される。図解されたプレーは、ゲームにおいて一方のチームのプレーヤーの動きを決定するために用いられる。このように、第２のユーザは、直感的な方法で、プレーヤーの動きを直接制御することができる。
【０１１３】
上述した、キャラクタの動きを図解するために携帯型装置を用いる概念は、他のシナリオに拡張可能である。例えば、戦場のシナリオにおいて、例えば、敵に向かって移動する、敵を攻撃するなど、特定のキャラクタがどこに移動するか、及びキャラクタがどんなアクションを起こすかを図解するために、携帯型装置を用いることができる。他の実施の形態において、携帯型装置は、仮想的な環境におけるキャラクタ又はオブジェクトの動き又は行動を図解するために用いられてもよい。
【０１１４】
本発明の更に別の実施の形態において、メインのディスプレーに表示されたアプリケーションに対するインタフェースのための携帯型装置の使用は、他のタイプのプログラム及びアプリケーションだけでなく、他の種々のインタフェース概念に拡張可能である。例えば、いくつかの実施の形態において、携帯型装置のタッチスクリーンは、アプリケーションに対する入力を提供するための制御又は入力の面として用いられてもよい。一つの実施の形態において、ユーザは、携帯型装置のタッチスクリーンにおいて描くことにより入力を提供する。一つの実施の形態において、タッチスクリーンの面は、カーソル制御面として機能してもよい。メインディスプレー上のカーソルの移動は、携帯型装置のタッチスクリーンにおけるユーザの指の動きにしたがって制御される。メインディスプレー上のカーソルの動きは、タッチスクリーンにおけるユーザの指の検知された動きを追跡してもよい。別の実施の形態において、仮想キーボードが携帯型装置のタッチスクリーンに表示される。ユーザは、携帯型装置のタッチスクリーンに表示された仮想的なキーボードのキーをタッチすることによりテキスト入力を入力することができる。携帯型装置の機能に影響を与えることにより容易にされたこれらのタイプの入力機構は、例えばウェブブラウザ、ワードプロセッサ、スプレッドシートアプリケーション、プレゼンテーションソフトウェア、ビデオゲームなどの種々の種類のアプリケーションに適用されてもよい。
【０１１５】
他の実施の形態において、携帯型装置は、例えば写真又は映像を編集するアプリケーションなど映像編集アプリケーションのための入力を提供するために用いられてもよい。例えば、ユーザは、携帯型装置のタッチスクリーンにおいて描画することにより写真を編集することができる。このように、写真又は映像を編集するための入力が、直感的な方法で提供されることができる。一つの実施の形態において、編集される写真又は写真の部分は、タッチスクリーンにおいて描画することによる写真の編集のための精確な入力を容易にするために、携帯型装置のタッチスクリーンに表示される。
【０１１６】
本発明の他の実施の形態において、携帯型装置の種々のリソースがプログラム及びアプリケーションの機能をサポートするために用いられてもよい。例えば、アプリケーションがビデオゲームである一つの実施の形態において、携帯型装置は、例えば特定のユーザのプロファイル又は進行データなど、ビデオゲームに関連するゲームデータを保存するために用いられてもよい。ゲームデータは、一般に、コンソールゲームシステムに格納されるので、特定のコンソールシステムに拘束される。しかし、携帯型装置にゲームデータを格納することにより、ユーザは、ゲームデータを容易に転送し、セーブされたゲームデータを先行することなく、同じゲームをプレーするために異なるコンソールシステムを用いることができる。
【０１１７】
説明を容易にするために、本発明の上述した実施の形態のいくつかは、コントローラを操作する（又はモーション検出システムを介して入力を提供する）一人のプレーヤー及び／又は携帯型装置を操作する一人のユーザを参照して一般的に説明された。本発明の他の実施の形態において、コントローラを操作する（又はモーション検出を介して入力を提供する）複数のユーザ及び／又は携帯型装置を操作する複数のユーザがいてもよいことは、当業者には理解されるところである。
【０１１８】
図２２を参照して、本発明の実施の形態に係る、インタラクティブアプリケーションとの相互作用を提供するために携帯型装置を使用する方法が示される。方法手順３８０において、インタラクティブアプリケーションがコンソール装置又はコンピュータにおいて開始される。方法手順３９０において、補助的なアプリケーションが携帯型装置において開始される。方法手順３８２において、インタラクティブアプリケーションにより要求が生成され、要求データ３８８がインタラクティブアプリケーションから携帯型装置で実行されている補助的なアプリケーションに送信される。方法手順３９２において、要求データ３８８は携帯型装置の補助的なアプリケーションにより受信され処理される。方法手順３８４において、コンピュータは要求を送信した後、処理済みのデータを待機する。方法手順３９４において、携帯型装置のハードウェアコンポーネント又はセンサがアクティブ化される。方法手順３９６において、アクティブ化されたハードウェアからの生データが取得される。方法手順３９８において、取得された生データが処理される。方法手順４００において、処理された生データは処理済みデータとしてインタラクティブアプリケーションに送信される。方法手順３８６において、処理済みデータ４０２はインタラクティブアプリケーションにより受信される。
【０１１９】
図２３は、本発明の実施の形態に係る、インタラクティブアプリケーションを実行及び描画するために使用可能なハードウェア及びユーザインタフェースを示す。図２３は、本発明の実施の形態に係る、基本となる計算装置において実行されるコンピュータプログラムを有する制御装置及び携帯型装置とのインタフェースのために親和性の高いコンソールである、ソニープレイステーション３（登録商標）エンタテインメント装置の全体のシステム構成を概略的に示す。システムユニット７００は、システム７００に接続可能な様々な周辺装置とともに提供される。システムユニット７００は、セルプロセッサ７２８、ランバス（登録商標）ＸＤＲＡＭ（dynamic random access memory）ユニット７２６、リアリティシンセサイザ（登録商標）（Reality Synthesizer）グラフィックユニット７３０と専用のＶＲＡＭ（video random access memory）ユニット７３２、及び入出力ブリッジ７３４を備える。システムユニット７００は、ディスク７４０ａから読み取るためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ光学ディスクリーダ７４０、及び入出力ブリッジ７３４を介してアクセス可能なリムーバブルスロットインハードディスクドライブ（ＨＤＤ）７３６を備える。オプションとして、システムユニット７００は、コンパクトフラッシュ（登録商標）メモリカード、メモリスティック（登録商標）メモリカードなどを読み込むための、同様に入出力ブリッジ７３４を介してアクセス可能なメモリカードリーダ７３８を備える。
【０１２０】
入出力ブリッジ７３４は、６つのＵＳＢ（Universal Serial Bus）ポート７２４、ギガビットイーサネット（登録商標）ポート７２２、ＩＥＥＥ８０２．１１ｂ／ｇ無線ネットワーク（Wi-Fi）ポート７２０、及び７つまでのブルートゥース接続をサポート可能なブルートゥース無線リンクポート７１８と接続する。
【０１２１】
動作において、入出力ブリッジ７３４は、１以上のゲームコントローラ７０２及び７０３からのデータを含む全ての無線、ＵＳＢ、及びイーサネット（登録商標）のデータを取り扱う。例えばユーザがゲームをプレーしているとき、入出力ブリッジ７３４は、ゲームコントローラ７０２又は７０３からのデータを、ブルートゥースリンクを介して受信し、セルプロセッサ７２８に伝える。セルプロセッサは、それに応じてゲームの現在状態をアップデートする。
【０１２２】
無線、ＵＳＢ、及びイーサネット（登録商標）ポートは、ゲームコントローラ７０２及び７０３に加えて、他の周辺装置、例えば、リモート制御７０４、キーボード７０６、マウス７０８、ソニープレイステーションポータブル娯楽装置などの携帯型娯楽装置７１０、アイトーイ（登録商標）ビデオカメラ７１２などのビデオカメラ、マイクロフォンヘッドセット７１４、及びマイクロフォン７１５との接続を更に提供する。このような周辺装置は、原則として、システムユニット７００と無線で接続してもよい。例えば、携帯型娯楽装置７１０は、Ｗｉ−Ｆｉアドホック接続を介して通信してもよいし、マイクロフォンヘッドセット７１４は、ブルートゥースリンクを介して通信してもよい。
【０１２３】
これらのインタフェースの提供は、プレイステーション３装置が潜在的に他の周辺装置、例えば、ＤＶＲ（digital video recorder）、セットトップボックス、ディジタルカメラ、携帯型メディアプレイヤー、ＶｏＩＰ（Voice over IP）電話、プリンタ、及びスキャナと互換性を有することを意味する。
【０１２４】
さらに、従来のメモリカードリーダ７１６がＵＳＢポート７２４を介してシステムユニットに接続され、プレイステーション又はプレイステーション２の装置により使用される種類のメモリカード７４８の読込を可能としてもよい。
【０１２５】
ゲームコントローラ７０２及び７０３は、ブルートゥースリンクを介してシステムユニット７００と無線通信可能であり、または、ＵＳＢポートに接続され、ゲームコントローラ７０２及び７０３のバッテリをチャージするために電力を供給可能である。ゲームコントローラ７０２及び７０３は、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの永続メモリ、照明付きの球部、ＬＥＤ、又は赤外線などの発光器、超音波通信のためのマイクロフォン及びスピーカ、音響チェンバー、ディジタルカメラ、内部クロック、ゲームコンソールに面した球状部分などの認識可能な形状、及びブルートゥース、Ｗｉ−Ｆｉ（登録商標）などのプロトコルを用いた無線通信などを更に含んでもよい。
【０１２６】
ゲームコントローラ７０２は、両手で用いられるように設計され、ゲームコントローラ７０３は、前述したように、アタッチメント付きの片手で操作するコントローラである。１以上のアナログジョイスティック及び従来の制御ボタンに加えて、ゲームコントローラは、３次元位置決定が可能である。ゲームコントローラのユーザによるジェスチャー及び動きの結果は、従来のボタン又はジョイスティックのコマンドに加えて、又はそれに代えて、ゲームに対する入力に翻訳される。オプションとして、プレイステーションポータブル装置などの他の無線通信可能な周辺装置がコントローラとして用いられてもよい。プレイステーションポータブル装置の場合、更なるゲーム又は制御情報（例えば、制御命令又はライフの数）が装置の画面に提供されてもよい。他の代替又は補助の制御装置、例えば、ダンスマット（図示せず）、光線銃（図示せず）、ステアリングホイール及びペダル（図示せず）、又は、迅速な反応を要するクイズゲームのための単一又はいくつかの大きなボタン（図示せず）などの専用のコントローラが用いられてもよい。
【０１２７】
リモート制御７０４も、ブルートゥースリンクを介してシステムユニット７００と無線通信可能である。リモート制御７０４は、ブルーレイ（登録商標）ディスクＢＤ−ＲＯＭリーダ５４０及びディスクコンテンツのナビゲーションのための動作に適した制御を含む。
【０１２８】
ブルーレイディスクＢＤ−ＲＯＭリーダ７４０は、従来の記録された及び記録可能なＣＤ、及びいわゆるスーパーオーディオＣＤに加えて、プレイステーション及びプレイステーション２装置と互換可能なＣＤ−ＲＯＭを読込可能である。リーダ７４０は、従来の記録された及び記録可能なＤＶＤに加えて、プレイステーション２及びプレイステーション３装置と互換可能なＤＶＤ−ＲＯＭも読込可能である。リーダ７４０は、更に、従来の記録された及び記録可能なブルーレイディスクだけでなく、プレイステーション３装置と交換可能なＢＤ−ＲＯＭも読込可能である。
【０１２９】
システムユニット７００は、プレイステーション３装置により生成又はデコードされた音声及び映像を、リアリティシンセサイザグラフィックユニット７３０により、音声及び映像コネクタを介して、ディスプレー及び音声出力装置７４２、例えばモニタ又はディスプレー７４４及び１以上のラウドスピーカ７４６を有するテレビジョンセットに供給可能である。音声コネクタ７５０は、従来のアナログ及びディジタル出力を含んでもよい。映像コネクタ７５２は、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、及び１以上のＨＤＭＩ（High Definition Multimedia Interface）出力を広く含んでもよい。映像出力は、ＰＡＬ又はＮＴＳＣ、又は７２０ｐ、１０８０ｉ、又は１０８０ｐの高解像度のフォーマットであってもよい。
【０１３０】
音声処理（生成、デコードなど）は、セルプロセッサ７２８により実行される。プレイステーション３装置のオペレーティングシステムは、ドルビー（登録商標）５．１サラウンド音声、ＤＴＳ（Dolby Theatre Surround）、及びブルーレイディスクからの７．１サラウンド音声のデコードをサポートしている。
【０１３１】
本実施の形態において、ビデオカメラ７１２は、単一のＣＣＤ（charge coupled device）、ＬＥＤインジケータ、及びハードウェアベースのリアルタイムデータ圧縮符号化装置を備え、圧縮されたビデオデータは、適切なフォーマット、例えば画像内ベースのＭＥＧ（motion picture expert group）標準規格などで、システムユニット７００によりデコードされるために送信されてもよい。カメラのＬＥＤインジケータは、システムユニット７００からのデータの適切な制御に応じて、例えば逆光条件を意味するために光るように設計される。ビデオカメラ７１２の実施例は、システムユニット７００に、ＵＳＢ、ブルートゥース、又はＷｉ−Ｆｉ通信ポートを介して様々に接続されてもよい。ビデオカメラの実施例は、１以上の関連づけられた、音声データを送信可能なマイクロフォンを含んでもよい。ビデオカメラの実施例において、ＣＣＤは高解像度のビデオ撮像のために好適な解像度を有する。使用において、ビデオカメラにより撮像された画像は、例えばゲーム内に組み込まれ、又はゲーム制御入力として解釈される。別の実施例において、カメラは赤外光を検出するのに好適な赤外線カメラである。
【０１３２】
一般に、例えばビデオカメラ又はシステムユニット７００の通信ポートの１つを介したリモート制御などの周辺装置との間で起こるデータ通信を成功させるために、デバイスドライバなどの適切なソフトウェアが提供されるべきである。デバイスドライバ技術はよく知られており、ここでは詳細について説明しないが、デバイスドライバ又は類似のソフトウェアインタフェースが本発明の実施の形態に必要とされることは当業者に理解されるところである。
【０１３３】
本発明の実施の形態は、携帯型装置、マイクロプロセッサシステム、マイクロプロセッサベース又はプログラム可能な民生用電子機器、マイクロコンピュータ、メインフレームコンピュータなどを含む種々のコンピュータシステム構成により実現されてもよい。本発明は、通信ネットワークを介して接続された遠隔処理装置によりタスクが実行される分散処理環境において実現されてもよい。
【０１３４】
上述した実施の形態によれば、本発明は、コンピュータシステムに格納されたデータを含む、様々なコンピュータ実装された命令を用いてもよいことが理解される。これらの命令は、物理量の物理的操作を要する命令を含む。本発明の部分を形成する本明細書で説明される命令は、機械命令に有用である。本発明は、これらの命令を実行するためのデバイス又は装置に関する。装置は、例えば特定目的のコンピュータなど、要求された目的のために特別に構築されてもよい。特定目的のコンピュータとして定義されるとき、コンピュータは、特定の目的のために動作可能でありつつ、特定の目的の一部ではない他の処理、プログラム実行、又はルーティンを実行してもよい。または、命令は、選択的にアクティブ化された、又は、コンピュータメモリ、キャッシュに格納された、又はネットワークを介して取得された１以上のコンピュータプログラムにより構成された汎用目的のコンピュータにより処理されてもよい。データがネットワークを介して取得されるとき、データは、例えば計算リソースのクラウドなどの、ネットワーク上の他の装置により処理されてもよい。
【０１３５】
本発明の実施の形態は、データをある状態から別の状態へ変換する機械として定義されてもよい。変換されたデータは、ストレージに保存され、プロセッサにより操作されてもよい。プロセッサは、このように、データをある状態から別の状態へ変換する。さらに、方法は、ネットワークを介して接続可能な１以上の機械又はプロセッサにより処理されてもよい。それぞれの機械は、データをある状態から別の状態へ変換可能であり、データを処理し、ストレージに保存し、ネットワークを介して送信し、結果を表示し、又は別の機械へ結果を送信することができる。
【０１３６】
本発明の１以上の実施の形態は、コンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとして具体化されてもよい。コンピュータ読み取り可能な媒体は、コンピュータシステムにより読み取り可能なデータを格納可能な任意のデータストレージ装置である。コンピュータ読み取り可能な媒体の例は、ハードドライブ、ＮＡＳ（network attached storage）、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及び他の光学的又は非光学的データストレージ装置を含む。コンピュータ読み取り可能な媒体は、コンピュータシステムに結合されたネットワークを介して配布され、コンピュータ読み取り可能なコードは分散方式で格納され実行されてもよい。
【０１３７】
方法の手順は特定の順序で説明されたが、他のハウスキーピング命令が命令の間に実行されてもよいし、命令が異なるタイミングで生じるように調整されてもよいし、オーバーレイ命令の処理が所望の方法で実行される限り、処理に関連付けられた種々のインターバルにおいて処理命令の発生を可能とするシステムに分散されてもよいことが理解されるべきである。
【０１３８】
上記では、理解を明確にするために本発明を詳細に説明したが、添付の請求の範囲内で特定の変更および修正を実施可能であることは明らかである。したがって、実施の形態は例示的なものであり限定を意味するものではなく、また、本発明は本明細書で述べた詳細に限定されることはなく、添付の特許請求の範囲およびその等価物の範囲で修正可能である。
【技術分野】
【０００１】
本出願は、米国特許出願第号（代理人ドケット番号：ＳＯＮＹＰ１１５、発明の名称：「携帯型装置がインタラクティブアプリケーションの映像を撮像することを可能とするためのシステム」、本出願と同日に出願）に関連し、その全体をここに援用する。
【０００２】
本発明は、インタラクティブアプリケーションとの相互作用を可能とするための方法及びシステムに関する。
【背景技術】
【０００３】
ビデオゲーム産業の成長しているセグメントは、携帯型装置の使用を含む。そのような携帯型装置の例は、例えば株式会社ソニー・コンピュータエンタテインメントなどにより製造された専用のゲーム装置や、スマートフォン、ＰＤＡ、ディジタルマルチメディアプレイヤーなどの他のタイプの携帯型装置を含む。このような携帯型装置の計算能力が向上して、携帯型装置はますます複雑なプログラム及びタスクを扱う能力を有するようになった。
【０００４】
例えば、今日の携帯型装置は、単一の装置に集積されたいくつかの異なるタイプのハードウェアを含みうる。そのような装置の多くは、カラーディスプレー、カメラ、スピーカ、及びボタン、タッチスクリーン、又はスタイラスなどの入力機構を含みうる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施の形態が生まれたのは、このコンテキストにおいてである。
【課題を解決するための手段】
【０００６】
本発明の実施の形態は、インタラクティブアプリケーションが携帯型装置のリソースを利用することを可能とするための方法及びシステムを提供する。本発明は、方法、装置、システム、デバイス、コンピュータ読み取り可能な記録媒体上の方法など、多様な方法で実現することが可能であることが理解されるべきである。本発明のいくつかの創意に富む実施の形態が以下に説明される。
【０００７】
一つの実施の形態において、ユーザが携帯型装置を用いてインタラクティブアプリケーションと相互作用することを可能とするための方法が提供される。この方法によれば、インタラクティブアプリケーションの状態が、インタラクティブアプリケーションの第１のビデオストリームを第１の処理インタフェースからディスプレーに送信することにより、ディスプレーに描画される。第１の処理インタフェースの周辺において携帯型装置の存在が検知される。インタラクティブアプリケーションのデータフィードが、第１の処理インタフェースから携帯型装置へ送信される。インタラクティブアプリケーションの補助的なビデオストリームを生成するためにデータフィードが携帯型装置において処理される。補助的なビデオストリームは、携帯型装置において描画される。携帯型装置に補助的なビデオストリームを描画しているときに、携帯型装置においてインタラクティブな入力が受け付けられる。ディスプレーに描画されるべきイベントを定義する仮想タグを設定するために、インタラクティブな入力が適用される。インタラクティブアプリケーションの状態が、インタラクティブアプリケーションによる仮想タグの実行を誘起するための所定の状態になったときに、仮想タグにより定義されたイベントがディスプレーに描画される。
【０００８】
一つの実施の形態において、描画される補助的なビデオストリームは、所定の期間、描画されるインタラクティブアプリケーションの第１のビデオストリームと同じ画像を生成する。
【０００９】
一つの実施の形態において、補助的なビデオストリームは、第１のビデオストリームの圧縮されたバージョンである。
【００１０】
一つの実施の形態において、描画される補助的なビデオストリームは、最初は、描画されるインタラクティブアプリケーションの第１のビデオストリームと同じ画像を生成する。つづいて、描画される補助的なビデオストリームは、受信されたインタラクティブな入力に基づいて、描画される第１のビデオストリームとは異なる画像を生成する。
【００１１】
一つの実施の形態において、仮想タグの設定は、インタラクティブアプリケーションの仮想的な空間内の位置を有するオブジェクトを設定することを含む。また、イベントの描画は、インタラクティブアプリケーションの状態がオブジェクトの位置を含む領域を描画するとき、その位置にオブジェクトを描画することを含む。
【００１２】
一つの実施の形態において、仮想タグにより特定されるオブジェクトは、テキスト、音声、映像、アイテム、又はキャラクタからなるグループから選択される。
【００１３】
一つの実施の形態において、仮想タグの設定は、インタラクティブアプリケーションの仮想的な時系列内のタイムスタンプを有するオブジェクトを設定することを含む。また、イベントの描画は、インタラクティブアプリケーションの状態が仮想タグのタイムスタンプに近似又は一致する時点になったときに、オブジェクトを描画することを含む。
【００１４】
一つの実施の形態において、描画される第１のビデオストリームは、インタラクティブアプリケーションの仮想的な空間内の第１の位置を示し、描画される補助的なビデオストリームは、インタラクティブアプリケーションの仮想的な空間内の第２の位置を示す。
【００１５】
一つの実施の形態において、描画される第１のビデオストリームは、インタラクティブアプリケーションの仮想的な時系列内の第１の位置を示し、描画される補助的なビデオストリームは、インタラクティブアプリケーションの仮想的な時系列内の第２の位置を示す。
【００１６】
一つの実施の形態において、描画される補助的なビデオストリームは、インタラクティブアプリケーションの仮想的な空間のマップを提供する。一つの実施の形態において、マップにおいて位置を選択することにより、携帯型装置において描画される、選択された位置の表示にアクセス可能とする。一つの実施の形態において、マップは仮想的な空間における１以上のオブジェクトの表現を含み、インタラクティブな入力によりオブジェクトの制御が可能とされる。一つの実施の形態において、１以上のオブジェクトは、インタラクティブアプリケーションのキャラクタを含み、インタラクティブな入力により、キャラクタにより実行されるアクションの決定が可能とされる。種々の実施の形態において、アクションは、インタラクティブアプリケーションのコンテキストにおいてキャラクタが実行可能な任意のタイプのアクションであってもよい。
【００１７】
一つの実施の形態において、アクションは、移動、攻撃的行動、及び防御的行動からなるグループから選択される。
【００１８】
一つの実施の形態において、インタラクティブな入力は、携帯型装置にマップが描画されたときに、マップにおいて描かれたジェスチャー入力を含む。
【００１９】
一つの実施の形態において、コントローラ装置からのコントローラ入力がコンソール装置において受け付けられる。また、インタラクティブアプリケーションの状態を変更するためにコントローラ入力が適用される。一つの実施の形態において、インタラクティブな入力は、携帯型装置のタッチスクリーンインタフェースを介して受信される。
【００２０】
本発明の他の態様は、本発明の原理を例示する添付の図面とともに考慮される下記の詳細な説明から明らかになる。
【図面の簡単な説明】
【００２１】
本発明は、以下の詳細な説明を添付図面とともに参照することによって、良く理解されよう。
【００２２】
【図１】図１は、本発明の実施の形態に係る、インタラクティブアプリケーションとのインタフェースのためのシステムを示す図である。
【００２３】
【図２】図２は、本発明の実施の形態に係る、仮想タグを格納及び取得するためのシステムを示す図である。
【００２４】
【図３】図３は、本発明の実施の形態に係る、インタラクティブアプリケーションとの相互作用を提供するためのシステムを示す図である。
【００２５】
【図４】図４は、本発明の実施の形態に係る、インタラクティブゲームとの相互作用を提供するのためのシステムを示す図である。
【００２６】
【図５】図５は、本発明の実施の形態に係る、インタラクティブアプリケーションが携帯型装置のリソースを利用することを可能とするためのシステムを示す図である。
【００２７】
【図６】図６は、本発明の実施の形態に係る、インタラクティブプログラムとのインタフェースのためのコントローラを示す図である。
【００２８】
【図７】図７は、本発明の実施の形態に係る、携帯型装置の例の前面を示す図である。
【００２９】
【図８】図８は、本発明の実施の形態に係る、携帯型装置の構成要素を示すダイアグラムを示す図である。
【００３０】
【図９】図９は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３１】
【図１０】図１０は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３２】
【図１１】図１１は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３３】
【図１２】図１２は、本発明の実施の形態に係る、インタラクティブゲーム内のシーンを示す概念図を示す図である。
【００３４】
【図１３Ａ】図１３Ａは、本発明の実施の形態に係る、種々のスタイルのゲームプレーを示す図である。
【図１３Ｂ】図１３Ｂは、本発明の実施の形態に係る、種々のスタイルのゲームプレーを示す図である。
【図１３Ｃ】図１３Ｃは、本発明の実施の形態に係る、種々のスタイルのゲームプレーを示す図である。
【００３５】
【図１４】図１４は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３６】
【図１５】図１５は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３７】
【図１６】図１６は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００３８】
【図１７】図１７は、本発明の実施の形態に係る、仮想空間の座標系を示す図である。
【００３９】
【図１８】図１８は、本発明の実施の形態に係る、仮想タグを設定するためのユーザインタフェースを示す一連のアクションを示す図である。
【００４０】
【図１９】図１９は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００４１】
【図２０】図２０は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００４２】
【図２１】図２１は、本発明の実施の形態に係る、インタラクティブな環境を示す図である。
【００４３】
【図２２】図２２は、本発明の実施の形態に係る、インタラクティブアプリケーションを実行し描画するために用いられうるハードウェア及びユーザインタフェースを示す図である。
【００４４】
【図２３】図２３は、本発明の実施の形態に係る、基本となる計算装置において実行されるコンピュータプログラムを有する制御装置及び携帯型装置とのインタフェースのために親和性の高いコンソールである、ソニープレイステーション３（登録商標）エンタテインメント装置の全体のシステム構成を概略的に示す図である。
【発明を実施するための形態】
【００４５】
下記の実施の形態は、インタラクティブアプリケーションが携帯型装置のリソースを利用することを可能とするシステムのための方法及び装置を説明する。本発明の一つの実施の形態において、プライマリ（主要な）処理インタフェースは、インタラクティブアプリケーションのプライマリ（主要な）ビデオストリームをディスプレーに描画するために提供される。第１のユーザは、ディスプレーに描画されたプライマリビデオストリームを見て、プライマリ処理インタフェースと通信するコントローラ装置を操作することにより相互作用する。同時に、第２のユーザは、同じインタラクティブ環境において、携帯型装置を操作する。携帯型装置は、プライマリビデオストリームを表示するディスプレーとは分離された携帯型装置のディスプレーに、インタラクティブアプリケーションの補助的なビデオストリームを描画する。このように、本発明の実施の形態に係る方法及び装置が以下に説明される。
【００４６】
しかし、本発明は、これらの特定の詳細のいくつか又は全てを伴わずに実装されてもよいことは、当業者には明らかである。別の実例において、既知の処理手順は、本発明を不必要に不明瞭としないために、詳細には説明されない。
【００４７】
図１を参照して、本発明の実施の形態に係るインタラクティブアプリケーションとのインタフェースのためのシステムが示される。インタラクティブアプリケーション１０は、プライマリプロセッサ１２により実行される。プライマリ処理インタフェース１４は、インタラクティブアプリケーション１０の状態をディスプレー１８に描画する。これは、インタラクティブアプリケーション１０のプライマリビデオストリーム１６を、プライマリ処理インタフェース１４からディスプレー１８へ送ることにより達成される。本発明のいくつかの実施の形態において、プライマリ処理インタフェース１４及びプライマリプロセッサ１２は、コンピュータ又はコンソールシステムなどの同一の装置の一部であってもよい。または、他の実施の形態において、プライマリ処理インタフェース１４及びプライマリプロセッサ１２は、直接又はネットワークを介して互いに接続される分離された装置（例えば、分離されたコンピュータ又はコンソールシステム）の一部であってもよい。ディスプレー１８は、テレビジョン、モニタ、プロジェクタ、又はビデオストリームを表示するために利用可能な他の任意の種類のディスプレーなどの、種々のタイプのディスプレーのいずれかであってもよい。
【００４８】
コントローラ２０は、インタラクティブアプリケーション１０とのインタフェースのために提供される。コントローラは、ユーザ２４から入力を受け付けるための入力機構２２を含む。入力機構２２は、ボタン、ジョイスティック、タッチパッド、トラックボール、モーションセンサ、又はインタラクティブアプリケーション１０と相互作用するために有用なユーザ２４からの入力を受付可能な他の任意のタイプの入力機構などの、種々の種類の入力機構のいずれかを含んでもよい。コントローラ２０は、プライマリ処理インタフェース１４と通信する。一つの実施の形態において、通信は無線である。別の実施の形態において、通信は有線接続を介して生ずる。コントローラ２０は、入力データをプライマリ処理インタフェース１４に送信する。プライマリ処理インタフェース１４は、入力データを順に処理し、結果のデータをインタラクティブアプリケーション１０へ送信してもよいし、単に入力データを直接インタラクティブアプリケーション１０へ中継してもよい。入力データは、インタラクティブアプリケーションの状態に直接影響を与えるように適用される。
【００４９】
インタラクティブアプリケーション１０のデータフィード（供給）２６は、携帯型装置２８に提供される。携帯型装置２８は、別のユーザ３０がインタラクティブアプリケーション１０と相互作用するためのインタフェースを提供する。一つの実施の形態において、携帯型装置２８は、プライマリ処理インタフェース１４と無線通信する。別の実施の形態において、携帯型装置２８は、有線接続を介してプライマリ処理インタフェース１４と通信する。携帯型装置２８は、データフィード２６を受信し、携帯型装置２８のプロセッサ３２は、インタラクティブアプリケーション１０の補助的な副ビデオストリーム３４を生成するためにデータフィード２６を処理する。副ビデオストリーム３４は、携帯型装置２８に含まれるディスプレー３６に描画される。
【００５０】
さまざまな実施の形態において、副ビデオストリーム３４は、プライマリビデオストリーム１６と同じ画像を提供してもよいし、異なる程度でプライマリビデオストリーム１６とは異なってもよい。描画されたプライマリビデオストリーム１６とは完全に異なってもよい。例えば、一つの実施の形態において、副ビデオストリーム３４は、ある期間はプライマリビデオストリームと同じ画像を提供し、その後、異なる画像に遷移する。遷移は、携帯型装置２８から受け付けられる入力により誘発されてもよい。ディスプレー３６に描画される副ビデオストリーム３４の更なる実施の形態は、以下に更に詳述される。ユーザ３０は、ディスプレー３６の副ビデオストリーム３４を見て、携帯型装置２８に含まれる入力機構３８を解して入力を提供することにより、副ビデオストリーム３４と相互作用する。入力機構３８は、ボタン、タッチスクリーン、ジョイスティック、トラックボール、キーボード、スタイラス、又は携帯型装置に含まれうる任意の他の種類の入力機構などの、種々の入力機構のいずれかを含んでもよい。このように、ユーザ３０は、入力機構３８を介してインタラクティブ入力４０を提供するために、描画された副ビデオストリーム３８と相互作用する。インタラクティブ入力４０は、仮想タグデータ４２を決定するために、プロセッサ３２により処理される。仮想タグデータ４２は、プライマリ処理インタフェース１４を介してインタラクティブアプリケーション１０に送信される。仮想タグデータ４２は、仮想タグとして格納されてもよく、インタラクティブアプリケーション１０の状態が、インタラクティブアプリケーション１０による仮想タグの実行の契機となるための特定の予め定められた構成になったときに、インタラクティブアプリケーション１０により描画されるべきイベントを定義する情報を含んでもよい。仮想タグの内容は、種々の実施の形態において異なってもよく、オブジェクト、アイテム、キャラクタ、アクション、及びインタラクティブアプリケーション１０によりディスプレー１８に描画される他のタイプのイベントに関連してもよい。
【００５１】
本明細書で説明される実施の形態は、コントローラ２０を使用するユーザ２４及び携帯型装置２８を使用するユーザ３０を含むが、種々のユーザの構成がありうる。例えば、他の実施の形態において、コントローラを使用する１以上のユーザと、携帯型装置２８を使用する１以上のユーザがいてもよい。または、他の実施の形態において、コントローラを使用するユーザはいないが、携帯型装置を使用するユーザが少なくとも一人いてもよい。
【００５２】
図２を参照して、本発明の実施の形態にしたがって、仮想タグを格納し読み出すためのシステムが示される。携帯型装置のユーザ３０は、タグデータ４２を生成するために携帯型装置２８を利用する。一つの実施の形態において、タググラフィカルユーザインタフェース（ＧＵＩ）モジュール５０は、タグデータ４２を生成するためにユーザ３０により提供されたインタラクティブ入力の受付を容易にするためのＧＵＩをユーザ３０に提供するために、携帯型装置に含まれる。種々の実施の形態において、タグＧＵＩ５０は、選択可能なメニューオプション、ディスプレーに描かれたタッチスクリーン入力の追跡、タッチスクリーンのジェスチャー又は選択可能な入力に基づいた動き、又はタグデータ４２を生成するためのインタラクティブな入力をユーザ３０が提供することを可能とするために有用な任意のタイプのＧＵＩ要素又は特徴を含む種々の特徴のいずれかを含んでもよい。
【００５３】
一つの実施の形態において、タグデータ４２は、インタラクティブアプリケーション１０に送信される。タグデータ４２は、インタラクティブアプリケーションに含まれるタグモジュール６０により受信される。ある実施の形態において、タグデータは、タグデータにより定義されたイベントを描画するために、インタラクティブアプリケーション１０により直ちに適用される。例えば、タグデータは、描画されるべきオブジェクトを定義してもよいし、インタラクティブアプリケーションにより既に描画されている既存のオブジェクトに影響を与えてもよい。タグデータにより定義されたイベントは、インタラクティブアプリケーションにより適用され、そのイベントを含むインタラクティブアプリケーションの状態が更新される。この更新された状態は、図１に示されるように、ディスプレー１８に表示されるプライマリビデオストリーム１６に描画される。
【００５４】
ある実施の形態において、タグデータ４２は、直ちに適用可能でないが、インタラクティブアプリケーション１０の状態が特定の構成になったときにインタラクティブアプリケーション１０により適用可能となるイベントを定義する。例えば、一つの実施の形態において、タグデータ４２により定義されたイベントは、インタラクティブアプリケーション１０の仮想空間内の特定の位置にオブジェクトが描画されるべきであることを特定してもよい。インタラクティブアプリケーション１０の状態が、インタラクティブアプリケーション１０がタグデータにより定義された位置を含む領域を描画するような構成になったときに、インタラクティブアプリケーション１０は、そのオブジェクトを描画するためにタグデータを適用する。別の例において、タグデータ４２は、インタラクティブアプリケーション１０の仮想時系列内でイベントが発生すべき時刻を特定するタイムスタンプを含んでもよい。インタラクティブアプリケーション１０の状態が特定された時間になったとき、タグデータ４２により定義されたイベントの実行が誘発され、描画されたイベントを含むインタラクティブアプリケーション１０の状態が更新される。
【００５５】
タグモジュール６０は、タグデータをタグとしてローカルに格納してもよい。タグモジュール６０は、タグをタグリポジトリ５２に更に格納してもよい。タグリポジトリ５２は、インタラクティブアプリケーション１０と同一装置内にあってもよいし、インターネットなどのネットワーク５４を介してインタラクティブアプリケーション１０に接続されてもよい。タグリポジトリ５２は、将来の取得のためにタグ５６を格納する。それぞれのタグ５６は、インタラクティブアプリケーション１０により描画されるべきイベントを定義する種々のデータを含んでもよい。データは、インタラクティブアプリケーションの仮想空間内の位置を定義する座標データ、インタラクティブアプリケーションの仮想時系列内の時刻を定義する時間データ（又はタイムスタンプ）、テキスト、グラフィックデータ、オブジェクト又はアイテムのデータ、キャラクタデータ、及びインタラクティブアプリケーション１０内のイベント又はオブジェクトを定義又は影響することが可能な他のタイプのデータを含んでもよい。
【００５６】
タグリポジトリ５２は、複数のユーザからタグデータを受信し、同一のインタラクティブアプリケーションと相互作用する複数のユーザからのタグを統合するように構成されてもよい。ユーザは、インタラクティブアプリケーション１０の同一のセッション又は同一のインスタンスと相互作用してもよいし、同一のインタラクティブアプリケーション１０の異なるセッション又は異なるインスタンスと相互作用してもよい。一つの実施の形態において、インタラクティブアプリケーション１０のタグモジュール６０は、タグリポジトリ５２からタグデータを取得する。これは、インタラクティブアプリケーションの状態の現在位置５８に基づいて実行されてもよい。いくつかの実施の形態において、現在位置５８は、インタラクティブアプリケーションの仮想空間内の地理的な位置であってもよいし、インタラクティブアプリケーションの仮想時系列内の時間的位置であってもよい。インタラクティブアプリケーションの状態の変化に基づいて（例えばインタラクティブアプリケーション１０に対する入力に基づいて）現在位置５８は変化するので、タグモジュール６０は、タグリポジトリ５２から現在位置５８に関連するタグデータを取得し続ける。このように、インタラクティブアプリケーション１０のユーザは、他の複数のユーザから生成されたタグデータにより影響されたインタラクティブアプリケーション１０とのインタラクティブな体験を楽しむことができる。
【００５７】
別の実施の形態において、タグデータ４２は、携帯型装置２８からタグリポジトリ５２に直接送信される。これは、インタラクティブアプリケーション１０へのタグデータの送信に加えて、又はそれに代えて行われてもよい。
【００５８】
図３を参照して、本発明の実施の形態に係るインタラクティブアプリケーションとの間の相互作用を提供するためのシステムが示される。図示されるように、インタラクティブアプリケーション１０は、コンピュータ７０上で実行される。コンピュータ７０は、サーバ、パーソナルコンピュータ、ゲームコンソールシステム、又は、インタラクティブアプリケーションを実行可能な他のタイプの計算装置など、種々のタイプの計算装置のいずれかであってもよい。コンピュータ７０は、相互作用のために、インタラクティブアプリケーション１０を視覚的に描画するために、ディスプレー１８へのプライマリビデオストリームとしてインタラクティブアプリケーション１０の出力を提供する。また、コンピュータ７０は、相互作用のための音声を提供するために、スピーカ１９へのプライマリオーディオストリームとしてインタラクティブアプリケーション１０からの音声出力を提供する。
【００５９】
コンピュータ７０は、外部の要素との通信を容易にするために、無線トランシーバ７６を更に含む。図示された実施の形態において、無線トランシーバ７６は、ユーザ２４により操作されるコントローラ２０及びユーザ３０により操作される携帯型装置２８との無線通信を容易にする。ユーザ２４及び３０は、それぞれ、コントローラ２０及び携帯型装置２８を操作することにより、インタラクティブアプリケーション１０に対する入力を提供する。ユーザ２４は、ディスプレー１８に表示されるプライマリビデオストリームを視聴し、インタラクティブアプリケーション１０の状態に影響を与える直接の入力を提供するために、コントローラ２０の入力機構２２を操作して、インタラクティブアプリケーションと相互作用する。
【００６０】
同時に、インタラクティブアプリケーション１０のデータフィードは、インタラクティブアプリケーション１０のゲーム出力モジュール７２により生成され、携帯型装置２８において実行されるスレーブアプリケーション８０へ送信される。より具体的には、データフィードは、コンピュータ７０の無線トランシーバ７６から携帯型装置の無線トランシーバ７８へ送信され、スレーブアプリケーション８０のスレーブ入力モジュール８２により受信される。このデータフィードは、携帯型装置２８のディスプレー３６に描画される副ビデオストリームを生成するために、スレーブアプリケーション８０により処理される。ユーザ３０は、ディスプレー３６を視聴し、入力を提供するために携帯型装置２８の入力機構３８を操作することにより、副ビデオストリームと相互作用する。この入力は、スレーブアプリケーション８０のスレーブ出力モジュール８４により、インタラクティブアプリケーション１０のゲーム入力モジュール７４へ（携帯型装置２８の無線トランシーバ７８及びコンピュータ７０の無線トランシーバ７６をそれぞれ介して）送信されるデータを生成するために、スレーブアプリケーション８０により処理される。
【００６１】
本発明の種々の実施の形態において、スレーブアプリケーション８０は、ユーザ３０が相互作用するための種々のタイプのインタラクティブなインタフェースを提供するように構成されてもよい。例えば、一つの実施の形態において、携帯型装置２８のディスプレー３６に表示される副ビデオストリームは、ディスプレー１８に表示されるプライマリビデオストリームの画像と同一の画像を提供してもよい。別の実施の形態において、携帯型装置２８のディスプレー３６に表示される画像は、ディスプレー１８に表示された画像の変更されたバージョンであってもよい。更に別の実施の形態において、携帯型装置２８において表示される画像は、ディスプレー１８に表示された画像とは全く異なってもよい。
【００６２】
図４を参照して、本発明の実施の形態に係るインタラクティブなゲームとの相互作用を提供するためのシステムが示される。ゲームエンジン９０は、インタラクティブゲームの現在状態の決定を継続的に実行する。ゲームエンジン９０は、ディスプレー１８にプライマリビデオストリーム９１を描画する映像描画部９２にプライマリビデオストリーム９１を提供する。プライマリビデオストリーム９１は、インタラクティブゲームの現在状態を表現するビデオデータを含み、ディスプレー１８に表示されたとき、相互作用のためにインタラクティブゲームの映像表現を提供する。
【００６３】
ゲームエンジン９０は、ゲーム出力モジュール７２にもデータを提供する。一つの実施の形態において、ゲーム出力モジュール７２は、ゲームエンジンから受信されたデータに基づいて携帯型装置２８に送信されるＡＶデータフィード９５を生成する音声／映像（ＡＶ）フィード生成部９４を含む。ＡＶデータフィード９５は、ディスプレー１８に表示された画像と同一又は実質的に類似する画像を生成するために携帯型装置２８により使用されることが可能なデータを含んでもよい。例えば、一つの実施の形態において、ＡＶデータフィード９５は、ディスプレー１８に描画されるプライマリビデオストリームの、圧縮された、より低解像度の、より低いフレームレートの、又はより低い帯域幅のバージョンを含む。より低い帯域幅を使用することにより、ＡＶデータフィード９５は、とくに、有線送信技術よりも一般に帯域幅の容量が低い無線通信技術を介する場合に、より容易に送信されることができる。さらに、携帯型装置のディスプレー３６は一般にディスプレー１８よりも小さくて解像度が低く、プライマリビデオストリーム９１において提供されるデータの全量を必要としないので、ＡＶデータフィード９５は、より低い帯域幅を使用するように構成されてもよい。
【００６４】
ゲーム出力モジュール７２は、ゲームエンジンから受信されたデータに基づいて携帯型装置２８に送信されるゲームデータフィード９７を生成するゲームデータ生成部９６を更に含んでもよい。ゲームデータフィード９７は、インタラクティブゲームの状態に関する種々のタイプのデータを含んでもよい。携帯型装置２８において、ＡＶデータフィード９５及びゲームデータフィード９７は、スレーブ入力ハンドラ８２により受信され、スレーブ入力ハンドラ８２が最初にデータフィードを処理する。スレーブアプリケーションエンジン９８は、ユーザ３０にインタラクティブなインタフェースを提供するために携帯型装置２８において実行される。スレーブアプリケーションエンジン９８は、データフィードに基づいて副ビデオストリーム９９を生成する。副ビデオストリーム９９は、スレーブ映像描画部１００により、携帯型装置２８のディスプレー３６に描画される。
【００６５】
ユーザ３０は、ディスプレー３６に描画された副ビデオストリームを視聴し、携帯型装置２８の種々の入力機構を介して直接入力１０２を提供することにより、表示された画像と相互作用する。直接入力１０２の例は、ボタン入力１０４、タッチスクリーン入力１０６、及びジョイスティック入力１０８を含むが、他のタイプの入力が直接入力１０２に含まれてもよい。直接入力１０２は、スレーブアプリケーションエンジン９８による使用のために、直接入力プロセッサ１１０により処理される。コンピュータ７０から提供されたデータフィードだけでなく、処理された直接入力に基づいて、スレーブアプリケーションエンジン９８は、実行の状態を更新する。更新された状態は、ディスプレー３６に描画される副ビデオストリーム９９に反映される。スレーブ出力生成部８４は、スレーブアプリケーションエンジン９８の状態に基づいてスレーブデータ８５を生成し、スレーブデータ８５をインタラクティブゲームのゲーム入力モジュール７４に提供する。スレーブデータ８５は、ゲームエンジン９０の実行の状態に影響を与えるためにゲームエンジン９０により使用可能なデータや、ゲームエンジンの状態が特定の構成になったときにゲームエンジンの状態に影響を与えるタグデータなどの種々のタイプのデータを含んでもよい。
【００６６】
図５を参照して、本発明の実施の形態に係る、携帯型装置２８のリソースをインタラクティブアプリケーション９０が利用可能とするためのシステムが示される。図示されるように、インタラクティブアプリケーション又はゲームエンジン９０は、携帯型装置２８のリソースを利用するための要求１２０を生成する。要求１２０は、携帯型装置２８上で実行されるスレーブアプリケーション８０に送信される。スレーブアプリケーション８０は、携帯型装置２８のどのリソースが使用されるのかを決定するために要求１２０を処理する。携帯型装置のリソースは、携帯型装置２８に含まれる任意の装置又は機能であってもよい。例えば、携帯型装置２８のリソースは、携帯型装置のプロセッサ及びメモリを含む処理能力を含んでもよい。携帯型装置２８のリソースは、カメラ、モーションセンサ、マイクロフォン、生体信号センサ、タッチスクリーン、又は携帯型装置に含まれる他のハードウェアなどの、装置、センサ、又はハードウェアを含んでもよい、
【００６７】
要求１２０に基づいて、スレーブアプリケーション８０は、ハードウェア又はセンサ１２４の動作又はそれらからの検出を開始する。携帯型装置２８を操作するユーザ３０は、ハードウェア１２４の性質に依存して、種々の程度でハードウェアを制御する。例えば、ハードウェア１２４がカメラである場合、ユーザ３０はカメラの方向及び角度を制御してもよい。それに対して、ハードウェアが携帯型装置２８のプロセッサ又はメモリである場合は、ユーザ３０は、ハードウェアの動作に対してほとんど又は全く直接制御を行わなくてもよい。一つの実施の形態において、ハードウェア１２４の動作は、スレーブアプリケーション８０の生データプロセッサ１２６により処理される生データを生成する。生データの処理により処理済データ１２２が生成される。処理済データ１２２はインタラクティブアプリケーション９０に送信される。こうして、インタラクティブアプリケーション９０は、最初の要求１２０に対する応答として、処理済データ１２２を受信する。
【００６８】
前述したように、インタラクティブアプリケーション９０が携帯型装置２８のリソースを使用する多数の例が提供されうることは、当業者に理解されるところである。一つの実施の形態において、インタラクティブアプリケーション９０は、インタラクティブアプリケーション９０の１以上のタスクの処理を移管するために、プロセッサ及びメモリなどの携帯型装置の処理リソースを使用する。別の実施の形態において、インタラクティブアプリケーション９０は、動画又は静止画を撮像するために、携帯型装置２８のカメラを使用する。一つの実施の形態において、インタラクティブアプリケーション９０は、インタラクティブな環境から音声を取得するために、携帯型装置２８のマイクロフォンを使用する。別の実施の形態において、インタラクティブアプリケーション９０は、ユーザからの動きに基づいた入力を受け付けるために、携帯が耐装置２８のモーションセンサを使用する。別の実施の形態において、インタラクティブアプリケーション９０は、携帯型装置２８に含まれる他の任意のリソースを使用してもよい。
【００６９】
図６を参照して、本発明の実施の形態に係る、インタラクティブプログラムとのインタフェースのためのコントローラが示される。コントローラ２０は、コンピュータ、ゲームコンソール、又はインタラクティブアプリケーションを実行、描画、又は表示する他のタイプの計算装置などの、コンピュータ又はプライマリ処理インタフェースとのインタフェースのために用いられるタイプのものである。コントローラ２０は、無線又は有線接続を介してコンピュータと通信する。別の実施の形態において、インタラクティブアプリケーションは、ＬＡＮ、ＷＡＮ、インターネット、及び他の形式のネットワークなどを介してアクセス可能な計算装置により実行されてもよい。このような実施の形態において、コントローラにより検知された入力は、ネットワークを介してインタラクティブアプリケーションに送信される。コントローラからの入力は、まず、入力を処理可能なローカル装置により受信されてもよく、インタラクティブアプリケーションを実行するネットワーク接続された装置に、入力又は入力に基づいたデータを含むデータが送信されてもよい。ユーザは、コントローラ２０のハードウェア、例えば、方向パッド１３０、ジョイスティック１３２、ボタン１３４、及びトリガ１３６などを使用して、コントローラ２０を介してインタラクティブアプリケーションに対する入力を提供する。コントローラ２０は、ユーザからの生体電気的信号を検知するための電極１３８ａ及び１３８ｂを更に含む。生体電気的信号は、インタラクティブプログラムの入力として使用される生体測定データを決定するための処理されてもよい。
【００７０】
図７を参照して、本発明の実施の形態に係る、携帯型装置２８の例の前面図が示される。携帯型装置２８は、グラフィックを表示するためのディスプレー１４０を含む。本発明の実施の形態において、ディスプレー１４０は、インタラクティブなコンテンツをリアルタイムに表示するために使用される。本発明の種々の実施の形態において、ディスプレー１４０は、タッチ検知などの種々の表示技術のいずれかを組み込んでもよい。携帯型装置２８は、音声出力を容易にするためのスピーカ１４２を含む。スピーカ１４２からの音声出力は、キャラクタの音、背景音、サウンドトラック音声、リモートユーザからの音声、又は他のタイプの音声などの、インタラクティブなコンテンツに関連した任意の音声を含んでもよい。
【００７１】
携帯型装置２８は、携帯型装置のユーザからの入力を受け付けるための入力機構として機能するボタン１４４及び方向パッド１４６を含む。本発明の実施の形態において、他のタイプの種々の入力機構のいずれかが携帯型装置２８に含まれてもよい。入力機構の他の例は、スタイラス、タッチスクリーン、キーボード、キーパッド、タッチパッド、トラックボール、ジョイスティック、トリガ、又はユーザの入力を受け付けるために有用でありうる他の任意のタイプの入力機構を含んでもよい。
【００７２】
前面カメラ１４８は、携帯型装置２８のユーザ、又は携帯型装置２８の前面のオブジェクト又は風景の画像及び映像を撮像するために設けられる。図示されないが、携帯型装置２８の背後のシーンの画像又は映像を撮像するために、背面カメラが更に含まれてもよい。さらに、携帯型装置２８のユーザにより発せられる音声又は会話、又は携帯型装置２８が使用されているインタラクティブな環境における他の音声などの、周囲の領域からの音声を取得するために、マイクロフォン１５０が含まれる。
【００７３】
左電極１５２ａ及び右電極１５２ｂは、携帯型装置を把持するユーザの左手及び右手から生体電気的信号を検知するために設けられる。左電極１５２ａ及び右電極１５２ｂは、ユーザが携帯型装置２８を把持するときに、ユーザの左手及び右手にそれぞれ接触する。本発明の他の種々の実施の形態において、ユーザから生体測定データを検知するために携帯型装置に含まれる電極は、他の種々の構成のいずれかを有してもよい。
【００７４】
図８を参照して、本発明の実施の形態に係る、携帯型装置１０の構成要素を示す図が示される。携帯型装置１０は、プログラム命令を実行するためのプロセッサ１６０を含む。メモリ１６２は、記憶装置の目的のために設けられ、揮発性及び不揮発性のメモリの双方を含んでもよい。ユーザが見ることが可能な映像インタフェースを提供するディスプレー１６４が含まれる。バッテリー１６６は、携帯型装置１０の電力源として設けられる。動き検出モジュール１６８は、磁力計１７０、加速度計１７２、及びジャイロスコープ１７４などの種々の種類の動きを検出可能なハードウェアのいずれかを含んでもよい。
【００７５】
加速度計は、加速度及び重力により誘起される反力を測定するための装置である。単一及び複数の軸のモデルが、異なる方向における加速度の大きさ及び方向を検出するために利用可能である。加速度計は、傾き、振動、及び衝撃を検知するために用いられる。一つの実施の形態において、３つの加速度計１７２が、２つの角度（ワールド空間のピッチ及びワールド空間のロール）のための絶対的な参照を与える重力の方向を提供するために用いられる。
【００７６】
磁力計は、コントローラの周辺の磁場の強さ及び方向を測定する。一つの実施の形態において、３つの磁力計が、ワールド空間のヨー角のための絶対的な参照を確保するために、コントローラの内部で用いられる。一つの実施の形態において、磁力計は、±８０マイクロテスラである地磁場を測定するように設計される。磁力計は金属により影響され、現実のヨーに対して単調であるヨー測定を提供する。磁場は、環境内の金属により曲げられ、ヨー測定の歪みをもたらす可能性がある。必要であれば、この歪みは、ジャイロスコープ又はカメラなどの他のセンサからの情報を用いて較正することができる。一つの実施の形態において、携帯型装置２８の傾き及び方位を得るために、加速度計１７２が磁力計１７０とともに用いられる。
【００７７】
ジャイロスコープは、角運動量の法則に基づいて方向を測定又は維持するための装置である。一つの実施の形態において、３つのジャイロスコープ１７４が、慣性の検知に基づいて、それぞれの軸（ｘ、ｙ及びｚ）に関する動きについての情報を提供する。ジャイロスコープは、高速な回転を検知するのに有用である。しかし、ジャイロスコープは、絶対的な参照の存在がないと、時間の経過によりドリフトする。したがって、ジャイロスコープは定期的に再設定する必要がある。これは、オブジェクトの映像追跡、加速度計、磁力計などに基づいた位置／方向の決定など、利用可能な他の情報を用いてなされうる。
【００７８】
カメラ１７６は、現実の環境の画像及び画像ストリームを撮像するために設けられる。携帯型装置２８には、後方（ユーザが携帯型装置のディスプレーを見るときにユーザから離れる方向）に面したカメラ、及び前方（ユーザが携帯型装置のディスプレーを見るときにユーザに向かう方向）に面したカメラを含む、１以上のカメラが含まれてもよい。さらに、現実の環境におけるオブジェクトの深さ情報を検知するために、携帯型装置に深さカメラ１７８が含まれてもよい。
【００７９】
携帯型装置１０は、音声出力を提供するためのスピーカ１８０を含む。また、現実の環境から、周囲環境からの音声やユーザにより発せられた会話などの音声を取得するために、マイクロフォン１８２が含まれてもよい。携帯型装置２８は、ユーザに触覚のフィードバックを提供するための触覚フィードバックモジュール１８５を含む。一つの実施の形態において、触覚フィードバックモジュール１８４は、ユーザに触覚のフィードバックを提供するために、携帯型装置２８の動き及び／又は振動を発生させることができる。
【００８０】
ＬＥＤ１８６は、携帯型装置２８の状態の視覚的なインジケータとして設けられる。例えば、ＬＥＤは、バッテリーレベル、電源オンなどを示してもよい。カードリーダ１８８は、携帯型装置２８がメモリカードから情報を読み出したりメモリカードに情報を書き込んだりすることを可能とするために設けられる。ＵＳＢインタフェース１９０は、周辺装置の接続や、他の携帯型装置やコンピュータなどの他の装置への接続を可能とするためのインタフェースの一例として含まれる。携帯型装置２８の種々の実施の形態において、携帯型装置２８のより多くの接続を可能とするために、種々の種類のインタフェースのいずれかが含まれてもよい。
【００８１】
ＷｉＦｉモジュール１９２は、無線ネットワーク技術を介したインターネットへの接続を可能とするために含まれる。また、携帯型装置２８は、他の装置との無線接続を可能とするために、ブルートゥースモジュール１９４を含む。通信リンク１９６も、他の装置との接続のために含まれてもよい。一つの実施の形態において、通信リンク１９６は、無線通信のために赤外線送信を用いる。他の実施の形態において、通信リンク１９６は、他の装置と通信するために、無線又は有線の種々の送信プロトコルのいずれかを用いてもよい。
【００８２】
入力ボタン／センサ１９８は、ユーザに入力インタフェースを提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなどの種々の種類の入力インタフェースのいずれかが含まれてもよい。超音波通信モジュール２００は、超音波技術を介した他の装置との通信を容易にするために携帯型装置２８に含まれてもよい。
【００８３】
生体センサ２０２は、ユーザから生理的データの検出を可能とするために含まれる。一つの実施の形態において、生体センサ２０２は、ユーザの肌からユーザの生理電気的信号を検出するための１以上の乾式電極を含む。
【００８４】
上記の携帯型装置２８の構成要素は、携帯型装置２８に含まれうる構成要素の単なる例として説明された。本発明の種々の実施の形態において、携帯型装置２８は、上述の種々の構成要素のいくつかを含んでもよいし含まなくてもよい。携帯型装置２８の実施の形態は、ここで説明されなかったが技術分野において既知である他の構成要素を、本明細書で説明される本発明の態様を容易にする目的で更に含んでもよい。
【００８５】
本発明の種々の実施の形態において、上述した携帯型装置は、種々のインタラクティブな機能を提供するために、ディスプレーに表示されたインタラクティブアプリケーションに関連して使用されてもよいことは、当業者に理解されるところである。以下の実施の形態は例示の目的のみで提供され、限定の目的はない。
【００８６】
図９を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。コンソール又はコンピュータ７０は、ディスプレー１８上に描画されるプライマリビデオストリームを生成するインタラクティブアプリケーションを実行する。図示されるように、描画されたプライマリビデオストリームは、シーン２１０を表現する。シーン２１０は、キャラクタ２１２、オブジェクト２１４、又はインタラクティブアプリケーションにより描画される他の任意のアイテムを含んでもよい。ユーザ２４は、ディスプレー１８上のシーン２１０を見て、コントローラ２０を操作することによりインタラクティブアプリケーションとの間で相互作用する。コントローラ２０は、ユーザがインタラクティブアプリケーションの状態に直接影響を与えることを可能とする。インタラクティブアプリケーションの状態は、ディスプレー１８に描画されるプライマリビデオストリームにおいて更新され、反映される。
【００８７】
同時に、もう一人のユーザ３０は、インタラクティブな環境において、携帯型装置２８を視聴し、操作する。携帯型装置２８は、副ビデオストリームをコンピュータ７０から受信し、携帯型装置２８のディスプレー３６上に描画する。いま説明している実施の形態において、携帯型装置２８の拡大されたビュー２１６により図示されるように、描画された副ビデオストリームは、プライマリビデオストリームによりディスプレー１８上に描画されたシーンと実質的に類似又は同一のシーン２１８を表現する。ユーザ３０は、このシーン２１８を見て、タッチスクリーンを介して入力を提供したり、ボタン、ジョイスティック、又はモーションセンサなどの他の入力機構をアクティブ化したりするなど、携帯型装置の種々の入力機構によりシーン２１８と相互作用することができる。
【００８８】
本発明の種々の実施の形態において、携帯型装置２８において可能とされる特定のインタラクティブ機能は異なってもよい。例えば、ユーザは、携帯型装置２８において副ビデオストリームを録画してもよい。録画された副ビデオストリームは、他のユーザと共有するためにウェブサイトにアップロードされてもよい。または、一つの実施の形態において、ユーザは、ディスプレー３６にオブジェクト、例えばオブジェクト２１４が表示されているときに、オブジェクト２１４をタップすることによりオブジェクトを選択することができる。オブジェクト２１４の選択は、ユーザ３０が、オブジェクトの変形、移動、説明又は他の種類の情報を含むタグの追加など、オブジェクト２１４に関連したいくつかの機能を実行することを可能とする。
【００８９】
一つの実施の形態において、携帯型装置２８のディスプレー３６に表示されるシーン２１８は、ユーザ３０が、タッチスクリーンをタッチしたり、携帯型装置２８のボタンを押したりすることにより発生する、あるタイプの入力を提供するまでは、ディスプレー１８に表示されるシーン２１０と同一である。この時点において、ユーザ３０が、ユーザ２４とシーン２１０との間で発生する相互作用とは無関係にインタラクティブな入力を提供したので、携帯型装置２８に描画される副ビデオストリームは、もはやディスプレー１８に描画されるプライマリビデオストリームと同一のシーンを表現せず、その代わりに、プライマリビデオストリームにより表現されるものから分岐する。
【００９０】
例えば、一つの実施の形態において、携帯型装置のディスプレー３６をタッチ又はタップすると、シーン２１８がフリーズ又はポーズされ、ユーザ３０がシーン２１８にインタラクティブな操作を実行することが可能となる。この間、ディスプレー１８に表示されたシーン２１０は、ユーザ２４がコントローラ２０を操作し、又は、シーン２１０と相互作用するときに、進行し続ける。別の実施の形態において、シーン２１８はフリーズせず、シーン２１８により表現されたビューの眺望又は視点が、ユーザ３０により提供される入力に基づいて変更されてもよい。一つの実施の形態において、ユーザ３０により提供される入力は、ユーザ３０がディスプレー２８において指を移動させたときに検知されるジェスチャー入力を含む。更に別の実施の形態において、ディスプレー１８に表示されたシーン２１０から携帯型装置２８のディスプレー３６に表示されたシーン２１８の変更は、他の種々のタイプの変更のいずれかを含んでもよい。例えば、シーン２１８は、外観、色、照明、又は他の表示態様がシーン２１０から変更されてもよい。一つの実施の形態において、シーン２１８の外観は、シーン内の特定の特徴が強調表示されるように、シーン２１０から変更されてもよい。例えば、一人称視点シューティングゲームなどのインタラクティブゲームのコンテキストにおいて、シーン２１８は、赤外光、紫外光、ナイトビジョン、又は他のいくつかのタイプの変更された映像モードに基づいてビューを描写してもよい。他の実施の形態において、シーン２１８は、シーン２１０に比べて遅く又は速くされてもよい。更に別の実施の形態において、シーン２１０においては視認可能でない情報がシーン２１８において視認可能であってもよい。このような情報は、テキスト情報、マーカ又はインジケータ、カラースキーム、ハイライト、又はシーン２１８を見るユーザ３０に情報を提供する他の表現を含んでもよい。
【００９１】
図１０を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示されるように、コンピュータ７０は、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画するように構成される。プライマリビデオストリームの描画の結果、ディスプレー１８にシーン２２０が表現される。ユーザ２４は、シーン２２０を視聴し、インタラクティブアプリケーションに対する入力を提供するためにコントローラ２０を操作する。一つの実施の形態において、コントローラは、コンピュータ７０と無線通信する。同時に、第２のユーザ３０は、携帯型装置２８のディスプレー３６上の関連するシーン２２２を視聴する。図示された実施の形態に示されるように、シーン２２２は、選択可能なアイコン２２４を含むメニューを備える。本発明の種々の実施の形態において、シーン２２２に含まれるメニューは、インタラクティブアプリケーションに関連する種々の機能を可能としてもよい。このように、ユーザ３０は、ユーザ２４とシーン２２０との間の相互作用とは独立に、メニューインタフェースを介してインタラクティブアプリケーションに影響を与えることができる。
【００９２】
図１１を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。コンピュータ７０は、シーン２３０を表現するために、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画する。同時に、ディスプレー１８に表示されたシーン２３０と実質的に類似する又は同一のシーン２３２を表現する副ビデオストリームが、携帯型装置２８のディスプレー３６に描画される。携帯型装置２８を操作するユーザは、シーン２３２の領域２３４を選択し、更新されたシーン２３６により示されるように、領域２３４をズームインすることができる。
【００９３】
領域２３４の選択は、タッチスクリーン技術によってディスプレー３６において検知されるタッチ又はジェスチャー入力によるなど、種々の機構により発生してもよい。一つの実施の形態において、ユーザは、拡大されるべき領域２３４を決定するために、矩形を描く又は指定することができる。このように、ユーザは、別のディスプレー１８に表示されたシーン２３０内の興味のある領域をズームインすることができる。いくつかの実施の形態において、このような選択の操作により、携帯型装置２８に表示されたシーン２３２をフリーズ又はポーズさせるが、他の実施の形態においては、シーン２３２はフリーズしない。いくつかの実施の形態において、このような選択の操作により、ディスプレー１８に表示されたシーン２３０と携帯型装置２８に表示されたシーン２３２の双方がポーズされるが、他の実施の形態においては、携帯型装置に表示されたシーン２３２のみがフリーズする。一つの実施の形態において、携帯型装置２８に表示されたシーン２３２内の領域をユーザが選択又はズームインしたときに、ディスプレー１８に表示されたシーン２３０において実質的に類似する又は同一の効果が生じるように、プライマリ及び副ビデオストリームが同期される。
【００９４】
図示された実施の形態は、ズーム又は拡大機能に関連して説明されたが、本発明の他の実施の形態においては、ここで説明された選択の特徴は、他のタイプの機能を可能としてもよいことが理解されよう。例えば、シーンの範囲又は領域の選択の後、映像のプロパティを調整したり、仮想タグを設定したり、アイテムを追加したり、選択された領域を編集したりするなど、選択された領域において種々の機能を実行可能であってもよい。本発明の他の実施の形態において、シーンの領域の選択後、他の種々のタイプの機能のいずれかが実行されてもよい。
【００９５】
図１２を参照して、本発明の実施の形態に係る、インタラクティブゲーム内のシーンを示す概念図が示される。図示されるように、インタラクティブゲームは、一連のシーン２４０、２４２、及び２４４、シーン２４６までを含む。プレーヤーがインタラクティブゲームを進行させるとき、プレーヤーは、シーン２４０、２４２、及び２４４からシーン２４６までと連続して相互作用する。図示されるように、プレーヤーは、まずシーン２４０と相互作用し、シーン２４２、２４４が続き、最後にシーン２４６と相互作用する。プレーヤーは、ディスプレーにシーンを描画するように構成されたコンピュータ又はコンソールシステムに接続されたディスプレー上のシーンを見ることによりシーンと相互作用する。図示された実施の形態において、シーン２４０は、プレーヤーが現在プレー中の現在アクティブなシーンである。
【００９６】
同時に、第２のプレーヤーは、携帯型装置に表示するための一つのシーンを選択することができる。第２のプレーヤーにより選択されたシーンは、第１のプレーヤーが現在プレー中のアクティブなシーン２４０とは異なるシーンであってもよい。例示のために示されるように、第２のプレーヤーは、携帯型装置における表示及び相互作用のために、シーン２４２を選択している。携帯型装置に表示されたシーン２４８は、シーン２４２に対応する。第２のプレーヤーは、シーン内を時間的又は空間的に進んだり、シーンの変更を実行したりするなど、種々の方法でシーン２４８と相互作用することができる。例として、一つの実施の形態において、携帯型装置を使用する第２のプレーヤーは、シーン２５０において示されるように、メニュー２５２に表示されたオプションから選択することができる。オプションは、オブジェクトの追加、オブジェクトの移動、仮想タグの追加など、シーンを改変又は修正するための種々の選択肢を含んでもよい。シーン２５４において示されるように、第２のプレーヤーは、オブジェクト２５６を追加することによりシーンを改変した。
【００９７】
第１のプレーヤーが、第２のプレーヤーにより変更がなされたシーンにおいて同一の空間的又は時間的位置に到達するときに、ディスプレーに描画されるシーンにおいてこれらの変更が表示されるので、第１のプレーヤーは第２のプレーヤーによりシーンになされた変更を見ることができる。図示された実施の形態において、第１のプレーヤーがシーン２４２に到達すると、第１のプレーヤーは第２のプレーヤーにより配置されたオブジェクト２５６を見ることになる。ここで説明される実施の形態によれば、第２のプレーヤーは、第１のプレーヤーが同じ空間的又は時間的位置に到達するときに第１のプレーヤーが遭遇するシーンを変更するために、インタラクティブゲームのゲームプレーシーケンス内で先を見ることができる。種々の実施の形態において、インタラクティブゲームは、第２のプレーヤーが、ゲームプレーのシーケンス内で先を見ることにより、第１のプレーヤーのゲームのプレーを助けるような、協力的なゲームプレーを確立するように設計されてもよい。例えば、第２のプレーヤーは、特定のアイテム又は位置に、第１のプレーヤにとって有用な説明的情報又はヒントのタグを付けてもよい。または、第２のプレーヤーは、オブジェクトを追加したり、第１のプレーヤーがシーン内の同一の位置に到達するときに、第１のプレーヤーの助けとなるような、シーンに対する他の修正を実行したりすることにより、シーンを変更してもよい。本発明の他の実施の形態において、インタラクティブなゲームは、第１及び第２のプレーヤーが互いに競争するように設計されてもよい。例えば、第２のプレーヤーは、ゲームプレーのシーケンス内で先を見て、第１のプレーヤーが特定の位置に到達するときに第１のプレーヤーが遭遇する障害物を設定してもよい。
【００９８】
種々の実施の形態において、本発明の原則は、種々のスタイルのゲームプレーに適用されてもよい。例えば、図１３Ａ、１３Ｂ、及び１３Ｃを参照して、種々のスタイルのゲームプレーが示される。図１３Ａは、本発明の実施の形態に係る、直線型のゲームプレーを示す。図示されるように、ゲームプレーは、複数のシーン又はノード２６０、２６２、２６４、及び２６６を含む。シーンは、インタラクティブゲームの空間的又は時間的位置であってもよく、ユーザがインタラクティブゲームを進行させるときに、ユーザにより予め決定された順序で遭遇されてもよい。図示されるように、シーン２６０の完了後、ユーザはシーン２６２に遭遇し、その後、シーン２６４及び２６６の順に続く。本明細書で説明される本発明の原則によれば、携帯型装置を使用する第２のユーザは、第１のユーザがまだ遭遇していないシーンの一つに飛んで、シーンの変更を実行したり、シーンに関連付けられた仮想タグを設定したりしてもよい。例として、図示された実施の形態では、仮想タグ２７０がシーン２６２に関連付けられる。
【００９９】
図１３Ｂは、本発明の実施の形態に係る、非直線型のゲームプレーを示す。非直線型のゲームプレーは、いくつかのバリエーションを含んでもよい。例えば、ユーザのアクションに基づいて分岐するストーリーラインがあってもよく、ユーザは特定のシーンに遭遇する。例として示されるように、シーン２７２の後には、二者択一のシーン２７４が続く。分岐するストーリーラインは、同じシーンに収束してもよい。例えば、択一的なシーン２７４は、結局、シーン２７６に収束する。他の実施の形態において、分岐するストーリーラインは収束しなくてもよい。例えば、シーン２８２及び２８４は、シーン２８０から分岐し、収束しない。他の実施の形態において、ゲームプレーは、ユーザのアクションに依存して異なるエンディングを有してもよい。例えば、ゲームプレーは、ユーザのアクションに基づいてシーン２７８で終了してもよいが、ユーザがもし別のアクションのセットをとっていたら、ゲームプレーは、シーン２８０から先に続いていた。本明細書で説明される本発明の原則によれば、携帯型装置を使用する第２のユーザは、第１のユーザがまだ遭遇していないシーンの一つに飛んで、シーンの変更を実行したり、シーンに関連付けられた仮想タグを設定したりしてもよい。例として、図示された実施の形態では、仮想タグ２８６がシーン２７８に関連付けられる。
【０１００】
図１３Ｃは、本発明の実施の形態に係る、オープンワールド型のゲームプレーを示す。図示されるように、複数のシーン２８８がユーザによりアクセス可能であり、それぞれがユーザの選択する順序で訪問可能である。図示された実施の形態において、シーンは、全てのシーンが他の全てのシーンからアクセス可能ではないように互いに接続されている。しかし、別の実施の形態において、全てのシーンが他の全てのシーンからアクセス可能であってもよい。本明細書で説明される本発明の原則によれば、携帯型装置を使用する第２のユーザは、シーンのうちの任意の一つに飛んで、シーンの変更を実行したり、シーンに関連付けられた仮想タグを設定したりしてもよい。例として、図示された実施の形態では、仮想タグ２８６がシーン２７８に関連付けられる。
【０１０１】
上述した種々のスタイルのゲームプレーの例は、例示のみを目的として説明され、他の実施の形態において、他のスタイルのゲームプレーがありうる。本発明の原理は、ユーザがインタラクティブゲームのシーンに関連付けられた仮想タグの変更又は設定を実行可能とするために、これらの他のタイプのゲームプレーに適用されてもよい。
【０１０２】
図１４を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示されるように、コンピュータ７０は、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画する。描画されたプライマリビデオストリームはシーン３００を表現する。同時に、携帯型装置２８を把持するユーザは、携帯型装置２８をディスプレー１８に向ける。一つの実施の形態において、ディスプレーの方に携帯型装置２８を向けることは、ディスプレー１８の一部分に携帯型装置２８の背面を向けることを含んでもよい。ディスプレー１８に対する携帯型装置２８の方向は、種々の技術によって検知されてもよい。例えば、一つの実施の形態において、携帯型装置の後方に面するカメラ（図示せず）がディスプレーの画像を撮像し、ディスプレー１８に対する携帯型装置の方向を判定するために画像が処理される。他の実施の形態において、携帯型装置２８の方向は、携帯型装置において取得されたモーションセンサのデータに基づいて検知されてもよい。更に別の実施の形態において、ディスプレー１８に対する携帯型装置２８の方向を判定するために、他の種々の技術のいずれかが利用されてもよい。
【０１０３】
図示された実施の形態において、携帯型装置２８は、携帯型装置が向けられた方向のシーン３００の領域３０２の拡大されたビューをユーザに提供する拡大レンズとしての機能を果たす。このように、ユーザは、携帯型装置２８上のシーン３０４として、拡大された領域３０２を見ることができる。これは、ディスプレー１８において描画されるプライマリビデオストリームと同期させるために、コンピュータ７０から携帯型装置２８に送信され、携帯型装置２８においてリアルタイムに描画される補助的なビデオフィードの生成を介して達成されてもよい。インタラクティブアプリケーションが一人称視点シューティングゲームである類似する実施の形態において、携帯型装置２８は、ユーザがスナイパーライフル又は長距離砲の武器を使用しているときに発生する、照準合わせのための照準スコープとして機能してもよい。このような実施の形態において、ユーザは、ディスプレー１８上のゲームを見ることができるが、携帯型装置２８を持ち上げて、ディスプレー１８の特定の領域を狙うことにより、照準を合わせるために、その領域の拡大された表示を見ることができる。
【０１０４】
図１５を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示されるように、コンピュータ７０は、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画する。描画されたプライマリビデオストリームは、ディスプレー１８にシーン３１０を表示する。ユーザ２４は、シーン３１０を視聴し、インタラクティブアプリケーションに対する入力を提供するためにコントローラ２０を操作する。図示された実施の形態において、ユーザ２４は、シーン３１０の左側に示されるように、乗物を操縦するために入力を提供する。しかし、他の実施の形態において、ユーザ２４は、インタラクティブアプリケーションに関連する任意のタイプのアクションのために入力を提供してもよい。同時に、ユーザ３０は、シーン３１０を見ながら、携帯型装置２８を操作する。図示された実施の形態において、ユーザ３０は、シーン３１０の右側に示されるように、武器の照準合わせ及び発射を制御するために入力を提供する。しかし、他の実施の形態において、ユーザ３０は、インタラクティブアプリケーションに関連する任意のタイプのアクションのために入力を提供してもよい。
【０１０５】
一つの実施の形態において、ユーザ３０は、携帯型装置の背面がディスプレー１８から離れた方向を向くように、位置３１２においてディスプレー１８から離れるように携帯型装置２８を回転させる。これにより、シーン３１０が起こっている仮想的な環境のビューワとして機能する携帯型装置の表示モードがアクティブ化される。ビュー３１６に示されるように、携帯型装置２８をディスプレー１８から離れるように回転させることにより、携帯型装置２８は、ユーザ３０により制御される武器が携帯型装置２８の回転と同様に回転されるときに見られるような仮想的な環境のビューを表現するシーン３１４を表示する。本発明の他の実施の形態において、携帯型装置２８の表示モードのアクティブ化は、ユーザ３０により選択可能であってもよいし、携帯型装置２８の位置及び方向に基づいて自動的に生じるように構成されてもよい。
【０１０６】
図１６を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示されるように、コンピュータ７０は、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画する。描画されたプライマリビデオストリームは、ディスプレー１８にシーン３２０を表示する。ユーザ２４は、シーン３２０を視聴し、モーションコントローラ３２２を操作することによりインタラクティブな入力を提供する。一つの実施の形態において、モーションコントローラの位置は、カメラ３２４により撮像されたモーションコントローラ３２２の撮像画像に基づいて決定される。一つの実施の形態において、カメラ３２４は、深さ情報を取得することが可能な深さカメラを含む。図示されるように、第２のユーザ３０は、第１のユーザ２４に向けられた携帯型装置２８を把持する。一つの実施の形態において、携帯型装置２８は背面カメラを含み、ユーザ３０は、携帯型装置２８のカメラにより第１のユーザ２４の画像を撮像することを可能とするために、背面カメラを向ける。一つの実施の形態において、携帯型装置２８のカメラは、深さ情報を取得可能であってもよい。カメラ３２４の位置及び携帯型装置２８の位置に基づいた２つの異なる視点からユーザ２４及びモーションコントローラ３２２の画像を撮像することにより、モーションコントローラ３２２の位置及び方向だけでなく、第１のユーザ２４のより精確な三次元的表現を決定することができる。
【０１０７】
別の実施の形態において、ユーザ２４は、モーションコントローラを必要とせず、カメラ３２４により検出される動きを介して、インタラクティブアプリケーションにインタラクティブな入力を提供することができる。例えば、カメラ３２４は、ユーザ２４の画像及び深さ情報を取得してもよく、それらはユーザ２４の位置、方向、及び動きを決定するために処理される。これらは、インタラクティブアプリケーションのための入力として利用される。さらに、第１のユーザ２４の検出を向上させるために、上述したように、携帯型装置２８が第２のユーザ３０により操作されてもよい。
【０１０８】
図１７を参照して、本発明の実施の形態に係る、仮想空間の座標系が示される。図示されるように、仮想空間は、オブジェクト３３０及び３３２を含む。前述したように、携帯型装置を使用するユーザは、仮想空間内に仮想タグを設定することができる。図示された実施の形態において、仮想タグ３３４が座標（４，２，０）に設定されている。他方、仮想タグ３３６が座標（６，６，３）のオブジェクト３３０に設定されている。さらに、仮想タグ３３８が座標（１０，７，１）のオブジェクト３３２に設定されている。仮想タグは、別のユーザが仮想タグの近傍の位置に進んだときに、そのユーザにより視認されてもよい。前述したように、仮想タグは、位置又はオブジェクトを他のユーザに強調表示してもよいし、ヒント又はメッセージなど、ユーザにより決定された仮想空間に関連する情報を含んでもよいし、他のユーザがそれらに遭遇したときに、描画される変更又は実行されるアクションを定義してもよい。
【０１０９】
図１８を参照して、本発明の実施の形態に係る、仮想タグを設定するためのユーザインタフェースを示す一連のアクションが示される。図示されるように、携帯型装置２８のユーザは、種々のオプションを含むメニュー３４２を提示するために、例えばオブジェクトをタップすることにより、オブジェクト３４０を選択することができる。タグを設定するためのオプションをメニュー３４２から選択することができ、これによりテキスト情報を入力可能なキーボードインタフェース３４４が提示される。入力されたテキスト情報は、仮想タグ３４６に示される。仮想タグ３４６は、他のユーザが仮想タグ３４６の位置の近傍の位置に進んだときに、他のユーザに描画されてもよい。
【０１１０】
図１９を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示されるように、コンピュータ７０は、インタラクティブアプリケーションのプライマリビデオストリームをディスプレー１８に描画する。描画されたプライマリビデオストリームは、ディスプレー１８にシーン３５０を表示する。ユーザ２４は、シーン３５０を視聴し、インタラクティブアプリケーションに対する入力を提供するためにコントローラ２０を操作する。図示された実施の形態において、ユーザ２４は、一人称視点シューティングゲームにおいてキャラクタを制御する。同時に、第２のユーザは、第１のユーザのキャラクタが配置された仮想的な環境のマップ３５２を表示する携帯型装置２８を操作する。第１のユーザのキャラクタの位置は、マーカ３５４により示される。一つの実施の形態において、第２のユーザは、ユーザ２４がシーン３５０においてキャラクタを制御するのに忙しくて見ることができない領域を見るために、マップ３５２を進むことができる。このように、一つの実施の形態において、第２のユーザは、マップ３５２を見て、興味のある位置、オブジェクト、敵、又はマップ３５２に表示される他の任意の情報などの情報をユーザ２４に提供することにより、ユーザ２４を協力的に援助することができる。
【０１１１】
図２０を参照して、本発明の実施の形態に係る、インタラクティブな環境が示される。図示された実施の形態において、コントローラ２０を操作するユーザ２４と、携帯型装置２８を操作する第２のユーザ（第２のユーザの手以外は図示せず）は、フットボールのビデオゲームをプレーしている。第２のユーザは、シーン３６０を視聴する。シーン３６０において、第２のユーザは、例えば、携帯型装置２８のタッチスクリーンにおいてプレーを描くことにより、プレーを図解することができる。図示されるように、第２のユーザは、マーカ３６２により示されたプレーヤーのために指定された経路を描く。ユーザ２４は、ディスプレー１８に表示されたシーン３６４において示されるように、マーカ３６２に対応するプレーヤー３６６を制御する。ユーザ２４は、第２のユーザが図解した経路を見て、その経路を走るように、コントローラ２０を操作して、プレーヤー３６６の動きを制御することができる。
【０１１２】
図２１に示される関連する実施の形態において、第２のユーザは、例えば携帯型装置２８のタッチスクリーンにおいてプレーを描くことによりプレーを図解するために、携帯型装置２８を操作する。ディスプレー１８には、プレーの間にチームがハドルする様子が示される。図解されたプレーは、ゲームにおいて一方のチームのプレーヤーの動きを決定するために用いられる。このように、第２のユーザは、直感的な方法で、プレーヤーの動きを直接制御することができる。
【０１１３】
上述した、キャラクタの動きを図解するために携帯型装置を用いる概念は、他のシナリオに拡張可能である。例えば、戦場のシナリオにおいて、例えば、敵に向かって移動する、敵を攻撃するなど、特定のキャラクタがどこに移動するか、及びキャラクタがどんなアクションを起こすかを図解するために、携帯型装置を用いることができる。他の実施の形態において、携帯型装置は、仮想的な環境におけるキャラクタ又はオブジェクトの動き又は行動を図解するために用いられてもよい。
【０１１４】
本発明の更に別の実施の形態において、メインのディスプレーに表示されたアプリケーションに対するインタフェースのための携帯型装置の使用は、他のタイプのプログラム及びアプリケーションだけでなく、他の種々のインタフェース概念に拡張可能である。例えば、いくつかの実施の形態において、携帯型装置のタッチスクリーンは、アプリケーションに対する入力を提供するための制御又は入力の面として用いられてもよい。一つの実施の形態において、ユーザは、携帯型装置のタッチスクリーンにおいて描くことにより入力を提供する。一つの実施の形態において、タッチスクリーンの面は、カーソル制御面として機能してもよい。メインディスプレー上のカーソルの移動は、携帯型装置のタッチスクリーンにおけるユーザの指の動きにしたがって制御される。メインディスプレー上のカーソルの動きは、タッチスクリーンにおけるユーザの指の検知された動きを追跡してもよい。別の実施の形態において、仮想キーボードが携帯型装置のタッチスクリーンに表示される。ユーザは、携帯型装置のタッチスクリーンに表示された仮想的なキーボードのキーをタッチすることによりテキスト入力を入力することができる。携帯型装置の機能に影響を与えることにより容易にされたこれらのタイプの入力機構は、例えばウェブブラウザ、ワードプロセッサ、スプレッドシートアプリケーション、プレゼンテーションソフトウェア、ビデオゲームなどの種々の種類のアプリケーションに適用されてもよい。
【０１１５】
他の実施の形態において、携帯型装置は、例えば写真又は映像を編集するアプリケーションなど映像編集アプリケーションのための入力を提供するために用いられてもよい。例えば、ユーザは、携帯型装置のタッチスクリーンにおいて描画することにより写真を編集することができる。このように、写真又は映像を編集するための入力が、直感的な方法で提供されることができる。一つの実施の形態において、編集される写真又は写真の部分は、タッチスクリーンにおいて描画することによる写真の編集のための精確な入力を容易にするために、携帯型装置のタッチスクリーンに表示される。
【０１１６】
本発明の他の実施の形態において、携帯型装置の種々のリソースがプログラム及びアプリケーションの機能をサポートするために用いられてもよい。例えば、アプリケーションがビデオゲームである一つの実施の形態において、携帯型装置は、例えば特定のユーザのプロファイル又は進行データなど、ビデオゲームに関連するゲームデータを保存するために用いられてもよい。ゲームデータは、一般に、コンソールゲームシステムに格納されるので、特定のコンソールシステムに拘束される。しかし、携帯型装置にゲームデータを格納することにより、ユーザは、ゲームデータを容易に転送し、セーブされたゲームデータを先行することなく、同じゲームをプレーするために異なるコンソールシステムを用いることができる。
【０１１７】
説明を容易にするために、本発明の上述した実施の形態のいくつかは、コントローラを操作する（又はモーション検出システムを介して入力を提供する）一人のプレーヤー及び／又は携帯型装置を操作する一人のユーザを参照して一般的に説明された。本発明の他の実施の形態において、コントローラを操作する（又はモーション検出を介して入力を提供する）複数のユーザ及び／又は携帯型装置を操作する複数のユーザがいてもよいことは、当業者には理解されるところである。
【０１１８】
図２２を参照して、本発明の実施の形態に係る、インタラクティブアプリケーションとの相互作用を提供するために携帯型装置を使用する方法が示される。方法手順３８０において、インタラクティブアプリケーションがコンソール装置又はコンピュータにおいて開始される。方法手順３９０において、補助的なアプリケーションが携帯型装置において開始される。方法手順３８２において、インタラクティブアプリケーションにより要求が生成され、要求データ３８８がインタラクティブアプリケーションから携帯型装置で実行されている補助的なアプリケーションに送信される。方法手順３９２において、要求データ３８８は携帯型装置の補助的なアプリケーションにより受信され処理される。方法手順３８４において、コンピュータは要求を送信した後、処理済みのデータを待機する。方法手順３９４において、携帯型装置のハードウェアコンポーネント又はセンサがアクティブ化される。方法手順３９６において、アクティブ化されたハードウェアからの生データが取得される。方法手順３９８において、取得された生データが処理される。方法手順４００において、処理された生データは処理済みデータとしてインタラクティブアプリケーションに送信される。方法手順３８６において、処理済みデータ４０２はインタラクティブアプリケーションにより受信される。
【０１１９】
図２３は、本発明の実施の形態に係る、インタラクティブアプリケーションを実行及び描画するために使用可能なハードウェア及びユーザインタフェースを示す。図２３は、本発明の実施の形態に係る、基本となる計算装置において実行されるコンピュータプログラムを有する制御装置及び携帯型装置とのインタフェースのために親和性の高いコンソールである、ソニープレイステーション３（登録商標）エンタテインメント装置の全体のシステム構成を概略的に示す。システムユニット７００は、システム７００に接続可能な様々な周辺装置とともに提供される。システムユニット７００は、セルプロセッサ７２８、ランバス（登録商標）ＸＤＲＡＭ（dynamic random access memory）ユニット７２６、リアリティシンセサイザ（登録商標）（Reality Synthesizer）グラフィックユニット７３０と専用のＶＲＡＭ（video random access memory）ユニット７３２、及び入出力ブリッジ７３４を備える。システムユニット７００は、ディスク７４０ａから読み取るためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ光学ディスクリーダ７４０、及び入出力ブリッジ７３４を介してアクセス可能なリムーバブルスロットインハードディスクドライブ（ＨＤＤ）７３６を備える。オプションとして、システムユニット７００は、コンパクトフラッシュ（登録商標）メモリカード、メモリスティック（登録商標）メモリカードなどを読み込むための、同様に入出力ブリッジ７３４を介してアクセス可能なメモリカードリーダ７３８を備える。
【０１２０】
入出力ブリッジ７３４は、６つのＵＳＢ（Universal Serial Bus）ポート７２４、ギガビットイーサネット（登録商標）ポート７２２、ＩＥＥＥ８０２．１１ｂ／ｇ無線ネットワーク（Wi-Fi）ポート７２０、及び７つまでのブルートゥース接続をサポート可能なブルートゥース無線リンクポート７１８と接続する。
【０１２１】
動作において、入出力ブリッジ７３４は、１以上のゲームコントローラ７０２及び７０３からのデータを含む全ての無線、ＵＳＢ、及びイーサネット（登録商標）のデータを取り扱う。例えばユーザがゲームをプレーしているとき、入出力ブリッジ７３４は、ゲームコントローラ７０２又は７０３からのデータを、ブルートゥースリンクを介して受信し、セルプロセッサ７２８に伝える。セルプロセッサは、それに応じてゲームの現在状態をアップデートする。
【０１２２】
無線、ＵＳＢ、及びイーサネット（登録商標）ポートは、ゲームコントローラ７０２及び７０３に加えて、他の周辺装置、例えば、リモート制御７０４、キーボード７０６、マウス７０８、ソニープレイステーションポータブル娯楽装置などの携帯型娯楽装置７１０、アイトーイ（登録商標）ビデオカメラ７１２などのビデオカメラ、マイクロフォンヘッドセット７１４、及びマイクロフォン７１５との接続を更に提供する。このような周辺装置は、原則として、システムユニット７００と無線で接続してもよい。例えば、携帯型娯楽装置７１０は、Ｗｉ−Ｆｉアドホック接続を介して通信してもよいし、マイクロフォンヘッドセット７１４は、ブルートゥースリンクを介して通信してもよい。
【０１２３】
これらのインタフェースの提供は、プレイステーション３装置が潜在的に他の周辺装置、例えば、ＤＶＲ（digital video recorder）、セットトップボックス、ディジタルカメラ、携帯型メディアプレイヤー、ＶｏＩＰ（Voice over IP）電話、プリンタ、及びスキャナと互換性を有することを意味する。
【０１２４】
さらに、従来のメモリカードリーダ７１６がＵＳＢポート７２４を介してシステムユニットに接続され、プレイステーション又はプレイステーション２の装置により使用される種類のメモリカード７４８の読込を可能としてもよい。
【０１２５】
ゲームコントローラ７０２及び７０３は、ブルートゥースリンクを介してシステムユニット７００と無線通信可能であり、または、ＵＳＢポートに接続され、ゲームコントローラ７０２及び７０３のバッテリをチャージするために電力を供給可能である。ゲームコントローラ７０２及び７０３は、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの永続メモリ、照明付きの球部、ＬＥＤ、又は赤外線などの発光器、超音波通信のためのマイクロフォン及びスピーカ、音響チェンバー、ディジタルカメラ、内部クロック、ゲームコンソールに面した球状部分などの認識可能な形状、及びブルートゥース、Ｗｉ−Ｆｉ（登録商標）などのプロトコルを用いた無線通信などを更に含んでもよい。
【０１２６】
ゲームコントローラ７０２は、両手で用いられるように設計され、ゲームコントローラ７０３は、前述したように、アタッチメント付きの片手で操作するコントローラである。１以上のアナログジョイスティック及び従来の制御ボタンに加えて、ゲームコントローラは、３次元位置決定が可能である。ゲームコントローラのユーザによるジェスチャー及び動きの結果は、従来のボタン又はジョイスティックのコマンドに加えて、又はそれに代えて、ゲームに対する入力に翻訳される。オプションとして、プレイステーションポータブル装置などの他の無線通信可能な周辺装置がコントローラとして用いられてもよい。プレイステーションポータブル装置の場合、更なるゲーム又は制御情報（例えば、制御命令又はライフの数）が装置の画面に提供されてもよい。他の代替又は補助の制御装置、例えば、ダンスマット（図示せず）、光線銃（図示せず）、ステアリングホイール及びペダル（図示せず）、又は、迅速な反応を要するクイズゲームのための単一又はいくつかの大きなボタン（図示せず）などの専用のコントローラが用いられてもよい。
【０１２７】
リモート制御７０４も、ブルートゥースリンクを介してシステムユニット７００と無線通信可能である。リモート制御７０４は、ブルーレイ（登録商標）ディスクＢＤ−ＲＯＭリーダ５４０及びディスクコンテンツのナビゲーションのための動作に適した制御を含む。
【０１２８】
ブルーレイディスクＢＤ−ＲＯＭリーダ７４０は、従来の記録された及び記録可能なＣＤ、及びいわゆるスーパーオーディオＣＤに加えて、プレイステーション及びプレイステーション２装置と互換可能なＣＤ−ＲＯＭを読込可能である。リーダ７４０は、従来の記録された及び記録可能なＤＶＤに加えて、プレイステーション２及びプレイステーション３装置と互換可能なＤＶＤ−ＲＯＭも読込可能である。リーダ７４０は、更に、従来の記録された及び記録可能なブルーレイディスクだけでなく、プレイステーション３装置と交換可能なＢＤ−ＲＯＭも読込可能である。
【０１２９】
システムユニット７００は、プレイステーション３装置により生成又はデコードされた音声及び映像を、リアリティシンセサイザグラフィックユニット７３０により、音声及び映像コネクタを介して、ディスプレー及び音声出力装置７４２、例えばモニタ又はディスプレー７４４及び１以上のラウドスピーカ７４６を有するテレビジョンセットに供給可能である。音声コネクタ７５０は、従来のアナログ及びディジタル出力を含んでもよい。映像コネクタ７５２は、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、及び１以上のＨＤＭＩ（High Definition Multimedia Interface）出力を広く含んでもよい。映像出力は、ＰＡＬ又はＮＴＳＣ、又は７２０ｐ、１０８０ｉ、又は１０８０ｐの高解像度のフォーマットであってもよい。
【０１３０】
音声処理（生成、デコードなど）は、セルプロセッサ７２８により実行される。プレイステーション３装置のオペレーティングシステムは、ドルビー（登録商標）５．１サラウンド音声、ＤＴＳ（Dolby Theatre Surround）、及びブルーレイディスクからの７．１サラウンド音声のデコードをサポートしている。
【０１３１】
本実施の形態において、ビデオカメラ７１２は、単一のＣＣＤ（charge coupled device）、ＬＥＤインジケータ、及びハードウェアベースのリアルタイムデータ圧縮符号化装置を備え、圧縮されたビデオデータは、適切なフォーマット、例えば画像内ベースのＭＥＧ（motion picture expert group）標準規格などで、システムユニット７００によりデコードされるために送信されてもよい。カメラのＬＥＤインジケータは、システムユニット７００からのデータの適切な制御に応じて、例えば逆光条件を意味するために光るように設計される。ビデオカメラ７１２の実施例は、システムユニット７００に、ＵＳＢ、ブルートゥース、又はＷｉ−Ｆｉ通信ポートを介して様々に接続されてもよい。ビデオカメラの実施例は、１以上の関連づけられた、音声データを送信可能なマイクロフォンを含んでもよい。ビデオカメラの実施例において、ＣＣＤは高解像度のビデオ撮像のために好適な解像度を有する。使用において、ビデオカメラにより撮像された画像は、例えばゲーム内に組み込まれ、又はゲーム制御入力として解釈される。別の実施例において、カメラは赤外光を検出するのに好適な赤外線カメラである。
【０１３２】
一般に、例えばビデオカメラ又はシステムユニット７００の通信ポートの１つを介したリモート制御などの周辺装置との間で起こるデータ通信を成功させるために、デバイスドライバなどの適切なソフトウェアが提供されるべきである。デバイスドライバ技術はよく知られており、ここでは詳細について説明しないが、デバイスドライバ又は類似のソフトウェアインタフェースが本発明の実施の形態に必要とされることは当業者に理解されるところである。
【０１３３】
本発明の実施の形態は、携帯型装置、マイクロプロセッサシステム、マイクロプロセッサベース又はプログラム可能な民生用電子機器、マイクロコンピュータ、メインフレームコンピュータなどを含む種々のコンピュータシステム構成により実現されてもよい。本発明は、通信ネットワークを介して接続された遠隔処理装置によりタスクが実行される分散処理環境において実現されてもよい。
【０１３４】
上述した実施の形態によれば、本発明は、コンピュータシステムに格納されたデータを含む、様々なコンピュータ実装された命令を用いてもよいことが理解される。これらの命令は、物理量の物理的操作を要する命令を含む。本発明の部分を形成する本明細書で説明される命令は、機械命令に有用である。本発明は、これらの命令を実行するためのデバイス又は装置に関する。装置は、例えば特定目的のコンピュータなど、要求された目的のために特別に構築されてもよい。特定目的のコンピュータとして定義されるとき、コンピュータは、特定の目的のために動作可能でありつつ、特定の目的の一部ではない他の処理、プログラム実行、又はルーティンを実行してもよい。または、命令は、選択的にアクティブ化された、又は、コンピュータメモリ、キャッシュに格納された、又はネットワークを介して取得された１以上のコンピュータプログラムにより構成された汎用目的のコンピュータにより処理されてもよい。データがネットワークを介して取得されるとき、データは、例えば計算リソースのクラウドなどの、ネットワーク上の他の装置により処理されてもよい。
【０１３５】
本発明の実施の形態は、データをある状態から別の状態へ変換する機械として定義されてもよい。変換されたデータは、ストレージに保存され、プロセッサにより操作されてもよい。プロセッサは、このように、データをある状態から別の状態へ変換する。さらに、方法は、ネットワークを介して接続可能な１以上の機械又はプロセッサにより処理されてもよい。それぞれの機械は、データをある状態から別の状態へ変換可能であり、データを処理し、ストレージに保存し、ネットワークを介して送信し、結果を表示し、又は別の機械へ結果を送信することができる。
【０１３６】
本発明の１以上の実施の形態は、コンピュータ読み取り可能な媒体上のコンピュータ読み取り可能なコードとして具体化されてもよい。コンピュータ読み取り可能な媒体は、コンピュータシステムにより読み取り可能なデータを格納可能な任意のデータストレージ装置である。コンピュータ読み取り可能な媒体の例は、ハードドライブ、ＮＡＳ（network attached storage）、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、及び他の光学的又は非光学的データストレージ装置を含む。コンピュータ読み取り可能な媒体は、コンピュータシステムに結合されたネットワークを介して配布され、コンピュータ読み取り可能なコードは分散方式で格納され実行されてもよい。
【０１３７】
方法の手順は特定の順序で説明されたが、他のハウスキーピング命令が命令の間に実行されてもよいし、命令が異なるタイミングで生じるように調整されてもよいし、オーバーレイ命令の処理が所望の方法で実行される限り、処理に関連付けられた種々のインターバルにおいて処理命令の発生を可能とするシステムに分散されてもよいことが理解されるべきである。
【０１３８】
上記では、理解を明確にするために本発明を詳細に説明したが、添付の請求の範囲内で特定の変更および修正を実施可能であることは明らかである。したがって、実施の形態は例示的なものであり限定を意味するものではなく、また、本発明は本明細書で述べた詳細に限定されることはなく、添付の特許請求の範囲およびその等価物の範囲で修正可能である。
【特許請求の範囲】
【請求項１】
携帯型装置を用いてインタラクティブアプリケーションとのインタフェースを提供するための方法であって、
インタラクティブアプリケーションの状態を、前記インタラクティブアプリケーションの第１のビデオストリームを第１の処理インタフェースから第１のディスプレーに送信することにより、前記第１のディスプレーに描画するステップと、
前記第１の処理インタフェースの周辺において携帯型装置の存在を検知するステップと、
前記インタラクティブアプリケーションのデータフィードを前記第１の処理インタフェースから前記携帯型装置へ送信するステップと、
前記インタラクティブアプリケーションの補助的なビデオストリームを前記携帯型装置のディスプレーに描画するために前記データフィードを処理するステップと、
前記携帯型装置の前記ディスプレーに前記補助的なビデオストリームを描画しているときに、前記携帯型装置においてインタラクティブな入力を受け付けるステップと、
前記第１のディスプレーに描画されるべきイベントを定義する仮想タグを設定するために前記インタラクティブな入力を適用するステップと、
前記インタラクティブアプリケーションの状態が、前記インタラクティブアプリケーションによる前記仮想タグの実行を誘起するための所定の状態になったときに、前記仮想タグにより定義された前記イベントを前記第１のディスプレーに描画するステップと、
を備えることを特徴とする方法。
【請求項２】
描画される前記補助的なビデオストリームは、所定の期間、描画される前記インタラクティブアプリケーションの前記第１のビデオストリームと同じ画像を生成することを特徴とする請求項１に記載の方法。
【請求項３】
前記補助的なビデオストリームは、前記第１のビデオストリームの圧縮されたバージョンであることを特徴とする請求項２に記載の方法。
【請求項４】
前記所定の期間の後、描画される前記補助的なビデオストリームは、受信された前記インタラクティブな入力に基づいて、描画される前記第１のビデオストリームとは異なる画像を生成することを特徴とする請求項２に記載の方法。
【請求項５】
前記仮想タグを設定するステップは、前記インタラクティブアプリケーションの仮想的な空間内の位置を有するオブジェクトを設定するステップを含み、
前記イベントを描画するステップは、前記インタラクティブアプリケーションの状態が前記オブジェクトの前記位置を含む領域を描画するとき、前記位置に前記オブジェクトを描画するステップを含む
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記仮想タグにより特定される前記オブジェクトは、テキスト、音声、映像、アイテム、又はキャラクタからなるグループから選択されることを特徴とする請求項５に記載の方法。
【請求項７】
前記仮想タグを設定するステップは、前記インタラクティブアプリケーションの仮想的な時系列内のタイムスタンプを有するオブジェクトを設定するステップを含み、
前記イベントを描画するステップは、前記インタラクティブアプリケーションの状態が前記仮想タグの前記タイムスタンプに近似又は一致する時点になったときに、前記オブジェクトを描画するステップを含む
ことを特徴とする請求項１に記載の方法。
【請求項８】
描画される前記第１のビデオストリームは、前記インタラクティブアプリケーションの仮想的な空間内の第１の位置を示し、
描画される前記補助的なビデオストリームは、前記インタラクティブアプリケーションの前記仮想的な空間内の第２の位置を示すことを特徴とする請求項１に記載の方法。
【請求項９】
描画される前記第１のビデオストリームは、前記インタラクティブアプリケーションの仮想的な時系列内の第１の位置を示し、
描画される前記補助的なビデオストリームは、前記インタラクティブアプリケーションの前記仮想的な時系列内の第２の位置を示すことを特徴とする請求項１に記載の方法。
【請求項１０】
描画される前記補助的なビデオストリームは、前記インタラクティブアプリケーションの仮想的な空間のマップを提供することを特徴とする請求項１に記載の方法。
【請求項１１】
前記マップにおいて位置を選択することにより、前記携帯型装置において描画される、選択された位置の表示にアクセス可能とすることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記マップは、前記仮想的な空間における１以上のオブジェクトの表現を含み、
前記インタラクティブな入力により、前記オブジェクトの制御を可能とする
ことを特徴とする請求項１０に記載の方法。
【請求項１３】
前記１以上のオブジェクトは、前記インタラクティブアプリケーションのキャラクタを含み、
前記インタラクティブな入力により、前記キャラクタにより実行されるアクションの決定を可能とする
ことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記アクションは、移動、攻撃的行動、及び防御的行動からなるグループから選択されることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記インタラクティブな入力は、前記携帯型装置に前記マップが描画されたときに、前記マップにおいて描かれたジェスチャー入力を含むことを特徴とする請求項１０に記載の方法。
【請求項１６】
コンソール装置においてコントローラ装置からコントローラ入力を受け付けるステップと、
前記インタラクティブアプリケーションの前記状態を変更するために前記コントローラ入力を適用するステップと、
を更に備えることを特徴とする請求項１に記載の方法。
【請求項１７】
前記インタラクティブな入力は、前記携帯型装置のタッチスクリーンインタフェースを介して受信されることを特徴とする請求項１に記載の方法。
【請求項１８】
インタラクティブアプリケーションと相互作用するための方法であって、
関連付けられたコントローラ装置からコントローラ入力を受け付け、第１のセッションの現在状態を変更するために前記コントローラ入力を適用するように構成された、インタラクティブアプリケーションの第１のセッションを開始するステップと、
第１の処理インタフェースからの前記第１のセッションの映像出力をディスプレーに描画するステップと、
前記第１の処理インタフェースの周辺において携帯型装置の存在を検知するステップと、
前記携帯型装置において、前記第１の処理インタフェースから前記第１のセッションのデータフィードを受信するように構成された前記インタラクティブアプリケーションの補助的なセッションを開始するステップと、
前記データフィードを前記携帯型装置において描画するステップと、を備え、
前記補助的なセッションは、前記携帯型装置から、描画された前記データフィードとの相互作用に起因する、前記インタラクティブアプリケーションの将来の状態を変更又は制御することが可能なインタラクティブな入力を受け付け、
前記方法は、前記インタラクティブアプリケーションの将来の状態を変更又は制御するために前記インタラクティブな入力を適用するステップを備える
ことを特徴とする方法。
【請求項１９】
前記データフィードは、前記第１のセッションの状態に依存することを特徴とする請求項１８に記載の方法。
【請求項２０】
前記データフィードは、前記第１のセッションの前記映像出力に基づいたデータを含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記データフィードは、前記第１のセッションの状態に依存しないことを特徴とする請求項１８に記載の方法。
【請求項２２】
前記第１のセッションは、前記インタラクティブアプリケーションの仮想的な環境内の第１の位置を定義し、
前記補助的なセッションは、前記仮想的な環境内の第２の位置を定義することを特徴とする請求項１８に記載の方法。
【請求項２３】
前記インタラクティブアプリケーションの将来の状態を変更又は制御するために前記インタラクティブな入力を適用するステップは、
前記インタラクティブな入力に基づいて、変更作業の空間的又は時間的な位置を特定する変更イベントを決定するステップと、
前記変更イベントを変更イベント格納部に格納するステップと、
前記インタラクティブアプリケーションの将来の状態が前記変更イベントにより特定される空間的又は時間的な位置に到達したときに、前記変更イベントを取得して前記変更作業を実行するステップと、
を含むことを特徴とする請求項１８に記載の方法。
【請求項２４】
前記変更作業は、更なる情報へのアクセスを提供するマーカの配置、アイテムの配置、又はキャラクタの導入からなるグループから選択されることを特徴とする請求項２３に記載の方法。
【請求項２５】
インタラクティブアプリケーションとのインタフェースを提供するためのシステムであって、
（ａ）第１の処理インタフェースと、
（ｂ）携帯型装置と、を備え、
（ａ）前記第１の処理インタフェースは、
（ｉ）インタラクティブアプリケーションの状態を、前記インタラクティブアプリケーションの第１のビデオストリームを第１のディスプレーに送信することにより、前記第１のディスプレーに描画する描画モジュールと、
（ｉｉ）前記第１の処理インタフェースの周辺において携帯型装置の存在を検知する検知モジュールと、
（ｉｉｉ）前記インタラクティブアプリケーションのデータフィードを前記第１の処理インタフェースから前記携帯型装置へ送信するデータフィードモジュールと、を含み、
（ｂ）前記携帯型装置は、
（ｉ）前記インタラクティブアプリケーションの補助的なビデオストリームを前記携帯型装置のディスプレーに描画するために前記データフィードを処理する処理モジュールと、
（ｉｉ）前記携帯型装置の前記ディスプレーに前記補助的なビデオストリームを描画しているときに、インタラクティブな入力を受け付ける入力モジュールと、
（ｉｉｉ）前記第１のディスプレーに描画されるべきイベントを定義する仮想タグを設定するために前記インタラクティブな入力を適用するタグモジュールと、を含み、
前記描画モジュールは、前記インタラクティブアプリケーションの状態が、前記インタラクティブアプリケーションによる前記仮想タグの実行を誘起するための所定の状態になったときに、前記仮想タグにより定義された前記イベントを前記第１のディスプレーに描画することを特徴とするシステム。
【請求項２６】
描画される前記補助的なビデオストリームは、所定の期間、描画される前記インタラクティブアプリケーションの前記第１のビデオストリームと同じ画像を生成することを特徴とする請求項２５に記載のシステム。
【請求項２７】
前記所定の期間の後、描画される前記補助的なビデオストリームは、受信された前記インタラクティブな入力に基づいて、描画される前記第１のビデオストリームとは異なる画像を生成することを特徴とする請求項２６に記載のシステム。
【請求項２８】
前記仮想タグの設定は、前記インタラクティブアプリケーションの仮想的な空間内の位置を有するオブジェクトの設定を含み、
前記イベントの描画は、前記インタラクティブアプリケーションの状態が前記オブジェクトの前記位置を含む領域を描画するとき、前記位置に前記オブジェクトを描画することを含む
ことを特徴とする請求項２５に記載のシステム。
【請求項２９】
前記仮想タグにより特定される前記オブジェクトは、テキスト、音声、映像、アイテム、又はキャラクタからなるグループから選択されることを特徴とする請求項２８に記載のシステム。
【請求項３０】
前記仮想タグの設定は、前記インタラクティブアプリケーションの仮想的な時系列内のタイムスタンプを有するオブジェクトの設定を含み、
前記イベントの描画は、前記インタラクティブアプリケーションの状態が前記仮想タグの前記タイムスタンプに近似又は一致する時点になったときに、前記オブジェクトを描画することを含む
ことを特徴とする請求項２５に記載のシステム。
【請求項１】
携帯型装置を用いてインタラクティブアプリケーションとのインタフェースを提供するための方法であって、
インタラクティブアプリケーションの状態を、前記インタラクティブアプリケーションの第１のビデオストリームを第１の処理インタフェースから第１のディスプレーに送信することにより、前記第１のディスプレーに描画するステップと、
前記第１の処理インタフェースの周辺において携帯型装置の存在を検知するステップと、
前記インタラクティブアプリケーションのデータフィードを前記第１の処理インタフェースから前記携帯型装置へ送信するステップと、
前記インタラクティブアプリケーションの補助的なビデオストリームを前記携帯型装置のディスプレーに描画するために前記データフィードを処理するステップと、
前記携帯型装置の前記ディスプレーに前記補助的なビデオストリームを描画しているときに、前記携帯型装置においてインタラクティブな入力を受け付けるステップと、
前記第１のディスプレーに描画されるべきイベントを定義する仮想タグを設定するために前記インタラクティブな入力を適用するステップと、
前記インタラクティブアプリケーションの状態が、前記インタラクティブアプリケーションによる前記仮想タグの実行を誘起するための所定の状態になったときに、前記仮想タグにより定義された前記イベントを前記第１のディスプレーに描画するステップと、
を備えることを特徴とする方法。
【請求項２】
描画される前記補助的なビデオストリームは、所定の期間、描画される前記インタラクティブアプリケーションの前記第１のビデオストリームと同じ画像を生成することを特徴とする請求項１に記載の方法。
【請求項３】
前記補助的なビデオストリームは、前記第１のビデオストリームの圧縮されたバージョンであることを特徴とする請求項２に記載の方法。
【請求項４】
前記所定の期間の後、描画される前記補助的なビデオストリームは、受信された前記インタラクティブな入力に基づいて、描画される前記第１のビデオストリームとは異なる画像を生成することを特徴とする請求項２に記載の方法。
【請求項５】
前記仮想タグを設定するステップは、前記インタラクティブアプリケーションの仮想的な空間内の位置を有するオブジェクトを設定するステップを含み、
前記イベントを描画するステップは、前記インタラクティブアプリケーションの状態が前記オブジェクトの前記位置を含む領域を描画するとき、前記位置に前記オブジェクトを描画するステップを含む
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記仮想タグにより特定される前記オブジェクトは、テキスト、音声、映像、アイテム、又はキャラクタからなるグループから選択されることを特徴とする請求項５に記載の方法。
【請求項７】
前記仮想タグを設定するステップは、前記インタラクティブアプリケーションの仮想的な時系列内のタイムスタンプを有するオブジェクトを設定するステップを含み、
前記イベントを描画するステップは、前記インタラクティブアプリケーションの状態が前記仮想タグの前記タイムスタンプに近似又は一致する時点になったときに、前記オブジェクトを描画するステップを含む
ことを特徴とする請求項１に記載の方法。
【請求項８】
描画される前記第１のビデオストリームは、前記インタラクティブアプリケーションの仮想的な空間内の第１の位置を示し、
描画される前記補助的なビデオストリームは、前記インタラクティブアプリケーションの前記仮想的な空間内の第２の位置を示すことを特徴とする請求項１に記載の方法。
【請求項９】
描画される前記第１のビデオストリームは、前記インタラクティブアプリケーションの仮想的な時系列内の第１の位置を示し、
描画される前記補助的なビデオストリームは、前記インタラクティブアプリケーションの前記仮想的な時系列内の第２の位置を示すことを特徴とする請求項１に記載の方法。
【請求項１０】
描画される前記補助的なビデオストリームは、前記インタラクティブアプリケーションの仮想的な空間のマップを提供することを特徴とする請求項１に記載の方法。
【請求項１１】
前記マップにおいて位置を選択することにより、前記携帯型装置において描画される、選択された位置の表示にアクセス可能とすることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記マップは、前記仮想的な空間における１以上のオブジェクトの表現を含み、
前記インタラクティブな入力により、前記オブジェクトの制御を可能とする
ことを特徴とする請求項１０に記載の方法。
【請求項１３】
前記１以上のオブジェクトは、前記インタラクティブアプリケーションのキャラクタを含み、
前記インタラクティブな入力により、前記キャラクタにより実行されるアクションの決定を可能とする
ことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記アクションは、移動、攻撃的行動、及び防御的行動からなるグループから選択されることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記インタラクティブな入力は、前記携帯型装置に前記マップが描画されたときに、前記マップにおいて描かれたジェスチャー入力を含むことを特徴とする請求項１０に記載の方法。
【請求項１６】
コンソール装置においてコントローラ装置からコントローラ入力を受け付けるステップと、
前記インタラクティブアプリケーションの前記状態を変更するために前記コントローラ入力を適用するステップと、
を更に備えることを特徴とする請求項１に記載の方法。
【請求項１７】
前記インタラクティブな入力は、前記携帯型装置のタッチスクリーンインタフェースを介して受信されることを特徴とする請求項１に記載の方法。
【請求項１８】
インタラクティブアプリケーションと相互作用するための方法であって、
関連付けられたコントローラ装置からコントローラ入力を受け付け、第１のセッションの現在状態を変更するために前記コントローラ入力を適用するように構成された、インタラクティブアプリケーションの第１のセッションを開始するステップと、
第１の処理インタフェースからの前記第１のセッションの映像出力をディスプレーに描画するステップと、
前記第１の処理インタフェースの周辺において携帯型装置の存在を検知するステップと、
前記携帯型装置において、前記第１の処理インタフェースから前記第１のセッションのデータフィードを受信するように構成された前記インタラクティブアプリケーションの補助的なセッションを開始するステップと、
前記データフィードを前記携帯型装置において描画するステップと、を備え、
前記補助的なセッションは、前記携帯型装置から、描画された前記データフィードとの相互作用に起因する、前記インタラクティブアプリケーションの将来の状態を変更又は制御することが可能なインタラクティブな入力を受け付け、
前記方法は、前記インタラクティブアプリケーションの将来の状態を変更又は制御するために前記インタラクティブな入力を適用するステップを備える
ことを特徴とする方法。
【請求項１９】
前記データフィードは、前記第１のセッションの状態に依存することを特徴とする請求項１８に記載の方法。
【請求項２０】
前記データフィードは、前記第１のセッションの前記映像出力に基づいたデータを含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
前記データフィードは、前記第１のセッションの状態に依存しないことを特徴とする請求項１８に記載の方法。
【請求項２２】
前記第１のセッションは、前記インタラクティブアプリケーションの仮想的な環境内の第１の位置を定義し、
前記補助的なセッションは、前記仮想的な環境内の第２の位置を定義することを特徴とする請求項１８に記載の方法。
【請求項２３】
前記インタラクティブアプリケーションの将来の状態を変更又は制御するために前記インタラクティブな入力を適用するステップは、
前記インタラクティブな入力に基づいて、変更作業の空間的又は時間的な位置を特定する変更イベントを決定するステップと、
前記変更イベントを変更イベント格納部に格納するステップと、
前記インタラクティブアプリケーションの将来の状態が前記変更イベントにより特定される空間的又は時間的な位置に到達したときに、前記変更イベントを取得して前記変更作業を実行するステップと、
を含むことを特徴とする請求項１８に記載の方法。
【請求項２４】
前記変更作業は、更なる情報へのアクセスを提供するマーカの配置、アイテムの配置、又はキャラクタの導入からなるグループから選択されることを特徴とする請求項２３に記載の方法。
【請求項２５】
インタラクティブアプリケーションとのインタフェースを提供するためのシステムであって、
（ａ）第１の処理インタフェースと、
（ｂ）携帯型装置と、を備え、
（ａ）前記第１の処理インタフェースは、
（ｉ）インタラクティブアプリケーションの状態を、前記インタラクティブアプリケーションの第１のビデオストリームを第１のディスプレーに送信することにより、前記第１のディスプレーに描画する描画モジュールと、
（ｉｉ）前記第１の処理インタフェースの周辺において携帯型装置の存在を検知する検知モジュールと、
（ｉｉｉ）前記インタラクティブアプリケーションのデータフィードを前記第１の処理インタフェースから前記携帯型装置へ送信するデータフィードモジュールと、を含み、
（ｂ）前記携帯型装置は、
（ｉ）前記インタラクティブアプリケーションの補助的なビデオストリームを前記携帯型装置のディスプレーに描画するために前記データフィードを処理する処理モジュールと、
（ｉｉ）前記携帯型装置の前記ディスプレーに前記補助的なビデオストリームを描画しているときに、インタラクティブな入力を受け付ける入力モジュールと、
（ｉｉｉ）前記第１のディスプレーに描画されるべきイベントを定義する仮想タグを設定するために前記インタラクティブな入力を適用するタグモジュールと、を含み、
前記描画モジュールは、前記インタラクティブアプリケーションの状態が、前記インタラクティブアプリケーションによる前記仮想タグの実行を誘起するための所定の状態になったときに、前記仮想タグにより定義された前記イベントを前記第１のディスプレーに描画することを特徴とするシステム。
【請求項２６】
描画される前記補助的なビデオストリームは、所定の期間、描画される前記インタラクティブアプリケーションの前記第１のビデオストリームと同じ画像を生成することを特徴とする請求項２５に記載のシステム。
【請求項２７】
前記所定の期間の後、描画される前記補助的なビデオストリームは、受信された前記インタラクティブな入力に基づいて、描画される前記第１のビデオストリームとは異なる画像を生成することを特徴とする請求項２６に記載のシステム。
【請求項２８】
前記仮想タグの設定は、前記インタラクティブアプリケーションの仮想的な空間内の位置を有するオブジェクトの設定を含み、
前記イベントの描画は、前記インタラクティブアプリケーションの状態が前記オブジェクトの前記位置を含む領域を描画するとき、前記位置に前記オブジェクトを描画することを含む
ことを特徴とする請求項２５に記載のシステム。
【請求項２９】
前記仮想タグにより特定される前記オブジェクトは、テキスト、音声、映像、アイテム、又はキャラクタからなるグループから選択されることを特徴とする請求項２８に記載のシステム。
【請求項３０】
前記仮想タグの設定は、前記インタラクティブアプリケーションの仮想的な時系列内のタイムスタンプを有するオブジェクトの設定を含み、
前記イベントの描画は、前記インタラクティブアプリケーションの状態が前記仮想タグの前記タイムスタンプに近似又は一致する時点になったときに、前記オブジェクトを描画することを含む
ことを特徴とする請求項２５に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１３Ｃ】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１２−９６０２７（Ｐ２０１２−９６０２７Ａ）
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−２２４５１６（Ｐ２０１１−２２４５１６）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１１−２２４５１６（Ｐ２０１１−２２４５１６）
【出願日】平成２３年１０月１２日（２０１１．１０．１２）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]