メディアの実演にリアルタイムに参加するためのシステム及び方法並びにゲームシステム
【解決手段】メディアの実演へのリアルタイムな参加が開示される。参加者のオーバーレイは、メディアの実演で表示される１以上のインタラクティブな領域に関連する時間変化するメタデータのストリームを抽出するためにメディアの実演を前処理することにより生成されてもよい。参加者のオーバーレイは、メディアの実演のコンテンツにしたがって定義されたインタラクティブな領域の境界を含むシミュレートされた物理的過程を含む。参加者のインタラクティブな領域を介したメディアの実演への相互作用は、取得され、ディスプレーへの表示のためにメディアの実演と結合されてもよい。相互作用は、メディアの実演の１以上の要素に対するユーザアクション、アバターを介してメディアの実演に表現されたユーザアクション、又は、ゲーム要素に関連したメディアの実演におけるユーザアクションを含んでもよい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施の形態は、メディアの実演の協同的な視聴に関する。本発明の実施の形態は、とくに、テレビ番組又は映画などのメディアの実演を、インタラクティブなゲーム経験に変換することに関する。
【背景技術】
【０００２】
映画館で映画を見ることの不愉快な一面は、映画の上映中に観客の間で持たれる会話により気が散ってしまうことである。会話それ自体が本質的に不愉快であるというわけではなく、他人の会話が不愉快なのである。他方、家で映画を見ているときに、友達や家族と、批評や、意見や、冗談などを共有するのは楽しいことである。このため、人気のあるテレビシリーズである「ミステリーサイエンスシアター３０００」は、映画、典型的にはぞっとするような嫌な映画の観客の間で持たれた会話をもとにしていた。ミステリーサイエンスシアター３０００では、映画の上映中に、二体のロボットと一人の人間の宇宙パイロットが批評し、冗談を言った。映画は、まるで映画館の中にいるかのように映像スクリーンに映され、ロボットと人間の批評家は、まるで映画館で座って映画を見ているかのようにシルエットで表現された。
【０００３】
ビデオゲームのプレー中に、プレイヤー同士がネットワークを介して話すことが可能な機能がプレイヤーに提供されている。実際に、この目的のためにヘッドセットが利用可能である。このようなゲームにおいて、プレイヤーは、プレイヤーを表現するペルソナ又はアバターを持つ。このように、プレイヤーは、ゲームに参加し、ゲーム中に他のプレイヤーと話すことができる。
【０００４】
１以上の個人が受動的に映画などのメディアの実演を視聴する場合、映画空間自体の中で映画と対話する方法はない。すなわち、映画を視聴する個人は、居間又は映画館において批評を加えることを除けば、映画の実演の一部たりえない。端的に言えば、彼らはスクリーン上のアクションの一部ではない。これは、部分的には、映画などのメディアの実演には、視聴者に上映される前に、序章と中章と終章が存在しているという意味で静的であることが一因である。
【０００５】
ビデオゲームの場合は、プレイヤーは、展開中のゲームのドラマにおける関係者であり、傍観者ではいられない。これは、部分的には、プレイヤーがゲームと相互作用するにつれてビデオゲームの物語がリアルタイムに創造されるという意味で動的であることが一因である。
【０００６】
Ｂ．バーリル（Burrill）、Ｔ．キルステ（Kirste）、Ｊ．ワイス（Weiss）による、「ダイナミックなマルチメディアオブジェクトにおいて時間変化するセンシティブな領域：映像からのコンテンツベースの検索への実用的アプローチ」、ソフトウェア技術情報、３６巻、３６号、２１３−２２３ページ（１９９４年）は、ハイパーメディア及び情報検索の二つの観点により、ダイナミックなメディアのコンテンツにアクセスするための一般的な概念について説明している。バーリルらは、既存の技術からリバースエンジニアリングの手法により、センシティブな領域（又は「ホットスポット」）の一般的な概念を導入する。バーリルらは、センシティブな領域に関連するさまざまな側面を探求する、開発中の３つのアプリケーションについて記述している。「ハイパーピクチャーシステム（HyperPicture-System）」はそのようなデータを管理し、「ムービー（MOVie）」は映画制作由来の文脈においてセンシティブな領域の編集の生成を実験し、「シェアーミー（Share ME）」はマルチメディアアプリケーションへのインタフェースにおけるセンシティブな領域の利用に関連する話題を探求する。
【０００７】
Ｄ．ウィステンダール（Wistendahl）、Ｌ．チョン（Chon）による、「インタラクティブなディジタルメディアプログラムのためのメディアコンテンツにおけるホットスポットのマッピングのためのシステム」、米国特許第５，７０８，８４５号（１９９８年１月１３日出願）は、メディアコンテンツをインタラクティブなディジタルメディアプログラムにおいて利用可能とするシステムを開示する。このようなシステムは、メディアコンテンツにおいてオブジェクトを表示するために、フレームアドレス及び表示位置座標を表現したオブジェクトマッピングデータ（Ｎデータ）におけるメディアコンテンツからのフレームデータを備える。Ｎデータは、メディアコンテンツが、組み込まれたコードなしにアクセス可能であり、任意のシステムにおいて再生可能となるように、メディアコンテンツのためのフレームデータとは別個に保持される。システムは、Ｎデータによりマップされたオブジェクトと、メディアコンテンツの表示に関連して実行されるべき他の機能とを接続するリンクを確立する。メディアコンテンツに登場するオブジェクトのポインタによる選択は、インタラクティブな機能の契機となる。このように、映画、ビデオ、広告、及びテレビ番組などの既存の非インタラクティブなメディアコンテンツの広範な基礎は、インタラクティブなディジタルメディアへの使用のために変換されてもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術は、さまざまなマッピング技術を介してメディアに相互作用するための基礎的な機構を提供するが、現実的な方法で相互作用がコンテンツに同調されるように、そのような相互作用の効果に注意を向ける試みはなされなかった。
【０００９】
１以上の人が、事前に表現自体の一部となることなく、メディアの表現に相互作用することが可能な体験を提供することが有利である。
【課題を解決するための手段】
【００１０】
従来技術に関する課題は、メディアの実演とのリアルタイムなユーザの相互作用を可能とする方法及び装置を教示する本発明の実施の形態により克服される。
【００１１】
本発明の実施の形態において、ユーザは、機能強化されたインタラクティブなテレビ番組又は映画の生成物との間で、そのような映画又はテレビ番組にゲームのオーバーレイを追加することに基づいて、相互作用することを可能とされる。この方法において、ゲーム又は仮想世界の物理的過程は、テレビ番組又は映画のセットにおいて定義された境界内にある。例えば、ユーザに表示されるアバターが、現実世界のユーザのジェスチャーに応答して、例えばゲームコントローラの操作又は他の同様の方法に応答して、俳優の顔にトマトを投げ付けたり、俳優の顔にバウンドさせたり、映画又はテレビに登場するテーブルに沿って転がしたりすることができる。
【００１２】
実施の形態において、映画又はテレビ番組は、動画中の領域に関連した、時間変化するメタデータのストリームを抽出するために前処理されてもよい。アクティブな領域及びアニメーションなどの追加されたコンテンツを有するオーバー例は、映画又はテレビ番組に合成される。このような前処理は、映画又はテレビ眼組の映像及び／又は音声要素の双方を含んでもよい。
【００１３】
ゲームコントローラなどを介した、機能強化された映画又はテレビ番組とのユーザの相互作用は、オーバーレイを介して映画又はテレビ番組にマップされ、ゲーム又は他のアクティブなオーバーレイの特徴は、映画又はテレビ番組の表示中に応答してもよい。
【００１４】
その結果、視聴者は、映画又はテレビ番組に表示されたパフォーマンスに入り込み、相互作用することができる。このような相互作用は、例えば、上述したようなトマトを投げるなどの個々のユーザのアクション、又は、俳優の背中を這うクモを撃つなどのグループ及び／又は競争的なアクションを含んでもよい。
【図面の簡単な説明】
【００１５】
【図１】図１Ａ−１Ｃは、本発明の実施の形態に係る実演空間内の要素の操作を介したユーザとメディア実演との相互作用の予言的な例を示す概略的な一連のブロック図である。
【図２】本発明の実施の形態に係るメディア実演と視聴者とのリアルタイムな相互作用のためのシステムの概略的なブロック図である。
【図３】図３Ａ−３Ｃは、本発明の実施の形態に係る実演空間内でユーザのアバターの行動を介したユーザによるメディア実演との相互作用を示す概略的な一連のブロック図である。
【図４】図４Ａ−４Ｃは、本発明に係る実演空間内でメディア実演に追加されるゲームの一部としての、ユーザによるメディア実演との相互作用を示す概略的な一連のブロック図ある。
【図５】メディアの実演の中にリアルタイムに参加するための方法の例を概略的に示すフローダイアグラムである。
【発明を実施するための形態】
【００１６】
本出願は、ゲーリー・Ｍ．ザレフスキーによる米国特許仮出願第６１／０４７，７３７号（「テレビ番組又は映画をインタラクティブなゲーム体験に変換するためのシステム及び方法」、２００８年４月２４日出願）の優先権を主張し、その全文がここに援用される。本出願は、ゲーリー・Ｍ．ザレフスキーによる米国特許出願第１２／４１９，２４８号（「メディアの実演へのリアルタイムな視聴者の相互作用のための方法及び装置」、２００９年４月６日出願）の優先権を主張し、その全文がここに援用される。
【００１７】
下記の詳細な説明は、例示を目的として多くの特定の詳細を含むが、下記の詳細に対する多くの変形及び置換が本発明の範囲に入ることは、当業者に認識されるところである。したがって、下記に説明する本発明の実施の形態は、請求された発明の一般性を失わせることなく、また限定を付加することもなく説明される。
【００１８】
従来技術に関する課題は、メディアの実演とのリアルタイムなユーザの相互作用を可能とする方法及び装置を教示する本発明の実施の形態により克服される。
【００１９】
本発明の実施の形態において、ユーザは、映画又はテレビ番組にゲームのオーバーレイが追加されることによって、映画又はテレビ番組などのメディアコンテンツの機能強化されたインタラクティブな生成物と相互作用することができる。この方法において、ゲーム又は仮想世界の物理的過程は、テレビ番組又は映画のセットにおいて定義された境界内にある。例えば、ユーザに表示されるアバターが、現実世界のユーザのジェスチャーに応答して、例えばゲームコントローラの操作又は他の同様の方法に応答して、俳優の顔にトマトを投げ付けたり、俳優の顔にバウンドさせたり、映画又はテレビに登場するテーブルに沿って転がしたりすることができる。
【００２０】
実施の形態において、メディアコンテンツ、例えば既存の映画又はテレビ番組は、時間変化するメタデータのストリームと動画の領域を関連付けるように前処理されてもよい。アクティブな領域とアニメーションなどの追加コンテンツの双方を有するオーバーレイが、映画又はテレビ番組に合成される。このような前処理は、映画又はテレビ番組の映像及び／又は音声の双方の要素を含んでもよい。
【００２１】
例として、時間変化するメタデータのストリームは、米国特許第５，７０８，８４５号に記述された方法によりメディアコンテンツと関連付けられてもよい。該公報の全体は、参照によりここに援用される。とくに、ビデオ、コンテンツなどのメディアのディジタル化されたバージョンのためのフレームデータは、フレームアドレス及びメディアコンテンツに現れるオブジェクトの表示位置の座標を表現するオブジェクトマッピングデータ（Ｎデータ）に関連付けられてもよい。インタラクティブディジタルメディア（Interactive Digital Media：ＩＤＭ）プログラムは、Ｎデータによりマップされたオブジェクトを、メディアコンテンツの表示に関連して実行されるべきインタラクティブな機能に関連付ける関係を確立するために用いられてもよい。
【００２２】
ユーザによる、ゲームコントローラなどを介した、機能強化されたメディアコンテンツとの相互作用は、メタデータのオーバーレイを介してメディアコンテンツにマップされ、ゲーム又はオーバーレイの他のアクティブな特性は、映画又はテレビ番組の表示中に応答する。
【００２３】
その結果、視聴者は、メディアコンテンツにおいて描写されたパフォーマンスに参加され、相互作用することができる。このような相互作用は、例えば、上述したトマトを投げるなどの個々のユーザのアクション、俳優の背後に這っているクモを打つなどのグループ及び／又は競争的なアクションを含んでもよいが、この例に限られない。
【００２４】
図５は、メディアの実演の中にリアルタイムに参加するための方法１００の予言的な例を概略的に示すフローダイアグラムを示す。方法１００は、コンピュータプロセッサ実行可能な命令のセットの形式で実装されてもよい。これは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、又はＲＡＭ（Random Access Memory）などのコンピュータ読み取り可能な記録媒体に格納されてもよい。１０２に示すように、参加者のオーバーレイが生成される。例として、参加者のオーバーレイは、メディアの実演において描写された１以上のインタラクティブな領域に関連付けられた、時間変化するメタデータのストリームを抽出するように、メディアの実現を前処理することにより生成されてもよい。参加者のオーバーレイは、シミュレートされた物理的過程を含んでもよい。シミュレートされた物理的過程は、メディアの実演におけるコンテンツに関連付けて定義された１以上のインタラクティブな領域の境界を含んでもよい。
【００２５】
１０４に示すように、参加者による、１以上のアクティブな領域を介したメディアの実演との間の相互作用が取得される。相互作用は、例えば、メディアの実演における１以上のコンテンツ要素に対するユーザのアクション、アバターを介してメディアの実演において表現されたユーザのアクション、又はゲーム要素などの仮想的なオブジェクトに関連したメディアの実演におけるユーザアクションを含んでもよい。参加者の相互作用は、メディアの実演及び参加者のオーバーレイを表示するために用いられるシステムに関連して用いられるゲームコントローラなどのコントローラにより取得されてもよい。１０６に示すように、オーバーレイ（参加者の相互作用を含む）は、ディスプレー上での参加者に対する表示のためのメディア実演に結合される。このように、１０８に示すように、メディア実演及びオーバーレイは、ディスプレー上で同時に表示されてもよい。
【００２６】
図１Ａ−１Ｃは、本発明の実施の形態に係る実演空間内の要素の操作を介したユーザとメディア実演との相互作用の予言的な例を示す概略的なブロック図のシリーズを提供する。図１Ａ−１Ｃは、共通して、視聴者１０ａ、１０ｂを含む。この例においては、それぞれ共通の位置に２人の視聴者のメンバーを含み、それぞれがゲームコントローラを介して映画又はテレビ番組の実演と相互作用することができる。視聴者として任意の数の位置に任意の数の個人がいてもよいことは、当業者に理解されるところである。例えば、一人の人が一つの位置にいてもよいし、多数の人が多数の位置にいてもよい。さらに、ユーザによる相互作用は、ゲームコントローラ、動き検知装置など、及びそれらの組み合わせにより実行されてもよい。
【００２７】
さらに、視聴者がアバター１５ａ、１５ｂとして表現されたディスプレー１１、競争を含む本発明の実施の形態において少なくとも一定期間ごとに表示されるスコアパネル１３、及びオブジェクト追跡モジュール１２も、図１Ａ−１Ｃに共通している。本実施の形態では、オブジェクト追跡モジュール１２は、動きセンサ１４にデータを提供し、これにより、現実世界における視聴者の動作を時間的及び物理的に正確な態様で実演において表現することを可能とする。例として、オブジェクト追跡モジュール１２は、メディアの実演内で要素（例えばオブジェクト又はキャラクタ）の追跡を更に実装してもよいが、この例に限られない。例えば、オブジェクト追跡モジュールは、メディアの実演に登場する１以上のキャラクタの顔に関連付けられたメタデータ（例えばＮデータ）を生成するために、顔の追跡を実装してもよい。
【００２８】
実施の形態において、映画又はテレビ番組は、動画の領域に関連付けられた、時間変化するメタデータのストリームを抽出するために前処理されてもよい。例として、メタデータのストリームの生成者（以下、「作者」という）は、ディジタルメディアコンテンツ（又はディジタル化された他のメディアコンテンツ）の特定のフレームにおける１以上の要素を、マサチューセッツ州、チュークスベリのアビッド・テクノロジー社によるエラスティック・リアリティー・３（ELASTIC REALITY 3）などの映像編集ソフトウェアのアウトラインツールを用いて識別することができる。要素が後続の多数のフレームを通して静止している場合、作者はそれぞれのフレームにおいて独立して要素を識別する必要はない。それに対して、要素がフレームにつれて移動する場合、後続のフレームにおけるオブジェクトを自動的に識別するために、動き追跡又はマシンビジョンツールが用いられてもよい。そのような動き追跡ツールの例として、イギリス、サリー州、チャートシーの英国国防研究庁のステフェン・Ｍ・スミスにより開発された「ＡＳＨＥＴ−２」が知られている。このプログラムは、映像シーケンスの後続のフレームにおける要素の抽象化された表現を生成するために、特徴セグメンテーション及びクラスタリング技術を用いる。統計的な比較を用いることにより、一連のフレームにまたがった経路において異なる位置に現れる、類似した特徴のセットにより特徴づけられたクラスターを、動いている要素として認識することができる。いったん要素が識別されると、要素との相互作用を可能とするためのメタデータへのハイパーリンクを確立するために、ハイパーリンクツールを利用することができる。
【００２９】
視聴者のメンバー１５ａ、１５ｂとメディアコンテンツ中の要素との間の相互作用を容易にするために、ディスプレー１１は、コンピュータ又はビデオゲームコンソール装置などのインタラクティブ装置と協働して動作してもよい。それぞれの視聴者のメンバー１５ａ、１５ｂは、インタラクティブ装置に制御信号を提供するために、従来のゲームコントローラを操作してもよい。インタラクティブな装置は、例えばアプリケーション専用ハードウェア又はソフトウェアプログラムを介して、ディスプレー１１に表示されたインタラクティブなオブジェクトと相互作用可能に構成されてもよい。インタラクティブなオブジェクトは、メタデータに関連付けられたメディアコンテンツに登場する要素（例えばオブジェクト又はキャラクタ）を含んでもよい。このような要素を、以下、「コンテンツ」要素と呼ぶ。さらに、インタラクティブなオブジェクトは、コンテンツ要素と相互作用する特定の目的のために、インタラクティブ装置により生成されるオブジェクトを含んでもよい。このようなオブジェクトを、以下、「仮想」オブジェクトと呼ぶ。
【００３０】
本発明の実施の形態において、メタデータ及び／又はインタラクティブ装置は、仮想オブジェクトとメタデータにより定義されたコンテンツ要素との間の相互作用を統率するシミュレートされた物理的過程の１以上のパラメータを定義するように構成されてもよい。例として、このような物理的過程のパラメータは、相互作用の影響を受けるディスプレー１１に表示されたシーンの１以上の領域を定義する物理的境界を含んでもよいが、この例に限られない。これらの物理的境界は、壁などの垂直な境界面や、床、天井、テーブルの天板などの水平な境界面を含んでもよい。これらの物理的境界は、ディスプレー１１に示されるシーンにおいて表示される対応するコンテンツ要素に関連付けられてもよい。例として、物理的境界は、メディア実演において描写されるキャラクタの輪郭と一致してもよいが、この例に限られない。物理的過程のパラメータは、仮想オブジェクトと境界との間の相互作用の性質、例えば、それらの間の衝突が弾性的又は非弾性的である程度を定義してもよい。
【００３１】
物理的過程のパラメータは、仮想オブジェクトを支配する、関連する物理量を定義してもよい。とくに、物理的過程のパラメータは、仮想オブジェクトの動きを支配する重力ベクトルの力の方向及び大きさを決定してもよい。重力ベクトルは、任意の適当な方法により指向されてもよい。例えば、フレームの垂直な端に平行であってもよいし、フレームに表示されるシーンに関連して調整されてもよい。さらに、物理的過程のパラメータは、仮想オブジェクトの光学的パラメータ、例えば、透明度、反射率、屈折率などを定義してもよい。固体の仮想オブジェクトの場合、物理的過程のパラメータは、弾性、可塑性、降伏点、破壊強度などを含んでもよい。液体をシミュレートした仮想オブジェクトの場合、物理的過程のパラメータは、濃度、粘度、表面張力などを含んでもよい。
【００３２】
物理的過程のパラメータは、ユーザが、コンテンツ要素又はディスプレーに表示されたインタラクティブな領域と、いつどのように相互作用するかを定義してもよい。例えば、物理的過程のパラメータは、相互作用が禁止される、シーン又はフレームの１以上の領域（以下、「ブラックアウト」領域と呼ぶ）を定義してもよい。パラメータは、相互作用が明示的に勧められる、１以上の領域（以下、「ターゲット」領域と呼ぶ）を定義してもよい。さらに、物理的過程のパラメータは、仮想オブジェクトが現れ、移動するシーンの領域（以下、「フリー」領域と呼ぶ）を定義してもよい。
【００３３】
コンテンツ要素と仮想オブジェクトとの間の相互作用の例として、視聴者のメンバー１０ｂは、メディアの実演に沿ってディスプレーにアバター１５ｂの形式で表示される、対応する表現を有してもよい。視聴者のメンバー１０ｂが、実演においてアバターがその腕を上げるよう指示するためにゲームコントローラを操作すると、アバター１５ｂはそのように応答する。図１Ａにおいて、視聴者のメンバー１０ｂは、映画又はテレビ番組の俳優に仮想的なトマト１６を投げ始めるようにゲームコントローラを操作する。俳優の顔は、仮想的なトマトとの間の相互作用を許容するメタデータのストリームに関連付けられたコンテンツ要素であってもよい。図１Ｂに示すように、視聴者のメンバー１０ｂは、仮想的なトマト１６を俳優の顔に投げ付け、トマトと、視聴者のメンバー１０ｂのアバター１５ｂが投げる動作が、実演に表示されてもよい。
【００３４】
図１Ｃに示すように、トマトが俳優の顔に当たり、俳優のシャツ及びジャケットに滴る。仮想的なトマト１６及び／又は俳優に関連付けられたメタデータは、トマトの汚れ及び滴りの物理的過程を決定してもよい。例として、視聴者のメンバー１０ｂによる投げ方が正確であれば、彼のスコアを増加させてもよい。こうして、ゲーリーのスコアが１１１に増加される。
【００３５】
本実施の形態は、図１Ａ−１Ｃに例示されるように、実演空間内のオブジェクトの操作を介したメディア実演との相互作用をユーザに提供する。任意のオブジェクトが、実演の任意の部分に関連して操作されてもよい。ユーザが俳優の顔にトマトを投げる例は、ほぼ無限にあるオプションの一つの可能性に過ぎない。例えば、ユーザが椅子を持ち上げて窓を割ってもよいし、車で崖を渡ってもよい。
【００３６】
ある実施の形態において、相互作用の性質は、メディア実演のコンテンツ要素の性質に基づいてもよい。例えば、仮想的なトマトが、メディア実演の「スター」であるキャラクタに当たると、より多くのポイントが与えられてもよい。
【００３７】
さらに、仮想オブジェクトは、メディア実演との相互作用に付属する目的を供給してもよい。例えば、仮想オブジェクトは、ディスプレーに表示可能な広告情報を組み込んでもよい。このような仮想オブジェクトを、以下、「ブランド名」オブジェクトと呼ぶ。
【００３８】
図２は、本発明の実施の形態に係るメディア実演と視聴者とのリアルタイムな相互作用のためのシステムの概略的なブロック図である。図２は、それぞれの参加者がインターネットなどのネットワーク２４を介して接続される例を提供する。他の実施の形態は、後述するように、ネットワーク接続を必要とせず、完全にローカルであってもよい。図２には、いくつかの参加者のロケーション２０及び２０ａ−２０ｎが示されている。参加者のロケーションは、それぞれのユーザ２２及び２１ａ−２１ｎに設備を提供する。例として、参加者のロケーション２０は、テレビジョン又は他の種類のディスプレー３３を含んでもよいが、これに限られない。このロケーション２０の参加者は、例えば、ゲームコントローラ２８、マイクロフォン２９、及びビデオカメラ３０などの手段によりシステムと相互作用してもよい。本発明の実施の形態は、例えば映画館において映画館の常連の間で携帯電話により相互作用が行われるなどのように、他の形式のユーザ相互作用を含んでもよい。参加者の相互作用は、汎用コンピュータ又はコンピュータプロセッサを有する他の装置により実装されるローカルプロセッサ２７において取得されてもよい。例えば、ローカルプロセッサ２７は、ソニープレイステーション３（登録商標）などのゲームコンソールにおいて実装されてもよい。
【００３９】
それぞれの参加者ロケーションは、ネットワーク２４を介してゲームサーバ３２及び合成サーバ３１と接続されてもよい。ゲームサーバ３２は、後述するように、ゲームプレー機能を提供する実施の形態において提供されてもよい。合成サーバ３１は、このようなメディア実演にインタラクティブな機能を追加することを可能とするオーバーレイＯＬをメディア実演ＭＰに提供する。いくつかの実施の形態において、ゲームサーバ３２と合成サーバ３１の双方の機能が単一のサーバ装置に一体化されてもよい。さらに、ゲームサーバ及び／又は合成サーバの機能は、例えばローカルプロセッサ２７により参加者のロケーションにおいて実装されてもよい。本実施の形態では、ネットワークは必須ではない。しかしながら、ネットワークを含む構成によれば、複数の遠隔のローケーションにおける複数の参加者が同時かつリアルタイムに相互作用することができる。
【００４０】
メディアサーバ２６は、メディア実演ＭＰに対応するコンテンツ２５を合成サーバ３１に提供してもよい。または、コンテンツ２５は、他の手段を介して提供されてもよい。例えば、コンテンツ２５は、ディジタルビデオディスク（ＤＶＤ）、ＣＤ−ＲＯＭ、ユニバーサルシリアルバス（ＵＳＢ）、フラッシュドライブなどのコンピュータ読み取り可能な媒体に格納され、ＤＶＤプレイヤー、ＣＤ−ＲＯＭドライブ又はＵＳＢポートなどの適当なインタフェースを介してローカルプロセッサ２７によりアクセスされてもよい。合成サーバ３１は、コンテンツ２５に対応するメディア実演に参加者の相互作用をリアルタイムに結合する。タイムコード及び他の既知の同期技術が、ユーザによるメディア実演との相互作用の正確な登録を保証するために用いられてもよいし、例えばフレームごと又はシーンベースでメディア実演に要素を追加し、メディア実演内の場所に基づいてユーザの相互作用を追跡するために、メディア実演をマップするために用いられてもよい。例えば、マッピングは、基調をなすメディア実演ＭＰへの正確な登録において、オーバーレイにおける、ユーザによるオブジェクトの移動、射撃、アバターなどの追跡のために用いられてもよい。当業者のゲーム開発者にはよく知られている、コリジョン検知としてのこのような技術が、これらの特徴を実装するために適用されてもよい。
【００４１】
図２に示すように、メディア実演２５は、参加者のディスプレー３３に、映像表現として表れる。同様に、複数の参加者２１及び２２のアバターも、アバター２１ａ及び２２ａとして画面に表示される。参加者のアクションは、同様の方法で表示される。図２に示された分割画面において、メディア実演は画面の上部に表示され、参加者は画面の下部に表示される。この変換は必要ではなく、オーバーレイは、望まれるように、例えば画面全体にわたるように生成されてもよい。
【００４２】
このように、本発明の実施の形態は、リアルタイムに、すなわちメディア実演の上映中に、メディア実演にインタラクティブな要素を重畳する。ある実施の形態において、シーン又は物語の他の要素がメディア実演の一部として表示されてもよい。シーン又は物語の要素は、映画、テレビ番組、音楽ビデオ、スポーツイベントなどの既存のコンテンツのシーンであってもよいし、本明細書で説明したインタラクティブなシステムに関連して用いるためのコンテンツの一部として用意されてもよいし、ビデオゲーム又は他のインタラクティブな活動、例えばビデオゲームの傍観者が視聴者としてゲームプレーに相互作用するようなものであってもよい。前述した例においては、シーンが表示されるとしたが、本発明の実施の形態は、例えば映画の全体が表示される場合も含む。例として、メディアの実演は、コンテンツのソースとして、標準的なケーブル又は衛生放送、地上波デジタル又はアナログ放送、ストリーム化されたメディア、ＤＶＤ、又はブルーレイの表示を含んでもよいが、これらに限られない。
【００４３】
図３Ａ−３Ｃは、本発明の実施の形態に係る実演空間内でユーザのアバターの行動を介したユーザによるメディア実演との相互作用を示す概略的なブロック図のシリーズを提供する。図３Ａ−３Ｃの例において、ディスプレー３３に表示されるシーンは、歩道に沿って歩く俳優３７を示す。インタラクティブなレイヤーは、インタラクティブでリアルタイムな視聴のセッションに参加している全ての人が視覚可能な、俳優の背後のターゲット３８に重なるように、シーンに合成される。ある例において、ディスプレー３３は、例えば実演と相互作用する視聴者のメンバー３５ａ、３５ｂを含む、シーンを映画館で見ている視聴者の全てのメンバーだけでなく、コンテンツシーン及びターゲットを表示する。この例において、一人の視聴者３１は、実演を受動的に見ている。ターゲットは、ゲームの要素を提供し、視聴者があるアクションをとる契機となる。例えば、相互作用する視聴者のメンバーのそれぞれは、他の参加者が見ることができる画面において仮想的な紙つぶてを投げることができる（図１Ａ−１Ｃに関連して説明した例を参照）。
【００４４】
相互作用する視聴者のメンバー３５ａ、３５ｂのそれぞれは、実演に伴ってディスプレー３３に表示される対応するアバター３９ａ、３９ｂを有してもよい。図３Ａに示すように、視聴者の相互作用するメンバーのそれぞれに対応する、座っているアバターを表示してもよい。図３Ｂに示すように、視聴者のメンバー３５ａは、ゲームコントローラ又は同様の機構を用いて、彼のアバター３９ａを、表示された座席から離れてターゲットの方へ歩いていくように移動させる。図３Ｃに示した予言的な例において、視聴者のメンバー３９ａのアバターは、座席を離れ、シーン中の俳優に突進し、ターゲットがまだ表示されている間に俳優の背後を蹴る。これを遂行した最初の参加者にはポイントが与えられてもよい。ポイントの総計は、プレイヤーの間のランキング４０に表示される。この例において、ゲーリーがこのアクションに成功し、彼のスコアは１１１に増加される。または、プレイヤーに他の知識が与えられてもよいし、彼の、そして他の全ての人の娯楽のために単独で行動してもよい。
【００４５】
本発明の実施の形態の鍵は、実演に対して、例えばアバターの形式で、視聴者のメンバーの表現が追加されることである。映画又はテレビ番組に対する機能強化は、実演内のアクションに重畳され、一時的かつ物理的に結びつけられてもよい。図３Ａ−３Ｂに示した例において、ターゲットは俳優の移動を追跡する。このように、この例では、ターゲットは、参照の俳優のフレームに対して静止しているようにみえる。そして、アバターは、俳優の歩幅に合うように操作されたり、俳優が移動するにつれて俳優に向かって駆け寄り、例えばターゲットを蹴ったりするなど、実演空間内で現実的な態様で動く。
【００４６】
ある実施の形態において、テレビジョン又はコンピュータディスプレーなどのディスプレー上の関連する位置にある特定のインタラクティブなオブジェクトに関連したアクションを可能とするシステムが提供される。インタラクティブなオブジェクトの位置及び特定のメディア実演中にそれらが表示される時間は、オブジェクトの表示が特定のメディア実演と辻褄が合うように予め決定されてもよい。例えば、オブジェクトは、追跡シーン中、ラブシーン中、飛行中、又は、例えばメディア実演の退屈な部分や視聴者がそわそわするときなど、視聴者により投票されたときなど、ユーザの相互作用がメディア実演の娯楽価値を高める間の任意の時期に表示されてもよい。例として、参加者はディスプレー上でポップコーンの箱に似たアイコンをポストすることにより、無関心であることを示唆してもよいが、これに限られない。これは、映画館においてロビーに行くことに似ている。所定数のポップコーンの箱が表示されると、インタラクティブな機能がオンになる。
【００４７】
または、メディア実演は、視聴者の相互作用の重畳を自動的に可能とされてもよいし、持続的に又はユーザの要求により表示されるアクションのメニューにより、任意の視聴者がメディア実演にインタラクティブな要素を追加可能としてもよい。後者の場合、ユーザは、吹き出しにコメントを入れたり、オブジェクトを投げるなどのアクションを行ったり、アバターを移動及び活動させたり、賛同又は嫌悪などの反応を表示したりすることができる。
【００４８】
前述したように、例えば視聴者に対するユーザの相互作用の領域を制限する境界が適用されてもよい。さらに、視聴者のそれぞれのメンバーは、視聴者の他のメンバーにより識別可能であるように、アバターなどの個人的な要素を有してもよい。別の実施の形態において、オブジェクトの関連する場所を定義するメタデータが提供されてもよい。例えば、メタデータは、実演内の領域、例えば、ターゲットが表示される人物の背後（図３参照）を特定してもよい。
【００４９】
本発明の実施の形態は、例えば映画の配給者が、映画のためのゲームを創造することを可能とする。映画中のある時点において、ゲーム要素は、例えばフレームの特定の位置にテーブルがあることや、人物がかがんでいることに気づく。メタデータは、この要素の境界点をシステムに通知する。こうして、動画を受け取るそれぞれの参加者は、フレームにおけるオブジェクトの座標に基づいて、画面のどの要素がアクティブであるかを知る。ユーザによるオブジェクトとの相互作用は、例えばユーザのテレビジョン及び状況に応じてネットワークに接続されたビデオゲームを用いて、ローカルに追跡されてもよい。参加者の相互作用は、リアルタイムに、フレームにおけるオブジェクトの座標に基づいて、メディア実演に合成され、参加者がターゲットを射撃したり他の任意の参加者よりも前に反応したりしてタスクを成功させた場合にスコアを生成するために用いられてもよい。後者の例は、例えば、キャラクタ又はオブジェクトの存在を最初に発見した参加者がポイントを取得する「ワルドを探せ（Where's Waldo）」などのゲームにおいて適用されてもよい。
【００５０】
さらに、ユーザの相互作用は、メディア実演の分析を作成するために取得され用いられてもよい。例えば、視聴者が最も興味を持ったシーンを特定することができる。
【００５１】
図４Ａ−４Ｃは、本発明に係る実演空間内でメディア実演に追加されるゲームの一部としての、ユーザによるメディア実演との相互作用を示す概略的なブロック図のシリーズを提供する。本実施の形態の一例は、シューティングゲームを提供するゲームの実装である。例えば、メタデータのストリームは、サイエンスフィクション又はホラー映画の物語に仮想的なクモ４８を追加してもよい。仮想的なクモは、時々、シーン中の俳優に飛び乗ってもよい。仮想的なクモが現れると、クモは着地した俳優の背中を這い上がり始めてもよい。メタデータのストリームは、クモの動きと俳優の動きを現実的にマッチさせるように構成されてもよい。クモが、人物、テーブルの上の本、グラスなど、シーン中の別のオブジェクトの存在により、それ以上は進めない境界が確立されてもよい。メタデータのストリームは、ゲーム要素がメディア実演に重畳され混合される一連の画像内の時間ベースの制約を確立するフレーム中の参照を定義してもよい。本実施の形態において、参加者は仮想的なクモを撃つことができる。
【００５２】
ある実施の形態において、メタデータストリームは、仮想的なオブジェクトとの相互作用が、メディア実演において発生するイベントの契機となるように、メディア実演において実行されるアクションに参照される時間の音声転写を含んでもよい。例えば、仮想的なクモは、メディア実演中のキャラクタが「飛べ」と言うことが飛ぶ契機となってもよい。
【００５３】
図４Ａに示した例において、一人の視聴者のメンバー３５ａは、クモを撃つために用いられるゲームコントローラ又は他の同様の装置を有する。他の視聴者のメンバー４１は、実演を受動的に視聴してもよい。メディア実演におけるシーンにおいて俳優３７が歩いているとき、仮想的なクモ４８は俳優とともに移動し、俳優の首を噛むために俳優の背中を這い上がる。クモの前進は、図４Ｂに示すように進行してもよい。図４Ｃに示した例において、視聴者のメンバー３５ａがクモを撃ち、クモに命中する。本実施の形態において、これはクモの爆発４９により示される。クモが撃たれた（そして、俳優が首を噛まれる悲運から解放された）ので、視聴者のメンバーのスコア４０が増加される。こうして、ゲーリーのスコアが１１１に増加される。
【００５４】
メディア実演は、多数の人により多数の場所において同時に視聴されてもよい。同時に、参加者はゲームをプレーする。それぞれの参加者は、インターネットなどのネットワークによりオーバーレイ生成装置に接続してもよい。別の実施の形態において、エイリアンのオーバーレイが表示され、オーバーレイ生成部は、例えばエイリアンがテーブルに飛び乗ったり飛び降りたりすることが可能な特定のややインタラクティブなイベントをゲーム／映像生成者が重畳させる状況及び環境を確立してもよい。参加者がエイリアンを射撃しようとすると、ゲームサーバはユーザのアクションを追跡し、参加者のスコアを記録してもよい。参加者のスコアは、それぞれの参加者のテレビジョンに表示され、最も高いスコアの参加者のランキングリストとして表示されてもよい。それぞれのエイリアンを射撃するときの効果を表示するために、アニメーションがオーバーレイに追加される。
【００５５】
別の実施の形態において、既存のコンテンツを再利用することにより、インタラクティブな要素がメディア実演に追加されてもよい。例えば、戦争映画などの既存の映画にインタラクティブなレイヤーが追加されてもよい。インタラクティブなレイヤーは、映画において射撃可能なキャラクタを指定してもよい。または、上述したエイリアンの例のように、射撃可能な（仮想的な）キャラクタが映画に追加されてもよい。
【００５６】
実施の形態は、参加者の相互作用が保持されるインタラクティブな参加者のスコア記録を提供する。参加者のスコア及び／又は前回の相互作用は、後続のプレーの断片に影響を与えてもよい。例えば、参加者がエイリアンを倒すことに成功した場合、次のエイリアンは倒しにくいより大きなモンスターであってもよい。
【００５７】
別の実施の形態は、上述したように、映画館のオーバーレイにおいて参加者のアバターの輪郭を提供してもよい。しかしながら、本実施の形態において、インタラクティブな外観はスポンサー付きであってもよい。例えば、オーバーレイ生成部は、実際のコカコーラ（登録商標）の缶など、スポンサー企業の製品の画像を合成してもよい。参加者は、メディア実演のインタラクティブな部分の間に、これらの缶を拾ってターゲットに投げることができる。参加者の相互作用及びジェスチャーは、適当な入力形式に基づいてもよい。そのような入力の例として、ゲームコントローラの操作、参加者を観察するカメラにより取得された参加者の動き及びジェスチャー、又は参加者により発生されマイクロフォンにより取得された音声などがあるが、これらに限られない。本実施の形態において、オーバーレイは、フレームに示される視聴者とともに、画面の下部のフレームを含んでもよい。それぞれの参加者は、フレームに示される視聴者のメンバーとして、そのアバターにより表現される。
【００５８】
メディア実演と相互作用したい参加者は、例えば、メディア実演の部分における仮想的なオブジェクトを投げる契機として、ゲームコントローラ又は認識されるジェスチャーを用いることができる。参加者のアバターは、画面に示されるメディア実演に仮想的なオブジェクトを投げるときに画面に示されてもよい。この例において、全ての参加者のアバターがフレームに表示されるので、それぞれの参加者は、例えば視聴中に人々がターゲットに当てようとして画面にオブジェクトを投げるなど、他の全ての参加者とシーンとの相互作用を見ることができる。例として、参加者は、特定のシーンが本当に好きではないという理由で、仮想的なトマトを投げてもよい。この例において、トマトの数がシーンごとにカウントされ、この情報は、特定のシーンが人気がある、人気がない、魅力的であることなどを示唆するレポートとして、ショーの生成者に提供されてもよい。このように、本実施の形態は、視聴者に関する人口統計的な情報を取得するために有用である。
【００５９】
上述したように、本発明の特定の実施の形態の鍵となる側面は、ユーザとメディア実演中の１以上のオブジェクトとの間の、フレームレベルでの物理的過程ベースの相互作用である。すなわち、ユーザは、ゲームオーバーレイなどのオーバーレイを表示され、物理の法則（又は物理的シミュレーション）に則った方法で、基調をなすメディア実演と相互作用することができる。前述した例のように、メディア実演に表示された人物の顔に仮想的なトマトが当たることにより、仮想的なトマトが自然に変形し飛び散る衝撃が生成されてもよい。さらに、仮想的なトマトは、自然かつ現実的な態様で、表示された人物の顔から滴ってもよい。
【００６０】
本発明の更なる実施の形態は、メディア実演の要素のゲーム要素との相互作用を含む。仮想的なトマトの例において、トマトは表示された人物の顔に当たるが、表示された人物の顔は仮想的なトマトによりゆがまなくてもよい。この、本発明の更なる実施の形態においては、人物の顔がゆがんでもよい。
【００６１】
このような相互作用を容易にするために、本発明の実施の形態は、基調をなすメディア実演の要素を抽出し、そのシーンにその要素のアニメ化されたバージョンを再マッピングするための機構を含んでもよい。この観点において、基調をなすメディア実演が、チャーリー・チャップリンがシーン中のセットを歩き回る間に、水が入った透明なグラスから水を飲む、１９２０年代のチャーリー・チャップリンの年代物の映像であると仮定する。この例において、ジョイスティック又は他のゲームコントローラを用いて、アニメ化されたゴムのアヒルをグラスの中に投げ入れる機能が個人に提供される。アヒルがグラスの中に着地すると、個人にポイントが加算されるだけでなく、アヒルがグラスの中に着地したときにグラスの中の水の体積が増えるようにする。さらに、水がグラスからあふれるようにしてもよく、グラスの端に当たったが、まだグラスの中に入ったままのアヒルが、グラスの側面から弾んで水に入り、水を適切に動かしてもよい。これを実現するために、チャーリー・チャップリンの映像において元々グラスの中に表示されている水は、例えばワイヤーフレーム又は他のアニメーション技術を用いて描画されてもよい。描画されたオブジェクトは、例えばオーバーレイの一部として、実演中の元のオブジェクトを置換する。オーバーレイは、基調をなすメディア実演中でフレームごとにオブジェクトが移動するとき、元のオブジェクトを追跡してもよい。こうして、チャーリー・チャップリンは、水が入ったグラスとともに歩き回る。この水は、基調をなす画像に基づいた描画であるから、元の実演と同じように正しく表示されるが、アニメーション化された効果を表示するように修正されている。このように、オブジェクトは、ゲームオーバーレイの一部としてメディア実演に導入され、基調をなすメディア実演の一部である別のオブジェクトと相互作用してもよい。インタラクティブな形式に再描画された、メディア実演の元の一部であるオブジェクトは、そのオブジェクトへのユーザの相互作用があるまでは、元の実演と何も異ならないように表示される。水の入ったグラスに関連して上述したように、水に着地したゴムのアヒルは、グラス中の水のかさを増加させるとともに、グラスから水があふれる原因となる。
【００６２】
この技術は、多数の異なる方法において利用可能であることは当業者に理解されるところである。例えば、トマトが人に投げられる例に関連して前述したように、人の顔をかすめたトマトの一撃は、その人の顔が適当に変形される原因となってもよい。実演中のキャラクタを人が蹴る例において、蹴られた人を移動させてもよいし、又は蹴られた体の部分を反応させてもよい。本発明の本実施の形態の鍵は、物理的過程と、例えばアヒルと水などの基調をなすオブジェクトとの衝突の現実的な態様での相互作用とをモデリングすることである。このモデリングを実現するために、既知のゲーム技術が利用可能である。
【００６３】
本発明の特定の実施の形態の鍵となる側面は、既存のメディアコンテンツの部分に、インタラクティブなゲームのレイヤーを合成することと、本発明のこの態様において、メディア実演のある要素を、相互作用の物理的過程に基づいて、アニメーション化された現実的な態様での相互作用を可能とする要素のバージョンに置換することである。本発明のある実施の形態において、編集者は、物理の法則に基づいてアクティブになるように、基調をなすコンテンツの選択された部分を再描画するメタデータをフレームレベルで追加するために、選択された部分をを再利用してもよい。本発明のこの態様は、広い意味では、オブジェクト自身の物理的過程に基づいてビデオストリームにおけるオブジェクトの境界を定義するために、コンテンツの実演にメタデータを適用する。別の実施の形態において、広告情報が、ゲームのオーバーレイの一部として、又は、基調をなすコンテンツの実演におけるオブジェクトの代用として、それぞれのオーバーレイされたオブジェクトに追加されてもよい。例えば、家族が朝食を食べるシーンに登場するシリアルの箱が、物理的には同一であるが、シリアル製造者の広告ロゴを含んだシリアルの箱に置換されてもよい。同様に、ナイキ（登録商標）のロゴなどのロゴが、靴に追加されてもよい。本発明は、人物がシーン中で歩く、又は走るときに、人物の動きを追跡し、ナイキのロゴを現実的な態様で適用することができる。
【００６４】
上記は、本発明の好ましい実施の形態の完全な説明であるが、種々の代替、修正及び等価物を用いることができる。したがって、本発明の範囲は、上記の説明を参照して決定されるべきではなく、添付された特許請求の範囲をそれらと等価な範囲の全てとともに参照して決定されるべきである。ここで記述される全ての特徴は、好ましいか否かにかかわらず、ここで記述される他の全ての特徴に結合されてもよい。特許請求の範囲において、不定冠詞に続くものは、別段の明示がない限り、１以上の事項の数量をさす。添付された特許請求の範囲は、「〜するための手段」という語句を用いて明示的に限定されない限り、ミーンズプラスファンクションの限定を含むものと解釈されるべきではない。
【００６５】
この記述を通して、示された実施の形態及び実施例は例示であるとみなされるべきであり、開示又は請求された装置及び方法を限定すると解釈されるべきではない。
ここに示された多くの例は、動作又はシステム要素の特定の組み合わせを含むが、それらの動作及び要素は、同一の目的を達成するために他の態様で組み合わされてもよいことが理解されるべきである。フローチャートに関して、追加の及びより少ないステップが実行されてもよく、示されたステップは、ここで説明された方法を達成するために、組み合わせれ、又はより洗練されてもよい。ある実施の形態に関連してのみ説明された動作、要素及び特徴は、他の実施の形態における同様の役割から排除されることを意味しない。
【００６６】
請求項において列挙されたミーンズプラスファンクション限定は、記述された機能を実現するためにここで説明された手段に限定する意図ではなく、記述された機能を実現するために現在既知又は後に開発される任意の手段を範囲に含むことを意図している。
【００６７】
「備える（comprising）」、「含む（including）」、「持つ（carrying）」、「有する（having）」、「含む（containing）」、「含む（involving）」などの文言は、明細書又は請求項のいずれで用いられるかにかかわらず、制限がない、すなわち、含むことを意味し、限定することを意味しないと理解されるべきである。「〜からなる」及び「実質的に〜からなる」という接続句のみが、それぞれ、請求の範囲に関して、制限的又は半制限的な接続句である。
【００６８】
ここで、「複数の」とは、２以上であることを意味する。
【００６９】
ここで、「及び／又は」とは、列挙された項目は代替可能であり、代替物は列挙された項目の任意の組み合わせを含むことを意味する。
【技術分野】
【０００１】
本発明の実施の形態は、メディアの実演の協同的な視聴に関する。本発明の実施の形態は、とくに、テレビ番組又は映画などのメディアの実演を、インタラクティブなゲーム経験に変換することに関する。
【背景技術】
【０００２】
映画館で映画を見ることの不愉快な一面は、映画の上映中に観客の間で持たれる会話により気が散ってしまうことである。会話それ自体が本質的に不愉快であるというわけではなく、他人の会話が不愉快なのである。他方、家で映画を見ているときに、友達や家族と、批評や、意見や、冗談などを共有するのは楽しいことである。このため、人気のあるテレビシリーズである「ミステリーサイエンスシアター３０００」は、映画、典型的にはぞっとするような嫌な映画の観客の間で持たれた会話をもとにしていた。ミステリーサイエンスシアター３０００では、映画の上映中に、二体のロボットと一人の人間の宇宙パイロットが批評し、冗談を言った。映画は、まるで映画館の中にいるかのように映像スクリーンに映され、ロボットと人間の批評家は、まるで映画館で座って映画を見ているかのようにシルエットで表現された。
【０００３】
ビデオゲームのプレー中に、プレイヤー同士がネットワークを介して話すことが可能な機能がプレイヤーに提供されている。実際に、この目的のためにヘッドセットが利用可能である。このようなゲームにおいて、プレイヤーは、プレイヤーを表現するペルソナ又はアバターを持つ。このように、プレイヤーは、ゲームに参加し、ゲーム中に他のプレイヤーと話すことができる。
【０００４】
１以上の個人が受動的に映画などのメディアの実演を視聴する場合、映画空間自体の中で映画と対話する方法はない。すなわち、映画を視聴する個人は、居間又は映画館において批評を加えることを除けば、映画の実演の一部たりえない。端的に言えば、彼らはスクリーン上のアクションの一部ではない。これは、部分的には、映画などのメディアの実演には、視聴者に上映される前に、序章と中章と終章が存在しているという意味で静的であることが一因である。
【０００５】
ビデオゲームの場合は、プレイヤーは、展開中のゲームのドラマにおける関係者であり、傍観者ではいられない。これは、部分的には、プレイヤーがゲームと相互作用するにつれてビデオゲームの物語がリアルタイムに創造されるという意味で動的であることが一因である。
【０００６】
Ｂ．バーリル（Burrill）、Ｔ．キルステ（Kirste）、Ｊ．ワイス（Weiss）による、「ダイナミックなマルチメディアオブジェクトにおいて時間変化するセンシティブな領域：映像からのコンテンツベースの検索への実用的アプローチ」、ソフトウェア技術情報、３６巻、３６号、２１３−２２３ページ（１９９４年）は、ハイパーメディア及び情報検索の二つの観点により、ダイナミックなメディアのコンテンツにアクセスするための一般的な概念について説明している。バーリルらは、既存の技術からリバースエンジニアリングの手法により、センシティブな領域（又は「ホットスポット」）の一般的な概念を導入する。バーリルらは、センシティブな領域に関連するさまざまな側面を探求する、開発中の３つのアプリケーションについて記述している。「ハイパーピクチャーシステム（HyperPicture-System）」はそのようなデータを管理し、「ムービー（MOVie）」は映画制作由来の文脈においてセンシティブな領域の編集の生成を実験し、「シェアーミー（Share ME）」はマルチメディアアプリケーションへのインタフェースにおけるセンシティブな領域の利用に関連する話題を探求する。
【０００７】
Ｄ．ウィステンダール（Wistendahl）、Ｌ．チョン（Chon）による、「インタラクティブなディジタルメディアプログラムのためのメディアコンテンツにおけるホットスポットのマッピングのためのシステム」、米国特許第５，７０８，８４５号（１９９８年１月１３日出願）は、メディアコンテンツをインタラクティブなディジタルメディアプログラムにおいて利用可能とするシステムを開示する。このようなシステムは、メディアコンテンツにおいてオブジェクトを表示するために、フレームアドレス及び表示位置座標を表現したオブジェクトマッピングデータ（Ｎデータ）におけるメディアコンテンツからのフレームデータを備える。Ｎデータは、メディアコンテンツが、組み込まれたコードなしにアクセス可能であり、任意のシステムにおいて再生可能となるように、メディアコンテンツのためのフレームデータとは別個に保持される。システムは、Ｎデータによりマップされたオブジェクトと、メディアコンテンツの表示に関連して実行されるべき他の機能とを接続するリンクを確立する。メディアコンテンツに登場するオブジェクトのポインタによる選択は、インタラクティブな機能の契機となる。このように、映画、ビデオ、広告、及びテレビ番組などの既存の非インタラクティブなメディアコンテンツの広範な基礎は、インタラクティブなディジタルメディアへの使用のために変換されてもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術は、さまざまなマッピング技術を介してメディアに相互作用するための基礎的な機構を提供するが、現実的な方法で相互作用がコンテンツに同調されるように、そのような相互作用の効果に注意を向ける試みはなされなかった。
【０００９】
１以上の人が、事前に表現自体の一部となることなく、メディアの表現に相互作用することが可能な体験を提供することが有利である。
【課題を解決するための手段】
【００１０】
従来技術に関する課題は、メディアの実演とのリアルタイムなユーザの相互作用を可能とする方法及び装置を教示する本発明の実施の形態により克服される。
【００１１】
本発明の実施の形態において、ユーザは、機能強化されたインタラクティブなテレビ番組又は映画の生成物との間で、そのような映画又はテレビ番組にゲームのオーバーレイを追加することに基づいて、相互作用することを可能とされる。この方法において、ゲーム又は仮想世界の物理的過程は、テレビ番組又は映画のセットにおいて定義された境界内にある。例えば、ユーザに表示されるアバターが、現実世界のユーザのジェスチャーに応答して、例えばゲームコントローラの操作又は他の同様の方法に応答して、俳優の顔にトマトを投げ付けたり、俳優の顔にバウンドさせたり、映画又はテレビに登場するテーブルに沿って転がしたりすることができる。
【００１２】
実施の形態において、映画又はテレビ番組は、動画中の領域に関連した、時間変化するメタデータのストリームを抽出するために前処理されてもよい。アクティブな領域及びアニメーションなどの追加されたコンテンツを有するオーバー例は、映画又はテレビ番組に合成される。このような前処理は、映画又はテレビ眼組の映像及び／又は音声要素の双方を含んでもよい。
【００１３】
ゲームコントローラなどを介した、機能強化された映画又はテレビ番組とのユーザの相互作用は、オーバーレイを介して映画又はテレビ番組にマップされ、ゲーム又は他のアクティブなオーバーレイの特徴は、映画又はテレビ番組の表示中に応答してもよい。
【００１４】
その結果、視聴者は、映画又はテレビ番組に表示されたパフォーマンスに入り込み、相互作用することができる。このような相互作用は、例えば、上述したようなトマトを投げるなどの個々のユーザのアクション、又は、俳優の背中を這うクモを撃つなどのグループ及び／又は競争的なアクションを含んでもよい。
【図面の簡単な説明】
【００１５】
【図１】図１Ａ−１Ｃは、本発明の実施の形態に係る実演空間内の要素の操作を介したユーザとメディア実演との相互作用の予言的な例を示す概略的な一連のブロック図である。
【図２】本発明の実施の形態に係るメディア実演と視聴者とのリアルタイムな相互作用のためのシステムの概略的なブロック図である。
【図３】図３Ａ−３Ｃは、本発明の実施の形態に係る実演空間内でユーザのアバターの行動を介したユーザによるメディア実演との相互作用を示す概略的な一連のブロック図である。
【図４】図４Ａ−４Ｃは、本発明に係る実演空間内でメディア実演に追加されるゲームの一部としての、ユーザによるメディア実演との相互作用を示す概略的な一連のブロック図ある。
【図５】メディアの実演の中にリアルタイムに参加するための方法の例を概略的に示すフローダイアグラムである。
【発明を実施するための形態】
【００１６】
本出願は、ゲーリー・Ｍ．ザレフスキーによる米国特許仮出願第６１／０４７，７３７号（「テレビ番組又は映画をインタラクティブなゲーム体験に変換するためのシステム及び方法」、２００８年４月２４日出願）の優先権を主張し、その全文がここに援用される。本出願は、ゲーリー・Ｍ．ザレフスキーによる米国特許出願第１２／４１９，２４８号（「メディアの実演へのリアルタイムな視聴者の相互作用のための方法及び装置」、２００９年４月６日出願）の優先権を主張し、その全文がここに援用される。
【００１７】
下記の詳細な説明は、例示を目的として多くの特定の詳細を含むが、下記の詳細に対する多くの変形及び置換が本発明の範囲に入ることは、当業者に認識されるところである。したがって、下記に説明する本発明の実施の形態は、請求された発明の一般性を失わせることなく、また限定を付加することもなく説明される。
【００１８】
従来技術に関する課題は、メディアの実演とのリアルタイムなユーザの相互作用を可能とする方法及び装置を教示する本発明の実施の形態により克服される。
【００１９】
本発明の実施の形態において、ユーザは、映画又はテレビ番組にゲームのオーバーレイが追加されることによって、映画又はテレビ番組などのメディアコンテンツの機能強化されたインタラクティブな生成物と相互作用することができる。この方法において、ゲーム又は仮想世界の物理的過程は、テレビ番組又は映画のセットにおいて定義された境界内にある。例えば、ユーザに表示されるアバターが、現実世界のユーザのジェスチャーに応答して、例えばゲームコントローラの操作又は他の同様の方法に応答して、俳優の顔にトマトを投げ付けたり、俳優の顔にバウンドさせたり、映画又はテレビに登場するテーブルに沿って転がしたりすることができる。
【００２０】
実施の形態において、メディアコンテンツ、例えば既存の映画又はテレビ番組は、時間変化するメタデータのストリームと動画の領域を関連付けるように前処理されてもよい。アクティブな領域とアニメーションなどの追加コンテンツの双方を有するオーバーレイが、映画又はテレビ番組に合成される。このような前処理は、映画又はテレビ番組の映像及び／又は音声の双方の要素を含んでもよい。
【００２１】
例として、時間変化するメタデータのストリームは、米国特許第５，７０８，８４５号に記述された方法によりメディアコンテンツと関連付けられてもよい。該公報の全体は、参照によりここに援用される。とくに、ビデオ、コンテンツなどのメディアのディジタル化されたバージョンのためのフレームデータは、フレームアドレス及びメディアコンテンツに現れるオブジェクトの表示位置の座標を表現するオブジェクトマッピングデータ（Ｎデータ）に関連付けられてもよい。インタラクティブディジタルメディア（Interactive Digital Media：ＩＤＭ）プログラムは、Ｎデータによりマップされたオブジェクトを、メディアコンテンツの表示に関連して実行されるべきインタラクティブな機能に関連付ける関係を確立するために用いられてもよい。
【００２２】
ユーザによる、ゲームコントローラなどを介した、機能強化されたメディアコンテンツとの相互作用は、メタデータのオーバーレイを介してメディアコンテンツにマップされ、ゲーム又はオーバーレイの他のアクティブな特性は、映画又はテレビ番組の表示中に応答する。
【００２３】
その結果、視聴者は、メディアコンテンツにおいて描写されたパフォーマンスに参加され、相互作用することができる。このような相互作用は、例えば、上述したトマトを投げるなどの個々のユーザのアクション、俳優の背後に這っているクモを打つなどのグループ及び／又は競争的なアクションを含んでもよいが、この例に限られない。
【００２４】
図５は、メディアの実演の中にリアルタイムに参加するための方法１００の予言的な例を概略的に示すフローダイアグラムを示す。方法１００は、コンピュータプロセッサ実行可能な命令のセットの形式で実装されてもよい。これは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、又はＲＡＭ（Random Access Memory）などのコンピュータ読み取り可能な記録媒体に格納されてもよい。１０２に示すように、参加者のオーバーレイが生成される。例として、参加者のオーバーレイは、メディアの実演において描写された１以上のインタラクティブな領域に関連付けられた、時間変化するメタデータのストリームを抽出するように、メディアの実現を前処理することにより生成されてもよい。参加者のオーバーレイは、シミュレートされた物理的過程を含んでもよい。シミュレートされた物理的過程は、メディアの実演におけるコンテンツに関連付けて定義された１以上のインタラクティブな領域の境界を含んでもよい。
【００２５】
１０４に示すように、参加者による、１以上のアクティブな領域を介したメディアの実演との間の相互作用が取得される。相互作用は、例えば、メディアの実演における１以上のコンテンツ要素に対するユーザのアクション、アバターを介してメディアの実演において表現されたユーザのアクション、又はゲーム要素などの仮想的なオブジェクトに関連したメディアの実演におけるユーザアクションを含んでもよい。参加者の相互作用は、メディアの実演及び参加者のオーバーレイを表示するために用いられるシステムに関連して用いられるゲームコントローラなどのコントローラにより取得されてもよい。１０６に示すように、オーバーレイ（参加者の相互作用を含む）は、ディスプレー上での参加者に対する表示のためのメディア実演に結合される。このように、１０８に示すように、メディア実演及びオーバーレイは、ディスプレー上で同時に表示されてもよい。
【００２６】
図１Ａ−１Ｃは、本発明の実施の形態に係る実演空間内の要素の操作を介したユーザとメディア実演との相互作用の予言的な例を示す概略的なブロック図のシリーズを提供する。図１Ａ−１Ｃは、共通して、視聴者１０ａ、１０ｂを含む。この例においては、それぞれ共通の位置に２人の視聴者のメンバーを含み、それぞれがゲームコントローラを介して映画又はテレビ番組の実演と相互作用することができる。視聴者として任意の数の位置に任意の数の個人がいてもよいことは、当業者に理解されるところである。例えば、一人の人が一つの位置にいてもよいし、多数の人が多数の位置にいてもよい。さらに、ユーザによる相互作用は、ゲームコントローラ、動き検知装置など、及びそれらの組み合わせにより実行されてもよい。
【００２７】
さらに、視聴者がアバター１５ａ、１５ｂとして表現されたディスプレー１１、競争を含む本発明の実施の形態において少なくとも一定期間ごとに表示されるスコアパネル１３、及びオブジェクト追跡モジュール１２も、図１Ａ−１Ｃに共通している。本実施の形態では、オブジェクト追跡モジュール１２は、動きセンサ１４にデータを提供し、これにより、現実世界における視聴者の動作を時間的及び物理的に正確な態様で実演において表現することを可能とする。例として、オブジェクト追跡モジュール１２は、メディアの実演内で要素（例えばオブジェクト又はキャラクタ）の追跡を更に実装してもよいが、この例に限られない。例えば、オブジェクト追跡モジュールは、メディアの実演に登場する１以上のキャラクタの顔に関連付けられたメタデータ（例えばＮデータ）を生成するために、顔の追跡を実装してもよい。
【００２８】
実施の形態において、映画又はテレビ番組は、動画の領域に関連付けられた、時間変化するメタデータのストリームを抽出するために前処理されてもよい。例として、メタデータのストリームの生成者（以下、「作者」という）は、ディジタルメディアコンテンツ（又はディジタル化された他のメディアコンテンツ）の特定のフレームにおける１以上の要素を、マサチューセッツ州、チュークスベリのアビッド・テクノロジー社によるエラスティック・リアリティー・３（ELASTIC REALITY 3）などの映像編集ソフトウェアのアウトラインツールを用いて識別することができる。要素が後続の多数のフレームを通して静止している場合、作者はそれぞれのフレームにおいて独立して要素を識別する必要はない。それに対して、要素がフレームにつれて移動する場合、後続のフレームにおけるオブジェクトを自動的に識別するために、動き追跡又はマシンビジョンツールが用いられてもよい。そのような動き追跡ツールの例として、イギリス、サリー州、チャートシーの英国国防研究庁のステフェン・Ｍ・スミスにより開発された「ＡＳＨＥＴ−２」が知られている。このプログラムは、映像シーケンスの後続のフレームにおける要素の抽象化された表現を生成するために、特徴セグメンテーション及びクラスタリング技術を用いる。統計的な比較を用いることにより、一連のフレームにまたがった経路において異なる位置に現れる、類似した特徴のセットにより特徴づけられたクラスターを、動いている要素として認識することができる。いったん要素が識別されると、要素との相互作用を可能とするためのメタデータへのハイパーリンクを確立するために、ハイパーリンクツールを利用することができる。
【００２９】
視聴者のメンバー１５ａ、１５ｂとメディアコンテンツ中の要素との間の相互作用を容易にするために、ディスプレー１１は、コンピュータ又はビデオゲームコンソール装置などのインタラクティブ装置と協働して動作してもよい。それぞれの視聴者のメンバー１５ａ、１５ｂは、インタラクティブ装置に制御信号を提供するために、従来のゲームコントローラを操作してもよい。インタラクティブな装置は、例えばアプリケーション専用ハードウェア又はソフトウェアプログラムを介して、ディスプレー１１に表示されたインタラクティブなオブジェクトと相互作用可能に構成されてもよい。インタラクティブなオブジェクトは、メタデータに関連付けられたメディアコンテンツに登場する要素（例えばオブジェクト又はキャラクタ）を含んでもよい。このような要素を、以下、「コンテンツ」要素と呼ぶ。さらに、インタラクティブなオブジェクトは、コンテンツ要素と相互作用する特定の目的のために、インタラクティブ装置により生成されるオブジェクトを含んでもよい。このようなオブジェクトを、以下、「仮想」オブジェクトと呼ぶ。
【００３０】
本発明の実施の形態において、メタデータ及び／又はインタラクティブ装置は、仮想オブジェクトとメタデータにより定義されたコンテンツ要素との間の相互作用を統率するシミュレートされた物理的過程の１以上のパラメータを定義するように構成されてもよい。例として、このような物理的過程のパラメータは、相互作用の影響を受けるディスプレー１１に表示されたシーンの１以上の領域を定義する物理的境界を含んでもよいが、この例に限られない。これらの物理的境界は、壁などの垂直な境界面や、床、天井、テーブルの天板などの水平な境界面を含んでもよい。これらの物理的境界は、ディスプレー１１に示されるシーンにおいて表示される対応するコンテンツ要素に関連付けられてもよい。例として、物理的境界は、メディア実演において描写されるキャラクタの輪郭と一致してもよいが、この例に限られない。物理的過程のパラメータは、仮想オブジェクトと境界との間の相互作用の性質、例えば、それらの間の衝突が弾性的又は非弾性的である程度を定義してもよい。
【００３１】
物理的過程のパラメータは、仮想オブジェクトを支配する、関連する物理量を定義してもよい。とくに、物理的過程のパラメータは、仮想オブジェクトの動きを支配する重力ベクトルの力の方向及び大きさを決定してもよい。重力ベクトルは、任意の適当な方法により指向されてもよい。例えば、フレームの垂直な端に平行であってもよいし、フレームに表示されるシーンに関連して調整されてもよい。さらに、物理的過程のパラメータは、仮想オブジェクトの光学的パラメータ、例えば、透明度、反射率、屈折率などを定義してもよい。固体の仮想オブジェクトの場合、物理的過程のパラメータは、弾性、可塑性、降伏点、破壊強度などを含んでもよい。液体をシミュレートした仮想オブジェクトの場合、物理的過程のパラメータは、濃度、粘度、表面張力などを含んでもよい。
【００３２】
物理的過程のパラメータは、ユーザが、コンテンツ要素又はディスプレーに表示されたインタラクティブな領域と、いつどのように相互作用するかを定義してもよい。例えば、物理的過程のパラメータは、相互作用が禁止される、シーン又はフレームの１以上の領域（以下、「ブラックアウト」領域と呼ぶ）を定義してもよい。パラメータは、相互作用が明示的に勧められる、１以上の領域（以下、「ターゲット」領域と呼ぶ）を定義してもよい。さらに、物理的過程のパラメータは、仮想オブジェクトが現れ、移動するシーンの領域（以下、「フリー」領域と呼ぶ）を定義してもよい。
【００３３】
コンテンツ要素と仮想オブジェクトとの間の相互作用の例として、視聴者のメンバー１０ｂは、メディアの実演に沿ってディスプレーにアバター１５ｂの形式で表示される、対応する表現を有してもよい。視聴者のメンバー１０ｂが、実演においてアバターがその腕を上げるよう指示するためにゲームコントローラを操作すると、アバター１５ｂはそのように応答する。図１Ａにおいて、視聴者のメンバー１０ｂは、映画又はテレビ番組の俳優に仮想的なトマト１６を投げ始めるようにゲームコントローラを操作する。俳優の顔は、仮想的なトマトとの間の相互作用を許容するメタデータのストリームに関連付けられたコンテンツ要素であってもよい。図１Ｂに示すように、視聴者のメンバー１０ｂは、仮想的なトマト１６を俳優の顔に投げ付け、トマトと、視聴者のメンバー１０ｂのアバター１５ｂが投げる動作が、実演に表示されてもよい。
【００３４】
図１Ｃに示すように、トマトが俳優の顔に当たり、俳優のシャツ及びジャケットに滴る。仮想的なトマト１６及び／又は俳優に関連付けられたメタデータは、トマトの汚れ及び滴りの物理的過程を決定してもよい。例として、視聴者のメンバー１０ｂによる投げ方が正確であれば、彼のスコアを増加させてもよい。こうして、ゲーリーのスコアが１１１に増加される。
【００３５】
本実施の形態は、図１Ａ−１Ｃに例示されるように、実演空間内のオブジェクトの操作を介したメディア実演との相互作用をユーザに提供する。任意のオブジェクトが、実演の任意の部分に関連して操作されてもよい。ユーザが俳優の顔にトマトを投げる例は、ほぼ無限にあるオプションの一つの可能性に過ぎない。例えば、ユーザが椅子を持ち上げて窓を割ってもよいし、車で崖を渡ってもよい。
【００３６】
ある実施の形態において、相互作用の性質は、メディア実演のコンテンツ要素の性質に基づいてもよい。例えば、仮想的なトマトが、メディア実演の「スター」であるキャラクタに当たると、より多くのポイントが与えられてもよい。
【００３７】
さらに、仮想オブジェクトは、メディア実演との相互作用に付属する目的を供給してもよい。例えば、仮想オブジェクトは、ディスプレーに表示可能な広告情報を組み込んでもよい。このような仮想オブジェクトを、以下、「ブランド名」オブジェクトと呼ぶ。
【００３８】
図２は、本発明の実施の形態に係るメディア実演と視聴者とのリアルタイムな相互作用のためのシステムの概略的なブロック図である。図２は、それぞれの参加者がインターネットなどのネットワーク２４を介して接続される例を提供する。他の実施の形態は、後述するように、ネットワーク接続を必要とせず、完全にローカルであってもよい。図２には、いくつかの参加者のロケーション２０及び２０ａ−２０ｎが示されている。参加者のロケーションは、それぞれのユーザ２２及び２１ａ−２１ｎに設備を提供する。例として、参加者のロケーション２０は、テレビジョン又は他の種類のディスプレー３３を含んでもよいが、これに限られない。このロケーション２０の参加者は、例えば、ゲームコントローラ２８、マイクロフォン２９、及びビデオカメラ３０などの手段によりシステムと相互作用してもよい。本発明の実施の形態は、例えば映画館において映画館の常連の間で携帯電話により相互作用が行われるなどのように、他の形式のユーザ相互作用を含んでもよい。参加者の相互作用は、汎用コンピュータ又はコンピュータプロセッサを有する他の装置により実装されるローカルプロセッサ２７において取得されてもよい。例えば、ローカルプロセッサ２７は、ソニープレイステーション３（登録商標）などのゲームコンソールにおいて実装されてもよい。
【００３９】
それぞれの参加者ロケーションは、ネットワーク２４を介してゲームサーバ３２及び合成サーバ３１と接続されてもよい。ゲームサーバ３２は、後述するように、ゲームプレー機能を提供する実施の形態において提供されてもよい。合成サーバ３１は、このようなメディア実演にインタラクティブな機能を追加することを可能とするオーバーレイＯＬをメディア実演ＭＰに提供する。いくつかの実施の形態において、ゲームサーバ３２と合成サーバ３１の双方の機能が単一のサーバ装置に一体化されてもよい。さらに、ゲームサーバ及び／又は合成サーバの機能は、例えばローカルプロセッサ２７により参加者のロケーションにおいて実装されてもよい。本実施の形態では、ネットワークは必須ではない。しかしながら、ネットワークを含む構成によれば、複数の遠隔のローケーションにおける複数の参加者が同時かつリアルタイムに相互作用することができる。
【００４０】
メディアサーバ２６は、メディア実演ＭＰに対応するコンテンツ２５を合成サーバ３１に提供してもよい。または、コンテンツ２５は、他の手段を介して提供されてもよい。例えば、コンテンツ２５は、ディジタルビデオディスク（ＤＶＤ）、ＣＤ−ＲＯＭ、ユニバーサルシリアルバス（ＵＳＢ）、フラッシュドライブなどのコンピュータ読み取り可能な媒体に格納され、ＤＶＤプレイヤー、ＣＤ−ＲＯＭドライブ又はＵＳＢポートなどの適当なインタフェースを介してローカルプロセッサ２７によりアクセスされてもよい。合成サーバ３１は、コンテンツ２５に対応するメディア実演に参加者の相互作用をリアルタイムに結合する。タイムコード及び他の既知の同期技術が、ユーザによるメディア実演との相互作用の正確な登録を保証するために用いられてもよいし、例えばフレームごと又はシーンベースでメディア実演に要素を追加し、メディア実演内の場所に基づいてユーザの相互作用を追跡するために、メディア実演をマップするために用いられてもよい。例えば、マッピングは、基調をなすメディア実演ＭＰへの正確な登録において、オーバーレイにおける、ユーザによるオブジェクトの移動、射撃、アバターなどの追跡のために用いられてもよい。当業者のゲーム開発者にはよく知られている、コリジョン検知としてのこのような技術が、これらの特徴を実装するために適用されてもよい。
【００４１】
図２に示すように、メディア実演２５は、参加者のディスプレー３３に、映像表現として表れる。同様に、複数の参加者２１及び２２のアバターも、アバター２１ａ及び２２ａとして画面に表示される。参加者のアクションは、同様の方法で表示される。図２に示された分割画面において、メディア実演は画面の上部に表示され、参加者は画面の下部に表示される。この変換は必要ではなく、オーバーレイは、望まれるように、例えば画面全体にわたるように生成されてもよい。
【００４２】
このように、本発明の実施の形態は、リアルタイムに、すなわちメディア実演の上映中に、メディア実演にインタラクティブな要素を重畳する。ある実施の形態において、シーン又は物語の他の要素がメディア実演の一部として表示されてもよい。シーン又は物語の要素は、映画、テレビ番組、音楽ビデオ、スポーツイベントなどの既存のコンテンツのシーンであってもよいし、本明細書で説明したインタラクティブなシステムに関連して用いるためのコンテンツの一部として用意されてもよいし、ビデオゲーム又は他のインタラクティブな活動、例えばビデオゲームの傍観者が視聴者としてゲームプレーに相互作用するようなものであってもよい。前述した例においては、シーンが表示されるとしたが、本発明の実施の形態は、例えば映画の全体が表示される場合も含む。例として、メディアの実演は、コンテンツのソースとして、標準的なケーブル又は衛生放送、地上波デジタル又はアナログ放送、ストリーム化されたメディア、ＤＶＤ、又はブルーレイの表示を含んでもよいが、これらに限られない。
【００４３】
図３Ａ−３Ｃは、本発明の実施の形態に係る実演空間内でユーザのアバターの行動を介したユーザによるメディア実演との相互作用を示す概略的なブロック図のシリーズを提供する。図３Ａ−３Ｃの例において、ディスプレー３３に表示されるシーンは、歩道に沿って歩く俳優３７を示す。インタラクティブなレイヤーは、インタラクティブでリアルタイムな視聴のセッションに参加している全ての人が視覚可能な、俳優の背後のターゲット３８に重なるように、シーンに合成される。ある例において、ディスプレー３３は、例えば実演と相互作用する視聴者のメンバー３５ａ、３５ｂを含む、シーンを映画館で見ている視聴者の全てのメンバーだけでなく、コンテンツシーン及びターゲットを表示する。この例において、一人の視聴者３１は、実演を受動的に見ている。ターゲットは、ゲームの要素を提供し、視聴者があるアクションをとる契機となる。例えば、相互作用する視聴者のメンバーのそれぞれは、他の参加者が見ることができる画面において仮想的な紙つぶてを投げることができる（図１Ａ−１Ｃに関連して説明した例を参照）。
【００４４】
相互作用する視聴者のメンバー３５ａ、３５ｂのそれぞれは、実演に伴ってディスプレー３３に表示される対応するアバター３９ａ、３９ｂを有してもよい。図３Ａに示すように、視聴者の相互作用するメンバーのそれぞれに対応する、座っているアバターを表示してもよい。図３Ｂに示すように、視聴者のメンバー３５ａは、ゲームコントローラ又は同様の機構を用いて、彼のアバター３９ａを、表示された座席から離れてターゲットの方へ歩いていくように移動させる。図３Ｃに示した予言的な例において、視聴者のメンバー３９ａのアバターは、座席を離れ、シーン中の俳優に突進し、ターゲットがまだ表示されている間に俳優の背後を蹴る。これを遂行した最初の参加者にはポイントが与えられてもよい。ポイントの総計は、プレイヤーの間のランキング４０に表示される。この例において、ゲーリーがこのアクションに成功し、彼のスコアは１１１に増加される。または、プレイヤーに他の知識が与えられてもよいし、彼の、そして他の全ての人の娯楽のために単独で行動してもよい。
【００４５】
本発明の実施の形態の鍵は、実演に対して、例えばアバターの形式で、視聴者のメンバーの表現が追加されることである。映画又はテレビ番組に対する機能強化は、実演内のアクションに重畳され、一時的かつ物理的に結びつけられてもよい。図３Ａ−３Ｂに示した例において、ターゲットは俳優の移動を追跡する。このように、この例では、ターゲットは、参照の俳優のフレームに対して静止しているようにみえる。そして、アバターは、俳優の歩幅に合うように操作されたり、俳優が移動するにつれて俳優に向かって駆け寄り、例えばターゲットを蹴ったりするなど、実演空間内で現実的な態様で動く。
【００４６】
ある実施の形態において、テレビジョン又はコンピュータディスプレーなどのディスプレー上の関連する位置にある特定のインタラクティブなオブジェクトに関連したアクションを可能とするシステムが提供される。インタラクティブなオブジェクトの位置及び特定のメディア実演中にそれらが表示される時間は、オブジェクトの表示が特定のメディア実演と辻褄が合うように予め決定されてもよい。例えば、オブジェクトは、追跡シーン中、ラブシーン中、飛行中、又は、例えばメディア実演の退屈な部分や視聴者がそわそわするときなど、視聴者により投票されたときなど、ユーザの相互作用がメディア実演の娯楽価値を高める間の任意の時期に表示されてもよい。例として、参加者はディスプレー上でポップコーンの箱に似たアイコンをポストすることにより、無関心であることを示唆してもよいが、これに限られない。これは、映画館においてロビーに行くことに似ている。所定数のポップコーンの箱が表示されると、インタラクティブな機能がオンになる。
【００４７】
または、メディア実演は、視聴者の相互作用の重畳を自動的に可能とされてもよいし、持続的に又はユーザの要求により表示されるアクションのメニューにより、任意の視聴者がメディア実演にインタラクティブな要素を追加可能としてもよい。後者の場合、ユーザは、吹き出しにコメントを入れたり、オブジェクトを投げるなどのアクションを行ったり、アバターを移動及び活動させたり、賛同又は嫌悪などの反応を表示したりすることができる。
【００４８】
前述したように、例えば視聴者に対するユーザの相互作用の領域を制限する境界が適用されてもよい。さらに、視聴者のそれぞれのメンバーは、視聴者の他のメンバーにより識別可能であるように、アバターなどの個人的な要素を有してもよい。別の実施の形態において、オブジェクトの関連する場所を定義するメタデータが提供されてもよい。例えば、メタデータは、実演内の領域、例えば、ターゲットが表示される人物の背後（図３参照）を特定してもよい。
【００４９】
本発明の実施の形態は、例えば映画の配給者が、映画のためのゲームを創造することを可能とする。映画中のある時点において、ゲーム要素は、例えばフレームの特定の位置にテーブルがあることや、人物がかがんでいることに気づく。メタデータは、この要素の境界点をシステムに通知する。こうして、動画を受け取るそれぞれの参加者は、フレームにおけるオブジェクトの座標に基づいて、画面のどの要素がアクティブであるかを知る。ユーザによるオブジェクトとの相互作用は、例えばユーザのテレビジョン及び状況に応じてネットワークに接続されたビデオゲームを用いて、ローカルに追跡されてもよい。参加者の相互作用は、リアルタイムに、フレームにおけるオブジェクトの座標に基づいて、メディア実演に合成され、参加者がターゲットを射撃したり他の任意の参加者よりも前に反応したりしてタスクを成功させた場合にスコアを生成するために用いられてもよい。後者の例は、例えば、キャラクタ又はオブジェクトの存在を最初に発見した参加者がポイントを取得する「ワルドを探せ（Where's Waldo）」などのゲームにおいて適用されてもよい。
【００５０】
さらに、ユーザの相互作用は、メディア実演の分析を作成するために取得され用いられてもよい。例えば、視聴者が最も興味を持ったシーンを特定することができる。
【００５１】
図４Ａ−４Ｃは、本発明に係る実演空間内でメディア実演に追加されるゲームの一部としての、ユーザによるメディア実演との相互作用を示す概略的なブロック図のシリーズを提供する。本実施の形態の一例は、シューティングゲームを提供するゲームの実装である。例えば、メタデータのストリームは、サイエンスフィクション又はホラー映画の物語に仮想的なクモ４８を追加してもよい。仮想的なクモは、時々、シーン中の俳優に飛び乗ってもよい。仮想的なクモが現れると、クモは着地した俳優の背中を這い上がり始めてもよい。メタデータのストリームは、クモの動きと俳優の動きを現実的にマッチさせるように構成されてもよい。クモが、人物、テーブルの上の本、グラスなど、シーン中の別のオブジェクトの存在により、それ以上は進めない境界が確立されてもよい。メタデータのストリームは、ゲーム要素がメディア実演に重畳され混合される一連の画像内の時間ベースの制約を確立するフレーム中の参照を定義してもよい。本実施の形態において、参加者は仮想的なクモを撃つことができる。
【００５２】
ある実施の形態において、メタデータストリームは、仮想的なオブジェクトとの相互作用が、メディア実演において発生するイベントの契機となるように、メディア実演において実行されるアクションに参照される時間の音声転写を含んでもよい。例えば、仮想的なクモは、メディア実演中のキャラクタが「飛べ」と言うことが飛ぶ契機となってもよい。
【００５３】
図４Ａに示した例において、一人の視聴者のメンバー３５ａは、クモを撃つために用いられるゲームコントローラ又は他の同様の装置を有する。他の視聴者のメンバー４１は、実演を受動的に視聴してもよい。メディア実演におけるシーンにおいて俳優３７が歩いているとき、仮想的なクモ４８は俳優とともに移動し、俳優の首を噛むために俳優の背中を這い上がる。クモの前進は、図４Ｂに示すように進行してもよい。図４Ｃに示した例において、視聴者のメンバー３５ａがクモを撃ち、クモに命中する。本実施の形態において、これはクモの爆発４９により示される。クモが撃たれた（そして、俳優が首を噛まれる悲運から解放された）ので、視聴者のメンバーのスコア４０が増加される。こうして、ゲーリーのスコアが１１１に増加される。
【００５４】
メディア実演は、多数の人により多数の場所において同時に視聴されてもよい。同時に、参加者はゲームをプレーする。それぞれの参加者は、インターネットなどのネットワークによりオーバーレイ生成装置に接続してもよい。別の実施の形態において、エイリアンのオーバーレイが表示され、オーバーレイ生成部は、例えばエイリアンがテーブルに飛び乗ったり飛び降りたりすることが可能な特定のややインタラクティブなイベントをゲーム／映像生成者が重畳させる状況及び環境を確立してもよい。参加者がエイリアンを射撃しようとすると、ゲームサーバはユーザのアクションを追跡し、参加者のスコアを記録してもよい。参加者のスコアは、それぞれの参加者のテレビジョンに表示され、最も高いスコアの参加者のランキングリストとして表示されてもよい。それぞれのエイリアンを射撃するときの効果を表示するために、アニメーションがオーバーレイに追加される。
【００５５】
別の実施の形態において、既存のコンテンツを再利用することにより、インタラクティブな要素がメディア実演に追加されてもよい。例えば、戦争映画などの既存の映画にインタラクティブなレイヤーが追加されてもよい。インタラクティブなレイヤーは、映画において射撃可能なキャラクタを指定してもよい。または、上述したエイリアンの例のように、射撃可能な（仮想的な）キャラクタが映画に追加されてもよい。
【００５６】
実施の形態は、参加者の相互作用が保持されるインタラクティブな参加者のスコア記録を提供する。参加者のスコア及び／又は前回の相互作用は、後続のプレーの断片に影響を与えてもよい。例えば、参加者がエイリアンを倒すことに成功した場合、次のエイリアンは倒しにくいより大きなモンスターであってもよい。
【００５７】
別の実施の形態は、上述したように、映画館のオーバーレイにおいて参加者のアバターの輪郭を提供してもよい。しかしながら、本実施の形態において、インタラクティブな外観はスポンサー付きであってもよい。例えば、オーバーレイ生成部は、実際のコカコーラ（登録商標）の缶など、スポンサー企業の製品の画像を合成してもよい。参加者は、メディア実演のインタラクティブな部分の間に、これらの缶を拾ってターゲットに投げることができる。参加者の相互作用及びジェスチャーは、適当な入力形式に基づいてもよい。そのような入力の例として、ゲームコントローラの操作、参加者を観察するカメラにより取得された参加者の動き及びジェスチャー、又は参加者により発生されマイクロフォンにより取得された音声などがあるが、これらに限られない。本実施の形態において、オーバーレイは、フレームに示される視聴者とともに、画面の下部のフレームを含んでもよい。それぞれの参加者は、フレームに示される視聴者のメンバーとして、そのアバターにより表現される。
【００５８】
メディア実演と相互作用したい参加者は、例えば、メディア実演の部分における仮想的なオブジェクトを投げる契機として、ゲームコントローラ又は認識されるジェスチャーを用いることができる。参加者のアバターは、画面に示されるメディア実演に仮想的なオブジェクトを投げるときに画面に示されてもよい。この例において、全ての参加者のアバターがフレームに表示されるので、それぞれの参加者は、例えば視聴中に人々がターゲットに当てようとして画面にオブジェクトを投げるなど、他の全ての参加者とシーンとの相互作用を見ることができる。例として、参加者は、特定のシーンが本当に好きではないという理由で、仮想的なトマトを投げてもよい。この例において、トマトの数がシーンごとにカウントされ、この情報は、特定のシーンが人気がある、人気がない、魅力的であることなどを示唆するレポートとして、ショーの生成者に提供されてもよい。このように、本実施の形態は、視聴者に関する人口統計的な情報を取得するために有用である。
【００５９】
上述したように、本発明の特定の実施の形態の鍵となる側面は、ユーザとメディア実演中の１以上のオブジェクトとの間の、フレームレベルでの物理的過程ベースの相互作用である。すなわち、ユーザは、ゲームオーバーレイなどのオーバーレイを表示され、物理の法則（又は物理的シミュレーション）に則った方法で、基調をなすメディア実演と相互作用することができる。前述した例のように、メディア実演に表示された人物の顔に仮想的なトマトが当たることにより、仮想的なトマトが自然に変形し飛び散る衝撃が生成されてもよい。さらに、仮想的なトマトは、自然かつ現実的な態様で、表示された人物の顔から滴ってもよい。
【００６０】
本発明の更なる実施の形態は、メディア実演の要素のゲーム要素との相互作用を含む。仮想的なトマトの例において、トマトは表示された人物の顔に当たるが、表示された人物の顔は仮想的なトマトによりゆがまなくてもよい。この、本発明の更なる実施の形態においては、人物の顔がゆがんでもよい。
【００６１】
このような相互作用を容易にするために、本発明の実施の形態は、基調をなすメディア実演の要素を抽出し、そのシーンにその要素のアニメ化されたバージョンを再マッピングするための機構を含んでもよい。この観点において、基調をなすメディア実演が、チャーリー・チャップリンがシーン中のセットを歩き回る間に、水が入った透明なグラスから水を飲む、１９２０年代のチャーリー・チャップリンの年代物の映像であると仮定する。この例において、ジョイスティック又は他のゲームコントローラを用いて、アニメ化されたゴムのアヒルをグラスの中に投げ入れる機能が個人に提供される。アヒルがグラスの中に着地すると、個人にポイントが加算されるだけでなく、アヒルがグラスの中に着地したときにグラスの中の水の体積が増えるようにする。さらに、水がグラスからあふれるようにしてもよく、グラスの端に当たったが、まだグラスの中に入ったままのアヒルが、グラスの側面から弾んで水に入り、水を適切に動かしてもよい。これを実現するために、チャーリー・チャップリンの映像において元々グラスの中に表示されている水は、例えばワイヤーフレーム又は他のアニメーション技術を用いて描画されてもよい。描画されたオブジェクトは、例えばオーバーレイの一部として、実演中の元のオブジェクトを置換する。オーバーレイは、基調をなすメディア実演中でフレームごとにオブジェクトが移動するとき、元のオブジェクトを追跡してもよい。こうして、チャーリー・チャップリンは、水が入ったグラスとともに歩き回る。この水は、基調をなす画像に基づいた描画であるから、元の実演と同じように正しく表示されるが、アニメーション化された効果を表示するように修正されている。このように、オブジェクトは、ゲームオーバーレイの一部としてメディア実演に導入され、基調をなすメディア実演の一部である別のオブジェクトと相互作用してもよい。インタラクティブな形式に再描画された、メディア実演の元の一部であるオブジェクトは、そのオブジェクトへのユーザの相互作用があるまでは、元の実演と何も異ならないように表示される。水の入ったグラスに関連して上述したように、水に着地したゴムのアヒルは、グラス中の水のかさを増加させるとともに、グラスから水があふれる原因となる。
【００６２】
この技術は、多数の異なる方法において利用可能であることは当業者に理解されるところである。例えば、トマトが人に投げられる例に関連して前述したように、人の顔をかすめたトマトの一撃は、その人の顔が適当に変形される原因となってもよい。実演中のキャラクタを人が蹴る例において、蹴られた人を移動させてもよいし、又は蹴られた体の部分を反応させてもよい。本発明の本実施の形態の鍵は、物理的過程と、例えばアヒルと水などの基調をなすオブジェクトとの衝突の現実的な態様での相互作用とをモデリングすることである。このモデリングを実現するために、既知のゲーム技術が利用可能である。
【００６３】
本発明の特定の実施の形態の鍵となる側面は、既存のメディアコンテンツの部分に、インタラクティブなゲームのレイヤーを合成することと、本発明のこの態様において、メディア実演のある要素を、相互作用の物理的過程に基づいて、アニメーション化された現実的な態様での相互作用を可能とする要素のバージョンに置換することである。本発明のある実施の形態において、編集者は、物理の法則に基づいてアクティブになるように、基調をなすコンテンツの選択された部分を再描画するメタデータをフレームレベルで追加するために、選択された部分をを再利用してもよい。本発明のこの態様は、広い意味では、オブジェクト自身の物理的過程に基づいてビデオストリームにおけるオブジェクトの境界を定義するために、コンテンツの実演にメタデータを適用する。別の実施の形態において、広告情報が、ゲームのオーバーレイの一部として、又は、基調をなすコンテンツの実演におけるオブジェクトの代用として、それぞれのオーバーレイされたオブジェクトに追加されてもよい。例えば、家族が朝食を食べるシーンに登場するシリアルの箱が、物理的には同一であるが、シリアル製造者の広告ロゴを含んだシリアルの箱に置換されてもよい。同様に、ナイキ（登録商標）のロゴなどのロゴが、靴に追加されてもよい。本発明は、人物がシーン中で歩く、又は走るときに、人物の動きを追跡し、ナイキのロゴを現実的な態様で適用することができる。
【００６４】
上記は、本発明の好ましい実施の形態の完全な説明であるが、種々の代替、修正及び等価物を用いることができる。したがって、本発明の範囲は、上記の説明を参照して決定されるべきではなく、添付された特許請求の範囲をそれらと等価な範囲の全てとともに参照して決定されるべきである。ここで記述される全ての特徴は、好ましいか否かにかかわらず、ここで記述される他の全ての特徴に結合されてもよい。特許請求の範囲において、不定冠詞に続くものは、別段の明示がない限り、１以上の事項の数量をさす。添付された特許請求の範囲は、「〜するための手段」という語句を用いて明示的に限定されない限り、ミーンズプラスファンクションの限定を含むものと解釈されるべきではない。
【００６５】
この記述を通して、示された実施の形態及び実施例は例示であるとみなされるべきであり、開示又は請求された装置及び方法を限定すると解釈されるべきではない。
ここに示された多くの例は、動作又はシステム要素の特定の組み合わせを含むが、それらの動作及び要素は、同一の目的を達成するために他の態様で組み合わされてもよいことが理解されるべきである。フローチャートに関して、追加の及びより少ないステップが実行されてもよく、示されたステップは、ここで説明された方法を達成するために、組み合わせれ、又はより洗練されてもよい。ある実施の形態に関連してのみ説明された動作、要素及び特徴は、他の実施の形態における同様の役割から排除されることを意味しない。
【００６６】
請求項において列挙されたミーンズプラスファンクション限定は、記述された機能を実現するためにここで説明された手段に限定する意図ではなく、記述された機能を実現するために現在既知又は後に開発される任意の手段を範囲に含むことを意図している。
【００６７】
「備える（comprising）」、「含む（including）」、「持つ（carrying）」、「有する（having）」、「含む（containing）」、「含む（involving）」などの文言は、明細書又は請求項のいずれで用いられるかにかかわらず、制限がない、すなわち、含むことを意味し、限定することを意味しないと理解されるべきである。「〜からなる」及び「実質的に〜からなる」という接続句のみが、それぞれ、請求の範囲に関して、制限的又は半制限的な接続句である。
【００６８】
ここで、「複数の」とは、２以上であることを意味する。
【００６９】
ここで、「及び／又は」とは、列挙された項目は代替可能であり、代替物は列挙された項目の任意の組み合わせを含むことを意味する。
【特許請求の範囲】
【請求項１】
メディアの実演にリアルタイムに参加するためのシステムであって、
合成プロセッサを備え、
前記合成プロセッサは、
ａ）前記メディアの実演に示される１以上のインタラクティブな領域に関連する、時間変化するメタデータのストリームを抽出するために、前記メディアの実演を前処理することにより、参加者のオーバーレイを生成し、
ｂ）前記オーバーレイの前記１以上のインタラクティブな領域を介した前記メディアの実演との参加者の相互作用を取得し、
ｃ）前記参加者に対してディスプレーに表示するために前記オーバーレイと前記メディアの実演とを結合するようにプログラムされ、
前記参加者のオーバーレイは、シミュレートされた物理的過程を含み、前記シミュレートされた物理的過程は、前記メディアの実演における１以上のコンテンツ要素にしたがって定義された、前記１以上のインタラクティブな領域の境界を含む
ことを特徴とするシステム。
【請求項２】
前記参加者の相互作用は、前記メディアの実演における前記１以上のコンテンツ要素に対するユーザのアクション、前記メディアの実演においてアバターを介して表現されるユーザのアクション、及びゲーム要素に関連した前記メディアの実演におけるユーザのアクションのうちいずれかを含むことを特徴とする請求項１に記載のシステム。
【請求項３】
前記メディアの実演及び前記参加者のオーバーレイを同時に表示するためのディスプレーを更に備えることを特徴とする請求項１に記載のシステム。
【請求項４】
前記メディアの実演におけるリアルタイムな参加者の相互作用を容易にするために構成されたコントローラを更に備えることを特徴とする請求項３に記載のシステム。
【請求項５】
前記コントローラは、ゲームコントローラ、ジョイスティック、マウス、タッチパッド、超音波動き検知器、マイクロフォン、及びビデオカメラのうちいずれかを含むことを特徴とする請求項４に記載のシステム。
【請求項６】
少なくとも一人の参加者をそれぞれ支援する複数の参加者のロケーションと、
それぞれの参加者のロケーションを相互に接続するためのネットワークと、を更に備え、
前記合成プロセッサは、前記複数の参加者のロケーションのそれぞれにおけるそれぞれの参加者の相互作用を同時に取得し、前記参加者のロケーションのそれぞれにおけるディスプレーにリアルタイムに表示するために、それぞれの参加者の相互作用を前記オーバーレイに追加するように構成されることを特徴とする請求項１に記載のシステム。
【請求項７】
複数の参加者を支援する機能と、前記メディアの実演及び前記参加者のオーバーレイを同時に前記複数の参加者に対して表示するように構成されたディスプレーとを含む参加者のロケーションを更に備えることを特徴とする請求項１に記載のシステム。
【請求項８】
前記複数の参加者のうちのそれぞれの参加者がリアルタイムに前記メディアの実演と相互作用するための手段を更に備えることを特徴とする請求項７に記載のシステム。
【請求項９】
前記合成プロセッサは、前記参加者のロケーションにおけるローカルなプロセッサを含むことを特徴とする請求項１に記載のシステム。
【請求項１０】
前記参加者のオーバーレイを介して前記メディアの実演に対して少なくとも１つのゲームプレー要素を提供するためにプログラムされたゲームプロセッサを更に備えることを特徴とする請求項１に記載のシステム。
【請求項１１】
前記ゲームプロセッサ及び前記合成プロセッサは、前記参加者のロケーションにおいて１以上のローカルなプロセッサを含むことを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記合成プロセッサに前記メディアの実演を提供するためにプログラムされたメディアプロセッサを更に備えることを特徴とする請求項１に記載のシステム。
【請求項１３】
前記合成プロセッサは、取得した参加者の相互作用を前記メディアの実演に同期させるために更にプログラムされたことを特徴とする請求項１に記載のシステム。
【請求項１４】
前記合成プロセッサは、前記メディアの実演を予め決定されたようにマップし、前記マップにしたがって前記メディアの実演にインタラクティブな要素を追加し、前記マップに基づいて前記インタラクティブな要素との参加者の相互作用を追跡するために更にプログラムされたことを特徴とする請求項１に記載のシステム。
【請求項１５】
前記合成プロセッサは、前記相互作用の参加者の動きを追跡するために前記マップを利用し、前記参加者のオーバーレイと前記メディアの実演との間の正確な登録を維持するために更にプログラムされたことを特徴とする請求項１４に記載のシステム。
【請求項１６】
メディアの実演は、前記ディスプレーに映像として表示されることを特徴とする請求項１に記載のシステム。
【請求項１７】
前記参加者のオーバーレイは、前記参加者のアバター表現を含むことを特徴とする請求項１に記載のシステム。
【請求項１８】
前記参加者のオーバーレイは、前記メディアの実演、及び前記参加者のオーバーレイにおけるインタラクティブな要素のうちいずれかとの前記参加者の相互作用を含むことを特徴とする請求項１に記載のシステム。
【請求項１９】
前記メディアの実演の少なくとも１つの要素が前記メディアの実演から抽出されてインタラクティブな特性に再描画されることを特徴とする請求項１に記載のシステム。
【請求項２０】
メディアの実演にリアルタイムに参加するための方法であって、
ａ）前記メディアの実演に示される１以上のインタラクティブな領域に関連する、時間変化するメタデータのストリームを抽出するために、前記メディアの実演を前処理することにより、参加者のオーバーレイを生成するステップと、
ｂ）前記オーバーレイの前記１以上のインタラクティブな領域を介した前記メディアの実演との参加者の相互作用を取得するステップと、
ｃ）前記参加者に対してディスプレーに表示するために前記オーバーレイと前記メディアの実演とを結合するステップと、
ｄ）前記メディアの実演及び前記参加者のオーバーレイを同時に表示するステップと、を備え、
前記参加者のオーバーレイは、シミュレートされた物理的過程を含み、前記シミュレートされた物理的過程は、前記メディアの実演における１以上のコンテンツ要素にしたがって定義された、前記１以上のインタラクティブな領域の境界を含み、
前記相互作用は、前記メディアの実演における前記１以上のコンテンツ要素に対するユーザのアクション、前記メディアの実演においてアバターを介して表現されるユーザのアクション、及びゲーム要素に関連した前記メディアの実演におけるユーザのアクションのうちいずれかを含む
ことを特徴とする方法。
【請求項２１】
前記参加者の相互作用は、前記メディアの実演における前記１以上のコンテンツ要素に対するユーザのアクション、前記メディアの実演においてアバターを介して表現されるユーザのアクション、及びゲーム要素に関連した前記メディアの実演におけるユーザのアクションのうちいずれかを含むことを特徴とする請求項２０に記載の方法。
【請求項２２】
前記メディアの実演は、既存のコンテンツからのシーン又は他の物語の要素、前記参加者のオーバーレイに関連して利用するために用意されたコンテンツの部分、及びインタラクティブな活動のうちいずれかを含むことを特徴とする請求項２０に記載の方法。
【請求項２３】
前記メディアは、標準的なケーブル放送、衛星放送、ストリーム化されたメディア、ＤＶＤの表示、及びブルーレイの表示のいずれかを含むことを特徴とする請求項２０に記載の方法。
【請求項２４】
複数の参加者のロケーションのために、プロセッサが、
前記メディアの実演にインタラクティブな又はゲームプレーの要素を重畳するために参加者のレイヤーと前記メディアの実演を合成し、
前記メディアの実演及びインタラクティブな又はゲームプレーの要素を前記参加者のロケーションのそれぞれにおいてそれぞれの参加者に表示し、
それぞれの参加者が所定のアクションをとるために前記インタラクティブな又はゲームプレーの要素に契機を提供するためにプログラムされたことを特徴とする請求項２０に記載の方法。
【請求項２５】
前記所定のアクションに最初に成功した参加者に報酬を与えるステップと、
１以上の参加者のアクションに基づいて、前記参加者のランキングを、前記参加者のロケーションのそれぞれにおいて表示するステップと、
を更に備えることを特徴とする請求項２４に記載の方法。
【請求項２６】
前記参加者のオーバーレイを生成するステップは、前記ディスプレーの参照位置における特定のコンテンツ要素に関連するゲーム状態を可能とする契機となる、時間に基づいたアクションの共通な要素を提供することを特徴とする請求項２０に記載の方法。
【請求項２７】
前記メディアの実演中の任意の所定のタイミング、又は、参加者の相互作用のレベル又は量によりリアルタイムに決定されるタイミングで、前記参加者のオーバーレイを介して１以上の仮想的なオブジェクトを表示するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項２８】
それぞれの前記参加者にアイテムをポストする機構を提供するステップを更に備え、
所定の数のアイコンがポストされると、前記プロセッサは、前記参加者のそれぞれにインタラクティブな特徴へのアクセスを提供することを特徴とする請求項２４に記載の方法。
【請求項２９】
持続的に表示され、又は、ユーザにより呼び出される、前記参加者が前記メディアの実演に前記参加者のオーバーレイを介してインタラクティブな仮想オブジェクトを追加することが可能なアクションのメニューを提供するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項３０】
前記メニュー中の前記アクションは、
前記参加者のオーバーレイにおける吹き出しを介して前記ディスプレーに参加者のコメントをポストするアクションと、
前記参加者のオーバーレイに仮想オブジェクトを配置及び／又はアニメーション表示するアクションと、
前記参加者のオーバーレイにおいて反応及び／又は意見を表現するためのアイコン又はシンボルをポストするアクションと、を含むことを特徴とする請求項２９に記載の方法。
【請求項３１】
前記境界は、前記ディスプレーでのユーザの相互作用の領域を制限する、前記参加者のオーバーレイ内で定義された１以上の境界を含むことを特徴とする請求項２０に記載の方法。
【請求項３２】
前記境界は、前記メディアの実演のコンテンツ要素の輪郭に対応して定義された１以上の境界を含むことを特徴とする請求項２０に記載の方法。
【請求項３３】
前記参加者のオーバーレイにおいて、それぞれの参加者に個人的なアバターを提供するステップを更に備えることを特徴とする請求項２４に記載の方法。
【請求項３４】
前記物理的な境界は、前記参加者のオーバーレイ内の仮想オブジェクトの１以上の参照場所を含むことを特徴とする請求項２０に記載の方法。
【請求項３５】
前記参加者のオーバーレイが関連付けられる前記メディアの実演内の１以上の特定の場所を定義するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項３６】
前記メディアの実演中の予め決められた又は参加者により決められた時点に、前記参加者のオーバーレイにゲーム及び／又はゲーム要素を提供するステップと、
メディアの実演のフレーム内の特定の位置に、前記ゲーム及び／又はゲーム要素の境界を定義するステップと、
いずれのゲーム及び／又はゲーム要素がアクティブであるかを前記参加者のそれぞれに確認するステップと、
前記ゲーム及び／又はゲーム要素とのユーザの相互作用を追跡するステップと、
前記メディアの現実の実演中に、前記ゲーム及び／又はゲーム要素の座標に基づいて、前記ゲーム及び／又はゲーム要素との前記参加者の相互作用を結合し、それぞれの前記参加者の相互作用に前記フレームを合成し、付随的に、前記ゲーム及び／又はゲーム要素に関連したタスクに参加者が成功したときにスコアを生成するステップと、
を更に備えることを特徴とする請求項２０に記載の方法。
【請求項３７】
取得した参加者の相互作用に基づいて前記メディアの実演の分析を生成するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項３８】
ａ）、ｂ）、及びｃ）はシューティングゲームを提供することを特徴とする請求項２０に記載の方法。
【請求項３９】
複数の前記参加者のロケーションにおいて、それぞれがネットワークを介して前記オーバーレイプロセッサと通信可能な複数の前記参加者に表示される、対応する独立名メディアの実演中に、複数の前記参加者による同時のゲームプレーのために前記シューティングゲームを提供するステップと、
前記参加者がオーバーレイを表示したときに特定のインタラクティブなイベントが重畳される条件及び環境を確立するステップと、
前記参加者が前記インタラクティブな要素を撃とうとしたときに参加者のアクションを追跡し、参加者のスコアを記録するステップと、
前記インタラクティブな要素を撃つ前記参加者のそれぞれの効果を表示するために前記参加者のオーバーレイにアニメーションを追加するステップと、
前記参加者のオーバーレイを介してそれぞれの前記参加者に前記アニメーションを表示するステップと、
を更に備えることを特徴とする請求項３８に記載の方法。
【請求項４０】
前記参加者のオーバーレイを介してそれぞれの参加者に高得点の参加者のランキングリストを表示するステップを更に備えることを特徴とする請求項３９に記載の方法。
【請求項４１】
メディアの実演のフレームにおいてコンテンツ要素と衝突する可能性があるために参加者の相互作用がそれを越えては不可能となる前記メディアの実演に関連する前記参加者のオーバーレイの境界を確立するステップと、
インタラクティブな要素が前記メディアの実演に重畳され混合される時間的に順序付けられた画像内で制約を確立する、前記フレーム内に参照を定義するステップと、
を更に備えることを特徴とする請求項２０に記載の方法。
【請求項４２】
既存のコンテンツを再利用してメディアの実演にインタラクティブな部分を追加するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項４３】
参加者の相互作用が格納されるインタラクティブな参加者のスコア登録を提供するステップと、
前記参加者のレイヤーに対する参加者の以前の相互作用又は参加者のスコアの観点に対応して前記参加者のプレーの次のセグメントを決定するステップと、
を更に備えることを特徴とする請求項２０に記載の方法。
【請求項４４】
画面の下部に視聴者を示すフレームを含む映画館のオーバーレイに参加者のアバターの輪郭を提供するステップと、
スポンサーが付けられたインタラクティブな要素を提供するステップと、
ゲームコントローラの操作、及び前記参加者を観察するカメラにより取得された参加者の動き及びジェスチャーのいずれかに基づいて、前記スポンサーが付けられたインタラクティブな要素に関連した参加者の相互作用及びジェスチャーを取得するステップと、
前記視聴者のメンバーを含むアバターとして前記視聴者の中の複数の参加者を表示するステップと、
前記スポンサーが付けられた要素に関連する取得した参加者の相互作用及びジェスチャーを識別し、前記画面上の前記参加者のアバターによる対応するアクションを表示するステップと、を更に備え、
全ての参加者が、他の統べたの参加者の相互作用及びジェスチャーを視認可能であることを特徴とする請求項２０に記載の方法。
【請求項４５】
それぞれのインタラクティブな要素に対する参加者の相互作用及びジェスチャーの数を決定するステップと、
特定の参加者に関連する前記メディアの実演の部分の娯楽的な価値を示唆する報告を生成するステップと、
を更に備えることを特徴とする請求項４４に記載の方法。
【請求項４６】
１以上の参加者に関連する人口統計的な情報を取得するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項４７】
前記メディアの実演の少なくとも一つの要素を抽出するステップと、
抽出された前記少なくとも一つの要素をインタラクティブな特性に再描画するステップと、
を備えることを特徴とする請求項２０に記載の方法。
【請求項４８】
ディスプレーと、
前記ディスプレーに結合され、既存の映像コンテンツに、前記既存の映像コンテンツのシーンに重畳された１以上の仮想オブジェクトとのユーザの相互作用を許容するインタラクティブなオーバーレイを合成するように構成されたプロセッサと、を備え、
前記オーバーレイは、シミュレートされた物理的過程を含み、
前記物理的過程は、前記映像コンテンツの１以上のコンテンツ要素にしたがって定義された境界を含む
ことを特徴とするゲームシステム。
【請求項４９】
インタラクティブなオーバーレイは、相互作用が許可され又は禁止されるシーンの１以上の領域を定義するための情報を含むことを特徴とする請求項４８に記載のシステム。
【請求項５０】
インタラクティブなオーバーレイは、１以上の仮想オブジェクトを定義するための情報を含むことを特徴とする請求項４８に記載のシステム。
【請求項５１】
１以上の仮想オブジェクトは、広告コンテンツを含む１以上のブランド名オブジェクトを含むことを特徴とする請求項４８に記載のシステム。
【請求項５２】
相互作用は、既存の映像コンテンツの１以上のコンテンツ要素の性質に基づくことを特徴とする請求項４８に記載のシステム。
【請求項１】
メディアの実演にリアルタイムに参加するためのシステムであって、
合成プロセッサを備え、
前記合成プロセッサは、
ａ）前記メディアの実演に示される１以上のインタラクティブな領域に関連する、時間変化するメタデータのストリームを抽出するために、前記メディアの実演を前処理することにより、参加者のオーバーレイを生成し、
ｂ）前記オーバーレイの前記１以上のインタラクティブな領域を介した前記メディアの実演との参加者の相互作用を取得し、
ｃ）前記参加者に対してディスプレーに表示するために前記オーバーレイと前記メディアの実演とを結合するようにプログラムされ、
前記参加者のオーバーレイは、シミュレートされた物理的過程を含み、前記シミュレートされた物理的過程は、前記メディアの実演における１以上のコンテンツ要素にしたがって定義された、前記１以上のインタラクティブな領域の境界を含む
ことを特徴とするシステム。
【請求項２】
前記参加者の相互作用は、前記メディアの実演における前記１以上のコンテンツ要素に対するユーザのアクション、前記メディアの実演においてアバターを介して表現されるユーザのアクション、及びゲーム要素に関連した前記メディアの実演におけるユーザのアクションのうちいずれかを含むことを特徴とする請求項１に記載のシステム。
【請求項３】
前記メディアの実演及び前記参加者のオーバーレイを同時に表示するためのディスプレーを更に備えることを特徴とする請求項１に記載のシステム。
【請求項４】
前記メディアの実演におけるリアルタイムな参加者の相互作用を容易にするために構成されたコントローラを更に備えることを特徴とする請求項３に記載のシステム。
【請求項５】
前記コントローラは、ゲームコントローラ、ジョイスティック、マウス、タッチパッド、超音波動き検知器、マイクロフォン、及びビデオカメラのうちいずれかを含むことを特徴とする請求項４に記載のシステム。
【請求項６】
少なくとも一人の参加者をそれぞれ支援する複数の参加者のロケーションと、
それぞれの参加者のロケーションを相互に接続するためのネットワークと、を更に備え、
前記合成プロセッサは、前記複数の参加者のロケーションのそれぞれにおけるそれぞれの参加者の相互作用を同時に取得し、前記参加者のロケーションのそれぞれにおけるディスプレーにリアルタイムに表示するために、それぞれの参加者の相互作用を前記オーバーレイに追加するように構成されることを特徴とする請求項１に記載のシステム。
【請求項７】
複数の参加者を支援する機能と、前記メディアの実演及び前記参加者のオーバーレイを同時に前記複数の参加者に対して表示するように構成されたディスプレーとを含む参加者のロケーションを更に備えることを特徴とする請求項１に記載のシステム。
【請求項８】
前記複数の参加者のうちのそれぞれの参加者がリアルタイムに前記メディアの実演と相互作用するための手段を更に備えることを特徴とする請求項７に記載のシステム。
【請求項９】
前記合成プロセッサは、前記参加者のロケーションにおけるローカルなプロセッサを含むことを特徴とする請求項１に記載のシステム。
【請求項１０】
前記参加者のオーバーレイを介して前記メディアの実演に対して少なくとも１つのゲームプレー要素を提供するためにプログラムされたゲームプロセッサを更に備えることを特徴とする請求項１に記載のシステム。
【請求項１１】
前記ゲームプロセッサ及び前記合成プロセッサは、前記参加者のロケーションにおいて１以上のローカルなプロセッサを含むことを特徴とする請求項１０に記載のシステム。
【請求項１２】
前記合成プロセッサに前記メディアの実演を提供するためにプログラムされたメディアプロセッサを更に備えることを特徴とする請求項１に記載のシステム。
【請求項１３】
前記合成プロセッサは、取得した参加者の相互作用を前記メディアの実演に同期させるために更にプログラムされたことを特徴とする請求項１に記載のシステム。
【請求項１４】
前記合成プロセッサは、前記メディアの実演を予め決定されたようにマップし、前記マップにしたがって前記メディアの実演にインタラクティブな要素を追加し、前記マップに基づいて前記インタラクティブな要素との参加者の相互作用を追跡するために更にプログラムされたことを特徴とする請求項１に記載のシステム。
【請求項１５】
前記合成プロセッサは、前記相互作用の参加者の動きを追跡するために前記マップを利用し、前記参加者のオーバーレイと前記メディアの実演との間の正確な登録を維持するために更にプログラムされたことを特徴とする請求項１４に記載のシステム。
【請求項１６】
メディアの実演は、前記ディスプレーに映像として表示されることを特徴とする請求項１に記載のシステム。
【請求項１７】
前記参加者のオーバーレイは、前記参加者のアバター表現を含むことを特徴とする請求項１に記載のシステム。
【請求項１８】
前記参加者のオーバーレイは、前記メディアの実演、及び前記参加者のオーバーレイにおけるインタラクティブな要素のうちいずれかとの前記参加者の相互作用を含むことを特徴とする請求項１に記載のシステム。
【請求項１９】
前記メディアの実演の少なくとも１つの要素が前記メディアの実演から抽出されてインタラクティブな特性に再描画されることを特徴とする請求項１に記載のシステム。
【請求項２０】
メディアの実演にリアルタイムに参加するための方法であって、
ａ）前記メディアの実演に示される１以上のインタラクティブな領域に関連する、時間変化するメタデータのストリームを抽出するために、前記メディアの実演を前処理することにより、参加者のオーバーレイを生成するステップと、
ｂ）前記オーバーレイの前記１以上のインタラクティブな領域を介した前記メディアの実演との参加者の相互作用を取得するステップと、
ｃ）前記参加者に対してディスプレーに表示するために前記オーバーレイと前記メディアの実演とを結合するステップと、
ｄ）前記メディアの実演及び前記参加者のオーバーレイを同時に表示するステップと、を備え、
前記参加者のオーバーレイは、シミュレートされた物理的過程を含み、前記シミュレートされた物理的過程は、前記メディアの実演における１以上のコンテンツ要素にしたがって定義された、前記１以上のインタラクティブな領域の境界を含み、
前記相互作用は、前記メディアの実演における前記１以上のコンテンツ要素に対するユーザのアクション、前記メディアの実演においてアバターを介して表現されるユーザのアクション、及びゲーム要素に関連した前記メディアの実演におけるユーザのアクションのうちいずれかを含む
ことを特徴とする方法。
【請求項２１】
前記参加者の相互作用は、前記メディアの実演における前記１以上のコンテンツ要素に対するユーザのアクション、前記メディアの実演においてアバターを介して表現されるユーザのアクション、及びゲーム要素に関連した前記メディアの実演におけるユーザのアクションのうちいずれかを含むことを特徴とする請求項２０に記載の方法。
【請求項２２】
前記メディアの実演は、既存のコンテンツからのシーン又は他の物語の要素、前記参加者のオーバーレイに関連して利用するために用意されたコンテンツの部分、及びインタラクティブな活動のうちいずれかを含むことを特徴とする請求項２０に記載の方法。
【請求項２３】
前記メディアは、標準的なケーブル放送、衛星放送、ストリーム化されたメディア、ＤＶＤの表示、及びブルーレイの表示のいずれかを含むことを特徴とする請求項２０に記載の方法。
【請求項２４】
複数の参加者のロケーションのために、プロセッサが、
前記メディアの実演にインタラクティブな又はゲームプレーの要素を重畳するために参加者のレイヤーと前記メディアの実演を合成し、
前記メディアの実演及びインタラクティブな又はゲームプレーの要素を前記参加者のロケーションのそれぞれにおいてそれぞれの参加者に表示し、
それぞれの参加者が所定のアクションをとるために前記インタラクティブな又はゲームプレーの要素に契機を提供するためにプログラムされたことを特徴とする請求項２０に記載の方法。
【請求項２５】
前記所定のアクションに最初に成功した参加者に報酬を与えるステップと、
１以上の参加者のアクションに基づいて、前記参加者のランキングを、前記参加者のロケーションのそれぞれにおいて表示するステップと、
を更に備えることを特徴とする請求項２４に記載の方法。
【請求項２６】
前記参加者のオーバーレイを生成するステップは、前記ディスプレーの参照位置における特定のコンテンツ要素に関連するゲーム状態を可能とする契機となる、時間に基づいたアクションの共通な要素を提供することを特徴とする請求項２０に記載の方法。
【請求項２７】
前記メディアの実演中の任意の所定のタイミング、又は、参加者の相互作用のレベル又は量によりリアルタイムに決定されるタイミングで、前記参加者のオーバーレイを介して１以上の仮想的なオブジェクトを表示するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項２８】
それぞれの前記参加者にアイテムをポストする機構を提供するステップを更に備え、
所定の数のアイコンがポストされると、前記プロセッサは、前記参加者のそれぞれにインタラクティブな特徴へのアクセスを提供することを特徴とする請求項２４に記載の方法。
【請求項２９】
持続的に表示され、又は、ユーザにより呼び出される、前記参加者が前記メディアの実演に前記参加者のオーバーレイを介してインタラクティブな仮想オブジェクトを追加することが可能なアクションのメニューを提供するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項３０】
前記メニュー中の前記アクションは、
前記参加者のオーバーレイにおける吹き出しを介して前記ディスプレーに参加者のコメントをポストするアクションと、
前記参加者のオーバーレイに仮想オブジェクトを配置及び／又はアニメーション表示するアクションと、
前記参加者のオーバーレイにおいて反応及び／又は意見を表現するためのアイコン又はシンボルをポストするアクションと、を含むことを特徴とする請求項２９に記載の方法。
【請求項３１】
前記境界は、前記ディスプレーでのユーザの相互作用の領域を制限する、前記参加者のオーバーレイ内で定義された１以上の境界を含むことを特徴とする請求項２０に記載の方法。
【請求項３２】
前記境界は、前記メディアの実演のコンテンツ要素の輪郭に対応して定義された１以上の境界を含むことを特徴とする請求項２０に記載の方法。
【請求項３３】
前記参加者のオーバーレイにおいて、それぞれの参加者に個人的なアバターを提供するステップを更に備えることを特徴とする請求項２４に記載の方法。
【請求項３４】
前記物理的な境界は、前記参加者のオーバーレイ内の仮想オブジェクトの１以上の参照場所を含むことを特徴とする請求項２０に記載の方法。
【請求項３５】
前記参加者のオーバーレイが関連付けられる前記メディアの実演内の１以上の特定の場所を定義するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項３６】
前記メディアの実演中の予め決められた又は参加者により決められた時点に、前記参加者のオーバーレイにゲーム及び／又はゲーム要素を提供するステップと、
メディアの実演のフレーム内の特定の位置に、前記ゲーム及び／又はゲーム要素の境界を定義するステップと、
いずれのゲーム及び／又はゲーム要素がアクティブであるかを前記参加者のそれぞれに確認するステップと、
前記ゲーム及び／又はゲーム要素とのユーザの相互作用を追跡するステップと、
前記メディアの現実の実演中に、前記ゲーム及び／又はゲーム要素の座標に基づいて、前記ゲーム及び／又はゲーム要素との前記参加者の相互作用を結合し、それぞれの前記参加者の相互作用に前記フレームを合成し、付随的に、前記ゲーム及び／又はゲーム要素に関連したタスクに参加者が成功したときにスコアを生成するステップと、
を更に備えることを特徴とする請求項２０に記載の方法。
【請求項３７】
取得した参加者の相互作用に基づいて前記メディアの実演の分析を生成するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項３８】
ａ）、ｂ）、及びｃ）はシューティングゲームを提供することを特徴とする請求項２０に記載の方法。
【請求項３９】
複数の前記参加者のロケーションにおいて、それぞれがネットワークを介して前記オーバーレイプロセッサと通信可能な複数の前記参加者に表示される、対応する独立名メディアの実演中に、複数の前記参加者による同時のゲームプレーのために前記シューティングゲームを提供するステップと、
前記参加者がオーバーレイを表示したときに特定のインタラクティブなイベントが重畳される条件及び環境を確立するステップと、
前記参加者が前記インタラクティブな要素を撃とうとしたときに参加者のアクションを追跡し、参加者のスコアを記録するステップと、
前記インタラクティブな要素を撃つ前記参加者のそれぞれの効果を表示するために前記参加者のオーバーレイにアニメーションを追加するステップと、
前記参加者のオーバーレイを介してそれぞれの前記参加者に前記アニメーションを表示するステップと、
を更に備えることを特徴とする請求項３８に記載の方法。
【請求項４０】
前記参加者のオーバーレイを介してそれぞれの参加者に高得点の参加者のランキングリストを表示するステップを更に備えることを特徴とする請求項３９に記載の方法。
【請求項４１】
メディアの実演のフレームにおいてコンテンツ要素と衝突する可能性があるために参加者の相互作用がそれを越えては不可能となる前記メディアの実演に関連する前記参加者のオーバーレイの境界を確立するステップと、
インタラクティブな要素が前記メディアの実演に重畳され混合される時間的に順序付けられた画像内で制約を確立する、前記フレーム内に参照を定義するステップと、
を更に備えることを特徴とする請求項２０に記載の方法。
【請求項４２】
既存のコンテンツを再利用してメディアの実演にインタラクティブな部分を追加するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項４３】
参加者の相互作用が格納されるインタラクティブな参加者のスコア登録を提供するステップと、
前記参加者のレイヤーに対する参加者の以前の相互作用又は参加者のスコアの観点に対応して前記参加者のプレーの次のセグメントを決定するステップと、
を更に備えることを特徴とする請求項２０に記載の方法。
【請求項４４】
画面の下部に視聴者を示すフレームを含む映画館のオーバーレイに参加者のアバターの輪郭を提供するステップと、
スポンサーが付けられたインタラクティブな要素を提供するステップと、
ゲームコントローラの操作、及び前記参加者を観察するカメラにより取得された参加者の動き及びジェスチャーのいずれかに基づいて、前記スポンサーが付けられたインタラクティブな要素に関連した参加者の相互作用及びジェスチャーを取得するステップと、
前記視聴者のメンバーを含むアバターとして前記視聴者の中の複数の参加者を表示するステップと、
前記スポンサーが付けられた要素に関連する取得した参加者の相互作用及びジェスチャーを識別し、前記画面上の前記参加者のアバターによる対応するアクションを表示するステップと、を更に備え、
全ての参加者が、他の統べたの参加者の相互作用及びジェスチャーを視認可能であることを特徴とする請求項２０に記載の方法。
【請求項４５】
それぞれのインタラクティブな要素に対する参加者の相互作用及びジェスチャーの数を決定するステップと、
特定の参加者に関連する前記メディアの実演の部分の娯楽的な価値を示唆する報告を生成するステップと、
を更に備えることを特徴とする請求項４４に記載の方法。
【請求項４６】
１以上の参加者に関連する人口統計的な情報を取得するステップを更に備えることを特徴とする請求項２０に記載の方法。
【請求項４７】
前記メディアの実演の少なくとも一つの要素を抽出するステップと、
抽出された前記少なくとも一つの要素をインタラクティブな特性に再描画するステップと、
を備えることを特徴とする請求項２０に記載の方法。
【請求項４８】
ディスプレーと、
前記ディスプレーに結合され、既存の映像コンテンツに、前記既存の映像コンテンツのシーンに重畳された１以上の仮想オブジェクトとのユーザの相互作用を許容するインタラクティブなオーバーレイを合成するように構成されたプロセッサと、を備え、
前記オーバーレイは、シミュレートされた物理的過程を含み、
前記物理的過程は、前記映像コンテンツの１以上のコンテンツ要素にしたがって定義された境界を含む
ことを特徴とするゲームシステム。
【請求項４９】
インタラクティブなオーバーレイは、相互作用が許可され又は禁止されるシーンの１以上の領域を定義するための情報を含むことを特徴とする請求項４８に記載のシステム。
【請求項５０】
インタラクティブなオーバーレイは、１以上の仮想オブジェクトを定義するための情報を含むことを特徴とする請求項４８に記載のシステム。
【請求項５１】
１以上の仮想オブジェクトは、広告コンテンツを含む１以上のブランド名オブジェクトを含むことを特徴とする請求項４８に記載のシステム。
【請求項５２】
相互作用は、既存の映像コンテンツの１以上のコンテンツ要素の性質に基づくことを特徴とする請求項４８に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公表番号】特表２０１１−５１８６１２（Ｐ２０１１−５１８６１２Ａ）
【公表日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願番号】特願２０１１−５０６３５１（Ｐ２０１１−５０６３５１）
【出願日】平成２１年４月９日（２００９．４．９）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０４００７６
【国際公開番号】ＷＯ２００９／１３１８４６
【国際公開日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（５００５５１０７９）ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー (95)
【Ｆターム（参考）】
【公表日】平成２３年６月３０日（２０１１．６．３０）
【国際特許分類】
【出願日】平成２１年４月９日（２００９．４．９）
【国際出願番号】ＰＣＴ／ＵＳ２００９／０４００７６
【国際公開番号】ＷＯ２００９／１３１８４６
【国際公開日】平成２１年１０月２９日（２００９．１０．２９）
【出願人】（５００５５１０７９）ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー (95)
【Ｆターム（参考）】
[ Back to top ]