模倣した演技をシーンに挿入し、同一性の評価を付与するスキーム
【解決手段】参照映像セグメントの選択を受け取り（１０２）、実演をカメラで撮影し（１０４）、前記参照映像セグメントを表す前記撮影された実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成し（１０６）、前記新たな映像セグメントを表示する（１０８）実演に関して用いられる方法である。別の方法は、オンラインコミュニティに参照映像セグメントを表示し（９０８）、撮影された前記実演の一部分に関するフィードバックを前記クライアント装置に提供する（９１０）。別の方法は、実演における一つ以上の観点とそれと対応する参照実演における観点とを比較し（６０６）、実演が参照実演とどれ程度密接にマッチしているかを示す表示を生成する（６０８）ことを含む。別の態様は、上述の一またはそれ以上のステップをプロセッサベースのシステム１１００に実行させるプログラムを格納した記録媒体である。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、２００７年１２月２１日に出願された「模倣した演技をシーンに挿入し、同一性の評価を付与するスキーム」と題する米国仮出願第６１／０１６，２１６号の優先権を主張し、開示内容全体を参照によりここに完全に組み入れる。
【０００２】
本発明は、一般的には映像エンタテインメントに関し、特に、対話型の映像エンタテインメントに関する。
【背景技術】
【０００３】
最もポピュラーな娯楽の形態のひとつとして、テレビ、映画、およびビデオを鑑賞することがある。ＤＶＤ（Digital Video Disk）、ＤＶＲ（Digital Video Recorder）、およびＶＯＤ（Video on Demand）のような技術によって、愛好者達はお気に入りの映画やショーを何度でも見ることができるようになった。
【０００４】
娯楽における別のポピュラーな形態として、ビデオゲームがある。商用で市販されているゲーム端末機によって、ユーザは自宅で快適にビデオゲームで遊ぶことが可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
いくつかのゲームは極めて人気が出て莫大な収益を生み出すので、ビデオゲーム業界は次のヒットビデオゲームを開発すべくたゆまぬ努力を続けている。
【課題を解決するための手段】
【０００６】
ある実施の形態は、実演に関して用いられる方法を提供する。この方法は、参照映像セグメントの選択を受け取る受信ステップと、実演をカメラで撮影するステップと、前記参照映像セグメントを表し、前記撮影された実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、前記新たな映像セグメントをディスプレイに表示するステップとを含む。ここで前記カメラおよび前記ディスプレイは、前記受信ステップおよび前記生成ステップを実行する前記プロセッサベースのシステムに接続している。
【０００７】
他の実施の形態は、実演に関して用いられる方法を提供する。この方法は、オンラインコミュニティに参照映像セグメントを表示するステップと、クライアント装置に接続されている、実演を撮影するカメラからデータを受け取るステップと、前記参照映像セグメントを表し、撮影された前記実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、オンラインコミュニティに新たな映像セグメントの表現を表示するステップと、撮影された前記実演の一部分に関するフィードバックを前記クライアント装置に提供するステップとを含む。
【０００８】
他の実施の形態は、実演に関して用いられる方法を提供する。この方法は、実演をカメラで撮影するステップと、前記実演を表現する出力データを前記カメラから受け取るステップと、前記出力データを処理して、実演における一つ以上の観点とそれと対応する参照実演における観点とを比較するステップと、実演が参照実演とどれくらい密接にマッチしているかを示す指標を生成するステップとを含む。
【０００９】
他の実施の形態では、本発明は、上述のいずれかの方法をプロセッサベースのシステムに実行させるコンピュータプログラムを格納した記録媒体を提供する。
【００１０】
例えば、別の実地の形態は、プロセッサベースのシステムにステップを実行させるプログラムを格納する記録媒体を提供する。ここで前記プログラムは、参照映像セグメントの選択を受け取る受信ステップと、実演をカメラで撮影するステップと、前記参照映像セグメントを表し、前記撮影された実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、前記新たな映像セグメントをディスプレイに表示するステップとを実行させ、前記カメラおよび前記ディスプレイは、前記受信ステップおよび前記生成ステップを実行する前記プロセッサベースのシステムに接続している。
【００１１】
別の実施の形態は、オンラインコミュニティに参照映像セグメントを表示するステップと、クライアント装置に接続されている、実演を撮影するカメラからデータを受け取るステップと、前記参照映像セグメントを表し、撮影された前記実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、オンラインコミュニティに新たな映像セグメントの表現を表示するステップと、撮影された前記実演の一部分に関するフィードバックを前記クライアント装置に提供するステップとをプロセッサベースのシステムに実行させるプログラムを格納した記録媒体を提供する。
【００１２】
別の実施の形態は、実演をカメラで撮影するステップと、前記実演を表現する出力データを前記カメラから受け取るステップと、前記出力データを処理して、実演における一つ以上の観点とそれと対応する参照実演における観点とを比較するステップと、実演が参照実演とどれくらい密接にマッチしているかを示す指標を生成するステップとをプロセッサベースのシステムに実行させるプログラムを格納した記録媒体を提供する。
【００１３】
発明の実施の形態の原理が用いられた具体的な実施の形態を説明する以下の詳細な説明と付随する図面とを参照することによって、本発明の実施の様々な実施の形態の特徴および有利性のより良い理解が得られる。
【図面の簡単な説明】
【００１４】
本発明の実施の形態にかかる上述および他の態様、特徴、および利点が、以下の図面とともに提示される以下のより具体的な明細書から、さらに明らかになる。
【図１】本発明の実施の形態に係る実演に関して用いられる方法を説明するフローチャートである。
【図２】図２Ａ、図２Ｂ、および図２Ｃは、本発明の実施の形態にしたがって用いられる参照映像セグメント例の代表フレームを説明するスクリーンショットである。
【図３】本発明の実施の形態にかかるユーザの実演を示す図である。
【図４】図４Ａ，図４Ｂ，および図４Ｃは、本発明の実施の形態にかかるユーザの実演の代表フレームを説明するスクリーンショットである。
【図５】図５Ａ、図５Ｂ、および図５Ｃは、本発明の実施の形態にしたがって生成される新たな映像セグメントの代表フレームを説明するスクリーンショットである。
【図６】本発明の別の実施の形態にしたがって実演に関して用いられる方法を説明するフローチャートである。
【図７】図７Ａ、図７Ｂ、および図７Ｃは、本発明の実施の形態にしたがって生成される新たな映像セグメントの代表フレームを説明するスクリーンショットである。
【図８】図８Ａ、図８Ｂ、および図８Ｃは、本発明の実施の形態にしたがって生成される新たな映像セグメントの代表フレームを説明するスクリーンショットである。
【図９】本発明のさらに別の実施の形態にしたがって実演に関して用いられる方法を説明するフローチャートである。
【図１０】本発明の実施の形態にしたがって動作するシステムを説明する図である。
【図１１】本発明の実施の形態にしたがって以下に記述される起動、実装および／または実行される方法および／または技術で用いられるプロセッサベースのシステムを図示するブロック図である。
【発明を実施するための形態】
【００１５】
テレビや映画、ビデオを見ることは受け身的な娯楽である。すなわち、ひとたび個人が映画館に入館したり、テレビ番組を選択したり、あるいはＤＶＤを再生したりすると、その映像の娯楽による体験は、主として受け身的である。ビデオを鑑賞する個人は、そのビデオを見る度に、通常は同じ体験を得る。
【００１６】
一方で、ビデオゲームを遊ぶ人は、ビデオゲームをプレイするスリルを知っている。これらのいわゆる「ゲーマー」達は、コントローラ、ゲームパッド、ジョイスティック、あるいはボタンを用いて人工的に生成された環境、すなわち「バーチャルワールド」の中のキャラクタを操作する。例えば、ゲーマーはフットボールゲームにおけるお気に入りのフットボール選手をゲームパッドを用いて操作したり、他のゲームにおける漫画のキャラクタをジョイスティックを用いて操作したりする。結果を制御する能力は、そのビデオゲームの体験を豊かにし、面白くし、そしてそのゲームをプレイする度に異なる体験となる可能性を秘めている。
【００１７】
その一方で、近年の映像設備や映像記憶技術にかかる費用の減少により、個人が自分自身の映像を安価に作成できるようになった。個人はしばしば、特定の視聴者向けの内容の映像を作成する。例えばその内容は、個人やその友人が歌ったり、踊ったり、演技をしたり、あるいは他の面白い動作を実演する様子を描写するものである。これらの映像は、映像共有サイトを通じて大規模な視聴コミュニティにおいて頻繁に共有される。
【００１８】
この点に関し、テレビや映画、ビデオを受け身的に鑑賞することで楽しめるのであれば、多くの視聴者はより双方向の体験も楽しめるのではないかと発明者は認識した。例えば、お気に入りの映画やテレビシーンにおける会話を記憶していることはあまりないが、楽しみのために友人や家族の前で有名なシーン演じてみせることはよくあることである。
【００１９】
本発明のある実施の形態は、映画やテレビ番組、および他の映像を含む双方向体験を提供することができる。例えば、ある実施の形態によれば、お気に入りの映画やテレビシーンの中に実際にプレイヤ、実演者、または他のユーザを登場させることができる。つまり、プレイヤはカメラの前で自身でシーンを演じる。例えば、あるプレイヤは、有名や役者や、歌手、ダンサーなどの実演を模倣する。そうすると、撮影された実演の少なくとも一部分は、オリジナルシーンの対応する部分の置き換えに用いられる。これにより、プレイヤに楽しみ、愉快な経験、そしてできる限りそっくりにオリジナルシーンを真似ようとする意欲を与えることができる。
【００２０】
以下に記載された方法および技術を用いることにより、プレイヤや他のユーザは、単にシーンを受け身的に鑑賞するよりもいっそう双方向的な体験が得られる。例えば、以下に記載された方法および技術は、背景画像、映像、音声および脇役に関して土台を配置する。その後、プレイヤが完全にゲームに没入するように、そのゲームに加えられ、重ねられる。プレイヤがゲームに没頭するのみならず、プレイヤは有名な動画やテレビシーンの中に没入する。多くのプレイヤは、この経験を非常に愉快でやりがいのあると感じ、特に俳優やテレビの有名人になることを目指す場合であればなおさらである。
【００２１】
図１は、本発明の実施の形態にしたがって動作する方法１００を説明する。方法１００は、ステップ１０２において参照映像セグメントの選択を受け取ったときに開始する。参照映像セグメントは、ユーザが模倣または演じようとする映像セグメントを含んでいる。参照映像セグメントは、それ自体としては、何らかの面白い動作に従事している少なくとも一人の登場人物を表示するものが好ましい。典型的には、ユーザはその登場人物の演技の模倣を試みる。
【００２２】
ある実施の形態では、方法１００は少なくとも部分的には、エンタテインメントシステムはゲームコンソール等のプロセッサベースのシステムに実装される。この場合、参照映像セグメントの選択は、プロセッサベースのシステムによって受け取られることになる。その映像セグメントは、キーボードやマウス、ゲームパッド、ビデオゲームコントローラ、テレビのコントローラ、ＤＶＤのコントローラ、リモコン、その他好適な選択装置を用いて選択される。
【００２３】
ある実施の形態では、ユーザは、プロセッサベースのシステムに最初から組み込まれている有名な映画、テレビ番組、表彰式等のシーンから選択することができる。参照映像セグメントはあらゆる作品からの映像セグメントを含む。そのような作品の例としては、既に公開されている映画、テレビ番組、テレビ放送、ビデオゲーム、スポーツイベント、ミュージックビデオ等があげられる。例えば、参照映像セグメントは映画やテレビ番組、録画された実演、ミュージックビデオ、コマーシャル、トレーニングビデオ、その他録画された映像からのどのようなシーンでもよい。ある実施の形態では、さらなるシーンや台詞をオンラインストアやオンラインライブラリ等からダウンロードすることができる。オリジナルの実演がどのようなものだったかを見ることができるために、ユーザはシステムを用いてオリジナルの劇場のシーンを見ることができる。ある実施の形態では、ユーザは独白や脚本をシステムからプリントアウトしたり、それらを手動で生成したりすることができる。
【００２４】
ステップ１０４において、カメラで実演が撮影される。実演はユーザや他の人間、あるいは動物によるものでもよい。実演は、選択した参照映像セグメントの登場人物のうちの一人のアクションと関連していることが好ましい。実演はしばしば、ユーザあるいは他の人間が参照映像セグメントの登場人物の実演を模倣、再現、複製、あるいは滑稽に真似ようとすることになる。一方で、当然のことながら、実演はカメラの前でユーザがじっと立っているものでしかない。
【００２５】
ある実施の形態では、カメラは上述のプロセッサベースのシステムと接続している。カメラはどのタイプのカメラやイメージキャプチャ装置を含み、例えばデジタルカメラ、ウェブカメラ、または類似のカメラである。例として、カメラは、市販のＳｏｎｙ Ｅｙｅ Ｔｏｙ（商標）のようなカメラの周辺機器を含む。しかし、当然のことながら、いずれのタイプまたはブランドのカメラが使用できる。例えば、ウェブカム（web-cam）カメラ、ＵＳＢアドオンカメラ、赤外カメラ、高速撮影カメラ等である。
【００２６】
ある実施の形態では、カメラはＺカメラやデプスカメラを含む。そのようなＺカメラやデプスカメラは、例えば、各画素の深さ情報を計測したり、各画素のカメラからの距離を測定したりする。このように、いくつかの実施の形態においては、本明細書に記載されるカメラや画像キャプチャ装置は任意のタイプの３次元カメラを含む。
【００２７】
ある実施の形態では、参照映像セグメントが表示されている間に実演が撮影される。これにより、実演者は実演中に参照映像セグメントを見ることができる。参照映像セグメントなしに、実演者は独立して実演することもできる。例えば、実演者は参照映像セグメントを何度も見て、それから完全に記憶のみから同様の実演をしようと試みる。
【００２８】
ステップ１０６において、参照映像セグメントを表し、撮影された実演の少なくとも一部によって参照映像セグメントの一部が置き換えられた新たな映像セグメントが生成される。このように、新たな映像セグメントは、撮影された実演の一部によって参照映像セグメントの一部が置き換えられた状況となる。例えば、参照映像セグメントの登場人物は撮像されたユーザの実演によって置き換えられる。他の例として、ユーザの顔はオリジナルのシーンの中にマッピングされてもよい。この機能によって、ユーザはお気に入りの映画やテレビのシーンの中で演技する自分自身を見ることが可能となる。
【００２９】
ある実施の形態では、上述のプロセッサベースのシステムによって新たな映像セグメントが生成される。再度述べるが、このようなプロセッサベースのシステムは、エンタテインメントシステム、ゲームコンソール、またはそれと同様のいずれのタイプの装置も含みうる。ある実施の形態では、新たな映像セグメントはリアルタイムで生成される。
【００３０】
ある実施の形態では、参照映像セグメントの登場人物は、撮像されたユーザの実演によって完全に置き換えられる。ある実施の形態では、新たな映像セグメントは、参照映像セグメントからの画像の上に撮像された実演を重ね合わせて特徴付ける。新たな映像セグメントを生成するための特殊効果を使用することも考慮されている。例えば、参照映像セグメントからの登場人物は、撮影された実演とモーフィングされてもよい。
【００３１】
ある実施の形態では、参照映像セグメントは新たな映像セグメントを生成することに対してより適応するために、何らかの処理がなされる。例えば、ある作品からの映像セグメント中のカメラ視野は、参照映像セグメントにおいて修正ないし調整がなされる。具体的な調整はシーンに依存する。例えば、オリジナル作品中の動いているカメラまたは流し撮りしているカメラは、静止撮影となるように修正される。これにより、参照映像セグメントの一部を、撮像された実演の少なくとも一部と置き換えることが容易となる。撮像された実演は、固定カメラによって、例えば静止画像として撮像されるからである。しかし、当然のことながら、オリジナル作品をより近く複製するために、撮像された実演は動きつつ撮像されたりまたは流し撮りされたりするものであってもよい。他の例としては、作品の映像セグメントで使用されているカメラのレンズは参照映像セグメントにおいては修正ないし調整されていてもよい。
【００３２】
ステップ１０８において、新たな映像セグメントはディスプレイに表示される。ディスプレイは、上述のプロセッサベースのシステムに接続されている。新たな映像セグメントは実演を撮影した後に表示されるので、実演者は実演を評価することができる。主観的および客観的な実演のフィードバックを実演者に提供するための、実演後における実演についての成績評価が考えられており、後述する。
【００３３】
ある実施の形態では、新たな映像セグメントはほぼリアルタイムで表示され、実演者は、その新たな映像セグメント内に具現化されたものとして演技を見ることが可能となる。新たな映像セグメントはまた、参照映像セグメントと同時に表示され、実演者は新たな映像セグメントと参照映像セグメントとの相違に注意することができる。ある実施の形態では、新たな映像セグメントと参照映像セグメントとの両者が同時にリアルタイムで表示され、撮像された実演と参照映像とを同期することでリアルタイムで実演を調整することが可能となる。
【００３４】
図２Ａ、図２Ｂ、および図２ＡＣは、参照映像セグメントの例の代表フレームを説明するものであり、図１における方法１００のステップ１０２において選択される。図示された参照映像セグメントは、例えば、上述した作品のいずれかのような、任意のタイプの作品からの映像セグメントを含んでもよい。参照映像セグメントは、動作に従事している登場人物２０２を示す。登場人物２０２は、例えば、有名な俳優、有名人、スポーツ選手、その他の人物である。ユーザや他の実演者は、登場人物２０２の実演を真似たり模倣したりしたいものであり、また、映像セグメント内の自分自身を見たいものである。
【００３５】
図２Ａにおける一番目のフレームは、登場人物２０２が格闘技の対戦相手２０４と戦う準備をしていることを示す。登場人物２０２は対戦相手２０４に対して構えの姿勢であり、対戦相手２０４もまた格闘技の構えの姿勢である。図２Ｂにおいて、登場人物２０２は対戦相手２０４に対して前蹴りを繰り出す過程にある。登場人物の左足２０６が持ち上げられており、彼の重心は右足２０８に移動している。両腕２１０はバランスを取ることと、蹴りに力と速度を伝えるために動く。図２Ｃにおいて、登場人物２０２は、対戦相手２０４の顔２１２に左足２０６による前蹴りを繰り出している。登場人物の両腕２１０と右足２０８は、蹴りに最大の力と速度とを伝えるための正確な位置にある。登場人物の左足２０６は完璧な位置にあり、対戦相手２０４の顔２１４に届くのに充分な高さである。
【００３６】
図３は、登場人物２０２の実演を模倣しようとする個々のユーザまたは実演者３０２の実演を例示する図である。実演者３０２の実演は、図１における方法１００のステップ１０４に関連して利用される。実演者３０２は一般の個人であり、家庭においてお気に入りの映画やテレビのシーンの中の自分自身を見て楽しんでいる。この例では、実演者３０２は、上述の参照映像セグメントの蹴りのシーンを演じたり、模倣したり、あるいは再現したりしようとする。
【００３７】
実演者３０２の実演は、カメラ３３０で撮影される。上述したように、カメラ３００はいずれのタイプのカメラも含み、例えば、デジタルカメラ、ウェブカム（webcam）Ｚカメラ、または類似のカメラである。上述したように、カメラ３３０は、例えばエンタテインメントシステムやゲームコンソールのようなプロセッサベースのシステム３３２と接続されている。プロセッサベースのシステム３３２は、典型的にはディスプレイ３３４と接続されており、マイク３３６も含んでいる。ある実施の形態では、マイク３３６はカメラ３３０に統合されている。プロセッサベースのシステム３３２は、ＤＶＤやＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）、ＣＤ等の着脱可能な記録メディア３３８も含む。
【００３８】
実演は、カメラ３３０の前で実演者３０２が実演するときに撮影される。ある実施の形態では、実演者３０２が実演している間、参照映像セグメントはディスプレイ３３４に表示される。このように、実演をしている間、実演者３０２は参照映像セグメントを見る。すなわち、実演者３０２はディスプレイ３３４上で登場人物２０２の実際の動作を見ることができ、これによって登場人物２０２の実演とより近くマッチまたは模倣する実演を、実演者３０２が遂行する助けとなりうる。ある実施の形態では、参照映像セグメントは、着脱可能な記録メディア３３８に格納されている一またはそれ以上のシーンから選択されたシーンである。
【００３９】
図４Ａ、図４Ｂ、および図４Ｃは、図３に示されている例示的な実演から撮影された代表的なフレームを示す図である。図４Ａは、実演者３０２が構えの姿勢にあることを示し、図２Ａにした登場人物２０２の構えの姿勢を真似ようとしていることを示す。図４Ｂは、左足３０６を上げている実演者３０２を示し、図２Ｂに示した登場人物２０２の前蹴りを繰り出す技術を真似ようとしていることを示す。はっきり分かるように、実演者３０２の左足３０６の膝は、登場人物２０２の左足２０６のようには伸びていない。その上さらに、実演者３０２の両腕３１０は適切にバランスを取ることに失敗し、結果としてぎこちない姿勢となっている。図４Ｃは、図２Ｃで示した登場人物２０２による対戦相手２０４の顔への蹴りを繰り出そうとしている実演者３０２を示す。はっきりと分かるように、実演者３０２の左足の足先は、対戦相手の顔に当てるのに十分な高さには遠く及ばない。
【００４０】
図５Ａ、図５Ｂ、および図５Ｃは、図１における方法１００のステップ１０６に関連して生成される荒田は映像セグメントの代表フレームを示す。すなわち、新たな映像セグメント（図５Ａ、図５Ｂ、および図５Ｃ）は、参照映像セグメント（図２Ａ、図２Ｂ、および図２Ｃ）を表し、撮影された実演（図４Ａ、図４Ｂ、および図４Ｃ）の少なくとも一部によって参照映像セグメントの一部が置き換えられている。上述したように、ある実施の形態では、新たな映像セグメントは図３に示すプロセッサベースのシステム３３２のようなプロセッサベースのシステムによって生成される。
【００４１】
より具体的には、新たな映像セグメントは、参照映像セグメントからのほとんどの特徴を含む。しかしながら、注目すべきは、オリジナルの登場人物２０２は新たな映像セグメントでは演じていない。その代わり、登場人物２０２は実演者３０２に置き換えられている。すなわち、登場人物２０２が写っている参照映像セグメント（図２Ａ、図２Ｂ、および図２Ｃ）の一部は、実演者３０２が写っている撮像された実演（図４Ａ、図４Ｂ、および図４Ｃ）の一部で置き換えられている。
【００４２】
図５Ａにおいて、対戦相手２０４に対して構えの姿勢を取る実演者３０２が示されている。図５Ｂにおいて、左足３０６を上げて登場人物２０２の前蹴りを繰り出す技術を模倣し、真似ようとしている実演者３０２が示されている。これは図４Ｂに示されている実演者３０２と同じ姿勢であるが、今回は対戦相手２０４の目の前に実演者３０２が示されている。上述したように、実演者３０２の左足３０６の膝は、あるべき高さまで伸びていない。その上、実演者３０２の両腕３１０は適切にバランスを取ることに失敗し、結果としてぎこちない姿勢となっている。図５Ｃは、対戦相手２０４の顔２１２へ蹴りを繰り出そうとしている実演者３０２が示されている。しかしながら、新たな映像セグメントにおけるこのフレームにおいて、実演者３０２の左足３０６の足先は、対戦相手２０４の顔２１２に当てるのに十分な高さには遠く及ばないことがはっきりと見える。
【００４３】
これまで記載した方法およびシステムを用いることにより、ユーザは新たな映像セグメントを見ることで自分自身の実演を見ることができ、次の試みを改善することができる。この例は、登場人物２０２の全身が、実演者３０２の全身で置き換えられることを含む。一方で、ある実施の形態では、新たな映像セグメントを生成するステップは、登場人物のほんの一部分が対応するユーザの部分で置き換えられることを含む。例えば、登場人物の顔、あるいはさらに登場人物の顔の一部が、ユーザの顔か、対応するユーザの顔の一部で置き換えられてもよい。
【００４４】
上述した例はまた、格闘技の蹴りを模倣しようとするユーザを含んだが、当然のことながら、ユーザは他の多くの種類の実演を試みてもよい。例えば、演技者は会話を何度も練習し、それからユーザの会話を拾うマイク付きのカメラの前で演技してもよい。ある実施の形態では、プロセッサベースシステムに接続されているマイクで、実演で生じた音声を収録する。そのようなマイクの例は、図３におけるマイク３３６である。次いで、参照映像セグメント中のオリジナル音声の少なくとも一部が、対応する収録した音声の一部で置き換えられる。これにより、ユーザは自分自身の演技を見ることのみならず、お気に入りのシーンにおける会話を自分自身が話すところを聞くことができる。これにより、ユーザは上述の技術によってシーンに組み入れられた俳優や女優と並んで有名な会話を何度も練習することができる。
【００４５】
図６を参照すると、本発明の別の実施の形態に関して実行される方法６００が図示されている。方法６００は、実演の「スコアリング」または評価に関して用いられる。すなわち、方法６００は、参照映像セグメントにおける関連する部分とどの程度近くユーザまたは他の実演者が模倣ないし再現できたかを決定するために用いられる。
【００４６】
具体的には、方法６００は、カメラで実演が撮影されるステップ６０２から始まる。実演は、上述したいずれのタイプの実演を含んでもよい。例えば、実演は、ユーザによる実演を含んでもよい。実演は、上述した方法、あるいは他の方法で撮影される。ステップ６０４において、実演を表現する出力データをカメラから受け取る。出力データは任意のタイプのデータを含みうる。
【００４７】
ステップ６０６において、出力データを処理して、実演における一つ以上の観点とそれと対応する参照実演における観点とを比較する。例として、参照実演は上述した作品または参照映像セグメント中のいずれの実演等、あらゆるタイプの実演を含みうる。例えば、参照実演は、登場人物による実演を含んでもよい。
【００４８】
ある実施の形態では、実演における一つ以上の観点とそれと対応する参照実演における観点との比較は、ユーザによるジェスチャを登場人物によるジェスチャと比較することを含む。例えば、手の動き、足の動き、体の動き、顔の表情等が比較される。
【００４９】
ある実施の形態では、実演における一つ以上の観点とそれと対応する参照実演における観点との比較は、音声の比較を含む。例えば、ユーザの実演によって発声された音声が、上述のように収録される。そして、収録された音声が参照実演によって生じた音声と比較される。
【００５０】
最後に、ステップ６０８において、実演が参照実演とどれくらい密接にマッチしているかを示す指標が生成される。こうして、ステップ６０６における比較をもとに、実演者が利用することができる、実演者がどれくらいしっかりと参照映像セグメントを模倣することができたかを見るための指標が生成される。この指標は、実演をスコアリングまたは評価するために用いられる。例として、スコアリングは正確性、発声法、出だしの失敗（missed cues）の数等に基づく。すなわち、スコアリングは、どれくらい正確に実演者がオリジナルの登場人物（例えば俳優）の動きやジェスチャを再現できたかを測るために用いられる。ある実施の形態では、スコアリングは、実演者がオリジナルの登場人物と同じ抑揚、ピッチ、余韻（sustain）等で話せているか否かを決定することを含む。
【００５１】
図７Ａ、図７Ｂ、および図７Ｃは、それぞれ図５Ａ、図５Ｂ、および図５Ｃに示される新たな映像セグメントの代表フレームを、図６におけるステップ６０８で生成された指標を付けて示している。すなわち、図７Ａ、図７Ｂ、および図７Ｃは、実演者３０２の実演が、図２Ａ、図２Ｂ、図２Ｃに示す参照映像セグメント中の登場人物２０２の実演とどれくらい近いかを示す指標を含む。
【００５２】
具体的には、図７Ａにおいて、対戦相手２０４に対して構えの姿勢を取る実演者３０２が示されている。図７Ｂにおいて、左足３０６を上げて登場人物２０２の前蹴りを繰り出す技術を模倣し、真似ようとしている実演者３０２が示されている。上述したように、実演者３０２の左足３０６の膝は、あるべき高さまで伸びていない。これを説明するために、破線７０６は、図２Ｂにおける登場人物２０２の姿勢とマッチするために実演者３０２の全身がどこに位置すべきかを示している。同様に、図７Ｃは、対戦相手２０４の顔２１２へ蹴りを繰り出そうとしている実演者３０２を示す。上述したことを再度述べるが、実演者３０２の左足３０６の足先は、対戦相手２０４の顔２１２に当てるのに十分な高さには遠く及ばない。これを説明するために、破線７０８は、図２Ｃにおける登場人物２０２の姿勢とマッチするために実演者３０２の全身がどこに位置すべきかを示している。
【００５３】
このように、実演者３０２の実演が登場人物２０２の実演とどれくらい近いかを示すために生成された指標は、実演者３０２の実演のスコアリングまたは評価のために用いることができる。これにより、ユーザやプレイヤは、実演がお気に入りのシーンをより近く再現するように改良する助けとすることができる。
【００５４】
ある実施の形態では、新たな映像セグメント中における撮影された実演の一部は、撮影された実演の一部が参照映像セグメント中の対応する部分とより近くマッチするように修正または訂正される。例えば、図８Ａ、図８Ｂ、および図８Ｃは、それぞれ図７Ａ、図７Ｂ、および図７Ｃに示す新たな映像セグメントの代表フレームを示す。具体的には、図８Ａは対戦相手２０４に対して構えの姿勢を取る実演者３０２を示す。図８Ｂにおいて、新たな映像セグメントは、実演者３０２の体の姿勢が図２Ｂに示す登場人物２０２の体の姿勢と実質的にマッチするように修正されている。すなわち、実演者３０２の体は、図７Ｂの破線７０６の姿勢とマッチするように動かすことによって訂正されている。同様に、図８Ｃにおいて、新たな映像セグメントは、実演者３０２の体の姿勢が図２Ｃに示す登場人物２０２の体の姿勢と実質的にマッチするように修正されている。すなわち、実演者３０２の体は、図７Ｃの破線７０８の姿勢とマッチするように動かすことによって訂正されている。
【００５５】
プレイヤの実演を訂正するために新たな映像セグメントを修正することができることにより、プレイヤは、お気に入りのシーン中で自身が完璧に演じているところを見ることができる。例えば、もしプレイヤの実演が７０％のスコアを受け取ったとすると、１００％のスコアの実演家のように見えるように実演を訂正することができる。これにより、プレイヤがそのシーンの中でどのように実演または演技をすべきだったかが示される。ある実施の形態では、プレイヤが７０％のスコアを再現できるかどうかを見られるようにしてゲームをプレイすることができる。
【００５６】
このような修正および訂正は、例えばプレイヤの手足、体の他の部分やプレイヤの顔のようなプレイヤの体の一部に対して適用される。例えば、プレイヤの唇は参照映像セグメントとより近くマッチするように調整および「小さな変更」がされてもよい。ある実施の形態では、日本国の東京にあるMotionPortrait, Inc（http://www.motionportrait.eom/e/参照）で用いられている技術が、このような修正や訂正を実装ないし実行を支援することができると考えられる。
【００５７】
ある実施の形態では、実演者または他のユーザは、その人の実際の映像ではなく、その代わりとしてアバター（avatar）、キャラクタ、ある別の人物、およびその他類似のもの等によって表現される。さらに、ある実施の形態では、上述の方法および技術は実演者や他のユーザによるあるジェスチャを追跡するために用いられる。例えば、このシステムは実演者の動作を追跡し、例えば手や足の動き等の、ある動作を認識する。認識されたある動作に応じて、様々な応答がシステムによって実行される。例えば、ある実施の形態においては、このような認識されたジェスチャが、実演を他の人物、キャラクタ、またはアバター等にモーフィングするといったイベントを始動させる。一例としては、実演は漫画のキャラクタにモーフィングされる。あるいは、実演があるアバターで表現され、次いで別のアバターにモーフィングされる。
【００５８】
ある実施の形態では、上述の方法および技術はオンライン環境に拡張される。これにより、プレイヤがお気に入りの映画／テレビのシーンをネットワークまたはオンラインコミュニティにおいて演じることができ、ネットワークまたはオンラインコミュニティ内の他者によって見られるオンラインゲームのようなオプションを提供することができる。プレイヤはネットワーク上の他のユーザによって評価されることさえもあり得るし、プレイヤは単に演技や実演を楽しむこともできる。ある実施の形態では、オンラインコンテンツは、プレイヤが視聴者ないし審判のために登場して実演する「リハーサル」（または「オーディション」）時間を設けた場所で開催される。実演をもとに、プレイヤはさらなる「オーディション」に進んでもよいし、場合によっては賞を受賞する。例えば、プレイヤはオンラインコミュニティのメンバによって「お気に入り」に選ばれることもある。
【００５９】
オンラインのシナリオに関し、図９は本発明の別の実施の形態にしたがって実行される方法９００を説明する図である。方法９００は、実演に関して用いられるものであり、オンラインコミュニティに参照映像セグメントを表示するステップ９０２から始まる。すなわち、オンラインコミュニティにいる他のユーザが同じ参照映像セグメントを見ることができるように、参照映像セグメントが表示される。これは多くのユーザが、誰が最も上手に参照映像セグメントを模倣または真似るかを競い合うゲームやコンテストに有用である。
【００６０】
ステップ９０４において、実演を撮影するカメラからデータが受け取られる。実演は、オンラインコミュニティのメンバ等のユーザによるものである。ユーザは参照映像セグメントの実演を真似または模倣しようとする。ある実施の形態では、カメラはユーザによって実行されているクライアント装置に接続されている。クライアント装置は、例えばエンタテインメントシステムやゲームコンソールのような、上述した任意のプロセッサベースのシステムを含む。カメラからのデータはプロセッサベースのシステムによって受け取られる。
【００６１】
ステップ９０６において、参照映像セグメントを表し、撮影された実演の少なくとも一部によって参照映像セグメントの一部が置き換えられた新たな映像セグメントが生成される。このステップは実質的には上述したように実行される。例えば、参照映像セグメント内の登場人物は、実演しているユーザによって少なくとも部分的に置き換えられる。新たな映像セグメントは、上述したクライアント装置、サーバやオンラインコミュニティに付随するコンピュータ、他のコンピュータ、あるいはこれらの連携によって生成される。
【００６２】
ステップ９０８において、オンラインコミュニティに新たな映像セグメントの表現が表示される。これにより、オンラインコミュニティ内の他のメンバやユーザがユーザの実演を見ることが可能となる。
【００６３】
ステップ９１０において、撮影された実演（それは参照映像セグメント内の対応する部分を置換する）の一部に関するフィードバックがクライアント装置に提供される。ある実施の形態では、フィードバックは、オンラインコミュニティ内の他のユーザ、審判、コメンテータ等によって提供される。このようなフィードバックは、注釈、批評、講評、スコア、評価等が含まれる。ある実施の形態では、フィードバックは自動的または一部が自動的な手段によって生成される。例えば、フィードバックは図６におけるステップ６０８によって生成されるタイプの指標を含む。
【００６４】
図１０を参照し、本発明の実施の形態にしたがってオンラインのシナリオを実装するための例示的なシステム１０００を示す。システム１０００は、上述した一またはそれ以上の方法、教示、ないし技術を用いる。システム１０００は、オンラインコミュニティ１００２を含む。オンラインコミュニティの例としては、日本国の株式会社ソニー・コンピュータエンタテインメントによって開発されているPlayStation Home（商標または登録商標）が上げられる。
【００６５】
図に示すように、ユーザ３０２によって使用されているプロセッサベースのシステム３３２はオンラインコミュニティ１００２に接続されている。このシナリオでは、プロセッサベースのシステム３３２はクライアント装置として動作する。これにより、図５Ｂにおけるユーザ３０２によって作り出された新たな映像セグメントがオンラインコミュニティ１００２内に表示されることが可能となる。
【００６６】
さらなるユーザ１０２０および１０４０もまた、オンラインコミュニティ１０００のメンバである。ユーザ１０２０はプロセッサベースのシステム１０２４に接続されているカメラ１０２２を利用できる。同様に、ユーザ１０４０はプロセッサベースのシステム１０４４に接続されているカメラ１０４２を利用できる。プロセッサベースのシステム１０２４と１０４４とは共に、オンラインコミュニティ１００２に接続されている。
【００６７】
ある実施の形態の実行中、それぞれ異なる実演を撮影する一またはそれ以上のカメラ１０２２、１０４２からデータを受け取る。それぞれが参照映像セグメントを表し、撮影された異なる実演の少なくとも一部によって参照映像セグメントの一部が置き換えられた映像セグメントが生成される。各映像セグメントの表現はオンラインコミュニティ内に表示される。さらに、それぞれ撮影された実演の一部に関連する各クライアント装置にフィードバックが供給される。
【００６８】
例えば、ユーザ１０２０による実演が、プロセッサベースのシステム１０２４に接続されているカメラ１０２２によって撮影される。続いて、ユーザ１０２０によって作り出された新たな映像セグメントがオンラインコミュニティ１００２内に表示される。新たな映像セグメントは１０２６で示されている。同様に、ユーザ１０４０による実演が、プロセッサベースのシステム１０４４に接続されているカメラ１０４２によって撮影される。続いて、ユーザ１０４０によって作り出された新たな映像セグメントがオンラインコミュニティ１００２内に表示される。たな映像セグメントは１０４６で示されている。
【００６９】
システム１０００は多くの異なるタイプのゲーム、コンテンツ、活動等に利用される。例えば、ユーザ３０２、１０２０、および１０４０は、図２Ａ、図２Ｂ、および図２Ｃに示されている参照映像セグメント中の登場人物２０２の蹴りを誰が最も上手に模倣ないし真似ることができるかを決めるべく競争する。ユーザ３０２、１０２０、および１０４０による実演は、オンラインコミュニティ１００２内の他のユーザおよび／または審判のによって評価ないし判断される。すなわち、このような他のユーザおよび／または審判は３つの実演を全て見ることができ、かつ上述のようにフィードバックを生成することができる。ある実施の形態では、ユーザ３０２、１０２０、および１０４０による実演は、上述の自動的な手段によって評価ないし判断される。
【００７０】
他のシナリオでは、システム１０００は、他のオンラインプレイヤが視聴したり、判断したり、批評したりするための「オーディション」および有名なシーンにおける主要な役割を得るための競争のためにプレイヤによって利用される。これはプレイヤの実演を視聴する著名人の判断を含んでもよい。これにより、場合によってはプレイヤが見出されることにつながったり、少なくともプレイヤがスターになったような気がしたりすることにつながる。例えば、高価な設備や電子メイルを通じて資料を提出することなしに、プレイヤ自身のリビングルームにおいて、プレイヤは実際の役を得るために競争したり、有名な映画やリアリティーテレビ番組（reality show）のオーディションを争ったりすることができる。これは全てがオンラインで送信できるからである。システム１０００は、実際にオンエアされるスポット放送にコンテストの機会への参加申し込みを提出することにも利用されてもよい。あるいは、システム１０００はオーディションや実演を単に記録して、他者の楽しみやコメント用にオンラインに投稿するために用いられてもよい。さらに、システム１０００は、将来のコンテンツのために新しいシーンや台詞をオンラインストアからダウンロードするユーザに利用されてもよい。
【００７１】
ある実施の形態では、上述の方法や技術はいくつものミニゲームを実装するために利用される。例えば、プレイヤは様々なテレビのパーソナリティや専門家を「演じる」または「実際に演じる」ことができる。プレイヤは楽しみながら興味ある専門分野における技能を磨く機会を得ることができる。これらのミニゲームは、プレイヤがカメラの前で「誇張した演技」をし、楽しむことができる愉快な「パーティゲーム」をも提供する。ミニゲームが基づいているテレビのパーソナリティや専門家の手本は以下のものを含む。すなわち、有名なゴシップを紹介している芸能ニュースのリポーター、ミュージックビデオ、映画の予告等、テレビニュースのキャスター、テレビの気象学者、テレビの交通リポーター、テレビ記者、テレビのスポーツコメンテイター（有名なスポーツシーンを含むことができる）、サタデーナイトライブ（Saturday Night Live）の司会者（オープニングの独白）、テレビの深夜番組の司会者（オープニングの独白）、テレビ宣教師、およびテレビのインフォマーシャル（奇妙な商品の販売活動で、プレイヤがピッチおよび商品の説明に追いつかなくてはならない）である。他の例は、ビジネスプレゼンテーションのシナリオを含む。すなわち、難しい表情をしてスーツを着て机に付き、プレイヤを見ている人々によって、広い重役用会議室が埋められている。プレイヤは（例えばカメラを経由して）人々の前に立ち、スピーチをしたりおかしな独白をしたりする。このシナリオは、実生活の「大きな」プレゼンテーションに場慣れするというビジネス界の人々にとって実際的な用途にでさえ利用しうる。
【００７２】
ある実施の形態では、システム１０００は「ビデオブログ」を作成するために利用する。例えば、そのようなブログはオンラインコミュニティのメンバによって作成される。ユーザはアカウントを作成し、与えられた舞台のテンプレートを用いる。このようなテンプレートは異なる個性や雰囲気を作り出す。例えば、スポーツのファンは、オンラインコミュニティや友人等に投稿する短時間の「ビデオブログ」は、どのような内容を配信したいのであっても、スポーツ関連の背景や画像等を表すテンプレートを使うであろう。テンプレートは、例えばオンラインコミュニティからダウンロードできてもよい。プレイヤは、他者がビデオを見ることができる自分自身のオンラインコミュニティのアパートメントに、ビデオを投稿してもよい。
【００７３】
このように、上述の方法および技術によって、プレイヤ、実演者、または他のユーザは演技し、実演し、または単に有名なシーンの中に登場することができる。ユーザはそのシーンを保存して友人や家族と共有したり、オンラインに投稿したりする。上述の方法および技術は、エンタテインメントシステムやゲームコンソールのようなプロセッサベースのシステムを、個人的なメッセージや独自なスタイル、自分が誰であるかを配信するために利用する機会をプレイヤに提供する。これはオンラインデートのような活動に有用である。
【００７４】
ある実施の形態では、上述の方法および技術はブルースクリーンテクノロジーを用いて実装される。すなわち、プレイヤはブルースクリーンをつるしてその前に立ち、様々なシーンを演じたり実演したりする。ブルースクリーンは上述の方法および技術を実装するためのソフトウェアおよび／またはシステムのオブションとして含まれていてもよい。しかしながら、そのようなブルースクリーンテクノロジーは必須ではない。ブルースクリーンテクノロジーを用いずに上述の方法および技術を実装するために、上述のＺカメラを利用することができると考えられる。
【００７５】
ある実施の形態では、ビデオの「撮影備品（props）」が用いられる。例えば、システムは白い手袋を認識するように構成される。これにより、プレイヤがスクリーン上の、例えば銃やコーヒーカップ等の撮影備品を「掴む」ことができるようになる。
【００７６】
本明細書に記載されている方法および技術は、利用され、実装され、および／または多くの異なるタイプのシステム上で実行される。図１１を参照すると、そのような任意の実装にも用いられるシステム１１００が示されている。例えば上述のコンソール、ゲームコンソール、エンタテインメントシステム、プロセッサベースのシステム等の、上述のいずれのシステムまたは装置を実装するために、一またはそれ以上のシステム１１００の構成要素が用いられる。しかしながら、システム１１００を利用すること、またはシステム１１００の一部分を利用することは必須ではない。
【００７７】
例として、システム１１００は、ＣＰＵ（central processing unit）１１０２、ＧＰＵ（graphics processing unit）１１０４、ＲＡＭ（random access memory）１１０８、およびディスクドライブのような大容量ストレージユニット（mass storage unit）を含んでもよいが、含むことは必須ではない。システム１１００は、図３におけるカメラ３３０、図１０におけるディスプレイ３３４、マイク３３６、および／またはオンラインコミュニティ１００２のような本明細書に記載した構成要素と接続されているか、または一体となっている。システム１１００はプロセッサベースのシステムの例を含んでいる。ＣＰＵ１１０２および／またはＧＰＵ１１０４は、本明細書に記載されている方法および技術のステップ、および様々なプログラム、画像、アバター、プレゼンテーション、コミュニティ、およびインタフェースをディスプレイに表示することを実行あるいは実行を支援するために用いられてもよい。
【００７８】
大容量ストレージユニット１１１０は任意のタイプのコンピュータに読み込み可能なストレージや記録媒体を含む。コンピュータに読み込み可能なストレージや記録媒体は大容量ストレージユニット１１１０内に固定されているか、あるいは大容量ストレージユニット１１１０は、ＤＶＤ（digital video disk）、Blu-ray disc（登録商標）、ＣＤ（compact disk）、ＵＳＢストレージ、フロッピーディスク（登録商標）、または他のメディアのような着脱可能なストレージ１１１４をオプションとして含んでもよい。例えば、大容量ストレージユニット１１１０は、ディスクドライブ、ハードディスクドライブ、フラッシュメモリ装置、ＵＳＢストレージ装置、Blu-ray disc（登録商標）ドライブ、ＤＶＤドライブ、ＣＤドライブ、フロッピーディスクドライブ（登録商標）等を含む。大容量ストレージユニット１１１０または着脱可能なストレージ１１１４は、本明細書に記載された方法および技術を実装するコンピュータプログラムコートを格納するために用いられてもよい。
【００７９】
したがって、着脱可能なストレージ１１１４は、大容量ストレージユニット１１１０のオブションとして利用されうる。着脱可能なストレージ１１１４は、上述の新たな映像セグメントの作成、実演の比較、スコアリング、および訂正をするため、さらにオンラインの作品を実装するためのコード等の、本明細書に記載されている方法および技術を実装するコードを格納するために用いられる。しかしながら、例えばＲＡＭ１１０８や大容量ストレージユニット１１１０のようないずれのストレージ装置も、そのようなコードを格納するために用いられてもよい。例えば、このような任意のストレージ装置は、コンソール、システム、コンピュータ、あるいは他のプロセッサベースのシステムに本明細書に記載されている方法、コード、および／または技術の任意のステップを実行ないし遂行させるコンピュータプログラムとして具体化するための有形のコンピュータストレージとして機能する。さらに、ＲＡＭ１１０８や大容量ストレージユニット１１１０のような任意のストレージ装置は、任意の必要とされるデータベースを格納するために用いられてもよい。
【００８０】
ある実施の形態では、上述した一またはそれ以上の実施の形態、方法、やり方、および／または技術がプロセッサベースのシステムによって実行されるコンピュータプログラムで実装されてもよい。例としては、そのようなプロセッサベースのシステムは、プロセッサベースのシステム１１００、またはコンピュータ、エンタテインメントシステム、ゲームコンソール等が含まれてもよい。このようなコンピュータプログラムは上述した方法および／または技術における様々なステップおよび／または特徴を実行するために用いられる。すなわち、コンピュータプログラムは、プロセッサベースのシステムに上述の機能を実行および達成させるよう構成されている。例えば、そのようなコンピュータプログラムは、実演の撮影、新たな映像セグメントの生成、実演の観点の比較、フィードバックの生成等をする上述の任意の実施の形態を実装するために用いられる。他の例としては、そのようなコンピュータプログラムは、上述した実施の形態、方法、やり方、および／または技術の任意の一またはそれ以上を使用する任意のツールやユーティリティを実装するために用いられる。ある実施の形態では、コンピュータプログラムは、ビデオゲーム、ＲＰＧ（role-playing game）、あるいは他のコンピュータシミュレーションを含む。ある実施の形態では、コンピュータプログラム内のプログラムコードモジュール、ループ、サブルーティン等は、上述の方法および／または技術の様々なステップおよび／または特徴を実行するために用いられる。ある実施の形態では、コンピュータプログラムは、例えば本明細書に記載されている任意のコンピュータに読み込み可能なストレージや記録媒体等のコンピュータに読み込み可能なストレージや記録媒体に格納される。
【００８１】
したがって、ある実施の形態では、本発明はプロセッサベースのシステムにステップを実行させるプログラムを格納する記録媒体を提供する。ここで前記プログラムは、参照映像セグメントの選択を受け取る受信ステップと、実演をカメラで撮影するステップと、前記参照映像セグメントを表し、前記撮影された実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、前記新たな映像セグメントをディスプレイに表示するステップとを実行させ、前記カメラおよび前記ディスプレイは、前記受信ステップおよび前記生成ステップを実行する前記プロセッサベースのシステムに接続している。
【００８２】
別の例として、ある実施の形態では、本発明はオンラインコミュニティに参照映像セグメントを表示するステップと、クライアント装置に接続されている、実演を撮影するカメラからデータを受け取るステップと、前記参照映像セグメントを表し、撮影された前記実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、オンラインコミュニティに新たな映像セグメントの表現を表示するステップと、撮影された前記実演の一部分に関するフィードバックを前記クライアント装置に提供するステップと、をプロセッサベースのシステムに実行させるプログラムを格納した記録媒体を提供する。
【００８３】
別の例として、ある実施の形態では、本発明は実演をカメラで撮影するステップと、前記実演を表現する出力データを前記カメラから受け取るステップと、前記出力データを処理して、実演における一つ以上の観点とそれと対応する参照実演における観点とを比較するステップと、実演が参照実演とどれくらい密接にマッチしているかを示す指標を生成するステップと、をプロセッサベースのシステムに実行させるプログラムを格納した記録媒体を提供する。
【００８４】
本明細書において本発明を具体的な実施の形態およびその適用を使って記載されているが、請求項に記載されている本発明の範囲を離れることなく、当業者によって多数の修正および変形されることが可能であろう。
【技術分野】
【０００１】
本出願は、２００７年１２月２１日に出願された「模倣した演技をシーンに挿入し、同一性の評価を付与するスキーム」と題する米国仮出願第６１／０１６，２１６号の優先権を主張し、開示内容全体を参照によりここに完全に組み入れる。
【０００２】
本発明は、一般的には映像エンタテインメントに関し、特に、対話型の映像エンタテインメントに関する。
【背景技術】
【０００３】
最もポピュラーな娯楽の形態のひとつとして、テレビ、映画、およびビデオを鑑賞することがある。ＤＶＤ（Digital Video Disk）、ＤＶＲ（Digital Video Recorder）、およびＶＯＤ（Video on Demand）のような技術によって、愛好者達はお気に入りの映画やショーを何度でも見ることができるようになった。
【０００４】
娯楽における別のポピュラーな形態として、ビデオゲームがある。商用で市販されているゲーム端末機によって、ユーザは自宅で快適にビデオゲームで遊ぶことが可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
いくつかのゲームは極めて人気が出て莫大な収益を生み出すので、ビデオゲーム業界は次のヒットビデオゲームを開発すべくたゆまぬ努力を続けている。
【課題を解決するための手段】
【０００６】
ある実施の形態は、実演に関して用いられる方法を提供する。この方法は、参照映像セグメントの選択を受け取る受信ステップと、実演をカメラで撮影するステップと、前記参照映像セグメントを表し、前記撮影された実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、前記新たな映像セグメントをディスプレイに表示するステップとを含む。ここで前記カメラおよび前記ディスプレイは、前記受信ステップおよび前記生成ステップを実行する前記プロセッサベースのシステムに接続している。
【０００７】
他の実施の形態は、実演に関して用いられる方法を提供する。この方法は、オンラインコミュニティに参照映像セグメントを表示するステップと、クライアント装置に接続されている、実演を撮影するカメラからデータを受け取るステップと、前記参照映像セグメントを表し、撮影された前記実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、オンラインコミュニティに新たな映像セグメントの表現を表示するステップと、撮影された前記実演の一部分に関するフィードバックを前記クライアント装置に提供するステップとを含む。
【０００８】
他の実施の形態は、実演に関して用いられる方法を提供する。この方法は、実演をカメラで撮影するステップと、前記実演を表現する出力データを前記カメラから受け取るステップと、前記出力データを処理して、実演における一つ以上の観点とそれと対応する参照実演における観点とを比較するステップと、実演が参照実演とどれくらい密接にマッチしているかを示す指標を生成するステップとを含む。
【０００９】
他の実施の形態では、本発明は、上述のいずれかの方法をプロセッサベースのシステムに実行させるコンピュータプログラムを格納した記録媒体を提供する。
【００１０】
例えば、別の実地の形態は、プロセッサベースのシステムにステップを実行させるプログラムを格納する記録媒体を提供する。ここで前記プログラムは、参照映像セグメントの選択を受け取る受信ステップと、実演をカメラで撮影するステップと、前記参照映像セグメントを表し、前記撮影された実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、前記新たな映像セグメントをディスプレイに表示するステップとを実行させ、前記カメラおよび前記ディスプレイは、前記受信ステップおよび前記生成ステップを実行する前記プロセッサベースのシステムに接続している。
【００１１】
別の実施の形態は、オンラインコミュニティに参照映像セグメントを表示するステップと、クライアント装置に接続されている、実演を撮影するカメラからデータを受け取るステップと、前記参照映像セグメントを表し、撮影された前記実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、オンラインコミュニティに新たな映像セグメントの表現を表示するステップと、撮影された前記実演の一部分に関するフィードバックを前記クライアント装置に提供するステップとをプロセッサベースのシステムに実行させるプログラムを格納した記録媒体を提供する。
【００１２】
別の実施の形態は、実演をカメラで撮影するステップと、前記実演を表現する出力データを前記カメラから受け取るステップと、前記出力データを処理して、実演における一つ以上の観点とそれと対応する参照実演における観点とを比較するステップと、実演が参照実演とどれくらい密接にマッチしているかを示す指標を生成するステップとをプロセッサベースのシステムに実行させるプログラムを格納した記録媒体を提供する。
【００１３】
発明の実施の形態の原理が用いられた具体的な実施の形態を説明する以下の詳細な説明と付随する図面とを参照することによって、本発明の実施の様々な実施の形態の特徴および有利性のより良い理解が得られる。
【図面の簡単な説明】
【００１４】
本発明の実施の形態にかかる上述および他の態様、特徴、および利点が、以下の図面とともに提示される以下のより具体的な明細書から、さらに明らかになる。
【図１】本発明の実施の形態に係る実演に関して用いられる方法を説明するフローチャートである。
【図２】図２Ａ、図２Ｂ、および図２Ｃは、本発明の実施の形態にしたがって用いられる参照映像セグメント例の代表フレームを説明するスクリーンショットである。
【図３】本発明の実施の形態にかかるユーザの実演を示す図である。
【図４】図４Ａ，図４Ｂ，および図４Ｃは、本発明の実施の形態にかかるユーザの実演の代表フレームを説明するスクリーンショットである。
【図５】図５Ａ、図５Ｂ、および図５Ｃは、本発明の実施の形態にしたがって生成される新たな映像セグメントの代表フレームを説明するスクリーンショットである。
【図６】本発明の別の実施の形態にしたがって実演に関して用いられる方法を説明するフローチャートである。
【図７】図７Ａ、図７Ｂ、および図７Ｃは、本発明の実施の形態にしたがって生成される新たな映像セグメントの代表フレームを説明するスクリーンショットである。
【図８】図８Ａ、図８Ｂ、および図８Ｃは、本発明の実施の形態にしたがって生成される新たな映像セグメントの代表フレームを説明するスクリーンショットである。
【図９】本発明のさらに別の実施の形態にしたがって実演に関して用いられる方法を説明するフローチャートである。
【図１０】本発明の実施の形態にしたがって動作するシステムを説明する図である。
【図１１】本発明の実施の形態にしたがって以下に記述される起動、実装および／または実行される方法および／または技術で用いられるプロセッサベースのシステムを図示するブロック図である。
【発明を実施するための形態】
【００１５】
テレビや映画、ビデオを見ることは受け身的な娯楽である。すなわち、ひとたび個人が映画館に入館したり、テレビ番組を選択したり、あるいはＤＶＤを再生したりすると、その映像の娯楽による体験は、主として受け身的である。ビデオを鑑賞する個人は、そのビデオを見る度に、通常は同じ体験を得る。
【００１６】
一方で、ビデオゲームを遊ぶ人は、ビデオゲームをプレイするスリルを知っている。これらのいわゆる「ゲーマー」達は、コントローラ、ゲームパッド、ジョイスティック、あるいはボタンを用いて人工的に生成された環境、すなわち「バーチャルワールド」の中のキャラクタを操作する。例えば、ゲーマーはフットボールゲームにおけるお気に入りのフットボール選手をゲームパッドを用いて操作したり、他のゲームにおける漫画のキャラクタをジョイスティックを用いて操作したりする。結果を制御する能力は、そのビデオゲームの体験を豊かにし、面白くし、そしてそのゲームをプレイする度に異なる体験となる可能性を秘めている。
【００１７】
その一方で、近年の映像設備や映像記憶技術にかかる費用の減少により、個人が自分自身の映像を安価に作成できるようになった。個人はしばしば、特定の視聴者向けの内容の映像を作成する。例えばその内容は、個人やその友人が歌ったり、踊ったり、演技をしたり、あるいは他の面白い動作を実演する様子を描写するものである。これらの映像は、映像共有サイトを通じて大規模な視聴コミュニティにおいて頻繁に共有される。
【００１８】
この点に関し、テレビや映画、ビデオを受け身的に鑑賞することで楽しめるのであれば、多くの視聴者はより双方向の体験も楽しめるのではないかと発明者は認識した。例えば、お気に入りの映画やテレビシーンにおける会話を記憶していることはあまりないが、楽しみのために友人や家族の前で有名なシーン演じてみせることはよくあることである。
【００１９】
本発明のある実施の形態は、映画やテレビ番組、および他の映像を含む双方向体験を提供することができる。例えば、ある実施の形態によれば、お気に入りの映画やテレビシーンの中に実際にプレイヤ、実演者、または他のユーザを登場させることができる。つまり、プレイヤはカメラの前で自身でシーンを演じる。例えば、あるプレイヤは、有名や役者や、歌手、ダンサーなどの実演を模倣する。そうすると、撮影された実演の少なくとも一部分は、オリジナルシーンの対応する部分の置き換えに用いられる。これにより、プレイヤに楽しみ、愉快な経験、そしてできる限りそっくりにオリジナルシーンを真似ようとする意欲を与えることができる。
【００２０】
以下に記載された方法および技術を用いることにより、プレイヤや他のユーザは、単にシーンを受け身的に鑑賞するよりもいっそう双方向的な体験が得られる。例えば、以下に記載された方法および技術は、背景画像、映像、音声および脇役に関して土台を配置する。その後、プレイヤが完全にゲームに没入するように、そのゲームに加えられ、重ねられる。プレイヤがゲームに没頭するのみならず、プレイヤは有名な動画やテレビシーンの中に没入する。多くのプレイヤは、この経験を非常に愉快でやりがいのあると感じ、特に俳優やテレビの有名人になることを目指す場合であればなおさらである。
【００２１】
図１は、本発明の実施の形態にしたがって動作する方法１００を説明する。方法１００は、ステップ１０２において参照映像セグメントの選択を受け取ったときに開始する。参照映像セグメントは、ユーザが模倣または演じようとする映像セグメントを含んでいる。参照映像セグメントは、それ自体としては、何らかの面白い動作に従事している少なくとも一人の登場人物を表示するものが好ましい。典型的には、ユーザはその登場人物の演技の模倣を試みる。
【００２２】
ある実施の形態では、方法１００は少なくとも部分的には、エンタテインメントシステムはゲームコンソール等のプロセッサベースのシステムに実装される。この場合、参照映像セグメントの選択は、プロセッサベースのシステムによって受け取られることになる。その映像セグメントは、キーボードやマウス、ゲームパッド、ビデオゲームコントローラ、テレビのコントローラ、ＤＶＤのコントローラ、リモコン、その他好適な選択装置を用いて選択される。
【００２３】
ある実施の形態では、ユーザは、プロセッサベースのシステムに最初から組み込まれている有名な映画、テレビ番組、表彰式等のシーンから選択することができる。参照映像セグメントはあらゆる作品からの映像セグメントを含む。そのような作品の例としては、既に公開されている映画、テレビ番組、テレビ放送、ビデオゲーム、スポーツイベント、ミュージックビデオ等があげられる。例えば、参照映像セグメントは映画やテレビ番組、録画された実演、ミュージックビデオ、コマーシャル、トレーニングビデオ、その他録画された映像からのどのようなシーンでもよい。ある実施の形態では、さらなるシーンや台詞をオンラインストアやオンラインライブラリ等からダウンロードすることができる。オリジナルの実演がどのようなものだったかを見ることができるために、ユーザはシステムを用いてオリジナルの劇場のシーンを見ることができる。ある実施の形態では、ユーザは独白や脚本をシステムからプリントアウトしたり、それらを手動で生成したりすることができる。
【００２４】
ステップ１０４において、カメラで実演が撮影される。実演はユーザや他の人間、あるいは動物によるものでもよい。実演は、選択した参照映像セグメントの登場人物のうちの一人のアクションと関連していることが好ましい。実演はしばしば、ユーザあるいは他の人間が参照映像セグメントの登場人物の実演を模倣、再現、複製、あるいは滑稽に真似ようとすることになる。一方で、当然のことながら、実演はカメラの前でユーザがじっと立っているものでしかない。
【００２５】
ある実施の形態では、カメラは上述のプロセッサベースのシステムと接続している。カメラはどのタイプのカメラやイメージキャプチャ装置を含み、例えばデジタルカメラ、ウェブカメラ、または類似のカメラである。例として、カメラは、市販のＳｏｎｙ Ｅｙｅ Ｔｏｙ（商標）のようなカメラの周辺機器を含む。しかし、当然のことながら、いずれのタイプまたはブランドのカメラが使用できる。例えば、ウェブカム（web-cam）カメラ、ＵＳＢアドオンカメラ、赤外カメラ、高速撮影カメラ等である。
【００２６】
ある実施の形態では、カメラはＺカメラやデプスカメラを含む。そのようなＺカメラやデプスカメラは、例えば、各画素の深さ情報を計測したり、各画素のカメラからの距離を測定したりする。このように、いくつかの実施の形態においては、本明細書に記載されるカメラや画像キャプチャ装置は任意のタイプの３次元カメラを含む。
【００２７】
ある実施の形態では、参照映像セグメントが表示されている間に実演が撮影される。これにより、実演者は実演中に参照映像セグメントを見ることができる。参照映像セグメントなしに、実演者は独立して実演することもできる。例えば、実演者は参照映像セグメントを何度も見て、それから完全に記憶のみから同様の実演をしようと試みる。
【００２８】
ステップ１０６において、参照映像セグメントを表し、撮影された実演の少なくとも一部によって参照映像セグメントの一部が置き換えられた新たな映像セグメントが生成される。このように、新たな映像セグメントは、撮影された実演の一部によって参照映像セグメントの一部が置き換えられた状況となる。例えば、参照映像セグメントの登場人物は撮像されたユーザの実演によって置き換えられる。他の例として、ユーザの顔はオリジナルのシーンの中にマッピングされてもよい。この機能によって、ユーザはお気に入りの映画やテレビのシーンの中で演技する自分自身を見ることが可能となる。
【００２９】
ある実施の形態では、上述のプロセッサベースのシステムによって新たな映像セグメントが生成される。再度述べるが、このようなプロセッサベースのシステムは、エンタテインメントシステム、ゲームコンソール、またはそれと同様のいずれのタイプの装置も含みうる。ある実施の形態では、新たな映像セグメントはリアルタイムで生成される。
【００３０】
ある実施の形態では、参照映像セグメントの登場人物は、撮像されたユーザの実演によって完全に置き換えられる。ある実施の形態では、新たな映像セグメントは、参照映像セグメントからの画像の上に撮像された実演を重ね合わせて特徴付ける。新たな映像セグメントを生成するための特殊効果を使用することも考慮されている。例えば、参照映像セグメントからの登場人物は、撮影された実演とモーフィングされてもよい。
【００３１】
ある実施の形態では、参照映像セグメントは新たな映像セグメントを生成することに対してより適応するために、何らかの処理がなされる。例えば、ある作品からの映像セグメント中のカメラ視野は、参照映像セグメントにおいて修正ないし調整がなされる。具体的な調整はシーンに依存する。例えば、オリジナル作品中の動いているカメラまたは流し撮りしているカメラは、静止撮影となるように修正される。これにより、参照映像セグメントの一部を、撮像された実演の少なくとも一部と置き換えることが容易となる。撮像された実演は、固定カメラによって、例えば静止画像として撮像されるからである。しかし、当然のことながら、オリジナル作品をより近く複製するために、撮像された実演は動きつつ撮像されたりまたは流し撮りされたりするものであってもよい。他の例としては、作品の映像セグメントで使用されているカメラのレンズは参照映像セグメントにおいては修正ないし調整されていてもよい。
【００３２】
ステップ１０８において、新たな映像セグメントはディスプレイに表示される。ディスプレイは、上述のプロセッサベースのシステムに接続されている。新たな映像セグメントは実演を撮影した後に表示されるので、実演者は実演を評価することができる。主観的および客観的な実演のフィードバックを実演者に提供するための、実演後における実演についての成績評価が考えられており、後述する。
【００３３】
ある実施の形態では、新たな映像セグメントはほぼリアルタイムで表示され、実演者は、その新たな映像セグメント内に具現化されたものとして演技を見ることが可能となる。新たな映像セグメントはまた、参照映像セグメントと同時に表示され、実演者は新たな映像セグメントと参照映像セグメントとの相違に注意することができる。ある実施の形態では、新たな映像セグメントと参照映像セグメントとの両者が同時にリアルタイムで表示され、撮像された実演と参照映像とを同期することでリアルタイムで実演を調整することが可能となる。
【００３４】
図２Ａ、図２Ｂ、および図２ＡＣは、参照映像セグメントの例の代表フレームを説明するものであり、図１における方法１００のステップ１０２において選択される。図示された参照映像セグメントは、例えば、上述した作品のいずれかのような、任意のタイプの作品からの映像セグメントを含んでもよい。参照映像セグメントは、動作に従事している登場人物２０２を示す。登場人物２０２は、例えば、有名な俳優、有名人、スポーツ選手、その他の人物である。ユーザや他の実演者は、登場人物２０２の実演を真似たり模倣したりしたいものであり、また、映像セグメント内の自分自身を見たいものである。
【００３５】
図２Ａにおける一番目のフレームは、登場人物２０２が格闘技の対戦相手２０４と戦う準備をしていることを示す。登場人物２０２は対戦相手２０４に対して構えの姿勢であり、対戦相手２０４もまた格闘技の構えの姿勢である。図２Ｂにおいて、登場人物２０２は対戦相手２０４に対して前蹴りを繰り出す過程にある。登場人物の左足２０６が持ち上げられており、彼の重心は右足２０８に移動している。両腕２１０はバランスを取ることと、蹴りに力と速度を伝えるために動く。図２Ｃにおいて、登場人物２０２は、対戦相手２０４の顔２１２に左足２０６による前蹴りを繰り出している。登場人物の両腕２１０と右足２０８は、蹴りに最大の力と速度とを伝えるための正確な位置にある。登場人物の左足２０６は完璧な位置にあり、対戦相手２０４の顔２１４に届くのに充分な高さである。
【００３６】
図３は、登場人物２０２の実演を模倣しようとする個々のユーザまたは実演者３０２の実演を例示する図である。実演者３０２の実演は、図１における方法１００のステップ１０４に関連して利用される。実演者３０２は一般の個人であり、家庭においてお気に入りの映画やテレビのシーンの中の自分自身を見て楽しんでいる。この例では、実演者３０２は、上述の参照映像セグメントの蹴りのシーンを演じたり、模倣したり、あるいは再現したりしようとする。
【００３７】
実演者３０２の実演は、カメラ３３０で撮影される。上述したように、カメラ３００はいずれのタイプのカメラも含み、例えば、デジタルカメラ、ウェブカム（webcam）Ｚカメラ、または類似のカメラである。上述したように、カメラ３３０は、例えばエンタテインメントシステムやゲームコンソールのようなプロセッサベースのシステム３３２と接続されている。プロセッサベースのシステム３３２は、典型的にはディスプレイ３３４と接続されており、マイク３３６も含んでいる。ある実施の形態では、マイク３３６はカメラ３３０に統合されている。プロセッサベースのシステム３３２は、ＤＶＤやＢｌｕ-ｒａｙ Ｄｉｓｃ（登録商標）、ＣＤ等の着脱可能な記録メディア３３８も含む。
【００３８】
実演は、カメラ３３０の前で実演者３０２が実演するときに撮影される。ある実施の形態では、実演者３０２が実演している間、参照映像セグメントはディスプレイ３３４に表示される。このように、実演をしている間、実演者３０２は参照映像セグメントを見る。すなわち、実演者３０２はディスプレイ３３４上で登場人物２０２の実際の動作を見ることができ、これによって登場人物２０２の実演とより近くマッチまたは模倣する実演を、実演者３０２が遂行する助けとなりうる。ある実施の形態では、参照映像セグメントは、着脱可能な記録メディア３３８に格納されている一またはそれ以上のシーンから選択されたシーンである。
【００３９】
図４Ａ、図４Ｂ、および図４Ｃは、図３に示されている例示的な実演から撮影された代表的なフレームを示す図である。図４Ａは、実演者３０２が構えの姿勢にあることを示し、図２Ａにした登場人物２０２の構えの姿勢を真似ようとしていることを示す。図４Ｂは、左足３０６を上げている実演者３０２を示し、図２Ｂに示した登場人物２０２の前蹴りを繰り出す技術を真似ようとしていることを示す。はっきり分かるように、実演者３０２の左足３０６の膝は、登場人物２０２の左足２０６のようには伸びていない。その上さらに、実演者３０２の両腕３１０は適切にバランスを取ることに失敗し、結果としてぎこちない姿勢となっている。図４Ｃは、図２Ｃで示した登場人物２０２による対戦相手２０４の顔への蹴りを繰り出そうとしている実演者３０２を示す。はっきりと分かるように、実演者３０２の左足の足先は、対戦相手の顔に当てるのに十分な高さには遠く及ばない。
【００４０】
図５Ａ、図５Ｂ、および図５Ｃは、図１における方法１００のステップ１０６に関連して生成される荒田は映像セグメントの代表フレームを示す。すなわち、新たな映像セグメント（図５Ａ、図５Ｂ、および図５Ｃ）は、参照映像セグメント（図２Ａ、図２Ｂ、および図２Ｃ）を表し、撮影された実演（図４Ａ、図４Ｂ、および図４Ｃ）の少なくとも一部によって参照映像セグメントの一部が置き換えられている。上述したように、ある実施の形態では、新たな映像セグメントは図３に示すプロセッサベースのシステム３３２のようなプロセッサベースのシステムによって生成される。
【００４１】
より具体的には、新たな映像セグメントは、参照映像セグメントからのほとんどの特徴を含む。しかしながら、注目すべきは、オリジナルの登場人物２０２は新たな映像セグメントでは演じていない。その代わり、登場人物２０２は実演者３０２に置き換えられている。すなわち、登場人物２０２が写っている参照映像セグメント（図２Ａ、図２Ｂ、および図２Ｃ）の一部は、実演者３０２が写っている撮像された実演（図４Ａ、図４Ｂ、および図４Ｃ）の一部で置き換えられている。
【００４２】
図５Ａにおいて、対戦相手２０４に対して構えの姿勢を取る実演者３０２が示されている。図５Ｂにおいて、左足３０６を上げて登場人物２０２の前蹴りを繰り出す技術を模倣し、真似ようとしている実演者３０２が示されている。これは図４Ｂに示されている実演者３０２と同じ姿勢であるが、今回は対戦相手２０４の目の前に実演者３０２が示されている。上述したように、実演者３０２の左足３０６の膝は、あるべき高さまで伸びていない。その上、実演者３０２の両腕３１０は適切にバランスを取ることに失敗し、結果としてぎこちない姿勢となっている。図５Ｃは、対戦相手２０４の顔２１２へ蹴りを繰り出そうとしている実演者３０２が示されている。しかしながら、新たな映像セグメントにおけるこのフレームにおいて、実演者３０２の左足３０６の足先は、対戦相手２０４の顔２１２に当てるのに十分な高さには遠く及ばないことがはっきりと見える。
【００４３】
これまで記載した方法およびシステムを用いることにより、ユーザは新たな映像セグメントを見ることで自分自身の実演を見ることができ、次の試みを改善することができる。この例は、登場人物２０２の全身が、実演者３０２の全身で置き換えられることを含む。一方で、ある実施の形態では、新たな映像セグメントを生成するステップは、登場人物のほんの一部分が対応するユーザの部分で置き換えられることを含む。例えば、登場人物の顔、あるいはさらに登場人物の顔の一部が、ユーザの顔か、対応するユーザの顔の一部で置き換えられてもよい。
【００４４】
上述した例はまた、格闘技の蹴りを模倣しようとするユーザを含んだが、当然のことながら、ユーザは他の多くの種類の実演を試みてもよい。例えば、演技者は会話を何度も練習し、それからユーザの会話を拾うマイク付きのカメラの前で演技してもよい。ある実施の形態では、プロセッサベースシステムに接続されているマイクで、実演で生じた音声を収録する。そのようなマイクの例は、図３におけるマイク３３６である。次いで、参照映像セグメント中のオリジナル音声の少なくとも一部が、対応する収録した音声の一部で置き換えられる。これにより、ユーザは自分自身の演技を見ることのみならず、お気に入りのシーンにおける会話を自分自身が話すところを聞くことができる。これにより、ユーザは上述の技術によってシーンに組み入れられた俳優や女優と並んで有名な会話を何度も練習することができる。
【００４５】
図６を参照すると、本発明の別の実施の形態に関して実行される方法６００が図示されている。方法６００は、実演の「スコアリング」または評価に関して用いられる。すなわち、方法６００は、参照映像セグメントにおける関連する部分とどの程度近くユーザまたは他の実演者が模倣ないし再現できたかを決定するために用いられる。
【００４６】
具体的には、方法６００は、カメラで実演が撮影されるステップ６０２から始まる。実演は、上述したいずれのタイプの実演を含んでもよい。例えば、実演は、ユーザによる実演を含んでもよい。実演は、上述した方法、あるいは他の方法で撮影される。ステップ６０４において、実演を表現する出力データをカメラから受け取る。出力データは任意のタイプのデータを含みうる。
【００４７】
ステップ６０６において、出力データを処理して、実演における一つ以上の観点とそれと対応する参照実演における観点とを比較する。例として、参照実演は上述した作品または参照映像セグメント中のいずれの実演等、あらゆるタイプの実演を含みうる。例えば、参照実演は、登場人物による実演を含んでもよい。
【００４８】
ある実施の形態では、実演における一つ以上の観点とそれと対応する参照実演における観点との比較は、ユーザによるジェスチャを登場人物によるジェスチャと比較することを含む。例えば、手の動き、足の動き、体の動き、顔の表情等が比較される。
【００４９】
ある実施の形態では、実演における一つ以上の観点とそれと対応する参照実演における観点との比較は、音声の比較を含む。例えば、ユーザの実演によって発声された音声が、上述のように収録される。そして、収録された音声が参照実演によって生じた音声と比較される。
【００５０】
最後に、ステップ６０８において、実演が参照実演とどれくらい密接にマッチしているかを示す指標が生成される。こうして、ステップ６０６における比較をもとに、実演者が利用することができる、実演者がどれくらいしっかりと参照映像セグメントを模倣することができたかを見るための指標が生成される。この指標は、実演をスコアリングまたは評価するために用いられる。例として、スコアリングは正確性、発声法、出だしの失敗（missed cues）の数等に基づく。すなわち、スコアリングは、どれくらい正確に実演者がオリジナルの登場人物（例えば俳優）の動きやジェスチャを再現できたかを測るために用いられる。ある実施の形態では、スコアリングは、実演者がオリジナルの登場人物と同じ抑揚、ピッチ、余韻（sustain）等で話せているか否かを決定することを含む。
【００５１】
図７Ａ、図７Ｂ、および図７Ｃは、それぞれ図５Ａ、図５Ｂ、および図５Ｃに示される新たな映像セグメントの代表フレームを、図６におけるステップ６０８で生成された指標を付けて示している。すなわち、図７Ａ、図７Ｂ、および図７Ｃは、実演者３０２の実演が、図２Ａ、図２Ｂ、図２Ｃに示す参照映像セグメント中の登場人物２０２の実演とどれくらい近いかを示す指標を含む。
【００５２】
具体的には、図７Ａにおいて、対戦相手２０４に対して構えの姿勢を取る実演者３０２が示されている。図７Ｂにおいて、左足３０６を上げて登場人物２０２の前蹴りを繰り出す技術を模倣し、真似ようとしている実演者３０２が示されている。上述したように、実演者３０２の左足３０６の膝は、あるべき高さまで伸びていない。これを説明するために、破線７０６は、図２Ｂにおける登場人物２０２の姿勢とマッチするために実演者３０２の全身がどこに位置すべきかを示している。同様に、図７Ｃは、対戦相手２０４の顔２１２へ蹴りを繰り出そうとしている実演者３０２を示す。上述したことを再度述べるが、実演者３０２の左足３０６の足先は、対戦相手２０４の顔２１２に当てるのに十分な高さには遠く及ばない。これを説明するために、破線７０８は、図２Ｃにおける登場人物２０２の姿勢とマッチするために実演者３０２の全身がどこに位置すべきかを示している。
【００５３】
このように、実演者３０２の実演が登場人物２０２の実演とどれくらい近いかを示すために生成された指標は、実演者３０２の実演のスコアリングまたは評価のために用いることができる。これにより、ユーザやプレイヤは、実演がお気に入りのシーンをより近く再現するように改良する助けとすることができる。
【００５４】
ある実施の形態では、新たな映像セグメント中における撮影された実演の一部は、撮影された実演の一部が参照映像セグメント中の対応する部分とより近くマッチするように修正または訂正される。例えば、図８Ａ、図８Ｂ、および図８Ｃは、それぞれ図７Ａ、図７Ｂ、および図７Ｃに示す新たな映像セグメントの代表フレームを示す。具体的には、図８Ａは対戦相手２０４に対して構えの姿勢を取る実演者３０２を示す。図８Ｂにおいて、新たな映像セグメントは、実演者３０２の体の姿勢が図２Ｂに示す登場人物２０２の体の姿勢と実質的にマッチするように修正されている。すなわち、実演者３０２の体は、図７Ｂの破線７０６の姿勢とマッチするように動かすことによって訂正されている。同様に、図８Ｃにおいて、新たな映像セグメントは、実演者３０２の体の姿勢が図２Ｃに示す登場人物２０２の体の姿勢と実質的にマッチするように修正されている。すなわち、実演者３０２の体は、図７Ｃの破線７０８の姿勢とマッチするように動かすことによって訂正されている。
【００５５】
プレイヤの実演を訂正するために新たな映像セグメントを修正することができることにより、プレイヤは、お気に入りのシーン中で自身が完璧に演じているところを見ることができる。例えば、もしプレイヤの実演が７０％のスコアを受け取ったとすると、１００％のスコアの実演家のように見えるように実演を訂正することができる。これにより、プレイヤがそのシーンの中でどのように実演または演技をすべきだったかが示される。ある実施の形態では、プレイヤが７０％のスコアを再現できるかどうかを見られるようにしてゲームをプレイすることができる。
【００５６】
このような修正および訂正は、例えばプレイヤの手足、体の他の部分やプレイヤの顔のようなプレイヤの体の一部に対して適用される。例えば、プレイヤの唇は参照映像セグメントとより近くマッチするように調整および「小さな変更」がされてもよい。ある実施の形態では、日本国の東京にあるMotionPortrait, Inc（http://www.motionportrait.eom/e/参照）で用いられている技術が、このような修正や訂正を実装ないし実行を支援することができると考えられる。
【００５７】
ある実施の形態では、実演者または他のユーザは、その人の実際の映像ではなく、その代わりとしてアバター（avatar）、キャラクタ、ある別の人物、およびその他類似のもの等によって表現される。さらに、ある実施の形態では、上述の方法および技術は実演者や他のユーザによるあるジェスチャを追跡するために用いられる。例えば、このシステムは実演者の動作を追跡し、例えば手や足の動き等の、ある動作を認識する。認識されたある動作に応じて、様々な応答がシステムによって実行される。例えば、ある実施の形態においては、このような認識されたジェスチャが、実演を他の人物、キャラクタ、またはアバター等にモーフィングするといったイベントを始動させる。一例としては、実演は漫画のキャラクタにモーフィングされる。あるいは、実演があるアバターで表現され、次いで別のアバターにモーフィングされる。
【００５８】
ある実施の形態では、上述の方法および技術はオンライン環境に拡張される。これにより、プレイヤがお気に入りの映画／テレビのシーンをネットワークまたはオンラインコミュニティにおいて演じることができ、ネットワークまたはオンラインコミュニティ内の他者によって見られるオンラインゲームのようなオプションを提供することができる。プレイヤはネットワーク上の他のユーザによって評価されることさえもあり得るし、プレイヤは単に演技や実演を楽しむこともできる。ある実施の形態では、オンラインコンテンツは、プレイヤが視聴者ないし審判のために登場して実演する「リハーサル」（または「オーディション」）時間を設けた場所で開催される。実演をもとに、プレイヤはさらなる「オーディション」に進んでもよいし、場合によっては賞を受賞する。例えば、プレイヤはオンラインコミュニティのメンバによって「お気に入り」に選ばれることもある。
【００５９】
オンラインのシナリオに関し、図９は本発明の別の実施の形態にしたがって実行される方法９００を説明する図である。方法９００は、実演に関して用いられるものであり、オンラインコミュニティに参照映像セグメントを表示するステップ９０２から始まる。すなわち、オンラインコミュニティにいる他のユーザが同じ参照映像セグメントを見ることができるように、参照映像セグメントが表示される。これは多くのユーザが、誰が最も上手に参照映像セグメントを模倣または真似るかを競い合うゲームやコンテストに有用である。
【００６０】
ステップ９０４において、実演を撮影するカメラからデータが受け取られる。実演は、オンラインコミュニティのメンバ等のユーザによるものである。ユーザは参照映像セグメントの実演を真似または模倣しようとする。ある実施の形態では、カメラはユーザによって実行されているクライアント装置に接続されている。クライアント装置は、例えばエンタテインメントシステムやゲームコンソールのような、上述した任意のプロセッサベースのシステムを含む。カメラからのデータはプロセッサベースのシステムによって受け取られる。
【００６１】
ステップ９０６において、参照映像セグメントを表し、撮影された実演の少なくとも一部によって参照映像セグメントの一部が置き換えられた新たな映像セグメントが生成される。このステップは実質的には上述したように実行される。例えば、参照映像セグメント内の登場人物は、実演しているユーザによって少なくとも部分的に置き換えられる。新たな映像セグメントは、上述したクライアント装置、サーバやオンラインコミュニティに付随するコンピュータ、他のコンピュータ、あるいはこれらの連携によって生成される。
【００６２】
ステップ９０８において、オンラインコミュニティに新たな映像セグメントの表現が表示される。これにより、オンラインコミュニティ内の他のメンバやユーザがユーザの実演を見ることが可能となる。
【００６３】
ステップ９１０において、撮影された実演（それは参照映像セグメント内の対応する部分を置換する）の一部に関するフィードバックがクライアント装置に提供される。ある実施の形態では、フィードバックは、オンラインコミュニティ内の他のユーザ、審判、コメンテータ等によって提供される。このようなフィードバックは、注釈、批評、講評、スコア、評価等が含まれる。ある実施の形態では、フィードバックは自動的または一部が自動的な手段によって生成される。例えば、フィードバックは図６におけるステップ６０８によって生成されるタイプの指標を含む。
【００６４】
図１０を参照し、本発明の実施の形態にしたがってオンラインのシナリオを実装するための例示的なシステム１０００を示す。システム１０００は、上述した一またはそれ以上の方法、教示、ないし技術を用いる。システム１０００は、オンラインコミュニティ１００２を含む。オンラインコミュニティの例としては、日本国の株式会社ソニー・コンピュータエンタテインメントによって開発されているPlayStation Home（商標または登録商標）が上げられる。
【００６５】
図に示すように、ユーザ３０２によって使用されているプロセッサベースのシステム３３２はオンラインコミュニティ１００２に接続されている。このシナリオでは、プロセッサベースのシステム３３２はクライアント装置として動作する。これにより、図５Ｂにおけるユーザ３０２によって作り出された新たな映像セグメントがオンラインコミュニティ１００２内に表示されることが可能となる。
【００６６】
さらなるユーザ１０２０および１０４０もまた、オンラインコミュニティ１０００のメンバである。ユーザ１０２０はプロセッサベースのシステム１０２４に接続されているカメラ１０２２を利用できる。同様に、ユーザ１０４０はプロセッサベースのシステム１０４４に接続されているカメラ１０４２を利用できる。プロセッサベースのシステム１０２４と１０４４とは共に、オンラインコミュニティ１００２に接続されている。
【００６７】
ある実施の形態の実行中、それぞれ異なる実演を撮影する一またはそれ以上のカメラ１０２２、１０４２からデータを受け取る。それぞれが参照映像セグメントを表し、撮影された異なる実演の少なくとも一部によって参照映像セグメントの一部が置き換えられた映像セグメントが生成される。各映像セグメントの表現はオンラインコミュニティ内に表示される。さらに、それぞれ撮影された実演の一部に関連する各クライアント装置にフィードバックが供給される。
【００６８】
例えば、ユーザ１０２０による実演が、プロセッサベースのシステム１０２４に接続されているカメラ１０２２によって撮影される。続いて、ユーザ１０２０によって作り出された新たな映像セグメントがオンラインコミュニティ１００２内に表示される。新たな映像セグメントは１０２６で示されている。同様に、ユーザ１０４０による実演が、プロセッサベースのシステム１０４４に接続されているカメラ１０４２によって撮影される。続いて、ユーザ１０４０によって作り出された新たな映像セグメントがオンラインコミュニティ１００２内に表示される。たな映像セグメントは１０４６で示されている。
【００６９】
システム１０００は多くの異なるタイプのゲーム、コンテンツ、活動等に利用される。例えば、ユーザ３０２、１０２０、および１０４０は、図２Ａ、図２Ｂ、および図２Ｃに示されている参照映像セグメント中の登場人物２０２の蹴りを誰が最も上手に模倣ないし真似ることができるかを決めるべく競争する。ユーザ３０２、１０２０、および１０４０による実演は、オンラインコミュニティ１００２内の他のユーザおよび／または審判のによって評価ないし判断される。すなわち、このような他のユーザおよび／または審判は３つの実演を全て見ることができ、かつ上述のようにフィードバックを生成することができる。ある実施の形態では、ユーザ３０２、１０２０、および１０４０による実演は、上述の自動的な手段によって評価ないし判断される。
【００７０】
他のシナリオでは、システム１０００は、他のオンラインプレイヤが視聴したり、判断したり、批評したりするための「オーディション」および有名なシーンにおける主要な役割を得るための競争のためにプレイヤによって利用される。これはプレイヤの実演を視聴する著名人の判断を含んでもよい。これにより、場合によってはプレイヤが見出されることにつながったり、少なくともプレイヤがスターになったような気がしたりすることにつながる。例えば、高価な設備や電子メイルを通じて資料を提出することなしに、プレイヤ自身のリビングルームにおいて、プレイヤは実際の役を得るために競争したり、有名な映画やリアリティーテレビ番組（reality show）のオーディションを争ったりすることができる。これは全てがオンラインで送信できるからである。システム１０００は、実際にオンエアされるスポット放送にコンテストの機会への参加申し込みを提出することにも利用されてもよい。あるいは、システム１０００はオーディションや実演を単に記録して、他者の楽しみやコメント用にオンラインに投稿するために用いられてもよい。さらに、システム１０００は、将来のコンテンツのために新しいシーンや台詞をオンラインストアからダウンロードするユーザに利用されてもよい。
【００７１】
ある実施の形態では、上述の方法や技術はいくつものミニゲームを実装するために利用される。例えば、プレイヤは様々なテレビのパーソナリティや専門家を「演じる」または「実際に演じる」ことができる。プレイヤは楽しみながら興味ある専門分野における技能を磨く機会を得ることができる。これらのミニゲームは、プレイヤがカメラの前で「誇張した演技」をし、楽しむことができる愉快な「パーティゲーム」をも提供する。ミニゲームが基づいているテレビのパーソナリティや専門家の手本は以下のものを含む。すなわち、有名なゴシップを紹介している芸能ニュースのリポーター、ミュージックビデオ、映画の予告等、テレビニュースのキャスター、テレビの気象学者、テレビの交通リポーター、テレビ記者、テレビのスポーツコメンテイター（有名なスポーツシーンを含むことができる）、サタデーナイトライブ（Saturday Night Live）の司会者（オープニングの独白）、テレビの深夜番組の司会者（オープニングの独白）、テレビ宣教師、およびテレビのインフォマーシャル（奇妙な商品の販売活動で、プレイヤがピッチおよび商品の説明に追いつかなくてはならない）である。他の例は、ビジネスプレゼンテーションのシナリオを含む。すなわち、難しい表情をしてスーツを着て机に付き、プレイヤを見ている人々によって、広い重役用会議室が埋められている。プレイヤは（例えばカメラを経由して）人々の前に立ち、スピーチをしたりおかしな独白をしたりする。このシナリオは、実生活の「大きな」プレゼンテーションに場慣れするというビジネス界の人々にとって実際的な用途にでさえ利用しうる。
【００７２】
ある実施の形態では、システム１０００は「ビデオブログ」を作成するために利用する。例えば、そのようなブログはオンラインコミュニティのメンバによって作成される。ユーザはアカウントを作成し、与えられた舞台のテンプレートを用いる。このようなテンプレートは異なる個性や雰囲気を作り出す。例えば、スポーツのファンは、オンラインコミュニティや友人等に投稿する短時間の「ビデオブログ」は、どのような内容を配信したいのであっても、スポーツ関連の背景や画像等を表すテンプレートを使うであろう。テンプレートは、例えばオンラインコミュニティからダウンロードできてもよい。プレイヤは、他者がビデオを見ることができる自分自身のオンラインコミュニティのアパートメントに、ビデオを投稿してもよい。
【００７３】
このように、上述の方法および技術によって、プレイヤ、実演者、または他のユーザは演技し、実演し、または単に有名なシーンの中に登場することができる。ユーザはそのシーンを保存して友人や家族と共有したり、オンラインに投稿したりする。上述の方法および技術は、エンタテインメントシステムやゲームコンソールのようなプロセッサベースのシステムを、個人的なメッセージや独自なスタイル、自分が誰であるかを配信するために利用する機会をプレイヤに提供する。これはオンラインデートのような活動に有用である。
【００７４】
ある実施の形態では、上述の方法および技術はブルースクリーンテクノロジーを用いて実装される。すなわち、プレイヤはブルースクリーンをつるしてその前に立ち、様々なシーンを演じたり実演したりする。ブルースクリーンは上述の方法および技術を実装するためのソフトウェアおよび／またはシステムのオブションとして含まれていてもよい。しかしながら、そのようなブルースクリーンテクノロジーは必須ではない。ブルースクリーンテクノロジーを用いずに上述の方法および技術を実装するために、上述のＺカメラを利用することができると考えられる。
【００７５】
ある実施の形態では、ビデオの「撮影備品（props）」が用いられる。例えば、システムは白い手袋を認識するように構成される。これにより、プレイヤがスクリーン上の、例えば銃やコーヒーカップ等の撮影備品を「掴む」ことができるようになる。
【００７６】
本明細書に記載されている方法および技術は、利用され、実装され、および／または多くの異なるタイプのシステム上で実行される。図１１を参照すると、そのような任意の実装にも用いられるシステム１１００が示されている。例えば上述のコンソール、ゲームコンソール、エンタテインメントシステム、プロセッサベースのシステム等の、上述のいずれのシステムまたは装置を実装するために、一またはそれ以上のシステム１１００の構成要素が用いられる。しかしながら、システム１１００を利用すること、またはシステム１１００の一部分を利用することは必須ではない。
【００７７】
例として、システム１１００は、ＣＰＵ（central processing unit）１１０２、ＧＰＵ（graphics processing unit）１１０４、ＲＡＭ（random access memory）１１０８、およびディスクドライブのような大容量ストレージユニット（mass storage unit）を含んでもよいが、含むことは必須ではない。システム１１００は、図３におけるカメラ３３０、図１０におけるディスプレイ３３４、マイク３３６、および／またはオンラインコミュニティ１００２のような本明細書に記載した構成要素と接続されているか、または一体となっている。システム１１００はプロセッサベースのシステムの例を含んでいる。ＣＰＵ１１０２および／またはＧＰＵ１１０４は、本明細書に記載されている方法および技術のステップ、および様々なプログラム、画像、アバター、プレゼンテーション、コミュニティ、およびインタフェースをディスプレイに表示することを実行あるいは実行を支援するために用いられてもよい。
【００７８】
大容量ストレージユニット１１１０は任意のタイプのコンピュータに読み込み可能なストレージや記録媒体を含む。コンピュータに読み込み可能なストレージや記録媒体は大容量ストレージユニット１１１０内に固定されているか、あるいは大容量ストレージユニット１１１０は、ＤＶＤ（digital video disk）、Blu-ray disc（登録商標）、ＣＤ（compact disk）、ＵＳＢストレージ、フロッピーディスク（登録商標）、または他のメディアのような着脱可能なストレージ１１１４をオプションとして含んでもよい。例えば、大容量ストレージユニット１１１０は、ディスクドライブ、ハードディスクドライブ、フラッシュメモリ装置、ＵＳＢストレージ装置、Blu-ray disc（登録商標）ドライブ、ＤＶＤドライブ、ＣＤドライブ、フロッピーディスクドライブ（登録商標）等を含む。大容量ストレージユニット１１１０または着脱可能なストレージ１１１４は、本明細書に記載された方法および技術を実装するコンピュータプログラムコートを格納するために用いられてもよい。
【００７９】
したがって、着脱可能なストレージ１１１４は、大容量ストレージユニット１１１０のオブションとして利用されうる。着脱可能なストレージ１１１４は、上述の新たな映像セグメントの作成、実演の比較、スコアリング、および訂正をするため、さらにオンラインの作品を実装するためのコード等の、本明細書に記載されている方法および技術を実装するコードを格納するために用いられる。しかしながら、例えばＲＡＭ１１０８や大容量ストレージユニット１１１０のようないずれのストレージ装置も、そのようなコードを格納するために用いられてもよい。例えば、このような任意のストレージ装置は、コンソール、システム、コンピュータ、あるいは他のプロセッサベースのシステムに本明細書に記載されている方法、コード、および／または技術の任意のステップを実行ないし遂行させるコンピュータプログラムとして具体化するための有形のコンピュータストレージとして機能する。さらに、ＲＡＭ１１０８や大容量ストレージユニット１１１０のような任意のストレージ装置は、任意の必要とされるデータベースを格納するために用いられてもよい。
【００８０】
ある実施の形態では、上述した一またはそれ以上の実施の形態、方法、やり方、および／または技術がプロセッサベースのシステムによって実行されるコンピュータプログラムで実装されてもよい。例としては、そのようなプロセッサベースのシステムは、プロセッサベースのシステム１１００、またはコンピュータ、エンタテインメントシステム、ゲームコンソール等が含まれてもよい。このようなコンピュータプログラムは上述した方法および／または技術における様々なステップおよび／または特徴を実行するために用いられる。すなわち、コンピュータプログラムは、プロセッサベースのシステムに上述の機能を実行および達成させるよう構成されている。例えば、そのようなコンピュータプログラムは、実演の撮影、新たな映像セグメントの生成、実演の観点の比較、フィードバックの生成等をする上述の任意の実施の形態を実装するために用いられる。他の例としては、そのようなコンピュータプログラムは、上述した実施の形態、方法、やり方、および／または技術の任意の一またはそれ以上を使用する任意のツールやユーティリティを実装するために用いられる。ある実施の形態では、コンピュータプログラムは、ビデオゲーム、ＲＰＧ（role-playing game）、あるいは他のコンピュータシミュレーションを含む。ある実施の形態では、コンピュータプログラム内のプログラムコードモジュール、ループ、サブルーティン等は、上述の方法および／または技術の様々なステップおよび／または特徴を実行するために用いられる。ある実施の形態では、コンピュータプログラムは、例えば本明細書に記載されている任意のコンピュータに読み込み可能なストレージや記録媒体等のコンピュータに読み込み可能なストレージや記録媒体に格納される。
【００８１】
したがって、ある実施の形態では、本発明はプロセッサベースのシステムにステップを実行させるプログラムを格納する記録媒体を提供する。ここで前記プログラムは、参照映像セグメントの選択を受け取る受信ステップと、実演をカメラで撮影するステップと、前記参照映像セグメントを表し、前記撮影された実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、前記新たな映像セグメントをディスプレイに表示するステップとを実行させ、前記カメラおよび前記ディスプレイは、前記受信ステップおよび前記生成ステップを実行する前記プロセッサベースのシステムに接続している。
【００８２】
別の例として、ある実施の形態では、本発明はオンラインコミュニティに参照映像セグメントを表示するステップと、クライアント装置に接続されている、実演を撮影するカメラからデータを受け取るステップと、前記参照映像セグメントを表し、撮影された前記実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、オンラインコミュニティに新たな映像セグメントの表現を表示するステップと、撮影された前記実演の一部分に関するフィードバックを前記クライアント装置に提供するステップと、をプロセッサベースのシステムに実行させるプログラムを格納した記録媒体を提供する。
【００８３】
別の例として、ある実施の形態では、本発明は実演をカメラで撮影するステップと、前記実演を表現する出力データを前記カメラから受け取るステップと、前記出力データを処理して、実演における一つ以上の観点とそれと対応する参照実演における観点とを比較するステップと、実演が参照実演とどれくらい密接にマッチしているかを示す指標を生成するステップと、をプロセッサベースのシステムに実行させるプログラムを格納した記録媒体を提供する。
【００８４】
本明細書において本発明を具体的な実施の形態およびその適用を使って記載されているが、請求項に記載されている本発明の範囲を離れることなく、当業者によって多数の修正および変形されることが可能であろう。
【特許請求の範囲】
【請求項１】
プロセッサベースのシステムにステップを実行させるプログラムを格納する記録媒体であって、前記プログラムは、
参照映像セグメントの選択を受け取る受信ステップと、
実演をカメラで撮影するステップと、
前記参照映像セグメントを表し、前記撮影された実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、
前記新たな映像セグメントをディスプレイに表示するステップとを実行させ、
前記カメラおよび前記ディスプレイは、前記受信ステップおよび前記生成ステップを実行する前記プロセッサベースのシステムに接続していることを特徴とする記録媒体。
【請求項２】
前記プロセッサベースのシステムに接続されているマイクで実演によって生じた音声を収録するステップと、
前記参照映像セグメント中のオリジナル音声の少なくとも一部を、対応する前記収録された音声によって置き換えるステップと、
を前記プロセッサベースのシステムにさらに実行させるプログラムを格納した請求項１に記載の記録媒体。
【請求項３】
前記参照映像セグメントは少なくとも一人の登場人物を含み、
前記実演はユーザによる実演を含み、
前記新たな映像セグメントを生成するステップは、前記登場人物の少なくとも一部を対応する前記ユーザの一部と置き換えることを特徴とする請求項１に記載の記録媒体。
【請求項４】
前記参照映像セグメントは、既に公開されている映画、テレビ番組、テレビ放送、ビデオゲーム、スポーツイベント、およびミュージックビデオのうちのひとつを含む作品からの映像セグメントを含み、
前記作品からの映像セグメント中のカメラ視野は、前記参照映像セグメントにおいて修正されていることを特徴とする請求項１に記載の記録媒体。
【請求項５】
オンラインコミュニティに参照映像セグメントを表示するステップと、
クライアント装置に接続されている、実演を撮影するカメラからデータを受け取るステップと、
前記参照映像セグメントを表し、撮影された前記実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、
オンラインコミュニティに新たな映像セグメントの表現を表示するステップと、
撮影された前記実演の一部分に関するフィードバックを前記クライアント装置に提供するステップと、
をプロセッサベースのシステムに実行させるプログラムを格納した記録媒体。
【請求項６】
それぞれが異なるクライアント装置に接続され、それぞれが異なる実演を撮影するカメラからデータを受け取るステップと、
それぞれが前記参照映像セグメントを表し、撮影された前記異なる実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた映像セグメントを生成する生成ステップと、
オンラインコミュニティに映像セグメントの表現それぞれを表示するステップと、
撮影されたそれぞれの実演の一部分に関するフィードバックを、対応するそれぞれのクライアント装置に提供するステップと、
を前記プロセッサベースのシステムにさらに実行させるプログラムを格納した請求項５に記載の記録媒体。
【請求項７】
実演をカメラで撮影するステップと、
前記実演を表現する出力データを前記カメラから受け取るステップと、
前記出力データを処理して、実演における一つ以上の観点とそれと対応する参照実演における観点とを比較するステップと、
実演が参照実演とどれくらい密接にマッチしているかを示す指標を生成するステップと、
をプロセッサベースのシステムに実行させるプログラムを格納した記録媒体。
【請求項８】
前記実演はユーザによる実演を含み、
前記参照実演は登場人物による実演を含み、
実演における一つ以上の観点とそれと対応する参照実演における観点との比較は、前記ユーザによるジェスチャを前記登場人物によるジェスチャと比較することを含むことを特徴とする請求項７に記載の記録媒体。
【請求項９】
前記実演によって生じた音声を収録するステップとを含み、
実演における一つ以上の観点とそれと対応する参照実演における観点との比較は、収録した前記音声を前記参照実演によって生じた音声と比較することを含むことを前記プロセッサベースのシステムにさらに実行させるプログラムを格納した請求項７に記載の記録媒体。
【請求項１０】
前記参照実演を表し、前記撮影された実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、
前記撮影された実演の一部分が対応する参照実演の一部分により密接にマッチするように、前記新たな映像セグメントにおける前記撮影された映像の一部分を修正するステップと、
を前記プロセッサベースのシステムにさらに実行させるプログラムを格納した請求項７に記載の記録媒体。
【請求項１】
プロセッサベースのシステムにステップを実行させるプログラムを格納する記録媒体であって、前記プログラムは、
参照映像セグメントの選択を受け取る受信ステップと、
実演をカメラで撮影するステップと、
前記参照映像セグメントを表し、前記撮影された実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、
前記新たな映像セグメントをディスプレイに表示するステップとを実行させ、
前記カメラおよび前記ディスプレイは、前記受信ステップおよび前記生成ステップを実行する前記プロセッサベースのシステムに接続していることを特徴とする記録媒体。
【請求項２】
前記プロセッサベースのシステムに接続されているマイクで実演によって生じた音声を収録するステップと、
前記参照映像セグメント中のオリジナル音声の少なくとも一部を、対応する前記収録された音声によって置き換えるステップと、
を前記プロセッサベースのシステムにさらに実行させるプログラムを格納した請求項１に記載の記録媒体。
【請求項３】
前記参照映像セグメントは少なくとも一人の登場人物を含み、
前記実演はユーザによる実演を含み、
前記新たな映像セグメントを生成するステップは、前記登場人物の少なくとも一部を対応する前記ユーザの一部と置き換えることを特徴とする請求項１に記載の記録媒体。
【請求項４】
前記参照映像セグメントは、既に公開されている映画、テレビ番組、テレビ放送、ビデオゲーム、スポーツイベント、およびミュージックビデオのうちのひとつを含む作品からの映像セグメントを含み、
前記作品からの映像セグメント中のカメラ視野は、前記参照映像セグメントにおいて修正されていることを特徴とする請求項１に記載の記録媒体。
【請求項５】
オンラインコミュニティに参照映像セグメントを表示するステップと、
クライアント装置に接続されている、実演を撮影するカメラからデータを受け取るステップと、
前記参照映像セグメントを表し、撮影された前記実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、
オンラインコミュニティに新たな映像セグメントの表現を表示するステップと、
撮影された前記実演の一部分に関するフィードバックを前記クライアント装置に提供するステップと、
をプロセッサベースのシステムに実行させるプログラムを格納した記録媒体。
【請求項６】
それぞれが異なるクライアント装置に接続され、それぞれが異なる実演を撮影するカメラからデータを受け取るステップと、
それぞれが前記参照映像セグメントを表し、撮影された前記異なる実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた映像セグメントを生成する生成ステップと、
オンラインコミュニティに映像セグメントの表現それぞれを表示するステップと、
撮影されたそれぞれの実演の一部分に関するフィードバックを、対応するそれぞれのクライアント装置に提供するステップと、
を前記プロセッサベースのシステムにさらに実行させるプログラムを格納した請求項５に記載の記録媒体。
【請求項７】
実演をカメラで撮影するステップと、
前記実演を表現する出力データを前記カメラから受け取るステップと、
前記出力データを処理して、実演における一つ以上の観点とそれと対応する参照実演における観点とを比較するステップと、
実演が参照実演とどれくらい密接にマッチしているかを示す指標を生成するステップと、
をプロセッサベースのシステムに実行させるプログラムを格納した記録媒体。
【請求項８】
前記実演はユーザによる実演を含み、
前記参照実演は登場人物による実演を含み、
実演における一つ以上の観点とそれと対応する参照実演における観点との比較は、前記ユーザによるジェスチャを前記登場人物によるジェスチャと比較することを含むことを特徴とする請求項７に記載の記録媒体。
【請求項９】
前記実演によって生じた音声を収録するステップとを含み、
実演における一つ以上の観点とそれと対応する参照実演における観点との比較は、収録した前記音声を前記参照実演によって生じた音声と比較することを含むことを前記プロセッサベースのシステムにさらに実行させるプログラムを格納した請求項７に記載の記録媒体。
【請求項１０】
前記参照実演を表し、前記撮影された実演の少なくとも一部によって前記参照映像セグメントの一部が置き換えられた新たな映像セグメントを生成する生成ステップと、
前記撮影された実演の一部分が対応する参照実演の一部分により密接にマッチするように、前記新たな映像セグメントにおける前記撮影された映像の一部分を修正するステップと、
を前記プロセッサベースのシステムにさらに実行させるプログラムを格納した請求項７に記載の記録媒体。
【図１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７Ａ】
【図７Ｂ】
【図７Ｃ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図９】
【図１０】
【図１１】
【公表番号】特表２０１１−５１２０５４（Ｐ２０１１−５１２０５４Ａ）
【公表日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２０１０−５３９６３８（Ｐ２０１０−５３９６３８）
【出願日】平成２０年１２月１１日（２００８．１２．１１）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０８６４６９
【国際公開番号】ＷＯ２００９／０８２６３２
【国際公開日】平成２１年７月２日（２００９．７．２）
【出願人】（５００５５１０７９）ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー (95)
【Ｆターム（参考）】
【公表日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２０年１２月１１日（２００８．１２．１１）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０８６４６９
【国際公開番号】ＷＯ２００９／０８２６３２
【国際公開日】平成２１年７月２日（２００９．７．２）
【出願人】（５００５５１０７９）ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー (95)
【Ｆターム（参考）】
[ Back to top ]