シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
1つ以上のメディアソースを含む空間内で識別およびトラッキングされるユーザに対して事前定義された特権を自動的に適用するためのコンピュータ実装方法が提供される。前記方法は、ユーザプロファイルを定義してメモリに保存する操作を有する。前記ユーザプロファイルは、深度検知カメラによってユーザを識別およびトラッキングするためのデータを含んでもよい。あるいは、前記ユーザプロファイルに対して特定のメディアへのアクセスのレベルを定義する特権が定義されて保存される。また、前記方法は、前記深度検知カメラから、前記空間内のシーンの画像および深度データをキャプチャする操作を有する。更に別の操作では、前記画像および深度データから、前記シーン内で前記ユーザがトラッキングおよび識別される。あるいは、前記ユーザが前記シーン内で識別およびトラッキングされるときに、前記ユーザに対して1つ以上のメディアソースのうちの選択されたコンテンツへのアクセスが許可されるように、前記定義済みの特権が前記メディアソースに自動的に適用される。
【発明の詳細な説明】
【背景技術】
【0001】
ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきた。このために、ビデオゲームの開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしてきた。
【0002】
ゲームプラットホームの例に、ソニープレイステーション(登録商標)、ソニープレイステーション2(登録商標)(PS2)およびソニープレイステーション3(登録商標)(PS3)があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ(通常はテレビ)と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。ゲームコンソールは、CPU、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトルユニットなどの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒に対話的にプレイすることができるオンラインゲームも可能である。
【発明の概要】
【発明が解決しようとする課題】
【0003】
インターネットに接続されている処理能力の高いゲームコンソールは、ストリーミングおよびダウンロード可能なメディアを供給するオンラインインタラクションおよびオンライン市場へのアクセスを提供することが可能なエンタテインメントポータルとして機能するようになってきている。オンライン環境では、親は、有効で効率的なペアレンタルコントロールに苦労することが多い。ペアレンタルコントロールは個別に設定しなければならないため、ペアレンタルコントロールの効果がなくなったり、行き過ぎになったり、部分的に設定するとペアレンタルコントロールに食い違いが生じることがある。例えば、ケーブルボックスがテレビのチャンネルのペアレンタルコントロールを提供している場合、DVDまたはブルーレイディスクなどの光学メディアに記憶されたビデオに別途ペアレンタルコントロールを設定する必要があることがある。
【0004】
本発明の実施形態は、この状況においてなされたものである。
【課題を解決するための手段】
【0005】
概して、本発明は、深度検知カメラを使用してシーン内でのユーザの識別およびトラッキングを可能にする。前記ユーザの識別およびトラッキングにより、前記シーン内で前記識別およびトラッキングされたユーザに基づいて、各種メディアソースへのアクセス制御の自動適用が可能となる。ユーザは、ユーザプロファイルの一部として前記アクセス制御を構成することができる。また、ユーザは、自身のユーザプロファイルの一部として、アバターをアバターアニメーションと共に構成することもできる。前記アバターアニメーションは、前記シーン内でのユーザの移動を表示するために使用されうる。
【0006】
一実施形態では、1つ以上のメディアソースを含む空間内で識別およびトラッキングされるユーザに対して事前定義された特権を自動的に適用するためのコンピュータ実装方法が開示される。前記方法は、ユーザプロファイルを定義してメモリに保存する操作を有する。前記ユーザプロファイルは、深度検知カメラによってユーザを識別およびトラッキングするためのデータを含んでもよい。別の操作では、前記ユーザプロファイルに対して特定のメディアへのアクセスのレベルを定義する特権が定義されて保存される。また、前記方法は、前記深度検知カメラから、前記空間内のシーンの画像および深度データをキャプチャする操作を有する。更に別の操作では、前記画像および深度データから、前記シーン内で前記ユーザがトラッキングおよび識別される。更に別の操作では、前記ユーザが前記シーン内で識別およびトラッキングされるときに、前記ユーザに対して1つ以上のメディアソースのうちの選択されたコンテンツへのアクセスが許可されるように、前記定義済みの特権が前記1つ以上のメディアソースに自動的に適用される。
【0007】
別の実施形態では、事前定義されたコンピュータ生成効果を、現実世界のオブジェクトの仮想世界表現に自動的に適用するために、前記現実世界のオブジェクトを識別およびトラッキングするためのコンピュータ実装方法が開示される。前記方法は、深度検知カメラによって前記ユーザを識別およびトラッキングするためのデータを含むユーザプロファイルを定義し、メモリに保存する操作を有する。また、前記方法は、前記ユーザプロファイルに関連し、仮想世界シーンに一体化されるアニメーションを定義し、前記メモリに保存する操作を有する。別の操作では、前記深度検知カメラはシーンをキャプチャし、前記シーン内で、前記ユーザが識別およびトラッキングされる。更に別の操作では、ディスプレイ画面が前記一体化されたアニメーションを表示するように、前記識別およびトラッキングされたユーザに基づいて前記定義したアニメーションが自動的に適用される。
【0008】
更に別の実施形態では、現実世界の空間内で現実世界のユーザを識別およびトラッキングするためのコンピュータ実装方法が開示される。一操作では、深度検知カメラによってキャプチャされた画像および深度データからユーザプロファイルが定義される。前記ユーザプロファイルは、前記現実世界のユーザの物理的な特徴に関連する画像および深度データを含んでもよい。別の操作では、前記深度検知カメラを使用してシーンの画像および深度データがキャプチャされうる。また、前記方法は、前記シーン内で移動オブジェクトを識別する操作を有してもよい。別の操作では、前記移動オブジェクトの画像および深度データにより、前記シーン内で、前記現実世界のユーザの頭部にロックオンしてこれをトラッキングすることが可能となる。更に別の操作では、前記頭部の前記画像および深度データがリアルタイムに分析される。前記分析では、前記頭部の画像および深度データと、物理的な特徴に関連するユーザプロファイルの画像および深度データとの比較が行われてもよく、前記ユーザプロファイル内の画像および深度データが、前記頭部の画像および深度データと実質的に一致する場合、ユーザが識別される。
【0009】
本発明の他の態様および利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
【図面の簡単な説明】
【0010】
【図1A】本発明の一実施形態による、事前定義されたコンピュータ生成された効果を、現実世界のオブジェクトの仮想世界表現に適用するために、現実世界のオブジェクトの識別およびトラッキングに使用されうる例示的な操作を含むフローチャートである。
【図1B】本発明の一実施形態による、コンピュータシステムに接続された深度検知カメラの視野内のシーンを示す。
【図2A】本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。
【図2B】本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。
【図2C】本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。
【図2D】本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。
【図2E】本発明の一実施形態による、追加のユーザである母親の追加が完了した状態を示す例示的な画面である。
【図2F−1】本発明の一実施形態による、深度検知カメラによってキャプチャされ、ユーザの認識に使用されうる顔のパーツを示す。
【図2F−2】本発明の一実施形態による、さまざまな位置におけるユーザの頭部250の画像および深度データのキャプチャを示す。
【図2G】本発明の一実施形態による、深度検知カメラによってキャプチャされたさまざまな図から構築されるモデリングしたユーザの顔251の各種ポーズのマトリクスを示す。
【図2H】本発明の一実施形態による、さまざまな顔のパーツの相対位置の変化を示す3つの画像のシーケンスである。
【図2I】本発明の一実施形態による、ユーザの頭部の画像および深度データを取得するための手順を示す例示的なフローチャートである。
【図2J】本発明の一実施形態による、深度検知カメラの視野内でユーザを識別するための手順における例示的な操作を示す例示的なフローチャートである。
【図3A】本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。
【図3B】本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。
【図3C】本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。
【図4A】本発明の一実施形態による、ユーザに割り当てられる各種特権を示す例示的な表を示す。
【図4B】本発明の一実施形態による、ユーザによって作成されるアニメーションを示す例示的な表である。
【図5A】本発明の一実施形態による、処理済みビデオとして画面に表示される現実世界のシーンを含む空間を示す。
【図5B】本発明の実施形態による、例示的な処理済みビデオを示す。
【図6】本発明の一実施形態による、現実世界のシーンと、現実世界のシーンが処理済みビデオ10cとして画面に表示される様子とを示す。
【図7】認識されたオブジェクトの識別およびトラッキングを改善するために、点トラッキングを適用するための操作を示す例示的なフローチャートである。
【図8】本発明の一実施形態による、点トラッキングを示すシーンの例示的な図である。
【図9】本発明の一実施形態による、ユーザ定義コントローラを作成するために動的三次元オブジェクトマッピングを使用可能なコンピュータシステムである、ソニー(登録商標)プレイステーション3(登録商標)エンターテイメントデバイスの全体的なシステムアーキテクチャを模式的に示す。
【発明を実施するための形態】
【0011】
本発明とその更なる利点とは、添付の図面を参照して以下の記載を読めば、よりよく理解できるであろう。
【0012】
深度検知カメラからの画像および深度データによってユーザを識別したのちに、コンピュータシステム用のユーザプロファイルを自動的に適用するための方法が開示される。概して、コンピュータシステムは、ユーザからの入力を受け取るものであれば、汎用コンピュータ(例えば、デスクトップ、ノートブック、ハンドヘルドデバイス、スマートフォンなど)でも、ゲームコンソールのような専用コンピュータでも、どのようなタイプのシステムであってもよい。深度検知カメラは、画像データに沿って幾何学的な深度データをキャプチャすることができる。深度検知カメラは、分析および処理させるために、画像および深度データをコンピュータシステムに提供することができる。一実施形態では、深度検知カメラは単レンズカメラであり、別の実施形態では、複数のカメラレンズを使用して、さまざまな位置または視点から画像および深度データがキャプチャされてもよい。
【0013】
以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施しうることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。
【0014】
図1Aは、本発明の一実施形態による、事前定義されたコンピュータ生成された効果を、現実世界のオブジェクトの仮想世界表現に適用するために、現実世界のオブジェクトの識別およびトラッキングに使用されうる例示的な操作を含むフローチャートである。操作100は、識別およびトラッキングするユーザを定義するために使用される。一実施形態では、操作100は、コンピュータシステムに接続された深度検知カメラを使用して実行される。ユーザが、深度検知カメラによってキャプチャされた個々の特徴によって判別されて、コンピュータシステムによって実行されているソフトウェアによって認識されうる。各種実施形態では、顔の特徴(目、鼻および口などの顔のパーツの間の距離などが挙げられるが、これらに限られない)がキャプチャされうる。別の実施形態では、カメラの深度検知機能を使用して、ユーザの鼻、目、頭の大きさ、パーツの相対位置などのユーザの特徴が認識されうる。
【0015】
また、ユーザは、操作100の一環として仮想世界のアバターも定義しうる。識別およびトラッキングするためにユーザを定義する一環として、ユーザは、仮想世界においてユーザを表現するカスタマイズしたアバターを構成しうる。ユーザは、アバターを、現実世界の外見に似せて構成することも、現実世界の外見に制約されない想像上のアバターを持つように選択することもできる。この目的で、アバターは、体、頭、目、鼻、耳、口、腕、脚および髪型のサイズや形の構成を有することができるが、これらに限定されない。また、ユーザは、アバターのために、仮想の服装および履物のほか、宝石やサングラスなどの装飾品も構成することができる。
【0016】
操作102は、識別されるユーザに対する特権およびアニメーションを定義するために使用される。特権を使用することにより、識別されたユーザが深度検知カメラの前にいるときに、コンピュータシステムを介してアクセス可能なコンテンツのタイプに制限をかけることが可能となる。一実施形態では、コンピュータシステムは、インターネットに接続されており、限定的ではないがストリーミングまたはダウンロード可能な音楽およびマルチメディア(例えば映画、テレビ番組およびビデオクリップ)などの各種メディアソースへのアクセスを提供する。また、コンピュータシステムは、YouTubeなどのストリーミングビデオ対応のウェブサイトにアクセスするためのウェブブラウザを提供すると共に、オンラインまたはダウンロード可能なゲームへのアクセスも提供する。また、コンピュータシステムは、DVDまたは他の光記憶メディア(例えばブルーレイまたはHD−DVDディスク)を再生可能な統合メディアソースも備える。定義済みのユーザに割り当てられる特権により、特定のタイプの動画、テレビ番組、ゲームおよびウェブサイトへのアクセスの制限が可能となる。
【0017】
また、操作102は、識別されるユーザに対してアニメーションを定義するためにも使用されうる。アニメーションは、深度検知カメラおよびコンピュータシステムによって検出される現実世界での動作に対応させて、識別済みのユーザのアバターを画面上でアニメーション表示させるために使用されうる。例えば、一実施形態では、ユーザの動く速度がしきい値速度を超えたときに、アニメーションがユーザアバターに適用されうる。一実施形態では、ユーザの動きが遅い場合、ユーザの仮想世界のアバターに、クモの巣またはスパイダーウェブがアニメーション表示されうる。別の実施形態では、ユーザの動きが速い場合、アバターにブラーをかけたり、あるいは他のアニメーション(例えば、モーションクラウドや音声効果)など、ユーザの速い動きを強調するアニメーションが表示されうる。深度検知カメラとコンピュータシステムが、識別済みのユーザを認識すると、後から取得が可能となるように、ユーザアバターが、定義済みの特権およびアニメーションと共に保存されうる。
【0018】
操作104は、深度検知カメラの視野に入った移動オブジェクトを識別およびトラッキングするために使用されうる。カメラの視野内の移動オブジェクトが定義済みのユーザとして認識された場合、操作106は特権および/またはアニメーションを自動的に適用しうる。移動オブジェクトが定義済みのユーザとして認識されない場合は、操作106は、デフォルトの特権および/またはアニメーションを自動的にロードしうる。また、操作104は、コンピュータシステムと深度検知カメラを使用して、認識されたユーザまたは認識されていないユーザの動きを経時的にトラッキングし、アニメーション表示させうる。一実施形態では、深度検知カメラが動きを識別すると、動きの経時的なログファイルの作成を開始しうる。各種実施形態では、識別済みのユーザが深度検知カメラの視野に入ると、そのユーザの事前設定されたアニメーションを使用してログファイルが作成される。このログファイルは、深度検知カメラの視野内で識別済みのユーザの動きを経時的に表示して再生されうる。
【0019】
図1Bは、本発明の一実施形態による、コンピュータシステム120に接続された深度検知カメラ110の視野152内のシーン150を示す。深度検知カメラ110が、RGB画像モジュール114を使用して画像データをキャプチャする一方で、深度データモジュール112は、深度検知カメラ110の視野152内のオブジェクトの相対深度データをキャプチャしうる。一実施形態では、深度検知カメラ110は、三次元のオブジェクトから反射される光量に基づいて、相対深度を決定することができる。一部の実施形態では、深度検知カメラは、赤外光をパルス化可能な赤外線発光ダイオード(LED)のアレイを備える。深度データモジュール112は、反射されて深度検知カメラ110に戻るパルス化赤外光の量に基づいて、深度検知カメラ110の視野内のオブジェクトの相対深度を決定することができる。別の実施形態では、深度検知カメラ110からの画像および深度データが、コンピュータシステム120に送信されて処理される。
【0020】
焦点モジュール118は、論理処理ユニット116と共に、深度検知カメラ110に内蔵されうる。一部実施形態では、論理処理ユニット116は、RGB画像モジュール114からのデータと、深度データモジュール112からのデータとを相関させるために使用されうる。別の実施形態では、論理処理ユニット116は、焦点モジュール118の制御を補助しうる。焦点モジュール118は、RGB画像モジュール114の焦点と深度データモジュール112の焦点を変更しうる。深度データモジュール112の焦点は、赤外線LEDアレイ内の個々の赤外線LEDの強度を上げ、その持続時間を長くすることで、変更することができる。深度検知カメラによってキャプチャされた画像および深度データは、コンピュータシステム120によって実質的にリアルタイムに処理されうる。
【0021】
コンピュータシステム120は、深度検知カメラ110から画像および深度データを受け取り、これを処理することに加えて、さまざまな他のソースを有するか、あるいはさまざまな他のソースを入力として受け取りうる。例えば、コンピュータシステム120を介して、TVソース122、DVD/ブルーレイメディア124、ゲーム126およびインターネット128にアクセスすることができる。ユーザは、コンピュータシステム120用のユーザインタフェースを介して、異なるメディアソース130a/bを選択することができる。
【0022】
シーン150には、ユーザ140、ランプ142およびソファー144が存在している。コンピュータシステム120は、静止オブジェクト(例えばランプ142およびソファー144)からユーザ140を判別しうる。深度検知カメラ110は、コンピュータシステム120からのコマンドに応答して、ユーザ140の周囲の領域146に焦点を合わせうる。深度検知カメラ110は、ユーザ140を識別するために、ユーザ140の頭部領域148に焦点を微調整しうる。深度検知カメラは、頭部領域148に焦点を合わせることで、ユーザ140の画像および深度データのキャプチャが可能となり、これらが分析されて、コンピュータシステム120に関連するプロファイルデータと比較されうる。
【0023】
図2A〜2Dは、本発明の一実施形態による、アバターを含むユーザプロファイルの定義に使用されうる例示的な画面を示す。図2Aは、父親202、娘204および息子206のユーザプロファイルが既に作成されているコンピュータシステムの例示的な画面200を示す。また、画面200には、新しいユーザプロファイルを作成するためのボタン208も表示されている。図2Bは、本発明の一実施形態による、ボタン208の選択により表示される例示的な画面200bを示す。画面200bは、本発明の一実施形態で作成可能なタイプの異なるユーザプロファイルを表示する。例えば、人のアイコン210を選択すると、人に基づくプロファイルが作成されうる。ユーザが部屋の中でペットの動きをトラッキングしたい実施形態では、イヌアイコン212またはネコアイコン214の選択により、イヌまたはネコのプロファイルを作成することができる。追加のプロファイルタイプが追加されてもよく、上記に挙げたタイプは限定として解釈されるべきでない。
【0024】
図2Cは、本発明の一実施形態による、人のアイコン210の選択により表示される画面200cを示す。画面200cでは、ユーザは、男性のアイコン216か女性のアイコン218かを選択することができる。この例では、ユーザは、女性のアイコン218を選択する。図2Dは、本発明の各種実施形態による、アバターを構成するための2つの異なる画面200d/eを示す。画面200dは、アバターの構成に使用可能なメニューシステムを示す。図に示すように、メニューシステムには、名前、身長、体型、目、髪型、鼻および口の選択が含まれる。当業者であれば理解するように、画面200dに示されている各メニューを選択すると、ユーザが、アバターをより細かく構成するための別の画面またはサブメニューが呼び出されうる。
【0025】
画面200eは、本発明の一実施形態による、別のアバターカスタマイズ画面を示す。この別のアバターのカスタマイズを使用した場合、深度検知カメラを使用して、ユーザの画像がキャプチャされうる。次に、キャプチャされたユーザの画像が、コンピュータシステムによって処理されて、ユーザのキャプチャ画像に基づいてアバターが自動的に生成されうる。一部の実施形態では、自動生成されるアバターは、ベースアバターであり、ユーザは、この自動生成されたアバターの特徴を変更することができる。いずれの実施形態の場合も、ユーザは、自分で作成したか、または自動生成されたアバターを、服装または装飾品によってカスタマイズまたは調整することができる。
【0026】
図2Eは、本発明の一実施形態による、追加のユーザである母親200の追加が完了した状態を示す例示的な画面200fである。画面200fは、図2A〜2Dで説明したように、母親220のユーザプロファイルの作成が完了すると表示される。この結果、父親202、娘204、息子206および母親220のユーザプロファイルを示す画面200fが表示される。また、図2Eは、別のユーザプロファイルを追加するためのボタン208が選択されていることも図示している。
【0027】
図2F−1は、本発明の一実施形態による、深度検知カメラによってキャプチャされ、ユーザの認識に使用されうる顔のパーツを示す。ユーザのアバターの構成中に、深度検知カメラが使用され、ユーザの頭部250および顔のパーツの画像および深度データがキャプチャされうる。コンピュータシステムによるユーザの認識を可能にする識別特徴を得るために、画像および関連する深度データがコンピュータシステムによって分析されうる。
【0028】
さまざまな識別特徴を使用することができ、例えば、顔のパーツの間の距離、顔のパーツの相対サイズおよび顔のパーツの相対位置が挙げられるが、これらに限定されない。別の実施形態では、耳の相対位置および相対サイズなどの、ユーザの頭部の特徴が識別されてもよい。例えば、Z平面の距離として図2Fに示す深度データを使用して、Z1(ユーザの鼻の先とユーザの上唇の間の距離)が決定および認識されうる。また、深度データを使用して、Z2(ユーザの鼻の先と目の間の距離)が決定および認識されてもよい。同様に、画像データが使用されて、図2F−1に距離Xで示すユーザの2つの目の間の距離が認識されうる。同様に、ユーザの鼻と口の間の距離Bが、識別特徴として測定および使用されうる。画像データと関連する深度データは、ユーザを識別および認識するために、深度データおよび画像データからの測定値間の比率を決定することができる。
【0029】
図2F−2は、本発明の一実施形態による、さまざまな位置におけるユーザの頭部250の画像および深度データのキャプチャを示す。一部の実施形態では、ユーザプロファイルの作成時に、ユーザが、(例えば、GUI、音声/音声コマンドまたはテキストによって)頭部をさまざまな位置に回すまたは回転させるように求められうる。これにより、深度検知カメラが、ユーザの頭部全体、あるいは、少なくとも、識別可能な顔のパーツが含まれる頭部の正面部分の大半の画像および深度データをキャプチャすることが可能となる。
【0030】
コンピュータシステムは、画像および深度データを分析して、ユーザの頭部のワイヤフレームモデルを作成しうる。一部の実施形態では、ユーザの頭部のワイヤフレームモデルが、ユーザの仮想世界のアバターの一部として使用されうる。下で更に詳細に説明するように、コンピュータシステムは、ワイヤフレームモデルを分析して、さまざまな角度での顔および頭部の特徴の間のユーザ特有の比率を決定しうる。説明した特定の顔のパーツおよび測定値は、例示を目的としたものであり、限定するものと解釈すべきでない。ユーザの識別および認識に使用できる追加の測定値を得るために、画像および深度データが分析されうる。
【0031】
別の実施形態では、深度検知カメラを使用して、さまざまなポーズでのユーザの体全体の画像および深度データがキャプチャされてもよい。コンピュータシステムは、顔の認識の場合と同様に、画像および関連する深度データを分析して、ユーザを識別しうる。図8,図9を参照して後述するように、シーン内の静止オブジェクトが、コンピュータシステムによって認識され、シーン内でのユーザの相対位置を提供することによって、ユーザの識別およびトラッキングを補助することができる。
【0032】
図2Gは、本発明の一実施形態による、深度検知カメラによってキャプチャされたさまざまな図から少なくとも部分的に構築されるモデリングしたユーザの顔251の各種ポーズのマトリクスを示す。場合によっては、構築されたポーズが、(例えば、図2F−2にキャプチャされたデータを使用して)サイズおよび深度データを近似することによって生成される。
【0033】
システムが、使用中または動作中に、ユーザが、さまざまな角度から深度検知カメラの視野に入ることがあるため、深度検知カメラが、ユーザの真正面の図を得られるとは必ずしも限らない。このため、ユーザを識別およびトラッキングするために、コンピュータシステムは、ユーザの頭部のワイヤフレームモデルを使用して、さまざまな位置におけるユーザの頭部のユーザの顔および頭部の特徴のさまざまな比率を外挿しうる。
【0034】
行262は、ユーザが頭を傾けずに頭を右から左に回したように、ユーザの頭部のワイヤフレームモデルがキャプチャされた一連の画像を示す。行260は、ワイヤフレームモデルが頭を後ろに反らせたような位置にある同様の画像のシーケンスを示し、行264では、ワイヤフレームモデルが前屈している。列272は、各行に対するワイヤフレームモデルの顔の正面を示し、列270と列274は、深度検知カメラに、それぞれ右と左に1/3が見えているユーザの画像データを示す。同様に、列268と列276は、それぞれ右と左に2/3が見えているユーザを示し、列266と列278は、深度検知カメラに対する、それぞれ右と左の横顔のユーザを示す。図2Gに示したマトリクスは、単純化したものであり、例示とみなすべきである。実際の実施形態では、ビデオ画像をさまざまなフレームレートでサンプリングして、個々のユーザに対して編集する画像および深度データの数が増減してもよい。後述するように、ユーザの異なる図において、さまざまな顔のパーツの相対位置を求めるために、画像および深度データが分析されうる。一実施形態では、右耳E1、右目e1、鼻N、左目e2および左耳E2が、画像および深度データから識別およびトラッキングされうる。
【0035】
図2Hは、本発明の一実施形態による、さまざまな顔のパーツの相対位置の変化(例えば、デルタ値)を示す3つの画像のシーケンスである。プロファイル280では、ユーザは、深度検知カメラにまっすぐ向いている。この角度から、ユーザの鼻Nの位置が、ユーザの目e1およびe2の位置と共に耳E1およびE2に対して決定されうる。ユーザによっては、プロファイル280内で耳E1およびE2の相対位置が決定できないことがある。このような場合、識別を、ユーザの目と鼻の相対位置から決定することができる。ユーザを識別するために、ユーザの顔のパーツと耳の相対位置が、ワイヤフレームモデルのマトリックスと比較されうる。ユーザが識別されると、コンピュータシステムは、適切なユーザプロファイルを自動的に適用しうる。また、一部の実施形態では、コンピュータシステムは、深度検知カメラからの画像および深度データを監視して、ユーザの頭部の位置を監視およびトラッキングしうる。更に別の実施形態では、空間内でユーザが見ている場所を決定するために、画像および深度データが、ユーザの眼球運動を追跡してもよい。
【0036】
プロファイル282は、ユーザが頭250を左に回すと、ユーザの顔のパーツの相対位置がどのように変化するかを示す。プロファイル280とプロファイル282を比較すると、ユーザの左耳E2が深度検知カメラからは見えなくなった一方で、右耳E1がよりはっきりと見えるようになっている。同様に、左目e2が深度検知カメラから更に離れ、右目e1と左目e2の間のアスペクト比が変化している。コンピュータシステムは、このようなリアルタイムの画像および深度データから、ユーザを、メモリに記憶されているワイヤフレームモデルから見つけようとする。プロファイル282では、深度検知カメラデータは、左目e2の深度位置を示しうる。同時に、深度検知カメラによってキャプチャされた画像データが分析され、左目e2の相対サイズが決定されうる。同様に、深度検知カメラは、右耳E1、右目e1および左目e2に対する、ユーザの鼻Nの変化を知覚しうる。
【0037】
プロファイル284は、ユーザが頭を回した状態の左の横顔の図を示す。この図では、深度検知カメラは、ユーザの右耳E1、右目e1および鼻Nの横向き全体をキャプチャする。深度検知カメラから見える顔のパーツの相対位置が決定されて、ワイヤフレームモデルのマトリックスからユーザを識別およびトラッキングするために使用されうる。図2Hで説明したプロファイルは、単純化したものであり、例示であると解釈すべきである。一部の実施形態では、顔のパーツの比率の範囲を得るために、画像および深度データの複数のフレームが1秒毎にキャプチャされてもよい。次に、サンプリングされた範囲が、ワイヤフレームモデルのマトリックス内の動きの範囲と比較されうる。図2Hに示すように、ユーザが頭を横方向に回したときに、顔の位置のさまざまな比率がトラッキングされうる。別の実施形態と同様に、ユーザが頭を前または後ろに傾けた時点を水平線を使用して決定するために、異なる比率が使用され、ユーザの目、鼻および口の相対位置が画定されうる。ユーザが頭を前または後ろに傾けると、深度検知カメラによってキャプチャされる水平線間の相対距離が計算されて、頭を、前または後ろにどのくらい傾けたかが決定されうる。
【0038】
図2Iは、本発明の一実施形態による、ユーザの頭部の画像および深度データを取得するための手順を示す例示的なフローチャートである。以下の操作は、コンピュータシステムが後から、ユーザを認識することができるように、ユーザプロファイルを作成または変更する際に使用されうる。操作285は、ユーザの頭部のスキャンを開始する。この操作は、図2F−2のようなユーザプロファイルを作成または変更するときに開始されうる。操作285は、深度検知カメラの焦点を、ユーザの頭部領域に合わせる。一実施形態では、ユーザが、深度検知カメラに対して特定の位置に立つように求められうる。別の実施形態では、深度検知カメラが、撮像素子および深度感知素子の焦点をユーザの方に移動させてもよい。深度検知カメラの前に複数の人がいる場合、ユーザは、スクリーン上の表示を使用して、スキャン対象とする人を選択するように求められうる。
【0039】
操作287は、頭部領域の画像および深度データを収集するために使用される。前述のように、この操作は、頭をさまざまな向きに回すよう、ユーザに指示しうる。これにより、深度検知カメラが、ユーザの頭部をさまざまな位置でキャプチャすることが可能となる。操作288は、画像および深度データに基づいてユーザの頭部のモデルを生成する。一実施形態では、深度データを使用して、ユーザの頭部の三次元ワイヤフレームモデルが構築されうる。コンピュータプログラムは、ワイヤフレームモデルを使用して、さまざまな顔のパーツおよび頭部の特徴の相対位置を決定しうる。操作289において、モデルと共に位置データが保存され、ユーザプロファイルに関連付けられうる。終了操作290でフローチャートが終了するが、他の操作が続いてもよい。
【0040】
図2Jは、本発明の一実施形態による、深度検知カメラの視野内でユーザを識別するための手順における例示的な操作を示す例示的なフローチャートである。操作291は、深度検知カメラの視野内で移動オブジェクトを識別する。後述するように、移動オブジェクトが、ネコまたはイヌなどのペットであってもよい。ペットを識別およびトラッキングする場合、異なる操作が必要となることがある。この後の操作は、人間のユーザの識別およびトラッキングに関するものであるが、人間以外のユーザをトラッキングするために変更されてもよい。操作292は、移動オブジェクト内でユーザの頭部を検出しようと試みる。一実施形態では、コンピュータシステムは、一般に、目などの一般的な顔の特徴を使用して頭部を識別しうる。別の実施形態では、限定するものではないが、目と口または目と鼻などの顔の特徴の組み合わせを使用して頭部が識別されてもよい。
【0041】
操作293は、頭部のトラッキングを開始し、トラッキングが、保存されているユーザのモデルとの比較に基づいて、認識可能な顔のプロファイルが見つかるまで行われる。コンピュータシステムは、頭部にロックオンして、頭部をトラッキングすることにより、リアルタイムの画像および深度データを、記憶されているユーザの頭部および顔のデータと比較することが可能となる。深度検知カメラは、ユーザを識別するために、リアルタイムの画像および深度データのフレームを、ワイヤフレームモデルの認識可能な顔のプロファイルと比較しうる。一実施形態では、コンピュータシステムは、画像データを分析して、リアルタイム画像内で頭の角度を決定し、顔および頭部のデータを、保存されているワイヤフレームモデルの同様の配置のデータと比較する。操作294は、リアルタイムのユーザで検出された特徴によって、保存されているユーザプロファイルの深度および画像データを検証しようと試みる。深度および画像データが検証されると、操作295はユーザが識別されたことを確認し、保存されているユーザプロファイルを適用する。終了操作299でこの手順が終了するが、他の操作が続いてもよい。
【0042】
操作294において深度および画像データが検証されなかった場合、操作296は、リアルタイムユーザが識別されなかったと認識する。操作298は、コンピュータシステムが、ユーザのロックオンとトラッキングを再試行するかどうかを決定するために使用される。一部の実施形態では、コンピュータシステムが所定の回数、ユーザの識別を再試行するためのしきい値が設定されうる。別の実施形態では、コンピュータシステムは、ユーザを無期限に識別しようとする。更に別の実施形態では、ユーザの識別の再試行の回数が、利用可能なコンピューティングリソースに基づいて可変であってもよい。ユーザのロックオンを試みる再試行が行われた場合、手順は操作293に戻る。ユーザにロックオンしようとする再試行をこれ以上行わない場合、操作297はデフォルトプロファイルを変更しない。
【0043】
図3A〜3Cは、本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。図3Aは、図2Eのボタン208の選択により表示される画面200bを示す。また、画面200bには、イヌアイコン212が選択されている。図3Bは、本発明の実施形態による、イヌのアバターを作成する異なる方法を示す画面300a/bを示す。画面300aは、深度検知カメラを使用して、イヌのさまざまな側面の画像をキャプチャしてアバターを作成することを示す。コンピュータシステムは、異なる画像を処理して、イヌのアバターを、プロファイル情報と共に自動的に生成し、このプロファイルにより、イヌが深度検知カメラの視野内にいるときに、そのイヌが認識可能となる。
【0044】
画面300bは、本発明の一実施形態による、別のイヌアバター作成画面を示す。画面300bにより、ユーザは、自分のイヌのさまざまな特徴を選択して、そのイヌアバターを作成することができる。例えば、一実施形態では、ユーザは、最初に、自分のイヌのアバターの相対サイズを選択しうる。
【0045】
図4Aは、本発明の一実施形態による、ユーザに割り当てられるさまざまなメディアソース特権を示す例示的な表400を示す。ビデオゲーム特権402は、エンターテインメントソフトウェアレーティング委員会(ESRB)によってゲームに割り当てられているレーティングに基づいて、さまざまなユーザに割り当てられうる。同様に、各ユーザに対するテレビジョン特権404が、テレビジョンペアレンタルガイドラインに基づいて設定されうる。さまざまな実施形態では、コンピュータシステムが設置されている国に応じて、異なるテレビジョンペアレンタルガイドラインがロードされうる。米国で設置されているコンピュータシステムの場合、米国映画協会(MPAA)のレーティングシステムに基づく映画特権406が各ユーザに割り当てられうる。同様に、インターネット特権408が、ユーザが指定するコンテンツへのアクセスをフィルタおよび制限するために構成されうる。コンピュータシステムが音楽410にアクセスできるようにするように構成される実施形態では、ペアレンタルアドバイザリラベル(PAL)が設定された音楽へのユーザのアクセスを許可または拒否するための特権が設定されうる。図4Aに示した特権の種類は、例示であり、説明していない追加の特権を割り当てることができるため、限定であるとみなすべきではない。
【0046】
ユーザに割り当てられた特権は、コンピュータシステムによってアクセス可能なさまざまな形式のメディアに自動的に適用されうる。例えば、息子206が、深度検知カメラの視野に入り、コンピュータシステムを介して認識されると、コンピュータシステムは、図4Aにリストアップされている特権を自動的にロードする。このため、息子416は、ESRBレーティングがEのビデオゲーム、ペアレンタルガイドラインがTV−Y7のテレビ番組、MPAAレーティングがGの映画へのアクセスのみを許される。更に、コンピュータシステムを介したインターネットアクセスには特定のネットフィルタが適用され、PALが指定されている音楽へのアクセスがブロックされる。
【0047】
複数の認識済みのユーザがコンピュータシステムによって識別される場合には、最も制限の低い特権が有効にされうる。このため、息子206と父親202が識別された場合、コンピュータシステムは父親202にリストアップされている特権を有効にする。同様に、娘204と息子206が識別された場合、娘204にリストアップされている特権が有効にされる。
【0048】
図4Bは、本発明の一実施形態による、ユーザによって作成されるアニメーションを示す例示的な表である。ユーザは、識別済みの各ユーザが深度検知カメラの視野内を歩く(図中の42)と、画面に表示されうる個々のアイコンを選択または作成することができる。図4Bに示すように、息子が深度検知カメラの前を歩くと、青いスニーカ416が画面に表示され、息子が現実の世界で部屋を歩き回った経路をなぞる。同様に、娘が歩いた経路にピンクの足跡418が割り当てられ、イヌのスパーキーの歩いた経路には黒の足跡420が割り当てられうる。
【0049】
また、ユーザは、走る44などの動作のアニメーションも割り当てられうる。例えば、息子が走ると、アバターアニメーションが、青いスニーカ416から、スケートボード422に乗っている息子のアバターに自動的に切り替えられうる。同様に、娘が、コンピュータシステムによって走っていることが認識されると、娘のピンクの足跡418が、娘がカメラの視野内で走った時間と距離の間、インラインスケート424に変更されうる。スパーキーも、走った場所では黒い足跡420が赤い足跡422に変わりうる。追加のアニメーションタイプを構成することができ、これには、ユーザがシーン内の特定のオブジェクトとインタラクションするアニメーション、あるいは認識されたユーザが数人部屋にいるアニメーションなどがあるが、これらに限定されない。特定のアニメーションは、可能なアニメーションの例を提示するものであり、限定として解釈すべきではない。
【0050】
図5Aは、本発明の一実施形態による、処理済みビデオ10a/bとして画面に表示される現実世界のシーン500を含む空間501を示す。現実世界のシーン500には、深度検知カメラ110の視野内に、イヌ502とソファー504が存在している。深度検知カメラ110は、コンピュータシステム120に画像データを提供する。これに対して、コンピュータシステム120は、処理済みビデオ10a/bを画面508に提供する。現実世界のシーン500では、イヌ502が、ソファー504の上にジャンプする。
【0051】
図5Bは、本発明の実施形態による、例示的な処理済みビデオ10a/bを示す。処理済みビデオ10aは、イヌ502がソファー504の上を歩いたときにコンピュータシステムがイヌ502を経時的にトラッキングした結果を示す。図に示すように、イヌのアバター502aによって、足跡512によって作成される履歴経路が仮想世界ソファー504aの上に作成される。処理済みビデオ10aは、コンピュータシステムが、深度検知カメラによってキャプチャされたシーン110内の画像および深度データからイヌを認識した結果生成される。イヌ502をコンピュータシステムに認識させるために定義する一環として、ユーザは、足跡512のアニメーションをイヌ502と関連させて保存しうる。別の実施形態では、イヌのリアルタイムビデオ画像が、イヌのアバター502aの代わりに使用されてもよい。イヌ502がコンピュータシステムによって認識されない実施形態では、デフォルトのトラッキング記号またはアイコンの組がロードされ、処理済みビデオ10aとして表示されてもよい。
【0052】
処理済みのビデオ10bは、本発明の一実施形態による、ソファー504とインタラクションしているイヌ502に特有の別のアニメーションを示す。この実施形態では、ユーザは、現実世界のイヌが現実世界のソファーの上を歩いた場所で、仮想世界のソファー504aが破れるようにアニメーションを構成している。上で説明したように、コンピュータシステムは、深度検知カメラの前で行われたユーザの動作のログすなわち履歴経路を作成し、これが再生および保存されうる。この場合、ユーザは、コンピュータシステムに、シーンを監視させ、現実世界のイヌの動きを再生させうる。簡単にするために、処理済みのビデオ10a/bは、イヌがソファーにジャンプする前にはトラッキングしたイヌの動きは表示しない。しかし、各種実施形態では、ログに記録されたアニメーションによってイヌの動きをトラッキングして、ソファーの破れ目と、地面の上のさまざまな足跡とを示すコマ撮りビデオを作成することが可能である。
【0053】
図6は、本発明の一実施形態による、現実世界のシーン600と、現実世界のシーン600が処理済みビデオ10cとして画面に表示される様子とを示す。現実世界のシーン600では、深度検知カメラ110の前をユーザ602が走っている。深度検知カメラ110は、走っているユーザ602のビデオ画像をキャプチャし、これをコンピュータシステム120に送信して処理させる。処理済みビデオデータが、コンピュータシステム608から画面604に送信され、処理済みビデオ10cとして表示される。処理済みビデオ10cの詳細図には、ユーザ602を表すアバター602’が存在する。また、詳細図には、ユーザ602が走るのに対応させて、アバター602’のアニメーションも表示されている。一実施形態では、アニメーションは、スピード感を伝えるために、アバター602’のモーションブラー610を有する。別の実施形態では、走行が検出される前にアバター602’が立っていた位置に、吹き出し612が表示される。別の実施形態では、走行に対応して、アバター602’の靴または足の上に炎のアニメーションが表示されてもよい。一実施形態では、図5A〜6で説明した履歴経路およびアニメーションが、再生のためにコンピュータシステムに関連するメモリに保存されうる。一部の実施形態では、メモリは、例えばハードディスクドライブまたは他の不揮発性メモリなどのローカルストレージ装置でもよい。別の実施形態では、履歴経路およびアニメーションが、インターネットを介してリモートストレージにアップロードされてもよい。
【0054】
図7は、認識されたオブジェクトの識別およびトラッキングを改善するために、点トラッキングを適用するための操作を示す例示的なフローチャートである。操作700は、深度検知カメラを使用して、シーンの第1の画像をキャプチャする。操作702は、深度検知カメラを使用して、シーンの第2の画像をキャプチャする。この目的は静止オブジェクトを識別することにあるため、第1の画像と第2の画像のキャプチャ間隔の長さが変わりうる。一部の実施形態では、画像が、1秒の数分の1または数秒おきにサンプリングされても、別の実施形態では、画像が、数分、数時間または数日おきにサンプリングされてもよい。操作704は、第1の画像と第2の画像を比較することによって、シーン内の静止オブジェクトを決定するために使用される。この比較は、第1の画像内の識別された点を、第2の画像の対応する点と突き合わせようとするものである。識別された点が第1の画像と第2の画像の間で移動しなかった場合、この点は、静止していると決定されうる。一実施形態では、深度検知カメラは、画像を定期的にサンプリングして、静止オブジェクトを継続的に更新し、計算オーバーヘッドを低下させる。操作706は、シーン内の静止オブジェクトのモデルを作成するために、シーン内の識別された静止オブジェクトの固定点を関連付ける。操作708は、深度検知カメラの視野内でのオブジェクトのトラッキングおよび識別を補助するために、関連付けた固定点をメモリに記憶する。
【0055】
図8は、本発明の一実施形態による、点トラッキングを示すシーン800の例示的な図である。シーン800には、コンピュータシステム120に画像データを提供する深度検知カメラ110が含まれている。コンピュータシステム120は、画像データを処理し、画面802に表示させるための処理済みビデオを提供する。シーンには、静止オブジェクト(例えばソファー806およびランプ812)が含まれる。一実施形態では、コンピュータシステム810は、深度検知カメラ800によってキャプチャされた2つの画像を比較することによって、シーン800内のどのオブジェクトが静止しているかを決定しうる。コンピュータシステム120は、第1の画像内の点のうち、第2の画像で移動しなかったものを識別することが可能なソフトウェアを実行しうる。移動しない点が、静止点として特定されうる。図8では、静止点808がソファー806の上で識別され、静止点814がランプ812の上で識別されている。また、コンピュータシステム120は、シーン800内のオブジェクトの相対位置関係、いわゆるポジショニング、を定義するために、静止点を相関させうる。コンピュータシステム120は、既知の相対位置によって、深度検知カメラ110からの画像データをより効率的に処理して、シーン800内で動いているユーザなどの現実世界のオブジェクトを表すアバターを、より高速にレンダリングすることが可能となる。
【0056】
別の実施形態では、画像および深度データと共に点トラッキングにより、静止オブジェクトに対して、部分ワイヤフレームまたはスケルトンを作成できるようになる。例えば、ソファー806に関連する静止点808を使用して、ソファー806の部分ワイヤフレームモデルが作成されうる。ユーザが、現実のソファー806の画像および深度データから作成される仮想ソファーを変更およびカスタマイズできるようにするために、テクスチャーマップがワイヤフレームモデルに適用されうる。例えば、ユーザは、ソファーの材料を、織物または布、レザー、合成繊維材料にわたる任意の種類に変更することができる。どのシーンのどの静止オブジェクトにもテクスチャーマップを適用することができ、このようなオブジェクトには、シーン800の壁およびランプ812などがあるが、これらに限られない。ユーザは、深度検知カメラ110で部屋をスキャンして、現実世界の部屋の画像および深度データをキャプチャし、次に、現実世界の部屋の仮想世界表現をカスタマイズしうる。画像および深度データを使用して、壁の色を変更したり、あるいは壁紙または木のパネルなどのテクスチャがつけられた壁装材を含むさまざまなタイプの壁装材を適用することができる。
【0057】
図9は、本発明の一実施形態による、ユーザ定義コントローラを作成するために動的三次元オブジェクトマッピングを使用可能なコンピュータシステムである、ソニー(登録商標)プレイステーション3(登録商標)エンターテイメントデバイスの全体的なシステムアーキテクチャを模式的に示す。システムユニット1000は、システムユニット1000に接続可能なさまざまな周辺機器を備える。システムユニット1000は、Cellプロセッサ1028、Rambus(登録商標)ダイナミックランダムアクセスメモリ(XDRAM)ユニット1026、専用のビデオランダムアクセスメモリ(VRAM)ユニット1032を有するReality Synthesizerグラフィックユニット1030、およびI/Oブリッジ1034を備える。また、システムユニット1000は、I/Oブリッジ1034を介してアクセス可能な、ディスク1040aおよび着脱可能なスロットインハードディスクドライブ(HDD)1036から読み出すためのブルーレイ(登録商標)ディスクBD−ROM(登録商標)光ディスクリーダ1040も備える。任意選択で、システムユニット1000は、同様にI/Oブリッジ1034を介してアクセス可能な、コンパクトフラッシュ(登録商標)メモリカード、メモリースティック(登録商標)メモリカードなどを読み出すためのメモリカードリーダ1038も備える。
【0058】
また、I/Oブリッジ1034は、6つのユニバーサルシリアルバス(USB)2.0ポート1024、ギガビットイーサネット(登録商標)ポート1022、IEEE 802.11b/g無線ネットワーク(Wi-Fi)ポート1020、および最大7つのブルートゥース接続に対応可能なブルートゥース(登録商標)無線リンクポート1018にも接続している。
【0059】
動作時に、I/Oブリッジ1034は、1つ以上のゲームコントローラ1002からのデータを含む、全ての無線、USB、およびイーサネット(登録商標)のデータを処理する。例えば、ユーザがゲームをプレイ中に、I/Oブリッジ1034はブルートゥースリンクを介してゲームコントローラ1002からデータを受信して、これをCellプロセッサ1028に転送し、Cellプロセッサ1028が適宜ゲームの現在の状態を更新する。
【0060】
また、無線、USB、およびイーサネット(登録商標)の各ポートを介して、ゲームコントローラ1002のほかに、他の周辺機器も接続することが可能となる。このような周辺機器には、例えば、リモコン1004、キーボード1006、マウス1008、ソニープレイステーションポータブル(登録商標)エンターテイメントデバイスなどのポータブルエンターテイメントデバイス1010、EyeToy(登録商標)ビデオカメラ1012などのビデオカメラ、マイクロフォンヘッドセット1014などがある。このため、これらの周辺機器は、原則としてシステムユニット1000に無線で接続されうる。例えば、ポータブルエンターテイメントデバイス1010はWi−Fiアドホック接続を介して通信し、マイクロフォンヘッドセット1014はブルートゥースリンクを介して通信しうる。
【0061】
これらのインタフェースを提供することにより、プレイステーション3デバイスは、デジタルビデオレコーダ(DVR)、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、VoIP電話、携帯電話、プリンタ、およびスキャナなどの他の周辺機器と場合によっては互換となりうる。
【0062】
更に、USBポート1024を介して旧式メモリカードリーダ1016をシステムユニットに接続することができ、プレイステーション(登録商標)デバイスまたはプレイステーション2(登録商標)で用いられていたタイプのメモリカード1048の読み出しが可能となる。
【0063】
本実施形態では、ゲームコントローラ1002は、ブルートゥースリンクを介してシステムユニット1000と無線通信するように動作可能である。しかし、その代わりに、ゲームコントローラ1002が、USBポートに接続されてもよく、これにより、ゲームコントローラ1002のバッテリに充電するための電力も供給する。ゲームコントローラは、1つ以上のアナログジョイスティックおよび従来の制御ボタンを有するほか、各軸の並進運動および回転に対応する6自由度の移動を感知する。したがって、従来のボタンまたはジョイスティックコマンドのほかに、またはこれらの代わりに、ゲームコントローラのユーザが行ったジェスチャおよび移動が、ゲームへの入力として変換されうる。任意選択で、プレイステーションポータブルデバイスなどの他の無線対応の周辺機器をコントローラとして使用することができる。プレイステーションポータブルデバイスの場合、追加のゲーム情報または制御情報(例えば制御命令またはライブの数)が、当該デバイスの画面に提示されうる。ほかの代替的または補助的な制御装置が使用されてもよく、これには、ダンスマット(図示せず)、ライトガン(図示せず)、ハンドルおよびペダル(図示せず)、あるいは、即答クイズゲームのための1つまたは複数の大型のボタン(これも図示なし)などの特注品のコントローラなどがある。
【0064】
また、リモコン1004も、ブルートゥースリンクを介してシステムユニット1000と無線通信するように動作可能である。リモコン1004は、ブルーレイディスクBD−ROMリーダ1040の操作、およびディスクの内容の閲覧のために適した制御を備える。
【0065】
ブルーレイディスクBD−ROMリーダ1040は、従来の記録済みCD、記録可能CD、およびいわゆるスーパーオーディオCDのほか、プレイステーションデバイスおよびプレイステーション2デバイスと互換のCD−ROMを読み出すように動作可能である。また、リーダ1040は、従来の記録済みDVDおよび記録可能DVDのほか、プレイステーション2デバイスおよびプレイステーション3デバイスと互換のDVD−ROMを読み出すように動作可能である。更に、リーダ1040は、従来の記録済みブルーレイディスクおよび記録可能ブルーレイディスクのほか、プレイステーション3デバイスと互換のBD−ROMを読み出すように動作可能である。
【0066】
システムユニット1000は、Reality Synthesizerグラフィックユニット1030を介して、プレイステーション3デバイスによって生成またはデコードされた音声およびビデオを、音声コネクタおよびビデオコネクタ経由で、ディスプレイ1044および1つ以上のスピーカ1046を備えた表示および音声出力装置1042(モニタまたはテレビ受像機など)に提供するように動作可能である。音声コネクタ1050は、従来のアナログ出力およびデジタル出力を備える一方、ビデオコネクタ1052は、コンポーネントビデオ、S−ビデオ、コンポジットビデオ、および1つ以上の高品位マルチメディアインタフェース(HDMI)の出力などを種々備えうる。したがって、ビデオ出力は、PALまたはNTSC、あるいは720p、1080iまたは1080pの高解像度などのフォーマットであってもよい。
【0067】
音声処理(生成、デコードなど)はCellプロセッサ1028によって実行される。プレイステーション3デバイスのオペレーティングシステムは、ドルビー(登録商標)5.1サラウンドサウンド、ドルビー(登録商標)シアターサラウンド(DTS)、およびブルーレイ(登録商標)ディスクからの7.1サラウンドサウンドのデコードに対応している。
【0068】
本実施形態では、ビデオカメラ1012は、1つの電荷結合素子(CCD)、LEDインジケータ、およびハードウェアベースのリアルタイムデータ圧縮およびエンコード装置を備え、圧縮ビデオデータが、システムユニット1000によるデコードのために、イントラ画像ベースのMPEG標準などの適切なフォーマットで送信されるようになる。カメラのLEDインジケータは、例えば不利な照明条件を示す適切な制御データをシステムユニット1000から受け取ると、発光するように配置されている。ビデオカメラ1012の実施形態は、USB、ブルートゥースまたはWi−Fiの通信ポートを介して、システムユニット1000にさまざまな方法で接続しうる。ビデオカメラの実施形態は、1つ以上の関連するマイクロフォンを備えており、音声データを送信することができる。ビデオカメラの実施形態では、CCDは、高解像度のビデオキャプチャに適した分解能を備えうる。使用時に、ビデオカメラによってキャプチャされた画像が、例えば、ゲーム内に取り込まれるか、またはゲームの制御入力として解釈されうる。
【0069】
一般に、システムユニット1000の通信ポートの1つを介して、ビデオカメラまたはリモコン等などの周辺機器とのデータ通信がうまく行われるように、デバイスドライバ等の適切なソフトウェアを提供する必要がある。デバイスドライバ技術は公知であり、ここで詳細に説明しないが、デバイスドライバまたは同様のソフトウェアインタフェースが、記載する本実施形態で必要とされうることを当業者は理解するであろう。
【0070】
実施形態には、現実世界のユーザをより正確に特定し、アバターまたはシーンのアクティビティを案内するために深度データをキャプチャが含まれてもよい。実施形態において、現実世界のユーザをより正確に特定し、アバターまたはシーンのアクティビティを案内するために深度データをキャプチャしてもよい。オブジェクトは、人物が保持しているオブジェクトであっても、人物の手であってもよい。本明細書では、「深度カメラ」および「三次元カメラ」との用語は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。他の例示的な深度カメラに、立体カメラ対があり、これは2台の基準カメラを使用して距離情報を三角測量によって求める。同様に、「深度検知装置」との用語は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。
【0071】
三次元像の最近の進歩により、リアルタイムのインタラクティブなコンピュータアニメーションの可能性が広がっている。より詳細には、新しい「深度カメラ」は、通常の二次元のビデオ像に加えて、第3の次元をキャプチャおよびマップする能力を提供することができる。新しい深度データによって、本発明の各種実施形態は、ほかのオブジェクトの背後など、ビデオシーン内のさまざまな位置にコンピュータが生成したオブジェクトを、リアルタイムで配置することが可能となる。
【0072】
更に、本発明の各種実施形態は、リアルタイムのインタラクティブなゲーム体験をユーザに提供する。例えば、ユーザは、コンピュータが生成したさまざまなオブジェクトと、リアルタイムでインタラクトすることができる。更に、ユーザのゲーム体験をよりリアルにするために、ビデオシーンをリアルタイムで変更することができる。例えば、コンピュータが生成したコスチュームを、ユーザの服の上にはめ込んだり、コンピュータが生成した光源を利用して、ビデオシーン内に仮想の影を表示させることができる。このため、本発明の各種実施形態と深度カメラを使用して、ユーザは、自分のリビングルームでインタラクティブなゲーム環境を体験することができる。通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青(RGB)の値である。このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。
【0073】
また、本発明の各種実施形態は、分散型の画像処理構成についても考察している。例えば、本発明は、1つの場所(CPUなど)や2つの場所(CPUと他の1つの素子など)で行われるキャプチャ画像および表示画像の処理に限定されない。例えば、入力画像処理は、処理を実行することができる関連のCPU、プロセッサまたは装置において容易に行うことができ、基本的には、画像処理の全てを、相互接続システム全体に分散させることができる。このため、本発明は、特定の画像処理ハードウェア回路および/またはソフトウェアに限定されない。
また、本明細書に記載した実施形態は、一般的なハードウェア回路および/またはソフトウェアの特定の組合せに限定されず、処理コンポーネントによって実行される命令の特定のソースにも限定されない。
【0074】
上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作には、物理量の物理的な操作を必要とする操作が含まれる。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。
【0075】
上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される。
【0076】
また、本発明は、計算機可読メディア上の計算機可読コードとして実施されてもよい。計算機可読メディアは、電磁搬送波を含め、コンピュータシステムによって後から読み取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものに存在してもよい。計算機可読メディアの例には、ハードディスク、ネットワーク接続記憶装置(NAS)、リードオンリーメモリ、ランダムアクセスメモリ、CD−ROM、CD−R、CD−RW、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読メディアは、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。
【0077】
上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。
【背景技術】
【0001】
ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきた。このために、ビデオゲームの開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしてきた。
【0002】
ゲームプラットホームの例に、ソニープレイステーション(登録商標)、ソニープレイステーション2(登録商標)(PS2)およびソニープレイステーション3(登録商標)(PS3)があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ(通常はテレビ)と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。ゲームコンソールは、CPU、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトルユニットなどの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒に対話的にプレイすることができるオンラインゲームも可能である。
【発明の概要】
【発明が解決しようとする課題】
【0003】
インターネットに接続されている処理能力の高いゲームコンソールは、ストリーミングおよびダウンロード可能なメディアを供給するオンラインインタラクションおよびオンライン市場へのアクセスを提供することが可能なエンタテインメントポータルとして機能するようになってきている。オンライン環境では、親は、有効で効率的なペアレンタルコントロールに苦労することが多い。ペアレンタルコントロールは個別に設定しなければならないため、ペアレンタルコントロールの効果がなくなったり、行き過ぎになったり、部分的に設定するとペアレンタルコントロールに食い違いが生じることがある。例えば、ケーブルボックスがテレビのチャンネルのペアレンタルコントロールを提供している場合、DVDまたはブルーレイディスクなどの光学メディアに記憶されたビデオに別途ペアレンタルコントロールを設定する必要があることがある。
【0004】
本発明の実施形態は、この状況においてなされたものである。
【課題を解決するための手段】
【0005】
概して、本発明は、深度検知カメラを使用してシーン内でのユーザの識別およびトラッキングを可能にする。前記ユーザの識別およびトラッキングにより、前記シーン内で前記識別およびトラッキングされたユーザに基づいて、各種メディアソースへのアクセス制御の自動適用が可能となる。ユーザは、ユーザプロファイルの一部として前記アクセス制御を構成することができる。また、ユーザは、自身のユーザプロファイルの一部として、アバターをアバターアニメーションと共に構成することもできる。前記アバターアニメーションは、前記シーン内でのユーザの移動を表示するために使用されうる。
【0006】
一実施形態では、1つ以上のメディアソースを含む空間内で識別およびトラッキングされるユーザに対して事前定義された特権を自動的に適用するためのコンピュータ実装方法が開示される。前記方法は、ユーザプロファイルを定義してメモリに保存する操作を有する。前記ユーザプロファイルは、深度検知カメラによってユーザを識別およびトラッキングするためのデータを含んでもよい。別の操作では、前記ユーザプロファイルに対して特定のメディアへのアクセスのレベルを定義する特権が定義されて保存される。また、前記方法は、前記深度検知カメラから、前記空間内のシーンの画像および深度データをキャプチャする操作を有する。更に別の操作では、前記画像および深度データから、前記シーン内で前記ユーザがトラッキングおよび識別される。更に別の操作では、前記ユーザが前記シーン内で識別およびトラッキングされるときに、前記ユーザに対して1つ以上のメディアソースのうちの選択されたコンテンツへのアクセスが許可されるように、前記定義済みの特権が前記1つ以上のメディアソースに自動的に適用される。
【0007】
別の実施形態では、事前定義されたコンピュータ生成効果を、現実世界のオブジェクトの仮想世界表現に自動的に適用するために、前記現実世界のオブジェクトを識別およびトラッキングするためのコンピュータ実装方法が開示される。前記方法は、深度検知カメラによって前記ユーザを識別およびトラッキングするためのデータを含むユーザプロファイルを定義し、メモリに保存する操作を有する。また、前記方法は、前記ユーザプロファイルに関連し、仮想世界シーンに一体化されるアニメーションを定義し、前記メモリに保存する操作を有する。別の操作では、前記深度検知カメラはシーンをキャプチャし、前記シーン内で、前記ユーザが識別およびトラッキングされる。更に別の操作では、ディスプレイ画面が前記一体化されたアニメーションを表示するように、前記識別およびトラッキングされたユーザに基づいて前記定義したアニメーションが自動的に適用される。
【0008】
更に別の実施形態では、現実世界の空間内で現実世界のユーザを識別およびトラッキングするためのコンピュータ実装方法が開示される。一操作では、深度検知カメラによってキャプチャされた画像および深度データからユーザプロファイルが定義される。前記ユーザプロファイルは、前記現実世界のユーザの物理的な特徴に関連する画像および深度データを含んでもよい。別の操作では、前記深度検知カメラを使用してシーンの画像および深度データがキャプチャされうる。また、前記方法は、前記シーン内で移動オブジェクトを識別する操作を有してもよい。別の操作では、前記移動オブジェクトの画像および深度データにより、前記シーン内で、前記現実世界のユーザの頭部にロックオンしてこれをトラッキングすることが可能となる。更に別の操作では、前記頭部の前記画像および深度データがリアルタイムに分析される。前記分析では、前記頭部の画像および深度データと、物理的な特徴に関連するユーザプロファイルの画像および深度データとの比較が行われてもよく、前記ユーザプロファイル内の画像および深度データが、前記頭部の画像および深度データと実質的に一致する場合、ユーザが識別される。
【0009】
本発明の他の態様および利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
【図面の簡単な説明】
【0010】
【図1A】本発明の一実施形態による、事前定義されたコンピュータ生成された効果を、現実世界のオブジェクトの仮想世界表現に適用するために、現実世界のオブジェクトの識別およびトラッキングに使用されうる例示的な操作を含むフローチャートである。
【図1B】本発明の一実施形態による、コンピュータシステムに接続された深度検知カメラの視野内のシーンを示す。
【図2A】本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。
【図2B】本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。
【図2C】本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。
【図2D】本発明の一実施形態による、ユーザプロファイルの定義に使用されうる例示的な画面を示す。
【図2E】本発明の一実施形態による、追加のユーザである母親の追加が完了した状態を示す例示的な画面である。
【図2F−1】本発明の一実施形態による、深度検知カメラによってキャプチャされ、ユーザの認識に使用されうる顔のパーツを示す。
【図2F−2】本発明の一実施形態による、さまざまな位置におけるユーザの頭部250の画像および深度データのキャプチャを示す。
【図2G】本発明の一実施形態による、深度検知カメラによってキャプチャされたさまざまな図から構築されるモデリングしたユーザの顔251の各種ポーズのマトリクスを示す。
【図2H】本発明の一実施形態による、さまざまな顔のパーツの相対位置の変化を示す3つの画像のシーケンスである。
【図2I】本発明の一実施形態による、ユーザの頭部の画像および深度データを取得するための手順を示す例示的なフローチャートである。
【図2J】本発明の一実施形態による、深度検知カメラの視野内でユーザを識別するための手順における例示的な操作を示す例示的なフローチャートである。
【図3A】本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。
【図3B】本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。
【図3C】本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。
【図4A】本発明の一実施形態による、ユーザに割り当てられる各種特権を示す例示的な表を示す。
【図4B】本発明の一実施形態による、ユーザによって作成されるアニメーションを示す例示的な表である。
【図5A】本発明の一実施形態による、処理済みビデオとして画面に表示される現実世界のシーンを含む空間を示す。
【図5B】本発明の実施形態による、例示的な処理済みビデオを示す。
【図6】本発明の一実施形態による、現実世界のシーンと、現実世界のシーンが処理済みビデオ10cとして画面に表示される様子とを示す。
【図7】認識されたオブジェクトの識別およびトラッキングを改善するために、点トラッキングを適用するための操作を示す例示的なフローチャートである。
【図8】本発明の一実施形態による、点トラッキングを示すシーンの例示的な図である。
【図9】本発明の一実施形態による、ユーザ定義コントローラを作成するために動的三次元オブジェクトマッピングを使用可能なコンピュータシステムである、ソニー(登録商標)プレイステーション3(登録商標)エンターテイメントデバイスの全体的なシステムアーキテクチャを模式的に示す。
【発明を実施するための形態】
【0011】
本発明とその更なる利点とは、添付の図面を参照して以下の記載を読めば、よりよく理解できるであろう。
【0012】
深度検知カメラからの画像および深度データによってユーザを識別したのちに、コンピュータシステム用のユーザプロファイルを自動的に適用するための方法が開示される。概して、コンピュータシステムは、ユーザからの入力を受け取るものであれば、汎用コンピュータ(例えば、デスクトップ、ノートブック、ハンドヘルドデバイス、スマートフォンなど)でも、ゲームコンソールのような専用コンピュータでも、どのようなタイプのシステムであってもよい。深度検知カメラは、画像データに沿って幾何学的な深度データをキャプチャすることができる。深度検知カメラは、分析および処理させるために、画像および深度データをコンピュータシステムに提供することができる。一実施形態では、深度検知カメラは単レンズカメラであり、別の実施形態では、複数のカメラレンズを使用して、さまざまな位置または視点から画像および深度データがキャプチャされてもよい。
【0013】
以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施しうることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。
【0014】
図1Aは、本発明の一実施形態による、事前定義されたコンピュータ生成された効果を、現実世界のオブジェクトの仮想世界表現に適用するために、現実世界のオブジェクトの識別およびトラッキングに使用されうる例示的な操作を含むフローチャートである。操作100は、識別およびトラッキングするユーザを定義するために使用される。一実施形態では、操作100は、コンピュータシステムに接続された深度検知カメラを使用して実行される。ユーザが、深度検知カメラによってキャプチャされた個々の特徴によって判別されて、コンピュータシステムによって実行されているソフトウェアによって認識されうる。各種実施形態では、顔の特徴(目、鼻および口などの顔のパーツの間の距離などが挙げられるが、これらに限られない)がキャプチャされうる。別の実施形態では、カメラの深度検知機能を使用して、ユーザの鼻、目、頭の大きさ、パーツの相対位置などのユーザの特徴が認識されうる。
【0015】
また、ユーザは、操作100の一環として仮想世界のアバターも定義しうる。識別およびトラッキングするためにユーザを定義する一環として、ユーザは、仮想世界においてユーザを表現するカスタマイズしたアバターを構成しうる。ユーザは、アバターを、現実世界の外見に似せて構成することも、現実世界の外見に制約されない想像上のアバターを持つように選択することもできる。この目的で、アバターは、体、頭、目、鼻、耳、口、腕、脚および髪型のサイズや形の構成を有することができるが、これらに限定されない。また、ユーザは、アバターのために、仮想の服装および履物のほか、宝石やサングラスなどの装飾品も構成することができる。
【0016】
操作102は、識別されるユーザに対する特権およびアニメーションを定義するために使用される。特権を使用することにより、識別されたユーザが深度検知カメラの前にいるときに、コンピュータシステムを介してアクセス可能なコンテンツのタイプに制限をかけることが可能となる。一実施形態では、コンピュータシステムは、インターネットに接続されており、限定的ではないがストリーミングまたはダウンロード可能な音楽およびマルチメディア(例えば映画、テレビ番組およびビデオクリップ)などの各種メディアソースへのアクセスを提供する。また、コンピュータシステムは、YouTubeなどのストリーミングビデオ対応のウェブサイトにアクセスするためのウェブブラウザを提供すると共に、オンラインまたはダウンロード可能なゲームへのアクセスも提供する。また、コンピュータシステムは、DVDまたは他の光記憶メディア(例えばブルーレイまたはHD−DVDディスク)を再生可能な統合メディアソースも備える。定義済みのユーザに割り当てられる特権により、特定のタイプの動画、テレビ番組、ゲームおよびウェブサイトへのアクセスの制限が可能となる。
【0017】
また、操作102は、識別されるユーザに対してアニメーションを定義するためにも使用されうる。アニメーションは、深度検知カメラおよびコンピュータシステムによって検出される現実世界での動作に対応させて、識別済みのユーザのアバターを画面上でアニメーション表示させるために使用されうる。例えば、一実施形態では、ユーザの動く速度がしきい値速度を超えたときに、アニメーションがユーザアバターに適用されうる。一実施形態では、ユーザの動きが遅い場合、ユーザの仮想世界のアバターに、クモの巣またはスパイダーウェブがアニメーション表示されうる。別の実施形態では、ユーザの動きが速い場合、アバターにブラーをかけたり、あるいは他のアニメーション(例えば、モーションクラウドや音声効果)など、ユーザの速い動きを強調するアニメーションが表示されうる。深度検知カメラとコンピュータシステムが、識別済みのユーザを認識すると、後から取得が可能となるように、ユーザアバターが、定義済みの特権およびアニメーションと共に保存されうる。
【0018】
操作104は、深度検知カメラの視野に入った移動オブジェクトを識別およびトラッキングするために使用されうる。カメラの視野内の移動オブジェクトが定義済みのユーザとして認識された場合、操作106は特権および/またはアニメーションを自動的に適用しうる。移動オブジェクトが定義済みのユーザとして認識されない場合は、操作106は、デフォルトの特権および/またはアニメーションを自動的にロードしうる。また、操作104は、コンピュータシステムと深度検知カメラを使用して、認識されたユーザまたは認識されていないユーザの動きを経時的にトラッキングし、アニメーション表示させうる。一実施形態では、深度検知カメラが動きを識別すると、動きの経時的なログファイルの作成を開始しうる。各種実施形態では、識別済みのユーザが深度検知カメラの視野に入ると、そのユーザの事前設定されたアニメーションを使用してログファイルが作成される。このログファイルは、深度検知カメラの視野内で識別済みのユーザの動きを経時的に表示して再生されうる。
【0019】
図1Bは、本発明の一実施形態による、コンピュータシステム120に接続された深度検知カメラ110の視野152内のシーン150を示す。深度検知カメラ110が、RGB画像モジュール114を使用して画像データをキャプチャする一方で、深度データモジュール112は、深度検知カメラ110の視野152内のオブジェクトの相対深度データをキャプチャしうる。一実施形態では、深度検知カメラ110は、三次元のオブジェクトから反射される光量に基づいて、相対深度を決定することができる。一部の実施形態では、深度検知カメラは、赤外光をパルス化可能な赤外線発光ダイオード(LED)のアレイを備える。深度データモジュール112は、反射されて深度検知カメラ110に戻るパルス化赤外光の量に基づいて、深度検知カメラ110の視野内のオブジェクトの相対深度を決定することができる。別の実施形態では、深度検知カメラ110からの画像および深度データが、コンピュータシステム120に送信されて処理される。
【0020】
焦点モジュール118は、論理処理ユニット116と共に、深度検知カメラ110に内蔵されうる。一部実施形態では、論理処理ユニット116は、RGB画像モジュール114からのデータと、深度データモジュール112からのデータとを相関させるために使用されうる。別の実施形態では、論理処理ユニット116は、焦点モジュール118の制御を補助しうる。焦点モジュール118は、RGB画像モジュール114の焦点と深度データモジュール112の焦点を変更しうる。深度データモジュール112の焦点は、赤外線LEDアレイ内の個々の赤外線LEDの強度を上げ、その持続時間を長くすることで、変更することができる。深度検知カメラによってキャプチャされた画像および深度データは、コンピュータシステム120によって実質的にリアルタイムに処理されうる。
【0021】
コンピュータシステム120は、深度検知カメラ110から画像および深度データを受け取り、これを処理することに加えて、さまざまな他のソースを有するか、あるいはさまざまな他のソースを入力として受け取りうる。例えば、コンピュータシステム120を介して、TVソース122、DVD/ブルーレイメディア124、ゲーム126およびインターネット128にアクセスすることができる。ユーザは、コンピュータシステム120用のユーザインタフェースを介して、異なるメディアソース130a/bを選択することができる。
【0022】
シーン150には、ユーザ140、ランプ142およびソファー144が存在している。コンピュータシステム120は、静止オブジェクト(例えばランプ142およびソファー144)からユーザ140を判別しうる。深度検知カメラ110は、コンピュータシステム120からのコマンドに応答して、ユーザ140の周囲の領域146に焦点を合わせうる。深度検知カメラ110は、ユーザ140を識別するために、ユーザ140の頭部領域148に焦点を微調整しうる。深度検知カメラは、頭部領域148に焦点を合わせることで、ユーザ140の画像および深度データのキャプチャが可能となり、これらが分析されて、コンピュータシステム120に関連するプロファイルデータと比較されうる。
【0023】
図2A〜2Dは、本発明の一実施形態による、アバターを含むユーザプロファイルの定義に使用されうる例示的な画面を示す。図2Aは、父親202、娘204および息子206のユーザプロファイルが既に作成されているコンピュータシステムの例示的な画面200を示す。また、画面200には、新しいユーザプロファイルを作成するためのボタン208も表示されている。図2Bは、本発明の一実施形態による、ボタン208の選択により表示される例示的な画面200bを示す。画面200bは、本発明の一実施形態で作成可能なタイプの異なるユーザプロファイルを表示する。例えば、人のアイコン210を選択すると、人に基づくプロファイルが作成されうる。ユーザが部屋の中でペットの動きをトラッキングしたい実施形態では、イヌアイコン212またはネコアイコン214の選択により、イヌまたはネコのプロファイルを作成することができる。追加のプロファイルタイプが追加されてもよく、上記に挙げたタイプは限定として解釈されるべきでない。
【0024】
図2Cは、本発明の一実施形態による、人のアイコン210の選択により表示される画面200cを示す。画面200cでは、ユーザは、男性のアイコン216か女性のアイコン218かを選択することができる。この例では、ユーザは、女性のアイコン218を選択する。図2Dは、本発明の各種実施形態による、アバターを構成するための2つの異なる画面200d/eを示す。画面200dは、アバターの構成に使用可能なメニューシステムを示す。図に示すように、メニューシステムには、名前、身長、体型、目、髪型、鼻および口の選択が含まれる。当業者であれば理解するように、画面200dに示されている各メニューを選択すると、ユーザが、アバターをより細かく構成するための別の画面またはサブメニューが呼び出されうる。
【0025】
画面200eは、本発明の一実施形態による、別のアバターカスタマイズ画面を示す。この別のアバターのカスタマイズを使用した場合、深度検知カメラを使用して、ユーザの画像がキャプチャされうる。次に、キャプチャされたユーザの画像が、コンピュータシステムによって処理されて、ユーザのキャプチャ画像に基づいてアバターが自動的に生成されうる。一部の実施形態では、自動生成されるアバターは、ベースアバターであり、ユーザは、この自動生成されたアバターの特徴を変更することができる。いずれの実施形態の場合も、ユーザは、自分で作成したか、または自動生成されたアバターを、服装または装飾品によってカスタマイズまたは調整することができる。
【0026】
図2Eは、本発明の一実施形態による、追加のユーザである母親200の追加が完了した状態を示す例示的な画面200fである。画面200fは、図2A〜2Dで説明したように、母親220のユーザプロファイルの作成が完了すると表示される。この結果、父親202、娘204、息子206および母親220のユーザプロファイルを示す画面200fが表示される。また、図2Eは、別のユーザプロファイルを追加するためのボタン208が選択されていることも図示している。
【0027】
図2F−1は、本発明の一実施形態による、深度検知カメラによってキャプチャされ、ユーザの認識に使用されうる顔のパーツを示す。ユーザのアバターの構成中に、深度検知カメラが使用され、ユーザの頭部250および顔のパーツの画像および深度データがキャプチャされうる。コンピュータシステムによるユーザの認識を可能にする識別特徴を得るために、画像および関連する深度データがコンピュータシステムによって分析されうる。
【0028】
さまざまな識別特徴を使用することができ、例えば、顔のパーツの間の距離、顔のパーツの相対サイズおよび顔のパーツの相対位置が挙げられるが、これらに限定されない。別の実施形態では、耳の相対位置および相対サイズなどの、ユーザの頭部の特徴が識別されてもよい。例えば、Z平面の距離として図2Fに示す深度データを使用して、Z1(ユーザの鼻の先とユーザの上唇の間の距離)が決定および認識されうる。また、深度データを使用して、Z2(ユーザの鼻の先と目の間の距離)が決定および認識されてもよい。同様に、画像データが使用されて、図2F−1に距離Xで示すユーザの2つの目の間の距離が認識されうる。同様に、ユーザの鼻と口の間の距離Bが、識別特徴として測定および使用されうる。画像データと関連する深度データは、ユーザを識別および認識するために、深度データおよび画像データからの測定値間の比率を決定することができる。
【0029】
図2F−2は、本発明の一実施形態による、さまざまな位置におけるユーザの頭部250の画像および深度データのキャプチャを示す。一部の実施形態では、ユーザプロファイルの作成時に、ユーザが、(例えば、GUI、音声/音声コマンドまたはテキストによって)頭部をさまざまな位置に回すまたは回転させるように求められうる。これにより、深度検知カメラが、ユーザの頭部全体、あるいは、少なくとも、識別可能な顔のパーツが含まれる頭部の正面部分の大半の画像および深度データをキャプチャすることが可能となる。
【0030】
コンピュータシステムは、画像および深度データを分析して、ユーザの頭部のワイヤフレームモデルを作成しうる。一部の実施形態では、ユーザの頭部のワイヤフレームモデルが、ユーザの仮想世界のアバターの一部として使用されうる。下で更に詳細に説明するように、コンピュータシステムは、ワイヤフレームモデルを分析して、さまざまな角度での顔および頭部の特徴の間のユーザ特有の比率を決定しうる。説明した特定の顔のパーツおよび測定値は、例示を目的としたものであり、限定するものと解釈すべきでない。ユーザの識別および認識に使用できる追加の測定値を得るために、画像および深度データが分析されうる。
【0031】
別の実施形態では、深度検知カメラを使用して、さまざまなポーズでのユーザの体全体の画像および深度データがキャプチャされてもよい。コンピュータシステムは、顔の認識の場合と同様に、画像および関連する深度データを分析して、ユーザを識別しうる。図8,図9を参照して後述するように、シーン内の静止オブジェクトが、コンピュータシステムによって認識され、シーン内でのユーザの相対位置を提供することによって、ユーザの識別およびトラッキングを補助することができる。
【0032】
図2Gは、本発明の一実施形態による、深度検知カメラによってキャプチャされたさまざまな図から少なくとも部分的に構築されるモデリングしたユーザの顔251の各種ポーズのマトリクスを示す。場合によっては、構築されたポーズが、(例えば、図2F−2にキャプチャされたデータを使用して)サイズおよび深度データを近似することによって生成される。
【0033】
システムが、使用中または動作中に、ユーザが、さまざまな角度から深度検知カメラの視野に入ることがあるため、深度検知カメラが、ユーザの真正面の図を得られるとは必ずしも限らない。このため、ユーザを識別およびトラッキングするために、コンピュータシステムは、ユーザの頭部のワイヤフレームモデルを使用して、さまざまな位置におけるユーザの頭部のユーザの顔および頭部の特徴のさまざまな比率を外挿しうる。
【0034】
行262は、ユーザが頭を傾けずに頭を右から左に回したように、ユーザの頭部のワイヤフレームモデルがキャプチャされた一連の画像を示す。行260は、ワイヤフレームモデルが頭を後ろに反らせたような位置にある同様の画像のシーケンスを示し、行264では、ワイヤフレームモデルが前屈している。列272は、各行に対するワイヤフレームモデルの顔の正面を示し、列270と列274は、深度検知カメラに、それぞれ右と左に1/3が見えているユーザの画像データを示す。同様に、列268と列276は、それぞれ右と左に2/3が見えているユーザを示し、列266と列278は、深度検知カメラに対する、それぞれ右と左の横顔のユーザを示す。図2Gに示したマトリクスは、単純化したものであり、例示とみなすべきである。実際の実施形態では、ビデオ画像をさまざまなフレームレートでサンプリングして、個々のユーザに対して編集する画像および深度データの数が増減してもよい。後述するように、ユーザの異なる図において、さまざまな顔のパーツの相対位置を求めるために、画像および深度データが分析されうる。一実施形態では、右耳E1、右目e1、鼻N、左目e2および左耳E2が、画像および深度データから識別およびトラッキングされうる。
【0035】
図2Hは、本発明の一実施形態による、さまざまな顔のパーツの相対位置の変化(例えば、デルタ値)を示す3つの画像のシーケンスである。プロファイル280では、ユーザは、深度検知カメラにまっすぐ向いている。この角度から、ユーザの鼻Nの位置が、ユーザの目e1およびe2の位置と共に耳E1およびE2に対して決定されうる。ユーザによっては、プロファイル280内で耳E1およびE2の相対位置が決定できないことがある。このような場合、識別を、ユーザの目と鼻の相対位置から決定することができる。ユーザを識別するために、ユーザの顔のパーツと耳の相対位置が、ワイヤフレームモデルのマトリックスと比較されうる。ユーザが識別されると、コンピュータシステムは、適切なユーザプロファイルを自動的に適用しうる。また、一部の実施形態では、コンピュータシステムは、深度検知カメラからの画像および深度データを監視して、ユーザの頭部の位置を監視およびトラッキングしうる。更に別の実施形態では、空間内でユーザが見ている場所を決定するために、画像および深度データが、ユーザの眼球運動を追跡してもよい。
【0036】
プロファイル282は、ユーザが頭250を左に回すと、ユーザの顔のパーツの相対位置がどのように変化するかを示す。プロファイル280とプロファイル282を比較すると、ユーザの左耳E2が深度検知カメラからは見えなくなった一方で、右耳E1がよりはっきりと見えるようになっている。同様に、左目e2が深度検知カメラから更に離れ、右目e1と左目e2の間のアスペクト比が変化している。コンピュータシステムは、このようなリアルタイムの画像および深度データから、ユーザを、メモリに記憶されているワイヤフレームモデルから見つけようとする。プロファイル282では、深度検知カメラデータは、左目e2の深度位置を示しうる。同時に、深度検知カメラによってキャプチャされた画像データが分析され、左目e2の相対サイズが決定されうる。同様に、深度検知カメラは、右耳E1、右目e1および左目e2に対する、ユーザの鼻Nの変化を知覚しうる。
【0037】
プロファイル284は、ユーザが頭を回した状態の左の横顔の図を示す。この図では、深度検知カメラは、ユーザの右耳E1、右目e1および鼻Nの横向き全体をキャプチャする。深度検知カメラから見える顔のパーツの相対位置が決定されて、ワイヤフレームモデルのマトリックスからユーザを識別およびトラッキングするために使用されうる。図2Hで説明したプロファイルは、単純化したものであり、例示であると解釈すべきである。一部の実施形態では、顔のパーツの比率の範囲を得るために、画像および深度データの複数のフレームが1秒毎にキャプチャされてもよい。次に、サンプリングされた範囲が、ワイヤフレームモデルのマトリックス内の動きの範囲と比較されうる。図2Hに示すように、ユーザが頭を横方向に回したときに、顔の位置のさまざまな比率がトラッキングされうる。別の実施形態と同様に、ユーザが頭を前または後ろに傾けた時点を水平線を使用して決定するために、異なる比率が使用され、ユーザの目、鼻および口の相対位置が画定されうる。ユーザが頭を前または後ろに傾けると、深度検知カメラによってキャプチャされる水平線間の相対距離が計算されて、頭を、前または後ろにどのくらい傾けたかが決定されうる。
【0038】
図2Iは、本発明の一実施形態による、ユーザの頭部の画像および深度データを取得するための手順を示す例示的なフローチャートである。以下の操作は、コンピュータシステムが後から、ユーザを認識することができるように、ユーザプロファイルを作成または変更する際に使用されうる。操作285は、ユーザの頭部のスキャンを開始する。この操作は、図2F−2のようなユーザプロファイルを作成または変更するときに開始されうる。操作285は、深度検知カメラの焦点を、ユーザの頭部領域に合わせる。一実施形態では、ユーザが、深度検知カメラに対して特定の位置に立つように求められうる。別の実施形態では、深度検知カメラが、撮像素子および深度感知素子の焦点をユーザの方に移動させてもよい。深度検知カメラの前に複数の人がいる場合、ユーザは、スクリーン上の表示を使用して、スキャン対象とする人を選択するように求められうる。
【0039】
操作287は、頭部領域の画像および深度データを収集するために使用される。前述のように、この操作は、頭をさまざまな向きに回すよう、ユーザに指示しうる。これにより、深度検知カメラが、ユーザの頭部をさまざまな位置でキャプチャすることが可能となる。操作288は、画像および深度データに基づいてユーザの頭部のモデルを生成する。一実施形態では、深度データを使用して、ユーザの頭部の三次元ワイヤフレームモデルが構築されうる。コンピュータプログラムは、ワイヤフレームモデルを使用して、さまざまな顔のパーツおよび頭部の特徴の相対位置を決定しうる。操作289において、モデルと共に位置データが保存され、ユーザプロファイルに関連付けられうる。終了操作290でフローチャートが終了するが、他の操作が続いてもよい。
【0040】
図2Jは、本発明の一実施形態による、深度検知カメラの視野内でユーザを識別するための手順における例示的な操作を示す例示的なフローチャートである。操作291は、深度検知カメラの視野内で移動オブジェクトを識別する。後述するように、移動オブジェクトが、ネコまたはイヌなどのペットであってもよい。ペットを識別およびトラッキングする場合、異なる操作が必要となることがある。この後の操作は、人間のユーザの識別およびトラッキングに関するものであるが、人間以外のユーザをトラッキングするために変更されてもよい。操作292は、移動オブジェクト内でユーザの頭部を検出しようと試みる。一実施形態では、コンピュータシステムは、一般に、目などの一般的な顔の特徴を使用して頭部を識別しうる。別の実施形態では、限定するものではないが、目と口または目と鼻などの顔の特徴の組み合わせを使用して頭部が識別されてもよい。
【0041】
操作293は、頭部のトラッキングを開始し、トラッキングが、保存されているユーザのモデルとの比較に基づいて、認識可能な顔のプロファイルが見つかるまで行われる。コンピュータシステムは、頭部にロックオンして、頭部をトラッキングすることにより、リアルタイムの画像および深度データを、記憶されているユーザの頭部および顔のデータと比較することが可能となる。深度検知カメラは、ユーザを識別するために、リアルタイムの画像および深度データのフレームを、ワイヤフレームモデルの認識可能な顔のプロファイルと比較しうる。一実施形態では、コンピュータシステムは、画像データを分析して、リアルタイム画像内で頭の角度を決定し、顔および頭部のデータを、保存されているワイヤフレームモデルの同様の配置のデータと比較する。操作294は、リアルタイムのユーザで検出された特徴によって、保存されているユーザプロファイルの深度および画像データを検証しようと試みる。深度および画像データが検証されると、操作295はユーザが識別されたことを確認し、保存されているユーザプロファイルを適用する。終了操作299でこの手順が終了するが、他の操作が続いてもよい。
【0042】
操作294において深度および画像データが検証されなかった場合、操作296は、リアルタイムユーザが識別されなかったと認識する。操作298は、コンピュータシステムが、ユーザのロックオンとトラッキングを再試行するかどうかを決定するために使用される。一部の実施形態では、コンピュータシステムが所定の回数、ユーザの識別を再試行するためのしきい値が設定されうる。別の実施形態では、コンピュータシステムは、ユーザを無期限に識別しようとする。更に別の実施形態では、ユーザの識別の再試行の回数が、利用可能なコンピューティングリソースに基づいて可変であってもよい。ユーザのロックオンを試みる再試行が行われた場合、手順は操作293に戻る。ユーザにロックオンしようとする再試行をこれ以上行わない場合、操作297はデフォルトプロファイルを変更しない。
【0043】
図3A〜3Cは、本発明の一実施形態による、ペットのユーザプロファイルの作成に使用されうる例示的な簡略化した画面の組を示す。図3Aは、図2Eのボタン208の選択により表示される画面200bを示す。また、画面200bには、イヌアイコン212が選択されている。図3Bは、本発明の実施形態による、イヌのアバターを作成する異なる方法を示す画面300a/bを示す。画面300aは、深度検知カメラを使用して、イヌのさまざまな側面の画像をキャプチャしてアバターを作成することを示す。コンピュータシステムは、異なる画像を処理して、イヌのアバターを、プロファイル情報と共に自動的に生成し、このプロファイルにより、イヌが深度検知カメラの視野内にいるときに、そのイヌが認識可能となる。
【0044】
画面300bは、本発明の一実施形態による、別のイヌアバター作成画面を示す。画面300bにより、ユーザは、自分のイヌのさまざまな特徴を選択して、そのイヌアバターを作成することができる。例えば、一実施形態では、ユーザは、最初に、自分のイヌのアバターの相対サイズを選択しうる。
【0045】
図4Aは、本発明の一実施形態による、ユーザに割り当てられるさまざまなメディアソース特権を示す例示的な表400を示す。ビデオゲーム特権402は、エンターテインメントソフトウェアレーティング委員会(ESRB)によってゲームに割り当てられているレーティングに基づいて、さまざまなユーザに割り当てられうる。同様に、各ユーザに対するテレビジョン特権404が、テレビジョンペアレンタルガイドラインに基づいて設定されうる。さまざまな実施形態では、コンピュータシステムが設置されている国に応じて、異なるテレビジョンペアレンタルガイドラインがロードされうる。米国で設置されているコンピュータシステムの場合、米国映画協会(MPAA)のレーティングシステムに基づく映画特権406が各ユーザに割り当てられうる。同様に、インターネット特権408が、ユーザが指定するコンテンツへのアクセスをフィルタおよび制限するために構成されうる。コンピュータシステムが音楽410にアクセスできるようにするように構成される実施形態では、ペアレンタルアドバイザリラベル(PAL)が設定された音楽へのユーザのアクセスを許可または拒否するための特権が設定されうる。図4Aに示した特権の種類は、例示であり、説明していない追加の特権を割り当てることができるため、限定であるとみなすべきではない。
【0046】
ユーザに割り当てられた特権は、コンピュータシステムによってアクセス可能なさまざまな形式のメディアに自動的に適用されうる。例えば、息子206が、深度検知カメラの視野に入り、コンピュータシステムを介して認識されると、コンピュータシステムは、図4Aにリストアップされている特権を自動的にロードする。このため、息子416は、ESRBレーティングがEのビデオゲーム、ペアレンタルガイドラインがTV−Y7のテレビ番組、MPAAレーティングがGの映画へのアクセスのみを許される。更に、コンピュータシステムを介したインターネットアクセスには特定のネットフィルタが適用され、PALが指定されている音楽へのアクセスがブロックされる。
【0047】
複数の認識済みのユーザがコンピュータシステムによって識別される場合には、最も制限の低い特権が有効にされうる。このため、息子206と父親202が識別された場合、コンピュータシステムは父親202にリストアップされている特権を有効にする。同様に、娘204と息子206が識別された場合、娘204にリストアップされている特権が有効にされる。
【0048】
図4Bは、本発明の一実施形態による、ユーザによって作成されるアニメーションを示す例示的な表である。ユーザは、識別済みの各ユーザが深度検知カメラの視野内を歩く(図中の42)と、画面に表示されうる個々のアイコンを選択または作成することができる。図4Bに示すように、息子が深度検知カメラの前を歩くと、青いスニーカ416が画面に表示され、息子が現実の世界で部屋を歩き回った経路をなぞる。同様に、娘が歩いた経路にピンクの足跡418が割り当てられ、イヌのスパーキーの歩いた経路には黒の足跡420が割り当てられうる。
【0049】
また、ユーザは、走る44などの動作のアニメーションも割り当てられうる。例えば、息子が走ると、アバターアニメーションが、青いスニーカ416から、スケートボード422に乗っている息子のアバターに自動的に切り替えられうる。同様に、娘が、コンピュータシステムによって走っていることが認識されると、娘のピンクの足跡418が、娘がカメラの視野内で走った時間と距離の間、インラインスケート424に変更されうる。スパーキーも、走った場所では黒い足跡420が赤い足跡422に変わりうる。追加のアニメーションタイプを構成することができ、これには、ユーザがシーン内の特定のオブジェクトとインタラクションするアニメーション、あるいは認識されたユーザが数人部屋にいるアニメーションなどがあるが、これらに限定されない。特定のアニメーションは、可能なアニメーションの例を提示するものであり、限定として解釈すべきではない。
【0050】
図5Aは、本発明の一実施形態による、処理済みビデオ10a/bとして画面に表示される現実世界のシーン500を含む空間501を示す。現実世界のシーン500には、深度検知カメラ110の視野内に、イヌ502とソファー504が存在している。深度検知カメラ110は、コンピュータシステム120に画像データを提供する。これに対して、コンピュータシステム120は、処理済みビデオ10a/bを画面508に提供する。現実世界のシーン500では、イヌ502が、ソファー504の上にジャンプする。
【0051】
図5Bは、本発明の実施形態による、例示的な処理済みビデオ10a/bを示す。処理済みビデオ10aは、イヌ502がソファー504の上を歩いたときにコンピュータシステムがイヌ502を経時的にトラッキングした結果を示す。図に示すように、イヌのアバター502aによって、足跡512によって作成される履歴経路が仮想世界ソファー504aの上に作成される。処理済みビデオ10aは、コンピュータシステムが、深度検知カメラによってキャプチャされたシーン110内の画像および深度データからイヌを認識した結果生成される。イヌ502をコンピュータシステムに認識させるために定義する一環として、ユーザは、足跡512のアニメーションをイヌ502と関連させて保存しうる。別の実施形態では、イヌのリアルタイムビデオ画像が、イヌのアバター502aの代わりに使用されてもよい。イヌ502がコンピュータシステムによって認識されない実施形態では、デフォルトのトラッキング記号またはアイコンの組がロードされ、処理済みビデオ10aとして表示されてもよい。
【0052】
処理済みのビデオ10bは、本発明の一実施形態による、ソファー504とインタラクションしているイヌ502に特有の別のアニメーションを示す。この実施形態では、ユーザは、現実世界のイヌが現実世界のソファーの上を歩いた場所で、仮想世界のソファー504aが破れるようにアニメーションを構成している。上で説明したように、コンピュータシステムは、深度検知カメラの前で行われたユーザの動作のログすなわち履歴経路を作成し、これが再生および保存されうる。この場合、ユーザは、コンピュータシステムに、シーンを監視させ、現実世界のイヌの動きを再生させうる。簡単にするために、処理済みのビデオ10a/bは、イヌがソファーにジャンプする前にはトラッキングしたイヌの動きは表示しない。しかし、各種実施形態では、ログに記録されたアニメーションによってイヌの動きをトラッキングして、ソファーの破れ目と、地面の上のさまざまな足跡とを示すコマ撮りビデオを作成することが可能である。
【0053】
図6は、本発明の一実施形態による、現実世界のシーン600と、現実世界のシーン600が処理済みビデオ10cとして画面に表示される様子とを示す。現実世界のシーン600では、深度検知カメラ110の前をユーザ602が走っている。深度検知カメラ110は、走っているユーザ602のビデオ画像をキャプチャし、これをコンピュータシステム120に送信して処理させる。処理済みビデオデータが、コンピュータシステム608から画面604に送信され、処理済みビデオ10cとして表示される。処理済みビデオ10cの詳細図には、ユーザ602を表すアバター602’が存在する。また、詳細図には、ユーザ602が走るのに対応させて、アバター602’のアニメーションも表示されている。一実施形態では、アニメーションは、スピード感を伝えるために、アバター602’のモーションブラー610を有する。別の実施形態では、走行が検出される前にアバター602’が立っていた位置に、吹き出し612が表示される。別の実施形態では、走行に対応して、アバター602’の靴または足の上に炎のアニメーションが表示されてもよい。一実施形態では、図5A〜6で説明した履歴経路およびアニメーションが、再生のためにコンピュータシステムに関連するメモリに保存されうる。一部の実施形態では、メモリは、例えばハードディスクドライブまたは他の不揮発性メモリなどのローカルストレージ装置でもよい。別の実施形態では、履歴経路およびアニメーションが、インターネットを介してリモートストレージにアップロードされてもよい。
【0054】
図7は、認識されたオブジェクトの識別およびトラッキングを改善するために、点トラッキングを適用するための操作を示す例示的なフローチャートである。操作700は、深度検知カメラを使用して、シーンの第1の画像をキャプチャする。操作702は、深度検知カメラを使用して、シーンの第2の画像をキャプチャする。この目的は静止オブジェクトを識別することにあるため、第1の画像と第2の画像のキャプチャ間隔の長さが変わりうる。一部の実施形態では、画像が、1秒の数分の1または数秒おきにサンプリングされても、別の実施形態では、画像が、数分、数時間または数日おきにサンプリングされてもよい。操作704は、第1の画像と第2の画像を比較することによって、シーン内の静止オブジェクトを決定するために使用される。この比較は、第1の画像内の識別された点を、第2の画像の対応する点と突き合わせようとするものである。識別された点が第1の画像と第2の画像の間で移動しなかった場合、この点は、静止していると決定されうる。一実施形態では、深度検知カメラは、画像を定期的にサンプリングして、静止オブジェクトを継続的に更新し、計算オーバーヘッドを低下させる。操作706は、シーン内の静止オブジェクトのモデルを作成するために、シーン内の識別された静止オブジェクトの固定点を関連付ける。操作708は、深度検知カメラの視野内でのオブジェクトのトラッキングおよび識別を補助するために、関連付けた固定点をメモリに記憶する。
【0055】
図8は、本発明の一実施形態による、点トラッキングを示すシーン800の例示的な図である。シーン800には、コンピュータシステム120に画像データを提供する深度検知カメラ110が含まれている。コンピュータシステム120は、画像データを処理し、画面802に表示させるための処理済みビデオを提供する。シーンには、静止オブジェクト(例えばソファー806およびランプ812)が含まれる。一実施形態では、コンピュータシステム810は、深度検知カメラ800によってキャプチャされた2つの画像を比較することによって、シーン800内のどのオブジェクトが静止しているかを決定しうる。コンピュータシステム120は、第1の画像内の点のうち、第2の画像で移動しなかったものを識別することが可能なソフトウェアを実行しうる。移動しない点が、静止点として特定されうる。図8では、静止点808がソファー806の上で識別され、静止点814がランプ812の上で識別されている。また、コンピュータシステム120は、シーン800内のオブジェクトの相対位置関係、いわゆるポジショニング、を定義するために、静止点を相関させうる。コンピュータシステム120は、既知の相対位置によって、深度検知カメラ110からの画像データをより効率的に処理して、シーン800内で動いているユーザなどの現実世界のオブジェクトを表すアバターを、より高速にレンダリングすることが可能となる。
【0056】
別の実施形態では、画像および深度データと共に点トラッキングにより、静止オブジェクトに対して、部分ワイヤフレームまたはスケルトンを作成できるようになる。例えば、ソファー806に関連する静止点808を使用して、ソファー806の部分ワイヤフレームモデルが作成されうる。ユーザが、現実のソファー806の画像および深度データから作成される仮想ソファーを変更およびカスタマイズできるようにするために、テクスチャーマップがワイヤフレームモデルに適用されうる。例えば、ユーザは、ソファーの材料を、織物または布、レザー、合成繊維材料にわたる任意の種類に変更することができる。どのシーンのどの静止オブジェクトにもテクスチャーマップを適用することができ、このようなオブジェクトには、シーン800の壁およびランプ812などがあるが、これらに限られない。ユーザは、深度検知カメラ110で部屋をスキャンして、現実世界の部屋の画像および深度データをキャプチャし、次に、現実世界の部屋の仮想世界表現をカスタマイズしうる。画像および深度データを使用して、壁の色を変更したり、あるいは壁紙または木のパネルなどのテクスチャがつけられた壁装材を含むさまざまなタイプの壁装材を適用することができる。
【0057】
図9は、本発明の一実施形態による、ユーザ定義コントローラを作成するために動的三次元オブジェクトマッピングを使用可能なコンピュータシステムである、ソニー(登録商標)プレイステーション3(登録商標)エンターテイメントデバイスの全体的なシステムアーキテクチャを模式的に示す。システムユニット1000は、システムユニット1000に接続可能なさまざまな周辺機器を備える。システムユニット1000は、Cellプロセッサ1028、Rambus(登録商標)ダイナミックランダムアクセスメモリ(XDRAM)ユニット1026、専用のビデオランダムアクセスメモリ(VRAM)ユニット1032を有するReality Synthesizerグラフィックユニット1030、およびI/Oブリッジ1034を備える。また、システムユニット1000は、I/Oブリッジ1034を介してアクセス可能な、ディスク1040aおよび着脱可能なスロットインハードディスクドライブ(HDD)1036から読み出すためのブルーレイ(登録商標)ディスクBD−ROM(登録商標)光ディスクリーダ1040も備える。任意選択で、システムユニット1000は、同様にI/Oブリッジ1034を介してアクセス可能な、コンパクトフラッシュ(登録商標)メモリカード、メモリースティック(登録商標)メモリカードなどを読み出すためのメモリカードリーダ1038も備える。
【0058】
また、I/Oブリッジ1034は、6つのユニバーサルシリアルバス(USB)2.0ポート1024、ギガビットイーサネット(登録商標)ポート1022、IEEE 802.11b/g無線ネットワーク(Wi-Fi)ポート1020、および最大7つのブルートゥース接続に対応可能なブルートゥース(登録商標)無線リンクポート1018にも接続している。
【0059】
動作時に、I/Oブリッジ1034は、1つ以上のゲームコントローラ1002からのデータを含む、全ての無線、USB、およびイーサネット(登録商標)のデータを処理する。例えば、ユーザがゲームをプレイ中に、I/Oブリッジ1034はブルートゥースリンクを介してゲームコントローラ1002からデータを受信して、これをCellプロセッサ1028に転送し、Cellプロセッサ1028が適宜ゲームの現在の状態を更新する。
【0060】
また、無線、USB、およびイーサネット(登録商標)の各ポートを介して、ゲームコントローラ1002のほかに、他の周辺機器も接続することが可能となる。このような周辺機器には、例えば、リモコン1004、キーボード1006、マウス1008、ソニープレイステーションポータブル(登録商標)エンターテイメントデバイスなどのポータブルエンターテイメントデバイス1010、EyeToy(登録商標)ビデオカメラ1012などのビデオカメラ、マイクロフォンヘッドセット1014などがある。このため、これらの周辺機器は、原則としてシステムユニット1000に無線で接続されうる。例えば、ポータブルエンターテイメントデバイス1010はWi−Fiアドホック接続を介して通信し、マイクロフォンヘッドセット1014はブルートゥースリンクを介して通信しうる。
【0061】
これらのインタフェースを提供することにより、プレイステーション3デバイスは、デジタルビデオレコーダ(DVR)、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、VoIP電話、携帯電話、プリンタ、およびスキャナなどの他の周辺機器と場合によっては互換となりうる。
【0062】
更に、USBポート1024を介して旧式メモリカードリーダ1016をシステムユニットに接続することができ、プレイステーション(登録商標)デバイスまたはプレイステーション2(登録商標)で用いられていたタイプのメモリカード1048の読み出しが可能となる。
【0063】
本実施形態では、ゲームコントローラ1002は、ブルートゥースリンクを介してシステムユニット1000と無線通信するように動作可能である。しかし、その代わりに、ゲームコントローラ1002が、USBポートに接続されてもよく、これにより、ゲームコントローラ1002のバッテリに充電するための電力も供給する。ゲームコントローラは、1つ以上のアナログジョイスティックおよび従来の制御ボタンを有するほか、各軸の並進運動および回転に対応する6自由度の移動を感知する。したがって、従来のボタンまたはジョイスティックコマンドのほかに、またはこれらの代わりに、ゲームコントローラのユーザが行ったジェスチャおよび移動が、ゲームへの入力として変換されうる。任意選択で、プレイステーションポータブルデバイスなどの他の無線対応の周辺機器をコントローラとして使用することができる。プレイステーションポータブルデバイスの場合、追加のゲーム情報または制御情報(例えば制御命令またはライブの数)が、当該デバイスの画面に提示されうる。ほかの代替的または補助的な制御装置が使用されてもよく、これには、ダンスマット(図示せず)、ライトガン(図示せず)、ハンドルおよびペダル(図示せず)、あるいは、即答クイズゲームのための1つまたは複数の大型のボタン(これも図示なし)などの特注品のコントローラなどがある。
【0064】
また、リモコン1004も、ブルートゥースリンクを介してシステムユニット1000と無線通信するように動作可能である。リモコン1004は、ブルーレイディスクBD−ROMリーダ1040の操作、およびディスクの内容の閲覧のために適した制御を備える。
【0065】
ブルーレイディスクBD−ROMリーダ1040は、従来の記録済みCD、記録可能CD、およびいわゆるスーパーオーディオCDのほか、プレイステーションデバイスおよびプレイステーション2デバイスと互換のCD−ROMを読み出すように動作可能である。また、リーダ1040は、従来の記録済みDVDおよび記録可能DVDのほか、プレイステーション2デバイスおよびプレイステーション3デバイスと互換のDVD−ROMを読み出すように動作可能である。更に、リーダ1040は、従来の記録済みブルーレイディスクおよび記録可能ブルーレイディスクのほか、プレイステーション3デバイスと互換のBD−ROMを読み出すように動作可能である。
【0066】
システムユニット1000は、Reality Synthesizerグラフィックユニット1030を介して、プレイステーション3デバイスによって生成またはデコードされた音声およびビデオを、音声コネクタおよびビデオコネクタ経由で、ディスプレイ1044および1つ以上のスピーカ1046を備えた表示および音声出力装置1042(モニタまたはテレビ受像機など)に提供するように動作可能である。音声コネクタ1050は、従来のアナログ出力およびデジタル出力を備える一方、ビデオコネクタ1052は、コンポーネントビデオ、S−ビデオ、コンポジットビデオ、および1つ以上の高品位マルチメディアインタフェース(HDMI)の出力などを種々備えうる。したがって、ビデオ出力は、PALまたはNTSC、あるいは720p、1080iまたは1080pの高解像度などのフォーマットであってもよい。
【0067】
音声処理(生成、デコードなど)はCellプロセッサ1028によって実行される。プレイステーション3デバイスのオペレーティングシステムは、ドルビー(登録商標)5.1サラウンドサウンド、ドルビー(登録商標)シアターサラウンド(DTS)、およびブルーレイ(登録商標)ディスクからの7.1サラウンドサウンドのデコードに対応している。
【0068】
本実施形態では、ビデオカメラ1012は、1つの電荷結合素子(CCD)、LEDインジケータ、およびハードウェアベースのリアルタイムデータ圧縮およびエンコード装置を備え、圧縮ビデオデータが、システムユニット1000によるデコードのために、イントラ画像ベースのMPEG標準などの適切なフォーマットで送信されるようになる。カメラのLEDインジケータは、例えば不利な照明条件を示す適切な制御データをシステムユニット1000から受け取ると、発光するように配置されている。ビデオカメラ1012の実施形態は、USB、ブルートゥースまたはWi−Fiの通信ポートを介して、システムユニット1000にさまざまな方法で接続しうる。ビデオカメラの実施形態は、1つ以上の関連するマイクロフォンを備えており、音声データを送信することができる。ビデオカメラの実施形態では、CCDは、高解像度のビデオキャプチャに適した分解能を備えうる。使用時に、ビデオカメラによってキャプチャされた画像が、例えば、ゲーム内に取り込まれるか、またはゲームの制御入力として解釈されうる。
【0069】
一般に、システムユニット1000の通信ポートの1つを介して、ビデオカメラまたはリモコン等などの周辺機器とのデータ通信がうまく行われるように、デバイスドライバ等の適切なソフトウェアを提供する必要がある。デバイスドライバ技術は公知であり、ここで詳細に説明しないが、デバイスドライバまたは同様のソフトウェアインタフェースが、記載する本実施形態で必要とされうることを当業者は理解するであろう。
【0070】
実施形態には、現実世界のユーザをより正確に特定し、アバターまたはシーンのアクティビティを案内するために深度データをキャプチャが含まれてもよい。実施形態において、現実世界のユーザをより正確に特定し、アバターまたはシーンのアクティビティを案内するために深度データをキャプチャしてもよい。オブジェクトは、人物が保持しているオブジェクトであっても、人物の手であってもよい。本明細書では、「深度カメラ」および「三次元カメラ」との用語は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。他の例示的な深度カメラに、立体カメラ対があり、これは2台の基準カメラを使用して距離情報を三角測量によって求める。同様に、「深度検知装置」との用語は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。
【0071】
三次元像の最近の進歩により、リアルタイムのインタラクティブなコンピュータアニメーションの可能性が広がっている。より詳細には、新しい「深度カメラ」は、通常の二次元のビデオ像に加えて、第3の次元をキャプチャおよびマップする能力を提供することができる。新しい深度データによって、本発明の各種実施形態は、ほかのオブジェクトの背後など、ビデオシーン内のさまざまな位置にコンピュータが生成したオブジェクトを、リアルタイムで配置することが可能となる。
【0072】
更に、本発明の各種実施形態は、リアルタイムのインタラクティブなゲーム体験をユーザに提供する。例えば、ユーザは、コンピュータが生成したさまざまなオブジェクトと、リアルタイムでインタラクトすることができる。更に、ユーザのゲーム体験をよりリアルにするために、ビデオシーンをリアルタイムで変更することができる。例えば、コンピュータが生成したコスチュームを、ユーザの服の上にはめ込んだり、コンピュータが生成した光源を利用して、ビデオシーン内に仮想の影を表示させることができる。このため、本発明の各種実施形態と深度カメラを使用して、ユーザは、自分のリビングルームでインタラクティブなゲーム環境を体験することができる。通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青(RGB)の値である。このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。
【0073】
また、本発明の各種実施形態は、分散型の画像処理構成についても考察している。例えば、本発明は、1つの場所(CPUなど)や2つの場所(CPUと他の1つの素子など)で行われるキャプチャ画像および表示画像の処理に限定されない。例えば、入力画像処理は、処理を実行することができる関連のCPU、プロセッサまたは装置において容易に行うことができ、基本的には、画像処理の全てを、相互接続システム全体に分散させることができる。このため、本発明は、特定の画像処理ハードウェア回路および/またはソフトウェアに限定されない。
また、本明細書に記載した実施形態は、一般的なハードウェア回路および/またはソフトウェアの特定の組合せに限定されず、処理コンポーネントによって実行される命令の特定のソースにも限定されない。
【0074】
上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作には、物理量の物理的な操作を必要とする操作が含まれる。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。
【0075】
上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される。
【0076】
また、本発明は、計算機可読メディア上の計算機可読コードとして実施されてもよい。計算機可読メディアは、電磁搬送波を含め、コンピュータシステムによって後から読み取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものに存在してもよい。計算機可読メディアの例には、ハードディスク、ネットワーク接続記憶装置(NAS)、リードオンリーメモリ、ランダムアクセスメモリ、CD−ROM、CD−R、CD−RW、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読メディアは、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。
【0077】
上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。
【特許請求の範囲】
【請求項1】
1つ以上のメディアソースを含む空間内で識別およびトラッキングされるユーザに対して事前定義された特権を自動的に適用するためのコンピュータ実装方法であって、
(a)深度検知カメラによってユーザを識別およびトラッキングするためのデータを含むユーザプロファイルを定義して、メモリに保存するステップと、
(b)前記ユーザプロファイルに対して特定のメディアへのアクセスのレベルを定義する特権を定義して、前記メモリに保存するステップと、
(c)画像および深度データを生成するために前記深度検知カメラを使用して前記空間内でシーンをキャプチャするステップと、
(d)前記画像および深度データを使用して前記シーン内で前記ユーザを識別するステップと、
(e)前記ユーザが前記シーン内で識別およびトラッキングされるときに、前記ユーザに対して1つ以上のメディアソースのうちの選択されたコンテンツへのアクセスが許可されるように、前記定義済みの特権を前記1つ以上のメディアソースに自動的に適用するステップと、を有する方法。
【請求項2】
前記シーンをキャプチャするステップは、移動オブジェクトに着目するように静止オブジェクトをフィルタリングするステップを有し、移動オブジェクトに着目することは、
前記シーン内で頭部のオブジェクトが見つかったかどうかを判定するステップと、
前記画像および深度データを使用して前記頭部の顔の特徴を分析するステップと、
前記識別された顔の特徴が前記ユーザに対応するかどうかを判定するステップと、
前記ユーザプロファイルに対して特定のメディアへのアクセスのレベルを定義する前記特権を適用するステップと、を有する請求項1に記載の方法。
【請求項3】
トラッキングするステップは、前記シーン内で前記ユーザの動きを追跡することを有し、前記追跡は識別された顔の特徴が前記ユーザに対応するかどうかの判定を補助する請求項2に記載の方法。
【請求項4】
前記深度データは、前記ユーザの物理的な特徴の相対三次元位置を識別するために使用される請求項2に記載の方法。
【請求項5】
前記シーン内で前記頭部のオブジェクトが見つかったと判定された場合、前記静止オブジェクトの前記深度データが前記シーンから減算される請求項2に記載の方法。
【請求項6】
前記シーン内に複数のユーザが見つかったかどうかを判定するステップと、
複数のユーザが見つかった場合、最も制限の少ないユーザプロファイルに関連する特権を適用するステップと、を更に有する請求項1に記載の方法。
【請求項7】
前記1つ以上のメディアソースは、マルチメディアコンテンツを提供するデバイスを含む請求項1に記載の方法。
【請求項8】
前記マルチメディアコンテンツは、前記空間内に存在するディスプレイ画面に一部提示される請求項7に記載の方法。
【請求項9】
事前定義されたコンピュータ生成効果を、現実世界のオブジェクトの仮想世界表現に自動的に適用するために、前記現実世界のオブジェクトを識別およびトラッキングするためのコンピュータ実装方法であって、
(a)深度検知カメラによって前記ユーザを識別およびトラッキングするためのデータを含むユーザプロファイルを定義して、メモリに保存するステップと、
(b)前記ユーザプロファイルに関連し、仮想世界シーンに一体化されるアニメーションを定義して、前記メモリに保存するステップと、
(c)前記深度検知カメラを使用してシーンをキャプチャするステップと、
(d)前記深度検知カメラを使用して前記シーン内で前記ユーザを識別するステップと、
(e)ディスプレイ画面が前記一体化されたアニメーションを表示するように、前記識別およびトラッキングされたユーザに基づいて前記定義したアニメーションを自動的に適用するステップと、を有する方法。
【請求項10】
前記シーンをキャプチャするステップは、移動オブジェクトに着目するように静止オブジェクトをフィルタリングするステップを有し、移動オブジェクトに着目することは、
前記シーン内で移動オブジェクトに着目するステップと、
前記画像および深度データを使用して前記移動オブジェクトの特徴を分析するステップと、
前記移動オブジェクトが前記ユーザに対応するかどうかを判定するステップと、を有する請求項9に記載の方法。
【請求項11】
前記ユーザは人間またはペットのいずれかである請求項10に記載の方法。
【請求項12】
前記ユーザをトラッキングするステップは、
経時的な動きと、前記動きに関連する前記アニメーションとを識別する前記ユーザの履歴経路を表示するステップを有する請求項11に記載の方法。
【請求項13】
前記履歴経路をストレージに保存するステップと、
前記履歴経路の再生を有効にするステップと、を更に有する請求項12に記載の方法。
【請求項14】
前記アニメーションは、前記キャプチャされた深度データに基づいて、前記シーン内で見つかったオブジェクトの輪郭に適用される請求項9に記載の方法。
【請求項15】
ユーザによって前記アニメーションをあらかじめ選択するステップを更に有する請求項9に記載の方法。
【請求項16】
前記識別されたユーザに基づいて、マルチメディアコンテンツが、前記アニメーションと共にディスプレイ画面に提示される請求項9に記載の方法。
【請求項17】
シーンをキャプチャするステップは、点トラッキングを使用して前記シーン内で静止オブジェクトを定義する請求項9に記載の方法。
【請求項18】
前記ユーザのトラッキングは、相対的な位置、方向および速度の識別を含む請求項9に記載の方法。
【請求項19】
前記深度データは静止オブジェクト上の点を識別するために使用され、前記点は前記シーン内で見つかったオブジェクトの輪郭を描画するために使用される請求項9に記載の方法。
【請求項20】
現実世界の空間内で現実世界のユーザを識別およびトラッキングするためのコンピュータ実装方法であって、
(a)前記現実世界のユーザの物理的な特徴に関連し、深度検知カメラによってキャプチャされた画像および深度データを含むユーザプロファイルを定義するステップと、
(b)前記深度検知カメラを使用してシーンの画像および深度データをキャプチャするステップと、
(c)前記シーン内で移動オブジェクトを識別するステップと、
(d)画像および深度データを使用して、前記移動オブジェクト内の頭部にロックオンするステップと、
(e)前記頭部の前記画像および深度データをリアルタイムで分析するステップと、を有し、前記分析では、前記頭部の画像および深度データと、物理的な特徴に関連するユーザプロファイルの画像および深度データとの比較が行われ、前記ユーザプロファイルの画像および深度データが、前記頭部の画像および深度データと実質的に一致する場合、ユーザが識別される方法。
【請求項21】
ユーザプロファイルを定義するステップは、
(a)深度検知カメラを使用してスキャンを開始するステップと、
(b)前記人体の特定の部分に前記スキャンを集中させるステップと、
(c)前記人体の前記特定の部分の画像および深度データを収集するステップと、
(d)前記人間体の前記特定の部分の三次元モデルを生成するために前記収集した画像および深度データを処理するステップと、
(e)前記三次元モデルをメモリに保存するステップと、を有し、前記三次元モデルは、ユーザプロファイルにも関連している請求項20に記載の方法。
【請求項22】
前記ユーザが識別されたときに前記ユーザプロファイルに関連するユーザ許可を適用するステップを更に有する請求項20に記載の方法。
【請求項23】
前記ユーザが識別されたときに前記ユーザプロファイルに関連するユーザアニメーションを適用するステップを更に有する請求項20に記載の方法。
【請求項1】
1つ以上のメディアソースを含む空間内で識別およびトラッキングされるユーザに対して事前定義された特権を自動的に適用するためのコンピュータ実装方法であって、
(a)深度検知カメラによってユーザを識別およびトラッキングするためのデータを含むユーザプロファイルを定義して、メモリに保存するステップと、
(b)前記ユーザプロファイルに対して特定のメディアへのアクセスのレベルを定義する特権を定義して、前記メモリに保存するステップと、
(c)画像および深度データを生成するために前記深度検知カメラを使用して前記空間内でシーンをキャプチャするステップと、
(d)前記画像および深度データを使用して前記シーン内で前記ユーザを識別するステップと、
(e)前記ユーザが前記シーン内で識別およびトラッキングされるときに、前記ユーザに対して1つ以上のメディアソースのうちの選択されたコンテンツへのアクセスが許可されるように、前記定義済みの特権を前記1つ以上のメディアソースに自動的に適用するステップと、を有する方法。
【請求項2】
前記シーンをキャプチャするステップは、移動オブジェクトに着目するように静止オブジェクトをフィルタリングするステップを有し、移動オブジェクトに着目することは、
前記シーン内で頭部のオブジェクトが見つかったかどうかを判定するステップと、
前記画像および深度データを使用して前記頭部の顔の特徴を分析するステップと、
前記識別された顔の特徴が前記ユーザに対応するかどうかを判定するステップと、
前記ユーザプロファイルに対して特定のメディアへのアクセスのレベルを定義する前記特権を適用するステップと、を有する請求項1に記載の方法。
【請求項3】
トラッキングするステップは、前記シーン内で前記ユーザの動きを追跡することを有し、前記追跡は識別された顔の特徴が前記ユーザに対応するかどうかの判定を補助する請求項2に記載の方法。
【請求項4】
前記深度データは、前記ユーザの物理的な特徴の相対三次元位置を識別するために使用される請求項2に記載の方法。
【請求項5】
前記シーン内で前記頭部のオブジェクトが見つかったと判定された場合、前記静止オブジェクトの前記深度データが前記シーンから減算される請求項2に記載の方法。
【請求項6】
前記シーン内に複数のユーザが見つかったかどうかを判定するステップと、
複数のユーザが見つかった場合、最も制限の少ないユーザプロファイルに関連する特権を適用するステップと、を更に有する請求項1に記載の方法。
【請求項7】
前記1つ以上のメディアソースは、マルチメディアコンテンツを提供するデバイスを含む請求項1に記載の方法。
【請求項8】
前記マルチメディアコンテンツは、前記空間内に存在するディスプレイ画面に一部提示される請求項7に記載の方法。
【請求項9】
事前定義されたコンピュータ生成効果を、現実世界のオブジェクトの仮想世界表現に自動的に適用するために、前記現実世界のオブジェクトを識別およびトラッキングするためのコンピュータ実装方法であって、
(a)深度検知カメラによって前記ユーザを識別およびトラッキングするためのデータを含むユーザプロファイルを定義して、メモリに保存するステップと、
(b)前記ユーザプロファイルに関連し、仮想世界シーンに一体化されるアニメーションを定義して、前記メモリに保存するステップと、
(c)前記深度検知カメラを使用してシーンをキャプチャするステップと、
(d)前記深度検知カメラを使用して前記シーン内で前記ユーザを識別するステップと、
(e)ディスプレイ画面が前記一体化されたアニメーションを表示するように、前記識別およびトラッキングされたユーザに基づいて前記定義したアニメーションを自動的に適用するステップと、を有する方法。
【請求項10】
前記シーンをキャプチャするステップは、移動オブジェクトに着目するように静止オブジェクトをフィルタリングするステップを有し、移動オブジェクトに着目することは、
前記シーン内で移動オブジェクトに着目するステップと、
前記画像および深度データを使用して前記移動オブジェクトの特徴を分析するステップと、
前記移動オブジェクトが前記ユーザに対応するかどうかを判定するステップと、を有する請求項9に記載の方法。
【請求項11】
前記ユーザは人間またはペットのいずれかである請求項10に記載の方法。
【請求項12】
前記ユーザをトラッキングするステップは、
経時的な動きと、前記動きに関連する前記アニメーションとを識別する前記ユーザの履歴経路を表示するステップを有する請求項11に記載の方法。
【請求項13】
前記履歴経路をストレージに保存するステップと、
前記履歴経路の再生を有効にするステップと、を更に有する請求項12に記載の方法。
【請求項14】
前記アニメーションは、前記キャプチャされた深度データに基づいて、前記シーン内で見つかったオブジェクトの輪郭に適用される請求項9に記載の方法。
【請求項15】
ユーザによって前記アニメーションをあらかじめ選択するステップを更に有する請求項9に記載の方法。
【請求項16】
前記識別されたユーザに基づいて、マルチメディアコンテンツが、前記アニメーションと共にディスプレイ画面に提示される請求項9に記載の方法。
【請求項17】
シーンをキャプチャするステップは、点トラッキングを使用して前記シーン内で静止オブジェクトを定義する請求項9に記載の方法。
【請求項18】
前記ユーザのトラッキングは、相対的な位置、方向および速度の識別を含む請求項9に記載の方法。
【請求項19】
前記深度データは静止オブジェクト上の点を識別するために使用され、前記点は前記シーン内で見つかったオブジェクトの輪郭を描画するために使用される請求項9に記載の方法。
【請求項20】
現実世界の空間内で現実世界のユーザを識別およびトラッキングするためのコンピュータ実装方法であって、
(a)前記現実世界のユーザの物理的な特徴に関連し、深度検知カメラによってキャプチャされた画像および深度データを含むユーザプロファイルを定義するステップと、
(b)前記深度検知カメラを使用してシーンの画像および深度データをキャプチャするステップと、
(c)前記シーン内で移動オブジェクトを識別するステップと、
(d)画像および深度データを使用して、前記移動オブジェクト内の頭部にロックオンするステップと、
(e)前記頭部の前記画像および深度データをリアルタイムで分析するステップと、を有し、前記分析では、前記頭部の画像および深度データと、物理的な特徴に関連するユーザプロファイルの画像および深度データとの比較が行われ、前記ユーザプロファイルの画像および深度データが、前記頭部の画像および深度データと実質的に一致する場合、ユーザが識別される方法。
【請求項21】
ユーザプロファイルを定義するステップは、
(a)深度検知カメラを使用してスキャンを開始するステップと、
(b)前記人体の特定の部分に前記スキャンを集中させるステップと、
(c)前記人体の前記特定の部分の画像および深度データを収集するステップと、
(d)前記人間体の前記特定の部分の三次元モデルを生成するために前記収集した画像および深度データを処理するステップと、
(e)前記三次元モデルをメモリに保存するステップと、を有し、前記三次元モデルは、ユーザプロファイルにも関連している請求項20に記載の方法。
【請求項22】
前記ユーザが識別されたときに前記ユーザプロファイルに関連するユーザ許可を適用するステップを更に有する請求項20に記載の方法。
【請求項23】
前記ユーザが識別されたときに前記ユーザプロファイルに関連するユーザアニメーションを適用するステップを更に有する請求項20に記載の方法。
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F−1】
【図2F−2】
【図2G】
【図2H】
【図2I】
【図2J】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【図1B】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F−1】
【図2F−2】
【図2G】
【図2H】
【図2I】
【図2J】
【図3A】
【図3B】
【図3C】
【図4A】
【図4B】
【図5A】
【図5B】
【図6】
【図7】
【図8】
【図9】
【公表番号】特表2011−515736(P2011−515736A)
【公表日】平成23年5月19日(2011.5.19)
【国際特許分類】
【出願番号】特願2010−548826(P2010−548826)
【出願日】平成21年2月24日(2009.2.24)
【国際出願番号】PCT/US2009/035032
【国際公開番号】WO2009/108645
【国際公開日】平成21年9月3日(2009.9.3)
【出願人】(500551079)ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー (95)
【出願人】(502070679)ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド (40)
【Fターム(参考)】
【公表日】平成23年5月19日(2011.5.19)
【国際特許分類】
【出願日】平成21年2月24日(2009.2.24)
【国際出願番号】PCT/US2009/035032
【国際公開番号】WO2009/108645
【国際公開日】平成21年9月3日(2009.9.3)
【出願人】(500551079)ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー (95)
【出願人】(502070679)ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド (40)
【Fターム(参考)】
[ Back to top ]