実世界の物体およびインタラクションを仮想世界内にレンダリングする方法、システムおよびコンピュータ・プログラム
【課題】本願明細書では、実世界の物体または動作あるいはその両方を反映する画像データを収集し、このデータを、仮想世界（ＶＵ）内で使用可能なフォーマットに変換することができるシステムを開示する。
【解決手段】実世界／現実の物体および動作を表現する画像データおよび動作を取得し、仮想世界対応のデータに変換し、ＶＵサーバへ送信することができ、ＶＵサーバでは、動作および物体を仮想領域またはアバタに関連付け、物体および動作の再現をＶＵ内でユーザに対して表示することができる。これによって、参加者は、ＶＵ内の行動および物体をカスタマイズし、彼らのアバタおよびＶＵに独自の「個性」をもたらすことができるようになる。他の実施形態も開示される。
【解決手段】実世界／現実の物体および動作を表現する画像データおよび動作を取得し、仮想世界対応のデータに変換し、ＶＵサーバへ送信することができ、ＶＵサーバでは、動作および物体を仮想領域またはアバタに関連付け、物体および動作の再現をＶＵ内でユーザに対して表示することができる。これによって、参加者は、ＶＵ内の行動および物体をカスタマイズし、彼らのアバタおよびＶＵに独自の「個性」をもたらすことができるようになる。他の実施形態も開示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、全般的に仮想世界（ＶＵ：ｖｉｒｔｕａｌ ｕｎｉｖｅｒｓｅ）に関し、特に、実世界の物体またはインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）、あるいはその両方に関連するデータを取得し、かかる実世界の物体およびインタラクションを、取得されたデータに基づいて仮想世界内にレンダリングすることに関する。
【背景技術】
【０００２】
コンピュータを利用して仮想環境で活動することは、人気を集めている娯楽である。仮想環境は、ネットワーク・クライアントを使用して「オンライン」インターフェースを介し対話できる複数のユーザによってアクセス可能な対話型のシミュレート環境である。ＶＵの欠陥の１つは、環境と環境内のアイテムとを容易にカスタマイズできないことである。
【０００３】
ユーザ・インターフェースの改良によって、コンピュータは絶えず使いやすさを増している。コンピュータ・システムのユーザ・インターフェースは、パーソナル・コンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）が最初に広く利用可能になって以来大きく発達した。初期のＰＣは、どちらかといえば基本的なユーザ入力デバイスを使用し、単一のキーボードが人間の唯一の入力メカニズムであった。マイクロプロセッサ、使用可能メモリ、およびプログラミング機能の大きな改善すべてが、ユーザ・インターフェースの設計の進歩、ならびに使いやすいグラフィック・ベースのオペレーティング・システムとハードウェアとの開発に寄与してきた。
【０００４】
ユーザ・インターフェース技術における進歩の特定領域の１つは、サーフェス・コンピューティング（ｓｕｒｆａｃｅ ｃｏｍｐｕｔｉｎｇ）技術に関する。サーフェス・コンピューティングは、任意の人数のユーザが対話型サーフェス（ｉｎｔｅｒａｃｔｉｖｅ ｓｕｒｆａｃｅ）を介してコンピュータと対話できるようにする。コンピュータは、グラフィカル・ユーザ・インターフェース（‘ＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）’）をサーフェス上にレンダリングでき、複数のユーザが、マウスまたはキーボードなどの従来の入力デバイスを使用するのではなくマルチタッチ技術を使用して、ＧＵＩに表示される「物体」を手で直接操作することもできる。このように、ユーザが入力を提供するデバイスと、出力を受け取るデバイスとが単一のサーフェスに統合され、ユーザがコンピュータと対話するための直感的かつ効率的なメカニズムが提供される。以上から分かるように、対話型サーフェスの一体化したソフトウェアおよびハードウェアの技術によって、１人または複数のユーザが、自然な動き、手振り、または物理的物体を使用してデジタル・コンテンツを操作できるようにすることが可能である。
【０００５】
効率的にタスクを行うためにユーザがサーフェス・コンピューティング・デバイスと対話する方法は、サーフェス・コンピューティングが日常環境の中に定着するにつれて、キーボードおよびマウスなどの従来の入力デバイスに比べ顕著な進歩を見せると思われる。このようなシステムは、一般にマルチタッチ対話型システムと呼ばれる。かかるシステムには、複数の接触ポイントを同時に認識し、このような同時に起きた接触を解釈するソフトウェアを一般的に有する、タッチ・スクリーンまたはタッチ・タブレット（タッチパッド）が含まれ得る。このようなシステムは、ブルートゥース対応のデバイス、無線識別（ＲＦＩＤ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術を備えたデバイス、および無線カメラなどの無線デバイスと通信することもある。
【０００６】
マルチタッチ対話型システムによるデバイスの検出に利用され得る検出技術はいくつかある。マルチタッチ・サーフェスに接触または近接している物体を認識するために、光学に基づく近接検出技術および赤外線に基づく近接検出技術が開発された。さらに、バーコード読取り装置などの物体認識センサも、マルチタッチ・サーフェスと連携するようになっている。
【０００７】
仮想世界に関しては、ユーザは、アバタを通して仮想環境内に居住し、その中で対話をすることができる。アバタは、２次元または３次元の、人間または非人間の形をしたグラフィック表現とすることができる。言い換えれば、アバタは、同じ仮想環境にいるときに他者から見るようにユーザが選択するグラフィック表現とすることができる。アバタは、例えば人間のキャラクタ、動物のキャラクタ、アイコン、抽象的人物などのグラフィック表現など、様々なグラフィック表現を呈することができる。
【０００８】
仮想環境には異なる多数の名前がある。例えば、本願明細書では仮想世界（ＶＵ）と呼ばれる仮想環境は、「メタバース」、「３Ｄインターネット」、「仮想世界」などと呼ばれることがある。多数の種類の異なる仮想環境があるが、多くのＶＵに共通する特徴がいくつかある。例えば、多くのＶＵには、多数のアバタが共に活動に参加するときに滞在する共有空間がある。これが「世界」である。ＶＵのアバタは、３Ｄのグラフィックスおよび風景の中で、行き来すること、居住すること、および他のアバタと対話することができる。したがって、ＶＵには何千人もの住民またはアバタが住むことができる。ＶＵは、物理学もしくは物理法則、家屋および風景などの点から見て、実世界の様相に似ていることが多い。
【０００９】
エージェントはユーザのアカウントとすることができ、これに基づいてユーザはアバタをつくることができる。これは、ユーザが所有する資産の一覧表に関係している。範囲は、ＶＵ内の土地の仮想領域とすることができ、通常は単一のサーバに存在する。資産、アバタ、環境および目に見えるものは何でも、データの中でも特に形状データ（ｇｅｏｍｅｔｒｉｃ ｄａｔａ）に関連付けられたＵＵＩＤ（ｕｎｉｑｕｅ ｕｎｉｖｅｒｓａｌ ｉｄｅｎｔｉｆｉｅｒ：固有汎用識別子）を有することがある。形状データは、テキスト座標（ｔｅｘｔｕａｌ ｃｏｏｒｄｉｎａｔｅ）として配布することができる。テクスチャはグラフィック・ファイルとしてユーザに配布でき、グラフィック・ファイルは、指定されたテキスト座標の範囲内に置かれる。効果データは、ユーザの好みおよびユーザのデバイスの性能に従い、ユーザのクライアントによるレンダリングが可能である。最後に、社交またはコミュニティあるいはその両方の機能によって、チーム、ギルド、クラブ、派閥、同居人、一地域の住民などの社会集団の形成が可能になり、促進される。
【００１０】
住民は、登場人物、またはＶＵユーザを表現したものとすることができ、住民は、徒歩、車、飛行によって、または、念力移動もしくは交通機関によってでさえも、仮想範囲の周り中を動き回ることができる。念力移動または交通機関は、本質的に、事実上瞬時にＶＵ内のある地点から別の地点へ空間中を移動するものである。ＶＵは、実生活では現在存在しないものも含むことができる。アバタは、ＶＵと対話しながら、広範な事業および社会を経験することができる。このような事業および社会の経験は、オンラインＶＵにおいてますます普及してきており、重要性を増している。
【００１１】
ワールド・ワイド・ウェブによってＶＵを提供する異なるサービスが多数ある。例えば、Ｓｅｃｏｎｄ Ｌｉｆｅ、Ｅｎｔｒｏｐｉａ Ｕｎｉｖｅｒｓｅ、Ｔｈｅ Ｓｉｍｓ Ｏｎｌｉｎｅ、Ｔｈｅｒｅ、およびＲｅｄ Ｌｉｇｈｔ Ｃｅｎｔｅｒはすべてある種のＶＵを提供し、これらのサービス・プロバイダは、当該の名称の商標権を有する。ＶＵは、ＥｖｅｒＱｕｅｓｔ、Ｕｌｔｉｍａ Ｏｎｌｉｎｅ、Ｌｉｎｅａｇｅ、またはＷｏｒｌｄ ｏｆ Ｗａｒｃｒａｆｔなどの多人数参加型オンライン・ゲームを提供することもでき、そのようなサービスのプロバイダも同じく、当該の名称の商標権を有する。上述の利用可能な人気ＶＵの１つは、「Ｓｅｃｏｎｄ Ｌｉｆｅ」（Ｓｅｃｏｎｄ Ｌｉｆｅは米国内、その他の国々または両方における、Ｌｉｎｄｅｎ Ｒｅｓｅａｒｃｈの商標）である。Ｓｅｃｏｎｄ Ｌｉｆｅのクライアント・プログラムは、Ｓｅｃｏｎｄ Ｌｉｆｅの世界を見て、ナビゲートして、変更して、その仮想経済に関与するためのツールを、そのユーザ（住民と呼ばれる）に提供する。Ｓｅｃｏｎｄ Ｌｉｆｅおよびその他のオンラインＶＵは、構造化および非構造化両方の仮想コラボレーション、ゲーム、探検、宣伝および旅行に関して、非常に素晴らしい新たな表現手段を提示し、さらに仮想空間内での実生活のシミュレーションも提示する。
【００１２】
多数のＶＵは、グラフィカル・ユーザ・インターフェース（ＧＵＩ）も有する。ＧＵＩは、ＶＵ、またはある種の「空間」を視覚的に描くことができ、表現方法においては２Ｄの「アニメ」画像から、それよりも没入型の３Ｄ環境までと多岐にわたる。さらに、多数の仮想環境は、即時性、双方向性および持続性を提供する。即時性は、ユーザのアバタと、環境とのインタラクションがリアルタイムで行われることを可能にする。持続性により、個々のユーザがログインしているかどうかに関係なく継続的な環境が提供される。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
環境との双方向性は、ユーザが限られた程度まで、改造、開発、形成、またはカスタマイズされたコンテンツの提出をできるようにする。上記のように、アバタが保有できる物体の種類、およびアバタが行うことができる動作は限られている。このような物体、動作、身振りをカスタマイズする能力も完全ではない。さらに、ＶＵ内での利用可能な物体、動作、身振りのグラフィック・レンダリングも限定されている。
【課題を解決するための手段】
【００１４】
上記で特定された問題は主に、参加者が実世界の物体および動作を反映する画素データを取得し、この画素データを仮想世界（ＶＵ）内で使用可能なフォーマットに変換できるようにする、本願明細書において開示されるシステム、機構、方法および媒体によって対処される。したがって、実世界／現実の物体および動作を表現する画像データを取得し、仮想世界対応のデータに変換し、動作および物体を仮想領域またはアバタと関連付けることができるＶＵサーバへ送信するとよい。ＶＵサーバは、物体および動作を再現することができ、そのような物体および動作をＶＵ内で表示することができる。これによって、参加者は、ＶＵ内での行動および物体をカスタマイズし、ＶＵ内の彼らのアバタに独自の「個性」をもたらすことができるようになる。
【００１５】
一部の実施形態では、物体、動作、および物体とのインタラクションを、マルチタッチ対話型システムによって認識でき、これらのアイテムおよびインタラクションを、壁もしくは床にあるべき物体、アバタが携行できるもの、またはアバタができることなどのカテゴリに分類することができる。アイテムおよびインタラクションをＶＵサービス・プロバイダがシミュレートできるように、これらのアイテムおよび行動を仮想世界エンジン対応のフォーマットに変換することができる。その結果、参加者は、シミュレートされたアイテムおよび動作を備えたＶＵを入手することができる。マルチタッチ対話型システムは、非常に多数の接触または身振りなどの動きを同時に認識でき、物体およびインタラクションのデジタル画像を得ることができる。
【００１６】
一部の実施形態では、参加者を発見し、参加者からの入力を受信するようマルチタッチ対話型システムを構成し、物体もしくは動作または両方を読み取り、物体またはインタラクションあるいはその両方を表す画像データを取得し、画像データをＶＵ対応データに変換する方法が開示される。この方法は、グラフィック・データをＶＵサーバへ送信することをさらに含むとよい。一部の実施形態では、この方法は、ＶＵ対応データをアバタに関連付けることができるように、ＶＵ対応データに識別子を指定することを含むとよい。
【００１７】
一部の実施形態では、表情など参加者の身振りが、ＶＵ内のアバタの身振りとしてシミュレートされる。その他の実施形態では、物体に関して取得されたデータが、参加者に関連するアバタの所有物としてシミュレートされる。入力、または入力にどう対処すべきかをシステムが認識できなければ、システムは参加者に問い合わせをし、物体またはインタラクションが何であるか、および物体またはインタラクションあるいはその両方がＶＵ内のどこに配置されるべきかについて参加者の入力を取得することができる。次に、物体またはインタラクションあるいはその両方を、ＶＵ内に配置するか、またはＶＵ内でシミュレートすることができる。一部の実施形態では、ＶＵ内にすでに存在するかまたはＶＵ内ですでに利用可能である物体または動作を改造またはカスタマイズするために、物体に関係するデータを利用することができる。さらにシステムは、識別済みの参加者からの入力を受け取るよう、マルチタッチ対話型システム上にスペースを割り当てることができる。システムはさらに、取得された物体またはインタラクションあるいはその両方を分類するユーザ入力を受け取ることができる。
【００１８】
一部の実施形態では、物体および動作を実世界からＶＵへ移行させるシステムが開示される。システムは、物体に関するデータおよび人間の参加者により提供される動作を取得するマルチタッチ対話型システムを含むとよい。物体‐インタラクション取得モジュールは、物体またはインタラクションあるいはその両方に応答してデータを取得することができる。識別モジュールは、マルチタッチ対話型システムから入力を受け取るとよく、物体または動作あるいはその両方に関連する参加者を識別するとよい。一部の実施形態では、関連付けモジュールは、物体またはインタラクションあるいはその両方と、参加者とを関連付けることができ、転換モジュールは、取得されたデータをＶＵ対応のフォーマットに転換することができる。
【００１９】
したがって、ＶＵ内に物体を追加する方法またはＶＵ内の物体をカスタマイズする方法あるいはその両方が開示される。一部の実施形態では、参加者を識別することができ、システムは、参加者の入力用にマルチタッチ対話型システム上にスペースを割り当てることができる。参加者は次に、マルチタッチ対話型システムの領域上に割り当てられたスペースで、物体またはインタラクションあるいはその両方の入力モードを呼び出すことができる。参加者は、ＶＵ内でシミュレートされる動作またはインタラクションとして身振りをするとよく、マルチタッチ対話型システムは、当該の動作を表現するデータを取得するとよい。取得されたデータは、ＶＵサーバが使用できるデータ・フォーマットに変換されるとよい。その結果、ＶＵサーバは、「再現」またはシミュレートされた動作または物体を、ＶＵに提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下の詳細な説明を読み添付の図面を参照すると、本発明の態様が明らかとなる。図面では、同じ参照番号は類似の構成要素を示し得る。
【００２１】
以下は、添付の図面に描かれている開示の実施形態の詳細な説明である。実施形態は、開示を明確に伝えられるような詳しさとなっている。なお、どれ程詳しく示されるかによって、実施形態の予想される変形物が制限されることはない。逆に、添付の特許請求の範囲により定義される本開示の趣旨および範囲に入るすべての改良物、等価物、および代替物が対象となるものとする。
【００２２】
本願明細書では、システム、機構、方法および媒体が開示され、物体もしくはインタラクションあるいはその両方、またはそれらの任意の組み合わせを表現する画像データを取得し、ＶＵ内で使用できるデータに変換することができる。一部の実施形態では、これらのアイテム、アイテムとのインタラクション、および参加者の行動を、マルチタッチ対話型システムによって認識することができ、これらのアイテムおよびインタラクションは、どこでデータが利用可能であるかという点で、複数のカテゴリに分類することができる。
【００２３】
取得されたデータは、実世界の物体またはインタラクションあるいはその両方をＶＵサービス・プロバイダおよびＶＵクライアントがレンダリングできるように、仮想世界エンジン対応のフォーマットに変換することができる。レンダリングとは、本願明細書における定義では、物体または動作を特定することができるデータ（場合によってはメタデータ）からグラフィカル・モデルを生成するプロセスとすることができる。グラフィカル・モデルは、データ構造内に格納可能な物体または動作の記述とすることができる。データ構造は、形状、視点、テクスチャの明暗、および陰影付けの情報を含み得る。画像は、デジタル画像またはラスタ・グラフィックス画像であると考えてよい。
【００２４】
レンダリングはさらに、動画出力を生成するために、動画ファイル・データから効果を計算するプロセスを含み得る。メタデータは、グラフィカル・モデルの作成に利用可能なデータなどのリソースを識別、記述、および発見するために利用可能なデータを含み得る。例えば、サブジェクト・ゲートウェイは、一般に著者、題名、ＵＲＬ（ウェブ・アドレス）および簡単な説明を含む、個々のウェブ・サイトについての情報（メタデータ）を提供する。図書目録は、図書館内の本およびその他資料についてのメタデータを含む。その結果、参加者はＶＵ内で、再現またはシミュレートされたアイテムおよび動作を見て、それらと対話することができる。マルチタッチ対話型システムは、接触、身振りなどの非常に多数の動きまたはインタラクションを同時に認識することができ、物体のデジタル画像を得ることができる。
【００２５】
図１を参照すると、データ変換を伴う実世界データ取得システム１００が開示されている。実世界データ取得システム１００は、送信機および受信機を備えたＴＸ／ＲＸ対話型サーフェス１１６と、物体‐インタラクション取得モジュール１１２と、識別モジュール１０２と、関連付けモジュール１０８と、位置／配置モジュール１１０と、ＧＵＩ／ユーザ・インターフェース１０８と、データ変換モジュール１１４とを含むとよい。ＴＸ／ＲＸ対話型サーフェス１１６は、ピクチャ形式のデータおよび動画データを含む画像データを取得することができる。画像データは、単一のピクチャまたはフレームに相当しても、または、連続して組み合わせると動画を作成することができる一連のフレームを含んでもよい。したがって、本願明細書で利用される画像データは、ピクチャおよび動画の両方を指す。このようなデータは、ＶＵ内でレンダリング可能な画素データであるとよい。
【００２６】
ＴＸ／ＲＸ対話型サーフェス１１６は、物体または人間たちのインタラクションから画像データを取得することができ、ＶＵ内に物体またはインタラクションあるいはその両方をレンダリングするために、この画像データを、座標データ、またはＶＵサーバ１０６が使用可能なフォーマットのデータに変換することができる。ＴＸ／ＲＸ対話型サーフェス１１６は、変換されたデータを、ネットワーク１０３を介してＶＵサーバ１０６へ送信することができ、ＶＵサーバ１０６は、入手したデータをＶＵまたはＶＵフィードに組み込むことができる。ＶＵ座標データは、ＶＵユーザに表示されるようＶＵクライアント１０４へ送信されるとよい。ＶＵクライアント１０４はパーソナル・コンピュータにあるとよく、ＶＵクライアント１０４は、ＶＵを処理してユーザに対して表示することができる。ＶＵクライアント１０４およびＶＵサーバ１０６は、ＴＸ／ＲＸ対話型サーフェス１１６から遠く離れたところに位置することができる。
【００２７】
ＶＵクライアント１０４およびＶＵサーバ１０６と共に使用するのに適していると思われる周知のコンピュータ・システム、環境または構成、あるいはそれらすべての例には、次に限定されるものではないが、パーソナル・コンピュータ、サーバ・コンピュータ、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ型デバイス、マルチプロセッサ・システム、マイクロプロセッサを用いるシステム、セットトップ・ボックス、プログラム可能家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレーム・コンピュータ、上記のシステムまたはデバイスのうちいずれかを含む分散コンピューティング環境などがあると考えられる。
【００２８】
例示的なコンピュータは、プログラム・モジュールなど、コンピュータにより実行されるコンピュータ実行可能命令という一般的な文脈のなかで説明できる。一般に、プログラム・モジュールは、特定のタスクを行うかまたは特定の抽象データ型を実装する、ルーチン、プログラム、物体、コンポーネント、論理、データ構造などを含む。例示的なコンピュータは、通信ネットワークを介して関連付けられている遠隔処理デバイスによってタスクが行われる分散コンピューティング環境において実行されてもよい。分散コンピューティング環境ではプログラム・モジュールは、メモリ・ストレージ・デバイスを含む、ローカルおよびリモート両方のコンピュータ・ストレージ媒体にあればよい。
【００２９】
一実施形態では、ＴＸ／ＲＸ対話型サーフェス１１６は、ＴＸ／ＲＸ対話型サーフェス１１６上に置かれ、明確もしくは識別可能な外形、または識別可能な特性を備えるデバイスなどの物体を検出し、物体が属するクラスを用いてデータにタグ付けすることができる。このような検出プロセスは、画素データに対してデジタル信号処理を使用し、境界検出およびその他の認識法を実行し得る。このような検出プロセスはさらに、サーフェスに接近しているデバイスからの無線送信を傍受し、送信信号に基づきデバイスを識別するかまたはデバイスを分類することを含み得る。一部の実施形態では、物体は、無線カメラ技術、無線識別（ＲＦＩＤ）技術またはブルートゥース技術を有することがあり、物体‐インタラクション取得モジュール１１２は、当該の無線デバイスから容易に物体画像データを取得できるようにする送受信機を有する。一部の実施形態では、ＴＸ／ＲＸ対話型サーフェス１１６は、電波または光学を使用して物体を３次元で読み取ることができ、場合によってはより正確に認識することができる。
【００３０】
物体‐インタラクション取得モジュール１１２はさらに、手を振っている状態、親指を立てる合図、または「私たちが一番」という手振りなど、人間の動作を識別することができる。さらに、物体‐インタラクション取得モジュール１１２は、参加者がＴＸ／ＲＸ対話型サーフェス１１６に顔を置きその中を見ているときに、不機嫌な顔、笑顔またはあくびを認識し得る。物体または物体とのインタラクション、あるいはその両方が識別されると、データ変換モジュール１１４は、実世界のアイテムおよび行動を表現するデータを、ＶＵサーバ１０６にあるＶＵアプリケーションが使用できるデータに変えることができる。したがって、実世界で観察されるアイテムおよび行動を、ＶＵ内で何らかの形で再現することができる。
【００３１】
一部の実施形態において、ＶＵサーバ１０６は、形状データまたは座標データを、ＶＵクライアント１０４へ送信する。言い換えれば、ＶＵサーバ１０６は、形状およびテクスチャとして変換およびレンダリング可能なデータを、ＶＵクライアント１０４へ送信することができる。これは、画素データまたは動画データをストリーミングするのとは異なる。したがって、画素データまたは画像データが、ＶＵサーバ１０６へ送信する前に、データ変換モジュール１１５によって座標データに変換されるとよい。
【００３２】
実世界データ取得システム１００は、複数のユーザが同時に物体または動作あるいはその両方を入力できるようにするとよい。例えば、物体が飲み物であり、動作が飲み物を飲むことであってもよく、または物体が移動電話であり、動作が移動電話に出て話すことであってもよい。さらに、缶入りのソーダを飲んだ後にげっぷをするかまたは微笑むなど、身振りが物体と一体となっていてもよい。
【００３３】
識別モジュールは、参加者と、物体、動作または身振りあるいはそれらすべてとを関連付けることができる。一部の実施形態では、物体またはインタラクションあるいはその両方に識別子が指定され、ＶＵサーバが物体またはインタラクションあるいはその両方をどこに配置するべきか分かるように、識別子がデータと共にＶＵサーバ１０６へ送信されるとよい。仮想世界において実世界の物体を「再現する」能力により、ＶＵのユーザが対話をするＶＵを独自のものにできるようになる。
【００３４】
さらに、ＶＵ内のこのような「新たな」物体は、ＶＵ内のアバタ間で独自のインタラクションができるようにする。当然のことながら、類似の物体、動作または身振りのシミュレーションが提供されればよいため、物体または動作を正確に複製する必要は無い。例えば、物体はカップであることもあり、システムによって飲料容器として分類され得る。一部の実施形態では、システムは、飲料容器としてタグ付けされた画像データと、ユーザ・データとをライブラリから見つけて読み出し、当該の物体をＶＵ内の参加者が望む場所に提供し得る。
【００３５】
図２を参照すると、マルチタッチ対話型サーフェス・システム２００の対話型サーフェスの周りに座っている参加者２１０を伴う、マルチタッチ対話型サーフェス・システム２００の上面図が示されている。マルチタッチ対話型サーフェス・システム２００は、数例を挙げると、プロジェクタ２０２、画素生成器２０３、赤外線センサ２０４、マイクロホン２０５、カード読み取り装置２０６、送受信機２０７、およびバイオメトリック・センサ２０８など、多数の特性取得モジュールを含むことができる（本願明細書では、物体／動作取得モジュール（２０２〜２０８）と呼ばれる）。物体／動作取得モジュール２０２〜２０８は、サーフェス・コンピューティング・モジュール２２５と、ＲＷ‐ＶＵ（ｒｅａｌ ｗｏｒｌｄ ｔｏ ｖｉｒｔｕａｌ ｗｏｒｌｄ：実世界から仮想世界）データ転換モジュール２２４とに接続されるとよい。参加者２１０は物体または動作あるいはその両方を提供でき、マルチタッチ対話型サーフェス・システム２００は、これらの物体または動作あるいはその両方を表すデータを収集することができる。
【００３６】
一部の実施形態では、マルチタッチ対話型サーフェス・システム２００が参加者２１０の詳細を認識する必要はなく、ラップトップ型コンピュータ２１２、物体２１３、携帯情報端末２１４、移動電話２１６、カメラ２１７または本願明細書で物体と呼ばれる任意の物体（２１２〜２１７）など、参加者２１０に関連する物体、存在物、または物のみに関与すればよい。物体または動作あるいはその両方を参加者２１０に関連させるために、参加者の位置と、物体／動作との間の近接性を利用することができる。物体の外形を読み取り、取得された外形と、外形のライブラリとを比較することによって物体を認識することができる。その他の実施形態では、物体はアイテムのバーコードを読み取ることで認識されてもよい。
【００３７】
したがって、物体／動作取得モジュール２０２〜２０８は、一部のモードでは、物体２１２〜２１７から送信信号を受信するか、またはそれに問い合わせさえもして、ピクチャ、動画、音声、電子送信信号などによって物体から、または物体についてのデータを取得し、そのようなデータを、物体が何であるのかを判断するために使用することができる。マルチタッチ対話型サーフェス・システム２００は、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能な製品である「Ｓｕｒｆａｃｅ Ｔａｂｌｅ」という形をとることができる。上記のテーブルは、グラフィック画像を表示して、複数の参加者２１０間および複数の参加者デバイス間で情報をやり取りする能力を有し得る。Ｓｕｒｆａｃｅ Ｔａｂｌｅは、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎの商標である。当然のことながら、マルチタッチ対話型システムは水平なテーブル面状である必要はない。この説明において記載される原理は、水平方向以外の方向で取り付けられた、複数の表示面、または異なる形および湾曲を有する表示面も適切に含み、それらに適用することができる。
【００３８】
一部の実施形態では、サーフェスにピクチャが配置されることも考えられ、または、参加者２１０がサーフェスに描画して、次に参加者２１０が、そのようなプロセスで取得されたデータがＶＵ内でどのように利用されるかを、テーブル上のＧＵＩによって命令することもできるであろう。別の例では、参加者によって、手、腕または顔による、特定または独自の一連の身振りが提供され得る。このような実施形態では、物体‐インタラクション・モジュールが、参加者によるこのような動きを検出することができるであろう。物体‐インタラクション・モジュールは、タッチ・センサ、運動センサ、超音波センサ、Ｘ線センサ、磁気共鳴像センサ、音声センサ、熱センサまたは赤外線センサ、ビデオ・デバイス、およびバイオメトリック・センサなどのうちの、１つのセンサまたは複数のセンサの組み合せとすることができるであろう。
【００３９】
センサ・データは、どの物体または動作が参加者により提供され、取得されたかを判断するために処理され得る。かかる処理には、境界検出、形状検出、またはその他既知の認識技術が含まれ得る。セルラ電話などのアクティブな物体に関しては、デジタル送信信号の受信を物体の識別に利用することができ、その他の実施形態では、バーコードなどの光学識別情報が物体から読み取られることも考えられる。さらに別の実施形態では、アイテムの形、およびバーコードなどの識別タグが、マルチタッチ対話型システムによって読み取られてもよい。
【００４０】
一部の実施形態では、マルチタッチに近接している参加者が、マルチタッチ対話型システムによって識別されるとよい。マルチタッチ対話型システムは、識別された複数の参加者の相対的な位置を判断することもできる。この相対的位置に基づき、マルチタッチ対話型システムは、参加者の動作を検出すること、または物体と参加者とを関連付けることができる。このような身振りは、上述のように、参加者が指でサーフェス・テーブル（ｓｕｒｆａｃｅ ｔａｂｌｅ）上に描画することまたはスケッチすることを含み得る。
【００４１】
データ入力プロセスは、マルチタッチ対話型システムにより提供されるグラフィカル・ユーザ・インターフェース上のメニュー選択方式とすることができるであろう。例えば、参加者が実世界から仮想世界への変換を要求し、それに応答してサーフェス・テーブルが、テーブルにおいて参加者の相対位置を取得してもよい。次に、ＧＵＩが、物体入力、身振り入力、動作入力または物体‐動作形式入力などの入力形式について、ユーザに入力を促し得る。他の例では、マルチタッチ対話型システムは、参加者により提供されるスケッチを受け取るよう設定されていてもよい。ＧＵＩは、写真を読み取るよう、または３次元で物体を読み取るよう、システムを設定してもよい。別の構成では、サーフェスがインタラクション／身振りのデジタル解釈（ｄｉｇｉｔａｌ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ）を得られるよう、サーフェスに近接した表情、腕、指または手の動きなどの身振りを認識するべく、ＧＵＩが利用され得る。動作は、手を振ること、トントンと軽く叩くこと、親指を立てる合図、およびＯＫの手振りなどを含むことができるであろう。表情には、笑顔、不機嫌な顔、驚き、恐怖などが含まれ得る。
【００４２】
一部の実施形態では、参加者は、アイテムの読み取りまたは認識をするよう、ＧＵＩを介してマルチタッチ対話型システムを設定することができる。サーフェスは、アイテムと参加者とを関連付け、アイテムと参加者のアバタとを関連付けることができる。したがって、該当すれば、マルチタッチ対話型システムによって検出された動作および物体を、識別済みの参加者および参加者のアバタと関連付けることができる。一部の実施形態では、サーフェスが、サーフェスに近接したカメラ（場合により無線カメラ）と通信し、参加者が、カメラからダウンロードされる写真を選択し、さらに参加者が、写真に現れる物体を選択することができるであろう。このような選択は、写真をサーフェスに表示し、次にユーザが写真の中の物体の上に指を置いて写真の中の物体を選択できるようにすることによって行われ得る。物体認識モジュールは、境界検出および色検出、ならびにその他のデジタル処理技術を使用して、アイテム／物体を識別すること、または少なくともどのアイテムのクラスに物体を関連付けてよいかを判断することができるであろう。
【００４３】
サーフェスによって取得されたデータは、ＲＷ−ＶＷ転換モジュール２２４によって、ＶＵサーバ入力フォーマット対応のデータ・フォーマットに転換することができる。上記のフォーマットは、座標形式のデータを含むこともある。次に、ＶＵサーバは、取得した動作または物体あるいはその両方を、パーソナル・コンピュータ上のＶＵクライアントによってユーザに対して表示されるＶＵ内でシミュレートするか、またはそれに組み込むとよい。言い換えれば、選択された物体、参加者の物体とのインタラクション、および参加者が示した行動または身振りを、ＶＵ内で複製することができる。取得された物体／行動は、参加者が構成可能な設定に基づき、ＶＵ内の特定の仮想領域またはアバタに関連付けることができる。
【００４４】
サーフェス・テーブルは、常に多数の入力を受け取ることができるため、取得した物体または動作と、参加者とを関連付けることができる。さらに一部の実施形態では、どの物体または体の部分が参加者にコントロールされているかを判断することができる。一実施形態では、参加者に割り当てられている位置に近接したサーフェス上に置かれた物体は、「参加者にコントロールされている」と見なしてよい。次にこの物体は参加者のアバタとの関連で、仮想環境内でできる限り近く「複製される」とよい。物体が、一般に人が携行する物体であれば、システムは参加者がそのアバタにその物体を携行させたいものと見なすことができる。
【００４５】
一部の実施形態では、ＶＵを、サーフェス上で参加者に対して表示することができる。サーフェスはさらに、ユーザが物体を選択し、物体を操作し、物体を所望の位置に配置できるようにするＧＵＩのサブウィンドウを有し得る。例えば、参加者がレストランの背景のＶＵを選択することまたは提供されること、あるいはその両方があり得る。ＧＵＩを介して、参加者は、仮想人物／アバタをテーブルで作成すること、または物体またはインタラクションあるいはその両方をＶＵに入れて自分の既存のキャラクタを読み込むことができる。
【００４６】
一部の実施形態では、ＧＵＩは物体または物体の分類メニューを提供することができ、参加者が物体を選択してＶＵ内の位置を指し示し、物体がＶＵ内に配置されることが可能である。同じく参加者は、追加された物体が、アバタの所有物としてアバタと共に移動するのか、またはＶＵ内の壁またはテーブルに配置されるのかを命令することもできるであろう。
【００４７】
その他の実施形態では、参加者は、ＧＵＩを介して物体の種類を選択し、続いて、サーフェス上に写真または実際のアイテムを置くことができるであろう。そこで、サーフェスは物体を表現するデジタル画像を取得し、この入力に基づいて、システムが物体のデジタル画像をカテゴリに分類することができるであろう。物体がどのカテゴリに該当するかという認識は、システムが物体をＶＵ内に配置するために利用され得る。システムはさらに、新たな物体がＶＵ内に「属する」かのように見えるようにするために、さらなる画像処理を実行し得る。画像処理の一形式として、物体をＶＵに対して適切な大きさに拡大縮小することが考えられる。一実施形態では、ユーザが、ＶＵ内に挿入される物体の大きさを選択し得る。この機能は、物体がＶＵ内に挿入された後に提供されるとよく、ユーザは、物体が所望の大きさでないかどうかを確かめることができる。
【００４８】
したがって、ユーザは、マルチタッチ対話型システム上に物体を置き、マルチタッチ対話型システム上に表示されるＧＵＩによって物体が何であるかについて入力を促されることが考えられる。物体の読み取りと、物体の種類とに基づき、システムは、ＶＵ内で物体がどこに配置されるべきかを自動的に判断することができ、物体をＶＵ内でシミュレートすることができるであろう。その他の実施形態では、アイテムが何であるのかの識別は、認識モジュールによって行われ得る。
【００４９】
一実施形態では、開示される機構が、部屋の中で行われる行動を観察するために利用され得る。さらに、行動は、後で見るためにＶＵフォーマットで記録され得る。例えば、ユーザは、レストランのテーブルを兼ねるマルチタッチ対話型システムの前に座っている間に飲み物を注文し得る。ウェートレスが飲み物をサーフェス上に置くと、マルチタッチ対話型システムは、飲み物およびその配置をＶＵでシミュレートできるように、飲み物の配置を記録し、飲み物の画像データを処理し、データをＶＵ対応データに変換することができる。このようなデータには、参加者に対して指定されているアバタの固有汎用識別子が含まれ得る。一部の実施形態では、参加者は、注文してアバタの手に届けられた飲み物をアバタが手に持つよう命令すること、またはその飲み物がテーブル上に置かれるよう命令することができるであろう。
【００５０】
別の例では、実生活の中では、ユーザは移動電話をマルチタッチ対話型システム上に置き、ＶＵの中では電話が参加者の手に配置されることもあり得る。したがって、参加者のアバタに、自動的に「縮小版」の電話が備えることができる。実世界から仮想世界への変換に従い、参加者と電話との間のインタラクションが、ＶＵ内で反映／シミュレートされることが可能である。例えば、電話がテーブルの上にあり電話の着信が受信されると、参加者は電話に出てよく、対応するデータがＶＵサーバに送信されることが可能である。電話の着信に出るために参加者がテーブルから離れる間、ＶＵ内ではアバタが、場合によっては電話で話をしていて、ビジーまたは休止中であると示されることが考えられる。マルチタッチ対話型システムに近接した多数のインタラクションを、仮想環境内でシミュレートすることができ、これらのインタラクションがどのように現れるか（何がどのようにＶＵ内に配置されるか）は、参加者がコントロールできるということが分かる。
【００５１】
別の例では、参加者はデジタル・オーディオ・プレーヤーで曲を流すことができる。ユーザがテーブルの前に座っている友人たちのために曲を流したいとき、ユーザは、デジタル・オーディオ・プレーヤーをマルチタッチ対話型システムの上に置き、曲を流すことができる。曲が流れるのに応答して、アバタはＶＵ内で、実世界で流されているか、または流されたのと同じ曲を収集し、聴くことができるであろう。この、複数のアバタの集合は、ユーザ選択可能な設定に基づき行われることができるであろう。この例では、他のユーザが選択可能な設定／好みに、音楽を聴いているときに曲のテンポおよび拍子に合わせてアバタにダンスをさせることが含まれることもあり得る。
【００５２】
別の実施形態では、参加者は、マルチタッチ対話型システム上に表示されるＧＵＩを介して、マルチタッチ対話型システムが、参加者によってそこに「描かれる」ものを受け取り、格納するよう、サーフェスを構成することができる。参加者は、サーフェス上に表示されるＧＵＩとのインタラクションによって、参加者が人差し指で描く物体の描出を受け取るよう、マルチタッチ対話型システムを構成することができる。一例では、ユーザが何かをＶＵ内に配置したい場合がある。ＧＵＩを介して、ユーザはサーフェス上に花を描いてもよく、その花を配置したい場所のサーフェスを指でたたいてもよい。
【００５３】
ユーザが大好きな花を描出するとき、参加者が何を描いているのか、およびどこにそれを配置するべきかについてシステムに伝えない限り、サーフェスおよび仮想世界が、物体が何であるのかおよび物体をどこに配置するべきかについて認識していなくてもよく、必ずしも認識しているわけではない。「未知の／関連付けできない」物体に関する画像データが取得されたときは、システムは多数の異なる方法を採用することができる。
【００５４】
一部の実施形態では、未知の／関連付けできない物体は、次に、適切に大きさを決定され、ＶＵ内の参加者のアバタの所有物であると見なされてよい。その他の実施形態では、参加者が、マルチタッチ対話型システムを介して、未知の／関連付けできない物体がどのように処理／取り扱いされるべきかについてコマンドを入力してもよいであろう。例えば、参加者またはシステムが花を額に入れ、この芸術作品を壁に配置し、他のアバタたちに対して展示することがあり得る。開示される機構は、ＶＵおよびＶＵとのインタラクションを参加者の要望に従いカスタマイズできるように、カスタマイズされたアイテム、物体またはインタラクションあるいはそれらすべてを参加者がＶＵ内に入力できるようにするということが分かる。
【００５５】
一部の実施形態では、データは、ネットワーク・ベースのゲームに対応するよう変換可能である。例えば、キャラクタは、任天堂株式会社製の「Ｗｉｉ」ビデオ・ゲーム製品において使用されるものなど、「Ｍｉｉ」キャラクタとすることができる。Ｍｉｉは、一般に、Ｗｉｉ、Ｍｉｉチャネルに関して任天堂により作成されるアバタである。ユーザがＭｉｉを作成すると、Ｗｉｉ ＳｐｏｒｔｓおよびＷｉｉ Ｐｌａｙなどの、特定のＭｉｉ向けのゲームにおいて、参加キャラクタとしてＭｉｉを使用できる。Ｍｉｉはカスタマイズ可能であり、ユーザが、自身または他者の似顔絵または戯画を取り込むこと、または個性を取り込むことができるようにする。
【００５６】
開示される機構は、実世界の物体の表現をＶＵ内に配置する方法を作り出すことで、ユーザとＶＵとの間のインタラクションをいろいろな意味で強化する。ＶＵ内のアバタおよび物体をユーザがカスタマイズできるようにすることで、参加者が独自の登場人物を作成できるようになり、ユーザはこのカスタマイズおよびシミュレートされた登場人物によって、ロール・プレイングを調整することができるようになる。開示される機構はさらに、物体が「自動的に」作成されＶＵ内に保存されることも可能にする。開示される実施形態は、アバタに関連付けることができる資産（金銭、美術品など）を自動で楽に作成できるようにし、アバタは、独特でより人間に近い登場人物となることができる。これによって、人間に独特の存在感を与える実生活の物体をＶＵに移動させることができ、これらの物体を、ＶＵ内での他の動作を命令するために利用できるということが分かる。
【００５７】
図３を参照すると、実世界の物体／イベントを仮想世界の物体／イベントに変換する流れ図３００が示されている。ブロック３０２で示されているように、入力を受信するようにマルチタッチ対話型システムを構成するとよい。ブロック３０４で示されているように、マルチタッチ対話型システムは、物体の配置、手もしくは腕の身振り、または、物体もしくは身振りに関連する動作もしくは行動、あるいはそれらすべてなどの入力を、参加者の物体もしくはインタラクションを観察することによって受信することができ、そのような物体またはインタラクションあるいはその両方を表現するデータの作成、発見または読み出しあるいはそのすべてを行うことができる。このような取得は、複数の参加者が同時にそのような物体またはインタラクション、あるいはその両方を提供する、自動プロセスとすることができる。各物体またはインタラクションあるいはその両方を、ＶＵ内で何らかの形で再現できるように、システムはデータを取得することができる。例えば、取得されたデータを、ＶＵサービスに提供されるデータを発見し読み出すために利用することができる。決定ブロック３０６によって示されているように、システムは、物体またはインタラクションあるいはその両方を認識したかどうかを自動的に判断することができる。システムが物体またはインタラクションあるいはその両方を認識していなければ、参加者は、物体または動作あるいはその両方が何であるのかについて問い合わせられるとよい。
【００５８】
決定ブロック３１０で示されているように、ＶＵ内で、自動配置システムによって適切な位置にシステムが物体を配置できるよう、物体またはインタラクションあるいはその両方が識別可能かどうかを、システムが自動的に判断することができる。自動配置が判断できなければ、ブロック３１２に示されているように、ＶＵ内のどこに物体またはインタラクションあるいはその両方を配置するべきかについて、参加者が問い合わせられるとよい。物体または動作、および配置が判断されると、ブロック３１４で示されているように、画像データは、ＶＵサービス・プロバイダが使用できるデータに自動的に変換されるとよい。このようなデータ変換は、画素データから座標データへの変換とすることができるであろう。ブロック３１６によって示されているように、変換されたデータは、自動的にＶＵサーバへ送信されるとよい。その後プロセスは終了してよい。ユーザの関与または著しい遅れを伴わずに、可視物質を自動的に仮想世界内に配置することができるということが分かる。したがって、可視物質が収集され、（処理および通信の遅延にも関わらず）「リアルタイム」で可視物質がＶＵ内でシミュレートおよび再現されることが可能である。
【００５９】
上述のプロセスを実現したものは、何らかの形式のコンピュータ可読媒体上に格納されるか、または何らかの形式のコンピュータ可読媒体を通して伝えられるとよい。コンピュータ可読媒体は、コンピュータがアクセス可能な任意の利用可能な媒体とすることができる。制限ではなく一例として、コンピュータ可読媒体は、「コンピュータ・ストレージ媒体」および「通信媒体」を含んでもよい。「コンピュータ・ストレージ媒体」は、コンピュータ可読命令、データ構造、プログラム・モジュール、またはその他のデータなどの情報を格納する任意の方法または技術で実現された、揮発性および不揮発性、取り外し可能および固定の媒体を含む。コンピュータ・ストレージ媒体は、次に限定されるものではないが、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ‐ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ、フラッシュ・メモリ、もしくはその他のメモリ技術、ＣＤ‐ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｋ−ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、デジタル多目的ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋｓ）もしくはその他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージもしくはその他の磁気ストレージ・デバイス、または所望の情報を格納するために使用できコンピュータによりアクセス可能なその他任意の媒体を含む。「通信媒体」は一般に、コンピュータ可読命令、データ構造、プログラム・モジュール、またはその他のデータを、搬送波またはその他の転送メカニズムなど、変調されたデータ信号内に組み入れる。通信媒体はさらに、任意の情報送達媒体を含む。
【００６０】
「変調されたデータ信号」という用語は、信号内の情報を符号化するような方式でその特性の１つ以上が設定または変更された信号を意味する。通信媒体には、限定するものではないが例を挙げると、有線ネットワークまたは直接有線接続などの有線媒体、ならびに、音響、ＲＦ、赤外線およびその他無線媒体などの無線媒体がある。上記に挙げたもののうち任意のものの組み合わせも、コンピュータ可読媒体の範囲内に含まれる。
【００６１】
ハードウェアまたはソフトウェアあるいはその両方の詳細な構成を参照すると当業者には当然のことであるが、実施形態は、他の等価なハードウェア・システムまたはソフトウェア・システムあるいはその両方を用いて実現されると有利であることもある。本願明細書で説明された開示の態様は、磁気および光学的に読み取り可能な取り外し可能コンピュータ・ディスクなど、コンピュータ可読媒体上に格納して配布されてもよく、同じく、インターネット上または無線ネットワークなどその他のネットワーク上で電子的に配布されてもよい。開示の態様に特有なデータ構造およびデータ送信（無線送信を含む）も、開示の範囲内に含まれる。
【００６２】
本願明細書で開示された各プロセスは、ソフトウェア・プログラムを用いて実現することができる。本願明細書で説明されたソフトウェア・プログラムは、パーソナル・コンピュータ、サーバなど、任意の種類のコンピュータ上で動作させられるとよい。様々な信号保持媒体に、任意のプログラムが含まれ得る。実例となる信号保持媒体は、次に限定されるものではないが、（ｉ）書き込み不可能なストレージ媒体（ＣＤ‐ＲＯＭドライブにより読み取り可能なＣＤ‐ＲＯＭディスクなどの、コンピュータ内の読み取り専用メモリ・デバイスなど）に恒久的に格納された情報、（ｉｉ）書き込み可能なストレージ媒体（ディスケット・ドライブまたはハードディスク・ドライブ内のフレキシブル・ディスクなど）に格納される可変情報、および（ｉｉｉ）無線通信を含むコンピュータまたは電話のネットワークを介してなど通信媒体によってコンピュータへ伝達される情報を含む。具体的に言うと、後者の実施形態は、インターネット、イントラネットまたはその他のネットワークからダウンロードされた情報を含む。このような信号保持媒体は、開示される機構の機能を指示するコンピュータ可読命令を送る場合、本開示の実施形態に相当する。
【００６３】
開示される実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはハードウェアおよびソフトウェアの構成要素両方を含む実施形態という形をとることができる。一部の実施形態では、本発明はソフトウェアにおいて実現され、これは、次に限定されるものではないが、ファームウェア、常駐ソフトウェア、マイクロコードなども含む。さらに、本発明は、コンピュータまたは任意の命令実行システムによって使用されるかまたはそれと関係して使用されるプログラム・コードを提供する、コンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能なコンピュータ・プログラム製品という形をとることができる。この説明の目的のために、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置またはデバイスが使用するかまたはそれと関係して使用されるプログラムを、含むこと、格納すること、伝達すること、伝播すること、または転送することができる任意の装置とすることができる。
【００６４】
媒体は、電子、磁気、光学、電磁気、赤外線もしくは半導体システム（または装置またはデバイス）、または伝播媒体とすることができる。コンピュータ可読媒体の例には、半導体または固体メモリ、磁気テープ、取り外し可能なコンピュータ・ディスケット、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、剛体磁気ディスク（ｒｉｇｉｄ ｍａｇｎｅｔｉｃ ｄｉｓｋ）および光ディスクがある。光ディスクの現在の例には、コンパクト・ディスク読み取り専用メモリ（ＣＤ‐ＲＯＭ）、コンパクト・ディスク読み出し書き込み（ＣＤ‐Ｒ／Ｗ：ｃｏｍｐａｃｔ ｄｉｓｋ‐ｒｅａｄ／ｗｒｉｔｅ）およびＤＶＤがある。プログラム・コードの格納または実行あるいはその両方に適したデータ処理システムは、システム・バスを介してメモリ素子に直接または間接的に連結された少なくとも１つのプロセッサ、論理または状態遷移機械を含み得る。メモリ素子は、プログラム・コードを実際に実行するときに用いられるローカル・メモリ、バルク・ストレージ、および、実行中にバルク・ストレージからコードを読み出さなければならない回数を減らすために少なくとも一部のプログラム・コードの一時的なストレージを提供するキャッシュ・メモリを含むことができる。
【００６５】
入出力、すなわちＩ／Ｏ（ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス（次に限定されるものではないが、キーボード、ディスプレイ、ポインティング・デバイスなどを含む）は、直接かまたは介在するＩ／Ｏ制御装置を介してシステムに連結されているとよい。データ処理システムを、介在する私設ネットワークまたは公衆ネットワークを介して、他のデータ処理システムまたはリモート・プリンタまたはストレージ・デバイスに連結できるよう、ネットワーク・アダプタもシステムに連結されていてもよい。モデム、ケーブル・モデムおよびイーサネット・カードが、現在利用可能な種類のネットワーク・アダプタのうちのほんの数例である。
【００６６】
当然のことながら、詳細な説明および図面において示され説明された本発明の形式は、単なる例と見なされるべきである。以下の特許請求の範囲は、開示された実施形態例の変形物すべてを含むよう広義に解釈されるものとする。
【図面の簡単な説明】
【００６７】
【図１】データ変換器を備えた画像データ取得システムのブロック図である。
【図２】物体および参加者を伴うマルチタッチ対話型システムの上面図である。
【図３】物体またはインタラクションあるいはその両方を表現するデータを取得し、そのようなデータを仮想世界アプリケーションが使用できるデータ・フォーマットに変換する方法の流れ図である。
【符号の説明】
【００６８】
１０２ 識別モジュール
１０３ ネットワーク
１０４ ＶＵクライアント
１０６ ＶＵサーバ
１０８ ＧＵＩ／ユーザ・インターフェース
１０８ 関連付けモジュール
１１０ 位置／配置モジュール
１１２ 物体‐インタラクション取得モジュール
１１４ データ変換モジュール
１１６ ＴＸ／ＲＸ対話型サーフェス
【技術分野】
【０００１】
本開示は、全般的に仮想世界（ＶＵ：ｖｉｒｔｕａｌ ｕｎｉｖｅｒｓｅ）に関し、特に、実世界の物体またはインタラクション（ｉｎｔｅｒａｃｔｉｏｎ）、あるいはその両方に関連するデータを取得し、かかる実世界の物体およびインタラクションを、取得されたデータに基づいて仮想世界内にレンダリングすることに関する。
【背景技術】
【０００２】
コンピュータを利用して仮想環境で活動することは、人気を集めている娯楽である。仮想環境は、ネットワーク・クライアントを使用して「オンライン」インターフェースを介し対話できる複数のユーザによってアクセス可能な対話型のシミュレート環境である。ＶＵの欠陥の１つは、環境と環境内のアイテムとを容易にカスタマイズできないことである。
【０００３】
ユーザ・インターフェースの改良によって、コンピュータは絶えず使いやすさを増している。コンピュータ・システムのユーザ・インターフェースは、パーソナル・コンピュータ（ＰＣ：ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）が最初に広く利用可能になって以来大きく発達した。初期のＰＣは、どちらかといえば基本的なユーザ入力デバイスを使用し、単一のキーボードが人間の唯一の入力メカニズムであった。マイクロプロセッサ、使用可能メモリ、およびプログラミング機能の大きな改善すべてが、ユーザ・インターフェースの設計の進歩、ならびに使いやすいグラフィック・ベースのオペレーティング・システムとハードウェアとの開発に寄与してきた。
【０００４】
ユーザ・インターフェース技術における進歩の特定領域の１つは、サーフェス・コンピューティング（ｓｕｒｆａｃｅ ｃｏｍｐｕｔｉｎｇ）技術に関する。サーフェス・コンピューティングは、任意の人数のユーザが対話型サーフェス（ｉｎｔｅｒａｃｔｉｖｅ ｓｕｒｆａｃｅ）を介してコンピュータと対話できるようにする。コンピュータは、グラフィカル・ユーザ・インターフェース（‘ＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）’）をサーフェス上にレンダリングでき、複数のユーザが、マウスまたはキーボードなどの従来の入力デバイスを使用するのではなくマルチタッチ技術を使用して、ＧＵＩに表示される「物体」を手で直接操作することもできる。このように、ユーザが入力を提供するデバイスと、出力を受け取るデバイスとが単一のサーフェスに統合され、ユーザがコンピュータと対話するための直感的かつ効率的なメカニズムが提供される。以上から分かるように、対話型サーフェスの一体化したソフトウェアおよびハードウェアの技術によって、１人または複数のユーザが、自然な動き、手振り、または物理的物体を使用してデジタル・コンテンツを操作できるようにすることが可能である。
【０００５】
効率的にタスクを行うためにユーザがサーフェス・コンピューティング・デバイスと対話する方法は、サーフェス・コンピューティングが日常環境の中に定着するにつれて、キーボードおよびマウスなどの従来の入力デバイスに比べ顕著な進歩を見せると思われる。このようなシステムは、一般にマルチタッチ対話型システムと呼ばれる。かかるシステムには、複数の接触ポイントを同時に認識し、このような同時に起きた接触を解釈するソフトウェアを一般的に有する、タッチ・スクリーンまたはタッチ・タブレット（タッチパッド）が含まれ得る。このようなシステムは、ブルートゥース対応のデバイス、無線識別（ＲＦＩＤ：ｒａｄｉｏ ｆｒｅｑｕｅｎｃｙ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術を備えたデバイス、および無線カメラなどの無線デバイスと通信することもある。
【０００６】
マルチタッチ対話型システムによるデバイスの検出に利用され得る検出技術はいくつかある。マルチタッチ・サーフェスに接触または近接している物体を認識するために、光学に基づく近接検出技術および赤外線に基づく近接検出技術が開発された。さらに、バーコード読取り装置などの物体認識センサも、マルチタッチ・サーフェスと連携するようになっている。
【０００７】
仮想世界に関しては、ユーザは、アバタを通して仮想環境内に居住し、その中で対話をすることができる。アバタは、２次元または３次元の、人間または非人間の形をしたグラフィック表現とすることができる。言い換えれば、アバタは、同じ仮想環境にいるときに他者から見るようにユーザが選択するグラフィック表現とすることができる。アバタは、例えば人間のキャラクタ、動物のキャラクタ、アイコン、抽象的人物などのグラフィック表現など、様々なグラフィック表現を呈することができる。
【０００８】
仮想環境には異なる多数の名前がある。例えば、本願明細書では仮想世界（ＶＵ）と呼ばれる仮想環境は、「メタバース」、「３Ｄインターネット」、「仮想世界」などと呼ばれることがある。多数の種類の異なる仮想環境があるが、多くのＶＵに共通する特徴がいくつかある。例えば、多くのＶＵには、多数のアバタが共に活動に参加するときに滞在する共有空間がある。これが「世界」である。ＶＵのアバタは、３Ｄのグラフィックスおよび風景の中で、行き来すること、居住すること、および他のアバタと対話することができる。したがって、ＶＵには何千人もの住民またはアバタが住むことができる。ＶＵは、物理学もしくは物理法則、家屋および風景などの点から見て、実世界の様相に似ていることが多い。
【０００９】
エージェントはユーザのアカウントとすることができ、これに基づいてユーザはアバタをつくることができる。これは、ユーザが所有する資産の一覧表に関係している。範囲は、ＶＵ内の土地の仮想領域とすることができ、通常は単一のサーバに存在する。資産、アバタ、環境および目に見えるものは何でも、データの中でも特に形状データ（ｇｅｏｍｅｔｒｉｃ ｄａｔａ）に関連付けられたＵＵＩＤ（ｕｎｉｑｕｅ ｕｎｉｖｅｒｓａｌ ｉｄｅｎｔｉｆｉｅｒ：固有汎用識別子）を有することがある。形状データは、テキスト座標（ｔｅｘｔｕａｌ ｃｏｏｒｄｉｎａｔｅ）として配布することができる。テクスチャはグラフィック・ファイルとしてユーザに配布でき、グラフィック・ファイルは、指定されたテキスト座標の範囲内に置かれる。効果データは、ユーザの好みおよびユーザのデバイスの性能に従い、ユーザのクライアントによるレンダリングが可能である。最後に、社交またはコミュニティあるいはその両方の機能によって、チーム、ギルド、クラブ、派閥、同居人、一地域の住民などの社会集団の形成が可能になり、促進される。
【００１０】
住民は、登場人物、またはＶＵユーザを表現したものとすることができ、住民は、徒歩、車、飛行によって、または、念力移動もしくは交通機関によってでさえも、仮想範囲の周り中を動き回ることができる。念力移動または交通機関は、本質的に、事実上瞬時にＶＵ内のある地点から別の地点へ空間中を移動するものである。ＶＵは、実生活では現在存在しないものも含むことができる。アバタは、ＶＵと対話しながら、広範な事業および社会を経験することができる。このような事業および社会の経験は、オンラインＶＵにおいてますます普及してきており、重要性を増している。
【００１１】
ワールド・ワイド・ウェブによってＶＵを提供する異なるサービスが多数ある。例えば、Ｓｅｃｏｎｄ Ｌｉｆｅ、Ｅｎｔｒｏｐｉａ Ｕｎｉｖｅｒｓｅ、Ｔｈｅ Ｓｉｍｓ Ｏｎｌｉｎｅ、Ｔｈｅｒｅ、およびＲｅｄ Ｌｉｇｈｔ Ｃｅｎｔｅｒはすべてある種のＶＵを提供し、これらのサービス・プロバイダは、当該の名称の商標権を有する。ＶＵは、ＥｖｅｒＱｕｅｓｔ、Ｕｌｔｉｍａ Ｏｎｌｉｎｅ、Ｌｉｎｅａｇｅ、またはＷｏｒｌｄ ｏｆ Ｗａｒｃｒａｆｔなどの多人数参加型オンライン・ゲームを提供することもでき、そのようなサービスのプロバイダも同じく、当該の名称の商標権を有する。上述の利用可能な人気ＶＵの１つは、「Ｓｅｃｏｎｄ Ｌｉｆｅ」（Ｓｅｃｏｎｄ Ｌｉｆｅは米国内、その他の国々または両方における、Ｌｉｎｄｅｎ Ｒｅｓｅａｒｃｈの商標）である。Ｓｅｃｏｎｄ Ｌｉｆｅのクライアント・プログラムは、Ｓｅｃｏｎｄ Ｌｉｆｅの世界を見て、ナビゲートして、変更して、その仮想経済に関与するためのツールを、そのユーザ（住民と呼ばれる）に提供する。Ｓｅｃｏｎｄ Ｌｉｆｅおよびその他のオンラインＶＵは、構造化および非構造化両方の仮想コラボレーション、ゲーム、探検、宣伝および旅行に関して、非常に素晴らしい新たな表現手段を提示し、さらに仮想空間内での実生活のシミュレーションも提示する。
【００１２】
多数のＶＵは、グラフィカル・ユーザ・インターフェース（ＧＵＩ）も有する。ＧＵＩは、ＶＵ、またはある種の「空間」を視覚的に描くことができ、表現方法においては２Ｄの「アニメ」画像から、それよりも没入型の３Ｄ環境までと多岐にわたる。さらに、多数の仮想環境は、即時性、双方向性および持続性を提供する。即時性は、ユーザのアバタと、環境とのインタラクションがリアルタイムで行われることを可能にする。持続性により、個々のユーザがログインしているかどうかに関係なく継続的な環境が提供される。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
環境との双方向性は、ユーザが限られた程度まで、改造、開発、形成、またはカスタマイズされたコンテンツの提出をできるようにする。上記のように、アバタが保有できる物体の種類、およびアバタが行うことができる動作は限られている。このような物体、動作、身振りをカスタマイズする能力も完全ではない。さらに、ＶＵ内での利用可能な物体、動作、身振りのグラフィック・レンダリングも限定されている。
【課題を解決するための手段】
【００１４】
上記で特定された問題は主に、参加者が実世界の物体および動作を反映する画素データを取得し、この画素データを仮想世界（ＶＵ）内で使用可能なフォーマットに変換できるようにする、本願明細書において開示されるシステム、機構、方法および媒体によって対処される。したがって、実世界／現実の物体および動作を表現する画像データを取得し、仮想世界対応のデータに変換し、動作および物体を仮想領域またはアバタと関連付けることができるＶＵサーバへ送信するとよい。ＶＵサーバは、物体および動作を再現することができ、そのような物体および動作をＶＵ内で表示することができる。これによって、参加者は、ＶＵ内での行動および物体をカスタマイズし、ＶＵ内の彼らのアバタに独自の「個性」をもたらすことができるようになる。
【００１５】
一部の実施形態では、物体、動作、および物体とのインタラクションを、マルチタッチ対話型システムによって認識でき、これらのアイテムおよびインタラクションを、壁もしくは床にあるべき物体、アバタが携行できるもの、またはアバタができることなどのカテゴリに分類することができる。アイテムおよびインタラクションをＶＵサービス・プロバイダがシミュレートできるように、これらのアイテムおよび行動を仮想世界エンジン対応のフォーマットに変換することができる。その結果、参加者は、シミュレートされたアイテムおよび動作を備えたＶＵを入手することができる。マルチタッチ対話型システムは、非常に多数の接触または身振りなどの動きを同時に認識でき、物体およびインタラクションのデジタル画像を得ることができる。
【００１６】
一部の実施形態では、参加者を発見し、参加者からの入力を受信するようマルチタッチ対話型システムを構成し、物体もしくは動作または両方を読み取り、物体またはインタラクションあるいはその両方を表す画像データを取得し、画像データをＶＵ対応データに変換する方法が開示される。この方法は、グラフィック・データをＶＵサーバへ送信することをさらに含むとよい。一部の実施形態では、この方法は、ＶＵ対応データをアバタに関連付けることができるように、ＶＵ対応データに識別子を指定することを含むとよい。
【００１７】
一部の実施形態では、表情など参加者の身振りが、ＶＵ内のアバタの身振りとしてシミュレートされる。その他の実施形態では、物体に関して取得されたデータが、参加者に関連するアバタの所有物としてシミュレートされる。入力、または入力にどう対処すべきかをシステムが認識できなければ、システムは参加者に問い合わせをし、物体またはインタラクションが何であるか、および物体またはインタラクションあるいはその両方がＶＵ内のどこに配置されるべきかについて参加者の入力を取得することができる。次に、物体またはインタラクションあるいはその両方を、ＶＵ内に配置するか、またはＶＵ内でシミュレートすることができる。一部の実施形態では、ＶＵ内にすでに存在するかまたはＶＵ内ですでに利用可能である物体または動作を改造またはカスタマイズするために、物体に関係するデータを利用することができる。さらにシステムは、識別済みの参加者からの入力を受け取るよう、マルチタッチ対話型システム上にスペースを割り当てることができる。システムはさらに、取得された物体またはインタラクションあるいはその両方を分類するユーザ入力を受け取ることができる。
【００１８】
一部の実施形態では、物体および動作を実世界からＶＵへ移行させるシステムが開示される。システムは、物体に関するデータおよび人間の参加者により提供される動作を取得するマルチタッチ対話型システムを含むとよい。物体‐インタラクション取得モジュールは、物体またはインタラクションあるいはその両方に応答してデータを取得することができる。識別モジュールは、マルチタッチ対話型システムから入力を受け取るとよく、物体または動作あるいはその両方に関連する参加者を識別するとよい。一部の実施形態では、関連付けモジュールは、物体またはインタラクションあるいはその両方と、参加者とを関連付けることができ、転換モジュールは、取得されたデータをＶＵ対応のフォーマットに転換することができる。
【００１９】
したがって、ＶＵ内に物体を追加する方法またはＶＵ内の物体をカスタマイズする方法あるいはその両方が開示される。一部の実施形態では、参加者を識別することができ、システムは、参加者の入力用にマルチタッチ対話型システム上にスペースを割り当てることができる。参加者は次に、マルチタッチ対話型システムの領域上に割り当てられたスペースで、物体またはインタラクションあるいはその両方の入力モードを呼び出すことができる。参加者は、ＶＵ内でシミュレートされる動作またはインタラクションとして身振りをするとよく、マルチタッチ対話型システムは、当該の動作を表現するデータを取得するとよい。取得されたデータは、ＶＵサーバが使用できるデータ・フォーマットに変換されるとよい。その結果、ＶＵサーバは、「再現」またはシミュレートされた動作または物体を、ＶＵに提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下の詳細な説明を読み添付の図面を参照すると、本発明の態様が明らかとなる。図面では、同じ参照番号は類似の構成要素を示し得る。
【００２１】
以下は、添付の図面に描かれている開示の実施形態の詳細な説明である。実施形態は、開示を明確に伝えられるような詳しさとなっている。なお、どれ程詳しく示されるかによって、実施形態の予想される変形物が制限されることはない。逆に、添付の特許請求の範囲により定義される本開示の趣旨および範囲に入るすべての改良物、等価物、および代替物が対象となるものとする。
【００２２】
本願明細書では、システム、機構、方法および媒体が開示され、物体もしくはインタラクションあるいはその両方、またはそれらの任意の組み合わせを表現する画像データを取得し、ＶＵ内で使用できるデータに変換することができる。一部の実施形態では、これらのアイテム、アイテムとのインタラクション、および参加者の行動を、マルチタッチ対話型システムによって認識することができ、これらのアイテムおよびインタラクションは、どこでデータが利用可能であるかという点で、複数のカテゴリに分類することができる。
【００２３】
取得されたデータは、実世界の物体またはインタラクションあるいはその両方をＶＵサービス・プロバイダおよびＶＵクライアントがレンダリングできるように、仮想世界エンジン対応のフォーマットに変換することができる。レンダリングとは、本願明細書における定義では、物体または動作を特定することができるデータ（場合によってはメタデータ）からグラフィカル・モデルを生成するプロセスとすることができる。グラフィカル・モデルは、データ構造内に格納可能な物体または動作の記述とすることができる。データ構造は、形状、視点、テクスチャの明暗、および陰影付けの情報を含み得る。画像は、デジタル画像またはラスタ・グラフィックス画像であると考えてよい。
【００２４】
レンダリングはさらに、動画出力を生成するために、動画ファイル・データから効果を計算するプロセスを含み得る。メタデータは、グラフィカル・モデルの作成に利用可能なデータなどのリソースを識別、記述、および発見するために利用可能なデータを含み得る。例えば、サブジェクト・ゲートウェイは、一般に著者、題名、ＵＲＬ（ウェブ・アドレス）および簡単な説明を含む、個々のウェブ・サイトについての情報（メタデータ）を提供する。図書目録は、図書館内の本およびその他資料についてのメタデータを含む。その結果、参加者はＶＵ内で、再現またはシミュレートされたアイテムおよび動作を見て、それらと対話することができる。マルチタッチ対話型システムは、接触、身振りなどの非常に多数の動きまたはインタラクションを同時に認識することができ、物体のデジタル画像を得ることができる。
【００２５】
図１を参照すると、データ変換を伴う実世界データ取得システム１００が開示されている。実世界データ取得システム１００は、送信機および受信機を備えたＴＸ／ＲＸ対話型サーフェス１１６と、物体‐インタラクション取得モジュール１１２と、識別モジュール１０２と、関連付けモジュール１０８と、位置／配置モジュール１１０と、ＧＵＩ／ユーザ・インターフェース１０８と、データ変換モジュール１１４とを含むとよい。ＴＸ／ＲＸ対話型サーフェス１１６は、ピクチャ形式のデータおよび動画データを含む画像データを取得することができる。画像データは、単一のピクチャまたはフレームに相当しても、または、連続して組み合わせると動画を作成することができる一連のフレームを含んでもよい。したがって、本願明細書で利用される画像データは、ピクチャおよび動画の両方を指す。このようなデータは、ＶＵ内でレンダリング可能な画素データであるとよい。
【００２６】
ＴＸ／ＲＸ対話型サーフェス１１６は、物体または人間たちのインタラクションから画像データを取得することができ、ＶＵ内に物体またはインタラクションあるいはその両方をレンダリングするために、この画像データを、座標データ、またはＶＵサーバ１０６が使用可能なフォーマットのデータに変換することができる。ＴＸ／ＲＸ対話型サーフェス１１６は、変換されたデータを、ネットワーク１０３を介してＶＵサーバ１０６へ送信することができ、ＶＵサーバ１０６は、入手したデータをＶＵまたはＶＵフィードに組み込むことができる。ＶＵ座標データは、ＶＵユーザに表示されるようＶＵクライアント１０４へ送信されるとよい。ＶＵクライアント１０４はパーソナル・コンピュータにあるとよく、ＶＵクライアント１０４は、ＶＵを処理してユーザに対して表示することができる。ＶＵクライアント１０４およびＶＵサーバ１０６は、ＴＸ／ＲＸ対話型サーフェス１１６から遠く離れたところに位置することができる。
【００２７】
ＶＵクライアント１０４およびＶＵサーバ１０６と共に使用するのに適していると思われる周知のコンピュータ・システム、環境または構成、あるいはそれらすべての例には、次に限定されるものではないが、パーソナル・コンピュータ、サーバ・コンピュータ、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ型デバイス、マルチプロセッサ・システム、マイクロプロセッサを用いるシステム、セットトップ・ボックス、プログラム可能家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレーム・コンピュータ、上記のシステムまたはデバイスのうちいずれかを含む分散コンピューティング環境などがあると考えられる。
【００２８】
例示的なコンピュータは、プログラム・モジュールなど、コンピュータにより実行されるコンピュータ実行可能命令という一般的な文脈のなかで説明できる。一般に、プログラム・モジュールは、特定のタスクを行うかまたは特定の抽象データ型を実装する、ルーチン、プログラム、物体、コンポーネント、論理、データ構造などを含む。例示的なコンピュータは、通信ネットワークを介して関連付けられている遠隔処理デバイスによってタスクが行われる分散コンピューティング環境において実行されてもよい。分散コンピューティング環境ではプログラム・モジュールは、メモリ・ストレージ・デバイスを含む、ローカルおよびリモート両方のコンピュータ・ストレージ媒体にあればよい。
【００２９】
一実施形態では、ＴＸ／ＲＸ対話型サーフェス１１６は、ＴＸ／ＲＸ対話型サーフェス１１６上に置かれ、明確もしくは識別可能な外形、または識別可能な特性を備えるデバイスなどの物体を検出し、物体が属するクラスを用いてデータにタグ付けすることができる。このような検出プロセスは、画素データに対してデジタル信号処理を使用し、境界検出およびその他の認識法を実行し得る。このような検出プロセスはさらに、サーフェスに接近しているデバイスからの無線送信を傍受し、送信信号に基づきデバイスを識別するかまたはデバイスを分類することを含み得る。一部の実施形態では、物体は、無線カメラ技術、無線識別（ＲＦＩＤ）技術またはブルートゥース技術を有することがあり、物体‐インタラクション取得モジュール１１２は、当該の無線デバイスから容易に物体画像データを取得できるようにする送受信機を有する。一部の実施形態では、ＴＸ／ＲＸ対話型サーフェス１１６は、電波または光学を使用して物体を３次元で読み取ることができ、場合によってはより正確に認識することができる。
【００３０】
物体‐インタラクション取得モジュール１１２はさらに、手を振っている状態、親指を立てる合図、または「私たちが一番」という手振りなど、人間の動作を識別することができる。さらに、物体‐インタラクション取得モジュール１１２は、参加者がＴＸ／ＲＸ対話型サーフェス１１６に顔を置きその中を見ているときに、不機嫌な顔、笑顔またはあくびを認識し得る。物体または物体とのインタラクション、あるいはその両方が識別されると、データ変換モジュール１１４は、実世界のアイテムおよび行動を表現するデータを、ＶＵサーバ１０６にあるＶＵアプリケーションが使用できるデータに変えることができる。したがって、実世界で観察されるアイテムおよび行動を、ＶＵ内で何らかの形で再現することができる。
【００３１】
一部の実施形態において、ＶＵサーバ１０６は、形状データまたは座標データを、ＶＵクライアント１０４へ送信する。言い換えれば、ＶＵサーバ１０６は、形状およびテクスチャとして変換およびレンダリング可能なデータを、ＶＵクライアント１０４へ送信することができる。これは、画素データまたは動画データをストリーミングするのとは異なる。したがって、画素データまたは画像データが、ＶＵサーバ１０６へ送信する前に、データ変換モジュール１１５によって座標データに変換されるとよい。
【００３２】
実世界データ取得システム１００は、複数のユーザが同時に物体または動作あるいはその両方を入力できるようにするとよい。例えば、物体が飲み物であり、動作が飲み物を飲むことであってもよく、または物体が移動電話であり、動作が移動電話に出て話すことであってもよい。さらに、缶入りのソーダを飲んだ後にげっぷをするかまたは微笑むなど、身振りが物体と一体となっていてもよい。
【００３３】
識別モジュールは、参加者と、物体、動作または身振りあるいはそれらすべてとを関連付けることができる。一部の実施形態では、物体またはインタラクションあるいはその両方に識別子が指定され、ＶＵサーバが物体またはインタラクションあるいはその両方をどこに配置するべきか分かるように、識別子がデータと共にＶＵサーバ１０６へ送信されるとよい。仮想世界において実世界の物体を「再現する」能力により、ＶＵのユーザが対話をするＶＵを独自のものにできるようになる。
【００３４】
さらに、ＶＵ内のこのような「新たな」物体は、ＶＵ内のアバタ間で独自のインタラクションができるようにする。当然のことながら、類似の物体、動作または身振りのシミュレーションが提供されればよいため、物体または動作を正確に複製する必要は無い。例えば、物体はカップであることもあり、システムによって飲料容器として分類され得る。一部の実施形態では、システムは、飲料容器としてタグ付けされた画像データと、ユーザ・データとをライブラリから見つけて読み出し、当該の物体をＶＵ内の参加者が望む場所に提供し得る。
【００３５】
図２を参照すると、マルチタッチ対話型サーフェス・システム２００の対話型サーフェスの周りに座っている参加者２１０を伴う、マルチタッチ対話型サーフェス・システム２００の上面図が示されている。マルチタッチ対話型サーフェス・システム２００は、数例を挙げると、プロジェクタ２０２、画素生成器２０３、赤外線センサ２０４、マイクロホン２０５、カード読み取り装置２０６、送受信機２０７、およびバイオメトリック・センサ２０８など、多数の特性取得モジュールを含むことができる（本願明細書では、物体／動作取得モジュール（２０２〜２０８）と呼ばれる）。物体／動作取得モジュール２０２〜２０８は、サーフェス・コンピューティング・モジュール２２５と、ＲＷ‐ＶＵ（ｒｅａｌ ｗｏｒｌｄ ｔｏ ｖｉｒｔｕａｌ ｗｏｒｌｄ：実世界から仮想世界）データ転換モジュール２２４とに接続されるとよい。参加者２１０は物体または動作あるいはその両方を提供でき、マルチタッチ対話型サーフェス・システム２００は、これらの物体または動作あるいはその両方を表すデータを収集することができる。
【００３６】
一部の実施形態では、マルチタッチ対話型サーフェス・システム２００が参加者２１０の詳細を認識する必要はなく、ラップトップ型コンピュータ２１２、物体２１３、携帯情報端末２１４、移動電話２１６、カメラ２１７または本願明細書で物体と呼ばれる任意の物体（２１２〜２１７）など、参加者２１０に関連する物体、存在物、または物のみに関与すればよい。物体または動作あるいはその両方を参加者２１０に関連させるために、参加者の位置と、物体／動作との間の近接性を利用することができる。物体の外形を読み取り、取得された外形と、外形のライブラリとを比較することによって物体を認識することができる。その他の実施形態では、物体はアイテムのバーコードを読み取ることで認識されてもよい。
【００３７】
したがって、物体／動作取得モジュール２０２〜２０８は、一部のモードでは、物体２１２〜２１７から送信信号を受信するか、またはそれに問い合わせさえもして、ピクチャ、動画、音声、電子送信信号などによって物体から、または物体についてのデータを取得し、そのようなデータを、物体が何であるのかを判断するために使用することができる。マルチタッチ対話型サーフェス・システム２００は、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎから入手可能な製品である「Ｓｕｒｆａｃｅ Ｔａｂｌｅ」という形をとることができる。上記のテーブルは、グラフィック画像を表示して、複数の参加者２１０間および複数の参加者デバイス間で情報をやり取りする能力を有し得る。Ｓｕｒｆａｃｅ Ｔａｂｌｅは、Ｍｉｃｒｏｓｏｆｔ Ｃｏｒｐｏｒａｔｉｏｎの商標である。当然のことながら、マルチタッチ対話型システムは水平なテーブル面状である必要はない。この説明において記載される原理は、水平方向以外の方向で取り付けられた、複数の表示面、または異なる形および湾曲を有する表示面も適切に含み、それらに適用することができる。
【００３８】
一部の実施形態では、サーフェスにピクチャが配置されることも考えられ、または、参加者２１０がサーフェスに描画して、次に参加者２１０が、そのようなプロセスで取得されたデータがＶＵ内でどのように利用されるかを、テーブル上のＧＵＩによって命令することもできるであろう。別の例では、参加者によって、手、腕または顔による、特定または独自の一連の身振りが提供され得る。このような実施形態では、物体‐インタラクション・モジュールが、参加者によるこのような動きを検出することができるであろう。物体‐インタラクション・モジュールは、タッチ・センサ、運動センサ、超音波センサ、Ｘ線センサ、磁気共鳴像センサ、音声センサ、熱センサまたは赤外線センサ、ビデオ・デバイス、およびバイオメトリック・センサなどのうちの、１つのセンサまたは複数のセンサの組み合せとすることができるであろう。
【００３９】
センサ・データは、どの物体または動作が参加者により提供され、取得されたかを判断するために処理され得る。かかる処理には、境界検出、形状検出、またはその他既知の認識技術が含まれ得る。セルラ電話などのアクティブな物体に関しては、デジタル送信信号の受信を物体の識別に利用することができ、その他の実施形態では、バーコードなどの光学識別情報が物体から読み取られることも考えられる。さらに別の実施形態では、アイテムの形、およびバーコードなどの識別タグが、マルチタッチ対話型システムによって読み取られてもよい。
【００４０】
一部の実施形態では、マルチタッチに近接している参加者が、マルチタッチ対話型システムによって識別されるとよい。マルチタッチ対話型システムは、識別された複数の参加者の相対的な位置を判断することもできる。この相対的位置に基づき、マルチタッチ対話型システムは、参加者の動作を検出すること、または物体と参加者とを関連付けることができる。このような身振りは、上述のように、参加者が指でサーフェス・テーブル（ｓｕｒｆａｃｅ ｔａｂｌｅ）上に描画することまたはスケッチすることを含み得る。
【００４１】
データ入力プロセスは、マルチタッチ対話型システムにより提供されるグラフィカル・ユーザ・インターフェース上のメニュー選択方式とすることができるであろう。例えば、参加者が実世界から仮想世界への変換を要求し、それに応答してサーフェス・テーブルが、テーブルにおいて参加者の相対位置を取得してもよい。次に、ＧＵＩが、物体入力、身振り入力、動作入力または物体‐動作形式入力などの入力形式について、ユーザに入力を促し得る。他の例では、マルチタッチ対話型システムは、参加者により提供されるスケッチを受け取るよう設定されていてもよい。ＧＵＩは、写真を読み取るよう、または３次元で物体を読み取るよう、システムを設定してもよい。別の構成では、サーフェスがインタラクション／身振りのデジタル解釈（ｄｉｇｉｔａｌ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ）を得られるよう、サーフェスに近接した表情、腕、指または手の動きなどの身振りを認識するべく、ＧＵＩが利用され得る。動作は、手を振ること、トントンと軽く叩くこと、親指を立てる合図、およびＯＫの手振りなどを含むことができるであろう。表情には、笑顔、不機嫌な顔、驚き、恐怖などが含まれ得る。
【００４２】
一部の実施形態では、参加者は、アイテムの読み取りまたは認識をするよう、ＧＵＩを介してマルチタッチ対話型システムを設定することができる。サーフェスは、アイテムと参加者とを関連付け、アイテムと参加者のアバタとを関連付けることができる。したがって、該当すれば、マルチタッチ対話型システムによって検出された動作および物体を、識別済みの参加者および参加者のアバタと関連付けることができる。一部の実施形態では、サーフェスが、サーフェスに近接したカメラ（場合により無線カメラ）と通信し、参加者が、カメラからダウンロードされる写真を選択し、さらに参加者が、写真に現れる物体を選択することができるであろう。このような選択は、写真をサーフェスに表示し、次にユーザが写真の中の物体の上に指を置いて写真の中の物体を選択できるようにすることによって行われ得る。物体認識モジュールは、境界検出および色検出、ならびにその他のデジタル処理技術を使用して、アイテム／物体を識別すること、または少なくともどのアイテムのクラスに物体を関連付けてよいかを判断することができるであろう。
【００４３】
サーフェスによって取得されたデータは、ＲＷ−ＶＷ転換モジュール２２４によって、ＶＵサーバ入力フォーマット対応のデータ・フォーマットに転換することができる。上記のフォーマットは、座標形式のデータを含むこともある。次に、ＶＵサーバは、取得した動作または物体あるいはその両方を、パーソナル・コンピュータ上のＶＵクライアントによってユーザに対して表示されるＶＵ内でシミュレートするか、またはそれに組み込むとよい。言い換えれば、選択された物体、参加者の物体とのインタラクション、および参加者が示した行動または身振りを、ＶＵ内で複製することができる。取得された物体／行動は、参加者が構成可能な設定に基づき、ＶＵ内の特定の仮想領域またはアバタに関連付けることができる。
【００４４】
サーフェス・テーブルは、常に多数の入力を受け取ることができるため、取得した物体または動作と、参加者とを関連付けることができる。さらに一部の実施形態では、どの物体または体の部分が参加者にコントロールされているかを判断することができる。一実施形態では、参加者に割り当てられている位置に近接したサーフェス上に置かれた物体は、「参加者にコントロールされている」と見なしてよい。次にこの物体は参加者のアバタとの関連で、仮想環境内でできる限り近く「複製される」とよい。物体が、一般に人が携行する物体であれば、システムは参加者がそのアバタにその物体を携行させたいものと見なすことができる。
【００４５】
一部の実施形態では、ＶＵを、サーフェス上で参加者に対して表示することができる。サーフェスはさらに、ユーザが物体を選択し、物体を操作し、物体を所望の位置に配置できるようにするＧＵＩのサブウィンドウを有し得る。例えば、参加者がレストランの背景のＶＵを選択することまたは提供されること、あるいはその両方があり得る。ＧＵＩを介して、参加者は、仮想人物／アバタをテーブルで作成すること、または物体またはインタラクションあるいはその両方をＶＵに入れて自分の既存のキャラクタを読み込むことができる。
【００４６】
一部の実施形態では、ＧＵＩは物体または物体の分類メニューを提供することができ、参加者が物体を選択してＶＵ内の位置を指し示し、物体がＶＵ内に配置されることが可能である。同じく参加者は、追加された物体が、アバタの所有物としてアバタと共に移動するのか、またはＶＵ内の壁またはテーブルに配置されるのかを命令することもできるであろう。
【００４７】
その他の実施形態では、参加者は、ＧＵＩを介して物体の種類を選択し、続いて、サーフェス上に写真または実際のアイテムを置くことができるであろう。そこで、サーフェスは物体を表現するデジタル画像を取得し、この入力に基づいて、システムが物体のデジタル画像をカテゴリに分類することができるであろう。物体がどのカテゴリに該当するかという認識は、システムが物体をＶＵ内に配置するために利用され得る。システムはさらに、新たな物体がＶＵ内に「属する」かのように見えるようにするために、さらなる画像処理を実行し得る。画像処理の一形式として、物体をＶＵに対して適切な大きさに拡大縮小することが考えられる。一実施形態では、ユーザが、ＶＵ内に挿入される物体の大きさを選択し得る。この機能は、物体がＶＵ内に挿入された後に提供されるとよく、ユーザは、物体が所望の大きさでないかどうかを確かめることができる。
【００４８】
したがって、ユーザは、マルチタッチ対話型システム上に物体を置き、マルチタッチ対話型システム上に表示されるＧＵＩによって物体が何であるかについて入力を促されることが考えられる。物体の読み取りと、物体の種類とに基づき、システムは、ＶＵ内で物体がどこに配置されるべきかを自動的に判断することができ、物体をＶＵ内でシミュレートすることができるであろう。その他の実施形態では、アイテムが何であるのかの識別は、認識モジュールによって行われ得る。
【００４９】
一実施形態では、開示される機構が、部屋の中で行われる行動を観察するために利用され得る。さらに、行動は、後で見るためにＶＵフォーマットで記録され得る。例えば、ユーザは、レストランのテーブルを兼ねるマルチタッチ対話型システムの前に座っている間に飲み物を注文し得る。ウェートレスが飲み物をサーフェス上に置くと、マルチタッチ対話型システムは、飲み物およびその配置をＶＵでシミュレートできるように、飲み物の配置を記録し、飲み物の画像データを処理し、データをＶＵ対応データに変換することができる。このようなデータには、参加者に対して指定されているアバタの固有汎用識別子が含まれ得る。一部の実施形態では、参加者は、注文してアバタの手に届けられた飲み物をアバタが手に持つよう命令すること、またはその飲み物がテーブル上に置かれるよう命令することができるであろう。
【００５０】
別の例では、実生活の中では、ユーザは移動電話をマルチタッチ対話型システム上に置き、ＶＵの中では電話が参加者の手に配置されることもあり得る。したがって、参加者のアバタに、自動的に「縮小版」の電話が備えることができる。実世界から仮想世界への変換に従い、参加者と電話との間のインタラクションが、ＶＵ内で反映／シミュレートされることが可能である。例えば、電話がテーブルの上にあり電話の着信が受信されると、参加者は電話に出てよく、対応するデータがＶＵサーバに送信されることが可能である。電話の着信に出るために参加者がテーブルから離れる間、ＶＵ内ではアバタが、場合によっては電話で話をしていて、ビジーまたは休止中であると示されることが考えられる。マルチタッチ対話型システムに近接した多数のインタラクションを、仮想環境内でシミュレートすることができ、これらのインタラクションがどのように現れるか（何がどのようにＶＵ内に配置されるか）は、参加者がコントロールできるということが分かる。
【００５１】
別の例では、参加者はデジタル・オーディオ・プレーヤーで曲を流すことができる。ユーザがテーブルの前に座っている友人たちのために曲を流したいとき、ユーザは、デジタル・オーディオ・プレーヤーをマルチタッチ対話型システムの上に置き、曲を流すことができる。曲が流れるのに応答して、アバタはＶＵ内で、実世界で流されているか、または流されたのと同じ曲を収集し、聴くことができるであろう。この、複数のアバタの集合は、ユーザ選択可能な設定に基づき行われることができるであろう。この例では、他のユーザが選択可能な設定／好みに、音楽を聴いているときに曲のテンポおよび拍子に合わせてアバタにダンスをさせることが含まれることもあり得る。
【００５２】
別の実施形態では、参加者は、マルチタッチ対話型システム上に表示されるＧＵＩを介して、マルチタッチ対話型システムが、参加者によってそこに「描かれる」ものを受け取り、格納するよう、サーフェスを構成することができる。参加者は、サーフェス上に表示されるＧＵＩとのインタラクションによって、参加者が人差し指で描く物体の描出を受け取るよう、マルチタッチ対話型システムを構成することができる。一例では、ユーザが何かをＶＵ内に配置したい場合がある。ＧＵＩを介して、ユーザはサーフェス上に花を描いてもよく、その花を配置したい場所のサーフェスを指でたたいてもよい。
【００５３】
ユーザが大好きな花を描出するとき、参加者が何を描いているのか、およびどこにそれを配置するべきかについてシステムに伝えない限り、サーフェスおよび仮想世界が、物体が何であるのかおよび物体をどこに配置するべきかについて認識していなくてもよく、必ずしも認識しているわけではない。「未知の／関連付けできない」物体に関する画像データが取得されたときは、システムは多数の異なる方法を採用することができる。
【００５４】
一部の実施形態では、未知の／関連付けできない物体は、次に、適切に大きさを決定され、ＶＵ内の参加者のアバタの所有物であると見なされてよい。その他の実施形態では、参加者が、マルチタッチ対話型システムを介して、未知の／関連付けできない物体がどのように処理／取り扱いされるべきかについてコマンドを入力してもよいであろう。例えば、参加者またはシステムが花を額に入れ、この芸術作品を壁に配置し、他のアバタたちに対して展示することがあり得る。開示される機構は、ＶＵおよびＶＵとのインタラクションを参加者の要望に従いカスタマイズできるように、カスタマイズされたアイテム、物体またはインタラクションあるいはそれらすべてを参加者がＶＵ内に入力できるようにするということが分かる。
【００５５】
一部の実施形態では、データは、ネットワーク・ベースのゲームに対応するよう変換可能である。例えば、キャラクタは、任天堂株式会社製の「Ｗｉｉ」ビデオ・ゲーム製品において使用されるものなど、「Ｍｉｉ」キャラクタとすることができる。Ｍｉｉは、一般に、Ｗｉｉ、Ｍｉｉチャネルに関して任天堂により作成されるアバタである。ユーザがＭｉｉを作成すると、Ｗｉｉ ＳｐｏｒｔｓおよびＷｉｉ Ｐｌａｙなどの、特定のＭｉｉ向けのゲームにおいて、参加キャラクタとしてＭｉｉを使用できる。Ｍｉｉはカスタマイズ可能であり、ユーザが、自身または他者の似顔絵または戯画を取り込むこと、または個性を取り込むことができるようにする。
【００５６】
開示される機構は、実世界の物体の表現をＶＵ内に配置する方法を作り出すことで、ユーザとＶＵとの間のインタラクションをいろいろな意味で強化する。ＶＵ内のアバタおよび物体をユーザがカスタマイズできるようにすることで、参加者が独自の登場人物を作成できるようになり、ユーザはこのカスタマイズおよびシミュレートされた登場人物によって、ロール・プレイングを調整することができるようになる。開示される機構はさらに、物体が「自動的に」作成されＶＵ内に保存されることも可能にする。開示される実施形態は、アバタに関連付けることができる資産（金銭、美術品など）を自動で楽に作成できるようにし、アバタは、独特でより人間に近い登場人物となることができる。これによって、人間に独特の存在感を与える実生活の物体をＶＵに移動させることができ、これらの物体を、ＶＵ内での他の動作を命令するために利用できるということが分かる。
【００５７】
図３を参照すると、実世界の物体／イベントを仮想世界の物体／イベントに変換する流れ図３００が示されている。ブロック３０２で示されているように、入力を受信するようにマルチタッチ対話型システムを構成するとよい。ブロック３０４で示されているように、マルチタッチ対話型システムは、物体の配置、手もしくは腕の身振り、または、物体もしくは身振りに関連する動作もしくは行動、あるいはそれらすべてなどの入力を、参加者の物体もしくはインタラクションを観察することによって受信することができ、そのような物体またはインタラクションあるいはその両方を表現するデータの作成、発見または読み出しあるいはそのすべてを行うことができる。このような取得は、複数の参加者が同時にそのような物体またはインタラクション、あるいはその両方を提供する、自動プロセスとすることができる。各物体またはインタラクションあるいはその両方を、ＶＵ内で何らかの形で再現できるように、システムはデータを取得することができる。例えば、取得されたデータを、ＶＵサービスに提供されるデータを発見し読み出すために利用することができる。決定ブロック３０６によって示されているように、システムは、物体またはインタラクションあるいはその両方を認識したかどうかを自動的に判断することができる。システムが物体またはインタラクションあるいはその両方を認識していなければ、参加者は、物体または動作あるいはその両方が何であるのかについて問い合わせられるとよい。
【００５８】
決定ブロック３１０で示されているように、ＶＵ内で、自動配置システムによって適切な位置にシステムが物体を配置できるよう、物体またはインタラクションあるいはその両方が識別可能かどうかを、システムが自動的に判断することができる。自動配置が判断できなければ、ブロック３１２に示されているように、ＶＵ内のどこに物体またはインタラクションあるいはその両方を配置するべきかについて、参加者が問い合わせられるとよい。物体または動作、および配置が判断されると、ブロック３１４で示されているように、画像データは、ＶＵサービス・プロバイダが使用できるデータに自動的に変換されるとよい。このようなデータ変換は、画素データから座標データへの変換とすることができるであろう。ブロック３１６によって示されているように、変換されたデータは、自動的にＶＵサーバへ送信されるとよい。その後プロセスは終了してよい。ユーザの関与または著しい遅れを伴わずに、可視物質を自動的に仮想世界内に配置することができるということが分かる。したがって、可視物質が収集され、（処理および通信の遅延にも関わらず）「リアルタイム」で可視物質がＶＵ内でシミュレートおよび再現されることが可能である。
【００５９】
上述のプロセスを実現したものは、何らかの形式のコンピュータ可読媒体上に格納されるか、または何らかの形式のコンピュータ可読媒体を通して伝えられるとよい。コンピュータ可読媒体は、コンピュータがアクセス可能な任意の利用可能な媒体とすることができる。制限ではなく一例として、コンピュータ可読媒体は、「コンピュータ・ストレージ媒体」および「通信媒体」を含んでもよい。「コンピュータ・ストレージ媒体」は、コンピュータ可読命令、データ構造、プログラム・モジュール、またはその他のデータなどの情報を格納する任意の方法または技術で実現された、揮発性および不揮発性、取り外し可能および固定の媒体を含む。コンピュータ・ストレージ媒体は、次に限定されるものではないが、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ‐ｏｎｌｙ ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ、フラッシュ・メモリ、もしくはその他のメモリ技術、ＣＤ‐ＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｋ−ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、デジタル多目的ディスク（ＤＶＤ：ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋｓ）もしくはその他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージもしくはその他の磁気ストレージ・デバイス、または所望の情報を格納するために使用できコンピュータによりアクセス可能なその他任意の媒体を含む。「通信媒体」は一般に、コンピュータ可読命令、データ構造、プログラム・モジュール、またはその他のデータを、搬送波またはその他の転送メカニズムなど、変調されたデータ信号内に組み入れる。通信媒体はさらに、任意の情報送達媒体を含む。
【００６０】
「変調されたデータ信号」という用語は、信号内の情報を符号化するような方式でその特性の１つ以上が設定または変更された信号を意味する。通信媒体には、限定するものではないが例を挙げると、有線ネットワークまたは直接有線接続などの有線媒体、ならびに、音響、ＲＦ、赤外線およびその他無線媒体などの無線媒体がある。上記に挙げたもののうち任意のものの組み合わせも、コンピュータ可読媒体の範囲内に含まれる。
【００６１】
ハードウェアまたはソフトウェアあるいはその両方の詳細な構成を参照すると当業者には当然のことであるが、実施形態は、他の等価なハードウェア・システムまたはソフトウェア・システムあるいはその両方を用いて実現されると有利であることもある。本願明細書で説明された開示の態様は、磁気および光学的に読み取り可能な取り外し可能コンピュータ・ディスクなど、コンピュータ可読媒体上に格納して配布されてもよく、同じく、インターネット上または無線ネットワークなどその他のネットワーク上で電子的に配布されてもよい。開示の態様に特有なデータ構造およびデータ送信（無線送信を含む）も、開示の範囲内に含まれる。
【００６２】
本願明細書で開示された各プロセスは、ソフトウェア・プログラムを用いて実現することができる。本願明細書で説明されたソフトウェア・プログラムは、パーソナル・コンピュータ、サーバなど、任意の種類のコンピュータ上で動作させられるとよい。様々な信号保持媒体に、任意のプログラムが含まれ得る。実例となる信号保持媒体は、次に限定されるものではないが、（ｉ）書き込み不可能なストレージ媒体（ＣＤ‐ＲＯＭドライブにより読み取り可能なＣＤ‐ＲＯＭディスクなどの、コンピュータ内の読み取り専用メモリ・デバイスなど）に恒久的に格納された情報、（ｉｉ）書き込み可能なストレージ媒体（ディスケット・ドライブまたはハードディスク・ドライブ内のフレキシブル・ディスクなど）に格納される可変情報、および（ｉｉｉ）無線通信を含むコンピュータまたは電話のネットワークを介してなど通信媒体によってコンピュータへ伝達される情報を含む。具体的に言うと、後者の実施形態は、インターネット、イントラネットまたはその他のネットワークからダウンロードされた情報を含む。このような信号保持媒体は、開示される機構の機能を指示するコンピュータ可読命令を送る場合、本開示の実施形態に相当する。
【００６３】
開示される実施形態は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、またはハードウェアおよびソフトウェアの構成要素両方を含む実施形態という形をとることができる。一部の実施形態では、本発明はソフトウェアにおいて実現され、これは、次に限定されるものではないが、ファームウェア、常駐ソフトウェア、マイクロコードなども含む。さらに、本発明は、コンピュータまたは任意の命令実行システムによって使用されるかまたはそれと関係して使用されるプログラム・コードを提供する、コンピュータ使用可能媒体またはコンピュータ可読媒体からアクセス可能なコンピュータ・プログラム製品という形をとることができる。この説明の目的のために、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置またはデバイスが使用するかまたはそれと関係して使用されるプログラムを、含むこと、格納すること、伝達すること、伝播すること、または転送することができる任意の装置とすることができる。
【００６４】
媒体は、電子、磁気、光学、電磁気、赤外線もしくは半導体システム（または装置またはデバイス）、または伝播媒体とすることができる。コンピュータ可読媒体の例には、半導体または固体メモリ、磁気テープ、取り外し可能なコンピュータ・ディスケット、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、剛体磁気ディスク（ｒｉｇｉｄ ｍａｇｎｅｔｉｃ ｄｉｓｋ）および光ディスクがある。光ディスクの現在の例には、コンパクト・ディスク読み取り専用メモリ（ＣＤ‐ＲＯＭ）、コンパクト・ディスク読み出し書き込み（ＣＤ‐Ｒ／Ｗ：ｃｏｍｐａｃｔ ｄｉｓｋ‐ｒｅａｄ／ｗｒｉｔｅ）およびＤＶＤがある。プログラム・コードの格納または実行あるいはその両方に適したデータ処理システムは、システム・バスを介してメモリ素子に直接または間接的に連結された少なくとも１つのプロセッサ、論理または状態遷移機械を含み得る。メモリ素子は、プログラム・コードを実際に実行するときに用いられるローカル・メモリ、バルク・ストレージ、および、実行中にバルク・ストレージからコードを読み出さなければならない回数を減らすために少なくとも一部のプログラム・コードの一時的なストレージを提供するキャッシュ・メモリを含むことができる。
【００６５】
入出力、すなわちＩ／Ｏ（ｉｎｐｕｔ／ｏｕｔｐｕｔ）デバイス（次に限定されるものではないが、キーボード、ディスプレイ、ポインティング・デバイスなどを含む）は、直接かまたは介在するＩ／Ｏ制御装置を介してシステムに連結されているとよい。データ処理システムを、介在する私設ネットワークまたは公衆ネットワークを介して、他のデータ処理システムまたはリモート・プリンタまたはストレージ・デバイスに連結できるよう、ネットワーク・アダプタもシステムに連結されていてもよい。モデム、ケーブル・モデムおよびイーサネット・カードが、現在利用可能な種類のネットワーク・アダプタのうちのほんの数例である。
【００６６】
当然のことながら、詳細な説明および図面において示され説明された本発明の形式は、単なる例と見なされるべきである。以下の特許請求の範囲は、開示された実施形態例の変形物すべてを含むよう広義に解釈されるものとする。
【図面の簡単な説明】
【００６７】
【図１】データ変換器を備えた画像データ取得システムのブロック図である。
【図２】物体および参加者を伴うマルチタッチ対話型システムの上面図である。
【図３】物体またはインタラクションあるいはその両方を表現するデータを取得し、そのようなデータを仮想世界アプリケーションが使用できるデータ・フォーマットに変換する方法の流れ図である。
【符号の説明】
【００６８】
１０２ 識別モジュール
１０３ ネットワーク
１０４ ＶＵクライアント
１０６ ＶＵサーバ
１０８ ＧＵＩ／ユーザ・インターフェース
１０８ 関連付けモジュール
１１０ 位置／配置モジュール
１１２ 物体‐インタラクション取得モジュール
１１４ データ変換モジュール
１１６ ＴＸ／ＲＸ対話型サーフェス
【特許請求の範囲】
【請求項１】
物体またはインタラクションのうちの少なくとも１つに関連する入力を受信するようセンサを構成するステップと、
物体またはインタラクションのうちの前記少なくとも１つに関連するデータを取得するステップと、
参加者と、前記取得されたデータとを関連付けるステップと、
仮想世界と、前記取得されたデータとを関連付けるステップと、
物体またはインタラクションのうちの前記少なくとも１つの表現を前記仮想世界内にレンダリングするために使用可能なデータへと、前記取得されたデータを自動的に変換するステップと、
を含む方法。
【請求項２】
前記構成するステップは、マルチタッチ対話型システムを構成することを含む、請求項１に記載の方法。
【請求項３】
前記変換されたデータを仮想環境内に自動的にレンダリングするステップをさらに含む、請求項１に記載の方法。
【請求項４】
前記仮想世界対応のデータがアバタに関連付け可能となるよう、前記取得されたデータに対して識別子を指定するステップをさらに含む、請求項１に記載の方法。
【請求項５】
前記取得されたデータは、メタデータまたは画素データのうちの１つである、請求項１に記載の方法。
【請求項６】
少なくとも１つの前記物体を、前記アバタの所有物としてシミュレートするステップをさらに含む、請求項１に記載の方法。
【請求項７】
前記仮想世界内での前記少なくとも１つの物体の配置について、参加者の入力を取得するステップをさらに含む、請求項１に記載の方法。
【請求項８】
前記仮想世界対応データを送信し、仮想世界内で前記少なくとも１つの物体またはインタラクションをシミュレートするステップをさらに含む、請求項１に記載の方法。
【請求項９】
前記少なくとも１つの物体またはインタラクションを分類するユーザ入力を受け取るステップをさらに含む、請求項１に記載の方法。
【請求項１０】
前記受信は、画像データを光学式記録デバイスから受信することを含む、請求項１に記載の方法。
【請求項１１】
物体画像データまたはインタラクション画像データのうちの１つを取得する物体‐インタラクション取得モジュールと、
前記物体画像データと、前記インタラクション画像データとに関連する参加者を識別する識別モジュールと、
前記画像データと前記参加者とを関連付ける関連付けモジュールと、
仮想世界内にレンダリングされた前記物体またはインタラクションが実世界の中の前記物体またはインタラクションと似るように、前記画像データを仮想世界対応のフォーマットに転換するデータ変換モジュールと、
を含むシステム。
【請求項１２】
ユーザ選択可能な複数の入力を提供し、ユーザ入力の受信を容易にするグラフィカル・ユーザ・インターフェース・モジュールをさらに含む、請求項１１に記載のシステム。
【請求項１３】
前記物体‐インタラクション取得モジュールはマルチタッチ対話型システムを含む、請求項１１に記載のシステム。
【請求項１４】
前記物体‐インタラクション取得モジュールは送受信機を含む、請求項１１に記載のシステム。
【請求項１５】
前記物体‐インタラクション取得モジュールは画素生成器を含む、請求項１１に記載のシステム。
【請求項１６】
複数の命令を含むコンピュータ・プログラムであって、前記命令がコンピュータにより実行されると、前記コンピュータに、
少なくとも画像を作成するために使用可能な入力データを受信するよう、センサを構成することと、
前記入力データと、仮想世界とを関連付けることと、
物体またはインタラクションのうちの少なくとも１つを表現する画像データを取得することと、
前記画像データを、仮想世界を作成するために使用可能なデータへと変換することと、
を含む動作を行わせる、コンピュータ・プログラム。
【請求項１７】
前記センサはマルチタッチ対話型システムを含む、請求項１６に記載のコンピュータ・プログラム。
【請求項１８】
実行されると、前記仮想世界対応のデータがアバタに関連付けられることができるよう、前記コンピュータにさらに、前記仮想世界対応データに対して識別子を指定させる、請求項１６に記載のコンピュータ・プログラム。
【請求項１９】
実行されると、前記コンピュータに、送信信号を受信させ、前記受信された送信信号に基づき物体を識別させる、請求項１６に記載のコンピュータ・プログラム。
【請求項２０】
実行されると、前記コンピュータに、少なくとも１つの前記物体を前記アバタの所有物としてシミュレートさせる、請求項１６に記載のコンピュータ・プログラム。
【請求項１】
物体またはインタラクションのうちの少なくとも１つに関連する入力を受信するようセンサを構成するステップと、
物体またはインタラクションのうちの前記少なくとも１つに関連するデータを取得するステップと、
参加者と、前記取得されたデータとを関連付けるステップと、
仮想世界と、前記取得されたデータとを関連付けるステップと、
物体またはインタラクションのうちの前記少なくとも１つの表現を前記仮想世界内にレンダリングするために使用可能なデータへと、前記取得されたデータを自動的に変換するステップと、
を含む方法。
【請求項２】
前記構成するステップは、マルチタッチ対話型システムを構成することを含む、請求項１に記載の方法。
【請求項３】
前記変換されたデータを仮想環境内に自動的にレンダリングするステップをさらに含む、請求項１に記載の方法。
【請求項４】
前記仮想世界対応のデータがアバタに関連付け可能となるよう、前記取得されたデータに対して識別子を指定するステップをさらに含む、請求項１に記載の方法。
【請求項５】
前記取得されたデータは、メタデータまたは画素データのうちの１つである、請求項１に記載の方法。
【請求項６】
少なくとも１つの前記物体を、前記アバタの所有物としてシミュレートするステップをさらに含む、請求項１に記載の方法。
【請求項７】
前記仮想世界内での前記少なくとも１つの物体の配置について、参加者の入力を取得するステップをさらに含む、請求項１に記載の方法。
【請求項８】
前記仮想世界対応データを送信し、仮想世界内で前記少なくとも１つの物体またはインタラクションをシミュレートするステップをさらに含む、請求項１に記載の方法。
【請求項９】
前記少なくとも１つの物体またはインタラクションを分類するユーザ入力を受け取るステップをさらに含む、請求項１に記載の方法。
【請求項１０】
前記受信は、画像データを光学式記録デバイスから受信することを含む、請求項１に記載の方法。
【請求項１１】
物体画像データまたはインタラクション画像データのうちの１つを取得する物体‐インタラクション取得モジュールと、
前記物体画像データと、前記インタラクション画像データとに関連する参加者を識別する識別モジュールと、
前記画像データと前記参加者とを関連付ける関連付けモジュールと、
仮想世界内にレンダリングされた前記物体またはインタラクションが実世界の中の前記物体またはインタラクションと似るように、前記画像データを仮想世界対応のフォーマットに転換するデータ変換モジュールと、
を含むシステム。
【請求項１２】
ユーザ選択可能な複数の入力を提供し、ユーザ入力の受信を容易にするグラフィカル・ユーザ・インターフェース・モジュールをさらに含む、請求項１１に記載のシステム。
【請求項１３】
前記物体‐インタラクション取得モジュールはマルチタッチ対話型システムを含む、請求項１１に記載のシステム。
【請求項１４】
前記物体‐インタラクション取得モジュールは送受信機を含む、請求項１１に記載のシステム。
【請求項１５】
前記物体‐インタラクション取得モジュールは画素生成器を含む、請求項１１に記載のシステム。
【請求項１６】
複数の命令を含むコンピュータ・プログラムであって、前記命令がコンピュータにより実行されると、前記コンピュータに、
少なくとも画像を作成するために使用可能な入力データを受信するよう、センサを構成することと、
前記入力データと、仮想世界とを関連付けることと、
物体またはインタラクションのうちの少なくとも１つを表現する画像データを取得することと、
前記画像データを、仮想世界を作成するために使用可能なデータへと変換することと、
を含む動作を行わせる、コンピュータ・プログラム。
【請求項１７】
前記センサはマルチタッチ対話型システムを含む、請求項１６に記載のコンピュータ・プログラム。
【請求項１８】
実行されると、前記仮想世界対応のデータがアバタに関連付けられることができるよう、前記コンピュータにさらに、前記仮想世界対応データに対して識別子を指定させる、請求項１６に記載のコンピュータ・プログラム。
【請求項１９】
実行されると、前記コンピュータに、送信信号を受信させ、前記受信された送信信号に基づき物体を識別させる、請求項１６に記載のコンピュータ・プログラム。
【請求項２０】
実行されると、前記コンピュータに、少なくとも１つの前記物体を前記アバタの所有物としてシミュレートさせる、請求項１６に記載のコンピュータ・プログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２００９−１４０４９２（Ｐ２００９−１４０４９２Ａ）
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願番号】特願２００８−３０５６６２（Ｐ２００８−３０５６６２）
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．イーサネット
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
【公開日】平成２１年６月２５日（２００９．６．２５）
【国際特許分類】
【出願日】平成２０年１１月２８日（２００８．１１．２８）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．イーサネット
【出願人】（３９０００９５３１）インターナショナル・ビジネス・マシーンズ・コーポレーション (4,084)
【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＳＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ
【Ｆターム（参考）】
[ Back to top ]