仮想現実の制御
人とコンピューターとのインターフェイスをとる方法であって、この方法は、軸を有するシャフト、シャフトに接続された鍔であって、軸から離れる方向に延び、シャフトに面する第１の側を有する鍔、および、鍔の第１の側と反対側にある第２の側にある柄、を有する装置を人に提供するステップと、装置の画像を取得するステップと、画像に応答して装置の向きを判定するステップと、向きに応答してコンピューターによって動作を生成するステップとを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、米国特許法第１１９条（ｅ）に基づき、２００８年５月２６日出願の米国仮特許出願第６１／０５６，０２７号の利益を主張する。同出願の開示は参照により本明細書に組み込まれる。
【０００２】
本発明は、人間とコンピューターとのインターフェイスをとること、および、任意選択で、人をコンピューターと一体化させて仮想現実を作り出すことに関する。
【背景技術】
【０００３】
始めにマウスとキーボードがあった。そして、マウスとキーボードが人間とコンピューターの橋渡しとなった。しかし、技術の発展と共に、コンピューターは、マウスとキーボードで得られたインターフェイスよりもシームレスで自然な人間ユーザーとのインターフェイスを使用、または必要とする、比較的複雑でリアルタイムの多数のユーザーアプリケーションを提供するのに十分なデータを受け取って処理する能力を獲得した。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人間とマシン間の高度なインターフェイスを使用する、または必要とする一般的なアプリケーションは、例として、ユーザーが話しかけることによってコンピューターにデータを入力できる音声認識サービス、携帯電話のコンピューターゲーム、リアルタイムで動作する仮想現実等である。このようなアプリケーションの多くは、ジェスチャを行なっている人の画像に応答した人間のジェスチャを解釈および／または使用する能力を必要とするか、またはそのような能力から利益を得る可能性がある。その結果、視覚データをリアルタイムで受け取り、そのデータを処理して人間のジェスチャを認識および解釈することが可能なジェスチャ認識装置およびアルゴリズムの開発に多大な研究労力と資源が投資されている。
【０００５】
人間のジェスチャは、他者および／またはコンピューターに情報を伝える意識的または無意識的な身体言語の要素と考えられる。例として、ジェスチャは、他者および／またはコンピューターに反応して行なわれる意識的または無意識的な顔の表情、ビデオゲーム、仮想現実環境、またはマルチメディアの提示によって提供される課題や刺激に反応して行なわれる手または身体のポーズや動き等である。ジェスチャ認識技術（ＧＲＴ）は、ジェスチャを行なっている人の画像に反応した人間のジェスチャを認識、解釈、および／または使用するように構成された、ハードウェアおよび／またはソフトウェア技術を含むものとみなされる。
【課題を解決するための手段】
【０００６】
本発明の一部の実施形態の一態様は、コンピューターと対話するために人によって使用される物体の空間位置および／または向きを判定する方法を提供することに関する。
【０００７】
本発明の一部の実施形態の一態様は、物体の（任意選択で従来の）２Ｄ画像から物体の３Ｄ空間位置および／または向きを判定するために使用できる第１および第２の部分を備えた構造を有する物体を形成することに関する。本発明の一実施形態では、物体の画像中における構造の第２の部分への構造の第１の部分の投影が、物体の向きの指示を提供する。任意選択で、第１および第２の部分が使用されて、物体および／または物体が位置する場面の３Ｄの「奥行きマップ」に応じて、物体の位置および／または向きを判定する。
【０００８】
本発明の一部の実施形態の一態様によると、物体は、物体の位置および／または向きを示すための基準マークの発明的構成を備える。任意選択で、この基準マークが使用されて、物体の従来の２Ｄ画像から物体の向きを判定する。任意選択で、基準マークが使用されて、物体および／または物体が位置する場面の３Ｄ奥行きマップに応じて、物体の位置および／または向きを判定する。
【０００９】
本発明の一部の実施形態の一態様は、人の空間位置および身体のポーズ（「姿勢」とも呼ぶ）を判定し、その位置および／またはポーズを物体の位置および向きと融合することに関する。
【００１０】
本発明の一部の実施形態の一態様によると、物体は、適切なコンピューターによって生成および制御される「スターウォーズ」風の戦闘ゲームで、任意でプレーヤー（以後「戦闘員」）によって使用される、ライトセーバーのシミュレーションである。
【００１１】
本発明の一実施形態では、リアルタイムでビデオレートの戦闘員の奥行きマップおよび画像を提供する３Ｄ撮像システムを任意選択で使用して、ライトセーバーを把持する戦闘員を撮像して、戦闘員の映像を提供する。奥行きマップおよび／または画像がコンピューターで処理されて、ライトセーバーの３Ｄ空間位置および向き、ならびに任意で戦闘員の位置および戦闘員の姿勢を時間の関数として求める。コンピューターは、ライトセーバーの位置および向き、ならびに任意で戦闘員の位置および向きを使用して、コンピューターによって制御される適切な映像スクリーンに提示されるスターウォーズ風の戦闘ゲーム中でライトセーバーを把持したアバターに動きを与える。
【００１２】
説明の便宜上、戦闘員に把持されたライトセーバーを、映像スクリーン上のアバターによって把持されたライトセーバーと区別するために、アバターのライトセーバーを、一般に「アバターのライトセーバー」と呼び、戦闘員のライトセーバーを一般に「戦闘員のライトセーバー」と呼ぶ。
【００１３】
任意選択で、戦闘員のライトセーバーは、柄（つか）、「鍔（つば）」と呼ぶ手の防具、および、ライトセーバーの「スタブシャフト」を備える。柄とライトセーバーのスタブシャフトは、任意で実質的に円筒形であり、以後「ライトセーバー軸」と呼ぶ共通の軸を共有する。鍔は、ライトセーバー軸上のライトセーバーのスタブシャフトと柄との間に位置し、ライトセーバー軸から離れる方向に延び、そのため、ライトセーバーが見られる様々な視点から見て、スタブシャフトが鍔の少なくとも一部分に投影される。すなわち、スタブシャフトが鍔の少なくとも一部分を「覆い隠す」。任意選択で、鍔は、ライトセーバー軸に実質的に直交する平面領域を有するように形成される。任意選択で、この平面領域は、ライトセーバー軸に対して回転対称であることを特徴とする。任意選択で、平面領域は円形である。ライトセーバーを撮像する３Ｄ撮像システムの視点から取得されたライトセーバーの画像における鍔へのスタブシャフトの投影が、ライトセーバーの向きの指示を提供する。一般に、ライトセーバーの向きがライトセーバーの画像中における鍔の形状に影響し、任意選択で、撮像された形状が使用されてライトセーバーの向きを判定する。
【００１４】
任意選択で、スタブシャフトおよび鍔の表面領域は、鍔へのスタブシャフトの投影が比較的容易に判別されるように製造される。任意選択で、鍔とスタブシャフトの表面領域は、戦闘員のライトセーバーの画像中で投影の判別を支援するのに十分に異なる反射性を有するように構成される。本発明の一実施形態では、鍔の表面領域は、ライトセーバーを撮像するために使用される光に対して相対的に高い反射性を有するように被覆または形成される。
【００１５】
本発明の一実施形態では、ライトセーバーは、ライトセーバーの画像中で比較的容易に識別される少なくとも１つの反射性の基準を有して提供される。識別された少なくとも１つの基準が使用されて、画像中の少なくとも１つの高輝度基準の位置および向きに応じて、ライトセーバーの空間位置および／または向きを判定する。
【００１６】
任意選択で、この少なくとも１つの反射性の基準（以後「高輝度基準」とも呼ぶ）は、カメラの近傍に位置する光源からの光で照明された時に、実質的に不変の、相対的に強い輝度を有するように見えるように成形された反射性の要素を含む。任意選択で、高輝度基準は、ライトセーバーのスタブシャフトの先端に配置された、ライトセーバー軸に実質的に沿って位置する中心を有する球状領域を含む。任意選択で、少なくとも１つの反射性の基準は、実質的にライトセーバー軸と一致する回転軸を有する環状領域を含む。本発明の一実施形態では、少なくとも１つの高輝度基準は、その反射性に応答して識別される。任意選択で、反射性は、３Ｄ撮像システムによって提供される戦闘員およびライトセーバーの奥行きマップおよび画像から得られるデータに応答して判別される。
【００１７】
本発明の一実施形態では、使用および安全性の都合上、戦闘員のライトセーバーのスタブシャフトは、比較的短く、任意選択で約３０ｃｍ以下である。任意選択で、戦闘員のライトセーバーは、戦闘員のライトセーバーが起動されたことをコンピューターに通知する信号を提供するために戦闘員が操作可能な起動機構を備える。非起動時、アバターのライトセーバーは、戦闘員のライトセーバーのスタブシャフトを「模した」スタブシャフトを有するように表示される。起動されると、アバターのライトセーバーは、アバターのライトセーバーの鍔から延び、スタブシャフトに取って代わる、比較的長い「光の刃」を有するように表示される。任意選択で、起動機構は、視覚的合図を提供するために操作可能な機械機構を備え、その視覚的合図が３Ｄ撮像システムによって検出されて、戦闘員およびアバターのライトセーバーを起動する信号を提供させる。任意選択で、起動機構は、戦闘員のライトセーバーの柄表面のボタンスイッチを押す、または柄に圧力を加えることによって戦闘員およびアバターのライトセーバーを起動するために操作される回路を備える。任意選択で、起動回路は、起動回路が操作されると点灯してライトセーバーが起動されたことを知らせる照明を備える。任意選択で、コンピューターは、戦闘員および戦闘員のライトセーバーを撮像する撮像システムから提供される画像に応答して、回路が操作され、照明が点灯したことを判定する。任意選択で、起動回路は、戦闘員のライトセーバーが起動された時に、コンピューターに結合された適切な受信機によって受信可能な、ＲＦ信号等の「起動信号」を送信する送信機を備える。
【００１８】
本発明の一部の実施形態では、戦闘員のライトセーバーのライトセーバー・スタブシャフトは、光の刃を模した比較的長い延長部分を備えるように構成される。任意選択で、この延長部分は、ポリウレタン等の軽量であるが硬質の適切な材料を含むチューブとして形成される。チューブは、戦闘員のライトセーバーのスタブシャフトに固定して取り付けられるように穴を有して形成される。任意選択で、延長部分の材料は、実質的に透光性であり、かつ／または、適切な透光性の材料で満たされ、ライトセーバーは光源を備える。ライトセーバーが起動されると、延長部分がその長さに沿って視覚的に点灯され、光の刃の印象を与える。
【００１９】
したがって、本発明の一実施形態によれば、人とコンピューターとのインターフェイスをとる方法が提供され、この方法は、軸を有するシャフト、シャフトに接続された鍔であって、軸から離れる方向に延び、シャフトに面する第１の側を有する鍔、および鍔の第１の側と反対側にある第２の側にある柄を有する装置を人に提供するステップと、装置の画像を取得するステップと、画像に応答して装置の向きを判定するステップと、向きに応答してコンピューターによって動作を生成するステップとを含む。
【００２０】
任意選択で、向きを判定するステップは、鍔へのシャフトの投影を判定するステップを含む。
【００２１】
それに加えて、またはその代わりに、向きを判定するステップは、任意選択で、鍔の既知の形状と比較した、画像中の鍔の形状を判定するステップを含む。任意選択で、鍔は円形の外面を有する。任意選択で、画像中の鍔の形状を判定するステップは、画像中の形状の長軸および短軸を求めるステップを含む。
【００２２】
本発明の一部の実施形態では、この方法は、判定された形状に応じて装置の３Ｄ空間座標を求めるステップを含む。
【００２３】
本発明の一部の実施形態では、向きを判定するステップは、座標系を基準とした軸の極角を求めるステップを含む。任意選択で、極角を求めるステップは、極角を求める際の縮退を除去するステップを含む。本発明の一部の実施形態では、向きを判定するステップは、軸の方位角を求めるステップを含む。
【００２４】
本発明の一部の実施形態では、向きを判定するステップは、画像中の装置の３つの領域各々の３Ｄ空間座標を求めるステップと、座標が実質的に同一の直線に沿って存在するかどうかを判定するステップと、その座標を使用して向きを判定するステップと
を含む。
【００２５】
本発明の一部の実施形態では、この方法は、シャフトの表面および鍔の第１の表面に相対的に強化されたコントラストを与えるステップを含む。任意選択で、相対的に強化されたコントラストを与えるステップは、鍔の表面に相対的に高い反射性を与えるステップを含む。それに加えて、またはその代わりに、相対的に強化されたコントラストを与えるステップは、シャフトの表面に相対的に低い反射性を与えるステップを含む。
【００２６】
本発明の一部の実施形態では、この方法は、装置の特徴の位置特定を支援する少なくとも１つの基準マークを装置に備えるステップを含む。任意選択で、少なくとも１つの基準マークは、シャフトの先端にある相対的に高輝度の反射性の基準を含む。任意選択で、この方法は、装置の向きに関係なく実質的に同じ輝度を有するようにシャフトの先端に基準を構成するステップを含む。それに加えて、またはその代わりに、シャフトの先端にある基準は、任意選択で、高反射性の球状表面を備える。本発明の一部の実施形態では、少なくとも１つの基準マークは、鍔の外面に沿った高反射性の領域を備える。
【００２７】
本発明の一部の実施形態では、画像を取得するステップは、装置の３Ｄ奥行きマップ画像を取得するステップを含む。
【００２８】
本発明の一部の実施形態では、画像を取得するステップは、装置のコントラスト画像を取得するステップを含む。
【００２９】
本発明の一部の実施形態では、コンピューターにより動作を生成するステップは、アバターに動きを与えるステップを含む。任意選択で、アバターは仮想現実の中に置かれる。任意選択で、アバターに動きを与えるステップは、仮想現実の要素と対話するようにアバターに動きを与えるステップを含む。
【００３０】
本発明の一部の実施形態では、この方法は、人の３Ｄ空間座標を求めるステップを含む。任意選択で、空間座標を求めるステップは、人の３Ｄ奥行き画像を取得し、その奥行き画像を使用して座標を求めるステップを含む。それに加えて、またはその代わりに、この方法は、求められた座標に応じて、仮想現実中のアバターの位置を求めるステップを含む。
【００３１】
本発明の一部の実施形態では、この方法は、人の姿勢を判定するステップを含む。任意選択で、姿勢を判定するステップは、人の３Ｄ奥行き画像を取得し、その奥行き画像を使用して姿勢を判定するステップを含む。それに加えて、またはその代わりに、この方法は、判定された人の姿勢に応じて、アバターの姿勢を求めるステップを含む。
【００３２】
本発明の一部の実施形態では、アバターは、仮想現実中の第１のアバターであり、要素は、仮想現実中で動作する第２のアバターである。任意選択で、人の動作に応答して第２のアバターに動きが与えられる。任意選択で、本発明の一実施形態により第２のアバターに動きが与えられる。
【００３３】
本発明の一部の実施形態では、仮想現実は、コンピューターゲームの現実感である。任意選択で、第１および第２のアバターは、コンピューターゲーム中で互いと戦闘を行なう。任意選択で、戦闘は、模擬的なスターウォーズ風の戦闘である。
【００３４】
本発明の一実施形態により、請求項いずれかに記載の方法に従って人とのインターフェイスをとるようにコンピューターを構成する命令セットを備えたコンピューター可読媒体がさらに提供される。
【００３５】
本発明の一実施形態により、人とのインターフェイスをとるシステムがさらに提供され、このシステムは、軸を有するシャフト、シャフトに接続された鍔であって、軸から離れる方向に延び、シャフトに面する第１の側を有する鍔、および、鍔の第１の側の反対側にある第２の側にある柄、を有する、人によって操作される装置と、装置の撮像データを取得する撮像装置と、撮像データを受け取り、受け取ったデータを処理して装置の向きを判定し、その向きに応答して動作を生成するように構成されたコンピューターとを備える。
【００３６】
任意選択で、このシステムは、受け取ったデータを処理するようにコンピューターを構成する命令セットを備えたコンピューター可読媒体を備える。それに加えて、またはその代わりに、このシステムは、動作を生成するようにコンピューターを構成する命令セットを備えたコンピューター可読媒体を備える。
【００３７】
任意選択で、コンピューターにより動作を生成するステップは、アバターに動きを与えるステップを含む。任意選択で、アバターは仮想現実の中に置かれる。任意選択で、アバターに動きを与えるステップは、仮想現実の要素と対話するようにアバターに動きを与えるステップを含む。任意選択で、アバターは、仮想現実中の第１のアバターであり、要素は、仮想現実中で動作する第２のアバターである。任意選択で、人の動作に応答して第２のアバターに動きが与えられる。
【００３８】
本発明の一実施形態により、人とコンピューターとのインターフェイスをとる方法がさらに提供され、この方法は、人が立つ台、人が台にかかる自身の体重を移動することによって台の向きを変えることを可能にする、台が取り付けられる１組のジンバル、および、少なくとも１つの基準マークを有する装置を人に提供するステップと、少なくとも１つの基準マークの画像を取得するステップと、画像に応答して装置の向きを判定するステップと、向きに応答してコンピューターによって動作を生成するステップとを含む。任意選択で、少なくとも１つの基準は、台の縁部に沿った基準を含む。任意選択で、少なくとも１つの基準は、２つの基準マークを含む。任意選択で、２つの基準マークは、基準が付加されてない、縁部に沿った比較的狭い領域によって隔てられた、少なくとも２つの比較的近接した基準マークを含む。
【００３９】
以下で、この段落の後に列挙される添付図面を参照して、本発明の実施形態の非限定的な例を説明する。２つ以上の図に出現する同一の構造、要素、または部分は、一般に、それらが出現するすべての図において同一の参照符号で表される。図に示す構成要素および特徴の大きさは、図示の便宜と分かりやすさのために選択され、必ずしも一定の縮尺ではない。
【図面の簡単な説明】
【００４０】
【図１Ａ】本発明の一実施形態による、ライトセーバーを把持した戦闘員の透視図を概略的に示す図である。
【図１Ｂ】本発明の一実施形態による、図１Ａの戦闘員に把持されるライトセーバーの透視拡大図を概略的に示す図である。
【図１Ｃ】本発明の一実施形態による、図１Ｂに示す視点と異なる視点から図１Ａの戦闘員に把持されたライトセーバーを概略的に示す図である。
【図２Ａ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図２Ｂ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図２Ｃ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図２Ｄ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図２Ｅ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図２Ｆ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図３Ａ】本発明の一実施形態により、同一のｘ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図３Ｂ】本発明の一実施形態により、同一のｘ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図３Ｃ】本発明の一実施形態により、同一のｘ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図３Ｄ】本発明の一実施形態により、同一のｘ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図３Ｅ】本発明の一実施形態により、同一のｘ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ａ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ｂ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ｃ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ｄ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ｅ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ｆ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図５】本発明の一実施形態による、戦闘員のライトセーバーの位置および向きを判定する方法の流れ図である。
【図６】本発明の一実施形態による、２人の戦闘員によって行なわれる仮想現実のスターウォーズ風の戦闘を概略的に示す図である。
【図７】本発明の一実施形態による、光の刃を備えるライトセーバーを概略的に示す図である。
【図８Ａ】本発明の一実施形態による、スケートボードと、スケートボードの向きを判定する際に使用できるスケートボード表面の高輝度基準を概略的に示す図である。
【図８Ｂ】本発明の一実施形態による、スケートボードと、スケートボードの向きを判定する際に使用できるスケートボード表面の高輝度基準を概略的に示す図である。
【図８Ｃ】本発明の一実施形態による、スケートボードと、スケートボードの向きを判定する際に使用できるスケートボード表面の高輝度基準を概略的に示す図である。
【発明を実施するための形態】
【００４１】
図１Ａに、本発明の一実施形態によるプレーヤー、すなわち、図１Ｂに大幅に拡大して示すライトセーバー３０を把持して、「スターウォーズ」風のライトセーバーを用いた戦いを行なう戦闘員２１を概略的に示す。戦闘員２１は、任意で、ゲームシステム５０と対話し、ゲームシステム５０は、１秒当たり少なくとも３０枚の画像および奥行きマップのビデオレートで奥行きマップおよび戦闘員の画像を提供する３Ｄ撮像システム５２を備え、３Ｄ撮像システム５２は光軸５３を有する。
【００４２】
当分野で知られる各種の適切なビデオ撮像カメラおよび３Ｄカメラが３Ｄ撮像システム５２に備えられて、戦闘員２１のビデオレート画像と奥行きマップを提供することができる。任意選択で、３Ｄ撮像システム５２は、場面の（任意選択で従来の）画像を提供する撮像カメラと、場面の奥行きマップを提供するためのゲート制御の飛行時間（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）３Ｄカメラを備えたゲート制御３Ｄ撮像システムである。様々な種類および構成のゲート制御飛行時間３Ｄカメラとそのカメラをゲート制御する方法が、米国特許第６，０５７，９０９号、第６，０９１，９０５号、第６，１００，５１７号、第６，４４５，８８４号、第７２２４３８４号、米国特許公開第２００７／００９１１７５号、ＰＣＴ出願ＩＬ２００７／００１５７１、および欧州特許ＥＰ１２１４６０９に記載され、これらの開示は参照により本明細書に組み込まれる。上記の参照特許および出願に記載されるゲート制御３Ｄカメラを使用して場面を撮像し、その場面中の物体までの距離を求めるには、カメラのゲート制御と同期された適切な光源から照射される光（任意でＩＲ光）のパルス列で場面が照明される。照射されるパルス列中の各光パルスにつき、その光パルスが照射された時間から正確に決定された遅延の後に、カメラが、以降で「ゲート」と呼ぶ期間だけゲート制御開放される。場面中の物体から反射された光パルスの光が、そのゲート中にカメラに到達すれば、カメラの感光面上に画像化される。ゲート中にカメラの感光面の画素に記録された光の量を使用して、その画素上に画像化された物体までの距離を求める。
【００４３】
適切なコンピューター５４が、３Ｄ撮像システム５２から画像と奥行きマップを受け取り、それらの画像と奥行きマップによって提供されるデータを処理して、ライトセーバーで戦う戦闘員２１を表すアバター（図１Ａには図示せず）に動きを与える。コンピューターは、適切な映像スクリーン５５を制御して、戦闘員のアバターと、ライトセーバーによる戦いの戦闘員の敵を表す「敵のアバター」であるアバター（図１Ａには図示せず）を表示する。任意選択で、コンピューター５４は、実際の戦闘員の敵に依存せずに敵のアバターを生成する。
【００４４】
本発明の一部の実施形態では、敵のアバターは、別の「本物」のプレーヤー、すなわち、ゲームシステム５０と同様のゲームシステムと対話し、戦闘員２１を撮像する３Ｄ撮像システムと同様の３Ｄ撮像システムによって撮像される戦闘員の敵に応じて生成される。２つのゲームシステムのコンピューター５４は互いと通信して、戦闘員２１に応答して動きが与えられるアバターと敵のアバターを、各自の映像スクリーン５５で戦闘員と敵のアバターに提示される共通のスターウォーズ風の仮想現実の中に置かれ、対話するようにする。戦闘員と敵の戦闘員の対話を図６に示し、下記で説明する。
【００４５】
図１Ｂに概略的に示すライトセーバー３０の拡大図を参照すると、ライトセーバーは、柄３１、手の防具である鍔３２、および、図示の便宜上その長さに沿って円弧で表したライトセーバーの「スタブシャフト」３３を備える。柄３１およびライトセーバーのスタブシャフト３３は、任意選択で実質的に円筒形であり、以後「ライトセーバー」軸と呼ぶ共通の軸３６を共有する。鍔は、ライトセーバー軸３６上の、ライトセーバーのスタブシャフト３３と柄３１との間に位置し、ライトセーバー軸から離れる方向に延びる。任意選択で、鍔３２は、実質的にライトセーバー軸に直交する平面領域３７を有するように形成される。任意選択で、この平面領域は、ライトセーバー軸に対して回転対称であることを特徴とする。任意選択で、平面領域は円形である。例として、戦闘員のライトセーバー３３では、鍔３２は円盤型である。
【００４６】
任意選択で、柄３１は、柄の内部に備わる送信機を有する起動回路（図示せず）を操作するために制御可能な起動ボタン３９を備える。起動ボタン３９は、押されると、光信号やＲＦ信号などの適切な信号をコンピューター５４に送信するように送信機を操作して、ライトセーバーが起動されたことをコンピューターに通知する。起動されると、コンピューターは、コンピューターによって映像スクリーン５５に表示されている、ライトセーバー３０に対応するアバターのライトセーバー中に、比較的長い光の刃を表示する。
【００４７】
本発明の一部の実施形態では、鍔３２は、戦闘員のライトセーバー３０を撮像してライトセーバーの奥行きマップを提供するために使用される光（任意でＩＲ光）を高反射する、ライトセーバー３０の向きを判定する際に利便な基準マークの構成を備える。任意選択で、スタブシャフト３３に面する側の鍔３２の表面領域のほぼ全体が、セーバーを撮像するために使用される光を高反射する。任意選択で、鍔３２の縁の表面領域または柄３１に面する側の鍔の表面領域の少なくとも一部が高反射性である。
【００４８】
本発明の一実施形態では、スタブシャフト３３の表面は、鍔３２の高反射性の表面領域を特徴付ける反射性より低い反射性を有するが、スタブシャフトは、鍔３２から離れたスタブシャフトの先端に位置する高反射性の高輝度基準を備える。スタブシャフトの高輝度基準は、ライトセーバー３０の位置および／または向きを判定する際に有用である可能性がある。任意選択で、高輝度基準は、スタブシャフトの先端に付加された部材の（任意でＩＲ）高反射性の球状表面３４を備える。
【００４９】
任意選択で、柄３１の表面は、鍔３２の高反射性の表面領域を特徴付ける反射性よりも低い反射性を有するが、鍔３２から離れた柄の先端に位置する高反射性の高輝度基準を備え、これは、ライトセーバー３０の位置および／または向きを判定する際に有用である可能性がある。任意選択で、柄の高輝度基準は、（任意でＩＲ）高反射性の円筒形表面３８を有する。任意選択で、柄の高輝度基準は、図１Ｃに概略的に示す環状表面４０を有する。
【００５０】
本発明の一実施形態によると、３Ｄ撮像システム５２の視点から取得された戦闘員のライトセーバー３０の画像中の鍔３２へのスタブシャフト３３の投影が使用されて、戦闘員のライトセーバーの位置および／または向きを得る。一般には、戦闘員のライトセーバー３０の向きがライトセーバーの画像中の鍔の形状に影響し、また任意選択で、撮像された形状が使用されてライトセーバーの向きを判定する。戦闘員のライトセーバー３０の所与の向きについて、画像中の鍔３２の大きさを使用して、ライトセーバーの位置を判定することができる。任意選択で、スタブシャフトの高輝度基準３４の位置を使用して、戦闘員のライトセーバー３０の位置および／または向きを得る。任意選択で、柄の高輝度基準３８および／または４０の位置を使用して、ライトセーバーの位置および／または向きを得る。
【００５１】
例として、図２Ａ〜４Ｆに、図１Ａに示す戦闘員２１に把持された戦闘員のライトセーバー３０の概略的な透視図を示し、これらの図では、戦闘員のライトセーバーは実質的に３Ｄ撮像システム５２の光軸５３に沿って位置し、光軸は、地面に対する法線すなわち垂線に対して約５５度の角度をなすものと想定する。光軸が地面からの法線に対してなす角度を図１Ａに概略的に示す。これらの図では、様々な角度にわたり回転された戦闘員のライトセーバー３０を模式的に示し、本発明の一実施形態により、ライトセーバーの鍔へのライトセーバーのスタブシャフト３３の投影および／またはライトセーバーの高輝度基準３４および／または３８の像を使用してライトセーバーの向きを判定することができる方法を図式的に示す。図は、鍔と高輝度基準の像を使用して、３Ｄ撮像システム５２から戦闘員のライトセーバー３０までの距離を判定することができる方法も図式的に示す。
【００５２】
図２Ａ〜２Ｆは、同一のｙ軸を中心として様々な角度回転させた戦闘員のライトセーバー３０を概略的に示す。
【００５３】
図２Ａは、ライトセーバー軸３６を地面にほぼ直交させて、上に向けて把持された戦闘員のライトセーバー３０の透視図を概略的に示す。図２Ａのライトセーバー軸３６は、スタブシャフト３３に面する鍔３２の表面と同一平面にある、図２Ａに示すｘ軸およびｙ軸を有する座標系のｚ軸方向にあるものと想定する。図２Ｂ〜２Ｆは、図２Ａに示すｙ軸を中心にそれぞれ角度２０度、４０度、５０度、６０度、９０度回転させたライトセーバー３０の透視画像を概略的に示す。図２Ｂ〜２Ｆでは、ライトセーバーは、ｘ軸については回転されない。
【００５４】
各図の下部には、戦闘員のライトセーバーの鍔３２、そのスタブシャフトの高輝度基準３４、および柄の高輝度基準３８の像を示す。戦闘員のライトセーバーが回転した回転角が鍔の下に記される。各図で、戦闘員のライトセーバーの鍔３２へのライトセーバーのスタブシャフト３３の投影部分は、ライトセーバーが３Ｄ撮像システム５２によって撮像され、図に示される回転角について鍔から省略されている。鍔から省略された領域は、図中で戦闘員のライトセーバーが撮像される角度においてスタブシャフトに隠れる鍔の部分であり、投影が戦闘員のライトセーバーの向きに依存することを明瞭に示すために、図示の便宜上省略した。上記で触れたように、本発明の一実施形態によると、スタブシャフト３３は、鍔３２の表面と対比する表面を有するため、３Ｄ撮像システム５２によって取得された戦闘員のライトセーバー３０の画像中で、スタブシャフトに隠れた鍔の部分が比較的容易に認識される。
【００５５】
図２Ａ〜２Ｆから、それらの図中でライトセーバー３０が回転された様々な回転角が、本発明の一実施形態による鍔３２へのスタブシャフト３３の投影から容易に判別できることが分かる。さらに、スタブシャフトの高輝度基準３４および柄の高輝度基準３３の像は、本発明の一実施形態により、戦闘員のライトセーバー３０の位置および／または向きを判定する際に使用できる情報も提供することが分かる。
【００５６】
本発明の一実施形態によると、撮像された鍔３２の形状を使用してライトセーバー３０の向きを判定する。図２Ａ〜２Ｆに示す鍔３２の像から、鍔は任意で円形であるが、画像中ではライトセーバー３０の３Ｄ空間における向きに応じて決まる種々の楕円形状をとり、また、画像中の楕円形状の向きもライトセーバーの向きに依存することが分かる。３Ｄ撮像システム５２から戦闘員のライトセーバー３０までの距離は、任意選択で、ライトセーバーの画像中の鍔３２の長軸の長さと鍔の実際の直径との比から求められる。
【００５７】
図３Ａ〜３Ｅは図２Ａ〜２Ｆと同様であり、それらの図は、図３Ａに示すｘ軸のみを中心に回転させた場合のライトセーバー３０の透視画像を示す。各図で、ライトセーバーの下にライトセーバーの鍔３２が示され、ライトセーバーが３Ｄ撮像システムによって撮像され、図に示される角度におけるライトセーバーのスタブシャフト３３の投影に対応する鍔の領域が切り取られている。ここでも、本発明の一実施形態により、図３Ａ〜３Ｅに示すライトセーバーの様々な向きが鍔３２の像から容易に判別できることが分かる。
【００５８】
図４Ａ〜４Ｆは、ｘ軸およびｙ軸両方を中心に回転させた戦闘員のライトセーバー３０の透視画像を示す。図２Ａ〜２Ｆと同様に、図４Ａ〜４Ｆ各々では、投影部分が省略されたライトセーバーの鍔３２がライトセーバーの下に示され、鍔の下に回転角を示す。これらの図から、戦闘員のライトセーバー３０の向きが、鍔へのライトセーバーのスタブシャフトの投影から容易に判別されることが分かる。
【００５９】
図５に、本発明の一実施形態による、戦闘員のライトセーバー３０の位置および向きを判定するために使用されるアルゴリズム３００の流れ図を示す。
【００６０】
最初のブロック３０２で、３Ｄ撮像システム５２が、戦闘員のライトセーバー３０（図１Ａ〜１Ｃ）の（任意でＩＲの）強度画像と、ライトセーバーの奥行きマップを取得する。ブロック３０４で、コンピューター５４は、任意選択で、画像を処理して、鍔３２、スタブシャフトの高輝度基準３４、および、柄の高輝度基準３８および／または４０の候補となる画像中の領域を特定する。鍔および高輝度基準の候補である画像領域の特定は、鍔と高輝度基準の表面を特徴付ける相対的に高いＩＲ反射性によって支援される。３つの候補画像領域を見つけると、任意選択でブロック３０６で、各候補領域が、鍔３２、スタブシャフトの高輝度基準３４、および柄の高輝度基準３８または３９のうち、それぞれ異なる１つとして識別される。
【００６１】
鍔３２、スタブシャフトの高輝度基準３４、または柄の高輝度基準３８または３９としての候補領域の識別を支援するのは、鍔、スタブシャフトの高輝度基準、および柄の高輝度基準の任意選択で実質的に異なる形状だけではない。本発明の実施形態によると、鍔３２とスタブシャフトの高輝度基準３４との間の距離が、鍔と柄の高輝度基準３８および／または４０との間の距離と異なっている。戦闘員のライトセーバー３０の画像中で、鍔３２の像は、常に、スタブシャフトの高輝度基準３４の像と柄の高輝度基準３８および／または４０の像との間にある。そして、一般には、鍔３２とスタブシャフトの高輝度基準３４の間と、鍔３２と柄の高輝度基準３８または３９の間の異なる実際の距離が、ライトセーバーの画像中における各自の像の間の異なる距離に対応する。その結果、候補画像領域間の異なる距離を使用して、候補領域をライトセーバー３０の各特徴として識別するのを支援することができ、任意選択で実際に使用される。
【００６２】
ブロック３０８で、任意選択で、各候補画像領域が使用されて、その領域が候補であるライトセーバー３０の特徴について、戦闘員のライトセーバー３０の軸３６上にある中心点を求める。例えば、ある画像領域が鍔３２の候補と思われる場合は、その候補領域を使用して鍔の中心点を求める。
【００６３】
ブロック３１０で、求められた中心点を調べて、それらの中心点が、同じ直線に沿って存在するための所定の基準を満たすかどうかを判定する。同一の直線に沿って存在すると判定された場合、アルゴリズム３００は任意選択でブロック３１２に進む。ブロック３１２で、奥行きマップから得られる直線に沿った点までの距離を使用して、３Ｄ撮像システム５２から戦闘員のライトセーバー３０までの距離を求める。任意選択で、この距離は、ブロック３０８で鍔３２について求められた中心点までの距離である。任意選択で、この距離は、中心点について求められた直線に沿った複数の点までの距離の平均である。
【００６４】
ブロック３１４で、戦闘員のライトセーバー軸３６（図１Ｂ）が３Ｄ撮像システム５２の光軸５３に対してなす極角「θ」が、求められた距離、３Ｄ撮像システム５２の光学特性のモデル、およびライトセーバーの画像に応じて求められる。極角θは次数２以内の縮退になるように求められることが分かる。すなわち、所与の画像について、スタブシャフトの高輝度基準３４（図１Ｂ）が３Ｄ撮像システム５２により近い場合の解と、高輝度基準が撮像システムから遠い場合の解、の２つの極角θの解がある。本発明の一実施形態によると、鍔３２の構成と、高輝度基準３４、および３８および／または４０を使用して、どちらの解を採用するかを決定する。ブロック３１６で、鍔３２の形状とライトセーバーの画像中の高輝度基準３４および３８に応じて、光軸３６に対するライトセーバー軸３６の方位角φが求められる。
【００６５】
判定ブロック３０６で３つの候補画像領域が識別されていない場合、または、判定ブロック３１０で候補画像領域の中心が同一の直線に沿って存在しないと判定される場合、アルゴリズム３００は、任意選択で判定ブロック３１８に進む。判定ブロック３１８で、極角θおよび方位角φを求めるのに適した鍔３２の候補領域が戦闘員のライトセーバー３０の画像に存在するかどうかについて判定が行なわれる。そのような候補が見つかる場合、ブロック３２０で、鍔として識別された候補画像領域の形状と、存在する場合には高輝度基準として識別された画像領域が使用されて、極角θと方位角φを求める。
【００６６】
ブロック３１８で、鍔３１８の適切な候補が見つからないと判定される場合は、取得された画像および奥行きマップを処理して戦闘員のライトセーバー３０の位置および向きを求めることが断念され、アルゴリズムは、ブロック３０２に戻って別の画像および奥行きマップを取得する。
【００６７】
図６に、同じくゲームシステム５０を備えてライトセーバー１３０を操る別の戦闘員１２１とライトセーバーによる戦いを行なっている戦闘員２１を模式的に示す。図示の便宜上、挿入図１８１で、ゲームシステム５０に備わる映像スクリーン５５の拡大画像５５＊を示す。拡大画面５５＊は、本発明の一実施形態により、戦闘員２１および１２１が各自のゲームシステムの画面に見るものを示す。各戦闘員２１および１２１の３Ｄ撮像システム５２は、戦闘員の３Ｄ空間位置を判定し、任意選択で、上記のように３Ｄ撮像システムから得られる３Ｄ画像とライトセーバー３０および１３０の３Ｄ空間位置および向きから戦闘員の身体の姿勢を判定する。
【００６８】
各コンピューター５４は、撮像、位置、および向きのデータを相手のコンピューターに送信して、両コンピューターが、それぞれ戦闘員２１および１２１の動きに反応して動かされる映像スクリーン５５に表示されるアバター２２および１２２が存在する、自己矛盾のない共通の仮想現実のスターウォーズの場を生成できるようにする。アバター２２および１２２は、映像スクリーン５５に表示されるアバターのライトセーバー３１および１３１をそれぞれ操る。戦闘員２１または１２１がそれぞれライトセーバー３０または１３０の起動ボタン３９（図１Ｂ）を起動すると、対応する戦闘員のライトセーバー３１または１３１が、起動された光の刃３２または１３２と共に光る。対応する戦闘員２１または１２１によって起動されたライトセーバー３１または１３１は、対応する戦闘員が適切にライトセーバー３０または１３０を動かし、操ることにより、敵の戦闘員のアバター１２２または２２にそれぞれ打撃を加え、ダメージを与えるように動かされることができる。アバター２２または１２２に加えられる打撃は、敵のアバターの戦闘員１２１または２１がそれぞれ各自のライトセーバー１３０または３０を適切に操る技量を持つ場合は、敵のアバター１２２または２２にかわされることもできる。戦闘員２１または１２１は、映像スクリーン５５に表示される仮想現実のスターウォーズ風の戦闘におけるアバターの位置と動きに応じて、アバター２２または１２２とアバターのライトセーバー３１または１３１を動かす。アバターのライトセーバー３１および１３１と敵のアバター１２２および２２との接触等、仮想現実のスターウォーズの場におけるアバターとオブジェクトの接触は、適切なｚバッファを使用する等、当分野で知られる各種方法を使用して求められる。
【００６９】
仮想現実の場とその場に存在するアバターを表示するための各種方法およびフォーマットがあることが理解される。図６では、各戦闘員２１および１２１には、自身のアバターは一部のみが見え、アバターの光の刃が戦闘員の目の前にあるかのように見える。言うまでもなく、仮想現実およびアバターを提示する他の方法が使用でき、利便である可能性がある。例えば、各コンピューター５４は、両アバターの全身を表示するように対応する映像スクリーンを制御することができる。
【００７０】
本発明の実施形態によっては、ライトセーバー３０と同様のライトセーバー等のライトセーバーが、擬似的な軽量の光の刃を収容するように構成され、ライトセーバーは、ライトセーバーが起動された時に光の刃を点灯させるための適切な光源を備える。図７に、ライトセーバーのスタブシャフト２０３を覆うように嵌合する軽量の光の刃２０２を備えたライトセーバー２００を概略的に示す。光の刃２０２は、光を拡散および反射する素材で形成され、ライトセーバー２００は光源２０４を備え、光源２０４は、オンになると光の刃２０２をその長さにわたって点灯させる。例えば、光の刃２０２は、任意選択で、光を拡散的に散乱させる内側壁を有するポリウレタン製のチューブとして形成される。任意選択で、光の刃２０２は、光の刃の外側に装着された環状の高輝度基準２０６を備える。
【００７１】
図８Ａ〜８Ｃに、本発明の一実施形態による、スケートボードの向きを判定するために使用される高輝度基準マーク４０１および４０２を有するスケートボード４００を概略的に示す。各図は、スケートボードが画像化される、３Ｄ撮像システム５２に備わる模式的な感光面４２０を示す。スケートボード４００の種々の向きについて、高輝度基準マーク４０１および４０２の模式的な像４１１および４１２が感光面４２０に図示される。図８Ａは、感光面４２０の高輝度基準４０１および４０２の像がスケートボード４００の偏揺れ角の変化と共に変化する様子を概略的に示す。図８Ｂは、感光面４２０の高輝度基準４０１および４０２の像がスケートボード４００の縦揺れの変化と共に変化する様子を概略的に示す。図８Ｃは、感光面４２０の高輝度基準４０１および４０２の像がスケートボード４００の横揺れ角の変化と共に変化する様子を概略的に示す。
【００７２】
言うまでもなく、上記で言及するスケートボードは、必ずしも実際のスケートボードではなく、任意の適切なスケートボードシミュレータであってよいことが認識される。例えば、シミュレータは、任意選択で、スケートボードに似た形状の板を備えるが、車輪の上に取り付けられる代わりに、任意選択で、シミュレータの使用者がスケートボードに乗っている動きをシミュレートできるようにする１組のジンバルの上に取り付けられる。
【００７３】
本願の説明およびクレームでは、動詞「〜を備える」、「〜を含む」、「〜を有する」、およびそれらの活用形は、それぞれ、その動詞の目的語が、その動詞の主語の部材、構成要素、要素、または部分の必ずしも完全な列挙ではないことを意味するものとして使用される。
【００７４】
本発明について、その実施形態を参照して説明したが、実施形態は例として提供されるものであり、本発明の範囲を限定するものではない。ここに記載される実施形態は、異なる特徴を備え、それらの特徴のすべてが本発明のすべての実施形態で必要とされる訳ではない。本発明の実施形態によっては、それら特徴の一部あるいはそれら特徴の可能な組み合わせのみを利用するものもある。ここに記載される本発明の実施形態の変形形態と、ここに記載される実施形態で述べるものとは異なる特徴の組み合わせを有する本発明の実施形態が、当業者に着想されよう。本発明の範囲は、以下の特許請求の範囲のみによって限定される。
【技術分野】
【０００１】
本願は、米国特許法第１１９条（ｅ）に基づき、２００８年５月２６日出願の米国仮特許出願第６１／０５６，０２７号の利益を主張する。同出願の開示は参照により本明細書に組み込まれる。
【０００２】
本発明は、人間とコンピューターとのインターフェイスをとること、および、任意選択で、人をコンピューターと一体化させて仮想現実を作り出すことに関する。
【背景技術】
【０００３】
始めにマウスとキーボードがあった。そして、マウスとキーボードが人間とコンピューターの橋渡しとなった。しかし、技術の発展と共に、コンピューターは、マウスとキーボードで得られたインターフェイスよりもシームレスで自然な人間ユーザーとのインターフェイスを使用、または必要とする、比較的複雑でリアルタイムの多数のユーザーアプリケーションを提供するのに十分なデータを受け取って処理する能力を獲得した。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
人間とマシン間の高度なインターフェイスを使用する、または必要とする一般的なアプリケーションは、例として、ユーザーが話しかけることによってコンピューターにデータを入力できる音声認識サービス、携帯電話のコンピューターゲーム、リアルタイムで動作する仮想現実等である。このようなアプリケーションの多くは、ジェスチャを行なっている人の画像に応答した人間のジェスチャを解釈および／または使用する能力を必要とするか、またはそのような能力から利益を得る可能性がある。その結果、視覚データをリアルタイムで受け取り、そのデータを処理して人間のジェスチャを認識および解釈することが可能なジェスチャ認識装置およびアルゴリズムの開発に多大な研究労力と資源が投資されている。
【０００５】
人間のジェスチャは、他者および／またはコンピューターに情報を伝える意識的または無意識的な身体言語の要素と考えられる。例として、ジェスチャは、他者および／またはコンピューターに反応して行なわれる意識的または無意識的な顔の表情、ビデオゲーム、仮想現実環境、またはマルチメディアの提示によって提供される課題や刺激に反応して行なわれる手または身体のポーズや動き等である。ジェスチャ認識技術（ＧＲＴ）は、ジェスチャを行なっている人の画像に反応した人間のジェスチャを認識、解釈、および／または使用するように構成された、ハードウェアおよび／またはソフトウェア技術を含むものとみなされる。
【課題を解決するための手段】
【０００６】
本発明の一部の実施形態の一態様は、コンピューターと対話するために人によって使用される物体の空間位置および／または向きを判定する方法を提供することに関する。
【０００７】
本発明の一部の実施形態の一態様は、物体の（任意選択で従来の）２Ｄ画像から物体の３Ｄ空間位置および／または向きを判定するために使用できる第１および第２の部分を備えた構造を有する物体を形成することに関する。本発明の一実施形態では、物体の画像中における構造の第２の部分への構造の第１の部分の投影が、物体の向きの指示を提供する。任意選択で、第１および第２の部分が使用されて、物体および／または物体が位置する場面の３Ｄの「奥行きマップ」に応じて、物体の位置および／または向きを判定する。
【０００８】
本発明の一部の実施形態の一態様によると、物体は、物体の位置および／または向きを示すための基準マークの発明的構成を備える。任意選択で、この基準マークが使用されて、物体の従来の２Ｄ画像から物体の向きを判定する。任意選択で、基準マークが使用されて、物体および／または物体が位置する場面の３Ｄ奥行きマップに応じて、物体の位置および／または向きを判定する。
【０００９】
本発明の一部の実施形態の一態様は、人の空間位置および身体のポーズ（「姿勢」とも呼ぶ）を判定し、その位置および／またはポーズを物体の位置および向きと融合することに関する。
【００１０】
本発明の一部の実施形態の一態様によると、物体は、適切なコンピューターによって生成および制御される「スターウォーズ」風の戦闘ゲームで、任意でプレーヤー（以後「戦闘員」）によって使用される、ライトセーバーのシミュレーションである。
【００１１】
本発明の一実施形態では、リアルタイムでビデオレートの戦闘員の奥行きマップおよび画像を提供する３Ｄ撮像システムを任意選択で使用して、ライトセーバーを把持する戦闘員を撮像して、戦闘員の映像を提供する。奥行きマップおよび／または画像がコンピューターで処理されて、ライトセーバーの３Ｄ空間位置および向き、ならびに任意で戦闘員の位置および戦闘員の姿勢を時間の関数として求める。コンピューターは、ライトセーバーの位置および向き、ならびに任意で戦闘員の位置および向きを使用して、コンピューターによって制御される適切な映像スクリーンに提示されるスターウォーズ風の戦闘ゲーム中でライトセーバーを把持したアバターに動きを与える。
【００１２】
説明の便宜上、戦闘員に把持されたライトセーバーを、映像スクリーン上のアバターによって把持されたライトセーバーと区別するために、アバターのライトセーバーを、一般に「アバターのライトセーバー」と呼び、戦闘員のライトセーバーを一般に「戦闘員のライトセーバー」と呼ぶ。
【００１３】
任意選択で、戦闘員のライトセーバーは、柄（つか）、「鍔（つば）」と呼ぶ手の防具、および、ライトセーバーの「スタブシャフト」を備える。柄とライトセーバーのスタブシャフトは、任意で実質的に円筒形であり、以後「ライトセーバー軸」と呼ぶ共通の軸を共有する。鍔は、ライトセーバー軸上のライトセーバーのスタブシャフトと柄との間に位置し、ライトセーバー軸から離れる方向に延び、そのため、ライトセーバーが見られる様々な視点から見て、スタブシャフトが鍔の少なくとも一部分に投影される。すなわち、スタブシャフトが鍔の少なくとも一部分を「覆い隠す」。任意選択で、鍔は、ライトセーバー軸に実質的に直交する平面領域を有するように形成される。任意選択で、この平面領域は、ライトセーバー軸に対して回転対称であることを特徴とする。任意選択で、平面領域は円形である。ライトセーバーを撮像する３Ｄ撮像システムの視点から取得されたライトセーバーの画像における鍔へのスタブシャフトの投影が、ライトセーバーの向きの指示を提供する。一般に、ライトセーバーの向きがライトセーバーの画像中における鍔の形状に影響し、任意選択で、撮像された形状が使用されてライトセーバーの向きを判定する。
【００１４】
任意選択で、スタブシャフトおよび鍔の表面領域は、鍔へのスタブシャフトの投影が比較的容易に判別されるように製造される。任意選択で、鍔とスタブシャフトの表面領域は、戦闘員のライトセーバーの画像中で投影の判別を支援するのに十分に異なる反射性を有するように構成される。本発明の一実施形態では、鍔の表面領域は、ライトセーバーを撮像するために使用される光に対して相対的に高い反射性を有するように被覆または形成される。
【００１５】
本発明の一実施形態では、ライトセーバーは、ライトセーバーの画像中で比較的容易に識別される少なくとも１つの反射性の基準を有して提供される。識別された少なくとも１つの基準が使用されて、画像中の少なくとも１つの高輝度基準の位置および向きに応じて、ライトセーバーの空間位置および／または向きを判定する。
【００１６】
任意選択で、この少なくとも１つの反射性の基準（以後「高輝度基準」とも呼ぶ）は、カメラの近傍に位置する光源からの光で照明された時に、実質的に不変の、相対的に強い輝度を有するように見えるように成形された反射性の要素を含む。任意選択で、高輝度基準は、ライトセーバーのスタブシャフトの先端に配置された、ライトセーバー軸に実質的に沿って位置する中心を有する球状領域を含む。任意選択で、少なくとも１つの反射性の基準は、実質的にライトセーバー軸と一致する回転軸を有する環状領域を含む。本発明の一実施形態では、少なくとも１つの高輝度基準は、その反射性に応答して識別される。任意選択で、反射性は、３Ｄ撮像システムによって提供される戦闘員およびライトセーバーの奥行きマップおよび画像から得られるデータに応答して判別される。
【００１７】
本発明の一実施形態では、使用および安全性の都合上、戦闘員のライトセーバーのスタブシャフトは、比較的短く、任意選択で約３０ｃｍ以下である。任意選択で、戦闘員のライトセーバーは、戦闘員のライトセーバーが起動されたことをコンピューターに通知する信号を提供するために戦闘員が操作可能な起動機構を備える。非起動時、アバターのライトセーバーは、戦闘員のライトセーバーのスタブシャフトを「模した」スタブシャフトを有するように表示される。起動されると、アバターのライトセーバーは、アバターのライトセーバーの鍔から延び、スタブシャフトに取って代わる、比較的長い「光の刃」を有するように表示される。任意選択で、起動機構は、視覚的合図を提供するために操作可能な機械機構を備え、その視覚的合図が３Ｄ撮像システムによって検出されて、戦闘員およびアバターのライトセーバーを起動する信号を提供させる。任意選択で、起動機構は、戦闘員のライトセーバーの柄表面のボタンスイッチを押す、または柄に圧力を加えることによって戦闘員およびアバターのライトセーバーを起動するために操作される回路を備える。任意選択で、起動回路は、起動回路が操作されると点灯してライトセーバーが起動されたことを知らせる照明を備える。任意選択で、コンピューターは、戦闘員および戦闘員のライトセーバーを撮像する撮像システムから提供される画像に応答して、回路が操作され、照明が点灯したことを判定する。任意選択で、起動回路は、戦闘員のライトセーバーが起動された時に、コンピューターに結合された適切な受信機によって受信可能な、ＲＦ信号等の「起動信号」を送信する送信機を備える。
【００１８】
本発明の一部の実施形態では、戦闘員のライトセーバーのライトセーバー・スタブシャフトは、光の刃を模した比較的長い延長部分を備えるように構成される。任意選択で、この延長部分は、ポリウレタン等の軽量であるが硬質の適切な材料を含むチューブとして形成される。チューブは、戦闘員のライトセーバーのスタブシャフトに固定して取り付けられるように穴を有して形成される。任意選択で、延長部分の材料は、実質的に透光性であり、かつ／または、適切な透光性の材料で満たされ、ライトセーバーは光源を備える。ライトセーバーが起動されると、延長部分がその長さに沿って視覚的に点灯され、光の刃の印象を与える。
【００１９】
したがって、本発明の一実施形態によれば、人とコンピューターとのインターフェイスをとる方法が提供され、この方法は、軸を有するシャフト、シャフトに接続された鍔であって、軸から離れる方向に延び、シャフトに面する第１の側を有する鍔、および鍔の第１の側と反対側にある第２の側にある柄を有する装置を人に提供するステップと、装置の画像を取得するステップと、画像に応答して装置の向きを判定するステップと、向きに応答してコンピューターによって動作を生成するステップとを含む。
【００２０】
任意選択で、向きを判定するステップは、鍔へのシャフトの投影を判定するステップを含む。
【００２１】
それに加えて、またはその代わりに、向きを判定するステップは、任意選択で、鍔の既知の形状と比較した、画像中の鍔の形状を判定するステップを含む。任意選択で、鍔は円形の外面を有する。任意選択で、画像中の鍔の形状を判定するステップは、画像中の形状の長軸および短軸を求めるステップを含む。
【００２２】
本発明の一部の実施形態では、この方法は、判定された形状に応じて装置の３Ｄ空間座標を求めるステップを含む。
【００２３】
本発明の一部の実施形態では、向きを判定するステップは、座標系を基準とした軸の極角を求めるステップを含む。任意選択で、極角を求めるステップは、極角を求める際の縮退を除去するステップを含む。本発明の一部の実施形態では、向きを判定するステップは、軸の方位角を求めるステップを含む。
【００２４】
本発明の一部の実施形態では、向きを判定するステップは、画像中の装置の３つの領域各々の３Ｄ空間座標を求めるステップと、座標が実質的に同一の直線に沿って存在するかどうかを判定するステップと、その座標を使用して向きを判定するステップと
を含む。
【００２５】
本発明の一部の実施形態では、この方法は、シャフトの表面および鍔の第１の表面に相対的に強化されたコントラストを与えるステップを含む。任意選択で、相対的に強化されたコントラストを与えるステップは、鍔の表面に相対的に高い反射性を与えるステップを含む。それに加えて、またはその代わりに、相対的に強化されたコントラストを与えるステップは、シャフトの表面に相対的に低い反射性を与えるステップを含む。
【００２６】
本発明の一部の実施形態では、この方法は、装置の特徴の位置特定を支援する少なくとも１つの基準マークを装置に備えるステップを含む。任意選択で、少なくとも１つの基準マークは、シャフトの先端にある相対的に高輝度の反射性の基準を含む。任意選択で、この方法は、装置の向きに関係なく実質的に同じ輝度を有するようにシャフトの先端に基準を構成するステップを含む。それに加えて、またはその代わりに、シャフトの先端にある基準は、任意選択で、高反射性の球状表面を備える。本発明の一部の実施形態では、少なくとも１つの基準マークは、鍔の外面に沿った高反射性の領域を備える。
【００２７】
本発明の一部の実施形態では、画像を取得するステップは、装置の３Ｄ奥行きマップ画像を取得するステップを含む。
【００２８】
本発明の一部の実施形態では、画像を取得するステップは、装置のコントラスト画像を取得するステップを含む。
【００２９】
本発明の一部の実施形態では、コンピューターにより動作を生成するステップは、アバターに動きを与えるステップを含む。任意選択で、アバターは仮想現実の中に置かれる。任意選択で、アバターに動きを与えるステップは、仮想現実の要素と対話するようにアバターに動きを与えるステップを含む。
【００３０】
本発明の一部の実施形態では、この方法は、人の３Ｄ空間座標を求めるステップを含む。任意選択で、空間座標を求めるステップは、人の３Ｄ奥行き画像を取得し、その奥行き画像を使用して座標を求めるステップを含む。それに加えて、またはその代わりに、この方法は、求められた座標に応じて、仮想現実中のアバターの位置を求めるステップを含む。
【００３１】
本発明の一部の実施形態では、この方法は、人の姿勢を判定するステップを含む。任意選択で、姿勢を判定するステップは、人の３Ｄ奥行き画像を取得し、その奥行き画像を使用して姿勢を判定するステップを含む。それに加えて、またはその代わりに、この方法は、判定された人の姿勢に応じて、アバターの姿勢を求めるステップを含む。
【００３２】
本発明の一部の実施形態では、アバターは、仮想現実中の第１のアバターであり、要素は、仮想現実中で動作する第２のアバターである。任意選択で、人の動作に応答して第２のアバターに動きが与えられる。任意選択で、本発明の一実施形態により第２のアバターに動きが与えられる。
【００３３】
本発明の一部の実施形態では、仮想現実は、コンピューターゲームの現実感である。任意選択で、第１および第２のアバターは、コンピューターゲーム中で互いと戦闘を行なう。任意選択で、戦闘は、模擬的なスターウォーズ風の戦闘である。
【００３４】
本発明の一実施形態により、請求項いずれかに記載の方法に従って人とのインターフェイスをとるようにコンピューターを構成する命令セットを備えたコンピューター可読媒体がさらに提供される。
【００３５】
本発明の一実施形態により、人とのインターフェイスをとるシステムがさらに提供され、このシステムは、軸を有するシャフト、シャフトに接続された鍔であって、軸から離れる方向に延び、シャフトに面する第１の側を有する鍔、および、鍔の第１の側の反対側にある第２の側にある柄、を有する、人によって操作される装置と、装置の撮像データを取得する撮像装置と、撮像データを受け取り、受け取ったデータを処理して装置の向きを判定し、その向きに応答して動作を生成するように構成されたコンピューターとを備える。
【００３６】
任意選択で、このシステムは、受け取ったデータを処理するようにコンピューターを構成する命令セットを備えたコンピューター可読媒体を備える。それに加えて、またはその代わりに、このシステムは、動作を生成するようにコンピューターを構成する命令セットを備えたコンピューター可読媒体を備える。
【００３７】
任意選択で、コンピューターにより動作を生成するステップは、アバターに動きを与えるステップを含む。任意選択で、アバターは仮想現実の中に置かれる。任意選択で、アバターに動きを与えるステップは、仮想現実の要素と対話するようにアバターに動きを与えるステップを含む。任意選択で、アバターは、仮想現実中の第１のアバターであり、要素は、仮想現実中で動作する第２のアバターである。任意選択で、人の動作に応答して第２のアバターに動きが与えられる。
【００３８】
本発明の一実施形態により、人とコンピューターとのインターフェイスをとる方法がさらに提供され、この方法は、人が立つ台、人が台にかかる自身の体重を移動することによって台の向きを変えることを可能にする、台が取り付けられる１組のジンバル、および、少なくとも１つの基準マークを有する装置を人に提供するステップと、少なくとも１つの基準マークの画像を取得するステップと、画像に応答して装置の向きを判定するステップと、向きに応答してコンピューターによって動作を生成するステップとを含む。任意選択で、少なくとも１つの基準は、台の縁部に沿った基準を含む。任意選択で、少なくとも１つの基準は、２つの基準マークを含む。任意選択で、２つの基準マークは、基準が付加されてない、縁部に沿った比較的狭い領域によって隔てられた、少なくとも２つの比較的近接した基準マークを含む。
【００３９】
以下で、この段落の後に列挙される添付図面を参照して、本発明の実施形態の非限定的な例を説明する。２つ以上の図に出現する同一の構造、要素、または部分は、一般に、それらが出現するすべての図において同一の参照符号で表される。図に示す構成要素および特徴の大きさは、図示の便宜と分かりやすさのために選択され、必ずしも一定の縮尺ではない。
【図面の簡単な説明】
【００４０】
【図１Ａ】本発明の一実施形態による、ライトセーバーを把持した戦闘員の透視図を概略的に示す図である。
【図１Ｂ】本発明の一実施形態による、図１Ａの戦闘員に把持されるライトセーバーの透視拡大図を概略的に示す図である。
【図１Ｃ】本発明の一実施形態による、図１Ｂに示す視点と異なる視点から図１Ａの戦闘員に把持されたライトセーバーを概略的に示す図である。
【図２Ａ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図２Ｂ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図２Ｃ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図２Ｄ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図２Ｅ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図２Ｆ】本発明の一実施形態により、同一のｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影および／またはライトセーバーの高輝度基準の像を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図３Ａ】本発明の一実施形態により、同一のｘ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図３Ｂ】本発明の一実施形態により、同一のｘ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図３Ｃ】本発明の一実施形態により、同一のｘ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図３Ｄ】本発明の一実施形態により、同一のｘ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図３Ｅ】本発明の一実施形態により、同一のｘ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ａ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ｂ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ｃ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ｄ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ｅ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図４Ｆ】本発明の一実施形態により、ｘ軸およびｙ軸を中心に様々な角度回転させた図１Ｂに示すライトセーバーと、ライトセーバーの鍔へのライトセーバーのスタブシャフトの投影を使用してライトセーバーの向きを判定することができる方法を概略的に示す図である。
【図５】本発明の一実施形態による、戦闘員のライトセーバーの位置および向きを判定する方法の流れ図である。
【図６】本発明の一実施形態による、２人の戦闘員によって行なわれる仮想現実のスターウォーズ風の戦闘を概略的に示す図である。
【図７】本発明の一実施形態による、光の刃を備えるライトセーバーを概略的に示す図である。
【図８Ａ】本発明の一実施形態による、スケートボードと、スケートボードの向きを判定する際に使用できるスケートボード表面の高輝度基準を概略的に示す図である。
【図８Ｂ】本発明の一実施形態による、スケートボードと、スケートボードの向きを判定する際に使用できるスケートボード表面の高輝度基準を概略的に示す図である。
【図８Ｃ】本発明の一実施形態による、スケートボードと、スケートボードの向きを判定する際に使用できるスケートボード表面の高輝度基準を概略的に示す図である。
【発明を実施するための形態】
【００４１】
図１Ａに、本発明の一実施形態によるプレーヤー、すなわち、図１Ｂに大幅に拡大して示すライトセーバー３０を把持して、「スターウォーズ」風のライトセーバーを用いた戦いを行なう戦闘員２１を概略的に示す。戦闘員２１は、任意で、ゲームシステム５０と対話し、ゲームシステム５０は、１秒当たり少なくとも３０枚の画像および奥行きマップのビデオレートで奥行きマップおよび戦闘員の画像を提供する３Ｄ撮像システム５２を備え、３Ｄ撮像システム５２は光軸５３を有する。
【００４２】
当分野で知られる各種の適切なビデオ撮像カメラおよび３Ｄカメラが３Ｄ撮像システム５２に備えられて、戦闘員２１のビデオレート画像と奥行きマップを提供することができる。任意選択で、３Ｄ撮像システム５２は、場面の（任意選択で従来の）画像を提供する撮像カメラと、場面の奥行きマップを提供するためのゲート制御の飛行時間（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）３Ｄカメラを備えたゲート制御３Ｄ撮像システムである。様々な種類および構成のゲート制御飛行時間３Ｄカメラとそのカメラをゲート制御する方法が、米国特許第６，０５７，９０９号、第６，０９１，９０５号、第６，１００，５１７号、第６，４４５，８８４号、第７２２４３８４号、米国特許公開第２００７／００９１１７５号、ＰＣＴ出願ＩＬ２００７／００１５７１、および欧州特許ＥＰ１２１４６０９に記載され、これらの開示は参照により本明細書に組み込まれる。上記の参照特許および出願に記載されるゲート制御３Ｄカメラを使用して場面を撮像し、その場面中の物体までの距離を求めるには、カメラのゲート制御と同期された適切な光源から照射される光（任意でＩＲ光）のパルス列で場面が照明される。照射されるパルス列中の各光パルスにつき、その光パルスが照射された時間から正確に決定された遅延の後に、カメラが、以降で「ゲート」と呼ぶ期間だけゲート制御開放される。場面中の物体から反射された光パルスの光が、そのゲート中にカメラに到達すれば、カメラの感光面上に画像化される。ゲート中にカメラの感光面の画素に記録された光の量を使用して、その画素上に画像化された物体までの距離を求める。
【００４３】
適切なコンピューター５４が、３Ｄ撮像システム５２から画像と奥行きマップを受け取り、それらの画像と奥行きマップによって提供されるデータを処理して、ライトセーバーで戦う戦闘員２１を表すアバター（図１Ａには図示せず）に動きを与える。コンピューターは、適切な映像スクリーン５５を制御して、戦闘員のアバターと、ライトセーバーによる戦いの戦闘員の敵を表す「敵のアバター」であるアバター（図１Ａには図示せず）を表示する。任意選択で、コンピューター５４は、実際の戦闘員の敵に依存せずに敵のアバターを生成する。
【００４４】
本発明の一部の実施形態では、敵のアバターは、別の「本物」のプレーヤー、すなわち、ゲームシステム５０と同様のゲームシステムと対話し、戦闘員２１を撮像する３Ｄ撮像システムと同様の３Ｄ撮像システムによって撮像される戦闘員の敵に応じて生成される。２つのゲームシステムのコンピューター５４は互いと通信して、戦闘員２１に応答して動きが与えられるアバターと敵のアバターを、各自の映像スクリーン５５で戦闘員と敵のアバターに提示される共通のスターウォーズ風の仮想現実の中に置かれ、対話するようにする。戦闘員と敵の戦闘員の対話を図６に示し、下記で説明する。
【００４５】
図１Ｂに概略的に示すライトセーバー３０の拡大図を参照すると、ライトセーバーは、柄３１、手の防具である鍔３２、および、図示の便宜上その長さに沿って円弧で表したライトセーバーの「スタブシャフト」３３を備える。柄３１およびライトセーバーのスタブシャフト３３は、任意選択で実質的に円筒形であり、以後「ライトセーバー」軸と呼ぶ共通の軸３６を共有する。鍔は、ライトセーバー軸３６上の、ライトセーバーのスタブシャフト３３と柄３１との間に位置し、ライトセーバー軸から離れる方向に延びる。任意選択で、鍔３２は、実質的にライトセーバー軸に直交する平面領域３７を有するように形成される。任意選択で、この平面領域は、ライトセーバー軸に対して回転対称であることを特徴とする。任意選択で、平面領域は円形である。例として、戦闘員のライトセーバー３３では、鍔３２は円盤型である。
【００４６】
任意選択で、柄３１は、柄の内部に備わる送信機を有する起動回路（図示せず）を操作するために制御可能な起動ボタン３９を備える。起動ボタン３９は、押されると、光信号やＲＦ信号などの適切な信号をコンピューター５４に送信するように送信機を操作して、ライトセーバーが起動されたことをコンピューターに通知する。起動されると、コンピューターは、コンピューターによって映像スクリーン５５に表示されている、ライトセーバー３０に対応するアバターのライトセーバー中に、比較的長い光の刃を表示する。
【００４７】
本発明の一部の実施形態では、鍔３２は、戦闘員のライトセーバー３０を撮像してライトセーバーの奥行きマップを提供するために使用される光（任意でＩＲ光）を高反射する、ライトセーバー３０の向きを判定する際に利便な基準マークの構成を備える。任意選択で、スタブシャフト３３に面する側の鍔３２の表面領域のほぼ全体が、セーバーを撮像するために使用される光を高反射する。任意選択で、鍔３２の縁の表面領域または柄３１に面する側の鍔の表面領域の少なくとも一部が高反射性である。
【００４８】
本発明の一実施形態では、スタブシャフト３３の表面は、鍔３２の高反射性の表面領域を特徴付ける反射性より低い反射性を有するが、スタブシャフトは、鍔３２から離れたスタブシャフトの先端に位置する高反射性の高輝度基準を備える。スタブシャフトの高輝度基準は、ライトセーバー３０の位置および／または向きを判定する際に有用である可能性がある。任意選択で、高輝度基準は、スタブシャフトの先端に付加された部材の（任意でＩＲ）高反射性の球状表面３４を備える。
【００４９】
任意選択で、柄３１の表面は、鍔３２の高反射性の表面領域を特徴付ける反射性よりも低い反射性を有するが、鍔３２から離れた柄の先端に位置する高反射性の高輝度基準を備え、これは、ライトセーバー３０の位置および／または向きを判定する際に有用である可能性がある。任意選択で、柄の高輝度基準は、（任意でＩＲ）高反射性の円筒形表面３８を有する。任意選択で、柄の高輝度基準は、図１Ｃに概略的に示す環状表面４０を有する。
【００５０】
本発明の一実施形態によると、３Ｄ撮像システム５２の視点から取得された戦闘員のライトセーバー３０の画像中の鍔３２へのスタブシャフト３３の投影が使用されて、戦闘員のライトセーバーの位置および／または向きを得る。一般には、戦闘員のライトセーバー３０の向きがライトセーバーの画像中の鍔の形状に影響し、また任意選択で、撮像された形状が使用されてライトセーバーの向きを判定する。戦闘員のライトセーバー３０の所与の向きについて、画像中の鍔３２の大きさを使用して、ライトセーバーの位置を判定することができる。任意選択で、スタブシャフトの高輝度基準３４の位置を使用して、戦闘員のライトセーバー３０の位置および／または向きを得る。任意選択で、柄の高輝度基準３８および／または４０の位置を使用して、ライトセーバーの位置および／または向きを得る。
【００５１】
例として、図２Ａ〜４Ｆに、図１Ａに示す戦闘員２１に把持された戦闘員のライトセーバー３０の概略的な透視図を示し、これらの図では、戦闘員のライトセーバーは実質的に３Ｄ撮像システム５２の光軸５３に沿って位置し、光軸は、地面に対する法線すなわち垂線に対して約５５度の角度をなすものと想定する。光軸が地面からの法線に対してなす角度を図１Ａに概略的に示す。これらの図では、様々な角度にわたり回転された戦闘員のライトセーバー３０を模式的に示し、本発明の一実施形態により、ライトセーバーの鍔へのライトセーバーのスタブシャフト３３の投影および／またはライトセーバーの高輝度基準３４および／または３８の像を使用してライトセーバーの向きを判定することができる方法を図式的に示す。図は、鍔と高輝度基準の像を使用して、３Ｄ撮像システム５２から戦闘員のライトセーバー３０までの距離を判定することができる方法も図式的に示す。
【００５２】
図２Ａ〜２Ｆは、同一のｙ軸を中心として様々な角度回転させた戦闘員のライトセーバー３０を概略的に示す。
【００５３】
図２Ａは、ライトセーバー軸３６を地面にほぼ直交させて、上に向けて把持された戦闘員のライトセーバー３０の透視図を概略的に示す。図２Ａのライトセーバー軸３６は、スタブシャフト３３に面する鍔３２の表面と同一平面にある、図２Ａに示すｘ軸およびｙ軸を有する座標系のｚ軸方向にあるものと想定する。図２Ｂ〜２Ｆは、図２Ａに示すｙ軸を中心にそれぞれ角度２０度、４０度、５０度、６０度、９０度回転させたライトセーバー３０の透視画像を概略的に示す。図２Ｂ〜２Ｆでは、ライトセーバーは、ｘ軸については回転されない。
【００５４】
各図の下部には、戦闘員のライトセーバーの鍔３２、そのスタブシャフトの高輝度基準３４、および柄の高輝度基準３８の像を示す。戦闘員のライトセーバーが回転した回転角が鍔の下に記される。各図で、戦闘員のライトセーバーの鍔３２へのライトセーバーのスタブシャフト３３の投影部分は、ライトセーバーが３Ｄ撮像システム５２によって撮像され、図に示される回転角について鍔から省略されている。鍔から省略された領域は、図中で戦闘員のライトセーバーが撮像される角度においてスタブシャフトに隠れる鍔の部分であり、投影が戦闘員のライトセーバーの向きに依存することを明瞭に示すために、図示の便宜上省略した。上記で触れたように、本発明の一実施形態によると、スタブシャフト３３は、鍔３２の表面と対比する表面を有するため、３Ｄ撮像システム５２によって取得された戦闘員のライトセーバー３０の画像中で、スタブシャフトに隠れた鍔の部分が比較的容易に認識される。
【００５５】
図２Ａ〜２Ｆから、それらの図中でライトセーバー３０が回転された様々な回転角が、本発明の一実施形態による鍔３２へのスタブシャフト３３の投影から容易に判別できることが分かる。さらに、スタブシャフトの高輝度基準３４および柄の高輝度基準３３の像は、本発明の一実施形態により、戦闘員のライトセーバー３０の位置および／または向きを判定する際に使用できる情報も提供することが分かる。
【００５６】
本発明の一実施形態によると、撮像された鍔３２の形状を使用してライトセーバー３０の向きを判定する。図２Ａ〜２Ｆに示す鍔３２の像から、鍔は任意で円形であるが、画像中ではライトセーバー３０の３Ｄ空間における向きに応じて決まる種々の楕円形状をとり、また、画像中の楕円形状の向きもライトセーバーの向きに依存することが分かる。３Ｄ撮像システム５２から戦闘員のライトセーバー３０までの距離は、任意選択で、ライトセーバーの画像中の鍔３２の長軸の長さと鍔の実際の直径との比から求められる。
【００５７】
図３Ａ〜３Ｅは図２Ａ〜２Ｆと同様であり、それらの図は、図３Ａに示すｘ軸のみを中心に回転させた場合のライトセーバー３０の透視画像を示す。各図で、ライトセーバーの下にライトセーバーの鍔３２が示され、ライトセーバーが３Ｄ撮像システムによって撮像され、図に示される角度におけるライトセーバーのスタブシャフト３３の投影に対応する鍔の領域が切り取られている。ここでも、本発明の一実施形態により、図３Ａ〜３Ｅに示すライトセーバーの様々な向きが鍔３２の像から容易に判別できることが分かる。
【００５８】
図４Ａ〜４Ｆは、ｘ軸およびｙ軸両方を中心に回転させた戦闘員のライトセーバー３０の透視画像を示す。図２Ａ〜２Ｆと同様に、図４Ａ〜４Ｆ各々では、投影部分が省略されたライトセーバーの鍔３２がライトセーバーの下に示され、鍔の下に回転角を示す。これらの図から、戦闘員のライトセーバー３０の向きが、鍔へのライトセーバーのスタブシャフトの投影から容易に判別されることが分かる。
【００５９】
図５に、本発明の一実施形態による、戦闘員のライトセーバー３０の位置および向きを判定するために使用されるアルゴリズム３００の流れ図を示す。
【００６０】
最初のブロック３０２で、３Ｄ撮像システム５２が、戦闘員のライトセーバー３０（図１Ａ〜１Ｃ）の（任意でＩＲの）強度画像と、ライトセーバーの奥行きマップを取得する。ブロック３０４で、コンピューター５４は、任意選択で、画像を処理して、鍔３２、スタブシャフトの高輝度基準３４、および、柄の高輝度基準３８および／または４０の候補となる画像中の領域を特定する。鍔および高輝度基準の候補である画像領域の特定は、鍔と高輝度基準の表面を特徴付ける相対的に高いＩＲ反射性によって支援される。３つの候補画像領域を見つけると、任意選択でブロック３０６で、各候補領域が、鍔３２、スタブシャフトの高輝度基準３４、および柄の高輝度基準３８または３９のうち、それぞれ異なる１つとして識別される。
【００６１】
鍔３２、スタブシャフトの高輝度基準３４、または柄の高輝度基準３８または３９としての候補領域の識別を支援するのは、鍔、スタブシャフトの高輝度基準、および柄の高輝度基準の任意選択で実質的に異なる形状だけではない。本発明の実施形態によると、鍔３２とスタブシャフトの高輝度基準３４との間の距離が、鍔と柄の高輝度基準３８および／または４０との間の距離と異なっている。戦闘員のライトセーバー３０の画像中で、鍔３２の像は、常に、スタブシャフトの高輝度基準３４の像と柄の高輝度基準３８および／または４０の像との間にある。そして、一般には、鍔３２とスタブシャフトの高輝度基準３４の間と、鍔３２と柄の高輝度基準３８または３９の間の異なる実際の距離が、ライトセーバーの画像中における各自の像の間の異なる距離に対応する。その結果、候補画像領域間の異なる距離を使用して、候補領域をライトセーバー３０の各特徴として識別するのを支援することができ、任意選択で実際に使用される。
【００６２】
ブロック３０８で、任意選択で、各候補画像領域が使用されて、その領域が候補であるライトセーバー３０の特徴について、戦闘員のライトセーバー３０の軸３６上にある中心点を求める。例えば、ある画像領域が鍔３２の候補と思われる場合は、その候補領域を使用して鍔の中心点を求める。
【００６３】
ブロック３１０で、求められた中心点を調べて、それらの中心点が、同じ直線に沿って存在するための所定の基準を満たすかどうかを判定する。同一の直線に沿って存在すると判定された場合、アルゴリズム３００は任意選択でブロック３１２に進む。ブロック３１２で、奥行きマップから得られる直線に沿った点までの距離を使用して、３Ｄ撮像システム５２から戦闘員のライトセーバー３０までの距離を求める。任意選択で、この距離は、ブロック３０８で鍔３２について求められた中心点までの距離である。任意選択で、この距離は、中心点について求められた直線に沿った複数の点までの距離の平均である。
【００６４】
ブロック３１４で、戦闘員のライトセーバー軸３６（図１Ｂ）が３Ｄ撮像システム５２の光軸５３に対してなす極角「θ」が、求められた距離、３Ｄ撮像システム５２の光学特性のモデル、およびライトセーバーの画像に応じて求められる。極角θは次数２以内の縮退になるように求められることが分かる。すなわち、所与の画像について、スタブシャフトの高輝度基準３４（図１Ｂ）が３Ｄ撮像システム５２により近い場合の解と、高輝度基準が撮像システムから遠い場合の解、の２つの極角θの解がある。本発明の一実施形態によると、鍔３２の構成と、高輝度基準３４、および３８および／または４０を使用して、どちらの解を採用するかを決定する。ブロック３１６で、鍔３２の形状とライトセーバーの画像中の高輝度基準３４および３８に応じて、光軸３６に対するライトセーバー軸３６の方位角φが求められる。
【００６５】
判定ブロック３０６で３つの候補画像領域が識別されていない場合、または、判定ブロック３１０で候補画像領域の中心が同一の直線に沿って存在しないと判定される場合、アルゴリズム３００は、任意選択で判定ブロック３１８に進む。判定ブロック３１８で、極角θおよび方位角φを求めるのに適した鍔３２の候補領域が戦闘員のライトセーバー３０の画像に存在するかどうかについて判定が行なわれる。そのような候補が見つかる場合、ブロック３２０で、鍔として識別された候補画像領域の形状と、存在する場合には高輝度基準として識別された画像領域が使用されて、極角θと方位角φを求める。
【００６６】
ブロック３１８で、鍔３１８の適切な候補が見つからないと判定される場合は、取得された画像および奥行きマップを処理して戦闘員のライトセーバー３０の位置および向きを求めることが断念され、アルゴリズムは、ブロック３０２に戻って別の画像および奥行きマップを取得する。
【００６７】
図６に、同じくゲームシステム５０を備えてライトセーバー１３０を操る別の戦闘員１２１とライトセーバーによる戦いを行なっている戦闘員２１を模式的に示す。図示の便宜上、挿入図１８１で、ゲームシステム５０に備わる映像スクリーン５５の拡大画像５５＊を示す。拡大画面５５＊は、本発明の一実施形態により、戦闘員２１および１２１が各自のゲームシステムの画面に見るものを示す。各戦闘員２１および１２１の３Ｄ撮像システム５２は、戦闘員の３Ｄ空間位置を判定し、任意選択で、上記のように３Ｄ撮像システムから得られる３Ｄ画像とライトセーバー３０および１３０の３Ｄ空間位置および向きから戦闘員の身体の姿勢を判定する。
【００６８】
各コンピューター５４は、撮像、位置、および向きのデータを相手のコンピューターに送信して、両コンピューターが、それぞれ戦闘員２１および１２１の動きに反応して動かされる映像スクリーン５５に表示されるアバター２２および１２２が存在する、自己矛盾のない共通の仮想現実のスターウォーズの場を生成できるようにする。アバター２２および１２２は、映像スクリーン５５に表示されるアバターのライトセーバー３１および１３１をそれぞれ操る。戦闘員２１または１２１がそれぞれライトセーバー３０または１３０の起動ボタン３９（図１Ｂ）を起動すると、対応する戦闘員のライトセーバー３１または１３１が、起動された光の刃３２または１３２と共に光る。対応する戦闘員２１または１２１によって起動されたライトセーバー３１または１３１は、対応する戦闘員が適切にライトセーバー３０または１３０を動かし、操ることにより、敵の戦闘員のアバター１２２または２２にそれぞれ打撃を加え、ダメージを与えるように動かされることができる。アバター２２または１２２に加えられる打撃は、敵のアバターの戦闘員１２１または２１がそれぞれ各自のライトセーバー１３０または３０を適切に操る技量を持つ場合は、敵のアバター１２２または２２にかわされることもできる。戦闘員２１または１２１は、映像スクリーン５５に表示される仮想現実のスターウォーズ風の戦闘におけるアバターの位置と動きに応じて、アバター２２または１２２とアバターのライトセーバー３１または１３１を動かす。アバターのライトセーバー３１および１３１と敵のアバター１２２および２２との接触等、仮想現実のスターウォーズの場におけるアバターとオブジェクトの接触は、適切なｚバッファを使用する等、当分野で知られる各種方法を使用して求められる。
【００６９】
仮想現実の場とその場に存在するアバターを表示するための各種方法およびフォーマットがあることが理解される。図６では、各戦闘員２１および１２１には、自身のアバターは一部のみが見え、アバターの光の刃が戦闘員の目の前にあるかのように見える。言うまでもなく、仮想現実およびアバターを提示する他の方法が使用でき、利便である可能性がある。例えば、各コンピューター５４は、両アバターの全身を表示するように対応する映像スクリーンを制御することができる。
【００７０】
本発明の実施形態によっては、ライトセーバー３０と同様のライトセーバー等のライトセーバーが、擬似的な軽量の光の刃を収容するように構成され、ライトセーバーは、ライトセーバーが起動された時に光の刃を点灯させるための適切な光源を備える。図７に、ライトセーバーのスタブシャフト２０３を覆うように嵌合する軽量の光の刃２０２を備えたライトセーバー２００を概略的に示す。光の刃２０２は、光を拡散および反射する素材で形成され、ライトセーバー２００は光源２０４を備え、光源２０４は、オンになると光の刃２０２をその長さにわたって点灯させる。例えば、光の刃２０２は、任意選択で、光を拡散的に散乱させる内側壁を有するポリウレタン製のチューブとして形成される。任意選択で、光の刃２０２は、光の刃の外側に装着された環状の高輝度基準２０６を備える。
【００７１】
図８Ａ〜８Ｃに、本発明の一実施形態による、スケートボードの向きを判定するために使用される高輝度基準マーク４０１および４０２を有するスケートボード４００を概略的に示す。各図は、スケートボードが画像化される、３Ｄ撮像システム５２に備わる模式的な感光面４２０を示す。スケートボード４００の種々の向きについて、高輝度基準マーク４０１および４０２の模式的な像４１１および４１２が感光面４２０に図示される。図８Ａは、感光面４２０の高輝度基準４０１および４０２の像がスケートボード４００の偏揺れ角の変化と共に変化する様子を概略的に示す。図８Ｂは、感光面４２０の高輝度基準４０１および４０２の像がスケートボード４００の縦揺れの変化と共に変化する様子を概略的に示す。図８Ｃは、感光面４２０の高輝度基準４０１および４０２の像がスケートボード４００の横揺れ角の変化と共に変化する様子を概略的に示す。
【００７２】
言うまでもなく、上記で言及するスケートボードは、必ずしも実際のスケートボードではなく、任意の適切なスケートボードシミュレータであってよいことが認識される。例えば、シミュレータは、任意選択で、スケートボードに似た形状の板を備えるが、車輪の上に取り付けられる代わりに、任意選択で、シミュレータの使用者がスケートボードに乗っている動きをシミュレートできるようにする１組のジンバルの上に取り付けられる。
【００７３】
本願の説明およびクレームでは、動詞「〜を備える」、「〜を含む」、「〜を有する」、およびそれらの活用形は、それぞれ、その動詞の目的語が、その動詞の主語の部材、構成要素、要素、または部分の必ずしも完全な列挙ではないことを意味するものとして使用される。
【００７４】
本発明について、その実施形態を参照して説明したが、実施形態は例として提供されるものであり、本発明の範囲を限定するものではない。ここに記載される実施形態は、異なる特徴を備え、それらの特徴のすべてが本発明のすべての実施形態で必要とされる訳ではない。本発明の実施形態によっては、それら特徴の一部あるいはそれら特徴の可能な組み合わせのみを利用するものもある。ここに記載される本発明の実施形態の変形形態と、ここに記載される実施形態で述べるものとは異なる特徴の組み合わせを有する本発明の実施形態が、当業者に着想されよう。本発明の範囲は、以下の特許請求の範囲のみによって限定される。
【特許請求の範囲】
【請求項１】
人とコンピューターとのインターフェイスをとる方法であって、
軸（axis）を有するシャフト、
前記シャフトに接続された(connected)鍔（tsuba）であって、前記軸から離れる方向に延び(extends away)、前記シャフトに面する(faces)第１の側(side)を有する鍔、および、
前記鍔の前記第１の側と反対側にある第２の側にある柄(handgrip)、
を有する装置を前記人に提供するステップと、
前記装置の画像を取得（acquiring）するステップと、
前記画像に応答して（responsive to）前記装置の向き（orientation）を判定（determining）するステップと、
前記向きに応答して(responsive to)前記コンピューターによって動作(action)を生成するステップと
を含む方法。
【請求項２】
向きを判定するステップが、前記鍔への前記シャフトの投影(projection)を判定するステップを含む、請求項１に記載の方法。
【請求項３】
向きを判定するステップが、前記鍔の既知の形状(shape)と比較した(relative to)、前記画像中の前記鍔の形状を判定するステップを含む、請求項１または２に記載の方法。
【請求項４】
前記鍔が円形の外面(periphery)を有する、請求項３に記載の方法。
【請求項５】
前記画像中の前記鍔の形状を判定するステップが、前記画像中の前記形状の長軸(major axis)および短軸(minor axis)を求めるステップを含む、請求項４に記載の方法。
【請求項６】
前記判定された形状に応じて前記装置の３Ｄ空間座標を求めるステップを含む、請求項３から５のいずれかに記載の方法。
【請求項７】
向きを判定するステップが、座標系を基準とした前記軸の極角(polar angle)を求めるステップを含む、請求項１から６のいずれかに記載の方法。
【請求項８】
極角を求めるステップが、前記極角を求める際の縮退(degeneracy)を除去するステップを含む、請求項７に記載の方法。
【請求項９】
向きを判定するステップが、前記軸の方位角(azimuth angle)を求めるステップを含む、請求項１から８のいずれかに記載の方法。
【請求項１０】
向きを判定するステップが、
前記画像中の前記装置の３つの領域(regions)各々の３Ｄ空間座標を求めるステップと、
前記座標が実質的に同一の直線に沿って存在するかどうかを判定するステップと、
前記座標を使用して前記向きを判定するステップと
を含む、請求項１から９のいずれかに記載の方法。
【請求項１１】
前記シャフトの前記表面(surface)および前記鍔の第１の表面に相対的に強化された(enhanced)コントラストを与えるステップを含む、前記請求項いずれかに記載の方法。
【請求項１２】
相対的に強化されたコントラストを与えるステップが、前記鍔の表面に相対的に強化された反射性(reflectivity)を与えるステップを含む、請求項１１に記載の方法。
【請求項１３】
相対的に強化されたコントラストを与えるステップが、前記シャフトの表面に相対的に低い反射性を与えるステップを含む、請求項１１または１２に記載の方法。
【請求項１４】
前記装置の特徴(feature)の位置特定(locating)を支援する(aid)少なくとも１つの基準マーク(fiducial marking)を前記装置に備えるステップを含む、前記請求項いずれかに記載の方法。
【請求項１５】
前記少なくとも１つの基準マークが、前記シャフトの先端(end)にある相対的に高輝度の反射性の基準(fiducial)を含む、請求項１４に記載の方法。
【請求項１６】
前記装置の向き(orientation)に関係なく(irrespective of)実質的に同じ輝度を有するように前記シャフトの前記先端に前記基準を構成するステップを含む、請求項１５に記載の方法。
【請求項１７】
前記シャフトの前記先端にある前記基準が、高反射性の球状表面(spherical surface)を備える、請求項１５または１６に記載の方法。
【請求項１８】
前記少なくとも１つの基準マークが、前記鍔の前記外面に沿った高反射性の領域(region)を備える、請求項１４から１７のいずれかに記載の方法。
【請求項１９】
画像を取得するステップが、前記装置の３Ｄ奥行き(depth)マップ画像を取得するステップを含む、請求項１から１８のいずれかに記載の方法。
【請求項２０】
画像を取得するステップが、前記装置のコントラスト画像を取得するステップを含む、請求項１から１９のいずれかに記載の方法。
【請求項２１】
前記コンピューターにより動作(action)を生成するステップが、アバター(avatar)に動きを与えるステップを含む、前記請求項いずれかに記載の方法。
【請求項２２】
前記アバターが仮想現実(virtual reality)の中に置かれる、請求項２１に記載の方法。
【請求項２３】
前記アバターに動きを与える(animating)ステップが、前記仮想現実の要素(element)と対話する(interact with)ように前記アバターに動きを与えるステップを含む、請求項２２に記載の方法。
【請求項２４】
人の３Ｄ空間座標を求めるステップを含む、前記請求項いずれかに記載の方法。
【請求項２５】
空間座標を求めるステップが、前記人の３Ｄ奥行き画像を取得し、前記奥行き画像を使用して前記座標を求めるステップを含む、請求項２４に記載の方法。
【請求項２６】
前記求められた座標に応じて、前記仮想現実中の前記アバターの位置を求めるステップを含む、請求項２４または２５に記載の方法。
【請求項２７】
前記人の姿勢(posture)を判定するステップを含む、前記請求項いずれかに記載の方法。
【請求項２８】
姿勢を判定するステップが、前記人の３Ｄ奥行き画像を取得し、前記奥行き画像を使用して姿勢を判定するステップを含む、請求項２７に記載の方法。
【請求項２９】
前記判定された前記人の姿勢に応じて、前記アバターの姿勢を求めるステップを含む、請求項２７または２８に記載の方法。
【請求項３０】
前記アバターが前記仮想現実中の第１のアバターであり、前記要素が、前記仮想現実中で動作する第２のアバターである、請求項２３から２９のいずれかに記載の方法。
【請求項３１】
人の動作に応答して前記第２のアバターに動きが与えられる、請求項３０に記載の方法。
【請求項３２】
請求項２１から３１のいずれかに従って前記第２のアバターに動きが与えられる、請求項３１に記載の方法。
【請求項３３】
前記仮想現実がコンピューターゲームの現実感(reality)である、請求項３０から３２のいずれかに記載の方法。
【請求項３４】
前記第１および第２のアバターが、前記コンピューターゲーム中で互いと戦闘(combat)を行なう、請求項３３に記載の方法。
【請求項３５】
前記戦闘が模擬的な(simulated)スターウォーズ風の戦闘である、請求項３４に記載の方法。
【請求項３６】
前記請求項いずれかに記載の方法に従って人とのインターフェイスをとるようにコンピューターを構成する命令セットを備えたコンピューター可読媒体。
【請求項３７】
人とのインターフェイスをとるシステムであって、
軸を有するシャフト、
前記シャフトに接続された鍔であって、前記軸から離れる方向に延び、前記シャフトに面する第１の側を有する鍔、および
前記鍔の前記第１の側の反対側にある第２の側にある柄
を有する、人によって操作される装置と、
前記装置の撮像データを取得する撮像装置と、
前記撮像データを受け取り、前記受け取ったデータを処理して前記装置の向きを判定し、その向きに応答して動作を生成するように構成されたコンピューターと
を備えるシステム。
【請求項３８】
前記受け取ったデータを処理するように前記コンピューターを構成する命令セットを備えたコンピューター可読媒体を備える、請求項３７に記載のシステム。
【請求項３９】
前記動作を生成するように前記コンピューターを構成する命令セットを備えたコンピューター可読媒体を備える、請求項３７または３８に記載のシステム。
【請求項４０】
前記コンピューターにより動作を生成するステップは、アバターに動きを与えるステップを含む、請求項３９に記載のシステム。
【請求項４１】
前記アバターが仮想現実の中に置かれる、請求項４０に記載のシステム。
【請求項４２】
前記アバターに動きを与えるステップが、前記仮想現実の要素と対話するように前記アバターに動きを与えるステップを含む、請求項４１に記載のシステム。
【請求項４３】
前記アバターが、前記仮想現実中の第１のアバターであり、前記要素が、前記仮想現実中で動作する第２のアバターである、請求項４２に記載のシステム。
【請求項４４】
人の動作に応答して前記第２のアバターに動きが与えられる、請求項４３に記載のシステム。
【請求項４５】
人とコンピューターとのインターフェイスをとる方法であって、
前記人が立つ台(platform)、
前記人が前記台にかかる(on the platform)自身の体重を移動する(shifting)ことによって前記台の向きを変えることを可能にする、前記台が取り付けられる(mounted)１組のジンバル(gimbals)、および
少なくとも１つの基準マーク(fiducial marking)、
を有する装置を前記人に提供するステップと、
前記少なくとも１つの基準マークの画像を取得するステップと、
前記画像に応答して前記装置の向きを判定するステップと、
前記向きに応答して前記コンピューターによって動作を生成するステップと
を含む方法。
【請求項４６】
前記少なくとも１つの基準が、前記台の縁部に沿った基準を含む、請求項４５に記載の方法。
【請求項４７】
前記少なくとも１つの基準が、２つの基準マークを含む、請求項４６に記載の方法。
【請求項４８】
前記２つの基準マークが、基準(fiducial)が付加されていない(not marked with)、前記縁部(edge)に沿った比較的狭い領域(small region)によって隔てられた(separated by)、少なくとも２つの比較的近接した(close)基準マークを含む、請求項４７に記載の方法。
【請求項１】
人とコンピューターとのインターフェイスをとる方法であって、
軸（axis）を有するシャフト、
前記シャフトに接続された(connected)鍔（tsuba）であって、前記軸から離れる方向に延び(extends away)、前記シャフトに面する(faces)第１の側(side)を有する鍔、および、
前記鍔の前記第１の側と反対側にある第２の側にある柄(handgrip)、
を有する装置を前記人に提供するステップと、
前記装置の画像を取得（acquiring）するステップと、
前記画像に応答して（responsive to）前記装置の向き（orientation）を判定（determining）するステップと、
前記向きに応答して(responsive to)前記コンピューターによって動作(action)を生成するステップと
を含む方法。
【請求項２】
向きを判定するステップが、前記鍔への前記シャフトの投影(projection)を判定するステップを含む、請求項１に記載の方法。
【請求項３】
向きを判定するステップが、前記鍔の既知の形状(shape)と比較した(relative to)、前記画像中の前記鍔の形状を判定するステップを含む、請求項１または２に記載の方法。
【請求項４】
前記鍔が円形の外面(periphery)を有する、請求項３に記載の方法。
【請求項５】
前記画像中の前記鍔の形状を判定するステップが、前記画像中の前記形状の長軸(major axis)および短軸(minor axis)を求めるステップを含む、請求項４に記載の方法。
【請求項６】
前記判定された形状に応じて前記装置の３Ｄ空間座標を求めるステップを含む、請求項３から５のいずれかに記載の方法。
【請求項７】
向きを判定するステップが、座標系を基準とした前記軸の極角(polar angle)を求めるステップを含む、請求項１から６のいずれかに記載の方法。
【請求項８】
極角を求めるステップが、前記極角を求める際の縮退(degeneracy)を除去するステップを含む、請求項７に記載の方法。
【請求項９】
向きを判定するステップが、前記軸の方位角(azimuth angle)を求めるステップを含む、請求項１から８のいずれかに記載の方法。
【請求項１０】
向きを判定するステップが、
前記画像中の前記装置の３つの領域(regions)各々の３Ｄ空間座標を求めるステップと、
前記座標が実質的に同一の直線に沿って存在するかどうかを判定するステップと、
前記座標を使用して前記向きを判定するステップと
を含む、請求項１から９のいずれかに記載の方法。
【請求項１１】
前記シャフトの前記表面(surface)および前記鍔の第１の表面に相対的に強化された(enhanced)コントラストを与えるステップを含む、前記請求項いずれかに記載の方法。
【請求項１２】
相対的に強化されたコントラストを与えるステップが、前記鍔の表面に相対的に強化された反射性(reflectivity)を与えるステップを含む、請求項１１に記載の方法。
【請求項１３】
相対的に強化されたコントラストを与えるステップが、前記シャフトの表面に相対的に低い反射性を与えるステップを含む、請求項１１または１２に記載の方法。
【請求項１４】
前記装置の特徴(feature)の位置特定(locating)を支援する(aid)少なくとも１つの基準マーク(fiducial marking)を前記装置に備えるステップを含む、前記請求項いずれかに記載の方法。
【請求項１５】
前記少なくとも１つの基準マークが、前記シャフトの先端(end)にある相対的に高輝度の反射性の基準(fiducial)を含む、請求項１４に記載の方法。
【請求項１６】
前記装置の向き(orientation)に関係なく(irrespective of)実質的に同じ輝度を有するように前記シャフトの前記先端に前記基準を構成するステップを含む、請求項１５に記載の方法。
【請求項１７】
前記シャフトの前記先端にある前記基準が、高反射性の球状表面(spherical surface)を備える、請求項１５または１６に記載の方法。
【請求項１８】
前記少なくとも１つの基準マークが、前記鍔の前記外面に沿った高反射性の領域(region)を備える、請求項１４から１７のいずれかに記載の方法。
【請求項１９】
画像を取得するステップが、前記装置の３Ｄ奥行き(depth)マップ画像を取得するステップを含む、請求項１から１８のいずれかに記載の方法。
【請求項２０】
画像を取得するステップが、前記装置のコントラスト画像を取得するステップを含む、請求項１から１９のいずれかに記載の方法。
【請求項２１】
前記コンピューターにより動作(action)を生成するステップが、アバター(avatar)に動きを与えるステップを含む、前記請求項いずれかに記載の方法。
【請求項２２】
前記アバターが仮想現実(virtual reality)の中に置かれる、請求項２１に記載の方法。
【請求項２３】
前記アバターに動きを与える(animating)ステップが、前記仮想現実の要素(element)と対話する(interact with)ように前記アバターに動きを与えるステップを含む、請求項２２に記載の方法。
【請求項２４】
人の３Ｄ空間座標を求めるステップを含む、前記請求項いずれかに記載の方法。
【請求項２５】
空間座標を求めるステップが、前記人の３Ｄ奥行き画像を取得し、前記奥行き画像を使用して前記座標を求めるステップを含む、請求項２４に記載の方法。
【請求項２６】
前記求められた座標に応じて、前記仮想現実中の前記アバターの位置を求めるステップを含む、請求項２４または２５に記載の方法。
【請求項２７】
前記人の姿勢(posture)を判定するステップを含む、前記請求項いずれかに記載の方法。
【請求項２８】
姿勢を判定するステップが、前記人の３Ｄ奥行き画像を取得し、前記奥行き画像を使用して姿勢を判定するステップを含む、請求項２７に記載の方法。
【請求項２９】
前記判定された前記人の姿勢に応じて、前記アバターの姿勢を求めるステップを含む、請求項２７または２８に記載の方法。
【請求項３０】
前記アバターが前記仮想現実中の第１のアバターであり、前記要素が、前記仮想現実中で動作する第２のアバターである、請求項２３から２９のいずれかに記載の方法。
【請求項３１】
人の動作に応答して前記第２のアバターに動きが与えられる、請求項３０に記載の方法。
【請求項３２】
請求項２１から３１のいずれかに従って前記第２のアバターに動きが与えられる、請求項３１に記載の方法。
【請求項３３】
前記仮想現実がコンピューターゲームの現実感(reality)である、請求項３０から３２のいずれかに記載の方法。
【請求項３４】
前記第１および第２のアバターが、前記コンピューターゲーム中で互いと戦闘(combat)を行なう、請求項３３に記載の方法。
【請求項３５】
前記戦闘が模擬的な(simulated)スターウォーズ風の戦闘である、請求項３４に記載の方法。
【請求項３６】
前記請求項いずれかに記載の方法に従って人とのインターフェイスをとるようにコンピューターを構成する命令セットを備えたコンピューター可読媒体。
【請求項３７】
人とのインターフェイスをとるシステムであって、
軸を有するシャフト、
前記シャフトに接続された鍔であって、前記軸から離れる方向に延び、前記シャフトに面する第１の側を有する鍔、および
前記鍔の前記第１の側の反対側にある第２の側にある柄
を有する、人によって操作される装置と、
前記装置の撮像データを取得する撮像装置と、
前記撮像データを受け取り、前記受け取ったデータを処理して前記装置の向きを判定し、その向きに応答して動作を生成するように構成されたコンピューターと
を備えるシステム。
【請求項３８】
前記受け取ったデータを処理するように前記コンピューターを構成する命令セットを備えたコンピューター可読媒体を備える、請求項３７に記載のシステム。
【請求項３９】
前記動作を生成するように前記コンピューターを構成する命令セットを備えたコンピューター可読媒体を備える、請求項３７または３８に記載のシステム。
【請求項４０】
前記コンピューターにより動作を生成するステップは、アバターに動きを与えるステップを含む、請求項３９に記載のシステム。
【請求項４１】
前記アバターが仮想現実の中に置かれる、請求項４０に記載のシステム。
【請求項４２】
前記アバターに動きを与えるステップが、前記仮想現実の要素と対話するように前記アバターに動きを与えるステップを含む、請求項４１に記載のシステム。
【請求項４３】
前記アバターが、前記仮想現実中の第１のアバターであり、前記要素が、前記仮想現実中で動作する第２のアバターである、請求項４２に記載のシステム。
【請求項４４】
人の動作に応答して前記第２のアバターに動きが与えられる、請求項４３に記載のシステム。
【請求項４５】
人とコンピューターとのインターフェイスをとる方法であって、
前記人が立つ台(platform)、
前記人が前記台にかかる(on the platform)自身の体重を移動する(shifting)ことによって前記台の向きを変えることを可能にする、前記台が取り付けられる(mounted)１組のジンバル(gimbals)、および
少なくとも１つの基準マーク(fiducial marking)、
を有する装置を前記人に提供するステップと、
前記少なくとも１つの基準マークの画像を取得するステップと、
前記画像に応答して前記装置の向きを判定するステップと、
前記向きに応答して前記コンピューターによって動作を生成するステップと
を含む方法。
【請求項４６】
前記少なくとも１つの基準が、前記台の縁部に沿った基準を含む、請求項４５に記載の方法。
【請求項４７】
前記少なくとも１つの基準が、２つの基準マークを含む、請求項４６に記載の方法。
【請求項４８】
前記２つの基準マークが、基準(fiducial)が付加されていない(not marked with)、前記縁部(edge)に沿った比較的狭い領域(small region)によって隔てられた(separated by)、少なくとも２つの比較的近接した(close)基準マークを含む、請求項４７に記載の方法。
【図１Ａ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図１Ｂ】
【図１Ｃ】
【図２Ａ】
【図２Ｂ】
【図２Ｃ】
【図２Ｄ】
【図２Ｅ】
【図２Ｆ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図３Ｄ】
【図３Ｅ】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図４Ｆ】
【図５】
【図６】
【図７】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【公表番号】特表２０１１−５２２３１８（Ｐ２０１１−５２２３１８Ａ）
【公表日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１１−５１１１４３（Ｐ２０１１−５１１１４３）
【出願日】平成２１年５月２６日（２００９．５．２６）
【国際出願番号】ＰＣＴ／ＩＢ２００９／０５２１９１
【国際公開番号】ＷＯ２００９／１４７５７１
【国際公開日】平成２１年１２月１０日（２００９．１２．１０）
【出願人】（５０９１９５９５１）マイクロソフト インターナショナル ホールディングス ビイ．ヴイ． (8)
【Ｆターム（参考）】
【公表日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２１年５月２６日（２００９．５．２６）
【国際出願番号】ＰＣＴ／ＩＢ２００９／０５２１９１
【国際公開番号】ＷＯ２００９／１４７５７１
【国際公開日】平成２１年１２月１０日（２００９．１２．１０）
【出願人】（５０９１９５９５１）マイクロソフト インターナショナル ホールディングス ビイ．ヴイ． (8)
【Ｆターム（参考）】
[ Back to top ]