強度のコンピュータ画像および音声処理、ならびにコンピュータプログラムとインタフェースするための入力装置
コンピュータプログラムとのインタラクションの強度値を決定するための方法が記載される。上記方法と装置は、キャプチャゾーンの画像をキャプチャするステップと、前記画像内で入力オブジェクトを特定するステップと、前記入力オブジェクトの前記パラメータの初期値を特定するステップと、前記キャプチャゾーンの第２の画像をキャプチャするステップと、前記入力オブジェクトの前記パラメータの第２の値を特定するステップと、を有する。前記パラメータは、前記入力オブジェクトの形、色または明るさの１つ以上を特定しており、前記入力オブジェクトに対する人の操作によって影響を受ける。前記パラメータの変化の程度が計算され、これは前記第２の値と前記第１の値の差である。前記パラメータの前記変化の程度を表す強度値を含むアクティブ入力が、前記コンピュータプログラムに提供される。音を発生させている入力オブジェクトから強度値を検出するための方法、およびコンピュータビデオゲームが記載される。ＬＥＤ、音声キャプチャおよび生成部、または加速度計を有するゲームコントローラも記載される。
【発明の詳細な説明】
【背景技術】
【０００１】
ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきた。このために、ビデオゲーム開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしてきた。
【発明の開示】
【発明が解決しようとする課題】
【０００２】
ゲームプラットホームの例に、ソニープレイステーションまたはソニープレイステーション２（ＰＳ２）があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ（通常はテレビ）と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。ゲームコンソールは、ＣＰＵ、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトル装置などの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒にインタラクティブにプレイすることができるオンラインゲームも可能である。
【０００３】
ゲームが複合的なものであることがプレーヤの興味を引き続けていることから、ゲームのソフトウェアおよびハードウェアのメーカは更なるインタラクティブ機能を実現するために革新を続けてきている。しかし、実際は、ユーザがゲームとインタラクトする手法は、長年にわたって劇的には変わることはなかった。一般に、ユーザは、未だに、手持ち式のコントローラを使用してコンピュータゲームをプレイしたり、マウスポインティングデバイスを使用してプログラムとのインタラクションを行っている。
【０００４】
前述を鑑みて、ゲームのプレイとのより高度なユーザインタラクティビティを可能にする方法およびシステムが求められている。
【課題を解決するための手段】
【０００５】
概して、本発明は、コンピュータプログラムとインタフェースする際に、強度（インテンシティ）量を決定するために、コンピュータの画像および音声処理を使用する方法ならびにビデオゲームを提供することによって、このニーズを満たす。
【０００６】
本発明は、プロセス、装置、システム、デバイスまたは方法など、多くの方法で実装することができる点を理解されたい。以下に本発明のいくつかの発明の実施形態を記載する。
【０００７】
一実施形態では、コンピュータプログラムとのインタラクションの強度値を決定するための方法が提供される。上記方法は、キャプチャゾーンの画像をキャプチャするステップと、前記画像内で入力オブジェクトを特定するステップと、前記入力オブジェクトのパラメータの初期値を特定するステップと、前記キャプチャゾーンの第２の画像をキャプチャするステップと、前記入力オブジェクトの前記パラメータの第２の値を特定するステップと、を有する。前記パラメータは、前記入力オブジェクトの形、色または明るさの１つ以上を特定しており、前記入力オブジェクトに対する人の操作によって影響を受けうる。前記第２の値と前記第１の値の差である前記パラメータの変化の程度が計算されうる。前記パラメータの前記変化の程度を表す強度値を含むアクティブ入力が、前記コンピュータプログラムに提供されうる。
【０００８】
別の実施形態では、コンピュータプログラムに強度値を入力するための方法が提供される。上記方法は、キャプチャゾーン内で入力オブジェクトが発生させる音をキャプチャするステップと、前記入力装置が発生させる前記音のラウドネス、速さ、ピッチの少なくとも１つを特定する入力パラメータを特定するステップと、前記コンピュータプログラムにアクティブ入力を提供するステップと、を有する。前記コンピュータプログラムは、前記音をキャプチャするための手段と通信しているコンピュータで実行されている。前記アクティブ入力は、前記入力パラメータを表しうる強度値を含む。前記コンピュータプログラムは、前記入力オブジェクトの仮想バージョン（virtual version）の操作をシミュレーションする。
【０００９】
更に別の実施形態では、コンピュータビデオゲームが提供される。前記コンピュータビデオゲームは、入力オブジェクト、監視装置、およびコンピュータで実行中のコンピュータプログラムを有する。前記入力オブジェクトは、人の操作のために構成されうる。前記監視装置は、前記監視装置の近くのキャプチャゾーンから、画像または音声の一方を含む情報をキャプチャする。前記コンピュータプログラムは、前記監視装置によってキャプチャされた前記情報を表すデータを受け取り、前記データを分析して、前記入力オブジェクトに対する前記人の操作の強度を表す強度値を計算する。
【００１０】
本発明の利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
【００１１】
本発明は添付の図面と併せて以下の詳細な説明を読めば容易に理解できるであろう。図面においては、同じ構造要素には同じ参照符号を付した。
【発明を実施するための最良の形態】
【００１２】
以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施し得ることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。
【００１３】
本明細書に記載する技術は、音声およびビデオのキャプチャおよび処理を使用して、コンピュータプログラムとのインタラクションを行うために、強度値を特定するために使用することができる。各種実施形態において、ビデオカメラおよび／または音声検知機能を備えたコンピュータまたはゲームシステムが、画像および音声のデータを処理して、センサの焦点ゾーンで生じているさまざまなアクションを識別しうる。このようなアクションには、通常、オブジェクトの操作や、声またはオブジェクトの操作による音の発生がある。この例には、おもちゃの銃のトリガを引いたり、オブジェクトを移動させたり変形させることがある。本技術は、これらの技術に加えて、このようなアクションに関連する強度量を検知して決定する追加の機能も更に提供する。例えば、トリガを引く強さ、オブジェクトの変形の程度、野球のバットを握る強さなどである。この追加のパラメータを使用することで、ビデオゲームメーカや、その他のマンマシンインタラクション機能に関連する分野の当業者は、ユーザの体験を大きく改善することができる。これらの具体例について、下記に記載する。
【００１４】
また、ゲームコントローラとゲームまたは他のアプリケーションの間のインタラクティブ性を強化する、ゲームコントローラの機能強化のいくつかの実施形態についても、ここに記載する。このような機能強化には、ゲームコントローラに、ビデオキャプチャおよび処理システムが視覚的に認識可能な複数のＬＥＤを設けて、ビデオゲームや他のアプリケーションが、ビデオキャプチャ装置に対するゲームコントローラの位置、移動または姿勢を特定できるようにすることがある。また、音声コマンドまたは他のユーザとの通信を受け取るため、およびコントローラとベースユニット間の通信を実現するために、音声をキャプチャする機能、または音や超音波を発生させる機能を備えたゲームコントローラについても記載する。
【００１５】
図１は、本発明の一実施形態によるインタラクティブ（対話型）ゲーム構成１００を示す。インタラクティブゲーム構成１００は、コンピュータ１０２（本明細書では「コンソール」とも呼ぶ）を有し、これは、ディスプレイ画面１１０と接続されうる。ディスプレイ画面１１０の上には画像キャプチャ装置１０５が置かれ、コンピュータ１０２と接続されうる。コンピュータ１０２は、ユーザが、コントローラ１０８によってゲームをプレイしたり、ビデオゲームとインタフェースすることができるゲームシステムのコンソールであってもよい。画像キャプチャ装置１０５は、ディスプレイ画面１１０の上に置かれて示されているが、画像キャプチャ装置１０５が、ディスプレイ画面１１０のほぼ前方にある画像をキャプチャできれば、ほかの近くの位置に置かれていてもよいことが理解されよう。これらの移動およびインタラクションをキャプチャするための技術は変更し得るが、例示的な技術は、それぞれ２００３年２月２１日に出願された英国特許出願公開第０３０４０２４．３号明細書（国際公開第ＧＢ２００４／０００６９３号パンフレット）および英国特許出願公開第０３０４０２２．７明細書（国際公開第ＧＢ２００４／０００７０３号パンフレット）号に記載されており、これらの各々は参照によりここに援用される。
【００１６】
一実施形態では、画像キャプチャ装置１０５は、標準的なウェブカムのように単純なものであっても、あるいは高度な技術を備えたものであってもよい。画像キャプチャ装置１０５は、画像をキャプチャし、この画像をデジタル化して、画像データをコンピュータ１０２に送信することができる。一部の実施形態では、デジタル化を実行するための論理回路が、画像キャプチャ装置の内部に組み込まれていてもよく、別の実施形態では、画像キャプチャ装置１０５が、デジタル化のために、アナログビデオ信号をコンピュータ１０２に送信してもよい。いずれの場合も、画像キャプチャ装置１０５は、画像キャプチャ装置１０５の前方にある任意のオブジェクトの、カラー画像または白黒画像をキャプチャすることができる。
【００１７】
図２は、画像キャプチャ装置１０５の前方にあるオブジェクトの照準方向を確認するために、画像キャプチャ装置１０５によって提供される画像データを処理するための例示的なコンピュータ１０２を示している。図に示すように、コンピュータ１０２は、画像キャプチャ装置１０５に接続されうる。画像キャプチャ装置１０５は、キャプチャ領域１０５ａに焦点を合わせるように設計されうる。この例では、人物１１２が、コンピュータ１０２によって実行中のコンピュータプログラムとインタラクト（対話処理）しようとしている。この例では、コンピュータプログラムは、ディスプレイ画面１１０によって表現され表示されるビデオゲームであってもよい。
【００１８】
図示した例では、ビデオゲームは、標的シューティングゲームであり、人物１１２は標的を狙い、その人物の能力に相当する点数を稼ごうとしている。ディスプレイ画面１１０に示されるように、ゲームのプレイ中に、人物１１２の画像１１２’が、ディスプレイ画面１１０にも表示されうる。別の実施形態では、制御されている特定の装置やプレイ中のゲームによっては、ディスプレイ画面に人物の画像１１２’が表示されないこともある。この例では、ゲームプレイ中に、現実により近づけるために、標的を撃つ間に人物１１２の画像１１２’を表示することによって、ユーザの体験を改善することができる。この標的シューティングゲームの特徴は、人物１１２が、オブジェクト１２４をディスプレイ画面１１０上の特定のインタラクティブなグラフィックのほうに向けるかポイントすることができることにある。
【００１９】
人物１１２は、オブジェクト１２４（この場合の例では銃である）の照準方向を正確に定めるために、オブジェクト１２４を手１２２で保持している。手１２２は、ディスプレイ画面１１０の方向に向けられる。画像キャプチャ装置１０５は、この時点で、人物１１２のデジタル画像のキャプチャを分析して、人物の１１２の頭部１２０の位置と、人物の１１２の手１２２の位置を決定する。図に示すように、人物１１２の手は体の前で伸ばされており、画像キャプチャ装置は、キャプチャされたデジタル画像を解析してオブジェクト１２４を特定する。キャプチャされたデジタル画像は、コンピュータ１０２で実行されているコードによっても解析され、人物の１１２の頭部１２０の位置が確認される。一実施形態では、頭部のトラッキングは、顔検出コードと併用したテンプレートマッチングの組合せによって完了させる（速度性能のため）こともできる。顔検出コードは、本質的には、ユーザの目やその他の顔の特徴の位置を特定することによって、ユーザの顔の位置を特定する。頭部および顔の検出に関する更に詳しい情報については、２００３年９月１５日出願の同時係属中の米国特許出願第１０／６６３,２３６号明細書「トラッキングされた頭部の移動によって表示中のシーンのビューを調整するための方法および装置（METHOD AND APPARATUS FOR ADJUSTING VIEW OF A SCENE BEING DISPLAYED ACCORDING TO TRACKED HEAD MOTION）」を参照されたい。同文献の内容を参照によりここに援用する。
【００２０】
一実施形態では、オブジェクト１２４は、キャプチャされたデジタル画像を分析するプログラムが、オブジェクト１２４の位置を容易に特定できるように、オブジェクトに結び付けられた色または光などの識別体（発光ダイオード（ＬＥＤ）等）を有する。コンピュータプログラムが、人物の頭部１２０（Ｈ）の位置と、人物の手１２２（ｈ）の位置を特定すると、コンピュータプログラムは、計算を実行して、画像キャプチャ装置の位置からみた、検出されたオブジェクト１２４と頭部１２０の間の相対角度を決定する。
【００２１】
図２に示すように、オブジェクト１２４と頭部１２０の相対位置は、画像キャプチャ装置１０５に対して計算される。これにより、２つの角度パラメータ（シータθとファイΦ）が得られる。方位角θは、Ｘ軸上の、頭部１２０とオブジェクト１２４間の水平の位置関係を定義している。角度φから、頭部１２０の高さと手１２２の高さの間の相対角度である高度角が得られる。一実施形態では、ディスプレイ画面１１０上のオブジェクトの照準位置の較正がゲームの操作により開始される前に、初期の較正操作を実行することができる。例えば、ユーザに、ディスプレイ画面１１０の特定の位置にオブジェクト１２４を向けさせることによって、ユーザに対して、照準アルゴリズムの較正を促すことができる。較正が完了すると、画像キャプチャ装置１０５によってキャプチャされている連続する各フレームについて、コンピュータ１０２が、人物の頭部１２０と人物の手１２２の相対位置を定義する方位角と高度角（θとΦ）を計算可能となる。頭部と手の相対位置の決定は、要求される照準操作の精度に応じて、キャプチャした各フレームごとに計算されても、一フレームおきにキャプチャされても、あるいは、多くのフレームをキャプチャした後に計算されてもよい。例えば、ゲームが射撃場ゲームの場合には、人物１１２がビデオゲームの競争で高いスコアを確実に稼ごうとしている場合に、正確に照準を定めて引金を引けるように、頭部１２０と手１２２の相対位置をフレームごとに計算することが重要となりうる。
【００２２】
図３は、本発明の実施形態を実装するために使用できる、グラフィックディスプレイ上のオブジェクトのインタラクト処理を行うための例示的なユーザ入力システムのブロック図である。図３に示すように、ユーザ入力システムは、ビデオキャプチャ装置３００、入力画像プロセッサ３０２、出力画像プロセッサ３０４、およびビデオ表示装置３０６から構成されうる。ビデオキャプチャ装置３００は、ビデオ画像のシーケンスをキャプチャすることができる装置であればどのようなものでもよく、一実施形態では、デジタルビデオカメラ（ウェブカメラなど）や同様の画像キャプチャ装置などである。
【００２３】
ビデオキャプチャ装置３００は、深度画像を提供するように構成されうる。本明細書では、「深度カメラ」および「三次元カメラ」との文言は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。他の例示的な深度カメラに、立体カメラ対があり、これは２台の基準カメラを使用して距離情報を三角測量によって求める。同様に、「深度検知装置」との文言は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。
【００２４】
このため、カメラ３００は、通常の二次元のビデオ像に加えて、３番目の次元をキャプチャおよびマップする能力を提供することができる。通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青（ＲＧＢ）の値である。このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。しかし、従来のカメラとは異なり、深度カメラは、シーンの深度値を表すシーンのｚ成分もキャプチャする。通常、深度値はｚ軸に割り当てられるため、深度値は、「ｚ値」と呼ばれることも多い。
【００２５】
動作時に、シーンの各ピクセルについてｚ値がキャプチャされうる。各ｚ値は、カメラから、シーン内の関連するピクセルに対応するオブジェクトまでの距離を表している。また、最大検出範囲が、深度値が検出されなくなる境界を定義しうる。本発明の各種実施形態では、この最大範囲の面を使用して、ユーザ定義のオブジェクトのトラッキングを提供することができる。このため、深度カメラを使用することで、それぞれのオブジェクトを三次元でトラッキングすることができる。この結果、本発明の実施形態のコンピュータシステムは、二次元のピクセルデータと合わせてｚ値を利用して、強化された三次元のインタラクティブ環境をユーザのために作成することができる。深度分析の詳細については、２００３年５月２９日出願の米国特許出願第１０／４４８,６１４号明細書「リアルタイムの三次元インタラクティブ環境を提供するためのシステムおよび方法（System and Method for Providing a Real-time three dimensional interactive environment）」を参照されたい。同文献を参照によりここに援用する。
【００２６】
図３に戻ると、入力画像プロセッサ３０２は、キャプチャされた制御オブジェクトのビデオ画像（深度画像など）を信号に変換し、この信号が出力画像プロセッサに送られる。一実施形態では、入力画像プロセッサ３０２は、キャプチャされたビデオ画像の背景から、深度情報によって制御オブジェクトを分離し、制御オブジェクトの位置および／または移動に応じた出力信号を発生させるようにプログラムされうる。出力画像プロセッサ３０４は、入力画像プロセッサ３０２から受け取った信号に応じて、ビデオ表示装置３０６に表示したオブジェクトの並進移動および／または回転移動を変更するようにプログラムされうる。
【００２７】
本発明のこれらの態様やその他の態様は、ソフトウェア命令を実行する１つ以上のプロセッサによって実装されうる。本発明の一実施形態によれば、１つのプロセッサが入力画像処理と出力画像処理の両方を実行する。しかし、図に示すように、説明を容易にするために、処理操作が、入力画像プロセッサ３０２と出力画像プロセッサ３０４に分けられるものとして説明する。本発明が、特定のプロセッサの構成（複数プロセッサなど）に限定されると解釈すべきではないことを留意すべきである。図３の複数の処理ブロックは、説明の便宜上、示したに過ぎない。
【００２８】
図４は、本明細書に記載した本発明の各種実施形態を実装するように構成されたコンピュータ処理システムの簡略ブロック図である。この処理システムは、メインメモリ４２０とグラフィック処理ユニット（ＧＰＵ）４２６に結合された中央処理装置（ＣＰＵ）４２４を備えた、コンピュータベースのエンターテイメントシステムの実施形態であってもよい。ＣＰＵ４２４は、入出力プロセッサ（Input/Output Processor：ＩＯＰ）バス４２８にも結合されうる。一実施形態では、ＧＰＵ４２６は、ピクセルベースのグラフィックデータを高速に処理するために内部バッファを備える。更に、ＧＰＵ４２６は、エンターテイメントシステムまたはその構成要素の外部に接続された表示装置４２７に送信するために、画像データを処理して、例えばＮＴＳＣやＰＡＬなどの標準のテレビジョン信号に変換する出力処理部またはその機能を備えうる。別の実施形態では、データ出力信号が、コンピュータモニタ、ＬＣＤ（液晶ディスプレイ）装置やその他のタイプの表示装置などのテレビジョンモニタ以外の表示装置に供給されてもよい。
【００２９】
ＩＯＰバス４２８は、ＣＰＵ４２４を、各種の入出力装置、または他のバスやデバイスに接続している。ＩＯＰバス４２８は、入出力プロセッサメモリ４３０、コントローラ４３２、メモリカード４３４、ユニバーサルシリアルバス（ＵＳＢ）ポート４３６、ＩＥＥＥ１３９４（Ｆｉｒｅｗｉｒｅインタフェースとも呼ばれる）ポート４３８、およびバス４５０に接続されうる。バス４５０は、システムの他のいくつかの構成要素をＣＰＵ４２４に接続しており、このような構成要素には、オペレーティングシステム（ＯＳ）ＲＯＭ４４０、フラッシュメモリ４４２、音声処理ユニット（ＳＰＵ）４４４、光ディスク制御４、ハードディスクドライブ（ＨＤＤ）４４８がある。この実施形態の一態様では、ビデオキャプチャ装置は、ＩＯＰバス４２８に直結されていてもよく、これを介してＣＰＵ４２４に送信を行っており、ＣＰＵ４２４では、ビデオキャプチャ装置からのデータを使用して、ＧＰＵ４２６でグラフィック画像の生成に使用される値が変更または更新される。更に、本発明の各種実施形態は、画像処理のさまざまな構成および技術を使用することができ、これには、２００３年２月１１日出願の米国特許出願第１０／３６５,１２０号明細書「リアルタイムのモーションキャプチャのための方法および装置（METHOD AND APPARATUS FOR REAL TIME MOTION CAPTURE）」に記載されたものなどがある。同文献を参照によりその全体をここに援用する。コンピュータ処理システムは、ＣＥＬＬ（登録商標）プロセッサで実行されうる。
【００３０】
図５は、本発明の一実施形態に係る代替入力装置として機能する操作用オブジェクトとの併用に適合されたビデオゲームコンソールの各種構成要素の構成を示すブロック図である。例示的なゲームコンソール５１０は、コンソール５１０全体を制御するためのマルチプロセッサユニット（ＭＰＵ）５１２、プログラムの各種操作およびデータ記憶に使用されうるメインメモリ５１４、幾何学処理に必要な浮動小数点のベクトル演算を実行するベクトル演算ユニット５１６、ＭＰＵ５１２からの制御に基づいてデータを生成すると共に、ビデオ信号をモニタ１１０（ＣＲＴなど）に出力する画像プロセッサ５２０、ＭＰＵ５１２またはベクトル演算ユニット５１６と画像プロセッサ５２０との間の伝送バス上で調停等を実行するグラフィックインタフェース（ＧＩＦ）５２２、周辺機器との間でデータを送受信できるようにする入出力ポート５２４、カーネル等の制御を実行するための、フラッシュメモリ等で構成された内部ＯＳＤ機能ＲＯＭ（ＯＳＤＲＯＭ）５２６、ならびにカレンダ機能およびタイマ機能を備えたリアルタイムクロック５２８を備える。
【００３１】
メインメモリ５１４、ベクトル演算ユニット５１６、ＧＩＦ５２２、ＯＳＤＲＯＭ５２６、リアルタイムクロック（ＲＴＣ）５２８および入出力ポート５２４は、データバス５３０を介してＭＰＵ５１２に接続されている。バス５３０には、圧縮済みの動画およびテクスチャ画像を伸張して、これにより画像データを展開するプロセッサなどである画像処理ユニット５３８も接続されている。例えば、画像処理ユニット５３８は、ＭＰＥＧ２またはＭＰＥＧ４の標準フォーマットに従って、ビットストリームをデコードおよび展開したり、マイクロブロックをデコードしたり、逆離散コサイン変換、色空間変換、ベクトル量子化などを実行する機能を担う。
【００３２】
音声システムは、ＭＰＵ５１２からの命令に基づいて音楽やその他の音響効果を生成する音声処理ユニット（ＳＰＵ）５７１、ＳＰＵ５７１が波形データを記録するための音声バッファ５７３、およびＳＰＵ５７１が生成した音楽やその他の音響効果を出力するスピーカ５７５で構成されうる。なお、スピーカ５７５はモニタ１１０の一部として組み込まれていても、あるいは、外部スピーカ５７５を取り付けるための別個のオーディオライン出力端子として提供されてもよい。
【００３３】
バス５３０に接続されており、本発明に従ってデジタルデータの入出力を行うと共にデジタルコンテンツを入力する機能を備えたインタフェースである通信インタフェース５４０も提供されうる。例えば、オンラインビデオゲームアプリケーションを実現するために、この通信インタフェース５４０を介して、ネットワーク上のサーバ端末との間でユーザ入力データを送信したり、状態データを受信することができる。コンソール５１０に対してデータ（キー入力データまたは座標データなど）を入力する入力装置５３２（コントローラとも呼ばれる）と、各種プログラムおよびデータ（すなわちオブジェクトに関するデータ、テクスチャデータなど）を有するＣＤ―ＲＯＭなどの光学ディスクの内容を再生するディスク装置５３６とが入出力ポート５２４に接続されている。
【００３４】
更に、本発明は、デジタルビデオカメラ１０５を備え、これは入出力ポート５２４に接続できる。入出力ポート５２４は、シリアルインタフェースやＵＳＢインタフェースなどの１つ以上の入力インタフェースによって実装され得、デジタルビデオカメラ１９０は、ＵＳＢ入力や、カメラ１０５との併用に適したその他の任意の従来のインタフェースを有利に利用し得る。
【００３５】
上記の画像プロセッサ５２０は、レンダリングエンジン５７０、インタフェース５７２、画像メモリ５７４、およびディスプレイ制御装置５７６（プログラム可能なＣＲＴコントローラなど）を備える。レンダリングエンジン５７０は、メモリインタフェース５７２を介して、かつＭＰＵ５１２から送られるレンダリング命令によって、所定の画像データを画像メモリにレンダリングする処理を実行する。レンダリングエンジン５７０は、ＮＴＳＣ方式またはＰＡＬ方式に準拠し、より詳細には、例えば、１／６０秒〜１／３０秒の間隔で１０〜数十回を越えるレートで、３２０×２４０ピクセルまたは６４０×４８０ピクセルの画像データをリアルタイムに描画できる機能を備える。
【００３６】
メモリインタフェース５７２とレンダリングエンジン５７０との間にバス５７８が接続され、メモリインタフェース５７２と画像メモリ５７４との間に第２バス５８０が接続され得る。第１バス５７８と第２バス５８０のビット幅は、例えばそれぞれ１２８ビットであり、レンダリングエンジン５７０は、画像メモリに対して高速レンダリング処理を実行することができる。画像メモリ５７４は、一元化された記憶構造を採用しており、この構造では、例えば、テクスチャレンダリング領域と表示レンダリング領域とを同じ領域に設定することができる。
【００３７】
ディスプレイコントローラ５７６は、光ディスク装置５３６によって光ディスク５６９から取得したテクスチャデータ、またはメインメモリ５１４に作成されたテクスチャデータを、メモリインタフェース５７２を介して画像メモリ５７４のテクスチャレンダリング領域に書き込むように構成されうる。画像メモリ１７４の表示レンダリング領域にレンダリングされた画像データは、メモリインタフェース５７２を介して読み出されて、モニタ１１０に出力され、その画面に表示されうる。
【００３８】
図６は、本発明の一実施形態による、ユーザによるユーザ入力装置の操作中に、ユーザ入力装置に対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図である。ブロックが表している諸機能は、図５のゲームコンソール５１０のＭＰＵ５１２によって実行されうるソフトウェアによって実装される点を理解されたい。更に、図６のブロックが表している機能の全てが、各実施形態で使用されるとは限らない。
【００３９】
最初に、カメラから入力されたピクセルデータが、入出力ポートインタフェース５２４を介してゲームコンソール５１０に送られ、これにより、以下に記載するプロセスがゲームコンソール５１０で実行されうる。まず、画像の各ピクセルが、例えばラスタベースでサンプリングされると、色分離処理ステップＳ２０１が実行されうる。これにより、各ピクセルの色が決定されて、画像が、色の異なるさまざまな二次元部分に分割される。次に、実施形態によっては、色遷移定位ステップＳ２０３が実行されうる。これにより、色の異なる部分が隣接している領域がより詳細に決定されて、はっきりした色の遷移が発生する画像の位置が特定される。次に、幾何学処理Ｓ２０５のステップが実行されうる。このステップでは、実施形態に応じて、エッジ検出プロセスまたは面積の統計値（area statistics）の計算の実行が行われて、対象のオブジェクトのエッジに相当する線、曲線および／または多角形が代数的または幾何学的に定義される。
【００４０】
ステップＳ２０７で、アルゴリズムを用いてオブジェクトの三次元の位置および姿勢が計算される。このアルゴリズムについては、本発明の好ましい実施形態に関して後述する。質の向上のため、三次元の位置および姿勢のデータに対して、カルマンフィルタリング処理ステップＳ２０９が実行される。この処理を実行するのは、所定の時点においてオブジェクトが存在する位置を概算して、起こり得ず、このため正しいデータ群から外れていると考えられる、誤った測定値を除去するためである。カルマンフィルタリングを実行するもう１つの理由は、カメラ１０５は画像を３０Ｈｚで生成するが、一般的なディスプレイは６０Ｈｚで動作するため、カルマンフィルタリングによって、ゲームプログラムの動作の制御に使用するデータの不足分を埋めるためである。カルマンフィルタリングによる離散データのスムージングは、コンピュータビジョンの分野では公知であり、ここで詳述しない。
【００４１】
図７は、変形可能なユーザ変形可能オブジェクト７１０の例示的な実施形態の模式図である。このオブジェクトは、ユーザが変形可能な装置に加える力に応じて、弛緩状態７１０Ａか扁平状態７１０Ｂをとることができる。このように、変形可能なオブジェクト７１０は、圧潰可能なボールの形状を有する。更に一般には、どのような種類の変形可能なオブジェクトでも、本明細書に記載した視覚トラッキングシステムによってトラックキングすることができる。この実施形態では、ビデオデジタルカメラ１０５によって観察される変形可能なオブジェクト７１０の面積は一定である点を理解されたい。このため、デジタルビデオカメラ１９０は、変形可能な装置３１０のＸ平面およびＹ平面での移動に加えて、Ｚ方向の移動をキャプチャすることができる。Ｚ方向によって、モニタ１１０に示すように、ファイル３０４Ｂなどのファイルの前後への移動、すなわち奥行き方向への移動が可能となる。更に、変形可能なオブジェクト７１０をＺ軸方向に移動させる方向に応じて、変形可能なオブジェクト７１０によってグラブした表示中のオブジェクトを大きく表示させたり小さく表示させたりできる。例えば、一実施形態では、変形可能なオブジェクト７１０をカメラ１０５に近づけると、表示中のオブジェクトが大きく表示され、変形可能なオブジェクト７１０をカメラ１０５から離すと、表示中のオブジェクトがモニタ１１０に小さく表示される。当業者であれば、表示中のオブジェクトは、Ｘ方向、Ｙ方向およびＺ方向の移動の組み合わせによって、そのサイズと位置が変化し得ることが理解されるであろう。この場合、三次元空間での移動を決定するために角度シータ（θ）を用いることができる。θがカメラ１９０のビュー平面の方向の角度であることを当業者は理解されよう。
【００４２】
図７に戻ると、カメラは変形可能なオブジェクト７１０の位置をキャプチャする。この位置情報はゲームコンソール５１０に伝達されうる。図１〜３を参照して上記のように、この位置情報はゲームコンソール５１０によって処理されうる。変形可能な装置のアスペクト比または相対位置が変化すると、処理によって、この移動が、モニタ１１０に表示中のオブジェクトの移動に変換される。なお、本発明の一実施形態では、変形可能な装置のアスペクト比が変化したときに、音声信号が生成され得る。更に、受動的なボタン押下信号を、変形可能な装置に備えてもよい。したがって、このクリック音がコンピューティングシステムによって検知されなくても、ユーザはクリックを体感できるようになる。
【００４３】
一実施形態では、画像内のピクセルの分析によって、ｘ、ｙ、ｚ、θ、および握りパラメータ（grip parameter）を求める。なお、画像内のピクセルは、トラッキングされているオブジェクト、すなわち変形可能な装置の一部である。詳細に説明すると、Ｘは、画像内のピクセルの水平重心（horizontal centroid）に比例する。Ｙは、画像内のピクセルの垂直重心（vertical centroid）に比例する。Ｚは、ピクセルの面積または主二次モーメント（principle second moment）のいずれか（精度／堅固性の挙動が変わってくる）の平方根に反比例する。シータ（θ）は、主二次モーメントの回転角に対応する。握り量（すなわち変形量またはアスペクト比の変化量）などの握りパラメータは、主二次モーメントの平方根を最小二次モーメントの平方根で割った値に比例する。上記の各パラメータは、画像を通る１本の経路から算出することができる。このため、本明細書に記載した実装は非常に高速であり、一般に使用されている他の測定法よりもノイズ（すなわち視覚的誤差）の影響を受けにくい。
【００４４】
図８は、ユーザ８０５が変形可能なオブジェクト７１０を操作している例示的なアプリケーションを示す。変形可能なオブジェクト７１０は、ユーザ８０５の手８１５に握られうる。コンソール５１０のカメラ１０５が、オブジェクト７１０が変形していることを識別する。手のグラフィカルな表現８１５’が、仮想のチェッカーボード８２０でチェッカー８１７を拾い上げる。その後、変形可能なオブジェクト７１０の移動が、手のグラフィカルな表現８１５’の移動に変換されうる。ユーザ８０５は、チェッカー８１７を放すため手８１５を緩める。これにより、変形可能なオブジェクト７１０は元の形状に戻ることができる。
【００４５】
図９は、バスケットボールの形をした、例示的な変形可能なオブジェクト９００を示す。一実施形態では、変形可能なオブジェクト９００は、変形を受けると明るくなる手段を備える。別の実施形態では、変形可能なオブジェクト９００は、変形を受けると色が変わる材料から形成されてもよい。変色材料は公知であり、一般には、透光性の高分子マトリックスに埋め込まれた感圧蛍光色素を含む。一実施形態では、変形可能なオブジェクト７１０は、変色材料のシェルを有する透光性のスポンジゴム材料から形成されうる。
【００４６】
図１０は、外側層９０２の下に発光ダイオードの層（ＬＥＤ）９０４が存在する変形可能なオブジェクト９００を示す。変形可能なオブジェクト９００の内部にバッテリ９０６が設けられている。ＬＥＤ層９０４は、変形を受けると明るくなるＬＥＤのブランケットを備えうる。一実施形態では、オブジェクトの変形が大きくなるにしたがって明るさが増す。別の実施形態では、変形の強さによって、明るい部分の色が変わる。一実施形態では、オブジェクトの変形を受けた部分しか明るくならない。別の実施形態では、変形を受けるとオブジェクトの全体が明るくなる。
【００４７】
変形量が照光材料自体によって検知されてもよい。例えば、この材料は、材料が変形を受けると接触する複数の導電層から形成され、接触により回路が閉となる。一実施形態では、変形を受けている領域だけが明るくなる。別の実施形態では、変形量は別のひずみゲージ回路によって検知され、この回路は、変形可能なオブジェクト９００の層９０４の上に配置されうる。この場合、オブジェクトが変形を受けると、オブジェクト全体が明るくなり、変形が大きくなるにしたがって、より明るくなるか、色が変わるか、この両方が起こる。
【００４８】
図１１は、フットボールの形１１００をした、例示的な変形可能なオブジェクトを示す。フットボールの形状のために、変形を受けたオブジェクトを撮像してそのアスペクト比を測定することによって、変形の程度を決定する方法は信頼性が高いとはいえない。このため、アスペクト比を使用する代わりに、フットボール１１００が、層１１０８に設けた回路を有する。層１１０８は、変形センサ１１１０と複数のイルミネータ１１０６を備える。イルミネータ１１０６は、発光ダイオードなどである。更に、フットボール１１００は、バッテリコンパートメント１１０２と、フットボール１１００のバランスをとるためのバランスウェイト１１０４を有する。イルミネータ１１０６は必要な電圧および電流が少ないため、例えば、バッテリコンパートメント１１０２はかなり小さくてもよく、例えば、単４またはＡＡＡの乾電池で十分である。フットボール１１００内の残りの部分には軟性スポンジゴムが充填されており、フットボール１１００を握りやすくしている。
【００４９】
フットボール１１００が握られると、変形センサ１１１０が、フットボール１１００の変形の程度を検出し、これに応じて、イルミネータ１１０６を使用して明るくなる。例えば、変形が大きくなると光が明るくなるか、あるいは、変形が大きくなると光の色が変わる。色の変化は、異なる色のＬＥＤを発光させることによって行うことができる。例えば、変形量が小さいときは緑のＬＥＤを発光させる。変形が大きくなると、黄色、赤、次、紫、青のＬＥＤの順に発光される。このため、変形量の範囲を検出して、次に、これを、光の色を変えることによって表現することができる。
【００５０】
カメラ１０５（図１）は、フットボール１１００の色の変化を検出して、これに適宜反応しうる。例えば、画面１１０に描画されている仮想のプレーヤが、フットボール１１００の変形量に合った強さで、仮想のフットボールを握りうる。
【００５１】
図１２は、変形可能なオブジェクト９００が、ユーザ１２０２が使用しているバスケットボールの形である、変形可能なオブジェクト９００の例示的な用途を示す。ユーザ１２０２はバスケットボールをドリブルしており、この動作がカメラ１０５によってキャプチャされて解釈されうる。仮想の選手１２０６の画像が画面１１０に表現されうる。仮想の選手１２０６の動作が、ユーザ１２０２の動作と同期されうる。変形可能なオブジェクト９００がバウンドするたびに、ボールの変形した箇所が１２０４に示すように明るくなる（網掛けの部分は明るくなる部分を表している）。仮想のプレーヤ１２０６が仮想のボール９００’をバウンドさせ、これも１２０８に示すように明るくなるか色が変わる。
【００５２】
図１３は、トリガ１３０２とトリガセンサ１３０４を有するおもちゃの銃を示す。トリガセンサ１３０４は、トリガ１３０２を握った強度を検出することができる。例えば、強度は、ひずみゲージや、ポテンショメータやスプリングなどのその他の公知の手段を使用して測定することができる。握りの強度が強くなると、イルミネータ１３０６は、個数が増えるか、明るさが上がるか、および／または色を変える。１つの可能な使用として、トリガ１３０２が強く握られた場合に、単発モードから反復または「機関銃」動作モードに変更することがある。
【００５３】
図１４は、おもちゃの野球のバット１４００を示し、これは透光性の軟質プラスチックまたは透光性のスポンジゴムから形成されうる。野球のバット１４００は、握りの部分に変形センサ１４０２と、バットの長さに沿って設けたイルミネータ１４０４を備える。ユーザがバット１４００の握りを大きくすると、イルミネータ１４０４は、個数が増えるか、明るさが上がるか、および／または色を変える。
【００５４】
図７を再び参照すると、コンソール５１０は、変形可能なオブジェクト７１０のアスペクト比の割合の変化を測定することによって、変形の程度を検知することもできる。しかし、図１１，１３，１４を参照して説明したように、変形可能なオブジェクト７１０が色、明るさなどを変える場合には、コンソール５１０は、変形の程度に対する強度値を決定するために、このような変化を部分的に利用するか、あるいは完全に利用してもよい。感圧材料または埋め込み回路を用いれば、変形可能なオブジェクトの形状に制約がなくなる。これにより、マンマシンインタラクティブ機能の新しい可能性が開ける。例えば、野球シミュレーションにおいて、野球のバットを握る強さを、スイングの強さを示す指標として使用することができる。新たに登場した感情コンピューティングの分野では、コンピュータは、ユーザの気分を特定するために、姿勢や表情等のさまざまなテクニックを使用している。同様にして、本技術によって、ゲームの開発者が、ユーザが示す強度値に基づいてゲームのプレイを変えることが可能となる。例えば、恐れ、怒りまたは興奮などの感情を表すことがある強度値を、おもちゃの銃が握られている強さによって検知することができ、これを使用して、コンピュータが作り出すキャラクタの反応を変えることができる。
【００５５】
別の実施形態では、インタラクションの強度が、撮像に加えて、その代わりに、音声によって受け付けられてもよい。この実施形態では、カメラ１０５の代わりに、図１５に例として示す、画像キャプチャユニット１５０６ｂと音声キャプチャユニット１５０６ａを有するモニタ１５０６が提供されうる。音源は、入力オブジェクトや装置が発生させるノイズや、拍手または足踏みやその他の任意のノイズなどである。次に、この音が、音声キャプチャユニット１５０６ａによってキャプチャされ、インタラクションのためにコンピューティングシステム１０２（図１）によって処理される。音声コマンドの識別を可能にするために、音声認識が使用されうる。更に、ユーザが、インターネットまたはネットワークに接続しているが、ゲームのインタラクティビティに直接的または部分的に関わってもいるリモートユーザと通信していてもよい。
【００５６】
本発明の一実施形態によれば、音声キャプチャユニット１５０６ａは、コンピューティングシステム１０２が特定の方向から来る音を選択できるようにする少なくとも２つのマイクロフォンを備えるように構成されうる。コンピューティングシステム１０２が、ゲームのインタラクティビティの中心から外れる方向をフィルタ除去できるようにすることで、環境内の気を散らせるような音が、入力オブジェクト、装置または他の手段によって生成される音の強度値を決定しているインタラクティブプログラムの実行を妨げたり混乱させることはない。同様に、音声キャプチャユニットは、強度値を確実に特定するために、標的焦点ゾーンから音を分離することができる。後述するように、焦点ゾーンは、画像キャプチャユニット１５０６ｂの焦点であるアクティブな画像領域によって識別されうる。他の方法では、焦点ゾーンは、初期化段階の後で、ユーザに提示されたゾーンの選択肢の中から、手動で選択されてもよい。
【００５７】
画像−音声キャプチャ装置１５０６は、画像キャプチャユニット１５０６ｂと音声キャプチャユニット１５０６ａを備える。画像−音声キャプチャ装置１５０６は、画像フレームをデジタル形式でキャプチャして、次にこれらの画像フレームを、その後の処理のためにコンピューティングシステム１０２（図１）に転送することができる。画像キャプチャユニット１５０６ｂの例にウェブカメラがあり、これは、ビデオ画像を、キャプチャして、その後記憶したり、インターネットなどのネットワークを介して通信できるように、デジタル形式でコンピューティング装置に転送することが望ましいときに一般に使用される。その他のタイプの画像キャプチャ装置も、識別とフィルタリングが可能なように画像データがデジタル形式で処理されるものであれば、アナログ、デジタルを問わず考察される。好ましい一実施形態では、入力データを受け取ったのち、フィルタリングを可能にするデジタル処理がソフトウェアで行われうる。音声キャプチャユニット１５０６ａは、一対のマイクロフォン（ＭＩＣ１およびＭＩＣ２）を備えて示されている。マイクロフォンは標準的なマイクロフォンであり、これは画像−音声キャプチャ装置１５０６を構成しているハウジングに一体化することができる。
【００５８】
図１６は、音Ａからの音源１６１６と音Ｂからの音源１６１６に向かい合った状態の音声キャプチャユニット１５０６ａを示す。図に示すように、音Ａがその可聴音を発して、音経路１６０１ａおよび１６０１ｂに沿ってＭＩＣ１およびＭＩＣ２によって検出される。音Ｂが、音経路１６０２ａおよび１６０２ｂを通ってＭＩＣ１およびＭＩＣ２の方に投射される。図に示すように、音Ａの音経路の長さは異なり、したがって、音経路１６０２ａおよび１６０２ｂに対して相対的な遅延が生じる。次に、図１７に示すボックス１７１６で方向選択が行われるように、音Ａおよび音Ｂのそれぞれから来る音が、標準の三角測量アルゴリズムを使用して処理されうる。ＭＩＣ１およびＭＩＣ２から来る音は、それぞれバッファ１およびバッファ２（１７１０ａ、１７１０ｂ）にバッファされて、遅延ライン（１７１２ａ、１７１２ｂ）を通る。一実施形態では、バッファリングおよび遅延処理はソフトウェアによって制御されるが、ハードウェアが同様に演算を扱うようにカスタム設計されてもよい。三角測量に基づいて、方向選択１７１６によって、音源１６１６のうちの１つの識別および選択が行われる。
【００５９】
ＭＩＣ１およびＭＩＣ２のそれぞれから来る音は、ボックス１７１４で合算されてから、選択した発生源の出力として出力される。このように、このような音源がコンピュータシステム１０２（図１）による処理を攪乱させたり、または、ネットワークまたはインターネットを介してビデオゲームをインタラクティブにプレイしている他のユーザとの通信を攪乱させることのないように、アクティブな画像領域の方向以外の方向から来る音がフィルタ除去される。
【００６０】
この技術を利用するビデオゲームやその他のアプリケーションは、音声キャプチャ装置に対して所定の方向または選択した方向にある焦点ゾーンから発生した音の強度値を確実に特定して、定量化することができる。強度値は、音のラウドネスまたは音量、音の速さおよび／または音のピッチと相関されうる。速さは、特定の時間区間に音が繰り返される回数である。ある場合は、音量、速さ、ピッチが大きいときに強度が高い。別の場合は、音量、速さ、ピッチが小さいときに強度が高く、これはアプリケーションに応じて変わる。いずれの場合も、部屋の中で発生する周囲音やその他の音から音を分離すれば、強度量を高い信頼性で決定できるようになる。
【００６１】
図１８は、本発明の一実施形態による、画像−音声キャプチャ装置１５０６と共に使用することができるコンピューティングシステム１８５０を示す。コンピューティングシステム１８５０は、プロセッサ１８５２とメモリ１８５６を備える。バス１８５４は、プロセッサとメモリ１８５６を、画像−音声キャプチャ装置１５０６と相互接続する。メモリ１８５６は、インタラクティブプログラム１８５８の少なくとも一部を格納しており、更に、受信した音源データを処理するための選択的音源聴取ロジックまたはコード１８６０も格納している。画像キャプチャユニット１５０６ｂによって識別される焦点ゾーンの場所に基づいて、焦点ゾーンの外の音源が、（例えば、プロセッサによって実行中であり、メモリ１８５６に少なくとも部分的に記憶されているなどの）選択的音源聴取ロジック１８６０によって選択的にフィルタリングされる。コンピューティングシステムは最も単純な形で示されているが、到来する音源の処理を行って、このため選択的聴取を可能にするために命令を処理することができるハードウェアであれば、どのようなハードウェア構成を使用してもよいという点を強調する。
【００６２】
また、コンピューティングシステム１８５０は、バスを経由してディスプレイ１１０と相互接続されて示されている。この例では、焦点ゾーンは、音源Ｂの方に焦点を合わせている画像キャプチャユニットによって識別されうる。音Ａなどの他の音源から来る音は、音声キャプチャユニット１５０６ａによってキャプチャされて、コンピューティングシステム１８５０へ転送されると、選択的音源聴取ロジック１８６０によって実質的にフィルタ除去される。
【００６３】
１つの具体例では、プレーヤは、他のユーザとのインターネットまたはネットワーク対応ビデオゲームの試合に参加しており、この場合、各ユーザの聴取可能な体験の主なものがスピーカから出される音でありうる。スピーカは、コンピューティングシステムの一部であっても、モニタ１５０６の一部であってもよい。ここで、図４に示すように、ローカルスピーカが音源Ａを生成していると仮定する。音源Ａについてローカルスピーカから来る音を、試合に参加しているユーザにフィードバックしないために、選択的音源聴取ロジック１８６０は、試合に参加しているユーザが自分自身の音または音声のフィードバックを受けないように、音源Ａの音をフィルタ除去する。このフィルタリングを提供することによって、ビデオゲームと相互作用している間にネットワーク上でインタラクティブな通信を行う一方で、処理中の妨害となるフィードバックを有利に回避することが可能となる。
【００６４】
図１９は、少なくとも４つのマイクロフォン（ＭＩＣ１〜ＭＩＣ４）を備える例示的なモニタ１５０６を示す。このため、音声キャプチャユニット１５０６ａは、音源１６１６（ＡおよびＢ）の位置を特定するために、より良好な粒度で三角測量ができる。すなわち、追加のマイクロフォンを提供することによって、音源の位置をより正確に定義し、このため、対象外であるかまたはゲームのプレイまたはコンピューティングシステムとのインタラクティビティに害を及ぼしかねない音源を除去してフィルタ除去することが可能である。図１８に示すように、音源１６１６（Ｂ）は、ビデオキャプチャユニット１０６ｂによって識別された対象の音源でありうる。図１８の例の説明を続けると、図１９は音源Ｂが空間体積に識別される方法を識別している。
【００６５】
音源Ｂが位置する空間体積は、焦点体積１９７４を定義する。焦点体積を識別することによって、特定の体積内にないノイズ（すなわち、正しい方向にないもの）を除去またはフィルタ除去することが可能である。焦点体積１９７４の選択が容易となるように、画像−音声キャプチャ装置のモニタ１５０６は、好ましくは少なくとも４つのマイクロフォンを備える。マイクロフォンのうちの少なくとも１つは、ほかの３つのマイクロフォンとは異なる平面にある。画像−音声キャプチャ装置のモニタ１５０６のマイクロフォンのうちの１つを平面１９７１に保ち、４つのうちの残りを平面１９７０に置くことによって、空間体積を定義することが可能である。
【００６６】
したがって、周辺にいる他の人（１９７６ａおよび１９７６ｂとして示される）から来るノイズは、体積焦点１９７４内に画定される空間体積内に存在していないため、フィルタ除去される。更に、スピーカ１９７６ｃで示すように、空間体積のすぐ外で生成されたノイズも、空間体積の外に存在しているためにフィルタ除去される。
【００６７】
次に、フィルタリングアルゴリズムの例示的な実装を、図２０〜２２を参照して記載する。この実施形態は、ポータブルコンシューマデバイスに関連付けられた、マイクロフォンアレイによる音声入力システムを提供する。この音声入力システムは、複数のノイズ信号から目的音声信号を分離することができる。更に、マイクロフォンアレイが取り付けられているポータブルコンシューマデバイスに移動上の制限はない。本発明の一実施形態では、マイクロフォンアレイフレームワークは、４つの主要モジュールを有する。第１のモジュールは、音響エコー消去（acoustic echo cancellation：ＡＥＣ）モジュールでありうる。ＡＥＣモジュールは、ポータブルコンシューマデバイスが発生させるノイズをキャンセルするように構成されうる。例えば、ポータブルコンシューマデバイスがビデオゲームコントローラの場合、ビデオゲームのプレイに関連したノイズ、すなわち音楽、爆発音、声などは全て既知である。このため、マイクロフォンアレイの各マイクロフォンセンサから入って来る信号に適用するフィルタが、デバイスが発生させるこれらの既知のノイズを除去しうる。別の実施形態では、ＡＥＣモジュールは、任意選択であり、後述するモジュールと一緒に含まれていなくてもよい。音響エコーキャンセルに関する更に詳しい説明はジョン・Ｊ・シャンク（John J. Shynk）、“Frequency-Domain and Multirate Adaptive Filtering”、IEEE Signal Processing Magazine、１４〜３７ページ、１９９２年１月に記載されている。同文献を、あらゆる目的のために参照により援用する。
【００６８】
図２０は、本発明の一実施形態による、聴音方向以外の信号を抑制するように構成されたアレイビーム形成モジュールを示す簡略模式図である。一実施形態では、このビーム形成は、フィルタアンドサムビーム形成に基づきうる。信号パスフィルタとも呼ばれる有限インパルス応答（finite impulse response：ＦＩＲ）フィルタが、適応可能であるアレイ較正処理によって生成されうる。このため、ビーム形成は、基本的に、センサアレイを物理的に移動させることなく、ビーム（すなわち聴取方向）をトラッキングして、ビームをソース信号２０２８に向けさせるビームフォーマでありうる。焦点方向（focal direction）からの信号を増強させる方法を指すビーム形成は、マイクロフォンセンサ２０１２−１〜２０１２−Ｍを、（物理的にではなく）アルゴリズムによって所望の目的信号に向けさせる処理とも考えられることは、当業者に明らかであろう。センサ１１２−１〜１１２−Ｍが対象とする方向は、ビーム形成方向または聴取方向と呼ばれることがあり、実行時に固定されていても、適応可能であってもよい。
【００６９】
ビーム形成の背後にある基本的な概念は、所望の音源から出る音声信号が複数のマイクロフォンセンサのアレイに到達するまでの時間遅延が異なることにある。アレイの形状の配置は予め較正されているため、音源とセンサアレイ間の経路長の差は、既知のパラメータである。このため、相互相関と呼ばれる方法を使用して、異なるセンサからの信号を時間整合することができる。各センサからの、時間により整合させた信号を、ビーム形成方向に従って重み付けする。次に、重み付けした信号を、センサ固有のノイズ消去構成によってフィルタしうる（すなわち、各センサが、信号パスフィルタ２０６２に含まれるフィルタである整合フィルタＦ１〜ＦＭ２０４２−１〜２０４２−Ｍに関連付けられている）。各センサからのフィルタされた信号をモジュール２０７２によって合算して、出力Ｚ（ω，θ）を生成する。上記の方法は、自己相関と呼ばれることがあるという点を理解すべきである。更に、信号がビーム形成方向に存在しないとき、これらの信号は時間軸に沿って整合されていない状態に留まるため、このような信号は、平均化によって減衰される。アレイベースのキャプチャシステムに一般的なように、所望の空間方向（直線形状の配置を使用する）または空間体積（凸形状のアレイ配置を使用する）から音をキャプチャするマイクロフォンアレイの全体的な性能は、音源の位置を特定して、これを追跡できる能力によって決まる。しかし、ビデオゲーム環境などの、複雑な残響ノイズが存在する環境では、環境固有のパラメータのインテグレーション、つまり統合を行わずに一般の音位置追跡システムを構築することは、ほぼ不可能である。
【００７０】
図２０を続けて参照すると、別の実施形態では、適応ビーム形成は、２部構成の処理として説明することもできる。第１の処理では、ブロードサイドノイズがファーフィールドに存在すると仮定する。すなわち、音源２０２８からマイクロフォンの中心２０１２−１〜２０１２−Ｍまでの距離は、初期には音源２０２８が各マイクロフォンセンサに対して垂直の位置に存在するとみなすことができる程に十分に大きいとする。例えば、マイクロフォンセンサ２０１２−ｍについては、音源が線２０３６に沿って存在しているとする。このため、ブロードサイドノイズが、ここでＦ１と呼ぶフィルタを適用することで増強されうる。次に、定期的に較正される信号パスフィルタが、マイクロフォンセンサアレイを移動に適応可能にするＦ２と呼ばれる因子を決定するように構成されうる。Ｆ２の決定については、アダプティブアレイ較正モジュールに関して後述する。一実施形態では、信号パスフィルタは１００ミリ秒毎に較正されうる。このため、１００ミリ秒毎に、信号パスフィルタが固定ビーム形成に適用されうる。一実施形態では、整合フィルタ２０４２−１〜２０４２−Ｍが各マイクロフォンのステアリング因子（Ｆ２）を供給し、これにより、線２０３８−１〜２０３８−Ｍに示すように聴取方向が調整される。図２０に示すθの入射角で、センサに向かって伝搬するサイン波ファーフィールド平面波を考慮すると、この波が２つの隣接するセンサ間の距離ｄを進む際の時間遅延は、ｄｍｃｏｓθによって与えられる。固定ビーム形成に関する更に詳しい説明は、バリー・Ｄ・ヴァンフェーン（Barry D. Van Veen）およびケビン・Ｍ・バックリー（M. Buckley）、“Beamforming: A Versatile Approach to Spatial Filtering”、IEEE ASSP MAGAZINE、１９８８年４月の文献に記載されている。同文献を、あらゆる目的のために参照により援用する。
【００７１】
図２１は、音声信号のノイズ成分とソース信号成分とを分離するためのブラインド音源分離法を示す高レベル模式図である。音声信号中のソース信号およびノイズに関しては明示的な情報が得られないことがあるという点を理解すべきである。しかし、ソース信号とノイズの特徴が異なっていることはわかっている。例えば、第１の話者の音声信号と第２の話者の音声信号は、２人の話者の声が異なり、ノイズの種類が異なるため区別できる。このため、入って来る音声信号（ノイズとソース信号を含む）を表すデータ２１５０は、データマイニング操作により、ノイズ成分２１５２とソース信号２１５４に分離されうる。次に、分離フィルタ２１６０によって、ソース信号２１５０がノイズ信号２１５２から分離される。
【００７２】
本発明の一実施形態により、データマイニングを実行する１つの方法として、データを解析して、二次統計（second ordar statistic）によって独立成分を見つける独立成分分析（independent component analysis：ＩＣＡ）による方法がある点を当業者は理解するであろう。このため、さまざまな音を区別する音指紋をキャプチャするために、二次統計を計算して、データの特徴を記述または定義しうる。次に、ソース信号をノイズ信号から分離するために、分離フィルタが有効化されうる。音指紋の計算は定期的に実行されうるという点を理解すべきである。このため、ブラインドソース分離を使用するこのアダプティブアレイ較正処理によって、聴取方向が各期間において調整されうる。ひとたび分離フィルタ２１６０によって信号が分離されると、トラッキングの問題を解決できることは、当業者にとって明らかである。すなわち、センサアレイの複数のマイクロフォンに基づいて、ソース信号２１５４のトラッキングに使用する時間到着遅延が決定されうる。上で言及した二次統計は、自動相関法または相互相関法と呼ばれることがあることを当業者は理解するであろう。二次統計を使用したブラインドソース分離に関する更に詳しい説明は、Ｏ．シェルビ（O. Shalvi）およびＥ．ウェインスタイン（E. Weinstein）、“System Identification Using Non-Stationary Signals”、IEEE Transactions on Signal Processing、第４４巻、第８号、２０５５〜２０６３ページ、１９９６年８月の文献に記載されている。同文献を、あらゆる目的のために参照によりここに援用する。
【００７３】
図２２は、適応ノイズ消去を採用したマイクロフォンアレイフレームワークを示す模式図である。ノイズとソース信号を含む音声信号２２６６が、ビデオゲームコンソールやコンピューティング装置などのポータブルコンシューマデバイス１０２に取り付けられうるマイクロフォンセンサアレイによって受信されうる。次に、ポータブルコンシューマデバイス１０２によって受信された音声信号が、音響エコー消去（acoustic echo cancellation：ＡＥＣ）モジュール１６８によって前処理されうる。ここで、音響エコー消去は、例えば、米国特許出願第１０／６５０，４０９号明細書に記載されているように実行することができ、同文献を参照によりここに援用する。マイクロフォンアレイ内のマイクロフォンセンサの個数に対応している信号ｚ１〜ｚＭが生成され、チャネル２２７０−１〜２２７０−Ｍを介して分配される。チャネル２２７０−１は基準チャネルでありうるという点を理解すべきである。次に、対応する信号が、フィルタアンドサムモジュール２０６２に伝えられる。フィルタアンドサムモジュール２０６２が図２０を参照して上記した適応ビーム形成を実行するという点を理解すべきである。同時に、チャネル２２７０−１〜２２７０−Ｍからの信号がブロッキングフィルタ２２６４に伝えられる。
【００７４】
ブロッキングフィルタ２２６４は、目的信号がノイズとしてとらえられる場合に、逆ビーム形成を実行するように構成されうる。このため、ブロッキングフィルタ２２６４は、ソース信号を減衰させ、ノイズを増強する。すなわち、ブロッキングフィルタ２２６４は、較正係数Ｆ３を決定するように構成されてもよく、この係数は、適応ビーム成形処理で決定された較正係数Ｆ２の逆数と考えることができる。図２１を参照して記載したアダプティブアレイ較正が、ここに記載した処理のバックグラウンドで行われていることを当業者は理解するであろう。フィルタアンドサムモジュール２０６２とブロッキングフィルタモジュール２２６４は、分離フィルタ２１６０を構成している。次に、ノイズ増強信号Ｕ２〜ＵＭが、それぞれ対応する適応フィルタ２２７５−２〜２２７５−Ｍに送られる。適応フィルタ２２７５−２〜２２７５−Ｍは、適応フィルタモジュール２２７４に含まれる。ここで、適応フィルタ２２７５−２〜２２７５−Ｍは、モジュール２２７６での加算演算のために、対応する信号を整合させるように構成されている。当業者であれば、ノイズは定常ではないことがあり、このため、加算演算の前に信号を整合させる必要があることが理解できるであろう。
【００７５】
図２２を続けて参照すると、次に、加算演算モジュール２２７８によってノイズ低減信号を供給するために、モジュール２２７６による加算演算で得られた信号が、モジュール２２７２による加算演算からの信号出力と結合されうる。すなわち、所望のソース信号を増強するように、モジュール２２７２の増強信号出力が、モジュール２２７６からのノイズ増強信号と結合されうる。ブロック２２８０は適応ノイズ消去操作を表す点を理解すべきである。更に、一実施形態では、検出された信号対雑音比が０デシベルを超えている限り、バックグラウンドに存在するアレイ較正が１００ミリ秒毎に行われうる。前述のように、アレイ較正により、フィルタアンドサムビームフォーマ２０６２で使用される信号パスフィルタと、信号対雑音比が−１００デシベル未満の純粋な干渉（ｐｕｒｅ ｉｎｔｅｒｆｅｒｅｎｃｅ）を生成する信号ブロッキングフィルタ２２６４が更新されうる。
【００７６】
一実施形態では、マイクロフォンセンサアレイの出力信号が後処理モジュールに送られ、ベイジアン統計モデリングによって、人物固有の音声スペクトルフィルタリングに基づいて処理され、音声品質が更に向上されうる。音声スペクトルフィルタリングに関する詳細な情報は、デイビッド・バーシュテイン（David Burshtein）、“Speech Enhancement Using a Mixture-Maximum Model”、IEEE Transactions on Speech and Audio Processing、第１０巻、第６号、２００２年９月の文献に記載されている。同文献を、あらゆる目的のために参照により援用する。ここで言及した信号処理アルゴリズムは周波数領域で実行されるという点を理解すべきである。更に、リアルタイムの信号応答を得るために、高速かつ高効率な高速フーリエ変換（Fast Fourier transform：ＦＦＴ）が適用されうる。一実施形態では、実装されたソフトウェアは、各信号入力の塊（サンプリングレート１６ｋＨｚにおいて５１２の信号サンプル）について、ウィンドウ長１０２４のＦＦＴ操作を２５回必要とする。直線形状に等間隔で配置された４個のセンサを有するマイクロフォンアレイの代表的な例では、音響エコー消去およびベイジアンモデルをベースとした音声スペクトルフィルタリングを適用しない場合に、必要な全演算は約２５０メガの浮動小数点演算（２５０ＭＦＬＯＰＳ：mega floating point operations）となりうる。
【００７７】
図２２を続けて参照すると、分離フィルタ２１６０は、ＱＲ直交化手順によって、この範囲および零空間にある２つの直角成分に分解されうる。すなわち、零空間から信号ブロッキングフィルタ係数（Ｆ３）が得られ、順位空間（rank space）から信号パスフィルタ係数（Ｆ２）が得られうる。この処理は、一般化サイドローブキャンセラ（Generalized Sidelobe Canceler：ＧＳＣ）手法として特徴づけられうる。ＧＳＣ手法に関する更に詳しい説明は、前述の文献“Beamforming: A Versatile Approach to Spatial Filtering”に記載されており、同文献は参照により援用されている。
【００７８】
上記に記載した実施形態は、高ノイズ環境において音声入力を提供するための方法および装置について記載している。この音声入力システムは、ＳＯＮＹ ＰＬＡＹＳＴＡＴＩＯＮ２（登録商標）用のビデオゲームコントローラやその他の任意の適切なビデオゲームコントローラなどのビデオゲームコントローラに取り付けられうるマイクロフォンアレイを有する。マイクロフォンは、ビデオゲームコントローラの移動に一切の制限を課さないように構成されうる。マイクロフォンアレイのマイクロフォンセンサによって受信された信号には、フォアグラウンドの話者または音声信号、および部屋の残響を含む各種バックグラウンドノイズが含まれると仮定される。異なるセンサからのバックグラウンドおよびフォアグラウンドの時間遅延が異なることがあるため、周波数スペクトル領域におけるこれらの二次統計は互いに独立しており、このため、周波数成分に基づいて信号を分離することができる。次に、分離した信号周波数成分が再び結合されて、フォアグラウンドの所望の音声信号が再現される。ここに記載した実施形態は、ノイズ環境においてビデオゲーム用のコマンドを発行するか、または他のプレーヤと通信するためのリアルタイム音声入力システムを規定しているという点を更に理解すべきである。
【００７９】
図２３は、トリガ２３００とトリガセンサ２３０１を有する例示的なおもちゃの銃２３００を示す。更に、おもちゃの銃２３００は、マーブル２３０２も有する。一実施形態では、マーブル２３０２は、中実の金属のボールベアリングを含む。ユーザが銃２３００をはじく（flick）と、マーブル２３０２が、前方に位置２３０２’まで摺動して大きな「破裂」（crack）音を発生させ、これがモニタ１５０６によって感知されうる。別法では、あるいは上記に加えて、ユーザがトリガ２３０１を握ると、これがトリガセンサ２３０４によって検知されてもよい。おもちゃの銃２３００は、銃の発射の音響効果をスピーカ２３０８から出す回路２３０６を有する。一実施形態では、トリガ２３０１の握りが強いほど、銃弾の効果が早くなるか、あるいは異なる効果が引き起こされる。コンピューティングシステム１８５０（図１８）は、音を区別することができ、マーブル２００２が発生させた「破裂」音を受けると「再装填」動作を、トリガ２３０１が握られていると、仮想環境で発射動作を起こすことができる。別の実施形態では、トリガが強く握られると、発生する音のピッチ（周波数）が高くなったりピッチが変わったりする。ピッチが高くなるほど強度が大きくなることが、モニタ１５０６によって取得されうる。
【００８０】
図２０にはおもちゃの銃が示されているが、プラッシュ織の人形、ボールなどの他の入力装置、道具またはおもちゃを想到でき、音声キャプチャ１５０６ａと共に使用することができることを当業者は認めるであろう。ここに記載した例示的な実施形態は、音量、周波数、または速さの変化がコンピュータシステムによってどのように解釈されて、インタフェース用のオブジェクトとのインタラクションを示す強度値が特定されるかを示している。１つの例では、おもちゃの人形は、抱かれるか握られるかで、生成される音が変わり、これが音声キャプチャユニットによってキャプチャされて、異なる反応をしうる。
【００８１】
図２４は、フローチャート図２４００を示す。この手順は開始ブロック２４０２に示すように開始し、操作２４０４に進み、ビデオおよび／または音声キャプチャ機能を備えたキャプチャ装置を使用して、キャプチャ領域がモニタされうる。手順は操作２４０６に進み、キャプチャ領域内で入力装置が検出されうる。入力装置の初期形状が検出されうる。入力装置は、その色または形によって検出されうる。例えば、入力装置がオレンジ色のボールである場合、ビデオモニタは丸いオレンジの形状を探し、それが入力装置であると判定する。
【００８２】
手順は操作２４０８に進み、入力装置の形、色または明るさの変化の程度が検出されうる。一実施形態では、入力装置は、変形を受けると、色が変わるか次第に明るくなる。別の実施形態では、入力装置は、例えばユーザによって握られると単に形を変える。ビデオモニタは、装置の形、色または明るさの変化を検出して、変化の程度から、強度値を特定することができる。
【００８３】
手順は操作２４１０に進み、キャプチャ装置と通信しているコンピュータで実行中のコンピュータプログラムによって、アクティビティ入力が開始される。アクティビティ入力には、ビデオキャプチャ装置が感知した変形、光、色の程度から計算される強度値が含まれうる。次に手順が、終了ブロック２４１２に示すように終了する。
【００８４】
図２５は、第２のフローチャート２５００を示す。この手順は、開始ブロック２５０２に示すように開始し、操作２５０４に示すように、ビデオおよび音声機能を備えたキャプチャ装置を使用して、キャプチャ領域がモニタされうる。次に、操作２５０６において、入力装置が発生させた音が検出されうる。手順は操作２５０８に進み、入力装置が発生させた音のラウドネスまたは速さに基づいて、強度値が計算されうる。別の実施形態では、強度値を決定するために、音の周波数（ピッチ）が使用されうる。
【００８５】
手順は操作２５１０に進み、キャプチャ装置と通信しているコンピュータで実行中のコンピュータプログラムに、アクティビティ入力が提供されうる。アクティビティ入力には、入力装置が発生させた音から決定された強度値を表す値が含まれうる。次に手順が、終了ブロック２５１２に示すように終了する。
【００８６】
焦点ゾーンにおいて、ビデオゲームコントローラがビデオゲームまたは他のコンピュータプログラムとのインタラクションが求められる場合がある。ビデオゲームコントローラは、通常、ゲーム内のアクションを制御するため、ビデオゲームプログラムへの入力を提供する、ボタン、ノブおよび／またはジョイスティックを有する手持ち式装置でありうる。空間内でのコントローラの移動および／または回転を検知することによって、コントローラに追加の機能を追加することが求められることがある。例えば、ユーザが、コントローラ装置全体を傾けることによって、仮想のレース車を運転し、これが、図１〜１４を参照して説明したように、画像キャプチャ装置によって検知されうる。従来、ビデオゲームコントローラは、利用可能な１つ以上の赤外線または高周波（ＲＦ）インタフェースを使用して、アナログ信号および／またはデジタルデータのストリームを有線あるいは無線によって提供している。マルチプレーヤのゲームのために、複数のコントローラが、コンピュータシステム（例えばゲームコンソール）と電子的通信を行うことがある。プログラムとのインタラクションを行う各ユーザに対して、プレーヤ１、プレーヤ２などの番号が割り振られうる。ゲームコントローラがシステムに接続されると、各ユーザに対して、コントローラが接続されたポート番号に従って、番号が割り振られうる。このため、コンピュータゲームが４つのポートを有する場合、プレーヤ１がポート番号１に接続され、プレーヤ２がポート番号２に接続され、…と続いていく。無線コントローラにより、プレーヤは、無線チャネルやほかのハンドシェークプロトコル機構に基づいて、自分のプレーヤ番号を選択できるようになり、コントローラ自体が、プレーヤ１、プレーヤ２などであると認識できる。
【００８７】
図２６，２７は、画像キャプチャ装置１０５（図１）とのインタラクションを行う例示的なコントローラ２６００を示す。コントローラ２６００は、各種のボタンおよびジョイスティックを含む複数のインタフェース装置を有するインタフェース２６０２を備える。ここに記載するコントローラは、有線であっても、無線であってもよい。ＷｉＦｉ、ブルートゥース（登録商標）、赤外線、音声、光などの技術が、ゲームコンソールなどのコンピュータとインタフェースするために使用されうる。一実施形態では、コントローラ２６００は、ＬＥＤアレイ２６０５を有する。ＬＥＤアレイは、さまざまなレイアウトで構成することができ、このようなレイアウトには、例えば、各ＬＥＤが、想像上の矩形または正方形の結合ボックスの頂点に配置されている２×２のスタックがある。画像キャプチャ装置が作成する画像平面に投射されたときの、結合ボックスの位置および変形を追跡することによって、変化および変形がビデオアナライザで分析され、コントローラの位置および姿勢の情報が解読されうる。ＬＥＤアレイ２６０５は、赤外光または可視光を発しうる。画像キャプチャ装置１０５（図１）は、本発明のさまざまな実施形態に関して説明したように、ＬＥＤアレイ２６０５を識別しうる。例えば、各コントローラに対して、スイッチ２６１０を使用して、例えば、プレーヤ１〜プレーヤ４と割り振られ、これによって、ユーザが、プレーヤ番号１〜４から選択できるようになる。プレーヤ番号のそれぞれの選択は、ＬＥＤアレイ２６０５が発光している一意的なＬＥＤのパターンまたは変調に対応している。例えば、プレーヤ１の場合は、１番目、３番目および５番目のＬＥＤが点灯する。このようなプレーヤ情報は符号化されて、複数のビデオフレーム間で、所定の期間にわたり、繰り返し伝送されうる。コントローラまたは装置のＬＥＤが、トラッキングモードと伝送モードを切り替えるように、インタリーブ方式が使用されることが望ましいことがある。トラッキングモードでは、サイクルの第１の部分の間、全てのＬＥＤが点灯しうる。伝送モードでは、サイクルの第２の部分の間、ＬＥＤによって情報の変調が行われうる。所定の期間、ＬＥＤは、信号を受け取ることができるビデオアナライザまたは適切な装置に、トラッキング情報と通信情報を伝送する。伝送モードでは、ＬＥＤは、プレーヤのＩＤを表す情報を符号化しうる。期間と動作周期は、トラッキングの速度、点灯条件、コントローラの台数などに対応するように選択されうる。通信とトラッキング情報をインタリーブすることによって、ビデオキャプチャ装置は、適切な情報が与えられて、各コントローラのトラッキングパラメータを計算し、コントローラ同志を区別することができる。このような区別は、位置および姿勢や、コントローラの移動の他の評価基準をモニタおよびトラッキングする際に、各物理コントローラを分離するために、ビデオアナライザで使用されうる。
【００８８】
伝送モードでは、コマンドまたは状態情報などの他の情報が、コントローラまたは装置のＬＥＤによって、公知の符号化および変調の方式に従って伝送されうる。受信側では、ビデオキャプチャ装置に結合されたビデオアナライザが、ＬＥＤの状態と同期して、これをトラッキングし、情報とコントローラの移動を復号化しうる。伝送モードサイクルでは、フレーム間でデータを変調させることによって、高帯域が得られることが知られている。
【００８９】
ユーザがインタフェース２６０２とのインタラクションを行うと、ＬＥＤアレイ２６０５の１つ以上のＬＥＤが変調および／または変色しうる。例えば、ユーザがジョイスティックを動かすと、ＬＥＤが明るさを変えるか、または情報を伝送しうる。強度または色の変化が、コンピュータシステムによってモニタされて、図１〜１４を参照して説明したように、強度値としてゲームプログラムに提供される。更に、各ボタンが、ＬＥＤアレイ２６０５の１つ以上のＬＥＤの色または強度の変化にマッピングされうる。
【００９０】
コントローラ２６００が三次元空間内で移動され、ロール、ヨーまたはピッチの方向（後で図３３を参照して詳細に説明する）のいずれかに回転されると、画像キャプチャ装置１０５は、コンピュータシステム１０２（図１）と共に、この変化を識別して、画像平面での移動を記述するために二次元ベクトルを、あるいは、三次元の空間での移動を記述するために三次元のベクトルを生成することができる。ベクトルは、画像キャプチャ装置１０５に対する相対移動および／または絶対位置を記述している一連の座標として提供されうる。当業者にとって明らかなように、画像キャプチャ装置１０５の見通線に垂直な面（画像平面）での移動は、画像キャプチャゾーン内の絶対位置によって特定することができる。これに対して、画像キャプチャ装置１０５に近いコントローラ２６００の移動は、ＬＥＤアレイ２６０５によって広がって見えて特定されうる。すなわち、画像平面上の先頭のＬＥＤと最後のＬＥＤ間の距離が、画像キャプチャ装置からの距離を計算するために測定されうる。
【００９１】
図２８，２９ａは、ＬＥＤ２８０５が矩形に構成されており、これによって、コントローラ２８００の各軸を中心とした三次元と回転の移動の検出が可能なコントローラ２８００を示す。限られたＬＥＤのみが図示されているが、これは例示のみを目的としており、面内に分布しているＬＥＤの個数は任意の個数であってもよく、同一直線上にないＬＥＤも可能である。コントローラ２８００が前後にピッチ運動すると、上下のＬＥＤの距離が近づくが、左右のＬＥＤ間の距離は変わらない。同様に、コントローラ２８００が左右にヨー運動すると、左右のＬＥＤが接近して見えるが、上下のＬＥＤ間の距離は変わらない。コントローラ２８００のロール運動は、画像平面におけるＬＥＤの向きを特定することによって検出することができる。コントローラが、画像キャプチャ装置１０５の見通線に沿って画像キャプチャ装置１０５に近づくと、全てのＬＥＤが接近して見える。最後に、画像平面に沿ったコントローラの移動は、画像平面上のＬＥＤの位置を特定することによってトラッキングすることができ、これにより、ｘ軸およびｙ軸のそれぞれに沿った移動が特定できる。図２６，２７を参照して説明したように、ユーザによるインタフェース２８０２とのインタラクションを特定するために、ＬＥＤ変調を使用することができる。
【００９２】
図２９ｂは、別の実施形態によるコントローラ２９２０を示しており、ＬＥＤ２９２２、スピーカ２９２４、およびマイクロフォン２９２６が組み込まれている。ＬＥＤ２９２２は、画像キャプチャ装置を使用して位置情報と姿勢情報を提供する一方、スピーカ２９２４は、可聴音または超音波を発生させ、図１５〜２３を参照して説明したような、音声モニタを使用した音響効果および／または通信を提供している。マイクロフォン２９２６は、システムに音声入力を提供しており、音声コマンドを発行したり、またはオンラインのマルチプレーヤ環境で他のプレーヤと通信するために使用することができる。
【００９３】
図２９ｃは、矩形構成のＬＥＤ２９３２のほか、コントローラ２９３０の後面パネルの中央に配置されたスピーカを有するコントローラ２９３０を示す。図２９ｄは、弧形状に配置された５つのＬＥＤ２９４２を有するコントローラ２９４０を示す。図２９ｅは、長方形の構成に配置されたＬＥＤを有するコントローラ２９５０を示す。図２９ｆは、密集して配置された６つのＬＥＤ２９６を有するコントローラ２９６０を示す。当業者は、ほかのＬＥＤ構成が可能であることを認めるであろう。
【００９４】
図３０は、画像キャプチャ装置の使用時に、プレーヤとコントローラとの対応関係を決定するための例示的な手順を示すフローチャート３０００を示す。この手順は開始ブロック３００２に示すように開始し、操作３００４に進む。操作３００４において、プレーヤは希望するプレーヤ番号を選択し、コントローラがその選択内容を受け取りうる。次に、手順は操作３００６に進み、ユーザが選択したプレーヤ番号に対応するＬＥＤパターンが表示されうる。操作３００８において、コントローラを含む焦点ゾーンの画像が、コンピュータに接続されうる画像キャプチャ装置によって受信される。コンピュータは、画像を表すデータを受け取ると、操作３０１０において、コントローラが発生させたＬＥＤパターンを特定し、操作３０１２において、ＬＥＤパターンから、そのコントローラに対応しているプレーヤを決定する。次に手順が、終了ブロック３０１４に示すように終了する。
【００９５】
図３１は、画像キャプチャ装置を使用してコントローラの姿勢を特定するための例示的な手順を示すフローチャート３１００を示す。この手順は開始ブロック３１０２に示すように開始し、操作３１０４に進み、コントローラを含む焦点ゾーンのビデオ画像が受信される。操作３１０６において、コントローラにあるＬＥＤの絶対位置および相対位置から、コントローラの姿勢および／または位置が特定されうる。姿勢と位置は、図２８，２９を参照して説明したように取得することができる。コントローラの姿勢および／または位置が特定されると、手順は操作３１０８に進み、コントローラの姿勢および／または位置を表すデータが、このデータを要求したか、あるいはこのデータを受け取るコンピュータプログラムに渡される。次に手順が、終了ブロック３１１０に示すように終了する。
【００９６】
図３２は、画像キャプチャ装置を使用してコントローラの姿勢を特定するための例示的な手順を示すフローチャート３２００を示す。この手順は開始ブロック３２０２に示すように開始し、操作３２０４に進み、コントローラを含む焦点ゾーンのビデオ画像が受信される。次に、操作３２０６において、ボタン、スイッチ、ジョイスティックなどのコントローラのインタフェースの操作が、コントローラのＬＥＤの変調から特定されうる。この操作は、図２６〜２７を参照して説明したように実行されうる。次に、操作３２０８において、操作情報がコンピュータプログラムに渡されうる。最後に、手順は、終了ブロック３２１０に示すように終了する。
【００９７】
図３３は、多数の制御部と移動検知装置３３０５を有するインタフェース３３０２を有するコントローラ３３００を示す。一実施形態では、移動検知装置３３０５は、三軸の加速度計であってもよい。加速度計は、電子工学分野で一般に公知であり、通常、運動量の変化に反応する構造する小さな固体素子装置と、反応を検出するセンサとを有する。並進運動のほかに回転運動を検知することができる小型の加速度計が入手可能である。並進運動は、ｘ軸、ｙ軸、ｚ軸に沿った移動である。回転運動は、ｘ軸、ｙ軸、ｚ軸の１つ以上を中心とした回転である。並進検出加速度計は、重力の引っ張りの方向を検出することができ、このため、重力の引っ張りに対する装置（ゲームコントローラなど）の絶対的な姿勢を特定する。コントローラ３３００は、並進検知加速度計３３０５を有し、これがデジタルデータを発生させ、このデータがコントローラ３３０の内部にある回路（図示せず）によって受信される。このデジタルデータは、装置に対する重力の引っ張りから決定できる、装置の並進移動ベクトルと姿勢に変換されうる。このようにして、回路は、コントローラ３３００の移動と姿勢を特定して、インタフェース３３０２の各種制御部とユーザとのインタラクションを示すほかのデータと共に、当業界で一般に公知の技術（ケーブル、赤外線または無線接続を介してなど）を使用して、このデータをゲームコンソールに伝送する。このデータを、画像キャプチャ装置が視覚的に認識可能なようにＬＥＤ変調に符号化することも可能である。装置によってキャプチャされた移動は、（初期位置を原点とした）絶対位置と姿勢、および／または位置と姿勢の変化の情報として表すことができる。
【００９８】
図３４は、コントローラ３３００の移動をコンピュータプログラムに伝える例示的な手順を示すフローチャート３４００を示す。この手順は開始ブロック３４０２から始まり、操作３４０４に進み、ゲームコントローラの移動が検出されうる。一実施形態では、移動は、コントローラの運動量の変化を検出することによって検出することができ、運動量は加速度計を使用して検出することができる。次に、運動量の変化が、初期の原点からの移動ベクトルおよび／または絶対位置ベクトル、ならびに、コントローラ３３００の姿勢を特定する重力の引っ張りを表すベクトルに変換されうる。移動、位置、および姿勢の各ベクトルは、一連の座標として表すことができる。操作３４０４においてゲームコントローラ３３００の移動を検出したら、手順は、操作３４０６に進み、検出された移動を表すデータが、このデータを要求したか、あるいはこのデータを受け取るプログラムに渡される。
【００９９】
特定の実施形態では、強度値、コントローラのプレーヤ番号、コントローラを含む１つ以上の入力オブジェクトの姿勢および／または位置を決定するための上記の画像または音声処理機能が、コンピュータシステムで実行中のプロセスで実行されてもよい。コンピューティングシステムが、メインプロセスを実行していてもよく、これは、画像または音声処理から得られるデータを要求するか、あるいはこのデータを受け取るゲームアプリケーションであってもよい。このようなデータには、強度値、コントローラのプレーヤ番号、コントローラを含む１つ以上の入力オブジェクトの姿勢および／または位置、コントローラの操作などが含まれる。各種実施形態では、画像および／または音声処理機能を実行しているプロセスは、ビデオカメラまたはビデオ／音声監視装置のドライバであってもよく、このドライバは、一般に知られているように実装に特有であり、当業界で知られ、理解されているように、任意のタイプのプロセス間通信を介して、メインプロセスにデータを提供する。画像または音声処理を実行するプロセスは、ゲームや他のソフトウェアを実行しているものと同じプロセッサで実行されても、別のプロセッサで実行されてもよい。画像または音声処理とゲーム機能に対して、例えば、プロシージャコールを使用して、同じプロセス内で共通のプロセスとしてもよい。このため、本明細書において、強度値やほかの情報が「『プログラムに』提供される」と言及することがあるが、本発明には、１つのプロセスが、画像処理機能とゲーム機能の両方を実行することができるように、プロシージャコールやその他のソフトウェア機能を使用して、このようなデータをプロセスのルーチンに提供することも含まれていることを理解すべきである。また、これら機能を異なるプロセスに分割して、共通のプロセッサコアまたは複数のプロセッサコアで実行される１つ以上のプロセスが、本明細書に記載したような画像および／または音声処理を実行して、別のプロセスがゲーム機能を実行してもよい。
【０１００】
本発明は、ここに記載したように使用されても、ほかのユーザ入力機構、音の角度方向をトラッキングする他の機構、および／またはオブジェクトの位置を能動的または受動的にトラッキングする機構、機械的視野を使用する機構、これらの組み合わせと共に使用されてもよい。トラッキングされるオブジェクトは、システムへのフィードバックを操作する補助的制御部またはボタンを備えていてもよい。このようなフィードバックには、光源からの発光、音歪み手段または他の適切な送信器および変調器のほかに、ボタン、圧力パッドなどがあるが、これらに限定されない。これらは、その伝達または変調、符号化状態および／またはトラッキング対象の装置との間でやり取りされるコマンドに影響しうる。
【０１０１】
本発明は、ゲームコンソール、ゲームコンピュータまたはコンピューティング装置、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステムの構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、ネットワークを介してリンクされる遠隔処理デバイスによってタスクが実行される。例えば、オンラインのゲームシステムおよびソフトウェアが使用されてもよい。
【０１０２】
上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作は、物理量の物理的操作を必要とする。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。
【０１０３】
本発明の一部を構成している、本明細書に記載した操作はいずれも、有用な機械的操作である。本発明は、これらの操作を実行するデバイスまたは装置にも関する。この装置は、上記に記載したキャリアネットワークなどの所望の目的のために特別に作製されたものであっても、あるいは汎用コンピュータであり、そのコンピュータに記憶されているコンピュータプログラムによって選択的に作動もしくは構成されてもよい。特に、各種の汎用の機械を、本明細書の教示に従って記述したコンピュータプログラムと併用してもよく、あるいは所望の操作を実行するために特化した機械を作製するほうが利便性が高いこともある。
【０１０４】
本発明は、また、計算機可読媒体上の計算機可読コードとして実施されてもよい。計算機可読媒体は、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものであってもよい。計算機可読媒体の例には、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読媒体は、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。
【０１０５】
上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。
【図面の簡単な説明】
【０１０６】
【図１】画像キャプチャ装置を有するインタラクティブゲーム構成を示す。
【図２】画像キャプチャ装置の前方にあるオブジェクトの照準方向を確認するための方法を示す。
【図３】グラフィックディスプレイ上のオブジェクトとのインタラクションを行うための例示的なユーザ入力システムのブロック図である。
【図４】本明細書に記載した本発明の各種実施形態を実装するように構成されたコンピュータ処理システムの簡略ブロック図である。
【図５】代替入力装置として機能する操作用オブジェクトとの併用に適合されたビデオゲームコンソールの各種構成要素の構成を示すブロック図である。
【図６】ユーザによる操作中に、ユーザ入力装置に対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図である。
【図７】変形可能なユーザ入力装置の例示的な実施形態の模式図である。
【図８】ユーザが変形可能なオブジェクトを操作する例示的な用途を示す。
【図９】バスケットボールの形をした、例示的な変形可能なオブジェクト９００を示す。
【図１０】外側層の下に発光ダイオードの層（ＬＥＤ）が存在する変形可能なオブジェクトを示す。
【図１１】フットボールの形をした、例示的な変形可能なオブジェクトを示す。
【図１２】変形可能なオブジェクトが、ユーザが使用しているバスケットボールの形である、変形可能なオブジェクトの例示的な用途を示す。
【図１３】トリガとトリガセンサを有するおもちゃの銃を示す。
【図１４】おもちゃの野球のバットを示す。
【図１５】画像キャプチャユニットと音声キャプチャユニットとを有するモニタを示す。
【図１６】２つの音源に向かい合った状態の音声キャプチャユニットを示す。
【図１７】方向選択が行われるように、三角測量アルゴリズムを使用した音Ａと音Ｂの処理を示す。
【図１８】画像−音声キャプチャ装置と共に使用されうるコンピューティングシステムを示す。
【図１９】少なくとも４つのマイクロフォンを備える例示的な音声モニタを示す。
【図２０】アレイビーム形成モジュールを示す模式概略図である。
【図２１】音声信号のノイズ成分とソース信号成分とを分離するためのブラインド音源分離法を示す高レベル模式図である。
【図２２】適応ノイズ消去を採用したマイクロフォンアレイフレームワークを示す模式図である。
【図２３】音声モニタとインタフェースするための、トリガおよびトリガセンサを有する例示的なおもちゃの銃を示す。
【図２４】ビデオキャプチャを使用して、コンピュータプログラムとインタフェースするためのフローチャートを示す。
【図２５】音声モニタリングを使用して、コンピュータプログラムとインタフェースするためのフローチャートを示す。
【図２６】図１の画像キャプチャ装置とのインタラクションを行うための例示的なコントローラの上面図である。
【図２７】図１の画像キャプチャ装置とのインタラクションを行うための例示的なコントローラの背面図である。
【図２８】矩形の構成のＬＥＤを有するコントローラの上面図である。
【図２９ａ】矩形の構成のＬＥＤを有するコントローラの背面図である。
【図２９ｂ】ＬＥＤ、スピーカ、およびマイクロフォンが組み込まれたコントローラの背面図である。
【図２９ｃ】矩形構成のＬＥＤのほか、コントローラの後面パネルの中央に配置されたスピーカを有するコントローラの背面図である。
【図２９ｄ】５つのＬＥＤが、弧形状に配置されているコントローラの背面図である。
【図２９ｅ】長方形の構成に配置されたＬＥＤを有するコントローラの背面図である。
【図２９ｆ】密集して配置された６つのＬＥＤを有するコントローラの背面図である。
【図３０】画像キャプチャ装置の使用時に、プレーヤとコントローラとの対応関係を決定するための例示的な手順を示すフローチャートを示す。
【図３１】画像キャプチャ装置を使用してコントローラの姿勢を特定するための例示的な手順を示すフローチャートを示す。
【図３２】画像キャプチャ装置を使用してコントローラの姿勢を特定するための例示的な手順を示すフローチャートを示す。
【図３３】多数の制御部と移動検知装置を有するインタフェースを有するコントローラを示す。
【図３４】コントローラの移動をコンピュータプログラムに伝える例示的な手順を示すフローチャートを示す。
【背景技術】
【０００１】
ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきた。このために、ビデオゲーム開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしてきた。
【発明の開示】
【発明が解決しようとする課題】
【０００２】
ゲームプラットホームの例に、ソニープレイステーションまたはソニープレイステーション２（ＰＳ２）があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ（通常はテレビ）と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。ゲームコンソールは、ＣＰＵ、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトル装置などの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒にインタラクティブにプレイすることができるオンラインゲームも可能である。
【０００３】
ゲームが複合的なものであることがプレーヤの興味を引き続けていることから、ゲームのソフトウェアおよびハードウェアのメーカは更なるインタラクティブ機能を実現するために革新を続けてきている。しかし、実際は、ユーザがゲームとインタラクトする手法は、長年にわたって劇的には変わることはなかった。一般に、ユーザは、未だに、手持ち式のコントローラを使用してコンピュータゲームをプレイしたり、マウスポインティングデバイスを使用してプログラムとのインタラクションを行っている。
【０００４】
前述を鑑みて、ゲームのプレイとのより高度なユーザインタラクティビティを可能にする方法およびシステムが求められている。
【課題を解決するための手段】
【０００５】
概して、本発明は、コンピュータプログラムとインタフェースする際に、強度（インテンシティ）量を決定するために、コンピュータの画像および音声処理を使用する方法ならびにビデオゲームを提供することによって、このニーズを満たす。
【０００６】
本発明は、プロセス、装置、システム、デバイスまたは方法など、多くの方法で実装することができる点を理解されたい。以下に本発明のいくつかの発明の実施形態を記載する。
【０００７】
一実施形態では、コンピュータプログラムとのインタラクションの強度値を決定するための方法が提供される。上記方法は、キャプチャゾーンの画像をキャプチャするステップと、前記画像内で入力オブジェクトを特定するステップと、前記入力オブジェクトのパラメータの初期値を特定するステップと、前記キャプチャゾーンの第２の画像をキャプチャするステップと、前記入力オブジェクトの前記パラメータの第２の値を特定するステップと、を有する。前記パラメータは、前記入力オブジェクトの形、色または明るさの１つ以上を特定しており、前記入力オブジェクトに対する人の操作によって影響を受けうる。前記第２の値と前記第１の値の差である前記パラメータの変化の程度が計算されうる。前記パラメータの前記変化の程度を表す強度値を含むアクティブ入力が、前記コンピュータプログラムに提供されうる。
【０００８】
別の実施形態では、コンピュータプログラムに強度値を入力するための方法が提供される。上記方法は、キャプチャゾーン内で入力オブジェクトが発生させる音をキャプチャするステップと、前記入力装置が発生させる前記音のラウドネス、速さ、ピッチの少なくとも１つを特定する入力パラメータを特定するステップと、前記コンピュータプログラムにアクティブ入力を提供するステップと、を有する。前記コンピュータプログラムは、前記音をキャプチャするための手段と通信しているコンピュータで実行されている。前記アクティブ入力は、前記入力パラメータを表しうる強度値を含む。前記コンピュータプログラムは、前記入力オブジェクトの仮想バージョン（virtual version）の操作をシミュレーションする。
【０００９】
更に別の実施形態では、コンピュータビデオゲームが提供される。前記コンピュータビデオゲームは、入力オブジェクト、監視装置、およびコンピュータで実行中のコンピュータプログラムを有する。前記入力オブジェクトは、人の操作のために構成されうる。前記監視装置は、前記監視装置の近くのキャプチャゾーンから、画像または音声の一方を含む情報をキャプチャする。前記コンピュータプログラムは、前記監視装置によってキャプチャされた前記情報を表すデータを受け取り、前記データを分析して、前記入力オブジェクトに対する前記人の操作の強度を表す強度値を計算する。
【００１０】
本発明の利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
【００１１】
本発明は添付の図面と併せて以下の詳細な説明を読めば容易に理解できるであろう。図面においては、同じ構造要素には同じ参照符号を付した。
【発明を実施するための最良の形態】
【００１２】
以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施し得ることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。
【００１３】
本明細書に記載する技術は、音声およびビデオのキャプチャおよび処理を使用して、コンピュータプログラムとのインタラクションを行うために、強度値を特定するために使用することができる。各種実施形態において、ビデオカメラおよび／または音声検知機能を備えたコンピュータまたはゲームシステムが、画像および音声のデータを処理して、センサの焦点ゾーンで生じているさまざまなアクションを識別しうる。このようなアクションには、通常、オブジェクトの操作や、声またはオブジェクトの操作による音の発生がある。この例には、おもちゃの銃のトリガを引いたり、オブジェクトを移動させたり変形させることがある。本技術は、これらの技術に加えて、このようなアクションに関連する強度量を検知して決定する追加の機能も更に提供する。例えば、トリガを引く強さ、オブジェクトの変形の程度、野球のバットを握る強さなどである。この追加のパラメータを使用することで、ビデオゲームメーカや、その他のマンマシンインタラクション機能に関連する分野の当業者は、ユーザの体験を大きく改善することができる。これらの具体例について、下記に記載する。
【００１４】
また、ゲームコントローラとゲームまたは他のアプリケーションの間のインタラクティブ性を強化する、ゲームコントローラの機能強化のいくつかの実施形態についても、ここに記載する。このような機能強化には、ゲームコントローラに、ビデオキャプチャおよび処理システムが視覚的に認識可能な複数のＬＥＤを設けて、ビデオゲームや他のアプリケーションが、ビデオキャプチャ装置に対するゲームコントローラの位置、移動または姿勢を特定できるようにすることがある。また、音声コマンドまたは他のユーザとの通信を受け取るため、およびコントローラとベースユニット間の通信を実現するために、音声をキャプチャする機能、または音や超音波を発生させる機能を備えたゲームコントローラについても記載する。
【００１５】
図１は、本発明の一実施形態によるインタラクティブ（対話型）ゲーム構成１００を示す。インタラクティブゲーム構成１００は、コンピュータ１０２（本明細書では「コンソール」とも呼ぶ）を有し、これは、ディスプレイ画面１１０と接続されうる。ディスプレイ画面１１０の上には画像キャプチャ装置１０５が置かれ、コンピュータ１０２と接続されうる。コンピュータ１０２は、ユーザが、コントローラ１０８によってゲームをプレイしたり、ビデオゲームとインタフェースすることができるゲームシステムのコンソールであってもよい。画像キャプチャ装置１０５は、ディスプレイ画面１１０の上に置かれて示されているが、画像キャプチャ装置１０５が、ディスプレイ画面１１０のほぼ前方にある画像をキャプチャできれば、ほかの近くの位置に置かれていてもよいことが理解されよう。これらの移動およびインタラクションをキャプチャするための技術は変更し得るが、例示的な技術は、それぞれ２００３年２月２１日に出願された英国特許出願公開第０３０４０２４．３号明細書（国際公開第ＧＢ２００４／０００６９３号パンフレット）および英国特許出願公開第０３０４０２２．７明細書（国際公開第ＧＢ２００４／０００７０３号パンフレット）号に記載されており、これらの各々は参照によりここに援用される。
【００１６】
一実施形態では、画像キャプチャ装置１０５は、標準的なウェブカムのように単純なものであっても、あるいは高度な技術を備えたものであってもよい。画像キャプチャ装置１０５は、画像をキャプチャし、この画像をデジタル化して、画像データをコンピュータ１０２に送信することができる。一部の実施形態では、デジタル化を実行するための論理回路が、画像キャプチャ装置の内部に組み込まれていてもよく、別の実施形態では、画像キャプチャ装置１０５が、デジタル化のために、アナログビデオ信号をコンピュータ１０２に送信してもよい。いずれの場合も、画像キャプチャ装置１０５は、画像キャプチャ装置１０５の前方にある任意のオブジェクトの、カラー画像または白黒画像をキャプチャすることができる。
【００１７】
図２は、画像キャプチャ装置１０５の前方にあるオブジェクトの照準方向を確認するために、画像キャプチャ装置１０５によって提供される画像データを処理するための例示的なコンピュータ１０２を示している。図に示すように、コンピュータ１０２は、画像キャプチャ装置１０５に接続されうる。画像キャプチャ装置１０５は、キャプチャ領域１０５ａに焦点を合わせるように設計されうる。この例では、人物１１２が、コンピュータ１０２によって実行中のコンピュータプログラムとインタラクト（対話処理）しようとしている。この例では、コンピュータプログラムは、ディスプレイ画面１１０によって表現され表示されるビデオゲームであってもよい。
【００１８】
図示した例では、ビデオゲームは、標的シューティングゲームであり、人物１１２は標的を狙い、その人物の能力に相当する点数を稼ごうとしている。ディスプレイ画面１１０に示されるように、ゲームのプレイ中に、人物１１２の画像１１２’が、ディスプレイ画面１１０にも表示されうる。別の実施形態では、制御されている特定の装置やプレイ中のゲームによっては、ディスプレイ画面に人物の画像１１２’が表示されないこともある。この例では、ゲームプレイ中に、現実により近づけるために、標的を撃つ間に人物１１２の画像１１２’を表示することによって、ユーザの体験を改善することができる。この標的シューティングゲームの特徴は、人物１１２が、オブジェクト１２４をディスプレイ画面１１０上の特定のインタラクティブなグラフィックのほうに向けるかポイントすることができることにある。
【００１９】
人物１１２は、オブジェクト１２４（この場合の例では銃である）の照準方向を正確に定めるために、オブジェクト１２４を手１２２で保持している。手１２２は、ディスプレイ画面１１０の方向に向けられる。画像キャプチャ装置１０５は、この時点で、人物１１２のデジタル画像のキャプチャを分析して、人物の１１２の頭部１２０の位置と、人物の１１２の手１２２の位置を決定する。図に示すように、人物１１２の手は体の前で伸ばされており、画像キャプチャ装置は、キャプチャされたデジタル画像を解析してオブジェクト１２４を特定する。キャプチャされたデジタル画像は、コンピュータ１０２で実行されているコードによっても解析され、人物の１１２の頭部１２０の位置が確認される。一実施形態では、頭部のトラッキングは、顔検出コードと併用したテンプレートマッチングの組合せによって完了させる（速度性能のため）こともできる。顔検出コードは、本質的には、ユーザの目やその他の顔の特徴の位置を特定することによって、ユーザの顔の位置を特定する。頭部および顔の検出に関する更に詳しい情報については、２００３年９月１５日出願の同時係属中の米国特許出願第１０／６６３,２３６号明細書「トラッキングされた頭部の移動によって表示中のシーンのビューを調整するための方法および装置（METHOD AND APPARATUS FOR ADJUSTING VIEW OF A SCENE BEING DISPLAYED ACCORDING TO TRACKED HEAD MOTION）」を参照されたい。同文献の内容を参照によりここに援用する。
【００２０】
一実施形態では、オブジェクト１２４は、キャプチャされたデジタル画像を分析するプログラムが、オブジェクト１２４の位置を容易に特定できるように、オブジェクトに結び付けられた色または光などの識別体（発光ダイオード（ＬＥＤ）等）を有する。コンピュータプログラムが、人物の頭部１２０（Ｈ）の位置と、人物の手１２２（ｈ）の位置を特定すると、コンピュータプログラムは、計算を実行して、画像キャプチャ装置の位置からみた、検出されたオブジェクト１２４と頭部１２０の間の相対角度を決定する。
【００２１】
図２に示すように、オブジェクト１２４と頭部１２０の相対位置は、画像キャプチャ装置１０５に対して計算される。これにより、２つの角度パラメータ（シータθとファイΦ）が得られる。方位角θは、Ｘ軸上の、頭部１２０とオブジェクト１２４間の水平の位置関係を定義している。角度φから、頭部１２０の高さと手１２２の高さの間の相対角度である高度角が得られる。一実施形態では、ディスプレイ画面１１０上のオブジェクトの照準位置の較正がゲームの操作により開始される前に、初期の較正操作を実行することができる。例えば、ユーザに、ディスプレイ画面１１０の特定の位置にオブジェクト１２４を向けさせることによって、ユーザに対して、照準アルゴリズムの較正を促すことができる。較正が完了すると、画像キャプチャ装置１０５によってキャプチャされている連続する各フレームについて、コンピュータ１０２が、人物の頭部１２０と人物の手１２２の相対位置を定義する方位角と高度角（θとΦ）を計算可能となる。頭部と手の相対位置の決定は、要求される照準操作の精度に応じて、キャプチャした各フレームごとに計算されても、一フレームおきにキャプチャされても、あるいは、多くのフレームをキャプチャした後に計算されてもよい。例えば、ゲームが射撃場ゲームの場合には、人物１１２がビデオゲームの競争で高いスコアを確実に稼ごうとしている場合に、正確に照準を定めて引金を引けるように、頭部１２０と手１２２の相対位置をフレームごとに計算することが重要となりうる。
【００２２】
図３は、本発明の実施形態を実装するために使用できる、グラフィックディスプレイ上のオブジェクトのインタラクト処理を行うための例示的なユーザ入力システムのブロック図である。図３に示すように、ユーザ入力システムは、ビデオキャプチャ装置３００、入力画像プロセッサ３０２、出力画像プロセッサ３０４、およびビデオ表示装置３０６から構成されうる。ビデオキャプチャ装置３００は、ビデオ画像のシーケンスをキャプチャすることができる装置であればどのようなものでもよく、一実施形態では、デジタルビデオカメラ（ウェブカメラなど）や同様の画像キャプチャ装置などである。
【００２３】
ビデオキャプチャ装置３００は、深度画像を提供するように構成されうる。本明細書では、「深度カメラ」および「三次元カメラ」との文言は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。他の例示的な深度カメラに、立体カメラ対があり、これは２台の基準カメラを使用して距離情報を三角測量によって求める。同様に、「深度検知装置」との文言は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。
【００２４】
このため、カメラ３００は、通常の二次元のビデオ像に加えて、３番目の次元をキャプチャおよびマップする能力を提供することができる。通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青（ＲＧＢ）の値である。このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。しかし、従来のカメラとは異なり、深度カメラは、シーンの深度値を表すシーンのｚ成分もキャプチャする。通常、深度値はｚ軸に割り当てられるため、深度値は、「ｚ値」と呼ばれることも多い。
【００２５】
動作時に、シーンの各ピクセルについてｚ値がキャプチャされうる。各ｚ値は、カメラから、シーン内の関連するピクセルに対応するオブジェクトまでの距離を表している。また、最大検出範囲が、深度値が検出されなくなる境界を定義しうる。本発明の各種実施形態では、この最大範囲の面を使用して、ユーザ定義のオブジェクトのトラッキングを提供することができる。このため、深度カメラを使用することで、それぞれのオブジェクトを三次元でトラッキングすることができる。この結果、本発明の実施形態のコンピュータシステムは、二次元のピクセルデータと合わせてｚ値を利用して、強化された三次元のインタラクティブ環境をユーザのために作成することができる。深度分析の詳細については、２００３年５月２９日出願の米国特許出願第１０／４４８,６１４号明細書「リアルタイムの三次元インタラクティブ環境を提供するためのシステムおよび方法（System and Method for Providing a Real-time three dimensional interactive environment）」を参照されたい。同文献を参照によりここに援用する。
【００２６】
図３に戻ると、入力画像プロセッサ３０２は、キャプチャされた制御オブジェクトのビデオ画像（深度画像など）を信号に変換し、この信号が出力画像プロセッサに送られる。一実施形態では、入力画像プロセッサ３０２は、キャプチャされたビデオ画像の背景から、深度情報によって制御オブジェクトを分離し、制御オブジェクトの位置および／または移動に応じた出力信号を発生させるようにプログラムされうる。出力画像プロセッサ３０４は、入力画像プロセッサ３０２から受け取った信号に応じて、ビデオ表示装置３０６に表示したオブジェクトの並進移動および／または回転移動を変更するようにプログラムされうる。
【００２７】
本発明のこれらの態様やその他の態様は、ソフトウェア命令を実行する１つ以上のプロセッサによって実装されうる。本発明の一実施形態によれば、１つのプロセッサが入力画像処理と出力画像処理の両方を実行する。しかし、図に示すように、説明を容易にするために、処理操作が、入力画像プロセッサ３０２と出力画像プロセッサ３０４に分けられるものとして説明する。本発明が、特定のプロセッサの構成（複数プロセッサなど）に限定されると解釈すべきではないことを留意すべきである。図３の複数の処理ブロックは、説明の便宜上、示したに過ぎない。
【００２８】
図４は、本明細書に記載した本発明の各種実施形態を実装するように構成されたコンピュータ処理システムの簡略ブロック図である。この処理システムは、メインメモリ４２０とグラフィック処理ユニット（ＧＰＵ）４２６に結合された中央処理装置（ＣＰＵ）４２４を備えた、コンピュータベースのエンターテイメントシステムの実施形態であってもよい。ＣＰＵ４２４は、入出力プロセッサ（Input/Output Processor：ＩＯＰ）バス４２８にも結合されうる。一実施形態では、ＧＰＵ４２６は、ピクセルベースのグラフィックデータを高速に処理するために内部バッファを備える。更に、ＧＰＵ４２６は、エンターテイメントシステムまたはその構成要素の外部に接続された表示装置４２７に送信するために、画像データを処理して、例えばＮＴＳＣやＰＡＬなどの標準のテレビジョン信号に変換する出力処理部またはその機能を備えうる。別の実施形態では、データ出力信号が、コンピュータモニタ、ＬＣＤ（液晶ディスプレイ）装置やその他のタイプの表示装置などのテレビジョンモニタ以外の表示装置に供給されてもよい。
【００２９】
ＩＯＰバス４２８は、ＣＰＵ４２４を、各種の入出力装置、または他のバスやデバイスに接続している。ＩＯＰバス４２８は、入出力プロセッサメモリ４３０、コントローラ４３２、メモリカード４３４、ユニバーサルシリアルバス（ＵＳＢ）ポート４３６、ＩＥＥＥ１３９４（Ｆｉｒｅｗｉｒｅインタフェースとも呼ばれる）ポート４３８、およびバス４５０に接続されうる。バス４５０は、システムの他のいくつかの構成要素をＣＰＵ４２４に接続しており、このような構成要素には、オペレーティングシステム（ＯＳ）ＲＯＭ４４０、フラッシュメモリ４４２、音声処理ユニット（ＳＰＵ）４４４、光ディスク制御４、ハードディスクドライブ（ＨＤＤ）４４８がある。この実施形態の一態様では、ビデオキャプチャ装置は、ＩＯＰバス４２８に直結されていてもよく、これを介してＣＰＵ４２４に送信を行っており、ＣＰＵ４２４では、ビデオキャプチャ装置からのデータを使用して、ＧＰＵ４２６でグラフィック画像の生成に使用される値が変更または更新される。更に、本発明の各種実施形態は、画像処理のさまざまな構成および技術を使用することができ、これには、２００３年２月１１日出願の米国特許出願第１０／３６５,１２０号明細書「リアルタイムのモーションキャプチャのための方法および装置（METHOD AND APPARATUS FOR REAL TIME MOTION CAPTURE）」に記載されたものなどがある。同文献を参照によりその全体をここに援用する。コンピュータ処理システムは、ＣＥＬＬ（登録商標）プロセッサで実行されうる。
【００３０】
図５は、本発明の一実施形態に係る代替入力装置として機能する操作用オブジェクトとの併用に適合されたビデオゲームコンソールの各種構成要素の構成を示すブロック図である。例示的なゲームコンソール５１０は、コンソール５１０全体を制御するためのマルチプロセッサユニット（ＭＰＵ）５１２、プログラムの各種操作およびデータ記憶に使用されうるメインメモリ５１４、幾何学処理に必要な浮動小数点のベクトル演算を実行するベクトル演算ユニット５１６、ＭＰＵ５１２からの制御に基づいてデータを生成すると共に、ビデオ信号をモニタ１１０（ＣＲＴなど）に出力する画像プロセッサ５２０、ＭＰＵ５１２またはベクトル演算ユニット５１６と画像プロセッサ５２０との間の伝送バス上で調停等を実行するグラフィックインタフェース（ＧＩＦ）５２２、周辺機器との間でデータを送受信できるようにする入出力ポート５２４、カーネル等の制御を実行するための、フラッシュメモリ等で構成された内部ＯＳＤ機能ＲＯＭ（ＯＳＤＲＯＭ）５２６、ならびにカレンダ機能およびタイマ機能を備えたリアルタイムクロック５２８を備える。
【００３１】
メインメモリ５１４、ベクトル演算ユニット５１６、ＧＩＦ５２２、ＯＳＤＲＯＭ５２６、リアルタイムクロック（ＲＴＣ）５２８および入出力ポート５２４は、データバス５３０を介してＭＰＵ５１２に接続されている。バス５３０には、圧縮済みの動画およびテクスチャ画像を伸張して、これにより画像データを展開するプロセッサなどである画像処理ユニット５３８も接続されている。例えば、画像処理ユニット５３８は、ＭＰＥＧ２またはＭＰＥＧ４の標準フォーマットに従って、ビットストリームをデコードおよび展開したり、マイクロブロックをデコードしたり、逆離散コサイン変換、色空間変換、ベクトル量子化などを実行する機能を担う。
【００３２】
音声システムは、ＭＰＵ５１２からの命令に基づいて音楽やその他の音響効果を生成する音声処理ユニット（ＳＰＵ）５７１、ＳＰＵ５７１が波形データを記録するための音声バッファ５７３、およびＳＰＵ５７１が生成した音楽やその他の音響効果を出力するスピーカ５７５で構成されうる。なお、スピーカ５７５はモニタ１１０の一部として組み込まれていても、あるいは、外部スピーカ５７５を取り付けるための別個のオーディオライン出力端子として提供されてもよい。
【００３３】
バス５３０に接続されており、本発明に従ってデジタルデータの入出力を行うと共にデジタルコンテンツを入力する機能を備えたインタフェースである通信インタフェース５４０も提供されうる。例えば、オンラインビデオゲームアプリケーションを実現するために、この通信インタフェース５４０を介して、ネットワーク上のサーバ端末との間でユーザ入力データを送信したり、状態データを受信することができる。コンソール５１０に対してデータ（キー入力データまたは座標データなど）を入力する入力装置５３２（コントローラとも呼ばれる）と、各種プログラムおよびデータ（すなわちオブジェクトに関するデータ、テクスチャデータなど）を有するＣＤ―ＲＯＭなどの光学ディスクの内容を再生するディスク装置５３６とが入出力ポート５２４に接続されている。
【００３４】
更に、本発明は、デジタルビデオカメラ１０５を備え、これは入出力ポート５２４に接続できる。入出力ポート５２４は、シリアルインタフェースやＵＳＢインタフェースなどの１つ以上の入力インタフェースによって実装され得、デジタルビデオカメラ１９０は、ＵＳＢ入力や、カメラ１０５との併用に適したその他の任意の従来のインタフェースを有利に利用し得る。
【００３５】
上記の画像プロセッサ５２０は、レンダリングエンジン５７０、インタフェース５７２、画像メモリ５７４、およびディスプレイ制御装置５７６（プログラム可能なＣＲＴコントローラなど）を備える。レンダリングエンジン５７０は、メモリインタフェース５７２を介して、かつＭＰＵ５１２から送られるレンダリング命令によって、所定の画像データを画像メモリにレンダリングする処理を実行する。レンダリングエンジン５７０は、ＮＴＳＣ方式またはＰＡＬ方式に準拠し、より詳細には、例えば、１／６０秒〜１／３０秒の間隔で１０〜数十回を越えるレートで、３２０×２４０ピクセルまたは６４０×４８０ピクセルの画像データをリアルタイムに描画できる機能を備える。
【００３６】
メモリインタフェース５７２とレンダリングエンジン５７０との間にバス５７８が接続され、メモリインタフェース５７２と画像メモリ５７４との間に第２バス５８０が接続され得る。第１バス５７８と第２バス５８０のビット幅は、例えばそれぞれ１２８ビットであり、レンダリングエンジン５７０は、画像メモリに対して高速レンダリング処理を実行することができる。画像メモリ５７４は、一元化された記憶構造を採用しており、この構造では、例えば、テクスチャレンダリング領域と表示レンダリング領域とを同じ領域に設定することができる。
【００３７】
ディスプレイコントローラ５７６は、光ディスク装置５３６によって光ディスク５６９から取得したテクスチャデータ、またはメインメモリ５１４に作成されたテクスチャデータを、メモリインタフェース５７２を介して画像メモリ５７４のテクスチャレンダリング領域に書き込むように構成されうる。画像メモリ１７４の表示レンダリング領域にレンダリングされた画像データは、メモリインタフェース５７２を介して読み出されて、モニタ１１０に出力され、その画面に表示されうる。
【００３８】
図６は、本発明の一実施形態による、ユーザによるユーザ入力装置の操作中に、ユーザ入力装置に対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図である。ブロックが表している諸機能は、図５のゲームコンソール５１０のＭＰＵ５１２によって実行されうるソフトウェアによって実装される点を理解されたい。更に、図６のブロックが表している機能の全てが、各実施形態で使用されるとは限らない。
【００３９】
最初に、カメラから入力されたピクセルデータが、入出力ポートインタフェース５２４を介してゲームコンソール５１０に送られ、これにより、以下に記載するプロセスがゲームコンソール５１０で実行されうる。まず、画像の各ピクセルが、例えばラスタベースでサンプリングされると、色分離処理ステップＳ２０１が実行されうる。これにより、各ピクセルの色が決定されて、画像が、色の異なるさまざまな二次元部分に分割される。次に、実施形態によっては、色遷移定位ステップＳ２０３が実行されうる。これにより、色の異なる部分が隣接している領域がより詳細に決定されて、はっきりした色の遷移が発生する画像の位置が特定される。次に、幾何学処理Ｓ２０５のステップが実行されうる。このステップでは、実施形態に応じて、エッジ検出プロセスまたは面積の統計値（area statistics）の計算の実行が行われて、対象のオブジェクトのエッジに相当する線、曲線および／または多角形が代数的または幾何学的に定義される。
【００４０】
ステップＳ２０７で、アルゴリズムを用いてオブジェクトの三次元の位置および姿勢が計算される。このアルゴリズムについては、本発明の好ましい実施形態に関して後述する。質の向上のため、三次元の位置および姿勢のデータに対して、カルマンフィルタリング処理ステップＳ２０９が実行される。この処理を実行するのは、所定の時点においてオブジェクトが存在する位置を概算して、起こり得ず、このため正しいデータ群から外れていると考えられる、誤った測定値を除去するためである。カルマンフィルタリングを実行するもう１つの理由は、カメラ１０５は画像を３０Ｈｚで生成するが、一般的なディスプレイは６０Ｈｚで動作するため、カルマンフィルタリングによって、ゲームプログラムの動作の制御に使用するデータの不足分を埋めるためである。カルマンフィルタリングによる離散データのスムージングは、コンピュータビジョンの分野では公知であり、ここで詳述しない。
【００４１】
図７は、変形可能なユーザ変形可能オブジェクト７１０の例示的な実施形態の模式図である。このオブジェクトは、ユーザが変形可能な装置に加える力に応じて、弛緩状態７１０Ａか扁平状態７１０Ｂをとることができる。このように、変形可能なオブジェクト７１０は、圧潰可能なボールの形状を有する。更に一般には、どのような種類の変形可能なオブジェクトでも、本明細書に記載した視覚トラッキングシステムによってトラックキングすることができる。この実施形態では、ビデオデジタルカメラ１０５によって観察される変形可能なオブジェクト７１０の面積は一定である点を理解されたい。このため、デジタルビデオカメラ１９０は、変形可能な装置３１０のＸ平面およびＹ平面での移動に加えて、Ｚ方向の移動をキャプチャすることができる。Ｚ方向によって、モニタ１１０に示すように、ファイル３０４Ｂなどのファイルの前後への移動、すなわち奥行き方向への移動が可能となる。更に、変形可能なオブジェクト７１０をＺ軸方向に移動させる方向に応じて、変形可能なオブジェクト７１０によってグラブした表示中のオブジェクトを大きく表示させたり小さく表示させたりできる。例えば、一実施形態では、変形可能なオブジェクト７１０をカメラ１０５に近づけると、表示中のオブジェクトが大きく表示され、変形可能なオブジェクト７１０をカメラ１０５から離すと、表示中のオブジェクトがモニタ１１０に小さく表示される。当業者であれば、表示中のオブジェクトは、Ｘ方向、Ｙ方向およびＺ方向の移動の組み合わせによって、そのサイズと位置が変化し得ることが理解されるであろう。この場合、三次元空間での移動を決定するために角度シータ（θ）を用いることができる。θがカメラ１９０のビュー平面の方向の角度であることを当業者は理解されよう。
【００４２】
図７に戻ると、カメラは変形可能なオブジェクト７１０の位置をキャプチャする。この位置情報はゲームコンソール５１０に伝達されうる。図１〜３を参照して上記のように、この位置情報はゲームコンソール５１０によって処理されうる。変形可能な装置のアスペクト比または相対位置が変化すると、処理によって、この移動が、モニタ１１０に表示中のオブジェクトの移動に変換される。なお、本発明の一実施形態では、変形可能な装置のアスペクト比が変化したときに、音声信号が生成され得る。更に、受動的なボタン押下信号を、変形可能な装置に備えてもよい。したがって、このクリック音がコンピューティングシステムによって検知されなくても、ユーザはクリックを体感できるようになる。
【００４３】
一実施形態では、画像内のピクセルの分析によって、ｘ、ｙ、ｚ、θ、および握りパラメータ（grip parameter）を求める。なお、画像内のピクセルは、トラッキングされているオブジェクト、すなわち変形可能な装置の一部である。詳細に説明すると、Ｘは、画像内のピクセルの水平重心（horizontal centroid）に比例する。Ｙは、画像内のピクセルの垂直重心（vertical centroid）に比例する。Ｚは、ピクセルの面積または主二次モーメント（principle second moment）のいずれか（精度／堅固性の挙動が変わってくる）の平方根に反比例する。シータ（θ）は、主二次モーメントの回転角に対応する。握り量（すなわち変形量またはアスペクト比の変化量）などの握りパラメータは、主二次モーメントの平方根を最小二次モーメントの平方根で割った値に比例する。上記の各パラメータは、画像を通る１本の経路から算出することができる。このため、本明細書に記載した実装は非常に高速であり、一般に使用されている他の測定法よりもノイズ（すなわち視覚的誤差）の影響を受けにくい。
【００４４】
図８は、ユーザ８０５が変形可能なオブジェクト７１０を操作している例示的なアプリケーションを示す。変形可能なオブジェクト７１０は、ユーザ８０５の手８１５に握られうる。コンソール５１０のカメラ１０５が、オブジェクト７１０が変形していることを識別する。手のグラフィカルな表現８１５’が、仮想のチェッカーボード８２０でチェッカー８１７を拾い上げる。その後、変形可能なオブジェクト７１０の移動が、手のグラフィカルな表現８１５’の移動に変換されうる。ユーザ８０５は、チェッカー８１７を放すため手８１５を緩める。これにより、変形可能なオブジェクト７１０は元の形状に戻ることができる。
【００４５】
図９は、バスケットボールの形をした、例示的な変形可能なオブジェクト９００を示す。一実施形態では、変形可能なオブジェクト９００は、変形を受けると明るくなる手段を備える。別の実施形態では、変形可能なオブジェクト９００は、変形を受けると色が変わる材料から形成されてもよい。変色材料は公知であり、一般には、透光性の高分子マトリックスに埋め込まれた感圧蛍光色素を含む。一実施形態では、変形可能なオブジェクト７１０は、変色材料のシェルを有する透光性のスポンジゴム材料から形成されうる。
【００４６】
図１０は、外側層９０２の下に発光ダイオードの層（ＬＥＤ）９０４が存在する変形可能なオブジェクト９００を示す。変形可能なオブジェクト９００の内部にバッテリ９０６が設けられている。ＬＥＤ層９０４は、変形を受けると明るくなるＬＥＤのブランケットを備えうる。一実施形態では、オブジェクトの変形が大きくなるにしたがって明るさが増す。別の実施形態では、変形の強さによって、明るい部分の色が変わる。一実施形態では、オブジェクトの変形を受けた部分しか明るくならない。別の実施形態では、変形を受けるとオブジェクトの全体が明るくなる。
【００４７】
変形量が照光材料自体によって検知されてもよい。例えば、この材料は、材料が変形を受けると接触する複数の導電層から形成され、接触により回路が閉となる。一実施形態では、変形を受けている領域だけが明るくなる。別の実施形態では、変形量は別のひずみゲージ回路によって検知され、この回路は、変形可能なオブジェクト９００の層９０４の上に配置されうる。この場合、オブジェクトが変形を受けると、オブジェクト全体が明るくなり、変形が大きくなるにしたがって、より明るくなるか、色が変わるか、この両方が起こる。
【００４８】
図１１は、フットボールの形１１００をした、例示的な変形可能なオブジェクトを示す。フットボールの形状のために、変形を受けたオブジェクトを撮像してそのアスペクト比を測定することによって、変形の程度を決定する方法は信頼性が高いとはいえない。このため、アスペクト比を使用する代わりに、フットボール１１００が、層１１０８に設けた回路を有する。層１１０８は、変形センサ１１１０と複数のイルミネータ１１０６を備える。イルミネータ１１０６は、発光ダイオードなどである。更に、フットボール１１００は、バッテリコンパートメント１１０２と、フットボール１１００のバランスをとるためのバランスウェイト１１０４を有する。イルミネータ１１０６は必要な電圧および電流が少ないため、例えば、バッテリコンパートメント１１０２はかなり小さくてもよく、例えば、単４またはＡＡＡの乾電池で十分である。フットボール１１００内の残りの部分には軟性スポンジゴムが充填されており、フットボール１１００を握りやすくしている。
【００４９】
フットボール１１００が握られると、変形センサ１１１０が、フットボール１１００の変形の程度を検出し、これに応じて、イルミネータ１１０６を使用して明るくなる。例えば、変形が大きくなると光が明るくなるか、あるいは、変形が大きくなると光の色が変わる。色の変化は、異なる色のＬＥＤを発光させることによって行うことができる。例えば、変形量が小さいときは緑のＬＥＤを発光させる。変形が大きくなると、黄色、赤、次、紫、青のＬＥＤの順に発光される。このため、変形量の範囲を検出して、次に、これを、光の色を変えることによって表現することができる。
【００５０】
カメラ１０５（図１）は、フットボール１１００の色の変化を検出して、これに適宜反応しうる。例えば、画面１１０に描画されている仮想のプレーヤが、フットボール１１００の変形量に合った強さで、仮想のフットボールを握りうる。
【００５１】
図１２は、変形可能なオブジェクト９００が、ユーザ１２０２が使用しているバスケットボールの形である、変形可能なオブジェクト９００の例示的な用途を示す。ユーザ１２０２はバスケットボールをドリブルしており、この動作がカメラ１０５によってキャプチャされて解釈されうる。仮想の選手１２０６の画像が画面１１０に表現されうる。仮想の選手１２０６の動作が、ユーザ１２０２の動作と同期されうる。変形可能なオブジェクト９００がバウンドするたびに、ボールの変形した箇所が１２０４に示すように明るくなる（網掛けの部分は明るくなる部分を表している）。仮想のプレーヤ１２０６が仮想のボール９００’をバウンドさせ、これも１２０８に示すように明るくなるか色が変わる。
【００５２】
図１３は、トリガ１３０２とトリガセンサ１３０４を有するおもちゃの銃を示す。トリガセンサ１３０４は、トリガ１３０２を握った強度を検出することができる。例えば、強度は、ひずみゲージや、ポテンショメータやスプリングなどのその他の公知の手段を使用して測定することができる。握りの強度が強くなると、イルミネータ１３０６は、個数が増えるか、明るさが上がるか、および／または色を変える。１つの可能な使用として、トリガ１３０２が強く握られた場合に、単発モードから反復または「機関銃」動作モードに変更することがある。
【００５３】
図１４は、おもちゃの野球のバット１４００を示し、これは透光性の軟質プラスチックまたは透光性のスポンジゴムから形成されうる。野球のバット１４００は、握りの部分に変形センサ１４０２と、バットの長さに沿って設けたイルミネータ１４０４を備える。ユーザがバット１４００の握りを大きくすると、イルミネータ１４０４は、個数が増えるか、明るさが上がるか、および／または色を変える。
【００５４】
図７を再び参照すると、コンソール５１０は、変形可能なオブジェクト７１０のアスペクト比の割合の変化を測定することによって、変形の程度を検知することもできる。しかし、図１１，１３，１４を参照して説明したように、変形可能なオブジェクト７１０が色、明るさなどを変える場合には、コンソール５１０は、変形の程度に対する強度値を決定するために、このような変化を部分的に利用するか、あるいは完全に利用してもよい。感圧材料または埋め込み回路を用いれば、変形可能なオブジェクトの形状に制約がなくなる。これにより、マンマシンインタラクティブ機能の新しい可能性が開ける。例えば、野球シミュレーションにおいて、野球のバットを握る強さを、スイングの強さを示す指標として使用することができる。新たに登場した感情コンピューティングの分野では、コンピュータは、ユーザの気分を特定するために、姿勢や表情等のさまざまなテクニックを使用している。同様にして、本技術によって、ゲームの開発者が、ユーザが示す強度値に基づいてゲームのプレイを変えることが可能となる。例えば、恐れ、怒りまたは興奮などの感情を表すことがある強度値を、おもちゃの銃が握られている強さによって検知することができ、これを使用して、コンピュータが作り出すキャラクタの反応を変えることができる。
【００５５】
別の実施形態では、インタラクションの強度が、撮像に加えて、その代わりに、音声によって受け付けられてもよい。この実施形態では、カメラ１０５の代わりに、図１５に例として示す、画像キャプチャユニット１５０６ｂと音声キャプチャユニット１５０６ａを有するモニタ１５０６が提供されうる。音源は、入力オブジェクトや装置が発生させるノイズや、拍手または足踏みやその他の任意のノイズなどである。次に、この音が、音声キャプチャユニット１５０６ａによってキャプチャされ、インタラクションのためにコンピューティングシステム１０２（図１）によって処理される。音声コマンドの識別を可能にするために、音声認識が使用されうる。更に、ユーザが、インターネットまたはネットワークに接続しているが、ゲームのインタラクティビティに直接的または部分的に関わってもいるリモートユーザと通信していてもよい。
【００５６】
本発明の一実施形態によれば、音声キャプチャユニット１５０６ａは、コンピューティングシステム１０２が特定の方向から来る音を選択できるようにする少なくとも２つのマイクロフォンを備えるように構成されうる。コンピューティングシステム１０２が、ゲームのインタラクティビティの中心から外れる方向をフィルタ除去できるようにすることで、環境内の気を散らせるような音が、入力オブジェクト、装置または他の手段によって生成される音の強度値を決定しているインタラクティブプログラムの実行を妨げたり混乱させることはない。同様に、音声キャプチャユニットは、強度値を確実に特定するために、標的焦点ゾーンから音を分離することができる。後述するように、焦点ゾーンは、画像キャプチャユニット１５０６ｂの焦点であるアクティブな画像領域によって識別されうる。他の方法では、焦点ゾーンは、初期化段階の後で、ユーザに提示されたゾーンの選択肢の中から、手動で選択されてもよい。
【００５７】
画像−音声キャプチャ装置１５０６は、画像キャプチャユニット１５０６ｂと音声キャプチャユニット１５０６ａを備える。画像−音声キャプチャ装置１５０６は、画像フレームをデジタル形式でキャプチャして、次にこれらの画像フレームを、その後の処理のためにコンピューティングシステム１０２（図１）に転送することができる。画像キャプチャユニット１５０６ｂの例にウェブカメラがあり、これは、ビデオ画像を、キャプチャして、その後記憶したり、インターネットなどのネットワークを介して通信できるように、デジタル形式でコンピューティング装置に転送することが望ましいときに一般に使用される。その他のタイプの画像キャプチャ装置も、識別とフィルタリングが可能なように画像データがデジタル形式で処理されるものであれば、アナログ、デジタルを問わず考察される。好ましい一実施形態では、入力データを受け取ったのち、フィルタリングを可能にするデジタル処理がソフトウェアで行われうる。音声キャプチャユニット１５０６ａは、一対のマイクロフォン（ＭＩＣ１およびＭＩＣ２）を備えて示されている。マイクロフォンは標準的なマイクロフォンであり、これは画像−音声キャプチャ装置１５０６を構成しているハウジングに一体化することができる。
【００５８】
図１６は、音Ａからの音源１６１６と音Ｂからの音源１６１６に向かい合った状態の音声キャプチャユニット１５０６ａを示す。図に示すように、音Ａがその可聴音を発して、音経路１６０１ａおよび１６０１ｂに沿ってＭＩＣ１およびＭＩＣ２によって検出される。音Ｂが、音経路１６０２ａおよび１６０２ｂを通ってＭＩＣ１およびＭＩＣ２の方に投射される。図に示すように、音Ａの音経路の長さは異なり、したがって、音経路１６０２ａおよび１６０２ｂに対して相対的な遅延が生じる。次に、図１７に示すボックス１７１６で方向選択が行われるように、音Ａおよび音Ｂのそれぞれから来る音が、標準の三角測量アルゴリズムを使用して処理されうる。ＭＩＣ１およびＭＩＣ２から来る音は、それぞれバッファ１およびバッファ２（１７１０ａ、１７１０ｂ）にバッファされて、遅延ライン（１７１２ａ、１７１２ｂ）を通る。一実施形態では、バッファリングおよび遅延処理はソフトウェアによって制御されるが、ハードウェアが同様に演算を扱うようにカスタム設計されてもよい。三角測量に基づいて、方向選択１７１６によって、音源１６１６のうちの１つの識別および選択が行われる。
【００５９】
ＭＩＣ１およびＭＩＣ２のそれぞれから来る音は、ボックス１７１４で合算されてから、選択した発生源の出力として出力される。このように、このような音源がコンピュータシステム１０２（図１）による処理を攪乱させたり、または、ネットワークまたはインターネットを介してビデオゲームをインタラクティブにプレイしている他のユーザとの通信を攪乱させることのないように、アクティブな画像領域の方向以外の方向から来る音がフィルタ除去される。
【００６０】
この技術を利用するビデオゲームやその他のアプリケーションは、音声キャプチャ装置に対して所定の方向または選択した方向にある焦点ゾーンから発生した音の強度値を確実に特定して、定量化することができる。強度値は、音のラウドネスまたは音量、音の速さおよび／または音のピッチと相関されうる。速さは、特定の時間区間に音が繰り返される回数である。ある場合は、音量、速さ、ピッチが大きいときに強度が高い。別の場合は、音量、速さ、ピッチが小さいときに強度が高く、これはアプリケーションに応じて変わる。いずれの場合も、部屋の中で発生する周囲音やその他の音から音を分離すれば、強度量を高い信頼性で決定できるようになる。
【００６１】
図１８は、本発明の一実施形態による、画像−音声キャプチャ装置１５０６と共に使用することができるコンピューティングシステム１８５０を示す。コンピューティングシステム１８５０は、プロセッサ１８５２とメモリ１８５６を備える。バス１８５４は、プロセッサとメモリ１８５６を、画像−音声キャプチャ装置１５０６と相互接続する。メモリ１８５６は、インタラクティブプログラム１８５８の少なくとも一部を格納しており、更に、受信した音源データを処理するための選択的音源聴取ロジックまたはコード１８６０も格納している。画像キャプチャユニット１５０６ｂによって識別される焦点ゾーンの場所に基づいて、焦点ゾーンの外の音源が、（例えば、プロセッサによって実行中であり、メモリ１８５６に少なくとも部分的に記憶されているなどの）選択的音源聴取ロジック１８６０によって選択的にフィルタリングされる。コンピューティングシステムは最も単純な形で示されているが、到来する音源の処理を行って、このため選択的聴取を可能にするために命令を処理することができるハードウェアであれば、どのようなハードウェア構成を使用してもよいという点を強調する。
【００６２】
また、コンピューティングシステム１８５０は、バスを経由してディスプレイ１１０と相互接続されて示されている。この例では、焦点ゾーンは、音源Ｂの方に焦点を合わせている画像キャプチャユニットによって識別されうる。音Ａなどの他の音源から来る音は、音声キャプチャユニット１５０６ａによってキャプチャされて、コンピューティングシステム１８５０へ転送されると、選択的音源聴取ロジック１８６０によって実質的にフィルタ除去される。
【００６３】
１つの具体例では、プレーヤは、他のユーザとのインターネットまたはネットワーク対応ビデオゲームの試合に参加しており、この場合、各ユーザの聴取可能な体験の主なものがスピーカから出される音でありうる。スピーカは、コンピューティングシステムの一部であっても、モニタ１５０６の一部であってもよい。ここで、図４に示すように、ローカルスピーカが音源Ａを生成していると仮定する。音源Ａについてローカルスピーカから来る音を、試合に参加しているユーザにフィードバックしないために、選択的音源聴取ロジック１８６０は、試合に参加しているユーザが自分自身の音または音声のフィードバックを受けないように、音源Ａの音をフィルタ除去する。このフィルタリングを提供することによって、ビデオゲームと相互作用している間にネットワーク上でインタラクティブな通信を行う一方で、処理中の妨害となるフィードバックを有利に回避することが可能となる。
【００６４】
図１９は、少なくとも４つのマイクロフォン（ＭＩＣ１〜ＭＩＣ４）を備える例示的なモニタ１５０６を示す。このため、音声キャプチャユニット１５０６ａは、音源１６１６（ＡおよびＢ）の位置を特定するために、より良好な粒度で三角測量ができる。すなわち、追加のマイクロフォンを提供することによって、音源の位置をより正確に定義し、このため、対象外であるかまたはゲームのプレイまたはコンピューティングシステムとのインタラクティビティに害を及ぼしかねない音源を除去してフィルタ除去することが可能である。図１８に示すように、音源１６１６（Ｂ）は、ビデオキャプチャユニット１０６ｂによって識別された対象の音源でありうる。図１８の例の説明を続けると、図１９は音源Ｂが空間体積に識別される方法を識別している。
【００６５】
音源Ｂが位置する空間体積は、焦点体積１９７４を定義する。焦点体積を識別することによって、特定の体積内にないノイズ（すなわち、正しい方向にないもの）を除去またはフィルタ除去することが可能である。焦点体積１９７４の選択が容易となるように、画像−音声キャプチャ装置のモニタ１５０６は、好ましくは少なくとも４つのマイクロフォンを備える。マイクロフォンのうちの少なくとも１つは、ほかの３つのマイクロフォンとは異なる平面にある。画像−音声キャプチャ装置のモニタ１５０６のマイクロフォンのうちの１つを平面１９７１に保ち、４つのうちの残りを平面１９７０に置くことによって、空間体積を定義することが可能である。
【００６６】
したがって、周辺にいる他の人（１９７６ａおよび１９７６ｂとして示される）から来るノイズは、体積焦点１９７４内に画定される空間体積内に存在していないため、フィルタ除去される。更に、スピーカ１９７６ｃで示すように、空間体積のすぐ外で生成されたノイズも、空間体積の外に存在しているためにフィルタ除去される。
【００６７】
次に、フィルタリングアルゴリズムの例示的な実装を、図２０〜２２を参照して記載する。この実施形態は、ポータブルコンシューマデバイスに関連付けられた、マイクロフォンアレイによる音声入力システムを提供する。この音声入力システムは、複数のノイズ信号から目的音声信号を分離することができる。更に、マイクロフォンアレイが取り付けられているポータブルコンシューマデバイスに移動上の制限はない。本発明の一実施形態では、マイクロフォンアレイフレームワークは、４つの主要モジュールを有する。第１のモジュールは、音響エコー消去（acoustic echo cancellation：ＡＥＣ）モジュールでありうる。ＡＥＣモジュールは、ポータブルコンシューマデバイスが発生させるノイズをキャンセルするように構成されうる。例えば、ポータブルコンシューマデバイスがビデオゲームコントローラの場合、ビデオゲームのプレイに関連したノイズ、すなわち音楽、爆発音、声などは全て既知である。このため、マイクロフォンアレイの各マイクロフォンセンサから入って来る信号に適用するフィルタが、デバイスが発生させるこれらの既知のノイズを除去しうる。別の実施形態では、ＡＥＣモジュールは、任意選択であり、後述するモジュールと一緒に含まれていなくてもよい。音響エコーキャンセルに関する更に詳しい説明はジョン・Ｊ・シャンク（John J. Shynk）、“Frequency-Domain and Multirate Adaptive Filtering”、IEEE Signal Processing Magazine、１４〜３７ページ、１９９２年１月に記載されている。同文献を、あらゆる目的のために参照により援用する。
【００６８】
図２０は、本発明の一実施形態による、聴音方向以外の信号を抑制するように構成されたアレイビーム形成モジュールを示す簡略模式図である。一実施形態では、このビーム形成は、フィルタアンドサムビーム形成に基づきうる。信号パスフィルタとも呼ばれる有限インパルス応答（finite impulse response：ＦＩＲ）フィルタが、適応可能であるアレイ較正処理によって生成されうる。このため、ビーム形成は、基本的に、センサアレイを物理的に移動させることなく、ビーム（すなわち聴取方向）をトラッキングして、ビームをソース信号２０２８に向けさせるビームフォーマでありうる。焦点方向（focal direction）からの信号を増強させる方法を指すビーム形成は、マイクロフォンセンサ２０１２−１〜２０１２−Ｍを、（物理的にではなく）アルゴリズムによって所望の目的信号に向けさせる処理とも考えられることは、当業者に明らかであろう。センサ１１２−１〜１１２−Ｍが対象とする方向は、ビーム形成方向または聴取方向と呼ばれることがあり、実行時に固定されていても、適応可能であってもよい。
【００６９】
ビーム形成の背後にある基本的な概念は、所望の音源から出る音声信号が複数のマイクロフォンセンサのアレイに到達するまでの時間遅延が異なることにある。アレイの形状の配置は予め較正されているため、音源とセンサアレイ間の経路長の差は、既知のパラメータである。このため、相互相関と呼ばれる方法を使用して、異なるセンサからの信号を時間整合することができる。各センサからの、時間により整合させた信号を、ビーム形成方向に従って重み付けする。次に、重み付けした信号を、センサ固有のノイズ消去構成によってフィルタしうる（すなわち、各センサが、信号パスフィルタ２０６２に含まれるフィルタである整合フィルタＦ１〜ＦＭ２０４２−１〜２０４２−Ｍに関連付けられている）。各センサからのフィルタされた信号をモジュール２０７２によって合算して、出力Ｚ（ω，θ）を生成する。上記の方法は、自己相関と呼ばれることがあるという点を理解すべきである。更に、信号がビーム形成方向に存在しないとき、これらの信号は時間軸に沿って整合されていない状態に留まるため、このような信号は、平均化によって減衰される。アレイベースのキャプチャシステムに一般的なように、所望の空間方向（直線形状の配置を使用する）または空間体積（凸形状のアレイ配置を使用する）から音をキャプチャするマイクロフォンアレイの全体的な性能は、音源の位置を特定して、これを追跡できる能力によって決まる。しかし、ビデオゲーム環境などの、複雑な残響ノイズが存在する環境では、環境固有のパラメータのインテグレーション、つまり統合を行わずに一般の音位置追跡システムを構築することは、ほぼ不可能である。
【００７０】
図２０を続けて参照すると、別の実施形態では、適応ビーム形成は、２部構成の処理として説明することもできる。第１の処理では、ブロードサイドノイズがファーフィールドに存在すると仮定する。すなわち、音源２０２８からマイクロフォンの中心２０１２−１〜２０１２−Ｍまでの距離は、初期には音源２０２８が各マイクロフォンセンサに対して垂直の位置に存在するとみなすことができる程に十分に大きいとする。例えば、マイクロフォンセンサ２０１２−ｍについては、音源が線２０３６に沿って存在しているとする。このため、ブロードサイドノイズが、ここでＦ１と呼ぶフィルタを適用することで増強されうる。次に、定期的に較正される信号パスフィルタが、マイクロフォンセンサアレイを移動に適応可能にするＦ２と呼ばれる因子を決定するように構成されうる。Ｆ２の決定については、アダプティブアレイ較正モジュールに関して後述する。一実施形態では、信号パスフィルタは１００ミリ秒毎に較正されうる。このため、１００ミリ秒毎に、信号パスフィルタが固定ビーム形成に適用されうる。一実施形態では、整合フィルタ２０４２−１〜２０４２−Ｍが各マイクロフォンのステアリング因子（Ｆ２）を供給し、これにより、線２０３８−１〜２０３８−Ｍに示すように聴取方向が調整される。図２０に示すθの入射角で、センサに向かって伝搬するサイン波ファーフィールド平面波を考慮すると、この波が２つの隣接するセンサ間の距離ｄを進む際の時間遅延は、ｄｍｃｏｓθによって与えられる。固定ビーム形成に関する更に詳しい説明は、バリー・Ｄ・ヴァンフェーン（Barry D. Van Veen）およびケビン・Ｍ・バックリー（M. Buckley）、“Beamforming: A Versatile Approach to Spatial Filtering”、IEEE ASSP MAGAZINE、１９８８年４月の文献に記載されている。同文献を、あらゆる目的のために参照により援用する。
【００７１】
図２１は、音声信号のノイズ成分とソース信号成分とを分離するためのブラインド音源分離法を示す高レベル模式図である。音声信号中のソース信号およびノイズに関しては明示的な情報が得られないことがあるという点を理解すべきである。しかし、ソース信号とノイズの特徴が異なっていることはわかっている。例えば、第１の話者の音声信号と第２の話者の音声信号は、２人の話者の声が異なり、ノイズの種類が異なるため区別できる。このため、入って来る音声信号（ノイズとソース信号を含む）を表すデータ２１５０は、データマイニング操作により、ノイズ成分２１５２とソース信号２１５４に分離されうる。次に、分離フィルタ２１６０によって、ソース信号２１５０がノイズ信号２１５２から分離される。
【００７２】
本発明の一実施形態により、データマイニングを実行する１つの方法として、データを解析して、二次統計（second ordar statistic）によって独立成分を見つける独立成分分析（independent component analysis：ＩＣＡ）による方法がある点を当業者は理解するであろう。このため、さまざまな音を区別する音指紋をキャプチャするために、二次統計を計算して、データの特徴を記述または定義しうる。次に、ソース信号をノイズ信号から分離するために、分離フィルタが有効化されうる。音指紋の計算は定期的に実行されうるという点を理解すべきである。このため、ブラインドソース分離を使用するこのアダプティブアレイ較正処理によって、聴取方向が各期間において調整されうる。ひとたび分離フィルタ２１６０によって信号が分離されると、トラッキングの問題を解決できることは、当業者にとって明らかである。すなわち、センサアレイの複数のマイクロフォンに基づいて、ソース信号２１５４のトラッキングに使用する時間到着遅延が決定されうる。上で言及した二次統計は、自動相関法または相互相関法と呼ばれることがあることを当業者は理解するであろう。二次統計を使用したブラインドソース分離に関する更に詳しい説明は、Ｏ．シェルビ（O. Shalvi）およびＥ．ウェインスタイン（E. Weinstein）、“System Identification Using Non-Stationary Signals”、IEEE Transactions on Signal Processing、第４４巻、第８号、２０５５〜２０６３ページ、１９９６年８月の文献に記載されている。同文献を、あらゆる目的のために参照によりここに援用する。
【００７３】
図２２は、適応ノイズ消去を採用したマイクロフォンアレイフレームワークを示す模式図である。ノイズとソース信号を含む音声信号２２６６が、ビデオゲームコンソールやコンピューティング装置などのポータブルコンシューマデバイス１０２に取り付けられうるマイクロフォンセンサアレイによって受信されうる。次に、ポータブルコンシューマデバイス１０２によって受信された音声信号が、音響エコー消去（acoustic echo cancellation：ＡＥＣ）モジュール１６８によって前処理されうる。ここで、音響エコー消去は、例えば、米国特許出願第１０／６５０，４０９号明細書に記載されているように実行することができ、同文献を参照によりここに援用する。マイクロフォンアレイ内のマイクロフォンセンサの個数に対応している信号ｚ１〜ｚＭが生成され、チャネル２２７０−１〜２２７０−Ｍを介して分配される。チャネル２２７０−１は基準チャネルでありうるという点を理解すべきである。次に、対応する信号が、フィルタアンドサムモジュール２０６２に伝えられる。フィルタアンドサムモジュール２０６２が図２０を参照して上記した適応ビーム形成を実行するという点を理解すべきである。同時に、チャネル２２７０−１〜２２７０−Ｍからの信号がブロッキングフィルタ２２６４に伝えられる。
【００７４】
ブロッキングフィルタ２２６４は、目的信号がノイズとしてとらえられる場合に、逆ビーム形成を実行するように構成されうる。このため、ブロッキングフィルタ２２６４は、ソース信号を減衰させ、ノイズを増強する。すなわち、ブロッキングフィルタ２２６４は、較正係数Ｆ３を決定するように構成されてもよく、この係数は、適応ビーム成形処理で決定された較正係数Ｆ２の逆数と考えることができる。図２１を参照して記載したアダプティブアレイ較正が、ここに記載した処理のバックグラウンドで行われていることを当業者は理解するであろう。フィルタアンドサムモジュール２０６２とブロッキングフィルタモジュール２２６４は、分離フィルタ２１６０を構成している。次に、ノイズ増強信号Ｕ２〜ＵＭが、それぞれ対応する適応フィルタ２２７５−２〜２２７５−Ｍに送られる。適応フィルタ２２７５−２〜２２７５−Ｍは、適応フィルタモジュール２２７４に含まれる。ここで、適応フィルタ２２７５−２〜２２７５−Ｍは、モジュール２２７６での加算演算のために、対応する信号を整合させるように構成されている。当業者であれば、ノイズは定常ではないことがあり、このため、加算演算の前に信号を整合させる必要があることが理解できるであろう。
【００７５】
図２２を続けて参照すると、次に、加算演算モジュール２２７８によってノイズ低減信号を供給するために、モジュール２２７６による加算演算で得られた信号が、モジュール２２７２による加算演算からの信号出力と結合されうる。すなわち、所望のソース信号を増強するように、モジュール２２７２の増強信号出力が、モジュール２２７６からのノイズ増強信号と結合されうる。ブロック２２８０は適応ノイズ消去操作を表す点を理解すべきである。更に、一実施形態では、検出された信号対雑音比が０デシベルを超えている限り、バックグラウンドに存在するアレイ較正が１００ミリ秒毎に行われうる。前述のように、アレイ較正により、フィルタアンドサムビームフォーマ２０６２で使用される信号パスフィルタと、信号対雑音比が−１００デシベル未満の純粋な干渉（ｐｕｒｅ ｉｎｔｅｒｆｅｒｅｎｃｅ）を生成する信号ブロッキングフィルタ２２６４が更新されうる。
【００７６】
一実施形態では、マイクロフォンセンサアレイの出力信号が後処理モジュールに送られ、ベイジアン統計モデリングによって、人物固有の音声スペクトルフィルタリングに基づいて処理され、音声品質が更に向上されうる。音声スペクトルフィルタリングに関する詳細な情報は、デイビッド・バーシュテイン（David Burshtein）、“Speech Enhancement Using a Mixture-Maximum Model”、IEEE Transactions on Speech and Audio Processing、第１０巻、第６号、２００２年９月の文献に記載されている。同文献を、あらゆる目的のために参照により援用する。ここで言及した信号処理アルゴリズムは周波数領域で実行されるという点を理解すべきである。更に、リアルタイムの信号応答を得るために、高速かつ高効率な高速フーリエ変換（Fast Fourier transform：ＦＦＴ）が適用されうる。一実施形態では、実装されたソフトウェアは、各信号入力の塊（サンプリングレート１６ｋＨｚにおいて５１２の信号サンプル）について、ウィンドウ長１０２４のＦＦＴ操作を２５回必要とする。直線形状に等間隔で配置された４個のセンサを有するマイクロフォンアレイの代表的な例では、音響エコー消去およびベイジアンモデルをベースとした音声スペクトルフィルタリングを適用しない場合に、必要な全演算は約２５０メガの浮動小数点演算（２５０ＭＦＬＯＰＳ：mega floating point operations）となりうる。
【００７７】
図２２を続けて参照すると、分離フィルタ２１６０は、ＱＲ直交化手順によって、この範囲および零空間にある２つの直角成分に分解されうる。すなわち、零空間から信号ブロッキングフィルタ係数（Ｆ３）が得られ、順位空間（rank space）から信号パスフィルタ係数（Ｆ２）が得られうる。この処理は、一般化サイドローブキャンセラ（Generalized Sidelobe Canceler：ＧＳＣ）手法として特徴づけられうる。ＧＳＣ手法に関する更に詳しい説明は、前述の文献“Beamforming: A Versatile Approach to Spatial Filtering”に記載されており、同文献は参照により援用されている。
【００７８】
上記に記載した実施形態は、高ノイズ環境において音声入力を提供するための方法および装置について記載している。この音声入力システムは、ＳＯＮＹ ＰＬＡＹＳＴＡＴＩＯＮ２（登録商標）用のビデオゲームコントローラやその他の任意の適切なビデオゲームコントローラなどのビデオゲームコントローラに取り付けられうるマイクロフォンアレイを有する。マイクロフォンは、ビデオゲームコントローラの移動に一切の制限を課さないように構成されうる。マイクロフォンアレイのマイクロフォンセンサによって受信された信号には、フォアグラウンドの話者または音声信号、および部屋の残響を含む各種バックグラウンドノイズが含まれると仮定される。異なるセンサからのバックグラウンドおよびフォアグラウンドの時間遅延が異なることがあるため、周波数スペクトル領域におけるこれらの二次統計は互いに独立しており、このため、周波数成分に基づいて信号を分離することができる。次に、分離した信号周波数成分が再び結合されて、フォアグラウンドの所望の音声信号が再現される。ここに記載した実施形態は、ノイズ環境においてビデオゲーム用のコマンドを発行するか、または他のプレーヤと通信するためのリアルタイム音声入力システムを規定しているという点を更に理解すべきである。
【００７９】
図２３は、トリガ２３００とトリガセンサ２３０１を有する例示的なおもちゃの銃２３００を示す。更に、おもちゃの銃２３００は、マーブル２３０２も有する。一実施形態では、マーブル２３０２は、中実の金属のボールベアリングを含む。ユーザが銃２３００をはじく（flick）と、マーブル２３０２が、前方に位置２３０２’まで摺動して大きな「破裂」（crack）音を発生させ、これがモニタ１５０６によって感知されうる。別法では、あるいは上記に加えて、ユーザがトリガ２３０１を握ると、これがトリガセンサ２３０４によって検知されてもよい。おもちゃの銃２３００は、銃の発射の音響効果をスピーカ２３０８から出す回路２３０６を有する。一実施形態では、トリガ２３０１の握りが強いほど、銃弾の効果が早くなるか、あるいは異なる効果が引き起こされる。コンピューティングシステム１８５０（図１８）は、音を区別することができ、マーブル２００２が発生させた「破裂」音を受けると「再装填」動作を、トリガ２３０１が握られていると、仮想環境で発射動作を起こすことができる。別の実施形態では、トリガが強く握られると、発生する音のピッチ（周波数）が高くなったりピッチが変わったりする。ピッチが高くなるほど強度が大きくなることが、モニタ１５０６によって取得されうる。
【００８０】
図２０にはおもちゃの銃が示されているが、プラッシュ織の人形、ボールなどの他の入力装置、道具またはおもちゃを想到でき、音声キャプチャ１５０６ａと共に使用することができることを当業者は認めるであろう。ここに記載した例示的な実施形態は、音量、周波数、または速さの変化がコンピュータシステムによってどのように解釈されて、インタフェース用のオブジェクトとのインタラクションを示す強度値が特定されるかを示している。１つの例では、おもちゃの人形は、抱かれるか握られるかで、生成される音が変わり、これが音声キャプチャユニットによってキャプチャされて、異なる反応をしうる。
【００８１】
図２４は、フローチャート図２４００を示す。この手順は開始ブロック２４０２に示すように開始し、操作２４０４に進み、ビデオおよび／または音声キャプチャ機能を備えたキャプチャ装置を使用して、キャプチャ領域がモニタされうる。手順は操作２４０６に進み、キャプチャ領域内で入力装置が検出されうる。入力装置の初期形状が検出されうる。入力装置は、その色または形によって検出されうる。例えば、入力装置がオレンジ色のボールである場合、ビデオモニタは丸いオレンジの形状を探し、それが入力装置であると判定する。
【００８２】
手順は操作２４０８に進み、入力装置の形、色または明るさの変化の程度が検出されうる。一実施形態では、入力装置は、変形を受けると、色が変わるか次第に明るくなる。別の実施形態では、入力装置は、例えばユーザによって握られると単に形を変える。ビデオモニタは、装置の形、色または明るさの変化を検出して、変化の程度から、強度値を特定することができる。
【００８３】
手順は操作２４１０に進み、キャプチャ装置と通信しているコンピュータで実行中のコンピュータプログラムによって、アクティビティ入力が開始される。アクティビティ入力には、ビデオキャプチャ装置が感知した変形、光、色の程度から計算される強度値が含まれうる。次に手順が、終了ブロック２４１２に示すように終了する。
【００８４】
図２５は、第２のフローチャート２５００を示す。この手順は、開始ブロック２５０２に示すように開始し、操作２５０４に示すように、ビデオおよび音声機能を備えたキャプチャ装置を使用して、キャプチャ領域がモニタされうる。次に、操作２５０６において、入力装置が発生させた音が検出されうる。手順は操作２５０８に進み、入力装置が発生させた音のラウドネスまたは速さに基づいて、強度値が計算されうる。別の実施形態では、強度値を決定するために、音の周波数（ピッチ）が使用されうる。
【００８５】
手順は操作２５１０に進み、キャプチャ装置と通信しているコンピュータで実行中のコンピュータプログラムに、アクティビティ入力が提供されうる。アクティビティ入力には、入力装置が発生させた音から決定された強度値を表す値が含まれうる。次に手順が、終了ブロック２５１２に示すように終了する。
【００８６】
焦点ゾーンにおいて、ビデオゲームコントローラがビデオゲームまたは他のコンピュータプログラムとのインタラクションが求められる場合がある。ビデオゲームコントローラは、通常、ゲーム内のアクションを制御するため、ビデオゲームプログラムへの入力を提供する、ボタン、ノブおよび／またはジョイスティックを有する手持ち式装置でありうる。空間内でのコントローラの移動および／または回転を検知することによって、コントローラに追加の機能を追加することが求められることがある。例えば、ユーザが、コントローラ装置全体を傾けることによって、仮想のレース車を運転し、これが、図１〜１４を参照して説明したように、画像キャプチャ装置によって検知されうる。従来、ビデオゲームコントローラは、利用可能な１つ以上の赤外線または高周波（ＲＦ）インタフェースを使用して、アナログ信号および／またはデジタルデータのストリームを有線あるいは無線によって提供している。マルチプレーヤのゲームのために、複数のコントローラが、コンピュータシステム（例えばゲームコンソール）と電子的通信を行うことがある。プログラムとのインタラクションを行う各ユーザに対して、プレーヤ１、プレーヤ２などの番号が割り振られうる。ゲームコントローラがシステムに接続されると、各ユーザに対して、コントローラが接続されたポート番号に従って、番号が割り振られうる。このため、コンピュータゲームが４つのポートを有する場合、プレーヤ１がポート番号１に接続され、プレーヤ２がポート番号２に接続され、…と続いていく。無線コントローラにより、プレーヤは、無線チャネルやほかのハンドシェークプロトコル機構に基づいて、自分のプレーヤ番号を選択できるようになり、コントローラ自体が、プレーヤ１、プレーヤ２などであると認識できる。
【００８７】
図２６，２７は、画像キャプチャ装置１０５（図１）とのインタラクションを行う例示的なコントローラ２６００を示す。コントローラ２６００は、各種のボタンおよびジョイスティックを含む複数のインタフェース装置を有するインタフェース２６０２を備える。ここに記載するコントローラは、有線であっても、無線であってもよい。ＷｉＦｉ、ブルートゥース（登録商標）、赤外線、音声、光などの技術が、ゲームコンソールなどのコンピュータとインタフェースするために使用されうる。一実施形態では、コントローラ２６００は、ＬＥＤアレイ２６０５を有する。ＬＥＤアレイは、さまざまなレイアウトで構成することができ、このようなレイアウトには、例えば、各ＬＥＤが、想像上の矩形または正方形の結合ボックスの頂点に配置されている２×２のスタックがある。画像キャプチャ装置が作成する画像平面に投射されたときの、結合ボックスの位置および変形を追跡することによって、変化および変形がビデオアナライザで分析され、コントローラの位置および姿勢の情報が解読されうる。ＬＥＤアレイ２６０５は、赤外光または可視光を発しうる。画像キャプチャ装置１０５（図１）は、本発明のさまざまな実施形態に関して説明したように、ＬＥＤアレイ２６０５を識別しうる。例えば、各コントローラに対して、スイッチ２６１０を使用して、例えば、プレーヤ１〜プレーヤ４と割り振られ、これによって、ユーザが、プレーヤ番号１〜４から選択できるようになる。プレーヤ番号のそれぞれの選択は、ＬＥＤアレイ２６０５が発光している一意的なＬＥＤのパターンまたは変調に対応している。例えば、プレーヤ１の場合は、１番目、３番目および５番目のＬＥＤが点灯する。このようなプレーヤ情報は符号化されて、複数のビデオフレーム間で、所定の期間にわたり、繰り返し伝送されうる。コントローラまたは装置のＬＥＤが、トラッキングモードと伝送モードを切り替えるように、インタリーブ方式が使用されることが望ましいことがある。トラッキングモードでは、サイクルの第１の部分の間、全てのＬＥＤが点灯しうる。伝送モードでは、サイクルの第２の部分の間、ＬＥＤによって情報の変調が行われうる。所定の期間、ＬＥＤは、信号を受け取ることができるビデオアナライザまたは適切な装置に、トラッキング情報と通信情報を伝送する。伝送モードでは、ＬＥＤは、プレーヤのＩＤを表す情報を符号化しうる。期間と動作周期は、トラッキングの速度、点灯条件、コントローラの台数などに対応するように選択されうる。通信とトラッキング情報をインタリーブすることによって、ビデオキャプチャ装置は、適切な情報が与えられて、各コントローラのトラッキングパラメータを計算し、コントローラ同志を区別することができる。このような区別は、位置および姿勢や、コントローラの移動の他の評価基準をモニタおよびトラッキングする際に、各物理コントローラを分離するために、ビデオアナライザで使用されうる。
【００８８】
伝送モードでは、コマンドまたは状態情報などの他の情報が、コントローラまたは装置のＬＥＤによって、公知の符号化および変調の方式に従って伝送されうる。受信側では、ビデオキャプチャ装置に結合されたビデオアナライザが、ＬＥＤの状態と同期して、これをトラッキングし、情報とコントローラの移動を復号化しうる。伝送モードサイクルでは、フレーム間でデータを変調させることによって、高帯域が得られることが知られている。
【００８９】
ユーザがインタフェース２６０２とのインタラクションを行うと、ＬＥＤアレイ２６０５の１つ以上のＬＥＤが変調および／または変色しうる。例えば、ユーザがジョイスティックを動かすと、ＬＥＤが明るさを変えるか、または情報を伝送しうる。強度または色の変化が、コンピュータシステムによってモニタされて、図１〜１４を参照して説明したように、強度値としてゲームプログラムに提供される。更に、各ボタンが、ＬＥＤアレイ２６０５の１つ以上のＬＥＤの色または強度の変化にマッピングされうる。
【００９０】
コントローラ２６００が三次元空間内で移動され、ロール、ヨーまたはピッチの方向（後で図３３を参照して詳細に説明する）のいずれかに回転されると、画像キャプチャ装置１０５は、コンピュータシステム１０２（図１）と共に、この変化を識別して、画像平面での移動を記述するために二次元ベクトルを、あるいは、三次元の空間での移動を記述するために三次元のベクトルを生成することができる。ベクトルは、画像キャプチャ装置１０５に対する相対移動および／または絶対位置を記述している一連の座標として提供されうる。当業者にとって明らかなように、画像キャプチャ装置１０５の見通線に垂直な面（画像平面）での移動は、画像キャプチャゾーン内の絶対位置によって特定することができる。これに対して、画像キャプチャ装置１０５に近いコントローラ２６００の移動は、ＬＥＤアレイ２６０５によって広がって見えて特定されうる。すなわち、画像平面上の先頭のＬＥＤと最後のＬＥＤ間の距離が、画像キャプチャ装置からの距離を計算するために測定されうる。
【００９１】
図２８，２９ａは、ＬＥＤ２８０５が矩形に構成されており、これによって、コントローラ２８００の各軸を中心とした三次元と回転の移動の検出が可能なコントローラ２８００を示す。限られたＬＥＤのみが図示されているが、これは例示のみを目的としており、面内に分布しているＬＥＤの個数は任意の個数であってもよく、同一直線上にないＬＥＤも可能である。コントローラ２８００が前後にピッチ運動すると、上下のＬＥＤの距離が近づくが、左右のＬＥＤ間の距離は変わらない。同様に、コントローラ２８００が左右にヨー運動すると、左右のＬＥＤが接近して見えるが、上下のＬＥＤ間の距離は変わらない。コントローラ２８００のロール運動は、画像平面におけるＬＥＤの向きを特定することによって検出することができる。コントローラが、画像キャプチャ装置１０５の見通線に沿って画像キャプチャ装置１０５に近づくと、全てのＬＥＤが接近して見える。最後に、画像平面に沿ったコントローラの移動は、画像平面上のＬＥＤの位置を特定することによってトラッキングすることができ、これにより、ｘ軸およびｙ軸のそれぞれに沿った移動が特定できる。図２６，２７を参照して説明したように、ユーザによるインタフェース２８０２とのインタラクションを特定するために、ＬＥＤ変調を使用することができる。
【００９２】
図２９ｂは、別の実施形態によるコントローラ２９２０を示しており、ＬＥＤ２９２２、スピーカ２９２４、およびマイクロフォン２９２６が組み込まれている。ＬＥＤ２９２２は、画像キャプチャ装置を使用して位置情報と姿勢情報を提供する一方、スピーカ２９２４は、可聴音または超音波を発生させ、図１５〜２３を参照して説明したような、音声モニタを使用した音響効果および／または通信を提供している。マイクロフォン２９２６は、システムに音声入力を提供しており、音声コマンドを発行したり、またはオンラインのマルチプレーヤ環境で他のプレーヤと通信するために使用することができる。
【００９３】
図２９ｃは、矩形構成のＬＥＤ２９３２のほか、コントローラ２９３０の後面パネルの中央に配置されたスピーカを有するコントローラ２９３０を示す。図２９ｄは、弧形状に配置された５つのＬＥＤ２９４２を有するコントローラ２９４０を示す。図２９ｅは、長方形の構成に配置されたＬＥＤを有するコントローラ２９５０を示す。図２９ｆは、密集して配置された６つのＬＥＤ２９６を有するコントローラ２９６０を示す。当業者は、ほかのＬＥＤ構成が可能であることを認めるであろう。
【００９４】
図３０は、画像キャプチャ装置の使用時に、プレーヤとコントローラとの対応関係を決定するための例示的な手順を示すフローチャート３０００を示す。この手順は開始ブロック３００２に示すように開始し、操作３００４に進む。操作３００４において、プレーヤは希望するプレーヤ番号を選択し、コントローラがその選択内容を受け取りうる。次に、手順は操作３００６に進み、ユーザが選択したプレーヤ番号に対応するＬＥＤパターンが表示されうる。操作３００８において、コントローラを含む焦点ゾーンの画像が、コンピュータに接続されうる画像キャプチャ装置によって受信される。コンピュータは、画像を表すデータを受け取ると、操作３０１０において、コントローラが発生させたＬＥＤパターンを特定し、操作３０１２において、ＬＥＤパターンから、そのコントローラに対応しているプレーヤを決定する。次に手順が、終了ブロック３０１４に示すように終了する。
【００９５】
図３１は、画像キャプチャ装置を使用してコントローラの姿勢を特定するための例示的な手順を示すフローチャート３１００を示す。この手順は開始ブロック３１０２に示すように開始し、操作３１０４に進み、コントローラを含む焦点ゾーンのビデオ画像が受信される。操作３１０６において、コントローラにあるＬＥＤの絶対位置および相対位置から、コントローラの姿勢および／または位置が特定されうる。姿勢と位置は、図２８，２９を参照して説明したように取得することができる。コントローラの姿勢および／または位置が特定されると、手順は操作３１０８に進み、コントローラの姿勢および／または位置を表すデータが、このデータを要求したか、あるいはこのデータを受け取るコンピュータプログラムに渡される。次に手順が、終了ブロック３１１０に示すように終了する。
【００９６】
図３２は、画像キャプチャ装置を使用してコントローラの姿勢を特定するための例示的な手順を示すフローチャート３２００を示す。この手順は開始ブロック３２０２に示すように開始し、操作３２０４に進み、コントローラを含む焦点ゾーンのビデオ画像が受信される。次に、操作３２０６において、ボタン、スイッチ、ジョイスティックなどのコントローラのインタフェースの操作が、コントローラのＬＥＤの変調から特定されうる。この操作は、図２６〜２７を参照して説明したように実行されうる。次に、操作３２０８において、操作情報がコンピュータプログラムに渡されうる。最後に、手順は、終了ブロック３２１０に示すように終了する。
【００９７】
図３３は、多数の制御部と移動検知装置３３０５を有するインタフェース３３０２を有するコントローラ３３００を示す。一実施形態では、移動検知装置３３０５は、三軸の加速度計であってもよい。加速度計は、電子工学分野で一般に公知であり、通常、運動量の変化に反応する構造する小さな固体素子装置と、反応を検出するセンサとを有する。並進運動のほかに回転運動を検知することができる小型の加速度計が入手可能である。並進運動は、ｘ軸、ｙ軸、ｚ軸に沿った移動である。回転運動は、ｘ軸、ｙ軸、ｚ軸の１つ以上を中心とした回転である。並進検出加速度計は、重力の引っ張りの方向を検出することができ、このため、重力の引っ張りに対する装置（ゲームコントローラなど）の絶対的な姿勢を特定する。コントローラ３３００は、並進検知加速度計３３０５を有し、これがデジタルデータを発生させ、このデータがコントローラ３３０の内部にある回路（図示せず）によって受信される。このデジタルデータは、装置に対する重力の引っ張りから決定できる、装置の並進移動ベクトルと姿勢に変換されうる。このようにして、回路は、コントローラ３３００の移動と姿勢を特定して、インタフェース３３０２の各種制御部とユーザとのインタラクションを示すほかのデータと共に、当業界で一般に公知の技術（ケーブル、赤外線または無線接続を介してなど）を使用して、このデータをゲームコンソールに伝送する。このデータを、画像キャプチャ装置が視覚的に認識可能なようにＬＥＤ変調に符号化することも可能である。装置によってキャプチャされた移動は、（初期位置を原点とした）絶対位置と姿勢、および／または位置と姿勢の変化の情報として表すことができる。
【００９８】
図３４は、コントローラ３３００の移動をコンピュータプログラムに伝える例示的な手順を示すフローチャート３４００を示す。この手順は開始ブロック３４０２から始まり、操作３４０４に進み、ゲームコントローラの移動が検出されうる。一実施形態では、移動は、コントローラの運動量の変化を検出することによって検出することができ、運動量は加速度計を使用して検出することができる。次に、運動量の変化が、初期の原点からの移動ベクトルおよび／または絶対位置ベクトル、ならびに、コントローラ３３００の姿勢を特定する重力の引っ張りを表すベクトルに変換されうる。移動、位置、および姿勢の各ベクトルは、一連の座標として表すことができる。操作３４０４においてゲームコントローラ３３００の移動を検出したら、手順は、操作３４０６に進み、検出された移動を表すデータが、このデータを要求したか、あるいはこのデータを受け取るプログラムに渡される。
【００９９】
特定の実施形態では、強度値、コントローラのプレーヤ番号、コントローラを含む１つ以上の入力オブジェクトの姿勢および／または位置を決定するための上記の画像または音声処理機能が、コンピュータシステムで実行中のプロセスで実行されてもよい。コンピューティングシステムが、メインプロセスを実行していてもよく、これは、画像または音声処理から得られるデータを要求するか、あるいはこのデータを受け取るゲームアプリケーションであってもよい。このようなデータには、強度値、コントローラのプレーヤ番号、コントローラを含む１つ以上の入力オブジェクトの姿勢および／または位置、コントローラの操作などが含まれる。各種実施形態では、画像および／または音声処理機能を実行しているプロセスは、ビデオカメラまたはビデオ／音声監視装置のドライバであってもよく、このドライバは、一般に知られているように実装に特有であり、当業界で知られ、理解されているように、任意のタイプのプロセス間通信を介して、メインプロセスにデータを提供する。画像または音声処理を実行するプロセスは、ゲームや他のソフトウェアを実行しているものと同じプロセッサで実行されても、別のプロセッサで実行されてもよい。画像または音声処理とゲーム機能に対して、例えば、プロシージャコールを使用して、同じプロセス内で共通のプロセスとしてもよい。このため、本明細書において、強度値やほかの情報が「『プログラムに』提供される」と言及することがあるが、本発明には、１つのプロセスが、画像処理機能とゲーム機能の両方を実行することができるように、プロシージャコールやその他のソフトウェア機能を使用して、このようなデータをプロセスのルーチンに提供することも含まれていることを理解すべきである。また、これら機能を異なるプロセスに分割して、共通のプロセッサコアまたは複数のプロセッサコアで実行される１つ以上のプロセスが、本明細書に記載したような画像および／または音声処理を実行して、別のプロセスがゲーム機能を実行してもよい。
【０１００】
本発明は、ここに記載したように使用されても、ほかのユーザ入力機構、音の角度方向をトラッキングする他の機構、および／またはオブジェクトの位置を能動的または受動的にトラッキングする機構、機械的視野を使用する機構、これらの組み合わせと共に使用されてもよい。トラッキングされるオブジェクトは、システムへのフィードバックを操作する補助的制御部またはボタンを備えていてもよい。このようなフィードバックには、光源からの発光、音歪み手段または他の適切な送信器および変調器のほかに、ボタン、圧力パッドなどがあるが、これらに限定されない。これらは、その伝達または変調、符号化状態および／またはトラッキング対象の装置との間でやり取りされるコマンドに影響しうる。
【０１０１】
本発明は、ゲームコンソール、ゲームコンピュータまたはコンピューティング装置、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステムの構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、ネットワークを介してリンクされる遠隔処理デバイスによってタスクが実行される。例えば、オンラインのゲームシステムおよびソフトウェアが使用されてもよい。
【０１０２】
上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作は、物理量の物理的操作を必要とする。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。
【０１０３】
本発明の一部を構成している、本明細書に記載した操作はいずれも、有用な機械的操作である。本発明は、これらの操作を実行するデバイスまたは装置にも関する。この装置は、上記に記載したキャリアネットワークなどの所望の目的のために特別に作製されたものであっても、あるいは汎用コンピュータであり、そのコンピュータに記憶されているコンピュータプログラムによって選択的に作動もしくは構成されてもよい。特に、各種の汎用の機械を、本明細書の教示に従って記述したコンピュータプログラムと併用してもよく、あるいは所望の操作を実行するために特化した機械を作製するほうが利便性が高いこともある。
【０１０４】
本発明は、また、計算機可読媒体上の計算機可読コードとして実施されてもよい。計算機可読媒体は、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものであってもよい。計算機可読媒体の例には、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読媒体は、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。
【０１０５】
上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。
【図面の簡単な説明】
【０１０６】
【図１】画像キャプチャ装置を有するインタラクティブゲーム構成を示す。
【図２】画像キャプチャ装置の前方にあるオブジェクトの照準方向を確認するための方法を示す。
【図３】グラフィックディスプレイ上のオブジェクトとのインタラクションを行うための例示的なユーザ入力システムのブロック図である。
【図４】本明細書に記載した本発明の各種実施形態を実装するように構成されたコンピュータ処理システムの簡略ブロック図である。
【図５】代替入力装置として機能する操作用オブジェクトとの併用に適合されたビデオゲームコンソールの各種構成要素の構成を示すブロック図である。
【図６】ユーザによる操作中に、ユーザ入力装置に対応するピクセル群をトラッキングして判別するための機能ブロックを示すブロック図である。
【図７】変形可能なユーザ入力装置の例示的な実施形態の模式図である。
【図８】ユーザが変形可能なオブジェクトを操作する例示的な用途を示す。
【図９】バスケットボールの形をした、例示的な変形可能なオブジェクト９００を示す。
【図１０】外側層の下に発光ダイオードの層（ＬＥＤ）が存在する変形可能なオブジェクトを示す。
【図１１】フットボールの形をした、例示的な変形可能なオブジェクトを示す。
【図１２】変形可能なオブジェクトが、ユーザが使用しているバスケットボールの形である、変形可能なオブジェクトの例示的な用途を示す。
【図１３】トリガとトリガセンサを有するおもちゃの銃を示す。
【図１４】おもちゃの野球のバットを示す。
【図１５】画像キャプチャユニットと音声キャプチャユニットとを有するモニタを示す。
【図１６】２つの音源に向かい合った状態の音声キャプチャユニットを示す。
【図１７】方向選択が行われるように、三角測量アルゴリズムを使用した音Ａと音Ｂの処理を示す。
【図１８】画像−音声キャプチャ装置と共に使用されうるコンピューティングシステムを示す。
【図１９】少なくとも４つのマイクロフォンを備える例示的な音声モニタを示す。
【図２０】アレイビーム形成モジュールを示す模式概略図である。
【図２１】音声信号のノイズ成分とソース信号成分とを分離するためのブラインド音源分離法を示す高レベル模式図である。
【図２２】適応ノイズ消去を採用したマイクロフォンアレイフレームワークを示す模式図である。
【図２３】音声モニタとインタフェースするための、トリガおよびトリガセンサを有する例示的なおもちゃの銃を示す。
【図２４】ビデオキャプチャを使用して、コンピュータプログラムとインタフェースするためのフローチャートを示す。
【図２５】音声モニタリングを使用して、コンピュータプログラムとインタフェースするためのフローチャートを示す。
【図２６】図１の画像キャプチャ装置とのインタラクションを行うための例示的なコントローラの上面図である。
【図２７】図１の画像キャプチャ装置とのインタラクションを行うための例示的なコントローラの背面図である。
【図２８】矩形の構成のＬＥＤを有するコントローラの上面図である。
【図２９ａ】矩形の構成のＬＥＤを有するコントローラの背面図である。
【図２９ｂ】ＬＥＤ、スピーカ、およびマイクロフォンが組み込まれたコントローラの背面図である。
【図２９ｃ】矩形構成のＬＥＤのほか、コントローラの後面パネルの中央に配置されたスピーカを有するコントローラの背面図である。
【図２９ｄ】５つのＬＥＤが、弧形状に配置されているコントローラの背面図である。
【図２９ｅ】長方形の構成に配置されたＬＥＤを有するコントローラの背面図である。
【図２９ｆ】密集して配置された６つのＬＥＤを有するコントローラの背面図である。
【図３０】画像キャプチャ装置の使用時に、プレーヤとコントローラとの対応関係を決定するための例示的な手順を示すフローチャートを示す。
【図３１】画像キャプチャ装置を使用してコントローラの姿勢を特定するための例示的な手順を示すフローチャートを示す。
【図３２】画像キャプチャ装置を使用してコントローラの姿勢を特定するための例示的な手順を示すフローチャートを示す。
【図３３】多数の制御部と移動検知装置を有するインタフェースを有するコントローラを示す。
【図３４】コントローラの移動をコンピュータプログラムに伝える例示的な手順を示すフローチャートを示す。
【特許請求の範囲】
【請求項１】
コンピュータプログラムとのインタラクションの強度値を決定するための方法であって、
キャプチャゾーンの画像をキャプチャするステップと、
前記画像内に表現された入力オブジェクトを特定するステップと、
前記入力オブジェクトの形、色または明るさの１つ以上を特定しており、前記入力オブジェクトに対する人の操作によって影響を受けるパラメータの初期値を特定するステップと、
前記キャプチャゾーンの第２の画像をキャプチャするステップと、
前記入力オブジェクトの前記パラメータの第２の値を特定するステップと、
前記第２の値と前記第１の値の差である前記パラメータの変化の程度を決定するステップと、
前記パラメータの前記変化の程度を表す強度値を含むアクティビティ入力を、前記コンピュータプログラムに提供するステップと、を有する方法。
【請求項２】
前記入力オブジェクトは変形可能なオブジェクトであり、前記パラメータは前記入力オブジェクトのアスペクト比を表しており、前記パラメータは、前記入力オブジェクトを握ることで影響を受ける請求項１に記載の方法。
【請求項３】
前記入力オブジェクトは、変形を受けると色が変わる材料を含む変形可能なオブジェクトであり、前記パラメータは前記オブジェクトの色であり、前記色は、前記入力オブジェクトを握ることで影響を受ける請求項１に記載の方法。
【請求項４】
前記入力オブジェクトは、握りを有する道具であり、前記道具は、前記握りが握られる強さに反応する照光手段を有し、前記パラメータは、前記照光手段の明るさまたは色の一方である請求項１に記載の方法。
【請求項５】
前記道具はおもちゃの銃であり、前記握りはトリガを有し、前記照光手段は、前記トリガが握られる強さに反応する請求項４に記載の方法。
【請求項６】
前記入力オブジェクトは、握りを有する道具であり、前記道具は、複数のイルミネータを有する照光手段を有し、前記照光は、前記握りの強さに応じて前記イルミネータのうちの所定の個数を作動させ、前記照光手段は複数のイルミネータを有し、前記パラメータは作動させるイルミネータの個数である請求項１に記載の方法。
【請求項７】
前記道具はおもちゃの銃であり、前記握りはトリガを有し、前記照光手段は、前記トリガが握られる強さに反応する請求項６に記載の方法。
【請求項８】
コンピュータプログラムに強度値を入力するための方法であって、
キャプチャゾーン内で入力オブジェクトが発生させる音をキャプチャするステップと、
前記入力装置が発生させる前記音のラウドネス、速さ、ピッチの少なくとも１つを特定する入力パラメータを特定するステップと、
前記音をキャプチャするための手段と通信しているコンピュータで実行されている前記コンピュータプログラムに、前記入力パラメータを表すアクティビティ入力を提供するステップと、
前記コンピュータプログラムにおいて、前記入力オブジェクトの仮想オブジェクトの動作をシミュレーションするステップと、を有する方法。
【請求項９】
前記入力オブジェクトは、人の操作を受けて前記音を発生させる請求項８に記載の方法。
【請求項１０】
前記キャプチャは、複数のマイクロフォンを有する音声キャプチャ装置によって実行され、前記キャプチャするステップは、前記キャプチャゾーンから来たものではない音をフィルタリングするステップを有する請求項８に記載の方法。
【請求項１１】
前記キャプチャゾーンは、初期化中に、ゾーンの選択肢から選択される請求項１０に記載の方法。
【請求項１２】
前記標的ゾーンは、前記音声キャプチャ装置の姿勢に対する特定の方向として定義される請求項１０に記載の方法。
【請求項１３】
前記音声キャプチャ装置は少なくとも４つのマイクロフォンを有し、前記キャプチャゾーンは、前記音声キャプチャ装置の近くの区切られた空間体積である請求項１０に記載の方法。
【請求項１４】
コンピュータビデオゲームであって、
人の操作のために構成された入力オブジェクトと、
監視装置であって、前記監視装置の近くのキャプチャゾーンから画像または音声の一方を含む情報をキャプチャする監視装置と、
コンピュータで実行中のコンピュータプログラムと、を有し、前記コンピュータプログラムは、前記監視装置によってキャプチャされた前記情報を表すデータを受け取り、前記コンピュータプログラムは、前記データを分析して、前記入力オブジェクトに対する前記人の操作の強度を表す強度値を計算するコンピュータビデオゲーム。
【請求項１５】
前記入力オブジェクトは変形可能なオブジェクトであり、前記監視装置は、前記入力オブジェクトの画像をキャプチャするためのビデオカメラを有し、前記強度値は、前記入力オブジェクトのアスペクト比を表しており、前記アスペクト比は、前記入力オブジェクトを握ることで変化する請求項１４に記載のコンピュータビデオゲーム。
【請求項１６】
前記入力オブジェクトは、握りを有する道具であり、前記道具は、前記握りが握られる強さに応じて明るさおよび／または色を変える照光手段を有し、前記監視装置は、前記入力オブジェクトの画像をキャプチャするためのビデオカメラを有し、前記強度値は、前記照光手段の明るさまたは色の一方を表す請求項１４に記載のコンピュータビデオゲーム。
【請求項１７】
前記道具はおもちゃの銃であり、前記握りはトリガを有し、前記照光手段は、前記トリガが握られる強さに反応する請求項１６に記載のコンピュータビデオゲーム。
【請求項１８】
前記入力オブジェクトは、握りを有する道具であり、前記道具は、複数のイルミネータを有する照光手段を有し、前記照光は、前記握りの強さに応じて前記イルミネータのうちの所定の個数を作動させ、
前記監視装置は、前記入力オブジェクトの画像をキャプチャするためのビデオカメラを有し、前記強度値は、作動させる前記イルミネータの個数を表す請求項１４に記載のコンピュータビデオゲーム。
【請求項１９】
前記道具はおもちゃの銃であり、前記握りはトリガを有し、前記照光手段は、前記トリガが握られる強さに反応する請求項１８に記載のコンピュータビデオゲーム。
【請求項２０】
前記入力オブジェクトは、人の操作を受けて前記音を発生させ、前記音は、前記人の操作の前記強度に応じた可変パラメータを有し、前記可変パラメータは、ラウドネス、ピッチ、または速さの１つを含み、前記監視装置は、前記入力オブジェクトが発生させる前記音をキャプチャするためのマイクロフォンを有し、前記強度値が前記パラメータを変更する請求項１４に記載のコンピュータビデオゲーム。
【請求項２１】
プレーヤの選択を行うための方法であって、
コントローラ装置からユーザによるプレーヤ番号の選択を受け取るステップと、
前記コントローラ装置で、前記プレーヤ番号に対応するＬＥＤパターンを表示するステップと、
前記コントローラ装置を含む焦点ゾーンの画像を受信するステップと、
前記画像内で前記ＬＥＤパターンを特定するステップと、
前記画像の前記ＬＥＤパターンから、前記コントローラが、前記ユーザが選択した前記プレーヤ番号に対応していることを決定するステップと、を有する方法。
【請求項２２】
前記焦点ゾーンの前記画像は、複数の画像から形成されるビデオを生成する画像キャプチャ装置によって生成され、
前記方法は、位置および姿勢、インタフェースの操作、または前記コントローラからの移動、のうちの１つを決定するステップと、を更に有し、前記位置および姿勢は、前記焦点ゾーンの前記画像内で前記ＬＥＤパターンの位置を特定して、前記ＬＥＤパターンの前記位置を、前記画像キャプチャ装置に対する前記コントローラの位置および姿勢に変換することによって決定され、
前記インタフェースの操作は、前記ＬＥＤパターンを形成しているＬＥＤの変調の特定によって決定され、
前記コントローラからの前記移動は、前記コントローラの移動または位置の一方を表す信号を送信する加速度計を使用して決定される請求項２１に記載の方法。
【請求項２３】
コントローラの位置および姿勢を特定するための方法であって、
複数のＬＥＤを有するコントローラを含む焦点ゾーンのビデオ画像を受信するステップと、
前記ビデオ画像内で前記ＬＥＤの位置を特定し、前記ビデオ画像内での前記ＬＥＤ間の相対距離を測定することによって、前記コントローラの姿勢を特定するステップと、
前記ビデオ画像内での前記ＬＥＤの位置を特定することによって、前記焦点ゾーン内の前記コントローラの位置を特定するステップと、
前記コントローラの前記姿勢および位置を表すデータを生成するステップと、を有する方法。
【請求項２４】
前記姿勢を特定する前記ステップは、前記コントローラのピッチ角、ヨー角、およびロール角を決定するステップを有する請求項２３に記載の方法。
【請求項２５】
プレーヤ番号またはコントローラの操作の少なくとも一方を決定するステップを更に有し、前記プレーヤ番号は、一意的なＬＥＤパターンを複数のプレーヤ番号のそれぞれに相関させて、前記ＬＥＤから形成されるパターンに対応する前記プレーヤ番号の１つを識別することによって決定され、前記プレーヤ番号は、前記コントローラのユーザによって選択可能であり、前記コントローラの操作は、前記コントローラの操作に応えて変調される前記ＬＥＤの１つ以上の変調を特定することによって決定される請求項２３に記載の方法。
【請求項２６】
ゲームコントローラであって、
ユーザによって操作される複数のボタンを有するインタフェースと、
所定方向に向けられた複数のＬＥＤと、前記画像キャプチャ装置が前記コントローラからみて前記所定方向にある場合、画像キャプチャ装置から前記ＬＥＤを視覚的に認識可能であり、前記ゲームコントローラは、前記ＬＥＤを使用して、プレーヤ番号の識別情報、前記コントローラの位置、および前記操作の指標の少なくとも１つを前記画像キャプチャ装置に通信するゲームコントローラ。
【請求項２７】
ユーザが前記インタフェースとのインタラクションを行うと、可聴音または超音波の少なくとも一方を発生させるスピーカを更に有する請求項２６に記載のゲームコントローラ。
【請求項２８】
言語音声を受信するためのマイクロフォンを更に有し、前記言語音声はデータストリームに符号化され、前記データストリームはコンピュータシステムに伝送される通信信号に組み込まれる請求項２６に記載のゲームコントローラ。
【請求項２９】
インターフェイスを有するゲームコントローラであって、前記インターフェイスは複数のボタンを有し、前記ゲームコントローラは加速度計を更に有し、前記ゲームコントローラは、前記ボタンのいずれが操作されたか、および前記ゲームコントローラの移動または位置の一方を表すデータを含む信号を発生させるゲームコントローラ。
【請求項３０】
ビデオキャプチャ装置から視覚的に認識可能な複数のＬＥＤを更に有し、前記ＬＥＤは、プレーヤ番号の識別情報、前記コントローラの位置、および前記ボタンの操作の指標の少なくとも１つを提供する請求項２９に記載のゲームコントローラ。
【請求項３１】
セッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法であって、
（ａ）前記コンピュータゲームシステムに結合されたビデオキャプチャ装置によってキャプチャされ、前記コントローラ装置をトラッキングするための第１の状態を定義している第１の光信号の組を、コントローラ装置において発生させるステップと、
（ｂ）前記ビデオキャプチャ装置によってキャプチャされ、前記コンピュータゲームシステムとのデータ伝送のための第２の状態を定義している第２の光信号の組を、コントローラ装置において発生させるステップと、
（ｃ）前記コンピュータゲームシステムとのデータ伝送中に、前記コントローラ装置のトラッキングが、定期的に行われるように、前記セッション中に前記第１の状態と前記第２の状態とをインタリーブするステップと、を有する方法。
【請求項３２】
前記インタリーブは、前記セッション中に前記第１の状態と前記第２の状態を時間分割多重化することによって行われる請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３３】
前記第１の光信号の組は、２つ以上の発光ダイオードによって定義され、前記第１の光信号の組のそれぞれのオン／オフ状態がトラッキングパターンを定義している請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３４】
前記第２の光信号の組は、２つ以上の発光ダイオードによって定義され、前記第２の光信号の組の選択された発光ダイオードのオン／オフ状態が、複数のデータ伝送パターンの１つを定義するために設定されるトラッキングパターンを定義している請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３５】
前記複数のデータ伝送パターンのそれぞれは、前記コンピュータゲームシステムに与えられる特定のコマンドまたはインタラクションを定義している請求項３４に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３６】
前記コンピュータゲームシステムは１つ以上のコンピュータゲームプログラムとインタフェースする請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３７】
前記トラッキングパターンは、コントローラの識別子を識別している請求項３３に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３８】
特定のコマンドまたはインタラクションを前記コンピュータゲームシステムに伝えるために、前記第２の状態において前記第２の光信号の組を変調させるステップを更に有する請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３９】
前記コントローラ装置は第２のコントローラ装置であり、前記第２のコントローラ装置は、他のコントローラ装置とは独立して前記第２のコントローラ装置をトラッキングするために上記（ａ）〜（ｃ）のステップを処理するように構成されている請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項１】
コンピュータプログラムとのインタラクションの強度値を決定するための方法であって、
キャプチャゾーンの画像をキャプチャするステップと、
前記画像内に表現された入力オブジェクトを特定するステップと、
前記入力オブジェクトの形、色または明るさの１つ以上を特定しており、前記入力オブジェクトに対する人の操作によって影響を受けるパラメータの初期値を特定するステップと、
前記キャプチャゾーンの第２の画像をキャプチャするステップと、
前記入力オブジェクトの前記パラメータの第２の値を特定するステップと、
前記第２の値と前記第１の値の差である前記パラメータの変化の程度を決定するステップと、
前記パラメータの前記変化の程度を表す強度値を含むアクティビティ入力を、前記コンピュータプログラムに提供するステップと、を有する方法。
【請求項２】
前記入力オブジェクトは変形可能なオブジェクトであり、前記パラメータは前記入力オブジェクトのアスペクト比を表しており、前記パラメータは、前記入力オブジェクトを握ることで影響を受ける請求項１に記載の方法。
【請求項３】
前記入力オブジェクトは、変形を受けると色が変わる材料を含む変形可能なオブジェクトであり、前記パラメータは前記オブジェクトの色であり、前記色は、前記入力オブジェクトを握ることで影響を受ける請求項１に記載の方法。
【請求項４】
前記入力オブジェクトは、握りを有する道具であり、前記道具は、前記握りが握られる強さに反応する照光手段を有し、前記パラメータは、前記照光手段の明るさまたは色の一方である請求項１に記載の方法。
【請求項５】
前記道具はおもちゃの銃であり、前記握りはトリガを有し、前記照光手段は、前記トリガが握られる強さに反応する請求項４に記載の方法。
【請求項６】
前記入力オブジェクトは、握りを有する道具であり、前記道具は、複数のイルミネータを有する照光手段を有し、前記照光は、前記握りの強さに応じて前記イルミネータのうちの所定の個数を作動させ、前記照光手段は複数のイルミネータを有し、前記パラメータは作動させるイルミネータの個数である請求項１に記載の方法。
【請求項７】
前記道具はおもちゃの銃であり、前記握りはトリガを有し、前記照光手段は、前記トリガが握られる強さに反応する請求項６に記載の方法。
【請求項８】
コンピュータプログラムに強度値を入力するための方法であって、
キャプチャゾーン内で入力オブジェクトが発生させる音をキャプチャするステップと、
前記入力装置が発生させる前記音のラウドネス、速さ、ピッチの少なくとも１つを特定する入力パラメータを特定するステップと、
前記音をキャプチャするための手段と通信しているコンピュータで実行されている前記コンピュータプログラムに、前記入力パラメータを表すアクティビティ入力を提供するステップと、
前記コンピュータプログラムにおいて、前記入力オブジェクトの仮想オブジェクトの動作をシミュレーションするステップと、を有する方法。
【請求項９】
前記入力オブジェクトは、人の操作を受けて前記音を発生させる請求項８に記載の方法。
【請求項１０】
前記キャプチャは、複数のマイクロフォンを有する音声キャプチャ装置によって実行され、前記キャプチャするステップは、前記キャプチャゾーンから来たものではない音をフィルタリングするステップを有する請求項８に記載の方法。
【請求項１１】
前記キャプチャゾーンは、初期化中に、ゾーンの選択肢から選択される請求項１０に記載の方法。
【請求項１２】
前記標的ゾーンは、前記音声キャプチャ装置の姿勢に対する特定の方向として定義される請求項１０に記載の方法。
【請求項１３】
前記音声キャプチャ装置は少なくとも４つのマイクロフォンを有し、前記キャプチャゾーンは、前記音声キャプチャ装置の近くの区切られた空間体積である請求項１０に記載の方法。
【請求項１４】
コンピュータビデオゲームであって、
人の操作のために構成された入力オブジェクトと、
監視装置であって、前記監視装置の近くのキャプチャゾーンから画像または音声の一方を含む情報をキャプチャする監視装置と、
コンピュータで実行中のコンピュータプログラムと、を有し、前記コンピュータプログラムは、前記監視装置によってキャプチャされた前記情報を表すデータを受け取り、前記コンピュータプログラムは、前記データを分析して、前記入力オブジェクトに対する前記人の操作の強度を表す強度値を計算するコンピュータビデオゲーム。
【請求項１５】
前記入力オブジェクトは変形可能なオブジェクトであり、前記監視装置は、前記入力オブジェクトの画像をキャプチャするためのビデオカメラを有し、前記強度値は、前記入力オブジェクトのアスペクト比を表しており、前記アスペクト比は、前記入力オブジェクトを握ることで変化する請求項１４に記載のコンピュータビデオゲーム。
【請求項１６】
前記入力オブジェクトは、握りを有する道具であり、前記道具は、前記握りが握られる強さに応じて明るさおよび／または色を変える照光手段を有し、前記監視装置は、前記入力オブジェクトの画像をキャプチャするためのビデオカメラを有し、前記強度値は、前記照光手段の明るさまたは色の一方を表す請求項１４に記載のコンピュータビデオゲーム。
【請求項１７】
前記道具はおもちゃの銃であり、前記握りはトリガを有し、前記照光手段は、前記トリガが握られる強さに反応する請求項１６に記載のコンピュータビデオゲーム。
【請求項１８】
前記入力オブジェクトは、握りを有する道具であり、前記道具は、複数のイルミネータを有する照光手段を有し、前記照光は、前記握りの強さに応じて前記イルミネータのうちの所定の個数を作動させ、
前記監視装置は、前記入力オブジェクトの画像をキャプチャするためのビデオカメラを有し、前記強度値は、作動させる前記イルミネータの個数を表す請求項１４に記載のコンピュータビデオゲーム。
【請求項１９】
前記道具はおもちゃの銃であり、前記握りはトリガを有し、前記照光手段は、前記トリガが握られる強さに反応する請求項１８に記載のコンピュータビデオゲーム。
【請求項２０】
前記入力オブジェクトは、人の操作を受けて前記音を発生させ、前記音は、前記人の操作の前記強度に応じた可変パラメータを有し、前記可変パラメータは、ラウドネス、ピッチ、または速さの１つを含み、前記監視装置は、前記入力オブジェクトが発生させる前記音をキャプチャするためのマイクロフォンを有し、前記強度値が前記パラメータを変更する請求項１４に記載のコンピュータビデオゲーム。
【請求項２１】
プレーヤの選択を行うための方法であって、
コントローラ装置からユーザによるプレーヤ番号の選択を受け取るステップと、
前記コントローラ装置で、前記プレーヤ番号に対応するＬＥＤパターンを表示するステップと、
前記コントローラ装置を含む焦点ゾーンの画像を受信するステップと、
前記画像内で前記ＬＥＤパターンを特定するステップと、
前記画像の前記ＬＥＤパターンから、前記コントローラが、前記ユーザが選択した前記プレーヤ番号に対応していることを決定するステップと、を有する方法。
【請求項２２】
前記焦点ゾーンの前記画像は、複数の画像から形成されるビデオを生成する画像キャプチャ装置によって生成され、
前記方法は、位置および姿勢、インタフェースの操作、または前記コントローラからの移動、のうちの１つを決定するステップと、を更に有し、前記位置および姿勢は、前記焦点ゾーンの前記画像内で前記ＬＥＤパターンの位置を特定して、前記ＬＥＤパターンの前記位置を、前記画像キャプチャ装置に対する前記コントローラの位置および姿勢に変換することによって決定され、
前記インタフェースの操作は、前記ＬＥＤパターンを形成しているＬＥＤの変調の特定によって決定され、
前記コントローラからの前記移動は、前記コントローラの移動または位置の一方を表す信号を送信する加速度計を使用して決定される請求項２１に記載の方法。
【請求項２３】
コントローラの位置および姿勢を特定するための方法であって、
複数のＬＥＤを有するコントローラを含む焦点ゾーンのビデオ画像を受信するステップと、
前記ビデオ画像内で前記ＬＥＤの位置を特定し、前記ビデオ画像内での前記ＬＥＤ間の相対距離を測定することによって、前記コントローラの姿勢を特定するステップと、
前記ビデオ画像内での前記ＬＥＤの位置を特定することによって、前記焦点ゾーン内の前記コントローラの位置を特定するステップと、
前記コントローラの前記姿勢および位置を表すデータを生成するステップと、を有する方法。
【請求項２４】
前記姿勢を特定する前記ステップは、前記コントローラのピッチ角、ヨー角、およびロール角を決定するステップを有する請求項２３に記載の方法。
【請求項２５】
プレーヤ番号またはコントローラの操作の少なくとも一方を決定するステップを更に有し、前記プレーヤ番号は、一意的なＬＥＤパターンを複数のプレーヤ番号のそれぞれに相関させて、前記ＬＥＤから形成されるパターンに対応する前記プレーヤ番号の１つを識別することによって決定され、前記プレーヤ番号は、前記コントローラのユーザによって選択可能であり、前記コントローラの操作は、前記コントローラの操作に応えて変調される前記ＬＥＤの１つ以上の変調を特定することによって決定される請求項２３に記載の方法。
【請求項２６】
ゲームコントローラであって、
ユーザによって操作される複数のボタンを有するインタフェースと、
所定方向に向けられた複数のＬＥＤと、前記画像キャプチャ装置が前記コントローラからみて前記所定方向にある場合、画像キャプチャ装置から前記ＬＥＤを視覚的に認識可能であり、前記ゲームコントローラは、前記ＬＥＤを使用して、プレーヤ番号の識別情報、前記コントローラの位置、および前記操作の指標の少なくとも１つを前記画像キャプチャ装置に通信するゲームコントローラ。
【請求項２７】
ユーザが前記インタフェースとのインタラクションを行うと、可聴音または超音波の少なくとも一方を発生させるスピーカを更に有する請求項２６に記載のゲームコントローラ。
【請求項２８】
言語音声を受信するためのマイクロフォンを更に有し、前記言語音声はデータストリームに符号化され、前記データストリームはコンピュータシステムに伝送される通信信号に組み込まれる請求項２６に記載のゲームコントローラ。
【請求項２９】
インターフェイスを有するゲームコントローラであって、前記インターフェイスは複数のボタンを有し、前記ゲームコントローラは加速度計を更に有し、前記ゲームコントローラは、前記ボタンのいずれが操作されたか、および前記ゲームコントローラの移動または位置の一方を表すデータを含む信号を発生させるゲームコントローラ。
【請求項３０】
ビデオキャプチャ装置から視覚的に認識可能な複数のＬＥＤを更に有し、前記ＬＥＤは、プレーヤ番号の識別情報、前記コントローラの位置、および前記ボタンの操作の指標の少なくとも１つを提供する請求項２９に記載のゲームコントローラ。
【請求項３１】
セッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法であって、
（ａ）前記コンピュータゲームシステムに結合されたビデオキャプチャ装置によってキャプチャされ、前記コントローラ装置をトラッキングするための第１の状態を定義している第１の光信号の組を、コントローラ装置において発生させるステップと、
（ｂ）前記ビデオキャプチャ装置によってキャプチャされ、前記コンピュータゲームシステムとのデータ伝送のための第２の状態を定義している第２の光信号の組を、コントローラ装置において発生させるステップと、
（ｃ）前記コンピュータゲームシステムとのデータ伝送中に、前記コントローラ装置のトラッキングが、定期的に行われるように、前記セッション中に前記第１の状態と前記第２の状態とをインタリーブするステップと、を有する方法。
【請求項３２】
前記インタリーブは、前記セッション中に前記第１の状態と前記第２の状態を時間分割多重化することによって行われる請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３３】
前記第１の光信号の組は、２つ以上の発光ダイオードによって定義され、前記第１の光信号の組のそれぞれのオン／オフ状態がトラッキングパターンを定義している請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３４】
前記第２の光信号の組は、２つ以上の発光ダイオードによって定義され、前記第２の光信号の組の選択された発光ダイオードのオン／オフ状態が、複数のデータ伝送パターンの１つを定義するために設定されるトラッキングパターンを定義している請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３５】
前記複数のデータ伝送パターンのそれぞれは、前記コンピュータゲームシステムに与えられる特定のコマンドまたはインタラクションを定義している請求項３４に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３６】
前記コンピュータゲームシステムは１つ以上のコンピュータゲームプログラムとインタフェースする請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３７】
前記トラッキングパターンは、コントローラの識別子を識別している請求項３３に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３８】
特定のコマンドまたはインタラクションを前記コンピュータゲームシステムに伝えるために、前記第２の状態において前記第２の光信号の組を変調させるステップを更に有する請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【請求項３９】
前記コントローラ装置は第２のコントローラ装置であり、前記第２のコントローラ装置は、他のコントローラ装置とは独立して前記第２のコントローラ装置をトラッキングするために上記（ａ）〜（ｃ）のステップを処理するように構成されている請求項３１に記載のセッション中にコンピュータゲームシステムとインタフェースするために使用される、キャプチャされた光データの処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９ａ】
【図２９ｂ】
【図２９ｃ】
【図２９ｄ】
【図２９ｅ】
【図２９ｆ】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９ａ】
【図２９ｂ】
【図２９ｃ】
【図２９ｄ】
【図２９ｅ】
【図２９ｆ】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【公表番号】特表２００９−５０８５８１（Ｐ２００９−５０８５８１Ａ）
【公表日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００８−５３１２３０（Ｐ２００８−５３１２３０）
【出願日】平成１８年９月１１日（２００６．９．１１）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０３５３８３
【国際公開番号】ＷＯ２００７／０３５３１４
【国際公開日】平成１９年３月２９日（２００７．３．２９）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
【公表日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１８年９月１１日（２００６．９．１１）
【国際出願番号】ＰＣＴ／ＵＳ２００６／０３５３８３
【国際公開番号】ＷＯ２００７／０３５３１４
【国際公開日】平成１９年３月２９日（２００７．３．２９）
【出願人】（３９５０１５３１９）株式会社ソニー・コンピュータエンタテインメント (871)
【Ｆターム（参考）】
[ Back to top ]