ユーザーの視線、及びジェスチャによるフィードバック提供システム、及び方法
【課題】ユーザーの視線、及びハンドジェスチャなどの第二ユーザー入力に基づいたユーザーへのフィードバックを提供するユーザインターフェイス技術を提供する。
【解決手段】トラッキングシステムに基づくカメラは、ユーザインターフェイス内に表示されたどのオブジェクトが見られているかを検出するために、ユーザーの視線の方向をトラッキングする。また前記トラッキングシステムは、例えば他のカメラ及び／またはセンサを使って、オブジェクトの動作、及び運動を制御するために、ハンドジェスチャ、及びボディジェスチャを認識する。その結果、前記ユーザフェイスは、フィードバックを提供するために、前記トラッキングされた視線、及びジェスチャデータに基づいて更新される。
【解決手段】トラッキングシステムに基づくカメラは、ユーザインターフェイス内に表示されたどのオブジェクトが見られているかを検出するために、ユーザーの視線の方向をトラッキングする。また前記トラッキングシステムは、例えば他のカメラ及び／またはセンサを使って、オブジェクトの動作、及び運動を制御するために、ハンドジェスチャ、及びボディジェスチャを認識する。その結果、前記ユーザフェイスは、フィードバックを提供するために、前記トラッキングされた視線、及びジェスチャデータに基づいて更新される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、トラッキングされたユーザーの視線(gaze)、及びトラッキングされたジェスチャなどの複数のユーザー入力の基づくコンピュータシステムによって生成されるユーザインターフェイスとユーザーのやり取りに基づくフィードバックの提供に関する。
【背景技術】
【０００２】
ポータブルまたは家庭用ビデオゲームコンソール、ポータブルまたはデスクトップパーソナルコンピュータ、セットトップボックス(set-top boxes)、オーディオまたはビデオコンシューマ装置、パーソナル・デジタル・アシスタンス、携帯電話、メディアサービス、パーソナルオーディオ及び／又はビデオプレイヤー及びレコーダー、またその他の種類の性能は、増加をしている。これらの装置は、膨大な情報の処理機能、高音質オーディオ及びビデオ入力及び出力、大容量メモリを備え、有線及び／またはワイヤレスネットワーク機能をも備えることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
通常、これらのコンピュータデバイスは、コンピュータデバイスのユーザインターフェイスとやり取りをするために、マウス、ゲームコントローラなどの別の制御デバイスが必要である。ユーザーは、通常オブジェクトを選択するために、制御デバイス上のボタンを押すことによって、ユーザインターフェイス内に表示されたカーソル、またはその他の選択ツールを使用する。また、ユーザーはそれらの選択されたオブジェクトを変形、及び操作するために制御デバイスを使用する(例えば、制御デバイス上の追加のボタンを押す、または制御デバイスを動かすことによって)。一般的にユーザーは、遠隔ユーザインターフェイスオブジェクトへの制御デバイスマップの動作を学ぶために練習を必要とする。練習後でさえもユーザーは、しばしばまだ動作がぎこちないと感じることがある。
【０００４】
近年、ＭＩＣＲＯＳＯＦＴより発売されたＫＩＮＥＣＴ(登録商標)装置が紹介され、ユーザーがゲームコントローラの使用を必要としないコンピュータゲームコンソールを用いて制御、およびそれとのやり取りを可能にする。ユーザーは、ＫＩＮＥＣＴ装置を介して、ジェスチャ、及び音声コマンドを使用してユーザインターフェイスとのやり取りをする。特にＫＩＮＥＣＴ装置は、トラッキングのためのビデオカメラ、深度センサ(depth sensor)、及びマイクを備えている。ビデオカメラ、及び深度センサは、ユーザーの３Ｄモデルを生成するために共に使用されている。一方で、ＫＩＮＥＣＴ装置は、限定された種類のジェスチャのみを認識する(ユーザーは、カーソルをコントロールするために指し示すことができるが、ＫＩＮＥＣＴ装置において選択するには、選択領域にカーソルを重ねて数秒間止めていなければならなくて、それをすぐにクリックすることはできない。)。
【課題を解決するための手段】
【０００５】
以下の本発明の概要は、本発明のいくつかの側面、特徴の基本的な理解を与えるために記載される。この概要は本発明の詳細な説明ではなく、本発明の要旨、または重要な要素を具体的に特定すること、または本発明の範囲を限定することを意図するものではない。ここでの唯一の目的は、以下で与えられるより詳細な説明の序文として、簡潔な形で本発明のいくつかの概念を提供することである。
【０００６】
本発明のさらなる態様によれば、視線データ(gaze data)、及びジェスチャデータを受信し、前記視線データに対応するユーザインターフェイスの位置を決定し、前記ジェスチャデータを前記ユーザインターフェイスの変更へ関連付けるよう構成されたプロセッサと、前記プロセッサに接続され、かつ前記視線データ、及び前記ジェスチャデータを記憶するよう構成されたメモリとを備えるコンピュータシステムが開示される。
【０００７】
前記ジェスチャデータは、ハンドジェスチャデータで有り得る。
【０００８】
前記視線データは、ユーザインターフェイスとやり取りをするユーザーの目の複数の画像を有すことができる。前記視線データは、光の反射で有り得る。前記光は、赤外照明で有り得る。
【０００９】
前記ジェスチャデータは、ユーザインターフェイスと情報のやり取りをするユーザーの体の複数の画像を有すことができる。
【００１０】
本発明のさらなる実施形態によれば、オブジェクトを有するユーザインタ―フェイスを表示するディスプレイと、視線データ(eye gaze data)を捕捉する視線センサ(gaze sensor)と、ユーザジェスチャデータを捕捉するジェスチャセンサと、前記視線センサ、前記ジェスチャセンサ、及び前記ディスプレイに接続されるコンピュータデバイスとを備えるシステムであって、前記コンピュータデバイスは、ユーザインターフェイスを前記ディスプレイに提供し、前記視線データに基づいてユーザーが前記オブジェクトを見ているか否かを決定し、前記視線データを前記オブジェクトに対応するコマンドへ関連付け、かつ、前記コマンドに基づいて前記オブジェクトを有するユーザインターフェイスの表示を変更するように構成されるシステムが開示される。
【００１１】
前記コマンドは、前記オブジェクトの動作で有り得る。
【００１２】
前記視線データは、目の視線データと、目の視線位置(eye gaze data eye gaze position)と、目の位置、前記視線センサから目までの距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを含み得る。
【００１３】
前記視線センサは、ビデオカメラと、光源とを備え得る。前記ジェスチャセンサは、ビデオカメラと、深度センサを備え得る。前記ジェスチャセンサは、少なくとも一つのジャイロスコープと、少なくとも一つの加速度計とを備え得る。
【００１４】
本発明の他の実施形態によると、ディスプレイにユーザインターフェイスを表示するステップと、前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、ユーザーのジェスチャに対応するジェスチャデータを受信するステップと、前記ジェスチャデータを、前記オブジェクトとユーザーとの所望のやり取りへ関連付けるステップと、前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備える方法が開示される。
【００１５】
前記視線データは、目の視線データと、目の視線位置と、目の位置、前記視線センサから目までの距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを含み得る。
【００１６】
前記ジェスチャデータは、ユーザーの視線が前記オブジェクトに向いているか否か決定する前に、ユーザーの所望のやり取りに関連付けられ得る。
【００１７】
前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを含み得る。
【００１８】
前記ジェスチャデータは、ハンドジェスチャに対応する情報を含み得る。
【００１９】
本発明のさらなる他の実施形態によると、実行時にコンピュータシステムに前記方法を実行させるコンピュータ実行可能な命令を記憶したコンピュータ読み取り可能記憶媒体(computer-readable storage media)が開示される。
【００２０】
本明細書の一部を構成し、かつ組み込まれた添付の図面は、本発明の実施形態を例示し、説明と共に本発明の原理を説明、並びに図示をする。本図面は描画によって実施形態の主な特徴を図示することを意図している。本図面は、実施の実施形態の全特徴を描画することは意図されておらず、描画された構成要素の相対寸法でもなく、また縮小率に従って描かれた図でもない。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態による、視線、及びハンドジェスチャトラッキングに基づくフィードバックをユーザーへ提供する様子の概略図である。
【図２】本発明の一実施形態による、視線、及びハンドジェスチャトラッキングに基づくフィードバックをユーザーへ提供するためのシステムを図示したブロック図である。
【図３】本発明の一実施形態による、視線、及びハンドジェスチャトラッキングに基づくフィードバックをユーザーへ提供するためのプロセスを図示したフローチャートである。
【図４】本発明の一実施形態による、第一ユーザー入力、及び第二ユーザー入力のトラッキングに基づくユーザフィードバックを提供するためのシステムを図示したブロック図である。
【図５】本発明の一実施形態による、第一ユーザー入力、及び第二ユーザー入力のトラッキングに基づくユーザフィードバックを提供するためプロセスを図示したフローチャートである。
【図６】本発明の一実施形態による、例示的なコンピュータデバイスを図示したブロック図である。
【図７】本発明の一実施形態による、命令の実行に使用され得る追加的なハードウェアを図示したブロックダイヤグラムである。
【発明を実施するための形態】
【００２２】
本発明の実施形態はユーザインターフェイス技術に関し、前記技術はユーザーの視線、及びハンドジェスチャなどの第二ユーザー入力に基づいたユーザーへのフィードバックを提供する。一実施形態では、トラッキングシステムに基づくカメラは、ユーザインターフェイス内に表示されたどのオブジェクトが見られているかを検出するために、ユーザーの視線の方向をトラッキングする。またトラッキングシステムは、例えば他のカメラ及び／またはセンサを使って、オブジェクトの動作、及び運動を制御するために、ハンドジェスチャ、及びボディジェスチャを認識する。例えばジェスチャ入力は、引く、押す、位置を合わせる、選択したオブジェクトを動かす、または制御することができる魔法(magical force)や超能力(mental force)をシミュレートするために使うことができる。ユーザーのやり取りは、ユーザインターフェイス内で、ユーザーの意志がユーザインターフェイス内のオブジェクトをコントロールしているという感覚をシミュレートする。それらは、(例えば、映画スターウォーズ内の力のような)映画の中で見てきた念力(telekinetic power)に似ている。
【００２３】
以下の説明では、多くの詳細が明記される。しかし、当業者にとって本発明の以下の実施形態は、これらの具体的な詳細を必要とすることなしに実施できることは明らかである。いくつかの例において、よく知られた構造、及び装置は、本発明の実施形態を不明瞭にしないために、詳細に渡る説明ではなく、ブロック図の形で示される。
【００２４】
以下に続くいくつかの詳細な説明は、コンピュータメモリ内のデータビット上の制御の、アルゴリズム的、及び記号的な表現の観点から提示される。このようなアルゴリズム的な説明、及び表現は、専門でない人々へ最も効果的に伝えることができる、当業者によって使われる手段である。ここにおいて、及び一般的に開示されるように、アルゴリズムは、所望の結果を導くステップのセルフ・コンシステント・シークエンス(self-consistent sequence)だと考えられる。この各ステップは、物理的な量の物理的な操作が必要である。必須ではないが、一般的にこれらの量は、電気的、または磁気的な信号の形をとり、保存、転送、結合、比較、及び操作を可能にする。原則的に一般的な習慣として、しばしばこれらの量を、ビット(bits)、値(value)、要素(elements)、シンボル(symbols)、文字(characters)、項(terms)、数字(numbers)、と呼ぶことは都合がいいことが証明されてきた。
【００２５】
しかしながら、それらの全て、及び類似の用語は、適切な物理的な量に関係付けることを示し、ただ単にこれらの量に適応される使いやすいラベルであることに注意しなければならない。特別な言及がない場合、そうでなければ以下の議論で明白な場合を除き、以下の全ての記述に渡って、“処理する(processing)”、“計算する(computing)”、“変換する(converting)”、“決定する(determining)”、“関連付ける(correlating)”などの表現を使う議論は、コンピュータシステム、または類似の電子計算装置の動作、処理を示すことが好ましい。前記コンピュータシステム、及び類似の電子計算装置は、コンピュータシステムのレジスタ、及びメモリ内で物理的(例えば、電気的)な量として表されたデータを、コンピュータシステムのメモリ、及びレジスタ、または他の情報記憶装置内で同様に物理的な量として表された他のデータへ操作、及び転送する。
【００２６】
本発明の実施形態は、ここでは、制御を実行する装置、またはシステムにも関係する。この装置、及びシステムは、具体的に要求される目的のために構成すること、または、コンピュータ内に保存されたコンピュータプログラムによって、選択的に作動、または再構成される一般的な目的のコンピュータを備えることができる。一実施形態では、ここで記述される制御を実行する前記装置、及びシステムは、ゲームコンソール(例えば、ソニープレイステーション(SONY PLAYSTATION)(登録商標)、任天堂Ｗｉｉ(NINTENDO WII) (登録商標)、マイクロソフトＸＢＯＸ(MICROSFT XBOX)(登録商標))である。コンピュータプログラムは、コンピュータ読み取り可能記憶媒体内に記憶することが可能であり、これは図６でより詳細に説明される。
【００２７】
図１は、本発明の一実施形態による、視線トラッキング、ジェスチャ入力に基づくフィードバックを提供するユーザインターフェイスを概略的に示す。図１では、ユーザー１０４は、ユーザーの目１０８、及びユーザーの手１１２が概略的に描かれている。ユーザー１０４は、ユーザインターフェイス１２０(例えば、ビデオゲーム、インターネットブラウザウィンドウ、文章処理アプリケーションウィンドウなど)を表示するディスプレイ１１６を見ている。ディスプレイ１１６は、コンピュータデバイスを備える、もしくはビデオゲームコンソール、またはコンピュータに接続される。他の実施形態では、ディスプレイ１１６は、有線、または無線でサーバ、または他のコンピュータシステムなどのコンピュータデバイスとインターネットを介して接続される。前記コンピュータデバイスは、ユーザインターフェイス１２０をディスプレイ１１６に提供する。
【００２８】
図１では、カメラ１２４は、ディスプレイ１１６の上部に位置し、一般的にユーザー１０４の方向に向いたカメラ１２４のレンズを有する。一実施形態では、カメラ１２４はユーザーの視線１２８(即ち、ユーザーの目１０８からの相対的なディスプレイ１１６への方向)をトラッキングするために赤外照明を使用する。
【００２９】
単一の前記カメラ１２４、又は他のカメラ(図１に図示せず)は、ハンドジェスチャ(即ち、ユーザーの手１１２によって作られる矢印１３６の方向の動作)をトラッキングするために使うことができる。他のカメラが使用される実施形態では、ハンドジェスチャをトラッキングするために、カメラ単独で使用することが可能であるし、近赤外線センサと組み合わせたカメラを使用することもできるし、他の深度センサと組み合わせたカメラを使用することも可能である。例えば、ハンドジェスチャは、慣性センサ(または、他の制御器、または加速度計を備えるセンサ)のフリック(flick)で有り得る。コンピュータデバイスは、ジェスチャカメラ(または、他のジェスチャトラッキング装置)からの入力を、オブジェクト１４４の動作、またはユーザインターフェイス上に表示されたオブジェクト１４４に関係するコマンドへ関連付ける(即ち、オブジェクト１４０の矢印１４４方向の動作)。代わりに、前記ジェスチャセンサは、ユーザーのジェスチャを決定するプロセッサを備えることが可能である。
【００３０】
使用において、ユーザインターフェイスに表示された１４０を選択するために視線が使われる。ハンドジェスチャ、あるいは体の動作１３６がオブジェクト１４４の制御、移動のために使用される。当然のことながら、これらのステップは、どんな順番も可能である(即ち、制御、または動作１４４は、オブジェクトが選択される前に決定することが可能であり、逆も同様である)。
【００３１】
当然のことながら、視線トラッキングとジェスチャトラッキングとの組み合わせに基づき、フィードバックをユーザーに提供するユーザインターフェイス技術のための多数の異なるアプリケーションが存在する。例えば、ハンドジェスチャは、ユーザーが見ている文字に基づいてユーザインターフェイス上の１つの文字においてつづりを開始させることができる。他の例として、ハンドジェスチャは、シューティングゲームのトリガ(シューティングアクション)になることができる。視線、またはジェスチャは、ボタンを押す動作(例えば、ユーザーの視線がボタンに向けられているときに、指で指し示す、指を前に動かす)をシミュレートすることによって、仮想ボタンを選択するために使用することもできる。他の実施形態では、視線、及びユーザジェスチャは、ユーザインターフェイスの特定の部分の拡大、または縮小(例えば、地図の特定の部分の拡大)のために使用することができる。さらなる他の実施形態では、手が指し示す前方へのフリック(forward flick of a pointing hand)は、視線トラッカーによって検出されたユーザーが見ているオブジェクトとのやり取りを開始することができる。さらなる他の実施形態では、手招きのジェスチャ(beckoning gesture)は、ユーザーが見ているオブジェクトを、ユーザインターフェイス内でユーザーの近くに引き寄せるために使用することができる。同様に、手を振るジェスチャ(wave gesture)は、オブジェクトを後方へ移動させることが可能である。
【００３２】
視線トラッキングは利点がある。ユーザーにとって、それはユーザインターフェイス内に表示されたオブジェクトとやり取りしようとする意志を示す方法が、自然、または無意識な操作でさえあるように感じるからである。ハンドジェスチャも利点がある。それは、手の動作のパワーが、スクリーン上での動作のパワーに反映されるように使用されることが可能であるからである。それと共に、ハンドジェスチャは、選択したオブジェクトとやり取りするための、所望の動作を伝える、又は直接的に動作を制御するための方法にとっては自然であるからである。
【００３３】
ハンドジェスチャの追跡として図１を用いて本発明を説明してきたが、ユーザインターフェイスとやり取りをするために、他のユーザジェスチャ、例えばフットジェスチャ(ユーザーの足の動作)、またはフェイシャルジェスチャ(ユーザーの頭の動作、またはユーザーの顔のある特徴的な動作)が使用可能であることが望ましい。例えば、スイングするユーザーの足のような、フットジェスチャは、サッカービデオゲーム内でのボールを蹴ることをシミュレートするために使用が可能である。具体的には、ユーザーは、ゴールキーパーをごまかすための、ボールを蹴る寸前の視線の変化によって、(実際のサッカーでゴールにシュートをすることと同様に)ゴールにシュートをすることをシミュレートできる。つまり、ボールはユーザーの視線の方向へ蹴られる。そして、(願わくは）ゴールを決める。
【００３４】
図２は、本発明の一実施形態による、視線、及びジェスチャトラッキングに基づき、ユーザーへフィードバックを提供するためのシステム２００を示す。システム２００は、ディスプレイ２０８に接続されたコンピュータデバイス２０４を備える。システム２００は、コンピュータデバイス２０４に接続された視線センサ２１２、及びジェスチャセンサ２１６をも備える。コンピュータデバイス２０４は、視線センサ２１２、及びジェスチャセンサ２１６によって受信したデータを処理する。
【００３５】
視線センサ２１２は、ユーザーの目をトラッキングする。視線センサ２１２は、目、具体的には網膜を照らすために、可視反射(visible reflections)を起こす近赤外照明ダイオードなどの光源と、反射を起こす目の画像を捉えるカメラとを備える。前記画像は、前記光源の反射を特定し、視線の方向を計算するためにコンピュータデバイス２０４によって解析される。代わりに、視線センサ２１１自体は、視線の方向を計算するためにデータを解析することもできる。
【００３６】
一実施形態では、視線センサ２１２は、ＴＯＢＩＩ Ｘ６０、及びＸ１２０アイトラッカーのような、カメラ、及び光源であり、それはディスプレイの近くに配置される。他の実施形態では、視線センサ２１２は、ＴＯＢＩＩ Ｔ６０、Ｔ１２０、及びＴ６０ＸＬアイトラッカーのように、ディスプレイ２０８に組み込まれる(即ち、カメラ、及び光源はディスプレイハウジング(display housing)内に備えられる)。さらなる他の実施形態では、視線センサ２１２は、ＴＯＢＩＩ ＧＬＡＳＳアイトラッカーのように、ユーザーが着用するカメラ、及び光源を備えるメガネである。当然のことながら、これらが単に例示に過ぎず、視線をトラッキングするための他のセンサ、及び装置を使用することが可能である。加えて、当然のことながら、複数のカメラ、及び光源をユーザーの視線を決定するために使用することが可能である。
【００３７】
ジェスチャセンサ２１６は、ディスプレイ２０８内に表示されたオブジェクトとやり取りをするユーザーの動作をトラッキングするための光学センサで有り得る。ジェスチャセンサ２１６もまた、ディスプレイ２０８の近くに配置される(例えば、ディスプレイの上部、ディプレイの下部など)。一実施形態では、単一のセンサが視線トラッキング、及びジェスチャトラッキングのための画像記録のために使用される。ジェスチャセンサ２１６は、ユーザーの手、足(foot)、腕、脚(leg)、顔などのユーザーの体を監視するために使用することができる。
【００３８】
ジェスチャセンサ２１６は、オブジェクト(即ち、ユーザー)の位置を、センサに対して２次元、または３次元空間で測定する。センサ２１６によって採られた位置データ(例えば、画像)は、画像平面、及び画像平面に垂直するベクトルによって定義される基準フレーム(reference frame)に準拠することが可能である。基準フレームは座標システムであり、オブジェクトの位置、方向、及び／又はその他の性質を、前記座標システム内で測定することができる。
【００３９】
ジェスチャセンサ２１６は、一般的な、または３Ｄビデオカメラで有り得る。ジェスチャセンサ２１６は、深度情報(例えば、前記センサとユーザーとの間の距離)を直接的、または間接的に捉えることができる。一般的なカメラの場合は、深度情報を決定するために、予め設定された情報を必要とする可能性がある。代わりに、他のセンサを深度情報を決定するために使用することもできる。当然のことながら、複数のカメラ、及び／または深度センサを、ユーザーのジェスチャ決定のために使用することができる。一実施形態では、ジェスチャセンサ２１６は、ＫＩＮＥＣＴ装置、またはＫＩＮＥＣＴ装置に類似の装置である。
【００４０】
他の実施形態では、ジェスチャセンサ２１６は、ユーザーに保持される、そうでなければつながれたコントローラー、または慣性センサを監視するため使用することが可能である。前記慣性センサは、ジェスチャを計算するために使用することが可能な方向(例えば、ピッチ、ロール、及びねじれ)の変化、及び加速度を検出する１つまたは２つ以上のジャイロスコープと、１つまたは２つ以上の加速度計を備える。
【００４１】
センサ２１２、及び２１６は、有線、及び／または無線接続を介してコンピュータデバイス２０４に接続することが可能である。例として、有線接続は、ＩＥＥＥ １３９４(Ｆｉｒｅｗｉｒｅ)ケーブル、イーサーネット(登録商標)ケーブル、ユニバーサル・シリアル・バス(ＵＳＢ)ケーブル、などによって作られる接続を含む。例として、無線接続は、ワイヤレス・フィデリティー(ＷＩＦＩ)接続、ＢＬＵＥＴＯＯＴＨ(登録商標)接続、ＺＩＧＢＥＥ(登録商標)接続、及びそれらに類似の接続を含む。
【００４２】
センサ２１２、２１６は、コンピュータデバイス２０４へリアルタイムで連続的にデータを提供する。当然のことながら、センサ２１２、２１６は、データの解析中に使用することができ、例えばタイムスタンプデータ、及び類似のデータなどの追加情報を提供することが可能である。例えば、視線センサ２１２の出力データは、目の視線位置、目の位置、目とセンサ２１２との距離、瞳孔の大きさ、各データポイントのためのタイムスタンプ、及びそれらに類似のものを有することができる。代わりに、視線センサ２１２は、シンプルに捉えた画像データ(例えば、近赤外照明反射を有する配信動画(video feed))を提供することも可能である。例えば、ジェスチャセンサ２１６の出力は、適切なジョイント位置(joint position)、体の位置(body position)、ユーザーとセンサ２１６との距離、各データポイントのタイムスタンプ、及びそれらに類似のものを有することができる。代わりに、視線センサ２１６は、シンプルに捉えた画像データ、及び／又は捉えた深度センサデータを提供することも可能である。
【００４３】
コンピュータデバイス２０４は、ゲームシステム(例えば、ゲームコンソール)、パーソナルコンピュータ、ゲームキオスク(game kiosk)、コンピュータプロセッサを備えるテレビ、またはその他のコンピュータシステムで有り得る。コンピュータデバイス２０４は、コンピュータデバイス２０４が、ディスプレイ２０８上に少なくとも一つのオブジェクトを有するユーザインターフェイスを表示できるようにする、ゲーム、またはその他のアプリケーションに対応するプログラムを実行することができる。コンピュータデバイス２０４は、センサ２１２、２１６から受信されるデータを使って、ユーザインターフェイスへのユーザーの反応を決定し、かつ、受信されるデータに基づいてユーザー入力に(ディスプレイ２０８上に表示されたユーザインターフェイスを変更することによって)反応するプログラムをも実行することができる。コンピュータデバイス２０４は、センサ２１２、２１６から受信したデータを記憶するメモリを備えることが可能である。
【００４４】
一実施形態では、コンピュータデバイス２０４は、オブジェクト検出論理部(object detection logic)２２０、及びジェスチャ相関論理部(gesture correlation logic)２２４を備える。一実施形態において、レイ・キャスト・アナライシス(ray cast analysis)は、スクリーン上での視線位置を決定するオブジェクト検出論理部２２０によって実行される。具体的には、３Ｄレイ・インターセクション・アナライシス(3-D ray intersection analysis)が実行される。当然のことながら、ユーザーが見ているオブジェクトを計算するために、他のアルゴリズムを使用することが可能である。一実施形態では、ドエルタイム(つまり、ユーザーが特定のオブジェクトを凝視する総時間)を、オブジェクト選択に利用することが可能である。言い換えれば、ユーザーは、オブジェクトが選択する前に、予め設定された時間の間、ユーザインターフェイスに表示されたオブジェクトを凝視しなければならない。例えば、ユーザーは、オブジェクトが選択される前に、少なくとも３秒間の間、オブジェクトを見ていなければならない。当然のことながら、ドエルタイムは、どんな時間、または約１００ミリ秒と３０秒との間のどの時間間隔でもよい。
【００４５】
一実施形態では、ジェスチャ相関論理部２２４は、ユーザーのジェスチャを定義、またはユーザーのジェスチャを計算する(例えば、異なる時点において捉えた画像内のユーザーの位置を比較することにより、またはユーザーの位置の変化を検出することにより計算する)。いくつかの実施形態では、ユーザジェスチャデータは、ジェスチャ相関論理部２２４に提供される。ジェスチャ相関論理部２２４は、ユーザジェスチャをユーザインターフェイス内の変化(即ち、ユーザインターフェイス内に表示されたオブジェクトの動作)に関連付ける。ユーザーの体は、骨格モデル(skeletal model)にマッピングすることができる。特定の関節の回転軸の方向、及びその量を、ユーザインターフェイス内に表示されたキャラクター(選択されたオブジェクト)のモデルの回転軸の方向と、その量に対応するように使用することが可能である。例えばジェスチャデータを、視線データに基づいて、オブジェクト、またはユーザインターフェイスへラスタライズ、及び投影することができる。一実施形態では、オブジェクトの各ピクセルへの力ベクトル(force vectors)は、ジェスチャデータを用いて計算される。言い換えれば、カメラの画像(例えば、ピクセルの動き(motion of pixels))内でのピクセルレベルの情報は、捕捉され、前記ピクセルレベルデータは、ディスプレイ内でのオブジェクトを動かすために使用することができる。一実施形態では、コンピュータデバイス２０４のメモリ内に保存されたルックアップテーブル(look-up table)は、ジェスチャをコマンドへ関連付けるために使用することができる(例えば、手を上げ下げする動作は、ビデオゲーム内でオブジェクトを上下に動かし、また手を上げ下げする動作は、インターネットブラウザアプリケーション内でウェブページを上下にスクロールするなど)。
【００４６】
一実施形態では、コンピュータデバイス２０４は、センサ２１２、２１６から受信したユーザー入力をトラッキングする前に調整される。例えば、ユーザーの目、及び、体の特徴は、データ処理アルゴリズムを実行するために必要とされる可能性がある。具体的な実施形態では、ユーザーの目の特徴を、生理学的な目のモデル(例えば、瞳孔の大きさ、及び位置、角膜の大きさなど)を生成するために測定することができる。また、ユーザーの体の特徴を、生理学的な体のモデル(例えば、関節の位置、ユーザーの大きさなど)を生成するために測定することができる。
【００４７】
図３は、本発明の一実施形態による、視線、及びジェスチャトラッキングに基づきフィードバックをユーザーに提供するためのプロセス３００を図示する。当然のことながら、以下で説明されるプロセス３００は、単に例示であって、いくつかのステップを抜かすことも、加えること、及び、以下の説明から少なくともいくつかのステップの順序を変えることも可能である。一実施形態では、プロセス３００は、コンピュータデバイス２０４によって実行される。
【００４８】
プロセス３００は、ユーザインターフェイス内のオブジェクトを表示すること(ブロック３０４)から始まる。
【００４９】
プロセス３００は、続いてユーザインターフェイスとやり取りするユーザーの目の視線のトラッキングを行い(ブロック３０８)、ユーザインターフェイス内のオブジェクトがユーザーに見られているか否かを決定する(ブロック３１２)。
【００５０】
プロセス３００は、続いてユーザーのジェスチャをトラッキングし(ブロック３１６)、ユーザーのジェスチャをユーザインターフェイス内のオブジェクトの動作へ関連付ける(ブロック３２０)。
【００５１】
プロセス３００は、続いて前記関連付けに基づいてユーザインターフェイス内のオブジェクトの表示を変更する(ブロック３２４)。
【００５２】
当然のことながら、代用の実施形態では、ユーザーのジェスチャを、ユーザーの視線をトラッキングする前にトラッキングすることができる。さらなる他の実施形態では、ユーザーのジェスチャ、及び視線を、解析(例えば、選択されたオブジェクトの決定、ジェスチャのオブジェクト制御への関連付け)する前にトラッキングすることができる。
【００５３】
図４は、本発明の一実施形態による第一ユーザー入力、及び第二ユーザー入力に基づくフィードバックをユーザーに提供するためのシステム４００を図示する。図４に示されるように、システム４００は、ディスプレイ４０８に接続され、かつディスプレイ４０８上で表示されるユーザインターフェイスを提供するコンピュータデバイス４０４を備える。またシステム４００は、コンピュータデバイス４０４に接続される第一センサ４１２、及び第二センサ４１６を備える。上述されたように、第一センサ４１２、及び第二センサ４１６は、無線及び／又は無線接続を介してコンピュータデバイス４０４に接続することができる。コンピュータデバイス４０４は、ユーザーによって選択されたユーザインターフェイス内のオブジェクトを決定するための検出論理部４２０と、ユーザーの所望する動作、またはコマンドをユーザインターフェイスへ関連付けるための相関論理部４２４とを備える。
【００５４】
一実施形態において、第一入力は視線であり、第一センサ４１２は、上記で例えば図２などの参照と共に説明された視線トラッキングセンサである。一実施形態において、第二入力はジェスチャであり、第二センサ４１６は、上記で例えば図２などの参照とともに説明されたジェスチャセンサである。
【００５５】
他の実施形態において、第二入力は、音声コマンドである。この実施形態において、第二センサ４１６は、マイクである。例えば、ユーザーは、ユーザーが話したいキャラクターを見つめることができ(即ち、第一入力)、前記キャラクターへ話しかけることによってキャラクターとやり取りすることができる(即ち、第二入力)。
【００５６】
一般的に、もしコミュニケーションがシミュレートされていれば、第二入力は音声データであり、もし動作がシミュレートされていれば、第二入力はジェスチャデータである。
【００５７】
さらなる他の実施形態において、第二入力は、脳波、及び／又はユーザーの感情である。この実施形態では、第二センサ４１６は、脳電図(ＥＥＧ)であるような、脳波のグラフを測定、及び生成する単独、又は複数のセンサで有り得る。例えば、複数の組の電極、またはその他のセンサを、ｅｍｏｔｉｖ ＥＰＯＣヘッドセットのような、ヘッドセットを使用するユーザーの頭の上に提供することができる。前記ヘッドセットは、表情を検出するために使用することも可能である。採集される脳波、及び／又は表情データは、オブジェクトの動作、例えば、オブジェクトが持ち上がる、落下する、オブジェクトを動かす、オブジェクトを回転させることなどと、感情、例えば、興奮(excitement)、緊張(tension)、退屈(immersion)、熱中(boredom)、和解(mediation)、欲求不満(frustration)などと、キャラクターのアクション、例えば、ウィンクをする、笑う、目を寄せる、戸惑う(appearing shocked)、笑う、起こる、ニヤニヤ笑う(smirking)、顔をしかめる(grimacing)などとへ関連付けられる。例えば、ユーザーは、ユーザーが動かしたいオブジェクトを見つめることが可能であり、ユーザーは、オブジェクトを動かすためにユーザーの脳波を使うことも可能である。他の実施形態では、ユーザーは、キャラクターを見つめ、それと共に、ユーザーの表情、感情、及び／又は動作を、ヘッドセットセンサシステムを使用して制御することができる。
【００５８】
当然のことながら、視線トラッキングは、ジェスチャ入力、音声入力、脳波入力、及び感情入力の様々な組み合わせを用いて使用することができる。例えば、視線トラッキングは、ジェスチャ入力、音声入力、脳波入力、及び、感情入力のそれぞれを用いて使用することができる。他の実施形態では、視線トラッキングは、音声入力、脳波入力、及び感情入力を用いて使用することが可能である。他の実施形態では、視線トラッキングは、音声入力、脳波入力を用いて使用することが可能である。
【００５９】
コンピュータデバイス４０４は、図２と共に説明されたコンピュータデバイス２０４に類似のものである。しかしながら、当然のことであるが、第二入力はジェスチャデータではない(例えば、第二データは音声コマンドである)本実施形態において、相関論理部４２４は、第二入力をディスプレイ４０８内に表示されたユーザインターフェイスに関係したコマンド、及び動作に関連付ける。例えば、受信した音声データは、ユーザーのコマンド(例えば、スクロールダウン、スクロールアップ、ズームイン、ズームアウト、文字を入力する(cast spell)など)を決定し、それと共に前記コマンド(例えば、スクロールダウン、スクロールアップ、ズームイン、ズームアウト、文字を入力する(cast spell)など)に基づいてユーザインターフェイスを変更するように解析することができる。
【００６０】
図５は、本発明の一実施形態による、第一ユーザー入力、及び第二ユーザー入力のトラッキングに基づくフィードバックをユーザーに提供するためのプロセスを図示する。当然のことながら、以下で説明されるプロセス５００は、単に例示であり、いくつかのステップを抜かすことも、加えること、及び、以下の説明から少なくともいくつかのステップの順序を変えることも可能である。一実施形態では、プロセス５００は、コンピュータデバイス４０４によって実行される。
【００６１】
プロセス５００は、ユーザインターフェイス内にオブジェクトを表示する(ブロック５０４)ことから始まる。
【００６２】
プロセス５００は、続けてオブジェクトの選択を示す第一入力を受信し(ブロック５０４)、オブジェクトとのやり取りを示す第二入力を受信する(ブロック５１２)。
【００６３】
プロセス５００は、続けて前記選択、及び前記やり取りをユーザインターフェイスに関連付けるために、第一入力、及び第二入力を解析する(ブロック５１６)。プロセス５００は、続けて前記関連付けに基づき、ユーザインターフェイス内のオブジェクトの表示を変更する(ブロック５２０)。
【００６４】
図６は、一実施形態であるコンピュータシステム６００でのマシンのダイヤグラム図であり、コンピュータシステム６００内では、前記マシンがここで説明される手順の一つ、または二つ以上を実行するための命令の組を実行することができる。他の実施形態では、前記マシンは、独立した装置として実行する、または他のマシンとネットワーク化するなどして接続することが可能である。ネットワーク化された配置において、前記マシンは、サーバの能力として、またはサーバ―クライアント・ネットワーク環境内でのクライアントマシンとして、またはピアツーピア(または、分散型)ネットワーク環境内でのピアマシンとして制御することが可能である。前記マシンは、パーソナルコンピュータ(ＰＣ)、タブレットＰＣ、セットトップボックス(ＳＴＢ)、パーソナル・デジタル・アシスタント(ＰＤＡ)、携帯電話、ウェブ・アプリアンス、ネットワークルータ、スイッチまたはブリッジ、ビデオコンソール、または、前記マシンによって起こされる動作を特定する命令のセット(順次、もしくは順次ではなく)を実行可能な全てのマシンでありうる。さらに、一つのマシンが図示されているが、“マシン”という言葉は、個別に、または参加型で、一つ、または二つ以上のここで説明される手順を実行するための命令のセット(または、複数のセット)を実行するマシンの集まり全てを含む。一実施形態において、コンピュータシステム６００は、ＳＯＮＹ ＰＬＡＹＳＴＡＴＩＯＮ環境装置である。
【００６５】
例示的なコンピュータデバイス６００は、プロセッサ６０２(例えば、中央処理装置(ＣＰＵ)、グラフィック・プロセッシング・ユニット(ＧＰＵ)、またはその両方)と、メインメモリ６０４(例えば、読み出し専用メモリ(ＲＯＭ)、フラッシュメモリ、及びシンクロナスＤＲＡＭ(ＳＤＲＡＭ)またはランバスＤＲＡＭ(ＲＤＲＡＭ)などのダイナミック・ランダム・アクセス・メモリ(ＤＲＡＭ)など)と、静的メモリ６０６(例えば、フラッシュメモリ、スタティック・ランダム・アクセス・メモリ(ＳＲＡＭ)など)とを備え、それらはバス６０８を介して通信する。一実施形態において、プロセッサ６０２は、セルプロセッサであり、前記メモリは、ＲＡＭＢＵＳダイナミック・ランダム・アクセス・メモリ(ＸＤＲＡＭ)ユニットを備えることが可能である。
【００６６】
コンピュータシステム６００は、ビデオディスプレイユニット６１０(例えば、液晶ディスプレイ(ＬＣＤ)、またはブラウン管)を備えることが可能である。代わりに、コンピュータシステム６００は、別々のビデオディスプレイユニット６１０へ接続することもできる。コンピュータシステム６００は、文字入力装置６１２(例えば、キーボード)と、カーソル制御デバイス(例えば、マウス、またはゲームコントローラ、及び／または視線、及びジェスチャセンサなど)と、ディスクドライブユニット６１６、信号生成装置６２０(例えば、スピーカー、視線及びジェスチャセンサなど)と、ネットワークインターフェイス装置６２２とをさらに備える。一実施形態において、コンピュータシステム６１６は、バス６０８を介してアクセス可能なデスク、及びリムーバブル・スロットイン・ハードディスクドライブ(ＨＤＤ)から読み取るための、ブルーレイディスクＢＤ−ＲＯＭ光学ディスクリーダーを備える。前記バスは、一つまたは二つ以上のユニバーサル・シリアル・バス(ＵＳＢ)２．０ポート、ギガビット・イーサネット・ポート、ＩＥＥＥ ８０２．１１ｂ／ｇワイヤレスネットワーク(Ｗｉｆｉ)ポート、及び／またはブルートゥース・ワイヤレス・ポートを備える。
【００６７】
ディスクドライブユニット６１６は、コンピュータ読取可能媒体６２４を備え、前記コンピュータ読取可能媒体上には、保存された命令(例えば、ソフトウェア６２６)の一つまたは二つ以上の組があり、前記命令は、一つまたは二つ以上の手順、またはここで記述される機能を備える。ソフトウェア６２６は、コンピュータシステム６００、メインメモリ６０４、及びプロセッサ６０２、コンピュータ読取可能媒体の実行時に、完全に、または少なくともその一部が、メインメモリ４０６、及び／またはプロセッサ６０２内に存在する。ソフトウェア６２６は、さらにネットワークインターフェイス装置６２２を介してネットワーク６２８上で送信、または受信することが可能である。
【００６８】
コンピュータ読取可能媒体は、一実施形態として一つの媒体で示されているが、“コンピュータ読取可能媒体”という言葉は、命令の一つまたは二つ以上の組を保存する一つの媒体、または複数の媒体(例えば、集中的、または分散的、及び／または関連したキャッシュ、及びサーバ)を備えることを意味する。“コンピュータ読取可能媒体”という言葉は、前記マシンによる実行のための、保存、符号化、または命令の組の実行が可能であり、かつ、前記マシンが本発明の手順のうち一つまたは二つ以上を実行させる、全ての有形的表現媒体(tangible medium)を意味する。従って“コンピュータ読取可能媒体”という言葉は、これに限定はしないが、固体メモリ、光学、磁気媒体を含むことが可能である。
【００６９】
ここでコンピュータデバイスは、特定の機能を実行する、及びお互いに相互作用する複数のモジュールを持つとして、図示され、かつ議論されることに注意すべきである。これらのモジュールが、ただ単に、説明、及びコンピュータ表現、及び／または、適切なコンピュータハードウェア上で実行するためのコンピュータ読取可能媒体上に保存される実行可能なソフトウェアコードの目的としての機能に基づいて分けられていることを理解する必要がある。異なるモジュール、及びユニットの様々な機能は、ハードウェア及び／または、上記のように全ての形態のモジュールとしてコンピュータ読取可能媒体上に保存されたソフトウェアとして、結合、分離することが可能であり、分離的、結合的に使用が可能である。
【００７０】
図７は、本発明の一実施形態に従う、命令を処理するために使用が可能な追加的なハードウェアを図示する。図７は、本発明の一実施形態に従う、図６のプロセッサ６０２に対応することが可能な構成要素、セルプロセッサ７００を図示する。図７のセルプロセッサ７００は、四つの基本構成要素を備えたアーキテクチャを有する。前記四つの構成要素は、メモリコントローラー７６０、及びデュアルバス・インターフェイス・コントローラーを備える外部入力、及び出力ストラクチャと、パワー・プロセッシング・エレメント(Power Processing Element)７５０と呼ばれるメインプロセッサと、シナジスティック・プロセッシング・エレメント(Synergistic Processing Elements,ＳＰＥｓ)７１０Ａと呼ばれる８個のコプロセッサと、上記構成要素に接続されたエレメント・インターコネクト・バス７８０と呼ばれる環状データバスとである。前記セルプロセッサの総浮動小数点性能は、プレイステーション２の装置のエモーションエンジンの６．２と比較されるＧＦＬＯＰｓ２１８ＧＦＬＯＰＳである。
【００７１】
パワー・プロセッシング・エレメント(ＰＰＥ)７０５は、内部クロック３．２ＧＨｚで動作するＰｏｗｅｒＰＣ ｃｏｒｅ(ＰＰＵ)に対応した、双方同時マルチスレッドパワー１４７０に基づく。ＰＰＥ７５０は、５１２ｋＢ レベル２(Ｌ２)キャッシュ、及び３２ｋＢ レベル１(Ｌ１)キャッシュを備える。ＰＰＥ７５０は、３．２ＧＨｚにおいて２５．６ＧＦＬＯＰｓに変換し、クロックサイクル(clock cycle)につき、８個の単独一操作(single position operation)を可能にする。ＰＰＥ７５０の第一の役割は、ほとんどのコンピュータ作業(computational workload)を処理するシナジスティック・プロセッシング・エレメント７１０Ａ−Ｈのコントローラーとして役割を果たすことである。制御において、ＰＰＥ７５０は、ジョブキューと、シナジスティック・プロセッシング・エレメント７１０Ａ−Ｈのためのスケジューリング・ジョブと、それらの進捗の監視とを維持する。その結果として、各シナジスティック・プロセッシング・エレメント７１０Ａ−Ｈは、ジョブを取得、実行、及びＰＰＥ７５０との同期を行う目的を持つカーネルを実行する。
【００７２】
各シナジスティック・プロセッシング・エレメント７１０Ａ−Ｈは、各シナジスティック・プロセッシング・ユニット(ＳＰＵ７２０−Ｈ)、及び各メモリ・フロー・コントローラー(ＭＦＣ)を備え、前記各メモリ・フロー・コントローラーは、同様に、各動的メモリアクセスコントローラー(ＤＭＡＣ)７４２−Ｈと、各メモリ管理ユニット(ＭＭＵ)と、バスインターフェイス(図示せず)とを備える。各ＳＰＵ７２０Ａ−Ｈは、クロック３．２ＧＨｚのＲＩＳＣプロセッサであり、２５６ｋＢローカルＲＡＭ７３０Ａ−Ｈを備え、原則的に４ＧＢまで拡張が可能である。各ＳＰＥは、単精度パフォーマンス、理論値２５．６ＧＦＬＯＰＳを提供する。ＳＰＵは、１つのクロックサイクルにおいて、４つの単精度浮動点小数、４つの３２ビット数、８つの１６ビット整数、または１６個の８ビット整数上で制御することができる。同クロックサイクルにおいて、ＳＰＵは、メモリ制御を実行することも可能である。ＳＰＵ７２０Ａ−Ｈは、システムメモリＸＤＲＡＭ１４２６に直接アクセスしない。ＳＰＵ７２０Ａ−Ｈによって作られる６４ビットアドレスは、ＭＤＣ７４０Ａ−Ｈへ渡される。ＭＤＣ７４０Ａ−Ｈは、そのＤＭＡコントローラー７２４Ａ−Ｈにエレメント・インターコネクト・バス７８０、及びメモリコントローラー７６０を介してメモリにアクセスするように命令する。
【００７３】
エレメント・インターコネクト・バス(ＥＩＢ)７８０は、論理的に、セルプロセッサ７００へ内的につながる環状コミュニケーションバス(circular communication bus internal to the processor)であり、前記セルプロセッサには、上記のプロセッサ構成要素、即ちＰＰＥ７５０、メモリコントローラー７６０、デュアルバスインターフェイス７７０Ａ、Ｂ、及び８つのＳＰＥｓ７１０Ａ−Ｈの全部で１２個の構成要素が接続される。前記構成要素は、クロックサイクルにつき８バイトのレートで、前記バスへ書き込み、及び読み込みを同時に行うことができる。上述したように、各ＳＰＥ７１０Ａ−Ｈは、より長いシークエンスの読み込み、書き込みをスケジューリングするためのＤＭＡＣ７４２Ａ−Ｈを備える。前記ＥＩＢは、４つのチャネルを備え、それぞれ２つずつ時計回り、及び反時計回りである。結果として、前記１２個の構成要素において、全ての二構成要素間で最も長い段階的なデータフロー(longest step-wise dataflow)は、適切な方向の６つのステップである。１２個のスロットでの論理瞬間ピークＥＩＢバンド幅(theoretical peak instantaneous EIB band width)は、従って、構成要素間のアービトレーション(arbitration)を介した完全な利用が行われるイベントであっても、クロック毎９６Ｂである。これは、クロックレート３．２ＧＨｚでの論理ピークバンド幅３０７．２ＧＢ／ｓ(ギガバイト毎秒)に一致する。
【００７４】
メモリコントローラー７６０は、Ｒａｍｂｕｓ Ｉｎｃｏｒｐｏｒａｔｅｄによって開発されたＸＤＲＡＭインターフェイス７６２を備える。Ｒａｍｂｕｓ ＸＤＲＡＭを有する前記メモリ・コントローラー・インターフェイスは、論理ピークバンド幅２５．６ＧＢ／ｓを有する。
【００７５】
デュアルインターフェイス７７０Ａ、Ｂは、Ｒｕｍｂｕｓ ＦｌｅｘＩＯシステムインターフェイス７７２Ａ、Ｂを備える。前記インターフェイスは、５個のインバウンドであるパス、及び７個のアウトバウンドを有する、８ビットの幅である１２個のチャネルで構成される。これは、コントローラー７７０Ａと、コントローラー７７０Ｂを介したリアリティ・シミュレーター・グラフィックス・ユニットとを介して、セルプロセッサと、Ｉ／Ｏブリッジとの間で、論理ピークバンド幅６２．４ＧＨｚ(３６．４ＧＢ／ｓアウトバウンド、２６ＧＢ／ｓインバウンド)を提供する。
【００７６】
ここで記載されたプロセス、及び技術は、本質的にどんな具体的な装置にも関係しないこと、及び、適切な構成要素の組み合わせによって実施が可能であることを理解する必要がある。さらに、汎用の装置の様々なタイプが、ここで説明された技術に従って使用可能である。さらに、ここで説明された方法のステップを実行するために特化された装置を作ることの利点が示された。本発明は、具体的な実施形態との関係の中で説明がなされてきたのであって、実施形態は、あらゆる点において理解を深める目的のものであり、限定を意図するものではない。当業者は、ハードウェア、ソフトウェア、及びフォームウェアの様々な異なる組み合わせが、本発明を実施するために適していることを承知である。前記コンピュータデバイスは、ＰＣ、ヘッドセット、サーバ、ＰＤＡ、またはその他全ての装置、または、媒体上に記録されたコンピュータ読取可能な命令に応じて開示された機能を実行する装置の組み合わせで有り得る。ここで使用される“コンピュータシステム”という言葉は、従って、全ての装置、またはそれらの装置の組み合わせのことを意味する。
【００７７】
さらに、本発明の他の実施形態は、当業者にとっては本明細書で開示された本発明の特徴、及び実施の概念から明らかである。上述された実施形態の様々な側面、及び／又は構成要素は、単独、または組み合わせで使用することが可能である。明細書、及びそこで記された実施形態は、例示的に考えられただけであり、本当の本発明の範囲、及び趣旨は、添付の特許請求の範囲に記される。
【符号の説明】
【００７８】
２００ システム
２０４ コンピュータデバイス
２０８ ディスプレイ
２１２ 視線センサ
２１６ ジェスチャセンサ
２２０ オブジェクト検出論理部
２２４ ジェスチャ相関論理部
【技術分野】
【０００１】
本発明は、トラッキングされたユーザーの視線(gaze)、及びトラッキングされたジェスチャなどの複数のユーザー入力の基づくコンピュータシステムによって生成されるユーザインターフェイスとユーザーのやり取りに基づくフィードバックの提供に関する。
【背景技術】
【０００２】
ポータブルまたは家庭用ビデオゲームコンソール、ポータブルまたはデスクトップパーソナルコンピュータ、セットトップボックス(set-top boxes)、オーディオまたはビデオコンシューマ装置、パーソナル・デジタル・アシスタンス、携帯電話、メディアサービス、パーソナルオーディオ及び／又はビデオプレイヤー及びレコーダー、またその他の種類の性能は、増加をしている。これらの装置は、膨大な情報の処理機能、高音質オーディオ及びビデオ入力及び出力、大容量メモリを備え、有線及び／またはワイヤレスネットワーク機能をも備えることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
通常、これらのコンピュータデバイスは、コンピュータデバイスのユーザインターフェイスとやり取りをするために、マウス、ゲームコントローラなどの別の制御デバイスが必要である。ユーザーは、通常オブジェクトを選択するために、制御デバイス上のボタンを押すことによって、ユーザインターフェイス内に表示されたカーソル、またはその他の選択ツールを使用する。また、ユーザーはそれらの選択されたオブジェクトを変形、及び操作するために制御デバイスを使用する(例えば、制御デバイス上の追加のボタンを押す、または制御デバイスを動かすことによって)。一般的にユーザーは、遠隔ユーザインターフェイスオブジェクトへの制御デバイスマップの動作を学ぶために練習を必要とする。練習後でさえもユーザーは、しばしばまだ動作がぎこちないと感じることがある。
【０００４】
近年、ＭＩＣＲＯＳＯＦＴより発売されたＫＩＮＥＣＴ(登録商標)装置が紹介され、ユーザーがゲームコントローラの使用を必要としないコンピュータゲームコンソールを用いて制御、およびそれとのやり取りを可能にする。ユーザーは、ＫＩＮＥＣＴ装置を介して、ジェスチャ、及び音声コマンドを使用してユーザインターフェイスとのやり取りをする。特にＫＩＮＥＣＴ装置は、トラッキングのためのビデオカメラ、深度センサ(depth sensor)、及びマイクを備えている。ビデオカメラ、及び深度センサは、ユーザーの３Ｄモデルを生成するために共に使用されている。一方で、ＫＩＮＥＣＴ装置は、限定された種類のジェスチャのみを認識する(ユーザーは、カーソルをコントロールするために指し示すことができるが、ＫＩＮＥＣＴ装置において選択するには、選択領域にカーソルを重ねて数秒間止めていなければならなくて、それをすぐにクリックすることはできない。)。
【課題を解決するための手段】
【０００５】
以下の本発明の概要は、本発明のいくつかの側面、特徴の基本的な理解を与えるために記載される。この概要は本発明の詳細な説明ではなく、本発明の要旨、または重要な要素を具体的に特定すること、または本発明の範囲を限定することを意図するものではない。ここでの唯一の目的は、以下で与えられるより詳細な説明の序文として、簡潔な形で本発明のいくつかの概念を提供することである。
【０００６】
本発明のさらなる態様によれば、視線データ(gaze data)、及びジェスチャデータを受信し、前記視線データに対応するユーザインターフェイスの位置を決定し、前記ジェスチャデータを前記ユーザインターフェイスの変更へ関連付けるよう構成されたプロセッサと、前記プロセッサに接続され、かつ前記視線データ、及び前記ジェスチャデータを記憶するよう構成されたメモリとを備えるコンピュータシステムが開示される。
【０００７】
前記ジェスチャデータは、ハンドジェスチャデータで有り得る。
【０００８】
前記視線データは、ユーザインターフェイスとやり取りをするユーザーの目の複数の画像を有すことができる。前記視線データは、光の反射で有り得る。前記光は、赤外照明で有り得る。
【０００９】
前記ジェスチャデータは、ユーザインターフェイスと情報のやり取りをするユーザーの体の複数の画像を有すことができる。
【００１０】
本発明のさらなる実施形態によれば、オブジェクトを有するユーザインタ―フェイスを表示するディスプレイと、視線データ(eye gaze data)を捕捉する視線センサ(gaze sensor)と、ユーザジェスチャデータを捕捉するジェスチャセンサと、前記視線センサ、前記ジェスチャセンサ、及び前記ディスプレイに接続されるコンピュータデバイスとを備えるシステムであって、前記コンピュータデバイスは、ユーザインターフェイスを前記ディスプレイに提供し、前記視線データに基づいてユーザーが前記オブジェクトを見ているか否かを決定し、前記視線データを前記オブジェクトに対応するコマンドへ関連付け、かつ、前記コマンドに基づいて前記オブジェクトを有するユーザインターフェイスの表示を変更するように構成されるシステムが開示される。
【００１１】
前記コマンドは、前記オブジェクトの動作で有り得る。
【００１２】
前記視線データは、目の視線データと、目の視線位置(eye gaze data eye gaze position)と、目の位置、前記視線センサから目までの距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを含み得る。
【００１３】
前記視線センサは、ビデオカメラと、光源とを備え得る。前記ジェスチャセンサは、ビデオカメラと、深度センサを備え得る。前記ジェスチャセンサは、少なくとも一つのジャイロスコープと、少なくとも一つの加速度計とを備え得る。
【００１４】
本発明の他の実施形態によると、ディスプレイにユーザインターフェイスを表示するステップと、前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、ユーザーのジェスチャに対応するジェスチャデータを受信するステップと、前記ジェスチャデータを、前記オブジェクトとユーザーとの所望のやり取りへ関連付けるステップと、前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備える方法が開示される。
【００１５】
前記視線データは、目の視線データと、目の視線位置と、目の位置、前記視線センサから目までの距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを含み得る。
【００１６】
前記ジェスチャデータは、ユーザーの視線が前記オブジェクトに向いているか否か決定する前に、ユーザーの所望のやり取りに関連付けられ得る。
【００１７】
前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを含み得る。
【００１８】
前記ジェスチャデータは、ハンドジェスチャに対応する情報を含み得る。
【００１９】
本発明のさらなる他の実施形態によると、実行時にコンピュータシステムに前記方法を実行させるコンピュータ実行可能な命令を記憶したコンピュータ読み取り可能記憶媒体(computer-readable storage media)が開示される。
【００２０】
本明細書の一部を構成し、かつ組み込まれた添付の図面は、本発明の実施形態を例示し、説明と共に本発明の原理を説明、並びに図示をする。本図面は描画によって実施形態の主な特徴を図示することを意図している。本図面は、実施の実施形態の全特徴を描画することは意図されておらず、描画された構成要素の相対寸法でもなく、また縮小率に従って描かれた図でもない。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態による、視線、及びハンドジェスチャトラッキングに基づくフィードバックをユーザーへ提供する様子の概略図である。
【図２】本発明の一実施形態による、視線、及びハンドジェスチャトラッキングに基づくフィードバックをユーザーへ提供するためのシステムを図示したブロック図である。
【図３】本発明の一実施形態による、視線、及びハンドジェスチャトラッキングに基づくフィードバックをユーザーへ提供するためのプロセスを図示したフローチャートである。
【図４】本発明の一実施形態による、第一ユーザー入力、及び第二ユーザー入力のトラッキングに基づくユーザフィードバックを提供するためのシステムを図示したブロック図である。
【図５】本発明の一実施形態による、第一ユーザー入力、及び第二ユーザー入力のトラッキングに基づくユーザフィードバックを提供するためプロセスを図示したフローチャートである。
【図６】本発明の一実施形態による、例示的なコンピュータデバイスを図示したブロック図である。
【図７】本発明の一実施形態による、命令の実行に使用され得る追加的なハードウェアを図示したブロックダイヤグラムである。
【発明を実施するための形態】
【００２２】
本発明の実施形態はユーザインターフェイス技術に関し、前記技術はユーザーの視線、及びハンドジェスチャなどの第二ユーザー入力に基づいたユーザーへのフィードバックを提供する。一実施形態では、トラッキングシステムに基づくカメラは、ユーザインターフェイス内に表示されたどのオブジェクトが見られているかを検出するために、ユーザーの視線の方向をトラッキングする。またトラッキングシステムは、例えば他のカメラ及び／またはセンサを使って、オブジェクトの動作、及び運動を制御するために、ハンドジェスチャ、及びボディジェスチャを認識する。例えばジェスチャ入力は、引く、押す、位置を合わせる、選択したオブジェクトを動かす、または制御することができる魔法(magical force)や超能力(mental force)をシミュレートするために使うことができる。ユーザーのやり取りは、ユーザインターフェイス内で、ユーザーの意志がユーザインターフェイス内のオブジェクトをコントロールしているという感覚をシミュレートする。それらは、(例えば、映画スターウォーズ内の力のような)映画の中で見てきた念力(telekinetic power)に似ている。
【００２３】
以下の説明では、多くの詳細が明記される。しかし、当業者にとって本発明の以下の実施形態は、これらの具体的な詳細を必要とすることなしに実施できることは明らかである。いくつかの例において、よく知られた構造、及び装置は、本発明の実施形態を不明瞭にしないために、詳細に渡る説明ではなく、ブロック図の形で示される。
【００２４】
以下に続くいくつかの詳細な説明は、コンピュータメモリ内のデータビット上の制御の、アルゴリズム的、及び記号的な表現の観点から提示される。このようなアルゴリズム的な説明、及び表現は、専門でない人々へ最も効果的に伝えることができる、当業者によって使われる手段である。ここにおいて、及び一般的に開示されるように、アルゴリズムは、所望の結果を導くステップのセルフ・コンシステント・シークエンス(self-consistent sequence)だと考えられる。この各ステップは、物理的な量の物理的な操作が必要である。必須ではないが、一般的にこれらの量は、電気的、または磁気的な信号の形をとり、保存、転送、結合、比較、及び操作を可能にする。原則的に一般的な習慣として、しばしばこれらの量を、ビット(bits)、値(value)、要素(elements)、シンボル(symbols)、文字(characters)、項(terms)、数字(numbers)、と呼ぶことは都合がいいことが証明されてきた。
【００２５】
しかしながら、それらの全て、及び類似の用語は、適切な物理的な量に関係付けることを示し、ただ単にこれらの量に適応される使いやすいラベルであることに注意しなければならない。特別な言及がない場合、そうでなければ以下の議論で明白な場合を除き、以下の全ての記述に渡って、“処理する(processing)”、“計算する(computing)”、“変換する(converting)”、“決定する(determining)”、“関連付ける(correlating)”などの表現を使う議論は、コンピュータシステム、または類似の電子計算装置の動作、処理を示すことが好ましい。前記コンピュータシステム、及び類似の電子計算装置は、コンピュータシステムのレジスタ、及びメモリ内で物理的(例えば、電気的)な量として表されたデータを、コンピュータシステムのメモリ、及びレジスタ、または他の情報記憶装置内で同様に物理的な量として表された他のデータへ操作、及び転送する。
【００２６】
本発明の実施形態は、ここでは、制御を実行する装置、またはシステムにも関係する。この装置、及びシステムは、具体的に要求される目的のために構成すること、または、コンピュータ内に保存されたコンピュータプログラムによって、選択的に作動、または再構成される一般的な目的のコンピュータを備えることができる。一実施形態では、ここで記述される制御を実行する前記装置、及びシステムは、ゲームコンソール(例えば、ソニープレイステーション(SONY PLAYSTATION)(登録商標)、任天堂Ｗｉｉ(NINTENDO WII) (登録商標)、マイクロソフトＸＢＯＸ(MICROSFT XBOX)(登録商標))である。コンピュータプログラムは、コンピュータ読み取り可能記憶媒体内に記憶することが可能であり、これは図６でより詳細に説明される。
【００２７】
図１は、本発明の一実施形態による、視線トラッキング、ジェスチャ入力に基づくフィードバックを提供するユーザインターフェイスを概略的に示す。図１では、ユーザー１０４は、ユーザーの目１０８、及びユーザーの手１１２が概略的に描かれている。ユーザー１０４は、ユーザインターフェイス１２０(例えば、ビデオゲーム、インターネットブラウザウィンドウ、文章処理アプリケーションウィンドウなど)を表示するディスプレイ１１６を見ている。ディスプレイ１１６は、コンピュータデバイスを備える、もしくはビデオゲームコンソール、またはコンピュータに接続される。他の実施形態では、ディスプレイ１１６は、有線、または無線でサーバ、または他のコンピュータシステムなどのコンピュータデバイスとインターネットを介して接続される。前記コンピュータデバイスは、ユーザインターフェイス１２０をディスプレイ１１６に提供する。
【００２８】
図１では、カメラ１２４は、ディスプレイ１１６の上部に位置し、一般的にユーザー１０４の方向に向いたカメラ１２４のレンズを有する。一実施形態では、カメラ１２４はユーザーの視線１２８(即ち、ユーザーの目１０８からの相対的なディスプレイ１１６への方向)をトラッキングするために赤外照明を使用する。
【００２９】
単一の前記カメラ１２４、又は他のカメラ(図１に図示せず)は、ハンドジェスチャ(即ち、ユーザーの手１１２によって作られる矢印１３６の方向の動作)をトラッキングするために使うことができる。他のカメラが使用される実施形態では、ハンドジェスチャをトラッキングするために、カメラ単独で使用することが可能であるし、近赤外線センサと組み合わせたカメラを使用することもできるし、他の深度センサと組み合わせたカメラを使用することも可能である。例えば、ハンドジェスチャは、慣性センサ(または、他の制御器、または加速度計を備えるセンサ)のフリック(flick)で有り得る。コンピュータデバイスは、ジェスチャカメラ(または、他のジェスチャトラッキング装置)からの入力を、オブジェクト１４４の動作、またはユーザインターフェイス上に表示されたオブジェクト１４４に関係するコマンドへ関連付ける(即ち、オブジェクト１４０の矢印１４４方向の動作)。代わりに、前記ジェスチャセンサは、ユーザーのジェスチャを決定するプロセッサを備えることが可能である。
【００３０】
使用において、ユーザインターフェイスに表示された１４０を選択するために視線が使われる。ハンドジェスチャ、あるいは体の動作１３６がオブジェクト１４４の制御、移動のために使用される。当然のことながら、これらのステップは、どんな順番も可能である(即ち、制御、または動作１４４は、オブジェクトが選択される前に決定することが可能であり、逆も同様である)。
【００３１】
当然のことながら、視線トラッキングとジェスチャトラッキングとの組み合わせに基づき、フィードバックをユーザーに提供するユーザインターフェイス技術のための多数の異なるアプリケーションが存在する。例えば、ハンドジェスチャは、ユーザーが見ている文字に基づいてユーザインターフェイス上の１つの文字においてつづりを開始させることができる。他の例として、ハンドジェスチャは、シューティングゲームのトリガ(シューティングアクション)になることができる。視線、またはジェスチャは、ボタンを押す動作(例えば、ユーザーの視線がボタンに向けられているときに、指で指し示す、指を前に動かす)をシミュレートすることによって、仮想ボタンを選択するために使用することもできる。他の実施形態では、視線、及びユーザジェスチャは、ユーザインターフェイスの特定の部分の拡大、または縮小(例えば、地図の特定の部分の拡大)のために使用することができる。さらなる他の実施形態では、手が指し示す前方へのフリック(forward flick of a pointing hand)は、視線トラッカーによって検出されたユーザーが見ているオブジェクトとのやり取りを開始することができる。さらなる他の実施形態では、手招きのジェスチャ(beckoning gesture)は、ユーザーが見ているオブジェクトを、ユーザインターフェイス内でユーザーの近くに引き寄せるために使用することができる。同様に、手を振るジェスチャ(wave gesture)は、オブジェクトを後方へ移動させることが可能である。
【００３２】
視線トラッキングは利点がある。ユーザーにとって、それはユーザインターフェイス内に表示されたオブジェクトとやり取りしようとする意志を示す方法が、自然、または無意識な操作でさえあるように感じるからである。ハンドジェスチャも利点がある。それは、手の動作のパワーが、スクリーン上での動作のパワーに反映されるように使用されることが可能であるからである。それと共に、ハンドジェスチャは、選択したオブジェクトとやり取りするための、所望の動作を伝える、又は直接的に動作を制御するための方法にとっては自然であるからである。
【００３３】
ハンドジェスチャの追跡として図１を用いて本発明を説明してきたが、ユーザインターフェイスとやり取りをするために、他のユーザジェスチャ、例えばフットジェスチャ(ユーザーの足の動作)、またはフェイシャルジェスチャ(ユーザーの頭の動作、またはユーザーの顔のある特徴的な動作)が使用可能であることが望ましい。例えば、スイングするユーザーの足のような、フットジェスチャは、サッカービデオゲーム内でのボールを蹴ることをシミュレートするために使用が可能である。具体的には、ユーザーは、ゴールキーパーをごまかすための、ボールを蹴る寸前の視線の変化によって、(実際のサッカーでゴールにシュートをすることと同様に)ゴールにシュートをすることをシミュレートできる。つまり、ボールはユーザーの視線の方向へ蹴られる。そして、(願わくは）ゴールを決める。
【００３４】
図２は、本発明の一実施形態による、視線、及びジェスチャトラッキングに基づき、ユーザーへフィードバックを提供するためのシステム２００を示す。システム２００は、ディスプレイ２０８に接続されたコンピュータデバイス２０４を備える。システム２００は、コンピュータデバイス２０４に接続された視線センサ２１２、及びジェスチャセンサ２１６をも備える。コンピュータデバイス２０４は、視線センサ２１２、及びジェスチャセンサ２１６によって受信したデータを処理する。
【００３５】
視線センサ２１２は、ユーザーの目をトラッキングする。視線センサ２１２は、目、具体的には網膜を照らすために、可視反射(visible reflections)を起こす近赤外照明ダイオードなどの光源と、反射を起こす目の画像を捉えるカメラとを備える。前記画像は、前記光源の反射を特定し、視線の方向を計算するためにコンピュータデバイス２０４によって解析される。代わりに、視線センサ２１１自体は、視線の方向を計算するためにデータを解析することもできる。
【００３６】
一実施形態では、視線センサ２１２は、ＴＯＢＩＩ Ｘ６０、及びＸ１２０アイトラッカーのような、カメラ、及び光源であり、それはディスプレイの近くに配置される。他の実施形態では、視線センサ２１２は、ＴＯＢＩＩ Ｔ６０、Ｔ１２０、及びＴ６０ＸＬアイトラッカーのように、ディスプレイ２０８に組み込まれる(即ち、カメラ、及び光源はディスプレイハウジング(display housing)内に備えられる)。さらなる他の実施形態では、視線センサ２１２は、ＴＯＢＩＩ ＧＬＡＳＳアイトラッカーのように、ユーザーが着用するカメラ、及び光源を備えるメガネである。当然のことながら、これらが単に例示に過ぎず、視線をトラッキングするための他のセンサ、及び装置を使用することが可能である。加えて、当然のことながら、複数のカメラ、及び光源をユーザーの視線を決定するために使用することが可能である。
【００３７】
ジェスチャセンサ２１６は、ディスプレイ２０８内に表示されたオブジェクトとやり取りをするユーザーの動作をトラッキングするための光学センサで有り得る。ジェスチャセンサ２１６もまた、ディスプレイ２０８の近くに配置される(例えば、ディスプレイの上部、ディプレイの下部など)。一実施形態では、単一のセンサが視線トラッキング、及びジェスチャトラッキングのための画像記録のために使用される。ジェスチャセンサ２１６は、ユーザーの手、足(foot)、腕、脚(leg)、顔などのユーザーの体を監視するために使用することができる。
【００３８】
ジェスチャセンサ２１６は、オブジェクト(即ち、ユーザー)の位置を、センサに対して２次元、または３次元空間で測定する。センサ２１６によって採られた位置データ(例えば、画像)は、画像平面、及び画像平面に垂直するベクトルによって定義される基準フレーム(reference frame)に準拠することが可能である。基準フレームは座標システムであり、オブジェクトの位置、方向、及び／又はその他の性質を、前記座標システム内で測定することができる。
【００３９】
ジェスチャセンサ２１６は、一般的な、または３Ｄビデオカメラで有り得る。ジェスチャセンサ２１６は、深度情報(例えば、前記センサとユーザーとの間の距離)を直接的、または間接的に捉えることができる。一般的なカメラの場合は、深度情報を決定するために、予め設定された情報を必要とする可能性がある。代わりに、他のセンサを深度情報を決定するために使用することもできる。当然のことながら、複数のカメラ、及び／または深度センサを、ユーザーのジェスチャ決定のために使用することができる。一実施形態では、ジェスチャセンサ２１６は、ＫＩＮＥＣＴ装置、またはＫＩＮＥＣＴ装置に類似の装置である。
【００４０】
他の実施形態では、ジェスチャセンサ２１６は、ユーザーに保持される、そうでなければつながれたコントローラー、または慣性センサを監視するため使用することが可能である。前記慣性センサは、ジェスチャを計算するために使用することが可能な方向(例えば、ピッチ、ロール、及びねじれ)の変化、及び加速度を検出する１つまたは２つ以上のジャイロスコープと、１つまたは２つ以上の加速度計を備える。
【００４１】
センサ２１２、及び２１６は、有線、及び／または無線接続を介してコンピュータデバイス２０４に接続することが可能である。例として、有線接続は、ＩＥＥＥ １３９４(Ｆｉｒｅｗｉｒｅ)ケーブル、イーサーネット(登録商標)ケーブル、ユニバーサル・シリアル・バス(ＵＳＢ)ケーブル、などによって作られる接続を含む。例として、無線接続は、ワイヤレス・フィデリティー(ＷＩＦＩ)接続、ＢＬＵＥＴＯＯＴＨ(登録商標)接続、ＺＩＧＢＥＥ(登録商標)接続、及びそれらに類似の接続を含む。
【００４２】
センサ２１２、２１６は、コンピュータデバイス２０４へリアルタイムで連続的にデータを提供する。当然のことながら、センサ２１２、２１６は、データの解析中に使用することができ、例えばタイムスタンプデータ、及び類似のデータなどの追加情報を提供することが可能である。例えば、視線センサ２１２の出力データは、目の視線位置、目の位置、目とセンサ２１２との距離、瞳孔の大きさ、各データポイントのためのタイムスタンプ、及びそれらに類似のものを有することができる。代わりに、視線センサ２１２は、シンプルに捉えた画像データ(例えば、近赤外照明反射を有する配信動画(video feed))を提供することも可能である。例えば、ジェスチャセンサ２１６の出力は、適切なジョイント位置(joint position)、体の位置(body position)、ユーザーとセンサ２１６との距離、各データポイントのタイムスタンプ、及びそれらに類似のものを有することができる。代わりに、視線センサ２１６は、シンプルに捉えた画像データ、及び／又は捉えた深度センサデータを提供することも可能である。
【００４３】
コンピュータデバイス２０４は、ゲームシステム(例えば、ゲームコンソール)、パーソナルコンピュータ、ゲームキオスク(game kiosk)、コンピュータプロセッサを備えるテレビ、またはその他のコンピュータシステムで有り得る。コンピュータデバイス２０４は、コンピュータデバイス２０４が、ディスプレイ２０８上に少なくとも一つのオブジェクトを有するユーザインターフェイスを表示できるようにする、ゲーム、またはその他のアプリケーションに対応するプログラムを実行することができる。コンピュータデバイス２０４は、センサ２１２、２１６から受信されるデータを使って、ユーザインターフェイスへのユーザーの反応を決定し、かつ、受信されるデータに基づいてユーザー入力に(ディスプレイ２０８上に表示されたユーザインターフェイスを変更することによって)反応するプログラムをも実行することができる。コンピュータデバイス２０４は、センサ２１２、２１６から受信したデータを記憶するメモリを備えることが可能である。
【００４４】
一実施形態では、コンピュータデバイス２０４は、オブジェクト検出論理部(object detection logic)２２０、及びジェスチャ相関論理部(gesture correlation logic)２２４を備える。一実施形態において、レイ・キャスト・アナライシス(ray cast analysis)は、スクリーン上での視線位置を決定するオブジェクト検出論理部２２０によって実行される。具体的には、３Ｄレイ・インターセクション・アナライシス(3-D ray intersection analysis)が実行される。当然のことながら、ユーザーが見ているオブジェクトを計算するために、他のアルゴリズムを使用することが可能である。一実施形態では、ドエルタイム(つまり、ユーザーが特定のオブジェクトを凝視する総時間)を、オブジェクト選択に利用することが可能である。言い換えれば、ユーザーは、オブジェクトが選択する前に、予め設定された時間の間、ユーザインターフェイスに表示されたオブジェクトを凝視しなければならない。例えば、ユーザーは、オブジェクトが選択される前に、少なくとも３秒間の間、オブジェクトを見ていなければならない。当然のことながら、ドエルタイムは、どんな時間、または約１００ミリ秒と３０秒との間のどの時間間隔でもよい。
【００４５】
一実施形態では、ジェスチャ相関論理部２２４は、ユーザーのジェスチャを定義、またはユーザーのジェスチャを計算する(例えば、異なる時点において捉えた画像内のユーザーの位置を比較することにより、またはユーザーの位置の変化を検出することにより計算する)。いくつかの実施形態では、ユーザジェスチャデータは、ジェスチャ相関論理部２２４に提供される。ジェスチャ相関論理部２２４は、ユーザジェスチャをユーザインターフェイス内の変化(即ち、ユーザインターフェイス内に表示されたオブジェクトの動作)に関連付ける。ユーザーの体は、骨格モデル(skeletal model)にマッピングすることができる。特定の関節の回転軸の方向、及びその量を、ユーザインターフェイス内に表示されたキャラクター(選択されたオブジェクト)のモデルの回転軸の方向と、その量に対応するように使用することが可能である。例えばジェスチャデータを、視線データに基づいて、オブジェクト、またはユーザインターフェイスへラスタライズ、及び投影することができる。一実施形態では、オブジェクトの各ピクセルへの力ベクトル(force vectors)は、ジェスチャデータを用いて計算される。言い換えれば、カメラの画像(例えば、ピクセルの動き(motion of pixels))内でのピクセルレベルの情報は、捕捉され、前記ピクセルレベルデータは、ディスプレイ内でのオブジェクトを動かすために使用することができる。一実施形態では、コンピュータデバイス２０４のメモリ内に保存されたルックアップテーブル(look-up table)は、ジェスチャをコマンドへ関連付けるために使用することができる(例えば、手を上げ下げする動作は、ビデオゲーム内でオブジェクトを上下に動かし、また手を上げ下げする動作は、インターネットブラウザアプリケーション内でウェブページを上下にスクロールするなど)。
【００４６】
一実施形態では、コンピュータデバイス２０４は、センサ２１２、２１６から受信したユーザー入力をトラッキングする前に調整される。例えば、ユーザーの目、及び、体の特徴は、データ処理アルゴリズムを実行するために必要とされる可能性がある。具体的な実施形態では、ユーザーの目の特徴を、生理学的な目のモデル(例えば、瞳孔の大きさ、及び位置、角膜の大きさなど)を生成するために測定することができる。また、ユーザーの体の特徴を、生理学的な体のモデル(例えば、関節の位置、ユーザーの大きさなど)を生成するために測定することができる。
【００４７】
図３は、本発明の一実施形態による、視線、及びジェスチャトラッキングに基づきフィードバックをユーザーに提供するためのプロセス３００を図示する。当然のことながら、以下で説明されるプロセス３００は、単に例示であって、いくつかのステップを抜かすことも、加えること、及び、以下の説明から少なくともいくつかのステップの順序を変えることも可能である。一実施形態では、プロセス３００は、コンピュータデバイス２０４によって実行される。
【００４８】
プロセス３００は、ユーザインターフェイス内のオブジェクトを表示すること(ブロック３０４)から始まる。
【００４９】
プロセス３００は、続いてユーザインターフェイスとやり取りするユーザーの目の視線のトラッキングを行い(ブロック３０８)、ユーザインターフェイス内のオブジェクトがユーザーに見られているか否かを決定する(ブロック３１２)。
【００５０】
プロセス３００は、続いてユーザーのジェスチャをトラッキングし(ブロック３１６)、ユーザーのジェスチャをユーザインターフェイス内のオブジェクトの動作へ関連付ける(ブロック３２０)。
【００５１】
プロセス３００は、続いて前記関連付けに基づいてユーザインターフェイス内のオブジェクトの表示を変更する(ブロック３２４)。
【００５２】
当然のことながら、代用の実施形態では、ユーザーのジェスチャを、ユーザーの視線をトラッキングする前にトラッキングすることができる。さらなる他の実施形態では、ユーザーのジェスチャ、及び視線を、解析(例えば、選択されたオブジェクトの決定、ジェスチャのオブジェクト制御への関連付け)する前にトラッキングすることができる。
【００５３】
図４は、本発明の一実施形態による第一ユーザー入力、及び第二ユーザー入力に基づくフィードバックをユーザーに提供するためのシステム４００を図示する。図４に示されるように、システム４００は、ディスプレイ４０８に接続され、かつディスプレイ４０８上で表示されるユーザインターフェイスを提供するコンピュータデバイス４０４を備える。またシステム４００は、コンピュータデバイス４０４に接続される第一センサ４１２、及び第二センサ４１６を備える。上述されたように、第一センサ４１２、及び第二センサ４１６は、無線及び／又は無線接続を介してコンピュータデバイス４０４に接続することができる。コンピュータデバイス４０４は、ユーザーによって選択されたユーザインターフェイス内のオブジェクトを決定するための検出論理部４２０と、ユーザーの所望する動作、またはコマンドをユーザインターフェイスへ関連付けるための相関論理部４２４とを備える。
【００５４】
一実施形態において、第一入力は視線であり、第一センサ４１２は、上記で例えば図２などの参照と共に説明された視線トラッキングセンサである。一実施形態において、第二入力はジェスチャであり、第二センサ４１６は、上記で例えば図２などの参照とともに説明されたジェスチャセンサである。
【００５５】
他の実施形態において、第二入力は、音声コマンドである。この実施形態において、第二センサ４１６は、マイクである。例えば、ユーザーは、ユーザーが話したいキャラクターを見つめることができ(即ち、第一入力)、前記キャラクターへ話しかけることによってキャラクターとやり取りすることができる(即ち、第二入力)。
【００５６】
一般的に、もしコミュニケーションがシミュレートされていれば、第二入力は音声データであり、もし動作がシミュレートされていれば、第二入力はジェスチャデータである。
【００５７】
さらなる他の実施形態において、第二入力は、脳波、及び／又はユーザーの感情である。この実施形態では、第二センサ４１６は、脳電図(ＥＥＧ)であるような、脳波のグラフを測定、及び生成する単独、又は複数のセンサで有り得る。例えば、複数の組の電極、またはその他のセンサを、ｅｍｏｔｉｖ ＥＰＯＣヘッドセットのような、ヘッドセットを使用するユーザーの頭の上に提供することができる。前記ヘッドセットは、表情を検出するために使用することも可能である。採集される脳波、及び／又は表情データは、オブジェクトの動作、例えば、オブジェクトが持ち上がる、落下する、オブジェクトを動かす、オブジェクトを回転させることなどと、感情、例えば、興奮(excitement)、緊張(tension)、退屈(immersion)、熱中(boredom)、和解(mediation)、欲求不満(frustration)などと、キャラクターのアクション、例えば、ウィンクをする、笑う、目を寄せる、戸惑う(appearing shocked)、笑う、起こる、ニヤニヤ笑う(smirking)、顔をしかめる(grimacing)などとへ関連付けられる。例えば、ユーザーは、ユーザーが動かしたいオブジェクトを見つめることが可能であり、ユーザーは、オブジェクトを動かすためにユーザーの脳波を使うことも可能である。他の実施形態では、ユーザーは、キャラクターを見つめ、それと共に、ユーザーの表情、感情、及び／又は動作を、ヘッドセットセンサシステムを使用して制御することができる。
【００５８】
当然のことながら、視線トラッキングは、ジェスチャ入力、音声入力、脳波入力、及び感情入力の様々な組み合わせを用いて使用することができる。例えば、視線トラッキングは、ジェスチャ入力、音声入力、脳波入力、及び、感情入力のそれぞれを用いて使用することができる。他の実施形態では、視線トラッキングは、音声入力、脳波入力、及び感情入力を用いて使用することが可能である。他の実施形態では、視線トラッキングは、音声入力、脳波入力を用いて使用することが可能である。
【００５９】
コンピュータデバイス４０４は、図２と共に説明されたコンピュータデバイス２０４に類似のものである。しかしながら、当然のことであるが、第二入力はジェスチャデータではない(例えば、第二データは音声コマンドである)本実施形態において、相関論理部４２４は、第二入力をディスプレイ４０８内に表示されたユーザインターフェイスに関係したコマンド、及び動作に関連付ける。例えば、受信した音声データは、ユーザーのコマンド(例えば、スクロールダウン、スクロールアップ、ズームイン、ズームアウト、文字を入力する(cast spell)など)を決定し、それと共に前記コマンド(例えば、スクロールダウン、スクロールアップ、ズームイン、ズームアウト、文字を入力する(cast spell)など)に基づいてユーザインターフェイスを変更するように解析することができる。
【００６０】
図５は、本発明の一実施形態による、第一ユーザー入力、及び第二ユーザー入力のトラッキングに基づくフィードバックをユーザーに提供するためのプロセスを図示する。当然のことながら、以下で説明されるプロセス５００は、単に例示であり、いくつかのステップを抜かすことも、加えること、及び、以下の説明から少なくともいくつかのステップの順序を変えることも可能である。一実施形態では、プロセス５００は、コンピュータデバイス４０４によって実行される。
【００６１】
プロセス５００は、ユーザインターフェイス内にオブジェクトを表示する(ブロック５０４)ことから始まる。
【００６２】
プロセス５００は、続けてオブジェクトの選択を示す第一入力を受信し(ブロック５０４)、オブジェクトとのやり取りを示す第二入力を受信する(ブロック５１２)。
【００６３】
プロセス５００は、続けて前記選択、及び前記やり取りをユーザインターフェイスに関連付けるために、第一入力、及び第二入力を解析する(ブロック５１６)。プロセス５００は、続けて前記関連付けに基づき、ユーザインターフェイス内のオブジェクトの表示を変更する(ブロック５２０)。
【００６４】
図６は、一実施形態であるコンピュータシステム６００でのマシンのダイヤグラム図であり、コンピュータシステム６００内では、前記マシンがここで説明される手順の一つ、または二つ以上を実行するための命令の組を実行することができる。他の実施形態では、前記マシンは、独立した装置として実行する、または他のマシンとネットワーク化するなどして接続することが可能である。ネットワーク化された配置において、前記マシンは、サーバの能力として、またはサーバ―クライアント・ネットワーク環境内でのクライアントマシンとして、またはピアツーピア(または、分散型)ネットワーク環境内でのピアマシンとして制御することが可能である。前記マシンは、パーソナルコンピュータ(ＰＣ)、タブレットＰＣ、セットトップボックス(ＳＴＢ)、パーソナル・デジタル・アシスタント(ＰＤＡ)、携帯電話、ウェブ・アプリアンス、ネットワークルータ、スイッチまたはブリッジ、ビデオコンソール、または、前記マシンによって起こされる動作を特定する命令のセット(順次、もしくは順次ではなく)を実行可能な全てのマシンでありうる。さらに、一つのマシンが図示されているが、“マシン”という言葉は、個別に、または参加型で、一つ、または二つ以上のここで説明される手順を実行するための命令のセット(または、複数のセット)を実行するマシンの集まり全てを含む。一実施形態において、コンピュータシステム６００は、ＳＯＮＹ ＰＬＡＹＳＴＡＴＩＯＮ環境装置である。
【００６５】
例示的なコンピュータデバイス６００は、プロセッサ６０２(例えば、中央処理装置(ＣＰＵ)、グラフィック・プロセッシング・ユニット(ＧＰＵ)、またはその両方)と、メインメモリ６０４(例えば、読み出し専用メモリ(ＲＯＭ)、フラッシュメモリ、及びシンクロナスＤＲＡＭ(ＳＤＲＡＭ)またはランバスＤＲＡＭ(ＲＤＲＡＭ)などのダイナミック・ランダム・アクセス・メモリ(ＤＲＡＭ)など)と、静的メモリ６０６(例えば、フラッシュメモリ、スタティック・ランダム・アクセス・メモリ(ＳＲＡＭ)など)とを備え、それらはバス６０８を介して通信する。一実施形態において、プロセッサ６０２は、セルプロセッサであり、前記メモリは、ＲＡＭＢＵＳダイナミック・ランダム・アクセス・メモリ(ＸＤＲＡＭ)ユニットを備えることが可能である。
【００６６】
コンピュータシステム６００は、ビデオディスプレイユニット６１０(例えば、液晶ディスプレイ(ＬＣＤ)、またはブラウン管)を備えることが可能である。代わりに、コンピュータシステム６００は、別々のビデオディスプレイユニット６１０へ接続することもできる。コンピュータシステム６００は、文字入力装置６１２(例えば、キーボード)と、カーソル制御デバイス(例えば、マウス、またはゲームコントローラ、及び／または視線、及びジェスチャセンサなど)と、ディスクドライブユニット６１６、信号生成装置６２０(例えば、スピーカー、視線及びジェスチャセンサなど)と、ネットワークインターフェイス装置６２２とをさらに備える。一実施形態において、コンピュータシステム６１６は、バス６０８を介してアクセス可能なデスク、及びリムーバブル・スロットイン・ハードディスクドライブ(ＨＤＤ)から読み取るための、ブルーレイディスクＢＤ−ＲＯＭ光学ディスクリーダーを備える。前記バスは、一つまたは二つ以上のユニバーサル・シリアル・バス(ＵＳＢ)２．０ポート、ギガビット・イーサネット・ポート、ＩＥＥＥ ８０２．１１ｂ／ｇワイヤレスネットワーク(Ｗｉｆｉ)ポート、及び／またはブルートゥース・ワイヤレス・ポートを備える。
【００６７】
ディスクドライブユニット６１６は、コンピュータ読取可能媒体６２４を備え、前記コンピュータ読取可能媒体上には、保存された命令(例えば、ソフトウェア６２６)の一つまたは二つ以上の組があり、前記命令は、一つまたは二つ以上の手順、またはここで記述される機能を備える。ソフトウェア６２６は、コンピュータシステム６００、メインメモリ６０４、及びプロセッサ６０２、コンピュータ読取可能媒体の実行時に、完全に、または少なくともその一部が、メインメモリ４０６、及び／またはプロセッサ６０２内に存在する。ソフトウェア６２６は、さらにネットワークインターフェイス装置６２２を介してネットワーク６２８上で送信、または受信することが可能である。
【００６８】
コンピュータ読取可能媒体は、一実施形態として一つの媒体で示されているが、“コンピュータ読取可能媒体”という言葉は、命令の一つまたは二つ以上の組を保存する一つの媒体、または複数の媒体(例えば、集中的、または分散的、及び／または関連したキャッシュ、及びサーバ)を備えることを意味する。“コンピュータ読取可能媒体”という言葉は、前記マシンによる実行のための、保存、符号化、または命令の組の実行が可能であり、かつ、前記マシンが本発明の手順のうち一つまたは二つ以上を実行させる、全ての有形的表現媒体(tangible medium)を意味する。従って“コンピュータ読取可能媒体”という言葉は、これに限定はしないが、固体メモリ、光学、磁気媒体を含むことが可能である。
【００６９】
ここでコンピュータデバイスは、特定の機能を実行する、及びお互いに相互作用する複数のモジュールを持つとして、図示され、かつ議論されることに注意すべきである。これらのモジュールが、ただ単に、説明、及びコンピュータ表現、及び／または、適切なコンピュータハードウェア上で実行するためのコンピュータ読取可能媒体上に保存される実行可能なソフトウェアコードの目的としての機能に基づいて分けられていることを理解する必要がある。異なるモジュール、及びユニットの様々な機能は、ハードウェア及び／または、上記のように全ての形態のモジュールとしてコンピュータ読取可能媒体上に保存されたソフトウェアとして、結合、分離することが可能であり、分離的、結合的に使用が可能である。
【００７０】
図７は、本発明の一実施形態に従う、命令を処理するために使用が可能な追加的なハードウェアを図示する。図７は、本発明の一実施形態に従う、図６のプロセッサ６０２に対応することが可能な構成要素、セルプロセッサ７００を図示する。図７のセルプロセッサ７００は、四つの基本構成要素を備えたアーキテクチャを有する。前記四つの構成要素は、メモリコントローラー７６０、及びデュアルバス・インターフェイス・コントローラーを備える外部入力、及び出力ストラクチャと、パワー・プロセッシング・エレメント(Power Processing Element)７５０と呼ばれるメインプロセッサと、シナジスティック・プロセッシング・エレメント(Synergistic Processing Elements,ＳＰＥｓ)７１０Ａと呼ばれる８個のコプロセッサと、上記構成要素に接続されたエレメント・インターコネクト・バス７８０と呼ばれる環状データバスとである。前記セルプロセッサの総浮動小数点性能は、プレイステーション２の装置のエモーションエンジンの６．２と比較されるＧＦＬＯＰｓ２１８ＧＦＬＯＰＳである。
【００７１】
パワー・プロセッシング・エレメント(ＰＰＥ)７０５は、内部クロック３．２ＧＨｚで動作するＰｏｗｅｒＰＣ ｃｏｒｅ(ＰＰＵ)に対応した、双方同時マルチスレッドパワー１４７０に基づく。ＰＰＥ７５０は、５１２ｋＢ レベル２(Ｌ２)キャッシュ、及び３２ｋＢ レベル１(Ｌ１)キャッシュを備える。ＰＰＥ７５０は、３．２ＧＨｚにおいて２５．６ＧＦＬＯＰｓに変換し、クロックサイクル(clock cycle)につき、８個の単独一操作(single position operation)を可能にする。ＰＰＥ７５０の第一の役割は、ほとんどのコンピュータ作業(computational workload)を処理するシナジスティック・プロセッシング・エレメント７１０Ａ−Ｈのコントローラーとして役割を果たすことである。制御において、ＰＰＥ７５０は、ジョブキューと、シナジスティック・プロセッシング・エレメント７１０Ａ−Ｈのためのスケジューリング・ジョブと、それらの進捗の監視とを維持する。その結果として、各シナジスティック・プロセッシング・エレメント７１０Ａ−Ｈは、ジョブを取得、実行、及びＰＰＥ７５０との同期を行う目的を持つカーネルを実行する。
【００７２】
各シナジスティック・プロセッシング・エレメント７１０Ａ−Ｈは、各シナジスティック・プロセッシング・ユニット(ＳＰＵ７２０−Ｈ)、及び各メモリ・フロー・コントローラー(ＭＦＣ)を備え、前記各メモリ・フロー・コントローラーは、同様に、各動的メモリアクセスコントローラー(ＤＭＡＣ)７４２−Ｈと、各メモリ管理ユニット(ＭＭＵ)と、バスインターフェイス(図示せず)とを備える。各ＳＰＵ７２０Ａ−Ｈは、クロック３．２ＧＨｚのＲＩＳＣプロセッサであり、２５６ｋＢローカルＲＡＭ７３０Ａ−Ｈを備え、原則的に４ＧＢまで拡張が可能である。各ＳＰＥは、単精度パフォーマンス、理論値２５．６ＧＦＬＯＰＳを提供する。ＳＰＵは、１つのクロックサイクルにおいて、４つの単精度浮動点小数、４つの３２ビット数、８つの１６ビット整数、または１６個の８ビット整数上で制御することができる。同クロックサイクルにおいて、ＳＰＵは、メモリ制御を実行することも可能である。ＳＰＵ７２０Ａ−Ｈは、システムメモリＸＤＲＡＭ１４２６に直接アクセスしない。ＳＰＵ７２０Ａ−Ｈによって作られる６４ビットアドレスは、ＭＤＣ７４０Ａ−Ｈへ渡される。ＭＤＣ７４０Ａ−Ｈは、そのＤＭＡコントローラー７２４Ａ−Ｈにエレメント・インターコネクト・バス７８０、及びメモリコントローラー７６０を介してメモリにアクセスするように命令する。
【００７３】
エレメント・インターコネクト・バス(ＥＩＢ)７８０は、論理的に、セルプロセッサ７００へ内的につながる環状コミュニケーションバス(circular communication bus internal to the processor)であり、前記セルプロセッサには、上記のプロセッサ構成要素、即ちＰＰＥ７５０、メモリコントローラー７６０、デュアルバスインターフェイス７７０Ａ、Ｂ、及び８つのＳＰＥｓ７１０Ａ−Ｈの全部で１２個の構成要素が接続される。前記構成要素は、クロックサイクルにつき８バイトのレートで、前記バスへ書き込み、及び読み込みを同時に行うことができる。上述したように、各ＳＰＥ７１０Ａ−Ｈは、より長いシークエンスの読み込み、書き込みをスケジューリングするためのＤＭＡＣ７４２Ａ−Ｈを備える。前記ＥＩＢは、４つのチャネルを備え、それぞれ２つずつ時計回り、及び反時計回りである。結果として、前記１２個の構成要素において、全ての二構成要素間で最も長い段階的なデータフロー(longest step-wise dataflow)は、適切な方向の６つのステップである。１２個のスロットでの論理瞬間ピークＥＩＢバンド幅(theoretical peak instantaneous EIB band width)は、従って、構成要素間のアービトレーション(arbitration)を介した完全な利用が行われるイベントであっても、クロック毎９６Ｂである。これは、クロックレート３．２ＧＨｚでの論理ピークバンド幅３０７．２ＧＢ／ｓ(ギガバイト毎秒)に一致する。
【００７４】
メモリコントローラー７６０は、Ｒａｍｂｕｓ Ｉｎｃｏｒｐｏｒａｔｅｄによって開発されたＸＤＲＡＭインターフェイス７６２を備える。Ｒａｍｂｕｓ ＸＤＲＡＭを有する前記メモリ・コントローラー・インターフェイスは、論理ピークバンド幅２５．６ＧＢ／ｓを有する。
【００７５】
デュアルインターフェイス７７０Ａ、Ｂは、Ｒｕｍｂｕｓ ＦｌｅｘＩＯシステムインターフェイス７７２Ａ、Ｂを備える。前記インターフェイスは、５個のインバウンドであるパス、及び７個のアウトバウンドを有する、８ビットの幅である１２個のチャネルで構成される。これは、コントローラー７７０Ａと、コントローラー７７０Ｂを介したリアリティ・シミュレーター・グラフィックス・ユニットとを介して、セルプロセッサと、Ｉ／Ｏブリッジとの間で、論理ピークバンド幅６２．４ＧＨｚ(３６．４ＧＢ／ｓアウトバウンド、２６ＧＢ／ｓインバウンド)を提供する。
【００７６】
ここで記載されたプロセス、及び技術は、本質的にどんな具体的な装置にも関係しないこと、及び、適切な構成要素の組み合わせによって実施が可能であることを理解する必要がある。さらに、汎用の装置の様々なタイプが、ここで説明された技術に従って使用可能である。さらに、ここで説明された方法のステップを実行するために特化された装置を作ることの利点が示された。本発明は、具体的な実施形態との関係の中で説明がなされてきたのであって、実施形態は、あらゆる点において理解を深める目的のものであり、限定を意図するものではない。当業者は、ハードウェア、ソフトウェア、及びフォームウェアの様々な異なる組み合わせが、本発明を実施するために適していることを承知である。前記コンピュータデバイスは、ＰＣ、ヘッドセット、サーバ、ＰＤＡ、またはその他全ての装置、または、媒体上に記録されたコンピュータ読取可能な命令に応じて開示された機能を実行する装置の組み合わせで有り得る。ここで使用される“コンピュータシステム”という言葉は、従って、全ての装置、またはそれらの装置の組み合わせのことを意味する。
【００７７】
さらに、本発明の他の実施形態は、当業者にとっては本明細書で開示された本発明の特徴、及び実施の概念から明らかである。上述された実施形態の様々な側面、及び／又は構成要素は、単独、または組み合わせで使用することが可能である。明細書、及びそこで記された実施形態は、例示的に考えられただけであり、本当の本発明の範囲、及び趣旨は、添付の特許請求の範囲に記される。
【符号の説明】
【００７８】
２００ システム
２０４ コンピュータデバイス
２０８ ディスプレイ
２１２ 視線センサ
２１６ ジェスチャセンサ
２２０ オブジェクト検出論理部
２２４ ジェスチャ相関論理部
【特許請求の範囲】
【請求項１】
視線データ、及びジェスチャデータを受信し、前記視線データに対応するユーザインターフェイスの位置を決定し、前記ジェスチャデータを前記ユーザインターフェイスの変更へ関連付けるように構成されたプロセッサと、
前記プロセッサに接続され、かつ、前記視線データ、及び前記ジェスチャデータを記憶するよう構成されたメモリとを備えるコンピュータシステム。
【請求項２】
前記ジェスチャデータは、ハンドジェスチャデータを有する請求項１に記載のコンピュータシステム。
【請求項３】
前記視線データは、ユーザインターフェイスと情報のやり取りをするユーザーの目の複数の画像を有する請求項１に記載のコンピュータシステム。
【請求項４】
前記視線データは、光の反射である請求項３に記載のコンピュータシステム。
【請求項５】
前記光は、赤外照明である請求項４に記載のコンピュータシステム。
【請求項６】
前記ジェスチャデータは、ユーザインターフェイスと情報のやり取りをするユーザーの体の複数の画像を有する請求項１に記載のコンピュータシステム。
【請求項７】
前記ジェスチャデータは、深さデータをさらに有する請求項６に記載のコンピュータシステム。
【請求項８】
オブジェクトを有するユーザインタ―フェイスを表示するディスプレイと、
目の視線データ(を捕捉する視線センサと、
ユーザジェスチャデータを捕捉するジェスチャセンサと、
前記視線センサ、ジェスチャセンサ、及びディスプレイに接続されたコンピュータデバイスとを備えるシステムであって、
前記コンピュータデバイスは、ユーザインターフェイスを前記ディスプレイに提供し、
前記視線データに基づいてユーザーが前記オブジェクトを見ているか否かを決定し、
前記ジェスチャデータを前記オブジェクトに対応するコマンドへ関連付け、かつ、
前記コマンドに基づいて前記オブジェクトを有するユーザインターフェイスの表示を変更するように構成されるシステム。
【請求項９】
前記コマンドは、前記オブジェクトの動作を有する請求項８のシステム
【請求項１０】
前記視線データは、
目の視線データと、目の視線位置と、目の位置、前記センサから目まで距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項８のシステム。
【請求項１１】
前記視線センサは、ビデオカメラと、光源とを備える請求項８に記載のシステム。
【請求項１２】
前記ジェスチャセンサは、ビデオカメラと、深度センサとを備える請求項８に記載のシステム。
【請求項１３】
前記ジェスチャセンサは、少なくとも一つのジャイロスコープと、少なくとも一つの加速度計を備える請求項８に記載のシステム。
【請求項１４】
ディスプレイにユーザインターフェイスを表示するステップと、
前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
前記視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、
ユーザーのジェスチャに対応したジェスチャデータを受信するステップと、
前記ジェスチャデータを、前記オブジェクトとユーザーとの所望するやり取りへ関連付けるステップと、
前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備える方法。
【請求項１５】
前記視線データは、
目の視線データと、目の視線位置と、目の位置、前記視線センサから目までの距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項１４に記載の方法。
【請求項１６】
前記ジェスチャデータは、ユーザーの視線が前記オブジェクトに向いているか否かを決定する前に、ユーザーの所望のやり取りに関連付けられる請求項１４に記載の方法。
【請求項１７】
前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項１４に記載の方法。
【請求項１８】
前記ジェスチャデータは、ハンドジェスチャに対応する情報を有する請求項１４に記載の方法。
【請求項１９】
実行時に、コンピュータシステムに方法を実行させるコンピュータ実行可能な命令を記憶したコンピュータ読み取り可能記憶媒体であって、前記方法は、
ディスプレイにユーザインターフェイスを表示するステップと、
前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
前記視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、
ユーザーのジェスチャに対応したジェスチャデータを受信するステップと、
前記ジェスチャデータを、前記オブジェクトとユーザーとの所望するやり取りへ関連付けるステップと、
前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備えたコンピュータ読み取り可能記憶媒体。
【請求項２０】
前記ジェスチャデータは、ユーザーの視線が前記オブジェクトに向いているか否かを決定する前に、ユーザーの所望のやり取りに関連付けられる請求項１９に記載のコンピュータ読み取り可能記憶媒体。
【請求項２１】
前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項１９に記載のコンピュータ読み取り可能記憶媒体。
【請求項２２】
視線データを受信し、脳波データ(brain wave data)、及び感情データ(emotion data)のうち少なくとも一つを受信し、視線データに対応するユーザインターフェイスの位置を決定し、
脳波データ、及び感情データのうち少なくとも一つをユーザインターフェイスの変更へ関連付けるように構成されたプロセッサと、
前記プロセッサに接続され、かつ、前記視線データ及び、脳波データ、感情データのうち少なくとも一つを記憶するように構成されたメモリとを備えるコンピュータシステム。
【請求項２３】
前記視線データは、ユーザインターフェイスと情報をやり取りするユーザーの目の複数の画像を有する請求項２２に記載のコンピュータシステム。
【請求項２４】
前記プロセッサは、さらに音声データを受信し、かつ、
脳波データ、感情データ、音声データのうち少なくとも一つをユーザインターフェイスの変更に関連付けるよう構成され、
前記メモリは、さらに音声データを記憶するように構成される請求項２２に記載のコンピュータシステム。
【請求項２５】
オブジェクトを有するユーザインターフェイスを表示するディスプレイと、
目の視線データを捕捉する視線センサと、
脳波データ、及び感情データのうち少なくとも一つを獲得する複数のセンサを備えたヘッドセットと、
前記視線センサ、ヘッドセット、及びディスプレイに接続されるコンピュータデバイスとを備え、
前記コンピュータデバイスは、前記ディスプレイにユーザインターフェイスを提供し、視線データに基づいて前記オブジェクトをユーザーが見ているか否かを決定し、脳波データ、及び感情データのうち少なくとも一つを前記オブジェクトに対応するコマンドに関係づけ、前記コマンドに基づいた前記オブジェクトを備えるユーザインターフェイスの表示を変更するように構成されるシステム。
【請求項２６】
前記コマンドは、前記オブジェクトの動作を含む請求項２５に記載のシステム。
【請求項２７】
前記視線データは、
目の視線データと、目の視線ポジションと、目の位置、前記視線センサと目の距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項２５に記載のシステム。
【請求項２８】
前記視線センサは、ビデオカメラと、光源とを備える請求項２５に記載のシステム。
【請求項２９】
ディスプレイにユーザインターフェイスを表示するステップと、
ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
前記視線データに基づき、前記ユーザインターフェイス内に表示されたオブジェクトへユーザーの視線が向いているか否かを決定するステップと、
脳波データ、及び感情データのうち少なくとも一つを、ユーザーの前記オブジェクトとの所望のやり取りへ関連付けるステップと、
関係づけられたやり取りに基づいて前記ユーザインターフェイス内の前記オブジェクトの表示を変更するステップとを備える方法。
【請求項３０】
前記視線データは、
目の視線データと、目の視線位置と、目の位置、前記視線センサと目の距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項２９に記載の方法。
【請求項３１】
前記オブジェクトの表示を変更するステップは、前記ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項２９に記載の方法。
【請求項３２】
前記オブジェクトは、キャラクターであり、
前記オブジェクトの表示を変更するステップは、前記キャラクターの顔を変化させるステップを備える請求項２９に記載の方法。
【請求項３３】
実行時にコンピュータシステムに方法を実行させるコンピュータ実行可能な命令を記憶したコンピュータ読み取り可能記憶媒体であって、前記方法は、
ディスプレイにユーザインターフェイスを表示するステップと、
前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
前記視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、
脳波データ、及び感情データのうち少なくとも一つを受信するステップと、
脳波データ、及び感情データのうち少なくとも一つを、前記オブジェクトとユーザーとの所望のやり取りに関連付けるステップと、
前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備えた方法とを備えるコンピュータ読み取り可能記憶媒体。
【請求項３４】
前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項３３に記載のコンピュータ読み取り可能記憶媒体。
【請求項３５】
前記オブジェクトは、キャラクターであり、
前記オブジェクトの表示を変更するステップは、前記キャラクターの顔を変化させるステップを備える請求項３３に記載のコンピュータ読み取り可能記憶媒体。
【請求項１】
視線データ、及びジェスチャデータを受信し、前記視線データに対応するユーザインターフェイスの位置を決定し、前記ジェスチャデータを前記ユーザインターフェイスの変更へ関連付けるように構成されたプロセッサと、
前記プロセッサに接続され、かつ、前記視線データ、及び前記ジェスチャデータを記憶するよう構成されたメモリとを備えるコンピュータシステム。
【請求項２】
前記ジェスチャデータは、ハンドジェスチャデータを有する請求項１に記載のコンピュータシステム。
【請求項３】
前記視線データは、ユーザインターフェイスと情報のやり取りをするユーザーの目の複数の画像を有する請求項１に記載のコンピュータシステム。
【請求項４】
前記視線データは、光の反射である請求項３に記載のコンピュータシステム。
【請求項５】
前記光は、赤外照明である請求項４に記載のコンピュータシステム。
【請求項６】
前記ジェスチャデータは、ユーザインターフェイスと情報のやり取りをするユーザーの体の複数の画像を有する請求項１に記載のコンピュータシステム。
【請求項７】
前記ジェスチャデータは、深さデータをさらに有する請求項６に記載のコンピュータシステム。
【請求項８】
オブジェクトを有するユーザインタ―フェイスを表示するディスプレイと、
目の視線データ(を捕捉する視線センサと、
ユーザジェスチャデータを捕捉するジェスチャセンサと、
前記視線センサ、ジェスチャセンサ、及びディスプレイに接続されたコンピュータデバイスとを備えるシステムであって、
前記コンピュータデバイスは、ユーザインターフェイスを前記ディスプレイに提供し、
前記視線データに基づいてユーザーが前記オブジェクトを見ているか否かを決定し、
前記ジェスチャデータを前記オブジェクトに対応するコマンドへ関連付け、かつ、
前記コマンドに基づいて前記オブジェクトを有するユーザインターフェイスの表示を変更するように構成されるシステム。
【請求項９】
前記コマンドは、前記オブジェクトの動作を有する請求項８のシステム
【請求項１０】
前記視線データは、
目の視線データと、目の視線位置と、目の位置、前記センサから目まで距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項８のシステム。
【請求項１１】
前記視線センサは、ビデオカメラと、光源とを備える請求項８に記載のシステム。
【請求項１２】
前記ジェスチャセンサは、ビデオカメラと、深度センサとを備える請求項８に記載のシステム。
【請求項１３】
前記ジェスチャセンサは、少なくとも一つのジャイロスコープと、少なくとも一つの加速度計を備える請求項８に記載のシステム。
【請求項１４】
ディスプレイにユーザインターフェイスを表示するステップと、
前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
前記視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、
ユーザーのジェスチャに対応したジェスチャデータを受信するステップと、
前記ジェスチャデータを、前記オブジェクトとユーザーとの所望するやり取りへ関連付けるステップと、
前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備える方法。
【請求項１５】
前記視線データは、
目の視線データと、目の視線位置と、目の位置、前記視線センサから目までの距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項１４に記載の方法。
【請求項１６】
前記ジェスチャデータは、ユーザーの視線が前記オブジェクトに向いているか否かを決定する前に、ユーザーの所望のやり取りに関連付けられる請求項１４に記載の方法。
【請求項１７】
前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項１４に記載の方法。
【請求項１８】
前記ジェスチャデータは、ハンドジェスチャに対応する情報を有する請求項１４に記載の方法。
【請求項１９】
実行時に、コンピュータシステムに方法を実行させるコンピュータ実行可能な命令を記憶したコンピュータ読み取り可能記憶媒体であって、前記方法は、
ディスプレイにユーザインターフェイスを表示するステップと、
前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
前記視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、
ユーザーのジェスチャに対応したジェスチャデータを受信するステップと、
前記ジェスチャデータを、前記オブジェクトとユーザーとの所望するやり取りへ関連付けるステップと、
前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備えたコンピュータ読み取り可能記憶媒体。
【請求項２０】
前記ジェスチャデータは、ユーザーの視線が前記オブジェクトに向いているか否かを決定する前に、ユーザーの所望のやり取りに関連付けられる請求項１９に記載のコンピュータ読み取り可能記憶媒体。
【請求項２１】
前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項１９に記載のコンピュータ読み取り可能記憶媒体。
【請求項２２】
視線データを受信し、脳波データ(brain wave data)、及び感情データ(emotion data)のうち少なくとも一つを受信し、視線データに対応するユーザインターフェイスの位置を決定し、
脳波データ、及び感情データのうち少なくとも一つをユーザインターフェイスの変更へ関連付けるように構成されたプロセッサと、
前記プロセッサに接続され、かつ、前記視線データ及び、脳波データ、感情データのうち少なくとも一つを記憶するように構成されたメモリとを備えるコンピュータシステム。
【請求項２３】
前記視線データは、ユーザインターフェイスと情報をやり取りするユーザーの目の複数の画像を有する請求項２２に記載のコンピュータシステム。
【請求項２４】
前記プロセッサは、さらに音声データを受信し、かつ、
脳波データ、感情データ、音声データのうち少なくとも一つをユーザインターフェイスの変更に関連付けるよう構成され、
前記メモリは、さらに音声データを記憶するように構成される請求項２２に記載のコンピュータシステム。
【請求項２５】
オブジェクトを有するユーザインターフェイスを表示するディスプレイと、
目の視線データを捕捉する視線センサと、
脳波データ、及び感情データのうち少なくとも一つを獲得する複数のセンサを備えたヘッドセットと、
前記視線センサ、ヘッドセット、及びディスプレイに接続されるコンピュータデバイスとを備え、
前記コンピュータデバイスは、前記ディスプレイにユーザインターフェイスを提供し、視線データに基づいて前記オブジェクトをユーザーが見ているか否かを決定し、脳波データ、及び感情データのうち少なくとも一つを前記オブジェクトに対応するコマンドに関係づけ、前記コマンドに基づいた前記オブジェクトを備えるユーザインターフェイスの表示を変更するように構成されるシステム。
【請求項２６】
前記コマンドは、前記オブジェクトの動作を含む請求項２５に記載のシステム。
【請求項２７】
前記視線データは、
目の視線データと、目の視線ポジションと、目の位置、前記視線センサと目の距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項２５に記載のシステム。
【請求項２８】
前記視線センサは、ビデオカメラと、光源とを備える請求項２５に記載のシステム。
【請求項２９】
ディスプレイにユーザインターフェイスを表示するステップと、
ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
前記視線データに基づき、前記ユーザインターフェイス内に表示されたオブジェクトへユーザーの視線が向いているか否かを決定するステップと、
脳波データ、及び感情データのうち少なくとも一つを、ユーザーの前記オブジェクトとの所望のやり取りへ関連付けるステップと、
関係づけられたやり取りに基づいて前記ユーザインターフェイス内の前記オブジェクトの表示を変更するステップとを備える方法。
【請求項３０】
前記視線データは、
目の視線データと、目の視線位置と、目の位置、前記視線センサと目の距離、及び瞳孔の大きさのうち少なくとも一つと、タイムスタンプとを有する請求項２９に記載の方法。
【請求項３１】
前記オブジェクトの表示を変更するステップは、前記ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項２９に記載の方法。
【請求項３２】
前記オブジェクトは、キャラクターであり、
前記オブジェクトの表示を変更するステップは、前記キャラクターの顔を変化させるステップを備える請求項２９に記載の方法。
【請求項３３】
実行時にコンピュータシステムに方法を実行させるコンピュータ実行可能な命令を記憶したコンピュータ読み取り可能記憶媒体であって、前記方法は、
ディスプレイにユーザインターフェイスを表示するステップと、
前記ユーザインターフェイスと情報のやり取りをするユーザーの視線データを受信するステップと、
前記視線データに基づいて、ユーザーの視線が、前記ユーザインターフェイス内に表示されるオブジェクトへ向いているか否かを決定するステップと、
脳波データ、及び感情データのうち少なくとも一つを受信するステップと、
脳波データ、及び感情データのうち少なくとも一つを、前記オブジェクトとユーザーとの所望のやり取りに関連付けるステップと、
前記関連付けられたやり取りに基づいてユーザインターフェイスのオブジェクトの表示を変更するステップとを備えた方法とを備えるコンピュータ読み取り可能記憶媒体。
【請求項３４】
前記オブジェクトの表示を変更するステップは、ユーザインターフェイス内のオブジェクトの相対位置を移動させるステップを備える請求項３３に記載のコンピュータ読み取り可能記憶媒体。
【請求項３５】
前記オブジェクトは、キャラクターであり、
前記オブジェクトの表示を変更するステップは、前記キャラクターの顔を変化させるステップを備える請求項３３に記載のコンピュータ読み取り可能記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２２１４９８（Ｐ２０１２−２２１４９８Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−８７１５０（Ｐ２０１２−８７１５０）
【出願日】平成２４年４月６日（２０１２．４．６）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１２−８７１５０（Ｐ２０１２−８７１５０）
【出願日】平成２４年４月６日（２０１２．４．６）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]