３−Ｄメガネと、カメラベースの頭部トラッキング
異なる環境光条件下でビデオゲームのプレーヤの頭部をトラッキングし、光条件の変化に伴って複数のトラッキング法を切り替える方法、デバイスおよびシステムが記載される。環境光条件の測定に基づいて、ゲームコンソールに接続されたカメラが、（１）顔面トラッキング法を使用してプレーヤの顔面をトラッキングし、（２）プレーヤの３−Ｄメガネ上の反射材料をトラックするか、あるいは（３）３−Ｄメガネに取り付けられた照明ＬＥＤを点灯または起動させる。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願への相互参照）
本願は、同一発明者による同日出願の「照明された光導体を備えた３−Ｄメガネ（3-D Glasses With Illuminated Light Guide）」（代理人整理番号０２６３４０−００８１００ＰＣ）に関連しており、その全体を、あらゆる目的のために参照により援用する。
本発明の実施形態は、一般に、カメラベースの頭部トラッキングに関し、より詳細には、３−Ｄビデオディスプレイおよびビデオゲームエンタテインメントデバイスと共に使用するための、各種の光条件におけるカメラベースの頭部トラッキングに関する。
【背景技術】
【０００２】
技術の進歩に伴い、ビデオゲームが、より没頭しやすいものへと進化を遂げている。ビデオゲームコンソールは、多くの場合、最新のプロセッサ、極めて高速なメモリ、およびハイエンドのグラフィックカードを備えて製造されている。入力コントローラは、単純なノブ、ジョイスティックおよびボタンをベースとしたコントローラから、ユーザが手に持って振ったり、装着できる加速度計対応コントローラへと進化を遂げた。
【０００３】
別の入力技術としては、通常、テレビの上に搭載されたカメラを利用し、頭、胴体、腕および脚のトラッキングなど、ユーザの身体をトラッキングするものがある。ユーザは、自身の身体または身体の一部を動かすことによって、このようなビデオゲームを制御することができる。例えば、スケートボードゲームのプレーヤが、仮想の橋をくぐり抜けるように身を屈めることが挙げられる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
三次元（３−Ｄあるいは３Ｄ）テレビは、ディスプレイ画面内の事象にユーザが没頭できるように支援する。このような３−Ｄテレビ用に、ユーザは３−Ｄメガネを装着することがある。初期の３−Ｄメガネは、立体画像用に赤いレンズと青いレンズとを備えていた。シャッター３−Ｄメガネは、左右の画像を素早く表示するディスプレイと同期して、不透過と透過とが迅速に切り替わるレンズを備える。他のタイプの３−Ｄ表現技術も存在する。これらの技術の多くは、見ている人の脳に、立体画像を３−Ｄ環境として誤って解釈させるために、その人の左眼と右眼とに別の二次元画像を、同時に見せるか、あるいは極めて素早く（例えば６０Ｈｚで）交互に見せるという点で似ている。
【０００５】
３−Ｄディスプレイ技術を利用したビデオゲームは、画面上の３−Ｄ効果を使用することにより、プレーヤをゲームにのめり込ませることができる。更に、身体トラッキングを備えたビデオゲームコンソールは、３−Ｄ効果を使用して、実世界でのプレーヤの実際の動きを、表示中の仮想世界内でのユーザの仮想的な動きと連動させることができる。頭部トラッキングは、ユーザの頭部の位置に基づいてレンダリングを行うゲームでは極めて重要となりうる。例えば、ユーザがリビングルームのテレビのほうに進むと、ビデオゲームコンソールは、３−Ｄの仮想の薪の山を、ユーザが薪の山に近づいているかのようにテレビにレンダリングすることができる。
【０００６】
このため、視聴者または他のユーザの頭部の位置、向きおよび動きをトラッキングすることは、一部のビデオゲーム、特に、頭部トラッキングを使用してユーザの近くの３−Ｄ物体をレンダリングするビデオゲームでは、非常に重要となりうる。平均的な消費者にとって高価過ぎない、より信頼性の高い頭部トラッキングが当業界において求められている。
【課題を解決するための手段】
【０００７】
本開示の方法、デバイスおよびシステムは、３−Ｄテレビ用の３−Ｄメガネなどのメガネを着用しているユーザの、カメラベースの頭部トラッキングに関する。明るい光の下では、カメラは、顔面トラッキングソフトウェアを使用してユーザの頭部をトラッキングする。中間程度に明るい光の下では、カメラは、利用可能な光を使用して、メガネ上の反射ステッカーまたは他の材料を介してユーザの頭部をトラッキングする。暗い光条件あるいは無光条件では、カメラは、発光ダイオード（ＬＥＤ）ライトで照らしたメガネに取り付けた再帰反射器等などの反射材料によってユーザの頭部をトラッキングする。環境光が不足しているか多過ぎるかに応じて、ＬＥＤが、ビデオゲームコンソールまたは他の頭部追跡システムから遠隔制御されうる。
【０００８】
ここに記載する方法、デバイスおよびシステムの技術的利点は、信頼性が高い一方で、大量生産が可能な程度に十分にシンプルな、各種の光条件における顔面トラッキングを備える。既存の３−Ｄメガネも、反射テープまたは他の反射材料を使用して改造することができ、既存の頭部トラッキングアルゴリズムソフトウェアを備えたビデオゲームコンソールは、ソフトウェアまたはファームウェアの更新により再プログラムすることができる。点滅するランプまたは正常ではない色ピークとなっているフィラメントを備えたランプからの光など、顔面トラッキングへの伝達が低い光の下では、頭部トラッキングの「サービス品質」（ＱｏＳ）を改善するために、環境光条件に連動して、メガネの反射テープのトラッキングへの切り替えが、自動的にあるいは手動で行われうる。例えば、劇場の暗いステージで新しいビデオゲームのデモを行うプレゼンタは、反射テープによるトラッキングを起動することができる。別の例として、ナトリウム灯の下で明るく照明されている大ホールのステージ上で同じビデオゲームのデモを行うプレゼンタは、顔面のトラッキング技術を起動することができる。
【０００９】
本開示の一実施形態は、ユーザの頭部のカメラトラッキングを改善する方法に関し、前記方法は、前記ユーザの顔の特徴を分析することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、第１環境光レベルを測定するステップと、前記第１環境光レベルがしきい値を外れていると判断するステップと、前記ユーザが装着しているメガネから反射された光を検出することにより、前記カメラを使用して前記ユーザの頭部をトラッキングするステップと、前記第１環境光レベルが前記第１しきい値を外れているという前記判断に基づいて、顔の特徴を分析することによる前記ユーザの頭部のトラッキングと、前記メガネから反射される検出光を使用するトラッキングとを切り替えるステップと、を有する。前記方法は、更に、前記トラッキングに基づいて、前記ユーザの頭部の位置、向きまたは動きを出力するステップを有する。
【００１０】
一実施形態は、ユーザの頭部をトラッキングするためのシステムに関し、前記システムは、カメラと、メガネと、前記カメラに動作可能に結合されたプロセッサと、を有し、前記プロセッサは、顔面トラッキングアルゴリズムを使用してユーザの頭部をトラッキングし、前記ユーザの顔面に装着された前記メガネからの反射光を検出することによって、前記頭部をトラッキングし、環境光の第１しきい値に基づいて、前記顔面トラッキングアルゴリズムを使用するトラッキングと、前記メガネからの前記反射光を使用するトラッキングとを切り替えるように動作可能である。
【００１１】
一実施形態は、ユーザの頭部のカメラトラッキングを改善する方法に関し、前記方法は、ユーザが装着しているメガネから反射された光を検出することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、第１環境光レベルを測定するステップと、前記第１環境光レベルが第１しきい値を外れていると判断するステップと、前記第１環境光レベルが前記第１しきい値を外れているという前記判断に基づいて、前記メガネを照らすように構成されたライトのオンまたはオフを切り替えるステップと、を有する。
【００１２】
一実施形態は、ユーザの頭部をトラッキングするためのシステムに関し、前記システムは、カメラと、メガネと、前記メガネを照らすように構成されたライトと、前記カメラに動作可能に結合されたプロセッサと、を有し、前記プロセッサは、前記ユーザの顔面に装着された前記メガネからの反射光を検出することによって、前記頭部をトラッキングし、環境光のしきい値に基づいて、前記ライトのオンまたはオフを切り替えるように動作可能である。
【００１３】
一実施形態は、ユーザの頭部のカメラベースのトラッキングを改善するための方法に関し、前記方法は、前記ユーザの顔の特徴を分析することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、第１環境光レベルを測定するステップと、前記第１環境光レベルが第１しきい値を外れていると判断するステップと、前記ユーザが装着しているメガネから反射された光を検出することにより、前記カメラを使用して前記ユーザの頭部をトラッキングするステップと、顔の特徴を分析することによる前記ユーザの頭部のトラッキングと、前記メガネから反射される検出光を使用するトラッキングとを切り替えるステップと、を有する。前記方法は、第２環境光レベルを測定するステップと、前記第２環境光レベルが第２しきい値を外れていると判断するステップと、前記第２環境光レベルが前記第２しきい値を外れているという前記判断に基づいて、前記メガネを照らすために使用されるライトをオンまたはオフするステップと、を更に有する。
【００１４】
前記実施形態では、任意に、前記第１環境光レベルが、前記第１しきい値を下回ると判断され、前記切り替えは、顔の特徴を分析することによるトラッキングから、前記メガネから反射される検出光を使用するトラッキングへの切り替えであり、前記第２環境光レベルが、前記第２しきい値を下回ると判断され、前記ライトがオンされる。前記実施形態の別の選択肢として、前記第１環境光レベルが、前記第１しきい値を上回ると判断され、前記切り替えは、前記メガネから反射される検出光を使用するトラッキングから、顔の特徴を分析することによるトラッキングへの切り替えであり、前記第２環境光レベルが、前記第２しきい値を上回ると判断され、前記ライトがオフされる。
【００１５】
他の実施形態は、上に記載した方法のための命令を記憶または実行する機械可読有形ストレージ媒体およびコンピュータシステムに関する。
【図面の簡単な説明】
【００１６】
【図１】一実施形態による、複数の光条件における頭部トラッキング方法を示す。
【図２】一実施形態による３−Ｄメガネを示す。
【図３】一実施形態による、明るく照らされているユーザの顔の図を示す。
【図４】一実施形態による、コンピュータによって識別された図３の顔認識特徴を示す。
【図５】一実施形態による、メガネを装着した暗い光でのユーザの顔面の図を示す。
【図６】一実施形態による、コンピュータによって識別された図５のメガネフレームを示す。
【図７】一実施形態による、照明されているメガネを装着している、光が当たっていないユーザの顔面の図を示す。
【図８】一実施形態による、コンピュータによって識別された図７の自己照明メガネフレームを示す。
【図９】一実施形態による、ビデオゲームコンソールのための頭部トラッキングを示す。
【図１０】一実施形態によるプロセスを示すフローチャートである。
【図１１】一実施形態によるプロセスを示すフローチャートである。
【図１２】本発明の実施形態と共に使用するために適切なコンピュータシステムの例である。
【発明を実施するための形態】
【００１７】
本発明の性質および利点については、添付の図面を参照することにより更に深く理解することができる。添付の図面においては、同様の構成要素または特徴には、同じ参照符号が付されていることがある。
【００１８】
ここで図面を使用して、本発明に係る異なる実施形態を示す。図面は、実施形態の特定の例であり、実施形態を限定するものと解釈すべきではなく、例示的な形態および手順を示すものである。
【００１９】
本開示は、カメラを使用するユーザの頭部のトラッキングに関する。トラッキングは、３−Ｄビデオゲーム、３−Ｄ映画、テレビ番組または他のビデオ、あるいは、頭部トラッキングが望ましいその他の状況（例えば、戦闘機のパイロットの頭部トラッキング）と連動しうる。明るい光の下では、カメラは、顔面トラッキングアルゴリズムを使用してユーザの頭部をトラッキングする。中間の明るさの光の下では、カメラは、利用可能な光を使用して、メガネに一体化されているか、メガネに貼り付けられた材料を介してユーザの頭部をトラッキングする。薄暗い条件または完全に暗い条件では、カメラは、同じメガネの反射材料を介してユーザの頭部をトラッキングするが、その際、反射材料を小型ライト（例えばＬＥＤ）で照らす。
【００２０】
メガネのフレームの左右の角に２つのＬＥＤを取り付けるなど、フレームの角に複数のＬＥＤを取り付けることにより、メガネの反射材料を照らすことができる。ＬＥＤの明るさは、ビデオゲームコンソールなどのホストコンソールによって遠隔制御されうる。非常に暗い条件下で、カメラが反射材料を検出できない場合、ホストコンソールは遠隔制御により各ＬＥＤを別個にオンにして、明るさを調整することができる。各ＬＥＤをフレームの前面からわずかに突き出させて取付けて、フレーム表面で光が反射されるようにすることで、表面反射を増やすことができる。一部の実施形態では、ＬＥＤの明るさが、明る過ぎてユーザの体験を妨害することがないが、カメラによって検出可能な良好な反射が得られるように厳密に調整される。
【００２１】
非常に強い光条件下では、反射したメガネフレームを検出できないことがある。しかし、その場合、カメラは、顔の特徴点を検出するなど、従来の顔検出技術によって頭部をトラッキングすることができる。この技術は、良好な光条件では極めて信頼性が高い。
【００２２】
カメラに一体化されているか、あるいはカメラとは別個のコントローラが、カメラ入力に基づいて、多くのリビングルーム環境の光条件をシームレスに検出するためのＱｏＳ制御を提供することができる。その際、（ａ）光が強過ぎてメガネフレームの反射を検出できないであろう場合、顔の特徴検出／トラッキングを起動し、（ｂ）弱い光では、メガネフレームの反射に基づいて頭部の動きを検出し、（ｃ）暗過ぎる場合、フレーム反射を増やすために、小型ＬＥＤを点灯させ、その明るさを調整する。このＱｏＳは、ユーザの干渉なしでコントローラユニットによって自動化されていても、ユーザによって設定されてもよい。
【００２３】
一部の実施形態では、視聴者／プレーヤの３−Ｄ体験をよりリアルにすべく、ゲーム内カメラをフィードするために、検出された頭部の動きが使用されうる。別の実施形態では、検出された頭部の動きが、ビデオゲームに対する入力に使用されてもよい。
【００２４】
図１は、複数の光条件における頭部トラッキング方法を示す。明るい環境光１０２では、ユーザの頭１１４が、ユーザの顔１０４をトラッキングする顔面トラッキングアルゴリズムによってトラッキングされる。この場合、ユーザは、メガネ１０６を装着しても、装着しなくてもよい。中間の明るさの環境光１０８では、ユーザの頭１１４は、メガネ１０６から反射される光をトラッキングすることによってのみトラッキングされる。暗い光１１０の場合または無光の場合、ユーザの頭１１４が、メガネ１０６に搭載されている４つのＬＥＤ１１２から発っしてメガネ１０６で反射された光をトラッキングすることによってトラッキングされる。
【００２５】
図２は、一実施形態による３−Ｄメガネを示す。非３−Ｄのメガネも使用することができるが、ここの説明では３−Ｄメガネについて記載する。３−Ｄメガネ２００は、フレーム２１６、右レンズ２１８、および左レンズ２２０を有する。左右のレンズ２１８／２２０は、３−Ｄテレビなどの３−Ｄディスプレイと同期して、透過と不透過とをシャッターにより切り替える。３−Ｄメガネ２００は、高反射面２２２を有する。高反射面２２２は、作製済みのフレームに貼り付けた反射テープ、既存のフレームに塗布した塗料、あるいは、フレームの材料に一体化させた表面などを有してもよい。
【００２６】
「高反射」材料には、通常の反射率よりも反射率が高い材料が含まれ、例えば、白および／または銀の塗料、ならびにビーズタイプのシートおよびマイクロプリズムシートなどがある。高反射材料は、改正国際海上人命安全条約（ＳＯＬＡＳ）７４／８３、米国材料試験協会（ＡＳＴＭ）Ｄ４９５６、および／または米国運輸省の反射率規格に準拠した反射テープおよび反射シートを含む。メガネに設けるストリップ状または他の形状の高反射材料として、再帰反射器を使用することができる。
【００２７】
３−Ｄメガネ２００は、右上ライト２２４、右下ライト２２６、左上ライト２２８および左下ライト２３０を有する。ライト２２４，２２６，２２８，２３０は、３−Ｄメガネ２００前面から出て、フレーム２１６に戻って光ることにより、反射材料２２２で光るように構成されている。
【００２８】
例示的実施形態では、ライト２２４，２２６，２２８，２３０は、異なる時点で、高反射面２２２に異なる強度の光を提供するように、個々に制御することができる。例えば、ライト２２４をオンまたは点灯し、ライト２２６，２２８，２３０をオフにしたままにすることによって、低い光レベルを作り出すことができる。ライト２２４に加えてライト２２８をオンにし、ライト２２６，２３０をオフにしたままにすることによって、光をわずかに増やすことができる。同様にライト２２６，２３０を段階的にオンにして、５段階の照明レベル（すなわち、ライト無点灯、ライト１つを点灯、ライト２つを点灯、ライト３つを点灯、ライト４つを点灯）を提供することができる。更に、光レベルを所定の範囲内でほぼ無限に選択できるように、必要に応じて各ライトの明るさを落としてもよい。
【００２９】
メガネを着用しているユーザの気が散らないように、ライト２２４，２２６，２２８，２３０は、個々に制御することができる。例えば、３−Ｄメガネの左レンズ２２０がシャッター閉、すなわち不透過になった瞬間、ライト２２８，２３０が点灯されうる。左のレンズ２２０がシャッター開、すなわち透過になると、ライト２２８，２３０が消灯されうる。同様に、右のレンズ２１８が不透過のときに、ライト２２４，２２６がオンにされ、右のレンズ２１８が透過のときに、ライト２２４，２２６がオンにされうる。このように、ライトの動作周期は、そのライトの近くにあるレンズに同期される。これにより、メガネ２２０を着用しているユーザの気を散らすのを防ぐことができるのみならず、この動作周期により、ライトを点灯するために必要な電力を省力化することができる。
【００３０】
メガネは、ＬＥＤからの光をフレーム全体に行き渡らせるために、ポリメタクリル酸メチル（ＰＭＭＡ）などの導光板（ＬＧＰ）材料を含んでもよい。ライトは、フレームの前面全体で光る代わりに、「エッジ発光」ＬＥＤとして、ＬＧＰを直接向いていてもよい。ＬＧＰは色付きでも、無着色でもよく、フレーム全体が照らされるように光をわずかに分散させてもよい。色を変えることで、カメラに対して、プレーヤが異なることを示すことができる。関連出願「照明された光導体を備えた３−Ｄメガネ（3-D Glasses With Illuminated Light Guide）」（代理人整理番号０２６３４０−００８１００ＰＣ）は、本明細書の実施形態に使用することができるメガネの異なる構成を示す。
【００３１】
着用しているユーザの気が散ることを防ぐように、ライト２２４，２２６，２２８，２３０は、一般的な電荷結合デバイス（ＣＣＤ）カメラからは可視であるが、肉眼では見えない近赤外線を用いる近赤外ＬＥＤでもよい。この場合、高反射面２２２から反射される光は、カメラからは見ることができるが、ユーザから見ることができない。
【００３２】
図３は、明るく照らされているユーザの顔の図を示す。ユーザの頭１１４および／または顔１０４が、太陽、通常のオフィスレベルの室内照明（例えば、１平方フィートあたり１００ルーメン超）、または他の比較的明るい光条件によって照らされている。ユーザの顔１０４は、目３３２（本図では３−Ｄメガネ１０６によって覆われている）、鼻３３４、口３３６などの顔の特徴を有する。当業界で周知のように、他の顔の特徴または頭の特徴をトラッキングしてもよい。例えば、ユーザの耳たぶが、他の特徴と共にトラッキングされてもよい。
【００３３】
図４は、コンピュータによって識別された図３の顔認識特徴を示す。目の領域４３８は目３３２と関連付けられ、鼻の領域４４０は鼻３３４と関連付けられ、口の領域４４２は口３３６と関連付けられる。顔面トラッキングのための他の方法および特徴も考察され、当業者は、本開示を考慮に入れれば、顔面トラッキングアルゴリズムを利用可能なことを認めるであろう。
【００３４】
図５は、メガネを装着した暗い光でのユーザの顔面の図を示す。ユーザの頭１１４および／または顔が、薄暗いリビングルームのランプ、月、あるいは、ただ単に、明るいディスプレイ画面の光によって照らされている。高反射フレームを備えたメガネ１０６は暗い中でも識別可能である。
【００３５】
図６は、コンピュータによって識別された図５のメガネフレームを示す。フレーム領域６４４は、フレーム１０６と関連付けられる。フレームの空間的識別および向きの特定を改善するために、フレームの角部でフレームの反射率が急峻に定められてもよい。
【００３６】
図７は、照明されているメガネを装着している、光が当たっていないユーザの顔面の図を示す。ユーザの顔が、ほぼ全く認識できず、環境光は実質的に存在しない。３−Ｄメガネ１０６の高反射面を反射させるために、ライト１１２が給電されるか、ほかの方法でオンにされる。一部の実施形態では、エッジ照明ＬＥＤが、メガネフレーム内のＬＧＰを照らす。
【００３７】
図８は、コンピュータによって識別された図７の自己照明メガネフレームを示す。フレーム領域６４４は、ライト１１２によって照らされているフレーム１０４と関連付けられる。ライト自体は基準点として機能し、領域６４６がライト１１２の位置と関連付けられる。一部の実施形態では、ライトがカメラによって容易にトラッキングされるように、ライトが小さくシャープに定められる。
【００３８】
図９は、ビデオゲームコンソールのための頭部トラッキングを示す。メガネ９０６を装着しているプレーヤの頭９１４は、時間ｔ１では、ある位置および向きをとり、時間ｔ２では別の位置および向きをとり、時間ｔ３では更に別の位置および向きをとっている。頭９１４は、時間ｔ１〜ｔ３の間に下に動き、右を向いている。プレーヤは、従来のゲームコントローラ９５０を使用してビデオゲームをプレイするか、身体の動きのみを使用してゲームを制御するか、この両方を行なうことができる。本実施形態では、ディスプレイ９５２の上に搭載されているカメラ９４８が、ユーザの位置と動きとをキャプチャし、これらをゲームコンソール９５４に送る。顔面トラッキングアルゴリズムは、カメラ９４８に搭載されているか、またはゲームコンソール９５４のソフトウェアまたはハードウェアに組み込まれていてもよい。別の実施形態では、トラッキングロジックが別個のデバイスに搭載されていてもよい。
【００３９】
プレーヤが頭を揺らして、ゲームを楽しむと、カメラ９４８は顔面トラッキング技術を使用してプレーヤの頭９１４をトラッキングする。しかし、場合によっては、カメラ９４８がユーザの顔の特徴を認識するには、環境光の強度が不足していることがある。例えば、ゲームの体験に、より深く没頭できるようにプレーヤかそのルームメートが、照明を消し、カーテンを引いて閉めることがある。光条件が悪化すると、ゲームコンソール９５４およびカメラ９４８とは別個の光センサ９５６が、環境光が不足していることを検出または測定して、ゲームコンソール９５４に信号を送信する。ゲームコンソール９５４は、測定された環境光レベルをしきい値と比較する。このしきい値は、カメラまたはコンソールの出荷時の設定に事前設定されても、ユーザによって設定または調整されてもよい。この比較時に、ゲームコンソール９５４は、環境光レベルがしきい値を外れていると判断する。次に、ゲームコンソール９５４は、ユーザの頭１１４をトラッキングするための顔面トラッキングアルゴリズムから、メガネフレームのトラッキングアルゴリズムに移行させるか切り替える。トラッキングした頭の動きは、３−Ｄ画像をレンダリングする等のためのゲームの入力として使用されうる。
【００４０】
「しきい値を外れる」とは、しきい値が示すよりも遠い（しきい値よりも高い場合、しきい値よりも低い場合のいずれも）値を含む。例えば、しきい値が上限または最大値を規定している場合、値９はしきい値１０を外れていない。しかし、このしきい値上限の場合には、値１１はしきい値を外れている。逆に、しきい値が下限または最小値を規定している場合、値１１はしきい値１０を外れていない。このしきい値下限の場合には、値９はしきい値１０を外れている。
【００４１】
引いたカーテンの周りに漏れる外の光が夕暮れと共に暗くなるなど、部屋が一層暗くなった場合、光センサ９５６は、環境光の一層の不足を検出する。その場合、光センサ９５６はゲームコンソール９５４に信号を送信し、ゲームコンソール９５４は、ライト９１２をオンにするために、メガネ９０６に（無線）信号を送信する。必要な光量に応じて、メガネ９０６のライト９１２のうちの１、２、３つ、あるいは４つ全部が点灯されうる。
【００４２】
例示の実施形態では、光センサ９５６は、カメラ９４８とは別個であり、独立している。このことは、カメラがディスプレイの近くに存在し、ディスプレイの表示内容によって、カメラで測定される環境光が変動する状況で有用である。例えば、ディスプレイの大部分が白い画面の場合には、ディスプレイから発せられている白色光を、カメラが環境光として測定することがある。この白い画面が一時的なものである場合には、カメラが環境光を過剰に測定してしまうことから問題が生じることがある。
【００４３】
一部の実施形態では、環境光がカメラ９４８で測定され、別個の光検出デバイスが不要とされてもよい。カメラ９４８によって検出された光の平均または中央値が、室内の環境光レベルとして取得されうる。
【００４４】
別の実施形態では、より多くの光が必要かどうかの判定に、トラッキングアルゴリズム自体が使用されてもよい。例えば、トラッキングアルゴリズムが、ユーザの頭の位置を９０％以上の信頼度でトラッキングしている場合、光の変更は不要である。しかし、信頼度が５０％未満に低下した場合、アルゴリズムが切り替えられるか、あるいはライト９１２が点灯されうる。より多くの環境光が必要である（または、環境光を減らす必要がある）ことを決定するために、頭部トラッキングの信頼度の関数として取得されるか、あるいは、単純なフレーム毎の顔面を認識できない「エラー」として取得されるエラー率が、使用されうる。
【００４５】
ライトは、例示的な実施形態に示すメガネ９０６のライト９１２のように、メガネ上に設けられても、メガネの外に設けられてもよい。メガネの外に設けられるライトの例として、カメラ上に配置され、ユーザに向けられるライトがある。ライトは、ユーザからは見えず、このためユーザの気を散らすことのないように、近赤外灯でもよい。
【００４６】
また、環境光が明るくなることもある。例えば、プレーヤの母親が照明を点けた場合、カメラが受ける光量が飽和し、頭部トラッキングを妨害することがある。この場合、光センサ９５６はゲームコンソール９５４に信号を送信し、ゲームコンソール９５４は、ライト９１２をオフにするためにメガネ９０６に信号を送信する。
【００４７】
環境光が強過ぎて、メガネが見えなくなりトラッキングが困難な場合、ゲームコンソール９５４は、高反射メガネのトラッキングから、標準的な顔面トラッキングアルゴリズムに切り替える。
【００４８】
図１０は、一実施形態によるプロセス１０００を示すフローチャートの例を示す。このプロセスは、コンピュータまたは他の機械において自動化することができ、ソフトウェア、ファームウェアにコーディングされるか、または機械可読命令としてハードコーディングされ、命令を実装することができる１つ以上のプロセッサで実行されうる。操作１００２において、ユーザの顔の特徴を分析することにより、カメラを使用してユーザの頭部がトラッキングされる。操作１００４において、第１環境光レベルが測定される。操作１００６において、第１環境光レベルがしきい値を外れていると判断される。操作１００８において、ユーザが装着しているメガネから反射された光を検出することにより、カメラを使用してユーザの頭部がトラッキングされる。操作１０１０において、第１環境光レベルが第１しきい値を外れているという判断に基づいて、トラッキングが、顔の特徴を分析することによるユーザの頭部のトラッキングと、メガネから反射される検出光を使用するトラッキングとの間で切り替えられる。操作１０１２において、トラッキングに基づいて、ユーザの頭部の位置、向きおよび／または動きが出力される。操作１０１４において、第２環境光レベルが測定される。操作１０１６において、第２環境光レベルが第２しきい値を外れていると判断される。操作１０１８において、第２環境光レベルが第２しきい値を外れているという判断に基づいて、メガネを照らすように構成されたライトがオンまたはオフにされる。
【００４９】
図１１は、一実施形態によるプロセス１１００を示すフローチャートの例を示す。操作１１０２において、ユーザが装着しているメガネから反射された光を検出することにより、カメラを使用してユーザの頭部がトラッキングされる。操作１１０４において、第１環境光レベルが測定される。操作１１０６において、第１環境光レベルがしきい値を外れていると判断される。操作１１０８において、第１環境光レベルがしきい値を外れているという判断に基づいて、メガネを照らすように構成されたライトのオンまたはオフが切り替えられる。操作１１１０において、第２環境光レベルが測定される。操作１１１２において、第２環境光レベルが第２しきい値を外れていると判断される。操作１１１４において、第２環境光レベルが第２しきい値を外れているという判断に基づいて、トラッキングが、顔の特徴を分析することによるユーザの頭部のトラッキングと、メガネから反射される検出光を使用するトラッキングとの間で切り替えられる。
【００５０】
これらの操作は、上記に記載した順序で実行されても、あるいは、可能であれば異なる順序で実行されてもよい。これらの操作は、コンピュータまたは他の機械において自動化することができ、ソフトウェア、ファームウェアにコーディングされるか、または機械可読命令としてハードコーディングされ、命令を実装することができる１つ以上のプロセッサで実行されうる。
【００５１】
図１２は、各種実施形態に係るデバイスを実装するために適切なハードウェアシステムの例を示す。このブロック図は、パーソナルコンピュータ、ビデオゲームコンソールおよび関連するディスプレイ（例えば、図９のビデオゲームコンソール９５４およびディスプレイ９５２）、モバイルデバイス、個人情報端末、または本発明の実施形態を実施するために適切な他のデジタルデバイスなどのコンピュータシステム１２００を示す。コンピュータシステム１２００は、ソフトウェアアプリケーション、および任意選択でオペレーティングシステムを実行するための中央処理装置（ＣＰＵ）１２０５を備える。
ＣＰＵ１２０５は、１つ以上の同種または異種の処理コアから構成されうる。メモリ１２１０は、ＣＰＵ１２０５によって使用されるアプリケーションおよびデータを記憶する。ストレージ１２１５は、アプリケーションおよびデータのための不揮発性ストレージおよびその他のコンピュータ可読媒体を提供し、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイ、ＨＤ−ＤＶＤ、またはその他の光ストレージデバイスのほか、信号伝送および記憶媒体などを備えうる。
ユーザ入力デバイス１２２０は、一人以上のユーザからのユーザ入力をコンピュータシステム１２００に伝達するものであり、その例として、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、静止カメラ、ビデオカメラおよび／またはマイクロフォンなどが挙げられる。ネットワークインタフェース１２２５は、コンピュータシステム１２００が、電子通信ネットワークを介して他のコンピュータシステムと通信できるようにし、これには、ローカルエリアネットワーク、あるいはインターネット等の広域ネットワークを介した有線通信または無線通信などが挙げられる。
音声プロセッサ１２３０は、ＣＰＵ１２０５、メモリ１２１０および／またはストレージ１２１５によって提供される命令および／またはデータからアナログまたはデジタルの音声出力を生成するように適合されている。ＣＰＵ１２０５、メモリ１２１０、データストレージ１２１５、ユーザ入力デバイス１２２０、ネットワークインタフェース１２２５および音声プロセッサ１２３０などのコンピュータシステム１２００の構成要素は、１本以上のデータバス１２３５を介して接続されている。
【００５２】
データバス１２３５およびコンピュータシステム１２００の構成要素に、グラフィックサブシステム１２４０が更に接続されている。グラフィックサブシステム１２４０は、グラフィック処理装置（ＧＰＵ）１２４５およびグラフィックメモリ１２５０を備える。グラフィックメモリ１２５０は、出力画像のピクセルごとにピクセルデータを記憶するために使用されるディスプレイメモリ（例えば、フレームバッファ）を備える。グラフィックメモリ１２５０は、ＧＰＵ１２４５と同じデバイスに一体化されても、別個のデバイスとしてＧＰＵ１２４５と接続されても、メモリ１２１０内に実装されてもよい。ピクセルデータは、ＣＰＵ１２０５からグラフィックメモリ１２５０に直接提供されうる。別の実施形態では、ＣＰＵ１２０５は、所望の出力画像を定義しているデータおよび／または命令をＧＰＵ１２４５に提供し、ＧＰＵ１２４５が、これらから１つ以上の出力画像のピクセルデータを生成する。所望の出力画像を定義しているデータまたは命令は、メモリ１２１０および／またはグラフィックメモリ１２５０に記憶されうる。一実施形態では、ＧＰＵ１２４５は、シーンの形状、照明、陰影、テクスチャリング、動きおよび／またはカメラパラメータを定義する命令およびデータから、出力画像のピクセルデータを生成するための３Ｄレンダリング機能を備える。ＧＰＵ１２４５は、シェーダープログラムを実行することができる１つ以上のプログラム可能な実行ユニットを更に備えうる。
【００５３】
グラフィックサブシステム１２４０は、グラフィックメモリ１２５０からの画像をディスプレイ装置１２５５に表示させるために、ピクセルデータを周期的に出力する。ディスプレイ装置１２５５はコンピュータシステム１２００からの信号を受けて、視覚的情報を表示することができる装置であればどのようなものであってもよく、ＣＲＴ、ＬＣＤ、プラズマディスプレイおよびＯＬＥＤディスプレイなどを備える。コンピュータシステム１２００は、ディスプレイ装置１２５５にアナログまたはデジタルの信号を提供しうる。
【００５４】
各種実施形態によれば、ＣＰＵ１２０５は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。更に別の実施形態は、メディアアプリケーションおよびインタラクティブエンタテインメントアプリケーションなどの高度にパラレルであり、演算量の多いアプリケーションに特に適合されたマイクロプロセッサアーキテクチャを備えた１つ以上のＣＰＵを使用して実装することができる。
【００５５】
異なる実施形態では、システムの構成要素が、ネットワークを介して接続されてもよく、このネットワークは、インターネット、ＩＰネットワーク、イントラネット、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、仮想私設ネットワーク（ＶＰＮ）、公衆電話網（ＰＳＴＮ）、あるいは、ここに記載したデバイス間のネットワークをサポートしている他の任意のタイプのデータ通信のうちの、どのような組み合わせでもよい。ネットワークは、光リンクを含め、有線接続でも無線接続でもよい。多くの他の例が可能であり、本開示を考慮すれば当業者にとって明らかであろう。ここでの説明では、ネットワークについては特に留意しても、しなくてもよい。
【００５６】
上記の方法、システムおよびデバイスは単に例示に過ぎないという点に留意すべきである。各種実施形態では、適宜、さまざまな手順または構成要素を省略したり、置き換えたり、追加することができる点を強調する必要がある。例えば、別の実施形態では、方法が記載した順序と異なる順序で実行され、さまざまなステップを追加、省略したり組み合わせてもよい点に留意すべきである。また、特定の実施形態に関して記載した特徴を、さまざまな他の実施形態に組み合わせてもよい。実施形態の異なる態様および要素を、同様に組み合わせてもよい。また、技術は進歩するため、構成要素の多くは例であり、本発明の範囲を限定するものと解釈されるべきでないという点を強調する必要がある。
【００５７】
実施形態を完全に理解できるように、本説明において特に詳細に記載した。しかし、このような特定の事項がなくても実施形態を実施することができることは、当業者であれば理解するであろう。例えば、実施形態を曖昧にするのを避けるために、公知の回路、プロセス、アルゴリズム、構造および技術については不要な詳細な記載を行わなかった。
【００５８】
また、実施形態が、フローチャートまたはブロック図として図示されるプロセスとして記載することができる点に留意されたい。これらはそれぞれ、操作を逐次的なプロセスとして記載するものであるが、操作の多くは、並列に実行したり、あるいは同時に実行することができる。また、操作の順序を並び替えることもできる。図示されていない追加のステップがプロセスに含まれてもよい。
【００５９】
また、ここに開示するように、「メモリ」または「メモリユニット」との用語は、データを記憶するための１つ以上のデバイスを表すことができ、これには、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ＲＡＭ、コアメモリ、磁気ディスク記憶媒体、光メモリ媒体、フラッシュメモリデバイス、あるいは、情報を記憶するための他のコンピュータ可読媒体などがある。「コンピュータ可読媒体」との用語は、ポータブルまたは固定ストレージデバイス、光ストレージデバイス、無線チャネル、シムカード、その他のスマートカード、あるいは、命令またはデータを記憶、格納または実行することができる他の各種媒体を含むが、これらに限定されない。
【００６０】
更に、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその任意の組合せによって実装することができる。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードにおいて実装される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントが、記憶媒体などのコンピュータ可読媒体に記憶されうる。プロセッサが必要なタスクを実行しうる。
【００６１】
いくつかの実施形態を記載したが、本発明の趣旨を逸脱しない範囲で、さまざまな変更、代替の構造および均等物を使用することができることを、当業者は認めるであろう。例えば、上記の要素が、単に、より大きなシステムの構成要素であり、他の規則が優先されても、本発明の用途を変更するために、別の方法で変更されてもよい。また、上記の要素の前、間、またはその後に実行される複数のステップを考察することができる。したがって、上記の説明は、本発明の範囲を限定するものとして解釈すべきではない。
【技術分野】
【０００１】
（関連出願への相互参照）
本願は、同一発明者による同日出願の「照明された光導体を備えた３−Ｄメガネ（3-D Glasses With Illuminated Light Guide）」（代理人整理番号０２６３４０−００８１００ＰＣ）に関連しており、その全体を、あらゆる目的のために参照により援用する。
本発明の実施形態は、一般に、カメラベースの頭部トラッキングに関し、より詳細には、３−Ｄビデオディスプレイおよびビデオゲームエンタテインメントデバイスと共に使用するための、各種の光条件におけるカメラベースの頭部トラッキングに関する。
【背景技術】
【０００２】
技術の進歩に伴い、ビデオゲームが、より没頭しやすいものへと進化を遂げている。ビデオゲームコンソールは、多くの場合、最新のプロセッサ、極めて高速なメモリ、およびハイエンドのグラフィックカードを備えて製造されている。入力コントローラは、単純なノブ、ジョイスティックおよびボタンをベースとしたコントローラから、ユーザが手に持って振ったり、装着できる加速度計対応コントローラへと進化を遂げた。
【０００３】
別の入力技術としては、通常、テレビの上に搭載されたカメラを利用し、頭、胴体、腕および脚のトラッキングなど、ユーザの身体をトラッキングするものがある。ユーザは、自身の身体または身体の一部を動かすことによって、このようなビデオゲームを制御することができる。例えば、スケートボードゲームのプレーヤが、仮想の橋をくぐり抜けるように身を屈めることが挙げられる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
三次元（３−Ｄあるいは３Ｄ）テレビは、ディスプレイ画面内の事象にユーザが没頭できるように支援する。このような３−Ｄテレビ用に、ユーザは３−Ｄメガネを装着することがある。初期の３−Ｄメガネは、立体画像用に赤いレンズと青いレンズとを備えていた。シャッター３−Ｄメガネは、左右の画像を素早く表示するディスプレイと同期して、不透過と透過とが迅速に切り替わるレンズを備える。他のタイプの３−Ｄ表現技術も存在する。これらの技術の多くは、見ている人の脳に、立体画像を３−Ｄ環境として誤って解釈させるために、その人の左眼と右眼とに別の二次元画像を、同時に見せるか、あるいは極めて素早く（例えば６０Ｈｚで）交互に見せるという点で似ている。
【０００５】
３−Ｄディスプレイ技術を利用したビデオゲームは、画面上の３−Ｄ効果を使用することにより、プレーヤをゲームにのめり込ませることができる。更に、身体トラッキングを備えたビデオゲームコンソールは、３−Ｄ効果を使用して、実世界でのプレーヤの実際の動きを、表示中の仮想世界内でのユーザの仮想的な動きと連動させることができる。頭部トラッキングは、ユーザの頭部の位置に基づいてレンダリングを行うゲームでは極めて重要となりうる。例えば、ユーザがリビングルームのテレビのほうに進むと、ビデオゲームコンソールは、３−Ｄの仮想の薪の山を、ユーザが薪の山に近づいているかのようにテレビにレンダリングすることができる。
【０００６】
このため、視聴者または他のユーザの頭部の位置、向きおよび動きをトラッキングすることは、一部のビデオゲーム、特に、頭部トラッキングを使用してユーザの近くの３−Ｄ物体をレンダリングするビデオゲームでは、非常に重要となりうる。平均的な消費者にとって高価過ぎない、より信頼性の高い頭部トラッキングが当業界において求められている。
【課題を解決するための手段】
【０００７】
本開示の方法、デバイスおよびシステムは、３−Ｄテレビ用の３−Ｄメガネなどのメガネを着用しているユーザの、カメラベースの頭部トラッキングに関する。明るい光の下では、カメラは、顔面トラッキングソフトウェアを使用してユーザの頭部をトラッキングする。中間程度に明るい光の下では、カメラは、利用可能な光を使用して、メガネ上の反射ステッカーまたは他の材料を介してユーザの頭部をトラッキングする。暗い光条件あるいは無光条件では、カメラは、発光ダイオード（ＬＥＤ）ライトで照らしたメガネに取り付けた再帰反射器等などの反射材料によってユーザの頭部をトラッキングする。環境光が不足しているか多過ぎるかに応じて、ＬＥＤが、ビデオゲームコンソールまたは他の頭部追跡システムから遠隔制御されうる。
【０００８】
ここに記載する方法、デバイスおよびシステムの技術的利点は、信頼性が高い一方で、大量生産が可能な程度に十分にシンプルな、各種の光条件における顔面トラッキングを備える。既存の３−Ｄメガネも、反射テープまたは他の反射材料を使用して改造することができ、既存の頭部トラッキングアルゴリズムソフトウェアを備えたビデオゲームコンソールは、ソフトウェアまたはファームウェアの更新により再プログラムすることができる。点滅するランプまたは正常ではない色ピークとなっているフィラメントを備えたランプからの光など、顔面トラッキングへの伝達が低い光の下では、頭部トラッキングの「サービス品質」（ＱｏＳ）を改善するために、環境光条件に連動して、メガネの反射テープのトラッキングへの切り替えが、自動的にあるいは手動で行われうる。例えば、劇場の暗いステージで新しいビデオゲームのデモを行うプレゼンタは、反射テープによるトラッキングを起動することができる。別の例として、ナトリウム灯の下で明るく照明されている大ホールのステージ上で同じビデオゲームのデモを行うプレゼンタは、顔面のトラッキング技術を起動することができる。
【０００９】
本開示の一実施形態は、ユーザの頭部のカメラトラッキングを改善する方法に関し、前記方法は、前記ユーザの顔の特徴を分析することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、第１環境光レベルを測定するステップと、前記第１環境光レベルがしきい値を外れていると判断するステップと、前記ユーザが装着しているメガネから反射された光を検出することにより、前記カメラを使用して前記ユーザの頭部をトラッキングするステップと、前記第１環境光レベルが前記第１しきい値を外れているという前記判断に基づいて、顔の特徴を分析することによる前記ユーザの頭部のトラッキングと、前記メガネから反射される検出光を使用するトラッキングとを切り替えるステップと、を有する。前記方法は、更に、前記トラッキングに基づいて、前記ユーザの頭部の位置、向きまたは動きを出力するステップを有する。
【００１０】
一実施形態は、ユーザの頭部をトラッキングするためのシステムに関し、前記システムは、カメラと、メガネと、前記カメラに動作可能に結合されたプロセッサと、を有し、前記プロセッサは、顔面トラッキングアルゴリズムを使用してユーザの頭部をトラッキングし、前記ユーザの顔面に装着された前記メガネからの反射光を検出することによって、前記頭部をトラッキングし、環境光の第１しきい値に基づいて、前記顔面トラッキングアルゴリズムを使用するトラッキングと、前記メガネからの前記反射光を使用するトラッキングとを切り替えるように動作可能である。
【００１１】
一実施形態は、ユーザの頭部のカメラトラッキングを改善する方法に関し、前記方法は、ユーザが装着しているメガネから反射された光を検出することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、第１環境光レベルを測定するステップと、前記第１環境光レベルが第１しきい値を外れていると判断するステップと、前記第１環境光レベルが前記第１しきい値を外れているという前記判断に基づいて、前記メガネを照らすように構成されたライトのオンまたはオフを切り替えるステップと、を有する。
【００１２】
一実施形態は、ユーザの頭部をトラッキングするためのシステムに関し、前記システムは、カメラと、メガネと、前記メガネを照らすように構成されたライトと、前記カメラに動作可能に結合されたプロセッサと、を有し、前記プロセッサは、前記ユーザの顔面に装着された前記メガネからの反射光を検出することによって、前記頭部をトラッキングし、環境光のしきい値に基づいて、前記ライトのオンまたはオフを切り替えるように動作可能である。
【００１３】
一実施形態は、ユーザの頭部のカメラベースのトラッキングを改善するための方法に関し、前記方法は、前記ユーザの顔の特徴を分析することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、第１環境光レベルを測定するステップと、前記第１環境光レベルが第１しきい値を外れていると判断するステップと、前記ユーザが装着しているメガネから反射された光を検出することにより、前記カメラを使用して前記ユーザの頭部をトラッキングするステップと、顔の特徴を分析することによる前記ユーザの頭部のトラッキングと、前記メガネから反射される検出光を使用するトラッキングとを切り替えるステップと、を有する。前記方法は、第２環境光レベルを測定するステップと、前記第２環境光レベルが第２しきい値を外れていると判断するステップと、前記第２環境光レベルが前記第２しきい値を外れているという前記判断に基づいて、前記メガネを照らすために使用されるライトをオンまたはオフするステップと、を更に有する。
【００１４】
前記実施形態では、任意に、前記第１環境光レベルが、前記第１しきい値を下回ると判断され、前記切り替えは、顔の特徴を分析することによるトラッキングから、前記メガネから反射される検出光を使用するトラッキングへの切り替えであり、前記第２環境光レベルが、前記第２しきい値を下回ると判断され、前記ライトがオンされる。前記実施形態の別の選択肢として、前記第１環境光レベルが、前記第１しきい値を上回ると判断され、前記切り替えは、前記メガネから反射される検出光を使用するトラッキングから、顔の特徴を分析することによるトラッキングへの切り替えであり、前記第２環境光レベルが、前記第２しきい値を上回ると判断され、前記ライトがオフされる。
【００１５】
他の実施形態は、上に記載した方法のための命令を記憶または実行する機械可読有形ストレージ媒体およびコンピュータシステムに関する。
【図面の簡単な説明】
【００１６】
【図１】一実施形態による、複数の光条件における頭部トラッキング方法を示す。
【図２】一実施形態による３−Ｄメガネを示す。
【図３】一実施形態による、明るく照らされているユーザの顔の図を示す。
【図４】一実施形態による、コンピュータによって識別された図３の顔認識特徴を示す。
【図５】一実施形態による、メガネを装着した暗い光でのユーザの顔面の図を示す。
【図６】一実施形態による、コンピュータによって識別された図５のメガネフレームを示す。
【図７】一実施形態による、照明されているメガネを装着している、光が当たっていないユーザの顔面の図を示す。
【図８】一実施形態による、コンピュータによって識別された図７の自己照明メガネフレームを示す。
【図９】一実施形態による、ビデオゲームコンソールのための頭部トラッキングを示す。
【図１０】一実施形態によるプロセスを示すフローチャートである。
【図１１】一実施形態によるプロセスを示すフローチャートである。
【図１２】本発明の実施形態と共に使用するために適切なコンピュータシステムの例である。
【発明を実施するための形態】
【００１７】
本発明の性質および利点については、添付の図面を参照することにより更に深く理解することができる。添付の図面においては、同様の構成要素または特徴には、同じ参照符号が付されていることがある。
【００１８】
ここで図面を使用して、本発明に係る異なる実施形態を示す。図面は、実施形態の特定の例であり、実施形態を限定するものと解釈すべきではなく、例示的な形態および手順を示すものである。
【００１９】
本開示は、カメラを使用するユーザの頭部のトラッキングに関する。トラッキングは、３−Ｄビデオゲーム、３−Ｄ映画、テレビ番組または他のビデオ、あるいは、頭部トラッキングが望ましいその他の状況（例えば、戦闘機のパイロットの頭部トラッキング）と連動しうる。明るい光の下では、カメラは、顔面トラッキングアルゴリズムを使用してユーザの頭部をトラッキングする。中間の明るさの光の下では、カメラは、利用可能な光を使用して、メガネに一体化されているか、メガネに貼り付けられた材料を介してユーザの頭部をトラッキングする。薄暗い条件または完全に暗い条件では、カメラは、同じメガネの反射材料を介してユーザの頭部をトラッキングするが、その際、反射材料を小型ライト（例えばＬＥＤ）で照らす。
【００２０】
メガネのフレームの左右の角に２つのＬＥＤを取り付けるなど、フレームの角に複数のＬＥＤを取り付けることにより、メガネの反射材料を照らすことができる。ＬＥＤの明るさは、ビデオゲームコンソールなどのホストコンソールによって遠隔制御されうる。非常に暗い条件下で、カメラが反射材料を検出できない場合、ホストコンソールは遠隔制御により各ＬＥＤを別個にオンにして、明るさを調整することができる。各ＬＥＤをフレームの前面からわずかに突き出させて取付けて、フレーム表面で光が反射されるようにすることで、表面反射を増やすことができる。一部の実施形態では、ＬＥＤの明るさが、明る過ぎてユーザの体験を妨害することがないが、カメラによって検出可能な良好な反射が得られるように厳密に調整される。
【００２１】
非常に強い光条件下では、反射したメガネフレームを検出できないことがある。しかし、その場合、カメラは、顔の特徴点を検出するなど、従来の顔検出技術によって頭部をトラッキングすることができる。この技術は、良好な光条件では極めて信頼性が高い。
【００２２】
カメラに一体化されているか、あるいはカメラとは別個のコントローラが、カメラ入力に基づいて、多くのリビングルーム環境の光条件をシームレスに検出するためのＱｏＳ制御を提供することができる。その際、（ａ）光が強過ぎてメガネフレームの反射を検出できないであろう場合、顔の特徴検出／トラッキングを起動し、（ｂ）弱い光では、メガネフレームの反射に基づいて頭部の動きを検出し、（ｃ）暗過ぎる場合、フレーム反射を増やすために、小型ＬＥＤを点灯させ、その明るさを調整する。このＱｏＳは、ユーザの干渉なしでコントローラユニットによって自動化されていても、ユーザによって設定されてもよい。
【００２３】
一部の実施形態では、視聴者／プレーヤの３−Ｄ体験をよりリアルにすべく、ゲーム内カメラをフィードするために、検出された頭部の動きが使用されうる。別の実施形態では、検出された頭部の動きが、ビデオゲームに対する入力に使用されてもよい。
【００２４】
図１は、複数の光条件における頭部トラッキング方法を示す。明るい環境光１０２では、ユーザの頭１１４が、ユーザの顔１０４をトラッキングする顔面トラッキングアルゴリズムによってトラッキングされる。この場合、ユーザは、メガネ１０６を装着しても、装着しなくてもよい。中間の明るさの環境光１０８では、ユーザの頭１１４は、メガネ１０６から反射される光をトラッキングすることによってのみトラッキングされる。暗い光１１０の場合または無光の場合、ユーザの頭１１４が、メガネ１０６に搭載されている４つのＬＥＤ１１２から発っしてメガネ１０６で反射された光をトラッキングすることによってトラッキングされる。
【００２５】
図２は、一実施形態による３−Ｄメガネを示す。非３−Ｄのメガネも使用することができるが、ここの説明では３−Ｄメガネについて記載する。３−Ｄメガネ２００は、フレーム２１６、右レンズ２１８、および左レンズ２２０を有する。左右のレンズ２１８／２２０は、３−Ｄテレビなどの３−Ｄディスプレイと同期して、透過と不透過とをシャッターにより切り替える。３−Ｄメガネ２００は、高反射面２２２を有する。高反射面２２２は、作製済みのフレームに貼り付けた反射テープ、既存のフレームに塗布した塗料、あるいは、フレームの材料に一体化させた表面などを有してもよい。
【００２６】
「高反射」材料には、通常の反射率よりも反射率が高い材料が含まれ、例えば、白および／または銀の塗料、ならびにビーズタイプのシートおよびマイクロプリズムシートなどがある。高反射材料は、改正国際海上人命安全条約（ＳＯＬＡＳ）７４／８３、米国材料試験協会（ＡＳＴＭ）Ｄ４９５６、および／または米国運輸省の反射率規格に準拠した反射テープおよび反射シートを含む。メガネに設けるストリップ状または他の形状の高反射材料として、再帰反射器を使用することができる。
【００２７】
３−Ｄメガネ２００は、右上ライト２２４、右下ライト２２６、左上ライト２２８および左下ライト２３０を有する。ライト２２４，２２６，２２８，２３０は、３−Ｄメガネ２００前面から出て、フレーム２１６に戻って光ることにより、反射材料２２２で光るように構成されている。
【００２８】
例示的実施形態では、ライト２２４，２２６，２２８，２３０は、異なる時点で、高反射面２２２に異なる強度の光を提供するように、個々に制御することができる。例えば、ライト２２４をオンまたは点灯し、ライト２２６，２２８，２３０をオフにしたままにすることによって、低い光レベルを作り出すことができる。ライト２２４に加えてライト２２８をオンにし、ライト２２６，２３０をオフにしたままにすることによって、光をわずかに増やすことができる。同様にライト２２６，２３０を段階的にオンにして、５段階の照明レベル（すなわち、ライト無点灯、ライト１つを点灯、ライト２つを点灯、ライト３つを点灯、ライト４つを点灯）を提供することができる。更に、光レベルを所定の範囲内でほぼ無限に選択できるように、必要に応じて各ライトの明るさを落としてもよい。
【００２９】
メガネを着用しているユーザの気が散らないように、ライト２２４，２２６，２２８，２３０は、個々に制御することができる。例えば、３−Ｄメガネの左レンズ２２０がシャッター閉、すなわち不透過になった瞬間、ライト２２８，２３０が点灯されうる。左のレンズ２２０がシャッター開、すなわち透過になると、ライト２２８，２３０が消灯されうる。同様に、右のレンズ２１８が不透過のときに、ライト２２４，２２６がオンにされ、右のレンズ２１８が透過のときに、ライト２２４，２２６がオンにされうる。このように、ライトの動作周期は、そのライトの近くにあるレンズに同期される。これにより、メガネ２２０を着用しているユーザの気を散らすのを防ぐことができるのみならず、この動作周期により、ライトを点灯するために必要な電力を省力化することができる。
【００３０】
メガネは、ＬＥＤからの光をフレーム全体に行き渡らせるために、ポリメタクリル酸メチル（ＰＭＭＡ）などの導光板（ＬＧＰ）材料を含んでもよい。ライトは、フレームの前面全体で光る代わりに、「エッジ発光」ＬＥＤとして、ＬＧＰを直接向いていてもよい。ＬＧＰは色付きでも、無着色でもよく、フレーム全体が照らされるように光をわずかに分散させてもよい。色を変えることで、カメラに対して、プレーヤが異なることを示すことができる。関連出願「照明された光導体を備えた３−Ｄメガネ（3-D Glasses With Illuminated Light Guide）」（代理人整理番号０２６３４０−００８１００ＰＣ）は、本明細書の実施形態に使用することができるメガネの異なる構成を示す。
【００３１】
着用しているユーザの気が散ることを防ぐように、ライト２２４，２２６，２２８，２３０は、一般的な電荷結合デバイス（ＣＣＤ）カメラからは可視であるが、肉眼では見えない近赤外線を用いる近赤外ＬＥＤでもよい。この場合、高反射面２２２から反射される光は、カメラからは見ることができるが、ユーザから見ることができない。
【００３２】
図３は、明るく照らされているユーザの顔の図を示す。ユーザの頭１１４および／または顔１０４が、太陽、通常のオフィスレベルの室内照明（例えば、１平方フィートあたり１００ルーメン超）、または他の比較的明るい光条件によって照らされている。ユーザの顔１０４は、目３３２（本図では３−Ｄメガネ１０６によって覆われている）、鼻３３４、口３３６などの顔の特徴を有する。当業界で周知のように、他の顔の特徴または頭の特徴をトラッキングしてもよい。例えば、ユーザの耳たぶが、他の特徴と共にトラッキングされてもよい。
【００３３】
図４は、コンピュータによって識別された図３の顔認識特徴を示す。目の領域４３８は目３３２と関連付けられ、鼻の領域４４０は鼻３３４と関連付けられ、口の領域４４２は口３３６と関連付けられる。顔面トラッキングのための他の方法および特徴も考察され、当業者は、本開示を考慮に入れれば、顔面トラッキングアルゴリズムを利用可能なことを認めるであろう。
【００３４】
図５は、メガネを装着した暗い光でのユーザの顔面の図を示す。ユーザの頭１１４および／または顔が、薄暗いリビングルームのランプ、月、あるいは、ただ単に、明るいディスプレイ画面の光によって照らされている。高反射フレームを備えたメガネ１０６は暗い中でも識別可能である。
【００３５】
図６は、コンピュータによって識別された図５のメガネフレームを示す。フレーム領域６４４は、フレーム１０６と関連付けられる。フレームの空間的識別および向きの特定を改善するために、フレームの角部でフレームの反射率が急峻に定められてもよい。
【００３６】
図７は、照明されているメガネを装着している、光が当たっていないユーザの顔面の図を示す。ユーザの顔が、ほぼ全く認識できず、環境光は実質的に存在しない。３−Ｄメガネ１０６の高反射面を反射させるために、ライト１１２が給電されるか、ほかの方法でオンにされる。一部の実施形態では、エッジ照明ＬＥＤが、メガネフレーム内のＬＧＰを照らす。
【００３７】
図８は、コンピュータによって識別された図７の自己照明メガネフレームを示す。フレーム領域６４４は、ライト１１２によって照らされているフレーム１０４と関連付けられる。ライト自体は基準点として機能し、領域６４６がライト１１２の位置と関連付けられる。一部の実施形態では、ライトがカメラによって容易にトラッキングされるように、ライトが小さくシャープに定められる。
【００３８】
図９は、ビデオゲームコンソールのための頭部トラッキングを示す。メガネ９０６を装着しているプレーヤの頭９１４は、時間ｔ１では、ある位置および向きをとり、時間ｔ２では別の位置および向きをとり、時間ｔ３では更に別の位置および向きをとっている。頭９１４は、時間ｔ１〜ｔ３の間に下に動き、右を向いている。プレーヤは、従来のゲームコントローラ９５０を使用してビデオゲームをプレイするか、身体の動きのみを使用してゲームを制御するか、この両方を行なうことができる。本実施形態では、ディスプレイ９５２の上に搭載されているカメラ９４８が、ユーザの位置と動きとをキャプチャし、これらをゲームコンソール９５４に送る。顔面トラッキングアルゴリズムは、カメラ９４８に搭載されているか、またはゲームコンソール９５４のソフトウェアまたはハードウェアに組み込まれていてもよい。別の実施形態では、トラッキングロジックが別個のデバイスに搭載されていてもよい。
【００３９】
プレーヤが頭を揺らして、ゲームを楽しむと、カメラ９４８は顔面トラッキング技術を使用してプレーヤの頭９１４をトラッキングする。しかし、場合によっては、カメラ９４８がユーザの顔の特徴を認識するには、環境光の強度が不足していることがある。例えば、ゲームの体験に、より深く没頭できるようにプレーヤかそのルームメートが、照明を消し、カーテンを引いて閉めることがある。光条件が悪化すると、ゲームコンソール９５４およびカメラ９４８とは別個の光センサ９５６が、環境光が不足していることを検出または測定して、ゲームコンソール９５４に信号を送信する。ゲームコンソール９５４は、測定された環境光レベルをしきい値と比較する。このしきい値は、カメラまたはコンソールの出荷時の設定に事前設定されても、ユーザによって設定または調整されてもよい。この比較時に、ゲームコンソール９５４は、環境光レベルがしきい値を外れていると判断する。次に、ゲームコンソール９５４は、ユーザの頭１１４をトラッキングするための顔面トラッキングアルゴリズムから、メガネフレームのトラッキングアルゴリズムに移行させるか切り替える。トラッキングした頭の動きは、３−Ｄ画像をレンダリングする等のためのゲームの入力として使用されうる。
【００４０】
「しきい値を外れる」とは、しきい値が示すよりも遠い（しきい値よりも高い場合、しきい値よりも低い場合のいずれも）値を含む。例えば、しきい値が上限または最大値を規定している場合、値９はしきい値１０を外れていない。しかし、このしきい値上限の場合には、値１１はしきい値を外れている。逆に、しきい値が下限または最小値を規定している場合、値１１はしきい値１０を外れていない。このしきい値下限の場合には、値９はしきい値１０を外れている。
【００４１】
引いたカーテンの周りに漏れる外の光が夕暮れと共に暗くなるなど、部屋が一層暗くなった場合、光センサ９５６は、環境光の一層の不足を検出する。その場合、光センサ９５６はゲームコンソール９５４に信号を送信し、ゲームコンソール９５４は、ライト９１２をオンにするために、メガネ９０６に（無線）信号を送信する。必要な光量に応じて、メガネ９０６のライト９１２のうちの１、２、３つ、あるいは４つ全部が点灯されうる。
【００４２】
例示の実施形態では、光センサ９５６は、カメラ９４８とは別個であり、独立している。このことは、カメラがディスプレイの近くに存在し、ディスプレイの表示内容によって、カメラで測定される環境光が変動する状況で有用である。例えば、ディスプレイの大部分が白い画面の場合には、ディスプレイから発せられている白色光を、カメラが環境光として測定することがある。この白い画面が一時的なものである場合には、カメラが環境光を過剰に測定してしまうことから問題が生じることがある。
【００４３】
一部の実施形態では、環境光がカメラ９４８で測定され、別個の光検出デバイスが不要とされてもよい。カメラ９４８によって検出された光の平均または中央値が、室内の環境光レベルとして取得されうる。
【００４４】
別の実施形態では、より多くの光が必要かどうかの判定に、トラッキングアルゴリズム自体が使用されてもよい。例えば、トラッキングアルゴリズムが、ユーザの頭の位置を９０％以上の信頼度でトラッキングしている場合、光の変更は不要である。しかし、信頼度が５０％未満に低下した場合、アルゴリズムが切り替えられるか、あるいはライト９１２が点灯されうる。より多くの環境光が必要である（または、環境光を減らす必要がある）ことを決定するために、頭部トラッキングの信頼度の関数として取得されるか、あるいは、単純なフレーム毎の顔面を認識できない「エラー」として取得されるエラー率が、使用されうる。
【００４５】
ライトは、例示的な実施形態に示すメガネ９０６のライト９１２のように、メガネ上に設けられても、メガネの外に設けられてもよい。メガネの外に設けられるライトの例として、カメラ上に配置され、ユーザに向けられるライトがある。ライトは、ユーザからは見えず、このためユーザの気を散らすことのないように、近赤外灯でもよい。
【００４６】
また、環境光が明るくなることもある。例えば、プレーヤの母親が照明を点けた場合、カメラが受ける光量が飽和し、頭部トラッキングを妨害することがある。この場合、光センサ９５６はゲームコンソール９５４に信号を送信し、ゲームコンソール９５４は、ライト９１２をオフにするためにメガネ９０６に信号を送信する。
【００４７】
環境光が強過ぎて、メガネが見えなくなりトラッキングが困難な場合、ゲームコンソール９５４は、高反射メガネのトラッキングから、標準的な顔面トラッキングアルゴリズムに切り替える。
【００４８】
図１０は、一実施形態によるプロセス１０００を示すフローチャートの例を示す。このプロセスは、コンピュータまたは他の機械において自動化することができ、ソフトウェア、ファームウェアにコーディングされるか、または機械可読命令としてハードコーディングされ、命令を実装することができる１つ以上のプロセッサで実行されうる。操作１００２において、ユーザの顔の特徴を分析することにより、カメラを使用してユーザの頭部がトラッキングされる。操作１００４において、第１環境光レベルが測定される。操作１００６において、第１環境光レベルがしきい値を外れていると判断される。操作１００８において、ユーザが装着しているメガネから反射された光を検出することにより、カメラを使用してユーザの頭部がトラッキングされる。操作１０１０において、第１環境光レベルが第１しきい値を外れているという判断に基づいて、トラッキングが、顔の特徴を分析することによるユーザの頭部のトラッキングと、メガネから反射される検出光を使用するトラッキングとの間で切り替えられる。操作１０１２において、トラッキングに基づいて、ユーザの頭部の位置、向きおよび／または動きが出力される。操作１０１４において、第２環境光レベルが測定される。操作１０１６において、第２環境光レベルが第２しきい値を外れていると判断される。操作１０１８において、第２環境光レベルが第２しきい値を外れているという判断に基づいて、メガネを照らすように構成されたライトがオンまたはオフにされる。
【００４９】
図１１は、一実施形態によるプロセス１１００を示すフローチャートの例を示す。操作１１０２において、ユーザが装着しているメガネから反射された光を検出することにより、カメラを使用してユーザの頭部がトラッキングされる。操作１１０４において、第１環境光レベルが測定される。操作１１０６において、第１環境光レベルがしきい値を外れていると判断される。操作１１０８において、第１環境光レベルがしきい値を外れているという判断に基づいて、メガネを照らすように構成されたライトのオンまたはオフが切り替えられる。操作１１１０において、第２環境光レベルが測定される。操作１１１２において、第２環境光レベルが第２しきい値を外れていると判断される。操作１１１４において、第２環境光レベルが第２しきい値を外れているという判断に基づいて、トラッキングが、顔の特徴を分析することによるユーザの頭部のトラッキングと、メガネから反射される検出光を使用するトラッキングとの間で切り替えられる。
【００５０】
これらの操作は、上記に記載した順序で実行されても、あるいは、可能であれば異なる順序で実行されてもよい。これらの操作は、コンピュータまたは他の機械において自動化することができ、ソフトウェア、ファームウェアにコーディングされるか、または機械可読命令としてハードコーディングされ、命令を実装することができる１つ以上のプロセッサで実行されうる。
【００５１】
図１２は、各種実施形態に係るデバイスを実装するために適切なハードウェアシステムの例を示す。このブロック図は、パーソナルコンピュータ、ビデオゲームコンソールおよび関連するディスプレイ（例えば、図９のビデオゲームコンソール９５４およびディスプレイ９５２）、モバイルデバイス、個人情報端末、または本発明の実施形態を実施するために適切な他のデジタルデバイスなどのコンピュータシステム１２００を示す。コンピュータシステム１２００は、ソフトウェアアプリケーション、および任意選択でオペレーティングシステムを実行するための中央処理装置（ＣＰＵ）１２０５を備える。
ＣＰＵ１２０５は、１つ以上の同種または異種の処理コアから構成されうる。メモリ１２１０は、ＣＰＵ１２０５によって使用されるアプリケーションおよびデータを記憶する。ストレージ１２１５は、アプリケーションおよびデータのための不揮発性ストレージおよびその他のコンピュータ可読媒体を提供し、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイ、ＨＤ−ＤＶＤ、またはその他の光ストレージデバイスのほか、信号伝送および記憶媒体などを備えうる。
ユーザ入力デバイス１２２０は、一人以上のユーザからのユーザ入力をコンピュータシステム１２００に伝達するものであり、その例として、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、静止カメラ、ビデオカメラおよび／またはマイクロフォンなどが挙げられる。ネットワークインタフェース１２２５は、コンピュータシステム１２００が、電子通信ネットワークを介して他のコンピュータシステムと通信できるようにし、これには、ローカルエリアネットワーク、あるいはインターネット等の広域ネットワークを介した有線通信または無線通信などが挙げられる。
音声プロセッサ１２３０は、ＣＰＵ１２０５、メモリ１２１０および／またはストレージ１２１５によって提供される命令および／またはデータからアナログまたはデジタルの音声出力を生成するように適合されている。ＣＰＵ１２０５、メモリ１２１０、データストレージ１２１５、ユーザ入力デバイス１２２０、ネットワークインタフェース１２２５および音声プロセッサ１２３０などのコンピュータシステム１２００の構成要素は、１本以上のデータバス１２３５を介して接続されている。
【００５２】
データバス１２３５およびコンピュータシステム１２００の構成要素に、グラフィックサブシステム１２４０が更に接続されている。グラフィックサブシステム１２４０は、グラフィック処理装置（ＧＰＵ）１２４５およびグラフィックメモリ１２５０を備える。グラフィックメモリ１２５０は、出力画像のピクセルごとにピクセルデータを記憶するために使用されるディスプレイメモリ（例えば、フレームバッファ）を備える。グラフィックメモリ１２５０は、ＧＰＵ１２４５と同じデバイスに一体化されても、別個のデバイスとしてＧＰＵ１２４５と接続されても、メモリ１２１０内に実装されてもよい。ピクセルデータは、ＣＰＵ１２０５からグラフィックメモリ１２５０に直接提供されうる。別の実施形態では、ＣＰＵ１２０５は、所望の出力画像を定義しているデータおよび／または命令をＧＰＵ１２４５に提供し、ＧＰＵ１２４５が、これらから１つ以上の出力画像のピクセルデータを生成する。所望の出力画像を定義しているデータまたは命令は、メモリ１２１０および／またはグラフィックメモリ１２５０に記憶されうる。一実施形態では、ＧＰＵ１２４５は、シーンの形状、照明、陰影、テクスチャリング、動きおよび／またはカメラパラメータを定義する命令およびデータから、出力画像のピクセルデータを生成するための３Ｄレンダリング機能を備える。ＧＰＵ１２４５は、シェーダープログラムを実行することができる１つ以上のプログラム可能な実行ユニットを更に備えうる。
【００５３】
グラフィックサブシステム１２４０は、グラフィックメモリ１２５０からの画像をディスプレイ装置１２５５に表示させるために、ピクセルデータを周期的に出力する。ディスプレイ装置１２５５はコンピュータシステム１２００からの信号を受けて、視覚的情報を表示することができる装置であればどのようなものであってもよく、ＣＲＴ、ＬＣＤ、プラズマディスプレイおよびＯＬＥＤディスプレイなどを備える。コンピュータシステム１２００は、ディスプレイ装置１２５５にアナログまたはデジタルの信号を提供しうる。
【００５４】
各種実施形態によれば、ＣＰＵ１２０５は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。更に別の実施形態は、メディアアプリケーションおよびインタラクティブエンタテインメントアプリケーションなどの高度にパラレルであり、演算量の多いアプリケーションに特に適合されたマイクロプロセッサアーキテクチャを備えた１つ以上のＣＰＵを使用して実装することができる。
【００５５】
異なる実施形態では、システムの構成要素が、ネットワークを介して接続されてもよく、このネットワークは、インターネット、ＩＰネットワーク、イントラネット、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、仮想私設ネットワーク（ＶＰＮ）、公衆電話網（ＰＳＴＮ）、あるいは、ここに記載したデバイス間のネットワークをサポートしている他の任意のタイプのデータ通信のうちの、どのような組み合わせでもよい。ネットワークは、光リンクを含め、有線接続でも無線接続でもよい。多くの他の例が可能であり、本開示を考慮すれば当業者にとって明らかであろう。ここでの説明では、ネットワークについては特に留意しても、しなくてもよい。
【００５６】
上記の方法、システムおよびデバイスは単に例示に過ぎないという点に留意すべきである。各種実施形態では、適宜、さまざまな手順または構成要素を省略したり、置き換えたり、追加することができる点を強調する必要がある。例えば、別の実施形態では、方法が記載した順序と異なる順序で実行され、さまざまなステップを追加、省略したり組み合わせてもよい点に留意すべきである。また、特定の実施形態に関して記載した特徴を、さまざまな他の実施形態に組み合わせてもよい。実施形態の異なる態様および要素を、同様に組み合わせてもよい。また、技術は進歩するため、構成要素の多くは例であり、本発明の範囲を限定するものと解釈されるべきでないという点を強調する必要がある。
【００５７】
実施形態を完全に理解できるように、本説明において特に詳細に記載した。しかし、このような特定の事項がなくても実施形態を実施することができることは、当業者であれば理解するであろう。例えば、実施形態を曖昧にするのを避けるために、公知の回路、プロセス、アルゴリズム、構造および技術については不要な詳細な記載を行わなかった。
【００５８】
また、実施形態が、フローチャートまたはブロック図として図示されるプロセスとして記載することができる点に留意されたい。これらはそれぞれ、操作を逐次的なプロセスとして記載するものであるが、操作の多くは、並列に実行したり、あるいは同時に実行することができる。また、操作の順序を並び替えることもできる。図示されていない追加のステップがプロセスに含まれてもよい。
【００５９】
また、ここに開示するように、「メモリ」または「メモリユニット」との用語は、データを記憶するための１つ以上のデバイスを表すことができ、これには、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ＲＡＭ、コアメモリ、磁気ディスク記憶媒体、光メモリ媒体、フラッシュメモリデバイス、あるいは、情報を記憶するための他のコンピュータ可読媒体などがある。「コンピュータ可読媒体」との用語は、ポータブルまたは固定ストレージデバイス、光ストレージデバイス、無線チャネル、シムカード、その他のスマートカード、あるいは、命令またはデータを記憶、格納または実行することができる他の各種媒体を含むが、これらに限定されない。
【００６０】
更に、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはその任意の組合せによって実装することができる。ソフトウェア、ファームウェア、ミドルウェアまたはマイクロコードにおいて実装される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントが、記憶媒体などのコンピュータ可読媒体に記憶されうる。プロセッサが必要なタスクを実行しうる。
【００６１】
いくつかの実施形態を記載したが、本発明の趣旨を逸脱しない範囲で、さまざまな変更、代替の構造および均等物を使用することができることを、当業者は認めるであろう。例えば、上記の要素が、単に、より大きなシステムの構成要素であり、他の規則が優先されても、本発明の用途を変更するために、別の方法で変更されてもよい。また、上記の要素の前、間、またはその後に実行される複数のステップを考察することができる。したがって、上記の説明は、本発明の範囲を限定するものとして解釈すべきではない。
【特許請求の範囲】
【請求項１】
ユーザの頭部のカメラトラッキングのための方法であって、
前記ユーザの顔の特徴を分析することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、
第１環境光レベルを測定するステップと、
前記第１環境光レベルがしきい値を外れていると判断するステップと、
前記ユーザが装着しているメガネから反射された光を検出することにより、前記カメラを使用して前記ユーザの頭部をトラッキングするステップと、
前記第１環境光レベルが前記第１しきい値を外れているという前記判断に基づいて、顔の特徴を分析することによる前記ユーザの頭部のトラッキングと、前記メガネから反射される検出光を使用するトラッキングとを切り替えるステップと、
前記トラッキングに基づいて、前記ユーザの頭部の位置、向きまたは動きを出力するステップと、を有する方法。
【請求項２】
第２環境光レベルを測定するステップと、
前記第２環境光レベルが第２しきい値を外れていると判断するステップと、
前記第２環境光レベルが前記第２しきい値を外れているという前記判断に基づいて、前記メガネを照らすように構成されたライトをオンまたはオフするステップと、
を更に有する請求項１に記載の方法。
【請求項３】
前記ユーザの頭部の前記位置、向きまたは動きに基づいて、３−Ｄシーンをレンダリングするステップを更に有する請求項１に記載の方法。
【請求項４】
前記ユーザの頭部の前記位置、向きまたは動きに基づいて、ビデオゲームにコマンドを出力するステップを更に有する請求項１に記載の方法。
【請求項５】
前記切り替えは、前記トラッキングのエラー率にも基づく請求項１に記載の方法。
【請求項６】
前記第１環境光レベルが、前記第１しきい値を下回ると判断され、前記切り替えは、顔の特徴を分析することによるトラッキングから、前記メガネから反射される検出光を使用するトラッキングへの切り替えである請求項１に記載の方法。
【請求項７】
前記第１環境光レベルが、前記第１しきい値を上回ると判断され、前記切り替えは、前記メガネから反射される検出光を使用するトラッキングから、顔の特徴を分析することによるトラッキングへの切り替えである請求項１に記載の方法。
【請求項８】
前記メガネは高反射材料を含む請求項１に記載の方法。
【請求項９】
前記メガネは３−Ｄメガネである請求項１に記載の方法。
【請求項１０】
前記３−Ｄメガネは、シャッターレンズを有する請求項９に記載の方法。
【請求項１１】
前記測定は、前記カメラとは別個の光センサによって実行される請求項１に記載の方法。
【請求項１２】
ユーザの頭部をトラッキングするためのシステムであって、
カメラと、
メガネと、
前記カメラに動作可能に結合されたプロセッサと、を有し、前記プロセッサは、顔面トラッキングアルゴリズムを使用してユーザの頭部をトラッキングし、前記ユーザの顔面に装着された前記メガネからの反射光を検出することによって、前記頭部をトラッキングし、環境光の第１しきい値に基づいて、前記顔面トラッキングアルゴリズムを使用するトラッキングと、前記メガネからの前記反射光を使用するトラッキングとを切り替えるように動作可能であるシステム。
【請求項１３】
前記メガネを照らすために配置されたライトを更に有し、
前記プロセッサは、環境光の第２しきい値に基づいて、前記ライトをオンまたはオフするように更に構成されている請求項１２に記載のシステム。
【請求項１４】
前記プロセッサに動作可能に結合され、前記環境光を検出するように作動され、前記カメラとは別個の光センサを更に有する請求項１２に記載のシステム。
【請求項１５】
ユーザの頭部のカメラトラッキングを改善するための方法であって、
ユーザが装着しているメガネから反射された光を検出することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、
第１環境光レベルを測定するステップと、
前記第１環境光レベルが第１しきい値を外れていると判断するステップと、
前記第１環境光レベルが前記第１しきい値を外れているという前記判断に基づいて、前記メガネを照らすように構成されたライトのオンまたはオフを切り替えるステップと、を有する方法。
【請求項１６】
第２環境光レベルを測定するステップと、
前記第２環境光レベルが第２しきい値を外れていると判断するステップと、
前記第２環境光レベルが前記第２しきい値を外れているという前記判断に基づいて、顔の特徴を分析することによる前記ユーザの頭部のトラッキングと、前記メガネから反射される検出光を使用するトラッキングとを切り替えるステップと、を更に有する請求項１５に記載の方法。
【請求項１７】
前記ユーザの頭部の位置、向きまたは動きを出力するステップを更に有する請求項１５に記載の方法。
【請求項１８】
前記検出光は、前記メガネのフレームから反射される請求項１５に記載の方法。
【請求項１９】
前記第１環境光レベルが前記しきい値を下回ると判断され、前記ライトがオンされる請求項１５に記載の方法。
【請求項２０】
前記環境光レベルが前記しきい値を上回ると判断され、前記ライトがオフされる請求項１５に記載の方法。
【請求項２１】
ユーザの頭部をトラッキングするためのシステムであって、
カメラと、
メガネと、
前記メガネを照らすように構成されたライトと、
前記カメラに動作可能に結合されたプロセッサと、を有し、前記プロセッサは、前記ユーザの顔面に装着された前記メガネからの反射光を検出することによって、前記頭部をトラッキングし、環境光のしきい値に基づいて、前記ライトのオンまたはオフを切り替えるように動作可能であるシステム。
【請求項２２】
前記ライトは発光ダイオードを有する請求項２１に記載のシステム。
【請求項２３】
前記ライトは前記メガネに取り付けられている請求項２１に記載のシステム。
【請求項２４】
前記ライトは前記カメラに取り付けられている請求項２１に記載のシステム。
【請求項２５】
ユーザの頭部のカメラベースのトラッキングを改善するための方法であって、
前記ユーザの顔の特徴を分析することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、
第１環境光レベルを測定するステップと、
前記第１環境光レベルが第１しきい値を外れていると判断するステップと、
前記ユーザが装着しているメガネから反射された光を検出することにより、前記カメラを使用して前記ユーザの頭部をトラッキングするステップと、
顔の特徴を分析することによる前記ユーザの頭部のトラッキングと、前記メガネから反射される検出光を使用するトラッキングとを切り替えるステップと、
第２環境光レベルを測定するステップと、
前記第２環境光レベルが第２しきい値を外れていると判断するステップと、
前記第２環境光レベルが前記第２しきい値を外れているという前記判断に基づいて、前記メガネを照らすために使用されるライトをオンまたはオフするステップと、を有する方法。
【請求項２６】
前記第１環境光レベルが、前記第１しきい値を下回ると判断され、
前記切り替えは、顔の特徴を分析することによるトラッキングから、前記メガネから反射される検出光を使用するトラッキングへの切り替えであり、
前記第２環境光レベルが、前記第２しきい値を下回ると判断され、
前記ライトがオンされる請求項２５に記載の方法。
【請求項２７】
前記第１環境光レベルが、前記第１しきい値を上回ると判断され、
前記切り替えは、前記メガネから反射される検出光を使用するトラッキングから、顔の特徴を分析することによるトラッキングへの切り替えであり、
前記第２環境光レベルが、前記第２しきい値を上回ると判断され、
前記ライトがオフされる請求項２５に記載の方法。
【請求項１】
ユーザの頭部のカメラトラッキングのための方法であって、
前記ユーザの顔の特徴を分析することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、
第１環境光レベルを測定するステップと、
前記第１環境光レベルがしきい値を外れていると判断するステップと、
前記ユーザが装着しているメガネから反射された光を検出することにより、前記カメラを使用して前記ユーザの頭部をトラッキングするステップと、
前記第１環境光レベルが前記第１しきい値を外れているという前記判断に基づいて、顔の特徴を分析することによる前記ユーザの頭部のトラッキングと、前記メガネから反射される検出光を使用するトラッキングとを切り替えるステップと、
前記トラッキングに基づいて、前記ユーザの頭部の位置、向きまたは動きを出力するステップと、を有する方法。
【請求項２】
第２環境光レベルを測定するステップと、
前記第２環境光レベルが第２しきい値を外れていると判断するステップと、
前記第２環境光レベルが前記第２しきい値を外れているという前記判断に基づいて、前記メガネを照らすように構成されたライトをオンまたはオフするステップと、
を更に有する請求項１に記載の方法。
【請求項３】
前記ユーザの頭部の前記位置、向きまたは動きに基づいて、３−Ｄシーンをレンダリングするステップを更に有する請求項１に記載の方法。
【請求項４】
前記ユーザの頭部の前記位置、向きまたは動きに基づいて、ビデオゲームにコマンドを出力するステップを更に有する請求項１に記載の方法。
【請求項５】
前記切り替えは、前記トラッキングのエラー率にも基づく請求項１に記載の方法。
【請求項６】
前記第１環境光レベルが、前記第１しきい値を下回ると判断され、前記切り替えは、顔の特徴を分析することによるトラッキングから、前記メガネから反射される検出光を使用するトラッキングへの切り替えである請求項１に記載の方法。
【請求項７】
前記第１環境光レベルが、前記第１しきい値を上回ると判断され、前記切り替えは、前記メガネから反射される検出光を使用するトラッキングから、顔の特徴を分析することによるトラッキングへの切り替えである請求項１に記載の方法。
【請求項８】
前記メガネは高反射材料を含む請求項１に記載の方法。
【請求項９】
前記メガネは３−Ｄメガネである請求項１に記載の方法。
【請求項１０】
前記３−Ｄメガネは、シャッターレンズを有する請求項９に記載の方法。
【請求項１１】
前記測定は、前記カメラとは別個の光センサによって実行される請求項１に記載の方法。
【請求項１２】
ユーザの頭部をトラッキングするためのシステムであって、
カメラと、
メガネと、
前記カメラに動作可能に結合されたプロセッサと、を有し、前記プロセッサは、顔面トラッキングアルゴリズムを使用してユーザの頭部をトラッキングし、前記ユーザの顔面に装着された前記メガネからの反射光を検出することによって、前記頭部をトラッキングし、環境光の第１しきい値に基づいて、前記顔面トラッキングアルゴリズムを使用するトラッキングと、前記メガネからの前記反射光を使用するトラッキングとを切り替えるように動作可能であるシステム。
【請求項１３】
前記メガネを照らすために配置されたライトを更に有し、
前記プロセッサは、環境光の第２しきい値に基づいて、前記ライトをオンまたはオフするように更に構成されている請求項１２に記載のシステム。
【請求項１４】
前記プロセッサに動作可能に結合され、前記環境光を検出するように作動され、前記カメラとは別個の光センサを更に有する請求項１２に記載のシステム。
【請求項１５】
ユーザの頭部のカメラトラッキングを改善するための方法であって、
ユーザが装着しているメガネから反射された光を検出することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、
第１環境光レベルを測定するステップと、
前記第１環境光レベルが第１しきい値を外れていると判断するステップと、
前記第１環境光レベルが前記第１しきい値を外れているという前記判断に基づいて、前記メガネを照らすように構成されたライトのオンまたはオフを切り替えるステップと、を有する方法。
【請求項１６】
第２環境光レベルを測定するステップと、
前記第２環境光レベルが第２しきい値を外れていると判断するステップと、
前記第２環境光レベルが前記第２しきい値を外れているという前記判断に基づいて、顔の特徴を分析することによる前記ユーザの頭部のトラッキングと、前記メガネから反射される検出光を使用するトラッキングとを切り替えるステップと、を更に有する請求項１５に記載の方法。
【請求項１７】
前記ユーザの頭部の位置、向きまたは動きを出力するステップを更に有する請求項１５に記載の方法。
【請求項１８】
前記検出光は、前記メガネのフレームから反射される請求項１５に記載の方法。
【請求項１９】
前記第１環境光レベルが前記しきい値を下回ると判断され、前記ライトがオンされる請求項１５に記載の方法。
【請求項２０】
前記環境光レベルが前記しきい値を上回ると判断され、前記ライトがオフされる請求項１５に記載の方法。
【請求項２１】
ユーザの頭部をトラッキングするためのシステムであって、
カメラと、
メガネと、
前記メガネを照らすように構成されたライトと、
前記カメラに動作可能に結合されたプロセッサと、を有し、前記プロセッサは、前記ユーザの顔面に装着された前記メガネからの反射光を検出することによって、前記頭部をトラッキングし、環境光のしきい値に基づいて、前記ライトのオンまたはオフを切り替えるように動作可能であるシステム。
【請求項２２】
前記ライトは発光ダイオードを有する請求項２１に記載のシステム。
【請求項２３】
前記ライトは前記メガネに取り付けられている請求項２１に記載のシステム。
【請求項２４】
前記ライトは前記カメラに取り付けられている請求項２１に記載のシステム。
【請求項２５】
ユーザの頭部のカメラベースのトラッキングを改善するための方法であって、
前記ユーザの顔の特徴を分析することにより、カメラを使用して前記ユーザの頭部をトラッキングするステップと、
第１環境光レベルを測定するステップと、
前記第１環境光レベルが第１しきい値を外れていると判断するステップと、
前記ユーザが装着しているメガネから反射された光を検出することにより、前記カメラを使用して前記ユーザの頭部をトラッキングするステップと、
顔の特徴を分析することによる前記ユーザの頭部のトラッキングと、前記メガネから反射される検出光を使用するトラッキングとを切り替えるステップと、
第２環境光レベルを測定するステップと、
前記第２環境光レベルが第２しきい値を外れていると判断するステップと、
前記第２環境光レベルが前記第２しきい値を外れているという前記判断に基づいて、前記メガネを照らすために使用されるライトをオンまたはオフするステップと、を有する方法。
【請求項２６】
前記第１環境光レベルが、前記第１しきい値を下回ると判断され、
前記切り替えは、顔の特徴を分析することによるトラッキングから、前記メガネから反射される検出光を使用するトラッキングへの切り替えであり、
前記第２環境光レベルが、前記第２しきい値を下回ると判断され、
前記ライトがオンされる請求項２５に記載の方法。
【請求項２７】
前記第１環境光レベルが、前記第１しきい値を上回ると判断され、
前記切り替えは、前記メガネから反射される検出光を使用するトラッキングから、顔の特徴を分析することによるトラッキングへの切り替えであり、
前記第２環境光レベルが、前記第２しきい値を上回ると判断され、
前記ライトがオフされる請求項２５に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公表番号】特表２０１２−５３０２８４（Ｐ２０１２−５３０２８４Ａ）
【公表日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願番号】特願２０１２−５３７８８６（Ｐ２０１２−５３７８８６）
【出願日】平成２２年１０月７日（２０１０．１０．７）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５１８２７
【国際公開番号】ＷＯ２０１２／０４７２２１
【国際公開日】平成２４年４月１２日（２０１２．４．１２）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公表日】平成２４年１１月２９日（２０１２．１１．２９）
【国際特許分類】
【出願日】平成２２年１０月７日（２０１０．１０．７）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５１８２７
【国際公開番号】ＷＯ２０１２／０４７２２１
【国際公開日】平成２４年４月１２日（２０１２．４．１２）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]