仮想環境におけるオブジェクトの選択方法
【課題】ジェスチャコマンドに基づく、簡単であり懇親的なユーザインタフェースを提供すること。
【解決手段】本発明は、第１の仮想環境における第１のオブジェクトの選択方法に関し、第１のオブジェクトは、第１の環境内で、閾値未満の値のサイズで表される。第１のオブジェクトの選択をより懇親的にするために、本方法は、・ユーザの指示ジェスチャに関連づけられた方向（１２０）を推定するステップと、・前記推定された方向（１２０）に従って、第２のオブジェクト（１２）を判定するステップであって、前記第２のオブジェクトは、前記閾値より大きい値のサイズを有する、ステップと、・前記第２の判定されたオブジェクト（１２）に従って、前記第１のオブジェクト（１１２）を選択するステップとを含む。本発明は、選択方法の実装に適合されたマルチメディア端末（１８）にも関する。
【解決手段】本発明は、第１の仮想環境における第１のオブジェクトの選択方法に関し、第１のオブジェクトは、第１の環境内で、閾値未満の値のサイズで表される。第１のオブジェクトの選択をより懇親的にするために、本方法は、・ユーザの指示ジェスチャに関連づけられた方向（１２０）を推定するステップと、・前記推定された方向（１２０）に従って、第２のオブジェクト（１２）を判定するステップであって、前記第２のオブジェクトは、前記閾値より大きい値のサイズを有する、ステップと、・前記第２の判定されたオブジェクト（１２）に従って、前記第１のオブジェクト（１１２）を選択するステップとを含む。本発明は、選択方法の実装に適合されたマルチメディア端末（１８）にも関する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザと仮想環境との間の対話を提供するユーザインタフェースの分野に関し、より詳細には、仮想環境内でユーザを表すアバターの使用に関する。
【背景技術】
【０００２】
従来技術によると、たとえば、ユーザを表すアバターを媒介して、ユーザが、遠く離れた人および／またはオブジェクトと対話することを可能にする様々な通信アプリケーションがある。アバターは、仮想世界の中で展開し、アバターに関連づけられたユーザは、実世界で展開する。遠隔エリアに（たとえば、異なる家、異なる町または異なる国に）位置する様々なユーザは次いで、たとえばオンラインゲーム、ソーシャルウェブなど、１つまたは複数の通信アプリケーションを使って、自身のそれぞれのアバターを媒介して通信することができる。各アプリケーションユーザは、自分の発話および／またはジェスチャおよび／または感情を、アプリケーションの他のユーザに伝えるために転記し直すアバターによって表される。ユーザによって使われる通信アプリケーションが、ＰＣ（パーソナルコンピュータ）タイプのコンピュータに収容されているとき、アバターの制御は当然ながら、たとえば、仮想世界とのユーザ対話が容易に管理されることを可能にするキーボードおよびマウスなど、簡単であり懇親的な制御装置で実施される。ただし、通信アプリケーションが、たとえば、フラットスクリーン（ＬＣＤ、プラズマ）タイプまたは投影スクリーンタイプの表示装置に接続されたセットトップボックスにあるとき、ユーザは通常、自分の居間の肘掛椅子またはソファに座っており、コンピュータで使われるような制御装置の使用は、あまり便利ではない。ユーザと自身のアバターとの間の対話はしたがって、指示装置を用いて実施され得る。Ｇｙｒａｔｉｏｎ Ｃｏｍｐａｎｙによって販売されているようなジャイロ遠隔制御ユニットまたはジャイロマウスは、このような装置の例である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
より懇親的対話が、ユーザに対していかなる装置の操作も要求しないジェスチャ制御インタフェースを使って得られる。こうしたインタフェースタイプでは、デコーダまたはテレビの上に位置づけられた１つまたは複数のカメラがユーザを撮影し、ユーザのジェスチャを取り込み、ジェスチャは、イメージ処理によって分析されて解釈され、関連づけられたコマンドを推論するために、予め定義された語彙により分類される。このユーザインタフェースタイプでは、仮想環境におけるオブジェクトの選択は、どうやっても問題となったままである。実際、テレビ画面上での仮想オブジェクト表現のサイズが縮小されると、指示することによる指定が可能でなくなる。指示の方向の判定が不確実なことにより、概して、指示されるオブジェクトを一義的に検出することができなくなる。
【課題を解決するための手段】
【０００４】
本発明の目的は、従来技術のこうした欠点を克服することである。
【０００５】
より詳細には、本発明の目的は、特に、ジェスチャコマンドに基づく、簡単であり懇親的なユーザインタフェースを提案することである。
【０００６】
本発明は、第１の仮想環境における第１のオブジェクトの選択方法に関し、第１のオブジェクトは、第１の環境内で、閾値未満の値のサイズで表される。本方法は、
・ユーザの指示ジェスチャに関連づけられた方向を推定するステップと、
・推定された方向に従って、第２のオブジェクトを判定するステップであって、第２のオブジェクトは、閾値より大きい値のサイズを有する、ステップと、
・第２の判定されたオブジェクトに従って、第１のオブジェクトを選択するステップとを含む。
【０００７】
有利には、第２のオブジェクトは、実環境に属す。
【０００８】
ある特定の特性によると、第２のオブジェクトは、第２の仮想環境に属す。
【０００９】
具体的特性によると、実環境は、３次元でマップされる。
【００１０】
有利には、第１のオブジェクトは、第１のオブジェクトからなるグループに属し、第２のオブジェクトは、第２のオブジェクトからなるグループに属し、第１のオブジェクトの選択は、各第１のオブジェクトと第２のオブジェクトとの間の関連づけを確立するテーブルの使用を含む。
【００１１】
別の特性によると、本方法は、ビデオカメラおよび奥行き情報の少なくとも１つの項目を使う、指示ジェスチャの取得ステップを含む。
【００１２】
有利には、第２のオブジェクトの判定は、線と、その線が出会う第１の要素との間の交差の算出ステップを含み、線は、その起点として指示ジェスチャを行うユーザの体の部位を、方向として指示ジェスチャに関連づけられた方向を、および配向として指示ジェスチャの配向を有する。
【００１３】
ある特定の特性によると、指示ジェスチャの方向は、指示ジェスチャを行うユーザの体の部位の検出によって、および３次元空間における体の部位の前後軸の推定によって判定される。
【００１４】
本発明は、取り込まれた画像を表す信号の受信用ユニットと、画像の処理ユニットとを備えるマルチメディア端末にも関し、この画像処理ユニットは、
・ユーザの指示ジェスチャに関連づけられた方向を推定する手段と、
・推定された方向に従って第２のオブジェクトを判定する手段であって、第２のオブジェクトは、閾値より大きい値のサイズを有する、手段と、
・第２の判定されたオブジェクトに従って、第１のオブジェクトを選択する手段であって、第１のオブジェクトは、第１の仮想環境に属し、閾値未満の値を有する、手段とを備える。
【００１５】
添付の図面を参照する以下の説明を読むと、本発明がよりよく理解され、他の具体的特徴および利点が明らかになるであろう。
【図面の簡単な説明】
【００１６】
【図１】本発明のある特定の実施形態による、ユーザが自身のアバターを仮想世界において制御する実環境を示す図である。
【図２】本発明のある特定の実施形態による、図１のユーザによって実施されるジェスチャの方向の推定方法を示す図である。
【図３】本発明のある特定の実施形態による、本発明の実装のためのマルチメディア端末の構造を図式的に示す図である。
【図４】本発明のある特定の実施形態による、図３のマルチメディア端末において実装される、仮想環境におけるオブジェクトの選択方法を示す図である。
【発明を実施するための形態】
【００１７】
図１は、仮想環境を使って、仮想環境内でユーザを表すアバター１１０を媒介して遠く離れた対話者と通信するユーザ１０がいる実環境１を示す。仮想環境は、現実の（たとえば、家、庭、公園、建物、町などの映像）もしくは想像上の環境のどのグラフィック表現にも、またはコンピュータによって生成されたイメージによって生成されたどの環境にも、または現実もしくは想像上の環境のどの投影、たとえばホログラフィにも対応する。図１に関して示す実環境１は、ユーザ１０の居間に対応し、ユーザ１０は、自分のソファ１６に座って表示装置（たとえば、プラズマディスプレイパネルやＬＣＤ（液晶ディスプレイ）画面を見ている。ユーザの実環境１に対応するユーザの居間は複数のオブジェクトを備え、具体的には、ソファ１６、２つのオーディオスピーカ１４、１５、ドア１３、肘掛椅子１２、コーヒーテーブル１７、表示装置１１、マルチメディア端末１８（たとえば、デジタルデコーダ、たとえば、衛星または地上波（地上波デジタルテレビＴＮＴ）、ゲームコンソール、マルチメディア電話、ＰＣタブレットなど、ｘＤＳＬゲートウェイに接続され、または接続されないマルチメディア端末）、カメラに統合され、または統合されない奥行きセンサを装備するカメラ１９（たとえば、３Ｄ奥行きウェブカメラ）がある。カメラ１９は、有線または無線接続によってマルチメディア端末１８に接続される。マルチメディア端末１８は、有線または無線接続によって表示装置１１に接続される。ユーザ１０が、自身のアバター１１０を媒介して遠く離れた対話者と通信することを可能にするアプリケーションは、マルチメディア端末に収容され、通信アプリケーションによって表示されるビデオコンテンツは、表示装置１１に表示される。表示装置に表示されるビデオコンテンツは、ユーザ１０を表すアバター１１０が展開する仮想環境１００を表す。仮想環境１００は、１つまたは複数の仮想オブジェクトを備え、特にドア１１２およびテレビ画面１１１がある。有利には、仮想オブジェクトは、現実または想像上のオブジェクトのどのグラフィックまたはホログラフィ表現にも対応し、この実オブジェクトは、当業者に既知のどの手段（たとえば、ビデオカメラ、スチルカメラ）によっても取り込まれ、または画像合成によって生成されている。
【００１８】
仮想環境１００におけるアバター１１０の移動は、ユーザ１０によって制御される。有利には、アバターの移動の制御は、リモコン１３０を介し、移動は、方向キー（↑、↓、←、→）の使用、たとえば、マルチメディア端末１８によって受信されデコードされる、リモコンによって送信される信号によって指令される。別の形態によると、アバターの移動は、ユーザによって送信される音声コマンドによって制御される。音声コマンドは、マルチメディア端末に統合され、またはマルチメディア端末からデポート（ｄｅｐｏｒｔ）され、有線または無線接続によってマルチメディア端末に接続されたマイクロホン（マイクロホンはたとえば、カメラ１９もしくは表示装置１１に統合され、またはマイクロホンは分離した装置である）を介してマルチメディア端末１８によって受信され、次いでデコードされる。さらに別の形態によると、アバター１１０の移動は、ユーザによって実施されるジェスチャによって制御される。こうしたジェスチャは、マルチメディア端末１８に送信される前に、関連づけられた奥行き情報を抽出するためにカメラ１９によって取り込まれて、デコードされ解釈される。
【００１９】
アバター１１０は、仮想環境１００において進行する間、仮想環境から仮想オブジェクト、たとえば、ある仮想環境から別の仮想環境に移るため（たとえば、アバターがその中を動き回る建物のある部屋から別の部屋に移るため）のドア１１２を、またはさらに任意の種類のオブジェクトを選択して、仮想環境内のある場所から別の場所に移動するよう導かれる。ドア１１２を選択するために、ユーザ１０は、実環境１に属す実オブジェクト、たとえば食器棚を、自分の体の任意の部位、たとえば、自分の片方の腕で指示する。ユーザ１０によって作り出された指示ジェスチャは、カメラ１９によって取り込まれた一連の画像の中でこのカメラ１９によって検出される。指示ジェスチャの検出は有利には、コンピュータビジョンにおける検出および分類、たとえば、画像または映像における顔の検出の多数のアプリケーション用に既に広く使われている機械学習技法を用いて実施される。この技法によると、指示ジェスチャを含む画像が、腕を伸ばした人の画像（陽画ともいう）の集合を備える知識ベースの多数の画像（たとえば、１０，０００枚の画像）、および腕を伸ばした人を表さない画像（陰画ともいう）の大規模集合を備える知識ベースの多数の画像と比較される。この比較を用いて、特徴的属性が、カメラ１９によって取り込まれた画像に関して算出され、こうした属性は、予め定義された画像または画像領域の記述子群から選択される。こうした特徴的属性の値の範囲を、腕を伸ばした人達の画像のカテゴリと関連づける基準は、機械学習アルゴリズム、たとえばＡｄａＢｏｏｓｔアルゴリズムによってオフラインで判定される。取り込まれた画像において、この基準が満足される場合、取り込まれた画像は、指示ジェスチャを行う人を表す内容の画像であると解釈される。逆のケースでは、取り込まれた画像は、陰画を含む知識ベースの画像に関連づけられ、取り込まれた画像は、指示ジェスチャを行う人を表す内容の画像ではないと解釈される。実際、取り込まれた画像中でのユーザの画像の位置も画像の寸法も、分かっていない。上述した検出動作はしたがって、副画像の位置およびサイズの集合に対して、カメラ１９によって取り込まれた画像の中で、腕を伸ばした人をできれば含むように繰り返されなければならない。
【００２０】
取り込まれた画像が、指示ジェスチャを実施する人を表す内容の画像であると解釈されるケースでは、指示ジェスチャ、この場合、図１の例によると伸ばした腕を含む画像部分が、画像分析によって抽出される。上述した、腕を伸ばした人を検出するのに用いられる機械学習技法は、この目的のために再度利用することができるが、今回は腕を伸ばした人の画像中の伸ばした腕の検出を適用する。指示ジェスチャを含む画像部分のピクセルに関連づけられた奥行き情報を用いて、指示ジェスチャに関連づけられた方向が、図２に示すように３Ｄ回帰技法を用いて実環境１の３次元（３Ｄ）空間内で判定されるが、ここでは分かりやすくするために２次元の空間に制限される。この指示方向推定はたとえば、検出された伸ばした腕に対応する、画像の点に対して線形回帰モードを使って実施される。指示ジェスチャの方向は有利には、指示ジェスチャを実施するユーザ１０の体の部位の前後軸に対応する。ユーザの伸ばした腕を表す副画像中で、ユーザの手も、腕の先端を判定するため、すなわち、指示配向を定義するための指示ジェスチャの先端を判定するために、前述したものと同一の機械学習技法によって検出される。３Ｄジオメトリの簡単な規則の使用によって、算出された回帰線が出会う実環境１の第１の実オブジェクト（指示ジェスチャの判定された方向および指示ジェスチャの判定された配向から、指示ジェスチャの先端に対応する線の起点）と、算出された回帰線との間の交差が判定される。こうするために、実環境１は、たとえば、マッピングアプリケーションの使用によりユーザ１０によって、または別の人によって予め３Ｄにマップされ、すなわち、実環境１の実オブジェクトが識別され、それぞれ実環境の３Ｄ空間内で識別子および座標（ｘ、ｙおよびｚ）と関連づけて配置される。別の形態によると、実環境は、環境取込み手段（たとえば、奥行きセンサに関連づけられたカメラ）および処理手段、たとえば、実環境の取り込まれた画像を分析する適応型マッピングアプリケーションの使用により、自動的に３Ｄにマップされる。実環境の３Ｄマッピングおよび算出された回帰線を用いると、回帰線が出会う第１の実オブジェクトが何であるかを、したがってユーザ１０の指示ジェスチャによって指示されるオブジェクトを判定することは容易である。また別の形態によると、どの実オブジェクトにも回帰線が出会わない場合、選択される実オブジェクトは、回帰線に最も近い実オブジェクト、すなわち、回帰線から閾値未満の距離（たとえば、２０ｃｍ、５０ｃｍまたは１ｍ）にある実オブジェクトである。閾値未満の距離の集合は有利には、許容域を形成し、この域は、半径が閾値に等しい、回帰線を囲む円筒の形をとる。有利には、実環境の３Ｄマップにマップされる実オブジェクトは、指示ジェスチャの方向の判定の不正確さが、指示される実オブジェクトの選択に影響を与えないように、臨界サイズより大きい、すなわち、閾値より大きいサイズである（たとえば、その周囲の平行六面体の３つの寸法のうち最小のものが、所定の値、たとえば４０ｃｍ、５０ｃｍもしくは６０ｃｍ以上であり、または指示方向に垂直な面におけるオブジェクトの投影の２つの寸法のうちやはり最小のものが、４０ｃｍ、５０ｃｍまたは６０ｃｍ以上である）。実際、指示ジェスチャの方向を推定するのに用いられるこうした技法から、小さすぎるオブジェクト、すなわち、閾値未満のサイズを有するオブジェクトだけが、こうしたオブジェクトと回帰線との間を交差させることによって確実に判定され得る。閾値は有利には、指示方向の推定が不正確であることを表す情報により判定される。
【００２１】
指示ジェスチャによって指示された実オブジェクトが判定され識別されると、今度は実オブジェクトと関連づけられた仮想世界の仮想オブジェクトが、ユーザ１０を表すアバター１１０によって選択される。図１の例によると、ドア１１２がアバター１１０によって選択されるが、ユーザは、自分の腕で、ドア１１２に関連づけられた食器棚１２を指示している。第１のオブジェクトともいう、仮想環境の仮想オブジェクトと、第２のオブジェクトともいう、実環境１のオブジェクトとの間の関連づけを生じさせるために、関連づけ（または対応）テーブルが、たとえばユーザ１０によって確立される。この関連づけテーブル、たとえばＬＵＴ（ルックアップテーブル）タイプのテーブルは有利には、第１のオブジェクトと第２のオブジェクトとの間の１対１の関連づけを確立し、第１のオブジェクトは、別の第１のオブジェクトに関連づけられていない１つまたは複数の第２のオブジェクトに関連づけられる。したがって、ドア１１２はたとえば、食器棚１２およびスピーカ１４に関連づけられ、テレビ画面１１１は、コーヒーテーブル１７に関連づけられる。
【００２２】
図示しない有利な別の形態によると、ユーザ１０は、自分の指示ジェスチャにより、第１の仮想環境１００とは異なる第２の仮想環境に属す第２のオブジェクトを指示する。この第２の仮想環境はたとえば、閾値より大きいサイズをそれぞれがもつ仮想オブジェクトを備える合成画像に対応し、それにより、ユーザ１０の体の部位を指示することによって仮想オブジェクトが選択されることが可能になる。この第２の仮想環境はたとえば、ビデオプロジェクタによって、実環境１の壁または十分に大きい投影スクリーンに投影される。このような形態の利点は、実環境に対して行われるのとは異なり、第２の仮想環境をマップする必要がないことである。すなわち、第２の仮想環境の２つの仮想オブジェクトは画像合成によって構成されるので、こうしたオブジェクトのそれぞれの位置はデフォルトで分かっており、第２の仮想オブジェクトと回帰線との間の交差の判定は容易であり自動的である。さらに別の形態によると、第２の仮想環境は、第１の仮想環境を投影スクリーンに投影したものであり、投影は、第１の投影された仮想オブジェクト、したがって第２のオブジェクトになるもののサイズが、閾値より大きくなるように行われ、こうすることによってオブジェクトは、指示することによって選択され得る。第１のオブジェクトと第２のオブジェクトとの間の関連づけはしたがって、異なる表示装置（それぞれ、たとえば表示装置１１およびビデオプロジェクタ）によって異なるサイズで表示される同じオブジェクトに関しては、必要なくなる。
【００２３】
また別の形態によると、ユーザ１０は、自分の指示ジェスチャを、音声コマンドを発音することによって、またはリモコンのキーを押すことによって確認する。マルチメディア端末は次いで、確認コマンドが受信されるまでは、指示の方向を判定するために、獲得された画像の分析を開始しない。この形態は、指示ジェスチャを表す画像の検出に必要な画像の分析を最小限にするという利点をもたらす。
【００２４】
当然ながら、指示ジェスチャを実施するユーザ１０の体の部位は、図１を参照して記載したもの、すなわち腕に限定されるのではなく、ユーザの体のどの部位、たとえば、脚または片方の手の指にも及ぶ。
【００２５】
図２は、本発明のある特定の実施形態による、ユーザ１０によって実施される指示ジェスチャの方向の推定方法を示す。分かりやすくするために、図２は、体の部位の前後軸の判定結果をグラフによって、また、拡張により、指示ジェスチャの方向を２次元の空間（ｘおよびｙ）で示す。有利には、前後軸は、３次元（ｘ、ｙおよびｚ）空間内で拡張し、実環境１が３次元空間である。点２００は、指示ジェスチャを実施するユーザの体の部位、たとえばユーザの腕に属す点に対応し、こうした点は、カメラ１９によって取り込まれた指示ジェスチャの画像から（またはより具体的には、指示ジェスチャを実施する体の部位に対応する内容である画像部分から）、指示ジェスチャを実施するユーザの体の部位を表す画像部分のピクセルそれぞれに関連づけられた奥行き情報を使って判定される。この奥行き情報は、カメラ１９に関連づけられた奥行きセンサによって取り込まれ、この情報は有利には、奥行きマップ（またはｚマップ）に記録される。点２００の３次元配置から、指示ジェスチャの前後軸または方向は、座標（ｘi、ｙiおよびｚi）を有する点２００それぞれの線形回帰または多重線形回帰によって判定されるが、座標ｚiについては図２に示していない。指示ジェスチャの方向を表す直線２０は、２つの式からなる連立方程式によって、
【００２６】
【数１】
【００２７】
という形で表される。空間座標（ｘi、ｙiおよびｚi）が判定されている点２００のサンプルを使うと、定数ａ、ｂ、ｃ、ｄ、ａ’、ｂ’、ｃ’、ｄ’の判定は、点２００の最も近くを通る直線、すなわち、直線２０への点２００の偏位の二乗の和を最小にする直線２０を判定することを可能にする最小二乗法の使用により、容易である。
【００２８】
当然ながら、ユーザ１０の指示ジェスチャの方向を推定するのに用いられる方法は、図２を参照して記載したものに、すなわち、線形回帰によって限定されるのではなく、たとえば、最小中央値二乗による回帰による、またはやはり反復加重最小二乗法に従った回帰による、当業者に公知であるすべての方法に及ぶ。
【００２９】
図３は、たとえば、本発明のある特定の実施形態による、図１のマルチメディア端末１８に対応するマルチメディア端末３の構造を図式的に示す。
【００３０】
端末３は有利には、たとえば、図１の表示装置１１に対応する表示装置３０１に接続される。別の形態によると、端末３は、２つ以上の表示装置、たとえば、テレビ画面およびビデオプロジェクタに接続される。端末３は、プログラムメモリ３０７、データベース３０４および動的ユーザインタフェースマネージャ３０５に接続された中央ユニット３０２と、オーディオ／ビデオデータがライブ送信されることを可能にする高ビットレートデジタルネットワーク３１０との通信のためのインタフェース３０８とを備える。このネットワークはたとえば、標準ＩＥＥＥ１３９４に準拠するネットワークである。端末３は、ビデオカメラ３１２との通信を可能にするインタフェース、たとえば、ビデオカメラ３１２によって送信される取得信号の受信ユニットも備え、ビデオカメラ３１２は、カメラに統合された奥行きセンサに関連づけられる。また別の形態によると、奥行きセンサは、カメラ３１２から物理的に分離され、奥行きセンサはたとえば、端末３に統合され、もしくは表示装置３０１に統合され、または専用周辺装置である。さらに別の形態によると、カメラ３１２は、端末３に統合された要素である。さらに別の形態によると、カメラ３１２は、表示装置３０１に統合される。端末３は、リモコン３１１から信号を受信するための赤外線信号受信部３０３、データベースの格納のためのメモリ３０４、および表示装置３０１に送信される視聴覚信号の作成のためのオーディオ／ビデオデコード論理３０９も備える。リモコン３１１は、ナビゲーションキー↑、↓、→、←、数字キーパッドおよび「ＯＫ」キーを装備する。動きセンサを装備する回転式リモコンを使うこともできる。
【００３１】
端末３は、しばしばＯＳＤ（オンスクリーン表示）回路と呼ばれる、画面上のデータ表示回路３０６も備える。ＯＳＤ回路３０６は、メニュー、ピクトグラム（たとえば、表示されるチャネルに対応する番号）のオンスクリーン表示を可能にし、本発明による、ユーザ１０を表す図１のアバター１１０の表示を可能にするテキストおよびグラフィックスジェネレータである。ＯＳＤ回路は、１つまたはいくつかのマイクロプロセッサ（またはＣＰＵ）および１つまたはいくつかのＧＰＵ（グラフィカル処理ユニット）を備える中央ユニット３０２、ならびにアバター１１０およびユーザインタフェースの他の任意のグラフィカル構成要素の表示信号を生成する動的ユーザインタフェースマネージャ３０５から情報を受信する。有利には、ＧＰＵは、カメラ３１２によって取り込まれた画像の処理を実施して、特に、どれが指示ジェスチャを表す内容の画像であるか判定し、逆のケースでは、指示ジェスチャの方向および配向を判定する。奥行きセンサによって取り込まれた奥行き情報は有利には、メモリ３０７（有利には、ＧＲＡＭ（グラフィカルランダムアクセスメモリ）の形をとる）の一部分に格納された奥行きマップまたはデータベース３０４に格納される。本発明に特有であるとともにこれ以降で記載する方法のステップを実装するアルゴリズムは、有利にはＲＡＭ（ランダムアクセスメモリ）の形をとるメモリ３０７の別の部分に格納される。電源オンされたとき、また、仮想環境１およびアバター１１０を表すパラメータがメモリ３０７のＧＲＡＭ部分にロードされると、アバターを表すパラメータは、データベース３０４に格納され、メモリ３０７のＲＡＭ部分または動的ユーザインタフェースマネージャ３０５に格納された通信アプリケーションの命令は、ＣＰＵ３０２によって実行される。
【００３２】
端末３が再生することができるマルチメディアドキュメントは、視聴覚ドキュメント、オーディオドキュメント、または画像である。
【００３３】
別の形態によると、リモコン３１１は、視聴者のジェスチャを検出することができる装置、たとえば、奥行きセンサに関連づけられたカメラ３１２で置き換えられる。ジェスチャは次いで、端末３の、専用または専用でないモジュールによって分析されて、仮想世界１におけるアバター１１０を移動するためのコマンドに解釈される。別の形態によると、リモコンは、音声コマンドを記録することができるマイクロホンタイプ装置で置き換えられる。音声コマンドを組成する音は次いで、端末３の、専用または専用でないモジュールによって分析されて、仮想世界１におけるアバター１１０を移動するためのコマンドに翻訳される。
【００３４】
図４は、第１の非限定的な特に有利な本発明の実施形態による、マルチメディア端末３で実装されることを意図した、第１の仮想環境における第１のオブジェクトの選択方法を示す。
【００３５】
初期化ステップ４０中に、端末の様々なパラメータがアップデートされる。
【００３６】
次いで、ステップ４１中に、実環境内を動き回るユーザの指示ジェスチャに関連づけられた方向が推定される。要求により、実環境は、３次元でマップされ、すなわち、この実環境を組成するオブジェクトは、当業者に公知である任意の方法により３Ｄマップでモデリングされ、３Ｄマップは、位置に関係した情報（すなわち、座標）を備え、空間内のオブジェクトのかさばり（すなわち、サイズ）は、実環境を定義する。有利には、指示ジェスチャの方向の推定は、ビデオカメラによる指示ジェスチャの取得、および奥行きセンサによる奥行き情報の項目の取得ステップを含み、奥行き情報は、一方では取り込まれた画像の各ピクセルおよびピクセルグループと、他方ではカメラまたは奥行きセンサとの間の距離を表し、この情報はたとえば、奥行きマップに記録される。別の形態によると、指示ジェスチャの方向は、いくつかのビデオカメラ、たとえば、指示ジェスチャの立体画像を与える２つのカメラから推定され、奥行き情報は次いで、複数のカメラによって取り込まれた画像それぞれの間の差異の算出によって推定される。有利には、指示ジェスチャの方向の判定は、当業者に公知である任意の方法により、指示ジェスチャを実施するユーザの体の部位の前後軸を推定することによって、たとえば線形回帰によって判定される。
【００３７】
次いで、ステップ４２中に、第２のオブジェクトが、ユーザの指示ジェスチャの推定方向により判定される。第２のオブジェクトは有利には、一方では指示ジェスチャ、指示ジェスチャの方向および指示ジェスチャの配向を実施する体の部位の先端を起点とする線と、他方ではこの線が出会う第２のオブジェクトのうち最初のオブジェクトとの間の交差を算出することによって判定される。第２のオブジェクトは、閾値より大きいサイズであり、閾値は、線との交差の算出によってオブジェクトが判定されなければならない可能性のある最小サイズに対応し、指示ジェスチャの方向の推定は、推定上の不正確を受けやすい。別の形態によると、第２のオブジェクトは、第２のオブジェクトのうち、線の近くにある、すなわち、線の周りの所定の閾値未満の半径内の最初のオブジェクトである。
【００３８】
有利には、判定される第２のオブジェクトは、実環境に属す実オブジェクトであり、第２のオブジェクトは、実環境の、マップされるオブジェクトの１つである。別の形態によると、第２のオブジェクトは、第２の仮想環境に属す仮想オブジェクトであり、第２の仮想環境はたとえば、ユーザが動き回る実環境の壁に、または実環境に配置された投影スクリーンに投影され、第１の仮想環境のものとは異なる内容を有する。この別の形態によると、第２のオブジェクトまたは投影された仮想環境のオブジェクトはそれぞれ、前述した閾値より大きいサイズを有する。この別の形態によると、実環境のマッピングは不要である。さらに別の形態によると、第２のオブジェクトは、閾値より大きいサイズで表示される第１の仮想環境の仮想オブジェクトであり、第１のオブジェクトとして知られる、第１の仮想環境のオブジェクトは、ユーザが見る表示装置に、閾値未満のサイズで表示され、または表される。この別の形態によると、実環境のマッピングも不要である。
【００３９】
最後に、ステップ４３中に、第１のオブジェクトが、第２の判定されたオブジェクトを使って選択される。第１のオブジェクトの選択は、仮想環境の第１のオブジェクトそれぞれと、第２のオブジェクト（実環境、または第２の仮想環境、または第１の仮想環境の第２の表現、またはこうした３つの上記環境に属す）との間の関連づけを表す関連づけ情報の項目を使って実施される。
【００４０】
当然ながら、本発明は、上に記載した実施形態に限定されない。
【００４１】
具体的には、本発明は、第１の仮想環境内の第１のオブジェクトの選択方法に限定されるのではなく、このような方法を実装するマルチメディア端末、およびこの表示方法を実装するマルチメディア端末を備える表示装置にも及ぶ。本発明は、仮想環境における閾値未満のサイズのオブジェクトの選択を含むアバターの制御方法にも関する。
【符号の説明】
【００４２】
１ 実環境
１０ ユーザ
１１ 表示装置
３，１８ マルチメディア端末
１９ カメラ
１００ 仮想環境
１１０ アバター
１１１ テレビ画面
１１２ ドア
１３０ リモコン
【技術分野】
【０００１】
本発明は、ユーザと仮想環境との間の対話を提供するユーザインタフェースの分野に関し、より詳細には、仮想環境内でユーザを表すアバターの使用に関する。
【背景技術】
【０００２】
従来技術によると、たとえば、ユーザを表すアバターを媒介して、ユーザが、遠く離れた人および／またはオブジェクトと対話することを可能にする様々な通信アプリケーションがある。アバターは、仮想世界の中で展開し、アバターに関連づけられたユーザは、実世界で展開する。遠隔エリアに（たとえば、異なる家、異なる町または異なる国に）位置する様々なユーザは次いで、たとえばオンラインゲーム、ソーシャルウェブなど、１つまたは複数の通信アプリケーションを使って、自身のそれぞれのアバターを媒介して通信することができる。各アプリケーションユーザは、自分の発話および／またはジェスチャおよび／または感情を、アプリケーションの他のユーザに伝えるために転記し直すアバターによって表される。ユーザによって使われる通信アプリケーションが、ＰＣ（パーソナルコンピュータ）タイプのコンピュータに収容されているとき、アバターの制御は当然ながら、たとえば、仮想世界とのユーザ対話が容易に管理されることを可能にするキーボードおよびマウスなど、簡単であり懇親的な制御装置で実施される。ただし、通信アプリケーションが、たとえば、フラットスクリーン（ＬＣＤ、プラズマ）タイプまたは投影スクリーンタイプの表示装置に接続されたセットトップボックスにあるとき、ユーザは通常、自分の居間の肘掛椅子またはソファに座っており、コンピュータで使われるような制御装置の使用は、あまり便利ではない。ユーザと自身のアバターとの間の対話はしたがって、指示装置を用いて実施され得る。Ｇｙｒａｔｉｏｎ Ｃｏｍｐａｎｙによって販売されているようなジャイロ遠隔制御ユニットまたはジャイロマウスは、このような装置の例である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
より懇親的対話が、ユーザに対していかなる装置の操作も要求しないジェスチャ制御インタフェースを使って得られる。こうしたインタフェースタイプでは、デコーダまたはテレビの上に位置づけられた１つまたは複数のカメラがユーザを撮影し、ユーザのジェスチャを取り込み、ジェスチャは、イメージ処理によって分析されて解釈され、関連づけられたコマンドを推論するために、予め定義された語彙により分類される。このユーザインタフェースタイプでは、仮想環境におけるオブジェクトの選択は、どうやっても問題となったままである。実際、テレビ画面上での仮想オブジェクト表現のサイズが縮小されると、指示することによる指定が可能でなくなる。指示の方向の判定が不確実なことにより、概して、指示されるオブジェクトを一義的に検出することができなくなる。
【課題を解決するための手段】
【０００４】
本発明の目的は、従来技術のこうした欠点を克服することである。
【０００５】
より詳細には、本発明の目的は、特に、ジェスチャコマンドに基づく、簡単であり懇親的なユーザインタフェースを提案することである。
【０００６】
本発明は、第１の仮想環境における第１のオブジェクトの選択方法に関し、第１のオブジェクトは、第１の環境内で、閾値未満の値のサイズで表される。本方法は、
・ユーザの指示ジェスチャに関連づけられた方向を推定するステップと、
・推定された方向に従って、第２のオブジェクトを判定するステップであって、第２のオブジェクトは、閾値より大きい値のサイズを有する、ステップと、
・第２の判定されたオブジェクトに従って、第１のオブジェクトを選択するステップとを含む。
【０００７】
有利には、第２のオブジェクトは、実環境に属す。
【０００８】
ある特定の特性によると、第２のオブジェクトは、第２の仮想環境に属す。
【０００９】
具体的特性によると、実環境は、３次元でマップされる。
【００１０】
有利には、第１のオブジェクトは、第１のオブジェクトからなるグループに属し、第２のオブジェクトは、第２のオブジェクトからなるグループに属し、第１のオブジェクトの選択は、各第１のオブジェクトと第２のオブジェクトとの間の関連づけを確立するテーブルの使用を含む。
【００１１】
別の特性によると、本方法は、ビデオカメラおよび奥行き情報の少なくとも１つの項目を使う、指示ジェスチャの取得ステップを含む。
【００１２】
有利には、第２のオブジェクトの判定は、線と、その線が出会う第１の要素との間の交差の算出ステップを含み、線は、その起点として指示ジェスチャを行うユーザの体の部位を、方向として指示ジェスチャに関連づけられた方向を、および配向として指示ジェスチャの配向を有する。
【００１３】
ある特定の特性によると、指示ジェスチャの方向は、指示ジェスチャを行うユーザの体の部位の検出によって、および３次元空間における体の部位の前後軸の推定によって判定される。
【００１４】
本発明は、取り込まれた画像を表す信号の受信用ユニットと、画像の処理ユニットとを備えるマルチメディア端末にも関し、この画像処理ユニットは、
・ユーザの指示ジェスチャに関連づけられた方向を推定する手段と、
・推定された方向に従って第２のオブジェクトを判定する手段であって、第２のオブジェクトは、閾値より大きい値のサイズを有する、手段と、
・第２の判定されたオブジェクトに従って、第１のオブジェクトを選択する手段であって、第１のオブジェクトは、第１の仮想環境に属し、閾値未満の値を有する、手段とを備える。
【００１５】
添付の図面を参照する以下の説明を読むと、本発明がよりよく理解され、他の具体的特徴および利点が明らかになるであろう。
【図面の簡単な説明】
【００１６】
【図１】本発明のある特定の実施形態による、ユーザが自身のアバターを仮想世界において制御する実環境を示す図である。
【図２】本発明のある特定の実施形態による、図１のユーザによって実施されるジェスチャの方向の推定方法を示す図である。
【図３】本発明のある特定の実施形態による、本発明の実装のためのマルチメディア端末の構造を図式的に示す図である。
【図４】本発明のある特定の実施形態による、図３のマルチメディア端末において実装される、仮想環境におけるオブジェクトの選択方法を示す図である。
【発明を実施するための形態】
【００１７】
図１は、仮想環境を使って、仮想環境内でユーザを表すアバター１１０を媒介して遠く離れた対話者と通信するユーザ１０がいる実環境１を示す。仮想環境は、現実の（たとえば、家、庭、公園、建物、町などの映像）もしくは想像上の環境のどのグラフィック表現にも、またはコンピュータによって生成されたイメージによって生成されたどの環境にも、または現実もしくは想像上の環境のどの投影、たとえばホログラフィにも対応する。図１に関して示す実環境１は、ユーザ１０の居間に対応し、ユーザ１０は、自分のソファ１６に座って表示装置（たとえば、プラズマディスプレイパネルやＬＣＤ（液晶ディスプレイ）画面を見ている。ユーザの実環境１に対応するユーザの居間は複数のオブジェクトを備え、具体的には、ソファ１６、２つのオーディオスピーカ１４、１５、ドア１３、肘掛椅子１２、コーヒーテーブル１７、表示装置１１、マルチメディア端末１８（たとえば、デジタルデコーダ、たとえば、衛星または地上波（地上波デジタルテレビＴＮＴ）、ゲームコンソール、マルチメディア電話、ＰＣタブレットなど、ｘＤＳＬゲートウェイに接続され、または接続されないマルチメディア端末）、カメラに統合され、または統合されない奥行きセンサを装備するカメラ１９（たとえば、３Ｄ奥行きウェブカメラ）がある。カメラ１９は、有線または無線接続によってマルチメディア端末１８に接続される。マルチメディア端末１８は、有線または無線接続によって表示装置１１に接続される。ユーザ１０が、自身のアバター１１０を媒介して遠く離れた対話者と通信することを可能にするアプリケーションは、マルチメディア端末に収容され、通信アプリケーションによって表示されるビデオコンテンツは、表示装置１１に表示される。表示装置に表示されるビデオコンテンツは、ユーザ１０を表すアバター１１０が展開する仮想環境１００を表す。仮想環境１００は、１つまたは複数の仮想オブジェクトを備え、特にドア１１２およびテレビ画面１１１がある。有利には、仮想オブジェクトは、現実または想像上のオブジェクトのどのグラフィックまたはホログラフィ表現にも対応し、この実オブジェクトは、当業者に既知のどの手段（たとえば、ビデオカメラ、スチルカメラ）によっても取り込まれ、または画像合成によって生成されている。
【００１８】
仮想環境１００におけるアバター１１０の移動は、ユーザ１０によって制御される。有利には、アバターの移動の制御は、リモコン１３０を介し、移動は、方向キー（↑、↓、←、→）の使用、たとえば、マルチメディア端末１８によって受信されデコードされる、リモコンによって送信される信号によって指令される。別の形態によると、アバターの移動は、ユーザによって送信される音声コマンドによって制御される。音声コマンドは、マルチメディア端末に統合され、またはマルチメディア端末からデポート（ｄｅｐｏｒｔ）され、有線または無線接続によってマルチメディア端末に接続されたマイクロホン（マイクロホンはたとえば、カメラ１９もしくは表示装置１１に統合され、またはマイクロホンは分離した装置である）を介してマルチメディア端末１８によって受信され、次いでデコードされる。さらに別の形態によると、アバター１１０の移動は、ユーザによって実施されるジェスチャによって制御される。こうしたジェスチャは、マルチメディア端末１８に送信される前に、関連づけられた奥行き情報を抽出するためにカメラ１９によって取り込まれて、デコードされ解釈される。
【００１９】
アバター１１０は、仮想環境１００において進行する間、仮想環境から仮想オブジェクト、たとえば、ある仮想環境から別の仮想環境に移るため（たとえば、アバターがその中を動き回る建物のある部屋から別の部屋に移るため）のドア１１２を、またはさらに任意の種類のオブジェクトを選択して、仮想環境内のある場所から別の場所に移動するよう導かれる。ドア１１２を選択するために、ユーザ１０は、実環境１に属す実オブジェクト、たとえば食器棚を、自分の体の任意の部位、たとえば、自分の片方の腕で指示する。ユーザ１０によって作り出された指示ジェスチャは、カメラ１９によって取り込まれた一連の画像の中でこのカメラ１９によって検出される。指示ジェスチャの検出は有利には、コンピュータビジョンにおける検出および分類、たとえば、画像または映像における顔の検出の多数のアプリケーション用に既に広く使われている機械学習技法を用いて実施される。この技法によると、指示ジェスチャを含む画像が、腕を伸ばした人の画像（陽画ともいう）の集合を備える知識ベースの多数の画像（たとえば、１０，０００枚の画像）、および腕を伸ばした人を表さない画像（陰画ともいう）の大規模集合を備える知識ベースの多数の画像と比較される。この比較を用いて、特徴的属性が、カメラ１９によって取り込まれた画像に関して算出され、こうした属性は、予め定義された画像または画像領域の記述子群から選択される。こうした特徴的属性の値の範囲を、腕を伸ばした人達の画像のカテゴリと関連づける基準は、機械学習アルゴリズム、たとえばＡｄａＢｏｏｓｔアルゴリズムによってオフラインで判定される。取り込まれた画像において、この基準が満足される場合、取り込まれた画像は、指示ジェスチャを行う人を表す内容の画像であると解釈される。逆のケースでは、取り込まれた画像は、陰画を含む知識ベースの画像に関連づけられ、取り込まれた画像は、指示ジェスチャを行う人を表す内容の画像ではないと解釈される。実際、取り込まれた画像中でのユーザの画像の位置も画像の寸法も、分かっていない。上述した検出動作はしたがって、副画像の位置およびサイズの集合に対して、カメラ１９によって取り込まれた画像の中で、腕を伸ばした人をできれば含むように繰り返されなければならない。
【００２０】
取り込まれた画像が、指示ジェスチャを実施する人を表す内容の画像であると解釈されるケースでは、指示ジェスチャ、この場合、図１の例によると伸ばした腕を含む画像部分が、画像分析によって抽出される。上述した、腕を伸ばした人を検出するのに用いられる機械学習技法は、この目的のために再度利用することができるが、今回は腕を伸ばした人の画像中の伸ばした腕の検出を適用する。指示ジェスチャを含む画像部分のピクセルに関連づけられた奥行き情報を用いて、指示ジェスチャに関連づけられた方向が、図２に示すように３Ｄ回帰技法を用いて実環境１の３次元（３Ｄ）空間内で判定されるが、ここでは分かりやすくするために２次元の空間に制限される。この指示方向推定はたとえば、検出された伸ばした腕に対応する、画像の点に対して線形回帰モードを使って実施される。指示ジェスチャの方向は有利には、指示ジェスチャを実施するユーザ１０の体の部位の前後軸に対応する。ユーザの伸ばした腕を表す副画像中で、ユーザの手も、腕の先端を判定するため、すなわち、指示配向を定義するための指示ジェスチャの先端を判定するために、前述したものと同一の機械学習技法によって検出される。３Ｄジオメトリの簡単な規則の使用によって、算出された回帰線が出会う実環境１の第１の実オブジェクト（指示ジェスチャの判定された方向および指示ジェスチャの判定された配向から、指示ジェスチャの先端に対応する線の起点）と、算出された回帰線との間の交差が判定される。こうするために、実環境１は、たとえば、マッピングアプリケーションの使用によりユーザ１０によって、または別の人によって予め３Ｄにマップされ、すなわち、実環境１の実オブジェクトが識別され、それぞれ実環境の３Ｄ空間内で識別子および座標（ｘ、ｙおよびｚ）と関連づけて配置される。別の形態によると、実環境は、環境取込み手段（たとえば、奥行きセンサに関連づけられたカメラ）および処理手段、たとえば、実環境の取り込まれた画像を分析する適応型マッピングアプリケーションの使用により、自動的に３Ｄにマップされる。実環境の３Ｄマッピングおよび算出された回帰線を用いると、回帰線が出会う第１の実オブジェクトが何であるかを、したがってユーザ１０の指示ジェスチャによって指示されるオブジェクトを判定することは容易である。また別の形態によると、どの実オブジェクトにも回帰線が出会わない場合、選択される実オブジェクトは、回帰線に最も近い実オブジェクト、すなわち、回帰線から閾値未満の距離（たとえば、２０ｃｍ、５０ｃｍまたは１ｍ）にある実オブジェクトである。閾値未満の距離の集合は有利には、許容域を形成し、この域は、半径が閾値に等しい、回帰線を囲む円筒の形をとる。有利には、実環境の３Ｄマップにマップされる実オブジェクトは、指示ジェスチャの方向の判定の不正確さが、指示される実オブジェクトの選択に影響を与えないように、臨界サイズより大きい、すなわち、閾値より大きいサイズである（たとえば、その周囲の平行六面体の３つの寸法のうち最小のものが、所定の値、たとえば４０ｃｍ、５０ｃｍもしくは６０ｃｍ以上であり、または指示方向に垂直な面におけるオブジェクトの投影の２つの寸法のうちやはり最小のものが、４０ｃｍ、５０ｃｍまたは６０ｃｍ以上である）。実際、指示ジェスチャの方向を推定するのに用いられるこうした技法から、小さすぎるオブジェクト、すなわち、閾値未満のサイズを有するオブジェクトだけが、こうしたオブジェクトと回帰線との間を交差させることによって確実に判定され得る。閾値は有利には、指示方向の推定が不正確であることを表す情報により判定される。
【００２１】
指示ジェスチャによって指示された実オブジェクトが判定され識別されると、今度は実オブジェクトと関連づけられた仮想世界の仮想オブジェクトが、ユーザ１０を表すアバター１１０によって選択される。図１の例によると、ドア１１２がアバター１１０によって選択されるが、ユーザは、自分の腕で、ドア１１２に関連づけられた食器棚１２を指示している。第１のオブジェクトともいう、仮想環境の仮想オブジェクトと、第２のオブジェクトともいう、実環境１のオブジェクトとの間の関連づけを生じさせるために、関連づけ（または対応）テーブルが、たとえばユーザ１０によって確立される。この関連づけテーブル、たとえばＬＵＴ（ルックアップテーブル）タイプのテーブルは有利には、第１のオブジェクトと第２のオブジェクトとの間の１対１の関連づけを確立し、第１のオブジェクトは、別の第１のオブジェクトに関連づけられていない１つまたは複数の第２のオブジェクトに関連づけられる。したがって、ドア１１２はたとえば、食器棚１２およびスピーカ１４に関連づけられ、テレビ画面１１１は、コーヒーテーブル１７に関連づけられる。
【００２２】
図示しない有利な別の形態によると、ユーザ１０は、自分の指示ジェスチャにより、第１の仮想環境１００とは異なる第２の仮想環境に属す第２のオブジェクトを指示する。この第２の仮想環境はたとえば、閾値より大きいサイズをそれぞれがもつ仮想オブジェクトを備える合成画像に対応し、それにより、ユーザ１０の体の部位を指示することによって仮想オブジェクトが選択されることが可能になる。この第２の仮想環境はたとえば、ビデオプロジェクタによって、実環境１の壁または十分に大きい投影スクリーンに投影される。このような形態の利点は、実環境に対して行われるのとは異なり、第２の仮想環境をマップする必要がないことである。すなわち、第２の仮想環境の２つの仮想オブジェクトは画像合成によって構成されるので、こうしたオブジェクトのそれぞれの位置はデフォルトで分かっており、第２の仮想オブジェクトと回帰線との間の交差の判定は容易であり自動的である。さらに別の形態によると、第２の仮想環境は、第１の仮想環境を投影スクリーンに投影したものであり、投影は、第１の投影された仮想オブジェクト、したがって第２のオブジェクトになるもののサイズが、閾値より大きくなるように行われ、こうすることによってオブジェクトは、指示することによって選択され得る。第１のオブジェクトと第２のオブジェクトとの間の関連づけはしたがって、異なる表示装置（それぞれ、たとえば表示装置１１およびビデオプロジェクタ）によって異なるサイズで表示される同じオブジェクトに関しては、必要なくなる。
【００２３】
また別の形態によると、ユーザ１０は、自分の指示ジェスチャを、音声コマンドを発音することによって、またはリモコンのキーを押すことによって確認する。マルチメディア端末は次いで、確認コマンドが受信されるまでは、指示の方向を判定するために、獲得された画像の分析を開始しない。この形態は、指示ジェスチャを表す画像の検出に必要な画像の分析を最小限にするという利点をもたらす。
【００２４】
当然ながら、指示ジェスチャを実施するユーザ１０の体の部位は、図１を参照して記載したもの、すなわち腕に限定されるのではなく、ユーザの体のどの部位、たとえば、脚または片方の手の指にも及ぶ。
【００２５】
図２は、本発明のある特定の実施形態による、ユーザ１０によって実施される指示ジェスチャの方向の推定方法を示す。分かりやすくするために、図２は、体の部位の前後軸の判定結果をグラフによって、また、拡張により、指示ジェスチャの方向を２次元の空間（ｘおよびｙ）で示す。有利には、前後軸は、３次元（ｘ、ｙおよびｚ）空間内で拡張し、実環境１が３次元空間である。点２００は、指示ジェスチャを実施するユーザの体の部位、たとえばユーザの腕に属す点に対応し、こうした点は、カメラ１９によって取り込まれた指示ジェスチャの画像から（またはより具体的には、指示ジェスチャを実施する体の部位に対応する内容である画像部分から）、指示ジェスチャを実施するユーザの体の部位を表す画像部分のピクセルそれぞれに関連づけられた奥行き情報を使って判定される。この奥行き情報は、カメラ１９に関連づけられた奥行きセンサによって取り込まれ、この情報は有利には、奥行きマップ（またはｚマップ）に記録される。点２００の３次元配置から、指示ジェスチャの前後軸または方向は、座標（ｘi、ｙiおよびｚi）を有する点２００それぞれの線形回帰または多重線形回帰によって判定されるが、座標ｚiについては図２に示していない。指示ジェスチャの方向を表す直線２０は、２つの式からなる連立方程式によって、
【００２６】
【数１】
【００２７】
という形で表される。空間座標（ｘi、ｙiおよびｚi）が判定されている点２００のサンプルを使うと、定数ａ、ｂ、ｃ、ｄ、ａ’、ｂ’、ｃ’、ｄ’の判定は、点２００の最も近くを通る直線、すなわち、直線２０への点２００の偏位の二乗の和を最小にする直線２０を判定することを可能にする最小二乗法の使用により、容易である。
【００２８】
当然ながら、ユーザ１０の指示ジェスチャの方向を推定するのに用いられる方法は、図２を参照して記載したものに、すなわち、線形回帰によって限定されるのではなく、たとえば、最小中央値二乗による回帰による、またはやはり反復加重最小二乗法に従った回帰による、当業者に公知であるすべての方法に及ぶ。
【００２９】
図３は、たとえば、本発明のある特定の実施形態による、図１のマルチメディア端末１８に対応するマルチメディア端末３の構造を図式的に示す。
【００３０】
端末３は有利には、たとえば、図１の表示装置１１に対応する表示装置３０１に接続される。別の形態によると、端末３は、２つ以上の表示装置、たとえば、テレビ画面およびビデオプロジェクタに接続される。端末３は、プログラムメモリ３０７、データベース３０４および動的ユーザインタフェースマネージャ３０５に接続された中央ユニット３０２と、オーディオ／ビデオデータがライブ送信されることを可能にする高ビットレートデジタルネットワーク３１０との通信のためのインタフェース３０８とを備える。このネットワークはたとえば、標準ＩＥＥＥ１３９４に準拠するネットワークである。端末３は、ビデオカメラ３１２との通信を可能にするインタフェース、たとえば、ビデオカメラ３１２によって送信される取得信号の受信ユニットも備え、ビデオカメラ３１２は、カメラに統合された奥行きセンサに関連づけられる。また別の形態によると、奥行きセンサは、カメラ３１２から物理的に分離され、奥行きセンサはたとえば、端末３に統合され、もしくは表示装置３０１に統合され、または専用周辺装置である。さらに別の形態によると、カメラ３１２は、端末３に統合された要素である。さらに別の形態によると、カメラ３１２は、表示装置３０１に統合される。端末３は、リモコン３１１から信号を受信するための赤外線信号受信部３０３、データベースの格納のためのメモリ３０４、および表示装置３０１に送信される視聴覚信号の作成のためのオーディオ／ビデオデコード論理３０９も備える。リモコン３１１は、ナビゲーションキー↑、↓、→、←、数字キーパッドおよび「ＯＫ」キーを装備する。動きセンサを装備する回転式リモコンを使うこともできる。
【００３１】
端末３は、しばしばＯＳＤ（オンスクリーン表示）回路と呼ばれる、画面上のデータ表示回路３０６も備える。ＯＳＤ回路３０６は、メニュー、ピクトグラム（たとえば、表示されるチャネルに対応する番号）のオンスクリーン表示を可能にし、本発明による、ユーザ１０を表す図１のアバター１１０の表示を可能にするテキストおよびグラフィックスジェネレータである。ＯＳＤ回路は、１つまたはいくつかのマイクロプロセッサ（またはＣＰＵ）および１つまたはいくつかのＧＰＵ（グラフィカル処理ユニット）を備える中央ユニット３０２、ならびにアバター１１０およびユーザインタフェースの他の任意のグラフィカル構成要素の表示信号を生成する動的ユーザインタフェースマネージャ３０５から情報を受信する。有利には、ＧＰＵは、カメラ３１２によって取り込まれた画像の処理を実施して、特に、どれが指示ジェスチャを表す内容の画像であるか判定し、逆のケースでは、指示ジェスチャの方向および配向を判定する。奥行きセンサによって取り込まれた奥行き情報は有利には、メモリ３０７（有利には、ＧＲＡＭ（グラフィカルランダムアクセスメモリ）の形をとる）の一部分に格納された奥行きマップまたはデータベース３０４に格納される。本発明に特有であるとともにこれ以降で記載する方法のステップを実装するアルゴリズムは、有利にはＲＡＭ（ランダムアクセスメモリ）の形をとるメモリ３０７の別の部分に格納される。電源オンされたとき、また、仮想環境１およびアバター１１０を表すパラメータがメモリ３０７のＧＲＡＭ部分にロードされると、アバターを表すパラメータは、データベース３０４に格納され、メモリ３０７のＲＡＭ部分または動的ユーザインタフェースマネージャ３０５に格納された通信アプリケーションの命令は、ＣＰＵ３０２によって実行される。
【００３２】
端末３が再生することができるマルチメディアドキュメントは、視聴覚ドキュメント、オーディオドキュメント、または画像である。
【００３３】
別の形態によると、リモコン３１１は、視聴者のジェスチャを検出することができる装置、たとえば、奥行きセンサに関連づけられたカメラ３１２で置き換えられる。ジェスチャは次いで、端末３の、専用または専用でないモジュールによって分析されて、仮想世界１におけるアバター１１０を移動するためのコマンドに解釈される。別の形態によると、リモコンは、音声コマンドを記録することができるマイクロホンタイプ装置で置き換えられる。音声コマンドを組成する音は次いで、端末３の、専用または専用でないモジュールによって分析されて、仮想世界１におけるアバター１１０を移動するためのコマンドに翻訳される。
【００３４】
図４は、第１の非限定的な特に有利な本発明の実施形態による、マルチメディア端末３で実装されることを意図した、第１の仮想環境における第１のオブジェクトの選択方法を示す。
【００３５】
初期化ステップ４０中に、端末の様々なパラメータがアップデートされる。
【００３６】
次いで、ステップ４１中に、実環境内を動き回るユーザの指示ジェスチャに関連づけられた方向が推定される。要求により、実環境は、３次元でマップされ、すなわち、この実環境を組成するオブジェクトは、当業者に公知である任意の方法により３Ｄマップでモデリングされ、３Ｄマップは、位置に関係した情報（すなわち、座標）を備え、空間内のオブジェクトのかさばり（すなわち、サイズ）は、実環境を定義する。有利には、指示ジェスチャの方向の推定は、ビデオカメラによる指示ジェスチャの取得、および奥行きセンサによる奥行き情報の項目の取得ステップを含み、奥行き情報は、一方では取り込まれた画像の各ピクセルおよびピクセルグループと、他方ではカメラまたは奥行きセンサとの間の距離を表し、この情報はたとえば、奥行きマップに記録される。別の形態によると、指示ジェスチャの方向は、いくつかのビデオカメラ、たとえば、指示ジェスチャの立体画像を与える２つのカメラから推定され、奥行き情報は次いで、複数のカメラによって取り込まれた画像それぞれの間の差異の算出によって推定される。有利には、指示ジェスチャの方向の判定は、当業者に公知である任意の方法により、指示ジェスチャを実施するユーザの体の部位の前後軸を推定することによって、たとえば線形回帰によって判定される。
【００３７】
次いで、ステップ４２中に、第２のオブジェクトが、ユーザの指示ジェスチャの推定方向により判定される。第２のオブジェクトは有利には、一方では指示ジェスチャ、指示ジェスチャの方向および指示ジェスチャの配向を実施する体の部位の先端を起点とする線と、他方ではこの線が出会う第２のオブジェクトのうち最初のオブジェクトとの間の交差を算出することによって判定される。第２のオブジェクトは、閾値より大きいサイズであり、閾値は、線との交差の算出によってオブジェクトが判定されなければならない可能性のある最小サイズに対応し、指示ジェスチャの方向の推定は、推定上の不正確を受けやすい。別の形態によると、第２のオブジェクトは、第２のオブジェクトのうち、線の近くにある、すなわち、線の周りの所定の閾値未満の半径内の最初のオブジェクトである。
【００３８】
有利には、判定される第２のオブジェクトは、実環境に属す実オブジェクトであり、第２のオブジェクトは、実環境の、マップされるオブジェクトの１つである。別の形態によると、第２のオブジェクトは、第２の仮想環境に属す仮想オブジェクトであり、第２の仮想環境はたとえば、ユーザが動き回る実環境の壁に、または実環境に配置された投影スクリーンに投影され、第１の仮想環境のものとは異なる内容を有する。この別の形態によると、第２のオブジェクトまたは投影された仮想環境のオブジェクトはそれぞれ、前述した閾値より大きいサイズを有する。この別の形態によると、実環境のマッピングは不要である。さらに別の形態によると、第２のオブジェクトは、閾値より大きいサイズで表示される第１の仮想環境の仮想オブジェクトであり、第１のオブジェクトとして知られる、第１の仮想環境のオブジェクトは、ユーザが見る表示装置に、閾値未満のサイズで表示され、または表される。この別の形態によると、実環境のマッピングも不要である。
【００３９】
最後に、ステップ４３中に、第１のオブジェクトが、第２の判定されたオブジェクトを使って選択される。第１のオブジェクトの選択は、仮想環境の第１のオブジェクトそれぞれと、第２のオブジェクト（実環境、または第２の仮想環境、または第１の仮想環境の第２の表現、またはこうした３つの上記環境に属す）との間の関連づけを表す関連づけ情報の項目を使って実施される。
【００４０】
当然ながら、本発明は、上に記載した実施形態に限定されない。
【００４１】
具体的には、本発明は、第１の仮想環境内の第１のオブジェクトの選択方法に限定されるのではなく、このような方法を実装するマルチメディア端末、およびこの表示方法を実装するマルチメディア端末を備える表示装置にも及ぶ。本発明は、仮想環境における閾値未満のサイズのオブジェクトの選択を含むアバターの制御方法にも関する。
【符号の説明】
【００４２】
１ 実環境
１０ ユーザ
１１ 表示装置
３，１８ マルチメディア端末
１９ カメラ
１００ 仮想環境
１１０ アバター
１１１ テレビ画面
１１２ ドア
１３０ リモコン
【特許請求の範囲】
【請求項１】
第１の仮想環境における第１のオブジェクトの選択方法であって、前記第１のオブジェクトは、前記第１の環境内で閾値未満のサイズ値で表され、前記方法は、
・ユーザの指示ジェスチャに関連づけられた方向を推定するステップと、
・前記推定された方向に従って、第２のオブジェクトを判定するステップであって、前記第２のオブジェクトは、前記閾値より大きい値のサイズを有する、ステップと、
・前記第２の判定されたオブジェクトに従って、前記第１のオブジェクトを選択するステップと
を含むことを特徴とする方法。
【請求項２】
前記閾値は、前記方向の前記推定が不正確であることを表す情報に従って判定されることを特徴とする請求項１に記載の方法。
【請求項３】
前記閾値は、前記第１のオブジェクトの境界となるボックスを表す寸法のうち最小のものに対応し、前記最小寸法は、所定の値より大きいことを特徴とする請求項２に記載の方法。
【請求項４】
前記第２のオブジェクトは、実環境に属すことを特徴とする請求項１に記載の方法。
【請求項５】
前記第２のオブジェクトは、第２の仮想環境に属すことを特徴とする請求項１に記載の方法。
【請求項６】
前記実環境は、３次元でマップされることを特徴とする請求項４に記載の方法。
【請求項７】
前記第１のオブジェクトは、第１のオブジェクトからなるグループに属し、前記第２のオブジェクトは、第２のオブジェクトからなるグループに属し、前記第１のオブジェクトの前記選択は、各第１のオブジェクトと第２のオブジェクトとの間の関連づけを確立するテーブルの使用を含むことを特徴とする請求項１乃至６のいずれかに記載の方法。
【請求項８】
前記方法は、ビデオカメラおよび奥行き情報の少なくとも１つの項目を使う、前記指示ジェスチャの取得ステップを含むことを特徴とする請求項１乃至７のいずれかに記載の方法。
【請求項９】
前記第２のオブジェクトの前記判定は、線と、前記線が出会う第１の要素との間の交差の算出ステップを含み、前記線は、その起点として、前記指示ジェスチャを行う前記ユーザの体の部位を、方向として前記指示ジェスチャに関連づけられた前記方向を、および配向として前記指示ジェスチャの配向を有することを特徴とする請求項１乃至８のいずれかに記載の方法。
【請求項１０】
前記指示ジェスチャの前記方向は、前記指示ジェスチャを行う前記ユーザの体の部位の検出によって、および３次元空間における体の前記部位の前後軸の推定によって判定されることを特徴とする請求項１乃至９のいずれかに記載の方法。
【請求項１１】
取り込まれた画像を表す信号の受信用ユニットと、画像処理に適合された中央ユニットとを備えるマルチメディア端末であって、前記中央ユニットは、
・ユーザの指示ジェスチャに関連づけられた方向を推定する手段と、
・前記推定された方向に従って第２のオブジェクトを判定する手段であって、前記第２のオブジェクトは、閾値より大きい値のサイズを有する、手段と、
・前記第２の判定されたオブジェクトに従って、第１のオブジェクトを選択する手段であって、前記第１のオブジェクトは、第１の仮想環境に属し、前記閾値未満の値のサイズを有する、手段と
を備えたことを特徴とするマルチメディア端末。
【請求項１】
第１の仮想環境における第１のオブジェクトの選択方法であって、前記第１のオブジェクトは、前記第１の環境内で閾値未満のサイズ値で表され、前記方法は、
・ユーザの指示ジェスチャに関連づけられた方向を推定するステップと、
・前記推定された方向に従って、第２のオブジェクトを判定するステップであって、前記第２のオブジェクトは、前記閾値より大きい値のサイズを有する、ステップと、
・前記第２の判定されたオブジェクトに従って、前記第１のオブジェクトを選択するステップと
を含むことを特徴とする方法。
【請求項２】
前記閾値は、前記方向の前記推定が不正確であることを表す情報に従って判定されることを特徴とする請求項１に記載の方法。
【請求項３】
前記閾値は、前記第１のオブジェクトの境界となるボックスを表す寸法のうち最小のものに対応し、前記最小寸法は、所定の値より大きいことを特徴とする請求項２に記載の方法。
【請求項４】
前記第２のオブジェクトは、実環境に属すことを特徴とする請求項１に記載の方法。
【請求項５】
前記第２のオブジェクトは、第２の仮想環境に属すことを特徴とする請求項１に記載の方法。
【請求項６】
前記実環境は、３次元でマップされることを特徴とする請求項４に記載の方法。
【請求項７】
前記第１のオブジェクトは、第１のオブジェクトからなるグループに属し、前記第２のオブジェクトは、第２のオブジェクトからなるグループに属し、前記第１のオブジェクトの前記選択は、各第１のオブジェクトと第２のオブジェクトとの間の関連づけを確立するテーブルの使用を含むことを特徴とする請求項１乃至６のいずれかに記載の方法。
【請求項８】
前記方法は、ビデオカメラおよび奥行き情報の少なくとも１つの項目を使う、前記指示ジェスチャの取得ステップを含むことを特徴とする請求項１乃至７のいずれかに記載の方法。
【請求項９】
前記第２のオブジェクトの前記判定は、線と、前記線が出会う第１の要素との間の交差の算出ステップを含み、前記線は、その起点として、前記指示ジェスチャを行う前記ユーザの体の部位を、方向として前記指示ジェスチャに関連づけられた前記方向を、および配向として前記指示ジェスチャの配向を有することを特徴とする請求項１乃至８のいずれかに記載の方法。
【請求項１０】
前記指示ジェスチャの前記方向は、前記指示ジェスチャを行う前記ユーザの体の部位の検出によって、および３次元空間における体の前記部位の前後軸の推定によって判定されることを特徴とする請求項１乃至９のいずれかに記載の方法。
【請求項１１】
取り込まれた画像を表す信号の受信用ユニットと、画像処理に適合された中央ユニットとを備えるマルチメディア端末であって、前記中央ユニットは、
・ユーザの指示ジェスチャに関連づけられた方向を推定する手段と、
・前記推定された方向に従って第２のオブジェクトを判定する手段であって、前記第２のオブジェクトは、閾値より大きい値のサイズを有する、手段と、
・前記第２の判定されたオブジェクトに従って、第１のオブジェクトを選択する手段であって、前記第１のオブジェクトは、第１の仮想環境に属し、前記閾値未満の値のサイズを有する、手段と
を備えたことを特徴とするマルチメディア端末。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−２５８２０４（Ｐ２０１１−２５８２０４Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１１−１２６２０３（Ｐ２０１１−１２６２０３）
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１１−１２６２０３（Ｐ２０１１−１２６２０３）
【出願日】平成２３年６月６日（２０１１．６．６）
【出願人】（５０１２６３８１０）トムソン ライセンシング (2,848)
【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ
【住所又は居所原語表記】１−５， ｒｕｅ Ｊｅａｎｎｅ ｄ’Ａｒｃ， ９２１３０ ＩＳＳＹ ＬＥＳ ＭＯＵＬＩＮＥＡＵＸ， Ｆｒａｎｃｅ
【Ｆターム（参考）】
[ Back to top ]