非触覚ユーザインタフェース用場面プロファイル
【課題】非触覚検知に基づくコンピュータシステム用ユーザインタフェースを提供する。
【解決手段】非触覚インタフェースを実行するコンピュータに接続するディスプレイの近くに１人以上のユーザを有する場面の画像を獲得するステップと、前記画像を処理し、前記１人以上のユーザのプロファイルを生成するステップとを有する。コンテンツはその後、前記ディスプレイ上に上映するため前記プロファイルに対応して選択される。
【解決手段】非触覚インタフェースを実行するコンピュータに接続するディスプレイの近くに１人以上のユーザを有する場面の画像を獲得するステップと、前記画像を処理し、前記１人以上のユーザのプロファイルを生成するステップとを有する。コンテンツはその後、前記ディスプレイ上に上映するため前記プロファイルに対応して選択される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータシステム用ユーザインタフェースに関し、特に非触覚検知に基づくユーザインタフェースに関するものである。
【背景技術】
【０００２】
多くの異なるタイプのユーザインタフェース装置及び方法が現在使用可能である。一般的な触覚インタフェース装置には、コンピュータキーボード、マウスおよびジョイスティックがある。タッチスクリーンは表示領域内の指又は他の物体による接触の存在と場所を検知する。赤外線遠隔制御装置は広く使用され、そして「ウェアラブル」ハードウェア装置も遠隔制御のため開発されている。
【０００３】
ユーザの体の一部の３次元（３Ｄ）検知に基づくコンピュータインタフェースも提案されている。例えば、特許文献１は、深さ認知センサを使用した動作認知システムを開示しており、それはここに参照され採り入れられる。３Ｄセンサは、典型的に室内でユーザ近くに配置されるが、位置情報を提供し、それは、体の対象部位の生成する動作を識別するのに使用される。動作はある時間内のその体の部位の形状、位置及び角度に基づいて認知される。動作は関連電子機器への入力を画定するため分類される。
【０００４】
本出願に参照として採り入れられた文書は本出願の一体的な一部と見做される。但し、本出願において明示的又は暗示的に定義された言葉が上記参照として採り入れられた文書の定義と異なる場合は、本出願の定義を使用することとする。
【０００５】
さらに特許文献２は双方向ビデオディスプレイシステムを開示しており、それはここに参照され採り入れられる。そこでは、ディスプレイ画面が視覚画像を表示し、カメラがディスプレイ画面の前に位置する双方向通信領域内の物体に関する３Ｄ情報を獲得する。コンピュータシステムがディスプレイ画面に対し、物体の変化に応答して視覚画像を変更するように指示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】ＷＯ ０３／０７１４１０
【特許文献２】米国特許７，３４８，９６３
【特許文献３】ＷＯ ２００７／０４３０３６
【特許文献４】ＷＯ ２００７／１０５２０５
【特許文献５】ＷＯ ２００８／１２０２１７
【特許文献６】ＷＯ ２００７／１３２４５１
【特許文献７】ＷＯ ＩＢ２０１０／０５１０５５
【特許文献８】米国特許出願公報１２／８５４，１８７
【特許文献９】米国特許出願公報１３／０３６，０２２
【発明の概要】
【０００７】
本発明の１実施形態によれば、非触覚インタフェースを実行するコンピュータに接続するディスプレイの近くに、１人以上のユーザを有する場面の画像を獲得するステップと、前記画像を処理し、前記１人以上のユーザのプロファイルを生成するステップと、そして、前記プロファイルに対応して、前記ディスプレイ上に上映するためのコンテンツを選択するステップと、を有することを特徴とする方法が提供される。
【０００８】
本発明のある実施形態によれば、ディスプレイと、そして、非触覚インタフェースを実行するコンピュータと、を有し、前記コンピュータは、前記ディスプレイの近くに１人以上のユーザを有する場面の画像を獲得し、前記画像を処理して前記１人以上のユーザのプロファイルを生成し、そして、前記ディスプレイ上に上映するコンテンツを前記プロファイルに対応して選択するように構成される、ことを特徴とする装置が提供される。
【０００９】
さらに本発明のある実施形態によれば、コンピュータソフトウェア製品であって、プログラム命令を記憶する非一過性のコンピュータ読み取り可能媒体を有し、前記命令は、非触覚インタフェースを実行するコンピュータに読み取られた場合に、前記コンピュータに場面のディスプレイの近くに１人以上のユーザを有する画像を獲得させ、前記画像を処理して前記１人以上のユーザのプロファイルを生成させ、そして、前記プロファイルに対応して、前記ディスプレイ上に上映するためのコンテンツを選択させる、ことを特徴とするコンピュータソフトウェア製品が提供される。
【００１０】
本発明は、事例による図を参照した本発明の実施形態の以下の詳細な説明により十分に理解されよう。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態による、非触覚３Ｄユーザインタフェースを実行するコンピュータの鳥瞰図である。
【図２】本発明の実施形態による、場面プロファイルの定義及び更新の方法を示すフロー図である。
【図３】本発明の実施形態による、非触覚３Ｄユーザインタフェースにより制御されるディスプレイの近くの１群の人からなる場面の鳥瞰図である。
【発明を実施するための形態】
【００１２】
（概論）
非触覚３Ｄユーザインタフェースを実行する（コンピュータやテレビなどの）コンテンツ配送システムは、１人以上の人の異なるグループにより使用可能であり、ここで各グループは異なるコンテンツの嗜好性を持つ。例えば、子供たちのグループは、マンガを見ることを好むだろうし、十代は社会的ウェブアプリの実行を好み、大人はニュースやスポーツ放映を見ることを好むだろう。
【００１３】
本発明の実施形態は、コンテンツ配送システム上での上映のためのコンテンツを選択するのに使用可能なプロファイル（ここでは「場面プロファイル」と呼ばれる）を定義し維持するための方法とシステムを提供する。プロファイルは識別された物体と、コンテンツ配送システムの近く（「場面」とも呼ばれる）の個人（即ち、ユーザ）の特性とに基づくことが可能である。以下で詳述されるように、プロファイルは場面内の個人の数、及び個人の性別、年齢、民族性のような情報を含む。ある実施形態では、プロファイルは従事（即ち、特定の個人が提供されたコンテンツを見ている）及び反応（例えば、顔の表情を介した）などの行動情報を含む。
【００１４】
一度プロファイルが生成されると、プロファイルは識別された物体（例えば、ある個人が飲料缶を場面に持ち込む）、場面内の個人の数、個人の特性、及び選択されてテレビで上映されるコンテンツ、の変化を反映して更新可能である。プロファイルは、個人に提供されるコンテンツの組合せを画面上のメニューにより選択するのに使用可能であり、そしてプロファイルは、メニューから選択されテレビで上映されたコンテンツで更新可能である。プロファイルはまた、場面内の個人の視線の方向や顔の表情（即ち、提供されたコンテンツに反応して）などの特性で更新可能である。例えば、プロファイルはテレビを見ている個人の数及び彼らの顔の表情（例えば、笑っている又は顔をしかめている）で更新可能である。
【００１５】
プロファイルをコンテンツの推奨の選択に使用することにより、場面内の個人の興味を標的とするコンテンツの「最良の推定」が得られ、それにより彼らの視聴または双方向通信体験が促進される。更に、本発明の実施形態では、場面を分析することにより、場面内の個人の人口統計および嗜好を標的とする宣伝を個人別にカスタム化可能である。
【００１６】
（システムの記述）
図１は本発明の実施形態による、ユーザ２２がコンピュータ２６を操作するための非触覚３Ｄユーザインタフェース２０の鳥瞰図である。非触覚３Ｄユーザインタフェース２０はコンピュータに接続する３Ｄ検知装置２４に基づいており、３Ｄ検知装置２４は、ユーザの体又は少なくとも手３０のような体の一部を含むある場面の３Ｄ場面情報を獲得する。３Ｄ検知装置２４又は別のカメラ（不図示）は場面のビデオ画像も獲得してよい。３Ｄ検知装置２４により獲得された情報はコンピュータ２６により処理され、コンピュータはそれに従ってディスプレイを駆動させる。
【００１７】
３Ｄユーザインタフェース２０を実行するコンピュータ２６は、ユーザ２２の３Ｄマップを再構築するため３Ｄ検知装置２４により生成されたデータを処理する。「３Ｄマップ」という言葉は、一般的に水平なＸ軸３２、一般的に垂直なＹ軸３４、及び深さＺ軸３６に関して例示のため３Ｄ検知装置２４に基づき測定される、１組の３Ｄ座標を意味する。１組の３Ｄ座標は所定の物体、この場合身体、の表面を示すことができる。
【００１８】
ある実施形態では、３Ｄ検知装置２４は点のパターンを物体上に投影し、そして投影されたパターンの画像を獲得する。コンピュータ２６はその後、ユーザの体の表面上の点の３Ｄ座標を、パターン内の点の水平方向偏移に基づいて三角法により計算する。投影されたパターンを使用するこの種の三角法に基づく３Ｄマッピングの方法及び装置は、例えば特許文献３、特許文献４、及び特許文献５に記載されており、それらはここに参照され採り入れられる。或いは、３Ｄユーザインタフェース２０は、既存技術で既知の単一又は多重のカメラ、又は他のタイプのセンサを使用する、他の３Ｄマッピングの方法を使用してもよい。
【００１９】
コンピュータ２６は、３Ｄ検知装置２４経由で、時間の経過における一連の深さマップを獲得するように構成される。それぞれの深さマップは、１つの場面のピクセルの２次元マトリックスとしての表示からなる。ここで各ピクセルは場面内のそれぞれの位置に対応し、一定の参照位置からそれぞれの場面位置までの距離を示すそれぞれのピクセル値を有する。言い換えれば、深さマップ内のピクセル値は、場面内の物体の輝度レベル及び／又は色ではなく、むしろ地形情報を示す。例えば、特許文献３に記載されるように、深さマップは、レーザスペックルのパターンが投影されたある物体の画像を検知し処理することにより生成可能である。
【００２０】
ある実施形態では、コンピュータ２６は場面内の物体を区割りし識別するため、深さマップを処理可能である。詳細には、コンピュータ２６はヒト類似形状（即ち、構造がヒトの構造に類似している３Ｄ形状）のような物体を識別し、識別された物体の変化（即ち、場面から場面への）は、コンピュータアプリケーションを制御するための入力として使用することができる。
【００２１】
例えば、特許文献６は、ヒト類似形状の輪郭を見出すために所定の深さマップが区割りされる、コンピュータにより実行される方法を開示しており、それはここに参照され採り入れられる。その後輪郭は体の胴と１つ以上の肢を識別するため処理可能である。その後、獲得された深さマップ内の少なくとも１つの識別された肢の偏移を分析することにより、コンピュータ上で走るアプリケーションプログラムを制御する入力が生成される。
【００２２】
ある実施形態では、コンピュータ２６は手３０の位置を追跡するため、獲得された深さマップを処理可能である。手の位置を追跡することにより、３Ｄユーザインタフェース２０は、手３０を、コンピュータ又はテレビやセットボックスのような他の装置を制御するためのポインティングデバイス（位置指示装置）として使用可能である。さらに或いは、３Ｄユーザインタフェース２０は、ユーザが、ディスプレイ２８上に表示される１つの数字を選択する、ポインティングデバイスとして手３０を使用する「数字入力」を実行してもよい。手の位置の追跡や数字入力は、特許文献７に詳述されている。
【００２３】
他の実施形態では、３Ｄ検知装置２４はマイクロフォン３８のような１つ以上の音響センサを有してもよい。コンピュータ２６は、マイクロフォン３８経由でユーザ２２からの音声命令のような音響入力を受信するように構成されてもよい。マイクロフォン３８は、コンピュータ２６が音声命令を処理する時にビーム形成技術を使用出来るように、（ここで示すように）直線的に配置されてもよい。
【００２４】
コンピュータ２６は典型的に、以下で記述される機能を実行するためソフトウェアでプログラムされる汎用コンピュータプロセッサを有する。ソフトウェアは、例えば、ネットワーク上において電子形態でプロセッサにダウンロードされてもよいし、あるいは、光、磁気、電子記憶媒体のような非一過性の接触可能媒体で提供されてもよい。さらに或いは、画像プロセッサの機能の幾つか或いは全てが、カスタム又はセミカスタム集積回路又はプログラム可能デジタル信号プロセッサ（ＤＳＰ）のような、専属のハードウェアで実行されてもよい。
図１に示すコンピュータ２６は、例示のため、３Ｄ検知装置２４が分離されているが、コンピュータの処理機能の幾つか或いは全てが、検知装置の躯体内の、又は検知装置に付随する、適切な専用回路により実行されてもよい。
【００２５】
また更なる選択肢として、これらの処理機能は（例えばテレビの）ディスプレイ２８、或いはゲームコンソール又はメディアプレーヤのような他の適切な種類のコンピュータ化された装置、に統合された適切なプロセッサにより実行されてもよい。３Ｄ検知装置２４の検知機能は同様に、センサの出力により制御されるコンピュータ又は他のコンピュータ化された装置に統合されてもよい。
【００２６】
（プロファイル生成及び更新）
図２は、本発明の実施形態による、場面プロファイルの生成及び更新の方法を示すフロー図である。図３は、本発明の実施形態による、場面プロファイルを生成及び更新する時のコンピュータ２６により分析される場面６０の鳥瞰図である。図３に示すように、場面６０は多重のユーザ２２からなる。ここの記載においては、ユーザ２２は識別数字に添付記号を付すことにより区別され、従ってユーザ２２はユーザ２２Ａ、ユーザ２２Ｂ、ユーザ２２Ｃ及びユーザ２２Ｄからなる。
【００２７】
第１の獲得ステップ４０において、３Ｄ検知装置２４は場面６０の最初の画像を獲得し、コンピュータ２６が最初の画像を処理する。最初の画像を獲得するため、コンピュータ２６は３Ｄ検知装置２４から受信した信号を処理する。３Ｄ検知装置２４により獲得され、コンピュータ２６により処理された画像（最初の画像を含む）は、場面６０の２次元（２Ｄ）画像（典型的にはカラーの）又は場面の３Ｄ深さマップのどちらかである。
【００２８】
物体識別ステップ４２において、コンピュータ２６はユーザ近くの場面内の物体を識別する。例えば、コンピュータ２６はテーブル６２、椅子６４，６６のような家具を識別可能である。さらに、コンピュータ２６は炭酸飲料缶６８、携帯型パソコン７０、スマートフォン７２のようなその他の物体を識別可能である。場面内の物体を分析する場合、コンピュータは炭酸飲料缶６８上のロゴ７４（「ＣＯＬＡ」）や携帯型パソコン７０のブランド（不図示）などの、ブランドのロゴを識別してもよい。さらにコンピュータ２６は、眼鏡７６のようなユーザが着用している物品を識別するように構成されてもよい。
【００２９】
第１の個人識別ステップ４４において、コンピュータ２６はディスプレイ２８に近接する何人かのユーザ２２を識別する。例えば図３では、場面６０は４人の個人を有する。３次元場面（例えば場面６０）から情報（例えば、物体と個人）を抽出することについては、２０１０年８月１１日に出願された特許文献８に記載され、それはここに参照され採り入れられる。
【００３０】
第２の個人識別ステップ４６において、コンピュータ２６は場面６０内の個人の特性を識別する。コンピュータ２６が識別可能な特性の例は典型的に、人口統計的特性及び従事特性を含む。人口統計的特性の例は、限定されないが：
・場面６０内のそれぞれのユーザ２２の性別（即ち、男または女）
・場面６０内のそれぞれのユーザ２２の推定年齢。例えば、コンピュータ２６は、ユーザ２２を「子供」、「十代」及び「大人」のような幅広い年齢分類でグループ分けしてもよい。
【００３１】
・それぞれのユーザ２２の民族性。ある実施形態では、コンピュータ２６は獲得された画像を分析し、民族性を示すユーザの視覚的特徴を識別可能である。ある実施形態では、コンピュータ２６は、所定のユーザの唇の動きを「読唇術」を使用して分析することにより、所定のユーザ２２が話す言語を識別可能である。さらに或いは、３Ｄ検知装置２４はマイクロフォン（不図示）のような音響センサを備え、コンピュータ２６は、音響センサから受信した音響信号を分析して、ユーザの誰かが話した言語を識別するように構成されてもよい。
・所定のユーザ２２の身長及び体格のような生体計測特性。
・場面６０におけるそれぞれのユーザ２２の位置。
【００３２】
場面６０を分析する場合、コンピュータ２６はプロファイルを定義するため場面６０内のユーザの人口統計的特性を集計してもよい。例えば図３の場面は２人の大人男性（ユーザ２２Ｃと２２Ｄ）と２人の大人女性（２２Ａと２２Ｂ）を含む。
【００３３】
コンピュータ２６が識別可能な従事特性の例は、限定されないが：
・それぞれのユーザ２２の目線方向の識別。図３に示すように、ユーザ２２Ａはスマートフォン７２を注視しており、ユーザ２２Ｄは携帯型パソコン７０を注視しており、ユーザ２２Ｂと２２Ｃはディスプレイ２８を注視している。さらなる例では（不図示）、ユーザの一人が他のユーザ、又は場面６０のどこかを注視していてもよい。或いはコンピュータ２６は、所定のユーザ２２が彼／彼女の眼を閉じ、それによりその所定のユーザ２２が眠っていることを示していることを識別してもよい。
・それぞれのユーザ２２の顔の表情を識別（例えば、それぞれのユーザ２２の笑顔又はしかめ面）。
【００３４】
プロファイル定義のステップ４８では、コンピュータ２６が場面６０内の識別された物体、何人かの識別されたユーザ２２、ユーザの識別された特性、に基づいて最初のプロファイルを定義する。プロファイルは日付と時間のような他の情報を含んでもよい。コンピュータ２６は、その構成が事前にコンピュータに記憶されているコンテンツ７８を選択し、そして定義されたプロファイルに対応してディスプレイ２８に選択されたコンテンツを提供する。提供される選択されたコンテンツの例は、推奨される媒体選択メニュー（例えば、テレビのショー、スポーツ競技、映画又はウェブサイト）、及び、場面６０内のユーザの識別された特性を標的にする１つ以上の宣伝を含む。
【００３５】
例えば、定義されたプロファイルがユーザに子供を含むことを示す場合、コンピュータ２６は子供のプログラムの組合せとしてのコンテンツ７８を選択し、スクリーン上のメニュー選択として提供することができる。あるいは、定義されたプロファイルが複数の大人を有することを示す場合（図３のように）、コンピュータ２６は映画又はスポーツ競技の組合せとしてのコンテンツ７８を選択し、スクリーン上の選択メニューとして提供することができる。
【００３６】
ある実施形態では、コンピュータ２６は、場面６０内の識別された物体に基づいてコンテンツをカスタマイズ可能である。例えば、コンピュータ２６はロゴ７４付の炭酸飲料缶６８、携帯型パソコン７０及びスマートフォン７２を識別し、これら商品のユーザに対して宣伝などのコンテンツを適合させる。さらに或いは、コンピュータ２６は場面内のユーザの特性を識別することが可能である。例えばコンピュータ２６は、ユーザの年齢、民族性及び性別を標的とするコンテンツを提供可能である。コンピュータ２６はまた、眼鏡のような、ユーザが着用している物品に基づいてコンテンツを適合可能である。
【００３７】
さらに、ユーザ２２がディスプレイ２８上に提供されたソーシャルウェブアプリケーションで双方向通信している場合、コンピュータ２６はユーザの従事特性に基づいてステータスを定義することが可能である。例えばステータスは、年齢及び性別情報を含む、ディスプレイを注視している何人かのユーザ、からなってもよい。
【００３８】
第１の更新ステップ５０において、コンピュータ２６はディスプレイ２８上に提供されたコンテンツ７８を識別し、そして上映されたコンテンツでプロファイルを更新する。それによりプロファイルは今やそのコンテンツを含む。ステップ５０で選択されるコンテンツは典型的に、ディスプレイ２８上に最初に（即ちステップ４８で）提供されたコンテンツの一部を含む。本発明の実施形態では、コンテンツの例は、限定されないが、コンピュータ２６により提供されるコンテンツ（例えば、映画）選択のメニュー、又は、ユーザ２２によって選択され（例えば、メニュー経由で）そしてディスプレイ２８上に提供されたコンテンツを含む。例えばコンピュータ２６は、最初はコンテンツ７８をディスプレイ２８上のメニューとして提供し、その後ユーザ２２により選択された、映画やスポーツ競技のようなコンテンツの一部でプロファイルを更新可能である。典型的に、更新されたプロファイルは、以前及び現在提供されるコンテンツ（例えば、スポーツ競技）の特性を含む。更新されたプロファイルは、コンピュータ２６がスクリーン上のメニュー経由でコンテンツをよりユーザに適切に選択する能力を増大させる。
【００３９】
前述のように、コンピュータ２６は場面６０内のユーザの民族性を識別するように構成されてもよい。ある実施形態では、コンピュータ２６は識別された民族性に基づいてコンテンツ７８（例えば、標的化された宣伝）を提供することが可能である。例えば、コンピュータ２６がある所与のユーザ２２が話す言語を識別する場合、コンピュータはコンテンツ７８を識別された言語で提供し、又はコンテンツを識別された言語のサブタイトル付で提供可能である。
【００４０】
第２の獲得ステップ５２では、コンピュータ２６は場面６０現在の画像を獲得するため、３Ｄ検知装置２４からの信号を受信する。そして第２の更新ステップ５４において、コンピュータ２６は場面６０内の識別されたなんらかの変化（即ち、現在の画像と以前獲得された画像との間）でプロファイルを更新する。プロファイルを更新すると、コンピュータ２６はディスプレイ２８での提供用に選択されたコンテンツを更新可能であり、そして、方法の流れはステップ５０に戻って継続する。識別された変化は場面６０内の物品の変化、又は場面内の何人かのユーザ及び特性の変化でもよい。
【００４１】
ある実施形態では、コンピュータはディスプレイ２８に上映されたコンテンツを、場面６０内で識別された変化に応答して調整可能である。例えば、コンピュータ２６は、コンピュータが新しいユーザが場面に入るのを検知した場合、ディスプレイを暗くすることにより「ボスキー」を実行することが可能である。
【００４２】
さらなる実施形態では、コンピュータ２６は、ディスプレイ２８に上映されたコンテンツに対するユーザの反応を測定するため、獲得された画像の連続を分析可能である。例えばユーザの反応はディスプレイに上映された広告の有効性を示す。ユーザの反応は、そのユーザの視点を測定する（即ち、ユーザの誰かがコンテンツを見ていたか？）ことにより測定可能である。
【００４３】
本発明の実施形態を使用して定義され更新されたプロファイルは、音響命令を特定のユーザ２２からマイクロフォン３８を経由して受信する場合に、ビーム形成パラメータを制御するためにコンピュータにより使用可能である。ある実施形態では、コンピュータ２６はコンテンツ７８をディスプレイ２８上に提供し、既存技術で既知のビーム形成技術を使用して、マイクロフォンビームを３Ｄユーザインタフェースと双方向通信する特定のユーザに向ける（又は複数のユーザに向ける）ことが可能である。場面６０の画像の連続を獲得し、そしてプロファイルを更新することにより、コンピュータ２６は、マイクロフォンビーム用のパラメータを必要に応じて更新可能である。
【００４４】
例えば、ユーザ２２Ｂが３Ｄユーザインタフェースと音声命令経由で双方向通信し、ユーザ２２Ｂと２２Ｃが位置を交換する場合（即ち、ユーザ２２Ｂが椅子６６に座り、ユーザ２２Ｃが椅子６４に座る場合）、コンピュータ２６はユーザ２２Ｂを追跡し、マイクロフォンビームをユーザ２２Ｂの新しい位置に向けることが可能である。マイクロフォンビームのパラメータの更新は、周囲雑音の除去に役立ち、それによりコンピュータ２６がユーザ２２Ｂからの音声命令をより正確に処理することが可能になる。
【００４５】
フロー図で記載されたステップにおいてプロファイルを定義し更新する場合、場面６０内のユーザの特性を識別するため、コンピュータ２６は２Ｄと３Ｄの画像の組合せを分析することができる。例えば、コンピュータ２６は所与のユーザの頭部を検知するため３Ｄ画像を分析し、その後上記の人口統計的及び従事特性を検知するため２Ｄ画像を分析することができる。一度あるユーザがプロファイルに含まれると、コンピュータ２６は場面６０内のそのユーザの位置（即ち、場所と向き）を追跡するため３Ｄ画像を分析することができる。ユーザの追跡のための２Ｄ及び３Ｄ画像の使用は２０１１年２月２８日出願の特許文献９に記載され、それはここに参照され採り入れられる。
【００４６】
上記の実施例は例示のためであり、本発明の範囲は上記に示されまた記載されたものに限定されない。むしろ本発明の範囲は、上記の種々の特徴の組合せやサブ組合せを含み、上記の記載を読んだ当業者が想起する従来技術で開示されていない変化形や変更を含む。
【技術分野】
【０００１】
本発明は、コンピュータシステム用ユーザインタフェースに関し、特に非触覚検知に基づくユーザインタフェースに関するものである。
【背景技術】
【０００２】
多くの異なるタイプのユーザインタフェース装置及び方法が現在使用可能である。一般的な触覚インタフェース装置には、コンピュータキーボード、マウスおよびジョイスティックがある。タッチスクリーンは表示領域内の指又は他の物体による接触の存在と場所を検知する。赤外線遠隔制御装置は広く使用され、そして「ウェアラブル」ハードウェア装置も遠隔制御のため開発されている。
【０００３】
ユーザの体の一部の３次元（３Ｄ）検知に基づくコンピュータインタフェースも提案されている。例えば、特許文献１は、深さ認知センサを使用した動作認知システムを開示しており、それはここに参照され採り入れられる。３Ｄセンサは、典型的に室内でユーザ近くに配置されるが、位置情報を提供し、それは、体の対象部位の生成する動作を識別するのに使用される。動作はある時間内のその体の部位の形状、位置及び角度に基づいて認知される。動作は関連電子機器への入力を画定するため分類される。
【０００４】
本出願に参照として採り入れられた文書は本出願の一体的な一部と見做される。但し、本出願において明示的又は暗示的に定義された言葉が上記参照として採り入れられた文書の定義と異なる場合は、本出願の定義を使用することとする。
【０００５】
さらに特許文献２は双方向ビデオディスプレイシステムを開示しており、それはここに参照され採り入れられる。そこでは、ディスプレイ画面が視覚画像を表示し、カメラがディスプレイ画面の前に位置する双方向通信領域内の物体に関する３Ｄ情報を獲得する。コンピュータシステムがディスプレイ画面に対し、物体の変化に応答して視覚画像を変更するように指示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】ＷＯ ０３／０７１４１０
【特許文献２】米国特許７，３４８，９６３
【特許文献３】ＷＯ ２００７／０４３０３６
【特許文献４】ＷＯ ２００７／１０５２０５
【特許文献５】ＷＯ ２００８／１２０２１７
【特許文献６】ＷＯ ２００７／１３２４５１
【特許文献７】ＷＯ ＩＢ２０１０／０５１０５５
【特許文献８】米国特許出願公報１２／８５４，１８７
【特許文献９】米国特許出願公報１３／０３６，０２２
【発明の概要】
【０００７】
本発明の１実施形態によれば、非触覚インタフェースを実行するコンピュータに接続するディスプレイの近くに、１人以上のユーザを有する場面の画像を獲得するステップと、前記画像を処理し、前記１人以上のユーザのプロファイルを生成するステップと、そして、前記プロファイルに対応して、前記ディスプレイ上に上映するためのコンテンツを選択するステップと、を有することを特徴とする方法が提供される。
【０００８】
本発明のある実施形態によれば、ディスプレイと、そして、非触覚インタフェースを実行するコンピュータと、を有し、前記コンピュータは、前記ディスプレイの近くに１人以上のユーザを有する場面の画像を獲得し、前記画像を処理して前記１人以上のユーザのプロファイルを生成し、そして、前記ディスプレイ上に上映するコンテンツを前記プロファイルに対応して選択するように構成される、ことを特徴とする装置が提供される。
【０００９】
さらに本発明のある実施形態によれば、コンピュータソフトウェア製品であって、プログラム命令を記憶する非一過性のコンピュータ読み取り可能媒体を有し、前記命令は、非触覚インタフェースを実行するコンピュータに読み取られた場合に、前記コンピュータに場面のディスプレイの近くに１人以上のユーザを有する画像を獲得させ、前記画像を処理して前記１人以上のユーザのプロファイルを生成させ、そして、前記プロファイルに対応して、前記ディスプレイ上に上映するためのコンテンツを選択させる、ことを特徴とするコンピュータソフトウェア製品が提供される。
【００１０】
本発明は、事例による図を参照した本発明の実施形態の以下の詳細な説明により十分に理解されよう。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態による、非触覚３Ｄユーザインタフェースを実行するコンピュータの鳥瞰図である。
【図２】本発明の実施形態による、場面プロファイルの定義及び更新の方法を示すフロー図である。
【図３】本発明の実施形態による、非触覚３Ｄユーザインタフェースにより制御されるディスプレイの近くの１群の人からなる場面の鳥瞰図である。
【発明を実施するための形態】
【００１２】
（概論）
非触覚３Ｄユーザインタフェースを実行する（コンピュータやテレビなどの）コンテンツ配送システムは、１人以上の人の異なるグループにより使用可能であり、ここで各グループは異なるコンテンツの嗜好性を持つ。例えば、子供たちのグループは、マンガを見ることを好むだろうし、十代は社会的ウェブアプリの実行を好み、大人はニュースやスポーツ放映を見ることを好むだろう。
【００１３】
本発明の実施形態は、コンテンツ配送システム上での上映のためのコンテンツを選択するのに使用可能なプロファイル（ここでは「場面プロファイル」と呼ばれる）を定義し維持するための方法とシステムを提供する。プロファイルは識別された物体と、コンテンツ配送システムの近く（「場面」とも呼ばれる）の個人（即ち、ユーザ）の特性とに基づくことが可能である。以下で詳述されるように、プロファイルは場面内の個人の数、及び個人の性別、年齢、民族性のような情報を含む。ある実施形態では、プロファイルは従事（即ち、特定の個人が提供されたコンテンツを見ている）及び反応（例えば、顔の表情を介した）などの行動情報を含む。
【００１４】
一度プロファイルが生成されると、プロファイルは識別された物体（例えば、ある個人が飲料缶を場面に持ち込む）、場面内の個人の数、個人の特性、及び選択されてテレビで上映されるコンテンツ、の変化を反映して更新可能である。プロファイルは、個人に提供されるコンテンツの組合せを画面上のメニューにより選択するのに使用可能であり、そしてプロファイルは、メニューから選択されテレビで上映されたコンテンツで更新可能である。プロファイルはまた、場面内の個人の視線の方向や顔の表情（即ち、提供されたコンテンツに反応して）などの特性で更新可能である。例えば、プロファイルはテレビを見ている個人の数及び彼らの顔の表情（例えば、笑っている又は顔をしかめている）で更新可能である。
【００１５】
プロファイルをコンテンツの推奨の選択に使用することにより、場面内の個人の興味を標的とするコンテンツの「最良の推定」が得られ、それにより彼らの視聴または双方向通信体験が促進される。更に、本発明の実施形態では、場面を分析することにより、場面内の個人の人口統計および嗜好を標的とする宣伝を個人別にカスタム化可能である。
【００１６】
（システムの記述）
図１は本発明の実施形態による、ユーザ２２がコンピュータ２６を操作するための非触覚３Ｄユーザインタフェース２０の鳥瞰図である。非触覚３Ｄユーザインタフェース２０はコンピュータに接続する３Ｄ検知装置２４に基づいており、３Ｄ検知装置２４は、ユーザの体又は少なくとも手３０のような体の一部を含むある場面の３Ｄ場面情報を獲得する。３Ｄ検知装置２４又は別のカメラ（不図示）は場面のビデオ画像も獲得してよい。３Ｄ検知装置２４により獲得された情報はコンピュータ２６により処理され、コンピュータはそれに従ってディスプレイを駆動させる。
【００１７】
３Ｄユーザインタフェース２０を実行するコンピュータ２６は、ユーザ２２の３Ｄマップを再構築するため３Ｄ検知装置２４により生成されたデータを処理する。「３Ｄマップ」という言葉は、一般的に水平なＸ軸３２、一般的に垂直なＹ軸３４、及び深さＺ軸３６に関して例示のため３Ｄ検知装置２４に基づき測定される、１組の３Ｄ座標を意味する。１組の３Ｄ座標は所定の物体、この場合身体、の表面を示すことができる。
【００１８】
ある実施形態では、３Ｄ検知装置２４は点のパターンを物体上に投影し、そして投影されたパターンの画像を獲得する。コンピュータ２６はその後、ユーザの体の表面上の点の３Ｄ座標を、パターン内の点の水平方向偏移に基づいて三角法により計算する。投影されたパターンを使用するこの種の三角法に基づく３Ｄマッピングの方法及び装置は、例えば特許文献３、特許文献４、及び特許文献５に記載されており、それらはここに参照され採り入れられる。或いは、３Ｄユーザインタフェース２０は、既存技術で既知の単一又は多重のカメラ、又は他のタイプのセンサを使用する、他の３Ｄマッピングの方法を使用してもよい。
【００１９】
コンピュータ２６は、３Ｄ検知装置２４経由で、時間の経過における一連の深さマップを獲得するように構成される。それぞれの深さマップは、１つの場面のピクセルの２次元マトリックスとしての表示からなる。ここで各ピクセルは場面内のそれぞれの位置に対応し、一定の参照位置からそれぞれの場面位置までの距離を示すそれぞれのピクセル値を有する。言い換えれば、深さマップ内のピクセル値は、場面内の物体の輝度レベル及び／又は色ではなく、むしろ地形情報を示す。例えば、特許文献３に記載されるように、深さマップは、レーザスペックルのパターンが投影されたある物体の画像を検知し処理することにより生成可能である。
【００２０】
ある実施形態では、コンピュータ２６は場面内の物体を区割りし識別するため、深さマップを処理可能である。詳細には、コンピュータ２６はヒト類似形状（即ち、構造がヒトの構造に類似している３Ｄ形状）のような物体を識別し、識別された物体の変化（即ち、場面から場面への）は、コンピュータアプリケーションを制御するための入力として使用することができる。
【００２１】
例えば、特許文献６は、ヒト類似形状の輪郭を見出すために所定の深さマップが区割りされる、コンピュータにより実行される方法を開示しており、それはここに参照され採り入れられる。その後輪郭は体の胴と１つ以上の肢を識別するため処理可能である。その後、獲得された深さマップ内の少なくとも１つの識別された肢の偏移を分析することにより、コンピュータ上で走るアプリケーションプログラムを制御する入力が生成される。
【００２２】
ある実施形態では、コンピュータ２６は手３０の位置を追跡するため、獲得された深さマップを処理可能である。手の位置を追跡することにより、３Ｄユーザインタフェース２０は、手３０を、コンピュータ又はテレビやセットボックスのような他の装置を制御するためのポインティングデバイス（位置指示装置）として使用可能である。さらに或いは、３Ｄユーザインタフェース２０は、ユーザが、ディスプレイ２８上に表示される１つの数字を選択する、ポインティングデバイスとして手３０を使用する「数字入力」を実行してもよい。手の位置の追跡や数字入力は、特許文献７に詳述されている。
【００２３】
他の実施形態では、３Ｄ検知装置２４はマイクロフォン３８のような１つ以上の音響センサを有してもよい。コンピュータ２６は、マイクロフォン３８経由でユーザ２２からの音声命令のような音響入力を受信するように構成されてもよい。マイクロフォン３８は、コンピュータ２６が音声命令を処理する時にビーム形成技術を使用出来るように、（ここで示すように）直線的に配置されてもよい。
【００２４】
コンピュータ２６は典型的に、以下で記述される機能を実行するためソフトウェアでプログラムされる汎用コンピュータプロセッサを有する。ソフトウェアは、例えば、ネットワーク上において電子形態でプロセッサにダウンロードされてもよいし、あるいは、光、磁気、電子記憶媒体のような非一過性の接触可能媒体で提供されてもよい。さらに或いは、画像プロセッサの機能の幾つか或いは全てが、カスタム又はセミカスタム集積回路又はプログラム可能デジタル信号プロセッサ（ＤＳＰ）のような、専属のハードウェアで実行されてもよい。
図１に示すコンピュータ２６は、例示のため、３Ｄ検知装置２４が分離されているが、コンピュータの処理機能の幾つか或いは全てが、検知装置の躯体内の、又は検知装置に付随する、適切な専用回路により実行されてもよい。
【００２５】
また更なる選択肢として、これらの処理機能は（例えばテレビの）ディスプレイ２８、或いはゲームコンソール又はメディアプレーヤのような他の適切な種類のコンピュータ化された装置、に統合された適切なプロセッサにより実行されてもよい。３Ｄ検知装置２４の検知機能は同様に、センサの出力により制御されるコンピュータ又は他のコンピュータ化された装置に統合されてもよい。
【００２６】
（プロファイル生成及び更新）
図２は、本発明の実施形態による、場面プロファイルの生成及び更新の方法を示すフロー図である。図３は、本発明の実施形態による、場面プロファイルを生成及び更新する時のコンピュータ２６により分析される場面６０の鳥瞰図である。図３に示すように、場面６０は多重のユーザ２２からなる。ここの記載においては、ユーザ２２は識別数字に添付記号を付すことにより区別され、従ってユーザ２２はユーザ２２Ａ、ユーザ２２Ｂ、ユーザ２２Ｃ及びユーザ２２Ｄからなる。
【００２７】
第１の獲得ステップ４０において、３Ｄ検知装置２４は場面６０の最初の画像を獲得し、コンピュータ２６が最初の画像を処理する。最初の画像を獲得するため、コンピュータ２６は３Ｄ検知装置２４から受信した信号を処理する。３Ｄ検知装置２４により獲得され、コンピュータ２６により処理された画像（最初の画像を含む）は、場面６０の２次元（２Ｄ）画像（典型的にはカラーの）又は場面の３Ｄ深さマップのどちらかである。
【００２８】
物体識別ステップ４２において、コンピュータ２６はユーザ近くの場面内の物体を識別する。例えば、コンピュータ２６はテーブル６２、椅子６４，６６のような家具を識別可能である。さらに、コンピュータ２６は炭酸飲料缶６８、携帯型パソコン７０、スマートフォン７２のようなその他の物体を識別可能である。場面内の物体を分析する場合、コンピュータは炭酸飲料缶６８上のロゴ７４（「ＣＯＬＡ」）や携帯型パソコン７０のブランド（不図示）などの、ブランドのロゴを識別してもよい。さらにコンピュータ２６は、眼鏡７６のようなユーザが着用している物品を識別するように構成されてもよい。
【００２９】
第１の個人識別ステップ４４において、コンピュータ２６はディスプレイ２８に近接する何人かのユーザ２２を識別する。例えば図３では、場面６０は４人の個人を有する。３次元場面（例えば場面６０）から情報（例えば、物体と個人）を抽出することについては、２０１０年８月１１日に出願された特許文献８に記載され、それはここに参照され採り入れられる。
【００３０】
第２の個人識別ステップ４６において、コンピュータ２６は場面６０内の個人の特性を識別する。コンピュータ２６が識別可能な特性の例は典型的に、人口統計的特性及び従事特性を含む。人口統計的特性の例は、限定されないが：
・場面６０内のそれぞれのユーザ２２の性別（即ち、男または女）
・場面６０内のそれぞれのユーザ２２の推定年齢。例えば、コンピュータ２６は、ユーザ２２を「子供」、「十代」及び「大人」のような幅広い年齢分類でグループ分けしてもよい。
【００３１】
・それぞれのユーザ２２の民族性。ある実施形態では、コンピュータ２６は獲得された画像を分析し、民族性を示すユーザの視覚的特徴を識別可能である。ある実施形態では、コンピュータ２６は、所定のユーザの唇の動きを「読唇術」を使用して分析することにより、所定のユーザ２２が話す言語を識別可能である。さらに或いは、３Ｄ検知装置２４はマイクロフォン（不図示）のような音響センサを備え、コンピュータ２６は、音響センサから受信した音響信号を分析して、ユーザの誰かが話した言語を識別するように構成されてもよい。
・所定のユーザ２２の身長及び体格のような生体計測特性。
・場面６０におけるそれぞれのユーザ２２の位置。
【００３２】
場面６０を分析する場合、コンピュータ２６はプロファイルを定義するため場面６０内のユーザの人口統計的特性を集計してもよい。例えば図３の場面は２人の大人男性（ユーザ２２Ｃと２２Ｄ）と２人の大人女性（２２Ａと２２Ｂ）を含む。
【００３３】
コンピュータ２６が識別可能な従事特性の例は、限定されないが：
・それぞれのユーザ２２の目線方向の識別。図３に示すように、ユーザ２２Ａはスマートフォン７２を注視しており、ユーザ２２Ｄは携帯型パソコン７０を注視しており、ユーザ２２Ｂと２２Ｃはディスプレイ２８を注視している。さらなる例では（不図示）、ユーザの一人が他のユーザ、又は場面６０のどこかを注視していてもよい。或いはコンピュータ２６は、所定のユーザ２２が彼／彼女の眼を閉じ、それによりその所定のユーザ２２が眠っていることを示していることを識別してもよい。
・それぞれのユーザ２２の顔の表情を識別（例えば、それぞれのユーザ２２の笑顔又はしかめ面）。
【００３４】
プロファイル定義のステップ４８では、コンピュータ２６が場面６０内の識別された物体、何人かの識別されたユーザ２２、ユーザの識別された特性、に基づいて最初のプロファイルを定義する。プロファイルは日付と時間のような他の情報を含んでもよい。コンピュータ２６は、その構成が事前にコンピュータに記憶されているコンテンツ７８を選択し、そして定義されたプロファイルに対応してディスプレイ２８に選択されたコンテンツを提供する。提供される選択されたコンテンツの例は、推奨される媒体選択メニュー（例えば、テレビのショー、スポーツ競技、映画又はウェブサイト）、及び、場面６０内のユーザの識別された特性を標的にする１つ以上の宣伝を含む。
【００３５】
例えば、定義されたプロファイルがユーザに子供を含むことを示す場合、コンピュータ２６は子供のプログラムの組合せとしてのコンテンツ７８を選択し、スクリーン上のメニュー選択として提供することができる。あるいは、定義されたプロファイルが複数の大人を有することを示す場合（図３のように）、コンピュータ２６は映画又はスポーツ競技の組合せとしてのコンテンツ７８を選択し、スクリーン上の選択メニューとして提供することができる。
【００３６】
ある実施形態では、コンピュータ２６は、場面６０内の識別された物体に基づいてコンテンツをカスタマイズ可能である。例えば、コンピュータ２６はロゴ７４付の炭酸飲料缶６８、携帯型パソコン７０及びスマートフォン７２を識別し、これら商品のユーザに対して宣伝などのコンテンツを適合させる。さらに或いは、コンピュータ２６は場面内のユーザの特性を識別することが可能である。例えばコンピュータ２６は、ユーザの年齢、民族性及び性別を標的とするコンテンツを提供可能である。コンピュータ２６はまた、眼鏡のような、ユーザが着用している物品に基づいてコンテンツを適合可能である。
【００３７】
さらに、ユーザ２２がディスプレイ２８上に提供されたソーシャルウェブアプリケーションで双方向通信している場合、コンピュータ２６はユーザの従事特性に基づいてステータスを定義することが可能である。例えばステータスは、年齢及び性別情報を含む、ディスプレイを注視している何人かのユーザ、からなってもよい。
【００３８】
第１の更新ステップ５０において、コンピュータ２６はディスプレイ２８上に提供されたコンテンツ７８を識別し、そして上映されたコンテンツでプロファイルを更新する。それによりプロファイルは今やそのコンテンツを含む。ステップ５０で選択されるコンテンツは典型的に、ディスプレイ２８上に最初に（即ちステップ４８で）提供されたコンテンツの一部を含む。本発明の実施形態では、コンテンツの例は、限定されないが、コンピュータ２６により提供されるコンテンツ（例えば、映画）選択のメニュー、又は、ユーザ２２によって選択され（例えば、メニュー経由で）そしてディスプレイ２８上に提供されたコンテンツを含む。例えばコンピュータ２６は、最初はコンテンツ７８をディスプレイ２８上のメニューとして提供し、その後ユーザ２２により選択された、映画やスポーツ競技のようなコンテンツの一部でプロファイルを更新可能である。典型的に、更新されたプロファイルは、以前及び現在提供されるコンテンツ（例えば、スポーツ競技）の特性を含む。更新されたプロファイルは、コンピュータ２６がスクリーン上のメニュー経由でコンテンツをよりユーザに適切に選択する能力を増大させる。
【００３９】
前述のように、コンピュータ２６は場面６０内のユーザの民族性を識別するように構成されてもよい。ある実施形態では、コンピュータ２６は識別された民族性に基づいてコンテンツ７８（例えば、標的化された宣伝）を提供することが可能である。例えば、コンピュータ２６がある所与のユーザ２２が話す言語を識別する場合、コンピュータはコンテンツ７８を識別された言語で提供し、又はコンテンツを識別された言語のサブタイトル付で提供可能である。
【００４０】
第２の獲得ステップ５２では、コンピュータ２６は場面６０現在の画像を獲得するため、３Ｄ検知装置２４からの信号を受信する。そして第２の更新ステップ５４において、コンピュータ２６は場面６０内の識別されたなんらかの変化（即ち、現在の画像と以前獲得された画像との間）でプロファイルを更新する。プロファイルを更新すると、コンピュータ２６はディスプレイ２８での提供用に選択されたコンテンツを更新可能であり、そして、方法の流れはステップ５０に戻って継続する。識別された変化は場面６０内の物品の変化、又は場面内の何人かのユーザ及び特性の変化でもよい。
【００４１】
ある実施形態では、コンピュータはディスプレイ２８に上映されたコンテンツを、場面６０内で識別された変化に応答して調整可能である。例えば、コンピュータ２６は、コンピュータが新しいユーザが場面に入るのを検知した場合、ディスプレイを暗くすることにより「ボスキー」を実行することが可能である。
【００４２】
さらなる実施形態では、コンピュータ２６は、ディスプレイ２８に上映されたコンテンツに対するユーザの反応を測定するため、獲得された画像の連続を分析可能である。例えばユーザの反応はディスプレイに上映された広告の有効性を示す。ユーザの反応は、そのユーザの視点を測定する（即ち、ユーザの誰かがコンテンツを見ていたか？）ことにより測定可能である。
【００４３】
本発明の実施形態を使用して定義され更新されたプロファイルは、音響命令を特定のユーザ２２からマイクロフォン３８を経由して受信する場合に、ビーム形成パラメータを制御するためにコンピュータにより使用可能である。ある実施形態では、コンピュータ２６はコンテンツ７８をディスプレイ２８上に提供し、既存技術で既知のビーム形成技術を使用して、マイクロフォンビームを３Ｄユーザインタフェースと双方向通信する特定のユーザに向ける（又は複数のユーザに向ける）ことが可能である。場面６０の画像の連続を獲得し、そしてプロファイルを更新することにより、コンピュータ２６は、マイクロフォンビーム用のパラメータを必要に応じて更新可能である。
【００４４】
例えば、ユーザ２２Ｂが３Ｄユーザインタフェースと音声命令経由で双方向通信し、ユーザ２２Ｂと２２Ｃが位置を交換する場合（即ち、ユーザ２２Ｂが椅子６６に座り、ユーザ２２Ｃが椅子６４に座る場合）、コンピュータ２６はユーザ２２Ｂを追跡し、マイクロフォンビームをユーザ２２Ｂの新しい位置に向けることが可能である。マイクロフォンビームのパラメータの更新は、周囲雑音の除去に役立ち、それによりコンピュータ２６がユーザ２２Ｂからの音声命令をより正確に処理することが可能になる。
【００４５】
フロー図で記載されたステップにおいてプロファイルを定義し更新する場合、場面６０内のユーザの特性を識別するため、コンピュータ２６は２Ｄと３Ｄの画像の組合せを分析することができる。例えば、コンピュータ２６は所与のユーザの頭部を検知するため３Ｄ画像を分析し、その後上記の人口統計的及び従事特性を検知するため２Ｄ画像を分析することができる。一度あるユーザがプロファイルに含まれると、コンピュータ２６は場面６０内のそのユーザの位置（即ち、場所と向き）を追跡するため３Ｄ画像を分析することができる。ユーザの追跡のための２Ｄ及び３Ｄ画像の使用は２０１１年２月２８日出願の特許文献９に記載され、それはここに参照され採り入れられる。
【００４６】
上記の実施例は例示のためであり、本発明の範囲は上記に示されまた記載されたものに限定されない。むしろ本発明の範囲は、上記の種々の特徴の組合せやサブ組合せを含み、上記の記載を読んだ当業者が想起する従来技術で開示されていない変化形や変更を含む。
【特許請求の範囲】
【請求項１】
非触覚インタフェースを実行するコンピュータに接続するディスプレイの近くに、１人以上のユーザを有する場面の画像を獲得するステップと、
前記画像を処理し、前記１人以上のユーザのプロファイルを生成するステップと、そして、
前記プロファイルに対応して、前記ディスプレイ上に上映するためのコンテンツを選択するステップと、
を有することを特徴とする方法。
【請求項２】
前記コンテンツを前記ディスプレイ上に上映するステップと、
前記１人以上のユーザによる選択に応答して、前記コンテンツの少なくとも一部を識別するステップと、そして、
前記識別されたコンテンツで前記プロファイルを更新するステップと、
を有することを特徴とする請求項１に記載の方法。
【請求項３】
前記場面内の１つ以上の物体を識別するステップと、そして、
前記１つ以上の物体で前記プロファイルを更新するステップと、
を有することを特徴とする請求項１に記載の方法。
【請求項４】
前記場面の現在の画像を獲得するステップと、
前記現在の画像と以前獲得された画像の間の変化を検知するステップと、そして、
前記検知された変化で前記プロファイルを更新するステップと、
を有することを特徴とする請求項１に記載の方法。
【請求項５】
前記場面内の複数のユーザを識別するステップと、
前記識別された複数のユーザのそれぞれの特性を識別するステップと、
前記複数のユーザと前記それぞれの特性で前記プロファイルを更新するステップと、
を有することを特徴とする請求項１に記載の方法。
【請求項６】
前記特性は、性別、推定年齢、位置、民族性、生体計測情報、視線の方向、及び顔の表情、を含むリストから選択されることを特徴とする請求項５に記載の方法。
【請求項７】
前記場面からの音響信号を獲得するステップと、
前記場面内の前記ユーザの一人が話す言語を識別するステップと、そして、
前記検知された言語から前記民族性を識別するステップと、
を有することを特徴とする請求項６に記載の方法。
【請求項８】
前記場面からの音響信号を獲得するステップと、
一人以上の前記ユーザの位置を識別するステップと、そして、
マイクロフォンビームを前記一人以上のユーザに向けるステップと、
を有することを特徴とする請求項６に記載の方法。
【請求項９】
前記一人以上のユーザの前記視線の方向と前記顔の表情を使用して、前記上映されたコンテンツの反応を測定するステップを有することを特徴とする請求項６に記載の方法。
【請求項１０】
ディスプレイと、そして、
非触覚インタフェースを実行するコンピュータと、を有し、
前記コンピュータは、前記ディスプレイの近くに１人以上のユーザを有する場面の画像を獲得し、前記画像を処理して前記１人以上のユーザのプロファイルを生成し、そして、前記プロファイルに対応して前記ディスプレイ上に上映するコンテンツを選択するように構成される、
ことを特徴とする装置。
【請求項１１】
前記コンピュータは、
前記コンテンツを前記ディスプレイ上に上映し、
前記１人以上のユーザによる選択に応答して、前記コンテンツの少なくとも一部を識別し、そして、
前記識別されたコンテンツで前記プロファイルを更新する、
ように構成されることを特徴とする請求項１０に記載の装置。
【請求項１２】
前記コンピュータは、前記場面内の１つ以上の物体を識別し、そして、前記１つ以上の物体で前記プロファイルを更新する、ように構成されることを特徴とする請求項１０に記載の装置。
【請求項１３】
前記コンピュータは、前記場面の現在の画像を獲得し、前記現在の画像と以前獲得された画像の間の変化を検知し、そして前記検知された変化で前記プロファイルを更新する、ように構成されることを特徴とする請求項１０に記載の装置。
【請求項１４】
前記コンピュータは、前記場面内の複数のユーザを識別し、前記識別された複数のユーザのそれぞれの特性を識別し、そして、前記複数のユーザと前記それぞれの特性で前記プロファイルを更新する、ように構成されることを特徴とする請求項１０に記載の装置。
【請求項１５】
前記コンピュータは、性別、推定年齢、位置、民族性、生体計測情報、視線の方向、及び顔の表情、を含むリストから前記特性を選択するように構成されることを特徴とする請求項１４に記載の装置。
【請求項１６】
前記コンピュータは、前記場面からの音響信号を獲得し、前記場面内の前記ユーザの一人が話す言語を識別し、そして、前記検知された言語から前記民族性を識別する、ように構成されることを特徴とする請求項１５に記載の装置。
【請求項１７】
前記コンピュータは、前記場面からの音響信号を獲得し、一人以上の前記ユーザの位置を識別し、そして、マイクロフォンビームを前記一人以上のユーザに向ける、ように構成されることを特徴とする請求項１５に記載の装置。
【請求項１８】
前記コンピュータは、前記一人以上のユーザの前記視線の方向と前記顔の表情を使用して、前記上映されたコンテンツの反応を測定するように構成されることを特徴とする請求項１５に記載の装置。
【請求項１９】
コンピュータソフトウェア製品であって、プログラム命令を記憶する非一過性のコンピュータ読み取り可能媒体を有し、
前記命令は、非触覚インタフェースを実行するコンピュータに読み取られた場合に、前記コンピュータに対し、場面のディスプレイの近くに１人以上のユーザを有する画像を獲得させ、前記画像を処理して前記１人以上のユーザのプロファイルを生成させ、そして、前記プロファイルに対応して、前記ディスプレイ上に上映するためのコンテンツを選択させる、
ことを特徴とするコンピュータソフトウェア製品。
【請求項１】
非触覚インタフェースを実行するコンピュータに接続するディスプレイの近くに、１人以上のユーザを有する場面の画像を獲得するステップと、
前記画像を処理し、前記１人以上のユーザのプロファイルを生成するステップと、そして、
前記プロファイルに対応して、前記ディスプレイ上に上映するためのコンテンツを選択するステップと、
を有することを特徴とする方法。
【請求項２】
前記コンテンツを前記ディスプレイ上に上映するステップと、
前記１人以上のユーザによる選択に応答して、前記コンテンツの少なくとも一部を識別するステップと、そして、
前記識別されたコンテンツで前記プロファイルを更新するステップと、
を有することを特徴とする請求項１に記載の方法。
【請求項３】
前記場面内の１つ以上の物体を識別するステップと、そして、
前記１つ以上の物体で前記プロファイルを更新するステップと、
を有することを特徴とする請求項１に記載の方法。
【請求項４】
前記場面の現在の画像を獲得するステップと、
前記現在の画像と以前獲得された画像の間の変化を検知するステップと、そして、
前記検知された変化で前記プロファイルを更新するステップと、
を有することを特徴とする請求項１に記載の方法。
【請求項５】
前記場面内の複数のユーザを識別するステップと、
前記識別された複数のユーザのそれぞれの特性を識別するステップと、
前記複数のユーザと前記それぞれの特性で前記プロファイルを更新するステップと、
を有することを特徴とする請求項１に記載の方法。
【請求項６】
前記特性は、性別、推定年齢、位置、民族性、生体計測情報、視線の方向、及び顔の表情、を含むリストから選択されることを特徴とする請求項５に記載の方法。
【請求項７】
前記場面からの音響信号を獲得するステップと、
前記場面内の前記ユーザの一人が話す言語を識別するステップと、そして、
前記検知された言語から前記民族性を識別するステップと、
を有することを特徴とする請求項６に記載の方法。
【請求項８】
前記場面からの音響信号を獲得するステップと、
一人以上の前記ユーザの位置を識別するステップと、そして、
マイクロフォンビームを前記一人以上のユーザに向けるステップと、
を有することを特徴とする請求項６に記載の方法。
【請求項９】
前記一人以上のユーザの前記視線の方向と前記顔の表情を使用して、前記上映されたコンテンツの反応を測定するステップを有することを特徴とする請求項６に記載の方法。
【請求項１０】
ディスプレイと、そして、
非触覚インタフェースを実行するコンピュータと、を有し、
前記コンピュータは、前記ディスプレイの近くに１人以上のユーザを有する場面の画像を獲得し、前記画像を処理して前記１人以上のユーザのプロファイルを生成し、そして、前記プロファイルに対応して前記ディスプレイ上に上映するコンテンツを選択するように構成される、
ことを特徴とする装置。
【請求項１１】
前記コンピュータは、
前記コンテンツを前記ディスプレイ上に上映し、
前記１人以上のユーザによる選択に応答して、前記コンテンツの少なくとも一部を識別し、そして、
前記識別されたコンテンツで前記プロファイルを更新する、
ように構成されることを特徴とする請求項１０に記載の装置。
【請求項１２】
前記コンピュータは、前記場面内の１つ以上の物体を識別し、そして、前記１つ以上の物体で前記プロファイルを更新する、ように構成されることを特徴とする請求項１０に記載の装置。
【請求項１３】
前記コンピュータは、前記場面の現在の画像を獲得し、前記現在の画像と以前獲得された画像の間の変化を検知し、そして前記検知された変化で前記プロファイルを更新する、ように構成されることを特徴とする請求項１０に記載の装置。
【請求項１４】
前記コンピュータは、前記場面内の複数のユーザを識別し、前記識別された複数のユーザのそれぞれの特性を識別し、そして、前記複数のユーザと前記それぞれの特性で前記プロファイルを更新する、ように構成されることを特徴とする請求項１０に記載の装置。
【請求項１５】
前記コンピュータは、性別、推定年齢、位置、民族性、生体計測情報、視線の方向、及び顔の表情、を含むリストから前記特性を選択するように構成されることを特徴とする請求項１４に記載の装置。
【請求項１６】
前記コンピュータは、前記場面からの音響信号を獲得し、前記場面内の前記ユーザの一人が話す言語を識別し、そして、前記検知された言語から前記民族性を識別する、ように構成されることを特徴とする請求項１５に記載の装置。
【請求項１７】
前記コンピュータは、前記場面からの音響信号を獲得し、一人以上の前記ユーザの位置を識別し、そして、マイクロフォンビームを前記一人以上のユーザに向ける、ように構成されることを特徴とする請求項１５に記載の装置。
【請求項１８】
前記コンピュータは、前記一人以上のユーザの前記視線の方向と前記顔の表情を使用して、前記上映されたコンテンツの反応を測定するように構成されることを特徴とする請求項１５に記載の装置。
【請求項１９】
コンピュータソフトウェア製品であって、プログラム命令を記憶する非一過性のコンピュータ読み取り可能媒体を有し、
前記命令は、非触覚インタフェースを実行するコンピュータに読み取られた場合に、前記コンピュータに対し、場面のディスプレイの近くに１人以上のユーザを有する画像を獲得させ、前記画像を処理して前記１人以上のユーザのプロファイルを生成させ、そして、前記プロファイルに対応して、前記ディスプレイ上に上映するためのコンテンツを選択させる、
ことを特徴とするコンピュータソフトウェア製品。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−１４１９６５（Ｐ２０１２−１４１９６５Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１１−２６９４４６（Ｐ２０１１−２６９４４６）
【出願日】平成２３年１２月８日（２０１１．１２．８）
【出願人】（３０８０４２０８９）プライムセンス リミテッド (9)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２３年１２月８日（２０１１．１２．８）
【出願人】（３０８０４２０８９）プライムセンス リミテッド (9)
【Ｆターム（参考）】
[ Back to top ]