実体験のように感じる効果を提供する方法及びシステム
実体験のように感じる効果を提供する方法は、少なくとも１つの画像を表すデータを受信し、少なくとも１つの画像を分析して、少なくとも１つの画像において識別される少なくとも１つのオブジェクトを探し、少なくとも１つの画像を観察することができる少なくとも１つの主体の注視焦点を推定する。少なくとも１つの主体に実体験のように感じる効果を提供するため、少なくとも１つの画像における少なくとも１つのオブジェクトの位置に対する相対的な注視焦点の位置に依存する少なくとも１つの信号がシステム（16〜19，31〜34）に供給される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実体験のように感じる効果（immersive effects）を提供する方法、実体験のように感じる効果の提供を制御するシステム及びコンピュータプログラムに関する。
【背景技術】
【０００２】
WO2006/100645は、ユーザが現在見ている文書について、「実体験のように感じる読書体験（immersive reading experience）」を生成するシステムを開示している。このシステムは、文書を見ているユーザの画像を捕捉する少なくとも１つのカメラ、及びカメラに結合され、カメラからの画像を受ける少なくとも１つのプロセッサを有する。このプロセッサは、画像を処理し、画像を使用して、ユーザが現在見ている文書における位置を判定する。プロセッサは、文書における位置を処理して、ユーザが見ている現在の文書に対応する出力に関連する少なくとも１つの実体験のように感じる効果を生成する。１実施の形態では、このシステムは、e-bookを含む。e-bookのメモリは、e-bookのプロセッサが表示するのに使用する作品のテキストの電子的なバージョンを記憶する。その場合、効果に関連するデータは、ソフトウェアレイヤに含まれるか、又はユーザにとって見ることができないテキストの電子的なバージョン又はサブコードで含まれることが好ましい。プロセッサは、現在の見ている位置を使用し、ディスプレイのその位置で現在表示されているテキストを識別する。プロセッサは、表示されているテキストのメモリ位置を使用し、対応する実体験のように感じる効果のデータを読み出す。ペーパーブックを使用した代替的な実施の形態では、実体験のように感じる効果のデータは、頁に従ってメモリにおいて照会され、対応するテキストが現れるペーパーブックの頁に位置合わせされる。カメラは、頁の画像それ自身を捕捉するために使用され、書籍が開いている頁番号を認識するために画像処理が使用される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
公知の方法は、たとえばe-bookといったレンダリング装置により、注視点（gaze point）を実体験のように感じる効果に関連付けし、テキストを認識した位置を追跡するために画像を生成する構造化されたデータを使用している。
【０００４】
特に動画（動態イメージ）の系列を含めて、広範な画像の使用に適した開始節で定義されるタイプの方法、システム及びコンピュータプログラムを提供することが望まれる。
【課題を解決するための手段】
【０００５】
上記目的は、本発明に係る方法により達成され、本方法は、少なくとも１つの画像を表すデータを受信するステップ、少なくとも１つの画像のデータを分析して、少なくとも１つの画像で識別された少なくとも１つのオブジェクトを探すステップ、少なくとも１つの画像を観察可能な少なくとも１つの主体の注視焦点（visual focus of attention）を推定するステップ、少なくとも１つの主体に実体験のように感じる効果を与えるため、少なくとも１つの画像における少なくとも１つのオブジェクトの位置に対する相対的な注視焦点の位置に依存する少なくとも１つの信号をシステムに供給するステップを含む。
【０００６】
少なくとも１つの画像を表すデータを受信し、少なくとも１つの画像を分析して、少なくとも１つの画像で識別される少なくとも１つのオブジェクトを探すステップにより、当該方法は、画像の位置の暗黙的又は明示的なマッピングを提供することなしに、それぞれの画像について機能することができる。画像の系列の場合、これは、本方法を実行しているシステムには、係るマッピングを含む同期されたデータストリームが提供される必要がないことを意味する。同じ理由について、本方法は、たとえばデジタル表現が分析されるハードコピーにおける任意の画像といった広範な画像により機能することができる。係る実施の形態では、オブジェクトが認識され、実体験のように感じる効果に関連付けされる限りは、画像の位置と実体験のように感じる効果とのマッピングを含む構造化されたデータが必要とされない。
【０００７】
この開示の文脈では、用語「主体“subject”」は、生きた主体、すなわち人間、又はペット等のような動物を示す。
【０００８】
本方法の実施の形態は、少なくとも１つの画像を観察可能な多数の主体のそれぞれの注視焦点を推定し、主体の注視焦点に依存して実体験のように感じる効果を提供するためのシステムへの少なくとも１つの信号を適合させる。
【０００９】
この実施の形態は、本質的に全ての主体が同じオブジェクトに焦点を合わせているときに、同じ実体験のように感じる効果が全ての主体に提供されるのを可能にする。全ての主体が同じオブジェクトに焦点を合わせていないときには、弱められた実体験のように感じる効果が提供されるか又はフィードバックが全くない。代替的に、この実施の形態は、区別されたフィードバックを生成するポテンシャルを提供する。
【００１０】
多数の出力位置のそれぞれで個別の実体験のように感じる効果をシステムが提供する変形例は、少なくとも出力位置に関連して、主体の位置を決定することを含む。
【００１１】
この変形例は、たとえば多数の主体が異なる物を見ているとしても、適切な実体験のように感じる効果を複数の主体にフィードバックとして提供するのを可能にする。
【００１２】
実施の形態では、少なくとも１つの信号は、触覚型のフィードバックを提供する少なくとも１つの装置を含む実体験のように感じる効果を提供するシステムに供給される。
【００１３】
触覚型のフィードバックは、主体に力、振動及び／又は動きを伝えることを含めて、本質的に直接的な接触のみを通して、短い距離でのみ伝達することができる。効果は、ある主体にフィードバックとして提供される実体験のように感じる効果は、他の主体により知覚されない可能性が高いことである。従って、多数の主体が画像を観察することができるが、そのうちの１人のみが画像内の特定のオブジェクトを見ている状況では、そのオブジェクトに関連するフィードバックは、他の主体の邪魔になることなしに、その特定の主体のみに向けられる。
【００１４】
本方法の実施の形態は、主体を識別することを含む。
この環境では、「識別する“identifying”」とは、多数の主体のそれぞれを認識することであり、すなわち、ディスプレイ上で画像の環境において、たとえば５人の異なる主体が存在することを検出することである。代替的に、それら主体に、たとえば“Bob”、“Mary”等といった一般に予め決定された識別子である固有の識別子を関連付けすることを含む。効果は、識別されたフィードバックの提供が容易であり、本質的に、その注視焦点が推定される主体のうちの特定の１人にフォードバックが向けられるのを可能にする。
【００１５】
本実施の形態の変形例では、ある主体を識別することは、その主体を予め決定された識別子に関連付けすることを含み、実体験のように感じる効果を提供するシステムへの少なくとも１つの信号は、その識別子に関連付けされる設定にも依存して提供される。
【００１６】
効果は、たとえ制限された量の効果データが画像におけるオブジェクトと関連付けされるか、又はオブジェクトの特性に基づいて又は画像データと受信された効果データに基づいて画像におけるオブジェクトと関連付けすることができるとしても、実体験のように感じる効果を異なる主体により精密にチューニングすることが可能なことである。識別は、意義のある効果を達成するために固有である必要はない。たとえば、識別は、主体のカテゴリとすることができ、実体験のように感じる効果は、その主体のカテゴリに関連される設定に基づいて提供される。従って、異なる効果を子供に対して、そして大人に対して提供することができる。また、効果は、選択的に提供することができ、すなわち大人のみであって、子供には提供しないといった選択的に提供することができることである。識別が特定の個人からなる場合、本方法は、あるタイプの学習を実現し、これにより実体験のように感じる効果は、その個々の主体に関連する好みに基づいて提供される。
【００１７】
実施の形態では、注視焦点は時間を通して追跡され、実体験のように感じる効果を提供するシステムへの少なくとも１つの信号は、少なくとも１つの画像における少なくとも１つのオブジェクトの位置と相対的な注視焦点の位置に基づく信号を平滑化機能にかけることで提供される。
【００１８】
この実施の形態は、ある主体が、非常に異なるタイプのフィードバックを生じる複数のオブジェクトを含む画像をある主体がスキャンするときに生じる問題を回避する。はじめに、このシナリオでは、実体験のように感じる効果を提供するシステムは、遅延なしに正しい効果を提供するために、迅速な応答時間を有する必要がある。第二に、たとえこれら迅速な応答時間が与えられたとしても、その主体は、迅速且つ極端に変化する実体験のように感じる効果を受けた場合に、主体が非常にいらいらする場合がある。平滑化機能は、僅かに長い応答時間を有する実体験のように感じる効果を提供するシステムの使用を可能にし、この主体のいらいらを回避する。
【００１９】
実施の形態では、受信されたデータは、動画の系列を表し、画像における少なくとも１つのオブジェクトを識別するデータに関連するデータが受信される。
【００２０】
効果は、リアルタイムで受信された動画データに、オブジェクト識別アルゴリズムを実行することが必ずしも可能ではないシステムにおいて本方法のリアルタイムの実現が可能となることである。しかし、システムは画像データを分析してオブジェクトを探すため、画像系列のそれぞれについて実施するため、画像の位置をマッピングするデータのストリームを提供することが必要ではない。
【００２１】
この方法の変形例では、オブジェクトを識別するデータは、多数の画像のうちの第一の画像におけるオブジェクトの位置を識別するデータと関連付けされる。
【００２２】
言い換えれば、システムには、オブジェクトも最初の位置を詳細に説明する位置データが提供され、次いで、システムは、後続する画像を通して独立にオブジェクトを追跡することができる。これは、本方法を実現するシステム（たとえばデジタルテレビジョンセット又はセットトップボックス）に伝達される必要があるオブジェクトに関連されるデータの量における節約を表す。位置データは、画像データ及び／又はオブジェクトを識別するデータのソースから分離したソースにより提供することができる。
【００２３】
本方法の実施の形態は、少なくとも１つのオブジェクトの少なくとも１つの特性を決定するステップを含んでおり、少なくとも１つの画像における少なくとも１つのオブジェクトの位置と相対的な注視焦点の少なくとも１つの位置に依存して少なくとも１つの主体に実体験のように感じる効果を与える少なくとも１つの信号をシステムに供給するステップは、オブジェクトの特性に関連される効果に基づいて信号を調節するステップを含む。
【００２４】
効果は、ある主体の中位が特定のオブジェクトに向けられたときに適切な効果を提供することができることであるが、必ずしも特定のオブジェクトと特定の効果データとが関連付けされる必要はないことである。係る特定の効果データが供給される必要がないので、画像データのソースと本方法を実現するシステムのプロバイダとの間で標準化される必要がない。たとえば、オブジェクトは、それに関連される特性「動的“dynamic”」を有することができる。本方法を実現するシステムは、その特性をこの特性に適切な制御信号のセットにマッピングし、実体験のように感じる効果を提供する利用可能なシステムに適合させる。
【００２５】
この方法の変形例は、少なくとも１つの画像を表すデータと関連して、少なくとも１つの画像における少なくとも１つのオブジェクトを識別するデータを受信するステップ、少なくとも１つのオブジェクトを識別するデータを使用して少なくとも１つのオブジェクトの特性を決定するステップを含む。
【００２６】
この変形例は、比較的迅速に特性を決定する問題を解決する。これらの特性は、少なくとも１つのオブジェクトを識別するデータに含まれる場合があり、又は、シソーラス又は他の種類のマッピングを使用して、少なくとも１つのオブジェクトを識別するデータに基づいて特性を決定することができる。
【００２７】
別の態様によれば、本発明に係る実体験のように感じる効果の提供を制御するシステムは、少なくとも１つの画像を表すデータを受信するインタフェース、少なくとも１つの画像を分析して、少なくとも１つの画像で識別される少なくとも１つのオブジェクトを探すデータ処理システム、少なくとも１つの画像を観察可能な少なくとも１つの主体の注視焦点を推定するシステム、及び少なくとも１つの主体に実体験のように感じる効果を提供するための少なくとも１つの信号をシステムに供給するインタフェースを有しており、実体験のように感じる効果の提供を制御するシステムは、少なくとも１つの画像における少なくとも１つのオブジェクトの位置に対して相対的な注視焦点の位置に依存する信号を供給する。
【００２８】
本システムは、少なくとも１つの画像をレンダリングするシステムに含まれるか、デジタル形式で少なくとも１つの画像を捕捉するシステムと協働することができる。
【００２９】
実施の形態では、本システムは、本発明に係る方法を実行する。
【００３０】
本発明の別の態様によれば、コンピュータ読み取り可能な記録媒体に組み込まれたときに、情報処理機能を有するシステムに本発明に係る方法を実行させることが可能な命令のセットを含むコンピュータプログラムが提供される。
【図面の簡単な説明】
【００３１】
本発明は、添付図面を参照して更に詳細に説明される。
【図１】動画の系列に関連する実体験のように感じる効果を提供する第一のシステムのブロック図である。
【図２】静止画像又は低速で交互する画像の系列に関連する、実体験のように感じる効果を提供する第二のシステムのブロック図である。
【図３】実体験のように感じる効果を提供する方法のフローチャートである。
【発明を実施するための形態】
【００３２】
図１を参照して、おそらく連続するハーフイメージ（half-image）又はフレームの形式で、画像の系列を含むビデオ信号が放送局１によりサテライトリンク２を通してケーブルヘッドエンド３にはじめにブロードキャストされる。そこから、ビデオ信号は、デジタルテレビジョンセット４又は類似のブロードキャストレシーバに供給される。
【００３３】
デジタルテレビジョンセット４は、ビデオ信号、少なくとも１つの同期されたオーディオストリーム及び同期されたデータストリームを取得するための、ケーブルネットワークインタフェース５、チューナ６、復調器７及びデマルチプレクサ８を含む。これらのストリームは、１つのイベントに属するものであり、たとえばDVB（Digital Video Broadcasting）規格から公知のやり方で、ブロードキャストマルチプレックスにおけるテーブルにより互いにリンクされる。
【００３４】
ビデオ信号は、ディスプレイ９に供給され、オーディオ信号は、オーディオコーデック１０、増幅器１１及び１以上のラウドスピーカ１２，１３に供給される。
【００３５】
データ処理ユニット１４及びメモリ１５は、デジタルテレビジョンセット４の動作を制御し、デジタルテレビジョンセット４がディスプレイ９で画像を見ているユーザに実体験のように感じるフィードバックを供給するためにシステムを制御するのを可能にする１以上のルーチンを実行する制御ルーチンを実行するために設けられる。このため、デジタルテレビジョンセット４は、実体験のように感じる効果を提供するために多数の装置１７から１９へのインタフェース１６を含む。
【００３６】
例示される実施の形態における装置１７〜１９は、触覚による、すなわち力、動き及び振動の少なくとも１つを、装置に非常に近くにいる主体、一般に装置と接触している主体にフィードバックを提供する装置を含む。特に装置１７〜１９は、たとえば手袋の形式といった、実体験のように感じる効果が提供されることとなる主体が装着する装置を含む。代替的に、装置１７〜１９は、ソファ、クッション、絨毯等のような家具又は備え付け家具に統合される。
【００３７】
触覚による効果は、ターゲットとされるやり方で供給することができるタイプの実体験のように感じる型の効果であり、任意の他のタイプの実体験のように感じる型の効果は、付加的又は代替的に装置１７〜１９に供給することができるか、又はラウドスピーカ１２，１３により供給することができる。この環境では、実体験のように感じる型の効果は、ある画像におけるオブジェクトを知覚する体験を強化する、任意のタイプの知覚できる効果を含むことが考慮される。係る効果は、視覚的に知覚されるものと更に適合されるように、ユーザの知覚される環境を適合する。従って、効果は、触覚、嗅覚、聴覚、視覚等を含む多数の異なる感覚の何れかを刺激する場合がある。たとえば、環境の背景の照明が適合されるか、特定のサウンドスケープが提供される場合がある。
【００３８】
多数のユーザのそれぞれがディスプレイ９の画像の異なる部分に注意を払っているか、又はディスプレイの画像に全く注意を払っていない場合がある事実を考慮するため、例示されるシステムは、彼等がどこで見ているかに依存して、特定のユーザを実体験のように感じる効果の対象とすることができる。このため、システムには、少なくとも１つのカメラ、ここでは２つのカメラへのインタフェース２０が設けられ、システムが、ユーザ間を識別子、彼等の注視焦点を追跡することを可能にする。これを行う１つの適切な技術は、Smith K. et all“Tracking the visual focus of attention for varying number of wandering people”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 30(7), July 2008に記載されている。ここに記載される技術のような方法は、２つのコンポーネント、すなわちマルチパーソン追跡方法、及びヘッド−ポーズ追跡方法を有する。マルチパーソン追跡方法は、時間を通してビデオにおいて変化する動く主体を探す。ヘッド−ポーズ追跡方法は、主体の頭部を探し、空間におけるそれらの向きを推定する。原理的に、注視焦点の推定は、ヘッドセットの装着者の注視点を決定するセンサを含むヘッドセットをデジタルテレビジョン４のユーザに設けることで代替的に実行することができる。代替的に、赤外線追跡方法が存在し、人間の目の向きを直接的に決定する（視線検出方法）。しかし、カメラ２１，２２を使用する本方法は、ユーザの数及び位置に関する事前情報を必要とせず、控えめであって且つ長い距離（３ｍ以上）にわたる測定に基づく推定値を提供することができ、本実施の形態で記載される実体験のように感じる効果を提供する方法の実現に特に適している。
【００３９】
図２では、実体験のように感じる効果を提供する方法を実現する第二の環境が例示を通して説明される。この設定において、通行人は、広告ボード２３の画像又は画像の循環する系列を観察することができる。画像及び潜在的な観察者の両者は、カメラ２１，２２により捕捉され、これらのカメラは、デジタル画像を、ビデオカード２７、データ処理ユニット２８及びメモリ２９が設けられたコンピュータ装置２６に供給する。また、コンピュータ装置２６は、実体験のように感じる効果を提供するシステムへのインタフェース３０を有する。例示される実施の形態では、実体験のように感じる効果を提供するシステムは、制御装置３１及び実体験のように感じる効果を提供する３つの装置３２〜３４を有する。実体験のように感じる効果は、広告ボード２３上の画像が目に見ることができる広告ボード２３の環境において４つのセクタ３５〜３８のうちの任意の１つに向けることができる。たとえば、装置３２〜３４は、フェーズドアレイにおけるラウドスピーカであるか、又は１以上のセクタ３５〜３８に向けられる嗅覚のディスペンサである場合がある。
【００４０】
カメラ２４，２５からの画像は、コンピュータ装置２６がユーザを識別を探し、ユーザの注視焦点を追跡する画像分析の方法を実行する。再び、Smith K. et all“Tracking the visual focus of attention for varying number of wandering people”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 30(7), July 2008に記載される技術が使用される場合がある。
【００４１】
図３は、主体が画像における特定のオブジェクトを観察しているかに依存して、ディスプレイ９上の画像又は広告ボード２３上の広告を観察することができる主体に実体験のように感じる効果を提供するための、図１のデジタルテレビジョンセット４、図２のコンピュータ装置２６による実行の幾つかのステップを例示する。
【００４２】
第一のステップ３９は、デジタルテレビジョンセット４による実行に適しており、原理的に任意である。このステップは、ディスプレイ９上の画像を観察可能な主体を識別し、特に、これら主体を予め決定された識別子に関連付けすることを含む。このため、デジタルテレビジョンセット４は、メモリ１５において既知のユーザの識別子からなるデータベースを保持する。係るデータベースは、利用可能な実体験のように感じる効果に関してユーザの好みを記録するユーザプロファイルを有することができる。
【００４３】
１つの変形例では、ユーザは、それらの存在についてデジタルテレビジョンセット４に通知するためにユーザインタフェースを使用する。別の実施の形態では、ユーザには、トランスポンダをもつ携帯用装置が設けられ、デジタルテレビジョンセット４は、それらの存在を自動的に認識する。係る実施の形態を実現するために必要とされる技術は、視聴者測定の分野から知られる。別の変形例では、ユーザは、カメラ２１，２２のうちの１つの前に自身を配置することでユーザ自身を登録し、これに応じて、ユーザは、顔認識技術を使用して識別される。たとえば手袋の形態といった、装置１７〜１９がユーザにより装着される実施の形態では、このステップ３９は、装置１７から９の少なくとも１つを識別されたユーザと関連付けすることを含む。
【００４４】
図２の実施の形態では、第一のステップ３９は、どの位多くの主体がセクタ３５〜３８に存在するかを判定すること、それら主体に追跡の目的で一時的な識別子を割り当てることを含む場合がある。しかし、特定の主体が子供又は大人であるかのような、ユーザの所定の特性が判定される場合もある。
【００４５】
別の実施の形態では、第一のステップ３９は、装置１７〜１９のそれぞれについて、ある主体が装置のそれぞれと関連付けされているか、又はセクタ３５〜３８のそれぞれについて、ある主体がセクタのそれぞれに存在するかを判定するステップにより置き換えられる。
【００４６】
ユーザの注視焦点の追跡は、連続して実行されるステップ４０で行われる。
【００４７】
同時に、ディスプレイ上の画像におけるオブジェクトが識別され（ステップ４１）、画像におけるそれらの位置が追跡される（ステップ４２）。例示される実施の形態では、それぞれのオブジェクトの位置及び特性を含むテーブル４３の使用が行われる。
【００４８】
１実施の形態では、デジタルテレビジョン４は、オブジェクトを識別するデータを取得し、任意に、それらの最初の位置、及びケーブルヘッドエンド３からビデオデータと関連して提供されるデータストリームからの少なくとも１つの特性を取得する。この実施の形態の実現では、ケーブルヘッドエンド３は、放送局１から受信された画像データを分析し、ビデオを構成する動画におけるオブジェクトを識別及び記述するデータを作成するビデオデータ処理装置（図示せず）を有する。このため、ケーブルヘッドエンドは、画像におけるオブジェクトを識別及び発見するため、イメージセグメンテーション及び類似のデジタル画像処理方法を実行することができる。イベントを構成するマルチプレックスに追加されるデータは、オブジェクトの少なくとも識別子を含み、たとえば、色、オブジェクトが動的又は静的であるか、更にオブジェクトが何を表すか、といった幾つかの特性を含む。また、データは、画像におけるオブジェクトの位置を示す位置データを含むことができる。１実施の形態では、動画の系列のそれぞれにおけるオブジェクトの位置は、ケーブルヘッドエンド３に含まれる遠隔画像分析システムにより実体験のように感じる効果を提供するシステムに供給されるデータにおいてエンコードすることができる。これは、比較的低レベルにサテライトリンク２を通して伝送されるデータの量を保持するが、デジタルテレビジョンセット４に伝送されるデータの量を増加させる。このデータ量を低くすることが必要であるか又は望まれる場合、オブジェクトの最初の位置、すなわちオブジェクトが登場する画像の系列の最初におけるオブジェクトの位置が、ビデオデータを伴うデータストリームにおいて表される。次いで、デジタルテレビジョンセット４は、これらの画像を表すデータを分析することで、後続する画像のおけるオブジェクトを追跡する。
【００４９】
代替的に、デジタルテレビジョンセット４は、画像をエンコードするビデオデータを分析し、任意の位置データに頼ることなしにオブジェクトを探すことができる。確かに、デジタルテレビジョンセット４は、ビデオデータのみに基づいてオブジェクトを識別するステップ４１を実行する場合がある。又は、コンピュータ装置２６が捕捉された画像データのみに基づいて上述されたステップ４１，４２を実行する図２の実施の形態についても当てはまる。オブジェクトを識別するステップ４１は、特性が画像において支配的である１以上のオブジェクトを選択するために、画像及び最初に識別されたオブジェクトの特性の分析を含む。従って、追跡されるべきオブジェクトの数が低減される。さらに、どのオブジェクトが識別される解像度は、ユーザの注視焦点を推定することができる精度に適合することができる。
【００５０】
テーブル４３及び主体の注視焦点の情報を使用して、これらの注視焦点をディスプレイ上の現在の画像におけるオブジェクトの位置に関連付けすることが可能である（ステップ４４）。例示される実施の形態では、ユーザが見ているオブジェクトを追跡するためにテーブル４５が使用される。
【００５１】
実体験のように感じるのフィードバックを提供するため、装置１７〜１９，３２〜３４の出力は、関連される主体が焦点を当てれいるオブジェクトの種類に一致すべきである。このように、例示される実施の形態では、（任意の）ステップ４６が実行され、デジタルテレビジョン４又はコンピュータ装置２６は、識別及び追跡されたオブジェクトの特性を判定する。デジタルテレビジョンセット４の場合、特性は、動画の系列と関連して供給されるデータストリームにおいて表現することができ、これにより、係る情報は、データストリームは単に取り出される必要がある。
【００５２】
別の実施の形態では、特性を判定するステップ４６を省略することができるように、実際の効果は、受信されたデータストリームで表現される。しかし、これは、特性をエンコードする標準化された手法を必要とし、利用可能な物理的な装置１７〜１９から取り除かれる。このように、一般に、特性にマッピングすることができる特性又はデータが提供されるべきである。代替的に、デジタルテレビジョンセット４又はコンピュータ装置２６は、画像データのみを使用して、動きの状態、温度、匂い、又は音のような特性を判定するために画像分析を実行する。
【００５３】
例示される実施の形態では、特性は、ルールからなるデータベース４８を使用して効果４７に変換される。このデータベース４８により、フィードバック効果からオブジェクトの特性を取り除くことができ、利用可能な装置１７〜１９，３２〜３４の構成に特有である。
【００５４】
つぎに（ステップ４９）、それぞれ識別されたユーザの注視焦点の位置を追跡するテーブル４５を使用して、それぞれのユーザについて適切なフィードバックが決定される。
【００５５】
このように、デジタルテレビジョンセット４又はコンピュータ装置２６が、ある主体が非常に動的なオブジェクト（飛んでいる蝶、爆弾の爆発、自動車事故等）を見ていることを検出した場合、システムは、たとえば、（図１の構成における）強い触覚によるフィードバック又は（図１の構成におけるラウドスピーカ１２，１３及び図２の構成における装置３２〜３４を使用して）強い振動によるフィードバックをその特定の主体に割り当てる。主体が背景の詳細を見ている場合、又はディスプレイ９又は広告ボード２３を全く見ていない場合、フィードバックが提供される必要がない。
【００５６】
ユーザが予め決定された識別子に関連付けされるように第一のステップ３９がユーザを識別する実施の形態では、識別子に関連される設定に適合するように、フィードバックを調節することができる。従って、ユーザプロファイルにおいて表される個人の好みを考慮することができる。代替的に、予め決定された識別子が主体のクラス（子供、大人、男性、女性、人間、動物）からなる場合、その主体が属するように決定されるクラスに適した設定を適用することができる。
【００５７】
なお、図３に例示されるステップは連続的に実行され、それぞれの主体について連続的又は擬似連続的なフィードバック信号が供給される。主体はオブジェクトをほんの少し見るか、比較的迅速に全体の画像をスキャンする場合があるので、平滑化機能５０がフィードバック信号に適用される。
【００５８】
最後に、適切な出力信号は、その注視焦点が追跡されている主体に実体験のように感じる効果を提供する装置１７〜１９，３２〜３４に供給される。特に、主体が１つの特定の装置１７〜１９，３２〜３４と関連付けされていない場合、正しい装置１７〜１９，３２〜３４に正しい制御信号を供給するため、その主体の位置を追跡することが必要である（ステップ５２）。例示される実施の形態では、主体の位置を追跡するためにテーブル５３が使用される。なお、このステップ５２は、一般に、主体の注視焦点を追跡するステップ４０と組み合わせる。
【００５９】
なお、上述された実施の形態は、本発明を限定するものではなく例示するものであり、当業者であれば、特許請求の範囲の記載から逸脱することなしに、多くの代替的な実施の形態を設計することができる。請求項において、括弧間に配置される参照符号は、請求項を限定するものとして解釈されるべきではない。単語「備える“comprising”」は、請求項で列挙されたエレメント又はステップ以外のエレメント又はステップの存在を排除するものではない。エレメントに先行する単語“ａ”又は“ａｎ”は、複数の係るエレメントの存在を排除するものではない。所定の手段が相互に異なる従属の請求項で引用される事実は、これらの手段の組み合わせを使用することができないことを示すものではない。
【００６０】
図３に例示される方法は、それぞれのシートを通して力によるフィードバックを提供するために映画館で実現することができる。シートの占有者の注視焦点を追跡することは、赤外線カメラを使用して行うことができるか、又は特に映画が３Ｄ効果を含み、ユーザにこれらの効果を観察するためにメガネが提供される場合には、メガネを使用して行うことができる。
【００６１】
それぞれのユーザにフィードバックを提供するステップ４９は、それぞれのユーザが同じフィードバックを受けるステップにより繰り返すことができるが、フィードバックは、画像における多数の主体の注視焦点に分散に依存する。従って、フィードバックの強さは、特性がフィードバックを決定するオブジェクト（たとえば画像における支配的なオブジェクト）を実際に観察している主体の割合に依存する場合がある。
【００６２】
本発明の原理は、画像データがブロードキャストされる実施の形態、及び画像がカメラを使用して捕捉される実施の形態を使用して説明されたが、画像データは、光ディスクのようなデータキャリアで代替的に供給される場合がある。また、このディスクは、画像データに存在するオブジェクトを説明するメタデータを含む場合がある。
【技術分野】
【０００１】
本発明は、実体験のように感じる効果（immersive effects）を提供する方法、実体験のように感じる効果の提供を制御するシステム及びコンピュータプログラムに関する。
【背景技術】
【０００２】
WO2006/100645は、ユーザが現在見ている文書について、「実体験のように感じる読書体験（immersive reading experience）」を生成するシステムを開示している。このシステムは、文書を見ているユーザの画像を捕捉する少なくとも１つのカメラ、及びカメラに結合され、カメラからの画像を受ける少なくとも１つのプロセッサを有する。このプロセッサは、画像を処理し、画像を使用して、ユーザが現在見ている文書における位置を判定する。プロセッサは、文書における位置を処理して、ユーザが見ている現在の文書に対応する出力に関連する少なくとも１つの実体験のように感じる効果を生成する。１実施の形態では、このシステムは、e-bookを含む。e-bookのメモリは、e-bookのプロセッサが表示するのに使用する作品のテキストの電子的なバージョンを記憶する。その場合、効果に関連するデータは、ソフトウェアレイヤに含まれるか、又はユーザにとって見ることができないテキストの電子的なバージョン又はサブコードで含まれることが好ましい。プロセッサは、現在の見ている位置を使用し、ディスプレイのその位置で現在表示されているテキストを識別する。プロセッサは、表示されているテキストのメモリ位置を使用し、対応する実体験のように感じる効果のデータを読み出す。ペーパーブックを使用した代替的な実施の形態では、実体験のように感じる効果のデータは、頁に従ってメモリにおいて照会され、対応するテキストが現れるペーパーブックの頁に位置合わせされる。カメラは、頁の画像それ自身を捕捉するために使用され、書籍が開いている頁番号を認識するために画像処理が使用される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
公知の方法は、たとえばe-bookといったレンダリング装置により、注視点（gaze point）を実体験のように感じる効果に関連付けし、テキストを認識した位置を追跡するために画像を生成する構造化されたデータを使用している。
【０００４】
特に動画（動態イメージ）の系列を含めて、広範な画像の使用に適した開始節で定義されるタイプの方法、システム及びコンピュータプログラムを提供することが望まれる。
【課題を解決するための手段】
【０００５】
上記目的は、本発明に係る方法により達成され、本方法は、少なくとも１つの画像を表すデータを受信するステップ、少なくとも１つの画像のデータを分析して、少なくとも１つの画像で識別された少なくとも１つのオブジェクトを探すステップ、少なくとも１つの画像を観察可能な少なくとも１つの主体の注視焦点（visual focus of attention）を推定するステップ、少なくとも１つの主体に実体験のように感じる効果を与えるため、少なくとも１つの画像における少なくとも１つのオブジェクトの位置に対する相対的な注視焦点の位置に依存する少なくとも１つの信号をシステムに供給するステップを含む。
【０００６】
少なくとも１つの画像を表すデータを受信し、少なくとも１つの画像を分析して、少なくとも１つの画像で識別される少なくとも１つのオブジェクトを探すステップにより、当該方法は、画像の位置の暗黙的又は明示的なマッピングを提供することなしに、それぞれの画像について機能することができる。画像の系列の場合、これは、本方法を実行しているシステムには、係るマッピングを含む同期されたデータストリームが提供される必要がないことを意味する。同じ理由について、本方法は、たとえばデジタル表現が分析されるハードコピーにおける任意の画像といった広範な画像により機能することができる。係る実施の形態では、オブジェクトが認識され、実体験のように感じる効果に関連付けされる限りは、画像の位置と実体験のように感じる効果とのマッピングを含む構造化されたデータが必要とされない。
【０００７】
この開示の文脈では、用語「主体“subject”」は、生きた主体、すなわち人間、又はペット等のような動物を示す。
【０００８】
本方法の実施の形態は、少なくとも１つの画像を観察可能な多数の主体のそれぞれの注視焦点を推定し、主体の注視焦点に依存して実体験のように感じる効果を提供するためのシステムへの少なくとも１つの信号を適合させる。
【０００９】
この実施の形態は、本質的に全ての主体が同じオブジェクトに焦点を合わせているときに、同じ実体験のように感じる効果が全ての主体に提供されるのを可能にする。全ての主体が同じオブジェクトに焦点を合わせていないときには、弱められた実体験のように感じる効果が提供されるか又はフィードバックが全くない。代替的に、この実施の形態は、区別されたフィードバックを生成するポテンシャルを提供する。
【００１０】
多数の出力位置のそれぞれで個別の実体験のように感じる効果をシステムが提供する変形例は、少なくとも出力位置に関連して、主体の位置を決定することを含む。
【００１１】
この変形例は、たとえば多数の主体が異なる物を見ているとしても、適切な実体験のように感じる効果を複数の主体にフィードバックとして提供するのを可能にする。
【００１２】
実施の形態では、少なくとも１つの信号は、触覚型のフィードバックを提供する少なくとも１つの装置を含む実体験のように感じる効果を提供するシステムに供給される。
【００１３】
触覚型のフィードバックは、主体に力、振動及び／又は動きを伝えることを含めて、本質的に直接的な接触のみを通して、短い距離でのみ伝達することができる。効果は、ある主体にフィードバックとして提供される実体験のように感じる効果は、他の主体により知覚されない可能性が高いことである。従って、多数の主体が画像を観察することができるが、そのうちの１人のみが画像内の特定のオブジェクトを見ている状況では、そのオブジェクトに関連するフィードバックは、他の主体の邪魔になることなしに、その特定の主体のみに向けられる。
【００１４】
本方法の実施の形態は、主体を識別することを含む。
この環境では、「識別する“identifying”」とは、多数の主体のそれぞれを認識することであり、すなわち、ディスプレイ上で画像の環境において、たとえば５人の異なる主体が存在することを検出することである。代替的に、それら主体に、たとえば“Bob”、“Mary”等といった一般に予め決定された識別子である固有の識別子を関連付けすることを含む。効果は、識別されたフィードバックの提供が容易であり、本質的に、その注視焦点が推定される主体のうちの特定の１人にフォードバックが向けられるのを可能にする。
【００１５】
本実施の形態の変形例では、ある主体を識別することは、その主体を予め決定された識別子に関連付けすることを含み、実体験のように感じる効果を提供するシステムへの少なくとも１つの信号は、その識別子に関連付けされる設定にも依存して提供される。
【００１６】
効果は、たとえ制限された量の効果データが画像におけるオブジェクトと関連付けされるか、又はオブジェクトの特性に基づいて又は画像データと受信された効果データに基づいて画像におけるオブジェクトと関連付けすることができるとしても、実体験のように感じる効果を異なる主体により精密にチューニングすることが可能なことである。識別は、意義のある効果を達成するために固有である必要はない。たとえば、識別は、主体のカテゴリとすることができ、実体験のように感じる効果は、その主体のカテゴリに関連される設定に基づいて提供される。従って、異なる効果を子供に対して、そして大人に対して提供することができる。また、効果は、選択的に提供することができ、すなわち大人のみであって、子供には提供しないといった選択的に提供することができることである。識別が特定の個人からなる場合、本方法は、あるタイプの学習を実現し、これにより実体験のように感じる効果は、その個々の主体に関連する好みに基づいて提供される。
【００１７】
実施の形態では、注視焦点は時間を通して追跡され、実体験のように感じる効果を提供するシステムへの少なくとも１つの信号は、少なくとも１つの画像における少なくとも１つのオブジェクトの位置と相対的な注視焦点の位置に基づく信号を平滑化機能にかけることで提供される。
【００１８】
この実施の形態は、ある主体が、非常に異なるタイプのフィードバックを生じる複数のオブジェクトを含む画像をある主体がスキャンするときに生じる問題を回避する。はじめに、このシナリオでは、実体験のように感じる効果を提供するシステムは、遅延なしに正しい効果を提供するために、迅速な応答時間を有する必要がある。第二に、たとえこれら迅速な応答時間が与えられたとしても、その主体は、迅速且つ極端に変化する実体験のように感じる効果を受けた場合に、主体が非常にいらいらする場合がある。平滑化機能は、僅かに長い応答時間を有する実体験のように感じる効果を提供するシステムの使用を可能にし、この主体のいらいらを回避する。
【００１９】
実施の形態では、受信されたデータは、動画の系列を表し、画像における少なくとも１つのオブジェクトを識別するデータに関連するデータが受信される。
【００２０】
効果は、リアルタイムで受信された動画データに、オブジェクト識別アルゴリズムを実行することが必ずしも可能ではないシステムにおいて本方法のリアルタイムの実現が可能となることである。しかし、システムは画像データを分析してオブジェクトを探すため、画像系列のそれぞれについて実施するため、画像の位置をマッピングするデータのストリームを提供することが必要ではない。
【００２１】
この方法の変形例では、オブジェクトを識別するデータは、多数の画像のうちの第一の画像におけるオブジェクトの位置を識別するデータと関連付けされる。
【００２２】
言い換えれば、システムには、オブジェクトも最初の位置を詳細に説明する位置データが提供され、次いで、システムは、後続する画像を通して独立にオブジェクトを追跡することができる。これは、本方法を実現するシステム（たとえばデジタルテレビジョンセット又はセットトップボックス）に伝達される必要があるオブジェクトに関連されるデータの量における節約を表す。位置データは、画像データ及び／又はオブジェクトを識別するデータのソースから分離したソースにより提供することができる。
【００２３】
本方法の実施の形態は、少なくとも１つのオブジェクトの少なくとも１つの特性を決定するステップを含んでおり、少なくとも１つの画像における少なくとも１つのオブジェクトの位置と相対的な注視焦点の少なくとも１つの位置に依存して少なくとも１つの主体に実体験のように感じる効果を与える少なくとも１つの信号をシステムに供給するステップは、オブジェクトの特性に関連される効果に基づいて信号を調節するステップを含む。
【００２４】
効果は、ある主体の中位が特定のオブジェクトに向けられたときに適切な効果を提供することができることであるが、必ずしも特定のオブジェクトと特定の効果データとが関連付けされる必要はないことである。係る特定の効果データが供給される必要がないので、画像データのソースと本方法を実現するシステムのプロバイダとの間で標準化される必要がない。たとえば、オブジェクトは、それに関連される特性「動的“dynamic”」を有することができる。本方法を実現するシステムは、その特性をこの特性に適切な制御信号のセットにマッピングし、実体験のように感じる効果を提供する利用可能なシステムに適合させる。
【００２５】
この方法の変形例は、少なくとも１つの画像を表すデータと関連して、少なくとも１つの画像における少なくとも１つのオブジェクトを識別するデータを受信するステップ、少なくとも１つのオブジェクトを識別するデータを使用して少なくとも１つのオブジェクトの特性を決定するステップを含む。
【００２６】
この変形例は、比較的迅速に特性を決定する問題を解決する。これらの特性は、少なくとも１つのオブジェクトを識別するデータに含まれる場合があり、又は、シソーラス又は他の種類のマッピングを使用して、少なくとも１つのオブジェクトを識別するデータに基づいて特性を決定することができる。
【００２７】
別の態様によれば、本発明に係る実体験のように感じる効果の提供を制御するシステムは、少なくとも１つの画像を表すデータを受信するインタフェース、少なくとも１つの画像を分析して、少なくとも１つの画像で識別される少なくとも１つのオブジェクトを探すデータ処理システム、少なくとも１つの画像を観察可能な少なくとも１つの主体の注視焦点を推定するシステム、及び少なくとも１つの主体に実体験のように感じる効果を提供するための少なくとも１つの信号をシステムに供給するインタフェースを有しており、実体験のように感じる効果の提供を制御するシステムは、少なくとも１つの画像における少なくとも１つのオブジェクトの位置に対して相対的な注視焦点の位置に依存する信号を供給する。
【００２８】
本システムは、少なくとも１つの画像をレンダリングするシステムに含まれるか、デジタル形式で少なくとも１つの画像を捕捉するシステムと協働することができる。
【００２９】
実施の形態では、本システムは、本発明に係る方法を実行する。
【００３０】
本発明の別の態様によれば、コンピュータ読み取り可能な記録媒体に組み込まれたときに、情報処理機能を有するシステムに本発明に係る方法を実行させることが可能な命令のセットを含むコンピュータプログラムが提供される。
【図面の簡単な説明】
【００３１】
本発明は、添付図面を参照して更に詳細に説明される。
【図１】動画の系列に関連する実体験のように感じる効果を提供する第一のシステムのブロック図である。
【図２】静止画像又は低速で交互する画像の系列に関連する、実体験のように感じる効果を提供する第二のシステムのブロック図である。
【図３】実体験のように感じる効果を提供する方法のフローチャートである。
【発明を実施するための形態】
【００３２】
図１を参照して、おそらく連続するハーフイメージ（half-image）又はフレームの形式で、画像の系列を含むビデオ信号が放送局１によりサテライトリンク２を通してケーブルヘッドエンド３にはじめにブロードキャストされる。そこから、ビデオ信号は、デジタルテレビジョンセット４又は類似のブロードキャストレシーバに供給される。
【００３３】
デジタルテレビジョンセット４は、ビデオ信号、少なくとも１つの同期されたオーディオストリーム及び同期されたデータストリームを取得するための、ケーブルネットワークインタフェース５、チューナ６、復調器７及びデマルチプレクサ８を含む。これらのストリームは、１つのイベントに属するものであり、たとえばDVB（Digital Video Broadcasting）規格から公知のやり方で、ブロードキャストマルチプレックスにおけるテーブルにより互いにリンクされる。
【００３４】
ビデオ信号は、ディスプレイ９に供給され、オーディオ信号は、オーディオコーデック１０、増幅器１１及び１以上のラウドスピーカ１２，１３に供給される。
【００３５】
データ処理ユニット１４及びメモリ１５は、デジタルテレビジョンセット４の動作を制御し、デジタルテレビジョンセット４がディスプレイ９で画像を見ているユーザに実体験のように感じるフィードバックを供給するためにシステムを制御するのを可能にする１以上のルーチンを実行する制御ルーチンを実行するために設けられる。このため、デジタルテレビジョンセット４は、実体験のように感じる効果を提供するために多数の装置１７から１９へのインタフェース１６を含む。
【００３６】
例示される実施の形態における装置１７〜１９は、触覚による、すなわち力、動き及び振動の少なくとも１つを、装置に非常に近くにいる主体、一般に装置と接触している主体にフィードバックを提供する装置を含む。特に装置１７〜１９は、たとえば手袋の形式といった、実体験のように感じる効果が提供されることとなる主体が装着する装置を含む。代替的に、装置１７〜１９は、ソファ、クッション、絨毯等のような家具又は備え付け家具に統合される。
【００３７】
触覚による効果は、ターゲットとされるやり方で供給することができるタイプの実体験のように感じる型の効果であり、任意の他のタイプの実体験のように感じる型の効果は、付加的又は代替的に装置１７〜１９に供給することができるか、又はラウドスピーカ１２，１３により供給することができる。この環境では、実体験のように感じる型の効果は、ある画像におけるオブジェクトを知覚する体験を強化する、任意のタイプの知覚できる効果を含むことが考慮される。係る効果は、視覚的に知覚されるものと更に適合されるように、ユーザの知覚される環境を適合する。従って、効果は、触覚、嗅覚、聴覚、視覚等を含む多数の異なる感覚の何れかを刺激する場合がある。たとえば、環境の背景の照明が適合されるか、特定のサウンドスケープが提供される場合がある。
【００３８】
多数のユーザのそれぞれがディスプレイ９の画像の異なる部分に注意を払っているか、又はディスプレイの画像に全く注意を払っていない場合がある事実を考慮するため、例示されるシステムは、彼等がどこで見ているかに依存して、特定のユーザを実体験のように感じる効果の対象とすることができる。このため、システムには、少なくとも１つのカメラ、ここでは２つのカメラへのインタフェース２０が設けられ、システムが、ユーザ間を識別子、彼等の注視焦点を追跡することを可能にする。これを行う１つの適切な技術は、Smith K. et all“Tracking the visual focus of attention for varying number of wandering people”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 30(7), July 2008に記載されている。ここに記載される技術のような方法は、２つのコンポーネント、すなわちマルチパーソン追跡方法、及びヘッド−ポーズ追跡方法を有する。マルチパーソン追跡方法は、時間を通してビデオにおいて変化する動く主体を探す。ヘッド−ポーズ追跡方法は、主体の頭部を探し、空間におけるそれらの向きを推定する。原理的に、注視焦点の推定は、ヘッドセットの装着者の注視点を決定するセンサを含むヘッドセットをデジタルテレビジョン４のユーザに設けることで代替的に実行することができる。代替的に、赤外線追跡方法が存在し、人間の目の向きを直接的に決定する（視線検出方法）。しかし、カメラ２１，２２を使用する本方法は、ユーザの数及び位置に関する事前情報を必要とせず、控えめであって且つ長い距離（３ｍ以上）にわたる測定に基づく推定値を提供することができ、本実施の形態で記載される実体験のように感じる効果を提供する方法の実現に特に適している。
【００３９】
図２では、実体験のように感じる効果を提供する方法を実現する第二の環境が例示を通して説明される。この設定において、通行人は、広告ボード２３の画像又は画像の循環する系列を観察することができる。画像及び潜在的な観察者の両者は、カメラ２１，２２により捕捉され、これらのカメラは、デジタル画像を、ビデオカード２７、データ処理ユニット２８及びメモリ２９が設けられたコンピュータ装置２６に供給する。また、コンピュータ装置２６は、実体験のように感じる効果を提供するシステムへのインタフェース３０を有する。例示される実施の形態では、実体験のように感じる効果を提供するシステムは、制御装置３１及び実体験のように感じる効果を提供する３つの装置３２〜３４を有する。実体験のように感じる効果は、広告ボード２３上の画像が目に見ることができる広告ボード２３の環境において４つのセクタ３５〜３８のうちの任意の１つに向けることができる。たとえば、装置３２〜３４は、フェーズドアレイにおけるラウドスピーカであるか、又は１以上のセクタ３５〜３８に向けられる嗅覚のディスペンサである場合がある。
【００４０】
カメラ２４，２５からの画像は、コンピュータ装置２６がユーザを識別を探し、ユーザの注視焦点を追跡する画像分析の方法を実行する。再び、Smith K. et all“Tracking the visual focus of attention for varying number of wandering people”, IEEE Trans. on Pattern Analysis and Machine Intelligence, 30(7), July 2008に記載される技術が使用される場合がある。
【００４１】
図３は、主体が画像における特定のオブジェクトを観察しているかに依存して、ディスプレイ９上の画像又は広告ボード２３上の広告を観察することができる主体に実体験のように感じる効果を提供するための、図１のデジタルテレビジョンセット４、図２のコンピュータ装置２６による実行の幾つかのステップを例示する。
【００４２】
第一のステップ３９は、デジタルテレビジョンセット４による実行に適しており、原理的に任意である。このステップは、ディスプレイ９上の画像を観察可能な主体を識別し、特に、これら主体を予め決定された識別子に関連付けすることを含む。このため、デジタルテレビジョンセット４は、メモリ１５において既知のユーザの識別子からなるデータベースを保持する。係るデータベースは、利用可能な実体験のように感じる効果に関してユーザの好みを記録するユーザプロファイルを有することができる。
【００４３】
１つの変形例では、ユーザは、それらの存在についてデジタルテレビジョンセット４に通知するためにユーザインタフェースを使用する。別の実施の形態では、ユーザには、トランスポンダをもつ携帯用装置が設けられ、デジタルテレビジョンセット４は、それらの存在を自動的に認識する。係る実施の形態を実現するために必要とされる技術は、視聴者測定の分野から知られる。別の変形例では、ユーザは、カメラ２１，２２のうちの１つの前に自身を配置することでユーザ自身を登録し、これに応じて、ユーザは、顔認識技術を使用して識別される。たとえば手袋の形態といった、装置１７〜１９がユーザにより装着される実施の形態では、このステップ３９は、装置１７から９の少なくとも１つを識別されたユーザと関連付けすることを含む。
【００４４】
図２の実施の形態では、第一のステップ３９は、どの位多くの主体がセクタ３５〜３８に存在するかを判定すること、それら主体に追跡の目的で一時的な識別子を割り当てることを含む場合がある。しかし、特定の主体が子供又は大人であるかのような、ユーザの所定の特性が判定される場合もある。
【００４５】
別の実施の形態では、第一のステップ３９は、装置１７〜１９のそれぞれについて、ある主体が装置のそれぞれと関連付けされているか、又はセクタ３５〜３８のそれぞれについて、ある主体がセクタのそれぞれに存在するかを判定するステップにより置き換えられる。
【００４６】
ユーザの注視焦点の追跡は、連続して実行されるステップ４０で行われる。
【００４７】
同時に、ディスプレイ上の画像におけるオブジェクトが識別され（ステップ４１）、画像におけるそれらの位置が追跡される（ステップ４２）。例示される実施の形態では、それぞれのオブジェクトの位置及び特性を含むテーブル４３の使用が行われる。
【００４８】
１実施の形態では、デジタルテレビジョン４は、オブジェクトを識別するデータを取得し、任意に、それらの最初の位置、及びケーブルヘッドエンド３からビデオデータと関連して提供されるデータストリームからの少なくとも１つの特性を取得する。この実施の形態の実現では、ケーブルヘッドエンド３は、放送局１から受信された画像データを分析し、ビデオを構成する動画におけるオブジェクトを識別及び記述するデータを作成するビデオデータ処理装置（図示せず）を有する。このため、ケーブルヘッドエンドは、画像におけるオブジェクトを識別及び発見するため、イメージセグメンテーション及び類似のデジタル画像処理方法を実行することができる。イベントを構成するマルチプレックスに追加されるデータは、オブジェクトの少なくとも識別子を含み、たとえば、色、オブジェクトが動的又は静的であるか、更にオブジェクトが何を表すか、といった幾つかの特性を含む。また、データは、画像におけるオブジェクトの位置を示す位置データを含むことができる。１実施の形態では、動画の系列のそれぞれにおけるオブジェクトの位置は、ケーブルヘッドエンド３に含まれる遠隔画像分析システムにより実体験のように感じる効果を提供するシステムに供給されるデータにおいてエンコードすることができる。これは、比較的低レベルにサテライトリンク２を通して伝送されるデータの量を保持するが、デジタルテレビジョンセット４に伝送されるデータの量を増加させる。このデータ量を低くすることが必要であるか又は望まれる場合、オブジェクトの最初の位置、すなわちオブジェクトが登場する画像の系列の最初におけるオブジェクトの位置が、ビデオデータを伴うデータストリームにおいて表される。次いで、デジタルテレビジョンセット４は、これらの画像を表すデータを分析することで、後続する画像のおけるオブジェクトを追跡する。
【００４９】
代替的に、デジタルテレビジョンセット４は、画像をエンコードするビデオデータを分析し、任意の位置データに頼ることなしにオブジェクトを探すことができる。確かに、デジタルテレビジョンセット４は、ビデオデータのみに基づいてオブジェクトを識別するステップ４１を実行する場合がある。又は、コンピュータ装置２６が捕捉された画像データのみに基づいて上述されたステップ４１，４２を実行する図２の実施の形態についても当てはまる。オブジェクトを識別するステップ４１は、特性が画像において支配的である１以上のオブジェクトを選択するために、画像及び最初に識別されたオブジェクトの特性の分析を含む。従って、追跡されるべきオブジェクトの数が低減される。さらに、どのオブジェクトが識別される解像度は、ユーザの注視焦点を推定することができる精度に適合することができる。
【００５０】
テーブル４３及び主体の注視焦点の情報を使用して、これらの注視焦点をディスプレイ上の現在の画像におけるオブジェクトの位置に関連付けすることが可能である（ステップ４４）。例示される実施の形態では、ユーザが見ているオブジェクトを追跡するためにテーブル４５が使用される。
【００５１】
実体験のように感じるのフィードバックを提供するため、装置１７〜１９，３２〜３４の出力は、関連される主体が焦点を当てれいるオブジェクトの種類に一致すべきである。このように、例示される実施の形態では、（任意の）ステップ４６が実行され、デジタルテレビジョン４又はコンピュータ装置２６は、識別及び追跡されたオブジェクトの特性を判定する。デジタルテレビジョンセット４の場合、特性は、動画の系列と関連して供給されるデータストリームにおいて表現することができ、これにより、係る情報は、データストリームは単に取り出される必要がある。
【００５２】
別の実施の形態では、特性を判定するステップ４６を省略することができるように、実際の効果は、受信されたデータストリームで表現される。しかし、これは、特性をエンコードする標準化された手法を必要とし、利用可能な物理的な装置１７〜１９から取り除かれる。このように、一般に、特性にマッピングすることができる特性又はデータが提供されるべきである。代替的に、デジタルテレビジョンセット４又はコンピュータ装置２６は、画像データのみを使用して、動きの状態、温度、匂い、又は音のような特性を判定するために画像分析を実行する。
【００５３】
例示される実施の形態では、特性は、ルールからなるデータベース４８を使用して効果４７に変換される。このデータベース４８により、フィードバック効果からオブジェクトの特性を取り除くことができ、利用可能な装置１７〜１９，３２〜３４の構成に特有である。
【００５４】
つぎに（ステップ４９）、それぞれ識別されたユーザの注視焦点の位置を追跡するテーブル４５を使用して、それぞれのユーザについて適切なフィードバックが決定される。
【００５５】
このように、デジタルテレビジョンセット４又はコンピュータ装置２６が、ある主体が非常に動的なオブジェクト（飛んでいる蝶、爆弾の爆発、自動車事故等）を見ていることを検出した場合、システムは、たとえば、（図１の構成における）強い触覚によるフィードバック又は（図１の構成におけるラウドスピーカ１２，１３及び図２の構成における装置３２〜３４を使用して）強い振動によるフィードバックをその特定の主体に割り当てる。主体が背景の詳細を見ている場合、又はディスプレイ９又は広告ボード２３を全く見ていない場合、フィードバックが提供される必要がない。
【００５６】
ユーザが予め決定された識別子に関連付けされるように第一のステップ３９がユーザを識別する実施の形態では、識別子に関連される設定に適合するように、フィードバックを調節することができる。従って、ユーザプロファイルにおいて表される個人の好みを考慮することができる。代替的に、予め決定された識別子が主体のクラス（子供、大人、男性、女性、人間、動物）からなる場合、その主体が属するように決定されるクラスに適した設定を適用することができる。
【００５７】
なお、図３に例示されるステップは連続的に実行され、それぞれの主体について連続的又は擬似連続的なフィードバック信号が供給される。主体はオブジェクトをほんの少し見るか、比較的迅速に全体の画像をスキャンする場合があるので、平滑化機能５０がフィードバック信号に適用される。
【００５８】
最後に、適切な出力信号は、その注視焦点が追跡されている主体に実体験のように感じる効果を提供する装置１７〜１９，３２〜３４に供給される。特に、主体が１つの特定の装置１７〜１９，３２〜３４と関連付けされていない場合、正しい装置１７〜１９，３２〜３４に正しい制御信号を供給するため、その主体の位置を追跡することが必要である（ステップ５２）。例示される実施の形態では、主体の位置を追跡するためにテーブル５３が使用される。なお、このステップ５２は、一般に、主体の注視焦点を追跡するステップ４０と組み合わせる。
【００５９】
なお、上述された実施の形態は、本発明を限定するものではなく例示するものであり、当業者であれば、特許請求の範囲の記載から逸脱することなしに、多くの代替的な実施の形態を設計することができる。請求項において、括弧間に配置される参照符号は、請求項を限定するものとして解釈されるべきではない。単語「備える“comprising”」は、請求項で列挙されたエレメント又はステップ以外のエレメント又はステップの存在を排除するものではない。エレメントに先行する単語“ａ”又は“ａｎ”は、複数の係るエレメントの存在を排除するものではない。所定の手段が相互に異なる従属の請求項で引用される事実は、これらの手段の組み合わせを使用することができないことを示すものではない。
【００６０】
図３に例示される方法は、それぞれのシートを通して力によるフィードバックを提供するために映画館で実現することができる。シートの占有者の注視焦点を追跡することは、赤外線カメラを使用して行うことができるか、又は特に映画が３Ｄ効果を含み、ユーザにこれらの効果を観察するためにメガネが提供される場合には、メガネを使用して行うことができる。
【００６１】
それぞれのユーザにフィードバックを提供するステップ４９は、それぞれのユーザが同じフィードバックを受けるステップにより繰り返すことができるが、フィードバックは、画像における多数の主体の注視焦点に分散に依存する。従って、フィードバックの強さは、特性がフィードバックを決定するオブジェクト（たとえば画像における支配的なオブジェクト）を実際に観察している主体の割合に依存する場合がある。
【００６２】
本発明の原理は、画像データがブロードキャストされる実施の形態、及び画像がカメラを使用して捕捉される実施の形態を使用して説明されたが、画像データは、光ディスクのようなデータキャリアで代替的に供給される場合がある。また、このディスクは、画像データに存在するオブジェクトを説明するメタデータを含む場合がある。
【特許請求の範囲】
【請求項１】
実体験のように感じる効果を提供する方法であって、
少なくとも１つの画像を表すデータを受信するステップと、
前記少なくとも１つの画像を分析して、前記少なくとも１つの画像において識別される少なくとも１つのオブジェクトを探すステップと、
前記少なくとも１つの画像を観察することができる少なくとも１つの主体の注視焦点を推定するステップと、
前記少なくとも１つの主体に実体験のように感じる効果を提供するため、前記少なくとも１つの画像における前記少なくとも１つのオブジェクトの位置に対する前記注視焦点の相対的な位置に依存する少なくとも１つの信号をシステムに供給するステップと、
を含むことを特徴とする方法。
【請求項２】
前記少なくとも１つの画像を観察することができる複数の主体のそれぞれの注視焦点を推定するステップと、
前記複数の主体のそれぞれの注視焦点に依存して実体験のように感じる効果を提供するため、前記少なくとも１つの信号を前記システムに供給するステップと、
を含む請求項１記載の方法。
【請求項３】
前記システムは、複数の出力位置のそれぞれで個別の実体験のように感じる効果を提供し、
当該方法は、前記複数の出力位置のそれぞれに関して前記複数の主体のそれぞれの位置を決定するステップを更に含む、
請求項２記載の方法。
【請求項４】
前記少なくとも１つの信号は、触覚によるフィードバックを提供する少なくとも１つの装置を含む実体験のように感じる効果を提供するために前記システムに供給される、
請求項１記載の方法。
【請求項５】
前記複数の主体のそれぞれを識別するステップを含む、
請求項１記載の方法。
【請求項６】
前記複数の主体のそれぞれを識別するステップは、主体のそれぞれに予め決定された識別子を関連付けするステップを含み、
実体験のように感じる効果を提供するための前記システムへの前記少なくとも１つの信号は、前記予め決定された識別子に関連される設定に依存して供給される、
請求項５記載の方法。
【請求項７】
前記注視焦点は時間をかけて追跡され、
実体験のように感じる効果を提供するための前記システムへの少なくとも１つの信号は、前記少なくとも１つの画像における前記少なくとも１つのオブジェクトの位置に対して相対的な前記注視焦点の位置に基づく信号を平滑化することで供給される、
請求項１記載の方法。
【請求項８】
受信されたデータは、動画の系列を表し、
前記受信されたデータは、前記動画の系列における少なくとも１つのオブジェクトを識別するデータと共に受信される、
請求項１記載の方法。
【請求項９】
前記少なくとも１つのオブジェクトを識別するデータは、前記動画の系列のうちの最初の画像におけるオブジェクトの位置を識別するデータと関連される、
請求項８記載の方法。
【請求項１０】
前記少なくとも１つのオブジェクトの少なくとも１つの特性を決定するステップを更に含み、
前記少なくとも１つの主体に実体験のように感じる効果を提供するため、前記少なくとも１つの画像における前記少なくとも１つのオブジェクトの位置に対して相対的な前記注視焦点の位置に依存する前記少なくとも１つの信号を前記システムに供給するステップは、前記少なくとも１つのオブジェクトの前記少なくとも１つの特性に関連する効果のデータに基づいて前記少なくとも１つの信号を適合させるステップを含む、
請求項１記載の方法。
【請求項１１】
前記少なくとも１つの画像を表すデータに関連して前記少なくとも１つの画像における少なくとも１つのオブジェクトを識別するデータを受信するステップと、
前記少なくとも１つのオブジェクトを識別するデータを使用して、前記少なくとも１つのオブジェクトの特性を決定するステップとを含む、
請求項１０記載の方法。
【請求項１２】
実体験のように感じる効果の提供を制御するシステムであって、
少なくとも１つの画像を表すデータを受信する第一インタフェースと、
前記少なくとも１つの画像を分析して、前記少なくとも１つの画像において識別される少なくとも１つのオブジェクトを探すステップと、
前記少なくとも１つの画像を観察することができる少なくとも１つの主体の注視焦点を推定する推定手段と、
前記少なくとも１つの主体に実体験のように感じる効果を提供するために、少なくとも１つの信号をシステムに供給する第二インタフェースとを備え、
当該システムは、前記少なくとも１つの画像における前記少なくとも１つのオブジェクトの位置に対して相対的な前記注視焦点の位置に依存する前記少なくとも１つの信号を供給する、
ことを特徴とするシステム。
【請求項１３】
コンピュータに、請求項１乃至１１の何れか記載の方法を実行させるための命令を含むコンピュータプログラム。
【請求項１】
実体験のように感じる効果を提供する方法であって、
少なくとも１つの画像を表すデータを受信するステップと、
前記少なくとも１つの画像を分析して、前記少なくとも１つの画像において識別される少なくとも１つのオブジェクトを探すステップと、
前記少なくとも１つの画像を観察することができる少なくとも１つの主体の注視焦点を推定するステップと、
前記少なくとも１つの主体に実体験のように感じる効果を提供するため、前記少なくとも１つの画像における前記少なくとも１つのオブジェクトの位置に対する前記注視焦点の相対的な位置に依存する少なくとも１つの信号をシステムに供給するステップと、
を含むことを特徴とする方法。
【請求項２】
前記少なくとも１つの画像を観察することができる複数の主体のそれぞれの注視焦点を推定するステップと、
前記複数の主体のそれぞれの注視焦点に依存して実体験のように感じる効果を提供するため、前記少なくとも１つの信号を前記システムに供給するステップと、
を含む請求項１記載の方法。
【請求項３】
前記システムは、複数の出力位置のそれぞれで個別の実体験のように感じる効果を提供し、
当該方法は、前記複数の出力位置のそれぞれに関して前記複数の主体のそれぞれの位置を決定するステップを更に含む、
請求項２記載の方法。
【請求項４】
前記少なくとも１つの信号は、触覚によるフィードバックを提供する少なくとも１つの装置を含む実体験のように感じる効果を提供するために前記システムに供給される、
請求項１記載の方法。
【請求項５】
前記複数の主体のそれぞれを識別するステップを含む、
請求項１記載の方法。
【請求項６】
前記複数の主体のそれぞれを識別するステップは、主体のそれぞれに予め決定された識別子を関連付けするステップを含み、
実体験のように感じる効果を提供するための前記システムへの前記少なくとも１つの信号は、前記予め決定された識別子に関連される設定に依存して供給される、
請求項５記載の方法。
【請求項７】
前記注視焦点は時間をかけて追跡され、
実体験のように感じる効果を提供するための前記システムへの少なくとも１つの信号は、前記少なくとも１つの画像における前記少なくとも１つのオブジェクトの位置に対して相対的な前記注視焦点の位置に基づく信号を平滑化することで供給される、
請求項１記載の方法。
【請求項８】
受信されたデータは、動画の系列を表し、
前記受信されたデータは、前記動画の系列における少なくとも１つのオブジェクトを識別するデータと共に受信される、
請求項１記載の方法。
【請求項９】
前記少なくとも１つのオブジェクトを識別するデータは、前記動画の系列のうちの最初の画像におけるオブジェクトの位置を識別するデータと関連される、
請求項８記載の方法。
【請求項１０】
前記少なくとも１つのオブジェクトの少なくとも１つの特性を決定するステップを更に含み、
前記少なくとも１つの主体に実体験のように感じる効果を提供するため、前記少なくとも１つの画像における前記少なくとも１つのオブジェクトの位置に対して相対的な前記注視焦点の位置に依存する前記少なくとも１つの信号を前記システムに供給するステップは、前記少なくとも１つのオブジェクトの前記少なくとも１つの特性に関連する効果のデータに基づいて前記少なくとも１つの信号を適合させるステップを含む、
請求項１記載の方法。
【請求項１１】
前記少なくとも１つの画像を表すデータに関連して前記少なくとも１つの画像における少なくとも１つのオブジェクトを識別するデータを受信するステップと、
前記少なくとも１つのオブジェクトを識別するデータを使用して、前記少なくとも１つのオブジェクトの特性を決定するステップとを含む、
請求項１０記載の方法。
【請求項１２】
実体験のように感じる効果の提供を制御するシステムであって、
少なくとも１つの画像を表すデータを受信する第一インタフェースと、
前記少なくとも１つの画像を分析して、前記少なくとも１つの画像において識別される少なくとも１つのオブジェクトを探すステップと、
前記少なくとも１つの画像を観察することができる少なくとも１つの主体の注視焦点を推定する推定手段と、
前記少なくとも１つの主体に実体験のように感じる効果を提供するために、少なくとも１つの信号をシステムに供給する第二インタフェースとを備え、
当該システムは、前記少なくとも１つの画像における前記少なくとも１つのオブジェクトの位置に対して相対的な前記注視焦点の位置に依存する前記少なくとも１つの信号を供給する、
ことを特徴とするシステム。
【請求項１３】
コンピュータに、請求項１乃至１１の何れか記載の方法を実行させるための命令を含むコンピュータプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公表番号】特表２０１２−５１１７４９（Ｐ２０１２−５１１７４９Ａ）
【公表日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願番号】特願２０１１−５３９１２４（Ｐ２０１１−５３９１２４）
【出願日】平成２１年１１月１８日（２００９．１１．１８）
【国際出願番号】ＰＣＴ／ＩＢ２００９／０５５１３３
【国際公開番号】ＷＯ２０１０／０６７２２１
【国際公開日】平成２２年６月１７日（２０１０．６．１７）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２４年５月２４日（２０１２．５．２４）
【国際特許分類】
【出願日】平成２１年１１月１８日（２００９．１１．１８）
【国際出願番号】ＰＣＴ／ＩＢ２００９／０５５１３３
【国際公開番号】ＷＯ２０１０／０６７２２１
【国際公開日】平成２２年６月１７日（２０１０．６．１７）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]