ユーザ環境を適応させるための方法及びシステム
端末の環境を適応させる方法であって、前記端末において、外部ソースからデータを受信するステップと；前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するステップと；前記環境において知覚できる出力を提供する少なくとも１つの出力を制御するステップであって、前記出力は、前記モニタリングデータに依存して調整される、ステップと；を有する方法。前記外部ソースからの前記データから、少なくとも１つの精神状態に関係するデータを含む少なくとも１つのセグメントが、取り出され、かつ、前記少なくとも１つの精神状態に関係がある前記データに少なくとも部分的に基づいて、前記モニタリングデータに依存する前記調整が、実行される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末の環境を適応させる方法に関し、環境の中の少なくとも一人のユーザをモニタリングするためのシステムからのモニタリングデータを受信することを含む。
【０００２】
更に、本発明は、環境の中の少なくとも一人のユーザをモニタリングするためのシステムからのモニタリングデータを受信することを含む端末の環境に適応するためのシステムに関する。また、本発明は、環境の中の少なくとも一人のユーザをモニタリングするためのシステムからのモニタリングデータを受信するよう構成された端末の環境に影響を与える方法に関する。
【０００３】
また、本発明は、前記端末に転送するためのデータを提供するよう構成された端末の環境に影響を与えるシステムに関する。前記端末は、環境の中の少なくとも一人のユーザをモニタリングするためのシステムからのモニタリングデータを受信するよう構成されている。
【０００４】
本発明は、また、信号及びコンピュータプログラムに関する。
【背景技術】
【０００５】
特許文献１は、マルチメディアデータを処理するために、感情により制御されるシステムを開示している。これは、マルチメディアコンテンツをユーザに提示するマルチメディアシステムと、マルチメディアコンテンツの提示中におけるユーザの感情の状態を特定する感情モデル手段と、マルチメディアシステムによって変更されたマルチメディアコンテンツを提示するために、ユーザの感情の状態に従ってマルチメディアコンテンツを変更するための編集ユニットと、を有する。このマルチメディアシステムは、ディスプレイ及びラウドスピーカだけでなく、ライト等の他の環境デバイスを有している。ユーザの感情の状態に従って、ホームエンターテインメントシステムは、感情の情報を受信し処理し、そして、この刺激に対して環境を適応させる。例えば、ユーザが、怖い映画を見ている場合、身体的な変化は恐れに関連する。例えば、速い心拍数、あるいは、高い血圧が、感情モデル手段に送信され、そして、その後、恐れの感情状態が編集手段に転送される。そして、マルチメディアシステムは、照明を暗くし、又は、音量を大きくし、ユーザが感じる感情を増大させ、環境を適応させる。
【０００６】
この、既知のシステムの課題は、ユーザ自身は、その映画で、とりわけ恐れを感じるわけではなく、このため、このような場合、感情を増大させるように環境が適応しないこととなる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許公開公報２００５−０２２３２３７号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上述のような方法、システム、信号及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、エンターテインメントマテリアル等のコンテンツのプロバイダが、ユーザに対して、比較的少ない不適合で、没入経験（immersive experience）を与えることを可能とする。この目的は、端末の環境を適応させる方法であって、前記端末において、外部ソースからデータを受信するステップと；前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するステップと；前記環境において知覚できる出力を提供する少なくとも１つの出力を制御するステップであって、前記出力は、前記モニタリングデータに依存して調整される、ステップと；を有し、前記外部ソースからの前記データから、少なくとも１つの精神状態に関係するデータを含む少なくとも１つのセグメントが、取り出され、かつ、前記少なくとも１つの精神状態に関係がある前記データに少なくとも部分的に基づいて、前記モニタリングデータに依存する前記調整が、実行される、方法によって、達成される。
【００１０】
本発明に関して、更に詳細に、図面を参照しながら説明する。
【図面の簡単な説明】
【００１１】
【図１】受信デコーダの環境に適応するデータを配信するシステムの概略図である。
【図２】図１の受信デコーダの環境に適応するためのデータをデコードするデコーダモデルのブロック図である。
【図３】受信デコーダの環境に適応するデータを伝送するパケットベースのデータストリームを示す図である。
【図４】端末の環境に適応するためのシステムを機能的記述で記載したブロック図である。
【発明を実施するための形態】
【００１２】
モニタリングデータが、その環境の少なくとも一人のユーザのモニタリングのためのシステムから受信され、そして、そのモニタリングデータに従って調整がなされるよう、その環境において知覚可能な出力を提供する少なくとも１つのデバイスが制御される。このため、閉ループ制御の形態が端末にインプリメントされる。調整は、少なくとも１つの精神状態に関係するデータの少なくとも一部に基づいたモニタリングデータに従ってなされるため、この閉ループ制御は、例えば、目的の精神状態に影響するようになされる。端末はデータを受信し、そして、そのデータから少なくとも１つのセグメントを取り出す。そのセグメントは、少なくとも１つの精神状態に関係するデータを含む。このため、目的の精神状態は、外部から提供されることとなる。特に、コンテンツデータの制作者によって、これが提供されてもよい。したがって、端末は、制作者が意図した目的の精神状態を達成するための出力に適応することとなる。したがって、遠隔の制作者が、適切な没入型の経験を提供することができる。
【００１３】
実施例において、外部ソースからのデータは、データストリームを有する。
【００１４】
この実施例は、データストリームが受信され、分析されることに応じて、目的の精神状態が時間とともに変化する効果を有する。
【００１５】
実施例において、少なくとも１つの精神状態に関係するデータは、モニタリングデータと出力との間の依存性が少なくとも部分的に導き出せる情報を持つデータを含んでいる。
【００１６】
この特徴の効果としては、モニタリングデータに基づいて、目的の精神状態を達成するために、端末に対して制御アルゴリズムが提供されるということである。したがって、端末は、ユーザの精緻なモデル（elaborate model）の提供を受けなくてもよい。より詳細には、端末は、様々な感情の状態の一つ一つを達成するためのモデル及びアルゴリズムを提供される必要がない。すなわち、端末は、外部ソースによって、没入効果の意図した外部の制作者の目的の感情の状態を達成するために必要なデータの提供を受ける。これによって、端末には少ないメモリがあればよい。しかも、制作者は、異なるモデルを考慮する必要がない。そうでなければ、異なるタイプの端末に異なるモデルを考慮することになる。加えて、外部の制作者は、どのようにムードに影響を与えるか、そして、ムードと生理的及び行動的現象との間にどのような関係があるかに関する最新の洞察を、自己が提供するデータに組み込むことができる。したがって、既に利用されている端末にプログラムされるこの種のモデル及び関係の個別的なアップデートに頼る必要生が減少する。
【００１７】
実施例において、少なくとも１つの精神状態に関係するデータは、モニタリングデータから得られる少なくとも１つの信号の値の許容範囲の境界値を表すデータを含み、前記出力の調整は、前記モニタリングデータから得られる信号の値を前記値の許容範囲の中に保つことによってなされる。
【００１８】
この特徴は、端末をキャリブレートすることを可能とする。端末は、ユーザのモデル、若しくは精神状態と生理的及び行動的症状との間の関係のモデルが、結果としてその現れを特徴付けるパラメータの過度な値となってしまう場合、これをインプリメントしない。
【００１９】
実施例において、少なくとも１つの精神状態に関係するデータを含むセグメントは、視覚的及び音響的な方法の少なくとも１つの形式で出力するためのコンテンツデータと同時に端末に受信され、前記環境によって知覚され得る前記出力の前記調整は、前記コンテンツデータの端末での出力と同期される。この実施例は、コンテンツの制作者が、視覚的及び音響的な方法の少なくとも１つの形式で、見たり、聞いたりする環境を適応させ、視聴者の精神状態をコンテンツに適した形にするために、付随するストリームデータを提供することができる。より詳細には、この精神状態は、オーディオ及びビデオが進むに応じて変化し得る。例えば、フィルムの位置に内在するフィーリングが、サスペンスの状態から安堵の状態に変化する。
【００２０】
実施例は、調整されるべき前記知覚し得る出力の局面（aspect）を表すデータを含む前記外部ソースから前記データの少なくとも１つのセグメントを受信するステップと、前記モニタリングデータに依存した少なくとも１つの精神状態に関係するデータに基づき、調整されるべき前記知覚し得る出力の局面を表す前記データを修正するステップと、を有する。
【００２１】
この実施例は、どのように、特定の精神状態が行き着くかを指定することができる。例えば、制作者は、ファンから出る空気の流れを調整することにより、又は、力のフィードバックデバイスによって生成される感覚効果を調整することによって、恐れの状態が達成されるよう指定することができる。詳細には、表示するべきオーディオビジュアルコンテンツをデータストリームが伴う場合に、これは有用である。前者のような様相すなわち、風の強いシーンの表示を用いることによって、恐れの状態が、好適に達成される。そして、兵隊が行進しているようなビデオを表示すれば、後者の様相が用いられることになる。
【００２２】
この実施例の変形例として、調整されるべき知覚し得る出力の局面を表すデータは、少なくとも１つの端末及び端末で制御可能な出力デバイスの能力を表すデータに基づいて、更に修正される。
【００２３】
この変形例は、データストリームが、比較的広い範囲の端末及び端末で制御される出力デバイスによって、取り扱うことができることを担保する。少なくとも１つの端末及び端末で制御される出力デバイスの能力を表すデータは、調整されるべき知覚し得る出力の局面を表すデータに含まれる命令の置換の規則を含むか、無視される特定の命令を示す。
【００２４】
本方法の実施例は、前記調整されるべき知覚し得る出力の局面を表す前記データを含むセグメント、及び、少なくとも１つの精神状態に関係する前記データを含むセグメントの両者を含む記外部ソースからデータを受信するステップと、それぞれの前記セグメントを互いに分離するステップと、を有する。
【００２５】
この実施例は、データストリームを扱うことができる端末及び端末に含まれるデコーダの範囲を更に拡大する。モニタリングデータを受信しないこれらの端末も、出力デバイスを制御することができる。この場合、調整されるべき知覚し得る出力の局面を表すデータのみを利用する。更に、データの分離は、提供されるデータセグメントを、より単純なフォーマットにすることができる。すなわち、単一のデータコンテナによって、達成されるべき感情状態およびどのように達成されるか、及び用いられる出力形式を示す場合より、より単純になる。このようなコンテナは、緻密なケースステートメントと共に送られるため、これは、単純なデコーダにとっては、デコードが比較的困難である。
【００２６】
変形例では、外部ソースからのデータは、データストリームを有する。そして、分離は、データストリームをマルチプレクシングすることで実行される。調整されるべき知覚し得る局面を表すデータ、及び少なくとも１つの精神状態に関係するデータを含むデータパケットを含む個別的に識別可能なデータパケットを抽出する。
【００２７】
この変形例では、セグメントの同期化が比較的容易に達成されるという効果を有する。更に、データストリームが転送される場合、例えば、ネットワーク上でのブロードキャスト又はマルチキャストの場合、端末でのセグメントの抽出がより容易に行える。
【００２８】
端末の環境を適応させる更なる方法は、前記端末において、外部ソースからデータを受信するステップと；前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するステップと；前記外部ソースからの前記データから、少なくとも１つの精神状態に関係するデータを含む少なくとも１つのセグメントが、取り出され、かつ、前記少なくとも１つの精神状態に関係がある前記データに少なくとも部分的に基づいて、前記モニタリングデータに依存する前記調整が、実行される、方法を提供する。
【００２９】
制御システムのフィードバックループは、モニタリングデータに基づいて、少なくとも一人のユーザの精神状態を分類するためのモデルを有する。この精神状態は、Ｎ次元空間の集合値として分類される。ここでＮ≧１である。
【００３０】
これは、適切な制御変数が提供されるという効果を有する。目的の値からモデル出力を減算することによって、エラー信号を得ることができる。
【００３１】
この実施例の変形例において、調整された出力は、オーディオ、ビデオ、イメージ、感覚フィードバック、嗅覚及び味覚のデータ、のうちの少なくとも１つの表現を含む。調整は、利用できるデータのコレクションの中から知覚し得る出力としての表現すべきデータの選択を含む。
【００３２】
この変形例において、方法のユーザは、全ての可能な出力からの選択によって、総合的に影響を受けることができる。更に、利用可能なデータのコレクションは、事前に提供される。表現されるべきデータが選択される場合、制御システムは、別個の制御装置を含むことができる。
【００３３】
したがって、別個の出力は選択のためにしばらくの間止まり提供される。これによって、ユーザは、出力の変更についての時間を得る。特に、認識のデータの場合、モニタリングデータは、変更された出力に対して非常に短いレスポンスを呈さない。
【００３４】
あるいは、知覚し得る形態でどのように出力が表現されるかを規定する出力デバイスの設定の変更によって、動きデータに従って出力が調整される場合、制御システムは、継続的な制御装置を有することができる。
【００３５】
したがって、例えば、音響の再生のボリュームは、継続的に制御される。したがって、あまりに大きい音が長い時間出力されていることはない。しかしながら、例えば、ユーザが非常に気持ちを動揺させている場合、影響が生じると、すぐにボリュームダウンがなされる。
【００３６】
他の側面によれば、端末の環境を適応させるシステムであって、前記端末において、外部ソースからデータを受信するインターフェースと；
前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するインターフェースと；
前記環境において知覚できる出力を提供する少なくとも１つの出力デバイスを制御するためのデバイスと、
を有し、
当該システムは、前記モニタリングデータに依存して、調整されるべき出力をもたらすよう構成されており、
当該システムは、前記外部ソースからの前記データから、少なくとも１つの精神状態に関係するデータを含む少なくとも１つのセグメントを取り出し、かつ、前記少なくとも１つの精神状態に関係する前記データに基づいて、前記モニタリングデータに依存して、前記調整を実行するよう構成されている、システムが提供される。
【００３７】
実施例において、当該システムは、本発明の方法を実行するよう構成される。
【００３８】
他の実施例によれば、端末の環境に影響を与える方法であって、
前記端末にデータを提供するステップ、を有し、
前記端末は、前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するよう構成され、
前記端末は、前記環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう構成され、前記出力は、前記モニタリングデータに依存して調整され、かつ、
精神状態に関係するデータを含む少なくとも１つのセグメントを含むデータが、前記精神状態に関係するデータに少なくとも部分的に基づいて、前記モニタリングデータに依存して前記調整を実行するよう構成された端末に提供される、方法が提供される。
【００３９】
本方法は、コンテンツオーサリングシステム、例えば、ブロードキャスト又はマルチキャストでデータを提供するシステムに適している。あるいは、このようなデータストリームは、ＤＶＤ又はＣＤのようなデータキャリヤによって提供され得る。特に、オーディオビジュアルデータとのコンビネーションで提供され得る。
【００４０】
本方法の実施例において、前記少なくとも１つの精神状態に関連するデータは、前記モニタリングデータと前記出力との依存性が少なくとも部分的に抽出可能な情報を持つデータを含む。したがって、端末は、主としてデータをデコードするよう構成される。しかしながら、これは、各々の予測される精神状態と対応するユーザのその状態での生理的及び行動的症状との間の可能な依存性の各々に対して予めプログラムされていなくてもよい。
【００４１】
端末の環境に影響を与える方法の実施例において、少なくとも１つの精神状態に関係するデータは、モニタリングデータから得られる少なくとも１つの信号の値の許容範囲の境界値を表すデータを含む。
【００４２】
このデータは、この方法を実行する主体が、特定のモニタされた生理的、又は、行動的な変数を最大化又は最小化させる。したがって、データストリームを提供された端末は、キャリブレートされ、これによって、許容できる境界の中にユーザの精神状態の変化が止まるようにする出力を得るように、いかなる調整も担保される。
【００４３】
端末の環境に影響を与える本方法の実施例において、少なくとも１つの精神状態に関係するデータを含むセグメントは、端末において視覚的及び音響的な方法のうちの少なくとも１つは出力されるコンテンツデータと同時に提供される。したがって、この方法を実行する主体は、オーディオビジュアルコンテンツデータが出力される場所で没入効果を提供することができる。
【００４４】
端末の環境において影響を与える本方法の実施例において、調整されるべき前記知覚し得る出力の局面を表すデータを含むデータの少なくとも１つのセグメントが提供される。したがって、この方法を実行する主体は、端末の環境において人間の精神状態を変更するために用いられる様相にも影響を与えることができる。
【００４５】
変形例において、調整されるべき知覚し得る局面を表すデータを含むセグメント、及び少なくとも１つの精神状態に関係するデータを含むセグメントは、認識可能な個別の形態で提供される。これにより、端末は、２つのタイプのセグメントの１つのみを抽出することができる。特に、レガシー端末は、端末の環境における少なくとも一人のユーザの生理的及び行動的症状を表すデータのモニタリングを処理する能力がない。このため、調整すべき知覚し得る出力を表すデータのみを抽出することができ、共有することができる。
【００４６】
他の側面によれば、
端末の環境に影響を与えるシステムであって、前記端末に与えるためのデータを提供するよう構成されており、
前記端末は、前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するよう構成され、
前記端末は、前記環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう更に構成され、前記出力は、前記モニタリングデータに依存して調整され、
当該システムは、データを含む少なくとも１つのセグメントを含むデータを提供するよう構成され、前記データに基づいて、前記端末が前記モニタリングデータに依存して前記出力を調整し得る、
システムが提供される。
【００４７】
他の側面によれば、精神状態に関係するデータを含む少なくとも１つのセグメントを有する、データストリームを伝送する信号であって、前記データは、情報を含み、前記情報に基づいて、前記端末の環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう構成された端末は、前記端末の環境において少なくとも一人のユーザをモニタリングするためのシステムによって提供されたモニタリングデータに依存して前記出力を調整し得る、信号が提供される。
【００４８】
他の側面によれば、本発明の方法を、コンピュータに実行させるプログラムが提供される。
【実施例】
【００４９】
図１は、データを配信するためのアーキテクチャのブロック図を示している。以下において、データは、少なくともオーディオ、ビデオ、及びイメージデータの１つを含むとする。コンテンツデータは、時間的変化のある感情データとのコンビネーションで提供される。ある実施例において、感情データは、コンテンツデータと同期している。これによって、異なる精神状態が、適切な時刻にコンテンツデータにアクセスする人間に対して、異なる精神状態を生じさせることができる。感情データを提供するために、オーサリングシステム１が提供される。オーサリングシステム１は、端末２の環境に影響を与える例示的システムである。この端末２において、コンテンツデータが知覚し得る形で出力される。端末２は、セットトップボックス、パーソナルコンピュータ、ハンドヘルドコンピュータ、携帯電話、デジタルテレビ等としてインプリメントされる。１つの実施例において、オーサリングシステム１の出力は、データキャリヤ３（例えば光ディスク）で直接、端末３に提供される。他の実施例においては、サーバ５へのデータキャリヤ４又はネットワークリンクでこれが提供される。サーバ５は、端末２又は他の同様の端末にネットワーク６を介して、配信するブロードキャストネットワークヘッドエンドを含む。このネットワーク６は、セルラーネットワーク、長距離光ネットワーク、衛星又はケーブルテレビネットワークを含んでもよい。配信は、ブロードキャスト、マルチキャスト、又は直接送信（例えば、端末３へのダウンロード、オンデマンド）であってもよい。図示した実施例において、コンテンツデータは、デジタルテレビジョンフォーマット（例えば、ＤＶＢ又はＡＴＳＣ）で配信される。
【００５０】
端末２は、ネットワーク６を介する配信の場合、ネットワークインターフェース７、チューナ８，モジュレータ８及びデマルチプレクサ１０を介して感情データと共にコンテンツデータを受信する。図示した端末２は、データキャリヤ３のコンテンツを読み出すための読み出しユニット１１をも有する。
【００５１】
周知の方法によって、端末２は、ビデオコーデック１２、及びディスプレイ１４にデータコンテンツの選択されたストリームのビデオコンポーネントを出力（レンダリング）するためのディスプレイドライバ１３を含む。オーディオコーデック１３及びオーディオ出力ステージ１６は、ラウドスピーカ１７，１８に信号を提供する。端末２は、ソフトウエアを実行するためのプロセッサ１９及びメインメモリ２０の制御下において動作する。ソフトウエアには、感情データを解析し、デコーダをインプリメントするための命令が含まれる。そのモデルは図２に示されている。加えて、環境システム（ambient system）に含まれる端末２は、更に環境出力デバイス２１、２２及びそのためのドライバ２３を含む。環境出力デバイス２１、２２は、オーディオ以外の知覚し得る出力を出力するための出力デバイスの広範なクラスを代表している。例えばライティング、特に環境カラー、明度、角度を調節可能な直接光を提供できるもの、気温、湿度、環境クライメート（ambient climate）に影響を与えるためのデバイス、そして、ランブラなどの感覚フィードバックを提供するためのデバイスが含まれる。この環境出力デバイス２１、２２は、人間が身につけてもよい。例えば、手首のバンド、グローブ、又はヘッドセットなどである。
【００５２】
端末２は、デバイス２５、２６をモニタリングするためのインターフェース２４を含み、これらは端末２がモニタリングデータを取得することを可能とする。モニタリングデータには、端末２のそれぞれのユーザが呈している少なくとも生理的及び行動的症状のうちの少なくとも１つが含まれる。代替的に又は追加的に、モニタリングデータは、複数のユーザを集合的に特徴付けてもよい。モニタリングデータは、生理的及び行動的症状のうちの少なくとも１つを特徴付けるデータを含む。前者の例としては、血圧、肌の温度、肌の伝導率、心拍数、呼吸数、及びこれらの組合せの変化が挙げられる。後者の例としては、例えばデジタルカメラで撮った画像の解析によって得られたユーザの一般的な動作の特徴が挙げられる。例えば、顔の表情、動きの周波数、凝視の方向、及びこれに類する特徴が評価され得る。
【００５３】
データのモニタリングによって、端末２は、端末２の環境におけるユーザ(又は複数のユーザ)の精神状態の閉ループ制御の形成をインプリメントする。したがって、オーサリングシステム１の遠隔で生成された感情データに従って、ユーザの精神状態は、目的の精神状態を達成するために影響を受ける。
【００５４】
図２は、感情データを伝送するためのデータストリームの例示として、国際標準ISO/IEC 13818-1 (MPEG-2 Systems)に従ったデータストリーム２７を示している。データストリーム２７は、トランスポートストリームパケット２８ａ−ｄを含む。それぞれは、固定データ長の、ヘッダ２９ａ−ｄ、及びペイロード３０ａ−ｄを含む。トランスポートストリームパケット２８ａ−ｄは、プログラムエレメンタリシステム（ＰＥＳ）パケット３１ａ−ｃを伝送する。それぞれは、同様にヘッダ３２ａ−ｃ及びペイロード３３ａ−ｃを含む。
【００５５】
感情データが、オーディオ、ビデオ、又はオーディオビジュアルコンテンツデータと同時に提供される場合、感情データは、プログラムの一部である。プログラムは、複数のエレメンタリストリームを含む。各々のエレメンタリストリームは、ＰＥＳパケット３１ａ−ｃを含む。これらは、ＰＥＳパケットヘッダ３２ａの中のストリームアイデンティファイア３４によって別個に識別可能である。このＰＥＳパケットヘッダ３２ａは、更なるフィールドを含む。これらは、フィールド３５を除きここで説明しない。フィールド３５は、データストリーム２７によって伝送されるクロック基準との相対的なデコード及びプレゼンテーションタイムのうちの少なくとも１つを特定するためのタイムスタンプを含む。したがって、データストリーム２７によって伝送されるプログラムコンテンツの同期した出力が達成される。
【００５６】
いかなるＴＳパケット２８も、ただ１つのエレメンタリストリームを伝送するため、ＴＳパケットヘッダ２９の別個のパケットアイデンティファイア（ＰＩＤ）も、プログラムを構成する様々なエレメンタリストリームを含む。エレメンタリストリームを同期させるためのタイムスタンプは、事実、ＴＳパケットヘッダ２９ａ−ｄに含まれている。これは、いずれにしても、クロック基準を伝送している。
【００５７】
世界標準ISO/IEC 13818-1により詳しく記載されているように、ＴＳパケット２８ａ−ｄで作られているいかなるデータストリーム２７も、固定されたアイデンティファイアを伴うパケットを含んでいる。アイデンティファイアは、プログラムアソシエーションテーブル（ＰＡＴ）を伝送する（図示せず）。このテーブルは、データストリーム２７において利用できるプログラムを特定し、そしてプログラムマップテーブル（ＰＭＴ）を持つパケットをポイントする。このようなＰＭＴテーブルが各々のプログラムに１つずつ存在する。ＰＭＴは、異なるエレメンタリストリームを持つパケット、及び、それらのタイプを特定する。実施例に応じて、ＰＭＴは、ＴＳパケット２８ａ−ｄのＰＩＤ又はＰＥＳパケット３１ａ−ｃのエレメンタリストリームアイデンティファイアを含む。
【００５８】
本明細書において用いられる実施例では、感情データは、少なくとも１つの個別のエレメンタリストリームによって伝送され、それぞれは、自身のそれぞれのアイデンティファイア値を持ち、それが所属するプログラムのＰＭＴに記述されている。感情データが、オーディオ及びビデオデータと同時に提供される場合、ＰＭＴは、オーディオデータを伝送する単一又は複数のストリーム、ビデオデータを伝送する単一又は複数のストリーム、及び感情データを伝送する単一の又は複数のストリームを特定する。感情データを伝送する単一の又は複数のストリームは、「プライベート」であり、レガシー端末は、これらのストリームを無視してもよい。したがって、図１の端末２において、デマルチプレクサ１０が感情データを抽出するように設定されていても、レガシー端末は、これらを無視するであろう。そして、オーディオ及びビデオデータを持つものを抽出するであろう。図３は、端末２の第１の実施例のためのデコーダを示しており、データストリーム２７に存在する感情データをデコードし、少なくとも環境出力デバイス２１、２２の出力を調整するために用いる。デコーダは、機能のコンポーネントの観点から示されている。これは、ハードウエアとソフトウエアのいかなる組合せでもインプリメントし得る。このデコーダへの入力は、図２のデータストリームを含む。パケットフィルタ３６は、特定のＰＩＤ値を含むパケットヘッダ２９ａ−ｄを有するＴＳパケット２８ａ−ｄのみを取り出す。パケットフィルタ３６は、ＰＩＤ値を見つけるか、事前に分析されているＰＭＴから知っている。そして、どのリストが、どれが、上述したようにプログラムを形成しているエレメンタリストリームのＰＩＤ値及び関連する記述をリストしているかを知っている。パケットフィルタ３６は、通常、デマルチプレクサ１０（図１）の中に含まれる。
【００５９】
図２のデコーダモデルに適している方法の実施例において、感情データには、二つのタイプのデータオブジェクトが含まれる。すなわち、感覚シーン記述オブジェクト（sensory scene description objects）、及び感情構造オブジェクト（emotion composition objects）である。以下において、「オブジェクト」及び「セグメント」の語は、交換可能に区別なく使用する。
【００６０】
感情構造オブジェクトは、少なくとも１つの精神状態に関係するデータを含む。この情報は、端末に対して、端末の環境におけるその人において達成されるべき目標の精神状態を伝達する。
【００６１】
感覚シーン記述オブジェクトは、環境出力デバイス２１、２２、オプションとして、ディスプレイ１４、及びラウドスピーカ１７、１８の知覚し得る出力の局面を表すデータを含む。これらは、ユーザの精神状態に影響を与えるために調整される。すなわち、感覚シーン記述オブジェクトは、感覚フィードバックデバイスの出力、ライティングユニットの色温度、音響システムの音響レベル等を制御することによって、特定の精神状態が達成されるべきかを特定する。精神状態を達成するために、達成されるべき実際の精神状態、及び選択された出力デバイスに対してなされる調整は、感情構造オブジェクトに特定される。開示された実施例において、感情構造オブジェクト及び感覚シーン記述オブジェクトは、シングルエレメンタリストリーム内で、異なるオブジェクトとして特定される。代替えの実施例において、感情構造オブジェクト及び感覚シーン記述オブジェクトは、異なるセグメント内に含まれる。それぞれは、異なるそれぞれのＰＩＤ値によって特定し得る異なるそれぞれのエレメンタリストリームに含まれる。したがって、レガシーデコーダは、感情構造オブジェクトを無視し得る。そして、単に感覚シーン記述オブジェクトを用いて、環境出力デバイス２１、２２の出力を調整する。このケースの場合、感覚シーン記述オブジェクトは、これらによって特定された様々なタイプの出力のレベルをも含む。例えば、ファン、又は、感覚フィードバックデバイスの出力の強さ、環境ライティングデバイスによって提供される光の色及び強度等が挙げられる。なお、このようなレガシーデコーダは、環境システムの出力を調整する場合、モニタリングデバイス２５、２６から得られたモニタリングデータを考慮しない。
【００６２】
デコーダモデルに戻ると、パケットフィルタ３６によって抽出されたＴＳパケット２６ａ−ｄは、転送バッファ３７に置かれる。ここにおいて、パケットヘッダ２９ａ−ｄ、３２ａ−ｃは、取り出される。デコーディングタイムスタンプ及びプレゼンテーションタイムスタンプは、取り出され、感情ストリームセグメント（感覚シーン記述セグメント、及び感情構造セグメント）に関連付けられる。セグメントは、コード化されたデータバッファ３８に置かれる。
【００６３】
感情ストリームプロセッサ３９は、感情ストリームの様々なセグメントをデコードし、かつ分析する。感情構造セグメントは、感情コマンドバッファ４０に置かれ、そして、感覚シーン記述セグメントは、デコードされた感覚シーン記述オブジェクトバッファ４１に置かれる。
【００６４】
上述のように、感覚シーン記述セグメントは、端末２の環境をどのように変更するかを記述しているデータを含んでいる。例えば、どのようにライティングコンディション、空気の流れ、音、臭い、温度を変更するか、又は感覚、音響、視覚フィードバックを与えるか否かが挙げられる。このデータは、通常マークアップ言語によってエンコードされる。適切なデータフォーマットの例は、MPEG-V、MPEG-RoSE、又はAmbi-Xに記載されている。
【００６５】
感情構造セグメントは、３つのタイプのいずれのデータも含まれる。すなわち、目標精神状態、感情ウインドウ定義データ、及びインターラクティブ感情構造データである。このデータは一般にマークアップ言語によって書かれる。これらの３つのタイプの感情構造セグメントの機能性を提供するために拡張された、Ｗ３Ｃ感情マークアップ言語又はＭＰＥＧ−Ｖフォーマットで記述されたデータが含まれてもよい。
【００６６】
感情ウインドウ定義データは、ユーザの感情状態の境界を記述する。これは、キャリブレーションステップとして用いられる。これによって、ユーザは、予期しない極端な感覚の経験に直面させられることはない。したがって、このデータは、インターフェース２４を介して受信されたモニタリングデータから取得可能な信号の値の許容される範囲の少なくとも１つの境界値を表すデータを含む。端末２は、環境出力デバイス２１、２２の出力を調整する。これによって、モニタリングデータから取得可能な信号の値を、値の許容される範囲内に維持できる。１つの実施例において、許容範囲にあるモニタリングデータは、生理的及び行動的現象（血圧、心拍数、例えば落ち着きのなさなどの計測値等）を特徴付ける変数の値に対応する信号である。他の実施例において、この信号は、ユーザの感情の状態（興奮の度合い、感動性の度合い、警戒の度合い等）に対応する値又は変数の値を取得するために、ユーザのモデルにこのような信号を適用することによって取得された信号である。このインターラクティブな、感情の組合せのセグメント（interactive emotion composition segments）は、測定されたユーザ又はユーザの集合の感情の状態の変化にどのように反応するかを定義する。
【００６７】
例えば、ユーザが緊張を感じている場合、環境ライティングは、色を変更するべきであると定義してもよい。たしかに、ユーザの緊張を特徴付ける変数の変化に対応して色に変更に関連する関数を定義してもよい。したがって、端末２は、少なくともモニタリングデータのサブセットと、環境出力デバイス２１、２２によって提供するべき出力との依存関係を抽出することができる。
【００６８】
図３のデコーダモデルに話を戻すと、モニタリングデバイス２５、２６からの信号は、モニタリングプロセッサ４２により処理され、信号は、感覚シーン構造コントローラ４３に送られる。感覚シーン構造コントローラ４３は、モニタリング信号プロセッサ４２からリアルタイムに得られる信号にどのように応答するかに関する感覚シーン構造セグメントの命令を用いる。この感覚シーン構造コントローラ４３は、感情構造セグメントの命令及びモニタリングデータに基づいて、デコードされた感覚シーン記述オブジェクトバッファ４１に存在するデコードされた感覚シーン記述オブジェクトを変更する。このステージにおいて、感情ウインドウ定義データの命令が守られる（observed）ことが担保される。
【００６９】
このようにして調整された感覚シーン記述オブジェクトは、感覚シーン記述バッファ４５に移される。このプロセスにおいて、感覚デバイス能力マスク４４が適用される。このマスクは、少なくとも端末２又は端末２により制御される出力デバイス１２−１８、２１、２２のいずれか又は両方の能力を表すデータを有する。このマスク４４の適用は、デコーディングプロセスの最後のステージで実行される。したがって、感覚シーン記述バッファ４５の感覚シーン記述は、出力デバイス１２−１８、２１、２２をドライブするために必要なコマンドを含み、利用できる感覚出力プラットフォームの能力に常に整合している。図４は、端末２の環境に適応するシステムの別のモデルを示しており、同様に端末２にインプリメントすることが意図されている。この実施例において、端末２は、目標感情状態及びオプションとしてこの目標感情状態が達成されるときの仕方（manner）を少なくとも含む少なくとも１つの感情状態に関係するデータを受信する。例えば、どの出力を調整するかを記述している感覚シーン記述オブジェクト、及び、どのように精神状態がモニタリングデータに依存するかを記述する関数の形式でユーザのモデルを提供する感情シーン構造オブジェクト、の形式が挙げられる。
【００７０】
このシステムは、コントローラ４６を含む。この詳細は後述する。これは、端末２の環境において知覚し得る出力を提供するための動作システム４７を有する。動作システム４７は、実施例に応じて、環境出力デバイス２１、２２内、プロセッサ１９内、ビデオコーデック１２、ディスプレイドライバ１２，及びディスプレイ１４，及び、プロセッサ１９内，オーディオコーデック１５，オーディオアウトプットステージ１６，及びラウドスピーカ１７、１８、又はこれらのデバイスのサブセット内に統合される。これらは、人体 ４８が反応する刺激を提供する。特に、五感（視覚、嗅覚、聴覚、触覚、及び味覚）の１つ以上の刺激を提供する。測定システム４９は、モニタリングデータを、人体４８のモデルを表すクラシファイヤ／インタープリタ５０に提供する。このクラシファイヤ／インタープリタ５０は、出力としての精神状態を表すデータを提供する。これは、Ｎ次元空間内（Ｎ≧１）の値の集合の形式をとる。したがって、これは、同じフォーマットを有する目標精神状態から差し引かれる。差の信号が、コントローラ４３に入力される。次元Ｎの数字は、１から１５の値を取り得る。典型的には、１から３である。一般的には、二次元である。例えば、人間の感情状態のモデルの広く利用されているモデルの１つとしての、誘発性（valence）及び覚醒（arousal）次元が挙げられる。より複雑な感情モデルが用いられる場合、高い値に利用価値がある。例えば、評価ベースの感情表現（appraisal-based emotion descriptions）が挙げられる。
【００７１】
ある実施例において、ディスプレイ１４のイメージを表示するために、端末２が用いられる。この実施例において、コントローラ４６は、別個のコントローラである。類似の実施例において、端末２はシーンを選択し、幾つかの代替のプログラムのバリエーション内でスイッチングする。例えば、ビデオデータを伝送する幾つかの基本のストリームが存在する。この場合に、この基本のストリームの各々は、１つのストーリの異なる変形例を含み、異なる詳細及び／又は設定を含む。変形例では、そのストーリは１つのストーリラインに正しく進みそして接続する。この場合、異なるダイアローグを含む幾つかのオーディオストリームも提供される。あるいは、１つのビデオストリームが存在し、異なるオーディオストリームが存在しうる。例えば、エラー信号に従って、適切なストリームを選択する機能を持つコントローラ４６により、異なるスタイルのバックグランドミュージックが挙げられる。
【００７２】
他の実施例において、ディスプレイ１４において、オーバレイが提供される。このオーバレイは、他のコンテンツの表示のために利用できる領域の部分のみをカバーする。より具体的には、感情アイコン（emoticon）が、表示のために選択される。この実施例において、コントローラ４６は、通常バンバンコントローラ（bang-bang controller）の形態でインプリメントされる。万万コントローラは、ヒステリシスを持って、状態間をスイッチするコントローラである。
【００７３】
他の実施例において、コントローラ４６は、継続的コントローラである。たとえば、ＩＰＤ、ＩＤ、Ｐ、Ｄ、又はＩコントローラである。これらは、プリセレクトされたコンテンツを出力し、又は、端末２の環境を一般的に調整するために用いられる出力デバイスの設定を支配する。端末２に、データストリーム２７に埋め込まれた目標精神状態が提供されていると仮定する。端末２は、次第に、このオーディオビジュアルコンテンツデータの再生の経験の没入状態（immersiveness）を調整する。これは、オーディオボリューム、オーディオの広がり、カラーの飽和、環境ライティングデバイスのカラー出力の設定を選択的に、オンオフ又はアップダウンすることによって行われる。したがって、リモートオーサリングシステム１を用いて生成され、ネットワーク６を介して、あるいはデータキャリヤ３による、データストリームの中で端末２に伝達された命令に従って、図４に示したシステムも、端末２のユーザの精神状態に影響を与えることができる。上述の実施例は、例示のためのものであり、限定を目的とするものではなく、そして、当業者は、添付の請求項の技術的範囲を超えることなく、多くの代替の実施例をデザインすることができることに留意すべきである。請求項において、括弧書きのいかなる参照番号も、請求項を限定するものと解釈されてはならない。「有する」の語は、請求項に列記した以外の要素又はステップの存在を排除しない。要素の前の「ａ」及び「ａｎ」の用語は、この要素の複数を排除するものではない。特定の複数の手段が単に互いに異なる請求項に記載されているという事実は、これらの手段のコンビネーションが有利に実行できないことを意味するものではない。
【００７４】
感情シーン構造セグメント（emotion scene composition segments）及び感覚シーン記述セグメント（sensory scene description segments）は、データキャリヤ３にオブジェクトとして格納することができる。このデータのフォーマットは、データ格納システム（ＤＶＤ、Ｂｌｕ−Ｒａｙ）及びＭＰＥＧ関連のシステムにおけるサブタイトル又はグラフィックスを提供するために現在用いられているデータのフォーマットと互換性がある。確かに、他の実施例において、感情データは、グラフィックスストリームとしてあるいはサブタイトルストリームとしてインプリメントすることができ、そして、従来の端末２のファームウエアアップデートを適用することによって、デコードすることができる。あるいは、感覚シーン記述オブジェクトは、イメージデータとして記述することができる。そして、感情構造オブジェクトは、イメージデータのアノーテーションを提供する構造オブジェクト（composition object）の形態でありうる。カラールックアップテーブルは、環境出力デバイス２１、２２を制御するために、カラーをコマンドに変換するときに適用することができる。
【技術分野】
【０００１】
本発明は、端末の環境を適応させる方法に関し、環境の中の少なくとも一人のユーザをモニタリングするためのシステムからのモニタリングデータを受信することを含む。
【０００２】
更に、本発明は、環境の中の少なくとも一人のユーザをモニタリングするためのシステムからのモニタリングデータを受信することを含む端末の環境に適応するためのシステムに関する。また、本発明は、環境の中の少なくとも一人のユーザをモニタリングするためのシステムからのモニタリングデータを受信するよう構成された端末の環境に影響を与える方法に関する。
【０００３】
また、本発明は、前記端末に転送するためのデータを提供するよう構成された端末の環境に影響を与えるシステムに関する。前記端末は、環境の中の少なくとも一人のユーザをモニタリングするためのシステムからのモニタリングデータを受信するよう構成されている。
【０００４】
本発明は、また、信号及びコンピュータプログラムに関する。
【背景技術】
【０００５】
特許文献１は、マルチメディアデータを処理するために、感情により制御されるシステムを開示している。これは、マルチメディアコンテンツをユーザに提示するマルチメディアシステムと、マルチメディアコンテンツの提示中におけるユーザの感情の状態を特定する感情モデル手段と、マルチメディアシステムによって変更されたマルチメディアコンテンツを提示するために、ユーザの感情の状態に従ってマルチメディアコンテンツを変更するための編集ユニットと、を有する。このマルチメディアシステムは、ディスプレイ及びラウドスピーカだけでなく、ライト等の他の環境デバイスを有している。ユーザの感情の状態に従って、ホームエンターテインメントシステムは、感情の情報を受信し処理し、そして、この刺激に対して環境を適応させる。例えば、ユーザが、怖い映画を見ている場合、身体的な変化は恐れに関連する。例えば、速い心拍数、あるいは、高い血圧が、感情モデル手段に送信され、そして、その後、恐れの感情状態が編集手段に転送される。そして、マルチメディアシステムは、照明を暗くし、又は、音量を大きくし、ユーザが感じる感情を増大させ、環境を適応させる。
【０００６】
この、既知のシステムの課題は、ユーザ自身は、その映画で、とりわけ恐れを感じるわけではなく、このため、このような場合、感情を増大させるように環境が適応しないこととなる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許公開公報２００５−０２２３２３７号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上述のような方法、システム、信号及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、エンターテインメントマテリアル等のコンテンツのプロバイダが、ユーザに対して、比較的少ない不適合で、没入経験（immersive experience）を与えることを可能とする。この目的は、端末の環境を適応させる方法であって、前記端末において、外部ソースからデータを受信するステップと；前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するステップと；前記環境において知覚できる出力を提供する少なくとも１つの出力を制御するステップであって、前記出力は、前記モニタリングデータに依存して調整される、ステップと；を有し、前記外部ソースからの前記データから、少なくとも１つの精神状態に関係するデータを含む少なくとも１つのセグメントが、取り出され、かつ、前記少なくとも１つの精神状態に関係がある前記データに少なくとも部分的に基づいて、前記モニタリングデータに依存する前記調整が、実行される、方法によって、達成される。
【００１０】
本発明に関して、更に詳細に、図面を参照しながら説明する。
【図面の簡単な説明】
【００１１】
【図１】受信デコーダの環境に適応するデータを配信するシステムの概略図である。
【図２】図１の受信デコーダの環境に適応するためのデータをデコードするデコーダモデルのブロック図である。
【図３】受信デコーダの環境に適応するデータを伝送するパケットベースのデータストリームを示す図である。
【図４】端末の環境に適応するためのシステムを機能的記述で記載したブロック図である。
【発明を実施するための形態】
【００１２】
モニタリングデータが、その環境の少なくとも一人のユーザのモニタリングのためのシステムから受信され、そして、そのモニタリングデータに従って調整がなされるよう、その環境において知覚可能な出力を提供する少なくとも１つのデバイスが制御される。このため、閉ループ制御の形態が端末にインプリメントされる。調整は、少なくとも１つの精神状態に関係するデータの少なくとも一部に基づいたモニタリングデータに従ってなされるため、この閉ループ制御は、例えば、目的の精神状態に影響するようになされる。端末はデータを受信し、そして、そのデータから少なくとも１つのセグメントを取り出す。そのセグメントは、少なくとも１つの精神状態に関係するデータを含む。このため、目的の精神状態は、外部から提供されることとなる。特に、コンテンツデータの制作者によって、これが提供されてもよい。したがって、端末は、制作者が意図した目的の精神状態を達成するための出力に適応することとなる。したがって、遠隔の制作者が、適切な没入型の経験を提供することができる。
【００１３】
実施例において、外部ソースからのデータは、データストリームを有する。
【００１４】
この実施例は、データストリームが受信され、分析されることに応じて、目的の精神状態が時間とともに変化する効果を有する。
【００１５】
実施例において、少なくとも１つの精神状態に関係するデータは、モニタリングデータと出力との間の依存性が少なくとも部分的に導き出せる情報を持つデータを含んでいる。
【００１６】
この特徴の効果としては、モニタリングデータに基づいて、目的の精神状態を達成するために、端末に対して制御アルゴリズムが提供されるということである。したがって、端末は、ユーザの精緻なモデル（elaborate model）の提供を受けなくてもよい。より詳細には、端末は、様々な感情の状態の一つ一つを達成するためのモデル及びアルゴリズムを提供される必要がない。すなわち、端末は、外部ソースによって、没入効果の意図した外部の制作者の目的の感情の状態を達成するために必要なデータの提供を受ける。これによって、端末には少ないメモリがあればよい。しかも、制作者は、異なるモデルを考慮する必要がない。そうでなければ、異なるタイプの端末に異なるモデルを考慮することになる。加えて、外部の制作者は、どのようにムードに影響を与えるか、そして、ムードと生理的及び行動的現象との間にどのような関係があるかに関する最新の洞察を、自己が提供するデータに組み込むことができる。したがって、既に利用されている端末にプログラムされるこの種のモデル及び関係の個別的なアップデートに頼る必要生が減少する。
【００１７】
実施例において、少なくとも１つの精神状態に関係するデータは、モニタリングデータから得られる少なくとも１つの信号の値の許容範囲の境界値を表すデータを含み、前記出力の調整は、前記モニタリングデータから得られる信号の値を前記値の許容範囲の中に保つことによってなされる。
【００１８】
この特徴は、端末をキャリブレートすることを可能とする。端末は、ユーザのモデル、若しくは精神状態と生理的及び行動的症状との間の関係のモデルが、結果としてその現れを特徴付けるパラメータの過度な値となってしまう場合、これをインプリメントしない。
【００１９】
実施例において、少なくとも１つの精神状態に関係するデータを含むセグメントは、視覚的及び音響的な方法の少なくとも１つの形式で出力するためのコンテンツデータと同時に端末に受信され、前記環境によって知覚され得る前記出力の前記調整は、前記コンテンツデータの端末での出力と同期される。この実施例は、コンテンツの制作者が、視覚的及び音響的な方法の少なくとも１つの形式で、見たり、聞いたりする環境を適応させ、視聴者の精神状態をコンテンツに適した形にするために、付随するストリームデータを提供することができる。より詳細には、この精神状態は、オーディオ及びビデオが進むに応じて変化し得る。例えば、フィルムの位置に内在するフィーリングが、サスペンスの状態から安堵の状態に変化する。
【００２０】
実施例は、調整されるべき前記知覚し得る出力の局面（aspect）を表すデータを含む前記外部ソースから前記データの少なくとも１つのセグメントを受信するステップと、前記モニタリングデータに依存した少なくとも１つの精神状態に関係するデータに基づき、調整されるべき前記知覚し得る出力の局面を表す前記データを修正するステップと、を有する。
【００２１】
この実施例は、どのように、特定の精神状態が行き着くかを指定することができる。例えば、制作者は、ファンから出る空気の流れを調整することにより、又は、力のフィードバックデバイスによって生成される感覚効果を調整することによって、恐れの状態が達成されるよう指定することができる。詳細には、表示するべきオーディオビジュアルコンテンツをデータストリームが伴う場合に、これは有用である。前者のような様相すなわち、風の強いシーンの表示を用いることによって、恐れの状態が、好適に達成される。そして、兵隊が行進しているようなビデオを表示すれば、後者の様相が用いられることになる。
【００２２】
この実施例の変形例として、調整されるべき知覚し得る出力の局面を表すデータは、少なくとも１つの端末及び端末で制御可能な出力デバイスの能力を表すデータに基づいて、更に修正される。
【００２３】
この変形例は、データストリームが、比較的広い範囲の端末及び端末で制御される出力デバイスによって、取り扱うことができることを担保する。少なくとも１つの端末及び端末で制御される出力デバイスの能力を表すデータは、調整されるべき知覚し得る出力の局面を表すデータに含まれる命令の置換の規則を含むか、無視される特定の命令を示す。
【００２４】
本方法の実施例は、前記調整されるべき知覚し得る出力の局面を表す前記データを含むセグメント、及び、少なくとも１つの精神状態に関係する前記データを含むセグメントの両者を含む記外部ソースからデータを受信するステップと、それぞれの前記セグメントを互いに分離するステップと、を有する。
【００２５】
この実施例は、データストリームを扱うことができる端末及び端末に含まれるデコーダの範囲を更に拡大する。モニタリングデータを受信しないこれらの端末も、出力デバイスを制御することができる。この場合、調整されるべき知覚し得る出力の局面を表すデータのみを利用する。更に、データの分離は、提供されるデータセグメントを、より単純なフォーマットにすることができる。すなわち、単一のデータコンテナによって、達成されるべき感情状態およびどのように達成されるか、及び用いられる出力形式を示す場合より、より単純になる。このようなコンテナは、緻密なケースステートメントと共に送られるため、これは、単純なデコーダにとっては、デコードが比較的困難である。
【００２６】
変形例では、外部ソースからのデータは、データストリームを有する。そして、分離は、データストリームをマルチプレクシングすることで実行される。調整されるべき知覚し得る局面を表すデータ、及び少なくとも１つの精神状態に関係するデータを含むデータパケットを含む個別的に識別可能なデータパケットを抽出する。
【００２７】
この変形例では、セグメントの同期化が比較的容易に達成されるという効果を有する。更に、データストリームが転送される場合、例えば、ネットワーク上でのブロードキャスト又はマルチキャストの場合、端末でのセグメントの抽出がより容易に行える。
【００２８】
端末の環境を適応させる更なる方法は、前記端末において、外部ソースからデータを受信するステップと；前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するステップと；前記外部ソースからの前記データから、少なくとも１つの精神状態に関係するデータを含む少なくとも１つのセグメントが、取り出され、かつ、前記少なくとも１つの精神状態に関係がある前記データに少なくとも部分的に基づいて、前記モニタリングデータに依存する前記調整が、実行される、方法を提供する。
【００２９】
制御システムのフィードバックループは、モニタリングデータに基づいて、少なくとも一人のユーザの精神状態を分類するためのモデルを有する。この精神状態は、Ｎ次元空間の集合値として分類される。ここでＮ≧１である。
【００３０】
これは、適切な制御変数が提供されるという効果を有する。目的の値からモデル出力を減算することによって、エラー信号を得ることができる。
【００３１】
この実施例の変形例において、調整された出力は、オーディオ、ビデオ、イメージ、感覚フィードバック、嗅覚及び味覚のデータ、のうちの少なくとも１つの表現を含む。調整は、利用できるデータのコレクションの中から知覚し得る出力としての表現すべきデータの選択を含む。
【００３２】
この変形例において、方法のユーザは、全ての可能な出力からの選択によって、総合的に影響を受けることができる。更に、利用可能なデータのコレクションは、事前に提供される。表現されるべきデータが選択される場合、制御システムは、別個の制御装置を含むことができる。
【００３３】
したがって、別個の出力は選択のためにしばらくの間止まり提供される。これによって、ユーザは、出力の変更についての時間を得る。特に、認識のデータの場合、モニタリングデータは、変更された出力に対して非常に短いレスポンスを呈さない。
【００３４】
あるいは、知覚し得る形態でどのように出力が表現されるかを規定する出力デバイスの設定の変更によって、動きデータに従って出力が調整される場合、制御システムは、継続的な制御装置を有することができる。
【００３５】
したがって、例えば、音響の再生のボリュームは、継続的に制御される。したがって、あまりに大きい音が長い時間出力されていることはない。しかしながら、例えば、ユーザが非常に気持ちを動揺させている場合、影響が生じると、すぐにボリュームダウンがなされる。
【００３６】
他の側面によれば、端末の環境を適応させるシステムであって、前記端末において、外部ソースからデータを受信するインターフェースと；
前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するインターフェースと；
前記環境において知覚できる出力を提供する少なくとも１つの出力デバイスを制御するためのデバイスと、
を有し、
当該システムは、前記モニタリングデータに依存して、調整されるべき出力をもたらすよう構成されており、
当該システムは、前記外部ソースからの前記データから、少なくとも１つの精神状態に関係するデータを含む少なくとも１つのセグメントを取り出し、かつ、前記少なくとも１つの精神状態に関係する前記データに基づいて、前記モニタリングデータに依存して、前記調整を実行するよう構成されている、システムが提供される。
【００３７】
実施例において、当該システムは、本発明の方法を実行するよう構成される。
【００３８】
他の実施例によれば、端末の環境に影響を与える方法であって、
前記端末にデータを提供するステップ、を有し、
前記端末は、前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するよう構成され、
前記端末は、前記環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう構成され、前記出力は、前記モニタリングデータに依存して調整され、かつ、
精神状態に関係するデータを含む少なくとも１つのセグメントを含むデータが、前記精神状態に関係するデータに少なくとも部分的に基づいて、前記モニタリングデータに依存して前記調整を実行するよう構成された端末に提供される、方法が提供される。
【００３９】
本方法は、コンテンツオーサリングシステム、例えば、ブロードキャスト又はマルチキャストでデータを提供するシステムに適している。あるいは、このようなデータストリームは、ＤＶＤ又はＣＤのようなデータキャリヤによって提供され得る。特に、オーディオビジュアルデータとのコンビネーションで提供され得る。
【００４０】
本方法の実施例において、前記少なくとも１つの精神状態に関連するデータは、前記モニタリングデータと前記出力との依存性が少なくとも部分的に抽出可能な情報を持つデータを含む。したがって、端末は、主としてデータをデコードするよう構成される。しかしながら、これは、各々の予測される精神状態と対応するユーザのその状態での生理的及び行動的症状との間の可能な依存性の各々に対して予めプログラムされていなくてもよい。
【００４１】
端末の環境に影響を与える方法の実施例において、少なくとも１つの精神状態に関係するデータは、モニタリングデータから得られる少なくとも１つの信号の値の許容範囲の境界値を表すデータを含む。
【００４２】
このデータは、この方法を実行する主体が、特定のモニタされた生理的、又は、行動的な変数を最大化又は最小化させる。したがって、データストリームを提供された端末は、キャリブレートされ、これによって、許容できる境界の中にユーザの精神状態の変化が止まるようにする出力を得るように、いかなる調整も担保される。
【００４３】
端末の環境に影響を与える本方法の実施例において、少なくとも１つの精神状態に関係するデータを含むセグメントは、端末において視覚的及び音響的な方法のうちの少なくとも１つは出力されるコンテンツデータと同時に提供される。したがって、この方法を実行する主体は、オーディオビジュアルコンテンツデータが出力される場所で没入効果を提供することができる。
【００４４】
端末の環境において影響を与える本方法の実施例において、調整されるべき前記知覚し得る出力の局面を表すデータを含むデータの少なくとも１つのセグメントが提供される。したがって、この方法を実行する主体は、端末の環境において人間の精神状態を変更するために用いられる様相にも影響を与えることができる。
【００４５】
変形例において、調整されるべき知覚し得る局面を表すデータを含むセグメント、及び少なくとも１つの精神状態に関係するデータを含むセグメントは、認識可能な個別の形態で提供される。これにより、端末は、２つのタイプのセグメントの１つのみを抽出することができる。特に、レガシー端末は、端末の環境における少なくとも一人のユーザの生理的及び行動的症状を表すデータのモニタリングを処理する能力がない。このため、調整すべき知覚し得る出力を表すデータのみを抽出することができ、共有することができる。
【００４６】
他の側面によれば、
端末の環境に影響を与えるシステムであって、前記端末に与えるためのデータを提供するよう構成されており、
前記端末は、前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するよう構成され、
前記端末は、前記環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう更に構成され、前記出力は、前記モニタリングデータに依存して調整され、
当該システムは、データを含む少なくとも１つのセグメントを含むデータを提供するよう構成され、前記データに基づいて、前記端末が前記モニタリングデータに依存して前記出力を調整し得る、
システムが提供される。
【００４７】
他の側面によれば、精神状態に関係するデータを含む少なくとも１つのセグメントを有する、データストリームを伝送する信号であって、前記データは、情報を含み、前記情報に基づいて、前記端末の環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう構成された端末は、前記端末の環境において少なくとも一人のユーザをモニタリングするためのシステムによって提供されたモニタリングデータに依存して前記出力を調整し得る、信号が提供される。
【００４８】
他の側面によれば、本発明の方法を、コンピュータに実行させるプログラムが提供される。
【実施例】
【００４９】
図１は、データを配信するためのアーキテクチャのブロック図を示している。以下において、データは、少なくともオーディオ、ビデオ、及びイメージデータの１つを含むとする。コンテンツデータは、時間的変化のある感情データとのコンビネーションで提供される。ある実施例において、感情データは、コンテンツデータと同期している。これによって、異なる精神状態が、適切な時刻にコンテンツデータにアクセスする人間に対して、異なる精神状態を生じさせることができる。感情データを提供するために、オーサリングシステム１が提供される。オーサリングシステム１は、端末２の環境に影響を与える例示的システムである。この端末２において、コンテンツデータが知覚し得る形で出力される。端末２は、セットトップボックス、パーソナルコンピュータ、ハンドヘルドコンピュータ、携帯電話、デジタルテレビ等としてインプリメントされる。１つの実施例において、オーサリングシステム１の出力は、データキャリヤ３（例えば光ディスク）で直接、端末３に提供される。他の実施例においては、サーバ５へのデータキャリヤ４又はネットワークリンクでこれが提供される。サーバ５は、端末２又は他の同様の端末にネットワーク６を介して、配信するブロードキャストネットワークヘッドエンドを含む。このネットワーク６は、セルラーネットワーク、長距離光ネットワーク、衛星又はケーブルテレビネットワークを含んでもよい。配信は、ブロードキャスト、マルチキャスト、又は直接送信（例えば、端末３へのダウンロード、オンデマンド）であってもよい。図示した実施例において、コンテンツデータは、デジタルテレビジョンフォーマット（例えば、ＤＶＢ又はＡＴＳＣ）で配信される。
【００５０】
端末２は、ネットワーク６を介する配信の場合、ネットワークインターフェース７、チューナ８，モジュレータ８及びデマルチプレクサ１０を介して感情データと共にコンテンツデータを受信する。図示した端末２は、データキャリヤ３のコンテンツを読み出すための読み出しユニット１１をも有する。
【００５１】
周知の方法によって、端末２は、ビデオコーデック１２、及びディスプレイ１４にデータコンテンツの選択されたストリームのビデオコンポーネントを出力（レンダリング）するためのディスプレイドライバ１３を含む。オーディオコーデック１３及びオーディオ出力ステージ１６は、ラウドスピーカ１７，１８に信号を提供する。端末２は、ソフトウエアを実行するためのプロセッサ１９及びメインメモリ２０の制御下において動作する。ソフトウエアには、感情データを解析し、デコーダをインプリメントするための命令が含まれる。そのモデルは図２に示されている。加えて、環境システム（ambient system）に含まれる端末２は、更に環境出力デバイス２１、２２及びそのためのドライバ２３を含む。環境出力デバイス２１、２２は、オーディオ以外の知覚し得る出力を出力するための出力デバイスの広範なクラスを代表している。例えばライティング、特に環境カラー、明度、角度を調節可能な直接光を提供できるもの、気温、湿度、環境クライメート（ambient climate）に影響を与えるためのデバイス、そして、ランブラなどの感覚フィードバックを提供するためのデバイスが含まれる。この環境出力デバイス２１、２２は、人間が身につけてもよい。例えば、手首のバンド、グローブ、又はヘッドセットなどである。
【００５２】
端末２は、デバイス２５、２６をモニタリングするためのインターフェース２４を含み、これらは端末２がモニタリングデータを取得することを可能とする。モニタリングデータには、端末２のそれぞれのユーザが呈している少なくとも生理的及び行動的症状のうちの少なくとも１つが含まれる。代替的に又は追加的に、モニタリングデータは、複数のユーザを集合的に特徴付けてもよい。モニタリングデータは、生理的及び行動的症状のうちの少なくとも１つを特徴付けるデータを含む。前者の例としては、血圧、肌の温度、肌の伝導率、心拍数、呼吸数、及びこれらの組合せの変化が挙げられる。後者の例としては、例えばデジタルカメラで撮った画像の解析によって得られたユーザの一般的な動作の特徴が挙げられる。例えば、顔の表情、動きの周波数、凝視の方向、及びこれに類する特徴が評価され得る。
【００５３】
データのモニタリングによって、端末２は、端末２の環境におけるユーザ(又は複数のユーザ)の精神状態の閉ループ制御の形成をインプリメントする。したがって、オーサリングシステム１の遠隔で生成された感情データに従って、ユーザの精神状態は、目的の精神状態を達成するために影響を受ける。
【００５４】
図２は、感情データを伝送するためのデータストリームの例示として、国際標準ISO/IEC 13818-1 (MPEG-2 Systems)に従ったデータストリーム２７を示している。データストリーム２７は、トランスポートストリームパケット２８ａ−ｄを含む。それぞれは、固定データ長の、ヘッダ２９ａ−ｄ、及びペイロード３０ａ−ｄを含む。トランスポートストリームパケット２８ａ−ｄは、プログラムエレメンタリシステム（ＰＥＳ）パケット３１ａ−ｃを伝送する。それぞれは、同様にヘッダ３２ａ−ｃ及びペイロード３３ａ−ｃを含む。
【００５５】
感情データが、オーディオ、ビデオ、又はオーディオビジュアルコンテンツデータと同時に提供される場合、感情データは、プログラムの一部である。プログラムは、複数のエレメンタリストリームを含む。各々のエレメンタリストリームは、ＰＥＳパケット３１ａ−ｃを含む。これらは、ＰＥＳパケットヘッダ３２ａの中のストリームアイデンティファイア３４によって別個に識別可能である。このＰＥＳパケットヘッダ３２ａは、更なるフィールドを含む。これらは、フィールド３５を除きここで説明しない。フィールド３５は、データストリーム２７によって伝送されるクロック基準との相対的なデコード及びプレゼンテーションタイムのうちの少なくとも１つを特定するためのタイムスタンプを含む。したがって、データストリーム２７によって伝送されるプログラムコンテンツの同期した出力が達成される。
【００５６】
いかなるＴＳパケット２８も、ただ１つのエレメンタリストリームを伝送するため、ＴＳパケットヘッダ２９の別個のパケットアイデンティファイア（ＰＩＤ）も、プログラムを構成する様々なエレメンタリストリームを含む。エレメンタリストリームを同期させるためのタイムスタンプは、事実、ＴＳパケットヘッダ２９ａ−ｄに含まれている。これは、いずれにしても、クロック基準を伝送している。
【００５７】
世界標準ISO/IEC 13818-1により詳しく記載されているように、ＴＳパケット２８ａ−ｄで作られているいかなるデータストリーム２７も、固定されたアイデンティファイアを伴うパケットを含んでいる。アイデンティファイアは、プログラムアソシエーションテーブル（ＰＡＴ）を伝送する（図示せず）。このテーブルは、データストリーム２７において利用できるプログラムを特定し、そしてプログラムマップテーブル（ＰＭＴ）を持つパケットをポイントする。このようなＰＭＴテーブルが各々のプログラムに１つずつ存在する。ＰＭＴは、異なるエレメンタリストリームを持つパケット、及び、それらのタイプを特定する。実施例に応じて、ＰＭＴは、ＴＳパケット２８ａ−ｄのＰＩＤ又はＰＥＳパケット３１ａ−ｃのエレメンタリストリームアイデンティファイアを含む。
【００５８】
本明細書において用いられる実施例では、感情データは、少なくとも１つの個別のエレメンタリストリームによって伝送され、それぞれは、自身のそれぞれのアイデンティファイア値を持ち、それが所属するプログラムのＰＭＴに記述されている。感情データが、オーディオ及びビデオデータと同時に提供される場合、ＰＭＴは、オーディオデータを伝送する単一又は複数のストリーム、ビデオデータを伝送する単一又は複数のストリーム、及び感情データを伝送する単一の又は複数のストリームを特定する。感情データを伝送する単一の又は複数のストリームは、「プライベート」であり、レガシー端末は、これらのストリームを無視してもよい。したがって、図１の端末２において、デマルチプレクサ１０が感情データを抽出するように設定されていても、レガシー端末は、これらを無視するであろう。そして、オーディオ及びビデオデータを持つものを抽出するであろう。図３は、端末２の第１の実施例のためのデコーダを示しており、データストリーム２７に存在する感情データをデコードし、少なくとも環境出力デバイス２１、２２の出力を調整するために用いる。デコーダは、機能のコンポーネントの観点から示されている。これは、ハードウエアとソフトウエアのいかなる組合せでもインプリメントし得る。このデコーダへの入力は、図２のデータストリームを含む。パケットフィルタ３６は、特定のＰＩＤ値を含むパケットヘッダ２９ａ−ｄを有するＴＳパケット２８ａ−ｄのみを取り出す。パケットフィルタ３６は、ＰＩＤ値を見つけるか、事前に分析されているＰＭＴから知っている。そして、どのリストが、どれが、上述したようにプログラムを形成しているエレメンタリストリームのＰＩＤ値及び関連する記述をリストしているかを知っている。パケットフィルタ３６は、通常、デマルチプレクサ１０（図１）の中に含まれる。
【００５９】
図２のデコーダモデルに適している方法の実施例において、感情データには、二つのタイプのデータオブジェクトが含まれる。すなわち、感覚シーン記述オブジェクト（sensory scene description objects）、及び感情構造オブジェクト（emotion composition objects）である。以下において、「オブジェクト」及び「セグメント」の語は、交換可能に区別なく使用する。
【００６０】
感情構造オブジェクトは、少なくとも１つの精神状態に関係するデータを含む。この情報は、端末に対して、端末の環境におけるその人において達成されるべき目標の精神状態を伝達する。
【００６１】
感覚シーン記述オブジェクトは、環境出力デバイス２１、２２、オプションとして、ディスプレイ１４、及びラウドスピーカ１７、１８の知覚し得る出力の局面を表すデータを含む。これらは、ユーザの精神状態に影響を与えるために調整される。すなわち、感覚シーン記述オブジェクトは、感覚フィードバックデバイスの出力、ライティングユニットの色温度、音響システムの音響レベル等を制御することによって、特定の精神状態が達成されるべきかを特定する。精神状態を達成するために、達成されるべき実際の精神状態、及び選択された出力デバイスに対してなされる調整は、感情構造オブジェクトに特定される。開示された実施例において、感情構造オブジェクト及び感覚シーン記述オブジェクトは、シングルエレメンタリストリーム内で、異なるオブジェクトとして特定される。代替えの実施例において、感情構造オブジェクト及び感覚シーン記述オブジェクトは、異なるセグメント内に含まれる。それぞれは、異なるそれぞれのＰＩＤ値によって特定し得る異なるそれぞれのエレメンタリストリームに含まれる。したがって、レガシーデコーダは、感情構造オブジェクトを無視し得る。そして、単に感覚シーン記述オブジェクトを用いて、環境出力デバイス２１、２２の出力を調整する。このケースの場合、感覚シーン記述オブジェクトは、これらによって特定された様々なタイプの出力のレベルをも含む。例えば、ファン、又は、感覚フィードバックデバイスの出力の強さ、環境ライティングデバイスによって提供される光の色及び強度等が挙げられる。なお、このようなレガシーデコーダは、環境システムの出力を調整する場合、モニタリングデバイス２５、２６から得られたモニタリングデータを考慮しない。
【００６２】
デコーダモデルに戻ると、パケットフィルタ３６によって抽出されたＴＳパケット２６ａ−ｄは、転送バッファ３７に置かれる。ここにおいて、パケットヘッダ２９ａ−ｄ、３２ａ−ｃは、取り出される。デコーディングタイムスタンプ及びプレゼンテーションタイムスタンプは、取り出され、感情ストリームセグメント（感覚シーン記述セグメント、及び感情構造セグメント）に関連付けられる。セグメントは、コード化されたデータバッファ３８に置かれる。
【００６３】
感情ストリームプロセッサ３９は、感情ストリームの様々なセグメントをデコードし、かつ分析する。感情構造セグメントは、感情コマンドバッファ４０に置かれ、そして、感覚シーン記述セグメントは、デコードされた感覚シーン記述オブジェクトバッファ４１に置かれる。
【００６４】
上述のように、感覚シーン記述セグメントは、端末２の環境をどのように変更するかを記述しているデータを含んでいる。例えば、どのようにライティングコンディション、空気の流れ、音、臭い、温度を変更するか、又は感覚、音響、視覚フィードバックを与えるか否かが挙げられる。このデータは、通常マークアップ言語によってエンコードされる。適切なデータフォーマットの例は、MPEG-V、MPEG-RoSE、又はAmbi-Xに記載されている。
【００６５】
感情構造セグメントは、３つのタイプのいずれのデータも含まれる。すなわち、目標精神状態、感情ウインドウ定義データ、及びインターラクティブ感情構造データである。このデータは一般にマークアップ言語によって書かれる。これらの３つのタイプの感情構造セグメントの機能性を提供するために拡張された、Ｗ３Ｃ感情マークアップ言語又はＭＰＥＧ−Ｖフォーマットで記述されたデータが含まれてもよい。
【００６６】
感情ウインドウ定義データは、ユーザの感情状態の境界を記述する。これは、キャリブレーションステップとして用いられる。これによって、ユーザは、予期しない極端な感覚の経験に直面させられることはない。したがって、このデータは、インターフェース２４を介して受信されたモニタリングデータから取得可能な信号の値の許容される範囲の少なくとも１つの境界値を表すデータを含む。端末２は、環境出力デバイス２１、２２の出力を調整する。これによって、モニタリングデータから取得可能な信号の値を、値の許容される範囲内に維持できる。１つの実施例において、許容範囲にあるモニタリングデータは、生理的及び行動的現象（血圧、心拍数、例えば落ち着きのなさなどの計測値等）を特徴付ける変数の値に対応する信号である。他の実施例において、この信号は、ユーザの感情の状態（興奮の度合い、感動性の度合い、警戒の度合い等）に対応する値又は変数の値を取得するために、ユーザのモデルにこのような信号を適用することによって取得された信号である。このインターラクティブな、感情の組合せのセグメント（interactive emotion composition segments）は、測定されたユーザ又はユーザの集合の感情の状態の変化にどのように反応するかを定義する。
【００６７】
例えば、ユーザが緊張を感じている場合、環境ライティングは、色を変更するべきであると定義してもよい。たしかに、ユーザの緊張を特徴付ける変数の変化に対応して色に変更に関連する関数を定義してもよい。したがって、端末２は、少なくともモニタリングデータのサブセットと、環境出力デバイス２１、２２によって提供するべき出力との依存関係を抽出することができる。
【００６８】
図３のデコーダモデルに話を戻すと、モニタリングデバイス２５、２６からの信号は、モニタリングプロセッサ４２により処理され、信号は、感覚シーン構造コントローラ４３に送られる。感覚シーン構造コントローラ４３は、モニタリング信号プロセッサ４２からリアルタイムに得られる信号にどのように応答するかに関する感覚シーン構造セグメントの命令を用いる。この感覚シーン構造コントローラ４３は、感情構造セグメントの命令及びモニタリングデータに基づいて、デコードされた感覚シーン記述オブジェクトバッファ４１に存在するデコードされた感覚シーン記述オブジェクトを変更する。このステージにおいて、感情ウインドウ定義データの命令が守られる（observed）ことが担保される。
【００６９】
このようにして調整された感覚シーン記述オブジェクトは、感覚シーン記述バッファ４５に移される。このプロセスにおいて、感覚デバイス能力マスク４４が適用される。このマスクは、少なくとも端末２又は端末２により制御される出力デバイス１２−１８、２１、２２のいずれか又は両方の能力を表すデータを有する。このマスク４４の適用は、デコーディングプロセスの最後のステージで実行される。したがって、感覚シーン記述バッファ４５の感覚シーン記述は、出力デバイス１２−１８、２１、２２をドライブするために必要なコマンドを含み、利用できる感覚出力プラットフォームの能力に常に整合している。図４は、端末２の環境に適応するシステムの別のモデルを示しており、同様に端末２にインプリメントすることが意図されている。この実施例において、端末２は、目標感情状態及びオプションとしてこの目標感情状態が達成されるときの仕方（manner）を少なくとも含む少なくとも１つの感情状態に関係するデータを受信する。例えば、どの出力を調整するかを記述している感覚シーン記述オブジェクト、及び、どのように精神状態がモニタリングデータに依存するかを記述する関数の形式でユーザのモデルを提供する感情シーン構造オブジェクト、の形式が挙げられる。
【００７０】
このシステムは、コントローラ４６を含む。この詳細は後述する。これは、端末２の環境において知覚し得る出力を提供するための動作システム４７を有する。動作システム４７は、実施例に応じて、環境出力デバイス２１、２２内、プロセッサ１９内、ビデオコーデック１２、ディスプレイドライバ１２，及びディスプレイ１４，及び、プロセッサ１９内，オーディオコーデック１５，オーディオアウトプットステージ１６，及びラウドスピーカ１７、１８、又はこれらのデバイスのサブセット内に統合される。これらは、人体 ４８が反応する刺激を提供する。特に、五感（視覚、嗅覚、聴覚、触覚、及び味覚）の１つ以上の刺激を提供する。測定システム４９は、モニタリングデータを、人体４８のモデルを表すクラシファイヤ／インタープリタ５０に提供する。このクラシファイヤ／インタープリタ５０は、出力としての精神状態を表すデータを提供する。これは、Ｎ次元空間内（Ｎ≧１）の値の集合の形式をとる。したがって、これは、同じフォーマットを有する目標精神状態から差し引かれる。差の信号が、コントローラ４３に入力される。次元Ｎの数字は、１から１５の値を取り得る。典型的には、１から３である。一般的には、二次元である。例えば、人間の感情状態のモデルの広く利用されているモデルの１つとしての、誘発性（valence）及び覚醒（arousal）次元が挙げられる。より複雑な感情モデルが用いられる場合、高い値に利用価値がある。例えば、評価ベースの感情表現（appraisal-based emotion descriptions）が挙げられる。
【００７１】
ある実施例において、ディスプレイ１４のイメージを表示するために、端末２が用いられる。この実施例において、コントローラ４６は、別個のコントローラである。類似の実施例において、端末２はシーンを選択し、幾つかの代替のプログラムのバリエーション内でスイッチングする。例えば、ビデオデータを伝送する幾つかの基本のストリームが存在する。この場合に、この基本のストリームの各々は、１つのストーリの異なる変形例を含み、異なる詳細及び／又は設定を含む。変形例では、そのストーリは１つのストーリラインに正しく進みそして接続する。この場合、異なるダイアローグを含む幾つかのオーディオストリームも提供される。あるいは、１つのビデオストリームが存在し、異なるオーディオストリームが存在しうる。例えば、エラー信号に従って、適切なストリームを選択する機能を持つコントローラ４６により、異なるスタイルのバックグランドミュージックが挙げられる。
【００７２】
他の実施例において、ディスプレイ１４において、オーバレイが提供される。このオーバレイは、他のコンテンツの表示のために利用できる領域の部分のみをカバーする。より具体的には、感情アイコン（emoticon）が、表示のために選択される。この実施例において、コントローラ４６は、通常バンバンコントローラ（bang-bang controller）の形態でインプリメントされる。万万コントローラは、ヒステリシスを持って、状態間をスイッチするコントローラである。
【００７３】
他の実施例において、コントローラ４６は、継続的コントローラである。たとえば、ＩＰＤ、ＩＤ、Ｐ、Ｄ、又はＩコントローラである。これらは、プリセレクトされたコンテンツを出力し、又は、端末２の環境を一般的に調整するために用いられる出力デバイスの設定を支配する。端末２に、データストリーム２７に埋め込まれた目標精神状態が提供されていると仮定する。端末２は、次第に、このオーディオビジュアルコンテンツデータの再生の経験の没入状態（immersiveness）を調整する。これは、オーディオボリューム、オーディオの広がり、カラーの飽和、環境ライティングデバイスのカラー出力の設定を選択的に、オンオフ又はアップダウンすることによって行われる。したがって、リモートオーサリングシステム１を用いて生成され、ネットワーク６を介して、あるいはデータキャリヤ３による、データストリームの中で端末２に伝達された命令に従って、図４に示したシステムも、端末２のユーザの精神状態に影響を与えることができる。上述の実施例は、例示のためのものであり、限定を目的とするものではなく、そして、当業者は、添付の請求項の技術的範囲を超えることなく、多くの代替の実施例をデザインすることができることに留意すべきである。請求項において、括弧書きのいかなる参照番号も、請求項を限定するものと解釈されてはならない。「有する」の語は、請求項に列記した以外の要素又はステップの存在を排除しない。要素の前の「ａ」及び「ａｎ」の用語は、この要素の複数を排除するものではない。特定の複数の手段が単に互いに異なる請求項に記載されているという事実は、これらの手段のコンビネーションが有利に実行できないことを意味するものではない。
【００７４】
感情シーン構造セグメント（emotion scene composition segments）及び感覚シーン記述セグメント（sensory scene description segments）は、データキャリヤ３にオブジェクトとして格納することができる。このデータのフォーマットは、データ格納システム（ＤＶＤ、Ｂｌｕ−Ｒａｙ）及びＭＰＥＧ関連のシステムにおけるサブタイトル又はグラフィックスを提供するために現在用いられているデータのフォーマットと互換性がある。確かに、他の実施例において、感情データは、グラフィックスストリームとしてあるいはサブタイトルストリームとしてインプリメントすることができ、そして、従来の端末２のファームウエアアップデートを適用することによって、デコードすることができる。あるいは、感覚シーン記述オブジェクトは、イメージデータとして記述することができる。そして、感情構造オブジェクトは、イメージデータのアノーテーションを提供する構造オブジェクト（composition object）の形態でありうる。カラールックアップテーブルは、環境出力デバイス２１、２２を制御するために、カラーをコマンドに変換するときに適用することができる。
【特許請求の範囲】
【請求項１】
端末の環境を適応させる方法であって、
前記端末において、外部ソースからデータを受信するステップと；
前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するステップと；
前記環境において知覚できる出力を提供する少なくとも１つの出力デバイスを制御するステップであって、前記出力は、前記モニタリングデータに依存して調整される、ステップと；
を有し、
前記外部ソースからの前記データから、少なくとも１つの精神状態に関係するデータを含む少なくとも１つのセグメントが、取り出され、かつ、前記少なくとも１つの精神状態に関係がある前記データに少なくとも部分的に基づいて、前記モニタリングデータに依存する前記調整が、実行される、方法。
【請求項２】
前記少なくとも１つの精神状態に関係するデータは、前記モニタリングデータと前記出力との間の依存性が少なくとも部分的に導き出せる情報を持つデータを含む、請求項１記載の方法。
【請求項３】
前記少なくとも１つの精神状態に関係するデータは、前記モニタリングデータから得られる少なくとも１つの信号の値の許容範囲の境界値を表すデータを含み、前記出力の調整は、前記モニタリングデータから得られる信号の値を前記値の許容範囲の中に保つことによってなされる、請求項１記載の方法。
【請求項４】
少なくとも１つの精神状態に関係するデータを含むセグメントは、視覚的及び音響的な方法の少なくとも１つの形式で出力するためのコンテンツデータと同時に端末に受信され、前記環境によって知覚され得る前記出力の前記調整は、前記コンテンツデータの端末での出力と同期される、請求項１記載の方法。
【請求項５】
調整されるべき前記知覚し得る出力の局面を表すデータを含む前記外部ソースから前記データの少なくとも１つのセグメントを受信するステップと、
前記モニタリングデータに依存した前記少なくとも１つの精神状態に関係するデータに基づき、調整されるべき前記知覚し得る出力の局面を表す前記データを修正するステップと、
を有する請求項１記載の方法。
【請求項６】
前記調整されるべき前記知覚し得る出力の局面を表すデータは、前記端末、及び前記端末によって制御可能な出力デバイスのうちの少なくとも１つの能力を表すデータに基づいて、更に修正される、請求項５記載の方法。
【請求項７】
前記調整されるべき知覚し得る出力の局面を表す前記データを含むセグメント、及び、少なくとも１つの精神状態に関係する前記データを含むセグメントの両者を含む記外部ソースからデータを受信するステップと、
それぞれの前記セグメントを互いに分離するステップと、
を有する請求項５記載の方法。
【請求項８】
前記外部ソースからの前記データは、データストリームを含み、かつ、
前記分離は、別個に識別可能な、
前記調整されるべき知覚し得る出力の局面を表すデータを含むデータパケットと、
少なくとも１つの精神状態に関係する前記データを含むデータパケットと、
を分離して取り出すための、前記データストリームのデマルチプレクシングにより行われる、
請求項７記載の方法。
【請求項９】
端末の環境を適応させるシステムであって、
前記端末において、外部ソースからデータを受信するインターフェースと；
前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するインターフェースと；
前記環境において知覚できる出力を提供する少なくとも１つの出力デバイスを制御するためのデバイスと、
を有し、
当該システムは、前記モニタリングデータに依存して、調整されるべき出力をもたらすよう構成されており、
当該システムは、前記外部ソースからの前記データから、少なくとも１つの精神状態に関係するデータを含む少なくとも１つのセグメントを取り出し、かつ、前記少なくとも１つの精神状態に関係する前記データに基づいて、前記モニタリングデータに依存して、前記調整を実行するよう構成されている、システム。
【請求項１０】
請求項１ないし８のうちいずれか１項記載の方法を実行するよう構成された、請求項９記載のシステム。
【請求項１１】
端末の環境に影響を与える方法であって、
前記端末にデータを提供するステップ、を有し、
前記端末は、前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するよう構成され、
前記端末は、前記環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう構成され、前記出力は、前記モニタリングデータに依存して調整され、かつ、
精神状態に関係するデータを含む少なくとも１つのセグメントを含むデータが、前記精神状態に関係するデータに少なくとも部分的に基づいて、前記モニタリングデータに依存して前記調整を実行するよう構成された端末に提供される、方法。
【請求項１２】
前記少なくとも１つの精神状態に関連するデータは、前記モニタリングデータと前記出力との依存性が少なくとも部分的に抽出可能な情報を持つデータを含む、請求項１１記載の方法。
【請求項１３】
端末の環境に影響を与えるシステムであって、前記端末に与えるためのデータを提供するよう構成されており、
前記端末は、前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するよう構成され、
前記端末は、前記環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう更に構成され、前記出力は、前記モニタリングデータに依存して調整され、
当該システムは、データを含む少なくとも１つのセグメントを含むデータを提供するよう構成され、前記データに基づいて、前記端末が前記モニタリングデータに依存して前記出力を調整し得る、
システム。
【請求項１４】
精神状態に関係するデータを含む少なくとも１つのセグメントを有する、データストリームを伝送する信号であって、前記データは、情報を含み、前記情報に基づいて、前記端末の環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう構成された端末は、前記端末の環境において少なくとも一人のユーザをモニタリングするためのシステムによって提供されたモニタリングデータに依存して前記出力を調整し得る、信号。
【請求項１５】
請求項１ないし８、１１又は１２のうちいずれか１項記載の方法を、コンピュータに実行させるプログラム。
【請求項１】
端末の環境を適応させる方法であって、
前記端末において、外部ソースからデータを受信するステップと；
前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するステップと；
前記環境において知覚できる出力を提供する少なくとも１つの出力デバイスを制御するステップであって、前記出力は、前記モニタリングデータに依存して調整される、ステップと；
を有し、
前記外部ソースからの前記データから、少なくとも１つの精神状態に関係するデータを含む少なくとも１つのセグメントが、取り出され、かつ、前記少なくとも１つの精神状態に関係がある前記データに少なくとも部分的に基づいて、前記モニタリングデータに依存する前記調整が、実行される、方法。
【請求項２】
前記少なくとも１つの精神状態に関係するデータは、前記モニタリングデータと前記出力との間の依存性が少なくとも部分的に導き出せる情報を持つデータを含む、請求項１記載の方法。
【請求項３】
前記少なくとも１つの精神状態に関係するデータは、前記モニタリングデータから得られる少なくとも１つの信号の値の許容範囲の境界値を表すデータを含み、前記出力の調整は、前記モニタリングデータから得られる信号の値を前記値の許容範囲の中に保つことによってなされる、請求項１記載の方法。
【請求項４】
少なくとも１つの精神状態に関係するデータを含むセグメントは、視覚的及び音響的な方法の少なくとも１つの形式で出力するためのコンテンツデータと同時に端末に受信され、前記環境によって知覚され得る前記出力の前記調整は、前記コンテンツデータの端末での出力と同期される、請求項１記載の方法。
【請求項５】
調整されるべき前記知覚し得る出力の局面を表すデータを含む前記外部ソースから前記データの少なくとも１つのセグメントを受信するステップと、
前記モニタリングデータに依存した前記少なくとも１つの精神状態に関係するデータに基づき、調整されるべき前記知覚し得る出力の局面を表す前記データを修正するステップと、
を有する請求項１記載の方法。
【請求項６】
前記調整されるべき前記知覚し得る出力の局面を表すデータは、前記端末、及び前記端末によって制御可能な出力デバイスのうちの少なくとも１つの能力を表すデータに基づいて、更に修正される、請求項５記載の方法。
【請求項７】
前記調整されるべき知覚し得る出力の局面を表す前記データを含むセグメント、及び、少なくとも１つの精神状態に関係する前記データを含むセグメントの両者を含む記外部ソースからデータを受信するステップと、
それぞれの前記セグメントを互いに分離するステップと、
を有する請求項５記載の方法。
【請求項８】
前記外部ソースからの前記データは、データストリームを含み、かつ、
前記分離は、別個に識別可能な、
前記調整されるべき知覚し得る出力の局面を表すデータを含むデータパケットと、
少なくとも１つの精神状態に関係する前記データを含むデータパケットと、
を分離して取り出すための、前記データストリームのデマルチプレクシングにより行われる、
請求項７記載の方法。
【請求項９】
端末の環境を適応させるシステムであって、
前記端末において、外部ソースからデータを受信するインターフェースと；
前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するインターフェースと；
前記環境において知覚できる出力を提供する少なくとも１つの出力デバイスを制御するためのデバイスと、
を有し、
当該システムは、前記モニタリングデータに依存して、調整されるべき出力をもたらすよう構成されており、
当該システムは、前記外部ソースからの前記データから、少なくとも１つの精神状態に関係するデータを含む少なくとも１つのセグメントを取り出し、かつ、前記少なくとも１つの精神状態に関係する前記データに基づいて、前記モニタリングデータに依存して、前記調整を実行するよう構成されている、システム。
【請求項１０】
請求項１ないし８のうちいずれか１項記載の方法を実行するよう構成された、請求項９記載のシステム。
【請求項１１】
端末の環境に影響を与える方法であって、
前記端末にデータを提供するステップ、を有し、
前記端末は、前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するよう構成され、
前記端末は、前記環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう構成され、前記出力は、前記モニタリングデータに依存して調整され、かつ、
精神状態に関係するデータを含む少なくとも１つのセグメントを含むデータが、前記精神状態に関係するデータに少なくとも部分的に基づいて、前記モニタリングデータに依存して前記調整を実行するよう構成された端末に提供される、方法。
【請求項１２】
前記少なくとも１つの精神状態に関連するデータは、前記モニタリングデータと前記出力との依存性が少なくとも部分的に抽出可能な情報を持つデータを含む、請求項１１記載の方法。
【請求項１３】
端末の環境に影響を与えるシステムであって、前記端末に与えるためのデータを提供するよう構成されており、
前記端末は、前記環境における少なくとも一人のユーザをモニタリングするためのシステムからモニタリングデータを受信するよう構成され、
前記端末は、前記環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう更に構成され、前記出力は、前記モニタリングデータに依存して調整され、
当該システムは、データを含む少なくとも１つのセグメントを含むデータを提供するよう構成され、前記データに基づいて、前記端末が前記モニタリングデータに依存して前記出力を調整し得る、
システム。
【請求項１４】
精神状態に関係するデータを含む少なくとも１つのセグメントを有する、データストリームを伝送する信号であって、前記データは、情報を含み、前記情報に基づいて、前記端末の環境において知覚し得る出力を提供するための少なくとも１つの出力デバイスを制御するよう構成された端末は、前記端末の環境において少なくとも一人のユーザをモニタリングするためのシステムによって提供されたモニタリングデータに依存して前記出力を調整し得る、信号。
【請求項１５】
請求項１ないし８、１１又は１２のうちいずれか１項記載の方法を、コンピュータに実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２０１２−５２４４４２（Ｐ２０１２−５２４４４２Ａ）
【公表日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１２−５０５２６４（Ｐ２０１２−５０５２６４）
【出願日】平成２２年４月８日（２０１０．４．８）
【国際出願番号】ＰＣＴ／ＩＢ２０１０／０５１５２０
【国際公開番号】ＷＯ２０１０／１１９３７６
【国際公開日】平成２２年１０月２１日（２０１０．１０．２１）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２２年４月８日（２０１０．４．８）
【国際出願番号】ＰＣＴ／ＩＢ２０１０／０５１５２０
【国際公開番号】ＷＯ２０１０／１１９３７６
【国際公開日】平成２２年１０月２１日（２０１０．１０．２１）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]