媒体トランスポートストリームにおける触覚効果データの同期化
【課題】触覚効果を、音声媒体及び／又はビデオ媒体のような他の媒体と同期させ、媒体トランスポートストリーム内の任意の点にアクセスする。
【解決手段】媒体ファイルの一連のフレーム内の触覚情報が識別され、対応するタイムスタンプが、媒体ファイルに先行する又は媒体ファイルに付加されるタグに埋め込まれた情報に応じて決定される。触覚効果情報は、タグの１又は複数のフレーム内の情報に基づいて、媒体ファイルと自動的に同期が取られる。このことによって、アクチュエータは、媒体ファイルの対応する音声コンテンツ及び／又はビデオコンテンツと同期化したうえで、タグ内に定義された触覚効果を出力する。
【解決手段】媒体ファイルの一連のフレーム内の触覚情報が識別され、対応するタイムスタンプが、媒体ファイルに先行する又は媒体ファイルに付加されるタグに埋め込まれた情報に応じて決定される。触覚効果情報は、タグの１又は複数のフレーム内の情報に基づいて、媒体ファイルと自動的に同期が取られる。このことによって、アクチュエータは、媒体ファイルの対応する音声コンテンツ及び／又はビデオコンテンツと同期化したうえで、タグ内に定義された触覚効果を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
ここに記述される主題は、媒体ファイル内で、触覚効果を音声コンテンツデータ及び／又はビデオコンテンツデータと同期させることに関する。
【背景技術】
【０００２】
ユーザとマシンとの間のインタフェースを改良するため、音声媒体及び／又はビデオ媒体とのインタフェースに触覚効果を組み込むことが近年徐々に普及しつつある。振動のような触覚効果は、ユーザが感知できるものであり、例えば、機器上のキーを押下する若しくは着信音を鳴動させて携帯電話等に通話又は文書メッセージが着信したことを知らせるというような、イベントトリガに関連していてもよい。一般的に、媒体再生は振動を伴って実施され得る。しかしながら、時系列の媒体信号とともに触覚信号を再生するとき、触覚効果を実施する従来の方法はいくつかの問題を有する。
【０００３】
このような問題の一例として、触覚信号と、ビデオ信号及び／又は音声信号のような他の信号との間で、再生タイミングの同期を取る必要性がある。例えば、音声エンジン、ビデオエンジン及び触覚エンジンは、別々のクロック上で作動する。触覚信号、ビデオ信号及び音声信号を再生する間に、これらの同期を取る組み込み式の機構は通常存在しない。例えば、再生開始時、触覚信号及び媒体信号は、互いに数ミリ秒だけずれて開始した後、適切に同期が取られるが、通常これらの信号は、極めて短い期間は同期が取られないままずれてしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような問題の他の例は、媒体信号及び触覚信号を両方とも有する媒体トランスポートストリーム内の任意の点に無作為にアクセスすることは困難であり得るということである。換言すれば、ユーザが、媒体トランスポートストリームのある無作為の点より前で発生するデータにアクセスすることなく当該無作為の点で媒体トランスポートストリームの一部の再生を開始するとき、触覚信号を媒体信号と同期させることは困難である。
【０００５】
必要とされているのは、このように、触覚効果を他の媒体（例えば、音声媒体及び／又はビデオ媒体）と同期させ、触覚情報及び媒体情報の両方を含む媒体トランスポートストリーム内の任意の点において又は任意の点から触覚効果を動作することが可能な解決方法である。
【課題を解決するための手段】
【０００６】
媒体ファイル内の又は媒体ファイルに添付されている先行タグに埋め込まれている情報に応じて、媒体ファイルの一連のフレーム内の触覚情報が識別され、フレームに対応するタイムスタンプが決定される。触覚効果情報は、タグの１又は複数のフレーム内の情報に基づいて、媒体ファイルと同期が取られる。そのことによって、アクチュエータは、媒体ファイルの対応する音声コンテンツ及び／又はビデオコンテンツと同期を取りながら、タグ内に定義された触覚効果を出力する。
【発明の効果】
【０００７】
後記する詳細な説明、図、及び特許請求の範囲から、追加的な特徴及び効果が明らかになる。
【図面の簡単な説明】
【０００８】
添付する図面は、本明細書に組み込まれかつ本明細書の一部を構成し、１又は複数の実施形態を例示する。そして、添付する図面は、発明の詳細な説明とともに、実施形態の原理及び実現方法を説明するのに資する。
【図１】ある実施形態に係る、触覚情報を含む媒体トランスポートストリームを符号化し、送信し、復号するシステムを示すブロック図である。
【図２】ある実施形態に係る、媒体トランスポートストリームから媒体成分及び触覚成分を識別するシステムを示すブロック図である。
【図３】ある実施形態に係る、触覚成分を他の媒体成分と同期させる装置を示すブロック図である。
【図４】ある実施形態に係る、ビデオ信号、音声信号及び触覚信号を、同期を取って再生する方法を示すタイミング図である。
【図５】ある実施形態に係る、連続フレーム内で解析される触覚信号を示す図である。
【図６】ある実施形態に係る、触覚情報を格納する触覚フレームを示すブロック図である。
【図７】ある実施形態に係る、触覚効果を起こす波形を示す図である。
【図８】ある実施形態に係る、触覚効果を媒体成分と同期させる処理を示すフローチャートである。
【図９】ある実施形態に係る、システムとともに使用されるファイルのタグスキームを示す図である。
【図１０】ある実施形態に係る、システムのブロック図を示す図である。
【発明を実施するための形態】
【０００９】
触覚情報を含む媒体トランスポートストリームを通信する方法、システム及び装置が、実施形態としてここに記述される。当業者であれば、後記される記述は単に例示的なものであって発明を限定することを意図していないことがわかるであろう。この開示の効果を享受する当業者には、他の実施形態もおのずから容易に示唆されるであろう。添付される図に示されるような実施形態の実施例が以降詳細に説明される。すべての図及び記述に亘って、同一事項を示す場合は、同一の参照番号が使用される。
【００１０】
明確さのため、ここに記述される実施例の慣例的な特徴のすべてを示し、記述することはしない。実施例を開発して行く過程で、開発者独自の目的を達成するためには、アプリケーション関係及びビジネス関係の制約と整合性を取る、というような、実施例独自の多くの決定がなされなければならないことは当然である。また、これらの独自の目的が実施例ごとに、かつ、開発者ごとに変化していくことも当然である。さらに、このような開発努力は、複雑であって時間を必要とするが、この開示の利益を享受する当業者にとっては、負担するべき日常業務であることもまた当然である。
【００１１】
本開示で記述される構成要素、処理ステップ及び／又はデータ構造は、様々なタイプのオペレーティングシステム、コンピューティングプラットフォーム、コンピュータプログラム及び／又は汎用機器を使用して実施されてもよい。さらに、ここに開示される本発明の主旨を逸脱することなくハードウエア機器、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、アプリケーション特化型集積回路（ＡＳＩＣｓ）等のような専用機器が使用されてもよいことが、当業者にはわかるであろう。“ある実施形態”と言う語は、単純に１つの実施形態を限定する意味ではなく、複数の実施形態を包含する意味で使用される。一連の処理ステップを有する方法は、コンピュータ又は機器によって実施され、これらの処理ステップは、機器によって読取可能な一連の指示として格納され得る。これらの処理は、コンピュータメモリ機器（例えば、ＲＯＭ（読出専用メモリ）、ＰＲＯＭ（プログラム可能読出専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラム可能読出専用メモリ）、フラッシュメモリ、ジャンプドライブ）、磁気記録媒体（例えば、テープ、磁気ディスクドライブ等）、光学記録媒体（例えば、紙カード、穿孔テープ等）及び他のタイプのプログラムメモリのような有形媒体上に格納されてもよい。
【００１２】
ある実施形態においては、システムは、触覚効果トラックを、マルチトラック媒体トランスポートストリームに含まれる他の媒体トラックと同期させ、同期化されたマルチメディア効果を生成することを目的とする。ある実施形態においては、システムは、媒体ファイルのヘッダ内で同期化されたデータを使用し、触覚効果がファイル内の媒体コンテンツと同期を取ることを確実ならしめる。これらの実施形態は、明確さを確保するために、以降では別々に記述されるが、システム及びその構成要素はすべての実施形態に共通であり、本明細書の詳細な説明は、すべての実施形態に適用されることは当然である。
【００１３】
一般的に、ある実施形態は、媒体データのマルチトラックデータストリームを、触覚データとともに、終端ユニット又は終端機器において受け取るシステムを対象とする。このことによって、一連のフレーム内の触覚情報が識別される。さらに、フレームに対応するタイムスタンプは、媒体トランスポートストリーム内に埋め込まれているマスタ時刻コード信号に応じて決定される。触覚情報を含む各媒体トランスポートストリームフレームは、タイムスタンプを割り当てられているので、各フレームは、タイムスタンプに応じて適切な時刻にアクチュエータを起動し、触覚情報に応じて触覚効果を生成するために使用されることになる。タイムスタンプによって、触覚フレームは、媒体ストリーム内の音声データ及び／又はビデオデータと同期を取るので、触覚効果は、媒体データとの関係において適切な時刻に感知される。
【００１４】
図１は、ある実施形態に係る、ストリーミングされる媒体トランスポートファイルを符号化し、送信し、復号するシステムを示すブロック図である。システム１００は、送信器１０２、受信器１０４及び通信媒体１０６を含む。送信器１０２は、例えば、携帯電話、パーソナルデジタル端末（ＰＤＡ）、パーソナルコンピュータ（ＰＣ）、サーバ、家庭用ゲーム器、デジタルカメラ、若しくは、有線式又は無線式の地上ネットワーク又はセルラネットワークを介して媒体ファイルを送信することが可能な他のデジタル処理機器である。ある実施形態においては、媒体ストリームは、ＤＶＤ、ＣＤ、ＣＤＲＯＭ，ハードドライブ、フラッシュドライブ、ＲＡＭ、又は他の記憶装置のような有形媒体上に格納される。このことによって、受信器１０４は、格納された情報からデータを検索する。
【００１５】
媒体フレームは、ビデオフレーム、音声フレーム及び／又は触覚フレームを含むが、これらに限定されない。同様に、ビデオフレーム及び／又は音声フレームが媒体ストリームに含まれてもよいが、媒体ストリームに埋め込まれているコンテンツのタイプは、両者のタイプに限定されない。後記するように、ある実施形態においては、システムは、音声ファイル（例えば、ＭＰ３）のタグ内に書き込まれている触覚イベントデータを使用することができる。このことによって、終端ユニットは、受け取った音声ファイルのタグを読み出す際に、触覚フィードバックを出力することができる。他の実施形態においては、システムは、音声ファイル及びビデオファイル（例えば、ＭＰ４）のタグ内に書き込まれている触覚イベントデータを使用することができる。このことによって、終端ユニットは、受け取ったファイルのタグを読み出す際に、触覚フィードバックを出力することができる。
【００１６】
図１に示される実施形態においては、音声データ、ビデオデータ及び触覚データは、送信器１０２から受信器１０４に別々に流される。図１に示されるように、ある実施形態においては、送信器１０２は、エンコーダ１１６、ビデオブロック１１０、音声ブロック１１２及び触覚ブロック１１４を含む。ある実施形態においては、送信器１０２は、ビデオブロック１１０を含まずに、音声ブロック１１２及び触覚ブロック１１４のみを含む。ビデオブロック１１０は、一連のビデオフレームの情報源となり、音声ブロック１１２は、一連の音声フレームの情報源となる。触覚ブロック１１４は、一連の触覚フレームの情報源となる。ある実施形態においては、ビデオフレーム及び／又は音声フレームが生成される場所と、触覚フレームが生成される場所とは全く別である。他の実施形態においては、音声フレーム、ビデオフレーム及び触覚フレームのすべてが１つの場所で生成される。
【００１７】
ある実施形態においては、エンコーダ１１６は、例えば、Moving Picture Experts Group の圧縮標準（ＭＰＥＧ−４）、ＭＰ３（音声のみ）のような商業的に利用可能な媒体トランスポートプロトコルに応じて、例えば、ビデオブロック１１０からビデオフレームを、音声ブロック１１２から音声フレームを、そして触覚ブロック１１４から触覚フレームを符号化又は生成し、これらを媒体トランスポートストリームに統合することができる。換言すれば、ビデオフレーム及び／又は音声フレームは、触覚フレームと同様に、媒体トランスポートストリーム内で符号化又はパッケージ化され、その後、媒体トランスポートストリームは、通信媒体１０６を介して、ユーザ指定された目的地又は終端ユニットに送信される。すべてのブロックに対して１つのエンコーダが対応しているように示されているが、ブロック毎に１つのエンコーダが接続されていてもよいし、１又は複数のブロックがまとめて１つのエンコーダに接続されていてもよい。時限触覚情報を様々なフレームに統合することは、任意の媒体トランスポートストリームフォーマットに対して適用可能であり、特定のファイルタイプ、プロトコル、ソフトウエア環境又は媒体再生ハードウエア環境に限定されない。
【００１８】
媒体トランスポートストリームは、送信器１０２から送信されて、直列的に受信器１０４に受信される一連のデータパケットである。このことによって、データパケットは、受信終端において格納される必要性がなくなる。この典型的な例として、遠隔サーバからビデオデータ及び／又は音声データをストリーミングするインターネットがある。他の実施形態においては、媒体トランスポートストリームによって搬送された触覚信号は、圧縮されるか、又は暗号化されてデータセキュリティを向上させる。
【００１９】
通信媒体１０６は、線（有線）通信媒体、無線通信媒体又は有線無線ハイブリッド通信媒体であり得る。ビデオブロック１１０からのビデオフレーム及び音声ブロック１１２からの音声フレームは、それぞれ、ビデオ成分及び音声成分を形成する、すなわち、全体として、媒体トランスポートストリームの媒体成分を形成する。触覚フレームは、媒体トランスポートストリームの触覚成分を形成する。
【００２０】
受信器１０４は、通信媒体１０６を介して媒体トランスポートストリームを受け取ることができる。受信器１０４又は終端ユニットは、例えば、携帯電話、パーソナルデジタル端末（ＰＤＡ）、パーソナルコンピュータ（ＰＣ）、サーバ、マイクロフォン、家庭用ゲーム器、若しくは、有線式又は無線式のネットワークを介して媒体ファイルを受信し、触覚フィードバックを出力することが可能な他のデジタル処理機器である。ある実施形態においては、受信器１０４は、１又は複数の復号器１２６、ビデオブロック１２０、音声ブロック１２２及び触覚ブロック１２４を含む。ある実施形態においては、ビデオブロック１２０、音声ブロック１２２及び触覚ブロック１２４は、それぞれ、ビデオフレーム、音声フレーム及び触覚フレームを格納するために使用される。さらには、ある実施形態においては、受信器１０４は、ビデオブロック１２０を含まず、音声ブロック１２２及び触覚ブロック１２４のみを含む。
【００２１】
媒体トランスポートストリームを受け取ると、受信器１０４は、媒体トランスポートストリームからのビデオフレーム、音声フレーム及び触覚フレームを分析し、ビデオフレームをビデオブロック１２０に送信し、音声フレームを音声ブロック１２２に送信し、触覚フレームを触覚ブロック１２４に送信する。ビデオブロック１１０内のビデオフレーム、音声ブロック１１２内の音声フレーム及び触覚ブロック１１４内の触覚フレームは、それぞれ、ビデオブロック１２０内のビデオフレーム、音声ブロック１２２内の音声フレーム及び触覚ブロック１２４内の触覚フレームと実質的に同じ情報を含む。さらに、ビデオブロック１１０内のビデオフレーム、音声ブロック１１２内の音声フレーム及び触覚ブロック１１４内の触覚フレームは、同じ情報を含みつつも、対応するビデオブロック１２０内のビデオフレーム、音声ブロック１２２内の音声フレーム及び触覚ブロック１２４内の触覚フレームとは異なるデータフォーマットを適当な場所に有してもよい。図１では、１つの復号器が示されているが、各ブロックがそれぞれ個別の復号器に接続されていてもよいし、１つの復号器を他のブロックと共有してもよい。時限触覚情報を様々なフレームに統合することは、任意の媒体トランスポートストリームフォーマットに対して適用可能であり、特定のファイルタイプ、プロトコル、ソフトウエア環境又は媒体再生ハードウエア環境に限定されない。送信器１０２及び受信器１０４は、同様の送受信能力を備える同様の機器であってもよい。
【００２２】
図２は、ある実施形態に係る、媒体トランスポートストリームの媒体成分及び触覚成分を識別するための受信システム２００の一部を示すブロック図である。システム２００は、媒体再生器２０２、媒体同期（sync）レイヤ２０４、及び、データベース又はメモリストレージ２２０を含む。バス２３０は、媒体再生器２０２とデータベース２２０との間でデータを送信するために使用され、バス２３２は、媒体再生器２０２と媒体同期レイヤ２０４との間でデータを送信するために使用される。媒体同期レイヤ２０４は、さらに、それぞれバス２３２、２３６、２３８を介してビデオコーダ・デコーダ２０６及び／又は音声コーダ・デコーダ２０８、及び、触覚ユニット２１０と接続されている。ビデオコーダ・デコーダ２０６及び音声コーダ・デコーダ２０８は、デジタル情報を圧縮し解凍するための、ソフトウエアモジュール、ハードウエア機器、又はハードウエア構成要素とソフトウエア構成要素との組合せであり得る。ある実施形態においては、機器２００は、終端ユニットそのもの（例えば、携帯電話）である。他の実施形態においては、機器２００は、遠隔サーバ又は他の構成要素上に格納される。このことによって、機器２００は、媒体ストリームを提供する情報源と終端ユニットとの間の中継ノードとしての役割を果たす。
【００２３】
ある実施形態においては、触覚情報とともにビデオ情報及び／又は音声情報を含み、かつ、完全な時間軸に対応したマスタ時刻コードを含むフレームのセットが、システム２００に送信される。このことによって、データストリームは、少なくとも一時的にメモリ２２０に格納又はバッファリングされる。媒体再生器２０２は、格納されているデータをメモリ２２０から受け取り、媒体トランスポートストリームで送信されてきた、音声データ又は音声フレーム、及び／若しくは、ビデオデータ又はビデオフレーム、及び、触覚データ又は触覚フレームを抽出する。媒体再生器２０２は、ＭＰ３、ＭＰ４、ＡＡＣ、Ｏｇｇ、Ｖｏｒｂｉｓ、ａｓｘ等の、特定の媒体トランスポートストリームフォーマット、又は複数の所与のストリーム及び拡張子を取り扱うようにプログラミングされ得る。
【００２４】
媒体再生器２０２によって媒体データ及び触覚データが抽出されると、媒体同期レイヤ２０４は、コンテンツを受け取り、媒体トランスポートストリーム内に受け取られたマスタ時刻コード又はタイミングテーブルによって特定された時刻において、適当なコーダ・デコーダに各媒体タイプのフレームを配分することによって、抽出された媒体コンテンツを同期させる。媒体同期レイヤ２０４は、各触覚フレームのタイムスタンプ又は起動時刻を読み出す。これらのタイムスタンプは、マスタ時刻コードと比較され、触覚効果タイミング及び触覚効果定義を、触覚ユニット２１０に送信し、適当な時刻に１つの（又は複数の）アクチュエータを起動するために使用される。起動時刻、すなわち、関連付けられた触覚効果がマスタ時刻コード５１０に応じて媒体再生器によって再生されるべき適当な時刻であるタイムスタンプ５２０が、各触覚フレームに対して割り当てられる。ある実施形態においては、タイムスタンプ５２０は、触覚情報を含まないフレームに対しては割り当てられない。例えば、フレームが触覚情報を含まない場合、データ（ベース）は、当該フレームを無視する。ある実施形態においては、触覚情報に関連付けられたタイムスタンプが、他の媒体成分に基づいて予め定義されたアルゴリズムに従って生成される。他の実施形態においては、触覚情報に関連付けられたタイムスタンプが、ユーザからの入力と他の媒体成分を考慮して予め定義されたアルゴリズムとの組合せに従って生成され得る。
【００２５】
図３は、ある実施形態に係る、システム２００の他の部分を示すブロック図である。図３に示される機器３００は、好ましくは、終端ユニット１０４内の媒体同期レイヤ２０２の部分であり、タイムスタンプされた触覚成分に関連付けられた物理的触覚効果が媒体成分に対応することを確実ならしめる。ある実施形態においては、機器３００は、図２の部分２００からは隔離されている。ある実施形態においては、機器３００は、ハードウエアベースかつソフトウエアベースである。ある実施形態においては、機器３００は、アプリケーションプログラミングインタフェース（ＡＰＩ）３０６、カーネル３０８、及び触覚回路３１４を含む。カーネル３０８は、さらに、振動発生器（ＶＧ）３１２及び触覚再生エンジン（ＨＰＥ）３１０を含む。振動発生器３１２及び触覚再生エンジン３１０は、カーネル３０８の部分として示されているが、振動発生器３１２及び触覚再生エンジン３１０は、カーネル３０８からは隔離されたモジュールであってもよい。さらに、部分３００は、触覚回路３１４に接続された１又は複数のアクチュエータを含む。当該システムには、任意のタイプのアクチュエータが使用されてもよい。機器３００は、前記した構成要素を含むものとして示されているが、追加的な及び／又は代替的な構成要素を含んでもよい。
【００２６】
ＡＰＩ３０６は、カーネル３０８に、低レベル命令を送信する。当該命令は、フレーム内に定義された触覚情報と一致するようにアクチュエータ３４６を動作させる役割を結果的に果たす。ある実施形態においては、ＨＰＥ３１０は、ＡＰＩ３０６及びバス３５８を介して触覚ユニット２１０から受け取られたデータに従って、触覚イベントをスケジューリングする。ＶＧ３１２は、ＡＰＩ３０６から受け取られた触覚情報に従って触覚効果を同期させ、触覚回路３１４に、アクチュエータ３４６を動作させるために使用される制御信号を提供する。触覚回路３１４は、例えば、接続３６２を介してアクチュエータ３４６を駆動する増幅器である。触覚回路３１４は、アナログ又はデジタルの電子回路であってもよく、及び／又は、ソフトウエアベースであってもよい。
【００２７】
ＡＰＩ３０６の機能は、対応する音声データ及び／又はビデオデータに関係する適正な時刻に触覚効果を開始させることである。この機能は、それに先行する又は後続する他の触覚フレームに依存しない自己完結型触覚効果である各触覚フレームであるためである。自己完結型触覚フレームを有することの効果は、機器３００を使用する際に、ユーザが触覚フレーム又は媒体フレームに無作為的にアクセスすることができるということ、そして、システムは、画像、音声及び触覚効果を含む、同期が取られたマルチメディア出力を確実に生成することが引続き可能であるということである。この点については、さらに詳細に後記する。
【００２８】
図４は、ある実施形態に係る、ビデオ信号、音声信号及び触覚信号を、同期を取って再生する方法を示すタイミング図４００である。タイミング図４００は、媒体トランスポートストリームに埋め込まれたマスタ時刻コード４０２、媒体トランスポートストリームのビデオ成分４０４、媒体トランスポートストリームの音声成分４０６及び媒体トランスポートストリームの触覚成分４０８を示す。マスタ時刻コード４０２は、媒体トランスポートストリームに埋め込まれており、媒体再生器によって媒体トランスポートストリームから抽出され得る。ある実施形態においては、マスタ時刻コード４０２は、ｔ０、ｔ１、ｔ２等のような、音声データ及び／又はビデオデータからは独立した一連のタイムスタンプを有する時間軸である。しかしながら、媒体ファイル内の音声成分及び／又はビデオ成分自体がタイムスタンプを含み、マスタ時刻コード４０２として使用されてもよい。
【００２９】
図４のビデオ成分４０４は、フレーム４０Ｖ...ｎＶのような複数の連続するビデオフレームを含む。音声成分４０６は、フレーム４０Ａ、４２Ａ...ｎＡのような複数の連続する音声フレームを含む。触覚成分４０８は、フレーム４０Ｈ、４２Ｈ、４４Ｈ、４６Ｈ...ｎＨのような複数の連続する触覚フレームを含む。“ｎ”は整数値である。図４に示されるように、ビデオ成分４０４、音声成分４０６及び触覚成分４０８は、すべてマスタ時刻コード４０２と同期が取られている。具体的には、４０Ｖのビデオフレームは、時刻ｔ０から時刻ｔ４までに及んでいる。これに対応して、音声フレーム４０Ａ、４２Ａが、タイムスタンプｔ０からタイムスタンプｔ４までのストリーム上に存在する。さらに、触覚フレーム４０Ｈ、４２Ｈ、４４Ｈ及び４６Ｈが、タイムスタンプｔ０からタイムスタンプｔ４までのストリーム上に存在する。
【００３０】
ビデオフレーム、音声フレーム及び触覚フレームの間でフレームフォーマットが異なっていてもよいが、各成分内では、共通のプロトコルに従ってフレームが作成されるものとする。ある実施形態においては、触覚フレーム４０Ｈは、データのサイズが触覚フレーム４２Ｈと実質的に同じである。他の実施形態においては、４０Ｈ及び４２Ｈによってカバーされるタイムスパンは、それぞれ例えば２００ミリ秒であるが、それらの物理的メモリ専有範囲は異なっていてもよい。２００ミリ秒に加えて、他のタイムスパンがあってもよい。ある実施形態においては、触覚フレームサイズは、物理的データ容量に反比例するような時間長によって決定される。音声フレーム４０６は均一な長さを有するものとして示されているが、音声フレームの長さは異なっていてもよい。ビデオフレーム及び触覚フレームについても同様である。
【００３１】
図４のタイムスタンプｔ０に注目すると、触覚フレーム４０Ｈ、音声フレーム４０Ａ及びビデオフレーム４０Ｖが、実質的に同じ時刻に再生を開始している。触覚フレーム４０Ｈはタイムスタンプｔ１において再生を終了するが、触覚フレーム４０Ｈ内で定義される触覚効果は、時刻ｔ１が経過した後も再生を継続するようにしてもよい。例えば、フレーム４０Ｈ内の触覚効果は、時刻ｔ０と時刻ｔ１との間の時間長よりも長い振動であってもよい。この場合、１又は複数のアクチュエータは、後の触覚効果を出力している間にも、前の触覚効果を重ねて出力し続ける。
【００３２】
タイムスタンプｔ１において、触覚フレーム４２Ｈは、出力され始める。起動時刻、すなわち、触覚フレーム４２Ｈが再生されるタイムスタンプは、マスタ時刻コードから決定される時刻に対応している。触覚フレームにタイムスタンプを割り当てることによって、触覚フレーム（例えば、フレーム４２Ｈ）は、４０Ｈのような先行する触覚フレームが再生を終了する時刻とは無関係に再生を開始できる。つまり、触覚フレーム４０Ｈがタイムスタンプｔ１の前で再生を終了した場合、タイムスタンプｔ１において触覚フレーム４２Ｈが再生されるまで、触覚効果は再生されない状態にある。タイムスタンプｔ２において、触覚フレーム４４Ｈ及び音声フレーム４２Ａが再生される。タイムスタンプｔ３において、ビデオフレーム４０Ｖ及び音声フレーム４２Ａが既に再生されているが、触覚フレーム４６Ｈが出力される。
【００３３】
コンテンツデータ４０４、４０６、４０８にタイムスタンプを付することによって、ユーザは、時間軸上の任意の点でコンテンツの特定の部分にアクセスでき、選択されたコンテンツに関連付けられた同期化された触覚効果を体験できる。つまり、ユーザが音声フレームｎＡを選択すると、システムは、音声フレームｎＡに関連付けられている触覚効果ｎＨを自動的に再生する。ユーザがファイルを進めて特定の音声符号（例えば、低音ドラム）を聴く、又は、特定のビデオ画像（例えば、爆発シーン）を見る状況において、この仕組みは有効である。このようにして、システムは、特定のコンテンツフレームに割り当てられた触覚効果（例えば、振動）を再生する。
【００３４】
もしもユーザが図４の時刻ｔｎまで早送りしたとすると、システムは、時刻ｔＨまで待った後に、次の触覚フレームｎＨを再生する。この実施形態においては、触覚フレームｎＨを再生する前に触覚効果が再生されることはない。同様に、再生器がｔＡまで待った後に、次の音声フレームｎＡが再生される。なお、この場合、ｔＡはｔＨに等しい。同様に、再生器は、ｔｖまで待って次のビデオフレームｎＶを再生する。
【００３５】
ある実施形態において、機器は、媒体同期レイヤ２０４が時刻ｔｎちょうどに始まる再生を特定することを可能にする。この場合、媒体同期レイヤ２０４は、触覚フレーム（ｎ−１）Ｈを触覚ユニット２１０に送信し、ｔｎ−（ｎ−１）Ｈの時間オフセットを特定する。触覚ユニット２１０は、フレーム（ｎ−１）Ｈの再生を試みるときに、この時間オフセットをＡＰＩに送信する。システムは、バッファ内に所定数のフレームを格納しておくことによって、選択されたフレームの直前の１又は複数のフレーム（又はその一部）を再生することも可能である。このようにすれば、ユーザは、正確な再生点において、触覚効果又は触覚効果の一部を体験することが可能になる。
【００３６】
ある実施形態においては、１つの触覚フレームは、ここで定義される１又は複数の触覚効果を含む。これらの触覚効果を定義しスケジューリングするパラメータが触覚フレーム内に提供される。このようにすることによって、システムは、触覚パラメータを解釈し、定義されたパラメータに対応する触覚効果を再生するようにアクチュエータに対して指示する。例えば、定義されたパラメータは、再生器に対して、フレーム内の再生予定の１又は複数の触覚効果をオフセットさせることが可能である。換言すれば、触覚効果間の時間オフセットは、パラメータが定義されている特定のフレームの開始に関するものであって、ファイル又は媒体トランスポートストリームの開始に関するものではない。１つのフレーム内で別々の効果をスケジューリングすることは、音声、画像及び触覚効果を再生する機器の役割である。例えば、媒体再生器のタイプ、ネットワーク接続、アクチュエータのタイプ、及び／又は機器のサイズによっては、終端機器の属性に基づいて触覚効果がどのようにスケジューリングされるかが変わる。機器の同期レイヤがビデオフレーム、音声フレーム及び触覚フレームをスケジューリングするので、異なる媒体間のあらゆるドリフトは、ファイル又はストリーム全体の開始時点ではなく、各フレームの開始時点で修正され得る。
【００３７】
図５は、ある実施形態に係る、一連の連続フレームに亘って解析される触覚効果を示す図５００である。図５は、マスタ時刻コード５１０及びマスタ時刻コード５１０と同期が取られた触覚成分５１２を含む。触覚成分５１２は、さらに、複数の触覚フレーム５０２、５０４、５０６等を含む。各触覚フレームは、固定された時間長を表し、固定された時間長を占め、固定された時間長に関連付けられた複数の触覚効果をパッケージングしている。時間軸及び、ｔ０、ｔ１のようなタイムスタンプがマスタ時刻コード５１０によって決定される。
【００３８】
ある実施形態においては、マスタ時刻コード５１０は機器によって使用され、機器がファイルとして受け取ったすべてのフレーム又はデータパケットの受信及び再生を調和させる。ある実施形態においては、フレームの時間長は、ユーザによる日常操作の間、選択され固定され得る。ある実施形態においては、データ特性及びユーザ選好に応じて、１００ミリ秒から３００ミリ秒までのフレーム長の範囲が使用される。特殊な動作では、１ミリ秒のフレーム長が使用されて極端に厳密な同期要求を満たしてもよい。１ミリ秒のフレーム長に対するコストは高額になり得る。１ミリ秒のフレーム長は、有意に拡大された帯域幅の使用を必要とするからである。ある実施形態においては、マスタ時刻コードのフレーム長は、ファイル内で設定され埋め込まれており、ユーザ又は機器３００によって変更され得ない。フレーム長はユーザが適宜設定可能であり、前記の値に限定されるものではない。
【００３９】
一般的に、フレーム長が長くなるほど、媒体効果と同期を取ることが必要になるフレーム数は減少する。このことは、触覚効果を、音声効果及び／又はビデオ効果と非同期状態としてしまう可能性が大きくなることを意味する。他方で、フレーム長が短くなるほど、音声効果及び／又はビデオ効果とよりよくかつより厳密に同期するが、触覚効果と媒体効果との間の同期化処理工数が増加し、より多くの処理能力及びより大きなネットワーク帯域幅が必要となる。
【００４０】
ある実施形態においては、触覚フレームのサイズは、触覚効果の複雑さに応じて、８、１６、２５、３２、６４、１２８又は２５６バイトであり得る。例えば、いくつかの触覚フレームは、それぞれ、特定の音声フレーム及び／又は特定のビデオフレームと相関する振動−音声データ及び／又は振動−画像データを含む。ある実施形態においては、１つの触覚フレームは、少なくとも１つの触覚効果をレンダリングするために必要となる情報、及び、触覚効果の開始時刻を示す１つのタイムスタンプを含む。フレーム内に触覚情報が存在しない場合は、触覚フレームは無視されてもよい。
【００４１】
図６は、ある実施形態に係る、触覚情報を格納する触覚フレーム６００を示すブロック図である。ある実施形態においては、触覚情報は、再生されるべき各触覚効果をフレーム内で定義するために使用される。触覚情報は、強度／マグニチュード、持続時間、周期、開始遅延、攻撃強度、攻撃タイミング、減衰強度、減衰タイミングのような様々なパラメータを含む。これらのパラメータは、１つのフレーム長が継続している間、１つの触覚効果又は一連の触覚効果を実施するために必要である。持続時間パラメータは、どれだけの期間に亘って触覚効果がアクチュエータによって再生されるべきかを特定するために使用される。触覚効果の開始遅延パラメータは、フレームの開始又はタイムスタンプの開始からどれだけの期間に亘って触覚効果が再生されるのを待つことになるかを示す。例えば、触覚効果は周期的であり得る。そして、周期パラメータがそのような周期を定義する。ある実施形態においては、触覚効果情報は、パラメータなしの符号化を使用する。ある実施形態においては、このような符号化は、パルス幅変調器に対して適用される一連の８ビットアクチュエータ制御値を含み得る。当該パルス幅変調器は、８ビット値ごとに持続時間５ミリ秒の間アクチュエータの一対のリードに印加する瞬間電圧を制御する。各触覚フレームが２００ミリ秒の触覚再生時間を表す場合、各触覚フレームは、ちょうど４０バイトのデータを含むことになる。触覚情報は、いくつかの触覚効果について境界を設定することによって触覚効果を制御するために使用されるエンベロープ情報を含んでもよい。
【００４２】
図６に示される触覚フレーム６００は、触覚効果定義部分６１０及び一連の触覚効果要求指示６１２、６１４、・・・６１６を含む触覚フレームのレイアウト例である。ある実施形態においては、触覚効果定義６１０は、持続時間パラメータ、停止時刻、開始時刻及び開始遅延パラメータのような制御情報を含む。各触覚効果要求指示６１２、６１４、・・・６１６は、マグニチュード、攻撃強度、減衰強度及び再生されることになる特定タイプの触覚効果についての情報を含んでもよい。このようにして、各触覚フレーム６００は、割り当てられたタイムスタンプに対応する開始時刻及び停止時刻を提供し、どのタイプの触覚効果がアクチュエータによって出力されるべきであるかについての情報を保持する。触覚フレームは、１又は複数の触覚効果を同時に起動させ得る。さらに、触覚効果は、フレーム長すなわち触覚フレームの期間を超えて再生を継続してもよい。ある実施形態においては、触覚効果定義部分６１０は、フレーム開始後どれだけ経過した後触覚効果を始めるかを制御するオフセットパラメータ（例えば、タイムスタンプの５ミリ秒後に振動開始）を示すことによって、所定時間だけずらして触覚効果が再生されることを特定してもよい。
【００４３】
図７は、ある実施形態に係る、触覚効果に関連付けられた波形７１０を示す図である。具体的には、ｘ軸は時刻を表し、ｙ軸はアクチュエータによって出力されるべき力のマグニチュード又は強度を表す。波形７０１は、いくつかの異なる周波数を使用して、触覚がユーザに感知されるようにする。波形７０１の触覚効果は、７０２として示された持続時間に亘って継続する。この持続時間中には、開始時間７０４、定常時間７０８及び減衰時間７０６が含まれる。ある実施形態においては、持続時間７０２は、触覚フレームの期間以下の長さである。他の実施形態においては、持続時間７０２は、触覚フレームの期間より長い。開始時刻における触覚効果の強度は、“開始水準”７０９によって特定される。触覚効果の強度は、定常時間７０８が始まると“マグニチュード”水準７１０に変化し、減衰時間７０６の終わりには減衰水準７１２に変化する。代替的に、減衰水準７１２は、マグニチュードゼロの触覚効果から計測されることもできる。図に示される波形は一例であり、いくつかの異なるタイプの既知の波形も可能である。
【００４４】
周期又は周期タイプは、一定力、方形波、三角波、正弦波、のこぎり波、逆のこぎり波、又はこれらのうちの任意の組合せであり得る。周期が異なれば、提供される触覚フィードバックも異なる。例えば、波形７０１は、０.１ヘルツから１０００ヘルツまでの範囲で変化し、当該範囲のなかで、異なる周波数は異なる触覚を提供する。
【００４５】
動作中、波形７０１によって起こされる触覚効果は、開始水準７０９、開始時間７０４、減衰水準７１２及び減衰時間７０６によって定義される。波形７０１の実行を時間で定義したとき、実行処理は、基準強度すなわち触覚効果の“マグニチュード”、持続時間、周期的に再生されるべきか否か、及び、周期的に再生されるべきであればどの程度の頻度で再生されるべきかを特定する。図１〜図３の実施形態において示されるように、触覚データ及びコンテンツデータが分離してストリーミングされるときに、触覚効果を定義する情報は、各触覚フレーム内に存在し、再生機器に対し直列的にダウンロードされる。後記する他の実施形態においては、触覚効果は、コンテンツファイルのファイルヘッダ内のフレーム内に格納される。波形７０１は一例に過ぎず、このような触覚効果はどのような数の方法で定義されてもよいことが当業者にはわかるであろう。
【００４６】
図１〜図３の実施形態においては、システムは様々な処理ステップを使用して、触覚フレームの着信ストリームをコンテンツフレームと同期させる。ここで記述されるステップは、機械実行可能指示又はコンピュータ実行可能指示として具現化されてもよい。これらの指示は、これらの指示を用いてプログラミングされている汎用システム又は専用システムに、ここで記述されるステップを実行させる。代替的に、ここで記述されるステップは、当該ステップを実行するための配線論理を備えた特定のハードウエア構成要素によって実行されてもよいし、プログラミングされた構成要素と特注のハードウエア構成要素との任意の組合せによって実行されてもよい。無線通信ネットワークを参照して実施形態が記述されるが、ここで記述される方法及び装置は、他のネットワークインフラストラクチャ又は有線を含む他のデータ通信環境にも同様に適用できる。
【００４７】
図８は、ある実施形態に係る、触覚効果を他の媒体成分と同期させる処理を示すフローチャートである。ブロック８０２において、プロセスは、媒体トランスポートストリーム内の少なくとも１つの触覚フレーム内で、触覚情報を識別する。ある実施形態においては、システムは、一連のビデオフレーム、音声フレーム及び触覚フレームを、それらのフレームが受け取られている間に、識別する。ある実施形態においては、この処理は、媒体再生器によって実行される。
【００４８】
ブロック８０４において、システムは、マスタ時刻コードに従ってすべてのフレームに対して割り当てるべきタイムスタンプを決定する。前記したように、ある実施形態においては、マスタ時刻コードは、媒体トランスポートストリームに埋め込まれていてもよい。ある実施形態においては、ビデオストリーム及び／又は音声ストリームに関連付けられた時刻コードがマスタ時刻コードとして使用されてもよい。前記したように、タイムスタンプは、触覚フレーム内で定義された触覚効果を開始するシステムが使用する時点である。
【００４９】
ブロック８０６において、システムは、タイムスタンプを触覚フレームに割り当てる。ここで、タイムスタンプは、触覚フレーム内に格納された触覚情報に従って、１又は複数のアクチュエータをいつ起動して触覚効果を生成するかを指示する。触覚フレームに割り当てられたすべてのタイムスタンプは、対応する音声フレーム及び／又はビデオフレームと同期が取れており、かつ、対応する音声フレーム及び／又はビデオフレームと位置がそろっていることが好ましい。システムは、前記したように１つの触覚フレーム内でのタイムスタンプのオフセットであるサブタイムスタンプを割り当てることもできる。ある実施形態においては、ブロック８０４、８０６は、触覚効果を媒体ファイルに設定する時点で実行される。
【００５０】
ブロック８０８において、プロセスは、各触覚フレーム内に格納されている触覚効果情報を解釈し、特定のフレームについて出力されるべき触覚効果のタイプを決定する。ある実施形態においては、システムは、ビデオ信号及び／又は音声信号に応じて触覚効果情報を符号化する。他の実施形態においては、プロセスは、１又は複数の予め定義されたアルゴリズムに応じて触覚効果情報を符号化する。各触覚フレームは、特定の触覚フレーム内で異なる時刻に開始する複数の触覚効果を備えてもよい。さらに、システムは、触覚効果情報に従って１又は複数のアクチュエータを起動することができ、関連付けられたタイムスタンプに従って触覚効果を維持することもできる。
【００５１】
前記したように、システムは、媒体データ及び触覚データの複数のストリームを受け取る。このことによって、システムはタイムスタンプを触覚フレームに割り当て、触覚フレームを近接したデータストリームと同期させ、ひとまとまりの触覚体験を作成する。他の実施形態においては、システムは、媒体トランスポートファイル内のヘッダタグに埋め込まれた触覚情報から触覚効果を出力する。このことによって、触覚効果は、ファイル内の音声データ及び／又はビデオデータと同期を取る。具体的には、システムは、既存のタグスキームを利用し得る。一例として、媒体トランスポートファイルに埋め込まれたＩＤ３Ｖ２タグスキームがある。システムは、好ましくはファイル内のデータに先行するヘッダタグを読み出すことによって、格納された触覚情報を解釈し、触覚情報を他の媒体情報と同期させる。本明細書では、発明の実施形態を記述するためにＩＤ３Ｖ２タグスキームを使用したが、他のタグスキーム及び他の解決方法（例えば、ＩＤ３Ｖ１、Ｌｙｒｉｃｓ３）が使用されてもよい。
【００５２】
一般的に、タグスキームは、媒体ファイルの先頭に付されたデータの塊であるタグを使用する。このようにして、タグは、１又は複数のより小さなフレームの塊を保持する。図９に示されるように、タグは、タイトル、アルバム、実演家、ウエブサイト、歌詞、エコライザプリセット、写真のような任意のタイプの情報を含み得る。ある実施形態においては、各フレームの容量は１６メガバイトであり、タグ全体の容量は２５６メガバイトであり得るが、フレームサイズはこれらの値に限定されない。ある実施形態においては、タグは、新たなフレームが追加され得るコンテナフォーマット（例えば、ＩＦＦ、ＰＮＧ拡張子）である。さらに、コンテンツデータの先頭部分又はコンテンツデータの前にタグを配置することによって、ファイルが終端ユニットにストリーミングされたとき、システムはタグ及びタグに埋め込まれた情報を使用することが可能になる。ある実施形態においては、タグは、コンテンツデータの後に配置されるので、システムは、タグデータから同期化された触覚効果を効果的にレンダリングできる。
【００５３】
タグは、ソフトウエアを使用するプログラマ又は管理者によって触覚情報に直接埋め込まれている。対応する媒体ファイルに埋め込まれたタグは、受信終端ユニット１０４（図１）、サーバ、又は受信終端ユニット１０４に対して後ほどダウンロードするための他の格納手段に送信される。ある実施形態においては、触覚情報及び同期情報を含むタグの関連部分又はタグ自身は、受信終端機器１０４から要求すれば受信終端機器１０４に配信されるグレースノート社のコンパクトディスクデータベースＣＤＤＢと同等の遠隔データベースに格納される。ある実施形態においては、終端機器１０４は、受け取られたヘッダフレームからの情報を終端機器１０４に格納されているコンテンツデータと組合せてもよい。こうすることによって、組み合わせは終端機器によって処理されかつ出力され、媒体データと同期の取られた触覚効果を作成する。
【００５４】
図９は、ある実施形態に係る媒体ファイルのタグを示す。図９の媒体ファイル９００は、音声データ及び／又はビデオデータを含む媒体コンテンツデータ９０２を含む。ある実施形態においては、ヘッダタグ９０４が、媒体データファイル９０２の先頭部分に付されている。ヘッダタグ９０４は、非公開フレーム９０６、情報フレーム９０８、歌詞フレーム９１０、写真フレーム９１２、コメントフレーム９１４、及びプログラマによって挿入されるべき他の追加フレームを含んでもよい。タグは、示されたフレーム例に限定されることなく、追加的フレーム及び／又は代替的フレームが媒体ファイル９００とともに使用されてもよい。さらに、ヘッダタグ９０４内に複数の特定のフレームが存在してもよい（例えば、２つの歌詞フレーム９１０、２つの写真フレーム９１２等）。ここでは、音声データ／ビデオデータに先行するものとしてタグを説明したが、タグは、音声データ／ビデオデータの後に配置されてもよいし、音声データ及びビデオデータのパッケット内またはパケット間に配置されてもよい。
【００５５】
非公開フレーム９０６は、２進数フォーマットで格納される。非公開フレームは、対応する添付媒体ファイル９０２について触覚効果が出力される予定であることを終端ユニット内の媒体再生器に知らせるようにプログラミングされてもよい。ある実施形態においては、非公開フレームは、触覚フレームごとの触覚情報と同様に、同期情報を直接含むようにプログラミングされてもよい。同期情報は、タイムスタンプ情報を含んでもよい。こうすることによって、媒体再生器は、非公開フレーム内のデータを読み出し、音声データ及び／又はビデオデータと同期が取られた、対応する触覚効果を出力する。ある実施形態においては、フレームごとの同期情報は、メタデータ内に格納される。こうすることによって、各フレームは、フレーム内に記憶されたパラメータ化された振動定義ごとに時間オフセットを保持する。例えば、特定のフレーム（例えば、フレームＡ）は、６００ミリ秒に設定されたタイムスタンプを有してもよい。触覚効果のオフセットがフレームＡのタイムスタンプの開始後５０ミリ秒及び１８５ミリ秒の時点で開始することを同期情報が指示することもできる。この場合、フレームＡが再生されたとき、アクチュエータは触覚効果（又は、触覚効果の予め定義された特性）をそれぞれ、６５０ミリ秒及び７８５ミリ秒で出力するように指示される。
【００５６】
さらに、非公開フレームは、識別情報を含み、終端機器に対し、非公開フレームは触覚情報を含んでいることを警告してもよい。このようにして、終端ユニットは、フレームの所有者を識別するデータを求めてすべての非公開フレームを検索する。ある実施形態においては、非公開フレームは、当該フレームに責任を負う組織の電子メールアドレスを含むＵＲＬ付のヌル終端文字列のような、所有者識別子フィールドを含む。追加的に及び／又は代替的に、所有者識別子フィールドは、責任組織の同一性を参照するリンクを含む。終端ユニットが、その所有者（例えば、イマーションコーポレーション）に属する非公開フレームを最終的に識別する時点で、システムは、さらに当該フレームを処理し、同期フレームの触覚処理に対して当該フレームを使用する。非公開フレームは、システムがタグを識別できるようにする情報を提供する他の手段を含んでもよいが、前記した構成に制限されない。
【００５７】
ヘッダタグは、前記したタイムスタンプ情報と触覚情報を搬送する同期フレームを保有している。同期フレームは、当該フレームをプログラミングするために使用されるいくつかのフィールドを含む。ある実施形態においては、同期フレーム内で使用されるフィールドは、文字コードセットがUnicode, ISO-8859-1又は他の文字コードを有する場合もあるし、有さない場合もある。同期フレームは、歌詞フレーム９１０のような、図９に示された任意のフレームであり得る。さらに、同期フレームは、タイムスタンプがミリ秒単位となり得る時間フォーマットフィールド、ＭＰＥＧフレーム等を含む。
【００５８】
ある例では、同期フレームは、Unicodeフォーマットで設定され、“イベント”フレーム内に配置される触覚イベントデータを有することが可能であり、タイムスタンプフォーマットはミリ秒単位で設定されることが可能である。この例では、データフィールドへの第１のエントリは、改行文字が後に続く文字列として与えられるエントリカウントである。ヌル文字が同期識別子として使用されるので、エントリカウント及びデータサイズは文字列として表される。サンプルごとに、フレームは、図６において前記した触覚効果要求フレームと触覚定義フレームとを含む。さらに、フレームは、同期識別子情報及びタイムスタンプ情報（必要な場合）を含む。
【００５９】
図１０は、ヘッダタグを使用して触覚情報を提供するある実施形態に係るシステムのブロック図である。媒体再生器１００２、同期レイヤ１００４、アプリケーションプログラミングインタフェース（ＡＰＩ）１００６、カーネル１００８、触覚再生エンジン１０１０、振動発生器１０１２、アクチュエータ駆動回路１０１４及び１又は複数のアクチュエータ１０１６を含むシステム１０００が図１０に示されている。システム１０００は、この構成要素に限定されず、代替的及び／又は追加的な構成要素が使用されてもよい。
【００６０】
図１０に示されるように、媒体ファイル１０１８は、ソフトウエアプログラムインターフェース１０２０にロードされて、媒体ファイル１０１８は、前記したように、ヘッダタグ内の識別子及び同期情報と同様に触覚情報を埋め込まれる。この情報の埋め込み処理は、イマージョン社が所有するVibeTonz ソフトウエア上で、又は他の適当なソフトウエアプログラムによって、実行され得る。一旦、媒体ファイルに同期情報及び触覚情報が埋め込まれると、修正された媒体ファイル１０２２は、機器１０００に直接送信され、又は、後からの検索に備えてメモリ又はサーバ上に格納され得る。ある実施形態においては、修正された媒体ファイルは、終端機器１０００に対してストリーミングするためのストリーミングサーバ上に格納され得る。
【００６１】
終端機器１０００にダウンロードされると、修正された媒体ファイル１０２２は、媒体再生器１００２によって受け取られる。このことによって、媒体再生器１００２は、媒体ファイル１０２２が触覚識別子を含むか否かを識別する。他の実施形態においては、媒体ファイル１０２２は、終端機器１０００に対してストリーミングされる。そのことによって、ヘッダ情報は、ストリームの開始の部分で検索され、格納される。格納されたヘッダ情報は、後から受け取られたストリーミング媒体ファイルとともに処理されて、触覚効果がストリーミングされた媒体と同期を取ることを確実ならしめる。ファイル１０２２が触覚識別子を含まない場合は、触覚効果情報はＡＰＩ１００６に中継されない。しかしながら、ファイル１０２２が非公開フレームに触覚識別子を含む場合は、同期レイヤ１００４が同期フレームを読み出し、ＡＰＩ１００６に必要な拡張情報を提供する。ＡＰＩ１００６は、正確な時刻に触覚効果を起動する。なぜならば、各触覚フレームは同期化フレーム内の他のフレームによらない自己完結型触覚効果であるからである。ＡＰＩ１００６は、触覚再生エンジン１０１０に対して低レベル命令を提供するようにカーネル１００８に指示する。そして、触覚再生エンジン１０１０は、駆動回路１０１４を起動して、アクチュエータ１０１６へ出力される制御信号を制御及び／又は増幅するように振動発生器１０１２に指示する。アクチュエータ１０１６は、同期レイヤ内に定義された特定の触覚効果とともに、指示されたタイムスタンプにおいて指示された触覚効果を自動的に出力する。前記したステップは適宜順序を替えて実行されてもよく、例示された順序に限定されるものではない。追加的及び／又は代替的なステップが、本発明の主旨を逸脱しない範囲で使用されてもよい。
【００６２】
実施形態及びアプリケーションを例示し説明して来たが、本発明の主旨を逸脱しない範囲で前記された以外の修正が可能であることが、本発明の開示を享受する当業者には明らかであろう。
【技術分野】
【０００１】
ここに記述される主題は、媒体ファイル内で、触覚効果を音声コンテンツデータ及び／又はビデオコンテンツデータと同期させることに関する。
【背景技術】
【０００２】
ユーザとマシンとの間のインタフェースを改良するため、音声媒体及び／又はビデオ媒体とのインタフェースに触覚効果を組み込むことが近年徐々に普及しつつある。振動のような触覚効果は、ユーザが感知できるものであり、例えば、機器上のキーを押下する若しくは着信音を鳴動させて携帯電話等に通話又は文書メッセージが着信したことを知らせるというような、イベントトリガに関連していてもよい。一般的に、媒体再生は振動を伴って実施され得る。しかしながら、時系列の媒体信号とともに触覚信号を再生するとき、触覚効果を実施する従来の方法はいくつかの問題を有する。
【０００３】
このような問題の一例として、触覚信号と、ビデオ信号及び／又は音声信号のような他の信号との間で、再生タイミングの同期を取る必要性がある。例えば、音声エンジン、ビデオエンジン及び触覚エンジンは、別々のクロック上で作動する。触覚信号、ビデオ信号及び音声信号を再生する間に、これらの同期を取る組み込み式の機構は通常存在しない。例えば、再生開始時、触覚信号及び媒体信号は、互いに数ミリ秒だけずれて開始した後、適切に同期が取られるが、通常これらの信号は、極めて短い期間は同期が取られないままずれてしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このような問題の他の例は、媒体信号及び触覚信号を両方とも有する媒体トランスポートストリーム内の任意の点に無作為にアクセスすることは困難であり得るということである。換言すれば、ユーザが、媒体トランスポートストリームのある無作為の点より前で発生するデータにアクセスすることなく当該無作為の点で媒体トランスポートストリームの一部の再生を開始するとき、触覚信号を媒体信号と同期させることは困難である。
【０００５】
必要とされているのは、このように、触覚効果を他の媒体（例えば、音声媒体及び／又はビデオ媒体）と同期させ、触覚情報及び媒体情報の両方を含む媒体トランスポートストリーム内の任意の点において又は任意の点から触覚効果を動作することが可能な解決方法である。
【課題を解決するための手段】
【０００６】
媒体ファイル内の又は媒体ファイルに添付されている先行タグに埋め込まれている情報に応じて、媒体ファイルの一連のフレーム内の触覚情報が識別され、フレームに対応するタイムスタンプが決定される。触覚効果情報は、タグの１又は複数のフレーム内の情報に基づいて、媒体ファイルと同期が取られる。そのことによって、アクチュエータは、媒体ファイルの対応する音声コンテンツ及び／又はビデオコンテンツと同期を取りながら、タグ内に定義された触覚効果を出力する。
【発明の効果】
【０００７】
後記する詳細な説明、図、及び特許請求の範囲から、追加的な特徴及び効果が明らかになる。
【図面の簡単な説明】
【０００８】
添付する図面は、本明細書に組み込まれかつ本明細書の一部を構成し、１又は複数の実施形態を例示する。そして、添付する図面は、発明の詳細な説明とともに、実施形態の原理及び実現方法を説明するのに資する。
【図１】ある実施形態に係る、触覚情報を含む媒体トランスポートストリームを符号化し、送信し、復号するシステムを示すブロック図である。
【図２】ある実施形態に係る、媒体トランスポートストリームから媒体成分及び触覚成分を識別するシステムを示すブロック図である。
【図３】ある実施形態に係る、触覚成分を他の媒体成分と同期させる装置を示すブロック図である。
【図４】ある実施形態に係る、ビデオ信号、音声信号及び触覚信号を、同期を取って再生する方法を示すタイミング図である。
【図５】ある実施形態に係る、連続フレーム内で解析される触覚信号を示す図である。
【図６】ある実施形態に係る、触覚情報を格納する触覚フレームを示すブロック図である。
【図７】ある実施形態に係る、触覚効果を起こす波形を示す図である。
【図８】ある実施形態に係る、触覚効果を媒体成分と同期させる処理を示すフローチャートである。
【図９】ある実施形態に係る、システムとともに使用されるファイルのタグスキームを示す図である。
【図１０】ある実施形態に係る、システムのブロック図を示す図である。
【発明を実施するための形態】
【０００９】
触覚情報を含む媒体トランスポートストリームを通信する方法、システム及び装置が、実施形態としてここに記述される。当業者であれば、後記される記述は単に例示的なものであって発明を限定することを意図していないことがわかるであろう。この開示の効果を享受する当業者には、他の実施形態もおのずから容易に示唆されるであろう。添付される図に示されるような実施形態の実施例が以降詳細に説明される。すべての図及び記述に亘って、同一事項を示す場合は、同一の参照番号が使用される。
【００１０】
明確さのため、ここに記述される実施例の慣例的な特徴のすべてを示し、記述することはしない。実施例を開発して行く過程で、開発者独自の目的を達成するためには、アプリケーション関係及びビジネス関係の制約と整合性を取る、というような、実施例独自の多くの決定がなされなければならないことは当然である。また、これらの独自の目的が実施例ごとに、かつ、開発者ごとに変化していくことも当然である。さらに、このような開発努力は、複雑であって時間を必要とするが、この開示の利益を享受する当業者にとっては、負担するべき日常業務であることもまた当然である。
【００１１】
本開示で記述される構成要素、処理ステップ及び／又はデータ構造は、様々なタイプのオペレーティングシステム、コンピューティングプラットフォーム、コンピュータプログラム及び／又は汎用機器を使用して実施されてもよい。さらに、ここに開示される本発明の主旨を逸脱することなくハードウエア機器、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、アプリケーション特化型集積回路（ＡＳＩＣｓ）等のような専用機器が使用されてもよいことが、当業者にはわかるであろう。“ある実施形態”と言う語は、単純に１つの実施形態を限定する意味ではなく、複数の実施形態を包含する意味で使用される。一連の処理ステップを有する方法は、コンピュータ又は機器によって実施され、これらの処理ステップは、機器によって読取可能な一連の指示として格納され得る。これらの処理は、コンピュータメモリ機器（例えば、ＲＯＭ（読出専用メモリ）、ＰＲＯＭ（プログラム可能読出専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能プログラム可能読出専用メモリ）、フラッシュメモリ、ジャンプドライブ）、磁気記録媒体（例えば、テープ、磁気ディスクドライブ等）、光学記録媒体（例えば、紙カード、穿孔テープ等）及び他のタイプのプログラムメモリのような有形媒体上に格納されてもよい。
【００１２】
ある実施形態においては、システムは、触覚効果トラックを、マルチトラック媒体トランスポートストリームに含まれる他の媒体トラックと同期させ、同期化されたマルチメディア効果を生成することを目的とする。ある実施形態においては、システムは、媒体ファイルのヘッダ内で同期化されたデータを使用し、触覚効果がファイル内の媒体コンテンツと同期を取ることを確実ならしめる。これらの実施形態は、明確さを確保するために、以降では別々に記述されるが、システム及びその構成要素はすべての実施形態に共通であり、本明細書の詳細な説明は、すべての実施形態に適用されることは当然である。
【００１３】
一般的に、ある実施形態は、媒体データのマルチトラックデータストリームを、触覚データとともに、終端ユニット又は終端機器において受け取るシステムを対象とする。このことによって、一連のフレーム内の触覚情報が識別される。さらに、フレームに対応するタイムスタンプは、媒体トランスポートストリーム内に埋め込まれているマスタ時刻コード信号に応じて決定される。触覚情報を含む各媒体トランスポートストリームフレームは、タイムスタンプを割り当てられているので、各フレームは、タイムスタンプに応じて適切な時刻にアクチュエータを起動し、触覚情報に応じて触覚効果を生成するために使用されることになる。タイムスタンプによって、触覚フレームは、媒体ストリーム内の音声データ及び／又はビデオデータと同期を取るので、触覚効果は、媒体データとの関係において適切な時刻に感知される。
【００１４】
図１は、ある実施形態に係る、ストリーミングされる媒体トランスポートファイルを符号化し、送信し、復号するシステムを示すブロック図である。システム１００は、送信器１０２、受信器１０４及び通信媒体１０６を含む。送信器１０２は、例えば、携帯電話、パーソナルデジタル端末（ＰＤＡ）、パーソナルコンピュータ（ＰＣ）、サーバ、家庭用ゲーム器、デジタルカメラ、若しくは、有線式又は無線式の地上ネットワーク又はセルラネットワークを介して媒体ファイルを送信することが可能な他のデジタル処理機器である。ある実施形態においては、媒体ストリームは、ＤＶＤ、ＣＤ、ＣＤＲＯＭ，ハードドライブ、フラッシュドライブ、ＲＡＭ、又は他の記憶装置のような有形媒体上に格納される。このことによって、受信器１０４は、格納された情報からデータを検索する。
【００１５】
媒体フレームは、ビデオフレーム、音声フレーム及び／又は触覚フレームを含むが、これらに限定されない。同様に、ビデオフレーム及び／又は音声フレームが媒体ストリームに含まれてもよいが、媒体ストリームに埋め込まれているコンテンツのタイプは、両者のタイプに限定されない。後記するように、ある実施形態においては、システムは、音声ファイル（例えば、ＭＰ３）のタグ内に書き込まれている触覚イベントデータを使用することができる。このことによって、終端ユニットは、受け取った音声ファイルのタグを読み出す際に、触覚フィードバックを出力することができる。他の実施形態においては、システムは、音声ファイル及びビデオファイル（例えば、ＭＰ４）のタグ内に書き込まれている触覚イベントデータを使用することができる。このことによって、終端ユニットは、受け取ったファイルのタグを読み出す際に、触覚フィードバックを出力することができる。
【００１６】
図１に示される実施形態においては、音声データ、ビデオデータ及び触覚データは、送信器１０２から受信器１０４に別々に流される。図１に示されるように、ある実施形態においては、送信器１０２は、エンコーダ１１６、ビデオブロック１１０、音声ブロック１１２及び触覚ブロック１１４を含む。ある実施形態においては、送信器１０２は、ビデオブロック１１０を含まずに、音声ブロック１１２及び触覚ブロック１１４のみを含む。ビデオブロック１１０は、一連のビデオフレームの情報源となり、音声ブロック１１２は、一連の音声フレームの情報源となる。触覚ブロック１１４は、一連の触覚フレームの情報源となる。ある実施形態においては、ビデオフレーム及び／又は音声フレームが生成される場所と、触覚フレームが生成される場所とは全く別である。他の実施形態においては、音声フレーム、ビデオフレーム及び触覚フレームのすべてが１つの場所で生成される。
【００１７】
ある実施形態においては、エンコーダ１１６は、例えば、Moving Picture Experts Group の圧縮標準（ＭＰＥＧ−４）、ＭＰ３（音声のみ）のような商業的に利用可能な媒体トランスポートプロトコルに応じて、例えば、ビデオブロック１１０からビデオフレームを、音声ブロック１１２から音声フレームを、そして触覚ブロック１１４から触覚フレームを符号化又は生成し、これらを媒体トランスポートストリームに統合することができる。換言すれば、ビデオフレーム及び／又は音声フレームは、触覚フレームと同様に、媒体トランスポートストリーム内で符号化又はパッケージ化され、その後、媒体トランスポートストリームは、通信媒体１０６を介して、ユーザ指定された目的地又は終端ユニットに送信される。すべてのブロックに対して１つのエンコーダが対応しているように示されているが、ブロック毎に１つのエンコーダが接続されていてもよいし、１又は複数のブロックがまとめて１つのエンコーダに接続されていてもよい。時限触覚情報を様々なフレームに統合することは、任意の媒体トランスポートストリームフォーマットに対して適用可能であり、特定のファイルタイプ、プロトコル、ソフトウエア環境又は媒体再生ハードウエア環境に限定されない。
【００１８】
媒体トランスポートストリームは、送信器１０２から送信されて、直列的に受信器１０４に受信される一連のデータパケットである。このことによって、データパケットは、受信終端において格納される必要性がなくなる。この典型的な例として、遠隔サーバからビデオデータ及び／又は音声データをストリーミングするインターネットがある。他の実施形態においては、媒体トランスポートストリームによって搬送された触覚信号は、圧縮されるか、又は暗号化されてデータセキュリティを向上させる。
【００１９】
通信媒体１０６は、線（有線）通信媒体、無線通信媒体又は有線無線ハイブリッド通信媒体であり得る。ビデオブロック１１０からのビデオフレーム及び音声ブロック１１２からの音声フレームは、それぞれ、ビデオ成分及び音声成分を形成する、すなわち、全体として、媒体トランスポートストリームの媒体成分を形成する。触覚フレームは、媒体トランスポートストリームの触覚成分を形成する。
【００２０】
受信器１０４は、通信媒体１０６を介して媒体トランスポートストリームを受け取ることができる。受信器１０４又は終端ユニットは、例えば、携帯電話、パーソナルデジタル端末（ＰＤＡ）、パーソナルコンピュータ（ＰＣ）、サーバ、マイクロフォン、家庭用ゲーム器、若しくは、有線式又は無線式のネットワークを介して媒体ファイルを受信し、触覚フィードバックを出力することが可能な他のデジタル処理機器である。ある実施形態においては、受信器１０４は、１又は複数の復号器１２６、ビデオブロック１２０、音声ブロック１２２及び触覚ブロック１２４を含む。ある実施形態においては、ビデオブロック１２０、音声ブロック１２２及び触覚ブロック１２４は、それぞれ、ビデオフレーム、音声フレーム及び触覚フレームを格納するために使用される。さらには、ある実施形態においては、受信器１０４は、ビデオブロック１２０を含まず、音声ブロック１２２及び触覚ブロック１２４のみを含む。
【００２１】
媒体トランスポートストリームを受け取ると、受信器１０４は、媒体トランスポートストリームからのビデオフレーム、音声フレーム及び触覚フレームを分析し、ビデオフレームをビデオブロック１２０に送信し、音声フレームを音声ブロック１２２に送信し、触覚フレームを触覚ブロック１２４に送信する。ビデオブロック１１０内のビデオフレーム、音声ブロック１１２内の音声フレーム及び触覚ブロック１１４内の触覚フレームは、それぞれ、ビデオブロック１２０内のビデオフレーム、音声ブロック１２２内の音声フレーム及び触覚ブロック１２４内の触覚フレームと実質的に同じ情報を含む。さらに、ビデオブロック１１０内のビデオフレーム、音声ブロック１１２内の音声フレーム及び触覚ブロック１１４内の触覚フレームは、同じ情報を含みつつも、対応するビデオブロック１２０内のビデオフレーム、音声ブロック１２２内の音声フレーム及び触覚ブロック１２４内の触覚フレームとは異なるデータフォーマットを適当な場所に有してもよい。図１では、１つの復号器が示されているが、各ブロックがそれぞれ個別の復号器に接続されていてもよいし、１つの復号器を他のブロックと共有してもよい。時限触覚情報を様々なフレームに統合することは、任意の媒体トランスポートストリームフォーマットに対して適用可能であり、特定のファイルタイプ、プロトコル、ソフトウエア環境又は媒体再生ハードウエア環境に限定されない。送信器１０２及び受信器１０４は、同様の送受信能力を備える同様の機器であってもよい。
【００２２】
図２は、ある実施形態に係る、媒体トランスポートストリームの媒体成分及び触覚成分を識別するための受信システム２００の一部を示すブロック図である。システム２００は、媒体再生器２０２、媒体同期（sync）レイヤ２０４、及び、データベース又はメモリストレージ２２０を含む。バス２３０は、媒体再生器２０２とデータベース２２０との間でデータを送信するために使用され、バス２３２は、媒体再生器２０２と媒体同期レイヤ２０４との間でデータを送信するために使用される。媒体同期レイヤ２０４は、さらに、それぞれバス２３２、２３６、２３８を介してビデオコーダ・デコーダ２０６及び／又は音声コーダ・デコーダ２０８、及び、触覚ユニット２１０と接続されている。ビデオコーダ・デコーダ２０６及び音声コーダ・デコーダ２０８は、デジタル情報を圧縮し解凍するための、ソフトウエアモジュール、ハードウエア機器、又はハードウエア構成要素とソフトウエア構成要素との組合せであり得る。ある実施形態においては、機器２００は、終端ユニットそのもの（例えば、携帯電話）である。他の実施形態においては、機器２００は、遠隔サーバ又は他の構成要素上に格納される。このことによって、機器２００は、媒体ストリームを提供する情報源と終端ユニットとの間の中継ノードとしての役割を果たす。
【００２３】
ある実施形態においては、触覚情報とともにビデオ情報及び／又は音声情報を含み、かつ、完全な時間軸に対応したマスタ時刻コードを含むフレームのセットが、システム２００に送信される。このことによって、データストリームは、少なくとも一時的にメモリ２２０に格納又はバッファリングされる。媒体再生器２０２は、格納されているデータをメモリ２２０から受け取り、媒体トランスポートストリームで送信されてきた、音声データ又は音声フレーム、及び／若しくは、ビデオデータ又はビデオフレーム、及び、触覚データ又は触覚フレームを抽出する。媒体再生器２０２は、ＭＰ３、ＭＰ４、ＡＡＣ、Ｏｇｇ、Ｖｏｒｂｉｓ、ａｓｘ等の、特定の媒体トランスポートストリームフォーマット、又は複数の所与のストリーム及び拡張子を取り扱うようにプログラミングされ得る。
【００２４】
媒体再生器２０２によって媒体データ及び触覚データが抽出されると、媒体同期レイヤ２０４は、コンテンツを受け取り、媒体トランスポートストリーム内に受け取られたマスタ時刻コード又はタイミングテーブルによって特定された時刻において、適当なコーダ・デコーダに各媒体タイプのフレームを配分することによって、抽出された媒体コンテンツを同期させる。媒体同期レイヤ２０４は、各触覚フレームのタイムスタンプ又は起動時刻を読み出す。これらのタイムスタンプは、マスタ時刻コードと比較され、触覚効果タイミング及び触覚効果定義を、触覚ユニット２１０に送信し、適当な時刻に１つの（又は複数の）アクチュエータを起動するために使用される。起動時刻、すなわち、関連付けられた触覚効果がマスタ時刻コード５１０に応じて媒体再生器によって再生されるべき適当な時刻であるタイムスタンプ５２０が、各触覚フレームに対して割り当てられる。ある実施形態においては、タイムスタンプ５２０は、触覚情報を含まないフレームに対しては割り当てられない。例えば、フレームが触覚情報を含まない場合、データ（ベース）は、当該フレームを無視する。ある実施形態においては、触覚情報に関連付けられたタイムスタンプが、他の媒体成分に基づいて予め定義されたアルゴリズムに従って生成される。他の実施形態においては、触覚情報に関連付けられたタイムスタンプが、ユーザからの入力と他の媒体成分を考慮して予め定義されたアルゴリズムとの組合せに従って生成され得る。
【００２５】
図３は、ある実施形態に係る、システム２００の他の部分を示すブロック図である。図３に示される機器３００は、好ましくは、終端ユニット１０４内の媒体同期レイヤ２０２の部分であり、タイムスタンプされた触覚成分に関連付けられた物理的触覚効果が媒体成分に対応することを確実ならしめる。ある実施形態においては、機器３００は、図２の部分２００からは隔離されている。ある実施形態においては、機器３００は、ハードウエアベースかつソフトウエアベースである。ある実施形態においては、機器３００は、アプリケーションプログラミングインタフェース（ＡＰＩ）３０６、カーネル３０８、及び触覚回路３１４を含む。カーネル３０８は、さらに、振動発生器（ＶＧ）３１２及び触覚再生エンジン（ＨＰＥ）３１０を含む。振動発生器３１２及び触覚再生エンジン３１０は、カーネル３０８の部分として示されているが、振動発生器３１２及び触覚再生エンジン３１０は、カーネル３０８からは隔離されたモジュールであってもよい。さらに、部分３００は、触覚回路３１４に接続された１又は複数のアクチュエータを含む。当該システムには、任意のタイプのアクチュエータが使用されてもよい。機器３００は、前記した構成要素を含むものとして示されているが、追加的な及び／又は代替的な構成要素を含んでもよい。
【００２６】
ＡＰＩ３０６は、カーネル３０８に、低レベル命令を送信する。当該命令は、フレーム内に定義された触覚情報と一致するようにアクチュエータ３４６を動作させる役割を結果的に果たす。ある実施形態においては、ＨＰＥ３１０は、ＡＰＩ３０６及びバス３５８を介して触覚ユニット２１０から受け取られたデータに従って、触覚イベントをスケジューリングする。ＶＧ３１２は、ＡＰＩ３０６から受け取られた触覚情報に従って触覚効果を同期させ、触覚回路３１４に、アクチュエータ３４６を動作させるために使用される制御信号を提供する。触覚回路３１４は、例えば、接続３６２を介してアクチュエータ３４６を駆動する増幅器である。触覚回路３１４は、アナログ又はデジタルの電子回路であってもよく、及び／又は、ソフトウエアベースであってもよい。
【００２７】
ＡＰＩ３０６の機能は、対応する音声データ及び／又はビデオデータに関係する適正な時刻に触覚効果を開始させることである。この機能は、それに先行する又は後続する他の触覚フレームに依存しない自己完結型触覚効果である各触覚フレームであるためである。自己完結型触覚フレームを有することの効果は、機器３００を使用する際に、ユーザが触覚フレーム又は媒体フレームに無作為的にアクセスすることができるということ、そして、システムは、画像、音声及び触覚効果を含む、同期が取られたマルチメディア出力を確実に生成することが引続き可能であるということである。この点については、さらに詳細に後記する。
【００２８】
図４は、ある実施形態に係る、ビデオ信号、音声信号及び触覚信号を、同期を取って再生する方法を示すタイミング図４００である。タイミング図４００は、媒体トランスポートストリームに埋め込まれたマスタ時刻コード４０２、媒体トランスポートストリームのビデオ成分４０４、媒体トランスポートストリームの音声成分４０６及び媒体トランスポートストリームの触覚成分４０８を示す。マスタ時刻コード４０２は、媒体トランスポートストリームに埋め込まれており、媒体再生器によって媒体トランスポートストリームから抽出され得る。ある実施形態においては、マスタ時刻コード４０２は、ｔ０、ｔ１、ｔ２等のような、音声データ及び／又はビデオデータからは独立した一連のタイムスタンプを有する時間軸である。しかしながら、媒体ファイル内の音声成分及び／又はビデオ成分自体がタイムスタンプを含み、マスタ時刻コード４０２として使用されてもよい。
【００２９】
図４のビデオ成分４０４は、フレーム４０Ｖ...ｎＶのような複数の連続するビデオフレームを含む。音声成分４０６は、フレーム４０Ａ、４２Ａ...ｎＡのような複数の連続する音声フレームを含む。触覚成分４０８は、フレーム４０Ｈ、４２Ｈ、４４Ｈ、４６Ｈ...ｎＨのような複数の連続する触覚フレームを含む。“ｎ”は整数値である。図４に示されるように、ビデオ成分４０４、音声成分４０６及び触覚成分４０８は、すべてマスタ時刻コード４０２と同期が取られている。具体的には、４０Ｖのビデオフレームは、時刻ｔ０から時刻ｔ４までに及んでいる。これに対応して、音声フレーム４０Ａ、４２Ａが、タイムスタンプｔ０からタイムスタンプｔ４までのストリーム上に存在する。さらに、触覚フレーム４０Ｈ、４２Ｈ、４４Ｈ及び４６Ｈが、タイムスタンプｔ０からタイムスタンプｔ４までのストリーム上に存在する。
【００３０】
ビデオフレーム、音声フレーム及び触覚フレームの間でフレームフォーマットが異なっていてもよいが、各成分内では、共通のプロトコルに従ってフレームが作成されるものとする。ある実施形態においては、触覚フレーム４０Ｈは、データのサイズが触覚フレーム４２Ｈと実質的に同じである。他の実施形態においては、４０Ｈ及び４２Ｈによってカバーされるタイムスパンは、それぞれ例えば２００ミリ秒であるが、それらの物理的メモリ専有範囲は異なっていてもよい。２００ミリ秒に加えて、他のタイムスパンがあってもよい。ある実施形態においては、触覚フレームサイズは、物理的データ容量に反比例するような時間長によって決定される。音声フレーム４０６は均一な長さを有するものとして示されているが、音声フレームの長さは異なっていてもよい。ビデオフレーム及び触覚フレームについても同様である。
【００３１】
図４のタイムスタンプｔ０に注目すると、触覚フレーム４０Ｈ、音声フレーム４０Ａ及びビデオフレーム４０Ｖが、実質的に同じ時刻に再生を開始している。触覚フレーム４０Ｈはタイムスタンプｔ１において再生を終了するが、触覚フレーム４０Ｈ内で定義される触覚効果は、時刻ｔ１が経過した後も再生を継続するようにしてもよい。例えば、フレーム４０Ｈ内の触覚効果は、時刻ｔ０と時刻ｔ１との間の時間長よりも長い振動であってもよい。この場合、１又は複数のアクチュエータは、後の触覚効果を出力している間にも、前の触覚効果を重ねて出力し続ける。
【００３２】
タイムスタンプｔ１において、触覚フレーム４２Ｈは、出力され始める。起動時刻、すなわち、触覚フレーム４２Ｈが再生されるタイムスタンプは、マスタ時刻コードから決定される時刻に対応している。触覚フレームにタイムスタンプを割り当てることによって、触覚フレーム（例えば、フレーム４２Ｈ）は、４０Ｈのような先行する触覚フレームが再生を終了する時刻とは無関係に再生を開始できる。つまり、触覚フレーム４０Ｈがタイムスタンプｔ１の前で再生を終了した場合、タイムスタンプｔ１において触覚フレーム４２Ｈが再生されるまで、触覚効果は再生されない状態にある。タイムスタンプｔ２において、触覚フレーム４４Ｈ及び音声フレーム４２Ａが再生される。タイムスタンプｔ３において、ビデオフレーム４０Ｖ及び音声フレーム４２Ａが既に再生されているが、触覚フレーム４６Ｈが出力される。
【００３３】
コンテンツデータ４０４、４０６、４０８にタイムスタンプを付することによって、ユーザは、時間軸上の任意の点でコンテンツの特定の部分にアクセスでき、選択されたコンテンツに関連付けられた同期化された触覚効果を体験できる。つまり、ユーザが音声フレームｎＡを選択すると、システムは、音声フレームｎＡに関連付けられている触覚効果ｎＨを自動的に再生する。ユーザがファイルを進めて特定の音声符号（例えば、低音ドラム）を聴く、又は、特定のビデオ画像（例えば、爆発シーン）を見る状況において、この仕組みは有効である。このようにして、システムは、特定のコンテンツフレームに割り当てられた触覚効果（例えば、振動）を再生する。
【００３４】
もしもユーザが図４の時刻ｔｎまで早送りしたとすると、システムは、時刻ｔＨまで待った後に、次の触覚フレームｎＨを再生する。この実施形態においては、触覚フレームｎＨを再生する前に触覚効果が再生されることはない。同様に、再生器がｔＡまで待った後に、次の音声フレームｎＡが再生される。なお、この場合、ｔＡはｔＨに等しい。同様に、再生器は、ｔｖまで待って次のビデオフレームｎＶを再生する。
【００３５】
ある実施形態において、機器は、媒体同期レイヤ２０４が時刻ｔｎちょうどに始まる再生を特定することを可能にする。この場合、媒体同期レイヤ２０４は、触覚フレーム（ｎ−１）Ｈを触覚ユニット２１０に送信し、ｔｎ−（ｎ−１）Ｈの時間オフセットを特定する。触覚ユニット２１０は、フレーム（ｎ−１）Ｈの再生を試みるときに、この時間オフセットをＡＰＩに送信する。システムは、バッファ内に所定数のフレームを格納しておくことによって、選択されたフレームの直前の１又は複数のフレーム（又はその一部）を再生することも可能である。このようにすれば、ユーザは、正確な再生点において、触覚効果又は触覚効果の一部を体験することが可能になる。
【００３６】
ある実施形態においては、１つの触覚フレームは、ここで定義される１又は複数の触覚効果を含む。これらの触覚効果を定義しスケジューリングするパラメータが触覚フレーム内に提供される。このようにすることによって、システムは、触覚パラメータを解釈し、定義されたパラメータに対応する触覚効果を再生するようにアクチュエータに対して指示する。例えば、定義されたパラメータは、再生器に対して、フレーム内の再生予定の１又は複数の触覚効果をオフセットさせることが可能である。換言すれば、触覚効果間の時間オフセットは、パラメータが定義されている特定のフレームの開始に関するものであって、ファイル又は媒体トランスポートストリームの開始に関するものではない。１つのフレーム内で別々の効果をスケジューリングすることは、音声、画像及び触覚効果を再生する機器の役割である。例えば、媒体再生器のタイプ、ネットワーク接続、アクチュエータのタイプ、及び／又は機器のサイズによっては、終端機器の属性に基づいて触覚効果がどのようにスケジューリングされるかが変わる。機器の同期レイヤがビデオフレーム、音声フレーム及び触覚フレームをスケジューリングするので、異なる媒体間のあらゆるドリフトは、ファイル又はストリーム全体の開始時点ではなく、各フレームの開始時点で修正され得る。
【００３７】
図５は、ある実施形態に係る、一連の連続フレームに亘って解析される触覚効果を示す図５００である。図５は、マスタ時刻コード５１０及びマスタ時刻コード５１０と同期が取られた触覚成分５１２を含む。触覚成分５１２は、さらに、複数の触覚フレーム５０２、５０４、５０６等を含む。各触覚フレームは、固定された時間長を表し、固定された時間長を占め、固定された時間長に関連付けられた複数の触覚効果をパッケージングしている。時間軸及び、ｔ０、ｔ１のようなタイムスタンプがマスタ時刻コード５１０によって決定される。
【００３８】
ある実施形態においては、マスタ時刻コード５１０は機器によって使用され、機器がファイルとして受け取ったすべてのフレーム又はデータパケットの受信及び再生を調和させる。ある実施形態においては、フレームの時間長は、ユーザによる日常操作の間、選択され固定され得る。ある実施形態においては、データ特性及びユーザ選好に応じて、１００ミリ秒から３００ミリ秒までのフレーム長の範囲が使用される。特殊な動作では、１ミリ秒のフレーム長が使用されて極端に厳密な同期要求を満たしてもよい。１ミリ秒のフレーム長に対するコストは高額になり得る。１ミリ秒のフレーム長は、有意に拡大された帯域幅の使用を必要とするからである。ある実施形態においては、マスタ時刻コードのフレーム長は、ファイル内で設定され埋め込まれており、ユーザ又は機器３００によって変更され得ない。フレーム長はユーザが適宜設定可能であり、前記の値に限定されるものではない。
【００３９】
一般的に、フレーム長が長くなるほど、媒体効果と同期を取ることが必要になるフレーム数は減少する。このことは、触覚効果を、音声効果及び／又はビデオ効果と非同期状態としてしまう可能性が大きくなることを意味する。他方で、フレーム長が短くなるほど、音声効果及び／又はビデオ効果とよりよくかつより厳密に同期するが、触覚効果と媒体効果との間の同期化処理工数が増加し、より多くの処理能力及びより大きなネットワーク帯域幅が必要となる。
【００４０】
ある実施形態においては、触覚フレームのサイズは、触覚効果の複雑さに応じて、８、１６、２５、３２、６４、１２８又は２５６バイトであり得る。例えば、いくつかの触覚フレームは、それぞれ、特定の音声フレーム及び／又は特定のビデオフレームと相関する振動−音声データ及び／又は振動−画像データを含む。ある実施形態においては、１つの触覚フレームは、少なくとも１つの触覚効果をレンダリングするために必要となる情報、及び、触覚効果の開始時刻を示す１つのタイムスタンプを含む。フレーム内に触覚情報が存在しない場合は、触覚フレームは無視されてもよい。
【００４１】
図６は、ある実施形態に係る、触覚情報を格納する触覚フレーム６００を示すブロック図である。ある実施形態においては、触覚情報は、再生されるべき各触覚効果をフレーム内で定義するために使用される。触覚情報は、強度／マグニチュード、持続時間、周期、開始遅延、攻撃強度、攻撃タイミング、減衰強度、減衰タイミングのような様々なパラメータを含む。これらのパラメータは、１つのフレーム長が継続している間、１つの触覚効果又は一連の触覚効果を実施するために必要である。持続時間パラメータは、どれだけの期間に亘って触覚効果がアクチュエータによって再生されるべきかを特定するために使用される。触覚効果の開始遅延パラメータは、フレームの開始又はタイムスタンプの開始からどれだけの期間に亘って触覚効果が再生されるのを待つことになるかを示す。例えば、触覚効果は周期的であり得る。そして、周期パラメータがそのような周期を定義する。ある実施形態においては、触覚効果情報は、パラメータなしの符号化を使用する。ある実施形態においては、このような符号化は、パルス幅変調器に対して適用される一連の８ビットアクチュエータ制御値を含み得る。当該パルス幅変調器は、８ビット値ごとに持続時間５ミリ秒の間アクチュエータの一対のリードに印加する瞬間電圧を制御する。各触覚フレームが２００ミリ秒の触覚再生時間を表す場合、各触覚フレームは、ちょうど４０バイトのデータを含むことになる。触覚情報は、いくつかの触覚効果について境界を設定することによって触覚効果を制御するために使用されるエンベロープ情報を含んでもよい。
【００４２】
図６に示される触覚フレーム６００は、触覚効果定義部分６１０及び一連の触覚効果要求指示６１２、６１４、・・・６１６を含む触覚フレームのレイアウト例である。ある実施形態においては、触覚効果定義６１０は、持続時間パラメータ、停止時刻、開始時刻及び開始遅延パラメータのような制御情報を含む。各触覚効果要求指示６１２、６１４、・・・６１６は、マグニチュード、攻撃強度、減衰強度及び再生されることになる特定タイプの触覚効果についての情報を含んでもよい。このようにして、各触覚フレーム６００は、割り当てられたタイムスタンプに対応する開始時刻及び停止時刻を提供し、どのタイプの触覚効果がアクチュエータによって出力されるべきであるかについての情報を保持する。触覚フレームは、１又は複数の触覚効果を同時に起動させ得る。さらに、触覚効果は、フレーム長すなわち触覚フレームの期間を超えて再生を継続してもよい。ある実施形態においては、触覚効果定義部分６１０は、フレーム開始後どれだけ経過した後触覚効果を始めるかを制御するオフセットパラメータ（例えば、タイムスタンプの５ミリ秒後に振動開始）を示すことによって、所定時間だけずらして触覚効果が再生されることを特定してもよい。
【００４３】
図７は、ある実施形態に係る、触覚効果に関連付けられた波形７１０を示す図である。具体的には、ｘ軸は時刻を表し、ｙ軸はアクチュエータによって出力されるべき力のマグニチュード又は強度を表す。波形７０１は、いくつかの異なる周波数を使用して、触覚がユーザに感知されるようにする。波形７０１の触覚効果は、７０２として示された持続時間に亘って継続する。この持続時間中には、開始時間７０４、定常時間７０８及び減衰時間７０６が含まれる。ある実施形態においては、持続時間７０２は、触覚フレームの期間以下の長さである。他の実施形態においては、持続時間７０２は、触覚フレームの期間より長い。開始時刻における触覚効果の強度は、“開始水準”７０９によって特定される。触覚効果の強度は、定常時間７０８が始まると“マグニチュード”水準７１０に変化し、減衰時間７０６の終わりには減衰水準７１２に変化する。代替的に、減衰水準７１２は、マグニチュードゼロの触覚効果から計測されることもできる。図に示される波形は一例であり、いくつかの異なるタイプの既知の波形も可能である。
【００４４】
周期又は周期タイプは、一定力、方形波、三角波、正弦波、のこぎり波、逆のこぎり波、又はこれらのうちの任意の組合せであり得る。周期が異なれば、提供される触覚フィードバックも異なる。例えば、波形７０１は、０.１ヘルツから１０００ヘルツまでの範囲で変化し、当該範囲のなかで、異なる周波数は異なる触覚を提供する。
【００４５】
動作中、波形７０１によって起こされる触覚効果は、開始水準７０９、開始時間７０４、減衰水準７１２及び減衰時間７０６によって定義される。波形７０１の実行を時間で定義したとき、実行処理は、基準強度すなわち触覚効果の“マグニチュード”、持続時間、周期的に再生されるべきか否か、及び、周期的に再生されるべきであればどの程度の頻度で再生されるべきかを特定する。図１〜図３の実施形態において示されるように、触覚データ及びコンテンツデータが分離してストリーミングされるときに、触覚効果を定義する情報は、各触覚フレーム内に存在し、再生機器に対し直列的にダウンロードされる。後記する他の実施形態においては、触覚効果は、コンテンツファイルのファイルヘッダ内のフレーム内に格納される。波形７０１は一例に過ぎず、このような触覚効果はどのような数の方法で定義されてもよいことが当業者にはわかるであろう。
【００４６】
図１〜図３の実施形態においては、システムは様々な処理ステップを使用して、触覚フレームの着信ストリームをコンテンツフレームと同期させる。ここで記述されるステップは、機械実行可能指示又はコンピュータ実行可能指示として具現化されてもよい。これらの指示は、これらの指示を用いてプログラミングされている汎用システム又は専用システムに、ここで記述されるステップを実行させる。代替的に、ここで記述されるステップは、当該ステップを実行するための配線論理を備えた特定のハードウエア構成要素によって実行されてもよいし、プログラミングされた構成要素と特注のハードウエア構成要素との任意の組合せによって実行されてもよい。無線通信ネットワークを参照して実施形態が記述されるが、ここで記述される方法及び装置は、他のネットワークインフラストラクチャ又は有線を含む他のデータ通信環境にも同様に適用できる。
【００４７】
図８は、ある実施形態に係る、触覚効果を他の媒体成分と同期させる処理を示すフローチャートである。ブロック８０２において、プロセスは、媒体トランスポートストリーム内の少なくとも１つの触覚フレーム内で、触覚情報を識別する。ある実施形態においては、システムは、一連のビデオフレーム、音声フレーム及び触覚フレームを、それらのフレームが受け取られている間に、識別する。ある実施形態においては、この処理は、媒体再生器によって実行される。
【００４８】
ブロック８０４において、システムは、マスタ時刻コードに従ってすべてのフレームに対して割り当てるべきタイムスタンプを決定する。前記したように、ある実施形態においては、マスタ時刻コードは、媒体トランスポートストリームに埋め込まれていてもよい。ある実施形態においては、ビデオストリーム及び／又は音声ストリームに関連付けられた時刻コードがマスタ時刻コードとして使用されてもよい。前記したように、タイムスタンプは、触覚フレーム内で定義された触覚効果を開始するシステムが使用する時点である。
【００４９】
ブロック８０６において、システムは、タイムスタンプを触覚フレームに割り当てる。ここで、タイムスタンプは、触覚フレーム内に格納された触覚情報に従って、１又は複数のアクチュエータをいつ起動して触覚効果を生成するかを指示する。触覚フレームに割り当てられたすべてのタイムスタンプは、対応する音声フレーム及び／又はビデオフレームと同期が取れており、かつ、対応する音声フレーム及び／又はビデオフレームと位置がそろっていることが好ましい。システムは、前記したように１つの触覚フレーム内でのタイムスタンプのオフセットであるサブタイムスタンプを割り当てることもできる。ある実施形態においては、ブロック８０４、８０６は、触覚効果を媒体ファイルに設定する時点で実行される。
【００５０】
ブロック８０８において、プロセスは、各触覚フレーム内に格納されている触覚効果情報を解釈し、特定のフレームについて出力されるべき触覚効果のタイプを決定する。ある実施形態においては、システムは、ビデオ信号及び／又は音声信号に応じて触覚効果情報を符号化する。他の実施形態においては、プロセスは、１又は複数の予め定義されたアルゴリズムに応じて触覚効果情報を符号化する。各触覚フレームは、特定の触覚フレーム内で異なる時刻に開始する複数の触覚効果を備えてもよい。さらに、システムは、触覚効果情報に従って１又は複数のアクチュエータを起動することができ、関連付けられたタイムスタンプに従って触覚効果を維持することもできる。
【００５１】
前記したように、システムは、媒体データ及び触覚データの複数のストリームを受け取る。このことによって、システムはタイムスタンプを触覚フレームに割り当て、触覚フレームを近接したデータストリームと同期させ、ひとまとまりの触覚体験を作成する。他の実施形態においては、システムは、媒体トランスポートファイル内のヘッダタグに埋め込まれた触覚情報から触覚効果を出力する。このことによって、触覚効果は、ファイル内の音声データ及び／又はビデオデータと同期を取る。具体的には、システムは、既存のタグスキームを利用し得る。一例として、媒体トランスポートファイルに埋め込まれたＩＤ３Ｖ２タグスキームがある。システムは、好ましくはファイル内のデータに先行するヘッダタグを読み出すことによって、格納された触覚情報を解釈し、触覚情報を他の媒体情報と同期させる。本明細書では、発明の実施形態を記述するためにＩＤ３Ｖ２タグスキームを使用したが、他のタグスキーム及び他の解決方法（例えば、ＩＤ３Ｖ１、Ｌｙｒｉｃｓ３）が使用されてもよい。
【００５２】
一般的に、タグスキームは、媒体ファイルの先頭に付されたデータの塊であるタグを使用する。このようにして、タグは、１又は複数のより小さなフレームの塊を保持する。図９に示されるように、タグは、タイトル、アルバム、実演家、ウエブサイト、歌詞、エコライザプリセット、写真のような任意のタイプの情報を含み得る。ある実施形態においては、各フレームの容量は１６メガバイトであり、タグ全体の容量は２５６メガバイトであり得るが、フレームサイズはこれらの値に限定されない。ある実施形態においては、タグは、新たなフレームが追加され得るコンテナフォーマット（例えば、ＩＦＦ、ＰＮＧ拡張子）である。さらに、コンテンツデータの先頭部分又はコンテンツデータの前にタグを配置することによって、ファイルが終端ユニットにストリーミングされたとき、システムはタグ及びタグに埋め込まれた情報を使用することが可能になる。ある実施形態においては、タグは、コンテンツデータの後に配置されるので、システムは、タグデータから同期化された触覚効果を効果的にレンダリングできる。
【００５３】
タグは、ソフトウエアを使用するプログラマ又は管理者によって触覚情報に直接埋め込まれている。対応する媒体ファイルに埋め込まれたタグは、受信終端ユニット１０４（図１）、サーバ、又は受信終端ユニット１０４に対して後ほどダウンロードするための他の格納手段に送信される。ある実施形態においては、触覚情報及び同期情報を含むタグの関連部分又はタグ自身は、受信終端機器１０４から要求すれば受信終端機器１０４に配信されるグレースノート社のコンパクトディスクデータベースＣＤＤＢと同等の遠隔データベースに格納される。ある実施形態においては、終端機器１０４は、受け取られたヘッダフレームからの情報を終端機器１０４に格納されているコンテンツデータと組合せてもよい。こうすることによって、組み合わせは終端機器によって処理されかつ出力され、媒体データと同期の取られた触覚効果を作成する。
【００５４】
図９は、ある実施形態に係る媒体ファイルのタグを示す。図９の媒体ファイル９００は、音声データ及び／又はビデオデータを含む媒体コンテンツデータ９０２を含む。ある実施形態においては、ヘッダタグ９０４が、媒体データファイル９０２の先頭部分に付されている。ヘッダタグ９０４は、非公開フレーム９０６、情報フレーム９０８、歌詞フレーム９１０、写真フレーム９１２、コメントフレーム９１４、及びプログラマによって挿入されるべき他の追加フレームを含んでもよい。タグは、示されたフレーム例に限定されることなく、追加的フレーム及び／又は代替的フレームが媒体ファイル９００とともに使用されてもよい。さらに、ヘッダタグ９０４内に複数の特定のフレームが存在してもよい（例えば、２つの歌詞フレーム９１０、２つの写真フレーム９１２等）。ここでは、音声データ／ビデオデータに先行するものとしてタグを説明したが、タグは、音声データ／ビデオデータの後に配置されてもよいし、音声データ及びビデオデータのパッケット内またはパケット間に配置されてもよい。
【００５５】
非公開フレーム９０６は、２進数フォーマットで格納される。非公開フレームは、対応する添付媒体ファイル９０２について触覚効果が出力される予定であることを終端ユニット内の媒体再生器に知らせるようにプログラミングされてもよい。ある実施形態においては、非公開フレームは、触覚フレームごとの触覚情報と同様に、同期情報を直接含むようにプログラミングされてもよい。同期情報は、タイムスタンプ情報を含んでもよい。こうすることによって、媒体再生器は、非公開フレーム内のデータを読み出し、音声データ及び／又はビデオデータと同期が取られた、対応する触覚効果を出力する。ある実施形態においては、フレームごとの同期情報は、メタデータ内に格納される。こうすることによって、各フレームは、フレーム内に記憶されたパラメータ化された振動定義ごとに時間オフセットを保持する。例えば、特定のフレーム（例えば、フレームＡ）は、６００ミリ秒に設定されたタイムスタンプを有してもよい。触覚効果のオフセットがフレームＡのタイムスタンプの開始後５０ミリ秒及び１８５ミリ秒の時点で開始することを同期情報が指示することもできる。この場合、フレームＡが再生されたとき、アクチュエータは触覚効果（又は、触覚効果の予め定義された特性）をそれぞれ、６５０ミリ秒及び７８５ミリ秒で出力するように指示される。
【００５６】
さらに、非公開フレームは、識別情報を含み、終端機器に対し、非公開フレームは触覚情報を含んでいることを警告してもよい。このようにして、終端ユニットは、フレームの所有者を識別するデータを求めてすべての非公開フレームを検索する。ある実施形態においては、非公開フレームは、当該フレームに責任を負う組織の電子メールアドレスを含むＵＲＬ付のヌル終端文字列のような、所有者識別子フィールドを含む。追加的に及び／又は代替的に、所有者識別子フィールドは、責任組織の同一性を参照するリンクを含む。終端ユニットが、その所有者（例えば、イマーションコーポレーション）に属する非公開フレームを最終的に識別する時点で、システムは、さらに当該フレームを処理し、同期フレームの触覚処理に対して当該フレームを使用する。非公開フレームは、システムがタグを識別できるようにする情報を提供する他の手段を含んでもよいが、前記した構成に制限されない。
【００５７】
ヘッダタグは、前記したタイムスタンプ情報と触覚情報を搬送する同期フレームを保有している。同期フレームは、当該フレームをプログラミングするために使用されるいくつかのフィールドを含む。ある実施形態においては、同期フレーム内で使用されるフィールドは、文字コードセットがUnicode, ISO-8859-1又は他の文字コードを有する場合もあるし、有さない場合もある。同期フレームは、歌詞フレーム９１０のような、図９に示された任意のフレームであり得る。さらに、同期フレームは、タイムスタンプがミリ秒単位となり得る時間フォーマットフィールド、ＭＰＥＧフレーム等を含む。
【００５８】
ある例では、同期フレームは、Unicodeフォーマットで設定され、“イベント”フレーム内に配置される触覚イベントデータを有することが可能であり、タイムスタンプフォーマットはミリ秒単位で設定されることが可能である。この例では、データフィールドへの第１のエントリは、改行文字が後に続く文字列として与えられるエントリカウントである。ヌル文字が同期識別子として使用されるので、エントリカウント及びデータサイズは文字列として表される。サンプルごとに、フレームは、図６において前記した触覚効果要求フレームと触覚定義フレームとを含む。さらに、フレームは、同期識別子情報及びタイムスタンプ情報（必要な場合）を含む。
【００５９】
図１０は、ヘッダタグを使用して触覚情報を提供するある実施形態に係るシステムのブロック図である。媒体再生器１００２、同期レイヤ１００４、アプリケーションプログラミングインタフェース（ＡＰＩ）１００６、カーネル１００８、触覚再生エンジン１０１０、振動発生器１０１２、アクチュエータ駆動回路１０１４及び１又は複数のアクチュエータ１０１６を含むシステム１０００が図１０に示されている。システム１０００は、この構成要素に限定されず、代替的及び／又は追加的な構成要素が使用されてもよい。
【００６０】
図１０に示されるように、媒体ファイル１０１８は、ソフトウエアプログラムインターフェース１０２０にロードされて、媒体ファイル１０１８は、前記したように、ヘッダタグ内の識別子及び同期情報と同様に触覚情報を埋め込まれる。この情報の埋め込み処理は、イマージョン社が所有するVibeTonz ソフトウエア上で、又は他の適当なソフトウエアプログラムによって、実行され得る。一旦、媒体ファイルに同期情報及び触覚情報が埋め込まれると、修正された媒体ファイル１０２２は、機器１０００に直接送信され、又は、後からの検索に備えてメモリ又はサーバ上に格納され得る。ある実施形態においては、修正された媒体ファイルは、終端機器１０００に対してストリーミングするためのストリーミングサーバ上に格納され得る。
【００６１】
終端機器１０００にダウンロードされると、修正された媒体ファイル１０２２は、媒体再生器１００２によって受け取られる。このことによって、媒体再生器１００２は、媒体ファイル１０２２が触覚識別子を含むか否かを識別する。他の実施形態においては、媒体ファイル１０２２は、終端機器１０００に対してストリーミングされる。そのことによって、ヘッダ情報は、ストリームの開始の部分で検索され、格納される。格納されたヘッダ情報は、後から受け取られたストリーミング媒体ファイルとともに処理されて、触覚効果がストリーミングされた媒体と同期を取ることを確実ならしめる。ファイル１０２２が触覚識別子を含まない場合は、触覚効果情報はＡＰＩ１００６に中継されない。しかしながら、ファイル１０２２が非公開フレームに触覚識別子を含む場合は、同期レイヤ１００４が同期フレームを読み出し、ＡＰＩ１００６に必要な拡張情報を提供する。ＡＰＩ１００６は、正確な時刻に触覚効果を起動する。なぜならば、各触覚フレームは同期化フレーム内の他のフレームによらない自己完結型触覚効果であるからである。ＡＰＩ１００６は、触覚再生エンジン１０１０に対して低レベル命令を提供するようにカーネル１００８に指示する。そして、触覚再生エンジン１０１０は、駆動回路１０１４を起動して、アクチュエータ１０１６へ出力される制御信号を制御及び／又は増幅するように振動発生器１０１２に指示する。アクチュエータ１０１６は、同期レイヤ内に定義された特定の触覚効果とともに、指示されたタイムスタンプにおいて指示された触覚効果を自動的に出力する。前記したステップは適宜順序を替えて実行されてもよく、例示された順序に限定されるものではない。追加的及び／又は代替的なステップが、本発明の主旨を逸脱しない範囲で使用されてもよい。
【００６２】
実施形態及びアプリケーションを例示し説明して来たが、本発明の主旨を逸脱しない範囲で前記された以外の修正が可能であることが、本発明の開示を享受する当業者には明らかであろう。
【特許請求の範囲】
【請求項１】
コンテンツデータに先行するタグ内に埋め込まれた触覚イベントデータであって、フレーム内に埋め込まれたタイムスタンプ情報を有する触覚イベントデータを有する媒体ファイルを受け取り、
前記触覚イベントデータと前記コンテンツデータとが共有するタイムスタンプを使用して、前記埋め込まれた触覚イベントデータを前記媒体ファイル内の前記コンテンツデータと同期させ、
再生機器内のアクチュエータを介して触覚効果を出力する方法であって、
前記出力される触覚効果は、
前記コンテンツデータの対応する媒体イベントと同期が取られており、
前記媒体イベント及び前記触覚イベントは、
概ね同じタイムスタンプにおいて発生すること、
を特徴とする方法。
【請求項２】
前記埋め込まれた触覚フレームは、
前記タグの非公開フレーム内に存在すること、
を特徴とする請求項１に記載の方法。
【請求項３】
前記埋め込まれた触覚フレームは、
前記タグの歌詞フレーム内に存在すること、
を特徴とする請求項１に記載の方法。
【請求項４】
前記コンテンツデータは、
聴覚データを含むこと、
を特徴とする請求項１に記載の方法。
【請求項５】
前記コンテンツデータは、
ビデオデータを含むこと、
を特徴とする請求項１に記載の方法。
【請求項６】
前記フレーム内の前記埋め込まれた触覚イベントデータは、
開始時刻、マグニチュード、周波数及び持続時間を含むこと、
を特徴とする請求項１に記載の方法。
【請求項７】
前記媒体ファイルは、
前記再生機器において受け取られる前に格納されていること、
を特徴とする請求項１に記載の方法。
【請求項８】
前記媒体ファイルは、
情報源からストリーミングされ、前記再生機器によって受け取られること、
を特徴とする請求項１に記載の方法。
【請求項９】
前記媒体ファイルに関連付けられたマスタ時刻コードに応じて、前記媒体ファイルから前記埋め込まれた触覚イベントデータを抽出すること、
を特徴とする請求項１に記載の方法。
【請求項１０】
コンテンツデータに先行するフレーム内に埋め込まれた触覚イベントデータであって、前記フレーム内に埋め込まれたタイムスタンプ情報を有する触覚イベントデータを有する媒体ファイルを受け取る手段と、
マスタ時刻コードを使用して、前記埋め込まれた触覚イベントデータを前記媒体ファイル内の前記コンテンツデータと同期させる手段と、
アクチュエータを介して、前記触覚イベントデータの前記タイムスタンプに関連付けられた触覚効果を出力する手段と、を有すること、
を特徴とする装置。
【請求項１１】
前記埋め込まれた触覚フレームは、
前記タグの非公開フレーム内に存在すること、
を特徴とする請求項１０に記載の装置。
【請求項１２】
前記埋め込まれた触覚フレームは、
前記タグの歌詞フレーム内に存在すること、
を特徴とする請求項１０に記載の装置。
【請求項１３】
前記コンテンツデータは、
聴覚データを含むこと、
を特徴とする請求項１０に記載の装置。
【請求項１４】
前記コンテンツデータは、
ビデオデータを含むこと、
を特徴とする請求項１０に記載の装置。
【請求項１５】
前記媒体ファイルは、
ＭＰ３型式であること、
を特徴とする請求項１０に記載の装置。
【請求項１６】
前記フレーム内の前記埋め込まれた触覚イベントデータは、
開始時刻、マグニチュード、周波数及び持続時間を含むこと、
を特徴とする請求項１０に記載の装置。
【請求項１７】
前記媒体ファイルは、
再生機器において受け取られる前に格納されていること、
を特徴とする請求項１０に記載の装置。
【請求項１８】
前記媒体ファイルは、
情報源からストリーミングされ、再生機器によって受け取られること、
を特徴とする請求項１０に記載の装置。
【請求項１９】
前記媒体ファイルに関連付けられたマスタ時刻コードに応じて、前記媒体ファイルから前記埋め込まれた触覚イベントデータを抽出する手段を有すること、
を特徴とする請求項１０に記載の装置。
【請求項２０】
機械に読み取られる１又は複数の有形媒体内に符号化されたプログラムであって、
前記プログラムは前記機器に読み取られると、
コンテンツデータに先行するタグ内に埋め込まれた触覚イベントデータであって、フレーム内に埋め込まれたタイムスタンプ情報を有する触覚イベントデータを有する媒体ファイルを受け取り、
前記触覚イベントデータと前記コンテンツデータとが共有するタイムスタンプを使用して、前記埋め込まれた触覚イベントデータを前記媒体ファイル内の前記コンテンツデータと同期させ、
再生機器内のアクチュエータを介して触覚効果を出力する方法を実行し、
前記出力される触覚効果は、
前記コンテンツデータの対応する媒体イベントと同期が取られており、
前記媒体イベント及び前記触覚イベントは、
概ね同じタイムスタンプにおいて発生すること、
を特徴とするプログラム。
【請求項１】
コンテンツデータに先行するタグ内に埋め込まれた触覚イベントデータであって、フレーム内に埋め込まれたタイムスタンプ情報を有する触覚イベントデータを有する媒体ファイルを受け取り、
前記触覚イベントデータと前記コンテンツデータとが共有するタイムスタンプを使用して、前記埋め込まれた触覚イベントデータを前記媒体ファイル内の前記コンテンツデータと同期させ、
再生機器内のアクチュエータを介して触覚効果を出力する方法であって、
前記出力される触覚効果は、
前記コンテンツデータの対応する媒体イベントと同期が取られており、
前記媒体イベント及び前記触覚イベントは、
概ね同じタイムスタンプにおいて発生すること、
を特徴とする方法。
【請求項２】
前記埋め込まれた触覚フレームは、
前記タグの非公開フレーム内に存在すること、
を特徴とする請求項１に記載の方法。
【請求項３】
前記埋め込まれた触覚フレームは、
前記タグの歌詞フレーム内に存在すること、
を特徴とする請求項１に記載の方法。
【請求項４】
前記コンテンツデータは、
聴覚データを含むこと、
を特徴とする請求項１に記載の方法。
【請求項５】
前記コンテンツデータは、
ビデオデータを含むこと、
を特徴とする請求項１に記載の方法。
【請求項６】
前記フレーム内の前記埋め込まれた触覚イベントデータは、
開始時刻、マグニチュード、周波数及び持続時間を含むこと、
を特徴とする請求項１に記載の方法。
【請求項７】
前記媒体ファイルは、
前記再生機器において受け取られる前に格納されていること、
を特徴とする請求項１に記載の方法。
【請求項８】
前記媒体ファイルは、
情報源からストリーミングされ、前記再生機器によって受け取られること、
を特徴とする請求項１に記載の方法。
【請求項９】
前記媒体ファイルに関連付けられたマスタ時刻コードに応じて、前記媒体ファイルから前記埋め込まれた触覚イベントデータを抽出すること、
を特徴とする請求項１に記載の方法。
【請求項１０】
コンテンツデータに先行するフレーム内に埋め込まれた触覚イベントデータであって、前記フレーム内に埋め込まれたタイムスタンプ情報を有する触覚イベントデータを有する媒体ファイルを受け取る手段と、
マスタ時刻コードを使用して、前記埋め込まれた触覚イベントデータを前記媒体ファイル内の前記コンテンツデータと同期させる手段と、
アクチュエータを介して、前記触覚イベントデータの前記タイムスタンプに関連付けられた触覚効果を出力する手段と、を有すること、
を特徴とする装置。
【請求項１１】
前記埋め込まれた触覚フレームは、
前記タグの非公開フレーム内に存在すること、
を特徴とする請求項１０に記載の装置。
【請求項１２】
前記埋め込まれた触覚フレームは、
前記タグの歌詞フレーム内に存在すること、
を特徴とする請求項１０に記載の装置。
【請求項１３】
前記コンテンツデータは、
聴覚データを含むこと、
を特徴とする請求項１０に記載の装置。
【請求項１４】
前記コンテンツデータは、
ビデオデータを含むこと、
を特徴とする請求項１０に記載の装置。
【請求項１５】
前記媒体ファイルは、
ＭＰ３型式であること、
を特徴とする請求項１０に記載の装置。
【請求項１６】
前記フレーム内の前記埋め込まれた触覚イベントデータは、
開始時刻、マグニチュード、周波数及び持続時間を含むこと、
を特徴とする請求項１０に記載の装置。
【請求項１７】
前記媒体ファイルは、
再生機器において受け取られる前に格納されていること、
を特徴とする請求項１０に記載の装置。
【請求項１８】
前記媒体ファイルは、
情報源からストリーミングされ、再生機器によって受け取られること、
を特徴とする請求項１０に記載の装置。
【請求項１９】
前記媒体ファイルに関連付けられたマスタ時刻コードに応じて、前記媒体ファイルから前記埋め込まれた触覚イベントデータを抽出する手段を有すること、
を特徴とする請求項１０に記載の装置。
【請求項２０】
機械に読み取られる１又は複数の有形媒体内に符号化されたプログラムであって、
前記プログラムは前記機器に読み取られると、
コンテンツデータに先行するタグ内に埋め込まれた触覚イベントデータであって、フレーム内に埋め込まれたタイムスタンプ情報を有する触覚イベントデータを有する媒体ファイルを受け取り、
前記触覚イベントデータと前記コンテンツデータとが共有するタイムスタンプを使用して、前記埋め込まれた触覚イベントデータを前記媒体ファイル内の前記コンテンツデータと同期させ、
再生機器内のアクチュエータを介して触覚効果を出力する方法を実行し、
前記出力される触覚効果は、
前記コンテンツデータの対応する媒体イベントと同期が取られており、
前記媒体イベント及び前記触覚イベントは、
概ね同じタイムスタンプにおいて発生すること、
を特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公表番号】特表２０１１−５０１５７５（Ｐ２０１１−５０１５７５Ａ）
【公表日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願番号】特願２０１０−５３０１２０（Ｐ２０１０−５３０１２０）
【出願日】平成２０年１０月１６日（２００８．１０．１６）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０８０２１８
【国際公開番号】ＷＯ２００９／０５２３２２
【国際公開日】平成２１年４月２３日（２００９．４．２３）
【出願人】（３９９０４７１４９）イマージョン コーポレイション (57)
【Ｆターム（参考）】
【公表日】平成２３年１月６日（２０１１．１．６）
【国際特許分類】
【出願日】平成２０年１０月１６日（２００８．１０．１６）
【国際出願番号】ＰＣＴ／ＵＳ２００８／０８０２１８
【国際公開番号】ＷＯ２００９／０５２３２２
【国際公開日】平成２１年４月２３日（２００９．４．２３）
【出願人】（３９９０４７１４９）イマージョン コーポレイション (57)
【Ｆターム（参考）】
[ Back to top ]