体感効果再生装置
【課題】コンテンツ制作者の意向やエフェクトの特性を考慮し、違和感のないエフェクトの特殊再生を実現する体感効果再生装置を提供する。
【解決手段】体感効果再生装置１は、コンテンツに同期した体感効果メタデータを復号するメタデータ復号部１５と、メタデータ復号部１５で復号された体感効果メタデータに基づいて、体感機器である周辺機器１０を制御する制御部１６とを備える。制御部１６は、再生速度の変化を伴う特殊な再生である特殊再生が要求された場合、要求された特殊再生の内容と体感効果メタデータに付与された優先度情報とに応じて、体感効果メタデータが示す体感効果を提示するか否かを制御する。
【解決手段】体感効果再生装置１は、コンテンツに同期した体感効果メタデータを復号するメタデータ復号部１５と、メタデータ復号部１５で復号された体感効果メタデータに基づいて、体感機器である周辺機器１０を制御する制御部１６とを備える。制御部１６は、再生速度の変化を伴う特殊な再生である特殊再生が要求された場合、要求された特殊再生の内容と体感効果メタデータに付与された優先度情報とに応じて、体感効果メタデータが示す体感効果を提示するか否かを制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像及び／又は音声のコンテンツと連動して体感機器を動作させ、臨場感の高いコンテンツ視聴を実現するための体感効果再生装置に関するものであり、特に、コンテンツの特殊再生時における体感効果の再生制御を行う体感効果再生装置に関する。
【背景技術】
【０００２】
近年、映像及び／又は音声のコンテンツと連動して、照明、振動、香りなどの体感効果（エフェクト）を提示することにより、臨場感の高いコンテンツ視聴を実現する方法が提案されている。
【０００３】
例えば、特許文献１には、画像表示装置に表示される画像に連動して視聴環境照明を制御することによって、高い臨場感が得られる照明制御方法が開示されている。また、特許文献２には、映像／音声コンテンツと連動した振動エフェクトの特殊再生において、特殊再生モードに対応した重み付けを振動情報に与える振動体感再生装置が開示されている。
【０００４】
また、体感効果を記述するメタデータの検討も進められており、国際標準化団体であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では、照明、振動、香りなどの各種エフェクトを記述するためのメタデータの規格化が進められている（非特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１７３７８３号公報
【特許文献２】特開２００７−３２４８２９号公報
【非特許文献】
【０００６】
【非特許文献１】“Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ｏｆ ＩＳＯ／ＩＥＣ ２３００５ Ｓｅｎｓｏｒｙ Ｉｎｆｏｒｍａｔｉｏｎ”、［online］、２００９年４月、［平成２１年９月２９日検索］、インターネット ＜ＵＲＬ： http://www.chiariglione.org/mpeg/working_documents/mpeg-v/pt3.zip＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
コンテンツの視聴時には、しばしば、早送りや早戻しなどの特殊再生が行われる。しかしながら、体感効果の特殊再生では、再生速度が速い場合にすべてのエフェクトを時間的に短縮して提示すると、映像とエフェクトの対応関係が分かりにくくなるなど、違和感を感じてコンテンツ全体の内容の把握が困難になる場合があった。
【０００８】
また、例えばこのエフェクトは比較的重要でないため特殊再生時には省略しても構わないといったコンテンツ制作者の意向や、例えば香りエフェクトは拡散に時間がかかるといったエフェクトの特性によっては、エフェクトの特殊再生を制限したい場面があるものの、特許文献１，２や非特許文献１をはじめとする従来の技術ではそのような制限を行うことができなかった。
【０００９】
すなわち、従来の技術では、特殊再生がコンテンツ視聴側からの要求により開始される再生であるため、特殊再生時にエフェクトを実行するか否かのコンテンツ制作者側の意向を反映することができず、また、特殊再生が再生速度の変化を伴う再生であるため、特殊再生の時にエフェクトの特性に拘わらずそのエフェクトが実行されてしまう。
【００１０】
本発明は、上述のような実状に鑑みてなされたものであって、コンテンツ制作者の意向やエフェクトの特性を考慮し、違和感のないエフェクトの特殊再生を実現する体感効果再生装置を提供することを、その目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の第１の技術手段は、映像及び／又は音声のコンテンツと連動して体感機器で体感効果を提示する体感効果再生装置であって、前記コンテンツに同期した体感効果メタデータを復号するメタデータ復号部と、前記メタデータ復号部で復号された前記体感効果メタデータに基づいて前記体感機器を制御する制御部とを備え、前記制御部は、再生速度の変化を伴う特殊な再生である特殊再生が要求された場合、要求された特殊再生の内容と前記体感効果メタデータに付与された優先度情報とに応じて、前記体感効果メタデータが示す体感効果を提示するか否かを制御することを特徴としたものである。
【００１２】
第２の技術手段は、第１の技術手段において、前記優先度情報は、体感効果のエフェクト単位で付与された優先度値に基づく情報であることを特徴としたものである。
【００１３】
第３の技術手段は、第１の技術手段において、前記優先度情報は、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット単位で付与された優先度値に基づく情報であることを特徴としたものである。
【００１４】
第４の技術手段は、第１の技術手段において、前記優先度情報は、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケット単位で付与された優先度値に基づく情報であることを特徴としたものである。
【発明の効果】
【００１５】
本発明に係る体感効果再生装置によれば、コンテンツの特殊再生が要求された場合、体感効果メタデータに付与された優先度情報に基づいて体感効果を提示するか否かを制御するようにしたため、コンテンツ制作者の意向やエフェクトの特性を考慮した、違和感の無いエフェクトの特殊再生を実現することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る体感効果再生装置の概略構成例を示す機能ブロック図である。
【図２】図１のメタデータ復号部から出力される体感効果メタデータの例である。
【図３】特殊再生の再生速度と提示する体感効果との関係の一例を示した図である。
【図４】体感効果メタデータのＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケットの関係を示した図である。
【図５】ＰＥＳパケットヘッダの構成を示した図である。
【図６】ＴＳパケットヘッダの構成を示した図である。
【図７】本発明の一実施形態に係る体感効果再生装置の他の概略構成例を示す機能ブロック図である。
【発明を実施するための形態】
【００１７】
本発明に係る体感効果再生装置は、映像及び／又は音声のコンテンツと連動して体感機器で体感効果を提示する（再生させる）装置であり、例えば、テレビ装置、若しくはテレビ装置やモニタ装置に接続されたレコーダやプレーヤなどに、体感機器が接続されて構成される。以下、本発明に係る体感効果再生装置について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明の一実施形態に係る体感効果再生装置の概略構成例を示す機能ブロック図である。
図１で例示する体感効果再生装置１は、周辺機器１０、光ディスク１１の駆動装置、データ分離部１２、映像復号部１３、音声復号部１４、メタデータ復号部１５、制御部１６、操作部１７、ディスプレイ１８、及びスピーカ１９を備える。なお、周辺機器１０、光ディスク１１の駆動装置、ディスプレイ１８、及びスピーカ１９などは、体感効果再生装置１の本体の外部に接続されていてもよい。
【００１９】
周辺機器１０は、臨場感を与えるような体感を視聴者に提示する１又は複数の体感機器であり、照明装置、振動発生装置、香り発生装置などが挙げられる。光ディスク１１としては、例えばＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが挙げられる。また、光ディスク１１の代わりに磁気ディスクや半導体の不揮発性メモリなどの可搬メディアを採用してもよい。
【００２０】
データ分離部１２は、光ディスク１１の駆動装置が光ディスク１１から読み出した、体感効果を含む映像コンテンツの多重化データに対して逆多重化処理を行い、映像データを映像復号部１３へ、音声データを音声復号部１４へ、体感効果メタデータをメタデータ復号部１５へ出力する。映像復号部１３、音声復号部１４は、それぞれ映像データ、音声データを復号し、ディスプレイ１８、スピーカ１９へ出力する。メタデータ復号部１５は、コンテンツに同期した体感効果メタデータを復号し、制御部１６へ出力する。
【００２１】
光ディスク１１の記録フォーマットには、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ １３８１８−１）で規定されているＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を用いることができる。この場合、データ分離部１２では、ＴＳパケットに記述されているＰＩＤ（Ｐａｃｋｅｔ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に基づき、映像ＴＳ、音声ＴＳ、及びメタデータＴＳに分離し、メディア（映像／音声／メタデータ）ごとのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットを生成する。さらに、データ分離部１２では、ＰＥＳパケットからＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を生成し、映像ＥＳを映像復号部１３へ、音声ＥＳを音声復号部１４へ、メタデータＥＳをメタデータ復号部１５へ出力する。
【００２２】
映像ＥＳの符号化には、ＭＰＥＧ−４ Ｖｉｓｕａｌ（ＩＳＯ／ＩＥＣ １４４９６−２）やＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／Ｈ．２６４等の符号化方式を用いることができる。映像復号部１３で復号された映像データは、ディスプレイ１８に表示される。
【００２３】
音声ＥＳの符号化には、ＭＰＥＧ−２ ＡＡＣ（ＩＳＯ／ＩＥＣ １３８１８−７）や、ＭＰＥＧ−４ ＡＡＣ（ＩＳＯ／ＩＥＣ １４４９６−３）等の符号化方式を用いることができる。音声復号部１４で復号された音声データは、スピーカ１９に出力される。
【００２４】
メタデータＥＳの符号化には、非特許文献１で挙げたＭＰＥＧ−Ｖ Ｓｅｎｓｏｒｙ Ｉｎｆｏｒｍａｔｉｏｎ（ＩＳＯ／ＩＥＣ ２３００５−３）等、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ベースの記述形式を用いることができる。ＸＭＬで記述されたメタデータは、テキスト形式のＥＳとして符号化してもよいし、ＭＰＥＧ−７ Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ １５９３８−１）で規定されるバイナリフォーマット（ＢｉＭ）を用い、バイナリ形式のＥＳとして符号化してもよい。メタデータ復号部１５で復号された（ここでは、ＸＭＬのパース処理も含むものとする）体感効果メタデータは、制御部１６に出力される。
【００２５】
次に、制御部１６の動作について説明する。
制御部１６は、メタデータ復号部１５で復号された体感効果メタデータに基づいて周辺機器１０を制御する。本発明の主たる特徴として、制御部１６は、特殊再生が要求された場合、要求された特殊再生の内容と体感効果メタデータに付与された優先度情報（体感効果の優先度を示す情報）とに応じて、体感効果メタデータが示す体感効果を提示するか否か（つまり周辺機器１０で再生させるか否か）を制御する。
【００２６】
ここで、特殊再生とは、再生速度の変化を伴う特殊な再生とする。そして、要求された特殊再生の内容とは、特殊再生の種類や再生の速度などの特殊再生の度合いを指し、より具体的には、通常再生、早送り再生、早戻し再生、一時停止等の再生モードのうち、どの再生モードが要求されたのかを示す情報が挙げられる。この例では、制御部１６が、メタデータ復号部１５より出力された体感効果メタデータ内の優先度情報と、操作部１７より出力される再生モードの情報に基づき、周辺機器１０を適切に制御することになる。また、特殊再生の要求は、一般的に操作部１７によるユーザ操作に基づきなされるが、タイマなどを使用して自動的にコンテンツ再生側である体感効果再生装置１が実行することでなされてもよい。
【００２７】
次に、体感効果メタデータ及びそこに含まれる優先度情報について、図２を参照しながら説明する。図２は、メタデータ復号部１５から出力される体感効果メタデータの一例を示す図である。図２で例示する体感効果メタデータ２には、提示する各種エフェクト２１〜２５が時間（ｓｉ：ｐｔｓ）順に記述されている。
【００２８】
照明エフェクト２１は、時刻１００（ｓｉ：ｐｔｓ＝“１００”）より１０秒間（ｄｕｒａｔｉｏｎ＝“１０”）、緑色（ｃｏｌｏｒ＝“＃００ＦＦ００”）の照明（ｘｓｉ：ｔｙｐｅ＝“ｓｅｖ：ＬｉｇｈｔＴｙｐｅ”）を強度２０％（ｉｎｔｅｎｓｉｔｙ＝“０．２”）で点灯させることを示している。他の照明エフェクト２２，２５についても記述された値が違うだけである。
【００２９】
同様に、振動エフェクト２３は、時刻２００より５秒間、強度５０％で振動（ｘｓｉ：ｔｙｐｅ＝“ｓｅｖ：ＶｉｂｒａｔｉｏｎＴｙｐｅ”）を発生させることを示している。同様に、香りエフェクト２４は、時刻３００より１０秒間、強度１０％でバラ（ｓｃｅｎｔ＝“：ＳＣＥＮＴ：ｒｏｓｅ”）の香り（ｘｓｉ：ｔｙｐｅ＝“ｓｅｖ：ＳｃｅｎｔＴｙｐｅ”）を発生させることを示している。
【００３０】
そして、各エフェクト２１〜２５には、優先度（ｐｒｉｏｒｉｔｙ）が指定されている。より具体的には、エフェクト２１，２２，２３，２４，２５に対してそれぞれ５，１，２，４，３の値が指定されている。この例では、値が小さいほど優先度が高いことを示している。
【００３１】
このｐｒｉｏｒｉｔｙは、非特許文献１記載のｐｒｉｏｒｉｔｙである。このように、優先度情報として、非特許文献１記載のｐｒｉｏｒｉｔｙを利用することができる。このｐｒｉｏｒｉｔｙは、エフェクト単位（図２の＜Ｅｆｆｅｃｔ＞・・・＜／Ｅｆｆｅｃｔ＞単位）に付与が可能な属性であって、同じ種類（ｘｓｉ：ｔｙｐｅの値が同じ）のエフェクトであっても異なる値を取ることができ、逆に種類の異なるエフェクトに対して同じ値を取ることもできる。
【００３２】
コンテンツ制作者（体感効果メタデータ制作者）は、クライマックスシーンや、特にユーザに驚きや臨場感を与えたいシーン等で、体感効果の優先度を高く設定して、体感効果メタデータに付与することができる。また、図２の例では体感効果メタデータとして照明、振動、香りで臨場感を体感させるデータのみを挙げたが、これに限定されるものではなく、体感効果メタデータは例えば効果音、風、温度、イオン、霧等で臨場感を体感させるデータであってもよい。その場合、周辺機器１０として、それぞれ効果音発生装置、送風機、エアコンディショナー、イオン発生装置、霧発生装置を備えておけばよい。
【００３３】
次に、制御部１６で実行される、特殊再生の内容と図２の優先度情報とに応じた制御について、図３を参照しながら説明する。図３は、特殊再生の再生速度と提示する体感効果の関係の一例を示した図である。
【００３４】
図３で例示する関係テーブル３においては、特殊再生を再生速度が１〜２倍、２〜５倍、５〜１０倍、１０倍〜、と分類し、それぞれに体感効果の提示方法が記述されており、制御部１６はこの記述に従った制御を行う。
【００３５】
例えば１〜２倍速（例えば１．５倍速）程度の比較的ゆっくりとした早送り／早戻し再生では、体感効果メタデータ内の優先度（ｐｒｉｏｒｉｔｙ）値が４以下の体感効果を提示する。この場合、図２で示した照明エフェクト２１は、ｐｒｉｏｒｉｔｙ＝５のため、提示されない。５〜１０倍速（例えば８倍速）の比較的高速な早送り／早戻し再生では、優先度（ｐｒｉｏｒｉｔｙ）値が２以下の体感効果を提示する。この場合、照明エフェクト２２と振動エフェクト２３のみが提示される。なお、早送り／早戻しだけでなく、スロー再生やコマ送り／コマ戻し再生、一時停止時の動作も同様に適用可能である。
【００３６】
一方で、特殊再生ではなく通常再生時には、優先度の値に拘わらずすべての体感効果を提示する。関係テーブル３においては通常再生についても説明上、記載しているものの、制御部１６は、通常再生時には、優先度の値や関係テーブル３を参照せずにそのまま体感効果を提示するよう制御すればよい。このように、体感効果再生装置１は、優先度情報を通常再生時には参照せず特殊再生時にのみ参照すればよい。
【００３７】
以上説明したように、体感効果再生装置１では、優先度を示す情報を体感効果メタデータ内に記述し、それを解読できるように構成しておくことによって、コンテンツ制作者の意向やエフェクトの特性を考慮した体感効果の再生が実現できる。特に、メタデータ内に記述された優先度情報に基づいた特殊再生制御が可能なため、コンテンツ制作者（＝メタデータ制作者）の意向、例えばこのエフェクトは比較的重要でないため特殊再生時には省略しても構わないといった意向を、反映することができる。また、例えば拡散に時間がかかる香りエフェクトなどについては、通常再生時には実行する一方で、特殊再生時に実行しないように制限することができる。
【００３８】
また、図２では、優先度情報が体感効果のエフェクト単位で（つまり体感効果ごとに）付与された優先度値に基づく情報である例を挙げた。このようにエフェクトごとに付与しておくことで、制御部１６が、コンテンツ制作者の意向やエフェクトの特性を考慮した違和感の無いエフェクトの特殊再生をいずれのエフェクトに対しても実行することができる。それにより、エフェクトによって特殊再生時の再生を止めたり実行したりすることができる。また、優先度情報は、体感効果のエフェクト単位で付与された優先度値そのものに限らず、その優先度値から何らかの簡易な演算を施して得た値を利用してもよい。
【００３９】
また、上述の例では、優先度情報として、メタデータＥＳレベルの（ＸＭＬ記述レベルの）優先度値を利用して、特殊再生時の体感効果の再生制御を実現したが、ＭＰＥＧ−２トランスポートストリームにおけるＰＥＳパケットレベルの優先度値（ＰＥＳパケット単位で付与された優先度値）や、ＴＳパケットレベルの優先度値（ＴＳパケット単位で付与された優先度値）を利用してもよい。これらの優先度値も、そのまま優先度情報として利用してもよいし、何らかの簡単な演算を施したものを優先度情報として利用してもよい。
【００４０】
このような例、すなわち優先度情報としてＭＰＥＧ−２ ＳｙｓｔｅｍｓにおけるＰＥＳ＿ｐｒｉｏｒｉｔｙの値、ＴＳ＿ｐｒｉｏｒｉｔｙの値を利用した例について、図４〜図６を参照しながら説明する。また、ここで説明するいずれの値を利用した場合も、コンテンツ制作者の意向やエフェクトの特性を考慮した違和感の無いエフェクトの特殊再生を、いずれのエフェクトに対しても実行するために、優先度情報はエフェクトごとに付与される値であることが好ましい。
【００４１】
まず、体感効果メタデータのＥＳパケット、ＰＥＳパケット、ＴＳパケットの関係について、図４を参照して説明する。図４で示す関係４のように、各エフェクト（ＥＳパケット）４１はＰＥＳヘッダが付加されてＰＥＳパケット４２を構成し、さらにＰＥＳパケット４２は、所定の長さに分割されＴＳヘッダが付加されＴＳパケット４３を構成する。図４の構成では、１つのエフェクトが１つのＰＥＳパケットに（例えば、照明エフェクト２１のメタデータＥＳが１つのＰＥＳパケットに）格納されているが、これに限らず、１つのエフェクトが複数のＰＥＳパケットに格納されていてもよい。
【００４２】
図５は、ＰＥＳパケットヘッダの構成を示した図である。図５で例示するＰＥＳパケットヘッダ５には、シンタックス、それに対応するビット数、及びニーモニックが記述されている。シンタックスにはＰＥＳ＿ｐｒｉｏｒｉｔｙが含まれる。
【００４３】
ＰＥＳ＿ｐｒｉｏｒｉｔｙは、ＰＥＳパケットの優先度を示す１ビットのフラグであり、この例ではフラグが立っている方が優先度が高いものとする。すなわち、この例では、ＰＥＳ＿ｐｒｉｏｒｉｔｙ＝１のＰＥＳパケットは、ＰＥＳ＿ｐｒｉｏｒｉｔｙ＝０のＰＥＳパケットより優先度が高いことを示している。
【００４４】
例えば、図２の例で言うところのｐｒｉｏｒｉｔｙ＝“１”又は“２”のエフェクト（図２の照明エフェクト２２及び振動エフェクト２３）に対応するＰＥＳパケットのＰＥＳ＿ｐｒｉｏｒｉｔｙを“１”に設定すればよい。そして、それ以外、すなわち図２の例で言うところのｐｒｉｏｒｉｔｙが３以上のエフェクト（図２の照明エフェクト２１、香りエフェクト２４、及び照明エフェクト２５）に対応するＰＥＳパケットのＰＥＳ＿ｐｒｉｏｒｉｔｙを“０”に設定すればよい。
【００４５】
早送りや早戻しなどの特殊再生が要求された場合、データ分離部１２がＰＥＳ＿ｐｒｉｏｒｉｔｙ＝０の体感効果メタデータのＰＥＳパケットを破棄することによって、制御部１６が優先度の高い体感効果のみを提示するよう制御することができる。
【００４６】
このように、特殊再生時に、提示しない体感効果に対応するパケットをデータ分離部１２で破棄することによって、優先度の高い体感効果のみを提示し、且つ不要なデータはメタデータ復号部１５に渡らないため、処理負荷を軽減することができる。
【００４７】
図６は、ＴＳパケットヘッダの構成を示した図である。図６で例示するＴＳパケットヘッダ６には、シンタックス、それに対応するビット数、及びニーモニックが記述されている。シンタックスにはｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙが含まれる。
【００４８】
ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙは、ＴＳパケットの優先度を示す１ビットのフラグであり、この例ではフラグが立っている方が優先度が高いものとする。すなわち、この例では、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ＝１のＴＳパケットは、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ＝０のＴＳパケットより優先度が高いことを示している。
【００４９】
例えば、図２の例で言うところのｐｒｉｏｒｉｔｙ＝“１”又は“２”のエフェクト（図２の照明エフェクト２２及び振動エフェクト２３）に対応するＴＳパケット、あるいはＰＥＳ＿ｐｒｉｏｒｉｔｙが１に設定されたＰＥＳパケットに対応するＴＳパケットのｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙを“１”に設定すればよい。そして、それ以外、すなわち図２の例で言うところのｐｒｉｏｒｉｔｙが３以上のエフェクト（図２の照明エフェクト２１、香りエフェクト２４、及び照明エフェクト２５）に対応するＴＳパケット、あるいはＰＥＳ＿ｐｒｉｏｒｉｔｙが０に設定されたＰＥＳパケットに対応するＴＳパケットのｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙを“０”に設定すればよい。
【００５０】
早送りや早戻しなどの特殊再生が要求された場合、データ分離部１２がＴＳ＿ｐｒｉｏｒｉｔｙ＝０の体感効果メタデータのＴＳパケットを破棄することによって、制御部１６が優先度の高い体感効果のみを提示するよう制御することができる。この例でも、図５の例と同様に、不要なデータはメタデータ復号部１５に渡らないため、処理負荷を軽減することができる。
【００５１】
また、上述した図１の構成例では、映像データ、音声データ、及びメタデータ（体感効果を含む）が多重化され光ディスク１１に記録されているものを再生対象として説明したが、体感効果メタデータ本体は通信回線等を介して映像・音声コンテンツの再生時に取得する構成を採用してもよい。このような構成例を、図７を参照して説明する。図７は、本発明の一実施形態に係る体感効果再生装置の他の概略構成例を示す機能ブロック図である。
【００５２】
図７で例示する体感効果再生装置７は、体感効果メタデータを取得するために、図１の構成に加えて、蓄積部７１に接続されたサーバ７２に接続可能なようにネットワークアダプタ等を備えており、また、取得制御を含めた全体の制御を行う制御部７３が制御部１６の代わりに設けられている。この構成では、光ディスク１１には、ＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）等、体感効果メタデータ本体の場所を示すメタデータのみを多重化しておけばよい。
【００５３】
制御部７３は、メタデータ復号部１５より出力されたメタデータが示す体感効果メタデータ本体のＵＲＩに基づき、サーバ７２に体感効果メタデータを要求する。サーバ７２は、その要求を受信し、蓄積部７１に記録されているデータのうち、その要求に対応する体感効果メタデータを検索して制御部７３に送信する。
【００５４】
また、図７では、光メディア１１内にコンテンツ及び体感効果メタデータ本体の場所情報が格納され、蓄積部７１に体感効果メタデータが蓄積された例を挙げたが、コンテンツや体感効果メタデータの取得方法としては様々な方法が採用できる。
【００５５】
例えば、体感効果再生装置は、コンテンツと体感効果メタデータとを双方、放送波として受信するように構成してもよい。また、体感効果再生装置は、放送波としてコンテンツ及び体感効果メタデータの場所情報を受信し、サーバ７２を介して蓄積部７１や光ディスク１１等の記録メディアから体感効果メタデータを取得するように構成することも可能である。また、体感効果再生装置は、コンテンツと体感効果メタデータの双方を、ビデオオンデマンドで若しくはＩＰ（Internet Protocol）放送などで、サーバ７２及び蓄積部７１のような外部サーバ及び蓄積部から取得するように構成することができる。そのとき、コンテンツ及び体感効果メタデータ本体の場所情報を最初に取得して、体感効果メタデータ本体は必要なときに別途外部サーバ及び蓄積部から取得するようにしてもよい。
【符号の説明】
【００５６】
１，７…体感効果再生装置、２…体感効果メタデータ、３…関係テーブル、４…体感効果メタデータのＥＳパケットとＰＥＳパケットとＴＳパケットの関係、５…ＰＥＳパケットヘッダ、６…ＴＳパケットヘッダ、１０…周辺機器、１１…光ディスク、１２…データ分離部、１３…映像復号部、１４…音声復号部、１５…メタデータ復号部、１６，７３…制御部、１７…操作部、１８…ディスプレイ、１９…スピーカ、２１，２２，２５…照明エフェクト、２３…振動エフェクト、２４…香りエフェクト、４１…エフェクト（ＥＳパケット）、４２…ＰＥＳパケット、４３…ＴＳパケット、７１…蓄積部、７２…サーバ。
【技術分野】
【０００１】
本発明は、映像及び／又は音声のコンテンツと連動して体感機器を動作させ、臨場感の高いコンテンツ視聴を実現するための体感効果再生装置に関するものであり、特に、コンテンツの特殊再生時における体感効果の再生制御を行う体感効果再生装置に関する。
【背景技術】
【０００２】
近年、映像及び／又は音声のコンテンツと連動して、照明、振動、香りなどの体感効果（エフェクト）を提示することにより、臨場感の高いコンテンツ視聴を実現する方法が提案されている。
【０００３】
例えば、特許文献１には、画像表示装置に表示される画像に連動して視聴環境照明を制御することによって、高い臨場感が得られる照明制御方法が開示されている。また、特許文献２には、映像／音声コンテンツと連動した振動エフェクトの特殊再生において、特殊再生モードに対応した重み付けを振動情報に与える振動体感再生装置が開示されている。
【０００４】
また、体感効果を記述するメタデータの検討も進められており、国際標準化団体であるＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）では、照明、振動、香りなどの各種エフェクトを記述するためのメタデータの規格化が進められている（非特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１７３７８３号公報
【特許文献２】特開２００７−３２４８２９号公報
【非特許文献】
【０００６】
【非特許文献１】“Ｗｏｒｋｉｎｇ Ｄｒａｆｔ ｏｆ ＩＳＯ／ＩＥＣ ２３００５ Ｓｅｎｓｏｒｙ Ｉｎｆｏｒｍａｔｉｏｎ”、［online］、２００９年４月、［平成２１年９月２９日検索］、インターネット ＜ＵＲＬ： http://www.chiariglione.org/mpeg/working_documents/mpeg-v/pt3.zip＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
コンテンツの視聴時には、しばしば、早送りや早戻しなどの特殊再生が行われる。しかしながら、体感効果の特殊再生では、再生速度が速い場合にすべてのエフェクトを時間的に短縮して提示すると、映像とエフェクトの対応関係が分かりにくくなるなど、違和感を感じてコンテンツ全体の内容の把握が困難になる場合があった。
【０００８】
また、例えばこのエフェクトは比較的重要でないため特殊再生時には省略しても構わないといったコンテンツ制作者の意向や、例えば香りエフェクトは拡散に時間がかかるといったエフェクトの特性によっては、エフェクトの特殊再生を制限したい場面があるものの、特許文献１，２や非特許文献１をはじめとする従来の技術ではそのような制限を行うことができなかった。
【０００９】
すなわち、従来の技術では、特殊再生がコンテンツ視聴側からの要求により開始される再生であるため、特殊再生時にエフェクトを実行するか否かのコンテンツ制作者側の意向を反映することができず、また、特殊再生が再生速度の変化を伴う再生であるため、特殊再生の時にエフェクトの特性に拘わらずそのエフェクトが実行されてしまう。
【００１０】
本発明は、上述のような実状に鑑みてなされたものであって、コンテンツ制作者の意向やエフェクトの特性を考慮し、違和感のないエフェクトの特殊再生を実現する体感効果再生装置を提供することを、その目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の第１の技術手段は、映像及び／又は音声のコンテンツと連動して体感機器で体感効果を提示する体感効果再生装置であって、前記コンテンツに同期した体感効果メタデータを復号するメタデータ復号部と、前記メタデータ復号部で復号された前記体感効果メタデータに基づいて前記体感機器を制御する制御部とを備え、前記制御部は、再生速度の変化を伴う特殊な再生である特殊再生が要求された場合、要求された特殊再生の内容と前記体感効果メタデータに付与された優先度情報とに応じて、前記体感効果メタデータが示す体感効果を提示するか否かを制御することを特徴としたものである。
【００１２】
第２の技術手段は、第１の技術手段において、前記優先度情報は、体感効果のエフェクト単位で付与された優先度値に基づく情報であることを特徴としたものである。
【００１３】
第３の技術手段は、第１の技術手段において、前記優先度情報は、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット単位で付与された優先度値に基づく情報であることを特徴としたものである。
【００１４】
第４の技術手段は、第１の技術手段において、前記優先度情報は、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケット単位で付与された優先度値に基づく情報であることを特徴としたものである。
【発明の効果】
【００１５】
本発明に係る体感効果再生装置によれば、コンテンツの特殊再生が要求された場合、体感効果メタデータに付与された優先度情報に基づいて体感効果を提示するか否かを制御するようにしたため、コンテンツ制作者の意向やエフェクトの特性を考慮した、違和感の無いエフェクトの特殊再生を実現することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る体感効果再生装置の概略構成例を示す機能ブロック図である。
【図２】図１のメタデータ復号部から出力される体感効果メタデータの例である。
【図３】特殊再生の再生速度と提示する体感効果との関係の一例を示した図である。
【図４】体感効果メタデータのＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケットの関係を示した図である。
【図５】ＰＥＳパケットヘッダの構成を示した図である。
【図６】ＴＳパケットヘッダの構成を示した図である。
【図７】本発明の一実施形態に係る体感効果再生装置の他の概略構成例を示す機能ブロック図である。
【発明を実施するための形態】
【００１７】
本発明に係る体感効果再生装置は、映像及び／又は音声のコンテンツと連動して体感機器で体感効果を提示する（再生させる）装置であり、例えば、テレビ装置、若しくはテレビ装置やモニタ装置に接続されたレコーダやプレーヤなどに、体感機器が接続されて構成される。以下、本発明に係る体感効果再生装置について、図面を参照しながら詳細に説明する。
【００１８】
図１は、本発明の一実施形態に係る体感効果再生装置の概略構成例を示す機能ブロック図である。
図１で例示する体感効果再生装置１は、周辺機器１０、光ディスク１１の駆動装置、データ分離部１２、映像復号部１３、音声復号部１４、メタデータ復号部１５、制御部１６、操作部１７、ディスプレイ１８、及びスピーカ１９を備える。なお、周辺機器１０、光ディスク１１の駆動装置、ディスプレイ１８、及びスピーカ１９などは、体感効果再生装置１の本体の外部に接続されていてもよい。
【００１９】
周辺機器１０は、臨場感を与えるような体感を視聴者に提示する１又は複数の体感機器であり、照明装置、振動発生装置、香り発生装置などが挙げられる。光ディスク１１としては、例えばＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）などが挙げられる。また、光ディスク１１の代わりに磁気ディスクや半導体の不揮発性メモリなどの可搬メディアを採用してもよい。
【００２０】
データ分離部１２は、光ディスク１１の駆動装置が光ディスク１１から読み出した、体感効果を含む映像コンテンツの多重化データに対して逆多重化処理を行い、映像データを映像復号部１３へ、音声データを音声復号部１４へ、体感効果メタデータをメタデータ復号部１５へ出力する。映像復号部１３、音声復号部１４は、それぞれ映像データ、音声データを復号し、ディスプレイ１８、スピーカ１９へ出力する。メタデータ復号部１５は、コンテンツに同期した体感効果メタデータを復号し、制御部１６へ出力する。
【００２１】
光ディスク１１の記録フォーマットには、ＭＰＥＧ−２ Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ １３８１８−１）で規定されているＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）を用いることができる。この場合、データ分離部１２では、ＴＳパケットに記述されているＰＩＤ（Ｐａｃｋｅｔ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に基づき、映像ＴＳ、音声ＴＳ、及びメタデータＴＳに分離し、メディア（映像／音声／メタデータ）ごとのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケットを生成する。さらに、データ分離部１２では、ＰＥＳパケットからＥＳ（Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を生成し、映像ＥＳを映像復号部１３へ、音声ＥＳを音声復号部１４へ、メタデータＥＳをメタデータ復号部１５へ出力する。
【００２２】
映像ＥＳの符号化には、ＭＰＥＧ−４ Ｖｉｓｕａｌ（ＩＳＯ／ＩＥＣ １４４９６−２）やＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／Ｈ．２６４等の符号化方式を用いることができる。映像復号部１３で復号された映像データは、ディスプレイ１８に表示される。
【００２３】
音声ＥＳの符号化には、ＭＰＥＧ−２ ＡＡＣ（ＩＳＯ／ＩＥＣ １３８１８−７）や、ＭＰＥＧ−４ ＡＡＣ（ＩＳＯ／ＩＥＣ １４４９６−３）等の符号化方式を用いることができる。音声復号部１４で復号された音声データは、スピーカ１９に出力される。
【００２４】
メタデータＥＳの符号化には、非特許文献１で挙げたＭＰＥＧ−Ｖ Ｓｅｎｓｏｒｙ Ｉｎｆｏｒｍａｔｉｏｎ（ＩＳＯ／ＩＥＣ ２３００５−３）等、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）ベースの記述形式を用いることができる。ＸＭＬで記述されたメタデータは、テキスト形式のＥＳとして符号化してもよいし、ＭＰＥＧ−７ Ｓｙｓｔｅｍｓ（ＩＳＯ／ＩＥＣ １５９３８−１）で規定されるバイナリフォーマット（ＢｉＭ）を用い、バイナリ形式のＥＳとして符号化してもよい。メタデータ復号部１５で復号された（ここでは、ＸＭＬのパース処理も含むものとする）体感効果メタデータは、制御部１６に出力される。
【００２５】
次に、制御部１６の動作について説明する。
制御部１６は、メタデータ復号部１５で復号された体感効果メタデータに基づいて周辺機器１０を制御する。本発明の主たる特徴として、制御部１６は、特殊再生が要求された場合、要求された特殊再生の内容と体感効果メタデータに付与された優先度情報（体感効果の優先度を示す情報）とに応じて、体感効果メタデータが示す体感効果を提示するか否か（つまり周辺機器１０で再生させるか否か）を制御する。
【００２６】
ここで、特殊再生とは、再生速度の変化を伴う特殊な再生とする。そして、要求された特殊再生の内容とは、特殊再生の種類や再生の速度などの特殊再生の度合いを指し、より具体的には、通常再生、早送り再生、早戻し再生、一時停止等の再生モードのうち、どの再生モードが要求されたのかを示す情報が挙げられる。この例では、制御部１６が、メタデータ復号部１５より出力された体感効果メタデータ内の優先度情報と、操作部１７より出力される再生モードの情報に基づき、周辺機器１０を適切に制御することになる。また、特殊再生の要求は、一般的に操作部１７によるユーザ操作に基づきなされるが、タイマなどを使用して自動的にコンテンツ再生側である体感効果再生装置１が実行することでなされてもよい。
【００２７】
次に、体感効果メタデータ及びそこに含まれる優先度情報について、図２を参照しながら説明する。図２は、メタデータ復号部１５から出力される体感効果メタデータの一例を示す図である。図２で例示する体感効果メタデータ２には、提示する各種エフェクト２１〜２５が時間（ｓｉ：ｐｔｓ）順に記述されている。
【００２８】
照明エフェクト２１は、時刻１００（ｓｉ：ｐｔｓ＝“１００”）より１０秒間（ｄｕｒａｔｉｏｎ＝“１０”）、緑色（ｃｏｌｏｒ＝“＃００ＦＦ００”）の照明（ｘｓｉ：ｔｙｐｅ＝“ｓｅｖ：ＬｉｇｈｔＴｙｐｅ”）を強度２０％（ｉｎｔｅｎｓｉｔｙ＝“０．２”）で点灯させることを示している。他の照明エフェクト２２，２５についても記述された値が違うだけである。
【００２９】
同様に、振動エフェクト２３は、時刻２００より５秒間、強度５０％で振動（ｘｓｉ：ｔｙｐｅ＝“ｓｅｖ：ＶｉｂｒａｔｉｏｎＴｙｐｅ”）を発生させることを示している。同様に、香りエフェクト２４は、時刻３００より１０秒間、強度１０％でバラ（ｓｃｅｎｔ＝“：ＳＣＥＮＴ：ｒｏｓｅ”）の香り（ｘｓｉ：ｔｙｐｅ＝“ｓｅｖ：ＳｃｅｎｔＴｙｐｅ”）を発生させることを示している。
【００３０】
そして、各エフェクト２１〜２５には、優先度（ｐｒｉｏｒｉｔｙ）が指定されている。より具体的には、エフェクト２１，２２，２３，２４，２５に対してそれぞれ５，１，２，４，３の値が指定されている。この例では、値が小さいほど優先度が高いことを示している。
【００３１】
このｐｒｉｏｒｉｔｙは、非特許文献１記載のｐｒｉｏｒｉｔｙである。このように、優先度情報として、非特許文献１記載のｐｒｉｏｒｉｔｙを利用することができる。このｐｒｉｏｒｉｔｙは、エフェクト単位（図２の＜Ｅｆｆｅｃｔ＞・・・＜／Ｅｆｆｅｃｔ＞単位）に付与が可能な属性であって、同じ種類（ｘｓｉ：ｔｙｐｅの値が同じ）のエフェクトであっても異なる値を取ることができ、逆に種類の異なるエフェクトに対して同じ値を取ることもできる。
【００３２】
コンテンツ制作者（体感効果メタデータ制作者）は、クライマックスシーンや、特にユーザに驚きや臨場感を与えたいシーン等で、体感効果の優先度を高く設定して、体感効果メタデータに付与することができる。また、図２の例では体感効果メタデータとして照明、振動、香りで臨場感を体感させるデータのみを挙げたが、これに限定されるものではなく、体感効果メタデータは例えば効果音、風、温度、イオン、霧等で臨場感を体感させるデータであってもよい。その場合、周辺機器１０として、それぞれ効果音発生装置、送風機、エアコンディショナー、イオン発生装置、霧発生装置を備えておけばよい。
【００３３】
次に、制御部１６で実行される、特殊再生の内容と図２の優先度情報とに応じた制御について、図３を参照しながら説明する。図３は、特殊再生の再生速度と提示する体感効果の関係の一例を示した図である。
【００３４】
図３で例示する関係テーブル３においては、特殊再生を再生速度が１〜２倍、２〜５倍、５〜１０倍、１０倍〜、と分類し、それぞれに体感効果の提示方法が記述されており、制御部１６はこの記述に従った制御を行う。
【００３５】
例えば１〜２倍速（例えば１．５倍速）程度の比較的ゆっくりとした早送り／早戻し再生では、体感効果メタデータ内の優先度（ｐｒｉｏｒｉｔｙ）値が４以下の体感効果を提示する。この場合、図２で示した照明エフェクト２１は、ｐｒｉｏｒｉｔｙ＝５のため、提示されない。５〜１０倍速（例えば８倍速）の比較的高速な早送り／早戻し再生では、優先度（ｐｒｉｏｒｉｔｙ）値が２以下の体感効果を提示する。この場合、照明エフェクト２２と振動エフェクト２３のみが提示される。なお、早送り／早戻しだけでなく、スロー再生やコマ送り／コマ戻し再生、一時停止時の動作も同様に適用可能である。
【００３６】
一方で、特殊再生ではなく通常再生時には、優先度の値に拘わらずすべての体感効果を提示する。関係テーブル３においては通常再生についても説明上、記載しているものの、制御部１６は、通常再生時には、優先度の値や関係テーブル３を参照せずにそのまま体感効果を提示するよう制御すればよい。このように、体感効果再生装置１は、優先度情報を通常再生時には参照せず特殊再生時にのみ参照すればよい。
【００３７】
以上説明したように、体感効果再生装置１では、優先度を示す情報を体感効果メタデータ内に記述し、それを解読できるように構成しておくことによって、コンテンツ制作者の意向やエフェクトの特性を考慮した体感効果の再生が実現できる。特に、メタデータ内に記述された優先度情報に基づいた特殊再生制御が可能なため、コンテンツ制作者（＝メタデータ制作者）の意向、例えばこのエフェクトは比較的重要でないため特殊再生時には省略しても構わないといった意向を、反映することができる。また、例えば拡散に時間がかかる香りエフェクトなどについては、通常再生時には実行する一方で、特殊再生時に実行しないように制限することができる。
【００３８】
また、図２では、優先度情報が体感効果のエフェクト単位で（つまり体感効果ごとに）付与された優先度値に基づく情報である例を挙げた。このようにエフェクトごとに付与しておくことで、制御部１６が、コンテンツ制作者の意向やエフェクトの特性を考慮した違和感の無いエフェクトの特殊再生をいずれのエフェクトに対しても実行することができる。それにより、エフェクトによって特殊再生時の再生を止めたり実行したりすることができる。また、優先度情報は、体感効果のエフェクト単位で付与された優先度値そのものに限らず、その優先度値から何らかの簡易な演算を施して得た値を利用してもよい。
【００３９】
また、上述の例では、優先度情報として、メタデータＥＳレベルの（ＸＭＬ記述レベルの）優先度値を利用して、特殊再生時の体感効果の再生制御を実現したが、ＭＰＥＧ−２トランスポートストリームにおけるＰＥＳパケットレベルの優先度値（ＰＥＳパケット単位で付与された優先度値）や、ＴＳパケットレベルの優先度値（ＴＳパケット単位で付与された優先度値）を利用してもよい。これらの優先度値も、そのまま優先度情報として利用してもよいし、何らかの簡単な演算を施したものを優先度情報として利用してもよい。
【００４０】
このような例、すなわち優先度情報としてＭＰＥＧ−２ ＳｙｓｔｅｍｓにおけるＰＥＳ＿ｐｒｉｏｒｉｔｙの値、ＴＳ＿ｐｒｉｏｒｉｔｙの値を利用した例について、図４〜図６を参照しながら説明する。また、ここで説明するいずれの値を利用した場合も、コンテンツ制作者の意向やエフェクトの特性を考慮した違和感の無いエフェクトの特殊再生を、いずれのエフェクトに対しても実行するために、優先度情報はエフェクトごとに付与される値であることが好ましい。
【００４１】
まず、体感効果メタデータのＥＳパケット、ＰＥＳパケット、ＴＳパケットの関係について、図４を参照して説明する。図４で示す関係４のように、各エフェクト（ＥＳパケット）４１はＰＥＳヘッダが付加されてＰＥＳパケット４２を構成し、さらにＰＥＳパケット４２は、所定の長さに分割されＴＳヘッダが付加されＴＳパケット４３を構成する。図４の構成では、１つのエフェクトが１つのＰＥＳパケットに（例えば、照明エフェクト２１のメタデータＥＳが１つのＰＥＳパケットに）格納されているが、これに限らず、１つのエフェクトが複数のＰＥＳパケットに格納されていてもよい。
【００４２】
図５は、ＰＥＳパケットヘッダの構成を示した図である。図５で例示するＰＥＳパケットヘッダ５には、シンタックス、それに対応するビット数、及びニーモニックが記述されている。シンタックスにはＰＥＳ＿ｐｒｉｏｒｉｔｙが含まれる。
【００４３】
ＰＥＳ＿ｐｒｉｏｒｉｔｙは、ＰＥＳパケットの優先度を示す１ビットのフラグであり、この例ではフラグが立っている方が優先度が高いものとする。すなわち、この例では、ＰＥＳ＿ｐｒｉｏｒｉｔｙ＝１のＰＥＳパケットは、ＰＥＳ＿ｐｒｉｏｒｉｔｙ＝０のＰＥＳパケットより優先度が高いことを示している。
【００４４】
例えば、図２の例で言うところのｐｒｉｏｒｉｔｙ＝“１”又は“２”のエフェクト（図２の照明エフェクト２２及び振動エフェクト２３）に対応するＰＥＳパケットのＰＥＳ＿ｐｒｉｏｒｉｔｙを“１”に設定すればよい。そして、それ以外、すなわち図２の例で言うところのｐｒｉｏｒｉｔｙが３以上のエフェクト（図２の照明エフェクト２１、香りエフェクト２４、及び照明エフェクト２５）に対応するＰＥＳパケットのＰＥＳ＿ｐｒｉｏｒｉｔｙを“０”に設定すればよい。
【００４５】
早送りや早戻しなどの特殊再生が要求された場合、データ分離部１２がＰＥＳ＿ｐｒｉｏｒｉｔｙ＝０の体感効果メタデータのＰＥＳパケットを破棄することによって、制御部１６が優先度の高い体感効果のみを提示するよう制御することができる。
【００４６】
このように、特殊再生時に、提示しない体感効果に対応するパケットをデータ分離部１２で破棄することによって、優先度の高い体感効果のみを提示し、且つ不要なデータはメタデータ復号部１５に渡らないため、処理負荷を軽減することができる。
【００４７】
図６は、ＴＳパケットヘッダの構成を示した図である。図６で例示するＴＳパケットヘッダ６には、シンタックス、それに対応するビット数、及びニーモニックが記述されている。シンタックスにはｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙが含まれる。
【００４８】
ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙは、ＴＳパケットの優先度を示す１ビットのフラグであり、この例ではフラグが立っている方が優先度が高いものとする。すなわち、この例では、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ＝１のＴＳパケットは、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ＝０のＴＳパケットより優先度が高いことを示している。
【００４９】
例えば、図２の例で言うところのｐｒｉｏｒｉｔｙ＝“１”又は“２”のエフェクト（図２の照明エフェクト２２及び振動エフェクト２３）に対応するＴＳパケット、あるいはＰＥＳ＿ｐｒｉｏｒｉｔｙが１に設定されたＰＥＳパケットに対応するＴＳパケットのｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙを“１”に設定すればよい。そして、それ以外、すなわち図２の例で言うところのｐｒｉｏｒｉｔｙが３以上のエフェクト（図２の照明エフェクト２１、香りエフェクト２４、及び照明エフェクト２５）に対応するＴＳパケット、あるいはＰＥＳ＿ｐｒｉｏｒｉｔｙが０に設定されたＰＥＳパケットに対応するＴＳパケットのｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙを“０”に設定すればよい。
【００５０】
早送りや早戻しなどの特殊再生が要求された場合、データ分離部１２がＴＳ＿ｐｒｉｏｒｉｔｙ＝０の体感効果メタデータのＴＳパケットを破棄することによって、制御部１６が優先度の高い体感効果のみを提示するよう制御することができる。この例でも、図５の例と同様に、不要なデータはメタデータ復号部１５に渡らないため、処理負荷を軽減することができる。
【００５１】
また、上述した図１の構成例では、映像データ、音声データ、及びメタデータ（体感効果を含む）が多重化され光ディスク１１に記録されているものを再生対象として説明したが、体感効果メタデータ本体は通信回線等を介して映像・音声コンテンツの再生時に取得する構成を採用してもよい。このような構成例を、図７を参照して説明する。図７は、本発明の一実施形態に係る体感効果再生装置の他の概略構成例を示す機能ブロック図である。
【００５２】
図７で例示する体感効果再生装置７は、体感効果メタデータを取得するために、図１の構成に加えて、蓄積部７１に接続されたサーバ７２に接続可能なようにネットワークアダプタ等を備えており、また、取得制御を含めた全体の制御を行う制御部７３が制御部１６の代わりに設けられている。この構成では、光ディスク１１には、ＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）等、体感効果メタデータ本体の場所を示すメタデータのみを多重化しておけばよい。
【００５３】
制御部７３は、メタデータ復号部１５より出力されたメタデータが示す体感効果メタデータ本体のＵＲＩに基づき、サーバ７２に体感効果メタデータを要求する。サーバ７２は、その要求を受信し、蓄積部７１に記録されているデータのうち、その要求に対応する体感効果メタデータを検索して制御部７３に送信する。
【００５４】
また、図７では、光メディア１１内にコンテンツ及び体感効果メタデータ本体の場所情報が格納され、蓄積部７１に体感効果メタデータが蓄積された例を挙げたが、コンテンツや体感効果メタデータの取得方法としては様々な方法が採用できる。
【００５５】
例えば、体感効果再生装置は、コンテンツと体感効果メタデータとを双方、放送波として受信するように構成してもよい。また、体感効果再生装置は、放送波としてコンテンツ及び体感効果メタデータの場所情報を受信し、サーバ７２を介して蓄積部７１や光ディスク１１等の記録メディアから体感効果メタデータを取得するように構成することも可能である。また、体感効果再生装置は、コンテンツと体感効果メタデータの双方を、ビデオオンデマンドで若しくはＩＰ（Internet Protocol）放送などで、サーバ７２及び蓄積部７１のような外部サーバ及び蓄積部から取得するように構成することができる。そのとき、コンテンツ及び体感効果メタデータ本体の場所情報を最初に取得して、体感効果メタデータ本体は必要なときに別途外部サーバ及び蓄積部から取得するようにしてもよい。
【符号の説明】
【００５６】
１，７…体感効果再生装置、２…体感効果メタデータ、３…関係テーブル、４…体感効果メタデータのＥＳパケットとＰＥＳパケットとＴＳパケットの関係、５…ＰＥＳパケットヘッダ、６…ＴＳパケットヘッダ、１０…周辺機器、１１…光ディスク、１２…データ分離部、１３…映像復号部、１４…音声復号部、１５…メタデータ復号部、１６，７３…制御部、１７…操作部、１８…ディスプレイ、１９…スピーカ、２１，２２，２５…照明エフェクト、２３…振動エフェクト、２４…香りエフェクト、４１…エフェクト（ＥＳパケット）、４２…ＰＥＳパケット、４３…ＴＳパケット、７１…蓄積部、７２…サーバ。
【特許請求の範囲】
【請求項１】
映像及び／又は音声のコンテンツと連動して体感機器で体感効果を提示する体感効果再生装置であって、
前記コンテンツに同期した体感効果メタデータを復号するメタデータ復号部と、
前記メタデータ復号部で復号された前記体感効果メタデータに基づいて前記体感機器を制御する制御部とを備え、
前記制御部は、再生速度の変化を伴う特殊な再生である特殊再生が要求された場合、要求された特殊再生の内容と前記体感効果メタデータに付与された優先度情報とに応じて、前記体感効果メタデータが示す体感効果を提示するか否かを制御することを特徴とする体感効果再生装置。
【請求項２】
前記優先度情報は、体感効果のエフェクト単位で付与された優先度値に基づく情報であることを特徴とする請求項１に記載の体感効果再生装置。
【請求項３】
前記優先度情報は、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット単位で付与された優先度値に基づく情報であることを特徴とする請求項１に記載の体感効果再生装置。
【請求項４】
前記優先度情報は、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケット単位で付与された優先度値に基づく情報であることを特徴とする請求項１に記載の体感効果再生装置。
【請求項１】
映像及び／又は音声のコンテンツと連動して体感機器で体感効果を提示する体感効果再生装置であって、
前記コンテンツに同期した体感効果メタデータを復号するメタデータ復号部と、
前記メタデータ復号部で復号された前記体感効果メタデータに基づいて前記体感機器を制御する制御部とを備え、
前記制御部は、再生速度の変化を伴う特殊な再生である特殊再生が要求された場合、要求された特殊再生の内容と前記体感効果メタデータに付与された優先度情報とに応じて、前記体感効果メタデータが示す体感効果を提示するか否かを制御することを特徴とする体感効果再生装置。
【請求項２】
前記優先度情報は、体感効果のエフェクト単位で付与された優先度値に基づく情報であることを特徴とする請求項１に記載の体感効果再生装置。
【請求項３】
前記優先度情報は、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット単位で付与された優先度値に基づく情報であることを特徴とする請求項１に記載の体感効果再生装置。
【請求項４】
前記優先度情報は、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケット単位で付与された優先度値に基づく情報であることを特徴とする請求項１に記載の体感効果再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１１−１１９８８３（Ｐ２０１１−１１９８８３Ａ）
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願番号】特願２００９−２７４０１９（Ｐ２００９−２７４０１９）
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年６月１６日（２０１１．６．１６）
【国際特許分類】
【出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]