映像音声再生システム及び配信装置
【課題】映像と音声とを容易に同期させることができる映像音声再生システム及び配信装置を提供する。
【解決手段】映像音声再生システムは、映像再生用の映像データと音声再生用の音声データとを配信する配信装置と、配信された前記映像データを処理して映像として表示する映像表示装置と、配信された前記音声データを処理して音声として出力する音声出力装置と、を備え、前記配信装置は、同期調整用のテストコンテンツとしての、判定用音声の前記音声データと、前記判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像の前記映像データと、を配信する、ものとして構成されており、前記配信装置と前記音声出力装置の少なくとも何れかは、前記判定用映像における前記タイミングで前記判定用音声が出力されるように、前記音声出力装置からの出力を遅延させる、ものとして構成されている。
【解決手段】映像音声再生システムは、映像再生用の映像データと音声再生用の音声データとを配信する配信装置と、配信された前記映像データを処理して映像として表示する映像表示装置と、配信された前記音声データを処理して音声として出力する音声出力装置と、を備え、前記配信装置は、同期調整用のテストコンテンツとしての、判定用音声の前記音声データと、前記判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像の前記映像データと、を配信する、ものとして構成されており、前記配信装置と前記音声出力装置の少なくとも何れかは、前記判定用映像における前記タイミングで前記判定用音声が出力されるように、前記音声出力装置からの出力を遅延させる、ものとして構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声再生システム及び配信装置に関する。
【背景技術】
【０００２】
従来、デジタル放送やＩＰ（Internet Protocol）放送では、受信信号をＳＴＢ（Set Top Box）やデジタルテレビに内蔵されているチューナによって復調して、ＴＳ（Transport Stream）を得ている。ＴＳには、映像、音声やＥＰＧ（Electronic Program Guide）などの、データの種類に対応したＰＩＤ（Packet ID）が割り振られている。ＴＳはデジタルテレビ内で復号処理され、復号処理された信号は、このＰＩＤに基づきデータの種類に応じてディスプレイと内蔵スピーカの何れかへ出力される。一般的に、映像データの表示処理には音声データの出力処理よりも長い時間が必要である。そこで、表示される映像と出力される音声との間に時間差が生じない様に、デジタルテレビ内において映像と音声の同期をとっている。
【０００３】
近年では、画質及び音質に対する視聴者の要求は高まり、デジタルテレビにおいても高画質化及び高音質化が要求されている。特に、音質に関しては、デジタルテレビの内蔵スピーカは、市販されている高級アンプとスピーカに比べ、音質が劣る。また、デジタルテレビのみで５．１ｃｈや７．１ｃｈといったサラウンドシステムに対応することは困難である。これらの理由から、デジタルテレビの外部にデジタルオーディオシステムを接続することが行われている。従来、このようにデジタルテレビに接続して用いられるデジタルオーディオシステムでは、デジタルテレビからのＥＳ（Elementary Stream）又は復号後のＰＣＭ（Pulse Code Modulation）をオーディオアンプで受け、ＥＳであれば復号して、スピーカへ出力している。
【０００４】
一方、高画質化及び高音質化を達成できるホームサーバシステム（映像音声再生システム）が提案されている。ホームサーバシステムは、デジタル放送やＩＰ放送などのデジタルコンテンツをホームサーバで受信し、蓄積し、復号化し、映像はディスプレイ（例えばデジタルテレビ）により表示し、音声はオーディオシステムのスピーカから出力するものである。
【０００５】
しかしながら、この様なホームサーバシステムにおいては、映像データを表示処理するディスプレイと音声データを出力処理するオーディオシステムとが別々の機器であり、各機器が独立した処理を行う。そのため、映像データと音声データを同期させてサーバから配信しても、ディスプレイに表示される映像とオーディオシステムから出力される音声とを同期させることができず、視聴者に違和感を与えていた。
【０００６】
なお、複数のＡＶ機器をネットワークを介して接続し、テレビ等で映像を表示し、オーディオシステムで音声を出力するシステムにおいて、映像と音声とを同期させる技術が知られている（特許文献１参照）。しかし、この技術では、ネットワークにおける遅延時間が刻々と変化する状況下で映像と音声とを同期させるために、機器間の相互間通信や特殊なオーディオシステムが必要となる。また、機器間の通信が多くなるため、音声等の出力に時間がかかる。
【特許文献１】特開２００８−１３６０２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、映像と音声とを容易に同期させることができる映像音声再生システム及び配信装置を提供することにある。
【課題を解決するための手段】
【０００８】
本願発明の一態様によれば、映像再生用の映像データを映像表示装置に配信し、音声再生用の音声データを音声出力装置に配信する、配信装置であって、前記音声データの配信を遅延させる、音声配信遅延部を備え、同期調整用のテストコンテンツとしての、判定用音声の前記音声データと、前記判定用音声が前記音声出力装置から出力されるべきタイミングを視覚的に判断可能な、前記映像表示装置に表示される判定用映像の前記映像データと、を配信する、ものとして構成されている、ことを特徴とする、配信装置が提供される。
【０００９】
また、本願発明の他の一態様によれば、映像再生用の映像データと音声再生用の音声データとを配信する配信装置と、配信された前記映像データを処理して映像として表示する映像表示装置と、配信された前記音声データを処理して音声として出力する音声出力装置と、を備え、前記配信装置は、同期調整用のテストコンテンツとしての、判定用音声の前記音声データと、前記判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像の前記映像データと、を配信する、ものとして構成されており、前記配信装置と前記音声出力装置の少なくとも何れかは、前記判定用映像における前記タイミングで前記判定用音声が出力されるように、前記音声出力装置からの出力を遅延させる、ものとして構成されている、ことを特徴とする、映像音声再生システムが提供される。
【発明の効果】
【００１０】
本発明によれば、映像と音声とを容易に同期させることができる映像音声再生システム及び配信装置を提供できる。
【発明を実施するための最良の形態】
【００１１】
以下に、図面を参照して本発明の実施形態について説明する。これらの実施形態は、本発明を限定するものではない。
【００１２】
以下の実施形態では、デジタル放送を受信する一例について説明する。
【００１３】
（第１の実施形態）
図１から図４を参照して本発明の第１の実施形態について説明する。本実施形態は、判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像を含むテストコンテンツを再生して、判定用映像の表示と判定用音声の出力とのタイミングのずれに基づいて映像データと音声データの遅延時間を調節するようにしたものである。
【００１４】
まず、本実施形態に係る映像音声再生システムの構成について説明する。図１に示す様に、映像音声再生システムは、サーバ１０（配信装置）と、ディスプレイ１１（映像表示装置）と、オーディオシステム１２（音声出力装置）と、を備える。
【００１５】
サーバ１０は、デジタル放送やＩＰ放送などのデジタルコンテンツを受信し、復調し、蓄積するものである。それと共に、蓄積されているデータを復号し、復号された映像再生用の映像データをディスプレイ１１に配信し、復号された音声再生用の音声データをオーディオシステム１２に配信するものである。
【００１６】
ディスプレイ１１は、配信された映像データを処理して映像として表示するものである。
【００１７】
オーディオシステム１２は、配信された音声データをオーディオアンプ１３で処理して、スピーカ１４〜１８から音声として出力するものである。
【００１８】
ディスプレイ１１は、例えば壁に掛けられて設置される事が想定される。そこで、ここでは、サーバ１０とディスプレイ１１は無線接続されるものとする。サーバ１０とオーディオシステム１２のオーディオアンプ１３は有線接続されるものとする。
【００１９】
次に、図２を参照して、サーバ１０についてより詳しく説明する。図２は、サーバ１０のブロック図である。
【００２０】
まず、データ蓄積部２０に蓄積されているデータ（ＴＳ：Transport Stream）は、デマルチプレックス部２１によって音声符号データと映像符号データとに分けられる。音声符号データは音声符号データ蓄積部２２に蓄積され、映像符号データは映像符号データ蓄積部２５に蓄積される。
【００２１】
音声復号部２３は音声符号データを復号化し、映像復号部２６は映像符号データを復号化する。復号化された音声データは音声出力データ蓄積部２４に蓄積され、復号化された映像データは映像出力データ蓄積部２７に蓄積される。
【００２２】
同期制御部２８は、音声符号データと映像符号データに付加されている時間情報（ＰＴＳ：Presentation Time Stamp）に基づき、音声出力データ蓄積部２４と映像出力データ蓄積部２７を制御して、音声データと映像データが出力されるタイミングを制御する。これにより、音声データと映像データは同期を保った状態でオーディオシステム１２やディスプレイ１１に配信される。
【００２３】
また、同期制御部２８は、音声出力データ蓄積部２４と、映像出力データ蓄積部２７と、音声符号データ蓄積部２２と、映像符号データ蓄積部２５とに、遅延時間を設定することもできる。
【００２４】
音声出力データ蓄積部２４と映像出力データ蓄積部２７の制御は、データの出力を遅延時間分だけ遅らせることで行う。
【００２５】
音声符号データ蓄積部２２と映像符号データ蓄積部２５の制御は、同様に、データの出力を遅延時間分だけ遅らせることで行う。また、音声出力データ蓄積部２４や映像出力データ蓄積部２７に出力可能なデータが無くなり音声や映像が途切れることを防いだり、音声出力データ蓄積部２４と映像出力データ蓄積部２７の容量をなるべく小さくしたりするために、音声出力データ蓄積部２４や映像出力データ蓄積部２７のデータ占有量により制御しても良い。つまり、音声出力データ蓄積部２４や映像出力データ蓄積部２７の残りのデータが所定の下限の閾値よりも少なくなると復号化を開始し、所定の上限の閾値よりも多くなると復号化を停止する様に制御しても良い。
【００２６】
このようにして、音声符号データ蓄積部２２と音声出力データ蓄積部２４（音声配信遅延部）は、オーディオシステム１２への音声データの配信を遅延させることができる。また、映像符号データ蓄積部２５と映像出力データ蓄積部２７（映像配信遅延部）は、ディスプレイ１１への映像データの配信を遅延させることができる。
【００２７】
なお、必要な遅延時間の長さと、音声出力データ蓄積部２４と映像出力データ蓄積部２７の容量と、により、音声符号データ蓄積部２２と映像符号データ蓄積部２５とにおいて遅延時間の設定を行うか否かをシステム単位で切り替える様にしても良い。
【００２８】
次に、映像コンテンツと音声コンテンツの同期調整の方法について説明する。同期調整は、ディスプレイ１１とオーディオシステム１２の設置位置を確定した後に行う。また、オーディオシステム１２においては、視聴者が音声を聞く位置を予めリスニングポイントとして設定し、各スピーカ１４〜１８から視聴者へ届く音声の遅延などを調整しておく。
【００２９】
同期調整は、予め用意されている同期調整用のテストコンテンツを、サーバ１０からディスプレイ１１とオーディオシステム１２とに配信し、再生させて行う。このテストコンテンツは、サーバ１０に備えられている記憶装置に記憶しておいても良く、記録媒体から読み出しても良く、デジタル放送等の受信信号に含まれていても良い。
【００３０】
次に、テストコンテンツについて説明する。テストコンテンツの映像コンテンツは、音声コンテンツとの同期がとれているか否かを容易に判断できるように、判定用音声がスピーカ１４〜１８から出力されるべきタイミングを視覚的に判断可能な判定用映像を含むものとする。
【００３１】
例えば、図３に示すように、ディスプレイ１１の画面の右から左へ音符３０〜３２が流れ、各々の音符３０〜３２がポイントＡに達する毎に判定用音声が出力されるべきタイミングを示すような判定用映像を含む映像コンテンツとする。つまり、このテストコンテンツは、同期がとれている場合には、各々の音符３０〜３２がポイントＡに達するタイミング毎に判定用音声が視聴者に聞こえるものである。なお、映像コンテンツは、この判定用音声が出力されるべきタイミングにおいて、判定用映像に明度変化をもたせたものでも良い。
【００３２】
テストコンテンツのデータ形式は、例えばデジタル放送の受信を想定して、図４に示すようにＴＳパケット構成とする。同図において、Ｖｎは映像コンテンツのＴＳパケット（ｎ番目のピクチャ）を表す。Ａｎは音声コンテンツのＴＳパケット（ｎ番目のフレーム）を表す。そして、判定用音声が出力されるべきタイミングでの判定用映像のピクチャにおけるＴＳパケット（例えばＶ１）と、その判定用音声のフレームにおけるＴＳパケット（例えばＡ１）とに、ＰＴＳなどの同一の時間情報（例えばＴ１）を埋め込んでおく。
【００３３】
サーバ１０は、テストコンテンツに含まれている映像コンテンツの映像符号データと音声コンテンツの音声符号データを復号化する。そして、復号した映像データや音声データをＰＴＳに従ったタイミングでディスプレイ１１やオーディオシステム１２に配信する。つまり、同一のＰＴＳを有する映像データと音声データを同時に配信する。
【００３４】
視聴者はディスプレイ１１を見ながら、ポイントＡに音符３０が到達したタイミングで上記判定用音声が聞こえるように、サーバ１０に遅延時間を設定して同期をとる。例えば、視聴者は、ポイントＡに音符３０が到達する前に判定用音声が聞こえた場合には、音声の遅延時間を長く設定する。また、視聴者は、ポイントＡに音符３０が到達した後に判定用音声が聞こえた場合には、映像の遅延時間を長く設定する。この調節を繰り返すことにより、リスニングポイントにおいて視聴者に届く判定用映像と判定用音声とを同期させることができる。その結果、デジタル放送等を受信する場合においても映像と音声とを同期させることができるので、視聴者に違和感を与えることがなくなる。
【００３５】
以上で説明した様に、本実施形態によれば、判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像を含むテストコンテンツを再生するようにしたので、視聴者は、映像音声再生システムが有する、判定用映像の表示と判定用音声の出力とのタイミングのずれを把握できる。このタイミングのずれに基づいて、サーバ１０から映像データや音声データを配信する際の遅延時間を調節できるので、映像と音声の同期調整を高精度且つ容易に行える。
【００３６】
また、サーバ１０において遅延時間を調整する様にしたので、既存のデジタルテレビやオーディオシステム１２をそのまま用いることができる。
【００３７】
また、ディスプレイ１１は映像出力機能のみを有しているものでも良い。つまり、デジタルテレビの様な音声コンテンツ処理機能やデマルチプレックス機能を実装していなくても良い。
【００３８】
さらに、復号前のデータを扱う音声符号データ蓄積部２２や映像符号データ蓄積部２５においても遅延時間を設定できるので、復号後のデータを扱う音声出力データ蓄積部２４や映像出力データ蓄積部２７のみで遅延時間を設定する場合よりも、これらの全体の容量を削減できる。
【００３９】
なお、本実施形態において、サーバ１０における遅延時間の調整に加え、ディスプレイ１１とオーディオシステム１２の少なくとも何れかにおいても遅延時間を調整できるようにしても良い。
【００４０】
この場合、既存のディスプレイ１１やオーディオシステム１２が遅延時間調整機能を有していれば、これら既存の装置に手を加えることなく同期調整できる。また、サーバ１０においても遅延時間を調整できるので、ディスプレイ１１とオーディオシステム１２において設定すべき遅延時間は短くて良い。つまり、ディスプレイ１１とオーディオシステム１２で必要とされる遅延用のバッファはサイズが小さいもので良い。
【００４１】
さらに、本実施形態においては、サーバ１０とオーディオシステム１２の少なくとも何れかにおいて遅延時間が調整できれば良い。つまり、サーバ１０においては遅延時間を調整できる様にせず、オーディオシステム１２のみ、又は、オーディオシステム１２及びディスプレイ１１において遅延時間を調整できる様に構成しても良い。この場合にも、既存のディスプレイ１１やオーディオシステム１２が遅延時間調整機能を有していれば、これら既存の装置に手を加えることなく同期調整できる。
【００４２】
（第２の実施形態）
次に、図５から図７を参照して本発明の第２の実施形態について説明する。本実施形態では、音声センサ５０と光センサ５１を用いてテストコンテンツの判定用音声と判定用映像を検知し、サーバ１０は、判定用映像が検知された時刻と判定用音声が検知された時刻との差が短くなるように映像データと音声データの遅延時間を調節するようにしている点が、第１の実施形態と異なる。
【００４３】
図５に示す様に、本実施形態に係る映像音声再生システムは、サーバ１０に接続されている音声センサ５０と光センサ５１を備える。その他の構成は、第１の実施形態と同一であるため、詳細な説明を省略する。
【００４４】
また、テストコンテンツの判定用映像は、第１の実施形態において説明した様に、判定用音声が出力されるべきタイミングにおいて明度変化を伴うものである。
【００４５】
音声遅延時間の算出方法について、図６を参照して説明する。サーバ１０からオーディオシステム１２に判定用音声の音声データが配信される時刻をｔ1とし、スピーカ１４〜１８から出力される判定用音声を音声センサ５０が検知する時刻をｔ１’ａとする。サーバ１０は、ｔ１’ａ−ｔ１を計算して音声遅延時間ｔ１ａｄを得る。
【００４６】
映像遅延時間の算出方法について、図７を参照して説明する。サーバ１０からディスプレイ１１に判定用映像の映像データが配信される時刻をｔ1とし、ディスプレイ１１に表示される判定用映像の明度変化を光センサ５１が検知する時刻をｔ１’ｖとする。そして、サーバ１０はｔ１’ｖ−ｔ１を計算して映像遅延時間ｔ１ｖｄを得る。
【００４７】
次に、サーバ１０は、音声遅延時間ｔ１ａｄと映像遅延時間ｔ１ｖｄとの差分遅延時間ｔ１ｄを計算する。そして、サーバ１０は、差分遅延時間ｔ１ｄが短くなる様に、音声符号データ蓄積部２２と音声出力データ蓄積部２４、または、映像符号データ蓄積部２５と映像出力データ蓄積部２７における遅延時間を制御する。これにより、サーバ１０は、ディスプレイ１１とオーディオシステム１２への映像データと音声データの配信タイミングの調整を行う。
【００４８】
例えば、音声遅延時間ｔ１ａｄが映像遅延時間ｔ１ｖｄよりも短い場合、サーバ１０は差分遅延時間ｔ１ｄだけ音声データの遅延時間を長くし、その配信タイミングを遅くする。
【００４９】
一方、音声遅延時間ｔ１ａｄが映像遅延時間ｔ１ｖｄよりも長い場合、サーバ１０は差分遅延時間ｔ１ｄだけ映像データの遅延時間を長くし、その配信タイミングを遅くする。
【００５０】
これにより、音声遅延時間ｔ１ａｄと映像遅延時間ｔ１ｖｄとをほぼ等しくできるので、視聴者に届く映像と音声とを同期させることができる。
【００５１】
以上で説明した様に、本実施形態によれば、音声センサ５０と光センサ５１によってテストコンテンツの判定用映像と判定用音声を検知し、サーバ１０が、判定用映像が検知された時刻と判定用音声が検知された時刻との差が短くなるように映像データと音声データの遅延時間を調節するようにしたので、映像と音声との同期調整が自動的に行える。
【００５２】
なお、サーバ１０は、計算した遅延時間に基づいて、ディスプレイ１１とオーディオシステム１２において遅延時間を調整する様に構成しても良い。
【００５３】
以上、本発明の実施形態を詳述してきたが、具体的な構成は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々に変形して実施することができる。
【００５４】
例えば、上記実施形態ではサーバがデジタル放送を受信する場合について説明したが、ＩＰ放送などを受信する場合にも本発明を適用できる。また、サーバは映像データと音声データを配信する装置であれば良く、例えばＤＶＤプレーヤーなどでも良い。
【００５５】
また、上記実施形態ではサーバは映像データと音声データの配信を遅延するものとして説明したが、少なくとも音声データの配信を遅延できれば良い。
【００５６】
また、サーバとディスプレイは有線接続されても良い。また、サーバとオーディオシステムは無線接続されても良い。
【図面の簡単な説明】
【００５７】
【図１】本発明の第１の実施形態に係る映像音声再生システムの全体構成図である。
【図２】本発明の第１の実施形態に係るサーバのブロック図である。
【図３】本発明の第１の実施形態に係るテストコンテンツの説明図である。
【図４】本発明の第１の実施形態に係るテストコンテンツのデータ形式を表す模式図である。
【図５】本発明の第２の実施形態に係る映像音声再生システムの全体構成図である。
【図６】本発明の第２の実施形態に係る音声遅延時間の算出方法の説明図である。
【図７】本発明の第２の実施形態に係る映像遅延時間の算出方法の説明図である。
【符号の説明】
【００５８】
１０ サーバ
１１ ディスプレイ
１２ オーディオシステム
１３ オーディオアンプ
１４〜１８ スピーカ
２０ データ蓄積部
２１ デマルチプレックス部
２２ 音声符号データ蓄積部
２３ 音声復号部
２４ 音声出力データ蓄積部
２５ 映像符号データ蓄積部
２６ 映像復号部
２７ 映像出力データ蓄積部
２８ 同期制御部
５０ 音声センサ
５１ 光センサ
【技術分野】
【０００１】
本発明は、映像音声再生システム及び配信装置に関する。
【背景技術】
【０００２】
従来、デジタル放送やＩＰ（Internet Protocol）放送では、受信信号をＳＴＢ（Set Top Box）やデジタルテレビに内蔵されているチューナによって復調して、ＴＳ（Transport Stream）を得ている。ＴＳには、映像、音声やＥＰＧ（Electronic Program Guide）などの、データの種類に対応したＰＩＤ（Packet ID）が割り振られている。ＴＳはデジタルテレビ内で復号処理され、復号処理された信号は、このＰＩＤに基づきデータの種類に応じてディスプレイと内蔵スピーカの何れかへ出力される。一般的に、映像データの表示処理には音声データの出力処理よりも長い時間が必要である。そこで、表示される映像と出力される音声との間に時間差が生じない様に、デジタルテレビ内において映像と音声の同期をとっている。
【０００３】
近年では、画質及び音質に対する視聴者の要求は高まり、デジタルテレビにおいても高画質化及び高音質化が要求されている。特に、音質に関しては、デジタルテレビの内蔵スピーカは、市販されている高級アンプとスピーカに比べ、音質が劣る。また、デジタルテレビのみで５．１ｃｈや７．１ｃｈといったサラウンドシステムに対応することは困難である。これらの理由から、デジタルテレビの外部にデジタルオーディオシステムを接続することが行われている。従来、このようにデジタルテレビに接続して用いられるデジタルオーディオシステムでは、デジタルテレビからのＥＳ（Elementary Stream）又は復号後のＰＣＭ（Pulse Code Modulation）をオーディオアンプで受け、ＥＳであれば復号して、スピーカへ出力している。
【０００４】
一方、高画質化及び高音質化を達成できるホームサーバシステム（映像音声再生システム）が提案されている。ホームサーバシステムは、デジタル放送やＩＰ放送などのデジタルコンテンツをホームサーバで受信し、蓄積し、復号化し、映像はディスプレイ（例えばデジタルテレビ）により表示し、音声はオーディオシステムのスピーカから出力するものである。
【０００５】
しかしながら、この様なホームサーバシステムにおいては、映像データを表示処理するディスプレイと音声データを出力処理するオーディオシステムとが別々の機器であり、各機器が独立した処理を行う。そのため、映像データと音声データを同期させてサーバから配信しても、ディスプレイに表示される映像とオーディオシステムから出力される音声とを同期させることができず、視聴者に違和感を与えていた。
【０００６】
なお、複数のＡＶ機器をネットワークを介して接続し、テレビ等で映像を表示し、オーディオシステムで音声を出力するシステムにおいて、映像と音声とを同期させる技術が知られている（特許文献１参照）。しかし、この技術では、ネットワークにおける遅延時間が刻々と変化する状況下で映像と音声とを同期させるために、機器間の相互間通信や特殊なオーディオシステムが必要となる。また、機器間の通信が多くなるため、音声等の出力に時間がかかる。
【特許文献１】特開２００８−１３６０２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、映像と音声とを容易に同期させることができる映像音声再生システム及び配信装置を提供することにある。
【課題を解決するための手段】
【０００８】
本願発明の一態様によれば、映像再生用の映像データを映像表示装置に配信し、音声再生用の音声データを音声出力装置に配信する、配信装置であって、前記音声データの配信を遅延させる、音声配信遅延部を備え、同期調整用のテストコンテンツとしての、判定用音声の前記音声データと、前記判定用音声が前記音声出力装置から出力されるべきタイミングを視覚的に判断可能な、前記映像表示装置に表示される判定用映像の前記映像データと、を配信する、ものとして構成されている、ことを特徴とする、配信装置が提供される。
【０００９】
また、本願発明の他の一態様によれば、映像再生用の映像データと音声再生用の音声データとを配信する配信装置と、配信された前記映像データを処理して映像として表示する映像表示装置と、配信された前記音声データを処理して音声として出力する音声出力装置と、を備え、前記配信装置は、同期調整用のテストコンテンツとしての、判定用音声の前記音声データと、前記判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像の前記映像データと、を配信する、ものとして構成されており、前記配信装置と前記音声出力装置の少なくとも何れかは、前記判定用映像における前記タイミングで前記判定用音声が出力されるように、前記音声出力装置からの出力を遅延させる、ものとして構成されている、ことを特徴とする、映像音声再生システムが提供される。
【発明の効果】
【００１０】
本発明によれば、映像と音声とを容易に同期させることができる映像音声再生システム及び配信装置を提供できる。
【発明を実施するための最良の形態】
【００１１】
以下に、図面を参照して本発明の実施形態について説明する。これらの実施形態は、本発明を限定するものではない。
【００１２】
以下の実施形態では、デジタル放送を受信する一例について説明する。
【００１３】
（第１の実施形態）
図１から図４を参照して本発明の第１の実施形態について説明する。本実施形態は、判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像を含むテストコンテンツを再生して、判定用映像の表示と判定用音声の出力とのタイミングのずれに基づいて映像データと音声データの遅延時間を調節するようにしたものである。
【００１４】
まず、本実施形態に係る映像音声再生システムの構成について説明する。図１に示す様に、映像音声再生システムは、サーバ１０（配信装置）と、ディスプレイ１１（映像表示装置）と、オーディオシステム１２（音声出力装置）と、を備える。
【００１５】
サーバ１０は、デジタル放送やＩＰ放送などのデジタルコンテンツを受信し、復調し、蓄積するものである。それと共に、蓄積されているデータを復号し、復号された映像再生用の映像データをディスプレイ１１に配信し、復号された音声再生用の音声データをオーディオシステム１２に配信するものである。
【００１６】
ディスプレイ１１は、配信された映像データを処理して映像として表示するものである。
【００１７】
オーディオシステム１２は、配信された音声データをオーディオアンプ１３で処理して、スピーカ１４〜１８から音声として出力するものである。
【００１８】
ディスプレイ１１は、例えば壁に掛けられて設置される事が想定される。そこで、ここでは、サーバ１０とディスプレイ１１は無線接続されるものとする。サーバ１０とオーディオシステム１２のオーディオアンプ１３は有線接続されるものとする。
【００１９】
次に、図２を参照して、サーバ１０についてより詳しく説明する。図２は、サーバ１０のブロック図である。
【００２０】
まず、データ蓄積部２０に蓄積されているデータ（ＴＳ：Transport Stream）は、デマルチプレックス部２１によって音声符号データと映像符号データとに分けられる。音声符号データは音声符号データ蓄積部２２に蓄積され、映像符号データは映像符号データ蓄積部２５に蓄積される。
【００２１】
音声復号部２３は音声符号データを復号化し、映像復号部２６は映像符号データを復号化する。復号化された音声データは音声出力データ蓄積部２４に蓄積され、復号化された映像データは映像出力データ蓄積部２７に蓄積される。
【００２２】
同期制御部２８は、音声符号データと映像符号データに付加されている時間情報（ＰＴＳ：Presentation Time Stamp）に基づき、音声出力データ蓄積部２４と映像出力データ蓄積部２７を制御して、音声データと映像データが出力されるタイミングを制御する。これにより、音声データと映像データは同期を保った状態でオーディオシステム１２やディスプレイ１１に配信される。
【００２３】
また、同期制御部２８は、音声出力データ蓄積部２４と、映像出力データ蓄積部２７と、音声符号データ蓄積部２２と、映像符号データ蓄積部２５とに、遅延時間を設定することもできる。
【００２４】
音声出力データ蓄積部２４と映像出力データ蓄積部２７の制御は、データの出力を遅延時間分だけ遅らせることで行う。
【００２５】
音声符号データ蓄積部２２と映像符号データ蓄積部２５の制御は、同様に、データの出力を遅延時間分だけ遅らせることで行う。また、音声出力データ蓄積部２４や映像出力データ蓄積部２７に出力可能なデータが無くなり音声や映像が途切れることを防いだり、音声出力データ蓄積部２４と映像出力データ蓄積部２７の容量をなるべく小さくしたりするために、音声出力データ蓄積部２４や映像出力データ蓄積部２７のデータ占有量により制御しても良い。つまり、音声出力データ蓄積部２４や映像出力データ蓄積部２７の残りのデータが所定の下限の閾値よりも少なくなると復号化を開始し、所定の上限の閾値よりも多くなると復号化を停止する様に制御しても良い。
【００２６】
このようにして、音声符号データ蓄積部２２と音声出力データ蓄積部２４（音声配信遅延部）は、オーディオシステム１２への音声データの配信を遅延させることができる。また、映像符号データ蓄積部２５と映像出力データ蓄積部２７（映像配信遅延部）は、ディスプレイ１１への映像データの配信を遅延させることができる。
【００２７】
なお、必要な遅延時間の長さと、音声出力データ蓄積部２４と映像出力データ蓄積部２７の容量と、により、音声符号データ蓄積部２２と映像符号データ蓄積部２５とにおいて遅延時間の設定を行うか否かをシステム単位で切り替える様にしても良い。
【００２８】
次に、映像コンテンツと音声コンテンツの同期調整の方法について説明する。同期調整は、ディスプレイ１１とオーディオシステム１２の設置位置を確定した後に行う。また、オーディオシステム１２においては、視聴者が音声を聞く位置を予めリスニングポイントとして設定し、各スピーカ１４〜１８から視聴者へ届く音声の遅延などを調整しておく。
【００２９】
同期調整は、予め用意されている同期調整用のテストコンテンツを、サーバ１０からディスプレイ１１とオーディオシステム１２とに配信し、再生させて行う。このテストコンテンツは、サーバ１０に備えられている記憶装置に記憶しておいても良く、記録媒体から読み出しても良く、デジタル放送等の受信信号に含まれていても良い。
【００３０】
次に、テストコンテンツについて説明する。テストコンテンツの映像コンテンツは、音声コンテンツとの同期がとれているか否かを容易に判断できるように、判定用音声がスピーカ１４〜１８から出力されるべきタイミングを視覚的に判断可能な判定用映像を含むものとする。
【００３１】
例えば、図３に示すように、ディスプレイ１１の画面の右から左へ音符３０〜３２が流れ、各々の音符３０〜３２がポイントＡに達する毎に判定用音声が出力されるべきタイミングを示すような判定用映像を含む映像コンテンツとする。つまり、このテストコンテンツは、同期がとれている場合には、各々の音符３０〜３２がポイントＡに達するタイミング毎に判定用音声が視聴者に聞こえるものである。なお、映像コンテンツは、この判定用音声が出力されるべきタイミングにおいて、判定用映像に明度変化をもたせたものでも良い。
【００３２】
テストコンテンツのデータ形式は、例えばデジタル放送の受信を想定して、図４に示すようにＴＳパケット構成とする。同図において、Ｖｎは映像コンテンツのＴＳパケット（ｎ番目のピクチャ）を表す。Ａｎは音声コンテンツのＴＳパケット（ｎ番目のフレーム）を表す。そして、判定用音声が出力されるべきタイミングでの判定用映像のピクチャにおけるＴＳパケット（例えばＶ１）と、その判定用音声のフレームにおけるＴＳパケット（例えばＡ１）とに、ＰＴＳなどの同一の時間情報（例えばＴ１）を埋め込んでおく。
【００３３】
サーバ１０は、テストコンテンツに含まれている映像コンテンツの映像符号データと音声コンテンツの音声符号データを復号化する。そして、復号した映像データや音声データをＰＴＳに従ったタイミングでディスプレイ１１やオーディオシステム１２に配信する。つまり、同一のＰＴＳを有する映像データと音声データを同時に配信する。
【００３４】
視聴者はディスプレイ１１を見ながら、ポイントＡに音符３０が到達したタイミングで上記判定用音声が聞こえるように、サーバ１０に遅延時間を設定して同期をとる。例えば、視聴者は、ポイントＡに音符３０が到達する前に判定用音声が聞こえた場合には、音声の遅延時間を長く設定する。また、視聴者は、ポイントＡに音符３０が到達した後に判定用音声が聞こえた場合には、映像の遅延時間を長く設定する。この調節を繰り返すことにより、リスニングポイントにおいて視聴者に届く判定用映像と判定用音声とを同期させることができる。その結果、デジタル放送等を受信する場合においても映像と音声とを同期させることができるので、視聴者に違和感を与えることがなくなる。
【００３５】
以上で説明した様に、本実施形態によれば、判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像を含むテストコンテンツを再生するようにしたので、視聴者は、映像音声再生システムが有する、判定用映像の表示と判定用音声の出力とのタイミングのずれを把握できる。このタイミングのずれに基づいて、サーバ１０から映像データや音声データを配信する際の遅延時間を調節できるので、映像と音声の同期調整を高精度且つ容易に行える。
【００３６】
また、サーバ１０において遅延時間を調整する様にしたので、既存のデジタルテレビやオーディオシステム１２をそのまま用いることができる。
【００３７】
また、ディスプレイ１１は映像出力機能のみを有しているものでも良い。つまり、デジタルテレビの様な音声コンテンツ処理機能やデマルチプレックス機能を実装していなくても良い。
【００３８】
さらに、復号前のデータを扱う音声符号データ蓄積部２２や映像符号データ蓄積部２５においても遅延時間を設定できるので、復号後のデータを扱う音声出力データ蓄積部２４や映像出力データ蓄積部２７のみで遅延時間を設定する場合よりも、これらの全体の容量を削減できる。
【００３９】
なお、本実施形態において、サーバ１０における遅延時間の調整に加え、ディスプレイ１１とオーディオシステム１２の少なくとも何れかにおいても遅延時間を調整できるようにしても良い。
【００４０】
この場合、既存のディスプレイ１１やオーディオシステム１２が遅延時間調整機能を有していれば、これら既存の装置に手を加えることなく同期調整できる。また、サーバ１０においても遅延時間を調整できるので、ディスプレイ１１とオーディオシステム１２において設定すべき遅延時間は短くて良い。つまり、ディスプレイ１１とオーディオシステム１２で必要とされる遅延用のバッファはサイズが小さいもので良い。
【００４１】
さらに、本実施形態においては、サーバ１０とオーディオシステム１２の少なくとも何れかにおいて遅延時間が調整できれば良い。つまり、サーバ１０においては遅延時間を調整できる様にせず、オーディオシステム１２のみ、又は、オーディオシステム１２及びディスプレイ１１において遅延時間を調整できる様に構成しても良い。この場合にも、既存のディスプレイ１１やオーディオシステム１２が遅延時間調整機能を有していれば、これら既存の装置に手を加えることなく同期調整できる。
【００４２】
（第２の実施形態）
次に、図５から図７を参照して本発明の第２の実施形態について説明する。本実施形態では、音声センサ５０と光センサ５１を用いてテストコンテンツの判定用音声と判定用映像を検知し、サーバ１０は、判定用映像が検知された時刻と判定用音声が検知された時刻との差が短くなるように映像データと音声データの遅延時間を調節するようにしている点が、第１の実施形態と異なる。
【００４３】
図５に示す様に、本実施形態に係る映像音声再生システムは、サーバ１０に接続されている音声センサ５０と光センサ５１を備える。その他の構成は、第１の実施形態と同一であるため、詳細な説明を省略する。
【００４４】
また、テストコンテンツの判定用映像は、第１の実施形態において説明した様に、判定用音声が出力されるべきタイミングにおいて明度変化を伴うものである。
【００４５】
音声遅延時間の算出方法について、図６を参照して説明する。サーバ１０からオーディオシステム１２に判定用音声の音声データが配信される時刻をｔ1とし、スピーカ１４〜１８から出力される判定用音声を音声センサ５０が検知する時刻をｔ１’ａとする。サーバ１０は、ｔ１’ａ−ｔ１を計算して音声遅延時間ｔ１ａｄを得る。
【００４６】
映像遅延時間の算出方法について、図７を参照して説明する。サーバ１０からディスプレイ１１に判定用映像の映像データが配信される時刻をｔ1とし、ディスプレイ１１に表示される判定用映像の明度変化を光センサ５１が検知する時刻をｔ１’ｖとする。そして、サーバ１０はｔ１’ｖ−ｔ１を計算して映像遅延時間ｔ１ｖｄを得る。
【００４７】
次に、サーバ１０は、音声遅延時間ｔ１ａｄと映像遅延時間ｔ１ｖｄとの差分遅延時間ｔ１ｄを計算する。そして、サーバ１０は、差分遅延時間ｔ１ｄが短くなる様に、音声符号データ蓄積部２２と音声出力データ蓄積部２４、または、映像符号データ蓄積部２５と映像出力データ蓄積部２７における遅延時間を制御する。これにより、サーバ１０は、ディスプレイ１１とオーディオシステム１２への映像データと音声データの配信タイミングの調整を行う。
【００４８】
例えば、音声遅延時間ｔ１ａｄが映像遅延時間ｔ１ｖｄよりも短い場合、サーバ１０は差分遅延時間ｔ１ｄだけ音声データの遅延時間を長くし、その配信タイミングを遅くする。
【００４９】
一方、音声遅延時間ｔ１ａｄが映像遅延時間ｔ１ｖｄよりも長い場合、サーバ１０は差分遅延時間ｔ１ｄだけ映像データの遅延時間を長くし、その配信タイミングを遅くする。
【００５０】
これにより、音声遅延時間ｔ１ａｄと映像遅延時間ｔ１ｖｄとをほぼ等しくできるので、視聴者に届く映像と音声とを同期させることができる。
【００５１】
以上で説明した様に、本実施形態によれば、音声センサ５０と光センサ５１によってテストコンテンツの判定用映像と判定用音声を検知し、サーバ１０が、判定用映像が検知された時刻と判定用音声が検知された時刻との差が短くなるように映像データと音声データの遅延時間を調節するようにしたので、映像と音声との同期調整が自動的に行える。
【００５２】
なお、サーバ１０は、計算した遅延時間に基づいて、ディスプレイ１１とオーディオシステム１２において遅延時間を調整する様に構成しても良い。
【００５３】
以上、本発明の実施形態を詳述してきたが、具体的な構成は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々に変形して実施することができる。
【００５４】
例えば、上記実施形態ではサーバがデジタル放送を受信する場合について説明したが、ＩＰ放送などを受信する場合にも本発明を適用できる。また、サーバは映像データと音声データを配信する装置であれば良く、例えばＤＶＤプレーヤーなどでも良い。
【００５５】
また、上記実施形態ではサーバは映像データと音声データの配信を遅延するものとして説明したが、少なくとも音声データの配信を遅延できれば良い。
【００５６】
また、サーバとディスプレイは有線接続されても良い。また、サーバとオーディオシステムは無線接続されても良い。
【図面の簡単な説明】
【００５７】
【図１】本発明の第１の実施形態に係る映像音声再生システムの全体構成図である。
【図２】本発明の第１の実施形態に係るサーバのブロック図である。
【図３】本発明の第１の実施形態に係るテストコンテンツの説明図である。
【図４】本発明の第１の実施形態に係るテストコンテンツのデータ形式を表す模式図である。
【図５】本発明の第２の実施形態に係る映像音声再生システムの全体構成図である。
【図６】本発明の第２の実施形態に係る音声遅延時間の算出方法の説明図である。
【図７】本発明の第２の実施形態に係る映像遅延時間の算出方法の説明図である。
【符号の説明】
【００５８】
１０ サーバ
１１ ディスプレイ
１２ オーディオシステム
１３ オーディオアンプ
１４〜１８ スピーカ
２０ データ蓄積部
２１ デマルチプレックス部
２２ 音声符号データ蓄積部
２３ 音声復号部
２４ 音声出力データ蓄積部
２５ 映像符号データ蓄積部
２６ 映像復号部
２７ 映像出力データ蓄積部
２８ 同期制御部
５０ 音声センサ
５１ 光センサ
【特許請求の範囲】
【請求項１】
映像再生用の映像データを映像表示装置に配信し、音声再生用の音声データを音声出力装置に配信する、配信装置であって、
前記音声データの配信を遅延させる、音声配信遅延部を備え、
同期調整用のテストコンテンツとしての、
判定用音声の前記音声データと、
前記判定用音声が前記音声出力装置から出力されるべきタイミングを視覚的に判断可能な、前記映像表示装置に表示される判定用映像の前記映像データと、
を配信する、
ものとして構成されている、ことを特徴とする、配信装置。
【請求項２】
前記映像データの配信を遅延させる、映像配信遅延部を更に備えることを特徴とする、請求項１に記載の配信装置。
【請求項３】
前記判定用映像は、前記判定用音声が出力されるべき前記タイミングにおいて明度変化を伴うものであることを特徴とする、請求項２に記載の配信装置。
【請求項４】
光センサと、
音センサと、を更に備え、
前記判定用映像の前記映像データを配信した時刻と、前記光センサが前記判定用映像の前記明度変化を検知した時刻と、の差としての映像遅延時間と、
前記判定用音声の前記音声データを配信した時刻と、前記音センサが前記判定用音声を検知した時刻と、の差としての音声遅延時間と、
を計算し、
前記映像遅延時間と前記音声遅延時間との差が短くなる様に、前記音声配信遅延部または前記映像配信遅延部を制御する、
ものとして構成されている、ことを特徴とする、請求項３に記載の配信装置。
【請求項５】
映像再生用の映像データと音声再生用の音声データとを配信する配信装置と、
配信された前記映像データを処理して映像として表示する映像表示装置と、
配信された前記音声データを処理して音声として出力する音声出力装置と、
を備え、
前記配信装置は、
同期調整用のテストコンテンツとしての、
判定用音声の前記音声データと、
前記判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像の前記映像データと、
を配信する、
ものとして構成されており、
前記配信装置と前記音声出力装置の少なくとも何れかは、
前記判定用映像における前記タイミングで前記判定用音声が出力されるように、前記音声出力装置からの出力を遅延させる、
ものとして構成されている、
ことを特徴とする、映像音声再生システム。
【請求項１】
映像再生用の映像データを映像表示装置に配信し、音声再生用の音声データを音声出力装置に配信する、配信装置であって、
前記音声データの配信を遅延させる、音声配信遅延部を備え、
同期調整用のテストコンテンツとしての、
判定用音声の前記音声データと、
前記判定用音声が前記音声出力装置から出力されるべきタイミングを視覚的に判断可能な、前記映像表示装置に表示される判定用映像の前記映像データと、
を配信する、
ものとして構成されている、ことを特徴とする、配信装置。
【請求項２】
前記映像データの配信を遅延させる、映像配信遅延部を更に備えることを特徴とする、請求項１に記載の配信装置。
【請求項３】
前記判定用映像は、前記判定用音声が出力されるべき前記タイミングにおいて明度変化を伴うものであることを特徴とする、請求項２に記載の配信装置。
【請求項４】
光センサと、
音センサと、を更に備え、
前記判定用映像の前記映像データを配信した時刻と、前記光センサが前記判定用映像の前記明度変化を検知した時刻と、の差としての映像遅延時間と、
前記判定用音声の前記音声データを配信した時刻と、前記音センサが前記判定用音声を検知した時刻と、の差としての音声遅延時間と、
を計算し、
前記映像遅延時間と前記音声遅延時間との差が短くなる様に、前記音声配信遅延部または前記映像配信遅延部を制御する、
ものとして構成されている、ことを特徴とする、請求項３に記載の配信装置。
【請求項５】
映像再生用の映像データと音声再生用の音声データとを配信する配信装置と、
配信された前記映像データを処理して映像として表示する映像表示装置と、
配信された前記音声データを処理して音声として出力する音声出力装置と、
を備え、
前記配信装置は、
同期調整用のテストコンテンツとしての、
判定用音声の前記音声データと、
前記判定用音声が出力されるべきタイミングを視覚的に判断可能な判定用映像の前記映像データと、
を配信する、
ものとして構成されており、
前記配信装置と前記音声出力装置の少なくとも何れかは、
前記判定用映像における前記タイミングで前記判定用音声が出力されるように、前記音声出力装置からの出力を遅延させる、
ものとして構成されている、
ことを特徴とする、映像音声再生システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１５４２４９（Ｐ２０１０−１５４２４９Ａ）
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願番号】特願２００８−３３０４３７（Ｐ２００８−３３０４３７）
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年７月８日（２０１０．７．８）
【国際特許分類】
【出願日】平成２０年１２月２５日（２００８．１２．２５）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]