説明

通信コンテンツ生成装置および通信コンテンツ生成プログラム

【課題】生放送であっても送信側で放送コンテンツと通信コンテンツとを同期させること。
【解決手段】通信コンテンツ生成装置1は、監視者がモニタする表示装置11に入力する放送用TS信号に多重化されているPESパケットからPTSの値を抽出するタイムスタンプ抽出手段2と、操作手段12から表示装置11において放送コンテンツを遅延させて表示するための遅延時間として操作量の入力を受け付ける入力手段3と、表示装置11に入力する放送用TS信号を遅延時間だけ遅延させて表示装置11に出力する遅延手段4と、遅延時間のPTS換算値と、抽出されたPTSの値とを加算した値を有する第2のPTSを生成する演算手段5と、通信用コンテンツ素材毎に設けられ、当該通信用コンテンツ素材を符号化して第2のPTSを付加することで、通信用のPESパケットを通信コンテンツとして生成するタイムスタンプ付加手段6とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、放送と通信を連携したサービスを実現するためのシステムに係り、特に、放送コンテンツに同期した通信コンテンツを生成する通信コンテンツ生成装置および通信コンテンツ生成プログラムに関する。
【背景技術】
【0002】
デジタル放送では、従来のアナログ放送のサービスに加えて、例えばデータ放送や電子番組表(EPG:Electronic Program Guide)等により多機能なサービスが提供されている。また、近年では、放送と通信を連携した様々のサービス(以下、放送通信連携サービスという)として、例えば、番組カスタマイズサービス、ソーシャルテレビサービス、番組お薦めサービス、携帯端末連携サービス等が提案されてきている。
【0003】
番組カスタマイズサービスは、放送番組に関連する字幕や音声、動画などを通信経由で提供することで、視聴者個人のニーズにあった視聴を可能にするサービスである。
ソーシャルテレビサービスは、例えば、つぶやきのような視聴者投稿を画面にオーバーレイして表示可能なサービスである。
番組お薦めサービスは、インターネットで提供される番組ライブラリーの中から視聴者にお薦めのVOD(Video On Demand)番組を提示するサービスである。
携帯端末連携サービスは、番組お薦めサービス等のために、携帯端末と据え置き型のテレビを連携させることで視聴者個人がASP(Application Service Provider)等にログインする手続きを簡素化するサービスである。
【0004】
従来、これらのサービスを実現するための基盤となる様々な技術が研究・開発されている。例えば、番組カスタマイズサービスを実現させるための基盤技術の1つに、電波で送られてくる放送番組(放送コンテンツ)と、ネットワーク経由で送られてくるコンテンツ(通信コンテンツ)とを受信機(コンテンツ受信端末)で同期して合成して提示する技術が挙げられる。
【0005】
通常、放送コンテンツには、いわゆる時刻情報としてPTS(Presentation Time Stamp)が付加されている。そのため、通信コンテンツにもPTSを付加して、受信機において、放送コンテンツのPTSと、通信コンテンツのPTSとをそれぞれ検出し、比較し、どちらかのコンテンツを遅延させることで同期させて提示する送受信システムが検討されている。
この送受信システムでは、送信側において、放送コンテンツにPTSが付加されているように、通信コンテンツにもPTSを付加しようとするとき、放送と同期したPTSをつけなければならない。つまり、送信側では、通信コンテンツに対して、同期させようとする放送コンテンツのPTSと同じ値を埋め込まなければならない。
【0006】
従来、デジタル放送の映像・音声信号に字幕信号を別個に同期させて放送できるようにする技術が知られている(特許文献1参照)。しかしながら、特許文献1に記載の技術は、アナログ放送からデジタル放送への移行に際して、例えば字幕サービス等の提供方法が変わって同期PES(Packetized Elementary Stream)とすることができなかったことを解決するための技術である。そのため、この技術は、放送通信連携サービスに適用することができない。また、放送通信連携サービスにおいて、放送局側で、通信コンテンツに、同期のためのPTSを付加する技術は、これまで知られていない。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2003−259312
【発明の概要】
【発明が解決しようとする課題】
【0008】
放送番組は、2種類に大別される。1つは、ドラマのように、編集して出来上がった素材であって、それを放送の時には再生するという番組(いわゆる完プロ番組)であり、もう1つは生放送番組(いわゆるライブ)である。このうち、完プロ番組においては、放送コンテンツは放送前に既に完成しているので、放送前に監視者が放送コンテンツを視聴しながら通信コンテンツの同期をとって、放送コンテンツと同じタイミングでPTSを通信コンテンツに付加することができる。この場合、放送コンテンツと通信コンテンツとを同時に送ることができる。
【0009】
しかしながら、生放送番組の場合、通信コンテンツの制作は、実際に放送される時刻以降となり、通信コンテンツに付加すべきPTSの値が不明である。そのため、放送コンテンツを視聴してから通信コンテンツを制作する制作者にとって、PTSを付けることが非常に難しく、通信コンテンツに対して、放送コンテンツに同期したPTSを付加することができなかった。具体的には、生放送番組では、カメラで撮ったそのままを放送するため、制作者が、例えばカメラ映像に同期した通信用のコンテンツの素材として字幕を作っている間に、放送が流れてしまう。つまり、カメラで撮った瞬間の映像のタイミングは、字幕を作っている間に進んでしまう。
【0010】
前記番組カスタマイズサービスでは、例えば、放送コンテンツとして、実況者と解説者による野球中継の生放送番組を仮定し、かつ、通信コンテンツとして、一方のチームを応援する別の解説者による字幕を仮定した場合を考える。このような想定の場合、視聴を希望する視聴者だけが通信コンテンツを要求することでサービスを享受できるが、字幕が常に遅れるので、視聴者は野球中継の映像の場面よりも字幕が遅れていると感じることになる。したがって、番組カスタマイズサービスの品質を向上させることが要望されている。
【0011】
本発明は、以上のような問題点に鑑みてなされたものであり、生放送番組であっても送信側で放送コンテンツと通信コンテンツとを同期させることができる通信コンテンツ生成装置および通信コンテンツ生成プログラムを提供することを課題とする。
【課題を解決するための手段】
【0012】
前記課題を解決するために、本発明のうち請求項1に記載の通信コンテンツ生成装置は、放送波により放送用TS信号として放送される1つの放送コンテンツと通信ネットワークで配信するための1または複数の通信用コンテンツ素材とを送信側で同期させるためにそれぞれ監視する監視者が同期用の所望の時間を選択する操作を行うために用いる操作手段の操作量に基づいて、前記1または複数の通信用コンテンツ素材から1または複数の通信コンテンツを生成する通信コンテンツ生成装置であって、タイムスタンプ抽出手段と、入力手段と、遅延手段と、演算手段と、タイムスタンプ付加手段と、を備えることとした。
【0013】
かかる構成によれば、通信コンテンツ生成装置は、タイムスタンプ抽出手段によって、前記監視者が利用する表示装置に入力する前記放送用TS信号に多重化されているPESパケットに予め付加されているPTSの値を抽出する。そして、通信コンテンツ生成装置は、入力手段によって、前記操作手段から、当該監視者が利用する表示装置において前記放送コンテンツを前記所望の時間だけ遅延させて表示するための遅延時間として前記操作量の入力を受け付ける。そして、通信コンテンツ生成装置は、遅延手段によって、前記表示装置に入力する前記放送用TS信号を前記遅延時間だけ遅延させて前記表示装置に出力する。そして、通信コンテンツ生成装置は、演算手段によって、前記表示装置に入力する放送用TS信号より抽出されたPTSの値から、前記遅延時間のPTS換算値を減算した値を有する第2のPTSを生成する。そして、通信コンテンツ生成装置は、前記通信用コンテンツ素材毎に設けられたタイムスタンプ付加手段によって、当該通信用コンテンツ素材を符号化して前記第2のPTSを付加することで、通信用のPESパケットを前記通信コンテンツとしてそれぞれ生成する。
したがって、放送コンテンツと通信コンテンツとを受信する受信端末において、受信した通信コンテンツに付加されたPTSは、そのとき受信中の放送コンテンツのPTS値よりも遡った値を用いて生成されているので、受信端末は、受信中の通信コンテンツを、それ以前に受信した放送コンテンツをバッファリングして遅延させることで同期をとることができる。
【0014】
また、請求項2に記載の通信コンテンツ生成装置は、請求項1に記載の通信コンテンツ生成装置において、前記通信用コンテンツ素材のうち少なくとも1つは映像または音声を含み、前記タイムスタンプ抽出手段が、分離手段と、復号手段と、周波数変換手段と、を備え、前記タイムスタンプ付加手段が、AD変換手段と、符号化手段と、を備えることとした。
【0015】
かかる構成によれば、通信コンテンツ生成装置は、前記タイムスタンプ抽出手段において、分離手段によって、前記放送用TS信号に含まれる映像・音声とPCRとを分離する。ここで、分離とは、放送用TS信号に多重化されている映像・音声とPCRとを逆多重化することを示す。そして、前記タイムスタンプ抽出手段において、復号手段によって、前記分離された映像・音声を表示可能に復号すると共に前記PTSの値を抽出する。そして、前記タイムスタンプ抽出手段において、周波数変換手段によって、前記分離されたPCRに格納されているシステムクロックを分周して前記システムクロックよりも低い所定のクロックに変換する。また、かかる構成によれば、通信コンテンツ生成装置は、前記タイムスタンプ付加手段において、AD変換手段によって、前記通信用コンテンツ素材のアナログ信号を、前記周波数変換手段で変換されたクロックにしたがってデジタル信号に変換する。そして、前記タイムスタンプ付加手段において、符号化手段によって、前記AD変換された通信用コンテンツ素材に前記第2のPTSを付加して符号化する。
したがって、放送コンテンツと通信コンテンツとを受信する受信端末において、受信した放送コンテンツのクロックと、受信した通信コンテンツのクロックと、を1つのクロックで動かすことができるので、受信中の通信コンテンツを、それ以前に受信した放送コンテンツとの同期を精密にとることができる。
【0016】
また、請求項3に記載の通信コンテンツ生成装置は、請求項1または請求項2に記載の通信コンテンツ生成装置において、前記タイムスタンプ付加手段が、多重化手段と、配信手段と、を備えることとした。
【0017】
かかる構成によれば、通信コンテンツ生成装置は、前記タイムスタンプ付加手段において、多重化手段によって、前記通信用コンテンツ素材に対して生成された前記通信用のPESパケットを多重化した通信用TS信号を生成する。そして、前記タイムスタンプ付加手段において、配信手段によって、放送波を介して放送用TS信号として放送される放送コンテンツを受信する受信端末から、前記通信ネットワークを介して、当該放送コンテンツのために用意された通信コンテンツの要求を受け付け、当該受信端末に対して、前記要求された通信コンテンツとして前記通信用TS信号を配信する。
【0018】
また、請求項4に記載の通信コンテンツ生成プログラムは、放送波により放送用TS信号として放送される1つの放送コンテンツと通信ネットワークで配信するための1または複数の通信用コンテンツ素材とを送信側で同期させるためにそれぞれ監視する監視者が同期用の所望の時間を選択する操作を行うために用いる操作手段の操作量に基づいて、前記1または複数の通信用コンテンツ素材から1または複数の通信コンテンツを生成するために、前記監視者が利用する表示装置に入力する前記放送用TS信号を所定の時間だけ遅延させて前記表示装置に出力する遅延手段を備えたコンピュータを、タイムスタンプ抽出手段、入力手段、演算手段、タイムスタンプ付加手段として機能させるためのプログラムであることとした。
【0019】
かかる構成によれば、通信コンテンツ生成プログラムは、タイムスタンプ抽出手段によって、前記監視者が利用する表示装置に入力する前記放送用TS信号に多重化されているPESパケットに予め付加されているPTSの値を抽出する。そして、通信コンテンツ生成プログラムは、入力手段によって、前記操作手段から、当該監視者が利用する表示装置において前記放送コンテンツを前記所望の時間だけ遅延させて表示するための遅延時間として前記操作量の入力を受け付け、前記遅延手段に送る。そして、通信コンテンツ生成プログラムは、演算手段によって、前記表示装置に入力する放送用TS信号より抽出されたPTSの値から、前記遅延時間のPTS換算値を減算した値を有する第2のPTSを生成する。そして、通信コンテンツ生成プログラムは、タイムスタンプ付加手段によって、前記通信用コンテンツ素材毎に設けられ、当該通信用コンテンツ素材を符号化して前記第2のPTSを付加することで、通信用のPESパケットを前記通信コンテンツとして生成する。
【発明の効果】
【0020】
請求項1または請求項4に記載の発明によれば、監視者が遅延させた放送コンテンツを視聴して、放送コンテンツと通信コンテンツとの同期を確認することができるので、生放送番組であっても送信側で放送コンテンツと通信コンテンツとを同期させることができる。
【0021】
請求項2に記載の発明によれば、生成した通信コンテンツを受信する側において、受信した放送コンテンツのクロックと、受信した通信コンテンツのクロックと、を1つのクロックで動かすことができるので、通信コンテンツと放送コンテンツとの同期を精密にとることができる。
請求項3に記載の発明によれば、生成した通信コンテンツを配信することができる。
【図面の簡単な説明】
【0022】
【図1】本発明の実施形態に係る通信コンテンツ生成装置を示すブロック図である。
【図2】本発明の実施形態に係る通信コンテンツ生成装置を含む送受信システムの概要を示す構成図である。
【発明を実施するための形態】
【0023】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
[通信コンテンツ生成装置の概要]
図1に示す通信コンテンツ生成装置1は、放送されるコンテンツ(放送コンテンツ)に関連して通信ネットワークNで配信するためのコンテンツ(通信コンテンツ)を、監視者の操作に基づいて生成するものである。ここで、コンテンツの符号化方式としては、MPEG−2、MPEG−4、H.264等が存在するが、以下では、一例として、MPEG−2を用いることとする。なお、図1に示す監視者周辺機材10は、通信コンテンツ生成装置1の外部にあるものとして説明する(図2参照)。
【0024】
この通信コンテンツ生成装置1の機能の概要について図2を参照(適宜図1参照)して説明する。図2は、通信コンテンツ生成装置1を含む送受信システムの概要を示す構成図である。放送局の主調整室100では、放送コンテンツであるデジタル放送番組(映像・音声)に用いる映像素材が映像エンコーダ110で符号化され、かつ、音声素材が音声エンコーダ120で符号化され、その後、映像および音声は多重化装置130によって多重化される。多重化されたTS信号は、放送局の変調手段140によって変調され、出力手段150によって、アンテナ160を介して放送波として送出される。これにより、視聴者は、所有するコンテンツ受信端末200を利用してデジタル放送番組を視聴することができる。
【0025】
コンテンツ受信端末200は、デジタル放送が受信可能でインターネット接続可能な端末であって、例えば、テレビジョン、パーソナルコンピュータ、セットトップボックス、携帯端末、スマートフォン等から構成される。
コンテンツ受信端末200は、放送コンテンツを受信して提示する。また、コンテンツ受信端末200は、視聴者の操作に応じて当該放送コンテンツのために用意された通信コンテンツを、通信ネットワークNを介して要求し、要求に応じて送信された通信コンテンツを受信して提示する。
【0026】
通信コンテンツ生成装置1に入力する放送コンテンツは、主調整室100の多重化装置130から出力され、変調されていないTS信号であり、以下では、これを放送用TS信号とも呼ぶ。
通信コンテンツ生成装置1は、監視者の操作に基づいて、放送コンテンツに関連した1または複数の通信コンテンツの素材(通信用コンテンツ素材)から1または複数の通信コンテンツを生成する。以下では、これを通信用TS信号ともいう。図1に示す例では、通信用コンテンツ素材として、字幕と音声とを用いて、字幕の通信コンテンツ(通信用TS信号)と、音声の通信コンテンツ(通信用TS信号)とをそれぞれ生成することとした。
生成された通信コンテンツは、インターネット等の通信ネットワークNを介して、視聴者が所有するコンテンツ受信端末200からの要求にしたがって配信される。
【0027】
通信用コンテンツ素材としては、その種類は特に限定されないが、音声や字幕のほか、例えば、映像、字幕以外のテキスト情報、つぶやき等のコミュニケーションサービスで投稿される短文の情報、番組に対する意見・感想・要望等として視聴者(コンテンツを要求する視聴者以外の他人)が書き込んだ情報なども用いることができる。
【0028】
監視者は、監視者周辺機材10を利用して、放送コンテンツと、通信用コンテンツ素材とを監視すると共に、放送コンテンツを見ながら通信コンテンツに対して放送コンテンツに同期したPTSを付加する操作を行う。ここで、放送コンテンツ(放送用TS信号)には予めPTSが付加されており、通信コンテンツ生成装置1は、放送コンテンツに付加されているものとは異なるPTS値を有したPTSを生成する。以下では、通信コンテンツ生成装置1が生成して通信コンテンツ(通信用TS信号)に付加するPTSのことを第2のPTSと呼称して区別する。
【0029】
[監視者周辺機材の構成例]
監視者周辺機材10は、図1に示す例では、表示装置11と、操作手段12と、表示装置13と、スピーカ14とを備える。
表示装置11は、オンエアされている放送コンテンツ(Air、放送用TS信号)を表示し、表示装置13は、通信用コンテンツ素材である字幕を表示するものとする。各表示装置11,13は、例えば液晶ディスプレイ等から構成される。スピーカ14は、通信用コンテンツ素材である音声を出力する。
【0030】
操作手段12は、監視者が放送コンテンツと通信コンテンツとの同期用の所望の時間を選択する操作を行うために用いるユーザインタフェースである。これにより、監視者は第2のPTSを付加する操作を行うことができる。
この操作手段12としては、例えば、回転軸に取り付けた操作ツマミを回転させたときにロータリーエンコーダ等のセンサで回転量、回転角度、回転位置等を操作量として計測・検出して、検出した操作量を示す信号を通信コンテンツ生成装置1に出力するものを用いることができる。
【0031】
以下では、操作手段12は、一例として、操作ツマミを回転させたときの操作量を示す信号を出力するものとして説明する。この操作手段12の操作量は、表示装置11において放送コンテンツを所望の時間だけ遅延させて表示するための遅延時間に相当するものである。例えば、操作手段12の操作ツマミが基準位置を示すときに操作量が0であって遅延が0(遅延なし)となり、操作ツマミが最大位置を示すときに操作量が最大であって遅延が最大となるように正規化しておくことができる。
【0032】
遅延時間は、例えば放送コンテンツの番組内容や通信用コンテンツ素材の種類等に応じて適宜設定することができる。通信用コンテンツ素材が例えば音声である場合には、遅延時間はあまり必要ないので、遅延時間の最大値が例えば1秒未満(数〜数十フレーム程度)、字幕の場合には、例えば数〜10秒程度等で指定されるように予め設定される。
【0033】
[通信コンテンツ生成装置の構成]
通信コンテンツ生成装置1は、例えば、CPU(Central Processing Unit)等の演算装置と、RAM(Random Access Memory)やROM(Read Only Memory)等のメモリ、ハードディスク等の記憶装置と、外部との各種情報の送受信を行うインタフェース装置とを備えたコンピュータと、このコンピュータにインストールされたプログラムとから構成される。この通信コンテンツ生成装置1は、ハードウェア装置とソフトウェアとが協働することによって、前記したハードウェア資源がプログラムによって制御されることにより実現され、図1に示すように、タイムスタンプ抽出手段2と、入力手段3と、遅延手段4と、演算手段5と、タイムスタンプ付加手段6とを備える。なお、オンエアされている放送コンテンツ(Air、放送用TS信号)は、監視者周辺機材10の表示装置11に表示されることを前提とする。
【0034】
タイムスタンプ抽出手段2は、監視者周辺機材10の表示装置11に入力する放送用TS信号に多重化されているPESパケットに予め付加されているPTSの値を抽出するものである。本実施形態では、タイムスタンプ抽出手段2は、図1に示すように、分離手段21と、復号手段22と、周波数変換手段23とを備える。
【0035】
分離手段21は、放送用TS信号を入力し、放送用TS信号に含まれる映像・音声とPCR(Program Clock Reference)とを分離(逆多重化)するものである。この分離手段21は、例えば一般的なデマルチプレクサから構成される。分離された映像・音声は、復号手段22に入力する。また、PCRは、周波数変換手段23で利用される。
【0036】
復号手段22は、分離手段21で分離された映像・音声を表示可能に復号すると共にPTSの値を抽出するものである。この復号手段22は、例えば一般的な映像・音声デコーダから構成される。ここで抽出されたPTSの値は、演算手段5へ出力される。また、復号された映像・音声は、遅延手段4に入力する。なお、PTSは90kHzを単位とした33ビットの情報を示す。
【0037】
周波数変換手段23は、分離手段21で分離されたPCRに格納されているシステムクロック(STC:System Time Clock)を分周してシステムクロックよりも低い所定のクロック(例えばf/s)に変換するものである。周波数変換手段23は、例えば一般的な分周器から構成される。システムクロックから変換された所定のクロックは、タイムスタンプ付加手段6bの後記するAD変換手段60に入力する。ここで、fは例えばAD変換手段60のクロック、sはシステムクロックを示す。
【0038】
入力手段3は、監視者周辺機材10の操作手段12から、監視者周辺機材10の表示装置11において放送コンテンツを所望の時間だけ遅延させて表示するための遅延時間として操作量の入力を受け付けるものである。この入力手段3は、所定のインタフェース、図示しない算出部およびメモリ等から構成される。ここで受け付けた遅延時間は、遅延手段4と演算手段5とにそれぞれ入力する。
【0039】
入力手段3は、監視者周辺機材10の操作手段12から、操作ツマミを回転させたときの操作量を示す信号を遅延時間として受け付け、当該遅延時間、または、そのフレーム換算値やPTS換算値を遅延手段4に出力する。換算する場合、放送をはじめとする動画像システムで用いられているインターレース方式では、時間方向のサンプリング周波数は59.94fps(Field Per Second)であることから換算できる。また、PTSは、STCを基準として、PESペイロードの提示時刻を90kHz単位で示すことから換算できる。また、入力手段3は、受け付けた遅延時間のPTS換算値を演算手段5に出力する。
【0040】
遅延手段4は、監視者周辺機材10の表示装置11に入力する放送用TS信号を、入力手段3から入力された遅延時間だけ遅延させて表示装置11に出力するものである。この遅延手段4は、可変遅延回路から構成される。すなわち、遅延手段4は、入力端または出力端の候補を複数有していて、入力端または出力端のどちらかの接続位置を切り替えることで記憶容量が可変となる記憶手段から構成される。例えば、Nを任意の整数としてNフレーム分の記憶容量を有するFIFO型フレームメモリを複数組み合わせ、フレームメモリ間に例えば入力端を2つ設けることで可変遅延回路を構成することができる。
【0041】
遅延手段4は、例えば、監視者周辺機材10の操作手段12の操作ツマミが基準位置を示すときに、復号手段22と表示装置11とを短絡する配線に切り替わって記憶容量が0(遅延なし)となり、操作ツマミが最大位置を示すときに記憶容量が最大に伸長する配線に切り替わるように予め設定される。
【0042】
演算手段5は、監視者周辺機材10の表示装置11に入力する放送用TS信号より抽出されたPTSの値から、遅延時間のPTS換算値を減算した値を有する第2のPTSを生成するものである。この演算手段5は、一般的な加算器や減算器から構成される。ここで生成された第2のPTSは、タイムスタンプ付加手段6の後記する符号化手段61で利用される。すなわち、第2のPTSのPTS値は、符号化手段61に入力する。
【0043】
タイムスタンプ付加手段6は、通信用コンテンツ素材毎に設けられ、当該通信用コンテンツ素材を符号化して第2のPTSを付加することで、通信用のPESパケットを通信コンテンツとして生成するものである。
図1に示す通信コンテンツ生成装置1では、一例として、通信用コンテンツ素材として字幕を付加するためのタイムスタンプ付加手段6aと、音声を付加するためのタイムスタンプ付加手段6bとを備えることとした。ここで、字幕は、監視者周辺機材10の表示装置13に表示され、音声は監視者周辺機材10のスピーカ14に出力される。これにより、監視者は、表示装置11に表示される遅延した放送コンテンツと、それに付加しようとする通信コンテンツ(字幕や音声)との同期を調整することができる。
【0044】
タイムスタンプ付加手段6aは、符号化手段61と、多重化手段62と、配信手段63とを備える。
【0045】
符号化手段61は、入力された字幕(通信用コンテンツ素材)を符号化して通信用のPESパケットを生成するものである。符号化手段61は、例えば一般的な映像エンコーダから構成される。生成された通信用のPESパケットは多重化手段62に入力する。
【0046】
多重化手段62は、字幕(通信用コンテンツ素材)に対して生成された通信用のPESパケットを多重化した通信用TS信号を生成するものである。この多重化手段62は、例えば一般的なマルチプレクサから構成される。生成された通信用TS信号は配信手段63の図示しないコンテンツ記憶部に入力する。
【0047】
配信手段63は、コンテンツ受信端末200(図2参照)から、通信ネットワークNを介して、通信コンテンツの要求を受け付け、当該コンテンツ受信端末200に対して、要求された通信コンテンツとして、生成した通信用TS信号を配信するものである。このために、配信手段63は、図示を省略したコンテンツ要求受付部と、コンテンツ記憶部と、通信コンテンツ送信部とを備える。なお、受け付けるコンテンツ要求には、要求された通信コンテンツを特定するためのコンテンツ識別情報や受信端末識別情報等を含んでいる。これにより、通信コンテンツ送信部は、要求された通信コンテンツをコンテンツ記憶部から取得することができる。
【0048】
タイムスタンプ付加手段6bは、符号化手段61、多重化手段62、配信手段63に加えて、AD変換手段60も備えている。
AD変換手段60は、通信用コンテンツ素材である音声のアナログ信号を、周波数変換手段23で変換されたクロックにしたがってデジタル信号に変換するものである。この音声のデジタル信号は、一般的な音声エンコーダから構成された符号化手段61に入力し、符号化手段61は、AD変換された音声(通信用コンテンツ素材)に第2のPTSを付加して符号化し、多重化手段62に出力する。
【0049】
[通信コンテンツ生成装置の処理の流れ]
ここでは、通信コンテンツ生成装置の処理の流れについて、図1および図2を参照して説明する。以下では、処理の各段階に便宜的にS1〜S6のナンバリングを行って説明するが、各処理の実行順序は、ナンバリング通りである必要はなく、また、少なくともいずれか2つの処理を並列に行ってもよい。
【0050】
(S1:放送コンテンツのモニタリング)
通信コンテンツ生成装置1は、主調整室100の多重化装置130から出力された放送コンテンツ(放送用TS信号)を受信すると、分離手段21によって、映像・音声とPCRとを分離する。このうち、映像・音声は、復号手段22によってデコードされ、デコードされたコンテンツは、遅延手段4によって、遅延してから、監視者周辺機材10の表示装置11に入力し、表示装置11によって、表示される。
【0051】
(S2:遅延量の選択)
監視者は、監視者周辺機材10の表示装置11に表示された放送コンテンツと、表示装置13に表示された字幕(通信用コンテンツ素材)やスピーカ14から出力される音声(通信用コンテンツ素材)とを視聴して、放送コンテンツと通信コンテンツとが同期するように遅延量を調整する。監視者は、監視者周辺機材10の操作手段12を操作することによって遅延時間を変更することができる。なお、遅延量の具体例については後記する。
【0052】
このとき、通信コンテンツ生成装置1の入力手段3は、監視者周辺機材10の操作手段12から、操作ツマミを回転させたときの操作量を示す信号(遅延時間)を受け付け、遅延手段4および演算手段5に出力する。入力手段3が、例えば遅延時間のフレーム換算値を遅延手段4に出力し、遅延時間のPTS換算値を演算手段5に出力すると、監視者は、フレーム単位で遅延させた放送コンテンツを見ながら、通信コンテンツに対して、放送コンテンツに同期したPTS(第2のPTS)を付加することができる。
【0053】
(S3:PTSの生成)
通信コンテンツ生成装置1は、復号手段22によって、映像・音声をデコードするときに、放送コンテンツ(放送用TS信号)に予め付加されているPTSを抽出し、演算手段5に出力する。そして、通信コンテンツ生成装置1は、演算手段5によって、抽出されたPTSの値から、遅延量(遅延時間のPTS換算値)を減算した値を有する第2のPTSを生成する。
【0054】
ここで、一例として、監視者が、オンエア中の放送コンテンツ(Air)から、ある遅延量(遅延時間のPTS換算値)で遅延させた放送コンテンツをモニタしているタイミングで、演算手段5が演算する例について説明する。
このときの遅延量(遅延時間のPTS換算値)をPTS1として以下の式(1)に示す。また、遅延させた放送コンテンツに付加されているPTSの値をPTS2として以下の式(2)に示す。このとき、オンエア中の放送コンテンツ(Air)から既に抽出されているPTSの値をPTS3として以下の式(3)で示す(PTS3>PTS2)。なお、この例では、PTS3からPTS2を減算した値がPTS1となっている。
上記設定の場合、演算手段5は、PTS3からPTS1を減算し、その演算結果のPTS値として以下の式(4)で示されるPTS4を有した第2のPTSを生成することとなる。
PTS1=000・・000101 …式(1)
PTS2=000・・001011 …式(2)
PTS3=000・・010000 …式(3)
PTS4=000・・001011 …式(4)
【0055】
式(4)に示すPTS4は、式(2)に示すPTS2と同じ値なので、監視者は、遅延させた放送コンテンツに付加されているPTSの値と同じ値を有した通信コンテンツを生成することが可能となる。これは、生放送番組等で既に流れてしまったAirのPTS値を抽出して、既に流れてしまったタイミングで通信コンテンツを同期させることとなる。
なお、上記説明では、PTS値の演算を具体的に示すために、33ビットの下5桁ほどのビット列に単純化して説明した。
【0056】
(S4:PTSの付加)
通信コンテンツ生成装置1は、配信手段63によって、コンテンツ受信端末200(図2参照)から、通信ネットワークNを介して、通信コンテンツの要求を受け付ける。
通信コンテンツ生成装置1は、タイムスタンプ付加手段6の符号化手段61によって、例えば字幕や音声等の通信用コンテンツ素材に対して第2のPTSを付加し、エンコードすることでPESパケットを生成する。
【0057】
(S5:通信コンテンツの配信)
通信コンテンツ生成装置1は、通信用コンテンツ素材毎に、多重化手段62によって、PESパケットを多重化して通信コンテンツ(通信用TS信号)を生成する。
通信コンテンツ生成装置1は、配信手段63によって、通信ネットワークNを介して、要求元のコンテンツ受信端末200(図2参照)に対して、通信コンテンツを配信する。これにより、コンテンツ受信端末200は、通信コンテンツを表示する。
【0058】
(S6:クロックによる同期)
通信コンテンツが例えば音声である場合、以下の処理を行う。
通信コンテンツ生成装置1は、通信用コンテンツ素材が音声である場合、放送コンテンツ(放送用TS信号)から分離手段21によって分離(逆多重化)されたPCRを抽出し、PCRからSTCを生成し、周波数変換手段23によって、STCを分周することで、AD変換手段60のためのクロックを生成する。そして、タイムスタンプ付加手段6bのAD変換手段60は、この生成されたクロックにより、アナログ音声(通信用コンテンツ素材)をデジタル信号の音声に変換する。一方、コンテンツ受信端末200(図2参照)は、受信した放送コンテンツから分離(逆多重化)、生成するSTCからDA変換処理のためのクロックを生成して使用する。したがって、通信コンテンツを送信する側のAD変換処理のクロックと、通信コンテンツを受信する側のDA変換処理のクロックとが揃い、同期が確立できる。これによれば、通信コンテンツが音声や映像等の場合、クロックを揃えることで同期を精密に行うことができる。
【0059】
[遅延量の具体例]
ここでは、遅延量の具体例について説明する。例えば、実況者と解説者による野球中継の生放送番組(放送コンテンツ)を仮定し、かつ、この放送コンテンツに対して用意する通信用コンテンツ素材として、一方のチームを応援する特別解説者の音声を付加する場合を想定する。この想定において、特別解説者がスタジオでて野球中継の映像を見ながら解説する、といった場合、原理的に、野球中継の映像に対して、特別解説者の音声が遅れることになる。つまり、このサービスを受けている視聴者にとってみれば、視聴中に、特別解説者の音声の方が、野球中継の映像の場面よりも遅れていると感じる。
【0060】
監視者は、このように遅れて聞こえるような感じを与えないように遅延量(操作量)を選択する。このことができる理由は、監視者が監視している環境、すなわち、監視者周辺機材10のある環境は、視聴者がコンテンツ受信端末200を利用して視聴している環境を再現したことになるからである。
【0061】
なお、視聴者が見たり聞いたりしていて不自然にならないように調整するので、音声(通信用コンテンツ素材)については、ほぼ遅延なしとなる。字幕(通信用コンテンツ素材)に関しては、放送コンテンツを視聴しながら制作しなければならないので、長いときには数秒程度遅延させることとなる。
【0062】
以上により、本実施形態の通信コンテンツ生成装置1によれば、放送局側で、遅延させた放送コンテンツを視聴して、放送コンテンツと通信コンテンツとの同期を監視者により確認した後に、通信コンテンツにPTS(第2のPTS)を付加することができる。そのため、生放送番組において、従来は不可能であった通信コンテンツに放送コンテンツに同期したPTSを付加することが可能となる。これにより、生放送番組であっても、コンテンツ受信端末において、放送コンテンツと通信コンテンツとの同期をとることができる。したがって、コンテンツ受信端末において、通信コンテンツとして、例えば、多言語の字幕、多言語の音声、放送映像に同期した他の映像等を、放送コンテンツと同時に提示することができる。
【0063】
以上、実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではなく、その趣旨を逸脱しない範囲で適宜変形することができる。例えば、通信コンテンツ生成装置1の入力手段3は、監視者周辺機材10の操作手段12から受け付けた遅延時間からPTS換算値等を求めるものとして説明したが、操作手段12が、遅延時間からPTS換算値等を求める機能を備えるようにしてもよい。
【0064】
また、本実施形態では、監視者周辺機材10の操作手段12が、操作ツマミを回転させるタイプのものとして説明したが、例えば、スライド機構に取り付けたレバーを直線上で移動させたときに変位センサで距離や変位等を操作量として計測・検出するスライダ装置でもよい。その他、ジョイスティックやマウス等のポインティングデバイスを用いることもできる。
【0065】
また、図1に示す例では、表示装置11と、操作手段12と、表示装置13と、スピーカ14とを個別の装置であるものとして説明したが、1つの表示装置を兼用するなど、いずれか複数またはすべての装置を1ユニット化した装置であっても構わない。
【0066】
また、監視者が放送局にて監視を行う場合、主調整室100に、通信コンテンツ生成装置1を配置して、主調整室100の備品等を監視者周辺機材10として用いることができる。
【0067】
また、監視者は放送局以外の場所にて監視を行ってもよいことは勿論である。また、監視者は、放送局に属する人物に限定されるものではなく、例えば、ASP(Application Service Provider)や、通信コンテンツを企画、生成、流通させる事業者等であってもよい。この場合、例えば、放送局の主調整室100の多重化装置130から、放送コンテンツ(放送用TS信号)を、ASPのもとに設置された通信コンテンツ生成装置1へ入力する通信線を設ければ、同様の効果を奏することができる。
【符号の説明】
【0068】
1 通信コンテンツ生成装置
2 タイムスタンプ抽出手段
3 入力手段
4 遅延手段
5 演算手段
6(6a、6b) タイムスタンプ付加手段
10 監視者周辺機材
11 表示装置
12 操作手段
13 表示装置
14 スピーカ
21 分離手段
22 復号手段
23 周波数変換手段
60 AD変換手段
61 符号化手段
62 多重化手段
63 配信手段
100 主調整室
110 映像エンコーダ
120 音声エンコーダ
130 多重化装置
140 変調手段
150 出力手段
160 アンテナ
200 コンテンツ受信端末
N 通信ネットワーク

【特許請求の範囲】
【請求項1】
放送波により放送用TS信号として放送される1つの放送コンテンツと通信ネットワークで配信するための1または複数の通信用コンテンツ素材とを送信側で同期させるためにそれぞれ監視する監視者が同期用の所望の時間を選択する操作を行うために用いる操作手段の操作量に基づいて、前記1または複数の通信用コンテンツ素材から1または複数の通信コンテンツを生成する通信コンテンツ生成装置であって、
前記監視者が利用する表示装置に入力する前記放送用TS信号に多重化されているPESパケットに予め付加されているPTSの値を抽出するタイムスタンプ抽出手段と、
前記操作手段から、当該監視者が利用する表示装置において前記放送コンテンツを前記所望の時間だけ遅延させて表示するための遅延時間として前記操作量の入力を受け付ける入力手段と、
前記表示装置に入力する前記放送用TS信号を前記遅延時間だけ遅延させて前記表示装置に出力する遅延手段と、
前記表示装置に入力する放送用TS信号より抽出されたPTSの値から、前記遅延時間のPTS換算値を減算した値を有する第2のPTSを生成する演算手段と、
前記通信用コンテンツ素材毎に設けられ、当該通信用コンテンツ素材を符号化して前記第2のPTSを付加することで、通信用のPESパケットを前記通信コンテンツとして生成するタイムスタンプ付加手段と、
を備えることを特徴とする通信コンテンツ生成装置。
【請求項2】
前記通信用コンテンツ素材のうち少なくとも1つは映像または音声を含み、
前記タイムスタンプ抽出手段は、
前記放送用TS信号に含まれる映像・音声とPCRとを分離する分離手段と、
前記分離された映像・音声を表示可能に復号すると共に前記PTSの値を抽出する復号手段と、
前記分離されたPCRに格納されているシステムクロックを分周して前記システムクロックよりも低い所定のクロックに変換する周波数変換手段と、を備え、
前記タイムスタンプ付加手段は、
前記通信用コンテンツ素材のアナログ信号を、前記周波数変換手段で変換されたクロックにしたがってデジタル信号に変換するAD変換手段と、
前記AD変換された通信用コンテンツ素材に前記第2のPTSを付加して符号化する符号化手段と、を備えることを特徴とする請求項1に記載の通信コンテンツ生成装置。
【請求項3】
前記タイムスタンプ付加手段は、
前記通信用コンテンツ素材に対して生成された前記通信用のPESパケットを多重化した通信用TS信号を生成する多重化手段と、
放送波を介して放送用TS信号として放送される放送コンテンツを受信する受信端末から、前記通信ネットワークを介して、当該放送コンテンツのために用意された通信コンテンツの要求を受け付け、当該受信端末に対して、前記要求された通信コンテンツとして前記通信用TS信号を配信する配信手段と、
を備えることを特徴とする請求項1または請求項2に記載の通信コンテンツ生成装置。
【請求項4】
放送波により放送用TS信号として放送される1つの放送コンテンツと通信ネットワークで配信するための1または複数の通信用コンテンツ素材とを送信側で同期させるためにそれぞれ監視する監視者が同期用の所望の時間を選択する操作を行うために用いる操作手段の操作量に基づいて、前記1または複数の通信用コンテンツ素材から1または複数の通信コンテンツを生成するために、前記監視者が利用する表示装置に入力する前記放送用TS信号を所定の時間だけ遅延させて前記表示装置に出力する遅延手段を備えたコンピュータを、
前記表示装置に入力する前記放送用TS信号に多重化されているPESパケットに予め付加されているPTSの値を抽出するタイムスタンプ抽出手段、
前記操作手段から、当該監視者が利用する表示装置において前記放送コンテンツを前記所望の時間だけ遅延させて表示するための遅延時間として前記操作量の入力を受け付け、前記遅延手段に送る入力手段、
前記表示装置に入力する放送用TS信号より抽出されたPTSの値から、前記遅延時間のPTS換算値を減算した値を有する第2のPTSを生成する演算手段、
前記通信用コンテンツ素材毎に設けられ、当該通信用コンテンツ素材を符号化して前記第2のPTSを付加することで、通信用のPESパケットを前記通信コンテンツとして生成するタイムスタンプ付加手段、
として機能させるための通信コンテンツ生成プログラム。


【図1】
image rotate

【図2】
image rotate


【公開番号】特開2013−55479(P2013−55479A)
【公開日】平成25年3月21日(2013.3.21)
【国際特許分類】
【出願番号】特願2011−191815(P2011−191815)
【出願日】平成23年9月2日(2011.9.2)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】