コンテンツ処理装置
【課題】発声者の意図する映像のタイミングでコンテンツに対して入力されたコメントを視聴者が聞くことができるコンテンツ処理装置を提供する。
【解決手段】本発明のコンテンツ処理装置４は、コンテンツを配信すると共に、コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理装置である。コンテンツの映像を出力する映像再生手段４２と、コンテンツから分離した音声の時間情報と、コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信したコメントの時間情報と、が一致すると、コンテンツの音声をコメントに切り替えて出力するオーディオ切り替え手段４４と、を備える。
【解決手段】本発明のコンテンツ処理装置４は、コンテンツを配信すると共に、コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理装置である。コンテンツの映像を出力する映像再生手段４２と、コンテンツから分離した音声の時間情報と、コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信したコメントの時間情報と、が一致すると、コンテンツの音声をコメントに切り替えて出力するオーディオ切り替え手段４４と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツを配信すると共に、当該コンテンツに対するユーザのコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理装置、コンテンツ処理方法及びコンテンツ処理プログラム、コンテンツ配信システムに関する。
【背景技術】
【０００２】
ｘＤＳＬ（Digital Subscriber Line）やＦＴＴＨ（Fiber To The Home）等の広帯域ネットワークの普及によりＩＰ（Internet Protocol）ネットワークを利用したコンテンツ配信サービスが盛んに行われるようになってきた。これまで、多言語音声や副音声などといった通常番組以外の音声情報は、コンテンツ製作者が提供していた。
【０００３】
最近では、特許文献１に開示されているように、視聴者が映像画面に文字などの情報を付加したコンテンツを作成し、他の視聴者と当該コンテンツを同時に視聴するコンテンツ共有サービスが提案されている。
【０００４】
また、特許文献２に開示されているように、同一のコンテンツを同時に視聴し、ＶｏＩＰ（Voice over Internet Protocol）機能を利用した音声通信を行い、発言コメントを共有するサービスが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−４１８８６号公報
【特許文献２】特開２００７−２７４２２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１、２の技術は、視聴者同士が同一のコンテンツを同時に視聴する必要がある。そのため、ＶＯＤ（Video On Demand）などのように視聴者が個々にコンテンツを要求し再生する場合には、予め参加者がスケジュールを決め、その時間には必ずＴＶの視聴を行なう必要がある。したがって、たまたま参加できなかったメンバが会話の内容を聞いたり、後でコメントに参加できなかったり、といった課題があった。
【０００７】
特に、特許文献２の技術は、同時視聴しているコンテンツと会話の内容とが同時視聴中に共有できても、コメントをコンテンツに同期させて残しておくことができない。また、映像画面に文字などのコメントを書き込む場合にもコメントを付加したいタイミングにコメントを挿入することは困難であった。
【０００８】
ところで、ＶＯＤにおいてコンテンツ開始から経過した時間情報によりコメントを挿入する方法も考えられる。しかし、例えばＩＰマルチキャスト放送を視聴している時にコメントデータを挿入する場合には、コンテンツの開始時刻がわからないため適切な時刻にコメントを挿入できない問題が残る。更に、今後放送されたコンテンツを番組単位で見逃し視聴サービスといわれるＶＯＤを行う際に、コメントが挿入された放送コンテンツを視聴する場合、番組単位に編集した場合、コメント挿入時刻情報を一致させる方法が提案されていない。
【０００９】
本発明の目的は、上述した課題を解決するコンテンツ処理装置、コンテンツ処理方法及びコンテンツ処理プログラム、コンテンツ配信システムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明のコンテンツ処理装置は、コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理装置であって、前記コンテンツの映像を出力する映像再生手段と、前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え手段と、を備える。
本発明のコンテンツ配信システムは、上記コンテンツ処理装置を備える。
【００１１】
本発明のコンテンツ処理方法は、コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理方法であって、前記コンテンツの映像を出力する映像再生工程と、前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え工程と、を備える。
【００１２】
本発明のコンテンツ処理プログラムは、コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理プログラムであって、コンテンツ処理装置に、前記コンテンツの映像を出力する映像再生処理と、前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え処理と、を実現させる。
【発明の効果】
【００１３】
本発明によれば、コンテンツ配信サービスの視聴時間は視聴者によって自由に選択でき、更に視聴しているコンテンツにコメントが入力されている場合には、発声者の意図する映像のタイミングで入力されたコメントを視聴者が聞くことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態のコンテンツ配信システムを概略的に示すブロック図である。
【図２】本発明の第１の実施の形態のコンテンツ処理装置を概略的に示すブロック図である。
【図３】本発明の第１の実施の形態のコンテンツ処理装置を詳細に示すブロック図である。
【図４】本発明の第１の実施の形態のコンテンツ処理方法の流れを示すタイミングチャートである。
【図５】本発明の第１の実施の形態のコンテンツ処理プログラムの動作を示すフローチャートである。
【図６】本発明の第２の実施の形態のコンテンツ処理装置を詳細に示すブロック図である。
【図７】本発明の第２の実施の形態のコンテンツ処理方法の流れを示すタイミングチャートである。
【図８】本発明の第２の実施の形態のコンテンツ処理プログラムの動作を示すフローチャートである。
【図９】本発明の第４の実施の形態のコンテンツ配信システムを概略的に示すブロック図である。
【図１０】本発明の第４の実施の形態のコンテンツ処理装置を詳細に示すブロック図である。
【発明を実施するための形態】
【００１５】
本発明の実施の形態に係るコンテンツ処理装置、コンテンツ処理方法及びコンテンツ処理プログラム、コンテンツ配信システムについて説明する。但し、本発明が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。
【００１６】
＜第１の実施の形態＞
本実施の形態のコンテンツ処理装置は、図１に示す音声付加コンテンツ配信システムにおいて好適に用いることができる。
【００１７】
便宜上、先ず音声付加コンテンツ配信システムの構成を説明する。本実施の形態の音声付加コンテンツ配信システムは、ＩＰネットワークを利用してコンテンツを配信すると共に、当該コンテンツに対するコメントを配信する。但し、図１に示す音声付加コンテンツ配信システムは、ＩＰネットワークに対して視聴者Ａ、Ｂが接続されているが、視聴者の数はこの限りでない。
【００１８】
コンテンツサーバ１は、ＶＯＤサービス等のコンテンツサービスを配信するサーバであり、視聴者Ａの視聴要求によりコンテンツＳ１０１を配信する。コンテンツＳ１０１は、ＩＰネットワーク２を介して視聴者Ａ宅のコンテンツ処理装置（ＳＴＢ：Set Top Box）４に配信され、当該コンテンツ処理装置４にてコンテンツをデコードし、視聴装置５にて映像・音声が出力される。視聴装置５は通常のテレビ画面でも、パーソナルコンピュータ等のモニタでも構わない。視聴者Ａは、モニタ画面を見ながら感想や意見といったコメントをマイク（入力部）６より入力する。コメントには、例えば視覚障害者向けの副音声や放送されていない外国語の吹き替え音声でも良い。
【００１９】
コンテンツ処理装置４は、詳細は後述するが、マイク６より入力されたコメント情報（音声情報）をデジタル化し、現在デコード中のコンテンツの時間情報を付加してコンテンツ情報と共にエンコードした後に、ＩＰネットワーク２を通してコメントサーバ３に送信する。すなわち、配信されるコンテンツがＭＰＥＧ−２ ＴＳである場合には、ＭＰＥＧ−２ ＴＳのＡｕｄｉｏストリームもしくはＶｉｄｅｏストリームのＰＴＳ（Presentation Time Stamp）を時間情報として付加することで、コメントとコンテンツの映像とを同期させることができる。また、コンテンツ情報は配信されたコンテンツが特定できる情報であれば良いため、視聴装置５から再生中のコンテンツ情報(例えば、コンテンツのタイトルであったり、コンテンツの録画開始された時刻情報及びチャンネル情報等)であれば良い。なお、音声情報をデジタル化する際のクロックは、コンテンツをデコードしているクロックを用いることにより、時間情報と同期させることができる。デジタル化されたコメント情報は、非圧縮のままコメントサーバ３に送信しても良いし、圧縮符号化してコメントサーバ３に送信しても良い。また、コメント情報を圧縮符号化する場合には、再生中のコンテンツの音声情報と同じ圧縮符号化方式を用い、同じ圧縮率に符号量制御することにより、コメントサーバ３の処理を簡略化することができる。
【００２０】
コメントサーバ３は、視聴者Ａ宅のコンテンツ処理装置４から時間情報等が付加されたコメント情報Ｓ１０２とコンテンツ情報を受信し、コンテンツ情報からコンテンツサーバ１にコンテンツの詳細情報(例えば、コンテンツの録画開始された時刻情報及びチャンネル情報、コンテンツの映像符号化方式及び符号化レートや、音声符号化方式及び符号化レート等の情報)Ｓ１０３を問い合わせし、視聴者Ａ宅のコンテンツ処理装置４から受信したコメント情報Ｓ１０２を、当該コンテンツの詳細情報Ｓ１０３に基づいて、コンテンツＳ１０１と同じ音声フォーマットに圧縮し蓄積する。コンテンツサーバ１は、コメントサーバ３のコンテンツ詳細情報問い合わせによって、コンテンツＳ１０１にコメント情報があることを記憶する。
【００２１】
視聴者Ｂ宅のコンテンツ処理装置４からコンテンツサーバ１に対してコンテンツＳ１０１の再生要求があると、コンテンツサーバ１は視聴者Ｂ宅のコンテンツ処理装置４に視聴者Ａのコメントがあることを告知する。コンテンツ処理装置４に視聴者Ａのコメントがあることを告知する方法としては、Ｗｉｄｇｅｔ等のアプリケーションを用いて告知したり、視聴装置５の画面にＰｏｐＵＰコメント有り表示を示したりする。また、視聴装置５に表示されたＶＯＤ選択画面のＧＵＩ（Graphical User Interface）上にコメントがある場合には、その番組表示にコメントがあることが判るようにしておく。
【００２２】
視聴者Ｂからの要求があれば、コンテンツサーバ１がコンテンツＳ１０１を配信する際に、コメントサーバ３がコメント情報Ｓ１０４を配信する。視聴者Ｂ宅のコンテンツ処理装置４は、コンテンツＳ１０１とコメント情報Ｓ１０４を受信してデコードし、コンテンツＳ１０１を再生して視聴装置５に出力する。それと共に、視聴者Ｂ宅のコンテンツ処理装置４は、コンテンツＳ１０１の復号時間情報とコメント情報Ｓ１０４の時間情報とが一致したタイミングでコメント情報Ｓ１０４を視聴装置５に出力する。これにより、視聴者Ｂは視聴者Ａが発言したタイミングでコンテンツに対するコメントを聞くことが可能となる。ちなみに、視聴者Ｂは、例えばコンテンツ処理装置４が備える、ＶＯＤ選択画面のＧＵＩ上のコメントに連動したボタン（選択部）を視聴者が選択する等の方法でコメントの要求ができる（図示を省略）。
【００２３】
このような音声付加コンテンツ配信システムにおいて、本実施の形態のコンテンツ処理装置４は視聴者Ｂ宅で用いられる。
コンテンツ処理装置４は、図２に示すように、少なくとも映像再生部４２、オーディオ切り替え部４４を備える。映像再生部４２は、視聴者Ｂの要求に基づいて、コンテンツサーバ１からＩＰネットワーク２を介して送信された、コンテンツＳ１０１の映像を視聴装置５に出力する。オーディオ切り替え部４４は、当該コンテンツＳ１０１から分離した音声の時間情報と、視聴者Ｂの要求に基づいてコメントサーバ３からＩＰネットワーク２を介して送信された、コメント情報Ｓ１０４の時間情報と、が一致すると、コンテンツＳ１０１の音声をコメント情報Ｓ１０４に切り替えて、当該コメント情報Ｓ１０４を視聴装置５に出力する。すなわち、コンテンツ処理装置４には、当該コンテンツ処理装置４に、コンテンツＳ１０１の映像を出力する処理と、コンテンツＳ１０１から分離した音声の時間情報と、視聴者Ｂの要求に基づいて送信された、コメント情報Ｓ１０４の時間情報と、が一致すると、コンテンツＳ１０１の音声をコメント情報Ｓ１０４に切り替えて、当該コメント情報Ｓ１０４を出力する処理と、を実現させるコンテンツ処理プログラムが格納されている。そして、コンテンツ処理装置４は、当該プログラムに基づいて、上述した処理を実現する。
【００２４】
ここで、コメント情報Ｓ１０４（Ｓ１０２）は、上述のように視聴者Ａ宅で視聴されたコンテンツＳ１０１の時間情報に基づいて、予め時間情報が与えられた状態でコメントサーバ３に格納されている。そして、コメント情報Ｓ１０４は、視聴者Ｂの要求に基づいて、コメントサーバ３から視聴者Ｂ宅のコンテンツ処理装置４に送信される。このとき、コメント情報Ｓ１０４の時間情報として、コンテンツＳ１０１の時間情報、例えば、配信されるコンテンツがＭＰＥＧ−２ ＴＳである場合には、ＭＰＥＧ−２ ＴＳのＡｕｄｉｏストリームもしくはＶｉｄｅｏストリームのＰＴＳを時間情報として与えている。
【００２５】
このようなコンテンツ処理装置４、コンテンツ処理方法及びコンテンツ処理プログラム、コンテンツ配信システムは、視聴者の要求に基づいて、コンテンツサーバ１から所望のコンテンツを受信するので、コンテンツの視聴時間を視聴者によって自由に選択できる。更に視聴しているコンテンツにコメントが入力されている場合には、発声者（視聴者Ａ）の意図する映像のタイミングで入力されたコメントを視聴者（視聴者Ｂ）が聞くことができる。
【００２６】
このようなコンテンツ処理装置４は、図３のような構成とされていることが好ましい。すなわち、コンテンツ処理装置４は、ＩＰ網を通してさまざまなサービスのデータＳ４００が通信Ｉ／Ｆ部４０に入力される。通信Ｉ／Ｆ部４０は、コンテンツストリームＳ４０１を選択して、当該コンテンツストリームＳ４０１をストリーム分離部４１に入力する。また、通信Ｉ／Ｆ部４０は、ＴＣＰプロトコルのメッセージを利用して視聴者に対して、視聴装置５の画面にコメントがあることを示したり、Ｗｉｄｇｅｔ等のアプリケーションを利用して、視聴装置５の画面にコメントの有無を示したりする。
【００２７】
ストリーム分離部４１は、コンテンツストリームＳ４０１のヘッダ情報を解析し、当該コンテンツストリームＳ４０１を映像ストリームＳ４０２、クロック情報Ｓ４０３、音声ストリームＳ４０４に分離する。クロック情報Ｓ４０３は、クロック制御部４３に入力される。クロック制御部４３は、クロック情報Ｓ４０３に基づいてコンテンツ処理装置４の動作クロックを生成する。映像ストリームＳ４０２は、クロック制御部４３で生成された映像クロック信号Ｓ４０６に基づいて、ビデオ復号化部（映像再生部）４２でデコード（復号化）されて映像信号Ｓ４０５として出力される。また、音声ストリームＳ４０４は、クロック制御部４３で生成された音声クロック信号Ｓ４０７に基づいて、オーディオ復号化部（オーディオ切り替え部）４４でデコードされてオーディオ信号Ｓ４０９として出力される。この時、オーディオ信号Ｓ４０９は、必ずしもオーディオ復号化部４４でデコードされなくてもよく、圧縮されたデジタルストリーム例えばＡＥＳ／ＥＢＵ規格やＳＰＤＩＦ規格に準拠したフォーマットのオーディオ信号Ｓ４０９として出力しても良い。
【００２８】
視聴者Ｂは、例えばコンテンツ処理装置４が予め備える、ＶＯＤ選択画面のＧＵＩ上のコメントに連動したボタン（選択部）を操作して、コメントの要求を行う。視聴者Ｂのコメントの要求に基づいて、コンテンツ再生時にコメント情報Ｓ４１２をオーディオ信号Ｓ４０９として出力する際には、通信Ｉ／Ｆ部４０で受信したコメント情報Ｓ４１２をオーディオ復号化部４４に入力する。オーディオ復号化部４４には、音声ストリームＳ４０４とコメント情報Ｓ４１２とが入力される。オーディオ復号化部４４は、コメント情報Ｓ４１２をデコードし、当該コメント情報Ｓ４１２のタイムスタンプ（時間情報）が音声ストリームＳ４０４と一致すると、当該コメント情報Ｓ４１２をオーディオ信号Ｓ４０９として出力する。
【００２９】
ちなみに、ＣＰＵ（Central Processing Unit）４６は、通信Ｉ／Ｆ部４０がさまざまな情報の中からユーザ所望のコンテンツを選択したり、コメント入出力をサーバと通信したりする等のコンテンツ処理装置４全体を制御する。
【００３０】
このようなコンテンツ処理装置４を用いて、図４に示すようにコンテンツ処理方法が実現される。
先ず、視聴者Ｂ宅のコンテンツ処理装置４からコンテンツサーバ１へコンテンツ視聴要求を出力する（Ｃ１１）。これにより、コンテンツ処理装置４には、コンテンツサーバ１からコンテンツが配信される（Ｃ１２）。更にコンテンツ処理装置４には、コンテンツサーバ１から視聴者Ａのコメントが蓄積されていることを示す情報が配信される（Ｃ１３）。視聴者Ｂ宅のコンテンツ処理装置４は、受信したコンテンツのデコードを開始すると共に、上述のように例えばＷｉｄｇｅｔ等のアプリケーションを利用して、コメントの有無を視聴者Ｂに伝える。コンテンツ処理装置４は、視聴者Ｂからのコメント要求を、ＩＰネットワーク２を介してコメントサーバ３に送信する（Ｃ１４）。これにより、コンテンツ処理装置４には、コメントサーバ３から視聴者Ａのコメントが配信される（Ｃ１５）。コンテンツ処理装置４は、コンテンツから分離した音声の時間情報と、視聴者Ａのコメントの時間情報と、が一致すると、コンテンツの音声を視聴者Ａのコメントに切り替えて出力する。その結果、視聴者Ｂ宅では、コンテンツを視聴すると共に、当該コンテンツと同期するコメントを視聴することが可能となる（Ｃ１６）。
【００３１】
さらに具体的に云うと、コンテンツ処理装置４は、コンテンツ処理プログラムに基づいて、図５に示す処理フローを実現する。
コンテンツ処理装置４の通信Ｉ／Ｆ部４０は、入力されたＩＰパケットからＲＴＰ（Real-time Transport Protocol）／ＵＤＰ（User Datagram Protocol）パケットヘッダを解析する（Ｆ１０１）。そして、視聴者Ｂが要求したストリームのみ次のＦ１０３の処理に送り、そうでないパケットデータの場合には破棄し、次のパケットデータの処理に移行する（Ｆ１０２）。
【００３２】
次に、コンテンツ処理装置４の通信Ｉ／Ｆ部４０は、ＲＴＰパケットヘッダ内のシーケンス番号によりパケットデータがコンテンツストリームパケットであるか、コメントパケットであるかを判定する。そして、コンテンツパケットの場合にはＦ１０４の処理に移行し、コメントパケットの場合にはＦ１１０の処理に移行する（Ｆ１０３）。
【００３３】
次に、コンテンツ処理装置４のストリーム分離部４１は、ＴＳヘッダ解析を行い、ＴＳパケットの分離情報をビデオパケット（映像パケット）とオーディオパケット（音声パケット）とＰＣＲ（Program Clock Reference）などの時間情報に分離する為のＰＩＤ情報を取得する（Ｆ１０４）。
【００３４】
次に、コンテンツ処理装置４のストリーム分離部４１は、ＰＩＤ情報からＰＣＲ、ビデオパケット、オーディオパケットを分離し、それぞれＦ１０６、Ｆ１０７、Ｆ１１０の処理に移る（Ｆ１０５）。
【００３５】
コンテンツ処理装置４のクロック制御部４３には、ＰＣＲが入力される。クロック制御部４３は、ＰＣＲに基づいて基準クロックを生成する（Ｆ１０６）。ビデオ復号化部４２は、分離したビデオデータをデコードしビデオ信号を出力する（Ｆ１０７）。オーディオ復号化部４４は、コメント情報と、コンテンツの音声情報とのどちらをデコードするかを選択し（Ｆ１１０）、いずれか一方の情報をデコードし出力する（Ｆ１０８）。
【００３６】
＜第２の実施の形態＞
上記第１の実施の形態のコンテンツ処理装置は、音声付加コンテンツを良好に受信することができる構成とされているが、コンテンツにコメントを入力することができる手段をさらに備えていることが好ましい。
【００３７】
即ち、コンテンツ処理装置は、図６に示すように、コメントを入力するマイクなどの入力部６、オーディオ符号化部４５を備えることが好ましい。入力部６から入力されるコメント情報Ｓ４１０は、オーディオ符号化部４５においてエンコードされたコメント情報Ｓ４１１として通信Ｉ／Ｆ部４０からＩＰネットワーク２を介してコメントサーバ３に送信される。これにより、コンテンツ処理装置は、単に音声付加コンテンツを受信するだけでなく、当該コンテンツに対してコメントを付加することができる。しかも、再生中のコンテンツに対して意図したタイミングでコメントを付加することができる。
【００３８】
オーディオ符号化部４５には、現在受信している音声ストリーム情報Ｓ４０８が入力される。オーディオ符号化部４５は、音声ストリーム情報Ｓ４０８に基づいてコメント情報Ｓ４１０をエンコード（符号化）する。ここで、音声ストリーム情報Ｓ４０８とは、オーディオ復号化部４４でデコードしている音声ストリームの符号化方式情報と、符号化レートと、時間情報（ＰＴＳ）等である。
【００３９】
オーディオ符号化部４５は、発声されている状態ではエンコードを続ける。そのため、コンテンツ処理装置から出力される音声などの取り込みを防止するためのエコーキャンセラを搭載することが好ましい。これにより、入力されるコメントをより精度よく入力することが可能となる。
【００４０】
このようなコンテンツ処理装置を用いると、図７に示すような音声付加コンテンツ処理方法を実現することができる。なお、図１に示す音声付加コンテンツ処理システムを前提として説明する。
【００４１】
先ず、視聴者Ａ宅のコンテンツ処理装置４は、視聴者Ａの要求に基づいて、コンテンツサーバ１にコンテンツ視聴要求を出力する（Ｃ１００）。コンテンツサーバ１は、当該視聴要求に基づいて、所望のコンテンツの配信を視聴者Ａ宅のコンテンツ処理装置４に対して開始する（Ｃ１０１）。
【００４２】
次に、視聴者Ａ宅のコンテンツ処理装置４は、コンテンツをデコードし視聴者Ａが視聴可能な状態とする（Ｃ１０２）。この時、視聴者Ａが視聴中にコメントを発言した際、視聴者Ａ宅のコンテンツ処理装置４の入力部６は当該コメントを取得する。そして、当該コンテンツ処理装置４のオーディオ符号化部４５は、コメントに再生中のコンテンツの時間情報を付加してエンコードし、コメントサーバ３に送信する（Ｃ１０３）。
【００４３】
次に、コメントサーバ３は、コメントを受信するとコンテンツサーバ１にコメント蓄積通知を送信する（Ｃ１０４）。コンテンツサーバ１は、コメント蓄積通知から当該コンテンツに視聴者Ａのコメントが残されたことを管理する。
【００４４】
一方、視聴者Ｂ宅のコンテンツ処理装置４は、視聴者Ｂの要求に基づいて、コンテンツサーバ１にコンテンツ視聴要求を出力する（Ｃ１０５）。コンテンツサーバ１は、当該コンテンツ視聴要求に基づいて、所望のコンテンツを視聴者Ｂ宅のコンテンツ処理装置４に対して配信する（Ｃ１０６）。更に、コンテンツサーバ１は、視聴者Ａのコメントが蓄積されていることを示す情報を視聴者Ｂ宅のコンテンツ処理装置４に配信する（Ｃ１０７）。
【００４５】
視聴者Ｂ宅のコンテンツ処理装置４は、コンテンツを受信しデコードを開始すると共にコメントがあることを視聴者Ｂに伝える。視聴者Ｂ宅のコンテンツ処理装置４は、視聴者Ｂからのコメント要求を、ＩＰネットワーク２を介してコメントサーバ３に送信する（Ｃ１０８）。これにより、コメントサーバ３は、視聴者Ｂ宅のコンテンツ処理装置４にコメントサーバ３からＩＰネットワーク２を介して視聴者Ａのコメントを配信する（Ｃ１０９）。視聴者Ｂ宅のコンテンツ処理装置４は、コンテンツから分離した音声の時間情報と、視聴者Ａのコメントの時間情報と、が一致すると、コンテンツの音声を視聴者Ａのコメントに切り替えて出力する。その結果、視聴者Ｂ宅では、コンテンツを視聴すると共に、当該コンテンツと同期するコメントを視聴することが可能となる（Ｃ１１０）。
【００４６】
ちなみに、本実施の形態のコンテンツ処理装置４も、コンテンツ処理プログラムに基づいて動作し、第１の実施の形態のコンテンツ処理装置４と略同様に動作する。但し、本実施の形態のコンテンツ処理装置４は、図８に示すように、コメント情報が入力された場合、コンテンツ処理装置４のオーディオ符号化部４５が、コメント情報とクロック情報とオーディオ出力時間情報とをエンコードし、通信Ｉ／Ｆ部４０を介してコメントサーバ３に送信する（Ｆ１０９）。
【００４７】
＜第３の実施の形態＞
第１及び第２の実施の形態では、コンテンツの音声をコメントに切り替えて出力しているが、この限りでない。
【００４８】
即ち、オーディオ復号化部４４は、視聴者Ｂ宅のスピーカがサラウンド設定である場合、背面スピーカのチャンネルの出力を音声ストリームからコメント情報に切り替える構成であることが好ましい。これにより、前面スピーカからはコンテンツの音声を聞きつつ、背面スピーカからコメントを聞くことが可能となる。
【００４９】
つまり、図１に示すように、視聴者Ｂ宅のスピーカがサラウンドの設定である場合には背面スピーカ７よりコメント情報Ｓ１０４をデコードしたコメントＳ１０５を出力し、前面スピーカからはコンテンツの音声を出力することが可能となる。これにより、視聴者ＢはコンテンツＳ１０１を視聴しながら、視聴者Ａのコメントを楽しむことが可能となる。この時、コメントサーバ３では配信されるコンテンツの音声データが５．１ｃｈサラウンド音声もしくは７．１ｃｈサラウンド音声といった複数チャンネルの音声の場合、コメント情報を背面チャンネルの圧縮フォーマットに従った符号量に制御する。コンテンツ処理装置４では、背面チャンネル情報をコメント情報に切り替えて出力する。これにより、視聴者Ｂは背面スピーカ７からコメントＳ１０５を聞くことができる。コメントとコンテンツの音声を前後のチャンネルに分割して出力することにより、人間の聴覚特性を利用して、コンテンツそのものの音声と後から付け加えたコメントとを区別することが可能となる。
【００５０】
＜第４の実施の形態＞
第３の実施の形態では、コンテンツサーバ１から配信されたコンテンツに対してコメントを付加するべく、当該コンテンツサーバ１からコンテンツを受信しているが、この限りでない。
【００５１】
即ち、本実施の形態のコンテンツ処理装置４は、図９に示す音声付加コンテンツ配信システムにおいて好適に用いられる。当該音声付加コンテンツ配信システムは、図１に示す音声付加コンテンツ配信システムの機能に加えて、放送局８から放送コンテンツが放送されたり、見逃した当該放送コンテンツが配信されたりする構成とされている。
【００５２】
図９に示す音声付加コンテンツ配信システムは、放送局８からの放送コンテンツＳ１０６が各家庭に放送されると共に、コンテンツサーバ１に放送コンテンツごとに蓄積される。視聴者Ａ宅のコンテンツ処理装置４は、アンテナで放送コンテンツＳ１０６を受信し、その後は、上記実施の形態で説明したコンテンツサーバ１からのビデオコンテンツと略同様に、放送コンテンツをデコードし、視聴装置５にて映像・音声を出力する。視聴装置５は通常のＴＶ画面でも、ＰＣ等のモニタでも構わない。
【００５３】
視聴者Ａは、モニタ画面を見ながら感想や意見といったコメントを、入力部（マイク）６より入力する。コメントとしては例えば視覚障害者向けの副音声や放送されていない外国語の吹き替え音声でも良い。視聴者Ａ宅のコンテンツ処理装置４は、オーディオ符号化部４５が入力部６より入力されたコメント情報（音声情報）をデジタル化して、さらに現在デコード中の時間情報を付加し放送コンテンツ情報と共にエンコードして、ＩＰネットワーク２を介してコメントサーバ３に送信する。配信されるコンテンツがＭＰＥＧ−２ ＴＳである場合には、ＭＰＥＧ−２ ＴＳのＡｕｄｉｏストリームもしくはＶｉｄｅｏストリームのＰＴＳを時間情報として付加することでコメントと映像とを同期させることができる。つまり、放送局８からの放送コンテンツはＭＰＥＧ−２ ＴＳであるため、第１の実施の形態などと同様に、ＡｕｄｉｏストリームもしくはＶｉｄｅｏストリームのＰＴＳを時間情報として付加する。
また、放送コンテンツ情報は、放送された放送コンテンツが特定できる情報であれば良いため、放送コンテンツのチャンネル情報であれば良い。尚、コメント情報をデジタル化する際のクロックは、放送コンテンツをデコードしているクロックを用いることで、時間情報と同期させる。デジタル化されたコメント情報は、非圧縮のままコメントサーバ３に送信しても良いし、圧縮符号化してコメントサーバ３に送信しても良い。また、コメント情報を圧縮符号化する場合には、放送コンテンツの音声情報と同じ圧縮符号化方式を用い、同じ圧縮率に符号量制御することにより、コメントサーバ３の処理を簡略化することができる。
【００５４】
コメントサーバ３は、視聴者Ａ宅のコンテンツ処理装置４から時間情報が付加されたコメント情報と放送コンテンツ情報とを受信してデコードし、コンテンツ情報からコンテンツサーバ１に放送コンテンツの詳細情報を問い合わせし、視聴者Ａ宅のコンテンツ処理装置４から受信したコメント情報を放送コンテンツＳ１０６と同じ音声フォーマットに圧縮し蓄積する。
【００５５】
コンテンツサーバ１は、コメントサーバ３のコンテンツ詳細情報（Ｓ１０３）問い合わせによって、放送コンテンツＳ１０６にコメントがあることを記憶する。コンテンツサーバ１は、ＶＯＤサービス等のコンテンツサービスを配信するサーバであり、視聴者Ｂの視聴要求により放送コンテンツＳ１０６をビデオコンテンツＳ１０１として配信する。視聴者Ｂ宅のコンテンツ処理装置４からコンテンツサーバ１に対してビデオコンテンツＳ１０１（放送コンテンツＳ１０６）の再生要求があると、コンテンツサーバ１は視聴者Ｂ宅のコンテンツ処理装置４に視聴者Ａのコメントがあることを告知する。視聴者Ｂからの要求があれば、コンテンツサーバ１がビデオコンテンツＳ１０１を配信する際に、コメントサーバがコメント情報Ｓ１０４を配信する。
【００５６】
視聴者Ｂ宅のコンテンツ処理装置４は、上記実施の形態と同様に、ビデオコンテンツＳ１０１とコメント情報Ｓ１０４とを受信し、ビデオコンテンツＳ１０１を再生し視聴装置５に出力すると共に、ビデオコンテンツＳ１０１の復号時間情報とコメント情報Ｓ１０４の時間情報とが一致したタイミングで、コメント情報Ｓ１０４を視聴装置５に出力する。これにより、視聴者Ｂは、視聴者Ａが放送局８から受信してコメントを残した放送コンテンツＳ１０６を、所望のタイミングで視聴することができ、しかも視聴者Ａが意図したタイミングでコメントを聞くことが可能となる。
勿論、視聴者Ｂは、コンテンツ処理装置４を用いて当該放送コンテンツに対してコメントを付加することもできる。
【００５７】
本実施の形態のコンテンツ処理装置について図１０を用いて動作を説明する。放送局８からの放送Ｓ１０６を受信する放送受信部４７で視聴者が選択した放送チャンネルのストリームＳ４１４を出力する。ストリーム分離部４１は、ビデオストリームＳ４０２とクロック情報Ｓ４０３とオーディオＳ４０４とに分離する。ビデオ復号化部４２は、映像ストリームＳ４０２を復号し、ビデオ信号Ｓ４０５を出力する。オーディオ復号化部４４は、オーディストリームＳ４０４を復号し、オーディオ信号Ｓ４０９を出力すると共に、オーディオ符号化方式や符号化レートなどのオーディオ符号化情報Ｓ４０８を出力する。クロック制御部４３は、クロック情報Ｓ４０３に基づいて基準クロックを生成し、ビデオ信号とオーディオ信号の出力タイミングを合わせると共に、オーディオ符号化部４５に符号化したコメントデータの時間情報を出力させる。
【００５８】
本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００５９】
１ コンテンツサーバ
２ ＩＰネットワーク
３ コメントサーバ
４ コンテンツ処理装置
５ 視聴装置
６ 入力部（マイク）
７ 背面スピーカ
８ 放送局
４０ 通信Ｉ／Ｆ部
４１ ストリーム分離部
４２ ビデオ復号化部（映像再生部）
４３ クロック制御部
４４ オーディオ復号化部
４５ オーディオ符号化部
４６ ＣＰＵ
４７ 放送受信部
【技術分野】
【０００１】
本発明は、コンテンツを配信すると共に、当該コンテンツに対するユーザのコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理装置、コンテンツ処理方法及びコンテンツ処理プログラム、コンテンツ配信システムに関する。
【背景技術】
【０００２】
ｘＤＳＬ（Digital Subscriber Line）やＦＴＴＨ（Fiber To The Home）等の広帯域ネットワークの普及によりＩＰ（Internet Protocol）ネットワークを利用したコンテンツ配信サービスが盛んに行われるようになってきた。これまで、多言語音声や副音声などといった通常番組以外の音声情報は、コンテンツ製作者が提供していた。
【０００３】
最近では、特許文献１に開示されているように、視聴者が映像画面に文字などの情報を付加したコンテンツを作成し、他の視聴者と当該コンテンツを同時に視聴するコンテンツ共有サービスが提案されている。
【０００４】
また、特許文献２に開示されているように、同一のコンテンツを同時に視聴し、ＶｏＩＰ（Voice over Internet Protocol）機能を利用した音声通信を行い、発言コメントを共有するサービスが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−４１８８６号公報
【特許文献２】特開２００７−２７４２２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１、２の技術は、視聴者同士が同一のコンテンツを同時に視聴する必要がある。そのため、ＶＯＤ（Video On Demand）などのように視聴者が個々にコンテンツを要求し再生する場合には、予め参加者がスケジュールを決め、その時間には必ずＴＶの視聴を行なう必要がある。したがって、たまたま参加できなかったメンバが会話の内容を聞いたり、後でコメントに参加できなかったり、といった課題があった。
【０００７】
特に、特許文献２の技術は、同時視聴しているコンテンツと会話の内容とが同時視聴中に共有できても、コメントをコンテンツに同期させて残しておくことができない。また、映像画面に文字などのコメントを書き込む場合にもコメントを付加したいタイミングにコメントを挿入することは困難であった。
【０００８】
ところで、ＶＯＤにおいてコンテンツ開始から経過した時間情報によりコメントを挿入する方法も考えられる。しかし、例えばＩＰマルチキャスト放送を視聴している時にコメントデータを挿入する場合には、コンテンツの開始時刻がわからないため適切な時刻にコメントを挿入できない問題が残る。更に、今後放送されたコンテンツを番組単位で見逃し視聴サービスといわれるＶＯＤを行う際に、コメントが挿入された放送コンテンツを視聴する場合、番組単位に編集した場合、コメント挿入時刻情報を一致させる方法が提案されていない。
【０００９】
本発明の目的は、上述した課題を解決するコンテンツ処理装置、コンテンツ処理方法及びコンテンツ処理プログラム、コンテンツ配信システムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明のコンテンツ処理装置は、コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理装置であって、前記コンテンツの映像を出力する映像再生手段と、前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え手段と、を備える。
本発明のコンテンツ配信システムは、上記コンテンツ処理装置を備える。
【００１１】
本発明のコンテンツ処理方法は、コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理方法であって、前記コンテンツの映像を出力する映像再生工程と、前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え工程と、を備える。
【００１２】
本発明のコンテンツ処理プログラムは、コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理プログラムであって、コンテンツ処理装置に、前記コンテンツの映像を出力する映像再生処理と、前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え処理と、を実現させる。
【発明の効果】
【００１３】
本発明によれば、コンテンツ配信サービスの視聴時間は視聴者によって自由に選択でき、更に視聴しているコンテンツにコメントが入力されている場合には、発声者の意図する映像のタイミングで入力されたコメントを視聴者が聞くことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施の形態のコンテンツ配信システムを概略的に示すブロック図である。
【図２】本発明の第１の実施の形態のコンテンツ処理装置を概略的に示すブロック図である。
【図３】本発明の第１の実施の形態のコンテンツ処理装置を詳細に示すブロック図である。
【図４】本発明の第１の実施の形態のコンテンツ処理方法の流れを示すタイミングチャートである。
【図５】本発明の第１の実施の形態のコンテンツ処理プログラムの動作を示すフローチャートである。
【図６】本発明の第２の実施の形態のコンテンツ処理装置を詳細に示すブロック図である。
【図７】本発明の第２の実施の形態のコンテンツ処理方法の流れを示すタイミングチャートである。
【図８】本発明の第２の実施の形態のコンテンツ処理プログラムの動作を示すフローチャートである。
【図９】本発明の第４の実施の形態のコンテンツ配信システムを概略的に示すブロック図である。
【図１０】本発明の第４の実施の形態のコンテンツ処理装置を詳細に示すブロック図である。
【発明を実施するための形態】
【００１５】
本発明の実施の形態に係るコンテンツ処理装置、コンテンツ処理方法及びコンテンツ処理プログラム、コンテンツ配信システムについて説明する。但し、本発明が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。
【００１６】
＜第１の実施の形態＞
本実施の形態のコンテンツ処理装置は、図１に示す音声付加コンテンツ配信システムにおいて好適に用いることができる。
【００１７】
便宜上、先ず音声付加コンテンツ配信システムの構成を説明する。本実施の形態の音声付加コンテンツ配信システムは、ＩＰネットワークを利用してコンテンツを配信すると共に、当該コンテンツに対するコメントを配信する。但し、図１に示す音声付加コンテンツ配信システムは、ＩＰネットワークに対して視聴者Ａ、Ｂが接続されているが、視聴者の数はこの限りでない。
【００１８】
コンテンツサーバ１は、ＶＯＤサービス等のコンテンツサービスを配信するサーバであり、視聴者Ａの視聴要求によりコンテンツＳ１０１を配信する。コンテンツＳ１０１は、ＩＰネットワーク２を介して視聴者Ａ宅のコンテンツ処理装置（ＳＴＢ：Set Top Box）４に配信され、当該コンテンツ処理装置４にてコンテンツをデコードし、視聴装置５にて映像・音声が出力される。視聴装置５は通常のテレビ画面でも、パーソナルコンピュータ等のモニタでも構わない。視聴者Ａは、モニタ画面を見ながら感想や意見といったコメントをマイク（入力部）６より入力する。コメントには、例えば視覚障害者向けの副音声や放送されていない外国語の吹き替え音声でも良い。
【００１９】
コンテンツ処理装置４は、詳細は後述するが、マイク６より入力されたコメント情報（音声情報）をデジタル化し、現在デコード中のコンテンツの時間情報を付加してコンテンツ情報と共にエンコードした後に、ＩＰネットワーク２を通してコメントサーバ３に送信する。すなわち、配信されるコンテンツがＭＰＥＧ−２ ＴＳである場合には、ＭＰＥＧ−２ ＴＳのＡｕｄｉｏストリームもしくはＶｉｄｅｏストリームのＰＴＳ（Presentation Time Stamp）を時間情報として付加することで、コメントとコンテンツの映像とを同期させることができる。また、コンテンツ情報は配信されたコンテンツが特定できる情報であれば良いため、視聴装置５から再生中のコンテンツ情報(例えば、コンテンツのタイトルであったり、コンテンツの録画開始された時刻情報及びチャンネル情報等)であれば良い。なお、音声情報をデジタル化する際のクロックは、コンテンツをデコードしているクロックを用いることにより、時間情報と同期させることができる。デジタル化されたコメント情報は、非圧縮のままコメントサーバ３に送信しても良いし、圧縮符号化してコメントサーバ３に送信しても良い。また、コメント情報を圧縮符号化する場合には、再生中のコンテンツの音声情報と同じ圧縮符号化方式を用い、同じ圧縮率に符号量制御することにより、コメントサーバ３の処理を簡略化することができる。
【００２０】
コメントサーバ３は、視聴者Ａ宅のコンテンツ処理装置４から時間情報等が付加されたコメント情報Ｓ１０２とコンテンツ情報を受信し、コンテンツ情報からコンテンツサーバ１にコンテンツの詳細情報(例えば、コンテンツの録画開始された時刻情報及びチャンネル情報、コンテンツの映像符号化方式及び符号化レートや、音声符号化方式及び符号化レート等の情報)Ｓ１０３を問い合わせし、視聴者Ａ宅のコンテンツ処理装置４から受信したコメント情報Ｓ１０２を、当該コンテンツの詳細情報Ｓ１０３に基づいて、コンテンツＳ１０１と同じ音声フォーマットに圧縮し蓄積する。コンテンツサーバ１は、コメントサーバ３のコンテンツ詳細情報問い合わせによって、コンテンツＳ１０１にコメント情報があることを記憶する。
【００２１】
視聴者Ｂ宅のコンテンツ処理装置４からコンテンツサーバ１に対してコンテンツＳ１０１の再生要求があると、コンテンツサーバ１は視聴者Ｂ宅のコンテンツ処理装置４に視聴者Ａのコメントがあることを告知する。コンテンツ処理装置４に視聴者Ａのコメントがあることを告知する方法としては、Ｗｉｄｇｅｔ等のアプリケーションを用いて告知したり、視聴装置５の画面にＰｏｐＵＰコメント有り表示を示したりする。また、視聴装置５に表示されたＶＯＤ選択画面のＧＵＩ（Graphical User Interface）上にコメントがある場合には、その番組表示にコメントがあることが判るようにしておく。
【００２２】
視聴者Ｂからの要求があれば、コンテンツサーバ１がコンテンツＳ１０１を配信する際に、コメントサーバ３がコメント情報Ｓ１０４を配信する。視聴者Ｂ宅のコンテンツ処理装置４は、コンテンツＳ１０１とコメント情報Ｓ１０４を受信してデコードし、コンテンツＳ１０１を再生して視聴装置５に出力する。それと共に、視聴者Ｂ宅のコンテンツ処理装置４は、コンテンツＳ１０１の復号時間情報とコメント情報Ｓ１０４の時間情報とが一致したタイミングでコメント情報Ｓ１０４を視聴装置５に出力する。これにより、視聴者Ｂは視聴者Ａが発言したタイミングでコンテンツに対するコメントを聞くことが可能となる。ちなみに、視聴者Ｂは、例えばコンテンツ処理装置４が備える、ＶＯＤ選択画面のＧＵＩ上のコメントに連動したボタン（選択部）を視聴者が選択する等の方法でコメントの要求ができる（図示を省略）。
【００２３】
このような音声付加コンテンツ配信システムにおいて、本実施の形態のコンテンツ処理装置４は視聴者Ｂ宅で用いられる。
コンテンツ処理装置４は、図２に示すように、少なくとも映像再生部４２、オーディオ切り替え部４４を備える。映像再生部４２は、視聴者Ｂの要求に基づいて、コンテンツサーバ１からＩＰネットワーク２を介して送信された、コンテンツＳ１０１の映像を視聴装置５に出力する。オーディオ切り替え部４４は、当該コンテンツＳ１０１から分離した音声の時間情報と、視聴者Ｂの要求に基づいてコメントサーバ３からＩＰネットワーク２を介して送信された、コメント情報Ｓ１０４の時間情報と、が一致すると、コンテンツＳ１０１の音声をコメント情報Ｓ１０４に切り替えて、当該コメント情報Ｓ１０４を視聴装置５に出力する。すなわち、コンテンツ処理装置４には、当該コンテンツ処理装置４に、コンテンツＳ１０１の映像を出力する処理と、コンテンツＳ１０１から分離した音声の時間情報と、視聴者Ｂの要求に基づいて送信された、コメント情報Ｓ１０４の時間情報と、が一致すると、コンテンツＳ１０１の音声をコメント情報Ｓ１０４に切り替えて、当該コメント情報Ｓ１０４を出力する処理と、を実現させるコンテンツ処理プログラムが格納されている。そして、コンテンツ処理装置４は、当該プログラムに基づいて、上述した処理を実現する。
【００２４】
ここで、コメント情報Ｓ１０４（Ｓ１０２）は、上述のように視聴者Ａ宅で視聴されたコンテンツＳ１０１の時間情報に基づいて、予め時間情報が与えられた状態でコメントサーバ３に格納されている。そして、コメント情報Ｓ１０４は、視聴者Ｂの要求に基づいて、コメントサーバ３から視聴者Ｂ宅のコンテンツ処理装置４に送信される。このとき、コメント情報Ｓ１０４の時間情報として、コンテンツＳ１０１の時間情報、例えば、配信されるコンテンツがＭＰＥＧ−２ ＴＳである場合には、ＭＰＥＧ−２ ＴＳのＡｕｄｉｏストリームもしくはＶｉｄｅｏストリームのＰＴＳを時間情報として与えている。
【００２５】
このようなコンテンツ処理装置４、コンテンツ処理方法及びコンテンツ処理プログラム、コンテンツ配信システムは、視聴者の要求に基づいて、コンテンツサーバ１から所望のコンテンツを受信するので、コンテンツの視聴時間を視聴者によって自由に選択できる。更に視聴しているコンテンツにコメントが入力されている場合には、発声者（視聴者Ａ）の意図する映像のタイミングで入力されたコメントを視聴者（視聴者Ｂ）が聞くことができる。
【００２６】
このようなコンテンツ処理装置４は、図３のような構成とされていることが好ましい。すなわち、コンテンツ処理装置４は、ＩＰ網を通してさまざまなサービスのデータＳ４００が通信Ｉ／Ｆ部４０に入力される。通信Ｉ／Ｆ部４０は、コンテンツストリームＳ４０１を選択して、当該コンテンツストリームＳ４０１をストリーム分離部４１に入力する。また、通信Ｉ／Ｆ部４０は、ＴＣＰプロトコルのメッセージを利用して視聴者に対して、視聴装置５の画面にコメントがあることを示したり、Ｗｉｄｇｅｔ等のアプリケーションを利用して、視聴装置５の画面にコメントの有無を示したりする。
【００２７】
ストリーム分離部４１は、コンテンツストリームＳ４０１のヘッダ情報を解析し、当該コンテンツストリームＳ４０１を映像ストリームＳ４０２、クロック情報Ｓ４０３、音声ストリームＳ４０４に分離する。クロック情報Ｓ４０３は、クロック制御部４３に入力される。クロック制御部４３は、クロック情報Ｓ４０３に基づいてコンテンツ処理装置４の動作クロックを生成する。映像ストリームＳ４０２は、クロック制御部４３で生成された映像クロック信号Ｓ４０６に基づいて、ビデオ復号化部（映像再生部）４２でデコード（復号化）されて映像信号Ｓ４０５として出力される。また、音声ストリームＳ４０４は、クロック制御部４３で生成された音声クロック信号Ｓ４０７に基づいて、オーディオ復号化部（オーディオ切り替え部）４４でデコードされてオーディオ信号Ｓ４０９として出力される。この時、オーディオ信号Ｓ４０９は、必ずしもオーディオ復号化部４４でデコードされなくてもよく、圧縮されたデジタルストリーム例えばＡＥＳ／ＥＢＵ規格やＳＰＤＩＦ規格に準拠したフォーマットのオーディオ信号Ｓ４０９として出力しても良い。
【００２８】
視聴者Ｂは、例えばコンテンツ処理装置４が予め備える、ＶＯＤ選択画面のＧＵＩ上のコメントに連動したボタン（選択部）を操作して、コメントの要求を行う。視聴者Ｂのコメントの要求に基づいて、コンテンツ再生時にコメント情報Ｓ４１２をオーディオ信号Ｓ４０９として出力する際には、通信Ｉ／Ｆ部４０で受信したコメント情報Ｓ４１２をオーディオ復号化部４４に入力する。オーディオ復号化部４４には、音声ストリームＳ４０４とコメント情報Ｓ４１２とが入力される。オーディオ復号化部４４は、コメント情報Ｓ４１２をデコードし、当該コメント情報Ｓ４１２のタイムスタンプ（時間情報）が音声ストリームＳ４０４と一致すると、当該コメント情報Ｓ４１２をオーディオ信号Ｓ４０９として出力する。
【００２９】
ちなみに、ＣＰＵ（Central Processing Unit）４６は、通信Ｉ／Ｆ部４０がさまざまな情報の中からユーザ所望のコンテンツを選択したり、コメント入出力をサーバと通信したりする等のコンテンツ処理装置４全体を制御する。
【００３０】
このようなコンテンツ処理装置４を用いて、図４に示すようにコンテンツ処理方法が実現される。
先ず、視聴者Ｂ宅のコンテンツ処理装置４からコンテンツサーバ１へコンテンツ視聴要求を出力する（Ｃ１１）。これにより、コンテンツ処理装置４には、コンテンツサーバ１からコンテンツが配信される（Ｃ１２）。更にコンテンツ処理装置４には、コンテンツサーバ１から視聴者Ａのコメントが蓄積されていることを示す情報が配信される（Ｃ１３）。視聴者Ｂ宅のコンテンツ処理装置４は、受信したコンテンツのデコードを開始すると共に、上述のように例えばＷｉｄｇｅｔ等のアプリケーションを利用して、コメントの有無を視聴者Ｂに伝える。コンテンツ処理装置４は、視聴者Ｂからのコメント要求を、ＩＰネットワーク２を介してコメントサーバ３に送信する（Ｃ１４）。これにより、コンテンツ処理装置４には、コメントサーバ３から視聴者Ａのコメントが配信される（Ｃ１５）。コンテンツ処理装置４は、コンテンツから分離した音声の時間情報と、視聴者Ａのコメントの時間情報と、が一致すると、コンテンツの音声を視聴者Ａのコメントに切り替えて出力する。その結果、視聴者Ｂ宅では、コンテンツを視聴すると共に、当該コンテンツと同期するコメントを視聴することが可能となる（Ｃ１６）。
【００３１】
さらに具体的に云うと、コンテンツ処理装置４は、コンテンツ処理プログラムに基づいて、図５に示す処理フローを実現する。
コンテンツ処理装置４の通信Ｉ／Ｆ部４０は、入力されたＩＰパケットからＲＴＰ（Real-time Transport Protocol）／ＵＤＰ（User Datagram Protocol）パケットヘッダを解析する（Ｆ１０１）。そして、視聴者Ｂが要求したストリームのみ次のＦ１０３の処理に送り、そうでないパケットデータの場合には破棄し、次のパケットデータの処理に移行する（Ｆ１０２）。
【００３２】
次に、コンテンツ処理装置４の通信Ｉ／Ｆ部４０は、ＲＴＰパケットヘッダ内のシーケンス番号によりパケットデータがコンテンツストリームパケットであるか、コメントパケットであるかを判定する。そして、コンテンツパケットの場合にはＦ１０４の処理に移行し、コメントパケットの場合にはＦ１１０の処理に移行する（Ｆ１０３）。
【００３３】
次に、コンテンツ処理装置４のストリーム分離部４１は、ＴＳヘッダ解析を行い、ＴＳパケットの分離情報をビデオパケット（映像パケット）とオーディオパケット（音声パケット）とＰＣＲ（Program Clock Reference）などの時間情報に分離する為のＰＩＤ情報を取得する（Ｆ１０４）。
【００３４】
次に、コンテンツ処理装置４のストリーム分離部４１は、ＰＩＤ情報からＰＣＲ、ビデオパケット、オーディオパケットを分離し、それぞれＦ１０６、Ｆ１０７、Ｆ１１０の処理に移る（Ｆ１０５）。
【００３５】
コンテンツ処理装置４のクロック制御部４３には、ＰＣＲが入力される。クロック制御部４３は、ＰＣＲに基づいて基準クロックを生成する（Ｆ１０６）。ビデオ復号化部４２は、分離したビデオデータをデコードしビデオ信号を出力する（Ｆ１０７）。オーディオ復号化部４４は、コメント情報と、コンテンツの音声情報とのどちらをデコードするかを選択し（Ｆ１１０）、いずれか一方の情報をデコードし出力する（Ｆ１０８）。
【００３６】
＜第２の実施の形態＞
上記第１の実施の形態のコンテンツ処理装置は、音声付加コンテンツを良好に受信することができる構成とされているが、コンテンツにコメントを入力することができる手段をさらに備えていることが好ましい。
【００３７】
即ち、コンテンツ処理装置は、図６に示すように、コメントを入力するマイクなどの入力部６、オーディオ符号化部４５を備えることが好ましい。入力部６から入力されるコメント情報Ｓ４１０は、オーディオ符号化部４５においてエンコードされたコメント情報Ｓ４１１として通信Ｉ／Ｆ部４０からＩＰネットワーク２を介してコメントサーバ３に送信される。これにより、コンテンツ処理装置は、単に音声付加コンテンツを受信するだけでなく、当該コンテンツに対してコメントを付加することができる。しかも、再生中のコンテンツに対して意図したタイミングでコメントを付加することができる。
【００３８】
オーディオ符号化部４５には、現在受信している音声ストリーム情報Ｓ４０８が入力される。オーディオ符号化部４５は、音声ストリーム情報Ｓ４０８に基づいてコメント情報Ｓ４１０をエンコード（符号化）する。ここで、音声ストリーム情報Ｓ４０８とは、オーディオ復号化部４４でデコードしている音声ストリームの符号化方式情報と、符号化レートと、時間情報（ＰＴＳ）等である。
【００３９】
オーディオ符号化部４５は、発声されている状態ではエンコードを続ける。そのため、コンテンツ処理装置から出力される音声などの取り込みを防止するためのエコーキャンセラを搭載することが好ましい。これにより、入力されるコメントをより精度よく入力することが可能となる。
【００４０】
このようなコンテンツ処理装置を用いると、図７に示すような音声付加コンテンツ処理方法を実現することができる。なお、図１に示す音声付加コンテンツ処理システムを前提として説明する。
【００４１】
先ず、視聴者Ａ宅のコンテンツ処理装置４は、視聴者Ａの要求に基づいて、コンテンツサーバ１にコンテンツ視聴要求を出力する（Ｃ１００）。コンテンツサーバ１は、当該視聴要求に基づいて、所望のコンテンツの配信を視聴者Ａ宅のコンテンツ処理装置４に対して開始する（Ｃ１０１）。
【００４２】
次に、視聴者Ａ宅のコンテンツ処理装置４は、コンテンツをデコードし視聴者Ａが視聴可能な状態とする（Ｃ１０２）。この時、視聴者Ａが視聴中にコメントを発言した際、視聴者Ａ宅のコンテンツ処理装置４の入力部６は当該コメントを取得する。そして、当該コンテンツ処理装置４のオーディオ符号化部４５は、コメントに再生中のコンテンツの時間情報を付加してエンコードし、コメントサーバ３に送信する（Ｃ１０３）。
【００４３】
次に、コメントサーバ３は、コメントを受信するとコンテンツサーバ１にコメント蓄積通知を送信する（Ｃ１０４）。コンテンツサーバ１は、コメント蓄積通知から当該コンテンツに視聴者Ａのコメントが残されたことを管理する。
【００４４】
一方、視聴者Ｂ宅のコンテンツ処理装置４は、視聴者Ｂの要求に基づいて、コンテンツサーバ１にコンテンツ視聴要求を出力する（Ｃ１０５）。コンテンツサーバ１は、当該コンテンツ視聴要求に基づいて、所望のコンテンツを視聴者Ｂ宅のコンテンツ処理装置４に対して配信する（Ｃ１０６）。更に、コンテンツサーバ１は、視聴者Ａのコメントが蓄積されていることを示す情報を視聴者Ｂ宅のコンテンツ処理装置４に配信する（Ｃ１０７）。
【００４５】
視聴者Ｂ宅のコンテンツ処理装置４は、コンテンツを受信しデコードを開始すると共にコメントがあることを視聴者Ｂに伝える。視聴者Ｂ宅のコンテンツ処理装置４は、視聴者Ｂからのコメント要求を、ＩＰネットワーク２を介してコメントサーバ３に送信する（Ｃ１０８）。これにより、コメントサーバ３は、視聴者Ｂ宅のコンテンツ処理装置４にコメントサーバ３からＩＰネットワーク２を介して視聴者Ａのコメントを配信する（Ｃ１０９）。視聴者Ｂ宅のコンテンツ処理装置４は、コンテンツから分離した音声の時間情報と、視聴者Ａのコメントの時間情報と、が一致すると、コンテンツの音声を視聴者Ａのコメントに切り替えて出力する。その結果、視聴者Ｂ宅では、コンテンツを視聴すると共に、当該コンテンツと同期するコメントを視聴することが可能となる（Ｃ１１０）。
【００４６】
ちなみに、本実施の形態のコンテンツ処理装置４も、コンテンツ処理プログラムに基づいて動作し、第１の実施の形態のコンテンツ処理装置４と略同様に動作する。但し、本実施の形態のコンテンツ処理装置４は、図８に示すように、コメント情報が入力された場合、コンテンツ処理装置４のオーディオ符号化部４５が、コメント情報とクロック情報とオーディオ出力時間情報とをエンコードし、通信Ｉ／Ｆ部４０を介してコメントサーバ３に送信する（Ｆ１０９）。
【００４７】
＜第３の実施の形態＞
第１及び第２の実施の形態では、コンテンツの音声をコメントに切り替えて出力しているが、この限りでない。
【００４８】
即ち、オーディオ復号化部４４は、視聴者Ｂ宅のスピーカがサラウンド設定である場合、背面スピーカのチャンネルの出力を音声ストリームからコメント情報に切り替える構成であることが好ましい。これにより、前面スピーカからはコンテンツの音声を聞きつつ、背面スピーカからコメントを聞くことが可能となる。
【００４９】
つまり、図１に示すように、視聴者Ｂ宅のスピーカがサラウンドの設定である場合には背面スピーカ７よりコメント情報Ｓ１０４をデコードしたコメントＳ１０５を出力し、前面スピーカからはコンテンツの音声を出力することが可能となる。これにより、視聴者ＢはコンテンツＳ１０１を視聴しながら、視聴者Ａのコメントを楽しむことが可能となる。この時、コメントサーバ３では配信されるコンテンツの音声データが５．１ｃｈサラウンド音声もしくは７．１ｃｈサラウンド音声といった複数チャンネルの音声の場合、コメント情報を背面チャンネルの圧縮フォーマットに従った符号量に制御する。コンテンツ処理装置４では、背面チャンネル情報をコメント情報に切り替えて出力する。これにより、視聴者Ｂは背面スピーカ７からコメントＳ１０５を聞くことができる。コメントとコンテンツの音声を前後のチャンネルに分割して出力することにより、人間の聴覚特性を利用して、コンテンツそのものの音声と後から付け加えたコメントとを区別することが可能となる。
【００５０】
＜第４の実施の形態＞
第３の実施の形態では、コンテンツサーバ１から配信されたコンテンツに対してコメントを付加するべく、当該コンテンツサーバ１からコンテンツを受信しているが、この限りでない。
【００５１】
即ち、本実施の形態のコンテンツ処理装置４は、図９に示す音声付加コンテンツ配信システムにおいて好適に用いられる。当該音声付加コンテンツ配信システムは、図１に示す音声付加コンテンツ配信システムの機能に加えて、放送局８から放送コンテンツが放送されたり、見逃した当該放送コンテンツが配信されたりする構成とされている。
【００５２】
図９に示す音声付加コンテンツ配信システムは、放送局８からの放送コンテンツＳ１０６が各家庭に放送されると共に、コンテンツサーバ１に放送コンテンツごとに蓄積される。視聴者Ａ宅のコンテンツ処理装置４は、アンテナで放送コンテンツＳ１０６を受信し、その後は、上記実施の形態で説明したコンテンツサーバ１からのビデオコンテンツと略同様に、放送コンテンツをデコードし、視聴装置５にて映像・音声を出力する。視聴装置５は通常のＴＶ画面でも、ＰＣ等のモニタでも構わない。
【００５３】
視聴者Ａは、モニタ画面を見ながら感想や意見といったコメントを、入力部（マイク）６より入力する。コメントとしては例えば視覚障害者向けの副音声や放送されていない外国語の吹き替え音声でも良い。視聴者Ａ宅のコンテンツ処理装置４は、オーディオ符号化部４５が入力部６より入力されたコメント情報（音声情報）をデジタル化して、さらに現在デコード中の時間情報を付加し放送コンテンツ情報と共にエンコードして、ＩＰネットワーク２を介してコメントサーバ３に送信する。配信されるコンテンツがＭＰＥＧ−２ ＴＳである場合には、ＭＰＥＧ−２ ＴＳのＡｕｄｉｏストリームもしくはＶｉｄｅｏストリームのＰＴＳを時間情報として付加することでコメントと映像とを同期させることができる。つまり、放送局８からの放送コンテンツはＭＰＥＧ−２ ＴＳであるため、第１の実施の形態などと同様に、ＡｕｄｉｏストリームもしくはＶｉｄｅｏストリームのＰＴＳを時間情報として付加する。
また、放送コンテンツ情報は、放送された放送コンテンツが特定できる情報であれば良いため、放送コンテンツのチャンネル情報であれば良い。尚、コメント情報をデジタル化する際のクロックは、放送コンテンツをデコードしているクロックを用いることで、時間情報と同期させる。デジタル化されたコメント情報は、非圧縮のままコメントサーバ３に送信しても良いし、圧縮符号化してコメントサーバ３に送信しても良い。また、コメント情報を圧縮符号化する場合には、放送コンテンツの音声情報と同じ圧縮符号化方式を用い、同じ圧縮率に符号量制御することにより、コメントサーバ３の処理を簡略化することができる。
【００５４】
コメントサーバ３は、視聴者Ａ宅のコンテンツ処理装置４から時間情報が付加されたコメント情報と放送コンテンツ情報とを受信してデコードし、コンテンツ情報からコンテンツサーバ１に放送コンテンツの詳細情報を問い合わせし、視聴者Ａ宅のコンテンツ処理装置４から受信したコメント情報を放送コンテンツＳ１０６と同じ音声フォーマットに圧縮し蓄積する。
【００５５】
コンテンツサーバ１は、コメントサーバ３のコンテンツ詳細情報（Ｓ１０３）問い合わせによって、放送コンテンツＳ１０６にコメントがあることを記憶する。コンテンツサーバ１は、ＶＯＤサービス等のコンテンツサービスを配信するサーバであり、視聴者Ｂの視聴要求により放送コンテンツＳ１０６をビデオコンテンツＳ１０１として配信する。視聴者Ｂ宅のコンテンツ処理装置４からコンテンツサーバ１に対してビデオコンテンツＳ１０１（放送コンテンツＳ１０６）の再生要求があると、コンテンツサーバ１は視聴者Ｂ宅のコンテンツ処理装置４に視聴者Ａのコメントがあることを告知する。視聴者Ｂからの要求があれば、コンテンツサーバ１がビデオコンテンツＳ１０１を配信する際に、コメントサーバがコメント情報Ｓ１０４を配信する。
【００５６】
視聴者Ｂ宅のコンテンツ処理装置４は、上記実施の形態と同様に、ビデオコンテンツＳ１０１とコメント情報Ｓ１０４とを受信し、ビデオコンテンツＳ１０１を再生し視聴装置５に出力すると共に、ビデオコンテンツＳ１０１の復号時間情報とコメント情報Ｓ１０４の時間情報とが一致したタイミングで、コメント情報Ｓ１０４を視聴装置５に出力する。これにより、視聴者Ｂは、視聴者Ａが放送局８から受信してコメントを残した放送コンテンツＳ１０６を、所望のタイミングで視聴することができ、しかも視聴者Ａが意図したタイミングでコメントを聞くことが可能となる。
勿論、視聴者Ｂは、コンテンツ処理装置４を用いて当該放送コンテンツに対してコメントを付加することもできる。
【００５７】
本実施の形態のコンテンツ処理装置について図１０を用いて動作を説明する。放送局８からの放送Ｓ１０６を受信する放送受信部４７で視聴者が選択した放送チャンネルのストリームＳ４１４を出力する。ストリーム分離部４１は、ビデオストリームＳ４０２とクロック情報Ｓ４０３とオーディオＳ４０４とに分離する。ビデオ復号化部４２は、映像ストリームＳ４０２を復号し、ビデオ信号Ｓ４０５を出力する。オーディオ復号化部４４は、オーディストリームＳ４０４を復号し、オーディオ信号Ｓ４０９を出力すると共に、オーディオ符号化方式や符号化レートなどのオーディオ符号化情報Ｓ４０８を出力する。クロック制御部４３は、クロック情報Ｓ４０３に基づいて基準クロックを生成し、ビデオ信号とオーディオ信号の出力タイミングを合わせると共に、オーディオ符号化部４５に符号化したコメントデータの時間情報を出力させる。
【００５８】
本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【００５９】
１ コンテンツサーバ
２ ＩＰネットワーク
３ コメントサーバ
４ コンテンツ処理装置
５ 視聴装置
６ 入力部（マイク）
７ 背面スピーカ
８ 放送局
４０ 通信Ｉ／Ｆ部
４１ ストリーム分離部
４２ ビデオ復号化部（映像再生部）
４３ クロック制御部
４４ オーディオ復号化部
４５ オーディオ符号化部
４６ ＣＰＵ
４７ 放送受信部
【特許請求の範囲】
【請求項１】
コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理装置であって、
前記コンテンツの映像を出力する映像再生手段と、
前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え手段と、
を備えるコンテンツ処理装置。
【請求項２】
前記コンテンツの再生中にユーザがコメントを入力する入力手段と、
前記再生中のコンテンツから分離した音声の時間情報及び前記再生中のコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化するオーディオ符号化手段と、
前記ユーザのコメントをコメントサーバに送信する送信手段と、
をさらに備えることを特徴とする請求項１に記載のコンテンツ処理装置。
【請求項３】
放送局から放送コンテンツを受信する放送コンテンツ受信手段と、前記コンテンツサーバからネットワークを介してビデオコンテンツを受信するビデオコンテンツ受信手段と、をさらに備え、
前記映像再生手段は、前記受信した放送コンテンツの映像、又は前記受信したビデオコンテンツの映像を再生し、
前記オーディオ符号化手段は、前記再生中の放送コンテンツ又はビデオコンテンツから分離した音声の時間情報及び前記再生中の放送コンテンツ又はビデオコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化することを特徴とする請求項１又は２に記載のコンテンツ処理装置。
【請求項４】
前記ビデオコンテンツ受信手段は、前記ビデオコンテンツとして前記コンテンツサーバに蓄積された放送コンテンツを、ユーザの要求に基づいて受信することを特徴とする請求項３に記載のコンテンツ処理装置。
【請求項５】
前記オーディオ符号化手段は、前記入力手段から入力されたコメントに対して、前記ビデオコンテンツのオーディオ情報のリアチャンネルに相当する符号量に従った符号化を行うことを特徴とする請求項２又は３に記載のコンテンツ処理装置。
【請求項６】
請求項１乃至５のいずれか１項に記載のコンテンツ処理装置を備えるコンテンツ配信システム。
【請求項７】
コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理方法であって、
前記コンテンツの映像を出力する映像再生工程と、
前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え工程と、
を備えるコンテンツ処理方法。
【請求項８】
前記コンテンツの再生中にユーザがコメントを入力する入力工程と、
前記再生中のコンテンツから分離した音声の時間情報及び前記再生中のコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化するオーディオ符号化工程と、
前記ユーザのコメントをコメントサーバに送信する送信工程と、
をさらに備えることを特徴とする請求項７に記載のコンテンツ処理方法。
【請求項９】
前記映像再生工程では、放送局から受信した放送コンテンツの映像、又はコンテンツサーバからネットワークを介して受信したビデオコンテンツの映像を再生し、
前記オーディオ符号化工程では、前記再生中の放送コンテンツ又はビデオコンテンツから分離した音声の時間情報及び前記再生中の放送コンテンツ又はビデオコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化することを特徴とする請求項７又は８に記載のコンテンツ処理方法。
【請求項１０】
前記映像再生工程では、ユーザの要求に基づいて受信した、前記ビデオコンテンツとして前記コンテンツサーバに蓄積された放送コンテンツの映像を再生することを特徴とする請求項９に記載のコンテンツ処理方法。
【請求項１１】
前記オーディオ符号化工程では、前記ユーザが入力したコメントに対して、前記ビデオコンテンツのオーディオ情報のリアチャンネルに相当する符号量に従った符号化を行うことを特徴とする請求項８又は９に記載のコンテンツ処理方法。
【請求項１２】
コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理プログラムであって、
コンテンツ処理装置に、
前記コンテンツの映像を出力する映像再生処理と、
前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え処理と、
を実現させるコンテンツ処理プログラム。
【請求項１３】
前記コンテンツの再生中にユーザがコメントを入力する入力処理と、
前記再生中のコンテンツから分離した音声の時間情報及び前記再生中のコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化するオーディオ符号化処理と、
前記ユーザのコメントをコメントサーバに送信する送信処理と、
をさらに実現させることを特徴とする請求項１２に記載のコンテンツ処理プログラム。
【請求項１４】
前記映像再生処理では、放送局から受信した放送コンテンツの映像、又はコンテンツサーバからネットワークを介して受信したビデオコンテンツの映像を再生させ、
前記オーディオ符号化処理では、前記再生中の放送コンテンツ又はビデオコンテンツから分離した音声の時間情報及び前記再生中の放送コンテンツ又はビデオコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化させることを特徴とする請求項１２又は１３に記載のコンテンツ処理プログラム。
【請求項１５】
前記映像再生処理では、ユーザの要求に基づいて受信した、前記ビデオコンテンツとして前記コンテンツサーバに蓄積された放送コンテンツの映像を再生させることを特徴とする請求項１４に記載のコンテンツ処理プログラム。
【請求項１６】
前記オーディオ符号化処理では、前記ユーザが入力したコメントに対して、前記ビデオコンテンツのオーディオ情報のリアチャンネルに相当する符号量に従った符号化を行わせることを特徴とする請求項１３又は１４に記載のコンテンツ処理プログラム。
【請求項１】
コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理装置であって、
前記コンテンツの映像を出力する映像再生手段と、
前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え手段と、
を備えるコンテンツ処理装置。
【請求項２】
前記コンテンツの再生中にユーザがコメントを入力する入力手段と、
前記再生中のコンテンツから分離した音声の時間情報及び前記再生中のコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化するオーディオ符号化手段と、
前記ユーザのコメントをコメントサーバに送信する送信手段と、
をさらに備えることを特徴とする請求項１に記載のコンテンツ処理装置。
【請求項３】
放送局から放送コンテンツを受信する放送コンテンツ受信手段と、前記コンテンツサーバからネットワークを介してビデオコンテンツを受信するビデオコンテンツ受信手段と、をさらに備え、
前記映像再生手段は、前記受信した放送コンテンツの映像、又は前記受信したビデオコンテンツの映像を再生し、
前記オーディオ符号化手段は、前記再生中の放送コンテンツ又はビデオコンテンツから分離した音声の時間情報及び前記再生中の放送コンテンツ又はビデオコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化することを特徴とする請求項１又は２に記載のコンテンツ処理装置。
【請求項４】
前記ビデオコンテンツ受信手段は、前記ビデオコンテンツとして前記コンテンツサーバに蓄積された放送コンテンツを、ユーザの要求に基づいて受信することを特徴とする請求項３に記載のコンテンツ処理装置。
【請求項５】
前記オーディオ符号化手段は、前記入力手段から入力されたコメントに対して、前記ビデオコンテンツのオーディオ情報のリアチャンネルに相当する符号量に従った符号化を行うことを特徴とする請求項２又は３に記載のコンテンツ処理装置。
【請求項６】
請求項１乃至５のいずれか１項に記載のコンテンツ処理装置を備えるコンテンツ配信システム。
【請求項７】
コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理方法であって、
前記コンテンツの映像を出力する映像再生工程と、
前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え工程と、
を備えるコンテンツ処理方法。
【請求項８】
前記コンテンツの再生中にユーザがコメントを入力する入力工程と、
前記再生中のコンテンツから分離した音声の時間情報及び前記再生中のコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化するオーディオ符号化工程と、
前記ユーザのコメントをコメントサーバに送信する送信工程と、
をさらに備えることを特徴とする請求項７に記載のコンテンツ処理方法。
【請求項９】
前記映像再生工程では、放送局から受信した放送コンテンツの映像、又はコンテンツサーバからネットワークを介して受信したビデオコンテンツの映像を再生し、
前記オーディオ符号化工程では、前記再生中の放送コンテンツ又はビデオコンテンツから分離した音声の時間情報及び前記再生中の放送コンテンツ又はビデオコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化することを特徴とする請求項７又は８に記載のコンテンツ処理方法。
【請求項１０】
前記映像再生工程では、ユーザの要求に基づいて受信した、前記ビデオコンテンツとして前記コンテンツサーバに蓄積された放送コンテンツの映像を再生することを特徴とする請求項９に記載のコンテンツ処理方法。
【請求項１１】
前記オーディオ符号化工程では、前記ユーザが入力したコメントに対して、前記ビデオコンテンツのオーディオ情報のリアチャンネルに相当する符号量に従った符号化を行うことを特徴とする請求項８又は９に記載のコンテンツ処理方法。
【請求項１２】
コンテンツを配信すると共に、前記コンテンツに対するコメントを配信する音声付加コンテンツ配信サービスを実現するコンテンツ処理プログラムであって、
コンテンツ処理装置に、
前記コンテンツの映像を出力する映像再生処理と、
前記コンテンツから分離した音声の時間情報と、前記コンテンツの時間情報に基づいて予め与えられ、ユーザの要求に基づいて受信した前記コメントの時間情報と、が一致すると、前記コンテンツの音声を前記コメントに切り替えて出力するオーディオ切り替え処理と、
を実現させるコンテンツ処理プログラム。
【請求項１３】
前記コンテンツの再生中にユーザがコメントを入力する入力処理と、
前記再生中のコンテンツから分離した音声の時間情報及び前記再生中のコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化するオーディオ符号化処理と、
前記ユーザのコメントをコメントサーバに送信する送信処理と、
をさらに実現させることを特徴とする請求項１２に記載のコンテンツ処理プログラム。
【請求項１４】
前記映像再生処理では、放送局から受信した放送コンテンツの映像、又はコンテンツサーバからネットワークを介して受信したビデオコンテンツの映像を再生させ、
前記オーディオ符号化処理では、前記再生中の放送コンテンツ又はビデオコンテンツから分離した音声の時間情報及び前記再生中の放送コンテンツ又はビデオコンテンツのオーディオ符号化方式情報に基づいて、前記コメントを符号化させることを特徴とする請求項１２又は１３に記載のコンテンツ処理プログラム。
【請求項１５】
前記映像再生処理では、ユーザの要求に基づいて受信した、前記ビデオコンテンツとして前記コンテンツサーバに蓄積された放送コンテンツの映像を再生させることを特徴とする請求項１４に記載のコンテンツ処理プログラム。
【請求項１６】
前記オーディオ符号化処理では、前記ユーザが入力したコメントに対して、前記ビデオコンテンツのオーディオ情報のリアチャンネルに相当する符号量に従った符号化を行わせることを特徴とする請求項１３又は１４に記載のコンテンツ処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２３８１１（Ｐ２０１１−２３８１１Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６４８１５（Ｐ２００９−１６４８１５）
【出願日】平成２１年７月１３日（２００９．７．１３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１３日（２００９．７．１３）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]