コンテンツ再生装置
【課題】コンテンツの視聴時において、視聴に支障をきたすことなく、より臨場感を得ることができるようにする。
【解決手段】クライアント装置２１は、コンテンツを視聴しているユーザの反応から、ユーザの盛り上がり度合いを示す視聴情報を生成し、サーバ２２に送信する。サーバ２２は、複数のクライアント装置２１から受信した視聴情報を集約して、同一コンテンツを視聴している複数ユーザの平均的な盛り上がり度合いを示す全視聴者視聴情報を生成し、各クライアント装置２１に送信する。クライアント装置２１は、全視聴者視聴情報に基づいて、複数ユーザの盛り上がりを表現する映像または音声からなる盛り上がり効果を選択し、コンテンツに合成して再生する。これにより、同じコンテンツを視聴している他のユーザの反応が、リアルタイムでコンテンツに反映され、臨場感が得られる。本発明は、コンテンツ視聴システムに適用することができる。
【解決手段】クライアント装置２１は、コンテンツを視聴しているユーザの反応から、ユーザの盛り上がり度合いを示す視聴情報を生成し、サーバ２２に送信する。サーバ２２は、複数のクライアント装置２１から受信した視聴情報を集約して、同一コンテンツを視聴している複数ユーザの平均的な盛り上がり度合いを示す全視聴者視聴情報を生成し、各クライアント装置２１に送信する。クライアント装置２１は、全視聴者視聴情報に基づいて、複数ユーザの盛り上がりを表現する映像または音声からなる盛り上がり効果を選択し、コンテンツに合成して再生する。これにより、同じコンテンツを視聴している他のユーザの反応が、リアルタイムでコンテンツに反映され、臨場感が得られる。本発明は、コンテンツ視聴システムに適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ再生装置に関し、特に、コンテンツの視聴時において、視聴に支障をきたすことなく、より臨場感を得ることができるようにしたコンテンツ再生装置に関する。
【背景技術】
【０００２】
従来のテレビジョン受像機は、一般的に番組の作り手から視聴者への一方通行の情報伝達のデバイスとして用いられることが多かった。そこで、視聴者が参加できる番組を作る枠組みとして、キャプテンシステムや、地上デジタル放送における双方向サービスが提案されている。
【０００３】
一方、近年、ネットワークの発達により、ユーザ同士のコミュニケーションが盛んになってきている。特に、マイクロブログと呼ばれる、短い文章を打込むようなコミュニケーションツールにより、より速報性の高いコミュニケーションが好まれるようになってきている。このようなツールを使うことで、ユーザは、好きな話題を雑談のように手軽に話すことができ、親近感、臨場感を得ることができる。
【０００４】
また、ユーザ同士がコミュニケーションをとるための技術として、ストリーミング配信中の動画像コンテンツに、自分や他のユーザが書き込んだテキストを重畳させる技術が提案されている（例えば、特許文献１）。この技術では、ユーザにより入力されたテキストがストリーミングサーバに送信され、そのテキストと、他のユーザにより書き込まれたテキストが配信中の動画像コンテンツに重畳される。
【０００５】
さらに、携帯電話機でスポーツ等のイベントの番組を視聴するユーザが、携帯電話機を操作して応援情報を入力すると、その応援情報が、実際にスポーツ等が行なわれている会場にフィードバックされ、応援情報に応じた歓声が会場で再生される技術もある（例えば、特許文献２）。この技術では、番組を視聴するユーザの携帯電話機にも、他のユーザの応援情報がフィードバックされるので、携帯電話機のユーザも臨場感を得ることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１７２８４４号公報
【特許文献２】特開２００５−３３９４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した技術では、コンテンツの視聴時において、ユーザは、視聴に支障をきたすことなく、臨場感を得ることができなかった。
【０００８】
例えば、上述した双方向サービスでは、視聴者は、番組においてされる質問に対し、いくつかの選択肢から回答を選ぶ程度のことしかできないため、リアルタイム性に欠け、番組のスタジオとの一体感や臨場感を得ることが困難であった。
【０００９】
また、マイクロブログによるコミュニケーションや、ストリーミング配信中の動画像コンテンツに入力されたテキストを重畳させるといった方法では、実際にユーザが自発的に文章を入力する必要があった。そのため、自分自身の感情を上手く伝えることができなかったり、テキストの入力のためにコンテンツに集中できなくなってしまったりすることがあった。
【００１０】
さらに、携帯電話機で入力された応援情報を実際の会場にフィードバックする方法においても、ユーザは、応援や歓声を応援情報として送信するために、積極的に意思表示をしなければならず、やはりコンテンツの視聴に集中できなくなってしまう。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、コンテンツの視聴時において、視聴に支障をきたすことなく、より臨場感を得ることができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面のコンテンツ再生装置は、所定のコンテンツの視聴時における、前記コンテンツに対するユーザの反応を示す視聴者反応情報を取得する取得手段と、前記視聴者反応情報に基づいて、前記コンテンツの視聴時における前記ユーザの盛り上がりの度合いを示す盛り上がり情報を生成する生成手段と、前記盛り上がり情報を所定のサーバに送信する送信手段と、前記サーバにおいて、複数のユーザの前記盛り上がり情報から生成された、前記コンテンツを視聴している複数のユーザの前記盛り上がりの度合いを示す全視聴者視聴情報を受信する受信手段と、前記複数のユーザの前記盛り上がりの度合いを表現する映像または音声の少なくとも一方からなる盛り上がり効果のうち、前記全視聴者視聴情報により定まる盛り上がり効果を、前記コンテンツに合成し、前記盛り上がり効果が合成された前記コンテンツを出力する合成手段とを備える。
【００１３】
本発明の一側面においては、所定のコンテンツの視聴時における、前記コンテンツに対するユーザの反応を示す視聴者反応情報が取得され、前記視聴者反応情報に基づいて、前記コンテンツの視聴時における前記ユーザの盛り上がりの度合いを示す盛り上がり情報が生成され、前記盛り上がり情報が所定のサーバに送信され、前記サーバにおいて、複数のユーザの前記盛り上がり情報から生成された、前記コンテンツを視聴している複数のユーザの前記盛り上がりの度合いを示す全視聴者視聴情報が受信され、前記複数のユーザの前記盛り上がりの度合いを表現する映像または音声の少なくとも一方からなる盛り上がり効果のうち、前記全視聴者視聴情報により定まる盛り上がり効果が、前記コンテンツに合成され、前記盛り上がり効果が合成された前記コンテンツが出力される。
【発明の効果】
【００１４】
本発明の一側面によれば、コンテンツの視聴時において、視聴に支障をきたすことなく、より臨場感を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用したコンテンツ視聴システムの一実施の形態の構成を示す図である。
【図２】クライアント処理部の構成例を示す図である。
【図３】クライアント装置による合成処理、およびサーバによる配信処理を説明するフローチャートである。
【図４】クライアント装置による視聴情報生成処理、およびサーバによる集約処理を説明するフローチャートである。
【図５】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００１７】
［コンテンツ視聴システムの構成例］
図１は、本発明を適用したコンテンツ視聴システムの一実施の形態の構成例を示す図である。
【００１８】
コンテンツ視聴システム１１は、クライアント装置２１−１乃至クライアント装置２１−Ｎと、それらのクライアント装置２１−１乃至クライアント装置２１−Ｎに接続されたサーバ２２とから構成される。例えば、クライアント装置２１−１乃至クライアント装置２１−Ｎとサーバ２２とは、図示せぬインターネット等のネットワークを介して相互に接続されている。
【００１９】
クライアント装置２１−１乃至クライアント装置２１−Ｎは、テレビジョン放送された番組等のコンテンツを受信して再生する。なお、以下、クライアント装置２１−１乃至クライアント装置２１−Ｎを個々に区別する必要のない場合、単にクライアント装置２１とも称する。
【００２０】
例えば、クライアント装置２１−１は、ユーザの自宅などの視聴環境２３に設置されており、図示せぬ放送局から放送された電波による番組の放送信号を、放送ネットワークを介して受信する。クライアント装置２１−１は、チューナ３１、視聴者反応入力部３２、クライアント処理部３３、および表示部３４から構成される。
【００２１】
チューナ３１は、放送局から送信された放送信号を受信して、放送信号から、ユーザにより指定されたチャンネルの番組の放送信号を分離し、クライアント処理部３３に供給する。なお、以下、放送信号により再生される番組を単にコンテンツと称する。
【００２２】
視聴者反応入力部３２は、例えばカメラやマイクロホンなどからなり、コンテンツを視聴しているユーザの映像（動画像）や音声を、ユーザのコンテンツに対する反応を示す視聴者反応情報として取得し、クライアント処理部３３に供給する。
【００２３】
クライアント処理部３３は、視聴者反応入力部３２からの視聴者反応情報を用いて、ユーザが視聴中のコンテンツについての視聴情報を生成し、視聴情報をインターネット等のネットワークを介してサーバ２２に送信する。
【００２４】
ここで、視聴情報とは、ユーザのコンテンツに対する反応に関する情報であり、視聴情報には、視聴者反応情報、盛り上がり情報、およびチャンネル情報が含まれている。なお、盛り上がり情報とは、コンテンツを視聴するユーザの盛り上がりの度合い、つまりコンテンツの視聴に伴うユーザの気分の高揚の度合いを示す情報であり、チャンネル情報とは、視聴中のコンテンツのチャンネルを示す情報である。
【００２５】
また、クライアント処理部３３は、インターネット等のネットワークを介して、サーバ２２から送信された全視聴者視聴情報を受信する。この全視聴者視聴情報は、サーバ２２に接続された各クライアント装置２１からの視聴情報を集約することにより生成される情報であり、全視聴者視聴情報には、コンテンツのチャンネル情報、全視聴者の盛り上がり情報の平均値を示す平均盛り上がり情報、各視聴者の視聴者反応情報が含まれている。
【００２６】
なお、全視聴者視聴情報に含まれる平均盛り上がり情報は、全体の視聴者の平均的な盛り上がり度合いを示すものであればよく、盛り上がり情報の平均値である必要はない。また、全視聴者視聴情報に含まれる視聴者反応情報は、一部の視聴者の視聴者反応情報であってもよいし、視聴者の視聴者反応情報の一部の情報であってもよい。さらに、全視聴者視聴情報には、集約された視聴情報の数、つまり全体の視聴者数を示す情報が含まれるようにしてもよい。
【００２７】
クライアント処理部３３は、サーバ２２から取得した全視聴者視聴情報により特定される盛り上がり効果を、チューナ３１から供給されたコンテンツに合成し、得られたコンテンツ（以下、適宜、合成コンテンツとも称する）を表示部３４に供給して再生させる。
【００２８】
ここで、盛り上がり効果とは、視聴者反応情報を構成するユーザの映像や音声、予め用意された笑い声や歓声、応援の声等の音声のデータなどからなる。換言すれば、盛り上がり効果とは、コンテンツに対する多数の視聴者（ユーザ）の盛り上がりを表現する映像や音声等のデータである。なお、盛り上がり効果は、現実の視聴者のコンテンツに対する反応であってもよいし、仮想的な視聴者の反応を表す歓声などの音声等であってもよい。
【００２９】
表示部３４は、例えば液晶ディスプレイやスピーカなどから構成され、クライアント処理部３３から供給された合成コンテンツを再生する。すなわち、表示部３４は、合成コンテンツを構成する映像（動画像）を表示するとともに、合成コンテンツを構成する音声を出力する。このように、コンテンツを視聴している全体の視聴者の生の視聴情報、つまり全視聴者視聴情報から得られる盛り上がり効果をコンテンツに合成して再生することで、コンテンツを視聴しているユーザは、視聴者間の一体感や臨場感を得ることができる。
【００３０】
なお、クライアント装置２１−２乃至クライアント装置２１−Ｎも、クライアント装置２１−１と同じ構成とされ、これらのクライアント装置２１は同様の動作をする。
【００３１】
［クライアント処理部の構成例］
また、図１のクライアント処理部３３は、より詳細には、図２に示すように構成される。
【００３２】
すなわち、クライアント処理部３３は、解析部６１、情報選択部６２、記録部６３、および合成部６４から構成される。
【００３３】
解析部６１は、視聴者反応入力部３２から供給された視聴者反応情報を解析して、盛り上がり情報を生成し、情報選択部６２に供給する。
【００３４】
例えば、解析部６１は、視聴者反応情報としての動画像に対する動き検出を行なって、動画像に含まれるユーザの動き量を算出し、得られたユーザの動き量を盛り上がり情報とする。この場合、例えばユーザの動き量が大きいほど、ユーザの盛り上がりの度合いが高く、盛り上がり情報の値も大きくなる。
【００３５】
また、例えば解析部６１は、視聴者反応情報としての音声の強弱の変化、つまり音量の変化量を示す値を盛り上がり情報とする。この場合、例えば音量の変化が大きいほど、ユーザの盛り上がりの度合いが高く、盛り上がり情報の値も大きくなる。
【００３６】
なお、盛り上がり情報は、ユーザの盛り上がりの度合いを示すものであれば、ユーザの動きや音声に限らず、顔の表情など、ユーザから得られる他の情報から生成されてもよい。また、盛り上がり情報は、ユーザの動き量や音量の変化など、コンテンツ視聴時のユーザの反応を示す複数の要素からなる情報とされてもよいし、それらの複数の要素の値が重み付き加算されて得られる情報とされてもよい。
【００３７】
さらに、盛り上がり情報には、ユーザの盛り上がりの度合いだけでなく、例えば、笑いや歓声といったユーザの盛り上がりの種類、つまりユーザの感情の種類を示す情報が含まれるようにしてもよい。
【００３８】
情報選択部６２は、視聴者反応入力部３２からの視聴者反応情報、チューナ３１からのコンテンツ、および解析部６１からの盛り上がり情報を用いて視聴情報を生成し、サーバ２２に送信する。
【００３９】
なお、視聴情報に含まれる視聴者反応情報は、視聴者反応入力部３２で得られた視聴者反応情報そのものであってもよいし、その視聴者反応情報の一部、例えばユーザの動画像のみであってもよい。また、視聴情報は、ネットワークを介してサーバ２２に伝送されるので、できるだけ軽量な情報、つまりデータ量の少ない情報とされることが望ましい。さらに、視聴情報には、クライアント装置２１である機器等の情報が含まれるようにしてもよい。
【００４０】
記録部６３は、予め用意された盛り上がり効果を記録し、必要に応じて記録している盛り上がり効果を合成部６４に供給する。なお、記録部６３に記録される盛り上がり効果は、予め用意された動画像や音声等のデータに限らず、サーバ２２から受信した全視聴者視聴情報や、その全視聴者視聴情報の一部のデータなどとされてもよい。例えば、サーバ２２から受信した全視聴者視聴情報に含まれる視聴者反応情報を記録しておき、他のコンテンツの視聴時に盛り上がり効果として用いれば、盛り上がりの度合いの表現のバリエーションを増やすことができる。
【００４１】
合成部６４は、サーバ２２から送信された全視聴者視聴情報を受信するとともに、受信した全視聴者視聴情報に基づいて、記録部６３に記録されている盛り上がり効果のうちのいくつかを選択する。また、合成部６４は、選択された１または複数の盛り上がり効果を、チューナ３１から供給されたコンテンツに合成することで、合成コンテンツを生成し、合成コンテンツを表示部３４に供給して再生させる。
【００４２】
［合成処理と配信処理の説明］
次に、クライアント装置２１とサーバ２２の動作について説明する。
【００４３】
例えば、ユーザがクライアント装置２１を操作して、所定のチャンネルのコンテンツの視聴の開始を指示すると、クライアント装置２１は合成処理を開始して、ユーザにより指示されたコンテンツを受信して合成コンテンツを生成し、合成コンテンツを再生する。また、サーバ２２は、クライアント装置２１による合成処理が開始されると、配信処理を開始して、クライアント装置２１のユーザが視聴しているコンテンツの全視聴者視聴情報を、各クライアント装置２１に配信する。
【００４４】
以下、図３のフローチャートを参照して、クライアント装置２１による合成処理と、サーバ２２による配信処理について説明する。
【００４５】
ステップＳ１１において、クライアント装置２１のチューナ３１は、放送局から送信されたコンテンツを受信し、解析部６１、情報選択部６２、および合成部６４に供給する。すなわち、放送された放送信号が受信され、受信された放送信号から、ユーザにより指定されたチャンネルのコンテンツのデータが抽出される。
【００４６】
また、ステップＳ３１において、サーバ２２は、クライアント装置２１において再生されているコンテンツについて得られた全視聴者視聴情報を、ネットワークを介してクライアント装置２１に送信する。
【００４７】
ステップＳ３２において、サーバ２２は、コンテンツを再生しているクライアント装置２１に、そのコンテンツの全視聴者視聴情報を送信（配信）する処理を終了するか否かを判定する。例えば、処理対象のコンテンツを再生していたクライアント装置２１が、そのコンテンツの再生を終了した場合、処理を終了すると判定される。例えば、コンテンツの再生の終了は、ネットワークを介してクライアント装置２１から通知される。
【００４８】
ステップＳ３２において、処理を終了しないと判定された場合、処理はステップＳ３１に戻り、上述した処理が繰り返される。すなわち、新たに生成された全視聴者視聴情報が、逐次、クライアント装置２１に送信される。
【００４９】
これに対して、ステップＳ３２において、処理を終了すると判定された場合、サーバ２２は、全視聴者視聴情報の送信を停止し、配信処理は終了する。
【００５０】
また、ステップＳ３１の処理により、サーバ２２からクライアント装置２１に全視聴者視聴情報が送信されると、ステップＳ１２において、合成部６４は、サーバ２２から送信された全視聴者視聴情報を受信する。
【００５１】
ステップＳ１３において、合成部６４は、受信した全視聴者視聴情報に基づいて盛り上がり効果を選択し、選択された盛り上がり効果をチューナ３１から供給されたコンテンツに合成する。
【００５２】
具体的には、合成部６４は、全視聴者視聴情報に含まれる平均盛り上がり情報の値により定まる盛り上がり効果を記録部６３から取得し、取得された盛り上がり効果としての映像や音声を、コンテンツを構成する映像や音声に合成し、合成コンテンツを生成する。
【００５３】
このとき、例えば、平均盛り上がり情報に含まれるユーザの動き量の平均値から、盛り上がり効果としての映像が特定されたり、平均盛り上がり情報に含まれるユーザの音声の音量の変化量の平均値から、盛り上がり効果としての音声が特定されたりしてもよい。
【００５４】
なお、盛り上がり効果の選択は、平均盛り上がり情報により示される視聴者全体の盛り上がりの大小に応じて適切な盛り上がり効果が選択されれば、その選択方法はどのようなものであってもよい。また、盛り上がり効果としての映像の大きさや音声の音量が、平均盛り上がり情報の値などに応じた大きさに調整されたり、平均盛り上がり情報の値に応じて定まる数の盛り上がり効果が選択されたりしてもよい。
【００５５】
さらに、全視聴者視聴情報に含まれる視聴者反応情報としての映像や音声が、コンテンツに合成されるようにしてもよい。このように、処理対象となっているコンテンツを視聴している他のユーザ（他の視聴者）の実際の反応を盛り上がり効果としてコンテンツに合成すれば、より臨場感や他の視聴者との一体感を得ることができるようになる。
【００５６】
なお、全視聴者視聴情報により示される全視聴者の盛り上がりの状況によっては、盛り上がり効果がコンテンツに合成されないようにしてもよい。すなわち、全視聴者の盛り上がりの度合いが低い場合には、特にコンテンツに盛り上がり効果が合成されず、コンテンツがそのまま再生される。
【００５７】
ステップＳ１４において、合成部６４は、生成した合成コンテンツを表示部３４に供給し、合成コンテンツを再生させる。表示部３４は、合成部６４からの合成コンテンツを構成する映像を表示するとともに、合成コンテンツを構成する音声を出力する。これにより、コンテンツとともに、他のクライアント装置２１のユーザのコンテンツの視聴時の反応が反映された歓声、笑い声、声援などや、他のユーザのコンテンツ視聴時の映像などが再生されることになる。
【００５８】
ステップＳ１５において、クライアント処理部３３は、合成コンテンツを再生する処理を終了するか否かを判定する。例えば、ユーザによりクライアント装置２１が操作され、コンテンツの視聴の終了が指示されると、終了すると判定される。
【００５９】
ステップＳ１５において、処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、合成コンテンツを生成して再生する処理が継続して行われる。
【００６０】
これに対して、ステップＳ１５において、処理を終了すると判定された場合、クライアント装置２１は、コンテンツの視聴を終了する旨を、ネットワークを介してサーバ２２に通知し、合成処理は終了する。
【００６１】
このようにして、クライアント装置２１は、サーバ２２から全視聴者視聴情報を取得し、取得した全視聴者視聴情報を用いてコンテンツに適切な盛り上がり効果を合成する。
【００６２】
これにより、リアルタイムで、他の視聴者の盛り上がり等の感情のフィードバックを受けて、他の視聴者の反応をコンテンツに合成することができる。その結果、コンテンツを視聴するユーザが、あたかもスタジアムや映画館などにいるようなリアルな臨場感や、他の視聴者との一体感を、自宅等の家庭環境に居ながら得ることができる。しかも、ユーザは、コンテンツの視聴中に、コンテンツに対する感想等、盛り上がりの感情などを示す情報を何ら入力する必要はないため、コンテンツの視聴に支障をきたすことはない。
【００６３】
一般に、競技場でスポーツを観戦したり、映画館で映画鑑賞をしたりする場合、同じ場面で観戦者、視聴者が同じ反応を示すことが多く、その会場内の盛り上がりが、会場の一体感、臨場感をもたらす。
【００６４】
コンテンツ視聴システム１１では、同じコンテンツを視聴している複数ユーザの反応がリアルタイムで視聴中のコンテンツに反映される。したがって、ユーザは、実際にスポーツを観戦したり、映画館で映画鑑賞したりするときに得られる一体感や臨場感に、より近い一体感、臨場感を得ることができる。
【００６５】
また、クライアント装置２１では、予め用意された盛り上がり効果がコンテンツに合成されるため、コンテンツの配信側において、コンテンツに特別な加工を施す必要もなく、既存のテレビジョン放送の番組等についても適用することができる。
【００６６】
［視聴情報生成処理と集約処理の説明］
さらに、ユーザによりコンテンツの視聴開始が指示され、上述した合成処理と配信処理が開始されると、クライアント装置２１およびサーバ２２では、これらの処理と並行して、視聴情報を生成する視聴情報生成処理と、視聴情報を集約して全視聴者視聴情報を生成する集約処理が行われる。
【００６７】
以下、図４のフローチャートを参照して、クライアント装置２１による視聴情報生成処理と、サーバ２２による集約処理について説明する。
【００６８】
ユーザによるコンテンツの視聴開始が指示されると、ステップＳ６１において、視聴者反応入力部３２は、クライアント装置２１近傍で、表示部３４を見ているユーザの視聴者反応情報を取得し、解析部６１および情報選択部６２に供給する。例えば、視聴者反応情報として、ユーザの映像や音声など、合成コンテンツを視聴しているときのユーザの反応を示す情報が取得される。
【００６９】
ステップＳ６２において、解析部６１は、視聴者反応入力部３２から供給された視聴者反応情報を用いて、盛り上がり情報を生成し、情報選択部６２に供給する。例えば、視聴者反応情報から得られるユーザの合成コンテンツの視聴時の動き量や、音声の音量の変化量などが盛り上がり情報として生成される。
【００７０】
ステップＳ６３において、情報選択部６２は、チューナ３１からのコンテンツ、視聴者反応入力部３２からの視聴者反応情報、および解析部６１からの盛り上がり情報を用いて、クライアント装置２１のユーザ個人についての視聴情報を生成する。
【００７１】
ステップＳ６４において、情報選択部６２は、生成した視聴情報を、ネットワークを介してサーバ２２に送信する。
【００７２】
そして、ステップＳ６５において、クライアント処理部３３は、視聴情報を生成してサーバ２２に送信する処理を終了するか否かを判定する。例えば、ユーザによりコンテンツの視聴の終了が指示された場合、つまり図３の合成処理が終了した場合、処理を終了すると判定される。
【００７３】
ステップＳ６５において、処理を終了しないと判定された場合、処理はステップＳ６１に戻り、上述した処理が繰り返される。すなわち、次の時刻におけるユーザの視聴者反応情報が取得され、新たな視聴情報が生成される。
【００７４】
これに対して、ステップＳ６５において、処理を終了すると判定された場合、クライアント装置２１は行なっている処理を停止し、視聴情報生成処理は終了する。
【００７５】
また、ステップＳ６４において、クライアント装置２１からサーバ２２に視聴情報が送信されると、ステップＳ８１において、サーバ２２は、クライアント装置２１から送信された視聴情報を受信する。
【００７６】
このとき、サーバ２２は、処理対象となっている所定のチャンネルのコンテンツを再生している全てのクライアント装置２１から、視聴情報を受信する。つまり、サーバ２２は、同じコンテンツを視聴している全ての視聴者から、盛り上がり情報を含む視聴情報の供給を受ける。
【００７７】
ステップＳ８２において、サーバ２２は、受信した視聴情報を用いて、所定のチャンネルのコンテンツについての全視聴者視聴情報を生成する。
【００７８】
例えば、サーバ２２は、コンテンツを特定するチャンネル情報、全視聴者の盛り上がりの度合いを示す平均盛り上がり情報、一部または全部の視聴者の視聴者反応情報からなる全視聴者視聴情報を生成する。ここで、平均盛り上がり情報は、例えば各クライアント装置２１から得られた盛り上がり情報の平均値などとされる。
【００７９】
このようにして生成された全視聴者視聴情報は、図３のステップＳ３１の処理において、所定チャンネルのコンテンツを再生している、全てのクライアント装置２１に送信される。
【００８０】
ステップＳ８３において、サーバ２２は、全視聴者視聴情報を生成する処理を終了するか否かを判定する。例えば、集約処理と並行して実行される図３の配信処理が終了した場合、終了すると判定される。
【００８１】
ステップＳ８３において、処理を終了しないと判定された場合、処理はステップＳ８１に戻り、上述した処理が繰り返される。すなわち、新たに受信された視聴情報に基づいて全視聴者視聴情報が生成される。
【００８２】
一方、ステップＳ８３において、処理を終了すると判定された場合、サーバ２２は行っている処理を停止し、集約処理は終了する。
【００８３】
このようにして、クライアント装置２１は、コンテンツの視聴中のユーザの反応を視聴者反応情報として取得し、視聴者反応情報を含む視聴情報をサーバ２２に送信する。これにより、リアルタイムで、コンテンツを視聴するユーザの反応に関する情報をサーバ２２に供給することができ、その結果、よりリアルな臨場感や一体感をユーザに与えることができるようになる。しかも、この場合、ユーザは、視聴の感想などのコンテンツに対する反応を何ら入力する必要はないので、ユーザのコンテンツの視聴が妨げられるようなこともない。
【００８４】
なお、以上においては、ユーザにより視聴されるコンテンツとして、テレビジョン放送される番組を例に説明したが、コンテンツは、その他、楽曲など、どのようなものであってもよい。また、コンテンツは、サーバ２２などから送信されてもよいし、インターネットやケーブルなど、任意の通信網を介してクライアント装置２１に送信することが可能である。
【００８５】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００８６】
図５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００８７】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【００８８】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【００８９】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【００９０】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００９１】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【００９２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９４】
１１ コンテンツ視聴システム， ２１−１乃至２１−Ｎ，２１ クライアント装置， ２２ サーバ， ３１ チューナ， ３２ 視聴者反応入力部， ３３ クライアント処理部， ６１ 解析部， ６２ 情報選択部， ６４ 合成部
【技術分野】
【０００１】
本発明は、コンテンツ再生装置に関し、特に、コンテンツの視聴時において、視聴に支障をきたすことなく、より臨場感を得ることができるようにしたコンテンツ再生装置に関する。
【背景技術】
【０００２】
従来のテレビジョン受像機は、一般的に番組の作り手から視聴者への一方通行の情報伝達のデバイスとして用いられることが多かった。そこで、視聴者が参加できる番組を作る枠組みとして、キャプテンシステムや、地上デジタル放送における双方向サービスが提案されている。
【０００３】
一方、近年、ネットワークの発達により、ユーザ同士のコミュニケーションが盛んになってきている。特に、マイクロブログと呼ばれる、短い文章を打込むようなコミュニケーションツールにより、より速報性の高いコミュニケーションが好まれるようになってきている。このようなツールを使うことで、ユーザは、好きな話題を雑談のように手軽に話すことができ、親近感、臨場感を得ることができる。
【０００４】
また、ユーザ同士がコミュニケーションをとるための技術として、ストリーミング配信中の動画像コンテンツに、自分や他のユーザが書き込んだテキストを重畳させる技術が提案されている（例えば、特許文献１）。この技術では、ユーザにより入力されたテキストがストリーミングサーバに送信され、そのテキストと、他のユーザにより書き込まれたテキストが配信中の動画像コンテンツに重畳される。
【０００５】
さらに、携帯電話機でスポーツ等のイベントの番組を視聴するユーザが、携帯電話機を操作して応援情報を入力すると、その応援情報が、実際にスポーツ等が行なわれている会場にフィードバックされ、応援情報に応じた歓声が会場で再生される技術もある（例えば、特許文献２）。この技術では、番組を視聴するユーザの携帯電話機にも、他のユーザの応援情報がフィードバックされるので、携帯電話機のユーザも臨場感を得ることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−１７２８４４号公報
【特許文献２】特開２００５−３３９４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した技術では、コンテンツの視聴時において、ユーザは、視聴に支障をきたすことなく、臨場感を得ることができなかった。
【０００８】
例えば、上述した双方向サービスでは、視聴者は、番組においてされる質問に対し、いくつかの選択肢から回答を選ぶ程度のことしかできないため、リアルタイム性に欠け、番組のスタジオとの一体感や臨場感を得ることが困難であった。
【０００９】
また、マイクロブログによるコミュニケーションや、ストリーミング配信中の動画像コンテンツに入力されたテキストを重畳させるといった方法では、実際にユーザが自発的に文章を入力する必要があった。そのため、自分自身の感情を上手く伝えることができなかったり、テキストの入力のためにコンテンツに集中できなくなってしまったりすることがあった。
【００１０】
さらに、携帯電話機で入力された応援情報を実際の会場にフィードバックする方法においても、ユーザは、応援や歓声を応援情報として送信するために、積極的に意思表示をしなければならず、やはりコンテンツの視聴に集中できなくなってしまう。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、コンテンツの視聴時において、視聴に支障をきたすことなく、より臨場感を得ることができるようにするものである。
【課題を解決するための手段】
【００１２】
本発明の一側面のコンテンツ再生装置は、所定のコンテンツの視聴時における、前記コンテンツに対するユーザの反応を示す視聴者反応情報を取得する取得手段と、前記視聴者反応情報に基づいて、前記コンテンツの視聴時における前記ユーザの盛り上がりの度合いを示す盛り上がり情報を生成する生成手段と、前記盛り上がり情報を所定のサーバに送信する送信手段と、前記サーバにおいて、複数のユーザの前記盛り上がり情報から生成された、前記コンテンツを視聴している複数のユーザの前記盛り上がりの度合いを示す全視聴者視聴情報を受信する受信手段と、前記複数のユーザの前記盛り上がりの度合いを表現する映像または音声の少なくとも一方からなる盛り上がり効果のうち、前記全視聴者視聴情報により定まる盛り上がり効果を、前記コンテンツに合成し、前記盛り上がり効果が合成された前記コンテンツを出力する合成手段とを備える。
【００１３】
本発明の一側面においては、所定のコンテンツの視聴時における、前記コンテンツに対するユーザの反応を示す視聴者反応情報が取得され、前記視聴者反応情報に基づいて、前記コンテンツの視聴時における前記ユーザの盛り上がりの度合いを示す盛り上がり情報が生成され、前記盛り上がり情報が所定のサーバに送信され、前記サーバにおいて、複数のユーザの前記盛り上がり情報から生成された、前記コンテンツを視聴している複数のユーザの前記盛り上がりの度合いを示す全視聴者視聴情報が受信され、前記複数のユーザの前記盛り上がりの度合いを表現する映像または音声の少なくとも一方からなる盛り上がり効果のうち、前記全視聴者視聴情報により定まる盛り上がり効果が、前記コンテンツに合成され、前記盛り上がり効果が合成された前記コンテンツが出力される。
【発明の効果】
【００１４】
本発明の一側面によれば、コンテンツの視聴時において、視聴に支障をきたすことなく、より臨場感を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用したコンテンツ視聴システムの一実施の形態の構成を示す図である。
【図２】クライアント処理部の構成例を示す図である。
【図３】クライアント装置による合成処理、およびサーバによる配信処理を説明するフローチャートである。
【図４】クライアント装置による視聴情報生成処理、およびサーバによる集約処理を説明するフローチャートである。
【図５】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００１７】
［コンテンツ視聴システムの構成例］
図１は、本発明を適用したコンテンツ視聴システムの一実施の形態の構成例を示す図である。
【００１８】
コンテンツ視聴システム１１は、クライアント装置２１−１乃至クライアント装置２１−Ｎと、それらのクライアント装置２１−１乃至クライアント装置２１−Ｎに接続されたサーバ２２とから構成される。例えば、クライアント装置２１−１乃至クライアント装置２１−Ｎとサーバ２２とは、図示せぬインターネット等のネットワークを介して相互に接続されている。
【００１９】
クライアント装置２１−１乃至クライアント装置２１−Ｎは、テレビジョン放送された番組等のコンテンツを受信して再生する。なお、以下、クライアント装置２１−１乃至クライアント装置２１−Ｎを個々に区別する必要のない場合、単にクライアント装置２１とも称する。
【００２０】
例えば、クライアント装置２１−１は、ユーザの自宅などの視聴環境２３に設置されており、図示せぬ放送局から放送された電波による番組の放送信号を、放送ネットワークを介して受信する。クライアント装置２１−１は、チューナ３１、視聴者反応入力部３２、クライアント処理部３３、および表示部３４から構成される。
【００２１】
チューナ３１は、放送局から送信された放送信号を受信して、放送信号から、ユーザにより指定されたチャンネルの番組の放送信号を分離し、クライアント処理部３３に供給する。なお、以下、放送信号により再生される番組を単にコンテンツと称する。
【００２２】
視聴者反応入力部３２は、例えばカメラやマイクロホンなどからなり、コンテンツを視聴しているユーザの映像（動画像）や音声を、ユーザのコンテンツに対する反応を示す視聴者反応情報として取得し、クライアント処理部３３に供給する。
【００２３】
クライアント処理部３３は、視聴者反応入力部３２からの視聴者反応情報を用いて、ユーザが視聴中のコンテンツについての視聴情報を生成し、視聴情報をインターネット等のネットワークを介してサーバ２２に送信する。
【００２４】
ここで、視聴情報とは、ユーザのコンテンツに対する反応に関する情報であり、視聴情報には、視聴者反応情報、盛り上がり情報、およびチャンネル情報が含まれている。なお、盛り上がり情報とは、コンテンツを視聴するユーザの盛り上がりの度合い、つまりコンテンツの視聴に伴うユーザの気分の高揚の度合いを示す情報であり、チャンネル情報とは、視聴中のコンテンツのチャンネルを示す情報である。
【００２５】
また、クライアント処理部３３は、インターネット等のネットワークを介して、サーバ２２から送信された全視聴者視聴情報を受信する。この全視聴者視聴情報は、サーバ２２に接続された各クライアント装置２１からの視聴情報を集約することにより生成される情報であり、全視聴者視聴情報には、コンテンツのチャンネル情報、全視聴者の盛り上がり情報の平均値を示す平均盛り上がり情報、各視聴者の視聴者反応情報が含まれている。
【００２６】
なお、全視聴者視聴情報に含まれる平均盛り上がり情報は、全体の視聴者の平均的な盛り上がり度合いを示すものであればよく、盛り上がり情報の平均値である必要はない。また、全視聴者視聴情報に含まれる視聴者反応情報は、一部の視聴者の視聴者反応情報であってもよいし、視聴者の視聴者反応情報の一部の情報であってもよい。さらに、全視聴者視聴情報には、集約された視聴情報の数、つまり全体の視聴者数を示す情報が含まれるようにしてもよい。
【００２７】
クライアント処理部３３は、サーバ２２から取得した全視聴者視聴情報により特定される盛り上がり効果を、チューナ３１から供給されたコンテンツに合成し、得られたコンテンツ（以下、適宜、合成コンテンツとも称する）を表示部３４に供給して再生させる。
【００２８】
ここで、盛り上がり効果とは、視聴者反応情報を構成するユーザの映像や音声、予め用意された笑い声や歓声、応援の声等の音声のデータなどからなる。換言すれば、盛り上がり効果とは、コンテンツに対する多数の視聴者（ユーザ）の盛り上がりを表現する映像や音声等のデータである。なお、盛り上がり効果は、現実の視聴者のコンテンツに対する反応であってもよいし、仮想的な視聴者の反応を表す歓声などの音声等であってもよい。
【００２９】
表示部３４は、例えば液晶ディスプレイやスピーカなどから構成され、クライアント処理部３３から供給された合成コンテンツを再生する。すなわち、表示部３４は、合成コンテンツを構成する映像（動画像）を表示するとともに、合成コンテンツを構成する音声を出力する。このように、コンテンツを視聴している全体の視聴者の生の視聴情報、つまり全視聴者視聴情報から得られる盛り上がり効果をコンテンツに合成して再生することで、コンテンツを視聴しているユーザは、視聴者間の一体感や臨場感を得ることができる。
【００３０】
なお、クライアント装置２１−２乃至クライアント装置２１−Ｎも、クライアント装置２１−１と同じ構成とされ、これらのクライアント装置２１は同様の動作をする。
【００３１】
［クライアント処理部の構成例］
また、図１のクライアント処理部３３は、より詳細には、図２に示すように構成される。
【００３２】
すなわち、クライアント処理部３３は、解析部６１、情報選択部６２、記録部６３、および合成部６４から構成される。
【００３３】
解析部６１は、視聴者反応入力部３２から供給された視聴者反応情報を解析して、盛り上がり情報を生成し、情報選択部６２に供給する。
【００３４】
例えば、解析部６１は、視聴者反応情報としての動画像に対する動き検出を行なって、動画像に含まれるユーザの動き量を算出し、得られたユーザの動き量を盛り上がり情報とする。この場合、例えばユーザの動き量が大きいほど、ユーザの盛り上がりの度合いが高く、盛り上がり情報の値も大きくなる。
【００３５】
また、例えば解析部６１は、視聴者反応情報としての音声の強弱の変化、つまり音量の変化量を示す値を盛り上がり情報とする。この場合、例えば音量の変化が大きいほど、ユーザの盛り上がりの度合いが高く、盛り上がり情報の値も大きくなる。
【００３６】
なお、盛り上がり情報は、ユーザの盛り上がりの度合いを示すものであれば、ユーザの動きや音声に限らず、顔の表情など、ユーザから得られる他の情報から生成されてもよい。また、盛り上がり情報は、ユーザの動き量や音量の変化など、コンテンツ視聴時のユーザの反応を示す複数の要素からなる情報とされてもよいし、それらの複数の要素の値が重み付き加算されて得られる情報とされてもよい。
【００３７】
さらに、盛り上がり情報には、ユーザの盛り上がりの度合いだけでなく、例えば、笑いや歓声といったユーザの盛り上がりの種類、つまりユーザの感情の種類を示す情報が含まれるようにしてもよい。
【００３８】
情報選択部６２は、視聴者反応入力部３２からの視聴者反応情報、チューナ３１からのコンテンツ、および解析部６１からの盛り上がり情報を用いて視聴情報を生成し、サーバ２２に送信する。
【００３９】
なお、視聴情報に含まれる視聴者反応情報は、視聴者反応入力部３２で得られた視聴者反応情報そのものであってもよいし、その視聴者反応情報の一部、例えばユーザの動画像のみであってもよい。また、視聴情報は、ネットワークを介してサーバ２２に伝送されるので、できるだけ軽量な情報、つまりデータ量の少ない情報とされることが望ましい。さらに、視聴情報には、クライアント装置２１である機器等の情報が含まれるようにしてもよい。
【００４０】
記録部６３は、予め用意された盛り上がり効果を記録し、必要に応じて記録している盛り上がり効果を合成部６４に供給する。なお、記録部６３に記録される盛り上がり効果は、予め用意された動画像や音声等のデータに限らず、サーバ２２から受信した全視聴者視聴情報や、その全視聴者視聴情報の一部のデータなどとされてもよい。例えば、サーバ２２から受信した全視聴者視聴情報に含まれる視聴者反応情報を記録しておき、他のコンテンツの視聴時に盛り上がり効果として用いれば、盛り上がりの度合いの表現のバリエーションを増やすことができる。
【００４１】
合成部６４は、サーバ２２から送信された全視聴者視聴情報を受信するとともに、受信した全視聴者視聴情報に基づいて、記録部６３に記録されている盛り上がり効果のうちのいくつかを選択する。また、合成部６４は、選択された１または複数の盛り上がり効果を、チューナ３１から供給されたコンテンツに合成することで、合成コンテンツを生成し、合成コンテンツを表示部３４に供給して再生させる。
【００４２】
［合成処理と配信処理の説明］
次に、クライアント装置２１とサーバ２２の動作について説明する。
【００４３】
例えば、ユーザがクライアント装置２１を操作して、所定のチャンネルのコンテンツの視聴の開始を指示すると、クライアント装置２１は合成処理を開始して、ユーザにより指示されたコンテンツを受信して合成コンテンツを生成し、合成コンテンツを再生する。また、サーバ２２は、クライアント装置２１による合成処理が開始されると、配信処理を開始して、クライアント装置２１のユーザが視聴しているコンテンツの全視聴者視聴情報を、各クライアント装置２１に配信する。
【００４４】
以下、図３のフローチャートを参照して、クライアント装置２１による合成処理と、サーバ２２による配信処理について説明する。
【００４５】
ステップＳ１１において、クライアント装置２１のチューナ３１は、放送局から送信されたコンテンツを受信し、解析部６１、情報選択部６２、および合成部６４に供給する。すなわち、放送された放送信号が受信され、受信された放送信号から、ユーザにより指定されたチャンネルのコンテンツのデータが抽出される。
【００４６】
また、ステップＳ３１において、サーバ２２は、クライアント装置２１において再生されているコンテンツについて得られた全視聴者視聴情報を、ネットワークを介してクライアント装置２１に送信する。
【００４７】
ステップＳ３２において、サーバ２２は、コンテンツを再生しているクライアント装置２１に、そのコンテンツの全視聴者視聴情報を送信（配信）する処理を終了するか否かを判定する。例えば、処理対象のコンテンツを再生していたクライアント装置２１が、そのコンテンツの再生を終了した場合、処理を終了すると判定される。例えば、コンテンツの再生の終了は、ネットワークを介してクライアント装置２１から通知される。
【００４８】
ステップＳ３２において、処理を終了しないと判定された場合、処理はステップＳ３１に戻り、上述した処理が繰り返される。すなわち、新たに生成された全視聴者視聴情報が、逐次、クライアント装置２１に送信される。
【００４９】
これに対して、ステップＳ３２において、処理を終了すると判定された場合、サーバ２２は、全視聴者視聴情報の送信を停止し、配信処理は終了する。
【００５０】
また、ステップＳ３１の処理により、サーバ２２からクライアント装置２１に全視聴者視聴情報が送信されると、ステップＳ１２において、合成部６４は、サーバ２２から送信された全視聴者視聴情報を受信する。
【００５１】
ステップＳ１３において、合成部６４は、受信した全視聴者視聴情報に基づいて盛り上がり効果を選択し、選択された盛り上がり効果をチューナ３１から供給されたコンテンツに合成する。
【００５２】
具体的には、合成部６４は、全視聴者視聴情報に含まれる平均盛り上がり情報の値により定まる盛り上がり効果を記録部６３から取得し、取得された盛り上がり効果としての映像や音声を、コンテンツを構成する映像や音声に合成し、合成コンテンツを生成する。
【００５３】
このとき、例えば、平均盛り上がり情報に含まれるユーザの動き量の平均値から、盛り上がり効果としての映像が特定されたり、平均盛り上がり情報に含まれるユーザの音声の音量の変化量の平均値から、盛り上がり効果としての音声が特定されたりしてもよい。
【００５４】
なお、盛り上がり効果の選択は、平均盛り上がり情報により示される視聴者全体の盛り上がりの大小に応じて適切な盛り上がり効果が選択されれば、その選択方法はどのようなものであってもよい。また、盛り上がり効果としての映像の大きさや音声の音量が、平均盛り上がり情報の値などに応じた大きさに調整されたり、平均盛り上がり情報の値に応じて定まる数の盛り上がり効果が選択されたりしてもよい。
【００５５】
さらに、全視聴者視聴情報に含まれる視聴者反応情報としての映像や音声が、コンテンツに合成されるようにしてもよい。このように、処理対象となっているコンテンツを視聴している他のユーザ（他の視聴者）の実際の反応を盛り上がり効果としてコンテンツに合成すれば、より臨場感や他の視聴者との一体感を得ることができるようになる。
【００５６】
なお、全視聴者視聴情報により示される全視聴者の盛り上がりの状況によっては、盛り上がり効果がコンテンツに合成されないようにしてもよい。すなわち、全視聴者の盛り上がりの度合いが低い場合には、特にコンテンツに盛り上がり効果が合成されず、コンテンツがそのまま再生される。
【００５７】
ステップＳ１４において、合成部６４は、生成した合成コンテンツを表示部３４に供給し、合成コンテンツを再生させる。表示部３４は、合成部６４からの合成コンテンツを構成する映像を表示するとともに、合成コンテンツを構成する音声を出力する。これにより、コンテンツとともに、他のクライアント装置２１のユーザのコンテンツの視聴時の反応が反映された歓声、笑い声、声援などや、他のユーザのコンテンツ視聴時の映像などが再生されることになる。
【００５８】
ステップＳ１５において、クライアント処理部３３は、合成コンテンツを再生する処理を終了するか否かを判定する。例えば、ユーザによりクライアント装置２１が操作され、コンテンツの視聴の終了が指示されると、終了すると判定される。
【００５９】
ステップＳ１５において、処理を終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。すなわち、合成コンテンツを生成して再生する処理が継続して行われる。
【００６０】
これに対して、ステップＳ１５において、処理を終了すると判定された場合、クライアント装置２１は、コンテンツの視聴を終了する旨を、ネットワークを介してサーバ２２に通知し、合成処理は終了する。
【００６１】
このようにして、クライアント装置２１は、サーバ２２から全視聴者視聴情報を取得し、取得した全視聴者視聴情報を用いてコンテンツに適切な盛り上がり効果を合成する。
【００６２】
これにより、リアルタイムで、他の視聴者の盛り上がり等の感情のフィードバックを受けて、他の視聴者の反応をコンテンツに合成することができる。その結果、コンテンツを視聴するユーザが、あたかもスタジアムや映画館などにいるようなリアルな臨場感や、他の視聴者との一体感を、自宅等の家庭環境に居ながら得ることができる。しかも、ユーザは、コンテンツの視聴中に、コンテンツに対する感想等、盛り上がりの感情などを示す情報を何ら入力する必要はないため、コンテンツの視聴に支障をきたすことはない。
【００６３】
一般に、競技場でスポーツを観戦したり、映画館で映画鑑賞をしたりする場合、同じ場面で観戦者、視聴者が同じ反応を示すことが多く、その会場内の盛り上がりが、会場の一体感、臨場感をもたらす。
【００６４】
コンテンツ視聴システム１１では、同じコンテンツを視聴している複数ユーザの反応がリアルタイムで視聴中のコンテンツに反映される。したがって、ユーザは、実際にスポーツを観戦したり、映画館で映画鑑賞したりするときに得られる一体感や臨場感に、より近い一体感、臨場感を得ることができる。
【００６５】
また、クライアント装置２１では、予め用意された盛り上がり効果がコンテンツに合成されるため、コンテンツの配信側において、コンテンツに特別な加工を施す必要もなく、既存のテレビジョン放送の番組等についても適用することができる。
【００６６】
［視聴情報生成処理と集約処理の説明］
さらに、ユーザによりコンテンツの視聴開始が指示され、上述した合成処理と配信処理が開始されると、クライアント装置２１およびサーバ２２では、これらの処理と並行して、視聴情報を生成する視聴情報生成処理と、視聴情報を集約して全視聴者視聴情報を生成する集約処理が行われる。
【００６７】
以下、図４のフローチャートを参照して、クライアント装置２１による視聴情報生成処理と、サーバ２２による集約処理について説明する。
【００６８】
ユーザによるコンテンツの視聴開始が指示されると、ステップＳ６１において、視聴者反応入力部３２は、クライアント装置２１近傍で、表示部３４を見ているユーザの視聴者反応情報を取得し、解析部６１および情報選択部６２に供給する。例えば、視聴者反応情報として、ユーザの映像や音声など、合成コンテンツを視聴しているときのユーザの反応を示す情報が取得される。
【００６９】
ステップＳ６２において、解析部６１は、視聴者反応入力部３２から供給された視聴者反応情報を用いて、盛り上がり情報を生成し、情報選択部６２に供給する。例えば、視聴者反応情報から得られるユーザの合成コンテンツの視聴時の動き量や、音声の音量の変化量などが盛り上がり情報として生成される。
【００７０】
ステップＳ６３において、情報選択部６２は、チューナ３１からのコンテンツ、視聴者反応入力部３２からの視聴者反応情報、および解析部６１からの盛り上がり情報を用いて、クライアント装置２１のユーザ個人についての視聴情報を生成する。
【００７１】
ステップＳ６４において、情報選択部６２は、生成した視聴情報を、ネットワークを介してサーバ２２に送信する。
【００７２】
そして、ステップＳ６５において、クライアント処理部３３は、視聴情報を生成してサーバ２２に送信する処理を終了するか否かを判定する。例えば、ユーザによりコンテンツの視聴の終了が指示された場合、つまり図３の合成処理が終了した場合、処理を終了すると判定される。
【００７３】
ステップＳ６５において、処理を終了しないと判定された場合、処理はステップＳ６１に戻り、上述した処理が繰り返される。すなわち、次の時刻におけるユーザの視聴者反応情報が取得され、新たな視聴情報が生成される。
【００７４】
これに対して、ステップＳ６５において、処理を終了すると判定された場合、クライアント装置２１は行なっている処理を停止し、視聴情報生成処理は終了する。
【００７５】
また、ステップＳ６４において、クライアント装置２１からサーバ２２に視聴情報が送信されると、ステップＳ８１において、サーバ２２は、クライアント装置２１から送信された視聴情報を受信する。
【００７６】
このとき、サーバ２２は、処理対象となっている所定のチャンネルのコンテンツを再生している全てのクライアント装置２１から、視聴情報を受信する。つまり、サーバ２２は、同じコンテンツを視聴している全ての視聴者から、盛り上がり情報を含む視聴情報の供給を受ける。
【００７７】
ステップＳ８２において、サーバ２２は、受信した視聴情報を用いて、所定のチャンネルのコンテンツについての全視聴者視聴情報を生成する。
【００７８】
例えば、サーバ２２は、コンテンツを特定するチャンネル情報、全視聴者の盛り上がりの度合いを示す平均盛り上がり情報、一部または全部の視聴者の視聴者反応情報からなる全視聴者視聴情報を生成する。ここで、平均盛り上がり情報は、例えば各クライアント装置２１から得られた盛り上がり情報の平均値などとされる。
【００７９】
このようにして生成された全視聴者視聴情報は、図３のステップＳ３１の処理において、所定チャンネルのコンテンツを再生している、全てのクライアント装置２１に送信される。
【００８０】
ステップＳ８３において、サーバ２２は、全視聴者視聴情報を生成する処理を終了するか否かを判定する。例えば、集約処理と並行して実行される図３の配信処理が終了した場合、終了すると判定される。
【００８１】
ステップＳ８３において、処理を終了しないと判定された場合、処理はステップＳ８１に戻り、上述した処理が繰り返される。すなわち、新たに受信された視聴情報に基づいて全視聴者視聴情報が生成される。
【００８２】
一方、ステップＳ８３において、処理を終了すると判定された場合、サーバ２２は行っている処理を停止し、集約処理は終了する。
【００８３】
このようにして、クライアント装置２１は、コンテンツの視聴中のユーザの反応を視聴者反応情報として取得し、視聴者反応情報を含む視聴情報をサーバ２２に送信する。これにより、リアルタイムで、コンテンツを視聴するユーザの反応に関する情報をサーバ２２に供給することができ、その結果、よりリアルな臨場感や一体感をユーザに与えることができるようになる。しかも、この場合、ユーザは、視聴の感想などのコンテンツに対する反応を何ら入力する必要はないので、ユーザのコンテンツの視聴が妨げられるようなこともない。
【００８４】
なお、以上においては、ユーザにより視聴されるコンテンツとして、テレビジョン放送される番組を例に説明したが、コンテンツは、その他、楽曲など、どのようなものであってもよい。また、コンテンツは、サーバ２２などから送信されてもよいし、インターネットやケーブルなど、任意の通信網を介してクライアント装置２１に送信することが可能である。
【００８５】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００８６】
図５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００８７】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【００８８】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【００８９】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【００９０】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【００９１】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【００９２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【００９３】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【００９４】
１１ コンテンツ視聴システム， ２１−１乃至２１−Ｎ，２１ クライアント装置， ２２ サーバ， ３１ チューナ， ３２ 視聴者反応入力部， ３３ クライアント処理部， ６１ 解析部， ６２ 情報選択部， ６４ 合成部
【特許請求の範囲】
【請求項１】
所定のコンテンツの視聴時における、前記コンテンツに対するユーザの反応を示す視聴者反応情報を取得する取得手段と、
前記視聴者反応情報に基づいて、前記コンテンツの視聴時における前記ユーザの盛り上がりの度合いを示す盛り上がり情報を生成する生成手段と、
前記盛り上がり情報を所定のサーバに送信する送信手段と、
前記サーバにおいて、複数のユーザの前記盛り上がり情報から生成された、前記コンテンツを視聴している複数のユーザの前記盛り上がりの度合いを示す全視聴者視聴情報を受信する受信手段と、
前記複数のユーザの前記盛り上がりの度合いを表現する映像または音声の少なくとも一方からなる盛り上がり効果のうち、前記全視聴者視聴情報により定まる盛り上がり効果を、前記コンテンツに合成し、前記盛り上がり効果が合成された前記コンテンツを出力する合成手段と
を備えるコンテンツ再生装置。
【請求項１】
所定のコンテンツの視聴時における、前記コンテンツに対するユーザの反応を示す視聴者反応情報を取得する取得手段と、
前記視聴者反応情報に基づいて、前記コンテンツの視聴時における前記ユーザの盛り上がりの度合いを示す盛り上がり情報を生成する生成手段と、
前記盛り上がり情報を所定のサーバに送信する送信手段と、
前記サーバにおいて、複数のユーザの前記盛り上がり情報から生成された、前記コンテンツを視聴している複数のユーザの前記盛り上がりの度合いを示す全視聴者視聴情報を受信する受信手段と、
前記複数のユーザの前記盛り上がりの度合いを表現する映像または音声の少なくとも一方からなる盛り上がり効果のうち、前記全視聴者視聴情報により定まる盛り上がり効果を、前記コンテンツに合成し、前記盛り上がり効果が合成された前記コンテンツを出力する合成手段と
を備えるコンテンツ再生装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−１８２１０９（Ｐ２０１１−１８２１０９Ａ）
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願番号】特願２０１０−４２８６６（Ｐ２０１０−４２８６６）
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年９月１５日（２０１１．９．１５）
【国際特許分類】
【出願日】平成２２年２月２６日（２０１０．２．２６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]