情報理装置および方法、プログラム、並びに情報処理システム
【課題】ユーザが、他の多くのユーザのコンテンツに対する反応をリアルタイムで知ることができるようにする。
【解決手段】クライアント１１はコンテンツを取得して再生するとともに、コンテンツの各場面に対するユーザの反応として発せられた音声を収音し、サーバ１２に送信する。サーバ１２は、各クライアント１１から受信した音声を、各ユーザの仮想会場における位置と音響特性に基づいて加工して加算し、反応音声を生成する。この反応音声は、サーバ１２から各クライアント１１に送信され、再生される。これにより、コンテンツを視聴するユーザは、他の多くのユーザのコンテンツに対する反応音声をリアルタイムで知ることができ、他のユーザと感動等の感情を共有することができる。本発明は、テレビジョン受像機に適用することができる。
【解決手段】クライアント１１はコンテンツを取得して再生するとともに、コンテンツの各場面に対するユーザの反応として発せられた音声を収音し、サーバ１２に送信する。サーバ１２は、各クライアント１１から受信した音声を、各ユーザの仮想会場における位置と音響特性に基づいて加工して加算し、反応音声を生成する。この反応音声は、サーバ１２から各クライアント１１に送信され、再生される。これにより、コンテンツを視聴するユーザは、他の多くのユーザのコンテンツに対する反応音声をリアルタイムで知ることができ、他のユーザと感動等の感情を共有することができる。本発明は、テレビジョン受像機に適用することができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報理装置および方法、プログラム、並びに情報処理システムに関し、特に、コンテンツによらず、ユーザが他の多くのユーザのコンテンツに対する反応をリアルタイムで知ることができるようにした情報理装置および方法、プログラム、並びに情報処理システムに関する。
【背景技術】
【０００２】
従来、スタジアムや街頭に大型の表示装置を設置し、映像でスポーツ観戦等を行なうパブリックビューイングが知られている。パブリックビューイングでは、多くのユーザが同じ場所で同じコンテンツを視聴するため、コンテンツの各場面で感動等の感情をリアルタイムで共有することができる。
【０００３】
ところが、このようなパブリックビューイングが行なわれるのは、例えばサッカーのワールドカップのような特定のコンテンツに限られている。そのため、他の殆どのコンテンツについては、ユーザは、別の場所にいる他のユーザが、コンテンツの視聴時にどのような反応をしているかをリアルタイムで知ることはできず、各場面で感情を共有することはできない。また、パブリックビューイングが行なわれていたとしても、ユーザはいちいちパブリックビューイングの会場まで出向かなければならず、不便であった。
【０００４】
ところで、携帯電話機等は双方向通信機能を有しており、この双方向通信機能を利用した技術が多く提案されている。例えば、そのような技術として、携帯電話機により受信局にアクセスし、利用者が発した音声に応じた動画像や音声を受信して再生することで、利用者の心を癒すカウンセリングシステムが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３１０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような双方向通信機能を利用して、受信局に他のユーザにより入力された文字データや音声データを記録させておけば、ユーザは、これらのデータを取得させて再生させることで、ユーザが視聴したコンテンツに対する他のユーザの反応を知ることができるようになると考えられる。
【０００７】
しかしながら、上述した技術では、ユーザは、他のユーザにより入力された文字等のデータを、受信局のガイドにしたがって、ユーザごとに１つずつ取得して再生しなければならず、その操作は面倒なものとなる。つまり、複数のユーザが入力した文字や音声のそれぞれを、同時に再生させることはできなかった。そのため、ユーザは、コンテンツの視聴時に、リアルタイムで異なる場所にいる他の多くのユーザの反応を同時に知ることはできず、コンテンツの各場面で他のユーザと感情を共有することはできなかった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、コンテンツによらず、ユーザが他の多くのユーザのコンテンツに対する反応をリアルタイムで知ることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の情報処理装置は、コンテンツの再生を制御する再生制御手段と、前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データを、前記通信網を介して受信する受信手段と、前記コンテンツの再生時において、受信した前記反応音声データに基づいて前記反応音声を出力する音声出力手段とを備える。
【００１０】
情報処理装置には、前記コンテンツの再生時において、周囲にいるユーザが前記コンテンツに対する反応として発した音声を収音する収音手段と、前記収音手段により収音された音声の音声データをＵＤＰパケットに格納し、前記通信網を介して前記サーバに送信する送信手段とをさらに設けることができる。
【００１１】
前記反応音声データは、複数のユーザからなるグループごとに生成することができる。
【００１２】
前記送信手段には、前記収音手段により収音された音声の音量が、所定の値以上である場合、前記収音手段により収音された音声の音声データを送信させることができる。
【００１３】
前記反応音声データは、前記反応音声の再生時において、前記音声処理が施された前記音声データの各音声が弁別できないように、前記音声処理が施された前記音声データを充分小さいゲインで加算することにより生成することができる。
【００１４】
前記送信手段には、前記収音手段により収音された音声の前記音声データとともに、前記コンテンツを示す情報を送信させ、前記サーバにおいて、同じ前記コンテンツを示す情報とともに送信されてきた前記音声データに基づいて、前記反応音声データが生成されるようにすることができる。
【００１５】
前記送信手段には、前記コンテンツに対して定められたＵＲＬにより特定される前記サーバに、前記音声データを送信させることができる。
【００１６】
前記音声出力手段には、前記コンテンツの再生時において、前記コンテンツの音声および前記反応音声を出力させることができる。
【００１７】
本発明の第１の側面の情報処理方法またはプログラムは、コンテンツの再生を制御し、前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データを、前記通信網を介して受信させ、前記コンテンツの再生時において、受信した前記反応音声データに基づいて、音声出力手段に前記反応音声を出力させるステップを含む。
【００１８】
本発明の第１の側面においては、コンテンツの再生が制御され、前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データが、前記通信網を介して受信され、前記コンテンツの再生時において、受信した前記反応音声データに基づいて、音声出力手段から前記反応音声が出力される。
【００１９】
本発明の第２の側面の情報処理装置は、コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データを受信する受信手段と、複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施す音声処理手段と、前記音声処理が施された複数の前記音声データを加算して、反応音声の反応音声データを生成する加算手段と、前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記装置に送信する送信手段とを備える。
【００２０】
前記加算手段には、複数のユーザからなるグループごとに異なる前記音声処理が施された前記音声データを加算させることで、前記グループごとに前記反応音声データを生成させることができる。
【００２１】
前記加算手段には、前記反応音声の再生時において、前記音声処理が施された前記音声データの各音声が弁別できないように、前記音声処理が施された前記音声データを充分小さいゲインで加算させることで、前記反応音声データを生成させることができる。
【００２２】
本発明の第２の側面の情報処理方法またはプログラムは、コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データを受信させ、複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算して、反応音声の反応音声データを生成し、前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記装置に送信させるステップを含む。
【００２３】
本発明の第２の側面においては、コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データが受信され、複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理が施され、前記音声処理が施された複数の前記音声データが加算されて、反応音声の反応音声データが生成され、前記反応音声データがＵＤＰパケットに格納され、前記通信網を介して前記装置に送信される。
【００２４】
本発明の第３の側面の情報処理システムは、通信網を介して接続されたクライアントとサーバとからなる情報処理システムであって、前記クライアントは、コンテンツの再生を制御する再生制御手段と、前記コンテンツの再生時において、周囲にいるユーザが前記コンテンツに対する反応として発した音声を収音する収音手段と、前記収音手段により収音された音声の音声データをＵＤＰパケットに格納し、前記通信網を介して前記サーバに送信する第１の送信手段と、複数の前記クライアントから送信された前記音声データに基づいて生成された反応音声の反応音声データを、前記サーバから受信する第１の受信手段と、前記コンテンツの再生時において、受信した前記反応音声データに基づいて前記反応音声を出力する音声出力手段とを備え、前記サーバは、前記クライアントから送信された、前記音声データを受信する第２の受信手段と、複数の前記クライアントから送信された前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施す音声処理手段と、前記音声処理が施された複数の前記音声データを加算して、前記反応音声データを生成する加算手段と、前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記クライアントに送信する第２の送信手段とを備える。
【００２５】
本発明の第３の側面においては、クライアントにより、コンテンツの再生が制御され、前記コンテンツの再生時において、周囲にいるユーザが前記コンテンツに対する反応として発した音声が収音され、収音された音声の音声データがＵＤＰパケットに格納されて、通信網を介してサーバに送信される。また、前記サーバにより、前記クライアントから送信された、前記音声データが受信され、複数の前記クライアントから送信された前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理が施され、前記音声処理が施された複数の前記音声データが加算されて、反応音声データが生成され、前記反応音声データがＵＤＰパケットに格納されて、前記通信網を介して前記クライアントに送信される。さらに、前記クライアントにより、前記反応音声データが受信されて再生され、反応音声が出力される。
【発明の効果】
【００２６】
本発明の第１の側面乃至第３の側面によれば、コンテンツによらず、ユーザは他の多くのユーザのコンテンツに対する反応をリアルタイムで知ることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明を適用した情報処理システムの一実施の形態の構成例を示す図である。
【図２】クライアントの構成例を示す図である。
【図３】サーバの構成例を示す図である。
【図４】再生処理を説明するフローチャートである。
【図５】配信処理を説明するフローチャートである。
【図６】インパルスレスポンスについて説明する図である。
【図７】クライアントの他の構成例を示す図である。
【図８】クライアントの他の構成例を示す図である。
【図９】情報処理システムの他の構成例を示す図である。
【図１０】情報処理システムの他の構成例を示す図である。
【図１１】再生処理を説明するフローチャートである。
【図１２】転送処理を説明するフローチャートである。
【図１３】配信処理を説明するフローチャートである。
【図１４】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２９】
〈第１の実施の形態〉
［情報処理システムの構成例］
図１は、本発明を適用した情報処理システムの一実施の形態の構成例を示す図である。この情報処理システムは、クライアント１１−１乃至クライアント１１−Ｎ、サーバ１２、および通信網１３から構成され、クライアント１１−１乃至クライアント１１−Ｎ、およびサーバ１２は、インターネット等からなる通信網１３を介して相互に接続されている。
【００３０】
クライアント１１−１乃至クライアント１１−Ｎは、各ユーザが所有するテレビジョン受像機、携帯電話機、パーソナルコンピュータ等からなり、コンテンツを取得して再生するとともに、コンテンツ視聴時におけるユーザの音声を収音し、サーバ１２に送信する。
【００３１】
なお、以下、クライアント１１−１乃至クライアント１１−Ｎを個々に区別する必要のない場合、単にクライアント１１とも称する。また、クライアント１１において再生されるコンテンツは、例えばテレビジョン放送番組、インターネット放送番組、ラジオ放送番組など、複数のクライアント１１が同時に再生可能なものであれば、どのようなものであってもよい。
【００３２】
サーバ１２は、クライアント１１から送信されてきた音声を受信し、これらの受信した音声に基づいて、同じコンテンツを視聴する多数のユーザのコンテンツに対する反応を表す音声（以下、反応音声とも称する）を生成する。そして、サーバ１２は生成した反応音声を、通信網１３を介して各クライアント１１に送信する。
【００３３】
例えば、サーバ１２では、各ユーザが仮想的なスタジアムなど、同じ場所（以下、仮想会場と称する）で１つのコンテンツを視聴しているものと仮定され、各ユーザの仮想会場での位置や音響特性が適宜加味されて、各ユーザの音声から反応音声が生成される。この反応音声は、例えば何百人や何万人等の多数のユーザの歓声や笑い、喝采などの声の集まりとなる。
【００３４】
クライアント１１は、サーバ１２から反応音声が送信されてくると、反応音声を受信して再生する。これにより、クライアント１１でコンテンツを視聴しているユーザは、コンテンツの視聴時に、他の多くのユーザがコンテンツの各場面で、どのような反応をしているかをリアルタイムで知ることができる。
【００３５】
［クライアントの構成例］
また、図１のクライアント１１は、例えば図２に示すように構成される。図２に示されるクライアント１１は、例えば、チューナを内蔵するパーソナルコンピュータやテレビジョン受像機などとされる。
【００３６】
クライアント１１は、取得部４１、画像再生制御部４２、表示部４３、音声再生制御部４４、音声出力部４５、収音部４６、送信制御部４７、送信部４８、受信部４９、入力部５０、および制御部５１から構成される。
【００３７】
取得部４１は、例えばチューナなどからなり、放送されているコンテンツを取得し、コンテンツを構成する画像（画像データ）および音声（音声データ）を、それぞれ画像再生制御部４２および音声再生制御部４４に供給する。
【００３８】
画像再生制御部４２は、取得部４１から供給された画像に対して、必要に応じてデコードなどの処理を行い、表示部４３に供給する。表示部４３は、例えば液晶ディスプレイなどからなり、画像再生制御部４２から供給された画像を表示する。
【００３９】
音声再生制御部４４は、取得部４１から供給された音声に対して、必要に応じてデコードなどの処理を行い、音声出力部４５に供給する。また、音声再生制御部４４は、受信部４９から反応音声が供給された場合、取得部４１から供給された音声に、反応音声を重畳させて音声出力部４５に供給する。音声出力部４５は、例えばスピーカなどからなり、音声再生制御部４４から供給された音声を出力する。
【００４０】
収音部４６は、例えばマイクロホンなどからなり、クライアント１１の周囲の音声を収音し、収音した音声（音声データ）を送信制御部４７に供給する。送信制御部４７は、収音部４６から供給された音声に必要に応じてエンコードなどの処理を施し、送信部４８に供給する。送信部４８は、送信制御部４７から供給された音声を、通信網１３を介してサーバ１２に送信する。
【００４１】
受信部４９は、通信網１３を介してサーバ１２から送信されてきた反応音声を受信し、音声再生制御部４４に供給する。入力部５０は、例えば赤外線信号の受光部やボタンなどからなり、ユーザの操作に応じた信号を制御部５１に供給する。制御部５１は、入力部５０からの信号に応じて、画像再生制御部４２、音声再生制御部４４、および送信制御部４７の動作を制御する。
【００４２】
［サーバの構成例］
さらに、図１のサーバ１２は、例えば図３に示すように構成される。
【００４３】
サーバ１２は、受信部８１、制御部８２、音声処理部８３−１乃至音声処理部８３−Ｍ、および送信部８４から構成される。
【００４４】
受信部８１は、通信網１３を介してクライアント１１から送信されてきた音声を受信し、制御部８２に供給する。制御部８２は、受信部８１から供給された音声を、音声処理部８３−１乃至音声処理部８３−Ｍに供給する。
【００４５】
音声処理部８３−１乃至音声処理部８３−Ｍは、制御部８２から供給された音声に基づいて反応音声を生成し、送信部８４に供給する。
【００４６】
例えば音声処理部８３−１は、演算部９１−１−１乃至演算部９１−Ｎ−１、および加算部９２−１を備えており、制御部８２から演算部９１−１−１乃至演算部９１−Ｎ−１には、それぞれクライアント１１−１乃至クライアント１１−Ｎからの音声が供給される。
【００４７】
演算部９１−１−１乃至演算部９１−Ｎ−１は、仮想会場の任意の２つの位置の間の音響特性を表すインパルスレスポンスを予め記録しており、制御部８２から供給された音声に対して、記録しているインパルスレスポンスを用いた畳み込み演算を行なう。演算部９１−１−１乃至演算部９１−Ｎ−１は、畳み込み演算により得られた音声を加算部９２−１に供給する。
【００４８】
加算部９２−１は、演算部９１−１−１乃至演算部９１−Ｎ−１から供給された音声を加算し、その結果得られた１つの音声を反応音声として送信部８４に供給する。
【００４９】
同様に、音声処理部８３−ｍ（但し、２≦ｍ≦Ｍ）は、演算部９１−１−ｍ乃至演算部９１−Ｎ−ｍ、および加算部９２−ｍを備えている。これらの演算部９１−１−ｍ乃至演算部９１−Ｎ−ｍ、および加算部９２−ｍは、演算部９１−１−１乃至演算部９１−Ｎ−１および加算部９２−１と同様の動作を行なう。
【００５０】
なお、以下、演算部９１−ｎ−ｍ（但し、１≦ｎ≦Ｎ，１≦ｍ≦Ｍ）を個々に区別する必要のない場合、単に演算部９１−ｎとも称し、演算部９１−１乃至演算部９１−Ｎを個々に区別する必要のない場合、単に演算部９１とも称する。
【００５１】
また、以下、加算部９２−１乃至加算部９２−Ｍを個々に区別する必要のない場合、単に加算部９２とも称し、音声処理部８３−１乃至音声処理部８３−Ｍを個々に区別する必要のない場合、単に音声処理部８３とも称する。
【００５２】
送信部８４は、音声処理部８３から供給された反応音声を、通信網１３を介してクライアント１１に送信する。
【００５３】
例えば、同じコンテンツを視聴しているユーザがＮ人であり、サーバ１２にＮ個の音声処理部８３が設けられているとする。すなわち、Ｍ＝Ｎであり、クライアント１１−１乃至クライアント１１−Ｎから音声が送信されてきたとする。
【００５４】
そのような場合、例えば、音声処理部８３−１乃至音声処理部８３−Ｎのそれぞれは、クライアント１１からの音声に基づいて、クライアント１１−１乃至クライアント１１−Ｎに対して送信される反応音声を生成する。そして、送信部８４は、生成されたＮ個の反応音声を、それぞれクライアント１１−１乃至クライアント１１−Ｎに送信する。つまり、この例では、Ｎ個のクライアント１１ごとに、反応音声が生成される。
【００５５】
［再生処理の説明］
ところで、クライアント１１を所有するユーザが、クライアント１１を操作してコンテンツの再生を指示すると、クライアント１１は、その指示に応じて再生処理を開始し、ユーザにより指定されたコンテンツを再生する。
【００５６】
以下、図４のフローチャートを参照して、クライアント１１による再生処理について説明する。
【００５７】
ステップＳ１１において、取得部４１は、ユーザにより指定されたコンテンツを取得する。そして、取得部４１は、取得したコンテンツを構成する画像データを画像再生制御部４２に供給し、コンテンツを構成する音声データを音声再生制御部４４に供給する。例えば、コンテンツとして、テレビジョン放送された番組のデータが取得される。なお、コンテンツは、画像または音声の何れか一方からなるものであってもよい。
【００５８】
ステップＳ１２において、クライアント１１は、コンテンツの再生を開始する。具体的には、画像再生制御部４２は、取得部４１から供給された画像データを表示部４３に供給して、表示部４３に画像を表示させ、音声再生制御部４４は、取得部４１から供給された音声データを音声出力部４５に供給して、音声出力部４５に音声を出力させる。
【００５９】
これにより、クライアント１１において、ユーザにより指定されたコンテンツが再生されるので、ユーザは、再生されたコンテンツを視聴する。すると、コンテンツの各場面でユーザは、コンテンツに対する反応を示し、その反応として歓声や笑い声などを発する。このようにしてユーザにより発せられた、コンテンツに対する反応の音声は、収音部４６に到達する。
【００６０】
ステップＳ１３において、収音部４６は、ユーザから発せられた音声を収音し、これにより得られた音声データを送信制御部４７に供給する。送信制御部４７は、収音部４６から供給された音声データを送信部４８に供給する。
【００６１】
なお、収音部４６により収音された音声は、常に送信部４８からサーバ１２に送信されるようにしてもよいし、所定の音量以上である場合にのみ音声が送信されるようにしてもよい。
【００６２】
例えば、所定の音量以上であるときにのみ音声が送信される場合、送信制御部４７は、収音部４６から供給された音声の音量が、予め定めた閾値以上であるか否かを判定する。そして、送信制御部４７は、音声の音量が閾値以上である場合にのみ、収音部４６からの音声を送信部４８に供給し、サーバ１２に送信させる。したがって、例えばユーザのコンテンツに対する反応の音声のうち、ほぼ無音に近い区間の音声は送信されないことになる。
【００６３】
このように、ユーザのコンテンツに対する反応が小さく、収音部４６で収音される音声の音量が小さい場合には、収音された音声をサーバ１２に送信しないようにすることで、クライアント１１やサーバ１２における処理の負荷を軽減させることができる。また、通信網１３におけるトラフィック量が無駄に多くなることを抑制することができる。
【００６４】
ステップＳ１４において、送信部４８は、送信制御部４７から供給された音声データを、通信網１３を介してサーバ１２に送信する。
【００６５】
例えば、送信部４８は、ユーザの音声データを、UDP（User Datagram Protocol）パケットに格納して送信する。つまり、送信部４８は、UDPにしたがってコネクションレスでサーバ１２と通信を行う。
【００６６】
通信プロトコルとしてUDPを採用すれば、TCP（Transmission Control Protocol）などを用いる場合と比べて、音声の伝送の遅延を低下させるとともに、通信処理の負荷を軽減させることができる。なお、UDPでは、TCPよりも信頼性が低くなるが、反応音声を生成するにあたり、ユーザ一人ひとりの音声は重要ではなく、各ユーザの音声は弁別できないようにすることが好ましいため、サーバ１２に送信されるパケット（音声）は、必ずしも高い信頼性で伝送される必要はない。
【００６７】
このようにして、各クライアント１１からサーバ１２に対して音声データが送信されると、サーバ１２は、それらのクライアント１１から受信した音声データを用いて、反応音声の音声データを生成し、各クライアント１１に送信してくる。
【００６８】
ステップＳ１５において、受信部４９は、サーバ１２から送信されてきた反応音声、より詳細には反応音声の音声データが格納されたパケットを受信し、音声再生制御部４４に供給する。例えば反応音声は、UDPパケットに格納されてサーバ１２から送信されてくる。
【００６９】
ステップＳ１６において、音声出力部４５は、反応音声を出力する。すなわち、音声再生制御部４４は、受信部４９から反応音声の音声データが供給されると、その音声データに対し、適宜デコードなどの処理を施す。
【００７０】
そして、音声再生制御部４４は、反応音声の音声データを、取得部４１から供給されるコンテンツの音声データに加算して、音声出力部４５に供給する。音声出力部４５は、音声再生制御部４４から供給された音声データに基づいて、音声を出力する。これにより、音声出力部４５からは、コンテンツの音声とともに、そのコンテンツに対する他の多くのユーザの反応である反応音声が出力される。
【００７１】
このようにクライアント１１では、コンテンツの再生中に、コンテンツの各場面に対する多数のユーザの反応音声が出力されるので、ユーザは、コンテンツの視聴中に、リアルタイムで他のユーザの反応を知ることができる。
【００７２】
ステップＳ１７において、クライアント１１は、処理を終了するか否かを判定する。例えば、ユーザによりコンテンツの再生終了が指示された場合、処理を終了すると判定される。ステップＳ１７において、処理を終了しないと判定された場合、処理はステップＳ１３に戻り、上述した処理が繰り返される。すなわち、コンテンツの再生が継続して行なわれ、コンテンツの音声に、サーバ１２から受信した反応音声が重畳されて再生される。
【００７３】
これに対して、ステップＳ１７において、処理を終了すると判定された場合、クライアント１１はサーバ１２との通信を終了するとともに、コンテンツの再生を停止して、再生処理は終了する。
【００７４】
以上のように、クライアント１１は、コンテンツを再生するとともに、そのコンテンツに対する他の多くのユーザの反応である反応音声をサーバ１２から受信し、コンテンツの音声とともに反応音声を出力する。
【００７５】
これにより、再生するコンテンツによらず、ユーザに、他の多くのユーザのコンテンツに対する反応をリアルタイムで知らせることができ、あたかも同じ場所で多くのユーザと一緒にコンテンツを視聴しているように感じさせることができる。したがって、ユーザは、コンテンツの各場面で他のユーザと感情を共有することができ、よりコンテンツの視聴を楽しむことができる。
【００７６】
例えば、この情報処理システムによれば、全く別の場所にいる知らないユーザが、同じコンテンツを視聴して感動し、それを声にすることにより、各ユーザは、同じ場面で声をあげたユーザ達のたくさんの声を聞くことができ、感動を共有することができる。
【００７７】
なお、以上においては、ユーザのコンテンツに対する反応として発せられた音声が、各クライアント１１からサーバ１２に送信されると説明したが、ユーザの音声をサーバ１２に送信するか否かを、ユーザが設定できるようにしてもよい。そのような場合、例えば音声が送信されない設定とされると、コンテンツの再生中に、送信部４８からユーザの音声は送信されないが、受信部４９ではサーバ１２からの反応音声が受信されて、コンテンツとともに反応音声が再生される。
【００７８】
［配信処理の説明］
また、図４の再生処理が行われて、複数のクライアント１１から音声が送信されてくると、サーバ１２は、配信処理を開始して、反応音声を各クライアント１１に送信する。以下、図５のフローチャートを参照して、サーバ１２による配信処理について説明する。
【００７９】
ステップＳ４１において、受信部８１は、通信網１３を介してクライアント１１から送信されてきた音声を受信し、制御部８２に供給する。これにより、制御部８２には、クライアント１１−１乃至クライアント１１−Ｎのそれぞれから受信された音声が供給される。
【００８０】
ステップＳ４２において、制御部８２は、受信部８１から供給された音声に対し、必要に応じてデコード等の処理を施し、音声を分配する。
【００８１】
例えば、クライアント１１−１乃至クライアント１１−Ｎからサーバ１２に音声が送信され、ユーザ（クライアント１１）ごとに反応音声が生成されるとする。そのような場合、音声処理部８３−１乃至音声処理部８３−Ｎにより、それぞれクライアント１１−１乃至クライアント１１−Ｎに送信される反応音声が生成される。この場合、例えば制御部８２は、クライアント１１−１乃至クライアント１１−Ｎからの音声のそれぞれを、各音声処理部８３の演算部９１−１乃至演算部９１−Ｎに供給する。
【００８２】
ステップＳ４３において、演算部９１は、制御部８２から供給された音声（音声データ）に対して、予め記録しているインパルスレスポンスを用いた畳み込み演算を行ない、加算部９２に供給する。そして、ステップＳ４４において、加算部９２は、演算部９１−１乃至演算部９１−Ｎから供給された音声を加算して反応音声の音声データを生成し、送信部８４に供給する。なお、生成された反応音声の音声データには、必要に応じて加算部９２により、エンコード等の処理が施される。
【００８３】
例えば、図６の左側に示すように、仮想会場Ｒ１１に４人のユーザＵ１乃至ユーザＵ４が配置されていると仮定され、これらのユーザＵ１乃至ユーザＵ４が所有するクライアント１１−１乃至クライアント１１−４からサーバ１２に音声が送信されてきたとする。
【００８４】
図６の例では、ユーザＵ２は、仮想会場Ｒ１１の中央に位置しており、ユーザＵ２を囲むようにユーザＵ１、ユーザＵ３、およびユーザＵ４が配置されている。このような場合、ユーザＵ２には、ユーザＵ２自身が発した音声の他、ユーザＵ１、ユーザＵ３、およびユーザＵ４のそれぞれから発せられた音声が聞こえるはずである。
【００８５】
したがって、各ユーザからの音声を、そのユーザの位置からユーザＵ２までの間の音響特性に応じて加工し、加工された各音声を加算することで、仮想会場Ｒ１１にいるユーザＵ２に聞こえる反応音声を得ることができる。
【００８６】
ここで、ユーザＵ１からユーザＵ２へと伝わる音声の音響特性を表すインパルスレスポンスをｈ１２とし、ユーザＵ３からユーザＵ２へと伝わる音声の音響特性を表すインパルスレスポンスをｈ３２とする。また、ユーザＵ４からユーザＵ２へと伝わる音声の音響特性を表すインパルスレスポンスをｈ４２とし、ユーザＵ２からユーザＵ２自身へと伝わる音声の音響特性を表すインパルスレスポンスをｈ２２とする。
【００８７】
また、図中、右側に示すように演算部９１−１乃至演算部９１―４に、それぞれインパルスレスポンスｈ１２、ｈ３２、ｈ４２、およびｈ２２が記録されているとする。この場合、ユーザＵ１、Ｕ３、Ｕ４、およびＵ２の音声、つまりそれらのユーザのクライアント１１から送信されてきた音声データが、演算部９１−１乃至演算部９１−４に供給される。
【００８８】
すると、演算部９１−１は、ユーザＵ１の音声データを、インパルスレスポンスｈ１２で畳み込み、その結果得られた音声データを加算部９２に供給する。同様に、演算部９１−２乃至演算部９１−４も、ユーザＵ３、Ｕ４、およびＵ２の音声データを、インパルスレスポンスｈ３２、ｈ４２、およびｈ２２で畳み込み、これにより得られた音声データを加算部９２に供給する。
【００８９】
そして、加算部９２は、演算部９１−１乃至演算部９１−４から供給された音声データを加算することで、ユーザＵ２のクライアント１１に送信される反応音声の音声データを生成する。この反応音声は、仮想会場Ｒ１１にいるユーザＵ２に聞こえる、歓声等の各ユーザの音声である。
【００９０】
なお、反応音声の生成時において、加算される各ユーザの音声データは、各ユーザの声が弁別できない程度に充分小さいゲインで加算される。つまり、反応音声を再生したときに、各ユーザの音声が弁別できなくなるように、充分小さいゲインで、各音声データが加算される。これは、ユーザの中には、人に聞かせるには好ましくないことを発言する人がいる場合もあり得るためである。このように、一人ひとりの声を弁別できない程度に小さくし、それらの音声を加算することで、多数のユーザの歓声や笑い声の集まりを反応音声として得ることができる。
【００９１】
各音声処理部８３では、各ユーザの仮想会場Ｒ１１での位置により定まる音響特性に応じて、それらのユーザの音声に音声処理が施され、音声処理された音声が加算されて、ユーザごとの反応音声とされる。
【００９２】
なお、仮想会場Ｒ１１における各ユーザの位置は、例えば制御部８２により無作為に定められる。制御部８２は、定められた各ユーザの位置に応じて、各ユーザの音声データを、各音声処理部８３の演算部９１に供給する。また、各演算部９１に予め定められたユーザの音声が供給されるようにし、演算部９１が供給されたユーザの仮想会場Ｒ１１の位置に応じたインパルスレスポンスを生成するようにしてもよい。
【００９３】
図５のフローチャートの説明に戻り、各ユーザに送信される反応音声が生成され、それらの反応音声の音声データが加算部９２から送信部８４に供給されると、処理はステップＳ４４からステップＳ４５へと進む。
【００９４】
ステップＳ４５において、送信部８４は、加算部９２から供給された各ユーザの反応音声の音声データを、それらのユーザのクライアント１１に送信する。例えば反応音声は、クライアント１１によるユーザの音声の送信時と同様に、UDPパケットに格納されて送信される。
【００９５】
ステップＳ４６において、サーバ１２は、処理を終了するか否かを判定する。例えば、コンテンツの放送が終了した場合、処理を終了すると判定される。
【００９６】
ステップＳ４６において、処理を終了しないと判定された場合、処理はステップＳ４１に戻り、上述した処理が繰り返される。これに対して、ステップＳ４６において、処理を終了すると判定された場合、配信処理は終了する。
【００９７】
以上のようにして、サーバ１２は、各クライアント１１から送信されてきた音声を、ユーザの仮想会場における位置に応じた音響特性で加工して加算し、多数のユーザのコンテンツに対する反応である反応音声を生成する。そして、サーバ１２は、生成した反応音声を各クライアント１１に送信する。
【００９８】
これにより、コンテンツを視聴しているユーザに対して、他の多くのユーザのコンテンツに対する反応をリアルタイムで配信することができ、ユーザに、他の多くのユーザと同じ会場でコンテンツを視聴しているかのような臨場感を与えることができる。その結果、ユーザは、コンテンツの各場面で他のユーザと感情を共有することができ、よりコンテンツの視聴を楽しむことができる。
【００９９】
なお、以上においては、ユーザごとに反応音声を生成すると説明したが、ユーザをいくつかのグループに分けて、それらのグループごとに反応音声が生成されるようにしてもよい。そのような場合、ユーザが所有するクライアント１１に対して、そのユーザが属すグループの反応音声が送信される。
【０１００】
例えば、ユーザごとに反応音声を生成する場合、コンテンツを視聴しているユーザが１万人いると、１人のユーザの反応音声を生成するのに必要な音声の畳み込み演算が１万回であるから、サーバ１２全体で合計１万×１万回の畳み込み演算が必要となる。
【０１０１】
そこで、ユーザをグループ分けし、各グループに対して１つの反応音声を生成したり、各ユーザに対して同じインパルスレスポンスを用いたりすれば、サーバ１２における演算量を低減させることができる。
【０１０２】
例えば、ユーザのグループ分けとしては、仮想会場がコンサートホールである場合に、会場の１階席のユーザと２階席のユーザの２つのグループに分けることが考えられる。
【０１０３】
この場合、制御部８２は、無作為、または予め記録しているユーザの情報に基づいて、ユーザを会場の１階席のグループ、または２階席のグループに分け、グループごとに反応音声を生成させる。
【０１０４】
このとき、制御部８２は、例えば１階席のグループに属す各ユーザについて、１階席のなかから無作為にユーザの座席位置を選択し、同様に２階席のグループに属す各ユーザについて、２階席のなかから無作為にユーザの座席位置を選択する。そして、制御部８２は各ユーザの座席位置に応じて、ユーザの音声を音声処理部８３の各演算部９１に分配する。
【０１０５】
例えば、１階席のグループの反応音声を生成する音声処理部８３の各演算部９１は、供給されたユーザの音声に対して、そのユーザの座席位置から、１階の特定の座席位置までの音響特性を表すインパルスレスポンスを用いて、音声の畳み込みを行なう。そして、加算部９２は、各演算部９１から供給された音声を加算して、１階席のグループの反応音声とする。
【０１０６】
このようにして得られた１階席のグループの反応音声は、実際には仮想会場の１階の特定の座席にいるユーザに聞こえる各ユーザの音声であるが、この反応音声が、１階席にいる各ユーザに聞こえる反応音声であるとされる。そして、この反応音声は、１階席のグループに属す各ユーザのクライアント１１に対して送信される。
【０１０７】
なお、以上においては、制御部８２によりユーザが属すグループが定められると説明したが、どのグループに属すかをユーザ自身が決められるようにしてもよい。
【０１０８】
そのような場合、例えばユーザは、クライアント１１の入力部５０を操作して、仮想会場における自分の座席位置を指定する。例えば、コンサートホールにおける１階席または２階席の何れかがユーザにより指定される。
【０１０９】
すると、制御部５１は、ユーザにより指定されたグループを示す情報を送信制御部４７に供給する。例えば、グループを示す情報は、１階席を示す情報などとされる。送信制御部４７は、制御部５１から供給されたグループを示す情報を、収音部４６から供給された音声データに付加して送信部４８に供給する。
【０１１０】
このようにして、グループを示す情報が付加された音声データが、図４のステップＳ１４でサーバ１２に送信される。サーバ１２では、グループを示す情報が付加された音声データが受信されると、制御部８２が、音声データに付加されたグループを示す情報に基づいて、各ユーザのグループ分けを行なう。なお、グループを示す情報は、音声データとは別に送信されるようにしてもよい。
【０１１１】
また、グループ分けの他の例としては、例えば、出演者が紅組と白組に分かれて歌合戦をする番組などがコンテンツとして再生される場合に、紅組を応援するユーザと白組を応援するユーザの２つのグループに分けることなども考えられる。この場合、白組のグループのユーザに対しては、白組のグループに属すユーザの音声が、紅組のグループのユーザの音声よりも、より大きく聞こえるような反応音声が生成されるようにすることができる。
【０１１２】
［クライアントの他の構成例１］
さらに、以上においては、クライアント１１は例えば図２に示す構成とされると説明したが、クライアント１１は、コンテンツの再生が可能であり、かつサーバ１２からの反応音声が出力できる装置であれば、どのような構成であってもよい。
【０１１３】
例えば、クライアント１１は、図７に示すように、コンテンツの音声と、反応音声とが異なる音声出力部から出力されるような構成とされてもよい。なお、図７において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１４】
図７のクライアント１１は、図２のクライアント１１に対して、さらに音声再生制御部１２１および音声出力部１２２が設けられている点で異なり、その他の点では図２のクライアント１１と同じ構成となっている。
【０１１５】
図７のクライアント１１では、サーバ１２から受信された反応音声の音声データは、受信部４９から音声再生制御部１２１に供給される。音声再生制御部１２１は、制御部５１の制御にしたがって反応音声の音声データに対して、適宜デコード等の処理を施し、音声出力部１２２に供給する。音声出力部１２２は、例えばスピーカなどからなり、音声再生制御部１２１から供給された音声データに基づいて、反応音声を出力する。
【０１１６】
このように、図７のクライアント１１では、コンテンツの音声は音声出力部４５から出力され、反応音声は音声出力部１２２から出力される。
【０１１７】
［クライアントの他の構成例２］
また、クライアント１１は、例えば図８に示す構成とされてもよい。なお、図８において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１８】
図８のクライアント１１は、図２のクライアント１１に対して、さらに通話処理部１５１、収音部１５２、および通信部１５３が設けられている点で異なり、その他の点では図２のクライアント１１と同じ構成となっている。
【０１１９】
図８のクライアント１１は、例えばチューナ内蔵型の携帯電話機などからなり、通信網を介して他の携帯電話機との通話処理を行う。
【０１２０】
すなわち、収音部１５２は、クライアント１１を所持するユーザが発話すると、その音声を収音し、得られた音声データを通話処理部１５１に供給する。通話処理部１５１は、収音部１５２からの音声データを通信部１５３に供給し、通信部１５３は、その音声データを、通信網を介して通話相手の携帯電話機に送信する。
【０１２１】
また、通信部１５３は、通話相手の携帯電話機から送信されてきた音声データを受信し、通話処理部１５１に供給する。通話処理部１５１は、通信部１５３から供給された音声データを、音声再生制御部４４を介して音声出力部４５に供給し、音声を出力させる。
【０１２２】
〈第２の実施の形態〉
［情報処理システムの構成例］
さらに、図１では、通信網１３に１つのサーバ１２のみが接続されている例について説明したが、通信網１３に複数のサーバが接続されるようにしてもよい。
【０１２３】
例えば、図９に示すように、コンテンツごとにサーバが設けられ、それらのサーバが通信網１３に接続されるようにしてもよい。なお、図９において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１２４】
図９の情報処理システムでは、通信網１３には、クライアント１１と、サーバ１２、サーバ１８１、およびサーバ１８２が接続されている。これらのサーバ１２、サーバ１８１、およびサーバ１８２は、互いに異なるコンテンツについて、クライアント１１から受信した音声に基づいて反応音声を生成し、反応音声を各クライアント１１に送信する。
【０１２５】
ここで、例えば各コンテンツには、予めサーバ１２、サーバ１８１、またはサーバ１８２の何れかにアクセスするためのURL（Uniform Resource Locator）が対応付けられている。つまり、サーバ１２、サーバ１８１、およびサーバ１８２のうち、コンテンツに対応付けられたURLにより特定されるサーバが、そのコンテンツについての反応音声を生成する処理を行うサーバである。
【０１２６】
例えば、各コンテンツに対応付けられたURLは、ユーザによる入力部５０の操作によって直接入力されてもよいし、取得部４１によりコンテンツの放送波から抽出され、制御部５１に供給されるようにしてもよい。
【０１２７】
クライアント１１は、視聴中のコンテンツについて反応音声を受信しようとする場合、サーバ１２、サーバ１８１、およびサーバ１８２のうち、そのコンテンツに対応付けられているURLにより特定されるサーバにアクセスする。すなわち、送信制御部４７は、制御部５１からの指示にしたがって送信部４８を制御し、URLにより特定されるサーバに、収音部４６で収音された音声を送信させる。また、受信部４９は、URLにより特定されるサーバから反応音声を受信し、音声再生制御部４４を介して音声出力部４５に反応音声を供給する。
【０１２８】
この例では、クライアント１１により行なわれる再生処理は、アクセス先がURLにより定まるだけで、再生処理として図４を参照して説明した処理と同様の処理が行われる。また、サーバ１８１およびサーバ１８２も図３のサーバ１２と同様の構成とされ、サーバ１２、サーバ１８１、およびサーバ１８２は、図５を参照して説明した配信処理と同様の処理を行う。
【０１２９】
〈第３の実施の形態〉
［情報処理システムの構成例］
また、URLにより特定のサーバ１２等にアクセスするのではなく、コンテンツを特定するコンテンツＩＤ等により、クライアント１１からの音声が適切なサーバ１２等に転送されるようにしてもよい。
【０１３０】
そのような場合、情報処理システムは、例えば図１０に示すように構成される。なお、図１０において、図９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１３１】
図１０の情報処理システムでは、通信網１３には、クライアント１１と分配装置２１１とが接続され、さらに分配装置２１１には、サーバ１２、サーバ１８１、およびサーバ１８２が接続されている。
【０１３２】
この例では、各クライアント１１は、ユーザのコンテンツに対する反応を収音して得られた音声とともに、コンテンツを特定するコンテンツＩＤを分配装置２１１に送信する。このコンテンツＩＤは、例えばテレビジョン放送のチャンネル番号などとされる。
【０１３３】
分配装置２１１は、各コンテンツについて、コンテンツのコンテンツＩＤと、そのコンテンツの反応音声を生成するサーバを示す情報とを予め対応付けて記録しており、スイッチとして機能する。すなわち、分配装置２１１は、クライアント１１から音声とコンテンツＩＤが送信されてくると、これらを受信し、サーバ１２、サーバ１８１、およびサーバ１８２のうち、受信したコンテンツＩＤにより特定されるサーバに、クライアント１１からの音声を送信する。
【０１３４】
また、分配装置２１１は、サーバ１２、サーバ１８１、およびサーバ１８２から送信されてきた各コンテンツの反応音声を受信し、それらのコンテンツのコンテンツＩＤを送信してきたクライアント１１に対して反応音声を送信する。
【０１３５】
［再生処理の説明］
次に、図１０の情報処理システムを構成する各装置により行われる処理について説明する。まず、図１１のフローチャートを参照して、図２のクライアント１１により行われる再生処理について説明する。なお、ステップＳ７１乃至ステップＳ７３の処理は、図４のステップＳ１１乃至ステップＳ１３の処理と同様であるので、その説明は省略する。
【０１３６】
ステップＳ７４において、送信部４８は、送信制御部４７から供給されたコンテンツＩＤおよび音声をUDPパケットに格納し、通信網１３を介して分配装置２１１に送信する。
【０１３７】
ここで、分配装置２１１に送信されるコンテンツＩＤは、例えば入力部５０の操作により入力されたり、取得部４１によりコンテンツの放送波から抽出されたりする。制御部５１は、入力部５０または取得部４１から、ユーザが視聴しているコンテンツのコンテンツＩＤを取得し、送信制御部４７に供給する。
【０１３８】
送信制御部４７は、制御部５１から供給されたコンテンツＩＤを、収音部４６からの音声とともに送信部４８に供給する。なお、コンテンツＩＤが収音部４６で収音された音声に付加されるようにしてもよい。
【０１３９】
このようにしてクライアント１１からコンテンツＩＤと音声が送信されると、これらのコンテンツＩＤと音声は、分配装置２１１によりサーバ１２、サーバ１８１、またはサーバ１８２の何れかに転送される。そして、コンテンツＩＤと音声の転送先によって、コンテンツに対する反応音声が生成され、その反応音声は、分配装置２１１を介してクライアント１１に送信されてくる。
【０１４０】
ステップＳ７５において、受信部４９は、分配装置２１１から送信されてきた反応音声を受信して、音声再生制御部４４に供給する。そして、その後、ステップＳ７６およびステップＳ７７の処理が行われて再生処理は終了するが、これらの処理は図４のステップＳ１６およびステップＳ１７と同様であるので、その説明は省略する。
【０１４１】
［転送処理の説明］
次に、図１２のフローチャートを参照して、図１０の分配装置２１１により行なわれる転送処理について説明する。
【０１４２】
ステップＳ１０１において、分配装置２１１は、クライアント１１から送信されてきたコンテンツＩＤおよび音声を受信する。そして、ステップＳ１０２において、分配装置２１１は、サーバ１２、サーバ１８１、およびサーバ１８２のうち、受信したコンテンツＩＤにより特定されるサーバを選択する。
【０１４３】
ステップＳ１０３において、分配装置２１１は、ステップＳ１０２で選択したサーバに対して、クライアント１１から受信したコンテンツＩＤおよび音声を送信する。これにより、同じコンテンツを再生しているクライアント１１からの音声が、同じサーバに送信されることになる。
【０１４４】
サーバ１２等にコンテンツＩＤと音声が送信されると、これを受信したサーバ１２等は、受信した音声に基づいて反応音声を生成し、分配装置２１１に送信してくる。
【０１４５】
ステップＳ１０４において、分配装置２１１は、サーバ１２等から送信されてきた反応音声を受信する。そして、ステップＳ１０５において、分配装置２１１は、受信した反応音声をUDPパケットに格納し、通信網１３を介してクライアント１１に送信する。例えば、サーバ１２から受信した反応音声は、サーバ１２に対応付けられたコンテンツＩＤを送信してきたクライアント１１に送信される。
【０１４６】
ステップＳ１０６において、分配装置２１１は処理を終了するか否かを判定する。例えば、コンテンツの放送が終了した場合、処理を終了すると判定される。
【０１４７】
ステップＳ１０６において、処理を終了しないと判定された場合、処理はステップＳ１０１に戻り、上述した処理が繰り返される。これに対して、ステップＳ１０６において、処理を終了すると判定された場合、転送処理は終了する。
【０１４８】
このようにして、分配装置２１１は、各クライアント１１から送信されてきた音声を、音声とともに送信されてきたコンテンツＩＤにより特定されるサーバに送信し、これに応じてサーバから送信されてきた反応音声を、クライアント１１に送信する。したがって、複数のサーバで異なるコンテンツの反応音声が生成されている場合においても、異なるコンテンツに対する反応の音声が、１つの反応音声に混在してしまうようなことを防止することができる。
【０１４９】
［配信処理の説明］
さらに、図１３のフローチャートを参照して、図１０のサーバ１２により行われる配信処理について説明する。
【０１５０】
ステップＳ１３１において、受信部８１は、分配装置２１１から送信されてきたコンテンツＩＤおよび音声を受信して、制御部８２に供給する。そして、その後、ステップＳ１３２乃至ステップＳ１３４の処理が行われて、コンテンツの反応音声が生成されるが、これらの処理は図５のステップＳ４２乃至ステップＳ４４と同様であるので、その説明は省略する。
【０１５１】
ステップＳ１３５において、送信部８４は、加算部９２から供給された反応音声を、分配装置２１１に送信する。そして、その後、ステップＳ１３６の処理が行われて配信処理は終了するが、ステップＳ１３６の処理は、図５のステップＳ４６の処理と同様であるので、その説明は省略する。
【０１５２】
このようにして、サーバ１２は、分配装置２１１から送信されてきた音声に基づいて、反応音声を生成する。なお、図１０のサーバ１８１およびサーバ１８２も、図１３の配信処理と同様の処理を行う。
【０１５３】
また、以上においては、１つの反応音声は、１つのサーバ（例えば、サーバ１２）により生成されると説明したが、複数のサーバにより１つの反応音声が生成されるようにしてもよい。
【０１５４】
そのような場合、例えば最終的な反応音声を生成するサーバに、複数のサブサーバが接続される。サブサーバは、複数のクライアント１１から音声を受信して、仮の反応音声を生成し、サーバに送信する。そして、サーバは、複数のサブサーバから受信した仮の反応音声を加算することで、最終的な反応音声を生成し、反応音声を各サブサーバに送信する。さらに、サブサーバは、サーバから受信した反応音声を、各クライアント１１に送信する。
【０１５５】
このように、複数のサブサーバとサーバにより反応音声を生成すれば、より迅速に反応音声を生成することができるようになり、コンテンツに対する反応音声の遅延をより少なくすることができる。なお、いくつかのサブサーバからの仮の反応音声を受信して、それらの仮の反応音声を加算し、その結果得られた仮の反応音声をサーバに送信するサブサーバがさらに設けられてもよい。
【０１５６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１５７】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１５８】
コンピュータにおいて、CPU３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１５９】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１６０】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６１】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１６２】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０１６３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１６５】
１１−１乃至１１−Ｎ，１１ クライアント， １２ サーバ， ４１ 取得部， ４４ 音声再生制御部， ４５ 音声出力部， ４６ 収音部， ４７ 送信制御部， ４８ 送信部， ４９ 受信部， ８１ 受信部， ８２ 制御部， ８４ 送信部， ９１−１−１乃至９１−Ｎ−Ｍ，９１ 演算部， １８１ サーバ， １８２ サーバ， ２１１ 分配装置
【技術分野】
【０００１】
本発明は情報理装置および方法、プログラム、並びに情報処理システムに関し、特に、コンテンツによらず、ユーザが他の多くのユーザのコンテンツに対する反応をリアルタイムで知ることができるようにした情報理装置および方法、プログラム、並びに情報処理システムに関する。
【背景技術】
【０００２】
従来、スタジアムや街頭に大型の表示装置を設置し、映像でスポーツ観戦等を行なうパブリックビューイングが知られている。パブリックビューイングでは、多くのユーザが同じ場所で同じコンテンツを視聴するため、コンテンツの各場面で感動等の感情をリアルタイムで共有することができる。
【０００３】
ところが、このようなパブリックビューイングが行なわれるのは、例えばサッカーのワールドカップのような特定のコンテンツに限られている。そのため、他の殆どのコンテンツについては、ユーザは、別の場所にいる他のユーザが、コンテンツの視聴時にどのような反応をしているかをリアルタイムで知ることはできず、各場面で感情を共有することはできない。また、パブリックビューイングが行なわれていたとしても、ユーザはいちいちパブリックビューイングの会場まで出向かなければならず、不便であった。
【０００４】
ところで、携帯電話機等は双方向通信機能を有しており、この双方向通信機能を利用した技術が多く提案されている。例えば、そのような技術として、携帯電話機により受信局にアクセスし、利用者が発した音声に応じた動画像や音声を受信して再生することで、利用者の心を癒すカウンセリングシステムが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３１０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
このような双方向通信機能を利用して、受信局に他のユーザにより入力された文字データや音声データを記録させておけば、ユーザは、これらのデータを取得させて再生させることで、ユーザが視聴したコンテンツに対する他のユーザの反応を知ることができるようになると考えられる。
【０００７】
しかしながら、上述した技術では、ユーザは、他のユーザにより入力された文字等のデータを、受信局のガイドにしたがって、ユーザごとに１つずつ取得して再生しなければならず、その操作は面倒なものとなる。つまり、複数のユーザが入力した文字や音声のそれぞれを、同時に再生させることはできなかった。そのため、ユーザは、コンテンツの視聴時に、リアルタイムで異なる場所にいる他の多くのユーザの反応を同時に知ることはできず、コンテンツの各場面で他のユーザと感情を共有することはできなかった。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、コンテンツによらず、ユーザが他の多くのユーザのコンテンツに対する反応をリアルタイムで知ることができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の情報処理装置は、コンテンツの再生を制御する再生制御手段と、前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データを、前記通信網を介して受信する受信手段と、前記コンテンツの再生時において、受信した前記反応音声データに基づいて前記反応音声を出力する音声出力手段とを備える。
【００１０】
情報処理装置には、前記コンテンツの再生時において、周囲にいるユーザが前記コンテンツに対する反応として発した音声を収音する収音手段と、前記収音手段により収音された音声の音声データをＵＤＰパケットに格納し、前記通信網を介して前記サーバに送信する送信手段とをさらに設けることができる。
【００１１】
前記反応音声データは、複数のユーザからなるグループごとに生成することができる。
【００１２】
前記送信手段には、前記収音手段により収音された音声の音量が、所定の値以上である場合、前記収音手段により収音された音声の音声データを送信させることができる。
【００１３】
前記反応音声データは、前記反応音声の再生時において、前記音声処理が施された前記音声データの各音声が弁別できないように、前記音声処理が施された前記音声データを充分小さいゲインで加算することにより生成することができる。
【００１４】
前記送信手段には、前記収音手段により収音された音声の前記音声データとともに、前記コンテンツを示す情報を送信させ、前記サーバにおいて、同じ前記コンテンツを示す情報とともに送信されてきた前記音声データに基づいて、前記反応音声データが生成されるようにすることができる。
【００１５】
前記送信手段には、前記コンテンツに対して定められたＵＲＬにより特定される前記サーバに、前記音声データを送信させることができる。
【００１６】
前記音声出力手段には、前記コンテンツの再生時において、前記コンテンツの音声および前記反応音声を出力させることができる。
【００１７】
本発明の第１の側面の情報処理方法またはプログラムは、コンテンツの再生を制御し、前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データを、前記通信網を介して受信させ、前記コンテンツの再生時において、受信した前記反応音声データに基づいて、音声出力手段に前記反応音声を出力させるステップを含む。
【００１８】
本発明の第１の側面においては、コンテンツの再生が制御され、前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データが、前記通信網を介して受信され、前記コンテンツの再生時において、受信した前記反応音声データに基づいて、音声出力手段から前記反応音声が出力される。
【００１９】
本発明の第２の側面の情報処理装置は、コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データを受信する受信手段と、複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施す音声処理手段と、前記音声処理が施された複数の前記音声データを加算して、反応音声の反応音声データを生成する加算手段と、前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記装置に送信する送信手段とを備える。
【００２０】
前記加算手段には、複数のユーザからなるグループごとに異なる前記音声処理が施された前記音声データを加算させることで、前記グループごとに前記反応音声データを生成させることができる。
【００２１】
前記加算手段には、前記反応音声の再生時において、前記音声処理が施された前記音声データの各音声が弁別できないように、前記音声処理が施された前記音声データを充分小さいゲインで加算させることで、前記反応音声データを生成させることができる。
【００２２】
本発明の第２の側面の情報処理方法またはプログラムは、コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データを受信させ、複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算して、反応音声の反応音声データを生成し、前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記装置に送信させるステップを含む。
【００２３】
本発明の第２の側面においては、コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データが受信され、複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理が施され、前記音声処理が施された複数の前記音声データが加算されて、反応音声の反応音声データが生成され、前記反応音声データがＵＤＰパケットに格納され、前記通信網を介して前記装置に送信される。
【００２４】
本発明の第３の側面の情報処理システムは、通信網を介して接続されたクライアントとサーバとからなる情報処理システムであって、前記クライアントは、コンテンツの再生を制御する再生制御手段と、前記コンテンツの再生時において、周囲にいるユーザが前記コンテンツに対する反応として発した音声を収音する収音手段と、前記収音手段により収音された音声の音声データをＵＤＰパケットに格納し、前記通信網を介して前記サーバに送信する第１の送信手段と、複数の前記クライアントから送信された前記音声データに基づいて生成された反応音声の反応音声データを、前記サーバから受信する第１の受信手段と、前記コンテンツの再生時において、受信した前記反応音声データに基づいて前記反応音声を出力する音声出力手段とを備え、前記サーバは、前記クライアントから送信された、前記音声データを受信する第２の受信手段と、複数の前記クライアントから送信された前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施す音声処理手段と、前記音声処理が施された複数の前記音声データを加算して、前記反応音声データを生成する加算手段と、前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記クライアントに送信する第２の送信手段とを備える。
【００２５】
本発明の第３の側面においては、クライアントにより、コンテンツの再生が制御され、前記コンテンツの再生時において、周囲にいるユーザが前記コンテンツに対する反応として発した音声が収音され、収音された音声の音声データがＵＤＰパケットに格納されて、通信網を介してサーバに送信される。また、前記サーバにより、前記クライアントから送信された、前記音声データが受信され、複数の前記クライアントから送信された前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理が施され、前記音声処理が施された複数の前記音声データが加算されて、反応音声データが生成され、前記反応音声データがＵＤＰパケットに格納されて、前記通信網を介して前記クライアントに送信される。さらに、前記クライアントにより、前記反応音声データが受信されて再生され、反応音声が出力される。
【発明の効果】
【００２６】
本発明の第１の側面乃至第３の側面によれば、コンテンツによらず、ユーザは他の多くのユーザのコンテンツに対する反応をリアルタイムで知ることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明を適用した情報処理システムの一実施の形態の構成例を示す図である。
【図２】クライアントの構成例を示す図である。
【図３】サーバの構成例を示す図である。
【図４】再生処理を説明するフローチャートである。
【図５】配信処理を説明するフローチャートである。
【図６】インパルスレスポンスについて説明する図である。
【図７】クライアントの他の構成例を示す図である。
【図８】クライアントの他の構成例を示す図である。
【図９】情報処理システムの他の構成例を示す図である。
【図１０】情報処理システムの他の構成例を示す図である。
【図１１】再生処理を説明するフローチャートである。
【図１２】転送処理を説明するフローチャートである。
【図１３】配信処理を説明するフローチャートである。
【図１４】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して、本発明を適用した実施の形態について説明する。
【００２９】
〈第１の実施の形態〉
［情報処理システムの構成例］
図１は、本発明を適用した情報処理システムの一実施の形態の構成例を示す図である。この情報処理システムは、クライアント１１−１乃至クライアント１１−Ｎ、サーバ１２、および通信網１３から構成され、クライアント１１−１乃至クライアント１１−Ｎ、およびサーバ１２は、インターネット等からなる通信網１３を介して相互に接続されている。
【００３０】
クライアント１１−１乃至クライアント１１−Ｎは、各ユーザが所有するテレビジョン受像機、携帯電話機、パーソナルコンピュータ等からなり、コンテンツを取得して再生するとともに、コンテンツ視聴時におけるユーザの音声を収音し、サーバ１２に送信する。
【００３１】
なお、以下、クライアント１１−１乃至クライアント１１−Ｎを個々に区別する必要のない場合、単にクライアント１１とも称する。また、クライアント１１において再生されるコンテンツは、例えばテレビジョン放送番組、インターネット放送番組、ラジオ放送番組など、複数のクライアント１１が同時に再生可能なものであれば、どのようなものであってもよい。
【００３２】
サーバ１２は、クライアント１１から送信されてきた音声を受信し、これらの受信した音声に基づいて、同じコンテンツを視聴する多数のユーザのコンテンツに対する反応を表す音声（以下、反応音声とも称する）を生成する。そして、サーバ１２は生成した反応音声を、通信網１３を介して各クライアント１１に送信する。
【００３３】
例えば、サーバ１２では、各ユーザが仮想的なスタジアムなど、同じ場所（以下、仮想会場と称する）で１つのコンテンツを視聴しているものと仮定され、各ユーザの仮想会場での位置や音響特性が適宜加味されて、各ユーザの音声から反応音声が生成される。この反応音声は、例えば何百人や何万人等の多数のユーザの歓声や笑い、喝采などの声の集まりとなる。
【００３４】
クライアント１１は、サーバ１２から反応音声が送信されてくると、反応音声を受信して再生する。これにより、クライアント１１でコンテンツを視聴しているユーザは、コンテンツの視聴時に、他の多くのユーザがコンテンツの各場面で、どのような反応をしているかをリアルタイムで知ることができる。
【００３５】
［クライアントの構成例］
また、図１のクライアント１１は、例えば図２に示すように構成される。図２に示されるクライアント１１は、例えば、チューナを内蔵するパーソナルコンピュータやテレビジョン受像機などとされる。
【００３６】
クライアント１１は、取得部４１、画像再生制御部４２、表示部４３、音声再生制御部４４、音声出力部４５、収音部４６、送信制御部４７、送信部４８、受信部４９、入力部５０、および制御部５１から構成される。
【００３７】
取得部４１は、例えばチューナなどからなり、放送されているコンテンツを取得し、コンテンツを構成する画像（画像データ）および音声（音声データ）を、それぞれ画像再生制御部４２および音声再生制御部４４に供給する。
【００３８】
画像再生制御部４２は、取得部４１から供給された画像に対して、必要に応じてデコードなどの処理を行い、表示部４３に供給する。表示部４３は、例えば液晶ディスプレイなどからなり、画像再生制御部４２から供給された画像を表示する。
【００３９】
音声再生制御部４４は、取得部４１から供給された音声に対して、必要に応じてデコードなどの処理を行い、音声出力部４５に供給する。また、音声再生制御部４４は、受信部４９から反応音声が供給された場合、取得部４１から供給された音声に、反応音声を重畳させて音声出力部４５に供給する。音声出力部４５は、例えばスピーカなどからなり、音声再生制御部４４から供給された音声を出力する。
【００４０】
収音部４６は、例えばマイクロホンなどからなり、クライアント１１の周囲の音声を収音し、収音した音声（音声データ）を送信制御部４７に供給する。送信制御部４７は、収音部４６から供給された音声に必要に応じてエンコードなどの処理を施し、送信部４８に供給する。送信部４８は、送信制御部４７から供給された音声を、通信網１３を介してサーバ１２に送信する。
【００４１】
受信部４９は、通信網１３を介してサーバ１２から送信されてきた反応音声を受信し、音声再生制御部４４に供給する。入力部５０は、例えば赤外線信号の受光部やボタンなどからなり、ユーザの操作に応じた信号を制御部５１に供給する。制御部５１は、入力部５０からの信号に応じて、画像再生制御部４２、音声再生制御部４４、および送信制御部４７の動作を制御する。
【００４２】
［サーバの構成例］
さらに、図１のサーバ１２は、例えば図３に示すように構成される。
【００４３】
サーバ１２は、受信部８１、制御部８２、音声処理部８３−１乃至音声処理部８３−Ｍ、および送信部８４から構成される。
【００４４】
受信部８１は、通信網１３を介してクライアント１１から送信されてきた音声を受信し、制御部８２に供給する。制御部８２は、受信部８１から供給された音声を、音声処理部８３−１乃至音声処理部８３−Ｍに供給する。
【００４５】
音声処理部８３−１乃至音声処理部８３−Ｍは、制御部８２から供給された音声に基づいて反応音声を生成し、送信部８４に供給する。
【００４６】
例えば音声処理部８３−１は、演算部９１−１−１乃至演算部９１−Ｎ−１、および加算部９２−１を備えており、制御部８２から演算部９１−１−１乃至演算部９１−Ｎ−１には、それぞれクライアント１１−１乃至クライアント１１−Ｎからの音声が供給される。
【００４７】
演算部９１−１−１乃至演算部９１−Ｎ−１は、仮想会場の任意の２つの位置の間の音響特性を表すインパルスレスポンスを予め記録しており、制御部８２から供給された音声に対して、記録しているインパルスレスポンスを用いた畳み込み演算を行なう。演算部９１−１−１乃至演算部９１−Ｎ−１は、畳み込み演算により得られた音声を加算部９２−１に供給する。
【００４８】
加算部９２−１は、演算部９１−１−１乃至演算部９１−Ｎ−１から供給された音声を加算し、その結果得られた１つの音声を反応音声として送信部８４に供給する。
【００４９】
同様に、音声処理部８３−ｍ（但し、２≦ｍ≦Ｍ）は、演算部９１−１−ｍ乃至演算部９１−Ｎ−ｍ、および加算部９２−ｍを備えている。これらの演算部９１−１−ｍ乃至演算部９１−Ｎ−ｍ、および加算部９２−ｍは、演算部９１−１−１乃至演算部９１−Ｎ−１および加算部９２−１と同様の動作を行なう。
【００５０】
なお、以下、演算部９１−ｎ−ｍ（但し、１≦ｎ≦Ｎ，１≦ｍ≦Ｍ）を個々に区別する必要のない場合、単に演算部９１−ｎとも称し、演算部９１−１乃至演算部９１−Ｎを個々に区別する必要のない場合、単に演算部９１とも称する。
【００５１】
また、以下、加算部９２−１乃至加算部９２−Ｍを個々に区別する必要のない場合、単に加算部９２とも称し、音声処理部８３−１乃至音声処理部８３−Ｍを個々に区別する必要のない場合、単に音声処理部８３とも称する。
【００５２】
送信部８４は、音声処理部８３から供給された反応音声を、通信網１３を介してクライアント１１に送信する。
【００５３】
例えば、同じコンテンツを視聴しているユーザがＮ人であり、サーバ１２にＮ個の音声処理部８３が設けられているとする。すなわち、Ｍ＝Ｎであり、クライアント１１−１乃至クライアント１１−Ｎから音声が送信されてきたとする。
【００５４】
そのような場合、例えば、音声処理部８３−１乃至音声処理部８３−Ｎのそれぞれは、クライアント１１からの音声に基づいて、クライアント１１−１乃至クライアント１１−Ｎに対して送信される反応音声を生成する。そして、送信部８４は、生成されたＮ個の反応音声を、それぞれクライアント１１−１乃至クライアント１１−Ｎに送信する。つまり、この例では、Ｎ個のクライアント１１ごとに、反応音声が生成される。
【００５５】
［再生処理の説明］
ところで、クライアント１１を所有するユーザが、クライアント１１を操作してコンテンツの再生を指示すると、クライアント１１は、その指示に応じて再生処理を開始し、ユーザにより指定されたコンテンツを再生する。
【００５６】
以下、図４のフローチャートを参照して、クライアント１１による再生処理について説明する。
【００５７】
ステップＳ１１において、取得部４１は、ユーザにより指定されたコンテンツを取得する。そして、取得部４１は、取得したコンテンツを構成する画像データを画像再生制御部４２に供給し、コンテンツを構成する音声データを音声再生制御部４４に供給する。例えば、コンテンツとして、テレビジョン放送された番組のデータが取得される。なお、コンテンツは、画像または音声の何れか一方からなるものであってもよい。
【００５８】
ステップＳ１２において、クライアント１１は、コンテンツの再生を開始する。具体的には、画像再生制御部４２は、取得部４１から供給された画像データを表示部４３に供給して、表示部４３に画像を表示させ、音声再生制御部４４は、取得部４１から供給された音声データを音声出力部４５に供給して、音声出力部４５に音声を出力させる。
【００５９】
これにより、クライアント１１において、ユーザにより指定されたコンテンツが再生されるので、ユーザは、再生されたコンテンツを視聴する。すると、コンテンツの各場面でユーザは、コンテンツに対する反応を示し、その反応として歓声や笑い声などを発する。このようにしてユーザにより発せられた、コンテンツに対する反応の音声は、収音部４６に到達する。
【００６０】
ステップＳ１３において、収音部４６は、ユーザから発せられた音声を収音し、これにより得られた音声データを送信制御部４７に供給する。送信制御部４７は、収音部４６から供給された音声データを送信部４８に供給する。
【００６１】
なお、収音部４６により収音された音声は、常に送信部４８からサーバ１２に送信されるようにしてもよいし、所定の音量以上である場合にのみ音声が送信されるようにしてもよい。
【００６２】
例えば、所定の音量以上であるときにのみ音声が送信される場合、送信制御部４７は、収音部４６から供給された音声の音量が、予め定めた閾値以上であるか否かを判定する。そして、送信制御部４７は、音声の音量が閾値以上である場合にのみ、収音部４６からの音声を送信部４８に供給し、サーバ１２に送信させる。したがって、例えばユーザのコンテンツに対する反応の音声のうち、ほぼ無音に近い区間の音声は送信されないことになる。
【００６３】
このように、ユーザのコンテンツに対する反応が小さく、収音部４６で収音される音声の音量が小さい場合には、収音された音声をサーバ１２に送信しないようにすることで、クライアント１１やサーバ１２における処理の負荷を軽減させることができる。また、通信網１３におけるトラフィック量が無駄に多くなることを抑制することができる。
【００６４】
ステップＳ１４において、送信部４８は、送信制御部４７から供給された音声データを、通信網１３を介してサーバ１２に送信する。
【００６５】
例えば、送信部４８は、ユーザの音声データを、UDP（User Datagram Protocol）パケットに格納して送信する。つまり、送信部４８は、UDPにしたがってコネクションレスでサーバ１２と通信を行う。
【００６６】
通信プロトコルとしてUDPを採用すれば、TCP（Transmission Control Protocol）などを用いる場合と比べて、音声の伝送の遅延を低下させるとともに、通信処理の負荷を軽減させることができる。なお、UDPでは、TCPよりも信頼性が低くなるが、反応音声を生成するにあたり、ユーザ一人ひとりの音声は重要ではなく、各ユーザの音声は弁別できないようにすることが好ましいため、サーバ１２に送信されるパケット（音声）は、必ずしも高い信頼性で伝送される必要はない。
【００６７】
このようにして、各クライアント１１からサーバ１２に対して音声データが送信されると、サーバ１２は、それらのクライアント１１から受信した音声データを用いて、反応音声の音声データを生成し、各クライアント１１に送信してくる。
【００６８】
ステップＳ１５において、受信部４９は、サーバ１２から送信されてきた反応音声、より詳細には反応音声の音声データが格納されたパケットを受信し、音声再生制御部４４に供給する。例えば反応音声は、UDPパケットに格納されてサーバ１２から送信されてくる。
【００６９】
ステップＳ１６において、音声出力部４５は、反応音声を出力する。すなわち、音声再生制御部４４は、受信部４９から反応音声の音声データが供給されると、その音声データに対し、適宜デコードなどの処理を施す。
【００７０】
そして、音声再生制御部４４は、反応音声の音声データを、取得部４１から供給されるコンテンツの音声データに加算して、音声出力部４５に供給する。音声出力部４５は、音声再生制御部４４から供給された音声データに基づいて、音声を出力する。これにより、音声出力部４５からは、コンテンツの音声とともに、そのコンテンツに対する他の多くのユーザの反応である反応音声が出力される。
【００７１】
このようにクライアント１１では、コンテンツの再生中に、コンテンツの各場面に対する多数のユーザの反応音声が出力されるので、ユーザは、コンテンツの視聴中に、リアルタイムで他のユーザの反応を知ることができる。
【００７２】
ステップＳ１７において、クライアント１１は、処理を終了するか否かを判定する。例えば、ユーザによりコンテンツの再生終了が指示された場合、処理を終了すると判定される。ステップＳ１７において、処理を終了しないと判定された場合、処理はステップＳ１３に戻り、上述した処理が繰り返される。すなわち、コンテンツの再生が継続して行なわれ、コンテンツの音声に、サーバ１２から受信した反応音声が重畳されて再生される。
【００７３】
これに対して、ステップＳ１７において、処理を終了すると判定された場合、クライアント１１はサーバ１２との通信を終了するとともに、コンテンツの再生を停止して、再生処理は終了する。
【００７４】
以上のように、クライアント１１は、コンテンツを再生するとともに、そのコンテンツに対する他の多くのユーザの反応である反応音声をサーバ１２から受信し、コンテンツの音声とともに反応音声を出力する。
【００７５】
これにより、再生するコンテンツによらず、ユーザに、他の多くのユーザのコンテンツに対する反応をリアルタイムで知らせることができ、あたかも同じ場所で多くのユーザと一緒にコンテンツを視聴しているように感じさせることができる。したがって、ユーザは、コンテンツの各場面で他のユーザと感情を共有することができ、よりコンテンツの視聴を楽しむことができる。
【００７６】
例えば、この情報処理システムによれば、全く別の場所にいる知らないユーザが、同じコンテンツを視聴して感動し、それを声にすることにより、各ユーザは、同じ場面で声をあげたユーザ達のたくさんの声を聞くことができ、感動を共有することができる。
【００７７】
なお、以上においては、ユーザのコンテンツに対する反応として発せられた音声が、各クライアント１１からサーバ１２に送信されると説明したが、ユーザの音声をサーバ１２に送信するか否かを、ユーザが設定できるようにしてもよい。そのような場合、例えば音声が送信されない設定とされると、コンテンツの再生中に、送信部４８からユーザの音声は送信されないが、受信部４９ではサーバ１２からの反応音声が受信されて、コンテンツとともに反応音声が再生される。
【００７８】
［配信処理の説明］
また、図４の再生処理が行われて、複数のクライアント１１から音声が送信されてくると、サーバ１２は、配信処理を開始して、反応音声を各クライアント１１に送信する。以下、図５のフローチャートを参照して、サーバ１２による配信処理について説明する。
【００７９】
ステップＳ４１において、受信部８１は、通信網１３を介してクライアント１１から送信されてきた音声を受信し、制御部８２に供給する。これにより、制御部８２には、クライアント１１−１乃至クライアント１１−Ｎのそれぞれから受信された音声が供給される。
【００８０】
ステップＳ４２において、制御部８２は、受信部８１から供給された音声に対し、必要に応じてデコード等の処理を施し、音声を分配する。
【００８１】
例えば、クライアント１１−１乃至クライアント１１−Ｎからサーバ１２に音声が送信され、ユーザ（クライアント１１）ごとに反応音声が生成されるとする。そのような場合、音声処理部８３−１乃至音声処理部８３−Ｎにより、それぞれクライアント１１−１乃至クライアント１１−Ｎに送信される反応音声が生成される。この場合、例えば制御部８２は、クライアント１１−１乃至クライアント１１−Ｎからの音声のそれぞれを、各音声処理部８３の演算部９１−１乃至演算部９１−Ｎに供給する。
【００８２】
ステップＳ４３において、演算部９１は、制御部８２から供給された音声（音声データ）に対して、予め記録しているインパルスレスポンスを用いた畳み込み演算を行ない、加算部９２に供給する。そして、ステップＳ４４において、加算部９２は、演算部９１−１乃至演算部９１−Ｎから供給された音声を加算して反応音声の音声データを生成し、送信部８４に供給する。なお、生成された反応音声の音声データには、必要に応じて加算部９２により、エンコード等の処理が施される。
【００８３】
例えば、図６の左側に示すように、仮想会場Ｒ１１に４人のユーザＵ１乃至ユーザＵ４が配置されていると仮定され、これらのユーザＵ１乃至ユーザＵ４が所有するクライアント１１−１乃至クライアント１１−４からサーバ１２に音声が送信されてきたとする。
【００８４】
図６の例では、ユーザＵ２は、仮想会場Ｒ１１の中央に位置しており、ユーザＵ２を囲むようにユーザＵ１、ユーザＵ３、およびユーザＵ４が配置されている。このような場合、ユーザＵ２には、ユーザＵ２自身が発した音声の他、ユーザＵ１、ユーザＵ３、およびユーザＵ４のそれぞれから発せられた音声が聞こえるはずである。
【００８５】
したがって、各ユーザからの音声を、そのユーザの位置からユーザＵ２までの間の音響特性に応じて加工し、加工された各音声を加算することで、仮想会場Ｒ１１にいるユーザＵ２に聞こえる反応音声を得ることができる。
【００８６】
ここで、ユーザＵ１からユーザＵ２へと伝わる音声の音響特性を表すインパルスレスポンスをｈ１２とし、ユーザＵ３からユーザＵ２へと伝わる音声の音響特性を表すインパルスレスポンスをｈ３２とする。また、ユーザＵ４からユーザＵ２へと伝わる音声の音響特性を表すインパルスレスポンスをｈ４２とし、ユーザＵ２からユーザＵ２自身へと伝わる音声の音響特性を表すインパルスレスポンスをｈ２２とする。
【００８７】
また、図中、右側に示すように演算部９１−１乃至演算部９１―４に、それぞれインパルスレスポンスｈ１２、ｈ３２、ｈ４２、およびｈ２２が記録されているとする。この場合、ユーザＵ１、Ｕ３、Ｕ４、およびＵ２の音声、つまりそれらのユーザのクライアント１１から送信されてきた音声データが、演算部９１−１乃至演算部９１−４に供給される。
【００８８】
すると、演算部９１−１は、ユーザＵ１の音声データを、インパルスレスポンスｈ１２で畳み込み、その結果得られた音声データを加算部９２に供給する。同様に、演算部９１−２乃至演算部９１−４も、ユーザＵ３、Ｕ４、およびＵ２の音声データを、インパルスレスポンスｈ３２、ｈ４２、およびｈ２２で畳み込み、これにより得られた音声データを加算部９２に供給する。
【００８９】
そして、加算部９２は、演算部９１−１乃至演算部９１−４から供給された音声データを加算することで、ユーザＵ２のクライアント１１に送信される反応音声の音声データを生成する。この反応音声は、仮想会場Ｒ１１にいるユーザＵ２に聞こえる、歓声等の各ユーザの音声である。
【００９０】
なお、反応音声の生成時において、加算される各ユーザの音声データは、各ユーザの声が弁別できない程度に充分小さいゲインで加算される。つまり、反応音声を再生したときに、各ユーザの音声が弁別できなくなるように、充分小さいゲインで、各音声データが加算される。これは、ユーザの中には、人に聞かせるには好ましくないことを発言する人がいる場合もあり得るためである。このように、一人ひとりの声を弁別できない程度に小さくし、それらの音声を加算することで、多数のユーザの歓声や笑い声の集まりを反応音声として得ることができる。
【００９１】
各音声処理部８３では、各ユーザの仮想会場Ｒ１１での位置により定まる音響特性に応じて、それらのユーザの音声に音声処理が施され、音声処理された音声が加算されて、ユーザごとの反応音声とされる。
【００９２】
なお、仮想会場Ｒ１１における各ユーザの位置は、例えば制御部８２により無作為に定められる。制御部８２は、定められた各ユーザの位置に応じて、各ユーザの音声データを、各音声処理部８３の演算部９１に供給する。また、各演算部９１に予め定められたユーザの音声が供給されるようにし、演算部９１が供給されたユーザの仮想会場Ｒ１１の位置に応じたインパルスレスポンスを生成するようにしてもよい。
【００９３】
図５のフローチャートの説明に戻り、各ユーザに送信される反応音声が生成され、それらの反応音声の音声データが加算部９２から送信部８４に供給されると、処理はステップＳ４４からステップＳ４５へと進む。
【００９４】
ステップＳ４５において、送信部８４は、加算部９２から供給された各ユーザの反応音声の音声データを、それらのユーザのクライアント１１に送信する。例えば反応音声は、クライアント１１によるユーザの音声の送信時と同様に、UDPパケットに格納されて送信される。
【００９５】
ステップＳ４６において、サーバ１２は、処理を終了するか否かを判定する。例えば、コンテンツの放送が終了した場合、処理を終了すると判定される。
【００９６】
ステップＳ４６において、処理を終了しないと判定された場合、処理はステップＳ４１に戻り、上述した処理が繰り返される。これに対して、ステップＳ４６において、処理を終了すると判定された場合、配信処理は終了する。
【００９７】
以上のようにして、サーバ１２は、各クライアント１１から送信されてきた音声を、ユーザの仮想会場における位置に応じた音響特性で加工して加算し、多数のユーザのコンテンツに対する反応である反応音声を生成する。そして、サーバ１２は、生成した反応音声を各クライアント１１に送信する。
【００９８】
これにより、コンテンツを視聴しているユーザに対して、他の多くのユーザのコンテンツに対する反応をリアルタイムで配信することができ、ユーザに、他の多くのユーザと同じ会場でコンテンツを視聴しているかのような臨場感を与えることができる。その結果、ユーザは、コンテンツの各場面で他のユーザと感情を共有することができ、よりコンテンツの視聴を楽しむことができる。
【００９９】
なお、以上においては、ユーザごとに反応音声を生成すると説明したが、ユーザをいくつかのグループに分けて、それらのグループごとに反応音声が生成されるようにしてもよい。そのような場合、ユーザが所有するクライアント１１に対して、そのユーザが属すグループの反応音声が送信される。
【０１００】
例えば、ユーザごとに反応音声を生成する場合、コンテンツを視聴しているユーザが１万人いると、１人のユーザの反応音声を生成するのに必要な音声の畳み込み演算が１万回であるから、サーバ１２全体で合計１万×１万回の畳み込み演算が必要となる。
【０１０１】
そこで、ユーザをグループ分けし、各グループに対して１つの反応音声を生成したり、各ユーザに対して同じインパルスレスポンスを用いたりすれば、サーバ１２における演算量を低減させることができる。
【０１０２】
例えば、ユーザのグループ分けとしては、仮想会場がコンサートホールである場合に、会場の１階席のユーザと２階席のユーザの２つのグループに分けることが考えられる。
【０１０３】
この場合、制御部８２は、無作為、または予め記録しているユーザの情報に基づいて、ユーザを会場の１階席のグループ、または２階席のグループに分け、グループごとに反応音声を生成させる。
【０１０４】
このとき、制御部８２は、例えば１階席のグループに属す各ユーザについて、１階席のなかから無作為にユーザの座席位置を選択し、同様に２階席のグループに属す各ユーザについて、２階席のなかから無作為にユーザの座席位置を選択する。そして、制御部８２は各ユーザの座席位置に応じて、ユーザの音声を音声処理部８３の各演算部９１に分配する。
【０１０５】
例えば、１階席のグループの反応音声を生成する音声処理部８３の各演算部９１は、供給されたユーザの音声に対して、そのユーザの座席位置から、１階の特定の座席位置までの音響特性を表すインパルスレスポンスを用いて、音声の畳み込みを行なう。そして、加算部９２は、各演算部９１から供給された音声を加算して、１階席のグループの反応音声とする。
【０１０６】
このようにして得られた１階席のグループの反応音声は、実際には仮想会場の１階の特定の座席にいるユーザに聞こえる各ユーザの音声であるが、この反応音声が、１階席にいる各ユーザに聞こえる反応音声であるとされる。そして、この反応音声は、１階席のグループに属す各ユーザのクライアント１１に対して送信される。
【０１０７】
なお、以上においては、制御部８２によりユーザが属すグループが定められると説明したが、どのグループに属すかをユーザ自身が決められるようにしてもよい。
【０１０８】
そのような場合、例えばユーザは、クライアント１１の入力部５０を操作して、仮想会場における自分の座席位置を指定する。例えば、コンサートホールにおける１階席または２階席の何れかがユーザにより指定される。
【０１０９】
すると、制御部５１は、ユーザにより指定されたグループを示す情報を送信制御部４７に供給する。例えば、グループを示す情報は、１階席を示す情報などとされる。送信制御部４７は、制御部５１から供給されたグループを示す情報を、収音部４６から供給された音声データに付加して送信部４８に供給する。
【０１１０】
このようにして、グループを示す情報が付加された音声データが、図４のステップＳ１４でサーバ１２に送信される。サーバ１２では、グループを示す情報が付加された音声データが受信されると、制御部８２が、音声データに付加されたグループを示す情報に基づいて、各ユーザのグループ分けを行なう。なお、グループを示す情報は、音声データとは別に送信されるようにしてもよい。
【０１１１】
また、グループ分けの他の例としては、例えば、出演者が紅組と白組に分かれて歌合戦をする番組などがコンテンツとして再生される場合に、紅組を応援するユーザと白組を応援するユーザの２つのグループに分けることなども考えられる。この場合、白組のグループのユーザに対しては、白組のグループに属すユーザの音声が、紅組のグループのユーザの音声よりも、より大きく聞こえるような反応音声が生成されるようにすることができる。
【０１１２】
［クライアントの他の構成例１］
さらに、以上においては、クライアント１１は例えば図２に示す構成とされると説明したが、クライアント１１は、コンテンツの再生が可能であり、かつサーバ１２からの反応音声が出力できる装置であれば、どのような構成であってもよい。
【０１１３】
例えば、クライアント１１は、図７に示すように、コンテンツの音声と、反応音声とが異なる音声出力部から出力されるような構成とされてもよい。なお、図７において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１４】
図７のクライアント１１は、図２のクライアント１１に対して、さらに音声再生制御部１２１および音声出力部１２２が設けられている点で異なり、その他の点では図２のクライアント１１と同じ構成となっている。
【０１１５】
図７のクライアント１１では、サーバ１２から受信された反応音声の音声データは、受信部４９から音声再生制御部１２１に供給される。音声再生制御部１２１は、制御部５１の制御にしたがって反応音声の音声データに対して、適宜デコード等の処理を施し、音声出力部１２２に供給する。音声出力部１２２は、例えばスピーカなどからなり、音声再生制御部１２１から供給された音声データに基づいて、反応音声を出力する。
【０１１６】
このように、図７のクライアント１１では、コンテンツの音声は音声出力部４５から出力され、反応音声は音声出力部１２２から出力される。
【０１１７】
［クライアントの他の構成例２］
また、クライアント１１は、例えば図８に示す構成とされてもよい。なお、図８において、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１１８】
図８のクライアント１１は、図２のクライアント１１に対して、さらに通話処理部１５１、収音部１５２、および通信部１５３が設けられている点で異なり、その他の点では図２のクライアント１１と同じ構成となっている。
【０１１９】
図８のクライアント１１は、例えばチューナ内蔵型の携帯電話機などからなり、通信網を介して他の携帯電話機との通話処理を行う。
【０１２０】
すなわち、収音部１５２は、クライアント１１を所持するユーザが発話すると、その音声を収音し、得られた音声データを通話処理部１５１に供給する。通話処理部１５１は、収音部１５２からの音声データを通信部１５３に供給し、通信部１５３は、その音声データを、通信網を介して通話相手の携帯電話機に送信する。
【０１２１】
また、通信部１５３は、通話相手の携帯電話機から送信されてきた音声データを受信し、通話処理部１５１に供給する。通話処理部１５１は、通信部１５３から供給された音声データを、音声再生制御部４４を介して音声出力部４５に供給し、音声を出力させる。
【０１２２】
〈第２の実施の形態〉
［情報処理システムの構成例］
さらに、図１では、通信網１３に１つのサーバ１２のみが接続されている例について説明したが、通信網１３に複数のサーバが接続されるようにしてもよい。
【０１２３】
例えば、図９に示すように、コンテンツごとにサーバが設けられ、それらのサーバが通信網１３に接続されるようにしてもよい。なお、図９において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１２４】
図９の情報処理システムでは、通信網１３には、クライアント１１と、サーバ１２、サーバ１８１、およびサーバ１８２が接続されている。これらのサーバ１２、サーバ１８１、およびサーバ１８２は、互いに異なるコンテンツについて、クライアント１１から受信した音声に基づいて反応音声を生成し、反応音声を各クライアント１１に送信する。
【０１２５】
ここで、例えば各コンテンツには、予めサーバ１２、サーバ１８１、またはサーバ１８２の何れかにアクセスするためのURL（Uniform Resource Locator）が対応付けられている。つまり、サーバ１２、サーバ１８１、およびサーバ１８２のうち、コンテンツに対応付けられたURLにより特定されるサーバが、そのコンテンツについての反応音声を生成する処理を行うサーバである。
【０１２６】
例えば、各コンテンツに対応付けられたURLは、ユーザによる入力部５０の操作によって直接入力されてもよいし、取得部４１によりコンテンツの放送波から抽出され、制御部５１に供給されるようにしてもよい。
【０１２７】
クライアント１１は、視聴中のコンテンツについて反応音声を受信しようとする場合、サーバ１２、サーバ１８１、およびサーバ１８２のうち、そのコンテンツに対応付けられているURLにより特定されるサーバにアクセスする。すなわち、送信制御部４７は、制御部５１からの指示にしたがって送信部４８を制御し、URLにより特定されるサーバに、収音部４６で収音された音声を送信させる。また、受信部４９は、URLにより特定されるサーバから反応音声を受信し、音声再生制御部４４を介して音声出力部４５に反応音声を供給する。
【０１２８】
この例では、クライアント１１により行なわれる再生処理は、アクセス先がURLにより定まるだけで、再生処理として図４を参照して説明した処理と同様の処理が行われる。また、サーバ１８１およびサーバ１８２も図３のサーバ１２と同様の構成とされ、サーバ１２、サーバ１８１、およびサーバ１８２は、図５を参照して説明した配信処理と同様の処理を行う。
【０１２９】
〈第３の実施の形態〉
［情報処理システムの構成例］
また、URLにより特定のサーバ１２等にアクセスするのではなく、コンテンツを特定するコンテンツＩＤ等により、クライアント１１からの音声が適切なサーバ１２等に転送されるようにしてもよい。
【０１３０】
そのような場合、情報処理システムは、例えば図１０に示すように構成される。なお、図１０において、図９における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１３１】
図１０の情報処理システムでは、通信網１３には、クライアント１１と分配装置２１１とが接続され、さらに分配装置２１１には、サーバ１２、サーバ１８１、およびサーバ１８２が接続されている。
【０１３２】
この例では、各クライアント１１は、ユーザのコンテンツに対する反応を収音して得られた音声とともに、コンテンツを特定するコンテンツＩＤを分配装置２１１に送信する。このコンテンツＩＤは、例えばテレビジョン放送のチャンネル番号などとされる。
【０１３３】
分配装置２１１は、各コンテンツについて、コンテンツのコンテンツＩＤと、そのコンテンツの反応音声を生成するサーバを示す情報とを予め対応付けて記録しており、スイッチとして機能する。すなわち、分配装置２１１は、クライアント１１から音声とコンテンツＩＤが送信されてくると、これらを受信し、サーバ１２、サーバ１８１、およびサーバ１８２のうち、受信したコンテンツＩＤにより特定されるサーバに、クライアント１１からの音声を送信する。
【０１３４】
また、分配装置２１１は、サーバ１２、サーバ１８１、およびサーバ１８２から送信されてきた各コンテンツの反応音声を受信し、それらのコンテンツのコンテンツＩＤを送信してきたクライアント１１に対して反応音声を送信する。
【０１３５】
［再生処理の説明］
次に、図１０の情報処理システムを構成する各装置により行われる処理について説明する。まず、図１１のフローチャートを参照して、図２のクライアント１１により行われる再生処理について説明する。なお、ステップＳ７１乃至ステップＳ７３の処理は、図４のステップＳ１１乃至ステップＳ１３の処理と同様であるので、その説明は省略する。
【０１３６】
ステップＳ７４において、送信部４８は、送信制御部４７から供給されたコンテンツＩＤおよび音声をUDPパケットに格納し、通信網１３を介して分配装置２１１に送信する。
【０１３７】
ここで、分配装置２１１に送信されるコンテンツＩＤは、例えば入力部５０の操作により入力されたり、取得部４１によりコンテンツの放送波から抽出されたりする。制御部５１は、入力部５０または取得部４１から、ユーザが視聴しているコンテンツのコンテンツＩＤを取得し、送信制御部４７に供給する。
【０１３８】
送信制御部４７は、制御部５１から供給されたコンテンツＩＤを、収音部４６からの音声とともに送信部４８に供給する。なお、コンテンツＩＤが収音部４６で収音された音声に付加されるようにしてもよい。
【０１３９】
このようにしてクライアント１１からコンテンツＩＤと音声が送信されると、これらのコンテンツＩＤと音声は、分配装置２１１によりサーバ１２、サーバ１８１、またはサーバ１８２の何れかに転送される。そして、コンテンツＩＤと音声の転送先によって、コンテンツに対する反応音声が生成され、その反応音声は、分配装置２１１を介してクライアント１１に送信されてくる。
【０１４０】
ステップＳ７５において、受信部４９は、分配装置２１１から送信されてきた反応音声を受信して、音声再生制御部４４に供給する。そして、その後、ステップＳ７６およびステップＳ７７の処理が行われて再生処理は終了するが、これらの処理は図４のステップＳ１６およびステップＳ１７と同様であるので、その説明は省略する。
【０１４１】
［転送処理の説明］
次に、図１２のフローチャートを参照して、図１０の分配装置２１１により行なわれる転送処理について説明する。
【０１４２】
ステップＳ１０１において、分配装置２１１は、クライアント１１から送信されてきたコンテンツＩＤおよび音声を受信する。そして、ステップＳ１０２において、分配装置２１１は、サーバ１２、サーバ１８１、およびサーバ１８２のうち、受信したコンテンツＩＤにより特定されるサーバを選択する。
【０１４３】
ステップＳ１０３において、分配装置２１１は、ステップＳ１０２で選択したサーバに対して、クライアント１１から受信したコンテンツＩＤおよび音声を送信する。これにより、同じコンテンツを再生しているクライアント１１からの音声が、同じサーバに送信されることになる。
【０１４４】
サーバ１２等にコンテンツＩＤと音声が送信されると、これを受信したサーバ１２等は、受信した音声に基づいて反応音声を生成し、分配装置２１１に送信してくる。
【０１４５】
ステップＳ１０４において、分配装置２１１は、サーバ１２等から送信されてきた反応音声を受信する。そして、ステップＳ１０５において、分配装置２１１は、受信した反応音声をUDPパケットに格納し、通信網１３を介してクライアント１１に送信する。例えば、サーバ１２から受信した反応音声は、サーバ１２に対応付けられたコンテンツＩＤを送信してきたクライアント１１に送信される。
【０１４６】
ステップＳ１０６において、分配装置２１１は処理を終了するか否かを判定する。例えば、コンテンツの放送が終了した場合、処理を終了すると判定される。
【０１４７】
ステップＳ１０６において、処理を終了しないと判定された場合、処理はステップＳ１０１に戻り、上述した処理が繰り返される。これに対して、ステップＳ１０６において、処理を終了すると判定された場合、転送処理は終了する。
【０１４８】
このようにして、分配装置２１１は、各クライアント１１から送信されてきた音声を、音声とともに送信されてきたコンテンツＩＤにより特定されるサーバに送信し、これに応じてサーバから送信されてきた反応音声を、クライアント１１に送信する。したがって、複数のサーバで異なるコンテンツの反応音声が生成されている場合においても、異なるコンテンツに対する反応の音声が、１つの反応音声に混在してしまうようなことを防止することができる。
【０１４９】
［配信処理の説明］
さらに、図１３のフローチャートを参照して、図１０のサーバ１２により行われる配信処理について説明する。
【０１５０】
ステップＳ１３１において、受信部８１は、分配装置２１１から送信されてきたコンテンツＩＤおよび音声を受信して、制御部８２に供給する。そして、その後、ステップＳ１３２乃至ステップＳ１３４の処理が行われて、コンテンツの反応音声が生成されるが、これらの処理は図５のステップＳ４２乃至ステップＳ４４と同様であるので、その説明は省略する。
【０１５１】
ステップＳ１３５において、送信部８４は、加算部９２から供給された反応音声を、分配装置２１１に送信する。そして、その後、ステップＳ１３６の処理が行われて配信処理は終了するが、ステップＳ１３６の処理は、図５のステップＳ４６の処理と同様であるので、その説明は省略する。
【０１５２】
このようにして、サーバ１２は、分配装置２１１から送信されてきた音声に基づいて、反応音声を生成する。なお、図１０のサーバ１８１およびサーバ１８２も、図１３の配信処理と同様の処理を行う。
【０１５３】
また、以上においては、１つの反応音声は、１つのサーバ（例えば、サーバ１２）により生成されると説明したが、複数のサーバにより１つの反応音声が生成されるようにしてもよい。
【０１５４】
そのような場合、例えば最終的な反応音声を生成するサーバに、複数のサブサーバが接続される。サブサーバは、複数のクライアント１１から音声を受信して、仮の反応音声を生成し、サーバに送信する。そして、サーバは、複数のサブサーバから受信した仮の反応音声を加算することで、最終的な反応音声を生成し、反応音声を各サブサーバに送信する。さらに、サブサーバは、サーバから受信した反応音声を、各クライアント１１に送信する。
【０１５５】
このように、複数のサブサーバとサーバにより反応音声を生成すれば、より迅速に反応音声を生成することができるようになり、コンテンツに対する反応音声の遅延をより少なくすることができる。なお、いくつかのサブサーバからの仮の反応音声を受信して、それらの仮の反応音声を加算し、その結果得られた仮の反応音声をサーバに送信するサブサーバがさらに設けられてもよい。
【０１５６】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１５７】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１５８】
コンピュータにおいて、CPU３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０１５９】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０１６０】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０１６１】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１６２】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０１６３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１６５】
１１−１乃至１１−Ｎ，１１ クライアント， １２ サーバ， ４１ 取得部， ４４ 音声再生制御部， ４５ 音声出力部， ４６ 収音部， ４７ 送信制御部， ４８ 送信部， ４９ 受信部， ８１ 受信部， ８２ 制御部， ８４ 送信部， ９１−１−１乃至９１−Ｎ−Ｍ，９１ 演算部， １８１ サーバ， １８２ サーバ， ２１１ 分配装置
【特許請求の範囲】
【請求項１】
コンテンツの再生を制御する再生制御手段と、
前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データを、前記通信網を介して受信する受信手段と、
前記コンテンツの再生時において、受信した前記反応音声データに基づいて前記反応音声を出力する音声出力手段と
を備える情報処理装置。
【請求項２】
前記コンテンツの再生時において、周囲にいるユーザが前記コンテンツに対する反応として発した音声を収音する収音手段と、
前記収音手段により収音された音声の音声データをＵＤＰパケットに格納し、前記通信網を介して前記サーバに送信する送信手段と
をさらに備える請求項１に記載の情報処理装置。
【請求項３】
前記反応音声データは、複数のユーザからなるグループごとに生成される
請求項２に記載の情報処理装置。
【請求項４】
前記送信手段は、前記収音手段により収音された音声の音量が、所定の値以上である場合、前記収音手段により収音された音声の音声データを送信する
請求項２に記載の情報処理装置。
【請求項５】
前記反応音声データは、前記反応音声の再生時において、前記音声処理が施された前記音声データの各音声が弁別できないように、前記音声処理が施された前記音声データを充分小さいゲインで加算することにより生成される
請求項２に記載の情報処理装置。
【請求項６】
前記送信手段は、前記収音手段により収音された音声の前記音声データとともに、前記コンテンツを示す情報を送信し、
前記サーバにおいて、同じ前記コンテンツを示す情報とともに送信されてきた前記音声データに基づいて、前記反応音声データが生成される
請求項２に記載の情報処理装置。
【請求項７】
前記送信手段は、前記コンテンツに対して定められたＵＲＬにより特定される前記サーバに、前記音声データを送信する
請求項２に記載の情報処理装置。
【請求項８】
前記音声出力手段は、前記コンテンツの再生時において、前記コンテンツの音声および前記反応音声を出力する
請求項２に記載の情報処理装置。
【請求項９】
コンテンツの再生を制御する再生制御手段と、
前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データを、前記通信網を介して受信する受信手段と、
前記コンテンツの再生時において、受信した前記反応音声データに基づいて前記反応音声を出力する音声出力手段と
を備える情報処理装置の情報処理方法であって、
前記再生制御手段が前記コンテンツの再生を制御し、
前記受信手段が前記反応音声データを受信し、
前記音声出力手段が前記反応音声を出力する
ステップを含む情報処理方法。
【請求項１０】
コンテンツの再生を制御し、
前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データを、前記通信網を介して受信させ、
前記コンテンツの再生時において、受信した前記反応音声データに基づいて、音声出力手段に前記反応音声を出力させる
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１１】
コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データを受信する受信手段と、
複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施す音声処理手段と、
前記音声処理が施された複数の前記音声データを加算して、反応音声の反応音声データを生成する加算手段と、
前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記装置に送信する送信手段と
を備える情報処理装置。
【請求項１２】
前記加算手段は、複数のユーザからなるグループごとに異なる前記音声処理が施された前記音声データを加算することで、前記グループごとに前記反応音声データを生成する
請求項１１に記載の情報処理装置。
【請求項１３】
前記加算手段は、前記反応音声の再生時において、前記音声処理が施された前記音声データの各音声が弁別できないように、前記音声処理が施された前記音声データを充分小さいゲインで加算することで、前記反応音声データを生成する
請求項１１に記載の情報処理装置。
【請求項１４】
コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データを受信する受信手段と、
複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施す音声処理手段と、
前記音声処理が施された複数の前記音声データを加算して、反応音声の反応音声データを生成する加算手段と、
前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記装置に送信する送信手段と
を備える情報処理装置の情報処理方法であって、
前記受信手段が、前記音声データを受信し、
前記音声処理手段が、前記音声データに前記音声処理を施し、
前記加算手段が、前記反応音声データを生成し、
前記送信手段が、前記反応音声データを送信する
ステップを含む情報処理方法。
【請求項１５】
コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データを受信させ、
複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、
前記音声処理が施された複数の前記音声データを加算して、反応音声の反応音声データを生成し、
前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記装置に送信させる
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１６】
通信網を介して接続されたクライアントとサーバとからなる情報処理システムであって、
前記クライアントは、
コンテンツの再生を制御する再生制御手段と、
前記コンテンツの再生時において、周囲にいるユーザが前記コンテンツに対する反応として発した音声を収音する収音手段と、
前記収音手段により収音された音声の音声データをＵＤＰパケットに格納し、前記通信網を介して前記サーバに送信する第１の送信手段と、
複数の前記クライアントから送信された前記音声データに基づいて生成された反応音声の反応音声データを、前記サーバから受信する第１の受信手段と、
前記コンテンツの再生時において、受信した前記反応音声データに基づいて前記反応音声を出力する音声出力手段と
を備え、
前記サーバは、
前記クライアントから送信された、前記音声データを受信する第２の受信手段と、
複数の前記クライアントから送信された前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施す音声処理手段と、
前記音声処理が施された複数の前記音声データを加算して、前記反応音声データを生成する加算手段と、
前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記クライアントに送信する第２の送信手段と
を備える
情報処理システム。
【請求項１】
コンテンツの再生を制御する再生制御手段と、
前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データを、前記通信網を介して受信する受信手段と、
前記コンテンツの再生時において、受信した前記反応音声データに基づいて前記反応音声を出力する音声出力手段と
を備える情報処理装置。
【請求項２】
前記コンテンツの再生時において、周囲にいるユーザが前記コンテンツに対する反応として発した音声を収音する収音手段と、
前記収音手段により収音された音声の音声データをＵＤＰパケットに格納し、前記通信網を介して前記サーバに送信する送信手段と
をさらに備える請求項１に記載の情報処理装置。
【請求項３】
前記反応音声データは、複数のユーザからなるグループごとに生成される
請求項２に記載の情報処理装置。
【請求項４】
前記送信手段は、前記収音手段により収音された音声の音量が、所定の値以上である場合、前記収音手段により収音された音声の音声データを送信する
請求項２に記載の情報処理装置。
【請求項５】
前記反応音声データは、前記反応音声の再生時において、前記音声処理が施された前記音声データの各音声が弁別できないように、前記音声処理が施された前記音声データを充分小さいゲインで加算することにより生成される
請求項２に記載の情報処理装置。
【請求項６】
前記送信手段は、前記収音手段により収音された音声の前記音声データとともに、前記コンテンツを示す情報を送信し、
前記サーバにおいて、同じ前記コンテンツを示す情報とともに送信されてきた前記音声データに基づいて、前記反応音声データが生成される
請求項２に記載の情報処理装置。
【請求項７】
前記送信手段は、前記コンテンツに対して定められたＵＲＬにより特定される前記サーバに、前記音声データを送信する
請求項２に記載の情報処理装置。
【請求項８】
前記音声出力手段は、前記コンテンツの再生時において、前記コンテンツの音声および前記反応音声を出力する
請求項２に記載の情報処理装置。
【請求項９】
コンテンツの再生を制御する再生制御手段と、
前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データを、前記通信網を介して受信する受信手段と、
前記コンテンツの再生時において、受信した前記反応音声データに基づいて前記反応音声を出力する音声出力手段と
を備える情報処理装置の情報処理方法であって、
前記再生制御手段が前記コンテンツの再生を制御し、
前記受信手段が前記反応音声データを受信し、
前記音声出力手段が前記反応音声を出力する
ステップを含む情報処理方法。
【請求項１０】
コンテンツの再生を制御し、
前記コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音することで得られた音声データを、通信網を介して複数の装置から受信し、受信した複数の前記音声データに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、前記音声処理が施された複数の前記音声データを加算することで反応音声の反応音声データを生成するサーバから送信された、ＵＤＰパケットに格納された前記反応音声データを、前記通信網を介して受信させ、
前記コンテンツの再生時において、受信した前記反応音声データに基づいて、音声出力手段に前記反応音声を出力させる
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１１】
コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データを受信する受信手段と、
複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施す音声処理手段と、
前記音声処理が施された複数の前記音声データを加算して、反応音声の反応音声データを生成する加算手段と、
前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記装置に送信する送信手段と
を備える情報処理装置。
【請求項１２】
前記加算手段は、複数のユーザからなるグループごとに異なる前記音声処理が施された前記音声データを加算することで、前記グループごとに前記反応音声データを生成する
請求項１１に記載の情報処理装置。
【請求項１３】
前記加算手段は、前記反応音声の再生時において、前記音声処理が施された前記音声データの各音声が弁別できないように、前記音声処理が施された前記音声データを充分小さいゲインで加算することで、前記反応音声データを生成する
請求項１１に記載の情報処理装置。
【請求項１４】
コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データを受信する受信手段と、
複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施す音声処理手段と、
前記音声処理が施された複数の前記音声データを加算して、反応音声の反応音声データを生成する加算手段と、
前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記装置に送信する送信手段と
を備える情報処理装置の情報処理方法であって、
前記受信手段が、前記音声データを受信し、
前記音声処理手段が、前記音声データに前記音声処理を施し、
前記加算手段が、前記反応音声データを生成し、
前記送信手段が、前記反応音声データを送信する
ステップを含む情報処理方法。
【請求項１５】
コンテンツの再生時に、ユーザが前記コンテンツに対する反応として発した音声を収音して得られた音声データをＵＤＰパケットに格納して送信する装置から、通信網を介して前記音声データを受信させ、
複数の前記装置から受信した前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施し、
前記音声処理が施された複数の前記音声データを加算して、反応音声の反応音声データを生成し、
前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記装置に送信させる
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１６】
通信網を介して接続されたクライアントとサーバとからなる情報処理システムであって、
前記クライアントは、
コンテンツの再生を制御する再生制御手段と、
前記コンテンツの再生時において、周囲にいるユーザが前記コンテンツに対する反応として発した音声を収音する収音手段と、
前記収音手段により収音された音声の音声データをＵＤＰパケットに格納し、前記通信網を介して前記サーバに送信する第１の送信手段と、
複数の前記クライアントから送信された前記音声データに基づいて生成された反応音声の反応音声データを、前記サーバから受信する第１の受信手段と、
前記コンテンツの再生時において、受信した前記反応音声データに基づいて前記反応音声を出力する音声出力手段と
を備え、
前記サーバは、
前記クライアントから送信された、前記音声データを受信する第２の受信手段と、
複数の前記クライアントから送信された前記音声データのそれぞれに対して、仮想的な１つの会場におけるユーザの位置と前記会場の音響特性とに基づいて音声処理を施す音声処理手段と、
前記音声処理が施された複数の前記音声データを加算して、前記反応音声データを生成する加算手段と、
前記反応音声データをＵＤＰパケットに格納し、前記通信網を介して前記クライアントに送信する第２の送信手段と
を備える
情報処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１２９８００（Ｐ２０１２−１２９８００Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７９５１０（Ｐ２０１０−２７９５１０）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]