コンテンツ再生装置および音声処理システム
【課題】コンテンツを特定し、機器同士での連係動作を実現するコンテンツ再生装置を提供する。
【解決手段】再生装置２は、拡散符号が重畳された音声をマイク２０で集音し、集音した音声信号と重畳側と同じ拡散符号との相関値を算出し、算出した相関値のピーク強度に応じて再生装置１の再生コンテンツを特定する。制御部２２は、特定したコンテンツに関連する自装置で必要なコンテンツを特定する。例えば、必要なコンテンツとしてオーディオデータと楽譜データを特定する（必要なコンテンツの特定はサーバ９にて行う）。制御部２２は、特定したコンテンツデータをコンテンツデータ格納部２５から読み出し、楽譜データを表示部２３に出力し、オーディオデータを再生部２６に出力する。表示部２３は、入力された楽譜データを画面表示し、再生部２６は、入力されたオーディオデータを再生し、音声信号を生成する。
【解決手段】再生装置２は、拡散符号が重畳された音声をマイク２０で集音し、集音した音声信号と重畳側と同じ拡散符号との相関値を算出し、算出した相関値のピーク強度に応じて再生装置１の再生コンテンツを特定する。制御部２２は、特定したコンテンツに関連する自装置で必要なコンテンツを特定する。例えば、必要なコンテンツとしてオーディオデータと楽譜データを特定する（必要なコンテンツの特定はサーバ９にて行う）。制御部２２は、特定したコンテンツデータをコンテンツデータ格納部２５から読み出し、楽譜データを表示部２３に出力し、オーディオデータを再生部２６に出力する。表示部２３は、入力された楽譜データを画面表示し、再生部２６は、入力されたオーディオデータを再生し、音声信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、コンテンツを再生するコンテンツ再生装置およびこのコンテンツ再生装置を用いた音声処理システムに関する。
【背景技術】
【０００２】
従来、オーディオデータに曲情報を電子透かしとして重畳し、受信側の機器でコンテンツを特定するものが提案されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３１４９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の受信側の装置は、単にコンテンツを特定するだけであり、機器同士で何らかの連係動作を行うものではなかった。
【０００５】
そこで、この発明は、コンテンツを特定し、機器同士での連係動作を可能とするコンテンツ再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明のコンテンツ再生装置は、情報が重畳された音声信号を入力する入力手段と、前記音声信号に含まれる重畳された情報に基づいてコンテンツを特定し、特定したコンテンツに関連し、自装置に必要なコンテンツを特定するコンテンツ特定手段と、前記コンテンツ特定手段で特定したコンテンツを再生する再生手段と、を備えたことを特徴とする。音声信号は、マイクを用いて集音したものを入力するようにしてもよいし、オーディオケーブルを用いてライン伝送されたものを入力するようにしてもよい。また、コンテンツの再生は、音声だけでなく、画像表示等の概念も含むものである。
【０００７】
このように、音声信号にコンテンツを特定するための情報が重畳されていれば、この情報を復調することで他の機器で再生されているコンテンツを特定することができる。例えば、データ重畳の手段として位相変調を使う場合、変調側ではコンテンツを特定するための情報（コンテンツ特定情報）のビットデータ（０，１）で拡散符号を位相変調（正負反転）し、復調側では、相関値のピークの正負判定を行うことでビットデータを復号することができる。
【０００８】
そして、コンテンツ再生装置は、復号したビットデータに基づいてコンテンツを特定し、特定したコンテンツに関連した自装置に必要なコンテンツを特定し、再生する。自装置に必要なコンテンツは、他の機器で再生されているコンテンツと同じコンテンツであってもよいし、異なるコンテンツ（例えば、オーディオデータに対し楽譜データ等）であってもよい。例えば、他の機器がピアノ演奏の音声（コンテンツ特定情報が重畳された音声）を放音している場合において、本発明の再生装置でピアノ音を集音すると、このピアノ音に関連したコンテンツとして伴奏音が再生される、という態様が可能である。
【０００９】
また、コンテンツ特定手段は、再生手段が再生可能であるコンテンツに応じて必要なコンテンツを特定する態様であってもよい。例えば、自装置がオーディオデータを再生することが可能なデジタルオーディオプレーヤであれば、コンテンツとしてオーディオデータを特定する。また、自装置が自動演奏装置であれば必要なコンテンツとしてＭＩＤＩデータを特定する態様も可能であるし、表示部を備えた装置であれば、楽譜データを必要なコンテンツとして特定する態様も可能である。
【００１０】
また、重畳される情報には、コンテンツの再生タイミングを示す同期情報が含まれていてもよい。例えば、送信側でＭＩＤＩに準じた基準クロックを同期情報として重畳しておけば、受信側では、復号した基準クロックでシーケンサを作動させることにより自動演奏を行うことができ、他の機器で再生するコンテンツと自装置で再生するコンテンツとを同期させることができる。例えば、他の機器がＭＩＤＩデータを再生した自動演奏楽器（例えば自動演奏ピアノ）である状況で、本発明の再生装置を近づけてピアノ音を集音すると、このピアノ音に同期した伴奏音が再生される。また、本発明の再生装置に表示部が内蔵されていれば、ピアノ音に同期して楽譜とその再生位置を表示することもでき、曲の進行に合わせて譜めくりを行うこともできる。
【００１１】
また、上記コンテンツ再生装置において、自装置が再生する音声に新たな情報を重畳する重畳手段を備えている態様も可能である。この場合、複数のコンテンツ再生装置で連携したコンテンツ再生が可能となる。例えば、外出先のお店で他の装置からコンテンツ情報を取得し、自宅において自装置でコンテンツ情報を再重畳することにより、時間・場所を越えて機器間の連携が可能となる。
【００１２】
また、復調した情報や、自装置が再生可能であるコンテンツを示す情報（例えば表示部の有無等、自装置の機能を示す情報）をサーバに送信し、サーバ側で関連コンテンツを抽出するようにしてもよい。
【発明の効果】
【００１３】
この発明によれば、特定したコンテンツに関連し、自装置に必要な関連コンテンツを取得、再生するため、機器同士での連係動作が可能となる。
【図面の簡単な説明】
【００１４】
【図１】音声処理システムの主要構成を示すブロック図である。
【図２】再生装置１の構成を示すブロック図である。
【図３】再生装置２の構成を示すブロック図である。
【図４】コンテンツデータ格納部および曲情報格納部のデータベースを示す図である。
【図５】再生装置３の構成を示すブロック図である。
【図６】応用例１に係る音声処理システムの構成を示すブロック図である。
【図７】応用例１に係る再生装置５の構成を示すブロック図である。
【図８】応用例２に係る音声処理システムの構成を示すブロック図である。
【図９】応用例２に係る再生装置６の構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
図１（Ａ）は、本発明の実施形態に係る音声処理システムの構成を示す図である。音声処理システムは、ネットワーク７を介して接続されている再生装置１、再生装置２、再生装置３、およびサーバ９を備えている。再生装置１には、スピーカ１０が接続され、再生装置２には、マイク２０が接続され、再生装置３にはマイク３０が接続されている。再生装置１は、所定のコンテンツを再生してスピーカ１０から音声を放音する（例えば、ピアノ演奏の音声を放音する）。
【００１６】
マイク２０およびマイク３０は、各再生装置に内蔵されたものであってもよいし、ライン端子を介して外付けされるものであってもよい。また、図１（Ｂ）に示すように、マイクを使わずにオーディオケーブルを用いて再生装置間を接続してもよい。マイク２０およびマイク３０は、それぞれ聴取音（スピーカ１０の放音音声）を集音し、集音した音声信号を再生装置２および再生装置３に出力する。再生装置２および再生装置３は、入力した音声信号に重畳されている情報に基づいて再生装置１の再生しているコンテンツを特定し、再生装置１の再生コンテンツに関連し、自装置で必要なコンテンツを再生する。自装置に必要なコンテンツが無い場合は、ネットワーク経由でコンテンツを取得し、再生する。これにより、音声処理システムは、機器同士での連携動作を行うものである。例えば、再生装置１がピアノ演奏の音声（コンテンツを特定するための情報が重畳された音声）を放音している場合において、再生装置２でピアノ音を集音すると、このピアノ音に関連したコンテンツとして伴奏音が再生される、という動作を行う。
【００１７】
図２（Ａ）は、再生装置１およびサーバ９の構成を示すブロック図である。再生装置１は、制御部１１、コンテンツデータ格納部１２、再生部１３、重畳部１４、および通信部１５を備えている。サーバ９は、通信部９１、制御部９２、および曲情報格納部９３を備えている。
【００１８】
制御部１１には、コンテンツデータ格納部１２からコンテンツデータが入力される。コンテンツデータは、曲名や歌手名等の曲情報が含まれたデータであり、ＭＰ３等の圧縮データやＭＩＤＩデータ等からなる。この例では、自装置内にコンテンツデータを格納する例を示しているが、放送波として外部から受信するようにしてもよいし、ネットワークを介して外部から（例えばサーバ９から）受信するようにしてもよい。また、ＣＤ等のメディアからＰＣＭデータとＴＯＣを取得する態様であってもよい。
【００１９】
制御部１１は、読み出したコンテンツデータを再生部１３に入力する。再生部１３は、入力されたコンテンツデータを再生し、音声信号を生成する。コンテンツデータが圧縮オーディオである場合、再生部１３は、音声信号にデコードし、重畳部１４に出力する。コンテンツデータがＭＩＤＩデータである場合、再生部１３は、音源（不図示）を制御して楽音（音声信号）を発生し、重畳部１４に出力する。
【００２０】
また、制御部１１は、再生するコンテンツを特定するための情報（コンテンツ特定情報）を重畳部１４に入力し、出力する音声信号に重畳する。コンテンツ特定情報は、上述の曲情報や曲ＩＤ等からなる。曲ＩＤは、曲毎に割り当てられた固有ＩＤである。制御部１１は、コンテンツデータから取得した曲情報を、通信部１５を介してサーバ９に送信し、曲ＩＤを取得する。すなわち、サーバ９は、曲情報格納部９３に曲情報と曲ＩＤを対応付けたデータベース（図４を参照）を構築しており、制御部９２が通信部９１を介して受信した曲情報で曲情報格納部９３を参照し、曲ＩＤを割り出す。割り出した曲ＩＤは、再生装置１の制御部１１に送信される。なお、曲情報格納部９３は、ＣＤＤＢ等のデータベースも構築しており、制御部１１がメディアからＴＯＣを取得した場合、ＴＯＣをサーバ９に送信することで、曲情報を取得する。
【００２１】
重畳部１４は、再生部１３から入力される音声信号に、制御部１１から入力されたコンテンツ特定情報を例えば変調して重畳する。変調成分が重畳された音声信号は、スピーカ１０から放音される。
【００２２】
重畳部１４の重畳方式は、どの様な方式であってもよいが、変調成分が聴取し難いような手法を用いることが好ましい。例えば、Ｍ系列やＧｏｌｄ系列等の拡散符号（ＰＮ符号）を、聴感上違和感のない微弱なレベルで高帯域に重畳する。なお、コンテンツデータに予め拡散符号等により情報が重畳されている場合、再生装置１の構成としては、重畳部１４が不要となる。
【００２３】
図２（Ｂ）は、重畳部１４の構成の一例を示すブロック図である。重畳部１４は、ＬＰＦ１４０、加算器１４１、拡散符号発生部１４２、乗算器１４４、ＸＯＲ回路１４５、遅延器１４６、ＬＰＦ１４７、乗算器１４８、およびキャリア信号発生器１４９を備えている。
【００２４】
拡散符号発生部１４２は、制御部１１の指示に従って、定期的にＭ系列等の拡散符号を発生する。拡散符号発生部１４２が生成する拡散符号とコンテンツ特定情報（−１，１に２値化した符号列）は、乗算器１４４で乗算される。これにより、拡散符号を位相変調する。すなわち、ビットデータが１の場合には位相が正転、ビットデータが０の場合には位相が反転した拡散符号となる。
【００２５】
位相変調後の拡散符号は、ＸＯＲ回路１４５に入力される。ＸＯＲ回路１４５は、乗算器１４４から入力された符号と遅延器１４６を経て入力された１サンプル前の出力符号の排他的論理和を出力する。差動符号化後の信号は、−１，１で２値化しておくものとする。−１，１に２値化した差動符号を出力することで、復調側では、連続する２サンプルの差動符号を乗算することにより差動符号化前の拡散符号を抽出することができる。
【００２６】
そして、差動符号化した拡散符号は、ＬＰＦ１４７においてベースバンド内で帯域制限され、乗算器１４８に入力される。乗算器１４８は、キャリア信号発生器１４９が出力するキャリア信号（コンテンツの音声信号より高域のキャリア信号）とＬＰＦ１４７の出力信号を乗算し、差動符号化後の拡散符号をパスバンドに周波数シフトする。なお、差動符号化後の拡散符号は、アップサンプリングしてから周波数シフトしてもよい。周波数シフトされた後の拡散符号は、加算器１４１でコンテンツの音声信号と合成される。コンテンツの音声信号は、ＬＰＦ１４０で拡散符号の周波数成分と異なる帯域に制限されている。
【００２７】
なお、拡散符号の重畳帯域は、２０ｋＨｚ以上の非可聴域にすることが望ましいが、Ｄ／Ａ変換や圧縮オーディオのエンコード等により非可聴域が使えない構成の場合、例えば１０〜１５ｋＨｚ程度の帯域であっても、聴感上の影響は少なくすることができる。また、この例では、ＬＰＦ１４０でコンテンツの音声信号と拡散符号の帯域を完全に分割する態様としているが、コンテンツの音声信号と疑似ノイズの周波数成分が若干重複していたとしても、聴取者に変調信号が聞こえにくく、かつ集音側で変調成分を復調する程度のＳＮ比を確保することは可能である。
【００２８】
再生装置２および再生装置３は、それぞれ、拡散符号が重畳された音声をマイク２０およびマイク３０で集音し、集音した音声信号と、重畳部１４と同じ拡散符号と、の相関値を算出し、算出した相関値のピークに基づいてコンテンツ特定情報を復号する。
【００２９】
図３（Ａ）は、再生装置２の構成を示すブロック図である。再生装置２は、通信部２１、制御部２２、表示部２３、復調部２４、コンテンツデータ格納部２５、再生部２６、およびスピーカ２７を備えている。復調部２４は、マイク２０から入力された音声信号に重畳されている情報を復調し、コンテンツ特定情報を復号する。この例では、再生装置が表示部と再生部を両方備えた例を示しているが、どちらか片方だけ備えた構成であってもよい。
【００３０】
図３（Ｂ）は、復調部２４の構成を示すブロック図である。復調部２４は、ＨＰＦ２４１、遅延器２４２、乗算器２４３、ＬＰＦ２４４、相関器２４５、ピーク検出部２４６、および符号判定部２４７を備えている。マイク２０が集音した音声は、ＨＰＦ２４１に入力される。ＨＰＦ２４１は、コンテンツの音声信号成分を除去するためのフィルタである。ＨＰＦ２５１の出力信号は、遅延器２４２および乗算器２４３に入力される。
【００３１】
遅延器２４２の遅延量は、差動符号の１サンプル分の時間に設定される。差動符号をアップサンプリングしている場合、アップサンプリング後の１サンプル分の時間に設定される。乗算器２４３は、ＨＰＦ２４１から入力される信号と、遅延器２４２から出力される１サンプル前の信号とを乗算し、遅延検波処理を行う。差動符号化された信号は、−１，１に２値化されており、１サンプル前の符号からの位相変化を示したものであるため、１サンプル前の信号と乗算することにより、差動符号化前の拡散符号が抽出される。
【００３２】
そして、乗算器２４３の出力信号は、ＬＰＦ２４４を経てベースバンド信号として抽出され、相関器２４５に入力される。相関器２４５は、フィルタ係数として拡散符号発生部１４２で発生する拡散符号が設定されたＦＩＲフィルタ（マッチドフィルタ）からなり、入力された音声信号と拡散符号との相関値を求める。拡散符号は、Ｍ系列やＧｏｒｄ系列等の自己相関性が高い符号を用いているため、相関器２４５が出力する相関値は、ピーク検出部２４６で拡散符号の周期（データ符号の周期）で正負のピーク成分が抽出される。符号判定部２４７は、各ピーク成分をコンテンツ特定情報のデータ符号（正のピークを１，負のピークを０）として復号する。
【００３３】
復号されたコンテンツ特定情報のうち、曲名・作曲者名・演奏者名等の曲情報は、表示部２３に入力され、画面表示される。曲ＩＤは、制御部２２に入力され、コンテンツの特定に用いられる。制御部２２は、入力した曲ＩＤに応じてコンテンツを特定し、特定したコンテンツに関連する自装置で必要なコンテンツ（再生装置１と同じコンテンツ、自装置特有なコンテンツ、または楽譜データ等のコンテンツ）を特定する。例えば、再生装置が図２（Ａ）に示すような、オーディオデータ再生機能と画面表示機能を備えたものである場合、必要なコンテンツとしてオーディオデータと楽譜データを特定する。
【００３４】
すなわち、制御部２２は、曲ＩＤに対応する関連コンテンツデータ（オーディオデータおよび楽譜データ）をコンテンツデータ格納部２５から検索する。図４（Ａ）に示すように、コンテンツデータ格納部２５には自装置が再生可能であるコンテンツデータと、それに対応した曲ＩＤ、曲情報を記憶している。制御部２２は、対応するコンテンツデータが見つかった場合は、コンテンツデータ格納部２５から読み出し、楽譜データを表示部２３に出力し、オーディオデータを再生部２６に出力する。表示部２３は、入力された楽譜データを画面表示し、再生部２６は、入力されたオーディオデータを再生し、音声信号を生成する。生成した音声信号は、スピーカ２７に出力され、音声として放音される。
【００３５】
制御部２２は、曲ＩＤに対応したデータがコンテンツデータ格納部２５に無い場合、必要なコンテンツを特定するために、通信部２１を介して接続されているサーバ９に、復号した曲ＩＤおよび自装置の再生機能（オーディオ再生機能、楽譜表示機能、自動演奏機能等（自装置で再生可能な楽器パート情報等を含む。））を示す情報（再生可能コンテンツ情報とする。）を送信する。図２（Ａ）の構成の場合、制御部２２は、復号した曲ＩＤと、オーディオ再生および楽譜表示が可能である旨を示す再生可能コンテンツ情報と、をサーバ９に送信する。
【００３６】
サーバ９の制御部９２は、通信部９１を介して受信した各種情報で曲情報格納部９３を参照し、再生装置２に必要なコンテンツを特定するための情報である関連コンテンツ情報を抽出する。図４（Ｂ）に示すように、曲情報格納部９３には、曲ＩＤ毎に曲情報や各種関連コンテンツ情報を対応付けたデータベースが記憶されている。関連コンテンツ情報は、曲情報やオーディオデータ、楽譜データ、楽曲データ（ＭＩＤＩデータ）等からなる。
【００３７】
制御部９２は、受信した曲ＩＤと再生可能コンテンツ情報に基づいて、関連コンテンツを取得する。図２（Ａ）の例では、再生装置２から、オーディオ再生および楽譜表示が可能である旨を示す再生可能コンテンツ情報が送信されるため、受信した曲ＩＤに対応付けられているオーディオデータおよび楽譜データを取得する。取得したコンテンツは、再生装置２の制御部２２に送信され、コンテンツデータ格納部２５に保存される。
【００３８】
制御部２２は、サーバ９から取得した楽譜データを表示部２３に出力し、オーディオデータを再生部２６に出力する。表示部２３は、入力された楽譜データを画面表示し、再生部２６は、入力されたオーディオデータを再生し、音声信号を生成する。生成した音声信号は、スピーカ２７に出力され、音声として放音される。
【００３９】
一方、制御部２２は、図５に示す再生装置３のように、自装置が自動演奏機能を備えた機器である場合、復号した曲ＩＤに対応した楽曲データ（ＭＩＤＩデータ）をコンテンツデータ格納部２５から検索し、見つかった場合は、この楽曲データ（ＭＩＤＩデータ）を読み出し、自動演奏部３６に出力する。コンテンツデータ格納部２５に対応するコンテンツが無い場合、復号した曲ＩＤと、自動演奏が可能である旨を示す再生可能コンテンツ情報と、をサーバ９に送信する。再生装置３は、図４（Ａ）に示した再生装置２から表示部２３が省略され、再生部２６に代えて自動演奏部３６を備えたものである。
【００４０】
この場合、サーバ９の制御部９２は、再生装置３から、自動演奏が可能である旨を示す再生可能コンテンツ情報が送信されるため、特定した曲ＩＤに対応付けられている楽曲データ（ＭＩＤＩデータ）を取得する。取得した楽曲データ（ＭＩＤＩデータ）は、再生装置３の制御部２２に送信され、コンテンツデータ格納部２５に保存される。再生装置３の制御部２２は、サーバ９から送信された楽曲データ（ＭＩＤＩデータ）を自動演奏部３６に出力する。自動演奏部３６は、入力された楽曲データ（ＭＩＤＩデータ）をシーケンスし、音声信号を生成する。生成した音声信号は、スピーカ２７に出力され、音声として放音される。
【００４１】
以上のようにして、本実施形態の音声処理システムでは、あるコンテンツを再生する再生装置１で変調成分が含まれた音声が放音されると、この音声を集音した他の再生装置で関連コンテンツが再生されるため、機器同士での連携動作を行うことができる。例えば、再生装置１がピアノ演奏の音声を放音している場合において、再生装置２でピアノ音を集音すると、表示部２３にこのピアノ音のコンテンツ情報が表示されるとともに、このピアノ音に関連したコンテンツとして楽譜データが表示され、伴奏音（ストリングス音やリズム音等）が再生される。また、再生装置３でも伴奏音が自動演奏により放音される。
【００４２】
なお、再生装置１の重畳部１４は、コンテンツ特定情報に限らず、他の情報を重畳してもよい。例えば、コンテンツの再生タイミングを示す同期情報を重畳し、再生装置１、再生装置２、再生装置３でコンテンツの同期再生を行ってもよい。
【００４３】
同期再生を行う場合、再生装置１が再生開始からの時間経過を示す情報を同期情報として重畳し、再生装置２および再生装置３がこの時間経過を示す情報に応じてコンテンツを再生するように構成してもよいが、コンテンツデータがＭＩＤＩデータに準じた形式である場合、上記拡散符号のピーク抽出タイミングを基準クロックとして用い、同期再生を行うことも可能である。この場合、制御部１１は、基準クロックの時間間隔で拡散符号を出力するように重畳部１４に設定する。再生装置２の再生部２６や再生装置３の自動演奏部３６は、定期的に算出される相関値のピークを基準クロックとしてシーケンサを作動させ、自動演奏を行うことが可能である。
【００４４】
なお、楽音発生タイミングと基準クロックとの時間差に関する情報を重畳しておけば、復調側でさらに高精度な同期再生を行うことができる。また、ノートナンバやベロシティ等の演奏情報も重畳しておけば、復調側でＭＩＤＩデータを記憶していなくとも、自動演奏を行うことができる。
【００４５】
このように同期再生を行う場合、再生装置１がピアノパートの音を放音し、再生装置２がストリングスパートの音を放音しながら楽譜表示を行い、再生装置３がドラムパートの音を放音する、といった機器間の連係動作が可能となる。また、楽譜表示では、現時点の再生タイミング（曲の進行具合）を表示することも可能となる。
【００４６】
なお、上述の例では、再生装置１がコンテンツを再生してスピーカ１０から音声として放音する構成を示したが、再生装置１に自動演奏楽器（例えば自動演奏ピアノ）を接続し、自動演奏楽器から楽音を発生させる態様とすることも可能である。自動演奏ピアノは、入力されたＭＩＤＩデータに応じて、ピアノ内部のキーアクションに取り付けられたソレノイドを作動させて打鍵を行うアコースティック楽器である。この場合、再生装置１は、スピーカ１０から変調音声だけを出力する。
【００４７】
また、上記実施形態では、各装置内にコンテンツデータを格納している例を示しているが、コンテンツデータは、放送波として外部から受信するようにしてもよいし、ネットワークを介して（例えばサーバ９から）受信するようにしてもよい。また、ＣＤ等のメディアからＰＣＭデータを取得する態様であってもよい。
【００４８】
特に、ネットワークを介してコンテンツデータを受信する場合、特定したコンテンツに課金処理を行い、決済後にコンテンツデータをダウンロードするように構成することも可能である。課金処理を行うサーバやコンテンツデータを格納するサーバが上述のサーバ９と同一である場合、曲ＩＤをサーバ９に送信することでコンテンツの特定、課金処理をまとめて行うことが可能である。課金処理を行うサーバが別の課金処理用サーバである場合、曲ＩＤをサーバ９に送信して課金処理用サーバで参照される課金専用の固有ＩＤに変換し、課金処理やダウンロードを行うように構成すればよい。
【００４９】
＜＜応用例１＞＞
次に、図６は、応用例１に係る音声処理システムの構成を示すブロック図である。この場合、音声処理システムは、ネットワーク７を介して接続される再生装置１、再生装置２、再生装置５、およびサーバ９からなる。再生装置５には、マイク５０およびスピーカ５１が接続されている。ただし、マイク５０やスピーカ５１は再生装置５に内蔵されている態様でも可能である。
【００５０】
再生装置１、再生装置２、再生装置５は、同時に同じ地点に存在してもよいが、この例では、再生装置５が携帯型の機器であり、まず再生装置５を再生装置１と同じ地点Ａに設置して再生装置５に音声信号を入力し、その後、再生装置５を移動させて、再生装置２と同じ地点Ｂに設置して再生装置２に音声信号を入力する構成として説明する。
【００５１】
図７は、再生装置５およびサーバ９の構成を示すブロック図である。再生装置５は、図３（Ａ）に示した再生装置３の構成に加え、再生部２６から入力される音声信号に新たな変調成分（コンテンツ特定情報）を重畳する重畳部２８を備え、新たな変調成分が重畳された音声をスピーカ５１から放音する構成である。
【００５２】
重畳部２８の構成は、図２（Ｂ）に示した重畳部１４の構成と同様である。この場合、再生装置５は、再生するコンテンツ（オーディオデータ）の音声信号に、復調部２４で復調したコンテンツ特定情報を再び重畳し、音声として放音する機能を有する。つまり、地点Ａ（例えば外出先）で再生装置１が再生するコンテンツ（例えば有線放送など）を集音してコンテンツを特定し、その後、地点Ｂ（例えば自宅）において関連コンテンツ（例えば放送されていたコンテンツと同じオーディオデータ）を再生すると、再生装置２でさらに関連コンテンツが再生される。このようにして、リレー式に関連コンテンツを連携再生させることも可能である。
【００５３】
なお、再生装置５で重畳する拡散符号は、再生装置１で重畳する拡散符号と同じ拡散符号であってもよいし、異なる拡散符号であってもよい。ただし、再生装置１と異なる拡散符号を用いる場合、復調側（再生装置２）では、再生装置５で重畳される拡散符号を記憶しておくものとする。
【００５４】
また、再生装置５の制御部２２は、マイク５０で集音した音声信号から、ＬＰＦ介してコンテンツの音声信号のみを抽出し、録音データとしてコンテンツデータ格納部２５に記録しておくことも可能である。この場合、録音したデータを再生にコンテンツ特定情報を再び重畳し、変調成分が含まれた音声を放音することが可能である。なお、ＬＰＦは必須ではなく、拡散符号が含まれた音声信号をそのままコンテンツデータ格納部２５に録音しておき、後に再生出力するようにしてもよい。この場合、重畳部２８の構成は必須ではない。
【００５５】
＜＜応用例２＞＞
図８は、応用例２に係る音声処理システムの構成を示すブロック図である。この場合、音声処理システムは、ネットワーク７を介して接続される再生装置１、再生装置２、再生装置６、およびサーバ９からなる。再生装置６には、マイク６０およびスピーカ６１が接続されている。ただし、マイク６０やスピーカ６１は再生装置６に内蔵されている態様でも可能である。
【００５６】
応用例２の音声処理システムでは、再生装置６が集音した音声信号を分析サーバ（サーバ９と同一でも他のサーバでもよい。）に送信し、サーバ側で復調やコンテンツの特定を行うものである。応用例２では、サーバ９に分析機能を追加した例として説明する。
【００５７】
図９は、応用例２に係る再生装置６およびサーバ９の構成を示すブロック図である。再生装置６は、一般的なデジタルオーディオプレーヤであり、図３（Ａ）に示した再生装置２から、復調部２４が省略されたものに等しい構成である。
【００５８】
この場合、制御部２２は、マイク６０で集音した音声信号（あるいはエンコードしたデータ）を通信部２１を介してサーバ９に送信する。また、制御部２２は、自装置が再生可能であるコンテンツを示す情報（再生可能コンテンツ情報）を送信する。
【００５９】
サーバ９は、復調部２４と同様の構成、機能を有した復調部９４を備えており、制御部９２は、受信した音声信号を復調部９４に入力してコンテンツ特定情報を復号する。そして、制御部９２は、復号したコンテンツ特定情報を再生装置６の制御部２２に送信する。また、制御部９２は、復号したコンテンツ特定情報に含まれる曲ＩＤと再生装置６から受信した再生可能コンテンツ情報に基づいて、関連コンテンツ情報（コンテンツＩＤ）を抽出し、再生装置６の制御部２２に送信する。
【００６０】
制御部２２は、受信したコンテンツ特定情報に含まれる曲情報を表示部２３に表示する。また、制御部２２は、受信したコンテンツＩＤに対応するコンテンツデータ（オーディオデータおよび楽譜データ）をコンテンツデータ格納部２５から検索し、見つかった場合はこのコンテンツデータを読み出し、再生部２６に出力する。コンテンツデータ格納部２５にデータが見つからない場合はサーバ９から関連コンテンツをダウンロードする。表示部２３は、入力された楽譜データを画面表示し、再生部２６は、入力されたコンテンツデータを再生し、音声信号を生成する。生成した音声信号は、スピーカ６１に出力され、音声として放音される。
【００６１】
また、再生装置６の制御部２２は、マイク６０で集音した音声信号を録音データとしてコンテンツデータ格納部２５に記録しておく。この場合、拡散符号が含まれた音声信号をそのままコンテンツデータ格納部２５に録音しておく。そして、地点Ｂ（例えば自宅）において録音データを再生すると、再生装置２で関連コンテンツが再生される。
【００６２】
このように、再生装置６は、集音した音声信号を送信し、分析結果を受信して動作を行う態様とすることで、一般的なデジタルオーディオプレーヤを用いて本発明のコンテンツ再生装置を実現することが可能となる。
【００６３】
なお、上記の例では、全ての再生装置がスピーカを用いて音声を放音し、マイクを用いて音声信号を生成し、空間放音を用いて音声を伝送する例を示したが、ライン接続によりオーディオ信号を伝送する態様としてもよい。
【００６４】
また、本実施形態では、再生装置が再生可能であるコンテンツを示す情報をサーバに送信する例を示したが、再生装置を特定する情報（再生装置に固有のＩＤ等）を送信するようにしてもよい。この場合、サーバでは、再生装置毎に再生可能であるコンテンツを示す情報をデータベースとして記憶しておき、受信した再生装置を特定する情報でデータベースを参照することにより、その再生装置で再生可能であるコンテンツを特定することができる。
【００６５】
また、再生可能なコンテンツを示す情報と、再生装置を特定する情報と、を両方送信するようにしてもよい。この場合、再生装置の動作状態により、再生可能であるコンテンツが変化する状況においても適切なコンテンツが特定される。
【符号の説明】
【００６６】
１，２，３…再生装置
７…ネットワーク
９…サーバ
１０…スピーカ
１１…制御部
１２…コンテンツデータ格納部
１３…再生部
１４…重畳部
１５…通信部
２０…マイク
２１…通信部
２２…制御部
２３…表示部
２４…復調部
２５…コンテンツデータ格納部
２６…再生部
２７…スピーカ
２８…重畳部
３０…マイク
【技術分野】
【０００１】
この発明は、コンテンツを再生するコンテンツ再生装置およびこのコンテンツ再生装置を用いた音声処理システムに関する。
【背景技術】
【０００２】
従来、オーディオデータに曲情報を電子透かしとして重畳し、受信側の機器でコンテンツを特定するものが提案されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３１４９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の受信側の装置は、単にコンテンツを特定するだけであり、機器同士で何らかの連係動作を行うものではなかった。
【０００５】
そこで、この発明は、コンテンツを特定し、機器同士での連係動作を可能とするコンテンツ再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明のコンテンツ再生装置は、情報が重畳された音声信号を入力する入力手段と、前記音声信号に含まれる重畳された情報に基づいてコンテンツを特定し、特定したコンテンツに関連し、自装置に必要なコンテンツを特定するコンテンツ特定手段と、前記コンテンツ特定手段で特定したコンテンツを再生する再生手段と、を備えたことを特徴とする。音声信号は、マイクを用いて集音したものを入力するようにしてもよいし、オーディオケーブルを用いてライン伝送されたものを入力するようにしてもよい。また、コンテンツの再生は、音声だけでなく、画像表示等の概念も含むものである。
【０００７】
このように、音声信号にコンテンツを特定するための情報が重畳されていれば、この情報を復調することで他の機器で再生されているコンテンツを特定することができる。例えば、データ重畳の手段として位相変調を使う場合、変調側ではコンテンツを特定するための情報（コンテンツ特定情報）のビットデータ（０，１）で拡散符号を位相変調（正負反転）し、復調側では、相関値のピークの正負判定を行うことでビットデータを復号することができる。
【０００８】
そして、コンテンツ再生装置は、復号したビットデータに基づいてコンテンツを特定し、特定したコンテンツに関連した自装置に必要なコンテンツを特定し、再生する。自装置に必要なコンテンツは、他の機器で再生されているコンテンツと同じコンテンツであってもよいし、異なるコンテンツ（例えば、オーディオデータに対し楽譜データ等）であってもよい。例えば、他の機器がピアノ演奏の音声（コンテンツ特定情報が重畳された音声）を放音している場合において、本発明の再生装置でピアノ音を集音すると、このピアノ音に関連したコンテンツとして伴奏音が再生される、という態様が可能である。
【０００９】
また、コンテンツ特定手段は、再生手段が再生可能であるコンテンツに応じて必要なコンテンツを特定する態様であってもよい。例えば、自装置がオーディオデータを再生することが可能なデジタルオーディオプレーヤであれば、コンテンツとしてオーディオデータを特定する。また、自装置が自動演奏装置であれば必要なコンテンツとしてＭＩＤＩデータを特定する態様も可能であるし、表示部を備えた装置であれば、楽譜データを必要なコンテンツとして特定する態様も可能である。
【００１０】
また、重畳される情報には、コンテンツの再生タイミングを示す同期情報が含まれていてもよい。例えば、送信側でＭＩＤＩに準じた基準クロックを同期情報として重畳しておけば、受信側では、復号した基準クロックでシーケンサを作動させることにより自動演奏を行うことができ、他の機器で再生するコンテンツと自装置で再生するコンテンツとを同期させることができる。例えば、他の機器がＭＩＤＩデータを再生した自動演奏楽器（例えば自動演奏ピアノ）である状況で、本発明の再生装置を近づけてピアノ音を集音すると、このピアノ音に同期した伴奏音が再生される。また、本発明の再生装置に表示部が内蔵されていれば、ピアノ音に同期して楽譜とその再生位置を表示することもでき、曲の進行に合わせて譜めくりを行うこともできる。
【００１１】
また、上記コンテンツ再生装置において、自装置が再生する音声に新たな情報を重畳する重畳手段を備えている態様も可能である。この場合、複数のコンテンツ再生装置で連携したコンテンツ再生が可能となる。例えば、外出先のお店で他の装置からコンテンツ情報を取得し、自宅において自装置でコンテンツ情報を再重畳することにより、時間・場所を越えて機器間の連携が可能となる。
【００１２】
また、復調した情報や、自装置が再生可能であるコンテンツを示す情報（例えば表示部の有無等、自装置の機能を示す情報）をサーバに送信し、サーバ側で関連コンテンツを抽出するようにしてもよい。
【発明の効果】
【００１３】
この発明によれば、特定したコンテンツに関連し、自装置に必要な関連コンテンツを取得、再生するため、機器同士での連係動作が可能となる。
【図面の簡単な説明】
【００１４】
【図１】音声処理システムの主要構成を示すブロック図である。
【図２】再生装置１の構成を示すブロック図である。
【図３】再生装置２の構成を示すブロック図である。
【図４】コンテンツデータ格納部および曲情報格納部のデータベースを示す図である。
【図５】再生装置３の構成を示すブロック図である。
【図６】応用例１に係る音声処理システムの構成を示すブロック図である。
【図７】応用例１に係る再生装置５の構成を示すブロック図である。
【図８】応用例２に係る音声処理システムの構成を示すブロック図である。
【図９】応用例２に係る再生装置６の構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
図１（Ａ）は、本発明の実施形態に係る音声処理システムの構成を示す図である。音声処理システムは、ネットワーク７を介して接続されている再生装置１、再生装置２、再生装置３、およびサーバ９を備えている。再生装置１には、スピーカ１０が接続され、再生装置２には、マイク２０が接続され、再生装置３にはマイク３０が接続されている。再生装置１は、所定のコンテンツを再生してスピーカ１０から音声を放音する（例えば、ピアノ演奏の音声を放音する）。
【００１６】
マイク２０およびマイク３０は、各再生装置に内蔵されたものであってもよいし、ライン端子を介して外付けされるものであってもよい。また、図１（Ｂ）に示すように、マイクを使わずにオーディオケーブルを用いて再生装置間を接続してもよい。マイク２０およびマイク３０は、それぞれ聴取音（スピーカ１０の放音音声）を集音し、集音した音声信号を再生装置２および再生装置３に出力する。再生装置２および再生装置３は、入力した音声信号に重畳されている情報に基づいて再生装置１の再生しているコンテンツを特定し、再生装置１の再生コンテンツに関連し、自装置で必要なコンテンツを再生する。自装置に必要なコンテンツが無い場合は、ネットワーク経由でコンテンツを取得し、再生する。これにより、音声処理システムは、機器同士での連携動作を行うものである。例えば、再生装置１がピアノ演奏の音声（コンテンツを特定するための情報が重畳された音声）を放音している場合において、再生装置２でピアノ音を集音すると、このピアノ音に関連したコンテンツとして伴奏音が再生される、という動作を行う。
【００１７】
図２（Ａ）は、再生装置１およびサーバ９の構成を示すブロック図である。再生装置１は、制御部１１、コンテンツデータ格納部１２、再生部１３、重畳部１４、および通信部１５を備えている。サーバ９は、通信部９１、制御部９２、および曲情報格納部９３を備えている。
【００１８】
制御部１１には、コンテンツデータ格納部１２からコンテンツデータが入力される。コンテンツデータは、曲名や歌手名等の曲情報が含まれたデータであり、ＭＰ３等の圧縮データやＭＩＤＩデータ等からなる。この例では、自装置内にコンテンツデータを格納する例を示しているが、放送波として外部から受信するようにしてもよいし、ネットワークを介して外部から（例えばサーバ９から）受信するようにしてもよい。また、ＣＤ等のメディアからＰＣＭデータとＴＯＣを取得する態様であってもよい。
【００１９】
制御部１１は、読み出したコンテンツデータを再生部１３に入力する。再生部１３は、入力されたコンテンツデータを再生し、音声信号を生成する。コンテンツデータが圧縮オーディオである場合、再生部１３は、音声信号にデコードし、重畳部１４に出力する。コンテンツデータがＭＩＤＩデータである場合、再生部１３は、音源（不図示）を制御して楽音（音声信号）を発生し、重畳部１４に出力する。
【００２０】
また、制御部１１は、再生するコンテンツを特定するための情報（コンテンツ特定情報）を重畳部１４に入力し、出力する音声信号に重畳する。コンテンツ特定情報は、上述の曲情報や曲ＩＤ等からなる。曲ＩＤは、曲毎に割り当てられた固有ＩＤである。制御部１１は、コンテンツデータから取得した曲情報を、通信部１５を介してサーバ９に送信し、曲ＩＤを取得する。すなわち、サーバ９は、曲情報格納部９３に曲情報と曲ＩＤを対応付けたデータベース（図４を参照）を構築しており、制御部９２が通信部９１を介して受信した曲情報で曲情報格納部９３を参照し、曲ＩＤを割り出す。割り出した曲ＩＤは、再生装置１の制御部１１に送信される。なお、曲情報格納部９３は、ＣＤＤＢ等のデータベースも構築しており、制御部１１がメディアからＴＯＣを取得した場合、ＴＯＣをサーバ９に送信することで、曲情報を取得する。
【００２１】
重畳部１４は、再生部１３から入力される音声信号に、制御部１１から入力されたコンテンツ特定情報を例えば変調して重畳する。変調成分が重畳された音声信号は、スピーカ１０から放音される。
【００２２】
重畳部１４の重畳方式は、どの様な方式であってもよいが、変調成分が聴取し難いような手法を用いることが好ましい。例えば、Ｍ系列やＧｏｌｄ系列等の拡散符号（ＰＮ符号）を、聴感上違和感のない微弱なレベルで高帯域に重畳する。なお、コンテンツデータに予め拡散符号等により情報が重畳されている場合、再生装置１の構成としては、重畳部１４が不要となる。
【００２３】
図２（Ｂ）は、重畳部１４の構成の一例を示すブロック図である。重畳部１４は、ＬＰＦ１４０、加算器１４１、拡散符号発生部１４２、乗算器１４４、ＸＯＲ回路１４５、遅延器１４６、ＬＰＦ１４７、乗算器１４８、およびキャリア信号発生器１４９を備えている。
【００２４】
拡散符号発生部１４２は、制御部１１の指示に従って、定期的にＭ系列等の拡散符号を発生する。拡散符号発生部１４２が生成する拡散符号とコンテンツ特定情報（−１，１に２値化した符号列）は、乗算器１４４で乗算される。これにより、拡散符号を位相変調する。すなわち、ビットデータが１の場合には位相が正転、ビットデータが０の場合には位相が反転した拡散符号となる。
【００２５】
位相変調後の拡散符号は、ＸＯＲ回路１４５に入力される。ＸＯＲ回路１４５は、乗算器１４４から入力された符号と遅延器１４６を経て入力された１サンプル前の出力符号の排他的論理和を出力する。差動符号化後の信号は、−１，１で２値化しておくものとする。−１，１に２値化した差動符号を出力することで、復調側では、連続する２サンプルの差動符号を乗算することにより差動符号化前の拡散符号を抽出することができる。
【００２６】
そして、差動符号化した拡散符号は、ＬＰＦ１４７においてベースバンド内で帯域制限され、乗算器１４８に入力される。乗算器１４８は、キャリア信号発生器１４９が出力するキャリア信号（コンテンツの音声信号より高域のキャリア信号）とＬＰＦ１４７の出力信号を乗算し、差動符号化後の拡散符号をパスバンドに周波数シフトする。なお、差動符号化後の拡散符号は、アップサンプリングしてから周波数シフトしてもよい。周波数シフトされた後の拡散符号は、加算器１４１でコンテンツの音声信号と合成される。コンテンツの音声信号は、ＬＰＦ１４０で拡散符号の周波数成分と異なる帯域に制限されている。
【００２７】
なお、拡散符号の重畳帯域は、２０ｋＨｚ以上の非可聴域にすることが望ましいが、Ｄ／Ａ変換や圧縮オーディオのエンコード等により非可聴域が使えない構成の場合、例えば１０〜１５ｋＨｚ程度の帯域であっても、聴感上の影響は少なくすることができる。また、この例では、ＬＰＦ１４０でコンテンツの音声信号と拡散符号の帯域を完全に分割する態様としているが、コンテンツの音声信号と疑似ノイズの周波数成分が若干重複していたとしても、聴取者に変調信号が聞こえにくく、かつ集音側で変調成分を復調する程度のＳＮ比を確保することは可能である。
【００２８】
再生装置２および再生装置３は、それぞれ、拡散符号が重畳された音声をマイク２０およびマイク３０で集音し、集音した音声信号と、重畳部１４と同じ拡散符号と、の相関値を算出し、算出した相関値のピークに基づいてコンテンツ特定情報を復号する。
【００２９】
図３（Ａ）は、再生装置２の構成を示すブロック図である。再生装置２は、通信部２１、制御部２２、表示部２３、復調部２４、コンテンツデータ格納部２５、再生部２６、およびスピーカ２７を備えている。復調部２４は、マイク２０から入力された音声信号に重畳されている情報を復調し、コンテンツ特定情報を復号する。この例では、再生装置が表示部と再生部を両方備えた例を示しているが、どちらか片方だけ備えた構成であってもよい。
【００３０】
図３（Ｂ）は、復調部２４の構成を示すブロック図である。復調部２４は、ＨＰＦ２４１、遅延器２４２、乗算器２４３、ＬＰＦ２４４、相関器２４５、ピーク検出部２４６、および符号判定部２４７を備えている。マイク２０が集音した音声は、ＨＰＦ２４１に入力される。ＨＰＦ２４１は、コンテンツの音声信号成分を除去するためのフィルタである。ＨＰＦ２５１の出力信号は、遅延器２４２および乗算器２４３に入力される。
【００３１】
遅延器２４２の遅延量は、差動符号の１サンプル分の時間に設定される。差動符号をアップサンプリングしている場合、アップサンプリング後の１サンプル分の時間に設定される。乗算器２４３は、ＨＰＦ２４１から入力される信号と、遅延器２４２から出力される１サンプル前の信号とを乗算し、遅延検波処理を行う。差動符号化された信号は、−１，１に２値化されており、１サンプル前の符号からの位相変化を示したものであるため、１サンプル前の信号と乗算することにより、差動符号化前の拡散符号が抽出される。
【００３２】
そして、乗算器２４３の出力信号は、ＬＰＦ２４４を経てベースバンド信号として抽出され、相関器２４５に入力される。相関器２４５は、フィルタ係数として拡散符号発生部１４２で発生する拡散符号が設定されたＦＩＲフィルタ（マッチドフィルタ）からなり、入力された音声信号と拡散符号との相関値を求める。拡散符号は、Ｍ系列やＧｏｒｄ系列等の自己相関性が高い符号を用いているため、相関器２４５が出力する相関値は、ピーク検出部２４６で拡散符号の周期（データ符号の周期）で正負のピーク成分が抽出される。符号判定部２４７は、各ピーク成分をコンテンツ特定情報のデータ符号（正のピークを１，負のピークを０）として復号する。
【００３３】
復号されたコンテンツ特定情報のうち、曲名・作曲者名・演奏者名等の曲情報は、表示部２３に入力され、画面表示される。曲ＩＤは、制御部２２に入力され、コンテンツの特定に用いられる。制御部２２は、入力した曲ＩＤに応じてコンテンツを特定し、特定したコンテンツに関連する自装置で必要なコンテンツ（再生装置１と同じコンテンツ、自装置特有なコンテンツ、または楽譜データ等のコンテンツ）を特定する。例えば、再生装置が図２（Ａ）に示すような、オーディオデータ再生機能と画面表示機能を備えたものである場合、必要なコンテンツとしてオーディオデータと楽譜データを特定する。
【００３４】
すなわち、制御部２２は、曲ＩＤに対応する関連コンテンツデータ（オーディオデータおよび楽譜データ）をコンテンツデータ格納部２５から検索する。図４（Ａ）に示すように、コンテンツデータ格納部２５には自装置が再生可能であるコンテンツデータと、それに対応した曲ＩＤ、曲情報を記憶している。制御部２２は、対応するコンテンツデータが見つかった場合は、コンテンツデータ格納部２５から読み出し、楽譜データを表示部２３に出力し、オーディオデータを再生部２６に出力する。表示部２３は、入力された楽譜データを画面表示し、再生部２６は、入力されたオーディオデータを再生し、音声信号を生成する。生成した音声信号は、スピーカ２７に出力され、音声として放音される。
【００３５】
制御部２２は、曲ＩＤに対応したデータがコンテンツデータ格納部２５に無い場合、必要なコンテンツを特定するために、通信部２１を介して接続されているサーバ９に、復号した曲ＩＤおよび自装置の再生機能（オーディオ再生機能、楽譜表示機能、自動演奏機能等（自装置で再生可能な楽器パート情報等を含む。））を示す情報（再生可能コンテンツ情報とする。）を送信する。図２（Ａ）の構成の場合、制御部２２は、復号した曲ＩＤと、オーディオ再生および楽譜表示が可能である旨を示す再生可能コンテンツ情報と、をサーバ９に送信する。
【００３６】
サーバ９の制御部９２は、通信部９１を介して受信した各種情報で曲情報格納部９３を参照し、再生装置２に必要なコンテンツを特定するための情報である関連コンテンツ情報を抽出する。図４（Ｂ）に示すように、曲情報格納部９３には、曲ＩＤ毎に曲情報や各種関連コンテンツ情報を対応付けたデータベースが記憶されている。関連コンテンツ情報は、曲情報やオーディオデータ、楽譜データ、楽曲データ（ＭＩＤＩデータ）等からなる。
【００３７】
制御部９２は、受信した曲ＩＤと再生可能コンテンツ情報に基づいて、関連コンテンツを取得する。図２（Ａ）の例では、再生装置２から、オーディオ再生および楽譜表示が可能である旨を示す再生可能コンテンツ情報が送信されるため、受信した曲ＩＤに対応付けられているオーディオデータおよび楽譜データを取得する。取得したコンテンツは、再生装置２の制御部２２に送信され、コンテンツデータ格納部２５に保存される。
【００３８】
制御部２２は、サーバ９から取得した楽譜データを表示部２３に出力し、オーディオデータを再生部２６に出力する。表示部２３は、入力された楽譜データを画面表示し、再生部２６は、入力されたオーディオデータを再生し、音声信号を生成する。生成した音声信号は、スピーカ２７に出力され、音声として放音される。
【００３９】
一方、制御部２２は、図５に示す再生装置３のように、自装置が自動演奏機能を備えた機器である場合、復号した曲ＩＤに対応した楽曲データ（ＭＩＤＩデータ）をコンテンツデータ格納部２５から検索し、見つかった場合は、この楽曲データ（ＭＩＤＩデータ）を読み出し、自動演奏部３６に出力する。コンテンツデータ格納部２５に対応するコンテンツが無い場合、復号した曲ＩＤと、自動演奏が可能である旨を示す再生可能コンテンツ情報と、をサーバ９に送信する。再生装置３は、図４（Ａ）に示した再生装置２から表示部２３が省略され、再生部２６に代えて自動演奏部３６を備えたものである。
【００４０】
この場合、サーバ９の制御部９２は、再生装置３から、自動演奏が可能である旨を示す再生可能コンテンツ情報が送信されるため、特定した曲ＩＤに対応付けられている楽曲データ（ＭＩＤＩデータ）を取得する。取得した楽曲データ（ＭＩＤＩデータ）は、再生装置３の制御部２２に送信され、コンテンツデータ格納部２５に保存される。再生装置３の制御部２２は、サーバ９から送信された楽曲データ（ＭＩＤＩデータ）を自動演奏部３６に出力する。自動演奏部３６は、入力された楽曲データ（ＭＩＤＩデータ）をシーケンスし、音声信号を生成する。生成した音声信号は、スピーカ２７に出力され、音声として放音される。
【００４１】
以上のようにして、本実施形態の音声処理システムでは、あるコンテンツを再生する再生装置１で変調成分が含まれた音声が放音されると、この音声を集音した他の再生装置で関連コンテンツが再生されるため、機器同士での連携動作を行うことができる。例えば、再生装置１がピアノ演奏の音声を放音している場合において、再生装置２でピアノ音を集音すると、表示部２３にこのピアノ音のコンテンツ情報が表示されるとともに、このピアノ音に関連したコンテンツとして楽譜データが表示され、伴奏音（ストリングス音やリズム音等）が再生される。また、再生装置３でも伴奏音が自動演奏により放音される。
【００４２】
なお、再生装置１の重畳部１４は、コンテンツ特定情報に限らず、他の情報を重畳してもよい。例えば、コンテンツの再生タイミングを示す同期情報を重畳し、再生装置１、再生装置２、再生装置３でコンテンツの同期再生を行ってもよい。
【００４３】
同期再生を行う場合、再生装置１が再生開始からの時間経過を示す情報を同期情報として重畳し、再生装置２および再生装置３がこの時間経過を示す情報に応じてコンテンツを再生するように構成してもよいが、コンテンツデータがＭＩＤＩデータに準じた形式である場合、上記拡散符号のピーク抽出タイミングを基準クロックとして用い、同期再生を行うことも可能である。この場合、制御部１１は、基準クロックの時間間隔で拡散符号を出力するように重畳部１４に設定する。再生装置２の再生部２６や再生装置３の自動演奏部３６は、定期的に算出される相関値のピークを基準クロックとしてシーケンサを作動させ、自動演奏を行うことが可能である。
【００４４】
なお、楽音発生タイミングと基準クロックとの時間差に関する情報を重畳しておけば、復調側でさらに高精度な同期再生を行うことができる。また、ノートナンバやベロシティ等の演奏情報も重畳しておけば、復調側でＭＩＤＩデータを記憶していなくとも、自動演奏を行うことができる。
【００４５】
このように同期再生を行う場合、再生装置１がピアノパートの音を放音し、再生装置２がストリングスパートの音を放音しながら楽譜表示を行い、再生装置３がドラムパートの音を放音する、といった機器間の連係動作が可能となる。また、楽譜表示では、現時点の再生タイミング（曲の進行具合）を表示することも可能となる。
【００４６】
なお、上述の例では、再生装置１がコンテンツを再生してスピーカ１０から音声として放音する構成を示したが、再生装置１に自動演奏楽器（例えば自動演奏ピアノ）を接続し、自動演奏楽器から楽音を発生させる態様とすることも可能である。自動演奏ピアノは、入力されたＭＩＤＩデータに応じて、ピアノ内部のキーアクションに取り付けられたソレノイドを作動させて打鍵を行うアコースティック楽器である。この場合、再生装置１は、スピーカ１０から変調音声だけを出力する。
【００４７】
また、上記実施形態では、各装置内にコンテンツデータを格納している例を示しているが、コンテンツデータは、放送波として外部から受信するようにしてもよいし、ネットワークを介して（例えばサーバ９から）受信するようにしてもよい。また、ＣＤ等のメディアからＰＣＭデータを取得する態様であってもよい。
【００４８】
特に、ネットワークを介してコンテンツデータを受信する場合、特定したコンテンツに課金処理を行い、決済後にコンテンツデータをダウンロードするように構成することも可能である。課金処理を行うサーバやコンテンツデータを格納するサーバが上述のサーバ９と同一である場合、曲ＩＤをサーバ９に送信することでコンテンツの特定、課金処理をまとめて行うことが可能である。課金処理を行うサーバが別の課金処理用サーバである場合、曲ＩＤをサーバ９に送信して課金処理用サーバで参照される課金専用の固有ＩＤに変換し、課金処理やダウンロードを行うように構成すればよい。
【００４９】
＜＜応用例１＞＞
次に、図６は、応用例１に係る音声処理システムの構成を示すブロック図である。この場合、音声処理システムは、ネットワーク７を介して接続される再生装置１、再生装置２、再生装置５、およびサーバ９からなる。再生装置５には、マイク５０およびスピーカ５１が接続されている。ただし、マイク５０やスピーカ５１は再生装置５に内蔵されている態様でも可能である。
【００５０】
再生装置１、再生装置２、再生装置５は、同時に同じ地点に存在してもよいが、この例では、再生装置５が携帯型の機器であり、まず再生装置５を再生装置１と同じ地点Ａに設置して再生装置５に音声信号を入力し、その後、再生装置５を移動させて、再生装置２と同じ地点Ｂに設置して再生装置２に音声信号を入力する構成として説明する。
【００５１】
図７は、再生装置５およびサーバ９の構成を示すブロック図である。再生装置５は、図３（Ａ）に示した再生装置３の構成に加え、再生部２６から入力される音声信号に新たな変調成分（コンテンツ特定情報）を重畳する重畳部２８を備え、新たな変調成分が重畳された音声をスピーカ５１から放音する構成である。
【００５２】
重畳部２８の構成は、図２（Ｂ）に示した重畳部１４の構成と同様である。この場合、再生装置５は、再生するコンテンツ（オーディオデータ）の音声信号に、復調部２４で復調したコンテンツ特定情報を再び重畳し、音声として放音する機能を有する。つまり、地点Ａ（例えば外出先）で再生装置１が再生するコンテンツ（例えば有線放送など）を集音してコンテンツを特定し、その後、地点Ｂ（例えば自宅）において関連コンテンツ（例えば放送されていたコンテンツと同じオーディオデータ）を再生すると、再生装置２でさらに関連コンテンツが再生される。このようにして、リレー式に関連コンテンツを連携再生させることも可能である。
【００５３】
なお、再生装置５で重畳する拡散符号は、再生装置１で重畳する拡散符号と同じ拡散符号であってもよいし、異なる拡散符号であってもよい。ただし、再生装置１と異なる拡散符号を用いる場合、復調側（再生装置２）では、再生装置５で重畳される拡散符号を記憶しておくものとする。
【００５４】
また、再生装置５の制御部２２は、マイク５０で集音した音声信号から、ＬＰＦ介してコンテンツの音声信号のみを抽出し、録音データとしてコンテンツデータ格納部２５に記録しておくことも可能である。この場合、録音したデータを再生にコンテンツ特定情報を再び重畳し、変調成分が含まれた音声を放音することが可能である。なお、ＬＰＦは必須ではなく、拡散符号が含まれた音声信号をそのままコンテンツデータ格納部２５に録音しておき、後に再生出力するようにしてもよい。この場合、重畳部２８の構成は必須ではない。
【００５５】
＜＜応用例２＞＞
図８は、応用例２に係る音声処理システムの構成を示すブロック図である。この場合、音声処理システムは、ネットワーク７を介して接続される再生装置１、再生装置２、再生装置６、およびサーバ９からなる。再生装置６には、マイク６０およびスピーカ６１が接続されている。ただし、マイク６０やスピーカ６１は再生装置６に内蔵されている態様でも可能である。
【００５６】
応用例２の音声処理システムでは、再生装置６が集音した音声信号を分析サーバ（サーバ９と同一でも他のサーバでもよい。）に送信し、サーバ側で復調やコンテンツの特定を行うものである。応用例２では、サーバ９に分析機能を追加した例として説明する。
【００５７】
図９は、応用例２に係る再生装置６およびサーバ９の構成を示すブロック図である。再生装置６は、一般的なデジタルオーディオプレーヤであり、図３（Ａ）に示した再生装置２から、復調部２４が省略されたものに等しい構成である。
【００５８】
この場合、制御部２２は、マイク６０で集音した音声信号（あるいはエンコードしたデータ）を通信部２１を介してサーバ９に送信する。また、制御部２２は、自装置が再生可能であるコンテンツを示す情報（再生可能コンテンツ情報）を送信する。
【００５９】
サーバ９は、復調部２４と同様の構成、機能を有した復調部９４を備えており、制御部９２は、受信した音声信号を復調部９４に入力してコンテンツ特定情報を復号する。そして、制御部９２は、復号したコンテンツ特定情報を再生装置６の制御部２２に送信する。また、制御部９２は、復号したコンテンツ特定情報に含まれる曲ＩＤと再生装置６から受信した再生可能コンテンツ情報に基づいて、関連コンテンツ情報（コンテンツＩＤ）を抽出し、再生装置６の制御部２２に送信する。
【００６０】
制御部２２は、受信したコンテンツ特定情報に含まれる曲情報を表示部２３に表示する。また、制御部２２は、受信したコンテンツＩＤに対応するコンテンツデータ（オーディオデータおよび楽譜データ）をコンテンツデータ格納部２５から検索し、見つかった場合はこのコンテンツデータを読み出し、再生部２６に出力する。コンテンツデータ格納部２５にデータが見つからない場合はサーバ９から関連コンテンツをダウンロードする。表示部２３は、入力された楽譜データを画面表示し、再生部２６は、入力されたコンテンツデータを再生し、音声信号を生成する。生成した音声信号は、スピーカ６１に出力され、音声として放音される。
【００６１】
また、再生装置６の制御部２２は、マイク６０で集音した音声信号を録音データとしてコンテンツデータ格納部２５に記録しておく。この場合、拡散符号が含まれた音声信号をそのままコンテンツデータ格納部２５に録音しておく。そして、地点Ｂ（例えば自宅）において録音データを再生すると、再生装置２で関連コンテンツが再生される。
【００６２】
このように、再生装置６は、集音した音声信号を送信し、分析結果を受信して動作を行う態様とすることで、一般的なデジタルオーディオプレーヤを用いて本発明のコンテンツ再生装置を実現することが可能となる。
【００６３】
なお、上記の例では、全ての再生装置がスピーカを用いて音声を放音し、マイクを用いて音声信号を生成し、空間放音を用いて音声を伝送する例を示したが、ライン接続によりオーディオ信号を伝送する態様としてもよい。
【００６４】
また、本実施形態では、再生装置が再生可能であるコンテンツを示す情報をサーバに送信する例を示したが、再生装置を特定する情報（再生装置に固有のＩＤ等）を送信するようにしてもよい。この場合、サーバでは、再生装置毎に再生可能であるコンテンツを示す情報をデータベースとして記憶しておき、受信した再生装置を特定する情報でデータベースを参照することにより、その再生装置で再生可能であるコンテンツを特定することができる。
【００６５】
また、再生可能なコンテンツを示す情報と、再生装置を特定する情報と、を両方送信するようにしてもよい。この場合、再生装置の動作状態により、再生可能であるコンテンツが変化する状況においても適切なコンテンツが特定される。
【符号の説明】
【００６６】
１，２，３…再生装置
７…ネットワーク
９…サーバ
１０…スピーカ
１１…制御部
１２…コンテンツデータ格納部
１３…再生部
１４…重畳部
１５…通信部
２０…マイク
２１…通信部
２２…制御部
２３…表示部
２４…復調部
２５…コンテンツデータ格納部
２６…再生部
２７…スピーカ
２８…重畳部
３０…マイク
【特許請求の範囲】
【請求項１】
情報が重畳された音声信号を入力する入力手段と、
前記音声信号に重畳された情報に基づいてコンテンツを特定し、特定したコンテンツに関連し、自装置に必要なコンテンツを特定するコンテンツ特定手段と、
前記コンテンツ特定手段で特定したコンテンツを再生する再生手段と、
を備えたコンテンツ再生装置。
【請求項２】
自装置に必要なコンテンツが無い場合に、サーバよりコンテンツを取得するコンテンツ取得手段を備えた請求項１に記載のコンテンツ再生装置。
【請求項３】
前記コンテンツ特定手段は、前記再生手段が再生可能であるコンテンツに応じて前記必要なコンテンツを特定する請求項１または請求項２に記載のコンテンツ再生装置。
【請求項４】
前記音声信号に重畳される情報は、コンテンツの再生タイミングを示す同期情報を含み、
前記同期情報に基づいて、他の機器の再生するコンテンツと前記再生手段が再生するコンテンツを同期させる同期手段を備えた請求項１乃至請求項３に記載のコンテンツ再生装置。
【請求項５】
前記再生手段が再生するコンテンツの音声に新たな情報を重畳する重畳手段を備えたことを特徴とする請求項１乃至請求項４のいずれかに記載のコンテンツ再生装置。
【請求項６】
請求項１乃至請求項５のいずれかに記載のコンテンツ再生装置と、コンテンツ再生装置に接続されるサーバと、を備えた音声処理システムであって、
前記コンテンツ特定手段は、前記音声信号に含まれる変調成分を復調する復調手段と、
前記復調手段が復調した情報、および前記再生手段が再生可能であるコンテンツを示す情報もしくはコンテンツ再生装置を特定する情報の少なくともいずれか一方を前記サーバに送信する通信手段と、を備え、
前記サーバは、
前記コンテンツ再生装置から受信した情報に基づいて、コンテンツ再生装置に必要なコンテンツを示す関連コンテンツ情報を抽出する抽出手段を備え、
前記コンテンツ特定手段は、前記サーバの抽出手段で抽出された関連コンテンツ情報に基づいて自装置に必要なコンテンツを特定することを特徴とする音声処理システム。
【請求項１】
情報が重畳された音声信号を入力する入力手段と、
前記音声信号に重畳された情報に基づいてコンテンツを特定し、特定したコンテンツに関連し、自装置に必要なコンテンツを特定するコンテンツ特定手段と、
前記コンテンツ特定手段で特定したコンテンツを再生する再生手段と、
を備えたコンテンツ再生装置。
【請求項２】
自装置に必要なコンテンツが無い場合に、サーバよりコンテンツを取得するコンテンツ取得手段を備えた請求項１に記載のコンテンツ再生装置。
【請求項３】
前記コンテンツ特定手段は、前記再生手段が再生可能であるコンテンツに応じて前記必要なコンテンツを特定する請求項１または請求項２に記載のコンテンツ再生装置。
【請求項４】
前記音声信号に重畳される情報は、コンテンツの再生タイミングを示す同期情報を含み、
前記同期情報に基づいて、他の機器の再生するコンテンツと前記再生手段が再生するコンテンツを同期させる同期手段を備えた請求項１乃至請求項３に記載のコンテンツ再生装置。
【請求項５】
前記再生手段が再生するコンテンツの音声に新たな情報を重畳する重畳手段を備えたことを特徴とする請求項１乃至請求項４のいずれかに記載のコンテンツ再生装置。
【請求項６】
請求項１乃至請求項５のいずれかに記載のコンテンツ再生装置と、コンテンツ再生装置に接続されるサーバと、を備えた音声処理システムであって、
前記コンテンツ特定手段は、前記音声信号に含まれる変調成分を復調する復調手段と、
前記復調手段が復調した情報、および前記再生手段が再生可能であるコンテンツを示す情報もしくはコンテンツ再生装置を特定する情報の少なくともいずれか一方を前記サーバに送信する通信手段と、を備え、
前記サーバは、
前記コンテンツ再生装置から受信した情報に基づいて、コンテンツ再生装置に必要なコンテンツを示す関連コンテンツ情報を抽出する抽出手段を備え、
前記コンテンツ特定手段は、前記サーバの抽出手段で抽出された関連コンテンツ情報に基づいて自装置に必要なコンテンツを特定することを特徴とする音声処理システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−２１５１８９（Ｐ２０１１−２１５１８９Ａ）
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願番号】特願２０１０−８０４３６（Ｐ２０１０−８０４３６）
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２３年１０月２７日（２０１１．１０．２７）
【国際特許分類】
【出願日】平成２２年３月３１日（２０１０．３．３１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]