音響効果付与システム
【課題】ネットワークを介して接続された端末において取得された音声に対してリアルタイムで音響効果を付与することができる音響効果付与システムを提供する。
【解決手段】ユーザはカラオケ装置３においてエフェクト処理の種別と楽曲の選択を行い、選択したエフェクト処理種別と楽曲をカラオケ装置３からホストサーバ２へ要求する。カラオケ装置３は、ホストサーバ２から配信される楽曲データを再生すると共に、ユーザが歌唱した音声データをホストサーバ２へ遂次送信する。ホストサーバ２はカラオケ装置３から送信された歌唱音声データに要求されたエフェクト処理種別のエフェクト処理を行ってカラオケ装置３へ送信し、カラオケ装置３においてエフェクト処理された歌唱音声データと楽曲データの音声信号の音声を出力する。
【解決手段】ユーザはカラオケ装置３においてエフェクト処理の種別と楽曲の選択を行い、選択したエフェクト処理種別と楽曲をカラオケ装置３からホストサーバ２へ要求する。カラオケ装置３は、ホストサーバ２から配信される楽曲データを再生すると共に、ユーザが歌唱した音声データをホストサーバ２へ遂次送信する。ホストサーバ２はカラオケ装置３から送信された歌唱音声データに要求されたエフェクト処理種別のエフェクト処理を行ってカラオケ装置３へ送信し、カラオケ装置３においてエフェクト処理された歌唱音声データと楽曲データの音声信号の音声を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して接続された端末から送信された音声に音響効果を付与する技術に関する。
【背景技術】
【０００２】
ある端末においてエフェクト処理された音声データとエフェクト処理時の音声制御パラメータを、その端末と通信網を介して接続された他の機器に送信し、その機器において、音声制御パラメータに基づいて、一部のエフェクト処理を解除した音声データを送信元の端末に送信する技術が下記の特許文献１に開示されている。この技術は、悪意者からのエフェクト処理された音声データをできるだけ元の音声に戻すことができるので犯罪等を未然に防止することに対して効果的に用いることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−６９００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、例えば、楽器の演奏音や歌声等にエコー等の音響効果をリアルタイムで付与して聞きたい場合、音響効果を付与するためのエフェクタ装置がなければこれを実現することはできない。上記従来技術は、エフェクト処理された音声を元の音声に戻す技術であり、通信網を介してリアルタイムでエフェクト処理を行うことはできない。
本発明は、ネットワークを介して接続された端末において取得された音声に対してリアルタイムで音響効果を付与することができる音響効果付与システムを提供する。
【課題を解決するための手段】
【０００５】
本発明に係る音響効果付与システムは、ネットワーク接続された第１装置と第２装置を有する音響効果付与システムであって、前記第１装置は、オーディオ信号を遂次取得する取得手段と、前記取得手段により取得された前記オーディオ信号を順次符号化した第１のオーディオストリームデータを前記第２装置へ送信する送信手段と、前記送信手段により送信した前記第１のオーディオストリームデータにリアルタイムで所定の音響効果が付与された第２のオーディオストリームデータを前記第２装置から受信する受信手段と、前記受信手段により受信された前記第２のオーディオストリームデータを復号して出力する出力手段とを備え、前記第２装置は、前記第１装置から前記第１のオーディオストリームデータを受信する受信手段と、前記受信手段により受信された前記第１のオーディオストリームデータに対して前記所定の音響効果を付与し、前記第２のオーディオストリームデータを生成する音響効果付与手段と、前記音響効果付与手段により生成された前記第２のオーディオストリームデータを前記第１装置へ送信する送信手段とを備える。
【発明の効果】
【０００６】
本発明によれば、第１装置に音響効果付与手段を備えなくとも、ネットワークを介して接続された第２装置で第１のオーディオストリームデータに音響効果を付与した第２のオーディオストリームデータを第１装置において出力することができる。
【０００７】
また、前記第１装置において、音響効果の種別を指示する指示手段を備え、前記送信手段は、前記指示手段により指示された前記音響効果の種別を示す種別情報と前記第１のオーディオストリームデータと共に前記第２装置へ送信し、前記第２装置において、前記音響効果付与手段により付与可能な前記音響効果の種別を記憶する記憶手段と、前記受信手段は、前記第１装置から前記第１のオーディオストリームデータと前記種別情報を受信し、前記音響効果付与手段は、前記受信手段により受信された前記種別情報に対応する、前記記憶手段に記憶されている前記種別の前記音響効果を前記第１のオーディオストリームデータに付与し、前記第２のオーディオストリームデータを生成することとしてもよい。この構成によれば、第１装置において所望する音響効果の種別を任意に指定することができる。
【０００８】
また、前記第１装置において、前記所定の音響効果を付与するための音響効果付与プログラムを記憶する記憶手段を備え、前記送信手段は、前記第１のオーディオストリームデータと前記記憶手段に記憶されている前記音響効果付与プログラムを送信し、前記第２装置において、前記受信手段は、前記第１のオーディオストリームデータと前記音響効果付与プログラムとを受信し、前記音響効果付与手段は、前記受信手段により受信された前記音響効果付与プログラムを実行し、当該音響効果付与プログラムにおいて指定されている音響効果を前記第１のオーディオストリームデータに付与して前記第２のオーディオストリームデータを生成することとしてもよい。
この構成によれば、第２装置において音響効果付与プログラムを備えていない場合であっても、第１装置から送信された音響効果付与プログラムを用いて、第１装置から送信されたオーディオストリームデータに音響効果を付与することができる。
【０００９】
また、前記第１装置において、前記第１のオーディオストリームデータには、前記所定の音響効果を付与する指示情報を含み、前記第２装置において、前記音響効果付与手段は、前記第１のオーディオストリームデータに含まれる前記指示情報に従って前記第２のオーディオストリームデータを生成することとしてもよい。
この構成によれば、オーディオストリームデータに予め設定された音響効果の指示情報に従って音響効果が付与されるので、オーディオストリームデータの内容に適応した音響効果を付与することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る音響効果付与システムの構成例を示す図である。
【図２】実施形態に係るホストサーバ２とカラオケ装置３のブロック図である。
【図３】実施形態における楽曲データのデータ構成例を示す図である。
【図４】実施形態に係る音響効果付与システムの動作フロー図である。
【図５】実施形態における楽曲及びエフェクト処理種別選択画面の例を示す図である。
【図６】変形例におけるエフェクトポート番号情報のデータ例を示す図である。
【図７】変形例におけるホストサーバ２とカラオケ装置３のブロック図である。
【図８】変形例における音響効果付与システムの構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明に係る実施形態の音響効果付与システムについて説明する。
＜実施形態＞
（構成）
図１は、本実施形態に係る音響効果付与システムの構成を示している。音響効果付与システム１は、第２装置として構成されたホストサーバ２、及び第１装置として構成されたカラオケ装置３を含み、ホストサーバ２とカラオケ装置３はＩＰネットワーク網のネットワーク４を介して接続されている。本実施形態では、ホストサーバ２は、ネットワーク４を介してカラオケの楽曲データをカラオケ装置３に提供すると共に、カラオケ装置３を用いてユーザが歌った音声にリバーブ等のエフェクト処理をリアルタイムで行うサービスを提供する。
【００１２】
以下、音響効果付与システム１の詳細について図２を用いて説明する。図２は、本実施形態に係るホストサーバ２とカラオケ装置３のブロック図である。まず、ホストサーバ２について説明する。ホストサーバ２は、制御部２００、記憶部２１０、エフェクト処理部２２０、及び通信Ｉ／Ｆ２３０を含んで構成されている。制御部２００は、ＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read only Memory)及びＲＡＭ(Random Access Memory)のメモリを含んで構成されており、ＲＡＭをワーキングエリアとしてＲＯＭに記憶されている制御プログラムを実行することにより制御部２００と接続されている各部を制御する。
【００１３】
記憶部２１０は、ハードディスク等の大容量記憶媒体で構成されており、複数の楽曲データ及びエフェクト処理部２２０によって実行されるエフェクト処理プログラムが記憶されている。ここで、楽曲データについて説明する。図３は、楽曲データのデータ構成例を示している。楽曲データ２０は、楽曲ヘッダ２０ａと演奏情報２０ｂ及び歌詞情報２０ｃを含んで構成されている。楽曲ヘッダ２０ａには、楽曲を一意に識別する曲番号、楽曲の曲名、楽曲の演奏時間の各々を示すデータが格納されている。また、演奏情報２０ｂには、楽曲の演奏を行う各パートの楽器の演奏音や歌唱音声を示すＷＡＶＥ形式やＭＰ３(MPEG-1 Audio Layer-3)等の形式で表現された演奏データが記憶されている。また、歌詞情報２０ｃには、楽曲の歌詞の内容を示す歌詞データと、歌詞データを表示するタイミングや表示位置等のデータが対応づけて記憶されている。
【００１４】
図２に戻り説明を続ける。エフェクト処理部２２０は、ＤＳＰ(Digital Signal Processor)等の信号処理機能を有するハードウェアで構成されており、制御部２００の制御の下、記憶部２１０に記憶されている所定のエフェクト処理プログラムを実行し、予めエフェクト処理プログラムにおいて指定されているパラメータに従って入力される音声データに対してエフェクト処理を行う。なお、本実施形態ではリバーブとディレイのエフェクト処理を行うエフェクト処理プログラムが記憶されているが、これら以外のエフェクト処理を行うプログラムが記憶されていてもよい。
通信Ｉ／Ｆ２３０は、制御部２００から送出されるデータのＩＰパケットを生成してネットワーク４に送信すると共に、ネットワーク４を介してカラオケ装置３からＩＰパケットを受信してＩＰパケット内のデータを制御部２００へ送出する。
【００１５】
次に、カラオケ装置３の構成について説明する。カラオケ装置３は、制御部３００、音源装置３１０、音声処理部３２０、スピーカ３２１、マイク３２２、操作部３３０、表示部３４０、通信Ｉ／Ｆ３５０及び記憶部３６０を含んで構成されている。制御部３００は、ＣＰＵと、ＲＯＭ及びＲＡＭのメモリを含んで構成されており、ＲＡＭをワーキングエリアとしてＲＯＭに記憶されている制御プログラムを実行することにより制御部３００と接続されている各部を制御する。
【００１６】
音源装置３１０は、例えばＭＩＤＩ音源であり、ホストサーバ２から配信される楽曲データに基づいて楽音データを生成して音声処理部３２０へ送出する。音声処理部３２０は、音源装置３１０から送出される楽音データと、制御部３００から入力される音声データをアナログの音声信号に変換し、各音声信号をミキシングして増幅し、スピーカ３２１から出力すると共に、マイク３２２から入力される音声信号をデジタル変換した音声データを制御部３００へ送出する。スピーカ３２１は、音声処理部３２０から入力される音声信号を出力し、マイク３２２はユーザの音声を収音して音声処理部３２０へ出力する。
【００１７】
操作部３３０は、テンキーや方向キーなどの各種キースイッチを有する。ユーザは楽曲の選択やエフェクト処理の選択等をこれらのキーを用いて行い、ユーザによってなされたキー操作の情報が制御部３００に送出される。
表示部３４０は、液晶等のディスプレイを有し、制御部３００の制御の下、カラオケ装置３を操作するためのメニュー画面、楽曲及びエフェクト処理種別を選択するための楽曲・エフェクト処理種別選択画面、所定の背景画像に楽曲の歌詞を重ね合わせたカラオケ画面などの各種画面を表示する。
通信Ｉ／Ｆ３５０は、制御部３００から送出される楽曲の曲番号とエフェクト処理種別を含む要求データや音声データを所定データ単位にパケット化してネットワーク４へ送信すると共に、ネットワーク４を介してホストサーバ２からＩＰパケットを受信してＩＰパケット内の楽曲データや音声データを制御部３００へ送出する。記憶部３６０は、ハードディスク等の記憶媒体で構成されており、ホストサーバ２において提供されているエフェクト処理種別の情報(リバーブ、ディレイ)や、カラオケ画面を表示する際の背景画像データ等の各種データを記憶している。
なお、本実施形態においては、背景画像データを、カラオケ装置３の記憶部３６０に記憶する構成としているが、ホストサーバ２において背景画像データと楽曲データを記憶し、ネットワーク４を通じて、ホストサーバ２から背景画像データ及び楽曲データをリアルタイムでカラオケ装置３に送る構成としてもよい。また、ネットワーク４を介してカラオケ装置３と接続された他のサーバにおいて記憶されている背景画像データをカラオケ装置３に送信し、カラオケ装置３は、その他のサーバから送信された背景画像データをホストサーバ２から受信した楽曲データと共に再生して表示部３４０に表示するようにしてもよい。
【００１８】
（動作）
次に、本実施形態に係る音響効果付与システム１の動作について説明する。図４は、音響効果付与システム１の動作フローを示す図である。カラオケ装置３において、ユーザが操作部３３０を用いて楽曲・エフェクト処理種別選択画面を表示する操作を行うと、制御部３００は、記憶部３６０からエフェクト処理種別情報を読み出し、図５に示す楽曲・エフェクト処理種別選択画面３０を表示部３４０に表示し、ユーザから楽曲の曲番号３０ａ及びエフェクト処理種別３０ｂを入力する操作を受付ける(ステップＳ１０)。
【００１９】
制御部３００は、操作部３３０を介してユーザから楽曲の曲番号の入力とエフェクト処理種別を選択する操作を受付けると(ステップＳ１１：ＹＥＳ)、入力された楽曲の曲番号とエフェクト処理種別のデータを含む要求データのＩＰパケットを通信部Ｉ／Ｆ３５０を介してホストサーバ２へ送信する(ステップ１２)。
【００２０】
ホストサーバ２の通信Ｉ／Ｆ２３０は、カラオケ装置３から要求データを含むＩＰパケットを受信し、ＩＰパケット内の曲番号とエフェクト処理種別の各データを制御部２００へ送出する(ステップ２０)。制御部２００は、通信Ｉ／Ｆ２３０から送出されたエフェクト処理種別データをＲＡＭに記憶し、曲番号データが示す楽曲データを記憶部２１０の楽曲データ２０から読み出し、その楽曲データを含むＩＰパケットを通信Ｉ／Ｆ部２３０を介してカラオケ装置３へ送信する(ステップＳ２１)。
【００２１】
カラオケ装置３の制御部３００は、楽曲データを通信Ｉ／Ｆ部３５０を介してホストサーバ２から受信し、楽曲データをＲＡＭに記憶する(ステップＳ１３)。そして、制御部３００は、ＲＡＭから楽曲データの演奏情報を順次読み出して音源装置３１０へ送出し、音源装置３１０により演奏情報に応じた楽音データを生成し、音声処理部３２０により楽音データをアナログ変換してスピーカ３２１から出力する。また、制御部３００は、記憶部３６０に記憶されている背景画像データと楽曲データの歌詞情報を表示部３４０に送出し、表示部３４０により歌詞情報に基づく文字データと背景画像データとを重ね合わせたカラオケ画面を生成して表示する。これにより楽曲データの演奏が開始される。また、制御部３００は、マイク３２２によって収音された音声信号を音声処理部３２０により順次デジタル変換して歌唱音声データを生成する (ステップＳ１４)。
【００２２】
制御部３００は、音声処理部３２０において順次生成された歌唱音声データを所定の通信プロトコル(例えばＲＴＰプロトコル)に従ってパケット化した歌唱音声パケットを生成する。そして、通信Ｉ／Ｆ３５０により歌唱音声パケットを含むＩＰパケットを順次ホストサーバ２へ送信する(ステップＳ１５)。なお、この歌唱音声パケットのパケットヘッダには、送信先のホストサーバ２のＩＰアドレス、送信元のカラオケ装置３のＩＰアドレス、及びタイムスタンプ情報としてパケットの送信開始からの時刻を含めて送信する。
【００２３】
ホストサーバ２の通信Ｉ／Ｆ２３０は、カラオケ装置３から歌唱音声パケットを含むＩＰパケットを順次受信し、その歌唱音声パケットを制御部２００へ順次送出する（ステップＳ２２）。
制御部２００は、通信Ｉ／Ｆ２３０から送出される歌唱音声パケット内のタイムスタンプ情報をＲＡＭに記憶し、歌唱音声パケット内の歌唱音声データをエフェクト処理部２２０に順次送出すると共に、ＲＡＭに記憶されているエフェクト処理種別に応じたエフェクト処理を行うことを指示するコマンドをエフェクト処理部２２０に送出する。エフェクト処理部２２０は、指示されたエフェクト処理種別に対応するエフェクト処理プログラムを記憶部２１０から読み出して実行し、制御部２００から順次入力される歌唱音声データに対してエフェクト処理を行い、エフェクト処理後のエフェクト音声データを制御部２００へ順次出力する(ステップＳ２３)。
【００２４】
制御部２００は、エフェクト処理部２２０によって出力されたエフェクト音声データに対応するタイムスタンプ情報をＲＡＭから読み出し、読み出したタイムスタンプ情報をエフェクト音声データに対応づけて通信Ｉ／Ｆ２３０に送出する。通信Ｉ／Ｆ２３０は、エフェクト音声データとタイムスタンプ情報を含むＩＰパケットを生成してカラオケ装置３へ送信する(ステップＳ２４)。制御部２００は、歌唱音声データの受信を終了するまで上記ステップＳ２２以下の処理を繰り返し行い(ステップＳ２５：ＮＯ)、歌唱音声データの受信を終了したときに処理を終了する(ステップＳ２５：ＹＥＳ)。
【００２５】
カラオケ装置３の通信Ｉ／Ｆ３５０は、ステップＳ２４においてホストサーバ２から順次送信されるＩＰパケットを受信し、受信したＩＰパケット内のエフェクト音声データとタイムスタンプ情報を制御部３００へ順次送出する(ステップＳ１６)。制御部３００は、通信Ｉ／Ｆ３５０から順次送信されてくるエフェクト音声データのタイムスタンプ情報を参照し、タイムスタンプ情報の時刻順となるようにエフェクト音声データを音声処理部３２０へ出力する。音声処理部３２０は、制御部３００から入力されるエフェクト音声データをアナログ変換した音声信号と、音源装置３１０によって再生された楽音データの楽音信号とをミキシングして増幅し、スピーカ３２１から出力する(ステップＳ１７)。これにより、ユーザが歌唱した音声にリバーブ等のエフェクト処理がなされた音声がスピーカ３２１から出力される。
【００２６】
制御部３００は、楽曲データの演奏が終了するまでステップＳ１４以下の処理を繰り返し行い（ステップＳ１８：ＮＯ）、演奏が終了したときに処理を終了する(ステップＳ１８：ＹＥＳ)。また、ステップＳ１１において、制御部３００は、ユーザから楽曲の曲番号及びエフェクト処理種別の選択を受付けるまで楽曲及びエフェクト選択画面を表示して待機する(ステップＳ１１：ＮＯ)。なお、本実施形態では、楽曲の曲番号と共にエフェクト処理種別の選択を行わなければ次のステップの処理を行わないように制御する例であるが、楽曲の曲番号のみを選択し、エフェクト処理種別の選択が行われなった場合には、選択された楽曲データをホストサーバ２から受信して通常のカラオケ演奏を行うようにしてもよい。
上述の本実施形態では、ホストサーバ２にアクセスし、ホストサーバ２によって提供されているエフェクト処理種別を選択するだけで、カラオケ装置３においてユーザが歌唱した音声がリアルタイムにエフェクト処理されて楽曲と共に出力される。従って、カラオケ装置３にエフェクト処理の機能が搭載されていない場合であっても、容易にユーザの音声にエコー等の音響効果を付与することができる。
【００２７】
＜変形例＞
以下、本発明の変形例について説明する。
（１）上述した実施形態では、エフェクト処理種別の選択をカラオケ装置３の操作部３３０を用いて行う例であったが、楽曲データに予め設定されたエフェクト処理情報に従ってユーザの音声にエフェクト処理を行うようにしてもよい。この場合には、エフェクト処理を行う演奏タイミングとエフェクト処理種別を示すエフェクト処理情報を楽曲データのシーケンス情報として予め設定しておく。カラオケ装置３の音源装置３１０が楽曲データを再生する際にシーケンス情報を参照し、エフェクト処理種別が設定されている演奏タイミング時において、その演奏タイミングにおける楽音データとエフェクト処理種別を音声処理部３２０へ送出する。そして、音声処理部３２０は、その楽音データの音声信号をスピーカ３２１から出力すると共に、マイク３２２により収音した音声信号の歌唱音声データとエフェクト処理種別を制御部３００に送出する。制御部３００は、音声処理部３２０から送出された歌唱音声データとエフェクト処理種別を通信Ｉ／Ｆ部３５０を介してホストサーバ２へ送信する。ホストサーバ２の制御部２００は、カラオケ装置３から受信した歌唱音声データとエフェクト処理種別をエフェクト処理部２２０に出力して、実施形態と同様に、エフェクト処理部２２０によりエフェクト処理を行い、エフェクト音声データをカラオケ装置３へ送信する。カラオケ装置３は、ホストサーバ２から受信したエフェクト音声データの音声信号と楽音データの音声信号を音声処理部３２０においてミキシングしてスピーカ３２１から出力する。
【００２８】
（２）また、上述した実施形態では、カラオケ装置３においてユーザに選択されたエフェクト処理種別を要求データとしてホストサーバ２へ送信するものとしたが、カラオケ装置３からホストサーバ２へ歌唱音声データを送信する際にエフェクト処理種別を示す情報を付加して送信するようにしてもよい。この場合には、ホストサーバ２において予めエフェクト処理プログラムに対応するホストサーバ２のポート番号等の識別情報を設定し、カラオケ装置３においてエフェクトポート番号情報を予め記憶する。図６は、エフェクトポート番号情報４０のデータ例を示している。図６に示すようにエフェクトポート番号情報４０は、エフェクト処理プログラムを識別するエフェクト処理種別と、エフェクト処理プログラムに割当てられたポート番号とを対応づけて記憶している。
そして、カラオケ装置３において、ユーザによって指定されたエフェクト処理種別に対応するポート番号を歌唱音声データの送信パケットに含めて送信し、ホストサーバ２は、受信したパケットに含まれるポート番号に対応するエフェクト処理プログラムをエフェクト処理部２２０により実行して歌唱音声データにエフェクト処理を行うようにする。
【００２９】
（３）また、上述した実施形態では、ホストサーバ２は予め設定されたエフェクト処理プログラムを実行してエフェクト処理を行う例であったが、カラオケ装置３からエフェクト処理プログラムをホストサーバ２に送信してエフェクト処理を行うようにしてもよい。この場合には、あらかじめカラオケ装置３においてエフェクト処理種別毎のエフェクト処理プログラムを記憶し、ユーザによって選択されたエフェクト処理種別のエフェクト処理プログラムを楽曲データの要求データと共にホストサーバ２に送信する。そして、ホストサーバ２の制御部２００は、送信されたエフェクト処理プログラムを記憶部２１０に記憶し、カラオケ装置３から歌唱音声データが送信されてきた際に、記憶部２１０に記憶されているエフェクト処理プログラムを実行するコマンドと歌唱音声データをエフェクト処理部２２０に送出し、エフェクト処理部２２０によりエフェクト処理プログラムを実行して歌唱音声データにエフェクト処理を行うようにする。
【００３０】
（４）また、上述した実施形態では、カラオケ装置３においてユーザの音声を収音し、その収音した音声にエフェクト処理を行う例について説明したが、楽器等を演奏したオーディオ信号を収音し、そのオーディオ信号のオーディオデータにエフェクト処理を行うように構成してもよい。この場合の構成例を図７に示す。図７において、ＰＣ等で構成された情報端末５は、実施形態のカラオケ装置３に設けられていた音源装置３１０を除く実線で示す各部を有し、楽器６のオーディオ信号をマイク３２２により収音する構成である。また、ホストサーバ２は、実施形態と同様の実線で示す各部を備えているものとする。このような構成において、ユーザは楽器６の演奏開始前に、操作部３３０を用いてホストサーバ２が提供するエフェクト処理の種別を選択する。制御部３００は選択されたエフェクト処理種別の情報を通信Ｉ／Ｆ３５０を介してホストサーバ２に送信し、ホストサーバ２の制御部２００は、情報端末５から送信されたエフェクト処理種別をＲＡＭに記憶する。ユーザが楽器６の演奏を開始すると、マイク３２２により楽器６のオーディオ信号を収音し、制御部３００は、収音されたオーディオ信号のオーディオデータを音声処理部３２０により順次生成してホストサーバ２に送信する。ホストサーバ２の制御部２００は、実施形態と同様、エフェクト処理部２２０により、情報端末５から順次送信されてくるオーディオデータをＲＡＭに記憶されているエフェクト処理種別に従ってエフェクト処理を行い、エフェクト処理後のオーディオデータを情報端末５に送信する。情報端末５は、ホストサーバ２から順次送信されてくるオーディオデータを音声処理部３２０によりアナログ変換してスピーカ３２１から出力する。
【００３１】
また、楽器を演奏するための操作子を用いてエフェクト処理種別を指定するようにしてもよい。この場合には、情報端末５及びホストサーバ２は、図７の実線で示す構成に加えて破線で示した構成を備える。即ち、ホストサーバ２はＭＩＤＩデータを再生する音源装置２４０を備え、情報端末５には楽器７を接続し、楽器７からＭＩＤＩ形式の演奏データを入力する。また、例えば、楽器7がＭＩＤＩキーボードである場合には、キーボードにエフェクト処理種別を選択するための選択ボタンを予め設定しておく。このような構成において、キーボードの演奏にエフェクト処理を行う場合、ユーザはキーボードの演奏中に選択ボタンを押下してエフェクト処理種別を指定する。制御部３００は、エフェクト処理種別が割当てられたボタンが押下されている間は、演奏データに加えてそのエフェクト処理種別をホストサーバ２へ順次送信する。ホストサーバ２の制御部２００は、送信されてくる演奏データを音源装置２３０により再生して楽音データを生成し、情報端末５から送信されたエフェクト処理種別に従ってエフェクト処理部２２０によりその楽音データにエフェクト処理を行い、エフェクト処理された楽音データを情報端末５に送信する。情報端末５の制御部３００は、ホストサーバ２から送信されてくるエフェクト処理後の楽音データを音声処理部３２０においてアナログ変換してスピーカ３２１から出力する。
【００３２】
また、情報端末５の機能を携帯電話機に設け、携帯電話機に内蔵されているマイクで収音したユーザの音声を、携帯電話網を介して接続されたホストサーバ２によりエフェクト処理を行うようにしてもよい。この場合には、ホストサーバ２が提供しているエフェクト処理種別を選択するための選択画面を携帯電話機に表示し、エフェクト処理種別の選択をユーザから受付ける。そして、携帯電話機においてユーザが選択したエフェクト処理種別とユーザの音声データとをホストサーバ２へ送信する。ホストサーバ２は携帯電話機から送信された音声データに対して指定されたエフェクト処理種別のエフェクト処理を行い、エフェクト処理後の音声データを携帯電話機へ送信する。携帯電話機は、ホストサーバ２から受信した音声データを携帯電話機に内蔵されているスピーカから出力してもよいし、その音声データを携帯電話機のメモリに記憶するようにしてもよい。このように構成することにより携帯電話機をボイスチェンジャーのように利用することができる。
【００３３】
（５）また、上述した実施形態では、カラオケ装置３は、ホストサーバ２において提供されているエフェクト処理種別を予め記憶部３６０に記憶している例であったが、図４のステップＳ１０の前に、カラオケ装置３からホストサーバ２にエフェクト処理種別を問い合わせる処理を行い、ホストサーバ２からエフェクト処理種別の情報を受信した後、楽曲・エフェクト処理種別画面を表示するようにしてもよい。
【００３４】
（６）上述した実施形態では、ホストサーバ２は複数のエフェクト処理を行うよう構成されていたが、図８に示すように、提供するエフェクト処理が異なるホストサーバ２ａ〜２ｃを複数設置するようにしてもよい。この場合には、カラオケ装置３においてホストサーバ２ａ〜２ｃのＩＰアドレスと各ホストサーバに対応するエフェクト処理種別とを対応づけて記憶し、ユーザによって選択されたエフェクト処理種別に対応するホストサーバのＩＰアドレスやドメイン情報など、ホストサーバを識別する識別情報を指定してエフェクト処理の要求データをそのホストサーバに送信するように構成する。
【００３５】
（７）上述した実施形態では、カラオケ装置３において再生されたカラオケの楽曲データの音声信号は、ネットワーク４のネットワーク遅延時間を考慮せずに出力する例であったが、ネットワーク遅延時間分だけ遅延させて楽曲データの音声信号をスピーカ３２１により出力してもよい。
【００３６】
（８）また、所定のエフェクト処理機能を有するアンプ等のエフェクタ装置からホストサーバ２にアクセスし、エフェクタ装置において取得したオーディオデータに対して、エフェクタ装置が有する所定のエフェクト処理機能とは異なるエフェクト処理をホストサーバ２に要求し、ホストサーバ２においてエフェクト処理されたオーディオデータを取得して出力するようにしてもよい。この場合には、エフェクタ装置は、エフェクト処理種別を指定する指定手段と、楽器等のオーディオ信号を取得するオーディオ信号取得手段と、取得したオーディオ信号のオーディオデータに所定のエフェクト処理を行って第１のエフェクトオーディオデータを生成するエフェクト処理手段と、指定されたエフェクト処理種別と当該オーディオデータをホストサーバ２へ送信し、当該オーディオデータに対して指定したエフェクト処理種別のエフェクト処理がなされた第２のエフェクトオーディオデータをホストサーバ２から受信する通信手段と、受信した第２のエフェクトオーディオデータと第１のエフェクトオーディオデータを合成して出力する出力手段とを備えるように構成する。
【符号の説明】
【００３７】
１・・・音響効果付与システム、２・・・ホストサーバ、３・・・カラオケ装置、４・・・ネットワーク、２００、３００・・・制御部、２１０，３６０・・・記憶部、２２０・・・エフェクト処理部、２３０，３５０・・・通信Ｉ／Ｆ、２３０，３１０・・・音源装置、３２０・・・音声処理部、３２１・・・スピーカ、３２２・・・マイク、３３０・・・操作部、３４０・・・表示部
【技術分野】
【０００１】
本発明は、ネットワークを介して接続された端末から送信された音声に音響効果を付与する技術に関する。
【背景技術】
【０００２】
ある端末においてエフェクト処理された音声データとエフェクト処理時の音声制御パラメータを、その端末と通信網を介して接続された他の機器に送信し、その機器において、音声制御パラメータに基づいて、一部のエフェクト処理を解除した音声データを送信元の端末に送信する技術が下記の特許文献１に開示されている。この技術は、悪意者からのエフェクト処理された音声データをできるだけ元の音声に戻すことができるので犯罪等を未然に防止することに対して効果的に用いることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−６９００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、例えば、楽器の演奏音や歌声等にエコー等の音響効果をリアルタイムで付与して聞きたい場合、音響効果を付与するためのエフェクタ装置がなければこれを実現することはできない。上記従来技術は、エフェクト処理された音声を元の音声に戻す技術であり、通信網を介してリアルタイムでエフェクト処理を行うことはできない。
本発明は、ネットワークを介して接続された端末において取得された音声に対してリアルタイムで音響効果を付与することができる音響効果付与システムを提供する。
【課題を解決するための手段】
【０００５】
本発明に係る音響効果付与システムは、ネットワーク接続された第１装置と第２装置を有する音響効果付与システムであって、前記第１装置は、オーディオ信号を遂次取得する取得手段と、前記取得手段により取得された前記オーディオ信号を順次符号化した第１のオーディオストリームデータを前記第２装置へ送信する送信手段と、前記送信手段により送信した前記第１のオーディオストリームデータにリアルタイムで所定の音響効果が付与された第２のオーディオストリームデータを前記第２装置から受信する受信手段と、前記受信手段により受信された前記第２のオーディオストリームデータを復号して出力する出力手段とを備え、前記第２装置は、前記第１装置から前記第１のオーディオストリームデータを受信する受信手段と、前記受信手段により受信された前記第１のオーディオストリームデータに対して前記所定の音響効果を付与し、前記第２のオーディオストリームデータを生成する音響効果付与手段と、前記音響効果付与手段により生成された前記第２のオーディオストリームデータを前記第１装置へ送信する送信手段とを備える。
【発明の効果】
【０００６】
本発明によれば、第１装置に音響効果付与手段を備えなくとも、ネットワークを介して接続された第２装置で第１のオーディオストリームデータに音響効果を付与した第２のオーディオストリームデータを第１装置において出力することができる。
【０００７】
また、前記第１装置において、音響効果の種別を指示する指示手段を備え、前記送信手段は、前記指示手段により指示された前記音響効果の種別を示す種別情報と前記第１のオーディオストリームデータと共に前記第２装置へ送信し、前記第２装置において、前記音響効果付与手段により付与可能な前記音響効果の種別を記憶する記憶手段と、前記受信手段は、前記第１装置から前記第１のオーディオストリームデータと前記種別情報を受信し、前記音響効果付与手段は、前記受信手段により受信された前記種別情報に対応する、前記記憶手段に記憶されている前記種別の前記音響効果を前記第１のオーディオストリームデータに付与し、前記第２のオーディオストリームデータを生成することとしてもよい。この構成によれば、第１装置において所望する音響効果の種別を任意に指定することができる。
【０００８】
また、前記第１装置において、前記所定の音響効果を付与するための音響効果付与プログラムを記憶する記憶手段を備え、前記送信手段は、前記第１のオーディオストリームデータと前記記憶手段に記憶されている前記音響効果付与プログラムを送信し、前記第２装置において、前記受信手段は、前記第１のオーディオストリームデータと前記音響効果付与プログラムとを受信し、前記音響効果付与手段は、前記受信手段により受信された前記音響効果付与プログラムを実行し、当該音響効果付与プログラムにおいて指定されている音響効果を前記第１のオーディオストリームデータに付与して前記第２のオーディオストリームデータを生成することとしてもよい。
この構成によれば、第２装置において音響効果付与プログラムを備えていない場合であっても、第１装置から送信された音響効果付与プログラムを用いて、第１装置から送信されたオーディオストリームデータに音響効果を付与することができる。
【０００９】
また、前記第１装置において、前記第１のオーディオストリームデータには、前記所定の音響効果を付与する指示情報を含み、前記第２装置において、前記音響効果付与手段は、前記第１のオーディオストリームデータに含まれる前記指示情報に従って前記第２のオーディオストリームデータを生成することとしてもよい。
この構成によれば、オーディオストリームデータに予め設定された音響効果の指示情報に従って音響効果が付与されるので、オーディオストリームデータの内容に適応した音響効果を付与することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る音響効果付与システムの構成例を示す図である。
【図２】実施形態に係るホストサーバ２とカラオケ装置３のブロック図である。
【図３】実施形態における楽曲データのデータ構成例を示す図である。
【図４】実施形態に係る音響効果付与システムの動作フロー図である。
【図５】実施形態における楽曲及びエフェクト処理種別選択画面の例を示す図である。
【図６】変形例におけるエフェクトポート番号情報のデータ例を示す図である。
【図７】変形例におけるホストサーバ２とカラオケ装置３のブロック図である。
【図８】変形例における音響効果付与システムの構成例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明に係る実施形態の音響効果付与システムについて説明する。
＜実施形態＞
（構成）
図１は、本実施形態に係る音響効果付与システムの構成を示している。音響効果付与システム１は、第２装置として構成されたホストサーバ２、及び第１装置として構成されたカラオケ装置３を含み、ホストサーバ２とカラオケ装置３はＩＰネットワーク網のネットワーク４を介して接続されている。本実施形態では、ホストサーバ２は、ネットワーク４を介してカラオケの楽曲データをカラオケ装置３に提供すると共に、カラオケ装置３を用いてユーザが歌った音声にリバーブ等のエフェクト処理をリアルタイムで行うサービスを提供する。
【００１２】
以下、音響効果付与システム１の詳細について図２を用いて説明する。図２は、本実施形態に係るホストサーバ２とカラオケ装置３のブロック図である。まず、ホストサーバ２について説明する。ホストサーバ２は、制御部２００、記憶部２１０、エフェクト処理部２２０、及び通信Ｉ／Ｆ２３０を含んで構成されている。制御部２００は、ＣＰＵ(Central Processing Unit)と、ＲＯＭ(Read only Memory)及びＲＡＭ(Random Access Memory)のメモリを含んで構成されており、ＲＡＭをワーキングエリアとしてＲＯＭに記憶されている制御プログラムを実行することにより制御部２００と接続されている各部を制御する。
【００１３】
記憶部２１０は、ハードディスク等の大容量記憶媒体で構成されており、複数の楽曲データ及びエフェクト処理部２２０によって実行されるエフェクト処理プログラムが記憶されている。ここで、楽曲データについて説明する。図３は、楽曲データのデータ構成例を示している。楽曲データ２０は、楽曲ヘッダ２０ａと演奏情報２０ｂ及び歌詞情報２０ｃを含んで構成されている。楽曲ヘッダ２０ａには、楽曲を一意に識別する曲番号、楽曲の曲名、楽曲の演奏時間の各々を示すデータが格納されている。また、演奏情報２０ｂには、楽曲の演奏を行う各パートの楽器の演奏音や歌唱音声を示すＷＡＶＥ形式やＭＰ３(MPEG-1 Audio Layer-3)等の形式で表現された演奏データが記憶されている。また、歌詞情報２０ｃには、楽曲の歌詞の内容を示す歌詞データと、歌詞データを表示するタイミングや表示位置等のデータが対応づけて記憶されている。
【００１４】
図２に戻り説明を続ける。エフェクト処理部２２０は、ＤＳＰ(Digital Signal Processor)等の信号処理機能を有するハードウェアで構成されており、制御部２００の制御の下、記憶部２１０に記憶されている所定のエフェクト処理プログラムを実行し、予めエフェクト処理プログラムにおいて指定されているパラメータに従って入力される音声データに対してエフェクト処理を行う。なお、本実施形態ではリバーブとディレイのエフェクト処理を行うエフェクト処理プログラムが記憶されているが、これら以外のエフェクト処理を行うプログラムが記憶されていてもよい。
通信Ｉ／Ｆ２３０は、制御部２００から送出されるデータのＩＰパケットを生成してネットワーク４に送信すると共に、ネットワーク４を介してカラオケ装置３からＩＰパケットを受信してＩＰパケット内のデータを制御部２００へ送出する。
【００１５】
次に、カラオケ装置３の構成について説明する。カラオケ装置３は、制御部３００、音源装置３１０、音声処理部３２０、スピーカ３２１、マイク３２２、操作部３３０、表示部３４０、通信Ｉ／Ｆ３５０及び記憶部３６０を含んで構成されている。制御部３００は、ＣＰＵと、ＲＯＭ及びＲＡＭのメモリを含んで構成されており、ＲＡＭをワーキングエリアとしてＲＯＭに記憶されている制御プログラムを実行することにより制御部３００と接続されている各部を制御する。
【００１６】
音源装置３１０は、例えばＭＩＤＩ音源であり、ホストサーバ２から配信される楽曲データに基づいて楽音データを生成して音声処理部３２０へ送出する。音声処理部３２０は、音源装置３１０から送出される楽音データと、制御部３００から入力される音声データをアナログの音声信号に変換し、各音声信号をミキシングして増幅し、スピーカ３２１から出力すると共に、マイク３２２から入力される音声信号をデジタル変換した音声データを制御部３００へ送出する。スピーカ３２１は、音声処理部３２０から入力される音声信号を出力し、マイク３２２はユーザの音声を収音して音声処理部３２０へ出力する。
【００１７】
操作部３３０は、テンキーや方向キーなどの各種キースイッチを有する。ユーザは楽曲の選択やエフェクト処理の選択等をこれらのキーを用いて行い、ユーザによってなされたキー操作の情報が制御部３００に送出される。
表示部３４０は、液晶等のディスプレイを有し、制御部３００の制御の下、カラオケ装置３を操作するためのメニュー画面、楽曲及びエフェクト処理種別を選択するための楽曲・エフェクト処理種別選択画面、所定の背景画像に楽曲の歌詞を重ね合わせたカラオケ画面などの各種画面を表示する。
通信Ｉ／Ｆ３５０は、制御部３００から送出される楽曲の曲番号とエフェクト処理種別を含む要求データや音声データを所定データ単位にパケット化してネットワーク４へ送信すると共に、ネットワーク４を介してホストサーバ２からＩＰパケットを受信してＩＰパケット内の楽曲データや音声データを制御部３００へ送出する。記憶部３６０は、ハードディスク等の記憶媒体で構成されており、ホストサーバ２において提供されているエフェクト処理種別の情報(リバーブ、ディレイ)や、カラオケ画面を表示する際の背景画像データ等の各種データを記憶している。
なお、本実施形態においては、背景画像データを、カラオケ装置３の記憶部３６０に記憶する構成としているが、ホストサーバ２において背景画像データと楽曲データを記憶し、ネットワーク４を通じて、ホストサーバ２から背景画像データ及び楽曲データをリアルタイムでカラオケ装置３に送る構成としてもよい。また、ネットワーク４を介してカラオケ装置３と接続された他のサーバにおいて記憶されている背景画像データをカラオケ装置３に送信し、カラオケ装置３は、その他のサーバから送信された背景画像データをホストサーバ２から受信した楽曲データと共に再生して表示部３４０に表示するようにしてもよい。
【００１８】
（動作）
次に、本実施形態に係る音響効果付与システム１の動作について説明する。図４は、音響効果付与システム１の動作フローを示す図である。カラオケ装置３において、ユーザが操作部３３０を用いて楽曲・エフェクト処理種別選択画面を表示する操作を行うと、制御部３００は、記憶部３６０からエフェクト処理種別情報を読み出し、図５に示す楽曲・エフェクト処理種別選択画面３０を表示部３４０に表示し、ユーザから楽曲の曲番号３０ａ及びエフェクト処理種別３０ｂを入力する操作を受付ける(ステップＳ１０)。
【００１９】
制御部３００は、操作部３３０を介してユーザから楽曲の曲番号の入力とエフェクト処理種別を選択する操作を受付けると(ステップＳ１１：ＹＥＳ)、入力された楽曲の曲番号とエフェクト処理種別のデータを含む要求データのＩＰパケットを通信部Ｉ／Ｆ３５０を介してホストサーバ２へ送信する(ステップ１２)。
【００２０】
ホストサーバ２の通信Ｉ／Ｆ２３０は、カラオケ装置３から要求データを含むＩＰパケットを受信し、ＩＰパケット内の曲番号とエフェクト処理種別の各データを制御部２００へ送出する(ステップ２０)。制御部２００は、通信Ｉ／Ｆ２３０から送出されたエフェクト処理種別データをＲＡＭに記憶し、曲番号データが示す楽曲データを記憶部２１０の楽曲データ２０から読み出し、その楽曲データを含むＩＰパケットを通信Ｉ／Ｆ部２３０を介してカラオケ装置３へ送信する(ステップＳ２１)。
【００２１】
カラオケ装置３の制御部３００は、楽曲データを通信Ｉ／Ｆ部３５０を介してホストサーバ２から受信し、楽曲データをＲＡＭに記憶する(ステップＳ１３)。そして、制御部３００は、ＲＡＭから楽曲データの演奏情報を順次読み出して音源装置３１０へ送出し、音源装置３１０により演奏情報に応じた楽音データを生成し、音声処理部３２０により楽音データをアナログ変換してスピーカ３２１から出力する。また、制御部３００は、記憶部３６０に記憶されている背景画像データと楽曲データの歌詞情報を表示部３４０に送出し、表示部３４０により歌詞情報に基づく文字データと背景画像データとを重ね合わせたカラオケ画面を生成して表示する。これにより楽曲データの演奏が開始される。また、制御部３００は、マイク３２２によって収音された音声信号を音声処理部３２０により順次デジタル変換して歌唱音声データを生成する (ステップＳ１４)。
【００２２】
制御部３００は、音声処理部３２０において順次生成された歌唱音声データを所定の通信プロトコル(例えばＲＴＰプロトコル)に従ってパケット化した歌唱音声パケットを生成する。そして、通信Ｉ／Ｆ３５０により歌唱音声パケットを含むＩＰパケットを順次ホストサーバ２へ送信する(ステップＳ１５)。なお、この歌唱音声パケットのパケットヘッダには、送信先のホストサーバ２のＩＰアドレス、送信元のカラオケ装置３のＩＰアドレス、及びタイムスタンプ情報としてパケットの送信開始からの時刻を含めて送信する。
【００２３】
ホストサーバ２の通信Ｉ／Ｆ２３０は、カラオケ装置３から歌唱音声パケットを含むＩＰパケットを順次受信し、その歌唱音声パケットを制御部２００へ順次送出する（ステップＳ２２）。
制御部２００は、通信Ｉ／Ｆ２３０から送出される歌唱音声パケット内のタイムスタンプ情報をＲＡＭに記憶し、歌唱音声パケット内の歌唱音声データをエフェクト処理部２２０に順次送出すると共に、ＲＡＭに記憶されているエフェクト処理種別に応じたエフェクト処理を行うことを指示するコマンドをエフェクト処理部２２０に送出する。エフェクト処理部２２０は、指示されたエフェクト処理種別に対応するエフェクト処理プログラムを記憶部２１０から読み出して実行し、制御部２００から順次入力される歌唱音声データに対してエフェクト処理を行い、エフェクト処理後のエフェクト音声データを制御部２００へ順次出力する(ステップＳ２３)。
【００２４】
制御部２００は、エフェクト処理部２２０によって出力されたエフェクト音声データに対応するタイムスタンプ情報をＲＡＭから読み出し、読み出したタイムスタンプ情報をエフェクト音声データに対応づけて通信Ｉ／Ｆ２３０に送出する。通信Ｉ／Ｆ２３０は、エフェクト音声データとタイムスタンプ情報を含むＩＰパケットを生成してカラオケ装置３へ送信する(ステップＳ２４)。制御部２００は、歌唱音声データの受信を終了するまで上記ステップＳ２２以下の処理を繰り返し行い(ステップＳ２５：ＮＯ)、歌唱音声データの受信を終了したときに処理を終了する(ステップＳ２５：ＹＥＳ)。
【００２５】
カラオケ装置３の通信Ｉ／Ｆ３５０は、ステップＳ２４においてホストサーバ２から順次送信されるＩＰパケットを受信し、受信したＩＰパケット内のエフェクト音声データとタイムスタンプ情報を制御部３００へ順次送出する(ステップＳ１６)。制御部３００は、通信Ｉ／Ｆ３５０から順次送信されてくるエフェクト音声データのタイムスタンプ情報を参照し、タイムスタンプ情報の時刻順となるようにエフェクト音声データを音声処理部３２０へ出力する。音声処理部３２０は、制御部３００から入力されるエフェクト音声データをアナログ変換した音声信号と、音源装置３１０によって再生された楽音データの楽音信号とをミキシングして増幅し、スピーカ３２１から出力する(ステップＳ１７)。これにより、ユーザが歌唱した音声にリバーブ等のエフェクト処理がなされた音声がスピーカ３２１から出力される。
【００２６】
制御部３００は、楽曲データの演奏が終了するまでステップＳ１４以下の処理を繰り返し行い（ステップＳ１８：ＮＯ）、演奏が終了したときに処理を終了する(ステップＳ１８：ＹＥＳ)。また、ステップＳ１１において、制御部３００は、ユーザから楽曲の曲番号及びエフェクト処理種別の選択を受付けるまで楽曲及びエフェクト選択画面を表示して待機する(ステップＳ１１：ＮＯ)。なお、本実施形態では、楽曲の曲番号と共にエフェクト処理種別の選択を行わなければ次のステップの処理を行わないように制御する例であるが、楽曲の曲番号のみを選択し、エフェクト処理種別の選択が行われなった場合には、選択された楽曲データをホストサーバ２から受信して通常のカラオケ演奏を行うようにしてもよい。
上述の本実施形態では、ホストサーバ２にアクセスし、ホストサーバ２によって提供されているエフェクト処理種別を選択するだけで、カラオケ装置３においてユーザが歌唱した音声がリアルタイムにエフェクト処理されて楽曲と共に出力される。従って、カラオケ装置３にエフェクト処理の機能が搭載されていない場合であっても、容易にユーザの音声にエコー等の音響効果を付与することができる。
【００２７】
＜変形例＞
以下、本発明の変形例について説明する。
（１）上述した実施形態では、エフェクト処理種別の選択をカラオケ装置３の操作部３３０を用いて行う例であったが、楽曲データに予め設定されたエフェクト処理情報に従ってユーザの音声にエフェクト処理を行うようにしてもよい。この場合には、エフェクト処理を行う演奏タイミングとエフェクト処理種別を示すエフェクト処理情報を楽曲データのシーケンス情報として予め設定しておく。カラオケ装置３の音源装置３１０が楽曲データを再生する際にシーケンス情報を参照し、エフェクト処理種別が設定されている演奏タイミング時において、その演奏タイミングにおける楽音データとエフェクト処理種別を音声処理部３２０へ送出する。そして、音声処理部３２０は、その楽音データの音声信号をスピーカ３２１から出力すると共に、マイク３２２により収音した音声信号の歌唱音声データとエフェクト処理種別を制御部３００に送出する。制御部３００は、音声処理部３２０から送出された歌唱音声データとエフェクト処理種別を通信Ｉ／Ｆ部３５０を介してホストサーバ２へ送信する。ホストサーバ２の制御部２００は、カラオケ装置３から受信した歌唱音声データとエフェクト処理種別をエフェクト処理部２２０に出力して、実施形態と同様に、エフェクト処理部２２０によりエフェクト処理を行い、エフェクト音声データをカラオケ装置３へ送信する。カラオケ装置３は、ホストサーバ２から受信したエフェクト音声データの音声信号と楽音データの音声信号を音声処理部３２０においてミキシングしてスピーカ３２１から出力する。
【００２８】
（２）また、上述した実施形態では、カラオケ装置３においてユーザに選択されたエフェクト処理種別を要求データとしてホストサーバ２へ送信するものとしたが、カラオケ装置３からホストサーバ２へ歌唱音声データを送信する際にエフェクト処理種別を示す情報を付加して送信するようにしてもよい。この場合には、ホストサーバ２において予めエフェクト処理プログラムに対応するホストサーバ２のポート番号等の識別情報を設定し、カラオケ装置３においてエフェクトポート番号情報を予め記憶する。図６は、エフェクトポート番号情報４０のデータ例を示している。図６に示すようにエフェクトポート番号情報４０は、エフェクト処理プログラムを識別するエフェクト処理種別と、エフェクト処理プログラムに割当てられたポート番号とを対応づけて記憶している。
そして、カラオケ装置３において、ユーザによって指定されたエフェクト処理種別に対応するポート番号を歌唱音声データの送信パケットに含めて送信し、ホストサーバ２は、受信したパケットに含まれるポート番号に対応するエフェクト処理プログラムをエフェクト処理部２２０により実行して歌唱音声データにエフェクト処理を行うようにする。
【００２９】
（３）また、上述した実施形態では、ホストサーバ２は予め設定されたエフェクト処理プログラムを実行してエフェクト処理を行う例であったが、カラオケ装置３からエフェクト処理プログラムをホストサーバ２に送信してエフェクト処理を行うようにしてもよい。この場合には、あらかじめカラオケ装置３においてエフェクト処理種別毎のエフェクト処理プログラムを記憶し、ユーザによって選択されたエフェクト処理種別のエフェクト処理プログラムを楽曲データの要求データと共にホストサーバ２に送信する。そして、ホストサーバ２の制御部２００は、送信されたエフェクト処理プログラムを記憶部２１０に記憶し、カラオケ装置３から歌唱音声データが送信されてきた際に、記憶部２１０に記憶されているエフェクト処理プログラムを実行するコマンドと歌唱音声データをエフェクト処理部２２０に送出し、エフェクト処理部２２０によりエフェクト処理プログラムを実行して歌唱音声データにエフェクト処理を行うようにする。
【００３０】
（４）また、上述した実施形態では、カラオケ装置３においてユーザの音声を収音し、その収音した音声にエフェクト処理を行う例について説明したが、楽器等を演奏したオーディオ信号を収音し、そのオーディオ信号のオーディオデータにエフェクト処理を行うように構成してもよい。この場合の構成例を図７に示す。図７において、ＰＣ等で構成された情報端末５は、実施形態のカラオケ装置３に設けられていた音源装置３１０を除く実線で示す各部を有し、楽器６のオーディオ信号をマイク３２２により収音する構成である。また、ホストサーバ２は、実施形態と同様の実線で示す各部を備えているものとする。このような構成において、ユーザは楽器６の演奏開始前に、操作部３３０を用いてホストサーバ２が提供するエフェクト処理の種別を選択する。制御部３００は選択されたエフェクト処理種別の情報を通信Ｉ／Ｆ３５０を介してホストサーバ２に送信し、ホストサーバ２の制御部２００は、情報端末５から送信されたエフェクト処理種別をＲＡＭに記憶する。ユーザが楽器６の演奏を開始すると、マイク３２２により楽器６のオーディオ信号を収音し、制御部３００は、収音されたオーディオ信号のオーディオデータを音声処理部３２０により順次生成してホストサーバ２に送信する。ホストサーバ２の制御部２００は、実施形態と同様、エフェクト処理部２２０により、情報端末５から順次送信されてくるオーディオデータをＲＡＭに記憶されているエフェクト処理種別に従ってエフェクト処理を行い、エフェクト処理後のオーディオデータを情報端末５に送信する。情報端末５は、ホストサーバ２から順次送信されてくるオーディオデータを音声処理部３２０によりアナログ変換してスピーカ３２１から出力する。
【００３１】
また、楽器を演奏するための操作子を用いてエフェクト処理種別を指定するようにしてもよい。この場合には、情報端末５及びホストサーバ２は、図７の実線で示す構成に加えて破線で示した構成を備える。即ち、ホストサーバ２はＭＩＤＩデータを再生する音源装置２４０を備え、情報端末５には楽器７を接続し、楽器７からＭＩＤＩ形式の演奏データを入力する。また、例えば、楽器7がＭＩＤＩキーボードである場合には、キーボードにエフェクト処理種別を選択するための選択ボタンを予め設定しておく。このような構成において、キーボードの演奏にエフェクト処理を行う場合、ユーザはキーボードの演奏中に選択ボタンを押下してエフェクト処理種別を指定する。制御部３００は、エフェクト処理種別が割当てられたボタンが押下されている間は、演奏データに加えてそのエフェクト処理種別をホストサーバ２へ順次送信する。ホストサーバ２の制御部２００は、送信されてくる演奏データを音源装置２３０により再生して楽音データを生成し、情報端末５から送信されたエフェクト処理種別に従ってエフェクト処理部２２０によりその楽音データにエフェクト処理を行い、エフェクト処理された楽音データを情報端末５に送信する。情報端末５の制御部３００は、ホストサーバ２から送信されてくるエフェクト処理後の楽音データを音声処理部３２０においてアナログ変換してスピーカ３２１から出力する。
【００３２】
また、情報端末５の機能を携帯電話機に設け、携帯電話機に内蔵されているマイクで収音したユーザの音声を、携帯電話網を介して接続されたホストサーバ２によりエフェクト処理を行うようにしてもよい。この場合には、ホストサーバ２が提供しているエフェクト処理種別を選択するための選択画面を携帯電話機に表示し、エフェクト処理種別の選択をユーザから受付ける。そして、携帯電話機においてユーザが選択したエフェクト処理種別とユーザの音声データとをホストサーバ２へ送信する。ホストサーバ２は携帯電話機から送信された音声データに対して指定されたエフェクト処理種別のエフェクト処理を行い、エフェクト処理後の音声データを携帯電話機へ送信する。携帯電話機は、ホストサーバ２から受信した音声データを携帯電話機に内蔵されているスピーカから出力してもよいし、その音声データを携帯電話機のメモリに記憶するようにしてもよい。このように構成することにより携帯電話機をボイスチェンジャーのように利用することができる。
【００３３】
（５）また、上述した実施形態では、カラオケ装置３は、ホストサーバ２において提供されているエフェクト処理種別を予め記憶部３６０に記憶している例であったが、図４のステップＳ１０の前に、カラオケ装置３からホストサーバ２にエフェクト処理種別を問い合わせる処理を行い、ホストサーバ２からエフェクト処理種別の情報を受信した後、楽曲・エフェクト処理種別画面を表示するようにしてもよい。
【００３４】
（６）上述した実施形態では、ホストサーバ２は複数のエフェクト処理を行うよう構成されていたが、図８に示すように、提供するエフェクト処理が異なるホストサーバ２ａ〜２ｃを複数設置するようにしてもよい。この場合には、カラオケ装置３においてホストサーバ２ａ〜２ｃのＩＰアドレスと各ホストサーバに対応するエフェクト処理種別とを対応づけて記憶し、ユーザによって選択されたエフェクト処理種別に対応するホストサーバのＩＰアドレスやドメイン情報など、ホストサーバを識別する識別情報を指定してエフェクト処理の要求データをそのホストサーバに送信するように構成する。
【００３５】
（７）上述した実施形態では、カラオケ装置３において再生されたカラオケの楽曲データの音声信号は、ネットワーク４のネットワーク遅延時間を考慮せずに出力する例であったが、ネットワーク遅延時間分だけ遅延させて楽曲データの音声信号をスピーカ３２１により出力してもよい。
【００３６】
（８）また、所定のエフェクト処理機能を有するアンプ等のエフェクタ装置からホストサーバ２にアクセスし、エフェクタ装置において取得したオーディオデータに対して、エフェクタ装置が有する所定のエフェクト処理機能とは異なるエフェクト処理をホストサーバ２に要求し、ホストサーバ２においてエフェクト処理されたオーディオデータを取得して出力するようにしてもよい。この場合には、エフェクタ装置は、エフェクト処理種別を指定する指定手段と、楽器等のオーディオ信号を取得するオーディオ信号取得手段と、取得したオーディオ信号のオーディオデータに所定のエフェクト処理を行って第１のエフェクトオーディオデータを生成するエフェクト処理手段と、指定されたエフェクト処理種別と当該オーディオデータをホストサーバ２へ送信し、当該オーディオデータに対して指定したエフェクト処理種別のエフェクト処理がなされた第２のエフェクトオーディオデータをホストサーバ２から受信する通信手段と、受信した第２のエフェクトオーディオデータと第１のエフェクトオーディオデータを合成して出力する出力手段とを備えるように構成する。
【符号の説明】
【００３７】
１・・・音響効果付与システム、２・・・ホストサーバ、３・・・カラオケ装置、４・・・ネットワーク、２００、３００・・・制御部、２１０，３６０・・・記憶部、２２０・・・エフェクト処理部、２３０，３５０・・・通信Ｉ／Ｆ、２３０，３１０・・・音源装置、３２０・・・音声処理部、３２１・・・スピーカ、３２２・・・マイク、３３０・・・操作部、３４０・・・表示部
【特許請求の範囲】
【請求項１】
ネットワーク接続された第１装置と第２装置を有する音響効果付与システムであって、
前記第１装置は、
オーディオ信号を遂次取得する取得手段と、
前記取得手段により取得された前記オーディオ信号を順次符号化した第１のオーディオストリームデータを前記第２装置へ送信する送信手段と、
前記送信手段により送信した前記第１のオーディオストリームデータにリアルタイムで所定の音響効果が付与された第２のオーディオストリームデータを前記第２装置から受信する受信手段と、
前記受信手段により受信された前記第２のオーディオストリームデータを復号して出力する出力手段とを備え、
前記第２装置は、
前記第１装置から前記第１のオーディオストリームデータを受信する受信手段と、
前記受信手段により受信された前記第１のオーディオストリームデータに対して前記所定の音響効果を付与し、前記第２のオーディオストリームデータを生成する音響効果付与手段と、
前記音響効果付与手段により生成された前記第２のオーディオストリームデータを前記第１装置へ送信する送信手段と
を備えることを特徴とする音響効果付与システム。
【請求項２】
前記第１装置において、
音響効果の種別を指示する指示手段を備え、
前記送信手段は、前記指示手段により指示された前記音響効果の種別を示す種別情報と前記第１のオーディオストリームデータと共に前記第２装置へ送信し、
前記第２装置において、
前記音響効果付与手段により付与可能な前記音響効果の種別を記憶する記憶手段と、
前記受信手段は、前記第１装置から前記第１のオーディオストリームデータと前記種別情報を受信し、
前記音響効果付与手段は、前記受信手段により受信された前記種別情報に対応する、前記記憶手段に記憶されている前記種別の前記音響効果を前記第１のオーディオストリームデータに付与し、前記第２のオーディオストリームデータを生成することを特徴とする請求項１記載の音響効果付与システム。
【請求項３】
前記第１装置において、
前記所定の音響効果を付与するための音響効果付与プログラムを記憶する記憶手段を備え、
前記送信手段は、前記第１のオーディオストリームデータと前記記憶手段に記憶されている前記音響効果付与プログラムを送信し、
前記第２装置において、
前記受信手段は、前記第１のオーディオストリームデータと前記音響効果付与プログラムとを受信し、
前記音響効果付与手段は、前記受信手段により受信された前記音響効果付与プログラムを実行し、当該音響効果付与プログラムにおいて指定されている音響効果を前記第１のオーディオストリームデータに付与して前記第２のオーディオストリームデータを生成することを特徴とする請求項１記載の音響効果付与システム。
【請求項４】
前記第１装置において、
前記第１のオーディオストリームデータには、前記所定の音響効果を付与する指示情報を含み、
前記第２装置において、
前記音響効果付与手段は、前記第１のオーディオストリームデータに含まれる前記指示情報に従って前記第２のオーディオストリームデータを生成することを特徴とする請求項１記載の音響効果付与システム。
【請求項１】
ネットワーク接続された第１装置と第２装置を有する音響効果付与システムであって、
前記第１装置は、
オーディオ信号を遂次取得する取得手段と、
前記取得手段により取得された前記オーディオ信号を順次符号化した第１のオーディオストリームデータを前記第２装置へ送信する送信手段と、
前記送信手段により送信した前記第１のオーディオストリームデータにリアルタイムで所定の音響効果が付与された第２のオーディオストリームデータを前記第２装置から受信する受信手段と、
前記受信手段により受信された前記第２のオーディオストリームデータを復号して出力する出力手段とを備え、
前記第２装置は、
前記第１装置から前記第１のオーディオストリームデータを受信する受信手段と、
前記受信手段により受信された前記第１のオーディオストリームデータに対して前記所定の音響効果を付与し、前記第２のオーディオストリームデータを生成する音響効果付与手段と、
前記音響効果付与手段により生成された前記第２のオーディオストリームデータを前記第１装置へ送信する送信手段と
を備えることを特徴とする音響効果付与システム。
【請求項２】
前記第１装置において、
音響効果の種別を指示する指示手段を備え、
前記送信手段は、前記指示手段により指示された前記音響効果の種別を示す種別情報と前記第１のオーディオストリームデータと共に前記第２装置へ送信し、
前記第２装置において、
前記音響効果付与手段により付与可能な前記音響効果の種別を記憶する記憶手段と、
前記受信手段は、前記第１装置から前記第１のオーディオストリームデータと前記種別情報を受信し、
前記音響効果付与手段は、前記受信手段により受信された前記種別情報に対応する、前記記憶手段に記憶されている前記種別の前記音響効果を前記第１のオーディオストリームデータに付与し、前記第２のオーディオストリームデータを生成することを特徴とする請求項１記載の音響効果付与システム。
【請求項３】
前記第１装置において、
前記所定の音響効果を付与するための音響効果付与プログラムを記憶する記憶手段を備え、
前記送信手段は、前記第１のオーディオストリームデータと前記記憶手段に記憶されている前記音響効果付与プログラムを送信し、
前記第２装置において、
前記受信手段は、前記第１のオーディオストリームデータと前記音響効果付与プログラムとを受信し、
前記音響効果付与手段は、前記受信手段により受信された前記音響効果付与プログラムを実行し、当該音響効果付与プログラムにおいて指定されている音響効果を前記第１のオーディオストリームデータに付与して前記第２のオーディオストリームデータを生成することを特徴とする請求項１記載の音響効果付与システム。
【請求項４】
前記第１装置において、
前記第１のオーディオストリームデータには、前記所定の音響効果を付与する指示情報を含み、
前記第２装置において、
前記音響効果付与手段は、前記第１のオーディオストリームデータに含まれる前記指示情報に従って前記第２のオーディオストリームデータを生成することを特徴とする請求項１記載の音響効果付与システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−２３７４４２（Ｐ２０１０−２３７４４２Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８５３９５（Ｐ２００９−８５３９５）
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３１日（２００９．３．３１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]