信号処理装置および方法、信号処理システム、並びにプログラム
【課題】歌唱者の歌唱状態に併せて適切にハモリ区間を設定して、ハモリを付加できるようにする。
【解決手段】熱唱度算出部51は、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する。ハーモニ信号制御部56は、熱唱度算出部51により算出された熱唱度に基づいて、ピッチ検出部52、ハーモニ音程決定部53、およびピッチシフタ54により生成されたハモリ音声信号を、楽曲の歌唱者の歌唱音声信号に重畳するか否かを判定し、判定結果に基づいて、ハモリ音声信号を歌唱音声信号に対して重畳する。本技術は、カラオケ装置に適用することができる。
【解決手段】熱唱度算出部51は、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する。ハーモニ信号制御部56は、熱唱度算出部51により算出された熱唱度に基づいて、ピッチ検出部52、ハーモニ音程決定部53、およびピッチシフタ54により生成されたハモリ音声信号を、楽曲の歌唱者の歌唱音声信号に重畳するか否かを判定し、判定結果に基づいて、ハモリ音声信号を歌唱音声信号に対して重畳する。本技術は、カラオケ装置に適用することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、信号処理装置および方法、信号処理システム、並びにプログラムに関し、特に、カラオケ装置などで、演奏と共に歌唱する際、適切にハーモニ音声を付加できるようにした信号処理装置および方法、信号処理システム、並びにプログラムに関する。
【背景技術】
【0002】
近年、カラオケ装置は幅広く普及しており、カラオケボックスなどで使用される通信カラオケから、携帯機器で簡易的なカラオケ機能を実現するものまである。ところで、カラオケ装置とは、歌唱またはメロディパート(主旋律)を担う楽器を演奏する際に、生演奏ではなく事前に録音された伴奏を再生し、合唱または合奏する装置である。また、これらの行為そのものをカラオケということもある。
【0003】
従来のカラオケ装置においては、ユーザの歌唱音声(以下、ボーカル音という)と協和する音声(以下、ハーモニ音という)をボーカル音に付加する機能(以下、ハモリ機能)を備えたものが知られている(特許文献1参照)。この機能は、例えばマイクに入力したボーカル音に対して、一定の音程(例えば音階上の3度)だけずれた音声からなるハーモニ音を生成し、これを元のボーカル音に付加することでハモリ機能を実現している。また、この方法に限らず、より美しく協和する方法が多く考案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平8−50493号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、ハーモニ音を付加する区間については自動化されておらず、人の手間が必要であった。例えば、歌唱者の判断でその都度ハモリ機能を有効または無効にする操作が必要な場合、歌唱者は、カラオケ装置の伴奏と共に歌いながら、その操作のタイミングを見定める意識が必要となるため、純粋にカラオケ装置の伴奏と共に歌うことを楽しめない恐れがあった。
【0006】
また、カラオケ楽曲配信会社が楽曲毎に予めハーモニ音を付加する区間を設定する場合、ハーモニ音を付加する区間を設定するという作業そのものがコスト高となっている。さらに、楽曲の開始から終了まで全ての区間でハーモニ音を付加するようにすると、単調でつまらない歌い心地になる可能性があった。
【0007】
本技術は、このような状況に鑑みてなされたものであり、特に、楽曲毎および歌唱者の歌い方毎に、適切なハーモニ音を付加する区間を制御できるようにすることで、バリエーションに富んだ楽しい伴奏を出力可能なカラオケ装置を実現すると同時に、ハーモニ音を付加する区間を予め設定するコストおよび歌唱者がハモリ機能を操作するといった手間を省けるようにするものである。
【課題を解決するための手段】
【0008】
本技術の一側面の信号処理装置は、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部とを含む。
【0009】
前記熱唱度算出部には、前記楽曲の歌唱者の歌唱音声信号に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出させるようにすることができる。
【0010】
前記歌唱者の生体情報を取得する生体情報取得部をさらに含ませるようにすることができ、前記熱唱度算出部には、前記楽曲の歌唱者の生体情報に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出させるようにすることができる。
【0011】
前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定される熱唱度閾値とを比較させ、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定させ、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定させるようにすることができる。
【0012】
前記楽曲の音声信号である楽曲音声信号に基づいて、前記楽曲の盛り上がり度を算出する盛り上がり度算出部をさらに含ませるようにすることができ、前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度、および、前記盛り上がり度算出部により算出された前記盛り上がり度に基づいて、前記歌唱音声信号にハモリ音声信号を重畳するか否かを判定させるようにすることができる。
【0013】
前記熱唱度閾値算出部には、複数の歌唱者による前記熱唱度の平均値を利用して熱唱度閾値を算出させ、前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、複数の歌唱者による熱唱度の平均値を利用して求められた熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定させ、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定させるようにすることができる。
【0014】
本技術の信号処理システムには、前記熱唱度を算出する熱唱度算出部を含む複数の請求項1乃至6のいずれかに記載の信号処理装置よりネットワークを介して前記熱唱度算出部により算出された熱唱度を取得する熱唱度取得部と、前記熱唱度取得部により複数の前記信号処理装置より取得された熱唱度の平均値を利用して熱唱度閾値を算出する熱唱度閾値算出部と、前記熱唱度閾値算出部により算出された熱唱度閾値を前記複数の信号処理装置に配信する配信部とを含む情報処理装置と、請求項1乃至6のいずれかに記載の信号処理装置とからなり、前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、前記配信部により配信されてくる熱唱度閾値とを比較させて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定させ、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定させるようにすることができる。
【0015】
本技術の一側面の信号処理方法は、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップとを含む。
【0016】
本技術の一側面のプログラムは、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部とを含む信号処理装置を制御するコンピュータに、前記熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、前記ハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、前記ハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップとを含む処理を実行させる。
【0017】
本技術の一側面においては、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度が算出され、算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かが判定され、判定結果に基づいて、前記ハモリ音声信号が前記歌唱音声信号に対して重畳される。
【0018】
本技術の信号処理装置は、独立した装置であっても良いし、信号処理を行うブロックであっても良い。
【発明の効果】
【0019】
本技術によれば、楽曲毎および歌唱者の歌い方毎に、適切なハーモニ音を付加する区間を設定することが可能となる。
【図面の簡単な説明】
【0020】
【図1】本技術である信号処理装置を適用した信号処理システムの実施の形態の構成例を示す図である。
【図2】音声処理装置の構成例を説明する図である。
【図3】DSPの構成例を説明する図である。
【図4】ハーモニ信号制御部の構成例を説明する図である。
【図5】熱唱度サーバの構成例を説明する図である。
【図6】演奏処理を説明するフローチャートである。
【図7】ハーモニ制御処理を説明するフローチャートである。
【図8】熱唱度算出処理を説明するフローチャートである。
【図9】楽曲盛り上がり度算出処理を説明するフローチャートである。
【図10】熱唱度の算出を説明する図である。
【図11】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【0021】
[本技術を適用した信号処理システムの構成例]
図1を参照して、本技術を適用した信号処理システムの構成例について説明する。
【0022】
図1の信号処理システムは、いわゆるネットワーク4を介して通信可能なカラオケ店に設置されたカラオケ装置からなる音声処理装置1−1乃至1−n、熱唱度サーバ2、および楽曲データベース3から構成されている。尚、音声処理装置1−1乃至1−nについて、特に区別する必要が無い場合、単に、音声処理装置1と称するものとし、その他の構成についても同様とする。
【0023】
音声処理装置1は、いわゆるカラオケ店などに設置されるカラオケ装置であり、図示せぬ歌唱者により操作が指示されると、指定された楽曲の音声データをインターネットなどに代表されるネットワーク4を介して楽曲データベース3よりダウンロードして伴奏する。そして、音声処理装置1は、歌唱者が歌唱することにより発せられる歌唱音声信号に基づいて、熱唱度を算出し、算出した熱唱度に応じてハーモニ音声(ハーモニ音)を歌唱音声信号(ボーカル音)に付加して(重畳して)出力すると共に、算出した熱唱度の情報をネットワーク4を介して熱唱度サーバ2に供給する。熱唱度サーバ2は、複数の音声処理装置1よりネットワーク4を介して供給されてくる熱唱度の情報を取得すると、同一の楽曲の熱唱度毎に平均値を求め、その平均値を所定値だけ低減させるようにオフセットさせた値を熱唱度閾値として記憶する。そして、熱唱度サーバ2は、記憶した熱唱度閾値の情報を、音声処理装置1が楽曲の音声データを楽曲データベース3よりダウンロードする際に、ネットワーク4を介して音声処理装置1に配信する。音声処理装置1は、歌唱者の歌唱音声信号に基づいて、求められる熱唱度と、ネットワーク4を介して取得した熱唱度閾値との比較に基づいて、ハーモニ音声を付加する区間を判定して、ハーモニ音声を重畳する。楽曲データベース3は、指定された楽曲データを蓄積する。尚、以降においては、歌唱音声信号に協和音声であるハーモニ音声を重畳して音声を出力する行為を、ハモる、ハモリを付加する、または、ハモリをオンにすると称するものとする。
【0024】
[音声処理装置の構成例]
次に、図2を参照して、音声処理装置1の構成例について説明する。
【0025】
音声処理装置1は、CPU(Central Processing Unit)21、RAM(Random Access Memory)22、ROM(Read Only Memory)23、送受信部24、記憶部25、システムバス26、リモートコントローラ受光部27、およびモニタ28を備えている。また、音声処理装置1は、MIDI(Musical Instrument Digital Interface)音源部29、DSP(Digital Signal Processor)30、D/A(Digital Analog Converter)31、および増幅部32を備えている。さらに、音声処理装置1は、スピーカ33、A/D(Analog Digital Converter)34、増幅部35、およびマイクロフォン36を備えている。
【0026】
CPU21は、システムバス26を介して、ROM23、またはHDD(Hard Disk Drive)やSSD(Solid State Drive)などからなる記憶部25に予め記憶されている所定のプログラムおよびデータを読み出して、RAM22に展開し、所定の処理を実行する。CPU21は、これらの一連の処理を実行することで、音声処理装置1の動作の全体を制御している。
【0027】
送受信部24は、いわゆるイーサネットボードなどであり、ネットワーク4を介して、楽曲データベース3より楽曲をダウンロードしたり、DSP30により歌唱者の歌唱音声信号に基づいて算出された熱唱度の情報を熱唱度サーバ2にアップロードする。
【0028】
記憶部25は、CPU21により制御されるHDDやSSDなどから構成されるものであり、処理に必要なデータやプログラムを記憶すると共に、ダウンロードした楽曲データを記憶して、システムバス26を介してCPU21、MIDI音源部29およびDSP30に供給する。
【0029】
リモートコントローラ受光部27は、音声処理装置1を操作するためのリモートコントローラ13により赤外光で発せられる信号を受光して、所定の信号に変換し、システムバス26を介してCPU21に供給する。
【0030】
モニタ28は、LCD(Liquid Crystal Display)や有機EL(Electronic Luminescent)などからなり、CPU21により制御され、各種の情報や処理結果を表示する。
【0031】
MIDI音源部29は、送受信部24によりネットワーク4を介して楽曲データベース3よりダウンロードされてくるMIDI形式の音楽データをDSP30により信号処理可能なデジタル信号に変換してDSP30に出力する。
【0032】
マイクロフォン36は、歌唱者により保持されて、歌唱者が発する歌唱音声を収音してアナログ信号として増幅部35に供給する。また、マイクロフォン36は、本体を把持する部位にセンサ36a,36bが設けられており、それぞれ歌唱者の脈拍数、および体温を測定して、DSP30に供給する。増幅部35は、マイクロフォン36より供給されてくる歌唱音声信号からなるアナログ信号を所定の増幅率で増幅し、A/D34に供給する。A/D34は、増幅部35により所定の倍率で増幅されたアナログ信号からなる歌唱音声信号をDSP30により処理可能なデジタル信号に変換して供給する。
【0033】
DSP30は、システムバス26を介してCPU21により制御されて、MIDI音源部29からのデジタル信号からなる楽曲、およびA/D34より供給されるデジタル信号からなる歌唱音声信号を所定の処理によりハーモニ音声やエコーを付加してD/A31に出力する。D/A31は、DSP30により各種の処理が施されたデジタル信号からなる音声信号をアナログ信号に変換して増幅部32に供給する。増幅部32は、アナログ信号に変換された音声信号を所定の増幅率で増幅してスピーカ33より音声として出力させる。
【0034】
[DSPの構成例]
次に、図3を参照して、DSP30の構成例について説明する。
【0035】
DSP30は、熱唱度算出部51、ピッチ検出部52、ハーモニ音程決定部53、ピッチシフタ54、楽曲盛り上がり度算出部55、ハーモニ信号制御部56、エコー付加部57、および加算器58を備えている。
【0036】
熱唱度算出部51は、A/D34より供給されてくる歌唱音声信号、並びに、マイクロフォン36より供給されてくる歌唱者の脈拍数および体温の情報に基づいて、時系列に熱唱度を算出し、内蔵する記憶部51aに記憶させると共に、ハーモニ信号制御部56に供給する。そして、熱唱度算出部51は、楽曲データの供給が終了して、演奏が終了すると、記憶部51aに時系列に記憶している熱唱度の情報を、楽曲データを識別する情報と共に送受信部24を制御して、熱唱度サーバ2に送信させる。
【0037】
ピッチ検出部52は、A/D34より供給されてくる歌唱音声信号のピッチ、すなわち、基本周波数を検出し、これを音名(ドレミファソラシドなど)に変換してハーモニ音程決定部53に供給する。ハーモニ音程決定部53は、記憶部25に記憶されている楽曲データから得られる音階およびコードの情報を、システムバス26を通して取得し、これらの情報を元に現在の音名に対して協和する音程(ハーモニ音程:例えば、3度、または5度ずれた音程)を決定してピッチシフタ54に供給する。ピッチシフタ54は、歌唱音声信号をハーモニ音程分だけシフトさせることにより、ハーモニ音声信号を生成して、ハーモニ信号制御部56に供給する。
【0038】
楽曲盛り上がり度算出部55は、MIDI音源部29より供給されてくる楽曲データに基づいて、楽曲の盛り上がり度を算出し、ハーモニ信号制御部56に供給する。
【0039】
ハーモニ信号制御部56は、熱唱度算出部51より供給されてくる熱唱度、および楽曲盛り上がり度算出部55より供給されてくる楽曲盛り上がり度に基づいて、歌唱音声信号をそのまま出力するか、または、歌唱音声信号にハーモニ音声信号を付加して出力するかを制御する。尚、ハーモニ信号制御部56の構成については、図4を参照して、詳細を後述する。
【0040】
エコー付加部57は、ハーモニ信号制御部56より出力されてくる歌唱音声信号、または、ハーモニ音声信号が付加された歌唱音声信号にエコーを付加して、加算器58に供給する。
【0041】
加算器58は、MIDI音源部29より供給されてくる楽曲の音声信号を、エコー付加部57より供給されてきた歌唱音声信号、またはハーモニ音声が付加された歌唱音声信号に加算することにより合成して出力する。
【0042】
[ハーモニ信号制御部の構成例]
次に、図4を参照して、ハーモニ信号制御部56の構成例について説明する。
【0043】
ハーモニ信号制御部56は、歌唱音声信号ゲイン調整部71、ハーモニ音声信号ゲイン調整部72、加算器73、スイッチ74、熱唱度閾値判定部75、出力音選択部76、および楽曲盛り上がり度閾値判定部77を備えている。
【0044】
歌唱音声信号ゲイン調整部71は、歌唱音声信号のゲインを調整して、加算器73、およびスイッチ74の端子74aに出力する。ハーモニ音声信号ゲイン調整部72は、ハーモニ音声信号のゲインを調整して、加算器73に出力する。加算器73は、ゲインが調整された歌唱音声信号とハーモニ音声信号とを加算して混合(重畳)し、スイッチ74の端子74bに出力する。
【0045】
熱唱度閾値判定部75は、熱唱度閾値を送受信部24を制御して、熱唱度サーバ2より取得し、熱唱度算出部51より供給されてくる熱唱度と比較して、比較結果を出力音選択部76に供給する。楽曲盛り上がり度閾値判定部77は、楽曲盛り上がり度算出部55より供給されてくる楽曲盛り上がり度と、楽曲盛り上がり度閾値とを比較し、比較結果を出力音選択部76に供給する。
【0046】
出力音選択部76は、熱唱度閾値判定部75、および楽曲盛り上がり度閾値判定部77のそれぞれの判定結果に基づいて、スイッチ74を制御して、端子74aまたは74bに接続する。この結果、出力音選択部76は、スイッチ74を制御して、端子74aに接続する場合、歌唱音声信号を出力し、端子74bに接続する場合、ハーモニ音声信号が混合(重畳)されている歌唱音声信号を出力する。
【0047】
[熱唱度サーバの構成例]
次に、図5を参照して、熱唱度サーバ2の構成例について説明する。
【0048】
熱唱度サーバ2は、CPU91、RAM92、ROM93、送受信部94、記憶部95、システムバス96、熱唱度閾値生成部97、および熱唱度閾値記憶部98を備えている。CPU91は、システムバス96を介して、ROM93、またはHDDやSSDなどからなる記憶部95に予め記憶されている所定のプログラムおよびデータを読み出して、RAM92に展開し、所定の処理を実行する。CPU91は、これらの一連の処理を実行することで、熱唱度サーバ2の動作の全体を制御している。
【0049】
送受信部94は、いわゆるイーサネットボードであり、ネットワーク4を介してカラオケ装置である複数の音声処理装置1より熱唱度の情報を楽曲毎に取得して記憶部95に記憶させる。また、送受信部94は、熱唱度閾値記憶部98に記憶されている熱唱度閾値を読み出して音声処理装置1に配信する。
【0050】
熱唱度閾値生成部97は、新たな熱唱度の情報が記憶部95に楽曲に対応付けて記憶されると、その楽曲の熱唱度の平均値を求め、さらに、所定値または所定の割合だけオフセットさせた値を熱唱度閾値として生成する。そして、熱唱度閾値生成部97は、生成した熱唱度閾値の情報を熱唱度閾値記憶部98に楽曲に対応付けて記憶させる。
【0051】
[演奏処理]
次に、図6のフローチャートを参照して、演奏処理について説明する。
【0052】
ステップS1において、CPU21は、リモートコントローラ受光部27において、リモートコントローラ13が操作されることにより、楽曲が指定されて、かつ、演奏を指示する信号が受光されたか否かを判定し、受光されたと判定されるまで、同様の処理を繰り返す。ステップS1において、例えば、ユーザによりリモートコントローラ13が操作されることにより、楽曲が指定されて、かつ、演奏を指示する信号が発せられ、リモートコントローラ受光部27により受光されると、処理は、ステップS2に進む。
【0053】
ステップS2において、CPU21は、送受信部24を制御して、指定された楽曲データをネットワーク4を介して、楽曲データベース3よりダウンロードさせると共に、ダウンロードした楽曲データを記憶部25に記憶させる。
【0054】
ステップS3において、CPU21は、DSP30に対して、ダウンロードした楽曲データに対応する熱唱度閾値をネットワーク4を介して熱唱度サーバ2よりダウンロードするように指示する。この指示に応じてDSP30のハーモニ信号制御部56は、システムバス26を介して送受信部24を制御して、ネットワーク4を介して熱唱度サーバ2に対してダウンロードした楽曲データに対応する熱唱度閾値を要求する。
【0055】
ステップS21において、熱唱度サーバ2のCPU91は、送受信部94を制御して、熱唱度閾値が要求されてきたか否かを判定し、要求されるまで、同様の処理を繰り返す。ステップS21において、例えば、ステップS3の処理により、熱唱度閾値が要求されてきた場合、処理は、ステップS22に進む。
【0056】
ステップS22において、CPU91は、熱唱度閾値記憶部98に記憶されている熱唱度閾値の情報のうち、音声処理装置1によりダウンロードされた楽曲データに対応する熱唱度閾値の情報を読み出す。そして、CPU91は、読み出した熱唱度閾値の情報を送受信部94を制御して、ネットワーク4を介して要求のあった音声処理装置1に送信させる。
【0057】
ステップS4において、DSP30は、送受信部24を制御して、熱唱度サーバ2より送信されてきた熱唱度閾値の情報を取得し、熱唱度閾値判定部75に記憶させる。
【0058】
ステップS5において、MIDI音源部29は、記憶部25に記憶されているMIDI形式の楽曲データを読み出して、DSP30により再生可能なデジタル音声信号に変換して供給する。DSP30は、MIDI音源部29より順次供給されてくるデジタル音声信号に基づいて、楽曲の音声信号を再生し、D/A31によりアナログ信号に変換させた後、増幅部32により所定の増幅率で増幅させて、スピーカ33より出力させることで、演奏を開始する。これにより、歌唱者は、スピーカ33より出力される伴奏曲に合わせて、マイクロフォン36を把持した状態で歌唱を開始する。また、マイクロフォン36のセンサ36a,36bは、それぞれ歌唱者の脈拍数、および体温といった生体情報を測定して、DSP30に供給する。
【0059】
ステップS6において、DSP30は、マイクロフォン36より入力される歌唱者の歌唱音声信号に基づいて、ハーモニ制御処理を実行して、歌唱音声信号に対して、必要に応じてハーモニ音声信号を付加(重畳)してスピーカ33より音声を出力する。
【0060】
ステップS7において、DSP30は、演奏が終了したか、すなわち、MIDI音源部29からの楽曲データの供給が停止したか否かを判定し、演奏が終了していない場合、処理は、ステップS6に戻る。すなわち、演奏が終了するまで、DSP30は、ハーモニ制御処理を実行し続けて、歌唱音声信号に対して、必要に応じてハーモニ音声信号を付加する処理を繰り返す。この際、DSP30は、熱唱度、および楽曲盛り上がり度を時系列で算出し続け、熱唱度については算出結果を記憶している。尚、ハーモニ制御処理については、図7のフローチャートを参照して、詳細を後述する。
【0061】
ステップS7において、例えば、演奏が終了したとみなされた場合、処理は、ステップS8に進む。
【0062】
ステップS8において、DSP30の熱唱度算出部51は、記憶部51aに時系列に記憶している熱唱度の情報を、楽曲データを識別する情報と共に演奏終了を示す情報と併せて送受信部24を制御して、熱唱度サーバ2にアップロードさせる。
【0063】
一方、熱唱度サーバ2においては、ステップS22の処理で熱唱度閾値の情報が送信された後、ステップS23において、熱唱度閾値生成部97が送受信部94を制御して、音声処理装置1より演奏終了を示す情報が送信されてきたか否かを判定する。そして、ステップS23において、演奏終了を示す情報が送信されてきたと判定されるまで、同様の処理が繰り返される。ステップS23において、例えば、ステップS8の処理により演奏終了を示す情報が送信されてきた場合、処理は、ステップS24に進む。
【0064】
ステップS24において、熱唱度閾値生成部97は、送受信部94を制御して、演奏終了を示す情報と共に送信されてくる、楽曲を識別する情報、およびその楽曲に対する熱唱度の情報を取得して、記憶部95に記憶させる。
【0065】
ステップS25において、熱唱度閾値生成部97は、記憶部95に記憶されている熱唱度の情報のうち、取得した楽曲に対応する熱唱度の情報を読み出して、統計的に処理して、熱唱度閾値を算出する。より詳細には、熱唱度閾値生成部97は、記憶部95に記憶されている熱唱度の情報のうち、取得した楽曲に対応する熱唱度の平均値を求め、さらに、オフセット分だけ低い値の時系列の情報を熱唱度閾値として算出する。
【0066】
ステップS26において、熱唱度閾値生成部97は、算出した熱唱度閾値の情報で、熱唱度閾値記憶部98に記憶されている情報を上書きして更新し保存(記憶)する。
【0067】
以上の処理により、音声処理装置1において、楽曲が指定されて、演奏の開始が指示されると、熱唱度サーバ2より熱唱度閾値の情報がダウンロードされ、楽曲データベース3より楽曲データがダウンロードされて演奏が開始される。このとき、音声処理装置1では、熱唱度閾値の情報に基づいて、ハーモニ制御処理が実行されて、楽曲が演奏されている間に、歌唱者の歌唱音声信号に対応して適宜ハーモニ音声信号が付加される。そして、演奏が終了すると、歌唱者の歌唱音声信号に基づいて時系列に算出された熱唱度の情報が熱唱度サーバ2にアップロードされて、その都度熱唱度閾値が統計的に算出されて更新され続ける。
【0068】
[ハーモニ制御処理]
次に、図7のフローチャートを参照して、ハーモニ制御処理について説明する。
【0069】
ステップS41において、DSP30のピッチ検出部52は、マイクロフォン36より入力され、増幅部35、およびA/D34を介して入力される歌唱者の歌唱音声信号に基づいて、歌唱者の歌唱する歌唱音声信号の基本周波数からなるピッチを検出する。さらに、ピッチ検出部52は、検出したピッチをドレミファソラシドといった音名に変換し、変換した音名の情報をハーモニ音程決定部53に供給する。
【0070】
ステップS42において、ハーモニ音程決定部53は、記憶部25に記憶されている楽曲データから得られる音階およびコードの情報を、システムバス26を通して取得し、これらの情報を元に現在の音名に対して協和する音程(ハーモニ音程)を決定する。ハーモニ音程決定部53は、決定したハーモニ音程の情報をピッチシフタ54に供給する。
【0071】
ステップS43において、ピッチシフタ54は、ハーモニ音程決定部53より供給されてくるハーモニ音程の情報に基づいて、歌唱音声信号の基本周波数をシフトさせて、ハーモニ音声信号を生成し、ハーモニ信号制御部56に供給する。
【0072】
ステップS44において、熱唱度算出部51は、歌唱音声信号、およびマイクロフォン36より供給される脈拍数および体温の情報に基づいて、熱唱度算出処理を実行して、時系列に熱唱度を算出して、順次記憶部51aに順次記憶させる。
【0073】
[熱唱度算出処理]
ここで、図8のフローチャートを参照して、熱唱度算出処理について説明する。
【0074】
ステップS71において、熱唱度算出部51は、所定時間間隔毎に歌唱音声信号のRMS(二乗平均平方根:Root Mean Square)を算出する。
【0075】
ステップS72において、熱唱度算出部51は、所定時間間隔毎に歌唱音声信号の基本周波数の平均値、すなわち、ピッチ平均値を算出する。
【0076】
ステップS73において、熱唱度算出部51は、所定時間間隔毎に歌唱音声信号の基本周波数の標準偏差の逆数を、歌唱音声信号の安定度、すなわち、ピッチ安定度として算出する。
【0077】
ステップS74において、熱唱度算出部51は、マイクロフォン36のセンサ36aにより測定される歌唱者の脈拍数の情報を取得する。
【0078】
ステップS75において、熱唱度算出部51は、マイクロフォン36のセンサ36bにより測定される歌唱者の体温の情報を取得する。
【0079】
ステップS76において、熱唱度算出部51は、以下の式(1)を算出することにより熱唱度を算出し、記憶部51aに記憶すると共に、算出した熱唱度をハーモニ信号制御部56に供給する。
【0080】
HS=α×RMS+β×ピッチ平均値+γ×ピッチ安定度+δ×脈拍数+ε×体温
・・・(1)
【0081】
ここで、HSは、熱唱度を、RMSは歌唱音声信号の二乗平均平方根を、α,β,γ,δ,εは、それぞれ各パラメータの重み係数を示している。
【0082】
すなわち、熱唱度は、歌唱音声信号の二乗平均平方根で示される音圧レベル、基本周波数の平均値であるピッチ平均値、基本周波数の安定度であるピッチ安定度、脈拍数、および体温のそれぞれのパラメータが高いほど、高い値となる。尚、式(1)で定義される熱唱度は、その一例であって、その他にも定義は可能であり、例えば、マイクロフォン36にセンサ36a,36bが設けられていない一般的なものである場合、歌唱者の生体情報である脈拍数や体温については、パラメータとしないようにしてもよい。また、生体情報には、この他にも血圧などを用いるようにしてもよい。さらに、重み係数α,β,γ,δ,εについては、自由に設定できるようにしてもよいものである。
【0083】
以上の処理により、歌唱者の歌唱音声信号、および、生体情報に基づいて、熱唱度を算出することが可能となる。
【0084】
ここで、図7のフローチャートの説明に戻る。
【0085】
ステップS44において、熱唱度算出処理により熱唱度が求められると、ステップS45において、楽曲盛り上がり度算出部55は、楽曲盛り上がり度算出処理を実行し、MIDI音源部29からの楽曲データのデジタル音声信号より、楽曲盛り上がり度を算出する。
【0086】
[楽曲盛り上がり度算出処理]
ここで、図8のフローチャートを参照して、楽曲盛り上がり度算出処理について説明する。
【0087】
ステップS91において、楽曲盛り上がり度算出部55は、所定時間間隔毎に歌唱音声信号のRMSを算出すると共に、累積的に記憶する。
【0088】
ステップS92において、楽曲盛り上がり度算出部55は、直前の処理で求められた所定時間間隔毎に歌唱音声信号のRMSより以前のRMSの平均値を求める。
【0089】
ステップS93において、楽曲盛り上がり度算出部55は、直前の処理で求められたRMSとRMSの平均値との差分を、楽曲盛り上がり度として算出し、ハーモニ信号制御部56に供給する。
【0090】
以上の処理により、所定の時間間隔で求められるRMSと、それまでのRMS平均値との差分が楽曲盛り上がり度として求められる。尚、楽曲盛り上がり度は、上述した手法により求められるものに限られず、例えば、楽曲の盛り上がり部分である、いわゆる「サビ」部分を検出し、サビ部分となる程度を示す値で代用するようにしてもよい。
【0091】
ここで、図7のフローチャートの説明に戻る。
【0092】
ステップS45において、楽曲盛り上がり度算出処理により楽曲盛り上がり度が求められると、処理は、ステップS46に進む。
【0093】
ステップS46において、ハーモニ音声信号ゲイン調整部72は、ピッチシフタ54より供給されてくるハーモニ音声信号のゲインを調整して、加算器73に供給する。
【0094】
ステップS47において、歌唱音声信号ゲイン調整部71は、A/D34より供給されてくる歌唱音声信号のゲインを調整して加算器73および端子74aに供給する。
【0095】
ステップS48において、熱唱度閾値判定部75は、熱唱度算出部51より供給されてきた熱唱度と、熱唱度サーバ2よりダウンロードして記憶している熱唱度閾値とを比較し、熱唱度が熱唱度閾値より高いか否かを判定する。ステップS48において、例えば、熱唱度が熱唱度閾値よりも高いと判定された場合、熱唱度閾値判定部75は、その判定結果を出力音選択部76に供給し、処理は、ステップS49に進む。
【0096】
ステップS49において、楽曲盛り上がり度閾値判定部77は、楽曲盛り上がり度算出部55より供給されてくる楽曲盛り上がり度と、所定の楽曲盛り上がり度閾値とを比較して、楽曲盛り上がり度が所定の楽曲盛り上がり度閾値よりも高いか否かを判定する。ステップS49において、例えば、楽曲盛り上がり度が所定の楽曲盛り上がり度閾値よりも高いとみなされた場合、楽曲盛り上がり度閾値判定部77は、その判定結果を出力音選択部76に供給し、処理は、ステップS50に進む。
【0097】
ステップS50において、出力音選択部76は、熱唱度閾値判定部75および楽曲盛り上がり度閾値判定部77の判定結果に基づいて、スイッチ74を端子74bに接続させる。これにより加算器73が歌唱音声信号とハーモニ音声信号とが合成された信号が端子74bを介して出力音選択部76に供給され、出力音選択部76は、供給されてくる歌唱音声信号とハーモニ音声信号とが合成された合成信号をエコー付加部57に供給する。
【0098】
ステップS51において、エコー付加部57は、歌唱音声信号とハーモニ音声信号とが合成された合成歌唱音声信号に、所定のエコー処理を付加して加算器58に出力する。
【0099】
ステップS52において、加算器58は、エコーが付加された合成歌唱音声信号とMIDI音源部29より供給されてくる楽曲のデジタル信号とを合成して、D/A31に出力する。この処理により、楽曲のデジタル信号と合成された合成歌唱音声信号は、D/A31によりアナログ信号に変換され、増幅部32によりゲイン調整された後、スピーカ33より出力される。
【0100】
一方、ステップS48において、熱唱度が熱唱度閾値よりも小さいとみなされた場合、熱唱度閾値判定部75は、その判定結果を出力音選択部76に供給し、処理は、ステップS53に進む。または、ステップS49において、楽曲盛り上がり度が楽曲盛り上がり度閾値よりも小さいとみなされた場合、楽曲盛り上がり度閾値判定部77は、その判定結果を出力音選択部76に供給し、同様に処理は、ステップS53に進む。
【0101】
ステップS53において、出力音選択部76は、熱唱度閾値判定部75、または楽曲盛り上がり度閾値判定部77の判定結果に基づいて、スイッチ74を端子74aに接続させる。歌唱音声信号のみが端子74aを介して出力音選択部76に供給され、出力音選択部76は、供給されてくる歌唱音声信号のみをエコー付加部57に供給する。
【0102】
すなわち、熱唱度が熱唱度閾値よりも高く、かつ、楽曲盛り上がり度が楽曲盛り上がり度閾値よりも高い場合、歌唱音声信号にハーモニ音声信号が合成されて、すなわち、ハモリがオンの状態となって、楽曲の音声と共に歌唱音声信号が出力される。このため、歌唱者の歌い方により変化する熱唱度と、楽曲の盛り上がり度に応じて、歌唱者の歌唱音声信号にハーモニ音声が付加されることになるので、適切にハモリの区間が設定され、さらに、ハモリ音声、すなわち、協和音声を付加することが可能となる。結果として、歌唱者は、ハモリ機能をオンにするタイミングを意識する必要が無く、適切にハモリをオンにすることが可能となるので、カラオケ装置を利用する際に、歌唱することに集中することが可能となる。
【0103】
また、熱唱度閾値thは、例えば、図10で示されるように、ネットワーク4上の音声処理装置1よりアップロードされる同一の楽曲に対する熱唱度平均値Aveに対して、所定のレベルだけオフセットされた値に設定される。このため、熱唱度は、歌唱者の歌い方により変化が生じるものの、熱唱度閾値thは、熱唱度の平均値に満たない歌唱者でもオフセットが設定されているため、歌唱者により歌唱方法が変化して熱唱度が変化しても、多くの歌唱者に対して適切なタイミングでハモリ機能を利用することが可能となる。尚、熱唱度閾値thが熱唱度平均値に対してオフセットされた値とされているのは、上述したようにハモリ機能をオンにし易くするためであるので、オフセットは様々に設定するようにしても良く、例えば、オフセットをゼロとして熱唱度平均値そのものを熱唱度平均値としてもよい。
【0104】
さらに、以上においては、熱唱度閾値については、各音声処理装置1がネットワーク4を介して熱唱度の情報を熱唱度サーバ2にアップロードし、その平均値から求められるものをダウンロードして使用する例について説明してきた。このようにすることで、熱唱度閾値の設定をより歌唱者の意向を反映した適切なものにすることが可能となるが、ある程度平均となる熱唱度が求められた後は、熱唱度閾値の変化は小さくなっていくことが予想される。したがって、熱唱度閾値については、毎回熱唱度サーバ2からダウンロードするものではなく、例えば、一旦ダウンロードしたものを音声処理装置1が記憶して、以降はこれを繰り返して使用するようにしてもよいし、工場出荷時などに予め記憶させて、これを利用するようにしてもよい。さらには、ネットワーク4を介さず、1台の音声処理装置1において、同一の楽曲についての複数の歌唱者の熱唱度を蓄積し、その平均値を利用して熱唱度閾値を単独で求めるようにしてもよい。
【0105】
また、以上においては、熱唱度サーバ2がネットワーク4上に存在する例について説明してきたが、複数の情報処理装置やサーバなどにより、いわゆるクラウドコンピューティングによりこれを代用させるようにしてもよい。この際、クラウドコンピューティングは、音声処理装置1、すなわち、カラオケ装置のみから構成されるようにしてもよい。
【0106】
さらに、以上においては、歌唱者が歌唱する歌唱音声を基準とし、その歌唱音声に対して協和音声、すなわち、ハーモニ音声を重畳する例について説明してきたが、基準となる音声は歌唱音声以外でもよく、例えば、楽器の演奏音声であってもよい。
【0107】
以上の如く、本技術によれば、いわゆるカラオケ装置などに代表される楽曲再生装置などからなる音声処理装置において、楽曲毎に、または、歌唱者の歌唱状態毎に、適切なタイミングでハーモニ音声を歌唱音声に付加する、いわゆるハモリを付加することが可能となる。この際、歌唱者は、ハモリの区間(タイミング)を意識する必要が無いので、歌唱することに集中することができ、その上でハモリ機能によりハーモニ音声を付加することができるので、より快適に歌唱することを楽しむことが可能となる。
【0108】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0109】
図11は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0110】
コンピュータにおいて、CPU(Central Processing Unit)1001,ROM(Read Only Memory)1002,RAM(Random Access Memory)1003は、バス1004により相互に接続されている。
【0111】
バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、入力部1006、出力部1007、記憶部1008、通信部1009、及びドライブ1010が接続されている。
【0112】
入力部1006は、キーボード、マウス、マイクロフォンなどよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記憶部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインタフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1011を駆動する。
【0113】
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
【0114】
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0115】
コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
【0116】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0117】
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0118】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0119】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0120】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0121】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0122】
尚、本技術は以下のような構成を取ることができる。
(1) 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
を含む信号処理装置。
(2) 前記熱唱度算出部は、前記楽曲の歌唱者の歌唱音声信号に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
(1)に記載の信号処理装置。
(3) 前記歌唱者の生体情報を取得する生体情報取得部をさらに含み、
前記熱唱度算出部は、前記楽曲の歌唱者の生体情報に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
(1)または(2)に記載の信号処理装置。
(4) 前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定される熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
(1)乃至(3)のいずれかに記載の信号処理装置。
(5) 前記楽曲の音声信号である楽曲音声信号に基づいて、前記楽曲の盛り上がり度を算出する盛り上がり度算出部をさらに含み、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度、および、前記盛り上がり度算出部により算出された前記盛り上がり度に基づいて、前記歌唱音声信号にハモリ音声信号を重畳するか否かを判定する
(1)乃至(4)のいずれかに記載の信号処理装置。
(6) 前記熱唱度閾値算出部は、複数の歌唱者による前記熱唱度の平均値を利用して熱唱度閾値を算出し、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、複数の歌唱者による熱唱度の平均値を利用して求められた熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
(1)乃至(5)のいずれかに記載の信号処理装置。
(7) 前記熱唱度を算出する熱唱度算出部を含む複数の(1)乃至(6)のいずれかに記載の信号処理装置よりネットワークを介して前記熱唱度算出部により算出された熱唱度を取得する熱唱度取得部と、
前記熱唱度取得部により複数の前記信号処理装置より取得された熱唱度の平均値を利用して熱唱度閾値を算出する熱唱度閾値算出部と、
前記熱唱度閾値算出部により算出された熱唱度閾値を前記複数の信号処理装置に配信する配信部と
を含む情報処理装置と、
前記(1)乃至(6)のいずれかに記載の信号処理装置とからなり、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、前記配信部により配信されてくる熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
信号処理システム。
(7) 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
を含む信号処理方法。
(8) 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
を含む信号処理装置を制御するコンピュータに、
前記熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
前記ハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
前記ハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
を含む処理を実行させるプログラム。
【符号の説明】
【0123】
1,1−1乃至1−n 音声処理装置, 2 熱唱度サーバ, 3 楽曲データベース, 4 ネットワーク, 30 DSP, 51 熱唱度算出部, 52 ピッチ検出部, 53 ハーモニ音程決定部, 54 ピッチシフタ, 55 楽曲盛り上がり度算出部, 56 ハーモニ信号制御部, 57 エコー付加部, 58 加算器
【技術分野】
【0001】
本技術は、信号処理装置および方法、信号処理システム、並びにプログラムに関し、特に、カラオケ装置などで、演奏と共に歌唱する際、適切にハーモニ音声を付加できるようにした信号処理装置および方法、信号処理システム、並びにプログラムに関する。
【背景技術】
【0002】
近年、カラオケ装置は幅広く普及しており、カラオケボックスなどで使用される通信カラオケから、携帯機器で簡易的なカラオケ機能を実現するものまである。ところで、カラオケ装置とは、歌唱またはメロディパート(主旋律)を担う楽器を演奏する際に、生演奏ではなく事前に録音された伴奏を再生し、合唱または合奏する装置である。また、これらの行為そのものをカラオケということもある。
【0003】
従来のカラオケ装置においては、ユーザの歌唱音声(以下、ボーカル音という)と協和する音声(以下、ハーモニ音という)をボーカル音に付加する機能(以下、ハモリ機能)を備えたものが知られている(特許文献1参照)。この機能は、例えばマイクに入力したボーカル音に対して、一定の音程(例えば音階上の3度)だけずれた音声からなるハーモニ音を生成し、これを元のボーカル音に付加することでハモリ機能を実現している。また、この方法に限らず、より美しく協和する方法が多く考案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開平8−50493号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところが、ハーモニ音を付加する区間については自動化されておらず、人の手間が必要であった。例えば、歌唱者の判断でその都度ハモリ機能を有効または無効にする操作が必要な場合、歌唱者は、カラオケ装置の伴奏と共に歌いながら、その操作のタイミングを見定める意識が必要となるため、純粋にカラオケ装置の伴奏と共に歌うことを楽しめない恐れがあった。
【0006】
また、カラオケ楽曲配信会社が楽曲毎に予めハーモニ音を付加する区間を設定する場合、ハーモニ音を付加する区間を設定するという作業そのものがコスト高となっている。さらに、楽曲の開始から終了まで全ての区間でハーモニ音を付加するようにすると、単調でつまらない歌い心地になる可能性があった。
【0007】
本技術は、このような状況に鑑みてなされたものであり、特に、楽曲毎および歌唱者の歌い方毎に、適切なハーモニ音を付加する区間を制御できるようにすることで、バリエーションに富んだ楽しい伴奏を出力可能なカラオケ装置を実現すると同時に、ハーモニ音を付加する区間を予め設定するコストおよび歌唱者がハモリ機能を操作するといった手間を省けるようにするものである。
【課題を解決するための手段】
【0008】
本技術の一側面の信号処理装置は、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部とを含む。
【0009】
前記熱唱度算出部には、前記楽曲の歌唱者の歌唱音声信号に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出させるようにすることができる。
【0010】
前記歌唱者の生体情報を取得する生体情報取得部をさらに含ませるようにすることができ、前記熱唱度算出部には、前記楽曲の歌唱者の生体情報に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出させるようにすることができる。
【0011】
前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定される熱唱度閾値とを比較させ、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定させ、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定させるようにすることができる。
【0012】
前記楽曲の音声信号である楽曲音声信号に基づいて、前記楽曲の盛り上がり度を算出する盛り上がり度算出部をさらに含ませるようにすることができ、前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度、および、前記盛り上がり度算出部により算出された前記盛り上がり度に基づいて、前記歌唱音声信号にハモリ音声信号を重畳するか否かを判定させるようにすることができる。
【0013】
前記熱唱度閾値算出部には、複数の歌唱者による前記熱唱度の平均値を利用して熱唱度閾値を算出させ、前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、複数の歌唱者による熱唱度の平均値を利用して求められた熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定させ、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定させるようにすることができる。
【0014】
本技術の信号処理システムには、前記熱唱度を算出する熱唱度算出部を含む複数の請求項1乃至6のいずれかに記載の信号処理装置よりネットワークを介して前記熱唱度算出部により算出された熱唱度を取得する熱唱度取得部と、前記熱唱度取得部により複数の前記信号処理装置より取得された熱唱度の平均値を利用して熱唱度閾値を算出する熱唱度閾値算出部と、前記熱唱度閾値算出部により算出された熱唱度閾値を前記複数の信号処理装置に配信する配信部とを含む情報処理装置と、請求項1乃至6のいずれかに記載の信号処理装置とからなり、前記ハモリ音声信号重畳判定部には、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、前記配信部により配信されてくる熱唱度閾値とを比較させて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定させ、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定させるようにすることができる。
【0015】
本技術の一側面の信号処理方法は、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップとを含む。
【0016】
本技術の一側面のプログラムは、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部とを含む信号処理装置を制御するコンピュータに、前記熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、前記ハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、前記ハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップとを含む処理を実行させる。
【0017】
本技術の一側面においては、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度が算出され、算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かが判定され、判定結果に基づいて、前記ハモリ音声信号が前記歌唱音声信号に対して重畳される。
【0018】
本技術の信号処理装置は、独立した装置であっても良いし、信号処理を行うブロックであっても良い。
【発明の効果】
【0019】
本技術によれば、楽曲毎および歌唱者の歌い方毎に、適切なハーモニ音を付加する区間を設定することが可能となる。
【図面の簡単な説明】
【0020】
【図1】本技術である信号処理装置を適用した信号処理システムの実施の形態の構成例を示す図である。
【図2】音声処理装置の構成例を説明する図である。
【図3】DSPの構成例を説明する図である。
【図4】ハーモニ信号制御部の構成例を説明する図である。
【図5】熱唱度サーバの構成例を説明する図である。
【図6】演奏処理を説明するフローチャートである。
【図7】ハーモニ制御処理を説明するフローチャートである。
【図8】熱唱度算出処理を説明するフローチャートである。
【図9】楽曲盛り上がり度算出処理を説明するフローチャートである。
【図10】熱唱度の算出を説明する図である。
【図11】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【0021】
[本技術を適用した信号処理システムの構成例]
図1を参照して、本技術を適用した信号処理システムの構成例について説明する。
【0022】
図1の信号処理システムは、いわゆるネットワーク4を介して通信可能なカラオケ店に設置されたカラオケ装置からなる音声処理装置1−1乃至1−n、熱唱度サーバ2、および楽曲データベース3から構成されている。尚、音声処理装置1−1乃至1−nについて、特に区別する必要が無い場合、単に、音声処理装置1と称するものとし、その他の構成についても同様とする。
【0023】
音声処理装置1は、いわゆるカラオケ店などに設置されるカラオケ装置であり、図示せぬ歌唱者により操作が指示されると、指定された楽曲の音声データをインターネットなどに代表されるネットワーク4を介して楽曲データベース3よりダウンロードして伴奏する。そして、音声処理装置1は、歌唱者が歌唱することにより発せられる歌唱音声信号に基づいて、熱唱度を算出し、算出した熱唱度に応じてハーモニ音声(ハーモニ音)を歌唱音声信号(ボーカル音)に付加して(重畳して)出力すると共に、算出した熱唱度の情報をネットワーク4を介して熱唱度サーバ2に供給する。熱唱度サーバ2は、複数の音声処理装置1よりネットワーク4を介して供給されてくる熱唱度の情報を取得すると、同一の楽曲の熱唱度毎に平均値を求め、その平均値を所定値だけ低減させるようにオフセットさせた値を熱唱度閾値として記憶する。そして、熱唱度サーバ2は、記憶した熱唱度閾値の情報を、音声処理装置1が楽曲の音声データを楽曲データベース3よりダウンロードする際に、ネットワーク4を介して音声処理装置1に配信する。音声処理装置1は、歌唱者の歌唱音声信号に基づいて、求められる熱唱度と、ネットワーク4を介して取得した熱唱度閾値との比較に基づいて、ハーモニ音声を付加する区間を判定して、ハーモニ音声を重畳する。楽曲データベース3は、指定された楽曲データを蓄積する。尚、以降においては、歌唱音声信号に協和音声であるハーモニ音声を重畳して音声を出力する行為を、ハモる、ハモリを付加する、または、ハモリをオンにすると称するものとする。
【0024】
[音声処理装置の構成例]
次に、図2を参照して、音声処理装置1の構成例について説明する。
【0025】
音声処理装置1は、CPU(Central Processing Unit)21、RAM(Random Access Memory)22、ROM(Read Only Memory)23、送受信部24、記憶部25、システムバス26、リモートコントローラ受光部27、およびモニタ28を備えている。また、音声処理装置1は、MIDI(Musical Instrument Digital Interface)音源部29、DSP(Digital Signal Processor)30、D/A(Digital Analog Converter)31、および増幅部32を備えている。さらに、音声処理装置1は、スピーカ33、A/D(Analog Digital Converter)34、増幅部35、およびマイクロフォン36を備えている。
【0026】
CPU21は、システムバス26を介して、ROM23、またはHDD(Hard Disk Drive)やSSD(Solid State Drive)などからなる記憶部25に予め記憶されている所定のプログラムおよびデータを読み出して、RAM22に展開し、所定の処理を実行する。CPU21は、これらの一連の処理を実行することで、音声処理装置1の動作の全体を制御している。
【0027】
送受信部24は、いわゆるイーサネットボードなどであり、ネットワーク4を介して、楽曲データベース3より楽曲をダウンロードしたり、DSP30により歌唱者の歌唱音声信号に基づいて算出された熱唱度の情報を熱唱度サーバ2にアップロードする。
【0028】
記憶部25は、CPU21により制御されるHDDやSSDなどから構成されるものであり、処理に必要なデータやプログラムを記憶すると共に、ダウンロードした楽曲データを記憶して、システムバス26を介してCPU21、MIDI音源部29およびDSP30に供給する。
【0029】
リモートコントローラ受光部27は、音声処理装置1を操作するためのリモートコントローラ13により赤外光で発せられる信号を受光して、所定の信号に変換し、システムバス26を介してCPU21に供給する。
【0030】
モニタ28は、LCD(Liquid Crystal Display)や有機EL(Electronic Luminescent)などからなり、CPU21により制御され、各種の情報や処理結果を表示する。
【0031】
MIDI音源部29は、送受信部24によりネットワーク4を介して楽曲データベース3よりダウンロードされてくるMIDI形式の音楽データをDSP30により信号処理可能なデジタル信号に変換してDSP30に出力する。
【0032】
マイクロフォン36は、歌唱者により保持されて、歌唱者が発する歌唱音声を収音してアナログ信号として増幅部35に供給する。また、マイクロフォン36は、本体を把持する部位にセンサ36a,36bが設けられており、それぞれ歌唱者の脈拍数、および体温を測定して、DSP30に供給する。増幅部35は、マイクロフォン36より供給されてくる歌唱音声信号からなるアナログ信号を所定の増幅率で増幅し、A/D34に供給する。A/D34は、増幅部35により所定の倍率で増幅されたアナログ信号からなる歌唱音声信号をDSP30により処理可能なデジタル信号に変換して供給する。
【0033】
DSP30は、システムバス26を介してCPU21により制御されて、MIDI音源部29からのデジタル信号からなる楽曲、およびA/D34より供給されるデジタル信号からなる歌唱音声信号を所定の処理によりハーモニ音声やエコーを付加してD/A31に出力する。D/A31は、DSP30により各種の処理が施されたデジタル信号からなる音声信号をアナログ信号に変換して増幅部32に供給する。増幅部32は、アナログ信号に変換された音声信号を所定の増幅率で増幅してスピーカ33より音声として出力させる。
【0034】
[DSPの構成例]
次に、図3を参照して、DSP30の構成例について説明する。
【0035】
DSP30は、熱唱度算出部51、ピッチ検出部52、ハーモニ音程決定部53、ピッチシフタ54、楽曲盛り上がり度算出部55、ハーモニ信号制御部56、エコー付加部57、および加算器58を備えている。
【0036】
熱唱度算出部51は、A/D34より供給されてくる歌唱音声信号、並びに、マイクロフォン36より供給されてくる歌唱者の脈拍数および体温の情報に基づいて、時系列に熱唱度を算出し、内蔵する記憶部51aに記憶させると共に、ハーモニ信号制御部56に供給する。そして、熱唱度算出部51は、楽曲データの供給が終了して、演奏が終了すると、記憶部51aに時系列に記憶している熱唱度の情報を、楽曲データを識別する情報と共に送受信部24を制御して、熱唱度サーバ2に送信させる。
【0037】
ピッチ検出部52は、A/D34より供給されてくる歌唱音声信号のピッチ、すなわち、基本周波数を検出し、これを音名(ドレミファソラシドなど)に変換してハーモニ音程決定部53に供給する。ハーモニ音程決定部53は、記憶部25に記憶されている楽曲データから得られる音階およびコードの情報を、システムバス26を通して取得し、これらの情報を元に現在の音名に対して協和する音程(ハーモニ音程:例えば、3度、または5度ずれた音程)を決定してピッチシフタ54に供給する。ピッチシフタ54は、歌唱音声信号をハーモニ音程分だけシフトさせることにより、ハーモニ音声信号を生成して、ハーモニ信号制御部56に供給する。
【0038】
楽曲盛り上がり度算出部55は、MIDI音源部29より供給されてくる楽曲データに基づいて、楽曲の盛り上がり度を算出し、ハーモニ信号制御部56に供給する。
【0039】
ハーモニ信号制御部56は、熱唱度算出部51より供給されてくる熱唱度、および楽曲盛り上がり度算出部55より供給されてくる楽曲盛り上がり度に基づいて、歌唱音声信号をそのまま出力するか、または、歌唱音声信号にハーモニ音声信号を付加して出力するかを制御する。尚、ハーモニ信号制御部56の構成については、図4を参照して、詳細を後述する。
【0040】
エコー付加部57は、ハーモニ信号制御部56より出力されてくる歌唱音声信号、または、ハーモニ音声信号が付加された歌唱音声信号にエコーを付加して、加算器58に供給する。
【0041】
加算器58は、MIDI音源部29より供給されてくる楽曲の音声信号を、エコー付加部57より供給されてきた歌唱音声信号、またはハーモニ音声が付加された歌唱音声信号に加算することにより合成して出力する。
【0042】
[ハーモニ信号制御部の構成例]
次に、図4を参照して、ハーモニ信号制御部56の構成例について説明する。
【0043】
ハーモニ信号制御部56は、歌唱音声信号ゲイン調整部71、ハーモニ音声信号ゲイン調整部72、加算器73、スイッチ74、熱唱度閾値判定部75、出力音選択部76、および楽曲盛り上がり度閾値判定部77を備えている。
【0044】
歌唱音声信号ゲイン調整部71は、歌唱音声信号のゲインを調整して、加算器73、およびスイッチ74の端子74aに出力する。ハーモニ音声信号ゲイン調整部72は、ハーモニ音声信号のゲインを調整して、加算器73に出力する。加算器73は、ゲインが調整された歌唱音声信号とハーモニ音声信号とを加算して混合(重畳)し、スイッチ74の端子74bに出力する。
【0045】
熱唱度閾値判定部75は、熱唱度閾値を送受信部24を制御して、熱唱度サーバ2より取得し、熱唱度算出部51より供給されてくる熱唱度と比較して、比較結果を出力音選択部76に供給する。楽曲盛り上がり度閾値判定部77は、楽曲盛り上がり度算出部55より供給されてくる楽曲盛り上がり度と、楽曲盛り上がり度閾値とを比較し、比較結果を出力音選択部76に供給する。
【0046】
出力音選択部76は、熱唱度閾値判定部75、および楽曲盛り上がり度閾値判定部77のそれぞれの判定結果に基づいて、スイッチ74を制御して、端子74aまたは74bに接続する。この結果、出力音選択部76は、スイッチ74を制御して、端子74aに接続する場合、歌唱音声信号を出力し、端子74bに接続する場合、ハーモニ音声信号が混合(重畳)されている歌唱音声信号を出力する。
【0047】
[熱唱度サーバの構成例]
次に、図5を参照して、熱唱度サーバ2の構成例について説明する。
【0048】
熱唱度サーバ2は、CPU91、RAM92、ROM93、送受信部94、記憶部95、システムバス96、熱唱度閾値生成部97、および熱唱度閾値記憶部98を備えている。CPU91は、システムバス96を介して、ROM93、またはHDDやSSDなどからなる記憶部95に予め記憶されている所定のプログラムおよびデータを読み出して、RAM92に展開し、所定の処理を実行する。CPU91は、これらの一連の処理を実行することで、熱唱度サーバ2の動作の全体を制御している。
【0049】
送受信部94は、いわゆるイーサネットボードであり、ネットワーク4を介してカラオケ装置である複数の音声処理装置1より熱唱度の情報を楽曲毎に取得して記憶部95に記憶させる。また、送受信部94は、熱唱度閾値記憶部98に記憶されている熱唱度閾値を読み出して音声処理装置1に配信する。
【0050】
熱唱度閾値生成部97は、新たな熱唱度の情報が記憶部95に楽曲に対応付けて記憶されると、その楽曲の熱唱度の平均値を求め、さらに、所定値または所定の割合だけオフセットさせた値を熱唱度閾値として生成する。そして、熱唱度閾値生成部97は、生成した熱唱度閾値の情報を熱唱度閾値記憶部98に楽曲に対応付けて記憶させる。
【0051】
[演奏処理]
次に、図6のフローチャートを参照して、演奏処理について説明する。
【0052】
ステップS1において、CPU21は、リモートコントローラ受光部27において、リモートコントローラ13が操作されることにより、楽曲が指定されて、かつ、演奏を指示する信号が受光されたか否かを判定し、受光されたと判定されるまで、同様の処理を繰り返す。ステップS1において、例えば、ユーザによりリモートコントローラ13が操作されることにより、楽曲が指定されて、かつ、演奏を指示する信号が発せられ、リモートコントローラ受光部27により受光されると、処理は、ステップS2に進む。
【0053】
ステップS2において、CPU21は、送受信部24を制御して、指定された楽曲データをネットワーク4を介して、楽曲データベース3よりダウンロードさせると共に、ダウンロードした楽曲データを記憶部25に記憶させる。
【0054】
ステップS3において、CPU21は、DSP30に対して、ダウンロードした楽曲データに対応する熱唱度閾値をネットワーク4を介して熱唱度サーバ2よりダウンロードするように指示する。この指示に応じてDSP30のハーモニ信号制御部56は、システムバス26を介して送受信部24を制御して、ネットワーク4を介して熱唱度サーバ2に対してダウンロードした楽曲データに対応する熱唱度閾値を要求する。
【0055】
ステップS21において、熱唱度サーバ2のCPU91は、送受信部94を制御して、熱唱度閾値が要求されてきたか否かを判定し、要求されるまで、同様の処理を繰り返す。ステップS21において、例えば、ステップS3の処理により、熱唱度閾値が要求されてきた場合、処理は、ステップS22に進む。
【0056】
ステップS22において、CPU91は、熱唱度閾値記憶部98に記憶されている熱唱度閾値の情報のうち、音声処理装置1によりダウンロードされた楽曲データに対応する熱唱度閾値の情報を読み出す。そして、CPU91は、読み出した熱唱度閾値の情報を送受信部94を制御して、ネットワーク4を介して要求のあった音声処理装置1に送信させる。
【0057】
ステップS4において、DSP30は、送受信部24を制御して、熱唱度サーバ2より送信されてきた熱唱度閾値の情報を取得し、熱唱度閾値判定部75に記憶させる。
【0058】
ステップS5において、MIDI音源部29は、記憶部25に記憶されているMIDI形式の楽曲データを読み出して、DSP30により再生可能なデジタル音声信号に変換して供給する。DSP30は、MIDI音源部29より順次供給されてくるデジタル音声信号に基づいて、楽曲の音声信号を再生し、D/A31によりアナログ信号に変換させた後、増幅部32により所定の増幅率で増幅させて、スピーカ33より出力させることで、演奏を開始する。これにより、歌唱者は、スピーカ33より出力される伴奏曲に合わせて、マイクロフォン36を把持した状態で歌唱を開始する。また、マイクロフォン36のセンサ36a,36bは、それぞれ歌唱者の脈拍数、および体温といった生体情報を測定して、DSP30に供給する。
【0059】
ステップS6において、DSP30は、マイクロフォン36より入力される歌唱者の歌唱音声信号に基づいて、ハーモニ制御処理を実行して、歌唱音声信号に対して、必要に応じてハーモニ音声信号を付加(重畳)してスピーカ33より音声を出力する。
【0060】
ステップS7において、DSP30は、演奏が終了したか、すなわち、MIDI音源部29からの楽曲データの供給が停止したか否かを判定し、演奏が終了していない場合、処理は、ステップS6に戻る。すなわち、演奏が終了するまで、DSP30は、ハーモニ制御処理を実行し続けて、歌唱音声信号に対して、必要に応じてハーモニ音声信号を付加する処理を繰り返す。この際、DSP30は、熱唱度、および楽曲盛り上がり度を時系列で算出し続け、熱唱度については算出結果を記憶している。尚、ハーモニ制御処理については、図7のフローチャートを参照して、詳細を後述する。
【0061】
ステップS7において、例えば、演奏が終了したとみなされた場合、処理は、ステップS8に進む。
【0062】
ステップS8において、DSP30の熱唱度算出部51は、記憶部51aに時系列に記憶している熱唱度の情報を、楽曲データを識別する情報と共に演奏終了を示す情報と併せて送受信部24を制御して、熱唱度サーバ2にアップロードさせる。
【0063】
一方、熱唱度サーバ2においては、ステップS22の処理で熱唱度閾値の情報が送信された後、ステップS23において、熱唱度閾値生成部97が送受信部94を制御して、音声処理装置1より演奏終了を示す情報が送信されてきたか否かを判定する。そして、ステップS23において、演奏終了を示す情報が送信されてきたと判定されるまで、同様の処理が繰り返される。ステップS23において、例えば、ステップS8の処理により演奏終了を示す情報が送信されてきた場合、処理は、ステップS24に進む。
【0064】
ステップS24において、熱唱度閾値生成部97は、送受信部94を制御して、演奏終了を示す情報と共に送信されてくる、楽曲を識別する情報、およびその楽曲に対する熱唱度の情報を取得して、記憶部95に記憶させる。
【0065】
ステップS25において、熱唱度閾値生成部97は、記憶部95に記憶されている熱唱度の情報のうち、取得した楽曲に対応する熱唱度の情報を読み出して、統計的に処理して、熱唱度閾値を算出する。より詳細には、熱唱度閾値生成部97は、記憶部95に記憶されている熱唱度の情報のうち、取得した楽曲に対応する熱唱度の平均値を求め、さらに、オフセット分だけ低い値の時系列の情報を熱唱度閾値として算出する。
【0066】
ステップS26において、熱唱度閾値生成部97は、算出した熱唱度閾値の情報で、熱唱度閾値記憶部98に記憶されている情報を上書きして更新し保存(記憶)する。
【0067】
以上の処理により、音声処理装置1において、楽曲が指定されて、演奏の開始が指示されると、熱唱度サーバ2より熱唱度閾値の情報がダウンロードされ、楽曲データベース3より楽曲データがダウンロードされて演奏が開始される。このとき、音声処理装置1では、熱唱度閾値の情報に基づいて、ハーモニ制御処理が実行されて、楽曲が演奏されている間に、歌唱者の歌唱音声信号に対応して適宜ハーモニ音声信号が付加される。そして、演奏が終了すると、歌唱者の歌唱音声信号に基づいて時系列に算出された熱唱度の情報が熱唱度サーバ2にアップロードされて、その都度熱唱度閾値が統計的に算出されて更新され続ける。
【0068】
[ハーモニ制御処理]
次に、図7のフローチャートを参照して、ハーモニ制御処理について説明する。
【0069】
ステップS41において、DSP30のピッチ検出部52は、マイクロフォン36より入力され、増幅部35、およびA/D34を介して入力される歌唱者の歌唱音声信号に基づいて、歌唱者の歌唱する歌唱音声信号の基本周波数からなるピッチを検出する。さらに、ピッチ検出部52は、検出したピッチをドレミファソラシドといった音名に変換し、変換した音名の情報をハーモニ音程決定部53に供給する。
【0070】
ステップS42において、ハーモニ音程決定部53は、記憶部25に記憶されている楽曲データから得られる音階およびコードの情報を、システムバス26を通して取得し、これらの情報を元に現在の音名に対して協和する音程(ハーモニ音程)を決定する。ハーモニ音程決定部53は、決定したハーモニ音程の情報をピッチシフタ54に供給する。
【0071】
ステップS43において、ピッチシフタ54は、ハーモニ音程決定部53より供給されてくるハーモニ音程の情報に基づいて、歌唱音声信号の基本周波数をシフトさせて、ハーモニ音声信号を生成し、ハーモニ信号制御部56に供給する。
【0072】
ステップS44において、熱唱度算出部51は、歌唱音声信号、およびマイクロフォン36より供給される脈拍数および体温の情報に基づいて、熱唱度算出処理を実行して、時系列に熱唱度を算出して、順次記憶部51aに順次記憶させる。
【0073】
[熱唱度算出処理]
ここで、図8のフローチャートを参照して、熱唱度算出処理について説明する。
【0074】
ステップS71において、熱唱度算出部51は、所定時間間隔毎に歌唱音声信号のRMS(二乗平均平方根:Root Mean Square)を算出する。
【0075】
ステップS72において、熱唱度算出部51は、所定時間間隔毎に歌唱音声信号の基本周波数の平均値、すなわち、ピッチ平均値を算出する。
【0076】
ステップS73において、熱唱度算出部51は、所定時間間隔毎に歌唱音声信号の基本周波数の標準偏差の逆数を、歌唱音声信号の安定度、すなわち、ピッチ安定度として算出する。
【0077】
ステップS74において、熱唱度算出部51は、マイクロフォン36のセンサ36aにより測定される歌唱者の脈拍数の情報を取得する。
【0078】
ステップS75において、熱唱度算出部51は、マイクロフォン36のセンサ36bにより測定される歌唱者の体温の情報を取得する。
【0079】
ステップS76において、熱唱度算出部51は、以下の式(1)を算出することにより熱唱度を算出し、記憶部51aに記憶すると共に、算出した熱唱度をハーモニ信号制御部56に供給する。
【0080】
HS=α×RMS+β×ピッチ平均値+γ×ピッチ安定度+δ×脈拍数+ε×体温
・・・(1)
【0081】
ここで、HSは、熱唱度を、RMSは歌唱音声信号の二乗平均平方根を、α,β,γ,δ,εは、それぞれ各パラメータの重み係数を示している。
【0082】
すなわち、熱唱度は、歌唱音声信号の二乗平均平方根で示される音圧レベル、基本周波数の平均値であるピッチ平均値、基本周波数の安定度であるピッチ安定度、脈拍数、および体温のそれぞれのパラメータが高いほど、高い値となる。尚、式(1)で定義される熱唱度は、その一例であって、その他にも定義は可能であり、例えば、マイクロフォン36にセンサ36a,36bが設けられていない一般的なものである場合、歌唱者の生体情報である脈拍数や体温については、パラメータとしないようにしてもよい。また、生体情報には、この他にも血圧などを用いるようにしてもよい。さらに、重み係数α,β,γ,δ,εについては、自由に設定できるようにしてもよいものである。
【0083】
以上の処理により、歌唱者の歌唱音声信号、および、生体情報に基づいて、熱唱度を算出することが可能となる。
【0084】
ここで、図7のフローチャートの説明に戻る。
【0085】
ステップS44において、熱唱度算出処理により熱唱度が求められると、ステップS45において、楽曲盛り上がり度算出部55は、楽曲盛り上がり度算出処理を実行し、MIDI音源部29からの楽曲データのデジタル音声信号より、楽曲盛り上がり度を算出する。
【0086】
[楽曲盛り上がり度算出処理]
ここで、図8のフローチャートを参照して、楽曲盛り上がり度算出処理について説明する。
【0087】
ステップS91において、楽曲盛り上がり度算出部55は、所定時間間隔毎に歌唱音声信号のRMSを算出すると共に、累積的に記憶する。
【0088】
ステップS92において、楽曲盛り上がり度算出部55は、直前の処理で求められた所定時間間隔毎に歌唱音声信号のRMSより以前のRMSの平均値を求める。
【0089】
ステップS93において、楽曲盛り上がり度算出部55は、直前の処理で求められたRMSとRMSの平均値との差分を、楽曲盛り上がり度として算出し、ハーモニ信号制御部56に供給する。
【0090】
以上の処理により、所定の時間間隔で求められるRMSと、それまでのRMS平均値との差分が楽曲盛り上がり度として求められる。尚、楽曲盛り上がり度は、上述した手法により求められるものに限られず、例えば、楽曲の盛り上がり部分である、いわゆる「サビ」部分を検出し、サビ部分となる程度を示す値で代用するようにしてもよい。
【0091】
ここで、図7のフローチャートの説明に戻る。
【0092】
ステップS45において、楽曲盛り上がり度算出処理により楽曲盛り上がり度が求められると、処理は、ステップS46に進む。
【0093】
ステップS46において、ハーモニ音声信号ゲイン調整部72は、ピッチシフタ54より供給されてくるハーモニ音声信号のゲインを調整して、加算器73に供給する。
【0094】
ステップS47において、歌唱音声信号ゲイン調整部71は、A/D34より供給されてくる歌唱音声信号のゲインを調整して加算器73および端子74aに供給する。
【0095】
ステップS48において、熱唱度閾値判定部75は、熱唱度算出部51より供給されてきた熱唱度と、熱唱度サーバ2よりダウンロードして記憶している熱唱度閾値とを比較し、熱唱度が熱唱度閾値より高いか否かを判定する。ステップS48において、例えば、熱唱度が熱唱度閾値よりも高いと判定された場合、熱唱度閾値判定部75は、その判定結果を出力音選択部76に供給し、処理は、ステップS49に進む。
【0096】
ステップS49において、楽曲盛り上がり度閾値判定部77は、楽曲盛り上がり度算出部55より供給されてくる楽曲盛り上がり度と、所定の楽曲盛り上がり度閾値とを比較して、楽曲盛り上がり度が所定の楽曲盛り上がり度閾値よりも高いか否かを判定する。ステップS49において、例えば、楽曲盛り上がり度が所定の楽曲盛り上がり度閾値よりも高いとみなされた場合、楽曲盛り上がり度閾値判定部77は、その判定結果を出力音選択部76に供給し、処理は、ステップS50に進む。
【0097】
ステップS50において、出力音選択部76は、熱唱度閾値判定部75および楽曲盛り上がり度閾値判定部77の判定結果に基づいて、スイッチ74を端子74bに接続させる。これにより加算器73が歌唱音声信号とハーモニ音声信号とが合成された信号が端子74bを介して出力音選択部76に供給され、出力音選択部76は、供給されてくる歌唱音声信号とハーモニ音声信号とが合成された合成信号をエコー付加部57に供給する。
【0098】
ステップS51において、エコー付加部57は、歌唱音声信号とハーモニ音声信号とが合成された合成歌唱音声信号に、所定のエコー処理を付加して加算器58に出力する。
【0099】
ステップS52において、加算器58は、エコーが付加された合成歌唱音声信号とMIDI音源部29より供給されてくる楽曲のデジタル信号とを合成して、D/A31に出力する。この処理により、楽曲のデジタル信号と合成された合成歌唱音声信号は、D/A31によりアナログ信号に変換され、増幅部32によりゲイン調整された後、スピーカ33より出力される。
【0100】
一方、ステップS48において、熱唱度が熱唱度閾値よりも小さいとみなされた場合、熱唱度閾値判定部75は、その判定結果を出力音選択部76に供給し、処理は、ステップS53に進む。または、ステップS49において、楽曲盛り上がり度が楽曲盛り上がり度閾値よりも小さいとみなされた場合、楽曲盛り上がり度閾値判定部77は、その判定結果を出力音選択部76に供給し、同様に処理は、ステップS53に進む。
【0101】
ステップS53において、出力音選択部76は、熱唱度閾値判定部75、または楽曲盛り上がり度閾値判定部77の判定結果に基づいて、スイッチ74を端子74aに接続させる。歌唱音声信号のみが端子74aを介して出力音選択部76に供給され、出力音選択部76は、供給されてくる歌唱音声信号のみをエコー付加部57に供給する。
【0102】
すなわち、熱唱度が熱唱度閾値よりも高く、かつ、楽曲盛り上がり度が楽曲盛り上がり度閾値よりも高い場合、歌唱音声信号にハーモニ音声信号が合成されて、すなわち、ハモリがオンの状態となって、楽曲の音声と共に歌唱音声信号が出力される。このため、歌唱者の歌い方により変化する熱唱度と、楽曲の盛り上がり度に応じて、歌唱者の歌唱音声信号にハーモニ音声が付加されることになるので、適切にハモリの区間が設定され、さらに、ハモリ音声、すなわち、協和音声を付加することが可能となる。結果として、歌唱者は、ハモリ機能をオンにするタイミングを意識する必要が無く、適切にハモリをオンにすることが可能となるので、カラオケ装置を利用する際に、歌唱することに集中することが可能となる。
【0103】
また、熱唱度閾値thは、例えば、図10で示されるように、ネットワーク4上の音声処理装置1よりアップロードされる同一の楽曲に対する熱唱度平均値Aveに対して、所定のレベルだけオフセットされた値に設定される。このため、熱唱度は、歌唱者の歌い方により変化が生じるものの、熱唱度閾値thは、熱唱度の平均値に満たない歌唱者でもオフセットが設定されているため、歌唱者により歌唱方法が変化して熱唱度が変化しても、多くの歌唱者に対して適切なタイミングでハモリ機能を利用することが可能となる。尚、熱唱度閾値thが熱唱度平均値に対してオフセットされた値とされているのは、上述したようにハモリ機能をオンにし易くするためであるので、オフセットは様々に設定するようにしても良く、例えば、オフセットをゼロとして熱唱度平均値そのものを熱唱度平均値としてもよい。
【0104】
さらに、以上においては、熱唱度閾値については、各音声処理装置1がネットワーク4を介して熱唱度の情報を熱唱度サーバ2にアップロードし、その平均値から求められるものをダウンロードして使用する例について説明してきた。このようにすることで、熱唱度閾値の設定をより歌唱者の意向を反映した適切なものにすることが可能となるが、ある程度平均となる熱唱度が求められた後は、熱唱度閾値の変化は小さくなっていくことが予想される。したがって、熱唱度閾値については、毎回熱唱度サーバ2からダウンロードするものではなく、例えば、一旦ダウンロードしたものを音声処理装置1が記憶して、以降はこれを繰り返して使用するようにしてもよいし、工場出荷時などに予め記憶させて、これを利用するようにしてもよい。さらには、ネットワーク4を介さず、1台の音声処理装置1において、同一の楽曲についての複数の歌唱者の熱唱度を蓄積し、その平均値を利用して熱唱度閾値を単独で求めるようにしてもよい。
【0105】
また、以上においては、熱唱度サーバ2がネットワーク4上に存在する例について説明してきたが、複数の情報処理装置やサーバなどにより、いわゆるクラウドコンピューティングによりこれを代用させるようにしてもよい。この際、クラウドコンピューティングは、音声処理装置1、すなわち、カラオケ装置のみから構成されるようにしてもよい。
【0106】
さらに、以上においては、歌唱者が歌唱する歌唱音声を基準とし、その歌唱音声に対して協和音声、すなわち、ハーモニ音声を重畳する例について説明してきたが、基準となる音声は歌唱音声以外でもよく、例えば、楽器の演奏音声であってもよい。
【0107】
以上の如く、本技術によれば、いわゆるカラオケ装置などに代表される楽曲再生装置などからなる音声処理装置において、楽曲毎に、または、歌唱者の歌唱状態毎に、適切なタイミングでハーモニ音声を歌唱音声に付加する、いわゆるハモリを付加することが可能となる。この際、歌唱者は、ハモリの区間(タイミング)を意識する必要が無いので、歌唱することに集中することができ、その上でハモリ機能によりハーモニ音声を付加することができるので、より快適に歌唱することを楽しむことが可能となる。
【0108】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0109】
図11は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【0110】
コンピュータにおいて、CPU(Central Processing Unit)1001,ROM(Read Only Memory)1002,RAM(Random Access Memory)1003は、バス1004により相互に接続されている。
【0111】
バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、入力部1006、出力部1007、記憶部1008、通信部1009、及びドライブ1010が接続されている。
【0112】
入力部1006は、キーボード、マウス、マイクロフォンなどよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記憶部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインタフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1011を駆動する。
【0113】
以上のように構成されるコンピュータでは、CPU1001が、例えば、記憶部1008に記憶されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
【0114】
コンピュータ(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0115】
コンピュータでは、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
【0116】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0117】
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0118】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0119】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0120】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0121】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0122】
尚、本技術は以下のような構成を取ることができる。
(1) 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
を含む信号処理装置。
(2) 前記熱唱度算出部は、前記楽曲の歌唱者の歌唱音声信号に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
(1)に記載の信号処理装置。
(3) 前記歌唱者の生体情報を取得する生体情報取得部をさらに含み、
前記熱唱度算出部は、前記楽曲の歌唱者の生体情報に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
(1)または(2)に記載の信号処理装置。
(4) 前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定される熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
(1)乃至(3)のいずれかに記載の信号処理装置。
(5) 前記楽曲の音声信号である楽曲音声信号に基づいて、前記楽曲の盛り上がり度を算出する盛り上がり度算出部をさらに含み、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度、および、前記盛り上がり度算出部により算出された前記盛り上がり度に基づいて、前記歌唱音声信号にハモリ音声信号を重畳するか否かを判定する
(1)乃至(4)のいずれかに記載の信号処理装置。
(6) 前記熱唱度閾値算出部は、複数の歌唱者による前記熱唱度の平均値を利用して熱唱度閾値を算出し、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、複数の歌唱者による熱唱度の平均値を利用して求められた熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
(1)乃至(5)のいずれかに記載の信号処理装置。
(7) 前記熱唱度を算出する熱唱度算出部を含む複数の(1)乃至(6)のいずれかに記載の信号処理装置よりネットワークを介して前記熱唱度算出部により算出された熱唱度を取得する熱唱度取得部と、
前記熱唱度取得部により複数の前記信号処理装置より取得された熱唱度の平均値を利用して熱唱度閾値を算出する熱唱度閾値算出部と、
前記熱唱度閾値算出部により算出された熱唱度閾値を前記複数の信号処理装置に配信する配信部と
を含む情報処理装置と、
前記(1)乃至(6)のいずれかに記載の信号処理装置とからなり、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、前記配信部により配信されてくる熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
信号処理システム。
(7) 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
を含む信号処理方法。
(8) 楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
を含む信号処理装置を制御するコンピュータに、
前記熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
前記ハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
前記ハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
を含む処理を実行させるプログラム。
【符号の説明】
【0123】
1,1−1乃至1−n 音声処理装置, 2 熱唱度サーバ, 3 楽曲データベース, 4 ネットワーク, 30 DSP, 51 熱唱度算出部, 52 ピッチ検出部, 53 ハーモニ音程決定部, 54 ピッチシフタ, 55 楽曲盛り上がり度算出部, 56 ハーモニ信号制御部, 57 エコー付加部, 58 加算器
【特許請求の範囲】
【請求項1】
楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
を含む信号処理装置。
【請求項2】
前記熱唱度算出部は、前記楽曲の歌唱者の歌唱音声信号に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
請求項1に記載の信号処理装置。
【請求項3】
前記歌唱者の生体情報を取得する生体情報取得部をさらに含み、
前記熱唱度算出部は、前記楽曲の歌唱者の生体情報に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
請求項1に記載の信号処理装置。
【請求項4】
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定される熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
請求項1に記載の信号処理装置。
【請求項5】
前記楽曲の音声信号である楽曲音声信号に基づいて、前記楽曲の盛り上がり度を算出する盛り上がり度算出部をさらに含み、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度、および、前記盛り上がり度算出部により算出された前記盛り上がり度に基づいて、前記歌唱音声信号にハモリ音声信号を重畳するか否かを判定する
請求項1に記載の信号処理装置。
【請求項6】
前記熱唱度閾値算出部は、複数の歌唱者による前記熱唱度の平均値を利用して熱唱度閾値を算出し、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、複数の歌唱者による熱唱度の平均値を利用して求められた熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
請求項1に記載の信号処理装置。
【請求項7】
前記熱唱度を算出する熱唱度算出部を含む複数の請求項1乃至4のいずれかに記載の信号処理装置よりネットワークを介して前記熱唱度算出部により算出された熱唱度を取得する熱唱度取得部と、
前記熱唱度取得部により複数の前記信号処理装置より取得された熱唱度の平均値を利用して熱唱度閾値を算出する熱唱度閾値算出部と、
前記熱唱度閾値算出部により算出された熱唱度閾値を前記複数の信号処理装置に配信する配信部と
を含む情報処理装置と、
前記請求項1乃至4のいずれかに記載の信号処理装置とからなり、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、前記配信部により配信されてくる熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
信号処理システム。
【請求項8】
楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
を含む信号処理方法。
【請求項9】
楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
を含む信号処理装置を制御するコンピュータに、
前記熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
前記ハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
前記ハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
を含む処理を実行させるプログラム。
【請求項1】
楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
を含む信号処理装置。
【請求項2】
前記熱唱度算出部は、前記楽曲の歌唱者の歌唱音声信号に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
請求項1に記載の信号処理装置。
【請求項3】
前記歌唱者の生体情報を取得する生体情報取得部をさらに含み、
前記熱唱度算出部は、前記楽曲の歌唱者の生体情報に基づいて、前記歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する
請求項1に記載の信号処理装置。
【請求項4】
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定される熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
請求項1に記載の信号処理装置。
【請求項5】
前記楽曲の音声信号である楽曲音声信号に基づいて、前記楽曲の盛り上がり度を算出する盛り上がり度算出部をさらに含み、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度、および、前記盛り上がり度算出部により算出された前記盛り上がり度に基づいて、前記歌唱音声信号にハモリ音声信号を重畳するか否かを判定する
請求項1に記載の信号処理装置。
【請求項6】
前記熱唱度閾値算出部は、複数の歌唱者による前記熱唱度の平均値を利用して熱唱度閾値を算出し、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、複数の歌唱者による熱唱度の平均値を利用して求められた熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
請求項1に記載の信号処理装置。
【請求項7】
前記熱唱度を算出する熱唱度算出部を含む複数の請求項1乃至4のいずれかに記載の信号処理装置よりネットワークを介して前記熱唱度算出部により算出された熱唱度を取得する熱唱度取得部と、
前記熱唱度取得部により複数の前記信号処理装置より取得された熱唱度の平均値を利用して熱唱度閾値を算出する熱唱度閾値算出部と、
前記熱唱度閾値算出部により算出された熱唱度閾値を前記複数の信号処理装置に配信する配信部と
を含む情報処理装置と、
前記請求項1乃至4のいずれかに記載の信号処理装置とからなり、
前記ハモリ音声信号重畳判定部は、前記熱唱度算出部により算出された前記熱唱度と、前記熱唱度に対して設定され、前記配信部により配信されてくる熱唱度閾値とを比較して、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定し、前記熱唱度が前記熱唱度閾値よりも高い場合、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するものと判定する
信号処理システム。
【請求項8】
楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
を含む信号処理方法。
【請求項9】
楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出部と、
前記熱唱度算出部により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定部と、
前記ハモリ音声信号重畳判定部の判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳部と
を含む信号処理装置を制御するコンピュータに、
前記熱唱度算出部における、楽曲の歌唱者の熱唱状態を示す特徴量からなる熱唱度を算出する熱唱度算出ステップと、
前記ハモリ音声信号重畳判定部における、前記熱唱度算出ステップの処理により算出された前記熱唱度に基づいて、前記楽曲の歌唱者の歌唱音声信号にハモリ音声信号を重畳するか否かを判定するハモリ音声信号重畳判定ステップと、
前記ハモリ音声信号重畳部における、前記ハモリ音声信号重畳判定ステップの処理での判定結果に基づいて、前記ハモリ音声信号を前記歌唱音声信号に対して重畳するハモリ音声信号重畳ステップと
を含む処理を実行させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【公開番号】特開2013−37274(P2013−37274A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−174934(P2011−174934)
【出願日】平成23年8月10日(2011.8.10)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.イーサネット
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願日】平成23年8月10日(2011.8.10)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.イーサネット
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】
[ Back to top ]