評価装置
【課題】カラオケ演奏の再生などの処理を行う通信装置以外の装置において、利用者の歌唱音声を評価区間毎に評価し、その評価結果を逐次出力する。
【解決手段】採点サーバ装置は、利用者の歌唱音声を表す歌唱データをストリーミング方式でカラオケ装置から取得し、取得した歌唱データをメモリに記憶させる。また、採点サーバ装置は、メモリに記憶されている歌唱データの時間軸を、採点処理の対象となる複数の採点区間に分割し、分割された各々の採点区間を時間軸上の位置に応じた順番で選択し、選択された採点区間に含まれる歌唱データを、その採点区間に対応する区間に含まれる模範歌唱データと比較することにより、選択された採点区間における利用者の歌唱音声を採点し、採点結果を生成する。そして、採点サーバ装置は、各採点区間における採点結果が生成される度に、生成された採点結果をカラオケ装置に送信する。
【解決手段】採点サーバ装置は、利用者の歌唱音声を表す歌唱データをストリーミング方式でカラオケ装置から取得し、取得した歌唱データをメモリに記憶させる。また、採点サーバ装置は、メモリに記憶されている歌唱データの時間軸を、採点処理の対象となる複数の採点区間に分割し、分割された各々の採点区間を時間軸上の位置に応じた順番で選択し、選択された採点区間に含まれる歌唱データを、その採点区間に対応する区間に含まれる模範歌唱データと比較することにより、選択された採点区間における利用者の歌唱音声を採点し、採点結果を生成する。そして、採点サーバ装置は、各採点区間における採点結果が生成される度に、生成された採点結果をカラオケ装置に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置を用いて行われた利用者の歌唱の巧拙を採点する技術が知られている。例えば、特許文献１〜３には、カラオケ演奏を再生するカラオケ装置において、利用者の歌唱の採点を行う技術が開示されている。また、特許文献４，５には、教師がコンピュータ装置を用いて遠隔にいる生徒の歌声を再生し、生徒の歌声の添削を行い、その添削結果を生徒に送信する技術が開示されている。また、特許文献６には、通信カラオケシステムのサーバが、歌唱者の使用する通信端末にカラオケデータを配信するとともに通信端末から歌唱者の歌唱音声信号を受信し、カラオケデータの配信が終了した時に、受信した歌唱音声信号に基づいて歌唱者の歌唱力を判定し、その判定結果を通信端末に送信する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２１６１６８号公報
【特許文献２】特開２００７−１２１５５０号公報
【特許文献３】特開平１０−２２２１８２号公報
【特許文献４】特許第４０８７０８７号公報
【特許文献５】特開２００３−１５６７３号公報
【特許文献６】特開２００７−１７８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した特許文献１〜３のように、各々のカラオケ装置に利用者の歌唱を採点する採点機能を設けると、カラオケ装置のコストが高くなってしまう。また、カラオケ装置では、カラオケ演奏の再生などの処理も行わなくてはならないため、処理負荷の高い精密な採点処理を行うことができない。さらに、新たな採点機能を追加する場合には、カラオケ装置の１つひとつに新たな採点機能を追加しなくてはならないため、その作業に時間と手間がかかってしまう。
本発明は、カラオケ演奏の再生などの処理を行う通信装置以外の装置において、利用者の歌唱音声を評価区間毎に評価し、その評価結果を逐次出力することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、模範となる歌唱音声を表す模範音声データを記憶する第１の記憶手段と、利用者の歌唱音声を表す音声データをストリーミング方式で通信装置から取得する取得手段と、前記取得手段によって取得された音声データを記憶する第２の記憶手段と、前記第２の記憶手段に記憶されている前記音声データの時間軸を、歌唱音声の評価の対象となる複数の評価区間に分割する分割手段と、前記分割手段によって分割された各々の評価区間を時間軸上の位置に応じた順番で選択し、選択された当該評価区間に含まれる音声データを、前記第１の記憶手段に記憶されている当該評価区間に対応する区間に含まれる模範音声データと比較することにより、当該選択された評価区間における前記利用者の歌唱音声を評価し、評価結果を生成する評価手段と、前記評価手段によって各評価区間における評価結果が生成される度に、生成された当該評価結果を前記通信装置に送信する送信手段とを備えることを特徴とする評価装置を提供する。
【０００６】
本発明の好ましい態様において、前記模範音声データには、前記模範となる歌唱音声に含まれる各フレーズの時間軸上の区切り位置を示す区切データが付加されており、前記分割手段は、前記第２の記憶手段に記憶されている音声データの時間軸を、前記第１の記憶手段に記憶されている模範音声データにおいて前記区切データによって区切られた各フレーズ区間に対応する複数の評価区間に分割してもよい。
【０００７】
本発明の好ましい態様において、前記通信装置は種別の異なるものが複数あり、前記評価手段は、前記取得手段が予め決められた種別の通信装置から前記音声データを取得した場合には、当該予め決められた種別とは異なる種別の通信装置から前記音声データを取得した場合よりも簡易な内容で前記評価を行ってもよい。
【発明の効果】
【０００８】
本発明によれば、カラオケ演奏の再生などの処理を行う通信装置以外の装置において、利用者の歌唱音声を評価区間毎に評価し、その評価結果を逐次出力することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る採点システムの構成を示すブロック図である。
【図２】前記採点システムのカラオケ装置の構成を示すブロック図である。
【図３】前記採点システムの採点サーバ装置の構成を示すブロック図である。
【図４】前記採点システムの動作を示すシーケンス図である。
【図５】前記採点システムが用いる歌唱データ及び模範歌唱データの一例を示す図である。
【発明を実施するための形態】
【００１０】
［構成］
図１は、本実施形態に係る採点システム１の構成を示すブロック図である。同図に示すように、採点システム１は、複数のカラオケ装置１０と、採点サーバ装置２０とを備えている。採点サーバ装置２０とカラオケ装置１０とは、インターネットなどのネットワークＮを介して接続されている。このカラオケ装置１０は、本発明に係る通信装置として機能する。また、採点サーバ装置２０は、本発明に係る評価装置として機能する。
【００１１】
（カラオケ装置）
次に、カラオケ装置１０の構成について説明する。このカラオケ装置１０は、例えばカラオケ店などに設置されている。図２は、カラオケ装置１０の構成を示すブロック図である。同図に示すように、カラオケ装置１０は、ＣＰＵ(Central Processing Unit)１１と、メモリ１２と、通信部１３と、記憶部１４と、操作部１５と、表示部１６と、収音部１７と、音源部１８と、放音部１９とを備えている。ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することにより、カラオケ装置１０の各部を制御する。メモリ１２は、例えばＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）とを備えており、ＣＰＵ１１によって用いられるプログラムやデータを記憶する。通信部１３は、ネットワークＮを介して接続された採点サーバ装置２０と通信を行う。記憶部１４は、例えばハードディスクを備えており、各々のカラオケ装置１０を識別するために用いられる装置ＩＤと、利用者が歌唱を行うときに用いられる複数のカラオケデータＤｋとを記憶している。このカラオケデータＤｋには、演奏データと歌詞データとが含まれている。演奏データは、楽曲の演奏音を表すデータである。この演奏音には歌声は含まれていない。歌詞データは、楽曲の歌詞を示すデータである。操作部１５は、例えば複数の操作ボタンを備えており、利用者の操作に応じた操作信号をＣＰＵ１１に入力する。表示部１６は、例えば液晶ディスプレイを備えており、ＣＰＵ１１の制御に応じた画像を表示する。収音部１７は、例えばマイクロホンとＡ／Ｄ変換部とを備えており、収集した音声に応じたアナログ信号を生成し、生成したアナログ信号をＡ／Ｄ変換によりデジタルデータに変換して出力する。音源部１８は、記憶部１４に記憶されている演奏データに応じた音声信号を生成して放音部１９に供給する。放音部１９は、例えばスピーカー、Ｄ／Ａ変換部及びアンプを備えており、音源部１８から供給された音声信号をＤ／Ａ変換によりアナログ信号に変換し、変換したアナログ信号を増幅して音声として放出する。
【００１２】
（採点サーバ装置）
次に、採点サーバ装置２０の構成について説明する。この採点サーバ装置２０は、カラオケ装置１０と同じカラオケ店に設置されていてもよいし、カラオケ店とは異なる場所に設置されていてもよい。図３は、採点サーバ装置２０の構成を示すブロック図である。同図に示すように、採点サーバ装置２０は、ＣＰＵ２１と、メモリ２２と、通信部２３と、記憶部２４と、処理部２５とを備えている。ＣＰＵ２１は、メモリ２２に記憶されているプログラムを実行することにより、採点サーバ装置２０の各部を制御する。メモリ２２は、例えばＲＯＭとＲＡＭとを備えており、ＣＰＵ２１によって用いられるプログラムやデータを記憶する。通信部２３は、ネットワークＮを介して接続された各カラオケ装置１０と通信を行う。記憶部２４は、例えばハードディスクを備えており、模範となる歌唱音声を表す複数の模範歌唱データＤｒを記憶している。つまり、この記憶部２４は、模範となる歌唱音声を表す模範音声データ（模範歌唱データ）を記憶する第１の記憶手段として機能する。この模範歌唱データＤｒには、模範となる歌唱音声に含まれる各フレーズの時間軸上の区切り位置を示す区切データｋが付加されている。処理部２５は、例えばＤＳＰ（Digital Signal Processor）であり、カラオケ装置１０から送信されてくる歌唱データＤｘと、記憶部２４に記憶されている模範歌唱データＤｒとを比較して、利用者の歌唱の巧拙を評価する採点処理を行う。
【００１３】
［動作］
次に、本実施形態に係る採点システム１の動作について説明する。図４は、採点システム１の動作を示すシーケンス図である。まず、利用者は、カラオケ装置１０の操作部１５を操作して、歌唱したい楽曲の楽曲ＩＤを入力し、演奏開始を指示する。この楽曲ＩＤとしては、例えば楽曲の名前や楽曲に割り当てられた番号などが用いられる。ＣＰＵ１１は、この操作に応じて、通信部１３によって採点サーバ装置２０との通信を確立させた後（ステップＳ１１）、利用者によって入力された楽曲ＩＤと記憶部１４に記憶されている装置ＩＤとを採点サーバ装置２０に送信する（ステップＳ１２）。このとき、通信部１３は、公開されているＡＰＩ（Application Programming Interface）を用いて、採点サーバ装置２０と通信を行う。カラオケ装置１０から楽曲ＩＤ及び装置ＩＤが送信されてくると、採点サーバ装置２０のＣＰＵ２１は、この楽曲ＩＤ及び装置ＩＤを通信部２３によって受信する（ステップＳ１３）。
【００１４】
また、カラオケ装置１０のＣＰＵ１１は、入力された楽曲ＩＤの楽曲のカラオケデータＤｋを記憶部１４から順次読み出し、カラオケ再生処理を行う（ステップＳ１４）。具体的には、ＣＰＵ１１は、記憶部１４から読み出したカラオケデータＤｋに含まれる演奏データを音源部１８に供給する。音源部１８は、ＣＰＵ１１によって供給された演奏データに応じた音声信号を生成し、生成した音声信号を放音部１９に供給して、その音声信号に応じた音声を放出させる。これにより、利用者によって指定された楽曲の演奏が開始される。また、ＣＰＵ１１は、楽曲の演奏と同期するように、記憶部１４から読み出したカラオケデータＤｋに含まれる歌詞データを表示部１６に供給する。これにより、利用者によって指定された楽曲の歌詞が表示される。
【００１５】
利用者は、楽曲の演奏に合わせて収音部１７に向かって歌唱する。このとき、収音部１７は、利用者の歌唱音声を収集し、収集した歌唱音声を表す歌唱データＤｘを生成する。ＣＰＵ１１は、収音部１７によって生成された歌唱データＤｘを順次放音部１９に供給し、その歌唱データＤｘに応じた歌唱音声を楽曲の演奏とともに放出させる。また、ＣＰＵ１１は、収音部１７によって生成された歌唱データＤｘを順次通信部１３に供給する。通信部１３は、ＣＰＵ１１によって供給された歌唱データＤｘをストリーミング方式で採点サーバ装置２０に送信する（ステップＳ１５）。ストリーミング方式のデータ送信では、データが或るＰＤＵ（Protocol Data Unit）単位（例えば、パケット単位）で分割されて送信される。そのため、データの受信側では、データ全体を受信し終わるのを待つことなく、データをＰＤＵ単位で受信して処理を行うことができる。
【００１６】
カラオケ装置１０から歌唱データＤｘが送信されてくると、採点サーバ装置２０のＣＰＵ２１は、この歌唱データＤｘを通信部２３によって受信し（ステップＳ１６）、受信した歌唱データをメモリ２２に記憶させる。つまり、ＣＰＵ２１は、利用者の歌唱音声を表す音声データ（歌唱データ）をストリーミング方式でカラオケ装置１０から取得する取得手段として機能する。また、メモリ２２は、ＣＰＵ２１によって取得された音声データを記憶する第２の記憶手段として機能する。上述したように、この歌唱データＤｘはＰＤＵ単位で送信されてくる。よって、メモリ２２には、ＰＤＵ単位で送信されてきた歌唱データが順次記憶されていくことになる。
【００１７】
続いて、処理部２５は、メモリ２２に記憶されている歌唱データＤｘの時間軸を、採点処理の対象となる複数の採点区間に分割する（ステップＳ１７）。この採点区間は、利用者の歌唱音声の評価の対象となる評価区間として用いられる。つまり、処理部２５は、メモリ２２に記憶されている音声データの時間軸を、歌唱音声の評価の対象となる複数の評価区間に分割する分割手段として機能する。図５を参照して具体的に説明すると、処理部２５は、まず記憶部２４に記憶されている模範歌唱データＤｒにおいて、区切データｋによって区切られたフレーズ区間ｆ１，ｆ２，ｆ３，ｆ４・・・を特定する。続いて、処理部２５は、メモリ２２に記憶されている歌唱データＤｘの時間軸を、特定した各フレーズ区間に対応する採点区間に分割する。この例では、歌唱データＤｘの時間軸が、フレーズ区間ｆ１に対応する採点区間ｈ１，フレーズ区間ｆ２に対応する採点区間ｈ２，フレーズ区間ｆ３に対応する採点区間ｈ３，フレーズ区間ｆ４に対応する採点区間ｈ４・・・に分割される。つまり、処理部２５は、メモリ２２に記憶されている音声データの時間軸を、記憶部２４に記憶されている模範音声データにおいて区切データによって区切られた各フレーズ区間に対応する複数の評価区間に分割する。
【００１８】
続いて、処理部２５は、分割した採点区間の中から今回の採点処理の対象となる採点区間を選択する（ステップＳ１８）。この例では、いずれの採点区間についても採点処理が行われていないため、時間軸において先頭の採点区間ｈ１が選択される。続いて、処理部２５は、選択した採点区間に含まれる歌唱データＤｘと記憶部２４に記憶されている模範歌唱データＤｒとに基づいて、採点処理を行う（ステップＳ１９）。具体的には、処理部２５は、選択した採点区間に含まれる歌唱データＤｘと、その採点区間に対応するフレーズ区間に含まれる模範歌唱データＤｒとを比較して、それらの類似度に応じた点数を算出する。続いて、処理部２５は、算出した点数を採点結果とし、その採点結果を表す採点結果データを生成する。つまり、処理部２５は、分割された複数の評価区間の中から選択された評価区間に含まれる音声データを、記憶部２４に記憶されているその評価区間に対応する区間に含まれる模範音声データと比較することにより、選択された評価区間における利用者の歌唱音声を評価し、評価結果を生成する評価手段として機能する。この例では、図５中の採点区間ｈ１に含まれる歌唱データＤｘとフレーズ区間ｆ１に含まれる模範歌唱データＤｒとの類似度に応じた点数が算出され、算出された点数が採点区間ｈ１の採点結果として用いられて、採点区間ｈ１の採点結果を表す採点結果データが生成される。
【００１９】
採点結果データが生成されると、ＣＰＵ２１は、この採点結果データを上述したステップＳ１６にて受信された装置ＩＤのカラオケ装置１０に通信部２３によって送信する（ステップＳ２０）。この例では、図５中の採点区間ｈ１の採点結果を表す採点結果データがカラオケ装置１０に送信される。続いて、処理部２５は、上述したステップＳ１８にて選択された採点区間が時間軸における最後の採点区間であるか否かを判定する（ステップＳ２１）。この例では、図５に示すように、採点区間ｈ１は時間軸における最後の採点区間ではないため、処理部２５は、選択した採点区間が最後の採点区間ではないと判定する（ステップＳ２１：ＮＯ）。この場合、処理部２５は、上述したステップＳ１８に戻り、次の採点処理の対象となる採点区間を選択する。具体的には、処理部２５は、上述にて採点区間ｈ１の採点処理が行われているため、時間軸において採点区間ｈ１の次の採点区間ｈ２を選択する。つまり、処理部２５は、分割された各々の評価区間を時間軸上の位置に応じた順番で選択する。続いて、処理部２５は、上述と同様に、ステップＳ１９において採点区間ｈ２についての採点処理を行う。そして、ＣＰＵ２１は、ステップＳ２０において採点区間ｈ２の採点結果を表す採点結果データをカラオケ装置１０に送信する。つまり、ＣＰＵ２１は、処理部２５によって各評価区間における評価結果が生成される度に、生成された評価結果をカラオケ装置１０に送信する送信手段として機能する。このようにして、処理部２５とＣＰＵ２１とは、ステップＳ２１において、選択された採点区間が時間軸における最後の採点区間であると判定されるまで、上述したステップＳ１８〜ステップＳ２１の処理を繰り返す。
【００２０】
一方、カラオケ装置１０のＣＰＵ１１は、上述したステップＳ１４及びＳ１５の処理を行いながら、採点サーバ装置２０から採点結果データが送信されてくるまで待機する。そして、採点サーバ装置１０から採点結果データが送信されてくると、ＣＰＵ１１は、通信部１３によってこの採点結果データを受信する（ステップＳ２２）。続いて、ＣＰＵ１１は、受信した採点結果データが表す採点結果を表示部１６に表示させる（ステップＳ２３）。例えば、上述したように、図５中の採点区間ｈ１の採点結果を表す採点結果データが採点サーバ装置２０から送信されてきた場合には、採点区間ｈ１の採点結果が表示される。なお、このステップＳ２２〜Ｓ２３が行われている間も上述したカラオケ再生処理が継続しているため、表示部１６には楽曲の歌詞が表示されている。従って、ＣＰＵ１１は、上述したステップＳ２３にて採点結果を表示させるときには、楽曲の歌詞の表示をいったん中断して採点結果を表示させるか、あるいは楽曲の歌詞と採点結果とを合成したものを表示させる。
【００２１】
続いて、ＣＰＵ１１は、上述したステップＳ１４のカラオケ再生処理の状況に基づいて、利用者の歌唱が終了したか否かを判定する（ステップＳ２４）。例えば、カラオケ再生処理が終了していない場合、ＣＰＵ１１は、利用者の歌唱が終了していないと判定する（ステップＳ２４：ＮＯ）。この場合、ＣＰＵ１１は、上述したステップＳ２２に戻り、新たな採点結果データが送信されてくるまで待機する。そして、採点サーバ装置２０から新たな採点結果データが送信されてくると、ＣＰＵ１１は、上述と同様に、ステップＳ２１にてその採点結果データを通信部１３によって受信し、ステップＳ２３にてその採点結果データが表す採点結果を表示部１６に表示させる。これにより、表示部１６には、図５中の各採点区間の採点結果が順次表示されていく。
【００２２】
一方、上述したステップＳ１４において、利用者によって指定された楽曲のカラオケデータＤｋが時間軸における最後の位置まで読み出されて処理されると、カラオケ再生処理が終了する。この場合、ＣＰＵ１１は、利用者の歌唱が終了したと判定し（ステップＳ２４：ＹＥＳ）、通信部１３によって採点サーバ装置２０との間の通信を切断した後（ステップＳ２５）、この処理を終了する。
【００２３】
以上説明した実施形態によれば、カラオケ演奏の再生処理を行うカラオケ装置１０とは異なる採点サーバ装置２０において、利用者の歌唱音声を評価区間毎に評価し、その評価結果を逐次出力することができる。また、各々のカラオケ装置１０に利用者の歌唱を採点する採点機能を設ける必要がないため、カラオケ装置１０のコストを安くすることができる。さらに、採点サーバ装置２０側では、カラオケ演奏の再生処理は行われないため、処理負荷の高い精密な採点処理を行うことができる。また、新たな採点機能を追加する場合には、採点サーバ装置２０だけに新たな採点機能を追加すればよいため、新たな採点機能を追加する作業を容易に行うことができる。
【００２４】
［変形例］
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の各変形例を適宜組み合わせてもよい。
（変形例１）
上述した実施形態では、歌唱データの時間軸を模範歌唱データの各フレーズ区間に対応する複数の採点区間に分割していたが、採点区間の分割に用いられる区間はフレーズ区間に限らない。例えば、歌唱データの時間軸を、歌唱データに含まれる各メロディーの時間軸上の区間に対応する複数の採点区間に分割してもよい。あるいは、歌唱データの時間軸を、歌唱データにおいて息継ぎが行われない区間に対応する複数の採点区間に分割してもよい。この息継ぎが行われない区間は、例えば歌唱データを解析して息継ぎが行われたタイミングを検出し、検出した息継ぎのタイミングに基づいて特定すればよい。あるいは、歌唱データにおいて息継ぎが行われる時間軸上の位置が予め決められている場合には、その息継ぎのタイミングに基づいて特定してもよい。
また、カラオケ装置１０が採点区間を指定してもよい。この場合、カラオケ装置１０のＣＰＵ１１は、上述した楽曲ＩＤ及び装置ＩＤとともに、採点区間を表す採点区間情報を採点サーバ装置２０に送信する。そして、採点サーバ装置２０の処理部２５は、カラオケ装置１０から送信された採点区間情報が表す採点区間に基づいて歌唱データの時間軸を分割する。
【００２５】
（変形例２）
上述した実施形態において、例えば歌唱の対象となる楽曲が１番と２番とで構成されている場合には、１番の歌唱が終了した時点で、１番の歌唱全体の採点処理を行うようにしてもよい。この場合、歌唱データには、楽曲の１番と２番との時間軸上の区切り位置を表す区切データが付加されている。採点サーバ装置２０の処理部２５は、この区切データを含む採点区間の採点処理を終了すると、歌唱データの時間軸において、歌唱が開始される位置から１番の歌唱が終了する位置までの区間を採点区間として設定し、設定した採点区間について上述と同様の採点処理を行う。
また、利用者の歌唱が終了した時点で、歌唱全体の採点処理を行うようにしてもよい。この場合、処理部２５は、歌唱データの終端を含む採点区間の採点処理を終了すると、歌唱データの時間軸において、歌唱が開始される位置から終了する位置までの区間を採点区間として設定し、設定した採点区間について上述と同様の採点処理を行う。
【００２６】
さらに、歌唱全体の採点処理を行う場合には、採点処理の内容を変えてもよい。例えば、各評価区間の採点処理では、歌唱データと模範歌唱データとの類似度を表す点数だけを算出し、歌唱の全体を対象とする採点処理では、歌唱データと模範歌唱データとの類似度を表す点数に加えて、「こぶし」や「しゃくり」といった歌唱の技法が用いられた回数を算出してもよい。さらに、類似度に応じた採点に加え、「ビブラート」，「走り」，「タメ」，「抑揚」，「演奏時間」，「低音・高音の明瞭さ」，「デュエットにおける一致度」などを加味し、加点してもよい。また、歌唱の全体を対象とする採点処理では、適切なタイミングで適切な歌唱の技法を用いているか否かに基づいて、上述した点数を算出してもよい。
【００２７】
（変形例３）
上述した実施形態では、歌唱データがそのまま採点サーバ装置２０に送信されていたが、歌唱データに代えて歌唱データの特徴量だけが採点サーバ装置２０に送信されてもよい。この特徴量としては、例えば歌唱データの周波数特性、音程又はリズムなどが用いられる。この場合、カラオケ装置１０のＣＰＵ１１は、収音部１７によって生成された歌唱データから特徴量を抽出し、抽出した特徴量を通信部１３によって採点サーバ装置２０に送信する。そして、採点サーバ装置２０のＣＰＵ２１及び処理部２５は、カラオケ装置１０から送信されてきた特徴量を用いて、上述と同様の処理を行う。
【００２８】
また、利用者の歌唱の途中では、歌唱データの特徴量に基づいて採点処理を行い、利用者の歌唱が終了すると、歌唱データに基づいて歌唱全体を対象とする採点処理を行ってもよい。この場合、カラオケ装置１０のＣＰＵ１１は、利用者の歌唱が終了するまでは、歌唱データから特徴量を抽出し、抽出した特徴量を採点サーバ装置２０に送信する。そして、採点サーバ装置２０の処理部２５は、カラオケ装置１０から送信されてきた歌唱データの特徴量を用いて、上述と同様の処理を行う。このように、歌唱データの特徴量だけを用いて採点処理を行う場合には、採点処理の負荷が小さくなるため、採点処理にかかる時間が短くなる。よって、採点結果データを迅速にカラオケ装置１０に送信することができる。一方、利用者の歌唱が終了すると、カラオケ装置１０のＣＰＵ１１は、歌唱データそのものを採点サーバ装置２０に送信する。カラオケ装置１０から歌唱データが送信されてくると、採点サーバ装置２０の処理部２５は、この歌唱データの時間軸上の全ての区間を採点区間として設定し、設定した採点区間について上述と同様の採点処理を行う。このように、歌唱データそのものを用いて採点処理を行う場合には、採点処理において詳細な評価を行うことができる。よって、利用者は、詳細な採点結果を知ることができる。
【００２９】
また、カラオケ装置１０のＣＰＵ１１は、ネットワークＮの状態を検出し、ネットワークＮの可用帯域が狭い状態である場合には、歌唱データに代えて歌唱データの特徴量を送信してもよい。この場合、採点サーバ装置２０のＣＰＵ２１及び処理部２５は、カラオケ装置１０から送信されてきた歌唱データの特徴量を用いて、上述と同様の処理を行う。
また、採点サーバ装置２０の処理部２５は、複数のカラオケ装置１０との間で通信が確立された場合には、メモリ２２に記憶されている歌唱データから特徴量を抽出し、抽出した特徴量を用いて上述と同様の処理を行ってもよい。これは、複数のカラオケ装置１０との間で通信が確立された場合には、各々のカラオケ装置１０から送信されてくる歌唱データについて採点処理を行うことになるため、処理部２５の処理負荷を低く抑える必要があるためである。
【００３０】
（変形例４）
上述した実施形態において、採点サーバ装置２０のＣＰＵ２１は、歌唱を行った利用者に対して課金を行ってもよい。この場合、利用者は、操作部１５を操作して、自分のユーザＩＤを入力する。ＣＰＵ１１は、この操作に応じて、入力されたユーザＩＤを通信部１３によって採点サーバ装置２０に送信する。そして、採点サーバ装置２０のＣＰＵ２１は、上述した採点処理の計算量に応じた金額を算出し、カラオケ装置１０から送信されてきたユーザＩＤが表す利用者に対して、算出した金額が課金されるように課金処理を行う。あるいは、ＣＰＵ２１は、利用者に対して予め決められた金額が課金されるように課金処理を行ってもよい。
【００３１】
（変形例５）
上述した実施形態では、採点サーバ装置２０に接続される装置がカラオケ装置１０だけであったが、採点サーバ装置２０に接続される装置はカラオケ装置１０に限らない。例えば、携帯電話機や携帯ゲーム機が採点サーバ装置２０に接続されてもよい。この場合、これらの機器は、上述したカラオケ装置１０と同様に、カラオケ再生処理を行いながら、利用者の歌唱を表す歌唱データを採点サーバ装置２０に送信し、採点サーバ装置２０から送信されてきた採点結果データが表す採点結果を表示する。つまり、携帯電話機や携帯ゲーム機はいずれも、本発明に係る通信装置として機能する。
【００３２】
また、採点サーバ装置２０は、歌唱データの送信元の種別に応じて、採点処理の内容を変えてもよい。この種別とは、例えばカラオケ装置、ゲーム機、携帯電話機などのように、予め決められた装置の分類であってもよいし、本格的な歌唱音声の評価を得たいときに用いられる装置、簡易な歌唱音声の評価を得たいときに用いられる装置など、使用目的に応じた種別であってもよい。あるいは、装置の処理能力に応じた種別であってもよい。この場合、採点サーバ装置２０の記憶部２４には、装置の種別と採点処理のアルゴリズムとが対応付けて記憶される。そして、採点サーバ装置２０のＣＰＵ２１は、歌唱データの送信元からその種別を取得し、取得した種別と対応付けて記憶された採点処理のアルゴリズムを特定する。そして、処理部２５は、特定されたアルゴリズムを用いて上述した採点処理を行う。
【００３３】
ここでは、記憶部２４において、「カラオケ装置」という種別と、「詳細な評価を行う採点処理のアルゴリズム」とが対応付けて記憶されており、「携帯電話機」という種別と、「簡易な評価を行う採点処理のアルゴリズム」とが対応付けて記憶されている場合を想定する。この場合、例えば、カラオケ装置１０から歌唱データと「カラオケ装置」という種別とが送信されてくると、採点サーバ装置２０の処理部２５は、記憶部２４において「カラオケ装置」という種別に対応付けられた「詳細な評価を行う採点処理のアルゴリズム」を用いて採点処理を行う。一方、携帯電話機から歌唱データと「携帯電話機」という種別とが送信されてくると、処理部２５は、記憶部２４において「携帯電話機」という種別に対応付けられた「簡易な評価を行う採点処理のアルゴリズム」を用いて採点処理を行う。つまり、処理部２５は、予め決められた種別の通信装置から音声データを取得した場合には、予め決められた種別とは異なる種別の通信装置から音声データを取得した場合よりも簡易な評価を行う。この簡易な評価とは、採点処理における処理ステップ数が少ない、又は同一の歌唱音声を評価するときの処理時間が少ないことをいう。具体的には、評価項目を少なくする、処理負荷の大きい処理を省くなどによって実現される。なお、ここでは、採点処理のアルゴリズムが２つ設けられて場合を例に挙げて説明したが、評価の簡易度に応じた採点処理のアルゴリズムが３つ以上設けられていてもよい。
【００３４】
（変形例６）
上述した実施形態では、歌唱データと模範歌唱データとの類似度に応じた点数が採点結果として用いられていたが、採点結果として用いられる情報はこれに限らない。例えば、歌唱データと模範歌唱データとの類似度に応じた点数を算出した後に、利用者の歌唱音声において点数の低下する要因を特定し、算出した点数に加えて、点数を高めるためのアドバイスを採点結果として用いてもよい。
【００３５】
（変形例７）
上述した実施形態では、カラオケ装置１０と採点サーバ装置２０とが別体の装置である構成を例に挙げて説明したが、カラオケ装置１０が採点サーバ装置２０の機能を有していてもよい。この場合には、例えばカラオケ装置１０の間で相互に情報を交換しながら、カラオケ再生処理を行っていないカラオケ装置１０又はカラオケ再生処理を行っているが処理の負荷が低いカラオケ装置１０を決定し、そのカラオケ装置１０が採点サーバ装置２０として機能する。あるいは、カラオケ装置１０に管理装置が接続されている場合には、管理装置がカラオケ再生処理を行っていないカラオケ装置１０又はカラオケ再生処理を行っているが処理の負荷が低いカラオケ装置１０を検出し、検出したカラオケ装置１０を採点サーバ装置２０として動作させてもよい。
【００３６】
（変形例８）
上述した実施形態では、採点サーバ装置２０が歌唱の巧拙を採点する例を挙げて説明したが、採点サーバ装置２０が採点する対象は歌唱に限らない。例えば、採点サーバ装置２０が、利用者の英会話の巧拙を採点してもよい。ここでは、利用者が携帯電話機やコンピュータ装置などの端末装置に向けて英会話を行い、この端末装置が利用者の英会話を表す音声データを採点サーバ装置２０に送信する場合を想定する。この端末装置は、上述したカラオケ装置１０と同様に、収音部１７と放音部１９とを備えており、ネットワークＮを介して採点サーバ装置２０に接続されている。この場合、採点サーバ装置２０の記憶部２４には、模範となる英会話を表す模範音声データが予め記憶されている。そして、処理部２５は、端末装置から送信されてきた音声データと記憶部２４に記憶されている模範音声データとに基づいて、上述と同様に、利用者の英会話の巧拙を表す採点処理を行う。
【００３７】
（変形例９）
上述した実施形態において、採点サーバ装置２０の記憶部２４に記憶されている模範音声データＤｒは、模範となる歌唱音声そのものを表すものであってもよいし、模範となる音声の音符、周波数、リズムなどを表すパラメータであってもよい。要するに、記憶部２４には、模範となる歌唱音声を表す模範音声データが記憶されていればよい。つまり、本発明でいう「音声データ」とは、音声そのものを表すデータに限らず、音声の特徴を表すパラメータであってもよい。
【００３８】
（変形例１０）
上述した実施形態において、ＣＰＵ２１にて行われる処理が処理部２５にて行われてもよい。また、処理部２５にて行われる処理がＣＰＵ２１にて行われてもよい。さらに、ＣＰＵ２１又は処理部２５にて行なわれる処理は、単一又は複数のハードウェア資源によって実現されてもよいし、ＣＰＵ２１が１又は複数のプログラムを実行することにより実現されてもよい。また、このプログラムは、磁気テープや磁気ディスクなどの磁気記録媒体、光ディスクなどの光記録媒体、光磁気記録媒体、半導体メモリなどの、コンピュータ装置が読み取り可能な記録媒体に記憶された状態で提供し得る。また、プログラムを、インターネットなどのネットワーク経由でダウンロードさせることも可能である。
【符号の説明】
【００３９】
１…採点システム、１０…カラオケ装置、１１…ＣＰＵ、１２…メモリ、１３…通信部、１４…記憶部、１５…操作部、１６…表示部、１７…収音部、１８…音源部、１９…放音部、２０…採点サーバ装置、２１…ＣＰＵ、２２…メモリ、２３…通信部、２４…記憶部、２５…処理部。
【技術分野】
【０００１】
本発明は、歌唱を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置を用いて行われた利用者の歌唱の巧拙を採点する技術が知られている。例えば、特許文献１〜３には、カラオケ演奏を再生するカラオケ装置において、利用者の歌唱の採点を行う技術が開示されている。また、特許文献４，５には、教師がコンピュータ装置を用いて遠隔にいる生徒の歌声を再生し、生徒の歌声の添削を行い、その添削結果を生徒に送信する技術が開示されている。また、特許文献６には、通信カラオケシステムのサーバが、歌唱者の使用する通信端末にカラオケデータを配信するとともに通信端末から歌唱者の歌唱音声信号を受信し、カラオケデータの配信が終了した時に、受信した歌唱音声信号に基づいて歌唱者の歌唱力を判定し、その判定結果を通信端末に送信する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２１６１６８号公報
【特許文献２】特開２００７−１２１５５０号公報
【特許文献３】特開平１０−２２２１８２号公報
【特許文献４】特許第４０８７０８７号公報
【特許文献５】特開２００３−１５６７３号公報
【特許文献６】特開２００７−１７８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した特許文献１〜３のように、各々のカラオケ装置に利用者の歌唱を採点する採点機能を設けると、カラオケ装置のコストが高くなってしまう。また、カラオケ装置では、カラオケ演奏の再生などの処理も行わなくてはならないため、処理負荷の高い精密な採点処理を行うことができない。さらに、新たな採点機能を追加する場合には、カラオケ装置の１つひとつに新たな採点機能を追加しなくてはならないため、その作業に時間と手間がかかってしまう。
本発明は、カラオケ演奏の再生などの処理を行う通信装置以外の装置において、利用者の歌唱音声を評価区間毎に評価し、その評価結果を逐次出力することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、模範となる歌唱音声を表す模範音声データを記憶する第１の記憶手段と、利用者の歌唱音声を表す音声データをストリーミング方式で通信装置から取得する取得手段と、前記取得手段によって取得された音声データを記憶する第２の記憶手段と、前記第２の記憶手段に記憶されている前記音声データの時間軸を、歌唱音声の評価の対象となる複数の評価区間に分割する分割手段と、前記分割手段によって分割された各々の評価区間を時間軸上の位置に応じた順番で選択し、選択された当該評価区間に含まれる音声データを、前記第１の記憶手段に記憶されている当該評価区間に対応する区間に含まれる模範音声データと比較することにより、当該選択された評価区間における前記利用者の歌唱音声を評価し、評価結果を生成する評価手段と、前記評価手段によって各評価区間における評価結果が生成される度に、生成された当該評価結果を前記通信装置に送信する送信手段とを備えることを特徴とする評価装置を提供する。
【０００６】
本発明の好ましい態様において、前記模範音声データには、前記模範となる歌唱音声に含まれる各フレーズの時間軸上の区切り位置を示す区切データが付加されており、前記分割手段は、前記第２の記憶手段に記憶されている音声データの時間軸を、前記第１の記憶手段に記憶されている模範音声データにおいて前記区切データによって区切られた各フレーズ区間に対応する複数の評価区間に分割してもよい。
【０００７】
本発明の好ましい態様において、前記通信装置は種別の異なるものが複数あり、前記評価手段は、前記取得手段が予め決められた種別の通信装置から前記音声データを取得した場合には、当該予め決められた種別とは異なる種別の通信装置から前記音声データを取得した場合よりも簡易な内容で前記評価を行ってもよい。
【発明の効果】
【０００８】
本発明によれば、カラオケ演奏の再生などの処理を行う通信装置以外の装置において、利用者の歌唱音声を評価区間毎に評価し、その評価結果を逐次出力することができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る採点システムの構成を示すブロック図である。
【図２】前記採点システムのカラオケ装置の構成を示すブロック図である。
【図３】前記採点システムの採点サーバ装置の構成を示すブロック図である。
【図４】前記採点システムの動作を示すシーケンス図である。
【図５】前記採点システムが用いる歌唱データ及び模範歌唱データの一例を示す図である。
【発明を実施するための形態】
【００１０】
［構成］
図１は、本実施形態に係る採点システム１の構成を示すブロック図である。同図に示すように、採点システム１は、複数のカラオケ装置１０と、採点サーバ装置２０とを備えている。採点サーバ装置２０とカラオケ装置１０とは、インターネットなどのネットワークＮを介して接続されている。このカラオケ装置１０は、本発明に係る通信装置として機能する。また、採点サーバ装置２０は、本発明に係る評価装置として機能する。
【００１１】
（カラオケ装置）
次に、カラオケ装置１０の構成について説明する。このカラオケ装置１０は、例えばカラオケ店などに設置されている。図２は、カラオケ装置１０の構成を示すブロック図である。同図に示すように、カラオケ装置１０は、ＣＰＵ(Central Processing Unit)１１と、メモリ１２と、通信部１３と、記憶部１４と、操作部１５と、表示部１６と、収音部１７と、音源部１８と、放音部１９とを備えている。ＣＰＵ１１は、メモリ１２に記憶されているプログラムを実行することにより、カラオケ装置１０の各部を制御する。メモリ１２は、例えばＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）とを備えており、ＣＰＵ１１によって用いられるプログラムやデータを記憶する。通信部１３は、ネットワークＮを介して接続された採点サーバ装置２０と通信を行う。記憶部１４は、例えばハードディスクを備えており、各々のカラオケ装置１０を識別するために用いられる装置ＩＤと、利用者が歌唱を行うときに用いられる複数のカラオケデータＤｋとを記憶している。このカラオケデータＤｋには、演奏データと歌詞データとが含まれている。演奏データは、楽曲の演奏音を表すデータである。この演奏音には歌声は含まれていない。歌詞データは、楽曲の歌詞を示すデータである。操作部１５は、例えば複数の操作ボタンを備えており、利用者の操作に応じた操作信号をＣＰＵ１１に入力する。表示部１６は、例えば液晶ディスプレイを備えており、ＣＰＵ１１の制御に応じた画像を表示する。収音部１７は、例えばマイクロホンとＡ／Ｄ変換部とを備えており、収集した音声に応じたアナログ信号を生成し、生成したアナログ信号をＡ／Ｄ変換によりデジタルデータに変換して出力する。音源部１８は、記憶部１４に記憶されている演奏データに応じた音声信号を生成して放音部１９に供給する。放音部１９は、例えばスピーカー、Ｄ／Ａ変換部及びアンプを備えており、音源部１８から供給された音声信号をＤ／Ａ変換によりアナログ信号に変換し、変換したアナログ信号を増幅して音声として放出する。
【００１２】
（採点サーバ装置）
次に、採点サーバ装置２０の構成について説明する。この採点サーバ装置２０は、カラオケ装置１０と同じカラオケ店に設置されていてもよいし、カラオケ店とは異なる場所に設置されていてもよい。図３は、採点サーバ装置２０の構成を示すブロック図である。同図に示すように、採点サーバ装置２０は、ＣＰＵ２１と、メモリ２２と、通信部２３と、記憶部２４と、処理部２５とを備えている。ＣＰＵ２１は、メモリ２２に記憶されているプログラムを実行することにより、採点サーバ装置２０の各部を制御する。メモリ２２は、例えばＲＯＭとＲＡＭとを備えており、ＣＰＵ２１によって用いられるプログラムやデータを記憶する。通信部２３は、ネットワークＮを介して接続された各カラオケ装置１０と通信を行う。記憶部２４は、例えばハードディスクを備えており、模範となる歌唱音声を表す複数の模範歌唱データＤｒを記憶している。つまり、この記憶部２４は、模範となる歌唱音声を表す模範音声データ（模範歌唱データ）を記憶する第１の記憶手段として機能する。この模範歌唱データＤｒには、模範となる歌唱音声に含まれる各フレーズの時間軸上の区切り位置を示す区切データｋが付加されている。処理部２５は、例えばＤＳＰ（Digital Signal Processor）であり、カラオケ装置１０から送信されてくる歌唱データＤｘと、記憶部２４に記憶されている模範歌唱データＤｒとを比較して、利用者の歌唱の巧拙を評価する採点処理を行う。
【００１３】
［動作］
次に、本実施形態に係る採点システム１の動作について説明する。図４は、採点システム１の動作を示すシーケンス図である。まず、利用者は、カラオケ装置１０の操作部１５を操作して、歌唱したい楽曲の楽曲ＩＤを入力し、演奏開始を指示する。この楽曲ＩＤとしては、例えば楽曲の名前や楽曲に割り当てられた番号などが用いられる。ＣＰＵ１１は、この操作に応じて、通信部１３によって採点サーバ装置２０との通信を確立させた後（ステップＳ１１）、利用者によって入力された楽曲ＩＤと記憶部１４に記憶されている装置ＩＤとを採点サーバ装置２０に送信する（ステップＳ１２）。このとき、通信部１３は、公開されているＡＰＩ（Application Programming Interface）を用いて、採点サーバ装置２０と通信を行う。カラオケ装置１０から楽曲ＩＤ及び装置ＩＤが送信されてくると、採点サーバ装置２０のＣＰＵ２１は、この楽曲ＩＤ及び装置ＩＤを通信部２３によって受信する（ステップＳ１３）。
【００１４】
また、カラオケ装置１０のＣＰＵ１１は、入力された楽曲ＩＤの楽曲のカラオケデータＤｋを記憶部１４から順次読み出し、カラオケ再生処理を行う（ステップＳ１４）。具体的には、ＣＰＵ１１は、記憶部１４から読み出したカラオケデータＤｋに含まれる演奏データを音源部１８に供給する。音源部１８は、ＣＰＵ１１によって供給された演奏データに応じた音声信号を生成し、生成した音声信号を放音部１９に供給して、その音声信号に応じた音声を放出させる。これにより、利用者によって指定された楽曲の演奏が開始される。また、ＣＰＵ１１は、楽曲の演奏と同期するように、記憶部１４から読み出したカラオケデータＤｋに含まれる歌詞データを表示部１６に供給する。これにより、利用者によって指定された楽曲の歌詞が表示される。
【００１５】
利用者は、楽曲の演奏に合わせて収音部１７に向かって歌唱する。このとき、収音部１７は、利用者の歌唱音声を収集し、収集した歌唱音声を表す歌唱データＤｘを生成する。ＣＰＵ１１は、収音部１７によって生成された歌唱データＤｘを順次放音部１９に供給し、その歌唱データＤｘに応じた歌唱音声を楽曲の演奏とともに放出させる。また、ＣＰＵ１１は、収音部１７によって生成された歌唱データＤｘを順次通信部１３に供給する。通信部１３は、ＣＰＵ１１によって供給された歌唱データＤｘをストリーミング方式で採点サーバ装置２０に送信する（ステップＳ１５）。ストリーミング方式のデータ送信では、データが或るＰＤＵ（Protocol Data Unit）単位（例えば、パケット単位）で分割されて送信される。そのため、データの受信側では、データ全体を受信し終わるのを待つことなく、データをＰＤＵ単位で受信して処理を行うことができる。
【００１６】
カラオケ装置１０から歌唱データＤｘが送信されてくると、採点サーバ装置２０のＣＰＵ２１は、この歌唱データＤｘを通信部２３によって受信し（ステップＳ１６）、受信した歌唱データをメモリ２２に記憶させる。つまり、ＣＰＵ２１は、利用者の歌唱音声を表す音声データ（歌唱データ）をストリーミング方式でカラオケ装置１０から取得する取得手段として機能する。また、メモリ２２は、ＣＰＵ２１によって取得された音声データを記憶する第２の記憶手段として機能する。上述したように、この歌唱データＤｘはＰＤＵ単位で送信されてくる。よって、メモリ２２には、ＰＤＵ単位で送信されてきた歌唱データが順次記憶されていくことになる。
【００１７】
続いて、処理部２５は、メモリ２２に記憶されている歌唱データＤｘの時間軸を、採点処理の対象となる複数の採点区間に分割する（ステップＳ１７）。この採点区間は、利用者の歌唱音声の評価の対象となる評価区間として用いられる。つまり、処理部２５は、メモリ２２に記憶されている音声データの時間軸を、歌唱音声の評価の対象となる複数の評価区間に分割する分割手段として機能する。図５を参照して具体的に説明すると、処理部２５は、まず記憶部２４に記憶されている模範歌唱データＤｒにおいて、区切データｋによって区切られたフレーズ区間ｆ１，ｆ２，ｆ３，ｆ４・・・を特定する。続いて、処理部２５は、メモリ２２に記憶されている歌唱データＤｘの時間軸を、特定した各フレーズ区間に対応する採点区間に分割する。この例では、歌唱データＤｘの時間軸が、フレーズ区間ｆ１に対応する採点区間ｈ１，フレーズ区間ｆ２に対応する採点区間ｈ２，フレーズ区間ｆ３に対応する採点区間ｈ３，フレーズ区間ｆ４に対応する採点区間ｈ４・・・に分割される。つまり、処理部２５は、メモリ２２に記憶されている音声データの時間軸を、記憶部２４に記憶されている模範音声データにおいて区切データによって区切られた各フレーズ区間に対応する複数の評価区間に分割する。
【００１８】
続いて、処理部２５は、分割した採点区間の中から今回の採点処理の対象となる採点区間を選択する（ステップＳ１８）。この例では、いずれの採点区間についても採点処理が行われていないため、時間軸において先頭の採点区間ｈ１が選択される。続いて、処理部２５は、選択した採点区間に含まれる歌唱データＤｘと記憶部２４に記憶されている模範歌唱データＤｒとに基づいて、採点処理を行う（ステップＳ１９）。具体的には、処理部２５は、選択した採点区間に含まれる歌唱データＤｘと、その採点区間に対応するフレーズ区間に含まれる模範歌唱データＤｒとを比較して、それらの類似度に応じた点数を算出する。続いて、処理部２５は、算出した点数を採点結果とし、その採点結果を表す採点結果データを生成する。つまり、処理部２５は、分割された複数の評価区間の中から選択された評価区間に含まれる音声データを、記憶部２４に記憶されているその評価区間に対応する区間に含まれる模範音声データと比較することにより、選択された評価区間における利用者の歌唱音声を評価し、評価結果を生成する評価手段として機能する。この例では、図５中の採点区間ｈ１に含まれる歌唱データＤｘとフレーズ区間ｆ１に含まれる模範歌唱データＤｒとの類似度に応じた点数が算出され、算出された点数が採点区間ｈ１の採点結果として用いられて、採点区間ｈ１の採点結果を表す採点結果データが生成される。
【００１９】
採点結果データが生成されると、ＣＰＵ２１は、この採点結果データを上述したステップＳ１６にて受信された装置ＩＤのカラオケ装置１０に通信部２３によって送信する（ステップＳ２０）。この例では、図５中の採点区間ｈ１の採点結果を表す採点結果データがカラオケ装置１０に送信される。続いて、処理部２５は、上述したステップＳ１８にて選択された採点区間が時間軸における最後の採点区間であるか否かを判定する（ステップＳ２１）。この例では、図５に示すように、採点区間ｈ１は時間軸における最後の採点区間ではないため、処理部２５は、選択した採点区間が最後の採点区間ではないと判定する（ステップＳ２１：ＮＯ）。この場合、処理部２５は、上述したステップＳ１８に戻り、次の採点処理の対象となる採点区間を選択する。具体的には、処理部２５は、上述にて採点区間ｈ１の採点処理が行われているため、時間軸において採点区間ｈ１の次の採点区間ｈ２を選択する。つまり、処理部２５は、分割された各々の評価区間を時間軸上の位置に応じた順番で選択する。続いて、処理部２５は、上述と同様に、ステップＳ１９において採点区間ｈ２についての採点処理を行う。そして、ＣＰＵ２１は、ステップＳ２０において採点区間ｈ２の採点結果を表す採点結果データをカラオケ装置１０に送信する。つまり、ＣＰＵ２１は、処理部２５によって各評価区間における評価結果が生成される度に、生成された評価結果をカラオケ装置１０に送信する送信手段として機能する。このようにして、処理部２５とＣＰＵ２１とは、ステップＳ２１において、選択された採点区間が時間軸における最後の採点区間であると判定されるまで、上述したステップＳ１８〜ステップＳ２１の処理を繰り返す。
【００２０】
一方、カラオケ装置１０のＣＰＵ１１は、上述したステップＳ１４及びＳ１５の処理を行いながら、採点サーバ装置２０から採点結果データが送信されてくるまで待機する。そして、採点サーバ装置１０から採点結果データが送信されてくると、ＣＰＵ１１は、通信部１３によってこの採点結果データを受信する（ステップＳ２２）。続いて、ＣＰＵ１１は、受信した採点結果データが表す採点結果を表示部１６に表示させる（ステップＳ２３）。例えば、上述したように、図５中の採点区間ｈ１の採点結果を表す採点結果データが採点サーバ装置２０から送信されてきた場合には、採点区間ｈ１の採点結果が表示される。なお、このステップＳ２２〜Ｓ２３が行われている間も上述したカラオケ再生処理が継続しているため、表示部１６には楽曲の歌詞が表示されている。従って、ＣＰＵ１１は、上述したステップＳ２３にて採点結果を表示させるときには、楽曲の歌詞の表示をいったん中断して採点結果を表示させるか、あるいは楽曲の歌詞と採点結果とを合成したものを表示させる。
【００２１】
続いて、ＣＰＵ１１は、上述したステップＳ１４のカラオケ再生処理の状況に基づいて、利用者の歌唱が終了したか否かを判定する（ステップＳ２４）。例えば、カラオケ再生処理が終了していない場合、ＣＰＵ１１は、利用者の歌唱が終了していないと判定する（ステップＳ２４：ＮＯ）。この場合、ＣＰＵ１１は、上述したステップＳ２２に戻り、新たな採点結果データが送信されてくるまで待機する。そして、採点サーバ装置２０から新たな採点結果データが送信されてくると、ＣＰＵ１１は、上述と同様に、ステップＳ２１にてその採点結果データを通信部１３によって受信し、ステップＳ２３にてその採点結果データが表す採点結果を表示部１６に表示させる。これにより、表示部１６には、図５中の各採点区間の採点結果が順次表示されていく。
【００２２】
一方、上述したステップＳ１４において、利用者によって指定された楽曲のカラオケデータＤｋが時間軸における最後の位置まで読み出されて処理されると、カラオケ再生処理が終了する。この場合、ＣＰＵ１１は、利用者の歌唱が終了したと判定し（ステップＳ２４：ＹＥＳ）、通信部１３によって採点サーバ装置２０との間の通信を切断した後（ステップＳ２５）、この処理を終了する。
【００２３】
以上説明した実施形態によれば、カラオケ演奏の再生処理を行うカラオケ装置１０とは異なる採点サーバ装置２０において、利用者の歌唱音声を評価区間毎に評価し、その評価結果を逐次出力することができる。また、各々のカラオケ装置１０に利用者の歌唱を採点する採点機能を設ける必要がないため、カラオケ装置１０のコストを安くすることができる。さらに、採点サーバ装置２０側では、カラオケ演奏の再生処理は行われないため、処理負荷の高い精密な採点処理を行うことができる。また、新たな採点機能を追加する場合には、採点サーバ装置２０だけに新たな採点機能を追加すればよいため、新たな採点機能を追加する作業を容易に行うことができる。
【００２４】
［変形例］
以上が実施形態の説明であるが、この実施形態の内容は以下のように変形し得る。また、以下の各変形例を適宜組み合わせてもよい。
（変形例１）
上述した実施形態では、歌唱データの時間軸を模範歌唱データの各フレーズ区間に対応する複数の採点区間に分割していたが、採点区間の分割に用いられる区間はフレーズ区間に限らない。例えば、歌唱データの時間軸を、歌唱データに含まれる各メロディーの時間軸上の区間に対応する複数の採点区間に分割してもよい。あるいは、歌唱データの時間軸を、歌唱データにおいて息継ぎが行われない区間に対応する複数の採点区間に分割してもよい。この息継ぎが行われない区間は、例えば歌唱データを解析して息継ぎが行われたタイミングを検出し、検出した息継ぎのタイミングに基づいて特定すればよい。あるいは、歌唱データにおいて息継ぎが行われる時間軸上の位置が予め決められている場合には、その息継ぎのタイミングに基づいて特定してもよい。
また、カラオケ装置１０が採点区間を指定してもよい。この場合、カラオケ装置１０のＣＰＵ１１は、上述した楽曲ＩＤ及び装置ＩＤとともに、採点区間を表す採点区間情報を採点サーバ装置２０に送信する。そして、採点サーバ装置２０の処理部２５は、カラオケ装置１０から送信された採点区間情報が表す採点区間に基づいて歌唱データの時間軸を分割する。
【００２５】
（変形例２）
上述した実施形態において、例えば歌唱の対象となる楽曲が１番と２番とで構成されている場合には、１番の歌唱が終了した時点で、１番の歌唱全体の採点処理を行うようにしてもよい。この場合、歌唱データには、楽曲の１番と２番との時間軸上の区切り位置を表す区切データが付加されている。採点サーバ装置２０の処理部２５は、この区切データを含む採点区間の採点処理を終了すると、歌唱データの時間軸において、歌唱が開始される位置から１番の歌唱が終了する位置までの区間を採点区間として設定し、設定した採点区間について上述と同様の採点処理を行う。
また、利用者の歌唱が終了した時点で、歌唱全体の採点処理を行うようにしてもよい。この場合、処理部２５は、歌唱データの終端を含む採点区間の採点処理を終了すると、歌唱データの時間軸において、歌唱が開始される位置から終了する位置までの区間を採点区間として設定し、設定した採点区間について上述と同様の採点処理を行う。
【００２６】
さらに、歌唱全体の採点処理を行う場合には、採点処理の内容を変えてもよい。例えば、各評価区間の採点処理では、歌唱データと模範歌唱データとの類似度を表す点数だけを算出し、歌唱の全体を対象とする採点処理では、歌唱データと模範歌唱データとの類似度を表す点数に加えて、「こぶし」や「しゃくり」といった歌唱の技法が用いられた回数を算出してもよい。さらに、類似度に応じた採点に加え、「ビブラート」，「走り」，「タメ」，「抑揚」，「演奏時間」，「低音・高音の明瞭さ」，「デュエットにおける一致度」などを加味し、加点してもよい。また、歌唱の全体を対象とする採点処理では、適切なタイミングで適切な歌唱の技法を用いているか否かに基づいて、上述した点数を算出してもよい。
【００２７】
（変形例３）
上述した実施形態では、歌唱データがそのまま採点サーバ装置２０に送信されていたが、歌唱データに代えて歌唱データの特徴量だけが採点サーバ装置２０に送信されてもよい。この特徴量としては、例えば歌唱データの周波数特性、音程又はリズムなどが用いられる。この場合、カラオケ装置１０のＣＰＵ１１は、収音部１７によって生成された歌唱データから特徴量を抽出し、抽出した特徴量を通信部１３によって採点サーバ装置２０に送信する。そして、採点サーバ装置２０のＣＰＵ２１及び処理部２５は、カラオケ装置１０から送信されてきた特徴量を用いて、上述と同様の処理を行う。
【００２８】
また、利用者の歌唱の途中では、歌唱データの特徴量に基づいて採点処理を行い、利用者の歌唱が終了すると、歌唱データに基づいて歌唱全体を対象とする採点処理を行ってもよい。この場合、カラオケ装置１０のＣＰＵ１１は、利用者の歌唱が終了するまでは、歌唱データから特徴量を抽出し、抽出した特徴量を採点サーバ装置２０に送信する。そして、採点サーバ装置２０の処理部２５は、カラオケ装置１０から送信されてきた歌唱データの特徴量を用いて、上述と同様の処理を行う。このように、歌唱データの特徴量だけを用いて採点処理を行う場合には、採点処理の負荷が小さくなるため、採点処理にかかる時間が短くなる。よって、採点結果データを迅速にカラオケ装置１０に送信することができる。一方、利用者の歌唱が終了すると、カラオケ装置１０のＣＰＵ１１は、歌唱データそのものを採点サーバ装置２０に送信する。カラオケ装置１０から歌唱データが送信されてくると、採点サーバ装置２０の処理部２５は、この歌唱データの時間軸上の全ての区間を採点区間として設定し、設定した採点区間について上述と同様の採点処理を行う。このように、歌唱データそのものを用いて採点処理を行う場合には、採点処理において詳細な評価を行うことができる。よって、利用者は、詳細な採点結果を知ることができる。
【００２９】
また、カラオケ装置１０のＣＰＵ１１は、ネットワークＮの状態を検出し、ネットワークＮの可用帯域が狭い状態である場合には、歌唱データに代えて歌唱データの特徴量を送信してもよい。この場合、採点サーバ装置２０のＣＰＵ２１及び処理部２５は、カラオケ装置１０から送信されてきた歌唱データの特徴量を用いて、上述と同様の処理を行う。
また、採点サーバ装置２０の処理部２５は、複数のカラオケ装置１０との間で通信が確立された場合には、メモリ２２に記憶されている歌唱データから特徴量を抽出し、抽出した特徴量を用いて上述と同様の処理を行ってもよい。これは、複数のカラオケ装置１０との間で通信が確立された場合には、各々のカラオケ装置１０から送信されてくる歌唱データについて採点処理を行うことになるため、処理部２５の処理負荷を低く抑える必要があるためである。
【００３０】
（変形例４）
上述した実施形態において、採点サーバ装置２０のＣＰＵ２１は、歌唱を行った利用者に対して課金を行ってもよい。この場合、利用者は、操作部１５を操作して、自分のユーザＩＤを入力する。ＣＰＵ１１は、この操作に応じて、入力されたユーザＩＤを通信部１３によって採点サーバ装置２０に送信する。そして、採点サーバ装置２０のＣＰＵ２１は、上述した採点処理の計算量に応じた金額を算出し、カラオケ装置１０から送信されてきたユーザＩＤが表す利用者に対して、算出した金額が課金されるように課金処理を行う。あるいは、ＣＰＵ２１は、利用者に対して予め決められた金額が課金されるように課金処理を行ってもよい。
【００３１】
（変形例５）
上述した実施形態では、採点サーバ装置２０に接続される装置がカラオケ装置１０だけであったが、採点サーバ装置２０に接続される装置はカラオケ装置１０に限らない。例えば、携帯電話機や携帯ゲーム機が採点サーバ装置２０に接続されてもよい。この場合、これらの機器は、上述したカラオケ装置１０と同様に、カラオケ再生処理を行いながら、利用者の歌唱を表す歌唱データを採点サーバ装置２０に送信し、採点サーバ装置２０から送信されてきた採点結果データが表す採点結果を表示する。つまり、携帯電話機や携帯ゲーム機はいずれも、本発明に係る通信装置として機能する。
【００３２】
また、採点サーバ装置２０は、歌唱データの送信元の種別に応じて、採点処理の内容を変えてもよい。この種別とは、例えばカラオケ装置、ゲーム機、携帯電話機などのように、予め決められた装置の分類であってもよいし、本格的な歌唱音声の評価を得たいときに用いられる装置、簡易な歌唱音声の評価を得たいときに用いられる装置など、使用目的に応じた種別であってもよい。あるいは、装置の処理能力に応じた種別であってもよい。この場合、採点サーバ装置２０の記憶部２４には、装置の種別と採点処理のアルゴリズムとが対応付けて記憶される。そして、採点サーバ装置２０のＣＰＵ２１は、歌唱データの送信元からその種別を取得し、取得した種別と対応付けて記憶された採点処理のアルゴリズムを特定する。そして、処理部２５は、特定されたアルゴリズムを用いて上述した採点処理を行う。
【００３３】
ここでは、記憶部２４において、「カラオケ装置」という種別と、「詳細な評価を行う採点処理のアルゴリズム」とが対応付けて記憶されており、「携帯電話機」という種別と、「簡易な評価を行う採点処理のアルゴリズム」とが対応付けて記憶されている場合を想定する。この場合、例えば、カラオケ装置１０から歌唱データと「カラオケ装置」という種別とが送信されてくると、採点サーバ装置２０の処理部２５は、記憶部２４において「カラオケ装置」という種別に対応付けられた「詳細な評価を行う採点処理のアルゴリズム」を用いて採点処理を行う。一方、携帯電話機から歌唱データと「携帯電話機」という種別とが送信されてくると、処理部２５は、記憶部２４において「携帯電話機」という種別に対応付けられた「簡易な評価を行う採点処理のアルゴリズム」を用いて採点処理を行う。つまり、処理部２５は、予め決められた種別の通信装置から音声データを取得した場合には、予め決められた種別とは異なる種別の通信装置から音声データを取得した場合よりも簡易な評価を行う。この簡易な評価とは、採点処理における処理ステップ数が少ない、又は同一の歌唱音声を評価するときの処理時間が少ないことをいう。具体的には、評価項目を少なくする、処理負荷の大きい処理を省くなどによって実現される。なお、ここでは、採点処理のアルゴリズムが２つ設けられて場合を例に挙げて説明したが、評価の簡易度に応じた採点処理のアルゴリズムが３つ以上設けられていてもよい。
【００３４】
（変形例６）
上述した実施形態では、歌唱データと模範歌唱データとの類似度に応じた点数が採点結果として用いられていたが、採点結果として用いられる情報はこれに限らない。例えば、歌唱データと模範歌唱データとの類似度に応じた点数を算出した後に、利用者の歌唱音声において点数の低下する要因を特定し、算出した点数に加えて、点数を高めるためのアドバイスを採点結果として用いてもよい。
【００３５】
（変形例７）
上述した実施形態では、カラオケ装置１０と採点サーバ装置２０とが別体の装置である構成を例に挙げて説明したが、カラオケ装置１０が採点サーバ装置２０の機能を有していてもよい。この場合には、例えばカラオケ装置１０の間で相互に情報を交換しながら、カラオケ再生処理を行っていないカラオケ装置１０又はカラオケ再生処理を行っているが処理の負荷が低いカラオケ装置１０を決定し、そのカラオケ装置１０が採点サーバ装置２０として機能する。あるいは、カラオケ装置１０に管理装置が接続されている場合には、管理装置がカラオケ再生処理を行っていないカラオケ装置１０又はカラオケ再生処理を行っているが処理の負荷が低いカラオケ装置１０を検出し、検出したカラオケ装置１０を採点サーバ装置２０として動作させてもよい。
【００３６】
（変形例８）
上述した実施形態では、採点サーバ装置２０が歌唱の巧拙を採点する例を挙げて説明したが、採点サーバ装置２０が採点する対象は歌唱に限らない。例えば、採点サーバ装置２０が、利用者の英会話の巧拙を採点してもよい。ここでは、利用者が携帯電話機やコンピュータ装置などの端末装置に向けて英会話を行い、この端末装置が利用者の英会話を表す音声データを採点サーバ装置２０に送信する場合を想定する。この端末装置は、上述したカラオケ装置１０と同様に、収音部１７と放音部１９とを備えており、ネットワークＮを介して採点サーバ装置２０に接続されている。この場合、採点サーバ装置２０の記憶部２４には、模範となる英会話を表す模範音声データが予め記憶されている。そして、処理部２５は、端末装置から送信されてきた音声データと記憶部２４に記憶されている模範音声データとに基づいて、上述と同様に、利用者の英会話の巧拙を表す採点処理を行う。
【００３７】
（変形例９）
上述した実施形態において、採点サーバ装置２０の記憶部２４に記憶されている模範音声データＤｒは、模範となる歌唱音声そのものを表すものであってもよいし、模範となる音声の音符、周波数、リズムなどを表すパラメータであってもよい。要するに、記憶部２４には、模範となる歌唱音声を表す模範音声データが記憶されていればよい。つまり、本発明でいう「音声データ」とは、音声そのものを表すデータに限らず、音声の特徴を表すパラメータであってもよい。
【００３８】
（変形例１０）
上述した実施形態において、ＣＰＵ２１にて行われる処理が処理部２５にて行われてもよい。また、処理部２５にて行われる処理がＣＰＵ２１にて行われてもよい。さらに、ＣＰＵ２１又は処理部２５にて行なわれる処理は、単一又は複数のハードウェア資源によって実現されてもよいし、ＣＰＵ２１が１又は複数のプログラムを実行することにより実現されてもよい。また、このプログラムは、磁気テープや磁気ディスクなどの磁気記録媒体、光ディスクなどの光記録媒体、光磁気記録媒体、半導体メモリなどの、コンピュータ装置が読み取り可能な記録媒体に記憶された状態で提供し得る。また、プログラムを、インターネットなどのネットワーク経由でダウンロードさせることも可能である。
【符号の説明】
【００３９】
１…採点システム、１０…カラオケ装置、１１…ＣＰＵ、１２…メモリ、１３…通信部、１４…記憶部、１５…操作部、１６…表示部、１７…収音部、１８…音源部、１９…放音部、２０…採点サーバ装置、２１…ＣＰＵ、２２…メモリ、２３…通信部、２４…記憶部、２５…処理部。
【特許請求の範囲】
【請求項１】
模範となる歌唱音声を表す模範音声データを記憶する第１の記憶手段と、
利用者の歌唱音声を表す音声データをストリーミング方式で通信装置から取得する取得手段と、
前記取得手段によって取得された音声データを記憶する第２の記憶手段と、
前記第２の記憶手段に記憶されている前記音声データの時間軸を、歌唱音声の評価の対象となる複数の評価区間に分割する分割手段と、
前記分割手段によって分割された各々の評価区間を時間軸上の位置に応じた順番で選択し、選択された当該評価区間に含まれる音声データを、前記第１の記憶手段に記憶されている当該評価区間に対応する区間に含まれる模範音声データと比較することにより、当該選択された評価区間における前記利用者の歌唱音声を評価し、評価結果を生成する評価手段と、
前記評価手段によって各評価区間における評価結果が生成される度に、生成された当該評価結果を前記通信装置に送信する送信手段と
を備えることを特徴とする評価装置。
【請求項２】
前記模範音声データには、前記模範となる歌唱音声に含まれる各フレーズの時間軸上の区切り位置を示す区切データが付加されており、
前記分割手段は、前記第２の記憶手段に記憶されている音声データの時間軸を、前記第１の記憶手段に記憶されている模範音声データにおいて前記区切データによって区切られた各フレーズ区間に対応する複数の評価区間に分割する
ことを特徴とする請求項１に記載の評価装置。
【請求項３】
前記通信装置は種別の異なるものが複数あり、
前記評価手段は、前記取得手段が予め決められた種別の通信装置から前記音声データを取得した場合には、当該予め決められた種別とは異なる種別の通信装置から前記音声データを取得した場合よりも簡易な内容で前記評価を行う
ことを特徴とする請求項１又は２に記載の評価装置。
【請求項１】
模範となる歌唱音声を表す模範音声データを記憶する第１の記憶手段と、
利用者の歌唱音声を表す音声データをストリーミング方式で通信装置から取得する取得手段と、
前記取得手段によって取得された音声データを記憶する第２の記憶手段と、
前記第２の記憶手段に記憶されている前記音声データの時間軸を、歌唱音声の評価の対象となる複数の評価区間に分割する分割手段と、
前記分割手段によって分割された各々の評価区間を時間軸上の位置に応じた順番で選択し、選択された当該評価区間に含まれる音声データを、前記第１の記憶手段に記憶されている当該評価区間に対応する区間に含まれる模範音声データと比較することにより、当該選択された評価区間における前記利用者の歌唱音声を評価し、評価結果を生成する評価手段と、
前記評価手段によって各評価区間における評価結果が生成される度に、生成された当該評価結果を前記通信装置に送信する送信手段と
を備えることを特徴とする評価装置。
【請求項２】
前記模範音声データには、前記模範となる歌唱音声に含まれる各フレーズの時間軸上の区切り位置を示す区切データが付加されており、
前記分割手段は、前記第２の記憶手段に記憶されている音声データの時間軸を、前記第１の記憶手段に記憶されている模範音声データにおいて前記区切データによって区切られた各フレーズ区間に対応する複数の評価区間に分割する
ことを特徴とする請求項１に記載の評価装置。
【請求項３】
前記通信装置は種別の異なるものが複数あり、
前記評価手段は、前記取得手段が予め決められた種別の通信装置から前記音声データを取得した場合には、当該予め決められた種別とは異なる種別の通信装置から前記音声データを取得した場合よりも簡易な内容で前記評価を行う
ことを特徴とする請求項１又は２に記載の評価装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１０−２３７２５７（Ｐ２０１０−２３７２５７Ａ）
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願番号】特願２００９−８２０６５（Ｐ２００９−８２０６５）
【出願日】平成２１年３月３０日（２００９．３．３０）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２２年１０月２１日（２０１０．１０．２１）
【国際特許分類】
【出願日】平成２１年３月３０日（２００９．３．３０）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]