カラオケ装置及びプログラム
【課題】楽曲の局面ごとに歌唱を評価することが可能なカラオケ装置を提供する。
【解決手段】本発明に係るカラオケ装置においては、歌唱者による歌唱を表す歌唱音声信号および模範となるリファレンスデータのそれぞれから、ピッチおよび音量レベルが検出され、楽曲を構成する音の全てについて、歌唱音声信号とリファレンスデータとの差分に基づいた歌唱の評価がなされると共に、楽曲を構成する音の一部分（例えば楽曲の高音部分）について歌唱音声信号とリファレンスデータとの差分に基づいた歌唱の評価も行われる。従って、歌唱者は、楽曲全体についての評価を知ることが出来るとともに、高音部分など楽曲の一部分についての評価を知ることができる。
【解決手段】本発明に係るカラオケ装置においては、歌唱者による歌唱を表す歌唱音声信号および模範となるリファレンスデータのそれぞれから、ピッチおよび音量レベルが検出され、楽曲を構成する音の全てについて、歌唱音声信号とリファレンスデータとの差分に基づいた歌唱の評価がなされると共に、楽曲を構成する音の一部分（例えば楽曲の高音部分）について歌唱音声信号とリファレンスデータとの差分に基づいた歌唱の評価も行われる。従って、歌唱者は、楽曲全体についての評価を知ることが出来るとともに、高音部分など楽曲の一部分についての評価を知ることができる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラオケにおける歌唱評価に関する。
【背景技術】
【０００２】
歌唱の採点を行うカラオケ装置が種々開発されている。例えば、特許文献１に記載のカラオケ装置においては、ＭＩＤＩ（Musical Instrument Digital Interface：登録商標）フォーマットによる楽曲データに従い伴奏音を再生し、歌唱者は該伴奏音と共に歌唱する。その際、カラオケ装置は、楽曲データに含まれるガイドメロディデータから、ピッチ（音程）、音長、タイミングなどのパラメータを抽出する。一方、歌唱者の音声からも、そのピッチ（音程）、音長、タイミングなどのパラメータを抽出する。そして、抽出した各要素のそれぞれについて、ガイドメロディと歌唱者の音声のパラメータを比較し、その比較結果に基づいて歌唱の評価を行う。
【０００３】
【特許文献１】特開平１０−７８７５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１に記載された技術においては、楽曲を構成する音の全てについて歌唱者の音声とガイドメロディデータとの比較を行っており、楽曲全体についての総合的な評価がなされる。すなわち、楽曲に含まれる楽音の特徴（例えば高音や低音など）に関わらず、全ての楽音について等しく評価し、その評価結果を出力していた。従って、歌唱者は示された評価から歌唱全体の評価を知ることは出来るが、例えば「高音部分が苦手である」といったような、楽曲の局面ごとの評価を知ることなどはできなかった。
【０００５】
本発明は、上述した事情に鑑みてなされたものであり、楽曲の局面ごとに歌唱を評価することができるカラオケ装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係るカラオケ装置は、歌唱音声のピッチを検出し歌唱ピッチデータを生成する歌唱ピッチデータ生成手段と、歌唱の模範となる歌唱模範データを記憶する記憶手段と、前記記憶手段から前記歌唱模範データを楽曲の進行に応じて読み出し、読み出した歌唱模範データのピッチを表す模範ピッチデータを生成する模範ピッチデータ生成手段と、楽曲を構成する各音から、１または複数の音を選択する選択手段と、前記選択手段により選択された音のそれぞれについて、前記歌唱ピッチデータと模範ピッチデータとの差分を検出し、ピッチ差分データとして出力するピッチ差分検出手段と、前記ピッチ差分データに基づいて前記歌唱音声の評価を示す評価データを生成する評価データ生成手段とを備えることを特徴とする。
【０００７】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記模範ピッチデータを参照し、楽曲を構成する各音からそのピッチが高いまたは低い順に所定の数だけ音を選択することを特徴とする。
【０００８】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記模範ピッチデータを参照し、前記楽曲を構成する音のピッチの平均値を算出し、該平均値からの変位が正または負に所定の範囲を超える音を選択することを特徴とする。
【０００９】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記模範ピッチデータを参照し、そのピッチが所定の周波数を超える音を選択することを特徴とする。
【００１０】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記楽曲を構成する各音の１または複数を指定する指定データに従って音を選択することを特徴とする。
【００１１】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記模範ピッチデータを参照し、楽曲の進行に伴うピッチの変動において、極大または極小を示す音を選択することを特徴とする。
【００１２】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記模範ピッチデータを参照し、前記楽曲の進行に伴い直前の音からのピッチの変動幅が所定の閾値を超えた音を選択することを特徴とする。
【００１３】
本発明に係るカラオケ装置の別の構成は、上記の構成において、歌唱の模範となる歌唱模範データを読み出し、読み出した歌唱模範データから楽曲を構成する各音の音量レベルを表す模範音量データを生成する模範音量データ生成手段を更に有し、前記選択手段は、前記模範音量データを参照し、音量レベルが高い順に所定の数の音を選択することを特徴とする。
【００１４】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記ピッチ差分検出手段は、前記ピッチ差分データに加え、前記楽曲を構成する音の全てについての前記歌唱ピッチデータと模範ピッチデータとの差分を表す第２のピッチ差分データを出力し、前記評価データ生成手段は、前記評価データに加え、前記第２のピッチ差分データに基づいて前記歌唱音声の評価を示す第２の評価データを生成することを特徴とする。
【００１５】
本発明に係るカラオケ装置の別の構成は、上記の構成において、歌唱音声の音量レベルを検出し歌唱音量データを生成する歌唱音量データ生成手段と、歌唱の模範となる歌唱模範データを読み出し、読み出した歌唱模範データから楽曲を構成する各音の音量レベルを表す模範音量データを生成する模範音量データ生成手段と、前記選択手段により選択された音のそれぞれについて、前記歌唱音量データと模範音量データとの差分を検出し、音量差分データとして出力する音量差分検出手段とを更に備え、前記評価データ生成手段は、前記ピッチ差分データに加え前記音量差分データに基づいて前記歌唱音声の評価を示す評価データを生成することを特徴とする。
【００１６】
本発明に係るプログラムは、コンピュータを、歌唱音声のピッチを検出し歌唱ピッチデータを生成する歌唱ピッチデータ生成手段と、歌唱の模範となる歌唱模範データを記憶装置に記憶させる記憶手段と、前記記憶手段から前記歌唱模範データを楽曲の進行に応じて読み出し、読み出した歌唱模範データのピッチを表す模範ピッチデータを生成する模範ピッチデータ生成手段と、楽曲を構成する各音から、１または複数の音を選択する選択手段と、前記選択手段により選択された音のそれぞれについて、前記歌唱ピッチデータと模範ピッチデータとの差分を検出し、ピッチ差分データとして出力するピッチ差分検出手段と、前記ピッチ差分データに基づいて前記歌唱音声の評価を示す評価データを生成する評価データ生成手段として機能させる。
【発明の効果】
【００１７】
本発明によれば、楽曲の局面ごとに歌唱を評価することができる。
【発明を実施するための最良の形態】
【００１８】
（Ａ；構成）
以下、図面を参照して、本発明の実施形態について説明する。
【００１９】
（Ａ−１；各部の構成）
図１は本発明の実施形態に係るカラオケ装置本体１の構成を示すブロック図である。
ＣＰＵ１１は、ＲＯＭ（Read Only Memory）１２に格納されている各種プログラムを実行することで装置各部を制御する。
カラオケ装置本体１は、データの記憶手段としてＲＯＭ１２、ＲＡＭ（Random Access Memory）１３、およびＨＤＤ（Hard Disk Drive）１４を有する。
ＲＯＭ１２は、本発明に特徴的な機能をＣＰＵ１１に実行させるための制御プログラムやデータが格納されている。
ＲＡＭ１３は、ＣＰＵ１１によってワークエリアとして利用される。詳しくは、ＲＡＭ１３は、ＭＩＤＩ記憶領域と差分値データ記憶領域とを有する。ＭＩＤＩ記憶領域は、ＨＤＤ１４から転送された楽曲データを格納する。また、差分値データ記憶領域には、歌唱とリファレンスデータの差分を示すデータが、楽曲の進行に沿って蓄積される。
ＨＤＤ１４は、ホストコンピュータ６より受信した楽曲データを記憶する。
【００２０】
通信Ｉ／Ｆ（インタフェース）１５は、楽曲データの配信元であるホストコンピュータ６より楽曲データを受信し、ＣＰＵ１１の制御のもとＨＤＤ１４へと転送する。
操作部１６は、カラオケ装置本体１の前面に設けられた操作パネルであり、テンキー、キーコントロールキーなど多数のキーを有している。また、操作部１６には、リモコン端末５から出力される信号（赤外線信号、無線信号等）を受信する受信部を有しており、受信部で受信した信号はＣＰＵ１１へ転送される。
【００２１】
表示制御部１７は映像データや歌詞などをモニタ２に表示させるための制御を行う。なお、映像データは、図示せぬ映像データ記憶部（ＤＶＤ再生装置など）に記憶されており、曲のジャンルに応じた映像が読み出されるようになっている。歌詞は楽曲データ中の歌詞データに基づいて表示され、楽曲の進行に応じて色変え（いわゆるワイプ）処理が行われる。
マイク４は、収音した音声をアナログの音声信号に変換し、歌唱音声信号Ｓ１としてカラオケ装置本体１の音声処理用ＤＳＰ２０および音声出力部２１へ出力する。
【００２２】
音声処理用ＤＳＰ２０はマイク４から歌唱音声信号Ｓ１を受取り、該音声信号をＡ／Ｄ変換した後、歌唱音声のピッチと音量を抽出し、それぞれ歌唱ピッチデータＳＰ、歌唱音量データＳＶとして出力する。
具体的には、音声処理用ＤＳＰ２０は、歌唱者音声信号Ｓ１を所定の長さ（例えば１０msec）のフレームに区切り、該フレーム単位で、ピッチおよび音量レベルを算出する。なお、ピッチの算出にはＦＦＴ（Fast Fourier Transform）により生成されたスペクトルが用いられる。
【００２３】
音源装置１８は、ＣＰＵ１１から楽曲の進行に応じて順次読み出される演奏データに対応する楽音信号を生成し、効果用ＤＳＰ１９へ出力する。
効果用ＤＳＰ１９は、音源装置１８で生成された楽音信号に対してリバーブやエコー等の効果を付与する。効果を付与された楽音信号は音声出力部２１へ出力される。
【００２４】
音声出力部２１は、Ｄ／Ａコンバータとアンプとを有する。Ｄ／Ａコンバータは、ＣＰＵ１１およびマイク４から受取った音声データに対して、Ｄ／Ａ変換を施すことによってアナログの音声信号へ変換する。アンプは、Ｄ／Ａコンバータから受取った音声信号の振幅（マスタボリューム）を調整する。音声データはスピーカ３へ出力され、再生させる。
【００２５】
（Ａ−２；楽曲データ）
ここで、本実施形態において用いられる楽曲データの構造について説明する。本実施形態における楽曲データは、図２に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律（ピッチ）の内容を表すリファレンスデータが記述されたリファレンスデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。また、ヘッダ部分には、楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データなどが含まれている。以上の楽曲データは、ＭＩＤＩフォーマットに従って記述されている。
【００２６】
（Ａ−３；リファレンスデータ）
次に、リファレンスデータトラックに記述されているリファレンスデータの具体例について図３を参照して説明する。まず、リファレンスデータにおける各列の内容について説明する。
第１列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「０」の場合は、直前のイベントと同時に実行される。
第２列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ（ＮｏｔｅＯｎ）や消音イベントを示すノートオフメッセージ（ＮｏｔｅＯｆｆ）の他、コントロールチェンジメッセージ等が含まれる。なお、図３に示す例では、コントロールチェンジメッセージは含まれていない。
【００２７】
第３列にはチャネルの番号が記述されている。ここでは、説明の簡略のためリファレンスデータトラックのチャンネル番号を「１」としている。
第４列には、ノートナンバ（ＮｏｔｅＮｕｍ）あるいはコントロールナンバ（ＣｔｒｌＮｕｍ）が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えばノートオンメッセージまたはノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
【００２８】
第５列にはＭＩＤＩメッセージの具体的な値（データ）が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。
【００２９】
次に、図３に示す各行について説明する。各行には、歌唱すべきメロディの各音符の属性を示す楽音パラメータが書き込まれており、ノートオンイベント、ノートオフイベントで構成される。デルタタイム４８０の長さは、４分音符の長さとしている。この場合、第１行、第２行のイベント処理によりＣ４音が４分音符の長さにわって発音されることが示され、第３行、第４行のイベント処理によりＧ４音が４分音符の長さにわたって発音されることが示される。そして、第５行、第６行の処理によりＦ４音が２分音符の長さにわたって発音されることが示される。
【００３０】
（Ｂ；動作）
次に、上記構成からなるカラオケ装置の動作を説明する。図４は、本発明に係るカラオケ装置によりカラオケが行われる際の歌唱評価処理の流れを示したフローチャートである。
【００３１】
歌唱者が操作部１６のテンキーやリモコン端末５を用いて楽曲指定操作を行うと、指定された楽曲の楽曲データがＨＤＤ１４からＲＡＭ１３のＭＩＤＩ記憶領域へ転送される。ＣＰＵ１１は、ＲＡＭ１３のＭＩＤＩ記憶領域内に書き込まれた楽曲データのイベントを順次読み出すことにより、カラオケ伴奏や歌詞表示処理を実行する（ステップＳＡ１００）。
【００３２】
具体的には、ＣＰＵ１１は、楽音データの演奏トラックに記述されたイベントデータを音源装置１８に出力すると共に、歌詞トラックの歌詞データを表示制御部１７に出力する。この結果、カラオケ伴奏音がスピーカ３から出力される一方、表示制御部１７が生成した歌詞がモニタ２に表示される。
【００３３】
利用者は、カラオケの伴奏が始まると、モニタ２を見ながらマイク４に向けて歌唱する。マイク４に入力された歌唱者の音声を表す歌唱音声信号Ｓ１は、音声出力部２１を介してスピーカ３より出力されるとともに、音声処理用ＤＳＰ２０に入力される（ステップＳＡ１１０）。
以下では、歌唱音声信号Ｓ１が所定時間分（例えば３秒分）ＲＡＭ１３に書き込まれる度に、ステップＳＡ１２０ないしステップＳＡ１７０の処理が、該入力された歌唱音声信号Ｓ１について実行される。
【００３４】
音声処理用ＤＳＰ２０は、歌唱音声信号Ｓ１をＡ／Ｄ変換した後、歌唱音声のピッチと音量を抽出し、それぞれ歌唱ピッチデータＳＰ、歌唱音量データＳＶとして出力する（ステップＳＡ１２０）。出力された歌唱ピッチデータＳＰおよび歌唱音量データＳＶは、楽曲の進行に伴って順次ＲＡＭ１３に書き込まれる。
【００３５】
また、ＣＰＵ１１は、楽曲の進行と同期してリファレンスデータを読み出し、リファレンスデータのノートナンバとベロシティに応じて歌唱すべきピッチを示すリファレンスピッチデータＲＰと歌唱すべき音量を示すリファレンス音量データＲＶを生成する（ステップＳＡ１３０）。生成されたリファレンスピッチデータＲＰとリファレンス音量データＲＶは、楽曲の進行に伴って順次ＲＡＭ１３に書き込まれる。
【００３６】
ＣＰＵ１１は、ＲＡＭ１３に書き込まれた歌唱ピッチデータＳＰおよび歌唱音量データＳＶと、リファレンスピッチデータＲＰおよびリファレンス音量データＲＶとから、両音声の比較を行う。具体的には以下の１〜３の処理を行う。
（１）ＣＰＵ１１は、リファレンスピッチデータＲＰと歌唱ピッチデータＳＰの差分値に基づいてピッチ差分値データＰＤを算出し、ＲＡＭ１３の差分値データ記憶領域に蓄積する（ステップＳＡ１４０）。
（２）また、ＣＰＵ１１は、歌唱音量データＳＶとリファレンス音量データＲＶの差分値から音量差分値データＶＤを算出し、ＲＡＭ１３の差分値データ記憶領域に蓄積する（ステップＳＡ１５０）。
（３）ＣＰＵ１１は、リファレンスデータの発音タイミング（または消音タイミング）と歌唱音量データＳＶの立ち上がり（または立ち下がり）のタイミングの時間差をリズム差分値データＲＤとしてＲＡＭ１３の差分値データ記憶領域に蓄積する（ステップＳＡ１６０）。
【００３７】
ＣＰＵ１１は、楽曲の進行に伴ってＲＡＭ１３の差分値データ記憶領域に逐次書き込まれているピッチ差分値データＰＤ、音量差分値データＶＤ、及びリズム差分値データＲＤを読み出して、読み出したデータに応じて、上記所定時間分の歌唱音声についての評価を行う（ステップＳＡ１７０）。
具体的には、ＣＰＵ１１は、初期値として設定された得点（たとえば満点の１００点）から、各差分値データＰＤ，ＶＤ，ＲＤの値に応じて減点する。なお、各差分値データＰＤ，ＶＤ，ＲＤの値が大きいほど得点からの減点ポイントが大きくなる。
【００３８】
ステップＳＡ１８０において、ＣＰＵ１１は、カラオケの伴奏が終了したか否かを判定する。ステップＳＡ１８０の判定結果が“Ｙｅｓ”である場合、すなわちカラオケの伴奏が終了したと判定した場合は、ＣＰＵ１１は、ステップＳＡ１９０の処理を行う。一方、ステップＳＡ１８０の判定結果が“Ｎｏ”である場合、すなわちカラオケの伴奏が継続していると判定した場合は、楽曲の残りの部分について、ステップＳＡ１００ないしステップＳＡ１７０の処理を行う。
【００３９】
なお、ステップＳＡ１７０における減点は、ステップＳＡ１１０において入力された所定時間分の歌唱音声信号Ｓ１について実行されるが、所定時間分の歌唱音声信号Ｓ１についての評価を終えると、その時点での得点をＲＡＭ１３に一旦記憶する。そして、楽曲の続きの部分についてステップＳＡ１００ないしステップＳＡ１７０が実行されると、一旦ＲＡＭ１３に書き込まれた得点から更に減算が行われる。そして、楽曲が全て終了した段階（ステップＳＡ１８０；“Ｙｅｓ”）での得点が最終的な得点（総合評価）となる。
【００４０】
カラオケの伴奏が一曲分終了すると、ＣＰＵ１１は、リファレンスピッチデータＲＰを参照し、楽曲を構成する音から、特に高音についての歌唱評価の対象となる音（以下、評価対象音）を選択する。本実施形態においては、楽曲を構成する全ての音から、そのピッチが高い順に所定の数（本実施形態においては１０）を選択する（ステップＳＡ１９０）。
【００４１】
ステップＳＡ２００において、ＣＰＵ１１は、ステップＳＡ１９０において選択された評価対象音についての評価（以下、部分評価）を行う。その場合、ＣＰＵ１１は、ステップＳＡ１９０において選択された評価対象音のそれぞれについて、ピッチ差分値データＰＤ、音量差分値データＶＤ、及びリズム差分値データＲＤを読み出し、初期値として設定された得点の値（例えば１００点）から各差分値データＰＤ，ＶＤ，ＲＤの値に応じて減点する。
【００４２】
ステップＳＡ２１０において、ＣＰＵ１１は、ステップＳＡ１７０において生成された総合評価およびステップＳＡ２００において生成された部分評価のそれぞれについて、表示制御部１７に出力する。この結果、総合評価および部分評価に関する得点は、それぞれモニタ２に表示される。
【００４３】
以上説明したように、本発明に係るカラオケ装置によれば、楽曲全体について歌唱の評価がなされるだけではなく、楽曲の特定の部分、本実施形態においては楽曲の高音部分について限定した評価も併せてなされる。歌唱者はそれぞれ歌唱の巧拙に特徴があり、高音が得意な歌唱者や低音が得意な歌唱者など様々である。従って、本発明に係るカラオケ装置による歌唱評価により、歌唱者は自身の歌唱の特徴を知ることができる。
【００４４】
（Ｃ；変形例）
以上、本発明の実施形態について説明したが、本発明は以下のように種々の態様で実施することができる。また、以下の変形例を適宜組み合わせて実施することも可能である。
（１）上記実施形態においては、楽曲を構成する音の中から、そのピッチが高い順に所定の数（上記実施形態においては１０）の音について歌唱評価を行う場合について説明した。しかし、その数は１０に限るものではなく、ユーザにより所望の値が設定されれば良い。
【００４５】
（２）上記実施形態においては、楽曲を構成する音の中から、そのピッチが高い順に所定の数の音について歌唱評価を行う場合について説明した。しかし、以下のように評価対象音を選択しても良い。ＣＰＵ１１は、リファレンスピッチデータＲＰから、楽曲を構成する全ての音のピッチの平均値μとそのばらつきである標準偏差σを算出し、ピッチがμ＋σを超える音を評価対象音として選択するなどしても良い。なお、標準偏差σに替えて予め定められた値を用いたり、２σや３σを用いたりしても良い。
【００４６】
（３）上記実施形態においては、楽曲を構成する音の中から、そのピッチが高い順に所定の数の音について歌唱評価を行う場合について説明した。しかし、評価対象音を選択する基準は、ピッチに関する音の相対的な順位に限定されない。音のピッチの絶対的なレベルが所定の値を超えるか否かにより評価対象音を選択するようにしても良い。
【００４７】
（４）上記実施形態においては、ＣＰＵ１１が楽曲を構成する音の中から自動的に評価対象となる音を選択する場合について説明した。しかし、ＣＰＵ１１は、ユーザにより指定された音を評価対象音として選択しても良い。その場合、例えば予め楽曲データに評価対象音のリストを含ませておき、ＣＰＵ１１は該リストを参照して評価対象音を選択するようにしても良い。また、歌唱の前または後にＣＰＵ１１は楽曲の楽譜や歌詞などをモニタ２に表示し、ユーザがリモコン端末５で評価対象音を選択することができるようにしても良い。
【００４８】
（５）上記実施形態においては、楽曲を構成する音の中から、そのピッチが高い順に所定の数の音について歌唱評価を行う場合について説明した。しかし、前後の隣接する音とのピッチの差が共に所定の値よりも大きい音を評価対象音として選択するようにしても良い。また、ピッチの周波数の値が楽曲の進行に伴って極大または極小を示す音を選択するようにしても良い。ピッチが突然変わる音は一般に歌唱が難しいことから、そのようにピッチの変動が大きい音を評価対象音とすることにより、歌唱者は音程を瞬時につかむ技術の巧拙を知ることができる。
【００４９】
（６）上記実施形態においては、楽曲を構成する音の中から、そのピッチが高い順に所定の数の音について歌唱評価を行う場合について説明した。しかしピッチが高い順ではなく、低い順に所定の数選択するようにしても良い。また、楽曲を構成する音から高音および低音を除く他の音（中音）について歌唱評価をしても良い。
【００５０】
（７）上記実施形態においては、歌唱の総合的な評価に加えて、高音部分に限定した歌唱評価が独立してなされる場合について説明した。しかし、上記実施形態における総合評価に代えて、または該総合評価と併せて、総合評価に対して高音部分に限定した歌唱評価の評価結果を加味した評価をするようにしても良い。そのようにすれば、例えば高音部分の歌唱が非常に難しい楽曲の評価において、該高音部分を上手に歌唱できたか否かを重点的に評価し、歌唱の巧拙をより巧妙に判断することができるといった効果を奏する。
【００５１】
（８）上記実施形態における総合評価に対して、上記実施形態や上記変形例（６）に示した部分的な評価（高音、中音、低音に関する評価）をどのように加味するかについては、以下のようにさまざまな態様が可能である。たとえば、総合評価に対して中音部分に限定した歌唱評価を加味しても良い。また、総合評価に対して低音部分に限定した歌唱評価を加味しても良い。また、総合評価に対して部分的な評価のうち複数（例えば高音と低音についての評価）を加味しても良い。
また、上述のようにして得られた評価、すなわち、総合評価、部分的な評価、および総合評価に対して部分的な評価を加味した評価から、いずれを選択して歌唱者に提示するかについても、様々な組み合わせが可能である。例えば総合評価と部分的な評価をそれぞれ提示したり、総合評価に対して部分的な評価を加味した評価のみを表示したりしても良い。
【００５２】
（９）上述した実施形態においては、リファレンスデータがＭＩＤＩフォーマットに従って記述されており、ＣＰＵ１１はＭＩＤＩフォーマットによって示される音名（ノート）をピッチ（周波数）データに変更してリファレンスピッチデータＲＰを生成した。しかし、リファレンスデータがピッチ情報として記述されている場合には、楽曲の進行に従って読み出したリファレンスデータに基づいてリファレンスピッチデータＲＰをそのまま生成し出力すればよい。
【００５３】
（１０）上述した実施形態においては、歌唱の評価を点数で表示する場合について説明した。しかし評価の方法として、「高音が苦手です。」などと歌唱の傾向をわかりやすく表示しても良い。
【００５４】
（１１）上述した実施形態においては、歌唱の評価を提示することについて説明したが、ただ評価を提示するだけではなく、次回に同じ楽曲を歌唱する際に、例えば楽曲のピッチを上下するように提案する表示をしたり、自動的に楽曲のピッチを上下する処理を行ったりしても良い。
【００５５】
（１２）上述した実施形態においては、歌唱者や楽曲が異なっても同様の歌唱評価がなされる場合について説明した。しかし、歌唱者の性別や巧拙などを評価に反映させるようにしても良い。例えば、リモコン端末５により歌唱者の性別を入力することができるようにし、男性と入力された場合には高音について評価を行い、女性と入力された場合には低音について評価を行うなどしても良い。また、男性と入力された場合にはピッチの高い評価対象音を選択する際の閾値となるピッチの周波数の値を下げる方向に補正をするなどしても良い。
【００５６】
また、歌唱者の巧拙については、例えば、リモコン端末５により歌唱者は小人であると入力された場合にはピッチや音量レベルの差分値データにおいて差分の絶対値を０に近づけるような補正をしたりすることにより評価を「甘く」しても良いし、上記実施形態とは逆に、高音または低音を評価の対象からはずし、それ以外の音を評価対象音として選択するなどすることにより結果的に評価を「甘く」するなどしても良い。
【００５７】
また、楽曲のジャンルや難易度についてのデータを予め各楽曲データに含ませておくなどして、ジャンルや難易度に応じた歌唱評価を行っても良い。例えば、バラードの楽曲においては、高音部分の評価をより多く評価するように、高音と判断する基準を高く設定したりしても良い。
【００５８】
（１３）上述した実施形態においては、歌唱音声データおよびリファレンスデータからピッチ、音量レベル、発声タイミングを検出する処理を、楽曲の進行に伴って行う場合について説明したが、それらの処理は、必ずしもリアルタイムに行う必要はない。例えば、予めリファレンスデータについての分析結果をＲＡＭ１３に書き込んでおいても良いし、歌唱音声については、一旦ＲＡＭ１３に歌唱内容を書き込み、歌唱が終了した後にピッチ、音量レベル、および発声タイミングを検出しても良い。その場合、歌唱が終了した後に歌唱の評価を行うようにすれば良い。
【００５９】
（１４）上述した実施形態においては、ピッチ、音量レベル、および発音タイミングについて、差分値データが生成され、該差分値データに基づいて歌唱の評価が行われる場合について説明した。しかし、音量レベル、および発音タイミングについては、評価に加味しないとしても良い。
【００６０】
（１５）本発明は上述した機能をコンピュータ装置に実現させるプログラムとしても実現することができる。
【００６１】
（１６）上述した実施形態においては、楽曲データに含まれるリファレンスデータに従って、歌唱すべきピッチを示すリファレンスピッチデータＲＰおよびリファレンス音量データＲＶを生成する場合について説明した。しかし、楽曲データに含まれる演奏データからピッチを判断してリファレンスピッチデータＲＰを生成してもよいし、楽曲データに例えば歌手による模範歌唱音声のデータやガイドメロディが含まれているような場合には、それらのデータに基づいてリファレンスピッチデータＲＰまたはリファレンス音量データＲＶを生成するようにしても良い。
【００６２】
（１７）上述した実施形態においては、楽曲を構成する楽音からピッチが高い順に所定の数の音を選択して、選択された楽音について歌唱評価を行う場合について説明した。しかし、歌唱評価の対象とする楽音を選択する際に参照する情報は、ピッチに限られない。例えば、音量レベルが高い順に所定の数の楽音を選択するようにしても良い。模範歌唱においては、楽曲のサビ部分は音量レベルが高くなっていることが多いが、該歌唱評価方法により、サビなどの「聴取者に聞かせたい」部分について評価することができる。
【００６３】
（１８）上述した実施形態においては、楽曲に含まれる各楽音について、差分値データＰＤ，ＶＤ，ＲＤの値に応じた「減点」を行うことにより歌唱評価をする場合について説明した。しかし、各差分値データが例えば所定の値より小さい場合に加点するなどの加点評価をしても良い。
【００６４】
（１９）上述した実施形態においては、ＲＡＭ１３に歌唱音声信号Ｓ１が３秒分書き込まれるごとに、ステップＳＡ１２０ないしステップＳＡ１７０の処理を実行する場合について説明した。しかし、上記所定時間は３秒に限られるものではなく、どのような時間長でも良い。
【００６５】
（２０）上述した実施形態においては、評価対象音の選択および該歌唱対象音についての評価（部分評価）を、楽曲が終了してから行う場合について説明した。しかし、該部分評価も全体評価と同様に、楽曲の進行に伴って行うようにしても良い。その場合、ＲＡＭ１３に書き込まれた所定時間分の歌唱音声信号Ｓ１についてのリファレンスピッチデータＲＰを参照して、上記所定時間の歌唱音声信号Ｓ１に含まれる音から評価対象音を選択し、該評価対象音について歌唱評価を行えばよい。そして、各所定時間分の歌唱音声信号Ｓ１について評価を楽曲全体について合算し、部分評価とすれば良い。
【図面の簡単な説明】
【００６６】
【図１】カラオケ装置本体１の構成を示すブロック図である。
【図２】楽曲データの構造を示す図である。
【図３】楽曲データに含まれるリファレンスデータトラックの内容を示す図である。
【図４】歌唱評価処理の流れを示すフローチャートである。
【符号の説明】
【００６７】
１…カラオケ装置本体、２…モニタ、３…スピーカ、４…マイク、５…リモコン端末、６…ホストコンピュータ、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＨＤＤ、１５…通信Ｉ／Ｆ、１６…操作部、１７…表示制御部、１８…音源装置、１９…効果用ＤＳＰ、２０…音声処理用ＤＳＰ、２１…音声出力部
【技術分野】
【０００１】
本発明は、カラオケにおける歌唱評価に関する。
【背景技術】
【０００２】
歌唱の採点を行うカラオケ装置が種々開発されている。例えば、特許文献１に記載のカラオケ装置においては、ＭＩＤＩ（Musical Instrument Digital Interface：登録商標）フォーマットによる楽曲データに従い伴奏音を再生し、歌唱者は該伴奏音と共に歌唱する。その際、カラオケ装置は、楽曲データに含まれるガイドメロディデータから、ピッチ（音程）、音長、タイミングなどのパラメータを抽出する。一方、歌唱者の音声からも、そのピッチ（音程）、音長、タイミングなどのパラメータを抽出する。そして、抽出した各要素のそれぞれについて、ガイドメロディと歌唱者の音声のパラメータを比較し、その比較結果に基づいて歌唱の評価を行う。
【０００３】
【特許文献１】特開平１０−７８７５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記特許文献１に記載された技術においては、楽曲を構成する音の全てについて歌唱者の音声とガイドメロディデータとの比較を行っており、楽曲全体についての総合的な評価がなされる。すなわち、楽曲に含まれる楽音の特徴（例えば高音や低音など）に関わらず、全ての楽音について等しく評価し、その評価結果を出力していた。従って、歌唱者は示された評価から歌唱全体の評価を知ることは出来るが、例えば「高音部分が苦手である」といったような、楽曲の局面ごとの評価を知ることなどはできなかった。
【０００５】
本発明は、上述した事情に鑑みてなされたものであり、楽曲の局面ごとに歌唱を評価することができるカラオケ装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係るカラオケ装置は、歌唱音声のピッチを検出し歌唱ピッチデータを生成する歌唱ピッチデータ生成手段と、歌唱の模範となる歌唱模範データを記憶する記憶手段と、前記記憶手段から前記歌唱模範データを楽曲の進行に応じて読み出し、読み出した歌唱模範データのピッチを表す模範ピッチデータを生成する模範ピッチデータ生成手段と、楽曲を構成する各音から、１または複数の音を選択する選択手段と、前記選択手段により選択された音のそれぞれについて、前記歌唱ピッチデータと模範ピッチデータとの差分を検出し、ピッチ差分データとして出力するピッチ差分検出手段と、前記ピッチ差分データに基づいて前記歌唱音声の評価を示す評価データを生成する評価データ生成手段とを備えることを特徴とする。
【０００７】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記模範ピッチデータを参照し、楽曲を構成する各音からそのピッチが高いまたは低い順に所定の数だけ音を選択することを特徴とする。
【０００８】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記模範ピッチデータを参照し、前記楽曲を構成する音のピッチの平均値を算出し、該平均値からの変位が正または負に所定の範囲を超える音を選択することを特徴とする。
【０００９】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記模範ピッチデータを参照し、そのピッチが所定の周波数を超える音を選択することを特徴とする。
【００１０】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記楽曲を構成する各音の１または複数を指定する指定データに従って音を選択することを特徴とする。
【００１１】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記模範ピッチデータを参照し、楽曲の進行に伴うピッチの変動において、極大または極小を示す音を選択することを特徴とする。
【００１２】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記選択手段は、前記模範ピッチデータを参照し、前記楽曲の進行に伴い直前の音からのピッチの変動幅が所定の閾値を超えた音を選択することを特徴とする。
【００１３】
本発明に係るカラオケ装置の別の構成は、上記の構成において、歌唱の模範となる歌唱模範データを読み出し、読み出した歌唱模範データから楽曲を構成する各音の音量レベルを表す模範音量データを生成する模範音量データ生成手段を更に有し、前記選択手段は、前記模範音量データを参照し、音量レベルが高い順に所定の数の音を選択することを特徴とする。
【００１４】
本発明に係るカラオケ装置の別の構成は、上記の構成において、前記ピッチ差分検出手段は、前記ピッチ差分データに加え、前記楽曲を構成する音の全てについての前記歌唱ピッチデータと模範ピッチデータとの差分を表す第２のピッチ差分データを出力し、前記評価データ生成手段は、前記評価データに加え、前記第２のピッチ差分データに基づいて前記歌唱音声の評価を示す第２の評価データを生成することを特徴とする。
【００１５】
本発明に係るカラオケ装置の別の構成は、上記の構成において、歌唱音声の音量レベルを検出し歌唱音量データを生成する歌唱音量データ生成手段と、歌唱の模範となる歌唱模範データを読み出し、読み出した歌唱模範データから楽曲を構成する各音の音量レベルを表す模範音量データを生成する模範音量データ生成手段と、前記選択手段により選択された音のそれぞれについて、前記歌唱音量データと模範音量データとの差分を検出し、音量差分データとして出力する音量差分検出手段とを更に備え、前記評価データ生成手段は、前記ピッチ差分データに加え前記音量差分データに基づいて前記歌唱音声の評価を示す評価データを生成することを特徴とする。
【００１６】
本発明に係るプログラムは、コンピュータを、歌唱音声のピッチを検出し歌唱ピッチデータを生成する歌唱ピッチデータ生成手段と、歌唱の模範となる歌唱模範データを記憶装置に記憶させる記憶手段と、前記記憶手段から前記歌唱模範データを楽曲の進行に応じて読み出し、読み出した歌唱模範データのピッチを表す模範ピッチデータを生成する模範ピッチデータ生成手段と、楽曲を構成する各音から、１または複数の音を選択する選択手段と、前記選択手段により選択された音のそれぞれについて、前記歌唱ピッチデータと模範ピッチデータとの差分を検出し、ピッチ差分データとして出力するピッチ差分検出手段と、前記ピッチ差分データに基づいて前記歌唱音声の評価を示す評価データを生成する評価データ生成手段として機能させる。
【発明の効果】
【００１７】
本発明によれば、楽曲の局面ごとに歌唱を評価することができる。
【発明を実施するための最良の形態】
【００１８】
（Ａ；構成）
以下、図面を参照して、本発明の実施形態について説明する。
【００１９】
（Ａ−１；各部の構成）
図１は本発明の実施形態に係るカラオケ装置本体１の構成を示すブロック図である。
ＣＰＵ１１は、ＲＯＭ（Read Only Memory）１２に格納されている各種プログラムを実行することで装置各部を制御する。
カラオケ装置本体１は、データの記憶手段としてＲＯＭ１２、ＲＡＭ（Random Access Memory）１３、およびＨＤＤ（Hard Disk Drive）１４を有する。
ＲＯＭ１２は、本発明に特徴的な機能をＣＰＵ１１に実行させるための制御プログラムやデータが格納されている。
ＲＡＭ１３は、ＣＰＵ１１によってワークエリアとして利用される。詳しくは、ＲＡＭ１３は、ＭＩＤＩ記憶領域と差分値データ記憶領域とを有する。ＭＩＤＩ記憶領域は、ＨＤＤ１４から転送された楽曲データを格納する。また、差分値データ記憶領域には、歌唱とリファレンスデータの差分を示すデータが、楽曲の進行に沿って蓄積される。
ＨＤＤ１４は、ホストコンピュータ６より受信した楽曲データを記憶する。
【００２０】
通信Ｉ／Ｆ（インタフェース）１５は、楽曲データの配信元であるホストコンピュータ６より楽曲データを受信し、ＣＰＵ１１の制御のもとＨＤＤ１４へと転送する。
操作部１６は、カラオケ装置本体１の前面に設けられた操作パネルであり、テンキー、キーコントロールキーなど多数のキーを有している。また、操作部１６には、リモコン端末５から出力される信号（赤外線信号、無線信号等）を受信する受信部を有しており、受信部で受信した信号はＣＰＵ１１へ転送される。
【００２１】
表示制御部１７は映像データや歌詞などをモニタ２に表示させるための制御を行う。なお、映像データは、図示せぬ映像データ記憶部（ＤＶＤ再生装置など）に記憶されており、曲のジャンルに応じた映像が読み出されるようになっている。歌詞は楽曲データ中の歌詞データに基づいて表示され、楽曲の進行に応じて色変え（いわゆるワイプ）処理が行われる。
マイク４は、収音した音声をアナログの音声信号に変換し、歌唱音声信号Ｓ１としてカラオケ装置本体１の音声処理用ＤＳＰ２０および音声出力部２１へ出力する。
【００２２】
音声処理用ＤＳＰ２０はマイク４から歌唱音声信号Ｓ１を受取り、該音声信号をＡ／Ｄ変換した後、歌唱音声のピッチと音量を抽出し、それぞれ歌唱ピッチデータＳＰ、歌唱音量データＳＶとして出力する。
具体的には、音声処理用ＤＳＰ２０は、歌唱者音声信号Ｓ１を所定の長さ（例えば１０msec）のフレームに区切り、該フレーム単位で、ピッチおよび音量レベルを算出する。なお、ピッチの算出にはＦＦＴ（Fast Fourier Transform）により生成されたスペクトルが用いられる。
【００２３】
音源装置１８は、ＣＰＵ１１から楽曲の進行に応じて順次読み出される演奏データに対応する楽音信号を生成し、効果用ＤＳＰ１９へ出力する。
効果用ＤＳＰ１９は、音源装置１８で生成された楽音信号に対してリバーブやエコー等の効果を付与する。効果を付与された楽音信号は音声出力部２１へ出力される。
【００２４】
音声出力部２１は、Ｄ／Ａコンバータとアンプとを有する。Ｄ／Ａコンバータは、ＣＰＵ１１およびマイク４から受取った音声データに対して、Ｄ／Ａ変換を施すことによってアナログの音声信号へ変換する。アンプは、Ｄ／Ａコンバータから受取った音声信号の振幅（マスタボリューム）を調整する。音声データはスピーカ３へ出力され、再生させる。
【００２５】
（Ａ−２；楽曲データ）
ここで、本実施形態において用いられる楽曲データの構造について説明する。本実施形態における楽曲データは、図２に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律（ピッチ）の内容を表すリファレンスデータが記述されたリファレンスデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。また、ヘッダ部分には、楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データなどが含まれている。以上の楽曲データは、ＭＩＤＩフォーマットに従って記述されている。
【００２６】
（Ａ−３；リファレンスデータ）
次に、リファレンスデータトラックに記述されているリファレンスデータの具体例について図３を参照して説明する。まず、リファレンスデータにおける各列の内容について説明する。
第１列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「０」の場合は、直前のイベントと同時に実行される。
第２列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ（ＮｏｔｅＯｎ）や消音イベントを示すノートオフメッセージ（ＮｏｔｅＯｆｆ）の他、コントロールチェンジメッセージ等が含まれる。なお、図３に示す例では、コントロールチェンジメッセージは含まれていない。
【００２７】
第３列にはチャネルの番号が記述されている。ここでは、説明の簡略のためリファレンスデータトラックのチャンネル番号を「１」としている。
第４列には、ノートナンバ（ＮｏｔｅＮｕｍ）あるいはコントロールナンバ（ＣｔｒｌＮｕｍ）が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えばノートオンメッセージまたはノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
【００２８】
第５列にはＭＩＤＩメッセージの具体的な値（データ）が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。
【００２９】
次に、図３に示す各行について説明する。各行には、歌唱すべきメロディの各音符の属性を示す楽音パラメータが書き込まれており、ノートオンイベント、ノートオフイベントで構成される。デルタタイム４８０の長さは、４分音符の長さとしている。この場合、第１行、第２行のイベント処理によりＣ４音が４分音符の長さにわって発音されることが示され、第３行、第４行のイベント処理によりＧ４音が４分音符の長さにわたって発音されることが示される。そして、第５行、第６行の処理によりＦ４音が２分音符の長さにわたって発音されることが示される。
【００３０】
（Ｂ；動作）
次に、上記構成からなるカラオケ装置の動作を説明する。図４は、本発明に係るカラオケ装置によりカラオケが行われる際の歌唱評価処理の流れを示したフローチャートである。
【００３１】
歌唱者が操作部１６のテンキーやリモコン端末５を用いて楽曲指定操作を行うと、指定された楽曲の楽曲データがＨＤＤ１４からＲＡＭ１３のＭＩＤＩ記憶領域へ転送される。ＣＰＵ１１は、ＲＡＭ１３のＭＩＤＩ記憶領域内に書き込まれた楽曲データのイベントを順次読み出すことにより、カラオケ伴奏や歌詞表示処理を実行する（ステップＳＡ１００）。
【００３２】
具体的には、ＣＰＵ１１は、楽音データの演奏トラックに記述されたイベントデータを音源装置１８に出力すると共に、歌詞トラックの歌詞データを表示制御部１７に出力する。この結果、カラオケ伴奏音がスピーカ３から出力される一方、表示制御部１７が生成した歌詞がモニタ２に表示される。
【００３３】
利用者は、カラオケの伴奏が始まると、モニタ２を見ながらマイク４に向けて歌唱する。マイク４に入力された歌唱者の音声を表す歌唱音声信号Ｓ１は、音声出力部２１を介してスピーカ３より出力されるとともに、音声処理用ＤＳＰ２０に入力される（ステップＳＡ１１０）。
以下では、歌唱音声信号Ｓ１が所定時間分（例えば３秒分）ＲＡＭ１３に書き込まれる度に、ステップＳＡ１２０ないしステップＳＡ１７０の処理が、該入力された歌唱音声信号Ｓ１について実行される。
【００３４】
音声処理用ＤＳＰ２０は、歌唱音声信号Ｓ１をＡ／Ｄ変換した後、歌唱音声のピッチと音量を抽出し、それぞれ歌唱ピッチデータＳＰ、歌唱音量データＳＶとして出力する（ステップＳＡ１２０）。出力された歌唱ピッチデータＳＰおよび歌唱音量データＳＶは、楽曲の進行に伴って順次ＲＡＭ１３に書き込まれる。
【００３５】
また、ＣＰＵ１１は、楽曲の進行と同期してリファレンスデータを読み出し、リファレンスデータのノートナンバとベロシティに応じて歌唱すべきピッチを示すリファレンスピッチデータＲＰと歌唱すべき音量を示すリファレンス音量データＲＶを生成する（ステップＳＡ１３０）。生成されたリファレンスピッチデータＲＰとリファレンス音量データＲＶは、楽曲の進行に伴って順次ＲＡＭ１３に書き込まれる。
【００３６】
ＣＰＵ１１は、ＲＡＭ１３に書き込まれた歌唱ピッチデータＳＰおよび歌唱音量データＳＶと、リファレンスピッチデータＲＰおよびリファレンス音量データＲＶとから、両音声の比較を行う。具体的には以下の１〜３の処理を行う。
（１）ＣＰＵ１１は、リファレンスピッチデータＲＰと歌唱ピッチデータＳＰの差分値に基づいてピッチ差分値データＰＤを算出し、ＲＡＭ１３の差分値データ記憶領域に蓄積する（ステップＳＡ１４０）。
（２）また、ＣＰＵ１１は、歌唱音量データＳＶとリファレンス音量データＲＶの差分値から音量差分値データＶＤを算出し、ＲＡＭ１３の差分値データ記憶領域に蓄積する（ステップＳＡ１５０）。
（３）ＣＰＵ１１は、リファレンスデータの発音タイミング（または消音タイミング）と歌唱音量データＳＶの立ち上がり（または立ち下がり）のタイミングの時間差をリズム差分値データＲＤとしてＲＡＭ１３の差分値データ記憶領域に蓄積する（ステップＳＡ１６０）。
【００３７】
ＣＰＵ１１は、楽曲の進行に伴ってＲＡＭ１３の差分値データ記憶領域に逐次書き込まれているピッチ差分値データＰＤ、音量差分値データＶＤ、及びリズム差分値データＲＤを読み出して、読み出したデータに応じて、上記所定時間分の歌唱音声についての評価を行う（ステップＳＡ１７０）。
具体的には、ＣＰＵ１１は、初期値として設定された得点（たとえば満点の１００点）から、各差分値データＰＤ，ＶＤ，ＲＤの値に応じて減点する。なお、各差分値データＰＤ，ＶＤ，ＲＤの値が大きいほど得点からの減点ポイントが大きくなる。
【００３８】
ステップＳＡ１８０において、ＣＰＵ１１は、カラオケの伴奏が終了したか否かを判定する。ステップＳＡ１８０の判定結果が“Ｙｅｓ”である場合、すなわちカラオケの伴奏が終了したと判定した場合は、ＣＰＵ１１は、ステップＳＡ１９０の処理を行う。一方、ステップＳＡ１８０の判定結果が“Ｎｏ”である場合、すなわちカラオケの伴奏が継続していると判定した場合は、楽曲の残りの部分について、ステップＳＡ１００ないしステップＳＡ１７０の処理を行う。
【００３９】
なお、ステップＳＡ１７０における減点は、ステップＳＡ１１０において入力された所定時間分の歌唱音声信号Ｓ１について実行されるが、所定時間分の歌唱音声信号Ｓ１についての評価を終えると、その時点での得点をＲＡＭ１３に一旦記憶する。そして、楽曲の続きの部分についてステップＳＡ１００ないしステップＳＡ１７０が実行されると、一旦ＲＡＭ１３に書き込まれた得点から更に減算が行われる。そして、楽曲が全て終了した段階（ステップＳＡ１８０；“Ｙｅｓ”）での得点が最終的な得点（総合評価）となる。
【００４０】
カラオケの伴奏が一曲分終了すると、ＣＰＵ１１は、リファレンスピッチデータＲＰを参照し、楽曲を構成する音から、特に高音についての歌唱評価の対象となる音（以下、評価対象音）を選択する。本実施形態においては、楽曲を構成する全ての音から、そのピッチが高い順に所定の数（本実施形態においては１０）を選択する（ステップＳＡ１９０）。
【００４１】
ステップＳＡ２００において、ＣＰＵ１１は、ステップＳＡ１９０において選択された評価対象音についての評価（以下、部分評価）を行う。その場合、ＣＰＵ１１は、ステップＳＡ１９０において選択された評価対象音のそれぞれについて、ピッチ差分値データＰＤ、音量差分値データＶＤ、及びリズム差分値データＲＤを読み出し、初期値として設定された得点の値（例えば１００点）から各差分値データＰＤ，ＶＤ，ＲＤの値に応じて減点する。
【００４２】
ステップＳＡ２１０において、ＣＰＵ１１は、ステップＳＡ１７０において生成された総合評価およびステップＳＡ２００において生成された部分評価のそれぞれについて、表示制御部１７に出力する。この結果、総合評価および部分評価に関する得点は、それぞれモニタ２に表示される。
【００４３】
以上説明したように、本発明に係るカラオケ装置によれば、楽曲全体について歌唱の評価がなされるだけではなく、楽曲の特定の部分、本実施形態においては楽曲の高音部分について限定した評価も併せてなされる。歌唱者はそれぞれ歌唱の巧拙に特徴があり、高音が得意な歌唱者や低音が得意な歌唱者など様々である。従って、本発明に係るカラオケ装置による歌唱評価により、歌唱者は自身の歌唱の特徴を知ることができる。
【００４４】
（Ｃ；変形例）
以上、本発明の実施形態について説明したが、本発明は以下のように種々の態様で実施することができる。また、以下の変形例を適宜組み合わせて実施することも可能である。
（１）上記実施形態においては、楽曲を構成する音の中から、そのピッチが高い順に所定の数（上記実施形態においては１０）の音について歌唱評価を行う場合について説明した。しかし、その数は１０に限るものではなく、ユーザにより所望の値が設定されれば良い。
【００４５】
（２）上記実施形態においては、楽曲を構成する音の中から、そのピッチが高い順に所定の数の音について歌唱評価を行う場合について説明した。しかし、以下のように評価対象音を選択しても良い。ＣＰＵ１１は、リファレンスピッチデータＲＰから、楽曲を構成する全ての音のピッチの平均値μとそのばらつきである標準偏差σを算出し、ピッチがμ＋σを超える音を評価対象音として選択するなどしても良い。なお、標準偏差σに替えて予め定められた値を用いたり、２σや３σを用いたりしても良い。
【００４６】
（３）上記実施形態においては、楽曲を構成する音の中から、そのピッチが高い順に所定の数の音について歌唱評価を行う場合について説明した。しかし、評価対象音を選択する基準は、ピッチに関する音の相対的な順位に限定されない。音のピッチの絶対的なレベルが所定の値を超えるか否かにより評価対象音を選択するようにしても良い。
【００４７】
（４）上記実施形態においては、ＣＰＵ１１が楽曲を構成する音の中から自動的に評価対象となる音を選択する場合について説明した。しかし、ＣＰＵ１１は、ユーザにより指定された音を評価対象音として選択しても良い。その場合、例えば予め楽曲データに評価対象音のリストを含ませておき、ＣＰＵ１１は該リストを参照して評価対象音を選択するようにしても良い。また、歌唱の前または後にＣＰＵ１１は楽曲の楽譜や歌詞などをモニタ２に表示し、ユーザがリモコン端末５で評価対象音を選択することができるようにしても良い。
【００４８】
（５）上記実施形態においては、楽曲を構成する音の中から、そのピッチが高い順に所定の数の音について歌唱評価を行う場合について説明した。しかし、前後の隣接する音とのピッチの差が共に所定の値よりも大きい音を評価対象音として選択するようにしても良い。また、ピッチの周波数の値が楽曲の進行に伴って極大または極小を示す音を選択するようにしても良い。ピッチが突然変わる音は一般に歌唱が難しいことから、そのようにピッチの変動が大きい音を評価対象音とすることにより、歌唱者は音程を瞬時につかむ技術の巧拙を知ることができる。
【００４９】
（６）上記実施形態においては、楽曲を構成する音の中から、そのピッチが高い順に所定の数の音について歌唱評価を行う場合について説明した。しかしピッチが高い順ではなく、低い順に所定の数選択するようにしても良い。また、楽曲を構成する音から高音および低音を除く他の音（中音）について歌唱評価をしても良い。
【００５０】
（７）上記実施形態においては、歌唱の総合的な評価に加えて、高音部分に限定した歌唱評価が独立してなされる場合について説明した。しかし、上記実施形態における総合評価に代えて、または該総合評価と併せて、総合評価に対して高音部分に限定した歌唱評価の評価結果を加味した評価をするようにしても良い。そのようにすれば、例えば高音部分の歌唱が非常に難しい楽曲の評価において、該高音部分を上手に歌唱できたか否かを重点的に評価し、歌唱の巧拙をより巧妙に判断することができるといった効果を奏する。
【００５１】
（８）上記実施形態における総合評価に対して、上記実施形態や上記変形例（６）に示した部分的な評価（高音、中音、低音に関する評価）をどのように加味するかについては、以下のようにさまざまな態様が可能である。たとえば、総合評価に対して中音部分に限定した歌唱評価を加味しても良い。また、総合評価に対して低音部分に限定した歌唱評価を加味しても良い。また、総合評価に対して部分的な評価のうち複数（例えば高音と低音についての評価）を加味しても良い。
また、上述のようにして得られた評価、すなわち、総合評価、部分的な評価、および総合評価に対して部分的な評価を加味した評価から、いずれを選択して歌唱者に提示するかについても、様々な組み合わせが可能である。例えば総合評価と部分的な評価をそれぞれ提示したり、総合評価に対して部分的な評価を加味した評価のみを表示したりしても良い。
【００５２】
（９）上述した実施形態においては、リファレンスデータがＭＩＤＩフォーマットに従って記述されており、ＣＰＵ１１はＭＩＤＩフォーマットによって示される音名（ノート）をピッチ（周波数）データに変更してリファレンスピッチデータＲＰを生成した。しかし、リファレンスデータがピッチ情報として記述されている場合には、楽曲の進行に従って読み出したリファレンスデータに基づいてリファレンスピッチデータＲＰをそのまま生成し出力すればよい。
【００５３】
（１０）上述した実施形態においては、歌唱の評価を点数で表示する場合について説明した。しかし評価の方法として、「高音が苦手です。」などと歌唱の傾向をわかりやすく表示しても良い。
【００５４】
（１１）上述した実施形態においては、歌唱の評価を提示することについて説明したが、ただ評価を提示するだけではなく、次回に同じ楽曲を歌唱する際に、例えば楽曲のピッチを上下するように提案する表示をしたり、自動的に楽曲のピッチを上下する処理を行ったりしても良い。
【００５５】
（１２）上述した実施形態においては、歌唱者や楽曲が異なっても同様の歌唱評価がなされる場合について説明した。しかし、歌唱者の性別や巧拙などを評価に反映させるようにしても良い。例えば、リモコン端末５により歌唱者の性別を入力することができるようにし、男性と入力された場合には高音について評価を行い、女性と入力された場合には低音について評価を行うなどしても良い。また、男性と入力された場合にはピッチの高い評価対象音を選択する際の閾値となるピッチの周波数の値を下げる方向に補正をするなどしても良い。
【００５６】
また、歌唱者の巧拙については、例えば、リモコン端末５により歌唱者は小人であると入力された場合にはピッチや音量レベルの差分値データにおいて差分の絶対値を０に近づけるような補正をしたりすることにより評価を「甘く」しても良いし、上記実施形態とは逆に、高音または低音を評価の対象からはずし、それ以外の音を評価対象音として選択するなどすることにより結果的に評価を「甘く」するなどしても良い。
【００５７】
また、楽曲のジャンルや難易度についてのデータを予め各楽曲データに含ませておくなどして、ジャンルや難易度に応じた歌唱評価を行っても良い。例えば、バラードの楽曲においては、高音部分の評価をより多く評価するように、高音と判断する基準を高く設定したりしても良い。
【００５８】
（１３）上述した実施形態においては、歌唱音声データおよびリファレンスデータからピッチ、音量レベル、発声タイミングを検出する処理を、楽曲の進行に伴って行う場合について説明したが、それらの処理は、必ずしもリアルタイムに行う必要はない。例えば、予めリファレンスデータについての分析結果をＲＡＭ１３に書き込んでおいても良いし、歌唱音声については、一旦ＲＡＭ１３に歌唱内容を書き込み、歌唱が終了した後にピッチ、音量レベル、および発声タイミングを検出しても良い。その場合、歌唱が終了した後に歌唱の評価を行うようにすれば良い。
【００５９】
（１４）上述した実施形態においては、ピッチ、音量レベル、および発音タイミングについて、差分値データが生成され、該差分値データに基づいて歌唱の評価が行われる場合について説明した。しかし、音量レベル、および発音タイミングについては、評価に加味しないとしても良い。
【００６０】
（１５）本発明は上述した機能をコンピュータ装置に実現させるプログラムとしても実現することができる。
【００６１】
（１６）上述した実施形態においては、楽曲データに含まれるリファレンスデータに従って、歌唱すべきピッチを示すリファレンスピッチデータＲＰおよびリファレンス音量データＲＶを生成する場合について説明した。しかし、楽曲データに含まれる演奏データからピッチを判断してリファレンスピッチデータＲＰを生成してもよいし、楽曲データに例えば歌手による模範歌唱音声のデータやガイドメロディが含まれているような場合には、それらのデータに基づいてリファレンスピッチデータＲＰまたはリファレンス音量データＲＶを生成するようにしても良い。
【００６２】
（１７）上述した実施形態においては、楽曲を構成する楽音からピッチが高い順に所定の数の音を選択して、選択された楽音について歌唱評価を行う場合について説明した。しかし、歌唱評価の対象とする楽音を選択する際に参照する情報は、ピッチに限られない。例えば、音量レベルが高い順に所定の数の楽音を選択するようにしても良い。模範歌唱においては、楽曲のサビ部分は音量レベルが高くなっていることが多いが、該歌唱評価方法により、サビなどの「聴取者に聞かせたい」部分について評価することができる。
【００６３】
（１８）上述した実施形態においては、楽曲に含まれる各楽音について、差分値データＰＤ，ＶＤ，ＲＤの値に応じた「減点」を行うことにより歌唱評価をする場合について説明した。しかし、各差分値データが例えば所定の値より小さい場合に加点するなどの加点評価をしても良い。
【００６４】
（１９）上述した実施形態においては、ＲＡＭ１３に歌唱音声信号Ｓ１が３秒分書き込まれるごとに、ステップＳＡ１２０ないしステップＳＡ１７０の処理を実行する場合について説明した。しかし、上記所定時間は３秒に限られるものではなく、どのような時間長でも良い。
【００６５】
（２０）上述した実施形態においては、評価対象音の選択および該歌唱対象音についての評価（部分評価）を、楽曲が終了してから行う場合について説明した。しかし、該部分評価も全体評価と同様に、楽曲の進行に伴って行うようにしても良い。その場合、ＲＡＭ１３に書き込まれた所定時間分の歌唱音声信号Ｓ１についてのリファレンスピッチデータＲＰを参照して、上記所定時間の歌唱音声信号Ｓ１に含まれる音から評価対象音を選択し、該評価対象音について歌唱評価を行えばよい。そして、各所定時間分の歌唱音声信号Ｓ１について評価を楽曲全体について合算し、部分評価とすれば良い。
【図面の簡単な説明】
【００６６】
【図１】カラオケ装置本体１の構成を示すブロック図である。
【図２】楽曲データの構造を示す図である。
【図３】楽曲データに含まれるリファレンスデータトラックの内容を示す図である。
【図４】歌唱評価処理の流れを示すフローチャートである。
【符号の説明】
【００６７】
１…カラオケ装置本体、２…モニタ、３…スピーカ、４…マイク、５…リモコン端末、６…ホストコンピュータ、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＨＤＤ、１５…通信Ｉ／Ｆ、１６…操作部、１７…表示制御部、１８…音源装置、１９…効果用ＤＳＰ、２０…音声処理用ＤＳＰ、２１…音声出力部
【特許請求の範囲】
【請求項１】
歌唱音声のピッチを検出し歌唱ピッチデータを生成する歌唱ピッチデータ生成手段と、
歌唱の模範となる歌唱模範データを記憶する記憶手段と、
前記記憶手段から前記歌唱模範データを楽曲の進行に応じて読み出し、読み出した歌唱模範データのピッチを表す模範ピッチデータを生成する模範ピッチデータ生成手段と、
楽曲を構成する各音から、１または複数の音を選択する選択手段と、
前記選択手段により選択された音のそれぞれについて、前記歌唱ピッチデータと模範ピッチデータとの差分を検出し、ピッチ差分データとして出力するピッチ差分検出手段と、
前記ピッチ差分データに基づいて前記歌唱音声の評価を示す評価データを生成する評価データ生成手段と
を備えるカラオケ装置。
【請求項２】
前記選択手段は、前記模範ピッチデータを参照し、楽曲を構成する各音からそのピッチが高いまたは低い順に所定の数だけ音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項３】
前記選択手段は、前記模範ピッチデータを参照し、前記楽曲を構成する音のピッチの平均値を算出し、該平均値からの変位が正または負に所定の範囲を超える音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項４】
前記選択手段は、前記模範ピッチデータを参照し、そのピッチが所定の周波数を超える音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項５】
前記選択手段は、前記楽曲を構成する各音の１または複数を指定する指定データに従って音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項６】
前記選択手段は、前記模範ピッチデータを参照し、楽曲の進行に伴うピッチの変動において、極大または極小を示す音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項７】
前記選択手段は、前記模範ピッチデータを参照し、前記楽曲の進行に伴い直前の音からのピッチの変動幅が所定の閾値を超えた音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項８】
歌唱の模範となる歌唱模範データを読み出し、読み出した歌唱模範データから楽曲を構成する各音の音量レベルを表す模範音量データを生成する模範音量データ生成手段を更に有し、
前記選択手段は、前記模範音量データを参照し、音量レベルが高い順に所定の数の音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項９】
前記ピッチ差分検出手段は、前記ピッチ差分データに加え、前記楽曲を構成する音の全てについての前記歌唱ピッチデータと模範ピッチデータとの差分を表す第２のピッチ差分データを出力し、
前記評価データ生成手段は、前記評価データに加え、前記第２のピッチ差分データに基づいて前記歌唱音声の評価を示す第２の評価データを生成すること
を特徴とする請求項１ないし８のいずれかに記載のカラオケ装置。
【請求項１０】
歌唱音声の音量レベルを検出し歌唱音量データを生成する歌唱音量データ生成手段と、
歌唱の模範となる歌唱模範データを読み出し、読み出した歌唱模範データから楽曲を構成する各音の音量レベルを表す模範音量データを生成する模範音量データ生成手段と、
前記選択手段により選択された音のそれぞれについて、前記歌唱音量データと模範音量データとの差分を検出し、音量差分データとして出力する音量差分検出手段と
を更に備え、
前記評価データ生成手段は、前記ピッチ差分データに加え前記音量差分データに基づいて前記歌唱音声の評価を示す評価データを生成すること
を特徴とする請求項１ないし９のいずれかに記載のカラオケ装置。
【請求項１１】
コンピュータを、
歌唱音声のピッチを検出し歌唱ピッチデータを生成する歌唱ピッチデータ生成手段と、
歌唱の模範となる歌唱模範データを記憶装置に記憶させる記憶手段と、
前記記憶手段から前記歌唱模範データを楽曲の進行に応じて読み出し、読み出した歌唱模範データのピッチを表す模範ピッチデータを生成する模範ピッチデータ生成手段と、
楽曲を構成する各音から、１または複数の音を選択する選択手段と、
前記選択手段により選択された音のそれぞれについて、前記歌唱ピッチデータと模範ピッチデータとの差分を検出し、ピッチ差分データとして出力するピッチ差分検出手段と、
前記ピッチ差分データに基づいて前記歌唱音声の評価を示す評価データを生成する評価データ生成手段
として機能させるためのプログラム。
【請求項１】
歌唱音声のピッチを検出し歌唱ピッチデータを生成する歌唱ピッチデータ生成手段と、
歌唱の模範となる歌唱模範データを記憶する記憶手段と、
前記記憶手段から前記歌唱模範データを楽曲の進行に応じて読み出し、読み出した歌唱模範データのピッチを表す模範ピッチデータを生成する模範ピッチデータ生成手段と、
楽曲を構成する各音から、１または複数の音を選択する選択手段と、
前記選択手段により選択された音のそれぞれについて、前記歌唱ピッチデータと模範ピッチデータとの差分を検出し、ピッチ差分データとして出力するピッチ差分検出手段と、
前記ピッチ差分データに基づいて前記歌唱音声の評価を示す評価データを生成する評価データ生成手段と
を備えるカラオケ装置。
【請求項２】
前記選択手段は、前記模範ピッチデータを参照し、楽曲を構成する各音からそのピッチが高いまたは低い順に所定の数だけ音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項３】
前記選択手段は、前記模範ピッチデータを参照し、前記楽曲を構成する音のピッチの平均値を算出し、該平均値からの変位が正または負に所定の範囲を超える音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項４】
前記選択手段は、前記模範ピッチデータを参照し、そのピッチが所定の周波数を超える音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項５】
前記選択手段は、前記楽曲を構成する各音の１または複数を指定する指定データに従って音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項６】
前記選択手段は、前記模範ピッチデータを参照し、楽曲の進行に伴うピッチの変動において、極大または極小を示す音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項７】
前記選択手段は、前記模範ピッチデータを参照し、前記楽曲の進行に伴い直前の音からのピッチの変動幅が所定の閾値を超えた音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項８】
歌唱の模範となる歌唱模範データを読み出し、読み出した歌唱模範データから楽曲を構成する各音の音量レベルを表す模範音量データを生成する模範音量データ生成手段を更に有し、
前記選択手段は、前記模範音量データを参照し、音量レベルが高い順に所定の数の音を選択することを特徴とする請求項１に記載のカラオケ装置。
【請求項９】
前記ピッチ差分検出手段は、前記ピッチ差分データに加え、前記楽曲を構成する音の全てについての前記歌唱ピッチデータと模範ピッチデータとの差分を表す第２のピッチ差分データを出力し、
前記評価データ生成手段は、前記評価データに加え、前記第２のピッチ差分データに基づいて前記歌唱音声の評価を示す第２の評価データを生成すること
を特徴とする請求項１ないし８のいずれかに記載のカラオケ装置。
【請求項１０】
歌唱音声の音量レベルを検出し歌唱音量データを生成する歌唱音量データ生成手段と、
歌唱の模範となる歌唱模範データを読み出し、読み出した歌唱模範データから楽曲を構成する各音の音量レベルを表す模範音量データを生成する模範音量データ生成手段と、
前記選択手段により選択された音のそれぞれについて、前記歌唱音量データと模範音量データとの差分を検出し、音量差分データとして出力する音量差分検出手段と
を更に備え、
前記評価データ生成手段は、前記ピッチ差分データに加え前記音量差分データに基づいて前記歌唱音声の評価を示す評価データを生成すること
を特徴とする請求項１ないし９のいずれかに記載のカラオケ装置。
【請求項１１】
コンピュータを、
歌唱音声のピッチを検出し歌唱ピッチデータを生成する歌唱ピッチデータ生成手段と、
歌唱の模範となる歌唱模範データを記憶装置に記憶させる記憶手段と、
前記記憶手段から前記歌唱模範データを楽曲の進行に応じて読み出し、読み出した歌唱模範データのピッチを表す模範ピッチデータを生成する模範ピッチデータ生成手段と、
楽曲を構成する各音から、１または複数の音を選択する選択手段と、
前記選択手段により選択された音のそれぞれについて、前記歌唱ピッチデータと模範ピッチデータとの差分を検出し、ピッチ差分データとして出力するピッチ差分検出手段と、
前記ピッチ差分データに基づいて前記歌唱音声の評価を示す評価データを生成する評価データ生成手段
として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２００８−２２５１１１（Ｐ２００８−２２５１１１Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６４０６３（Ｐ２００７−６４０６３）
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
[ Back to top ]