評価装置及びカラオケ装置
【課題】歌唱の評価結果を従来と比較してより理解し易く報知する技術を提供する。
【解決手段】歌唱者の歌唱音声がマイクロホン１５によって収音され、オーディオ信号に変換される。カラオケ装置１の制御部１１は、オーディオ信号からピッチを検出し、歌唱ピッチデータＳＰを生成する。制御部１１は、リファレンスピッチデータＲＰと歌唱ピッチデータＳＰとをフレーム単位で比較し、その差分が閾値を超えるか否かをフレーム単位で判断する。また、制御部１１は、フレーム単位での比較結果をノート単位で集計し、差分が閾値を超えるか否かをノート単位で比較する。制御部１１は、リファレンスデータを示す帯状図形を表示部に表示させるとともに、フレーム単位での比較結果を帯状図形の色を変更することによって表示する。また、制御部１１は、各ノートのカラオケ伴奏が終了したタイミングで、そのノートに対応する帯状図形の色を、比較結果に応じた色に変更する。
【解決手段】歌唱者の歌唱音声がマイクロホン１５によって収音され、オーディオ信号に変換される。カラオケ装置１の制御部１１は、オーディオ信号からピッチを検出し、歌唱ピッチデータＳＰを生成する。制御部１１は、リファレンスピッチデータＲＰと歌唱ピッチデータＳＰとをフレーム単位で比較し、その差分が閾値を超えるか否かをフレーム単位で判断する。また、制御部１１は、フレーム単位での比較結果をノート単位で集計し、差分が閾値を超えるか否かをノート単位で比較する。制御部１１は、リファレンスデータを示す帯状図形を表示部に表示させるとともに、フレーム単位での比較結果を帯状図形の色を変更することによって表示する。また、制御部１１は、各ノートのカラオケ伴奏が終了したタイミングで、そのノートに対応する帯状図形の色を、比較結果に応じた色に変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱（又は演奏）を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献１においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互関係を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。
【特許文献１】特開２００５−１０７３３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、特許文献１に記載の技術では、歌唱者の歌唱の巧拙を採点することができるものの、歌唱者が、歌唱中にリアルタイムで評価結果を把握することは困難である場合が多い。これは、楽器の演奏についても同様である。
本発明は上述した背景の下になされたものであり、歌唱（又は演奏）の評価結果を、従来と比較してより理解し易く報知する技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、本発明は、模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、収音手段から供給されるオーディオ信号から音声の特徴を検出する特徴検出手段と、前記特徴検出手段により検出された特徴と前記リファレンスデータ記憶手段に記憶されたリファレンスデータとを予め定められたフレーム単位で比較し、その差分が閾値を超えるか否かを前記フレーム単位で判断するフレーム単位比較手段と、前記フレーム単位比較手段の比較結果をノート単位で集計し、差分が閾値を超えるか否かを前記ノート単位で比較するノート単位比較手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータの内容を示す画像を表示手段に表示させる表示制御手段であって、前記リファレンスデータを示す画像のうちの前記フレーム単位比較手段によって前記差分が閾値を超えると判断された部分とそれ以外の部分とで表示態様を異ならせるとともに、前記ノート単位比較手段によって前記差分が閾値を超えると判断されたノートとそれ以外のノートとの表示態様を異ならせる表示制御手段とを備えることを特徴とする。
【０００５】
上述の態様において、前記音声の特徴は、音声のピッチ、パワー及びスペクトルの少なくともいずれか一つであってもよい。
上述の態様において、前記ノート単位比較手段の比較結果を所定長毎に集計して比較する比較手段を備え、前記表示制御手段は、前記比較手段の比較結果を表示手段に表示させてもよい。
上述の態様において、前記表示制御手段は、前記表示手段に表示させる画面を前記所定長毎に切り替え、前記比較手段は、前記表示制御手段によって前記画面が切り換えられるときから少なくとも該比較手段が実行する比較処理に要する時間より前に、該画面に対応する前記所定長の比較処理を開始してもよい。
【０００６】
また、本発明の好適な態様であるカラオケ装置は、上述の評価装置と、楽曲の伴奏を再生する伴奏再生手段を備え、前記表示制御手段は、前記伴奏再生手段により再生されている伴奏に対応するリファレンスデータの内容を表す画面を前記表示手段に表示させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、歌唱（又は演奏）の評価結果を、従来と比較してより理解しやすく報知することができる。
【発明を実施するための最良の形態】
【０００８】
＜Ａ：構成＞
図１は、この発明の一実施形態であるカラオケ装置１のハードウェア構成を示すブロック図である。図において、制御部１１は、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介してカラオケ装置１の各部を制御する。記憶部１２は、制御部１１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネルを備え、制御部１１による制御の下に各種の画像を表示する。操作部１４は、カラオケ装置１の利用者による操作に応じた信号を制御部１１に出力する。マイクロホン１５は、収音し、収音した音声を表すオーディオ信号（アナログ信号）を出力する収音手段である。音声処理部１６は、マイクロホン１５が出力するオーディオ信号（アナログ信号）をデジタルデータに変換する。また、音声処理部１６は、デジタルデータをアナログ信号に変換してスピーカ１７に出力する。スピーカ１７は、音声処理部１６でデジタルデータからアナログ信号に変換され出力されるオーディオ信号に応じた強度で放音する放音手段である。
【０００９】
なお、この実施形態では、マイクロホン１５とスピーカ１７とがカラオケ装置１に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５から音声処理部１６へ入力されるオーディオ信号及び音声処理部１６からスピーカ１７へ出力されるオーディオ信号がアナログオーディオ信号である場合について説明するが、デジタルオーディオデータを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。表示部１３についても同様であり、外部出力端子を設け、外部モニタを接続する構成としてもよい。
【００１０】
カラオケ装置１の記憶部１２は、図１に示すように、楽曲データ記憶領域１２１と、背景画データ記憶領域１２２とを有している。楽曲データ記憶領域１２１には、楽曲の伴奏音や歌詞を表す楽曲データが記憶されている。背景画データ記憶領域１２２には、カラオケ伴奏時に背景として表示される動画像を表す背景画データが記憶されている。
【００１１】
ここで、楽曲データ記憶領域１２１に記憶された楽曲データの内容の一例について説明する。楽曲データは、図２に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律（ピッチ）の内容を表すリファレンスデータが記述されたリファレンスデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。また、ヘッダ部分には、図２に示すように楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データ等が含まれている。以上の楽曲データは、ＭＩＤＩフォーマットに従って記述されている。
【００１２】
次に、リファレンスデータトラックに記述されているリファレンスデータの具体例について説明する。図３は行と列のマトリックスになっているので、まず、列について説明する。第１列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「０」の場合は、直前のイベントと同時に実行される。第２列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ（ＮｏｔｅＯｎ）や消音イベントを示すノートオフメッセージ（ＮｏｔｅＯｆｆ）の他、コントロールチェンジメッセージ等が含まれる。なお、図３に示す例では、コントロールチェンジメッセージは含まれていない。
【００１３】
第３列にはチャネルの番号が記述されている。ここでは、説明の簡略のためリファレンスデータトラックのチャンネル番号を「１」としている。
第４列には、ノートナンバ（ＮｏｔｅＮｕｍ）あるいはコントロールナンバ（ＣｔｒｌＮｕｍ）が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えば、ノートオンメッセージ又はノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
第５列にはＭＩＤＩメッセージの具体的な値（データ）が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。
【００１４】
次に、図３に示す各行は、歌唱すべきメロディの各音符の属性を示す楽音パラメータとなっており、ノートオンイベント、ノートオフイベントで構成される。
図３に示す例では、デルタタイム４８０の長さを４分音符の長さとしている。この場合、第１行、第２行のイベント処理によりＣ４音が４分音符の長さにわたって発音されることが示され、第３行、第４行のイベント処理によりＧ４音が４分音符の長さにわたって発音されることが示される。そして、第５行、第６行の処理によりＦ４音が２分音符の長さにわたって発音されることが示される。
【００１５】
利用者が楽曲指定操作を行うと、曲番号データを基にして、指定された楽曲データが楽曲データ記憶領域１２１から読み出され、ＲＡＭに転送される。制御部１１がＲＡＭ内の楽曲データを順次読み出して処理することで楽曲の演奏が進行する。このとき、リファレンスデータも楽曲の進行と同期して読み出され、制御部１１はリファレンスデータのノートとベロシティに応じてリファレンスピッチデータＲＰを生成する。
【００１６】
一方、マイクロホン１５に入力された歌唱者の音声は、歌唱音声信号となり、アンプ（図示略）を介してスピーカ１７より出力されるとともに、音声処理部１６に入力される。音声処理部１６がこの歌唱音声信号をＡ／Ｄ変換した後、制御部１１は、歌唱音声のピッチを抽出し、歌唱ピッチデータＳＰとして出力する。この場合、歌唱音声のピッチの抽出処理はおよそ３０ｍｓごとに行われるようになっている。
【００１７】
＜Ｂ：動作＞
図４は、カラオケ装置１の制御部が行う処理の流れを示す図である。以下、図４を参照しつつ、この実施形態の動作について説明する。なお、図４において、フレーム単位比較部１１１，ノート単位比較部１１２，画面表示区間比較部１１３，表示制御部１１４，伴奏再生部１１５及び特徴検出部１１６は、制御部１１がＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより実現される。なお、図中の矢印はデータの流れを概略的に示すものである。
【００１８】
利用者が操作部１４を用いて楽曲指定操作を行うと、指定された楽曲の楽曲データが楽曲データ記憶領域１２１からＲＡＭへ転送される。伴奏再生部１１５は、ＲＡＭ内の楽曲データのイベントを順次読み出すことによりカラオケ伴奏を行い、表示制御部１１４は、ＲＡＭ内の楽曲データの歌詞データを順次読み出すことにより歌詞表示処理を実行する。具体的には、伴奏再生部１１５は、楽曲データの演奏トラックに記述されたイベントデータを音声処理部１６に出力する。表示制御部１１４は、歌詞トラックの歌詞データを表示部１３に出力する。この結果、カラオケ伴奏音がスピーカ１７から出力される一方、歌詞データの表す歌詞が表示部１３に表示される。
【００１９】
また、表示制御部１１４は、楽曲の進行に応じて読み出したリファレンスデータのノートオンイベント（ＮｏｔｅＯｎ）のノートナンバ及びベロシティから、歌唱すべきピッチを示すリファレンスピッチデータＲＰを生成し、生成したリファレンスピッチデータＲＰの内容を表す画像データを表示部１３に出力することによって、リファレンスピッチデータＲＰの内容を表す画像を表示部１３に表示させる。
【００２０】
図５は、表示部１３に表示される画面の一例を示す図である。図示のように、この画面には、歌詞テロップＷ１が表示されるとともに、リファレンスデータの内容を示す帯状図形Ｚ１，Ｚ２，Ｚ３，…が表示される。帯状図形Ｚ１，Ｚ２，Ｚ３，…は、音素（ノートデータ）毎に描画され、ピッチの高低がその表示位置で示されるとともに、ノートの長さがその横幅で示されている。より具体的には、図５に示す例においては、帯状図形Ｚ１，Ｚ２，Ｚ３，…は、その表示位置が図中上部にあるほどピッチが高いことを示し、また、その横幅が長いほど音素の長さが長いことを示す。
【００２１】
表示制御部１１４は、図５に示す画面を所定時間長毎に切り換える。この実施形態では、楽曲データ記憶領域１２１に記憶されたリファレンスデータは、画面に表示される区間（以下「画面表示区間」という）毎に予め区分されており、表示制御部１１４は、この画面表示区間毎に画面を表示するとともに、画面表示区間毎に画面を切り換える。例えば、カラオケ伴奏がある画面表示区間Ａを進行中のときには、表示制御部１１４は、その画面表示区間Ａに対応する画面を表示部１３に表示し、一方、カラオケ伴奏が画面表示区間Ａの次の画面表示区間Ｂに入ったときに、表示部１３に表示する画面を画面表示区間Ｂに対応する画面に切り換える。
【００２２】
また、表示制御部１１４は、所定時間単位、例えばフレーム単位（１０ｍｓ）毎に、表示部１３に表示する画面を更新して、フレーム単位比較部１１１，ノート単位比較部１１２及び画面表示区間比較部１１３による比較処理の比較結果を反映させる。すなわち、この実施形態では、歌唱者が歌唱している最中に、歌唱者の歌唱音声とリファレンスデータとが比較され、その比較結果が、ほぼリアルタイムに（フレーム単位で）更新され、表示部１３に表示される。
【００２３】
歌唱者は、スピーカ１７から放音される伴奏音に併せて歌唱を行う。歌唱者の歌唱音声はマイクロホン１５によってオーディオ信号に変換され、音声処理部１６でＡ／Ｄ変換される。特徴検出部１１６は、音声処理部１６でＡ／Ｄ変換されたオーディオデータ（以下「歌唱音声データ」という）からピッチを抽出し、歌唱ピッチデータＳＰとして出力する。特徴検出部１１６で生成された歌唱ピッチデータＳＰは、フレーム単位比較部１１１に出力される。
【００２４】
フレーム単位比較部１１１は、リファレンスピッチデータＲＰと歌唱ピッチデータＳＰとをフレーム単位で比較し、その差分が予め定められた閾値を超えるか否かをフレーム単位で判断し、判断結果を示すデータをノート単位比較部１１２と表示制御部１１４に出力する。表示制御部１１４は、表示部１３に表示されたリファレンスデータを示す画像のうちの差分が閾値を超えると判断された部分とそれ以外の部分とで表示態様が異なるように、表示部１３に出力する画像データを更新する。
【００２５】
図６（ａ）は、フレーム単位比較処理の処理結果が反映された画面の一例を示す図である。この画面では、基本色Ｃ１と部分一致色Ｃ２との２色の色が用いられる。歌唱者が未歌唱の区間については、リファレンスデータのピッチを示す帯状図形Ｚ１，Ｚ２，Ｚ３，…は基本色Ｃ１で描画される。一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとの差分が閾値以下である区間については部分一致色Ｃ２で描画され、一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとの差分が閾値を超える区間においては基本色Ｃ１で描画される。
【００２６】
なお、この実施形態では、図６（ａ）に示すような、基本色Ｃ１と一致色Ｃ２との２色の色を用いて表示したが、これに限らず、例えば、図６（ｂ）に示すように、基本色Ｃ１，一致色Ｃ２，不一致色Ｃ３の３色の色を用いて表示してもよい。図６（ｂ）に例示する画面では、歌唱者が未歌唱の区間については、リファレンスデータのピッチを示す帯状図形Ｚ１，Ｚ２，Ｚ３，…は基本色Ｃ１で描画される。一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとの差分が閾値以下である区間については一致色Ｃ２で描画される。また、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとの差分が閾値を超える区間においては不一致色Ｃ３で描画される。
また、他の例として、例えば、リファレンスピッチデータＲＰを示す帯状図形を表示しておき、歌唱が行われると、歌唱ピッチデータＳＰを示す帯状図形を、その上に上書きするようにしてもよい。
このように、描画に用いられる色の数や種類は任意であり、要するに、歌唱ピッチデータＳＰの示すピッチとリファレンスピッチデータＲＰの示すピッチとの差分が閾値を超える区間とそれ以外の区間とで異なる態様で表示されればよい。
【００２７】
次に、ノート単位比較部１１２は、ノート単位でのカラオケ伴奏が終了する毎に、フレーム単位の比較結果をノート単位で集計し、差分が閾値を超えるか否かをノート単位で比較し、比較結果を示すデータを表示制御部１１４に出力する。この実施形態では、ノート単位比較部１１２は、各ノートに含まれるフレーム毎の判定結果のうちの７０％以上が一致と判定された場合にそのノートは差分が閾値以内であると判断する一方、一致度が７０％未満である場合には、そのノートの差分が閾値を超えていると判断する。ノート単位比較部１１２は、比較結果を示すデータを画面表示区間比較部１１３と表示制御部１１４に出力する。表示制御部１１４は、ノート単位比較部１１２から比較結果を示すデータを取得すると、差分が閾値を超えると判断されたノートとそれ以外のノートとの表示態様を異ならせるように、表示部１３に出力する画像データを更新する。
【００２８】
図７は、ノート単位での比較結果が反映された画面の一例を示す図である。この画面では、図６に示した基本色Ｃ１と部分一致色Ｃ２とに加えて、ノート一致色Ｃ３が用いられる。歌唱者が未歌唱の区間については、リファレンスピッチデータのピッチを示す帯状図形Ｚ１，Ｚ２，Ｚ３，…は基本色Ｃ１で描画される。一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとが一致する区間については部分一致色Ｃ２で描画され、一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとが一致しない区間においては基本色Ｃ１で描画される。これらの描画態様は上述した図６で示したそれと同様である。更に、図７に示す画面では、ノート中のフレームの７０％以上が一致すると判定されたノートについては、ノート一致色Ｃ３が用いられる。
【００２９】
ノート単位比較部１１２は、ノート単位での比較を各ノートのカラオケ伴奏が終了する毎に実行する。すなわち、表示部１３には、歌唱者が歌唱するまでは基本色Ｃ１で帯状図形Ｚ１，Ｚ２，Ｚ３，…が描画されており、歌唱者の歌唱の進行に従って帯状図形Ｚ１，Ｚ２，Ｚ，…の色が順次変更されていく。このように表示がリアルタイムで歌唱者の歌唱に応じてリアルタイムで変更されていくことにより、歌唱者は、自身の歌唱の巧拙を直感的に把握することができる。
【００３０】
画面表示区間比較部１１３は、ノート単位比較部１１２から出力されるデータに基づいて、ノート単位での比較結果を画面表示区間毎に集計し、画面表示区間毎の比較結果を示すデータを表示制御部１１４に出力する。具体的には、例えば、画面表示区間比較部１１３は、比較結果を複数の段階（例えば３段階（一致度が「高」、「中」、「低」等））に分け、一致度がどの段階かを示すデータを出力してもよい。表示制御部１１４は、画面表示区間比較部１１３から出力されるデータに基づいて、画面表示区間毎の比較結果を示す文字や動画像等を表示部１３に表示させる。
図８は、表示部１３に表示される画面の一例を示す図である。図８に示す例においては、画面表示区間毎の比較結果を示す文字Ｇ１や動画像Ｇ２が表示部１３に表示される。
【００３１】
このとき、画面表示区間比較部１１３は、表示制御部１１４によって画面が切り換えられるときから少なくともその画面に対応する画面表示区間の比較処理に要する時間より前に、その画面に対応する画面表示区間の比較処理を開始する。この実施形態では、画面表示区間比較部１１３は、画面に表示している画面表示区間に対応するカラオケ伴奏のうちの８０％が再生されたタイミングで、画面表示区間毎の比較処理を開始する。すなわち、この実施形態では、画面表示区間比較部１１３は、画面表示区間に含まれる全てのノートの比較結果を集計するのではなく、画面表示区間に含まれる一部のノート（先頭から８０％に含まれるノート）の比較結果を用いて画面表示区間毎の比較処理を行う。
このように、画面表示区間比較部１１３が、その画面表示区間毎のカラオケ伴奏が終わる一定時間前に画面表示区間毎の比較処理を開始することにより、その画面表示区間のカラオケ伴奏が終わる前に画面表示区間毎の比較結果が表示部１３に表示される。このようにすることにより、その画面表示区間の画面が終わる直前、すなわち画面が切り換わる直前に、画面表示区間毎の比較結果を、対応する画面に表示することができる。これにより、表示される画面と評価結果とがずれることを防ぎ、歌唱者が違和感を覚えることを防ぐことができる。
【００３２】
制御部１１は、楽曲のカラオケ伴奏を開始すると、その楽曲のカラオケ伴奏を終了するまで、上述したフレーム単位比較処理、ノート単位比較処理及び画面表示区間毎の比較処理をそれぞれ所定時間単位で繰り返し実行し、処理結果をリアルタイムに表示部１３に表示する。これにより、歌唱者は、歌唱している最中に、自身の歌唱音声のピッチとリファレンスデータのピッチとの相違箇所を、表示部１３をみることで直感的に把握することができる。
【００３３】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態において、歌唱音声の比較対象となるリファレンスデータは、例えば楽曲のガイドメロディを表すデータであってもよく、また、例えば、楽曲の模範となる歌唱音声を表すデータであってもよく、楽曲の模範となる音を表すデータであればどのようなものであってもよい。
【００３４】
（２）上述した実施形態では、歌唱者の歌唱音声をリアルタイムで解析するようにしたが、必ずしもリアルタイムで解析する必要はなく、例えば記憶部に予め記憶されたオーディオ信号を解析するようにしてもよい。また、例えば、カラオケ装置１にインターネット等の通信ネットワークを介してデータ伝送を行うための通信部を設ける構成とし、通信ネットワークを介してオーディオ信号を受信し、受信したオーディオ信号を解析するようにしてもよい。
【００３５】
（３）上述した実施形態では、音声の特徴として音声のピッチを用いて、リファレンスピッチデータと歌唱ピッチデータとを比較するようにしたが、音声の特徴はピッチに限定されるものではなく、例えば、音声の音量（パワー）や、スペクトルを音声の特徴として用いるようにしてもよい。例えば、音声のパワーを用いる場合には、上述した実施形態と同様に、制御部１１は、リファレンスデータから音量を検出してリファレンス音量データを生成するとともに、歌唱者音声データから音量を検出して歌唱音量データを生成し、リファレンス音量データと歌唱音量データとを所定単位で比較する。また、音声のピッチとパワーとを音声の特徴として用いるなど、複数の特徴を用いて比較処理を行うようにしてもよい。
【００３６】
（４）上述した実施形態では、制御部１１が、楽曲データ記憶領域１２１に記憶された楽曲データに含まれるリファレンスデータからリファレンスピッチデータＲＰを生成するが、これに代えて、模範となる楽音のピッチを表すリファレンスピッチデータを予め記憶部１２に記憶しておくようにしてもよい。
【００３７】
（５）なお、上述した実施形態ではノート単位の比較結果を１つの画面に表示する単位（画面表示区間）毎に比較するようにしたが、これに限らず、例えば、小節毎に比較してもよく、また、行毎に比較してもよく、要はノート毎の比較結果を所定長毎に比較すればよい。
【００３８】
（６）上述の実施形態では、歌唱者の歌唱音声とリファレンスデータとを比較したが、歌唱者の歌唱に代えて、演奏者の演奏音とリファレンスデータとを比較してもよい。このように、本発明にいう「音声」には、人間が発生した音声や楽器の演奏音といった種々の音響が含まれる。
【００３９】
（７）上述の実施形態では、カラオケ装置１が本実施形態に係る全ての処理を実行するようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１を実現するようにしてもよい。例えば、マイクロホンやスピーカ、表示装置及び操作部等を備えるコンピュータ装置と、ノート単位比較処理、画面表示区間毎の比較処理等を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、例えば、コンピュータ装置が、マイクロホンで収音された音声をオーディオ信号に変換してサーバ装置に送信し、サーバ装置が、受信したオーディオ信号を解析して解析結果を示す画像データを生成し、生成した画像データをコンピュータ装置に送信してもよい。
【００４０】
（８）上述した実施形態におけるカラオケ装置１の制御部１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４１】
【図１】カラオケ装置のハードウェア構成の一例を示すブロック図である。
【図２】楽曲データの構造を示す図である。
【図３】楽曲データに含まれるリファレンスデータトラックの内容を示す図である。
【図４】カラオケ装置の制御部が行う処理の流れを示す図である。
【図５】表示部に表示される画面の一例を示す図である。
【図６】表示部に表示される画面の一例を示す図である。
【図７】表示部に表示される画面の一例を示す図である。
【図８】表示部に表示される画面の一例を示す図である。
【符号の説明】
【００４２】
１…カラオケ装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１１１…フレーム単位比較部、１１２…ノート単位比較部、１１３…画面表示区間比較部、１１４…表示制御部、１１５…伴奏再生部、１１６…特徴検出部、１２１…楽曲データ記憶領域、１２２…背景画データ記憶領域。
【技術分野】
【０００１】
本発明は、歌唱（又は演奏）を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献１においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互関係を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。
【特許文献１】特開２００５−１０７３３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、特許文献１に記載の技術では、歌唱者の歌唱の巧拙を採点することができるものの、歌唱者が、歌唱中にリアルタイムで評価結果を把握することは困難である場合が多い。これは、楽器の演奏についても同様である。
本発明は上述した背景の下になされたものであり、歌唱（又は演奏）の評価結果を、従来と比較してより理解し易く報知する技術を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、本発明は、模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、収音手段から供給されるオーディオ信号から音声の特徴を検出する特徴検出手段と、前記特徴検出手段により検出された特徴と前記リファレンスデータ記憶手段に記憶されたリファレンスデータとを予め定められたフレーム単位で比較し、その差分が閾値を超えるか否かを前記フレーム単位で判断するフレーム単位比較手段と、前記フレーム単位比較手段の比較結果をノート単位で集計し、差分が閾値を超えるか否かを前記ノート単位で比較するノート単位比較手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータの内容を示す画像を表示手段に表示させる表示制御手段であって、前記リファレンスデータを示す画像のうちの前記フレーム単位比較手段によって前記差分が閾値を超えると判断された部分とそれ以外の部分とで表示態様を異ならせるとともに、前記ノート単位比較手段によって前記差分が閾値を超えると判断されたノートとそれ以外のノートとの表示態様を異ならせる表示制御手段とを備えることを特徴とする。
【０００５】
上述の態様において、前記音声の特徴は、音声のピッチ、パワー及びスペクトルの少なくともいずれか一つであってもよい。
上述の態様において、前記ノート単位比較手段の比較結果を所定長毎に集計して比較する比較手段を備え、前記表示制御手段は、前記比較手段の比較結果を表示手段に表示させてもよい。
上述の態様において、前記表示制御手段は、前記表示手段に表示させる画面を前記所定長毎に切り替え、前記比較手段は、前記表示制御手段によって前記画面が切り換えられるときから少なくとも該比較手段が実行する比較処理に要する時間より前に、該画面に対応する前記所定長の比較処理を開始してもよい。
【０００６】
また、本発明の好適な態様であるカラオケ装置は、上述の評価装置と、楽曲の伴奏を再生する伴奏再生手段を備え、前記表示制御手段は、前記伴奏再生手段により再生されている伴奏に対応するリファレンスデータの内容を表す画面を前記表示手段に表示させることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、歌唱（又は演奏）の評価結果を、従来と比較してより理解しやすく報知することができる。
【発明を実施するための最良の形態】
【０００８】
＜Ａ：構成＞
図１は、この発明の一実施形態であるカラオケ装置１のハードウェア構成を示すブロック図である。図において、制御部１１は、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を備え、ＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより、バスＢＵＳを介してカラオケ装置１の各部を制御する。記憶部１２は、制御部１１によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部１３は、液晶パネルを備え、制御部１１による制御の下に各種の画像を表示する。操作部１４は、カラオケ装置１の利用者による操作に応じた信号を制御部１１に出力する。マイクロホン１５は、収音し、収音した音声を表すオーディオ信号（アナログ信号）を出力する収音手段である。音声処理部１６は、マイクロホン１５が出力するオーディオ信号（アナログ信号）をデジタルデータに変換する。また、音声処理部１６は、デジタルデータをアナログ信号に変換してスピーカ１７に出力する。スピーカ１７は、音声処理部１６でデジタルデータからアナログ信号に変換され出力されるオーディオ信号に応じた強度で放音する放音手段である。
【０００９】
なお、この実施形態では、マイクロホン１５とスピーカ１７とがカラオケ装置１に含まれている場合について説明するが、音声処理部１６に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン１５から音声処理部１６へ入力されるオーディオ信号及び音声処理部１６からスピーカ１７へ出力されるオーディオ信号がアナログオーディオ信号である場合について説明するが、デジタルオーディオデータを入出力するようにしても良い。このような場合には、音声処理部１６にてＡ／Ｄ変換やＤ／Ａ変換を行う必要はない。表示部１３についても同様であり、外部出力端子を設け、外部モニタを接続する構成としてもよい。
【００１０】
カラオケ装置１の記憶部１２は、図１に示すように、楽曲データ記憶領域１２１と、背景画データ記憶領域１２２とを有している。楽曲データ記憶領域１２１には、楽曲の伴奏音や歌詞を表す楽曲データが記憶されている。背景画データ記憶領域１２２には、カラオケ伴奏時に背景として表示される動画像を表す背景画データが記憶されている。
【００１１】
ここで、楽曲データ記憶領域１２１に記憶された楽曲データの内容の一例について説明する。楽曲データは、図２に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律（ピッチ）の内容を表すリファレンスデータが記述されたリファレンスデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。また、ヘッダ部分には、図２に示すように楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データ等が含まれている。以上の楽曲データは、ＭＩＤＩフォーマットに従って記述されている。
【００１２】
次に、リファレンスデータトラックに記述されているリファレンスデータの具体例について説明する。図３は行と列のマトリックスになっているので、まず、列について説明する。第１列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「０」の場合は、直前のイベントと同時に実行される。第２列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ（ＮｏｔｅＯｎ）や消音イベントを示すノートオフメッセージ（ＮｏｔｅＯｆｆ）の他、コントロールチェンジメッセージ等が含まれる。なお、図３に示す例では、コントロールチェンジメッセージは含まれていない。
【００１３】
第３列にはチャネルの番号が記述されている。ここでは、説明の簡略のためリファレンスデータトラックのチャンネル番号を「１」としている。
第４列には、ノートナンバ（ＮｏｔｅＮｕｍ）あるいはコントロールナンバ（ＣｔｒｌＮｕｍ）が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えば、ノートオンメッセージ又はノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
第５列にはＭＩＤＩメッセージの具体的な値（データ）が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。
【００１４】
次に、図３に示す各行は、歌唱すべきメロディの各音符の属性を示す楽音パラメータとなっており、ノートオンイベント、ノートオフイベントで構成される。
図３に示す例では、デルタタイム４８０の長さを４分音符の長さとしている。この場合、第１行、第２行のイベント処理によりＣ４音が４分音符の長さにわたって発音されることが示され、第３行、第４行のイベント処理によりＧ４音が４分音符の長さにわたって発音されることが示される。そして、第５行、第６行の処理によりＦ４音が２分音符の長さにわたって発音されることが示される。
【００１５】
利用者が楽曲指定操作を行うと、曲番号データを基にして、指定された楽曲データが楽曲データ記憶領域１２１から読み出され、ＲＡＭに転送される。制御部１１がＲＡＭ内の楽曲データを順次読み出して処理することで楽曲の演奏が進行する。このとき、リファレンスデータも楽曲の進行と同期して読み出され、制御部１１はリファレンスデータのノートとベロシティに応じてリファレンスピッチデータＲＰを生成する。
【００１６】
一方、マイクロホン１５に入力された歌唱者の音声は、歌唱音声信号となり、アンプ（図示略）を介してスピーカ１７より出力されるとともに、音声処理部１６に入力される。音声処理部１６がこの歌唱音声信号をＡ／Ｄ変換した後、制御部１１は、歌唱音声のピッチを抽出し、歌唱ピッチデータＳＰとして出力する。この場合、歌唱音声のピッチの抽出処理はおよそ３０ｍｓごとに行われるようになっている。
【００１７】
＜Ｂ：動作＞
図４は、カラオケ装置１の制御部が行う処理の流れを示す図である。以下、図４を参照しつつ、この実施形態の動作について説明する。なお、図４において、フレーム単位比較部１１１，ノート単位比較部１１２，画面表示区間比較部１１３，表示制御部１１４，伴奏再生部１１５及び特徴検出部１１６は、制御部１１がＲＯＭ又は記憶部１２に記憶されているコンピュータプログラムを読み出して実行することにより実現される。なお、図中の矢印はデータの流れを概略的に示すものである。
【００１８】
利用者が操作部１４を用いて楽曲指定操作を行うと、指定された楽曲の楽曲データが楽曲データ記憶領域１２１からＲＡＭへ転送される。伴奏再生部１１５は、ＲＡＭ内の楽曲データのイベントを順次読み出すことによりカラオケ伴奏を行い、表示制御部１１４は、ＲＡＭ内の楽曲データの歌詞データを順次読み出すことにより歌詞表示処理を実行する。具体的には、伴奏再生部１１５は、楽曲データの演奏トラックに記述されたイベントデータを音声処理部１６に出力する。表示制御部１１４は、歌詞トラックの歌詞データを表示部１３に出力する。この結果、カラオケ伴奏音がスピーカ１７から出力される一方、歌詞データの表す歌詞が表示部１３に表示される。
【００１９】
また、表示制御部１１４は、楽曲の進行に応じて読み出したリファレンスデータのノートオンイベント（ＮｏｔｅＯｎ）のノートナンバ及びベロシティから、歌唱すべきピッチを示すリファレンスピッチデータＲＰを生成し、生成したリファレンスピッチデータＲＰの内容を表す画像データを表示部１３に出力することによって、リファレンスピッチデータＲＰの内容を表す画像を表示部１３に表示させる。
【００２０】
図５は、表示部１３に表示される画面の一例を示す図である。図示のように、この画面には、歌詞テロップＷ１が表示されるとともに、リファレンスデータの内容を示す帯状図形Ｚ１，Ｚ２，Ｚ３，…が表示される。帯状図形Ｚ１，Ｚ２，Ｚ３，…は、音素（ノートデータ）毎に描画され、ピッチの高低がその表示位置で示されるとともに、ノートの長さがその横幅で示されている。より具体的には、図５に示す例においては、帯状図形Ｚ１，Ｚ２，Ｚ３，…は、その表示位置が図中上部にあるほどピッチが高いことを示し、また、その横幅が長いほど音素の長さが長いことを示す。
【００２１】
表示制御部１１４は、図５に示す画面を所定時間長毎に切り換える。この実施形態では、楽曲データ記憶領域１２１に記憶されたリファレンスデータは、画面に表示される区間（以下「画面表示区間」という）毎に予め区分されており、表示制御部１１４は、この画面表示区間毎に画面を表示するとともに、画面表示区間毎に画面を切り換える。例えば、カラオケ伴奏がある画面表示区間Ａを進行中のときには、表示制御部１１４は、その画面表示区間Ａに対応する画面を表示部１３に表示し、一方、カラオケ伴奏が画面表示区間Ａの次の画面表示区間Ｂに入ったときに、表示部１３に表示する画面を画面表示区間Ｂに対応する画面に切り換える。
【００２２】
また、表示制御部１１４は、所定時間単位、例えばフレーム単位（１０ｍｓ）毎に、表示部１３に表示する画面を更新して、フレーム単位比較部１１１，ノート単位比較部１１２及び画面表示区間比較部１１３による比較処理の比較結果を反映させる。すなわち、この実施形態では、歌唱者が歌唱している最中に、歌唱者の歌唱音声とリファレンスデータとが比較され、その比較結果が、ほぼリアルタイムに（フレーム単位で）更新され、表示部１３に表示される。
【００２３】
歌唱者は、スピーカ１７から放音される伴奏音に併せて歌唱を行う。歌唱者の歌唱音声はマイクロホン１５によってオーディオ信号に変換され、音声処理部１６でＡ／Ｄ変換される。特徴検出部１１６は、音声処理部１６でＡ／Ｄ変換されたオーディオデータ（以下「歌唱音声データ」という）からピッチを抽出し、歌唱ピッチデータＳＰとして出力する。特徴検出部１１６で生成された歌唱ピッチデータＳＰは、フレーム単位比較部１１１に出力される。
【００２４】
フレーム単位比較部１１１は、リファレンスピッチデータＲＰと歌唱ピッチデータＳＰとをフレーム単位で比較し、その差分が予め定められた閾値を超えるか否かをフレーム単位で判断し、判断結果を示すデータをノート単位比較部１１２と表示制御部１１４に出力する。表示制御部１１４は、表示部１３に表示されたリファレンスデータを示す画像のうちの差分が閾値を超えると判断された部分とそれ以外の部分とで表示態様が異なるように、表示部１３に出力する画像データを更新する。
【００２５】
図６（ａ）は、フレーム単位比較処理の処理結果が反映された画面の一例を示す図である。この画面では、基本色Ｃ１と部分一致色Ｃ２との２色の色が用いられる。歌唱者が未歌唱の区間については、リファレンスデータのピッチを示す帯状図形Ｚ１，Ｚ２，Ｚ３，…は基本色Ｃ１で描画される。一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとの差分が閾値以下である区間については部分一致色Ｃ２で描画され、一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとの差分が閾値を超える区間においては基本色Ｃ１で描画される。
【００２６】
なお、この実施形態では、図６（ａ）に示すような、基本色Ｃ１と一致色Ｃ２との２色の色を用いて表示したが、これに限らず、例えば、図６（ｂ）に示すように、基本色Ｃ１，一致色Ｃ２，不一致色Ｃ３の３色の色を用いて表示してもよい。図６（ｂ）に例示する画面では、歌唱者が未歌唱の区間については、リファレンスデータのピッチを示す帯状図形Ｚ１，Ｚ２，Ｚ３，…は基本色Ｃ１で描画される。一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとの差分が閾値以下である区間については一致色Ｃ２で描画される。また、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとの差分が閾値を超える区間においては不一致色Ｃ３で描画される。
また、他の例として、例えば、リファレンスピッチデータＲＰを示す帯状図形を表示しておき、歌唱が行われると、歌唱ピッチデータＳＰを示す帯状図形を、その上に上書きするようにしてもよい。
このように、描画に用いられる色の数や種類は任意であり、要するに、歌唱ピッチデータＳＰの示すピッチとリファレンスピッチデータＲＰの示すピッチとの差分が閾値を超える区間とそれ以外の区間とで異なる態様で表示されればよい。
【００２７】
次に、ノート単位比較部１１２は、ノート単位でのカラオケ伴奏が終了する毎に、フレーム単位の比較結果をノート単位で集計し、差分が閾値を超えるか否かをノート単位で比較し、比較結果を示すデータを表示制御部１１４に出力する。この実施形態では、ノート単位比較部１１２は、各ノートに含まれるフレーム毎の判定結果のうちの７０％以上が一致と判定された場合にそのノートは差分が閾値以内であると判断する一方、一致度が７０％未満である場合には、そのノートの差分が閾値を超えていると判断する。ノート単位比較部１１２は、比較結果を示すデータを画面表示区間比較部１１３と表示制御部１１４に出力する。表示制御部１１４は、ノート単位比較部１１２から比較結果を示すデータを取得すると、差分が閾値を超えると判断されたノートとそれ以外のノートとの表示態様を異ならせるように、表示部１３に出力する画像データを更新する。
【００２８】
図７は、ノート単位での比較結果が反映された画面の一例を示す図である。この画面では、図６に示した基本色Ｃ１と部分一致色Ｃ２とに加えて、ノート一致色Ｃ３が用いられる。歌唱者が未歌唱の区間については、リファレンスピッチデータのピッチを示す帯状図形Ｚ１，Ｚ２，Ｚ３，…は基本色Ｃ１で描画される。一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとが一致する区間については部分一致色Ｃ２で描画され、一方、歌唱ピッチデータＳＰとリファレンスピッチデータＲＰとが一致しない区間においては基本色Ｃ１で描画される。これらの描画態様は上述した図６で示したそれと同様である。更に、図７に示す画面では、ノート中のフレームの７０％以上が一致すると判定されたノートについては、ノート一致色Ｃ３が用いられる。
【００２９】
ノート単位比較部１１２は、ノート単位での比較を各ノートのカラオケ伴奏が終了する毎に実行する。すなわち、表示部１３には、歌唱者が歌唱するまでは基本色Ｃ１で帯状図形Ｚ１，Ｚ２，Ｚ３，…が描画されており、歌唱者の歌唱の進行に従って帯状図形Ｚ１，Ｚ２，Ｚ，…の色が順次変更されていく。このように表示がリアルタイムで歌唱者の歌唱に応じてリアルタイムで変更されていくことにより、歌唱者は、自身の歌唱の巧拙を直感的に把握することができる。
【００３０】
画面表示区間比較部１１３は、ノート単位比較部１１２から出力されるデータに基づいて、ノート単位での比較結果を画面表示区間毎に集計し、画面表示区間毎の比較結果を示すデータを表示制御部１１４に出力する。具体的には、例えば、画面表示区間比較部１１３は、比較結果を複数の段階（例えば３段階（一致度が「高」、「中」、「低」等））に分け、一致度がどの段階かを示すデータを出力してもよい。表示制御部１１４は、画面表示区間比較部１１３から出力されるデータに基づいて、画面表示区間毎の比較結果を示す文字や動画像等を表示部１３に表示させる。
図８は、表示部１３に表示される画面の一例を示す図である。図８に示す例においては、画面表示区間毎の比較結果を示す文字Ｇ１や動画像Ｇ２が表示部１３に表示される。
【００３１】
このとき、画面表示区間比較部１１３は、表示制御部１１４によって画面が切り換えられるときから少なくともその画面に対応する画面表示区間の比較処理に要する時間より前に、その画面に対応する画面表示区間の比較処理を開始する。この実施形態では、画面表示区間比較部１１３は、画面に表示している画面表示区間に対応するカラオケ伴奏のうちの８０％が再生されたタイミングで、画面表示区間毎の比較処理を開始する。すなわち、この実施形態では、画面表示区間比較部１１３は、画面表示区間に含まれる全てのノートの比較結果を集計するのではなく、画面表示区間に含まれる一部のノート（先頭から８０％に含まれるノート）の比較結果を用いて画面表示区間毎の比較処理を行う。
このように、画面表示区間比較部１１３が、その画面表示区間毎のカラオケ伴奏が終わる一定時間前に画面表示区間毎の比較処理を開始することにより、その画面表示区間のカラオケ伴奏が終わる前に画面表示区間毎の比較結果が表示部１３に表示される。このようにすることにより、その画面表示区間の画面が終わる直前、すなわち画面が切り換わる直前に、画面表示区間毎の比較結果を、対応する画面に表示することができる。これにより、表示される画面と評価結果とがずれることを防ぎ、歌唱者が違和感を覚えることを防ぐことができる。
【００３２】
制御部１１は、楽曲のカラオケ伴奏を開始すると、その楽曲のカラオケ伴奏を終了するまで、上述したフレーム単位比較処理、ノート単位比較処理及び画面表示区間毎の比較処理をそれぞれ所定時間単位で繰り返し実行し、処理結果をリアルタイムに表示部１３に表示する。これにより、歌唱者は、歌唱している最中に、自身の歌唱音声のピッチとリファレンスデータのピッチとの相違箇所を、表示部１３をみることで直感的に把握することができる。
【００３３】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
（１）上述の実施形態において、歌唱音声の比較対象となるリファレンスデータは、例えば楽曲のガイドメロディを表すデータであってもよく、また、例えば、楽曲の模範となる歌唱音声を表すデータであってもよく、楽曲の模範となる音を表すデータであればどのようなものであってもよい。
【００３４】
（２）上述した実施形態では、歌唱者の歌唱音声をリアルタイムで解析するようにしたが、必ずしもリアルタイムで解析する必要はなく、例えば記憶部に予め記憶されたオーディオ信号を解析するようにしてもよい。また、例えば、カラオケ装置１にインターネット等の通信ネットワークを介してデータ伝送を行うための通信部を設ける構成とし、通信ネットワークを介してオーディオ信号を受信し、受信したオーディオ信号を解析するようにしてもよい。
【００３５】
（３）上述した実施形態では、音声の特徴として音声のピッチを用いて、リファレンスピッチデータと歌唱ピッチデータとを比較するようにしたが、音声の特徴はピッチに限定されるものではなく、例えば、音声の音量（パワー）や、スペクトルを音声の特徴として用いるようにしてもよい。例えば、音声のパワーを用いる場合には、上述した実施形態と同様に、制御部１１は、リファレンスデータから音量を検出してリファレンス音量データを生成するとともに、歌唱者音声データから音量を検出して歌唱音量データを生成し、リファレンス音量データと歌唱音量データとを所定単位で比較する。また、音声のピッチとパワーとを音声の特徴として用いるなど、複数の特徴を用いて比較処理を行うようにしてもよい。
【００３６】
（４）上述した実施形態では、制御部１１が、楽曲データ記憶領域１２１に記憶された楽曲データに含まれるリファレンスデータからリファレンスピッチデータＲＰを生成するが、これに代えて、模範となる楽音のピッチを表すリファレンスピッチデータを予め記憶部１２に記憶しておくようにしてもよい。
【００３７】
（５）なお、上述した実施形態ではノート単位の比較結果を１つの画面に表示する単位（画面表示区間）毎に比較するようにしたが、これに限らず、例えば、小節毎に比較してもよく、また、行毎に比較してもよく、要はノート毎の比較結果を所定長毎に比較すればよい。
【００３８】
（６）上述の実施形態では、歌唱者の歌唱音声とリファレンスデータとを比較したが、歌唱者の歌唱に代えて、演奏者の演奏音とリファレンスデータとを比較してもよい。このように、本発明にいう「音声」には、人間が発生した音声や楽器の演奏音といった種々の音響が含まれる。
【００３９】
（７）上述の実施形態では、カラオケ装置１が本実施形態に係る全ての処理を実行するようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１を実現するようにしてもよい。例えば、マイクロホンやスピーカ、表示装置及び操作部等を備えるコンピュータ装置と、ノート単位比較処理、画面表示区間毎の比較処理等を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、例えば、コンピュータ装置が、マイクロホンで収音された音声をオーディオ信号に変換してサーバ装置に送信し、サーバ装置が、受信したオーディオ信号を解析して解析結果を示す画像データを生成し、生成した画像データをコンピュータ装置に送信してもよい。
【００４０】
（８）上述した実施形態におけるカラオケ装置１の制御部１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、ＲＡＭ、ＲＯＭなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４１】
【図１】カラオケ装置のハードウェア構成の一例を示すブロック図である。
【図２】楽曲データの構造を示す図である。
【図３】楽曲データに含まれるリファレンスデータトラックの内容を示す図である。
【図４】カラオケ装置の制御部が行う処理の流れを示す図である。
【図５】表示部に表示される画面の一例を示す図である。
【図６】表示部に表示される画面の一例を示す図である。
【図７】表示部に表示される画面の一例を示す図である。
【図８】表示部に表示される画面の一例を示す図である。
【符号の説明】
【００４２】
１…カラオケ装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…マイクロホン、１６…音声処理部、１７…スピーカ、１１１…フレーム単位比較部、１１２…ノート単位比較部、１１３…画面表示区間比較部、１１４…表示制御部、１１５…伴奏再生部、１１６…特徴検出部、１２１…楽曲データ記憶領域、１２２…背景画データ記憶領域。
【特許請求の範囲】
【請求項１】
模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、
収音手段から供給されるオーディオ信号から音声の特徴を検出する特徴検出手段と、
前記特徴検出手段により検出された特徴と前記リファレンスデータ記憶手段に記憶されたリファレンスデータとを予め定められたフレーム単位で比較し、その差分が閾値を超えるか否かを前記フレーム単位で判断するフレーム単位比較手段と、
前記フレーム単位比較手段の比較結果をノート単位で集計し、差分が閾値を超えるか否かを前記ノート単位で比較するノート単位比較手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータの内容を示す画像を表示手段に表示させる表示制御手段であって、前記リファレンスデータを示す画像のうちの前記フレーム単位比較手段によって前記差分が閾値を超えると判断された部分とそれ以外の部分とで表示態様を異ならせるとともに、前記ノート単位比較手段によって前記差分が閾値を超えると判断されたノートとそれ以外のノートとの表示態様を異ならせる表示制御手段と
を備えることを特徴とする評価装置。
【請求項２】
前記音声の特徴は、音声のピッチ、パワー及びスペクトルの少なくともいずれか一つであることを特徴とする請求項１に記載の評価装置。
【請求項３】
前記ノート単位比較手段の比較結果を所定長毎に集計して比較する比較手段
を備え、
前記表示制御手段は、前記比較手段の比較結果を表示手段に表示させる
ことを特徴とする請求項１又は２に記載の評価装置。
【請求項４】
前記表示制御手段は、前記表示手段に表示させる画面を前記所定長毎に切り替え、
前記比較手段は、前記表示制御手段によって前記画面が切り換えられるときから少なくとも該比較手段が実行する比較処理に要する時間より前に、該画面に対応する前記所定長の比較処理を開始する
ことを特徴とする請求項３に記載の評価装置。
【請求項５】
請求項１乃至４のいずれかに記載の評価装置と、
楽曲の伴奏を再生する伴奏再生手段を備え、
前記表示制御手段は、前記伴奏再生手段により再生されている伴奏に対応するリファレンスデータの内容を表す画面を前記表示手段に表示させる
ことを特徴とするカラオケ装置。
【請求項１】
模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、
収音手段から供給されるオーディオ信号から音声の特徴を検出する特徴検出手段と、
前記特徴検出手段により検出された特徴と前記リファレンスデータ記憶手段に記憶されたリファレンスデータとを予め定められたフレーム単位で比較し、その差分が閾値を超えるか否かを前記フレーム単位で判断するフレーム単位比較手段と、
前記フレーム単位比較手段の比較結果をノート単位で集計し、差分が閾値を超えるか否かを前記ノート単位で比較するノート単位比較手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータの内容を示す画像を表示手段に表示させる表示制御手段であって、前記リファレンスデータを示す画像のうちの前記フレーム単位比較手段によって前記差分が閾値を超えると判断された部分とそれ以外の部分とで表示態様を異ならせるとともに、前記ノート単位比較手段によって前記差分が閾値を超えると判断されたノートとそれ以外のノートとの表示態様を異ならせる表示制御手段と
を備えることを特徴とする評価装置。
【請求項２】
前記音声の特徴は、音声のピッチ、パワー及びスペクトルの少なくともいずれか一つであることを特徴とする請求項１に記載の評価装置。
【請求項３】
前記ノート単位比較手段の比較結果を所定長毎に集計して比較する比較手段
を備え、
前記表示制御手段は、前記比較手段の比較結果を表示手段に表示させる
ことを特徴とする請求項１又は２に記載の評価装置。
【請求項４】
前記表示制御手段は、前記表示手段に表示させる画面を前記所定長毎に切り替え、
前記比較手段は、前記表示制御手段によって前記画面が切り換えられるときから少なくとも該比較手段が実行する比較処理に要する時間より前に、該画面に対応する前記所定長の比較処理を開始する
ことを特徴とする請求項３に記載の評価装置。
【請求項５】
請求項１乃至４のいずれかに記載の評価装置と、
楽曲の伴奏を再生する伴奏再生手段を備え、
前記表示制御手段は、前記伴奏再生手段により再生されている伴奏に対応するリファレンスデータの内容を表す画面を前記表示手段に表示させる
ことを特徴とするカラオケ装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−２２５１１６（Ｐ２００８−２２５１１６Ａ）
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願番号】特願２００７−６４１０９（Ｐ２００７−６４１０９）
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
【公開日】平成２０年９月２５日（２００８．９．２５）
【国際特許分類】
【出願日】平成１９年３月１３日（２００７．３．１３）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【出願人】（３９０００４７１０）株式会社第一興商 (537)
【Ｆターム（参考）】
[ Back to top ]