採点装置及びプログラム
【課題】歌唱(又は演奏)の採点を行う際に、より人間の聴覚に合った採点を行うことのできる技術を提供する。
【解決手段】歌唱者の歌唱音声がマイクロホン15によって収音され、オーディオ信号に変換される。カラオケ装置1の制御部11は、オーディオ信号からピッチを検出し、歌唱ピッチデータSPを生成する。制御部11は、リファレンスピッチデータRPと歌唱ピッチデータSPとをノート毎に比較し、両者の差分に応じてノート毎に採点を行う。このとき、制御部11は、リファレンスピッチデータRPに対して歌唱ピッチデータSPがシャープ側にずれている場合(すなわち歌唱ピッチデータSPがリファレンスピッチデータRPよりも高い場合)に、歌唱ピッチデータSPがフラット側にずれている場合(すなわち歌唱ピッチデータSPがリファレンスピッチデータRPよりも低い場合)よりも採点基準が厳しくなるような採点を行う。
【解決手段】歌唱者の歌唱音声がマイクロホン15によって収音され、オーディオ信号に変換される。カラオケ装置1の制御部11は、オーディオ信号からピッチを検出し、歌唱ピッチデータSPを生成する。制御部11は、リファレンスピッチデータRPと歌唱ピッチデータSPとをノート毎に比較し、両者の差分に応じてノート毎に採点を行う。このとき、制御部11は、リファレンスピッチデータRPに対して歌唱ピッチデータSPがシャープ側にずれている場合(すなわち歌唱ピッチデータSPがリファレンスピッチデータRPよりも高い場合)に、歌唱ピッチデータSPがフラット側にずれている場合(すなわち歌唱ピッチデータSPがリファレンスピッチデータRPよりも低い場合)よりも採点基準が厳しくなるような採点を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、歌唱(又は演奏)を評価する技術に関する。
【背景技術】
【0002】
カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献1においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互関係を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。
【特許文献1】特開2005−107330号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
ところで、歌唱の採点を行うカラオケ装置においては、装置による採点結果と聴取者が感じる歌唱の巧拙との間にずれがある場合がある。具体的には、音程がずれていると聴取者が感じる歌唱であっても装置による採点結果がそれほど悪くなかったり、逆に、音程がそれほどずれていないと聴取者が感じる歌唱であっても装置による採点結果が悪い場合がある。これは、楽器の演奏についても同様である。
本発明は上述した背景の下になされたものであり、歌唱(又は演奏)の採点において、従来と比較して、より人間の聴感に近い採点を行うことのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0004】
上記課題を解決するため、本発明の好適な態様である採点装置は、模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを比較し、両者の差分に応じて採点を行う採点手段であって、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも高い場合のほうが、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも低い場合よりも採点基準が厳しくなるように採点を行う採点手段と、前記採点手段による採点結果を示すデータを出力する出力手段とを具備することを特徴とする。
【0005】
上述の態様において、前記リファレンスデータ記憶手段は、模範となる音をノートの列で表すリファレンスデータを記憶し、前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行ってもよい。
【0006】
また、上述の態様において、前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行うとともに、前記ノート毎の採点結果を集計した採点を行ってもよい。
【0007】
また、前記採点手段は、前記ノート毎に、前記ピッチ検出手段により検出されたピッチのノート内の平均値を算出し、算出した平均値と前記リファレンスデータの示すピッチとの差分に応じて採点を行ってもよい。
【0008】
また、上述の態様において、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチよりも高いか否か及び低いか否かの少なくともいずれか一方を判定し、該判定結果を報知する報知手段を具備してもよい。
【0009】
また、上述の態様において、前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、前記採点手段は、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行ってもよい。
【0010】
また、本発明の好適な態様である採点装置は、模範となる音をノートの列で表すリファレンスデータを記憶するリファレンスデータ記憶手段と、収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて採点を行う採点手段であって、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う採点手段と、前記採点手段による採点結果を示すデータを出力する出力手段とを具備することを特徴とする。
【0011】
上述の態様において、前記判定手段は、前記リファレンスデータに含まれるノートをピッチの昇順又は降順にソートした場合に、各ノートのそれぞれについて、該ノートが予め定められた順位内に含まれるか否かを判定してもよい。
【0012】
上述の態様において、前記リファレンスデータ記憶手段は、特定の時間区間を示す特定区間データを含むとともに模範となる音を表すリファレンスデータを記憶し、前記採点手段は、前記特定区間データによって示される時間区間をそれ以外の区間よりも採点基準が厳しくなるように採点を行ってもよい。
【発明の効果】
【0013】
本発明によれば、歌唱(又は演奏)の採点において、従来と比較して、より人間の聴感に近い採点を行うことができる。
【発明を実施するための最良の形態】
【0014】
<A:構成>
図1は、この発明の一実施形態であるカラオケ装置1のハードウェア構成を示すブロック図である。図において、制御部11は、CPU(Central Processing Unit)や、ROM(Read Only Memory)、RAM(Random Access Memory)を備え、ROM又は記憶部12に記憶されているコンピュータプログラムを読み出して実行することにより、バスBUSを介してカラオケ装置1の各部を制御する。記憶部12は、制御部11によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部13は、液晶パネルを備え、制御部11による制御の下に各種の画像を表示する。操作部14は、カラオケ装置1の利用者による操作に応じた信号を制御部11に出力する。マイクロホン15は、収音し、収音した音声を表すオーディオ信号(アナログ信号)を出力する収音手段である。音声処理部16は、マイクロホン15が出力するオーディオ信号(アナログ信号)をデジタルデータに変換する。また、音声処理部16は、デジタルデータをアナログ信号に変換してスピーカ17に出力する。スピーカ17は、音声処理部16でデジタルデータからアナログ信号に変換され出力されるオーディオ信号に応じた強度で放音する放音手段である。
【0015】
なお、この実施形態では、マイクロホン15とスピーカ17とがカラオケ装置1に含まれている場合について説明するが、音声処理部16に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン15から音声処理部16へ入力されるオーディオ信号及び音声処理部16からスピーカ17へ出力されるオーディオ信号がアナログオーディオ信号である場合について説明するが、デジタルオーディオデータを入出力するようにしても良い。このような場合には、音声処理部16にてA/D変換やD/A変換を行う必要はない。表示部13についても同様であり、外部出力端子を設け、外部モニタを接続する構成としてもよい。
【0016】
カラオケ装置1の記憶部12は、図1に示すように、楽曲データ記憶領域121と、背景画データ記憶領域122とを有している。楽曲データ記憶領域121には、楽曲の伴奏音や歌詞を表す楽曲データが記憶されている。背景画データ記憶領域122には、カラオケ伴奏時に背景として表示される動画像を表す背景画データが記憶されている。
【0017】
ここで、楽曲データ記憶領域121に記憶された楽曲データの内容の一例について説明する。楽曲データは、図2に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律(ピッチ)の内容を表すリファレンスデータが記述されたリファレンスデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。また、ヘッダ部分には、図2に示すように楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データ等が含まれている。以上の楽曲データは、MIDIフォーマットに従って記述されている。
【0018】
次に、リファレンスデータトラックに記述されているリファレンスデータの具体例について、図3を参照しつつ説明する。リファレンスデータは、模範となる音をノートの列で表すデータである。図3は行と列のマトリックスになっているので、まず、列について説明する。第1列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「0」の場合は、直前のイベントと同時に実行される。第2列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ(NoteOn)や消音イベントを示すノートオフメッセージ(NoteOff)の他、コントロールチェンジメッセージ等が含まれる。なお、図3に示す例では、コントロールチェンジメッセージは含まれていない。
【0019】
第3列にはチャネルの番号が記述されている。ここでは、説明の簡略のためリファレンスデータトラックのチャンネル番号を「1」としている。
第4列には、ノートナンバ(NoteNum)あるいはコントロールナンバ(CtrlNum)が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えば、ノートオンメッセージ又はノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
第5列にはMIDIメッセージの具体的な値(データ)が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。
【0020】
次に、図3に示す各行は、歌唱すべきメロディの各音符の属性を示す楽音パラメータとなっており、ノートオンイベント、ノートオフイベントで構成される。
図3に示す例では、デルタタイム480の長さを4分音符の長さとしている。この場合、第1行、第2行のイベント処理によりC4音が4分音符の長さにわたって発音されることが示され、第3行、第4行のイベント処理によりG4音が4分音符の長さにわたって発音されることが示される。そして、第5行、第6行の処理によりF4音が2分音符の長さにわたって発音されることが示される。
【0021】
利用者が楽曲指定操作を行うと、曲番号データを基にして、指定された楽曲データが楽曲データ記憶領域121から読み出され、RAMに転送される。制御部11がRAM内の楽曲データを順次読み出して処理することで楽曲の演奏が進行する。このとき、リファレンスデータも楽曲の進行と同期して読み出され、制御部11はリファレンスデータのノートとベロシティに応じてリファレンスピッチデータRPを生成する。
【0022】
一方、マイクロホン15に入力された歌唱者の音声は、歌唱音声信号となり、アンプ(図示略)を介してスピーカ17により出力されるとともに、音声処理部16に入力される。音声処理部16がこの歌唱音声信号S1をA/D変換した後、制御部11は、歌唱音声のピッチを抽出し、歌唱ピッチデータSPとして出力する。この場合、歌唱音声のピッチの抽出処理はおよそ30msごとに行われるようになっている。
【0023】
<B:動作>
図4は、カラオケ装置1の制御部11が行う処理の流れを示す図である。以下、図4を参照しつつ、この実施形態の動作について説明する。なお、図4において、伴奏再生部111、表示制御部112、ピッチ検出部113及び採点部114は、制御部11がROM又は記憶部12に記憶されたコンピュータプログラムを読み出して実行することにより実現される。なお、図中の矢印はデータの流れを概略的に示すものである。
【0024】
利用者が操作部14を用いて楽曲指定操作を行うと、指定された楽曲の楽曲データが楽曲データ記憶領域121からRAMへ転送される。伴奏再生部111は、RAM内の楽曲データのイベントを順次読み出すことによりカラオケ伴奏を行い、表示制御部112は、RAM内の楽曲データの歌詞データを順次読み出すことにより歌詞表示処理を実行する。具体的には、伴奏再生部111は、楽曲データの演奏トラックに記述されたイベントデータを音声処理部16に出力する。表示制御部112は、歌詞トラックの歌詞データを表示部13に出力する。この結果、カラオケ伴奏音がスピーカ17から出力される一方、歌詞データの表す歌詞が表示部13に表示される。
【0025】
歌唱者は、スピーカ17から放音される伴奏音に併せて歌唱する。歌唱者の歌唱音声はマイクロホン15によってオーディオ信号に変換され、音声処理部16でA/D変換される。ピッチ検出部113は、音声処理部16でA/D変換されたオーディオデータ(以下「歌唱音声データ」という)からピッチを検出し、検出したピッチを表す歌唱ピッチデータSPを出力する。ピッチ検出部113で生成された歌唱ピッチデータSPは、採点部114へ出力される。
【0026】
採点部114は、リファレンスピッチデータRPと歌唱ピッチデータSPとを比較し、両者の差分に応じて歌唱の採点を行う。このとき、採点部114は、歌唱ピッチデータSPがリファレンスピッチデータRPよりも高い場合のほうが、歌唱ピッチデータSPがリファレンスピッチデータRPよりも低い場合よりも採点基準が厳しくなるように、採点を行う。すなわち、採点部114は、リファレンスピッチデータRPに対して歌唱ピッチデータSPがシャープ側にずれている場合(すなわち歌唱ピッチデータSPがリファレンスピッチデータRPよりも高い場合)に、歌唱ピッチデータSPがフラット側にずれている場合(すなわち歌唱ピッチデータSPがリファレンスピッチデータRPよりも低い場合)よりも厳しく採点する。
【0027】
ここで、採点部114が行う採点処理の具体的な処理の一例について、図5を参照しつつ説明する。図5は、採点部114が行う採点処理の流れを示すフローチャートである。採点部114は、まず、歌唱ピッチデータSPとリファレンスピッチデータRPとをフレーム単位で比較し、その差分が閾値より小さいか否かを判定する(ステップS1)。差分が閾値より小さい場合には(ステップS2;YES)、ノート単位採点処理(ステップS3)に進む一方、差分が閾値より大きい場合には(ステップS2;NO)、次のフレームに進み(ステップS4)、フレーム単位での比較処理を継続して行う(ステップS1)。すなわち、採点部114は、歌唱ピッチデータSPとリファレンスピッチデータRPとの差分が閾値より大きい場合にはそのノートについての採点を行わず(すなわちそのノートについて加点せず)、差分が閾値より小さくなった場合にノート単位での採点処理を開始する。
なお、この実施形態では、差分が閾値より小さい場合にそのノートについて加点処理を行うようにしたが、採点の態様はこれに限らず、例えば、差分が閾値より大きい場合にそのノートについて減点処理を行うようにしてもよい。
【0028】
ステップS1に示すフレーム単位の比較処理において、採点部114は、リファレンスピッチデータRPに対して歌唱ピッチデータSPがシャープ側にずれている場合とフラット側にずれている場合とで、異なる閾値を用いて判定を行う。図6は、フレーム単位判定処理の内容を説明するための図である。図6において、横軸は時刻を示し、縦軸はピッチを示している。採点部114は、歌唱ピッチデータSPとリファレンスピッチデータRPとの差分が閾値よりも小さいノートについて採点処理を行う。図6に示す例では、シャープ側の閾値を35(cent)とし、フラット側のずれを50(cent)としている。図6に示す例では、ノートN1では採点処理は行われない(加点されない)一方、ノートN2,N3について採点処理が行われる。このように、採点部114は、シャープ側の閾値をフラット側の閾値より小さくすることで、シャープ側のずれに対する採点がフラット側のずれに対する採点よりも厳しくなるような採点を行う。
【0029】
図5の説明に戻る。採点部114は、ステップS3において、リファレンスピッチデータRPと歌唱ピッチデータSPとをノート毎に比較し、両者の差分に応じてノート毎に採点を行う(ステップS3)。より具体的には、採点部114は、リファレンスデータに含まれるノート毎に、各ノート内の歌唱ピッチデータSPの平均値を算出し、算出した平均値とリファレンスピッチデータRPとの差分に応じて、ノート単位での採点を行う。このとき、採点部114は、算出した平均値がリファレンスピッチデータRPに対してシャープ側にずれている場合(すなわち算出した平均値がリファレンスピッチデータRPよりも高い場合)に、算出した平均値がフラット側にずれている場合(すなわち算出した平均値がリファレンスピッチデータRPよりも低い場合)よりも厳しく採点する。具体的には、採点部114は、算出した平均値がリファレンスデータRPに対してシャープ側にずれている場合とフラット側にずれている場合とで、異なる閾値を用いて採点を行う。
【0030】
ここで、ステップS3に示すノート単位採点処理について、図7を参照しつつ説明する。図7は、ノート単位の採点処理の内容を説明するための図である。図7において、横軸は、1ノート内の歌唱ピッチの平均とリファレンスピッチとの差(以下「DCパラメータ値」という)を示し、縦軸は、1ノート内の歌唱ピッチの平均と歌唱ピッチとの差の平均(以下「ACパラメータ値」という)を示す。採点部114は、DCパラメータ値とACパラメータ値との関係が、図7の領域P内に含まれない場合には、そのノートについて加点する一方、それ以外の場合には、そのノートについて加点を行わない。このとき、図7に示す例では、DCパラメータ値について、シャープ側の閾値を35(cent)とし、フラット側のずれを45(cent)としている。このように、採点部114は、シャープ側の閾値をフラット側の閾値よりも小さくすることで、シャープ側のずれに対する採点結果がフラット側のずれに対する採点結果よりも厳しくなるように採点する。
【0031】
ノート単位での採点を終えると、採点部114は、楽曲が終了したか否かを判定し(ステップS5)、楽曲が終了したと判定された場合には(ステップS5;YES)、総合採点処理(ステップS6)に進む一方、楽曲が終了していない場合には(ステップS5;NO)、次のノートの採点処理を行うべく、ステップS1の処理に戻ってフレーム単位での比較処理を続行する(ステップS1)。
【0032】
採点部114は、楽曲が終了したと判定された場合には(ステップS5;YES)、ノート毎の採点結果を集計することによって、楽曲全体の総合採点を行う(ステップS6)。このとき、採点部114は、楽曲における高音・低音を考慮して総合得点を計算する。
この総合得点の算出処理の一例について、以下に説明する。まず、採点部114は、リファレンスピッチデータが予め定められた条件を満たすかを判定することによって、各ノートを、高音部・中音部・低音部の3つのグループに分類する。グループ分けの方法としては、例えば、採点部114は、楽曲に含まれるノートから、一番高いノート(トップノート)から高い順に予め定めされた個数(例えば、10個)のノートを高音として判断する。同様に、採点部114は、楽曲に含まれるノートから、低い順に予め定められた個数(例えば、10個)のノートを低音として判断する。すなわち、採点部114は、リファレンスデータに含まれるノートをピッチの降順(又は昇順)にソートした場合に、予め定められた順位内に含まれるノートを高音(又は低音)と判定する。なお、グループ分けの方法はこれに限定されるものではなく、各ノートのピッチが予め定められた条件を満たすか否かを判定することによってグループ分けを行うものであればよい。
【0033】
次いで、採点部114は、高音部に含まれるノート及び低音部に含まれるノートがそれ以外のノート(すなわち中音部に含まれるノート)よりも採点基準が厳しくなるように採点を行う。具体的には、例えば、高音部と低音部に含まれるノートについては、中音部に含まれるノートで採点する場合よりも減点量を2倍にするようにしてもよい。具体的には、例えば、採点部114は、以下のようにして総合得点を算出する。まず、採点部114は、楽曲全体の得点tpを算出する。次いで、採点部114は、高音部に含まれるノートの得点を集計することによって高音部の得点hpを算出する。次いで、採点部114は、低音部に含まれるノートの得点を集計することによって低音部の得点lpを算出する。次いで、採点部114は、以下の(1)式を用いて、高音部と低音部で各5点分の減点を行って総合得点tpを修正する。
tp=tp−(5−(hp/20))−(5−(lp/20))…(1)
このようにして、採点部114は、高音部に含まれるノート及び低音部に含まれるノートがそれ以外のノート(すなわち中音部に含まれるノート)よりも厳しく採点する。
【0034】
図4の説明に戻る。採点部114は、採点結果を示すデータを表示制御部112に出力する(ステップS7)。表示制御部112は、採点部114から供給されるデータに基づいて、採点結果を示す画像を表示部13に表示させる。歌唱者は、表示部13に表示される画面を参照することで、自身の歌唱の採点結果を確認することができる。
【0035】
ところで、歌唱を聴取する場合において、聴取者は、シャープ側の音程ずれは気になるが、逆(フラット側の音程のずれ)はあまり気にならないことが多い。従来の装置では、シャープ側のずれとフラット側のずれを同じように採点していたため、装置が算出する得点と人の聴感との間にずれが生じる場合があった。具体的には、例えば、歌唱の音程がシャープ側にずれているために、聴取者が音程がひどくずれていると感じる歌唱であっても、採点結果がそれほど悪くなかったり、逆に、歌唱の音程がフラット側にずれているために聴取者がそれほど音程ずれを感じない歌唱であっても、算出される採点結果が悪い場合があった。それに対しこの実施形態では、シャープ側のずれをフラット側のずれよりも厳しく採点するから、これにより、従来と比較して、装置による採点結果を聴取者の聴感に近づけることができ、人の聴感と装置による採点とのずれを軽減することができる。
【0036】
また、歌唱を聴取する場合において、高音部や低音部における音程ずれが聴取者の印象に残ることが多く、そのため、高音部や低音部において音程がずれていた場合に、聴取者にとってその歌唱全体の評価が悪くなることが多い。従来の装置では、どの音域についても同様に評価していたため、装置が算出する得点と人の聴感との間にずれが生じる場合があった。具体的には、例えば、高音部で大きく音程がずれているために聴取者による評価が低い歌唱であっても、装置による採点結果がそれほど悪くなかったり、逆に、音程のはずれた音が中音域に集中しているために聴取者による評価がそれほど悪くない歌唱であっても、装置による採点結果が悪い場合があった。それに対しこの実施形態では、高音部と低音部においてそれ以外よりも厳しく採点を行うから、これにより、装置による採点結果を聴取者の聴感に近づけることができ、人の聴感と装置による採点とのずれを軽減することができる。
【0037】
<C:変形例>
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
(1)上述の実施形態において、制御部11が、歌唱ピッチデータSPがリファレンスピッチデータRPよりも高いか低いかを判定し、判定結果を表示部13に表示するようにしてもよい。具体的には、例えば、制御部11は、歌唱ピッチデータSPがリファレンスピッチデータRPよりも高いか低いかをノート毎に判定し、判定結果を集計し、集計結果を示すデータを表示部13に出力する。表示部13は、制御部11から供給されるデータに基づいて、図8に例示する画面を表示する。図8に例示する画面においては、楽曲全体における歌唱音声がリファレンスデータの示す音程に対してシャープぎみかフラットぎみかを示す画像やコメント等が表示される。これにより、歌唱者は、自身の歌唱がシャープ気味なのかフラット気味なのかを把握することができ、また、この結果に基づいて自身の歌唱を修正することができる。
歌唱音声がリファレンスと比較してシャープ気味かフラット気味かを歌唱者に報知する態様はこれに限らず、例えば、図9に示すように、シャープぎみかフラットぎみかをノート単位や小節単位等で判定し、判定結果を示すアイコンI1,I2,I3を表示部13に表示するようにしてもよい。
【0038】
また、報知の態様はこれに限らず、例えば、音声メッセージを出力することによって報知してもよく、また、判定結果を示す情報を電子メール形式で歌唱者のメール端末に送信するという形態であってもよい。また、判定結果を示す情報を記憶端末に出力して記憶させるようにしてもよく、この場合、操作者はコンピュータを用いてこの記憶媒体から情報を読み出させることで、それらを参照することができる。また、判定結果を所定の用紙に印刷出力してもよい。要は歌唱者に対して何らかの手段でメッセージ乃至情報を伝えられるように、評価結果を示す情報を出力するものであればよい。
【0039】
(2)上述の実施形態において、制御部11が、歌唱の開始部分やサビ部分で採点の重み付けをするようにしてもよい。この場合は、制御部11は、楽曲データに含まれる特定の時間区間(歌唱開始区間、サビ区間等)を示す特定区間データを参照し、特定区間データによって示される時間区間を、それ以外の区間よりも厳しく採点する。
また、上述の実施形態において、楽曲のジャンルを判別し、ジャンルによって採点態様を異ならせて採点を行うようにしてもよい。この場合は、ジャンル種別と採点態様との対応関係を示すテーブル等を記憶部12に予め記憶しておき、制御部11は、楽曲データに含まれるジャンルの種別を示すジャンルデータを参照し、例えば、ジャンルが「童謡」である場合には採点基準をやさしくし、ジャンルが「演歌」の場合には採点基準を厳しくする、といったように、記憶部12に記憶されたテーブル等を参照して採点態様を異ならせて採点を行うようにしてもよい。
【0040】
(3)上述の実施形態において、歌唱音声の比較対象となるリファレンスデータは、例えば楽曲のガイドメロディを表すデータであってもよく、また、楽曲の模範となる歌唱音声を表すデータであってもよく、楽曲の模範となる音を表すデータであればどのようなものであってもよい。
【0041】
(4)上述の実施形態では、シャープ側の閾値を35centとし、フラット側の閾値を45centとして、シャープ側の判定がフラット側の判定よりも厳しくなるようにしたが、閾値として用いる値はこれに限定されるものではなく、例えば、シャープ側を50セント、フラット側を70セントとしてもよく、シャープ側の採点がフラット側の採点よりも厳しくなるような閾値であればよい。
【0042】
また、上述の実施形態では、シャープ側とフラット側とで閾値を異ならせることによって、シャープ側の採点をフラット側よりも厳しく採点するようにしたが、採点の態様はこれに限らず、例えば、図7に示すノート単位採点処理に代えて、図10に示すような採点を行うようにしてもよい。図10に示す例においては、シャープ側の領域P1(加点対象とならない領域)をフラット側の領域P2(加点対象とならない領域)よりも広くすることによって、シャープ側のずれを厳しく採点する。
【0043】
(5)上述の実施形態では、歌唱者の歌唱音声をリアルタイムで解析するようにしたが、必ずしもリアルタイムで解析する必要はなく、例えば記憶部に予め記憶されたオーディオ信号を解析するようにしてもよい。また、例えば、カラオケ装置1にインターネット等の通信ネットワークを介してデータ伝送を行うための通信部を設ける構成とし、通信ネットワークを介してオーディオ信号を受信し、受信したオーディオ信号を解析するようにしてもよい。
【0044】
(6)上述の実施形態では、制御部11が、楽曲データ記憶領域121に記憶された楽曲データに含まれるリファレンスデータからリファレンスピッチデータRPを生成するが、これに代えて、模範となる楽音のピッチを表すリファレンスピッチデータを予め記憶部12に記憶しておくようにしてもよい。
【0045】
(7)上述の実施形態では、歌唱者の歌唱音声とリファレンスデータとを比較したが、歌唱者の歌唱音声に変えて、演奏者による楽器の演奏音とリファレンスデータとを比較してもよい。本実施形態にいう「音声」には、人間が発生した音声や楽器の演奏音といった種々の音響が含まれる。
【0046】
(8)上述の実施形態では、カラオケ装置1が本実施形態に係る全ての処理を実行するようになっていた。これに対し、通信ネットワークで接続された2以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置1を実現するようにしてもよい。例えば、マイクロホンやスピーカ、表示装置及び操作部等を備えるコンピュータ装置と、採点処理を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、例えば、コンピュータ装置が、マイクロホンで収音された音声をオーディオ信号に変換してサーバ装置に送信し、サーバ装置が、受信したオーディオ信号を解析して採点し、採点結果をコンピュータ装置に送信してもよい。
【0047】
(9)上述した実施形態におけるカラオケ装置1の制御部11によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、RAM、ROMなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置1にダウンロードさせることも可能である。
【図面の簡単な説明】
【0048】
【図1】カラオケ装置のハードウェア構成の一例を示すブロック図である。
【図2】楽曲データの構造を示す図である。
【図3】楽曲データに含まれるリファレンスデータトラックの内容を示す図である。
【図4】カラオケ装置の制御部が行う処理の流れを示す図である。
【図5】採点処理の流れを示すフローチャートである。
【図6】採点処理の内容を説明するための図である。
【図7】採点処理の内容を説明するための図である。
【図8】表示部に表示される画面の一例を示す図である。
【図9】表示部に表示される画面の一例を示す図である。
【図10】採点処理の内容を説明するための図である。
【符号の説明】
【0049】
1…カラオケ装置、11…制御部、12…記憶部、13…表示部、14…操作部、15…マイクロホン、16…音声処理部、111…伴奏再生部、112…表示制御部、113…ピッチ検出部、114…採点部、17…スピーカ、121…楽曲データ記憶領域、122…背景画データ記憶領域。
【技術分野】
【0001】
本発明は、歌唱(又は演奏)を評価する技術に関する。
【背景技術】
【0002】
カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献1においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互関係を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。
【特許文献1】特開2005−107330号公報
【発明の開示】
【発明が解決しようとする課題】
【0003】
ところで、歌唱の採点を行うカラオケ装置においては、装置による採点結果と聴取者が感じる歌唱の巧拙との間にずれがある場合がある。具体的には、音程がずれていると聴取者が感じる歌唱であっても装置による採点結果がそれほど悪くなかったり、逆に、音程がそれほどずれていないと聴取者が感じる歌唱であっても装置による採点結果が悪い場合がある。これは、楽器の演奏についても同様である。
本発明は上述した背景の下になされたものであり、歌唱(又は演奏)の採点において、従来と比較して、より人間の聴感に近い採点を行うことのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0004】
上記課題を解決するため、本発明の好適な態様である採点装置は、模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを比較し、両者の差分に応じて採点を行う採点手段であって、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも高い場合のほうが、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも低い場合よりも採点基準が厳しくなるように採点を行う採点手段と、前記採点手段による採点結果を示すデータを出力する出力手段とを具備することを特徴とする。
【0005】
上述の態様において、前記リファレンスデータ記憶手段は、模範となる音をノートの列で表すリファレンスデータを記憶し、前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行ってもよい。
【0006】
また、上述の態様において、前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行うとともに、前記ノート毎の採点結果を集計した採点を行ってもよい。
【0007】
また、前記採点手段は、前記ノート毎に、前記ピッチ検出手段により検出されたピッチのノート内の平均値を算出し、算出した平均値と前記リファレンスデータの示すピッチとの差分に応じて採点を行ってもよい。
【0008】
また、上述の態様において、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチよりも高いか否か及び低いか否かの少なくともいずれか一方を判定し、該判定結果を報知する報知手段を具備してもよい。
【0009】
また、上述の態様において、前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、前記採点手段は、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行ってもよい。
【0010】
また、本発明の好適な態様である採点装置は、模範となる音をノートの列で表すリファレンスデータを記憶するリファレンスデータ記憶手段と、収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて採点を行う採点手段であって、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う採点手段と、前記採点手段による採点結果を示すデータを出力する出力手段とを具備することを特徴とする。
【0011】
上述の態様において、前記判定手段は、前記リファレンスデータに含まれるノートをピッチの昇順又は降順にソートした場合に、各ノートのそれぞれについて、該ノートが予め定められた順位内に含まれるか否かを判定してもよい。
【0012】
上述の態様において、前記リファレンスデータ記憶手段は、特定の時間区間を示す特定区間データを含むとともに模範となる音を表すリファレンスデータを記憶し、前記採点手段は、前記特定区間データによって示される時間区間をそれ以外の区間よりも採点基準が厳しくなるように採点を行ってもよい。
【発明の効果】
【0013】
本発明によれば、歌唱(又は演奏)の採点において、従来と比較して、より人間の聴感に近い採点を行うことができる。
【発明を実施するための最良の形態】
【0014】
<A:構成>
図1は、この発明の一実施形態であるカラオケ装置1のハードウェア構成を示すブロック図である。図において、制御部11は、CPU(Central Processing Unit)や、ROM(Read Only Memory)、RAM(Random Access Memory)を備え、ROM又は記憶部12に記憶されているコンピュータプログラムを読み出して実行することにより、バスBUSを介してカラオケ装置1の各部を制御する。記憶部12は、制御部11によって実行されるコンピュータプログラムやその実行時に使用されるデータを記憶するための記憶手段であり、例えばハードディスク装置である。表示部13は、液晶パネルを備え、制御部11による制御の下に各種の画像を表示する。操作部14は、カラオケ装置1の利用者による操作に応じた信号を制御部11に出力する。マイクロホン15は、収音し、収音した音声を表すオーディオ信号(アナログ信号)を出力する収音手段である。音声処理部16は、マイクロホン15が出力するオーディオ信号(アナログ信号)をデジタルデータに変換する。また、音声処理部16は、デジタルデータをアナログ信号に変換してスピーカ17に出力する。スピーカ17は、音声処理部16でデジタルデータからアナログ信号に変換され出力されるオーディオ信号に応じた強度で放音する放音手段である。
【0015】
なお、この実施形態では、マイクロホン15とスピーカ17とがカラオケ装置1に含まれている場合について説明するが、音声処理部16に入力端子及び出力端子を設け、オーディオケーブルを介してその入力端子に外部マイクロホンを接続する構成としても良く、同様に、オーディオケーブルを介してその出力端子に外部スピーカを接続するとしても良い。また、この実施形態では、マイクロホン15から音声処理部16へ入力されるオーディオ信号及び音声処理部16からスピーカ17へ出力されるオーディオ信号がアナログオーディオ信号である場合について説明するが、デジタルオーディオデータを入出力するようにしても良い。このような場合には、音声処理部16にてA/D変換やD/A変換を行う必要はない。表示部13についても同様であり、外部出力端子を設け、外部モニタを接続する構成としてもよい。
【0016】
カラオケ装置1の記憶部12は、図1に示すように、楽曲データ記憶領域121と、背景画データ記憶領域122とを有している。楽曲データ記憶領域121には、楽曲の伴奏音や歌詞を表す楽曲データが記憶されている。背景画データ記憶領域122には、カラオケ伴奏時に背景として表示される動画像を表す背景画データが記憶されている。
【0017】
ここで、楽曲データ記憶領域121に記憶された楽曲データの内容の一例について説明する。楽曲データは、図2に示すように、ヘッダと複数のトラックとを有しており、複数のトラックには、利用者が歌唱すべき旋律(ピッチ)の内容を表すリファレンスデータが記述されたリファレンスデータトラック、カラオケ演奏音の内容を表す演奏データが記述された演奏トラック、歌詞の内容を表す歌詞データが記述された歌詞トラックがある。また、ヘッダ部分には、図2に示すように楽曲を特定する曲番号データ、楽曲の曲名を示す曲名データ、ジャンルを示すジャンルデータ、楽曲の演奏時間を示す演奏時間データ等が含まれている。以上の楽曲データは、MIDIフォーマットに従って記述されている。
【0018】
次に、リファレンスデータトラックに記述されているリファレンスデータの具体例について、図3を参照しつつ説明する。リファレンスデータは、模範となる音をノートの列で表すデータである。図3は行と列のマトリックスになっているので、まず、列について説明する。第1列のデルタタイムは、イベントとイベントとの時間間隔を示しており、テンポクロックの数で表される。デルタタイムが「0」の場合は、直前のイベントと同時に実行される。第2列には演奏データの各イベントが持つメッセージの内容が記述されている。このメッセージには、発音イベントを示すノートオンメッセージ(NoteOn)や消音イベントを示すノートオフメッセージ(NoteOff)の他、コントロールチェンジメッセージ等が含まれる。なお、図3に示す例では、コントロールチェンジメッセージは含まれていない。
【0019】
第3列にはチャネルの番号が記述されている。ここでは、説明の簡略のためリファレンスデータトラックのチャンネル番号を「1」としている。
第4列には、ノートナンバ(NoteNum)あるいはコントロールナンバ(CtrlNum)が記述されるが、どちらが記述されるかはメッセージの内容により異なる。例えば、ノートオンメッセージ又はノートオフメッセージであれば、ここには音階を表すノートナンバが記述され、またコントロールチェンジメッセージであればその種類を示すコントロールナンバが記述されている。
第5列にはMIDIメッセージの具体的な値(データ)が記述されている。例えばノートオンメッセージであれば、ここには音の強さを表すベロシティの値が記述され、ノートオフメッセージであれば、音を消す速さを表すベロシティの値が記述され、またコントロールチェンジメッセージであればコントロールナンバに応じたパラメータの値が記述されている。
【0020】
次に、図3に示す各行は、歌唱すべきメロディの各音符の属性を示す楽音パラメータとなっており、ノートオンイベント、ノートオフイベントで構成される。
図3に示す例では、デルタタイム480の長さを4分音符の長さとしている。この場合、第1行、第2行のイベント処理によりC4音が4分音符の長さにわたって発音されることが示され、第3行、第4行のイベント処理によりG4音が4分音符の長さにわたって発音されることが示される。そして、第5行、第6行の処理によりF4音が2分音符の長さにわたって発音されることが示される。
【0021】
利用者が楽曲指定操作を行うと、曲番号データを基にして、指定された楽曲データが楽曲データ記憶領域121から読み出され、RAMに転送される。制御部11がRAM内の楽曲データを順次読み出して処理することで楽曲の演奏が進行する。このとき、リファレンスデータも楽曲の進行と同期して読み出され、制御部11はリファレンスデータのノートとベロシティに応じてリファレンスピッチデータRPを生成する。
【0022】
一方、マイクロホン15に入力された歌唱者の音声は、歌唱音声信号となり、アンプ(図示略)を介してスピーカ17により出力されるとともに、音声処理部16に入力される。音声処理部16がこの歌唱音声信号S1をA/D変換した後、制御部11は、歌唱音声のピッチを抽出し、歌唱ピッチデータSPとして出力する。この場合、歌唱音声のピッチの抽出処理はおよそ30msごとに行われるようになっている。
【0023】
<B:動作>
図4は、カラオケ装置1の制御部11が行う処理の流れを示す図である。以下、図4を参照しつつ、この実施形態の動作について説明する。なお、図4において、伴奏再生部111、表示制御部112、ピッチ検出部113及び採点部114は、制御部11がROM又は記憶部12に記憶されたコンピュータプログラムを読み出して実行することにより実現される。なお、図中の矢印はデータの流れを概略的に示すものである。
【0024】
利用者が操作部14を用いて楽曲指定操作を行うと、指定された楽曲の楽曲データが楽曲データ記憶領域121からRAMへ転送される。伴奏再生部111は、RAM内の楽曲データのイベントを順次読み出すことによりカラオケ伴奏を行い、表示制御部112は、RAM内の楽曲データの歌詞データを順次読み出すことにより歌詞表示処理を実行する。具体的には、伴奏再生部111は、楽曲データの演奏トラックに記述されたイベントデータを音声処理部16に出力する。表示制御部112は、歌詞トラックの歌詞データを表示部13に出力する。この結果、カラオケ伴奏音がスピーカ17から出力される一方、歌詞データの表す歌詞が表示部13に表示される。
【0025】
歌唱者は、スピーカ17から放音される伴奏音に併せて歌唱する。歌唱者の歌唱音声はマイクロホン15によってオーディオ信号に変換され、音声処理部16でA/D変換される。ピッチ検出部113は、音声処理部16でA/D変換されたオーディオデータ(以下「歌唱音声データ」という)からピッチを検出し、検出したピッチを表す歌唱ピッチデータSPを出力する。ピッチ検出部113で生成された歌唱ピッチデータSPは、採点部114へ出力される。
【0026】
採点部114は、リファレンスピッチデータRPと歌唱ピッチデータSPとを比較し、両者の差分に応じて歌唱の採点を行う。このとき、採点部114は、歌唱ピッチデータSPがリファレンスピッチデータRPよりも高い場合のほうが、歌唱ピッチデータSPがリファレンスピッチデータRPよりも低い場合よりも採点基準が厳しくなるように、採点を行う。すなわち、採点部114は、リファレンスピッチデータRPに対して歌唱ピッチデータSPがシャープ側にずれている場合(すなわち歌唱ピッチデータSPがリファレンスピッチデータRPよりも高い場合)に、歌唱ピッチデータSPがフラット側にずれている場合(すなわち歌唱ピッチデータSPがリファレンスピッチデータRPよりも低い場合)よりも厳しく採点する。
【0027】
ここで、採点部114が行う採点処理の具体的な処理の一例について、図5を参照しつつ説明する。図5は、採点部114が行う採点処理の流れを示すフローチャートである。採点部114は、まず、歌唱ピッチデータSPとリファレンスピッチデータRPとをフレーム単位で比較し、その差分が閾値より小さいか否かを判定する(ステップS1)。差分が閾値より小さい場合には(ステップS2;YES)、ノート単位採点処理(ステップS3)に進む一方、差分が閾値より大きい場合には(ステップS2;NO)、次のフレームに進み(ステップS4)、フレーム単位での比較処理を継続して行う(ステップS1)。すなわち、採点部114は、歌唱ピッチデータSPとリファレンスピッチデータRPとの差分が閾値より大きい場合にはそのノートについての採点を行わず(すなわちそのノートについて加点せず)、差分が閾値より小さくなった場合にノート単位での採点処理を開始する。
なお、この実施形態では、差分が閾値より小さい場合にそのノートについて加点処理を行うようにしたが、採点の態様はこれに限らず、例えば、差分が閾値より大きい場合にそのノートについて減点処理を行うようにしてもよい。
【0028】
ステップS1に示すフレーム単位の比較処理において、採点部114は、リファレンスピッチデータRPに対して歌唱ピッチデータSPがシャープ側にずれている場合とフラット側にずれている場合とで、異なる閾値を用いて判定を行う。図6は、フレーム単位判定処理の内容を説明するための図である。図6において、横軸は時刻を示し、縦軸はピッチを示している。採点部114は、歌唱ピッチデータSPとリファレンスピッチデータRPとの差分が閾値よりも小さいノートについて採点処理を行う。図6に示す例では、シャープ側の閾値を35(cent)とし、フラット側のずれを50(cent)としている。図6に示す例では、ノートN1では採点処理は行われない(加点されない)一方、ノートN2,N3について採点処理が行われる。このように、採点部114は、シャープ側の閾値をフラット側の閾値より小さくすることで、シャープ側のずれに対する採点がフラット側のずれに対する採点よりも厳しくなるような採点を行う。
【0029】
図5の説明に戻る。採点部114は、ステップS3において、リファレンスピッチデータRPと歌唱ピッチデータSPとをノート毎に比較し、両者の差分に応じてノート毎に採点を行う(ステップS3)。より具体的には、採点部114は、リファレンスデータに含まれるノート毎に、各ノート内の歌唱ピッチデータSPの平均値を算出し、算出した平均値とリファレンスピッチデータRPとの差分に応じて、ノート単位での採点を行う。このとき、採点部114は、算出した平均値がリファレンスピッチデータRPに対してシャープ側にずれている場合(すなわち算出した平均値がリファレンスピッチデータRPよりも高い場合)に、算出した平均値がフラット側にずれている場合(すなわち算出した平均値がリファレンスピッチデータRPよりも低い場合)よりも厳しく採点する。具体的には、採点部114は、算出した平均値がリファレンスデータRPに対してシャープ側にずれている場合とフラット側にずれている場合とで、異なる閾値を用いて採点を行う。
【0030】
ここで、ステップS3に示すノート単位採点処理について、図7を参照しつつ説明する。図7は、ノート単位の採点処理の内容を説明するための図である。図7において、横軸は、1ノート内の歌唱ピッチの平均とリファレンスピッチとの差(以下「DCパラメータ値」という)を示し、縦軸は、1ノート内の歌唱ピッチの平均と歌唱ピッチとの差の平均(以下「ACパラメータ値」という)を示す。採点部114は、DCパラメータ値とACパラメータ値との関係が、図7の領域P内に含まれない場合には、そのノートについて加点する一方、それ以外の場合には、そのノートについて加点を行わない。このとき、図7に示す例では、DCパラメータ値について、シャープ側の閾値を35(cent)とし、フラット側のずれを45(cent)としている。このように、採点部114は、シャープ側の閾値をフラット側の閾値よりも小さくすることで、シャープ側のずれに対する採点結果がフラット側のずれに対する採点結果よりも厳しくなるように採点する。
【0031】
ノート単位での採点を終えると、採点部114は、楽曲が終了したか否かを判定し(ステップS5)、楽曲が終了したと判定された場合には(ステップS5;YES)、総合採点処理(ステップS6)に進む一方、楽曲が終了していない場合には(ステップS5;NO)、次のノートの採点処理を行うべく、ステップS1の処理に戻ってフレーム単位での比較処理を続行する(ステップS1)。
【0032】
採点部114は、楽曲が終了したと判定された場合には(ステップS5;YES)、ノート毎の採点結果を集計することによって、楽曲全体の総合採点を行う(ステップS6)。このとき、採点部114は、楽曲における高音・低音を考慮して総合得点を計算する。
この総合得点の算出処理の一例について、以下に説明する。まず、採点部114は、リファレンスピッチデータが予め定められた条件を満たすかを判定することによって、各ノートを、高音部・中音部・低音部の3つのグループに分類する。グループ分けの方法としては、例えば、採点部114は、楽曲に含まれるノートから、一番高いノート(トップノート)から高い順に予め定めされた個数(例えば、10個)のノートを高音として判断する。同様に、採点部114は、楽曲に含まれるノートから、低い順に予め定められた個数(例えば、10個)のノートを低音として判断する。すなわち、採点部114は、リファレンスデータに含まれるノートをピッチの降順(又は昇順)にソートした場合に、予め定められた順位内に含まれるノートを高音(又は低音)と判定する。なお、グループ分けの方法はこれに限定されるものではなく、各ノートのピッチが予め定められた条件を満たすか否かを判定することによってグループ分けを行うものであればよい。
【0033】
次いで、採点部114は、高音部に含まれるノート及び低音部に含まれるノートがそれ以外のノート(すなわち中音部に含まれるノート)よりも採点基準が厳しくなるように採点を行う。具体的には、例えば、高音部と低音部に含まれるノートについては、中音部に含まれるノートで採点する場合よりも減点量を2倍にするようにしてもよい。具体的には、例えば、採点部114は、以下のようにして総合得点を算出する。まず、採点部114は、楽曲全体の得点tpを算出する。次いで、採点部114は、高音部に含まれるノートの得点を集計することによって高音部の得点hpを算出する。次いで、採点部114は、低音部に含まれるノートの得点を集計することによって低音部の得点lpを算出する。次いで、採点部114は、以下の(1)式を用いて、高音部と低音部で各5点分の減点を行って総合得点tpを修正する。
tp=tp−(5−(hp/20))−(5−(lp/20))…(1)
このようにして、採点部114は、高音部に含まれるノート及び低音部に含まれるノートがそれ以外のノート(すなわち中音部に含まれるノート)よりも厳しく採点する。
【0034】
図4の説明に戻る。採点部114は、採点結果を示すデータを表示制御部112に出力する(ステップS7)。表示制御部112は、採点部114から供給されるデータに基づいて、採点結果を示す画像を表示部13に表示させる。歌唱者は、表示部13に表示される画面を参照することで、自身の歌唱の採点結果を確認することができる。
【0035】
ところで、歌唱を聴取する場合において、聴取者は、シャープ側の音程ずれは気になるが、逆(フラット側の音程のずれ)はあまり気にならないことが多い。従来の装置では、シャープ側のずれとフラット側のずれを同じように採点していたため、装置が算出する得点と人の聴感との間にずれが生じる場合があった。具体的には、例えば、歌唱の音程がシャープ側にずれているために、聴取者が音程がひどくずれていると感じる歌唱であっても、採点結果がそれほど悪くなかったり、逆に、歌唱の音程がフラット側にずれているために聴取者がそれほど音程ずれを感じない歌唱であっても、算出される採点結果が悪い場合があった。それに対しこの実施形態では、シャープ側のずれをフラット側のずれよりも厳しく採点するから、これにより、従来と比較して、装置による採点結果を聴取者の聴感に近づけることができ、人の聴感と装置による採点とのずれを軽減することができる。
【0036】
また、歌唱を聴取する場合において、高音部や低音部における音程ずれが聴取者の印象に残ることが多く、そのため、高音部や低音部において音程がずれていた場合に、聴取者にとってその歌唱全体の評価が悪くなることが多い。従来の装置では、どの音域についても同様に評価していたため、装置が算出する得点と人の聴感との間にずれが生じる場合があった。具体的には、例えば、高音部で大きく音程がずれているために聴取者による評価が低い歌唱であっても、装置による採点結果がそれほど悪くなかったり、逆に、音程のはずれた音が中音域に集中しているために聴取者による評価がそれほど悪くない歌唱であっても、装置による採点結果が悪い場合があった。それに対しこの実施形態では、高音部と低音部においてそれ以外よりも厳しく採点を行うから、これにより、装置による採点結果を聴取者の聴感に近づけることができ、人の聴感と装置による採点とのずれを軽減することができる。
【0037】
<C:変形例>
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。なお、以下の各態様を適宜に組み合わせてもよい。
(1)上述の実施形態において、制御部11が、歌唱ピッチデータSPがリファレンスピッチデータRPよりも高いか低いかを判定し、判定結果を表示部13に表示するようにしてもよい。具体的には、例えば、制御部11は、歌唱ピッチデータSPがリファレンスピッチデータRPよりも高いか低いかをノート毎に判定し、判定結果を集計し、集計結果を示すデータを表示部13に出力する。表示部13は、制御部11から供給されるデータに基づいて、図8に例示する画面を表示する。図8に例示する画面においては、楽曲全体における歌唱音声がリファレンスデータの示す音程に対してシャープぎみかフラットぎみかを示す画像やコメント等が表示される。これにより、歌唱者は、自身の歌唱がシャープ気味なのかフラット気味なのかを把握することができ、また、この結果に基づいて自身の歌唱を修正することができる。
歌唱音声がリファレンスと比較してシャープ気味かフラット気味かを歌唱者に報知する態様はこれに限らず、例えば、図9に示すように、シャープぎみかフラットぎみかをノート単位や小節単位等で判定し、判定結果を示すアイコンI1,I2,I3を表示部13に表示するようにしてもよい。
【0038】
また、報知の態様はこれに限らず、例えば、音声メッセージを出力することによって報知してもよく、また、判定結果を示す情報を電子メール形式で歌唱者のメール端末に送信するという形態であってもよい。また、判定結果を示す情報を記憶端末に出力して記憶させるようにしてもよく、この場合、操作者はコンピュータを用いてこの記憶媒体から情報を読み出させることで、それらを参照することができる。また、判定結果を所定の用紙に印刷出力してもよい。要は歌唱者に対して何らかの手段でメッセージ乃至情報を伝えられるように、評価結果を示す情報を出力するものであればよい。
【0039】
(2)上述の実施形態において、制御部11が、歌唱の開始部分やサビ部分で採点の重み付けをするようにしてもよい。この場合は、制御部11は、楽曲データに含まれる特定の時間区間(歌唱開始区間、サビ区間等)を示す特定区間データを参照し、特定区間データによって示される時間区間を、それ以外の区間よりも厳しく採点する。
また、上述の実施形態において、楽曲のジャンルを判別し、ジャンルによって採点態様を異ならせて採点を行うようにしてもよい。この場合は、ジャンル種別と採点態様との対応関係を示すテーブル等を記憶部12に予め記憶しておき、制御部11は、楽曲データに含まれるジャンルの種別を示すジャンルデータを参照し、例えば、ジャンルが「童謡」である場合には採点基準をやさしくし、ジャンルが「演歌」の場合には採点基準を厳しくする、といったように、記憶部12に記憶されたテーブル等を参照して採点態様を異ならせて採点を行うようにしてもよい。
【0040】
(3)上述の実施形態において、歌唱音声の比較対象となるリファレンスデータは、例えば楽曲のガイドメロディを表すデータであってもよく、また、楽曲の模範となる歌唱音声を表すデータであってもよく、楽曲の模範となる音を表すデータであればどのようなものであってもよい。
【0041】
(4)上述の実施形態では、シャープ側の閾値を35centとし、フラット側の閾値を45centとして、シャープ側の判定がフラット側の判定よりも厳しくなるようにしたが、閾値として用いる値はこれに限定されるものではなく、例えば、シャープ側を50セント、フラット側を70セントとしてもよく、シャープ側の採点がフラット側の採点よりも厳しくなるような閾値であればよい。
【0042】
また、上述の実施形態では、シャープ側とフラット側とで閾値を異ならせることによって、シャープ側の採点をフラット側よりも厳しく採点するようにしたが、採点の態様はこれに限らず、例えば、図7に示すノート単位採点処理に代えて、図10に示すような採点を行うようにしてもよい。図10に示す例においては、シャープ側の領域P1(加点対象とならない領域)をフラット側の領域P2(加点対象とならない領域)よりも広くすることによって、シャープ側のずれを厳しく採点する。
【0043】
(5)上述の実施形態では、歌唱者の歌唱音声をリアルタイムで解析するようにしたが、必ずしもリアルタイムで解析する必要はなく、例えば記憶部に予め記憶されたオーディオ信号を解析するようにしてもよい。また、例えば、カラオケ装置1にインターネット等の通信ネットワークを介してデータ伝送を行うための通信部を設ける構成とし、通信ネットワークを介してオーディオ信号を受信し、受信したオーディオ信号を解析するようにしてもよい。
【0044】
(6)上述の実施形態では、制御部11が、楽曲データ記憶領域121に記憶された楽曲データに含まれるリファレンスデータからリファレンスピッチデータRPを生成するが、これに代えて、模範となる楽音のピッチを表すリファレンスピッチデータを予め記憶部12に記憶しておくようにしてもよい。
【0045】
(7)上述の実施形態では、歌唱者の歌唱音声とリファレンスデータとを比較したが、歌唱者の歌唱音声に変えて、演奏者による楽器の演奏音とリファレンスデータとを比較してもよい。本実施形態にいう「音声」には、人間が発生した音声や楽器の演奏音といった種々の音響が含まれる。
【0046】
(8)上述の実施形態では、カラオケ装置1が本実施形態に係る全ての処理を実行するようになっていた。これに対し、通信ネットワークで接続された2以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置1を実現するようにしてもよい。例えば、マイクロホンやスピーカ、表示装置及び操作部等を備えるコンピュータ装置と、採点処理を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、例えば、コンピュータ装置が、マイクロホンで収音された音声をオーディオ信号に変換してサーバ装置に送信し、サーバ装置が、受信したオーディオ信号を解析して採点し、採点結果をコンピュータ装置に送信してもよい。
【0047】
(9)上述した実施形態におけるカラオケ装置1の制御部11によって実行されるプログラムは、磁気テープ、磁気ディスク、フレキシブルディスク、光記録媒体、光磁気記録媒体、RAM、ROMなどの記録媒体に記録した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置1にダウンロードさせることも可能である。
【図面の簡単な説明】
【0048】
【図1】カラオケ装置のハードウェア構成の一例を示すブロック図である。
【図2】楽曲データの構造を示す図である。
【図3】楽曲データに含まれるリファレンスデータトラックの内容を示す図である。
【図4】カラオケ装置の制御部が行う処理の流れを示す図である。
【図5】採点処理の流れを示すフローチャートである。
【図6】採点処理の内容を説明するための図である。
【図7】採点処理の内容を説明するための図である。
【図8】表示部に表示される画面の一例を示す図である。
【図9】表示部に表示される画面の一例を示す図である。
【図10】採点処理の内容を説明するための図である。
【符号の説明】
【0049】
1…カラオケ装置、11…制御部、12…記憶部、13…表示部、14…操作部、15…マイクロホン、16…音声処理部、111…伴奏再生部、112…表示制御部、113…ピッチ検出部、114…採点部、17…スピーカ、121…楽曲データ記憶領域、122…背景画データ記憶領域。
【特許請求の範囲】
【請求項1】
模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを比較し、両者の差分に応じて採点を行う採点手段であって、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも高い場合のほうが、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも低い場合よりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
を具備することを特徴とする採点装置。
【請求項2】
前記リファレンスデータ記憶手段は、模範となる音をノートの列で表すリファレンスデータを記憶し、
前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行う
ことを特徴とする請求項1に記載の採点装置。
【請求項3】
前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行うとともに、前記ノート毎の採点結果を集計した採点を行う
ことを特徴とする請求項2に記載の採点装置。
【請求項4】
前記採点手段は、前記ノート毎に、前記ピッチ検出手段により検出されたピッチのノート内の平均値を算出し、算出した平均値と前記リファレンスデータの示すピッチとの差分に応じて採点を行う
ことを特徴とする請求項2又は3に記載の採点装置。
【請求項5】
前記ピッチ検出手段により検出されたピッチが前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチよりも高いか否か及び低いか否かの少なくともいずれか一方を判定し、該判定結果を報知する報知手段
を具備することを特徴とする請求項1乃至4のいずれか1に記載の採点装置。
【請求項6】
模範となる音をノートの列で表すリファレンスデータを記憶するリファレンスデータ記憶手段と、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて採点を行う採点手段であって、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
を具備することを特徴とする採点装置。
【請求項7】
前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、
前記採点手段は、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う
ことを特徴とする請求項1乃至5のいずれか1に記載の採点装置。
【請求項8】
前記判定手段は、前記リファレンスデータに含まれるノートをピッチの昇順又は降順にソートした場合に、各ノートのそれぞれについて、該ノートが予め定められた順位内に含まれるか否かを判定する
ことを特徴とする請求項6又は7に記載の採点装置。
【請求項9】
前記リファレンスデータ記憶手段は、特定の時間区間を示す特定区間データを含むとともに模範となる音を表すリファレンスデータを記憶し、
前記採点手段は、前記特定区間データによって示される時間区間をそれ以外の区間よりも採点基準が厳しくなるように採点を行う
ことを特徴とする請求項1乃至8のいずれか1に記載の採点装置。
【請求項10】
模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段を備えるコンピュータを、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを比較し、両者の差分に応じて採点を行う採点手段であって、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも高い場合のほうが、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも低い場合よりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
として機能させるプログラム。
【請求項11】
模範となる音をノートの列で表すリファレンスデータを記憶するリファレンスデータ記憶手段を備えるコンピュータを、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて採点を行う採点手段であって、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
として機能させるプログラム。
【請求項1】
模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段と、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを比較し、両者の差分に応じて採点を行う採点手段であって、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも高い場合のほうが、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも低い場合よりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
を具備することを特徴とする採点装置。
【請求項2】
前記リファレンスデータ記憶手段は、模範となる音をノートの列で表すリファレンスデータを記憶し、
前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行う
ことを特徴とする請求項1に記載の採点装置。
【請求項3】
前記採点手段は、前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて前記ノート毎に採点を行うとともに、前記ノート毎の採点結果を集計した採点を行う
ことを特徴とする請求項2に記載の採点装置。
【請求項4】
前記採点手段は、前記ノート毎に、前記ピッチ検出手段により検出されたピッチのノート内の平均値を算出し、算出した平均値と前記リファレンスデータの示すピッチとの差分に応じて採点を行う
ことを特徴とする請求項2又は3に記載の採点装置。
【請求項5】
前記ピッチ検出手段により検出されたピッチが前記リファレンスデータ記憶手段に記憶されたリファレンスデータの示すピッチよりも高いか否か及び低いか否かの少なくともいずれか一方を判定し、該判定結果を報知する報知手段
を具備することを特徴とする請求項1乃至4のいずれか1に記載の採点装置。
【請求項6】
模範となる音をノートの列で表すリファレンスデータを記憶するリファレンスデータ記憶手段と、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて採点を行う採点手段であって、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
を具備することを特徴とする採点装置。
【請求項7】
前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、
前記採点手段は、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う
ことを特徴とする請求項1乃至5のいずれか1に記載の採点装置。
【請求項8】
前記判定手段は、前記リファレンスデータに含まれるノートをピッチの昇順又は降順にソートした場合に、各ノートのそれぞれについて、該ノートが予め定められた順位内に含まれるか否かを判定する
ことを特徴とする請求項6又は7に記載の採点装置。
【請求項9】
前記リファレンスデータ記憶手段は、特定の時間区間を示す特定区間データを含むとともに模範となる音を表すリファレンスデータを記憶し、
前記採点手段は、前記特定区間データによって示される時間区間をそれ以外の区間よりも採点基準が厳しくなるように採点を行う
ことを特徴とする請求項1乃至8のいずれか1に記載の採点装置。
【請求項10】
模範となる音を表すリファレンスデータを記憶するリファレンスデータ記憶手段を備えるコンピュータを、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを比較し、両者の差分に応じて採点を行う採点手段であって、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも高い場合のほうが、前記ピッチ検出手段により検出されたピッチが前記リファレンスデータの示すピッチよりも低い場合よりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
として機能させるプログラム。
【請求項11】
模範となる音をノートの列で表すリファレンスデータを記憶するリファレンスデータ記憶手段を備えるコンピュータを、
収音手段から供給されるオーディオ信号からピッチを検出するピッチ検出手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータのピッチを判定し、該ピッチが予め定められた条件を満たすか否かを前記ノート毎に判定する判定手段と、
前記リファレンスデータ記憶手段に記憶されたリファレンスデータと前記ピッチ検出手段により検出されたピッチとを前記ノート毎に比較し、両者の差分に応じて採点を行う採点手段であって、前記判定手段による判定結果が肯定的であるノートのほうが前記判定手段による判定結果が否定的であるノートよりも採点基準が厳しくなるように採点を行う採点手段と、
前記採点手段による採点結果を示すデータを出力する出力手段と
として機能させるプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2009−92871(P2009−92871A)
【公開日】平成21年4月30日(2009.4.30)
【国際特許分類】
【出願番号】特願2007−262520(P2007−262520)
【出願日】平成19年10月5日(2007.10.5)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
【公開日】平成21年4月30日(2009.4.30)
【国際特許分類】
【出願日】平成19年10月5日(2007.10.5)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【Fターム(参考)】
[ Back to top ]