カラオケ装置
【課題】実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供する。
【解決手段】歌唱の周波数を採点して基本得点を算出するとともに、歌唱のビブラート、抑揚、声質、タイミング、しゃくりなど他の歌唱要素を採点して付加ポイントを算出する。基本得点に付加ポイントを加算して最終得点を求める。これにより、歌唱周波数を採点の中心としつつ、上記他の歌唱要素も採点において考慮され、実際の歌唱の巧拙に一致した最終得点を算出することができる。
【解決手段】歌唱の周波数を採点して基本得点を算出するとともに、歌唱のビブラート、抑揚、声質、タイミング、しゃくりなど他の歌唱要素を採点して付加ポイントを算出する。基本得点に付加ポイントを加算して最終得点を求める。これにより、歌唱周波数を採点の中心としつつ、上記他の歌唱要素も採点において考慮され、実際の歌唱の巧拙に一致した最終得点を算出することができる。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、歌唱採点機能を備えたカラオケ装置における採点精度の向上に関する。
【背景技術】
【0002】
従来よりカラオケ装置には、歌唱者の歌唱の巧拙を採点する採点機能を備えたものがあった。従来より実用化されている採点機能は、ガイドメロディなどのリファレンスから抽出した音高と歌唱音声から抽出した周波数とを比較するもの(たとえば特許文献1)やこれに音量変化の評価を加味したもの(特許文献2)などがあった。
【0003】
【特許文献1】特開平10−49183号公報
【特許文献2】特開平10−161673号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、ガイドメロディは、音高を指示するイベントデータ(ノートオンイベントデータおよびノートオフイベントデータ)を配列したMIDIデータであるため、従来の採点機能では基本的な歌唱要素である歌唱周波数しか採点することができず、他の技巧的な歌唱要素を正しく評価して採点することができなかった。このため、歌唱の本当の巧拙を正しく評価した得点を算出することができないという問題点があった。
【0005】
この発明は、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1の発明は、カラオケ曲を演奏する演奏手段と、歌唱音声を入力する歌唱入力手段と、入力された歌唱音声を採点する採点手段と、を備えたカラオケ装置であって、
前記採点手段は、(1)音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること、(2)最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること、(3)歌唱周波数が滑らかに上昇してゆくこと、を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点することを特徴とする。
【0007】
請求項2の発明は、前記採点手段は、さらに、(4)歌唱周波数が上昇を開始する前に一点周波数が下降すること、のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点することを特徴とする。
【0008】
請求項3の発明は、カラオケ曲を演奏する演奏手段と、歌唱音声を入力する歌唱入力手段と、入力された歌唱音声の周波数を検出する歌唱周波数検出手段と、技巧的歌唱要素を採点するためのルールを記憶する記憶手段と、入力された歌唱音声を採点する採点手段と、を備えたカラオケ装置であって、
前記演奏手段は、楽曲データに基づいてカラオケ曲の楽音信号を形成するとともに、このカラオケ曲の楽音信号に同期したリファレンス周波数を出力し、
前記採点手段は、前記歌唱音声の周波数を前記リファレンス周波数と比較することによって採点し、基本得点を算出する周波数採点手段と、前記歌唱音声の技巧的な歌唱要素を前記ルールを用いて採点して付加ポイントを算出する歌唱要素採点手段と、前記基本得点に前記付加ポイントを加算して最終得点を求める最終得点算出手段と、を備えていることを特徴とする。
【0009】
請求項4の発明は、請求項3の発明において、前記周波数採点手段は、前記歌唱音声を音符ごとに採点し、この音符ごとの採点結果を集計して基本得点を算出することを特徴とする。
【0010】
請求項5の発明は、請求項3、4の発明において、前記周波数採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数を低域ろ波(LPF)したものを用いて採点し、前記歌唱要素採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数をそのまま用いて採点することを特徴とする。
【0011】
請求項6の発明は、請求項3〜5の発明において、前記歌唱要素採点手段は、前記技巧的な歌唱要素として、歌唱の周期的な周波数変動であるビブラート、歌唱のフレーズ内での音量の変動である抑揚、歌唱の音質、各音符の歌いだしタイミング、音高の移行波形であるしゃくり、の1または複数の歌唱要素を採点することを特徴とする。
【0012】
請求項7の発明は、請求項3〜5の発明において、前記歌唱要素採点手段は、(1)音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること、(2)最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること、(3)歌唱周波数が滑らかに上昇してゆくこと、を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点することを特徴とする。
【0013】
請求項8の発明は、請求項7の発明において、前記歌唱要素採点手段は、さらに、(4)歌唱周波数が上昇を開始する前に一点周波数が下降すること、のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点することを特徴とする。
【0014】
上記発明では、基本的な歌唱の要素である歌唱周波数に加えて、ビブラート、抑揚、声質、タイミング、および、音高の移行波形(しゃくり)など他の歌唱要素も採点する。そして、歌唱周波数を採点した結果を得点の中心(基本得点)としつつ、他の歌唱要素を採点結果から求めた点数を付加ポイントとして加算(減算)することにより、歌唱者の歌唱の巧拙を正しく且つ聴衆の評価と一致するように判定することができる。
【発明の効果】
【0015】
以上のようにこの発明によれば、歌唱周波数の採点結果を基本とし、ビブラート、抑揚、声質、タイミング、しゃくりなど他の歌唱要素を評価して最終得点を算出することができるため、歌唱の種々の要素を正しく評価した実際の歌唱の巧拙に一致した採点をすることが可能になる。
【発明を実施するための最良の形態】
【0016】
図面を参照してこの発明の実施形態であるカラオケ装置について説明する。
カラオケ装置において、カラオケ曲の演奏はカラオケ曲の楽音を発生しながら背景映像・歌詞テロップをモニタに出力する動作であるが、採点モードを設定すると、このカラオケ曲の演奏に加えて、歌唱者の歌唱音声をリファレンスと比較することによって採点して点数を算出し、曲の終了後にその点数を表示する採点動作を実行する。
【0017】
採点は、基本的に歌唱の周波数(音程・ピッチ)について行って基本点数を算出し、これに加えて、ビブラートの程度、抑揚の程度、音質の良否、タイミングの良否、しゃくりの回数などに基づいてボーナスポイントを算出して前記基本点数に加算(減算)する。
【0018】
図1は、同カラオケ装置のブロック図である。カラオケ装置は、装置全体の動作を制御するCPU10と、これに接続された各種機器で構成されている。CPU10には、ハードディスク11、RAM12、音源13、ミキサ(エフェクタ)14、ボーカルアダプタ19、MPEGデコーダ20、合成回路21、操作部23が接続されている。ハードディスク11は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶している。また、ハードディスク11には、図13に示すポイント算出テーブルも記憶されている。このポイント算出テーブルは、抑揚やビブラートなどの歌唱要素に基づいて付加的なポイントを決定するためのテーブルである(詳細は後述する)。RAM12には、プログラムや曲データを読み出すエリア、および、採点モード時に採点結果等を記録する採点ログエリアなどが設定されている。
【0019】
音源13は、CPU10が実行する曲シーケンサ31の処理によって入力された曲データ(ノートイベントデータ等)に応じて楽音信号を形成する。形成した楽音信号はミキサ14に入力される。ミキサ14は、音源13が発生した複数の楽音信号、および、マイク17−A/Dコンバータ18を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタルの音声信号はサウンドシステム15に入力される。サウンドシステム15はD/Aコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ16から放音する。ミキサ14が各音声信号に付与する効果およびミキシングのバランスはCPU10によって制御される。
【0020】
また、A/Dコンバータ18によってデジタル信号に変換された歌唱音声信号は、ボーカルアダプタ19にも入力される。ボーカルアダプタ19は、この入力された歌唱音声信号から歌唱周波数を割り出すとともに、CPU10の曲シーケンサ31から入力されたリファレンスの周波数を割り出す。そして、この歌唱周波数とリファレンス周波数を同期させて30ms毎にCPU10(採点モード処理34)に入力する。リファレンスとしては、曲データに含まれるガイドメロディデータが用いられる。また割り出した周波数は、C0からのセント値で表現される。
【0021】
HDD11に記憶されている背景映像データ41は、MPEG2形式にエンコードされており、CPU10が実行する背景映像再生プログラム33は、これを読み出してMPEGデコーダ20に入力する。MPEGデコーダ20は、入力されたMPEGデータをNTSCの映像信号に変換して合成回路21に入力する。合成回路21は、この背景映像の映像信号の上に歌詞テロップや採点結果の表示などのOSDを合成する回路である。この合成された映像信号はモニタディスプレイ22に表示される。
【0022】
操作部23は、パネルスイッチインタフェースやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置の操作に応じた操作信号をCPU10に入力する。CPU10は、操作入力処理プログラム35によってこの操作信号を検出し、対応する処理を実行する。この操作入力処理プログラム35はシステムプログラムに含まれるものである。
【0023】
パネルスイッチやリモコン装置は、曲番号を選択したり、採点モードなどのモードを選択するための種々のキースイッチを備えている。
【0024】
パネルスイッチやリモコン装置で曲番号が入力されると、操作入力処理プログラム35がこれを検出し、カラオケ曲のリクエストであるとしてシーケンサ30に伝達する。シーケンサ30は、これに応じて、この曲番号で識別されるカラオケ曲の曲データをハードディスク11の曲データ記憶エリア40から読み出す。シーケンサ30は、曲シーケンサ31および歌詞シーケンサ32からなっており、歌詞シーケンサ32は、文字パターン作成プログラム32aを含んでいる。曲シーケンサ31は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源13を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ32は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して合成回路21に出力する。また、背景映像再生プログラム33は、シーケンサ30からの指示に応じて所定の背景映像データを読み出してMPEGデコーダ20に入力する。
【0025】
ここで、図2を参照してハードディスク11に記憶されている曲データについて説明する。曲データは、同図(A)に示すように、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲中の区切りを示すマークデータが書き込まれるマークデータトラックなどからなっている。曲データは、これ以外にヘッダ、音声データ、音声データ制御トラックなどを有しているが説明を簡略化するためにこの図では省略する。
【0026】
各トラックは、MIDIフォーマットに従って記述されている。たとえば、ガイドメロディトラックは、同図(B)に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音(ガイドメロディ)の音高を指定する。この楽音は次のノートオフイベントデータが読み出されるまで継続する。
【0027】
タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。
【0028】
楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン/オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源13に入力することにより、音源13はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック(パート)で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のMIDIデータで構成されている。
【0029】
また、マークデータトラックには、カラオケ曲の曲中の種々の区切り点を示すマークデータが書き込まれる。マークデータとしては、序奏と1コーラス目の区切りに書き込まれる1コーラス目マーク、1コーラス目と間奏の区切りに書き込まれる間奏マーク、間奏と2コーラス目の区切りに書き込まれる2コーラス目マーク、2コーラス目とエンディングの区切りに書き込まれるエンディングマークなどがあり、また、各コーラス中のサビの開始・終了点に書き込まれるサビ開始マーク、サビ終了マークなどがある。このマークは上記演奏トラック、ガイドメロディトラックが発生する楽音と同期しており、システムエクスクルーシブメッセージとして記述される。
【0030】
一方、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップをシステムエクスクルーシブデータでインプリメントしたシーケンスデータであり、楽音トラックやガイドメロディトラックとは異なるイベントデータを有している。イベントデータは、ページ区切りデータ、歌詞表示データなどである。
【0031】
通常モードのカラオケ曲の演奏では、シーケンサ30により上記のようなカラオケ演奏音の発生や歌詞テロップの表示処理動作が行われるが、採点モード時には、これに加えて採点モード処理プログラム34により、採点処理動作が実行される。
【0032】
この採点モード処理プログラム34を実行するために、ハードディスク11またはRAM12には図3に示すような記憶領域が確保される。この記憶領域は、ボーカルアダプタ19から30ms毎に出力される歌唱周波数およびリファレンス周波数を時系列に順次記憶してゆく領域、この歌唱周波数、リファレンス周波数に対してLPF処理(図4参照)したLPF歌唱周波数、LPFリファレンス周波数を記憶する領域、歌唱音声信号から振幅のエンベロープ(歌唱の音量レベル)を検出し、この歌唱レベル値を記憶する領域、および、曲シーケンサ31からボーカルアダプタ19を介して入力されるノートオン情報、ノートオフ情報、マークデータ情報を記憶する領域からなっている。採点モード処理プログラムは30ms毎に入力バッファをチェックし、上記各種データを取り込んでリストメモリにかきこむ。
【0033】
ここで、図4の機能ブロックを参照して、採点モード時の各部の処理について説明する。
マイク17から入力された歌唱音声信号は、A/Dコンバータ18でデジタル音声信号に変換されてボーカルアダプタ19に入力される(同時にミキサ14にも入力されるがここでは採点モードの動作のみについて説明する)。ボーカルアダプタ19は、このデジタル音声信号をそのまま採点モード処理プログラム34に出力するとともに、歌唱周波数検出部102で歌唱周波数(セント値)を検出して採点モード処理プログラム34に出力する。
【0034】
一方、ボーカルアダプタ19のリファレンス周波数検出部101には、カラオケ曲の演奏に同期して、曲シーケンサ31からリファレンスデータが入力される。リファレンスデータは、上述したようにガイドメロディデータが用いられる。リファレンス周波数検出部101は、入力されたMIDIデータのノートオンイベントデータから音高情報を抽出し、その音高のセント値をリファレンス周波数として採点モード処理プログラム34に出力する。
【0035】
また、ボーカルアダプタ19には曲シーケンサ31からノートオン情報、ノートオフ情報、マークデータ情報などの制御情報が入力されるため、ボーカルアダプタ(リファレンス周波数検出部101)は、これを採点モード処理プログラム34に出力する。曲シーケンサ31から直接採点モード処理プログラム34に入力しないのは、このノートオン/オフ情報などの制御情報と歌唱周波数データ、リファレンス周波数データとの同期をとるためである。
【0036】
歌唱音声検出部102による歌唱周波数の検出およびリファレンス周波数検出部101によるリファレンス周波数の検出は、30ms毎に同期して実行され、その検出結果が30ms毎に採点モード処理プログラム34に入力される。
【0037】
採点モード処理プログラム34は、入力された歌唱周波数およびリファレンス周波数を図3のリストメモリに書き込むとともに、これら周波数データに対してローパスフィルタ(LPF)処理(105、106)を行う。リファレンス周波数に対するLPF処理は、機械的な音高列であるリファレンス(図5(A)参照)の音高変化を滑らかにして人間の歌唱に近づけるための処理である。また、歌唱周波数に対するLPF処理は、ビブラートなどの技巧を除去してフラットな歌唱周波数情報を得るための処理である。
【0038】
図5を参照してローパスフィルタ処理について説明する。図5(A)はリファレンスとして用いられるガイドメロディデータの例を示す図である。リファレンスデータは、音符が連続しているレガート区間であっても正確な拍タイミングに不連続に音高が変化する機械的なデータである。このような不連続なリファレンスに対してLPF処理を行うことにより、同図(B)に示すように、音符と音符の間ではなだらかに音高が変化するようになり、リファレンスを歌唱者の実際の歌唱に近い音高変化のものにすることができる。なお、音符が途切れる休符の区間やノンレガートで歌唱するところなどは、このLPF処理の対象外にする。これにより、音の無い区間のデータによりLPF処理が不自然な動きになってしまうことを防止することができる。
【0039】
同図(C)は歌唱音声周波数データの例を示す図である。歌唱音声周波数は、音符(音高)の変わり目でなだらかな音高の移行(いわゆる「しゃくり」)をしているとともに、音の伸ばしの部分では、ビブラートなどの周期的な周波数変化をしている。この歌唱音声周波数データをLPF処理することにより、同図(D)に示すように、しゃくり部分のオーバーシュートやビブラートなどの細かい周波数変化を除去することができ、歌唱しようとしていた周波数を正確に抽出することができるようになる。
【0040】
なお、マイク17から入力された音声信号には歌唱音声信号のみならず種々のノイズが含まれている。このノイズ成分のレベルが大きい場合、周波数検出部102は、このノイズ成分を歌唱音声信号と見なしてその周波数を検出してしまう場合がある。このようなノイズ成分がLPF処理部106に入力されると、その1サンプルだけでなくその後もずっと誤ったデータが出力されてしまう。そこで、歌唱音声の周波数変化と考えにくい、150セント以上の突然の音高変化があった場合には、そのデータを無視して(直前のサンプルデータをもう一度採用して)LPF処理を行うことにより、ノイズによる悪影響を防止することができる。
【0041】
歌唱周波数およびリファレンス周波数のデータ列は、30ms毎の離散データであるため、上記の処理を好適に達成するため、歌唱周波数に対するLPF処理部106は、カットオフ周波数5.5Hzの2次フィルタを用い、リファレンス周波数に対するLPF処理部105は、カットオフ周波数5Hzの2次フィルタを用いている。
【0042】
LPF処理された歌唱周波数(LPF歌唱周波数)およびリファレンス周波数(LPFリファレンス周波数)は、図3のリストメモリに書き込まれる。図4の採点部107は、歌唱周波数とリファレンス周波数とを比較し、その差分(セント値)を算出し、この差分に基づいて各ノート(音符)毎に合格ノート、不合格ノートを判定する。採点部107には、リファレンス周波数検出部101からノートオン情報・ノートオフ情報が入力されるため、その区間に歌唱周波数が、所定(1〜複数)サンプル以上歌唱旋律の音高に合っていた(周波数許容範囲に入っていた)場合には、「合格ノート」であると判定し、歌唱周波数が歌唱旋律の音高に合った回数が上記所定サンプル未満であった場合には「不合格ノート」であると判定する。
【0043】
基本点数は、2種類の方式で算出され、そのうち高い点数の方を採用する。第1の方式は、合格ノート数を全ノート数で除した値に基づいて基本得点を算出する方式であり、第2の方式は、合格ノートをその長さに応じてランク付け(重みづけ)し、合格ノートの重みづけ合計値を全ノート数で除した値に基づいて基本得点を算出する方式である。
【0044】
第1の方式では、合格ノート数を全ノート数で除算して45を掛けた値に50を加算して50〜95点の点数を算出する。このように最低でも50点が出るようにしているのは、カラオケ装置がエンターテイメント装置であることを考慮したためである。また、最高点を95点としたのは、後述の付加ポイントを加算したときに100点満点となるようにするためである。
【0045】
また、第2の方式である重み付け採点では、合格ノート数を各ランク別に集計してそれぞれの重み付け係数を乗算し、この重み付けされた値を合計したものを全ノート数で除算し、この除算値(商)に45を掛けた値に50を加算して50〜95点の点数を算出する。
【0046】
図6(A)は、ランク分けと各ランクの重み付けを示す図である。短い音符のほうが歌唱の音程を合わせるのが難しいため、短い音符のほうが大きい重みになるようにしている。この例では10サンプル(300ms)以下の長さの音符をAランクとして1.2の重みを与えるようにしている。また、33サンプル(約1秒)より長い音符は歌唱が容易な長い音符であるとしてCランクとし、0.8の重み付けにしている。その中間の11サンプル〜33サンプルの音符は、通常の音符であるとして、1の重みを与えている。
【0047】
また、上記実施形態では、時間の長さに基づいてノートをA/B/Cの3段階にランク分けしているが、ランク分けは3段階に限定されない。また、各ランクの境界線は10サンプルと33サンプルに限定されない。また、各ランクの重み付け係数は、1.2/1.0/0.8に限定されない。
【0048】
また、各ノートを複数段階のランクに分類するのではなく、図6(B)に示すように、それぞれの長さに応じた重み付け係数を与えるようにしてもよい。この変化曲線(直線・折れ線を含む)は、図示のものに限定されない。
【0049】
また、上記実施形態では、合格ノートをその長さで重み付けしているが、不合格ノートも重み付けして減点するようにしてもよい。すなわち、上記実施形態では、合格ノートは1.2/1.0/0.8の重み付けで累算され、不合格ノートは一律に0であるが、不合格ノートであっても、短い音符の場合には、0ではなく、0.1〜0.8程度の点数を加算するようにする。また、長い音符が不合格になった場合には、0でなく減点するようにしてもよい。
【0050】
次に、この採点モード処理プログラムは、歌唱周波数以外に、歌唱のビブラート、抑揚、声質、タイミング、しゃくりなどの歌唱要素を検出し、これに基づいて付加的なポイントを算出して前記基本得点に加算(減算)したものを最終得点としている。この付加的なポイントの重みは、基本得点の大きさによって異なり、基本得点が高いほどポイントが低く(加点が少なくなる方向に)シフトするようにしている。
【0051】
以下、各歌唱要素の検出および判定方法について説明する。
図7は、しゃくりの検出方法を説明する図である。このしゃくりの検出には、LPF処理をしていない生の歌唱周波数データ列およびリファレンス周波数データ列を用いる。
【0052】
しゃくりとは、同図の歌唱周波数曲線に示すように上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧である。上昇の開始がほぼ後のノートの開始タイミングと一致しており、歌唱周波数はこの後遅れてその音符のリファレンス周波数に到達する。歌唱周波数の変化曲線がノート開始タイミング付近から徐々に音高が上昇してゆくという条件を満たしているかに基づいて検出し、この条件に適合した歌唱周波数の変化があった場合には、これをしゃくりの歌唱技巧であると判定する。
【0053】
このしゃくりの条件を満たしているかを判定するためのルールとして
(1)ノート開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること
(2)最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること
(3)歌唱周波数が滑らかに上昇してゆくこと
図7(A)がこの条件に適合した歌唱音高の変化を示している。ここで、上記3つの条件を判定するために、採点モード処理プログラムにおいては、同図のハッチング部分(禁止エリア)に歌唱周波数がかからないことをチェックしている。すなわち、歌唱周波数が禁止エリアにかからずに合格ノートとなった場合にしゃくり技巧であると判定する。より、厳格に判定する場合には、図示の斜め破線と禁止エリアの間を歌唱周波数曲線が通過するか否かを判定するようにすればよい。
【0054】
また、より高度なしゃくりの技巧を判定する場合には上記(1)〜(3)のルールに加えて、
(4)歌唱周波数が上昇を開始する前に一旦周波数が下降すること
のルールを加える。歌唱周波数がこのような変化をすればよりしゃくりが強調される。この条件を満たした歌唱周波数の変化曲線の例を同図(B)に示す。同図の白抜き矢印の位置で歌唱周波数が一旦下がっており、上記(4)のルールに適合した変化曲線であることがわかる。
【0055】
しゃくりが検出されれば、モニタ22に「しゃくり」の歌唱が行われた旨を表示する。カラオケ曲の終了後、曲中で検出されたしゃくりの回数に基づいてしゃくりポイントを算出して基本得点に加算する。
【0056】
図8は、タイミング(差)の検出方法を説明する図である。また、図9は、タイミング差に基づいてタイミングポイントを算出するためのタイミングポイントテーブルを示す図である。このタイミング差の検出には、通常はLPF処理をしていない歌唱周波数データ列およびリファレンス周波数データ列を用いるが、歌唱周波数についてはLPF処理をしたLPF歌唱周波数データ列を用いてもよい。
【0057】
図8において、歌唱者があるノート(音符)を歌唱しようとして発声を操作したタイミングが歌唱タイミングであり、歌いだしなどの歌の無い部分から歌唱を開始した場合には、同図(B)に示すように、歌唱周波数検出部102に歌唱音声が入力されて、周波数の検出を開始したタイミングdを歌唱タイミングとする。この歌唱タイミングとリファレンスの発音タイミングRとの時間差がタイミング差である。
【0058】
一方レガート歌唱などで複数のノートが連続している場合には、同図(A)のように歌唱周波数が発音タイミングRの付近で所定範囲(許容範囲)以内に接近したタイミングaを歌唱タイミングとする。
【0059】
また、歌唱者が前のノートからこのノートに移行しようとし始めたタイミングをとらえて歌唱タイミングとしてもよい。すなわち、同図(A)において、許容範囲内に接近したタイミングaの直前で音高の変化がスタートしたタイミングbや変化の傾きが所定値以上になったタイミングcなどを歌唱タイミングとするようにしてもよい。
【0060】
なお、同図(A)は音高の低いノートから高いノートへの変化(上昇)について説明しているが、音高の高いノートから低いノートへの変化(下降)についても上下が反転するのみで同様である。
【0061】
また、同図(A)の歌唱タイミングaは遅れ方向であり、歌唱タイミングb,cおよび同図(B)の歌唱タイミングdは進み(突っ込み)方向であるが、タイミングの進み遅れはこれに限定されるものではない。
【0062】
また、発音タイミングRと歌唱タイミングa,b,cとのタイミング差を検出する範囲は、前のノートおよび後のノート(発音タイミングRで発音するノート)の長さのそれぞれ1/2〜1/3程度までの範囲でよい。もし、それ以上離れたタイミングで歌唱周波数がこの条件に該当しても、これがこのノートの発音のための音高変化であると特定しえないためである。
【0063】
上記歌唱タイミングの検出方式は、歌唱周波数の変化を監視して歌唱タイミングを検出するものであったが、同図(C)に示す方式は、リファレンスの発音タイミングRをはさむ2つのノート(前のノートおよび後のノート)のリファレンス周波数と歌唱周波数とを相互に時間軸方向に移動させて相互相関を求めてそれが最大の位置を割り出し、その相互相関が最大の位置ともとのデータ位置とのずれ量をタイミング差(e)とする。この方式であれば、音高変化時の波形だけでなく、ノート全体の波形に基づいて歌唱タイミングを割り出すことができる。
【0064】
上記の比較において、単に同じタイミングの歌唱周波数とリファレンス周波数とを比較するのではなく、リファレンス周波数を時間軸上で前後に移動させ、両サンプル列の相互相関が最大になる位置で対応する歌唱音声周波数とリファレンス周波数比較するようにしている。相互相関は、
【0065】
【数1】
【0066】
の相互相関関数で求めてもよいが、ずらしたときに対応するサンプル同士の差分をとり、その差分の積算値が最小となる位置を最大相関点とするようにしてもよい。
【0067】
上記の方式でタイミング差が検出されると、このタイミング差でタイミング点テーブルを参照してタイミング点を割り出す。
【0068】
図9は、タイミングポイントテーブルの例を示す図である。同図(A)は「演歌」に対応したタイミングポイントテーブルの例を示している。演歌の場合はジャストタイミングから遅れ気味の歌唱技巧である「ため」に対応するため、ジャストタイミングから遅れ気味の範囲で大きな+点(加点)が与えられるようになっている。これに対して進み気味(突っ込み気味)の歌唱は焦って聞こえるため、−点(減点)が与えられるようになっている。
【0069】
一方、同図(B)は「ポップス系」のカラオケ曲対応したタイミング点テーブルの例を示している。ポップスの場合、正確なビートでリズムが刻まれているため、歌唱もジャストタイミングが望まれ、大きく遅れても大きく進んでも−点になる。ジャストタイミングの範囲およびわずかな進みの範囲で+点が与えられる。
【0070】
カラオケ曲が選択されたとき、そのカラオケ曲のジャンルに応じてタイミング点テーブルが選択され、歌唱のノート毎にタイミング点が割り出される。そして、カラオケ曲が終了したとき、全てのタイミング点の平均値を算出し、タイミングポイントとする。
【0071】
図9には、演歌系とポップス系のカラオケ曲向けのタイミング点テーブルのみ示しているが、他の種々のジャンル向けのタイミング点テーブルを設けてもよく、ポップス系のタイミング点テーブルを非演歌系のカラオケ曲全てに適用してもよい。また、タイミング点の算出方式は、タイミング点テーブルに限定されず、関数を用いるなど他の方式によってもよい。
【0072】
また、この実施形態では、タイミング点テーブルをジャンル別に設けたが、カラオケ曲毎に設けるようにしてもよい。たとえば、カラオケ曲の楽曲データ中にタイミング点テーブルを含めておき、カラオケ曲の配信と一緒に配信されるようにしてもよい。そして、曲別のタイミング点テーブルを有さない旧来の楽曲データの場合には、予め設けてあるジャンル別のタイミング点テーブルを用いるようにすればよい。
【0073】
図10は、抑揚の検出方法を説明する図である。抑揚の判定はフレーズ毎に行う。フレーズとは、休符や音切りなどで区切られる歌唱の1区切りの単位である。図10は、1フレーズについて示している。フレーズの前後で歌唱が途切れるため、音量エンベロープはほぼ無音状態になる。音量エンベロープを監視することにより、採点モード処理プログラム34は、フレーズを検出することができる。
【0074】
まず、同図(A)を参照して、フレーズ内の平均値に基づいて抑揚を判定する方式について説明する。1フレーズ分の音量エンベロープのデータが蓄積されると、まずその平均値Aaを求める。そして、リファレンスのノートオン情報、ノートオフ情報に基づいて各ノート区間を切り分け、各ノート毎の音量平均値A1〜Anを求める。そして、各ノートの平均値A1〜Anのフレーズ全体の平均値Aaとの平均偏差を求める。
【0075】
次に、同図(B)を参照して、フレーズ内のピーク値に基づいて抑揚を判定する方式について説明する。1フレーズ分の音量エンベロープのデータが蓄積されると、まずこのフレーズ内のピーク値Paを求める。そして、リファレンスのノートオン情報、ノートオフ情報に基づいて各ノート区間を切り分け、各ノート毎の音量ピーク値P1〜Pnを求める。そして、各ノートのピーク値P1〜Pnとフレーズ内のピーク値Paとの差の平均値(平均偏差)を求める。
【0076】
そして、カラオケ曲の終了後、全フレーズの平均偏差の平均値を求め、この値に基づいて抑揚ポイントを算出する。
【0077】
なお、抑揚の検出は、LPF処理をしていない生のデータを用いてもよく、LPF処理をしたLPFデータを用いてもよい。
【0078】
また、ビブラートの判定は、LPF処理をしていない生の歌唱周波数データ列を用い、歌唱の周波数変動の周期性を検出する。周期性が検出された場合には、ビブラートありと判定する。ビブラートありが検出されると、その振幅(周波数変動)の大きさでポイントの大きさを決定する。
【0079】
また、声質の判定は、入力された歌唱音声波形を基本周波数帯域のバンドパスフィルタ(BPF)および倍音成分のBPFに通し、基本周波数成分の大きさと倍音成分の大きさとを比較する。倍音成分の比率が高いほど(基本周波数成分のレベルに近いほど)声の質がよいとしてポイントを高くする。
【0080】
図11、図12のフローチャートを参照して採点モード処理プログラム34の処理について説明する。
図11は採点モード処理プログラム34の採点処理動作を示すフローチャートである。この動作では30ms毎に入力レジスタをチェックして、歌唱レベルデータ、歌唱周波数サンプルデータ、リファレンス周波数サンプルデータおよび音量レベル値(音量エンベロープのサンプル値)、さらに、ノートオン/オフ情報、マークデータ情報が入力されたか否かを監視している。歌唱レベルデータ、歌唱周波数およびリファレンス周波数が入力されると(s1)、まず歌唱レベルデータをリストメモリ(図3参照)に書き込み(s5)、LPF処理していない生の歌唱周波数データおよびリファレンス周波数データをリストメモリに書き込む(s6)。そして、歌唱周波数データ、リファレンス周波数データの両方に対してLPF処理を実行し(s7)、このLPF処理されたサンプルデータをリストメモリに書き込む(s8)。
【0081】
ボーカルアダプタ19からノートオン情報が入力された場合には(s2)、これをリストメモリに書き込む(s10)。このノートオン情報が書き込まれた位置が図8のタイミング検出におけるリファレンスの発音タイミングRに相当する。
【0082】
ノートオフ情報が送られてきた場合には(s3)、これをリストメモリに書き込み(s11)、リストメモリに蓄積されたLPF歌唱周波数データおよびLPFリファレンス周波数データに基づいて採点対象ノートの合格/不合格を判定する(s12)。この判定は、音程(周波数差)に基づく合否の判定である。さらに、各種採点要素についての採点を実行する(s13〜s15)。s13では、ビブラートを判定する。ビブラートの判定は上述したように、LPF処理をしていない歌唱周波数データ列の周期性を検出し、周期性がある場合にはビブラートありと判定し、その周波数変動の深さに応じてランク付けする処理である。
【0083】
s14では、タイミングを判定する。このタイミング判定は、図8に示したように歌唱周波数の変化とリファレンス周波数の変化の時間差を検出し、この時間差で図9のタイミングポイントテーブルを引いてタイミングポイントを割り出す処理である。
【0084】
s15では、しゃくりの有無を判定する。しゃくりの判定は、歌唱周波数が図7に示す条件を満たす波形で変化するかを判定するものであり、この上記条件を満たす波形で変化した場合にはしゃくりの技巧で歌唱されたと判定してしゃくり回数をカウントアップする。カラオケ曲の終了後にこのしゃくり回数に基づいてしゃくりポイントを決定する。
【0085】
上記の合格ノート/不合格ノートの判定、および、各種歌唱要素の判定ののち、この合否結果、判定結果を記憶して(s16)、待機ルーチンにもどる。そして、上記の処理をノートオフ毎に繰り返して行い。曲が終了すると(s4)、得点集計処理(s17)を実行する。
【0086】
図12は得点集計処理を示すフローチャートである。この動作は、上記s17で実行される動作である。まず、全ノート数および合格ノート数を集計し(s30)、合格ノート数を全ノート数で除算した値に45を乗算し50を加算して第1の基本得点を算出する(s31)。次に、合格ノートをノート長のランク付けに基づいて重み付け集計し(s32)、この集計値を全ノート数で除算した値に45を乗算し50を加算して第2の基本得点を算出する(s33)。これら第1、第2の基本得点のうち高得点の方を採用してこの歌唱の基本得点とする(s34)。
【0087】
次に、各種歌唱要素の集計を行う。まず、抑揚を判定する(s35)。抑揚の判定は、図10に示すように各ノートの平均値またはピーク値をフレーズの平均値またはピーク値と比較して、偏差を求める処理である。この偏差が大きいほど抑揚が大きいと判断する。そして、全フレーズの偏差の平均値に基づき抑揚をA,B,C,D,Eの5段階にランク付けする。
【0088】
そして、このランクと前記基本得点に基づいて図13(A)のポイント算出テーブルを参照し、抑揚ポイントを割り出す(s36)。
このポイント算出テーブルは、基本得点に応じてA,B,C,D,Eの各ランクに対して何点を与えるかを割り出すテーブルである。基本点数が高いほど与える点数が低く設定されており、基本点数が高得点の場合には、低いランク(C,D,E)に対してマイナスポイントが与えられるようになっている。これにより、基本点数が高い歌唱者(上手な歌唱者)の場合には、各歌唱要素も上手くないと加点されないようにしている。
【0089】
次に声質を判定する(s37)。カラオケ曲の演奏中に適当な箇所の歌唱音声信号を保存しておき、その歌唱音声信号を用いてこの声質の判定を行う。この判定処理では、歌唱音声信号を基本周波数帯のBPFおよび倍音周波数帯のBPFに通し、倍音成分の大きさに応じて声質をA,B,C,D,Eの5段階にランク付けする。倍音成分が大きいほど上位(A,Bなど)にランクされる。そして、このランクと前記基本得点に基づいて図13(A)のポイント算出テーブルを参照し、声質ポイントを割り出す(s38)。
【0090】
次に各ノート毎に行ったビブラートの判定結果を集計し、ビブラートをA,B,C,D,Eの5段階にランク付けする(s39)。ランク付けは、たとえば、ビブラート累積時間が長いほど高いランクとするなどの方式で決定する。なお、ビブラートの判定は、図11の処理動作でノート毎に行ってもよい。このランクと前記基本得点に基づいて図13(A)のポイント算出テーブルを参照し、ビブラートポイントを割り出す(s40)。
【0091】
次にタイミング差の評価を集計し、タイミングをA,B,C,D,Eの5段階にランク付けする(s41)。このランクと前記基本得点に基づいて図13(A)のポイント算出テーブルを参照し、タイミングポイントを割り出す(s42)。
【0092】
次にしゃくり回数を集計し、このしゃくりの回数をA,B,C,D,Eの5段階にランク付けする(s43)。このランクと前記基本得点に基づいて図13(B)のポイント算出テーブルを参照し、タイミングポイントを割り出す(s44)。
図13(B)のポイント算出テーブルは、基本得点が低い場合のみプラスポイントを与えるように設定されたテーブルであり、基本得点がたとえば70点以上になるとこの歌唱要素(しゃくり)は得点に考慮されない。
【0093】
上記処理で算出された各種歌唱要素のポイントを基本得点に加算して合計得点を算出する(s45)。基本得点が95点で歌唱要素のうちしゃくりを除く全てがAランクの場合には、99点となるが、その場合のみしゃくりがAランクであるか否かを判断し、Aランクの場合には合計得点を100点とする。合計得点が100点を超える場合がある採点方法であってもよい。最終的に100点に丸めるようにすればよい。なお、合計得点(最終得点)算出方式はこれに限定されない。
【0094】
s46では、合計得点が60点以上であるかを判定する(s46)。60点以上の場合には、その得点を最終得点としてモニタ22に表示する(s49)。
【0095】
60点未満の場合には、上記5つの歌唱要素のうち1つでもAランクのものがあるかを検索する(s47)。1つでもAランクのものが存在する場合には、「一発芸」があるとして、合計得点にかかわらずボーナス得点として70点を最終得点と決定する(s48)。Aランクのものがない場合には、合計得点をそのまま最終得点とする。こののち、最終得点をモニタ22に表示する(s49)。
【0096】
このように採点結果の最終得点にかかわらず一発芸のある歌唱に対して適当な(低くない)得点を与えるのは、このような歌唱は聴衆を沸かせる(うける)ものであるため、それを評価したものである。
【0097】
一発芸を評価するしきい値得点は、60点に限定されない。また、ボーナス点として決定する点数も70点に限定されない。
【0098】
また、この実施形態では、基本歌唱要素として歌唱周波数を採点して基本得点を算出し、各種歌唱要素として、ビブラート、抑揚(音量)、声質、タイミング、しゃくりを判定して付加的なポイントを決定しているが、基本歌唱要素として周波数以外に音量やタイミングを加えてもよい。また、各種歌唱要素は上記のものに限定されない。その一部でもよく、他の要素を加えてもよい。
【0099】
また、ポイント算出テーブルは、図13に記載したものに限定されない。この実施形態では、ビブラート、抑揚(音量)、声質、タイミングに対して同一のポイント算出テーブルを適用して付加ポイントを算出しているが、各歌唱要素に対してそれぞれ別々のポイント算出テーブルを適用するようにしてもよい。また、ランク分けは5段階に限定されない。さらに、段階的なランク分け(ポイント変化)に限定されず、判定結果に応じて連続して変化するポイント値を与えるようにしてもよい。
【図面の簡単な説明】
【0100】
【図1】この発明の実施形態であるカラオケ装置のブロック図
【図2】同カラオケ装置で用いられる曲データの構成例を示す図
【図3】同カラオケ装置のリストメモリの構成を示す図
【図4】同カラオケ装置の採点処理の機能ブロックを示す図
【図5】同カラオケ装置におけるLPF処理を説明する図
【図6】同カラオケ装置の音符のランク付けを説明する図
【図7】同カラオケ装置におけるしゃくりの検出方式を説明する図
【図8】同カラオケ装置におけるタイミング差の検出方式を説明する図
【図9】同カラオケ装置におけるタイミングポイントを算出するテーブルの例を示す図
【図10】同カラオケ装置における抑揚の検出方式を説明する図
【図11】同カラオケ装置の採点処理動作を示すフローチャート
【図12】同カラオケ装置の得点集計処理を示すフローチャート
【図13】同カラオケ装置のポイント算出テーブルの例を示す図
【符号の説明】
【0101】
10…CPU、11…ハードディスク、12…RAM、13…音源、14…ミキサ、15…サウンドシステム、16…スピーカ、17…マイク、18…A/Dコンバータ、19…ボーカルアダプタ、20…MPEGデコーダ、21…合成回路、22…モニタ、23…操作部、
30…シーケンサ、31…曲シーケンサ、32…歌詞シーケンサ、32a…文字パターン作成プログラム、33…背景映像再生プログラム、34…採点モード処理プログラム、 35…操作入力処理プログラム、
40…曲データ記憶エリア、41…背景映像記憶エリア、43…採点ログ、
101…リファレンス周波数検出部、102…歌唱周波数検出部、105、106…ローパスフィルタ処理部、107…採点部、108…エンベロープ検出部
【技術分野】
【0001】
この発明は、歌唱採点機能を備えたカラオケ装置における採点精度の向上に関する。
【背景技術】
【0002】
従来よりカラオケ装置には、歌唱者の歌唱の巧拙を採点する採点機能を備えたものがあった。従来より実用化されている採点機能は、ガイドメロディなどのリファレンスから抽出した音高と歌唱音声から抽出した周波数とを比較するもの(たとえば特許文献1)やこれに音量変化の評価を加味したもの(特許文献2)などがあった。
【0003】
【特許文献1】特開平10−49183号公報
【特許文献2】特開平10−161673号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
しかし、ガイドメロディは、音高を指示するイベントデータ(ノートオンイベントデータおよびノートオフイベントデータ)を配列したMIDIデータであるため、従来の採点機能では基本的な歌唱要素である歌唱周波数しか採点することができず、他の技巧的な歌唱要素を正しく評価して採点することができなかった。このため、歌唱の本当の巧拙を正しく評価した得点を算出することができないという問題点があった。
【0005】
この発明は、実際の歌唱の巧拙を正確に判定することができるようにした採点機能付きのカラオケ装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
請求項1の発明は、カラオケ曲を演奏する演奏手段と、歌唱音声を入力する歌唱入力手段と、入力された歌唱音声を採点する採点手段と、を備えたカラオケ装置であって、
前記採点手段は、(1)音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること、(2)最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること、(3)歌唱周波数が滑らかに上昇してゆくこと、を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点することを特徴とする。
【0007】
請求項2の発明は、前記採点手段は、さらに、(4)歌唱周波数が上昇を開始する前に一点周波数が下降すること、のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点することを特徴とする。
【0008】
請求項3の発明は、カラオケ曲を演奏する演奏手段と、歌唱音声を入力する歌唱入力手段と、入力された歌唱音声の周波数を検出する歌唱周波数検出手段と、技巧的歌唱要素を採点するためのルールを記憶する記憶手段と、入力された歌唱音声を採点する採点手段と、を備えたカラオケ装置であって、
前記演奏手段は、楽曲データに基づいてカラオケ曲の楽音信号を形成するとともに、このカラオケ曲の楽音信号に同期したリファレンス周波数を出力し、
前記採点手段は、前記歌唱音声の周波数を前記リファレンス周波数と比較することによって採点し、基本得点を算出する周波数採点手段と、前記歌唱音声の技巧的な歌唱要素を前記ルールを用いて採点して付加ポイントを算出する歌唱要素採点手段と、前記基本得点に前記付加ポイントを加算して最終得点を求める最終得点算出手段と、を備えていることを特徴とする。
【0009】
請求項4の発明は、請求項3の発明において、前記周波数採点手段は、前記歌唱音声を音符ごとに採点し、この音符ごとの採点結果を集計して基本得点を算出することを特徴とする。
【0010】
請求項5の発明は、請求項3、4の発明において、前記周波数採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数を低域ろ波(LPF)したものを用いて採点し、前記歌唱要素採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数をそのまま用いて採点することを特徴とする。
【0011】
請求項6の発明は、請求項3〜5の発明において、前記歌唱要素採点手段は、前記技巧的な歌唱要素として、歌唱の周期的な周波数変動であるビブラート、歌唱のフレーズ内での音量の変動である抑揚、歌唱の音質、各音符の歌いだしタイミング、音高の移行波形であるしゃくり、の1または複数の歌唱要素を採点することを特徴とする。
【0012】
請求項7の発明は、請求項3〜5の発明において、前記歌唱要素採点手段は、(1)音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること、(2)最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること、(3)歌唱周波数が滑らかに上昇してゆくこと、を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点することを特徴とする。
【0013】
請求項8の発明は、請求項7の発明において、前記歌唱要素採点手段は、さらに、(4)歌唱周波数が上昇を開始する前に一点周波数が下降すること、のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点することを特徴とする。
【0014】
上記発明では、基本的な歌唱の要素である歌唱周波数に加えて、ビブラート、抑揚、声質、タイミング、および、音高の移行波形(しゃくり)など他の歌唱要素も採点する。そして、歌唱周波数を採点した結果を得点の中心(基本得点)としつつ、他の歌唱要素を採点結果から求めた点数を付加ポイントとして加算(減算)することにより、歌唱者の歌唱の巧拙を正しく且つ聴衆の評価と一致するように判定することができる。
【発明の効果】
【0015】
以上のようにこの発明によれば、歌唱周波数の採点結果を基本とし、ビブラート、抑揚、声質、タイミング、しゃくりなど他の歌唱要素を評価して最終得点を算出することができるため、歌唱の種々の要素を正しく評価した実際の歌唱の巧拙に一致した採点をすることが可能になる。
【発明を実施するための最良の形態】
【0016】
図面を参照してこの発明の実施形態であるカラオケ装置について説明する。
カラオケ装置において、カラオケ曲の演奏はカラオケ曲の楽音を発生しながら背景映像・歌詞テロップをモニタに出力する動作であるが、採点モードを設定すると、このカラオケ曲の演奏に加えて、歌唱者の歌唱音声をリファレンスと比較することによって採点して点数を算出し、曲の終了後にその点数を表示する採点動作を実行する。
【0017】
採点は、基本的に歌唱の周波数(音程・ピッチ)について行って基本点数を算出し、これに加えて、ビブラートの程度、抑揚の程度、音質の良否、タイミングの良否、しゃくりの回数などに基づいてボーナスポイントを算出して前記基本点数に加算(減算)する。
【0018】
図1は、同カラオケ装置のブロック図である。カラオケ装置は、装置全体の動作を制御するCPU10と、これに接続された各種機器で構成されている。CPU10には、ハードディスク11、RAM12、音源13、ミキサ(エフェクタ)14、ボーカルアダプタ19、MPEGデコーダ20、合成回路21、操作部23が接続されている。ハードディスク11は、カラオケ曲を演奏するための曲データやモニタに背景映像を表示するための映像データなどを記憶している。また、ハードディスク11には、図13に示すポイント算出テーブルも記憶されている。このポイント算出テーブルは、抑揚やビブラートなどの歌唱要素に基づいて付加的なポイントを決定するためのテーブルである(詳細は後述する)。RAM12には、プログラムや曲データを読み出すエリア、および、採点モード時に採点結果等を記録する採点ログエリアなどが設定されている。
【0019】
音源13は、CPU10が実行する曲シーケンサ31の処理によって入力された曲データ(ノートイベントデータ等)に応じて楽音信号を形成する。形成した楽音信号はミキサ14に入力される。ミキサ14は、音源13が発生した複数の楽音信号、および、マイク17−A/Dコンバータ18を介して入力された歌唱者の歌唱音声信号に対してエコーなどの効果を付与するとともに、これらの信号を適当なバランスでミキシングする。ミキシングされたデジタルの音声信号はサウンドシステム15に入力される。サウンドシステム15はD/Aコンバータおよびパワーアンプを備えており、入力されたデジタル信号をアナログ信号に変換して増幅し、スピーカ16から放音する。ミキサ14が各音声信号に付与する効果およびミキシングのバランスはCPU10によって制御される。
【0020】
また、A/Dコンバータ18によってデジタル信号に変換された歌唱音声信号は、ボーカルアダプタ19にも入力される。ボーカルアダプタ19は、この入力された歌唱音声信号から歌唱周波数を割り出すとともに、CPU10の曲シーケンサ31から入力されたリファレンスの周波数を割り出す。そして、この歌唱周波数とリファレンス周波数を同期させて30ms毎にCPU10(採点モード処理34)に入力する。リファレンスとしては、曲データに含まれるガイドメロディデータが用いられる。また割り出した周波数は、C0からのセント値で表現される。
【0021】
HDD11に記憶されている背景映像データ41は、MPEG2形式にエンコードされており、CPU10が実行する背景映像再生プログラム33は、これを読み出してMPEGデコーダ20に入力する。MPEGデコーダ20は、入力されたMPEGデータをNTSCの映像信号に変換して合成回路21に入力する。合成回路21は、この背景映像の映像信号の上に歌詞テロップや採点結果の表示などのOSDを合成する回路である。この合成された映像信号はモニタディスプレイ22に表示される。
【0022】
操作部23は、パネルスイッチインタフェースやリモコン受信回路などからなっており、利用者によるパネルスイッチやリモコン装置の操作に応じた操作信号をCPU10に入力する。CPU10は、操作入力処理プログラム35によってこの操作信号を検出し、対応する処理を実行する。この操作入力処理プログラム35はシステムプログラムに含まれるものである。
【0023】
パネルスイッチやリモコン装置は、曲番号を選択したり、採点モードなどのモードを選択するための種々のキースイッチを備えている。
【0024】
パネルスイッチやリモコン装置で曲番号が入力されると、操作入力処理プログラム35がこれを検出し、カラオケ曲のリクエストであるとしてシーケンサ30に伝達する。シーケンサ30は、これに応じて、この曲番号で識別されるカラオケ曲の曲データをハードディスク11の曲データ記憶エリア40から読み出す。シーケンサ30は、曲シーケンサ31および歌詞シーケンサ32からなっており、歌詞シーケンサ32は、文字パターン作成プログラム32aを含んでいる。曲シーケンサ31は曲データ中の演奏データトラック、ガイドメロディトラックなどのトラックのデータを読み出し、このデータで音源13を制御することによってカラオケ曲の演奏音を発生させる。また、歌詞シーケンサ32は、曲データ中の歌詞トラックのデータを読み出し、このデータに基づいて歌詞テロップの画像パターンを作成して合成回路21に出力する。また、背景映像再生プログラム33は、シーケンサ30からの指示に応じて所定の背景映像データを読み出してMPEGデコーダ20に入力する。
【0025】
ここで、図2を参照してハードディスク11に記憶されている曲データについて説明する。曲データは、同図(A)に示すように、カラオケ曲を演奏するための楽音トラック、ガイドメロディを発生するためのガイドメロディトラック、歌詞テロップを表示するための歌詞トラック、曲中の区切りを示すマークデータが書き込まれるマークデータトラックなどからなっている。曲データは、これ以外にヘッダ、音声データ、音声データ制御トラックなどを有しているが説明を簡略化するためにこの図では省略する。
【0026】
各トラックは、MIDIフォーマットに従って記述されている。たとえば、ガイドメロディトラックは、同図(B)に示すように、ノートオンイベントデータ、ノートオフイベントデータなどのイベントデータと各イベントデータの読み出しタイミングを示すタイミングデータからなっている。ノートオンイベントデータは音高データを含み、このノートオンによって発生する楽音(ガイドメロディ)の音高を指定する。この楽音は次のノートオフイベントデータが読み出されるまで継続する。
【0027】
タイミングデータは、各イベントデータ間の時間的間隔を示すデュレーションデータや曲のスタート時刻からの絶対時間を示す絶対時間データなどで構成することができる。
【0028】
楽音トラック、ガイドメロディトラックのイベントデータは、上記のように楽音の音高、音量、オン/オフなどを示すノートイベントデータなどで構成され、このノートイベントデータを音源13に入力することにより、音源13はこのイベントデータに対応する楽音を発音したり消音したりする。楽音トラックは、多数の楽器の楽音を発生するために複数トラック(パート)で構成されており、ガイドメロディトラックは、歌唱旋律をガイドするための単旋律のMIDIデータで構成されている。
【0029】
また、マークデータトラックには、カラオケ曲の曲中の種々の区切り点を示すマークデータが書き込まれる。マークデータとしては、序奏と1コーラス目の区切りに書き込まれる1コーラス目マーク、1コーラス目と間奏の区切りに書き込まれる間奏マーク、間奏と2コーラス目の区切りに書き込まれる2コーラス目マーク、2コーラス目とエンディングの区切りに書き込まれるエンディングマークなどがあり、また、各コーラス中のサビの開始・終了点に書き込まれるサビ開始マーク、サビ終了マークなどがある。このマークは上記演奏トラック、ガイドメロディトラックが発生する楽音と同期しており、システムエクスクルーシブメッセージとして記述される。
【0030】
一方、歌詞トラックのイベントデータは、このカラオケ曲の歌詞テロップをシステムエクスクルーシブデータでインプリメントしたシーケンスデータであり、楽音トラックやガイドメロディトラックとは異なるイベントデータを有している。イベントデータは、ページ区切りデータ、歌詞表示データなどである。
【0031】
通常モードのカラオケ曲の演奏では、シーケンサ30により上記のようなカラオケ演奏音の発生や歌詞テロップの表示処理動作が行われるが、採点モード時には、これに加えて採点モード処理プログラム34により、採点処理動作が実行される。
【0032】
この採点モード処理プログラム34を実行するために、ハードディスク11またはRAM12には図3に示すような記憶領域が確保される。この記憶領域は、ボーカルアダプタ19から30ms毎に出力される歌唱周波数およびリファレンス周波数を時系列に順次記憶してゆく領域、この歌唱周波数、リファレンス周波数に対してLPF処理(図4参照)したLPF歌唱周波数、LPFリファレンス周波数を記憶する領域、歌唱音声信号から振幅のエンベロープ(歌唱の音量レベル)を検出し、この歌唱レベル値を記憶する領域、および、曲シーケンサ31からボーカルアダプタ19を介して入力されるノートオン情報、ノートオフ情報、マークデータ情報を記憶する領域からなっている。採点モード処理プログラムは30ms毎に入力バッファをチェックし、上記各種データを取り込んでリストメモリにかきこむ。
【0033】
ここで、図4の機能ブロックを参照して、採点モード時の各部の処理について説明する。
マイク17から入力された歌唱音声信号は、A/Dコンバータ18でデジタル音声信号に変換されてボーカルアダプタ19に入力される(同時にミキサ14にも入力されるがここでは採点モードの動作のみについて説明する)。ボーカルアダプタ19は、このデジタル音声信号をそのまま採点モード処理プログラム34に出力するとともに、歌唱周波数検出部102で歌唱周波数(セント値)を検出して採点モード処理プログラム34に出力する。
【0034】
一方、ボーカルアダプタ19のリファレンス周波数検出部101には、カラオケ曲の演奏に同期して、曲シーケンサ31からリファレンスデータが入力される。リファレンスデータは、上述したようにガイドメロディデータが用いられる。リファレンス周波数検出部101は、入力されたMIDIデータのノートオンイベントデータから音高情報を抽出し、その音高のセント値をリファレンス周波数として採点モード処理プログラム34に出力する。
【0035】
また、ボーカルアダプタ19には曲シーケンサ31からノートオン情報、ノートオフ情報、マークデータ情報などの制御情報が入力されるため、ボーカルアダプタ(リファレンス周波数検出部101)は、これを採点モード処理プログラム34に出力する。曲シーケンサ31から直接採点モード処理プログラム34に入力しないのは、このノートオン/オフ情報などの制御情報と歌唱周波数データ、リファレンス周波数データとの同期をとるためである。
【0036】
歌唱音声検出部102による歌唱周波数の検出およびリファレンス周波数検出部101によるリファレンス周波数の検出は、30ms毎に同期して実行され、その検出結果が30ms毎に採点モード処理プログラム34に入力される。
【0037】
採点モード処理プログラム34は、入力された歌唱周波数およびリファレンス周波数を図3のリストメモリに書き込むとともに、これら周波数データに対してローパスフィルタ(LPF)処理(105、106)を行う。リファレンス周波数に対するLPF処理は、機械的な音高列であるリファレンス(図5(A)参照)の音高変化を滑らかにして人間の歌唱に近づけるための処理である。また、歌唱周波数に対するLPF処理は、ビブラートなどの技巧を除去してフラットな歌唱周波数情報を得るための処理である。
【0038】
図5を参照してローパスフィルタ処理について説明する。図5(A)はリファレンスとして用いられるガイドメロディデータの例を示す図である。リファレンスデータは、音符が連続しているレガート区間であっても正確な拍タイミングに不連続に音高が変化する機械的なデータである。このような不連続なリファレンスに対してLPF処理を行うことにより、同図(B)に示すように、音符と音符の間ではなだらかに音高が変化するようになり、リファレンスを歌唱者の実際の歌唱に近い音高変化のものにすることができる。なお、音符が途切れる休符の区間やノンレガートで歌唱するところなどは、このLPF処理の対象外にする。これにより、音の無い区間のデータによりLPF処理が不自然な動きになってしまうことを防止することができる。
【0039】
同図(C)は歌唱音声周波数データの例を示す図である。歌唱音声周波数は、音符(音高)の変わり目でなだらかな音高の移行(いわゆる「しゃくり」)をしているとともに、音の伸ばしの部分では、ビブラートなどの周期的な周波数変化をしている。この歌唱音声周波数データをLPF処理することにより、同図(D)に示すように、しゃくり部分のオーバーシュートやビブラートなどの細かい周波数変化を除去することができ、歌唱しようとしていた周波数を正確に抽出することができるようになる。
【0040】
なお、マイク17から入力された音声信号には歌唱音声信号のみならず種々のノイズが含まれている。このノイズ成分のレベルが大きい場合、周波数検出部102は、このノイズ成分を歌唱音声信号と見なしてその周波数を検出してしまう場合がある。このようなノイズ成分がLPF処理部106に入力されると、その1サンプルだけでなくその後もずっと誤ったデータが出力されてしまう。そこで、歌唱音声の周波数変化と考えにくい、150セント以上の突然の音高変化があった場合には、そのデータを無視して(直前のサンプルデータをもう一度採用して)LPF処理を行うことにより、ノイズによる悪影響を防止することができる。
【0041】
歌唱周波数およびリファレンス周波数のデータ列は、30ms毎の離散データであるため、上記の処理を好適に達成するため、歌唱周波数に対するLPF処理部106は、カットオフ周波数5.5Hzの2次フィルタを用い、リファレンス周波数に対するLPF処理部105は、カットオフ周波数5Hzの2次フィルタを用いている。
【0042】
LPF処理された歌唱周波数(LPF歌唱周波数)およびリファレンス周波数(LPFリファレンス周波数)は、図3のリストメモリに書き込まれる。図4の採点部107は、歌唱周波数とリファレンス周波数とを比較し、その差分(セント値)を算出し、この差分に基づいて各ノート(音符)毎に合格ノート、不合格ノートを判定する。採点部107には、リファレンス周波数検出部101からノートオン情報・ノートオフ情報が入力されるため、その区間に歌唱周波数が、所定(1〜複数)サンプル以上歌唱旋律の音高に合っていた(周波数許容範囲に入っていた)場合には、「合格ノート」であると判定し、歌唱周波数が歌唱旋律の音高に合った回数が上記所定サンプル未満であった場合には「不合格ノート」であると判定する。
【0043】
基本点数は、2種類の方式で算出され、そのうち高い点数の方を採用する。第1の方式は、合格ノート数を全ノート数で除した値に基づいて基本得点を算出する方式であり、第2の方式は、合格ノートをその長さに応じてランク付け(重みづけ)し、合格ノートの重みづけ合計値を全ノート数で除した値に基づいて基本得点を算出する方式である。
【0044】
第1の方式では、合格ノート数を全ノート数で除算して45を掛けた値に50を加算して50〜95点の点数を算出する。このように最低でも50点が出るようにしているのは、カラオケ装置がエンターテイメント装置であることを考慮したためである。また、最高点を95点としたのは、後述の付加ポイントを加算したときに100点満点となるようにするためである。
【0045】
また、第2の方式である重み付け採点では、合格ノート数を各ランク別に集計してそれぞれの重み付け係数を乗算し、この重み付けされた値を合計したものを全ノート数で除算し、この除算値(商)に45を掛けた値に50を加算して50〜95点の点数を算出する。
【0046】
図6(A)は、ランク分けと各ランクの重み付けを示す図である。短い音符のほうが歌唱の音程を合わせるのが難しいため、短い音符のほうが大きい重みになるようにしている。この例では10サンプル(300ms)以下の長さの音符をAランクとして1.2の重みを与えるようにしている。また、33サンプル(約1秒)より長い音符は歌唱が容易な長い音符であるとしてCランクとし、0.8の重み付けにしている。その中間の11サンプル〜33サンプルの音符は、通常の音符であるとして、1の重みを与えている。
【0047】
また、上記実施形態では、時間の長さに基づいてノートをA/B/Cの3段階にランク分けしているが、ランク分けは3段階に限定されない。また、各ランクの境界線は10サンプルと33サンプルに限定されない。また、各ランクの重み付け係数は、1.2/1.0/0.8に限定されない。
【0048】
また、各ノートを複数段階のランクに分類するのではなく、図6(B)に示すように、それぞれの長さに応じた重み付け係数を与えるようにしてもよい。この変化曲線(直線・折れ線を含む)は、図示のものに限定されない。
【0049】
また、上記実施形態では、合格ノートをその長さで重み付けしているが、不合格ノートも重み付けして減点するようにしてもよい。すなわち、上記実施形態では、合格ノートは1.2/1.0/0.8の重み付けで累算され、不合格ノートは一律に0であるが、不合格ノートであっても、短い音符の場合には、0ではなく、0.1〜0.8程度の点数を加算するようにする。また、長い音符が不合格になった場合には、0でなく減点するようにしてもよい。
【0050】
次に、この採点モード処理プログラムは、歌唱周波数以外に、歌唱のビブラート、抑揚、声質、タイミング、しゃくりなどの歌唱要素を検出し、これに基づいて付加的なポイントを算出して前記基本得点に加算(減算)したものを最終得点としている。この付加的なポイントの重みは、基本得点の大きさによって異なり、基本得点が高いほどポイントが低く(加点が少なくなる方向に)シフトするようにしている。
【0051】
以下、各歌唱要素の検出および判定方法について説明する。
図7は、しゃくりの検出方法を説明する図である。このしゃくりの検出には、LPF処理をしていない生の歌唱周波数データ列およびリファレンス周波数データ列を用いる。
【0052】
しゃくりとは、同図の歌唱周波数曲線に示すように上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧である。上昇の開始がほぼ後のノートの開始タイミングと一致しており、歌唱周波数はこの後遅れてその音符のリファレンス周波数に到達する。歌唱周波数の変化曲線がノート開始タイミング付近から徐々に音高が上昇してゆくという条件を満たしているかに基づいて検出し、この条件に適合した歌唱周波数の変化があった場合には、これをしゃくりの歌唱技巧であると判定する。
【0053】
このしゃくりの条件を満たしているかを判定するためのルールとして
(1)ノート開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること
(2)最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること
(3)歌唱周波数が滑らかに上昇してゆくこと
図7(A)がこの条件に適合した歌唱音高の変化を示している。ここで、上記3つの条件を判定するために、採点モード処理プログラムにおいては、同図のハッチング部分(禁止エリア)に歌唱周波数がかからないことをチェックしている。すなわち、歌唱周波数が禁止エリアにかからずに合格ノートとなった場合にしゃくり技巧であると判定する。より、厳格に判定する場合には、図示の斜め破線と禁止エリアの間を歌唱周波数曲線が通過するか否かを判定するようにすればよい。
【0054】
また、より高度なしゃくりの技巧を判定する場合には上記(1)〜(3)のルールに加えて、
(4)歌唱周波数が上昇を開始する前に一旦周波数が下降すること
のルールを加える。歌唱周波数がこのような変化をすればよりしゃくりが強調される。この条件を満たした歌唱周波数の変化曲線の例を同図(B)に示す。同図の白抜き矢印の位置で歌唱周波数が一旦下がっており、上記(4)のルールに適合した変化曲線であることがわかる。
【0055】
しゃくりが検出されれば、モニタ22に「しゃくり」の歌唱が行われた旨を表示する。カラオケ曲の終了後、曲中で検出されたしゃくりの回数に基づいてしゃくりポイントを算出して基本得点に加算する。
【0056】
図8は、タイミング(差)の検出方法を説明する図である。また、図9は、タイミング差に基づいてタイミングポイントを算出するためのタイミングポイントテーブルを示す図である。このタイミング差の検出には、通常はLPF処理をしていない歌唱周波数データ列およびリファレンス周波数データ列を用いるが、歌唱周波数についてはLPF処理をしたLPF歌唱周波数データ列を用いてもよい。
【0057】
図8において、歌唱者があるノート(音符)を歌唱しようとして発声を操作したタイミングが歌唱タイミングであり、歌いだしなどの歌の無い部分から歌唱を開始した場合には、同図(B)に示すように、歌唱周波数検出部102に歌唱音声が入力されて、周波数の検出を開始したタイミングdを歌唱タイミングとする。この歌唱タイミングとリファレンスの発音タイミングRとの時間差がタイミング差である。
【0058】
一方レガート歌唱などで複数のノートが連続している場合には、同図(A)のように歌唱周波数が発音タイミングRの付近で所定範囲(許容範囲)以内に接近したタイミングaを歌唱タイミングとする。
【0059】
また、歌唱者が前のノートからこのノートに移行しようとし始めたタイミングをとらえて歌唱タイミングとしてもよい。すなわち、同図(A)において、許容範囲内に接近したタイミングaの直前で音高の変化がスタートしたタイミングbや変化の傾きが所定値以上になったタイミングcなどを歌唱タイミングとするようにしてもよい。
【0060】
なお、同図(A)は音高の低いノートから高いノートへの変化(上昇)について説明しているが、音高の高いノートから低いノートへの変化(下降)についても上下が反転するのみで同様である。
【0061】
また、同図(A)の歌唱タイミングaは遅れ方向であり、歌唱タイミングb,cおよび同図(B)の歌唱タイミングdは進み(突っ込み)方向であるが、タイミングの進み遅れはこれに限定されるものではない。
【0062】
また、発音タイミングRと歌唱タイミングa,b,cとのタイミング差を検出する範囲は、前のノートおよび後のノート(発音タイミングRで発音するノート)の長さのそれぞれ1/2〜1/3程度までの範囲でよい。もし、それ以上離れたタイミングで歌唱周波数がこの条件に該当しても、これがこのノートの発音のための音高変化であると特定しえないためである。
【0063】
上記歌唱タイミングの検出方式は、歌唱周波数の変化を監視して歌唱タイミングを検出するものであったが、同図(C)に示す方式は、リファレンスの発音タイミングRをはさむ2つのノート(前のノートおよび後のノート)のリファレンス周波数と歌唱周波数とを相互に時間軸方向に移動させて相互相関を求めてそれが最大の位置を割り出し、その相互相関が最大の位置ともとのデータ位置とのずれ量をタイミング差(e)とする。この方式であれば、音高変化時の波形だけでなく、ノート全体の波形に基づいて歌唱タイミングを割り出すことができる。
【0064】
上記の比較において、単に同じタイミングの歌唱周波数とリファレンス周波数とを比較するのではなく、リファレンス周波数を時間軸上で前後に移動させ、両サンプル列の相互相関が最大になる位置で対応する歌唱音声周波数とリファレンス周波数比較するようにしている。相互相関は、
【0065】
【数1】
【0066】
の相互相関関数で求めてもよいが、ずらしたときに対応するサンプル同士の差分をとり、その差分の積算値が最小となる位置を最大相関点とするようにしてもよい。
【0067】
上記の方式でタイミング差が検出されると、このタイミング差でタイミング点テーブルを参照してタイミング点を割り出す。
【0068】
図9は、タイミングポイントテーブルの例を示す図である。同図(A)は「演歌」に対応したタイミングポイントテーブルの例を示している。演歌の場合はジャストタイミングから遅れ気味の歌唱技巧である「ため」に対応するため、ジャストタイミングから遅れ気味の範囲で大きな+点(加点)が与えられるようになっている。これに対して進み気味(突っ込み気味)の歌唱は焦って聞こえるため、−点(減点)が与えられるようになっている。
【0069】
一方、同図(B)は「ポップス系」のカラオケ曲対応したタイミング点テーブルの例を示している。ポップスの場合、正確なビートでリズムが刻まれているため、歌唱もジャストタイミングが望まれ、大きく遅れても大きく進んでも−点になる。ジャストタイミングの範囲およびわずかな進みの範囲で+点が与えられる。
【0070】
カラオケ曲が選択されたとき、そのカラオケ曲のジャンルに応じてタイミング点テーブルが選択され、歌唱のノート毎にタイミング点が割り出される。そして、カラオケ曲が終了したとき、全てのタイミング点の平均値を算出し、タイミングポイントとする。
【0071】
図9には、演歌系とポップス系のカラオケ曲向けのタイミング点テーブルのみ示しているが、他の種々のジャンル向けのタイミング点テーブルを設けてもよく、ポップス系のタイミング点テーブルを非演歌系のカラオケ曲全てに適用してもよい。また、タイミング点の算出方式は、タイミング点テーブルに限定されず、関数を用いるなど他の方式によってもよい。
【0072】
また、この実施形態では、タイミング点テーブルをジャンル別に設けたが、カラオケ曲毎に設けるようにしてもよい。たとえば、カラオケ曲の楽曲データ中にタイミング点テーブルを含めておき、カラオケ曲の配信と一緒に配信されるようにしてもよい。そして、曲別のタイミング点テーブルを有さない旧来の楽曲データの場合には、予め設けてあるジャンル別のタイミング点テーブルを用いるようにすればよい。
【0073】
図10は、抑揚の検出方法を説明する図である。抑揚の判定はフレーズ毎に行う。フレーズとは、休符や音切りなどで区切られる歌唱の1区切りの単位である。図10は、1フレーズについて示している。フレーズの前後で歌唱が途切れるため、音量エンベロープはほぼ無音状態になる。音量エンベロープを監視することにより、採点モード処理プログラム34は、フレーズを検出することができる。
【0074】
まず、同図(A)を参照して、フレーズ内の平均値に基づいて抑揚を判定する方式について説明する。1フレーズ分の音量エンベロープのデータが蓄積されると、まずその平均値Aaを求める。そして、リファレンスのノートオン情報、ノートオフ情報に基づいて各ノート区間を切り分け、各ノート毎の音量平均値A1〜Anを求める。そして、各ノートの平均値A1〜Anのフレーズ全体の平均値Aaとの平均偏差を求める。
【0075】
次に、同図(B)を参照して、フレーズ内のピーク値に基づいて抑揚を判定する方式について説明する。1フレーズ分の音量エンベロープのデータが蓄積されると、まずこのフレーズ内のピーク値Paを求める。そして、リファレンスのノートオン情報、ノートオフ情報に基づいて各ノート区間を切り分け、各ノート毎の音量ピーク値P1〜Pnを求める。そして、各ノートのピーク値P1〜Pnとフレーズ内のピーク値Paとの差の平均値(平均偏差)を求める。
【0076】
そして、カラオケ曲の終了後、全フレーズの平均偏差の平均値を求め、この値に基づいて抑揚ポイントを算出する。
【0077】
なお、抑揚の検出は、LPF処理をしていない生のデータを用いてもよく、LPF処理をしたLPFデータを用いてもよい。
【0078】
また、ビブラートの判定は、LPF処理をしていない生の歌唱周波数データ列を用い、歌唱の周波数変動の周期性を検出する。周期性が検出された場合には、ビブラートありと判定する。ビブラートありが検出されると、その振幅(周波数変動)の大きさでポイントの大きさを決定する。
【0079】
また、声質の判定は、入力された歌唱音声波形を基本周波数帯域のバンドパスフィルタ(BPF)および倍音成分のBPFに通し、基本周波数成分の大きさと倍音成分の大きさとを比較する。倍音成分の比率が高いほど(基本周波数成分のレベルに近いほど)声の質がよいとしてポイントを高くする。
【0080】
図11、図12のフローチャートを参照して採点モード処理プログラム34の処理について説明する。
図11は採点モード処理プログラム34の採点処理動作を示すフローチャートである。この動作では30ms毎に入力レジスタをチェックして、歌唱レベルデータ、歌唱周波数サンプルデータ、リファレンス周波数サンプルデータおよび音量レベル値(音量エンベロープのサンプル値)、さらに、ノートオン/オフ情報、マークデータ情報が入力されたか否かを監視している。歌唱レベルデータ、歌唱周波数およびリファレンス周波数が入力されると(s1)、まず歌唱レベルデータをリストメモリ(図3参照)に書き込み(s5)、LPF処理していない生の歌唱周波数データおよびリファレンス周波数データをリストメモリに書き込む(s6)。そして、歌唱周波数データ、リファレンス周波数データの両方に対してLPF処理を実行し(s7)、このLPF処理されたサンプルデータをリストメモリに書き込む(s8)。
【0081】
ボーカルアダプタ19からノートオン情報が入力された場合には(s2)、これをリストメモリに書き込む(s10)。このノートオン情報が書き込まれた位置が図8のタイミング検出におけるリファレンスの発音タイミングRに相当する。
【0082】
ノートオフ情報が送られてきた場合には(s3)、これをリストメモリに書き込み(s11)、リストメモリに蓄積されたLPF歌唱周波数データおよびLPFリファレンス周波数データに基づいて採点対象ノートの合格/不合格を判定する(s12)。この判定は、音程(周波数差)に基づく合否の判定である。さらに、各種採点要素についての採点を実行する(s13〜s15)。s13では、ビブラートを判定する。ビブラートの判定は上述したように、LPF処理をしていない歌唱周波数データ列の周期性を検出し、周期性がある場合にはビブラートありと判定し、その周波数変動の深さに応じてランク付けする処理である。
【0083】
s14では、タイミングを判定する。このタイミング判定は、図8に示したように歌唱周波数の変化とリファレンス周波数の変化の時間差を検出し、この時間差で図9のタイミングポイントテーブルを引いてタイミングポイントを割り出す処理である。
【0084】
s15では、しゃくりの有無を判定する。しゃくりの判定は、歌唱周波数が図7に示す条件を満たす波形で変化するかを判定するものであり、この上記条件を満たす波形で変化した場合にはしゃくりの技巧で歌唱されたと判定してしゃくり回数をカウントアップする。カラオケ曲の終了後にこのしゃくり回数に基づいてしゃくりポイントを決定する。
【0085】
上記の合格ノート/不合格ノートの判定、および、各種歌唱要素の判定ののち、この合否結果、判定結果を記憶して(s16)、待機ルーチンにもどる。そして、上記の処理をノートオフ毎に繰り返して行い。曲が終了すると(s4)、得点集計処理(s17)を実行する。
【0086】
図12は得点集計処理を示すフローチャートである。この動作は、上記s17で実行される動作である。まず、全ノート数および合格ノート数を集計し(s30)、合格ノート数を全ノート数で除算した値に45を乗算し50を加算して第1の基本得点を算出する(s31)。次に、合格ノートをノート長のランク付けに基づいて重み付け集計し(s32)、この集計値を全ノート数で除算した値に45を乗算し50を加算して第2の基本得点を算出する(s33)。これら第1、第2の基本得点のうち高得点の方を採用してこの歌唱の基本得点とする(s34)。
【0087】
次に、各種歌唱要素の集計を行う。まず、抑揚を判定する(s35)。抑揚の判定は、図10に示すように各ノートの平均値またはピーク値をフレーズの平均値またはピーク値と比較して、偏差を求める処理である。この偏差が大きいほど抑揚が大きいと判断する。そして、全フレーズの偏差の平均値に基づき抑揚をA,B,C,D,Eの5段階にランク付けする。
【0088】
そして、このランクと前記基本得点に基づいて図13(A)のポイント算出テーブルを参照し、抑揚ポイントを割り出す(s36)。
このポイント算出テーブルは、基本得点に応じてA,B,C,D,Eの各ランクに対して何点を与えるかを割り出すテーブルである。基本点数が高いほど与える点数が低く設定されており、基本点数が高得点の場合には、低いランク(C,D,E)に対してマイナスポイントが与えられるようになっている。これにより、基本点数が高い歌唱者(上手な歌唱者)の場合には、各歌唱要素も上手くないと加点されないようにしている。
【0089】
次に声質を判定する(s37)。カラオケ曲の演奏中に適当な箇所の歌唱音声信号を保存しておき、その歌唱音声信号を用いてこの声質の判定を行う。この判定処理では、歌唱音声信号を基本周波数帯のBPFおよび倍音周波数帯のBPFに通し、倍音成分の大きさに応じて声質をA,B,C,D,Eの5段階にランク付けする。倍音成分が大きいほど上位(A,Bなど)にランクされる。そして、このランクと前記基本得点に基づいて図13(A)のポイント算出テーブルを参照し、声質ポイントを割り出す(s38)。
【0090】
次に各ノート毎に行ったビブラートの判定結果を集計し、ビブラートをA,B,C,D,Eの5段階にランク付けする(s39)。ランク付けは、たとえば、ビブラート累積時間が長いほど高いランクとするなどの方式で決定する。なお、ビブラートの判定は、図11の処理動作でノート毎に行ってもよい。このランクと前記基本得点に基づいて図13(A)のポイント算出テーブルを参照し、ビブラートポイントを割り出す(s40)。
【0091】
次にタイミング差の評価を集計し、タイミングをA,B,C,D,Eの5段階にランク付けする(s41)。このランクと前記基本得点に基づいて図13(A)のポイント算出テーブルを参照し、タイミングポイントを割り出す(s42)。
【0092】
次にしゃくり回数を集計し、このしゃくりの回数をA,B,C,D,Eの5段階にランク付けする(s43)。このランクと前記基本得点に基づいて図13(B)のポイント算出テーブルを参照し、タイミングポイントを割り出す(s44)。
図13(B)のポイント算出テーブルは、基本得点が低い場合のみプラスポイントを与えるように設定されたテーブルであり、基本得点がたとえば70点以上になるとこの歌唱要素(しゃくり)は得点に考慮されない。
【0093】
上記処理で算出された各種歌唱要素のポイントを基本得点に加算して合計得点を算出する(s45)。基本得点が95点で歌唱要素のうちしゃくりを除く全てがAランクの場合には、99点となるが、その場合のみしゃくりがAランクであるか否かを判断し、Aランクの場合には合計得点を100点とする。合計得点が100点を超える場合がある採点方法であってもよい。最終的に100点に丸めるようにすればよい。なお、合計得点(最終得点)算出方式はこれに限定されない。
【0094】
s46では、合計得点が60点以上であるかを判定する(s46)。60点以上の場合には、その得点を最終得点としてモニタ22に表示する(s49)。
【0095】
60点未満の場合には、上記5つの歌唱要素のうち1つでもAランクのものがあるかを検索する(s47)。1つでもAランクのものが存在する場合には、「一発芸」があるとして、合計得点にかかわらずボーナス得点として70点を最終得点と決定する(s48)。Aランクのものがない場合には、合計得点をそのまま最終得点とする。こののち、最終得点をモニタ22に表示する(s49)。
【0096】
このように採点結果の最終得点にかかわらず一発芸のある歌唱に対して適当な(低くない)得点を与えるのは、このような歌唱は聴衆を沸かせる(うける)ものであるため、それを評価したものである。
【0097】
一発芸を評価するしきい値得点は、60点に限定されない。また、ボーナス点として決定する点数も70点に限定されない。
【0098】
また、この実施形態では、基本歌唱要素として歌唱周波数を採点して基本得点を算出し、各種歌唱要素として、ビブラート、抑揚(音量)、声質、タイミング、しゃくりを判定して付加的なポイントを決定しているが、基本歌唱要素として周波数以外に音量やタイミングを加えてもよい。また、各種歌唱要素は上記のものに限定されない。その一部でもよく、他の要素を加えてもよい。
【0099】
また、ポイント算出テーブルは、図13に記載したものに限定されない。この実施形態では、ビブラート、抑揚(音量)、声質、タイミングに対して同一のポイント算出テーブルを適用して付加ポイントを算出しているが、各歌唱要素に対してそれぞれ別々のポイント算出テーブルを適用するようにしてもよい。また、ランク分けは5段階に限定されない。さらに、段階的なランク分け(ポイント変化)に限定されず、判定結果に応じて連続して変化するポイント値を与えるようにしてもよい。
【図面の簡単な説明】
【0100】
【図1】この発明の実施形態であるカラオケ装置のブロック図
【図2】同カラオケ装置で用いられる曲データの構成例を示す図
【図3】同カラオケ装置のリストメモリの構成を示す図
【図4】同カラオケ装置の採点処理の機能ブロックを示す図
【図5】同カラオケ装置におけるLPF処理を説明する図
【図6】同カラオケ装置の音符のランク付けを説明する図
【図7】同カラオケ装置におけるしゃくりの検出方式を説明する図
【図8】同カラオケ装置におけるタイミング差の検出方式を説明する図
【図9】同カラオケ装置におけるタイミングポイントを算出するテーブルの例を示す図
【図10】同カラオケ装置における抑揚の検出方式を説明する図
【図11】同カラオケ装置の採点処理動作を示すフローチャート
【図12】同カラオケ装置の得点集計処理を示すフローチャート
【図13】同カラオケ装置のポイント算出テーブルの例を示す図
【符号の説明】
【0101】
10…CPU、11…ハードディスク、12…RAM、13…音源、14…ミキサ、15…サウンドシステム、16…スピーカ、17…マイク、18…A/Dコンバータ、19…ボーカルアダプタ、20…MPEGデコーダ、21…合成回路、22…モニタ、23…操作部、
30…シーケンサ、31…曲シーケンサ、32…歌詞シーケンサ、32a…文字パターン作成プログラム、33…背景映像再生プログラム、34…採点モード処理プログラム、 35…操作入力処理プログラム、
40…曲データ記憶エリア、41…背景映像記憶エリア、43…採点ログ、
101…リファレンス周波数検出部、102…歌唱周波数検出部、105、106…ローパスフィルタ処理部、107…採点部、108…エンベロープ検出部
【特許請求の範囲】
【請求項1】
カラオケ曲を演奏する演奏手段と、歌唱音声を入力する歌唱入力手段と、入力された歌唱音声を採点する採点手段と、を備えたカラオケ装置であって、
前記採点手段は、
(1)音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること
(2)最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること
(3)歌唱周波数が滑らかに上昇してゆくこと
を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点するカラオケ装置。
【請求項2】
前記採点手段は、さらに、
(4)歌唱周波数が上昇を開始する前に一点周波数が下降すること
のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点する請求項1に記載のカラオケ装置。
【請求項3】
カラオケ曲を演奏する演奏手段と、
歌唱音声を入力する歌唱入力手段と、
入力された歌唱音声の周波数を検出する歌唱周波数検出手段と、
技巧的歌唱要素を採点するためのルールを記憶する記憶手段と、
入力された歌唱音声を採点する採点手段と、
を備えたカラオケ装置であって、
前記演奏手段は、楽曲データに基づいてカラオケ曲の楽音信号を形成するとともに、このカラオケ曲の楽音信号に同期したリファレンス周波数を出力し、
前記採点手段は、
前記歌唱音声の周波数を前記リファレンス周波数と比較することによって採点し、基本得点を算出する周波数採点手段と、
前記歌唱音声の技巧的な歌唱要素を前記ルールを用いて採点して付加ポイントを算出する歌唱要素採点手段と、
前記基本得点に前記付加ポイントを加算して最終得点を求める最終得点算出手段と、
を備えていることを特徴とするカラオケ装置。
【請求項4】
前記周波数採点手段は、前記歌唱音声を音符ごとに採点し、この音符ごとの採点結果を集計して基本得点を算出する請求項3に記載のカラオケ装置。
【請求項5】
前記周波数採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数を低域ろ波したものを用いて採点し、
前記歌唱要素採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数をそのまま用いて採点する
請求項3または請求項4に記載のカラオケ装置。
【請求項6】
前記歌唱要素採点手段は、前記技巧的な歌唱要素として、
歌唱の周期的な周波数変動であるビブラート、
歌唱のフレーズ内での音量の変動である抑揚、
歌唱の音質、
各音符の歌いだしタイミング、
音高の移行波形であるしゃくり、
の1または複数の歌唱要素を採点する請求項3乃至請求項5のいずれかに記載のカラオケ装置。
【請求項7】
前記歌唱要素採点手段は、
(1)音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること
(2)最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること
(3)歌唱周波数が滑らかに上昇してゆくこと
を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点する
請求項3乃至5のいずれかに記載のカラオケ装置。
【請求項8】
前記歌唱要素採点手段は、さらに、
(4)歌唱周波数が上昇を開始する前に一点周波数が下降すること
のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点する請求項7に記載のカラオケ装置。
【請求項1】
カラオケ曲を演奏する演奏手段と、歌唱音声を入力する歌唱入力手段と、入力された歌唱音声を採点する採点手段と、を備えたカラオケ装置であって、
前記採点手段は、
(1)音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること
(2)最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること
(3)歌唱周波数が滑らかに上昇してゆくこと
を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点するカラオケ装置。
【請求項2】
前記採点手段は、さらに、
(4)歌唱周波数が上昇を開始する前に一点周波数が下降すること
のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点する請求項1に記載のカラオケ装置。
【請求項3】
カラオケ曲を演奏する演奏手段と、
歌唱音声を入力する歌唱入力手段と、
入力された歌唱音声の周波数を検出する歌唱周波数検出手段と、
技巧的歌唱要素を採点するためのルールを記憶する記憶手段と、
入力された歌唱音声を採点する採点手段と、
を備えたカラオケ装置であって、
前記演奏手段は、楽曲データに基づいてカラオケ曲の楽音信号を形成するとともに、このカラオケ曲の楽音信号に同期したリファレンス周波数を出力し、
前記採点手段は、
前記歌唱音声の周波数を前記リファレンス周波数と比較することによって採点し、基本得点を算出する周波数採点手段と、
前記歌唱音声の技巧的な歌唱要素を前記ルールを用いて採点して付加ポイントを算出する歌唱要素採点手段と、
前記基本得点に前記付加ポイントを加算して最終得点を求める最終得点算出手段と、
を備えていることを特徴とするカラオケ装置。
【請求項4】
前記周波数採点手段は、前記歌唱音声を音符ごとに採点し、この音符ごとの採点結果を集計して基本得点を算出する請求項3に記載のカラオケ装置。
【請求項5】
前記周波数採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数を低域ろ波したものを用いて採点し、
前記歌唱要素採点手段は、前記歌唱周波数検出手段が検出した歌唱音声の周波数をそのまま用いて採点する
請求項3または請求項4に記載のカラオケ装置。
【請求項6】
前記歌唱要素採点手段は、前記技巧的な歌唱要素として、
歌唱の周期的な周波数変動であるビブラート、
歌唱のフレーズ内での音量の変動である抑揚、
歌唱の音質、
各音符の歌いだしタイミング、
音高の移行波形であるしゃくり、
の1または複数の歌唱要素を採点する請求項3乃至請求項5のいずれかに記載のカラオケ装置。
【請求項7】
前記歌唱要素採点手段は、
(1)音符の開始タイミングで歌唱周波数とリファレンス周波数が一定以上離れていること
(2)最終的には歌唱周波数がリファレンス周波数の音程許容範囲内に到達すること
(3)歌唱周波数が滑らかに上昇してゆくこと
を含むルールに適合しているか否かに基づき、歌唱旋律が上昇音形のときに徐々に滑らかに音高をあげてゆく歌唱技巧であるしゃくりの技巧で歌唱されたか否かを採点する
請求項3乃至5のいずれかに記載のカラオケ装置。
【請求項8】
前記歌唱要素採点手段は、さらに、
(4)歌唱周波数が上昇を開始する前に一点周波数が下降すること
のルールに適合しているか否かに基づき、前記しゃくりの技巧で歌唱されたか否かを採点する請求項7に記載のカラオケ装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2007−334364(P2007−334364A)
【公開日】平成19年12月27日(2007.12.27)
【国際特許分類】
【出願番号】特願2007−204778(P2007−204778)
【出願日】平成19年8月6日(2007.8.6)
【分割の表示】特願2003−342481(P2003−342481)の分割
【原出願日】平成15年9月30日(2003.9.30)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【出願人】(390004710)株式会社第一興商 (537)
【Fターム(参考)】
【公開日】平成19年12月27日(2007.12.27)
【国際特許分類】
【出願日】平成19年8月6日(2007.8.6)
【分割の表示】特願2003−342481(P2003−342481)の分割
【原出願日】平成15年9月30日(2003.9.30)
【出願人】(000004075)ヤマハ株式会社 (5,930)
【出願人】(390004710)株式会社第一興商 (537)
【Fターム(参考)】
[ Back to top ]