アシスト評価機能を有するカラオケ装置
【課題】カラオケ装置により二重唱曲を歌唱するにあたり、一方の歌唱者が歌唱中に歌い方を失念してしまった際、アシストを行った歌唱者のアシスト能力を評価できるようにし、好ましくは、アシストの要求を正確に確認でき、歌唱者同士でアシストの要求を正確に認識でき、歌唱者同士でアシストのタイミングが明確になるようにする。
【解決手段】二重唱楽曲における各歌唱パートに対応したカラオケマイク毎に予め設定されたリファレンスに基づき、それぞれの歌唱パートの楽曲中に設定された採点区間毎に採点値を算出し、一方の歌唱パートにおける連続した所定数の採点区間にて、その算出された採点値が何れも予め設定された基準値を下回った場合、他方の歌唱者による一方の歌唱パートを歌唱した採点区間の採点値および/または基準値が下回った時点から基準値が上回った時点の時間とを判断要素として評価するカラオケ装置。
【解決手段】二重唱楽曲における各歌唱パートに対応したカラオケマイク毎に予め設定されたリファレンスに基づき、それぞれの歌唱パートの楽曲中に設定された採点区間毎に採点値を算出し、一方の歌唱パートにおける連続した所定数の採点区間にて、その算出された採点値が何れも予め設定された基準値を下回った場合、他方の歌唱者による一方の歌唱パートを歌唱した採点区間の採点値および/または基準値が下回った時点から基準値が上回った時点の時間とを判断要素として評価するカラオケ装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、二重唱楽曲(以下、デュエット曲という)を、カラオケマイクを利用して歌唱するにあたり、一方の歌唱者が歌唱中に歌い方を失念してしまった際、他方の歌唱者による歌唱補助に対するアシスト能力を評価できるようにしたカラオケ装置に関する。
【背景技術】
【0002】
周知のようにカラオケ装置は、カラオケ楽曲の演奏音にカラオケマイクから入力した歌唱者の音声を合成して再生するようにしており、音程やテンポなどを歌唱者の歌唱力に対応させて予め設定することができ、また、歌唱力を評価して歌唱力採点するなどの機能が知られている。このようなカラオケ装置では、歌唱者が選定した楽曲が自動演奏され、歌唱者はこの楽曲の演奏音の流れに合わせて歌唱(以下、ボーカルという)を進行するようにしている。
【0003】
このようなカラオケ装置において、歌唱中に歌唱者が歌い方を失念して歌唱者のボーカルが途絶えると演奏音のみが継続して再生されることになる。かかる不具合を解決するため、予めシステムの記憶手段にボーカル音を記憶しておき、ボーカルの音量と演奏音の音量を演算する手段を備え、歌唱者の歌唱力が低下してボーカルが途絶えたとき、前記記憶手段からボーカル音を読み出し、演奏音とともにボーカル音を再生するようにしたシステムが知られている(例えば、特許文献1)。
【0004】
かかるシステムは、歌唱者の音声が途絶えたとき、自動的にボーカル付き演奏に切り替わり、一方、歌唱者が歌唱を再開して音声が生じると自動的にカラオケ演奏となるため、歌唱内容を完全にマスターしなくてもカラオケを楽しむことができるとするもので、スイッチの切り替えにより行われていたそれまでの困難で煩わしい操作を払拭するものとされている。
【特許文献1】特開平04−298793号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上述したようなシステムでは、歌唱者の歌い方の失念に対して、装置技術によりアシストするものであり、歌唱者が単独で歌唱する曲目において有効となる。ところが、デュエット曲のように同一曲目を異なる歌唱者が歌唱区分(以下、歌唱パートという)毎に歌唱するような場合、普通に行われる行為として、一方の歌唱者が歌唱中に歌い方を失念してしまった際には、他方の歌唱者がアシストするのが自然であり、装置技術によるアシストは違和感を生じ好まれないのが実情である。
【0006】
また、デュエット曲においても歌唱力採点が可能となるが、装置技術によるアシストを介在させた場合、歌唱者の正確な歌唱力採点をすることができなくなり、全パートが双方の歌唱者により歌唱され、歌唱力採点されることが望ましいことになる。そして、デュエット曲では、必ずしも双方の歌唱者の歌唱力が揃って優れていることはなく、一方の歌唱者を他方がアシストしつつ楽曲が進行する場合もある。その際、他方の歌唱者のアシストが優れている場合でも、アシストを受けた歌唱者の採点結果は向上するものの、従来では、アシストを行った歌唱者の評価をする仕組みがなかった。即ち、アシスト能力は無視される状態となっていた。
【0007】
本発明は、かかる従来の問題に鑑みなされたものであり、カラオケ装置によりデュエット曲を歌唱するにあたり、一方の歌唱者が歌唱中に歌い方を失念してしまった際、アシストを行った歌唱者のアシスト能力を評価できるようにし、好ましくは、アシストの要求を正確に認識でき、歌唱者同士でアシストのタイミングが明確になるカラオケ装置の提供を目的とするものである。
【課題を解決するための手段】
【0008】
そこで、本発明は、一方の歌唱者が歌い方を失念したことを、予め設定した歌唱力採点の基準値に基づき判断し、これに対し、他方の歌唱者が一方の歌唱者の代わりに、その歌唱パートを正確に歌唱したか否かを、各歌唱パートのそれぞれのカラオケマイクに設定されたリファレンスを置換して、その他方の歌唱者の採点結果から求め、さらに、この歌唱補助によって、一方の歌唱者が歌唱に復帰したことを、先の歌唱力採点に基づき判断し、その復帰時間を含めて総合的に評価することで、他方の歌唱者のアシスト能力を判断するような仕組みを構築することで、上記目的を達成することを見出し、本発明のカラオケ装置を想到した。
【0009】
即ち、本発明の請求項1記載のカラオケ装置では、
歌唱者毎に歌唱パートを分担して歌唱するための二重唱楽曲を保有し、各二重唱楽曲にはそれぞれ複数の採点区間が設定されていると共に、歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段とを有してなり、
(ア)歌唱力採点手段は、二重唱楽曲における各歌唱パートに対応したカラオケマイク毎に予め設定されたリファレンスに基づき、それぞれの歌唱パートの採点区間毎に採点値を算出し、
(イ)リファレンス置換手段は、一方の歌唱パートにおける連続した所定数の採点間にて、その算出された採点値が何れも予め設定された基準値を下回った場合、他方の歌唱パートのカラオケマイクに設定されたリファレンスを、前記一方の歌唱パートのカラオケマイクに設定されたリファレンスに置換し、かつ、前記一方の歌唱者の歌唱パートに対応する連続した所定数の採点区間にて、その算出された採点値が何れも前記基準値を上回った場合、あるいは、楽曲演奏が他方の歌唱者の歌唱パートを含む歌唱部分に切り替わった場合、前記置換されたカラオケマイクのリファレンスを前記設定されたリファレンスに戻し、
(ウ)アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートを歌唱した採点区間の採点値および/または前記基準値が下回った時点から前記基準値が上回った時点までの時間と、を判断要素として評価する。
【0010】
また、本発明の請求項2記載のカラオケ装置では、
(エ)アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートにおける各採点区間の歌唱に対する平均採点値と、前記基準値が下回った時点から前記基準値が上回った時点までの時間に加え、さらに、前記基準値が下回った時点から前記他方の歌唱者による前記一方の歌唱パートの歌唱開始時点までの時間と、を判断要素として評価するようにした。
【0011】
さらに、本発明の請求項3記載のカラオケ装置では、前記歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段に加え、さらに、アシスト通知手段とを有してなり、
(オ)アシスト通知手段は、前記基準値が下回った時点にて、画面表示および/または音声出力をもって、歌唱者に対してアシスト要求の通知をさせるようにした。
【発明の効果】
【0012】
本発明の請求項1記載のカラオケ装置によれば、一方の歌唱者の歌唱パートにおいて、歌い方を失念(採点値が予め設定された基準値を下回った状態)した際、他方の歌唱者が成した歌唱補助の正確さの程度や、その歌唱補助による一方の歌唱者の歌唱への復帰時間の長さを評価の判断要素とすることで、好適かつ客観性をもってアシストを行った歌唱者のアシスト能力を評価できるといった効果を奏する。
【0013】
また、請求項2記載のカラオケ装置によれば、さらに、一方の歌唱者が歌い方を失念してから他方の歌唱者が歌唱補助を始めるまでの時間を判断要素に組み入れることにより、アシストするリスポンスの速さもアシスト評価の対象とされ、さらに詳細に歌唱者のアシスト能力を評価できるといった効果を奏する。
【0014】
さらに、請求項3記載のカラオケ装置によれば、デュエット曲を歌唱するにあたり、一方の歌唱者の歌唱パートにおいて、歌い方を失念した際、モニター画面表示または音声により他方の歌唱者がアシストの要求を正確に認識でき、歌唱者同士のアシストのタイミングが明確になるといった効果を奏する。
【0015】
そして、請求項1乃至請求項3記載のカラオケ装置によれば、デュエット曲における歌唱力採点を正確に実行でき、カラオケ装置のアミューズメント性を向上するとともに、歌唱者の歌唱力向上に資するカラオケ装置とすることができる。
【発明を実施するための最良の形態】
【0016】
以下、本発明の実施の形態を図面を参照して詳細に説明する。図1は、本発明の全体の構成の概略を示すもので、本発明の理解を容易とするため、まず、同図の各部の構成を具体的に説明する。
【0017】
図1における符号50はカラオケ装置の各部を制御する中央演算処理装置(以下、CPUという)であり、このCPU50には、システムバスBUSを介してROM51、RAM52、通信制御部53、ハードディスク装置(以下、HDDという)54、リモコン受信部55、音源装置56、文字表示部57、表示制御部58、音声データ処理分60、歌唱力採点部68、アシスト要否判定部69が接続されている。
【0018】
前記ROM51には、本発明のカラオケ装置の電源投入時に初期設定を行う起動プログラムが記憶されており、装置の電源が投入されると、この起動プログラムによりHDD54に記憶されているシステムプログラムおよびアプリケーションプログラムがRAM52にロードされる。また、前記HDD54には、前記システムプログラムおよびアプリケーションプログラムのほか、カラオケ演奏時に再生される楽曲データファイルが記憶されている。
【0019】
ここで、図2乃至図4を参照して楽曲データの内容について説明する。図2は、HDD54に数万曲記憶されている楽曲データの1曲分の楽曲データのフォーマットを示し、図3、図4に楽曲データの各トラックの内容を示す。図2の楽曲データの内容は、ヘッダ、楽音トラック、ガイドメロディトラック、歌詞トラック、音声トラック、効果トラック、音声データ部により構成されている。ヘッダには、楽曲データに関する種々の情報が書き込まれており、例えば、曲番号、曲名、ジャンル、発売日、演奏時間などのデータが書き込まれている。
【0020】
楽音トラックから効果トラックの各トラックは、図3および図4に示すように、複数のイベントデータと各イベント間の時間間隔を示すデュレーションデータΔtからなるシーケンスデータで構成されている。CPU50は、カラオケ演奏時にシーケンスプログラムに基づき全トラックのデータを平行して読み出す。シーケンスプログラムは、所定のテンポクロックでデュレーションデータΔtをカウントし、カウントを終了したときにこれに続くイベントデータを読み出し、所定の処理部へ出力する。
【0021】
図3に示す楽音トラックには、メロディトラック、リズムトラックをはじめとして種々のパートのトラックが形成されている。図4に示すガイドメロディトラックには、このカラオケ曲の旋律、即ち、歌唱者が歌うべき旋律のシーケンスデータが書き込まれている。CPU50は、このデータに基づいてリファレンスの音高データ、音量データを生成し、歌唱音声と比較する。なお、デュエット曲のように複数の歌唱パートがある場合は、各歌唱パートに対応してガイドメロディトラック(リファレンス)が存在するか、あるいは、同じトラック内でも、それぞれの歌唱パートが区分されており、これらに基づき、それぞれの歌唱パートの歌唱力採点が行われる。
【0022】
また、歌詞トラックは、モニター装置59の画面に歌詞を表示するためのシーケンスデータを記憶したトラックである。このシーケンスデータは、楽音データではないが、インプリメンテーションの統一をとって作業工程を容易にするため、このトラックはMIDIデータで記述され、データの種類は、システムエクスクルーシブメッセージである。
【0023】
この歌詞トラックは、通常、モニター装置59の画面上に表示される1行分の歌詞を1つの歌詞表示データとして扱う。歌詞表示データは、1行の歌詞の文字データ(文字コードおよびその文字の表示座標)、表示時間、およびワイプシーケンスデータからなる。このワイプシーケンスデータは、曲の進行に合わせて歌詞の表示色を変更してゆくためのシーケンスデータであり、表示色を変更するタイミング(歌詞が表示されてからの時間)と変更位置(座標)が1行分の長さにわたって順次記録されているデータである。
【0024】
音声トラックは、音声データ部に記憶されている音声データn(n=1,2,3,・・・・)の発生タイミングなどを指定するシーケンストラックである。音声トラックには、音声指定データと、音声指定データの読出間隔、即ち、音声データを音声データ処理部60に出力して音声信号を形成するタイミングを指定するデュレーションデータΔtが書き込まれている。音声指定データは、音声データ番号、音程データおよび音量データからなり、前記音声データ番号は、音声データ部に記録されている各音声データの識別番号nである。
【0025】
音程データ、音量データは、形成すべき音声データの音程や音量を指示するデータである。即ち、言葉を伴わないバックコーラスは、音程や音量を変化させることにより汎用的に利用できるため、基本的な音程、音量で1つ記憶しておき、このデータに基づいて音程や音量をシフトして繰り返し使用する。音声データ処理部60は、音量データに基づいて出力レベルを設定し、音程データに基づいて音声データの読出間隔をを変えることによって音声信号の音程を設定する。
【0026】
ここで、RAM52のメモリマップの内容を図5を参照して説明する。同図に示すように、ガイドメロディを一時記憶するMIDIバッファ520のほか、このガイドメロディから抽出されたリファレンスデータを記憶するリファレンスデータレジスタ321、およびリファレンスと歌唱音声を比較することによって求められた差分データを蓄積記憶する差分データ記憶エリア522、この差分データを歌唱技巧データと比較することによって求められたポイントを記憶するポイント記憶エリア523、カラオケ演奏のための楽曲データを記憶する実行データ記憶エリア524、ロードしたシステムプログラムやアプリケーションプログラムを記憶するプログラム記憶エリア525が設定されている。なお、前記リファレンスデータレジスタ321は、音高データレジスタ521aおよび音量データレジスタ521bからなり、差分データ記憶エリア522は、音高差分データ記憶エリア522a、音量差分データ記憶エリア522bおよびリズム差分データ記憶エリア522cからなる。
【0027】
つぎに、通信制御部53は、情報通信ネットワークを介してホストステーションから楽曲データなどをダウンロードし、内蔵しているDMAコントローラにより受信した楽曲データをCPUを介さずに直接HDD54に書き込む。リモコン受信部55は、リモコン送信機61から送られてくる赤外線コード信号を受信して入力データを復元する。リモコン送信機61は、選曲スイッチなどのコマンドスイッチやテンキースイッチなどを備えており、利用者がこれらのスイッチを操作すると、その操作に応じたコードで変調された赤外線コード信号を送信する。
【0028】
音源装置56は、楽曲データの楽音トラックデータに基づいて楽音信号を形成する。楽曲データは、カラオケ演奏時にCPU50によって読み出され、楽音トラックとともに比較用データであるガイドメロディトラックも並行して読み出される。楽音トラックは、図3に示すように複数トラックで構成されており、音源装置56はこのデータに基づいて複数パートの楽音信号を同時に形成する。
【0029】
音声データ処理部60は、楽曲データに含まれる音声データに基づき、指定された長さ、指定された音高の音声信号を形成する。この音声データ処理部60および前記音源装置56の各々が形成した音声信号がカラオケ演奏音となる。そして、このカラオケ演奏音は、D/A変換器62によりアナログ信号に変換された後、音響装置63へ出力され、スピーカシステム64から発音される。
【0030】
歌唱用のカラオケマイク65a・65bから入力した歌唱音声信号は、プリアンプ66a・66bで増幅された後、前記音響装置63およびA/D変換器67a・67bへ入力する。音響装置63へ入力した歌唱音声信号は、増幅されてスピーカシステム64から発音され、A/D変換器67a・67bは、入力した歌唱音声信号をデジタル化して出力する。
【0031】
文字表示部57は、入力される文字コードに基づいてフォントデータを読み出し、曲名や歌詞などの文字パターンを生成して表示制御部58へ出力する。また、HDD54は、入力された映像選択データ(チャプタナンバ)に基づき、対応する背景映像を再生し、表示制御部58へ出力する。映像選択データは、選択されたカラオケ曲のジャンルデータに基づいて決定されるもので、このジャンルデータは、楽曲データのヘッダに書き込まれており、カラオケ演奏の開始時にCPU50により読み出される。
【0032】
CPU50は、ジャンルデータに基づいて再生する背景映像を選択し、その背景映像を指定する映像選択データによりHDD54から背景映像が選択され、映像データとして出力される。この映像データと文字表示部57から出力される歌詞などのフォントデータは、表示制御部58においてスーパーインポーズされ、その合成画像がモニター装置59の画面に表示される。
【0033】
つぎに、歌唱力採点部68は、歌唱者の歌唱力を評価するもので、CPU50などのハードウエアと採点用のソフトウェアによって構成される。図6は、この歌唱力採点部68の構成を具体的に示すもので、A/D変換器67a・67bからデジタル信号に変換されて出力した歌唱音声信号は、データ抽出部680a・680bへ入力する。データ抽出部680a・680bは、デジタル化された歌唱音声信号から50ms毎に音高データと音量データを抽出して差分演算部681a・681bへ出力する。
【0034】
差分演算部681a・681bは、各歌唱音声信号から抽出された音高データ、音量データ(以下、歌唱音声データという)と、リファレンス置換部683から出力されたガイドメロディの音高データ、音量データ(以下、リファレンスデータという)とを入力し、歌唱音声データが入力されるタイミングに合わせて50ms毎にリファレンスデータとの差が算出され、リアルタイムの差分データ(音高差分データ、音量差分データ)として出力される。また、差分演算部681a・681bは、歌唱音声データの音量の立ち上がりタイミングと、リファレンスデータの音量の立ち上がりタイミングのずれを検出し、これをリズム差分データとして出力する。
【0035】
検出された音高差分データ、音量差分データ、リズム差分データは採点部682a・682bへ入力する。採点部682a・682bは、これらの差分データを、本発明に関わる二重唱楽曲を含む各楽曲にそれぞれ設定されている採点区間単位毎に集計して記憶するとともに、これらの差分データを入力した歌唱技巧データと比較する。この歌唱技巧データは、音源装置56の動作に微妙な変化を与えて単調とならないようにするとともに音楽的な表現を付与するためのデータであるため、リファレンスデータと歌唱音声データとのずれを示すデータである差分データがこの歌唱技巧データに近似していれば、その曲に合った歌唱がなされていると判断し、その類似度を加算ポイントとして定量化する。この加算ポイント、音高、音量、リズムの各音楽要素毎に求められ、前記採点区間毎に集計され記憶される。
【0036】
つぎに、かかる処理の概要を図7〜図11に示すフローチャートを参照して説明する。図7は、データの取込処理を示すフローチャートであり、デュエット曲の歌唱の場合は、2つのカラオケマイク65a・65bからそれぞれの歌唱音声信号が入力すると(ステップSa1)、各歌唱音声信号はA/D変換器67a・67bによりデジタルデータに変換される(ステップSa2)。各々のデジタルデータは、それぞれデータ抽出部680a・680bに入力し、50msのフレーム単位で周波数のカウント(ステップSa3)および平均音量の算出(ステップSa4)が行われる。この周波数カウント値および平均音量値は、50ms毎にCPU50により読み取られる
【0037】
図8は、楽曲データの入力処理を示すフローチャートである。この処理は、カラオケ演奏を実行するシーケンスプログラムからガイドメロディトラックのイベントデータおよび制御トラックのイベントデータが受け渡されたとき実行される。まず、シーケンスプログラムから渡されたMIDIデータをMIDIバッファ520に取り込み(ステップSb1)、このデータが区間分割データであるか否かを判断する(ステップSb2)。前記ステップにより区間分割データと判断された場合、この内容を区間レジスタに記憶し(ステップSb3)、リターンする。一方、取り込んだデータがリファレンスデータであれば、このデータを音高データおよび音量データに変換する(ステップSb4)。
【0038】
これは、MIDIフォーマットのノートオンデータのノートナンバやピッチベンドデータを音高データに変換し、ノートオンデータのベロシティデータやアフタタッチ(キープレッシャ)データを音量データに変換する処理である。このようにして変換された音高データ、音量データでRAM52のリファレンスデータレジスタ521を更新する(ステップSb5)。したがって、リファレンスデータレジスタ521は、新たなガイドメロディデータが入力される毎に更新される。
【0039】
なお、リファレンスデータがMIDIデータではなく音高データ、音量データとして記憶されている場合には、この変換処理を行わずにそのままリファレンスデータレジスタ521に記憶すればよい。また、音高データ、音量データの記述フォーマットをMIDIフォーマットにすることも可能であり、この場合、これらをシステムエクスクルーシブメッセージ(例えば、ノートオンデータ、ピッチベンドデータ、チャンネルキープレッシャデータなど)で代用してもよい。
【0040】
図9は、データ変換処理を示すフローチャートである。この処理は歌唱音声信号の周波数カウント値および平均音量値を取り込んで歌唱音声の音高データ、周波数データに変換する処理であり、歌唱音声信号の1フレーム時間である50ms毎に実行される。まず、CPU50は平均音量値を読み取り(ステップSc1)、その値が閾値(SH)以上であるか否かを判断する(ステップSc2)。このとき、閾値以上であればこの平均音量値に基づいて音量データを生成する(ステップSc3)。つぎに、周波数カウント値を読み取り(ステップSc4)、この周波数カウント値に基づいて音高データを生成し(ステップSc5)、比較処理へ進む。なお、ステップSc2において平均音量値が閾値未満であると判断された場合には、歌唱者が歌唱(発声)していないとして音量0データを生成し(ステップSc6)、音高データを生成せずに比較処理へ進む。以上によるデータ変換処理は、カラオケマイク65a・65bから入力される各歌唱音声についてそれぞれ行われる。
【0041】
つぎに、比較処理について図10に示すフローチャートに基づいて説明する。この比較処理は図8のデータ変換処理で生成された歌唱音声の音高データ、音量データと、図7のリファレンス入力処理で求められたリファレンスの音高データ、音量データを比較して差分データを求める処理であり、データ変換処理に同期して50ms毎に実行される。この比較処理では、まず、リファレンスの音量データおよび歌唱音声の音量データの双方が閾値以上(発音中)であるかを判断する(ステップSd1)。ここで、双方が発音中でなければ比較処理は無意味となるため、ステップSd16以下の処理へ進み、一方、双方が発音中の場合には、発音フラグがセットされているかを判断する(ステップSd2)。
【0042】
前記発音フラグとは、リファレンスと歌唱音声の双方が立ち上がったとき(発音中となったとき)、ステップSd3でセットされるフラグである。したがって、立ち上がった当初は発音フラグはまだセットされたままであるため、、ステップSd2からステップSd3へ進み、ステップSd3において発音フラグがセットされる。そして、リファレンスと歌唱音声の立ち上がりタイミングの差を算出し(ステップSd4)、これをリズム差分データとしてリズム差分データ記憶エリア522c内の現在の区間に対応する記憶エリアに記憶する(ステップSd5)。なお、現在の区間は、図8に示すステップSb3でセットされる区間レジスタにより判断することができる。
【0043】
つぎに、前記リズム差分データを歌唱技巧データと比較し(ステップSd6)、この一致の程度を加算ポイントとしてポイント記憶エリア523内の現在の区間に対応する記憶エリアに蓄積記憶する(ステップSd7)。ここで、このタイミングの差を表す歌唱技巧データとして楽音トラックのノートオンイベントデータを用いることができる。即ち、ノートオンイベントデータの正確なビートタイミングの差が楽曲を巧く演奏するための技巧を表しているとみなすことができる。なお、ステップSd7の処理の後、ステップSd8へ進むが、既に、発音中で発音フラグがセットされている場合は、ステップSd2の判断の後、直接ステップSd8へ進む。
【0044】
ステップSd8以下では、歌唱音声とリファレンスの音量データを比較してその差を算出し(ステップSd8)、この差を音量差分データとして音量差分データ記憶エリア522b内の現在の区間に対応する記憶エリアに記憶する(ステップSd9)。そして、この音量差分データを歌唱技巧データと比較し、その一致の程度、即ち、歌唱が技巧を有しているか否かを判断し(ステップSd10)、一致の程度を加算ポイントとしてポイント記憶エリア523内の現在の区間に対応する記憶エリアに記憶する(ステップSd11)。
【0045】
つぎに、歌唱音声およびリファレンスの音高データを比較してその差を算出し(ステップSd12)、この差を音高差分データとして音高差分データ記憶エリア522a内の現在の区間に対応する記憶エリアに記憶する(ステップSd13)。そして、この音高差分データを歌唱技巧データと比較してその一致の程度を判断する(ステップSd14)。そして、この一致の程度を音高ポイントとしてポイント記憶エリア523に蓄積記憶する(ステップSd15)。
【0046】
一方、ステップSd1において双方が発音中と判断されなかった場合には、ステップSd16へ進み、リファレンス、歌唱音声の双方が消音しているか否かを判断する。ステップSd16で双方が消音していると判断された場合には消音期間であるとして発音フラグをリセットし(ステップSd17)、リターンする。また、双方が消音中でない場合は、歌唱タイミングのずれであるとしてそのままリターンする。以上の処理により。3つの区間別に3要素毎の差分データおよびポイントを求めることができる。
【0047】
つぎに、採点処理の一例を図11に基づいて説明する。この処理は楽曲の終了して後に行われるもので、まず、楽曲の演奏が終了すると、演奏中に蓄積記憶された各パートの音量差分データを各々集計し(ステップSe1)、減点値を算出する(ステップSe2)。そして、この減点値を満点(100点)から減算して音量の得点を算出する(ステップSe3)。同様に、音高差分データ、リズム差分データを各々集計して減算値を算出し、音高、リズムの得点を算出する(ステップSe4〜Se9)。そして、これら3つの音楽要素の得点を平均して総合得点を算出し(ステップSe10)、これを表現する文字情報をモニター装置59の画面に表示する(ステップSe11)。
【0048】
以上は、歌唱力採点の通常の処理の流れであり、デュエット曲の場合、個々の歌唱者の歌唱パート毎に歌唱力が採点されるが、一方の歌唱者が他方の歌唱者をアシストした場合のアシスト評価処理について以下に説明する。かかる処理の前提として、個々の歌唱者が歌唱すべき歌唱パートにおける歌唱力が設定した基準以下となったことを判断し、他方の歌唱者へ一方の歌唱者をアシストして歌唱する指示を行わなければならない。前記基準は、リアルタイムで発生する各差分データあるいは歌唱力採点の結果に基づいて可能となる。また、一方の歌唱者の歌唱力が低下し、他方の歌唱者がアシストを行う場合、一方の歌唱者のリファレンスデータが他方の歌唱者のリファレンスデータともなるように、このリファレンスデータの置換を行わなければならない。
【0049】
図12は、上記処理を行うためのリファレンス置換部683の構成を具体的に示したものである。このリファレンス置換部683は、リファレンスデータバッファ683a・683b・683c・683dを備え、歌唱者毎のリファレンスデータR1/R2を設定することができるようにしている。前記リファレンスデータバッファ683a・683b・683c・683dはバスBUSに接続され、各歌唱者のリファレンスデータR1/R2が入力可能となるようにしており、CPU50の指示に基づいて送出される選択信号S1・S2・S3・S4に基づいて選択されたリファレンスデータR1/R2が入力するようにしている。
【0050】
図13は、リファレンス置換部683の処理によりリファレンスデータR1/R2が置換される状態を示すものである。同図に示す例では、デュエット曲を歌唱する歌唱者Aの歌唱パートにはリファレンスデータR1が割り振られ、歌唱者BにはリファレンスデータR2が割り振られている状態を示す。かかる状態において、この楽曲の演奏が継続され、時刻t1から歌唱者Bの歌唱パートとなり、時刻t2でこの歌唱者Bの歌唱力が設定された基準以下となったとき、CPU50はこれをアシストが必要な状態と判断してアシストの要求をモニター装置59などで通知する。
【0051】
同時にCPU50は、時刻t2でリファレンス置換部683のリファレンスデータバッファ683bにリファレンスデータR2を出力し、差分演算部681aにおいて歌唱者Aのカラオケマイク65aから入力する歌唱音声データの差分データの抽出が可能となり、時刻T2から開始された歌唱者Aの歌唱力の採点が採点部682aにおいて開始される。このとき、歌唱パートは依然歌唱者Bが歌唱すべき範囲にあるので、リファレンスデータR2はリファレンスデータバッファ683dに設定されている。
【0052】
このようにして歌唱者Aによるアシストが進行し、このアシストを受けた歌唱者Bがそのアシストにより時刻t3で歌唱力を回復し、歌唱を再開するとリファレンスデータバッファ683bに設定されていたリファレンスデータR2の設定を終了するとともに、歌唱者Aの歌唱によるアシストを終了する。そして、歌唱者Bは担当する歌唱パートの残る部分を時刻t4まで歌唱する。
【0053】
前記のように時刻t2〜t3において歌唱者Aがアシストした歌唱力の結果は、採点部682aからアシスト評価部69へ入力する。このアシスト評価部69では、歌唱者Aがアシストした部分の採点値に基づく採点結果をバスBUSへ出力し、アシストの優劣をモニター装置59に文言表現する。なお、歌唱者Aのアシストが複数回である場合は採点値を平均し、アシストの優劣を判断する。また、このアシストの優劣の判断要素として、歌唱者Bの歌唱力が回復するまでの時間、即ち、時刻t2〜t3の時間が短いほどアシストの効果があったものとして評価の基準に加えるよえにしてもよい。
【0054】
なお、図13に示す例では、時刻t4から歌唱者Aの歌唱パートとなり、この歌唱者Aの歌唱力が時刻t5で設定された基準以下となり、歌唱者Bの差分演算部681bにリファレンスデータR1が設定された状態を示す。この場合も、前述と同様に時刻t5から歌唱者Bがアシストを開始し、時刻t6で歌唱者Aの歌唱力が回復して歌唱者Bの担当する歌唱パートの残る部分を時刻t7まで歌唱した状態を示す。したがって、歌唱者Bがアシストした時刻t5〜t6のカラオケマイク65bから入力した歌唱音声データから差分演算部681bにおいて差分データが抽出され、アシスト評価部69へ出力され、前述と同様にアシストの採点が実行される。
【図面の簡単な説明】
【0055】
【図1】本発明のカラオケ装置の構成を示すブロック図である。
【図2】楽曲データのフォーマットを示す図である。
【図3】楽曲データのトラックの内容を示す図である。
【図4】楽曲データのトラックの内容を示す図である。
【図5】メモリマップの内容を示す図である。
【図6】歌唱力採点部の構成を示すブロック図である。
【図7】データの取込処理を示すフローチャートである。
【図8】楽曲データの入力処理を示すフローチャートである。
【図9】データ変換処理を示すフローチャートである。
【図10】比較処理を示すフローチャートである。
【図11】採点処理の一例を示すフローチャートである。
【図12】リファレンス置換部の構成を示すブロック図である。
【図13】本発明の機能を説明する図である。
【符号の説明】
【0056】
50・・・・・・CPU(中央演算処理装置)
51・・・・・・ROM
52・・・・・・RAM
53・・・・・・通信制御部
54・・・・・・HDD(ハードディスク装置)
55・・・・・・リモコン受信部
56・・・・・・音源装置
57・・・・・・文字表示部
58・・・・・・表示制御部
59・・・・・・モニター装置
60・・・・・・音声データ処理部
61・・・・・・リモコン送信機
62・・・・・・D/A変換器
63・・・・・・音響装置
64・・・・・・スピーカシステム
65a・・・・・カラオケマイク
65b・・・・・カラオケマイク
67a・・・・・A/D変換器
67b・・・・・A/D変換器
68・・・・・・歌唱力採点部
680a・・・・データ抽出部
680b・・・・データ抽出部
681a・・・・差分演算部
681b・・・・差分演算部
682a・・・・採点部
682b・・・・採点部
683・・・・・リファレンス置換部
69・・・・・・アシスト評価部
【技術分野】
【0001】
本発明は、二重唱楽曲(以下、デュエット曲という)を、カラオケマイクを利用して歌唱するにあたり、一方の歌唱者が歌唱中に歌い方を失念してしまった際、他方の歌唱者による歌唱補助に対するアシスト能力を評価できるようにしたカラオケ装置に関する。
【背景技術】
【0002】
周知のようにカラオケ装置は、カラオケ楽曲の演奏音にカラオケマイクから入力した歌唱者の音声を合成して再生するようにしており、音程やテンポなどを歌唱者の歌唱力に対応させて予め設定することができ、また、歌唱力を評価して歌唱力採点するなどの機能が知られている。このようなカラオケ装置では、歌唱者が選定した楽曲が自動演奏され、歌唱者はこの楽曲の演奏音の流れに合わせて歌唱(以下、ボーカルという)を進行するようにしている。
【0003】
このようなカラオケ装置において、歌唱中に歌唱者が歌い方を失念して歌唱者のボーカルが途絶えると演奏音のみが継続して再生されることになる。かかる不具合を解決するため、予めシステムの記憶手段にボーカル音を記憶しておき、ボーカルの音量と演奏音の音量を演算する手段を備え、歌唱者の歌唱力が低下してボーカルが途絶えたとき、前記記憶手段からボーカル音を読み出し、演奏音とともにボーカル音を再生するようにしたシステムが知られている(例えば、特許文献1)。
【0004】
かかるシステムは、歌唱者の音声が途絶えたとき、自動的にボーカル付き演奏に切り替わり、一方、歌唱者が歌唱を再開して音声が生じると自動的にカラオケ演奏となるため、歌唱内容を完全にマスターしなくてもカラオケを楽しむことができるとするもので、スイッチの切り替えにより行われていたそれまでの困難で煩わしい操作を払拭するものとされている。
【特許文献1】特開平04−298793号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
上述したようなシステムでは、歌唱者の歌い方の失念に対して、装置技術によりアシストするものであり、歌唱者が単独で歌唱する曲目において有効となる。ところが、デュエット曲のように同一曲目を異なる歌唱者が歌唱区分(以下、歌唱パートという)毎に歌唱するような場合、普通に行われる行為として、一方の歌唱者が歌唱中に歌い方を失念してしまった際には、他方の歌唱者がアシストするのが自然であり、装置技術によるアシストは違和感を生じ好まれないのが実情である。
【0006】
また、デュエット曲においても歌唱力採点が可能となるが、装置技術によるアシストを介在させた場合、歌唱者の正確な歌唱力採点をすることができなくなり、全パートが双方の歌唱者により歌唱され、歌唱力採点されることが望ましいことになる。そして、デュエット曲では、必ずしも双方の歌唱者の歌唱力が揃って優れていることはなく、一方の歌唱者を他方がアシストしつつ楽曲が進行する場合もある。その際、他方の歌唱者のアシストが優れている場合でも、アシストを受けた歌唱者の採点結果は向上するものの、従来では、アシストを行った歌唱者の評価をする仕組みがなかった。即ち、アシスト能力は無視される状態となっていた。
【0007】
本発明は、かかる従来の問題に鑑みなされたものであり、カラオケ装置によりデュエット曲を歌唱するにあたり、一方の歌唱者が歌唱中に歌い方を失念してしまった際、アシストを行った歌唱者のアシスト能力を評価できるようにし、好ましくは、アシストの要求を正確に認識でき、歌唱者同士でアシストのタイミングが明確になるカラオケ装置の提供を目的とするものである。
【課題を解決するための手段】
【0008】
そこで、本発明は、一方の歌唱者が歌い方を失念したことを、予め設定した歌唱力採点の基準値に基づき判断し、これに対し、他方の歌唱者が一方の歌唱者の代わりに、その歌唱パートを正確に歌唱したか否かを、各歌唱パートのそれぞれのカラオケマイクに設定されたリファレンスを置換して、その他方の歌唱者の採点結果から求め、さらに、この歌唱補助によって、一方の歌唱者が歌唱に復帰したことを、先の歌唱力採点に基づき判断し、その復帰時間を含めて総合的に評価することで、他方の歌唱者のアシスト能力を判断するような仕組みを構築することで、上記目的を達成することを見出し、本発明のカラオケ装置を想到した。
【0009】
即ち、本発明の請求項1記載のカラオケ装置では、
歌唱者毎に歌唱パートを分担して歌唱するための二重唱楽曲を保有し、各二重唱楽曲にはそれぞれ複数の採点区間が設定されていると共に、歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段とを有してなり、
(ア)歌唱力採点手段は、二重唱楽曲における各歌唱パートに対応したカラオケマイク毎に予め設定されたリファレンスに基づき、それぞれの歌唱パートの採点区間毎に採点値を算出し、
(イ)リファレンス置換手段は、一方の歌唱パートにおける連続した所定数の採点間にて、その算出された採点値が何れも予め設定された基準値を下回った場合、他方の歌唱パートのカラオケマイクに設定されたリファレンスを、前記一方の歌唱パートのカラオケマイクに設定されたリファレンスに置換し、かつ、前記一方の歌唱者の歌唱パートに対応する連続した所定数の採点区間にて、その算出された採点値が何れも前記基準値を上回った場合、あるいは、楽曲演奏が他方の歌唱者の歌唱パートを含む歌唱部分に切り替わった場合、前記置換されたカラオケマイクのリファレンスを前記設定されたリファレンスに戻し、
(ウ)アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートを歌唱した採点区間の採点値および/または前記基準値が下回った時点から前記基準値が上回った時点までの時間と、を判断要素として評価する。
【0010】
また、本発明の請求項2記載のカラオケ装置では、
(エ)アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートにおける各採点区間の歌唱に対する平均採点値と、前記基準値が下回った時点から前記基準値が上回った時点までの時間に加え、さらに、前記基準値が下回った時点から前記他方の歌唱者による前記一方の歌唱パートの歌唱開始時点までの時間と、を判断要素として評価するようにした。
【0011】
さらに、本発明の請求項3記載のカラオケ装置では、前記歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段に加え、さらに、アシスト通知手段とを有してなり、
(オ)アシスト通知手段は、前記基準値が下回った時点にて、画面表示および/または音声出力をもって、歌唱者に対してアシスト要求の通知をさせるようにした。
【発明の効果】
【0012】
本発明の請求項1記載のカラオケ装置によれば、一方の歌唱者の歌唱パートにおいて、歌い方を失念(採点値が予め設定された基準値を下回った状態)した際、他方の歌唱者が成した歌唱補助の正確さの程度や、その歌唱補助による一方の歌唱者の歌唱への復帰時間の長さを評価の判断要素とすることで、好適かつ客観性をもってアシストを行った歌唱者のアシスト能力を評価できるといった効果を奏する。
【0013】
また、請求項2記載のカラオケ装置によれば、さらに、一方の歌唱者が歌い方を失念してから他方の歌唱者が歌唱補助を始めるまでの時間を判断要素に組み入れることにより、アシストするリスポンスの速さもアシスト評価の対象とされ、さらに詳細に歌唱者のアシスト能力を評価できるといった効果を奏する。
【0014】
さらに、請求項3記載のカラオケ装置によれば、デュエット曲を歌唱するにあたり、一方の歌唱者の歌唱パートにおいて、歌い方を失念した際、モニター画面表示または音声により他方の歌唱者がアシストの要求を正確に認識でき、歌唱者同士のアシストのタイミングが明確になるといった効果を奏する。
【0015】
そして、請求項1乃至請求項3記載のカラオケ装置によれば、デュエット曲における歌唱力採点を正確に実行でき、カラオケ装置のアミューズメント性を向上するとともに、歌唱者の歌唱力向上に資するカラオケ装置とすることができる。
【発明を実施するための最良の形態】
【0016】
以下、本発明の実施の形態を図面を参照して詳細に説明する。図1は、本発明の全体の構成の概略を示すもので、本発明の理解を容易とするため、まず、同図の各部の構成を具体的に説明する。
【0017】
図1における符号50はカラオケ装置の各部を制御する中央演算処理装置(以下、CPUという)であり、このCPU50には、システムバスBUSを介してROM51、RAM52、通信制御部53、ハードディスク装置(以下、HDDという)54、リモコン受信部55、音源装置56、文字表示部57、表示制御部58、音声データ処理分60、歌唱力採点部68、アシスト要否判定部69が接続されている。
【0018】
前記ROM51には、本発明のカラオケ装置の電源投入時に初期設定を行う起動プログラムが記憶されており、装置の電源が投入されると、この起動プログラムによりHDD54に記憶されているシステムプログラムおよびアプリケーションプログラムがRAM52にロードされる。また、前記HDD54には、前記システムプログラムおよびアプリケーションプログラムのほか、カラオケ演奏時に再生される楽曲データファイルが記憶されている。
【0019】
ここで、図2乃至図4を参照して楽曲データの内容について説明する。図2は、HDD54に数万曲記憶されている楽曲データの1曲分の楽曲データのフォーマットを示し、図3、図4に楽曲データの各トラックの内容を示す。図2の楽曲データの内容は、ヘッダ、楽音トラック、ガイドメロディトラック、歌詞トラック、音声トラック、効果トラック、音声データ部により構成されている。ヘッダには、楽曲データに関する種々の情報が書き込まれており、例えば、曲番号、曲名、ジャンル、発売日、演奏時間などのデータが書き込まれている。
【0020】
楽音トラックから効果トラックの各トラックは、図3および図4に示すように、複数のイベントデータと各イベント間の時間間隔を示すデュレーションデータΔtからなるシーケンスデータで構成されている。CPU50は、カラオケ演奏時にシーケンスプログラムに基づき全トラックのデータを平行して読み出す。シーケンスプログラムは、所定のテンポクロックでデュレーションデータΔtをカウントし、カウントを終了したときにこれに続くイベントデータを読み出し、所定の処理部へ出力する。
【0021】
図3に示す楽音トラックには、メロディトラック、リズムトラックをはじめとして種々のパートのトラックが形成されている。図4に示すガイドメロディトラックには、このカラオケ曲の旋律、即ち、歌唱者が歌うべき旋律のシーケンスデータが書き込まれている。CPU50は、このデータに基づいてリファレンスの音高データ、音量データを生成し、歌唱音声と比較する。なお、デュエット曲のように複数の歌唱パートがある場合は、各歌唱パートに対応してガイドメロディトラック(リファレンス)が存在するか、あるいは、同じトラック内でも、それぞれの歌唱パートが区分されており、これらに基づき、それぞれの歌唱パートの歌唱力採点が行われる。
【0022】
また、歌詞トラックは、モニター装置59の画面に歌詞を表示するためのシーケンスデータを記憶したトラックである。このシーケンスデータは、楽音データではないが、インプリメンテーションの統一をとって作業工程を容易にするため、このトラックはMIDIデータで記述され、データの種類は、システムエクスクルーシブメッセージである。
【0023】
この歌詞トラックは、通常、モニター装置59の画面上に表示される1行分の歌詞を1つの歌詞表示データとして扱う。歌詞表示データは、1行の歌詞の文字データ(文字コードおよびその文字の表示座標)、表示時間、およびワイプシーケンスデータからなる。このワイプシーケンスデータは、曲の進行に合わせて歌詞の表示色を変更してゆくためのシーケンスデータであり、表示色を変更するタイミング(歌詞が表示されてからの時間)と変更位置(座標)が1行分の長さにわたって順次記録されているデータである。
【0024】
音声トラックは、音声データ部に記憶されている音声データn(n=1,2,3,・・・・)の発生タイミングなどを指定するシーケンストラックである。音声トラックには、音声指定データと、音声指定データの読出間隔、即ち、音声データを音声データ処理部60に出力して音声信号を形成するタイミングを指定するデュレーションデータΔtが書き込まれている。音声指定データは、音声データ番号、音程データおよび音量データからなり、前記音声データ番号は、音声データ部に記録されている各音声データの識別番号nである。
【0025】
音程データ、音量データは、形成すべき音声データの音程や音量を指示するデータである。即ち、言葉を伴わないバックコーラスは、音程や音量を変化させることにより汎用的に利用できるため、基本的な音程、音量で1つ記憶しておき、このデータに基づいて音程や音量をシフトして繰り返し使用する。音声データ処理部60は、音量データに基づいて出力レベルを設定し、音程データに基づいて音声データの読出間隔をを変えることによって音声信号の音程を設定する。
【0026】
ここで、RAM52のメモリマップの内容を図5を参照して説明する。同図に示すように、ガイドメロディを一時記憶するMIDIバッファ520のほか、このガイドメロディから抽出されたリファレンスデータを記憶するリファレンスデータレジスタ321、およびリファレンスと歌唱音声を比較することによって求められた差分データを蓄積記憶する差分データ記憶エリア522、この差分データを歌唱技巧データと比較することによって求められたポイントを記憶するポイント記憶エリア523、カラオケ演奏のための楽曲データを記憶する実行データ記憶エリア524、ロードしたシステムプログラムやアプリケーションプログラムを記憶するプログラム記憶エリア525が設定されている。なお、前記リファレンスデータレジスタ321は、音高データレジスタ521aおよび音量データレジスタ521bからなり、差分データ記憶エリア522は、音高差分データ記憶エリア522a、音量差分データ記憶エリア522bおよびリズム差分データ記憶エリア522cからなる。
【0027】
つぎに、通信制御部53は、情報通信ネットワークを介してホストステーションから楽曲データなどをダウンロードし、内蔵しているDMAコントローラにより受信した楽曲データをCPUを介さずに直接HDD54に書き込む。リモコン受信部55は、リモコン送信機61から送られてくる赤外線コード信号を受信して入力データを復元する。リモコン送信機61は、選曲スイッチなどのコマンドスイッチやテンキースイッチなどを備えており、利用者がこれらのスイッチを操作すると、その操作に応じたコードで変調された赤外線コード信号を送信する。
【0028】
音源装置56は、楽曲データの楽音トラックデータに基づいて楽音信号を形成する。楽曲データは、カラオケ演奏時にCPU50によって読み出され、楽音トラックとともに比較用データであるガイドメロディトラックも並行して読み出される。楽音トラックは、図3に示すように複数トラックで構成されており、音源装置56はこのデータに基づいて複数パートの楽音信号を同時に形成する。
【0029】
音声データ処理部60は、楽曲データに含まれる音声データに基づき、指定された長さ、指定された音高の音声信号を形成する。この音声データ処理部60および前記音源装置56の各々が形成した音声信号がカラオケ演奏音となる。そして、このカラオケ演奏音は、D/A変換器62によりアナログ信号に変換された後、音響装置63へ出力され、スピーカシステム64から発音される。
【0030】
歌唱用のカラオケマイク65a・65bから入力した歌唱音声信号は、プリアンプ66a・66bで増幅された後、前記音響装置63およびA/D変換器67a・67bへ入力する。音響装置63へ入力した歌唱音声信号は、増幅されてスピーカシステム64から発音され、A/D変換器67a・67bは、入力した歌唱音声信号をデジタル化して出力する。
【0031】
文字表示部57は、入力される文字コードに基づいてフォントデータを読み出し、曲名や歌詞などの文字パターンを生成して表示制御部58へ出力する。また、HDD54は、入力された映像選択データ(チャプタナンバ)に基づき、対応する背景映像を再生し、表示制御部58へ出力する。映像選択データは、選択されたカラオケ曲のジャンルデータに基づいて決定されるもので、このジャンルデータは、楽曲データのヘッダに書き込まれており、カラオケ演奏の開始時にCPU50により読み出される。
【0032】
CPU50は、ジャンルデータに基づいて再生する背景映像を選択し、その背景映像を指定する映像選択データによりHDD54から背景映像が選択され、映像データとして出力される。この映像データと文字表示部57から出力される歌詞などのフォントデータは、表示制御部58においてスーパーインポーズされ、その合成画像がモニター装置59の画面に表示される。
【0033】
つぎに、歌唱力採点部68は、歌唱者の歌唱力を評価するもので、CPU50などのハードウエアと採点用のソフトウェアによって構成される。図6は、この歌唱力採点部68の構成を具体的に示すもので、A/D変換器67a・67bからデジタル信号に変換されて出力した歌唱音声信号は、データ抽出部680a・680bへ入力する。データ抽出部680a・680bは、デジタル化された歌唱音声信号から50ms毎に音高データと音量データを抽出して差分演算部681a・681bへ出力する。
【0034】
差分演算部681a・681bは、各歌唱音声信号から抽出された音高データ、音量データ(以下、歌唱音声データという)と、リファレンス置換部683から出力されたガイドメロディの音高データ、音量データ(以下、リファレンスデータという)とを入力し、歌唱音声データが入力されるタイミングに合わせて50ms毎にリファレンスデータとの差が算出され、リアルタイムの差分データ(音高差分データ、音量差分データ)として出力される。また、差分演算部681a・681bは、歌唱音声データの音量の立ち上がりタイミングと、リファレンスデータの音量の立ち上がりタイミングのずれを検出し、これをリズム差分データとして出力する。
【0035】
検出された音高差分データ、音量差分データ、リズム差分データは採点部682a・682bへ入力する。採点部682a・682bは、これらの差分データを、本発明に関わる二重唱楽曲を含む各楽曲にそれぞれ設定されている採点区間単位毎に集計して記憶するとともに、これらの差分データを入力した歌唱技巧データと比較する。この歌唱技巧データは、音源装置56の動作に微妙な変化を与えて単調とならないようにするとともに音楽的な表現を付与するためのデータであるため、リファレンスデータと歌唱音声データとのずれを示すデータである差分データがこの歌唱技巧データに近似していれば、その曲に合った歌唱がなされていると判断し、その類似度を加算ポイントとして定量化する。この加算ポイント、音高、音量、リズムの各音楽要素毎に求められ、前記採点区間毎に集計され記憶される。
【0036】
つぎに、かかる処理の概要を図7〜図11に示すフローチャートを参照して説明する。図7は、データの取込処理を示すフローチャートであり、デュエット曲の歌唱の場合は、2つのカラオケマイク65a・65bからそれぞれの歌唱音声信号が入力すると(ステップSa1)、各歌唱音声信号はA/D変換器67a・67bによりデジタルデータに変換される(ステップSa2)。各々のデジタルデータは、それぞれデータ抽出部680a・680bに入力し、50msのフレーム単位で周波数のカウント(ステップSa3)および平均音量の算出(ステップSa4)が行われる。この周波数カウント値および平均音量値は、50ms毎にCPU50により読み取られる
【0037】
図8は、楽曲データの入力処理を示すフローチャートである。この処理は、カラオケ演奏を実行するシーケンスプログラムからガイドメロディトラックのイベントデータおよび制御トラックのイベントデータが受け渡されたとき実行される。まず、シーケンスプログラムから渡されたMIDIデータをMIDIバッファ520に取り込み(ステップSb1)、このデータが区間分割データであるか否かを判断する(ステップSb2)。前記ステップにより区間分割データと判断された場合、この内容を区間レジスタに記憶し(ステップSb3)、リターンする。一方、取り込んだデータがリファレンスデータであれば、このデータを音高データおよび音量データに変換する(ステップSb4)。
【0038】
これは、MIDIフォーマットのノートオンデータのノートナンバやピッチベンドデータを音高データに変換し、ノートオンデータのベロシティデータやアフタタッチ(キープレッシャ)データを音量データに変換する処理である。このようにして変換された音高データ、音量データでRAM52のリファレンスデータレジスタ521を更新する(ステップSb5)。したがって、リファレンスデータレジスタ521は、新たなガイドメロディデータが入力される毎に更新される。
【0039】
なお、リファレンスデータがMIDIデータではなく音高データ、音量データとして記憶されている場合には、この変換処理を行わずにそのままリファレンスデータレジスタ521に記憶すればよい。また、音高データ、音量データの記述フォーマットをMIDIフォーマットにすることも可能であり、この場合、これらをシステムエクスクルーシブメッセージ(例えば、ノートオンデータ、ピッチベンドデータ、チャンネルキープレッシャデータなど)で代用してもよい。
【0040】
図9は、データ変換処理を示すフローチャートである。この処理は歌唱音声信号の周波数カウント値および平均音量値を取り込んで歌唱音声の音高データ、周波数データに変換する処理であり、歌唱音声信号の1フレーム時間である50ms毎に実行される。まず、CPU50は平均音量値を読み取り(ステップSc1)、その値が閾値(SH)以上であるか否かを判断する(ステップSc2)。このとき、閾値以上であればこの平均音量値に基づいて音量データを生成する(ステップSc3)。つぎに、周波数カウント値を読み取り(ステップSc4)、この周波数カウント値に基づいて音高データを生成し(ステップSc5)、比較処理へ進む。なお、ステップSc2において平均音量値が閾値未満であると判断された場合には、歌唱者が歌唱(発声)していないとして音量0データを生成し(ステップSc6)、音高データを生成せずに比較処理へ進む。以上によるデータ変換処理は、カラオケマイク65a・65bから入力される各歌唱音声についてそれぞれ行われる。
【0041】
つぎに、比較処理について図10に示すフローチャートに基づいて説明する。この比較処理は図8のデータ変換処理で生成された歌唱音声の音高データ、音量データと、図7のリファレンス入力処理で求められたリファレンスの音高データ、音量データを比較して差分データを求める処理であり、データ変換処理に同期して50ms毎に実行される。この比較処理では、まず、リファレンスの音量データおよび歌唱音声の音量データの双方が閾値以上(発音中)であるかを判断する(ステップSd1)。ここで、双方が発音中でなければ比較処理は無意味となるため、ステップSd16以下の処理へ進み、一方、双方が発音中の場合には、発音フラグがセットされているかを判断する(ステップSd2)。
【0042】
前記発音フラグとは、リファレンスと歌唱音声の双方が立ち上がったとき(発音中となったとき)、ステップSd3でセットされるフラグである。したがって、立ち上がった当初は発音フラグはまだセットされたままであるため、、ステップSd2からステップSd3へ進み、ステップSd3において発音フラグがセットされる。そして、リファレンスと歌唱音声の立ち上がりタイミングの差を算出し(ステップSd4)、これをリズム差分データとしてリズム差分データ記憶エリア522c内の現在の区間に対応する記憶エリアに記憶する(ステップSd5)。なお、現在の区間は、図8に示すステップSb3でセットされる区間レジスタにより判断することができる。
【0043】
つぎに、前記リズム差分データを歌唱技巧データと比較し(ステップSd6)、この一致の程度を加算ポイントとしてポイント記憶エリア523内の現在の区間に対応する記憶エリアに蓄積記憶する(ステップSd7)。ここで、このタイミングの差を表す歌唱技巧データとして楽音トラックのノートオンイベントデータを用いることができる。即ち、ノートオンイベントデータの正確なビートタイミングの差が楽曲を巧く演奏するための技巧を表しているとみなすことができる。なお、ステップSd7の処理の後、ステップSd8へ進むが、既に、発音中で発音フラグがセットされている場合は、ステップSd2の判断の後、直接ステップSd8へ進む。
【0044】
ステップSd8以下では、歌唱音声とリファレンスの音量データを比較してその差を算出し(ステップSd8)、この差を音量差分データとして音量差分データ記憶エリア522b内の現在の区間に対応する記憶エリアに記憶する(ステップSd9)。そして、この音量差分データを歌唱技巧データと比較し、その一致の程度、即ち、歌唱が技巧を有しているか否かを判断し(ステップSd10)、一致の程度を加算ポイントとしてポイント記憶エリア523内の現在の区間に対応する記憶エリアに記憶する(ステップSd11)。
【0045】
つぎに、歌唱音声およびリファレンスの音高データを比較してその差を算出し(ステップSd12)、この差を音高差分データとして音高差分データ記憶エリア522a内の現在の区間に対応する記憶エリアに記憶する(ステップSd13)。そして、この音高差分データを歌唱技巧データと比較してその一致の程度を判断する(ステップSd14)。そして、この一致の程度を音高ポイントとしてポイント記憶エリア523に蓄積記憶する(ステップSd15)。
【0046】
一方、ステップSd1において双方が発音中と判断されなかった場合には、ステップSd16へ進み、リファレンス、歌唱音声の双方が消音しているか否かを判断する。ステップSd16で双方が消音していると判断された場合には消音期間であるとして発音フラグをリセットし(ステップSd17)、リターンする。また、双方が消音中でない場合は、歌唱タイミングのずれであるとしてそのままリターンする。以上の処理により。3つの区間別に3要素毎の差分データおよびポイントを求めることができる。
【0047】
つぎに、採点処理の一例を図11に基づいて説明する。この処理は楽曲の終了して後に行われるもので、まず、楽曲の演奏が終了すると、演奏中に蓄積記憶された各パートの音量差分データを各々集計し(ステップSe1)、減点値を算出する(ステップSe2)。そして、この減点値を満点(100点)から減算して音量の得点を算出する(ステップSe3)。同様に、音高差分データ、リズム差分データを各々集計して減算値を算出し、音高、リズムの得点を算出する(ステップSe4〜Se9)。そして、これら3つの音楽要素の得点を平均して総合得点を算出し(ステップSe10)、これを表現する文字情報をモニター装置59の画面に表示する(ステップSe11)。
【0048】
以上は、歌唱力採点の通常の処理の流れであり、デュエット曲の場合、個々の歌唱者の歌唱パート毎に歌唱力が採点されるが、一方の歌唱者が他方の歌唱者をアシストした場合のアシスト評価処理について以下に説明する。かかる処理の前提として、個々の歌唱者が歌唱すべき歌唱パートにおける歌唱力が設定した基準以下となったことを判断し、他方の歌唱者へ一方の歌唱者をアシストして歌唱する指示を行わなければならない。前記基準は、リアルタイムで発生する各差分データあるいは歌唱力採点の結果に基づいて可能となる。また、一方の歌唱者の歌唱力が低下し、他方の歌唱者がアシストを行う場合、一方の歌唱者のリファレンスデータが他方の歌唱者のリファレンスデータともなるように、このリファレンスデータの置換を行わなければならない。
【0049】
図12は、上記処理を行うためのリファレンス置換部683の構成を具体的に示したものである。このリファレンス置換部683は、リファレンスデータバッファ683a・683b・683c・683dを備え、歌唱者毎のリファレンスデータR1/R2を設定することができるようにしている。前記リファレンスデータバッファ683a・683b・683c・683dはバスBUSに接続され、各歌唱者のリファレンスデータR1/R2が入力可能となるようにしており、CPU50の指示に基づいて送出される選択信号S1・S2・S3・S4に基づいて選択されたリファレンスデータR1/R2が入力するようにしている。
【0050】
図13は、リファレンス置換部683の処理によりリファレンスデータR1/R2が置換される状態を示すものである。同図に示す例では、デュエット曲を歌唱する歌唱者Aの歌唱パートにはリファレンスデータR1が割り振られ、歌唱者BにはリファレンスデータR2が割り振られている状態を示す。かかる状態において、この楽曲の演奏が継続され、時刻t1から歌唱者Bの歌唱パートとなり、時刻t2でこの歌唱者Bの歌唱力が設定された基準以下となったとき、CPU50はこれをアシストが必要な状態と判断してアシストの要求をモニター装置59などで通知する。
【0051】
同時にCPU50は、時刻t2でリファレンス置換部683のリファレンスデータバッファ683bにリファレンスデータR2を出力し、差分演算部681aにおいて歌唱者Aのカラオケマイク65aから入力する歌唱音声データの差分データの抽出が可能となり、時刻T2から開始された歌唱者Aの歌唱力の採点が採点部682aにおいて開始される。このとき、歌唱パートは依然歌唱者Bが歌唱すべき範囲にあるので、リファレンスデータR2はリファレンスデータバッファ683dに設定されている。
【0052】
このようにして歌唱者Aによるアシストが進行し、このアシストを受けた歌唱者Bがそのアシストにより時刻t3で歌唱力を回復し、歌唱を再開するとリファレンスデータバッファ683bに設定されていたリファレンスデータR2の設定を終了するとともに、歌唱者Aの歌唱によるアシストを終了する。そして、歌唱者Bは担当する歌唱パートの残る部分を時刻t4まで歌唱する。
【0053】
前記のように時刻t2〜t3において歌唱者Aがアシストした歌唱力の結果は、採点部682aからアシスト評価部69へ入力する。このアシスト評価部69では、歌唱者Aがアシストした部分の採点値に基づく採点結果をバスBUSへ出力し、アシストの優劣をモニター装置59に文言表現する。なお、歌唱者Aのアシストが複数回である場合は採点値を平均し、アシストの優劣を判断する。また、このアシストの優劣の判断要素として、歌唱者Bの歌唱力が回復するまでの時間、即ち、時刻t2〜t3の時間が短いほどアシストの効果があったものとして評価の基準に加えるよえにしてもよい。
【0054】
なお、図13に示す例では、時刻t4から歌唱者Aの歌唱パートとなり、この歌唱者Aの歌唱力が時刻t5で設定された基準以下となり、歌唱者Bの差分演算部681bにリファレンスデータR1が設定された状態を示す。この場合も、前述と同様に時刻t5から歌唱者Bがアシストを開始し、時刻t6で歌唱者Aの歌唱力が回復して歌唱者Bの担当する歌唱パートの残る部分を時刻t7まで歌唱した状態を示す。したがって、歌唱者Bがアシストした時刻t5〜t6のカラオケマイク65bから入力した歌唱音声データから差分演算部681bにおいて差分データが抽出され、アシスト評価部69へ出力され、前述と同様にアシストの採点が実行される。
【図面の簡単な説明】
【0055】
【図1】本発明のカラオケ装置の構成を示すブロック図である。
【図2】楽曲データのフォーマットを示す図である。
【図3】楽曲データのトラックの内容を示す図である。
【図4】楽曲データのトラックの内容を示す図である。
【図5】メモリマップの内容を示す図である。
【図6】歌唱力採点部の構成を示すブロック図である。
【図7】データの取込処理を示すフローチャートである。
【図8】楽曲データの入力処理を示すフローチャートである。
【図9】データ変換処理を示すフローチャートである。
【図10】比較処理を示すフローチャートである。
【図11】採点処理の一例を示すフローチャートである。
【図12】リファレンス置換部の構成を示すブロック図である。
【図13】本発明の機能を説明する図である。
【符号の説明】
【0056】
50・・・・・・CPU(中央演算処理装置)
51・・・・・・ROM
52・・・・・・RAM
53・・・・・・通信制御部
54・・・・・・HDD(ハードディスク装置)
55・・・・・・リモコン受信部
56・・・・・・音源装置
57・・・・・・文字表示部
58・・・・・・表示制御部
59・・・・・・モニター装置
60・・・・・・音声データ処理部
61・・・・・・リモコン送信機
62・・・・・・D/A変換器
63・・・・・・音響装置
64・・・・・・スピーカシステム
65a・・・・・カラオケマイク
65b・・・・・カラオケマイク
67a・・・・・A/D変換器
67b・・・・・A/D変換器
68・・・・・・歌唱力採点部
680a・・・・データ抽出部
680b・・・・データ抽出部
681a・・・・差分演算部
681b・・・・差分演算部
682a・・・・採点部
682b・・・・採点部
683・・・・・リファレンス置換部
69・・・・・・アシスト評価部
【特許請求の範囲】
【請求項1】
歌唱者毎に歌唱パートを分担して歌唱するための二重唱楽曲を保有し、各二重唱楽曲にはそれぞれ複数の採点区間が設定されていると共に、歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段とを有してなり、
(ア)歌唱力採点手段は、二重唱楽曲における各歌唱パートに対応したカラオケマイク毎に予め設定されたリファレンスに基づき、それぞれの歌唱パートの採点区間毎に採点値を算出し、
(イ)リファレンス置換手段は、一方の歌唱パートにおける連続した所定数の採点区間にて、その算出された採点値が何れも予め設定された基準値を下回った場合、他方の歌唱パートのカラオケマイクに設定されたリファレンスを、前記一方の歌唱パートのカラオケマイクに設定されたリファレンスに置換し、かつ、前記一方の歌唱者の歌唱パートに対応する連続した所定数の採点区間にて、その算出された採点値が何れも前記基準値を上回った場合、あるいは、楽曲演奏が他方の歌唱者の歌唱パートを含む歌唱部分に切り替わった場合、前記置換されたカラオケマイクのリファレンスを前記設定されたリファレンスに戻し、
(ウ)アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートを歌唱した採点区間の採点値および/または前記基準値が下回った時点から前記基準値が上回った時点までの時間と、を判断要素として評価する、
ことを特徴とするカラオケ装置。
【請求項2】
(エ)アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートにおける各採点区間の歌唱に対する平均採点値と、前記基準値が下回った時点から前記基準値が上回った時点までの時間に加え、さらに、前記基準値が下回った時点から前記他方の歌唱者による前記一方の歌唱パートの歌唱開始時点までの時間と、を判断要素として評価する、
ことを特徴とする請求項1記載のカラオケ装置。
【請求項3】
前記歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段に加え、さらに、アシスト通知手段とを有してなり、
(オ)アシスト通知手段は、前記基準値が下回った時点にて、画面表示および/または音声出力をもって、歌唱者に対してアシスト要求の通知をさせる、
ことを特徴とする請求項1記載ないし請求項2記載のカラオケ装置。
【請求項1】
歌唱者毎に歌唱パートを分担して歌唱するための二重唱楽曲を保有し、各二重唱楽曲にはそれぞれ複数の採点区間が設定されていると共に、歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段とを有してなり、
(ア)歌唱力採点手段は、二重唱楽曲における各歌唱パートに対応したカラオケマイク毎に予め設定されたリファレンスに基づき、それぞれの歌唱パートの採点区間毎に採点値を算出し、
(イ)リファレンス置換手段は、一方の歌唱パートにおける連続した所定数の採点区間にて、その算出された採点値が何れも予め設定された基準値を下回った場合、他方の歌唱パートのカラオケマイクに設定されたリファレンスを、前記一方の歌唱パートのカラオケマイクに設定されたリファレンスに置換し、かつ、前記一方の歌唱者の歌唱パートに対応する連続した所定数の採点区間にて、その算出された採点値が何れも前記基準値を上回った場合、あるいは、楽曲演奏が他方の歌唱者の歌唱パートを含む歌唱部分に切り替わった場合、前記置換されたカラオケマイクのリファレンスを前記設定されたリファレンスに戻し、
(ウ)アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートを歌唱した採点区間の採点値および/または前記基準値が下回った時点から前記基準値が上回った時点までの時間と、を判断要素として評価する、
ことを特徴とするカラオケ装置。
【請求項2】
(エ)アシスト評価手段は、前記リファレンスの置換中において、前記他方の歌唱者による前記一方の歌唱パートにおける各採点区間の歌唱に対する平均採点値と、前記基準値が下回った時点から前記基準値が上回った時点までの時間に加え、さらに、前記基準値が下回った時点から前記他方の歌唱者による前記一方の歌唱パートの歌唱開始時点までの時間と、を判断要素として評価する、
ことを特徴とする請求項1記載のカラオケ装置。
【請求項3】
前記歌唱力採点手段と、リファレンス置換手段と、アシスト評価手段に加え、さらに、アシスト通知手段とを有してなり、
(オ)アシスト通知手段は、前記基準値が下回った時点にて、画面表示および/または音声出力をもって、歌唱者に対してアシスト要求の通知をさせる、
ことを特徴とする請求項1記載ないし請求項2記載のカラオケ装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2007−102019(P2007−102019A)
【公開日】平成19年4月19日(2007.4.19)
【国際特許分類】
【出願番号】特願2005−293860(P2005−293860)
【出願日】平成17年10月6日(2005.10.6)
【出願人】(390004710)株式会社第一興商 (537)
【Fターム(参考)】
【公開日】平成19年4月19日(2007.4.19)
【国際特許分類】
【出願日】平成17年10月6日(2005.10.6)
【出願人】(390004710)株式会社第一興商 (537)
【Fターム(参考)】
[ Back to top ]