カラオケ用相性度判定装置
【課題】カラオケ歌唱に関し、複数人が歌唱している場合、複数人の歌唱者の相性度を自動で判定する。
【解決手段】ガイドメロディデータの音量データの立上り時刻と立上り回数とを計測する。そして、立上り回数に対応した検出時間帯から検出時間を算出する。また、立上り回数に対応した検出時間帯ごとに、複数の歌唱音声の音声信号から音量データを抽出し、抽出した音量データの音量レベルを比較し、最大の音量レベルを有する音声信号を選択する。そして、選択された音声信号の番地から、歌唱音声の発音時刻を算出し、算出された複数の歌唱音声の発音時刻から歌唱音声の発音時刻の時間差を算出する。最後に、算出された歌唱音声の発音時刻の時間差と、検出時間とから相性度の判定結果を算出する(S370)。
【解決手段】ガイドメロディデータの音量データの立上り時刻と立上り回数とを計測する。そして、立上り回数に対応した検出時間帯から検出時間を算出する。また、立上り回数に対応した検出時間帯ごとに、複数の歌唱音声の音声信号から音量データを抽出し、抽出した音量データの音量レベルを比較し、最大の音量レベルを有する音声信号を選択する。そして、選択された音声信号の番地から、歌唱音声の発音時刻を算出し、算出された複数の歌唱音声の発音時刻から歌唱音声の発音時刻の時間差を算出する。最後に、算出された歌唱音声の発音時刻の時間差と、検出時間とから相性度の判定結果を算出する(S370)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カラオケ歌唱に関し、複数人が歌唱している場合、複数人の歌唱者の相性度を判定する技術に関する。
【背景技術】
【0002】
従来、カラオケ装置の付帯機能として採点機能が知られている。この採点機能は、次のような機能である。すなわち、マイクロフォンから入力された歌唱者の音声信号をサンプリングすることで歌唱者が発声した音高や声量あるいはテンポなどの歌唱状態を示す歌唱データを生成する。次に、この歌唱データとカラオケデータ中の主旋律パートデータなどの採点基準データとを比較し、その比較結果に基づいて所定の得点を付与して採点データを生成する。そして、歌唱パートが終了するとこの採点データ中の得点を集計して総合得点を算出する。総合得点はそのままの得点をスコアボードやディスプレイに表示したり、所定のメッセージや所定の表現内容を含む映像など総合得点を反映した映像をディスプレイに出力したりする(例えば特許文献1参照)。
【0003】
また、デュエット曲など複数人が歌唱する場合に、各人の歌唱音声について採点する採点機能を有するカラオケ装置(例えば特許文献2参照)や2系統のマイクロフォンからの音声信号の入力頻度に基づいて男女を判定し別々に採点する歌唱採点方式のようなカラオケ装置(例えば特許文献3参照)がある。
【0004】
そして、上述のような採点機能を有するカラオケ装置では、デュエット曲など複数人が歌唱する場合にも、各人のカラオケ歌唱力を採点するものであった。
ところが、カラオケ歌唱において、デュエット曲など複数人が歌唱する場合、複数人の歌唱者の相性度を判定するようなカラオケ用相性度判定装置はなかった。
【0005】
なお、カラオケ装置の技術分野に限らなければ、生理信号例えば指尖容積脈波、心拍、脳波、血圧、身体表面の微細振動、皮膚温、皮膚電気抵抗、皮膚電位反応から選択される少なくとも一つを検出して対人間の相性度を算出する相性度測定装置のような相性度を判定する装置(例えば特許文献4参照)がある。
【特許文献1】特許第3261990号公報
【特許文献2】特開2000−330580号公報
【特許文献3】特開平11−282478号公報
【特許文献4】特開平7−21146号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし、このような相性度を判定する装置においては、生理信号例えば指尖容積脈波、心拍、脳波、血圧、身体表面の微細振動、皮膚温、皮膚電気抵抗、皮膚電位反応から選択される少なくとも一つを検出しなくてはならないため、被判定者にとっては、心理的負担がかかるという問題がある。また、このような相性度を判定する装置においては、被判定者は受身の立場であり、判定に自ら働きかけることができないため楽しいものではなかった。そして、相性度の判定は、あくまでも被判定者間の相対値のみに対応していた。
【0007】
また、カラオケ装置の歌唱において、デュエット曲など複数人が歌唱する場合、歌唱音声について採点する歌唱採点機能は従来から知られているが、複数人の歌唱者の相性度を判定するようなカラオケ用相性度判定装置はなかった。
【0008】
本発明は、上記課題に鑑みなされたものであり、カラオケ歌唱に関し、複数人が歌唱している場合、判定に自ら働きかけができ、且つ娯楽として歌唱者又は傍聴者に楽しんでもらい複数人の歌唱者の相性度を自動で判定するカラオケ用相性度判定装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上述した問題点を解決するためになされた本発明のカラオケ用相性度判定装置(1:なお、この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において説明した構成要素を括弧内に示すが、この記載によって特許請求の範囲を限定することを意味するものではない。)は、カラオケ演奏用データとカラオケ曲の歌唱旋律の音量データとを含む楽曲データを記憶する楽曲データ記憶手段(16)と、複数のカラオケ歌唱の音声信号をそれぞれ入力するための複数の音声信号入力手段(26a,26b)と、複数の音声信号入力手段(26a,26b)によって入力された各音声信号を記憶するための音声信号記憶手段(24)と、音声信号記憶手段(24)への各音声信号の記憶・読出制御を実行する音声信号記憶手段・読出制御手段(24)とを備えている。また、本発明のカラオケ用相性度判定装置(1)は、各音声信号から音量レベルの最大値が検出された時刻を抽出する音量検出時刻抽出手段(24)と、楽曲データ記憶手段(16)から読み出されたカラオケ曲の歌唱旋律の音量データと音量検出時刻抽出手段(24)によって抽出された各音声信号の音量レベルの最大値が検出された時刻の時間差とに基づいて相性度を判定する相性度判定手段(12)とを備えている。
【0010】
そして、相性度判定手段(12)は、楽曲データ記憶手段(16)から読み出されたカラオケ曲の歌唱旋律の音量データから音量レベルの最大値へ立上る時刻を抽出し、抽出された音量レベルの最大値へ立上る時刻から算出された歌唱旋律の音と音との間隔時間と、算出された歌唱旋律の音と音との間隔時間に基づく所定時間内に音量検出時刻抽出手段(24)によって抽出された各音声信号の音量レベルの最大値が検出された時刻から算出された各音声信号の時間差とに基づいて相性度を判定する処理を実行する。
【0011】
上述のように、本発明のカラオケ用相性度判定装置の相性度判定手段は相性度を判定する処理を実行するので、カラオケ歌唱の楽しみを増やすことができる。すなわち、歌唱のうまさを判定するのではなく、例えばデュエット曲を歌唱する場合、カラオケ歌唱のタイミングから二人の相性度を判定することによって、娯楽として歌唱者又は傍聴者に楽しんでもらうことができる。
【0012】
ここで、カラオケ用相性度判定装置の歌唱による相性度について説明する。カラオケ曲には例えばデュエット曲があるが、歌唱者の息が合うことによって素晴らしいハーモニーが生まれる。
【0013】
カラオケ歌唱の歌唱採点の採点基準データとなるカラオケ歌唱をガイドするためのガイドメロディに対して歌唱者の歌唱パートが合っていても、デュエット曲を歌唱している歌唱者同士が息を合わせているとは限らない。すなわち、デュエット曲を歌唱している歌唱者同士の歌唱するタイミングのずれが少ないほど息が合っているということである。歌唱者同士の息を合わせるためには、お互いの歌唱するタイミングを計るために顔を見合わせたり、相手の歌唱するタイミングを見たりする必要がある。嫌いな相手(相性度が悪い)ではお互いの歌唱するタイミングに合わせるのが難しい。また、相手を好意に思い、歌唱するタイミングを計る努力をしていても、歌唱するタイミングがずれる場合はまさしく相性度が悪いということがいえる。したがって、複数人の歌唱者同士の歌唱するタイミングのずれが少ないほど相性度が良いことになる。
【0014】
なお、ここでは、音量データに基づいて、相性度を判定したが、音高データに基づいて相性度を判定してもよい。
また、カラオケ曲の歌唱旋律の音量データを含むガイドメロディに対して、歌唱するタイミングが大きくずれたときは判定から外されることになる。例えばカラオケ用相性度判定装置の歌唱判定の判定基準データとなるガイドメロディが「ア、イ、ウ、」と続いて「エ」を発音するタイミングを過ぎてから歌唱者が「ウ」と歌唱した場合である。このような場合、複数人の歌唱音のうち1人でもずれていれば判定から外す。このようにすれば、例えば歌唱者が歌唱すべき歌唱音を発声しなかった場合、どの発声音が該当音かを探し出すような無駄な処理を省くことができる。
【0015】
さらに、歌唱者が発音するタイミングを適切に抽出することができる。すなわち、例えば算出された歌唱旋律のそれぞれの音と音との間隔時間に基づく所定時間内において、歌唱者が発音した音量レベルを例えば5ms毎に検出する。そして、前記所定時間内で最も大きな音量を発音したタイミングを歌唱者が発音したタイミングと判断できる。
【0016】
また、請求項2に記載のように相性度判定手段(12)は、楽曲データ記憶手段(16)に記憶されるカラオケ曲の楽曲1曲を楽曲の進行順に複数の区間に分割し、分割された複数の区間毎に相性度を判定し、楽曲の進行順に複数の区間の判定結果を比較し増減を算出して、算出された判定結果の増減度合いに応じて相性度を判定する処理を実行するとよい。
【0017】
このように構成された本発明のカラオケ用相性度判定装置によれば、カラオケ曲の楽曲1曲を複数の区間に分割し、分割された複数の区間毎に相性度を判定する。そして、例えば1番から3番まである曲の場合、1番から2番、2番から3歌と曲の進行につれて、相性度の判定結果が向上している場合には、例えばデュエット曲を歌唱している歌唱者の相性度の将来傾向は「良好」と判定できる。
【0018】
一方、1番から2番、2番から3歌と曲の進行につれて、相性度の判定が下降している場合には、例えばデュエット曲を歌唱している歌唱者の相性度の将来傾向は「要努力」と判定できる。また、1番から2番、2番から3歌と曲の進行につれて、相性度の判定が上下もしくは、下上など増減している場合には、例えばデュエット曲を歌唱している歌唱者の相性度の将来傾向は「もう少し努力」と判定できる。
【0019】
また、請求項3に記載のように相性度判定手段は、分割された区間順の判定結果に応じて分割された複数の区間毎の相性度の判定を補正し、相性度を判定する処理を実行するとよい。
【0020】
このように構成された本発明のカラオケ用相性度判定装置によれば、例えば1番から3番まである曲の場合、1番から2番、2番から3歌と曲の進行につれて、相性度の判定が向上している場合には、例えば1番、2番の相性度の判定に加点の補正をする。一方、1番から2番、2番から3歌と曲の進行につれて、相性度の判定が下降している場合には、例えば1番、2番の相性度の判定を補正しない。そのようにして、例えば1番から2番、2番から3歌と曲の進行につれて、相性度の判定が向上している場合には、例えばデュエット曲を歌唱している歌唱者の相性度の傾向は将来良好であることを際立たせて判定できる。
【発明を実施するための最良の形態】
【0021】
以下に本発明の実施形態を図面とともに説明する。
図1は、カラオケ用相性度判定装置を備えたカラオケ装置1の構成を示すブロック図である。
【0022】
[カラオケ装置1の構成の説明]
カラオケ装置1は、図1に示すように、カラオケ装置1全体の動作を制御する制御部12、カラオケ装置1をネットワーク100に接続するためのインタフェース部14、演奏楽曲の伴奏内容および歌詞を示す楽曲データや映像データなどを記憶するハードディスク(HDD)16、複数のキー・スイッチからなる操作部18、リモコン端末2や携帯電話からの赤外線信号を赤外線通によって受信するための赤外線通信部20、操作部18からの信号を処理する操作処理部22、ハードディスク16に記憶された楽曲データから演奏楽曲のオーディオ信号(音響,音声に関する信号)を生成し、生成されたオーディオ信号およびマイクロフォン(以下、マイクという)25a,25bによって歌唱音声を入力し、A/Dコンバータ26a,26bへ出力してA/Dコンバータ26a,26bによってディジタル化されたそれぞれの音声信号を増幅してスピーカ28へ出力する音声制御部24、MIDI音源30、映像情報を一時的に記憶するビデオRAM32、映像データに基づく映像の再生を制御する映像再生部34、ビデオRAM32に記憶された映像情報および映像再生部34により再生される映像の表示部36での表示を制御する映像制御部38などを備えている。
【0023】
そして、制御部12、インタフェース部14、HDD16、赤外線通信部20、操作処理部22、ビデオRAM32、映像再生部34、映像制御部38は、各々バス39によって接続されている。また、制御部12と音声制御部24とはUSB40によって接続されている。なお、制御部12及び音声制御部24は、後述する各種処理を実行する。
【0024】
このうち、音声制御部24が内蔵するRAM(図示しない)には、図2(a)に例示するように音声信号を記憶する音声信号データのメモリ領域(メモリA、メモリB)50、ガイドメロディデータの音量データの立上り時刻を記憶する立上り時刻メモリ領域(メモリE)52が設けられている。以下にそれぞれのメモリ領域に記憶されるデータについて順に説明する。
【0025】
(イ)音声信号データ
音声信号とは、マイク25a,25bに入力された歌唱音声をマイク25a,25bによってアナログ形式の信号に変換してそれぞれに対応したA/Dコンバータ26a,26bへ出力し、出力されたアナログ式の信号をA/Dコンバータ26a,26bによってディジタル形式に変換された信号を指す。
【0026】
なお、以下の説明において、単に「音声信号」という場合はディジタル形式の音声信号を指すこととし、アナログ・ディジタル形式の区別を付ける必要がある場合は、それぞれアナログ形式の音声信号、ディジタル形式の音声信号と記載する。
【0027】
さて、各音声信号データは、図2(b)に例示するようにマイク番号(マイク25a,25b)に対応して設けられているメモリA、メモリB内の音声信号データのメモリ領域A(n)、B(n)へ音声制御部24によってそれぞれ記憶される。
【0028】
一例を挙げると、マイク25aのマイク番号に対応する音声信号データは、メモリA内の音声信号データのメモリ領域A(n)へ音声制御部24によって記憶される。マイク25bのマイク番号に対応する音声信号データについても同様にメモリB内の音声信号データのメモリ領域B(n)へ音声制御部24によってそれぞれ記憶される。
【0029】
なお、各音声信号データは、図2(c)に例示するようにディジタル化される周期(1〜n)毎にディジタル化される周期(1〜n)の数値「1〜n」と、マイク番号とともに関連付けられてメモリ領域A(n)、B(n)へ音声制御部24によってそれぞれ記憶される。一例を挙げるとマイク25aのマイク番号、ディジタル化される周期(1)に対応する音声信号データは、ディジタル化される周期の数値「1」と、マイク25aのマイク番号とともに、音声制御部24によってメモリ領域A(1)へ記憶される。
【0030】
ここで、ディジタル化される周期とは、例えば5msである。なお、5msは後述する歌唱の音声信号から最大の音量レベルを検出するために十分な分解能である。
(ロ)立上り時刻データ
ガイドメロディデータの音量データの立上り時刻とは、楽曲データ記憶手段に記憶されている楽曲データのガイドメロディデータから抽出された音量データの立上り時刻である。ここで、ガイドメロディデータの音量データの立上り時刻は以下、単に「立上り時刻」と称する。
【0031】
さて、立上り時刻データは、図2(a),(d)に例示するようにガイドメロディデータの音量データの立上り回数(1〜N)の数値「1〜N」と関連付けられてメモリ領域E(N)へ音声制御部24によってそれぞれ記憶される。ここで、ガイドメロディデータの音量データの立上り回数は以下、単に「立上り回数」と称する。一例を挙げると、立上り回数(1)に対応する立上り時刻データは、立上り回数の数値「1」とともに音声制御部24によってメモリ領域E(1)へ記憶される。
【0032】
また、HDD16には、図3(a)に例示するように、楽曲データを記憶する楽曲データのメモリ領域62、発音時刻データのメモリ領域(メモリC、メモリD)64、検出時間データのメモリ領域(メモリG)66、時間差データのメモリ領域(メモリH)68、相性度の判定データのメモリ領域(メモリJ)70、表示情報テーブルのメモリ領域72、重み関数と表示情報テーブルのメモリ領域74とが設けられている。以下にそれぞれのメモリ領域に記憶されるデータについて順に説明する。
【0033】
(ハ)楽曲データ
楽曲データには、ガイドメロディデータを有している。そして、このガイドメロディデータは、カラオケ曲の歌唱旋律の音量データ、音高データを有している。
【0034】
(ニ)検出時間データ
検出時間とは、立上り時刻から算出された検出時間を指す。この検出時間は、音声信号から抽出された音量データから最大の音量レベルを検出するための時間間隔であるが、以下順に説明する。
【0035】
まず、図5(a)は、4つの音の立上り時刻を、4分音符で模式的に例示している。ここで、横軸は時間を示している。例えば1番目の音の立上り時刻をTa1で示している。2〜4番目の音の立上り時刻についても同様にTa2,Ta3,Ta4で示している。そして、例えば1番目の音の立上り時刻Ta1から2番目の音の立上り時刻Ta2までの経過時間をTb1で示している。2番目の音の立上り時刻Ta2から3番目の音の立上り時刻Ta3までの経過時間、3番目の音の立上り時刻Ta3から4番目の音の立上り時刻Ta4までの経過時間についても同様にTb2,Tb3で示している。
【0036】
また、図5(b)は、図5(a)で示した4つの音の音量レベルを縦軸に示している。ここで、横軸は図5(a)と同期した時間を示している。ガイドメロディデータの音量データは機械的に非常に正確なものである。
【0037】
これに対して、図5(c)に例示する歌唱音声の音声信号から抽出された音量データはガイドメロディデータに較べて音量レベルが上下に変動しており、また最大の音量レベルの時刻も時間軸に対して変動している。なお、本図5(c)の縦軸は音量レベルを示し、横軸は、図5(a),(b)と同期した時間を示している。したがって、歌唱音声の発音時刻を一律には定められない。
【0038】
そこで、歌唱音声の音声信号から抽出された音量データの音量レベルを検出し、最大の音量レベルを検出した時刻を歌唱音声の発音時刻とする。なお、ガイドメロディデータの音から時間軸において大きく外れた歌唱音声を除くために、最大の音量レベルを検出するための時間帯を設定する。この時間帯を検出時間帯と称する。例えば、2番目の音について検出する検出時間帯は、2番目の立上り時刻Ta2を基準として、経過時間Tb1の半分の時間の前から経過時間Tb2の半分の時間の後までの時間帯と設定する。なお、検出時間帯の時間間隔を検出時間と称する。つまり、2番目の音の検出時間は経過時間Tb1の半分の時間と経過時間Tb2の半分の時間とを加えた時間である。この2番目の音の検出時間を分かりやすく説明するために、図5(c)では「Tc2」で示している。
【0039】
なお、検出時間帯において、上述したディジタル化される周期、例えば5msごとに歌唱の音声信号から最大の音量レベルを検出する。このディジタル化される周期を分かりやすく説明するために、図5(c)では「Ts」で示している。
【0040】
つまり、検出時間帯において、ディジタル化される周期、例えば5msごとに歌唱音声の音声信号から抽出された音量データの音量レベルを検出し、最大の音量レベルを検出した時刻が歌唱音声の発音時刻となる。
【0041】
また、図5(d)は、4つの音の発音時刻Tg1,Tg2,Tg3,Tg4を例示している。例えば1番目の音についての発音時刻Tg1は、1番目の音についての歌唱音声の発音時刻を示している。2〜4番目の音の発音時刻Tg2,Tg3,Tg4についても同様に2〜4番目の音についての歌唱音声の発音時刻を示している。
【0042】
さて、検出時間データは、図3(a)、図4(a)に例示するように立上り回数(1〜N)の数値「1〜N」と関連付けられてメモリ領域G(N)へ制御部12によってそれぞれ記憶される。一例を挙げると立上り回数(1)に対応する検出時間データは、立上り回数の数値「1」とともに制御部12によってメモリ領域G(1)へ記憶される。
【0043】
(ホ)発音時刻データ
発音時刻とは、上述したように、歌唱音声の発音時刻を指す。
さて、発音時刻データは、図3(a),(b)に例示するようにマイク番号(マイク25a,25b)に対応して設けられているメモリC、メモリD内の発音時刻データのメモリ領域C(N),D(N)へ制御部12によってそれぞれ記憶される。
【0044】
一例を挙げると、マイク25aのマイク番号に対応する発音時刻データは、メモリC内の発音時刻データのメモリ領域C(N)へ制御部12によって記憶される。マイク25bのマイク番号に対応する発音時刻データについても同様にメモリD内の発音時刻データのメモリ領域D(N)へ制御部12によってそれぞれ記憶される。
【0045】
なお、各発音時刻データは、図3(c)に例示するように立上り回数(1〜N)の数値「1〜N」と、マイク番号とともに関連付けられてメモリ領域C(n),D(n)へ制御部12によってそれぞれ記憶される。一例を挙げるとマイク25aのマイク番号、立上り回数(1)に対応する発音時刻データは、立上り回数の数値「1」と、マイク25aのマイク番号とともに、制御部12によってメモリ領域C(1)へ記憶される。
【0046】
(へ)時間差データ
時間差とは、カラオケ歌唱の各音声信号から抽出された各音声信号の発音時刻の時間差を指す。この時間差について、図6に基づき以下説明する。図6は、例えばデュエット曲を歌唱する場合について説明している。
【0047】
まず、図6(a)は、図5(a)と同様に4つの音の立上り時刻を、4分音符で模式的に示している。そして、図6(b)は、この4つの音に対する女性パートの歌唱音声の発音時刻Tg1,Tg2,Tg3,Tg4を示し、図6(c)は、同様に4つの音に対する男性パートの歌唱音声の発音時刻Tm1,Tm2,Tm3,Tm4を示している。
【0048】
そして、例えば1番目の音の時間差は、女性パートの発音時刻Tg1と男性パートの発音時刻Tm1との時間差T1である。2番目から4番目の音の時間差は、女性パートの発音時刻Tg2,Tg3,Tg4と男性パートの発音時刻Tm2,Tm3,Tm4とのそれぞれの時間差T2,T3,T4である。
【0049】
さて、時間差データは、図3(a)、図4(b)に例示するように立上り回数(1〜N)の数値「1〜N」と関連付けられてメモリ領域H(N)へ制御部12によってそれぞれ記憶される。一例を挙げると立上り回数(1)に対応する時間差データは、立上り回数の数値「1」とともに制御部12によってメモリ領域H(1)へ記憶される。
【0050】
(ト)相性度の判定結果データ
相性度の判定結果とは、上述した時間差と検出時間とから算出された各音声信号の相性度の判定結果を指す。一例を挙げると例えば図6(a)の2番目の音についての相性度の判定データは、図6(c)に例示した2番目の音の時間差T2と図5(c)に例示した2番目の音の検出時間Tc2とから次のように算出される。つまり、時間差T2を検出時間Tc2で割算する。そして、この割算した値を数値「1」から差し引き、差し引いた値の百分率を算出する。この算出された百分率の値が2番目の音の相性度の判定結果となる。
【0051】
さて、相性度の判定結果データは、図3(a)、図4(c)に例示するように立上り回数(1〜N)の数値「1〜N」と関連付けられてメモリ領域J(N)へ制御部12によってそれぞれ記憶される。一例を挙げると立上り回数(1)に対応する相性度の判定データは、立上り回数の数値「1」とともに制御部12によってメモリ領域J(1)へ記憶される。
【0052】
なお、本実施形態においては、HDD16が「楽曲データ記憶手段」に相当し、A/Dコンバータ26a〜26cが「音声信号入力手段」に相当し、音声制御部24が内蔵するRAM(図示しない)が「音声信号記憶手段」に相当する。また、音声制御部24が「音声信号記憶・読出制御手段」、「音量検出時刻抽出手段」に相当し、制御部12が「相性度判定手段」に相当する。
【0053】
[制御部12の相性度判定処理(1)の説明]
以下に、カラオケ装置1の制御部12が実行する「制御部12の相性度判定処理(1)」の手順を図7のフローチャートに基づいて説明する。
【0054】
操作部18で受け付けたカラオケ演奏楽曲の選曲番号のデータは操作処理部22によって制御部12へ送信されるのであるが、制御部12は、操作処理部22から選曲番号のデータを受信したか否かを判断する(S110)。そして、操作処理部22から送信された選曲番号のデータを受信すると(S110:YES)、その選曲番号に対応したカラオケ演奏楽曲の楽曲データをHDD16に記憶された楽曲データから読み出し、カラオケ演奏を制御する(S120)。また、音声制御部24へ相性度判定処理の開始信号を送信する(130)。
【0055】
そして、S130の処理が終了したら、本「制御部12の相性度判定処理(1)」は終了する。
[音声制御部24の相性度判定処理の説明]
次に、カラオケ装置1の音声制御部24が実行する「音声制御部24の相性度判定処理」の手順を図8のフローチャートに基づいて説明する。
【0056】
まず、音声制御部24は制御部12から送信された相性度判定処理の開始信号を受信したか否かを判断する(S210)。そして、相性度判定処理の開始信号を受信すると(S210:YES)、音声制御部24が有する時間を計測するタイマ(図示しない)を初期化する。すなわち、計測時刻を「0」にする(S212)。そして、音声制御部24が有するメモリバッファA(図示しない)へ数式「n=1」を記憶し、メモリバッファB(図示しない)へ数式「N=1」を記憶する(S214)。次に、ディジタル化される周期が経過したか否かを判断する(S216)。ここで、ディジタル化される周期とは、上述の項目[カラオケ装置1の構成の説明]で説明したように例えば5msである。また、ディジタル化される周期の計測は、上述した音声制御部24が有する時間を計測するタイマ(図示しない)によって行なわれる。
【0057】
そして、ディジタル化される周期が経過すると(S216:YES)、マイク25aによって歌唱音声を入力し、A/Dコンバータ26aへ出力してA/Dコンバータ26aによってディジタル化された音声信号を現在の変数nの値と、マイク25aのマイク番号とともに、図2(b),(c)に例示する音声制御部24のRAMのメモリ領域A(1)へ記憶する(S218)。
【0058】
また、マイク25bによって歌唱音声を入力し、A/Dコンバータ26bへ出力してA/Dコンバータ26bによってディジタル化された音声信号を現在の変数nの値と、マイク25bのマイク番号とともに、図2(b)、(c)に例示する音声制御部24のRAMのメモリ領域B(1)へ記憶する(S220)。
【0059】
そして、音声制御部24が有するメモリバッファ(図示しない)が記憶する数式「n=1」に数値「1」を加算して数式「n=2」とし、音声制御部24が有するメモリバッファA(図示しない)へ数式「n=2」を記憶する(S222)。
【0060】
一方、ディジタル化される周期が経過しない場合には(S214:NO)、ガイドメロディデータの音量データが立上ったか否かを判断する(S224)。ガイドメロディデータの音量データが立上っていない場合には(S224:NO)、S216へ戻る。なお、ガイドメロディデータの音量データが立上った場合には(S224:YES)、上述の音声制御部24が有するタイマ(図示しない)によって計測された立上り時刻を現在の変数Nの値とともに、図2(a),(d)に例示する音声制御部24のRAMのメモリ領域E(1)へ記憶する(S226)。そして、音声制御部24が有するメモリバッファB(図示しない)が記憶する数式「N=1」に数値「1」を加算して数式「N=2」とし、音声制御部24が有するメモリバッファB(図示しない)へ数式「N=2」を記憶する(S228)。
【0061】
次に、カラオケ演奏が終了すると制御部12はカラオケ演奏の終了信号を音声制御部24へ送信するのであるが、音声制御部24は、制御部12から送信されたカラオケ演奏の終了信号を受信したか否かを判断する(S230)。カラオケ演奏の終了信号を受信しない場合には(S230:NO)、S216へ戻り上述した処理を行なう。一方、カラオケ演奏の終了信号を受信した場合には(S230:YES)、次の相性度判定処理(S232〜S246)を行なう。
【0062】
まず、図2(b)、(c)に例示する音声制御部24のRAMのメモリ領域A(1)〜A(n)へ記憶された音声信号データを読み出す(S232)。また、音声制御部24のRAMのメモリ領域B(1)〜B(n)へ記憶された音声信号データを読み出す(S234)。そして、音声制御部24のRAMのメモリ領域E(1)〜E(N)へ記憶された立上り時刻データを読み出す(S236)。
【0063】
次に、音声制御部24のRAMのメモリ領域E(1)〜E(N)より読み出された立上り時刻から立上り回数(1〜N)に対応した検出時間帯を算出する(S238)。そして、算出された立上り回数(1〜N)に対応した検出時間帯から立上り回数(1〜N)に対応した検出時間を算出し、図3(a)、図4(a)に例示するHDD16のメモリ領域G(1)〜G(N)へ記憶する(S240)。そして、S238にて算出された立上り回数(1〜N)に対応した検出時間帯ごとに、音声制御部24のRAMのメモリ領域A(1)〜A(n)より読み出された音声信号データを抽出する。なお、メモリ領域A(1)〜A(n)の番地(1〜n)の数値「1〜n」はディジタル化される周期(1〜n)の数値「1〜n」と同じなので、検出時間帯に対応した音声信号データを抽出できる。例えば、ディジタル化される周期が5msであれば、メモリ領域A(1)〜A(n)の番地(1〜n)の数値「1」のときは、時刻「1×5ms=5ms」であり、数値「2」のときは、時刻「2×5ms=10ms」であり、数値「3」のときは、時刻「3×5ms=15ms」であり、数値「n」のときは、時刻「n×5ms」である。換言すれば、例えば検出時間帯が3ms〜12msであれば、この検出時間帯に対応する音声信号データは、メモリ領域A(1)の音声信号データとメモリ領域A(2)の音声信号データとになる。そして、抽出された音声信号から音量データを抽出し、抽出した音量データの音量レベルを比較し、最大の音量レベルを有する音声信号を選択する。さらに、選択された最大の音量レベルを有する音声信号の番地(n)の数値「n」にディジタル化される周期、例えば5msを乗算して、歌唱音声の発音時刻を算出する。そして、算出された歌唱音声の発音時刻を図3(b),(c)に例示するHDD16のメモリ領域C(1)〜C(N)へ記憶する(S242)。
【0064】
また、S238にて算出された立上り回数(1〜N)に対応した検出時間帯ごとに、音声制御部24のRAMのメモリ領域B(1)〜B(n)より読み出された音声信号データを抽出する。そして、抽出された音声信号から音量データを抽出し、抽出した音量データの音量レベルを比較し、最大の音量レベルを有する音声信号を選択する。さらに、選択された最大の音量レベルを有する音声信号の番地(n)の数値「n」にディジタル化される周期、例えば5msを乗算して、歌唱音声の発音時刻を算出する。そして、算出された歌唱音声の発音時刻を図3(b),(c)に例示するHDD16のメモリ領域D(1)〜D(N)へ記憶する(S244)。
【0065】
そして、制御部12へ音声制御部24の相性度判定処理の終了信号を送信する(S246)。
このS246の処理が終了したら、本「制御部12の相性度判定処理」は終了する。
【0066】
[制御部12の相性度判定処理(2)の説明]
次に、カラオケ装置1の制御部12が実行する「制御部12の相性度判定処理(2)」の手順を図10のフローチャートに基づいて説明する。
【0067】
まず、制御部12は音声制御部24から送信された音声制御部24の相性度判定処理の終了信号を受信したか否かを判断する(S310)。そして、音声制御部24の相性度判定処理の終了信号を受信すると(S310:YES)、HDD16のメモリ領域C(1)〜C(N)へ記憶された歌唱音声の発音時刻データを読み出す(S320)。また、HDD16のメモリ領域D(1)〜D(N)へ記憶された歌唱音声の発音時刻データを読み出す(S330)。そして、メモリ領域C(1)〜C(N)から読み出された歌唱音声の発音時刻と、メモリ領域D(1)〜D(N)から読み出された歌唱音声の発音時刻とから立上り回数(1〜N)に対応した歌唱音声の発音時刻の時間差を算出する。そして、算出された立上り回数(1〜N)に対応した歌唱音声の発音時刻の時間差を図4(b)に例示するHDD16のメモリ領域H(1)〜H(N)へ記憶する(S340)。例えば、立上り回数(1)に対応した歌唱音声の発音時刻データをメモリ領域C(1)とメモリ領域D(1)とから読み出し、読み出されたモリ領域C(1)の歌唱音声の発音時刻とメモリ領域D(1)の歌唱音声の発音時刻とから時間差を算出する。そして、算出された立上り回数(1)に対応した時間差をメモリ領域H(1)へ記憶する。
【0068】
次に、HDD16のメモリ領域H(1)〜H(N)へ記憶された歌唱音声の発音時刻の時間差データを読み出す(S350)。また、HDD16のメモリ領域G(1)〜G(N)へ記憶さ検出時間データを読み出す(S360)。そして、メモリ領域H(1)〜H(N)から読み出された歌唱音声の発音時刻の時間差と、メモリ領域G(1)〜G(N)から読み出された検出時間とから立上り回数(1〜N)に対応した相性度の判定結果を算出する。そして、算出された立上り回数(1〜N)に対応した相性度の判定結果を図4(c)に例示するHDD16のメモリ領域J(1)〜J(N)へ記憶する(S370)。
【0069】
このS370の処理が終了すると、本「制御部12の相性度判定処理(2)」は終了する。
[制御部12の相性度判定表示切替処理の説明]
次に、カラオケ装置1の制御部12が実行する「制御部12の相性度判定表示切替処理」の手順を図11のフローチャートに基づいて説明する。
【0070】
まず、HDD16のメモリ領域J(1)〜J(N)へ記憶された相性度の判定結果データを読み出し、読み出された相性度の判定結果からそれらの平均値を算出する(510)。また、算出された相性度の判定結果の平均値に対応する表示情報をHDD16のメモリ領域72に記憶された表示情報テーブルから読み出す(520)。例えば図12(a)に例示するような表示情報テーブルにおいて、相性度の判定結果の平均値が「85」であれば、表示情報の「かなりいい感じ」を読み出すことになる。
【0071】
そして、算出された相性度の判定結果の平均値と読み出された表示情報とを表示部36に表示するよう制御する(S530)。例えば図12(b)に例示するように相性度の判定結果「85点」と表示情報「かなりいい感じ」とを表示部36に表示する。
【0072】
次に、例えば操作部18に有するキー入力手段(図示しない)に設けられた「相性度判定表示切替スイッチ」(図示しない)によって受け付けた「相性度判定傾向分析」を指示するデータは操作処理部22によって制御部12へ送信されるのであるが、制御部12は「相性度判定傾向分析」を指示するデータを受信したか否かを判断する(S540)。
【0073】
そして、操作処理部22から送信した「相性度判定傾向分析」を指示するデータを受信した場合には(S540:YES)、HDD16のメモリ領域J(1)〜J(N)へ記憶された相性度の判定結果データを読み出し、分割された区分、例えば1曲中の1番から3番までの番号ごとにそれぞれ平均値を算出する(S550)。そして、算出された番号ごとの平均値の傾向に対応する重み関数と傾向分析結果を、図13(a)に例示するような重み関数と表示情報テーブルから読み出す(S560)。図13(a)は例えば1曲中に1番から3番まである重み関数と表示情報テーブルを示している。図13(a)中において、「L」は相性度の判定結果が最も低い番号となったものを示し、「M」は相性度の判定結果が真ん中の番号となったものを示し、「H」は相性度の判定結果が最も良い番号となったものを示している。そして、例えば1番が「L」、2番が「M」、3番が「H」の場合には、1番の重み関数Mは「0.8」となり、2番の重み関数Mは「0.9」となり、3番の重み関数Mは「1」となる。また、表示情報の「タイミングをあわせようとする良い状態」を読み出すことになる。
【0074】
次に、1番から3番までのそれぞれの平均値から数値「100」を差し引いた値に、読み出された例えば1番から3番までの重み関数を乗算して、その乗算した値に数値「100」を加えて算出する。そして、乗算後のそれぞれの平均値から1曲全体の平均値を算出する(S570)。このように重み関数で補正して算出された1曲全体の相性度の判定補正結果と読み出された表示情報とを表示部36に表示するよう制御する(S580)。例えば図13(b)に例示するように相性度の判定補正結果「95点」と表示情報「タイミングをあわせようとする良い状態」とを表示する。
【0075】
このS580の処理が終了すると、本「制御部12の相性度判定表示切替処理」は終了する。
[効果の説明]
(1)従来の相性度を判定する装置においては、生理信号を検出しなくてはならないため、被判定者にとっては、心理的負担がかかるという問題がある。また、従来のカラオケ装置では、複数人の歌唱者の相性度を判定する機能はなかった。
【0076】
それに対して本実施形態のカラオケ装置1によれば、次のようにして複数人の歌唱者の相性度を判定することができる。
まず、ガイドメロディデータの音量データの立上り時刻と立上り回数とを計測する。そして、立上り回数に対応した検出時間帯から検出時間を算出する。また、立上り回数に対応した検出時間帯ごとに、複数の歌唱音声の音声信号から音量データを抽出し、抽出した音量データの音量レベルを比較し、最大の音量レベルを有する音声信号を選択する。そして、選択された音声信号の番地から、歌唱音声の発音時刻を算出し、算出された複数の歌唱音声の発音時刻から歌唱音声の発音時刻の時間差を算出する。最後に、算出された歌唱音声の発音時刻の時間差と、検出時間とから相性度の判定結果を算出する。
【0077】
したがって、本実施形態のカラオケ装置1によれば、相性度の判定をすることができるので、カラオケ歌唱の楽しみを増やすことができる。すなわち、歌唱のうまさを判定するのではなく、例えばデュエット曲を歌唱する場合、カラオケ歌唱のタイミングから二人の相性度を判定することによって、娯楽として歌唱者又は傍聴者に楽しんでもらうことができる。また、カラオケ曲の歌唱旋律の音量データを含むガイドメロディに対して、歌唱するタイミングが大きくずれたときは判定から外されるので、例えば歌唱者が歌唱すべき歌唱音を発声しなかった場合、どの発声音が該当音かを探し出すような無駄な処理を省くことができる。
【0078】
(2)また、本実施形態のカラオケ装置1によれば、操作部18で受け付けた「相性度判定傾向分析」を指示するデータが操作処理部22によって制御部12へ送信されると、制御部12が1曲中の分割された区分、例えば1曲中の1番から3番までの番号ごとにそれぞれ平均値を算出し、算出された番号ごとの平均値の傾向に対応する重み関数と傾向分析結果を重み関数と表示情報テーブルから読み出す。そして、読み出された1番から3番までの重み関数を、1番から3番までのそれぞれの平均値に乗算して、乗算後のそれぞれの平均値から1曲全体の平均値を算出し、算出された1曲全体の相性度の判定補正結果と読み出された表示情報とを表示部36に表示するよう制御する。
【0079】
したがって、例えば1番から2番、2番から3歌と曲の進行につれて、相性度の判定が向上している場合には、例えばデュエット曲を歌唱している歌唱者の相性度の傾向は将来良好であることを際立たせて判定できる。
【0080】
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、以下のような様々な態様にて実施することが可能である。
【0081】
(1)上記実施形態では、ガイドメロディデータの音の立上り時刻と立上り回数とをガイドメロディデータに有する音量データから抽出したが、これには限らない。ガイドメロディデータに有する音高データからガイドメロディデータの音の立上り時刻と立上り回数とを抽出してもよい。このようにすれば、歌唱採点の採点基準データとして音高データが抽出される場合には、1種類の歌唱データを抽出すればよい。
【0082】
(2)上記実施形態では、重み関数はHDD16に設けられた重み関数と表示情報テーブルのメモリ領域74に記憶されていたが、これには限らない。楽曲データの中に重み関数を記憶しておいてもよい。これは、作詞家、作曲家などの曲を作成した著作者が、その曲の重要度に応じて曲の進行に合わせて、楽曲データに対応した重み関数を予め楽曲データに中に記録しておく。そして、相性度の判定結果を算出する場合に、制御部12が曲の進行に合わせて重み関数を楽曲データの中から抽出して、前記抽出した重み関数を相性度の判定結果に乗算して相性度の判定補正結果を算出してもよい。このようにすれば、作詞家、作曲家などの曲を作成した著作者が、意図する重要度に応じて相性度の判定結果が算出されるので、より適切な相性度の判定結果が得られる。
【0083】
(3)上記実施形態では、2本のマイクであったが、これには限らない。3本以上のマイクでもよい。具体的手順を次に説明する。例えば3本のマイク(異なる3人の歌唱者)の場合には、制御部12が3本のマイクから異なる2本(異なる2人の歌唱者)を選択してできる全ての組み合わせ、つまり3組の相性度をそれぞれ算出し、この3組の相性度から相加平均値を算出する。そして、前記相加平均値を3本のマイク全体(異なる3人の歌唱者全体)の相性度とする。すなわち、制御部12が異なる2本のマイク間の相性度をそれぞれ算出すれば、3人の中の異なる2人の相性度を判定することができ、それぞれ算出された異なる2本のマイク間の全ての組み合わせの相性度から制御部12が相加平均値を算出すれば、3人全体(グループ)としての相性度を判定することができる。
【0084】
よって、n本のマイク(異なるn人の歌唱者)の場合も同様の手順で、制御部12がn本のマイクから異なる2本(異なる2人の歌唱者)を選択してできる全ての組み合わせの相性度をそれぞれ算出し、この全ての組み合わせの相性度から相加平均値を算出すれば、n本のマイク(異なるn人の歌唱者)全体としての相性度を判定することができる。
【0085】
(4)上記実施形態では、操作部18で「相性度判定傾向分析」を指示するデータを受け付けるようにしたが、これには限らない。リモコン端末2の操作部(図示しない)から受け付けてもよい。
【0086】
(5)上記実施形態では、表示部36で相性度の判定結果及び相性度の判定補正結果」を表示させていたが、これには限らない。リモコン端末2にも表示部を有する場合には、リモコン端末2の表示部(図示しない)に表示させてもよい。
【図面の簡単な説明】
【0087】
【図1】カラオケ用相性度判定装置を備えたカラオケ装置1の構成を示すブロック図である。
【図2】音声制御部24が内蔵するRAM(図示しない)のメモリ領域を示す説明図である。
【図3】HDD16に設けられたメモリ領域を示す説明図である。
【図4】HDD16に設けられたメモリのデータ構造を示す説明図である。
【図5】ガイドメロディデータ、音量データ、検出時間、発音時刻データとの関連を示す説明図である。
【図6】発音時刻データと時間差との関連を示す説明図である。
【図7】制御部12が実行する「制御部12の相性度の判定処理(1)」の手順を示すフローチャートである。
【図8】制御部24が実行する「音声制御部24の相性度の判定処理」の前半の手順を示すフローチャートである。
【図9】制御部24が実行する「音声制御部24の相性度の判定処理」の後半の手順を示すフローチャートである。
【図10】制御部12が実行する「制御部12の相性度の判定処理(2)」の手順を示すフローチャートである。
【図11】制御部12が実行する「制御部12の相性度の判定結果表処理」の手順を示すフローチャートである。
【図12】(a)は相性度の判定結果に対する表示部36への表示情報を示す説明図であり、(b)は相性度の判定結果と表示情報とを表示部36に表示させた例を示す説明図である。
【図13】(a)は相性度の判定結果に対する1番〜3番の重み関数と表示部36への表示情報とを示す説明図であり、(b)は重み関数で補正した相性度の判定結果と表示情報とを表示部36に表示させた例を示す説明図である。
【符号の説明】
【0088】
1…カラオケ装置、2…リモコン端末、12…制御部、14…インタフェース部、16…ハードディスク(HDD)、18…操作部、20…赤外線通信部、22…操作処理部、24…音声制御部、25a,25b…マイクロフォン、26a,26b…A/Dコンバータ、28…スピーカ、30…MIDI音源、32…ビデオRAM、34…映像再生部、36…表示部、38…映像制御部、39…バス、40…USB、50…音声信号のメモリ領域(メモリA、メモリB)、52…立上り時刻データのメモリ領域(メモリE)、62…楽曲データのメモリ領域、64…発音時刻データのメモリ領域(メモリC、メモリD)、66…検出時間データのメモリ領域(メモリG)、68…時間差データのメモリ領域(メモリH)、70…相性度の判定データのメモリ領域(メモリJ)、72…表示情報テーブルのメモリ領域、74…重み関数と表示情報テーブルのメモリ領域、100…ネットワーク。
【技術分野】
【0001】
本発明は、カラオケ歌唱に関し、複数人が歌唱している場合、複数人の歌唱者の相性度を判定する技術に関する。
【背景技術】
【0002】
従来、カラオケ装置の付帯機能として採点機能が知られている。この採点機能は、次のような機能である。すなわち、マイクロフォンから入力された歌唱者の音声信号をサンプリングすることで歌唱者が発声した音高や声量あるいはテンポなどの歌唱状態を示す歌唱データを生成する。次に、この歌唱データとカラオケデータ中の主旋律パートデータなどの採点基準データとを比較し、その比較結果に基づいて所定の得点を付与して採点データを生成する。そして、歌唱パートが終了するとこの採点データ中の得点を集計して総合得点を算出する。総合得点はそのままの得点をスコアボードやディスプレイに表示したり、所定のメッセージや所定の表現内容を含む映像など総合得点を反映した映像をディスプレイに出力したりする(例えば特許文献1参照)。
【0003】
また、デュエット曲など複数人が歌唱する場合に、各人の歌唱音声について採点する採点機能を有するカラオケ装置(例えば特許文献2参照)や2系統のマイクロフォンからの音声信号の入力頻度に基づいて男女を判定し別々に採点する歌唱採点方式のようなカラオケ装置(例えば特許文献3参照)がある。
【0004】
そして、上述のような採点機能を有するカラオケ装置では、デュエット曲など複数人が歌唱する場合にも、各人のカラオケ歌唱力を採点するものであった。
ところが、カラオケ歌唱において、デュエット曲など複数人が歌唱する場合、複数人の歌唱者の相性度を判定するようなカラオケ用相性度判定装置はなかった。
【0005】
なお、カラオケ装置の技術分野に限らなければ、生理信号例えば指尖容積脈波、心拍、脳波、血圧、身体表面の微細振動、皮膚温、皮膚電気抵抗、皮膚電位反応から選択される少なくとも一つを検出して対人間の相性度を算出する相性度測定装置のような相性度を判定する装置(例えば特許文献4参照)がある。
【特許文献1】特許第3261990号公報
【特許文献2】特開2000−330580号公報
【特許文献3】特開平11−282478号公報
【特許文献4】特開平7−21146号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし、このような相性度を判定する装置においては、生理信号例えば指尖容積脈波、心拍、脳波、血圧、身体表面の微細振動、皮膚温、皮膚電気抵抗、皮膚電位反応から選択される少なくとも一つを検出しなくてはならないため、被判定者にとっては、心理的負担がかかるという問題がある。また、このような相性度を判定する装置においては、被判定者は受身の立場であり、判定に自ら働きかけることができないため楽しいものではなかった。そして、相性度の判定は、あくまでも被判定者間の相対値のみに対応していた。
【0007】
また、カラオケ装置の歌唱において、デュエット曲など複数人が歌唱する場合、歌唱音声について採点する歌唱採点機能は従来から知られているが、複数人の歌唱者の相性度を判定するようなカラオケ用相性度判定装置はなかった。
【0008】
本発明は、上記課題に鑑みなされたものであり、カラオケ歌唱に関し、複数人が歌唱している場合、判定に自ら働きかけができ、且つ娯楽として歌唱者又は傍聴者に楽しんでもらい複数人の歌唱者の相性度を自動で判定するカラオケ用相性度判定装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上述した問題点を解決するためになされた本発明のカラオケ用相性度判定装置(1:なお、この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において説明した構成要素を括弧内に示すが、この記載によって特許請求の範囲を限定することを意味するものではない。)は、カラオケ演奏用データとカラオケ曲の歌唱旋律の音量データとを含む楽曲データを記憶する楽曲データ記憶手段(16)と、複数のカラオケ歌唱の音声信号をそれぞれ入力するための複数の音声信号入力手段(26a,26b)と、複数の音声信号入力手段(26a,26b)によって入力された各音声信号を記憶するための音声信号記憶手段(24)と、音声信号記憶手段(24)への各音声信号の記憶・読出制御を実行する音声信号記憶手段・読出制御手段(24)とを備えている。また、本発明のカラオケ用相性度判定装置(1)は、各音声信号から音量レベルの最大値が検出された時刻を抽出する音量検出時刻抽出手段(24)と、楽曲データ記憶手段(16)から読み出されたカラオケ曲の歌唱旋律の音量データと音量検出時刻抽出手段(24)によって抽出された各音声信号の音量レベルの最大値が検出された時刻の時間差とに基づいて相性度を判定する相性度判定手段(12)とを備えている。
【0010】
そして、相性度判定手段(12)は、楽曲データ記憶手段(16)から読み出されたカラオケ曲の歌唱旋律の音量データから音量レベルの最大値へ立上る時刻を抽出し、抽出された音量レベルの最大値へ立上る時刻から算出された歌唱旋律の音と音との間隔時間と、算出された歌唱旋律の音と音との間隔時間に基づく所定時間内に音量検出時刻抽出手段(24)によって抽出された各音声信号の音量レベルの最大値が検出された時刻から算出された各音声信号の時間差とに基づいて相性度を判定する処理を実行する。
【0011】
上述のように、本発明のカラオケ用相性度判定装置の相性度判定手段は相性度を判定する処理を実行するので、カラオケ歌唱の楽しみを増やすことができる。すなわち、歌唱のうまさを判定するのではなく、例えばデュエット曲を歌唱する場合、カラオケ歌唱のタイミングから二人の相性度を判定することによって、娯楽として歌唱者又は傍聴者に楽しんでもらうことができる。
【0012】
ここで、カラオケ用相性度判定装置の歌唱による相性度について説明する。カラオケ曲には例えばデュエット曲があるが、歌唱者の息が合うことによって素晴らしいハーモニーが生まれる。
【0013】
カラオケ歌唱の歌唱採点の採点基準データとなるカラオケ歌唱をガイドするためのガイドメロディに対して歌唱者の歌唱パートが合っていても、デュエット曲を歌唱している歌唱者同士が息を合わせているとは限らない。すなわち、デュエット曲を歌唱している歌唱者同士の歌唱するタイミングのずれが少ないほど息が合っているということである。歌唱者同士の息を合わせるためには、お互いの歌唱するタイミングを計るために顔を見合わせたり、相手の歌唱するタイミングを見たりする必要がある。嫌いな相手(相性度が悪い)ではお互いの歌唱するタイミングに合わせるのが難しい。また、相手を好意に思い、歌唱するタイミングを計る努力をしていても、歌唱するタイミングがずれる場合はまさしく相性度が悪いということがいえる。したがって、複数人の歌唱者同士の歌唱するタイミングのずれが少ないほど相性度が良いことになる。
【0014】
なお、ここでは、音量データに基づいて、相性度を判定したが、音高データに基づいて相性度を判定してもよい。
また、カラオケ曲の歌唱旋律の音量データを含むガイドメロディに対して、歌唱するタイミングが大きくずれたときは判定から外されることになる。例えばカラオケ用相性度判定装置の歌唱判定の判定基準データとなるガイドメロディが「ア、イ、ウ、」と続いて「エ」を発音するタイミングを過ぎてから歌唱者が「ウ」と歌唱した場合である。このような場合、複数人の歌唱音のうち1人でもずれていれば判定から外す。このようにすれば、例えば歌唱者が歌唱すべき歌唱音を発声しなかった場合、どの発声音が該当音かを探し出すような無駄な処理を省くことができる。
【0015】
さらに、歌唱者が発音するタイミングを適切に抽出することができる。すなわち、例えば算出された歌唱旋律のそれぞれの音と音との間隔時間に基づく所定時間内において、歌唱者が発音した音量レベルを例えば5ms毎に検出する。そして、前記所定時間内で最も大きな音量を発音したタイミングを歌唱者が発音したタイミングと判断できる。
【0016】
また、請求項2に記載のように相性度判定手段(12)は、楽曲データ記憶手段(16)に記憶されるカラオケ曲の楽曲1曲を楽曲の進行順に複数の区間に分割し、分割された複数の区間毎に相性度を判定し、楽曲の進行順に複数の区間の判定結果を比較し増減を算出して、算出された判定結果の増減度合いに応じて相性度を判定する処理を実行するとよい。
【0017】
このように構成された本発明のカラオケ用相性度判定装置によれば、カラオケ曲の楽曲1曲を複数の区間に分割し、分割された複数の区間毎に相性度を判定する。そして、例えば1番から3番まである曲の場合、1番から2番、2番から3歌と曲の進行につれて、相性度の判定結果が向上している場合には、例えばデュエット曲を歌唱している歌唱者の相性度の将来傾向は「良好」と判定できる。
【0018】
一方、1番から2番、2番から3歌と曲の進行につれて、相性度の判定が下降している場合には、例えばデュエット曲を歌唱している歌唱者の相性度の将来傾向は「要努力」と判定できる。また、1番から2番、2番から3歌と曲の進行につれて、相性度の判定が上下もしくは、下上など増減している場合には、例えばデュエット曲を歌唱している歌唱者の相性度の将来傾向は「もう少し努力」と判定できる。
【0019】
また、請求項3に記載のように相性度判定手段は、分割された区間順の判定結果に応じて分割された複数の区間毎の相性度の判定を補正し、相性度を判定する処理を実行するとよい。
【0020】
このように構成された本発明のカラオケ用相性度判定装置によれば、例えば1番から3番まである曲の場合、1番から2番、2番から3歌と曲の進行につれて、相性度の判定が向上している場合には、例えば1番、2番の相性度の判定に加点の補正をする。一方、1番から2番、2番から3歌と曲の進行につれて、相性度の判定が下降している場合には、例えば1番、2番の相性度の判定を補正しない。そのようにして、例えば1番から2番、2番から3歌と曲の進行につれて、相性度の判定が向上している場合には、例えばデュエット曲を歌唱している歌唱者の相性度の傾向は将来良好であることを際立たせて判定できる。
【発明を実施するための最良の形態】
【0021】
以下に本発明の実施形態を図面とともに説明する。
図1は、カラオケ用相性度判定装置を備えたカラオケ装置1の構成を示すブロック図である。
【0022】
[カラオケ装置1の構成の説明]
カラオケ装置1は、図1に示すように、カラオケ装置1全体の動作を制御する制御部12、カラオケ装置1をネットワーク100に接続するためのインタフェース部14、演奏楽曲の伴奏内容および歌詞を示す楽曲データや映像データなどを記憶するハードディスク(HDD)16、複数のキー・スイッチからなる操作部18、リモコン端末2や携帯電話からの赤外線信号を赤外線通によって受信するための赤外線通信部20、操作部18からの信号を処理する操作処理部22、ハードディスク16に記憶された楽曲データから演奏楽曲のオーディオ信号(音響,音声に関する信号)を生成し、生成されたオーディオ信号およびマイクロフォン(以下、マイクという)25a,25bによって歌唱音声を入力し、A/Dコンバータ26a,26bへ出力してA/Dコンバータ26a,26bによってディジタル化されたそれぞれの音声信号を増幅してスピーカ28へ出力する音声制御部24、MIDI音源30、映像情報を一時的に記憶するビデオRAM32、映像データに基づく映像の再生を制御する映像再生部34、ビデオRAM32に記憶された映像情報および映像再生部34により再生される映像の表示部36での表示を制御する映像制御部38などを備えている。
【0023】
そして、制御部12、インタフェース部14、HDD16、赤外線通信部20、操作処理部22、ビデオRAM32、映像再生部34、映像制御部38は、各々バス39によって接続されている。また、制御部12と音声制御部24とはUSB40によって接続されている。なお、制御部12及び音声制御部24は、後述する各種処理を実行する。
【0024】
このうち、音声制御部24が内蔵するRAM(図示しない)には、図2(a)に例示するように音声信号を記憶する音声信号データのメモリ領域(メモリA、メモリB)50、ガイドメロディデータの音量データの立上り時刻を記憶する立上り時刻メモリ領域(メモリE)52が設けられている。以下にそれぞれのメモリ領域に記憶されるデータについて順に説明する。
【0025】
(イ)音声信号データ
音声信号とは、マイク25a,25bに入力された歌唱音声をマイク25a,25bによってアナログ形式の信号に変換してそれぞれに対応したA/Dコンバータ26a,26bへ出力し、出力されたアナログ式の信号をA/Dコンバータ26a,26bによってディジタル形式に変換された信号を指す。
【0026】
なお、以下の説明において、単に「音声信号」という場合はディジタル形式の音声信号を指すこととし、アナログ・ディジタル形式の区別を付ける必要がある場合は、それぞれアナログ形式の音声信号、ディジタル形式の音声信号と記載する。
【0027】
さて、各音声信号データは、図2(b)に例示するようにマイク番号(マイク25a,25b)に対応して設けられているメモリA、メモリB内の音声信号データのメモリ領域A(n)、B(n)へ音声制御部24によってそれぞれ記憶される。
【0028】
一例を挙げると、マイク25aのマイク番号に対応する音声信号データは、メモリA内の音声信号データのメモリ領域A(n)へ音声制御部24によって記憶される。マイク25bのマイク番号に対応する音声信号データについても同様にメモリB内の音声信号データのメモリ領域B(n)へ音声制御部24によってそれぞれ記憶される。
【0029】
なお、各音声信号データは、図2(c)に例示するようにディジタル化される周期(1〜n)毎にディジタル化される周期(1〜n)の数値「1〜n」と、マイク番号とともに関連付けられてメモリ領域A(n)、B(n)へ音声制御部24によってそれぞれ記憶される。一例を挙げるとマイク25aのマイク番号、ディジタル化される周期(1)に対応する音声信号データは、ディジタル化される周期の数値「1」と、マイク25aのマイク番号とともに、音声制御部24によってメモリ領域A(1)へ記憶される。
【0030】
ここで、ディジタル化される周期とは、例えば5msである。なお、5msは後述する歌唱の音声信号から最大の音量レベルを検出するために十分な分解能である。
(ロ)立上り時刻データ
ガイドメロディデータの音量データの立上り時刻とは、楽曲データ記憶手段に記憶されている楽曲データのガイドメロディデータから抽出された音量データの立上り時刻である。ここで、ガイドメロディデータの音量データの立上り時刻は以下、単に「立上り時刻」と称する。
【0031】
さて、立上り時刻データは、図2(a),(d)に例示するようにガイドメロディデータの音量データの立上り回数(1〜N)の数値「1〜N」と関連付けられてメモリ領域E(N)へ音声制御部24によってそれぞれ記憶される。ここで、ガイドメロディデータの音量データの立上り回数は以下、単に「立上り回数」と称する。一例を挙げると、立上り回数(1)に対応する立上り時刻データは、立上り回数の数値「1」とともに音声制御部24によってメモリ領域E(1)へ記憶される。
【0032】
また、HDD16には、図3(a)に例示するように、楽曲データを記憶する楽曲データのメモリ領域62、発音時刻データのメモリ領域(メモリC、メモリD)64、検出時間データのメモリ領域(メモリG)66、時間差データのメモリ領域(メモリH)68、相性度の判定データのメモリ領域(メモリJ)70、表示情報テーブルのメモリ領域72、重み関数と表示情報テーブルのメモリ領域74とが設けられている。以下にそれぞれのメモリ領域に記憶されるデータについて順に説明する。
【0033】
(ハ)楽曲データ
楽曲データには、ガイドメロディデータを有している。そして、このガイドメロディデータは、カラオケ曲の歌唱旋律の音量データ、音高データを有している。
【0034】
(ニ)検出時間データ
検出時間とは、立上り時刻から算出された検出時間を指す。この検出時間は、音声信号から抽出された音量データから最大の音量レベルを検出するための時間間隔であるが、以下順に説明する。
【0035】
まず、図5(a)は、4つの音の立上り時刻を、4分音符で模式的に例示している。ここで、横軸は時間を示している。例えば1番目の音の立上り時刻をTa1で示している。2〜4番目の音の立上り時刻についても同様にTa2,Ta3,Ta4で示している。そして、例えば1番目の音の立上り時刻Ta1から2番目の音の立上り時刻Ta2までの経過時間をTb1で示している。2番目の音の立上り時刻Ta2から3番目の音の立上り時刻Ta3までの経過時間、3番目の音の立上り時刻Ta3から4番目の音の立上り時刻Ta4までの経過時間についても同様にTb2,Tb3で示している。
【0036】
また、図5(b)は、図5(a)で示した4つの音の音量レベルを縦軸に示している。ここで、横軸は図5(a)と同期した時間を示している。ガイドメロディデータの音量データは機械的に非常に正確なものである。
【0037】
これに対して、図5(c)に例示する歌唱音声の音声信号から抽出された音量データはガイドメロディデータに較べて音量レベルが上下に変動しており、また最大の音量レベルの時刻も時間軸に対して変動している。なお、本図5(c)の縦軸は音量レベルを示し、横軸は、図5(a),(b)と同期した時間を示している。したがって、歌唱音声の発音時刻を一律には定められない。
【0038】
そこで、歌唱音声の音声信号から抽出された音量データの音量レベルを検出し、最大の音量レベルを検出した時刻を歌唱音声の発音時刻とする。なお、ガイドメロディデータの音から時間軸において大きく外れた歌唱音声を除くために、最大の音量レベルを検出するための時間帯を設定する。この時間帯を検出時間帯と称する。例えば、2番目の音について検出する検出時間帯は、2番目の立上り時刻Ta2を基準として、経過時間Tb1の半分の時間の前から経過時間Tb2の半分の時間の後までの時間帯と設定する。なお、検出時間帯の時間間隔を検出時間と称する。つまり、2番目の音の検出時間は経過時間Tb1の半分の時間と経過時間Tb2の半分の時間とを加えた時間である。この2番目の音の検出時間を分かりやすく説明するために、図5(c)では「Tc2」で示している。
【0039】
なお、検出時間帯において、上述したディジタル化される周期、例えば5msごとに歌唱の音声信号から最大の音量レベルを検出する。このディジタル化される周期を分かりやすく説明するために、図5(c)では「Ts」で示している。
【0040】
つまり、検出時間帯において、ディジタル化される周期、例えば5msごとに歌唱音声の音声信号から抽出された音量データの音量レベルを検出し、最大の音量レベルを検出した時刻が歌唱音声の発音時刻となる。
【0041】
また、図5(d)は、4つの音の発音時刻Tg1,Tg2,Tg3,Tg4を例示している。例えば1番目の音についての発音時刻Tg1は、1番目の音についての歌唱音声の発音時刻を示している。2〜4番目の音の発音時刻Tg2,Tg3,Tg4についても同様に2〜4番目の音についての歌唱音声の発音時刻を示している。
【0042】
さて、検出時間データは、図3(a)、図4(a)に例示するように立上り回数(1〜N)の数値「1〜N」と関連付けられてメモリ領域G(N)へ制御部12によってそれぞれ記憶される。一例を挙げると立上り回数(1)に対応する検出時間データは、立上り回数の数値「1」とともに制御部12によってメモリ領域G(1)へ記憶される。
【0043】
(ホ)発音時刻データ
発音時刻とは、上述したように、歌唱音声の発音時刻を指す。
さて、発音時刻データは、図3(a),(b)に例示するようにマイク番号(マイク25a,25b)に対応して設けられているメモリC、メモリD内の発音時刻データのメモリ領域C(N),D(N)へ制御部12によってそれぞれ記憶される。
【0044】
一例を挙げると、マイク25aのマイク番号に対応する発音時刻データは、メモリC内の発音時刻データのメモリ領域C(N)へ制御部12によって記憶される。マイク25bのマイク番号に対応する発音時刻データについても同様にメモリD内の発音時刻データのメモリ領域D(N)へ制御部12によってそれぞれ記憶される。
【0045】
なお、各発音時刻データは、図3(c)に例示するように立上り回数(1〜N)の数値「1〜N」と、マイク番号とともに関連付けられてメモリ領域C(n),D(n)へ制御部12によってそれぞれ記憶される。一例を挙げるとマイク25aのマイク番号、立上り回数(1)に対応する発音時刻データは、立上り回数の数値「1」と、マイク25aのマイク番号とともに、制御部12によってメモリ領域C(1)へ記憶される。
【0046】
(へ)時間差データ
時間差とは、カラオケ歌唱の各音声信号から抽出された各音声信号の発音時刻の時間差を指す。この時間差について、図6に基づき以下説明する。図6は、例えばデュエット曲を歌唱する場合について説明している。
【0047】
まず、図6(a)は、図5(a)と同様に4つの音の立上り時刻を、4分音符で模式的に示している。そして、図6(b)は、この4つの音に対する女性パートの歌唱音声の発音時刻Tg1,Tg2,Tg3,Tg4を示し、図6(c)は、同様に4つの音に対する男性パートの歌唱音声の発音時刻Tm1,Tm2,Tm3,Tm4を示している。
【0048】
そして、例えば1番目の音の時間差は、女性パートの発音時刻Tg1と男性パートの発音時刻Tm1との時間差T1である。2番目から4番目の音の時間差は、女性パートの発音時刻Tg2,Tg3,Tg4と男性パートの発音時刻Tm2,Tm3,Tm4とのそれぞれの時間差T2,T3,T4である。
【0049】
さて、時間差データは、図3(a)、図4(b)に例示するように立上り回数(1〜N)の数値「1〜N」と関連付けられてメモリ領域H(N)へ制御部12によってそれぞれ記憶される。一例を挙げると立上り回数(1)に対応する時間差データは、立上り回数の数値「1」とともに制御部12によってメモリ領域H(1)へ記憶される。
【0050】
(ト)相性度の判定結果データ
相性度の判定結果とは、上述した時間差と検出時間とから算出された各音声信号の相性度の判定結果を指す。一例を挙げると例えば図6(a)の2番目の音についての相性度の判定データは、図6(c)に例示した2番目の音の時間差T2と図5(c)に例示した2番目の音の検出時間Tc2とから次のように算出される。つまり、時間差T2を検出時間Tc2で割算する。そして、この割算した値を数値「1」から差し引き、差し引いた値の百分率を算出する。この算出された百分率の値が2番目の音の相性度の判定結果となる。
【0051】
さて、相性度の判定結果データは、図3(a)、図4(c)に例示するように立上り回数(1〜N)の数値「1〜N」と関連付けられてメモリ領域J(N)へ制御部12によってそれぞれ記憶される。一例を挙げると立上り回数(1)に対応する相性度の判定データは、立上り回数の数値「1」とともに制御部12によってメモリ領域J(1)へ記憶される。
【0052】
なお、本実施形態においては、HDD16が「楽曲データ記憶手段」に相当し、A/Dコンバータ26a〜26cが「音声信号入力手段」に相当し、音声制御部24が内蔵するRAM(図示しない)が「音声信号記憶手段」に相当する。また、音声制御部24が「音声信号記憶・読出制御手段」、「音量検出時刻抽出手段」に相当し、制御部12が「相性度判定手段」に相当する。
【0053】
[制御部12の相性度判定処理(1)の説明]
以下に、カラオケ装置1の制御部12が実行する「制御部12の相性度判定処理(1)」の手順を図7のフローチャートに基づいて説明する。
【0054】
操作部18で受け付けたカラオケ演奏楽曲の選曲番号のデータは操作処理部22によって制御部12へ送信されるのであるが、制御部12は、操作処理部22から選曲番号のデータを受信したか否かを判断する(S110)。そして、操作処理部22から送信された選曲番号のデータを受信すると(S110:YES)、その選曲番号に対応したカラオケ演奏楽曲の楽曲データをHDD16に記憶された楽曲データから読み出し、カラオケ演奏を制御する(S120)。また、音声制御部24へ相性度判定処理の開始信号を送信する(130)。
【0055】
そして、S130の処理が終了したら、本「制御部12の相性度判定処理(1)」は終了する。
[音声制御部24の相性度判定処理の説明]
次に、カラオケ装置1の音声制御部24が実行する「音声制御部24の相性度判定処理」の手順を図8のフローチャートに基づいて説明する。
【0056】
まず、音声制御部24は制御部12から送信された相性度判定処理の開始信号を受信したか否かを判断する(S210)。そして、相性度判定処理の開始信号を受信すると(S210:YES)、音声制御部24が有する時間を計測するタイマ(図示しない)を初期化する。すなわち、計測時刻を「0」にする(S212)。そして、音声制御部24が有するメモリバッファA(図示しない)へ数式「n=1」を記憶し、メモリバッファB(図示しない)へ数式「N=1」を記憶する(S214)。次に、ディジタル化される周期が経過したか否かを判断する(S216)。ここで、ディジタル化される周期とは、上述の項目[カラオケ装置1の構成の説明]で説明したように例えば5msである。また、ディジタル化される周期の計測は、上述した音声制御部24が有する時間を計測するタイマ(図示しない)によって行なわれる。
【0057】
そして、ディジタル化される周期が経過すると(S216:YES)、マイク25aによって歌唱音声を入力し、A/Dコンバータ26aへ出力してA/Dコンバータ26aによってディジタル化された音声信号を現在の変数nの値と、マイク25aのマイク番号とともに、図2(b),(c)に例示する音声制御部24のRAMのメモリ領域A(1)へ記憶する(S218)。
【0058】
また、マイク25bによって歌唱音声を入力し、A/Dコンバータ26bへ出力してA/Dコンバータ26bによってディジタル化された音声信号を現在の変数nの値と、マイク25bのマイク番号とともに、図2(b)、(c)に例示する音声制御部24のRAMのメモリ領域B(1)へ記憶する(S220)。
【0059】
そして、音声制御部24が有するメモリバッファ(図示しない)が記憶する数式「n=1」に数値「1」を加算して数式「n=2」とし、音声制御部24が有するメモリバッファA(図示しない)へ数式「n=2」を記憶する(S222)。
【0060】
一方、ディジタル化される周期が経過しない場合には(S214:NO)、ガイドメロディデータの音量データが立上ったか否かを判断する(S224)。ガイドメロディデータの音量データが立上っていない場合には(S224:NO)、S216へ戻る。なお、ガイドメロディデータの音量データが立上った場合には(S224:YES)、上述の音声制御部24が有するタイマ(図示しない)によって計測された立上り時刻を現在の変数Nの値とともに、図2(a),(d)に例示する音声制御部24のRAMのメモリ領域E(1)へ記憶する(S226)。そして、音声制御部24が有するメモリバッファB(図示しない)が記憶する数式「N=1」に数値「1」を加算して数式「N=2」とし、音声制御部24が有するメモリバッファB(図示しない)へ数式「N=2」を記憶する(S228)。
【0061】
次に、カラオケ演奏が終了すると制御部12はカラオケ演奏の終了信号を音声制御部24へ送信するのであるが、音声制御部24は、制御部12から送信されたカラオケ演奏の終了信号を受信したか否かを判断する(S230)。カラオケ演奏の終了信号を受信しない場合には(S230:NO)、S216へ戻り上述した処理を行なう。一方、カラオケ演奏の終了信号を受信した場合には(S230:YES)、次の相性度判定処理(S232〜S246)を行なう。
【0062】
まず、図2(b)、(c)に例示する音声制御部24のRAMのメモリ領域A(1)〜A(n)へ記憶された音声信号データを読み出す(S232)。また、音声制御部24のRAMのメモリ領域B(1)〜B(n)へ記憶された音声信号データを読み出す(S234)。そして、音声制御部24のRAMのメモリ領域E(1)〜E(N)へ記憶された立上り時刻データを読み出す(S236)。
【0063】
次に、音声制御部24のRAMのメモリ領域E(1)〜E(N)より読み出された立上り時刻から立上り回数(1〜N)に対応した検出時間帯を算出する(S238)。そして、算出された立上り回数(1〜N)に対応した検出時間帯から立上り回数(1〜N)に対応した検出時間を算出し、図3(a)、図4(a)に例示するHDD16のメモリ領域G(1)〜G(N)へ記憶する(S240)。そして、S238にて算出された立上り回数(1〜N)に対応した検出時間帯ごとに、音声制御部24のRAMのメモリ領域A(1)〜A(n)より読み出された音声信号データを抽出する。なお、メモリ領域A(1)〜A(n)の番地(1〜n)の数値「1〜n」はディジタル化される周期(1〜n)の数値「1〜n」と同じなので、検出時間帯に対応した音声信号データを抽出できる。例えば、ディジタル化される周期が5msであれば、メモリ領域A(1)〜A(n)の番地(1〜n)の数値「1」のときは、時刻「1×5ms=5ms」であり、数値「2」のときは、時刻「2×5ms=10ms」であり、数値「3」のときは、時刻「3×5ms=15ms」であり、数値「n」のときは、時刻「n×5ms」である。換言すれば、例えば検出時間帯が3ms〜12msであれば、この検出時間帯に対応する音声信号データは、メモリ領域A(1)の音声信号データとメモリ領域A(2)の音声信号データとになる。そして、抽出された音声信号から音量データを抽出し、抽出した音量データの音量レベルを比較し、最大の音量レベルを有する音声信号を選択する。さらに、選択された最大の音量レベルを有する音声信号の番地(n)の数値「n」にディジタル化される周期、例えば5msを乗算して、歌唱音声の発音時刻を算出する。そして、算出された歌唱音声の発音時刻を図3(b),(c)に例示するHDD16のメモリ領域C(1)〜C(N)へ記憶する(S242)。
【0064】
また、S238にて算出された立上り回数(1〜N)に対応した検出時間帯ごとに、音声制御部24のRAMのメモリ領域B(1)〜B(n)より読み出された音声信号データを抽出する。そして、抽出された音声信号から音量データを抽出し、抽出した音量データの音量レベルを比較し、最大の音量レベルを有する音声信号を選択する。さらに、選択された最大の音量レベルを有する音声信号の番地(n)の数値「n」にディジタル化される周期、例えば5msを乗算して、歌唱音声の発音時刻を算出する。そして、算出された歌唱音声の発音時刻を図3(b),(c)に例示するHDD16のメモリ領域D(1)〜D(N)へ記憶する(S244)。
【0065】
そして、制御部12へ音声制御部24の相性度判定処理の終了信号を送信する(S246)。
このS246の処理が終了したら、本「制御部12の相性度判定処理」は終了する。
【0066】
[制御部12の相性度判定処理(2)の説明]
次に、カラオケ装置1の制御部12が実行する「制御部12の相性度判定処理(2)」の手順を図10のフローチャートに基づいて説明する。
【0067】
まず、制御部12は音声制御部24から送信された音声制御部24の相性度判定処理の終了信号を受信したか否かを判断する(S310)。そして、音声制御部24の相性度判定処理の終了信号を受信すると(S310:YES)、HDD16のメモリ領域C(1)〜C(N)へ記憶された歌唱音声の発音時刻データを読み出す(S320)。また、HDD16のメモリ領域D(1)〜D(N)へ記憶された歌唱音声の発音時刻データを読み出す(S330)。そして、メモリ領域C(1)〜C(N)から読み出された歌唱音声の発音時刻と、メモリ領域D(1)〜D(N)から読み出された歌唱音声の発音時刻とから立上り回数(1〜N)に対応した歌唱音声の発音時刻の時間差を算出する。そして、算出された立上り回数(1〜N)に対応した歌唱音声の発音時刻の時間差を図4(b)に例示するHDD16のメモリ領域H(1)〜H(N)へ記憶する(S340)。例えば、立上り回数(1)に対応した歌唱音声の発音時刻データをメモリ領域C(1)とメモリ領域D(1)とから読み出し、読み出されたモリ領域C(1)の歌唱音声の発音時刻とメモリ領域D(1)の歌唱音声の発音時刻とから時間差を算出する。そして、算出された立上り回数(1)に対応した時間差をメモリ領域H(1)へ記憶する。
【0068】
次に、HDD16のメモリ領域H(1)〜H(N)へ記憶された歌唱音声の発音時刻の時間差データを読み出す(S350)。また、HDD16のメモリ領域G(1)〜G(N)へ記憶さ検出時間データを読み出す(S360)。そして、メモリ領域H(1)〜H(N)から読み出された歌唱音声の発音時刻の時間差と、メモリ領域G(1)〜G(N)から読み出された検出時間とから立上り回数(1〜N)に対応した相性度の判定結果を算出する。そして、算出された立上り回数(1〜N)に対応した相性度の判定結果を図4(c)に例示するHDD16のメモリ領域J(1)〜J(N)へ記憶する(S370)。
【0069】
このS370の処理が終了すると、本「制御部12の相性度判定処理(2)」は終了する。
[制御部12の相性度判定表示切替処理の説明]
次に、カラオケ装置1の制御部12が実行する「制御部12の相性度判定表示切替処理」の手順を図11のフローチャートに基づいて説明する。
【0070】
まず、HDD16のメモリ領域J(1)〜J(N)へ記憶された相性度の判定結果データを読み出し、読み出された相性度の判定結果からそれらの平均値を算出する(510)。また、算出された相性度の判定結果の平均値に対応する表示情報をHDD16のメモリ領域72に記憶された表示情報テーブルから読み出す(520)。例えば図12(a)に例示するような表示情報テーブルにおいて、相性度の判定結果の平均値が「85」であれば、表示情報の「かなりいい感じ」を読み出すことになる。
【0071】
そして、算出された相性度の判定結果の平均値と読み出された表示情報とを表示部36に表示するよう制御する(S530)。例えば図12(b)に例示するように相性度の判定結果「85点」と表示情報「かなりいい感じ」とを表示部36に表示する。
【0072】
次に、例えば操作部18に有するキー入力手段(図示しない)に設けられた「相性度判定表示切替スイッチ」(図示しない)によって受け付けた「相性度判定傾向分析」を指示するデータは操作処理部22によって制御部12へ送信されるのであるが、制御部12は「相性度判定傾向分析」を指示するデータを受信したか否かを判断する(S540)。
【0073】
そして、操作処理部22から送信した「相性度判定傾向分析」を指示するデータを受信した場合には(S540:YES)、HDD16のメモリ領域J(1)〜J(N)へ記憶された相性度の判定結果データを読み出し、分割された区分、例えば1曲中の1番から3番までの番号ごとにそれぞれ平均値を算出する(S550)。そして、算出された番号ごとの平均値の傾向に対応する重み関数と傾向分析結果を、図13(a)に例示するような重み関数と表示情報テーブルから読み出す(S560)。図13(a)は例えば1曲中に1番から3番まである重み関数と表示情報テーブルを示している。図13(a)中において、「L」は相性度の判定結果が最も低い番号となったものを示し、「M」は相性度の判定結果が真ん中の番号となったものを示し、「H」は相性度の判定結果が最も良い番号となったものを示している。そして、例えば1番が「L」、2番が「M」、3番が「H」の場合には、1番の重み関数Mは「0.8」となり、2番の重み関数Mは「0.9」となり、3番の重み関数Mは「1」となる。また、表示情報の「タイミングをあわせようとする良い状態」を読み出すことになる。
【0074】
次に、1番から3番までのそれぞれの平均値から数値「100」を差し引いた値に、読み出された例えば1番から3番までの重み関数を乗算して、その乗算した値に数値「100」を加えて算出する。そして、乗算後のそれぞれの平均値から1曲全体の平均値を算出する(S570)。このように重み関数で補正して算出された1曲全体の相性度の判定補正結果と読み出された表示情報とを表示部36に表示するよう制御する(S580)。例えば図13(b)に例示するように相性度の判定補正結果「95点」と表示情報「タイミングをあわせようとする良い状態」とを表示する。
【0075】
このS580の処理が終了すると、本「制御部12の相性度判定表示切替処理」は終了する。
[効果の説明]
(1)従来の相性度を判定する装置においては、生理信号を検出しなくてはならないため、被判定者にとっては、心理的負担がかかるという問題がある。また、従来のカラオケ装置では、複数人の歌唱者の相性度を判定する機能はなかった。
【0076】
それに対して本実施形態のカラオケ装置1によれば、次のようにして複数人の歌唱者の相性度を判定することができる。
まず、ガイドメロディデータの音量データの立上り時刻と立上り回数とを計測する。そして、立上り回数に対応した検出時間帯から検出時間を算出する。また、立上り回数に対応した検出時間帯ごとに、複数の歌唱音声の音声信号から音量データを抽出し、抽出した音量データの音量レベルを比較し、最大の音量レベルを有する音声信号を選択する。そして、選択された音声信号の番地から、歌唱音声の発音時刻を算出し、算出された複数の歌唱音声の発音時刻から歌唱音声の発音時刻の時間差を算出する。最後に、算出された歌唱音声の発音時刻の時間差と、検出時間とから相性度の判定結果を算出する。
【0077】
したがって、本実施形態のカラオケ装置1によれば、相性度の判定をすることができるので、カラオケ歌唱の楽しみを増やすことができる。すなわち、歌唱のうまさを判定するのではなく、例えばデュエット曲を歌唱する場合、カラオケ歌唱のタイミングから二人の相性度を判定することによって、娯楽として歌唱者又は傍聴者に楽しんでもらうことができる。また、カラオケ曲の歌唱旋律の音量データを含むガイドメロディに対して、歌唱するタイミングが大きくずれたときは判定から外されるので、例えば歌唱者が歌唱すべき歌唱音を発声しなかった場合、どの発声音が該当音かを探し出すような無駄な処理を省くことができる。
【0078】
(2)また、本実施形態のカラオケ装置1によれば、操作部18で受け付けた「相性度判定傾向分析」を指示するデータが操作処理部22によって制御部12へ送信されると、制御部12が1曲中の分割された区分、例えば1曲中の1番から3番までの番号ごとにそれぞれ平均値を算出し、算出された番号ごとの平均値の傾向に対応する重み関数と傾向分析結果を重み関数と表示情報テーブルから読み出す。そして、読み出された1番から3番までの重み関数を、1番から3番までのそれぞれの平均値に乗算して、乗算後のそれぞれの平均値から1曲全体の平均値を算出し、算出された1曲全体の相性度の判定補正結果と読み出された表示情報とを表示部36に表示するよう制御する。
【0079】
したがって、例えば1番から2番、2番から3歌と曲の進行につれて、相性度の判定が向上している場合には、例えばデュエット曲を歌唱している歌唱者の相性度の傾向は将来良好であることを際立たせて判定できる。
【0080】
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、以下のような様々な態様にて実施することが可能である。
【0081】
(1)上記実施形態では、ガイドメロディデータの音の立上り時刻と立上り回数とをガイドメロディデータに有する音量データから抽出したが、これには限らない。ガイドメロディデータに有する音高データからガイドメロディデータの音の立上り時刻と立上り回数とを抽出してもよい。このようにすれば、歌唱採点の採点基準データとして音高データが抽出される場合には、1種類の歌唱データを抽出すればよい。
【0082】
(2)上記実施形態では、重み関数はHDD16に設けられた重み関数と表示情報テーブルのメモリ領域74に記憶されていたが、これには限らない。楽曲データの中に重み関数を記憶しておいてもよい。これは、作詞家、作曲家などの曲を作成した著作者が、その曲の重要度に応じて曲の進行に合わせて、楽曲データに対応した重み関数を予め楽曲データに中に記録しておく。そして、相性度の判定結果を算出する場合に、制御部12が曲の進行に合わせて重み関数を楽曲データの中から抽出して、前記抽出した重み関数を相性度の判定結果に乗算して相性度の判定補正結果を算出してもよい。このようにすれば、作詞家、作曲家などの曲を作成した著作者が、意図する重要度に応じて相性度の判定結果が算出されるので、より適切な相性度の判定結果が得られる。
【0083】
(3)上記実施形態では、2本のマイクであったが、これには限らない。3本以上のマイクでもよい。具体的手順を次に説明する。例えば3本のマイク(異なる3人の歌唱者)の場合には、制御部12が3本のマイクから異なる2本(異なる2人の歌唱者)を選択してできる全ての組み合わせ、つまり3組の相性度をそれぞれ算出し、この3組の相性度から相加平均値を算出する。そして、前記相加平均値を3本のマイク全体(異なる3人の歌唱者全体)の相性度とする。すなわち、制御部12が異なる2本のマイク間の相性度をそれぞれ算出すれば、3人の中の異なる2人の相性度を判定することができ、それぞれ算出された異なる2本のマイク間の全ての組み合わせの相性度から制御部12が相加平均値を算出すれば、3人全体(グループ)としての相性度を判定することができる。
【0084】
よって、n本のマイク(異なるn人の歌唱者)の場合も同様の手順で、制御部12がn本のマイクから異なる2本(異なる2人の歌唱者)を選択してできる全ての組み合わせの相性度をそれぞれ算出し、この全ての組み合わせの相性度から相加平均値を算出すれば、n本のマイク(異なるn人の歌唱者)全体としての相性度を判定することができる。
【0085】
(4)上記実施形態では、操作部18で「相性度判定傾向分析」を指示するデータを受け付けるようにしたが、これには限らない。リモコン端末2の操作部(図示しない)から受け付けてもよい。
【0086】
(5)上記実施形態では、表示部36で相性度の判定結果及び相性度の判定補正結果」を表示させていたが、これには限らない。リモコン端末2にも表示部を有する場合には、リモコン端末2の表示部(図示しない)に表示させてもよい。
【図面の簡単な説明】
【0087】
【図1】カラオケ用相性度判定装置を備えたカラオケ装置1の構成を示すブロック図である。
【図2】音声制御部24が内蔵するRAM(図示しない)のメモリ領域を示す説明図である。
【図3】HDD16に設けられたメモリ領域を示す説明図である。
【図4】HDD16に設けられたメモリのデータ構造を示す説明図である。
【図5】ガイドメロディデータ、音量データ、検出時間、発音時刻データとの関連を示す説明図である。
【図6】発音時刻データと時間差との関連を示す説明図である。
【図7】制御部12が実行する「制御部12の相性度の判定処理(1)」の手順を示すフローチャートである。
【図8】制御部24が実行する「音声制御部24の相性度の判定処理」の前半の手順を示すフローチャートである。
【図9】制御部24が実行する「音声制御部24の相性度の判定処理」の後半の手順を示すフローチャートである。
【図10】制御部12が実行する「制御部12の相性度の判定処理(2)」の手順を示すフローチャートである。
【図11】制御部12が実行する「制御部12の相性度の判定結果表処理」の手順を示すフローチャートである。
【図12】(a)は相性度の判定結果に対する表示部36への表示情報を示す説明図であり、(b)は相性度の判定結果と表示情報とを表示部36に表示させた例を示す説明図である。
【図13】(a)は相性度の判定結果に対する1番〜3番の重み関数と表示部36への表示情報とを示す説明図であり、(b)は重み関数で補正した相性度の判定結果と表示情報とを表示部36に表示させた例を示す説明図である。
【符号の説明】
【0088】
1…カラオケ装置、2…リモコン端末、12…制御部、14…インタフェース部、16…ハードディスク(HDD)、18…操作部、20…赤外線通信部、22…操作処理部、24…音声制御部、25a,25b…マイクロフォン、26a,26b…A/Dコンバータ、28…スピーカ、30…MIDI音源、32…ビデオRAM、34…映像再生部、36…表示部、38…映像制御部、39…バス、40…USB、50…音声信号のメモリ領域(メモリA、メモリB)、52…立上り時刻データのメモリ領域(メモリE)、62…楽曲データのメモリ領域、64…発音時刻データのメモリ領域(メモリC、メモリD)、66…検出時間データのメモリ領域(メモリG)、68…時間差データのメモリ領域(メモリH)、70…相性度の判定データのメモリ領域(メモリJ)、72…表示情報テーブルのメモリ領域、74…重み関数と表示情報テーブルのメモリ領域、100…ネットワーク。
【特許請求の範囲】
【請求項1】
カラオケ演奏用データと、カラオケ曲の歌唱旋律の音量データとを含む楽曲データを記憶する楽曲データ記憶手段と、
複数のカラオケ歌唱の音声信号をそれぞれ入力するための複数の音声信号入力手段と、
前記複数の音声信号入力手段によって入力された各音声信号を記憶するための音声信号記憶手段と、
前記音声信号記憶手段への前記各音声信号の記憶・読出制御を実行する音声信号記憶手段・読出制御手段と、
前記各音声信号から音量レベルの最大値が検出された時刻を抽出する音量検出時刻抽出手段と、
前記楽曲データ記憶手段から読み出されたカラオケ曲の歌唱旋律の音量データと前記音量検出時刻抽出手段によって抽出された前記各音声信号の音量レベルの最大値が検出された時刻の時間差とに基づいて相性度を判定する相性度判定手段と、
を備え、
前記相性度判定手段は、
前記楽曲データ記憶手段から読み出されたカラオケ曲の歌唱旋律の音量データから音量レベルの最大値へ立上る時刻を抽出し、抽出された音量レベルの最大値へ立上る時刻から算出された歌唱旋律の音と音との間隔時間と、
前記算出された歌唱旋律の音と音との間隔時間に基づく所定時間内に前記音量検出時刻抽出手段によって抽出された前記各音声信号の音量レベルの最大値が検出された時刻から算出された前記各音声信号の時間差と、
に基づいて相性度を判定する処理を実行することを特徴とするカラオケ用相性度判定装置。
【請求項2】
請求項1に記載のカラオケ用相性度判定装置において、
前記相性度判定手段は、前記楽曲データ記憶手段に記憶されるカラオケ曲の楽曲1曲を楽曲の進行順に複数の区間に分割し、分割された複数の区間毎に相性度を判定し、楽曲の進行順に複数の区間の判定結果を比較し増減を算出して、算出された判定結果の増減度合いに応じて相性度を判定する処理を実行することを特徴とするカラオケ用相性度判定装置。
【請求項3】
請求項2に記載のカラオケ用相性度判定装置において、
前記相性度判定手段は、前記算出された判定結果の増減度合に応じて分割された複数の区間毎に相性度の判定結果を補正し、相性度を判定する処理を実行することを特徴とするカラオケ用相性度判定装置。
【請求項1】
カラオケ演奏用データと、カラオケ曲の歌唱旋律の音量データとを含む楽曲データを記憶する楽曲データ記憶手段と、
複数のカラオケ歌唱の音声信号をそれぞれ入力するための複数の音声信号入力手段と、
前記複数の音声信号入力手段によって入力された各音声信号を記憶するための音声信号記憶手段と、
前記音声信号記憶手段への前記各音声信号の記憶・読出制御を実行する音声信号記憶手段・読出制御手段と、
前記各音声信号から音量レベルの最大値が検出された時刻を抽出する音量検出時刻抽出手段と、
前記楽曲データ記憶手段から読み出されたカラオケ曲の歌唱旋律の音量データと前記音量検出時刻抽出手段によって抽出された前記各音声信号の音量レベルの最大値が検出された時刻の時間差とに基づいて相性度を判定する相性度判定手段と、
を備え、
前記相性度判定手段は、
前記楽曲データ記憶手段から読み出されたカラオケ曲の歌唱旋律の音量データから音量レベルの最大値へ立上る時刻を抽出し、抽出された音量レベルの最大値へ立上る時刻から算出された歌唱旋律の音と音との間隔時間と、
前記算出された歌唱旋律の音と音との間隔時間に基づく所定時間内に前記音量検出時刻抽出手段によって抽出された前記各音声信号の音量レベルの最大値が検出された時刻から算出された前記各音声信号の時間差と、
に基づいて相性度を判定する処理を実行することを特徴とするカラオケ用相性度判定装置。
【請求項2】
請求項1に記載のカラオケ用相性度判定装置において、
前記相性度判定手段は、前記楽曲データ記憶手段に記憶されるカラオケ曲の楽曲1曲を楽曲の進行順に複数の区間に分割し、分割された複数の区間毎に相性度を判定し、楽曲の進行順に複数の区間の判定結果を比較し増減を算出して、算出された判定結果の増減度合いに応じて相性度を判定する処理を実行することを特徴とするカラオケ用相性度判定装置。
【請求項3】
請求項2に記載のカラオケ用相性度判定装置において、
前記相性度判定手段は、前記算出された判定結果の増減度合に応じて分割された複数の区間毎に相性度の判定結果を補正し、相性度を判定する処理を実行することを特徴とするカラオケ用相性度判定装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【公開番号】特開2007−65344(P2007−65344A)
【公開日】平成19年3月15日(2007.3.15)
【国際特許分類】
【出願番号】特願2005−251780(P2005−251780)
【出願日】平成17年8月31日(2005.8.31)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】
【公開日】平成19年3月15日(2007.3.15)
【国際特許分類】
【出願日】平成17年8月31日(2005.8.31)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】
[ Back to top ]