説明

カラオケ装置

【課題】カラオケ歌唱される歌詞の音声認識に関し、スピーカからカラオケ演奏音が放音されても、適切な音声認識を得られるようにする。
【解決手段】歌詞用信号生成部M70は、カラオケ演奏音の音信号と歌唱音声信号とを比較し、歌唱音声信号からカラオケ演奏音の音信号を減じた音声認識用信号を生成するので、スピーカM20から放音されたカラオケ演奏音に対応する音信号が減じられる。そして、音声認識部M76は、歌詞用信号生成部M70によって生成された音声認識用信号に基づいてカラオケ歌唱の歌詞を認識するので、適切な音声認識結果を得ることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、カラオケ装置におけるカラオケ歌唱に関し、特にカラオケ歌唱される歌詞の音声認識技術に関する。
【背景技術】
【0002】
従来、カラオケ装置の付帯機能として採点機能が知られている。この採点機能は、次のような機能である。すなわち、マイクロフォンから入力された歌唱者の音声信号をサンプリングすることで歌唱者が発声した音高や声量あるいはテンポなどの歌唱状態を示す歌唱データを生成する。次に、この歌唱データとカラオケデータ中の主旋律パートデータなどの採点基準データとを比較し、その比較結果に基づいて所定の得点を付与して採点データを生成する。そして、歌唱パートが終了するとこの採点データ中の得点を集計して総合得点を算出する。総合得点はそのままの得点をスコアボードやディスプレイに表示したり、所定のメッセージや所定の表現内容を含む映像など総合得点を反映した映像をディスプレイに出力したりする(例えば特許文献1参照)。
【0003】
また、デュエット曲など複数人が歌唱する場合に、各人の歌唱音声について採点する採点機能を有するカラオケ装置(例えば特許文献2参照)や2系統のマイクロフォンからの音声信号の入力頻度に基づいて男女を判定し別々に採点する歌唱採点方式のようなカラオケ装置(例えば特許文献3参照)がある。
【0004】
そして、上述のような採点機能を有するカラオケ装置では、歌唱者が発声した音高や声量あるいはテンポなどの歌唱状態を示す歌唱データに基づいてカラオケ歌唱力を採点するものであった。
【0005】
ところが、カラオケ歌唱において、カラオケ歌唱される歌詞を音声認識するようなカラオケ装置はなかった。
なお、カラオケ装置の技術分野に限らなければ、制御用の音声指令の他に、騒音や、オーディオ機器の出力音等が存在する環境下でも十分に音声認識を可能とする騒音除去装置のような音声認識する装置(例えば特許文献4参照)がある。
【特許文献1】特許第3261990号公報
【特許文献2】特開2000−330580号公報
【特許文献3】特開平11−282478号公報
【特許文献4】特開平5−73091号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかし、近年、カラオケ装置を使ってカラオケ歌唱の歌詞を間違えないで歌唱できるかを競うゲームが登場してきた。このゲームにおいては、審査員などがカラオケ歌唱の歌詞を間違えないで歌唱したか否か判断していた。すなわち、審査員などの耳を通して、カラオケ歌唱された歌詞を聴いて歌詞を認識し、カラオケ歌唱されたカラオケ演奏曲の歌詞とを比較してカラオケ歌唱の歌詞を間違えないで歌唱したか否かを判断していた。
【0007】
したがって、1人でカラオケ装置を使ってカラオケ歌唱する場合には、このゲームを楽しむことができなかった。また、多人数でカラオケ歌唱する場合でも、例えば1人の利用者がカラオケ歌唱した歌詞を聴いて歌詞を認識し、カラオケ歌唱されたカラオケ演奏曲の歌詞とを比較してカラオケ歌唱の歌詞を間違えないで歌唱したか否かを判断する同伴者にとっては、カラオケ演奏を十分に楽しむことができなかった。
【0008】
また、カラオケ歌唱の歌詞の中から歌唱してはいけない歌詞(以下、NGワードと称す)を予め決めておいて、カラオケ歌唱中にNGワ−ドを歌唱したか否かを競うゲームも登場してきた。このゲームにおいても、審査員などがカラオケ歌唱中にNGワ−ドを歌唱したか否かを判断していた。
【0009】
これらのゲームにおいて、「歌唱採点」と同様に審査員などの人手に頼らずに自動化することが求められている。
しかし、カラオケ歌唱される歌詞を音声認識する場合においては、カラオケ演奏音がカラオケ装置から放音されるため、マイクロフォンには歌詞をカラオケ歌唱する音声とともにカラオケ演奏音も入力される。したがって、カラオケ歌唱する音声以外のカラオケ演奏音自体が騒音となって、音声認識する認識率が低くなるという課題があった。
【0010】
周囲騒音が大きな場所で音声認識する従来技術として、車のエンジン音や室内のダクト音などの周囲音を抽出して消去する技術がある。なお、このような周囲音は音量や周波数が一定な騒音であり、周期も短いため周囲音を抽出するまでの時間(以下、タイムラグとも称する)が短い。そのため、タイムラグがあったとしても、タイムラグの時間経過以降は周囲音の抽出ができる。
【0011】
しかし、カラオケ装置の場合には、カラオケ演奏音の1周期は、1楽曲のうちの1パートであるため、前記車のエンジン音や室内のダクト音などの周囲音に比べて周期が非常に長い。また、前記カラオケ演奏音の周波数や楽曲演奏の強弱(例えばフォルテシモやピアニシモなど)による音量も不規則に変化するため、カラオケ演奏音を周囲音として抽出するための時間が長くなる。したがって、カラオケ演奏音を周囲音として消去するのが難しかった。また、カラオケ歌唱の音声は、日常会話の音声とは異なり、カラオケ演奏音(周囲音)と合うように発音するので、音声とカラオケ演奏音(周囲音)とを区別してカラオケ歌唱する歌詞を音声認識するのが難しかった。
【課題を解決するための手段】
【0012】
上述した問題点を解決するためになされた本発明のカラオケ装置(1:なお、この欄においては、発明に対する理解を容易にするため、必要に応じて「発明を実施するための最良の形態」欄において説明した構成要素を括弧内に示すが、この記載によって特許請求の範囲を限定することを意味するものではない。)は、カラオケ歌唱の音声信号を入力するための音声信号入力手段(M2)と、カラオケ曲の楽曲データを記憶する楽曲データ記憶手段(M10)と、楽曲データ記憶手段が記憶する前記楽曲データを音信号として再生し、且つ再生した音信号と前記音声信号入力手段から入力されたカラオケ歌唱の音声信号とをスピーカ(M20)へ出力するカラオケ演奏再生手段(M14)と、カラオケ演奏再生手段から出力された音信号に対応する第1の信号と音声信号入力手段から入力されたカラオケ歌唱の音声信号に対応する第2の信号とを比較し、第2の信号から第1の信号を減じた音声認識用信号を生成する第1の生成手段(M70)と、第1の生成手段によって生成された音声認識用信号に基づいて、前記第1の生成手段が第2の信号から第1の信号を減じるための利得を設定する第1の利得設定手段(M72)と、第1の生成手段によって生成された音声認識用信号に基づいてカラオケ歌唱の歌詞を認識する音声認識手段(M76)と、を備える。
【0013】
上述のように、本発明のカラオケ装置は、スピーカからカラオケ演奏音が放音された場合でも、スピーカから放音されたカラオケ演奏音に対応する音信号を減じて生成された音声認識用信号に基づいてカラオケ歌唱の歌詞を認識されるので適切な音声認識結果を得ることができる。具体的には、カラオケ演奏再生手段から出力された音信号に対応する第1の信号は、カラオケ演奏音の演奏信号であり、スピーカからカラオケ演奏音が放音される。よって、音声認識する場合にもマイクロフォンへは歌唱者の音声とは別にスピーカから放音されたカラオケ演奏音も入力されることになる。つまり、音声信号入力手段から入力されたカラオケ歌唱の音声信号に対応する第2の信号には、歌唱者の音声とは別にスピーカから放音されたカラオケ演奏音も入力されることになる。しかしながら、第1の生成手段(M70)は、第1の信号と第2の信号とを比較し、第2の信号から第1の信号を減じた音声認識用信号を生成するので、スピーカから放音されたカラオケ演奏音に対応する音信号が減じられる。そして、音声認識手段(M76)は、第1の生成手段によって生成された音声認識用信号に基づいてカラオケ歌唱の歌詞を認識するので、適切な音声認識結果を得ることができる。
【0014】
また、請求項2に記載するように、請求項1に記載のカラオケ装置の音声認識手段によって認識されたカラオケ歌唱の歌詞データに基づいてカラオケ歌唱の歌詞を採点するとよい。
【0015】
すなわち、請求項1に記載のカラオケ装置において、楽曲データ記憶手段は、カラオケ曲の歌詞データを含む楽曲データを記憶し、音声認識手段によって認識されたカラオケ歌唱の歌詞データと楽曲データ記憶手段が記憶する前記カラオケ曲の歌詞データとを比較して、相違する歌詞データの数量を抽出し、抽出された数量と前記カラオケ曲の歌詞データの数量とに基づいてカラオケ歌唱の歌詞を採点する歌詞採点手段(12)を備えるとよい。
【0016】
このように構成されたカラオケ装置によれば、音声認識手段によって認識されたカラオケ歌唱の歌詞データと楽曲データ記憶手段が記憶する前記カラオケ曲の歌詞データとを比較して、カラオケ歌唱の歌詞を採点することができる。具体的には、音声認識手段によって認識されたカラオケ歌唱の歌詞データ、例えばカラオケ歌唱された複数の単語と、楽曲データ記憶手段が記憶する前記カラオケ曲の歌詞データ上の複数の単語と、を比較する。そして、相違する歌詞データの数量、例えば複数の単語中から相違した単語の数量を抽出し、抽出された単語の数量と前記カラオケ曲の歌詞データが有する単語の数量とに基づいてカラオケ歌唱の歌詞を採点する。より具体的には、例えば相違した単語の数量が5個あり、カラオケ曲の歌詞データが有する単語の数量が100個あるとすれば、(100個−5個)/100個=0.95となり、100点満点中の95点と歌詞採点することができる。
【0017】
さらに、歌詞採点のゲーム性を高めるために、請求項3に記載のように、カラオケ装置の音声認識手段によって認識されたカラオケ歌唱の歌詞が所定数以上誤っていたらカラオケ演奏を中止することも考えられる。
【0018】
すなわち、請求項1に記載のカラオケ装置において、楽曲データ記憶手段は、カラオケ曲の歌詞データを含む楽曲データを記憶し、音声認識手段によって認識されたカラオケ歌唱の歌詞データと楽曲データ記憶手段が記憶する前記カラオケ曲の歌詞データとを比較して、相違する歌詞データの数量を抽出し、抽出された数量が所定数以上あると判定した場合には、カラオケ演奏再生手段を制御して、カラオケ演奏の再生を停止させる制御手段(12)を備える。
【0019】
このように構成されたカラオケ装置によれば、カラオケ歌唱の最中であっても、歌詞を所定数誤って歌唱した場合には、カラオケ演奏が中止されるのでよりゲーム性を高めることができる。なお、所定数とは、例えばカラオケ歌唱の熟練者では「1」としたり、中級者では「3」としたり、初心者では「5」としたり、それぞれのカラオケ歌唱者のレベルに応じて設定される数値である。
【0020】
また、請求項4に記載のように、カラオケ歌唱の歌詞の中から歌唱してはいけないNGワードを予め表示しておいて、カラオケ歌唱中にNGワ−ドを歌唱した場合には、カラオケ演奏を中止することも考えられる。
【0021】
すなわち、請求項1に記載のカラオケ装置において、カラオケ曲の歌詞データを表示可能な表示手段(M26)を備える。
また、楽曲データ記憶手段は、カラオケ曲の歌詞データを含む楽曲データを記憶する。
【0022】
そして、楽曲データ記憶手段が記憶している楽曲データから特定の歌詞データを抽出して、表示手段を制御して、前記抽出した歌詞データを表示させるとともに、音声認識手段によって認識されたカラオケ歌唱の歌詞データと前記抽出した歌詞データとを比較して、同じ歌詞データがあると判定した場合には、カラオケ演奏再生手段を制御して、カラオケ演奏の再生を停止させる制御手段(12)を備える。
【0023】
このように構成されたカラオケ装置によれば、カラオケ歌唱中にNGワ−ドを歌唱したか否かを競うゲームを楽しむことができる。
なお、請求項2に記載のカラオケ装置において、歌詞採点するための条件として、請求項5に記載するように、歌唱採点結果が所定値以上に限るとよい。
【0024】
すなわち、請求項2に記載のカラオケ装置において、さらに音声認識手段によって認識されたカラオケ歌唱の歌詞データを記憶する音声認識記憶手段(M10)と、カラオケ演奏再生手段から出力された音信号に対応する第1の信号と音声信号入力手段から入力されたカラオケ歌唱の音声信号に対応する第2の信号とを比較し、第2の信号から第1の信号を減じた採点用信号を生成する第2の生成手段(M30)と、第2の生成手段によって生成された採点用信号から音高データを抽出する音高抽出手段(M6)と、第2の生成手段によって生成された採点用信号に基づいて、第2の生成手段が第2の信号から第1の信号を減じるための利得を設定する第2の利得設定手段(M32)と、楽曲データ記憶手段が記憶する前記カラオケ曲の歌唱旋律の音高データと音高抽出手段によって抽出された前記採点用信号の音高データとの音高差を算出し、算出した音高差に基づいて所定区間ごとにカラオケ歌唱の歌唱を採点する歌唱採点手段(M24)と、を備える。
【0025】
そして、歌詞採点手段は、所定区間ごとに歌唱採点手段によるカラオケ歌唱の歌唱採点結果が所定値以上あるか否かを判定し、所定値以上あると判定した場合には、音声認識記憶手段に記憶されたカラオケ歌唱の歌詞データを読み出し、読み出されたカラオケ歌唱の歌詞データと楽曲データ記憶手段が記憶する前記カラオケ曲の歌詞データとを比較して、相違する歌詞データの数量を抽出し、抽出された数量と前記カラオケ曲の歌詞データの数量とに基づいてカラオケ歌唱の歌詞を採点するとよい。
【0026】
このように構成されたカラオケ装置によれば、歌詞採点するための条件として、歌唱採点結果が所定値以上例えば80点以上に限ることで、音声認識の認識率の低下を防止できる。つまり、例えばあまりにもタイミングがずれていたり、音量レベルが小さかったり、音高レベルが大きかったりして歌唱採点が所定値以上例えば80点以上でない場合には、音声認識の認識率も低下すると考えられるからである。
【0027】
また、請求項3に記載のカラオケ装置においても、歌詞を誤るとカラオケ演奏が中止されるゲームをするための条件として、請求項6に記載するように、歌唱採点結果が所定値以上に限るとよい。
【0028】
すなわち、請求項3に記載のカラオケ装置において、さらに音声認識手段によって認識されたカラオケ歌唱の歌詞データを記憶する音声認識記憶手段(M10)と、カラオケ演奏再生手段から出力された音信号に対応する第1の信号と音声信号入力手段から入力されたカラオケ歌唱の音声信号に対応する第2の信号とを比較し、第2の信号から第1の信号を減じた採点用信号を生成する第2の生成手段(M30)と、第2の生成手段によって生成された採点用信号から音高データを抽出する音高抽出手段(M6)と、第2の生成手段によって生成された採点用信号に基づいて、第2の生成手段が第2の信号から第1の信号を減じるための利得を設定する第2の利得設定手段(M32)と、楽曲データ記憶手段が記憶する前記カラオケ曲の歌唱旋律の音高データと音高抽出手段によって抽出された前記採点用信号の音高データとの音高差を算出し、算出した音高差に基づいて所定区間ごとにカラオケ歌唱の歌唱を採点する歌唱採点手段(M24)と、を備える。
【0029】
そして、制御手段は、所定区間ごとに歌唱採点手段によるカラオケ歌唱の歌唱採点結果が所定値以上あるか否かを判定し、所定値以上あると判定した場合には、音声認識記憶手段に記憶されたカラオケ歌唱の歌詞データを読み出し、読み出されたカラオケ歌唱の歌詞データと楽曲データ記憶手段が記憶する前記カラオケ曲の歌詞データとを比較して、相違する歌詞データの数量を抽出し、抽出された数量が所定数以上あると判定した場合には、カラオケ演奏再生手段を制御して、カラオケ演奏の再生を停止させるとよい。
【0030】
このように構成されたカラオケ装置によれば、歌詞を誤るとカラオケ演奏が中止されるゲームをするための条件として、歌唱採点結果が所定値以上例えば80点以上に限ることで、より難易度の高いゲームでの音声認識の認識率の低下を防止できる。
【0031】
また、請求項4に記載のカラオケ装置においても、カラオケ歌唱中にNGワ−ドを歌唱したか否かを競うゲームをするための条件として、請求項7に記載するように、歌唱採点結果が所定値以上に限るとよい。
【0032】
すなわち、請求項4に記載のカラオケ装置において、さらに音声認識手段によって認識されたカラオケ歌唱の歌詞データを記憶する音声認識記憶手段(M10)と、カラオケ演奏再生手段から出力された音信号に対応する第1の信号と音声信号入力手段から入力されたカラオケ歌唱の音声信号に対応する第2の信号とを比較し、第2の信号から第1の信号を減じた採点用信号を生成する第2の生成手段(M30)と、第2の生成手段によって生成された採点用信号から音高データを抽出する音高抽出手段(M6)と、第2の生成手段によって生成された採点用信号に基づいて、第2の生成手段が第2の信号から第1の信号を減じるための利得を設定する第2の利得設定手段(M32)と、楽曲データ記憶手段が記憶する前記カラオケ曲の歌唱旋律の音高データと音高抽出手段によって抽出された前記採点用信号の音高データとの音高差を算出し、算出した音高差に基づいて所定区間ごとにカラオケ歌唱の歌唱を採点する歌唱採点手段(M24)と、を備える。
【0033】
そして、制御手段は、楽曲データ記憶手段が記憶している楽曲データから特定の歌詞データを抽出して、表示手段を制御して、前記抽出した歌詞データを表示させるとともに、所定区間ごとに歌唱採点手段によるカラオケ歌唱の歌唱採点結果が所定値以上あるか否かを判定し、所定値以上あると判定した場合には、音声認識記憶手段に記憶されたカラオケ歌唱の歌詞データを読み出し、読み出されたカラオケ歌唱の歌詞データと前記抽出した歌詞データとを比較して、同じ歌詞データがあると判定した場合には、カラオケ演奏再生手段を制御して、カラオケ演奏の再生を停止させるとよい。
【0034】
このように構成されたカラオケ装置によれば、カラオケ歌唱中にNGワ−ドを歌唱したか否かを競うゲームをするための条件として、歌唱採点結果が所定値以上例えば80点以上に限ることで、より競技性の高いゲームでの音声認識の認識率の低下を防止できる。
【発明を実施するための最良の形態】
【0035】
以下に本発明の実施形態を図面とともに説明する。
[カラオケ装置の機能概略構成の説明]
図1はカラオケ装置の機能を中心とした概略構成を示す図である。なお、図1に示した機能の内、データ抽出部M6、歌唱用比較部M8、シーケンサM14、採点部M24、歌唱用差分抽出部M34、スイッチ制御部M36、歌唱用調整部M37、音声認識部M76、歌詞用差分抽出部M74、歌詞用調整部M77及び判定部M80については、主としてCPU及びソフトウェアで実現している。
【0036】
まず、カラオケ装置は採点機能を備えており、カラオケ歌唱の音声信号をディジタル化して取り込み、歌唱旋律であるガイドメロディの音高と比較することによってその歌唱の正確さを判定する。
【0037】
また、カラオケ装置は音声認識機能を備えており、カラオケ歌唱の音声信号をディジタル化して取り込み、歌詞を認識する。
次に、図1に示すように歌唱者がカラオケ歌唱の音声を入力するためのマイクロフォンM2(以下、マイクロフォンをマイクと略記する)は、アンプM18に接続されるとともにA/DコンバータM4に接続されている。また、カラオケ演奏用データ、ガイドメロディデータ、歌詞データを含む楽曲データがデータ格納部M10に記憶されている。楽曲データのうち、カラオケ歌唱者に選択された1曲分が実行メモリM12に読み出され、演奏時にはシーケンサM14によって順次読み出される。シーケンサM14によって読み出されたカラオケ演奏用データは楽音発生部M16に入力される。また、シーケンサM14により順次読み出されたガイドメロディデータは歌唱用比較部M8に入力される。楽音発生部M16は入力されたカラオケ演奏用データに基づいてカラオケ曲の演奏信号を発生し、この演奏信号はアンプM18に入力される。アンプM18はカラオケ演奏信号およびマイクM2から入力された歌唱音声信号を増幅してスピーカM20に出力する。
【0038】
なお、このガイドメロディデータは、カラオケ曲の歌唱旋律に対応するものであるため、いわゆるガイドメロディ機能として、伴奏楽音と共にスピーカM20から出力される機能を実現する場合にも用いられる。このガイドメロディ機能についてはユーザ(カラオケ歌唱者)がその機能のオン/オフを切り替え可能であり、その機能が必要であると考えたユーザが図示しない操作パネルやリモコンなどを操作することによって機能オンとすれば、カラオケ伴奏だけでなく歌唱旋律がガイドメロディとしてスピーカM20から出力され、それを参考にして歌唱することができる。一方、機能オフとすれば、ガイドメロディがスピーカM20から出力されることはなく、ガイドメロディデータは、採点のためにのみ用いられることとなる。
【0039】
なお、以下の説明においては、ガイドメロディ機能をオンの状態であることを前提とする。したがって、マイクM2から入力された歌唱音声信号には、カラオケ曲の演奏信号とガイドメロディ信号とが加わっている。また、以下の説明において、単に「歌唱音声信号」という場合はカラオケ曲の演奏信号とガイドメロディの音信号とが加わっている歌唱音声信号を指し、単に「歌唱音声」という場合はカラオケ曲の演奏音とガイドメロディとが加わっている歌唱音声を指すこととする。
【0040】
一方、A/Dコンバータ(ADC)M4に入力された歌唱音声信号はディジタル信号に変換されたのち、歌唱用信号生成部M30及び歌詞用信号生成部M70へ入力される。また、上述した楽音発生部M16は入力されるカラオケ演奏用データとガイドメロディデータとに基づいてカラオケ曲の演奏信号とガイドメロディの音信号を発生し、このカラオケ曲の演奏信号とガイドメロディの音信号は歌唱用可変利得アンプM32及び歌詞用可変利得アンプM72へ入力される。
【0041】
そして、歌唱用可変利得アンプM32へ入力されるカラオケ曲の演奏信号とガイドメロディの音信号は歌唱用可変利得アンプM32によって増幅されて歌唱用信号生成部M30へ入力される。歌唱用信号生成部M30はA/Dコンバータ(ADC)M4から入力されたディジタル信号に変換された歌唱音声信号と歌唱用可変利得アンプM32から入力されたカラオケ曲の演奏信号とガイドメロディの音信号とから採点用信号を生成し、データ抽出部M6へ入力するとともに歌唱用差分抽出部M34へ入力する。歌唱用差分抽出部M34へ入力された採点用信号はスイッチ制御部M36によって、接続状態(以下、単にオンともいう)か切断状態(以下、単にオフともいう)かを制御されるスイッチM38を介して歌唱用調整部M37へ入力される。そして、歌唱用調整部M37は、歌唱用調整部M37へ入力された採点用信号の信号レベルが最小になるよう歌唱用可変利得アンプM32へ利得を指示する。
【0042】
また、歌詞用可変利得アンプM72へ入力されるカラオケ曲の演奏信号とガイドメロディの音信号は歌詞用可変利得アンプM72によって増幅されて歌詞用信号生成部M70へ入力される。歌詞用信号生成部M70はA/Dコンバータ(ADC)M4から入力されたディジタル信号に変換された歌唱音声信号と歌詞用可変利得アンプM72から入力されたカラオケ曲の演奏信号とガイドメロディの音信号とから音声認識用信号を生成し、音声認識部M76へ入力するとともに歌詞用差分抽出部M74へ入力する。歌詞用差分抽出部M74へ入力された音声認識用信号はスイッチ制御部M36によって、接続状態(以下、単にオンともいう)か切断状態(以下、単にオフともいう)かを制御されるスイッチM78を介して歌詞用調整部M77へ入力される。そして、歌詞用調整部M77は、歌詞用調整部M77へ入力された音声認識用信号の信号レベルが最小になるよう歌詞用可変利得アンプM72へ利得を指示する。また、シーケンサM14によって読み出されたカラオケ演奏用データは、スイッチ制御部M36によって、接続状態か切断状態かを制御されるスイッチM40を介して楽音発生部M16に入力される。
【0043】
ここで、スイッチ制御部M36はシーケンサM14によって読み出された楽曲データから歌唱期間か否かを判断して、スイッチM38、スイッチM40及びスイッチM78を制御する。
【0044】
そして、図2は、カラオケ演奏以前、カラオケ演奏期間、カラオケ演奏終了以後の経過時間に対するスイッチM40、スイッチM38及びスイッチM78のオン/オフの変化と、歌唱用可変利得アンプM32及び歌詞用可変利得アンプM72からの出力信号レベルの変化と、を示す説明図である。カラオケ演奏以前には、スイッチM40、スイッチM38及びスイッチM78はオフされているが、シーケンサM14が楽曲データを読み出し、カラオケ演奏期間に入ると、スイッチ制御部M36がスイッチM40を制御してオン状態にさせ、カラオケ演奏終了までオンの状態を保たせ、カラオケ演奏終了するとオフ状態にさせる。そして、スイッチ制御部M36はシーケンサM14によって読み出された楽曲データから歌唱期間か否かを判断して、歌唱期間ではないと判断した場合、すなわち前奏期間または間奏期間と判断した場合には、スイッチM38及びスイッチM78を制御してオン状態にさせ、歌唱期間であると判断した場合には、スイッチM38及びスイッチM78を制御してオフ状態にさせる。ここで、上述した「スイッチ制御部M36はシーケンサM14によって読み出された楽曲データから歌唱期間か否かを判断して」とは、[音声制御部24のNG単語ゲーム処理の説明]にて後述するように「カラオケ演奏を実行するシーケンスプログラムから受け渡される制御データトラックに記憶されているカラオケ曲の歌唱区間の開始点を示す区間分割データによって前奏期間または間奏期間の歌唱されない期間か否かを判断する」ことを指す。
【0045】
そして、歌唱期間ではないと判断した場合、すなわち前奏期間または間奏期間と判断した場合には、スイッチM38を制御してオン状態にさせ、歌唱用差分抽出部M34から歌唱用調整部M37へ入力された採点用信号の信号レベルが最小になるように歌唱用調整部M37は、歌唱用可変利得アンプM32へ利得を指示する(図2参照)。したがって、楽曲データから歌唱期間ではないと判断した場合、すなわち前奏期間または間奏期間には、採点用信号の信号レベルが最小になるように調整される。
【0046】
一方、歌唱期間であると判断した場合には、スイッチM38を制御してオフ状態にさせるので、歌唱用可変利得アンプM32は、歌唱用調整部M37によって利得を指示されず、歌唱用可変利得アンプM32からの出力信号レベルは固定される(図2参照)。そして、歌唱用信号生成部M30によって生成された採点用信号を入力されたデータ抽出部M6は例えば50ms毎にこのディジタル化された採点用信号から音高を割り出し、音高データとして歌唱用比較部M8に入力する。歌唱用比較部M8では、データ抽出部M6から入力される採点用信号の音高データとシーケンサM14から入力されるガイドメロディの音高データ(以下、単にリファレンスともいう)とをリアルタイムに比較する。なお、50msは120のメトロノームテンポで32分音符に相当し、歌唱の特徴を抽出するために十分な分解能である。
【0047】
歌唱用比較部M8では、採点用信号が入力されるタイミングにあわせて50ms毎に採点用信号とリファレンスとの差を算出する。これはリアルタイムの差分データ(音高差分データ)として採点部M24へ出力される。採点部M24では、この音高差分データをカラオケ曲の区間毎に集計しデータ格納部M10へ記憶する。そして採点部M24では、各区間の差分データの集計を行って採点結果を求める。
【0048】
また、歌唱期間ではないと判断した場合、すなわち前奏期間または間奏期間と判断した場合には、スイッチM78を制御してオン状態にさせ、歌詞用差分抽出部M74から歌詞用調整部M77へ入力された音声認識用信号の信号レベルが最小になるように歌詞用調整部M77は、歌詞用可変利得アンプM72へ利得を指示する(図2参照)。したがって、楽曲データから歌唱期間ではないと判断した場合、すなわち前奏期間または間奏期間には、音声認識用信号の信号レベルが最小になるように調整される。
【0049】
一方、歌唱期間であると判断した場合には、スイッチM78を制御してオフ状態にさせるので、歌詞用可変利得アンプM72は、歌詞用調整部M77によって利得を指示されず、歌詞用可変利得アンプM72からの出力信号レベルは固定される(図2参照)。そして、歌詞用信号生成部M70によって生成された音声認識用信号を入力された音声認識部M76は歌詞を音声認識し、歌詞データとしてデータ格納部M10へ記憶される。判定部M80は、データ格納部M10へ記憶されている楽曲データから選曲された楽曲の特定歌詞データを抽出して表示部M26へ表示し、所定区間ごとにデータ格納部M10へ記憶されている採点結果が所定値例えば80点以上あると判定した場合には、データ格納部M10へ記憶されている音声認識された歌詞データを読み出し、読み出された音声認識された歌詞データと前記抽出された歌詞データとを比較して、同じ歌詞データがあると判定した場合には、シーケンサM14を制御してカラオケ演奏を停止させる。
【0050】
なお、カラオケ装置の機能を中心とした概略構成を示す図1においては、マイクM2が「音声信号入力手段」に相当し、データ格納部M10が「楽曲データ記憶手段」及び「音声認識記憶手段」に相当する。また、シーケンサM14が「カラオケ演奏再生手段」に相当し、歌唱用信号生成部M30が「第2の生成手段」に相当し、データ抽出部M6が「音高抽出手段」に相当する。そして、スイッチ制御部M36と、スイッチM38と、スイッチM40と、歌唱用差分抽出部M34と、可変利得アンプM32と、歌唱用調整部M37と、が「第2の利得設定手段」に相当する。また、採点部M24が「歌唱採点手段」に相当する。また、スピーカM20が「スピーカ」に相当し、表示部M26が「表示手段」に相当する。
【0051】
また、歌詞用信号生成部M70が「第1の生成手段」に相当し、音声認識部M76が「音声認識手段」に相当する。そして、スイッチ制御部M36と、スイッチM78と、スイッチM40と、歌詞用差分抽出部M74と、歌詞用可変利得アンプM72と、歌詞用調整部M77と、が「第1の利得設定手段」に相当する。また、判定部M80が「制御手段」に相当する。
【0052】
次に、図3を参照して、採点用信号、リファレンスについて説明する。図3に例示する点線はリファレンスであるガイドメロディを音高データ化したものであり、一般的なガイドメロディのデータは機械的に非常に正確なものである。これに対して、図3に例示する実線は採点用信号を音高データ化したものを示している。採点用信号の音高データはガイドメロディの音高データが示す値から上下に変動しており、前奏及び間奏においては採点用信号の音高データはない。
【0053】
図1ではカラオケ装置の機能を中心とした概略構成を示したが、図4は同カラオケ装置の具体的なハード構成を示すブロック図である。
[カラオケ装置1の構成の説明]
図4は、カラオケ装置1の構成を示すブロック図である。カラオケ装置1は、図4に示すように、カラオケ装置1全体の動作を制御する制御部12、カラオケ装置1をネットワーク100に接続するためのインタフェース部14、演奏楽曲の伴奏内容および歌詞を示す楽曲データや映像データなどを記憶するハードディスク(HDD)16、複数のキー・スイッチからなる操作部18、リモコン端末2や携帯電話からの赤外線信号を赤外線通信によって受信するための赤外線通信部20、操作部18からの信号を処理する操作処理部22、ハードディスク16に記憶された楽曲データから演奏楽曲のオーディオ信号(音響,音声に関する信号)を生成し、生成されたオーディオ信号及びマイク25から入力されたオーディオ信号を増幅してスピーカ28へ出力する音声制御部24、音声認識部10、
MIDI音源30、映像情報を一時的に記憶するビデオRAM32、映像データに基づく映像の再生を制御する映像再生部34、ビデオRAM32に記憶された映像情報および映像再生部34により再生される映像の表示部36での表示を制御する映像制御部38などを備えている。
【0054】
そして、制御部12、インタフェース部14、HDD16、赤外線通信部20、操作処理部22、ビデオRAM32、映像再生部34、映像制御部38は、各々バス39によって接続されている。また、制御部12と音声制御部24とはUSB40によって接続されている。なお、制御部12及び音声制御部24は、後述する各種処理を実行する。
【0055】
このうち、HDD16には、図5(a)に例示するように、楽曲データを記憶する楽曲データメモリ領域50、楽曲データから抽出した単語データを記憶する単語データメモリ領域52及び音高差のデータに応じた採点情報を記憶する採点情報メモリ領域54が設けられている。楽曲データメモリ領域50に記憶されている楽曲データは、図6(a)に例示するようにヘッダ情報、MIDIデータ、タイトルデータ及び歌詞で使用されている単語データを有している。そして、ヘッダ情報は、MIDIデータサイズ、タイトルデータサイズ及び単語データサイズを有している。また、歌詞で使用されている単語データのデータ構造は、登録単語数、1番目の単語サイズ、1番目の単語、2番目単語サイズ、2番目の単語と続き、n番目の単語サイズ、n番目の単語へと続いているデータ構造となっている。一例を挙げると、図6(b)に例示するように、登録単語数に対応する「3単語」を示すデータ、1番目の単語サイズに対応する「8byte」を示すデータ、1番目の単語に対応する「あいどる」を示すデータ、2番目単語サイズに対応する「6byte」を示すデータ、2番目の単語に対応する「すてき」を示すデータ、3番目の単語サイズに対応する「10byte」を示すデータ、3番目の単語に対応する「あいしてる」へと続くデータ構造となっている。
【0056】
また、楽曲データが有するMIDIデータは、図5(b)に例示するように、楽曲トラック、ガイドメロディトラック及び制御データトラックを有している。楽曲トラックには、メロディトラック、リズムトラックを初めとして種々のパートのトラックが形成されている。ガイドメロディトラックには、カラオケ曲の旋律すなわち歌唱者が歌うべき旋律のシーケンスデータを記憶している。制御データトラックには、カラオケ曲の歌唱区間の開始点を示す区間分割データを記憶している。
【0057】
採点情報メモリ領域54に記憶されている音高差のデータに応じた採点情報は、図15に例示するように音高差のデータと採点とを関連付けたデータ構造を有している。一例を挙げると、音高差のデータとしての「0セミトーン」に対して、採点としての「100点」を関連付けている。
【0058】
また、音声制御部24が内蔵するROM(図示なし)には、図5(c)に例示するように、カラオケ歌唱の歌詞記録エリア60、ガイドメロディバッファ62、リファレンスデータレジスタ64及び差分データ記憶エリア66が設けられている。カラオケ歌唱の歌詞記録エリア60には、音声認識された歌詞を記憶する。ガイドメロディバッファ62には、読み出されたガイドメロディデータを一時記憶する。リファレンスデータレジスタ64には、このガイドメロディデータから抽出されたリファレンス(つまり、ガイドメロディの音高データ)を記憶する。差分データ記憶エリア66には、リファレンスと歌唱音声との差分データを記憶する。なお、リファレンスデータレジスタ64は音高データレジスタからなっており、差分データ記憶エリア66は音高差データ記憶エリアからなっている。
【0059】
なお、本実施形態においては、マイク25が「音声信号入力手段」に相当し、HDD16が「楽曲データ記憶手段」に相当し、音声制御部24が内蔵するROMが「音声認識記憶手段」に相当する。また、音声制御部24が「カラオケ演奏再生手段」、「第1の生成手段」、「第2の生成手段」、「音高抽出手段」、「第1の利得設定手段」及び「第2の利得設定手段」に相当し、制御部12が「制御手段」、「歌唱採点手段」に相当する。また、スピーカ28が「スピーカ」に相当し、音声認識部10が「音声認識手段」に相当し、表示部36が「表示手段」に相当する。
【0060】
[制御部12のNG単語ゲーム処理の説明]
以下に、カラオケ装置1の制御部12が実行する「制御部12のNG単語ゲーム処理」の手順を図7、図8のフローチャートに基づいて説明する。
【0061】
なお、以下の説明においては、ユーザ(カラオケ歌唱者)によってカラオケ曲が選曲されている状態とする。具体的には、操作部18で受け付けたカラオケ曲の選曲番号のデータは操作処理部22によって制御部12へ送信されるのであるが、制御部12は、選曲番号のデータを受信し、その選曲番号のデータを音声制御部24へ送信している状態とする。
【0062】
操作部18で受け付けたゲーム開始指示のデータは操作処理部22によって制御部12へ送信されるのであるが、制御部12は、ゲーム開始指示のデータを受信したか否かを判断する(S110)。そして、操作処理部22から送信されたゲーム開始指示のデータを受信すると(S110:YES)、選曲されているカラオケ曲の選曲番号に対応する楽曲データをHDD16に設けられている図5(a)に例示する楽曲データメモリ領域50から読み出す(S114)。そして、読み出された楽曲データから図6(a)に例示するタイトルデータと歌詞で使用されている単語データを読み出し、読み出された前記単語データを単語データメモリ領域52へ記憶する(S114)。S114の処理が終了したらS116の処理を実行する。
【0063】
S116の処理においては、S114の処理において読み出されたタイトルを表示部36へ表示する。具体的には、図16(a)に例示するように、S114の処理において読み出されたタイトルに対応する「赤な女子」などを表示部36へ表示するように映像制御部38を制御する。次に、NG単語を表示部36へ表示し、NG単語データを音声制御部24へ送信する(S118)。具体的には、S114の処理において単語データメモリ領域52へ記憶された単語データからNG単語データを選定し、図16(b)に例示するように、選定されたNG単語に対応する「あいしてる」などを表示部36へ表示するように映像制御部38を制御する。そして、NG単語データを音声制御部24へ送信する。S118の処理が終了したらS120の処理を実行する。
【0064】
S120の処理においては、カラオケ演奏開始信号を音声制御部24へ送信する。そして、音声認識開始信号を音声制御部24へ送信する(S122)。さらに、区間歌唱採点開始信号を音声制御部24へ送信する(S124、図8参照)。S124の処理が終了したらS126の処理を実行する。
【0065】
さて、比較結果のデータは音声制御部24から制御部12へ送信される(この送信処理については後述する)のであるが、制御部12は、比較結果のデータを受信したか否かを判断する(S126)。そして、音声制御部24から比較結果を受信した場合には(S126:YES)、S128の処理を実行する。一方、音声制御部24から比較結果を受信しない場合には(S126:NO)、S138の処理を実行する。
【0066】
S128の処理においては、NG単語を歌唱していたか否かを判断する。この判断基準は、例えばカラオケ歌唱の歌詞データ中のNG単語データの数量が1つ以上あれば、NG単語を歌唱していたとする。そして、NG単語を歌唱していたと判断した場合には(S128:YES)、カラオケ演奏停止信号を音声制御部24へ送信する(S130)。S130の処理が終了したらS132の処理を実行する。一方、NG単語を歌唱していないと判断した場合には(S128:NO)、S138の処理を実行する。
【0067】
S132の処理においては、音声認識終了信号を音声制御部24へ送信する。
また、NG単語歌詞画面のデータは音声制御部24から制御部12へ送信される(この送信処理については後述する)のであるが、制御部12は、NG単語歌詞のデータを受信したか否かを判断する(S134)。そして、NG単語歌詞のデータを受信すると(S134:YES)、NG単語歌詞画面を表示部36へ表示する(S136)。具体的には、図16(c)に例示するようにNG単語を歌唱した直前までの歌詞に対応する「わたしのことを見た」などを表示部36へ表示し、さらに図16(e)に例示するように「まだまだ!残念」などを表示部36へ表示するように映像制御部38を制御する。
【0068】
そして、S136の処理が終了したら、本「制御部12の採点処理」は終了する。
S138の処理においては、音声制御部24からカラオケ演奏終了信号を受信したか否かを判断する。そして、音声制御部24からカラオケ演奏終了信号を受信しない場合には(S138:NO)、S124の処理へ戻り、上述した処理を実行する。一方、音声制御部24からカラオケ演奏終了信号を受信した場合には(S138:YES)
音声認識終了信号を音声制御部24へ送信する(S140)。そして、完唱結果を表示部36へ表示する(S142)。具体的には、図16(d)に例示するように「やった!おめでとう」などを表示部36へ表示するように映像制御部38を制御する。
【0069】
そして、S142の処理が終了したら、本「制御部12の採点処理」は終了する。
[音声制御部24のNG単語ゲーム処理の説明]
次に、カラオケ装置1の音声制御部24が実行する「音声制御部24のNG単語ゲーム処理」の手順を図9〜図14のフローチャートに基づいて説明する。このNG単語ゲーム処理に関する動作プログラムは、カラオケ演奏を実行するシーケンスプログラムと並行して実行され、シーケンスプログラムとのデータの交換も行われる。なお、以下の説明においては、制御部12からカラオケ曲の選曲番号のデータを受信している状態とする。
【0070】
まず、音声制御部24は制御部12から送信されたNG単語データを受信したか否かを判断する(S210)。そして、NG単語データを受信すると(S210:YES)、受信したNG単語データを音声制御部24が有するメモリ(図示せず)へ記憶し、S211の処理を実行する。
【0071】
S211の処理においては、音声制御部24は制御部12から送信されたカラオケ演奏開始信号を受信したか否かを判断する。そして、カラオケ演奏開始信号を受信すると(S211:YES)、カラオケ曲の選曲番号に対応する楽曲データを再生し、カラオケ演奏を開始する(S212)。
【0072】
次に、音声制御部24は制御部12から送信された音声認識開始信号を受信したか否かを判断する(S214)。そして、音声認識開始信号を受信すると(S214:YES)、カラオケ歌唱の歌詞の音声認識を開始する(S216)。具体的には、音声制御部24が音声認識部10を制御してカラオケ歌唱の歌詞を音声認識させる。そして、音声認識させたカラオケ歌唱の歌詞を音声制御部24が内蔵するROMに設けられているカラオケ歌唱の歌詞記録エリア60へ記憶する。
【0073】
そして、音声制御部24は制御部12から送信された区間歌唱採点開始信号を受信したか否かを判断する(S218)。そして、区間歌唱採点開始信号を受信すると(S218:YES)、リファレンスカウンタ(全体)の初期化を行なう(S220)。
【0074】
次に、前奏期間または間奏期間の歌唱されない期間か否かを判断する(S222、図10参照)。このS222の判断は、カラオケ演奏を実行するシーケンスプログラムから受け渡される制御データトラックに記憶されているカラオケ曲の前奏期間、歌唱期間、及び間奏期間の開始点を示す区間分割データによって前奏期間または間奏期間、すなわち歌唱されない期間か否かを判断する。そして、前奏期間または間奏期間でない場合、すなわち歌唱期間の場合(S222:NO)には、後述する歌唱採点の比較処理を実行する(S224)。一方、前奏期間または間奏期間の場合(S222:YES)には、後述する歌唱採点の調整処理を実行する(S226)とともに、後述する音声認識の調整処理を実行する(S228)。そして、歌唱採点の比較処理を実行した場合(S224)、歌唱採点の調整処理を実行した場合(S226)、もしくは音声認識の調整処理を実行した場合(S228)には、区間歌唱採点が終了したか否かを判断する(S230)。そして、区間歌唱採点が終了していない場合(S230:NO)には、S222へ戻り、上述した処理を実行する。
【0075】
一方、区間歌唱採点が終了した場合(S230:YES)には、後述する歌唱採点の比較処理によって音声制御部24が内蔵するROM(図示なし)の差分データ記憶エリア66へ記憶された音高差データから全体の音高差分データを取り出し(S232)、全体の音高差分データの合計をリファレンスカウンタ値で割って音高差分データを平均化する(S234)。そして、HDD16の採点情報メモリ領域54に記憶されている音高差のデータに応じた歌唱採点情報(図15参照)を用いて音高差のデータに応じて歌唱採点する(S236)。S236の処理が終了したらS238(図11参照)の処理を実行する。
【0076】
S238の処理においては、歌唱採点の結果が80点以上か否かを判断する。この歌唱採点の結果を判断する点数は、この「80点」には限らない。音声認識の認識率の低下を防止できる点数に設定するとよい。そして、歌唱採点の結果が80点以上でない場合には(S238:NO)、S254の処理を実行する。一方、歌唱採点の結果が80点以上である場合には(S238:YES)、S240の処理を実行する。
【0077】
S240の処理においては、音声認識した歌詞データとNG単語データとを比較する。具体的には、音声制御部24が内蔵するROMに設けられているカラオケ歌唱の歌詞記録エリア60へ記憶されている音声認識させたカラオケ歌唱の歌詞データを読み出す。また、音声制御部24が有するメモリ(図示せず)へ記憶されているNG単語データを読み出す。そして、読み出されたカラオケ歌唱の歌詞データとNG単語データとを比較する。そして、その比較結果例えばカラオケ歌唱の歌詞データ中のNG単語データの数量を制御部12へ送信する(S242)。S242の処理が終了したらS244の処理を実行する。
【0078】
そして、音声制御部24は制御部12から送信されたカラオケ演奏停止信号を受信したか否かを判断する(S244)。そして、カラオケ演奏が終了しない場合には(S244:NO)、S218(図9参照)へ戻り、上述した処理を実行する。一方、カラオケ演奏停止信号を受信すると(S244:YES)、カラオケ演奏を停止する(S246)。S246の処理が終了したらS248の処理を実行する。
【0079】
次に、音声制御部24は制御部12から送信された音声認識終了信号を受信したか否かを判断する(S248)。そして、音声認識終了信号を受信すると(S248:YES)、カラオケ歌唱の歌詞の音声認識を終了する(S250)。そして、S250の処理が終了したらS252の処理を実行する。
【0080】
S252の処理においては、NG単語歌唱のデータを制御部12へ送信する。
そして、S252の処理が終了したら、本「音声制御部24のNG単語ゲーム処理」は終了する。
【0081】
S254の処理においては、カラオケ演奏が終了したか否かを判断する。そして、カラオケ演奏が終了しない場合には(S254:NO)、S218(図9参照)へ戻り、上述した処理を実行する。一方、カラオケ演奏が終了した場合には(S254:YES)、カラオケ演奏終了信号を制御部12へ送信する(S256)。
【0082】
次に、音声制御部24は制御部12から送信された音声認識終了信号を受信したか否かを判断する(S258)。そして、音声認識終了信号を受信すると(S258:YES)、カラオケ歌唱の歌詞の音声認識を終了する(S260)。
【0083】
そして、S260の処理が終了したら、本「音声制御部24のNG単語ゲーム処理」は終了する。
以上の採点では、音高データの比較を行って歌唱巧拙を判断している。つまり、音量の大小を得点に反映させていない。これは、音量は発声する語彙、性別、年齢などによってばらつきが大きいため実際の歌唱の巧拙とかけ離れた得点が出る場合があることを考慮したためである。また、音量を採点に使わないことによってアルゴリズムを簡略化でき、短時間で歌唱の正確さを判定することができる。
【0084】
(1)歌唱採点の比較処理の説明
図12はデータの取り込み処理を示すフローチャートである。
まず、図12(a)はマイク25および音声制御部24で実行されるデータの取り込み処理の手順を示している。
【0085】
歌唱音声が入力されたマイク25から出力されたアナログ形式の音声信号をディジタル形式の音声信号に変換し、その音声信号より、カラオケ演奏によって再生された楽曲データの再生信号を差し引いて採点用信号を生成する(S2240)。そして音声制御部24は、この採点用信号を用いて、50msのフレーム単位で周波数のカウント(S2242)を行う。この算出された周波数カウント値は50ms毎に読み取られる。なお、この点については、図13の歌唱採点の比較処理を示すフローチャートを用いて後述する。
【0086】
また、図12(b)は音声制御部24で実行されるガイドメロディデータの取り込み処理の手順を示すフローチャートである。この処理はカラオケ演奏を実行するシーケンスプログラムからガイドメロディトラックのイベントデータが受け渡されたときに実行される。まず、シーケンスプログラムから渡されたガイドメロディデータを音声制御部24が内蔵するROM(図示なし)のガイドメロディバッファ62に取り込む(S2244)。そのガイドメロディデータから音高データ(つまり、リファレンス)を抽出する(S2246)。そして、このようにして抽出した音高データで音声制御部24が内蔵するROM(図示なし)のリファレンスデータレジスタ64を更新する(S2248)。したがって、リファレンスデータレジスタ64は新たなガイドメロディデータが入力される毎に更新される。
【0087】
次に、図13は音声制御部24が実行する「音声制御部24のNG単語ゲーム処理」の歌唱採点の比較処理(図10のS224)の詳細を示すフローチャートである。この処理は、採点用信号の周波数カウント値を取り込んで採点用信号の音高データ、周波数データに変換し、図12(b)のリファレンスデータ入力動作で求められたリファレンスデータの音高データと比較して差分データを求める動作である。なお、本歌唱採点の比較動作は、歌唱音声信号の1フレーム時間である50ms毎に実行される。
【0088】
まず、リファレンスが更新されたかどうかが判断され(S2250)、リファレンスが更新されない場合(S2250:NO)はリターンされる。リファレンスが更新された場合(S2250:YES)はリファレンスカウンタ(全体)をインクリメントする(S2252)。そして、上述した周波数カウント値を読み取り(S2254)、この周波数カウント値に基づいて音高データを生成する(S2256)。次に、採点用信号およびリファレンスの音高データを比較してその差を算出し(S2258)、この算出した差を、音高差分データとして差分データ記憶エリア66の現在の区間に対応する記憶エリアに記憶する(S2259)。
【0089】
(2)歌唱採点の調整処理の説明
次に、上述した歌唱採点の調整処理(図10のS226)の詳細を図14(a)のフローチャートに基づいて説明する。
【0090】
まず、歌唱音声が入力されたマイク25から出力されたアナログ形式の音声信号をディジタル形式の音声信号に変換し、その音声信号より、カラオケ演奏によって再生された楽曲データの再生信号を差し引いて採点用信号を生成する(S2260)。そして音声制御部24は、この採点用信号の信号レベルを検出する(S2262)。次に、この採点用信号の信号レベルが規定値以上か否かを判断する(S2264)。そして、この採点用信号の信号レベルが規定値以上の場合(S2264:YES)には、カラオケ演奏によって再生された楽曲データの再生信号を増幅する(S2266)。具体的には、図1にて例示したように歌唱用可変利得アンプM32へ利得を指示して、採点用信号の信号レベルが規定値以下になるように調整する。
【0091】
一方、この採点用信号の信号レベルが規定値以上でない場合(S2264:NO)には、リターンされる。なお、本歌唱採点の調整処理は、歌唱音声信号の1フレーム時間である50ms毎に実行される。したがって、50ms毎に採点用信号の信号レベルが規定値以下になるように制御される。
【0092】
(3)音声認識の調整処理の説明
次に、上述した音声認識の調整処理(図10のS228)の詳細を図14(b)のフローチャートに基づいて説明する。
【0093】
まず、歌唱音声が入力されたマイク25から出力されたアナログ形式の音声信号をディジタル形式の音声信号に変換し、その音声信号より、カラオケ演奏によって再生された楽曲データの再生信号を差し引いて音声認識用信号を生成する(S2280)。そして音声制御部24は、この音声認識用信号の信号レベルを検出する(S2282)。次に、この音声認識用信号の信号レベルが規定値以上か否かを判断する(S2284)。そして、この音声認識用信号の信号レベルが規定値以上の場合(S2284:YES)には、カラオケ演奏によって再生された楽曲データの再生信号を増幅する(S2286)。具体的には、図1にて例示したように歌詞用可変利得アンプM72へ利得を指示して、音声認識用信号の信号レベルが規定値以下になるように調整する。
【0094】
一方、この音声認識用信号の信号レベルが規定値以上でない場合(S2284:NO)には、リターンされる。なお、本音声認識の調整処理は、歌唱音声信号の1フレーム時間である50ms毎に実行される。したがって、50ms毎に音声認識用信号の信号レベルが規定値以下になるように制御される。
【0095】
[効果の説明]
(1)従来のカラオケ装置においてカラオケ歌唱される歌詞を音声認識する場合には、カラオケ演奏音がカラオケ装置から放音されるため、マイクロフォンには歌詞をカラオケ歌唱する音声とともにカラオケ演奏音も入力されるため、カラオケ歌唱する音声以外のカラオケ演奏音自体が騒音となって、音声認識する認識率が低くなるという課題があった。
【0096】
それに対して本実施形態のカラオケ装置1によれば、歌詞用信号生成部M70は、カラオケ演奏音の音信号と歌唱音声信号とを比較し、歌唱音声信号からカラオケ演奏音の音信号を減じた音声認識用信号を生成するので、スピーカM20から放音されたカラオケ演奏音に対応する音信号が減じられる。そして、音声認識部M76は、歌詞用信号生成部M70によって生成された音声認識用信号に基づいてカラオケ歌唱の歌詞を認識するので、適切な音声認識結果を得ることができる。
【0097】
(2)また、本実施形態のカラオケ装置1によれば、HDD16が記憶している楽曲データからNG単語データを選定して、映像制御部38を制御して、前記選定したNG単語データを表示部36へ表示させるとともに、音声認識部10によって認識されたカラオケ歌唱の歌詞データと前記選定したNG単語データとを比較して、同じ歌詞データがあると判定した場合には、音声制御部24を制御して、カラオケ演奏の再生を停止させる。
【0098】
したがって、このようなカラオケ装置1によれば、カラオケ歌唱中にNG単語を歌唱したか否かを競うNG単語ゲームを楽しむことができる。
(3)また、本実施形態のカラオケ装置1によれば、区間歌唱採点が所定値例えば80点以上ある場合に、音声認識部10によって認識されたカラオケ歌唱の歌詞データと前記選定したNG単語データとを比較する。
【0099】
したがって、このようなカラオケ装置1によれば、カラオケ歌唱中にNG単語を歌唱したか否かを競うNG単語ゲームをするための条件として、歌唱採点結果が所定値以上例えば80点以上に限ることで、より競技性の高いゲームでの音声認識の認識率の低下を防止できる。
【0100】
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、以下のような様々な態様にて実施することが可能である。
【0101】
(1)上記実施形態では、区間歌唱採点ごとに、区間歌唱採点が所定値例えば80点以上ある場合に、音声認識部10によって認識されたカラオケ歌唱の歌詞データと前記選定したNG単語データとを比較して、NG単語を歌唱した場合には、カラオケ演奏を停止するゲームであったが、これには限らない。区間歌唱採点ごとに、区間歌唱採点が所定値例えば80点以上ある場合に、カラオケ演奏終了まで音声認識部10によって認識されたカラオケ歌唱の歌詞データとHDD16に設けられている単語データメモリ領域52へ記憶されている単語データとを比較して、相違する歌詞データの数量と前記単語データとに基づいて歌詞採点してもよい。
【0102】
以下に、カラオケ装置1の制御部12が実行する「制御部12の歌詞採点処理」及びカラオケ装置1の音声制御部24が実行する「音声制御部24の歌詞採点処理」を順に説明する。
【0103】
[制御部12の歌詞採点処理の説明]
以下に、カラオケ装置1の制御部12が実行する「制御部12の歌詞採点処理」の手順を図17、図18のフローチャートに基づいて説明する。
【0104】
なお、以下の説明においては、ユーザ(カラオケ歌唱者)によってカラオケ曲が選曲されている状態とする。具体的には、操作部18で受け付けたカラオケ曲の選曲番号のデータは操作処理部22によって制御部12へ送信されるのであるが、制御部12は、選曲番号のデータを受信し、その選曲番号のデータを音声制御部24へ送信している状態とする。
【0105】
操作部18で受け付けた歌詞採点指示のデータは操作処理部22によって制御部12へ送信されるのであるが、制御部12は、歌詞採点指示のデータを受信したか否かを判断する(S310)。そして、操作処理部22から送信された歌詞採点指示のデータを受信すると(S310:YES)、選曲されているカラオケ曲の選曲番号に対応する楽曲データをHDD16に設けられている図5(a)に例示する楽曲データメモリ領域50から読み出す(S312)。そして、読み出された楽曲データから図6(a)に例示する歌詞で使用されている単語データを読み出し、読み出された前記単語データを単語データメモリ領域52へ記憶する(S314)。S314の処理が終了したらS320の処理を実行する。
【0106】
S320の処理においては、カラオケ演奏開始信号を音声制御部24へ送信する。そして、音声認識開始信号を音声制御部24へ送信する(S322)。さらに、区間歌唱採点開始信号を音声制御部24へ送信する(S324、図18参照)。S324の処理が終了したらS326の処理を実行する。
【0107】
さて、音声認識された歌詞データは音声制御部24から制御部12へ送信される(この送信処理については後述する)のであるが、制御部12は、音声認識された歌詞データを受信したか否かを判断する(S326)。そして、音声制御部24から音声認識された歌詞データを受信した場合には(S326:YES)、S328の処理を実行する。一方、音声制御部24から音声認識された歌詞データを受信しない場合には(S326:NO)、S338の処理を実行する。
【0108】
S328の処理においては、音声認識された歌詞データと単語データとを比較する。具体的には、前記単語データメモリ領域52へ記憶されている単語データを読み出し、読み出された単語データと音声認識された歌詞データとから相違する歌詞データの数量を抽出する。そして、比較結果に基づいて歌詞採点する(S332)。具体的には、S328の処理において抽出された相違する歌詞データの数量と前記単語データの数量とに基づいてカラオケ歌唱の歌詞を採点する。より具体的には、例えば相違した歌詞データの数量が5個あり、単語データの数量が100個あるとすれば、(100個−5個)/100個=0.95となり、100点満点中の95点と歌詞採点することができる。さらに、総合歌詞採点する(S332)。具体的には、区間歌唱採点ごとの歌詞採点を加重平均して総合歌詞採点する。より具体的には、例えば1回目の区間歌唱採点において相違した歌詞データの数量が5個あり、単語データの数量が100個あるとし、2回目の区間歌唱採点において相違した歌詞データの数量が3個あり、単語データの数量が100個あるとすれば、相違した歌詞データの数量の合計は8個であり、単語データの数量の合計は200個である。したがって、1回目と2回目とを加重平均すると、(200個−8個)/200個=0.96となり、100点満点中の96点と総合歌詞採点することができる。S332の処理が終了したらS338の処理を実行する。
【0109】
S338の処理においては、カラオケ演奏終了信号は音声制御部24から制御部12へ送信される(この送信処理については後述する)のであるが、制御部12は、カラオケ演奏終了信号を受信したか否かを判断する。そして、カラオケ演奏終了信号を
受信しない場合には(S338:NO)、S324へ戻り、上述した処理を実行する。一方、カラオケ演奏終了信号を受信した場合には(S338:YES)、音声認識終了信号を音声制御部24へ送信する(S340)。S340の処理が終了したらS342の処理を実行する。
【0110】
S342の処理においては、総合歌詞採点結果を表示部36へ表示する。具体的には、
例えば「総合歌詞採点:96点」などを表示部36へ表示するように映像制御部38を制御する。
【0111】
そして、S342の処理が終了したら、本「制御部12の歌詞採点処理」は終了する。
[音声制御部24の歌詞採点処理の説明]
次に、カラオケ装置1の音声制御部24が実行する「音声制御部24の歌詞採点処理」の手順を図19〜図21のフローチャートに基づいて説明する。この歌詞採点処理に関する動作プログラムは、カラオケ演奏を実行するシーケンスプログラムと並行して実行され、シーケンスプログラムとのデータの交換も行われる。なお、以下の説明においては、制御部12からカラオケ曲の選曲番号のデータを受信している状態とする。
【0112】
まず、音声制御部24は制御部12から送信されたカラオケ演奏開始信号を受信したか否かを判断する(S410)。そして、カラオケ演奏開始信号を受信すると(S410:YES)、カラオケ曲の選曲番号に対応する楽曲データを再生し、カラオケ演奏を開始する(S412)。
【0113】
次に、音声制御部24は制御部12から送信された音声認識開始信号を受信したか否かを判断する(S414)。そして、音声認識開始信号を受信すると(S414:YES)、カラオケ歌唱の歌詞の音声認識を開始する(S416)。具体的には、音声制御部24が音声認識部10を制御してカラオケ歌唱の歌詞を音声認識させる。そして、音声認識させたカラオケ歌唱の歌詞データを音声制御部24が内蔵するROMに設けられているカラオケ歌唱の歌詞記録エリア60へ記憶する。
【0114】
そして、音声制御部24は制御部12から送信された区間歌唱採点開始信号を受信したか否かを判断する(S418)。そして、区間歌唱採点開始信号を受信すると(S418:YES)、リファレンスカウンタ(全体)の初期化を行なう(S420)。
【0115】
次に、前奏期間または間奏期間の歌唱されない期間か否かを判断する(S422、図20参照)。このS422の判断は、カラオケ演奏を実行するシーケンスプログラムから受け渡される制御データトラックに記憶されているカラオケ曲の前奏期間、歌唱期間、及び間奏期間の開始点を示す区間分割データによって前奏期間または間奏期間、すなわち歌唱されない期間か否かを判断する。そして、前奏期間または間奏期間でない場合、すなわち歌唱期間の場合(S422:NO)には、歌唱採点の比較処理を実行する(S424)。具体的には、上記実施形態の「(1)歌唱採点の比較処理の説明」で説明した処理を実行する。一方、前奏期間または間奏期間の場合(S422:YES)には、歌唱採点の調整処理を実行する(S426)とともに、音声認識の調整処理を実行する(S428)。具体的には、上記実施形態の「(2)歌唱採点の調整処理の説明」で説明した処理を実行するとともに、上記実施形態の「(3)音声認識の調整処理の説明」で説明した処理を実行する。そして、歌唱採点の比較処理を実行した場合(S424)、歌唱採点の調整処理を実行した場合(S426)、もしくは音声認識の調整処理を実行した場合(S428)には、区間歌唱採点が終了したか否かを判断する(S430)。そして、区間歌唱採点が終了していない場合(S430:NO)には、S422へ戻り、上述した処理を実行する。
【0116】
一方、区間歌唱採点が終了した場合(S430:YES)には、上記実施形態の「(1)歌唱採点の比較処理の説明」で説明した歌唱採点の比較処理によって音声制御部24が内蔵するROM(図示なし)の差分データ記憶エリア66へ記憶された音高差データから全体の音高差分データを取り出し(S432)、全体の音高差分データの合計をリファレンスカウンタ値で割って音高差分データを平均化する(S434)。そして、HDD16の採点情報メモリ領域54に記憶されている音高差のデータに応じた歌唱採点情報(図15参照)を用いて音高差のデータに応じて歌唱採点する(S436)。S436の処理が終了したらS438(図21参照)の処理を実行する。
【0117】
S438の処理においては、歌唱採点の結果が80点以上か否かを判断する。この歌唱採点の結果を判断する点数は、この「80点」には限らない。音声認識の認識率の低下を防止できる点数に設定するとよい。そして、歌唱採点の結果が80点以上でない場合には(S438:NO)、S444の処理を実行する。一方、歌唱採点の結果が80点以上である場合には(S438:YES)、S442の処理を実行する。
【0118】
S442の処理においては、音声認識した歌詞データを制御部12へ送信する。具体的には、音声制御部24が内蔵するROMに設けられているカラオケ歌唱の歌詞記録エリア60へ記憶されているカラオケ歌唱の歌詞データを読み出し、読み出したカラオケ歌唱の歌詞データを制御部12へ送信する。
S442の処理が終了したらS444の処理を実行する。
【0119】
S444の処理においては、カラオケ演奏が終了したか否かを判断する。そして、カラオケ演奏が終了しない場合には(S444:NO)、S418(図19参照)へ戻り、上述した処理を実行する。一方、カラオケ演奏が終了した場合には(S444:YES)、カラオケ演奏終了信号を制御部12へ送信する(S446)。
【0120】
次に、音声制御部24は制御部12から送信された音声認識終了信号を受信したか否かを判断する(S448)。そして、音声認識終了信号を受信すると(S448:YES)、カラオケ歌唱の歌詞の音声認識を終了する(S450)。
【0121】
そして、S450の処理が終了したら、本「音声制御部24の歌詞採点処理」は終了する。
このような、カラオケ装置1の制御部12が実行する「制御部12の歌詞採点処理」及びカラオケ装置1の音声制御部24が実行する「音声制御部24の歌詞採点処理」を実行することにより、カラオケ演奏終了まで音声認識部10によって認識されたカラオケ歌唱の歌詞データとHDD16に設けられている単語データメモリ領域52へ記憶されている単語データとを比較して、相違する歌詞データの数量と前記単語データとに基づいてカラオケ歌唱の歌詞を採点することができる。
【0122】
また、本実施形態のカラオケ装置1によれば、区間歌唱採点が所定値例えば80点以上ある場合に、音声認識部10によって認識されたカラオケ歌唱の歌詞データと前記単語データとを比較する。
【0123】
したがって、このようなカラオケ装置1によれば、カラオケ歌唱の歌詞を採点するための条件として、歌唱採点結果が所定値以上例えば80点以上に限ることで、歌詞採点における音声認識の認識率の低下を防止できる。
【0124】
(2)また、区間歌唱採点ごとに、区間歌唱採点が所定値例えば80点以上ある場合に、カラオケ演奏終了まで音声認識部10によって認識されたカラオケ歌唱の歌詞データとHDD16に設けられている単語データメモリ領域52へ記憶されている単語データとを比較して、相違する歌詞データの数量が所定数以上あると判定した場合には、カラオケ演奏を停止するゲームとしてもよい。
【0125】
以下に、カラオケ装置1の制御部12が実行する「制御部12の歌詞誤りゲーム処理」及びカラオケ装置1の音声制御部24が実行する「音声制御部24の歌詞誤りゲーム処理」を順に説明する。
【0126】
[制御部12の歌詞誤りゲーム処理の説明]
以下に、カラオケ装置1の制御部12が実行する「制御部12の歌詞誤りゲーム処理」の手順を図22、図23のフローチャートに基づいて説明する。
【0127】
なお、以下の説明においては、ユーザ(カラオケ歌唱者)によってカラオケ曲が選曲されている状態とする。具体的には、操作部18で受け付けたカラオケ曲の選曲番号のデータは操作処理部22によって制御部12へ送信されるのであるが、制御部12は、選曲番号のデータを受信し、その選曲番号のデータを音声制御部24へ送信している状態とする。
【0128】
操作部18で受け付けたゲーム開始指示のデータは操作処理部22によって制御部12へ送信されるのであるが、制御部12は、ゲーム開始指示のデータを受信したか否かを判断する(S510)。そして、操作処理部22から送信されたゲーム開始指示のデータを受信すると(S510:YES)、制御部12が有する歌詞誤り数カウンタ(図示せず)へ数式「n=0」を記憶する(S511)。S511の処理が終了したらS512の処理うぃ実行する。
【0129】
S512の処理においては、選曲されているカラオケ曲の選曲番号に対応する楽曲データをHDD16に設けられている図5(a)に例示する楽曲データメモリ領域50から読み出す。そして、読み出された楽曲データから図6(a)に例示する歌詞で使用されている単語データを読み出し、読み出された前記単語データを単語データメモリ領域52へ記憶する(S514)。S514の処理が終了したらS520の処理を実行する。
【0130】
S520の処理においては、カラオケ演奏開始信号を音声制御部24へ送信する。そして、音声認識開始信号を音声制御部24へ送信する(S522)。さらに、区間歌唱採点開始信号を音声制御部24へ送信する(S524、図23参照)。S524の処理が終了したらS526の処理を実行する。
【0131】
さて、音声認識された歌詞データは音声制御部24から制御部12へ送信される(この送信処理については後述する)のであるが、制御部12は、音声認識された歌詞データを受信したか否かを判断する(S526)。そして、音声制御部24から音声認識された歌詞データを受信した場合には(S526:YES)、S528の処理を実行する。一方、音声制御部24から音声認識された歌詞データを受信しない場合には(S526:NO)、S538の処理を実行する。
【0132】
S528の処理においては、歌詞誤り数カウンタが所定数を超えたか否かを判断する。ここで、所定数とは、例えばカラオケ歌唱の熟練者では「1」としたり、中級者では「3」としたり、初心者では「5」としたり、それぞれのカラオケ歌唱者のレベルに応じて設定される数値である。そして、歌詞誤り数カウンタが所定数を超えない場合には(S528:NO)、S537の処理を実行する。一方、歌詞誤り数カウンタが所定数を超えた場合には(S528:YES)、カラオケ演奏停止信号を音声制御部24へ送信する(S530)。S530の処理が終了したらS532の処理を実行する。
【0133】
S532の処理においては、音声認識終了信号を音声制御部24へ送信する。そして、歌詞誤り数の結果を表示部36へ表示する(S536)。具体的には、例えば歌詞誤り数の結果に対応する「歌詞誤り数:5件」などを表示部36へ表示し、さらに図16(e)に例示するように「まだまだ!残念」などを表示部36へ表示するように映像制御部38を制御する。
【0134】
そして、S536の処理が終了したら、本「制御部12の採点処理」は終了する。
S537の処理においては、制御部12が有する歌詞誤り数カウンタ(図示せず)が記憶する数式「n=0」に数値「1」を加算して数式「n=1」とし、制御部12が有するメモリ(図示せず)へ数式「n=1」を記憶する(S537)。S537の処理が終了したらS538の処理を実行する。
【0135】
S538の処理においては、音声制御部24からカラオケ演奏終了信号を受信したか否かを判断する。そして、音声制御部24からカラオケ演奏終了信号を受信しない場合には(S538:NO)、S524の処理へ戻り、上述した処理を実行する。一方、音声制御部24からカラオケ演奏終了信号を受信した場合には(S538:YES)
音声認識終了信号を音声制御部24へ送信する(S540)。そして、歌詞誤り数の結果を表示部36へ表示する(S542)。具体的には、例えば歌詞誤り数の結果に対応する「歌詞誤り数:0件」などを表示部36へ表示し、さらに図16(d)に例示するように「やった!おめでとう」などを表示部36へ表示するように映像制御部38を制御する。
【0136】
そして、S542の処理が終了したら、本「制御部12の採点処理」は終了する。
[音声制御部24の歌詞誤りゲーム処理の説明]
次に、カラオケ装置1の音声制御部24が実行する「音声制御部24の歌詞誤りゲーム処理」の手順を図24〜図26のフローチャートに基づいて説明する。この歌詞誤りゲーム処理に関する動作プログラムは、カラオケ演奏を実行するシーケンスプログラムと並行して実行され、シーケンスプログラムとのデータの交換も行われる。なお、以下の説明においては、制御部12からカラオケ曲の選曲番号のデータを受信している状態とする。
【0137】
まず、音声制御部24は制御部12から送信されたカラオケ演奏開始信号を受信したか否かを判断する(S610)。そして、カラオケ演奏開始信号を受信すると(S610:YES)、カラオケ曲の選曲番号に対応する楽曲データを再生し、カラオケ演奏を開始する(S612)。
【0138】
次に、音声制御部24は制御部12から送信された音声認識開始信号を受信したか否かを判断する(S614)。そして、音声認識開始信号を受信すると(S614:YES)、カラオケ歌唱の歌詞の音声認識を開始する(S616)。具体的には、音声制御部24が音声認識部10を制御してカラオケ歌唱の歌詞を音声認識させる。そして、音声認識させたカラオケ歌唱の歌詞を音声制御部24が内蔵するROMに設けられているカラオケ歌唱の歌詞記録エリア60へ記憶する。
【0139】
そして、音声制御部24は制御部12から送信された区間歌唱採点開始信号を受信したか否かを判断する(S618)。そして、区間歌唱採点開始信号を受信すると(S618:YES)、リファレンスカウンタ(全体)の初期化を行なう(S620)。
【0140】
次に、前奏期間または間奏期間の歌唱されない期間か否かを判断する(S622、図25参照)。このS622の判断は、カラオケ演奏を実行するシーケンスプログラムから受け渡される制御データトラックに記憶されているカラオケ曲の前奏期間、歌唱期間、及び間奏期間の開始点を示す区間分割データによって前奏期間または間奏期間、すなわち歌唱されない期間か否かを判断する。そして、前奏期間または間奏期間でない場合、すなわち歌唱期間の場合(S622:NO)には、歌唱採点の比較処理を実行する(S624)。具体的には、上記実施形態の「(1)歌唱採点の比較処理の説明」で説明した処理を実行する。一方、前奏期間または間奏期間の場合(S622:YES)には、歌唱採点の調整処理を実行する(S626)とともに、音声認識の調整処理を実行する(S628)。具体的には、上記実施形態の「(2)歌唱採点の調整処理の説明」で説明した処理を実行するとともに、上記実施形態の「(3)音声認識の調整処理の説明」で説明した処理を実行する。そして、歌唱採点の比較処理を実行した場合(S624)、歌唱採点の調整処理を実行した場合(S626)、もしくは音声認識の調整処理を実行した場合(S628)には、区間歌唱採点が終了したか否かを判断する(S630)。そして、区間歌唱採点が終了していない場合(S630:NO)には、S622へ戻り、上述した処理を実行する。
【0141】
一方、区間歌唱採点が終了した場合(S630:YES)には、上記実施形態の「(1)歌唱採点の比較処理の説明」で説明した歌唱採点の比較処理によって音声制御部24が内蔵するROM(図示なし)の差分データ記憶エリア66へ記憶された音高差データから全体の音高差分データを取り出し(S632)、全体の音高差分データの合計をリファレンスカウンタ値で割って音高差分データを平均化する(S634)。そして、HDD16の採点情報メモリ領域54に記憶されている音高差のデータに応じた歌唱採点情報(図15参照)を用いて音高差のデータに応じて歌唱採点する(S636)。S636の処理が終了したらS638(図26参照)の処理を実行する。
【0142】
S638の処理においては、歌唱採点の結果が80点以上か否かを判断する。この歌唱採点の結果を判断する点数は、この「80点」には限らない。音声認識の認識率の低下を防止できる点数に設定するとよい。そして、歌唱採点の結果が80点以上でない場合には(S638:NO)、S654の処理を実行する。一方、歌唱採点の結果が80点以上である場合には(S638:YES)、S642の処理を実行する。
【0143】
S642の処理においては、音声認識した歌詞データを制御部12へ送信する。S642の処理が終了したらS644の処理を実行する。
そして、音声制御部24は制御部12から送信されたカラオケ演奏停止信号を受信したか否かを判断する(S644)。そして、カラオケ演奏が終了しない場合には(S644:NO)、S618(図24参照)へ戻り、上述した処理を実行する。一方、カラオケ演奏停止信号を受信すると(S644:YES)、カラオケ演奏を停止する(S646)。S646の処理が終了したらS648の処理を実行する。
【0144】
次に、音声制御部24は制御部12から送信された音声認識終了信号を受信したか否かを判断する(S648)。そして、音声認識終了信号を受信すると(S648:YES)、カラオケ歌唱の歌詞の音声認識を終了する(S650)。
【0145】
そして、S650の処理が終了したら、本「音声制御部24の歌詞誤りゲーム処理」は終了する。
S654の処理においては、カラオケ演奏が終了したか否かを判断する。そして、カラオケ演奏が終了しない場合には(S654:NO)、S618(図24参照)へ戻り、上述した処理を実行する。一方、カラオケ演奏が終了した場合には(S654:YES)、カラオケ演奏終了信号を制御部12へ送信する(S656)。
【0146】
次に、音声制御部24は制御部12から送信された音声認識終了信号を受信したか否かを判断する(S658)。そして、音声認識終了信号を受信すると(S658:YES)、カラオケ歌唱の歌詞の音声認識を終了する(S660)。
【0147】
そして、S660の処理が終了したら、本「音声制御部24の歌詞誤りゲーム処理」は終了する。
このような、カラオケ装置1の制御部12が実行する「制御部12の歌詞誤りゲーム処理」及びカラオケ装置1の音声制御部24が実行する「音声制御部24の歌詞誤りゲーム処理」を実行することにより、カラオケ歌唱の最中であっても、歌詞を所定数誤って歌唱した場合には、カラオケ演奏が中止されるのでよりゲーム性を高めることができる。
【0148】
また、本実施形態のカラオケ装置1によれば、区間歌唱採点が所定値例えば80点以上ある場合に、音声認識部10によって認識されたカラオケ歌唱の歌詞誤り数が所定数以上かを判断する。
【0149】
したがって、このようなカラオケ装置1によれば、歌詞を誤るとカラオケ演奏が中止されるゲームをするための条件として、歌唱採点結果が所定値以上例えば80点以上に限ることで、より難易度の高いゲームでの音声認識の認識率の低下を防止できる。
【図面の簡単な説明】
【0150】
【図1】カラオケ装置の機能を中心とした概略構成を示す図である。
【図2】カラオケ演奏以前、カラオケ演奏期間、カラオケ演奏終了以後の経過時間に対するスイッチM40、スイッチM38及びスイッチM78のオン/オフの変化と、歌唱用可変利得アンプM32及び歌詞用可変利得アンプM72からの出力信号レベルの変化と、を示す説明図である。
【図3】楽曲データベースのガイドメロディデータの音高データと採点用信号の音高データを示す説明図である。
【図4】カラオケ装置1の構成を示すブロック図である。
【図5】(a)はHDD16に設けられたメモリ領域を示す説明図であり、(b)はMIDIデータの構造を示す説明図であり、(c)は音声制御部24が内蔵するROM(図示なし)に設けられたカラオケ歌唱の歌詞記録エリア60、ガイドメロディバッファ62、リファレンスデータレジスタ64及び差分データ記憶エリア66を示す説明図である。
【図6】(a)は楽曲データフォーマットを示す説明図であり、(b)は歌詞で使用されている単語データの例を示す説明図である。
【図7】制御部12が実行する「制御部12のNG単語ゲーム処理」の手順の一部を示すフローチャートである。
【図8】制御部12が実行する「制御部12のNG単語ゲーム処理」の手順の一部を示すフローチャートである。
【図9】音声制御部24が実行する「音声制御部24のNG単語ゲーム処理」の手順の一部を示すフローチャートである。
【図10】音声制御部24が実行する「音声制御部24のNG単語ゲーム処理」の手順の一部を示すフローチャートである。
【図11】音声制御部24が実行する「音声制御部24のNG単語ゲーム処理」の手順の一部を示すフローチャートである。
【図12】(a)は音声制御部24が実行する「音声制御部24の歌唱採点」の[比較処理]において実行されるデータの取り込み処理の手順を示すフローチャートであり、(b)は音声制御部24が実行する「音声制御部24の歌唱採点」の[比較処理]において実行されるガイドメロディデータの取り込み処理の手順を示すフローチャートである。
【図13】音声制御部24が実行する「音声制御部24のNG単語ゲーム処理」の歌唱採点の比較処理の詳細を示すフローチャートである。
【図14】(a)は音声制御部24が実行する「音声制御部24のNG単語ゲーム処理」の歌唱採点の調整処理の詳細を示すフローチャートであり、(b)は音声制御部24が実行する「音声制御部24のNG単語ゲーム処理」の歌唱採点の調整処理の詳細を示すフローチャートである。
【図15】音高差のデータに応じた採点情報を示す説明図である。
【図16】(a)はタイトルを表示部36へ表示させた例を示す説明図であり、(b)はNG単語を表示部36へ表示させた例を示す説明図であり、(c)はNG単語歌詞画面をを表示部36へ表示させた例を示す説明図であり、(d)はおめでとう画面を表示部36へ表示させた例を示す説明図であり、(e)は残念画面を表示部36へ表示させた例を示す説明図である。
【図17】制御部12が実行する「制御部12の歌詞採点処理」の手順の一部を示すフローチャートである。
【図18】制御部12が実行する「制御部12の歌詞採点処理」の手順の一部を示すフローチャートである。
【図19】音声制御部24が実行する「音声制御部24の歌詞採点処理」の手順の一部を示すフローチャートである。
【図20】音声制御部24が実行する「音声制御部24の歌詞採点処理」の手順の一部を示すフローチャートである。
【図21】音声制御部24が実行する「音声制御部24の歌詞採点処理」の手順の一部を示すフローチャートである。
【図22】制御部12が実行する「制御部12の歌詞誤りゲーム処理」の手順の一部を示すフローチャートである。
【図23】制御部12が実行する「制御部12の歌詞誤りゲーム処理」の手順の一部を示すフローチャートである。
【図24】音声制御部24が実行する「音声制御部24の歌詞誤りゲーム処理」の手順の一部を示すフローチャートである。
【図25】音声制御部24が実行する「音声制御部24の歌詞誤りゲーム処理」の手順の一部を示すフローチャートである。
【図26】音声制御部24が実行する「音声制御部24の歌詞誤りゲーム処理」の手順の一部を示すフローチャートである。
【符号の説明】
【0151】
1…カラオケ装置、2…リモコン端末、10…音声認識部、12…制御部、14…インタフェース部、16…ハードディスク(HDD)、18…操作部、20…赤外線通信部、22…操作処理部、24…音声制御部、25…マイク、28…スピーカ、30…MIDI音源、32…ビデオRAM、34…映像再生部、36…表示部、38…映像制御部、39…バス、40…USB、50…楽曲データメモリ領域、52…単語データメモリ領域、54…採点情報メモリ領域、60…カラオケ歌唱の歌詞記憶エリア、62…ガイドメロディバッファ、64…リファレンスデータレジスタ、66…差分データ記憶エリア、100…ネットワーク。

【特許請求の範囲】
【請求項1】
カラオケ歌唱の音声信号を入力するための音声信号入力手段と、
カラオケ曲の楽曲データを記憶する楽曲データ記憶手段と、
前記楽曲データ記憶手段が記憶する前記楽曲データを音信号として再生し、且つ再生した音信号と前記音声信号入力手段から入力されたカラオケ歌唱の音声信号とをスピーカへ出力するカラオケ演奏再生手段と、
前記カラオケ演奏再生手段から出力された音信号に対応する第1の信号と前記音声信号入力手段から入力されたカラオケ歌唱の音声信号に対応する第2の信号とを比較し、第2の信号から第1の信号を減じた音声認識用信号を生成する第1の生成手段と、
前記第1の生成手段によって生成された音声認識用信号に基づいて、前記第1の生成手段が第2の信号から第1の信号を減じるための利得を設定する第1の利得設定手段と、
前記第1の生成手段によって生成された音声認識用信号に基づいてカラオケ歌唱の歌詞を認識する音声認識手段と、
を備えたことを特徴とするカラオケ装置。
【請求項2】
請求項1に記載のカラオケ装置において、
前記楽曲データ記憶手段は、カラオケ曲の歌詞データを含む楽曲データを記憶し、
前記音声認識手段によって認識されたカラオケ歌唱の歌詞データと前記楽曲データ記憶手段が記憶する前記カラオケ曲の歌詞データとを比較して、相違する歌詞データの数量を抽出し、抽出された数量と前記カラオケ曲の歌詞データの数量とに基づいてカラオケ歌唱の歌詞を採点する歌詞採点手段を備えることを特徴とするカラオケ装置。
【請求項3】
請求項1に記載のカラオケ装置において、
前記楽曲データ記憶手段は、カラオケ曲の歌詞データを含む楽曲データを記憶し、
前記音声認識手段によって認識されたカラオケ歌唱の歌詞データと前記楽曲データ記憶手段が記憶する前記カラオケ曲の歌詞データとを比較して、相違する歌詞データの数量を抽出し、抽出された数量が所定数以上あると判定した場合には、前記カラオケ演奏再生手段を制御して、カラオケ演奏の再生を停止させる制御手段を備えることを特徴とするカラオケ装置。
【請求項4】
請求項1に記載のカラオケ装置において、
カラオケ曲の歌詞データを表示可能な表示手段を備え、
前記楽曲データ記憶手段は、カラオケ曲の歌詞データを含む楽曲データを記憶し、
前記楽曲データ記憶手段が記憶している楽曲データから特定の歌詞データを抽出して、前記表示手段を制御して、前記抽出した歌詞データを表示させるとともに、前記音声認識手段によって認識されたカラオケ歌唱の歌詞データと前記抽出した歌詞データとを比較して、同じ歌詞データがあると判定した場合には、前記カラオケ演奏再生手段を制御して、カラオケ演奏の再生を停止させる制御手段を備えることを特徴とするカラオケ装置。
【請求項5】
請求項2に記載のカラオケ装置において、さらに
前記音声認識手段によって認識されたカラオケ歌唱の歌詞データを記憶する音声認識記憶手段と、
前記カラオケ演奏再生手段から出力された音信号に対応する第1の信号と前記音声信号入力手段から入力されたカラオケ歌唱の音声信号に対応する第2の信号とを比較し、第2の信号から第1の信号を減じた採点用信号を生成する第2の生成手段と、
前記第2の生成手段によって生成された採点用信号から音高データを抽出する音高抽出手段と、
前記第2の生成手段によって生成された採点用信号に基づいて、前記第2の生成手段が第2の信号から第1の信号を減じるための利得を設定する第2の利得設定手段と、
前記楽曲データ記憶手段が記憶する前記カラオケ曲の歌唱旋律の音高データと前記音高抽出手段によって抽出された前記採点用信号の音高データとの音高差を算出し、算出した音高差に基づいて所定区間ごとにカラオケ歌唱の歌唱を採点する歌唱採点手段と、
を備え、
前記歌詞採点手段は、所定区間ごとに前記歌唱採点手段によるカラオケ歌唱の歌唱採点結果が所定値以上あるか否かを判定し、所定値以上あると判定した場合には、前記音声認識記憶手段に記憶されたカラオケ歌唱の歌詞データを読み出し、読み出されたカラオケ歌唱の歌詞データと前記楽曲データ記憶手段が記憶する前記カラオケ曲の歌詞データとを比較して、相違する歌詞データの数量を抽出し、抽出された数量と前記カラオケ曲の歌詞データの数量とに基づいてカラオケ歌唱の歌詞を採点することを特徴とするカラオケ装置。
【請求項6】
請求項3に記載のカラオケ装置において、さらに
前記音声認識手段によって認識されたカラオケ歌唱の歌詞データを記憶する音声認識記憶手段と、
前記カラオケ演奏再生手段から出力された音信号に対応する第1の信号と前記音声信号入力手段から入力されたカラオケ歌唱の音声信号に対応する第2の信号とを比較し、第2の信号から第1の信号を減じた採点用信号を生成する第2の生成手段と、
前記第2の生成手段によって生成された採点用信号から音高データを抽出する音高抽出手段と、
前記第2の生成手段によって生成された採点用信号に基づいて、前記第2の生成手段が第2の信号から第1の信号を減じるための利得を設定する第2の利得設定手段と、
前記楽曲データ記憶手段が記憶する前記カラオケ曲の歌唱旋律の音高データと前記音高抽出手段によって抽出された前記採点用信号の音高データとの音高差を算出し、算出した音高差に基づいて所定区間ごとにカラオケ歌唱の歌唱を採点する歌唱採点手段と、
を備え、
前記制御手段は、所定区間ごとに前記歌唱採点手段によるカラオケ歌唱の歌唱採点結果が所定値以上あるか否かを判定し、所定値以上あると判定した場合には、前記音声認識記憶手段に記憶されたカラオケ歌唱の歌詞データを読み出し、読み出されたカラオケ歌唱の歌詞データと前記楽曲データ記憶手段が記憶する前記カラオケ曲の歌詞データとを比較して、相違する歌詞データの数量を抽出し、抽出された数量が所定数以上あると判定した場合には、前記カラオケ演奏再生手段を制御して、カラオケ演奏の再生を停止させることを特徴とするカラオケ装置。
【請求項7】
請求項4に記載のカラオケ装置において、さらに
前記音声認識手段によって認識されたカラオケ歌唱の歌詞データを記憶する音声認識記憶手段と、
前記カラオケ演奏再生手段から出力された音信号に対応する第1の信号と前記音声信号入力手段から入力されたカラオケ歌唱の音声信号に対応する第2の信号とを比較し、第2の信号から第1の信号を減じた採点用信号を生成する第2の生成手段と、
前記第2の生成手段によって生成された採点用信号から音高データを抽出する音高抽出手段と、
前記第2の生成手段によって生成された採点用信号に基づいて、前記第2の生成手段が第2の信号から第1の信号を減じるための利得を設定する第2の利得設定手段と、
前記楽曲データ記憶手段が記憶する前記カラオケ曲の歌唱旋律の音高データと前記音高抽出手段によって抽出された前記採点用信号の音高データとの音高差を算出し、算出した音高差に基づいて所定区間ごとにカラオケ歌唱の歌唱を採点する歌唱採点手段と、
を備え、
前記制御手段は、前記楽曲データ記憶手段が記憶している楽曲データから特定の歌詞データを抽出して、前記表示手段を制御して、前記抽出した歌詞データを表示させるとともに、所定区間ごとに前記歌唱採点手段によるカラオケ歌唱の歌唱採点結果が所定値以上あるか否かを判定し、所定値以上あると判定した場合には、前記音声認識記憶手段に記憶されたカラオケ歌唱の歌詞データを読み出し、読み出されたカラオケ歌唱の歌詞データと前記抽出した歌詞データとを比較して、同じ歌詞データがあると判定した場合には、前記カラオケ演奏再生手段を制御して、カラオケ演奏の再生を停止させることを特徴とするカラオケ装置。

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図1】
image rotate

【図16】
image rotate


【公開番号】特開2007−178923(P2007−178923A)
【公開日】平成19年7月12日(2007.7.12)
【国際特許分類】
【出願番号】特願2005−380145(P2005−380145)
【出願日】平成17年12月28日(2005.12.28)
【出願人】(000005267)ブラザー工業株式会社 (13,856)
【Fターム(参考)】