音声入力評価システム、音声入力評価システムの制御方法、及びプログラム
【課題】例えば、ユーザが比較的高い評価を得ることができるように補助することが可能な音声入力評価システムを提供すること。
【解決手段】取得手段(62)は、模範の音声入力と音声入力手段(31)を介して行われた音声入力との比較結果に関する比較結果条件と、ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する。比較手段(63)は、模範の音声入力と、音声入力手段(31)を介して行われた音声入力と、を比較する。評価手段(64)は、比較手段(63)の比較結果と評価判断基準とに基づいて、ユーザの音声入力に対する評価を判断する。取得手段(62)は、音声入力手段(31)を介して入力されたユーザの音声の特徴情報に基づいて評価判断基準を変える。
【解決手段】取得手段(62)は、模範の音声入力と音声入力手段(31)を介して行われた音声入力との比較結果に関する比較結果条件と、ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する。比較手段(63)は、模範の音声入力と、音声入力手段(31)を介して行われた音声入力と、を比較する。評価手段(64)は、比較手段(63)の比較結果と評価判断基準とに基づいて、ユーザの音声入力に対する評価を判断する。取得手段(62)は、音声入力手段(31)を介して入力されたユーザの音声の特徴情報に基づいて評価判断基準を変える。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は音声入力評価システム、音声入力評価システムの制御方法、及びプログラムに関する。
【背景技術】
【0002】
音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムが知られている。伴奏音楽に合わせてユーザが行った歌唱を評価するカラオケシステムが知られている(例えば特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−208196号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のようなカラオケシステムではユーザの歌唱音声と標準音声とが比較されて、ユーザの歌唱に対する評価が決定される。一般的に、ユーザの歌唱音声と標準音声との差が小さいほど、ユーザに対する評価が高くなる。しかしながら、従来のカラオケシステムでは、歌を歌うことが得意でないユーザは高い評価を得ることができず、歌を歌うことが得意でないユーザが不満を感じてしまう場合があった。このため、上記のようなカラオケシステムでは、例えば、歌を歌うことが得意でないユーザが比較的高い評価を得ることができるように補助する機能の実現が強く望まれる。
【0005】
本発明は上記課題に鑑みてなされたものであって、その目的は、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムにおいて、例えば、ユーザが比較的高い評価を得ることができるように補助することが可能な音声入力評価システム、音声入力評価システムの制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明に係る音声入力評価システムは、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムにおいて、前記ユーザが音声を入力するための音声入力手段と、前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得する手段と、前記模範データが示す模範の音声入力と前記音声入力手段を介して行われた音声入力との比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得手段と、前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較手段と、前記比較手段の比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価手段と、を含み、前記取得手段は、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変えることを特徴とする。
【0007】
また、本発明に係る音声入力評価システムの制御方法は、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムの制御方法において、前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得するステップと、前記模範データが示す模範の音声入力と、前記ユーザが音声を入力するための音声入力手段を介して行われた音声入力と、の比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得ステップと、前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較ステップと、前記比較ステップにおける比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価ステップと、を含み、前記取得ステップは、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変えるステップを含むことを特徴とする。
【0008】
また、本発明に係るプログラムは、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムとしてコンピュータを機能させるためのプログラムであって、前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得する手段、前記模範データが示す模範の音声入力と、前記ユーザが音声を入力するための音声入力手段を介して行われた音声入力と、の比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得手段、前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較手段、及び、前記比較手段の比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価手段、として前記コンピュータを機能させ、前記取得手段は、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変えることを特徴とするプログラムである。
【0009】
また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
【0010】
本発明によれば、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムにおいて、例えば、ユーザが比較的高い評価を得ることができるように補助することが可能になる。
【0011】
また本発明の一態様では、前記取得手段は、音声の特徴情報に関する複数の特徴条件の各々に対応づけて前記評価判断基準を記憶してなる手段に記憶される前記評価判断基準のうちの、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報が満足する前記特徴条件に対応づけられた前記評価判断基準を取得するようにしてもよい。
【0012】
また本発明の一態様では、前記取得手段は、基本の評価判断基準を記憶してなる手段に記憶される前記基本の評価判断基準を取得する手段を含み、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記基本の評価判断基準を変更することによって、前記評価判断基準を取得するようにしてもよい。
【0013】
また本発明の一態様では、前記模範データは、前記音楽に合わせて前記ユーザが入力すべき模範音声を少なくとも示すようにしてもよい。前記評価判断基準は、前記模範データが示す模範音声の音高と、前記音声入力手段を介して入力された前記ユーザの音声の音高と、の比較結果に関する比較結果条件と、前記評価情報と、を対応づけてなる情報であってもよい。前記比較手段は、前記模範データが示す模範音声の音高と、前記音声入力手段を介して入力された前記ユーザの音声の音高と、を比較するようにしてもよい。
【0014】
また本発明の一態様では、前記模範データは、前記ユーザが音声を入力すべき模範タイミングを少なくとも示すようにしてもよい。前記評価判断基準は、前記模範データが示す模範タイミングと、前記音声入力手段を介して前記ユーザの音声が入力されたタイミングと、の比較結果に関する比較結果条件と、前記評価情報と、を対応づけてなる情報であってもよい。前記比較手段は、前記模範データが示す模範タイミングと、前記音声入力手段を介して前記ユーザの音声が入力されたタイミングと、を比較するようにしてもよい。
【0015】
また本発明の一態様では、前記特徴情報は、音声の音量に関する情報と、音声にビブラートがかかっているか否かに関する情報と、の少なくとも一方を含むようにしてもよい。
【0016】
また本発明の一態様では、前記音声入力評価システムは、前記音楽に合わせてユーザが歌唱するカラオケシステム、又は、前記音楽に合わせてユーザが音声入力を行うゲームを実行するゲームシステムであってもよい。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係るカラオケシステム(音声入力評価システム)のハードウェア構成を示す図である。
【図2】カラオケ画面の一例を示す図である。
【図3】ピアノロール画像について説明するための図である。
【図4】カラオケ画面の他の一例を示す図である。
【図5】評価判断基準の一例を示す図である。
【図6】評価判断基準の他の一例を示す図である。
【図7】カラオケ画面の他の一例を示す図である。
【図8】カラオケ画面の他の一例を示す図である。
【図9】評価判断基準の他の一例を示す図である。
【図10】評価判断基準の他の一例を示す図である。
【図11】カラオケシステムの機能ブロック図である。
【図12】楽曲データの一例を示す図である。
【図13】記憶部の記憶内容の一例を示す図である。
【図14】カラオケシステムで実行される処理の一例を示すフロー図である。
【図15】評価判断基準の他の一例を示す図である。
【図16】カラオケ画面の他の一例を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について図面に基づき詳細に説明する。ここでは、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムの一態様であるカラオケシステムに本発明を適用した場合について説明する。以下では、本発明の実施形態に係るカラオケシステムを家庭用ゲーム機(据置型ゲーム機)を用いて実現する場合について説明する。なお、本発明の実施形態に係るカラオケシステムは、例えば、携帯ゲーム機、業務用ゲーム機、携帯電話機、携帯情報端末、又はパーソナルコンピュータを用いて実現されるようにしてもよい。また、本発明の実施形態に係るカラオケシステムは、カラオケ機能を提供する目的で製造されたカラオケ専用の装置として実現されるようにしてもよい。
【0019】
図1は、本発明の実施形態に係るカラオケシステム(音声入力評価システム)のハードウェア構成を示す。図1に示すように、カラオケシステム10は家庭用ゲーム機11、表示部30、音声入力部31、音声出力部32、光ディスク33(情報記憶媒体)、及びメモリカード34(情報記憶媒体)を含む。
【0020】
表示部30、音声入力部31、及び音声出力部32は家庭用ゲーム機11に接続される。例えば、表示部30は液晶ディスプレイ又はプラズマディスプレイ等の表示装置である。また、音声入力部31はユーザが音声を入力するためのものである。例えば、音声入力部31はマイク等の音声入力装置であり、入力された音声を電気信号に変換する。また例えば、音声出力部32は表示装置に備えられたスピーカ又はヘッドホンである。
【0021】
家庭用ゲーム機11はコンピュータシステムであり、バス12、制御部13、主記憶14、画像処理部15、音声処理部16、光ディスクドライブ17、メモリカードスロット18、通信インタフェース(I/F)19、及び操作部20を含む。
【0022】
バス12はアドレス及びデータを家庭用ゲーム機11の各部でやり取りするために用いられる。制御部13、主記憶14、画像処理部15、音声処理部16、光ディスクドライブ17、メモリカードスロット18、通信インタフェース19、及び操作部20は、バス12によって相互データ通信可能に接続される。
【0023】
制御部13は例えば一又は複数のマイクロプロセッサを含み、例えば光ディスク33から読み出されるプログラムに基づいて、家庭用ゲーム機11の各部の制御処理や各種情報処理を実行する。主記憶14は例えばRAMを含み、光ディスク33又はメモリカード34から読み出されたプログラム及びデータが必要に応じて書き込まれる。主記憶14は制御部13の作業用としても用いられる。
【0024】
画像処理部15はVRAMを含み、制御部13から送られる画像データに基づいてVRAM上に画面を描画し、その画面を表示部30に表示する。音声処理部16はサウンドバッファを含み、光ディスク33又はメモリカード34からサウンドバッファに読み出された各種音声データ(音楽、効果音、メッセージ等)を音声出力部32から出力する。また、音声処理部16は音声入力部31から出力される音声信号を制御部13に供給する。
【0025】
光ディスクドライブ17は、光ディスク33に記録されたプログラムやデータを読み取る。ここではプログラムやデータを家庭用ゲーム機11に供給するために光ディスク33を用いることとするが、例えばメモリカード34等の他のあらゆる情報記憶媒体を用いるようにしてもよい。また、インターネット等のデータ通信網を介して遠隔地からプログラムやデータを家庭用ゲーム機11に供給するようにしてもよい。
【0026】
通信インタフェース19は、インターネットなどのデータ通信網に通信接続するためのインタフェースである。メモリカードスロット18はメモリカード34を装着するためのインタフェースである。メモリカード34は不揮発性メモリ(例えばEEPROMなど)を含み、各種データを記憶する。なお、カラオケシステム10はハードディスク装置(補助記憶装置)を備えるようにしてもよい。光ディスク33又はメモリカード34に記憶されることとして説明するプログラムやデータはハードディスク装置に記憶されるようにしてもよい。
【0027】
操作部20はユーザが操作を行うためのものである。操作部20は複数の操作部材を備える。操作部20の各操作部材の状態は一定周期毎(例えば1/60秒ごと)にスキャンされ、そのスキャン結果を表す操作信号が制御部13に供給される。制御部13は操作信号に基づいてユーザの操作を判断する。
【0028】
カラオケシステム10ではユーザが伴奏音楽に合わせて歌唱する。音声出力部32からは伴奏音楽とユーザの歌唱音声とが混合されて出力される。また、カラオケシステム10ではユーザの歌唱に評価が与えられる。
【0029】
図2は、表示部30に表示されるカラオケ画面の一例を示す。カラオケ画面40にはユーザが歌うべき歌詞41が表示される。図2に示すカラオケ画面40には「ABCDEFGHIJKL」が歌詞41として表示されている。
【0030】
また、カラオケ画面40には、ユーザが歌詞41を歌うべきタイミング(期間)と、ユーザが発すべき音の高さ(音高)との両方をユーザに案内するためのピアノロール画像42が表示される。ピアノロール画像42は、音高の表記方法として一般的に用いられているピアノロールを模した画像になっている。
【0031】
ピアノロール画像42には、時間軸であるT軸と、音高に関する軸であるP軸とが設定されている。図2に示す例では、ピアノロール画像42の横方向がT軸方向になっており、ピアノロール画像42の縦方向がP軸方向になっている。
【0032】
図3は、ピアノロール画像42について説明するための図である。図3に示すピアノロール画像42は、複数の音高に対応する複数の音高画像43a〜43wを含んで構成される。なお、以下では、音高画像43a〜43wのことを総称して「音高画像43」と記載する場合がある。
【0033】
音高画像43は、横方向(T軸方向)の長さが縦方向(P軸方向)の長さに比べて長い矩形画像である。なお、白い音高画像43はピアノの白い鍵盤の音高に対応しており、斜線が付された音高画像43はピアノの黒い鍵盤の音高に対応している。
【0034】
音高画像43a〜43wは縦方向(P軸方向)に配列される。より高い音高に対応する音高画像43ほど、ピアノロール画像42内の上方に表示されるようになっている。つまり、ピアノロール画像42内で最も下に表示されている音高画像43aは、複数の音高のうちで最も低い音高に対応している。また、ピアノロール画像42内で最も上に表示されている音高画像43wは、複数の音高のうちで最も高い音高に対応している。
【0035】
ピアノロール画像42は縦方向に5つの領域(第1領域42a、第2領域42b,42d、第3領域42c,42e)に分けられる。第1領域42aはピアノロール画像42の中央に位置する領域である。第1領域42aには、基本音高に対応する音高画像43lと、基本音高より高い3つの音高に対応する3つの音高画像43m,43n,43oと、基本音高より低い3つの音高に対応する音高画像43i,43j,43kとが配列されている。言い換えれば、第1領域42aには、基本音高を中心とする1オクターブの7つの音高に対応する7つの音高画像43i〜43oが配列されている。
【0036】
第2領域42bは第1領域42aの上側に隣接する領域である。また、第3領域42cは第2領域42bの上側に隣接する領域である。第2領域42bには、音高画像43pに対応する音高より高い4つの音高に対応4つの音高画像43p,43q,43r,43sが配列されている。また、第3領域42cには、音高画像43sに対応する音高よりさらに高い4つの音高に対応する4つの音高画像43t,43u,43v,43wが配列されている。
【0037】
一方、第2領域42dは第1領域42aの下側に隣接している領域である。また、第3領域42eは第2領域42dの下側に隣接している領域である。第2領域42dには、音高画像43iに対応する音高より低い4つの音高に対応する4つの音高画像43e,43f,43g,43hが配列されている。また、第3領域42eには、音高画像43eに対応する音高よりさらに低い4つの音高に対応する4つの音高画像43a,43b,43c,43dが配列されている。
【0038】
なお、ピアノロール画像42は音高画像43のP軸方向の幅が一定でない点で一般的なピアノロールとは異なっている。音高画像43a〜43wの各々のP軸方向の幅は、該音高画像に対応する音高と、基本音高と、の差に応じた幅に設定されている。例えば、基本音高との差が比較的大きい音高に対応する音高画像43sのP軸方向の幅は、基本音高との差が比較的小さい音高に対応する音高画像43oのP軸方向の幅よりも小さく設定されている。
【0039】
すなわち、第2領域42b,42dに配列されている音高画像43e〜43h,43p〜43sのP軸方向の幅は、第1領域42aに配列されている音高画像43i〜43oのP軸方向の幅よりも狭くなっている。また、第3領域42c,42eに配列されている音高画像43a〜43d,43t〜43wのP軸方向の幅は、第2領域42b,42cに配列されている音高画像43e〜43h,43p〜43sのP軸方向の幅よりもさらに狭くなっている。このようにすることによって、比較的限られた画面領域内に、なるべく多くの音高に対応する音高画像43を表示することが可能になる。
【0040】
また、図2に示すように、ピアノロール画像42上には基準ライン44及び歌唱アイコン45が表示される。基準ライン44は、ピアノロール画像42上の、現時点に対応する位置に表示される。つまり、基準ライン44は現時点を示している。
【0041】
一方、歌唱アイコン45は、ピアノロール画像42(基準ライン44)上の、音声入力部31を介して入力されるユーザの音声の音高に対応する位置に表示される。つまり、歌唱アイコン45はユーザの音声の音高に対応する音高画像43上に表示される。つまり、歌唱アイコン45はユーザの音声の音高をユーザに案内する役割を果たしている。
【0042】
なお、本実施形態の場合、歌唱アイコン45が第1領域42a外に移動しようとすると(例えば図2に示す場合であれば、ユーザの音声の音高が、第1領域42aに含まれる音高画像43i〜43oに対応しない音高になると)、ピアノロール画像42がスクロールし、歌唱アイコン45がピアノロール画像42内のP軸方向中央の位置上に表示されるようになっている。このため、歌唱アイコン45は常に第1領域42a内に表示されるようになっている。
【0043】
さらに、ピアノロール画像42上には模範音声案内画像46が表示される。模範音声案内画像46は、ユーザが歌詞41を歌うべきタイミング(期間)と、ユーザが発すべき音声(模範音声)の高さ(音高)との両方をユーザに案内する役割を果たす。模範音声案内画像46の表示位置は、ユーザが歌詞41を歌うべきタイミングが到来するまでの残り時間と、模範音声の音高との両方に対応する位置に設定される。
【0044】
例えば、模範音声案内画像46の表示位置のP軸座標値は、模範音声の音高に対応する座標値に設定される。また、模範音声案内画像46の表示位置のT軸座標値は、ユーザが歌詞41を歌うべきタイミングが到来するまでの残り時間に対応する座標値に設定される。このため、模範音声案内画像46の表示位置は、ユーザが歌詞41を歌うべきタイミングが到来するまでの残り時間が少ないほど、基準ライン44からの距離が短くなるようにして設定されることになる。その結果、模範音声案内画像46は、時間経過に伴って右から左へと移動し、基準ライン44に接近する。そして、ユーザが歌うべきタイミングにおいて模範音声案内画像46は基準ライン44上に重なる。例えば、ユーザが歌詞41を歌い始めるべきタイミングにおいて模範音声案内画像46の先頭46aが基準ライン44に到達する。
【0045】
図2に示す時点から所定時間経過した時点におけるカラオケ画面40の一例を図4に示す。図4に示すカラオケ画面40では、模範音声案内画像46の一部が基準ライン44を通過している。すなわち、図4は、歌詞41の最初の部分がすでに歌われている状態を示している。
【0046】
図4に示すカラオケ画面40では、歌詞41が、黒字部分41aと、白字部分41bとを含んでいる。黒字部分41aは、歌うべきタイミングが既に経過している部分を示している。すなわち、黒字部分41aは、ユーザが既に歌い終わっているはずの部分を示している。一方、白字部分41bは、歌うべきタイミングがこれから到来する部分を示している。すなわち、白字部分41bは、ユーザがこれから歌う部分を示している。白字部分41bのうちの先頭の文字はユーザが次に発すべき音声に相当する。
【0047】
歌詞41の色の変化と模範音声案内画像46の移動とは同期している。このため、ユーザは歌詞41と模範音声案内画像46との両方を参照することによって、歌うべき歌詞と、その歌詞を歌うべきタイミング(期間)と、その歌詞をどの音高で歌うべきかと、を把握することができる。
【0048】
また、ユーザは歌唱アイコン45と模範音声案内画像46とを参照することによって、ユーザが発すべき音声(模範音声)の音高と、ユーザが実際に発している音声の音高と、が一致しているか否かも把握することができる。
【0049】
カラオケシステム10ではユーザの歌唱に評価が与えられる。例えば、ユーザが歌唱すべき音声(模範音声)の音高と、ユーザが実際に歌唱した音声の音高との間のずれ(Δp)に基づいて、「EXCELLENT」、「GREAT」、「GOOD」、「ALMOST」、及び「BOO」のうちのいずれかの評価が与えられる。「EXCELLENT」が最も高い評価であり、「BOO」が最も低い評価である。図5は評価判断基準の一例を示す図であり、音高のずれ(Δp)と評価との関係の一例を示す。音高のずれ(Δp)が小さいほど、ユーザに与えられる評価が高くなる。
【0050】
また、例えば、ユーザが歌唱すべきタイミング(模範タイミング)と、ユーザが実際に歌唱したタイミングとの間のずれ(Δt)に基づいて、「EXCELLENT」、「GREAT」、「GOOD」、「ALMOST」、及び「BOO」のうちのいずれかの評価が与えられる。図6は評価判断基準の一例を示す図であり、タイミングのずれ(Δt)と評価との関係の一例を示す。タイミングのずれ(Δt)が小さいほど、ユーザに与えられる評価が高くなる。
【0051】
なお、例えば、音高のずれ(Δp)に関する評価とタイミングのずれ(Δt)に関する評価とのうちの低い方がユーザの歌唱に対する評価になる。例えば、音高のずれ(Δp)に関する評価が「GREAT」であり、かつ、タイミングのずれ(Δt)に関する評価が「GOOD」である場合、ユーザの歌唱に対する評価は「GOOD」になる。
【0052】
ところで、歌唱アイコン45の大きさ(本実施形態の場合、歌唱アイコン45の半径)は、所定の評価(ここでは「GREAT」とする。)以上の評価を得ることができるような音高のずれ(Δp)及びタイミングのずれ(Δt)の大きさに対応する大きさに設定されている。このため、歌唱アイコン45と模範音声案内画像46とが重なっている場合には、音高のずれ(Δp)及びタイミングのずれ(Δt)の大きさが、「GREAT」以上の評価を得ることができるような範囲内におさまっていることになる。このため、ユーザは歌唱アイコン45と模範音声案内画像46とが重なるような音高及びタイミングで歌唱すれば、「GREAT」以上の評価を得ることができることになる。
【0053】
例えば、図4に示すカラオケ画面40では、歌唱アイコン45と模範音声案内画像46とが重なっている。この場合、「GREAT」以上の評価がユーザに与えられる。一方、例えば、図7に示すカラオケ画面40では、歌唱アイコン45と模範音声案内画像46とが重なっていない。この場合、「GREAT」よりも低い評価がユーザに与えられる。
【0054】
図4及び図7に示すように、カラオケ画面40には、ユーザに与えられた評価を示すメッセージ50が表示される。また、カラオケ画面40には得点47が表示される。ユーザに与える評価が決定された場合、その評価に対応する評価点がユーザの得点に加算される。評価と評価点との関係は図5及び図6に示す通りである。図5及び図6に示すように、評価が高いほど、評価点も高くなる。
【0055】
さらに、カラオケ画面40にはコンボ数48が表示される。コンボ数48は、ユーザが比較的高い評価(例えばEXCELLENT」又は「GREAT」)を連続して得た回数である。また、カラオケ画面40にはゲージ49が表示される。ゲージ49の長さはユーザに与えられた評価に基づいて変化する。例えば、ユーザに与えられた評価が比較的高い「EXCELLENT」、「GREAT」、又は「GOOD」であった場合にゲージ49は伸張し、評価が比較的低い「ALMOST」又は「BOO」であった場合にゲージ49は収縮する。
【0056】
ところで、カラオケシステム10では、歌を歌うことが得意でないユーザであっても、比較的高い評価を得ることができるように補助するための機能を有している。以下、この補助機能について説明する。
【0057】
カラオケシステム10では、ユーザの歌唱音声の音量に基づいて、評価判断基準が変化するようになっている。具体的には、ユーザの歌唱音声の音量が大きくなると、評価判断基準が緩くなり、比較的高い評価を得やすくなるようになっている。このため、歌を歌うことが得意でないユーザであっても、大きい声で歌うことによって、比較的高い評価を得やすくなるようになっている。
【0058】
図8は、ユーザの歌唱音声の音量が大きい場合のカラオケ画面40の一例を示す。ユーザの歌唱音声の音量が大きい場合、図8に示すように、歌唱アイコン45の大きさが大きくなる。上述したように、歌唱アイコン45の大きさは「GREAT」以上の評価を得ることができるような音高のずれ(Δp)及びタイミングのずれ(Δt)の大きさに対応している。このため、この場合、音高のずれ(Δp)及びタイミングのずれ(Δt)の大きさがある程度大きくても、「GREAT」以上の評価をユーザが得ることができるようになる。
【0059】
上述したように,図8に示すようなカラオケ画面40が表示される場合(すなわち、ユーザの歌唱音声の音量が大きい場合)には評価判断基準が緩くなる。図9及び図10は、図8に示すようなカラオケ画面40が表示される場合(すなわち、ユーザの歌唱音声の音量が大きい場合)の評価判断基準の一例を示している。
【0060】
図9に示す評価判断基準は図5に示す評価判断基準に比べて緩くなっている。例えば、図5に示す評価判断基準では、模範音声とユーザの歌唱音声との間の音高のずれ(Δp)がP1以上であってかつP2未満である場合に「GREAT」の評価がユーザに与えられるようになっている。これに対し、図9に示す評価判断基準では、音高のずれ(Δp)がP1以上であってかつP2未満である場合に、「GREAT」よりも高い評価である「EXCELLENT」がユーザに与えられるようになっている。
【0061】
また、図5に示す評価判断基準では、音高のずれ(Δp)が「P2」以上であってかつ「P3」未満である場合に「GOOD」の評価がユーザに与えられるようになっている。これに対し、図9に示す評価判断基準では、音高のずれ(Δp)が「P2」以上であってかつ「P3」未満である場合に、「GOOD」よりも高い評価である「GREAT」がユーザに与えられるようになっている。
【0062】
以上のように、ユーザの歌唱音声の音量が大きくない場合、音高のずれ(Δp)が「P2」未満でなければ、「GREAT」以上の評価をユーザが得ることができないが、ユーザの歌唱音声の音量が大きくなると、音高のずれ(Δp)が「P2」以上であっても、音高のずれ(Δp)が「P3」未満であれば、「GREAT」以上の評価をユーザが得ることができる。つまり、ユーザの歌唱音声の音量が大きい場合の評価判断基準(図9参照)では、ユーザの歌唱音声の音量が大きくない場合の評価判断基準(図5参照)に比べて、「GREAT」以上の評価を得るためにユーザが満たすべき音高のずれ(Δp)が大きくなっている。その結果、ユーザが「GREAT」以上の評価を得やすくなっている。
【0063】
同様に、図10に示す評価判断基準は図6に示す評価判断基準に比べて緩くなっている。例えば、図6に示す評価判断基準では、ユーザが歌唱すべきタイミング(模範タイミング)と、ユーザが実際に歌唱したタイミングとの間のずれ(Δt)が「T1」以上であってかつ「T2」未満である場合に「GREAT」の評価がユーザに与えられるようになっている。これに対し、図10に示す評価判断基準では、タイミングのずれ(Δt)が「T1」以上であってかつ「T2」未満である場合に、「GREAT」よりも高い評価である「EXCELLENT」がユーザに与えられるようになっている。
【0064】
また、図6に示す評価判断基準では、タイミングのずれ(Δt)が「T2」以上であってかつ「T3」未満である場合に「GOOD」の評価がユーザに与えられるようになっている。これに対し、図10に示す評価判断基準では、タイミングのずれ(Δt)が「T2」以上であってかつ「T3」未満である場合に、「GOOD」よりも高い評価である「GREAT」がユーザに与えられるようになっている。
【0065】
以上のように、ユーザの歌唱音声の音量が小さい場合、タイミングのずれ(Δt)が「T2」未満でなければ、「GREAT」以上の評価をユーザが得ることができないが、ユーザの歌唱音声の音量が大きくなると、タイミングのずれ(Δt)が「T2」以上であっても、タイミングのずれ(Δt)が「T3」未満であれば、「GREAT」以上の評価をユーザが得ることができる。つまり、ユーザの歌唱音声の音量が大きい場合の評価判断基準(図10参照)では、ユーザの歌唱音声の音量が大きくない場合の評価判断基準(図6参照)に比べて、「GREAT」以上の評価を得るためにユーザが満たすべきタイミングのずれ(Δt)が大きくなっている。その結果、ユーザが「GREAT」以上の評価を得やすくなっている。
【0066】
以下、上記のような機能を実現するための構成について説明する。図11は、カラオケシステム10で実現される機能を示す機能ブロック図である。図11に示すように、カラオケシステム10は、記憶部60、音声出力制御部61、評価判断基準取得部62、比較部63、及び評価部64を含む。
【0067】
記憶部60は例えば光ディスク33、メモリカード34、及び主記憶14によって実現される。なお、記憶部60は、家庭用ゲーム機11と通信ネットワークを介してデータ授受可能な装置に備えられる補助記憶装置(例えばハードディスク装置)によって実現されるようにしてもよい。すなわち、記憶部60に記憶されることとして説明するデータの全部又は一部は上記の補助記憶装置に記憶されるようにしてもよい。一方、記憶部60以外の機能ブロックは、例えば制御部13が光ディスク33に記憶されたプログラムを実行することによって実現される。
【0068】
記憶部60は各種データを記憶する。本実施形態の場合、記憶部60は複数の楽曲データを記憶する。図12は、一の楽曲に対応する楽曲データの一例を示す図である。図11に示すように、楽曲データは、伴奏音楽データ、歌詞データ、模範データ、及び背景画像データを含む。伴奏音楽データは楽曲の伴奏パートを所定のデータ形式で保存したものである。伴奏音楽データは例えばMIDIデータ等である。歌詞データは楽曲の歌詞を示すデータである。背景画像データは、カラオケ画面40の背景として表示される画像を表すものである。
【0069】
模範データは、音楽に合わせてユーザが行うべき模範の音声入力を示すデータである。すなわち、模範データは、音楽に合わせてユーザが音声を入力すべきタイミング(期間)と、音楽に合わせてユーザが入力すべき音声(模範音声)とを示す。具体的には、模範音声データは、伴奏音楽に合わせてユーザが歌詞を歌うべきタイミング(期間)と、伴奏音楽に合わせて歌を歌うユーザが模範とすべき音声(模範音声)とを示す。
【0070】
歌詞データと模範データとは関連づけられている。このため、歌詞の各部分をどのタイミング(期間)において歌うべきかと、歌詞の各部分をどの音高で歌うべきかとの両方が歌詞データと模範データとに基づいて特定されるようになっている。
【0071】
また、記憶部60は、模範データが示す模範の音声入力と音声入力部31を介して行われた音声入力との比較結果に基づいて、ユーザの音声入力に対する評価を判断するための評価判断基準を記憶する。評価判断基準は、上記比較結果に関する比較結果条件と、ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる情報である。本実施形態の場合、図5、図6、図9、及び図10に示すような評価判断基準が記憶部60に記憶される。
【0072】
図5及び図9に示す評価判断基準は、模範データが示す模範音声の音高と、音声入力部31を介して入力されたユーザの音声の音高と、の比較結果に関する比較結果条件と、評価情報とを対応づけてなる情報である。図5及び図9に示す評価判断基準の「音高のずれ(p)」フィールドが「比較結果条件」に相当する。また、「評価」及び「評価値」フィールドが「評価情報」に相当する。
【0073】
図6及び図10に示す評価判断基準は、模範データが示す模範タイミング(ユーザが音声を入力すべきタイミング)と、音声入力部31を介してユーザの音声が入力されたタイミングと、の比較結果に関する比較結果条件と、評価情報とを対応づけてなる情報である。図6及び図10に示す評価判断基準の「タイミングのずれ(t)」フィールドが「比較結果条件」に相当する。また、「評価」及び「評価値」フィールドが「評価情報」に相当する。
【0074】
本実施形態の場合、記憶部60は、音声の特徴情報に関する複数の特徴条件の各々に対応づけて、評価判断基準を記憶する。「音声の特徴情報」は、例えば音声の音量に関する情報である。なお、「音声の特徴情報」は、例えば音声の周波数成分に関する情報であってもよい。
【0075】
図13は記憶部60の記憶内容の一例を示す。図13に示すように、記憶部60は、音量(v)に関する音量条件と、評価判断基準と、を対応づけて記憶する。図13において「評価判断基準A」は図5及び図6に示す評価判断基準であり、「評価判断基準B」は図9及び図10に示す評価判断基準である。上述したように、図9及び図10に示す評価判断基準は図5及び図6に示す評価判断基準よりも緩い。このため、図13に示す例では、比較的小さい音量(v)を示す音量範囲「v<Vr」には、比較的厳しい評価判断基準が関連づけられており、比較的大きい音量(v)を示す音量範囲「Vr≦v」に関しては、比較的緩い評価判断基準が関連づけられている。
【0076】
音声出力制御部61は、伴奏音楽データに基づいて伴奏音楽を音声出力部32から出力する。例えば、音声出力制御部61は音源を有し、この音源と伴奏音楽データ(MIDIデータ)とに基づいて、伴奏音楽を再生する。なお、音声出力制御部61は、伴奏音楽と、音声入力部31を介して入力されたユーザの歌唱音声と、を合成して音声出力部32から出力させる。
【0077】
評価判断基準取得部62は評価判断基準を取得する。また、評価判断基準取得部62は、音声入力部31を介して入力されたユーザの音声の特徴情報を取得し、ユーザの音声の特徴情報に基づいて評価判断基準を変える。すなわち、評価判断基準取得部62は、模範データが示す模範の音声入力と音声入力部31を介して行われた音声入力との比較結果に関する比較結果条件と、ユーザの音声入力に対する評価に関する評価情報との対応関係を、ユーザの音声の特徴情報に基づいて変える。なお、上述したように、「ユーザの音声の特徴情報」は、例えば、ユーザの音声の音量又は周波数成分等である。
【0078】
本実施形態の場合、評価判断基準取得部62は、記憶部60に記憶される評価判断基準のうちの、ユーザの音声の音量(v)が満足する音量条件に対応づけられた評価判断基準を取得する(図13参照)。
【0079】
比較部63は、模範データが示す模範の音声入力と、音声入力部31を介して行われた音声入力と、を比較する。例えば、比較部63は、音声入力部31を介して入力されたユーザの歌唱音声の音高を解析し、模範データが示す模範音声の音高と、ユーザの歌唱音声の音高とを比較する。すなわち、比較部63は、模範データが示す模範音声の音高と、ユーザの歌唱音声の音高との間のずれ(Δp)を取得する。
【0080】
また、例えば、比較部63は、模範データが示す模範タイミング(ユーザが歌唱すべきタイミング)と、音声入力部31を介してユーザの歌唱音声が入力されたタイミングとを比較する。すなわち、比較部63は、模範データが示す模範タイミングと、音声入力部31を介してユーザの歌唱音声が入力されたタイミングとの間のずれ(Δt)を取得する。
【0081】
評価部64は、比較部63の比較結果と、評価判断基準取得部62によって取得された評価判断基準とに基づいて、ユーザの音声入力に対する評価を判断する。本実施形態の場合、評価部64は、模範データが示す模範音声の音高とユーザの歌唱音声の音高との間のずれ(Δp)と、評価判断基準取得部62によって取得された評価判断基準(図5,9参照)とに基づいて、ユーザの歌唱に対する評価を判断する。また、評価部64は、模範データが示す模範タイミングと音声入力部31を介してユーザの歌唱音声が入力されたタイミングとの間のずれ(Δt)と、評価判断基準取得部62によって取得された評価判断基準(図6,10参照)とに基づいて、ユーザの歌唱に対する評価を判断する。
【0082】
次に、カラオケシステム10で実行される処理について説明する。図14はカラオケシステム10で実行される処理のうちの、本発明に関連する処理を主に示すフロー図である。制御部13は光ディスク33に記憶されるプログラムに従って、図14に示す処理を実行する。制御部13が図14に示す処理を実行することによって、図11に示す機能ブロックが実現される。
【0083】
図14に示すように、まず制御部13は、カラオケ画面40の表示と伴奏音楽の再生とを開始する(S101)。以降、制御部13(音声出力制御部61)は、伴奏音楽と、音声入力部31を介して入力されるユーザの歌唱音声とを合成して音声出力部32から出力させる。また、制御部13は、伴奏音楽の再生が終了するまでの間、ステップS102〜S109の処理を所定時間(例えば1/60秒)ごとに繰り返し実行する。
【0084】
まず、制御部13(比較部63)は、模範データと、音声入力部31を介して入力されたユーザの歌唱音声とに基づいて、歌唱音声と模範音声との比較を実行する(S102)。
【0085】
ステップS102において、例えば、制御部13は模範データに基づいて模範音声の音高を取得する。また、制御部13は音声入力部31を介して入力されたユーザの歌唱音声の音高を判断する。そして、制御部13は歌唱音声の音高と模範音声の音高との間のずれ(Δp)を取得する。
【0086】
また、ステップS102において、例えば、制御部13は、模範データが示す模範タイミングと、音声入力部31を介してユーザの歌唱音声が入力されたタイミングとの間のずれ(Δt)を取得する。なお、タイミングのずれ(Δt)は、個々のタイミングに関して取得するのではなく、個々のパートの歌い始めの部分に関してのみ取得するようにしてもよい。例えば、図2に示す歌詞41の場合、歌い始めの文字である「A」を発声すべき標準タイミングと、ユーザが実際に「A」を発声したタイミングとの間のずれ(Δt)を取得し、他の文字(例えば「B」等)に関しては、タイミングのずれ(Δt)を取得しないようにしてもよい。
【0087】
歌唱音声と模範音声との比較が実行された後、制御部13(評価判断基準取得部62)は音声入力部31を介して入力されたユーザの歌唱音声を分析することによって、ユーザの歌唱音声の音量(v)を取得する(S103)。そして、制御部13(評価判断基準取得部62)は、ステップS103で取得された音量(v)に対応づけられた評価判断基準を記憶部60から取得する(S104)。例えば、音量(v)が基準音量(Vr)よりも小さい場合、図5及び図6に示す評価判断基準が取得される。一方、音量(v)が基準音量(Vr)以上である場合、図9及び図10に示す評価判断基準が取得される。
【0088】
評価判断基準が取得された後、制御部13(評価部64)は、ステップS102における比較結果と、ステップS104で取得された評価判断基準とに基づいて評価を決定する(S105)。その後、制御部13は、ステップS105において決定された評価に基づいて、主記憶14に記憶される得点を更新する(S106)。例えば、制御部13は、評価に対応づけられた評価点を、主記憶14に記憶される得点に加算する。
【0089】
その後、制御部13はカラオケ画面40を更新する(S107)。ステップS107では、例えば下記に説明するような処理が実行される。
【0090】
例えば、ステップS107ではピアノロール画像42をスクロールするための処理が実行される。具体的には、まず、音声入力部31を介して入力されているユーザの歌唱音声の音高が基本範囲に含まれているか否かが判定される。ここで、「基本範囲」とは、例えば、ピアノロール画像42における基本音高を中心とする1オクターブの範囲である。例えば図2に示すピアノロール画像42の場合であれば、「基本範囲」とは、ピアノロール画像42の第1領域42aに含まれる音高画像43iに対応する音高から、第1領域42aに含まれる音高画像43oに対応する音高までの範囲である。
【0091】
ユーザの歌唱音声の音高が基本範囲に含まれていない場合とは、ユーザの音声の音高が、第1領域42aに含まれる音高画像43に対応する音高でなくなった場合である。この場合、制御部13は、ユーザの歌唱音声の音高に基づいて、ピアノロール画像42における基本音高を変更する。すなわち、ユーザの歌唱音声の音高がピアノロール画像42における基本音高として設定される。
【0092】
ピアノロール画像42における基本音高が変更された場合、変更後の基本音高に基づいて、ピアノロール画像42が更新される。この場合、ピアノロール画像42の基本音高が上がる又は下がる結果として、ピアノロール画像42がスクロールすることになる。
【0093】
また、ステップS107では、音声入力部31を介して入力されているユーザの歌唱音声の音高に基づいて、歌唱アイコン45が表示される。すなわち、ユーザの歌唱音声の音高に対応する音高画像43上に歌唱アイコン45が表示される。
【0094】
なお、歌唱アイコン45の大きさは、音声入力部31を介して入力されているユーザの歌唱音声の音量(v)に基づいて設定される。ユーザの歌唱音声の音量(v)が基準音量(Vr)よりも小さい場合、歌唱アイコン45は通常の大きさ(図2に示す大きさ)に設定される。一方、ユーザの歌唱音声の音量(v)が基準音量(Vr)以上である場合、歌唱アイコン45は、通常の大きさよりも大きい大きさ(図8に示す大きさ)に設定される。
【0095】
また、ステップS107では、歌詞データ及び模範データに基づいて、歌詞41や模範音声案内画像46が表示される。さらに、ステップS107では得点47、コンボ数48及びゲージ49も更新される。さらに、ステップS107で決定された評価を示すメッセージ50が表示される。
【0096】
カラオケ画面40が更新された後、制御部13は伴奏音楽の再生が終了したか否かを判定する(S108)。伴奏音楽の再生が終了していない場合、制御部13はステップS102の処理を実行する。一方、伴奏音楽の再生が終了した場合、制御部13は成績画面を表示部30に表示する(S109)。そして、本処理は終了する。
【0097】
以上説明したカラオケシステム10によれば、例えば、ユーザの歌唱音声の音量に基づいて、ユーザの歌唱に対する評価を判断するための評価判断基準を変化させることが可能になる。例えば、ユーザの歌唱音声の音量が比較的大きい場合には、ユーザの歌唱音声の音量が比較的大きくない場合に比べて、評価判断基準が緩くなるようにすることが可能になる。
【0098】
その結果、歌を歌うことが得意でないユーザであっても、比較的大きい声で歌うことによって、比較的高い評価を得やすくなるようにすることが可能になる。すなわち、歌を歌うことが得意でないユーザであっても、比較的高い評価を得ることができるように補助することが可能になる。
【0099】
なお、本発明は以上に説明した実施形態に限定されるものではない。
【0100】
(1)例えば、以上に説明した実施形態では、音量(v)が基準音量(Vr)未満である場合の評価判断基準(図5,6参照)と、音量(v)が基準音量(Vr)以上である場合の評価判断基準(図9,10参照)とがあらかじめ記憶部60に記憶されるようになっていた。
【0101】
しかしながら、例えば、記憶部60は一つの評価判断基準のみを基本の評価判断基準としてあらかじめ記憶するようにしてもよい。そして、評価判断基準取得部62は、基本の評価判断基準に基づいて、他の評価判断基準を生成するようにしてもよい。すなわち、評価判断基準取得部62は、基本の評価判断基準を変更することによって、他の評価判断基準を生成するようにしてもよい。
【0102】
この場合、記憶部60は、音量条件(音声の特徴情報に関する特徴条件)に対応づけて、基本の評価判断基準をどのように変更すべきかを示す変更情報を記憶するようにすればよい。そして、評価判断基準取得部62は、音声入力部31を介して入力されたユーザの音声の音量(特徴情報)が満足する音量条件に対応づけられた変更情報に基づいて、基本の評価判断基準を変更することによって、他の評価判断基準を生成するようにすればよい。
【0103】
具体的には、例えば、記憶部60は、音量(v)が基準音量(Vr)未満である場合の評価判断基準(図5,6参照)を基本の評価判断基準としてあらかじめ記憶するようにしてもよい。そして、評価判断基準取得部62は、音量(v)が基準音量(Vr)未満である場合の評価判断基準(図5,6参照)を変更することによって、音量(v)が基準音量(Vr)以上である場合の評価判断基準(図9,10参照)を生成するようにしてもよい。
【0104】
この場合、例えば、音量(v)が基準音量(Vr)以上である場合に、音量(v)が基準音量(Vr)未満である場合の評価判断基準(図5,6参照)をどのように変更すべきかを示す変更情報が記憶部60に記憶される。例えば、この場合の変更情報は、音高のずれ(Δp)が「P1」以上であってかつ「P2」未満である場合の評価及び評価値を「GREAT」及び「7」から「EXCELLENT」及び「10」に変更することを示すものになる。また、例えば、この場合の変更情報は、タイミングのずれ(Δt)が「T1」以上であってかつ「T2」未満である場合の評価及び評価値を「GREAT」及び「7」から「EXCELLENT」及び「10」に変更することを示すものになる。
【0105】
そして、音声入力部31を介して入力されたユーザの歌唱音声の音量(v)が基準音量(Vr)以上である場合、評価判断基準取得部62は、音量(v)が基準音量(Vr)未満である場合の評価判断基準(図5,6参照)を上記変更情報に基づいて変更することによって、音量(v)が基準音量(Vr)以上である場合の評価判断基準(図9,10参照)を生成する。
【0106】
(2)また例えば、以上に説明した実施形態では、二つの音量条件(音量範囲)の各々に対応づけて評価判断基準が記憶されるようになっていたが(図13参照)、三つ以上の音量条件(音量範囲)の各々に対応づけて評価判断基準が記憶されるようにしてもよい。
【0107】
(3)また例えば、評価判断基準取得部62は、歌唱の周期的な周波数変動であるビブラートがユーザの歌唱音声にかかっているか否かに基づいて、評価判断基準を変えるようにしてもよい。この場合、ユーザの歌唱音声にビブラートがかかっているか否かの情報が「音声の特徴情報」に相当する。
【0108】
例えば、ユーザの歌唱音声にビブラートがかかっている場合、評価判断基準取得部62は、音高のずれ(Δp)に関連する評価判断基準を変えるようにしてもよい。図15は、ユーザの歌唱音声にビブラートがかかっている場合の評価判断基準の一例を示す。
【0109】
図15に示す評価判断基準は図5に示す評価判断基準に比べて緩くなっている。例えば、図5に示す評価判断基準では、模範音声とユーザの歌唱音声との間の音高のずれ(Δp)が「P1」以上であってかつ「P3」未満である場合に「GREAT」又は「GOOD」の評価がユーザに与えられるようになっている。これに対し、図15に示す評価判断基準では、音高のずれ(Δp)が「P1」以上であってかつ「P3」未満である場合に、「GREAT」及び「GOOD」よりも高い評価である「EXCELLENT」がユーザに与えられるようになっている。
【0110】
また例えば、図5に示す評価判断基準では、音高のずれ(Δp)が「P3」以上であってかつ「P4」未満である場合に「ALMOST」の評価がユーザに与えられるようになっている。これに対し、図15に示す評価判断基準では、音高のずれ(Δp)が「P3」以上であってかつ「P4」未満である場合に、「ALMOST」よりも高い評価である「GREAT」がユーザに与えられるようになっている。
【0111】
ユーザの歌唱音声にビブラートがかかっていない場合、音高のずれ(Δp)が「P2」未満でなければ、「GREAT」以上の評価をユーザが得ることができないが、ユーザの歌唱音声にビブラートがかかっていると、音高のずれ(Δp)が「P2」以上であっても、音高のずれ(Δp)が「P4」未満であれば、「GREAT」以上の評価をユーザが得ることができる。つまり、ユーザの歌唱音声にビブラートがかかっている場合の評価判断基準(図15参照)では、ユーザの歌唱音声にビブラートがかかっていない場合の評価判断基準(図5参照)に比べて、「GREAT」以上の評価を得るためにユーザが満たすべき音高のずれ(Δp)が大きくなっている。その結果、ユーザが「GREAT」以上の評価を得やすくなっている。
【0112】
なお、図16は、この場合のカラオケ画面40の一例を示す。この場合、音高のずれ(Δp)に関連する評価判断基準のみが緩くなり、タイミングのずれ(Δt)に関連する評価判断基準は緩くならないため、図16に示すように、歌唱アイコン45の形状はP軸方向に伸びた形状になる。
【0113】
この変形例(3)によれば、ユーザの歌唱に対する評価を判断するための評価判断基準を、ユーザの歌唱音声にビブラートがかかっているか否かに基づいて変化させることが可能になる。こうすれば、歌唱音声にビブラートをかけることの興趣を向上することが可能になる。
【0114】
(4)例えば、本発明は、ユーザが音楽に合わせてゲーム操作と音声入力とを行うようなゲームを実行するゲームシステム(音声入力評価システム)においてユーザの音声入力を評価するような場合にも適用することが可能である。例えば、ユーザが音楽に合わせて踊りながら歌を歌うようなゲームや、ユーザが音楽に合わせて踊りながらハミングを行うようなゲームを実行するゲームシステムにも本発明は適用することが可能である。また例えば、ユーザが音楽に合わせて、楽器(例えばドラム又はギター等)の演奏を模したゲーム操作を行いながら歌を歌うようなゲームを実行するゲームシステムにも本発明は適用することが可能である。
【符号の説明】
【0115】
10 カラオケシステム、11 家庭用ゲーム機、12 バス、13 制御部、14 主記憶、15 画像処理部、16 音声処理部、17 光ディスクドライブ、18 メモリカードスロット、19 通信インタフェース、20 操作部、30 表示部、31 音声入力部、32 音声出力部、33 光ディスク、34 メモリカード、40 カラオケ画面、41 歌詞、42 ピアノロール画像、42a 第1領域、42b,42d 第2領域、42c,42e 第3領域、43a〜43w 音高画像、44 基準ライン、45 歌唱アイコン、46 模範音声案内画像、47 得点、48 コンボ数、49 ゲージ、50 メッセージ、60 記憶部、61 音声出力制御部、62 評価判断基準取得部、63 比較部、64 評価部。
【技術分野】
【0001】
本発明は音声入力評価システム、音声入力評価システムの制御方法、及びプログラムに関する。
【背景技術】
【0002】
音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムが知られている。伴奏音楽に合わせてユーザが行った歌唱を評価するカラオケシステムが知られている(例えば特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−208196号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記のようなカラオケシステムではユーザの歌唱音声と標準音声とが比較されて、ユーザの歌唱に対する評価が決定される。一般的に、ユーザの歌唱音声と標準音声との差が小さいほど、ユーザに対する評価が高くなる。しかしながら、従来のカラオケシステムでは、歌を歌うことが得意でないユーザは高い評価を得ることができず、歌を歌うことが得意でないユーザが不満を感じてしまう場合があった。このため、上記のようなカラオケシステムでは、例えば、歌を歌うことが得意でないユーザが比較的高い評価を得ることができるように補助する機能の実現が強く望まれる。
【0005】
本発明は上記課題に鑑みてなされたものであって、その目的は、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムにおいて、例えば、ユーザが比較的高い評価を得ることができるように補助することが可能な音声入力評価システム、音声入力評価システムの制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明に係る音声入力評価システムは、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムにおいて、前記ユーザが音声を入力するための音声入力手段と、前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得する手段と、前記模範データが示す模範の音声入力と前記音声入力手段を介して行われた音声入力との比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得手段と、前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較手段と、前記比較手段の比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価手段と、を含み、前記取得手段は、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変えることを特徴とする。
【0007】
また、本発明に係る音声入力評価システムの制御方法は、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムの制御方法において、前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得するステップと、前記模範データが示す模範の音声入力と、前記ユーザが音声を入力するための音声入力手段を介して行われた音声入力と、の比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得ステップと、前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較ステップと、前記比較ステップにおける比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価ステップと、を含み、前記取得ステップは、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変えるステップを含むことを特徴とする。
【0008】
また、本発明に係るプログラムは、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムとしてコンピュータを機能させるためのプログラムであって、前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得する手段、前記模範データが示す模範の音声入力と、前記ユーザが音声を入力するための音声入力手段を介して行われた音声入力と、の比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得手段、前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較手段、及び、前記比較手段の比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価手段、として前記コンピュータを機能させ、前記取得手段は、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変えることを特徴とするプログラムである。
【0009】
また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
【0010】
本発明によれば、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムにおいて、例えば、ユーザが比較的高い評価を得ることができるように補助することが可能になる。
【0011】
また本発明の一態様では、前記取得手段は、音声の特徴情報に関する複数の特徴条件の各々に対応づけて前記評価判断基準を記憶してなる手段に記憶される前記評価判断基準のうちの、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報が満足する前記特徴条件に対応づけられた前記評価判断基準を取得するようにしてもよい。
【0012】
また本発明の一態様では、前記取得手段は、基本の評価判断基準を記憶してなる手段に記憶される前記基本の評価判断基準を取得する手段を含み、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記基本の評価判断基準を変更することによって、前記評価判断基準を取得するようにしてもよい。
【0013】
また本発明の一態様では、前記模範データは、前記音楽に合わせて前記ユーザが入力すべき模範音声を少なくとも示すようにしてもよい。前記評価判断基準は、前記模範データが示す模範音声の音高と、前記音声入力手段を介して入力された前記ユーザの音声の音高と、の比較結果に関する比較結果条件と、前記評価情報と、を対応づけてなる情報であってもよい。前記比較手段は、前記模範データが示す模範音声の音高と、前記音声入力手段を介して入力された前記ユーザの音声の音高と、を比較するようにしてもよい。
【0014】
また本発明の一態様では、前記模範データは、前記ユーザが音声を入力すべき模範タイミングを少なくとも示すようにしてもよい。前記評価判断基準は、前記模範データが示す模範タイミングと、前記音声入力手段を介して前記ユーザの音声が入力されたタイミングと、の比較結果に関する比較結果条件と、前記評価情報と、を対応づけてなる情報であってもよい。前記比較手段は、前記模範データが示す模範タイミングと、前記音声入力手段を介して前記ユーザの音声が入力されたタイミングと、を比較するようにしてもよい。
【0015】
また本発明の一態様では、前記特徴情報は、音声の音量に関する情報と、音声にビブラートがかかっているか否かに関する情報と、の少なくとも一方を含むようにしてもよい。
【0016】
また本発明の一態様では、前記音声入力評価システムは、前記音楽に合わせてユーザが歌唱するカラオケシステム、又は、前記音楽に合わせてユーザが音声入力を行うゲームを実行するゲームシステムであってもよい。
【図面の簡単な説明】
【0017】
【図1】本発明の実施形態に係るカラオケシステム(音声入力評価システム)のハードウェア構成を示す図である。
【図2】カラオケ画面の一例を示す図である。
【図3】ピアノロール画像について説明するための図である。
【図4】カラオケ画面の他の一例を示す図である。
【図5】評価判断基準の一例を示す図である。
【図6】評価判断基準の他の一例を示す図である。
【図7】カラオケ画面の他の一例を示す図である。
【図8】カラオケ画面の他の一例を示す図である。
【図9】評価判断基準の他の一例を示す図である。
【図10】評価判断基準の他の一例を示す図である。
【図11】カラオケシステムの機能ブロック図である。
【図12】楽曲データの一例を示す図である。
【図13】記憶部の記憶内容の一例を示す図である。
【図14】カラオケシステムで実行される処理の一例を示すフロー図である。
【図15】評価判断基準の他の一例を示す図である。
【図16】カラオケ画面の他の一例を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態について図面に基づき詳細に説明する。ここでは、音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムの一態様であるカラオケシステムに本発明を適用した場合について説明する。以下では、本発明の実施形態に係るカラオケシステムを家庭用ゲーム機(据置型ゲーム機)を用いて実現する場合について説明する。なお、本発明の実施形態に係るカラオケシステムは、例えば、携帯ゲーム機、業務用ゲーム機、携帯電話機、携帯情報端末、又はパーソナルコンピュータを用いて実現されるようにしてもよい。また、本発明の実施形態に係るカラオケシステムは、カラオケ機能を提供する目的で製造されたカラオケ専用の装置として実現されるようにしてもよい。
【0019】
図1は、本発明の実施形態に係るカラオケシステム(音声入力評価システム)のハードウェア構成を示す。図1に示すように、カラオケシステム10は家庭用ゲーム機11、表示部30、音声入力部31、音声出力部32、光ディスク33(情報記憶媒体)、及びメモリカード34(情報記憶媒体)を含む。
【0020】
表示部30、音声入力部31、及び音声出力部32は家庭用ゲーム機11に接続される。例えば、表示部30は液晶ディスプレイ又はプラズマディスプレイ等の表示装置である。また、音声入力部31はユーザが音声を入力するためのものである。例えば、音声入力部31はマイク等の音声入力装置であり、入力された音声を電気信号に変換する。また例えば、音声出力部32は表示装置に備えられたスピーカ又はヘッドホンである。
【0021】
家庭用ゲーム機11はコンピュータシステムであり、バス12、制御部13、主記憶14、画像処理部15、音声処理部16、光ディスクドライブ17、メモリカードスロット18、通信インタフェース(I/F)19、及び操作部20を含む。
【0022】
バス12はアドレス及びデータを家庭用ゲーム機11の各部でやり取りするために用いられる。制御部13、主記憶14、画像処理部15、音声処理部16、光ディスクドライブ17、メモリカードスロット18、通信インタフェース19、及び操作部20は、バス12によって相互データ通信可能に接続される。
【0023】
制御部13は例えば一又は複数のマイクロプロセッサを含み、例えば光ディスク33から読み出されるプログラムに基づいて、家庭用ゲーム機11の各部の制御処理や各種情報処理を実行する。主記憶14は例えばRAMを含み、光ディスク33又はメモリカード34から読み出されたプログラム及びデータが必要に応じて書き込まれる。主記憶14は制御部13の作業用としても用いられる。
【0024】
画像処理部15はVRAMを含み、制御部13から送られる画像データに基づいてVRAM上に画面を描画し、その画面を表示部30に表示する。音声処理部16はサウンドバッファを含み、光ディスク33又はメモリカード34からサウンドバッファに読み出された各種音声データ(音楽、効果音、メッセージ等)を音声出力部32から出力する。また、音声処理部16は音声入力部31から出力される音声信号を制御部13に供給する。
【0025】
光ディスクドライブ17は、光ディスク33に記録されたプログラムやデータを読み取る。ここではプログラムやデータを家庭用ゲーム機11に供給するために光ディスク33を用いることとするが、例えばメモリカード34等の他のあらゆる情報記憶媒体を用いるようにしてもよい。また、インターネット等のデータ通信網を介して遠隔地からプログラムやデータを家庭用ゲーム機11に供給するようにしてもよい。
【0026】
通信インタフェース19は、インターネットなどのデータ通信網に通信接続するためのインタフェースである。メモリカードスロット18はメモリカード34を装着するためのインタフェースである。メモリカード34は不揮発性メモリ(例えばEEPROMなど)を含み、各種データを記憶する。なお、カラオケシステム10はハードディスク装置(補助記憶装置)を備えるようにしてもよい。光ディスク33又はメモリカード34に記憶されることとして説明するプログラムやデータはハードディスク装置に記憶されるようにしてもよい。
【0027】
操作部20はユーザが操作を行うためのものである。操作部20は複数の操作部材を備える。操作部20の各操作部材の状態は一定周期毎(例えば1/60秒ごと)にスキャンされ、そのスキャン結果を表す操作信号が制御部13に供給される。制御部13は操作信号に基づいてユーザの操作を判断する。
【0028】
カラオケシステム10ではユーザが伴奏音楽に合わせて歌唱する。音声出力部32からは伴奏音楽とユーザの歌唱音声とが混合されて出力される。また、カラオケシステム10ではユーザの歌唱に評価が与えられる。
【0029】
図2は、表示部30に表示されるカラオケ画面の一例を示す。カラオケ画面40にはユーザが歌うべき歌詞41が表示される。図2に示すカラオケ画面40には「ABCDEFGHIJKL」が歌詞41として表示されている。
【0030】
また、カラオケ画面40には、ユーザが歌詞41を歌うべきタイミング(期間)と、ユーザが発すべき音の高さ(音高)との両方をユーザに案内するためのピアノロール画像42が表示される。ピアノロール画像42は、音高の表記方法として一般的に用いられているピアノロールを模した画像になっている。
【0031】
ピアノロール画像42には、時間軸であるT軸と、音高に関する軸であるP軸とが設定されている。図2に示す例では、ピアノロール画像42の横方向がT軸方向になっており、ピアノロール画像42の縦方向がP軸方向になっている。
【0032】
図3は、ピアノロール画像42について説明するための図である。図3に示すピアノロール画像42は、複数の音高に対応する複数の音高画像43a〜43wを含んで構成される。なお、以下では、音高画像43a〜43wのことを総称して「音高画像43」と記載する場合がある。
【0033】
音高画像43は、横方向(T軸方向)の長さが縦方向(P軸方向)の長さに比べて長い矩形画像である。なお、白い音高画像43はピアノの白い鍵盤の音高に対応しており、斜線が付された音高画像43はピアノの黒い鍵盤の音高に対応している。
【0034】
音高画像43a〜43wは縦方向(P軸方向)に配列される。より高い音高に対応する音高画像43ほど、ピアノロール画像42内の上方に表示されるようになっている。つまり、ピアノロール画像42内で最も下に表示されている音高画像43aは、複数の音高のうちで最も低い音高に対応している。また、ピアノロール画像42内で最も上に表示されている音高画像43wは、複数の音高のうちで最も高い音高に対応している。
【0035】
ピアノロール画像42は縦方向に5つの領域(第1領域42a、第2領域42b,42d、第3領域42c,42e)に分けられる。第1領域42aはピアノロール画像42の中央に位置する領域である。第1領域42aには、基本音高に対応する音高画像43lと、基本音高より高い3つの音高に対応する3つの音高画像43m,43n,43oと、基本音高より低い3つの音高に対応する音高画像43i,43j,43kとが配列されている。言い換えれば、第1領域42aには、基本音高を中心とする1オクターブの7つの音高に対応する7つの音高画像43i〜43oが配列されている。
【0036】
第2領域42bは第1領域42aの上側に隣接する領域である。また、第3領域42cは第2領域42bの上側に隣接する領域である。第2領域42bには、音高画像43pに対応する音高より高い4つの音高に対応4つの音高画像43p,43q,43r,43sが配列されている。また、第3領域42cには、音高画像43sに対応する音高よりさらに高い4つの音高に対応する4つの音高画像43t,43u,43v,43wが配列されている。
【0037】
一方、第2領域42dは第1領域42aの下側に隣接している領域である。また、第3領域42eは第2領域42dの下側に隣接している領域である。第2領域42dには、音高画像43iに対応する音高より低い4つの音高に対応する4つの音高画像43e,43f,43g,43hが配列されている。また、第3領域42eには、音高画像43eに対応する音高よりさらに低い4つの音高に対応する4つの音高画像43a,43b,43c,43dが配列されている。
【0038】
なお、ピアノロール画像42は音高画像43のP軸方向の幅が一定でない点で一般的なピアノロールとは異なっている。音高画像43a〜43wの各々のP軸方向の幅は、該音高画像に対応する音高と、基本音高と、の差に応じた幅に設定されている。例えば、基本音高との差が比較的大きい音高に対応する音高画像43sのP軸方向の幅は、基本音高との差が比較的小さい音高に対応する音高画像43oのP軸方向の幅よりも小さく設定されている。
【0039】
すなわち、第2領域42b,42dに配列されている音高画像43e〜43h,43p〜43sのP軸方向の幅は、第1領域42aに配列されている音高画像43i〜43oのP軸方向の幅よりも狭くなっている。また、第3領域42c,42eに配列されている音高画像43a〜43d,43t〜43wのP軸方向の幅は、第2領域42b,42cに配列されている音高画像43e〜43h,43p〜43sのP軸方向の幅よりもさらに狭くなっている。このようにすることによって、比較的限られた画面領域内に、なるべく多くの音高に対応する音高画像43を表示することが可能になる。
【0040】
また、図2に示すように、ピアノロール画像42上には基準ライン44及び歌唱アイコン45が表示される。基準ライン44は、ピアノロール画像42上の、現時点に対応する位置に表示される。つまり、基準ライン44は現時点を示している。
【0041】
一方、歌唱アイコン45は、ピアノロール画像42(基準ライン44)上の、音声入力部31を介して入力されるユーザの音声の音高に対応する位置に表示される。つまり、歌唱アイコン45はユーザの音声の音高に対応する音高画像43上に表示される。つまり、歌唱アイコン45はユーザの音声の音高をユーザに案内する役割を果たしている。
【0042】
なお、本実施形態の場合、歌唱アイコン45が第1領域42a外に移動しようとすると(例えば図2に示す場合であれば、ユーザの音声の音高が、第1領域42aに含まれる音高画像43i〜43oに対応しない音高になると)、ピアノロール画像42がスクロールし、歌唱アイコン45がピアノロール画像42内のP軸方向中央の位置上に表示されるようになっている。このため、歌唱アイコン45は常に第1領域42a内に表示されるようになっている。
【0043】
さらに、ピアノロール画像42上には模範音声案内画像46が表示される。模範音声案内画像46は、ユーザが歌詞41を歌うべきタイミング(期間)と、ユーザが発すべき音声(模範音声)の高さ(音高)との両方をユーザに案内する役割を果たす。模範音声案内画像46の表示位置は、ユーザが歌詞41を歌うべきタイミングが到来するまでの残り時間と、模範音声の音高との両方に対応する位置に設定される。
【0044】
例えば、模範音声案内画像46の表示位置のP軸座標値は、模範音声の音高に対応する座標値に設定される。また、模範音声案内画像46の表示位置のT軸座標値は、ユーザが歌詞41を歌うべきタイミングが到来するまでの残り時間に対応する座標値に設定される。このため、模範音声案内画像46の表示位置は、ユーザが歌詞41を歌うべきタイミングが到来するまでの残り時間が少ないほど、基準ライン44からの距離が短くなるようにして設定されることになる。その結果、模範音声案内画像46は、時間経過に伴って右から左へと移動し、基準ライン44に接近する。そして、ユーザが歌うべきタイミングにおいて模範音声案内画像46は基準ライン44上に重なる。例えば、ユーザが歌詞41を歌い始めるべきタイミングにおいて模範音声案内画像46の先頭46aが基準ライン44に到達する。
【0045】
図2に示す時点から所定時間経過した時点におけるカラオケ画面40の一例を図4に示す。図4に示すカラオケ画面40では、模範音声案内画像46の一部が基準ライン44を通過している。すなわち、図4は、歌詞41の最初の部分がすでに歌われている状態を示している。
【0046】
図4に示すカラオケ画面40では、歌詞41が、黒字部分41aと、白字部分41bとを含んでいる。黒字部分41aは、歌うべきタイミングが既に経過している部分を示している。すなわち、黒字部分41aは、ユーザが既に歌い終わっているはずの部分を示している。一方、白字部分41bは、歌うべきタイミングがこれから到来する部分を示している。すなわち、白字部分41bは、ユーザがこれから歌う部分を示している。白字部分41bのうちの先頭の文字はユーザが次に発すべき音声に相当する。
【0047】
歌詞41の色の変化と模範音声案内画像46の移動とは同期している。このため、ユーザは歌詞41と模範音声案内画像46との両方を参照することによって、歌うべき歌詞と、その歌詞を歌うべきタイミング(期間)と、その歌詞をどの音高で歌うべきかと、を把握することができる。
【0048】
また、ユーザは歌唱アイコン45と模範音声案内画像46とを参照することによって、ユーザが発すべき音声(模範音声)の音高と、ユーザが実際に発している音声の音高と、が一致しているか否かも把握することができる。
【0049】
カラオケシステム10ではユーザの歌唱に評価が与えられる。例えば、ユーザが歌唱すべき音声(模範音声)の音高と、ユーザが実際に歌唱した音声の音高との間のずれ(Δp)に基づいて、「EXCELLENT」、「GREAT」、「GOOD」、「ALMOST」、及び「BOO」のうちのいずれかの評価が与えられる。「EXCELLENT」が最も高い評価であり、「BOO」が最も低い評価である。図5は評価判断基準の一例を示す図であり、音高のずれ(Δp)と評価との関係の一例を示す。音高のずれ(Δp)が小さいほど、ユーザに与えられる評価が高くなる。
【0050】
また、例えば、ユーザが歌唱すべきタイミング(模範タイミング)と、ユーザが実際に歌唱したタイミングとの間のずれ(Δt)に基づいて、「EXCELLENT」、「GREAT」、「GOOD」、「ALMOST」、及び「BOO」のうちのいずれかの評価が与えられる。図6は評価判断基準の一例を示す図であり、タイミングのずれ(Δt)と評価との関係の一例を示す。タイミングのずれ(Δt)が小さいほど、ユーザに与えられる評価が高くなる。
【0051】
なお、例えば、音高のずれ(Δp)に関する評価とタイミングのずれ(Δt)に関する評価とのうちの低い方がユーザの歌唱に対する評価になる。例えば、音高のずれ(Δp)に関する評価が「GREAT」であり、かつ、タイミングのずれ(Δt)に関する評価が「GOOD」である場合、ユーザの歌唱に対する評価は「GOOD」になる。
【0052】
ところで、歌唱アイコン45の大きさ(本実施形態の場合、歌唱アイコン45の半径)は、所定の評価(ここでは「GREAT」とする。)以上の評価を得ることができるような音高のずれ(Δp)及びタイミングのずれ(Δt)の大きさに対応する大きさに設定されている。このため、歌唱アイコン45と模範音声案内画像46とが重なっている場合には、音高のずれ(Δp)及びタイミングのずれ(Δt)の大きさが、「GREAT」以上の評価を得ることができるような範囲内におさまっていることになる。このため、ユーザは歌唱アイコン45と模範音声案内画像46とが重なるような音高及びタイミングで歌唱すれば、「GREAT」以上の評価を得ることができることになる。
【0053】
例えば、図4に示すカラオケ画面40では、歌唱アイコン45と模範音声案内画像46とが重なっている。この場合、「GREAT」以上の評価がユーザに与えられる。一方、例えば、図7に示すカラオケ画面40では、歌唱アイコン45と模範音声案内画像46とが重なっていない。この場合、「GREAT」よりも低い評価がユーザに与えられる。
【0054】
図4及び図7に示すように、カラオケ画面40には、ユーザに与えられた評価を示すメッセージ50が表示される。また、カラオケ画面40には得点47が表示される。ユーザに与える評価が決定された場合、その評価に対応する評価点がユーザの得点に加算される。評価と評価点との関係は図5及び図6に示す通りである。図5及び図6に示すように、評価が高いほど、評価点も高くなる。
【0055】
さらに、カラオケ画面40にはコンボ数48が表示される。コンボ数48は、ユーザが比較的高い評価(例えばEXCELLENT」又は「GREAT」)を連続して得た回数である。また、カラオケ画面40にはゲージ49が表示される。ゲージ49の長さはユーザに与えられた評価に基づいて変化する。例えば、ユーザに与えられた評価が比較的高い「EXCELLENT」、「GREAT」、又は「GOOD」であった場合にゲージ49は伸張し、評価が比較的低い「ALMOST」又は「BOO」であった場合にゲージ49は収縮する。
【0056】
ところで、カラオケシステム10では、歌を歌うことが得意でないユーザであっても、比較的高い評価を得ることができるように補助するための機能を有している。以下、この補助機能について説明する。
【0057】
カラオケシステム10では、ユーザの歌唱音声の音量に基づいて、評価判断基準が変化するようになっている。具体的には、ユーザの歌唱音声の音量が大きくなると、評価判断基準が緩くなり、比較的高い評価を得やすくなるようになっている。このため、歌を歌うことが得意でないユーザであっても、大きい声で歌うことによって、比較的高い評価を得やすくなるようになっている。
【0058】
図8は、ユーザの歌唱音声の音量が大きい場合のカラオケ画面40の一例を示す。ユーザの歌唱音声の音量が大きい場合、図8に示すように、歌唱アイコン45の大きさが大きくなる。上述したように、歌唱アイコン45の大きさは「GREAT」以上の評価を得ることができるような音高のずれ(Δp)及びタイミングのずれ(Δt)の大きさに対応している。このため、この場合、音高のずれ(Δp)及びタイミングのずれ(Δt)の大きさがある程度大きくても、「GREAT」以上の評価をユーザが得ることができるようになる。
【0059】
上述したように,図8に示すようなカラオケ画面40が表示される場合(すなわち、ユーザの歌唱音声の音量が大きい場合)には評価判断基準が緩くなる。図9及び図10は、図8に示すようなカラオケ画面40が表示される場合(すなわち、ユーザの歌唱音声の音量が大きい場合)の評価判断基準の一例を示している。
【0060】
図9に示す評価判断基準は図5に示す評価判断基準に比べて緩くなっている。例えば、図5に示す評価判断基準では、模範音声とユーザの歌唱音声との間の音高のずれ(Δp)がP1以上であってかつP2未満である場合に「GREAT」の評価がユーザに与えられるようになっている。これに対し、図9に示す評価判断基準では、音高のずれ(Δp)がP1以上であってかつP2未満である場合に、「GREAT」よりも高い評価である「EXCELLENT」がユーザに与えられるようになっている。
【0061】
また、図5に示す評価判断基準では、音高のずれ(Δp)が「P2」以上であってかつ「P3」未満である場合に「GOOD」の評価がユーザに与えられるようになっている。これに対し、図9に示す評価判断基準では、音高のずれ(Δp)が「P2」以上であってかつ「P3」未満である場合に、「GOOD」よりも高い評価である「GREAT」がユーザに与えられるようになっている。
【0062】
以上のように、ユーザの歌唱音声の音量が大きくない場合、音高のずれ(Δp)が「P2」未満でなければ、「GREAT」以上の評価をユーザが得ることができないが、ユーザの歌唱音声の音量が大きくなると、音高のずれ(Δp)が「P2」以上であっても、音高のずれ(Δp)が「P3」未満であれば、「GREAT」以上の評価をユーザが得ることができる。つまり、ユーザの歌唱音声の音量が大きい場合の評価判断基準(図9参照)では、ユーザの歌唱音声の音量が大きくない場合の評価判断基準(図5参照)に比べて、「GREAT」以上の評価を得るためにユーザが満たすべき音高のずれ(Δp)が大きくなっている。その結果、ユーザが「GREAT」以上の評価を得やすくなっている。
【0063】
同様に、図10に示す評価判断基準は図6に示す評価判断基準に比べて緩くなっている。例えば、図6に示す評価判断基準では、ユーザが歌唱すべきタイミング(模範タイミング)と、ユーザが実際に歌唱したタイミングとの間のずれ(Δt)が「T1」以上であってかつ「T2」未満である場合に「GREAT」の評価がユーザに与えられるようになっている。これに対し、図10に示す評価判断基準では、タイミングのずれ(Δt)が「T1」以上であってかつ「T2」未満である場合に、「GREAT」よりも高い評価である「EXCELLENT」がユーザに与えられるようになっている。
【0064】
また、図6に示す評価判断基準では、タイミングのずれ(Δt)が「T2」以上であってかつ「T3」未満である場合に「GOOD」の評価がユーザに与えられるようになっている。これに対し、図10に示す評価判断基準では、タイミングのずれ(Δt)が「T2」以上であってかつ「T3」未満である場合に、「GOOD」よりも高い評価である「GREAT」がユーザに与えられるようになっている。
【0065】
以上のように、ユーザの歌唱音声の音量が小さい場合、タイミングのずれ(Δt)が「T2」未満でなければ、「GREAT」以上の評価をユーザが得ることができないが、ユーザの歌唱音声の音量が大きくなると、タイミングのずれ(Δt)が「T2」以上であっても、タイミングのずれ(Δt)が「T3」未満であれば、「GREAT」以上の評価をユーザが得ることができる。つまり、ユーザの歌唱音声の音量が大きい場合の評価判断基準(図10参照)では、ユーザの歌唱音声の音量が大きくない場合の評価判断基準(図6参照)に比べて、「GREAT」以上の評価を得るためにユーザが満たすべきタイミングのずれ(Δt)が大きくなっている。その結果、ユーザが「GREAT」以上の評価を得やすくなっている。
【0066】
以下、上記のような機能を実現するための構成について説明する。図11は、カラオケシステム10で実現される機能を示す機能ブロック図である。図11に示すように、カラオケシステム10は、記憶部60、音声出力制御部61、評価判断基準取得部62、比較部63、及び評価部64を含む。
【0067】
記憶部60は例えば光ディスク33、メモリカード34、及び主記憶14によって実現される。なお、記憶部60は、家庭用ゲーム機11と通信ネットワークを介してデータ授受可能な装置に備えられる補助記憶装置(例えばハードディスク装置)によって実現されるようにしてもよい。すなわち、記憶部60に記憶されることとして説明するデータの全部又は一部は上記の補助記憶装置に記憶されるようにしてもよい。一方、記憶部60以外の機能ブロックは、例えば制御部13が光ディスク33に記憶されたプログラムを実行することによって実現される。
【0068】
記憶部60は各種データを記憶する。本実施形態の場合、記憶部60は複数の楽曲データを記憶する。図12は、一の楽曲に対応する楽曲データの一例を示す図である。図11に示すように、楽曲データは、伴奏音楽データ、歌詞データ、模範データ、及び背景画像データを含む。伴奏音楽データは楽曲の伴奏パートを所定のデータ形式で保存したものである。伴奏音楽データは例えばMIDIデータ等である。歌詞データは楽曲の歌詞を示すデータである。背景画像データは、カラオケ画面40の背景として表示される画像を表すものである。
【0069】
模範データは、音楽に合わせてユーザが行うべき模範の音声入力を示すデータである。すなわち、模範データは、音楽に合わせてユーザが音声を入力すべきタイミング(期間)と、音楽に合わせてユーザが入力すべき音声(模範音声)とを示す。具体的には、模範音声データは、伴奏音楽に合わせてユーザが歌詞を歌うべきタイミング(期間)と、伴奏音楽に合わせて歌を歌うユーザが模範とすべき音声(模範音声)とを示す。
【0070】
歌詞データと模範データとは関連づけられている。このため、歌詞の各部分をどのタイミング(期間)において歌うべきかと、歌詞の各部分をどの音高で歌うべきかとの両方が歌詞データと模範データとに基づいて特定されるようになっている。
【0071】
また、記憶部60は、模範データが示す模範の音声入力と音声入力部31を介して行われた音声入力との比較結果に基づいて、ユーザの音声入力に対する評価を判断するための評価判断基準を記憶する。評価判断基準は、上記比較結果に関する比較結果条件と、ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる情報である。本実施形態の場合、図5、図6、図9、及び図10に示すような評価判断基準が記憶部60に記憶される。
【0072】
図5及び図9に示す評価判断基準は、模範データが示す模範音声の音高と、音声入力部31を介して入力されたユーザの音声の音高と、の比較結果に関する比較結果条件と、評価情報とを対応づけてなる情報である。図5及び図9に示す評価判断基準の「音高のずれ(p)」フィールドが「比較結果条件」に相当する。また、「評価」及び「評価値」フィールドが「評価情報」に相当する。
【0073】
図6及び図10に示す評価判断基準は、模範データが示す模範タイミング(ユーザが音声を入力すべきタイミング)と、音声入力部31を介してユーザの音声が入力されたタイミングと、の比較結果に関する比較結果条件と、評価情報とを対応づけてなる情報である。図6及び図10に示す評価判断基準の「タイミングのずれ(t)」フィールドが「比較結果条件」に相当する。また、「評価」及び「評価値」フィールドが「評価情報」に相当する。
【0074】
本実施形態の場合、記憶部60は、音声の特徴情報に関する複数の特徴条件の各々に対応づけて、評価判断基準を記憶する。「音声の特徴情報」は、例えば音声の音量に関する情報である。なお、「音声の特徴情報」は、例えば音声の周波数成分に関する情報であってもよい。
【0075】
図13は記憶部60の記憶内容の一例を示す。図13に示すように、記憶部60は、音量(v)に関する音量条件と、評価判断基準と、を対応づけて記憶する。図13において「評価判断基準A」は図5及び図6に示す評価判断基準であり、「評価判断基準B」は図9及び図10に示す評価判断基準である。上述したように、図9及び図10に示す評価判断基準は図5及び図6に示す評価判断基準よりも緩い。このため、図13に示す例では、比較的小さい音量(v)を示す音量範囲「v<Vr」には、比較的厳しい評価判断基準が関連づけられており、比較的大きい音量(v)を示す音量範囲「Vr≦v」に関しては、比較的緩い評価判断基準が関連づけられている。
【0076】
音声出力制御部61は、伴奏音楽データに基づいて伴奏音楽を音声出力部32から出力する。例えば、音声出力制御部61は音源を有し、この音源と伴奏音楽データ(MIDIデータ)とに基づいて、伴奏音楽を再生する。なお、音声出力制御部61は、伴奏音楽と、音声入力部31を介して入力されたユーザの歌唱音声と、を合成して音声出力部32から出力させる。
【0077】
評価判断基準取得部62は評価判断基準を取得する。また、評価判断基準取得部62は、音声入力部31を介して入力されたユーザの音声の特徴情報を取得し、ユーザの音声の特徴情報に基づいて評価判断基準を変える。すなわち、評価判断基準取得部62は、模範データが示す模範の音声入力と音声入力部31を介して行われた音声入力との比較結果に関する比較結果条件と、ユーザの音声入力に対する評価に関する評価情報との対応関係を、ユーザの音声の特徴情報に基づいて変える。なお、上述したように、「ユーザの音声の特徴情報」は、例えば、ユーザの音声の音量又は周波数成分等である。
【0078】
本実施形態の場合、評価判断基準取得部62は、記憶部60に記憶される評価判断基準のうちの、ユーザの音声の音量(v)が満足する音量条件に対応づけられた評価判断基準を取得する(図13参照)。
【0079】
比較部63は、模範データが示す模範の音声入力と、音声入力部31を介して行われた音声入力と、を比較する。例えば、比較部63は、音声入力部31を介して入力されたユーザの歌唱音声の音高を解析し、模範データが示す模範音声の音高と、ユーザの歌唱音声の音高とを比較する。すなわち、比較部63は、模範データが示す模範音声の音高と、ユーザの歌唱音声の音高との間のずれ(Δp)を取得する。
【0080】
また、例えば、比較部63は、模範データが示す模範タイミング(ユーザが歌唱すべきタイミング)と、音声入力部31を介してユーザの歌唱音声が入力されたタイミングとを比較する。すなわち、比較部63は、模範データが示す模範タイミングと、音声入力部31を介してユーザの歌唱音声が入力されたタイミングとの間のずれ(Δt)を取得する。
【0081】
評価部64は、比較部63の比較結果と、評価判断基準取得部62によって取得された評価判断基準とに基づいて、ユーザの音声入力に対する評価を判断する。本実施形態の場合、評価部64は、模範データが示す模範音声の音高とユーザの歌唱音声の音高との間のずれ(Δp)と、評価判断基準取得部62によって取得された評価判断基準(図5,9参照)とに基づいて、ユーザの歌唱に対する評価を判断する。また、評価部64は、模範データが示す模範タイミングと音声入力部31を介してユーザの歌唱音声が入力されたタイミングとの間のずれ(Δt)と、評価判断基準取得部62によって取得された評価判断基準(図6,10参照)とに基づいて、ユーザの歌唱に対する評価を判断する。
【0082】
次に、カラオケシステム10で実行される処理について説明する。図14はカラオケシステム10で実行される処理のうちの、本発明に関連する処理を主に示すフロー図である。制御部13は光ディスク33に記憶されるプログラムに従って、図14に示す処理を実行する。制御部13が図14に示す処理を実行することによって、図11に示す機能ブロックが実現される。
【0083】
図14に示すように、まず制御部13は、カラオケ画面40の表示と伴奏音楽の再生とを開始する(S101)。以降、制御部13(音声出力制御部61)は、伴奏音楽と、音声入力部31を介して入力されるユーザの歌唱音声とを合成して音声出力部32から出力させる。また、制御部13は、伴奏音楽の再生が終了するまでの間、ステップS102〜S109の処理を所定時間(例えば1/60秒)ごとに繰り返し実行する。
【0084】
まず、制御部13(比較部63)は、模範データと、音声入力部31を介して入力されたユーザの歌唱音声とに基づいて、歌唱音声と模範音声との比較を実行する(S102)。
【0085】
ステップS102において、例えば、制御部13は模範データに基づいて模範音声の音高を取得する。また、制御部13は音声入力部31を介して入力されたユーザの歌唱音声の音高を判断する。そして、制御部13は歌唱音声の音高と模範音声の音高との間のずれ(Δp)を取得する。
【0086】
また、ステップS102において、例えば、制御部13は、模範データが示す模範タイミングと、音声入力部31を介してユーザの歌唱音声が入力されたタイミングとの間のずれ(Δt)を取得する。なお、タイミングのずれ(Δt)は、個々のタイミングに関して取得するのではなく、個々のパートの歌い始めの部分に関してのみ取得するようにしてもよい。例えば、図2に示す歌詞41の場合、歌い始めの文字である「A」を発声すべき標準タイミングと、ユーザが実際に「A」を発声したタイミングとの間のずれ(Δt)を取得し、他の文字(例えば「B」等)に関しては、タイミングのずれ(Δt)を取得しないようにしてもよい。
【0087】
歌唱音声と模範音声との比較が実行された後、制御部13(評価判断基準取得部62)は音声入力部31を介して入力されたユーザの歌唱音声を分析することによって、ユーザの歌唱音声の音量(v)を取得する(S103)。そして、制御部13(評価判断基準取得部62)は、ステップS103で取得された音量(v)に対応づけられた評価判断基準を記憶部60から取得する(S104)。例えば、音量(v)が基準音量(Vr)よりも小さい場合、図5及び図6に示す評価判断基準が取得される。一方、音量(v)が基準音量(Vr)以上である場合、図9及び図10に示す評価判断基準が取得される。
【0088】
評価判断基準が取得された後、制御部13(評価部64)は、ステップS102における比較結果と、ステップS104で取得された評価判断基準とに基づいて評価を決定する(S105)。その後、制御部13は、ステップS105において決定された評価に基づいて、主記憶14に記憶される得点を更新する(S106)。例えば、制御部13は、評価に対応づけられた評価点を、主記憶14に記憶される得点に加算する。
【0089】
その後、制御部13はカラオケ画面40を更新する(S107)。ステップS107では、例えば下記に説明するような処理が実行される。
【0090】
例えば、ステップS107ではピアノロール画像42をスクロールするための処理が実行される。具体的には、まず、音声入力部31を介して入力されているユーザの歌唱音声の音高が基本範囲に含まれているか否かが判定される。ここで、「基本範囲」とは、例えば、ピアノロール画像42における基本音高を中心とする1オクターブの範囲である。例えば図2に示すピアノロール画像42の場合であれば、「基本範囲」とは、ピアノロール画像42の第1領域42aに含まれる音高画像43iに対応する音高から、第1領域42aに含まれる音高画像43oに対応する音高までの範囲である。
【0091】
ユーザの歌唱音声の音高が基本範囲に含まれていない場合とは、ユーザの音声の音高が、第1領域42aに含まれる音高画像43に対応する音高でなくなった場合である。この場合、制御部13は、ユーザの歌唱音声の音高に基づいて、ピアノロール画像42における基本音高を変更する。すなわち、ユーザの歌唱音声の音高がピアノロール画像42における基本音高として設定される。
【0092】
ピアノロール画像42における基本音高が変更された場合、変更後の基本音高に基づいて、ピアノロール画像42が更新される。この場合、ピアノロール画像42の基本音高が上がる又は下がる結果として、ピアノロール画像42がスクロールすることになる。
【0093】
また、ステップS107では、音声入力部31を介して入力されているユーザの歌唱音声の音高に基づいて、歌唱アイコン45が表示される。すなわち、ユーザの歌唱音声の音高に対応する音高画像43上に歌唱アイコン45が表示される。
【0094】
なお、歌唱アイコン45の大きさは、音声入力部31を介して入力されているユーザの歌唱音声の音量(v)に基づいて設定される。ユーザの歌唱音声の音量(v)が基準音量(Vr)よりも小さい場合、歌唱アイコン45は通常の大きさ(図2に示す大きさ)に設定される。一方、ユーザの歌唱音声の音量(v)が基準音量(Vr)以上である場合、歌唱アイコン45は、通常の大きさよりも大きい大きさ(図8に示す大きさ)に設定される。
【0095】
また、ステップS107では、歌詞データ及び模範データに基づいて、歌詞41や模範音声案内画像46が表示される。さらに、ステップS107では得点47、コンボ数48及びゲージ49も更新される。さらに、ステップS107で決定された評価を示すメッセージ50が表示される。
【0096】
カラオケ画面40が更新された後、制御部13は伴奏音楽の再生が終了したか否かを判定する(S108)。伴奏音楽の再生が終了していない場合、制御部13はステップS102の処理を実行する。一方、伴奏音楽の再生が終了した場合、制御部13は成績画面を表示部30に表示する(S109)。そして、本処理は終了する。
【0097】
以上説明したカラオケシステム10によれば、例えば、ユーザの歌唱音声の音量に基づいて、ユーザの歌唱に対する評価を判断するための評価判断基準を変化させることが可能になる。例えば、ユーザの歌唱音声の音量が比較的大きい場合には、ユーザの歌唱音声の音量が比較的大きくない場合に比べて、評価判断基準が緩くなるようにすることが可能になる。
【0098】
その結果、歌を歌うことが得意でないユーザであっても、比較的大きい声で歌うことによって、比較的高い評価を得やすくなるようにすることが可能になる。すなわち、歌を歌うことが得意でないユーザであっても、比較的高い評価を得ることができるように補助することが可能になる。
【0099】
なお、本発明は以上に説明した実施形態に限定されるものではない。
【0100】
(1)例えば、以上に説明した実施形態では、音量(v)が基準音量(Vr)未満である場合の評価判断基準(図5,6参照)と、音量(v)が基準音量(Vr)以上である場合の評価判断基準(図9,10参照)とがあらかじめ記憶部60に記憶されるようになっていた。
【0101】
しかしながら、例えば、記憶部60は一つの評価判断基準のみを基本の評価判断基準としてあらかじめ記憶するようにしてもよい。そして、評価判断基準取得部62は、基本の評価判断基準に基づいて、他の評価判断基準を生成するようにしてもよい。すなわち、評価判断基準取得部62は、基本の評価判断基準を変更することによって、他の評価判断基準を生成するようにしてもよい。
【0102】
この場合、記憶部60は、音量条件(音声の特徴情報に関する特徴条件)に対応づけて、基本の評価判断基準をどのように変更すべきかを示す変更情報を記憶するようにすればよい。そして、評価判断基準取得部62は、音声入力部31を介して入力されたユーザの音声の音量(特徴情報)が満足する音量条件に対応づけられた変更情報に基づいて、基本の評価判断基準を変更することによって、他の評価判断基準を生成するようにすればよい。
【0103】
具体的には、例えば、記憶部60は、音量(v)が基準音量(Vr)未満である場合の評価判断基準(図5,6参照)を基本の評価判断基準としてあらかじめ記憶するようにしてもよい。そして、評価判断基準取得部62は、音量(v)が基準音量(Vr)未満である場合の評価判断基準(図5,6参照)を変更することによって、音量(v)が基準音量(Vr)以上である場合の評価判断基準(図9,10参照)を生成するようにしてもよい。
【0104】
この場合、例えば、音量(v)が基準音量(Vr)以上である場合に、音量(v)が基準音量(Vr)未満である場合の評価判断基準(図5,6参照)をどのように変更すべきかを示す変更情報が記憶部60に記憶される。例えば、この場合の変更情報は、音高のずれ(Δp)が「P1」以上であってかつ「P2」未満である場合の評価及び評価値を「GREAT」及び「7」から「EXCELLENT」及び「10」に変更することを示すものになる。また、例えば、この場合の変更情報は、タイミングのずれ(Δt)が「T1」以上であってかつ「T2」未満である場合の評価及び評価値を「GREAT」及び「7」から「EXCELLENT」及び「10」に変更することを示すものになる。
【0105】
そして、音声入力部31を介して入力されたユーザの歌唱音声の音量(v)が基準音量(Vr)以上である場合、評価判断基準取得部62は、音量(v)が基準音量(Vr)未満である場合の評価判断基準(図5,6参照)を上記変更情報に基づいて変更することによって、音量(v)が基準音量(Vr)以上である場合の評価判断基準(図9,10参照)を生成する。
【0106】
(2)また例えば、以上に説明した実施形態では、二つの音量条件(音量範囲)の各々に対応づけて評価判断基準が記憶されるようになっていたが(図13参照)、三つ以上の音量条件(音量範囲)の各々に対応づけて評価判断基準が記憶されるようにしてもよい。
【0107】
(3)また例えば、評価判断基準取得部62は、歌唱の周期的な周波数変動であるビブラートがユーザの歌唱音声にかかっているか否かに基づいて、評価判断基準を変えるようにしてもよい。この場合、ユーザの歌唱音声にビブラートがかかっているか否かの情報が「音声の特徴情報」に相当する。
【0108】
例えば、ユーザの歌唱音声にビブラートがかかっている場合、評価判断基準取得部62は、音高のずれ(Δp)に関連する評価判断基準を変えるようにしてもよい。図15は、ユーザの歌唱音声にビブラートがかかっている場合の評価判断基準の一例を示す。
【0109】
図15に示す評価判断基準は図5に示す評価判断基準に比べて緩くなっている。例えば、図5に示す評価判断基準では、模範音声とユーザの歌唱音声との間の音高のずれ(Δp)が「P1」以上であってかつ「P3」未満である場合に「GREAT」又は「GOOD」の評価がユーザに与えられるようになっている。これに対し、図15に示す評価判断基準では、音高のずれ(Δp)が「P1」以上であってかつ「P3」未満である場合に、「GREAT」及び「GOOD」よりも高い評価である「EXCELLENT」がユーザに与えられるようになっている。
【0110】
また例えば、図5に示す評価判断基準では、音高のずれ(Δp)が「P3」以上であってかつ「P4」未満である場合に「ALMOST」の評価がユーザに与えられるようになっている。これに対し、図15に示す評価判断基準では、音高のずれ(Δp)が「P3」以上であってかつ「P4」未満である場合に、「ALMOST」よりも高い評価である「GREAT」がユーザに与えられるようになっている。
【0111】
ユーザの歌唱音声にビブラートがかかっていない場合、音高のずれ(Δp)が「P2」未満でなければ、「GREAT」以上の評価をユーザが得ることができないが、ユーザの歌唱音声にビブラートがかかっていると、音高のずれ(Δp)が「P2」以上であっても、音高のずれ(Δp)が「P4」未満であれば、「GREAT」以上の評価をユーザが得ることができる。つまり、ユーザの歌唱音声にビブラートがかかっている場合の評価判断基準(図15参照)では、ユーザの歌唱音声にビブラートがかかっていない場合の評価判断基準(図5参照)に比べて、「GREAT」以上の評価を得るためにユーザが満たすべき音高のずれ(Δp)が大きくなっている。その結果、ユーザが「GREAT」以上の評価を得やすくなっている。
【0112】
なお、図16は、この場合のカラオケ画面40の一例を示す。この場合、音高のずれ(Δp)に関連する評価判断基準のみが緩くなり、タイミングのずれ(Δt)に関連する評価判断基準は緩くならないため、図16に示すように、歌唱アイコン45の形状はP軸方向に伸びた形状になる。
【0113】
この変形例(3)によれば、ユーザの歌唱に対する評価を判断するための評価判断基準を、ユーザの歌唱音声にビブラートがかかっているか否かに基づいて変化させることが可能になる。こうすれば、歌唱音声にビブラートをかけることの興趣を向上することが可能になる。
【0114】
(4)例えば、本発明は、ユーザが音楽に合わせてゲーム操作と音声入力とを行うようなゲームを実行するゲームシステム(音声入力評価システム)においてユーザの音声入力を評価するような場合にも適用することが可能である。例えば、ユーザが音楽に合わせて踊りながら歌を歌うようなゲームや、ユーザが音楽に合わせて踊りながらハミングを行うようなゲームを実行するゲームシステムにも本発明は適用することが可能である。また例えば、ユーザが音楽に合わせて、楽器(例えばドラム又はギター等)の演奏を模したゲーム操作を行いながら歌を歌うようなゲームを実行するゲームシステムにも本発明は適用することが可能である。
【符号の説明】
【0115】
10 カラオケシステム、11 家庭用ゲーム機、12 バス、13 制御部、14 主記憶、15 画像処理部、16 音声処理部、17 光ディスクドライブ、18 メモリカードスロット、19 通信インタフェース、20 操作部、30 表示部、31 音声入力部、32 音声出力部、33 光ディスク、34 メモリカード、40 カラオケ画面、41 歌詞、42 ピアノロール画像、42a 第1領域、42b,42d 第2領域、42c,42e 第3領域、43a〜43w 音高画像、44 基準ライン、45 歌唱アイコン、46 模範音声案内画像、47 得点、48 コンボ数、49 ゲージ、50 メッセージ、60 記憶部、61 音声出力制御部、62 評価判断基準取得部、63 比較部、64 評価部。
【特許請求の範囲】
【請求項1】
音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムにおいて、
前記ユーザが音声を入力するための音声入力手段と、
前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得する手段と、
前記模範データが示す模範の音声入力と前記音声入力手段を介して行われた音声入力との比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得手段と、
前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較手段と、
前記比較手段の比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価手段と、
を含み、
前記取得手段は、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変える、
ことを特徴とする音声入力評価システム。
【請求項2】
請求項1に記載の音声入力評価システムにおいて、
前記取得手段は、音声の特徴情報に関する複数の特徴条件の各々に対応づけて前記評価判断基準を記憶してなる手段に記憶される前記評価判断基準のうちの、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報が満足する前記特徴条件に対応づけられた前記評価判断基準を取得することを特徴とする音声入力評価システム。
【請求項3】
請求項1に記載の音声入力評価システムにおいて、
前記取得手段は、基本の評価判断基準を記憶してなる手段に記憶される前記基本の評価判断基準を取得する手段を含み、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記基本の評価判断基準を変更することによって、前記評価判断基準を取得することを特徴とする音声入力評価システム。
【請求項4】
請求項1乃至3のいずれかに記載の音声入力評価システムにおいて、
前記模範データは、前記音楽に合わせて前記ユーザが入力すべき模範音声を少なくとも示し、
前記評価判断基準は、前記模範データが示す模範音声の音高と、前記音声入力手段を介して入力された前記ユーザの音声の音高と、の比較結果に関する比較結果条件と、前記評価情報と、を対応づけてなる情報であり、
前記比較手段は、前記模範データが示す模範音声の音高と、前記音声入力手段を介して入力された前記ユーザの音声の音高と、を比較する、
ことを特徴とする音声入力評価システム。
【請求項5】
請求項1乃至4のいずれかに記載の音声入力評価システムにおいて、
前記模範データは、前記ユーザが音声を入力すべき模範タイミングを少なくとも示し、
前記評価判断基準は、前記模範データが示す模範タイミングと、前記音声入力手段を介して前記ユーザの音声が入力されたタイミングと、の比較結果に関する比較結果条件と、前記評価情報と、を対応づけてなる情報であり、
前記比較手段は、前記模範データが示す模範タイミングと、前記音声入力手段を介して前記ユーザの音声が入力されたタイミングと、を比較する、
ことを特徴とする音声入力評価システム。
【請求項6】
請求項1乃至5のいずれかに記載の音声入力評価システムにおいて、
前記特徴情報は、音声の音量に関する情報と、音声にビブラートがかかっているか否かに関する情報と、の少なくとも一方を含むことを特徴とする音声入力評価システム。
【請求項7】
請求項1乃至6のいずれかに記載の音声入力評価システムにおいて、
前記音声入力評価システムは、前記音楽に合わせてユーザが歌唱するカラオケシステム、又は、前記音楽に合わせてユーザが音声入力を行うゲームを実行するゲームシステムであることを特徴とする音声入力評価システム。
【請求項8】
音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムの制御方法において、
前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得するステップと、
前記模範データが示す模範の音声入力と、前記ユーザが音声を入力するための音声入力手段を介して行われた音声入力と、の比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得ステップと、
前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較ステップと、
前記比較ステップにおける比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価ステップと、
を含み、
前記取得ステップは、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変えるステップを含む、
ことを特徴とする音声入力評価システムの制御方法。
【請求項9】
音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムとしてコンピュータを機能させるためのプログラムであって、
前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得する手段、
前記模範データが示す模範の音声入力と、前記ユーザが音声を入力するための音声入力手段を介して行われた音声入力と、の比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得手段、
前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較手段、及び、
前記比較手段の比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価手段、
として前記コンピュータを機能させ、
前記取得手段は、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変える、
ことを特徴とするプログラム。
【請求項1】
音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムにおいて、
前記ユーザが音声を入力するための音声入力手段と、
前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得する手段と、
前記模範データが示す模範の音声入力と前記音声入力手段を介して行われた音声入力との比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得手段と、
前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較手段と、
前記比較手段の比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価手段と、
を含み、
前記取得手段は、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変える、
ことを特徴とする音声入力評価システム。
【請求項2】
請求項1に記載の音声入力評価システムにおいて、
前記取得手段は、音声の特徴情報に関する複数の特徴条件の各々に対応づけて前記評価判断基準を記憶してなる手段に記憶される前記評価判断基準のうちの、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報が満足する前記特徴条件に対応づけられた前記評価判断基準を取得することを特徴とする音声入力評価システム。
【請求項3】
請求項1に記載の音声入力評価システムにおいて、
前記取得手段は、基本の評価判断基準を記憶してなる手段に記憶される前記基本の評価判断基準を取得する手段を含み、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記基本の評価判断基準を変更することによって、前記評価判断基準を取得することを特徴とする音声入力評価システム。
【請求項4】
請求項1乃至3のいずれかに記載の音声入力評価システムにおいて、
前記模範データは、前記音楽に合わせて前記ユーザが入力すべき模範音声を少なくとも示し、
前記評価判断基準は、前記模範データが示す模範音声の音高と、前記音声入力手段を介して入力された前記ユーザの音声の音高と、の比較結果に関する比較結果条件と、前記評価情報と、を対応づけてなる情報であり、
前記比較手段は、前記模範データが示す模範音声の音高と、前記音声入力手段を介して入力された前記ユーザの音声の音高と、を比較する、
ことを特徴とする音声入力評価システム。
【請求項5】
請求項1乃至4のいずれかに記載の音声入力評価システムにおいて、
前記模範データは、前記ユーザが音声を入力すべき模範タイミングを少なくとも示し、
前記評価判断基準は、前記模範データが示す模範タイミングと、前記音声入力手段を介して前記ユーザの音声が入力されたタイミングと、の比較結果に関する比較結果条件と、前記評価情報と、を対応づけてなる情報であり、
前記比較手段は、前記模範データが示す模範タイミングと、前記音声入力手段を介して前記ユーザの音声が入力されたタイミングと、を比較する、
ことを特徴とする音声入力評価システム。
【請求項6】
請求項1乃至5のいずれかに記載の音声入力評価システムにおいて、
前記特徴情報は、音声の音量に関する情報と、音声にビブラートがかかっているか否かに関する情報と、の少なくとも一方を含むことを特徴とする音声入力評価システム。
【請求項7】
請求項1乃至6のいずれかに記載の音声入力評価システムにおいて、
前記音声入力評価システムは、前記音楽に合わせてユーザが歌唱するカラオケシステム、又は、前記音楽に合わせてユーザが音声入力を行うゲームを実行するゲームシステムであることを特徴とする音声入力評価システム。
【請求項8】
音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムの制御方法において、
前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得するステップと、
前記模範データが示す模範の音声入力と、前記ユーザが音声を入力するための音声入力手段を介して行われた音声入力と、の比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得ステップと、
前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較ステップと、
前記比較ステップにおける比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価ステップと、
を含み、
前記取得ステップは、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変えるステップを含む、
ことを特徴とする音声入力評価システムの制御方法。
【請求項9】
音楽に合わせてユーザが行った音声入力を評価する音声入力評価システムとしてコンピュータを機能させるためのプログラムであって、
前記音楽に合わせて前記ユーザが行うべき模範の音声入力を示す模範データを記憶してなる手段に記憶される前記模範データを取得する手段、
前記模範データが示す模範の音声入力と、前記ユーザが音声を入力するための音声入力手段を介して行われた音声入力と、の比較結果に関する比較結果条件と、前記ユーザの音声入力に対する評価に関する評価情報と、を関連づけてなる評価判断基準を取得する取得手段、
前記模範データが示す模範の音声入力と、前記音声入力手段を介して行われた音声入力と、を比較する比較手段、及び、
前記比較手段の比較結果と前記評価判断基準とに基づいて、前記ユーザの音声入力に対する評価を判断する評価手段、
として前記コンピュータを機能させ、
前記取得手段は、前記音声入力手段を介して入力された前記ユーザの音声の特徴情報に基づいて、前記評価判断基準を変える、
ことを特徴とするプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【公開番号】特開2011−209654(P2011−209654A)
【公開日】平成23年10月20日(2011.10.20)
【国際特許分類】
【出願番号】特願2010−79805(P2010−79805)
【出願日】平成22年3月30日(2010.3.30)
【出願人】(506113602)株式会社コナミデジタルエンタテインメント (1,441)
【Fターム(参考)】
【公開日】平成23年10月20日(2011.10.20)
【国際特許分類】
【出願日】平成22年3月30日(2010.3.30)
【出願人】(506113602)株式会社コナミデジタルエンタテインメント (1,441)
【Fターム(参考)】
[ Back to top ]