歌唱音高差特定装置、及びプログラム
【課題】ユーザにとって歌唱しやすい推奨曲を決定したり、歌唱の上手さを正確に採点したりするために用いる情報を生成することが可能な技術の提供。
【解決手段】歌唱音高差特定処理では、歌唱遷移区間抽出処理（Ｓ１６０）にて抽出した歌唱遷移区間ｆ０ｖｔそれぞれを、対応する音高遷移モデル曲線ｆ０ｍｏｄｅｌに照合して、音高遷移スコアｔｓｃを導出する（Ｓ１７０）。それらの導出した音高遷移スコアｔｓｃを音高差区分毎に集計し（Ｓ１９０）、その集計した集計遷移スコアｍｔｓｃが規定値以上である歌唱可能音高差区分ＩＴＭ1、即ち、ユーザが歌唱可能な音高差区分を特定する（Ｓ２１０）。その後、特定構成音の音高差が、歌唱可能音高差区分ＩＴＭ1の範囲内である楽曲を推奨曲としてユーザに提案したり、歌唱可能音高差区分ＩＴＭ1の最大音高差が大きいほど大きな値となる重みを採点結果に付与する（Ｓ２２０）。
【解決手段】歌唱音高差特定処理では、歌唱遷移区間抽出処理（Ｓ１６０）にて抽出した歌唱遷移区間ｆ０ｖｔそれぞれを、対応する音高遷移モデル曲線ｆ０ｍｏｄｅｌに照合して、音高遷移スコアｔｓｃを導出する（Ｓ１７０）。それらの導出した音高遷移スコアｔｓｃを音高差区分毎に集計し（Ｓ１９０）、その集計した集計遷移スコアｍｔｓｃが規定値以上である歌唱可能音高差区分ＩＴＭ1、即ち、ユーザが歌唱可能な音高差区分を特定する（Ｓ２１０）。その後、特定構成音の音高差が、歌唱可能音高差区分ＩＴＭ1の範囲内である楽曲を推奨曲としてユーザに提案したり、歌唱可能音高差区分ＩＴＭ1の最大音高差が大きいほど大きな値となる重みを採点結果に付与する（Ｓ２２０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、推奨曲の提案や採点の実行といったカラオケ装置が有する機能の実施に用いられる情報を生成する歌唱音高差特定装置、及びプログラムに関する。
【背景技術】
【０００２】
従来より、伴奏音楽に合わせてユーザが歌唱を楽しむカラオケ装置において、ユーザが歌唱可能であると推定した楽曲を推奨曲として提案するものや、ユーザの歌唱の上手さを採点するものが知られている。
【０００３】
一般的に、これらのカラオケ装置では、推奨曲を提案する際には、ユーザにとって歌唱しやすい楽曲を推奨曲として提案することが、採点を実行する際には、多くの人が納得するように採点結果を導出することが求められている。
【０００４】
これに対し、例えば、推奨曲を提案する際に、ユーザが歌唱可能な音域内において、構成音の音高が遷移する楽曲を推奨曲として選択することが提案されている（例えば、特許文献１参照）。また、採点を実行する際に、歌唱音声についての基本周波数と、予め用意された基準値との一致度合いが高いほど優れた結果となるように採点すること（以下、基本採点とする）に加えて、歌唱者が歌唱可能な音域には重みを付与した採点結果を導出することが提案されている（例えば、特許文献２参照）。
【０００５】
つまり、特許文献１や、特許文献２に記載のカラオケ装置では、ユーザが歌唱可能な音域（以下、歌唱音域と称す）を用いて、推奨曲を決定したり、基本採点の結果に付加する重みを導出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１０７３１３号公報
【特許文献２】特許第３２９０９４５号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、歌唱のしやすさや、歌唱の上手さは、歌唱音域のみによって決定されるものではなく、その他の様々な歌唱能力によっても変わる。
【０００８】
しかしながら、特許文献１、２に記載されたカラオケ装置では、ユーザが有している歌唱能力のうち、歌唱音域のみを用いて、推奨曲の決定や、歌唱の上手さを採点（評価）するため、ユーザにとって十分に歌唱しやすい楽曲を推奨曲としたり、ユーザの歌唱の上手さを正確に採点したりすることができないという問題があった。
【０００９】
そこで、本発明は、ユーザにとって歌唱しやすい推奨曲を決定したり、歌唱の上手さを正確に採点したりするために用いる情報を生成することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するためになされた本発明は、各楽曲を構成する構成音それぞれの音高及び音価を表す楽曲データに従って楽曲を演奏するカラオケ装置にて用いられる歌唱音高差特定装置である。
【００１１】
その本発明の歌唱音高差特定装置では、音声信号取得手段が、カラオケ装置にて楽曲の演奏中に入力された音声（以下、音声信号とする）を、その音声を発したユーザ及び演奏中の楽曲を識別するための識別情報と対応付けて取得し、歌唱データ生成手段が、その取得した音声信号を周波数解析することで、音高の遷移を表す歌唱データを生成する。
【００１２】
そして、遷移区間特定手段が、その生成された歌唱データの中で、遷移元音に対する歌唱区間の終端（以下、区間終端とする）から、到達音に対する歌唱区間の始端（以下、区間始端とする）までの歌唱区間（以下、歌唱遷移区間と称す）を特定する。ただし、ここで言う到達音とは、識別情報から特定される楽曲中にて音高が切り替わるように連続する２つの構成音（以下、特定構成音と称す）のうち、音高が切り替わった後に到達する構成音であり、ここで言う遷移元音とは、特定構成音のうちの他方（音高が切り替わる前の遷移元となる構成音）である。
【００１３】
さらに、その特定された歌唱遷移区間それぞれについて、遷移値導出手段が、歌唱遷移区間と、音高遷移モデルとの一致度合いが高いほど大きな値となる音高遷移値を導出する。ただし、ここで言う音高遷移モデルとは、遷移元音に対応する音高から到達音に対応する音高へと発声音高を理想的に遷移させた時の遷移態様である。
【００１４】
このようにして導出された音高遷移値を、歌唱音高差特定手段が、それぞれの歌唱遷移区間での音高差毎に集計し、その集計結果（以下、集計遷移値とする）が規定値以上である音高差を、識別情報から特定されるユーザが歌唱可能な音高差として特定する。
【００１５】
このような本発明の歌唱音高差特定装置によれば、ユーザが歌唱可能な音高差、即ち、ユーザが歌唱可能な音程を特定することができる。
【００１６】
特に、ユーザが無理をして発声した状態では、遷移元音に対応する音高から到達音に対応する音高への音高推移を滑らか（スムーズ）に歌唱することが困難であることから、本発明の歌唱音高差特定装置によれば、ユーザが無理をすることなく歌唱可能な音高差を特定することができる。
【００１７】
そして、本発明の歌唱音高差特定装置を有したカラオケ装置において、連続する２つの構成音の音高差が、主として、特定した歌唱可能な音高差の範囲内である楽曲を推奨曲としてユーザに提案するようにすれば、ユーザにカラオケをより楽しませることができる。また、本発明の歌唱音高差特定装置を有したカラオケ装置において、特定した歌唱可能な音高差が大きいほど大きな値となる重みを、基本採点の結果に付与すれば、ユーザの歌唱の上手さをより正確に採点することができる。
【００１８】
ところで、一般的には、遷移元音の音高と到達音の音高との音高差（以下、構成音間音高差と称す）が大きいと、楽曲中における遷移元音の終端から到達音の始端までの間の区間（以下、特定区間とする）を滑らかに歌唱することは困難となる。しかし、構成音間音高差が大きかったとしても、特定区間の時間長が長いほど、特定区間を滑らかに歌唱することは容易となる。
【００１９】
すなわち、構成音間音高差が同一であっても、特定区間の時間長によって、ユーザが歌唱可能であるか否かが異なる。
【００２０】
このため、本発明において、歌唱音高差特定手段は、請求項２に記載のように、音高遷移値を、それぞれの歌唱遷移区間の区間長毎に分類して集計するように構成されていることが望ましい。
【００２１】
このように構成された歌唱音高差特定装置によれば、ユーザが歌唱可能な音高差を、歌唱区間の時間長毎に特定することができる。つまり、このように構成された歌唱音高差特定装置によれば、ユーザの歌唱能力を詳細に特定することができる。
【００２２】
また、通常、一つの楽曲における構成音間音高差の分布は、それぞれの楽曲によって大きく異なっているため、特定の構成音間音高差が多く含まれた楽曲のみをユーザが歌唱した場合、その特定の構成音間音高差に対する集計遷移値が大きな値となってしまう。
【００２３】
したがって、本発明の歌唱音高差特定装置においては、集計遷移値を正規化することが望ましい。
【００２４】
このように、集計遷移値を正規化した場合、正規化された集計遷移値の分布は、図９に示すように、歌唱の上手な（即ち、歌唱能力が高い）ユーザであれば、各音高差それぞれでの集計結果（即ち、正規化された集計遷移値）にバラつきがなくなり、全ての音高差において、集計結果が最大値に近い値となる。一方、歌唱の下手な（即ち、歌唱能力が低い）ユーザであれば、各音高差それぞれでの集計結果（即ち、正規化された集計遷移値）にバラつきが生じ、歌唱可能な音高差における集計結果と、歌唱不可能な音高差における集計結果との間の差が大きくなる。
【００２５】
したがって、請求項３に記載のように、歌唱音高差特定手段にて用いる規定値を、集計遷移値の最大値に対して予め規定された割合とすれば、ユーザのレベル（技量）に応じて、ユーザが歌唱可能である音高差を適切に特定することができる。
【００２６】
ところで、本発明において、遷移区間特定手段は、請求項４に記載のように、分散値導出手段が、歌唱データに対して、時間の進行に沿って連続するように予め設定された区間長を有する時間窓を複数設定し、その設定された時間窓それぞれについて、時間窓内における歌唱データの分散である分散値を導出し、始終端特定手段が、その導出された分散値のうち、互いに連続する時間窓に対する分散値の差分を導出し、その差分が最小及び最大となる２つの時間窓の中心それぞれを、区間終端及び区間始端として特定するように構成されていても良い。
【００２７】
このように構成された遷移区間特定手段において、分散値導出手段は、特に、切替区間特定手段が、歌唱データにて、遷移元音に対する歌唱区間、到達音に対する歌唱区間、及びそれらの両歌唱区間に挟まれた歌唱区間からなる切替区間を特定し、その特定した切替区間内に対して複数の時間窓を設定するように構成されていても良い。そして、歌唱区間を特定する方法は、識別情報から特定される楽曲データを取得し、歌唱データと楽曲データとを照合することでも良い。
【００２８】
なお、本発明は、カラオケ装置にて用いられるコンピュータに実行されるプログラムであっても良い。
【００２９】
この場合、本発明のプログラムは、請求項５に記載のように、音声信号取得手順にて、音声信号を識別情報と対応付けて取得し、その取得された音声信号を、歌唱データ生成手順にて周波数解析することで、音高の遷移を表す歌唱データを生成すると共に、その生成した歌唱データの中で、区間終端から区間始端までの歌唱区間を、遷移区間特定手順にて歌唱遷移区間として特定する。これと共に、特定された歌唱遷移区間それぞれについて、遷移値導出手順にて、歌唱遷移区間と、音高遷移モデルとの一致度合いが高いほど大きな値となる音高遷移値を導出し、その導出された音高遷移値を、歌唱音高差特定手順にて、それぞれの歌唱遷移区間での音高差毎に集計し、その集計結果が規定値以上である音高差を、識別情報から特定されるユーザが歌唱可能な音高差として特定するようになされている必要がある。
【００３０】
つまり、請求項５に記載されたプログラムは、請求項１に記載された歌唱音高差特定装置を構成する各手段を、コンピュータに実現させるためになされたものである。したがって、コンピュータに各手順を実行させることで、請求項１に記載された歌唱音高差特定装置と同様の効果を得ることができる。
【００３１】
なお、このようなプログラムであれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。
【図面の簡単な説明】
【００３２】
【図１】カラオケシステムの概略構成を示すブロック図である。
【図２】歌唱音高差特定処理の処理手順を示すフローチャートである。
【図３】歌唱遷移区間抽出処理の処理手順を示すフローチャートである。
【図４】歌唱音高差特定処理の処理内容を模式的に示した図面である。
【図５】歌唱音高差特定処理の処理内容を模式的に示した図面である。
【図６】歌唱遷移区間抽出処理の処理内容を模式的に示した図面である。
【図７】歌唱遷移区間抽出処理の処理内容を模式的に示した図面である。
【図８】歌唱音高差特定処理の処理内容を模式的に示した図面である。
【図９】正規化された集計遷移値について（請求項３に係る発明の概要）について示した説明図である。
【発明を実施するための形態】
【００３３】
以下に本発明の実施形態を図面と共に説明する。
【００３４】
まず、図１は、カラオケ用に予め加工された楽曲（以下、カラオケ楽曲とする）の演奏に応じてユーザが歌唱するためのカラオケシステムの概略構成を示すブロック図である。
【００３５】
〈カラオケシステム全体の構成〉
図１に示すように、カラオケシステム１は、ユーザから指定されたカラオケ楽曲の再生を行うカラオケ装置２０と、カラオケ楽曲の再生に必要なデータである楽曲データをカラオケ装置２０に配信するサーバ３０とを備え、それらカラオケ装置２０とサーバ３０とはネットワーク（例えば、専用回線や、ＷＡＮ等）を介して接続されている。つまり、カラオケシステム１は、いわゆる通信カラオケシステムとして構成されたものである。
【００３６】
このうち、サーバ３０は、カラオケ楽曲の演奏に必要な処理プログラム（以下、カラオケ処理プログラムと称す）及び楽曲データを格納する記憶装置（図示せず）と、ＲＯＭ，ＲＡＭ，ＣＰＵを少なくとも有した周知のマイクロコンピュータ（図示せず）とを中心に構成された情報処理装置からなる周知のカラオケサービス用サーバ装置である。
【００３７】
つまり、サーバ３０は、カラオケシステム１（より正確には、カラオケ装置２０）を使用したユーザに関する情報（以下、ユーザ情報とする）や、カラオケ装置２０から送信されたカラオケ採点の結果等を一元管理すると共に、カラオケ装置２０からの要求に対して楽曲データやカラオケ処理プログラムを送信するように構成されている。
【００３８】
ところで、楽曲データは、カラオケ楽曲それぞれについて予め用意され、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）フォーマットにて記述された周知のカラオケ再生用データである。
【００３９】
したがって、楽曲データは、カラオケ楽曲に関するデータである楽曲情報と、ユーザが歌唱すべき旋律に関するデータであるガイドメロディと、そのカラオケ楽曲の歌詞に関するデータである歌詞情報とから構成されている。
【００４０】
そして、楽曲情報には、カラオケ楽曲を特定するための曲番号データと、曲名を示す曲名データと、そのカラオケ楽曲の演奏時間を示す時間データとが含まれている。
【００４１】
また、ガイドメロディは、カラオケ楽曲の旋律を形成する各構成音の音高、及び音価から構成されている。具体的に、本実施形態のガイドメロディは、各構成音それぞれの楽音出力開始時間及び楽音出力終了時間が、それぞれの構成音の音高と共に表されている。ただし、ここで言う楽音出力開始時間とは、その構成音の出力を開始するまでのカラオケ楽曲の演奏開始からの時間であり、楽音出力終了時間とは、その構成音の出力を終了するまでのカラオケ楽曲の演奏開始からの時間である。
【００４２】
〈カラオケ装置について〉
次に、カラオケ装置２０の構成について説明する。
【００４３】
このカラオケ装置２０は、サーバ３０との間でデータ通信を実行するための通信部２２と、通信部２２を介してサーバ３０から取得したカラオケ処理プログラム及び楽曲データを記憶する記憶部２１と、各種画像を表示するための表示部２３と、ユーザからの指示を受け付ける操作受付部２４とを備えている。さらに、カラオケ装置２０は、音声を入力するためのマイクロホン２６と、音声を出力するためのスピーカ２７と、マイクロホン２６やスピーカ２７を介した音声の入出力を制御する音声入出力部２５と、カラオケ装置２０を構成する各部２１，２２，２３，２４，２５を制御する制御部２８とを備えている。
【００４４】
このうち、通信部２２は、カラオケ装置２０をネットワーク（例えば、専用回線や、ＷＡＮ）に接続して外部と通信を行うための通信インタフェースであり、サーバ３０に各種データを出力すると共に、サーバ３０から各種データや処理プログラムを取得する。
【００４５】
そして、表示部２３は、例えば、液晶ディスプレイ等から構成された表示装置であり、操作受付部２４は、例えば、複数のキースイッチ等から構成された入力装置や、周知のリモコンを介して入力された指示を受け付ける受信装置などからなる。
【００４６】
また、音声入出力部２５は、マイクロホン２６を介して入力された音声（アナログ信号）をデジタル信号に変換し、そのデジタル信号を制御部２８に入力するＡＤ変換器として構成されている。これと共に、音声入出力部２５は、スピーカ２７からの音声の出力を制御するように構成されている。なお、以下では、マイクロホン２６を介して入力され、デジタル信号に変換された音声を音声データと称す。
【００４７】
さらに、記憶部２１は、電源が切断されても記憶内容を保持すると共に記憶内容を読み書き可能に構成された記憶装置（例えば、ハードディスクドライブ）である。その記憶部２１は、カラオケ処理プログラムを格納するプログラム格納領域と、楽曲データを記憶する楽曲データ格納領域と、音声データを記憶する特定用データ格納領域とを備えている。なお、特定用データ格納領域は、予め規定された規定数（例えば、５曲分）分のカラオケ楽曲に対する音声データを格納する音声データ格納領域が、予め設定されたユーザ数（例えば、５人分）分だけ用意されたものである。
【００４８】
次に、制御部２８は、電源が切断されても記憶内容を保持する必要のあるプログラムやデータを格納するＲＯＭ２８ａと、プログラムやデータを一時的に格納するＲＡＭ２８ｂと、ＲＯＭ２８ａやＲＡＭ２８ｂに記憶されたプログラムやデータに従って、カラオケ装置２０を構成する各部２１，２２，２３，２４，２５に対する制御及び各種演算を実行するＣＰＵ２８ｃとを少なくとも有した周知のマイクロコンピュータを中心に構成されている。
【００４９】
なお、ＲＡＭ２８ｂには、記憶部２１からカラオケ処理プログラムが読み込まれ、ＣＰＵ２８ｃは、ＲＡＭ２８ｂに記憶したカラオケ処理プログラムに従って各処理を実行する。
【００５０】
そのカラオケ処理プログラムとして、操作受付部２４を介して指定されたカラオケ楽曲を演奏（再生）する共に、表示部２３に歌詞を表示する周知のカラオケ演奏処理を実行するためのカラオケ演奏処理プログラムがある。また、カラオケ処理プログラムとして、カラオケ楽曲の演奏中にマイクロホン２６を介して入力される音声から抽出した歌唱の音程やテンポを採点基準（即ち、ガイドメロディ）と照合し、その適合度合いを点数化することで採点結果とする周知の採点処理を実行するための採点処理プログラムがある。
【００５１】
この他、カラオケ処理プログラムとして、ユーザ情報（例えば、氏名、性別、識別番号（ＩＤ）、年齢）を操作受付部２４を介して受け付けるユーザ情報処理を実行するためのユーザ情報処理プログラムがある。また、カラオケ処理プログラムとして、カラオケ楽曲の演奏中に生成されるデータ（例えば、音声データ）や、カラオケ装置２０を使用した時の履歴を、記憶部２１またはサーバ３０に蓄積する蓄積処理を実行するための蓄積処理プログラムがある。
【００５２】
また、カラオケ処理プログラムとして、記憶部２１の特定用データ格納領域に格納された音声データに基づいて、ユーザが歌唱可能な音高差（以下、歌唱音高差とする）を特定する歌唱音高差特定処理を実行するための音高差特定処理プログラムがある。つまり、ＣＰＵ２８ｃが歌唱音高差特定処理を実行することにより、カラオケ装置２０（より正確には、制御部２８）が、本発明の歌唱音高差特定装置として機能する。
【００５３】
〈カラオケシステム１の動作について〉
次に、カラオケシステム１の作用（動作）について説明する。
【００５４】
カラオケシステム１が使用される場合、カラオケ装置２０（より正確には制御部２８）では、ユーザ情報処理プログラムを実行して、当該カラオケ装置２０を利用するユーザの人数分のユーザ情報を受け付け、その受け付けたユーザ情報それぞれを各音声データ格納領域と対応付ける。
【００５５】
さらに、カラオケ装置２０では、カラオケ演奏処理プログラムを実行することで、ユーザに指定されたカラオケ楽曲を演奏する共に、そのカラオケ楽曲の歌詞を表示部２３に表示する。ただし、制御部２８は、各カラオケ楽曲の演奏が開始される前には、操作受付部２４を介してユーザ情報を取得する。
【００５６】
そして、カラオケ楽曲の演奏が開始されると、その時に演奏されているカラオケ楽曲（以下、該当カラオケ楽曲と称す）に応じてユーザが歌唱する。そして、該当カラオケ楽曲の演奏が終了すると、制御部２８では、ＣＰＵ２８ｃが蓄積処理プログラムを実行して、ユーザの歌唱音声から生成した音声データを、該当カラオケ楽曲の曲番号データと対応付けた上で（以下、音声データと、曲番号データとが対応付けられたデータを対応データとも称す）、音声データ格納領域に格納する。ただし、対応データが格納される音声データ格納領域は、該当カラオケ楽曲に対して歌唱を実行したユーザのユーザ情報が対応付けられたものである。これにより、音声データと、曲番号データと、ユーザ情報とが対応付けられることになる。
【００５７】
以降、カラオケ装置２０は、カラオケ演奏処理プログラムの実行から、音声データ格納領域に音声データを格納するまでの一連のサイクルを、ユーザがカラオケ楽曲の指定を終了するまで繰り返す。
【００５８】
〈歌唱音高差特定処理〉
次に、ＣＰＵ２８ｃが実行する歌唱音高差特定処理について説明する。
【００５９】
ここで、図２は、歌唱音高差特定処理の処理手順を示したフローチャートである。
【００６０】
この歌唱音高差特定処理は、記憶部２１の音声データ格納領域に規定数の音声データが格納された場合、即ち、一人のユーザが規定数分のカラオケ楽曲を歌唱した場合に起動されるものである。
【００６１】
図２に示すように、歌唱音高差特定処理が起動されると、まず、Ｓ１１０にて、記憶部２１の音声データ格納領域に格納されている全音声データのうち、一つの音声データを取得する。すなわち、図４（Ａ）に示すように、カラオケ楽曲の演奏（即ち、演奏時間の進行）に沿って信号レベルが変化する音声信号を、音声データとして取得する。
【００６２】
続く、Ｓ１２０では、演奏時間の進行に沿って連続するように設定された基準時間窓ｍ毎に、Ｓ１１０で取得した音声データを抽出して、その抽出した音声データ毎に周波数解析（本実施形態では、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ））する。これにより、周波数解析の結果として、各基準時間窓ｍ内での音声データの周波数スペクトル（即ち、周波数成分の分布）が、設定された基準時間窓ｍの数分だけ生成される。なお、基準時間窓ｍは、予め規定された時間長Ｔｗ（例えば、数十ｍｓ）を有した期間であり、添え字ｍは、基準時間窓のインデックス番号（したがって、ｍは、１以上の自然数）を表す。
【００６３】
さらに、Ｓ１３０では、Ｓ１２０での周波数解析の結果（周波数スペクトル）に基づいて、本発明の歌唱データに相当する基本周波数遷移ｆ０ｖ（ｍ）を導出する。
【００６４】
具体的に、本実施形態におけるＳ１３０では、櫛型形状で表される調波構造モデルを予め用意し、その調波構造モデルと、各周波数スペクトルとを照合する周知の手法を用いて、基準時間窓ｍにおける基本周波数ｆ０を周波数スペクトルから検出する。そして、その検出した基本周波数ｆ０を、基準時間窓ｍの時間遷移、即ち、該当カラオケ楽曲の演奏時間の進行に従って、基本周波数遷移ｆ０ｖ（ｍ）としてまとめる。
【００６５】
これにより、図４（Ｂ）に示すような、該当カラオケ楽曲をユーザが歌唱した時の基本周波数ｆ０の時間遷移を表す基本周波数遷移ｆ０ｖ（ｍ）が導出される。
【００６６】
続くＳ１４０では、Ｓ１１０で取得した音声データと対応付けられている曲番号データに従って、その曲番号データに対応するカラオケ楽曲のガイドメロディを記憶部２１から取得する。
【００６７】
そして、Ｓ１５０では、Ｓ１３０で導出された基本周波数遷移ｆ０ｖ（ｍ）と、Ｓ１４０にて取得したガイドメロディとを照合することにより、時間遅延量ｔｌ（ｋ）を導出する。
【００６８】
ただし、時間遅延量ｔｌ（ｋ）とは、音高が切り替わるように連続し、かつ歌詞が対応付けられた２つの構成音（以下、特定構成音と称す）のうち、音高が切り替わった後に到達する構成音（以下、到達音と称す）に対する発声遅れ時間を表すものである。なお、以下では、特定構成音のうち、音高が切り替わる前の遷移元となる構成音を遷移元音と称す。
【００６９】
ここで、本実施形態における時間遅延量ｔｌ（ｋ）の算出方法について詳しく説明する。ただし、本実施形態において、ｋは、該当する構成音（ここでは、到達音）の演奏の順番を表すものであり、該当カラオケ楽曲の演奏開始から、ｋ番目に演奏されることを表している。よって、ｋは、構成音の総数を最大値とした自然数である。
【００７０】
まず、ガイドメロディによって表された全ての構成音の音高の時間変化（即ち、ガイドメロディによる旋律）をガイドメロディ音高とする。
【００７１】
そして、図４（Ｃ）に示すように、基本周波数遷移ｆ０ｖ（ｍ）にガイドメロディ音高を照合することで、基本周波数遷移ｆ０ｖ（ｍ）中において、構成音ｋに対する発声を開始したとみなせるタイミング（以下、構成音歌唱開始タイミングと称す）を検出する。なお、基本周波数遷移ｆ０ｖ（ｍ）にガイドメロディ音高を照合する手法としては、特開２００５−１０７３３０号公報に記載された手法を用いれば良い。
【００７２】
さらに、その検出した構成音歌唱開始タイミングと、構成音ｋについての楽音出力開始時刻ｓｔ（ｋ）との差を時間遅延量ｔｌ（ｋ）として算出する。
【００７３】
このように、ガイドメロディ音高と基本周波数遷移ｆ０ｖ（ｍ）との照合から、時間遅延量ｔｌ（ｋ）の算出までの一連の流れを、カラオケ楽曲の時間進行に従って（即ち、ｋが１から最大となるまで、ｋを順次増加させながら）繰り返す。これにより、全ての構成音歌唱開始タイミングが検出され、それら全構成音歌唱開始タイミングについての時間遅延量ｔｌ（ｋ）が求められる。
【００７４】
続くＳ１６０では、基本周波数遷移ｆ０ｖ（ｍ）の中で、遷移元音に対する区間の終端（以下、区間終端とする）、及び到達音に対する区間の始端（以下、区間始端とする）を特定すると共に、それらの特定した区間終端から区間始端までの間の連続する区間を歌唱遷移区間ｆ０ｖｔ（ｍ）として抽出する歌唱遷移区間抽出処理を実行する。
【００７５】
〈歌唱遷移区間抽出処理〉
ここで、歌唱遷移区間抽出処理について詳細に説明する。
【００７６】
なお、図３は、歌唱遷移区間抽出処理の処理手順を示したフローチャートであり、図６，７は、歌唱遷移区間抽出処理の処理内容を示した模式図である。
【００７７】
この歌唱遷移区間抽出処理は、歌唱音高差特定処理のＳ１６０にて起動されると、図３に示すように、まず、Ｓ４００にて、先に検出した全ての構成音歌唱開始タイミングの中で、一つの構成音歌唱開始タイミングを含む基準時間窓（以下、探査中心時間窓と称す）ｍ0（ｋ）を、下記（１）式に従って導出する。
【００７８】
【数１】
ただし、（１）式において、ｒｏｕｎｄは、整数値への丸めを意味する。
【００７９】
そして、Ｓ４１０では、基本周波数遷移ｆ０ｖ（ｍ）に対して、予め規定された区間の長さ（以下、窓区間長と称す）を有した一つの分析時間窓＃ｐを設定する。なお、本実施形態において、窓区間長は、２Ｍ＋１であり、Ｍは、基準時間窓ｍの個数である。
【００８０】
具体的に、その分析時間窓＃ｐは、窓区間長の中心（即ち、中心となる基準時間窓ｍ）が規定中心値となるように設定される。ただし、その規定中心値は、初期値として、探査中心時間窓ｍ0（ｋ）が設定されている。つまり、本歌唱遷移区間抽出処理が起動されて最初にＳ４１０へと進んだ場合、分析時間窓＃ｐの窓区間長の中心は、探査中心時間窓ｍ0（ｋ）となる。
【００８１】
ただし、ここで言う＃ｐは、分析時間窓のインデックス番号であり、探査中心時間窓ｍ0（ｋ）を原点として、負（マイナス）の値から正の値までをとる。
【００８２】
さらに、Ｓ４２０では、Ｓ４１０にて設定された分析時間窓＃ｐ内の基本周波数遷移ｆ０ｖ（ｍ）に対する分散値ｖｆ０（＃ｐ）を、下記（２）式により導出する。ただし、（２）式において、ｍｆ０（＃ｐ）は、分析時間窓＃ｐ内での基本周波数遷移ｆ０ｖ（ｍ）の平均値であり、下記（３）式により導出されるものである。
【００８３】
【数２】
続いて、Ｓ４３０では、互いに連続する分析時間窓＃ｐに対する分散値ｖｆ０（＃ｐ）の差分を、下記（４）式により求める。以下、（４）式にて求められる値を分散値差分ｄｖｆ０（＃ｐ）と称す。
【００８４】
【数３】
続く、Ｓ４４０では、今サイクルのＳ４３０で導出した分散値差分（以下、今分散値差分と称す）ｄｖｆ０（＃ｐ）を記憶する。以下、前サイクルのＳ４３０にて導出された分散値差分ｄｖｆ０（＃ｐ）を、前分散値差分ｄｖｆ０と称す。
【００８５】
そして、Ｓ４５０では、今分散値差分ｄｖｆ０（＃ｐ）の絶対値が、予め規定された許容値未満であるか否かを判定する。そして、判定の結果、今分散値差分ｄｖｆ０（＃ｐ）の絶対値が許容値未満であれば、即ち、今分散値差分ｄｖｆ０（＃ｐ）が０とみなせる場合には、Ｓ４６０へと進む。
【００８６】
そのＳ４６０では、前分散値差分ｄｖｆ０の絶対値が許容値以上であるか否かを判定する。そして、判定の結果、前分散値差分ｄｖｆ０の絶対値が許容値以上であれば、即ち、前分散値差分ｄｖｆ０が０とみなせない場合には、Ｓ４７０へと進む。
【００８７】
そのＳ４７０では、変極回数カウンタをインクリメントして、Ｓ４８０へと進む。ただし、変極回数カウンタの初期値は、０である。
【００８８】
そのＳ４８０では、変極回数カウンタが２以上であるか否かを判定し、その判定の結果、変極回数カウンタが２未満であれば、Ｓ４９０へと進む。
【００８９】
なお、Ｓ４５０での判定の結果、今分散値差分ｄｖｆ０（＃ｐ）の絶対値が許容値以上である場合や、Ｓ４６０での判定の結果、前分散値差分ｄｖｆ０の絶対値が許容値未満である場合にも、Ｓ４９０へと進む。
【００９０】
そのＳ４９０では、規定中心値を、今サイクルにて設定されている規定中心値から、基準時間窓ｍをｐ個（ただし、ｐ≦Ｍ）だけずらして設定する。これにより、次にＳ４１０へと戻った際に、窓区間長の中心について、基準時間窓ｍがｐ個分だけ変位された分析時間窓＃ｐが設定される。
【００９１】
ただし、本実施形態のＳ４９０では、変極回数カウンタが０である時には、規定中心値を、基本周波数遷移ｆ０ｖ（ｍ）の時間進行において、時間の進行方向とは反対の方向に沿って変位させる。また、変極カウンタが１である時には、規定中心値を、基本周波数遷移ｆ０ｖ（ｍ）の時間進行において、時間の進行方向に沿って変位させる。
【００９２】
ここで、Ｓ４１０からＳ４９０の処理（以下、特定処理と称す）を繰り返した時の動作を説明する。
【００９３】
まず、図６（Ａ）に示すように、変極回数カウンタが０である時に特定処理を繰り返すと、探査中心時間窓ｍ0（ｋ）を基準として、基本周波数遷移ｆ０ｖ（ｍ）における時間の進行とは反対の方向に沿って（図６（Ａ）中の左方向へと）、分析時間窓＃ｐが設定される。なお、この時に、Ｓ４１０にて設定される分析時間窓のインデックス番号＃ｐは、分析時間窓＃ｐが設定される毎に、値を減少させる（値は、マイナス方向に大きくなる）。
【００９４】
一方、変極回数カウンタが１である時に特定処理を繰り返すと、探査中心時間窓ｍ0（ｋ）を基準として、基本周波数遷移ｆ０ｖ（ｍ）における時間の進行に沿って（図６（Ａ）中の右方向へと）、分析時間窓＃ｐが設定される。なお、この時に、Ｓ４１０にて設定される分析時間窓のインデックス番号＃ｐは、分析時間窓＃ｐが設定される毎に、値を増加する（値は、プラス方向に大きくなる）。
【００９５】
そして、Ｓ４１０にて設定される分析時間窓＃ｐは、窓区間長の中心が、ｐずつ変位されることから、特定処理を繰り返すことで、少なくとも互いに隣接する複数の分析時間窓＃ｐが設定される。
【００９６】
さらに、特定処理を繰り返す際にＳ４２０にて導出される分散値ｖｆ０（＃ｐ）は、図６（Ｂ）に示すように、遷移元音から到達音へと歌唱音高が遷移する区間（以下、遷移区間と称す）内でのものであれば、分析時間窓＃ｐ毎の変化は小さいものの、値自体は大きなものとなる。一方、遷移元音及び到達音の歌唱音高に対する区間（以下、定常区間と称す）内でのものであれば、分析時間窓＃ｐ毎の変化は小さいものの、値自体は大きなものとなる。
【００９７】
したがって、特定処理を繰り返す際にＳ４３０にて導出される分散値差分ｄｖｆ０（＃ｐ）は、図７（Ａ）に示すように、定常区間内及び遷移区間内でのものであれば、その値自体が０とみなせる。一方、定常区間から遷移区間への切り替わりや、遷移区間から定常区間への切り替わりでは、その値自体が０とはみなすことができない。
【００９８】
つまり、分散値差分ｄｖｆ０は、定常区間から遷移区間への切り替わりにて極大値となり、遷移区間から定常区間への切り替わりにて極小値となる。このため、本実施形態では、Ｓ４５０，Ｓ４６０にて、今分散値差分ｄｖｆ０（＃ｐ）の絶対値が許容値未満であるか否か、及び前分散値差分ｄｖｆ０の絶対値が許容値以上であるか否かを判定して、分散値差分ｄｖｆ０（＃ｐ）が極値となったか否かを判定している。
【００９９】
言い換えれば、特定処理を繰り返す際に、変極回数カウンタが２以上となると、分散値差分ｄｖｆ０（＃ｐ）から、２つの極値が検出されたことになる。
【０１００】
ここで、図３へと戻り、Ｓ４８０での判定の結果、変極回数カウンタが２以上であれば、Ｓ５００へと進む。そのＳ５００では、区間終端に対応する基準時間窓（以下、区間終端窓ｍfin（ｋ−１）とする）、及び区間始端に対応する基準時間窓（以下、区間始端窓ｍst（ｋ）とする）を検出する。
【０１０１】
具体的に、本実施形態のＳ５００では、図７（Ａ）に示すように、分散値差分ｄｖｆ０（＃ｐ）が極大値となった分析時間窓＃ｐに対応する規定中心値を区間終端とし、分散値差分ｄｖｆ０（＃ｐ）が極小値となった分析時間窓＃ｐに対応する規定中心値を区間始端とする。このため、区間終端となった規定中心値から探索中心時間窓ｍ0（ｋ）までの間の基準時間窓ｍの個数をｐｂとし、区間始端となった規定中心値から探索中心時間窓ｍ0（ｋ）までの間の基準時間窓ｍの個数をｐｆとする。すると、区間終端窓ｍfin（ｋ−１）は、ｍfin（ｋ−１）＝ｍ0（ｋ）−ｐｂにて表され、区間始端窓ｍｓｔ（ｋ）は、ｍst（ｋ）＝ｍ0（ｋ）＋ｐｆにて表される。
【０１０２】
なお、極大値及び極小値を検出する手法としては、Ｓ４４０にて記憶された全ての分散値差分の中で、値が最大または最小となるものを、それぞれ、極大値及び極小値とすればよい。
【０１０３】
続いて、Ｓ５１０では、遷移元音に対する区間についての歌唱音高ｆ０（ｋ−１）、到達音に対する区間についての歌唱音高ｆ０（ｋ）を、それぞれ下記（５）式，（６）式に従って導出すると共に、それらの歌唱音高の音高差ｆ０ｄ（ｋ）を下記（７）式に従って導出する。
【０１０４】
【数４】
つまり、音高差ｆ０ｄ（ｋ）は、歌唱音高ｆ０（ｋ−１）と歌唱音高ｆ０（ｋ）との比を、半音で量子化したものであり、いわゆる音程として表されたものである。
【０１０５】
また、Ｓ５２０では、区間終端窓ｍfin（ｋ−１）、及び区間始端窓ｍst（ｋ）それぞれの該当カラオケ楽曲の演奏開始からの時間を、下記（８），（９）式に従って導出する。
【０１０６】
【数５】
これと共に、Ｓ５２０では、区間終端窓ｍfin（ｋ−１）から区間始端窓ｍst（ｋ）までの期間長を遷移期間ｔｒｔ（ｋ）として、下記（１０）式に従って導出する。
【０１０７】
【数６】
ただし、（１０）式にて導出される遷移期間ｔｒｔ（ｋ）は、基準時間窓ｍの個数によって表されている。
【０１０８】
続く、Ｓ５３０では、Ｓ５１０にて導出した音高差ｆ０ｄ（ｋ）と、Ｓ４７０にて導出した遷移期間ｔｒｔ（ｋ）とを記憶する。
【０１０９】
そして、Ｓ５４０では、下記（１１）式に従って、基本周波数遷移ｆ０ｖ（ｍ）において、先のＳ５２０にて導出した遷移期間ｔｒｔ（ｋ）に対応する区間を歌唱遷移区間ｆ０ｖｔ（ｍ）として抽出する。ただし、（１１）式中のｍｍは、１からｔｒｔ（ｋ）までの基準時間窓ｍである。
【０１１０】
【数７】
そして、その後、歌唱音高差特定処理のＳ１７０へと戻る。
【０１１１】
つまり、歌唱遷移区間抽出処理では、図７（Ｂ）に示すように、遷移元音に対する歌唱区間、到達音に対する歌唱区間、及びそれらの歌唱区間に挟まれた歌唱区間の中から、区間終端窓ｍfin（ｋ−１）と区間始端窓ｍst（ｋ）とを特定する。そして、特定した区間終端窓ｍfin（ｋ−１）から区間始端窓ｍst（ｋ）までの間の期間を遷移期間ｔｒｔ（ｋ）として導出する。これと共に、基本周波数遷移ｆ０ｖ（ｍ）中にて、遷移期間ｔｒｔ（ｋ）に対応する区間を歌唱遷移区間ｆ０ｖｔ（ｍ）として抽出している。
【０１１２】
ここで、歌唱音高差特定処理（即ち、図２）のＳ１７０へと戻る。
【０１１３】
そのＳ１７０では、歌唱遷移区間抽出処理にて抽出した歌唱遷移区間ｆ０ｖｔ（ｍ）と、遷移元音から到達音への発声音高の理想的な遷移態様を表す音高遷移モデルとの類似度合いを、下記（１２）式から（１５）式に従って求める。以下、このＳ１７０で導出した類似度合いを、音高遷移スコアｔｓｃ（ｍ）とする。
【０１１４】
ここで、音高遷移スコアｔｓｃ（ｍ）を導出する具体的な手法について説明する。
【０１１５】
なお、本実施形態における音高遷移モデルは、遷移元音から到達音への音高の遷移が正確、かつ滑らか（スムーズ）に聞こえるように、下記（１２）式にて表された時間関数である。以下、下記（１２）式にて表される音高遷移モデルを、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）と称す。
【０１１６】
【数８】
つまり、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）は、照合すべき歌唱遷移区間ｆ０ｖｔ（ｍ）それぞれの時間長に従って変動するものである。ただし、Ｍ0は、遷移期間ｔｒｔ（ｋ）を表す。
【０１１７】
そして、図５（Ａ）に示すように、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）を、歌唱遷移区間ｆ０ｖｔ（ｍ）に照合することで、音高遷移スコアｔｓｃ（ｍ）を導出する。この音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）と、歌唱遷移区間ｆ０ｖｔ（ｍ）との照合は、下記（１３）式により実行される。
【０１１８】
【数９】
ただし、（１３）式中のＭＶVOは、歌唱遷移区間ｆ０ｖｔ（ｍ）の平均値を示し、下記（１４）式に従って導出され、（１３）式中のＭＶMOは、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）の平均値を示し、下記（１５）式に従って導出される。
【０１１９】
【数１０】
つまり、音高遷移スコアｔｓｃ（ｋ）は、歌唱遷移区間ｆ０ｖｔ（ｍ）と、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）と類似度合いが高いほど（即ち、音高遷移が滑らかな（スムーズな）ほど）大きな値となる。
【０１２０】
続くＳ１８０では、Ｓ１５０にて算出した全ての時間遅延量ｔｌ（ｋ）に対応する歌唱遷移区間ｆ０ｖｔ（ｍ）を抽出して、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）との照合を実施したか否かを判定する。その判定の結果、照合を実施済でなければ、Ｓ１６０へと戻り、全ての時間遅延量ｔｌ（ｋ）に対応する歌唱遷移区間ｆ０ｖｔ（ｍ）を抽出して、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）との照合を実施するまで、Ｓ１６０，Ｓ１７０を繰り返す。一方、判定の結果、実施済であれば、Ｓ１９０へと進む。
【０１２１】
そのＳ１９０では、Ｓ１７０にて導出した音高遷移スコアｔｓｃ（ｋ）それぞれを、下記（１６）式に従って集計する。以下、（１６）式にて集計した結果を、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）とする。
【０１２２】
なお、（１６）式中のｋ'は、音高差ｆ０ｄ（ｋ）、及び遷移期間ｔｒｔ（ｋ）が同一分類区分中に含まれる構成音（以下、同一構成音と称す）を表す識別番号（上述したｋ番目や、ｋ＋１番目に相当）の集合であり、Ｋ０は、同一構成音の総数である。
【０１２３】
【数１１】
つまり、この集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）は、Ｓ１７０にて導出された音高遷移スコアｔｓｃ（ｍ）を、音高差ｆ０ｄ（ｋ）、及び遷移期間ｔｒｔ（ｋ）が同一である分類区分（以下、音高差区分（ｔｒｔ，ｆ０ｄ）と称す。）毎に集計したものである。したがって、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）をマップ化した集計遷移スコア分布は、図５（Ｂ）に示すように、音高差ｆ０ｄ（ｋ）、遷移期間ｔｒｔ（ｋ）、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）をそれぞれの軸とした３次元のマトリクスとなる。ただし、図５（Ｂ）では、集計遷移スコア（ｔｒｔ，ｆ０ｄ）の大きさを色の濃淡を用いて示した。
【０１２４】
なお、本実施形態では、Ｓ１８０へと進んだ回数が二回目以降である場合、そのサイクル（即ち、今回のＳ１９０）にて導出したｍｔｓｃ（ｔｒｔ，ｆ０ｄ）を、前サイクルにて（即ち、前回のＳ１９０以前に）導出されたｍｔｓｃ（ｔｒｔ，ｆ０ｄ）に積算する。つまり、最終的に生成された集計遷移スコア（ｔｒｔ、ｆ０ｄ）には、各音声データから導出される集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）が全て積算されている。
【０１２５】
さらに、Ｓ２００にて、記憶部２１の音声データ格納領域に格納されている全ての音声データに対して、Ｓ１１０からＳ１９０までの処理（ここでは、規定処理と称す）を実行したか否かを判定する。
【０１２６】
その判定の結果、全ての音声データに対して規定処理を実行していなければ、Ｓ１１０へと戻り、そのＳ１１０にて、記憶部２１の音声データ格納領域に格納されている全音声データの中から、規定処理を未実行である音声データを取得して、Ｓ１２０へと進む。一方、Ｓ２００での判定の結果、全ての音声データに対して規定処理を実行済であれば、Ｓ２１０へと進む。
【０１２７】
そして、Ｓ２１０では、各音高差区分（ｔｒｔ，ｆ０ｄ）における集計遷移スコアｍｔｓｃ（ｔｒｔ、ｆ０ｄ）それぞれが規定値以上であるか否かを、（１７）式により判定する。
【０１２８】
【数１２】
つまり、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）が規定値以上であれば、その音高差区分（ｔｒｔ，ｆ０ｄ）を歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）として判別する。一方、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）が規定値未満であれば、その音高差区分（ｔｒｔ，ｆ０ｄ）を歌唱不能音高差区分ＩＴＭ0（ｔｒｔ，ｆ０ｄ）として判別する。
【０１２９】
なお、本実施形態における規定値は、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）の最大値Ｍａｘ＿ｔｓｃに対して予め規定された割合Ａ（例えば、最大値の半分や、１／３等）である（規定値＝Ｍａｘ＿ｔｓｃ×Ａ）。
【０１３０】
続く、Ｓ２２０では、Ｓ２１０で特定した歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）を利用した処理（以下、特定音高差利用処理）を実行する。
【０１３１】
具体的に、本実施形態では、Ｓ２１０で特定した歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）、及び歌唱不能音高差区分ＩＴＭ0（ｔｒｔ，ｆ０ｄ）に基づいて、結果マトリクスＩＴＭ（ｔｒｔ，ｆ０ｄ）を生成し、その生成した結果マトリクスＩＴＭ（ｔｒｔ，ｆ０ｄ）を表示部２３に表示する。これと共に、結果マトリクスＩＴＭ（ｔｒｔ，ｆ０ｄ）を、対応するユーザ情報と対応付けて記憶部２１及びサーバ３０に記憶する。
【０１３２】
この結果マトリクスＩＴＭ（ｔｒｔ，ｆ０ｄ）は、図８に示すように、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）、歌唱不能音高差区分ＩＴＭ0（ｔｒｔ，ｆ０ｄ）それぞれを、各音高差区分（ｔｒｔ，ｆ０ｄ）の並びに沿って配置したものである。
【０１３３】
さらに、本実施形態の特定音高差利用処理では、特定構成音の音高差が、主として、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）の範囲内である楽曲を推奨曲としてユーザに提案する。これと共に、特定音高差利用処理では、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）の最大音高差ｆ０ｄが大きいほど大きな値となる重みを、採点処理による採点結果に付与する。
【０１３４】
そして、その後、本歌唱音高差特定処理を終了する。
【０１３５】
つまり、本実施形態の歌唱音高差特定処理では、歌唱遷移区間抽出処理にて抽出した歌唱遷移区間ｆ０ｖｔ（ｍ）それぞれを、対応する音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）に照合して、音高遷移スコアｔｓｃ（ｋ）を導出する。さらに、それらの導出した音高遷移スコアｔｓｃ（ｋ）を音高差区分（ｔｒｔ，ｆ０ｄ）毎に集計した集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）が規定値以上であるか否かを判定する。そして、その判定結果に従って、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）、即ち、ユーザが歌唱可能な音高差区分を特定している。
［実施形態の効果］
以上説明したように、本実施形態のカラオケ装置２０によれば、ユーザが歌唱可能な音高差、即ち、ユーザが歌唱可能な音程を特定することができる。
【０１３６】
特に、本実施形態のカラオケ装置２０によれば、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）を、音高差ｆ０ｄ（ｋ）毎かつ遷移期間ｔｒｔ（ｋ）毎に集計しているため、ユーザが歌唱可能な音高差ｆ０ｄを、遷移期間ｔｒｔの時間長毎に特定することができる。
【０１３７】
つまり、カラオケ装置２０によれば、ユーザの歌唱能力を詳細に特定することができる。
【０１３８】
なお、ユーザが無理をして発声した状態では、遷移期間ｔｒｔでの音高推移を滑らか（スムーズ）に歌唱することは困難である。しかし、このような場合、本実施形態のカラオケ装置２０では、音高遷移スコアｔｓｃ（ｋ）が小さな値として導出する。
【０１３９】
したがって、本実施形態のカラオケ装置２０によれば、ユーザが無理をすること無く歌唱可能な音高差ｆ０ｄを特定することができる。
【０１４０】
そして、本実施形態のカラオケ装置２０では、特定構成音の音高差が、主として、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）の範囲内である楽曲を推奨曲としてユーザに提案したり、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）の最大音高差ｆ０ｄが大きいほど大きな値となる重みを、採点処理による採点結果に付与したりしている。
【０１４１】
この結果、本実施形態のカラオケ装置２０によれば、推奨曲をユーザに歌唱させることで、カラオケをより楽しませることができ、また、ユーザの歌唱の上手さをより正確に採点したりすることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【０１４２】
例えば、上記実施形態のカラオケシステム１は、一つのカラオケ装置２０と一つのサーバ３０とが接続されたものであったが、カラオケシステム１は、これに限るものではなく、複数のカラオケ装置２０と一つのサーバ３０とが接続されたものでも良いし、複数のカラオケ装置２０と複数のサーバ３０とが接続されたものでも良い。
【０１４３】
また、上記実施形態の歌唱遷移区間抽出処理では、互いに連続する分析時間窓に対する分散値差分ｄｖｆ０（＃ｐ）が極大または極小となる基準時間窓ｍを、区間終端ｍfin（ｋ−１）及び区間始端ｍst（ｋ）として導出したが、区間終端ｍfin（ｋ−１）及び区間始端ｍst（ｋ）を導出する方法は、これに限るものではない。例えば、遷移元音及び到達音それぞれについて安定して歌唱している区間を特定し、それらの区間の終端，始端に対応する基準時間窓ｍをそれぞれ区間終端ｍfin（ｋ−１）及び区間始端ｍst（ｋ）としても良い。
【０１４４】
なお、上記実施形態における音高差特定処理では、音高差ｆ０ｄ（ｋ）と遷移期間ｔｒｔ（ｋ）とに従って、音高遷移スコアｔｓｃ（ｋ）を集計したが、音高遷移スコアｔｓｃ（ｋ）の集計方法は、これに限るものではなく、音高差ｆ０ｄ（ｋ）のみに従って、音高遷移スコアｔｓｃ（ｋ）を集計しても良い。
［実施形態と本発明との対応関係］
次に、上記実施形態と、特許請求の範囲との対応関係について説明する。
【０１４５】
上記実施形態の音高差特定処理におけるＳ１１０を実行することで得られる機能が、本発明の音声信号取得手段に相当し、Ｓ１２０，Ｓ１３０を実行することで得られる機能が、歌唱データ生成手段に相当する。さらに、音高差特定処理のＳ１６０を実行することで得られる機能が、遷移区間特定手段に相当し、Ｓ１７０を実行することで得られる機能が、遷移値導出手段に相当する。また、音高差特定処理におけるＳ１９０，Ｓ２１０を実行することで得られる機能が、音高差特定手段に相当する。
【０１４６】
なお、音高差特定処理のＳ１６０を実行することで得られる機能のうち、歌唱遷移区間抽出処理におけるＳ４１０，Ｓ４２０を実行することで得られる機能が、本発明の分散値導出手段に相当し、Ｓ４３０，Ｓ４５０〜Ｓ４８０，Ｓ５００を実行することで得られる機能が、本発明の始終端特定手段に相当する。
【符号の説明】
【０１４７】
１…カラオケシステム ２０…カラオケ装置 ２１…記憶部 ２２…通信部 ２３…表示部 ２４…操作受付部 ２５…音声入出力部 ２６…マイクロホン ２７…スピーカ ２８…制御部 ３０…サーバ
【技術分野】
【０００１】
本発明は、推奨曲の提案や採点の実行といったカラオケ装置が有する機能の実施に用いられる情報を生成する歌唱音高差特定装置、及びプログラムに関する。
【背景技術】
【０００２】
従来より、伴奏音楽に合わせてユーザが歌唱を楽しむカラオケ装置において、ユーザが歌唱可能であると推定した楽曲を推奨曲として提案するものや、ユーザの歌唱の上手さを採点するものが知られている。
【０００３】
一般的に、これらのカラオケ装置では、推奨曲を提案する際には、ユーザにとって歌唱しやすい楽曲を推奨曲として提案することが、採点を実行する際には、多くの人が納得するように採点結果を導出することが求められている。
【０００４】
これに対し、例えば、推奨曲を提案する際に、ユーザが歌唱可能な音域内において、構成音の音高が遷移する楽曲を推奨曲として選択することが提案されている（例えば、特許文献１参照）。また、採点を実行する際に、歌唱音声についての基本周波数と、予め用意された基準値との一致度合いが高いほど優れた結果となるように採点すること（以下、基本採点とする）に加えて、歌唱者が歌唱可能な音域には重みを付与した採点結果を導出することが提案されている（例えば、特許文献２参照）。
【０００５】
つまり、特許文献１や、特許文献２に記載のカラオケ装置では、ユーザが歌唱可能な音域（以下、歌唱音域と称す）を用いて、推奨曲を決定したり、基本採点の結果に付加する重みを導出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１０７３１３号公報
【特許文献２】特許第３２９０９４５号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、歌唱のしやすさや、歌唱の上手さは、歌唱音域のみによって決定されるものではなく、その他の様々な歌唱能力によっても変わる。
【０００８】
しかしながら、特許文献１、２に記載されたカラオケ装置では、ユーザが有している歌唱能力のうち、歌唱音域のみを用いて、推奨曲の決定や、歌唱の上手さを採点（評価）するため、ユーザにとって十分に歌唱しやすい楽曲を推奨曲としたり、ユーザの歌唱の上手さを正確に採点したりすることができないという問題があった。
【０００９】
そこで、本発明は、ユーザにとって歌唱しやすい推奨曲を決定したり、歌唱の上手さを正確に採点したりするために用いる情報を生成することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するためになされた本発明は、各楽曲を構成する構成音それぞれの音高及び音価を表す楽曲データに従って楽曲を演奏するカラオケ装置にて用いられる歌唱音高差特定装置である。
【００１１】
その本発明の歌唱音高差特定装置では、音声信号取得手段が、カラオケ装置にて楽曲の演奏中に入力された音声（以下、音声信号とする）を、その音声を発したユーザ及び演奏中の楽曲を識別するための識別情報と対応付けて取得し、歌唱データ生成手段が、その取得した音声信号を周波数解析することで、音高の遷移を表す歌唱データを生成する。
【００１２】
そして、遷移区間特定手段が、その生成された歌唱データの中で、遷移元音に対する歌唱区間の終端（以下、区間終端とする）から、到達音に対する歌唱区間の始端（以下、区間始端とする）までの歌唱区間（以下、歌唱遷移区間と称す）を特定する。ただし、ここで言う到達音とは、識別情報から特定される楽曲中にて音高が切り替わるように連続する２つの構成音（以下、特定構成音と称す）のうち、音高が切り替わった後に到達する構成音であり、ここで言う遷移元音とは、特定構成音のうちの他方（音高が切り替わる前の遷移元となる構成音）である。
【００１３】
さらに、その特定された歌唱遷移区間それぞれについて、遷移値導出手段が、歌唱遷移区間と、音高遷移モデルとの一致度合いが高いほど大きな値となる音高遷移値を導出する。ただし、ここで言う音高遷移モデルとは、遷移元音に対応する音高から到達音に対応する音高へと発声音高を理想的に遷移させた時の遷移態様である。
【００１４】
このようにして導出された音高遷移値を、歌唱音高差特定手段が、それぞれの歌唱遷移区間での音高差毎に集計し、その集計結果（以下、集計遷移値とする）が規定値以上である音高差を、識別情報から特定されるユーザが歌唱可能な音高差として特定する。
【００１５】
このような本発明の歌唱音高差特定装置によれば、ユーザが歌唱可能な音高差、即ち、ユーザが歌唱可能な音程を特定することができる。
【００１６】
特に、ユーザが無理をして発声した状態では、遷移元音に対応する音高から到達音に対応する音高への音高推移を滑らか（スムーズ）に歌唱することが困難であることから、本発明の歌唱音高差特定装置によれば、ユーザが無理をすることなく歌唱可能な音高差を特定することができる。
【００１７】
そして、本発明の歌唱音高差特定装置を有したカラオケ装置において、連続する２つの構成音の音高差が、主として、特定した歌唱可能な音高差の範囲内である楽曲を推奨曲としてユーザに提案するようにすれば、ユーザにカラオケをより楽しませることができる。また、本発明の歌唱音高差特定装置を有したカラオケ装置において、特定した歌唱可能な音高差が大きいほど大きな値となる重みを、基本採点の結果に付与すれば、ユーザの歌唱の上手さをより正確に採点することができる。
【００１８】
ところで、一般的には、遷移元音の音高と到達音の音高との音高差（以下、構成音間音高差と称す）が大きいと、楽曲中における遷移元音の終端から到達音の始端までの間の区間（以下、特定区間とする）を滑らかに歌唱することは困難となる。しかし、構成音間音高差が大きかったとしても、特定区間の時間長が長いほど、特定区間を滑らかに歌唱することは容易となる。
【００１９】
すなわち、構成音間音高差が同一であっても、特定区間の時間長によって、ユーザが歌唱可能であるか否かが異なる。
【００２０】
このため、本発明において、歌唱音高差特定手段は、請求項２に記載のように、音高遷移値を、それぞれの歌唱遷移区間の区間長毎に分類して集計するように構成されていることが望ましい。
【００２１】
このように構成された歌唱音高差特定装置によれば、ユーザが歌唱可能な音高差を、歌唱区間の時間長毎に特定することができる。つまり、このように構成された歌唱音高差特定装置によれば、ユーザの歌唱能力を詳細に特定することができる。
【００２２】
また、通常、一つの楽曲における構成音間音高差の分布は、それぞれの楽曲によって大きく異なっているため、特定の構成音間音高差が多く含まれた楽曲のみをユーザが歌唱した場合、その特定の構成音間音高差に対する集計遷移値が大きな値となってしまう。
【００２３】
したがって、本発明の歌唱音高差特定装置においては、集計遷移値を正規化することが望ましい。
【００２４】
このように、集計遷移値を正規化した場合、正規化された集計遷移値の分布は、図９に示すように、歌唱の上手な（即ち、歌唱能力が高い）ユーザであれば、各音高差それぞれでの集計結果（即ち、正規化された集計遷移値）にバラつきがなくなり、全ての音高差において、集計結果が最大値に近い値となる。一方、歌唱の下手な（即ち、歌唱能力が低い）ユーザであれば、各音高差それぞれでの集計結果（即ち、正規化された集計遷移値）にバラつきが生じ、歌唱可能な音高差における集計結果と、歌唱不可能な音高差における集計結果との間の差が大きくなる。
【００２５】
したがって、請求項３に記載のように、歌唱音高差特定手段にて用いる規定値を、集計遷移値の最大値に対して予め規定された割合とすれば、ユーザのレベル（技量）に応じて、ユーザが歌唱可能である音高差を適切に特定することができる。
【００２６】
ところで、本発明において、遷移区間特定手段は、請求項４に記載のように、分散値導出手段が、歌唱データに対して、時間の進行に沿って連続するように予め設定された区間長を有する時間窓を複数設定し、その設定された時間窓それぞれについて、時間窓内における歌唱データの分散である分散値を導出し、始終端特定手段が、その導出された分散値のうち、互いに連続する時間窓に対する分散値の差分を導出し、その差分が最小及び最大となる２つの時間窓の中心それぞれを、区間終端及び区間始端として特定するように構成されていても良い。
【００２７】
このように構成された遷移区間特定手段において、分散値導出手段は、特に、切替区間特定手段が、歌唱データにて、遷移元音に対する歌唱区間、到達音に対する歌唱区間、及びそれらの両歌唱区間に挟まれた歌唱区間からなる切替区間を特定し、その特定した切替区間内に対して複数の時間窓を設定するように構成されていても良い。そして、歌唱区間を特定する方法は、識別情報から特定される楽曲データを取得し、歌唱データと楽曲データとを照合することでも良い。
【００２８】
なお、本発明は、カラオケ装置にて用いられるコンピュータに実行されるプログラムであっても良い。
【００２９】
この場合、本発明のプログラムは、請求項５に記載のように、音声信号取得手順にて、音声信号を識別情報と対応付けて取得し、その取得された音声信号を、歌唱データ生成手順にて周波数解析することで、音高の遷移を表す歌唱データを生成すると共に、その生成した歌唱データの中で、区間終端から区間始端までの歌唱区間を、遷移区間特定手順にて歌唱遷移区間として特定する。これと共に、特定された歌唱遷移区間それぞれについて、遷移値導出手順にて、歌唱遷移区間と、音高遷移モデルとの一致度合いが高いほど大きな値となる音高遷移値を導出し、その導出された音高遷移値を、歌唱音高差特定手順にて、それぞれの歌唱遷移区間での音高差毎に集計し、その集計結果が規定値以上である音高差を、識別情報から特定されるユーザが歌唱可能な音高差として特定するようになされている必要がある。
【００３０】
つまり、請求項５に記載されたプログラムは、請求項１に記載された歌唱音高差特定装置を構成する各手段を、コンピュータに実現させるためになされたものである。したがって、コンピュータに各手順を実行させることで、請求項１に記載された歌唱音高差特定装置と同様の効果を得ることができる。
【００３１】
なお、このようなプログラムであれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することや、必要に応じて通信回線を介してコンピュータに取得させて起動することにより用いることができる。
【図面の簡単な説明】
【００３２】
【図１】カラオケシステムの概略構成を示すブロック図である。
【図２】歌唱音高差特定処理の処理手順を示すフローチャートである。
【図３】歌唱遷移区間抽出処理の処理手順を示すフローチャートである。
【図４】歌唱音高差特定処理の処理内容を模式的に示した図面である。
【図５】歌唱音高差特定処理の処理内容を模式的に示した図面である。
【図６】歌唱遷移区間抽出処理の処理内容を模式的に示した図面である。
【図７】歌唱遷移区間抽出処理の処理内容を模式的に示した図面である。
【図８】歌唱音高差特定処理の処理内容を模式的に示した図面である。
【図９】正規化された集計遷移値について（請求項３に係る発明の概要）について示した説明図である。
【発明を実施するための形態】
【００３３】
以下に本発明の実施形態を図面と共に説明する。
【００３４】
まず、図１は、カラオケ用に予め加工された楽曲（以下、カラオケ楽曲とする）の演奏に応じてユーザが歌唱するためのカラオケシステムの概略構成を示すブロック図である。
【００３５】
〈カラオケシステム全体の構成〉
図１に示すように、カラオケシステム１は、ユーザから指定されたカラオケ楽曲の再生を行うカラオケ装置２０と、カラオケ楽曲の再生に必要なデータである楽曲データをカラオケ装置２０に配信するサーバ３０とを備え、それらカラオケ装置２０とサーバ３０とはネットワーク（例えば、専用回線や、ＷＡＮ等）を介して接続されている。つまり、カラオケシステム１は、いわゆる通信カラオケシステムとして構成されたものである。
【００３６】
このうち、サーバ３０は、カラオケ楽曲の演奏に必要な処理プログラム（以下、カラオケ処理プログラムと称す）及び楽曲データを格納する記憶装置（図示せず）と、ＲＯＭ，ＲＡＭ，ＣＰＵを少なくとも有した周知のマイクロコンピュータ（図示せず）とを中心に構成された情報処理装置からなる周知のカラオケサービス用サーバ装置である。
【００３７】
つまり、サーバ３０は、カラオケシステム１（より正確には、カラオケ装置２０）を使用したユーザに関する情報（以下、ユーザ情報とする）や、カラオケ装置２０から送信されたカラオケ採点の結果等を一元管理すると共に、カラオケ装置２０からの要求に対して楽曲データやカラオケ処理プログラムを送信するように構成されている。
【００３８】
ところで、楽曲データは、カラオケ楽曲それぞれについて予め用意され、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）フォーマットにて記述された周知のカラオケ再生用データである。
【００３９】
したがって、楽曲データは、カラオケ楽曲に関するデータである楽曲情報と、ユーザが歌唱すべき旋律に関するデータであるガイドメロディと、そのカラオケ楽曲の歌詞に関するデータである歌詞情報とから構成されている。
【００４０】
そして、楽曲情報には、カラオケ楽曲を特定するための曲番号データと、曲名を示す曲名データと、そのカラオケ楽曲の演奏時間を示す時間データとが含まれている。
【００４１】
また、ガイドメロディは、カラオケ楽曲の旋律を形成する各構成音の音高、及び音価から構成されている。具体的に、本実施形態のガイドメロディは、各構成音それぞれの楽音出力開始時間及び楽音出力終了時間が、それぞれの構成音の音高と共に表されている。ただし、ここで言う楽音出力開始時間とは、その構成音の出力を開始するまでのカラオケ楽曲の演奏開始からの時間であり、楽音出力終了時間とは、その構成音の出力を終了するまでのカラオケ楽曲の演奏開始からの時間である。
【００４２】
〈カラオケ装置について〉
次に、カラオケ装置２０の構成について説明する。
【００４３】
このカラオケ装置２０は、サーバ３０との間でデータ通信を実行するための通信部２２と、通信部２２を介してサーバ３０から取得したカラオケ処理プログラム及び楽曲データを記憶する記憶部２１と、各種画像を表示するための表示部２３と、ユーザからの指示を受け付ける操作受付部２４とを備えている。さらに、カラオケ装置２０は、音声を入力するためのマイクロホン２６と、音声を出力するためのスピーカ２７と、マイクロホン２６やスピーカ２７を介した音声の入出力を制御する音声入出力部２５と、カラオケ装置２０を構成する各部２１，２２，２３，２４，２５を制御する制御部２８とを備えている。
【００４４】
このうち、通信部２２は、カラオケ装置２０をネットワーク（例えば、専用回線や、ＷＡＮ）に接続して外部と通信を行うための通信インタフェースであり、サーバ３０に各種データを出力すると共に、サーバ３０から各種データや処理プログラムを取得する。
【００４５】
そして、表示部２３は、例えば、液晶ディスプレイ等から構成された表示装置であり、操作受付部２４は、例えば、複数のキースイッチ等から構成された入力装置や、周知のリモコンを介して入力された指示を受け付ける受信装置などからなる。
【００４６】
また、音声入出力部２５は、マイクロホン２６を介して入力された音声（アナログ信号）をデジタル信号に変換し、そのデジタル信号を制御部２８に入力するＡＤ変換器として構成されている。これと共に、音声入出力部２５は、スピーカ２７からの音声の出力を制御するように構成されている。なお、以下では、マイクロホン２６を介して入力され、デジタル信号に変換された音声を音声データと称す。
【００４７】
さらに、記憶部２１は、電源が切断されても記憶内容を保持すると共に記憶内容を読み書き可能に構成された記憶装置（例えば、ハードディスクドライブ）である。その記憶部２１は、カラオケ処理プログラムを格納するプログラム格納領域と、楽曲データを記憶する楽曲データ格納領域と、音声データを記憶する特定用データ格納領域とを備えている。なお、特定用データ格納領域は、予め規定された規定数（例えば、５曲分）分のカラオケ楽曲に対する音声データを格納する音声データ格納領域が、予め設定されたユーザ数（例えば、５人分）分だけ用意されたものである。
【００４８】
次に、制御部２８は、電源が切断されても記憶内容を保持する必要のあるプログラムやデータを格納するＲＯＭ２８ａと、プログラムやデータを一時的に格納するＲＡＭ２８ｂと、ＲＯＭ２８ａやＲＡＭ２８ｂに記憶されたプログラムやデータに従って、カラオケ装置２０を構成する各部２１，２２，２３，２４，２５に対する制御及び各種演算を実行するＣＰＵ２８ｃとを少なくとも有した周知のマイクロコンピュータを中心に構成されている。
【００４９】
なお、ＲＡＭ２８ｂには、記憶部２１からカラオケ処理プログラムが読み込まれ、ＣＰＵ２８ｃは、ＲＡＭ２８ｂに記憶したカラオケ処理プログラムに従って各処理を実行する。
【００５０】
そのカラオケ処理プログラムとして、操作受付部２４を介して指定されたカラオケ楽曲を演奏（再生）する共に、表示部２３に歌詞を表示する周知のカラオケ演奏処理を実行するためのカラオケ演奏処理プログラムがある。また、カラオケ処理プログラムとして、カラオケ楽曲の演奏中にマイクロホン２６を介して入力される音声から抽出した歌唱の音程やテンポを採点基準（即ち、ガイドメロディ）と照合し、その適合度合いを点数化することで採点結果とする周知の採点処理を実行するための採点処理プログラムがある。
【００５１】
この他、カラオケ処理プログラムとして、ユーザ情報（例えば、氏名、性別、識別番号（ＩＤ）、年齢）を操作受付部２４を介して受け付けるユーザ情報処理を実行するためのユーザ情報処理プログラムがある。また、カラオケ処理プログラムとして、カラオケ楽曲の演奏中に生成されるデータ（例えば、音声データ）や、カラオケ装置２０を使用した時の履歴を、記憶部２１またはサーバ３０に蓄積する蓄積処理を実行するための蓄積処理プログラムがある。
【００５２】
また、カラオケ処理プログラムとして、記憶部２１の特定用データ格納領域に格納された音声データに基づいて、ユーザが歌唱可能な音高差（以下、歌唱音高差とする）を特定する歌唱音高差特定処理を実行するための音高差特定処理プログラムがある。つまり、ＣＰＵ２８ｃが歌唱音高差特定処理を実行することにより、カラオケ装置２０（より正確には、制御部２８）が、本発明の歌唱音高差特定装置として機能する。
【００５３】
〈カラオケシステム１の動作について〉
次に、カラオケシステム１の作用（動作）について説明する。
【００５４】
カラオケシステム１が使用される場合、カラオケ装置２０（より正確には制御部２８）では、ユーザ情報処理プログラムを実行して、当該カラオケ装置２０を利用するユーザの人数分のユーザ情報を受け付け、その受け付けたユーザ情報それぞれを各音声データ格納領域と対応付ける。
【００５５】
さらに、カラオケ装置２０では、カラオケ演奏処理プログラムを実行することで、ユーザに指定されたカラオケ楽曲を演奏する共に、そのカラオケ楽曲の歌詞を表示部２３に表示する。ただし、制御部２８は、各カラオケ楽曲の演奏が開始される前には、操作受付部２４を介してユーザ情報を取得する。
【００５６】
そして、カラオケ楽曲の演奏が開始されると、その時に演奏されているカラオケ楽曲（以下、該当カラオケ楽曲と称す）に応じてユーザが歌唱する。そして、該当カラオケ楽曲の演奏が終了すると、制御部２８では、ＣＰＵ２８ｃが蓄積処理プログラムを実行して、ユーザの歌唱音声から生成した音声データを、該当カラオケ楽曲の曲番号データと対応付けた上で（以下、音声データと、曲番号データとが対応付けられたデータを対応データとも称す）、音声データ格納領域に格納する。ただし、対応データが格納される音声データ格納領域は、該当カラオケ楽曲に対して歌唱を実行したユーザのユーザ情報が対応付けられたものである。これにより、音声データと、曲番号データと、ユーザ情報とが対応付けられることになる。
【００５７】
以降、カラオケ装置２０は、カラオケ演奏処理プログラムの実行から、音声データ格納領域に音声データを格納するまでの一連のサイクルを、ユーザがカラオケ楽曲の指定を終了するまで繰り返す。
【００５８】
〈歌唱音高差特定処理〉
次に、ＣＰＵ２８ｃが実行する歌唱音高差特定処理について説明する。
【００５９】
ここで、図２は、歌唱音高差特定処理の処理手順を示したフローチャートである。
【００６０】
この歌唱音高差特定処理は、記憶部２１の音声データ格納領域に規定数の音声データが格納された場合、即ち、一人のユーザが規定数分のカラオケ楽曲を歌唱した場合に起動されるものである。
【００６１】
図２に示すように、歌唱音高差特定処理が起動されると、まず、Ｓ１１０にて、記憶部２１の音声データ格納領域に格納されている全音声データのうち、一つの音声データを取得する。すなわち、図４（Ａ）に示すように、カラオケ楽曲の演奏（即ち、演奏時間の進行）に沿って信号レベルが変化する音声信号を、音声データとして取得する。
【００６２】
続く、Ｓ１２０では、演奏時間の進行に沿って連続するように設定された基準時間窓ｍ毎に、Ｓ１１０で取得した音声データを抽出して、その抽出した音声データ毎に周波数解析（本実施形態では、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ））する。これにより、周波数解析の結果として、各基準時間窓ｍ内での音声データの周波数スペクトル（即ち、周波数成分の分布）が、設定された基準時間窓ｍの数分だけ生成される。なお、基準時間窓ｍは、予め規定された時間長Ｔｗ（例えば、数十ｍｓ）を有した期間であり、添え字ｍは、基準時間窓のインデックス番号（したがって、ｍは、１以上の自然数）を表す。
【００６３】
さらに、Ｓ１３０では、Ｓ１２０での周波数解析の結果（周波数スペクトル）に基づいて、本発明の歌唱データに相当する基本周波数遷移ｆ０ｖ（ｍ）を導出する。
【００６４】
具体的に、本実施形態におけるＳ１３０では、櫛型形状で表される調波構造モデルを予め用意し、その調波構造モデルと、各周波数スペクトルとを照合する周知の手法を用いて、基準時間窓ｍにおける基本周波数ｆ０を周波数スペクトルから検出する。そして、その検出した基本周波数ｆ０を、基準時間窓ｍの時間遷移、即ち、該当カラオケ楽曲の演奏時間の進行に従って、基本周波数遷移ｆ０ｖ（ｍ）としてまとめる。
【００６５】
これにより、図４（Ｂ）に示すような、該当カラオケ楽曲をユーザが歌唱した時の基本周波数ｆ０の時間遷移を表す基本周波数遷移ｆ０ｖ（ｍ）が導出される。
【００６６】
続くＳ１４０では、Ｓ１１０で取得した音声データと対応付けられている曲番号データに従って、その曲番号データに対応するカラオケ楽曲のガイドメロディを記憶部２１から取得する。
【００６７】
そして、Ｓ１５０では、Ｓ１３０で導出された基本周波数遷移ｆ０ｖ（ｍ）と、Ｓ１４０にて取得したガイドメロディとを照合することにより、時間遅延量ｔｌ（ｋ）を導出する。
【００６８】
ただし、時間遅延量ｔｌ（ｋ）とは、音高が切り替わるように連続し、かつ歌詞が対応付けられた２つの構成音（以下、特定構成音と称す）のうち、音高が切り替わった後に到達する構成音（以下、到達音と称す）に対する発声遅れ時間を表すものである。なお、以下では、特定構成音のうち、音高が切り替わる前の遷移元となる構成音を遷移元音と称す。
【００６９】
ここで、本実施形態における時間遅延量ｔｌ（ｋ）の算出方法について詳しく説明する。ただし、本実施形態において、ｋは、該当する構成音（ここでは、到達音）の演奏の順番を表すものであり、該当カラオケ楽曲の演奏開始から、ｋ番目に演奏されることを表している。よって、ｋは、構成音の総数を最大値とした自然数である。
【００７０】
まず、ガイドメロディによって表された全ての構成音の音高の時間変化（即ち、ガイドメロディによる旋律）をガイドメロディ音高とする。
【００７１】
そして、図４（Ｃ）に示すように、基本周波数遷移ｆ０ｖ（ｍ）にガイドメロディ音高を照合することで、基本周波数遷移ｆ０ｖ（ｍ）中において、構成音ｋに対する発声を開始したとみなせるタイミング（以下、構成音歌唱開始タイミングと称す）を検出する。なお、基本周波数遷移ｆ０ｖ（ｍ）にガイドメロディ音高を照合する手法としては、特開２００５−１０７３３０号公報に記載された手法を用いれば良い。
【００７２】
さらに、その検出した構成音歌唱開始タイミングと、構成音ｋについての楽音出力開始時刻ｓｔ（ｋ）との差を時間遅延量ｔｌ（ｋ）として算出する。
【００７３】
このように、ガイドメロディ音高と基本周波数遷移ｆ０ｖ（ｍ）との照合から、時間遅延量ｔｌ（ｋ）の算出までの一連の流れを、カラオケ楽曲の時間進行に従って（即ち、ｋが１から最大となるまで、ｋを順次増加させながら）繰り返す。これにより、全ての構成音歌唱開始タイミングが検出され、それら全構成音歌唱開始タイミングについての時間遅延量ｔｌ（ｋ）が求められる。
【００７４】
続くＳ１６０では、基本周波数遷移ｆ０ｖ（ｍ）の中で、遷移元音に対する区間の終端（以下、区間終端とする）、及び到達音に対する区間の始端（以下、区間始端とする）を特定すると共に、それらの特定した区間終端から区間始端までの間の連続する区間を歌唱遷移区間ｆ０ｖｔ（ｍ）として抽出する歌唱遷移区間抽出処理を実行する。
【００７５】
〈歌唱遷移区間抽出処理〉
ここで、歌唱遷移区間抽出処理について詳細に説明する。
【００７６】
なお、図３は、歌唱遷移区間抽出処理の処理手順を示したフローチャートであり、図６，７は、歌唱遷移区間抽出処理の処理内容を示した模式図である。
【００７７】
この歌唱遷移区間抽出処理は、歌唱音高差特定処理のＳ１６０にて起動されると、図３に示すように、まず、Ｓ４００にて、先に検出した全ての構成音歌唱開始タイミングの中で、一つの構成音歌唱開始タイミングを含む基準時間窓（以下、探査中心時間窓と称す）ｍ0（ｋ）を、下記（１）式に従って導出する。
【００７８】
【数１】
ただし、（１）式において、ｒｏｕｎｄは、整数値への丸めを意味する。
【００７９】
そして、Ｓ４１０では、基本周波数遷移ｆ０ｖ（ｍ）に対して、予め規定された区間の長さ（以下、窓区間長と称す）を有した一つの分析時間窓＃ｐを設定する。なお、本実施形態において、窓区間長は、２Ｍ＋１であり、Ｍは、基準時間窓ｍの個数である。
【００８０】
具体的に、その分析時間窓＃ｐは、窓区間長の中心（即ち、中心となる基準時間窓ｍ）が規定中心値となるように設定される。ただし、その規定中心値は、初期値として、探査中心時間窓ｍ0（ｋ）が設定されている。つまり、本歌唱遷移区間抽出処理が起動されて最初にＳ４１０へと進んだ場合、分析時間窓＃ｐの窓区間長の中心は、探査中心時間窓ｍ0（ｋ）となる。
【００８１】
ただし、ここで言う＃ｐは、分析時間窓のインデックス番号であり、探査中心時間窓ｍ0（ｋ）を原点として、負（マイナス）の値から正の値までをとる。
【００８２】
さらに、Ｓ４２０では、Ｓ４１０にて設定された分析時間窓＃ｐ内の基本周波数遷移ｆ０ｖ（ｍ）に対する分散値ｖｆ０（＃ｐ）を、下記（２）式により導出する。ただし、（２）式において、ｍｆ０（＃ｐ）は、分析時間窓＃ｐ内での基本周波数遷移ｆ０ｖ（ｍ）の平均値であり、下記（３）式により導出されるものである。
【００８３】
【数２】
続いて、Ｓ４３０では、互いに連続する分析時間窓＃ｐに対する分散値ｖｆ０（＃ｐ）の差分を、下記（４）式により求める。以下、（４）式にて求められる値を分散値差分ｄｖｆ０（＃ｐ）と称す。
【００８４】
【数３】
続く、Ｓ４４０では、今サイクルのＳ４３０で導出した分散値差分（以下、今分散値差分と称す）ｄｖｆ０（＃ｐ）を記憶する。以下、前サイクルのＳ４３０にて導出された分散値差分ｄｖｆ０（＃ｐ）を、前分散値差分ｄｖｆ０と称す。
【００８５】
そして、Ｓ４５０では、今分散値差分ｄｖｆ０（＃ｐ）の絶対値が、予め規定された許容値未満であるか否かを判定する。そして、判定の結果、今分散値差分ｄｖｆ０（＃ｐ）の絶対値が許容値未満であれば、即ち、今分散値差分ｄｖｆ０（＃ｐ）が０とみなせる場合には、Ｓ４６０へと進む。
【００８６】
そのＳ４６０では、前分散値差分ｄｖｆ０の絶対値が許容値以上であるか否かを判定する。そして、判定の結果、前分散値差分ｄｖｆ０の絶対値が許容値以上であれば、即ち、前分散値差分ｄｖｆ０が０とみなせない場合には、Ｓ４７０へと進む。
【００８７】
そのＳ４７０では、変極回数カウンタをインクリメントして、Ｓ４８０へと進む。ただし、変極回数カウンタの初期値は、０である。
【００８８】
そのＳ４８０では、変極回数カウンタが２以上であるか否かを判定し、その判定の結果、変極回数カウンタが２未満であれば、Ｓ４９０へと進む。
【００８９】
なお、Ｓ４５０での判定の結果、今分散値差分ｄｖｆ０（＃ｐ）の絶対値が許容値以上である場合や、Ｓ４６０での判定の結果、前分散値差分ｄｖｆ０の絶対値が許容値未満である場合にも、Ｓ４９０へと進む。
【００９０】
そのＳ４９０では、規定中心値を、今サイクルにて設定されている規定中心値から、基準時間窓ｍをｐ個（ただし、ｐ≦Ｍ）だけずらして設定する。これにより、次にＳ４１０へと戻った際に、窓区間長の中心について、基準時間窓ｍがｐ個分だけ変位された分析時間窓＃ｐが設定される。
【００９１】
ただし、本実施形態のＳ４９０では、変極回数カウンタが０である時には、規定中心値を、基本周波数遷移ｆ０ｖ（ｍ）の時間進行において、時間の進行方向とは反対の方向に沿って変位させる。また、変極カウンタが１である時には、規定中心値を、基本周波数遷移ｆ０ｖ（ｍ）の時間進行において、時間の進行方向に沿って変位させる。
【００９２】
ここで、Ｓ４１０からＳ４９０の処理（以下、特定処理と称す）を繰り返した時の動作を説明する。
【００９３】
まず、図６（Ａ）に示すように、変極回数カウンタが０である時に特定処理を繰り返すと、探査中心時間窓ｍ0（ｋ）を基準として、基本周波数遷移ｆ０ｖ（ｍ）における時間の進行とは反対の方向に沿って（図６（Ａ）中の左方向へと）、分析時間窓＃ｐが設定される。なお、この時に、Ｓ４１０にて設定される分析時間窓のインデックス番号＃ｐは、分析時間窓＃ｐが設定される毎に、値を減少させる（値は、マイナス方向に大きくなる）。
【００９４】
一方、変極回数カウンタが１である時に特定処理を繰り返すと、探査中心時間窓ｍ0（ｋ）を基準として、基本周波数遷移ｆ０ｖ（ｍ）における時間の進行に沿って（図６（Ａ）中の右方向へと）、分析時間窓＃ｐが設定される。なお、この時に、Ｓ４１０にて設定される分析時間窓のインデックス番号＃ｐは、分析時間窓＃ｐが設定される毎に、値を増加する（値は、プラス方向に大きくなる）。
【００９５】
そして、Ｓ４１０にて設定される分析時間窓＃ｐは、窓区間長の中心が、ｐずつ変位されることから、特定処理を繰り返すことで、少なくとも互いに隣接する複数の分析時間窓＃ｐが設定される。
【００９６】
さらに、特定処理を繰り返す際にＳ４２０にて導出される分散値ｖｆ０（＃ｐ）は、図６（Ｂ）に示すように、遷移元音から到達音へと歌唱音高が遷移する区間（以下、遷移区間と称す）内でのものであれば、分析時間窓＃ｐ毎の変化は小さいものの、値自体は大きなものとなる。一方、遷移元音及び到達音の歌唱音高に対する区間（以下、定常区間と称す）内でのものであれば、分析時間窓＃ｐ毎の変化は小さいものの、値自体は大きなものとなる。
【００９７】
したがって、特定処理を繰り返す際にＳ４３０にて導出される分散値差分ｄｖｆ０（＃ｐ）は、図７（Ａ）に示すように、定常区間内及び遷移区間内でのものであれば、その値自体が０とみなせる。一方、定常区間から遷移区間への切り替わりや、遷移区間から定常区間への切り替わりでは、その値自体が０とはみなすことができない。
【００９８】
つまり、分散値差分ｄｖｆ０は、定常区間から遷移区間への切り替わりにて極大値となり、遷移区間から定常区間への切り替わりにて極小値となる。このため、本実施形態では、Ｓ４５０，Ｓ４６０にて、今分散値差分ｄｖｆ０（＃ｐ）の絶対値が許容値未満であるか否か、及び前分散値差分ｄｖｆ０の絶対値が許容値以上であるか否かを判定して、分散値差分ｄｖｆ０（＃ｐ）が極値となったか否かを判定している。
【００９９】
言い換えれば、特定処理を繰り返す際に、変極回数カウンタが２以上となると、分散値差分ｄｖｆ０（＃ｐ）から、２つの極値が検出されたことになる。
【０１００】
ここで、図３へと戻り、Ｓ４８０での判定の結果、変極回数カウンタが２以上であれば、Ｓ５００へと進む。そのＳ５００では、区間終端に対応する基準時間窓（以下、区間終端窓ｍfin（ｋ−１）とする）、及び区間始端に対応する基準時間窓（以下、区間始端窓ｍst（ｋ）とする）を検出する。
【０１０１】
具体的に、本実施形態のＳ５００では、図７（Ａ）に示すように、分散値差分ｄｖｆ０（＃ｐ）が極大値となった分析時間窓＃ｐに対応する規定中心値を区間終端とし、分散値差分ｄｖｆ０（＃ｐ）が極小値となった分析時間窓＃ｐに対応する規定中心値を区間始端とする。このため、区間終端となった規定中心値から探索中心時間窓ｍ0（ｋ）までの間の基準時間窓ｍの個数をｐｂとし、区間始端となった規定中心値から探索中心時間窓ｍ0（ｋ）までの間の基準時間窓ｍの個数をｐｆとする。すると、区間終端窓ｍfin（ｋ−１）は、ｍfin（ｋ−１）＝ｍ0（ｋ）−ｐｂにて表され、区間始端窓ｍｓｔ（ｋ）は、ｍst（ｋ）＝ｍ0（ｋ）＋ｐｆにて表される。
【０１０２】
なお、極大値及び極小値を検出する手法としては、Ｓ４４０にて記憶された全ての分散値差分の中で、値が最大または最小となるものを、それぞれ、極大値及び極小値とすればよい。
【０１０３】
続いて、Ｓ５１０では、遷移元音に対する区間についての歌唱音高ｆ０（ｋ−１）、到達音に対する区間についての歌唱音高ｆ０（ｋ）を、それぞれ下記（５）式，（６）式に従って導出すると共に、それらの歌唱音高の音高差ｆ０ｄ（ｋ）を下記（７）式に従って導出する。
【０１０４】
【数４】
つまり、音高差ｆ０ｄ（ｋ）は、歌唱音高ｆ０（ｋ−１）と歌唱音高ｆ０（ｋ）との比を、半音で量子化したものであり、いわゆる音程として表されたものである。
【０１０５】
また、Ｓ５２０では、区間終端窓ｍfin（ｋ−１）、及び区間始端窓ｍst（ｋ）それぞれの該当カラオケ楽曲の演奏開始からの時間を、下記（８），（９）式に従って導出する。
【０１０６】
【数５】
これと共に、Ｓ５２０では、区間終端窓ｍfin（ｋ−１）から区間始端窓ｍst（ｋ）までの期間長を遷移期間ｔｒｔ（ｋ）として、下記（１０）式に従って導出する。
【０１０７】
【数６】
ただし、（１０）式にて導出される遷移期間ｔｒｔ（ｋ）は、基準時間窓ｍの個数によって表されている。
【０１０８】
続く、Ｓ５３０では、Ｓ５１０にて導出した音高差ｆ０ｄ（ｋ）と、Ｓ４７０にて導出した遷移期間ｔｒｔ（ｋ）とを記憶する。
【０１０９】
そして、Ｓ５４０では、下記（１１）式に従って、基本周波数遷移ｆ０ｖ（ｍ）において、先のＳ５２０にて導出した遷移期間ｔｒｔ（ｋ）に対応する区間を歌唱遷移区間ｆ０ｖｔ（ｍ）として抽出する。ただし、（１１）式中のｍｍは、１からｔｒｔ（ｋ）までの基準時間窓ｍである。
【０１１０】
【数７】
そして、その後、歌唱音高差特定処理のＳ１７０へと戻る。
【０１１１】
つまり、歌唱遷移区間抽出処理では、図７（Ｂ）に示すように、遷移元音に対する歌唱区間、到達音に対する歌唱区間、及びそれらの歌唱区間に挟まれた歌唱区間の中から、区間終端窓ｍfin（ｋ−１）と区間始端窓ｍst（ｋ）とを特定する。そして、特定した区間終端窓ｍfin（ｋ−１）から区間始端窓ｍst（ｋ）までの間の期間を遷移期間ｔｒｔ（ｋ）として導出する。これと共に、基本周波数遷移ｆ０ｖ（ｍ）中にて、遷移期間ｔｒｔ（ｋ）に対応する区間を歌唱遷移区間ｆ０ｖｔ（ｍ）として抽出している。
【０１１２】
ここで、歌唱音高差特定処理（即ち、図２）のＳ１７０へと戻る。
【０１１３】
そのＳ１７０では、歌唱遷移区間抽出処理にて抽出した歌唱遷移区間ｆ０ｖｔ（ｍ）と、遷移元音から到達音への発声音高の理想的な遷移態様を表す音高遷移モデルとの類似度合いを、下記（１２）式から（１５）式に従って求める。以下、このＳ１７０で導出した類似度合いを、音高遷移スコアｔｓｃ（ｍ）とする。
【０１１４】
ここで、音高遷移スコアｔｓｃ（ｍ）を導出する具体的な手法について説明する。
【０１１５】
なお、本実施形態における音高遷移モデルは、遷移元音から到達音への音高の遷移が正確、かつ滑らか（スムーズ）に聞こえるように、下記（１２）式にて表された時間関数である。以下、下記（１２）式にて表される音高遷移モデルを、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）と称す。
【０１１６】
【数８】
つまり、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）は、照合すべき歌唱遷移区間ｆ０ｖｔ（ｍ）それぞれの時間長に従って変動するものである。ただし、Ｍ0は、遷移期間ｔｒｔ（ｋ）を表す。
【０１１７】
そして、図５（Ａ）に示すように、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）を、歌唱遷移区間ｆ０ｖｔ（ｍ）に照合することで、音高遷移スコアｔｓｃ（ｍ）を導出する。この音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）と、歌唱遷移区間ｆ０ｖｔ（ｍ）との照合は、下記（１３）式により実行される。
【０１１８】
【数９】
ただし、（１３）式中のＭＶVOは、歌唱遷移区間ｆ０ｖｔ（ｍ）の平均値を示し、下記（１４）式に従って導出され、（１３）式中のＭＶMOは、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）の平均値を示し、下記（１５）式に従って導出される。
【０１１９】
【数１０】
つまり、音高遷移スコアｔｓｃ（ｋ）は、歌唱遷移区間ｆ０ｖｔ（ｍ）と、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）と類似度合いが高いほど（即ち、音高遷移が滑らかな（スムーズな）ほど）大きな値となる。
【０１２０】
続くＳ１８０では、Ｓ１５０にて算出した全ての時間遅延量ｔｌ（ｋ）に対応する歌唱遷移区間ｆ０ｖｔ（ｍ）を抽出して、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）との照合を実施したか否かを判定する。その判定の結果、照合を実施済でなければ、Ｓ１６０へと戻り、全ての時間遅延量ｔｌ（ｋ）に対応する歌唱遷移区間ｆ０ｖｔ（ｍ）を抽出して、音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）との照合を実施するまで、Ｓ１６０，Ｓ１７０を繰り返す。一方、判定の結果、実施済であれば、Ｓ１９０へと進む。
【０１２１】
そのＳ１９０では、Ｓ１７０にて導出した音高遷移スコアｔｓｃ（ｋ）それぞれを、下記（１６）式に従って集計する。以下、（１６）式にて集計した結果を、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）とする。
【０１２２】
なお、（１６）式中のｋ'は、音高差ｆ０ｄ（ｋ）、及び遷移期間ｔｒｔ（ｋ）が同一分類区分中に含まれる構成音（以下、同一構成音と称す）を表す識別番号（上述したｋ番目や、ｋ＋１番目に相当）の集合であり、Ｋ０は、同一構成音の総数である。
【０１２３】
【数１１】
つまり、この集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）は、Ｓ１７０にて導出された音高遷移スコアｔｓｃ（ｍ）を、音高差ｆ０ｄ（ｋ）、及び遷移期間ｔｒｔ（ｋ）が同一である分類区分（以下、音高差区分（ｔｒｔ，ｆ０ｄ）と称す。）毎に集計したものである。したがって、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）をマップ化した集計遷移スコア分布は、図５（Ｂ）に示すように、音高差ｆ０ｄ（ｋ）、遷移期間ｔｒｔ（ｋ）、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）をそれぞれの軸とした３次元のマトリクスとなる。ただし、図５（Ｂ）では、集計遷移スコア（ｔｒｔ，ｆ０ｄ）の大きさを色の濃淡を用いて示した。
【０１２４】
なお、本実施形態では、Ｓ１８０へと進んだ回数が二回目以降である場合、そのサイクル（即ち、今回のＳ１９０）にて導出したｍｔｓｃ（ｔｒｔ，ｆ０ｄ）を、前サイクルにて（即ち、前回のＳ１９０以前に）導出されたｍｔｓｃ（ｔｒｔ，ｆ０ｄ）に積算する。つまり、最終的に生成された集計遷移スコア（ｔｒｔ、ｆ０ｄ）には、各音声データから導出される集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）が全て積算されている。
【０１２５】
さらに、Ｓ２００にて、記憶部２１の音声データ格納領域に格納されている全ての音声データに対して、Ｓ１１０からＳ１９０までの処理（ここでは、規定処理と称す）を実行したか否かを判定する。
【０１２６】
その判定の結果、全ての音声データに対して規定処理を実行していなければ、Ｓ１１０へと戻り、そのＳ１１０にて、記憶部２１の音声データ格納領域に格納されている全音声データの中から、規定処理を未実行である音声データを取得して、Ｓ１２０へと進む。一方、Ｓ２００での判定の結果、全ての音声データに対して規定処理を実行済であれば、Ｓ２１０へと進む。
【０１２７】
そして、Ｓ２１０では、各音高差区分（ｔｒｔ，ｆ０ｄ）における集計遷移スコアｍｔｓｃ（ｔｒｔ、ｆ０ｄ）それぞれが規定値以上であるか否かを、（１７）式により判定する。
【０１２８】
【数１２】
つまり、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）が規定値以上であれば、その音高差区分（ｔｒｔ，ｆ０ｄ）を歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）として判別する。一方、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）が規定値未満であれば、その音高差区分（ｔｒｔ，ｆ０ｄ）を歌唱不能音高差区分ＩＴＭ0（ｔｒｔ，ｆ０ｄ）として判別する。
【０１２９】
なお、本実施形態における規定値は、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）の最大値Ｍａｘ＿ｔｓｃに対して予め規定された割合Ａ（例えば、最大値の半分や、１／３等）である（規定値＝Ｍａｘ＿ｔｓｃ×Ａ）。
【０１３０】
続く、Ｓ２２０では、Ｓ２１０で特定した歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）を利用した処理（以下、特定音高差利用処理）を実行する。
【０１３１】
具体的に、本実施形態では、Ｓ２１０で特定した歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）、及び歌唱不能音高差区分ＩＴＭ0（ｔｒｔ，ｆ０ｄ）に基づいて、結果マトリクスＩＴＭ（ｔｒｔ，ｆ０ｄ）を生成し、その生成した結果マトリクスＩＴＭ（ｔｒｔ，ｆ０ｄ）を表示部２３に表示する。これと共に、結果マトリクスＩＴＭ（ｔｒｔ，ｆ０ｄ）を、対応するユーザ情報と対応付けて記憶部２１及びサーバ３０に記憶する。
【０１３２】
この結果マトリクスＩＴＭ（ｔｒｔ，ｆ０ｄ）は、図８に示すように、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）、歌唱不能音高差区分ＩＴＭ0（ｔｒｔ，ｆ０ｄ）それぞれを、各音高差区分（ｔｒｔ，ｆ０ｄ）の並びに沿って配置したものである。
【０１３３】
さらに、本実施形態の特定音高差利用処理では、特定構成音の音高差が、主として、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）の範囲内である楽曲を推奨曲としてユーザに提案する。これと共に、特定音高差利用処理では、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）の最大音高差ｆ０ｄが大きいほど大きな値となる重みを、採点処理による採点結果に付与する。
【０１３４】
そして、その後、本歌唱音高差特定処理を終了する。
【０１３５】
つまり、本実施形態の歌唱音高差特定処理では、歌唱遷移区間抽出処理にて抽出した歌唱遷移区間ｆ０ｖｔ（ｍ）それぞれを、対応する音高遷移モデル曲線ｆ０ｍｏｄｅｌ（ｍ）に照合して、音高遷移スコアｔｓｃ（ｋ）を導出する。さらに、それらの導出した音高遷移スコアｔｓｃ（ｋ）を音高差区分（ｔｒｔ，ｆ０ｄ）毎に集計した集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）が規定値以上であるか否かを判定する。そして、その判定結果に従って、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）、即ち、ユーザが歌唱可能な音高差区分を特定している。
［実施形態の効果］
以上説明したように、本実施形態のカラオケ装置２０によれば、ユーザが歌唱可能な音高差、即ち、ユーザが歌唱可能な音程を特定することができる。
【０１３６】
特に、本実施形態のカラオケ装置２０によれば、集計遷移スコアｍｔｓｃ（ｔｒｔ，ｆ０ｄ）を、音高差ｆ０ｄ（ｋ）毎かつ遷移期間ｔｒｔ（ｋ）毎に集計しているため、ユーザが歌唱可能な音高差ｆ０ｄを、遷移期間ｔｒｔの時間長毎に特定することができる。
【０１３７】
つまり、カラオケ装置２０によれば、ユーザの歌唱能力を詳細に特定することができる。
【０１３８】
なお、ユーザが無理をして発声した状態では、遷移期間ｔｒｔでの音高推移を滑らか（スムーズ）に歌唱することは困難である。しかし、このような場合、本実施形態のカラオケ装置２０では、音高遷移スコアｔｓｃ（ｋ）が小さな値として導出する。
【０１３９】
したがって、本実施形態のカラオケ装置２０によれば、ユーザが無理をすること無く歌唱可能な音高差ｆ０ｄを特定することができる。
【０１４０】
そして、本実施形態のカラオケ装置２０では、特定構成音の音高差が、主として、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）の範囲内である楽曲を推奨曲としてユーザに提案したり、歌唱可能音高差区分ＩＴＭ1（ｔｒｔ，ｆ０ｄ）の最大音高差ｆ０ｄが大きいほど大きな値となる重みを、採点処理による採点結果に付与したりしている。
【０１４１】
この結果、本実施形態のカラオケ装置２０によれば、推奨曲をユーザに歌唱させることで、カラオケをより楽しませることができ、また、ユーザの歌唱の上手さをより正確に採点したりすることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。
【０１４２】
例えば、上記実施形態のカラオケシステム１は、一つのカラオケ装置２０と一つのサーバ３０とが接続されたものであったが、カラオケシステム１は、これに限るものではなく、複数のカラオケ装置２０と一つのサーバ３０とが接続されたものでも良いし、複数のカラオケ装置２０と複数のサーバ３０とが接続されたものでも良い。
【０１４３】
また、上記実施形態の歌唱遷移区間抽出処理では、互いに連続する分析時間窓に対する分散値差分ｄｖｆ０（＃ｐ）が極大または極小となる基準時間窓ｍを、区間終端ｍfin（ｋ−１）及び区間始端ｍst（ｋ）として導出したが、区間終端ｍfin（ｋ−１）及び区間始端ｍst（ｋ）を導出する方法は、これに限るものではない。例えば、遷移元音及び到達音それぞれについて安定して歌唱している区間を特定し、それらの区間の終端，始端に対応する基準時間窓ｍをそれぞれ区間終端ｍfin（ｋ−１）及び区間始端ｍst（ｋ）としても良い。
【０１４４】
なお、上記実施形態における音高差特定処理では、音高差ｆ０ｄ（ｋ）と遷移期間ｔｒｔ（ｋ）とに従って、音高遷移スコアｔｓｃ（ｋ）を集計したが、音高遷移スコアｔｓｃ（ｋ）の集計方法は、これに限るものではなく、音高差ｆ０ｄ（ｋ）のみに従って、音高遷移スコアｔｓｃ（ｋ）を集計しても良い。
［実施形態と本発明との対応関係］
次に、上記実施形態と、特許請求の範囲との対応関係について説明する。
【０１４５】
上記実施形態の音高差特定処理におけるＳ１１０を実行することで得られる機能が、本発明の音声信号取得手段に相当し、Ｓ１２０，Ｓ１３０を実行することで得られる機能が、歌唱データ生成手段に相当する。さらに、音高差特定処理のＳ１６０を実行することで得られる機能が、遷移区間特定手段に相当し、Ｓ１７０を実行することで得られる機能が、遷移値導出手段に相当する。また、音高差特定処理におけるＳ１９０，Ｓ２１０を実行することで得られる機能が、音高差特定手段に相当する。
【０１４６】
なお、音高差特定処理のＳ１６０を実行することで得られる機能のうち、歌唱遷移区間抽出処理におけるＳ４１０，Ｓ４２０を実行することで得られる機能が、本発明の分散値導出手段に相当し、Ｓ４３０，Ｓ４５０〜Ｓ４８０，Ｓ５００を実行することで得られる機能が、本発明の始終端特定手段に相当する。
【符号の説明】
【０１４７】
１…カラオケシステム ２０…カラオケ装置 ２１…記憶部 ２２…通信部 ２３…表示部 ２４…操作受付部 ２５…音声入出力部 ２６…マイクロホン ２７…スピーカ ２８…制御部 ３０…サーバ
【特許請求の範囲】
【請求項１】
各楽曲を構成する構成音それぞれの音高及び音価を表す楽曲データに従って前記楽曲を演奏するカラオケ装置にて用いられる歌唱音高差特定装置であって、
前記カラオケ装置にて楽曲の演奏中に入力された音声を音声信号として、その音声を発したユーザ及び演奏中の楽曲を識別するための識別情報と対応付けて、前記音声信号を取得する音声信号取得手段と、
前記音声信号取得手段で取得された音声信号を周波数解析することで、音高の遷移を表す歌唱データを生成する歌唱データ生成手段と、
前記識別情報から特定される楽曲中にて音高が切り替わるように連続する２つの構成音のうち、前記音高が切り替わった後に到達する構成音を到達音とし、前記音高が切り替わる前の遷移元となる構成音を遷移元音とし、前記歌唱データ生成手段で生成された歌唱データの中で、前記遷移元音に対する歌唱区間の終端である区間終端から、前記到達音に対する歌唱区間の始端である区間始端までの歌唱区間を歌唱遷移区間として特定する遷移区間特定手段と、
前記遷移元音に対応する音高から前記到達音に対応する音高へと発声音高を理想的に遷移させた時の遷移態様を音高遷移モデルとし、前記遷移区間特定手段で特定された歌唱遷移区間それぞれについて、前記歌唱遷移区間と、前記音高遷移モデルとの一致度合いが高いほど大きな値となる音高遷移値を導出する遷移値導出手段と、
前記遷移値導出手段で導出された音高遷移値を、それぞれの歌唱遷移区間での音高差毎に集計し、その集計結果である集計遷移値が予め規定された規定値以上である音高差を、前記識別情報から特定されるユーザが歌唱可能な音高差として特定する歌唱音高差特定手段と
を備えることを特徴とする歌唱音高差特定装置。
【請求項２】
前記歌唱音高差特定手段は、
前記音高遷移値を、それぞれの歌唱遷移区間の区間長毎に分類して集計することを特徴とする請求項１に記載の歌唱音高差特定装置。
【請求項３】
前記歌唱音高差特定手段は、
前記集計遷移値を正規化すると共に、
その正規化された前記集計遷移値の最大値に対して予め規定された割合を前記規定値とすることを特徴とする請求項１または請求項２に記載の歌唱音高差特定装置。
【請求項４】
前記遷移区間特定手段は、
前記歌唱データにて、前記遷移元音に対する歌唱区間、前記到達音に対する歌唱区間、及びそれらの両歌唱区間に挟まれた歌唱区間からなる切替区間内にて、時間の進行に沿って連続するように、予め設定された区間長を有する時間窓を複数設定し、その設定された時間窓それぞれについて、前記時間窓内における歌唱データの分散である分散値を導出する分散値導出手段と、
前記分散値導出手段で導出された分散値のうち、互いに連続する時間窓に対する分散値の差分を導出し、その差分が最小及び最大となる２つの時間窓の中心それぞれを、前記区間終端及び前記区間始端として特定する始終端特定手段と
を備える請求項１ないし請求項３のいずれかに記載の歌唱音高差特定装置。
【請求項５】
各楽曲を構成する構成音それぞれの音高及び音価を表す楽曲データに従って前記楽曲を演奏するカラオケ装置にて用いられるコンピュータに実行されるプログラムであって、
前記カラオケ装置にて楽曲の演奏中に入力された音声を音声信号として、その音声を発したユーザ及び演奏中の楽曲を識別するための識別情報と対応付けて、前記音声信号を取得する音声信号取得手順と、
前記音声信号取得手順で取得された音声信号を周波数解析することで、音高の遷移を表す歌唱データを生成する歌唱データ生成手順と、
前記識別情報から特定される楽曲中にて音高が切り替わるように連続する２つの構成音のうち、前記音高が切り替わった後に到達する構成音を到達音とし、前記音高が切り替わる前の遷移元となる構成音を遷移元音とし、前記歌唱データ生成手順で生成された歌唱データの中で、前記遷移元音に対する歌唱区間の終端である区間終端から、前記到達音に対する歌唱区間の始端である区間始端までの歌唱区間を歌唱遷移区間として特定する遷移区間特定手順と、
前記遷移元音に対応する音高から前記到達音に対応する音高へと発声音高を理想的に遷移させた時の遷移態様を音高遷移モデルとし、前記遷移区間特定手順で特定された歌唱遷移区間それぞれについて、前記歌唱遷移区間と、前記音高遷移モデルとの一致度合いが高いほど大きな値となる音高遷移値を導出する遷移値導出手順と、
前記遷移値導出手順で導出された音高遷移値を、それぞれの歌唱遷移区間での音高差毎に集計し、その集計結果である集計遷移値が予め規定された規定値以上である音高差を、前記識別情報から特定されるユーザが歌唱可能な音高差として特定する歌唱音高差特定手順と
を前記コンピュータに実行させることを特徴とするプログラム。
【請求項１】
各楽曲を構成する構成音それぞれの音高及び音価を表す楽曲データに従って前記楽曲を演奏するカラオケ装置にて用いられる歌唱音高差特定装置であって、
前記カラオケ装置にて楽曲の演奏中に入力された音声を音声信号として、その音声を発したユーザ及び演奏中の楽曲を識別するための識別情報と対応付けて、前記音声信号を取得する音声信号取得手段と、
前記音声信号取得手段で取得された音声信号を周波数解析することで、音高の遷移を表す歌唱データを生成する歌唱データ生成手段と、
前記識別情報から特定される楽曲中にて音高が切り替わるように連続する２つの構成音のうち、前記音高が切り替わった後に到達する構成音を到達音とし、前記音高が切り替わる前の遷移元となる構成音を遷移元音とし、前記歌唱データ生成手段で生成された歌唱データの中で、前記遷移元音に対する歌唱区間の終端である区間終端から、前記到達音に対する歌唱区間の始端である区間始端までの歌唱区間を歌唱遷移区間として特定する遷移区間特定手段と、
前記遷移元音に対応する音高から前記到達音に対応する音高へと発声音高を理想的に遷移させた時の遷移態様を音高遷移モデルとし、前記遷移区間特定手段で特定された歌唱遷移区間それぞれについて、前記歌唱遷移区間と、前記音高遷移モデルとの一致度合いが高いほど大きな値となる音高遷移値を導出する遷移値導出手段と、
前記遷移値導出手段で導出された音高遷移値を、それぞれの歌唱遷移区間での音高差毎に集計し、その集計結果である集計遷移値が予め規定された規定値以上である音高差を、前記識別情報から特定されるユーザが歌唱可能な音高差として特定する歌唱音高差特定手段と
を備えることを特徴とする歌唱音高差特定装置。
【請求項２】
前記歌唱音高差特定手段は、
前記音高遷移値を、それぞれの歌唱遷移区間の区間長毎に分類して集計することを特徴とする請求項１に記載の歌唱音高差特定装置。
【請求項３】
前記歌唱音高差特定手段は、
前記集計遷移値を正規化すると共に、
その正規化された前記集計遷移値の最大値に対して予め規定された割合を前記規定値とすることを特徴とする請求項１または請求項２に記載の歌唱音高差特定装置。
【請求項４】
前記遷移区間特定手段は、
前記歌唱データにて、前記遷移元音に対する歌唱区間、前記到達音に対する歌唱区間、及びそれらの両歌唱区間に挟まれた歌唱区間からなる切替区間内にて、時間の進行に沿って連続するように、予め設定された区間長を有する時間窓を複数設定し、その設定された時間窓それぞれについて、前記時間窓内における歌唱データの分散である分散値を導出する分散値導出手段と、
前記分散値導出手段で導出された分散値のうち、互いに連続する時間窓に対する分散値の差分を導出し、その差分が最小及び最大となる２つの時間窓の中心それぞれを、前記区間終端及び前記区間始端として特定する始終端特定手段と
を備える請求項１ないし請求項３のいずれかに記載の歌唱音高差特定装置。
【請求項５】
各楽曲を構成する構成音それぞれの音高及び音価を表す楽曲データに従って前記楽曲を演奏するカラオケ装置にて用いられるコンピュータに実行されるプログラムであって、
前記カラオケ装置にて楽曲の演奏中に入力された音声を音声信号として、その音声を発したユーザ及び演奏中の楽曲を識別するための識別情報と対応付けて、前記音声信号を取得する音声信号取得手順と、
前記音声信号取得手順で取得された音声信号を周波数解析することで、音高の遷移を表す歌唱データを生成する歌唱データ生成手順と、
前記識別情報から特定される楽曲中にて音高が切り替わるように連続する２つの構成音のうち、前記音高が切り替わった後に到達する構成音を到達音とし、前記音高が切り替わる前の遷移元となる構成音を遷移元音とし、前記歌唱データ生成手順で生成された歌唱データの中で、前記遷移元音に対する歌唱区間の終端である区間終端から、前記到達音に対する歌唱区間の始端である区間始端までの歌唱区間を歌唱遷移区間として特定する遷移区間特定手順と、
前記遷移元音に対応する音高から前記到達音に対応する音高へと発声音高を理想的に遷移させた時の遷移態様を音高遷移モデルとし、前記遷移区間特定手順で特定された歌唱遷移区間それぞれについて、前記歌唱遷移区間と、前記音高遷移モデルとの一致度合いが高いほど大きな値となる音高遷移値を導出する遷移値導出手順と、
前記遷移値導出手順で導出された音高遷移値を、それぞれの歌唱遷移区間での音高差毎に集計し、その集計結果である集計遷移値が予め規定された規定値以上である音高差を、前記識別情報から特定されるユーザが歌唱可能な音高差として特定する歌唱音高差特定手順と
を前記コンピュータに実行させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図７】
【図９】
【図４】
【図５】
【図６】
【図８】
【図２】
【図３】
【図７】
【図９】
【図４】
【図５】
【図６】
【図８】
【公開番号】特開２０１０−１８６０３２（Ｐ２０１０−１８６０３２Ａ）
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願番号】特願２００９−２９８８６（Ｐ２００９−２９８８６）
【出願日】平成２１年２月１２日（２００９．２．１２）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成２２年８月２６日（２０１０．８．２６）
【国際特許分類】
【出願日】平成２１年２月１２日（２００９．２．１２）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]