抑揚判定装置
【課題】歌唱者が楽曲を歌唱したときの音声とその楽曲の内容との関係を考慮して抑揚を判定する
【解決手段】判定対象区間のＧＭデータにおける最も低い音高と最も高い音高との差分が第１の閾値を超える場合（ステップＳ７１２；ＹＥＳ）、制御部１０はユーザ歌唱音声データの音量の平均（平均音量）を算出する（ステップＳ７１３）。次に制御部１０は、判定対象区間における、最高の音高のノートを持つＧＭデータに対応するユーザ歌唱音声データの音高（最高音高）を特定し（ステップＳ７１４）、特定した音高のノートと時間軸で一致するユーザ歌唱音声データにおける音量（最高音高音量）を特定する。制御部１０は、平均音量と最高音高音量の差分である差分音量を算出し（ステップＳ７１６）、差分音量が第２の閾値を超える場合（ステップＳ７１７；ＹＥＳ）、判定対象区間において楽曲の特徴に合わせた抑揚が付けられていると判定する（ステップＳ７１８）。
【解決手段】判定対象区間のＧＭデータにおける最も低い音高と最も高い音高との差分が第１の閾値を超える場合（ステップＳ７１２；ＹＥＳ）、制御部１０はユーザ歌唱音声データの音量の平均（平均音量）を算出する（ステップＳ７１３）。次に制御部１０は、判定対象区間における、最高の音高のノートを持つＧＭデータに対応するユーザ歌唱音声データの音高（最高音高）を特定し（ステップＳ７１４）、特定した音高のノートと時間軸で一致するユーザ歌唱音声データにおける音量（最高音高音量）を特定する。制御部１０は、平均音量と最高音高音量の差分である差分音量を算出し（ステップＳ７１６）、差分音量が第２の閾値を超える場合（ステップＳ７１７；ＹＥＳ）、判定対象区間において楽曲の特徴に合わせた抑揚が付けられていると判定する（ステップＳ７１８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱者による歌唱の音声から抑揚を判定する技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者による歌唱の巧拙を採点する機能を備えるものがある。この採点にあたって、カラオケ装置は、歌唱者による歌唱の音声を録音し、録音した音声を分析して特徴を検出することで、この分析結果と評価の基準とを照らし合わせて点数を算出する。
【０００３】
ところで歌唱時において抑揚という歌唱技法が用いられることがある。この抑揚は、例えばサビと呼ばれるような、楽曲において感情を盛り上げて歌唱する箇所（以下、盛り上がる箇所という）において、その他の箇所よりも音量を上げて歌唱する、といったような技術によって実現される。つまり、抑揚は、歌唱における音量の大小によって表すことが可能であるといえる。一般的にプロの歌い手は抑揚を付けて歌唱することが上手であることからも分かるように、抑揚が上手く付けられた歌唱は、聞き手にとって上手に聞こえることが多い。従って、歌唱における抑揚の巧拙に対する評価を採点に反映させることができれば、より採点の精度を向上させることが可能となる。例えば特許文献１には、歌唱者による歌唱の音声における音量の変動の値を求め、この変動の値を、歌唱の採点において抑揚の評価に用いる方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６８３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、歌唱音声の音量の変動の度合いのみに基づき抑揚を評価するため、その楽曲において盛り上がる箇所であるか否かに関わらず、歌唱の音量に一定の変動さえあれば、抑揚があるとして判定される。しかしこのような、楽曲の内容と歌唱の音声とを考慮せずに評価する方法では、聞き手にとっては上手な抑揚の付け方に聞こえないのにも関わらず、抑揚に関して高い点数がついてしまう場合があり、結果として採点の精度が高いとは言えない状態となってしまう。このように実際の歌唱に対して採点が不正確な状態が発生すると、カラオケ装置のユーザにとって不満感が高い。
本発明は上述の背景に鑑みてなされたものであり、歌唱者が楽曲を歌唱したときの音声とその楽曲の内容との関係を考慮して抑揚を判定することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、歌唱者が歌唱したときの音声を表す歌唱音声データを取得する歌唱音声データ取得手段と、歌唱対象となる楽曲の内容を表す楽曲データを取得する楽曲データ取得手段と、取得された前記楽曲データによって表される楽曲の内容に基づき、当該楽曲において決められた区間ごとに、抑揚を判定する際の比較対象となる箇所を特定する特定手段と、取得された前記歌唱音声データによって表される音声のうち特定された前記箇所を歌唱したときの音声の音量と、当該箇所を含む前記区間を歌唱したときの音声の音量との違いに基づいて、前記区間における歌唱に抑揚があるか否かを判定する判定手段とを備えることを特徴とする抑揚判定装置を提供する。
【０００７】
好ましい態様において、前記楽曲データは、前記楽曲を構成する構成音の音高を指定し、前記特定手段は、前記決められた区間ごとに、当該区間において前記楽曲データが指定する構成音のうち最も高い音高の構成音がある箇所を、前記抑揚の判定対象となる箇所として特定する。
【０００８】
別の好ましい態様において、前記楽曲データは、前記楽曲を構成する構成音の音高を指定し、前記特定手段は、前記決められた区間ごとに、当該区間において前記楽曲データに含まれる構成音の音高の平均値又は当該音高に対して決められた重み付けを行って得た平均値よりも高い音高の構成音のうち、前記歌唱音声データによって表される音量が最も高い音声に対応する構成音がある箇所を、前記抑揚の判定対象となる箇所として特定する。
【０００９】
また別の好ましい態様において、前記楽曲データは、前記楽曲を構成する構成音の音高と、前記抑揚の判定対象となる箇所に対応する構成音を指定する指定情報とを含み、前記特定手段は、前記決められた区間ごとに、前記楽曲データにおいて前記指定情報により指定されている構成音がある箇所を、前記抑揚の判定対象となる箇所として特定する。
【００１０】
また好ましい態様において、前記楽曲データは、前記楽曲の伴奏を表す伴奏データを含み、前記特定手段は、前記予め決められた区間内において前記伴奏データに含まれる伴奏の同時発音数が最も多いタイミング又は前記伴奏の音量が最も大きいタイミングを調べ、前記楽曲データにおいて当該タイミングに対応する箇所を、前記抑揚の判定対象となる箇所として特定する。
【００１１】
また、本発明は、歌唱者が歌唱したときの音声を表す歌唱音声データを取得する歌唱音声データ取得手段と、歌唱対象となる楽曲を構成する構成音の音高を含む楽曲データを取得する楽曲データ取得手段と、前記歌唱対象となる楽曲において決められた区間ごとに、当該区間に含まれる前記構成音が歌唱されたときの音量と当該構成音の音高とを、前記歌唱音声データ及び前記楽曲データに基づいて特定し、特定した前記音量及び前記音高の組を、音量を表す第１軸と音高を表す第２軸とで構成される座標系に割り当てる割り当て手段と、前記決められた区間について前記割り当て手段により割り当てられた複数の前記組における前記音量と前記音高との相関関係に基づいて抑揚の有無を判定する判定手段とを備えることを特徴とする抑揚判定装置を提供する。
【発明の効果】
【００１２】
本発明によれば、歌唱者が楽曲を歌唱したときの音声とその楽曲の内容との関係を考慮して抑揚を判定することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】カラオケ装置のハードウェア構成を表すブロック図
【図２】カラオケ装置における処理の流れを示すフローチャート
【図３】第１実施形態に係る、抑揚を判定する処理におけるフローチャート
【図４】第１実施形態に係る、差分音量の算出方法を説明するための模式図
【図５】抑揚の判定結果が表示されている様子を表す模式図
【図６】制御部の機能的構成を表すブロック図
【図７】第２実施形態に係る、抑揚を判定する処理におけるフローチャート
【図８】第２実施形態に係る、標本音高及び差分音量の算出方法を説明するための模式図
【図９】第２実施形態に係る、標本音高の算出方法を説明するための模式図
【図１０】第３実施形態に係る、抑揚を判定する処理におけるフローチャート
【図１１】第３実施形態に係る、ノート別歌唱音量の特定方法を説明するための模式図
【図１２】第３実施形態に係る、ノート別歌唱音量の特定結果を表す図
【図１３】第３実施形態に係る、１次関数の導出を説明するための模式図。
【発明を実施するための形態】
【００１４】
以下、本発明の第１実施形態について説明する。
＜第１実施形態＞
＜構成＞
図１は、カラオケ装置１００のハードウェア構成を表したブロック図である。
カラオケ装置１００は、ユーザの歌唱に対して採点を行うものであり、特にユーザの歌唱において抑揚が付けて歌唱が行われた箇所を判定し、それを採点対象に含めて採点を行う。このカラオケ装置１００においては、採点の方式に減点方式を採用している。ここで減点方式とは、あるカラオケ楽曲についてユーザが歌唱を開始した時点では満点から始まり（１００点満点であれば１００点）、ユーザによる歌唱が評価基準を満たさないときに減点が行われる、という方式である。図１に示すように、カラオケ装置１００は、制御部１０、記憶部２０、操作部３０、表示部４０、通信部５０、音声処理部６０、マイクロホン６１、及びスピーカ６２を有し、これら各部がバス７０を介して接続されている。
【００１５】
制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を有している。制御部１０において、ＣＰＵが、ＲＯＭや記憶部２０に記憶されているコンピュータプログラムを読み出しＲＡＭにロードして実行することにより、カラオケ装置１００の各部を制御する。制御部１０は、時間を計測する計時機能を備えている。操作部３０は、各種の操作子を備え、ユーザによる操作内容を表す操作信号を制御部１０に出力する。表示部４０は、例えば液晶パネルを備え、制御部１０による制御の下、各カラオケ楽曲に応じた歌詞テロップや背景映像等を表示する。通信部５０は、ネットワーク（非図示）を介して図示しないサーバ装置とデータ通信を行う。
【００１６】
マイクロホン６１は、収音した音声を表すアナログの音声信号を音声処理部６０に出力する。音声処理部６０は、Ａ／Ｄ（Analog / Digital）コンバータを有し、マイクロホン６１が出力したアナログの音声信号をデジタルの音声データに変換して制御部１０に出力すると、制御部１０は、これを取得する。このように、制御部１０はユーザ（歌唱者）が歌唱したときの音声を表す音声データを取得する音声データ取得手段として機能する。また、音声処理部６０は、Ｄ／Ａ（Digital / Analog）コンバータを有し、制御部１０から受け取ったデジタルの音声データをアナログの音声信号に変換してスピーカ６２に出力する。スピーカ６２は、音声処理部６０から受け取ったアナログの音声信号に基づく音を放音する。記憶部２０は、各種のデータを記憶するための記憶手段であり、例えばＨＤＤ（Hard Disk Drive）や不揮発性メモリである。記憶部２０は、伴奏データ記憶領域２１、映像データ記憶領域２２、ＧＭ（Guide Melody）データ記憶領域２３、及びユーザ歌唱音声データ記憶領域２４といった複数の記憶領域を備えている。
【００１７】
伴奏データ記憶領域２１には、各楽曲における伴奏の音声を表す伴奏データに関する情報が記憶されている。伴奏データ記憶領域２１には、楽曲を一意に識別するための番号である「曲番号」、各楽曲の名称を表す「曲名」、各楽曲の歌い手の名称を表す「歌手名」、各楽曲の伴奏データそのものであるデータファイルの格納場所である「ファイル格納場所」といった複数の項目からなる伴奏データレコードが複数記憶されている。この伴奏データのデータファイルは、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のファイルである。
【００１８】
映像データ記憶領域２２には、上述の曲番号、各楽曲の歌詞を示す歌詞データ及び歌詞の背景に表示される背景映像を表す背景映像データが対応付けられて記憶されている。歌詞データによって示される歌詞は、カラオケ歌唱の際に、楽曲の進行に伴って歌詞テロップとして表示部４０に表示される。また、背景映像データによって表される背景映像は、カラオケ歌唱の際に楽曲の進行に伴って歌詞テロップの背景として表示部４０に表示される。ＧＭデータ記憶領域２３には、上述の曲番号及び楽曲のボーカルパートのメロディを示すデータ、すなわち、歌唱すべき構成音（ノート）の音高を含む内容を指定するデータであるガイドメロディデータ（以下、ＧＭデータという）が対応付けられて記憶されている。ＧＭデータは、制御部１０がユーザによる歌唱の巧拙を評価する際に比較の基準となるものである。ＧＭデータにおける各ノートには、当該ノートのピッチ（音高）が情報として含まれている。また、ＧＭデータには、各ノートについて、いわゆる「サビ」に相当する箇所であるか否かを示すコーラスフラグが付されている。「サビ」に相当する箇所は抑揚の判定対象となる箇所であるから、コーラスフラグは、抑揚の判定対象となる箇所に対応する構成音を指定する指定情報である、ともいえる。例えば、「ＡＡＡ」という楽曲について、ＧＭデータにおける、サビの箇所に相当するノートについてはコーラスフラグが「ＯＮ」の状態で付されている。一方、ＧＭデータにおける、サビの箇所に相当しないノートについてはコーラスフラグが「ＯＦＦ」の状態で付されている。ＧＭデータは、例えば、ＭＩＤＩ形式により記述されている。
【００１９】
ユーザ歌唱音声データ記憶領域２４には、カラオケの対象となった各楽曲について、その伴奏データが再生されている期間中マイクロホン６１によって収音されたユーザの歌唱音声が音声処理部６０でデジタルデータに変換されることで生成された音声データが記憶される。この音声データをユーザ歌唱音声データという。このユーザ歌唱音声データは、例えば、ＷＡＶＥ（RIFF waveform Audio Format）形式のデータファイルとして記憶される。各楽曲についてのユーザ歌唱音声データは、制御部１０によって、その楽曲のＧＭデータに対応付けられる。ここで、ユーザ歌唱音声データを、歌唱者が歌唱したときの音声を表す歌唱音声データと定義すると、ＧＭデータと伴奏データとの組み合わせは、歌唱対象となる楽曲の内容を表す楽曲データとして定義することができる。つまり、制御部１０は、歌唱対象となる楽曲の内容を表す楽曲データを取得する楽曲データ取得手段として機能する。
【００２０】
＜動作＞
次に、図２〜図４を用いて、制御部１０による抑揚の判定方法について説明を行う。
図２は、カラオケ装置における処理の流れを示すフローチャートである。操作部３０を介してユーザにより楽曲が予約されると（ステップＳ１００；ＹＥＳ）、制御部１０は、記憶部２０から予約された楽曲の検索を行う（ステップＳ２００）。具体的にはステップＳ２００において、制御部１０は、伴奏データ記憶領域２１、映像データ記憶領域２２、及びＧＭデータ記憶領域２３の各々から、選択された楽曲の曲番号をキーにして、その楽曲に関するデータを検索し、検索結果のデータをＲＡＭに読み込む。ステップＳ２００の次に、制御部１０は、ＲＡＭに記憶された伴奏データ、映像データ、及びＧＭデータに基づいて、楽曲の再生を行う（ステップＳ３００）。具体的にはステップＳ３００において、制御部１０は、伴奏データ及びＧＭデータに基づく音声をスピーカ６２から放音させるとともに、映像データに基づく映像を表示部４０に表示させる。
【００２１】
次に制御部１０は、この楽曲の再生期間中に、マイク６１によって収音されたユーザの歌唱音声が音声処理部６０によってデジタルのデータに変換されたものであるユーザ歌唱音声データを、ユーザ歌唱音声データ記憶領域２４に記憶させる（ステップＳ４００）。そして制御部１０は、ユーザ歌唱音声データにＬＰＦ（Low-Pass Filter）を適用する（ステップＳ５００）。ステップＳ５００の処理を行う理由は、以下のようなものである。人間の声には、倍音を初めとする、複数の異なる周波数が含まれている。このような音声に基づくデータに対して、制御部１０が、そのまま何らかの処理を行おうとすると、音声データの波形が複雑な形状をとるため、正確な結果を得るための演算処理も複雑なものとならざるを得ないばかりか、期待する結果が得られにくい、ということがある。そこで、制御部１０が、音声情報データに予めＬＰＦを適用し、後続の処理で不要な高周波成分を取り除くことによって、処理対象の音声データの波形を単純な形状として、ステップＳ５００以降の処理における演算の精度を向上させるわけである。なお、音声情報データにＬＰＦを適用しない場合でも、制御部１０が後続の処理を行うことは可能であるが、より出力結果の精度を高くするためには、ＬＰＦを適用した方がなおよい。
【００２２】
次に制御部１０は、記憶されたユーザ歌唱音声データのうち、抑揚を判定する対象の区間である判定対象区間を特定する（ステップＳ６００）。具体的にはステップＳ６００において、制御部１０は、
ユーザ歌唱音声データにおける時間の進行に合わせて、ユーザ歌唱音声データにおいて予め決められた区間（例えばここでは８小節）に相当する区間を判定対象区間として特定する。例えば、初めてステップＳ６００の処理が行われる場合、制御部１０は、ユーザ歌唱音声データの開始から８小節分の区間を判定対象区間として特定し、２度目のステップＳ６００の処理では、ユーザ歌唱音声データの９小節目から８小節分の区間を判定対象区間として特定する、といった具合である。
【００２３】
次に制御部１０は、判定対象区間に相当するユーザ歌唱音声データから、歌唱の抑揚を判定する（ステップＳ７００）。図３は、第１実施形態に係る、抑揚を判定する処理におけるフローチャートである。抑揚を判定するにあたって、まず制御部１０は、判定対象区間におけるＧＭデータのノートのピッチ（以降においてＧＭピッチという）について、最も高い音高から最も低い音高を減算することで、両者の差分（以降、差分音高という）を算出する（ステップＳ７１１）。ここで、音高の単位はセントである。次に制御部１０は、算出した差分音高が予め決められた第１の閾値を超えるか否かを判定する（ステップＳ７１２）。上記差分音高が第１の閾値を超えない場合（ステップＳ７１１；ＮＯ）、制御部１０は、図３の処理を終了し、図２のステップＳ８００へ処理を進める。ステップＳ８００において、ユーザによる歌唱が終了していない場合、すなわち処理対象のユーザ歌唱音声データにおいて判定対象区間として特定されていないデータが残っている場合（ステップＳ８００；ＮＯ）、制御部１０は、処理をステップＳ６００へ進める。そして制御部１０は、ユーザ歌唱音声データにおいて新たな判定対象区間を特定し（ステップＳ６００）、当該判定対象区間に相当するユーザ歌唱音声データから、歌唱の抑揚を判定する（ステップＳ７００）。ユーザによる歌唱が終了する（ステップＳ８００；ＹＥＳ）まで、制御部１０は、ステップＳ６００及びステップＳ７００の処理を繰り返す。
【００２４】
上述のステップＳ７１２において差分音高が予め決められた第１の閾値を超えない場合とは、その判定対象区間において一定以上の音高の変動がある箇所、すなわち盛り上がる箇所が存在しなかったということになる。そのような場合には、ユーザによる歌唱において楽曲中の盛り上がる箇所に合わせた抑揚もないという考え方に基づき、その判定対象区間に対する処理を終わらせてもよい。従ってこのような場合、制御部１０は、後続の抑揚を判定する処理を省略して、ステップＳ６００において新たに判定対象区間を特定する処理を行うわけである。ここで第１の閾値は、例えば、多数の楽曲のＧＭデータをサンプルとして予め実験的に求められればよい。
【００２５】
上記差分音高が予め決められた第１の閾値を超える場合（ステップＳ７１２；ＹＥＳ）、制御部１０は、以降に述べる処理によって、楽曲の盛り上がる箇所で抑揚がつけられているかの判定を行う。この判定は、次のような考え方に基づいている。まず、ガイドメロディにおいて音高が低い方から高い方へ向かうに伴って、歌唱の音量も低い方から高い方へ向かった方が、楽曲の特徴に合わせた音量の大小、すなわち抑揚がついていると考えられる。従って、制御部１０は、判定対象区間において、ガイドメロディの音高差がある箇所で、ユーザ歌唱音声データにおける音量の差分が一定量以上みられる場合に抑揚を判定する。この考え方に基づけば、「サビ」以外の箇所であっても、盛り上がる箇所であれば、当該箇所で抑揚が付いているかどうかを、制御部１０が判定することが可能となる。楽曲によっては、「サビ」以外にも、例えば、出だしの「Ａメロ」が音高差の激しいメロディから成り立っていることもあるから、上記の考え方に基づく判定方法は、制御部１０が楽曲の特徴に合わせて抑揚を判定するのに有効である、といえる。
【００２６】
具体的には、まず、制御部１０は、判定対象区間におけるユーザ歌唱音声データの音量の平均（以降、平均音量という）を算出する（ステップＳ７１３）。次に、制御部１０は、判定対象区間における、最高の音高のノートを持つＧＭデータに対応するユーザ歌唱音声データの音高（以降、最高音高という）を特定すると（ステップＳ７１４）、特定した音高のノートと時間軸で一致するユーザ歌唱音声データにおける音量（以降、最高音高音量という）を特定する（ステップＳ７１５）。そして制御部１０は、平均音量と最高音高音量との差分である差分音量を算出する（ステップＳ７１６）。
【００２７】
図４（ａ）及び図４（ｂ）は、第１実施形態に係る、差分音量の算出方法を説明するための模式図である。図４（ａ）は、判定対象区間における、ＧＭデータとユーザ歌唱音声データとの関係を表した図である。図４（ｂ）は、図４（ａ）と同一の判定対象区間における、ユーザ歌唱音声データの音量の変化を表した図である。図４（ａ）において、横軸は時間を表し、図４（ａ）中で左から右に進むほど時間が経過することを表している。Ｔ１からＴ８に至る区間は判定対象区間である。ここでＴ１〜Ｔ８の各々を単位区間という。単位区間は１小節であるから、判定対象区間は８小節となる。また、縦軸は音高を表し、図４（ａ）中で下から上に進むほど音高が高くなることを表している。縦軸の１つの目盛りは２００セント（全音）の音高を意味している。つまり、例えば、音高「Ａ４」に対応する目盛りに対して１目盛り分だけ上方に位置する目盛りは、「Ｂ４」の音高を表している。また、音高「Ａ４」に対応する目盛りに対して１目盛り分だけ下方に位置する目盛りは、「Ｇ３」の音高を表している。
【００２８】
また、図４（ａ）において領域Ｎ１〜Ｎ６は、ＧＭデータに基づく音高を持つガイドメロディの構成音（ノート）を表している。例えば、図４（ａ）に示される期間においては、Ａ４の音高の音がＴ１の期間だけ続いた後に、Ｄ４の音高の音がＴ２の期間だけ続き、さらにその後Ｇ４の音高の音がＴ３の期間だけ続くと、Ｔ４の期間だけ無音の状態が続くといった具合である。また、実線２０１〜２０４は、ユーザ歌唱音声データによって表される、ユーザによる歌唱時の音声の音高を表しており、以下、これらをユーザ歌唱音高曲線２０１〜２０４という。
【００２９】
図４（ｂ）において、横軸は時間を表し、図４（ｂ）中で左から右に進むほど時間が経過することを表している。図４（ｂ）において、Ｔ１からＴ８に至る期間は判定対象区間であり、それぞれの単位区間は１小節の長さを表している。すなわち、Ｔ１〜Ｔ８の単位区間を合計すると８小節となる。図４（ｂ）におけるＴ１〜Ｔ８と、図４（ａ）におけるＴ１〜Ｔ８とは、それぞれが同一の判定対象区間を表している。また、縦軸は音量を表し、図４（ｂ）中で下から上に進むほど音量が大きくなることを表している。また、実線３００は、ユーザ歌唱音声データによって表される、ユーザによる歌唱時の音声の音量を表しており、以下、これをユーザ歌唱音量曲線３００という。このように、制御部１０が、ユーザ歌唱音声データを「時間」と「音高」を座標軸とする座標平面に割り当てたものが、ユーザ歌唱音高曲線２０１〜２０４であり、ユーザ歌唱音声データを「時間」と「音量」を座標軸とする座標平面に割り当てたものが、ユーザ歌唱音量曲線３００である。つまり、ユーザ歌唱音高曲線２０１〜２０４及びユーザ歌唱音量曲線３００は、共に同一のユーザ歌唱音声データに基づいたものであり、両者は時間軸において対応付けられている。また、ＧＭデータとユーザ歌唱音声データ（すなわち、ユーザ歌唱音高曲線及びユーザ歌唱音量曲線）は、図４（ａ）及び図４（ｂ）にも明らかなように、同一の検出対象区間に同時に存在している。換言すれば、ＧＭデータとユーザ歌唱音声データは、検出対象区間において同一の時刻に沿って進行する。
【００３０】
図３において、制御部１０は、差分音高が予め決められた第１の閾値を超える場合（ステップＳ７１２；ＹＥＳ）、図４（ｂ）における判定対象区間のユーザ歌唱音量曲線３００から、判定対象区間Ｔ１〜Ｔ８における音量の平均（以降、平均音量ＡＶという）を算出する（ステップＳ７１３）。ステップＳ７１３における算出方法は、例えば制御部１０が、判定対象区間Ｔ１〜Ｔ８において予め決められたサンプリング周期で音量を特定してこれらの音量を合算し、合算した音量をサンプリング数で割ることで算出すればよい。次に制御部１０は、図４（ａ）の判定対象区間において、ユーザ歌唱音声データにおける最も高い音高である最高音高を特定する（ステップＳ７１４）。図４（ａ）に表されるように、制御部１０は、判定対象区間Ｔ１〜Ｔ８において最も高い音高「Ａ５」のノートＮ６が存在する区間Ｔ８における、ユーザ歌唱音高曲線２０４の音高のうち、最も高い音高を、最高音高ＨＰであると特定する。そして制御部１０は、最高音高ＨＰの音声がユーザにより発せられたときの音量である最高音高音量ＨＶを特定する（ステップＳ７１５）。具体的には制御部１０は、図４（ａ）に示される、最高音高ＨＰの音声がユーザにより発せされたときの時間ｔと時間軸で一致する、ユーザ歌唱音量曲線３００（図４（ｂ））の最高音高音量ＨＶを特定する。そして制御部１０は、最高音高音量ＨＶから平均音量ＡＶを減算することで、図４（ｂ）に示される、両者の差分である差分音量ＤＶａを算出する（ステップＳ７１６）。
【００３１】
ステップＳ７１６の次に制御部１０は、算出した差分音量ＤＶａが、予め決められた第２の閾値を超えるか否かを判定する（ステップＳ７１７）。差分音量ＤＶａが第２の閾値を超えない場合（ステップＳ７１７；ＮＯ）、制御部１０は、図３の処理を終了して、図２のステップＳ８００へ処理を進める。一方、差分音量ＤＶａが予め決められた第２の閾値を超える場合（ステップＳ７１７；ＹＥＳ）、制御部１０は、この判定対象区間において楽曲の特徴に合わせた抑揚が付けられていると判定し、判定結果と、この判定対象区間とを対応付けてＲＡＭに記憶する（ステップＳ７１８）。そして制御部１０は、図３の処理を終了して、図２のステップＳ８００へ処理を進める。
【００３２】
上述のステップＳ７１７における判定は、次のような考え方に基づいている。上述したように、ガイドメロディにおいて音高が低い方から高い方へ向かうに伴って、歌唱の音量も低い方から高い方へ向かった方が、楽曲の特徴に合わせた音量の大小、すなわち抑揚がついていると考えられる。すると、差分音量が第２の閾値を超えない場合とは、その判定対象区間において、低い方から高い方へ向けて一定以上の音高の変動があった箇所、すなわち盛り上がる箇所が存在しているにも関わらず、ユーザによる歌唱において、その盛り上がる箇所に合わせた一定以上の音量の落差、すなわち抑揚がつけられていない場合である、といえる。従ってこのような場合、制御部１０は、後続の判定結果を記憶する処理を省略して、新たに判定対象区間を特定する処理を行うわけである。一方、差分音量が第２の閾値を超える場合とは、その判定対象区間において、盛り上がる箇所が存在し、且つ、ユーザによる歌唱において、その盛り上がる箇所に合わせた一定以上の音量の落差、すなわち抑揚がつけられた場合である、といえる。従ってこのような場合、制御部１０は、判定対象区間におけるユーザ音声対象データにおいて、抑揚がついていると判定するわけである。制御部１０は、このようにして抑揚がついていると判定したユーザ歌唱音声データは、それが例えば「シャウト」や、単なる「大声」であっても、全て抑揚として判定する。換言すれば、本発明において「抑揚」という用語の意味には、上記のようにして判定された音声が全て含まれる。
【００３３】
さらにステップＳ７１７の判定において、判定対象区間におけるＧＭデータに付与されたコーラスフラグが「ＯＮ」の状態である場合、制御部１０は、第２の閾値に対して予め決められた係数を加算或いは乗算する（いわゆる「重み付け」を行う）ことで、コーラスフラグが「ＯＦＦ」の状態と比較して第２の閾値をより大きな値とする。これは、コーラスフラグが「ＯＮ」であるＧＭデータは、「サビ」、すなわち楽曲において盛り上がる箇所であることを意味するため、そのような箇所は、「サビ」以外の箇所と比較して、より大きな抑揚が付けられた方がダイナミックに聞こえ、結果として歌唱者の歌唱力が高いといえる、という考え方に基づいている。制御部１０は、上記の考え方に基づいて、判定対象区間におけるＧＭデータに付与されたコーラスフラグが「ＯＮ」の状態である場合には、予め決められた係数を用いて、コーラスフラグが「ＯＦＦ」の状態である場合と比較して第２の閾値をより大きなものに変更するわけである。ここで第２の閾値は、例えば、予め複数のユーザから採取したサンプルの歌唱音声データから実験的に求められればよい。
【００３４】
上述したように、ステップＳ８００において、ユーザによる歌唱が終了していない場合、（ステップＳ８００；ＮＯ）、制御部１０は、処理をステップＳ６００へ進める。一方、ユーザによる歌唱が終了した場合、すなわち処理対象のユーザ歌唱音声データにおいて判定対象区間として特定されていないデータが残っていない場合（ステップＳ８００；ＹＥＳ）、制御部１０は、抑揚に関する判定結果を表示部４０に表示させる（ステップＳ９００）。図５は、抑揚の判定結果が表示されている様子を表す模式図である。横軸は時間を表し、図５において左から右へ進むほど時間が経過することを表している。また、「イントロ」、「Ａメロ」、「Ｂメロ」、「サビ」、「間奏」、「Ｃメロ」、及び「アウトロ」と表記された複数の矩形は、それぞれ判定対象区間を表しており、ここでは各々の判定対象区間が８小節からなるとする。例えば、図５において、１回目の「Ｂメロ」では、ユーザが、この判定対象区間の楽曲の特徴に合わせて抑揚をつけた歌唱を行ったため、「○」の印が表示されている。また、１回目の「サビ」では、ユーザが、この判定対象区間の楽曲の特徴に合わせて上手く抑揚をつけて歌唱が行えなかったため、「△」の印が表示されている。制御部１０は、ユーザによる歌唱が終了した後に、採点結果と共に、このような抑揚についての判定結果を表示部４０に表示させる。
【００３５】
図６は、制御部１０の機能的構成を表すブロック図である。図６に表されるように、制御部１０は、歌唱音声データ取得手段１１、楽曲データ取得手段１２、特定手段１３、及び判定手段１４として機能する。歌唱音声データ取得手段１１及び楽曲データ取得手段１２は、上述したとおりである。特定手段１３は、取得した楽曲データ（ＧＭデータ及び伴奏データ）によって表される楽曲の内容に基づき、楽曲において決められた区間、すなわち判定対象区間ごとに、抑揚の判定する際の比較対象となる単位区間を特定する特定手段として機能する。また、実施形態１において特定手段１３は、判定対象区間ごとに、当該判定対象区間において楽曲データが指定する構成音のうち最も高い音高の構成音がある単位区間を、抑揚の判定する際の比較対象となる箇所として特定する。判定手段１４は、取得したユーザ歌唱音声データによって表される音声のうち特定した単位区間を歌唱したときの音声の音量と、当該単位区間を含む判定対象区間を歌唱したときの音声の音量との違いに基づいて、当該判定対象区間における歌唱に抑揚があるか否かを判定する。
【００３６】
このように、第１実施形態によれば、歌唱者が楽曲を歌唱したときの音声とその楽曲の内容との関係を考慮して抑揚を判定することが可能となる。また、第１実施形態によれば、判定対象区間において、リファレンスであるＧＭデータにおける音高が最も高く、且つ音高の差分が大きな箇所で、ユーザの歌唱音声の音量において一定の落差が存在するか否かを判定しているため、楽曲における盛り上がる箇所で抑揚がつけられているかどうかを、高い精度で判定することが可能となる。
【００３７】
次に、本発明の第２実施形態について説明する。構成については第１実施形態と同様であるため説明を省略し、図２及び図８，９を用いた動作の説明を行う。
＜第２実施形態＞
＜動作＞
図２において、ステップＳ６００までの処理は第１実施形態と第２実施形態は同様である。制御部１０は、判定対象区間を特定すると（ステップＳ６００）、判定対象区間に相当するユーザ歌唱音声データから、歌唱の抑揚を判定する（ステップＳ７００）。図７は、第２実施形態に係る、抑揚を判定する処理におけるフローチャートである。ステップＳ７２１は、図３におけるステップＳ７１１と同様であり、ステップＳ７２２は、図３におけるステップＳ７１２と同様であり、ステップＳ７２３は、図３におけるステップＳ７１３と同様であるため、詳細な説明を省略する。
【００３８】
ステップＳ７２３の次に、制御部１０は、判定対象区間におけるＧＭデータの標本音高なるものを特定する（ステップＳ７２４）。図８（ａ）及び図８（ｂ）は、第２実施形態に係る、標本音高及び差分音量の算出方法を説明するための模式図である。図８（ａ）は、判定対象区間における、ＧＭデータとユーザ歌唱音声データとの関係を表した図である。図８（ｂ）は、図８（ａ）と同一の判定対象区間における、ユーザ歌唱音声データの音量の変化を表した図である。図８（ａ）における座標系及び各符号については、図４（ａ）と同様である点について詳細な説明を省略する。また、図８（ｂ）における座標系及び各符号については、図４（ｂ）と同様である点について詳細な説明を省略する。
【００３９】
ステップＳ７２４において、制御部１０は、図８（ａ）における判定対象区間のノートＮ１〜Ｎ６及びユーザ歌唱音高曲線２０１〜２０４から、判定対象区間Ｔ１〜Ｔ８における標本音高を算出する。図９は、標本音高の算出方法を説明するための模式図である。図９において「音高」は、判定対象区間Ｔ１〜Ｔ８に存在するノートの音高のうち、最も低い音高から最も高い音高までを表している。また、「重み付け」は、各音高に対して、当該音高の音の高さに基づいて付けられた重み付けの値（以降、重み値という）を表している。図９においては、音高が全音上がるごとに、重み値が１ずつ増している。これは、楽曲において、低い音高から高い音高へと移る箇所は盛り上がる箇所である可能性が高いため、より高い音高で標本音高が特定されやすいようにした方が、楽曲の盛り上がる箇所における差分音量を算出しやすい、という考えに基づいている。また、「標本個数」は、判定対象区間Ｔ１〜Ｔ８において、各音高を持つＧＭデータが存在する単位区間の個数を表している。また、「標本値」は、各音高について、標本個数に重み値を乗算した値であり、判定対象区間Ｔ１〜Ｔ８において、各音高が標本としての意味を持つ値を表している。また、「中央音高」は、重み付けがなされた持つ音高のうち、標本値に基づいて算出された中央値にあたる音高（以降、中央音高という）がどれであるかを表しており、判定対象区間Ｔ１〜Ｔ８における中央音高に「○」の印が付されている。
【００４０】
ステップＳ７２４において、まず制御部１０は、判定対象区間Ｔ１〜Ｔ８に存在するガイドメロディの音高の各々に重み付けを行う。図８（ａ）においては、Ａ４が最も低い音高であるため、制御部１０は、Ａ４を基準として（ここでは「１」）、音高が高くなるにつれて高い値となるように重み付けを行う。次に制御部１０は、判定対象区間Ｔ１〜Ｔ８において、各々の音高を持つＧＭデータが存在する単位区間の個数を特定する。例えば図８（ａ）において、Ａ４の音高を持つＧＭデータは、Ｔ１とＴ５の２つの単位区間に存在するため、図９においてＡ４の音高の標本個数は「２」となっている。次に制御部１０は、それぞれの音高について、標本個数に重み値を乗算することで、標本値を算出する。次に制御部１０は、判定対象区間における全ての標本値を合算し、これを標本個数の合計で除することで、中央音高を算出する。図９において、中央音高は、以下の式（ａ）によって求められる。
（ａ）（２＋４＋２１＋８）÷（２＋１＋３＋１）＝５
【００４１】
式（ａ）で表されるように、図９においては「５」の重み付けを持つ音高「Ｅ４」が中央音高であることが分かる。次に制御部１０は、中央音高である「Ｅ４」の音高により近い標本のうち、より高い音高を持つＧＭデータの音高、すなわち「Ｇ４」の音高を標本音高の基準となる音高（以降、基準音高という）として特定する。次に制御部１０は、「Ｇ４」の音高を持つノートが複数存在するため、基準音高を持つノートのうち、対応付けられたユーザ歌唱音声データの音量が最も大きい単位区間を特定する。図８（ａ）において「Ｇ４」の音高を持つＧＭデータは、Ｔ３，Ｔ６及びＴ７の３つの単位区間に存在している。制御部１０は、図８（ｂ）の単位区間Ｔ３、Ｔ６及びＴ７におけるユーザ歌唱音量曲線から、Ｔ７の単位区間を、基準音高を持つノートのうち、対応付けられたユーザ歌唱音声データの音量が最も大きい単位区間として特定する。そして制御部１０は、特定した単位区間Ｔ７のユーザ歌唱音高曲線２０４における最も高い音高を標本音高ＳＰとして特定する。つまり、標本音高とは、判定対象区間におけるＧＭデータが存在する単位区間の各々を標本としたときに、各標本に重み付けを行うことで標本の中央値（平均値）を求めた場合の、この中央値により近い標本のうち、より高い音高及びより高い音量を持つ標本（すなわちＧＭデータ）に対応付けられたユーザ歌唱音声データの音高のことである。
【００４２】
そして制御部１０は、算出した標本音高ＳＰの歌唱音声がユーザにより発せられたときの音量である標本音高音量ＳＶを特定する（ステップＳ７２５）。具体的には制御部１０は、図８（ａ）に示される、標本音高ＳＰの歌唱音声がユーザにより発せされたときの時間ｔと時間軸で一致する、図８（ｂ）に示されるユーザ歌唱音量曲線３００の標本音高音量ＳＶを特定する。そして制御部１０は、標本音高音量ＳＶから平均音量ＡＶを減算することで、両者の差分である差分音量ＤＶｂを算出する（ステップＳ７２６）。このように、第２実施形態において制御部１０は、判定対象区間ごとに、当該判定対象区間において楽曲データに含まれる構成音の音高に対して決められた重み付けを行って得た平均値よりも高い音高の構成音のうち、ユーザ歌唱音声データによって表される音量が最も高い音声に対応する構成音がある単位区間を、抑揚の判定する際の比較対象となる箇所として特定する。
【００４３】
ステップＳ７２６の次に制御部１０は、算出した差分音量ＤＶｂが、予め決められた第２の閾値を超えるか否かを判定する（ステップＳ７２７）。この第２の閾値は、第１実施形態におけるものと同じものである。差分音量ＤＶｂが予め決められた第２の閾値を超えない場合（ステップＳ７２７；ＮＯ）、制御部１０は、ステップＳ７００を抜けてステップＳ８００へ処理を進める。一方、差分音量ＤＶｂが予め決められた第２の閾値を超える場合（ステップＳ７２７；ＹＥＳ）、制御部１０は、判定対象区間において楽曲の特徴に合わせた抑揚が付けられていると判定し、判定結果と、この判定対象区間とを対応付けてＲＡＭに記憶する（ステップＳ７２８）。そして制御部１０は、ステップＳ７００を抜けてステップＳ８００へ処理を進める。
【００４４】
また、第２実施形態においても、ステップＳ７２７の判定において、判定対象区間のＧＭデータに付与されたコーラスフラグが「ＯＮ」の状態である場合、制御部１０は、第２の閾値に対して予め決められた係数を加算或いは乗算することで、コーラスフラグが「ＯＦＦ」の状態と比較して第２の閾値をより大きな値としてもよい。なお、ステップＳ８００以降の処理については第１実施形態と同様のため、詳細な説明を省略する。
【００４５】
このように、第２実施形態においても、第１実施形態と同様の効果を奏することができる。また、第２実施形態によれば、リファレンスであるＧＭデータから、上述した標本音高なるものを特定し、これを差分音量の算出に用いているので、ＧＭデータにおいて音高の差分が確実に一定量存在する箇所で、抑揚を判定することが可能となる。
【００４６】
次に、本発明の第３実施形態について説明する。構成については第１実施形態と同様であるため説明を省略し、図２及び図１０〜１１を用いた動作の説明を行う。
＜第３実施形態＞
＜動作＞
図２において、ステップＳ６００までの処理は第１実施形態と第３実施形態は同様である。制御部１０は、判定対象区間を特定すると（ステップＳ６００）、判定対象区間に相当するユーザ歌唱音声データから、歌唱の抑揚を判定する（ステップＳ７００）。
【００４７】
図１０は、第３実施形態に係る、抑揚を判定する処理におけるフローチャートである。制御部１０は、判定対象区間における単位区間毎に、ＧＭデータの各ノートに対応付けられたユーザ歌唱音声データにおける歌唱音声の音量であるノート別歌唱音量を特定する（ステップＳ７３１）。図１１は、第３実施形態に係る、ノート別歌唱音量の特定方法を説明するための模式図である。図１１（ａ）における座標系及び各符号については、図４（ａ）と同様な点について詳細な説明を省略する。また、図１１（ｂ）における座標系及び各符号については、図４（ｂ）と同様な点について詳細な説明を省略する。
【００４８】
ステップＳ７３１において、制御部１０は、図１１（ａ）に示される各々のノートに対応付けられた、図１１（ｂ）に示されるユーザ歌唱音量曲線３００から、歌唱音声の音量を特定する。例えば、ノートＮ１は単位区間Ｔ１に対応しているので、制御部１０は、図１１（ｂ）における単位区間Ｔ１において、ユーザ歌唱音量曲線３００に含まれる最も高い音量を、ノートＮ１のノート別歌唱音量ＮＳＶ１として特定する。また、例えば、ノートＮ５は単位区間Ｔ６及びＴ７に対応しているので、制御部１０は、図１１（ｂ）における単位区間Ｔ６及びＴ７において、ユーザ歌唱音量曲線３００に含まれる最も高い音量を、ノートＮ５のノート別歌唱音量ＮＳＶ５として特定する。同様にして、ステップＳ７３１において制御部１０は、判定対象区間Ｔ１〜Ｔ８における全てのノートのノート別歌唱音量を特定する。
【００４９】
図１２は、ノート別歌唱音量の特定結果を表す図である。図１２において「ノート」は、図１１（ａ）におけるＧＭデータに含まれるノートの識別情報を表しており、各々のノートを区別するものである。また、図１２において「音高」は、各々のノートに設定された音高を表している。また、図１２において「ノート別歌唱音量」は、各々のノートのノート別歌唱音量を表している。このように、制御部１０は、ステップＳ７３１の処理を行った結果、判定対象区間Ｔ１〜Ｔ８における、各ノートにおける音高及びノート別歌唱音量の組み合わせである音声情報データを、ユーザ歌唱音声データ及び楽曲データに基づいて生成する。ここで、音声情報データは、１つのノートの音高と１つのノート別歌唱音量とからなる１組を１単位とする。
【００５０】
ステップＳ７３１の次に、制御部１０は、音量と音高の２軸で表される座標系に、上記音声情報データを割り当てる（ステップＳ７３２）。そして制御部１０は、座標系に音声情報データを割り当てた結果に対して最小二乗法を適用することにより、１次関数を導出する（ステップＳ７３３）。この１次関数は、ノートの音高とノート別歌唱音量との相関関係を表す相関関数である、といえる。図１３は、１次関数の導出を説明するための模式図である。図１３において、縦軸はノート別歌唱音量を表し（単位：ｄＢ）、図１３中で下から上に進むほど音量が大きくなることを表している。図１３において、横軸は音高を表し、図１３中で左から右に進むほど音高が高くなることを表している。横軸においては、単位はセントであるが、説明の便宜上、図１２において全音階で示された各ノートの音高をそのまま表している。図１２における音声情報データが上述した座標系に割り当てられると、図１３に表される状態となる。図１３における黒丸で表された点の各々が、ノートの音高とノート別歌唱音量との組である音声情報データの各々を表している。制御部１０は、ステップＳ７３３において、割り当てられた音声情報データに対して最小二乗法を適用し、１次関数を導出する。破線で表される線分Ｌは、この１次関数を表したものである。
【００５１】
次に制御部１０は、線分Ｌにおける傾きを表す係数（以降、相関係数という）の値が、予め決められた第３の閾値を超えているか否かを判定する（ステップＳ７３４）。相関係数の値が、予め決められた第３の閾値を超えない場合（ステップＳ７３４；ＮＯ）、制御部１０は、ステップＳ７００を抜けてステップＳ８００へ処理を進める。一方、相関係数の値が、予め決められた第３の閾値を超える場合（ステップＳ７３４；ＹＥＳ）、制御部１０は、判定対象区間において楽曲の特徴に合わせた抑揚が付けられていると判定し、判定結果と、この判定対象区間とを対応付けてＲＡＭに記憶する（ステップＳ７３５）。そして制御部１０は、ステップＳ７００を抜けてステップＳ８００へ処理を進める。
【００５２】
上述のステップＳ７３４における判定は、次のような考え方に基づいている。図１３のような座標系に、ノートの音高とノート別歌唱音量との組からなる音声情報データを割り当てたときに、ノートの音高の上昇に比例してノート別歌唱音量も上昇すると、１次関数で表される線分Ｌは右肩上がりとなり、その傾きは大きなものとなる。一方、図１３のような座標系において、ノートの音高の上昇に比例してノート別歌唱音量がそれほど上昇しない場合、１次関数で表される線分Ｌは、その傾きが小さいものとなる。従って、ノートの音高の上昇に比例してノート別歌唱音量が十分に上昇している状態、すなわち、図１３における線分Ｌの傾きが第３の閾値を超える場合、抑揚がついていると制御部１０は判定するわけである。ここで第３の閾値は、例えば、予め複数のユーザから採取したサンプルの歌唱音声データから実験的に求められればよい。
【００５３】
また、第３実施形態においても、ステップＳ７３４の判定において、判定対象区間のＧＭデータに付与されたコーラスフラグが「ＯＮ」の状態である場合、制御部１０は、第３の閾値に対して予め決められた係数を加算或いは乗算することで、コーラスフラグが「ＯＦＦ」の状態と比較して第３の閾値をより大きな値としてもよい。なお、ステップＳ８００以降の処理については第１実施形態と同様のため、詳細な説明を省略する。
【００５４】
このように、第３実施形態においても、第１実施形態と同様の効果を奏することができる。また、第３実施形態によれば、制御部１０が、ノートの音高とノート別歌唱音量との組からなる音声情報データを座標系に割り当て、これらに最小二乗法を適用した結果、すなわちノートの音高とノート別歌唱音量との相関関係に基づいて抑揚の有無の判定を行っているため、音声情報データに急激な変化を表すデータが紛れていても、安定した精度で抑揚を判定することが可能となる。
【００５５】
＜変形例＞
以上の実施形態は次のように変形可能である。尚、以下の変形例は適宜組み合わせて実施しても良い。
【００５６】
＜変形例１＞
ステップＳ７００における抑揚を判定する処理は、実施形態において説明した内容に限らない。例えば、コーラスフラグが「ＯＮ」のノートが判定対象区間のＧＭデータに含まれている場合、制御部１０が第２の閾値に対して重み付けを行う以外に、次のようにしてもよい。この場合、図３におけるステップＳ７１４に代えて、ステップＳ７１４ｂにおいて制御部１０は、以下のような処理を行う。ステップＳ７１４ｂにおいて、制御部１０は、判定対象区間における、コーラスフラグが「ＯＮ」のノートに対応付けられたユーザ歌唱音高曲線のうち、最も高い音高を、最高音高ＨＰとして特定する。このとき、コーラスフラグが「ＯＮ」のノートが判定対象区間のＧＭデータに複数存在する場合、例えば、制御部１０は、そのうち最も高い音高を持つノートに対応付けられたユーザ歌唱音高曲線のうち、最も高い音高を、最高音高ＨＰとして特定すればよい。コーラスフラグが「ＯＮ」のノートは、予め盛り上がる箇所として印が付けられたノートであるから、コーラスフラグが「ＯＦＦ」のノートと比較して音高が高いことが多いと考えられる。従って、このような方法で最高音高ＨＰを特定しても、楽曲において音高に落差が付いており盛り上がる箇所、すなわち音高が低い方から高い方へ向けて上昇している箇所を特定することが可能であるといえる。このように、変形例１において制御部１０は、判定対象区間ごとに、楽曲データにおいてコーラスフラグが「ＯＮ」となっている構成音がある箇所を、抑揚の判定する際の比較対象となる箇所として特定する。このようにしても、ステップＳ７００において、判定対象区間における盛り上がる箇所に対する、歌唱の音量の変動を判定することが可能となるから、実施形態と同様の効果を得ることができる。
【００５７】
＜変形例２＞
ステップＳ７００における抑揚を判定する処理は、以下のような方法でもよい。ここで、図３におけるステップＳ７１４に代えて、ステップＳ７１４ｃにおいて制御部１０は、以下のような処理を行う。ステップＳ７１４ｃにおいて、制御部１０は、判定対象区間における、伴奏データの同時発音数が最も多い単位区間のＧＭデータのノートを特定する。伴奏データはＭＩＤＩ形式であるため、制御部１０は、判定対象区間において伴奏データの同時発音数が最も多い単位区間を特定することが可能である。または、ステップＳ７１４に代えてステップＳ７１４ｄで制御部１０は、判定対象区間における、伴奏データの音量が最も高い単位区間のＧＭデータのノートを特定する。このようにステップＳ７１４ｃ又はステップＳ７１４ｄにおいて、伴奏データを対象としてＧＭデータのノートを特定している理由は、次のようなものによる。伴奏データの同時発音数が最も多い区間又は伴奏データの音量が最も高い区間とは、伴奏が盛り上がっている箇所ということが出来、一般的に伴奏は歌唱に合わせたものであるから、伴奏が盛り上がる箇所は、歌唱も盛り上がる箇所である可能性が高い。従って、変形例２においては、伴奏が盛り上がっている箇所を、楽曲において特徴のある箇所、すなわち楽曲の盛り上がる箇所として捉えているわけである。つまり、変形例２において、制御部１０は、判定対象区間内において伴奏音声データに含まれる伴奏の同時発音数が最も多いタイミング又は伴奏の音量が最も大きいタイミングを調べ、楽曲データにおいて当該タイミングに対応する箇所を、抑揚の判定する際の比較対象となる箇所として特定する。
【００５８】
そして制御部１０は、ステップＳ７１５に代えてステップＳ７１５ｃにおいて、上記特定したＧＭデータのノートと時間軸で一致する区間のユーザ歌唱音量曲線のうち、最も高い音量を、最高音高音量ＨＶとして特定する。このようにしても、ステップＳ７００において、判定対象区間における盛り上がる箇所に対する、歌唱の音量の変動を判定することが可能となるから、実施形態と同様の効果を得ることができる。
【００５９】
＜変形例３＞
制御部１０による抑揚の判定は、判定対象区間内で行われるに限らず、或る判定対象区間と、この区間と隣り合う判定対象区間というように、判定対象区間同士を比較して、一方の判定対象区間は他方の判定対象区間よりも抑揚がついている、というような判定を制御部１０が行ってもよい。この場合、例えば、図２におけるステップＳ８００とステップＳ９００との間に次のような処理を行うステップＳ８５０を設ければよい。まず、実施形態１及び２において、ステップＳ８５０に代えて行うステップＳ８５０ａの処理を説明する。なお、実施形態１及び２では、ステップＳ８００が終了した時点で、ユーザ歌唱音声データの各判定対象区間における差分音量が算出済みである。ステップＳ８５０ａにおいて制御部１０は、ユーザ歌唱音声データにおける先頭の判定対象区間を基準として、この判定対象区間における差分音量と、次の判定対象区間における差分音量との差分を算出する。そして制御部１０は、算出した差分が予め決められた第４の閾値を超える場合、より高い差分音量を持つ判定対象区間を、より低い差分音量を持つ判定対象区間と比較して抑揚がついている、と判定する。制御部１０は、この判定結果と、対象の判定対象区間とを対応付けてＲＡＭに記憶する。制御部１０は、このような処理を、基準となる判定対象区間を１つずつ進めるたびに行う。そして基準となる判定対象区間がユーザ歌唱音声データに存在しなくなると、制御部１０は、ステップＳ８５０ａの処理を終了する。ステップＳ９００において、制御部１０は、ステップＳ８５０ａにおける判定対象区間同士における抑揚の判定結果を、表示部４０に表示させてもよい。
【００６０】
次に、実施形態３において、ステップＳ８５０に代えて行うステップＳ８５０ｂの処理を説明する。なお、実施形態３では、ステップＳ８００が終了した時点で、ユーザ歌唱音声データの各判定対象区間における相関係数が算出済みである。ステップＳ８５０ｂにおいて制御部１０は、ユーザ歌唱音声データにおける先頭の判定対象区間を基準として、この判定対象区間における相関係数と、次の判定対象区間における相関係数との差分を算出する。そして制御部１０は、算出した差分が予め決められた第５の閾値を超える場合、より大きい相関係数を持つ判定対象区間を、より小さい相関係数を持つ判定対象区間と比較して抑揚がついている、と判定する。制御部１０は、この判定結果と、対象の判定対象区間とを対応付けてＲＡＭに記憶する。制御部１０は、このような処理を、基準となる判定対象区間を１つずつ進めるたびに行う。そして基準となる判定対象区間がユーザ歌唱音声データに存在しなくなると、制御部１０は、ステップＳ８５０ｂの処理を終了する。ステップＳ９００において、制御部１０は、ステップＳ８５０ｂにおける判定対象区間同士における抑揚の判定結果を、表示部４０に表示させてもよい。
【００６１】
このように変形例３によれば、判定対象区間内に限らず、判定対象区間同士の比較による抑揚の判定結果を得ることで、ユーザは、自らの歌唱について、より大きな時間の間隔における抑揚の巧拙を知ることができ、カラオケ装置で歌唱を行う際の新たな楽しみ方を得るとともに、歌唱の練習に役立つ情報を得ることが可能となる。
【００６２】
＜変形例４＞
実施形態１及び２における第２の閾値は、予め決められた値ではなく、音高の差分を引数とする関数により算出される値であってもよい。例えば、この関数は、ステップＳ７１１又はステップＳ７２１で算出された差分音高を引数として、以下の式（ｂ）として定めることが可能である。
（ｂ）第２の閾値＝ｆ（差分音高）
式（ｂ）の右辺における関数は、単純なものとしては式（ｃ）のような１次関数が考えられるが、設計において式（ｄ）のような２次関数を用いるようにしてもよい。
（ｃ）第２の閾値＝ａ×（差分音高）＋ｂ
（ｄ）第２の閾値＝ａ×（差分音高）２＋ｂ×（差分音高）＋ｃ
このようにすれば、第２の閾値が固定的な場合と比較して、制御部１０が、判定対象区間内における音高の差分と相関がより強い状態で抑揚を判定することが可能となるため、楽曲の特徴に合わせてより柔軟に抑揚を判定することが可能となる。結果として、制御部１０は、ガイドメロディにおける音高差が少なめの楽曲においても抑揚を判定することが可能となる。
【００６３】
＜変形例５＞
実施形態２においては、判定対象区間におけるＧＭデータから標本音高を特定していたが、これに代えて、判定対象区間におけるユーザ歌唱音高曲線から標本音高を特定してもよい。例えば、変形例５において制御部１０は、図７におけるステップＳ７２４に代えて、ステップＳ７２４ｂで以下のような処理を行う。ステップＳ７２４ｂにおいて、まず制御部１０は、判定対象区間Ｔ１〜Ｔ８に存在するユーザ歌唱音高曲線の音高の各々に重み付けを行う。ここで制御部１０は、各々の単位区間におけるユーザ歌唱音高曲線において最も高い音高を、その単位区間のユーザ歌唱音高曲線の音高とする。このとき、制御部１０は、ユーザ歌唱音高曲線の各音高を、全音階に割り当てて特定する。制御部１０は、判定対象区間Ｔ１〜Ｔ８に存在するユーザ歌唱音高曲線の音高において最も低い音高を基準として（例えば「１」）、音高が高くなるにつれて高い値となるように重み付けを行う。
【００６４】
次に制御部１０は、判定対象区間Ｔ１〜Ｔ８において、各々の音高を持つユーザ歌唱音高曲線が存在する単位区間の個数を標本個数として特定する。次に制御部１０は、それぞれの音高について、標本個数に重み値を乗算することで、標本値を算出する。次に制御部１０は、判定対象区間における全ての標本値を合算すると、これを標本個数の合計で除することで、重み付けの中央値を算出する。次に制御部１０は、中央値の重み付けを持つ音高、すなわち中央音高により近い音高を持つ標本のうち、より高い音高を持つユーザ歌唱音高曲線の音高を標本音高として特定する。このようにすれば、ＧＭデータに依らずに、ユーザ歌唱音声データに基づいて抑揚を判定することが可能となる。
【００６５】
＜変形例６＞
実施形態１及び２においては、制御部１０は、特定した箇所（単位区間）におけるユーザ歌唱音声データの音量と、当該箇所を含む判定対象区間におけるユーザ歌唱音声データの音量の平均値との差分を、差分音量として算出していたが、差分を算出する対象は平均値に限らず、例えば、判定対象区間におけるユーザ歌唱音声データの最も低い音高の音量との差分としてもよい。要するに、上記差分を算出する対象は、ユーザ歌唱音声データによって表される音声のうち特定した箇所をユーザが歌唱したときの音声の音量と、当該箇所を含む判定対象区間をユーザが歌唱したときの音声の音量との違いに基づいて抑揚があるか否かを判定できるものであれば、なんでもよい。
また、実施形態２において、制御部１０は、判定対象区間ごとに、当該判定対象区間において楽曲データに含まれる構成音の音高に対して決められた重み付けを行って得た平均値よりも高い音高の構成音のうち、ユーザ歌唱音声データによって表される音量が最も高い音声に対応する構成音がある箇所を、抑揚を判定する際の比較対象となる箇所として特定していたが、重み付けを行わない単純な平均値を用いてもよい。
【００６６】
＜変形例７＞
本発明は、抑揚判定装置以外にも、当該装置を備える歌唱評価装置、これらを実現するための方法、及びコンピュータに音声評価機能を実現させるためのプログラムとしても把握される。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等を介して、コンピュータにダウンロードさせ、これをインストールして利用させるなどの形態でも提供されたりする。
【符号の説明】
【００６７】
１０…制御部、２０…記憶部、２１…伴奏データ記憶領域、２２…映像データ記憶領域、２３…ＧＭデータ記憶領域、２４…ユーザ歌唱音声データ記憶領域、３０…操作部、４０…表示部、５０…通信部、６０…音声処理部、６１…マイクロホン、６２…スピーカ、７０…バス、１００…カラオケ装置、２０１〜２０４…ユーザ歌唱音高曲線、３００…ユーザ歌唱音量曲線、ＡＶ…平均音量、ＤＶａ，ＤＶｂ…差分音量、ＨＰ…最高音高、ＨＶ…最高音高音量、Ｌ…線分、Ｎ１〜Ｎ６…ノート、ＮＳＶ…ノート別歌唱音量、ＳＰ…標本音高、ＳＶ…標本音高音量
【技術分野】
【０００１】
本発明は、歌唱者による歌唱の音声から抑揚を判定する技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者による歌唱の巧拙を採点する機能を備えるものがある。この採点にあたって、カラオケ装置は、歌唱者による歌唱の音声を録音し、録音した音声を分析して特徴を検出することで、この分析結果と評価の基準とを照らし合わせて点数を算出する。
【０００３】
ところで歌唱時において抑揚という歌唱技法が用いられることがある。この抑揚は、例えばサビと呼ばれるような、楽曲において感情を盛り上げて歌唱する箇所（以下、盛り上がる箇所という）において、その他の箇所よりも音量を上げて歌唱する、といったような技術によって実現される。つまり、抑揚は、歌唱における音量の大小によって表すことが可能であるといえる。一般的にプロの歌い手は抑揚を付けて歌唱することが上手であることからも分かるように、抑揚が上手く付けられた歌唱は、聞き手にとって上手に聞こえることが多い。従って、歌唱における抑揚の巧拙に対する評価を採点に反映させることができれば、より採点の精度を向上させることが可能となる。例えば特許文献１には、歌唱者による歌唱の音声における音量の変動の値を求め、この変動の値を、歌唱の採点において抑揚の評価に用いる方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６８３５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、歌唱音声の音量の変動の度合いのみに基づき抑揚を評価するため、その楽曲において盛り上がる箇所であるか否かに関わらず、歌唱の音量に一定の変動さえあれば、抑揚があるとして判定される。しかしこのような、楽曲の内容と歌唱の音声とを考慮せずに評価する方法では、聞き手にとっては上手な抑揚の付け方に聞こえないのにも関わらず、抑揚に関して高い点数がついてしまう場合があり、結果として採点の精度が高いとは言えない状態となってしまう。このように実際の歌唱に対して採点が不正確な状態が発生すると、カラオケ装置のユーザにとって不満感が高い。
本発明は上述の背景に鑑みてなされたものであり、歌唱者が楽曲を歌唱したときの音声とその楽曲の内容との関係を考慮して抑揚を判定することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明は、歌唱者が歌唱したときの音声を表す歌唱音声データを取得する歌唱音声データ取得手段と、歌唱対象となる楽曲の内容を表す楽曲データを取得する楽曲データ取得手段と、取得された前記楽曲データによって表される楽曲の内容に基づき、当該楽曲において決められた区間ごとに、抑揚を判定する際の比較対象となる箇所を特定する特定手段と、取得された前記歌唱音声データによって表される音声のうち特定された前記箇所を歌唱したときの音声の音量と、当該箇所を含む前記区間を歌唱したときの音声の音量との違いに基づいて、前記区間における歌唱に抑揚があるか否かを判定する判定手段とを備えることを特徴とする抑揚判定装置を提供する。
【０００７】
好ましい態様において、前記楽曲データは、前記楽曲を構成する構成音の音高を指定し、前記特定手段は、前記決められた区間ごとに、当該区間において前記楽曲データが指定する構成音のうち最も高い音高の構成音がある箇所を、前記抑揚の判定対象となる箇所として特定する。
【０００８】
別の好ましい態様において、前記楽曲データは、前記楽曲を構成する構成音の音高を指定し、前記特定手段は、前記決められた区間ごとに、当該区間において前記楽曲データに含まれる構成音の音高の平均値又は当該音高に対して決められた重み付けを行って得た平均値よりも高い音高の構成音のうち、前記歌唱音声データによって表される音量が最も高い音声に対応する構成音がある箇所を、前記抑揚の判定対象となる箇所として特定する。
【０００９】
また別の好ましい態様において、前記楽曲データは、前記楽曲を構成する構成音の音高と、前記抑揚の判定対象となる箇所に対応する構成音を指定する指定情報とを含み、前記特定手段は、前記決められた区間ごとに、前記楽曲データにおいて前記指定情報により指定されている構成音がある箇所を、前記抑揚の判定対象となる箇所として特定する。
【００１０】
また好ましい態様において、前記楽曲データは、前記楽曲の伴奏を表す伴奏データを含み、前記特定手段は、前記予め決められた区間内において前記伴奏データに含まれる伴奏の同時発音数が最も多いタイミング又は前記伴奏の音量が最も大きいタイミングを調べ、前記楽曲データにおいて当該タイミングに対応する箇所を、前記抑揚の判定対象となる箇所として特定する。
【００１１】
また、本発明は、歌唱者が歌唱したときの音声を表す歌唱音声データを取得する歌唱音声データ取得手段と、歌唱対象となる楽曲を構成する構成音の音高を含む楽曲データを取得する楽曲データ取得手段と、前記歌唱対象となる楽曲において決められた区間ごとに、当該区間に含まれる前記構成音が歌唱されたときの音量と当該構成音の音高とを、前記歌唱音声データ及び前記楽曲データに基づいて特定し、特定した前記音量及び前記音高の組を、音量を表す第１軸と音高を表す第２軸とで構成される座標系に割り当てる割り当て手段と、前記決められた区間について前記割り当て手段により割り当てられた複数の前記組における前記音量と前記音高との相関関係に基づいて抑揚の有無を判定する判定手段とを備えることを特徴とする抑揚判定装置を提供する。
【発明の効果】
【００１２】
本発明によれば、歌唱者が楽曲を歌唱したときの音声とその楽曲の内容との関係を考慮して抑揚を判定することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】カラオケ装置のハードウェア構成を表すブロック図
【図２】カラオケ装置における処理の流れを示すフローチャート
【図３】第１実施形態に係る、抑揚を判定する処理におけるフローチャート
【図４】第１実施形態に係る、差分音量の算出方法を説明するための模式図
【図５】抑揚の判定結果が表示されている様子を表す模式図
【図６】制御部の機能的構成を表すブロック図
【図７】第２実施形態に係る、抑揚を判定する処理におけるフローチャート
【図８】第２実施形態に係る、標本音高及び差分音量の算出方法を説明するための模式図
【図９】第２実施形態に係る、標本音高の算出方法を説明するための模式図
【図１０】第３実施形態に係る、抑揚を判定する処理におけるフローチャート
【図１１】第３実施形態に係る、ノート別歌唱音量の特定方法を説明するための模式図
【図１２】第３実施形態に係る、ノート別歌唱音量の特定結果を表す図
【図１３】第３実施形態に係る、１次関数の導出を説明するための模式図。
【発明を実施するための形態】
【００１４】
以下、本発明の第１実施形態について説明する。
＜第１実施形態＞
＜構成＞
図１は、カラオケ装置１００のハードウェア構成を表したブロック図である。
カラオケ装置１００は、ユーザの歌唱に対して採点を行うものであり、特にユーザの歌唱において抑揚が付けて歌唱が行われた箇所を判定し、それを採点対象に含めて採点を行う。このカラオケ装置１００においては、採点の方式に減点方式を採用している。ここで減点方式とは、あるカラオケ楽曲についてユーザが歌唱を開始した時点では満点から始まり（１００点満点であれば１００点）、ユーザによる歌唱が評価基準を満たさないときに減点が行われる、という方式である。図１に示すように、カラオケ装置１００は、制御部１０、記憶部２０、操作部３０、表示部４０、通信部５０、音声処理部６０、マイクロホン６１、及びスピーカ６２を有し、これら各部がバス７０を介して接続されている。
【００１５】
制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を有している。制御部１０において、ＣＰＵが、ＲＯＭや記憶部２０に記憶されているコンピュータプログラムを読み出しＲＡＭにロードして実行することにより、カラオケ装置１００の各部を制御する。制御部１０は、時間を計測する計時機能を備えている。操作部３０は、各種の操作子を備え、ユーザによる操作内容を表す操作信号を制御部１０に出力する。表示部４０は、例えば液晶パネルを備え、制御部１０による制御の下、各カラオケ楽曲に応じた歌詞テロップや背景映像等を表示する。通信部５０は、ネットワーク（非図示）を介して図示しないサーバ装置とデータ通信を行う。
【００１６】
マイクロホン６１は、収音した音声を表すアナログの音声信号を音声処理部６０に出力する。音声処理部６０は、Ａ／Ｄ（Analog / Digital）コンバータを有し、マイクロホン６１が出力したアナログの音声信号をデジタルの音声データに変換して制御部１０に出力すると、制御部１０は、これを取得する。このように、制御部１０はユーザ（歌唱者）が歌唱したときの音声を表す音声データを取得する音声データ取得手段として機能する。また、音声処理部６０は、Ｄ／Ａ（Digital / Analog）コンバータを有し、制御部１０から受け取ったデジタルの音声データをアナログの音声信号に変換してスピーカ６２に出力する。スピーカ６２は、音声処理部６０から受け取ったアナログの音声信号に基づく音を放音する。記憶部２０は、各種のデータを記憶するための記憶手段であり、例えばＨＤＤ（Hard Disk Drive）や不揮発性メモリである。記憶部２０は、伴奏データ記憶領域２１、映像データ記憶領域２２、ＧＭ（Guide Melody）データ記憶領域２３、及びユーザ歌唱音声データ記憶領域２４といった複数の記憶領域を備えている。
【００１７】
伴奏データ記憶領域２１には、各楽曲における伴奏の音声を表す伴奏データに関する情報が記憶されている。伴奏データ記憶領域２１には、楽曲を一意に識別するための番号である「曲番号」、各楽曲の名称を表す「曲名」、各楽曲の歌い手の名称を表す「歌手名」、各楽曲の伴奏データそのものであるデータファイルの格納場所である「ファイル格納場所」といった複数の項目からなる伴奏データレコードが複数記憶されている。この伴奏データのデータファイルは、例えば、ＭＩＤＩ（Musical Instrument Digital Interface）形式のファイルである。
【００１８】
映像データ記憶領域２２には、上述の曲番号、各楽曲の歌詞を示す歌詞データ及び歌詞の背景に表示される背景映像を表す背景映像データが対応付けられて記憶されている。歌詞データによって示される歌詞は、カラオケ歌唱の際に、楽曲の進行に伴って歌詞テロップとして表示部４０に表示される。また、背景映像データによって表される背景映像は、カラオケ歌唱の際に楽曲の進行に伴って歌詞テロップの背景として表示部４０に表示される。ＧＭデータ記憶領域２３には、上述の曲番号及び楽曲のボーカルパートのメロディを示すデータ、すなわち、歌唱すべき構成音（ノート）の音高を含む内容を指定するデータであるガイドメロディデータ（以下、ＧＭデータという）が対応付けられて記憶されている。ＧＭデータは、制御部１０がユーザによる歌唱の巧拙を評価する際に比較の基準となるものである。ＧＭデータにおける各ノートには、当該ノートのピッチ（音高）が情報として含まれている。また、ＧＭデータには、各ノートについて、いわゆる「サビ」に相当する箇所であるか否かを示すコーラスフラグが付されている。「サビ」に相当する箇所は抑揚の判定対象となる箇所であるから、コーラスフラグは、抑揚の判定対象となる箇所に対応する構成音を指定する指定情報である、ともいえる。例えば、「ＡＡＡ」という楽曲について、ＧＭデータにおける、サビの箇所に相当するノートについてはコーラスフラグが「ＯＮ」の状態で付されている。一方、ＧＭデータにおける、サビの箇所に相当しないノートについてはコーラスフラグが「ＯＦＦ」の状態で付されている。ＧＭデータは、例えば、ＭＩＤＩ形式により記述されている。
【００１９】
ユーザ歌唱音声データ記憶領域２４には、カラオケの対象となった各楽曲について、その伴奏データが再生されている期間中マイクロホン６１によって収音されたユーザの歌唱音声が音声処理部６０でデジタルデータに変換されることで生成された音声データが記憶される。この音声データをユーザ歌唱音声データという。このユーザ歌唱音声データは、例えば、ＷＡＶＥ（RIFF waveform Audio Format）形式のデータファイルとして記憶される。各楽曲についてのユーザ歌唱音声データは、制御部１０によって、その楽曲のＧＭデータに対応付けられる。ここで、ユーザ歌唱音声データを、歌唱者が歌唱したときの音声を表す歌唱音声データと定義すると、ＧＭデータと伴奏データとの組み合わせは、歌唱対象となる楽曲の内容を表す楽曲データとして定義することができる。つまり、制御部１０は、歌唱対象となる楽曲の内容を表す楽曲データを取得する楽曲データ取得手段として機能する。
【００２０】
＜動作＞
次に、図２〜図４を用いて、制御部１０による抑揚の判定方法について説明を行う。
図２は、カラオケ装置における処理の流れを示すフローチャートである。操作部３０を介してユーザにより楽曲が予約されると（ステップＳ１００；ＹＥＳ）、制御部１０は、記憶部２０から予約された楽曲の検索を行う（ステップＳ２００）。具体的にはステップＳ２００において、制御部１０は、伴奏データ記憶領域２１、映像データ記憶領域２２、及びＧＭデータ記憶領域２３の各々から、選択された楽曲の曲番号をキーにして、その楽曲に関するデータを検索し、検索結果のデータをＲＡＭに読み込む。ステップＳ２００の次に、制御部１０は、ＲＡＭに記憶された伴奏データ、映像データ、及びＧＭデータに基づいて、楽曲の再生を行う（ステップＳ３００）。具体的にはステップＳ３００において、制御部１０は、伴奏データ及びＧＭデータに基づく音声をスピーカ６２から放音させるとともに、映像データに基づく映像を表示部４０に表示させる。
【００２１】
次に制御部１０は、この楽曲の再生期間中に、マイク６１によって収音されたユーザの歌唱音声が音声処理部６０によってデジタルのデータに変換されたものであるユーザ歌唱音声データを、ユーザ歌唱音声データ記憶領域２４に記憶させる（ステップＳ４００）。そして制御部１０は、ユーザ歌唱音声データにＬＰＦ（Low-Pass Filter）を適用する（ステップＳ５００）。ステップＳ５００の処理を行う理由は、以下のようなものである。人間の声には、倍音を初めとする、複数の異なる周波数が含まれている。このような音声に基づくデータに対して、制御部１０が、そのまま何らかの処理を行おうとすると、音声データの波形が複雑な形状をとるため、正確な結果を得るための演算処理も複雑なものとならざるを得ないばかりか、期待する結果が得られにくい、ということがある。そこで、制御部１０が、音声情報データに予めＬＰＦを適用し、後続の処理で不要な高周波成分を取り除くことによって、処理対象の音声データの波形を単純な形状として、ステップＳ５００以降の処理における演算の精度を向上させるわけである。なお、音声情報データにＬＰＦを適用しない場合でも、制御部１０が後続の処理を行うことは可能であるが、より出力結果の精度を高くするためには、ＬＰＦを適用した方がなおよい。
【００２２】
次に制御部１０は、記憶されたユーザ歌唱音声データのうち、抑揚を判定する対象の区間である判定対象区間を特定する（ステップＳ６００）。具体的にはステップＳ６００において、制御部１０は、
ユーザ歌唱音声データにおける時間の進行に合わせて、ユーザ歌唱音声データにおいて予め決められた区間（例えばここでは８小節）に相当する区間を判定対象区間として特定する。例えば、初めてステップＳ６００の処理が行われる場合、制御部１０は、ユーザ歌唱音声データの開始から８小節分の区間を判定対象区間として特定し、２度目のステップＳ６００の処理では、ユーザ歌唱音声データの９小節目から８小節分の区間を判定対象区間として特定する、といった具合である。
【００２３】
次に制御部１０は、判定対象区間に相当するユーザ歌唱音声データから、歌唱の抑揚を判定する（ステップＳ７００）。図３は、第１実施形態に係る、抑揚を判定する処理におけるフローチャートである。抑揚を判定するにあたって、まず制御部１０は、判定対象区間におけるＧＭデータのノートのピッチ（以降においてＧＭピッチという）について、最も高い音高から最も低い音高を減算することで、両者の差分（以降、差分音高という）を算出する（ステップＳ７１１）。ここで、音高の単位はセントである。次に制御部１０は、算出した差分音高が予め決められた第１の閾値を超えるか否かを判定する（ステップＳ７１２）。上記差分音高が第１の閾値を超えない場合（ステップＳ７１１；ＮＯ）、制御部１０は、図３の処理を終了し、図２のステップＳ８００へ処理を進める。ステップＳ８００において、ユーザによる歌唱が終了していない場合、すなわち処理対象のユーザ歌唱音声データにおいて判定対象区間として特定されていないデータが残っている場合（ステップＳ８００；ＮＯ）、制御部１０は、処理をステップＳ６００へ進める。そして制御部１０は、ユーザ歌唱音声データにおいて新たな判定対象区間を特定し（ステップＳ６００）、当該判定対象区間に相当するユーザ歌唱音声データから、歌唱の抑揚を判定する（ステップＳ７００）。ユーザによる歌唱が終了する（ステップＳ８００；ＹＥＳ）まで、制御部１０は、ステップＳ６００及びステップＳ７００の処理を繰り返す。
【００２４】
上述のステップＳ７１２において差分音高が予め決められた第１の閾値を超えない場合とは、その判定対象区間において一定以上の音高の変動がある箇所、すなわち盛り上がる箇所が存在しなかったということになる。そのような場合には、ユーザによる歌唱において楽曲中の盛り上がる箇所に合わせた抑揚もないという考え方に基づき、その判定対象区間に対する処理を終わらせてもよい。従ってこのような場合、制御部１０は、後続の抑揚を判定する処理を省略して、ステップＳ６００において新たに判定対象区間を特定する処理を行うわけである。ここで第１の閾値は、例えば、多数の楽曲のＧＭデータをサンプルとして予め実験的に求められればよい。
【００２５】
上記差分音高が予め決められた第１の閾値を超える場合（ステップＳ７１２；ＹＥＳ）、制御部１０は、以降に述べる処理によって、楽曲の盛り上がる箇所で抑揚がつけられているかの判定を行う。この判定は、次のような考え方に基づいている。まず、ガイドメロディにおいて音高が低い方から高い方へ向かうに伴って、歌唱の音量も低い方から高い方へ向かった方が、楽曲の特徴に合わせた音量の大小、すなわち抑揚がついていると考えられる。従って、制御部１０は、判定対象区間において、ガイドメロディの音高差がある箇所で、ユーザ歌唱音声データにおける音量の差分が一定量以上みられる場合に抑揚を判定する。この考え方に基づけば、「サビ」以外の箇所であっても、盛り上がる箇所であれば、当該箇所で抑揚が付いているかどうかを、制御部１０が判定することが可能となる。楽曲によっては、「サビ」以外にも、例えば、出だしの「Ａメロ」が音高差の激しいメロディから成り立っていることもあるから、上記の考え方に基づく判定方法は、制御部１０が楽曲の特徴に合わせて抑揚を判定するのに有効である、といえる。
【００２６】
具体的には、まず、制御部１０は、判定対象区間におけるユーザ歌唱音声データの音量の平均（以降、平均音量という）を算出する（ステップＳ７１３）。次に、制御部１０は、判定対象区間における、最高の音高のノートを持つＧＭデータに対応するユーザ歌唱音声データの音高（以降、最高音高という）を特定すると（ステップＳ７１４）、特定した音高のノートと時間軸で一致するユーザ歌唱音声データにおける音量（以降、最高音高音量という）を特定する（ステップＳ７１５）。そして制御部１０は、平均音量と最高音高音量との差分である差分音量を算出する（ステップＳ７１６）。
【００２７】
図４（ａ）及び図４（ｂ）は、第１実施形態に係る、差分音量の算出方法を説明するための模式図である。図４（ａ）は、判定対象区間における、ＧＭデータとユーザ歌唱音声データとの関係を表した図である。図４（ｂ）は、図４（ａ）と同一の判定対象区間における、ユーザ歌唱音声データの音量の変化を表した図である。図４（ａ）において、横軸は時間を表し、図４（ａ）中で左から右に進むほど時間が経過することを表している。Ｔ１からＴ８に至る区間は判定対象区間である。ここでＴ１〜Ｔ８の各々を単位区間という。単位区間は１小節であるから、判定対象区間は８小節となる。また、縦軸は音高を表し、図４（ａ）中で下から上に進むほど音高が高くなることを表している。縦軸の１つの目盛りは２００セント（全音）の音高を意味している。つまり、例えば、音高「Ａ４」に対応する目盛りに対して１目盛り分だけ上方に位置する目盛りは、「Ｂ４」の音高を表している。また、音高「Ａ４」に対応する目盛りに対して１目盛り分だけ下方に位置する目盛りは、「Ｇ３」の音高を表している。
【００２８】
また、図４（ａ）において領域Ｎ１〜Ｎ６は、ＧＭデータに基づく音高を持つガイドメロディの構成音（ノート）を表している。例えば、図４（ａ）に示される期間においては、Ａ４の音高の音がＴ１の期間だけ続いた後に、Ｄ４の音高の音がＴ２の期間だけ続き、さらにその後Ｇ４の音高の音がＴ３の期間だけ続くと、Ｔ４の期間だけ無音の状態が続くといった具合である。また、実線２０１〜２０４は、ユーザ歌唱音声データによって表される、ユーザによる歌唱時の音声の音高を表しており、以下、これらをユーザ歌唱音高曲線２０１〜２０４という。
【００２９】
図４（ｂ）において、横軸は時間を表し、図４（ｂ）中で左から右に進むほど時間が経過することを表している。図４（ｂ）において、Ｔ１からＴ８に至る期間は判定対象区間であり、それぞれの単位区間は１小節の長さを表している。すなわち、Ｔ１〜Ｔ８の単位区間を合計すると８小節となる。図４（ｂ）におけるＴ１〜Ｔ８と、図４（ａ）におけるＴ１〜Ｔ８とは、それぞれが同一の判定対象区間を表している。また、縦軸は音量を表し、図４（ｂ）中で下から上に進むほど音量が大きくなることを表している。また、実線３００は、ユーザ歌唱音声データによって表される、ユーザによる歌唱時の音声の音量を表しており、以下、これをユーザ歌唱音量曲線３００という。このように、制御部１０が、ユーザ歌唱音声データを「時間」と「音高」を座標軸とする座標平面に割り当てたものが、ユーザ歌唱音高曲線２０１〜２０４であり、ユーザ歌唱音声データを「時間」と「音量」を座標軸とする座標平面に割り当てたものが、ユーザ歌唱音量曲線３００である。つまり、ユーザ歌唱音高曲線２０１〜２０４及びユーザ歌唱音量曲線３００は、共に同一のユーザ歌唱音声データに基づいたものであり、両者は時間軸において対応付けられている。また、ＧＭデータとユーザ歌唱音声データ（すなわち、ユーザ歌唱音高曲線及びユーザ歌唱音量曲線）は、図４（ａ）及び図４（ｂ）にも明らかなように、同一の検出対象区間に同時に存在している。換言すれば、ＧＭデータとユーザ歌唱音声データは、検出対象区間において同一の時刻に沿って進行する。
【００３０】
図３において、制御部１０は、差分音高が予め決められた第１の閾値を超える場合（ステップＳ７１２；ＹＥＳ）、図４（ｂ）における判定対象区間のユーザ歌唱音量曲線３００から、判定対象区間Ｔ１〜Ｔ８における音量の平均（以降、平均音量ＡＶという）を算出する（ステップＳ７１３）。ステップＳ７１３における算出方法は、例えば制御部１０が、判定対象区間Ｔ１〜Ｔ８において予め決められたサンプリング周期で音量を特定してこれらの音量を合算し、合算した音量をサンプリング数で割ることで算出すればよい。次に制御部１０は、図４（ａ）の判定対象区間において、ユーザ歌唱音声データにおける最も高い音高である最高音高を特定する（ステップＳ７１４）。図４（ａ）に表されるように、制御部１０は、判定対象区間Ｔ１〜Ｔ８において最も高い音高「Ａ５」のノートＮ６が存在する区間Ｔ８における、ユーザ歌唱音高曲線２０４の音高のうち、最も高い音高を、最高音高ＨＰであると特定する。そして制御部１０は、最高音高ＨＰの音声がユーザにより発せられたときの音量である最高音高音量ＨＶを特定する（ステップＳ７１５）。具体的には制御部１０は、図４（ａ）に示される、最高音高ＨＰの音声がユーザにより発せされたときの時間ｔと時間軸で一致する、ユーザ歌唱音量曲線３００（図４（ｂ））の最高音高音量ＨＶを特定する。そして制御部１０は、最高音高音量ＨＶから平均音量ＡＶを減算することで、図４（ｂ）に示される、両者の差分である差分音量ＤＶａを算出する（ステップＳ７１６）。
【００３１】
ステップＳ７１６の次に制御部１０は、算出した差分音量ＤＶａが、予め決められた第２の閾値を超えるか否かを判定する（ステップＳ７１７）。差分音量ＤＶａが第２の閾値を超えない場合（ステップＳ７１７；ＮＯ）、制御部１０は、図３の処理を終了して、図２のステップＳ８００へ処理を進める。一方、差分音量ＤＶａが予め決められた第２の閾値を超える場合（ステップＳ７１７；ＹＥＳ）、制御部１０は、この判定対象区間において楽曲の特徴に合わせた抑揚が付けられていると判定し、判定結果と、この判定対象区間とを対応付けてＲＡＭに記憶する（ステップＳ７１８）。そして制御部１０は、図３の処理を終了して、図２のステップＳ８００へ処理を進める。
【００３２】
上述のステップＳ７１７における判定は、次のような考え方に基づいている。上述したように、ガイドメロディにおいて音高が低い方から高い方へ向かうに伴って、歌唱の音量も低い方から高い方へ向かった方が、楽曲の特徴に合わせた音量の大小、すなわち抑揚がついていると考えられる。すると、差分音量が第２の閾値を超えない場合とは、その判定対象区間において、低い方から高い方へ向けて一定以上の音高の変動があった箇所、すなわち盛り上がる箇所が存在しているにも関わらず、ユーザによる歌唱において、その盛り上がる箇所に合わせた一定以上の音量の落差、すなわち抑揚がつけられていない場合である、といえる。従ってこのような場合、制御部１０は、後続の判定結果を記憶する処理を省略して、新たに判定対象区間を特定する処理を行うわけである。一方、差分音量が第２の閾値を超える場合とは、その判定対象区間において、盛り上がる箇所が存在し、且つ、ユーザによる歌唱において、その盛り上がる箇所に合わせた一定以上の音量の落差、すなわち抑揚がつけられた場合である、といえる。従ってこのような場合、制御部１０は、判定対象区間におけるユーザ音声対象データにおいて、抑揚がついていると判定するわけである。制御部１０は、このようにして抑揚がついていると判定したユーザ歌唱音声データは、それが例えば「シャウト」や、単なる「大声」であっても、全て抑揚として判定する。換言すれば、本発明において「抑揚」という用語の意味には、上記のようにして判定された音声が全て含まれる。
【００３３】
さらにステップＳ７１７の判定において、判定対象区間におけるＧＭデータに付与されたコーラスフラグが「ＯＮ」の状態である場合、制御部１０は、第２の閾値に対して予め決められた係数を加算或いは乗算する（いわゆる「重み付け」を行う）ことで、コーラスフラグが「ＯＦＦ」の状態と比較して第２の閾値をより大きな値とする。これは、コーラスフラグが「ＯＮ」であるＧＭデータは、「サビ」、すなわち楽曲において盛り上がる箇所であることを意味するため、そのような箇所は、「サビ」以外の箇所と比較して、より大きな抑揚が付けられた方がダイナミックに聞こえ、結果として歌唱者の歌唱力が高いといえる、という考え方に基づいている。制御部１０は、上記の考え方に基づいて、判定対象区間におけるＧＭデータに付与されたコーラスフラグが「ＯＮ」の状態である場合には、予め決められた係数を用いて、コーラスフラグが「ＯＦＦ」の状態である場合と比較して第２の閾値をより大きなものに変更するわけである。ここで第２の閾値は、例えば、予め複数のユーザから採取したサンプルの歌唱音声データから実験的に求められればよい。
【００３４】
上述したように、ステップＳ８００において、ユーザによる歌唱が終了していない場合、（ステップＳ８００；ＮＯ）、制御部１０は、処理をステップＳ６００へ進める。一方、ユーザによる歌唱が終了した場合、すなわち処理対象のユーザ歌唱音声データにおいて判定対象区間として特定されていないデータが残っていない場合（ステップＳ８００；ＹＥＳ）、制御部１０は、抑揚に関する判定結果を表示部４０に表示させる（ステップＳ９００）。図５は、抑揚の判定結果が表示されている様子を表す模式図である。横軸は時間を表し、図５において左から右へ進むほど時間が経過することを表している。また、「イントロ」、「Ａメロ」、「Ｂメロ」、「サビ」、「間奏」、「Ｃメロ」、及び「アウトロ」と表記された複数の矩形は、それぞれ判定対象区間を表しており、ここでは各々の判定対象区間が８小節からなるとする。例えば、図５において、１回目の「Ｂメロ」では、ユーザが、この判定対象区間の楽曲の特徴に合わせて抑揚をつけた歌唱を行ったため、「○」の印が表示されている。また、１回目の「サビ」では、ユーザが、この判定対象区間の楽曲の特徴に合わせて上手く抑揚をつけて歌唱が行えなかったため、「△」の印が表示されている。制御部１０は、ユーザによる歌唱が終了した後に、採点結果と共に、このような抑揚についての判定結果を表示部４０に表示させる。
【００３５】
図６は、制御部１０の機能的構成を表すブロック図である。図６に表されるように、制御部１０は、歌唱音声データ取得手段１１、楽曲データ取得手段１２、特定手段１３、及び判定手段１４として機能する。歌唱音声データ取得手段１１及び楽曲データ取得手段１２は、上述したとおりである。特定手段１３は、取得した楽曲データ（ＧＭデータ及び伴奏データ）によって表される楽曲の内容に基づき、楽曲において決められた区間、すなわち判定対象区間ごとに、抑揚の判定する際の比較対象となる単位区間を特定する特定手段として機能する。また、実施形態１において特定手段１３は、判定対象区間ごとに、当該判定対象区間において楽曲データが指定する構成音のうち最も高い音高の構成音がある単位区間を、抑揚の判定する際の比較対象となる箇所として特定する。判定手段１４は、取得したユーザ歌唱音声データによって表される音声のうち特定した単位区間を歌唱したときの音声の音量と、当該単位区間を含む判定対象区間を歌唱したときの音声の音量との違いに基づいて、当該判定対象区間における歌唱に抑揚があるか否かを判定する。
【００３６】
このように、第１実施形態によれば、歌唱者が楽曲を歌唱したときの音声とその楽曲の内容との関係を考慮して抑揚を判定することが可能となる。また、第１実施形態によれば、判定対象区間において、リファレンスであるＧＭデータにおける音高が最も高く、且つ音高の差分が大きな箇所で、ユーザの歌唱音声の音量において一定の落差が存在するか否かを判定しているため、楽曲における盛り上がる箇所で抑揚がつけられているかどうかを、高い精度で判定することが可能となる。
【００３７】
次に、本発明の第２実施形態について説明する。構成については第１実施形態と同様であるため説明を省略し、図２及び図８，９を用いた動作の説明を行う。
＜第２実施形態＞
＜動作＞
図２において、ステップＳ６００までの処理は第１実施形態と第２実施形態は同様である。制御部１０は、判定対象区間を特定すると（ステップＳ６００）、判定対象区間に相当するユーザ歌唱音声データから、歌唱の抑揚を判定する（ステップＳ７００）。図７は、第２実施形態に係る、抑揚を判定する処理におけるフローチャートである。ステップＳ７２１は、図３におけるステップＳ７１１と同様であり、ステップＳ７２２は、図３におけるステップＳ７１２と同様であり、ステップＳ７２３は、図３におけるステップＳ７１３と同様であるため、詳細な説明を省略する。
【００３８】
ステップＳ７２３の次に、制御部１０は、判定対象区間におけるＧＭデータの標本音高なるものを特定する（ステップＳ７２４）。図８（ａ）及び図８（ｂ）は、第２実施形態に係る、標本音高及び差分音量の算出方法を説明するための模式図である。図８（ａ）は、判定対象区間における、ＧＭデータとユーザ歌唱音声データとの関係を表した図である。図８（ｂ）は、図８（ａ）と同一の判定対象区間における、ユーザ歌唱音声データの音量の変化を表した図である。図８（ａ）における座標系及び各符号については、図４（ａ）と同様である点について詳細な説明を省略する。また、図８（ｂ）における座標系及び各符号については、図４（ｂ）と同様である点について詳細な説明を省略する。
【００３９】
ステップＳ７２４において、制御部１０は、図８（ａ）における判定対象区間のノートＮ１〜Ｎ６及びユーザ歌唱音高曲線２０１〜２０４から、判定対象区間Ｔ１〜Ｔ８における標本音高を算出する。図９は、標本音高の算出方法を説明するための模式図である。図９において「音高」は、判定対象区間Ｔ１〜Ｔ８に存在するノートの音高のうち、最も低い音高から最も高い音高までを表している。また、「重み付け」は、各音高に対して、当該音高の音の高さに基づいて付けられた重み付けの値（以降、重み値という）を表している。図９においては、音高が全音上がるごとに、重み値が１ずつ増している。これは、楽曲において、低い音高から高い音高へと移る箇所は盛り上がる箇所である可能性が高いため、より高い音高で標本音高が特定されやすいようにした方が、楽曲の盛り上がる箇所における差分音量を算出しやすい、という考えに基づいている。また、「標本個数」は、判定対象区間Ｔ１〜Ｔ８において、各音高を持つＧＭデータが存在する単位区間の個数を表している。また、「標本値」は、各音高について、標本個数に重み値を乗算した値であり、判定対象区間Ｔ１〜Ｔ８において、各音高が標本としての意味を持つ値を表している。また、「中央音高」は、重み付けがなされた持つ音高のうち、標本値に基づいて算出された中央値にあたる音高（以降、中央音高という）がどれであるかを表しており、判定対象区間Ｔ１〜Ｔ８における中央音高に「○」の印が付されている。
【００４０】
ステップＳ７２４において、まず制御部１０は、判定対象区間Ｔ１〜Ｔ８に存在するガイドメロディの音高の各々に重み付けを行う。図８（ａ）においては、Ａ４が最も低い音高であるため、制御部１０は、Ａ４を基準として（ここでは「１」）、音高が高くなるにつれて高い値となるように重み付けを行う。次に制御部１０は、判定対象区間Ｔ１〜Ｔ８において、各々の音高を持つＧＭデータが存在する単位区間の個数を特定する。例えば図８（ａ）において、Ａ４の音高を持つＧＭデータは、Ｔ１とＴ５の２つの単位区間に存在するため、図９においてＡ４の音高の標本個数は「２」となっている。次に制御部１０は、それぞれの音高について、標本個数に重み値を乗算することで、標本値を算出する。次に制御部１０は、判定対象区間における全ての標本値を合算し、これを標本個数の合計で除することで、中央音高を算出する。図９において、中央音高は、以下の式（ａ）によって求められる。
（ａ）（２＋４＋２１＋８）÷（２＋１＋３＋１）＝５
【００４１】
式（ａ）で表されるように、図９においては「５」の重み付けを持つ音高「Ｅ４」が中央音高であることが分かる。次に制御部１０は、中央音高である「Ｅ４」の音高により近い標本のうち、より高い音高を持つＧＭデータの音高、すなわち「Ｇ４」の音高を標本音高の基準となる音高（以降、基準音高という）として特定する。次に制御部１０は、「Ｇ４」の音高を持つノートが複数存在するため、基準音高を持つノートのうち、対応付けられたユーザ歌唱音声データの音量が最も大きい単位区間を特定する。図８（ａ）において「Ｇ４」の音高を持つＧＭデータは、Ｔ３，Ｔ６及びＴ７の３つの単位区間に存在している。制御部１０は、図８（ｂ）の単位区間Ｔ３、Ｔ６及びＴ７におけるユーザ歌唱音量曲線から、Ｔ７の単位区間を、基準音高を持つノートのうち、対応付けられたユーザ歌唱音声データの音量が最も大きい単位区間として特定する。そして制御部１０は、特定した単位区間Ｔ７のユーザ歌唱音高曲線２０４における最も高い音高を標本音高ＳＰとして特定する。つまり、標本音高とは、判定対象区間におけるＧＭデータが存在する単位区間の各々を標本としたときに、各標本に重み付けを行うことで標本の中央値（平均値）を求めた場合の、この中央値により近い標本のうち、より高い音高及びより高い音量を持つ標本（すなわちＧＭデータ）に対応付けられたユーザ歌唱音声データの音高のことである。
【００４２】
そして制御部１０は、算出した標本音高ＳＰの歌唱音声がユーザにより発せられたときの音量である標本音高音量ＳＶを特定する（ステップＳ７２５）。具体的には制御部１０は、図８（ａ）に示される、標本音高ＳＰの歌唱音声がユーザにより発せされたときの時間ｔと時間軸で一致する、図８（ｂ）に示されるユーザ歌唱音量曲線３００の標本音高音量ＳＶを特定する。そして制御部１０は、標本音高音量ＳＶから平均音量ＡＶを減算することで、両者の差分である差分音量ＤＶｂを算出する（ステップＳ７２６）。このように、第２実施形態において制御部１０は、判定対象区間ごとに、当該判定対象区間において楽曲データに含まれる構成音の音高に対して決められた重み付けを行って得た平均値よりも高い音高の構成音のうち、ユーザ歌唱音声データによって表される音量が最も高い音声に対応する構成音がある単位区間を、抑揚の判定する際の比較対象となる箇所として特定する。
【００４３】
ステップＳ７２６の次に制御部１０は、算出した差分音量ＤＶｂが、予め決められた第２の閾値を超えるか否かを判定する（ステップＳ７２７）。この第２の閾値は、第１実施形態におけるものと同じものである。差分音量ＤＶｂが予め決められた第２の閾値を超えない場合（ステップＳ７２７；ＮＯ）、制御部１０は、ステップＳ７００を抜けてステップＳ８００へ処理を進める。一方、差分音量ＤＶｂが予め決められた第２の閾値を超える場合（ステップＳ７２７；ＹＥＳ）、制御部１０は、判定対象区間において楽曲の特徴に合わせた抑揚が付けられていると判定し、判定結果と、この判定対象区間とを対応付けてＲＡＭに記憶する（ステップＳ７２８）。そして制御部１０は、ステップＳ７００を抜けてステップＳ８００へ処理を進める。
【００４４】
また、第２実施形態においても、ステップＳ７２７の判定において、判定対象区間のＧＭデータに付与されたコーラスフラグが「ＯＮ」の状態である場合、制御部１０は、第２の閾値に対して予め決められた係数を加算或いは乗算することで、コーラスフラグが「ＯＦＦ」の状態と比較して第２の閾値をより大きな値としてもよい。なお、ステップＳ８００以降の処理については第１実施形態と同様のため、詳細な説明を省略する。
【００４５】
このように、第２実施形態においても、第１実施形態と同様の効果を奏することができる。また、第２実施形態によれば、リファレンスであるＧＭデータから、上述した標本音高なるものを特定し、これを差分音量の算出に用いているので、ＧＭデータにおいて音高の差分が確実に一定量存在する箇所で、抑揚を判定することが可能となる。
【００４６】
次に、本発明の第３実施形態について説明する。構成については第１実施形態と同様であるため説明を省略し、図２及び図１０〜１１を用いた動作の説明を行う。
＜第３実施形態＞
＜動作＞
図２において、ステップＳ６００までの処理は第１実施形態と第３実施形態は同様である。制御部１０は、判定対象区間を特定すると（ステップＳ６００）、判定対象区間に相当するユーザ歌唱音声データから、歌唱の抑揚を判定する（ステップＳ７００）。
【００４７】
図１０は、第３実施形態に係る、抑揚を判定する処理におけるフローチャートである。制御部１０は、判定対象区間における単位区間毎に、ＧＭデータの各ノートに対応付けられたユーザ歌唱音声データにおける歌唱音声の音量であるノート別歌唱音量を特定する（ステップＳ７３１）。図１１は、第３実施形態に係る、ノート別歌唱音量の特定方法を説明するための模式図である。図１１（ａ）における座標系及び各符号については、図４（ａ）と同様な点について詳細な説明を省略する。また、図１１（ｂ）における座標系及び各符号については、図４（ｂ）と同様な点について詳細な説明を省略する。
【００４８】
ステップＳ７３１において、制御部１０は、図１１（ａ）に示される各々のノートに対応付けられた、図１１（ｂ）に示されるユーザ歌唱音量曲線３００から、歌唱音声の音量を特定する。例えば、ノートＮ１は単位区間Ｔ１に対応しているので、制御部１０は、図１１（ｂ）における単位区間Ｔ１において、ユーザ歌唱音量曲線３００に含まれる最も高い音量を、ノートＮ１のノート別歌唱音量ＮＳＶ１として特定する。また、例えば、ノートＮ５は単位区間Ｔ６及びＴ７に対応しているので、制御部１０は、図１１（ｂ）における単位区間Ｔ６及びＴ７において、ユーザ歌唱音量曲線３００に含まれる最も高い音量を、ノートＮ５のノート別歌唱音量ＮＳＶ５として特定する。同様にして、ステップＳ７３１において制御部１０は、判定対象区間Ｔ１〜Ｔ８における全てのノートのノート別歌唱音量を特定する。
【００４９】
図１２は、ノート別歌唱音量の特定結果を表す図である。図１２において「ノート」は、図１１（ａ）におけるＧＭデータに含まれるノートの識別情報を表しており、各々のノートを区別するものである。また、図１２において「音高」は、各々のノートに設定された音高を表している。また、図１２において「ノート別歌唱音量」は、各々のノートのノート別歌唱音量を表している。このように、制御部１０は、ステップＳ７３１の処理を行った結果、判定対象区間Ｔ１〜Ｔ８における、各ノートにおける音高及びノート別歌唱音量の組み合わせである音声情報データを、ユーザ歌唱音声データ及び楽曲データに基づいて生成する。ここで、音声情報データは、１つのノートの音高と１つのノート別歌唱音量とからなる１組を１単位とする。
【００５０】
ステップＳ７３１の次に、制御部１０は、音量と音高の２軸で表される座標系に、上記音声情報データを割り当てる（ステップＳ７３２）。そして制御部１０は、座標系に音声情報データを割り当てた結果に対して最小二乗法を適用することにより、１次関数を導出する（ステップＳ７３３）。この１次関数は、ノートの音高とノート別歌唱音量との相関関係を表す相関関数である、といえる。図１３は、１次関数の導出を説明するための模式図である。図１３において、縦軸はノート別歌唱音量を表し（単位：ｄＢ）、図１３中で下から上に進むほど音量が大きくなることを表している。図１３において、横軸は音高を表し、図１３中で左から右に進むほど音高が高くなることを表している。横軸においては、単位はセントであるが、説明の便宜上、図１２において全音階で示された各ノートの音高をそのまま表している。図１２における音声情報データが上述した座標系に割り当てられると、図１３に表される状態となる。図１３における黒丸で表された点の各々が、ノートの音高とノート別歌唱音量との組である音声情報データの各々を表している。制御部１０は、ステップＳ７３３において、割り当てられた音声情報データに対して最小二乗法を適用し、１次関数を導出する。破線で表される線分Ｌは、この１次関数を表したものである。
【００５１】
次に制御部１０は、線分Ｌにおける傾きを表す係数（以降、相関係数という）の値が、予め決められた第３の閾値を超えているか否かを判定する（ステップＳ７３４）。相関係数の値が、予め決められた第３の閾値を超えない場合（ステップＳ７３４；ＮＯ）、制御部１０は、ステップＳ７００を抜けてステップＳ８００へ処理を進める。一方、相関係数の値が、予め決められた第３の閾値を超える場合（ステップＳ７３４；ＹＥＳ）、制御部１０は、判定対象区間において楽曲の特徴に合わせた抑揚が付けられていると判定し、判定結果と、この判定対象区間とを対応付けてＲＡＭに記憶する（ステップＳ７３５）。そして制御部１０は、ステップＳ７００を抜けてステップＳ８００へ処理を進める。
【００５２】
上述のステップＳ７３４における判定は、次のような考え方に基づいている。図１３のような座標系に、ノートの音高とノート別歌唱音量との組からなる音声情報データを割り当てたときに、ノートの音高の上昇に比例してノート別歌唱音量も上昇すると、１次関数で表される線分Ｌは右肩上がりとなり、その傾きは大きなものとなる。一方、図１３のような座標系において、ノートの音高の上昇に比例してノート別歌唱音量がそれほど上昇しない場合、１次関数で表される線分Ｌは、その傾きが小さいものとなる。従って、ノートの音高の上昇に比例してノート別歌唱音量が十分に上昇している状態、すなわち、図１３における線分Ｌの傾きが第３の閾値を超える場合、抑揚がついていると制御部１０は判定するわけである。ここで第３の閾値は、例えば、予め複数のユーザから採取したサンプルの歌唱音声データから実験的に求められればよい。
【００５３】
また、第３実施形態においても、ステップＳ７３４の判定において、判定対象区間のＧＭデータに付与されたコーラスフラグが「ＯＮ」の状態である場合、制御部１０は、第３の閾値に対して予め決められた係数を加算或いは乗算することで、コーラスフラグが「ＯＦＦ」の状態と比較して第３の閾値をより大きな値としてもよい。なお、ステップＳ８００以降の処理については第１実施形態と同様のため、詳細な説明を省略する。
【００５４】
このように、第３実施形態においても、第１実施形態と同様の効果を奏することができる。また、第３実施形態によれば、制御部１０が、ノートの音高とノート別歌唱音量との組からなる音声情報データを座標系に割り当て、これらに最小二乗法を適用した結果、すなわちノートの音高とノート別歌唱音量との相関関係に基づいて抑揚の有無の判定を行っているため、音声情報データに急激な変化を表すデータが紛れていても、安定した精度で抑揚を判定することが可能となる。
【００５５】
＜変形例＞
以上の実施形態は次のように変形可能である。尚、以下の変形例は適宜組み合わせて実施しても良い。
【００５６】
＜変形例１＞
ステップＳ７００における抑揚を判定する処理は、実施形態において説明した内容に限らない。例えば、コーラスフラグが「ＯＮ」のノートが判定対象区間のＧＭデータに含まれている場合、制御部１０が第２の閾値に対して重み付けを行う以外に、次のようにしてもよい。この場合、図３におけるステップＳ７１４に代えて、ステップＳ７１４ｂにおいて制御部１０は、以下のような処理を行う。ステップＳ７１４ｂにおいて、制御部１０は、判定対象区間における、コーラスフラグが「ＯＮ」のノートに対応付けられたユーザ歌唱音高曲線のうち、最も高い音高を、最高音高ＨＰとして特定する。このとき、コーラスフラグが「ＯＮ」のノートが判定対象区間のＧＭデータに複数存在する場合、例えば、制御部１０は、そのうち最も高い音高を持つノートに対応付けられたユーザ歌唱音高曲線のうち、最も高い音高を、最高音高ＨＰとして特定すればよい。コーラスフラグが「ＯＮ」のノートは、予め盛り上がる箇所として印が付けられたノートであるから、コーラスフラグが「ＯＦＦ」のノートと比較して音高が高いことが多いと考えられる。従って、このような方法で最高音高ＨＰを特定しても、楽曲において音高に落差が付いており盛り上がる箇所、すなわち音高が低い方から高い方へ向けて上昇している箇所を特定することが可能であるといえる。このように、変形例１において制御部１０は、判定対象区間ごとに、楽曲データにおいてコーラスフラグが「ＯＮ」となっている構成音がある箇所を、抑揚の判定する際の比較対象となる箇所として特定する。このようにしても、ステップＳ７００において、判定対象区間における盛り上がる箇所に対する、歌唱の音量の変動を判定することが可能となるから、実施形態と同様の効果を得ることができる。
【００５７】
＜変形例２＞
ステップＳ７００における抑揚を判定する処理は、以下のような方法でもよい。ここで、図３におけるステップＳ７１４に代えて、ステップＳ７１４ｃにおいて制御部１０は、以下のような処理を行う。ステップＳ７１４ｃにおいて、制御部１０は、判定対象区間における、伴奏データの同時発音数が最も多い単位区間のＧＭデータのノートを特定する。伴奏データはＭＩＤＩ形式であるため、制御部１０は、判定対象区間において伴奏データの同時発音数が最も多い単位区間を特定することが可能である。または、ステップＳ７１４に代えてステップＳ７１４ｄで制御部１０は、判定対象区間における、伴奏データの音量が最も高い単位区間のＧＭデータのノートを特定する。このようにステップＳ７１４ｃ又はステップＳ７１４ｄにおいて、伴奏データを対象としてＧＭデータのノートを特定している理由は、次のようなものによる。伴奏データの同時発音数が最も多い区間又は伴奏データの音量が最も高い区間とは、伴奏が盛り上がっている箇所ということが出来、一般的に伴奏は歌唱に合わせたものであるから、伴奏が盛り上がる箇所は、歌唱も盛り上がる箇所である可能性が高い。従って、変形例２においては、伴奏が盛り上がっている箇所を、楽曲において特徴のある箇所、すなわち楽曲の盛り上がる箇所として捉えているわけである。つまり、変形例２において、制御部１０は、判定対象区間内において伴奏音声データに含まれる伴奏の同時発音数が最も多いタイミング又は伴奏の音量が最も大きいタイミングを調べ、楽曲データにおいて当該タイミングに対応する箇所を、抑揚の判定する際の比較対象となる箇所として特定する。
【００５８】
そして制御部１０は、ステップＳ７１５に代えてステップＳ７１５ｃにおいて、上記特定したＧＭデータのノートと時間軸で一致する区間のユーザ歌唱音量曲線のうち、最も高い音量を、最高音高音量ＨＶとして特定する。このようにしても、ステップＳ７００において、判定対象区間における盛り上がる箇所に対する、歌唱の音量の変動を判定することが可能となるから、実施形態と同様の効果を得ることができる。
【００５９】
＜変形例３＞
制御部１０による抑揚の判定は、判定対象区間内で行われるに限らず、或る判定対象区間と、この区間と隣り合う判定対象区間というように、判定対象区間同士を比較して、一方の判定対象区間は他方の判定対象区間よりも抑揚がついている、というような判定を制御部１０が行ってもよい。この場合、例えば、図２におけるステップＳ８００とステップＳ９００との間に次のような処理を行うステップＳ８５０を設ければよい。まず、実施形態１及び２において、ステップＳ８５０に代えて行うステップＳ８５０ａの処理を説明する。なお、実施形態１及び２では、ステップＳ８００が終了した時点で、ユーザ歌唱音声データの各判定対象区間における差分音量が算出済みである。ステップＳ８５０ａにおいて制御部１０は、ユーザ歌唱音声データにおける先頭の判定対象区間を基準として、この判定対象区間における差分音量と、次の判定対象区間における差分音量との差分を算出する。そして制御部１０は、算出した差分が予め決められた第４の閾値を超える場合、より高い差分音量を持つ判定対象区間を、より低い差分音量を持つ判定対象区間と比較して抑揚がついている、と判定する。制御部１０は、この判定結果と、対象の判定対象区間とを対応付けてＲＡＭに記憶する。制御部１０は、このような処理を、基準となる判定対象区間を１つずつ進めるたびに行う。そして基準となる判定対象区間がユーザ歌唱音声データに存在しなくなると、制御部１０は、ステップＳ８５０ａの処理を終了する。ステップＳ９００において、制御部１０は、ステップＳ８５０ａにおける判定対象区間同士における抑揚の判定結果を、表示部４０に表示させてもよい。
【００６０】
次に、実施形態３において、ステップＳ８５０に代えて行うステップＳ８５０ｂの処理を説明する。なお、実施形態３では、ステップＳ８００が終了した時点で、ユーザ歌唱音声データの各判定対象区間における相関係数が算出済みである。ステップＳ８５０ｂにおいて制御部１０は、ユーザ歌唱音声データにおける先頭の判定対象区間を基準として、この判定対象区間における相関係数と、次の判定対象区間における相関係数との差分を算出する。そして制御部１０は、算出した差分が予め決められた第５の閾値を超える場合、より大きい相関係数を持つ判定対象区間を、より小さい相関係数を持つ判定対象区間と比較して抑揚がついている、と判定する。制御部１０は、この判定結果と、対象の判定対象区間とを対応付けてＲＡＭに記憶する。制御部１０は、このような処理を、基準となる判定対象区間を１つずつ進めるたびに行う。そして基準となる判定対象区間がユーザ歌唱音声データに存在しなくなると、制御部１０は、ステップＳ８５０ｂの処理を終了する。ステップＳ９００において、制御部１０は、ステップＳ８５０ｂにおける判定対象区間同士における抑揚の判定結果を、表示部４０に表示させてもよい。
【００６１】
このように変形例３によれば、判定対象区間内に限らず、判定対象区間同士の比較による抑揚の判定結果を得ることで、ユーザは、自らの歌唱について、より大きな時間の間隔における抑揚の巧拙を知ることができ、カラオケ装置で歌唱を行う際の新たな楽しみ方を得るとともに、歌唱の練習に役立つ情報を得ることが可能となる。
【００６２】
＜変形例４＞
実施形態１及び２における第２の閾値は、予め決められた値ではなく、音高の差分を引数とする関数により算出される値であってもよい。例えば、この関数は、ステップＳ７１１又はステップＳ７２１で算出された差分音高を引数として、以下の式（ｂ）として定めることが可能である。
（ｂ）第２の閾値＝ｆ（差分音高）
式（ｂ）の右辺における関数は、単純なものとしては式（ｃ）のような１次関数が考えられるが、設計において式（ｄ）のような２次関数を用いるようにしてもよい。
（ｃ）第２の閾値＝ａ×（差分音高）＋ｂ
（ｄ）第２の閾値＝ａ×（差分音高）２＋ｂ×（差分音高）＋ｃ
このようにすれば、第２の閾値が固定的な場合と比較して、制御部１０が、判定対象区間内における音高の差分と相関がより強い状態で抑揚を判定することが可能となるため、楽曲の特徴に合わせてより柔軟に抑揚を判定することが可能となる。結果として、制御部１０は、ガイドメロディにおける音高差が少なめの楽曲においても抑揚を判定することが可能となる。
【００６３】
＜変形例５＞
実施形態２においては、判定対象区間におけるＧＭデータから標本音高を特定していたが、これに代えて、判定対象区間におけるユーザ歌唱音高曲線から標本音高を特定してもよい。例えば、変形例５において制御部１０は、図７におけるステップＳ７２４に代えて、ステップＳ７２４ｂで以下のような処理を行う。ステップＳ７２４ｂにおいて、まず制御部１０は、判定対象区間Ｔ１〜Ｔ８に存在するユーザ歌唱音高曲線の音高の各々に重み付けを行う。ここで制御部１０は、各々の単位区間におけるユーザ歌唱音高曲線において最も高い音高を、その単位区間のユーザ歌唱音高曲線の音高とする。このとき、制御部１０は、ユーザ歌唱音高曲線の各音高を、全音階に割り当てて特定する。制御部１０は、判定対象区間Ｔ１〜Ｔ８に存在するユーザ歌唱音高曲線の音高において最も低い音高を基準として（例えば「１」）、音高が高くなるにつれて高い値となるように重み付けを行う。
【００６４】
次に制御部１０は、判定対象区間Ｔ１〜Ｔ８において、各々の音高を持つユーザ歌唱音高曲線が存在する単位区間の個数を標本個数として特定する。次に制御部１０は、それぞれの音高について、標本個数に重み値を乗算することで、標本値を算出する。次に制御部１０は、判定対象区間における全ての標本値を合算すると、これを標本個数の合計で除することで、重み付けの中央値を算出する。次に制御部１０は、中央値の重み付けを持つ音高、すなわち中央音高により近い音高を持つ標本のうち、より高い音高を持つユーザ歌唱音高曲線の音高を標本音高として特定する。このようにすれば、ＧＭデータに依らずに、ユーザ歌唱音声データに基づいて抑揚を判定することが可能となる。
【００６５】
＜変形例６＞
実施形態１及び２においては、制御部１０は、特定した箇所（単位区間）におけるユーザ歌唱音声データの音量と、当該箇所を含む判定対象区間におけるユーザ歌唱音声データの音量の平均値との差分を、差分音量として算出していたが、差分を算出する対象は平均値に限らず、例えば、判定対象区間におけるユーザ歌唱音声データの最も低い音高の音量との差分としてもよい。要するに、上記差分を算出する対象は、ユーザ歌唱音声データによって表される音声のうち特定した箇所をユーザが歌唱したときの音声の音量と、当該箇所を含む判定対象区間をユーザが歌唱したときの音声の音量との違いに基づいて抑揚があるか否かを判定できるものであれば、なんでもよい。
また、実施形態２において、制御部１０は、判定対象区間ごとに、当該判定対象区間において楽曲データに含まれる構成音の音高に対して決められた重み付けを行って得た平均値よりも高い音高の構成音のうち、ユーザ歌唱音声データによって表される音量が最も高い音声に対応する構成音がある箇所を、抑揚を判定する際の比較対象となる箇所として特定していたが、重み付けを行わない単純な平均値を用いてもよい。
【００６６】
＜変形例７＞
本発明は、抑揚判定装置以外にも、当該装置を備える歌唱評価装置、これらを実現するための方法、及びコンピュータに音声評価機能を実現させるためのプログラムとしても把握される。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等を介して、コンピュータにダウンロードさせ、これをインストールして利用させるなどの形態でも提供されたりする。
【符号の説明】
【００６７】
１０…制御部、２０…記憶部、２１…伴奏データ記憶領域、２２…映像データ記憶領域、２３…ＧＭデータ記憶領域、２４…ユーザ歌唱音声データ記憶領域、３０…操作部、４０…表示部、５０…通信部、６０…音声処理部、６１…マイクロホン、６２…スピーカ、７０…バス、１００…カラオケ装置、２０１〜２０４…ユーザ歌唱音高曲線、３００…ユーザ歌唱音量曲線、ＡＶ…平均音量、ＤＶａ，ＤＶｂ…差分音量、ＨＰ…最高音高、ＨＶ…最高音高音量、Ｌ…線分、Ｎ１〜Ｎ６…ノート、ＮＳＶ…ノート別歌唱音量、ＳＰ…標本音高、ＳＶ…標本音高音量
【特許請求の範囲】
【請求項１】
歌唱者が歌唱したときの音声を表す歌唱音声データを取得する歌唱音声データ取得手段と、
歌唱対象となる楽曲の内容を表す楽曲データを取得する楽曲データ取得手段と、
取得された前記楽曲データによって表される楽曲の内容に基づき、当該楽曲において決められた区間ごとに、抑揚を判定する際の比較対象となる箇所を特定する特定手段と、
取得された前記歌唱音声データによって表される音声のうち特定された前記箇所を歌唱したときの音声の音量と、当該箇所を含む前記区間を歌唱したときの音声の音量との違いに基づいて、前記区間における歌唱に抑揚があるか否かを判定する判定手段と
を備えることを特徴とする抑揚判定装置。
【請求項２】
前記楽曲データは、前記楽曲を構成する構成音の音高を指定し、
前記特定手段は、前記決められた区間ごとに、当該区間において前記楽曲データが指定する構成音のうち最も高い音高の構成音がある箇所を、前記抑揚を判定する際の比較対象となる箇所として特定する
ことを特徴とする請求項１に記載の抑揚判定装置。
【請求項３】
前記楽曲データは、前記楽曲を構成する構成音の音高を指定し、
前記特定手段は、前記決められた区間ごとに、当該区間において前記楽曲データに含まれる構成音の音高の平均値又は当該音高に対して決められた重み付けを行って得た平均値よりも高い音高の構成音のうち、前記歌唱音声データによって表される音量が最も高い音声に対応する構成音がある箇所を、前記抑揚を判定する際の比較対象となる箇所として特定する
ことを特徴とする請求項１に記載の抑揚判定装置。
【請求項４】
前記楽曲データは、前記楽曲を構成する構成音の音高と、前記抑揚の判定対象となる箇所に対応する構成音を指定する指定情報とを含み、
前記特定手段は、前記決められた区間ごとに、前記楽曲データにおいて前記指定情報により指定されている構成音がある箇所を、前記抑揚を判定する際の比較対象となる箇所として特定する
ことを特徴とする請求項１に記載の抑揚判定装置。
【請求項５】
前記楽曲データは、前記楽曲の伴奏を表す伴奏データを含み、
前記特定手段は、前記予め決められた区間内において前記伴奏データに含まれる伴奏の同時発音数が最も多いタイミング又は前記伴奏の音量が最も大きいタイミングを調べ、前記楽曲データにおいて当該タイミングに対応する箇所を、前記抑揚を判定する際の比較対象となる箇所として特定する
ことを特徴とする請求項１に記載の抑揚判定装置。
【請求項６】
歌唱者が歌唱したときの音声を表す歌唱音声データを取得する歌唱音声データ取得手段と、
歌唱対象となる楽曲を構成する構成音の音高を含む楽曲データを取得する楽曲データ取得手段と、
前記歌唱対象となる楽曲において決められた区間ごとに、当該区間に含まれる前記構成音が歌唱されたときの音量と当該構成音の音高とを、前記歌唱音声データ及び前記楽曲データに基づいて特定し、特定した前記音量及び前記音高の組を、音量を表す第１軸と音高を表す第２軸とで構成される座標系に割り当てる割り当て手段と、
前記決められた区間について前記割り当て手段により割り当てられた複数の前記組における前記音量と前記音高との相関関係に基づいて抑揚の有無を判定する判定手段と
を備えることを特徴とする抑揚判定装置。
【請求項１】
歌唱者が歌唱したときの音声を表す歌唱音声データを取得する歌唱音声データ取得手段と、
歌唱対象となる楽曲の内容を表す楽曲データを取得する楽曲データ取得手段と、
取得された前記楽曲データによって表される楽曲の内容に基づき、当該楽曲において決められた区間ごとに、抑揚を判定する際の比較対象となる箇所を特定する特定手段と、
取得された前記歌唱音声データによって表される音声のうち特定された前記箇所を歌唱したときの音声の音量と、当該箇所を含む前記区間を歌唱したときの音声の音量との違いに基づいて、前記区間における歌唱に抑揚があるか否かを判定する判定手段と
を備えることを特徴とする抑揚判定装置。
【請求項２】
前記楽曲データは、前記楽曲を構成する構成音の音高を指定し、
前記特定手段は、前記決められた区間ごとに、当該区間において前記楽曲データが指定する構成音のうち最も高い音高の構成音がある箇所を、前記抑揚を判定する際の比較対象となる箇所として特定する
ことを特徴とする請求項１に記載の抑揚判定装置。
【請求項３】
前記楽曲データは、前記楽曲を構成する構成音の音高を指定し、
前記特定手段は、前記決められた区間ごとに、当該区間において前記楽曲データに含まれる構成音の音高の平均値又は当該音高に対して決められた重み付けを行って得た平均値よりも高い音高の構成音のうち、前記歌唱音声データによって表される音量が最も高い音声に対応する構成音がある箇所を、前記抑揚を判定する際の比較対象となる箇所として特定する
ことを特徴とする請求項１に記載の抑揚判定装置。
【請求項４】
前記楽曲データは、前記楽曲を構成する構成音の音高と、前記抑揚の判定対象となる箇所に対応する構成音を指定する指定情報とを含み、
前記特定手段は、前記決められた区間ごとに、前記楽曲データにおいて前記指定情報により指定されている構成音がある箇所を、前記抑揚を判定する際の比較対象となる箇所として特定する
ことを特徴とする請求項１に記載の抑揚判定装置。
【請求項５】
前記楽曲データは、前記楽曲の伴奏を表す伴奏データを含み、
前記特定手段は、前記予め決められた区間内において前記伴奏データに含まれる伴奏の同時発音数が最も多いタイミング又は前記伴奏の音量が最も大きいタイミングを調べ、前記楽曲データにおいて当該タイミングに対応する箇所を、前記抑揚を判定する際の比較対象となる箇所として特定する
ことを特徴とする請求項１に記載の抑揚判定装置。
【請求項６】
歌唱者が歌唱したときの音声を表す歌唱音声データを取得する歌唱音声データ取得手段と、
歌唱対象となる楽曲を構成する構成音の音高を含む楽曲データを取得する楽曲データ取得手段と、
前記歌唱対象となる楽曲において決められた区間ごとに、当該区間に含まれる前記構成音が歌唱されたときの音量と当該構成音の音高とを、前記歌唱音声データ及び前記楽曲データに基づいて特定し、特定した前記音量及び前記音高の組を、音量を表す第１軸と音高を表す第２軸とで構成される座標系に割り当てる割り当て手段と、
前記決められた区間について前記割り当て手段により割り当てられた複数の前記組における前記音量と前記音高との相関関係に基づいて抑揚の有無を判定する判定手段と
を備えることを特徴とする抑揚判定装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１９４３８７（Ｐ２０１２−１９４３８７Ａ）
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願番号】特願２０１１−５８３８３（Ｐ２０１１−５８３８３）
【出願日】平成２３年３月１６日（２０１１．３．１６）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成２４年１０月１１日（２０１２．１０．１１）
【国際特許分類】
【出願日】平成２３年３月１６日（２０１１．３．１６）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]