評価装置、制御方法及びプログラム
【課題】一定の評価基準に偏ることなく、練習者の歌唱や演奏を総合的に評価する。
【解決手段】 カラオケ装置１の記憶部１４には、伴奏・歌詞データ記憶領域１４ａと、模範音声データ記憶領域１４ｂと、楽譜音データ記憶領域１４ｃと、練習者音声データ記憶領域１４ｄとが設けられている。カラオケ装置１のＣＰＵ１１は、楽譜に規定された内容と練習者の歌唱を比較する機械比較と、模範となる歌唱者の歌唱と練習者の歌唱とを比較する情感比較とを行い、これら双方の比較結果の関係から、練習者の歌唱を評価する。よって、一定の評価基準に偏ることなく、練習者の歌唱を総合的に評価することが可能となる。
【解決手段】 カラオケ装置１の記憶部１４には、伴奏・歌詞データ記憶領域１４ａと、模範音声データ記憶領域１４ｂと、楽譜音データ記憶領域１４ｃと、練習者音声データ記憶領域１４ｄとが設けられている。カラオケ装置１のＣＰＵ１１は、楽譜に規定された内容と練習者の歌唱を比較する機械比較と、模範となる歌唱者の歌唱と練習者の歌唱とを比較する情感比較とを行い、これら双方の比較結果の関係から、練習者の歌唱を評価する。よって、一定の評価基準に偏ることなく、練習者の歌唱を総合的に評価することが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は歌唱や演奏を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者の歌唱の巧拙を評価するための方法が種々提案されている。その評価方法の１つに、楽譜の音符と歌唱者の歌唱音とを比較し、両者の音程やタイミングがどの程度一致しているかということを基準として歌唱を評価するものがある（例えば特許文献１，２参照）。また、模範となるような歌唱者の歌唱音と、練習者の歌唱音とを比較し、両者の一致度を基準として練習者の歌唱を評価する方法も提案されている（例えば特許文献３参照）。
【０００３】
ところで、歌手のように熟練した歌唱者は、楽譜の内容に沿って機械的に歌を歌うことはほとんどなく、その多くが、歌い始めや歌い終わりを意図的にずらしたり、ビブラートやこぶし等の歌唱技法を用いたりして、歌のなかに感情の盛り上がり（情感）を表現する。カラオケ装置で歌唱を練習する者のなかには、このような意図的なタイミングのずれや歌唱技法を真似て歌いたいという要望を持つ者が少なくない。前述した特許文献１，２に記載された評価方法ではこのような要望に応えることができないが、特許文献３に記載された評価方法によれば、歌唱に現れる情感を評価の基準とすることができる。
【特許文献１】特開昭６２−０４０４８８号公報
【特許文献２】特許第２８９０６５９号公報
【特許文献３】特公平０６−００７２９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献３に記載された評価方法では、模範となる歌唱をそっくり真似て、その歌唱者に特有の癖や特徴までをも忠実に再現しなければ、高い評価を得ることができない。模範となる歌唱がどのような練習者にとっても常に良いというわけでもないから、これをいたずらに真似するばかりでは練習者の歌唱技術が向上しない場合も考えられる。
このような問題は、歌唱を練習する場合に限らず、模範演奏を真似て楽器の演奏を練習する場合であっても同様に発生する。
【０００５】
本発明は上述した背景に鑑みてなされたものであり、その目的は、一定の評価基準に偏ることなく、練習者の歌唱や演奏を総合的に評価することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、楽譜によって規定された音を表す楽譜音データを記憶する第１の記憶手段と、模範となる音を表す模範音データを記憶する第２の記憶手段と、収音手段によって収音された音を表す音データを練習者音データとして記憶する第３の記憶手段と、前記第１の記憶手段によって記憶されている楽譜音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第１の比較手段と、前記第２の記憶手段によって記憶されている模範音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第２の比較手段と、前記第１の比較手段によって特定された相違内容と前記第２の比較手段によって特定された相違内容との関係から、前記練習者音データに対する評価結果を求める評価手段と、前記評価手段によって求められた評価結果を出力する出力手段とを備えることを特徴とする評価装置を提供する。
【０００７】
この評価装置によれば、楽譜音データと練習者音データとの相違内容と、模範音データと練習者音データとの相違内容との関係から練習者音データに対する評価結果を求める。よって、例えば楽譜音データと練習者音データとの相違内容だけを評価基準にするとか、模範音データと練習者音データとの相違内容だけを評価基準にする、といったように一定の評価基準に偏ることなく、練習者の歌唱や演奏を総合的に評価することができる。
【０００８】
また、本発明は、楽譜によって規定された音を表す楽譜音データを記憶する第１の記憶手段と、模範となる音を表す模範音データを記憶する第２の記憶手段と、収音手段によって収音された音を表す音データを練習者音データとして記憶する第３の記憶手段と、制御手段とを備えた評価装置の制御方法であって、前記制御手段が、前記第１の記憶手段によって記憶されている楽譜音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第１のステップと、前記制御手段が、前記第２の記憶手段によって記憶されている模範音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第２のステップと、前記制御手段が、前記第１のステップにおいて特定された相違内容と前記第２のステップにおいて特定された相違内容との関係から、前記練習者音データに対する評価結果を求める第３のステップと、前記制御手段が、前記第３のステップにおいて求められた評価結果を出力する第４のステップとを備えることを特徴とする制御方法を提供する。
【０００９】
この制御方法によれば、楽譜音データと練習者音データとの相違内容と、模範音データと練習者音データとの相違内容との関係から練習者音データに対する評価結果を求める。よって、一定の評価基準に偏ることなく、練習者の歌唱や演奏を総合的に評価することができる。
【００１０】
さらに、本発明は、コンピュータに対して機能を実現させるプログラムとしての形態も採り得る。なお、本発明において「発音」という用語には、人が歌唱するときに発せられる音声のほか、楽器を演奏することで発せられる演奏音も含むものとする。
【発明の効果】
【００１１】
本発明によれば、一定の評価基準に偏ることなく、練習者の歌唱や演奏を総合的に評価することができる。
【発明を実施するための最良の形態】
【００１２】
次に、本発明を実施するための最良の形態を説明する。
１．構成
図１は、この発明の一実施形態に係る評価装置としてのカラオケ装置１のハードウェア構成を示したブロック図である。ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２又は記憶部１４に記憶されているコンピュータプログラムを読み出してＲＡＭ（Random Access Memory）１３にロードし、これを実行することにより、カラオケ装置１の各部を制御する。記憶部１４は、例えばハードディスクなどの大容量の記憶手段であり、後述する「機械比較」の結果と「情感比較」の結果との関係から練習者の歌唱を評価するための評価アルゴリズムを記憶している。また、この記憶部１４には、伴奏・歌詞データ記憶領域１４ａと、模範音声データ記憶領域１４ｂと、楽譜音データ記憶領域１４ｃと、練習者音声データ記憶領域１４ｄという４つの記憶領域が設けられている。
【００１３】
表示部１５は、例えば液晶ディスプレイなどであり、ＣＰＵ１１の制御の下で、カラオケ装置１を操作するためのメニュー画面や、背景画像に歌詞テロップを重ねたカラオケ画面などの各種画面を表示する。操作部１６は、各種のキーを備えており、押下されたキーに対応した信号をＣＰＵ１１へ出力する。マイクロフォン１７は、歌唱者が発音した音声を収音する収音手段である。音声処理部１８は、マイクロフォン１７によって収音された音声（アナログデータ）をデジタルデータに変換してＣＰＵ１１に出力する。スピーカ１９は、音声処理部１８に接続されており、音声処理部１８から出力される音声を放音する。
【００１４】
次に、記憶部１４に記憶されるデータの内容について説明する。
伴奏・歌詞データ記憶領域１４ａには、楽曲の伴奏を行う各種楽器の演奏音が楽曲の進行に伴って記された伴奏データと、楽曲の歌詞を示す歌詞データとが対応付けられて記憶されている。伴奏データは、例えばＭＩＤＩ（Musical Instruments Digital Interface）形
式などのデータ形式であり、練習者がカラオケ歌唱する際に再生される。歌詞データは、そのカラオケ歌唱の際に歌詞テロップとして表示部１５に表示される。模範音声データ記憶領域１４ｂには、模範となる歌唱者が楽曲を歌唱した際の音声（以下、模範音声という）を表す音声データ（以下、模範音声データ）が記憶されている。この模範音声データは、例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式などのデータ形式で記憶されている。
【００１５】
楽譜音データ記憶領域１４ｃには、楽曲の楽譜によって規定された歌唱音を表す楽譜音データが記憶されている。この楽譜音データは、例えばＭＩＤＩ形式などのデータ形式であり、歌唱音のピッチとその発音タイミングとを含んでいる。練習者音声データ記憶領域１４ｄには、マイクロフォン１７から音声処理部を経てＡ／Ｄ変換された音声データが、例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式で時系列に記憶される。この音声データは、練習者の音声を表すものであるから、以下では、練習者音声データという。なお、以下の説明においては、説明の便宜上、「模範音声データ」と「練習者音声データ」とを各々区別する必要がない場合には、これらを「音声データ」と総称する。
【００１６】
次に、図２に示すブロック図を参照しながら、カラオケ装置１のソフトウェア構成について説明する。図２に示した基礎分析部１１１、対応箇所検出部１１２、機械比較部１１３、情感比較部１１４、総合評価部１１５及び報知部１１６は、ＣＰＵ１１がＲＯＭ１２又は記憶部１４に記憶されたコンピュータプログラムを実行することによって実現される。なお、図中の矢印は、データの流れを概略的に示したものである。
図２において、基礎分析部１１１は、模範音声データ記憶領域１４ｂから読み出された模範音声データと、練習者音声データ記憶領域１４ｄから読み出された練習者音声データとを、それぞれ所定時間長のフレーム単位に分離し、これらフレーム単位で各音声データのピッチ及びスペクトルを検出する。スペクトルの検出にはＦＦＴ（Fast Fourier Transform）を用いればよい。基礎分析部１１１によって検出された各音声データのピッチは機械比較部１１３に出力されるとともに、情感比較部１１４にも出力される。また、基礎分析部１１１によって検出された各音声データのスペクトルは情感比較部１１４に出力されると共に、対応箇所検出部１１２に出力される。
【００１７】
対応箇所検出部１１２は、模範音声のスペクトルと練習者音声のスペクトルに基づいて、両者の対応関係を求める。具体的には以下のようにして求める。
模範音声と練習者音声とは時間的に前後にずれている可能性がある。例えば図３（ａ）は、「すぎさりしひ・・・」という歌詞を練習者が歌唱した際の発音タイミングが、模範となる歌唱者の発音タイミングよりも遅れている例を示している。対応箇所検出部１１２は、このように模範音声と練習者音声とが時間的に前後にずれている場合であっても、両者を対応付けられるようにするため、練習者音声データと模範音声データのいずれか一方の時間軸を伸縮させる時間正規化（ＤＴＷ；Dynamic Time Warping）を行い、両者の時間軸を合わせる。このＤＴＷを行うための手法としては、ＤＰ（Dynamic Programming：動的計画法）マッチングがあるので、これを用いればよい。これにより、例えば図３（ａ）に示すように、練習者音声の発音タイミングが模範音声の発音タイミングよりも遅れていたとしても、図３（ｂ）に示すように、合わせられた時間軸上の位置を同じくする音どうしを対応付けることができる。このようにして対応箇所検出部１１２によって検出された対応箇所は、情感比較部１１４に出力される。
【００１８】
機械比較部１１３は、楽譜音データと練習者音声データとを比較し、両者の相違内容を特定する。この比較は、練習者が楽譜に規定された内容どおりに歌唱することができているかどうかを判定する意味合いがあるから、「機械比較」と称する。より具体的には、機械比較部１１３は、ピッチ比較部１１３ａとタイミング比較部１１３ｂを備えている。ピッチ比較部１１３ａは、楽譜音データが表すピッチと、基礎分析部１１１から出力されてくる練習者音声のピッチとを比較して両者の相違内容を特定する。例えば、一方の音声のピッチが他方の音声のピッチよりもどの程度高いか低いかなど、両者の差分とその高低関係を特定する。タイミング比較部１１３ｂは、楽譜音データが表す発音タイミングと、基礎分析部１１１から出力されてくる練習者音声のピッチが切り替わったタイミング（つまり練習者の発音タイミング）とを比較して両者の相違内容を特定する。例えば、一方の音声の発音タイミングが他方の音声の発音タイミングよりもどの程度早いか遅いかなど、両者の差分とその時間的な前後関係を特定する。
【００１９】
情感比較部１１４は、対応箇所検出部１１２によって検出される対応箇所を参照しながら、模範音声データと練習者音声データとの間で対応する音声データどうしを比較し、両者の相違内容を特定する。この比較は、練習者が模範となる歌唱者のように情感を込めて歌唱することができているかどうかを判定する意味合いがあるから、「情感比較」と称する。より具体的には、情感比較部１１４は、スペクトル比較部１１４ａと、ピッチ比較部１１４ｂと、タイミング比較部１１４ｃとを備えている。スペクトル比較部１１４ａは、模範音声データと練習者音声データとの間で、それぞれ対応する箇所の音声のスペクトルを比較して両者の相違内容を特定する。例えば両者のスペクトルの差分を算出して、その差分が予め決められた閾値よりも小さいか大きいかを特定する。ピッチ比較部１１４ｂは、模範音声データと練習者音声データとの間で、それぞれ対応する箇所のピッチを比較して両者の相違内容を特定する。例えば、一方の音声のピッチが他方の音声のピッチよりもどの程度高いか低いかなど、両者の差分とその高低関係を特定する。タイミング比較部１１４ｃは、模範音声データと練習者音声データとの間で、それぞれ対応する箇所の発音タイミングを比較して両者の相違内容を特定する。例えば、一方の音声の発音タイミングが他方の音声の発音タイミングよりどの程度早いか遅いかなど、両者の差分とその時間的な前後関係を特定する。
【００２０】
総合評価部１１５は、機械比較部１１３による比較結果と、情感比較部１１４による比較結果との関係から、練習者の歌唱の稚拙を総合的に評価する。報知部１１６は、その評価結果を表す評価点や各種メッセージを生成し、これらを表示部１５に表示することで練習者に報知する。
【００２１】
２．動作
次に、図４に示すフローチャートを参照しつつ、カラオケ装置１の動作を説明する。
練習者は、カラオケ装置１の操作部１６を操作して歌唱したい曲を選定し、再生を指示する。ＣＰＵ１１は、この指示に応じて図４に示す処理を開始する。ＣＰＵ１１は、まず、指定された曲の伴奏データ及び歌詞データを伴奏・歌詞データ記憶領域１４ａから読み出し、伴奏データを音声処理部１８に出力する（ステップＳ１）。音声処理部１８は、出力されてくる伴奏データをアナログ信号に変換してスピーカ１９に出力して放音させる。さらに、ＣＰＵ１１は表示部１５を制御して、歌詞データが表す歌詞を表示部１５に表示するとともに、「伴奏に合わせて歌唱してください」というような歌唱を促すメッセージを表示する。
【００２２】
練習者は、表示された歌詞を参照しつつ、スピーカ１９から放音される伴奏に合わせて歌唱を行う。このとき、練習者の音声はマイクロフォン１７によって収音されて音声信号に変換され、音声処理部１８へと出力される。そして、音声処理部１８によってＡ／Ｄ変換された練習者音声データは、演奏開始から発音タイミングまでの経過時間を表す情報と共に、記憶部１４の練習者音声データ記憶領域１４ｄに記憶されていく（ステップＳ２）。
【００２３】
伴奏データの再生が終了すると（ステップＳ３；ＹＥＳ）、ＣＰＵ１１は、練習者音声データ記憶領域１４ｄに記憶された練習者音声データと、模範音声データ記憶領域１４ｂに予め記憶されている模範音声データに対して、上述した基礎分析部１１１の処理を行う（ステップＳ４）。つまり、ＣＰＵ１１は、それぞれの音声データを所定時間長のフレーム単位に分離し、これらフレーム毎にピッチ及びスペクトルを検出する。
【００２４】
次に、ＣＰＵ１１は、前述した対応箇所検出部１１２の処理、つまりＤＰマッチングによって練習者音声データの時間軸と模範音声データの時間軸とを合わせ、その時間軸上の位置を同じくする音どうしを対応付ける（ステップＳ５）。
【００２５】
次に、ＣＰＵ１１は、前述した機械比較部１１３の処理を行う（ステップＳ６）。これにより、ＣＰＵ１１は、楽譜音データと練習者音声データとの間で、ピッチや発音タイミングがどの程度相違しているかということを特定することができる。例えば図５（ａ）に示すように、「す」という音声については楽譜音のピッチｐ１よりも練習者音声のピッチｐ２の方がΔｐaだけ高いとか、図５（ｂ）に示すように、楽譜音の発音タイミングｔ１よりも練習者音声の発音タイミングｔ２の方がΔｔａだけ早い、といった具合に両者の相違内容を特定する。ＣＰＵ１１は、このような相違内容を、楽譜音及び練習者音声の対応箇所の全てについて特定する。
【００２６】
続けて、ＣＰＵ１１は、前述した情感比較部１１４の処理を行う（ステップＳ７）。これにより、ＣＰＵ１１は、模範音声データと練習者音声データとの間で、ピッチ、発音タイミング及びスペクトルがどの程度相違しているかということを把握することができる。例えば図６（ａ）に示すように、「す」という音声については、模範音声のピッチｐ３よりも練習者音声のピッチｐ２の方がΔｐｂだけ高いとか、図６（ｂ）に示すように、模範音声の発音タイミングｔ３よりも練習者音声の発音タイミングｔ２の方がΔｔｂだけ遅いとか、図６（ｃ）に示すように、模範音声のスペクトルと練習者音声のスペクトルが類似している（フォルマントｆ１，ｆ２の周波数帯域が一致している）、といった具合である。ＣＰＵ１１は、上記のような相違内容を、楽譜音及び練習者音声の対応箇所の全てについて特定する。
【００２７】
次に、ＣＰＵ１１は、ステップＳ６において特定された相違内容と、ステップＳ７において特定された相違内容とに基づき、記憶部１４に記憶されている評価アルゴリズムに従って練習者の歌唱を総合的に評価する（ステップＳ８）。
【００２８】
ここで、具体的な評価方法について説明する。
例えば図７に示すように、練習者音声のピッチｐ２が、楽譜音のピッチｐ１よりもΔｐaだけ高く、且つ、模範音声のピッチｐ３よりもΔｐｂだけ高い（Δｐｂ＜Δｐa）場合を想定する。つまり、ピッチの低い順から並べると、楽譜音のピッチｐ１，模範音声のピッチｐ３，練習者音声のピッチｐ２という順序となる。ＣＰＵ１１は、これらのピッチｐ１，ｐ２，ｐ３の高低関係と、差分Δｐａ，Δｐｂの大小関係に基づき、練習者音声の評価点を算出する。
【００２９】
図８は、ピッチの評価点を算出する方法の一例を説明する図であり、模範音声及び楽譜音のピッチに対する近さと評価点との関係を示している。図８に示すように、練習者音声のピッチが模範音声のピッチと楽譜音のピッチとの間にある場合には高い評価点を獲得でき、さらに、模範音声に近づけば近づくほど高い評価点となり、また、楽譜音に近づけば近づくほど高い評価点となる。ただし、楽譜音に近づくよりも、模範音声に近づくほうがより高い評価点となる。つまり、機械比較の結果と情感比較の結果のうち、情感比較の結果を過大に参酌している。このような評価体系は、楽譜音のピッチと模範音声のピッチとの間に練習者音声のピッチがある場合にはそれを高く評価すべきであるし、また、楽譜音よりも模範音声のほうが巧い歌唱であるから、模範音声に近いピッチをより高く評価する、という考え方によるものである。
【００３０】
また、図９は、別の評価点算出方法を説明する図である。図９に示す例であっても、楽譜音のピッチと模範音声のピッチとの間に練習者音声のピッチがある場合にはそれを高く評価する点で一致するが、異なるのは、模範音声のピッチから所定範囲にあるピッチのみを最も高く評価するという点と、楽譜音のピッチと模範音声のピッチとの間に練習者音声のピッチが無い場合には一切評価しないという点である。
【００３１】
そして、図１０は、さらに別の算出方法を説明する図である。図１０に示す例であっても、楽譜音のピッチと模範音声のピッチとの間に練習者音声のピッチがある場合にはそれを高く評価する点で一致するが、異なるのは、楽譜音のピッチから模範音声のピッチに近づくに従って徐々に高く評価するという点である。
なお、図８〜図１０に示した例では、楽譜音のピッチよりも模範音声のピッチの方が高い場合で説明した。一方、これとは逆に、楽譜音のピッチよりも模範音声のピッチの方が低い場合もあり得るが、このような場合であっても上記と同様の考え方に従って評価すればよい。
【００３２】
次に、発音タイミングの評価方法について説明する。
例えば図１１に示すように、練習者音声の発音タイミングｔ２が、楽譜音の発音タイミングｔ１よりもΔｔaだけ早く、且つ、模範音声の発音タイミングｔ３よりもΔｔｂだけ遅い。つまり、発音タイミングの早い順から並べると、模範音声の発音タイミングｔ３，練習者音声の発音タイミングｔ２，楽譜音の発音タイミングｔ１という順序となる。ＣＰＵ１１は、これらの発音タイミングｔ１，ｔ２，ｔ３の時間的な前後関係と、差分Δｔa，Δｔｂの大小関係に基づき、練習者音声の評価点を算出する。その具体的な算出方法は、図８〜図１０で説明したものと同様なものを用いればよい。つまり、図８〜図１０においてその横軸を発音タイミング（伴奏開始からの経過時間）として、練習者音声の発音タイミング（横軸）に対応する評価点（縦軸）を求めればよい。
【００３３】
そして、ＣＰＵ１１は、上記のようにして対応箇所毎に求めた評価点を全て累算し、総合の評価点を算出する。そして、ＣＰＵ１１は、その評価点や各種メッセージを生成し、これらを表示部１５に表示する（ステップＳ９）。例えば練習者音声が模範音声と非常に近くて高い評価点を獲得したという傾向がある場合には、ＣＰＵ１１は、「あなたは歌手のように巧く歌えています。１００点満点です。」というメッセージを表示する。また、練習者音声が楽譜音と非常に近くて高い評価点を獲得したという傾向がある場合には、ＣＰＵ１１は、「あなたは楽譜どおりに歌えています。９０点です。今後は情感を込めて歌う練習をすると良いでしょう。」というメッセージを表示する。また、練習者音声が楽譜音と模範音声との中間程度に位置することである程度高い評価を獲得したという傾向にある場合には、ＣＰＵ１１は、「もう少し情感を込めて歌えばさらに良くなるでしょう。８５点です。」というメッセージを表示する。また、練習者音声が楽譜音と模範音声との間に位置しないことが多かったことで低い評価点しか得られなかった場合には、ＣＰＵ１１は、「まずは楽譜通りに歌う練習をしましょう。５０点です。」というメッセージを表示する。さらに、ＣＰＵ１１は、ステップＳ７において模範音声のスペクトルと練習者音声のスペクトルとの相違内容を特定しているから、その内容も考慮して評価結果を求めることもできる。例えば練習者音声の音質（スペクトル）が模範音声の音質（スペクトル）に非常に近い場合、ＣＰＵ１１は、「あなたはこの曲の歌手の声と似ています。７０点です。更に練習するともっと良くなるでしょう。」というメッセージを表示する。
【００３４】
このように本実施形態においては、カラオケ装置１は、楽譜に規定された内容と練習者の歌唱を比較する機械比較と、模範となる歌唱者の歌唱と練習者の歌唱とを比較する情感比較とを行い、これら双方の比較結果の関係から練習者の歌唱を評価する。よって、一定の評価基準に偏ることなく、練習者の歌唱を総合的に評価することが可能となる。さらに、練習者に対して評価結果を示すことで、その練習者の歌唱の稚拙に対して的確な指導を行うことが可能となる。
【００３５】
３．変形例
上述した実施形態を次のように変形してもよい。
（１）上述した実施形態においては、練習者の歌唱を評価する場合を例に挙げて説明したが、これに限らず、練習者の楽器演奏を評価するようにしてもよい。この場合、伴奏・歌詞データ記憶領域１４ａには、練習したい楽器（例えばギター）以外の楽器（例えばベースやドラム）の演奏データが記憶されており、模範音声データ記憶領域１４ｂには、模範となる模範演奏データが記憶されており、楽譜音データ記憶領域１４ｃには、楽譜に規定された楽譜音データが記憶されており、練習者音声データ記憶領域１４ｄには、練習者の演奏データが記憶される。ＣＰＵ１１は、これらのデータに基づき、上記と同様の処理を経て練習者の演奏を評価する。このように、本発明は歌唱や演奏を含み得るため、本発明における「発音」という用語には、人が歌唱するときに発せられる音声のほか、楽器を演奏することで発せられる演奏音も含むものとする。
【００３６】
（２）機械比較と情感比較とを用いた評価方法は、図８〜図１０に示した例に限定されない。例えば、図８〜図１０では機械比較の結果よりも情感比較の結果を過大に参酌していたが、これを逆にして機械比較の結果を過大に参酌してもよいし、両者を均等に参酌してもよい。例えば練習者があまり巧く歌唱できない時期には、まずは楽譜どおりに歌唱することが大事であるから機械比較の結果を過大に参酌し、歌唱が徐々に巧くなるに従って、情感比較の結果を参酌する度合いを大きくしてもよい。つまり、図８〜図１０に示したような模範音声及び楽譜音のピッチに対する近さと評価点との関係は、カラオケ装置１の使用者が操作部１６を操作することで適宜変更可能に構成することが望ましい。
また、例えば違う歌手が同じ楽曲を歌唱してもそれぞれ異なる情感が醸し出されることはよくある。そこで、それぞれの楽曲に対して模範音声をそれぞれ１つずつ用意するのではなく、複数の模範音声を用意しておいてもよい。そして、例えばある歌手の模範音声には近くなくても、別の歌手の模範音声に近い場合には、ＣＰＵ１１は高い評価点を算出し、さらに「あなたは歌手の××に似ています。８０点です。」といったメッセージを表示するとよい。
【００３７】
（３）実施形態では、模範音声と練習者音声との間で情感比較を行う際に、音声のピッチ、発音タイミング及びスペクトルを比較対象としていたが、さらに音声のパワーを比較するようにしてもよい。つまり、ＣＰＵ１１は、模範音声のパワーと練習者音声パワーとの差分や大小関係を両者の相違内容として特定し、その差分や大小関係に応じた評価結果を求めるようにしてもよい。
【００３８】
（４）ＣＰＵ１１が、過去の評価結果を記憶しておき、その評価結果をも考慮したメッセージを報知するようにしてもよい。例えば過去の評価では機械比較の結果が良好で情感比較の結果が芳しくなかったのに、その後、情感比較の結果が向上してきた場合には、ＣＰＵ１１が「情感を込めて歌うのが巧くなりましたね」などというようなメッセージを表示すると、練習者の練習の励みになる。このため、カラオケ装置１で歌唱を行う際には練習者に割り当てられたＩＤを入力するようにし、記憶部１４にはそのＩＤに対応付けてその練習者の過去の評価結果を記憶する。そして、ＣＰＵ１１は、練習者のＩＤに対応付けて記憶された過去の評価結果を参照しながら、最新の評価に関するメッセージを生成する。
【００３９】
（５）報知部１１６によって評価結果を報知する形態は、表示に限らず、音声メッセージを出力するような形態であってもよい。また、メッセージを電子メール形式で練習者のメール端末に送信するという形態であってもよい。また、メッセージを記憶媒体に出力して記憶させるようにしてもよく、この場合、練習者はコンピュータを用いてこの記憶媒体から評価結果を読み出させることで、それを参照することができる。要は、練習者に対して何らかの手段でメッセージ乃至情報を伝えられるように、評価結果を出力するものであればよい。
【００４０】
（６）実施形態では、ハードディスク等の記憶部１４に練習者音声データを記憶するようにしていたが、歌唱の評価を終えた後に練習者音声をすぐに破棄する場合には、練習者音声データをＲＡＭ１３に記憶するようにしてもよい。
【００４１】
（７）実施形態では、練習者音声データを記憶する際には歌詞を表示し、さらに伴奏データを再生しながら練習者に歌唱させる、所謂カラオケ歌唱を行うようにしていたが、これは必ずしも必要ではない。つまり、練習者が歌詞の表示や伴奏データの再生が無いままで歌唱し、それを録音して評価するようにしてもよい。歌唱能力が相当に高い練習者であっても、歌詞の表示や伴奏が無い状態でうまく歌唱することは容易ではないから、練習者の歌唱能力をより厳密に評価することが可能となる。
【００４２】
（８）実施形態では、ＣＰＵ１１が図４に示す処理を実行するたびに、模範音声データに対して基礎分析を行っていたが（ステップＳ４）、これに限らず、模範音声データに対して予め基礎分析を行った結果を記憶部１４に記憶しておいてもよいし、過去に一度でも基礎分析を行ったことがあれば、その結果を記憶部１４に記憶しておいてもよい。なお、模範音声データや練習者音声データはＷＡＶＥ形式やＭＰ３形式のデータとしたが、データの形式はこれに限定されるものではなく、音声を示すデータであればどのような形式のデータであってもよい。
【００４３】
（９）さらに、実施形態においては、模範音声データを記憶部１４に記憶させて、カラオケ装置１のＣＰＵ１１が記憶部１４から模範音声データを読み出すようにしたが、これに代えて、通信ネットワークを介して音声データを受信するようにしてもよい。
【００４４】
（１０）実施形態では、カラオケ装置１が、図２に示した機能の全てを実現するようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１を実現するようにしてもよい。例えば、マイクロフォンやスピーカ、表示装置及び入力装置等を備え、報知部１１６を実現するコンピュータ装置と、基礎分析部１１１、対応箇所検出部１１２，機械比較部１１３、情感比較部１１４及び総合評価部１１５を実現するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、コンピュータ装置が、マイクロフォンから入力された音声を音声データに変換してサーバ装置に送信し、サーバ装置が、受信した音声データと模範音声データ及び楽譜音データとの比較処理を行い、その比較に基づく評価結果をコンピュータ装置に送信するようにすればよい。
【００４５】
（１１）上述した実施形態における評価装置としてのカラオケ装置１のＣＰＵ１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フロッピー（登録商標）ディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４６】
【図１】カラオケ装置のハードウェア構成の一例を示すブロック図である。
【図２】カラオケ装置のソフトウェア構造の一例を示すブロック図である。
【図３】ＤＰマッチングによる時間軸の調整の一例を示す図である。
【図４】カラオケ装置のＣＰＵが行う処理の流れを示すフローチャートである。
【図５】練習者音声と楽譜音との相違内容の一例を示す図である。
【図６】練習者音声と模範音声との相違内容の一例を示す図である。
【図７】練習者音声のピッチ、楽譜音のピッチ及び模範音声のピッチの関係の一例を示す図である。
【図８】ＣＰＵによる評価方法を示す図である。
【図９】ＣＰＵによる評価方法を示す図である。
【図１０】ＣＰＵによる評価方法を示す図である。
【図１１】練習者音声の発音タイミング、楽譜音の発音タイミング及び模範音声の発音タイミングの関係の一例を示す図である。
【符号の説明】
【００４７】
１…カラオケ装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１５……表示部、１６…操作部、１７…マイクロフォン、１８…音声処理部、１９…スピーカ、１１１…基礎分析部、１１２…対応箇所検出部、１１３…機械比較部、１１４…情感比較部、１１５…総合評価部、１１６…報知部。
【技術分野】
【０００１】
本発明は歌唱や演奏を評価する技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者の歌唱の巧拙を評価するための方法が種々提案されている。その評価方法の１つに、楽譜の音符と歌唱者の歌唱音とを比較し、両者の音程やタイミングがどの程度一致しているかということを基準として歌唱を評価するものがある（例えば特許文献１，２参照）。また、模範となるような歌唱者の歌唱音と、練習者の歌唱音とを比較し、両者の一致度を基準として練習者の歌唱を評価する方法も提案されている（例えば特許文献３参照）。
【０００３】
ところで、歌手のように熟練した歌唱者は、楽譜の内容に沿って機械的に歌を歌うことはほとんどなく、その多くが、歌い始めや歌い終わりを意図的にずらしたり、ビブラートやこぶし等の歌唱技法を用いたりして、歌のなかに感情の盛り上がり（情感）を表現する。カラオケ装置で歌唱を練習する者のなかには、このような意図的なタイミングのずれや歌唱技法を真似て歌いたいという要望を持つ者が少なくない。前述した特許文献１，２に記載された評価方法ではこのような要望に応えることができないが、特許文献３に記載された評価方法によれば、歌唱に現れる情感を評価の基準とすることができる。
【特許文献１】特開昭６２−０４０４８８号公報
【特許文献２】特許第２８９０６５９号公報
【特許文献３】特公平０６−００７２９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献３に記載された評価方法では、模範となる歌唱をそっくり真似て、その歌唱者に特有の癖や特徴までをも忠実に再現しなければ、高い評価を得ることができない。模範となる歌唱がどのような練習者にとっても常に良いというわけでもないから、これをいたずらに真似するばかりでは練習者の歌唱技術が向上しない場合も考えられる。
このような問題は、歌唱を練習する場合に限らず、模範演奏を真似て楽器の演奏を練習する場合であっても同様に発生する。
【０００５】
本発明は上述した背景に鑑みてなされたものであり、その目的は、一定の評価基準に偏ることなく、練習者の歌唱や演奏を総合的に評価することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、楽譜によって規定された音を表す楽譜音データを記憶する第１の記憶手段と、模範となる音を表す模範音データを記憶する第２の記憶手段と、収音手段によって収音された音を表す音データを練習者音データとして記憶する第３の記憶手段と、前記第１の記憶手段によって記憶されている楽譜音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第１の比較手段と、前記第２の記憶手段によって記憶されている模範音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第２の比較手段と、前記第１の比較手段によって特定された相違内容と前記第２の比較手段によって特定された相違内容との関係から、前記練習者音データに対する評価結果を求める評価手段と、前記評価手段によって求められた評価結果を出力する出力手段とを備えることを特徴とする評価装置を提供する。
【０００７】
この評価装置によれば、楽譜音データと練習者音データとの相違内容と、模範音データと練習者音データとの相違内容との関係から練習者音データに対する評価結果を求める。よって、例えば楽譜音データと練習者音データとの相違内容だけを評価基準にするとか、模範音データと練習者音データとの相違内容だけを評価基準にする、といったように一定の評価基準に偏ることなく、練習者の歌唱や演奏を総合的に評価することができる。
【０００８】
また、本発明は、楽譜によって規定された音を表す楽譜音データを記憶する第１の記憶手段と、模範となる音を表す模範音データを記憶する第２の記憶手段と、収音手段によって収音された音を表す音データを練習者音データとして記憶する第３の記憶手段と、制御手段とを備えた評価装置の制御方法であって、前記制御手段が、前記第１の記憶手段によって記憶されている楽譜音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第１のステップと、前記制御手段が、前記第２の記憶手段によって記憶されている模範音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第２のステップと、前記制御手段が、前記第１のステップにおいて特定された相違内容と前記第２のステップにおいて特定された相違内容との関係から、前記練習者音データに対する評価結果を求める第３のステップと、前記制御手段が、前記第３のステップにおいて求められた評価結果を出力する第４のステップとを備えることを特徴とする制御方法を提供する。
【０００９】
この制御方法によれば、楽譜音データと練習者音データとの相違内容と、模範音データと練習者音データとの相違内容との関係から練習者音データに対する評価結果を求める。よって、一定の評価基準に偏ることなく、練習者の歌唱や演奏を総合的に評価することができる。
【００１０】
さらに、本発明は、コンピュータに対して機能を実現させるプログラムとしての形態も採り得る。なお、本発明において「発音」という用語には、人が歌唱するときに発せられる音声のほか、楽器を演奏することで発せられる演奏音も含むものとする。
【発明の効果】
【００１１】
本発明によれば、一定の評価基準に偏ることなく、練習者の歌唱や演奏を総合的に評価することができる。
【発明を実施するための最良の形態】
【００１２】
次に、本発明を実施するための最良の形態を説明する。
１．構成
図１は、この発明の一実施形態に係る評価装置としてのカラオケ装置１のハードウェア構成を示したブロック図である。ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２又は記憶部１４に記憶されているコンピュータプログラムを読み出してＲＡＭ（Random Access Memory）１３にロードし、これを実行することにより、カラオケ装置１の各部を制御する。記憶部１４は、例えばハードディスクなどの大容量の記憶手段であり、後述する「機械比較」の結果と「情感比較」の結果との関係から練習者の歌唱を評価するための評価アルゴリズムを記憶している。また、この記憶部１４には、伴奏・歌詞データ記憶領域１４ａと、模範音声データ記憶領域１４ｂと、楽譜音データ記憶領域１４ｃと、練習者音声データ記憶領域１４ｄという４つの記憶領域が設けられている。
【００１３】
表示部１５は、例えば液晶ディスプレイなどであり、ＣＰＵ１１の制御の下で、カラオケ装置１を操作するためのメニュー画面や、背景画像に歌詞テロップを重ねたカラオケ画面などの各種画面を表示する。操作部１６は、各種のキーを備えており、押下されたキーに対応した信号をＣＰＵ１１へ出力する。マイクロフォン１７は、歌唱者が発音した音声を収音する収音手段である。音声処理部１８は、マイクロフォン１７によって収音された音声（アナログデータ）をデジタルデータに変換してＣＰＵ１１に出力する。スピーカ１９は、音声処理部１８に接続されており、音声処理部１８から出力される音声を放音する。
【００１４】
次に、記憶部１４に記憶されるデータの内容について説明する。
伴奏・歌詞データ記憶領域１４ａには、楽曲の伴奏を行う各種楽器の演奏音が楽曲の進行に伴って記された伴奏データと、楽曲の歌詞を示す歌詞データとが対応付けられて記憶されている。伴奏データは、例えばＭＩＤＩ（Musical Instruments Digital Interface）形
式などのデータ形式であり、練習者がカラオケ歌唱する際に再生される。歌詞データは、そのカラオケ歌唱の際に歌詞テロップとして表示部１５に表示される。模範音声データ記憶領域１４ｂには、模範となる歌唱者が楽曲を歌唱した際の音声（以下、模範音声という）を表す音声データ（以下、模範音声データ）が記憶されている。この模範音声データは、例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式などのデータ形式で記憶されている。
【００１５】
楽譜音データ記憶領域１４ｃには、楽曲の楽譜によって規定された歌唱音を表す楽譜音データが記憶されている。この楽譜音データは、例えばＭＩＤＩ形式などのデータ形式であり、歌唱音のピッチとその発音タイミングとを含んでいる。練習者音声データ記憶領域１４ｄには、マイクロフォン１７から音声処理部を経てＡ／Ｄ変換された音声データが、例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式で時系列に記憶される。この音声データは、練習者の音声を表すものであるから、以下では、練習者音声データという。なお、以下の説明においては、説明の便宜上、「模範音声データ」と「練習者音声データ」とを各々区別する必要がない場合には、これらを「音声データ」と総称する。
【００１６】
次に、図２に示すブロック図を参照しながら、カラオケ装置１のソフトウェア構成について説明する。図２に示した基礎分析部１１１、対応箇所検出部１１２、機械比較部１１３、情感比較部１１４、総合評価部１１５及び報知部１１６は、ＣＰＵ１１がＲＯＭ１２又は記憶部１４に記憶されたコンピュータプログラムを実行することによって実現される。なお、図中の矢印は、データの流れを概略的に示したものである。
図２において、基礎分析部１１１は、模範音声データ記憶領域１４ｂから読み出された模範音声データと、練習者音声データ記憶領域１４ｄから読み出された練習者音声データとを、それぞれ所定時間長のフレーム単位に分離し、これらフレーム単位で各音声データのピッチ及びスペクトルを検出する。スペクトルの検出にはＦＦＴ（Fast Fourier Transform）を用いればよい。基礎分析部１１１によって検出された各音声データのピッチは機械比較部１１３に出力されるとともに、情感比較部１１４にも出力される。また、基礎分析部１１１によって検出された各音声データのスペクトルは情感比較部１１４に出力されると共に、対応箇所検出部１１２に出力される。
【００１７】
対応箇所検出部１１２は、模範音声のスペクトルと練習者音声のスペクトルに基づいて、両者の対応関係を求める。具体的には以下のようにして求める。
模範音声と練習者音声とは時間的に前後にずれている可能性がある。例えば図３（ａ）は、「すぎさりしひ・・・」という歌詞を練習者が歌唱した際の発音タイミングが、模範となる歌唱者の発音タイミングよりも遅れている例を示している。対応箇所検出部１１２は、このように模範音声と練習者音声とが時間的に前後にずれている場合であっても、両者を対応付けられるようにするため、練習者音声データと模範音声データのいずれか一方の時間軸を伸縮させる時間正規化（ＤＴＷ；Dynamic Time Warping）を行い、両者の時間軸を合わせる。このＤＴＷを行うための手法としては、ＤＰ（Dynamic Programming：動的計画法）マッチングがあるので、これを用いればよい。これにより、例えば図３（ａ）に示すように、練習者音声の発音タイミングが模範音声の発音タイミングよりも遅れていたとしても、図３（ｂ）に示すように、合わせられた時間軸上の位置を同じくする音どうしを対応付けることができる。このようにして対応箇所検出部１１２によって検出された対応箇所は、情感比較部１１４に出力される。
【００１８】
機械比較部１１３は、楽譜音データと練習者音声データとを比較し、両者の相違内容を特定する。この比較は、練習者が楽譜に規定された内容どおりに歌唱することができているかどうかを判定する意味合いがあるから、「機械比較」と称する。より具体的には、機械比較部１１３は、ピッチ比較部１１３ａとタイミング比較部１１３ｂを備えている。ピッチ比較部１１３ａは、楽譜音データが表すピッチと、基礎分析部１１１から出力されてくる練習者音声のピッチとを比較して両者の相違内容を特定する。例えば、一方の音声のピッチが他方の音声のピッチよりもどの程度高いか低いかなど、両者の差分とその高低関係を特定する。タイミング比較部１１３ｂは、楽譜音データが表す発音タイミングと、基礎分析部１１１から出力されてくる練習者音声のピッチが切り替わったタイミング（つまり練習者の発音タイミング）とを比較して両者の相違内容を特定する。例えば、一方の音声の発音タイミングが他方の音声の発音タイミングよりもどの程度早いか遅いかなど、両者の差分とその時間的な前後関係を特定する。
【００１９】
情感比較部１１４は、対応箇所検出部１１２によって検出される対応箇所を参照しながら、模範音声データと練習者音声データとの間で対応する音声データどうしを比較し、両者の相違内容を特定する。この比較は、練習者が模範となる歌唱者のように情感を込めて歌唱することができているかどうかを判定する意味合いがあるから、「情感比較」と称する。より具体的には、情感比較部１１４は、スペクトル比較部１１４ａと、ピッチ比較部１１４ｂと、タイミング比較部１１４ｃとを備えている。スペクトル比較部１１４ａは、模範音声データと練習者音声データとの間で、それぞれ対応する箇所の音声のスペクトルを比較して両者の相違内容を特定する。例えば両者のスペクトルの差分を算出して、その差分が予め決められた閾値よりも小さいか大きいかを特定する。ピッチ比較部１１４ｂは、模範音声データと練習者音声データとの間で、それぞれ対応する箇所のピッチを比較して両者の相違内容を特定する。例えば、一方の音声のピッチが他方の音声のピッチよりもどの程度高いか低いかなど、両者の差分とその高低関係を特定する。タイミング比較部１１４ｃは、模範音声データと練習者音声データとの間で、それぞれ対応する箇所の発音タイミングを比較して両者の相違内容を特定する。例えば、一方の音声の発音タイミングが他方の音声の発音タイミングよりどの程度早いか遅いかなど、両者の差分とその時間的な前後関係を特定する。
【００２０】
総合評価部１１５は、機械比較部１１３による比較結果と、情感比較部１１４による比較結果との関係から、練習者の歌唱の稚拙を総合的に評価する。報知部１１６は、その評価結果を表す評価点や各種メッセージを生成し、これらを表示部１５に表示することで練習者に報知する。
【００２１】
２．動作
次に、図４に示すフローチャートを参照しつつ、カラオケ装置１の動作を説明する。
練習者は、カラオケ装置１の操作部１６を操作して歌唱したい曲を選定し、再生を指示する。ＣＰＵ１１は、この指示に応じて図４に示す処理を開始する。ＣＰＵ１１は、まず、指定された曲の伴奏データ及び歌詞データを伴奏・歌詞データ記憶領域１４ａから読み出し、伴奏データを音声処理部１８に出力する（ステップＳ１）。音声処理部１８は、出力されてくる伴奏データをアナログ信号に変換してスピーカ１９に出力して放音させる。さらに、ＣＰＵ１１は表示部１５を制御して、歌詞データが表す歌詞を表示部１５に表示するとともに、「伴奏に合わせて歌唱してください」というような歌唱を促すメッセージを表示する。
【００２２】
練習者は、表示された歌詞を参照しつつ、スピーカ１９から放音される伴奏に合わせて歌唱を行う。このとき、練習者の音声はマイクロフォン１７によって収音されて音声信号に変換され、音声処理部１８へと出力される。そして、音声処理部１８によってＡ／Ｄ変換された練習者音声データは、演奏開始から発音タイミングまでの経過時間を表す情報と共に、記憶部１４の練習者音声データ記憶領域１４ｄに記憶されていく（ステップＳ２）。
【００２３】
伴奏データの再生が終了すると（ステップＳ３；ＹＥＳ）、ＣＰＵ１１は、練習者音声データ記憶領域１４ｄに記憶された練習者音声データと、模範音声データ記憶領域１４ｂに予め記憶されている模範音声データに対して、上述した基礎分析部１１１の処理を行う（ステップＳ４）。つまり、ＣＰＵ１１は、それぞれの音声データを所定時間長のフレーム単位に分離し、これらフレーム毎にピッチ及びスペクトルを検出する。
【００２４】
次に、ＣＰＵ１１は、前述した対応箇所検出部１１２の処理、つまりＤＰマッチングによって練習者音声データの時間軸と模範音声データの時間軸とを合わせ、その時間軸上の位置を同じくする音どうしを対応付ける（ステップＳ５）。
【００２５】
次に、ＣＰＵ１１は、前述した機械比較部１１３の処理を行う（ステップＳ６）。これにより、ＣＰＵ１１は、楽譜音データと練習者音声データとの間で、ピッチや発音タイミングがどの程度相違しているかということを特定することができる。例えば図５（ａ）に示すように、「す」という音声については楽譜音のピッチｐ１よりも練習者音声のピッチｐ２の方がΔｐaだけ高いとか、図５（ｂ）に示すように、楽譜音の発音タイミングｔ１よりも練習者音声の発音タイミングｔ２の方がΔｔａだけ早い、といった具合に両者の相違内容を特定する。ＣＰＵ１１は、このような相違内容を、楽譜音及び練習者音声の対応箇所の全てについて特定する。
【００２６】
続けて、ＣＰＵ１１は、前述した情感比較部１１４の処理を行う（ステップＳ７）。これにより、ＣＰＵ１１は、模範音声データと練習者音声データとの間で、ピッチ、発音タイミング及びスペクトルがどの程度相違しているかということを把握することができる。例えば図６（ａ）に示すように、「す」という音声については、模範音声のピッチｐ３よりも練習者音声のピッチｐ２の方がΔｐｂだけ高いとか、図６（ｂ）に示すように、模範音声の発音タイミングｔ３よりも練習者音声の発音タイミングｔ２の方がΔｔｂだけ遅いとか、図６（ｃ）に示すように、模範音声のスペクトルと練習者音声のスペクトルが類似している（フォルマントｆ１，ｆ２の周波数帯域が一致している）、といった具合である。ＣＰＵ１１は、上記のような相違内容を、楽譜音及び練習者音声の対応箇所の全てについて特定する。
【００２７】
次に、ＣＰＵ１１は、ステップＳ６において特定された相違内容と、ステップＳ７において特定された相違内容とに基づき、記憶部１４に記憶されている評価アルゴリズムに従って練習者の歌唱を総合的に評価する（ステップＳ８）。
【００２８】
ここで、具体的な評価方法について説明する。
例えば図７に示すように、練習者音声のピッチｐ２が、楽譜音のピッチｐ１よりもΔｐaだけ高く、且つ、模範音声のピッチｐ３よりもΔｐｂだけ高い（Δｐｂ＜Δｐa）場合を想定する。つまり、ピッチの低い順から並べると、楽譜音のピッチｐ１，模範音声のピッチｐ３，練習者音声のピッチｐ２という順序となる。ＣＰＵ１１は、これらのピッチｐ１，ｐ２，ｐ３の高低関係と、差分Δｐａ，Δｐｂの大小関係に基づき、練習者音声の評価点を算出する。
【００２９】
図８は、ピッチの評価点を算出する方法の一例を説明する図であり、模範音声及び楽譜音のピッチに対する近さと評価点との関係を示している。図８に示すように、練習者音声のピッチが模範音声のピッチと楽譜音のピッチとの間にある場合には高い評価点を獲得でき、さらに、模範音声に近づけば近づくほど高い評価点となり、また、楽譜音に近づけば近づくほど高い評価点となる。ただし、楽譜音に近づくよりも、模範音声に近づくほうがより高い評価点となる。つまり、機械比較の結果と情感比較の結果のうち、情感比較の結果を過大に参酌している。このような評価体系は、楽譜音のピッチと模範音声のピッチとの間に練習者音声のピッチがある場合にはそれを高く評価すべきであるし、また、楽譜音よりも模範音声のほうが巧い歌唱であるから、模範音声に近いピッチをより高く評価する、という考え方によるものである。
【００３０】
また、図９は、別の評価点算出方法を説明する図である。図９に示す例であっても、楽譜音のピッチと模範音声のピッチとの間に練習者音声のピッチがある場合にはそれを高く評価する点で一致するが、異なるのは、模範音声のピッチから所定範囲にあるピッチのみを最も高く評価するという点と、楽譜音のピッチと模範音声のピッチとの間に練習者音声のピッチが無い場合には一切評価しないという点である。
【００３１】
そして、図１０は、さらに別の算出方法を説明する図である。図１０に示す例であっても、楽譜音のピッチと模範音声のピッチとの間に練習者音声のピッチがある場合にはそれを高く評価する点で一致するが、異なるのは、楽譜音のピッチから模範音声のピッチに近づくに従って徐々に高く評価するという点である。
なお、図８〜図１０に示した例では、楽譜音のピッチよりも模範音声のピッチの方が高い場合で説明した。一方、これとは逆に、楽譜音のピッチよりも模範音声のピッチの方が低い場合もあり得るが、このような場合であっても上記と同様の考え方に従って評価すればよい。
【００３２】
次に、発音タイミングの評価方法について説明する。
例えば図１１に示すように、練習者音声の発音タイミングｔ２が、楽譜音の発音タイミングｔ１よりもΔｔaだけ早く、且つ、模範音声の発音タイミングｔ３よりもΔｔｂだけ遅い。つまり、発音タイミングの早い順から並べると、模範音声の発音タイミングｔ３，練習者音声の発音タイミングｔ２，楽譜音の発音タイミングｔ１という順序となる。ＣＰＵ１１は、これらの発音タイミングｔ１，ｔ２，ｔ３の時間的な前後関係と、差分Δｔa，Δｔｂの大小関係に基づき、練習者音声の評価点を算出する。その具体的な算出方法は、図８〜図１０で説明したものと同様なものを用いればよい。つまり、図８〜図１０においてその横軸を発音タイミング（伴奏開始からの経過時間）として、練習者音声の発音タイミング（横軸）に対応する評価点（縦軸）を求めればよい。
【００３３】
そして、ＣＰＵ１１は、上記のようにして対応箇所毎に求めた評価点を全て累算し、総合の評価点を算出する。そして、ＣＰＵ１１は、その評価点や各種メッセージを生成し、これらを表示部１５に表示する（ステップＳ９）。例えば練習者音声が模範音声と非常に近くて高い評価点を獲得したという傾向がある場合には、ＣＰＵ１１は、「あなたは歌手のように巧く歌えています。１００点満点です。」というメッセージを表示する。また、練習者音声が楽譜音と非常に近くて高い評価点を獲得したという傾向がある場合には、ＣＰＵ１１は、「あなたは楽譜どおりに歌えています。９０点です。今後は情感を込めて歌う練習をすると良いでしょう。」というメッセージを表示する。また、練習者音声が楽譜音と模範音声との中間程度に位置することである程度高い評価を獲得したという傾向にある場合には、ＣＰＵ１１は、「もう少し情感を込めて歌えばさらに良くなるでしょう。８５点です。」というメッセージを表示する。また、練習者音声が楽譜音と模範音声との間に位置しないことが多かったことで低い評価点しか得られなかった場合には、ＣＰＵ１１は、「まずは楽譜通りに歌う練習をしましょう。５０点です。」というメッセージを表示する。さらに、ＣＰＵ１１は、ステップＳ７において模範音声のスペクトルと練習者音声のスペクトルとの相違内容を特定しているから、その内容も考慮して評価結果を求めることもできる。例えば練習者音声の音質（スペクトル）が模範音声の音質（スペクトル）に非常に近い場合、ＣＰＵ１１は、「あなたはこの曲の歌手の声と似ています。７０点です。更に練習するともっと良くなるでしょう。」というメッセージを表示する。
【００３４】
このように本実施形態においては、カラオケ装置１は、楽譜に規定された内容と練習者の歌唱を比較する機械比較と、模範となる歌唱者の歌唱と練習者の歌唱とを比較する情感比較とを行い、これら双方の比較結果の関係から練習者の歌唱を評価する。よって、一定の評価基準に偏ることなく、練習者の歌唱を総合的に評価することが可能となる。さらに、練習者に対して評価結果を示すことで、その練習者の歌唱の稚拙に対して的確な指導を行うことが可能となる。
【００３５】
３．変形例
上述した実施形態を次のように変形してもよい。
（１）上述した実施形態においては、練習者の歌唱を評価する場合を例に挙げて説明したが、これに限らず、練習者の楽器演奏を評価するようにしてもよい。この場合、伴奏・歌詞データ記憶領域１４ａには、練習したい楽器（例えばギター）以外の楽器（例えばベースやドラム）の演奏データが記憶されており、模範音声データ記憶領域１４ｂには、模範となる模範演奏データが記憶されており、楽譜音データ記憶領域１４ｃには、楽譜に規定された楽譜音データが記憶されており、練習者音声データ記憶領域１４ｄには、練習者の演奏データが記憶される。ＣＰＵ１１は、これらのデータに基づき、上記と同様の処理を経て練習者の演奏を評価する。このように、本発明は歌唱や演奏を含み得るため、本発明における「発音」という用語には、人が歌唱するときに発せられる音声のほか、楽器を演奏することで発せられる演奏音も含むものとする。
【００３６】
（２）機械比較と情感比較とを用いた評価方法は、図８〜図１０に示した例に限定されない。例えば、図８〜図１０では機械比較の結果よりも情感比較の結果を過大に参酌していたが、これを逆にして機械比較の結果を過大に参酌してもよいし、両者を均等に参酌してもよい。例えば練習者があまり巧く歌唱できない時期には、まずは楽譜どおりに歌唱することが大事であるから機械比較の結果を過大に参酌し、歌唱が徐々に巧くなるに従って、情感比較の結果を参酌する度合いを大きくしてもよい。つまり、図８〜図１０に示したような模範音声及び楽譜音のピッチに対する近さと評価点との関係は、カラオケ装置１の使用者が操作部１６を操作することで適宜変更可能に構成することが望ましい。
また、例えば違う歌手が同じ楽曲を歌唱してもそれぞれ異なる情感が醸し出されることはよくある。そこで、それぞれの楽曲に対して模範音声をそれぞれ１つずつ用意するのではなく、複数の模範音声を用意しておいてもよい。そして、例えばある歌手の模範音声には近くなくても、別の歌手の模範音声に近い場合には、ＣＰＵ１１は高い評価点を算出し、さらに「あなたは歌手の××に似ています。８０点です。」といったメッセージを表示するとよい。
【００３７】
（３）実施形態では、模範音声と練習者音声との間で情感比較を行う際に、音声のピッチ、発音タイミング及びスペクトルを比較対象としていたが、さらに音声のパワーを比較するようにしてもよい。つまり、ＣＰＵ１１は、模範音声のパワーと練習者音声パワーとの差分や大小関係を両者の相違内容として特定し、その差分や大小関係に応じた評価結果を求めるようにしてもよい。
【００３８】
（４）ＣＰＵ１１が、過去の評価結果を記憶しておき、その評価結果をも考慮したメッセージを報知するようにしてもよい。例えば過去の評価では機械比較の結果が良好で情感比較の結果が芳しくなかったのに、その後、情感比較の結果が向上してきた場合には、ＣＰＵ１１が「情感を込めて歌うのが巧くなりましたね」などというようなメッセージを表示すると、練習者の練習の励みになる。このため、カラオケ装置１で歌唱を行う際には練習者に割り当てられたＩＤを入力するようにし、記憶部１４にはそのＩＤに対応付けてその練習者の過去の評価結果を記憶する。そして、ＣＰＵ１１は、練習者のＩＤに対応付けて記憶された過去の評価結果を参照しながら、最新の評価に関するメッセージを生成する。
【００３９】
（５）報知部１１６によって評価結果を報知する形態は、表示に限らず、音声メッセージを出力するような形態であってもよい。また、メッセージを電子メール形式で練習者のメール端末に送信するという形態であってもよい。また、メッセージを記憶媒体に出力して記憶させるようにしてもよく、この場合、練習者はコンピュータを用いてこの記憶媒体から評価結果を読み出させることで、それを参照することができる。要は、練習者に対して何らかの手段でメッセージ乃至情報を伝えられるように、評価結果を出力するものであればよい。
【００４０】
（６）実施形態では、ハードディスク等の記憶部１４に練習者音声データを記憶するようにしていたが、歌唱の評価を終えた後に練習者音声をすぐに破棄する場合には、練習者音声データをＲＡＭ１３に記憶するようにしてもよい。
【００４１】
（７）実施形態では、練習者音声データを記憶する際には歌詞を表示し、さらに伴奏データを再生しながら練習者に歌唱させる、所謂カラオケ歌唱を行うようにしていたが、これは必ずしも必要ではない。つまり、練習者が歌詞の表示や伴奏データの再生が無いままで歌唱し、それを録音して評価するようにしてもよい。歌唱能力が相当に高い練習者であっても、歌詞の表示や伴奏が無い状態でうまく歌唱することは容易ではないから、練習者の歌唱能力をより厳密に評価することが可能となる。
【００４２】
（８）実施形態では、ＣＰＵ１１が図４に示す処理を実行するたびに、模範音声データに対して基礎分析を行っていたが（ステップＳ４）、これに限らず、模範音声データに対して予め基礎分析を行った結果を記憶部１４に記憶しておいてもよいし、過去に一度でも基礎分析を行ったことがあれば、その結果を記憶部１４に記憶しておいてもよい。なお、模範音声データや練習者音声データはＷＡＶＥ形式やＭＰ３形式のデータとしたが、データの形式はこれに限定されるものではなく、音声を示すデータであればどのような形式のデータであってもよい。
【００４３】
（９）さらに、実施形態においては、模範音声データを記憶部１４に記憶させて、カラオケ装置１のＣＰＵ１１が記憶部１４から模範音声データを読み出すようにしたが、これに代えて、通信ネットワークを介して音声データを受信するようにしてもよい。
【００４４】
（１０）実施形態では、カラオケ装置１が、図２に示した機能の全てを実現するようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１を実現するようにしてもよい。例えば、マイクロフォンやスピーカ、表示装置及び入力装置等を備え、報知部１１６を実現するコンピュータ装置と、基礎分析部１１１、対応箇所検出部１１２，機械比較部１１３、情感比較部１１４及び総合評価部１１５を実現するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、コンピュータ装置が、マイクロフォンから入力された音声を音声データに変換してサーバ装置に送信し、サーバ装置が、受信した音声データと模範音声データ及び楽譜音データとの比較処理を行い、その比較に基づく評価結果をコンピュータ装置に送信するようにすればよい。
【００４５】
（１１）上述した実施形態における評価装置としてのカラオケ装置１のＣＰＵ１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フロッピー（登録商標）ディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４６】
【図１】カラオケ装置のハードウェア構成の一例を示すブロック図である。
【図２】カラオケ装置のソフトウェア構造の一例を示すブロック図である。
【図３】ＤＰマッチングによる時間軸の調整の一例を示す図である。
【図４】カラオケ装置のＣＰＵが行う処理の流れを示すフローチャートである。
【図５】練習者音声と楽譜音との相違内容の一例を示す図である。
【図６】練習者音声と模範音声との相違内容の一例を示す図である。
【図７】練習者音声のピッチ、楽譜音のピッチ及び模範音声のピッチの関係の一例を示す図である。
【図８】ＣＰＵによる評価方法を示す図である。
【図９】ＣＰＵによる評価方法を示す図である。
【図１０】ＣＰＵによる評価方法を示す図である。
【図１１】練習者音声の発音タイミング、楽譜音の発音タイミング及び模範音声の発音タイミングの関係の一例を示す図である。
【符号の説明】
【００４７】
１…カラオケ装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１５……表示部、１６…操作部、１７…マイクロフォン、１８…音声処理部、１９…スピーカ、１１１…基礎分析部、１１２…対応箇所検出部、１１３…機械比較部、１１４…情感比較部、１１５…総合評価部、１１６…報知部。
【特許請求の範囲】
【請求項１】
楽譜によって規定された音を表す楽譜音データを記憶する第１の記憶手段と、
模範となる音を表す模範音データを記憶する第２の記憶手段と、
収音手段によって収音された音を表す音データを練習者音データとして記憶する第３の記憶手段と、
前記第１の記憶手段によって記憶されている楽譜音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第１の比較手段と、
前記第２の記憶手段によって記憶されている模範音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第２の比較手段と、
前記第１の比較手段によって特定された相違内容と前記第２の比較手段によって特定された相違内容との関係から、前記練習者音データに対する評価結果を求める評価手段と、
前記評価手段によって求められた評価結果を出力する出力手段と
を備えることを特徴とする評価装置。
【請求項２】
前記出力手段は、前記練習者に前記評価結果を報知することを特徴とする請求項１記載の評価装置。
【請求項３】
前記第１の比較手段は、前記楽譜音データが表す音のピッチと前記練習者音データが表す音のピッチとの差分を両者の相違内容として特定し、
前記第２の比較手段は、前記模範音データが表す音のピッチと前記練習者音データが表す音のピッチとの差分を両者の相違内容として特定し、
前記評価手段は、前記第１の比較手段によって特定された差分と前記第２の比較手段によって特定された差分との大小関係から、前記練習者音データに対する評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項４】
前記第１の比較手段は、前記楽譜音データが表す音のピッチと前記練習者音データが表す音のピッチとの高低関係を両者の相違内容として特定し、
前記第２の比較手段は、前記模範音データが表す音のピッチと前記練習者音データが表す音のピッチとの高低関係を両者の相違内容として特定し、
前記評価手段は、前記第１の比較手段によって特定された高低関係及び前記第２の比較手段によって特定された高低関係に基づき、前記楽譜音データが表す音のピッチ、前記練習者音データが表す音のピッチ及び前記模範音データが表す音のピッチのそれぞれの高低関係を特定し、特定した高低関係から前記練習者音データに対する評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項５】
前記評価手段は、前記練習者音データが表す音のピッチが、前記楽譜音データが表す音のピッチと前記模範音データが表す音のピッチとの間にある場合には、高い評価結果を求めることを特徴とする請求項４記載の評価装置。
【請求項６】
前記第１の比較手段は、前記楽譜音データが表す音の発音タイミングと前記練習者音データが表す音の発音タイミングとの差分を両者の相違内容として特定し、
前記第２の比較手段は、前記模範音データが表す音の発音タイミングと前記練習者音データが表す音の発音タイミングとの差分を両者の相違内容として特定し、
前記評価手段は、前記第１の比較手段によって算出された差分と前記第２の比較手段によって算出された差分との大小関係から、前記練習者音データに対する評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項７】
前記第１の比較手段は、前記楽譜音データが表す音の発音タイミングと前記練習者音データが表す音の発音タイミングとの時間的な前後関係を両者の相違内容として特定し、
前記第２の比較手段は、前記模範音データが表す音の発音タイミングと前記練習者音データが表す音の発音タイミングとの時間的な前後関係を両者の相違内容として特定し、
前記評価手段は、前記第１の比較手段によって特定された前後関係及び前記第２の比較手段によって特定された前後に基づき、前記楽譜音データが表す音の発音タイミング、前記練習者音データが表す音の発音タイミング及び前記模範音データが表す音の発音タイミングの時間的な前後関係を特定し、特定した前後関係から前記練習者音データに対する評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項８】
前記評価手段は、前記練習者音データが表す音の発音タイミングが、前記楽譜音データが表す音の発音タイミングと前記模範音データが表す音の発音タイミングとの間にある場合には、高い評価結果を求めることを特徴とする請求項７記載の評価装置。
【請求項９】
前記第２の比較手段は、前記模範音データが表す音のパワーと前記練習者音データが表す音のパワーとの差分又は大小関係を両者の相違内容として特定し、
前記評価手段は、前記第２の比較手段によって特定された差分又は大小関係に応じた前記評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項１０】
前記第２の比較手段は、前記模範音データが表す音のスペクトルと前記練習者音データが表す音のスペクトルとの差分を両者の相違内容として特定し、
前記評価手段は、前記第２の比較手段によって特定された差分に応じた前記評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項１１】
前記評価手段は、前記第１の比較手段によって特定された相違内容と前記第２の比較手段によって特定された相違内容とのうち、いずれか一方を他方よりも過大に参酌して前記評価結果を求めることを特徴する請求項１記載の評価装置。
【請求項１２】
楽譜によって規定された音を表す楽譜音データを記憶する第１の記憶手段と、模範となる音を表す模範音データを記憶する第２の記憶手段と、収音手段によって収音された音を表す音データを練習者音データとして記憶する第３の記憶手段と、制御手段とを備えた評価装置の制御方法であって、
前記制御手段が、前記第１の記憶手段によって記憶されている楽譜音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第１のステップと、
前記制御手段が、前記第２の記憶手段によって記憶されている模範音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第２のステップと、
前記制御手段が、前記第１のステップにおいて特定された相違内容と前記第２のステップにおいて特定された相違内容との関係から、前記練習者音データに対する評価結果を求める第３のステップと、
前記制御手段が、前記第３のステップにおいて求められた評価結果を出力する第４のステップと
を備えることを特徴とする制御方法。
【請求項１３】
楽譜によって規定された音を表す楽譜音データを記憶する第１の記憶手段と、模範となる音を表す模範音データを記憶する第２の記憶手段と、収音手段によって収音された音を表す音データを練習者音データとして記憶する第３の記憶手段とを備えたコンピュータに、
前記第１の記憶手段によって記憶されている楽譜音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第１の比較機能と、
前記第２の記憶手段によって記憶されている模範音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第２の比較機能と、
前記第１の比較機能によって特定された相違内容と前記第２の比較機能によって特定された相違内容との関係から、前記練習者音データに対する評価結果を求める評価機能と、
前記評価機能によって求められた評価結果を出力する出力機能と
を実現させるプログラム。
【請求項１】
楽譜によって規定された音を表す楽譜音データを記憶する第１の記憶手段と、
模範となる音を表す模範音データを記憶する第２の記憶手段と、
収音手段によって収音された音を表す音データを練習者音データとして記憶する第３の記憶手段と、
前記第１の記憶手段によって記憶されている楽譜音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第１の比較手段と、
前記第２の記憶手段によって記憶されている模範音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第２の比較手段と、
前記第１の比較手段によって特定された相違内容と前記第２の比較手段によって特定された相違内容との関係から、前記練習者音データに対する評価結果を求める評価手段と、
前記評価手段によって求められた評価結果を出力する出力手段と
を備えることを特徴とする評価装置。
【請求項２】
前記出力手段は、前記練習者に前記評価結果を報知することを特徴とする請求項１記載の評価装置。
【請求項３】
前記第１の比較手段は、前記楽譜音データが表す音のピッチと前記練習者音データが表す音のピッチとの差分を両者の相違内容として特定し、
前記第２の比較手段は、前記模範音データが表す音のピッチと前記練習者音データが表す音のピッチとの差分を両者の相違内容として特定し、
前記評価手段は、前記第１の比較手段によって特定された差分と前記第２の比較手段によって特定された差分との大小関係から、前記練習者音データに対する評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項４】
前記第１の比較手段は、前記楽譜音データが表す音のピッチと前記練習者音データが表す音のピッチとの高低関係を両者の相違内容として特定し、
前記第２の比較手段は、前記模範音データが表す音のピッチと前記練習者音データが表す音のピッチとの高低関係を両者の相違内容として特定し、
前記評価手段は、前記第１の比較手段によって特定された高低関係及び前記第２の比較手段によって特定された高低関係に基づき、前記楽譜音データが表す音のピッチ、前記練習者音データが表す音のピッチ及び前記模範音データが表す音のピッチのそれぞれの高低関係を特定し、特定した高低関係から前記練習者音データに対する評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項５】
前記評価手段は、前記練習者音データが表す音のピッチが、前記楽譜音データが表す音のピッチと前記模範音データが表す音のピッチとの間にある場合には、高い評価結果を求めることを特徴とする請求項４記載の評価装置。
【請求項６】
前記第１の比較手段は、前記楽譜音データが表す音の発音タイミングと前記練習者音データが表す音の発音タイミングとの差分を両者の相違内容として特定し、
前記第２の比較手段は、前記模範音データが表す音の発音タイミングと前記練習者音データが表す音の発音タイミングとの差分を両者の相違内容として特定し、
前記評価手段は、前記第１の比較手段によって算出された差分と前記第２の比較手段によって算出された差分との大小関係から、前記練習者音データに対する評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項７】
前記第１の比較手段は、前記楽譜音データが表す音の発音タイミングと前記練習者音データが表す音の発音タイミングとの時間的な前後関係を両者の相違内容として特定し、
前記第２の比較手段は、前記模範音データが表す音の発音タイミングと前記練習者音データが表す音の発音タイミングとの時間的な前後関係を両者の相違内容として特定し、
前記評価手段は、前記第１の比較手段によって特定された前後関係及び前記第２の比較手段によって特定された前後に基づき、前記楽譜音データが表す音の発音タイミング、前記練習者音データが表す音の発音タイミング及び前記模範音データが表す音の発音タイミングの時間的な前後関係を特定し、特定した前後関係から前記練習者音データに対する評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項８】
前記評価手段は、前記練習者音データが表す音の発音タイミングが、前記楽譜音データが表す音の発音タイミングと前記模範音データが表す音の発音タイミングとの間にある場合には、高い評価結果を求めることを特徴とする請求項７記載の評価装置。
【請求項９】
前記第２の比較手段は、前記模範音データが表す音のパワーと前記練習者音データが表す音のパワーとの差分又は大小関係を両者の相違内容として特定し、
前記評価手段は、前記第２の比較手段によって特定された差分又は大小関係に応じた前記評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項１０】
前記第２の比較手段は、前記模範音データが表す音のスペクトルと前記練習者音データが表す音のスペクトルとの差分を両者の相違内容として特定し、
前記評価手段は、前記第２の比較手段によって特定された差分に応じた前記評価結果を求めることを特徴とする請求項１記載の評価装置。
【請求項１１】
前記評価手段は、前記第１の比較手段によって特定された相違内容と前記第２の比較手段によって特定された相違内容とのうち、いずれか一方を他方よりも過大に参酌して前記評価結果を求めることを特徴する請求項１記載の評価装置。
【請求項１２】
楽譜によって規定された音を表す楽譜音データを記憶する第１の記憶手段と、模範となる音を表す模範音データを記憶する第２の記憶手段と、収音手段によって収音された音を表す音データを練習者音データとして記憶する第３の記憶手段と、制御手段とを備えた評価装置の制御方法であって、
前記制御手段が、前記第１の記憶手段によって記憶されている楽譜音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第１のステップと、
前記制御手段が、前記第２の記憶手段によって記憶されている模範音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第２のステップと、
前記制御手段が、前記第１のステップにおいて特定された相違内容と前記第２のステップにおいて特定された相違内容との関係から、前記練習者音データに対する評価結果を求める第３のステップと、
前記制御手段が、前記第３のステップにおいて求められた評価結果を出力する第４のステップと
を備えることを特徴とする制御方法。
【請求項１３】
楽譜によって規定された音を表す楽譜音データを記憶する第１の記憶手段と、模範となる音を表す模範音データを記憶する第２の記憶手段と、収音手段によって収音された音を表す音データを練習者音データとして記憶する第３の記憶手段とを備えたコンピュータに、
前記第１の記憶手段によって記憶されている楽譜音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第１の比較機能と、
前記第２の記憶手段によって記憶されている模範音データと前記第３の記憶手段によって記憶されている練習者音データとを比較して、両者の相違内容を特定する第２の比較機能と、
前記第１の比較機能によって特定された相違内容と前記第２の比較機能によって特定された相違内容との関係から、前記練習者音データに対する評価結果を求める評価機能と、
前記評価機能によって求められた評価結果を出力する出力機能と
を実現させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−２３３０７８（Ｐ２００７−２３３０７８Ａ）
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願番号】特願２００６−５５３２９（Ｐ２００６−５５３２９）
【出願日】平成１８年３月１日（２００６．３．１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願日】平成１８年３月１日（２００６．３．１）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]