楽曲練習装置
【課題】歌唱練習や演奏練習を行うための楽曲練習装置において、曲中のどの箇所がどのように悪いのかを歌唱者に指摘することのできる技術を提供する。
【解決手段】楽曲練習装置１の記憶部１４にはコメント文が複数記憶されている。楽曲練習装置１のＣＰＵ１１は、記憶部１４に記憶された模範音声データと生成された練習者音声データとを比較し、練習者音声データが模範音声データに対して所定量以上の隔たりがある場合は、練習者音声データの当該箇所を修正領域として特定する。ＣＰＵ１１は、特定した箇所における練習者音声データの模範データに対する隔たりの態様に応じて、記憶部１４に記憶されたコメントテーブルからコメント文を選択して読み出し、記憶部１４に記憶された歌詞データを読み出して表示部１６に表示させるとともに、表示部１６に表示されている歌詞データにおいて修正領域に該当する部分に、読み出したコメント文を表示させる。
【解決手段】楽曲練習装置１の記憶部１４にはコメント文が複数記憶されている。楽曲練習装置１のＣＰＵ１１は、記憶部１４に記憶された模範音声データと生成された練習者音声データとを比較し、練習者音声データが模範音声データに対して所定量以上の隔たりがある場合は、練習者音声データの当該箇所を修正領域として特定する。ＣＰＵ１１は、特定した箇所における練習者音声データの模範データに対する隔たりの態様に応じて、記憶部１４に記憶されたコメントテーブルからコメント文を選択して読み出し、記憶部１４に記憶された歌詞データを読み出して表示部１６に表示させるとともに、表示部１６に表示されている歌詞データにおいて修正領域に該当する部分に、読み出したコメント文を表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱または演奏の巧拙を評価して指摘や指導をするための技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献１においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互相関を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。この方法によれば、歌唱者が「ため」や「ルバート」の歌唱技法を用いて歌唱した場合でも、歌唱タイミングをリファレンスのタイミングに合わせて比較して採点することができる。
【特許文献１】特開２００５−１０７３３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の技術においては、歌唱者の歌唱の巧拙を採点することができるものの、歌唱者は、その採点結果をみても、曲中のどの箇所がどのように悪いかを把握することはできなかった。また、歌唱者は、自身の歌唱をどのように直せばよいかを把握することはできなかった。これは楽器演奏についても同様である。
本発明は上述した背景の下になされたものであり、曲中のどの箇所がどのように悪いのかを歌唱者に指摘することのできる技術を提供することを目的とする。また、本発明の他の目的は、歌唱者が、曲中のどの箇所をどのように直せばよいかを歌唱者に指導することのできる技術を提供することである。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、本発明は、入力される練習者の音声を練習者データとして出力する入力手段と、模範データが記憶された模範データ記憶手段と、前記模範データ記憶手段に記憶された模範データと前記入力手段から出力された練習者データとを比較し、前記練習者データが前記模範データに対して所定量以上の隔たりがある場合は、前記練習者データの当該箇所を修正領域として特定する修正領域特定手段と、コメント文を複数記憶したコメント文記憶手段と、前記修正領域特定手段が特定した箇所における練習者データの前記模範データに対する隔たりの態様に応じて前記コメント文記憶手段からコメント文を選択して読み出すコメント文読出手段と、楽曲を構成し、楽曲の進行に従った内容を示すデータを有する楽曲構成データを記憶する楽曲構成データ記憶手段と、楽曲構成データ記憶手段から前記楽曲構成データを読み出して表示装置に表示させるとともに、前記コメント読出手段が読み出したコメント文を、前記表示装置に表示されている楽曲構成データにおける前記修正領域特定手段が特定した修正領域に該当する部分に表示させる表示制御手段とを具備することを特徴とする楽曲練習装置を提供する。
【０００５】
本発明の好ましい態様においては、前記模範データは、模範となる歌唱の模範音声データであることを特徴とする。
また、本発明の更に好ましい態様においては、前記表示制御手段は、前記楽曲構成データに加えて、前記模範データまたは前記練習者データの少なくともいずれか一方を前記表示装置に表示させることを特徴とする。
また、本発明の別の好ましい態様においては、前記模範データは、模範となる歌唱に用いられている技法の種類とタイミングを示す技法データであることを特徴とする。
また、本発明の別の好ましい態様においては、前記練習者データは、入力される楽器音のデータであり、前記模範データは、模範として用いられる楽器音のデータであることを特徴とする。
また、本発明の更に好ましい態様においては、前記楽曲構成データは、前記楽曲の歌詞を示す歌詞データまたは前記楽曲のメロディの音階を示すメロディデータの少なくともいずれか一方であることを特徴とする。
また、本発明の更に好ましい態様においては、修正領域特定手段によって特定される前記修正領域は、音符、小節または予め決められた複数の小節を単位として特定されることを特徴とする。
また、本発明の更に好ましい態様においては、前記楽曲の伴奏楽音を構成する伴奏データを記憶する伴奏データ記憶手段と、前記修正領域特定手段が特定した修正領域から伴奏を開始させることを指示する指示手段と、前記指示手段によって伴奏の開始が指示された場合に、前記修正領域特定手段が特定した修正領域に対応する部分の伴奏データを前記伴奏データ記憶手段から読み出して、伴奏音信号を生成する伴奏音信号生成手段とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、曲中のどの箇所がどのように悪いのかを歌唱者に指導することができる。また、本発明によれば、曲中のどの箇所をどのように直せばよいかを歌唱者に指導することができる。
【発明を実施するための最良の形態】
【０００７】
＜Ａ：構成＞
図１は、この発明の一実施形態である楽曲練習装置１のハードウェア構成を例示したブロック図である。図において、１１はＣＰＵ（Central Processing Unit）である。１２はＲＯＭ（Read Only Memory）である。１３はＲＡＭ（Random Access Memory）である。１４は例えばハードディスクなどの大容量記憶装置で構成された記憶部である。ＣＰＵ１１は、ＲＯＭ１２または記憶部１４に記憶されているコンピュータプログラムを読み出して実行することにより、バス１５を介して楽曲練習装置１の各部を制御する。１６は例えば液晶ディスプレイなどで構成される表示部であり、ＣＰＵ１１の制御の下、文字列や各種メッセージ、楽曲練習装置１を操作するためのメニュー画面等を表示する。１７はキーボード等の入力装置を備える操作部であり、キーの押下等に応じて操作内容に対応した信号をＣＰＵ１１へ出力する。１８は音声を収音するマイクロフォンであり、１９は音声処理部である。マイクロフォン１８は音声処理部１９に接続されており、音声処理部１９は、マイクロフォン１８から入力される練習者（歌唱者）の音声を練習者音声データとしてＣＰＵ１１に出力する。２０は、音声処理部１９に接続されたスピーカであり、音声処理部１９から出力される信号に対応した音を出力する。
【０００８】
楽曲練習装置１の記憶部１４は、図１に示すように、伴奏データ記憶領域１４ａと、歌詞データ記憶領域１４ｂと、背景画データ記憶領域１４ｃと、コメントテーブル記憶領域１４ｄと、模範音声データ記憶領域１４ｅと、模範技法データ記憶領域１４ｆと、練習者音声データ記憶領域１４ｇと、練習者技法データ記憶領域１４ｈと、修正領域データ記憶領域１４ｉとを有している。伴奏データ記憶領域１４ａには、伴奏楽音を構成する例えばＭＩＤＩ（Musical Instruments Digital Interface）形式の伴奏データであって、その楽曲の伴奏を行う各種楽器の音程（ピッチ）や強さ（ベロシティ）や効果の付与等を示す情報が楽曲の進行に伴って記された伴奏データが記憶されている。この伴奏データの中には、楽曲のメロディの音階を示すメロディデータが含まれている。歌詞データ記憶領域１４ｂには、楽曲を構成し、楽曲の進行に従った歌詞を示す歌詞データが記憶されている。なお、メロディデータと歌詞データとは、楽曲を構成し楽曲の進行に従った内容（音階、歌詞）を示すデータであり、以下の説明においては、説明の便宜上、これらを「楽曲構成データ」と称して説明する。
次に、記憶部１４の背景画データ記憶領域１４ｃには、伴奏データと対応する動画像を示す背景画データが記憶されている。
【０００９】
次に、記憶部１４のコメントテーブル記憶領域１４ｄには、歌唱に対する指摘コメント文と歌唱に対する指導コメント文とをそれぞれ複数記憶するコメントテーブルが記憶されている。
図２は、コメントテーブルの内容の一例を示す図である。図示のように、コメントテーブルは、「修正領域種別」と「指摘コメント」と「指導コメント」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「修正領域種別」の項目には、「音程ずれ」や「タイミングずれ」といった、模範音声と練習者音声との隔たりの態様を識別する情報が記憶されている。「指摘コメント」の項目には、例えば、「音程ずれ」や「タイミングずれ」等、歌唱に対する指摘コメント文を示すテキストデータが記憶されている。「指導コメント」の項目には、例えば、「抑えて」や、「はっきりと」といった、歌唱に対する指導コメント文を示すテキストデータが記憶されている。
【００１０】
次に、記憶部１４の模範音声データ記憶領域１４ｅには、例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式などの音声データであって、楽曲の歌唱の模範として用いられる音声データ（以下、「模範音声データ」）が記憶されている。
次に、記憶部１４の模範技法データ記憶領域１４ｆには、模範音声データ記憶領域１４ｅに記憶された模範音声データの表す模範となる歌唱に用いられている歌唱技法の種類とタイミングとを示すデータ（以下、「模範技法データ」）が記憶される。
図３は、模範技法データの内容の一例を示す図である。図示のように、模範技法データは、「区間情報」と「種別情報」との各項目が互いに関連付けられている。これらの項目のうち、「区間情報」の項目には、模範音声データにおいて歌唱技法が用いられた区間を示す情報が記憶される。なお、この区間情報が示す区間は、開始時刻情報と終了時刻情報とによって表される時間幅を有した区間であってもよく、またはある１点の時刻を示すものであってもよい。
「種別情報」の項目には、予め複数種類設定された歌唱技法を識別する情報が記憶される。この「種別情報」は、例えば「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」、「息継ぎ」などの歌唱技法を識別する情報である。「ビブラート」は、音の高さをほんのわずかに連続的に上下させ、震えるような音色を出す技法を示す。「しゃくり」は、目的の音より低い音から発音し、音程を滑らかに目的の音に近づけていく技法を示す。「こぶし」は、装飾的に加えるうねるような節回しを行う技法を示す。「ファルセット」は、いわゆる「裏声」で歌う技法を示す。「つっこみ」は、歌い出しを本来のタイミングよりも早いタイミングにする技法を示す。「ため」は、歌い出しを本来のタイミングよりも遅いタイミングにする技法を示す。「息継ぎ」は、歌唱者が息継ぎをするタイミングを示すものである。
【００１１】
次に、記憶部１４の練習者音声データ記憶領域１４ｇには、マイクロフォン１８で収音される練習者の音声を表す音声データ（「以下、練習者音声データ」）が記憶される。また、練習者技法データ記憶領域１４ｈには、練習者音声データで用いられている歌唱技法を示すデータ（以下、「練習者技法データ」）が記憶される。この練習者技法データの構成は、上述した模範技法データの構成と同様であり、「区間情報」と「種別情報」との各項目が互いに関連付けられて構成されている。
なお、以下の説明においては、説明の便宜上、「模範音声データ」と「練習者音声データ」とを各々区別する必要がない場合には、これらを「音声データ」と称することとする。また、「模範技法データ」と「練習者技法データ」とを各々区別する必要がない場合には、これらを「技法データ」と称して説明する。
【００１２】
次に、修正領域データ記憶領域１４ｉには、ＣＰＵ１１が模範音声データと練習者音声データとの比較処理、および、模範技法データと練習者技法データとの比較処理を行うことによって生成する修正領域を示すデータ（以下、「修正領域データ」）が記憶される。この修正領域データは、練習者音声が模範音声に対して所定量以上の隔たりがある箇所を示すデータである。
図４は、修正領域データの内容の一例を示す図である。図示のように、修正領域データは、「修正領域種別」と「区間情報」と「態様情報」と「ＩＤ」との各項目が互いに関連付けられている。これらの項目のうち、「修正領域種別」は、例えば、「音程ずれ」や「タイミングずれ」、「ビブラートずれ」等、模範音声と練習者音声との隔たりの態様を識別する情報が記憶される。「区間情報」の項目には、その隔たりのある箇所を示す時刻情報が記憶される。また、「態様情報」の項目には、隔たりの態様をさらに具体的に示す情報が記憶される。例えば、修正領域種別が「タイミングずれ」の場合に、タイミングが早いのか遅いかといった内容を示す情報が記憶される。「ＩＤ」の項目には、修正領域データを識別する情報が記憶される。
【００１３】
＜Ｂ：動作＞
次に、この実施形態の動作について、図５に示すフローチャートを参照しつつ以下に説明する。
練習者が楽曲練習装置１の操作部１７を操作して曲を選択すると、選択内容を示す信号が操作部１７からＣＰＵ１１に出力される。ＣＰＵ１１は、操作内容を示す信号が入力されたことを検知すると、選択された曲と対応する模範音声データを記憶部１４の模範音声データ記憶領域１４ｅから読み出し、読み出した模範音声データに対して音声分析処理を行い、時刻に対応したピッチ、パワー、スペクトルを模範音声データから算出する（ステップＳＡ１）。続けて、ＣＰＵ１１は、伴奏データ記憶領域１４ａに記憶された伴奏データに含まれるメロディデータと模範音声データ記憶領域１４ｅに記憶された模範音声データとを所定のフレーム単位で解析し、模範音声データとメロディデータとの時間的な対応関係を検出する（ステップＳＡ２）。
次に、ＣＰＵ１１は、模範音声データから算出されたピッチ、パワーおよびスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の歌唱技法が用いられている区間として特定する。そして、ＣＰＵ１１は、特定した区間の区間情報を、その歌唱技法を示す種別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｆに記憶する（ステップＳＡ３）。
【００１４】
ここで、ステップＳＡ３に示す、各歌唱技法が用いられている区間の特定処理について以下に説明する。本実施形態においては、ＣＰＵ１１は、「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」および「息継ぎ」の各歌唱技法が用いられている区間を特定（検出）する。これらのうち、「ビブラート」および「しゃくり」は模範音声データから算出されたピッチに基づいて検出する。また、「こぶし」および「ファルセット」は模範音声データから算出されたスペクトルに基づいて検出する。また、「ため」および「つっこみ」は、模範音声データから算出されたピッチとメロディデータとに基づいて検出する。また、「息継ぎ」は、模範音声データから算出されたパワーとメロディデータとに基づいて検出する。
【００１５】
ＣＰＵ１１は、模範音声データとメロディデータとの対応関係と、模範音声データから算出されたピッチとに基づいて、模範音声データに含まれる音の開始時刻と当該音に対応するメロディデータの音の開始時刻とが異なる区間を特定する。ここで、ＣＰＵ１１は、模範音声データのピッチの変化タイミングがメロディデータのピッチの変化タイミングよりも早く現れている区間、すなわち模範音声データに含まれる音の開始時刻が当該音に対応するメロディデータの音の開始時刻よりも早い区間については、この区間を「つっこみ」の歌唱技法が用いられている区間であると特定する。ＣＰＵ１１は、特定した区間の区間情報を、「つっこみ」を示す識別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｆに記憶する。
逆に、ＣＰＵ１１は、模範音声データとメロディデータとの対応関係と、模範音声データから算出されたピッチとに基づいて、模範音声データのピッチの変化タイミングがメロディデータのピッチの変化タイミングよりも遅れて現れている区間、すなわち模範音声データに含まれる音の開始時刻が当該音に対応するメロディデータの音の開始時刻よりも遅い区間を検出し、検出した区間を「ため」の歌唱技法が用いられている区間であると特定する。
【００１６】
また、ＣＰＵ１１は、模範音声データから算出したピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を検出し、検出した区間を「ビブラート」の歌唱技法が用いられている区間であると特定する。
【００１７】
また、ＣＰＵ１１は、模範音声データから算出したピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的にピッチが変化する区間を検出し、検出した区間を「しゃくり」の歌唱技法が用いられている区間であると特定する。なお、この処理は、メロディデータとの対応関係に基づいて行うようにしてもよい。すなわち、ＣＰＵ１１は、模範音声データとメロディデータとの対応関係に基づいて、模範音声データのピッチが、低いピッチから連続的にメロディデータのピッチに近づいている区間を検出すればよい。
【００１８】
また、ＣＰＵ１１は、模範音声データとメロディデータとの対応関係と、模範音声データから算出されたパワーとに基づいて、メロディデータが有音である区間であって模範音声データのパワー値が所定の閾値よりも小さい区間を検出し、検出した箇所を「息継ぎ」の区間であると特定する。
【００１９】
また、ＣＰＵ１１は、模範音声データから算出されたスペクトルの時間的な変化パターンを解析して、スペクトル特性がその予め決められた変化状態に急激に遷移している区間を検出し、検出した区間を「ファルセット」の歌唱技法が用いられている区間であると特定する。ここで、予め決められた変化状態とは、スペクトル特性の高調波成分が極端に少なくなる状態である。例えば、図６に示すように、地声の場合は沢山の高調波成分が含まれるが（同図（ａ）参照）、ファルセットになると高調波成分の大きさが極端に小さくなる（同図（ｂ）参照）。なお、この場合、ＣＰＵ１１は、ピッチが大幅に上方に変化したかどうかも参照してもよい。ファルセットは地声と同一のピッチを発生する場合でも用いられることもあるが、一般には地声では発声できない高音を発声するときに使われる技法だからである。したがって、音声データのピッチが所定音高以上の場合に限って「ファルセット」の検出をするように構成してもよい。また、男声と女声とでは一般にファルセットを用いる音高の領域が異なるので、音声データの音域や、音声データから検出されるフォルマントによって性別検出を行い、この結果を踏まえてファルセット検出の音高領域を設定してもよい。
また、ＣＰＵ１１は、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を検出し、検出した部分を「こぶし」の歌唱技法が用いられている部分であると特定する。「こぶし」の場合は、短い区間において声色や発声方法を変えて唸るような味わいを付加する歌唱技法であるため、この技法が用いられている区間においてはスペクトル特性が多様に変化するからである。
以上のようにして、ＣＰＵ１１は、模範音声データから各歌唱技法が用いられている区間を検出し、検出した区間を示す区間情報をその歌唱技法を示す種別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｆに記憶する。
【００２０】
図５の説明に戻る。楽曲練習装置１のＣＰＵ１１は、模範技法データの生成処理（ステップＳＡ３）を終えると、伴奏データ記憶領域１４ａに記憶された伴奏データを読み出して、読み出した伴奏データを音声処理部１９に供給する。音声処理部１９は、供給された伴奏データをアナログ信号に変換して伴奏データの表す音声をスピーカ２０から発音させる。また、ＣＰＵ１１は、伴奏データを音声処理部１９に供給するに併せて、歌詞データ記憶領域１４ｂに記憶された歌詞データと、背景画データ記憶領域１４ｃに記憶された背景画データとを、表示部１６に供給して、再生される伴奏に対応する歌詞と背景画とを表示部１６に表示させる。
【００２１】
練習者は、表示部１６に表示される歌詞を確認しつつ、スピーカ２０から発音される伴奏に併せて歌唱を行う。練習者によって歌唱が行われると、練習者の音声がマイクロフォン１８によって音声信号に変換され、変換された信号が音声処理部１９へ出力される。音声処理部１９は、マイクロフォン１８から出力された音声信号をデジタルデータに変換して練習者音声データとする（ステップＳＡ４）。この練習者音声データは、音声処理部１９から出力されて記憶部１４の練習者音声データ記憶領域１４ｇに記憶される。
【００２２】
伴奏の再生が終了すると、楽曲練習装置１のＣＰＵ１１は、練習者音声データ記憶領域１４ｇに記憶された練習者音声データに対して基礎分析処理を行って、ピッチ、パワー、スペクトルを算出する（ステップＳＡ５）。また、楽曲練習装置１のＣＰＵ１１は、伴奏データ記憶領域１４ａに記憶された伴奏データに含まれるメロディデータと練習者音声データ記憶領域１４ｇに記憶された練習者音声データとを所定のフレーム単位で解析し、練習者音声データとメロディデータとの時間的な対応関係を検出する（ステップＳＡ６）。続けて、ＣＰＵ１１は、練習者音声データから練習者技法データを生成する（ステップＳＡ７）。これらのステップＳＡ５〜ＳＡ７に示した処理と、上述したステップＳＡ２〜ＳＡ４に示した処理が異なる点は、処理対象となる音声データが異なる点である。すなわち、ステップＳＡ２〜ステップＳＡ４では模範音声データに対して処理を行い、ステップＳＡ５〜ＳＡ７では練習者音声データに対して処理が行われるものの、その処理内容については同様であるため、ステップＳＡ５〜ステップＳＡ７についてはその詳細な説明を省略する。
【００２３】
次に、楽曲練習装置１のＣＰＵ１１は、模範音声データと練習者音声データとの両者の波形同士を直接対比して、例えばＤＴＷ（Dynamic Time Warping）等により、模範音声データと、練習者音声データとの時間的な対応付けをフレーム毎に行い、両者の対応箇所を検出する（ステップＳＡ８）。
【００２４】
続けて、楽曲練習装置１のＣＰＵ１１は、ステップＳＡ８で検出した対応箇所に基づいて、模範音声データ記憶領域１４ｅに記憶された模範音声データと音声処理部１９から出力された練習者音声データとを比較し、練習者音声データが模範音声データに対して所定量以上の隔たりがある場合は、練習者音声データの該当箇所を修正領域として特定する（ステップＳＡ９）。具体的には、ＣＰＵ１１は、模範音声データのピッチと練習者音声データのピッチとを、歌詞の文字単位（本実施形態においてはひらがな１文字単位）毎の区間毎に比較して、練習者音声データが模範音声データに対して所定量以上の隔たりが検出された場合には、該練習者音声データの当該箇所を修正領域として特定する。ＣＰＵ１１は、検出した隔たりの態様と、その隔たりの程度とを示す修正領域データを生成して、記憶部１４の修正領域データ記憶領域１４ｉに記憶する。具体的には、例えば、ＣＰＵ１１は、練習者音声データのピッチが模範音声データのピッチに対して所定量以上の隔たりが検出された場合には、「音程ずれ」を示す修正領域データを生成する。また、例えば、ＣＰＵ１１は、練習者音声データのピッチの変化タイミングが模範音声データのピッチの変化タイミングに対して所定量以上の隔たりが検出された場合には、「タイミングずれ」を閉めす修正領域データを生成する。
【００２５】
また、ＣＰＵ１１は、模範技法データ記憶領域１４ｆに記憶された模範技法データと、練習者音声データから生成された練習者技法データとを比較し、練習者技法データが模範技法データに対して所定量以上の隔たりがある場合は、練習者技法データの該当箇所を修正領域として特定する（ステップＳＡ１０）。具体的には、例えば、ＣＰＵ１１は、記憶部１４の模範技法データ記憶領域１４ｆに記憶された模範技法データをひとつずつ読み出して、読み出した模範技法データと対応する練習者技法データを練習者技法データ記憶領域１４ｈから検索し、歌詞の文字単位毎の区間を評価区間として、模範技法データの区間情報と練習者技法データの区間情報とが所定量以上隔たっている評価区間を修正領域として特定する。このようにして修正領域を特定することによって、模範音声で歌唱技法が用いられている区間と練習者音声で歌唱技法が用いられている区間とに時間的なずれがある修正領域と特定することができるとともに、また、模範音声で歌唱技法が用いられている区間であって練習者音声で歌唱技法が用いられていない区間についても、この区間を修正領域として特定することができる。
上述したステップＳＡ９とステップＳＡ１０の処理をＣＰＵ１１が実行することによって修正領域が特定される。
【００２６】
次に、ＣＰＵ１１は、ステップＳＡ９，ＳＡ１０において特定した修正領域における練習者音声データの模範音声データに対する隔たりの態様に応じて、コメントテーブル記憶領域１４ｄに記憶されたコメントテーブルからコメント文を選択して読み出す（ステップＳＡ１１）。すなわち、ＣＰＵ１１は、生成された修正領域データの修正領域種別を、コメントテーブル記憶領域１４ｄに記憶されたコメントテーブルから検索し、検索されたものと対応する指摘コメントと指導コメントとを選択して読み出す。
【００２７】
次に、楽曲練習装置１のＣＰＵ１１は、楽曲構成データ（メロディデータ、歌詞データ）を記憶部１４から読み出して表示部１６に表示させるとともに、練習者音声データと模範音声データとを表示部１６に表示させる。また、ＣＰＵ１１は、ステップＳＡ１１においてコメントテーブル記憶領域１４ｄから読み出したコメント文（指摘コメントと指導コメント）を、表示部１６に表示されている歌詞データにおけるステップＳＡ９，ＳＡ１０で特定した修正領域に該当する部分に表示させる（ステップＳＡ１２）。
【００２８】
図７（ａ）は、楽曲練習装置１の表示部１６に表示される画面の一例を示す図である。
楽曲練習装置１のＣＰＵ１１は、模範音声データのピッチの時間的な変化を示すグラフＡ１を表示させるとともに、練習者音声データのピッチの時間的な変化を示すグラフＡ２を表示部１６に表示させる。また、ＣＰＵ１１は、メロディデータのピッチの時間的な変化を示すグラフＡ３を表示部１６に表示させる。
また、ＣＰＵ１１は、ステップＳＡ２で検出した模範音声データとメロディデータとの対応関係と、歌詞データ記憶領域１４ｂに記憶された歌詞データとに基づいて歌詞Ｗ１を表示させ、また、ステップＳ６で検出した練習者音声データとメロディデータとの対応関係と、歌詞データ記憶領域１４ｂに記憶された歌詞データとに基づいて歌詞Ｗ２を表示させる。
さらに、ＣＰＵ１１は、模範技法データの種別情報と区間情報とに基づいて、模範音声において各歌唱技法が用いられている区間と対応する歌詞の文字の近傍に、当該種別情報と対応する歌唱技法を示すアイコンＩ１，Ｉ２を表示させる。また、ＣＰＵ１１は、ステップＳＡ１１で読み出した指摘コメントＣ１，Ｃ２と指導コメントＣ１１，Ｃ１２とを、表示されている歌詞情報の該当部分に表示させる。
【００２９】
このように、楽曲練習装置１のＣＰＵ１１は、練習者音声データが模範音声データに対して所定量以上の隔たりが検出された場合には、該練習者音声データの該当箇所を修正領域として特定し、その修正領域における練習者音声データの模範音声データに対する隔たりの態様に応じてコメントテーブルから指摘コメントを選択して表示させるから、曲中のどの箇所がどのように悪いかを練習者に指摘することができる。
【００３０】
また、楽曲練習装置１のＣＰＵ１１は、練習者音声データが模範音声データに対して所定量以上の隔たりが検出された場合には、該練習者音声データの該当箇所を修正領域として特定し、その修正領域における練習者音声データの模範音声データに対する隔たりの態様に応じてコメントテーブルから指導コメントを選択して表示させるから、歌唱方法をどのように修正すればよいかを練習者に指導することができる。
【００３１】
図７（ａ）に示す画面において、練習者は、その修正領域における模範音声または練習者音声を再生する旨を、操作部１７を用いて指示することができる。これは例えば、図７（ａ）に示すような、「先生の歌唱を聴く場合は該当数値とＡを押してください」や、「あなたの歌唱を聴く場合は該当数値とＢを押してください」といった、操作を促すメッセージＭ１を表示するようにし、また、図７（ｂ）に示すような、０〜９のテンキーＢ１０と「Ａ」，「Ｂ」を選択できる操作ボタンＢ１１，Ｂ１２とを備える操作部１７を操作して練習者が指示するようにすればよい。
練習者が操作部１７を操作することによって指示されると、その指示内容を示す信号が操作部１７からＣＰＵ１１に入力される。ＣＰＵ１１は、模範音声の再生指示を示す信号が入力されたことを検知した場合は、選択されたＩＤ（番号）に対応する修正領域について、模範音声データのうちの当該修正領域に対応するデータを、音声処理部１９に供給する。音声処理部１９は、供給された信号に応じてスピーカ２０から音を放音する。一方、練習者音声の再生指示を示す信号が入力されたことを検知した場合は、ＣＰＵ１１は、練習者音声データから修正領域に対応するデータを抽出して、音声処理部１９に供給する。音声処理部１９は、供給された信号に応じてスピーカ２０から音を放音する。
このように、ＣＰＵ１１が、修正領域における模範音声または練習者音声を音声処理部１９を介してスピーカ２０に放音させるから、練習者は、模範音声と練習者音声とを聴き比べることができる。
【００３２】
また、図８は、表示部１６に表示される画面の他の例を示す図である。この画面においては、練習者は、「指摘箇所を練習する」、「自動で繰り返し練習する」、「先生の歌唱を聴く」、「あなたの音声を聴く」のいずれかを、操作部１７を用いて選択することができる。練習者によって操作部１７が操作されると、操作部１７は、操作された内容に応じた信号をＣＰＵ１１に出力することによって各処理を指示する。例えば、「指摘箇所を練習する」を選択する操作が行われた場合は、操作部１７は、図５のステップＳＡ９，ＳＡ１０において特定した修正領域から伴奏を開始させることをＣＰＵ１１に指示する。
【００３３】
操作部１７から信号が入力されると、ＣＰＵ１１は、入力された信号に応じた処理を実行する。例えば、「指摘箇所を練習する」旨の信号が入力された場合、すなわち、操作部１７を介して伴奏の開始が指示された場合は、ＣＰＵ１１は、図５のステップＳＡ９，ＳＡ１０において特定した修正領域であって、選択されたＩＤ（番号）に対応する修正領域に対応する伴奏データを伴奏データ記憶領域１４ａから読み出して、伴奏データ信号を生成して音声処理部１９に出力する。音声処理部１９は、供給された信号に応じてスピーカ２０から伴奏音を放音する。
このように、修正領域に対応する伴奏データを楽曲練習装置１が再生することによって、練習者は、模範音声と自身の歌唱との相違箇所の歌唱を練習することができる。
【００３４】
一方、「自動で繰り返し練習する」旨の信号が入力された場合は、ＣＰＵ１１は、音声処理部１９を介して、伴奏データのうち修正領域に対応する伴奏データの示す伴奏をスピーカ２０から繰り返し放音させる。「先生の歌唱を聴く」、または「あなたの音声を聴く」が選択された場合は、ＣＰＵ１１は、音声処理部１９を介して、修正領域に対応する模範音声データまたは練習者音声データを、スピーカ２０から放音させる。
【００３５】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（１）上述した実施形態においては、楽曲構成データ（歌詞データ、メロディデータ）に加えて、模範音声データを示すグラフＡ１と練習者音声データを示すグラフＡ２（図７参照）とを表示部１６に表示させるようにした。これに代えて、模範音声データや練習者音声データを表示させずに、楽曲構成データのみを表示させるようにしてもよい。
図９は、模範音声データと練習者音声データとを表示させずに、楽曲構成データ（歌詞データとメロディデータ）を表示させる場合の画面の一例を示す図である。図９に示す例においては、楽曲練習装置のＣＰＵは、メロディデータのピッチの時間的な変化を示すグラフＡ３を表示させるとともに、記憶部に記憶された歌詞データに基づいて歌詞Ｗ３を表示部に表示させ、また、コメントＣ１１，Ｃ１２を表示されている歌詞Ｗ３の該当部分に表示させる。
図９に示す例においては、模範音声データを記憶部に記憶させておく必要はなく、メロディデータのみを記憶部に記憶させておけばよい。
なお、このとき、図９に示すように、メロディデータのピッチの変化に対応する位置関係で歌詞Ｗ３の文字のそれぞれを表示させるようにしてもよい。また、上述した実施形態と同様に、模範音声において各歌唱技法が用いられている区間と対応する歌詞の文字の近傍に、各歌唱技法を示すアイコンＩ１，Ｉ２を表示させるようにしてもよい。
【００３６】
（２）上述した実施形態においては、楽曲を構成し、楽曲の進行に従った内容を示すデータを有する楽曲構成データとして、歌詞データとメロディデータとを用いて、これら双方を表示部に表示させるようにしたが、楽曲構成データとしてこれら双方を用いる必要はなく、例えば、歌詞データのみを楽曲構成データとして用いてもよく、または、メロディデータのみを楽曲構成データとして用いてもよい。すなわち、歌詞データおよびメロディデータの少なくともいずれか一方を楽曲構成データとして用いればよい。
図１０は、歌詞データのみを楽曲構成データとして用いた場合に表示される画面の一例を示す図である。この場合、楽曲練習装置のＣＰＵは、図１０に示すように、記憶部に記憶された歌詞データに基づいて歌詞Ｗ４を表示させるとともに、コメントＣ１１，Ｃ１２を表示されている歌詞Ｗ４の該当部分に表示させる。
【００３７】
また、上述した実施形態においては、楽曲を構成し、楽曲の進行に従った内容を示すデータを有する楽曲構成データとして、歌詞データとメロディデータとを用いたが、楽曲構成データはこれに限定されるものではなく、例えば、楽曲において第何小節目であるかを示すデータや、第何フレーズ目であるかを示すデータ等であってもよい。すなわち、楽曲構成データは、楽曲を構成し、楽曲の進行に従った内容を示すデータであればどのようなものであってもよい。
【００３８】
（３）上述した実施形態においては、模範音声データと練習者音声データとを比較して修正領域を特定する（図５のステップＳＡ９参照）とともに、模範技法データと練習者技法データとを比較して修正領域を特定する（図５のステップＳＡ１０参照）ようにした。これに代えて、模範技法データと模範音声データのいずれか一方を用いて修正領域を特定してもよい。すなわち、図５のステップＳＡ９とステップＳＡ１０のいずれか一方の処理を行って修正領域を特定するようにしてもよい。
【００３９】
（４）上述した実施形態においては、歌詞の文字単位毎の区間を単位として修正領域を特定するようにしたが、修正領域の単位はこれに限定されるものではなく、例えば、音符、小節または予め決められた複数の小節を単位として修正領域を特定するようにしてもよい。または、楽曲の冒頭からの絶対時刻の修正領域を特定するようにしてもよい。
【００４０】
（５）上述した実施形態においては、コメント文として指摘コメントと指導コメントとの両方を表示部１６に表示させるようにしたが、どちらか一方のみを表示させてもよい。
【００４１】
（６）上述した実施形態においては、歌詞データを予め記憶部に記憶させておくようにしたが、これに代えて、楽曲練習装置のＣＰＵが、音声データに対して音声認識処理を施して、音声データから歌詞データを自動的に生成するようにしてもよい。この場合は、ＣＰＵが、メロディデータと、音声データから抽出したピッチとを照合させて、どの歌詞がどのタイミングで歌われているかを自動的に割り付けるようにすればよい。
【００４２】
（７）上述した実施形態においては、記憶部１４の模範音声データ記憶領域１４ｅに記憶される音声データはＷＡＶＥ形式やＭＰ３形式のデータとしたが、データの形式はこれに限定されるものではなく、音声を示すデータであればどのような形式のデータであってもよい。
また、上述した実施形態においては、模範音声データを記憶部１４に記憶させて、楽曲練習装置１のＣＰＵ１１が記憶部１４から模範音声データを読み出すようにしたが、これに代えて、通信ネットワークを介して音声データを受信するようにしてもよい。要するに、模範音声データをＣＰＵ１１に入力するようにすればよい。このようにすれば、所望の歌手の音声データをダウンロードして用いることができるから、練習者は、その歌手の歌唱技法と自身の歌唱技法とを比較することができ、所望の歌手の歌唱技法を真似て歌唱することが容易になる。
【００４３】
（８）上述した実施形態においては、練習者データとして、入力される練習者の歌唱を示す練習者音声データと、練習者音声に用いられている技法の種類とタイミングを示す練習者技法データとを用い、また、模範データとして、楽曲の歌唱の模範として用いられる模範音声データと、模範となる歌唱に用いられている技法の種類とタイミングを示す模範技法データを用いた。本発明における練習者データと模範データとはこれに限定されるものではなく、楽器の演奏音を表す音声データにも適用することができる。すなわち、練習者データは、入力される楽器の演奏音を表すデータであり、模範データは、模範として用いられる楽器の演奏音を表すデータであってもよい。なお、この場合は、練習者の演奏技法（例えば、ビブラート、息継ぎ、ため等）を示す技法データと練習者データとして、また、模範演奏の演奏技法を示す技法データを模範データとして用いるようにしてもよい。
【００４４】
（９）上述した実施形態では、楽曲練習装置１が、本実施形態に係る修正領域特定処理等を行うようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態の楽曲練習装置１を実現するようにしてもよい。例えば、マイクロフォンやスピーカ、表示装置および入力装置等を備えるコンピュータ装置と、修正領域特定処理を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、コンピュータ装置が、マイクロフォンから入力された音声を音声データに変換してサーバ装置に送信し、サーバ装置が、受信した音声データと模範音声データとの比較処理を行って修正領域を特定し、修正領域を示す修正領域データをコンピュータ装置に送信するようにすればよい。
【００４５】
（１０）上述した実施形態における楽曲練習装置１のＣＰＵ１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フロッピー（登録商標）ディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由で楽曲練習装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４６】
【図１】楽曲練習装置のハードウェア構成の一例を示すブロック図である。
【図２】コメントテーブルの内容の一例を示す図である。
【図３】模範技法データの内容の一例を示す図である。
【図４】修正領域データの内容の一例を示す図である。
【図５】楽曲練習装置の制御部が行う処理の流れを示すフローチャートである。
【図６】ファルセットの検出処理を説明するための図である。
【図７】楽曲練習装置の表示部に表示される画面の一例を示す図である。
【図８】楽曲練習装置の表示部に表示される画面の一例を示す図である。
【図９】楽曲練習装置の表示部に表示される画面の一例を示す図である。
【図１０】楽曲練習装置の表示部に表示される画面の一例を示す図である。
【符号の説明】
【００４７】
１…楽曲練習装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１５…バス、１６…表示部、１７…操作部、１８…マイクロフォン、１９…音声処理部、２０…スピーカ。
【技術分野】
【０００１】
本発明は、歌唱または演奏の巧拙を評価して指摘や指導をするための技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献１においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互相関を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。この方法によれば、歌唱者が「ため」や「ルバート」の歌唱技法を用いて歌唱した場合でも、歌唱タイミングをリファレンスのタイミングに合わせて比較して採点することができる。
【特許文献１】特開２００５−１０７３３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載の技術においては、歌唱者の歌唱の巧拙を採点することができるものの、歌唱者は、その採点結果をみても、曲中のどの箇所がどのように悪いかを把握することはできなかった。また、歌唱者は、自身の歌唱をどのように直せばよいかを把握することはできなかった。これは楽器演奏についても同様である。
本発明は上述した背景の下になされたものであり、曲中のどの箇所がどのように悪いのかを歌唱者に指摘することのできる技術を提供することを目的とする。また、本発明の他の目的は、歌唱者が、曲中のどの箇所をどのように直せばよいかを歌唱者に指導することのできる技術を提供することである。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、本発明は、入力される練習者の音声を練習者データとして出力する入力手段と、模範データが記憶された模範データ記憶手段と、前記模範データ記憶手段に記憶された模範データと前記入力手段から出力された練習者データとを比較し、前記練習者データが前記模範データに対して所定量以上の隔たりがある場合は、前記練習者データの当該箇所を修正領域として特定する修正領域特定手段と、コメント文を複数記憶したコメント文記憶手段と、前記修正領域特定手段が特定した箇所における練習者データの前記模範データに対する隔たりの態様に応じて前記コメント文記憶手段からコメント文を選択して読み出すコメント文読出手段と、楽曲を構成し、楽曲の進行に従った内容を示すデータを有する楽曲構成データを記憶する楽曲構成データ記憶手段と、楽曲構成データ記憶手段から前記楽曲構成データを読み出して表示装置に表示させるとともに、前記コメント読出手段が読み出したコメント文を、前記表示装置に表示されている楽曲構成データにおける前記修正領域特定手段が特定した修正領域に該当する部分に表示させる表示制御手段とを具備することを特徴とする楽曲練習装置を提供する。
【０００５】
本発明の好ましい態様においては、前記模範データは、模範となる歌唱の模範音声データであることを特徴とする。
また、本発明の更に好ましい態様においては、前記表示制御手段は、前記楽曲構成データに加えて、前記模範データまたは前記練習者データの少なくともいずれか一方を前記表示装置に表示させることを特徴とする。
また、本発明の別の好ましい態様においては、前記模範データは、模範となる歌唱に用いられている技法の種類とタイミングを示す技法データであることを特徴とする。
また、本発明の別の好ましい態様においては、前記練習者データは、入力される楽器音のデータであり、前記模範データは、模範として用いられる楽器音のデータであることを特徴とする。
また、本発明の更に好ましい態様においては、前記楽曲構成データは、前記楽曲の歌詞を示す歌詞データまたは前記楽曲のメロディの音階を示すメロディデータの少なくともいずれか一方であることを特徴とする。
また、本発明の更に好ましい態様においては、修正領域特定手段によって特定される前記修正領域は、音符、小節または予め決められた複数の小節を単位として特定されることを特徴とする。
また、本発明の更に好ましい態様においては、前記楽曲の伴奏楽音を構成する伴奏データを記憶する伴奏データ記憶手段と、前記修正領域特定手段が特定した修正領域から伴奏を開始させることを指示する指示手段と、前記指示手段によって伴奏の開始が指示された場合に、前記修正領域特定手段が特定した修正領域に対応する部分の伴奏データを前記伴奏データ記憶手段から読み出して、伴奏音信号を生成する伴奏音信号生成手段とを具備することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、曲中のどの箇所がどのように悪いのかを歌唱者に指導することができる。また、本発明によれば、曲中のどの箇所をどのように直せばよいかを歌唱者に指導することができる。
【発明を実施するための最良の形態】
【０００７】
＜Ａ：構成＞
図１は、この発明の一実施形態である楽曲練習装置１のハードウェア構成を例示したブロック図である。図において、１１はＣＰＵ（Central Processing Unit）である。１２はＲＯＭ（Read Only Memory）である。１３はＲＡＭ（Random Access Memory）である。１４は例えばハードディスクなどの大容量記憶装置で構成された記憶部である。ＣＰＵ１１は、ＲＯＭ１２または記憶部１４に記憶されているコンピュータプログラムを読み出して実行することにより、バス１５を介して楽曲練習装置１の各部を制御する。１６は例えば液晶ディスプレイなどで構成される表示部であり、ＣＰＵ１１の制御の下、文字列や各種メッセージ、楽曲練習装置１を操作するためのメニュー画面等を表示する。１７はキーボード等の入力装置を備える操作部であり、キーの押下等に応じて操作内容に対応した信号をＣＰＵ１１へ出力する。１８は音声を収音するマイクロフォンであり、１９は音声処理部である。マイクロフォン１８は音声処理部１９に接続されており、音声処理部１９は、マイクロフォン１８から入力される練習者（歌唱者）の音声を練習者音声データとしてＣＰＵ１１に出力する。２０は、音声処理部１９に接続されたスピーカであり、音声処理部１９から出力される信号に対応した音を出力する。
【０００８】
楽曲練習装置１の記憶部１４は、図１に示すように、伴奏データ記憶領域１４ａと、歌詞データ記憶領域１４ｂと、背景画データ記憶領域１４ｃと、コメントテーブル記憶領域１４ｄと、模範音声データ記憶領域１４ｅと、模範技法データ記憶領域１４ｆと、練習者音声データ記憶領域１４ｇと、練習者技法データ記憶領域１４ｈと、修正領域データ記憶領域１４ｉとを有している。伴奏データ記憶領域１４ａには、伴奏楽音を構成する例えばＭＩＤＩ（Musical Instruments Digital Interface）形式の伴奏データであって、その楽曲の伴奏を行う各種楽器の音程（ピッチ）や強さ（ベロシティ）や効果の付与等を示す情報が楽曲の進行に伴って記された伴奏データが記憶されている。この伴奏データの中には、楽曲のメロディの音階を示すメロディデータが含まれている。歌詞データ記憶領域１４ｂには、楽曲を構成し、楽曲の進行に従った歌詞を示す歌詞データが記憶されている。なお、メロディデータと歌詞データとは、楽曲を構成し楽曲の進行に従った内容（音階、歌詞）を示すデータであり、以下の説明においては、説明の便宜上、これらを「楽曲構成データ」と称して説明する。
次に、記憶部１４の背景画データ記憶領域１４ｃには、伴奏データと対応する動画像を示す背景画データが記憶されている。
【０００９】
次に、記憶部１４のコメントテーブル記憶領域１４ｄには、歌唱に対する指摘コメント文と歌唱に対する指導コメント文とをそれぞれ複数記憶するコメントテーブルが記憶されている。
図２は、コメントテーブルの内容の一例を示す図である。図示のように、コメントテーブルは、「修正領域種別」と「指摘コメント」と「指導コメント」との各項目が互いに関連付けて記憶されている。これらの項目のうち、「修正領域種別」の項目には、「音程ずれ」や「タイミングずれ」といった、模範音声と練習者音声との隔たりの態様を識別する情報が記憶されている。「指摘コメント」の項目には、例えば、「音程ずれ」や「タイミングずれ」等、歌唱に対する指摘コメント文を示すテキストデータが記憶されている。「指導コメント」の項目には、例えば、「抑えて」や、「はっきりと」といった、歌唱に対する指導コメント文を示すテキストデータが記憶されている。
【００１０】
次に、記憶部１４の模範音声データ記憶領域１４ｅには、例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式などの音声データであって、楽曲の歌唱の模範として用いられる音声データ（以下、「模範音声データ」）が記憶されている。
次に、記憶部１４の模範技法データ記憶領域１４ｆには、模範音声データ記憶領域１４ｅに記憶された模範音声データの表す模範となる歌唱に用いられている歌唱技法の種類とタイミングとを示すデータ（以下、「模範技法データ」）が記憶される。
図３は、模範技法データの内容の一例を示す図である。図示のように、模範技法データは、「区間情報」と「種別情報」との各項目が互いに関連付けられている。これらの項目のうち、「区間情報」の項目には、模範音声データにおいて歌唱技法が用いられた区間を示す情報が記憶される。なお、この区間情報が示す区間は、開始時刻情報と終了時刻情報とによって表される時間幅を有した区間であってもよく、またはある１点の時刻を示すものであってもよい。
「種別情報」の項目には、予め複数種類設定された歌唱技法を識別する情報が記憶される。この「種別情報」は、例えば「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」、「息継ぎ」などの歌唱技法を識別する情報である。「ビブラート」は、音の高さをほんのわずかに連続的に上下させ、震えるような音色を出す技法を示す。「しゃくり」は、目的の音より低い音から発音し、音程を滑らかに目的の音に近づけていく技法を示す。「こぶし」は、装飾的に加えるうねるような節回しを行う技法を示す。「ファルセット」は、いわゆる「裏声」で歌う技法を示す。「つっこみ」は、歌い出しを本来のタイミングよりも早いタイミングにする技法を示す。「ため」は、歌い出しを本来のタイミングよりも遅いタイミングにする技法を示す。「息継ぎ」は、歌唱者が息継ぎをするタイミングを示すものである。
【００１１】
次に、記憶部１４の練習者音声データ記憶領域１４ｇには、マイクロフォン１８で収音される練習者の音声を表す音声データ（「以下、練習者音声データ」）が記憶される。また、練習者技法データ記憶領域１４ｈには、練習者音声データで用いられている歌唱技法を示すデータ（以下、「練習者技法データ」）が記憶される。この練習者技法データの構成は、上述した模範技法データの構成と同様であり、「区間情報」と「種別情報」との各項目が互いに関連付けられて構成されている。
なお、以下の説明においては、説明の便宜上、「模範音声データ」と「練習者音声データ」とを各々区別する必要がない場合には、これらを「音声データ」と称することとする。また、「模範技法データ」と「練習者技法データ」とを各々区別する必要がない場合には、これらを「技法データ」と称して説明する。
【００１２】
次に、修正領域データ記憶領域１４ｉには、ＣＰＵ１１が模範音声データと練習者音声データとの比較処理、および、模範技法データと練習者技法データとの比較処理を行うことによって生成する修正領域を示すデータ（以下、「修正領域データ」）が記憶される。この修正領域データは、練習者音声が模範音声に対して所定量以上の隔たりがある箇所を示すデータである。
図４は、修正領域データの内容の一例を示す図である。図示のように、修正領域データは、「修正領域種別」と「区間情報」と「態様情報」と「ＩＤ」との各項目が互いに関連付けられている。これらの項目のうち、「修正領域種別」は、例えば、「音程ずれ」や「タイミングずれ」、「ビブラートずれ」等、模範音声と練習者音声との隔たりの態様を識別する情報が記憶される。「区間情報」の項目には、その隔たりのある箇所を示す時刻情報が記憶される。また、「態様情報」の項目には、隔たりの態様をさらに具体的に示す情報が記憶される。例えば、修正領域種別が「タイミングずれ」の場合に、タイミングが早いのか遅いかといった内容を示す情報が記憶される。「ＩＤ」の項目には、修正領域データを識別する情報が記憶される。
【００１３】
＜Ｂ：動作＞
次に、この実施形態の動作について、図５に示すフローチャートを参照しつつ以下に説明する。
練習者が楽曲練習装置１の操作部１７を操作して曲を選択すると、選択内容を示す信号が操作部１７からＣＰＵ１１に出力される。ＣＰＵ１１は、操作内容を示す信号が入力されたことを検知すると、選択された曲と対応する模範音声データを記憶部１４の模範音声データ記憶領域１４ｅから読み出し、読み出した模範音声データに対して音声分析処理を行い、時刻に対応したピッチ、パワー、スペクトルを模範音声データから算出する（ステップＳＡ１）。続けて、ＣＰＵ１１は、伴奏データ記憶領域１４ａに記憶された伴奏データに含まれるメロディデータと模範音声データ記憶領域１４ｅに記憶された模範音声データとを所定のフレーム単位で解析し、模範音声データとメロディデータとの時間的な対応関係を検出する（ステップＳＡ２）。
次に、ＣＰＵ１１は、模範音声データから算出されたピッチ、パワーおよびスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の歌唱技法が用いられている区間として特定する。そして、ＣＰＵ１１は、特定した区間の区間情報を、その歌唱技法を示す種別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｆに記憶する（ステップＳＡ３）。
【００１４】
ここで、ステップＳＡ３に示す、各歌唱技法が用いられている区間の特定処理について以下に説明する。本実施形態においては、ＣＰＵ１１は、「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」および「息継ぎ」の各歌唱技法が用いられている区間を特定（検出）する。これらのうち、「ビブラート」および「しゃくり」は模範音声データから算出されたピッチに基づいて検出する。また、「こぶし」および「ファルセット」は模範音声データから算出されたスペクトルに基づいて検出する。また、「ため」および「つっこみ」は、模範音声データから算出されたピッチとメロディデータとに基づいて検出する。また、「息継ぎ」は、模範音声データから算出されたパワーとメロディデータとに基づいて検出する。
【００１５】
ＣＰＵ１１は、模範音声データとメロディデータとの対応関係と、模範音声データから算出されたピッチとに基づいて、模範音声データに含まれる音の開始時刻と当該音に対応するメロディデータの音の開始時刻とが異なる区間を特定する。ここで、ＣＰＵ１１は、模範音声データのピッチの変化タイミングがメロディデータのピッチの変化タイミングよりも早く現れている区間、すなわち模範音声データに含まれる音の開始時刻が当該音に対応するメロディデータの音の開始時刻よりも早い区間については、この区間を「つっこみ」の歌唱技法が用いられている区間であると特定する。ＣＰＵ１１は、特定した区間の区間情報を、「つっこみ」を示す識別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｆに記憶する。
逆に、ＣＰＵ１１は、模範音声データとメロディデータとの対応関係と、模範音声データから算出されたピッチとに基づいて、模範音声データのピッチの変化タイミングがメロディデータのピッチの変化タイミングよりも遅れて現れている区間、すなわち模範音声データに含まれる音の開始時刻が当該音に対応するメロディデータの音の開始時刻よりも遅い区間を検出し、検出した区間を「ため」の歌唱技法が用いられている区間であると特定する。
【００１６】
また、ＣＰＵ１１は、模範音声データから算出したピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を検出し、検出した区間を「ビブラート」の歌唱技法が用いられている区間であると特定する。
【００１７】
また、ＣＰＵ１１は、模範音声データから算出したピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的にピッチが変化する区間を検出し、検出した区間を「しゃくり」の歌唱技法が用いられている区間であると特定する。なお、この処理は、メロディデータとの対応関係に基づいて行うようにしてもよい。すなわち、ＣＰＵ１１は、模範音声データとメロディデータとの対応関係に基づいて、模範音声データのピッチが、低いピッチから連続的にメロディデータのピッチに近づいている区間を検出すればよい。
【００１８】
また、ＣＰＵ１１は、模範音声データとメロディデータとの対応関係と、模範音声データから算出されたパワーとに基づいて、メロディデータが有音である区間であって模範音声データのパワー値が所定の閾値よりも小さい区間を検出し、検出した箇所を「息継ぎ」の区間であると特定する。
【００１９】
また、ＣＰＵ１１は、模範音声データから算出されたスペクトルの時間的な変化パターンを解析して、スペクトル特性がその予め決められた変化状態に急激に遷移している区間を検出し、検出した区間を「ファルセット」の歌唱技法が用いられている区間であると特定する。ここで、予め決められた変化状態とは、スペクトル特性の高調波成分が極端に少なくなる状態である。例えば、図６に示すように、地声の場合は沢山の高調波成分が含まれるが（同図（ａ）参照）、ファルセットになると高調波成分の大きさが極端に小さくなる（同図（ｂ）参照）。なお、この場合、ＣＰＵ１１は、ピッチが大幅に上方に変化したかどうかも参照してもよい。ファルセットは地声と同一のピッチを発生する場合でも用いられることもあるが、一般には地声では発声できない高音を発声するときに使われる技法だからである。したがって、音声データのピッチが所定音高以上の場合に限って「ファルセット」の検出をするように構成してもよい。また、男声と女声とでは一般にファルセットを用いる音高の領域が異なるので、音声データの音域や、音声データから検出されるフォルマントによって性別検出を行い、この結果を踏まえてファルセット検出の音高領域を設定してもよい。
また、ＣＰＵ１１は、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を検出し、検出した部分を「こぶし」の歌唱技法が用いられている部分であると特定する。「こぶし」の場合は、短い区間において声色や発声方法を変えて唸るような味わいを付加する歌唱技法であるため、この技法が用いられている区間においてはスペクトル特性が多様に変化するからである。
以上のようにして、ＣＰＵ１１は、模範音声データから各歌唱技法が用いられている区間を検出し、検出した区間を示す区間情報をその歌唱技法を示す種別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｆに記憶する。
【００２０】
図５の説明に戻る。楽曲練習装置１のＣＰＵ１１は、模範技法データの生成処理（ステップＳＡ３）を終えると、伴奏データ記憶領域１４ａに記憶された伴奏データを読み出して、読み出した伴奏データを音声処理部１９に供給する。音声処理部１９は、供給された伴奏データをアナログ信号に変換して伴奏データの表す音声をスピーカ２０から発音させる。また、ＣＰＵ１１は、伴奏データを音声処理部１９に供給するに併せて、歌詞データ記憶領域１４ｂに記憶された歌詞データと、背景画データ記憶領域１４ｃに記憶された背景画データとを、表示部１６に供給して、再生される伴奏に対応する歌詞と背景画とを表示部１６に表示させる。
【００２１】
練習者は、表示部１６に表示される歌詞を確認しつつ、スピーカ２０から発音される伴奏に併せて歌唱を行う。練習者によって歌唱が行われると、練習者の音声がマイクロフォン１８によって音声信号に変換され、変換された信号が音声処理部１９へ出力される。音声処理部１９は、マイクロフォン１８から出力された音声信号をデジタルデータに変換して練習者音声データとする（ステップＳＡ４）。この練習者音声データは、音声処理部１９から出力されて記憶部１４の練習者音声データ記憶領域１４ｇに記憶される。
【００２２】
伴奏の再生が終了すると、楽曲練習装置１のＣＰＵ１１は、練習者音声データ記憶領域１４ｇに記憶された練習者音声データに対して基礎分析処理を行って、ピッチ、パワー、スペクトルを算出する（ステップＳＡ５）。また、楽曲練習装置１のＣＰＵ１１は、伴奏データ記憶領域１４ａに記憶された伴奏データに含まれるメロディデータと練習者音声データ記憶領域１４ｇに記憶された練習者音声データとを所定のフレーム単位で解析し、練習者音声データとメロディデータとの時間的な対応関係を検出する（ステップＳＡ６）。続けて、ＣＰＵ１１は、練習者音声データから練習者技法データを生成する（ステップＳＡ７）。これらのステップＳＡ５〜ＳＡ７に示した処理と、上述したステップＳＡ２〜ＳＡ４に示した処理が異なる点は、処理対象となる音声データが異なる点である。すなわち、ステップＳＡ２〜ステップＳＡ４では模範音声データに対して処理を行い、ステップＳＡ５〜ＳＡ７では練習者音声データに対して処理が行われるものの、その処理内容については同様であるため、ステップＳＡ５〜ステップＳＡ７についてはその詳細な説明を省略する。
【００２３】
次に、楽曲練習装置１のＣＰＵ１１は、模範音声データと練習者音声データとの両者の波形同士を直接対比して、例えばＤＴＷ（Dynamic Time Warping）等により、模範音声データと、練習者音声データとの時間的な対応付けをフレーム毎に行い、両者の対応箇所を検出する（ステップＳＡ８）。
【００２４】
続けて、楽曲練習装置１のＣＰＵ１１は、ステップＳＡ８で検出した対応箇所に基づいて、模範音声データ記憶領域１４ｅに記憶された模範音声データと音声処理部１９から出力された練習者音声データとを比較し、練習者音声データが模範音声データに対して所定量以上の隔たりがある場合は、練習者音声データの該当箇所を修正領域として特定する（ステップＳＡ９）。具体的には、ＣＰＵ１１は、模範音声データのピッチと練習者音声データのピッチとを、歌詞の文字単位（本実施形態においてはひらがな１文字単位）毎の区間毎に比較して、練習者音声データが模範音声データに対して所定量以上の隔たりが検出された場合には、該練習者音声データの当該箇所を修正領域として特定する。ＣＰＵ１１は、検出した隔たりの態様と、その隔たりの程度とを示す修正領域データを生成して、記憶部１４の修正領域データ記憶領域１４ｉに記憶する。具体的には、例えば、ＣＰＵ１１は、練習者音声データのピッチが模範音声データのピッチに対して所定量以上の隔たりが検出された場合には、「音程ずれ」を示す修正領域データを生成する。また、例えば、ＣＰＵ１１は、練習者音声データのピッチの変化タイミングが模範音声データのピッチの変化タイミングに対して所定量以上の隔たりが検出された場合には、「タイミングずれ」を閉めす修正領域データを生成する。
【００２５】
また、ＣＰＵ１１は、模範技法データ記憶領域１４ｆに記憶された模範技法データと、練習者音声データから生成された練習者技法データとを比較し、練習者技法データが模範技法データに対して所定量以上の隔たりがある場合は、練習者技法データの該当箇所を修正領域として特定する（ステップＳＡ１０）。具体的には、例えば、ＣＰＵ１１は、記憶部１４の模範技法データ記憶領域１４ｆに記憶された模範技法データをひとつずつ読み出して、読み出した模範技法データと対応する練習者技法データを練習者技法データ記憶領域１４ｈから検索し、歌詞の文字単位毎の区間を評価区間として、模範技法データの区間情報と練習者技法データの区間情報とが所定量以上隔たっている評価区間を修正領域として特定する。このようにして修正領域を特定することによって、模範音声で歌唱技法が用いられている区間と練習者音声で歌唱技法が用いられている区間とに時間的なずれがある修正領域と特定することができるとともに、また、模範音声で歌唱技法が用いられている区間であって練習者音声で歌唱技法が用いられていない区間についても、この区間を修正領域として特定することができる。
上述したステップＳＡ９とステップＳＡ１０の処理をＣＰＵ１１が実行することによって修正領域が特定される。
【００２６】
次に、ＣＰＵ１１は、ステップＳＡ９，ＳＡ１０において特定した修正領域における練習者音声データの模範音声データに対する隔たりの態様に応じて、コメントテーブル記憶領域１４ｄに記憶されたコメントテーブルからコメント文を選択して読み出す（ステップＳＡ１１）。すなわち、ＣＰＵ１１は、生成された修正領域データの修正領域種別を、コメントテーブル記憶領域１４ｄに記憶されたコメントテーブルから検索し、検索されたものと対応する指摘コメントと指導コメントとを選択して読み出す。
【００２７】
次に、楽曲練習装置１のＣＰＵ１１は、楽曲構成データ（メロディデータ、歌詞データ）を記憶部１４から読み出して表示部１６に表示させるとともに、練習者音声データと模範音声データとを表示部１６に表示させる。また、ＣＰＵ１１は、ステップＳＡ１１においてコメントテーブル記憶領域１４ｄから読み出したコメント文（指摘コメントと指導コメント）を、表示部１６に表示されている歌詞データにおけるステップＳＡ９，ＳＡ１０で特定した修正領域に該当する部分に表示させる（ステップＳＡ１２）。
【００２８】
図７（ａ）は、楽曲練習装置１の表示部１６に表示される画面の一例を示す図である。
楽曲練習装置１のＣＰＵ１１は、模範音声データのピッチの時間的な変化を示すグラフＡ１を表示させるとともに、練習者音声データのピッチの時間的な変化を示すグラフＡ２を表示部１６に表示させる。また、ＣＰＵ１１は、メロディデータのピッチの時間的な変化を示すグラフＡ３を表示部１６に表示させる。
また、ＣＰＵ１１は、ステップＳＡ２で検出した模範音声データとメロディデータとの対応関係と、歌詞データ記憶領域１４ｂに記憶された歌詞データとに基づいて歌詞Ｗ１を表示させ、また、ステップＳ６で検出した練習者音声データとメロディデータとの対応関係と、歌詞データ記憶領域１４ｂに記憶された歌詞データとに基づいて歌詞Ｗ２を表示させる。
さらに、ＣＰＵ１１は、模範技法データの種別情報と区間情報とに基づいて、模範音声において各歌唱技法が用いられている区間と対応する歌詞の文字の近傍に、当該種別情報と対応する歌唱技法を示すアイコンＩ１，Ｉ２を表示させる。また、ＣＰＵ１１は、ステップＳＡ１１で読み出した指摘コメントＣ１，Ｃ２と指導コメントＣ１１，Ｃ１２とを、表示されている歌詞情報の該当部分に表示させる。
【００２９】
このように、楽曲練習装置１のＣＰＵ１１は、練習者音声データが模範音声データに対して所定量以上の隔たりが検出された場合には、該練習者音声データの該当箇所を修正領域として特定し、その修正領域における練習者音声データの模範音声データに対する隔たりの態様に応じてコメントテーブルから指摘コメントを選択して表示させるから、曲中のどの箇所がどのように悪いかを練習者に指摘することができる。
【００３０】
また、楽曲練習装置１のＣＰＵ１１は、練習者音声データが模範音声データに対して所定量以上の隔たりが検出された場合には、該練習者音声データの該当箇所を修正領域として特定し、その修正領域における練習者音声データの模範音声データに対する隔たりの態様に応じてコメントテーブルから指導コメントを選択して表示させるから、歌唱方法をどのように修正すればよいかを練習者に指導することができる。
【００３１】
図７（ａ）に示す画面において、練習者は、その修正領域における模範音声または練習者音声を再生する旨を、操作部１７を用いて指示することができる。これは例えば、図７（ａ）に示すような、「先生の歌唱を聴く場合は該当数値とＡを押してください」や、「あなたの歌唱を聴く場合は該当数値とＢを押してください」といった、操作を促すメッセージＭ１を表示するようにし、また、図７（ｂ）に示すような、０〜９のテンキーＢ１０と「Ａ」，「Ｂ」を選択できる操作ボタンＢ１１，Ｂ１２とを備える操作部１７を操作して練習者が指示するようにすればよい。
練習者が操作部１７を操作することによって指示されると、その指示内容を示す信号が操作部１７からＣＰＵ１１に入力される。ＣＰＵ１１は、模範音声の再生指示を示す信号が入力されたことを検知した場合は、選択されたＩＤ（番号）に対応する修正領域について、模範音声データのうちの当該修正領域に対応するデータを、音声処理部１９に供給する。音声処理部１９は、供給された信号に応じてスピーカ２０から音を放音する。一方、練習者音声の再生指示を示す信号が入力されたことを検知した場合は、ＣＰＵ１１は、練習者音声データから修正領域に対応するデータを抽出して、音声処理部１９に供給する。音声処理部１９は、供給された信号に応じてスピーカ２０から音を放音する。
このように、ＣＰＵ１１が、修正領域における模範音声または練習者音声を音声処理部１９を介してスピーカ２０に放音させるから、練習者は、模範音声と練習者音声とを聴き比べることができる。
【００３２】
また、図８は、表示部１６に表示される画面の他の例を示す図である。この画面においては、練習者は、「指摘箇所を練習する」、「自動で繰り返し練習する」、「先生の歌唱を聴く」、「あなたの音声を聴く」のいずれかを、操作部１７を用いて選択することができる。練習者によって操作部１７が操作されると、操作部１７は、操作された内容に応じた信号をＣＰＵ１１に出力することによって各処理を指示する。例えば、「指摘箇所を練習する」を選択する操作が行われた場合は、操作部１７は、図５のステップＳＡ９，ＳＡ１０において特定した修正領域から伴奏を開始させることをＣＰＵ１１に指示する。
【００３３】
操作部１７から信号が入力されると、ＣＰＵ１１は、入力された信号に応じた処理を実行する。例えば、「指摘箇所を練習する」旨の信号が入力された場合、すなわち、操作部１７を介して伴奏の開始が指示された場合は、ＣＰＵ１１は、図５のステップＳＡ９，ＳＡ１０において特定した修正領域であって、選択されたＩＤ（番号）に対応する修正領域に対応する伴奏データを伴奏データ記憶領域１４ａから読み出して、伴奏データ信号を生成して音声処理部１９に出力する。音声処理部１９は、供給された信号に応じてスピーカ２０から伴奏音を放音する。
このように、修正領域に対応する伴奏データを楽曲練習装置１が再生することによって、練習者は、模範音声と自身の歌唱との相違箇所の歌唱を練習することができる。
【００３４】
一方、「自動で繰り返し練習する」旨の信号が入力された場合は、ＣＰＵ１１は、音声処理部１９を介して、伴奏データのうち修正領域に対応する伴奏データの示す伴奏をスピーカ２０から繰り返し放音させる。「先生の歌唱を聴く」、または「あなたの音声を聴く」が選択された場合は、ＣＰＵ１１は、音声処理部１９を介して、修正領域に対応する模範音声データまたは練習者音声データを、スピーカ２０から放音させる。
【００３５】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（１）上述した実施形態においては、楽曲構成データ（歌詞データ、メロディデータ）に加えて、模範音声データを示すグラフＡ１と練習者音声データを示すグラフＡ２（図７参照）とを表示部１６に表示させるようにした。これに代えて、模範音声データや練習者音声データを表示させずに、楽曲構成データのみを表示させるようにしてもよい。
図９は、模範音声データと練習者音声データとを表示させずに、楽曲構成データ（歌詞データとメロディデータ）を表示させる場合の画面の一例を示す図である。図９に示す例においては、楽曲練習装置のＣＰＵは、メロディデータのピッチの時間的な変化を示すグラフＡ３を表示させるとともに、記憶部に記憶された歌詞データに基づいて歌詞Ｗ３を表示部に表示させ、また、コメントＣ１１，Ｃ１２を表示されている歌詞Ｗ３の該当部分に表示させる。
図９に示す例においては、模範音声データを記憶部に記憶させておく必要はなく、メロディデータのみを記憶部に記憶させておけばよい。
なお、このとき、図９に示すように、メロディデータのピッチの変化に対応する位置関係で歌詞Ｗ３の文字のそれぞれを表示させるようにしてもよい。また、上述した実施形態と同様に、模範音声において各歌唱技法が用いられている区間と対応する歌詞の文字の近傍に、各歌唱技法を示すアイコンＩ１，Ｉ２を表示させるようにしてもよい。
【００３６】
（２）上述した実施形態においては、楽曲を構成し、楽曲の進行に従った内容を示すデータを有する楽曲構成データとして、歌詞データとメロディデータとを用いて、これら双方を表示部に表示させるようにしたが、楽曲構成データとしてこれら双方を用いる必要はなく、例えば、歌詞データのみを楽曲構成データとして用いてもよく、または、メロディデータのみを楽曲構成データとして用いてもよい。すなわち、歌詞データおよびメロディデータの少なくともいずれか一方を楽曲構成データとして用いればよい。
図１０は、歌詞データのみを楽曲構成データとして用いた場合に表示される画面の一例を示す図である。この場合、楽曲練習装置のＣＰＵは、図１０に示すように、記憶部に記憶された歌詞データに基づいて歌詞Ｗ４を表示させるとともに、コメントＣ１１，Ｃ１２を表示されている歌詞Ｗ４の該当部分に表示させる。
【００３７】
また、上述した実施形態においては、楽曲を構成し、楽曲の進行に従った内容を示すデータを有する楽曲構成データとして、歌詞データとメロディデータとを用いたが、楽曲構成データはこれに限定されるものではなく、例えば、楽曲において第何小節目であるかを示すデータや、第何フレーズ目であるかを示すデータ等であってもよい。すなわち、楽曲構成データは、楽曲を構成し、楽曲の進行に従った内容を示すデータであればどのようなものであってもよい。
【００３８】
（３）上述した実施形態においては、模範音声データと練習者音声データとを比較して修正領域を特定する（図５のステップＳＡ９参照）とともに、模範技法データと練習者技法データとを比較して修正領域を特定する（図５のステップＳＡ１０参照）ようにした。これに代えて、模範技法データと模範音声データのいずれか一方を用いて修正領域を特定してもよい。すなわち、図５のステップＳＡ９とステップＳＡ１０のいずれか一方の処理を行って修正領域を特定するようにしてもよい。
【００３９】
（４）上述した実施形態においては、歌詞の文字単位毎の区間を単位として修正領域を特定するようにしたが、修正領域の単位はこれに限定されるものではなく、例えば、音符、小節または予め決められた複数の小節を単位として修正領域を特定するようにしてもよい。または、楽曲の冒頭からの絶対時刻の修正領域を特定するようにしてもよい。
【００４０】
（５）上述した実施形態においては、コメント文として指摘コメントと指導コメントとの両方を表示部１６に表示させるようにしたが、どちらか一方のみを表示させてもよい。
【００４１】
（６）上述した実施形態においては、歌詞データを予め記憶部に記憶させておくようにしたが、これに代えて、楽曲練習装置のＣＰＵが、音声データに対して音声認識処理を施して、音声データから歌詞データを自動的に生成するようにしてもよい。この場合は、ＣＰＵが、メロディデータと、音声データから抽出したピッチとを照合させて、どの歌詞がどのタイミングで歌われているかを自動的に割り付けるようにすればよい。
【００４２】
（７）上述した実施形態においては、記憶部１４の模範音声データ記憶領域１４ｅに記憶される音声データはＷＡＶＥ形式やＭＰ３形式のデータとしたが、データの形式はこれに限定されるものではなく、音声を示すデータであればどのような形式のデータであってもよい。
また、上述した実施形態においては、模範音声データを記憶部１４に記憶させて、楽曲練習装置１のＣＰＵ１１が記憶部１４から模範音声データを読み出すようにしたが、これに代えて、通信ネットワークを介して音声データを受信するようにしてもよい。要するに、模範音声データをＣＰＵ１１に入力するようにすればよい。このようにすれば、所望の歌手の音声データをダウンロードして用いることができるから、練習者は、その歌手の歌唱技法と自身の歌唱技法とを比較することができ、所望の歌手の歌唱技法を真似て歌唱することが容易になる。
【００４３】
（８）上述した実施形態においては、練習者データとして、入力される練習者の歌唱を示す練習者音声データと、練習者音声に用いられている技法の種類とタイミングを示す練習者技法データとを用い、また、模範データとして、楽曲の歌唱の模範として用いられる模範音声データと、模範となる歌唱に用いられている技法の種類とタイミングを示す模範技法データを用いた。本発明における練習者データと模範データとはこれに限定されるものではなく、楽器の演奏音を表す音声データにも適用することができる。すなわち、練習者データは、入力される楽器の演奏音を表すデータであり、模範データは、模範として用いられる楽器の演奏音を表すデータであってもよい。なお、この場合は、練習者の演奏技法（例えば、ビブラート、息継ぎ、ため等）を示す技法データと練習者データとして、また、模範演奏の演奏技法を示す技法データを模範データとして用いるようにしてもよい。
【００４４】
（９）上述した実施形態では、楽曲練習装置１が、本実施形態に係る修正領域特定処理等を行うようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態の楽曲練習装置１を実現するようにしてもよい。例えば、マイクロフォンやスピーカ、表示装置および入力装置等を備えるコンピュータ装置と、修正領域特定処理を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、コンピュータ装置が、マイクロフォンから入力された音声を音声データに変換してサーバ装置に送信し、サーバ装置が、受信した音声データと模範音声データとの比較処理を行って修正領域を特定し、修正領域を示す修正領域データをコンピュータ装置に送信するようにすればよい。
【００４５】
（１０）上述した実施形態における楽曲練習装置１のＣＰＵ１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フロッピー（登録商標）ディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由で楽曲練習装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４６】
【図１】楽曲練習装置のハードウェア構成の一例を示すブロック図である。
【図２】コメントテーブルの内容の一例を示す図である。
【図３】模範技法データの内容の一例を示す図である。
【図４】修正領域データの内容の一例を示す図である。
【図５】楽曲練習装置の制御部が行う処理の流れを示すフローチャートである。
【図６】ファルセットの検出処理を説明するための図である。
【図７】楽曲練習装置の表示部に表示される画面の一例を示す図である。
【図８】楽曲練習装置の表示部に表示される画面の一例を示す図である。
【図９】楽曲練習装置の表示部に表示される画面の一例を示す図である。
【図１０】楽曲練習装置の表示部に表示される画面の一例を示す図である。
【符号の説明】
【００４７】
１…楽曲練習装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１５…バス、１６…表示部、１７…操作部、１８…マイクロフォン、１９…音声処理部、２０…スピーカ。
【特許請求の範囲】
【請求項１】
入力される練習者の音声を練習者データとして出力する入力手段と、
模範データが記憶された模範データ記憶手段と、
前記模範データ記憶手段に記憶された模範データと前記入力手段から出力された練習者データとを比較し、前記練習者データが前記模範データに対して所定量以上の隔たりがある場合は、前記練習者データの当該箇所を修正領域として特定する修正領域特定手段と、
コメント文を複数記憶したコメント文記憶手段と、
前記修正領域特定手段が特定した箇所における練習者データの前記模範データに対する隔たりの態様に応じて前記コメント文記憶手段からコメント文を選択して読み出すコメント文読出手段と、
楽曲を構成し、楽曲の進行に従った内容を示すデータを有する楽曲構成データを記憶する楽曲構成データ記憶手段と、
楽曲構成データ記憶手段から前記楽曲構成データを読み出して表示装置に表示させるとともに、前記コメント読出手段が読み出したコメント文を、前記表示装置に表示されている楽曲構成データにおける前記修正領域特定手段が特定した修正領域に該当する部分に表示させる表示制御手段と
を具備することを特徴とする楽曲練習装置。
【請求項２】
前記模範データは、模範となる歌唱の模範音声データであることを特徴とする請求項１記載の楽曲練習装置。
【請求項３】
前記表示制御手段は、前記楽曲構成データに加えて、前記模範データまたは前記練習者データの少なくともいずれか一方を前記表示装置に表示させることを特徴とする請求項１または２記載の楽曲練習装置。
【請求項４】
前記模範データは、模範となる歌唱に用いられている技法の種類とタイミングを示す技法データであることを特徴とする請求項１記載の楽曲練習装置。
【請求項５】
前記練習者データは、入力される楽器の演奏音を表すデータであり、前記模範データは、模範として用いられる楽器の演奏音を表すデータであることを特徴とする請求項１記載の楽曲練習装置。
【請求項６】
前記楽曲構成データは、前記楽曲の歌詞を示す歌詞データまたは前記楽曲のメロディの音階を示すメロディデータの少なくともいずれか一方であることを特徴とする請求項１から５いずれかに記載の楽曲練習装置。
【請求項７】
修正領域特定手段によって特定される前記修正領域は、音符、小節または予め決められた複数の小節を単位として特定されることを特徴とする請求項１から６いずれかに記載の楽曲練習装置。
【請求項８】
前記楽曲の伴奏楽音を構成する伴奏データを記憶する伴奏データ記憶手段と、
前記修正領域特定手段が特定した修正領域から伴奏を開始させることを指示する指示手段と、
前記指示手段によって伴奏の開始が指示された場合に、前記修正領域特定手段が特定した修正領域に対応する部分の伴奏データを前記伴奏データ記憶手段から読み出して、伴奏音信号を生成する伴奏音信号生成手段と
を具備することを特徴とする請求項１から７いずれかに記載の楽曲練習装置。
【請求項１】
入力される練習者の音声を練習者データとして出力する入力手段と、
模範データが記憶された模範データ記憶手段と、
前記模範データ記憶手段に記憶された模範データと前記入力手段から出力された練習者データとを比較し、前記練習者データが前記模範データに対して所定量以上の隔たりがある場合は、前記練習者データの当該箇所を修正領域として特定する修正領域特定手段と、
コメント文を複数記憶したコメント文記憶手段と、
前記修正領域特定手段が特定した箇所における練習者データの前記模範データに対する隔たりの態様に応じて前記コメント文記憶手段からコメント文を選択して読み出すコメント文読出手段と、
楽曲を構成し、楽曲の進行に従った内容を示すデータを有する楽曲構成データを記憶する楽曲構成データ記憶手段と、
楽曲構成データ記憶手段から前記楽曲構成データを読み出して表示装置に表示させるとともに、前記コメント読出手段が読み出したコメント文を、前記表示装置に表示されている楽曲構成データにおける前記修正領域特定手段が特定した修正領域に該当する部分に表示させる表示制御手段と
を具備することを特徴とする楽曲練習装置。
【請求項２】
前記模範データは、模範となる歌唱の模範音声データであることを特徴とする請求項１記載の楽曲練習装置。
【請求項３】
前記表示制御手段は、前記楽曲構成データに加えて、前記模範データまたは前記練習者データの少なくともいずれか一方を前記表示装置に表示させることを特徴とする請求項１または２記載の楽曲練習装置。
【請求項４】
前記模範データは、模範となる歌唱に用いられている技法の種類とタイミングを示す技法データであることを特徴とする請求項１記載の楽曲練習装置。
【請求項５】
前記練習者データは、入力される楽器の演奏音を表すデータであり、前記模範データは、模範として用いられる楽器の演奏音を表すデータであることを特徴とする請求項１記載の楽曲練習装置。
【請求項６】
前記楽曲構成データは、前記楽曲の歌詞を示す歌詞データまたは前記楽曲のメロディの音階を示すメロディデータの少なくともいずれか一方であることを特徴とする請求項１から５いずれかに記載の楽曲練習装置。
【請求項７】
修正領域特定手段によって特定される前記修正領域は、音符、小節または予め決められた複数の小節を単位として特定されることを特徴とする請求項１から６いずれかに記載の楽曲練習装置。
【請求項８】
前記楽曲の伴奏楽音を構成する伴奏データを記憶する伴奏データ記憶手段と、
前記修正領域特定手段が特定した修正領域から伴奏を開始させることを指示する指示手段と、
前記指示手段によって伴奏の開始が指示された場合に、前記修正領域特定手段が特定した修正領域に対応する部分の伴奏データを前記伴奏データ記憶手段から読み出して、伴奏音信号を生成する伴奏音信号生成手段と
を具備することを特徴とする請求項１から７いずれかに記載の楽曲練習装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−２３３０１３（Ｐ２００７−２３３０１３Ａ）
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願番号】特願２００６−５４１４７（Ｐ２００６−５４１４７）
【出願日】平成１８年２月２８日（２００６．２．２８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願日】平成１８年２月２８日（２００６．２．２８）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]