カラオケ装置、制御方法およびプログラム
【課題】練習者の歌唱（または演奏）とお手本の歌唱（または演奏）との違いを練習者が把握できる技術を提供する。
【解決手段】カラオケ装置１のＣＰＵ１１は、模範音声データに対して音声分析処理を行って、ピッチ、パワー、スペクトルを音声データから算出する。そして、ＣＰＵ１１は、伴奏データと模範音声データとの対応関係を検出し、この対応関係とピッチ、パワー、スペクトルに基づいて、その音声データにおいて歌唱技法が用いられている区間を検出し、検出した区間を示す区間情報とその歌唱技法を示す種別情報とを対応付けた模範技法データを生成して記憶部１４に記憶する。また、ＣＰＵ１１は、練習者の音声データに対しても同様の処理を行って練習者音声データを生成する。ＣＰＵ１１は、模範技法データと練習者技法データとを比較して、その相違箇所を表示させることによって練習者に報知する。
【解決手段】カラオケ装置１のＣＰＵ１１は、模範音声データに対して音声分析処理を行って、ピッチ、パワー、スペクトルを音声データから算出する。そして、ＣＰＵ１１は、伴奏データと模範音声データとの対応関係を検出し、この対応関係とピッチ、パワー、スペクトルに基づいて、その音声データにおいて歌唱技法が用いられている区間を検出し、検出した区間を示す区間情報とその歌唱技法を示す種別情報とを対応付けた模範技法データを生成して記憶部１４に記憶する。また、ＣＰＵ１１は、練習者の音声データに対しても同様の処理を行って練習者音声データを生成する。ＣＰＵ１１は、模範技法データと練習者技法データとを比較して、その相違箇所を表示させることによって練習者に報知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手本となる歌唱（または演奏）と、練習者の歌唱（または演奏）との違いを練習者に示す技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献１においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互相関を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。この方法によれば、歌唱者が「ため」や「ルバート」の歌唱技法を用いて歌唱した場合でも、歌唱タイミングをリファレンスのタイミングに合わせて比較して採点することができる。
【特許文献１】特開２００５−１０７３３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、歌唱者が楽譜に沿って機械的に歌を歌うことはほとんどなく、歌唱者の多くは、歌い始めや歌い終わりを意図的にずらしたり、ビブラートやこぶし等の歌唱技法を用いたりして歌のなかに感情の盛り上がり等を表現する。カラオケ装置の利用者のなかには、このような歌唱者の意図的なタイミングのずれや歌唱技法を真似て歌いたいという要望をもつ者もいる。これは楽器演奏についても同様である。
【０００４】
特許文献１に記載の技術は、歌唱タイミングをずらして採点を行うものであり、すなわち用いられた歌唱技法を相殺して採点を行うものであるから、手本となる歌唱（または演奏）で用いられている技法と、自分が用いている技法がどのように違っているかを知ることはできない。
本発明は上述した背景の下になされたものであり、練習者の歌唱（または演奏）とお手本の歌唱（または演奏）との違いを練習者が把握できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、前記練習者音声データから音声のピッチを算出するピッチ算出手段と、前記ピッチ算出手段により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、前記相違箇所特定手段により特定された相違箇所を報知する報知手段とを備えることを特徴とするカラオケ装置を提供する。
また、本発明は、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、前記練習者音声データから当該練習者音声データのスペクトルを算出するスペクトル算出手段と、前記スペクトル算出手段により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、前記相違箇所特定手段により特定された相違箇所を報知する報知手段とを備えることを特徴とするカラオケ装置を提供する。
また、本発明は、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、前記練習者音声データから当該練習者音声データのパワーを算出するパワー算出手段と、前記パワー算出手段により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、前記相違箇所特定手段により特定された相違箇所を報知する報知手段とを備えることを特徴とするカラオケ装置を提供する。
【０００６】
本発明の好ましい態様においては、前記予め決められた評価区間は、所定数の小節毎の区間、音符毎の区間、発音単位毎の区間または歌詞の文字単位毎の区間のいずれかであることを特徴とする。
また、本発明の好ましい態様においては、前記特定の技法は予め複数種類設定され、前記特定手段は区間を特定するとともに、当該区間において用いられている技法も特定し、前記記憶手段に記憶される模範技法データは区間と技法を示すデータであり、前記生成手段は特定された区間と技法を示す練習者技法データを生成し、前記相違箇所特定手段は前記技法の種類毎に相違箇所を特定し、前記報知手段は技法の種類毎にことなる態様で報知を行うことを特徴とする。
【０００７】
また、本発明の好ましい態様においては、前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を特定することを特徴とする。
本発明の別の好ましい態様においては、前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的に変化する区間を特定することを特徴とする。
本発明の別の好ましい態様においては、前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を特定することを特徴とする。
本発明の別の好ましい態様においては、前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定することを特徴とする。
本発明の別の好ましい態様においては、音声データから音声のピッチを算出するピッチ算出手段を設け、前記特定手段は、前記ピッチ算出手段が算出したピッチが所定の領域にあるときに、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定することを特徴とする。
本発明の別の好ましい態様においては、伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、前記特定手段は、前記対応関係検出手段によって検出された対応関係と、前記ピッチ算出手段によって算出されたピッチとに基づいて、前記音声データに含まれる音の開始時刻と当該音に対応する前記伴奏データの音の開始時刻とが異なる区間を特定することを特徴とする。
また、本発明の別の好ましい態様においては、伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、前記特定手段は、前記パワー算出手段によって算出されたパワーと、前記対応関係検出手段によって検出された対応関係とに基づいて、伴奏データが有音である区間であって音声データのパワーの値が閾値よりも小さい区間を特定することを特徴とする。
【０００８】
また、本発明の好ましい態様においては、模範音声データから音声のピッチを算出する模範音声ピッチ算出手段と、前記模範音声ピッチ算出手段により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段とを備えることを特徴とする。
本発明の別の好ましい態様においては、模範音声データから当該模範音声データのスペクトルを算出する模範音声スペクトル算出手段と、前記模範音声スペクトル算出手段により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段とを備えることを特徴とする。
本発明の別の好ましい態様においては、模範音声データから当該模範音声データのパワーを算出する模範音声パワー算出手段と、前記模範音声パワー算出手段により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段とを備えることを特徴とする。
また、本発明の更に好ましい態様においては、前記報知手段は、前記特定手段により特定された区間を報知するとともに、前記相違箇所特定手段により特定された相違箇所を報知することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、練習者の歌唱（または演奏）とお手本の歌唱（または演奏）との違いを練習者が把握することができる。
【発明を実施するための最良の形態】
【００１０】
＜Ａ：構成＞
図１は、この発明の一実施形態であるカラオケ装置１のハードウェア構成を例示したブロック図である。このカラオケ装置１は、伴奏データを再生して伴奏演奏信号を再生するとともに、歌唱者の音声を増幅して出力する。図において、１１はＣＰＵ（Central Processing Unit）である。１２はＲＯＭ（Read Only Memory）である。１３はＲＡＭ（Random Access Memory）である。１４は例えばハードディスクなどの大容量記憶装置で構成された記憶部である。ＣＰＵ１１は、ＲＯＭ１２または記憶部１４に記憶されているコンピュータプログラムを読み出して実行することにより、バス１５を介してカラオケ装置１の各部を制御する。１６は例えば液晶ディスプレイなどで構成される表示部であり、ＣＰＵ１１の制御の下、文字列や各種メッセージ、カラオケ装置１を操作するためのメニュー画面等を表示する。１７はキーボード等の入力装置を備える操作部であり、キーの押下等に応じて操作内容に対応した信号をＣＰＵ１１へ出力する。１８は音声を収音するマイクロフォンであり、１９は音声処理部である。マイクロフォン１８は音声処理部１９に接続されており、音声処理部１９は、マイクロフォン１８から入力される練習者（歌唱者）の音声を練習者音声データとしてＣＰＵ１１に出力する。２０は、音声処理部１９に接続されたスピーカであり、音声処理部１９から出力される信号に対応した音を出力する。
【００１１】
カラオケ装置１の記憶部１４は、図１に示すように、伴奏データ記憶領域１４ａと、模範音声データ記憶領域１４ｂと、模範技法データ記憶領域１４ｃと、歌詞データ記憶領域１４ｄと、練習者音声データ記憶領域１４ｅと、練習者技法データ記憶領域１４ｆとを有している。伴奏データ記憶領域１４ａには、例えばＭＩＤＩ（Musical Instruments Digital Interface）形式の伴奏データであってその曲の伴奏を行う各種楽器の音程（ピッチ）を示す情報が楽曲の進行に伴って記された伴奏データが記憶されている。次に、模範音声データ記憶領域１４ｂには、例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式などの音声データであって、伴奏データの表す伴奏に沿って手本となる歌唱者が歌った歌を表す音声データ（以下、「模範音声データ」）が記憶されている。また、歌詞データ記憶領域１４ｄには、模範音声データと対応する歌詞を示す歌詞データが記憶されている。
【００１２】
記憶部１４の模範技法データ記憶領域１４ｃには、模範音声データ記憶領域１４ｂに記憶された模範音声データの表す模範音声において特定の歌唱技法が用いられている区間とその歌唱技法とを示すデータ（以下、「模範技法データ」）が記憶される。
図２は、模範技法データの内容の一例を示す図である。図示のように、模範技法データは、「区間情報」と「種別情報」との各項目が互いに関連付けられている。これらの項目のうち、「区間情報」の項目には、模範音声データにおいて歌唱技法が用いられた区間を示す情報が記憶される。なお、この区間情報が示す区間は、開始時刻情報と終了時刻情報とによって表される時間幅を有した区間であってもよく、またはある１点の時刻を示すものであってもよい。
「種別情報」の項目には、予め複数種類設定された歌唱技法を識別する情報が記憶される。この「種別情報」は、例えば「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」、「息継ぎ」などの歌唱技法を識別する情報である。「ビブラート」は、音の高さをほんのわずかに連続的に上下させ、震えるような音色を出す技法を示す。「しゃくり」は、目的の音より低い音から発音し、音程を滑らかに目的の音に近づけていく技法を示す。「こぶし」は、装飾的に加えるうねるような節回しを行う技法を示す。「ファルセット」は、いわゆる「裏声」で歌う技法を示す。「つっこみ」は、歌い出しを本来のタイミングよりも早いタイミングにする技法を示す。「ため」は、歌い出しを本来のタイミングよりも遅いタイミングにする技法を示す。「息継ぎ」は、歌唱者が息継ぎをするタイミングを示すものである。
【００１３】
次に、記憶部１４の練習者音声データ記憶領域１４ｅには、マイクロフォン１８で収音される練習者の音声を表す音声データ（「以下、練習者音声データ」）が記憶される。また、練習者技法データ記憶領域１４ｆには、練習者音声データで用いられている歌唱技法を示すデータ（以下、「練習者技法データ」）が記憶される。この練習者技法データの構成は、上述した模範技法データの構成と同様であり、「区間情報」と「種別情報」との各項目が互いに関連付けられて構成されている。
なお、以下の説明においては、説明の便宜上、「模範音声データ」と「練習者音声データ」とを各々区別する必要がない場合には、これらを「音声データ」と称することとする。また、「模範技法データ」と「練習者技法データ」とを各々区別する必要がない場合には、これらを「技法データ」と称して説明する。
【００１４】
次に、カラオケ装置１のＣＰＵ１１がＲＯＭ１２または記憶部１４に記憶されたコンピュータプログラムを実行することによって実現する歌唱技法比較機能について説明する。
図３は、カラオケ装置１の歌唱技法比較機能に係るソフトウェア構成を示す図である。なお、図において、基礎分析部１１１、技法分析部１１２、対応箇所検出部１１３および比較・指導生成部１１４は、ＣＰＵ１１がＲＯＭ１２または記憶部１４に記憶されたコンピュータプログラムを読み出して実行することによって実現される。なお、図中の矢印は、データの流れを概略的に示したものである。
図において、基礎分析部１１１は、音声データ（模範音声データまたは練習者音声データ）を音声分析して、時刻に対応したピッチ、パワー（音量）、スペクトルを当該音声データから算出する処理を行う。
技法分析部１１２は、基礎分析部１１１によって算出されたピッチ、パワーおよびスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の歌唱技法が用いられている区間として特定し、特定した区間を示す技法データ（模範技法データまたは練習者技法データ）を生成する処理を行う。
対応箇所検出部１１３は、模範音声データと練習者音声データとの両者の波形を直接対比して、例えばＤＴＷ（Dynamic Time Warping）等により、模範音声データと練習者音声データとの時間的な対応付けをフレーム毎に行って対応箇所を検出する。
比較・指導生成部１１４は、模範技法データと練習者技法データとのタイミングを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する処理を行う。
【００１５】
＜Ｂ：動作＞
次に、この実施形態の動作について、図４に示すフローチャートを参照しつつ以下に説明する。
まず、練習者は、カラオケ装置１の操作部１７を操作して、歌唱技法比較処理の開始を指示する旨の指示情報を入力する。カラオケ装置１のＣＰＵ１１は、指示情報が入力されたことを検知すると、模範音声データを記憶部１４から読み出し、読み出した模範音声データに対して音声分析処理を行い、時刻に対応したピッチ、パワー、スペクトルを模範音声データから算出する（ステップＳＡ１）。続けて、ＣＰＵ１１は、模範音声データと伴奏データとを所定のフレーム単位で解析し、模範音声データと伴奏データとの時間的な対応関係を検出する（ステップＳＡ２）。
次に、ＣＰＵ１１は、模範音声データから算出されたピッチ、パワーおよびスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の歌唱技法が用いられている区間として特定する。そして、ＣＰＵ１１は、特定した区間の区間情報を、その歌唱技法を示す種別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｃに記憶する（ステップＳＡ３）。
【００１６】
ここで、ステップＳＡ３に示す、各歌唱技法が用いられている区間の特定処理について以下に説明する。本実施形態においては、ＣＰＵ１１は、「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」および「息継ぎ」の各歌唱技法が用いられている区間を特定（検出）する。これらのうち、「ビブラート」および「しゃくり」は模範音声データから算出されたピッチに基づいて検出する。また、「こぶし」および「ファルセット」は模範音声データから算出されたスペクトルに基づいて検出する。また、「ため」および「つっこみ」は、模範音声データから算出されたピッチと伴奏データとに基づいて検出する。また、「息継ぎ」は、模範音声データから算出されたパワーと伴奏データとに基づいて検出する。
【００１７】
ＣＰＵ１１は、模範音声データと伴奏データとの対応関係と、模範音声データから算出されたピッチとに基づいて、模範音声データに含まれる音の開始時刻と当該音に対応する伴奏データの音の開始時刻とが異なる区間を特定する。ここで、ＣＰＵ１１は、模範音声データのピッチの変化タイミングが伴奏データのピッチの変化タイミングよりも早く現れている区間、すなわち模範音声データに含まれる音の開始時刻が当該音に対応する伴奏データの音の開始時刻よりも早い区間については、この区間を「つっこみ」の歌唱技法が用いられている区間であると特定する。ＣＰＵ１１は、特定した区間の区間情報を、「つっこみ」を示す識別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｃに記憶する。
逆に、ＣＰＵ１１は、模範音声データと伴奏データとの対応関係と、模範音声データから算出されたピッチとに基づいて、模範音声データのピッチの変化タイミングが伴奏データのピッチの変化タイミングよりも遅れて現れている区間、すなわち模範音声データに含まれる音の開始時刻が当該音に対応する伴奏データの音の開始時刻よりも遅い区間を検出し、検出した区間を「ため」の歌唱技法が用いられている区間であると特定する。
【００１８】
また、ＣＰＵ１１は、模範音声データから算出したピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を検出し、検出した区間を「ビブラート」の歌唱技法が用いられている区間であると特定する。
【００１９】
また、ＣＰＵ１１は、模範音声データから算出したピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的にピッチが変化する区間を検出し、検出した区間を「しゃくり」の歌唱技法が用いられている区間であると特定する。なお、この処理は、伴奏データとの対応関係に基づいて行うようにしてもよい。すなわち、ＣＰＵ１１は、模範音声データと伴奏データとの対応関係に基づいて、模範音声データのピッチが、低いピッチから連続的に伴奏データのピッチに近づいている区間を検出すればよい。
【００２０】
また、ＣＰＵ１１は、模範音声データと伴奏データとの対応関係と、模範音声データから算出されたパワーとに基づいて、伴奏データが有音である区間であって模範音声データのパワー値が所定の閾値よりも小さい区間を検出し、検出した箇所を「息継ぎ」の区間であると特定する。
【００２１】
また、ＣＰＵ１１は、模範音声データから算出されたスペクトルの時間的な変化パターンを解析して、スペクトル特性がその予め決められた変化状態に急激に遷移している区間を検出し、検出した区間を「ファルセット」の歌唱技法が用いられている区間であると特定する。ここで、予め決められた変化状態とは、スペクトル特性の高調波成分が極端に少なくなる状態である。例えば、図５に示すように、地声の場合は沢山の高調波成分が含まれるが（同図（ａ）参照）、ファルセットになると高調波成分の大きさが極端に小さくなる（同図（ｂ）参照）。なお、この場合、ＣＰＵ１１は、ピッチが大幅に上方に変化したかどうかも参照してもよい。ファルセットは地声と同一のピッチを発生する場合でも用いられることもあるが、一般には地声では発声できない高音を発声するときに使われる技法だからである。したがって、音声データのピッチが所定音高以上の場合に限って「ファルセット」の検出をするように構成してもよい。また、男声と女声とでは一般にファルセットを用いる音高の領域が異なるので、音声データの音域や、音声データから検出されるフォルマントによって性別検出を行い、この結果を踏まえてファルセット検出の音高領域を設定してもよい。
また、ＣＰＵ１１は、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を検出し、検出した部分を「こぶし」の歌唱技法が用いられている部分であると特定する。「こぶし」の場合は、短い区間において声色や発声方法を変えて唸るような味わいを付加する歌唱技法であるため、この技法が用いられている区間においてはスペクトル特性が多様に変化するからである。
以上のようにして、ＣＰＵ１１は、模範音声データから各歌唱技法が用いられている区間を検出し、検出した区間を示す区間情報をその歌唱技法を示す種別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｃに記憶する。
【００２２】
図４の説明に戻る。カラオケ装置１のＣＰＵ１１は、模範技法データの生成処理を終える（ステップＳＡ３）と、伴奏データを読み出して、読み出した伴奏データを音声処理部１９に供給し、音声処理部１９は、供給された伴奏データをアナログ信号に変換して伴奏データの表す音声をスピーカ２０から発音させる。なお、このとき、ＣＰＵ１１が表示部１６を制御して、例えば「伴奏に合わせて歌唱してください」といった、歌唱を促すメッセージを表示するようにしてもよい。
【００２３】
練習者は、スピーカ２０から発音される伴奏に併せて歌唱を行う。練習者によって歌唱が行われると、練習者の音声がマイクロフォン１８によって音声信号に変換され、変換された信号が音声処理部１９へ出力される。音声処理部１９は、マイクロフォン１８から出力された音声信号をデジタルデータに変換して練習者音声データとする（ステップＳＡ４）。この練習者音声データは、音声処理部１９から出力されて記憶部１４の練習者音声データ記憶領域１４ｅに記憶される。
【００２４】
伴奏データの再生が終了すると、カラオケ装置１のＣＰＵ１１は、練習者音声データ記憶領域１４ｅに記憶された練習者音声データに対して基礎分析処理を行って、ピッチ、パワー、スペクトルを算出する（ステップＳＡ５）。また、カラオケ装置１のＣＰＵ１１は、練習者音声データと伴奏データとを所定のフレーム単位で解析し、練習者音声データと伴奏データとの時間的な対応関係を検出する（ステップＳＡ６）。続けて、ＣＰＵ１１は、練習者音声データから練習者技法データを生成する（ステップＳＡ７）。これらのステップＳＡ５〜ＳＡ７に示した処理と、上述したステップＳＡ２〜ＳＡ４に示した処理が異なる点は、処理対象となる音声データが異なる点である。すなわち、ステップＳＡ２〜ステップＳＡ４では模範音声データに対して処理を行い、ステップＳＡ５〜ＳＡ７では練習者音声データに対して処理が行われるものの、その処理内容については同様であるため、ステップＳＡ５〜ステップＳＡ７についてはその詳細な説明を省略する。
【００２５】
次に、カラオケ装置１のＣＰＵ１１は、模範音声データと練習者音声データとの両者の波形同士を直接対比して、例えばＤＴＷ等により、模範音声データと、練習者音声データとの時間的な対応付けをフレーム毎に行い、両者の対応箇所を検出する（ステップＳＡ８）。
【００２６】
続けて、カラオケ装置１のＣＰＵ１１は、ステップＳＡ８で検出した対応箇所に基づいて、生成された練習者技法データと記憶部１４の模範技法データ記憶領域１４ｃに記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め定められた評価区間毎に相違箇所として特定する。（ステップＳＡ９）。具体的には、例えば、ＣＰＵ１１は、記憶部１４の模範技法データ記憶領域１４ｃに記憶された模範技法データをひとつずつ読み出して、読み出した模範技法データと対応する練習者技法データを練習者技法データ記憶領域１４ｆから検索し、歌詞の文字単位毎の区間を評価区間として、模範技法データの区間情報と練習者技法データの区間情報とが所定量以上隔たっている評価区間を相違箇所として特定する。このようにして相違箇所を特定することによって、模範音声で歌唱技法が用いられている区間と練習者音声で歌唱技法が用いられている区間とに時間的なずれがある相違箇所を特定することができ、また、模範音声で歌唱技法が用いられている区間であって練習者音声で歌唱技法が用いられていない区間についても、この区間を相違箇所として特定することができる。
【００２７】
相違箇所を特定すると、カラオケ装置１のＣＰＵ１１は、特定した相違箇所を示す相違箇所情報を表示部１６に供給して、特定した相違箇所を表示部１６に表示させることによって、練習者に相違箇所を報知する（ステップＳＡ１０）。
図６は、カラオケ装置１の表示部１６に表示される画面の一例を示す図である。カラオケ装置１のＣＰＵ１１は、記憶部１４の歌詞データ記憶領域１４ｄに記憶された歌詞データに基づいて歌詞Ａ１を表示させる。また、ＣＰＵ１１は、模範技法データの種別情報と区間情報とに基づいて、模範音声において各歌唱技法が用いられている区間と対応する歌詞の文字の近傍に、当該種別情報と対応する歌唱技法を示すアイコンＩ１〜Ｉ３を表示させる。また、ＣＰＵ１１は、ステップＳＡ９において特定した相違箇所（評価区間）に対応する歌詞の文字の色や太さを他の文字と異ならせる等、相違箇所に対応する文字の表示態様を他の文字と異ならせて表示させることによって、相違箇所を報知する。図６に示す例においては、画面に表示された「ぽ」と「い」の文字が、他の文字よりも太く表示されており、これらの文字と対応する区間が模範音声と相違していることを示している。
【００２８】
図６に示す画面において、練習者は、操作部１７を操作して、相違箇所についての詳細を表示する旨を指示することができる。この処理は、例えば、ＣＰＵ１１が、図６に示す画面にボタンＢ１を表示させ、このボタンＢ１が操作部１７のマウス等によりクリックされることによって指示されるようにすればよい。
指示情報が入力されたことを検知すると、カラオケ装置１のＣＰＵ１１は、例えば図７に示すような、相違箇所についての詳細を示す画面を表示部１６に表示させる。
図７において、カラオケ装置１のＣＰＵ１１は、記憶部１４に記憶された歌詞データに基づいて歌詞Ａ２を表示させ、また、模範音声データに基づいて、歌詞Ａ２に対応する模範音声データのピッチの時間的変化を示すグラフＡ３を表示させる。また、ＣＰＵ１１は、練習者音声データに基づいて、当該練習者音声データのピッチの時間的変化を示すグラフＡ４を表示させる。また、図７に示す例においては、グラフＡ３，Ａ４において特定した相違箇所と対応する部分に丸印Ａ５１，Ａ５２を表示させることによって、相違箇所を報知している。なお、図７に示す例においては、相違箇所以外についても、模範音声と練習者音声とのそれぞれで用いられている歌唱技法が一致している箇所についても、丸印Ａ５３を表示させている。なお、この場合は、相違箇所とそれ以外の箇所とを例えば異なる色で表示させる等して区別するようにすればよい。
【００２９】
このように本実施形態においては、模範技法データと練習者技法データとを比較して、模範音声の歌唱技法と練習者音声の歌唱技法との相違箇所を表示するから、練習者は、模範音声と自分の音声との歌唱技法の違いを視覚的に把握することができる。これにより、練習者は、どのタイミングで歌唱技法を用いればいいかといった歌唱ポイントを把握することができるとともに、自分の歌唱をどのように修正すればよいか（例えば、ビブラートをもう少し長く用いる、等）を、視覚的に把握することができる。
【００３０】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（１）上述した実施形態においては、模範音声データから歌唱技法が用いられている区間を検出して模範技法データを生成するようにした。これに代えて、模範音声データそのものは記憶させておかずに、模範技法データを予め記憶部に記憶させておき、記憶された模範技法データを用いて比較処理を行うようにしてもよい。この場合は、模範技法データの生成処理（図４のステップＳＡ１〜ステップＳＡ３の処理）を行う必要はない。この場合は、練習者によって歌唱が行われると、ＣＰＵ１１は、上述した実施形態と同様に、練習者歌唱データから練習者技法データを生成し、練習者技法データと記憶部に記憶された模範技法データとを比較して、予め決められた評価区間毎に相違箇所を特定する。
【００３１】
または、模範音声データそのものは記憶させておかずに、基礎分析データ（ピッチ、パワー、スペクトル）を予め記憶部に記憶させておくようにしてもよい。この場合は、記憶された基礎分析データから模範技法データを生成すればよく、模範音声データの音声分析処理（図４のステップＳＡ１の処理）を行う必要はない。
【００３２】
（２）上述した実施形態においては、音声データ（模範音声データまたは練習者音声データ）から歌唱技法が用いられている区間を検出して技法データ（模範技法データまたは練習者技法データ）を生成するようにしたが、本発明における音声データは、歌唱者の音声を表す音声データに限定されるものではなく、楽器の演奏を表す音声データにも適用することができる。この場合も、カラオケ装置のＣＰＵが、楽器の演奏データから演奏技法（例えば、ビブラート、息継ぎ、ため等）が用いられている区間を、上述した実施形態と同様の方法で検出して、検出した区間を示す技法データを生成するようにすればよい。すなわち、音声データは、人の歌声を表す音声データであってもよく、楽器の演奏音を表す音声データであってもよい。また、技法データ（模範技法データおよび練習者技法データ）は、歌唱における技法を表す技法データであってもよく、または、楽器の演奏技法を表す技法データであってもよい。
【００３３】
（３）上述した実施形態においては、歌詞データを予め記憶部に記憶させておくようにしたが、これに代えて、カラオケ装置のＣＰＵが、音声データに対して音声認識処理を施して、音声データから歌詞データを自動的に生成するようにしてもよい。この場合は、ＣＰＵが、伴奏データと、音声データから抽出したピッチとを照合させて、どの歌詞がどのタイミングで歌われているかを自動的に割り付けるようにすればよい。
【００３４】
（４）上述した実施形態においては、記憶部１４の模範音声データ記憶領域１４ｂに記憶される音声データはＷＡＶＥ形式やＭＰ３形式のデータとしたが、データの形式はこれに限定されるものではなく、音声を示すデータであればどのような形式のデータであってもよい。
また、上述した実施形態においては、模範音声データを記憶部１４に記憶させて、カラオケ装置１のＣＰＵ１１が記憶部１４から模範音声データを読み出すようにしたが、これに代えて、通信ネットワークを介して音声データを受信するようにしてもよい。要するに、模範音声データをＣＰＵ１１に入力するようにすればよい。このようにすれば、所望の歌手の音声データをダウンロードして用いることができるから、練習者は、その歌手の歌唱技法と自身の歌唱技法とを比較することができ、所望の歌手の歌唱技法を真似て歌唱することが容易になる。
【００３５】
（５）上述した実施形態においては、歌唱技法として「ビブラート」や「ため」等を検出するようにしたが、検出する歌唱技法（または演奏技法）は上述した実施形態において示したものに限定されるものではなく、例えば、スタッカートやクレッシェンド（デクレッシェンド）等であってもよい。具体的には、音声データから検出したパワーがある短い一定期間の間だけ強く現れる区間をスタッカートとして検出するようにしてもよい。また、パワーデータ値が連続的に徐々に大きくなる（小さくなる）区間をクレッシェンド（デクレッシェンド）として検出するようにしてもよい。要するに、音声データから算出されたピッチやスペクトル、パワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定すればよい。
【００３６】
（６）上述した実施形態においては、練習者が歌唱した後で、練習者の歌唱技法と模範音声の歌唱技法とを比較して、両者の相違箇所を報知するようにしたが、模範音声で用いられている歌唱技法（または演奏技法）を、練習者が歌唱する際にリアルタイムで表示しておくようにしてもよい。この場合に表示される画面の一例を図８に示す。図８に示す例においては、カラオケ装置のＣＰＵは、記憶部に記憶された歌詞データＡ１１に基づいて歌詞を表示させるとともに、模範技法データに基づいて、模範音声において各歌唱技法が用いられている区間と対応する文字の近傍に、その歌唱技法を示すアイコンＩ４〜Ｉ７を表示させる。
このようにすれば、練習者は、歌唱する前に（または歌唱している最中に）模範音声で用いている歌唱技法（ビブラート、ため等）を視覚的に把握することができるから、お手本の歌唱技法を真似て歌いやすくなる。
【００３７】
（７）上述した実施形態においては、歌詞の文字単位毎の区間毎に相違箇所を特定するようにした。この相違箇所を特定する評価区間は、歌詞の文字単位毎の区間に限定されるものではなく、例えば、所定数の小節毎の区間や、音符毎の区間、発音単位毎の区間などであってもよい。または、楽曲の冒頭からの絶対時刻の相違箇所を特定するようにしてもよい。
【００３８】
（８）上述した実施形態においては、特定した相違箇所と対応する文字の表示態様を他の文字と異ならせて表示させることによって、相違箇所を報知するようにした。相違箇所の報知方法はこれに限定されるものではなく、例えば相違箇所と対応する歌詞の近傍にアイコンを表示させるようにしてもよい。または、例えば図６に示した歌唱技法を示すアイコンＩ１〜Ｉ３の表示態様を異ならせることによって相違箇所を報知するようにしてもよい。また、小節毎の区間を評価区間とする場合は、相違箇所と対応する小節の表示態様を他の小節の表示態様と異ならせて表示するようにしてもよく、または、相違箇所と対応する小節のみを表示するようにしてもよい。要するに、練習者に相違箇所を報知できる方法であればどのようなものであってもよい。
【００３９】
（９）上述した実施形態においては、「ビブラート」や「ため」等の複数種類の技法が予め設定され、ＣＰＵ１１は、区間を特定するとともに、当該区間において用いられている技法も特定し、技法データ（模範音声データおよび練習者音声データ）は区間と技法を示すデータであり、また、ＣＰＵ１１は、技法の種類毎に相違箇所を特定し、技法の種類毎にことなる態様（アイコン）で報知を行うようになっていた。複数種類の技法を予め設定する必要はなく、１種類の技法についてのみ比較を行うようにしてもよい。この場合は、技法データは、区間を示すデータのみでよい。
【００４０】
（１０）上述した実施形態では、カラオケ装置１が、本実施形態に係る技法データ生成処理や、相違箇所特定処理等を行うようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１を実現するようにしてもよい。例えば、マイクロフォンやスピーカ、表示装置および入力装置等を備えるコンピュータ装置と、技法データ生成処理や相違箇所特定処理を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、コンピュータ装置が、マイクロフォンから入力された音声を音声データに変換してサーバ装置に送信し、サーバ装置が、受信した音声データと模範音声データとの比較処理を行って相違箇所を特定し、相違箇所を示す相違箇所情報をコンピュータ装置に送信するようにすればよい。
【００４１】
（１１）上述した実施形態におけるカラオケ装置１のＣＰＵ１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フロッピー（登録商標）ディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４２】
【図１】カラオケ装置のハードウェア構成の一例を示すブロック図である。
【図２】模範技法データの内容の一例を示す図である。
【図３】カラオケ装置のソフトウェア構造の一例を示すブロック図である。
【図４】カラオケ装置の制御部が行う処理の流れを示すフローチャートである。
【図５】ファルセットの検出処理を説明するための図である。
【図６】カラオケ装置の表示部に表示される画面の一例を示す図である。
【図７】カラオケ装置の表示部に表示される画面の一例を示す図である。
【図８】カラオケ装置の表示部に表示される画面の一例を示す図である。
【符号の説明】
【００４３】
１…カラオケ装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１５…バス、１６…表示部、１７…操作部、１８…マイクロフォン、１９…音声処理部、２０…スピーカ、１１１…基礎分析部、１１２…技法分析部、１１３…対応箇所検出部、１１４…比較・指導生成部。
【技術分野】
【０００１】
本発明は、手本となる歌唱（または演奏）と、練習者の歌唱（または演奏）との違いを練習者に示す技術に関する。
【背景技術】
【０００２】
カラオケ装置においては、歌唱者の歌唱の巧拙を採点するための方法が種々提案されている。例えば、特許文献１においては、歌唱とそのお手本となるリファレンスを比較するにあたって、歌唱のタイミングとリファレンスのタイミングがずれている場合には、歌唱音声データとリファレンスデータを時間軸方向にずらして相互相関を求め、相互相関の最も高い位置で各音符について採点する方法が提案されている。この方法によれば、歌唱者が「ため」や「ルバート」の歌唱技法を用いて歌唱した場合でも、歌唱タイミングをリファレンスのタイミングに合わせて比較して採点することができる。
【特許文献１】特開２００５−１０７３３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、歌唱者が楽譜に沿って機械的に歌を歌うことはほとんどなく、歌唱者の多くは、歌い始めや歌い終わりを意図的にずらしたり、ビブラートやこぶし等の歌唱技法を用いたりして歌のなかに感情の盛り上がり等を表現する。カラオケ装置の利用者のなかには、このような歌唱者の意図的なタイミングのずれや歌唱技法を真似て歌いたいという要望をもつ者もいる。これは楽器演奏についても同様である。
【０００４】
特許文献１に記載の技術は、歌唱タイミングをずらして採点を行うものであり、すなわち用いられた歌唱技法を相殺して採点を行うものであるから、手本となる歌唱（または演奏）で用いられている技法と、自分が用いている技法がどのように違っているかを知ることはできない。
本発明は上述した背景の下になされたものであり、練習者の歌唱（または演奏）とお手本の歌唱（または演奏）との違いを練習者が把握できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明は、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、前記練習者音声データから音声のピッチを算出するピッチ算出手段と、前記ピッチ算出手段により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、前記相違箇所特定手段により特定された相違箇所を報知する報知手段とを備えることを特徴とするカラオケ装置を提供する。
また、本発明は、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、前記練習者音声データから当該練習者音声データのスペクトルを算出するスペクトル算出手段と、前記スペクトル算出手段により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、前記相違箇所特定手段により特定された相違箇所を報知する報知手段とを備えることを特徴とするカラオケ装置を提供する。
また、本発明は、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、前記練習者音声データから当該練習者音声データのパワーを算出するパワー算出手段と、前記パワー算出手段により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、前記相違箇所特定手段により特定された相違箇所を報知する報知手段とを備えることを特徴とするカラオケ装置を提供する。
【０００６】
本発明の好ましい態様においては、前記予め決められた評価区間は、所定数の小節毎の区間、音符毎の区間、発音単位毎の区間または歌詞の文字単位毎の区間のいずれかであることを特徴とする。
また、本発明の好ましい態様においては、前記特定の技法は予め複数種類設定され、前記特定手段は区間を特定するとともに、当該区間において用いられている技法も特定し、前記記憶手段に記憶される模範技法データは区間と技法を示すデータであり、前記生成手段は特定された区間と技法を示す練習者技法データを生成し、前記相違箇所特定手段は前記技法の種類毎に相違箇所を特定し、前記報知手段は技法の種類毎にことなる態様で報知を行うことを特徴とする。
【０００７】
また、本発明の好ましい態様においては、前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を特定することを特徴とする。
本発明の別の好ましい態様においては、前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的に変化する区間を特定することを特徴とする。
本発明の別の好ましい態様においては、前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を特定することを特徴とする。
本発明の別の好ましい態様においては、前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定することを特徴とする。
本発明の別の好ましい態様においては、音声データから音声のピッチを算出するピッチ算出手段を設け、前記特定手段は、前記ピッチ算出手段が算出したピッチが所定の領域にあるときに、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定することを特徴とする。
本発明の別の好ましい態様においては、伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、前記特定手段は、前記対応関係検出手段によって検出された対応関係と、前記ピッチ算出手段によって算出されたピッチとに基づいて、前記音声データに含まれる音の開始時刻と当該音に対応する前記伴奏データの音の開始時刻とが異なる区間を特定することを特徴とする。
また、本発明の別の好ましい態様においては、伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、前記特定手段は、前記パワー算出手段によって算出されたパワーと、前記対応関係検出手段によって検出された対応関係とに基づいて、伴奏データが有音である区間であって音声データのパワーの値が閾値よりも小さい区間を特定することを特徴とする。
【０００８】
また、本発明の好ましい態様においては、模範音声データから音声のピッチを算出する模範音声ピッチ算出手段と、前記模範音声ピッチ算出手段により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段とを備えることを特徴とする。
本発明の別の好ましい態様においては、模範音声データから当該模範音声データのスペクトルを算出する模範音声スペクトル算出手段と、前記模範音声スペクトル算出手段により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段とを備えることを特徴とする。
本発明の別の好ましい態様においては、模範音声データから当該模範音声データのパワーを算出する模範音声パワー算出手段と、前記模範音声パワー算出手段により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段とを備えることを特徴とする。
また、本発明の更に好ましい態様においては、前記報知手段は、前記特定手段により特定された区間を報知するとともに、前記相違箇所特定手段により特定された相違箇所を報知することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、練習者の歌唱（または演奏）とお手本の歌唱（または演奏）との違いを練習者が把握することができる。
【発明を実施するための最良の形態】
【００１０】
＜Ａ：構成＞
図１は、この発明の一実施形態であるカラオケ装置１のハードウェア構成を例示したブロック図である。このカラオケ装置１は、伴奏データを再生して伴奏演奏信号を再生するとともに、歌唱者の音声を増幅して出力する。図において、１１はＣＰＵ（Central Processing Unit）である。１２はＲＯＭ（Read Only Memory）である。１３はＲＡＭ（Random Access Memory）である。１４は例えばハードディスクなどの大容量記憶装置で構成された記憶部である。ＣＰＵ１１は、ＲＯＭ１２または記憶部１４に記憶されているコンピュータプログラムを読み出して実行することにより、バス１５を介してカラオケ装置１の各部を制御する。１６は例えば液晶ディスプレイなどで構成される表示部であり、ＣＰＵ１１の制御の下、文字列や各種メッセージ、カラオケ装置１を操作するためのメニュー画面等を表示する。１７はキーボード等の入力装置を備える操作部であり、キーの押下等に応じて操作内容に対応した信号をＣＰＵ１１へ出力する。１８は音声を収音するマイクロフォンであり、１９は音声処理部である。マイクロフォン１８は音声処理部１９に接続されており、音声処理部１９は、マイクロフォン１８から入力される練習者（歌唱者）の音声を練習者音声データとしてＣＰＵ１１に出力する。２０は、音声処理部１９に接続されたスピーカであり、音声処理部１９から出力される信号に対応した音を出力する。
【００１１】
カラオケ装置１の記憶部１４は、図１に示すように、伴奏データ記憶領域１４ａと、模範音声データ記憶領域１４ｂと、模範技法データ記憶領域１４ｃと、歌詞データ記憶領域１４ｄと、練習者音声データ記憶領域１４ｅと、練習者技法データ記憶領域１４ｆとを有している。伴奏データ記憶領域１４ａには、例えばＭＩＤＩ（Musical Instruments Digital Interface）形式の伴奏データであってその曲の伴奏を行う各種楽器の音程（ピッチ）を示す情報が楽曲の進行に伴って記された伴奏データが記憶されている。次に、模範音声データ記憶領域１４ｂには、例えばＷＡＶＥ形式やＭＰ３（MPEG Audio Layer-3）形式などの音声データであって、伴奏データの表す伴奏に沿って手本となる歌唱者が歌った歌を表す音声データ（以下、「模範音声データ」）が記憶されている。また、歌詞データ記憶領域１４ｄには、模範音声データと対応する歌詞を示す歌詞データが記憶されている。
【００１２】
記憶部１４の模範技法データ記憶領域１４ｃには、模範音声データ記憶領域１４ｂに記憶された模範音声データの表す模範音声において特定の歌唱技法が用いられている区間とその歌唱技法とを示すデータ（以下、「模範技法データ」）が記憶される。
図２は、模範技法データの内容の一例を示す図である。図示のように、模範技法データは、「区間情報」と「種別情報」との各項目が互いに関連付けられている。これらの項目のうち、「区間情報」の項目には、模範音声データにおいて歌唱技法が用いられた区間を示す情報が記憶される。なお、この区間情報が示す区間は、開始時刻情報と終了時刻情報とによって表される時間幅を有した区間であってもよく、またはある１点の時刻を示すものであってもよい。
「種別情報」の項目には、予め複数種類設定された歌唱技法を識別する情報が記憶される。この「種別情報」は、例えば「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」、「息継ぎ」などの歌唱技法を識別する情報である。「ビブラート」は、音の高さをほんのわずかに連続的に上下させ、震えるような音色を出す技法を示す。「しゃくり」は、目的の音より低い音から発音し、音程を滑らかに目的の音に近づけていく技法を示す。「こぶし」は、装飾的に加えるうねるような節回しを行う技法を示す。「ファルセット」は、いわゆる「裏声」で歌う技法を示す。「つっこみ」は、歌い出しを本来のタイミングよりも早いタイミングにする技法を示す。「ため」は、歌い出しを本来のタイミングよりも遅いタイミングにする技法を示す。「息継ぎ」は、歌唱者が息継ぎをするタイミングを示すものである。
【００１３】
次に、記憶部１４の練習者音声データ記憶領域１４ｅには、マイクロフォン１８で収音される練習者の音声を表す音声データ（「以下、練習者音声データ」）が記憶される。また、練習者技法データ記憶領域１４ｆには、練習者音声データで用いられている歌唱技法を示すデータ（以下、「練習者技法データ」）が記憶される。この練習者技法データの構成は、上述した模範技法データの構成と同様であり、「区間情報」と「種別情報」との各項目が互いに関連付けられて構成されている。
なお、以下の説明においては、説明の便宜上、「模範音声データ」と「練習者音声データ」とを各々区別する必要がない場合には、これらを「音声データ」と称することとする。また、「模範技法データ」と「練習者技法データ」とを各々区別する必要がない場合には、これらを「技法データ」と称して説明する。
【００１４】
次に、カラオケ装置１のＣＰＵ１１がＲＯＭ１２または記憶部１４に記憶されたコンピュータプログラムを実行することによって実現する歌唱技法比較機能について説明する。
図３は、カラオケ装置１の歌唱技法比較機能に係るソフトウェア構成を示す図である。なお、図において、基礎分析部１１１、技法分析部１１２、対応箇所検出部１１３および比較・指導生成部１１４は、ＣＰＵ１１がＲＯＭ１２または記憶部１４に記憶されたコンピュータプログラムを読み出して実行することによって実現される。なお、図中の矢印は、データの流れを概略的に示したものである。
図において、基礎分析部１１１は、音声データ（模範音声データまたは練習者音声データ）を音声分析して、時刻に対応したピッチ、パワー（音量）、スペクトルを当該音声データから算出する処理を行う。
技法分析部１１２は、基礎分析部１１１によって算出されたピッチ、パワーおよびスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の歌唱技法が用いられている区間として特定し、特定した区間を示す技法データ（模範技法データまたは練習者技法データ）を生成する処理を行う。
対応箇所検出部１１３は、模範音声データと練習者音声データとの両者の波形を直接対比して、例えばＤＴＷ（Dynamic Time Warping）等により、模範音声データと練習者音声データとの時間的な対応付けをフレーム毎に行って対応箇所を検出する。
比較・指導生成部１１４は、模範技法データと練習者技法データとのタイミングを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する処理を行う。
【００１５】
＜Ｂ：動作＞
次に、この実施形態の動作について、図４に示すフローチャートを参照しつつ以下に説明する。
まず、練習者は、カラオケ装置１の操作部１７を操作して、歌唱技法比較処理の開始を指示する旨の指示情報を入力する。カラオケ装置１のＣＰＵ１１は、指示情報が入力されたことを検知すると、模範音声データを記憶部１４から読み出し、読み出した模範音声データに対して音声分析処理を行い、時刻に対応したピッチ、パワー、スペクトルを模範音声データから算出する（ステップＳＡ１）。続けて、ＣＰＵ１１は、模範音声データと伴奏データとを所定のフレーム単位で解析し、模範音声データと伴奏データとの時間的な対応関係を検出する（ステップＳＡ２）。
次に、ＣＰＵ１１は、模範音声データから算出されたピッチ、パワーおよびスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の歌唱技法が用いられている区間として特定する。そして、ＣＰＵ１１は、特定した区間の区間情報を、その歌唱技法を示す種別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｃに記憶する（ステップＳＡ３）。
【００１６】
ここで、ステップＳＡ３に示す、各歌唱技法が用いられている区間の特定処理について以下に説明する。本実施形態においては、ＣＰＵ１１は、「ビブラート」、「しゃくり」、「こぶし」、「ファルセット」、「つっこみ」、「ため」および「息継ぎ」の各歌唱技法が用いられている区間を特定（検出）する。これらのうち、「ビブラート」および「しゃくり」は模範音声データから算出されたピッチに基づいて検出する。また、「こぶし」および「ファルセット」は模範音声データから算出されたスペクトルに基づいて検出する。また、「ため」および「つっこみ」は、模範音声データから算出されたピッチと伴奏データとに基づいて検出する。また、「息継ぎ」は、模範音声データから算出されたパワーと伴奏データとに基づいて検出する。
【００１７】
ＣＰＵ１１は、模範音声データと伴奏データとの対応関係と、模範音声データから算出されたピッチとに基づいて、模範音声データに含まれる音の開始時刻と当該音に対応する伴奏データの音の開始時刻とが異なる区間を特定する。ここで、ＣＰＵ１１は、模範音声データのピッチの変化タイミングが伴奏データのピッチの変化タイミングよりも早く現れている区間、すなわち模範音声データに含まれる音の開始時刻が当該音に対応する伴奏データの音の開始時刻よりも早い区間については、この区間を「つっこみ」の歌唱技法が用いられている区間であると特定する。ＣＰＵ１１は、特定した区間の区間情報を、「つっこみ」を示す識別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｃに記憶する。
逆に、ＣＰＵ１１は、模範音声データと伴奏データとの対応関係と、模範音声データから算出されたピッチとに基づいて、模範音声データのピッチの変化タイミングが伴奏データのピッチの変化タイミングよりも遅れて現れている区間、すなわち模範音声データに含まれる音の開始時刻が当該音に対応する伴奏データの音の開始時刻よりも遅い区間を検出し、検出した区間を「ため」の歌唱技法が用いられている区間であると特定する。
【００１８】
また、ＣＰＵ１１は、模範音声データから算出したピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を検出し、検出した区間を「ビブラート」の歌唱技法が用いられている区間であると特定する。
【００１９】
また、ＣＰＵ１１は、模範音声データから算出したピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的にピッチが変化する区間を検出し、検出した区間を「しゃくり」の歌唱技法が用いられている区間であると特定する。なお、この処理は、伴奏データとの対応関係に基づいて行うようにしてもよい。すなわち、ＣＰＵ１１は、模範音声データと伴奏データとの対応関係に基づいて、模範音声データのピッチが、低いピッチから連続的に伴奏データのピッチに近づいている区間を検出すればよい。
【００２０】
また、ＣＰＵ１１は、模範音声データと伴奏データとの対応関係と、模範音声データから算出されたパワーとに基づいて、伴奏データが有音である区間であって模範音声データのパワー値が所定の閾値よりも小さい区間を検出し、検出した箇所を「息継ぎ」の区間であると特定する。
【００２１】
また、ＣＰＵ１１は、模範音声データから算出されたスペクトルの時間的な変化パターンを解析して、スペクトル特性がその予め決められた変化状態に急激に遷移している区間を検出し、検出した区間を「ファルセット」の歌唱技法が用いられている区間であると特定する。ここで、予め決められた変化状態とは、スペクトル特性の高調波成分が極端に少なくなる状態である。例えば、図５に示すように、地声の場合は沢山の高調波成分が含まれるが（同図（ａ）参照）、ファルセットになると高調波成分の大きさが極端に小さくなる（同図（ｂ）参照）。なお、この場合、ＣＰＵ１１は、ピッチが大幅に上方に変化したかどうかも参照してもよい。ファルセットは地声と同一のピッチを発生する場合でも用いられることもあるが、一般には地声では発声できない高音を発声するときに使われる技法だからである。したがって、音声データのピッチが所定音高以上の場合に限って「ファルセット」の検出をするように構成してもよい。また、男声と女声とでは一般にファルセットを用いる音高の領域が異なるので、音声データの音域や、音声データから検出されるフォルマントによって性別検出を行い、この結果を踏まえてファルセット検出の音高領域を設定してもよい。
また、ＣＰＵ１１は、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を検出し、検出した部分を「こぶし」の歌唱技法が用いられている部分であると特定する。「こぶし」の場合は、短い区間において声色や発声方法を変えて唸るような味わいを付加する歌唱技法であるため、この技法が用いられている区間においてはスペクトル特性が多様に変化するからである。
以上のようにして、ＣＰＵ１１は、模範音声データから各歌唱技法が用いられている区間を検出し、検出した区間を示す区間情報をその歌唱技法を示す種別情報と関連付けて記憶部１４の模範技法データ記憶領域１４ｃに記憶する。
【００２２】
図４の説明に戻る。カラオケ装置１のＣＰＵ１１は、模範技法データの生成処理を終える（ステップＳＡ３）と、伴奏データを読み出して、読み出した伴奏データを音声処理部１９に供給し、音声処理部１９は、供給された伴奏データをアナログ信号に変換して伴奏データの表す音声をスピーカ２０から発音させる。なお、このとき、ＣＰＵ１１が表示部１６を制御して、例えば「伴奏に合わせて歌唱してください」といった、歌唱を促すメッセージを表示するようにしてもよい。
【００２３】
練習者は、スピーカ２０から発音される伴奏に併せて歌唱を行う。練習者によって歌唱が行われると、練習者の音声がマイクロフォン１８によって音声信号に変換され、変換された信号が音声処理部１９へ出力される。音声処理部１９は、マイクロフォン１８から出力された音声信号をデジタルデータに変換して練習者音声データとする（ステップＳＡ４）。この練習者音声データは、音声処理部１９から出力されて記憶部１４の練習者音声データ記憶領域１４ｅに記憶される。
【００２４】
伴奏データの再生が終了すると、カラオケ装置１のＣＰＵ１１は、練習者音声データ記憶領域１４ｅに記憶された練習者音声データに対して基礎分析処理を行って、ピッチ、パワー、スペクトルを算出する（ステップＳＡ５）。また、カラオケ装置１のＣＰＵ１１は、練習者音声データと伴奏データとを所定のフレーム単位で解析し、練習者音声データと伴奏データとの時間的な対応関係を検出する（ステップＳＡ６）。続けて、ＣＰＵ１１は、練習者音声データから練習者技法データを生成する（ステップＳＡ７）。これらのステップＳＡ５〜ＳＡ７に示した処理と、上述したステップＳＡ２〜ＳＡ４に示した処理が異なる点は、処理対象となる音声データが異なる点である。すなわち、ステップＳＡ２〜ステップＳＡ４では模範音声データに対して処理を行い、ステップＳＡ５〜ＳＡ７では練習者音声データに対して処理が行われるものの、その処理内容については同様であるため、ステップＳＡ５〜ステップＳＡ７についてはその詳細な説明を省略する。
【００２５】
次に、カラオケ装置１のＣＰＵ１１は、模範音声データと練習者音声データとの両者の波形同士を直接対比して、例えばＤＴＷ等により、模範音声データと、練習者音声データとの時間的な対応付けをフレーム毎に行い、両者の対応箇所を検出する（ステップＳＡ８）。
【００２６】
続けて、カラオケ装置１のＣＰＵ１１は、ステップＳＡ８で検出した対応箇所に基づいて、生成された練習者技法データと記憶部１４の模範技法データ記憶領域１４ｃに記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め定められた評価区間毎に相違箇所として特定する。（ステップＳＡ９）。具体的には、例えば、ＣＰＵ１１は、記憶部１４の模範技法データ記憶領域１４ｃに記憶された模範技法データをひとつずつ読み出して、読み出した模範技法データと対応する練習者技法データを練習者技法データ記憶領域１４ｆから検索し、歌詞の文字単位毎の区間を評価区間として、模範技法データの区間情報と練習者技法データの区間情報とが所定量以上隔たっている評価区間を相違箇所として特定する。このようにして相違箇所を特定することによって、模範音声で歌唱技法が用いられている区間と練習者音声で歌唱技法が用いられている区間とに時間的なずれがある相違箇所を特定することができ、また、模範音声で歌唱技法が用いられている区間であって練習者音声で歌唱技法が用いられていない区間についても、この区間を相違箇所として特定することができる。
【００２７】
相違箇所を特定すると、カラオケ装置１のＣＰＵ１１は、特定した相違箇所を示す相違箇所情報を表示部１６に供給して、特定した相違箇所を表示部１６に表示させることによって、練習者に相違箇所を報知する（ステップＳＡ１０）。
図６は、カラオケ装置１の表示部１６に表示される画面の一例を示す図である。カラオケ装置１のＣＰＵ１１は、記憶部１４の歌詞データ記憶領域１４ｄに記憶された歌詞データに基づいて歌詞Ａ１を表示させる。また、ＣＰＵ１１は、模範技法データの種別情報と区間情報とに基づいて、模範音声において各歌唱技法が用いられている区間と対応する歌詞の文字の近傍に、当該種別情報と対応する歌唱技法を示すアイコンＩ１〜Ｉ３を表示させる。また、ＣＰＵ１１は、ステップＳＡ９において特定した相違箇所（評価区間）に対応する歌詞の文字の色や太さを他の文字と異ならせる等、相違箇所に対応する文字の表示態様を他の文字と異ならせて表示させることによって、相違箇所を報知する。図６に示す例においては、画面に表示された「ぽ」と「い」の文字が、他の文字よりも太く表示されており、これらの文字と対応する区間が模範音声と相違していることを示している。
【００２８】
図６に示す画面において、練習者は、操作部１７を操作して、相違箇所についての詳細を表示する旨を指示することができる。この処理は、例えば、ＣＰＵ１１が、図６に示す画面にボタンＢ１を表示させ、このボタンＢ１が操作部１７のマウス等によりクリックされることによって指示されるようにすればよい。
指示情報が入力されたことを検知すると、カラオケ装置１のＣＰＵ１１は、例えば図７に示すような、相違箇所についての詳細を示す画面を表示部１６に表示させる。
図７において、カラオケ装置１のＣＰＵ１１は、記憶部１４に記憶された歌詞データに基づいて歌詞Ａ２を表示させ、また、模範音声データに基づいて、歌詞Ａ２に対応する模範音声データのピッチの時間的変化を示すグラフＡ３を表示させる。また、ＣＰＵ１１は、練習者音声データに基づいて、当該練習者音声データのピッチの時間的変化を示すグラフＡ４を表示させる。また、図７に示す例においては、グラフＡ３，Ａ４において特定した相違箇所と対応する部分に丸印Ａ５１，Ａ５２を表示させることによって、相違箇所を報知している。なお、図７に示す例においては、相違箇所以外についても、模範音声と練習者音声とのそれぞれで用いられている歌唱技法が一致している箇所についても、丸印Ａ５３を表示させている。なお、この場合は、相違箇所とそれ以外の箇所とを例えば異なる色で表示させる等して区別するようにすればよい。
【００２９】
このように本実施形態においては、模範技法データと練習者技法データとを比較して、模範音声の歌唱技法と練習者音声の歌唱技法との相違箇所を表示するから、練習者は、模範音声と自分の音声との歌唱技法の違いを視覚的に把握することができる。これにより、練習者は、どのタイミングで歌唱技法を用いればいいかといった歌唱ポイントを把握することができるとともに、自分の歌唱をどのように修正すればよいか（例えば、ビブラートをもう少し長く用いる、等）を、視覚的に把握することができる。
【００３０】
＜Ｃ：変形例＞
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。以下にその一例を示す。
（１）上述した実施形態においては、模範音声データから歌唱技法が用いられている区間を検出して模範技法データを生成するようにした。これに代えて、模範音声データそのものは記憶させておかずに、模範技法データを予め記憶部に記憶させておき、記憶された模範技法データを用いて比較処理を行うようにしてもよい。この場合は、模範技法データの生成処理（図４のステップＳＡ１〜ステップＳＡ３の処理）を行う必要はない。この場合は、練習者によって歌唱が行われると、ＣＰＵ１１は、上述した実施形態と同様に、練習者歌唱データから練習者技法データを生成し、練習者技法データと記憶部に記憶された模範技法データとを比較して、予め決められた評価区間毎に相違箇所を特定する。
【００３１】
または、模範音声データそのものは記憶させておかずに、基礎分析データ（ピッチ、パワー、スペクトル）を予め記憶部に記憶させておくようにしてもよい。この場合は、記憶された基礎分析データから模範技法データを生成すればよく、模範音声データの音声分析処理（図４のステップＳＡ１の処理）を行う必要はない。
【００３２】
（２）上述した実施形態においては、音声データ（模範音声データまたは練習者音声データ）から歌唱技法が用いられている区間を検出して技法データ（模範技法データまたは練習者技法データ）を生成するようにしたが、本発明における音声データは、歌唱者の音声を表す音声データに限定されるものではなく、楽器の演奏を表す音声データにも適用することができる。この場合も、カラオケ装置のＣＰＵが、楽器の演奏データから演奏技法（例えば、ビブラート、息継ぎ、ため等）が用いられている区間を、上述した実施形態と同様の方法で検出して、検出した区間を示す技法データを生成するようにすればよい。すなわち、音声データは、人の歌声を表す音声データであってもよく、楽器の演奏音を表す音声データであってもよい。また、技法データ（模範技法データおよび練習者技法データ）は、歌唱における技法を表す技法データであってもよく、または、楽器の演奏技法を表す技法データであってもよい。
【００３３】
（３）上述した実施形態においては、歌詞データを予め記憶部に記憶させておくようにしたが、これに代えて、カラオケ装置のＣＰＵが、音声データに対して音声認識処理を施して、音声データから歌詞データを自動的に生成するようにしてもよい。この場合は、ＣＰＵが、伴奏データと、音声データから抽出したピッチとを照合させて、どの歌詞がどのタイミングで歌われているかを自動的に割り付けるようにすればよい。
【００３４】
（４）上述した実施形態においては、記憶部１４の模範音声データ記憶領域１４ｂに記憶される音声データはＷＡＶＥ形式やＭＰ３形式のデータとしたが、データの形式はこれに限定されるものではなく、音声を示すデータであればどのような形式のデータであってもよい。
また、上述した実施形態においては、模範音声データを記憶部１４に記憶させて、カラオケ装置１のＣＰＵ１１が記憶部１４から模範音声データを読み出すようにしたが、これに代えて、通信ネットワークを介して音声データを受信するようにしてもよい。要するに、模範音声データをＣＰＵ１１に入力するようにすればよい。このようにすれば、所望の歌手の音声データをダウンロードして用いることができるから、練習者は、その歌手の歌唱技法と自身の歌唱技法とを比較することができ、所望の歌手の歌唱技法を真似て歌唱することが容易になる。
【００３５】
（５）上述した実施形態においては、歌唱技法として「ビブラート」や「ため」等を検出するようにしたが、検出する歌唱技法（または演奏技法）は上述した実施形態において示したものに限定されるものではなく、例えば、スタッカートやクレッシェンド（デクレッシェンド）等であってもよい。具体的には、音声データから検出したパワーがある短い一定期間の間だけ強く現れる区間をスタッカートとして検出するようにしてもよい。また、パワーデータ値が連続的に徐々に大きくなる（小さくなる）区間をクレッシェンド（デクレッシェンド）として検出するようにしてもよい。要するに、音声データから算出されたピッチやスペクトル、パワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定すればよい。
【００３６】
（６）上述した実施形態においては、練習者が歌唱した後で、練習者の歌唱技法と模範音声の歌唱技法とを比較して、両者の相違箇所を報知するようにしたが、模範音声で用いられている歌唱技法（または演奏技法）を、練習者が歌唱する際にリアルタイムで表示しておくようにしてもよい。この場合に表示される画面の一例を図８に示す。図８に示す例においては、カラオケ装置のＣＰＵは、記憶部に記憶された歌詞データＡ１１に基づいて歌詞を表示させるとともに、模範技法データに基づいて、模範音声において各歌唱技法が用いられている区間と対応する文字の近傍に、その歌唱技法を示すアイコンＩ４〜Ｉ７を表示させる。
このようにすれば、練習者は、歌唱する前に（または歌唱している最中に）模範音声で用いている歌唱技法（ビブラート、ため等）を視覚的に把握することができるから、お手本の歌唱技法を真似て歌いやすくなる。
【００３７】
（７）上述した実施形態においては、歌詞の文字単位毎の区間毎に相違箇所を特定するようにした。この相違箇所を特定する評価区間は、歌詞の文字単位毎の区間に限定されるものではなく、例えば、所定数の小節毎の区間や、音符毎の区間、発音単位毎の区間などであってもよい。または、楽曲の冒頭からの絶対時刻の相違箇所を特定するようにしてもよい。
【００３８】
（８）上述した実施形態においては、特定した相違箇所と対応する文字の表示態様を他の文字と異ならせて表示させることによって、相違箇所を報知するようにした。相違箇所の報知方法はこれに限定されるものではなく、例えば相違箇所と対応する歌詞の近傍にアイコンを表示させるようにしてもよい。または、例えば図６に示した歌唱技法を示すアイコンＩ１〜Ｉ３の表示態様を異ならせることによって相違箇所を報知するようにしてもよい。また、小節毎の区間を評価区間とする場合は、相違箇所と対応する小節の表示態様を他の小節の表示態様と異ならせて表示するようにしてもよく、または、相違箇所と対応する小節のみを表示するようにしてもよい。要するに、練習者に相違箇所を報知できる方法であればどのようなものであってもよい。
【００３９】
（９）上述した実施形態においては、「ビブラート」や「ため」等の複数種類の技法が予め設定され、ＣＰＵ１１は、区間を特定するとともに、当該区間において用いられている技法も特定し、技法データ（模範音声データおよび練習者音声データ）は区間と技法を示すデータであり、また、ＣＰＵ１１は、技法の種類毎に相違箇所を特定し、技法の種類毎にことなる態様（アイコン）で報知を行うようになっていた。複数種類の技法を予め設定する必要はなく、１種類の技法についてのみ比較を行うようにしてもよい。この場合は、技法データは、区間を示すデータのみでよい。
【００４０】
（１０）上述した実施形態では、カラオケ装置１が、本実施形態に係る技法データ生成処理や、相違箇所特定処理等を行うようになっていた。これに対し、通信ネットワークで接続された２以上の装置が上記実施形態に係る機能を分担するようにし、それら複数の装置を備えるシステムが同実施形態のカラオケ装置１を実現するようにしてもよい。例えば、マイクロフォンやスピーカ、表示装置および入力装置等を備えるコンピュータ装置と、技法データ生成処理や相違箇所特定処理を実行するサーバ装置とが通信ネットワークで接続されたシステムとして構成されていてもよい。この場合は、コンピュータ装置が、マイクロフォンから入力された音声を音声データに変換してサーバ装置に送信し、サーバ装置が、受信した音声データと模範音声データとの比較処理を行って相違箇所を特定し、相違箇所を示す相違箇所情報をコンピュータ装置に送信するようにすればよい。
【００４１】
（１１）上述した実施形態におけるカラオケ装置１のＣＰＵ１１によって実行されるプログラムは、磁気テープ、磁気ディスク、フロッピー（登録商標）ディスク、光記録媒体、光磁気記録媒体、ＣＤ（Compact Disk）−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、ＲＡＭなどの記録媒体に記憶した状態で提供し得る。また、インターネットのようなネットワーク経由でカラオケ装置１にダウンロードさせることも可能である。
【図面の簡単な説明】
【００４２】
【図１】カラオケ装置のハードウェア構成の一例を示すブロック図である。
【図２】模範技法データの内容の一例を示す図である。
【図３】カラオケ装置のソフトウェア構造の一例を示すブロック図である。
【図４】カラオケ装置の制御部が行う処理の流れを示すフローチャートである。
【図５】ファルセットの検出処理を説明するための図である。
【図６】カラオケ装置の表示部に表示される画面の一例を示す図である。
【図７】カラオケ装置の表示部に表示される画面の一例を示す図である。
【図８】カラオケ装置の表示部に表示される画面の一例を示す図である。
【符号の説明】
【００４３】
１…カラオケ装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１５…バス、１６…表示部、１７…操作部、１８…マイクロフォン、１９…音声処理部、２０…スピーカ、１１１…基礎分析部、１１２…技法分析部、１１３…対応箇所検出部、１１４…比較・指導生成部。
【特許請求の範囲】
【請求項１】
伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、
入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、
前記練習者音声データから音声のピッチを算出するピッチ算出手段と、
前記ピッチ算出手段により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、
前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、
前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、
前記相違箇所特定手段により特定された相違箇所を報知する報知手段と
を備えることを特徴とするカラオケ装置。
【請求項２】
伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、
入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、
前記練習者音声データから当該練習者音声データのスペクトルを算出するスペクトル算出手段と、
前記スペクトル算出手段により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、
前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、
前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、
前記相違箇所特定手段により特定された相違箇所を報知する報知手段と
を備えることを特徴とするカラオケ装置。
【請求項３】
伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、
入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、
前記練習者音声データから当該練習者音声データのパワーを算出するパワー算出手段と、
前記パワー算出手段により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、
前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、
前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、
前記相違箇所特定手段により特定された相違箇所を報知する報知手段と
を備えることを特徴とするカラオケ装置。
【請求項４】
前記予め決められた評価区間は、所定数の小節毎の区間、音符毎の区間、発音単位毎の区間または歌詞の文字単位毎の区間のいずれかであることを特徴とする請求項１乃至３のいずれかに記載のカラオケ装置。
【請求項５】
前記特定の技法は予め複数種類設定され、前記特定手段は区間を特定するとともに、当該区間において用いられている技法も特定し、前記記憶手段に記憶される模範技法データは区間と技法を示すデータであり、前記生成手段は特定された区間と技法を示す練習者技法データを生成し、前記相違箇所特定手段は前記技法の種類毎に相違箇所を特定し、前記報知手段は技法の種類毎にことなる態様で報知を行うことを特徴とする請求項１乃至３のいずれかに記載のカラオケ装置。
【請求項６】
前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を特定する
ことを特徴とする請求項１に記載のカラオケ装置。
【請求項７】
前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的に変化する区間を特定する
ことを特徴とする請求項１に記載のカラオケ装置。
【請求項８】
前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を特定する
ことを特徴とする請求項２に記載のカラオケ装置。
【請求項９】
前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定する
ことを特徴とする請求項２に記載のカラオケ装置。
【請求項１０】
音声データから音声のピッチを算出するピッチ算出手段を設け、前記特定手段は、前記ピッチ算出手段が算出したピッチが所定の領域にあるときに、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定する
ことを特徴とする請求項２に記載のカラオケ装置。
【請求項１１】
伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、
前記特定手段は、前記対応関係検出手段によって検出された対応関係と、前記ピッチ算出手段によって算出されたピッチとに基づいて、前記音声データに含まれる音の開始時刻と当該音に対応する前記伴奏データの音の開始時刻とが異なる区間を特定する
ことを特徴とする請求項１に記載のカラオケ装置。
【請求項１２】
伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、
前記特定手段は、前記パワー算出手段によって算出されたパワーと、前記対応関係検出手段によって検出された対応関係とに基づいて、伴奏データが有音である区間であって音声データのパワーの値が閾値よりも小さい区間を特定する
ことを特徴とする請求項３に記載のカラオケ装置。
【請求項１３】
模範音声データから音声のピッチを算出する模範音声ピッチ算出手段と、
前記模範音声ピッチ算出手段により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、
前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段と
を備えることを特徴とする請求項１に記載のカラオケ装置。
【請求項１４】
模範音声データから当該模範音声データのスペクトルを算出する模範音声スペクトル算出手段と、
前記模範音声スペクトル算出手段により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、
前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段と
を備えることを特徴とする請求項２に記載のカラオケ装置。
【請求項１５】
模範音声データから当該模範音声データのパワーを算出する模範音声パワー算出手段と、
前記模範音声パワー算出手段により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、
前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段と
を備えることを特徴とする請求項３に記載のカラオケ装置。
【請求項１６】
前記報知手段は、前記特定手段により特定された区間を報知するとともに、前記相違箇所特定手段により特定された相違箇所を報知する
ことを特徴とする請求項１乃至１５のいずれかに記載のカラオケ装置。
【請求項１７】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、制御手段とを備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置の制御方法であって、
前記制御手段が、練習者の音声を表す練習者音声データから音声のピッチを算出するステップと、
前記制御手段が、算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定するステップと、
前記制御手段が、特定された区間を示す練習者技法データを生成するステップと、
前記制御手段が、生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定するステップと、
前記制御手段が、特定された相違箇所を示す相違箇所情報を出力するステップと
を備えることを特徴とする制御方法。
【請求項１８】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、制御手段とを備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置の制御方法であって、
前記制御手段が、練習者の音声を表す練習者音声データから当該練習者音声データのスペクトルを算出するステップと、
前記制御手段が、算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定するステップと、
前記制御手段が、特定された区間を示す練習者技法データを生成するステップと、
前記制御手段が、生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定するステップと、
前記制御手段が、特定された相違箇所を示す相違箇所情報を出力するステップと
を備えることを特徴とする制御方法。
【請求項１９】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、制御手段とを備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置の制御方法であって、
前記制御手段が、練習者の音声を表す練習者音声データから当該練習者音声データのパワーを算出するステップと、
前記制御手段が、算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定するステップと、
前記制御手段が、特定された区間を示す練習者技法データを生成するステップと、
前記制御手段が、生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定するステップと、
前記制御手段が、特定された相違箇所を示す相違箇所情報を出力するステップと
を備えることを特徴とする制御方法。
【請求項２０】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段を備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置に、
練習者の音声を表す練習者音声データから音声のピッチを算出するピッチ算出機能と、
前記ピッチ算出機能により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定機能と、
前記特定機能により特定された区間を示す練習者技法データを生成する生成機能と、
前記生成機能により生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定機能と、
前記相違箇所特定機能により特定された相違箇所を示す相違箇所情報を出力する出力機能と
を実現させるプログラム。
【請求項２１】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段を備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置に、
練習者の音声を表す練習者音声データから当該練習者音声データのスペクトルを算出するスペクトル算出機能と、
前記スペクトル算出機能により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定機能と、
前記特定機能により特定された区間を示す練習者技法データを生成する生成機能と、
前記生成機能により生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定機能と、
前記相違箇所特定機能により特定された相違箇所を示す相違箇所情報を出力する出力機能と
を実現させるプログラム。
【請求項２２】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段を備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置に、
練習者の音声を表す練習者音声データから当該練習者音声データのパワーを算出するパワー算出機能と、
前記パワー算出機能により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定機能と、
前記特定機能により特定された区間を示す練習者技法データを生成する生成機能と、
前記生成機能により生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定機能と、
前記相違箇所特定機能により特定された相違箇所を示す相違箇所情報を出力する出力機能と
を実現させるプログラム。
【請求項１】
伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、
入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、
前記練習者音声データから音声のピッチを算出するピッチ算出手段と、
前記ピッチ算出手段により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、
前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、
前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、
前記相違箇所特定手段により特定された相違箇所を報知する報知手段と
を備えることを特徴とするカラオケ装置。
【請求項２】
伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、
入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、
前記練習者音声データから当該練習者音声データのスペクトルを算出するスペクトル算出手段と、
前記スペクトル算出手段により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、
前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、
前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、
前記相違箇所特定手段により特定された相違箇所を報知する報知手段と
を備えることを特徴とするカラオケ装置。
【請求項３】
伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置において、
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、
入力される歌唱者の音声を練習者音声データとして出力する音声入力手段と、
前記練習者音声データから当該練習者音声データのパワーを算出するパワー算出手段と、
前記パワー算出手段により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定手段と、
前記特定手段により特定された区間を示す練習者技法データを生成する生成手段と、
前記生成手段により生成された練習者技法データと、前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定手段と、
前記相違箇所特定手段により特定された相違箇所を報知する報知手段と
を備えることを特徴とするカラオケ装置。
【請求項４】
前記予め決められた評価区間は、所定数の小節毎の区間、音符毎の区間、発音単位毎の区間または歌詞の文字単位毎の区間のいずれかであることを特徴とする請求項１乃至３のいずれかに記載のカラオケ装置。
【請求項５】
前記特定の技法は予め複数種類設定され、前記特定手段は区間を特定するとともに、当該区間において用いられている技法も特定し、前記記憶手段に記憶される模範技法データは区間と技法を示すデータであり、前記生成手段は特定された区間と技法を示す練習者技法データを生成し、前記相違箇所特定手段は前記技法の種類毎に相違箇所を特定し、前記報知手段は技法の種類毎にことなる態様で報知を行うことを特徴とする請求項１乃至３のいずれかに記載のカラオケ装置。
【請求項６】
前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、中心となる周波数の上下に所定の範囲内でピッチが連続的に変動している区間を特定する
ことを特徴とする請求項１に記載のカラオケ装置。
【請求項７】
前記特定手段は、前記ピッチ算出手段によって算出されたピッチの時間的な変化のパターンを解析して、低いピッチから高いピッチに連続的に変化する区間を特定する
ことを特徴とする請求項１に記載のカラオケ装置。
【請求項８】
前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性の変化の態様が短時間に多様に切り替わる区間を特定する
ことを特徴とする請求項２に記載のカラオケ装置。
【請求項９】
前記特定手段は、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定する
ことを特徴とする請求項２に記載のカラオケ装置。
【請求項１０】
音声データから音声のピッチを算出するピッチ算出手段を設け、前記特定手段は、前記ピッチ算出手段が算出したピッチが所定の領域にあるときに、前記スペクトル算出手段によって算出されたスペクトルの時間的な変化のパターンを解析して、スペクトル特性が予め決められた変化状態に急激に遷移している区間を特定する
ことを特徴とする請求項２に記載のカラオケ装置。
【請求項１１】
伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、
前記特定手段は、前記対応関係検出手段によって検出された対応関係と、前記ピッチ算出手段によって算出されたピッチとに基づいて、前記音声データに含まれる音の開始時刻と当該音に対応する前記伴奏データの音の開始時刻とが異なる区間を特定する
ことを特徴とする請求項１に記載のカラオケ装置。
【請求項１２】
伴奏データと前記音声データとを所定のフレーム単位で解析し、両者の時間的な対応関係を検出する対応関係検出手段を備え、
前記特定手段は、前記パワー算出手段によって算出されたパワーと、前記対応関係検出手段によって検出された対応関係とに基づいて、伴奏データが有音である区間であって音声データのパワーの値が閾値よりも小さい区間を特定する
ことを特徴とする請求項３に記載のカラオケ装置。
【請求項１３】
模範音声データから音声のピッチを算出する模範音声ピッチ算出手段と、
前記模範音声ピッチ算出手段により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、
前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段と
を備えることを特徴とする請求項１に記載のカラオケ装置。
【請求項１４】
模範音声データから当該模範音声データのスペクトルを算出する模範音声スペクトル算出手段と、
前記模範音声スペクトル算出手段により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、
前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段と
を備えることを特徴とする請求項２に記載のカラオケ装置。
【請求項１５】
模範音声データから当該模範音声データのパワーを算出する模範音声パワー算出手段と、
前記模範音声パワー算出手段により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する模範音声特定手段と、
前記模範音声特定手段により特定された区間を示す模範技法データを生成して、生成した模範技法データを前記記憶手段に記憶させる模範技法データ生成手段と
を備えることを特徴とする請求項３に記載のカラオケ装置。
【請求項１６】
前記報知手段は、前記特定手段により特定された区間を報知するとともに、前記相違箇所特定手段により特定された相違箇所を報知する
ことを特徴とする請求項１乃至１５のいずれかに記載のカラオケ装置。
【請求項１７】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、制御手段とを備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置の制御方法であって、
前記制御手段が、練習者の音声を表す練習者音声データから音声のピッチを算出するステップと、
前記制御手段が、算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定するステップと、
前記制御手段が、特定された区間を示す練習者技法データを生成するステップと、
前記制御手段が、生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定するステップと、
前記制御手段が、特定された相違箇所を示す相違箇所情報を出力するステップと
を備えることを特徴とする制御方法。
【請求項１８】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、制御手段とを備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置の制御方法であって、
前記制御手段が、練習者の音声を表す練習者音声データから当該練習者音声データのスペクトルを算出するステップと、
前記制御手段が、算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定するステップと、
前記制御手段が、特定された区間を示す練習者技法データを生成するステップと、
前記制御手段が、生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定するステップと、
前記制御手段が、特定された相違箇所を示す相違箇所情報を出力するステップと
を備えることを特徴とする制御方法。
【請求項１９】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段と、制御手段とを備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置の制御方法であって、
前記制御手段が、練習者の音声を表す練習者音声データから当該練習者音声データのパワーを算出するステップと、
前記制御手段が、算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定するステップと、
前記制御手段が、特定された区間を示す練習者技法データを生成するステップと、
前記制御手段が、生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定するステップと、
前記制御手段が、特定された相違箇所を示す相違箇所情報を出力するステップと
を備えることを特徴とする制御方法。
【請求項２０】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段を備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置に、
練習者の音声を表す練習者音声データから音声のピッチを算出するピッチ算出機能と、
前記ピッチ算出機能により算出されたピッチの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定機能と、
前記特定機能により特定された区間を示す練習者技法データを生成する生成機能と、
前記生成機能により生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定機能と、
前記相違箇所特定機能により特定された相違箇所を示す相違箇所情報を出力する出力機能と
を実現させるプログラム。
【請求項２１】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段を備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置に、
練習者の音声を表す練習者音声データから当該練習者音声データのスペクトルを算出するスペクトル算出機能と、
前記スペクトル算出機能により算出されたスペクトルの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定機能と、
前記特定機能により特定された区間を示す練習者技法データを生成する生成機能と、
前記生成機能により生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定機能と、
前記相違箇所特定機能により特定された相違箇所を示す相違箇所情報を出力する出力機能と
を実現させるプログラム。
【請求項２２】
模範音声において特定の技法が用いられている区間を示す模範技法データを記憶する記憶手段を備え、伴奏データを再生して伴奏演奏信号を生成するとともに、歌唱者の音声を増幅して出力するカラオケ装置に、
練習者の音声を表す練習者音声データから当該練習者音声データのパワーを算出するパワー算出機能と、
前記パワー算出機能により算出されたパワーの時間的な変化のパターンを解析して、この解析結果が予め定められたパターンに対応するか否かを判定し、対応する場合には当該パターンに対応する区間を特定の技法が用いられている区間として特定する特定機能と、
前記特定機能により特定された区間を示す練習者技法データを生成する生成機能と、
前記生成機能により生成された練習者技法データと前記記憶手段に記憶された模範技法データとを比較して、それらが所定量以上隔たっていた場合に、予め決められた評価区間毎に相違箇所として特定する相違箇所特定機能と、
前記相違箇所特定機能により特定された相違箇所を示す相違箇所情報を出力する出力機能と
を実現させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００７−２３２７５０（Ｐ２００７−２３２７５０Ａ）
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願番号】特願２００６−５０５０７（Ｐ２００６−５０５０７）
【出願日】平成１８年２月２７日（２００６．２．２７）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
【公開日】平成１９年９月１３日（２００７．９．１３）
【国際特許分類】
【出願日】平成１８年２月２７日（２００６．２．２７）
【出願人】（０００００４０７５）ヤマハ株式会社 (5,930)
【Ｆターム（参考）】
[ Back to top ]