歌唱診断装置および波形診断処理プログラム
【課題】ユーザの歌唱を評価・診断できる歌唱評価装置を実現する。
【解決手段】ユーザの歌唱を時間軸及び波高値を有する２次元相空間上に表わした歌唱波形の時系列データ（波形データＬ０〜Ｌｎ）に対してターケンス・プロット解析処理を施し、これにより得られるアトラクタと、予め記憶されている波形状況を判定する基本アトラクタとの比較によりユーザの波形状況、例えば「歌手のＡ氏に近い波形である」、「荒い歌唱である」などの診断をする。
【解決手段】ユーザの歌唱を時間軸及び波高値を有する２次元相空間上に表わした歌唱波形の時系列データ（波形データＬ０〜Ｌｎ）に対してターケンス・プロット解析処理を施し、これにより得られるアトラクタと、予め記憶されている波形状況を判定する基本アトラクタとの比較によりユーザの波形状況、例えば「歌手のＡ氏に近い波形である」、「荒い歌唱である」などの診断をする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歌唱者の歌唱を評価・診断する波形診断装置および歌唱診断処理プログラムに関する。
【背景技術】
【０００２】
従来から、ある歌唱者の歌を評価・診断する場合は、予め用意された曲を歌唱させ、この歌唱を時間軸及び波高値を有する２次元相空間上に表わした歌唱波形と模範となる歌唱波形とを比較する、という手法がとられる。この比較結果に基づいて実際の歌唱波形を評価・診断する最も簡単な手法は、模範となる歌唱波形との印象がどれだけ少ないか、ということに着目することである。つまり評価される側の歌唱波形と模範の歌唱波形との間で音高やタイミングが異なっていないか、ということを逐一判断し、両者の相違が少なければ少ないほど、評価を高くするという手法である。例えば特許文献１には、歌唱者によって発せられた、歌唱波形の音程やタイミングについて模範となる歌唱波形データと比較し評価が低い波形を記録したアドレスから再び歌唱練習させる歌唱練習機能つきカラオケ装置が開示されている。
【０００３】
【特許文献１】特開２００１−３４２７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、この特許文献１に示されるような手法は、単に模範となる歌唱波形と実際の歌唱波形の音程やタイミングが一致しているかどうかが判断されるだけであり、波形の中の音程やタイミングという単純な方向から見た評価・診断でしかない。なぜなら、ひとつの曲に対して模範となる歌唱波形というものは唯一絶対というものはなく、有名歌手毎に多種多様にあるものであり、その中のひとつの模範となる歌唱波形と比較して一致しないからといって低い評価を与えることは、はたして妥当であるか疑問が残る。
【０００５】
こうした場合、熟練した評価者であれば、別の面から見た評価・診断を行う場合が多い。これら熟練した評価者は、ひとつの曲に対する複数の有名歌手による名歌唱を聞く経験をしており、これらの経験から、評価を下している。
【０００６】
これらの人々が評価を行う場合、特に注目するのは歌唱による歌、すなわち「歌唱波形の印象」がどうであったかということである。「歌唱波形の印象」の印象とは「人の心に残るような特性」のことであり、これを先生は長年の経験に基づいてこの特性を感覚的に抽出し生徒の歌唱波形と過去の名歌手による歌唱波形とを比較して評価を行うのである。従って波形を評価する場合、ひとつの模範歌唱波形と音程やタイミングが合ってなくとも単に「音程やタイミングが模範歌唱波形と合っていない」という機械的な評価・診断を下さずに、経験と感性に基づいて「○○風だから△△だ・・・」という評価・診断を下すことが可能となる。しかしながらこの「歌唱波形の印象」を抽出することは、一般的な手法として確立されたものでなく、熟練した先生の経験と感性に頼る部分が多い。
【０００７】
しかし、近年になってターケンス・プロットとよばれる、脳で行われる情報の処理と類似していると見られる手法を用いることにより、ある歌唱波形からアトラクタを生成すると、このアトラクタは「歌唱波形の印象」を表わすものであることがわかってきた。このアトラクタはあるデータに対して、時間的に他の波形データがどうであったかを同時に空間に表示するものであり、このアトラクタが表現する軌跡が脳の感じる「歌唱波形の印象」であることは、人間の脳のメカニズムを知ることで理解することが可能となってきている。
【０００８】
まず人間の脳は、外部からうけた刺激を情報として取り込み、これが何であるかを認識（特徴を抽出）して記憶している。この認識は入力された情報のみで行うのではなく、過去にうけた刺激により記憶された情報を参考にして認識していると考えられる。たとえば、映画で見たあるシーンが過去の自分の経験と重なっていると、大きな感動を憶えることである。これは脳が映画のシーンを認識する際、過去に記憶された経験の記憶を参考にして認識し、同じ特徴を有する経験があればそれが強い刺激として認識されるため感動が大きくなっていると考えられる。また、過去にどこかで聞いた曲を再び聞いた場合、それについて親しみを感じるということも同様である。
【０００９】
さらに、この脳の認識の手法においては、このように遠い過去の記憶まで参照して認識するものだけでなく、もっと短時間での過去も多大な影響を与えていると考えられる。そして聴覚に関する発音や消音の情報である「歌唱波形の印象」についても、より短時間の直前の波形と照らし合わせて認識していると考えられる。よりわかりやすくいうならば、一瞬ごとに物事を認知しているのではなく、あるまとまった時間についてどのようになっているのかを認知していると考えられる。
【００１０】
このことから、ターケンス・プロットで「現時点での波形を所定のプロットスケール幅によって複数同時に選択している作業」は、脳で行われている「現時点の情報を認識するときに同時に過去の情報も参考にしている」という脳内の情報認識における作業ときわめて類似したものであるといえる。このため、歌唱によって入力された歌唱波形から得られる時系列データからターケンス・プロットによってアトラクタを描画する作業は、脳にとっては、その曲を認識するに必要な「歌唱波形の印象」を抽出する作業に他ならない。
【００１１】
すなわち、ターケンス・プロットを用いで表示されたアトラクタは、その音の「歌唱波形の印象」という特徴の部分が視覚的に表現されているといえる。
【００１２】
本発明は、このような事情に鑑みてなされたもので、教習者が歌唱した曲の「歌唱波形の印象」の発音操作形態を表現する時系列データをアトラクタの特徴として抽出し、このアトラクタの特徴に基づいて評価・診断を行う歌唱診断装置および歌唱診断プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記目的を達成するため、請求項１に記載の発明では、外部より供給される歌唱音波形の波高値を時間順に順次入力する入力手段と、この入力された歌唱音波形を時間軸及び波高値を有する２次元相空間上の原波形データとして記憶する原波形データ記憶手段と、この原波形データ記憶手段に記憶された原波形データに対して、ターケンス・プロット処理を施すことによってアトラクタデータを作成するターケンス・プロット処理手段と、 基本アトラクタデータが記憶される基本アトラクタデータ記憶手段と、前記ターケンス・プロット処理手段によって作成されたアトラクタデータと前記基本アトラクタデータ記憶手段に記憶される基本アトラクタデータとを比較し、この比較結果に基づいて前記原波形を診断する波形診断手段とを具備することを特徴とする。
【００１４】
請求項２に記載の発明では、請求項１の前記ターケンス・プロット処理手段は、入力された２次元相空間の原波形データの時間軸上に夫々プロットスケール値ｔの間隔をおいたｎ個のサンプリング位置を指定し、当該ｎ個のサンプリング位置の波高値夫々をｎ次元相空間上の各軸上の位置に対応させることによって最初の座標位置を決定し、その後前記ｎ個のサンプリング位置を同時にリサンプリング時間Δｔだけ時間軸上を順次シフトしていくことにより前記ｎ次元相空間上のアトラクタの座標位置を順次決定することを特徴とする。
【００１５】
請求３に記載の発明では、外部より供給される歌唱音波形の波高値を時間順に順次入力する入力手段と、基本アトラクタデータが記憶される基本アトラクタデータ記憶手段とを有するコンピュータに、入力された歌唱音波形を時間軸及び波高値を有する２次元相空間上の原波形データとして原波形データ記憶手段に記憶させるステップと、この記憶された原波形データに対して、ターケンス・プロット処理を施すことによってアトラクタデータを作成するターケンス・プロット処理ステップと、この作成されたアトラクタデータと前記記憶手段に記憶される基本アトラクタデータとを比較し、この比較結果に基づいて前記原波形を診断する波形診断ステップと、を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明では、ユーザの歌唱音波形を熟練した評価者のように評価をすることが出来、アドバイスを与えることが可能になる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の実施の形態について説明する。
Ａ．構成
図１は本発明の実施形態による歌唱診断を行う波形評価装置１００の構成を示すブロック図である。この図において、５は外部から診断用波形を取り込むことができる入力部であり、ユーザの歌唱音声を電気信号の波形に変換する外部マイクやライン信号が接続されるようになっている。
【００１８】
パネルスイッチ３０は、装置電源をパワーオン・オフする電源スイッチの他、伴奏の開始および停止を指示するスタートスイッチ、押鍵案内を行うか否かを設定するガイドスイッチおよび診断モード（後述する）を選択する診断モード選択スイッチ等が設けられ、これらスイッチの操作に応じたスイッチイベントを発生する。パネルスイッチ３０から出力されるスイッチイベントは、後述するＣＰＵ５０に取り込まれる。
【００１９】
表示部４０は、ＬＣＤパネル等から構成され、ＣＰＵ５０から供給される表示制御信号に応じて装置各部の設定状態などを表示する。ＣＰＵ５０は、パネルスイッチ３０から供給されるスイッチイベントに応じて装置各部を制御する。具体的には、診断モード選択スイッチ操作により選択される診断モードでユーザの波形状況を診断する。本発明の要旨に関わるＣＰＵ５０の特徴的な処理動作については追って詳述する。
【００２０】
ＲＯＭ６０は、プログラムエリアおよび基本アトラクタデータエリアを備える。ＲＯＭ６０のプログラムエリアには、ＣＰＵ５０にロードされる各種制御プログラムが記憶される。各種制御プログラムとは、後述するメインルーチン、スイッチ処理、および波形診断処理を含む。ＲＯＭ６０の基本アトラクタデータエリアには、後述する診断モード用の基本アトラクタデータが記憶される。この参照データが意図するところについては追って述べる。
【００２１】
ＲＡＭ７０は、ワークエリアおよびデータエリアを備える。ＲＡＭ７０のワークエリアには、ＣＰＵ５０の処理に用いる各種レジスタ・フラグデータが一時記憶される。ＲＡＭ７０のデータエリアには、波形診断用の各種データが一時記憶される。
図７はこのＲＡＭ７０内のデータ配置図を表わし、後述するターケンス・プロット処理を行うために使用する歌唱による波形情報を一時的に記憶する波形データエリア（図a）とアトラクタデータエリア（図b）を有している。
【００２２】
本実施形態においては、歌唱と同時に予め用意された伴奏曲をＢＧＭとして発生させることができるように構成されており、これにより歌唱しやすくするようになっている。このために、図１に示すようにスイッチ操作により、予め用意された伴奏曲に基づいた伴奏音信号を生成して出力する伴奏部８０を有する。
【００２３】
サウンドシステム９０は、この伴奏部８０から出力される伴奏音波形をアナログ波形信号に変換した後、このアナログ波形信号に対して不要ノイズを除去する等のフィルタリングを施してから増幅してスピーカから発音する。そしてこのサウンドシステム９０は、入力部５から出力される歌唱波形も入力し、この歌唱波形に基づいた歌唱音を生成する。すなわち、伴奏部８０からの伴奏音をＢＧＭとして聴きながら、入力部５に接続されるマイクからの歌唱波形が入力できるような構成となっている。なお、この入力部５に接続されるマイクから、歌唱音声だけでなくこの伴奏音も入力してしまう恐れがある場合には、ＣＰＵ５０で伴奏音のみキャンセルするような処理を行なわせるようにしてもよい。
【００２４】
Ｂ．動作
次に、図２〜図１４を参照して上記構成による第一実施形態の動作について説明する。以下では、最初に全体動作としてメインルーチンの動作を説明した後、メインルーチンからコールされるスイッチ処理、および波形診断処理の各動作について述べる。
【００２５】
（１）メインルーチンの動作
電源スイッチ操作により装置電源がパワーオンされると、ＣＰＵ５０は図２に図示するメインルーチンのステップＳＡ１に処理を進め、ＲＡＭ７０のワークエリアに設けられる各種レジスタやフラグ類をリセットしたり初期値をセットするイニシャライズを行う。続いて、ステップＳＡ２では、ユーザのスイッチ操作に応じてパネルスイッチ３０が発生するスイッチイベントに基づき、対応するスイッチ処理を実行する。例えば、スタートスイッチのオン操作に応じて伴奏開始を指示する処理、あるいは診断スイッチをオン操作して波形診断処理を実行する。
【００２６】
そして、ステップＳＡ３では、歌唱が停止していれば、ユーザの歌唱による歌唱音波形状況を診断する波形診断処理を実行する。以後、電源がオフされる迄、上記ステップＳＡ２〜ＳＡ３を繰り返す。
【００２７】
（２）スイッチ処理の動作
次に、図３を参照してスイッチ処理の動作を説明する。上述したメインルーチンのステップＳＡ２（図２参照）を介して図３に図示するスイッチ処理が実行される。
【００２８】
ステップＳＣ１では、スタートスイッチのオン操作の有無を判断する。スタートスイッチがオン操作されると、判断結果は「ＹＥＳ」となり、ステップＳＣ２に進む。ステップＳＣ２では、スタートフラグＳＴＦをビット反転する。このスタートフラグＳＴＦとは、歌唱動作を開始させるとともに伴奏を開始させるか否かを表わすものであって、「１」の時に開始を表わし、「０」の時に終了を表わす。
【００２９】
続いて、ステップＳＣ３では、ビット反転されたスタートフラグＳＴＦが「１」、つまり歌唱動作及び伴奏の開始を表わしているか否かを判断する。ここで、ビット反転されたスタートフラグＳＴＦが「１」であると、上記ステップＳＣ３の判断結果が「ＹＥＳ」となり、ステップＳＣ４に進み、伴奏部８０に対して伴奏（ＢＧＭ）の開始を指示する。さらにステップＳＣ５へ移行し波形データエリアをクリアした後、ステップＳＣ６で入力部５からの波形入力処理を開始する。さらに後述する波形入力処理（図１４）に示すようにＣＰＵ５０によってその都度割り込み処理が継続して行われ波形が波形データエリアに記録されるようになっている。
【００３０】
これに対し、ビット反転されたスタートフラグＳＴＦが「０」であると、上述したステップＳＣ３の判断結果が「ＮＯ」になり、ステップＳＣ７に進み、伴奏部８０に伴奏の停止を指示する。さらにステップＳＣ８へ進み、入力部５からの波形入力を停止する。
【００３１】
さて一方、スタートスイッチがオン操作されていない場合には、上述したステップＳＣ１の判断結果が「ＮＯ」になり、ステップＳＣ９に進み、ＳＴＦフラグが１であれば、ステップＳＣ１２に進み、その他のスイッチ操作に関わる処理を実行して本処理を終える。
【００３２】
ステップＳＣ９でＳＴＦフラグが０であって、ステップＳＣ１０で診断スイッチがオンされていない場合もステップＳＣ１２に進み、その他の処理を行う。ステップＳＣ１２でＳＴＦが０であって、ステップＳＣ１３で診断スイッチがオンされている場合はステップＳＣ１１へと進み波形診断を指示するフラグＳＨＦを反転させる。
【００３３】
（３）割り込み処理（波形入力処理）の動作
次に、図１４を参照してＣＰＵ５０の割り込み処理によって行われる、診断波形入力の動作について説明する。一定時間が経過するたびに、ＣＰＵはこの割り込み処理を開始し、図１４に図示するステップＳＫ１に進み、ＳＴＦフラグが１であるならば、ステップＳＫ２へと進む。ここでは入力部５から入力された歌唱音波形を波形データエリアに書き込む。その後ステップＳＫ３に進み伴奏部８０による伴奏が終わりになったかどうかを判断し、終わっていなければ本フローを終了する。すなわちサンプリングされた波高値を時系列に記録させていく。また伴奏が終わりであれば、ステップＳＫ４へと進みＳＴＦフラグを０に変更して本処理を終える。またステップＳＫ１でＳＴＦフラグが０であった場合は、本処理を終了する。
【００３４】
（４）波形診断処理の動作
次に、図４を参照して波形診断処理の動作について説明する。前述したメインルーチンのステップＳＡ３（図２参照）を介して波形診断処理が実行されると、ＣＰＵ５０は図４に図示するステップＳＦ１に進み、診断フラグＳＨＦが「１」、つまり、波形診断中であるか否を判断する。波形診断中でないならば、判断結果は「ＮＯ」になり、本処理を完了する。
【００３５】
一方、波形診断が開始していると、上記ステップＳＦ１の判断結果が「ＹＥＳ」になり、ステップＳＦ２に進み、波形データエリアに入力されたデータがあるかを確認し、データがない場合は、本処理を終了する。データがある場合はステップＳＦ３に進み診断モード処理を実行する。
【００３６】
（５）診断モード処理の動作
次に、図５〜図７を参照して診断モード処理の動作について説明する。上述した波形診断処理が実行されると、ＣＰＵ５０は図５に図示するステップＳＧ１に処理を進める。
【００３７】
ステップＳＧ１では、入力された波形データＬ０〜Ｌｎについてターケンス・プロット解析処理を施す。すなわち、波形データＬ０〜Ｌｎを後述するターケンス・プロット処理を用いて３次元空間に埋め込み、アトラクタを生成し、あらかじめＲＯＭ６０の参照データエリアに記憶していた複数の基本アトラクタデータ（図７（ｃ））との相関値を抽出することで波形の評価結果を決定する。
【００３８】
図７（ｂ）はＲＡＭ内のアトラクタデータエリアを示す図であり、後述するターケンス・プロット解析処理で用いられる３次元の座標を記録するエリアである。また 図７（ｃ）に示すＲＯＭ６０内の基本アトラクタデータエリアには、図７（ｂ）のアトラクタデータエリアと同じように３次元の座標を記録しておくための基本アトラクタデータが記録される基本アトラクタデータエリアが設けられている。
【００３９】
この基本アトラクタデータはお手本となる歌の波形データであり、基本アトラクタデータ番号が付番されており、さらに評価文章が対応して記憶されている、この基本アトラクタデータは、この波形を得るために歌唱を行った歌手に対応して「歌手の○○風なイメージの歌い方です・・・」という文章が対応づけられて記憶されている。また、こうした診断モード処理用の基本アトラクタデータとユーザの波形から作成したアトラクタデータとを比較判定して、ユーザの波形に最も相関値が高い、基本アトラクタデータを探し出し、これに基づいた評価文章を選択し、ステップＳＧ２では、表示部４０に診断結果を表示部４０へ出力して本処理を終える。
【００４０】
ａ．ターケンス・プロット解析処理の動作
診断モード処理のステップＳＧ１（図５参照）を介して本処理が実行されると、ＣＰＵ５０は図８に図示するターケンス・プロット解析処理のステップＳＩ１に処理を進め、初期設定を行う。初期設定では、本処理に必要なイニシャライズ処理の他、後述のステップＳＩ２において実行するターケンス・プロット処理に必要なプロット条件（評価区間長Ｓｔｉｍｅ、プロットスケール幅ｔおよびリサンプリング周期Δｔ）をユーザ操作に応じて設定する。
【００４１】
ステップＳＩ２では、上記ステップＳＩ１において初期設定されたプロット条件（評価区間長Ｓｔｉｍｅ、プロットスケール幅ｔおよびリサンプリング周期Δｔ）に基づき、ＲＡＭ７０の波形データエリアに格納される波形データにターケンス・プロット処理を施す。ターケンス・プロット処理は、波形データからアトラクタを生成するものであり、その動作について図９を参照して説明する。
【００４２】
図９は、ターケンス・プロット処理の概要を説明するための図である。ターケンス・プロットでは、ＲＡＭ７０の波形データエリアに格納される波形データをリサンプリングするプロットスケールが用いられる。図９に図示する一例は、２次元の波形データから３次元のアトラクタを生成する場合のプロットスケールを例示している。プロットスケールは、プロットスケール幅ｔを隔てた３点（ｘ成分、ｙ成分およびｚ成分）における波形データの波高値Ｔ（ｘ，ｙ，ｚ）を指定する。
【００４３】
波形データの波高値Ｔ（ｘ，ｙ，ｚ）を指定するプロットスケールは、リサンプリング周期Δｔ毎に時系列順に移動する。リサンプリング周期Δｔは、波形データのサンプリング周期以上の時間幅を有する。リサンプリング周期Δｔ毎に、時系列順に移動するプロットスケールによって、波高値Ｔ１（ｘ，ｙ，ｚ）〜波高値Ｔｎ（ｘ，ｙ，ｚ）が得られる。波高値Ｔ１（ｘ，ｙ，ｚ）〜波高値Ｔｎ（ｘ，ｙ，ｚ）の数は、上記ステップＳＩ１で設定される評価区間長Ｓｔｉｍｅで決まる。このＳｔｉｍｅは評価したい区間であるが、通常は歌唱の最初から最後までになる。また、歌唱の途中で評価したい場合は、Ｓｔｉｍｅは短く設定してもかまわない。また、このリサンプリングを行う前に、波形データが荒すぎてその時間にデータがない場合は、もっともサンプリング点に近いデータを使用しても構わない。
【００４４】
図１０はターケンス・プロット処理を示すフローチャートである。まず、変数ｍを０にリセットし（ステップＳＦ１）、次にステップＳＦ２において、プロットを行うためにプロットスケール幅ｔを隔てた３点が波形の時間軸上での位置関係を設定する。すなわち最初の点であるｔ０が０と決まると、ｔの幅だけ時間を隔てた点ｔ１、そしてさらにｔの幅だけ時間を隔てたｔ２が設定されるようになっている。
【００４５】
次に、ＣＰＵ５０は、ＲＡＭ７０のアトラクタデータエリア内のｘｎに、時間ｔ0における位置での波高値Ｌ（ｔ0）を格納する（ステップＳＦ３）。そしてｙｎには、時間ｔ１における波高値Ｌ（ｔ１）を格納する（ステップＳＦ４）。さらにｚｎ２には時間ｔ２における波高値Ｌ（ｔ２）を格納する（ステップＳＦ５）。この処理によって、表示部３０の画面上に表示されるアトラクタの最初の３次元座標Ｔ１（図９参照）が決定する。その後、ｍをインクリメントし（ステップＳＦ６）、時間軸上の各プロットスケール位置ｔ0、ｔ１、ｔ２をΔｔだけシフトさせる（ステップＳＦ７）。
【００４６】
続いて、時間ｔ２がＳｔｉｍｅを越えたか否か判断し（ステップＳＦ８）し、超えていなければステップＳＦ３の処理に戻って再びｘ成分、ｙ成分、ｚ成分の値を順次読み出し、ＲＡＭ７０内のアトラクタデータエリアへの書き込みを行う。この動作は、時間ｔ２がＳtimeを越えるまで繰り返す。これにより、波高値Ｔ１（ｘ，ｙ，ｚ）〜波高値Ｔｎ（ｘ，ｙ，ｚ）が全て格納され、ターケンス・プロット処理の動作を終了する。
図１１にはこのアトラクタデータエリアのデータを実際に３次元の空間に軌道として表
したものである。
【００４７】
次に、図８に図示するステップＳＩ３では、得られた波高値Ｔ１（ｘ，ｙ，ｚ）〜波高値Ｔｎ（ｘ，ｙ，ｚ）についてのアトラクタが、あらかじめ記憶されている基本アトラクタと比較され、相関抽出処理が行われる。図１２は相関抽出処理のフローチャートである。ここでは、予めＲＯＭ６０の基本アトラクタタデータエリアに記録されている基本アトラクタデータが、前述のターケンス・プロット処理により得られたアトラクタとの３次元相空間内での相関関係を調べて、もっとも高い相関性が得られた基本アトラクタデータを検出するための処理を行う。図１３には基本アトラクタの識別番号である基本アトラクタデータ番号と、アトラクタの３次元空間での形状（軌跡）と、これに対応した評価文章を示す。
【００４８】
図１２の相関抽出処理では、まず最初に、記録されている複数の基本アトラクタタの中からひとつの基本アトラクタタデータをＲＯＭ６０から呼び出す（ステップＳＨ１）。次に、図１０のターケンス・プロット処理により得られたアトラクタデータを呼び出す（ステップＳＨ２）。そしてこれら呼び出された二つのアトラクタの形状の比較を行う（ステップＳＨ３）。
【００４９】
この図形の比較は、ｘｙ、ｘｚ、ｚｙの各平面に投影された図形を指紋認証を行うように比較される二つの図形の位置やスケール、角度などを調整して多面的に比較することが好ましいが、特にこれに限定されるものでなく、別の３次元相空間における図形の比較の方式を用いてもよい。
【００５０】
次に、この二つの図形の比較によってその相関性を定量的に示すべく相関値を決定する（ステップＳＨ４）。例えばこの方法は、画像処理で行われるピクセルマッチングなどの方法がある。そして算出された相関値をＲＡＭのワークエリアにあらかじめ確保された相関値レジスタの値と比較し、大きい場合は算出された相関値と対応するプロット条件をストアする（ステップＳＨ５）。続いて、記憶されている基本アトラクタデータを全部参照し終えたか否か判断し（ステップＳＨ６）、参照し終えていないなら、別の基本アトラクタデータを順次指定してステップＳＨ２〜ＳＨ７の処理を繰り返す。
【００５１】
全ての基本アトラクタタとの参照が終われば、基本アトラクタデータのどれかに最も高い相関性をもった相関値と基本アトラクタ番号がＲＡＭ内のワークエリアのレジスタに記録される。
【００５２】
尚、世の中には著名な歌手に限らず、優秀な歌唱による波形は歌手の発掘により新たに次々と発見されている。このため新たに発見した波形データを新たな基本アトラクタデータとして、その有名歌手の名前や、評価文章としてＲＡＭ７０に追加し相関値の比較ができるような構成にしてもよい。
【００５３】
次に、図８において、ステップＳＩ４では、全てのプロット条件の処理を実行したか否かを判断する。まだ全てのプロット条件についてターケンス・プロットと相関抽出処理を行っていない場合は、判断結果が「ＮＯ」になり、ステップＳＩ５に進み、プロット条件更新を実行した後、再び上記ステップＳＩ２〜ＳＩ５を繰り返す。
【００５４】
プロット条件更新は評価区間長Ｓｔｉｍｅの範囲において、複数のプロットスケール幅ｔと複数のリサンプリング周期Δｔによって作り出される組み合わせが新しいプロット条件となるように更新するものである。この処理によって、多数のプロット条件を用いターケンス・プロットを自動で効率よく行えるようになる。
【００５５】
尚、このプロット条件の組み合わせは、ｔおよびΔｔがどれくらいのステップ量の細かさで組み合わせを作るのかによって増減するが、そのステップ量はＣＰＵの処理能力によってユーザが自由に設定できるようにしてよい。また最初から実験値によって得られた適当な値を設定しておくことも可能である。
【００５６】
本実施形態においては、プロットスケールｔの各成分毎の間隔（ｘ成分からｙまでのｔとｙからｚまでのｔ）を別々に変更することによりプロット条件を増加させて比較処理の回数を増やし、相関値算出精度をアップすることも可能である。
【００５７】
また本実施形態においては、ターケンス・プロット処理におけるプロット条件を自動的に種々変更して最適なプロット条件とアトラクタ抽出ができるようになっている。このため、操作する人の手間がかからず、簡単に最適なアトラクタの生成が可能になる。もちろん、第一実施形態の如く自動的に最適なアトラクタを抽出するのではなく、ユーザが任意の値を設定しながら、最適と思われるアトラクタを抽出するようにしてもよい。
【００５８】
さらに本実施形態では、基本アトラクタと歌唱音波形のアトラクタの比較による相関値をみてアトラクタの特徴を抽出しているが、データ同士の相関値の抽出方法は多数あり、この方法の限りではない。さらにあらかじめ基本アトラクタデータを記憶さているが、比較の対象となる２次元の時系列データを原波形として記憶させておいて、判断を行うためにその都度ターケンス・プロットを行い基本アトラクタを発生させて使用してもかまわない。この場合はＣＰＵ５０の処理は重くなる。
【００５９】
再び図８に戻り、全てのプロット条件でターケンス・プロット処理 とその相関抽出が終わると、ステップＳＩ４の判断結果が「ＹＥＳ」となる。そして、ステップＳＩ６に進み、図１２のステップＳＨ５においてレジスタに記憶された相関値が所定値以上であるかどうかを判断する。これが所定値以上であるとステップＳＩ７に進みこの相関値を記録した基本アトラクタデータ番号に対応する評価文章を読み出し、これらのデータでＲＡＭ７０のワークエリアに設けられた評価用番号記録レジスタと表示用の評価文章レジスタを更新し、表示用に用いる基本アトラクタ番号を決定する。またステップＳＩ６で相関値が所定値以下になった場合は、ステップＳＩ８に進み、ＲＯＭ６０にあらかじめ記憶させておいたアラート文章「もっとていねいに歌いましょう」という文章を読み出す。尚、この文章の内容は「もっと滑らかに歌いましょう」など他の文章を使用してもかまわない。
【００６０】
以上でターケンス・プロット解析処理を終え、図５のステップＳＧ２ではＲＡＭ７０内の表示用のワーキングエリアの評価文章を診断結果として表示部４０に表示させる。
【００６１】
以上のように、本実施形態では、ユーザの歌唱音波形から派生させた時系列データ（波形データＬ０（ｔ）〜Ｌｎ（ｔ））、にターケンス・プロット解析を施し、これにより得られるアトラクタと、予め記憶されているデータであって、波形状況を判定する基本アトラクタデータとの比較によりユーザの波形状況を判定して評価文章を出力するようになっている。
また、歌唱波形は必ずしも人が歌ったものでなく、楽器や他の時系列データであっても構わず、これに対応した波形の診断が可能である。
【００６２】
尚、本発明では、「歌唱波形の印象」についての元となる材料として歌の波形を使用しているが、波形の包括曲線（エンベロープ）関係する変化を表すデータや、音量が一定基準レベルを超えるような発音のタイミングを抽出してその間隔を時系列にしたデータなどを用いても構わない。この場合は基本アトラクタデータの内容もこれに準じて変更する必要がある。
【００６３】
尚、本実施形態では評価文章やアラートを表示させているが、波形データから生成されたアトラクタや、基本アトラクタおよびこれに関係する情報を表示部４０に表示させることでユーザの使い勝手はさらに向上する。例えばこの波形がカオス状態であるなどの情報を示せば、自分の歌唱に心地よいゆらぎがあることが自覚でき、向上心が促進される。
【図面の簡単な説明】
【００６４】
【図１】本発明による第一実施形態の構成を示すブロック図である。
【図２】メインルーチンの動作を示すフローチャートである。
【図３】スイッチ処理の動作を示すフローチャートである。
【図４】波形診断処理の動作を示すフローチャートである。
【図５】診断モード処理の動作を示すフローチャートである。
【図６】時間軸上の２次元波形を示す図である。
【図７】ＲＡＭ内波形データエリアおよびアトラクタデータエリアとＲＯＭ内の基本アトラクタデータエリアを示す図である。
【図８】ターケンス・プロット解析処理の動作を示すフローチャートである。
【図９】ターケンス・プロットのイメージを示す図である。
【図１０】ターケンス・プロット処理の動作を示すフローチャートである。
【図１１】アトラクタの軌跡を示す図である。
【図１２】相関抽出処理の動作を示すフローチャートである
【図１３】基本アトラクタデータ番号と基本アトラクタデータの形状および評価文章との関係を示す図である。
【図１４】本発明による波形入力を行うためのわりこみ処理の動作を示すフローチャートである。
【００６５】
５ 入力部
３０ パネルスイッチ
４０ 表示部
５０ ＣＰＵ
６０ ＲＯＭ
７０ ＲＡＭ
８０ 音源
９０ サウンドシステム
１００ 波形評価装置
【技術分野】
【０００１】
本発明は、歌唱者の歌唱を評価・診断する波形診断装置および歌唱診断処理プログラムに関する。
【背景技術】
【０００２】
従来から、ある歌唱者の歌を評価・診断する場合は、予め用意された曲を歌唱させ、この歌唱を時間軸及び波高値を有する２次元相空間上に表わした歌唱波形と模範となる歌唱波形とを比較する、という手法がとられる。この比較結果に基づいて実際の歌唱波形を評価・診断する最も簡単な手法は、模範となる歌唱波形との印象がどれだけ少ないか、ということに着目することである。つまり評価される側の歌唱波形と模範の歌唱波形との間で音高やタイミングが異なっていないか、ということを逐一判断し、両者の相違が少なければ少ないほど、評価を高くするという手法である。例えば特許文献１には、歌唱者によって発せられた、歌唱波形の音程やタイミングについて模範となる歌唱波形データと比較し評価が低い波形を記録したアドレスから再び歌唱練習させる歌唱練習機能つきカラオケ装置が開示されている。
【０００３】
【特許文献１】特開２００１−３４２７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、この特許文献１に示されるような手法は、単に模範となる歌唱波形と実際の歌唱波形の音程やタイミングが一致しているかどうかが判断されるだけであり、波形の中の音程やタイミングという単純な方向から見た評価・診断でしかない。なぜなら、ひとつの曲に対して模範となる歌唱波形というものは唯一絶対というものはなく、有名歌手毎に多種多様にあるものであり、その中のひとつの模範となる歌唱波形と比較して一致しないからといって低い評価を与えることは、はたして妥当であるか疑問が残る。
【０００５】
こうした場合、熟練した評価者であれば、別の面から見た評価・診断を行う場合が多い。これら熟練した評価者は、ひとつの曲に対する複数の有名歌手による名歌唱を聞く経験をしており、これらの経験から、評価を下している。
【０００６】
これらの人々が評価を行う場合、特に注目するのは歌唱による歌、すなわち「歌唱波形の印象」がどうであったかということである。「歌唱波形の印象」の印象とは「人の心に残るような特性」のことであり、これを先生は長年の経験に基づいてこの特性を感覚的に抽出し生徒の歌唱波形と過去の名歌手による歌唱波形とを比較して評価を行うのである。従って波形を評価する場合、ひとつの模範歌唱波形と音程やタイミングが合ってなくとも単に「音程やタイミングが模範歌唱波形と合っていない」という機械的な評価・診断を下さずに、経験と感性に基づいて「○○風だから△△だ・・・」という評価・診断を下すことが可能となる。しかしながらこの「歌唱波形の印象」を抽出することは、一般的な手法として確立されたものでなく、熟練した先生の経験と感性に頼る部分が多い。
【０００７】
しかし、近年になってターケンス・プロットとよばれる、脳で行われる情報の処理と類似していると見られる手法を用いることにより、ある歌唱波形からアトラクタを生成すると、このアトラクタは「歌唱波形の印象」を表わすものであることがわかってきた。このアトラクタはあるデータに対して、時間的に他の波形データがどうであったかを同時に空間に表示するものであり、このアトラクタが表現する軌跡が脳の感じる「歌唱波形の印象」であることは、人間の脳のメカニズムを知ることで理解することが可能となってきている。
【０００８】
まず人間の脳は、外部からうけた刺激を情報として取り込み、これが何であるかを認識（特徴を抽出）して記憶している。この認識は入力された情報のみで行うのではなく、過去にうけた刺激により記憶された情報を参考にして認識していると考えられる。たとえば、映画で見たあるシーンが過去の自分の経験と重なっていると、大きな感動を憶えることである。これは脳が映画のシーンを認識する際、過去に記憶された経験の記憶を参考にして認識し、同じ特徴を有する経験があればそれが強い刺激として認識されるため感動が大きくなっていると考えられる。また、過去にどこかで聞いた曲を再び聞いた場合、それについて親しみを感じるということも同様である。
【０００９】
さらに、この脳の認識の手法においては、このように遠い過去の記憶まで参照して認識するものだけでなく、もっと短時間での過去も多大な影響を与えていると考えられる。そして聴覚に関する発音や消音の情報である「歌唱波形の印象」についても、より短時間の直前の波形と照らし合わせて認識していると考えられる。よりわかりやすくいうならば、一瞬ごとに物事を認知しているのではなく、あるまとまった時間についてどのようになっているのかを認知していると考えられる。
【００１０】
このことから、ターケンス・プロットで「現時点での波形を所定のプロットスケール幅によって複数同時に選択している作業」は、脳で行われている「現時点の情報を認識するときに同時に過去の情報も参考にしている」という脳内の情報認識における作業ときわめて類似したものであるといえる。このため、歌唱によって入力された歌唱波形から得られる時系列データからターケンス・プロットによってアトラクタを描画する作業は、脳にとっては、その曲を認識するに必要な「歌唱波形の印象」を抽出する作業に他ならない。
【００１１】
すなわち、ターケンス・プロットを用いで表示されたアトラクタは、その音の「歌唱波形の印象」という特徴の部分が視覚的に表現されているといえる。
【００１２】
本発明は、このような事情に鑑みてなされたもので、教習者が歌唱した曲の「歌唱波形の印象」の発音操作形態を表現する時系列データをアトラクタの特徴として抽出し、このアトラクタの特徴に基づいて評価・診断を行う歌唱診断装置および歌唱診断プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１３】
上記目的を達成するため、請求項１に記載の発明では、外部より供給される歌唱音波形の波高値を時間順に順次入力する入力手段と、この入力された歌唱音波形を時間軸及び波高値を有する２次元相空間上の原波形データとして記憶する原波形データ記憶手段と、この原波形データ記憶手段に記憶された原波形データに対して、ターケンス・プロット処理を施すことによってアトラクタデータを作成するターケンス・プロット処理手段と、 基本アトラクタデータが記憶される基本アトラクタデータ記憶手段と、前記ターケンス・プロット処理手段によって作成されたアトラクタデータと前記基本アトラクタデータ記憶手段に記憶される基本アトラクタデータとを比較し、この比較結果に基づいて前記原波形を診断する波形診断手段とを具備することを特徴とする。
【００１４】
請求項２に記載の発明では、請求項１の前記ターケンス・プロット処理手段は、入力された２次元相空間の原波形データの時間軸上に夫々プロットスケール値ｔの間隔をおいたｎ個のサンプリング位置を指定し、当該ｎ個のサンプリング位置の波高値夫々をｎ次元相空間上の各軸上の位置に対応させることによって最初の座標位置を決定し、その後前記ｎ個のサンプリング位置を同時にリサンプリング時間Δｔだけ時間軸上を順次シフトしていくことにより前記ｎ次元相空間上のアトラクタの座標位置を順次決定することを特徴とする。
【００１５】
請求３に記載の発明では、外部より供給される歌唱音波形の波高値を時間順に順次入力する入力手段と、基本アトラクタデータが記憶される基本アトラクタデータ記憶手段とを有するコンピュータに、入力された歌唱音波形を時間軸及び波高値を有する２次元相空間上の原波形データとして原波形データ記憶手段に記憶させるステップと、この記憶された原波形データに対して、ターケンス・プロット処理を施すことによってアトラクタデータを作成するターケンス・プロット処理ステップと、この作成されたアトラクタデータと前記記憶手段に記憶される基本アトラクタデータとを比較し、この比較結果に基づいて前記原波形を診断する波形診断ステップと、を実行させることを特徴とする。
【発明の効果】
【００１６】
本発明では、ユーザの歌唱音波形を熟練した評価者のように評価をすることが出来、アドバイスを与えることが可能になる。
【発明を実施するための最良の形態】
【００１７】
以下、図面を参照して本発明の実施の形態について説明する。
Ａ．構成
図１は本発明の実施形態による歌唱診断を行う波形評価装置１００の構成を示すブロック図である。この図において、５は外部から診断用波形を取り込むことができる入力部であり、ユーザの歌唱音声を電気信号の波形に変換する外部マイクやライン信号が接続されるようになっている。
【００１８】
パネルスイッチ３０は、装置電源をパワーオン・オフする電源スイッチの他、伴奏の開始および停止を指示するスタートスイッチ、押鍵案内を行うか否かを設定するガイドスイッチおよび診断モード（後述する）を選択する診断モード選択スイッチ等が設けられ、これらスイッチの操作に応じたスイッチイベントを発生する。パネルスイッチ３０から出力されるスイッチイベントは、後述するＣＰＵ５０に取り込まれる。
【００１９】
表示部４０は、ＬＣＤパネル等から構成され、ＣＰＵ５０から供給される表示制御信号に応じて装置各部の設定状態などを表示する。ＣＰＵ５０は、パネルスイッチ３０から供給されるスイッチイベントに応じて装置各部を制御する。具体的には、診断モード選択スイッチ操作により選択される診断モードでユーザの波形状況を診断する。本発明の要旨に関わるＣＰＵ５０の特徴的な処理動作については追って詳述する。
【００２０】
ＲＯＭ６０は、プログラムエリアおよび基本アトラクタデータエリアを備える。ＲＯＭ６０のプログラムエリアには、ＣＰＵ５０にロードされる各種制御プログラムが記憶される。各種制御プログラムとは、後述するメインルーチン、スイッチ処理、および波形診断処理を含む。ＲＯＭ６０の基本アトラクタデータエリアには、後述する診断モード用の基本アトラクタデータが記憶される。この参照データが意図するところについては追って述べる。
【００２１】
ＲＡＭ７０は、ワークエリアおよびデータエリアを備える。ＲＡＭ７０のワークエリアには、ＣＰＵ５０の処理に用いる各種レジスタ・フラグデータが一時記憶される。ＲＡＭ７０のデータエリアには、波形診断用の各種データが一時記憶される。
図７はこのＲＡＭ７０内のデータ配置図を表わし、後述するターケンス・プロット処理を行うために使用する歌唱による波形情報を一時的に記憶する波形データエリア（図a）とアトラクタデータエリア（図b）を有している。
【００２２】
本実施形態においては、歌唱と同時に予め用意された伴奏曲をＢＧＭとして発生させることができるように構成されており、これにより歌唱しやすくするようになっている。このために、図１に示すようにスイッチ操作により、予め用意された伴奏曲に基づいた伴奏音信号を生成して出力する伴奏部８０を有する。
【００２３】
サウンドシステム９０は、この伴奏部８０から出力される伴奏音波形をアナログ波形信号に変換した後、このアナログ波形信号に対して不要ノイズを除去する等のフィルタリングを施してから増幅してスピーカから発音する。そしてこのサウンドシステム９０は、入力部５から出力される歌唱波形も入力し、この歌唱波形に基づいた歌唱音を生成する。すなわち、伴奏部８０からの伴奏音をＢＧＭとして聴きながら、入力部５に接続されるマイクからの歌唱波形が入力できるような構成となっている。なお、この入力部５に接続されるマイクから、歌唱音声だけでなくこの伴奏音も入力してしまう恐れがある場合には、ＣＰＵ５０で伴奏音のみキャンセルするような処理を行なわせるようにしてもよい。
【００２４】
Ｂ．動作
次に、図２〜図１４を参照して上記構成による第一実施形態の動作について説明する。以下では、最初に全体動作としてメインルーチンの動作を説明した後、メインルーチンからコールされるスイッチ処理、および波形診断処理の各動作について述べる。
【００２５】
（１）メインルーチンの動作
電源スイッチ操作により装置電源がパワーオンされると、ＣＰＵ５０は図２に図示するメインルーチンのステップＳＡ１に処理を進め、ＲＡＭ７０のワークエリアに設けられる各種レジスタやフラグ類をリセットしたり初期値をセットするイニシャライズを行う。続いて、ステップＳＡ２では、ユーザのスイッチ操作に応じてパネルスイッチ３０が発生するスイッチイベントに基づき、対応するスイッチ処理を実行する。例えば、スタートスイッチのオン操作に応じて伴奏開始を指示する処理、あるいは診断スイッチをオン操作して波形診断処理を実行する。
【００２６】
そして、ステップＳＡ３では、歌唱が停止していれば、ユーザの歌唱による歌唱音波形状況を診断する波形診断処理を実行する。以後、電源がオフされる迄、上記ステップＳＡ２〜ＳＡ３を繰り返す。
【００２７】
（２）スイッチ処理の動作
次に、図３を参照してスイッチ処理の動作を説明する。上述したメインルーチンのステップＳＡ２（図２参照）を介して図３に図示するスイッチ処理が実行される。
【００２８】
ステップＳＣ１では、スタートスイッチのオン操作の有無を判断する。スタートスイッチがオン操作されると、判断結果は「ＹＥＳ」となり、ステップＳＣ２に進む。ステップＳＣ２では、スタートフラグＳＴＦをビット反転する。このスタートフラグＳＴＦとは、歌唱動作を開始させるとともに伴奏を開始させるか否かを表わすものであって、「１」の時に開始を表わし、「０」の時に終了を表わす。
【００２９】
続いて、ステップＳＣ３では、ビット反転されたスタートフラグＳＴＦが「１」、つまり歌唱動作及び伴奏の開始を表わしているか否かを判断する。ここで、ビット反転されたスタートフラグＳＴＦが「１」であると、上記ステップＳＣ３の判断結果が「ＹＥＳ」となり、ステップＳＣ４に進み、伴奏部８０に対して伴奏（ＢＧＭ）の開始を指示する。さらにステップＳＣ５へ移行し波形データエリアをクリアした後、ステップＳＣ６で入力部５からの波形入力処理を開始する。さらに後述する波形入力処理（図１４）に示すようにＣＰＵ５０によってその都度割り込み処理が継続して行われ波形が波形データエリアに記録されるようになっている。
【００３０】
これに対し、ビット反転されたスタートフラグＳＴＦが「０」であると、上述したステップＳＣ３の判断結果が「ＮＯ」になり、ステップＳＣ７に進み、伴奏部８０に伴奏の停止を指示する。さらにステップＳＣ８へ進み、入力部５からの波形入力を停止する。
【００３１】
さて一方、スタートスイッチがオン操作されていない場合には、上述したステップＳＣ１の判断結果が「ＮＯ」になり、ステップＳＣ９に進み、ＳＴＦフラグが１であれば、ステップＳＣ１２に進み、その他のスイッチ操作に関わる処理を実行して本処理を終える。
【００３２】
ステップＳＣ９でＳＴＦフラグが０であって、ステップＳＣ１０で診断スイッチがオンされていない場合もステップＳＣ１２に進み、その他の処理を行う。ステップＳＣ１２でＳＴＦが０であって、ステップＳＣ１３で診断スイッチがオンされている場合はステップＳＣ１１へと進み波形診断を指示するフラグＳＨＦを反転させる。
【００３３】
（３）割り込み処理（波形入力処理）の動作
次に、図１４を参照してＣＰＵ５０の割り込み処理によって行われる、診断波形入力の動作について説明する。一定時間が経過するたびに、ＣＰＵはこの割り込み処理を開始し、図１４に図示するステップＳＫ１に進み、ＳＴＦフラグが１であるならば、ステップＳＫ２へと進む。ここでは入力部５から入力された歌唱音波形を波形データエリアに書き込む。その後ステップＳＫ３に進み伴奏部８０による伴奏が終わりになったかどうかを判断し、終わっていなければ本フローを終了する。すなわちサンプリングされた波高値を時系列に記録させていく。また伴奏が終わりであれば、ステップＳＫ４へと進みＳＴＦフラグを０に変更して本処理を終える。またステップＳＫ１でＳＴＦフラグが０であった場合は、本処理を終了する。
【００３４】
（４）波形診断処理の動作
次に、図４を参照して波形診断処理の動作について説明する。前述したメインルーチンのステップＳＡ３（図２参照）を介して波形診断処理が実行されると、ＣＰＵ５０は図４に図示するステップＳＦ１に進み、診断フラグＳＨＦが「１」、つまり、波形診断中であるか否を判断する。波形診断中でないならば、判断結果は「ＮＯ」になり、本処理を完了する。
【００３５】
一方、波形診断が開始していると、上記ステップＳＦ１の判断結果が「ＹＥＳ」になり、ステップＳＦ２に進み、波形データエリアに入力されたデータがあるかを確認し、データがない場合は、本処理を終了する。データがある場合はステップＳＦ３に進み診断モード処理を実行する。
【００３６】
（５）診断モード処理の動作
次に、図５〜図７を参照して診断モード処理の動作について説明する。上述した波形診断処理が実行されると、ＣＰＵ５０は図５に図示するステップＳＧ１に処理を進める。
【００３７】
ステップＳＧ１では、入力された波形データＬ０〜Ｌｎについてターケンス・プロット解析処理を施す。すなわち、波形データＬ０〜Ｌｎを後述するターケンス・プロット処理を用いて３次元空間に埋め込み、アトラクタを生成し、あらかじめＲＯＭ６０の参照データエリアに記憶していた複数の基本アトラクタデータ（図７（ｃ））との相関値を抽出することで波形の評価結果を決定する。
【００３８】
図７（ｂ）はＲＡＭ内のアトラクタデータエリアを示す図であり、後述するターケンス・プロット解析処理で用いられる３次元の座標を記録するエリアである。また 図７（ｃ）に示すＲＯＭ６０内の基本アトラクタデータエリアには、図７（ｂ）のアトラクタデータエリアと同じように３次元の座標を記録しておくための基本アトラクタデータが記録される基本アトラクタデータエリアが設けられている。
【００３９】
この基本アトラクタデータはお手本となる歌の波形データであり、基本アトラクタデータ番号が付番されており、さらに評価文章が対応して記憶されている、この基本アトラクタデータは、この波形を得るために歌唱を行った歌手に対応して「歌手の○○風なイメージの歌い方です・・・」という文章が対応づけられて記憶されている。また、こうした診断モード処理用の基本アトラクタデータとユーザの波形から作成したアトラクタデータとを比較判定して、ユーザの波形に最も相関値が高い、基本アトラクタデータを探し出し、これに基づいた評価文章を選択し、ステップＳＧ２では、表示部４０に診断結果を表示部４０へ出力して本処理を終える。
【００４０】
ａ．ターケンス・プロット解析処理の動作
診断モード処理のステップＳＧ１（図５参照）を介して本処理が実行されると、ＣＰＵ５０は図８に図示するターケンス・プロット解析処理のステップＳＩ１に処理を進め、初期設定を行う。初期設定では、本処理に必要なイニシャライズ処理の他、後述のステップＳＩ２において実行するターケンス・プロット処理に必要なプロット条件（評価区間長Ｓｔｉｍｅ、プロットスケール幅ｔおよびリサンプリング周期Δｔ）をユーザ操作に応じて設定する。
【００４１】
ステップＳＩ２では、上記ステップＳＩ１において初期設定されたプロット条件（評価区間長Ｓｔｉｍｅ、プロットスケール幅ｔおよびリサンプリング周期Δｔ）に基づき、ＲＡＭ７０の波形データエリアに格納される波形データにターケンス・プロット処理を施す。ターケンス・プロット処理は、波形データからアトラクタを生成するものであり、その動作について図９を参照して説明する。
【００４２】
図９は、ターケンス・プロット処理の概要を説明するための図である。ターケンス・プロットでは、ＲＡＭ７０の波形データエリアに格納される波形データをリサンプリングするプロットスケールが用いられる。図９に図示する一例は、２次元の波形データから３次元のアトラクタを生成する場合のプロットスケールを例示している。プロットスケールは、プロットスケール幅ｔを隔てた３点（ｘ成分、ｙ成分およびｚ成分）における波形データの波高値Ｔ（ｘ，ｙ，ｚ）を指定する。
【００４３】
波形データの波高値Ｔ（ｘ，ｙ，ｚ）を指定するプロットスケールは、リサンプリング周期Δｔ毎に時系列順に移動する。リサンプリング周期Δｔは、波形データのサンプリング周期以上の時間幅を有する。リサンプリング周期Δｔ毎に、時系列順に移動するプロットスケールによって、波高値Ｔ１（ｘ，ｙ，ｚ）〜波高値Ｔｎ（ｘ，ｙ，ｚ）が得られる。波高値Ｔ１（ｘ，ｙ，ｚ）〜波高値Ｔｎ（ｘ，ｙ，ｚ）の数は、上記ステップＳＩ１で設定される評価区間長Ｓｔｉｍｅで決まる。このＳｔｉｍｅは評価したい区間であるが、通常は歌唱の最初から最後までになる。また、歌唱の途中で評価したい場合は、Ｓｔｉｍｅは短く設定してもかまわない。また、このリサンプリングを行う前に、波形データが荒すぎてその時間にデータがない場合は、もっともサンプリング点に近いデータを使用しても構わない。
【００４４】
図１０はターケンス・プロット処理を示すフローチャートである。まず、変数ｍを０にリセットし（ステップＳＦ１）、次にステップＳＦ２において、プロットを行うためにプロットスケール幅ｔを隔てた３点が波形の時間軸上での位置関係を設定する。すなわち最初の点であるｔ０が０と決まると、ｔの幅だけ時間を隔てた点ｔ１、そしてさらにｔの幅だけ時間を隔てたｔ２が設定されるようになっている。
【００４５】
次に、ＣＰＵ５０は、ＲＡＭ７０のアトラクタデータエリア内のｘｎに、時間ｔ0における位置での波高値Ｌ（ｔ0）を格納する（ステップＳＦ３）。そしてｙｎには、時間ｔ１における波高値Ｌ（ｔ１）を格納する（ステップＳＦ４）。さらにｚｎ２には時間ｔ２における波高値Ｌ（ｔ２）を格納する（ステップＳＦ５）。この処理によって、表示部３０の画面上に表示されるアトラクタの最初の３次元座標Ｔ１（図９参照）が決定する。その後、ｍをインクリメントし（ステップＳＦ６）、時間軸上の各プロットスケール位置ｔ0、ｔ１、ｔ２をΔｔだけシフトさせる（ステップＳＦ７）。
【００４６】
続いて、時間ｔ２がＳｔｉｍｅを越えたか否か判断し（ステップＳＦ８）し、超えていなければステップＳＦ３の処理に戻って再びｘ成分、ｙ成分、ｚ成分の値を順次読み出し、ＲＡＭ７０内のアトラクタデータエリアへの書き込みを行う。この動作は、時間ｔ２がＳtimeを越えるまで繰り返す。これにより、波高値Ｔ１（ｘ，ｙ，ｚ）〜波高値Ｔｎ（ｘ，ｙ，ｚ）が全て格納され、ターケンス・プロット処理の動作を終了する。
図１１にはこのアトラクタデータエリアのデータを実際に３次元の空間に軌道として表
したものである。
【００４７】
次に、図８に図示するステップＳＩ３では、得られた波高値Ｔ１（ｘ，ｙ，ｚ）〜波高値Ｔｎ（ｘ，ｙ，ｚ）についてのアトラクタが、あらかじめ記憶されている基本アトラクタと比較され、相関抽出処理が行われる。図１２は相関抽出処理のフローチャートである。ここでは、予めＲＯＭ６０の基本アトラクタタデータエリアに記録されている基本アトラクタデータが、前述のターケンス・プロット処理により得られたアトラクタとの３次元相空間内での相関関係を調べて、もっとも高い相関性が得られた基本アトラクタデータを検出するための処理を行う。図１３には基本アトラクタの識別番号である基本アトラクタデータ番号と、アトラクタの３次元空間での形状（軌跡）と、これに対応した評価文章を示す。
【００４８】
図１２の相関抽出処理では、まず最初に、記録されている複数の基本アトラクタタの中からひとつの基本アトラクタタデータをＲＯＭ６０から呼び出す（ステップＳＨ１）。次に、図１０のターケンス・プロット処理により得られたアトラクタデータを呼び出す（ステップＳＨ２）。そしてこれら呼び出された二つのアトラクタの形状の比較を行う（ステップＳＨ３）。
【００４９】
この図形の比較は、ｘｙ、ｘｚ、ｚｙの各平面に投影された図形を指紋認証を行うように比較される二つの図形の位置やスケール、角度などを調整して多面的に比較することが好ましいが、特にこれに限定されるものでなく、別の３次元相空間における図形の比較の方式を用いてもよい。
【００５０】
次に、この二つの図形の比較によってその相関性を定量的に示すべく相関値を決定する（ステップＳＨ４）。例えばこの方法は、画像処理で行われるピクセルマッチングなどの方法がある。そして算出された相関値をＲＡＭのワークエリアにあらかじめ確保された相関値レジスタの値と比較し、大きい場合は算出された相関値と対応するプロット条件をストアする（ステップＳＨ５）。続いて、記憶されている基本アトラクタデータを全部参照し終えたか否か判断し（ステップＳＨ６）、参照し終えていないなら、別の基本アトラクタデータを順次指定してステップＳＨ２〜ＳＨ７の処理を繰り返す。
【００５１】
全ての基本アトラクタタとの参照が終われば、基本アトラクタデータのどれかに最も高い相関性をもった相関値と基本アトラクタ番号がＲＡＭ内のワークエリアのレジスタに記録される。
【００５２】
尚、世の中には著名な歌手に限らず、優秀な歌唱による波形は歌手の発掘により新たに次々と発見されている。このため新たに発見した波形データを新たな基本アトラクタデータとして、その有名歌手の名前や、評価文章としてＲＡＭ７０に追加し相関値の比較ができるような構成にしてもよい。
【００５３】
次に、図８において、ステップＳＩ４では、全てのプロット条件の処理を実行したか否かを判断する。まだ全てのプロット条件についてターケンス・プロットと相関抽出処理を行っていない場合は、判断結果が「ＮＯ」になり、ステップＳＩ５に進み、プロット条件更新を実行した後、再び上記ステップＳＩ２〜ＳＩ５を繰り返す。
【００５４】
プロット条件更新は評価区間長Ｓｔｉｍｅの範囲において、複数のプロットスケール幅ｔと複数のリサンプリング周期Δｔによって作り出される組み合わせが新しいプロット条件となるように更新するものである。この処理によって、多数のプロット条件を用いターケンス・プロットを自動で効率よく行えるようになる。
【００５５】
尚、このプロット条件の組み合わせは、ｔおよびΔｔがどれくらいのステップ量の細かさで組み合わせを作るのかによって増減するが、そのステップ量はＣＰＵの処理能力によってユーザが自由に設定できるようにしてよい。また最初から実験値によって得られた適当な値を設定しておくことも可能である。
【００５６】
本実施形態においては、プロットスケールｔの各成分毎の間隔（ｘ成分からｙまでのｔとｙからｚまでのｔ）を別々に変更することによりプロット条件を増加させて比較処理の回数を増やし、相関値算出精度をアップすることも可能である。
【００５７】
また本実施形態においては、ターケンス・プロット処理におけるプロット条件を自動的に種々変更して最適なプロット条件とアトラクタ抽出ができるようになっている。このため、操作する人の手間がかからず、簡単に最適なアトラクタの生成が可能になる。もちろん、第一実施形態の如く自動的に最適なアトラクタを抽出するのではなく、ユーザが任意の値を設定しながら、最適と思われるアトラクタを抽出するようにしてもよい。
【００５８】
さらに本実施形態では、基本アトラクタと歌唱音波形のアトラクタの比較による相関値をみてアトラクタの特徴を抽出しているが、データ同士の相関値の抽出方法は多数あり、この方法の限りではない。さらにあらかじめ基本アトラクタデータを記憶さているが、比較の対象となる２次元の時系列データを原波形として記憶させておいて、判断を行うためにその都度ターケンス・プロットを行い基本アトラクタを発生させて使用してもかまわない。この場合はＣＰＵ５０の処理は重くなる。
【００５９】
再び図８に戻り、全てのプロット条件でターケンス・プロット処理 とその相関抽出が終わると、ステップＳＩ４の判断結果が「ＹＥＳ」となる。そして、ステップＳＩ６に進み、図１２のステップＳＨ５においてレジスタに記憶された相関値が所定値以上であるかどうかを判断する。これが所定値以上であるとステップＳＩ７に進みこの相関値を記録した基本アトラクタデータ番号に対応する評価文章を読み出し、これらのデータでＲＡＭ７０のワークエリアに設けられた評価用番号記録レジスタと表示用の評価文章レジスタを更新し、表示用に用いる基本アトラクタ番号を決定する。またステップＳＩ６で相関値が所定値以下になった場合は、ステップＳＩ８に進み、ＲＯＭ６０にあらかじめ記憶させておいたアラート文章「もっとていねいに歌いましょう」という文章を読み出す。尚、この文章の内容は「もっと滑らかに歌いましょう」など他の文章を使用してもかまわない。
【００６０】
以上でターケンス・プロット解析処理を終え、図５のステップＳＧ２ではＲＡＭ７０内の表示用のワーキングエリアの評価文章を診断結果として表示部４０に表示させる。
【００６１】
以上のように、本実施形態では、ユーザの歌唱音波形から派生させた時系列データ（波形データＬ０（ｔ）〜Ｌｎ（ｔ））、にターケンス・プロット解析を施し、これにより得られるアトラクタと、予め記憶されているデータであって、波形状況を判定する基本アトラクタデータとの比較によりユーザの波形状況を判定して評価文章を出力するようになっている。
また、歌唱波形は必ずしも人が歌ったものでなく、楽器や他の時系列データであっても構わず、これに対応した波形の診断が可能である。
【００６２】
尚、本発明では、「歌唱波形の印象」についての元となる材料として歌の波形を使用しているが、波形の包括曲線（エンベロープ）関係する変化を表すデータや、音量が一定基準レベルを超えるような発音のタイミングを抽出してその間隔を時系列にしたデータなどを用いても構わない。この場合は基本アトラクタデータの内容もこれに準じて変更する必要がある。
【００６３】
尚、本実施形態では評価文章やアラートを表示させているが、波形データから生成されたアトラクタや、基本アトラクタおよびこれに関係する情報を表示部４０に表示させることでユーザの使い勝手はさらに向上する。例えばこの波形がカオス状態であるなどの情報を示せば、自分の歌唱に心地よいゆらぎがあることが自覚でき、向上心が促進される。
【図面の簡単な説明】
【００６４】
【図１】本発明による第一実施形態の構成を示すブロック図である。
【図２】メインルーチンの動作を示すフローチャートである。
【図３】スイッチ処理の動作を示すフローチャートである。
【図４】波形診断処理の動作を示すフローチャートである。
【図５】診断モード処理の動作を示すフローチャートである。
【図６】時間軸上の２次元波形を示す図である。
【図７】ＲＡＭ内波形データエリアおよびアトラクタデータエリアとＲＯＭ内の基本アトラクタデータエリアを示す図である。
【図８】ターケンス・プロット解析処理の動作を示すフローチャートである。
【図９】ターケンス・プロットのイメージを示す図である。
【図１０】ターケンス・プロット処理の動作を示すフローチャートである。
【図１１】アトラクタの軌跡を示す図である。
【図１２】相関抽出処理の動作を示すフローチャートである
【図１３】基本アトラクタデータ番号と基本アトラクタデータの形状および評価文章との関係を示す図である。
【図１４】本発明による波形入力を行うためのわりこみ処理の動作を示すフローチャートである。
【００６５】
５ 入力部
３０ パネルスイッチ
４０ 表示部
５０ ＣＰＵ
６０ ＲＯＭ
７０ ＲＡＭ
８０ 音源
９０ サウンドシステム
１００ 波形評価装置
【特許請求の範囲】
【請求項１】
外部より供給される歌唱音波形の波高値を時間順に順次入力する入力手段と、
この入力された歌唱音波形を時間軸及び波高値を有する２次元相空間上の原波形データとして記憶する原波形データ記憶手段と、
この原波形データ記憶手段に記憶された原波形データに対して、ターケンス・プロット処理を施すことによってアトラクタデータを作成するターケンス・プロット処理手段と、
基本アトラクタデータが記憶される基本アトラクタデータ記憶手段と、
前記ターケンス・プロット処理手段によって作成されたアトラクタデータと前記基本アトラクタデータ記憶手段に記憶される基本アトラクタデータとを比較し、この比較結果に基づいて前記原波形を診断する波形診断手段と
を具備することを特徴とする歌唱診断装置。
【請求項２】
前記ターケンス・プロット処理手段は、入力された２次元相空間の原波形データの時間軸上に夫々プロットスケール値ｔの間隔をおいたｎ個のサンプリング位置を指定し、当該ｎ個のサンプリング位置の波高値夫々をｎ次元相空間上の各軸上の位置に対応させることによって最初の座標位置を決定し、その後前記ｎ個のサンプリング位置を同時にリサンプリング時間Δｔだけ時間軸上を順次シフトしていくことにより前記ｎ次元相空間上のアトラクタの座標位置を順次決定することを特徴とする請求項１記載の歌唱診断装置。
【請求項３】
外部より供給される歌唱音波形の波高値を時間順に順次入力する入力手段と、基本アトラクタデータが記憶される基本アトラクタデータ記憶手段とを有するコンピュータに、
入力された歌唱音波形を時間軸及び波高値を有する２次元相空間上の原波形データとして原波形データ記憶手段に記憶させるステップと、
この記憶された原波形データに対して、ターケンス・プロット処理を施すことによってアトラクタデータを作成するターケンス・プロット処理ステップと、
この作成されたアトラクタデータと前記記憶手段に記憶される基本アトラクタデータとを比較し、この比較結果に基づいて前記原波形を診断する波形診断ステップと、
を実行させる歌唱診断装置のプログラム。
【請求項１】
外部より供給される歌唱音波形の波高値を時間順に順次入力する入力手段と、
この入力された歌唱音波形を時間軸及び波高値を有する２次元相空間上の原波形データとして記憶する原波形データ記憶手段と、
この原波形データ記憶手段に記憶された原波形データに対して、ターケンス・プロット処理を施すことによってアトラクタデータを作成するターケンス・プロット処理手段と、
基本アトラクタデータが記憶される基本アトラクタデータ記憶手段と、
前記ターケンス・プロット処理手段によって作成されたアトラクタデータと前記基本アトラクタデータ記憶手段に記憶される基本アトラクタデータとを比較し、この比較結果に基づいて前記原波形を診断する波形診断手段と
を具備することを特徴とする歌唱診断装置。
【請求項２】
前記ターケンス・プロット処理手段は、入力された２次元相空間の原波形データの時間軸上に夫々プロットスケール値ｔの間隔をおいたｎ個のサンプリング位置を指定し、当該ｎ個のサンプリング位置の波高値夫々をｎ次元相空間上の各軸上の位置に対応させることによって最初の座標位置を決定し、その後前記ｎ個のサンプリング位置を同時にリサンプリング時間Δｔだけ時間軸上を順次シフトしていくことにより前記ｎ次元相空間上のアトラクタの座標位置を順次決定することを特徴とする請求項１記載の歌唱診断装置。
【請求項３】
外部より供給される歌唱音波形の波高値を時間順に順次入力する入力手段と、基本アトラクタデータが記憶される基本アトラクタデータ記憶手段とを有するコンピュータに、
入力された歌唱音波形を時間軸及び波高値を有する２次元相空間上の原波形データとして原波形データ記憶手段に記憶させるステップと、
この記憶された原波形データに対して、ターケンス・プロット処理を施すことによってアトラクタデータを作成するターケンス・プロット処理ステップと、
この作成されたアトラクタデータと前記記憶手段に記憶される基本アトラクタデータとを比較し、この比較結果に基づいて前記原波形を診断する波形診断ステップと、
を実行させる歌唱診断装置のプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−６９７１５（Ｐ２００９−６９７１５Ａ）
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願番号】特願２００７−２４０４３０（Ｐ２００７−２４０４３０）
【出願日】平成１９年９月１８日（２００７．９．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２１年４月２日（２００９．４．２）
【国際特許分類】
【出願日】平成１９年９月１８日（２００７．９．１８）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]