音楽教育システム
方法は、楽曲のユーザ選択を受信するステップと、音楽イベントを楽器で演奏するために楽曲のエキスパート演奏データに同期される演奏キューをユーザに提供するステップと、ユーザにより楽器で演奏された音楽イベントに対応するオーディオデータを受信するステップと、ユーザが演奏した音楽イベントと関連付けられた基本周波数を検出するステップと、ユーザが演奏した音楽イベントが正確に又は不正確に演奏された程度を判定するステップと、ユーザが演奏した音楽イベントが正確に又は不正確に演奏された程度を示すリアルタイム又はほぼリアルタイムの聴覚的フィードバック及び／又は視覚的フィードバックを提供するステップと、セッション中にユーザに出力されたエキスパート演奏データの出力レベルを制御することによりエキスパート演奏データをリアルタイム又はほぼリアルタイムのオーディオ及び／又はビデオフィードバックとして使用するステップとを含む。
【発明の詳細な説明】
【背景技術】
【０００１】
音楽をテーマとした対話型ゲームが登場しており、ユーザはゲームコントローラを利用して曲の演奏をシミュレートする。例えばこれら対話型ゲームは、ゲームコントローラのボタンを押下すべきタイミングや、ゲームコントーラに対して歌うべきタイミングや、ゲームコントローラ（例えば、ドラム）を叩くべきかを示す、スクロールするタイムラインを表示してもよい。これら対話型ゲームは面白いかもしれないが、本物の楽器を演奏することはユーザに教えてくれない。
【図面の簡単な説明】
【０００２】
【図１】例示的な音楽教育システムの一実施形態が実現される例示的な環境を示す図である。
【図２】例示的な音楽教育システムの例示的な構成要素を示す図である。
【図３】例示的な音楽教育システムと関連する例示的な機能構成要素を示す図である。
【図４】楽曲と関連付けられてもよい例示的な音楽データを示す図である。
【図５】音楽教育を提供する例示的な視覚的要素を含む音楽教育システムの例示的なユーザインタフェースを示す図である。
【図６】楽器がギターに該当する場合の例示的な演奏キューを示す図である。
【図７Ａ】楽器がギターに該当する場合の例示的な演奏キューを示す図である。
【図７Ｂ】楽器がギターに該当する場合の例示的な演奏キューを示す図である。
【図８】楽器が声に該当する場合の例示的な演奏キューを示す図である。
【図９】楽器がキーボードに該当する場合の例示的な演奏キューを示す図である。
【図１０】楽器がドラムセットに該当する場合の例示的な演奏キューを示す図である。
【図１１】音楽データに同期した演奏キューを含む音楽教育システムの例示的なユーザインタフェースを示す図である。
【図１２Ａ】音楽イベントと関連付けられた基本周波数を検出する例示的な処理を示すフローチャートである。
【図１２Ｂ】音楽イベントと関連付けられた基本周波数を検出する例示的な処理を示すフローチャートである。
【図１２Ｃ】音楽イベントと関連付けられた基本周波数を検出する例示的な処理を示すフローチャートである。
【図１３】音楽教育システムが音楽イベントを評価し、かつ採点できる例示的な処理を示す図である。
【図１４】音楽教育システムが、連続した音楽ジェスチャに関する基本周波数に基づいてその連続した音楽ジェスチャを評価できる例示的な処理を示す図である。
【図１５】音楽教育システムがスコアを算出できる例示的な処理を示す図である。
【図１６】音楽教育システムがユーザの演奏に基づいてユーザにフィードバックを提供できる例示的な処理を示す図である。
【図１７】ユーザに提供される例示的な肯定的フィードバック及び否定的フィードバックを示す図である。
【図１８】採点情報を含む音楽教育システムの例示的なユーザインタフェースを示す図である。
【図１９】ユーザがユーザの総合スコアに基づいて楽曲を選択できるようにする音楽教育システムの例示的なユーザインタフェースを示す図である。
【図２０】音楽教育システムがセッションに対する総合スコアを算出できる例示的な処理を示す図である。
【図２１】ユーザの音楽教育の進行状況を経時的にまとめることのできる音楽教育システムの例示的なユーザインタフェースを示す図である。
【図２２】音楽教育システムが音楽のジャンルに従ってユーザの技術を追跡できる例示的な処理を示す図である。
【図２３】音楽教育システムにより使用される例示的な換算表を示す図である。
【図２４】複数のユーザに対する例示的な視覚的要素を含む音楽教育システムの例示的なユーザインタフェースを示す図である。
【図２５Ａ】音楽教育システムがユーザにセッションを提供できる例示的な処理を示すフローチャートである。
【図２５Ｂ】音楽教育システムがユーザにセッションを提供できる例示的な処理を示すフローチャートである。
【発明を実施するための形態】
【０００３】
以下の詳細な説明は添付図面を参照する。異なる図面に共通する参照数字は、同一又は同様の要素を示すであろう。また、以下の詳細な説明は本発明を限定しない。
【０００４】
本明細書における「音楽教育システム」という用語は、楽器を演奏するための音楽教育を提供できるデバイス又はシステムを含むように広範に解釈されることが意図されている。例えば、音楽教育システムは、コンピュータ、ゲームシステム又はゲームコンソール、通信デバイス、ネットワークを介するクライアント／サーバ構成、ピア・トゥ・ピア構成、アプリケーションサービスプロバイダ（ＡＳＰ）構成、インターネットに存在するネットワークデバイス等に該当してもよいが、これらに限定されない。音楽教育システムは、１つ以上のデバイス又はシステムを利用して分散型で実現されてもよく、あるいは１つ以上のデバイス又はシステムを利用して集中型で実現されてもよい。
【０００５】
本明細書において「楽器」という用語は、音を発生できる道具を含むように広範に解釈されることが意図されている。例えば、楽器は、管楽器、シングルリード楽器、ダブルリード楽器、金管楽器、弦楽器、電子楽器、鍵盤楽器、ドラム、打楽器又は人声に相当してもよいが、これらに限定されない。また、「楽器」という用語は、仮想楽器を含むような解釈は意図されてしない。例えば仮想楽器は、テレビゲーム”Ｇｕｉｔａｒ Ｈｅｒｏ”（登録商標）や”Ｒｏｃｋ Ｂａｎｄ”（登録商標）で利用されるギターコントローラ等のゲームコントローラに相当してもよいが、これらに限定されない。
【０００６】
本明細書において「楽曲」という用語は、音楽イベントの集合を含むような広範な解釈が意図されている。例えば楽曲は、曲（歌詞のある、又はない器楽）、音楽作品（例えば、ソナタ、協奏曲等）、声楽曲、運指練習、音階、ビート又はリズム、コードの運指又は和声進行等に相当してもよいが、これらに限定されない。
本明細書において「音楽イベント」という用語は、発音イベントを含むような広範な解釈が意図されている。例えば音楽イベントは、音、発声（例えば、発話等）又は打楽器音に対応してもよいが、これらに限定されない。
【０００７】
本明細書において「音楽データ」という用語は、音楽教育システムにより使用されるデータを含むような広範な解釈が意図されている。例えば音楽データは、オーディオデータ（例えば、伴奏オーディオトラック、エキスパート演奏オーディオトラック、オーディオ演奏キューデータ、聴覚的フィードバックデータ、オーディオ波形データ等）、視覚的データ（例えば、模範演奏者ビデオトラック、ユーザビデオトラック、視覚的演奏キューデータ、視覚的フィードバックデータ等）、楽曲データ（例えば、アーティスト、和音、メロディ、音楽理論等）並びに本明細書で説明される他の種類のデータを含んでもよいが、これらに限定されない。
本明細書で説明される例示的な実施形態によると、音楽教育システムは、ユーザに楽器を演奏するための音楽教育を提供することができる。上述したように、例示的な一実施形態によると、音楽教育システムはコンピュータを含んでもよい。例として、コンピュータは、デスクトップコンピュータ、ラップトップコンピュータ又はハンドヘルドコンピュータ等であってもよいが、これらに限定されない。別の例示的な実施形態によると、音楽教育システムはゲームシステムを含んでもよい。例として、ゲームシステムは、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｘｂｏｘ、Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ（II、III等）又はＮｉｎｔｅｎｄｏ（登録商標）Ｗｉｉ等であってもよいが、これらに限定されない。更に別の例示的な実施形態によると、音楽教育システムは通信デバイスを含んでもよい。例として、通信デバイスは、Ａｐｐｌｅ（登録商標）ｉＰｈｏｎｅ、Ａｐｐｌｅ（登録商標）ｉＰｏｄ又はＭｏｔｏｒｏｌａ（登録商標）Ｄｒｏｉｄ等であってもよいが、これらに限定されない。更に他の実施形態において、音楽教育システムはクライアント／サーバアーキテクチャを含んでもよい。例として、クライアント／サーバアーキテクチャは、インターネット上のサーバ又は他の種類のネットワークデバイスと通信可能に接続されたコンピュータ、ゲームシステム、あるいは通信デバイスであってよいが、これらに限定されない。音楽教育システムは、上記のデバイスの種類の組み合わせ並びに本明細書に説明するような他の構成を更に含んでもよい。
【０００８】
本明細書で説明される例示的な一実施形態によると、音楽教育システムは、種々の視覚的及び聴覚的な教育ガイドをユーザに提供してもよい。例えば音楽教育システムは、楽曲に関連づけられた音を可視化するため、スクロールする波形を含んでもよい。例示的な一実現例によると、スクロールする波形は、エキスパートによる楽曲の演奏と、ユーザによる楽曲の演奏又は演奏キューとであってもよい。音楽教育システムは、音楽データ（例えば、事前に録音されたトラック等）に同期される演奏キューを提供してもよい。演奏キューは、ユーザの楽器専用のものであってもよい。更に音楽教育システムは、ユーザが演奏している間に自身を見ることができるようにユーザの映像を表示してもよい。音楽教育システムは、ユーザの演奏に対応するスコアをユーザに更に提供してもよい。
【０００９】
また、例示的な一実施形態によると、音楽教育システムは、ユーザにより演奏された音楽イベント（例えば、音）に関する周波数を検出するために１つ又は複数の基本周波数検出アルゴリズムを使用してもよい。例えば音楽教育システムは、楽器、楽曲、楽曲の特定の一節等に応じて１つ又は複数の基本周波数検出アルゴリズムを選択してもよい。音楽教育システムは、種々のフィードバック（例えば、視覚的フィードバック、聴覚的フィードバック等）をユーザに提供してもよい。音楽教育システムは、数ある中でも特に、音楽イベントが正確に演奏されるか否か並びに／あるいは音楽イベントがどの程度正確に又は不正確に演奏されるか（すなわち、音楽イベントがピッチ、振幅、開始時間等に関して正確に／不正確に演奏される程度）に基づいて特定の種類のフィードバック（例えば、肯定的フィードバック、否定的フィードバック等）をユーザに提供してもよい。
【００１０】
図１は、例示的な音楽教育システムの一実施形態が実現される例示的な環境１００を示す図である。図１に示すように、環境１００は、ユーザ１０５、楽器１１０及び音楽教育システム１１５を含んでもよい。
【００１１】
環境１００におけるデバイスの数及び構成は例示的であり、簡潔さのために提供されている。実際には環境１００は、図１に示したデバイスと比較して、より多くのデバイス、より少ないデバイス、異なるデバイス及び／又は異なるように構成されたデバイスを含んでもよい。また、特定のデバイスにより実行されているように説明されるいくつかの機能は、異なるデバイス又はデバイスの組み合わせにより実行されてもよい。更に又はあるいは、他の実現例において、１つのデバイスはデバイスの組み合わせを含んでもよい。
【００１２】
ユーザ１０５は、楽器１１０で演奏する人物であってもよい。この例において、楽器１１０はギター等の弦楽器であってよい。更にこの例において、音楽教育システム１１５はコンピュータシステムであってよい。例えば図１に示すように、コンピュータシステムは、ディスプレイ１２０、コンピュータ１２５、キーボード１３０、マウス１３５、スピーカ１４０−１及び１４０−２（一般にスピーカ１４０と呼ばれる）、並びにカメラ１４５を含んでもよい。
【００１３】
楽器１１０は、とりわけ、自身のオーディオ出力を音楽教育システム１１５に提供するため、音楽教育システム１１５に接続されてよい。例として、楽器１１０はその種類に応じてケーブル、マイク又はピックアップを介して音楽教育システム１１５に接続されてもよいが、これに限定されない。この例において、楽器１１０（すなわち、ギター）は、ケーブル（不図示）を介して音楽教育システム１１５の入力に接続されてもよい。
【００１４】
ディスプレイ１２０は、視覚的出力を提供できるデバイスを含んでもよい。例えばディスプレイ１２０は、コンピュータモニタ又はテレビであってよい。例示的な一実現例によると、ディスプレイ１２０はタッチスクリーンを含んでもよい。他の例示的な実現例によると、ディスプレイ１２０はタッチスクリーンを含まなくてもよく、かつ／又は入力デバイスとして利用されてなくてもよい。コンピュータ１２５は計算デバイスを含んでもよい。例示的な一実現例によると、コンピュータ１２５はオペレーティングシステム（例えば、Ｗｉｎｄｏｗｓ（登録商標）、Ｍａｃｉｎｔｏｓｈ、Ｌｉｎｕｘ（登録商標）等）に従って動作してもよい。この例において、コンピュータ１２５はデスクトップコンピュータであってよい。キーボード１３０及びマウス１３５は、ユーザ１０５がコンピュータ１２５に情報を入力し、かつコンピュータ１２５でナビゲートできるようにするデバイスを含んでもよい。スピーカ１４０は、聴覚的な出力を提供するデバイスを含んでもよい。他の実現例によると、例えばスピーカ１４０は、オーディオシステム（例えば、ステレオシステム等）に付随するものでも、あるいはディスプレイ１２０に内蔵されたものでもよい。カメラ１４５は、写真及び／又はビデオ等の視覚画像を撮影できるデバイスを含んでもよい。この例において、カメラ１４５はウェブカムであってよい。しかし、他の実現例によると、例えばカメラ１４５は、カムコーダ又は他の何らかの種類のビデオカメラであってもよい。視覚画像はディスプレイ１２０に表示されてもよい。音楽教育システム１１５は、ネットワーク（例えば、インターネット等）を介して他の人（例えば、他のユーザ、遠隔地の指導者等）との間で視覚画像を送信及び／又は受信してもよい。
【００１５】
例示的な１つの動作によると、音楽教育システム１１５は楽器１１０を演奏するための音楽教育をユーザ１０５に提供してもよい。本明細書で説明するように、音楽教育システム１１５は、楽曲の演奏時にユーザを支援するために種々のユーザインタフェースをユーザ１０５に提供してもよい。音楽教育システム１１５は、以下に更に説明する１つ以上の周波数検出アルゴリズムに基づいてユーザ１０５により演奏された音楽イベントを検出してもよい。
【００１６】
図２は、音楽教育システム１１５の例示的な構成要素を示す図である。図示するように、音楽教育システム１１５の例示的な一実現例によると、音楽教育システム１１５は処理システム２０５、アプリケーション２１５を含むメモリ／記憶装置２１０、通信インタフェース２２０、入力２２５及び出力２３０を含んでもよい。他の実現例によると、音楽教育システム１１５は、図２に示し、かつ本明細書で説明する構成要素と比較して、より少ない構成要素、追加の構成要素、異なる構成要素及び／又は異なる構成要素の構成を含んでもよい。
【００１７】
処理システム２０５は、プロセッサ、マイクロプロセッサ、コプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、プログラマブル論理装置、チップセット、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは命令及び／又はデータを解釈及び／又は実行してもよい他の何らかの構成要素を含んでもよい。処理システム２０５は、例えばオペレーティングシステム及び１つ以上のアプリケーション（例えば、アプリケーション２１５）に基づいて音楽教育システム１１５の全体の動作又はその一部を制御してもよい。
【００１８】
メモリ／記憶装置２１０は、メモリ及び／又は二次記憶装置を含んでもよい。例えばメモリ／記憶装置２１０は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、フラッシュメモリ（登録商標）及び／又は他の種類のメモリを含んでもよい。メモリ／記憶装置２１０は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、ソリッドステートディスク等）又は他の種類のコンピュータ可読媒体を対応するドライブと共に含んでもよい。メモリ／記憶装置２１０は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリスティック、ハードディスク、大容量記憶装置、オフライン記憶装置、クラウドコンピューティング等、音楽教育システム１１５の外部にあり、かつ／又は音楽教育システム１１５から取り外しが可能であるメモリ、記憶装置又は記憶構成要素を含んでもよい。
【００１９】
本明細書において「コンピュータ可読媒体」という用語は、例えばメモリ、記憶装置（例えば、ハードディスク及び対応するドライブ）、コンパクトディスク（ＣＤ）又はデジタル汎用ディスク（ＤＶＤ）等を含むような広範な解釈が意図されている。コンピュータ可読媒体は、単一のデバイスで実現されてもよく、複数のデバイスで実現されてもよく、集中型で実現されてもよく、あるいは分散型で実現されてもよい。メモリ／記憶装置２１０は、音楽教育システム１１５の動作に関連するデータ、アプリケーション２１５及び／又は命令を格納してもよい。
【００２０】
アプリケーション２１５は、種々のサービス、機能又はユーザインタフェース等を提供するソフトウェアを含んでもよい。例示的な一実現例によると、アプリケーション２１５は、楽器を演奏するようにユーザを教育することに関連する１つ以上の処理を提供する音楽教育アプリケーションを含んでもよい。例えばこれらの処理は、本明細書で説明されるように、ユーザインタフェースを提供すること、基本周波数を検出すること、採点すること、ユーザにフィードバックを提供すること及び／又は音楽教育システム１１５と関連付けられた他の機能を含んでもよい。アプリケーション２１５はメモリ／記憶装置２１０に格納されてもよい。
【００２１】
通信インタフェース２２０は、音楽教育システム１１５が他のデバイス、ネットワーク及び／又はシステム等と通信することを可能にしてもよい。通信インタフェース２２０は、無線インタフェース及び／又は有線インタフェースを含んでもよい。通信インタフェース２２０は、１つ以上のプロトコル及び／又は規格等に従って動作してもよい。通信インタフェース２２０は、受信機、送信機及び／又は送受信機を含んでもよい。
【００２２】
入力２２５は、音楽教育システム１１５への入力を可能にしてもよい。例えば入力２２５は、ボタン、キーパッド、つまみ、タッチパッド、キーボード１３０、入力ポート、ディスプレイ１２０、マイク、マウス１３５、音声認識ロジック、指紋認識ロジック、ウェブカム（例えば、カメラ１４５）及び／又は他の種類の入力構成要素を含んでもよい。
【００２３】
出力２３０は、音楽教育システム１１５が出力を提供することを可能にしてもよい。例えば出力２３０は、ディスプレイ１２０、発光ダイオード（ＬＥＤ）、出力ポート、スピーカ１４０、振動機構及び／又は他の種の出力構成要素を含んでもよい。
【００２４】
本明細書で説明するように、例示的な一実施形態によると、音楽教育システム１１５は、処理システム２０５がメモリ／記憶装置２１０等のコンピュータ可読媒体に含まれたソフトウェア命令を実行することに応答して１つ以上の処理を実行してもよい。ソフトウェア命令は、メモリ／記憶装置２１０から読み出されてもよく又は通信インタフェース２２０を介して別のデバイスから受信されてもよい。ソフトウェア命令は、本明細書で説明される処理を処理システム２０５に実行させてもよい。あるいは、音楽教育システム１１５は、処理システム２０５又は処理システム２０５との他の組み合わせ（例えば、ハードウェア及びファームウェア、ハードウェア、ソフトウェア及びファームウェア）に応答して処理を実行してもよい。
【００２５】
図３は、音楽教育システム１１５に付随する例示的な機能構成要素を示す図である。図示するように、音楽教育システム１１５は、波形マネージャ３０５、演奏キューマネージャ３１０、楽曲データマネージャ３１５、演奏評価マネージャ３２０、フィードバックマネージャ３２５及び設定マネージャ３３０を含んでもよい。波形マネージャ３０５、演奏キューマネージャ３１０、楽曲データマネージャ３１５、演奏評価マネージャ３２０、フィードバックマネージャ３２５及び／又は設定マネージャ３３０は、図２に関して説明し、かつ図示した構成要素に基づいてハードウェア（例えば、処理システム２０５、メモリ／記憶装置２１０）及びソフトウェア（例えば、アプリケーション２１５）の組み合わせとして実現されてもよい。あるいは、波形マネージャ３０５、演奏キューマネージャ３１０、楽曲データマネージャ３１５、演奏評価マネージャ３２０、フィードバックマネージャ３２５及び／又は設定マネージャ３３０は、ハードウェア及びファームウェア、あるいはハードウェア、ソフトウェア及びファームウェアとして実現されてもよい。
【００２６】
波形マネージャ３０５はオーディオ波形データを管理してもよい。例示的な一実現例によると、波形マネージャ３０５は、エキスパートによる楽曲の演奏に対応する波形を表示してもよい。以下に更に説明するように、音楽教育システム１１５は、セッション中、事前に録音されたオーディオトラックを含む音楽データを使用してもよい。事前に録音されたオーディオトラックは、特にエキスパートによる楽曲の演奏に対応するオーディオトラックを含んでもよい。波形マネージャ３０５は、セッション中に演奏される楽器及び／又は楽曲に従って音楽データからエキスパート演奏オーディオトラックを選択してもよい。波形マネージャ３０５は、エキスパート演奏オーディオトラックを表す波形を表示してもよい。例示的な一実現例によると、以下に更に説明するように、波形はスクロールしてもよく、他の表示（例えば、エキスパートの演奏の現時点の位置を示すキューライン）、類似性スコア等を含んでもよい。
【００２７】
更なる、あるいは代替的な、例示的な一実現例によると、波形マネージャ３０５は、ユーザによる楽曲の演奏を表す波形を表示してもよい。例えば波形マネージャ３０５は、ユーザの楽器からの入力を処理し、ユーザによる楽曲の演奏を表すスクロールする波形を生成及び表示してもよい。
【００２８】
ユーザが楽曲を演奏する時、エキスパート演奏オーディオトラックの波形がリアルタイムに表示されてもよく、ユーザの演奏の波形がリアルタイム又はほぼリアルタイムに表示されてもよい。波形マネージャ３０５が双方の波形を表示する場合、ユーザは視覚的な比較を行うことができ、これはユーザの演奏中ユーザにとって有用だろう。視覚的な比較は、ユーザに、例えばタイミング（例えば、音楽イベントの開始、音楽イベントの終了）、振幅、音色及び／又は音楽イベントに関連した他の音楽特性等の楽曲中の音楽イベントと関連した種々の音楽特性に関するさらなる見識を提供する。例えば視覚的な比較により、ユーザは、音楽イベントにおける音の立ち上がりの発生タイミング、音楽イベントのサスティーン部分の発生タイミング、音楽イベントの振幅等の差異を識別でき、、かつスクロールする波形がほぼ同一に見えるように自身の演奏を調整できる。
【００２９】
更に、上述したように、波形マネージャ３０５は類似性スコアを表示してもよい。類似性スコアは、双方の波形の間の類似性を示してもよい。例示的な一実施形態によると、波形マネージャ３０５は、エキスパート演奏オーディオトラックの波形とユーザの演奏の波形とを比較してもよい。波形マネージャ３０５は、波形の比較を行う従来の方法を使用してもよい。波形マネージャ３０５は、楽曲の部分（例えば、小節毎、楽節毎（例えば、ヴァース、コーラス、ブリッジ等））に対する類似性スコア及び／又は全体の類似性スコア（例えば、楽曲全体）を生成してもよい。ユーザは、エキスパートの演奏に対してユーザがどの程度上手に楽曲を演奏しているかを類似性スコアから識別できる。
【００３０】
演奏キューマネージャ３１０は、演奏キューデータを管理してもよい。演奏キューデータは、楽曲と関連付けられた視覚的な演奏キュー及び聴覚的な演奏キューを含んでもよい。例えば、演奏キューマネージャ３１０は、セッション中に種々の視覚的な演奏キュー（例えば、タブ譜、標準的な楽譜（すなわち、五線と音符）、運指記号等）を表示してもよい。演奏キューマネージャ３１０は、ユーザの楽器に依存して異なる視覚的な演奏キューを表示してもよい。例えば、ギターに対する演奏キューは移動するギタータブ譜を含んでもよく、ピアノに対する演奏キューは移動するピアノキータブ譜を含んでもよく、ドラムに対する演奏キューは移動するドラムタブ譜を含んでもよい。
【００３１】
更に又はあるいは、演奏キューはユーザの特定の楽器に対応する標準的な楽譜を含んでもよい。例示的な一実施形態によると、標準的な楽譜はエキスパートによる楽曲の演奏を採譜したもの(transcription)であってよい。例えば例示的な一実現例によると、楽曲が例えば古典的なロック曲（例えば、天国への階段）に対応する場合、標準的な楽譜は、アーティスト（例えば、レッド・ツェッペリン、ジミー・ペイジ）がその曲を演奏するように音ごとに採譜したものであってよい。別の例示的な実現例によると、採譜はエキスパートによる楽曲の演奏に対応してもよいが、音単位でなくてもよく、アーティストの演奏の代表部分であってもよい。非限定的な例として、ギターの主旋律が複数のギターパート（例えば、重なっている部分、デュオ、トリオなど）を含んでいるとする。そのような場合、採譜は音単位でなくてもよく、アーティストにより演奏された音のうち、演奏全体を最もよく表すと思われるものを主観的に選択したり、あるいはアーティストにより演奏された音の他の方法による削減、簡素化、派生物、補完及び／又は解釈を含んでもよい。他の例示的な実現例によると、標準的な楽譜はエキスパートの演奏の採譜から導出されなくてもよい。例えばクラシック楽曲（例えば、バッハの協奏曲等）のエキスパートの演奏は、元々書かれた楽曲に厳密に対応しているであろう。演奏キューマネージャ３１０は、セッションの難易度に対応して、種々のバージョンの標準的な楽譜並びに他の形式の視覚的な演奏キューを更に使用してもよい。
【００３２】
更に又はあるいは、演奏キューはユーザの楽器に応じて、音楽イベント（例えば、和音、メロディ音等）に対する運指位置を含んでもよい。以下に更に説明するように、例えば演奏キューマネージャ３１０は、音楽イベントの演奏方法を明示するために、運指位置と共にギターネックの画像を提示してもよい。
【００３３】
演奏キューマネージャ３１０は、種々の聴覚的な演奏キューを提供してもよい。例えば演奏キューマネージャ３１０は、セッション中、メトロノーム、音声指導トラック（例えば、仮想助言者／指導者／コーチと関連付けられる）等を実行する。演奏キューマネージャ３１０は、ユーザの楽器に依存して種々の聴覚的な演奏キューを提供してもよい。例えば、音声指導トラックは、楽曲のパッセージに関連し、かつユーザの楽器に特有な指導上のコメントを提供してもよい。演奏キューデータの例については、本明細書において以下に更に説明する。
【００３４】
楽曲データマネージャ３１５は楽曲データを管理してもよい。例えば楽曲データは、視覚的な楽曲データ及び聴覚的な楽曲データを含んでもよい。例えば楽曲データマネージャ３１５は、例えば楽曲と関連付けられたタイトル、アーティスト名、作曲者名、最初の発表日及び／又はジャンル（例えば、カントリー、ロック、ブルース等）等の種々の視覚的な楽曲データを表示してもよい。更に又はあるいは、例えば楽曲データマネージャ３１５は、楽曲と関連付けられたテンポ情報、拍子記号、調、楽曲の楽節（例えば、ヴァース、コーラス、ソロ、ブリッジ等）、現在の小節、現在の拍子、現在の和音、次の和音、現在のメロディ音、次のメロディ音及び／又は他のデータ（例えば、音楽理論情報等）を表示してもよい。例示的な一実現例によると、楽曲データマネージャ３１５は、音楽データと関連付けられたタイムコードと同期した楽曲データを表示してもよい。楽曲データマネージャ３１５は、ユーザが自身の音楽の解釈、スタイル、音楽の知識等を向上させるのを支援できる。
【００３５】
楽曲データマネージャ３１５は、楽曲と関連付けられた種々の聴覚的な楽曲データ（例えば、伴奏オーディオトラック、エキスパート演奏オーディオトラック）を再生してもよい。例えば伴奏オーディオトラックは、楽曲の伴奏の演奏の録音を含んでもよく、エキスパート演奏オーディオトラックは、ユーザの楽器と同一の種類の楽器で演奏されたエキスパートによる楽曲の演奏の録音を含んでもよい。例示的な一実施形態によると、以下に更に説明するように、フィードバックマネージャ３２５は、セッション中に楽曲データマネージャ３１５によりエキスパート演奏オーディオトラックの再生を管理してもよい。例えば音楽教育システム１１５は、ユーザが楽曲を正確に演奏した時にユーザに対するフィードバック機構としてエキスパート演奏オーディオトラックの再生を使用してもよい。楽曲データの例については本明細書で以下に更に説明する。
【００３６】
演奏評価マネージャ３２０は、楽曲と関連付けられた音楽イベントのユーザの演奏を評価してもよい。例えば演奏評価マネージャ３２０は、ユーザによる楽曲の演奏と関連付けられた演奏データを音楽教育システム１１５の音楽データと比較してもよい。例示的な一実現例によると、演奏評価マネージャ３２０は、ユーザにより演奏された音楽イベントを評価するために１つ以上の基本周波数検出アルゴリズムを使用してもよい。例示的な一実現例によると、演奏評価マネージャ３２０は、例えば振幅、リズム等のユーザにより演奏された音楽イベントの他の音楽特性を評価してもよい。
【００３７】
例示的な一実施形態によると、演奏評価マネージャ３２０は、音楽イベントが正確に演奏される程度を評価してもよい。例えば周波数を参照すると、閾値は、イベントユーザが音楽イベントを演奏すべき周波数の範囲である差周波数を示してもよい。例えば、差周波数が２Ｈｚであり、正確に演奏された音楽イベントが４４０Ｈｚ（Ａ４）である場合、演奏評価マネージャ３２０は、ユーザにより演奏された音楽イベントが４３８Ｈｚ〜４４２Ｈｚの範囲内にあるかを判定してもよい。その範囲内にある場合、演奏評価マネージャ３２０は、音楽イベントのユーザの演奏が正確であると評価してもよい。逆に、ユーザにより演奏された音楽イベントが４３８Ｈｚ〜４４２Ｈｚの範囲内にない場合、演奏評価マネージャ３２０は、音楽イベントのユーザの演奏が不正確であると評価してもよい。更に演奏評価マネージャ３２０は、音楽イベントと関連付けられた周波数が正確に４４０Ｈｚで演奏されるか、１Ｈｚずれて（例えば、４３９Ｈｚ又は４４１Ｈｚで）演奏されるか又は２Ｈｚずれて（例えば、４３８Ｈｚ又は４４２Ｈｚで）演奏されるかに基づいて音楽イベントのユーザの演奏の正確度を評価してもよい。また、演奏評価マネージャ３２０は、４４０Ｈｚからのオフセット（例えば、Ｈｚ単位）に基づいて音楽イベントのユーザの演奏の不正確度を評価してもよい。これは従来の音楽教育システム又は音楽ゲームシステムとは異なり、音楽イベントが正確に演奏されるか否か（例えば、正確に４４０Ｈｚか否か、あるいはより一般的には特定の音が演奏されるか否か）を２値的に評価してもよい。ユーザの演奏の評価と関連付けられた例示的な処理については、本明細書において以下に更に説明する。
【００３８】
フィードバックマネージャ３２５は、ユーザの演奏に関してユーザにフィードバックを提供してもよい。フィードバックは、視覚的フィードバック、聴覚的フィードバック又は触覚的フィードバックの形式をとってもよい。フィードバックマネージャ３２５は、セッション中に（例えば、対話的な方法で）、又はセッションの終了時（例えば、最終的なスコアの結果等）にユーザにフィードバックを提供してもよい。
【００３９】
フィードバックマネージャ３２５は、種々の視覚的フィードバックを表示してもよい。例えばフィードバックマネージャ３２５は、種々のスコア（例えば、総合スコア、正確度スコア、ボーナススコア等）、誤り傾向、間違わずに演奏された音楽イベントの数、間違わずに演奏された連続した音楽イベントの数、間違いの数等、並びに／あるいはユーザに対する他の種類の視覚的フィードバック（例えば、仮想助言者／指導者／コーチが提供する顔の表情のフィードバック、観客のビデオ、視覚的効果等）を表示してもよい。フィードバックマネージャ３２５は、セッションの難易度及び／又はユーザのレベル（例えば、初心者、易しい、未熟者、熟練者、難しい、上級者又は天才等）を更に表示してもよい。
【００４０】
フィードバックマネージャ３２５は、種々の聴覚的フィードバックを再生してもよい。例えばフィードバックマネージャ３２５は、事前に録音された賛同トラック（例えば、観客の歓声、仮想助言者／指導者／コーチの音声によるコメント等）又は事前に録音された不満トラック（例えば、観客のブーイング、仮想助言者／指導者／コーチの音声によるコメント等）を再生してもよい。フィードバックマネージャ３２５は、ユーザの演奏を上手にしたり下手にしたりするために信号処理効果を導入してもよい。
【００４１】
例示的な一実施形態によると、フィードバックマネージャ３２５は、音楽イベントのユーザの演奏の評価に対応してフィードバックを提供してもよい。例えばフィードバックマネージャ３２５は、以下に更に説明するように、ユーザの演奏と関連する正確度又は不正確度の変動するレベルに対応して変動するレベルの肯定的フィードバック又は否定的フィードバックを提供してもよい。
【００４２】
更に、例示的な一実施形態によると、フィードバックマネージャ３２５はフィードバックの機構としてエキスパート演奏オーディオトラックを使用してもよい。例えば一実現例によると、ユーザが音楽イベントを正確に演奏する場合、フィードバックマネージャ３２５はユーザの演奏により生成されたオーディオをミュートし、聴覚的な楽曲データ（例えば、エキスパート演奏オーディオトラック）を再生してもよい。このように、ユーザは専門演奏者として演奏し、かつ聴くことができる。別の例示的な実現例によると、ユーザが音楽イベントを正確に演奏する場合、フィードバックマネージャ３２５はユーザ自身の演奏と関連付けられたオーディオと共に聴覚的な楽曲データ（例えば、エキスパート演奏オーディオトラック）を再生してもよい。このように、ユーザは専門演奏者及びユーザの双方のミックスを聴くことができる。エキスパートの演奏とユーザの演奏との間のミックスレベルは、ユーザにより設定されてもよく、あるいはユーザの演奏の正確さの程度又はレベルに従ってフィードバックマネージャ３２５により調整されてもよい。例えばフィードバックマネージャ３２５は、エキスパートの演奏のオーディオレベルを高めてもよい。更に別の例示的な実現例によると、ユーザが音楽イベントを正確に演奏する場合、フィードバックマネージャ３２５は、聴覚的な楽曲データ（例えば、エキスパート演奏オーディオトラック）をミュートし、ユーザの演奏を再生してもよい。更にユーザが音楽イベントを正確に演奏する場合、フィードバックマネージャ３２５は、信号処理効果（例えば、リヴァーブ、コーラス、フランジ、ハーモニー等）を導入することによりユーザの演奏結果の音質を高める効果を加えてもよい。
【００４３】
反対に、例示的な一実現例によると、ユーザが音楽イベントを不正確に演奏する場合、フィードバックマネージャ３２５は、聴覚的な楽曲データ（例えば、エキスパート演奏オーディオトラック）をミュートしてもよく、低い出力レベルで聴覚的な楽曲データを再生してもよく、あるいは聴覚的な楽曲データ及びユーザの演奏の双方のミックスを提供してもよい。ミックスレベルは、ユーザにより設定されてもよく、あるいはユーザの演奏の不正確さの程度又はレベルに従ってフィードバックマネージャ３２５により調整されてもよい。例えばフィードバックマネージャ３２５は、ユーザの演奏のオーディオレベルを高めてもよい。更にユーザが音楽イベントを不正確に演奏する場合、フィードバックマネージャ３２５は、信号処理効果（例えば、離調、歪み、過大等化等）を導入することによりユーザの演奏結果の音質を低下させてもよい。
【００４４】
更にフィードバックマネージャ３２５は、触覚的フィードバックを提供してもよい。例えばフィードバックマネージャ３２５は、変動するレベルの肯定的又は否定的フィードバックを示すために種々の拍動リズム及び／又は強度レベルの振動を使用してもよい。フィードバックの例については、本明細書において以下に更に説明する。
【００４５】
設定マネージャ３３０は、状態情報を表示し、ユーザが種々の演奏関連パラメータを調整できるようにし、かつユーザが音楽教育システム１１５との適切な対話性及び接続性を保証できるようにしてもよい。例えば設定マネージャ３３０は、チューナ、入力レベル、現在検出されている周波数、ピッチ及び／又は和音、オーディオミキシング制御、楽器レベル、デジタルオーディオ効果レベル、事前に録音されたエキスパートの演奏レベル、事前に録音された伴奏レベル及び／又はマスターレベル等を表示してもよい。更に設定マネージャ３３０は、種々のデジタル処理制御を提供してもよい。例えば設定マネージャ３３０は、リヴァーブ、自動チューニング、ディストーション、コンプレッション、フランジ、エコー及び／又は他の信号処理効果等の種々のデジタルオーディオ効果を提供してもよい。更に設定マネージャ３３０は、ユーザが楽曲及び／又はセッションと関連する視覚的要素／オーディオの停止、巻き戻し、早送り、ループ等をできるようにするインタフェースを表示してもよい。
【００４６】
図３は音楽教育システム１１５の例示的な機能構成要素を示すが、他の実現例において、音楽教育システム１１５は、図３に示し、かつ本明細書で説明する機能構成要素と比較して、より少ない機能構成要素、追加の機能構成要素及び／又は異なる機能構成要素を含んでもよい。更に又はあるいは、他の実現例において、特定の機能構成要素により実行されるものとして説明される機能又は処理は、別の機能構成要素又は機能構成要素の組み合わせにより実行されてもよい。
【００４７】
上述したように、音楽教育システム１１５はセッション中に音楽データを使用してもよい。音楽データの例については以下に説明する。
【００４８】
図４は、楽曲と関連付けられてもよい例示的な音楽データ４００を示す図である。図示するように、音楽データ４００は、特にエキスパート演奏オーディオトラック４０５、伴奏オーディオトラック４１０、演奏キューデータ４１５及び演奏キューデータ４２０を含んでもよい。
【００４９】
上述したように、音楽データは楽曲データを含んでもよい。楽曲データは、エキスパート演奏オーディオトラック等の聴覚的な楽曲データを含んでもよい。図示するように、例示的な一実現例によると、エキスパート演奏オーディオトラック４０５は、楽器で演奏されたエキスパートによる楽曲の演奏の録音を含んでもよい。例えばエキスパート演奏オーディオトラック４０５は、ピアニストが協奏曲をピアノで演奏すること、ドラマーがロック曲を演奏すること又はサクソフォーン奏者がジャズを演奏することを含んでもよい。別の例によると、エキスパート演奏オーディオトラック４０５は、一般に同一種類の複数の楽器が１つのオーディオトラックにミックスされたものを含んでもよい。例えばエキスパート演奏オーディオトラック４０５は、１人の（例えば、多重録音）又は複数のエキスパートが複数のギターを演奏することを含んでもよい。エキスパート演奏オーディオトラック４０５は、信号処理（例えば、リヴァーブ等）又は他のオーディオ効果を含んでもよい。
【００５０】
エキスパート演奏オーディオトラック４０５は、ユーザに対する指導ツールとしての役割を果たしてもよい。例えばユーザは、エキスパート演奏オーディオトラック４０５と関連付けられた演奏をまねしようとしてもよい。更に上述したように、例示的な実施形態によると、フィードバックマネージャ３２５はフィードバック機構としてエキスパート演奏オーディオトラック４０５を使用してもよい。例えばフィードバックマネージャ３２５は、楽曲データマネージャ３１５によりエキスパート演奏オーディオトラック４０５の再生と関連付けられた音量又は出力レベル、信号処理効果等を管理してもよい。更に又はあるいは、フィードバックマネージャ３２５は、フィードバック機構としてエキスパートの演奏（例えば、音楽ビデオ）のオーディオ／ビデオ表現を管理してもよい。更に、波形マネージャ３０５はエキスパート演奏オーディオトラック４０５に対応するスクロールする波形を表示してもよい。
【００５１】
聴覚的な楽曲データは伴奏トラックを含んでもよい。図示するように、伴奏オーディオトラック４１０は、楽曲の伴奏演奏の録音を含んでもよい。例えばユーザがエレクトリックギターで楽曲を演奏している場合、伴奏オーディオトラック４１０は、楽曲と関連付けられたエレクトリックベース、ドラム及びボーカルの録音を含んでもよい。楽曲に依存して、楽曲が伴奏オーディオトラック４１０を含んでいない場合がある。例えば、楽曲はソロ等であってもよい。楽曲データマネージャ３１５は伴奏オーディオトラック４１０を再生してもよい。
【００５２】
上述したように、演奏キューデータは楽器による楽曲の適切な演奏を示すデータを含んでもよい。演奏キューデータは、例えば標準的な楽譜、タブ譜等の多くの形式をとることができる。演奏キューデータは、楽器の種類、セッションの難易度等に依存して異なる。例示的な一実現例によると、演奏キューデータは聴覚的な楽曲データ（例えば、エキスパート演奏オーディオトラック４０５等）に同期されてもよい。
【００５３】
図４を参照すると、演奏キューデータ４１５及び演奏キューデータ４２０は、演奏キューデータの例である。演奏キューデータの更なる例については本明細書で説明する。
【００５４】
図４に示すように、楽器がギターである場合、演奏キューデータ４１５は、ユーザが音楽イベント（例えば、音、和音等）を演奏する時間、弦及び位置を示してもよい。更に演奏キューデータ４１５は、例えば音量、ストラミングスタイル、ピッキングスタイル及び終了時間等の楽曲の演奏と関連付けられた他の側面を示してもよい。
【００５５】
更に図示するように、演奏キューデータ４２０は標準的な楽譜に対応してもよい。上述したように、例示的な一実施形態によると、標準的な楽譜はアーティスト又は他のプロ／専門演奏者により演奏された楽曲の採譜に基づく奏法に対応してもよい。この例において、演奏キューデータ４２０は音が演奏されるピッチ及び時間を示してもよい。演奏キューデータ４２０は、強弱の変化を示し、雰囲気又は感情を示し、テンポを示し、アーティキュレーションを示す言葉／フレーズ等の他の種類のデータ、並びに弓の位置、ペダル記号等の楽器に依存するデータを含んでもよい。演奏キューデータ４２０は、音楽イベント及び／又は楽曲の演奏と関連付けられた他の特性を含んでもよい。
【００５６】
他の実現例によると、演奏キューデータの表現は他の形式をとってもよい。例として、音楽イベントのピッチは、周波数（例えば、Ｈｚ単位）、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）キーナンバー又は文字等として数字で表されてもよい。更に演奏キューデータは、テンポの変化又は移調等を反映するように変更されてもよい。この点に関して、演奏キューデータは、音楽教育システム１１５が難易度を変更するために楽曲を速く又は遅く再生するか、あるいは種々の楽器の範囲に適応するために楽曲を異なる調で再生する状況に適応可能であってもよい。例示的な一実現例によると、音楽教育システム１１５は従来のタイムストレッチング技術及び／又は従来のピッチシフティング技術を使用してもよい。
【００５７】
図４は例示的な音楽データ４００を示すが、他の実現例において、音楽データ４００は、図４に示し、かつ説明するデータと比較して、更なるデータ、より少ないデータ及び／又は異なるデータを含んでもよい。
【００５８】
図５は、音楽教育を提供する例示的な視覚的要素を含む音楽教育システム１１５の例示的なユーザインタフェースを示す図である。ユーザインタフェースは、ディスプレイ１２０においてユーザに対して表示されてもよい。他の実現例によると、音楽教育システム１１５は、図５に示し、かつ説明する視覚的要素と比較して、更なる視覚的要素、より少ない視覚的要素、異なる視覚的要素及び／又は異なる視覚的要素の構成を含んでもよい。例えば例示的な一実現例によると、ユーザは特定の視覚的要素を省略することを選択してもよい。例えばグラフィックボタン５０５−１〜５０５−８（一般にグラフィックボタン５０５と示す）はユーザインタフェース内に表示され、ユーザが表示するか又は隠す視覚的要素を選択することを可能にする。このように、ユーザは見たい情報を制御してもよい。他の実現例によると、ユーザインタフェースにより、ユーザは他のインタフェース（例えば、ドロップダウンメニュー等）に基づいて表示されるものを制御できる。例示的な一実現例によると、音楽教育システム１１５は、ユーザインタフェースの未使用の部分を占有するように視覚的要素を自動的にサイズ変更してもよい。実際には、各視覚的要素の相対的なサイズは図５に示した各視覚的要素のサイズに比例しなくてもよい。
この例において、楽器はギター（例えば、６弦ギター）であるとする。図５を参照すると、ユーザインタフェースの最上部において、ユーザインタフェースは波形マネージャ３０５と関連付けられた視覚的要素を含んでもよい。例えば、オーディオ波形５１０はエキスパート演奏オーディオトラック４０５に対応してもよく、オーディオ波形５１５はユーザの演奏に対応してもよい。このように、ユーザはエキスパートの演奏をユーザの演奏と視覚的に比較できる。更に類似度がユーザに対して示されてもよい。例えば類似性スコア５２０は、楽曲の楽節毎（例えば、小節毎等）にユーザの演奏とエキスパートの演奏との類似度を示してもよく、これは例えば数値又はグラフィックで表されてもよい。キューライン５２５は演奏の現時点を示してもよい。この例において、キューライン５２５の右側に位置する部分がこれから演奏される部分に対応する演奏波形５３０を示し、かつキューライン５２５の左側に位置する部分がエキスパートの演奏と比較してユーザの演奏直後の履歴を示すように、オーディオ波形５１０及び５１５は右から左に移動してもよい。
【００５９】
ユーザインタフェースの左側部分は、楽曲データと関連付けられた視覚的要素を含んでもよい。この例において、音楽コンテンツ領域５３５は、アーティスト名、楽曲名、現在の小節、現在の拍子、現在の楽節、現在の和音及び次の和音を含んでもよい。
【００６０】
音楽コンテンツ領域５３５の右側は、演奏する時にユーザを支援するための運指記号５４０を含んでもよい。例示的な一実現例によると、運指記号５４０は、現在演奏されることが要求される音楽イベント（例えば、和音、メロディ等）に対する指の位置及び将来の指の位置を表示してもよい。運指記号５４０は、スクロールするように一連の指の位置を表示してもよい。
【００６１】
更に運指記号５４０の右側は、演奏キュー５４５を含んでもよい。この例において、演奏キュー５４５はスクロールするギタータブ譜に対応する。スクロールするギタータブ譜は、音楽イベント表示（図５において円で示される）を含んでもよい。他の実現例によると、音楽イベント表示表示は円とは異なる形状（例えば、正方形等）を有してもよい。音楽イベント表示は、音楽データ（例えば、エキスパート演奏オーディオトラック４０５等）と同期されてもよく、音楽イベント（例えば、効果、ジェスチャ、期間等）の特性を示してもよい。演奏キュー５４５は、肯定的フィードバック５５０を示す「点灯する」音楽イベント表示又は否定的フィードバックを示す「淡色表示される」音楽イベント表示等のリアルタイム又はほぼリアルタイムのフィードバックキューを含んでもよい。他の実現例によると、演奏キュー５４５は音楽イベントを示すスクロールする譜表の形式をとってもよい。更に他の実現例によると、演奏キュー５４５はスクロールするタブ譜を使用しなくてもよい。タブ譜は（例えば、長い道路のように）レイアウトされてよく、ユーザの視点がタブ譜に沿って移動する（例えば、道路を下る）。視覚的な演奏キューの他の例については本明細書において説明する。
【００６２】
演奏キュー５４５の右側の領域は、演奏結果５５５を含んでもよい。この例において、演奏結果５５５は、スコア、難易度、精度スコア、ストリークスコア及び乗数を含んでもよく、これらはリアルタイム又はほぼリアルタイムで（例えば、ユーザの演奏中、セッションの終了時等）反映されてもよい。例えばスコアは、全体の演奏の値又は現在のセッションに関連した進行中の演奏の値を表してもよい。ストリークスコアは、例えば正しく演奏されている音楽イベントの数に対応してもよい。精度スコアは、楽曲に対するユーザの演奏の精度を反映してもよい。例えば精度スコアは、予想された音楽イベントの合計で除算される現在演奏されている音楽イベントの割合として表されてもよい。乗数はスコア変更子に対応してもよい。例えばスコアは、ユーザが困難なパッセージを正確に演奏する場合に乗数と乗算されてもよく、精度スコアは特定の閾値を上回り、難易度は特定のレベルである。乗数はスコアを増加する可能性がある。反対に、乗数はユーザのスコアを低下する可能性もある。例えばスコアは、ユーザが困難なパッセージを正確に演奏しない場合に乗数と乗算されてもよく、精度スコアは特定の閾値レベルを下回る。
【００６３】
更に図示するように、ユーザインタフェースの右側部分はビデオ画像５６０を含んでもよい。例えば上述したように、音楽教育システム１１５は、ユーザの演奏中、ユーザのビデオ画像５６０を撮像できるカメラ１４５を含んでもよい。そのような例示的な一実現例によると、ユーザはユーザインタフェースを観察し続け、かつ同時に自身の演奏を見ることができる。例えば楽器がギターに対応する場合、ユーザはギターのネックを見下ろして、自身の運指及び動作を注視するだろう。しかし、ビデオ画像５６０により、ユーザは注意を他にそらすことなく自身の演奏を注視できる。ビデオ画像５６０により、ユーザは、ビデオ画像がないと識別できない可能性がある自身の演奏（例えば、技術、芸術的な課題等）に関連した課題を識別できる。他の例示的な実現例によると、ビデオ画像５６０は、専門演奏者、あるいはユーザの演奏に応じて教えたり、反応したり、かつ／又はフィードバックを提供したりする仮想助言者／指導者／コーチのビデオ画像に対応してもよい。他の例示的な実現例によると、ビデオ画像５６０はその楽曲の他のユーザの演奏（例えば、有名なアーティストの音楽ビデオ又は楽曲の別のユーザの演奏のビデオ等）に対応してもよい。音楽教育システム１１５により、ユーザは、ビデオ画像５６０が表示されるウィンドウのサイズを調整できてもよい。更に他の例示的な実現例によると、ビデオ画像５６０は、例えば左手のフレット及び弦の位置、右手のストラミングのタイミング及び指示、鳴らすキーボードのキー、叩くドラム等の指導情報を示すコンピュータグラフィックスを補足されるユーザのビデオ画像を示してもよい。コンピュータグラフィックは、ビデオ画像５６０とのオーバレイとして提示されてもよい（例えば、プロフットボールの放送において、フットボール競技場のビデオ画像とともに提供され、スクリメージライン、１０ヤードライン及び他の情報をフットボール競技場に描かれているかのように示すコンピュータグラフィックスのオーバレイと同様である）。例えば画像操作により、フレット付き指板のビデオ画像５６０は、音又は和音に対する正しい指の位置に点灯するＬＥＤが組み込まれているように見えるようにされてもよい。
【００６４】
更に図示されるように、ユーザインタフェースの下部は運指記号及びタイムガイド５６５を含んでもよい。この例において、運指記号及びタイムガイド５６５は楽器（すなわち、ギターネック）のグラフィック表現及び演奏キュー（例えば、演奏が要求される音楽イベント）を含んでもよい。運指記号５４０とは異なり、運指記号及びタイムガイド５６５は現在の音楽イベント及び将来の音楽イベントを含んでもよい。運指記号及びタイムガイド５６５は、種々の形状、色、サイズ及び不透明度等を含み、ユーザが時間の経過と共に演奏キューに従っていけるようにしてもよい。
【００６５】
設定５７０は、ユーザインタフェースの最下部に表示されてもよい。上述したように、設定マネージャ３３０は種々のユーザ設定、効果及びレベル等を表示してもよい。この例において、設定５７０は、入力レベル、チューナ、効果レベル、ミックスレベル、バンドセレクタ及び出力レベルを含んでもよい。例示的な一実現例によると、ユーザが利用可能な設定は、ユーザが演奏している楽器及び／又は楽曲に依存してもよい。更に設定５７０により、ユーザは、セッションが開始する前だけでなくセッション中にも特定の設定を調整できる。
【００６６】
図６〜図１０は、種々の楽器に対する演奏キューマネージャ３１０と関連付けられた例示的な演奏キューを示す図である。他の実現例によると、演奏キューマネージャ３１０と関連付けられた演奏キューは、図６〜図１０に示し、かつ説明する演奏キューと比較して、更なる視覚的要素、異なる視覚的要素、より少ない視覚的要素、異なる視覚的要素の構成及び／又は異なる向きを含んでもよい。
【００６７】
図６は、楽器がギターである場合の演奏キューマネージャ３１０と関連付けられた例示的な演奏キューを示す図である。図示するように、ギターの弦は６つのタイムライン６０５で表現されてもよく、これらは弦番号６１０（例えば、１〜６）及び対応する音楽イベント値６１５（Ｅ、Ａ、Ｄ、Ｇ、Ｂ、Ｅ）でラベル付けされてもよい。音楽イベントの円６２０は、ユーザに対する演奏キューを表してもよい。例示的な一実現例によると、音楽イベントの円６２０内の番号は、押さえる弦の適切なフレットに対応してもよい。音楽イベントの円６２０は、適切な音楽イベントが演奏される適切な弦に配置されてもよい。更に例示的な一実現例によると、音楽イベントの円６２０垂直位置は、音楽イベントが演奏されるまでの残り時間を示してもよい。音楽イベントの円６２０は、音楽データ（例えば、伴奏オーディオトラック、エキスパート演奏オーディオトラック等）と関連付けられたタイムコードと同期されてもよい。
【００６８】
時間の経過に伴って、ユーザインタフェースはタイムライン６０５及び音楽イベントの円６２０をスクロールしてもよい。例えばスクロールは、ユーザインタフェースの最上部からユーザインタフェースの最下部に向かって行われてもよい。他の実現例によると、時間は奥行きとともに表示又は表現されなくてもよい。例えばスクロールは、２次元で表示又は表現されてもよい。ユーザはキューライン６２５で音楽イベントの円６２０を演奏しようとする。線６３０は楽曲と関連付けられた音楽の拍子、小節、テンポ及び／又はタイミングを示してもよい。例示的な一実現例によると、太く、かつ／又は色が付けられた線６３５は、フレットに対して弦を押さえる期間（すなわち、音楽イベントの期間）を示してもよい。重複する音楽イベントはドット６４０又はストラミングを示す太い水平線６４５で表されてもよい。他の実現例によると、期間、ストラミング及び／又は重複する音楽イベントは別の方法でグラフィック表現されてもよい（例えば、ねじれ線、種々の線のパターン（例えば、点線等）、アニメーションライン等）。
【００６９】
図７Ａは、楽器がギターである場合の演奏キューマネージャ３１０と関連付けられた他の例示的な演奏キューを示す図である。この例において、ギターネック７０５は、水平線７１０により表された弦及び垂直線７１５により表されたフレットを含んで表示されてもよい。例示的な一実現例によると、指の位置はアニメーション化された同心円及び記号７２０により示されてもよい。例として、最も外側の円７２５は演奏タイミングの４拍前に表示されてもよい。更に他の円は、現在の演奏キューのタイミングが近づくにつれ、かつ楽曲のテンポに従ってある時間にわたり、より小さく、濃く、太く、かつ／又は低い透明度の円に変形して表示される。例えば３拍先の演奏キューは、より小さく、かつより透明度の低い円７３０で表されてもよい。２拍先の演奏キューは更に小さく、かつ透明度の低い円７３５により表されてもよく、１拍先の演奏キューは更に小さく、かつ透明度の低い円７４０により表されてもよい。演奏キューは、音楽イベントが演奏される適切な弦及びフレットに対応する位置に表示されてもよい。
【００７０】
例示的な一実現例によると、ユーザが特定の位置の弦を鳴らすことになっている場合、全ての円が存在し、かつアイコン（例えば、星）７４５が表示されてもよい。音楽イベントの期間を通信するために、アイコン（例えば、星等）及び複数の円は音楽イベント７５０の期間の間可視のままであってもよい。
【００７１】
例示的な一実現例によると、同一位置（例えば、１弦、１フレット等）に表示された複数の演奏キュー（例えば、４つの連続した１６分音等）は、外側に静的な円を有し、中心が点滅する形式、又は他の何らかの適切な形式で示されてもよい。演奏キューは、音楽イベントを伝えるために、例えば振動、波状効果又は他の適切な形式等の種々の効果を更に含んでもよい。演奏キューは、音楽イベントを通信するために種々の形状、英数字、記号及び種々の色を更に含んでもよい。例示的な一実施形態によると、音楽イベント（例えば、音）の配置、タイミング、テンポ及び／又は期間は、形状、記号又は英数字等、並びに例えばサイズ、色、効果又は不透明度等の他の特性を使用することによりユーザに対して可視化して描かれてもよい。演奏キューは、楽器に従って適応されてもよい。
【００７２】
図７Ｂは、楽器がギターｄえある場合の演奏キューマネージャ３１０と関連付けられた他の例示的な演奏キューを示す図である。例えば手７６０のグラフィック表現は、演奏キューを実行するための運指記号を示してもよい。この例において、手７６０は、想像上の演奏者に対面するユーザの視点から表される。しかし、音楽教育システム１１５は、ユーザが種々の視点（例えば、想像上の演奏者の背後、想像上の演奏者の背後の上方等）で手７６０により形成される運指記号を閲覧できるようにしてもよい。
【００７３】
図８は、楽器が声である場合の演奏キューマネージャ３１０と関連付けられた例示的な演奏キューを示す図である。図示するように、キーボード８１０のグラフィック表現はピッチ及びタイムラインを規定してもよく、タイムライン間の間隔はピッチ８１５を示してもよい。例示的な一実現例によると、太線８２０は音楽イベント（例えば、Ｃ音）と位置合わせされてもよい。更に又はあるいは、中太線８２５及び中太線８３０は、Ｃから特定の間隔（例えば、完全四度、完全五度）を有する他の音楽イベント（例えば、Ｆ音及びＧ音）をそれぞれ示してもよい。更に図示するように、例として、太く、かつ／又は色が付けられた線８３５は歌詞８４０でラベル付けされてもよいがこれに限定されない。更に、音楽イベントは右から左にスクロールしてもよく、垂直線８４５は楽曲と関連付けられた拍子、小節、テンポ及び／又はタイミングを表してもよい。
【００７４】
図９は、楽器がキーボードである場合の演奏キューマネージャ３１０と関連付けられた例示的な演奏キューを示す図である。図示するように、キーボード９０５のグラフィック表現がユーザに対して表示されてもよい。例示的な一実現例によると、スクロールは上から下に行われてもよい。太線９１０は、特定の音楽イベント（例えば、Ｃ音）に位置合わせされてもよい。更に又はあるいは、中太線９１５及び中太線９２０は、Ｃから特定の間隔（例えば、完全四度、完全五度）を有する他の音楽イベント（例えば、Ｆ音及びＧ音）にそれぞれ位置合わせされてもよい。演奏キュー９２５は、他の特性（例えば、期間等）と共にユーザが演奏する音楽イベントを示してもよい。水平線９３０は、楽曲と関連付けられた拍子、小節、テンポ及び／又はタイミングを表してもよい。
【００７５】
図１０は、楽器がドラムセットである場合の演奏キューマネージャ３１０と関連付けられた例示的な情報を示す図である。この例において、４つのタイムライン１００５はユーザにより演奏される音楽イベントを含んでもよい。例えば、各タイムライン１００５は、音楽イベントがユーザの手又はユーザの足により演奏されるかをユーザに示すために四肢の表示１０１０を含んでもよい。音楽イベントは円１０１５により示されてもよい。例示的な一実現例によると、円１０１５は演奏するドラムセットのパーツを更に示してもよい。例えば「ＨＰ」はハイハットペダルに対応してもよく、「Ｓ」はスネアドラムに対応してもよく、「ＨＨ」はハイハットに対応してもよく、「Ｋ」はキックドラムに対応してもよい。円１０１５は、タイムライン１００５に沿ってスクロールしてもよい。水平線１０２０は、楽曲と関連付けられた拍子、小節、テンポ及び／又はタイミングを表してもよい。キューライン１０２５は、いつドラムセットの適切なパーツを叩くかをユーザに示してもよい。
【００７６】
上述したように、音楽教育システム１１５は、音楽データ（例えば、聴覚的な楽曲データ、視覚的な楽曲データ等）に同期される演奏キューを提供してもよい。
【００７７】
図１１は、音楽データ（例えば、エキスパート演奏オーディオトラック４０５、伴奏オーディオトラック４１０等）に同期した演奏キューを含む音楽教育システム１１５の例示的なユーザインタフェースを示す図である。例えば図１１の例示的なユーザインタフェースは、楽曲と関連付けられた音楽イベントとの演奏キューの同期をプログラムするために使用されてもよい。
【００７８】
この例において、音楽データは、タイムコードマーカ１１１０（例えば、秒単位）及び６つの弦のレーンに対応するギター弦セクション１１１５−１〜１１１５−６（一般にギター弦セクション１１１５と呼ぶ）を有するギタートラック１１０５を含んでもよい。例示的な一実現例によると、各ギター弦セクション１１１５は、演奏キューをユーザに提供する時間の領域１１２０を含んでもよい。例えばギター弦セクション１１１５−２内において、時間の領域１１２０はルーラマーカ１１１０に位置合わせされてもよい値「５−４３２」を含む。値「５−４３２」は、難易度２、３及び４（例えば、ミディアム、ハード、ハーデストをそれぞれ表す）に従って５番目のフレットで弦２を演奏することをユーザに示してもよい。音楽教育システム１１５は、この同期された演奏キューデータを使用してユーザインタフェースを生成し、ユーザにより演奏される音楽イベント及び演奏方法を示す。
【００７９】
演奏キューデータは、楽器の種類だけでなくセッションの難易度にも依存して異なってもよい。例えば演奏キューは、種々のユーザのレベル（例えば、初心者、易しい、未熟者、熟練者、難しい、上級者又は天才等）に合わされてもよい。また、更に以下に示すように、例示的な一実現例によると、セッションの難易度はセッション中静的であってもよい。しかし、別の実現例によると、セッションの難易度はセッション中動的であってもよい。例えばセッションの難易度は、ユーザの演奏の評価に基づいてセッション中に変化してもよい。そのような一実現例によると、セッションの難易度は上下してもよく、それに応じて演奏キューの難易度がそれらの変化を反映してもよい。
【００８０】
音楽教育システム１１５の例示的な実施形態によると、ユーザはゲームコントローラ等の「仮想楽器」とは異なり「本物」の楽器を演奏してもよい。音楽教育システム１１５は、楽器で演奏された音楽イベント（例えば、音等）を検出してもよい。例えば上述したように、音楽教育システム１１５は、基本周波数検出アルゴリズムに基づいてユーザにより演奏された音楽イベントを検出してもよい。これは例えば音楽イベント（例えば、音等）を生成しないゲームコントローラを使用する及び／または音楽イベントがピッチ等に基づいて評価されないゲームシステムとは対照的である。
【００８１】
音楽教育システム１１５は、楽器に応じて種々な方法でユーザ演奏データを受信してもよい。例えばＭＩＤＩ機能を有する楽器の場合、音楽教育システム１１５は直接入力（例えば、ケーブルを介して又は無線で）を受け入れてもよい。ＭＩＤＩ対応の楽器はピッチ等を含んでよいイベントメッセージを送受信してもよいため、音楽教育システム１１５は基本周波数検出を実行しなくてもよい。あるいは、ユーザがスネアドラムを演奏することを学んでいる場合、基本周波数の検出は関係ない。しかし、他の種類の楽器の場合、音楽教育システム１１５は、１つ以上の基本周波数検出アルゴリズムに従って特定の音楽イベントと関連付けられた基本周波数を検出してもよい。例えば、楽器が生楽器、（例えば、ピックアップを有する）電気楽器である場合、あるいはユーザがマイクを使用して又はマイクを介して演奏する場合、音楽教育システム１１５は基本周波数検出を使用してもよい。基本周波数検出アルゴリズムは、ピッチ解析、基本周波数推定及び和音認識を含んでもよい。他の例示的な実現例によると、他の方法が入力解析（例えば、テンプレートマッチング、機械学習、非負行列因数分解等）に対して使用されてもよい。音楽教育システム１１５は、楽器から受信した音声及び／又は楽器の種類に基づいて基本周波数検出を使用するかを判定してもよい。
【００８２】
図１２Ａ〜図１２Ｃは、音楽イベントと関連付けられた基本周波数を検出する例示的な処理１２００を示す。基本周波数は、楽音を構成する音響振動の周波数に対応してもよい。フルート等の単音楽器は、一度に最大１つの楽音を生成できる。ギター又はピアノ等の多音楽器は、一度に２つ以上の楽音を生成できる。例えばギター又はピアノは、和音又は他の多音音楽構造を生成できる。基本周波数検出アルゴリズムは、単音音楽構造（例えば、単一の楽音）又は多音音楽構造（すなわち、２つ以上の楽音、和音等）と関連付けられた基本周波数を検出してもよい。
【００８３】
処理１２００は、オーディオ入力信号を受信すること（ブロック１２０５）を含んでもよい。例えば音楽教育システム１１５は、オーディオ入力信号を受信してもよい。例えば楽器は、音楽教育システム１１５に対するオーディオ入力信号として使用される電気信号を生成してもよい。あるいは、マイク又はピックアップは、楽器と関連付けられた生音の信号をオーディオ入力信号として使用されてもよい電気信号に変換するために使用されてもよい。
【００８４】
アナログ−デジタル変換が実行されてもよい（ブロック１２１０）。例えば音楽教育システム１１５は、従来技術を使用してオーディオ入力信号をデジタルオーディオ入力信号に変換してもよい。
【００８５】
出だしブロックが形成されてもよい（ブロック１２１５）。例示的な一実現例によると、基本周波数検出アルゴリズムは、デジタルオーディオ入力信号から連続する一群のサンプを含む（例えば固定長の）ブロックを形成することに基づいて基本周波数を検出してもよい。例えば出だしブロックは、音楽イベントと関連付けられた出だし時間がより短い時間ウィンドウ内で検出できるよう、５１２個のサンプルを含むことができる。
【００８６】
上述したように、出だしブロックのサイズは一般に周波数解析に使用されるブロックより小さくてもよい。例えば、周波数解析ブロックが２０４８個のサンプルを含むことは一般的である。しかし、５０％の重複を有し、１０２４サンプル等の等間隔を有する複数のサンプルのブロックを使用してデジタルオーディオを処理するために、そのサイズのブロック内で出だしが始まる場合には、基本周波数検出結果の品質は低い可能性がある。そのような品質の低い結果を回避するために、基本周波数検出アルゴリズムは、形成された出だしブロック内で出だし（例えば、音楽イベントの開始）を検出してもよく、出だしが検出される場合、周波数検出アルゴリズムは周波数検出のために次の出だしブロックに進んでもよい。この点に関して、周波数検出解析は、出だしを含まない出だしブロックに位置付けられてもよい。例えば、出だしを含む出だしブロックの後に位置付けられてもよい、出だしを含まない出だしブロックである。
【００８７】
出だしブロックは、平滑化ウィンドウと乗算されてもよい（ブロック１２２０）。出だしブロックは、特にデジタルオーディオ入力信号のスペクトル特性を向上するために平滑化ウィンドウと乗算されてもよい。例示的な一実現例によると、平滑化ウィンドウの種類は楽器に基づいて選択されてもよい。音楽教育システム１１５は、１つ以上の種類の平滑化ウィンドウ（例えば、ハンウィンドウ、ハミングウィンドウ、ガウスウィンドウ等）を含んでもよい。
【００８８】
ＦＦＴは、出だしブロックに対して実行されてもよい（ブロック１２２５）。高速フーリエ変換（ＦＦＴ）は出だしブロックに適用されてもよく、その結果、離散短期スペクトルの推定値を与えてもよい。離散短期スペクトルは、大きさ及び位相情報を表す複素数を含んでもよい。
【００８９】
複素数は、大きさ値に変換されてもよい（ブロック１２３０）。例えば各複素数の大きさは、虚数部の２乗及び実数部の２乗の合計の平方根である。例えば複素数がａ＋ｂｉである場合、大きさはｓｑｒｔ（ａ２＋ｂ２）である。式中、ｓｑｒｔは平方根を表す。大きさ値は、ある正弦成分の振幅に対応してもよく、複数の正弦成分は等間隔に離間した周波数であってもよい。大きさ値は、インデックスを有するデータ構造（例えば、配列等）に格納されてもよい。
【００９０】
加重和が算出されてもよい（ブロック１２３５）。例えば大きさの加重平均は、インデックス付きデータ構造のそれぞれの位置に基づいて算出されてもよい。一例として、大きさ配列でインデックスが付与された４つの大きさ値（２，２，３，４）があるとする。例えば大きさ値＝２は大きさ配列の位置０にインデックスされてよく、大きさ値＝２は大きさ配列の位置１にインデックスされてよく、大きさ値＝３は大きさ配列の位置２にインデックスされてよく、大きさ値＝４は大きさ配列の位置３にインデックスされてよい。周波数検出アルゴリズムは、各大きさ値を対応するインデックスと乗算してもよい。例えば、新しい大きさ値（０，２，６，１２）（例えば，２＊０，２＊１，３＊２，４＊３）が算出されてもよい。次に、新しい大きさ値の合計が算出されてもよく、加重平均が算出されてもよい。例示的な一実現例によると、加重平均は、大きさ値の合計を乗数の合計で除算した値に対応してもよい。例えば新しい大きさ値が加算され（０＋２＋６＋１２）合計した大きさ値＝２０を形成し、合計した大きさ値は６（０＋１＋２＋３）で除算され加重和＝３．３３を与えてもよい。別の例示的な実現例によると、新しい大きさ値の合計は加重和に対応してもよい。例えば加重和＝２０である。この例において周波数が大きさ配列において低い周波数から高い周波数へインデックスが付与されるため、説明した方法で加重和を算出することにより、周波数スペクトル内のより高い周波数は周波数スペクトル内のより低い周波数より大きい重みを与えられる。すなわち、周波数が低いほど重み（例えば、配列インデックス乗数）を小さく、周波数が高いほど重みを大きく割り当ててもよい。
図１２Ｂを参照すると、出だし検出が実行されてもよい（ブロック１２４０）。例えば、前の出だしブロックと関連付けられた加重和に対する加重和の変化が閾値と比較されてもよい。その変化が閾値以上である場合、出だしブロックは出だしを含むと判定される。加重和の変化が閾値未満である場合、出だしブロックは出だしを含まないと判定される。例示的な一実現例によると、閾値は、出だしが検出された後に減少されてもよく、出だしが検出されない場合に前の閾値に戻されてもよい。
【００９１】
例示的な一実現例によると、出だしが出だしブロック内で発生しない場合、出だしブロックは例えばバッファに格納されてもよい。更に以下に説明するように、出だしを含まない出だしブロックは基本周波数ブロックを形成するために使用されてもよい。逆に、出だしが出だしブロック内で発生する場合、周波数検出アルゴリズムは、その出だしブロックを無視し、次の出だしブロックに進んでもよい。
【００９２】
基本周波数ブロックが形成されてもよい（ブロック１２４５）。検出された各出だしの結果は、基本周波数検出に対する適切なサンプルのブロックを判定するために使用されてもよい。例えば出だしを含まないと判定される出だしブロックは、基本周波数ブロックを形成するために使用されてもよい。一例として、基本周波数ブロックが２０４８個のサンプルを含み、かつ出だしブロックが５１２個のサンプルを含む場合、４つの連続した出だしブロックが出だしを含まないと判定された時に基本周波数ブロックは形成されてもよい。ブロック１２１５で形成された出だしブロックのサイズ及び基本周波数ブロックのサイズに依存して、出だしを含まないと判定された特定の数の連続した出だしブロックが基本周波数ブロックを形成するのに使用されてもよい。
基本周波数ブロックは、平滑化ウィンドウと乗算されてもよい（ブロック１２５０）。基本周波数ブロックは、特にデジタルオーディオ入力信号のスペクトル特性を向上するために平滑化ウィンドウと乗算されてもよい。例示的な一実現例によると、平滑化ウィンドウの種類は楽器に基づいて選択されてもよい。音楽教育システム１１５は、１つ以上の種類の平滑化ウィンドウを含んでもよい。
【００９３】
ＦＦＴは、基本周波数ブロックに対して実行されてもよい（ブロック１２５５）。高速フーリエ変換（ＦＦＴ）は基本周波数ブロックに適用されてもよく、それにより離散短期スペクトルの推定値が得られるであろう。離散短期スペクトルは、大きさ及び位相情報を表す複素数を含んでもよい。
【００９４】
複素数は、対数的な大きさ値(magnitude value)に変換されてもよい（ブロック１２６０）。各複素数の大きさは、虚部の２乗及び実部の２乗の合計の平方根である。例えば複素数がａ＋ｂｉである場合、大きさはｓｑｒｔ（ａ２＋ｂ２）である。大きさの対数は一般的な対数関数を使用して計算されてもよい。各対数値は、各正弦成分と関連付けられた振幅の対数に対応してもよい。ここで、正弦成分は等間隔で離間された周波数であってもよい。
【００９５】
ピーク推定値が算出されてもよい（ブロック１２６５）。例えば低い周波数で、対数振幅スペクトルにより表された正弦成分の間隔は正確な音楽ピッチ推定には広すぎる可能性がある。例示的な一実現例によると、対数振幅スペクトルは補間されてもよい。例えば対数振幅スペクトルは２次補間を使用して補間されてもよい。対数振幅値がその２つの隣接する値より大きいスペクトルの各位置において、二次多項式がそれら３つの点に適合されてもよい。各ピーク点に対して、２次スプラインのピーク点の対数振幅及び周波数が計算され、ピークデータとして格納されてもよい。そのような方法は、特にピーク点と関連する周波数がＦＦＴと関連する周波数ビン（ＦＦＴビン）と位置合わせされない場合にピーク推定の精度を向上する。例えばＦＦＴと関連する各周波数ビンが４０Ｈｚであり、ピーク点が１００Ｈｚに位置する場合、２次補間はピーク点の正確な周波数及び対数振幅を識別する精度を向上する。
図１２Ｃを参照すると、ピークグラムが形成されてもよい（ブロック１２７０）。ピークグラムはピークデータに従って形成されてもよい。例えば、ピークグラムは配列に対応してもよい。ピークグラムの各場所は半音（例えば、等分平均律音階に基づく公称周波数）に対応してもよい。例示的な一実現例によると、ＭＩＤＩキーナンバーは、ピークグラム指標として使用されてもよく、指標ｉの公称周波数は以下の例示的な式に対応してもよい。
４４０＊２ｉ−６９／１２ （１）
式中、４４０Ｈｚは音楽イベントＡ４の標準的な周波数であり、６９は音楽イベントＡ４に対するＭＩＤＩノートナンバーを表し、１２は１オクターブ中の半音の数を表す。
【００９６】
対数振幅スペクトルの２次スプラインにより推定された各ピークに対して、最も一致する公称周波数を有するピークグラムの場所に対応するピーク値がピーク振幅の２乗分だけ増分されてもよい。殆どの場合、最大１つのピーク振幅が所定のピークグラムの場所に影響を与える。そのような場合、例えば別の配列が形成されてピーク点の正確な周波数を格納してもよい。周波数は、音楽イベント（例えば、音）が正しい旋律であるか、半音低いか、又は半音高いかを推定するために使用されてもよい。
【００９７】
ピークグラムは、音階の各半音における又は各半音の近くの基本周波数ブロックのエネルギーの推定値を含んでもよい。基本周波数ブロックに存在する音楽イベントがＭＩＤＩキーナンバーｉに対応する場合、ピークグラムは、基本周波数を表す場所ｉにおける大きな正の値（すなわち、エネルギーを表す）、並びに例えば最も近い半音（例えば、ＭＩＤＩキーナンバー）に丸められた倍音を表す場所ｉ＋１２、ｉ＋１９、ｉ＋２４、ｉ＋２８、i＋３１、ｉ＋３４及びｉ＋３６における追加の正の値を含んでもよい。他の実現例によると、使用される倍音（又は部分音）の数はより多くても少なくてもよい。更に、デジタルオーディオ信号において表される最大周波数より上にある周波数は存在しなくてもよい。
【００９８】
加重和が算出されてもよい（１２７５）。例えば対応するＭＩＤＩキーナンバーｉを有する音楽イベント（例えば、音）に対して、加重和（例えば、振幅の２乗）が基本周波数及びその倍音におけるピークグラム値から形成されてもよい。例えば加重和は、場所ｉ、ｉ＋１２、ｉ＋１９、ｉ＋２４、ｉ＋２８、ｉ＋３１、ｉ＋３４及びｉ＋３６において形成されてもよい。いくつかの倍音が存在できない高い周波数に対して、加重和はより少ない倍音を補償するように変倍されてもよい。
【００９９】
音楽イベントが検出されるかが判定されてもよい（ブロック１２８０）。例えば加重和は、音楽イベント検出閾値と比較されてもよい。加重和が音楽イベント検出閾値以上である場合（ブロック１２８０−ＹＥＳ）、音楽イベントが存在するかが判定され、音楽イベントが出力されてもよい（ブロック１２８５）。例えば、音楽イベントがＭＩＤＩキーナンバーｉに対応すると判定されてもよい。例示的な一実現例によると、維持された音楽イベントの振幅が時間の経過と共に減衰したと予想されるため、同一のピッチを有する音楽イベントが前の基本周波数ブロックで検出された場合に音楽イベント検出閾値は小さくされてもよい。逆に、加重和が音楽イベント検出閾値未満である場合（ブロック１２８０−ＮＯ）、音楽イベントが存在しないと判定されてもよい。図１２Ｃに示すように、処理１２００は以下に説明するようにブロック１２９５に継続してもよい。
【０１００】
一致した部分音は除去されてもよい（ブロック１２９０）。例えば音楽イベントが検出される場合、ピークグラムの場所はゼロに設定されてもよい。例えばピークグラムの場所ｉ、ｉ＋１２、ｉ＋１９、ｉ＋２４、ｉ＋２８、ｉ＋３１、ｉ＋３４及びｉ＋３６は、ＭＩＤＩキーナンバーｉの音によるエネルギーに基づいて追加の音楽イベントの間違った検出を防止するために除去されてもよい。
【０１０１】
ｉが増分されるかが判定されてもよい（ブロック１２９５）。例えばピークグラムの場所をゼロに設定した後、他のＭＩＤＩキーナンバーに対応する他の音楽イベントを検出するようにｉが１だけ増分されてもよい（ｉ＋１）かが判定されてもよい。ｉが増分されてもよい（例えば、最後のＭＩＤＩキーナンバーがまだ考慮されていない）（ブロック１２９５−ＹＥＳ）と判定された場合、処理１２００はブロック１２７５に継続してもよい。ｉが増分されてはいけない（例えば、最後のＭＩＤＩキーナンバーが考慮された）と判定された場合（ブロック１２９５−ＮＯ）、処理１２００は終了してもよい。
【０１０２】
図１２Ａ〜図１２Ｃは音楽イベントと関連付けられた基本周波数を検出する例示的な処理１２００を示すが、他の実現例において、処理１２００は、図１２Ａ〜図１２Ｃに示し、かつ説明した動作と比較して、追加の動作、より少ない動作及び／又は異なる動作を含んでもよい。例えば別の実現例によると、基本周波数検出は、以下に従って音楽イベント（例えば、音）の証拠を見つけるためにピークグラムを探索することにより行われてもよい。例えば音楽イベントが対応するＭＩＤＩキーナンバーｉを有しイベント、ｐ［ｋ］がＭＩＤＩキーナンバーｋに対するピークグラム配列値の値を表す場合、合計は以下の例示的な式に従って算出されてもよい。
ｐ［ｉ］＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋１２］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋１９］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋２４］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋２８］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋３１］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋３４］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋３６］） （２）
いくつかの倍音が存在できない高い周波数に対して、合計はより少ない倍音を補償するように変倍されてもよい。この結果として得られる合計は、上述したように音楽イベント検出閾値と比較されてもよい。
【０１０３】
更に上述したように、音楽教育システム１１５は、他の形式の入力解析（例えば、テンプレートマッチング、機械学習、非負行列因数分解等）を使用してもよい。例えば音楽教育システム１１５は、楽器及び／又は楽曲に依存してピッチ解析の複数の方法を利用してもよい。例えばより低い音域の音楽イベントに対して最適化される方法がより低い音域の音を特色としている楽曲に対して使用されてもよい。逆に、より高い音域の音楽イベントに対して最適化される方法がより高い音域の音を特色としている楽曲に対して使用されてもよい。更に又はあるいは、単音ピッチ検出に対して最適化された方法は単音音楽パッセージに対して使用されてもよく、かつ／又は短い音検出に対して最適化された方法は短い音パッセージに対して使用されてもよい。この点に関して、音楽教育システム１１５は、１つ以上の基本周波数検出方法を適応的に選択するために楽曲のプロファイルを含んでもよい。
【０１０４】
周波数検出に加えて、音楽教育システム１１５は、ユーザにより演奏された音楽イベントの他の音楽特性を評価してもよい。例えば音楽教育システム１１５は、音楽イベントの開始時間、音楽イベントの終了時間、音楽イベントの期間、音楽イベントの振幅又は音楽イベントの振幅曲線を評価してもよい。例示的な一実現例によると、音楽教育システム１１５は、音圧レベル、デシベルレベル、又は他の何らかの音量の計測値に基づいて音楽イベントの振幅を評価してもよく、その音量の計測値を楽曲で指定された音量レベルにマッピングしてもよい。例えば楽曲は、ピアノ（ｐ）の音量レベルを指定してもよく、音楽教育システム１１５は音量レベルを音量の範囲にマッピングしてもよい。更に楽曲は、クレッシェンドをピアノ（ｐ）からフォルテ（ｆ）に指定してもよく、音楽教育システム１１５は、音量曲線を音量等感曲線にマッピングしてもよい。
【０１０５】
基本周波数検出は、予期される基本周波数の集合を参考にしても良い。予期される周波数又は正確な周波数を参照して、基本周波数検出処理１２００は、ユーザが実際に演奏する音楽イベントを見逃すことを回避し、かつユーザが演奏しない間違った音楽イベントを検出することを回避するようにバイアスされてもよい。このように、正確な演奏に対してユーザに間違えてペナルティを課す確率が低減される。これは、いくつかの誤った音楽イベントの演奏を正確な演奏と間違えて評価するという代償を必要とするが、一般にユーザは正確な演奏に対して間違えてペナルティを課されるよりも、高すぎる評価を受ける方ことに満足するだろう。基本周波数検出処理１２００をバイアスするために、上述した音楽イベント検出閾値は、基本周波数を検出する確率を低下させるために大きい値に調整されるか、基本周波数を検出する確率を増加するために低い値に調整される。例えば、音が演奏キューデータ４１５にある場合、検出は音楽イベント検出閾値を低下させることによりその音に対する基本周波数を検出しやすくバイアスされてもよい。音が演奏キューデータ４１５にない場合、検出は音楽イベント検出閾値を増加することによりその音に対する基本周波数を検出しにくくバイアスされてもよい。これは、演奏キューデータ４１５に存在する予期される周波数に依存して周波数検出手法にバイアスをかける方法の一例であり、検出方法にバイアスをかける他の方法が個別に又は組み合わせて使用されてもよい。
【０１０６】
例示的な一実現例によると、音楽教育システムは周波数検出又は振幅に基づいて音楽イベントの開始時間を評価してもよい。例えば異なるピッチを有する連続した音楽イベントに関して、音楽教育システム１１５は周波数検出に基づいて各開始時間を評価してもよい。更に又はあるいは、音楽教育システム１１５は振幅に基づいて開始時間を評価してもよい。例えば、図１２において上述したように、前の出だしブロックと関連した振幅に対する振幅の突然の増加は音楽イベントの開始を示してもよい。逆に、音楽教育システム１１５は出だしブロック間の相対的な振幅に基づいて音楽イベントの終了時間を評価してもよい。音楽教育システム１１５は、開始時間及び終了時間に基づいて音楽イベントの期間を評価してもよい。
【０１０７】
音楽教育システム１１５は、ユーザにより演奏された評価した音楽イベントを、エキスパートにより演奏された予期される音楽イベントと比較してもよい。その比較に基づいて、音楽教育システム１１５は種々のスコア、統計、フィードバック等を算出してもよい。
【０１０８】
図１３は、音楽教育システム１１５が音楽イベントを評価し、かつ音楽イベントを採点できる例示的な処理を示す図である。図示するように、グラフ１及びグラフ２が提供される。グラフ１は、ｘ軸に沿うタイムライン１３００とｙ軸に沿うスコアライン１３０５とを含む。グラフ２は、ｘ軸に沿うタイムライン１３００とｙ軸に沿う周波数ライン１３１５とを含む。
【０１０９】
グラフ１を参照すると、例示的な一例によると、グラフ１は３４．０秒（すなわち、予期される音楽イベントの開始時刻）にキュー開始を有し、かつ３５．０秒（すなわち、予期される音楽イベントの終了時刻）にキュー終了を有する、予期される音楽イベントを表す。更に、ユーザにより演奏された音楽イベントの早い開始時間又は遅い開始時間に対する許容差を与える３３．８７５〜３４．１２５の範囲の開始許容差がキュー開始を囲んで示される。同様に、ユーザにより演奏された音楽イベントの早い終了時間又は遅い終了時間に対する許容差を与える３４．８７５〜３５．１２５の範囲の終了許容差がキュー終了を囲んで示される。例示的な一実現例によると、開始許容差及び終了許容差はスコアライン１３０５に対する関係を有する。例えば図示するように、ユーザにより演奏された音楽イベントに割り当てられたスコアは、予期される音楽イベントに対する音楽イベントの開始時間及び終了時間の近さに依存して変動してもよい。例えばユーザにより演奏された音楽イベントの開始時間がエキスパートにより演奏された音楽イベントの開始時間と同一である場合、音楽教育システム１１５は１．０のスコアを与えてもよい。しかし、ユーザにより演奏された音楽イベントの開始時間が同一ではないが開始許容差の範囲内である場合、音楽教育システム１１５は１．０より低いスコアを与えてもよい。ユーザにより演奏された音楽イベントの開始時間が開始許容差の範囲内にない場合、音楽教育システム１１５は０．０〜１．０のスコアを与えてもよい（不図示）。音楽教育システム１１５は、同様の方法で終了時間に関してスコアを与えてもよい。更に音楽教育システム１１５は、開始時間及び終了時間に基づいてユーザにより演奏された音楽イベントの期間を評価し、適切なスコアを算出してもよい。
【０１１０】
グラフ２を参照すると、音楽教育システム１１５は、ユーザにより演奏された音楽イベントの基本周波数を評価してもよい。例えば、予期される音楽イベントの基本周波数は４４０Ｈｚであると仮定する。この例において、音楽教育システム１１５は、４３８Ｈｚ〜４４２Ｈｚの周波数許容差で基本周波数を評価してもよい。ユーザ演奏周波数１３２０により示されるように、ユーザにより演奏された音楽イベントと関連付けられた基本周波数は少し高い（例えば、４４０Ｈｚより高い）。図示しないが、音楽教育システム１１５は、上述した方法と同様の方法で周波数に関してユーザにより演奏された音楽イベントにスコアを与えてもよい。
【０１１１】
音楽命令システム１１５は、ある期間にわたり１つ以上の音楽特性（例えば、周波数、振幅等）の変動を含む音楽イベントを評価してもよい。例えば音楽教育システム１１５は、スライド、ベンド、ポルタメント又はビブラート等の連続した音楽ジェスチャを評価してもよい。
【０１１２】
図１４は、音楽教育システム１１５が連続した音楽ジェスチャと関連付けられた基本周波数に基づいてその連続した音楽ジェスチャを評価できる例示的な処理を示す。例えば基本周波数は、ある期間（すなわち、特定の音楽ジェスチャに対する演奏キューの期間）にわたり関数として考えられてもよい。例示的な一実現例によると、音楽教育システム１１５は、連続した音楽ジェスチャのエキスパートの演奏と関連付けられてもよい基本周波数エンベロープ１４０５、連続した音楽ジェスチャのユーザの演奏と関連付けられた基本周波数エンベロープ１４１０及び誤差基本周波数エンベロープ１４１５と関連した情報に基づいて連続した音楽ジェスチャを評価してもよい。
【０１１３】
例示的な一実現例によると、音楽教育システム１１５は、基本周波数エンベロープ１４０５と基本周波数エンベロープ１４１０との差分を算出し、誤差基本周波数エンベロープ１４１５を生成してもよい。そのような一実現例によると、領域部分１４２０で示される誤差（すなわち、基本周波数エンベロープ１４０５と１４１０との差分）の絶対値の積分は、連続した音楽ジェスチャの演奏誤り又は精度の測定値を表してもよい。そのような一実現例において、領域部分１４２０と関連する全体の面積が小さい程、連続した音楽ジェスチャの演奏と関連する精度は高い。逆に、領域部分１４２０と関連する全体の面積が大きい程、連続した音楽ジェスチャの演奏と関連する精度は低い。
【０１１４】
例示的な一実現例によると、音楽教育システム１１５は、領域部分１４２０と関連する全体の面積に基づいて得点を算出してもよい。例えば音楽教育システム１１５は、全体の面積をある数字で除算するか又は全体の面積とある数字とを乗算して得点に基づくスコアを算出してもよい。更に例示的な一実現例によると、音楽教育システム１１５は、例えば連続した音楽ジェスチャの難易度、楽曲の難易度、並びに他の音楽特性（例えば、終了時間、振幅等）及びその採点等のスコアを算出する時に他のファクタを考慮してもよい。
【０１１５】
上述したように、音楽教育システム１１５は、セッション中にユーザにフィードバックを提供してもよい。例えば音楽教育システム１１５は、ユーザが演奏している時に集計しているスコアをユーザに提供してもよい。更に又はあるいは、音楽教育システム１１５は、最終的なスコア、並びに他の種類のスコア（例えば、比較スコア、ベストスコア等）、統計等をユーザに提供してもよい。例示的な一実現例によると、音楽教育システム１１５は、音楽イベントの演奏の正確度に基づいてスコアを算出してもよい。例えばスコアは、以下に説明する処理に従って算出されてもよい。
【０１１６】
図１５は、音楽教育システム１１５がスコアを算出できる例示的な処理１５００を示す図である。例示的な一実現例によると、スコアは音楽イベントと関連付けられた１つ以上の音楽特性に関する精度の測定値を含んでもよい。例えば上述したように、音楽特性は周波数、振幅、開始時間、終了時間、期間、振幅曲線及び／又は周波数曲線に対応してもよい。説明の目的で、処理１５００に関して、音楽イベント特性は開始時間、終了時間及び基本周波数を含んでもよい。他の実現例によると、以下に更に説明するように、音楽イベントと関連した更なる音楽特性、より少ない音楽特性及び／又は異なる音楽特性がスコアを算出するのに考慮されてもよい。更に例示的な実現例によると、音楽教育システム１１５は、ユーザにより演奏された単音(monophonic)又は多声(polyphonic)音楽イベントを検出してもよい。
【０１１７】
図１５に示すように、処理１５００は音楽イベントを検出すること（ブロック１５０５）を含んでもよい。音楽教育システム１１５は、ユーザにより演奏された音楽イベントを検出してもよい。上述したように、音楽教育システム１１５は、楽器から受信したオーディオデータに基づいて音楽イベントを検出してもよい。
【０１１８】
音楽イベント特性が評価されてもよい（ブロック１５１０）。音楽教育システム１１５は、ユーザが演奏した音楽イベントと関連付けられた音楽イベント特性を評価してもよい。例えば音楽教育システム１１５は、１つ以上の基本周波数検出アルゴリズムを使用し、かつ／又は振幅評価、開始時間評価、終了時間評価、期間評価、振幅曲線評価、周波数曲線評価等を実行してもよい。しかし、説明の目的で、本例では音楽教育システム１１５は図１２Ａ〜図１２Ｃに関して上述した基本周波数アルゴリズム並びに開始時間及び終了時間評価を含む１つ以上の基本周波数アルゴリズムを使用してもよい。
【０１１９】
周波数誤差が算出されてもよい（ブロック１５１５）。音楽教育システム１１５は、検出した音楽イベントと関連付けられた基本周波数を予期される音楽イベントと関連付けられた基本周波数と比較してもよい。例えば検出した音楽イベント及び予期される音楽イベントと関連付けられた基本周波数ｆ１及びｆ２は、以下の例示的な式に基づいて対数目盛ｓ１及びｓ２に変換されてもよい。
ｓ＝ｌｏｇ２（ｆ／ｒ）＊１２＋６９ （３）
式中、ｒは音楽イベントＡ４に対する一般的な周波数である４４０Ｈｚであり、１２は１オクターブに対する倍数を表し、６９は音楽イベントＡ４に対するＭＩＤＩノートナンバーを表す。
【０１２０】
ｒに対する種々の値は、音楽データ（すなわち、予期される音楽イベント）及び／又はユーザ（すなわち、検出した音楽イベント）のチューニングに合わせて調整するために使用されてもよい。例示的な一実現例によると、基本周波数を対数目盛に変換することにより、周波数誤差が基本周波数の比で表される。換言すると、基本周波数間の半音で表される間隔は音程に対応し、これは単なる周波数の差分より有意義である。本実現例によると、基本周波数ｆ１及びｆ２がｓ１及びｓ２に変換される場合、半音単位の周波数誤差は例示的な式ｓ１−ｓ２に従って算出されてもよい。
【０１２１】
タイミング誤差が算出されてもよい（ブロック１５２０）。音楽教育システム１１５は、検出した音楽イベントと関連付けられた開始時間を予期される音楽イベントと関連付けられた開始時間と比較してもよい。例えば開始時間が検出した音楽イベントに対してｔ１であり、かつ開始時間が予期される音楽イベントに対してｔ２である場合、タイミング誤差は例示的な式ｔ１−ｔ２に従って算出されてもよい。更に音楽教育システム１１５は、検出した音楽イベントと関連付けられた終了時間を予期される音楽イベントと関連付けられた終了時間と比較してもよい。同様に、音楽教育システム１１５は、例示的な式ｔ１−ｔ２に従ってタイミング誤差を算出してもよい。
【０１２２】
スコアが算出されてもよい（ブロック１５２５）。音楽教育システム１１５は、周波数誤差及び開始誤差に基づいてスコアを算出してもよい。例えば、スコアは以下の例示的な式に基づいて算出されてもよい。
スコア＝（ｅｘｐ（−ｔ１−ｔ２）２）／ｖｔ）＊（ｅｘｐ（−（ｓ１−ｓ２）２／ｖｓ）
（４）
式中、ｖｔは時間ファクタ変数であり、ｖ２は周波数ファクタ変数である。
【０１２３】
ｖｔの値は、タイミング誤差に対するスコアの許容を増加又は減少するように調整されてもよく、ｖｓの値は、周波数誤差に対するスコアの許容を増加又は減少するように調整されてもよい。例示的な一実現例によると、ｖｔ及びｖｓの値は、スコアに影響を及ぼすように初心者又はエキスパート等の難易度に従って調整されてもよい。更にｖｔの値は、楽曲のテンポに対応して変更されてもよい。例えばｖｔの値は、テンポが速い程小さくてもよい。その結果、ユーザは、テンポがより遅い時と同一のスコアを得るためにより高いタイミング精度（例えば、より小さい時間ウィンドウ内）で演奏する必要がある。
【０１２４】
別の例示的な実現例によると、スコアは以下の例示的な式に基づいて算出されてもよい。
スコア＝（ｅｘｐ（−｜ｔ１−ｔ２｜）／ｖｔ）＊（ｅｘｐ（−（ｓ１−ｓ２）２／ｖｓ）
（５）
式中、式（５）に従って、タイミング誤差のペナルティは式（４）と同様の速さで増加しなくてもよい。
【０１２５】
例示的な一実現例によると、スコアは０〜１の値を有してもよい。そのような例において、音楽教育システム１１５は、スコアとスカラーとを乗算し、ユーザに対して表示されるスコアが整数となるようにスコアを最も近い整数値に丸めることによりスコアを修正してもよい。例示的な一実現例によると、スカラーの値は楽曲と関連付けられた難易度に基づいてもよい。
【０１２６】
いくつかの例において、複数の検出した音楽イベントが単一の予期される音楽イベントと一致する可能性があり、その結果、必要以上の音楽イベントが演奏された場合に得点が繰り返しカウントされてしまう。予期される音楽イベントが検出した音楽イベントと１度だけ一致することを保証するために、音楽教育システム１１５は、単一のスコアを予期される各音楽イベントと関連付けてもよい。複数の検出した音楽イベントが１つの予期される音楽イベントと一致した場合、例示的な一実現例によると、音楽教育システム１１５は最高スコアを与える検出した音楽イベントを選択してもよい。例示的な一実現例によると、音楽教育システム１１５は、予期される音楽イベントを囲む時間許容差に基づいて予期される音楽イベントと比較する音楽イベントを選択してもよい。しかし、いくつかの例において、１つの予期される音楽イベントが楽曲に従って予想されるが、ユーザは複数の音楽イベントを演奏してもよい。
【０１２７】
別の実現例によると、音楽教育システム１１５は、演奏された余分な検出した音楽イベントがユーザにペナルティを課し、かつユーザのスコアを低下させるように余分な検出した各音楽イベントと関連付けられたペナルティスコアを減算してもよい。このように、ユーザが余分な音楽イベントを演奏する場合、スコアは、ユーザが正確な数の音楽イベントを演奏する場合より高くならない。
【０１２８】
スコアを算出するために、演奏された音楽イベント（例えば、検出した音）と関連付けられた例えば開始時間及び基本周波数等の音楽特性が予期される音楽イベント（例えば、予期される音）の対応する音楽特性と比較されてもよいと説明したが、音楽イベントと関連する他の種類の音楽特性が評価され、かつ採点されてもよい。例えば音楽教育システム１１５は、例えば音色が澄んだフレーズ、単調なフレーズ、心温まるフレーズ等のフレーズを含む楽曲に対して振幅曲線評価、周波数曲線評価、リズム評価（例えば、開始時間、終了時間、期間に基づく）、音色評価（例えば、周波数スペクトル評価）を実行してもよい。更にいくつかの音楽特性は、他の楽器と比較していくつかの楽器に対して高い適用可能性を有してもよい。例えば、ドラムセットのドラムと関連する音質又は周波数がスコアを判定することに関連しなくてもよい。しかし、音楽教育システム１１５は、ドラムの音色特徴に基づいて正確なドラムが演奏されたかを判定してもよい。例えばバスドラム又はフロアタムは、ラックタム又はスネアドラムと比較して低い音質を有する。音楽教育システム１１５は、音楽イベントのリズム特性が正確に演奏されたかに加えて正確なドラムが演奏されたかに基づいてスコアを算出してもよい。ＭＩＤＩの楽器の場合、タイミング、速度、ピッチベンドホイールは評価される音楽特性の例である。
【０１２９】
例示的な一実施形態によると、ユーザが音楽イベントを演奏する場合、それらの音楽イベントは検出され、かつ対応する予期される音楽イベントとマッチングされてもよい。例えば上述したように、例示的な一実現例によると、演奏評価マネージャ３２０は、音楽イベントが正確に演奏された程度又は正確に演奏されなかった程度を評価してもよい。例えば音楽教育システム１１５は、音楽イベントの種々の音楽特性と関連付けられた周波数許容差、振幅許容差、開始時間許容差、終了時間許容差等を提供してもよく、ユーザが演奏した音楽イベントが正確に演奏された程度又は正確に演奏されなかった程度を確認できてもよい。
【０１３０】
この検出、評価及び比較方法に基づいて、音楽教育システム１１５は適切なフィードバック（例えば、否定的フィードバック又は肯定的フィードバック）をユーザに提供してもよい。例えば例示的な一実施形態によると、音楽教育システム１１５は、ユーザが演奏した音楽イベントの正確度又は不正確度に対応して変動するレベルの肯定的フィードバック又は変動するレベルの否定的フィードバックを提供してもよい。例えば音楽教育システム１１５は、正確度又は不正確度に対応して変動するレベルの肯定的／否定的視覚的フィードバック及び変動するレベルの肯定的／否定的聴覚的フィードバックを提供してもよい。変動するレベルの肯定的フィードバック及び否定的フィードバックの例については以下に更に説明する。
【０１３１】
更に上述したように、例示的な一実施形態によると、セッションの難易度はセッション中静的であってもよい。別の実現例によると、セッションの難易度は動的であってもよい。例えば音楽教育システム１１５は、セッション中にセッションの難易度を自動的に増加してもよく又はセッションの難易度を自動的に低下してもよい。例示的な一実現例によると、音楽教育システム１１５は、ユーザの演奏及び／又はフィードバック（例えば、スコア等）に基づいてセッションの難易度を調整してもよい。例えばユーザの演奏が肯定的に評価され、かつ／あるいはユーザのスコア又は他の演奏関連統計等が閾値を超える場合、音楽教育システム１１５は、セッションの難易度を自動的に増加してもよい。逆に、ユーザの演奏が否定的に評価され、かつ／あるいはユーザのスコア又は他の演奏関連統計等が閾値を下回る場合、音楽教育システム１１５は、セッションの難易度を自動的に低下してもよい。一実現例によると、ユーザの演奏が非常に否定的に評価されるか又は停止閾値を下回る場合、音楽教育システム１１５はセッションを自動的に終了してもよい。そのような場合、音楽教育システム１１５は、ユーザがより多くの練習を必要とするか又は新しいセッションを開始すべきであることをユーザに通信してもよい。
【０１３２】
図１６は、音楽教育システム１１５がユーザの演奏に基づいてユーザにフィードバックを提供できる例示的な処理を示す図である。図示するように、ユーザ１０５は楽器１１０（例えば、ギター）で楽曲を演奏している。音楽教育システム１１５（例えば、演奏評価マネージャ３２０）は、ユーザが演奏した音楽イベントを評価し、かつ予期される音楽イベントと比較してもよい（１６０５）。音楽教育システム１１５は、ユーザが演奏した音楽イベントの正確度又は不正確度を判定してもよい（１６１０）。この例において、ユーザ１０５の演奏がスコア閾値を上回ると仮定されてもよく、音楽教育システム１１５は例えば「熟練者」から「難しい」にセッションの難易度を自動的に増加する（１６１５）。更に音楽教育システム１１５は、熟練者レベルから難しいレベルに視覚的演奏キューを変更する。また、例示的な一実現例によると、音楽教育システム１１５（例えば、フィードバックマネージャ３２５）はユーザ１０５の演奏のオーディオをミュートし、他の聴覚的楽曲データ（例えば、伴奏オーディオトラック４１０）と共にエキスパート演奏オーディオトラックを再生してもよい（１６２０）。このように、ユーザ１０５が楽曲を正確に演奏すると、ユーザ１０５はまさにエキスパートのように聞こえる。上述したように、他の実現例によると、フィードバックマネージャ３２５は、ユーザ１０５の演奏に基づいて他のオーディオデータ（例えば、エキスパート演奏オーディオトラック４０５及びユーザ１０５の演奏の双方、ユーザ１０５の演奏のみ等）を再生し、かつ信号処理効果を導入してもよい。他の実現例によると、音楽データは、オーディオ（例えば、エキスパート演奏オーディオトラック４０５）のみと比較されるオーディオ及びビデオ（例えば、音楽ビデオ等）の形式のエキスパート演奏データを含んでもよい。そのような例において、音楽教育システム１１５は、エキスパート演奏オーディオトラック４０５に関して説明した方法でオーディオ／ビデオと関連付けられたオーディオを管理してもよい。すなわち、オーディオはフィードバック機構として使用されてもよい。更に音楽教育システム１１５は、フィードバック機構としてオーディオ／ビデオと関連付けられたビデオを管理してもよい。例えば音楽教育システム１１５は、ビデオの鮮明度を制御してもよく（例えば、ぼかしを導入したり、静止を導入したり、ビデオの鮮明度を向上したりする）、ビデオのコンテンツを制御してもよく（例えば、専門演奏者の演奏とユーザの演奏との間のフェードイン又はフェードアウト）、かつ／又はビデオの他の側面を制御してもよい（例えば、視覚的効果等を導入する）。例示的な一実施形態によると、オーディオ操作と同様に、音楽教育システム１１５は、ユーザが音楽イベントを正確に又は不正確に演奏する程度に従って視覚的要素を操作してもよい。
【０１３３】
音楽教育システム１１５は、種々のユーザインタフェースを使用して肯定的フィードバック及び否定的フィードバックをユーザに対して表示してもよい。例として、演奏キューマネージャ３１０は、肯定的フィードバック及び否定的フィードバックを示すためにユーザに対する視覚的キューを含んでもよいがそれらに限定されない。ユーザインタフェースは、ユーザに対して肯定的フィードバック及び否定的フィードバックを示すために他の種類のキュー（例えば、聴覚的キュー）を更に含んでもよい。ユーザに対して肯定的フィードバック及び否定的フィードバックを示すために音楽教育システム１１５により実現されてもよいキューの例について以下に説明する。
【０１３４】
図１７は、ユーザに提供される例示的な肯定的フィードバック及び否定的フィードバックを示す図である。上述したように、音楽教育システム１１５（例えば、フィードバックマネージャ３２５）は、変動するレベルの肯定的フィードバック又は変動するレベルの否定的フィードバックをユーザに提供してもよい。例示的な一実現例によると、肯定的フィードバック及び否定的フィードバックは音楽イベント／楽曲を正確に演奏するユーザの能力の成否に関連してもよい。音楽教育システム１１５は、ユーザにフィードバックを視覚的、聴覚的及び／又は触覚的に提供してもよい。音楽教育システム１１５は、音楽教育システム１１５の１つ以上のユーザインタフェースを介して視覚的フィードバックをユーザに提供してもよい。更に音楽教育システム１１５は、聴覚的出力を介して（例えば、スピーカ１４０を介して）聴覚的フィードバックを提供してもよい。更に音楽教育システム１１５は、触覚的フィードバックを提供してもよい（例えば、音楽教育システム１１５がポータブルデバイス又はハンドヘルドデバイスで実現される場合などに振動機構を使用して）。
【０１３５】
肯定的フィードバックを参照すると、音楽教育システム１１５は種々の種類及びレベルの視覚的及び／又は聴覚的な肯定的フィードバックをユーザに提供してもよい。例えば音楽教育システム１１５は、ユーザが予期される音楽イベントを正確に演奏する場合に演奏キューを点灯させてもよい（１７０５）。更に又はあるいは、音楽教育システム１１５は、例えば肯定的フィードバックを示すために表示された音楽イベントの色を変更したり（１７１０）、音楽イベント画像を修正したり（１７１５）又は肯定的な単語をテキストで表示したり（１７２０）して、他の種類の肯定的な視覚的キューをユーザに提供してもよい。音楽教育システム１１５は、肯定的フィードバックの段階を示すために変動するレベルの光度を表示したり、種々の色を使用したり、種々の形状を使用したりしてそれらの視覚的キューに関して変動するレベルの肯定的フィードバックを提供してもよい。更に音楽教育システム１１５は、肯定的フィードバックのレベルに対応して肯定的な単語を表示してもよい。例として、「ＯＫ」、「Ｇｏｏｄ」、「Ｇｒｅａｔ」及び「Ｅｘｃｅｌｌｅｎｔ」等の肯定的な単語が変動するレベルの肯定的フィードバックを表してもよいが、これらに限定されない。更に又はあるいは、音楽教育システム１１５はユーザのスコアを増分してもよく（１７２５）、その程度は、ユーザが演奏した音楽イベントの正確度に依存してもよい。
【０１３６】
更に又はあるいは、上述したように、一実現例によると、音楽教育システム１１５はエキスパート演奏オーディオトラックを再生し（１７３０）、ユーザの演奏により生成されたオーディオをミュートしてもよい。別の実現例によると、音楽教育システム１１５はエキスパート演奏オーディオトラック及びユーザの演奏の双方のミックスを出力してもよい。例示的な一実現例によると、音楽教育システム１１５はユーザの演奏の正確度に対応してエキスパート演奏オーディオトラックにミックスを偏向させてもよい。別の例示的な実現例によると、音楽教育システム１１５は、エキスパート演奏オーディオトラックをミュートし、ユーザの演奏のみを提供してもよい。
【０１３７】
音楽教育システム１１５は、他の種類の肯定的フィードバックキューを提供してもよい。例えば音楽教育システム１１５は、事前に録音された承認トラックを再生してもよい。例えば事前に録音された承認トラックは、「Ｙｏｕ ｇｏｔ ｉｔ！」、「Ｇｏｏｄ ｊｏｂ！」又は「Ｉｍｐｒｅｓｓｉｖｅ」等の観客の歓声又は仮想指導者の音声による激励するコメントを含んでもよい。事前に録音された承認トラックは変動するレベルの肯定的フィードバックを割り当てられてもよく、これらはユーザの演奏の正確度に対応して再生されてもよい。
【０１３８】
更に又はあるいは、音楽教育システム１１５はユーザの名前を利用して、例えば「Ｇｅｔｔｉｎｇ ｂｅｔｔｅｒ Ｈａｒｏｌｄ」又は「Ｎｉｃｅ Ｐｅｒｆｏｒｍａｎｃｅ Ｒｏｇｅｒ」等のより個人的なコメントを生成してもよい。例えば、ユーザは音楽教育システム１１５に自身の名前を提供してもよい（例えば、初期セットアップ中に）。更に又はあるいは、音楽教育システム１１５は、ユーザに対して肯定的フィードバックを示すために事前に録画されたビデオを再生してもよい。例えば事前に録画されたビデオは、歓声を上げる音楽ファン又は承認の表現を示す仮想指導者を含んでもよい。同様に、事前に録画されたビデオは変動するレベルの肯定的フィードバックを割り当てられてもよく、これらはユーザの演奏の正確度に対応して表示されてもよい。更に又はあるいは、音楽教育システム１１５は、例えば画面の明るい表示、画面振動又は他の適切なビデオ及び／又は視覚的効果等の視覚的効果を表示して肯定的フィードバックを提供してもよい。更に又はあるいは、音楽教育システム１１５は肯定的フィードバックを提供するために聴覚的効果を出力してもよい。例えば音楽教育システム１１５は、ユーザの演奏を高度化するために信号処理（例えば、リヴァーブ、エコー、コーラス、フランジ、ハーモニー等）を導入してもよい。信号処理の程度は、ユーザの演奏の正確度に対応して変動してもよい。
【０１３９】
否定的フィードバックを参照すると、音楽教育システム１１５は種々の種類及びレベルの視覚的及び／又は聴覚的な否定的フィードバックをユーザに提供してもよい。例えば音楽教育システム１１５は、ユーザが予期される音楽イベントを不正確に演奏する場合に演奏キューを淡色表示してもよい（１７５０）。更に又はあるいは、音楽教育システム１１５は、例えば否定的フィードバックを示すために表示された音の色を変更したり（１７５５）、音楽イベント画像を修正したり（１７６０）又は否定的な単語をテキストで表示したり（１７６５）して、他の種類の否定的な視覚的キューをユーザに提供してもよい。音楽教育システム１１５は、否定的フィードバックの段階を示すために変動するレベルの光度を表示したり、種々の色を使用したり、種々の形状を使用したりしてそれらの視覚的キューに関して変動するレベルの否定的フィードバックを提供してもよい。更に音楽教育システム１１５は、否定的フィードバックのレベルに対応して否定的な単語を表示してもよい。例として、「Ｐｏｏｒ」、「Ｂａｄ」、「Ｔｅｒｒｉｂｌｅ」及び「Ｈｏｒｒｉｂｌｅ」等の否定的な単語が変動するレベルの否定的フィードバックを表してもよいが、これらに限定されない。更に又はあるいは、音楽教育システム１１５はユーザのスコアを減分してもよく（１７７０）、その程度は、ユーザが演奏した音楽イベントの不正確度に依存してもよい。
【０１４０】
更に又はあるいは、上述したように、一実現例によると、音楽教育システム１１５はエキスパート演奏トラックをミュートしてもよく（１７７５）、あるいは非常に低い出力レベルでエキスパート演奏オーディオトラックを再生してもよい。別の実現例によると、音楽教育システム１１５はエキスパート演奏オーディオトラック及びユーザの演奏の双方を合成して出力してもよい。例示的な一実現例によると、音楽教育システム１１５はユーザの演奏の不正確度に対応してユーザの演奏をより多く合成させてもよい。
【０１４１】
音楽教育システム１１５は、他の種類の否定的フィードバックキューを提供してもよい。例えば音楽教育システム１１５は、間違った演奏がなされた楽器に適した、事前に録音された不快なトラックを再生してもよい。例えば楽器がギターである場合、事前に録音された不快なトラックはフィードバック音、ピチャピチャという音又はカタカタという音等を含んでもよい。例示的な一実現例によると、音楽教育システム１１５は、不正確に演奏された音楽イベントの数が停止閾値を超える場合にセッションを自動的に終了してもよい。
【０１４２】
更に又はあるいは、音楽教育システム１１５は事前に録音された不満トラックを再生してもよい。例えば事前に録音された不満トラックは、観客のブーイング、あるいは「間違った！」、「もっと上手に！」又は「どうしたんだ」等の仮想指導者の音声による落胆させるコメントを含んでもよい。更に又はあるいは、音楽教育システム１１５はユーザの名前を利用して、例えば「ハロルド、練習が足りないぞ」又は「もっと練習しろ、ロジャー」等のより個人的なコメントを生成してもよい。更に又はあるいは、音楽教育システム１１５はユーザに対して否定的フィードバックを示すために事前に録画されたビデオを再生してもよい。例えば事前に録画されたビデオは、ブーイングする音楽ファン、公演から退出する音楽ファン又は不満の表現を示す仮想指導者を含んでもよい。更に又はあるいは、音楽教育システム１１５は、例えば画面の淡色表示、画面振動又は他の適切なビデオ及び効果等の視覚的効果を表示してもよい。更に又はあるいは、音楽教育システム１１５は否定的フィードバックを提供するために聴覚的効果を出力してもよい。例えば音楽教育システム１１５は、ユーザの演奏の音質を低下させたり、けなしたりするために信号処理（例えば、歪み、ピッチシフト等）を導入してもよい。
【０１４３】
音楽教育システム１１５は、ユーザが音楽イベントを全く演奏しない場合でも、初心者については、ずっと上級のユーザと同様、ユーザの演奏と同期して演奏されているエキスパートによる楽曲の演奏を聴くことを可能とする。例えば楽曲の難易度が低レベルに設定されている場合、ユーザはＮ個（Ｎ＞１）の音楽イベント毎に１つのみ演奏することを要求される。その１つの音楽イベントが正確に演奏されれば、ユーザはエキスパートの演奏を聴くことにより完璧に演奏されている残りのＮ−１個の音を体験できる。別の例において、難易度が高レベル（例えば、エキスパートレベル）に設定される場合、ユーザはＮ個の音楽イベントの各々を正確に演奏することを要求される。そのような一実現例において、音楽教育システム１１５は、ユーザの代わりに事前に録音された音楽イベントを用いることはない。
【０１４４】
そのような指導方法によると、音楽教育システム１１５により、ユーザは段階的、かつ進歩的に楽器を経験でき、これは、ユーザが楽曲のいくつかの音楽イベントを演奏することから開始し、最終的に楽曲の全ての音楽イベントを演奏するように指導する。このように、エキスパート技能レベルがすぐに要求されず、ユーザは楽器、楽曲に徐々に慣れていき、音楽的な能力を向上できる。そのような方法において、音楽教育システム１１５は非常に楽しい学習体験をユーザに提供できる。ユーザが上達し、セッションを重ねることにより技術を習得および上達していくにつれ、Ｎの値は徐々に１に減少していく。
【０１４５】
音楽教育システム１１５は、ユーザを支援するために他の機能を提供してもよい。例えば音楽教育システム１１５により、ユーザは楽曲のテンポを調整できる。例えば、初心者のユーザは本来のテンポより遅い楽曲のテンポを選択することができ、より上級のユーザは楽曲のテンポの速度を上げることを選択できる。更に音楽教育システム１１５により、ユーザは楽曲の特定の楽節をループできる。例えば楽曲が（最も困難な楽節であろう）ソロの楽節を含む場合、ユーザは楽曲全体ではなくそのソロの楽節のみを練習してもよい。更にユーザは、低減されたテンポでソロの楽節のみを練習してもよい。
【０１４６】
更に、より高い難易度において、音楽教育システム１１５は、事前に録音したエキスパートの演奏（例えば、エキスパート演奏オーディオトラック４０５）に対応しない演奏キューをユーザに提供してもよい。例えば音楽教育システム１１５は、メロディの強調（例えば、メロディの装飾等）、ハーモニーのサブスティテューション（例えば、リハーモナイゼーション等）、テンポの変化、時間の変化等を含む演奏キューを提供してもよい。更に音楽教育システム１１５により、ユーザは事前に録音された伴奏（例えば、伴奏オーディオトラック４１０）及びユーザの演奏をミキシングしたもの、ユーザの演奏のみ又はユーザの演奏を向上したバージョン（例えば、信号処理したバージョン等）を聴くことを許される。
【０１４７】
上述したように、音楽教育システム１１５はユーザの上達を見守り、かつそれをユーザに報告してもよい。例えばセッションの終了時、それがうまくいったかどうかに関わらず、ユーザは自身の演奏に関する統計を提示してもよい。例えば図１８は、採点情報を含む音楽教育システム１１５の例示的なユーザインタフェースを示す図である。他の実現例において、音楽教育システム１１５は、追加の採点情報、異なる採点情報及び／又はより少ない採点情報を含んでもよい。
【０１４８】
図示するように、ユーザインタフェースは、総合スコア１８０５、最長の連続した正確な演奏１８１０、最長の連続した誤った演奏１８１５、精度スコア１８２０（例えば、正確な音の割合）、誤りの傾向１８２５及びユーザレベル１８３０を含んでもよい。
【０１４９】
総合スコア１８０５は、ユーザの演奏及びセッションの間に生じた得点の累積を示してもよい。例えば総合スコア１８０５は、精度点及びボーナス点の累積を含んでもよい。例示的な一実現例によると、総合スコア１８０５は、ユーザが選択できるユーザのレパートリーに楽曲を追加するためにバーチャルストアにより使用されてもよい。図１９は、ユーザがユーザの総合スコア１８０５に基づいて楽曲を選択できるようにする例示的なユーザインタフェースを示す。図１９に示すように、音楽教育システム１１５と関連付けられたバーチャルストアにより、ユーザは、ユーザの総合スコア１８０５が特定の閾値を上回る時にアンロックされた楽曲から選択できる。この例において、ユーザの総合スコアが１００，０００点を上回るため、ユーザは新しい楽曲（例えば、歌）を選択できる。
【０１５０】
音楽教育システム１１５は、総合スコア１８０５に基づいて他の機能を有効にしてもよい。例えば音楽教育システム１１５により、ユーザは伴奏と共に演奏できるが、演奏キューをユーザに提供し、かつエキスパート演奏オーディオトラック４０５を聴く代わりに、音楽教育システム１１５は、ユーザの演奏を録音し、ユーザの演奏を新しい演奏キューのセットに変換してもよい。例示的な一実現例によると、ユーザの演奏キューは他のユーザと共有されてもよい。音楽教育システム１１５は、総合スコア１８０５に基づいて他の機能（例えば、種々の信号処理効果等）を有効にしてもよい。
【０１５１】
図１８に戻ると、最長の連続した正確な演奏１８１０は、正確に演奏された連続した音の数及びそれらの音が演奏された期間を示してもよい。最長の連続した誤った演奏１８１５は、不正確に演奏された連続した音の数及びそれらの音が演奏された期間を示してもよい。精度スコア１８２０は、ユーザの演奏の精度に対応する割合を示してもよい。精度スコア１８２０は、上述した処理１４００に基づいて算出されてもよい。
【０１５２】
誤りの傾向１８２５は、ユーザの演奏に関連した種々の誤りを示してもよい。例えば誤りの傾向１８２５は、ピッチ（例えば、シャープ気味、フラット気味）及びタイミング（例えば、遅い又は速い）に関連した誤りの傾向を含んでもよい。音楽教育システム１１５は、ユーザが自分の演奏をレビューできるようにし、かつユーザが間違えた楽曲の部分を示す（視覚的及び／又は聴覚的に）ユーザインタフェースを更に提供してもよい。この点に関して、音楽教育システム１１５は、ユーザにとって困難な楽曲の部分を対象とすることによりユーザが自身の演奏を向上することを支援してもよい。音楽教育システム１１５は、ピッチの外れた各音楽イベントに対する特定の周波数オフセット（例えば、Ｈｚ単位）をユーザに提供してもよい。更に音楽教育システムは、時間のずれた各音楽イベントに対する特定のタイミングオフセット（例えば、ミリ秒単位、等）をユーザに提供してもよい。音楽教育システム１１５により、ユーザは自身の演奏を向上するために楽曲の特定の部分をループできる。
【０１５３】
ユーザレベル１８３０は、ユーザの演奏と関連付けられたスコア及び統計に基づいてユーザのレベルを示してもよい。例えばユーザレベル１８３０は、未熟者、熟練者、上級者又は天才等のレベルの範囲を含んでもよい。ユーザレベル１８３０は、ユーザが次のセッションに対する難易度を選択するのを支援できる。上述したように、ユーザはいかなる所定のセッションに対しても特定の難易度を選択してもよい。例示的な一実現例によると、音楽教育システム１１５は、難易度に基づいて種々の報酬（例えば、得点、ボーナス等）、フィードバック等を提供してもよい。他の実現例によると、音楽教育システム１１５は、難易度に基づいて種々の報酬、フィードバック等を提供しなくてもよい。音楽教育システム１１５は、特定の精度スコア、正確に連続して演奏した音の数等を上回って楽曲を演奏することに対してボーナス点（例えば、図５の演奏結果５５５に関して上述した乗数）を与えてもよい。
【０１５４】
図２０は、音楽教育システム１１５がセッションに対する総合スコアを算出できる例示的な処理を示す。例示的な一実現例によると、総合スコアは楽曲と関連付けられた難易度に基づいてもよい。例えば楽曲がバッハの協奏曲に対してハ長調音階に対応する場合、音楽教育システム１１５は、総合スコアを算出する時にこのファクタを考慮してもよい。例えば音楽教育システム１１５は、例えば調和性(harmonic content)及び／又は演奏技巧等のファクタを使用してもよい。例えば１つの楽曲は、複雑な和音進行を含む別の楽曲と比較して単純な和音進行を含んでもよい。更に又はあるいは、楽曲は異なる範囲の和音構造（例えば、三和音、セブンスコード、テンションコード等）を含んでもよい。演奏技巧の一例として、１つの楽曲（例えば、ギターの楽曲）は、４フレットの範囲で演奏でき、押弦位置も余り変わらない一方、別の楽曲は演奏に７フレットの範囲が必要で、かつ押弦位置が頻繁に変わってもよい。音楽教育システム１１５は、例えば楽曲と関連するメロディの内容、切分音、時間の変化、観察された音楽イベントの数／予期される音楽イベントの数等の他のファクタを使用して楽曲と関連付けられた難易度を割り当ててもよい。
【０１５５】
更に又はあるいは、総合スコアは、楽曲と関連付けられたユーザ難易度（例えば、未熟者、上級者等）に基づいてもよい。例えば最も簡単なユーザ難易度では、ユーザがより多くの音を演奏することを要求される、より高いユーザ難易度と比較して、楽曲と関連付けられた最小数の音をユーザが演奏すればよいようにしてもよい。このように、ユーザは、難しい楽曲を選択するかもしれないが、楽曲の簡素化され、かつ／又は単純化されたバージョンを演奏する機会を与えられる。例示的な一実現例によると、ユーザ難易度が易しい場合、ユーザ難易度がより高い場合と比較して、見込まれる得点は低くなるであろう。更に又はあるいは、総合スコアは予期される音楽イベントを演奏する際のユーザの精度に基づいてもよい。例えば精度スコアは、音楽イベントのユーザの演奏を予期される音楽イベントの数で除算した結果に基づいてもよい。
【０１５６】
図２１は、経時的なユーザの上達を要約できる、音楽教育システム１１５の例示的なユーザインタフェースを示す図である。例えばユーザインタフェースは、経過時間セクション２１０５、開始セッションセクション２１１０、完了セッションセクション２１１５、高スコアセクション２１２０、セッション難易度セクション２１２５、平均スコアセクション２１３０及び精度セクション２１３５を含んでもよい。また、図示するように、ユーザインタフェースは、セクション２１０５〜２１３５に対応する期間２１４０を更に含んでもよい。他の実現例によると、ユーザインタフェースは、図２１に示し、かつ本明細書で説明するセクションと比較して追加のセクション、異なるセクション及び／又はより少ないセクションを含んでもよい。更に又はあるいは、他の実現例によると、ユーザの上達と関連付けられた演奏データは、例えばグラフ（例えば、棒グラフ、線グラフ等）、チャート（例えば、円グラフ等）又は他の何らかの種類の可視（すなわち、グラフィック又は非グラフィック）表現等のテーブル以外の形式で提示されてもよい。
【０１５７】
経過時間セクション２１０５は、ユーザが音楽教育システム１１５を使用して費やした期間（例えば、時間、日数等）を示してもよい。開始セッションセクション２１１０は、ユーザが開始したセッション数を示してもよい。完了セッションセクション２１１５は、ユーザが完了したセッション数を示してもよい。高スコアセクション２１２０は、ユーザの最高スコアを示してもよい。セッション難易度セクション２１２５は、セッションと関連付けられた難易度を示してもよい。平均スコアセクション２１３０は平均スコアを示してもよく、精度セクション２１３５はユーザの演奏と関連付けられた精度の測定値を示してもよい。
【０１５８】
例示的な一実現例によると、音楽教育システム１１５は、ユーザの演奏データをデータベースに格納してもよい。例えばデータベースは、ネットワーク接続（例えば、インターネット）を介して音楽教育システム１１５によりアクセスできるリモートデバイス（例えば、サーバ等）に存在してもよい。他の例において、ネットワーク接続が利用可能でない場合、音楽教育システム１１５は演奏データをメモリ／記憶装置２１０に格納する。音楽教育システム１１５により収集された演奏データはユーザに提示されてもよい。このように、ユーザは自身の上達がよく分かる。更に音楽教育システム１１５は、他のユーザ、親、音楽の指導者、友人等と自身の演奏データを共有することを可能にしてもよい。例えば、他のユーザ等がリモートデバイスにアクセスしてもよい。リモートデバイスは、他のユーザが演奏データを利用できるようにしたいと考える音楽教育システム１１５のユーザ間で種々の情報（例えば、統計、スコア、演奏ビデオ等）を格納してもよい。例示的な一実現例によると、リモートデバイスはプライバシー等を維持するためにセキュリティ対策を提供してもよい（例えば、ログインを要求する等）。更にリモートデバイスは、更新データ（例えば、ソフトウェア更新データ）を音楽教育システム１１５に提供してもよい。
【０１５９】
図２２は、音楽教育システム１１５が音楽のジャンルに従ってユーザの技術を追跡できる例示的な処理を示す図である。例えば音楽ジャンルは、ロック、カントリー、クラシック、ジャズ、ブルース、ポップ等を含んでもよい。例示的な一実現例によると、音楽教育システム１１５は、演奏データを収集し、演奏データを１つ又は複数の適切な音楽ジャンルに格納してもよい。例えば図２２に示すように、演奏データはロックジャンル２２０５、カントリージャンル２２１０又はクラシックジャンル２２１５に格納されてもよい。楽曲は、１つ又は複数の音楽ジャンルにマッピングされてもよい。
【０１６０】
ユーザの目的に依存して、音楽教育システム１１５は、ユーザが複数の音楽ジャンルに関して自身の上達を認識できるようにしてもよい。これは、ユーザの音楽に対する全体的な上達にとって有益であるだろう。例えばユーザは、ユーザが自身の音楽の能力及び音楽の知識を向上させるのを全般的に支援するレパートリー（例えば、曲、作曲、ハーモニー、音階等の集合）を広げてもよい。
【０１６１】
図２３は、音楽教育システム１１５により使用される例示的な換算表２３００を示す図である。図示するように、換算表２３００はギター（例えば、６弦ギター）等の楽器に関連してもよく、周波数、ＭＩＤＩ音及び音オクターブ情報と共に垂直軸上に音Ｅ、Ｂ、Ｇ、Ｄ、Ａ及びＥが含まれ、水平線上にフレット位置情報が提示される。楽器及び／又は楽器のチューニングに依存して、音楽教育システム１１５は適切な換算表を使用してもよい。
【０１６２】
例示的な一実現例によると、音楽教育システム１１５は、換算表２３００に基づいて演奏キューデータから予期される音楽イベントを自動的に導出してもよい。例えば音楽教育システム１１５は、換算表２３００を使用して演奏キュー４１５から演奏データ４２０を導出してもよい。別の実現例によると、音楽教育システム１１５は、換算表２３００を使用して演奏データ４２０から演奏キュー４１５を導出してもよい。
【０１６３】
例示的な一実施形態によると、音楽教育システム１１５は、単一のユーザではなく複数のユーザにユーザインタフェースを同時に提供してもよい。例えば音楽教育システム１１５は、同一の又は異なる楽器で演奏している複数のユーザに対してユーザインタフェースを提供してもよい。例えば図２４は、複数のユーザに対する例示的な視覚的要素を含む例示的なユーザインタフェース２４００を示す図である。図示するように、ユーザインタフェース２４００は、ギターセクション２４０５、キーボードセクション２４１０、ボーカルセクション２４１５及びドラムセクション２４２０を含んでもよい。このように、ユーザは音楽教育システム１１５と共に楽曲を演奏してもよい。そのような状況下において、各ユーザは音楽教育システム１１５に対する入力を有してもよい。例示的な一実現例によると、音楽教育システム１１５は全てのユーザに対して伴奏オーディオトラック４１０を１つのみ提供してもよい。しかし、伴奏オーディオトラック４１０は、各チャネルが異なる楽器の音を含むマルチチャネルレコーディングを含んでもよい。音楽教育システム１１５は、ユーザが再生する楽器を選択することを可能にしてもよい。例として、伴奏オーディオトラック４１０の再生は、ユーザのグループにより演奏されていない楽器のみを含んでもよいがこれに限定されない。
【０１６４】
上述したように、音楽教育システム１１５は、マウス１３５及びキーボード１３０等の入力２２５を含んでもよく、ユーザがナビゲートし、情報を入力し、かつ／又は音楽教育システム１１５と対話することを可能にする。しかし、ユーザは楽器と入力２２５との間で手を切り換え続ける必要があるため、音楽教育システム１１５と対話することは負担となる。例示的な一実現例によると、音楽教育システム１１５は、ユーザが音楽教育システム１１５と対話したり、ナビゲートしたりするために音又はパーカッション入力を入力することを可能にしてもよい。換言すると、音楽教育システム１１５は、音又はパーカッション入力を例えばキーストローク、マウスクリック及び／又は他の種類の入力コマンドにマッピングしてもよい。例えば音楽教育システム１１５は、ユーザが特定の音又は一連の音を演奏することに基づいてセッションを開始又は停止することを可能にしてもよい。更に音楽教育システム１１５は、ユーザが特定の音又は一連の音を演奏することに対応して、ユーザが音楽教育システム１１５により提供された種々のユーザインタフェースにアクセスできるようにしてもよい。更に又はあるいは、音楽教育システム１１５は音声コマンド（例えば、単語、句等）に応答してもよい。
【０１６５】
例示的な一実施形態によると、ユーザはセッション中に楽曲を演奏してもよい。音楽教育システム１１５は、ユーザが特に楽曲、セッション難易度（例えば、初心者、未熟者、熟練者、上級者又は天才等）、演奏キューの種類（例えば、タブ譜、一般的な楽譜等）及び楽器を選択できるようにするユーザインタフェースを提供してもよい。ユーザの演奏準備が整った時、音楽教育システム１１５は演奏キュー及び伴奏を提供してもよい。音楽教育システム１１５は、リアルタイム又はほぼリアルタイムでユーザの演奏を評価し、かつ演奏結果（例えば、スコア等）だけでなくフィードバック（例えば、肯定的又は否定的）をユーザに提供してもよい。音楽教育セッション１１５は、セッションが完了した時に演奏結果をユーザに提供してもよい。セッションをユーザに提供する例示的な処理については以下に説明する。
【０１６６】
図２５Ａ及び図２５Ｂは、音楽教育システム１１５がユーザにセッションを提供できる例示的な処理２５００を示すフローチャートである。
【０１６７】
処理２５００は、ユーザ設定を受信すること（ブロック２５０５）を含んでもよい。例えば、ユーザは演奏の前に楽器の準備をしてもよい。音楽教育システム１１５は、例えばチューニング、入力レベル（例えば、楽器レベル、マスターレベル、伴奏レベル等）、効果レベル（例えば、ミックスレベル、デジタルオーディオ効果レベル等）、楽曲の選択、テンポ設定、難易度の選択等の種々のユーザ設定を受信してもよい。音楽教育システム１１５は、他の種類のユーザ設定を提供してもよい。例えば、ユーザは手順を通して指導され、音楽データ（例えば、エキスパート演奏オーディオトラック、伴奏オーディオトラック）に対応するピッチに楽器を設定してもよい。
【０１６８】
セッションが準備されてもよい（ブロック２５１０）。例えば音楽教育システム１１５は、音楽データ（例えば、エキスパート演奏トラック、伴奏トラック等）をロード及び／又は位置合わせしたり、タイムコードを初期化したり、セッションインタフェースを初期化したりしてもよい。
【０１６９】
演奏キュー及び伴奏が提供されてもよい（ブロック２５１５）。例えば一実現例によると、音楽教育システム１１５は、聴覚的な楽曲データの再生を開始してもよい。例えば音楽教育システム１１５は、伴奏オーディオトラックを再生してもよい。他の字例示的な実現例によると、音楽教育システム１１５は、伴奏オーディオトラック及びエキスパートオーディオトラックの双方の再生を開始してもよい。音楽教育システム１１５は、適切な演奏キューをユーザに提供してもよい。演奏キューは、聴覚的な楽曲データに同期されてもよい。
【０１７０】
ユーザの演奏が検出されてもよい（ブロック２５２０）。例えば音楽教育システム１１５は、ユーザの楽器の演奏を検出してもよい。楽器に依存して、音楽教育システム１１５は、ラインアウト、ＭＩＤＩ又は他の方法を介してマイク、ピックアップを介するか又は直接演奏データを楽器から受信してもよい。音楽教育システム１１５は、演奏データを利用して波形、ＭＩＤＩファイル等を生成してもよい。
【０１７１】
演奏評価が判定されてもよい（ブロック２５２５）。例えば上述したように、音楽教育システム１１５は受信した演奏データを予期される演奏データと比較してもよい。音楽教育システム１１５は、正確に演奏された音楽イベント及び不正確に演奏された音楽イベントを判定してもよい。例示的な実現例によると、上述したように、音楽教育システム１１５は、正確に又は不正確に演奏された音楽イベント及びそれらの音楽イベントがどの程度正確に又は不正確に演奏されたかを判定するために種々の許容差を使用してもよい。
【０１７２】
例示的な一実現例によると、許容差はセッション難易度の設定に依存して変動してもよい。例えば周波数に基づく許容差を参照すると、セッション難易度「ハード」は、所定の音楽イベントに対して２Ｈｚの差分周波数又は０Ｈｚの差分周波数しか許可しない可能性があり、その一方で、セッション難易度「イージー」は、同一の音楽イベントに対して１０Ｈｚ又はそれ以上の差分周波数を許可する。更に、セッション難易度に対する周波数に基づく許容差は、等分平均律音階及び／又は他のチューニングシステムに従って変動してもよい。すなわち、例えばセッション難易度「ハード」は、中央ＣとＡ（４４０Ｈｚ）との間の音楽イベントに対して２Ｈｚの差分周波数しか許可しないが、Ａ（４４０Ｈｚ）より上の音楽イベントは等分平均律音階の自然対数を与えられた２Ｈｚより大きい周波数に基づく許容差が許可されてもよい。この点に関して、音楽教育システム１１５は、セッション難易度、特定の音楽イベント等に依存してユーザにより演奏された音楽イベントが例えば半音高いか又は半音低いかに関して融通性があってもよい。例示的な一実現例によると、許容差はユーザ設定可能なパラメータであってもよい。別の例示的な一実現例によると、音楽教育システム１１５は、セッション難易度に基づいてデフォルトの許容差を設定してもよい。
【０１７３】
例示的な一実施形態によると、特定の音楽特性に関する許容差はセッション中静的であってもよい。上述したように、許容差は、例えば振幅、期間、周波数、振幅曲線、開始時間等の音楽イベントと関連付けられた種々の音楽特性に関連してもよい。許容差がセッション中静的である場合、特定の許容差は、楽曲内のパッセージの難易度に関係なく楽曲にわたり継続的に適用されてもよい。例えば楽曲内の単純なリズムのパッセージは、楽曲内の非常に複雑なリズムのパッセージと同一の開始時間許容差を有してもよい。
【０１７４】
別の例示的な実施形態によると、音楽教育システム１１５は、例えばテンポ、音域、パッセージの難易度、楽曲と関連付けられた切分音、テンポの変化、転調等の楽曲と関連付けられた特性に基づいて動的な許容差を使用してもよい。
【０１７５】
演奏評価が肯定的であると判定される場合（ブロック２５２５−肯定的）、肯定的フィードバックがユーザに提供されてもよい（ブロック２５３０）。例えば音楽イベントがユーザにより正確に演奏されたと判定される場合、音楽教育システム１１５は肯定的なフィードバックをユーザに提供してもよい。上述したように、音楽教育システム１１５は変動するレベルの肯定的フィードバックをユーザに対して示すために種々の視覚的キュー及び／又は聴覚的キューを提供してもよい。
【０１７６】
セッションが完了したかが判定されてもよい（ブロック２５３５）。音楽教育システム１１５は、セッションが完了したか（例えば、楽曲が終了したか）を判定してもよい。セッションが完了したと判定される場合（ブロック２５３５−ＹＥＳ）、処理２５００は以下に説明する図２５Ｂのブロック２５５０に進んでもよい。セッションが完了していないと判定される場合（ブロック２５３５−ＮＯ）、処理２５００はブロック２５１５に進んでもよい。例示的な一実現例によると、演奏が演奏に基づく閾値を満足し、かつユーザが肯定的フィードバックを与えられた場合、音楽教育システム１１５は、ユーザの演奏中に楽曲の難易度を自動的に増加させてもよい。例えば演奏に基づく閾値は、時間（例えば、楽曲をある期間正確に演奏すること）、正確に演奏された音楽イベントの数又は正確に演奏された連続した音楽イベントの数等と関連してもよい。他の例示的な実現例によると、音楽教育システム１１５は難易度を増加させなくてもよい。
【０１７７】
演奏評価が否定的であると判定される場合（ブロック２５２５−否定的）、否定的フィードバックがユーザに提供されてもよい（ブロック２５４０）。例えば音が不正確に演奏されたと判定される場合、音楽教育システム１１５は否定的フィードバックをユーザに提供してもよい。上述したように、音楽教育システム１１５は、変動するレベルの否定的フィードバックをユーザに対して示すために種々の視覚的キュー及び／又は聴覚的キューを提供してもよい。
【０１７８】
セッションが完了したかが判定されてもよい（ブロック２５４５）。音楽教育システム１１５は、セッションが完了したか（例えば、楽曲が終了したか）を判定してもよい。セッションが完了したと判定される場合（ブロック２５４５−ＹＥＳ）、処理２５００は以下に説明する図２５Ｂのブロック２５５０に進んでもよい。セッションが完了していないと判定される場合（ブロック２５４５−ＮＯ）、処理２５００はブロック２５１５に進んでもよい。例示的な一実現例によると、演奏が演奏に基づく閾値を満足せず、かつユーザが否定的フィードバックを与えられた場合、音楽教育システム１１５は、ユーザの演奏中に楽曲の難易度を自動的に低下させてもよい。例えば演奏に基づく閾値は、時間（例えば、楽曲をある期間不正確に演奏すること）、不正確に演奏された音楽イベントの数又は不正確に演奏された連続した音楽イベントの数等と関連してもよい。更に又はあるいは、例示的な一実現例によると、ユーザの演奏が演奏に基づく閾値を下回る場合、音楽教育システム１１５はセッションを自動的に終了してもよい。他の例示的な実現例によると、音楽教育システム１１５はユーザの演奏に基づいて難易度を低下させなくてもよく、かつ／又はセッションを終了しなくてもよい。
【０１７９】
図２５Ｂを参照すると、スコアが生成されてもよい（ブロック２５５０）。例えば音楽教育システム１１５は、上述したように、演奏関連統計（例えば、演奏されなかった音楽イベント、正確に演奏された音楽イベント等）等の他の種類のフィードバック情報だけでなくユーザに対するスコアを生成してもよい。
【０１８０】
セッションは完了する（ブロック２５５５）。例えば音楽教育システム１１５は、ユーザに対してスコア結果を表示してもよい。音楽教育システム１１５は、例えば改善する領域（例えば、和音の演奏、テンポの維持等）及び／又はユーザの技術レベルの上達等の他の種類の情報を更に表示してもよい。
【０１８１】
図２５Ａ及び図２５Ｂはユーザに対してセッションを提供する例示的な処理２５００を示すが、他の実現例において、処理２５００は図２５Ａ及び図２５Ｂに示し、かつ説明する動作と比較して追加の動作、より少ない動作及び／又は異なる動作を含んでもよい。
【０１８２】
単数の項目は、１つ以上の項目を含むものとして解釈されることを意図する。更に、「〜に基づく」という表現は、特に指定のない限り「少なくとも部分的に〜に基づく」と解釈されることを意図する。「及び／又は」という用語は、１つ以上の関連する項目のあらゆる全ての組み合わせを含むものとして解釈されることを意図する。
【０１８３】
更に一連のブロックが図１２Ａ〜図１２Ｃ、図１５、図２５Ａ及び図２５Ｂに示した処理に関して説明されたが、他の実現例において、ブロックの順序は変更されてもよい。また、依存しないブロックは並列に実行されてもよい。
【０１８４】
本明細書で説明された実施形態は、図示される実現例においてハードウェアと組み合わせて多くの種々の形態のソフトウェア又はファームウェアで実現されてもよい。デバイス、方法及び／又はシステムを実現するのに使用される実際のソフトウェアコード（ハードウェアにより実行可能である）又は専用制御ハードウェアは、本発明の開示を限定しない。従って、デバイス及び／又はシステムの動作及び挙動、あるいは方法の実行は、特定のソフトウェアコードを参照せずに説明した。すなわち、ソフトウェア及び制御ハードウェアは本明細書の説明に基づいてデバイス、方法及び／又はシステムを実現するように設計可能であると理解される。
【０１８５】
上述した更なる特定の特徴は、１つ以上の機能を実行する「論理」又は「構成要素」として実現されてもよい。この論理又は構成要素は、ハードウェア（例えば、処理システム２０５）、ハードウェア及びソフトウェアの組み合わせ、ファームウェアを含むハードウェアの組み合わせ、あるいはハードウェア、ソフトウェア及びファームウェアの組み合わせを含んでもよい。
【０１８６】
上記説明において、種々の実施形態は添付の図面を参照して説明された。しかし、以下の特許請求の範囲に示すような本発明のより広い範囲から逸脱せずに、種々の変形及び変更がそれらに対して行われてもよいこと並びに追加の実施形態が実現れてもよいことは明らかだろう。従って、説明及び図面は、限定するものではなく例示として考えられる。
【０１８７】
特に指示のない限り、本出願において使用された要素、動作又は命令が本明細書で説明した実現例に不可欠又は必須であると解釈されるべきではない。
【背景技術】
【０００１】
音楽をテーマとした対話型ゲームが登場しており、ユーザはゲームコントローラを利用して曲の演奏をシミュレートする。例えばこれら対話型ゲームは、ゲームコントローラのボタンを押下すべきタイミングや、ゲームコントーラに対して歌うべきタイミングや、ゲームコントローラ（例えば、ドラム）を叩くべきかを示す、スクロールするタイムラインを表示してもよい。これら対話型ゲームは面白いかもしれないが、本物の楽器を演奏することはユーザに教えてくれない。
【図面の簡単な説明】
【０００２】
【図１】例示的な音楽教育システムの一実施形態が実現される例示的な環境を示す図である。
【図２】例示的な音楽教育システムの例示的な構成要素を示す図である。
【図３】例示的な音楽教育システムと関連する例示的な機能構成要素を示す図である。
【図４】楽曲と関連付けられてもよい例示的な音楽データを示す図である。
【図５】音楽教育を提供する例示的な視覚的要素を含む音楽教育システムの例示的なユーザインタフェースを示す図である。
【図６】楽器がギターに該当する場合の例示的な演奏キューを示す図である。
【図７Ａ】楽器がギターに該当する場合の例示的な演奏キューを示す図である。
【図７Ｂ】楽器がギターに該当する場合の例示的な演奏キューを示す図である。
【図８】楽器が声に該当する場合の例示的な演奏キューを示す図である。
【図９】楽器がキーボードに該当する場合の例示的な演奏キューを示す図である。
【図１０】楽器がドラムセットに該当する場合の例示的な演奏キューを示す図である。
【図１１】音楽データに同期した演奏キューを含む音楽教育システムの例示的なユーザインタフェースを示す図である。
【図１２Ａ】音楽イベントと関連付けられた基本周波数を検出する例示的な処理を示すフローチャートである。
【図１２Ｂ】音楽イベントと関連付けられた基本周波数を検出する例示的な処理を示すフローチャートである。
【図１２Ｃ】音楽イベントと関連付けられた基本周波数を検出する例示的な処理を示すフローチャートである。
【図１３】音楽教育システムが音楽イベントを評価し、かつ採点できる例示的な処理を示す図である。
【図１４】音楽教育システムが、連続した音楽ジェスチャに関する基本周波数に基づいてその連続した音楽ジェスチャを評価できる例示的な処理を示す図である。
【図１５】音楽教育システムがスコアを算出できる例示的な処理を示す図である。
【図１６】音楽教育システムがユーザの演奏に基づいてユーザにフィードバックを提供できる例示的な処理を示す図である。
【図１７】ユーザに提供される例示的な肯定的フィードバック及び否定的フィードバックを示す図である。
【図１８】採点情報を含む音楽教育システムの例示的なユーザインタフェースを示す図である。
【図１９】ユーザがユーザの総合スコアに基づいて楽曲を選択できるようにする音楽教育システムの例示的なユーザインタフェースを示す図である。
【図２０】音楽教育システムがセッションに対する総合スコアを算出できる例示的な処理を示す図である。
【図２１】ユーザの音楽教育の進行状況を経時的にまとめることのできる音楽教育システムの例示的なユーザインタフェースを示す図である。
【図２２】音楽教育システムが音楽のジャンルに従ってユーザの技術を追跡できる例示的な処理を示す図である。
【図２３】音楽教育システムにより使用される例示的な換算表を示す図である。
【図２４】複数のユーザに対する例示的な視覚的要素を含む音楽教育システムの例示的なユーザインタフェースを示す図である。
【図２５Ａ】音楽教育システムがユーザにセッションを提供できる例示的な処理を示すフローチャートである。
【図２５Ｂ】音楽教育システムがユーザにセッションを提供できる例示的な処理を示すフローチャートである。
【発明を実施するための形態】
【０００３】
以下の詳細な説明は添付図面を参照する。異なる図面に共通する参照数字は、同一又は同様の要素を示すであろう。また、以下の詳細な説明は本発明を限定しない。
【０００４】
本明細書における「音楽教育システム」という用語は、楽器を演奏するための音楽教育を提供できるデバイス又はシステムを含むように広範に解釈されることが意図されている。例えば、音楽教育システムは、コンピュータ、ゲームシステム又はゲームコンソール、通信デバイス、ネットワークを介するクライアント／サーバ構成、ピア・トゥ・ピア構成、アプリケーションサービスプロバイダ（ＡＳＰ）構成、インターネットに存在するネットワークデバイス等に該当してもよいが、これらに限定されない。音楽教育システムは、１つ以上のデバイス又はシステムを利用して分散型で実現されてもよく、あるいは１つ以上のデバイス又はシステムを利用して集中型で実現されてもよい。
【０００５】
本明細書において「楽器」という用語は、音を発生できる道具を含むように広範に解釈されることが意図されている。例えば、楽器は、管楽器、シングルリード楽器、ダブルリード楽器、金管楽器、弦楽器、電子楽器、鍵盤楽器、ドラム、打楽器又は人声に相当してもよいが、これらに限定されない。また、「楽器」という用語は、仮想楽器を含むような解釈は意図されてしない。例えば仮想楽器は、テレビゲーム”Ｇｕｉｔａｒ Ｈｅｒｏ”（登録商標）や”Ｒｏｃｋ Ｂａｎｄ”（登録商標）で利用されるギターコントローラ等のゲームコントローラに相当してもよいが、これらに限定されない。
【０００６】
本明細書において「楽曲」という用語は、音楽イベントの集合を含むような広範な解釈が意図されている。例えば楽曲は、曲（歌詞のある、又はない器楽）、音楽作品（例えば、ソナタ、協奏曲等）、声楽曲、運指練習、音階、ビート又はリズム、コードの運指又は和声進行等に相当してもよいが、これらに限定されない。
本明細書において「音楽イベント」という用語は、発音イベントを含むような広範な解釈が意図されている。例えば音楽イベントは、音、発声（例えば、発話等）又は打楽器音に対応してもよいが、これらに限定されない。
【０００７】
本明細書において「音楽データ」という用語は、音楽教育システムにより使用されるデータを含むような広範な解釈が意図されている。例えば音楽データは、オーディオデータ（例えば、伴奏オーディオトラック、エキスパート演奏オーディオトラック、オーディオ演奏キューデータ、聴覚的フィードバックデータ、オーディオ波形データ等）、視覚的データ（例えば、模範演奏者ビデオトラック、ユーザビデオトラック、視覚的演奏キューデータ、視覚的フィードバックデータ等）、楽曲データ（例えば、アーティスト、和音、メロディ、音楽理論等）並びに本明細書で説明される他の種類のデータを含んでもよいが、これらに限定されない。
本明細書で説明される例示的な実施形態によると、音楽教育システムは、ユーザに楽器を演奏するための音楽教育を提供することができる。上述したように、例示的な一実施形態によると、音楽教育システムはコンピュータを含んでもよい。例として、コンピュータは、デスクトップコンピュータ、ラップトップコンピュータ又はハンドヘルドコンピュータ等であってもよいが、これらに限定されない。別の例示的な実施形態によると、音楽教育システムはゲームシステムを含んでもよい。例として、ゲームシステムは、Ｍｉｃｒｏｓｏｆｔ（登録商標）Ｘｂｏｘ、Ｓｏｎｙ（登録商標）ＰｌａｙＳｔａｔｉｏｎ（II、III等）又はＮｉｎｔｅｎｄｏ（登録商標）Ｗｉｉ等であってもよいが、これらに限定されない。更に別の例示的な実施形態によると、音楽教育システムは通信デバイスを含んでもよい。例として、通信デバイスは、Ａｐｐｌｅ（登録商標）ｉＰｈｏｎｅ、Ａｐｐｌｅ（登録商標）ｉＰｏｄ又はＭｏｔｏｒｏｌａ（登録商標）Ｄｒｏｉｄ等であってもよいが、これらに限定されない。更に他の実施形態において、音楽教育システムはクライアント／サーバアーキテクチャを含んでもよい。例として、クライアント／サーバアーキテクチャは、インターネット上のサーバ又は他の種類のネットワークデバイスと通信可能に接続されたコンピュータ、ゲームシステム、あるいは通信デバイスであってよいが、これらに限定されない。音楽教育システムは、上記のデバイスの種類の組み合わせ並びに本明細書に説明するような他の構成を更に含んでもよい。
【０００８】
本明細書で説明される例示的な一実施形態によると、音楽教育システムは、種々の視覚的及び聴覚的な教育ガイドをユーザに提供してもよい。例えば音楽教育システムは、楽曲に関連づけられた音を可視化するため、スクロールする波形を含んでもよい。例示的な一実現例によると、スクロールする波形は、エキスパートによる楽曲の演奏と、ユーザによる楽曲の演奏又は演奏キューとであってもよい。音楽教育システムは、音楽データ（例えば、事前に録音されたトラック等）に同期される演奏キューを提供してもよい。演奏キューは、ユーザの楽器専用のものであってもよい。更に音楽教育システムは、ユーザが演奏している間に自身を見ることができるようにユーザの映像を表示してもよい。音楽教育システムは、ユーザの演奏に対応するスコアをユーザに更に提供してもよい。
【０００９】
また、例示的な一実施形態によると、音楽教育システムは、ユーザにより演奏された音楽イベント（例えば、音）に関する周波数を検出するために１つ又は複数の基本周波数検出アルゴリズムを使用してもよい。例えば音楽教育システムは、楽器、楽曲、楽曲の特定の一節等に応じて１つ又は複数の基本周波数検出アルゴリズムを選択してもよい。音楽教育システムは、種々のフィードバック（例えば、視覚的フィードバック、聴覚的フィードバック等）をユーザに提供してもよい。音楽教育システムは、数ある中でも特に、音楽イベントが正確に演奏されるか否か並びに／あるいは音楽イベントがどの程度正確に又は不正確に演奏されるか（すなわち、音楽イベントがピッチ、振幅、開始時間等に関して正確に／不正確に演奏される程度）に基づいて特定の種類のフィードバック（例えば、肯定的フィードバック、否定的フィードバック等）をユーザに提供してもよい。
【００１０】
図１は、例示的な音楽教育システムの一実施形態が実現される例示的な環境１００を示す図である。図１に示すように、環境１００は、ユーザ１０５、楽器１１０及び音楽教育システム１１５を含んでもよい。
【００１１】
環境１００におけるデバイスの数及び構成は例示的であり、簡潔さのために提供されている。実際には環境１００は、図１に示したデバイスと比較して、より多くのデバイス、より少ないデバイス、異なるデバイス及び／又は異なるように構成されたデバイスを含んでもよい。また、特定のデバイスにより実行されているように説明されるいくつかの機能は、異なるデバイス又はデバイスの組み合わせにより実行されてもよい。更に又はあるいは、他の実現例において、１つのデバイスはデバイスの組み合わせを含んでもよい。
【００１２】
ユーザ１０５は、楽器１１０で演奏する人物であってもよい。この例において、楽器１１０はギター等の弦楽器であってよい。更にこの例において、音楽教育システム１１５はコンピュータシステムであってよい。例えば図１に示すように、コンピュータシステムは、ディスプレイ１２０、コンピュータ１２５、キーボード１３０、マウス１３５、スピーカ１４０−１及び１４０−２（一般にスピーカ１４０と呼ばれる）、並びにカメラ１４５を含んでもよい。
【００１３】
楽器１１０は、とりわけ、自身のオーディオ出力を音楽教育システム１１５に提供するため、音楽教育システム１１５に接続されてよい。例として、楽器１１０はその種類に応じてケーブル、マイク又はピックアップを介して音楽教育システム１１５に接続されてもよいが、これに限定されない。この例において、楽器１１０（すなわち、ギター）は、ケーブル（不図示）を介して音楽教育システム１１５の入力に接続されてもよい。
【００１４】
ディスプレイ１２０は、視覚的出力を提供できるデバイスを含んでもよい。例えばディスプレイ１２０は、コンピュータモニタ又はテレビであってよい。例示的な一実現例によると、ディスプレイ１２０はタッチスクリーンを含んでもよい。他の例示的な実現例によると、ディスプレイ１２０はタッチスクリーンを含まなくてもよく、かつ／又は入力デバイスとして利用されてなくてもよい。コンピュータ１２５は計算デバイスを含んでもよい。例示的な一実現例によると、コンピュータ１２５はオペレーティングシステム（例えば、Ｗｉｎｄｏｗｓ（登録商標）、Ｍａｃｉｎｔｏｓｈ、Ｌｉｎｕｘ（登録商標）等）に従って動作してもよい。この例において、コンピュータ１２５はデスクトップコンピュータであってよい。キーボード１３０及びマウス１３５は、ユーザ１０５がコンピュータ１２５に情報を入力し、かつコンピュータ１２５でナビゲートできるようにするデバイスを含んでもよい。スピーカ１４０は、聴覚的な出力を提供するデバイスを含んでもよい。他の実現例によると、例えばスピーカ１４０は、オーディオシステム（例えば、ステレオシステム等）に付随するものでも、あるいはディスプレイ１２０に内蔵されたものでもよい。カメラ１４５は、写真及び／又はビデオ等の視覚画像を撮影できるデバイスを含んでもよい。この例において、カメラ１４５はウェブカムであってよい。しかし、他の実現例によると、例えばカメラ１４５は、カムコーダ又は他の何らかの種類のビデオカメラであってもよい。視覚画像はディスプレイ１２０に表示されてもよい。音楽教育システム１１５は、ネットワーク（例えば、インターネット等）を介して他の人（例えば、他のユーザ、遠隔地の指導者等）との間で視覚画像を送信及び／又は受信してもよい。
【００１５】
例示的な１つの動作によると、音楽教育システム１１５は楽器１１０を演奏するための音楽教育をユーザ１０５に提供してもよい。本明細書で説明するように、音楽教育システム１１５は、楽曲の演奏時にユーザを支援するために種々のユーザインタフェースをユーザ１０５に提供してもよい。音楽教育システム１１５は、以下に更に説明する１つ以上の周波数検出アルゴリズムに基づいてユーザ１０５により演奏された音楽イベントを検出してもよい。
【００１６】
図２は、音楽教育システム１１５の例示的な構成要素を示す図である。図示するように、音楽教育システム１１５の例示的な一実現例によると、音楽教育システム１１５は処理システム２０５、アプリケーション２１５を含むメモリ／記憶装置２１０、通信インタフェース２２０、入力２２５及び出力２３０を含んでもよい。他の実現例によると、音楽教育システム１１５は、図２に示し、かつ本明細書で説明する構成要素と比較して、より少ない構成要素、追加の構成要素、異なる構成要素及び／又は異なる構成要素の構成を含んでもよい。
【００１７】
処理システム２０５は、プロセッサ、マイクロプロセッサ、コプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、コントローラ、プログラマブル論理装置、チップセット、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは命令及び／又はデータを解釈及び／又は実行してもよい他の何らかの構成要素を含んでもよい。処理システム２０５は、例えばオペレーティングシステム及び１つ以上のアプリケーション（例えば、アプリケーション２１５）に基づいて音楽教育システム１１５の全体の動作又はその一部を制御してもよい。
【００１８】
メモリ／記憶装置２１０は、メモリ及び／又は二次記憶装置を含んでもよい。例えばメモリ／記憶装置２１０は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、フラッシュメモリ（登録商標）及び／又は他の種類のメモリを含んでもよい。メモリ／記憶装置２１０は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、ソリッドステートディスク等）又は他の種類のコンピュータ可読媒体を対応するドライブと共に含んでもよい。メモリ／記憶装置２１０は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリスティック、ハードディスク、大容量記憶装置、オフライン記憶装置、クラウドコンピューティング等、音楽教育システム１１５の外部にあり、かつ／又は音楽教育システム１１５から取り外しが可能であるメモリ、記憶装置又は記憶構成要素を含んでもよい。
【００１９】
本明細書において「コンピュータ可読媒体」という用語は、例えばメモリ、記憶装置（例えば、ハードディスク及び対応するドライブ）、コンパクトディスク（ＣＤ）又はデジタル汎用ディスク（ＤＶＤ）等を含むような広範な解釈が意図されている。コンピュータ可読媒体は、単一のデバイスで実現されてもよく、複数のデバイスで実現されてもよく、集中型で実現されてもよく、あるいは分散型で実現されてもよい。メモリ／記憶装置２１０は、音楽教育システム１１５の動作に関連するデータ、アプリケーション２１５及び／又は命令を格納してもよい。
【００２０】
アプリケーション２１５は、種々のサービス、機能又はユーザインタフェース等を提供するソフトウェアを含んでもよい。例示的な一実現例によると、アプリケーション２１５は、楽器を演奏するようにユーザを教育することに関連する１つ以上の処理を提供する音楽教育アプリケーションを含んでもよい。例えばこれらの処理は、本明細書で説明されるように、ユーザインタフェースを提供すること、基本周波数を検出すること、採点すること、ユーザにフィードバックを提供すること及び／又は音楽教育システム１１５と関連付けられた他の機能を含んでもよい。アプリケーション２１５はメモリ／記憶装置２１０に格納されてもよい。
【００２１】
通信インタフェース２２０は、音楽教育システム１１５が他のデバイス、ネットワーク及び／又はシステム等と通信することを可能にしてもよい。通信インタフェース２２０は、無線インタフェース及び／又は有線インタフェースを含んでもよい。通信インタフェース２２０は、１つ以上のプロトコル及び／又は規格等に従って動作してもよい。通信インタフェース２２０は、受信機、送信機及び／又は送受信機を含んでもよい。
【００２２】
入力２２５は、音楽教育システム１１５への入力を可能にしてもよい。例えば入力２２５は、ボタン、キーパッド、つまみ、タッチパッド、キーボード１３０、入力ポート、ディスプレイ１２０、マイク、マウス１３５、音声認識ロジック、指紋認識ロジック、ウェブカム（例えば、カメラ１４５）及び／又は他の種類の入力構成要素を含んでもよい。
【００２３】
出力２３０は、音楽教育システム１１５が出力を提供することを可能にしてもよい。例えば出力２３０は、ディスプレイ１２０、発光ダイオード（ＬＥＤ）、出力ポート、スピーカ１４０、振動機構及び／又は他の種の出力構成要素を含んでもよい。
【００２４】
本明細書で説明するように、例示的な一実施形態によると、音楽教育システム１１５は、処理システム２０５がメモリ／記憶装置２１０等のコンピュータ可読媒体に含まれたソフトウェア命令を実行することに応答して１つ以上の処理を実行してもよい。ソフトウェア命令は、メモリ／記憶装置２１０から読み出されてもよく又は通信インタフェース２２０を介して別のデバイスから受信されてもよい。ソフトウェア命令は、本明細書で説明される処理を処理システム２０５に実行させてもよい。あるいは、音楽教育システム１１５は、処理システム２０５又は処理システム２０５との他の組み合わせ（例えば、ハードウェア及びファームウェア、ハードウェア、ソフトウェア及びファームウェア）に応答して処理を実行してもよい。
【００２５】
図３は、音楽教育システム１１５に付随する例示的な機能構成要素を示す図である。図示するように、音楽教育システム１１５は、波形マネージャ３０５、演奏キューマネージャ３１０、楽曲データマネージャ３１５、演奏評価マネージャ３２０、フィードバックマネージャ３２５及び設定マネージャ３３０を含んでもよい。波形マネージャ３０５、演奏キューマネージャ３１０、楽曲データマネージャ３１５、演奏評価マネージャ３２０、フィードバックマネージャ３２５及び／又は設定マネージャ３３０は、図２に関して説明し、かつ図示した構成要素に基づいてハードウェア（例えば、処理システム２０５、メモリ／記憶装置２１０）及びソフトウェア（例えば、アプリケーション２１５）の組み合わせとして実現されてもよい。あるいは、波形マネージャ３０５、演奏キューマネージャ３１０、楽曲データマネージャ３１５、演奏評価マネージャ３２０、フィードバックマネージャ３２５及び／又は設定マネージャ３３０は、ハードウェア及びファームウェア、あるいはハードウェア、ソフトウェア及びファームウェアとして実現されてもよい。
【００２６】
波形マネージャ３０５はオーディオ波形データを管理してもよい。例示的な一実現例によると、波形マネージャ３０５は、エキスパートによる楽曲の演奏に対応する波形を表示してもよい。以下に更に説明するように、音楽教育システム１１５は、セッション中、事前に録音されたオーディオトラックを含む音楽データを使用してもよい。事前に録音されたオーディオトラックは、特にエキスパートによる楽曲の演奏に対応するオーディオトラックを含んでもよい。波形マネージャ３０５は、セッション中に演奏される楽器及び／又は楽曲に従って音楽データからエキスパート演奏オーディオトラックを選択してもよい。波形マネージャ３０５は、エキスパート演奏オーディオトラックを表す波形を表示してもよい。例示的な一実現例によると、以下に更に説明するように、波形はスクロールしてもよく、他の表示（例えば、エキスパートの演奏の現時点の位置を示すキューライン）、類似性スコア等を含んでもよい。
【００２７】
更なる、あるいは代替的な、例示的な一実現例によると、波形マネージャ３０５は、ユーザによる楽曲の演奏を表す波形を表示してもよい。例えば波形マネージャ３０５は、ユーザの楽器からの入力を処理し、ユーザによる楽曲の演奏を表すスクロールする波形を生成及び表示してもよい。
【００２８】
ユーザが楽曲を演奏する時、エキスパート演奏オーディオトラックの波形がリアルタイムに表示されてもよく、ユーザの演奏の波形がリアルタイム又はほぼリアルタイムに表示されてもよい。波形マネージャ３０５が双方の波形を表示する場合、ユーザは視覚的な比較を行うことができ、これはユーザの演奏中ユーザにとって有用だろう。視覚的な比較は、ユーザに、例えばタイミング（例えば、音楽イベントの開始、音楽イベントの終了）、振幅、音色及び／又は音楽イベントに関連した他の音楽特性等の楽曲中の音楽イベントと関連した種々の音楽特性に関するさらなる見識を提供する。例えば視覚的な比較により、ユーザは、音楽イベントにおける音の立ち上がりの発生タイミング、音楽イベントのサスティーン部分の発生タイミング、音楽イベントの振幅等の差異を識別でき、、かつスクロールする波形がほぼ同一に見えるように自身の演奏を調整できる。
【００２９】
更に、上述したように、波形マネージャ３０５は類似性スコアを表示してもよい。類似性スコアは、双方の波形の間の類似性を示してもよい。例示的な一実施形態によると、波形マネージャ３０５は、エキスパート演奏オーディオトラックの波形とユーザの演奏の波形とを比較してもよい。波形マネージャ３０５は、波形の比較を行う従来の方法を使用してもよい。波形マネージャ３０５は、楽曲の部分（例えば、小節毎、楽節毎（例えば、ヴァース、コーラス、ブリッジ等））に対する類似性スコア及び／又は全体の類似性スコア（例えば、楽曲全体）を生成してもよい。ユーザは、エキスパートの演奏に対してユーザがどの程度上手に楽曲を演奏しているかを類似性スコアから識別できる。
【００３０】
演奏キューマネージャ３１０は、演奏キューデータを管理してもよい。演奏キューデータは、楽曲と関連付けられた視覚的な演奏キュー及び聴覚的な演奏キューを含んでもよい。例えば、演奏キューマネージャ３１０は、セッション中に種々の視覚的な演奏キュー（例えば、タブ譜、標準的な楽譜（すなわち、五線と音符）、運指記号等）を表示してもよい。演奏キューマネージャ３１０は、ユーザの楽器に依存して異なる視覚的な演奏キューを表示してもよい。例えば、ギターに対する演奏キューは移動するギタータブ譜を含んでもよく、ピアノに対する演奏キューは移動するピアノキータブ譜を含んでもよく、ドラムに対する演奏キューは移動するドラムタブ譜を含んでもよい。
【００３１】
更に又はあるいは、演奏キューはユーザの特定の楽器に対応する標準的な楽譜を含んでもよい。例示的な一実施形態によると、標準的な楽譜はエキスパートによる楽曲の演奏を採譜したもの(transcription)であってよい。例えば例示的な一実現例によると、楽曲が例えば古典的なロック曲（例えば、天国への階段）に対応する場合、標準的な楽譜は、アーティスト（例えば、レッド・ツェッペリン、ジミー・ペイジ）がその曲を演奏するように音ごとに採譜したものであってよい。別の例示的な実現例によると、採譜はエキスパートによる楽曲の演奏に対応してもよいが、音単位でなくてもよく、アーティストの演奏の代表部分であってもよい。非限定的な例として、ギターの主旋律が複数のギターパート（例えば、重なっている部分、デュオ、トリオなど）を含んでいるとする。そのような場合、採譜は音単位でなくてもよく、アーティストにより演奏された音のうち、演奏全体を最もよく表すと思われるものを主観的に選択したり、あるいはアーティストにより演奏された音の他の方法による削減、簡素化、派生物、補完及び／又は解釈を含んでもよい。他の例示的な実現例によると、標準的な楽譜はエキスパートの演奏の採譜から導出されなくてもよい。例えばクラシック楽曲（例えば、バッハの協奏曲等）のエキスパートの演奏は、元々書かれた楽曲に厳密に対応しているであろう。演奏キューマネージャ３１０は、セッションの難易度に対応して、種々のバージョンの標準的な楽譜並びに他の形式の視覚的な演奏キューを更に使用してもよい。
【００３２】
更に又はあるいは、演奏キューはユーザの楽器に応じて、音楽イベント（例えば、和音、メロディ音等）に対する運指位置を含んでもよい。以下に更に説明するように、例えば演奏キューマネージャ３１０は、音楽イベントの演奏方法を明示するために、運指位置と共にギターネックの画像を提示してもよい。
【００３３】
演奏キューマネージャ３１０は、種々の聴覚的な演奏キューを提供してもよい。例えば演奏キューマネージャ３１０は、セッション中、メトロノーム、音声指導トラック（例えば、仮想助言者／指導者／コーチと関連付けられる）等を実行する。演奏キューマネージャ３１０は、ユーザの楽器に依存して種々の聴覚的な演奏キューを提供してもよい。例えば、音声指導トラックは、楽曲のパッセージに関連し、かつユーザの楽器に特有な指導上のコメントを提供してもよい。演奏キューデータの例については、本明細書において以下に更に説明する。
【００３４】
楽曲データマネージャ３１５は楽曲データを管理してもよい。例えば楽曲データは、視覚的な楽曲データ及び聴覚的な楽曲データを含んでもよい。例えば楽曲データマネージャ３１５は、例えば楽曲と関連付けられたタイトル、アーティスト名、作曲者名、最初の発表日及び／又はジャンル（例えば、カントリー、ロック、ブルース等）等の種々の視覚的な楽曲データを表示してもよい。更に又はあるいは、例えば楽曲データマネージャ３１５は、楽曲と関連付けられたテンポ情報、拍子記号、調、楽曲の楽節（例えば、ヴァース、コーラス、ソロ、ブリッジ等）、現在の小節、現在の拍子、現在の和音、次の和音、現在のメロディ音、次のメロディ音及び／又は他のデータ（例えば、音楽理論情報等）を表示してもよい。例示的な一実現例によると、楽曲データマネージャ３１５は、音楽データと関連付けられたタイムコードと同期した楽曲データを表示してもよい。楽曲データマネージャ３１５は、ユーザが自身の音楽の解釈、スタイル、音楽の知識等を向上させるのを支援できる。
【００３５】
楽曲データマネージャ３１５は、楽曲と関連付けられた種々の聴覚的な楽曲データ（例えば、伴奏オーディオトラック、エキスパート演奏オーディオトラック）を再生してもよい。例えば伴奏オーディオトラックは、楽曲の伴奏の演奏の録音を含んでもよく、エキスパート演奏オーディオトラックは、ユーザの楽器と同一の種類の楽器で演奏されたエキスパートによる楽曲の演奏の録音を含んでもよい。例示的な一実施形態によると、以下に更に説明するように、フィードバックマネージャ３２５は、セッション中に楽曲データマネージャ３１５によりエキスパート演奏オーディオトラックの再生を管理してもよい。例えば音楽教育システム１１５は、ユーザが楽曲を正確に演奏した時にユーザに対するフィードバック機構としてエキスパート演奏オーディオトラックの再生を使用してもよい。楽曲データの例については本明細書で以下に更に説明する。
【００３６】
演奏評価マネージャ３２０は、楽曲と関連付けられた音楽イベントのユーザの演奏を評価してもよい。例えば演奏評価マネージャ３２０は、ユーザによる楽曲の演奏と関連付けられた演奏データを音楽教育システム１１５の音楽データと比較してもよい。例示的な一実現例によると、演奏評価マネージャ３２０は、ユーザにより演奏された音楽イベントを評価するために１つ以上の基本周波数検出アルゴリズムを使用してもよい。例示的な一実現例によると、演奏評価マネージャ３２０は、例えば振幅、リズム等のユーザにより演奏された音楽イベントの他の音楽特性を評価してもよい。
【００３７】
例示的な一実施形態によると、演奏評価マネージャ３２０は、音楽イベントが正確に演奏される程度を評価してもよい。例えば周波数を参照すると、閾値は、イベントユーザが音楽イベントを演奏すべき周波数の範囲である差周波数を示してもよい。例えば、差周波数が２Ｈｚであり、正確に演奏された音楽イベントが４４０Ｈｚ（Ａ４）である場合、演奏評価マネージャ３２０は、ユーザにより演奏された音楽イベントが４３８Ｈｚ〜４４２Ｈｚの範囲内にあるかを判定してもよい。その範囲内にある場合、演奏評価マネージャ３２０は、音楽イベントのユーザの演奏が正確であると評価してもよい。逆に、ユーザにより演奏された音楽イベントが４３８Ｈｚ〜４４２Ｈｚの範囲内にない場合、演奏評価マネージャ３２０は、音楽イベントのユーザの演奏が不正確であると評価してもよい。更に演奏評価マネージャ３２０は、音楽イベントと関連付けられた周波数が正確に４４０Ｈｚで演奏されるか、１Ｈｚずれて（例えば、４３９Ｈｚ又は４４１Ｈｚで）演奏されるか又は２Ｈｚずれて（例えば、４３８Ｈｚ又は４４２Ｈｚで）演奏されるかに基づいて音楽イベントのユーザの演奏の正確度を評価してもよい。また、演奏評価マネージャ３２０は、４４０Ｈｚからのオフセット（例えば、Ｈｚ単位）に基づいて音楽イベントのユーザの演奏の不正確度を評価してもよい。これは従来の音楽教育システム又は音楽ゲームシステムとは異なり、音楽イベントが正確に演奏されるか否か（例えば、正確に４４０Ｈｚか否か、あるいはより一般的には特定の音が演奏されるか否か）を２値的に評価してもよい。ユーザの演奏の評価と関連付けられた例示的な処理については、本明細書において以下に更に説明する。
【００３８】
フィードバックマネージャ３２５は、ユーザの演奏に関してユーザにフィードバックを提供してもよい。フィードバックは、視覚的フィードバック、聴覚的フィードバック又は触覚的フィードバックの形式をとってもよい。フィードバックマネージャ３２５は、セッション中に（例えば、対話的な方法で）、又はセッションの終了時（例えば、最終的なスコアの結果等）にユーザにフィードバックを提供してもよい。
【００３９】
フィードバックマネージャ３２５は、種々の視覚的フィードバックを表示してもよい。例えばフィードバックマネージャ３２５は、種々のスコア（例えば、総合スコア、正確度スコア、ボーナススコア等）、誤り傾向、間違わずに演奏された音楽イベントの数、間違わずに演奏された連続した音楽イベントの数、間違いの数等、並びに／あるいはユーザに対する他の種類の視覚的フィードバック（例えば、仮想助言者／指導者／コーチが提供する顔の表情のフィードバック、観客のビデオ、視覚的効果等）を表示してもよい。フィードバックマネージャ３２５は、セッションの難易度及び／又はユーザのレベル（例えば、初心者、易しい、未熟者、熟練者、難しい、上級者又は天才等）を更に表示してもよい。
【００４０】
フィードバックマネージャ３２５は、種々の聴覚的フィードバックを再生してもよい。例えばフィードバックマネージャ３２５は、事前に録音された賛同トラック（例えば、観客の歓声、仮想助言者／指導者／コーチの音声によるコメント等）又は事前に録音された不満トラック（例えば、観客のブーイング、仮想助言者／指導者／コーチの音声によるコメント等）を再生してもよい。フィードバックマネージャ３２５は、ユーザの演奏を上手にしたり下手にしたりするために信号処理効果を導入してもよい。
【００４１】
例示的な一実施形態によると、フィードバックマネージャ３２５は、音楽イベントのユーザの演奏の評価に対応してフィードバックを提供してもよい。例えばフィードバックマネージャ３２５は、以下に更に説明するように、ユーザの演奏と関連する正確度又は不正確度の変動するレベルに対応して変動するレベルの肯定的フィードバック又は否定的フィードバックを提供してもよい。
【００４２】
更に、例示的な一実施形態によると、フィードバックマネージャ３２５はフィードバックの機構としてエキスパート演奏オーディオトラックを使用してもよい。例えば一実現例によると、ユーザが音楽イベントを正確に演奏する場合、フィードバックマネージャ３２５はユーザの演奏により生成されたオーディオをミュートし、聴覚的な楽曲データ（例えば、エキスパート演奏オーディオトラック）を再生してもよい。このように、ユーザは専門演奏者として演奏し、かつ聴くことができる。別の例示的な実現例によると、ユーザが音楽イベントを正確に演奏する場合、フィードバックマネージャ３２５はユーザ自身の演奏と関連付けられたオーディオと共に聴覚的な楽曲データ（例えば、エキスパート演奏オーディオトラック）を再生してもよい。このように、ユーザは専門演奏者及びユーザの双方のミックスを聴くことができる。エキスパートの演奏とユーザの演奏との間のミックスレベルは、ユーザにより設定されてもよく、あるいはユーザの演奏の正確さの程度又はレベルに従ってフィードバックマネージャ３２５により調整されてもよい。例えばフィードバックマネージャ３２５は、エキスパートの演奏のオーディオレベルを高めてもよい。更に別の例示的な実現例によると、ユーザが音楽イベントを正確に演奏する場合、フィードバックマネージャ３２５は、聴覚的な楽曲データ（例えば、エキスパート演奏オーディオトラック）をミュートし、ユーザの演奏を再生してもよい。更にユーザが音楽イベントを正確に演奏する場合、フィードバックマネージャ３２５は、信号処理効果（例えば、リヴァーブ、コーラス、フランジ、ハーモニー等）を導入することによりユーザの演奏結果の音質を高める効果を加えてもよい。
【００４３】
反対に、例示的な一実現例によると、ユーザが音楽イベントを不正確に演奏する場合、フィードバックマネージャ３２５は、聴覚的な楽曲データ（例えば、エキスパート演奏オーディオトラック）をミュートしてもよく、低い出力レベルで聴覚的な楽曲データを再生してもよく、あるいは聴覚的な楽曲データ及びユーザの演奏の双方のミックスを提供してもよい。ミックスレベルは、ユーザにより設定されてもよく、あるいはユーザの演奏の不正確さの程度又はレベルに従ってフィードバックマネージャ３２５により調整されてもよい。例えばフィードバックマネージャ３２５は、ユーザの演奏のオーディオレベルを高めてもよい。更にユーザが音楽イベントを不正確に演奏する場合、フィードバックマネージャ３２５は、信号処理効果（例えば、離調、歪み、過大等化等）を導入することによりユーザの演奏結果の音質を低下させてもよい。
【００４４】
更にフィードバックマネージャ３２５は、触覚的フィードバックを提供してもよい。例えばフィードバックマネージャ３２５は、変動するレベルの肯定的又は否定的フィードバックを示すために種々の拍動リズム及び／又は強度レベルの振動を使用してもよい。フィードバックの例については、本明細書において以下に更に説明する。
【００４５】
設定マネージャ３３０は、状態情報を表示し、ユーザが種々の演奏関連パラメータを調整できるようにし、かつユーザが音楽教育システム１１５との適切な対話性及び接続性を保証できるようにしてもよい。例えば設定マネージャ３３０は、チューナ、入力レベル、現在検出されている周波数、ピッチ及び／又は和音、オーディオミキシング制御、楽器レベル、デジタルオーディオ効果レベル、事前に録音されたエキスパートの演奏レベル、事前に録音された伴奏レベル及び／又はマスターレベル等を表示してもよい。更に設定マネージャ３３０は、種々のデジタル処理制御を提供してもよい。例えば設定マネージャ３３０は、リヴァーブ、自動チューニング、ディストーション、コンプレッション、フランジ、エコー及び／又は他の信号処理効果等の種々のデジタルオーディオ効果を提供してもよい。更に設定マネージャ３３０は、ユーザが楽曲及び／又はセッションと関連する視覚的要素／オーディオの停止、巻き戻し、早送り、ループ等をできるようにするインタフェースを表示してもよい。
【００４６】
図３は音楽教育システム１１５の例示的な機能構成要素を示すが、他の実現例において、音楽教育システム１１５は、図３に示し、かつ本明細書で説明する機能構成要素と比較して、より少ない機能構成要素、追加の機能構成要素及び／又は異なる機能構成要素を含んでもよい。更に又はあるいは、他の実現例において、特定の機能構成要素により実行されるものとして説明される機能又は処理は、別の機能構成要素又は機能構成要素の組み合わせにより実行されてもよい。
【００４７】
上述したように、音楽教育システム１１５はセッション中に音楽データを使用してもよい。音楽データの例については以下に説明する。
【００４８】
図４は、楽曲と関連付けられてもよい例示的な音楽データ４００を示す図である。図示するように、音楽データ４００は、特にエキスパート演奏オーディオトラック４０５、伴奏オーディオトラック４１０、演奏キューデータ４１５及び演奏キューデータ４２０を含んでもよい。
【００４９】
上述したように、音楽データは楽曲データを含んでもよい。楽曲データは、エキスパート演奏オーディオトラック等の聴覚的な楽曲データを含んでもよい。図示するように、例示的な一実現例によると、エキスパート演奏オーディオトラック４０５は、楽器で演奏されたエキスパートによる楽曲の演奏の録音を含んでもよい。例えばエキスパート演奏オーディオトラック４０５は、ピアニストが協奏曲をピアノで演奏すること、ドラマーがロック曲を演奏すること又はサクソフォーン奏者がジャズを演奏することを含んでもよい。別の例によると、エキスパート演奏オーディオトラック４０５は、一般に同一種類の複数の楽器が１つのオーディオトラックにミックスされたものを含んでもよい。例えばエキスパート演奏オーディオトラック４０５は、１人の（例えば、多重録音）又は複数のエキスパートが複数のギターを演奏することを含んでもよい。エキスパート演奏オーディオトラック４０５は、信号処理（例えば、リヴァーブ等）又は他のオーディオ効果を含んでもよい。
【００５０】
エキスパート演奏オーディオトラック４０５は、ユーザに対する指導ツールとしての役割を果たしてもよい。例えばユーザは、エキスパート演奏オーディオトラック４０５と関連付けられた演奏をまねしようとしてもよい。更に上述したように、例示的な実施形態によると、フィードバックマネージャ３２５はフィードバック機構としてエキスパート演奏オーディオトラック４０５を使用してもよい。例えばフィードバックマネージャ３２５は、楽曲データマネージャ３１５によりエキスパート演奏オーディオトラック４０５の再生と関連付けられた音量又は出力レベル、信号処理効果等を管理してもよい。更に又はあるいは、フィードバックマネージャ３２５は、フィードバック機構としてエキスパートの演奏（例えば、音楽ビデオ）のオーディオ／ビデオ表現を管理してもよい。更に、波形マネージャ３０５はエキスパート演奏オーディオトラック４０５に対応するスクロールする波形を表示してもよい。
【００５１】
聴覚的な楽曲データは伴奏トラックを含んでもよい。図示するように、伴奏オーディオトラック４１０は、楽曲の伴奏演奏の録音を含んでもよい。例えばユーザがエレクトリックギターで楽曲を演奏している場合、伴奏オーディオトラック４１０は、楽曲と関連付けられたエレクトリックベース、ドラム及びボーカルの録音を含んでもよい。楽曲に依存して、楽曲が伴奏オーディオトラック４１０を含んでいない場合がある。例えば、楽曲はソロ等であってもよい。楽曲データマネージャ３１５は伴奏オーディオトラック４１０を再生してもよい。
【００５２】
上述したように、演奏キューデータは楽器による楽曲の適切な演奏を示すデータを含んでもよい。演奏キューデータは、例えば標準的な楽譜、タブ譜等の多くの形式をとることができる。演奏キューデータは、楽器の種類、セッションの難易度等に依存して異なる。例示的な一実現例によると、演奏キューデータは聴覚的な楽曲データ（例えば、エキスパート演奏オーディオトラック４０５等）に同期されてもよい。
【００５３】
図４を参照すると、演奏キューデータ４１５及び演奏キューデータ４２０は、演奏キューデータの例である。演奏キューデータの更なる例については本明細書で説明する。
【００５４】
図４に示すように、楽器がギターである場合、演奏キューデータ４１５は、ユーザが音楽イベント（例えば、音、和音等）を演奏する時間、弦及び位置を示してもよい。更に演奏キューデータ４１５は、例えば音量、ストラミングスタイル、ピッキングスタイル及び終了時間等の楽曲の演奏と関連付けられた他の側面を示してもよい。
【００５５】
更に図示するように、演奏キューデータ４２０は標準的な楽譜に対応してもよい。上述したように、例示的な一実施形態によると、標準的な楽譜はアーティスト又は他のプロ／専門演奏者により演奏された楽曲の採譜に基づく奏法に対応してもよい。この例において、演奏キューデータ４２０は音が演奏されるピッチ及び時間を示してもよい。演奏キューデータ４２０は、強弱の変化を示し、雰囲気又は感情を示し、テンポを示し、アーティキュレーションを示す言葉／フレーズ等の他の種類のデータ、並びに弓の位置、ペダル記号等の楽器に依存するデータを含んでもよい。演奏キューデータ４２０は、音楽イベント及び／又は楽曲の演奏と関連付けられた他の特性を含んでもよい。
【００５６】
他の実現例によると、演奏キューデータの表現は他の形式をとってもよい。例として、音楽イベントのピッチは、周波数（例えば、Ｈｚ単位）、ＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）キーナンバー又は文字等として数字で表されてもよい。更に演奏キューデータは、テンポの変化又は移調等を反映するように変更されてもよい。この点に関して、演奏キューデータは、音楽教育システム１１５が難易度を変更するために楽曲を速く又は遅く再生するか、あるいは種々の楽器の範囲に適応するために楽曲を異なる調で再生する状況に適応可能であってもよい。例示的な一実現例によると、音楽教育システム１１５は従来のタイムストレッチング技術及び／又は従来のピッチシフティング技術を使用してもよい。
【００５７】
図４は例示的な音楽データ４００を示すが、他の実現例において、音楽データ４００は、図４に示し、かつ説明するデータと比較して、更なるデータ、より少ないデータ及び／又は異なるデータを含んでもよい。
【００５８】
図５は、音楽教育を提供する例示的な視覚的要素を含む音楽教育システム１１５の例示的なユーザインタフェースを示す図である。ユーザインタフェースは、ディスプレイ１２０においてユーザに対して表示されてもよい。他の実現例によると、音楽教育システム１１５は、図５に示し、かつ説明する視覚的要素と比較して、更なる視覚的要素、より少ない視覚的要素、異なる視覚的要素及び／又は異なる視覚的要素の構成を含んでもよい。例えば例示的な一実現例によると、ユーザは特定の視覚的要素を省略することを選択してもよい。例えばグラフィックボタン５０５−１〜５０５−８（一般にグラフィックボタン５０５と示す）はユーザインタフェース内に表示され、ユーザが表示するか又は隠す視覚的要素を選択することを可能にする。このように、ユーザは見たい情報を制御してもよい。他の実現例によると、ユーザインタフェースにより、ユーザは他のインタフェース（例えば、ドロップダウンメニュー等）に基づいて表示されるものを制御できる。例示的な一実現例によると、音楽教育システム１１５は、ユーザインタフェースの未使用の部分を占有するように視覚的要素を自動的にサイズ変更してもよい。実際には、各視覚的要素の相対的なサイズは図５に示した各視覚的要素のサイズに比例しなくてもよい。
この例において、楽器はギター（例えば、６弦ギター）であるとする。図５を参照すると、ユーザインタフェースの最上部において、ユーザインタフェースは波形マネージャ３０５と関連付けられた視覚的要素を含んでもよい。例えば、オーディオ波形５１０はエキスパート演奏オーディオトラック４０５に対応してもよく、オーディオ波形５１５はユーザの演奏に対応してもよい。このように、ユーザはエキスパートの演奏をユーザの演奏と視覚的に比較できる。更に類似度がユーザに対して示されてもよい。例えば類似性スコア５２０は、楽曲の楽節毎（例えば、小節毎等）にユーザの演奏とエキスパートの演奏との類似度を示してもよく、これは例えば数値又はグラフィックで表されてもよい。キューライン５２５は演奏の現時点を示してもよい。この例において、キューライン５２５の右側に位置する部分がこれから演奏される部分に対応する演奏波形５３０を示し、かつキューライン５２５の左側に位置する部分がエキスパートの演奏と比較してユーザの演奏直後の履歴を示すように、オーディオ波形５１０及び５１５は右から左に移動してもよい。
【００５９】
ユーザインタフェースの左側部分は、楽曲データと関連付けられた視覚的要素を含んでもよい。この例において、音楽コンテンツ領域５３５は、アーティスト名、楽曲名、現在の小節、現在の拍子、現在の楽節、現在の和音及び次の和音を含んでもよい。
【００６０】
音楽コンテンツ領域５３５の右側は、演奏する時にユーザを支援するための運指記号５４０を含んでもよい。例示的な一実現例によると、運指記号５４０は、現在演奏されることが要求される音楽イベント（例えば、和音、メロディ等）に対する指の位置及び将来の指の位置を表示してもよい。運指記号５４０は、スクロールするように一連の指の位置を表示してもよい。
【００６１】
更に運指記号５４０の右側は、演奏キュー５４５を含んでもよい。この例において、演奏キュー５４５はスクロールするギタータブ譜に対応する。スクロールするギタータブ譜は、音楽イベント表示（図５において円で示される）を含んでもよい。他の実現例によると、音楽イベント表示表示は円とは異なる形状（例えば、正方形等）を有してもよい。音楽イベント表示は、音楽データ（例えば、エキスパート演奏オーディオトラック４０５等）と同期されてもよく、音楽イベント（例えば、効果、ジェスチャ、期間等）の特性を示してもよい。演奏キュー５４５は、肯定的フィードバック５５０を示す「点灯する」音楽イベント表示又は否定的フィードバックを示す「淡色表示される」音楽イベント表示等のリアルタイム又はほぼリアルタイムのフィードバックキューを含んでもよい。他の実現例によると、演奏キュー５４５は音楽イベントを示すスクロールする譜表の形式をとってもよい。更に他の実現例によると、演奏キュー５４５はスクロールするタブ譜を使用しなくてもよい。タブ譜は（例えば、長い道路のように）レイアウトされてよく、ユーザの視点がタブ譜に沿って移動する（例えば、道路を下る）。視覚的な演奏キューの他の例については本明細書において説明する。
【００６２】
演奏キュー５４５の右側の領域は、演奏結果５５５を含んでもよい。この例において、演奏結果５５５は、スコア、難易度、精度スコア、ストリークスコア及び乗数を含んでもよく、これらはリアルタイム又はほぼリアルタイムで（例えば、ユーザの演奏中、セッションの終了時等）反映されてもよい。例えばスコアは、全体の演奏の値又は現在のセッションに関連した進行中の演奏の値を表してもよい。ストリークスコアは、例えば正しく演奏されている音楽イベントの数に対応してもよい。精度スコアは、楽曲に対するユーザの演奏の精度を反映してもよい。例えば精度スコアは、予想された音楽イベントの合計で除算される現在演奏されている音楽イベントの割合として表されてもよい。乗数はスコア変更子に対応してもよい。例えばスコアは、ユーザが困難なパッセージを正確に演奏する場合に乗数と乗算されてもよく、精度スコアは特定の閾値を上回り、難易度は特定のレベルである。乗数はスコアを増加する可能性がある。反対に、乗数はユーザのスコアを低下する可能性もある。例えばスコアは、ユーザが困難なパッセージを正確に演奏しない場合に乗数と乗算されてもよく、精度スコアは特定の閾値レベルを下回る。
【００６３】
更に図示するように、ユーザインタフェースの右側部分はビデオ画像５６０を含んでもよい。例えば上述したように、音楽教育システム１１５は、ユーザの演奏中、ユーザのビデオ画像５６０を撮像できるカメラ１４５を含んでもよい。そのような例示的な一実現例によると、ユーザはユーザインタフェースを観察し続け、かつ同時に自身の演奏を見ることができる。例えば楽器がギターに対応する場合、ユーザはギターのネックを見下ろして、自身の運指及び動作を注視するだろう。しかし、ビデオ画像５６０により、ユーザは注意を他にそらすことなく自身の演奏を注視できる。ビデオ画像５６０により、ユーザは、ビデオ画像がないと識別できない可能性がある自身の演奏（例えば、技術、芸術的な課題等）に関連した課題を識別できる。他の例示的な実現例によると、ビデオ画像５６０は、専門演奏者、あるいはユーザの演奏に応じて教えたり、反応したり、かつ／又はフィードバックを提供したりする仮想助言者／指導者／コーチのビデオ画像に対応してもよい。他の例示的な実現例によると、ビデオ画像５６０はその楽曲の他のユーザの演奏（例えば、有名なアーティストの音楽ビデオ又は楽曲の別のユーザの演奏のビデオ等）に対応してもよい。音楽教育システム１１５により、ユーザは、ビデオ画像５６０が表示されるウィンドウのサイズを調整できてもよい。更に他の例示的な実現例によると、ビデオ画像５６０は、例えば左手のフレット及び弦の位置、右手のストラミングのタイミング及び指示、鳴らすキーボードのキー、叩くドラム等の指導情報を示すコンピュータグラフィックスを補足されるユーザのビデオ画像を示してもよい。コンピュータグラフィックは、ビデオ画像５６０とのオーバレイとして提示されてもよい（例えば、プロフットボールの放送において、フットボール競技場のビデオ画像とともに提供され、スクリメージライン、１０ヤードライン及び他の情報をフットボール競技場に描かれているかのように示すコンピュータグラフィックスのオーバレイと同様である）。例えば画像操作により、フレット付き指板のビデオ画像５６０は、音又は和音に対する正しい指の位置に点灯するＬＥＤが組み込まれているように見えるようにされてもよい。
【００６４】
更に図示されるように、ユーザインタフェースの下部は運指記号及びタイムガイド５６５を含んでもよい。この例において、運指記号及びタイムガイド５６５は楽器（すなわち、ギターネック）のグラフィック表現及び演奏キュー（例えば、演奏が要求される音楽イベント）を含んでもよい。運指記号５４０とは異なり、運指記号及びタイムガイド５６５は現在の音楽イベント及び将来の音楽イベントを含んでもよい。運指記号及びタイムガイド５６５は、種々の形状、色、サイズ及び不透明度等を含み、ユーザが時間の経過と共に演奏キューに従っていけるようにしてもよい。
【００６５】
設定５７０は、ユーザインタフェースの最下部に表示されてもよい。上述したように、設定マネージャ３３０は種々のユーザ設定、効果及びレベル等を表示してもよい。この例において、設定５７０は、入力レベル、チューナ、効果レベル、ミックスレベル、バンドセレクタ及び出力レベルを含んでもよい。例示的な一実現例によると、ユーザが利用可能な設定は、ユーザが演奏している楽器及び／又は楽曲に依存してもよい。更に設定５７０により、ユーザは、セッションが開始する前だけでなくセッション中にも特定の設定を調整できる。
【００６６】
図６〜図１０は、種々の楽器に対する演奏キューマネージャ３１０と関連付けられた例示的な演奏キューを示す図である。他の実現例によると、演奏キューマネージャ３１０と関連付けられた演奏キューは、図６〜図１０に示し、かつ説明する演奏キューと比較して、更なる視覚的要素、異なる視覚的要素、より少ない視覚的要素、異なる視覚的要素の構成及び／又は異なる向きを含んでもよい。
【００６７】
図６は、楽器がギターである場合の演奏キューマネージャ３１０と関連付けられた例示的な演奏キューを示す図である。図示するように、ギターの弦は６つのタイムライン６０５で表現されてもよく、これらは弦番号６１０（例えば、１〜６）及び対応する音楽イベント値６１５（Ｅ、Ａ、Ｄ、Ｇ、Ｂ、Ｅ）でラベル付けされてもよい。音楽イベントの円６２０は、ユーザに対する演奏キューを表してもよい。例示的な一実現例によると、音楽イベントの円６２０内の番号は、押さえる弦の適切なフレットに対応してもよい。音楽イベントの円６２０は、適切な音楽イベントが演奏される適切な弦に配置されてもよい。更に例示的な一実現例によると、音楽イベントの円６２０垂直位置は、音楽イベントが演奏されるまでの残り時間を示してもよい。音楽イベントの円６２０は、音楽データ（例えば、伴奏オーディオトラック、エキスパート演奏オーディオトラック等）と関連付けられたタイムコードと同期されてもよい。
【００６８】
時間の経過に伴って、ユーザインタフェースはタイムライン６０５及び音楽イベントの円６２０をスクロールしてもよい。例えばスクロールは、ユーザインタフェースの最上部からユーザインタフェースの最下部に向かって行われてもよい。他の実現例によると、時間は奥行きとともに表示又は表現されなくてもよい。例えばスクロールは、２次元で表示又は表現されてもよい。ユーザはキューライン６２５で音楽イベントの円６２０を演奏しようとする。線６３０は楽曲と関連付けられた音楽の拍子、小節、テンポ及び／又はタイミングを示してもよい。例示的な一実現例によると、太く、かつ／又は色が付けられた線６３５は、フレットに対して弦を押さえる期間（すなわち、音楽イベントの期間）を示してもよい。重複する音楽イベントはドット６４０又はストラミングを示す太い水平線６４５で表されてもよい。他の実現例によると、期間、ストラミング及び／又は重複する音楽イベントは別の方法でグラフィック表現されてもよい（例えば、ねじれ線、種々の線のパターン（例えば、点線等）、アニメーションライン等）。
【００６９】
図７Ａは、楽器がギターである場合の演奏キューマネージャ３１０と関連付けられた他の例示的な演奏キューを示す図である。この例において、ギターネック７０５は、水平線７１０により表された弦及び垂直線７１５により表されたフレットを含んで表示されてもよい。例示的な一実現例によると、指の位置はアニメーション化された同心円及び記号７２０により示されてもよい。例として、最も外側の円７２５は演奏タイミングの４拍前に表示されてもよい。更に他の円は、現在の演奏キューのタイミングが近づくにつれ、かつ楽曲のテンポに従ってある時間にわたり、より小さく、濃く、太く、かつ／又は低い透明度の円に変形して表示される。例えば３拍先の演奏キューは、より小さく、かつより透明度の低い円７３０で表されてもよい。２拍先の演奏キューは更に小さく、かつ透明度の低い円７３５により表されてもよく、１拍先の演奏キューは更に小さく、かつ透明度の低い円７４０により表されてもよい。演奏キューは、音楽イベントが演奏される適切な弦及びフレットに対応する位置に表示されてもよい。
【００７０】
例示的な一実現例によると、ユーザが特定の位置の弦を鳴らすことになっている場合、全ての円が存在し、かつアイコン（例えば、星）７４５が表示されてもよい。音楽イベントの期間を通信するために、アイコン（例えば、星等）及び複数の円は音楽イベント７５０の期間の間可視のままであってもよい。
【００７１】
例示的な一実現例によると、同一位置（例えば、１弦、１フレット等）に表示された複数の演奏キュー（例えば、４つの連続した１６分音等）は、外側に静的な円を有し、中心が点滅する形式、又は他の何らかの適切な形式で示されてもよい。演奏キューは、音楽イベントを伝えるために、例えば振動、波状効果又は他の適切な形式等の種々の効果を更に含んでもよい。演奏キューは、音楽イベントを通信するために種々の形状、英数字、記号及び種々の色を更に含んでもよい。例示的な一実施形態によると、音楽イベント（例えば、音）の配置、タイミング、テンポ及び／又は期間は、形状、記号又は英数字等、並びに例えばサイズ、色、効果又は不透明度等の他の特性を使用することによりユーザに対して可視化して描かれてもよい。演奏キューは、楽器に従って適応されてもよい。
【００７２】
図７Ｂは、楽器がギターｄえある場合の演奏キューマネージャ３１０と関連付けられた他の例示的な演奏キューを示す図である。例えば手７６０のグラフィック表現は、演奏キューを実行するための運指記号を示してもよい。この例において、手７６０は、想像上の演奏者に対面するユーザの視点から表される。しかし、音楽教育システム１１５は、ユーザが種々の視点（例えば、想像上の演奏者の背後、想像上の演奏者の背後の上方等）で手７６０により形成される運指記号を閲覧できるようにしてもよい。
【００７３】
図８は、楽器が声である場合の演奏キューマネージャ３１０と関連付けられた例示的な演奏キューを示す図である。図示するように、キーボード８１０のグラフィック表現はピッチ及びタイムラインを規定してもよく、タイムライン間の間隔はピッチ８１５を示してもよい。例示的な一実現例によると、太線８２０は音楽イベント（例えば、Ｃ音）と位置合わせされてもよい。更に又はあるいは、中太線８２５及び中太線８３０は、Ｃから特定の間隔（例えば、完全四度、完全五度）を有する他の音楽イベント（例えば、Ｆ音及びＧ音）をそれぞれ示してもよい。更に図示するように、例として、太く、かつ／又は色が付けられた線８３５は歌詞８４０でラベル付けされてもよいがこれに限定されない。更に、音楽イベントは右から左にスクロールしてもよく、垂直線８４５は楽曲と関連付けられた拍子、小節、テンポ及び／又はタイミングを表してもよい。
【００７４】
図９は、楽器がキーボードである場合の演奏キューマネージャ３１０と関連付けられた例示的な演奏キューを示す図である。図示するように、キーボード９０５のグラフィック表現がユーザに対して表示されてもよい。例示的な一実現例によると、スクロールは上から下に行われてもよい。太線９１０は、特定の音楽イベント（例えば、Ｃ音）に位置合わせされてもよい。更に又はあるいは、中太線９１５及び中太線９２０は、Ｃから特定の間隔（例えば、完全四度、完全五度）を有する他の音楽イベント（例えば、Ｆ音及びＧ音）にそれぞれ位置合わせされてもよい。演奏キュー９２５は、他の特性（例えば、期間等）と共にユーザが演奏する音楽イベントを示してもよい。水平線９３０は、楽曲と関連付けられた拍子、小節、テンポ及び／又はタイミングを表してもよい。
【００７５】
図１０は、楽器がドラムセットである場合の演奏キューマネージャ３１０と関連付けられた例示的な情報を示す図である。この例において、４つのタイムライン１００５はユーザにより演奏される音楽イベントを含んでもよい。例えば、各タイムライン１００５は、音楽イベントがユーザの手又はユーザの足により演奏されるかをユーザに示すために四肢の表示１０１０を含んでもよい。音楽イベントは円１０１５により示されてもよい。例示的な一実現例によると、円１０１５は演奏するドラムセットのパーツを更に示してもよい。例えば「ＨＰ」はハイハットペダルに対応してもよく、「Ｓ」はスネアドラムに対応してもよく、「ＨＨ」はハイハットに対応してもよく、「Ｋ」はキックドラムに対応してもよい。円１０１５は、タイムライン１００５に沿ってスクロールしてもよい。水平線１０２０は、楽曲と関連付けられた拍子、小節、テンポ及び／又はタイミングを表してもよい。キューライン１０２５は、いつドラムセットの適切なパーツを叩くかをユーザに示してもよい。
【００７６】
上述したように、音楽教育システム１１５は、音楽データ（例えば、聴覚的な楽曲データ、視覚的な楽曲データ等）に同期される演奏キューを提供してもよい。
【００７７】
図１１は、音楽データ（例えば、エキスパート演奏オーディオトラック４０５、伴奏オーディオトラック４１０等）に同期した演奏キューを含む音楽教育システム１１５の例示的なユーザインタフェースを示す図である。例えば図１１の例示的なユーザインタフェースは、楽曲と関連付けられた音楽イベントとの演奏キューの同期をプログラムするために使用されてもよい。
【００７８】
この例において、音楽データは、タイムコードマーカ１１１０（例えば、秒単位）及び６つの弦のレーンに対応するギター弦セクション１１１５−１〜１１１５−６（一般にギター弦セクション１１１５と呼ぶ）を有するギタートラック１１０５を含んでもよい。例示的な一実現例によると、各ギター弦セクション１１１５は、演奏キューをユーザに提供する時間の領域１１２０を含んでもよい。例えばギター弦セクション１１１５−２内において、時間の領域１１２０はルーラマーカ１１１０に位置合わせされてもよい値「５−４３２」を含む。値「５−４３２」は、難易度２、３及び４（例えば、ミディアム、ハード、ハーデストをそれぞれ表す）に従って５番目のフレットで弦２を演奏することをユーザに示してもよい。音楽教育システム１１５は、この同期された演奏キューデータを使用してユーザインタフェースを生成し、ユーザにより演奏される音楽イベント及び演奏方法を示す。
【００７９】
演奏キューデータは、楽器の種類だけでなくセッションの難易度にも依存して異なってもよい。例えば演奏キューは、種々のユーザのレベル（例えば、初心者、易しい、未熟者、熟練者、難しい、上級者又は天才等）に合わされてもよい。また、更に以下に示すように、例示的な一実現例によると、セッションの難易度はセッション中静的であってもよい。しかし、別の実現例によると、セッションの難易度はセッション中動的であってもよい。例えばセッションの難易度は、ユーザの演奏の評価に基づいてセッション中に変化してもよい。そのような一実現例によると、セッションの難易度は上下してもよく、それに応じて演奏キューの難易度がそれらの変化を反映してもよい。
【００８０】
音楽教育システム１１５の例示的な実施形態によると、ユーザはゲームコントローラ等の「仮想楽器」とは異なり「本物」の楽器を演奏してもよい。音楽教育システム１１５は、楽器で演奏された音楽イベント（例えば、音等）を検出してもよい。例えば上述したように、音楽教育システム１１５は、基本周波数検出アルゴリズムに基づいてユーザにより演奏された音楽イベントを検出してもよい。これは例えば音楽イベント（例えば、音等）を生成しないゲームコントローラを使用する及び／または音楽イベントがピッチ等に基づいて評価されないゲームシステムとは対照的である。
【００８１】
音楽教育システム１１５は、楽器に応じて種々な方法でユーザ演奏データを受信してもよい。例えばＭＩＤＩ機能を有する楽器の場合、音楽教育システム１１５は直接入力（例えば、ケーブルを介して又は無線で）を受け入れてもよい。ＭＩＤＩ対応の楽器はピッチ等を含んでよいイベントメッセージを送受信してもよいため、音楽教育システム１１５は基本周波数検出を実行しなくてもよい。あるいは、ユーザがスネアドラムを演奏することを学んでいる場合、基本周波数の検出は関係ない。しかし、他の種類の楽器の場合、音楽教育システム１１５は、１つ以上の基本周波数検出アルゴリズムに従って特定の音楽イベントと関連付けられた基本周波数を検出してもよい。例えば、楽器が生楽器、（例えば、ピックアップを有する）電気楽器である場合、あるいはユーザがマイクを使用して又はマイクを介して演奏する場合、音楽教育システム１１５は基本周波数検出を使用してもよい。基本周波数検出アルゴリズムは、ピッチ解析、基本周波数推定及び和音認識を含んでもよい。他の例示的な実現例によると、他の方法が入力解析（例えば、テンプレートマッチング、機械学習、非負行列因数分解等）に対して使用されてもよい。音楽教育システム１１５は、楽器から受信した音声及び／又は楽器の種類に基づいて基本周波数検出を使用するかを判定してもよい。
【００８２】
図１２Ａ〜図１２Ｃは、音楽イベントと関連付けられた基本周波数を検出する例示的な処理１２００を示す。基本周波数は、楽音を構成する音響振動の周波数に対応してもよい。フルート等の単音楽器は、一度に最大１つの楽音を生成できる。ギター又はピアノ等の多音楽器は、一度に２つ以上の楽音を生成できる。例えばギター又はピアノは、和音又は他の多音音楽構造を生成できる。基本周波数検出アルゴリズムは、単音音楽構造（例えば、単一の楽音）又は多音音楽構造（すなわち、２つ以上の楽音、和音等）と関連付けられた基本周波数を検出してもよい。
【００８３】
処理１２００は、オーディオ入力信号を受信すること（ブロック１２０５）を含んでもよい。例えば音楽教育システム１１５は、オーディオ入力信号を受信してもよい。例えば楽器は、音楽教育システム１１５に対するオーディオ入力信号として使用される電気信号を生成してもよい。あるいは、マイク又はピックアップは、楽器と関連付けられた生音の信号をオーディオ入力信号として使用されてもよい電気信号に変換するために使用されてもよい。
【００８４】
アナログ−デジタル変換が実行されてもよい（ブロック１２１０）。例えば音楽教育システム１１５は、従来技術を使用してオーディオ入力信号をデジタルオーディオ入力信号に変換してもよい。
【００８５】
出だしブロックが形成されてもよい（ブロック１２１５）。例示的な一実現例によると、基本周波数検出アルゴリズムは、デジタルオーディオ入力信号から連続する一群のサンプを含む（例えば固定長の）ブロックを形成することに基づいて基本周波数を検出してもよい。例えば出だしブロックは、音楽イベントと関連付けられた出だし時間がより短い時間ウィンドウ内で検出できるよう、５１２個のサンプルを含むことができる。
【００８６】
上述したように、出だしブロックのサイズは一般に周波数解析に使用されるブロックより小さくてもよい。例えば、周波数解析ブロックが２０４８個のサンプルを含むことは一般的である。しかし、５０％の重複を有し、１０２４サンプル等の等間隔を有する複数のサンプルのブロックを使用してデジタルオーディオを処理するために、そのサイズのブロック内で出だしが始まる場合には、基本周波数検出結果の品質は低い可能性がある。そのような品質の低い結果を回避するために、基本周波数検出アルゴリズムは、形成された出だしブロック内で出だし（例えば、音楽イベントの開始）を検出してもよく、出だしが検出される場合、周波数検出アルゴリズムは周波数検出のために次の出だしブロックに進んでもよい。この点に関して、周波数検出解析は、出だしを含まない出だしブロックに位置付けられてもよい。例えば、出だしを含む出だしブロックの後に位置付けられてもよい、出だしを含まない出だしブロックである。
【００８７】
出だしブロックは、平滑化ウィンドウと乗算されてもよい（ブロック１２２０）。出だしブロックは、特にデジタルオーディオ入力信号のスペクトル特性を向上するために平滑化ウィンドウと乗算されてもよい。例示的な一実現例によると、平滑化ウィンドウの種類は楽器に基づいて選択されてもよい。音楽教育システム１１５は、１つ以上の種類の平滑化ウィンドウ（例えば、ハンウィンドウ、ハミングウィンドウ、ガウスウィンドウ等）を含んでもよい。
【００８８】
ＦＦＴは、出だしブロックに対して実行されてもよい（ブロック１２２５）。高速フーリエ変換（ＦＦＴ）は出だしブロックに適用されてもよく、その結果、離散短期スペクトルの推定値を与えてもよい。離散短期スペクトルは、大きさ及び位相情報を表す複素数を含んでもよい。
【００８９】
複素数は、大きさ値に変換されてもよい（ブロック１２３０）。例えば各複素数の大きさは、虚数部の２乗及び実数部の２乗の合計の平方根である。例えば複素数がａ＋ｂｉである場合、大きさはｓｑｒｔ（ａ２＋ｂ２）である。式中、ｓｑｒｔは平方根を表す。大きさ値は、ある正弦成分の振幅に対応してもよく、複数の正弦成分は等間隔に離間した周波数であってもよい。大きさ値は、インデックスを有するデータ構造（例えば、配列等）に格納されてもよい。
【００９０】
加重和が算出されてもよい（ブロック１２３５）。例えば大きさの加重平均は、インデックス付きデータ構造のそれぞれの位置に基づいて算出されてもよい。一例として、大きさ配列でインデックスが付与された４つの大きさ値（２，２，３，４）があるとする。例えば大きさ値＝２は大きさ配列の位置０にインデックスされてよく、大きさ値＝２は大きさ配列の位置１にインデックスされてよく、大きさ値＝３は大きさ配列の位置２にインデックスされてよく、大きさ値＝４は大きさ配列の位置３にインデックスされてよい。周波数検出アルゴリズムは、各大きさ値を対応するインデックスと乗算してもよい。例えば、新しい大きさ値（０，２，６，１２）（例えば，２＊０，２＊１，３＊２，４＊３）が算出されてもよい。次に、新しい大きさ値の合計が算出されてもよく、加重平均が算出されてもよい。例示的な一実現例によると、加重平均は、大きさ値の合計を乗数の合計で除算した値に対応してもよい。例えば新しい大きさ値が加算され（０＋２＋６＋１２）合計した大きさ値＝２０を形成し、合計した大きさ値は６（０＋１＋２＋３）で除算され加重和＝３．３３を与えてもよい。別の例示的な実現例によると、新しい大きさ値の合計は加重和に対応してもよい。例えば加重和＝２０である。この例において周波数が大きさ配列において低い周波数から高い周波数へインデックスが付与されるため、説明した方法で加重和を算出することにより、周波数スペクトル内のより高い周波数は周波数スペクトル内のより低い周波数より大きい重みを与えられる。すなわち、周波数が低いほど重み（例えば、配列インデックス乗数）を小さく、周波数が高いほど重みを大きく割り当ててもよい。
図１２Ｂを参照すると、出だし検出が実行されてもよい（ブロック１２４０）。例えば、前の出だしブロックと関連付けられた加重和に対する加重和の変化が閾値と比較されてもよい。その変化が閾値以上である場合、出だしブロックは出だしを含むと判定される。加重和の変化が閾値未満である場合、出だしブロックは出だしを含まないと判定される。例示的な一実現例によると、閾値は、出だしが検出された後に減少されてもよく、出だしが検出されない場合に前の閾値に戻されてもよい。
【００９１】
例示的な一実現例によると、出だしが出だしブロック内で発生しない場合、出だしブロックは例えばバッファに格納されてもよい。更に以下に説明するように、出だしを含まない出だしブロックは基本周波数ブロックを形成するために使用されてもよい。逆に、出だしが出だしブロック内で発生する場合、周波数検出アルゴリズムは、その出だしブロックを無視し、次の出だしブロックに進んでもよい。
【００９２】
基本周波数ブロックが形成されてもよい（ブロック１２４５）。検出された各出だしの結果は、基本周波数検出に対する適切なサンプルのブロックを判定するために使用されてもよい。例えば出だしを含まないと判定される出だしブロックは、基本周波数ブロックを形成するために使用されてもよい。一例として、基本周波数ブロックが２０４８個のサンプルを含み、かつ出だしブロックが５１２個のサンプルを含む場合、４つの連続した出だしブロックが出だしを含まないと判定された時に基本周波数ブロックは形成されてもよい。ブロック１２１５で形成された出だしブロックのサイズ及び基本周波数ブロックのサイズに依存して、出だしを含まないと判定された特定の数の連続した出だしブロックが基本周波数ブロックを形成するのに使用されてもよい。
基本周波数ブロックは、平滑化ウィンドウと乗算されてもよい（ブロック１２５０）。基本周波数ブロックは、特にデジタルオーディオ入力信号のスペクトル特性を向上するために平滑化ウィンドウと乗算されてもよい。例示的な一実現例によると、平滑化ウィンドウの種類は楽器に基づいて選択されてもよい。音楽教育システム１１５は、１つ以上の種類の平滑化ウィンドウを含んでもよい。
【００９３】
ＦＦＴは、基本周波数ブロックに対して実行されてもよい（ブロック１２５５）。高速フーリエ変換（ＦＦＴ）は基本周波数ブロックに適用されてもよく、それにより離散短期スペクトルの推定値が得られるであろう。離散短期スペクトルは、大きさ及び位相情報を表す複素数を含んでもよい。
【００９４】
複素数は、対数的な大きさ値(magnitude value)に変換されてもよい（ブロック１２６０）。各複素数の大きさは、虚部の２乗及び実部の２乗の合計の平方根である。例えば複素数がａ＋ｂｉである場合、大きさはｓｑｒｔ（ａ２＋ｂ２）である。大きさの対数は一般的な対数関数を使用して計算されてもよい。各対数値は、各正弦成分と関連付けられた振幅の対数に対応してもよい。ここで、正弦成分は等間隔で離間された周波数であってもよい。
【００９５】
ピーク推定値が算出されてもよい（ブロック１２６５）。例えば低い周波数で、対数振幅スペクトルにより表された正弦成分の間隔は正確な音楽ピッチ推定には広すぎる可能性がある。例示的な一実現例によると、対数振幅スペクトルは補間されてもよい。例えば対数振幅スペクトルは２次補間を使用して補間されてもよい。対数振幅値がその２つの隣接する値より大きいスペクトルの各位置において、二次多項式がそれら３つの点に適合されてもよい。各ピーク点に対して、２次スプラインのピーク点の対数振幅及び周波数が計算され、ピークデータとして格納されてもよい。そのような方法は、特にピーク点と関連する周波数がＦＦＴと関連する周波数ビン（ＦＦＴビン）と位置合わせされない場合にピーク推定の精度を向上する。例えばＦＦＴと関連する各周波数ビンが４０Ｈｚであり、ピーク点が１００Ｈｚに位置する場合、２次補間はピーク点の正確な周波数及び対数振幅を識別する精度を向上する。
図１２Ｃを参照すると、ピークグラムが形成されてもよい（ブロック１２７０）。ピークグラムはピークデータに従って形成されてもよい。例えば、ピークグラムは配列に対応してもよい。ピークグラムの各場所は半音（例えば、等分平均律音階に基づく公称周波数）に対応してもよい。例示的な一実現例によると、ＭＩＤＩキーナンバーは、ピークグラム指標として使用されてもよく、指標ｉの公称周波数は以下の例示的な式に対応してもよい。
４４０＊２ｉ−６９／１２ （１）
式中、４４０Ｈｚは音楽イベントＡ４の標準的な周波数であり、６９は音楽イベントＡ４に対するＭＩＤＩノートナンバーを表し、１２は１オクターブ中の半音の数を表す。
【００９６】
対数振幅スペクトルの２次スプラインにより推定された各ピークに対して、最も一致する公称周波数を有するピークグラムの場所に対応するピーク値がピーク振幅の２乗分だけ増分されてもよい。殆どの場合、最大１つのピーク振幅が所定のピークグラムの場所に影響を与える。そのような場合、例えば別の配列が形成されてピーク点の正確な周波数を格納してもよい。周波数は、音楽イベント（例えば、音）が正しい旋律であるか、半音低いか、又は半音高いかを推定するために使用されてもよい。
【００９７】
ピークグラムは、音階の各半音における又は各半音の近くの基本周波数ブロックのエネルギーの推定値を含んでもよい。基本周波数ブロックに存在する音楽イベントがＭＩＤＩキーナンバーｉに対応する場合、ピークグラムは、基本周波数を表す場所ｉにおける大きな正の値（すなわち、エネルギーを表す）、並びに例えば最も近い半音（例えば、ＭＩＤＩキーナンバー）に丸められた倍音を表す場所ｉ＋１２、ｉ＋１９、ｉ＋２４、ｉ＋２８、i＋３１、ｉ＋３４及びｉ＋３６における追加の正の値を含んでもよい。他の実現例によると、使用される倍音（又は部分音）の数はより多くても少なくてもよい。更に、デジタルオーディオ信号において表される最大周波数より上にある周波数は存在しなくてもよい。
【００９８】
加重和が算出されてもよい（１２７５）。例えば対応するＭＩＤＩキーナンバーｉを有する音楽イベント（例えば、音）に対して、加重和（例えば、振幅の２乗）が基本周波数及びその倍音におけるピークグラム値から形成されてもよい。例えば加重和は、場所ｉ、ｉ＋１２、ｉ＋１９、ｉ＋２４、ｉ＋２８、ｉ＋３１、ｉ＋３４及びｉ＋３６において形成されてもよい。いくつかの倍音が存在できない高い周波数に対して、加重和はより少ない倍音を補償するように変倍されてもよい。
【００９９】
音楽イベントが検出されるかが判定されてもよい（ブロック１２８０）。例えば加重和は、音楽イベント検出閾値と比較されてもよい。加重和が音楽イベント検出閾値以上である場合（ブロック１２８０−ＹＥＳ）、音楽イベントが存在するかが判定され、音楽イベントが出力されてもよい（ブロック１２８５）。例えば、音楽イベントがＭＩＤＩキーナンバーｉに対応すると判定されてもよい。例示的な一実現例によると、維持された音楽イベントの振幅が時間の経過と共に減衰したと予想されるため、同一のピッチを有する音楽イベントが前の基本周波数ブロックで検出された場合に音楽イベント検出閾値は小さくされてもよい。逆に、加重和が音楽イベント検出閾値未満である場合（ブロック１２８０−ＮＯ）、音楽イベントが存在しないと判定されてもよい。図１２Ｃに示すように、処理１２００は以下に説明するようにブロック１２９５に継続してもよい。
【０１００】
一致した部分音は除去されてもよい（ブロック１２９０）。例えば音楽イベントが検出される場合、ピークグラムの場所はゼロに設定されてもよい。例えばピークグラムの場所ｉ、ｉ＋１２、ｉ＋１９、ｉ＋２４、ｉ＋２８、ｉ＋３１、ｉ＋３４及びｉ＋３６は、ＭＩＤＩキーナンバーｉの音によるエネルギーに基づいて追加の音楽イベントの間違った検出を防止するために除去されてもよい。
【０１０１】
ｉが増分されるかが判定されてもよい（ブロック１２９５）。例えばピークグラムの場所をゼロに設定した後、他のＭＩＤＩキーナンバーに対応する他の音楽イベントを検出するようにｉが１だけ増分されてもよい（ｉ＋１）かが判定されてもよい。ｉが増分されてもよい（例えば、最後のＭＩＤＩキーナンバーがまだ考慮されていない）（ブロック１２９５−ＹＥＳ）と判定された場合、処理１２００はブロック１２７５に継続してもよい。ｉが増分されてはいけない（例えば、最後のＭＩＤＩキーナンバーが考慮された）と判定された場合（ブロック１２９５−ＮＯ）、処理１２００は終了してもよい。
【０１０２】
図１２Ａ〜図１２Ｃは音楽イベントと関連付けられた基本周波数を検出する例示的な処理１２００を示すが、他の実現例において、処理１２００は、図１２Ａ〜図１２Ｃに示し、かつ説明した動作と比較して、追加の動作、より少ない動作及び／又は異なる動作を含んでもよい。例えば別の実現例によると、基本周波数検出は、以下に従って音楽イベント（例えば、音）の証拠を見つけるためにピークグラムを探索することにより行われてもよい。例えば音楽イベントが対応するＭＩＤＩキーナンバーｉを有しイベント、ｐ［ｋ］がＭＩＤＩキーナンバーｋに対するピークグラム配列値の値を表す場合、合計は以下の例示的な式に従って算出されてもよい。
ｐ［ｉ］＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋１２］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋１９］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋２４］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋２８］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋３１］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋３４］）＋ｍｉｎ（ｐ［ｉ］，ｐ［ｉ＋３６］） （２）
いくつかの倍音が存在できない高い周波数に対して、合計はより少ない倍音を補償するように変倍されてもよい。この結果として得られる合計は、上述したように音楽イベント検出閾値と比較されてもよい。
【０１０３】
更に上述したように、音楽教育システム１１５は、他の形式の入力解析（例えば、テンプレートマッチング、機械学習、非負行列因数分解等）を使用してもよい。例えば音楽教育システム１１５は、楽器及び／又は楽曲に依存してピッチ解析の複数の方法を利用してもよい。例えばより低い音域の音楽イベントに対して最適化される方法がより低い音域の音を特色としている楽曲に対して使用されてもよい。逆に、より高い音域の音楽イベントに対して最適化される方法がより高い音域の音を特色としている楽曲に対して使用されてもよい。更に又はあるいは、単音ピッチ検出に対して最適化された方法は単音音楽パッセージに対して使用されてもよく、かつ／又は短い音検出に対して最適化された方法は短い音パッセージに対して使用されてもよい。この点に関して、音楽教育システム１１５は、１つ以上の基本周波数検出方法を適応的に選択するために楽曲のプロファイルを含んでもよい。
【０１０４】
周波数検出に加えて、音楽教育システム１１５は、ユーザにより演奏された音楽イベントの他の音楽特性を評価してもよい。例えば音楽教育システム１１５は、音楽イベントの開始時間、音楽イベントの終了時間、音楽イベントの期間、音楽イベントの振幅又は音楽イベントの振幅曲線を評価してもよい。例示的な一実現例によると、音楽教育システム１１５は、音圧レベル、デシベルレベル、又は他の何らかの音量の計測値に基づいて音楽イベントの振幅を評価してもよく、その音量の計測値を楽曲で指定された音量レベルにマッピングしてもよい。例えば楽曲は、ピアノ（ｐ）の音量レベルを指定してもよく、音楽教育システム１１５は音量レベルを音量の範囲にマッピングしてもよい。更に楽曲は、クレッシェンドをピアノ（ｐ）からフォルテ（ｆ）に指定してもよく、音楽教育システム１１５は、音量曲線を音量等感曲線にマッピングしてもよい。
【０１０５】
基本周波数検出は、予期される基本周波数の集合を参考にしても良い。予期される周波数又は正確な周波数を参照して、基本周波数検出処理１２００は、ユーザが実際に演奏する音楽イベントを見逃すことを回避し、かつユーザが演奏しない間違った音楽イベントを検出することを回避するようにバイアスされてもよい。このように、正確な演奏に対してユーザに間違えてペナルティを課す確率が低減される。これは、いくつかの誤った音楽イベントの演奏を正確な演奏と間違えて評価するという代償を必要とするが、一般にユーザは正確な演奏に対して間違えてペナルティを課されるよりも、高すぎる評価を受ける方ことに満足するだろう。基本周波数検出処理１２００をバイアスするために、上述した音楽イベント検出閾値は、基本周波数を検出する確率を低下させるために大きい値に調整されるか、基本周波数を検出する確率を増加するために低い値に調整される。例えば、音が演奏キューデータ４１５にある場合、検出は音楽イベント検出閾値を低下させることによりその音に対する基本周波数を検出しやすくバイアスされてもよい。音が演奏キューデータ４１５にない場合、検出は音楽イベント検出閾値を増加することによりその音に対する基本周波数を検出しにくくバイアスされてもよい。これは、演奏キューデータ４１５に存在する予期される周波数に依存して周波数検出手法にバイアスをかける方法の一例であり、検出方法にバイアスをかける他の方法が個別に又は組み合わせて使用されてもよい。
【０１０６】
例示的な一実現例によると、音楽教育システムは周波数検出又は振幅に基づいて音楽イベントの開始時間を評価してもよい。例えば異なるピッチを有する連続した音楽イベントに関して、音楽教育システム１１５は周波数検出に基づいて各開始時間を評価してもよい。更に又はあるいは、音楽教育システム１１５は振幅に基づいて開始時間を評価してもよい。例えば、図１２において上述したように、前の出だしブロックと関連した振幅に対する振幅の突然の増加は音楽イベントの開始を示してもよい。逆に、音楽教育システム１１５は出だしブロック間の相対的な振幅に基づいて音楽イベントの終了時間を評価してもよい。音楽教育システム１１５は、開始時間及び終了時間に基づいて音楽イベントの期間を評価してもよい。
【０１０７】
音楽教育システム１１５は、ユーザにより演奏された評価した音楽イベントを、エキスパートにより演奏された予期される音楽イベントと比較してもよい。その比較に基づいて、音楽教育システム１１５は種々のスコア、統計、フィードバック等を算出してもよい。
【０１０８】
図１３は、音楽教育システム１１５が音楽イベントを評価し、かつ音楽イベントを採点できる例示的な処理を示す図である。図示するように、グラフ１及びグラフ２が提供される。グラフ１は、ｘ軸に沿うタイムライン１３００とｙ軸に沿うスコアライン１３０５とを含む。グラフ２は、ｘ軸に沿うタイムライン１３００とｙ軸に沿う周波数ライン１３１５とを含む。
【０１０９】
グラフ１を参照すると、例示的な一例によると、グラフ１は３４．０秒（すなわち、予期される音楽イベントの開始時刻）にキュー開始を有し、かつ３５．０秒（すなわち、予期される音楽イベントの終了時刻）にキュー終了を有する、予期される音楽イベントを表す。更に、ユーザにより演奏された音楽イベントの早い開始時間又は遅い開始時間に対する許容差を与える３３．８７５〜３４．１２５の範囲の開始許容差がキュー開始を囲んで示される。同様に、ユーザにより演奏された音楽イベントの早い終了時間又は遅い終了時間に対する許容差を与える３４．８７５〜３５．１２５の範囲の終了許容差がキュー終了を囲んで示される。例示的な一実現例によると、開始許容差及び終了許容差はスコアライン１３０５に対する関係を有する。例えば図示するように、ユーザにより演奏された音楽イベントに割り当てられたスコアは、予期される音楽イベントに対する音楽イベントの開始時間及び終了時間の近さに依存して変動してもよい。例えばユーザにより演奏された音楽イベントの開始時間がエキスパートにより演奏された音楽イベントの開始時間と同一である場合、音楽教育システム１１５は１．０のスコアを与えてもよい。しかし、ユーザにより演奏された音楽イベントの開始時間が同一ではないが開始許容差の範囲内である場合、音楽教育システム１１５は１．０より低いスコアを与えてもよい。ユーザにより演奏された音楽イベントの開始時間が開始許容差の範囲内にない場合、音楽教育システム１１５は０．０〜１．０のスコアを与えてもよい（不図示）。音楽教育システム１１５は、同様の方法で終了時間に関してスコアを与えてもよい。更に音楽教育システム１１５は、開始時間及び終了時間に基づいてユーザにより演奏された音楽イベントの期間を評価し、適切なスコアを算出してもよい。
【０１１０】
グラフ２を参照すると、音楽教育システム１１５は、ユーザにより演奏された音楽イベントの基本周波数を評価してもよい。例えば、予期される音楽イベントの基本周波数は４４０Ｈｚであると仮定する。この例において、音楽教育システム１１５は、４３８Ｈｚ〜４４２Ｈｚの周波数許容差で基本周波数を評価してもよい。ユーザ演奏周波数１３２０により示されるように、ユーザにより演奏された音楽イベントと関連付けられた基本周波数は少し高い（例えば、４４０Ｈｚより高い）。図示しないが、音楽教育システム１１５は、上述した方法と同様の方法で周波数に関してユーザにより演奏された音楽イベントにスコアを与えてもよい。
【０１１１】
音楽命令システム１１５は、ある期間にわたり１つ以上の音楽特性（例えば、周波数、振幅等）の変動を含む音楽イベントを評価してもよい。例えば音楽教育システム１１５は、スライド、ベンド、ポルタメント又はビブラート等の連続した音楽ジェスチャを評価してもよい。
【０１１２】
図１４は、音楽教育システム１１５が連続した音楽ジェスチャと関連付けられた基本周波数に基づいてその連続した音楽ジェスチャを評価できる例示的な処理を示す。例えば基本周波数は、ある期間（すなわち、特定の音楽ジェスチャに対する演奏キューの期間）にわたり関数として考えられてもよい。例示的な一実現例によると、音楽教育システム１１５は、連続した音楽ジェスチャのエキスパートの演奏と関連付けられてもよい基本周波数エンベロープ１４０５、連続した音楽ジェスチャのユーザの演奏と関連付けられた基本周波数エンベロープ１４１０及び誤差基本周波数エンベロープ１４１５と関連した情報に基づいて連続した音楽ジェスチャを評価してもよい。
【０１１３】
例示的な一実現例によると、音楽教育システム１１５は、基本周波数エンベロープ１４０５と基本周波数エンベロープ１４１０との差分を算出し、誤差基本周波数エンベロープ１４１５を生成してもよい。そのような一実現例によると、領域部分１４２０で示される誤差（すなわち、基本周波数エンベロープ１４０５と１４１０との差分）の絶対値の積分は、連続した音楽ジェスチャの演奏誤り又は精度の測定値を表してもよい。そのような一実現例において、領域部分１４２０と関連する全体の面積が小さい程、連続した音楽ジェスチャの演奏と関連する精度は高い。逆に、領域部分１４２０と関連する全体の面積が大きい程、連続した音楽ジェスチャの演奏と関連する精度は低い。
【０１１４】
例示的な一実現例によると、音楽教育システム１１５は、領域部分１４２０と関連する全体の面積に基づいて得点を算出してもよい。例えば音楽教育システム１１５は、全体の面積をある数字で除算するか又は全体の面積とある数字とを乗算して得点に基づくスコアを算出してもよい。更に例示的な一実現例によると、音楽教育システム１１５は、例えば連続した音楽ジェスチャの難易度、楽曲の難易度、並びに他の音楽特性（例えば、終了時間、振幅等）及びその採点等のスコアを算出する時に他のファクタを考慮してもよい。
【０１１５】
上述したように、音楽教育システム１１５は、セッション中にユーザにフィードバックを提供してもよい。例えば音楽教育システム１１５は、ユーザが演奏している時に集計しているスコアをユーザに提供してもよい。更に又はあるいは、音楽教育システム１１５は、最終的なスコア、並びに他の種類のスコア（例えば、比較スコア、ベストスコア等）、統計等をユーザに提供してもよい。例示的な一実現例によると、音楽教育システム１１５は、音楽イベントの演奏の正確度に基づいてスコアを算出してもよい。例えばスコアは、以下に説明する処理に従って算出されてもよい。
【０１１６】
図１５は、音楽教育システム１１５がスコアを算出できる例示的な処理１５００を示す図である。例示的な一実現例によると、スコアは音楽イベントと関連付けられた１つ以上の音楽特性に関する精度の測定値を含んでもよい。例えば上述したように、音楽特性は周波数、振幅、開始時間、終了時間、期間、振幅曲線及び／又は周波数曲線に対応してもよい。説明の目的で、処理１５００に関して、音楽イベント特性は開始時間、終了時間及び基本周波数を含んでもよい。他の実現例によると、以下に更に説明するように、音楽イベントと関連した更なる音楽特性、より少ない音楽特性及び／又は異なる音楽特性がスコアを算出するのに考慮されてもよい。更に例示的な実現例によると、音楽教育システム１１５は、ユーザにより演奏された単音(monophonic)又は多声(polyphonic)音楽イベントを検出してもよい。
【０１１７】
図１５に示すように、処理１５００は音楽イベントを検出すること（ブロック１５０５）を含んでもよい。音楽教育システム１１５は、ユーザにより演奏された音楽イベントを検出してもよい。上述したように、音楽教育システム１１５は、楽器から受信したオーディオデータに基づいて音楽イベントを検出してもよい。
【０１１８】
音楽イベント特性が評価されてもよい（ブロック１５１０）。音楽教育システム１１５は、ユーザが演奏した音楽イベントと関連付けられた音楽イベント特性を評価してもよい。例えば音楽教育システム１１５は、１つ以上の基本周波数検出アルゴリズムを使用し、かつ／又は振幅評価、開始時間評価、終了時間評価、期間評価、振幅曲線評価、周波数曲線評価等を実行してもよい。しかし、説明の目的で、本例では音楽教育システム１１５は図１２Ａ〜図１２Ｃに関して上述した基本周波数アルゴリズム並びに開始時間及び終了時間評価を含む１つ以上の基本周波数アルゴリズムを使用してもよい。
【０１１９】
周波数誤差が算出されてもよい（ブロック１５１５）。音楽教育システム１１５は、検出した音楽イベントと関連付けられた基本周波数を予期される音楽イベントと関連付けられた基本周波数と比較してもよい。例えば検出した音楽イベント及び予期される音楽イベントと関連付けられた基本周波数ｆ１及びｆ２は、以下の例示的な式に基づいて対数目盛ｓ１及びｓ２に変換されてもよい。
ｓ＝ｌｏｇ２（ｆ／ｒ）＊１２＋６９ （３）
式中、ｒは音楽イベントＡ４に対する一般的な周波数である４４０Ｈｚであり、１２は１オクターブに対する倍数を表し、６９は音楽イベントＡ４に対するＭＩＤＩノートナンバーを表す。
【０１２０】
ｒに対する種々の値は、音楽データ（すなわち、予期される音楽イベント）及び／又はユーザ（すなわち、検出した音楽イベント）のチューニングに合わせて調整するために使用されてもよい。例示的な一実現例によると、基本周波数を対数目盛に変換することにより、周波数誤差が基本周波数の比で表される。換言すると、基本周波数間の半音で表される間隔は音程に対応し、これは単なる周波数の差分より有意義である。本実現例によると、基本周波数ｆ１及びｆ２がｓ１及びｓ２に変換される場合、半音単位の周波数誤差は例示的な式ｓ１−ｓ２に従って算出されてもよい。
【０１２１】
タイミング誤差が算出されてもよい（ブロック１５２０）。音楽教育システム１１５は、検出した音楽イベントと関連付けられた開始時間を予期される音楽イベントと関連付けられた開始時間と比較してもよい。例えば開始時間が検出した音楽イベントに対してｔ１であり、かつ開始時間が予期される音楽イベントに対してｔ２である場合、タイミング誤差は例示的な式ｔ１−ｔ２に従って算出されてもよい。更に音楽教育システム１１５は、検出した音楽イベントと関連付けられた終了時間を予期される音楽イベントと関連付けられた終了時間と比較してもよい。同様に、音楽教育システム１１５は、例示的な式ｔ１−ｔ２に従ってタイミング誤差を算出してもよい。
【０１２２】
スコアが算出されてもよい（ブロック１５２５）。音楽教育システム１１５は、周波数誤差及び開始誤差に基づいてスコアを算出してもよい。例えば、スコアは以下の例示的な式に基づいて算出されてもよい。
スコア＝（ｅｘｐ（−ｔ１−ｔ２）２）／ｖｔ）＊（ｅｘｐ（−（ｓ１−ｓ２）２／ｖｓ）
（４）
式中、ｖｔは時間ファクタ変数であり、ｖ２は周波数ファクタ変数である。
【０１２３】
ｖｔの値は、タイミング誤差に対するスコアの許容を増加又は減少するように調整されてもよく、ｖｓの値は、周波数誤差に対するスコアの許容を増加又は減少するように調整されてもよい。例示的な一実現例によると、ｖｔ及びｖｓの値は、スコアに影響を及ぼすように初心者又はエキスパート等の難易度に従って調整されてもよい。更にｖｔの値は、楽曲のテンポに対応して変更されてもよい。例えばｖｔの値は、テンポが速い程小さくてもよい。その結果、ユーザは、テンポがより遅い時と同一のスコアを得るためにより高いタイミング精度（例えば、より小さい時間ウィンドウ内）で演奏する必要がある。
【０１２４】
別の例示的な実現例によると、スコアは以下の例示的な式に基づいて算出されてもよい。
スコア＝（ｅｘｐ（−｜ｔ１−ｔ２｜）／ｖｔ）＊（ｅｘｐ（−（ｓ１−ｓ２）２／ｖｓ）
（５）
式中、式（５）に従って、タイミング誤差のペナルティは式（４）と同様の速さで増加しなくてもよい。
【０１２５】
例示的な一実現例によると、スコアは０〜１の値を有してもよい。そのような例において、音楽教育システム１１５は、スコアとスカラーとを乗算し、ユーザに対して表示されるスコアが整数となるようにスコアを最も近い整数値に丸めることによりスコアを修正してもよい。例示的な一実現例によると、スカラーの値は楽曲と関連付けられた難易度に基づいてもよい。
【０１２６】
いくつかの例において、複数の検出した音楽イベントが単一の予期される音楽イベントと一致する可能性があり、その結果、必要以上の音楽イベントが演奏された場合に得点が繰り返しカウントされてしまう。予期される音楽イベントが検出した音楽イベントと１度だけ一致することを保証するために、音楽教育システム１１５は、単一のスコアを予期される各音楽イベントと関連付けてもよい。複数の検出した音楽イベントが１つの予期される音楽イベントと一致した場合、例示的な一実現例によると、音楽教育システム１１５は最高スコアを与える検出した音楽イベントを選択してもよい。例示的な一実現例によると、音楽教育システム１１５は、予期される音楽イベントを囲む時間許容差に基づいて予期される音楽イベントと比較する音楽イベントを選択してもよい。しかし、いくつかの例において、１つの予期される音楽イベントが楽曲に従って予想されるが、ユーザは複数の音楽イベントを演奏してもよい。
【０１２７】
別の実現例によると、音楽教育システム１１５は、演奏された余分な検出した音楽イベントがユーザにペナルティを課し、かつユーザのスコアを低下させるように余分な検出した各音楽イベントと関連付けられたペナルティスコアを減算してもよい。このように、ユーザが余分な音楽イベントを演奏する場合、スコアは、ユーザが正確な数の音楽イベントを演奏する場合より高くならない。
【０１２８】
スコアを算出するために、演奏された音楽イベント（例えば、検出した音）と関連付けられた例えば開始時間及び基本周波数等の音楽特性が予期される音楽イベント（例えば、予期される音）の対応する音楽特性と比較されてもよいと説明したが、音楽イベントと関連する他の種類の音楽特性が評価され、かつ採点されてもよい。例えば音楽教育システム１１５は、例えば音色が澄んだフレーズ、単調なフレーズ、心温まるフレーズ等のフレーズを含む楽曲に対して振幅曲線評価、周波数曲線評価、リズム評価（例えば、開始時間、終了時間、期間に基づく）、音色評価（例えば、周波数スペクトル評価）を実行してもよい。更にいくつかの音楽特性は、他の楽器と比較していくつかの楽器に対して高い適用可能性を有してもよい。例えば、ドラムセットのドラムと関連する音質又は周波数がスコアを判定することに関連しなくてもよい。しかし、音楽教育システム１１５は、ドラムの音色特徴に基づいて正確なドラムが演奏されたかを判定してもよい。例えばバスドラム又はフロアタムは、ラックタム又はスネアドラムと比較して低い音質を有する。音楽教育システム１１５は、音楽イベントのリズム特性が正確に演奏されたかに加えて正確なドラムが演奏されたかに基づいてスコアを算出してもよい。ＭＩＤＩの楽器の場合、タイミング、速度、ピッチベンドホイールは評価される音楽特性の例である。
【０１２９】
例示的な一実施形態によると、ユーザが音楽イベントを演奏する場合、それらの音楽イベントは検出され、かつ対応する予期される音楽イベントとマッチングされてもよい。例えば上述したように、例示的な一実現例によると、演奏評価マネージャ３２０は、音楽イベントが正確に演奏された程度又は正確に演奏されなかった程度を評価してもよい。例えば音楽教育システム１１５は、音楽イベントの種々の音楽特性と関連付けられた周波数許容差、振幅許容差、開始時間許容差、終了時間許容差等を提供してもよく、ユーザが演奏した音楽イベントが正確に演奏された程度又は正確に演奏されなかった程度を確認できてもよい。
【０１３０】
この検出、評価及び比較方法に基づいて、音楽教育システム１１５は適切なフィードバック（例えば、否定的フィードバック又は肯定的フィードバック）をユーザに提供してもよい。例えば例示的な一実施形態によると、音楽教育システム１１５は、ユーザが演奏した音楽イベントの正確度又は不正確度に対応して変動するレベルの肯定的フィードバック又は変動するレベルの否定的フィードバックを提供してもよい。例えば音楽教育システム１１５は、正確度又は不正確度に対応して変動するレベルの肯定的／否定的視覚的フィードバック及び変動するレベルの肯定的／否定的聴覚的フィードバックを提供してもよい。変動するレベルの肯定的フィードバック及び否定的フィードバックの例については以下に更に説明する。
【０１３１】
更に上述したように、例示的な一実施形態によると、セッションの難易度はセッション中静的であってもよい。別の実現例によると、セッションの難易度は動的であってもよい。例えば音楽教育システム１１５は、セッション中にセッションの難易度を自動的に増加してもよく又はセッションの難易度を自動的に低下してもよい。例示的な一実現例によると、音楽教育システム１１５は、ユーザの演奏及び／又はフィードバック（例えば、スコア等）に基づいてセッションの難易度を調整してもよい。例えばユーザの演奏が肯定的に評価され、かつ／あるいはユーザのスコア又は他の演奏関連統計等が閾値を超える場合、音楽教育システム１１５は、セッションの難易度を自動的に増加してもよい。逆に、ユーザの演奏が否定的に評価され、かつ／あるいはユーザのスコア又は他の演奏関連統計等が閾値を下回る場合、音楽教育システム１１５は、セッションの難易度を自動的に低下してもよい。一実現例によると、ユーザの演奏が非常に否定的に評価されるか又は停止閾値を下回る場合、音楽教育システム１１５はセッションを自動的に終了してもよい。そのような場合、音楽教育システム１１５は、ユーザがより多くの練習を必要とするか又は新しいセッションを開始すべきであることをユーザに通信してもよい。
【０１３２】
図１６は、音楽教育システム１１５がユーザの演奏に基づいてユーザにフィードバックを提供できる例示的な処理を示す図である。図示するように、ユーザ１０５は楽器１１０（例えば、ギター）で楽曲を演奏している。音楽教育システム１１５（例えば、演奏評価マネージャ３２０）は、ユーザが演奏した音楽イベントを評価し、かつ予期される音楽イベントと比較してもよい（１６０５）。音楽教育システム１１５は、ユーザが演奏した音楽イベントの正確度又は不正確度を判定してもよい（１６１０）。この例において、ユーザ１０５の演奏がスコア閾値を上回ると仮定されてもよく、音楽教育システム１１５は例えば「熟練者」から「難しい」にセッションの難易度を自動的に増加する（１６１５）。更に音楽教育システム１１５は、熟練者レベルから難しいレベルに視覚的演奏キューを変更する。また、例示的な一実現例によると、音楽教育システム１１５（例えば、フィードバックマネージャ３２５）はユーザ１０５の演奏のオーディオをミュートし、他の聴覚的楽曲データ（例えば、伴奏オーディオトラック４１０）と共にエキスパート演奏オーディオトラックを再生してもよい（１６２０）。このように、ユーザ１０５が楽曲を正確に演奏すると、ユーザ１０５はまさにエキスパートのように聞こえる。上述したように、他の実現例によると、フィードバックマネージャ３２５は、ユーザ１０５の演奏に基づいて他のオーディオデータ（例えば、エキスパート演奏オーディオトラック４０５及びユーザ１０５の演奏の双方、ユーザ１０５の演奏のみ等）を再生し、かつ信号処理効果を導入してもよい。他の実現例によると、音楽データは、オーディオ（例えば、エキスパート演奏オーディオトラック４０５）のみと比較されるオーディオ及びビデオ（例えば、音楽ビデオ等）の形式のエキスパート演奏データを含んでもよい。そのような例において、音楽教育システム１１５は、エキスパート演奏オーディオトラック４０５に関して説明した方法でオーディオ／ビデオと関連付けられたオーディオを管理してもよい。すなわち、オーディオはフィードバック機構として使用されてもよい。更に音楽教育システム１１５は、フィードバック機構としてオーディオ／ビデオと関連付けられたビデオを管理してもよい。例えば音楽教育システム１１５は、ビデオの鮮明度を制御してもよく（例えば、ぼかしを導入したり、静止を導入したり、ビデオの鮮明度を向上したりする）、ビデオのコンテンツを制御してもよく（例えば、専門演奏者の演奏とユーザの演奏との間のフェードイン又はフェードアウト）、かつ／又はビデオの他の側面を制御してもよい（例えば、視覚的効果等を導入する）。例示的な一実施形態によると、オーディオ操作と同様に、音楽教育システム１１５は、ユーザが音楽イベントを正確に又は不正確に演奏する程度に従って視覚的要素を操作してもよい。
【０１３３】
音楽教育システム１１５は、種々のユーザインタフェースを使用して肯定的フィードバック及び否定的フィードバックをユーザに対して表示してもよい。例として、演奏キューマネージャ３１０は、肯定的フィードバック及び否定的フィードバックを示すためにユーザに対する視覚的キューを含んでもよいがそれらに限定されない。ユーザインタフェースは、ユーザに対して肯定的フィードバック及び否定的フィードバックを示すために他の種類のキュー（例えば、聴覚的キュー）を更に含んでもよい。ユーザに対して肯定的フィードバック及び否定的フィードバックを示すために音楽教育システム１１５により実現されてもよいキューの例について以下に説明する。
【０１３４】
図１７は、ユーザに提供される例示的な肯定的フィードバック及び否定的フィードバックを示す図である。上述したように、音楽教育システム１１５（例えば、フィードバックマネージャ３２５）は、変動するレベルの肯定的フィードバック又は変動するレベルの否定的フィードバックをユーザに提供してもよい。例示的な一実現例によると、肯定的フィードバック及び否定的フィードバックは音楽イベント／楽曲を正確に演奏するユーザの能力の成否に関連してもよい。音楽教育システム１１５は、ユーザにフィードバックを視覚的、聴覚的及び／又は触覚的に提供してもよい。音楽教育システム１１５は、音楽教育システム１１５の１つ以上のユーザインタフェースを介して視覚的フィードバックをユーザに提供してもよい。更に音楽教育システム１１５は、聴覚的出力を介して（例えば、スピーカ１４０を介して）聴覚的フィードバックを提供してもよい。更に音楽教育システム１１５は、触覚的フィードバックを提供してもよい（例えば、音楽教育システム１１５がポータブルデバイス又はハンドヘルドデバイスで実現される場合などに振動機構を使用して）。
【０１３５】
肯定的フィードバックを参照すると、音楽教育システム１１５は種々の種類及びレベルの視覚的及び／又は聴覚的な肯定的フィードバックをユーザに提供してもよい。例えば音楽教育システム１１５は、ユーザが予期される音楽イベントを正確に演奏する場合に演奏キューを点灯させてもよい（１７０５）。更に又はあるいは、音楽教育システム１１５は、例えば肯定的フィードバックを示すために表示された音楽イベントの色を変更したり（１７１０）、音楽イベント画像を修正したり（１７１５）又は肯定的な単語をテキストで表示したり（１７２０）して、他の種類の肯定的な視覚的キューをユーザに提供してもよい。音楽教育システム１１５は、肯定的フィードバックの段階を示すために変動するレベルの光度を表示したり、種々の色を使用したり、種々の形状を使用したりしてそれらの視覚的キューに関して変動するレベルの肯定的フィードバックを提供してもよい。更に音楽教育システム１１５は、肯定的フィードバックのレベルに対応して肯定的な単語を表示してもよい。例として、「ＯＫ」、「Ｇｏｏｄ」、「Ｇｒｅａｔ」及び「Ｅｘｃｅｌｌｅｎｔ」等の肯定的な単語が変動するレベルの肯定的フィードバックを表してもよいが、これらに限定されない。更に又はあるいは、音楽教育システム１１５はユーザのスコアを増分してもよく（１７２５）、その程度は、ユーザが演奏した音楽イベントの正確度に依存してもよい。
【０１３６】
更に又はあるいは、上述したように、一実現例によると、音楽教育システム１１５はエキスパート演奏オーディオトラックを再生し（１７３０）、ユーザの演奏により生成されたオーディオをミュートしてもよい。別の実現例によると、音楽教育システム１１５はエキスパート演奏オーディオトラック及びユーザの演奏の双方のミックスを出力してもよい。例示的な一実現例によると、音楽教育システム１１５はユーザの演奏の正確度に対応してエキスパート演奏オーディオトラックにミックスを偏向させてもよい。別の例示的な実現例によると、音楽教育システム１１５は、エキスパート演奏オーディオトラックをミュートし、ユーザの演奏のみを提供してもよい。
【０１３７】
音楽教育システム１１５は、他の種類の肯定的フィードバックキューを提供してもよい。例えば音楽教育システム１１５は、事前に録音された承認トラックを再生してもよい。例えば事前に録音された承認トラックは、「Ｙｏｕ ｇｏｔ ｉｔ！」、「Ｇｏｏｄ ｊｏｂ！」又は「Ｉｍｐｒｅｓｓｉｖｅ」等の観客の歓声又は仮想指導者の音声による激励するコメントを含んでもよい。事前に録音された承認トラックは変動するレベルの肯定的フィードバックを割り当てられてもよく、これらはユーザの演奏の正確度に対応して再生されてもよい。
【０１３８】
更に又はあるいは、音楽教育システム１１５はユーザの名前を利用して、例えば「Ｇｅｔｔｉｎｇ ｂｅｔｔｅｒ Ｈａｒｏｌｄ」又は「Ｎｉｃｅ Ｐｅｒｆｏｒｍａｎｃｅ Ｒｏｇｅｒ」等のより個人的なコメントを生成してもよい。例えば、ユーザは音楽教育システム１１５に自身の名前を提供してもよい（例えば、初期セットアップ中に）。更に又はあるいは、音楽教育システム１１５は、ユーザに対して肯定的フィードバックを示すために事前に録画されたビデオを再生してもよい。例えば事前に録画されたビデオは、歓声を上げる音楽ファン又は承認の表現を示す仮想指導者を含んでもよい。同様に、事前に録画されたビデオは変動するレベルの肯定的フィードバックを割り当てられてもよく、これらはユーザの演奏の正確度に対応して表示されてもよい。更に又はあるいは、音楽教育システム１１５は、例えば画面の明るい表示、画面振動又は他の適切なビデオ及び／又は視覚的効果等の視覚的効果を表示して肯定的フィードバックを提供してもよい。更に又はあるいは、音楽教育システム１１５は肯定的フィードバックを提供するために聴覚的効果を出力してもよい。例えば音楽教育システム１１５は、ユーザの演奏を高度化するために信号処理（例えば、リヴァーブ、エコー、コーラス、フランジ、ハーモニー等）を導入してもよい。信号処理の程度は、ユーザの演奏の正確度に対応して変動してもよい。
【０１３９】
否定的フィードバックを参照すると、音楽教育システム１１５は種々の種類及びレベルの視覚的及び／又は聴覚的な否定的フィードバックをユーザに提供してもよい。例えば音楽教育システム１１５は、ユーザが予期される音楽イベントを不正確に演奏する場合に演奏キューを淡色表示してもよい（１７５０）。更に又はあるいは、音楽教育システム１１５は、例えば否定的フィードバックを示すために表示された音の色を変更したり（１７５５）、音楽イベント画像を修正したり（１７６０）又は否定的な単語をテキストで表示したり（１７６５）して、他の種類の否定的な視覚的キューをユーザに提供してもよい。音楽教育システム１１５は、否定的フィードバックの段階を示すために変動するレベルの光度を表示したり、種々の色を使用したり、種々の形状を使用したりしてそれらの視覚的キューに関して変動するレベルの否定的フィードバックを提供してもよい。更に音楽教育システム１１５は、否定的フィードバックのレベルに対応して否定的な単語を表示してもよい。例として、「Ｐｏｏｒ」、「Ｂａｄ」、「Ｔｅｒｒｉｂｌｅ」及び「Ｈｏｒｒｉｂｌｅ」等の否定的な単語が変動するレベルの否定的フィードバックを表してもよいが、これらに限定されない。更に又はあるいは、音楽教育システム１１５はユーザのスコアを減分してもよく（１７７０）、その程度は、ユーザが演奏した音楽イベントの不正確度に依存してもよい。
【０１４０】
更に又はあるいは、上述したように、一実現例によると、音楽教育システム１１５はエキスパート演奏トラックをミュートしてもよく（１７７５）、あるいは非常に低い出力レベルでエキスパート演奏オーディオトラックを再生してもよい。別の実現例によると、音楽教育システム１１５はエキスパート演奏オーディオトラック及びユーザの演奏の双方を合成して出力してもよい。例示的な一実現例によると、音楽教育システム１１５はユーザの演奏の不正確度に対応してユーザの演奏をより多く合成させてもよい。
【０１４１】
音楽教育システム１１５は、他の種類の否定的フィードバックキューを提供してもよい。例えば音楽教育システム１１５は、間違った演奏がなされた楽器に適した、事前に録音された不快なトラックを再生してもよい。例えば楽器がギターである場合、事前に録音された不快なトラックはフィードバック音、ピチャピチャという音又はカタカタという音等を含んでもよい。例示的な一実現例によると、音楽教育システム１１５は、不正確に演奏された音楽イベントの数が停止閾値を超える場合にセッションを自動的に終了してもよい。
【０１４２】
更に又はあるいは、音楽教育システム１１５は事前に録音された不満トラックを再生してもよい。例えば事前に録音された不満トラックは、観客のブーイング、あるいは「間違った！」、「もっと上手に！」又は「どうしたんだ」等の仮想指導者の音声による落胆させるコメントを含んでもよい。更に又はあるいは、音楽教育システム１１５はユーザの名前を利用して、例えば「ハロルド、練習が足りないぞ」又は「もっと練習しろ、ロジャー」等のより個人的なコメントを生成してもよい。更に又はあるいは、音楽教育システム１１５はユーザに対して否定的フィードバックを示すために事前に録画されたビデオを再生してもよい。例えば事前に録画されたビデオは、ブーイングする音楽ファン、公演から退出する音楽ファン又は不満の表現を示す仮想指導者を含んでもよい。更に又はあるいは、音楽教育システム１１５は、例えば画面の淡色表示、画面振動又は他の適切なビデオ及び効果等の視覚的効果を表示してもよい。更に又はあるいは、音楽教育システム１１５は否定的フィードバックを提供するために聴覚的効果を出力してもよい。例えば音楽教育システム１１５は、ユーザの演奏の音質を低下させたり、けなしたりするために信号処理（例えば、歪み、ピッチシフト等）を導入してもよい。
【０１４３】
音楽教育システム１１５は、ユーザが音楽イベントを全く演奏しない場合でも、初心者については、ずっと上級のユーザと同様、ユーザの演奏と同期して演奏されているエキスパートによる楽曲の演奏を聴くことを可能とする。例えば楽曲の難易度が低レベルに設定されている場合、ユーザはＮ個（Ｎ＞１）の音楽イベント毎に１つのみ演奏することを要求される。その１つの音楽イベントが正確に演奏されれば、ユーザはエキスパートの演奏を聴くことにより完璧に演奏されている残りのＮ−１個の音を体験できる。別の例において、難易度が高レベル（例えば、エキスパートレベル）に設定される場合、ユーザはＮ個の音楽イベントの各々を正確に演奏することを要求される。そのような一実現例において、音楽教育システム１１５は、ユーザの代わりに事前に録音された音楽イベントを用いることはない。
【０１４４】
そのような指導方法によると、音楽教育システム１１５により、ユーザは段階的、かつ進歩的に楽器を経験でき、これは、ユーザが楽曲のいくつかの音楽イベントを演奏することから開始し、最終的に楽曲の全ての音楽イベントを演奏するように指導する。このように、エキスパート技能レベルがすぐに要求されず、ユーザは楽器、楽曲に徐々に慣れていき、音楽的な能力を向上できる。そのような方法において、音楽教育システム１１５は非常に楽しい学習体験をユーザに提供できる。ユーザが上達し、セッションを重ねることにより技術を習得および上達していくにつれ、Ｎの値は徐々に１に減少していく。
【０１４５】
音楽教育システム１１５は、ユーザを支援するために他の機能を提供してもよい。例えば音楽教育システム１１５により、ユーザは楽曲のテンポを調整できる。例えば、初心者のユーザは本来のテンポより遅い楽曲のテンポを選択することができ、より上級のユーザは楽曲のテンポの速度を上げることを選択できる。更に音楽教育システム１１５により、ユーザは楽曲の特定の楽節をループできる。例えば楽曲が（最も困難な楽節であろう）ソロの楽節を含む場合、ユーザは楽曲全体ではなくそのソロの楽節のみを練習してもよい。更にユーザは、低減されたテンポでソロの楽節のみを練習してもよい。
【０１４６】
更に、より高い難易度において、音楽教育システム１１５は、事前に録音したエキスパートの演奏（例えば、エキスパート演奏オーディオトラック４０５）に対応しない演奏キューをユーザに提供してもよい。例えば音楽教育システム１１５は、メロディの強調（例えば、メロディの装飾等）、ハーモニーのサブスティテューション（例えば、リハーモナイゼーション等）、テンポの変化、時間の変化等を含む演奏キューを提供してもよい。更に音楽教育システム１１５により、ユーザは事前に録音された伴奏（例えば、伴奏オーディオトラック４１０）及びユーザの演奏をミキシングしたもの、ユーザの演奏のみ又はユーザの演奏を向上したバージョン（例えば、信号処理したバージョン等）を聴くことを許される。
【０１４７】
上述したように、音楽教育システム１１５はユーザの上達を見守り、かつそれをユーザに報告してもよい。例えばセッションの終了時、それがうまくいったかどうかに関わらず、ユーザは自身の演奏に関する統計を提示してもよい。例えば図１８は、採点情報を含む音楽教育システム１１５の例示的なユーザインタフェースを示す図である。他の実現例において、音楽教育システム１１５は、追加の採点情報、異なる採点情報及び／又はより少ない採点情報を含んでもよい。
【０１４８】
図示するように、ユーザインタフェースは、総合スコア１８０５、最長の連続した正確な演奏１８１０、最長の連続した誤った演奏１８１５、精度スコア１８２０（例えば、正確な音の割合）、誤りの傾向１８２５及びユーザレベル１８３０を含んでもよい。
【０１４９】
総合スコア１８０５は、ユーザの演奏及びセッションの間に生じた得点の累積を示してもよい。例えば総合スコア１８０５は、精度点及びボーナス点の累積を含んでもよい。例示的な一実現例によると、総合スコア１８０５は、ユーザが選択できるユーザのレパートリーに楽曲を追加するためにバーチャルストアにより使用されてもよい。図１９は、ユーザがユーザの総合スコア１８０５に基づいて楽曲を選択できるようにする例示的なユーザインタフェースを示す。図１９に示すように、音楽教育システム１１５と関連付けられたバーチャルストアにより、ユーザは、ユーザの総合スコア１８０５が特定の閾値を上回る時にアンロックされた楽曲から選択できる。この例において、ユーザの総合スコアが１００，０００点を上回るため、ユーザは新しい楽曲（例えば、歌）を選択できる。
【０１５０】
音楽教育システム１１５は、総合スコア１８０５に基づいて他の機能を有効にしてもよい。例えば音楽教育システム１１５により、ユーザは伴奏と共に演奏できるが、演奏キューをユーザに提供し、かつエキスパート演奏オーディオトラック４０５を聴く代わりに、音楽教育システム１１５は、ユーザの演奏を録音し、ユーザの演奏を新しい演奏キューのセットに変換してもよい。例示的な一実現例によると、ユーザの演奏キューは他のユーザと共有されてもよい。音楽教育システム１１５は、総合スコア１８０５に基づいて他の機能（例えば、種々の信号処理効果等）を有効にしてもよい。
【０１５１】
図１８に戻ると、最長の連続した正確な演奏１８１０は、正確に演奏された連続した音の数及びそれらの音が演奏された期間を示してもよい。最長の連続した誤った演奏１８１５は、不正確に演奏された連続した音の数及びそれらの音が演奏された期間を示してもよい。精度スコア１８２０は、ユーザの演奏の精度に対応する割合を示してもよい。精度スコア１８２０は、上述した処理１４００に基づいて算出されてもよい。
【０１５２】
誤りの傾向１８２５は、ユーザの演奏に関連した種々の誤りを示してもよい。例えば誤りの傾向１８２５は、ピッチ（例えば、シャープ気味、フラット気味）及びタイミング（例えば、遅い又は速い）に関連した誤りの傾向を含んでもよい。音楽教育システム１１５は、ユーザが自分の演奏をレビューできるようにし、かつユーザが間違えた楽曲の部分を示す（視覚的及び／又は聴覚的に）ユーザインタフェースを更に提供してもよい。この点に関して、音楽教育システム１１５は、ユーザにとって困難な楽曲の部分を対象とすることによりユーザが自身の演奏を向上することを支援してもよい。音楽教育システム１１５は、ピッチの外れた各音楽イベントに対する特定の周波数オフセット（例えば、Ｈｚ単位）をユーザに提供してもよい。更に音楽教育システムは、時間のずれた各音楽イベントに対する特定のタイミングオフセット（例えば、ミリ秒単位、等）をユーザに提供してもよい。音楽教育システム１１５により、ユーザは自身の演奏を向上するために楽曲の特定の部分をループできる。
【０１５３】
ユーザレベル１８３０は、ユーザの演奏と関連付けられたスコア及び統計に基づいてユーザのレベルを示してもよい。例えばユーザレベル１８３０は、未熟者、熟練者、上級者又は天才等のレベルの範囲を含んでもよい。ユーザレベル１８３０は、ユーザが次のセッションに対する難易度を選択するのを支援できる。上述したように、ユーザはいかなる所定のセッションに対しても特定の難易度を選択してもよい。例示的な一実現例によると、音楽教育システム１１５は、難易度に基づいて種々の報酬（例えば、得点、ボーナス等）、フィードバック等を提供してもよい。他の実現例によると、音楽教育システム１１５は、難易度に基づいて種々の報酬、フィードバック等を提供しなくてもよい。音楽教育システム１１５は、特定の精度スコア、正確に連続して演奏した音の数等を上回って楽曲を演奏することに対してボーナス点（例えば、図５の演奏結果５５５に関して上述した乗数）を与えてもよい。
【０１５４】
図２０は、音楽教育システム１１５がセッションに対する総合スコアを算出できる例示的な処理を示す。例示的な一実現例によると、総合スコアは楽曲と関連付けられた難易度に基づいてもよい。例えば楽曲がバッハの協奏曲に対してハ長調音階に対応する場合、音楽教育システム１１５は、総合スコアを算出する時にこのファクタを考慮してもよい。例えば音楽教育システム１１５は、例えば調和性(harmonic content)及び／又は演奏技巧等のファクタを使用してもよい。例えば１つの楽曲は、複雑な和音進行を含む別の楽曲と比較して単純な和音進行を含んでもよい。更に又はあるいは、楽曲は異なる範囲の和音構造（例えば、三和音、セブンスコード、テンションコード等）を含んでもよい。演奏技巧の一例として、１つの楽曲（例えば、ギターの楽曲）は、４フレットの範囲で演奏でき、押弦位置も余り変わらない一方、別の楽曲は演奏に７フレットの範囲が必要で、かつ押弦位置が頻繁に変わってもよい。音楽教育システム１１５は、例えば楽曲と関連するメロディの内容、切分音、時間の変化、観察された音楽イベントの数／予期される音楽イベントの数等の他のファクタを使用して楽曲と関連付けられた難易度を割り当ててもよい。
【０１５５】
更に又はあるいは、総合スコアは、楽曲と関連付けられたユーザ難易度（例えば、未熟者、上級者等）に基づいてもよい。例えば最も簡単なユーザ難易度では、ユーザがより多くの音を演奏することを要求される、より高いユーザ難易度と比較して、楽曲と関連付けられた最小数の音をユーザが演奏すればよいようにしてもよい。このように、ユーザは、難しい楽曲を選択するかもしれないが、楽曲の簡素化され、かつ／又は単純化されたバージョンを演奏する機会を与えられる。例示的な一実現例によると、ユーザ難易度が易しい場合、ユーザ難易度がより高い場合と比較して、見込まれる得点は低くなるであろう。更に又はあるいは、総合スコアは予期される音楽イベントを演奏する際のユーザの精度に基づいてもよい。例えば精度スコアは、音楽イベントのユーザの演奏を予期される音楽イベントの数で除算した結果に基づいてもよい。
【０１５６】
図２１は、経時的なユーザの上達を要約できる、音楽教育システム１１５の例示的なユーザインタフェースを示す図である。例えばユーザインタフェースは、経過時間セクション２１０５、開始セッションセクション２１１０、完了セッションセクション２１１５、高スコアセクション２１２０、セッション難易度セクション２１２５、平均スコアセクション２１３０及び精度セクション２１３５を含んでもよい。また、図示するように、ユーザインタフェースは、セクション２１０５〜２１３５に対応する期間２１４０を更に含んでもよい。他の実現例によると、ユーザインタフェースは、図２１に示し、かつ本明細書で説明するセクションと比較して追加のセクション、異なるセクション及び／又はより少ないセクションを含んでもよい。更に又はあるいは、他の実現例によると、ユーザの上達と関連付けられた演奏データは、例えばグラフ（例えば、棒グラフ、線グラフ等）、チャート（例えば、円グラフ等）又は他の何らかの種類の可視（すなわち、グラフィック又は非グラフィック）表現等のテーブル以外の形式で提示されてもよい。
【０１５７】
経過時間セクション２１０５は、ユーザが音楽教育システム１１５を使用して費やした期間（例えば、時間、日数等）を示してもよい。開始セッションセクション２１１０は、ユーザが開始したセッション数を示してもよい。完了セッションセクション２１１５は、ユーザが完了したセッション数を示してもよい。高スコアセクション２１２０は、ユーザの最高スコアを示してもよい。セッション難易度セクション２１２５は、セッションと関連付けられた難易度を示してもよい。平均スコアセクション２１３０は平均スコアを示してもよく、精度セクション２１３５はユーザの演奏と関連付けられた精度の測定値を示してもよい。
【０１５８】
例示的な一実現例によると、音楽教育システム１１５は、ユーザの演奏データをデータベースに格納してもよい。例えばデータベースは、ネットワーク接続（例えば、インターネット）を介して音楽教育システム１１５によりアクセスできるリモートデバイス（例えば、サーバ等）に存在してもよい。他の例において、ネットワーク接続が利用可能でない場合、音楽教育システム１１５は演奏データをメモリ／記憶装置２１０に格納する。音楽教育システム１１５により収集された演奏データはユーザに提示されてもよい。このように、ユーザは自身の上達がよく分かる。更に音楽教育システム１１５は、他のユーザ、親、音楽の指導者、友人等と自身の演奏データを共有することを可能にしてもよい。例えば、他のユーザ等がリモートデバイスにアクセスしてもよい。リモートデバイスは、他のユーザが演奏データを利用できるようにしたいと考える音楽教育システム１１５のユーザ間で種々の情報（例えば、統計、スコア、演奏ビデオ等）を格納してもよい。例示的な一実現例によると、リモートデバイスはプライバシー等を維持するためにセキュリティ対策を提供してもよい（例えば、ログインを要求する等）。更にリモートデバイスは、更新データ（例えば、ソフトウェア更新データ）を音楽教育システム１１５に提供してもよい。
【０１５９】
図２２は、音楽教育システム１１５が音楽のジャンルに従ってユーザの技術を追跡できる例示的な処理を示す図である。例えば音楽ジャンルは、ロック、カントリー、クラシック、ジャズ、ブルース、ポップ等を含んでもよい。例示的な一実現例によると、音楽教育システム１１５は、演奏データを収集し、演奏データを１つ又は複数の適切な音楽ジャンルに格納してもよい。例えば図２２に示すように、演奏データはロックジャンル２２０５、カントリージャンル２２１０又はクラシックジャンル２２１５に格納されてもよい。楽曲は、１つ又は複数の音楽ジャンルにマッピングされてもよい。
【０１６０】
ユーザの目的に依存して、音楽教育システム１１５は、ユーザが複数の音楽ジャンルに関して自身の上達を認識できるようにしてもよい。これは、ユーザの音楽に対する全体的な上達にとって有益であるだろう。例えばユーザは、ユーザが自身の音楽の能力及び音楽の知識を向上させるのを全般的に支援するレパートリー（例えば、曲、作曲、ハーモニー、音階等の集合）を広げてもよい。
【０１６１】
図２３は、音楽教育システム１１５により使用される例示的な換算表２３００を示す図である。図示するように、換算表２３００はギター（例えば、６弦ギター）等の楽器に関連してもよく、周波数、ＭＩＤＩ音及び音オクターブ情報と共に垂直軸上に音Ｅ、Ｂ、Ｇ、Ｄ、Ａ及びＥが含まれ、水平線上にフレット位置情報が提示される。楽器及び／又は楽器のチューニングに依存して、音楽教育システム１１５は適切な換算表を使用してもよい。
【０１６２】
例示的な一実現例によると、音楽教育システム１１５は、換算表２３００に基づいて演奏キューデータから予期される音楽イベントを自動的に導出してもよい。例えば音楽教育システム１１５は、換算表２３００を使用して演奏キュー４１５から演奏データ４２０を導出してもよい。別の実現例によると、音楽教育システム１１５は、換算表２３００を使用して演奏データ４２０から演奏キュー４１５を導出してもよい。
【０１６３】
例示的な一実施形態によると、音楽教育システム１１５は、単一のユーザではなく複数のユーザにユーザインタフェースを同時に提供してもよい。例えば音楽教育システム１１５は、同一の又は異なる楽器で演奏している複数のユーザに対してユーザインタフェースを提供してもよい。例えば図２４は、複数のユーザに対する例示的な視覚的要素を含む例示的なユーザインタフェース２４００を示す図である。図示するように、ユーザインタフェース２４００は、ギターセクション２４０５、キーボードセクション２４１０、ボーカルセクション２４１５及びドラムセクション２４２０を含んでもよい。このように、ユーザは音楽教育システム１１５と共に楽曲を演奏してもよい。そのような状況下において、各ユーザは音楽教育システム１１５に対する入力を有してもよい。例示的な一実現例によると、音楽教育システム１１５は全てのユーザに対して伴奏オーディオトラック４１０を１つのみ提供してもよい。しかし、伴奏オーディオトラック４１０は、各チャネルが異なる楽器の音を含むマルチチャネルレコーディングを含んでもよい。音楽教育システム１１５は、ユーザが再生する楽器を選択することを可能にしてもよい。例として、伴奏オーディオトラック４１０の再生は、ユーザのグループにより演奏されていない楽器のみを含んでもよいがこれに限定されない。
【０１６４】
上述したように、音楽教育システム１１５は、マウス１３５及びキーボード１３０等の入力２２５を含んでもよく、ユーザがナビゲートし、情報を入力し、かつ／又は音楽教育システム１１５と対話することを可能にする。しかし、ユーザは楽器と入力２２５との間で手を切り換え続ける必要があるため、音楽教育システム１１５と対話することは負担となる。例示的な一実現例によると、音楽教育システム１１５は、ユーザが音楽教育システム１１５と対話したり、ナビゲートしたりするために音又はパーカッション入力を入力することを可能にしてもよい。換言すると、音楽教育システム１１５は、音又はパーカッション入力を例えばキーストローク、マウスクリック及び／又は他の種類の入力コマンドにマッピングしてもよい。例えば音楽教育システム１１５は、ユーザが特定の音又は一連の音を演奏することに基づいてセッションを開始又は停止することを可能にしてもよい。更に音楽教育システム１１５は、ユーザが特定の音又は一連の音を演奏することに対応して、ユーザが音楽教育システム１１５により提供された種々のユーザインタフェースにアクセスできるようにしてもよい。更に又はあるいは、音楽教育システム１１５は音声コマンド（例えば、単語、句等）に応答してもよい。
【０１６５】
例示的な一実施形態によると、ユーザはセッション中に楽曲を演奏してもよい。音楽教育システム１１５は、ユーザが特に楽曲、セッション難易度（例えば、初心者、未熟者、熟練者、上級者又は天才等）、演奏キューの種類（例えば、タブ譜、一般的な楽譜等）及び楽器を選択できるようにするユーザインタフェースを提供してもよい。ユーザの演奏準備が整った時、音楽教育システム１１５は演奏キュー及び伴奏を提供してもよい。音楽教育システム１１５は、リアルタイム又はほぼリアルタイムでユーザの演奏を評価し、かつ演奏結果（例えば、スコア等）だけでなくフィードバック（例えば、肯定的又は否定的）をユーザに提供してもよい。音楽教育セッション１１５は、セッションが完了した時に演奏結果をユーザに提供してもよい。セッションをユーザに提供する例示的な処理については以下に説明する。
【０１６６】
図２５Ａ及び図２５Ｂは、音楽教育システム１１５がユーザにセッションを提供できる例示的な処理２５００を示すフローチャートである。
【０１６７】
処理２５００は、ユーザ設定を受信すること（ブロック２５０５）を含んでもよい。例えば、ユーザは演奏の前に楽器の準備をしてもよい。音楽教育システム１１５は、例えばチューニング、入力レベル（例えば、楽器レベル、マスターレベル、伴奏レベル等）、効果レベル（例えば、ミックスレベル、デジタルオーディオ効果レベル等）、楽曲の選択、テンポ設定、難易度の選択等の種々のユーザ設定を受信してもよい。音楽教育システム１１５は、他の種類のユーザ設定を提供してもよい。例えば、ユーザは手順を通して指導され、音楽データ（例えば、エキスパート演奏オーディオトラック、伴奏オーディオトラック）に対応するピッチに楽器を設定してもよい。
【０１６８】
セッションが準備されてもよい（ブロック２５１０）。例えば音楽教育システム１１５は、音楽データ（例えば、エキスパート演奏トラック、伴奏トラック等）をロード及び／又は位置合わせしたり、タイムコードを初期化したり、セッションインタフェースを初期化したりしてもよい。
【０１６９】
演奏キュー及び伴奏が提供されてもよい（ブロック２５１５）。例えば一実現例によると、音楽教育システム１１５は、聴覚的な楽曲データの再生を開始してもよい。例えば音楽教育システム１１５は、伴奏オーディオトラックを再生してもよい。他の字例示的な実現例によると、音楽教育システム１１５は、伴奏オーディオトラック及びエキスパートオーディオトラックの双方の再生を開始してもよい。音楽教育システム１１５は、適切な演奏キューをユーザに提供してもよい。演奏キューは、聴覚的な楽曲データに同期されてもよい。
【０１７０】
ユーザの演奏が検出されてもよい（ブロック２５２０）。例えば音楽教育システム１１５は、ユーザの楽器の演奏を検出してもよい。楽器に依存して、音楽教育システム１１５は、ラインアウト、ＭＩＤＩ又は他の方法を介してマイク、ピックアップを介するか又は直接演奏データを楽器から受信してもよい。音楽教育システム１１５は、演奏データを利用して波形、ＭＩＤＩファイル等を生成してもよい。
【０１７１】
演奏評価が判定されてもよい（ブロック２５２５）。例えば上述したように、音楽教育システム１１５は受信した演奏データを予期される演奏データと比較してもよい。音楽教育システム１１５は、正確に演奏された音楽イベント及び不正確に演奏された音楽イベントを判定してもよい。例示的な実現例によると、上述したように、音楽教育システム１１５は、正確に又は不正確に演奏された音楽イベント及びそれらの音楽イベントがどの程度正確に又は不正確に演奏されたかを判定するために種々の許容差を使用してもよい。
【０１７２】
例示的な一実現例によると、許容差はセッション難易度の設定に依存して変動してもよい。例えば周波数に基づく許容差を参照すると、セッション難易度「ハード」は、所定の音楽イベントに対して２Ｈｚの差分周波数又は０Ｈｚの差分周波数しか許可しない可能性があり、その一方で、セッション難易度「イージー」は、同一の音楽イベントに対して１０Ｈｚ又はそれ以上の差分周波数を許可する。更に、セッション難易度に対する周波数に基づく許容差は、等分平均律音階及び／又は他のチューニングシステムに従って変動してもよい。すなわち、例えばセッション難易度「ハード」は、中央ＣとＡ（４４０Ｈｚ）との間の音楽イベントに対して２Ｈｚの差分周波数しか許可しないが、Ａ（４４０Ｈｚ）より上の音楽イベントは等分平均律音階の自然対数を与えられた２Ｈｚより大きい周波数に基づく許容差が許可されてもよい。この点に関して、音楽教育システム１１５は、セッション難易度、特定の音楽イベント等に依存してユーザにより演奏された音楽イベントが例えば半音高いか又は半音低いかに関して融通性があってもよい。例示的な一実現例によると、許容差はユーザ設定可能なパラメータであってもよい。別の例示的な一実現例によると、音楽教育システム１１５は、セッション難易度に基づいてデフォルトの許容差を設定してもよい。
【０１７３】
例示的な一実施形態によると、特定の音楽特性に関する許容差はセッション中静的であってもよい。上述したように、許容差は、例えば振幅、期間、周波数、振幅曲線、開始時間等の音楽イベントと関連付けられた種々の音楽特性に関連してもよい。許容差がセッション中静的である場合、特定の許容差は、楽曲内のパッセージの難易度に関係なく楽曲にわたり継続的に適用されてもよい。例えば楽曲内の単純なリズムのパッセージは、楽曲内の非常に複雑なリズムのパッセージと同一の開始時間許容差を有してもよい。
【０１７４】
別の例示的な実施形態によると、音楽教育システム１１５は、例えばテンポ、音域、パッセージの難易度、楽曲と関連付けられた切分音、テンポの変化、転調等の楽曲と関連付けられた特性に基づいて動的な許容差を使用してもよい。
【０１７５】
演奏評価が肯定的であると判定される場合（ブロック２５２５−肯定的）、肯定的フィードバックがユーザに提供されてもよい（ブロック２５３０）。例えば音楽イベントがユーザにより正確に演奏されたと判定される場合、音楽教育システム１１５は肯定的なフィードバックをユーザに提供してもよい。上述したように、音楽教育システム１１５は変動するレベルの肯定的フィードバックをユーザに対して示すために種々の視覚的キュー及び／又は聴覚的キューを提供してもよい。
【０１７６】
セッションが完了したかが判定されてもよい（ブロック２５３５）。音楽教育システム１１５は、セッションが完了したか（例えば、楽曲が終了したか）を判定してもよい。セッションが完了したと判定される場合（ブロック２５３５−ＹＥＳ）、処理２５００は以下に説明する図２５Ｂのブロック２５５０に進んでもよい。セッションが完了していないと判定される場合（ブロック２５３５−ＮＯ）、処理２５００はブロック２５１５に進んでもよい。例示的な一実現例によると、演奏が演奏に基づく閾値を満足し、かつユーザが肯定的フィードバックを与えられた場合、音楽教育システム１１５は、ユーザの演奏中に楽曲の難易度を自動的に増加させてもよい。例えば演奏に基づく閾値は、時間（例えば、楽曲をある期間正確に演奏すること）、正確に演奏された音楽イベントの数又は正確に演奏された連続した音楽イベントの数等と関連してもよい。他の例示的な実現例によると、音楽教育システム１１５は難易度を増加させなくてもよい。
【０１７７】
演奏評価が否定的であると判定される場合（ブロック２５２５−否定的）、否定的フィードバックがユーザに提供されてもよい（ブロック２５４０）。例えば音が不正確に演奏されたと判定される場合、音楽教育システム１１５は否定的フィードバックをユーザに提供してもよい。上述したように、音楽教育システム１１５は、変動するレベルの否定的フィードバックをユーザに対して示すために種々の視覚的キュー及び／又は聴覚的キューを提供してもよい。
【０１７８】
セッションが完了したかが判定されてもよい（ブロック２５４５）。音楽教育システム１１５は、セッションが完了したか（例えば、楽曲が終了したか）を判定してもよい。セッションが完了したと判定される場合（ブロック２５４５−ＹＥＳ）、処理２５００は以下に説明する図２５Ｂのブロック２５５０に進んでもよい。セッションが完了していないと判定される場合（ブロック２５４５−ＮＯ）、処理２５００はブロック２５１５に進んでもよい。例示的な一実現例によると、演奏が演奏に基づく閾値を満足せず、かつユーザが否定的フィードバックを与えられた場合、音楽教育システム１１５は、ユーザの演奏中に楽曲の難易度を自動的に低下させてもよい。例えば演奏に基づく閾値は、時間（例えば、楽曲をある期間不正確に演奏すること）、不正確に演奏された音楽イベントの数又は不正確に演奏された連続した音楽イベントの数等と関連してもよい。更に又はあるいは、例示的な一実現例によると、ユーザの演奏が演奏に基づく閾値を下回る場合、音楽教育システム１１５はセッションを自動的に終了してもよい。他の例示的な実現例によると、音楽教育システム１１５はユーザの演奏に基づいて難易度を低下させなくてもよく、かつ／又はセッションを終了しなくてもよい。
【０１７９】
図２５Ｂを参照すると、スコアが生成されてもよい（ブロック２５５０）。例えば音楽教育システム１１５は、上述したように、演奏関連統計（例えば、演奏されなかった音楽イベント、正確に演奏された音楽イベント等）等の他の種類のフィードバック情報だけでなくユーザに対するスコアを生成してもよい。
【０１８０】
セッションは完了する（ブロック２５５５）。例えば音楽教育システム１１５は、ユーザに対してスコア結果を表示してもよい。音楽教育システム１１５は、例えば改善する領域（例えば、和音の演奏、テンポの維持等）及び／又はユーザの技術レベルの上達等の他の種類の情報を更に表示してもよい。
【０１８１】
図２５Ａ及び図２５Ｂはユーザに対してセッションを提供する例示的な処理２５００を示すが、他の実現例において、処理２５００は図２５Ａ及び図２５Ｂに示し、かつ説明する動作と比較して追加の動作、より少ない動作及び／又は異なる動作を含んでもよい。
【０１８２】
単数の項目は、１つ以上の項目を含むものとして解釈されることを意図する。更に、「〜に基づく」という表現は、特に指定のない限り「少なくとも部分的に〜に基づく」と解釈されることを意図する。「及び／又は」という用語は、１つ以上の関連する項目のあらゆる全ての組み合わせを含むものとして解釈されることを意図する。
【０１８３】
更に一連のブロックが図１２Ａ〜図１２Ｃ、図１５、図２５Ａ及び図２５Ｂに示した処理に関して説明されたが、他の実現例において、ブロックの順序は変更されてもよい。また、依存しないブロックは並列に実行されてもよい。
【０１８４】
本明細書で説明された実施形態は、図示される実現例においてハードウェアと組み合わせて多くの種々の形態のソフトウェア又はファームウェアで実現されてもよい。デバイス、方法及び／又はシステムを実現するのに使用される実際のソフトウェアコード（ハードウェアにより実行可能である）又は専用制御ハードウェアは、本発明の開示を限定しない。従って、デバイス及び／又はシステムの動作及び挙動、あるいは方法の実行は、特定のソフトウェアコードを参照せずに説明した。すなわち、ソフトウェア及び制御ハードウェアは本明細書の説明に基づいてデバイス、方法及び／又はシステムを実現するように設計可能であると理解される。
【０１８５】
上述した更なる特定の特徴は、１つ以上の機能を実行する「論理」又は「構成要素」として実現されてもよい。この論理又は構成要素は、ハードウェア（例えば、処理システム２０５）、ハードウェア及びソフトウェアの組み合わせ、ファームウェアを含むハードウェアの組み合わせ、あるいはハードウェア、ソフトウェア及びファームウェアの組み合わせを含んでもよい。
【０１８６】
上記説明において、種々の実施形態は添付の図面を参照して説明された。しかし、以下の特許請求の範囲に示すような本発明のより広い範囲から逸脱せずに、種々の変形及び変更がそれらに対して行われてもよいこと並びに追加の実施形態が実現れてもよいことは明らかだろう。従って、説明及び図面は、限定するものではなく例示として考えられる。
【０１８７】
特に指示のない限り、本出願において使用された要素、動作又は命令が本明細書で説明した実現例に不可欠又は必須であると解釈されるべきではない。
【特許請求の範囲】
【請求項１】
楽曲のユーザ選択を受信するステップと、
音楽イベントを楽器で演奏するために前記楽曲のエキスパート演奏データと同期した演奏キューをユーザに提供するステップと、
前記ユーザにより前記楽器で演奏された音楽イベントに対応するオーディオデータを受信するステップと、
前記ユーザが演奏した音楽イベントに関する基本周波数を検出するステップと、
前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された程度を判定するステップと、
前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された前記程度を示す聴覚的フィードバック、視覚的フィードバック及び／又は触覚的フィードバックをリアルタイム又はほぼリアルタイムで提供するステップと、
セッション中、前記ユーザに出力される前記エキスパート演奏データの出力レベルを制御することにより、前記エキスパート演奏データをリアルタイム又はほぼリアルタイムの聴覚的フィードバックあるいはリアルタイム又はほぼリアルタイムのオーディオ／ビデオフィードバックとして使用するステップと、
を有することを特徴とする方法。
【請求項２】
ユーザが演奏した音楽イベントが正確に又は不正確に演奏された前記程度に基づいて、前記セッション中に前記楽曲の難易度を自動的に調整するステップをさらに有することを特徴とする請求項１記載の方法。
【請求項３】
前記エキスパート演奏データを使用する場合、前記ユーザが演奏した音楽イベントはミュートされるとともに、前記エキスパート演奏データの前記出力レベルは、前記ユーザが演奏した音楽イベントが正確に演奏されている時に増加されることを特徴とする請求項１記載の方法。
【請求項４】
前記検出するステップは、
前記ユーザが演奏した音楽イベントの開始を検出するステップと、
前記開始を含まない前記オーディオデータの連続したブロックの集合に対して基本周波数検出を実行するステップと、
をさらに有することを特徴とする請求項１記載の方法。
【請求項５】
前記検出するステップは、
前記開始を検出するために第１のサイズを有するオーディオデータのブロックを形成するステップと、
前記基本周波数を検出するために前記第１のサイズより大きい第２のサイズを有するオーディオデータのブロックと形成するステップと、
を更に含むことを特徴とする請求項４記載の方法。
【請求項６】
前記検出するステップは、
前記オーディオデータに含まれた周波数と関連付けられた大きさと乗算される指標に対応する値を有する乗数に基づいて算出される前記大きさの加重和を算出するステップを更に含むことを特徴とする請求項４記載の方法。
【請求項７】
前記判定するステップは、
各々が前記楽曲と関連付けられた音楽イベントと関連する音楽特性に対応する値の範囲を含む前記音楽イベントに対する１つ以上の音楽特性許容差を割り当てるステップと、
前記音楽特性許容差に基づいて、前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏される前記程度を判定するステップと、
を含むことを特徴とする請求項１記載の方法。
【請求項８】
前記音楽特性は、周波数、振幅、開始時間、終了時間又は期間のうちの１つに関連し、割り当てられた前記値の範囲は前記セッションの難易度に基づくことを特徴とする請求項７記載の方法。
【請求項９】
前記楽曲の演奏中、前記ユーザのビデオ画像を提供するステップをさらに有することを特徴とする請求項１記載の方法。
【請求項１０】
前記エキスパートによる楽曲の演奏に対応するスクロールする波形を表示するステップと、
前記楽曲の前記ユーザの演奏に対応するスクロールする波形を表示するステップと、
をさらに有することを特徴とする請求項１記載の方法。
【請求項１１】
前記演奏キューを提供するステップは、
音楽イベントを演奏するための指の位置を表示するステップを有し、前記表示が人間の手の提示を含むことを特徴とする請求項１記載の方法。
【請求項１２】
前記ユーザによる前記楽曲の演奏に関する誤り傾向を含むスコア情報を前記ユーザに提供するステップをさらに有することを特徴とする請求項１記載の方法。
【請求項１３】
命令を格納する１つ以上のメモリと、
前記１つ以上のメモリの前記命令を実行する１つ以上のプロセッサとを有し、
前記１つ以上のプロセッサは、
楽曲のユーザ選択を受信し、
前記楽曲と関連付けられた音楽イベントを楽器で演奏するための演奏キューをユーザに提供し、
ユーザが演奏した音楽イベントを含むオーディオデータを前記楽器から受信し、
前記ユーザが演奏した音楽イベントと関連する基本周波数を検出し、
前記音楽イベントと関連付けられた１つ以上の音楽特性許容差に基づいて、前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された程度を判定し、
前記判定に基づいて、前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された前記程度を示す視覚的フィードバック及び／又は聴覚的フィードバックをリアルタイム又はほぼリアルタイムでユーザに提供する、
ために、前記１つ以上のメモリ内の前記命令を実行することを特徴とする装置。
【請求項１４】
前記演奏キューは、前記エキスパートによる楽曲の演奏に対応するエキスパート演奏データと同期していることを特徴とする請求項１３記載のデバイス。
【請求項１５】
前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントが正確に演奏された前記程度又は正確に演奏されなかった前記程度に基づく出力レベルで前記エキスパート演奏データを聴覚的フィードバックとして前記ユーザに対して再生し、
前記ユーザが演奏した音楽イベントが正確に演奏された前記程度又は正確に演奏されなかった前記程度に基づく表示の視覚的鮮明度で前記エキスパート演奏データを視覚的フィードバックとして前記ユーザに対して再生する、
ために命令を実行することを特徴とする請求項１４記載の装置。
【請求項１６】
前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントが正確に演奏されたと判定される場合に前記ユーザが演奏した音楽イベントのオーディオ出力に対して１つ以上の第１の信号処理オーディオ効果を導入し、
前記ユーザが演奏した音楽イベントが正確に演奏されなかったと判定される場合に前記ユーザが演奏した音楽イベントの前記出力に対して１つ以上の第２の信号処理オーディオ効果を導入する、ために命令を実行し、
前記１つ以上の第１の信号処理オーディオ効果は前記ユーザが演奏した音楽イベントの質を向上させ、前記１つ以上の第２の信号処理オーディオ効果は前記ユーザが演奏した音楽イベントの質を低下させることを特徴とする請求項１３記載の装置。
【請求項１７】
前記装置は、ゲームシステム、コンピュータ又はポータブル通信デバイスのうちの少なくとも１つを有することを特徴とする請求項１３記載の装置。
【請求項１８】
前記１つ以上のプロセッサは、
前記音楽イベントに対応する視覚的キューを含む前記演奏キューおよび前記楽器のグラフィック表現を含むスクロールするタブ譜を表示するために命令を実行することを特徴とする請求項１３記載の装置。
【請求項１９】
前記基本周波数を検出する際、前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントの開始を検出するために第１のサイズを有するオーディオデータの第１のブロックを形成し、
基本周波数を検出するために前記第１のサイズより大きい第２のサイズを有し、かつ前記開始を含まない連続した第１のブロックの集合を含むオーディオデータの第２のブロックを形成するために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２０】
各音楽特性許容差は、周波数、振幅、開始時間、終了時間、リズム又は期間のうちの少なくとも１つを含む音楽イベントと関連付けられた音楽特性に対応し、かつ前記音楽イベントのエキスパートの演奏に対応する値を含む値の範囲を含み、
前記ユーザが演奏した音楽イベントが正確に演奏されたか又は不正確に演奏されたかを判定する際、前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントと関連付けられた前記音楽特性を評価し、
前記ユーザが演奏した音楽イベントと関連付けられた前記音楽特性に対応する値を前記値の範囲と比較し、
前記比較に基づいて前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された程度を判定する、ために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２１】
前記１つ以上のプロセッサは、
前記楽器で演奏された音を、前記装置と関連付けられたユーザインタフェースを前記ユーザがナビゲートし、かつ該ユーザインタフェースと対話することを可能にする入力コマンドとして音マッピングするために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２２】
前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントが正確に演奏されたか又は不正確に演奏されたかに対応するスコアをし、前記楽曲に割り当てられた難易度に基づいて算出し、
前記ユーザに対して前記スコアを表示する、ために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２３】
前記１つ以上のプロセッサは、
セッション中に聴覚的フィードバック及び視覚的フィードバックを前記ユーザに提供する仮想助言者、指導者又はコーチ、あるいは前記セッション中の前記ユーザのビデオ画像、のうちの１つ以上をディスプレイに出力するために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２４】
前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントに含まれる周波数と関連付けられた大きさの加重和を、前記大きさが乗算される指標に対応する値を有する乗数に基づいて算出するために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２５】
少なくとも１つのプロセッサにより実行可能な命令が格納されたコンピュータ可読媒体であって、
楽曲のユーザ選択を受信するための命令と、
前記楽曲と関連付けられた音楽イベントを楽器で演奏するための演奏キューをユーザに提供するための命令と、
前記ユーザが演奏した音楽イベントを含むオーディオデータを前記楽器から受信するための命令と、
前記オーディオデータ又は前記楽器のうちの少なくとも一方に基づいて、前記ユーザが演奏した音楽イベントと関連付けられた基本周波数を検出するかを判定するための命令と、
前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された程度を判定するための命令と、
前記判定に基づいて、前記ユーザが演奏した音楽イベントが正確に演奏された前記程度を示すフィードバックを前記ユーザに提供するための命令と、を格納することを特徴とするコンピュータ可読媒体。
【請求項２６】
前記ユーザが演奏した音楽イベントと関連付けられた基本周波数を検出するための命令と、
前記ユーザが演奏した音楽イベントと共に含まれる周波数と関連付けられた大きさの加重和を算出するための命令と、
前記ユーザが演奏した音楽イベントの開始を検出するための命令と、
前記開始を含まない前記オーディオデータの連続したブロックの集合に対して基本周波数検出を実行するための命令と
前記連続したブロックの集合に含まれた周波数と関連付けられたピーク推定値を算出するための命令と、のうち１つ以上をさらに格納することを特徴とする請求項２５記載のコンピュータ可読媒体。
【請求項２７】
前記大きさと乗算される指標に対応する値を有する乗数に基づいて前記加重和を算出するための１つ以上の命令をさらに格納することを特徴とする請求項２６記載のコンピュータ可読媒体。
【請求項２８】
前記楽曲のジャンルに従って前記ユーザと関連付けられた演奏統計を格納するための１つ以上の命令をさらに格納することを特徴とする請求項２５記載のコンピュータ可読媒体。
【請求項２９】
前記楽曲を演奏するために種々の難易度を提供するための命令と、
前記難易度のうちの１つのユーザ選択を受信するための命令と、
前記ユーザが演奏した音楽イベントが正確に演奏された前記程度が第１の閾値を超える場合、セッション中に前記楽曲の難易度を自動的に増加させるための命令と、
前記ユーザが演奏した音楽イベントが不正確に演奏された前記程度が第２の閾値を下回る場合、前記セッション中に前記楽曲の難易度を自動的に低下させるための命令と、
前記ユーザが演奏した音楽イベントが不正確に演奏された前記程度が停止閾値を下回る場合、前記セッションを自動的に終了するための命令と、のうち１つ以上をさらに格納することを特徴とする請求項２５記載のコンピュータ可読媒体。
【請求項３０】
複数のセッションにわたる前記ユーザの上達に関連するデータを含むデータベースを格納するための１つ以上の命令を更に備えることを特徴とする請求項２５記載のコンピュータ可読媒体。
【請求項１】
楽曲のユーザ選択を受信するステップと、
音楽イベントを楽器で演奏するために前記楽曲のエキスパート演奏データと同期した演奏キューをユーザに提供するステップと、
前記ユーザにより前記楽器で演奏された音楽イベントに対応するオーディオデータを受信するステップと、
前記ユーザが演奏した音楽イベントに関する基本周波数を検出するステップと、
前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された程度を判定するステップと、
前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された前記程度を示す聴覚的フィードバック、視覚的フィードバック及び／又は触覚的フィードバックをリアルタイム又はほぼリアルタイムで提供するステップと、
セッション中、前記ユーザに出力される前記エキスパート演奏データの出力レベルを制御することにより、前記エキスパート演奏データをリアルタイム又はほぼリアルタイムの聴覚的フィードバックあるいはリアルタイム又はほぼリアルタイムのオーディオ／ビデオフィードバックとして使用するステップと、
を有することを特徴とする方法。
【請求項２】
ユーザが演奏した音楽イベントが正確に又は不正確に演奏された前記程度に基づいて、前記セッション中に前記楽曲の難易度を自動的に調整するステップをさらに有することを特徴とする請求項１記載の方法。
【請求項３】
前記エキスパート演奏データを使用する場合、前記ユーザが演奏した音楽イベントはミュートされるとともに、前記エキスパート演奏データの前記出力レベルは、前記ユーザが演奏した音楽イベントが正確に演奏されている時に増加されることを特徴とする請求項１記載の方法。
【請求項４】
前記検出するステップは、
前記ユーザが演奏した音楽イベントの開始を検出するステップと、
前記開始を含まない前記オーディオデータの連続したブロックの集合に対して基本周波数検出を実行するステップと、
をさらに有することを特徴とする請求項１記載の方法。
【請求項５】
前記検出するステップは、
前記開始を検出するために第１のサイズを有するオーディオデータのブロックを形成するステップと、
前記基本周波数を検出するために前記第１のサイズより大きい第２のサイズを有するオーディオデータのブロックと形成するステップと、
を更に含むことを特徴とする請求項４記載の方法。
【請求項６】
前記検出するステップは、
前記オーディオデータに含まれた周波数と関連付けられた大きさと乗算される指標に対応する値を有する乗数に基づいて算出される前記大きさの加重和を算出するステップを更に含むことを特徴とする請求項４記載の方法。
【請求項７】
前記判定するステップは、
各々が前記楽曲と関連付けられた音楽イベントと関連する音楽特性に対応する値の範囲を含む前記音楽イベントに対する１つ以上の音楽特性許容差を割り当てるステップと、
前記音楽特性許容差に基づいて、前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏される前記程度を判定するステップと、
を含むことを特徴とする請求項１記載の方法。
【請求項８】
前記音楽特性は、周波数、振幅、開始時間、終了時間又は期間のうちの１つに関連し、割り当てられた前記値の範囲は前記セッションの難易度に基づくことを特徴とする請求項７記載の方法。
【請求項９】
前記楽曲の演奏中、前記ユーザのビデオ画像を提供するステップをさらに有することを特徴とする請求項１記載の方法。
【請求項１０】
前記エキスパートによる楽曲の演奏に対応するスクロールする波形を表示するステップと、
前記楽曲の前記ユーザの演奏に対応するスクロールする波形を表示するステップと、
をさらに有することを特徴とする請求項１記載の方法。
【請求項１１】
前記演奏キューを提供するステップは、
音楽イベントを演奏するための指の位置を表示するステップを有し、前記表示が人間の手の提示を含むことを特徴とする請求項１記載の方法。
【請求項１２】
前記ユーザによる前記楽曲の演奏に関する誤り傾向を含むスコア情報を前記ユーザに提供するステップをさらに有することを特徴とする請求項１記載の方法。
【請求項１３】
命令を格納する１つ以上のメモリと、
前記１つ以上のメモリの前記命令を実行する１つ以上のプロセッサとを有し、
前記１つ以上のプロセッサは、
楽曲のユーザ選択を受信し、
前記楽曲と関連付けられた音楽イベントを楽器で演奏するための演奏キューをユーザに提供し、
ユーザが演奏した音楽イベントを含むオーディオデータを前記楽器から受信し、
前記ユーザが演奏した音楽イベントと関連する基本周波数を検出し、
前記音楽イベントと関連付けられた１つ以上の音楽特性許容差に基づいて、前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された程度を判定し、
前記判定に基づいて、前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された前記程度を示す視覚的フィードバック及び／又は聴覚的フィードバックをリアルタイム又はほぼリアルタイムでユーザに提供する、
ために、前記１つ以上のメモリ内の前記命令を実行することを特徴とする装置。
【請求項１４】
前記演奏キューは、前記エキスパートによる楽曲の演奏に対応するエキスパート演奏データと同期していることを特徴とする請求項１３記載のデバイス。
【請求項１５】
前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントが正確に演奏された前記程度又は正確に演奏されなかった前記程度に基づく出力レベルで前記エキスパート演奏データを聴覚的フィードバックとして前記ユーザに対して再生し、
前記ユーザが演奏した音楽イベントが正確に演奏された前記程度又は正確に演奏されなかった前記程度に基づく表示の視覚的鮮明度で前記エキスパート演奏データを視覚的フィードバックとして前記ユーザに対して再生する、
ために命令を実行することを特徴とする請求項１４記載の装置。
【請求項１６】
前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントが正確に演奏されたと判定される場合に前記ユーザが演奏した音楽イベントのオーディオ出力に対して１つ以上の第１の信号処理オーディオ効果を導入し、
前記ユーザが演奏した音楽イベントが正確に演奏されなかったと判定される場合に前記ユーザが演奏した音楽イベントの前記出力に対して１つ以上の第２の信号処理オーディオ効果を導入する、ために命令を実行し、
前記１つ以上の第１の信号処理オーディオ効果は前記ユーザが演奏した音楽イベントの質を向上させ、前記１つ以上の第２の信号処理オーディオ効果は前記ユーザが演奏した音楽イベントの質を低下させることを特徴とする請求項１３記載の装置。
【請求項１７】
前記装置は、ゲームシステム、コンピュータ又はポータブル通信デバイスのうちの少なくとも１つを有することを特徴とする請求項１３記載の装置。
【請求項１８】
前記１つ以上のプロセッサは、
前記音楽イベントに対応する視覚的キューを含む前記演奏キューおよび前記楽器のグラフィック表現を含むスクロールするタブ譜を表示するために命令を実行することを特徴とする請求項１３記載の装置。
【請求項１９】
前記基本周波数を検出する際、前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントの開始を検出するために第１のサイズを有するオーディオデータの第１のブロックを形成し、
基本周波数を検出するために前記第１のサイズより大きい第２のサイズを有し、かつ前記開始を含まない連続した第１のブロックの集合を含むオーディオデータの第２のブロックを形成するために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２０】
各音楽特性許容差は、周波数、振幅、開始時間、終了時間、リズム又は期間のうちの少なくとも１つを含む音楽イベントと関連付けられた音楽特性に対応し、かつ前記音楽イベントのエキスパートの演奏に対応する値を含む値の範囲を含み、
前記ユーザが演奏した音楽イベントが正確に演奏されたか又は不正確に演奏されたかを判定する際、前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントと関連付けられた前記音楽特性を評価し、
前記ユーザが演奏した音楽イベントと関連付けられた前記音楽特性に対応する値を前記値の範囲と比較し、
前記比較に基づいて前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された程度を判定する、ために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２１】
前記１つ以上のプロセッサは、
前記楽器で演奏された音を、前記装置と関連付けられたユーザインタフェースを前記ユーザがナビゲートし、かつ該ユーザインタフェースと対話することを可能にする入力コマンドとして音マッピングするために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２２】
前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントが正確に演奏されたか又は不正確に演奏されたかに対応するスコアをし、前記楽曲に割り当てられた難易度に基づいて算出し、
前記ユーザに対して前記スコアを表示する、ために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２３】
前記１つ以上のプロセッサは、
セッション中に聴覚的フィードバック及び視覚的フィードバックを前記ユーザに提供する仮想助言者、指導者又はコーチ、あるいは前記セッション中の前記ユーザのビデオ画像、のうちの１つ以上をディスプレイに出力するために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２４】
前記１つ以上のプロセッサは、
前記ユーザが演奏した音楽イベントに含まれる周波数と関連付けられた大きさの加重和を、前記大きさが乗算される指標に対応する値を有する乗数に基づいて算出するために命令を実行することを特徴とする請求項１３記載の装置。
【請求項２５】
少なくとも１つのプロセッサにより実行可能な命令が格納されたコンピュータ可読媒体であって、
楽曲のユーザ選択を受信するための命令と、
前記楽曲と関連付けられた音楽イベントを楽器で演奏するための演奏キューをユーザに提供するための命令と、
前記ユーザが演奏した音楽イベントを含むオーディオデータを前記楽器から受信するための命令と、
前記オーディオデータ又は前記楽器のうちの少なくとも一方に基づいて、前記ユーザが演奏した音楽イベントと関連付けられた基本周波数を検出するかを判定するための命令と、
前記ユーザが演奏した音楽イベントが正確に又は不正確に演奏された程度を判定するための命令と、
前記判定に基づいて、前記ユーザが演奏した音楽イベントが正確に演奏された前記程度を示すフィードバックを前記ユーザに提供するための命令と、を格納することを特徴とするコンピュータ可読媒体。
【請求項２６】
前記ユーザが演奏した音楽イベントと関連付けられた基本周波数を検出するための命令と、
前記ユーザが演奏した音楽イベントと共に含まれる周波数と関連付けられた大きさの加重和を算出するための命令と、
前記ユーザが演奏した音楽イベントの開始を検出するための命令と、
前記開始を含まない前記オーディオデータの連続したブロックの集合に対して基本周波数検出を実行するための命令と
前記連続したブロックの集合に含まれた周波数と関連付けられたピーク推定値を算出するための命令と、のうち１つ以上をさらに格納することを特徴とする請求項２５記載のコンピュータ可読媒体。
【請求項２７】
前記大きさと乗算される指標に対応する値を有する乗数に基づいて前記加重和を算出するための１つ以上の命令をさらに格納することを特徴とする請求項２６記載のコンピュータ可読媒体。
【請求項２８】
前記楽曲のジャンルに従って前記ユーザと関連付けられた演奏統計を格納するための１つ以上の命令をさらに格納することを特徴とする請求項２５記載のコンピュータ可読媒体。
【請求項２９】
前記楽曲を演奏するために種々の難易度を提供するための命令と、
前記難易度のうちの１つのユーザ選択を受信するための命令と、
前記ユーザが演奏した音楽イベントが正確に演奏された前記程度が第１の閾値を超える場合、セッション中に前記楽曲の難易度を自動的に増加させるための命令と、
前記ユーザが演奏した音楽イベントが不正確に演奏された前記程度が第２の閾値を下回る場合、前記セッション中に前記楽曲の難易度を自動的に低下させるための命令と、
前記ユーザが演奏した音楽イベントが不正確に演奏された前記程度が停止閾値を下回る場合、前記セッションを自動的に終了するための命令と、のうち１つ以上をさらに格納することを特徴とする請求項２５記載のコンピュータ可読媒体。
【請求項３０】
複数のセッションにわたる前記ユーザの上達に関連するデータを含むデータベースを格納するための１つ以上の命令を更に備えることを特徴とする請求項２５記載のコンピュータ可読媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５Ａ】
【図２５Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７Ａ】
【図７Ｂ】
【図８】
【図９】
【図１０】
【図１１】
【図１２Ａ】
【図１２Ｂ】
【図１２Ｃ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５Ａ】
【図２５Ｂ】
【公表番号】特表２０１２−５３２３４０（Ｐ２０１２−５３２３４０Ａ）
【公表日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願番号】特願２０１２−５１７８３９（Ｐ２０１２−５１７８３９）
【出願日】平成２２年６月２９日（２０１０．６．２９）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０４０２８５
【国際公開番号】ＷＯ２０１１／００２７３１
【国際公開日】平成２３年１月６日（２０１１．１．６）
【出願人】（５１１３１４８６５）ザ ウェイ オブ エイチ， インコーポレイテッド (1)
【氏名又は名称原語表記】ＴＨＥ ＷＡＹ ＯＦ Ｈ， ＩＮＣ．
【住所又は居所原語表記】１５１５５ Ｃａｍａｒｉｌｌｏ Ｓｔｒｅｅｔ， Ｓｈｅｒｍａｎ Ｏａｋｓ， Ｃａｌｉｆｏｒｎｉａ ９１４０３， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
【公表日】平成２４年１２月１３日（２０１２．１２．１３）
【国際特許分類】
【出願日】平成２２年６月２９日（２０１０．６．２９）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０４０２８５
【国際公開番号】ＷＯ２０１１／００２７３１
【国際公開日】平成２３年１月６日（２０１１．１．６）
【出願人】（５１１３１４８６５）ザ ウェイ オブ エイチ， インコーポレイテッド (1)
【氏名又は名称原語表記】ＴＨＥ ＷＡＹ ＯＦ Ｈ， ＩＮＣ．
【住所又は居所原語表記】１５１５５ Ｃａｍａｒｉｌｌｏ Ｓｔｒｅｅｔ， Ｓｈｅｒｍａｎ Ｏａｋｓ， Ｃａｌｉｆｏｒｎｉａ ９１４０３， Ｕ．Ｓ．Ａ．
【Ｆターム（参考）】
[ Back to top ]