演奏評価装置および演奏評価プログラム
【課題】 不適切な押鍵を演奏者に適切に通知することで、演奏者による楽曲の教習を支援する。
【解決手段】 ＣＰＵ２１は、曲データにしたがった音高に対応付けられた鍵が、曲データにしたがった押鍵タイミングで操作されたかを判断する。ＣＰＵ２１は、曲データにしたがった音高に対応付けられた鍵が、曲データにしたがった押鍵タイミングで操作された場合に、鍵に対応して配置されたシンボル画像の種別を、通常のシンボル画像を示す種別から、適切に操作されたことを示す他の種別に変更する。その一方、ＣＰＵ２１は、曲データにしたがった音高の鍵が押鍵されず、或いは、曲データにしたがった押鍵タイミングで押鍵されなかった場合に、シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示すさらに他の種別に変更する。
【解決手段】 ＣＰＵ２１は、曲データにしたがった音高に対応付けられた鍵が、曲データにしたがった押鍵タイミングで操作されたかを判断する。ＣＰＵ２１は、曲データにしたがった音高に対応付けられた鍵が、曲データにしたがった押鍵タイミングで操作された場合に、鍵に対応して配置されたシンボル画像の種別を、通常のシンボル画像を示す種別から、適切に操作されたことを示す他の種別に変更する。その一方、ＣＰＵ２１は、曲データにしたがった音高の鍵が押鍵されず、或いは、曲データにしたがった押鍵タイミングで押鍵されなかった場合に、シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示すさらに他の種別に変更する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏者による、鍵盤など演奏操作子の操作を支援して演奏を教習させる演奏教習装置および演奏教習プログラムに関する。
【背景技術】
【０００２】
従来、課題となる楽曲を演奏者に演奏させる際に、表示装置に鍵盤の画像および操作すべき鍵およびその操作タイミングを示し、適切な押鍵を支援する装置が提案されている。たとえば、特許文献１に提案された装置では、鍵盤の画像の上側に、各鍵から垂直方向に伸びる領域を設け、その領域中に、その鍵の押鍵タイミングおよび押鍵時間を示すバー状の操作指示を表示する。バー状の操作指示は時間の経過とともに下方（画像中、鍵盤が位置する方向）にスクロールされる。
【０００３】
また、特許文献２、鍵盤の画像の上側に、各鍵の位置に対応して、その鍵を押鍵すべきことを示すシンボル画像が表示される装置が提案されている。特許文献２に提案された装置においては、シンボル画像はリンゴを模したものであり、鍵を押鍵することにより、リンゴのシンボル画像に矢が放たれ、その後、シンボル画像が消去される。
【０００４】
特許文献３には、鍵盤の画像の上側に、各鍵の位置に対応して、その鍵の押鍵タイミングを示すシンボル画像が表示され、シンボル画像が時間の経過とともに下方に移動するような装置が提案されている。特許文献３に提案された装置においても、ねじやＵＦＯを模したシンボル画像が用いられ、押鍵すべき鍵が適切な押鍵タイミングで押鍵されることにより、シンボル画像が消去されるように構成されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３１２０７３２号公報
【特許文献２】特許第３０５８０５１号公報
【特許文献３】特許第３７８７６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
たとえば、特許文献２、３に開示された装置では、ゲーム感覚で、適切な押鍵がなされた場合には、シンボルを消去することで、演奏者のやる気を増進させることができる。しかしながら、楽曲の教習の際には、不適切な押鍵があった場合、つまり、押鍵すべきタイミングに押鍵すべき鍵以外の鍵が押鍵されてしまったことや、不適切な押鍵タイミングで押鍵がされてしまったことを、適切に演奏者に知らせることが必要である。
【０００７】
本発明は、不適切な押鍵を演奏者に適切に通知することで、演奏者による楽曲の教習を支援する演奏教習装置、および、演奏教習プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的は、複数の演奏操作子であってそれぞれが所定の音高と対応付けられた演奏操作子と、
少なくとも前記複数の演奏操作子のうち操作すべき演奏操作子を示すシンボル画像を表示するシンボル画像領域を有する表示手段と、
楽曲の音高およびその操作タイミングを示す曲データを格納した記憶手段と、
前記曲データを参照して、前記シンボル画像領域において、当該曲データの示す音高に対応付けられた演奏操作子に関連するように所定の種別のシンボル画像を配置した画像を生成する画像生成手段であって、当該操作タイミングを参照して、前記押鍵タイミングの到来に近づくのにしたがって前記シンボルが、前記表示手段上の所定の表示位置に接近するようにシンボルを配置する画像生成手段と、
前記曲データを参照して、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作されたかを判断する操作判断手段と、を備え、
前記画像生成手段は、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作された場合に、前記シンボル画像の種別を、通常のシンボル画像を示す第１の種別から、適切に操作されたことを示す第２の種別に変更し、
その一方、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示す第３の種別に変更するように構成されたことを特徴とする演奏教習装置により達成される。
【発明の効果】
【０００９】
本発明によれば、不適切な押鍵を演奏者に適切に通知することで、演奏者による楽曲の教習を支援する演奏教習装置、および、演奏教習プログラムを提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施の形態にかかる電子楽器の概略を示す図である。
【図２】図２は、本実施の形態にかかる電子楽器の構成を示すブロックダイヤグラムである。
【図３】図３（ａ）は、本実施の形態にかかる曲データの構成例を示す図、図３（ｂ）は、本実施の形態にかかる画像データの構成例を示す図である。
【図４】図４は、本実施の形態にかかる電子楽器のメインフローの概略を示すフローチャートである。
【図５】図５は、本実施の形態にかかるスイッチ処理の例を示すフローチャートである。
【図６】図６は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図７】図７は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図８】図８は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図９】図９は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図１０】図１０は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図１１】図１１は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図１２】図１２は、本実施の形態にかかる鍵盤処理の例を示すフローチャートである。
【図１３】図１３は、本実施の形態にかかる鍵盤処理の例を示すフローチャートである。
【図１４】図１４は、本実施の形態にかかる鍵盤処理の例を示すフローチャートである。
【図１５】図１５は、本実施の形態にかかる表示処理の例を示すフローチャートである。
【図１６】図１６は、本実施の形態にかかる表示部の画面上に表示された画像の例を示す図である。
【図１７】図１７は、本実施の形態にかかるシンボル種別に基づくシンボル画像例を示す図である。
【図１８】図１８は、図１６に示す楽曲を再度演奏しているときの表示装置の画面上の画像例を示す図である。
【図１９】図１９は、他の実施の形態にかかるガイド処理の部分を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の実施の形態について説明する。図１は、本発明の実施の形態にかかる電子楽器の概略を示す図である。本実施の形態では、演奏教習装置は鍵盤を有する電子楽器の形態を有している。図１に示すように、本実施の形態にかかる電子楽器１０は、鍵盤１１を有する。鍵盤１１は、複数の鍵（たとえば、符号１６、１７参照）を有し、ある鍵の押鍵にしたがって、押鍵された鍵に対応する音高の楽音を発生することができる。また、電子楽器１０は、スイッチ（たとえば符号１８参照）やテンキー（符号１９参照）を有するとともに、その中央上側に表示部１３を有する。表示部１３は大型の液晶表示装置を含み、楽譜や、後述する演奏すべき楽曲の音高や演奏結果を示すシンボルを含む画像を表示することが可能である。また、本実施の形態にかかる電子楽器３０には、ビデオカメラ３０が接続されている。ビデオカメラ３０は電子楽器３０の上部に固定され、鍵盤および鍵盤上に配置された演奏者の指を撮影することができる。
【００１２】
図２は、本実施の形態にかかる電子楽器の構成を示すブロックダイヤグラムである。図２に示すように、本実施の形態にかかる電子楽器１０は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、サウンドシステム２４、鍵盤１１、入力部１２、表示部１３および入力インタフェース（Ｉ／Ｆ）１４を備える。 入力部１２は、音色指定スイッチ、スタート・ストップスイッチなどを有する。また、上述したように表示部１３は、液晶表示装置を有する。入力Ｉ／Ｆ１４は、ケーブルなどを介してビデオカメラ３０と接続される。なお、入力Ｉ／Ｆ１４とビデオカメラ３０との間は、無線、赤外線などによりワイヤレスでのデータ通信がなされるように攻勢されても良い。
【００１３】
ＣＰＵ２１は、電子楽器１０全体の制御、鍵盤１１の鍵の押鍵や入力部１２を構成するスイッチの操作の検出、鍵やスイッチの操作にしたがったサウンドシステム２４の制御、押鍵された鍵の正誤判定、正誤判定に基づく画像中のシンボルの生成など、種々の処理を実行する。
【００１４】
ＲＯＭ２２は、ＣＰＵ２１に実行させる種々の処理、たとえば、電子楽器１０全体の制御、鍵盤１１の鍵の押鍵や入力部１２を構成するスイッチの操作の検出、鍵やスイッチの操作にしたがったサウンドシステム２４の制御、押鍵された鍵の正誤判定、正誤判定に基づく画像中のシンボルの生成などの処理プログラムを格納する。また、ＲＯＭ２２は、ピアノ、ギター、バスドラム、スネアドラム、シンバルなどの楽音を生成するための波形データを格納した波形データエリアを有する。また、ＲＯＭ２２は、楽曲についてのイベントのレコードおよびタイムのレコードなどを含む曲データを格納する。なお、曲データは初期的にはＲＯＭ２２に格納されているが、処理の過程でフラグのセット、リセットが行われる。したがって、処理の開始時に、たとえば、イニシャライズ処理において、曲データはＲＯＭ２２から読み出されて、ＲＡＭ２３にコピーされる。
【００１５】
ＲＡＭ２３は、ＲＯＭ２２から読み出されたプログラムやガイドデータ、処理の過程で生成されたパラメータやデータを格納する。また、本実施の形態においては、ＲＡＭ２３は、演奏者が押鍵すべき鍵およびそのタイミングを示すためのシンボルを画像表示するための画像データを格納する。
【００１６】
サウンドシステム２４は、音源部２６、オーディオ回路２７およびスピーカ２８を有する。音源部２６は、たとえば、ノートオンイベントをＣＰＵ２１から受信すると、ＲＯＭ２２の波形データエリアから所定の波形データを読み出して、ノートオンイベントに含まれる音高情報にしたがった音高の楽音データを生成して出力する。オーディオ回路２７は、楽音データをＤ／Ａ変換して増幅する。これによりスピーカ２８から音響信号が出力される。
【００１７】
図３（ａ）は、本実施の形態にかかる曲データの構成例を示す図、図３（ｂ）は、本実施の形態にかかる画像データの構成例を示す図である。図３（ａ）に示すように、曲データのレコードは、タイムのレコード（符号３０１、３０４参照）と、それらの間に配置されるノート（ノートオンイベント）のレコード（符号３０２）が含まれる。また、ノートのレコードには、ＮＧフラグ（符号３０３）が付加される。タイムのレコードには時間情報が格納される。これは、タイムの前後にあるノートのレコードが示すオンイベントの間の時間間隔を示す。また、ＮＧフラグは、演奏者による鍵の押鍵が、ノートオンイベントに含まれる音高と同一であるか、また、押鍵タイミングは適切であるかを示すフラグであり、演奏者による押鍵が適切であればＮＧフラグは「０」となる。図３（ｂ）に示す画像データのレコードの内容については、当該レコード中の値を参照する部分において、それぞれ説明する。
【００１８】
図４は、本実施の形態にかかる電子楽器のメインフローの概略を示すフローチャートである。電源の投入とともに、メインフローは起動し、イニシャライズ処理（ステップ４０１）の後、ステップ４０２以降の処理が繰り返し実行される。イニシャライズ処理においては、ＲＡＭ２３中のデータのクリア、ＲＡＭ２３への曲データのコピー、表示部１５の画面のクリアなどが実行される。イニシャライズ処理（ステップ４０１）が終了すると、ＣＰＵ２１は、入力部１２を構成するスイッチのそれぞれの操作を検出し、検出された操作にしたがった処理を実行するスイッチ処理を実行する（ステップ４０２）。図５は、本実施の形態にかかるスイッチ処理の例を示すフローチャートである。
【００１９】
スイッチ処理において、ＣＰＵ２１は、入力部１２のスイッチ中、スタート・ストップスイッチの操作があったかを判断する（ステップ５０１）。ステップ５０１でＮｏと判断された場合には、ステップ５１０に進む。ステップ５０１でＹｅｓと判断された場合には、ＣＰＵ２１は、ＲＡＭ２３中のスタートフラグＳＴＦを反転させ（ステップ５０２）、反転されたスタートフラグＳＴＦが「１」であるかを判断する（ステップ５０３）。
【００２０】
ステップ５０３でＹｅｓと判断された場合には、ＣＰＵ２１は、ＲＡＭ２３中の曲データの先頭アドレスをパラメータＡＤとしてＲＡＭ２３に格納する（ステップ５０４）。次いで、ＣＰＵ２１は、ＡＤをアドレスとして、ＲＡＭ２３中の曲データのレコードを読み出し（ステップ５０５）、読み出されたレコード中の値（タイム）をＲＡＭ２３中の時間情報ｔとして格納する（ステップ５０６）。また、ＣＰＵ２１は、ＲＡＭ２３中のタイマ値Ｔを「０」に初期化し（ステップ５０７）、ＲＡＭ２３中の画像データエリアをクリアする（ステップ５０８）。また、ＣＰＵ２１はタイマインタラプトを解除する（ステップ５０９）。タイマインタラプトが解除されると、タイマインタラプト処理が、最小単位時間ごとに起動され、ＣＰＵ２１の内部カウンタ値がインクリメントされる。
【００２１】
ステップ５０３でＮｏと判断された場合には、ＣＰＵ２１は、表示部１３に表示された画像を消去する（ステップ５１１）とともに、タイマインタラプトを禁止する（ステップ５１２）。
【００２２】
その後、ＣＰＵ２１は、他のスイッチ処理を実行する（ステップ５１０）。他のスイッチ処理において、ＣＰＵ２１は、たとえば、演奏者によるテンキーや音色指定スイッチの操作にしたがって、発音すべき楽音の音色を示す情報をＲＡＭ２３中に格納する。
【００２３】
スイッチ処理（ステップ４０２）が終了すると、ＣＰＵ２１は、表示処理を実行する（ステップ４０３）。図１５は、本実施の形態にかかる表示処理の例を示すフローチャートである。図１５に示すように、ＣＰＵ２１は、ＲＡＭ２３中のスタートフラグＳＴＦが「１」であるかを判断する（ステップ１５０１）。ステップ１５０１でＹｅｓと判断された場合には、アドレスを示すパラメータＡＤを参照して、曲データにおける現在位置を特定し、表示部１３の楽譜表示領域に表示されている楽譜の更新が必要であるかを判断する（ステップ１５０２）。ステップ１５０２でＮｏと判断された場合には、新たな楽譜データを読み出し（ステップ１５０３）、楽譜表示領域に新たな楽譜データに対応する楽譜の部分を含む楽譜を表示する（ステップ１５０４）。
【００２４】
また、ＣＰＵ２１は、入力Ｉ／Ｆ１４を介してビデオカメラ４０からの映像を取得し（ステップ１５０５）。映像中、演奏者の手の画像および鍵盤に対する位置情報を抽出する（ステップ１５０６）。次いで、ＣＰＵ２１は、鍵盤表示領域において、演奏者の手の位置と対応するように鍵盤の画像上に抽出された手の画像を重ね合わせた画像を生成し、生成された画像を表示部１３の画面上に表示する（ステップ１５０７）。ここで、演奏者の手の位置、特に、横方向（Ｘ軸方向）の位置が移動することにより、鍵盤の位置が変更される場合もある。そこで、ＣＰＵ２１は、画像データの各レコード群において、座標（ｘ，ｙ）のレコード中、Ｘ座標値を、鍵盤の位置の変更にしたがった更新する（ステップ１５０８）。また、ＣＰＵ２１は、上記画像データにおける座標にしたがって、シンボル表示領域中にシンボル画像を再描画する（ステップ１５０９）。
【００２５】
図１６は、本実施の形態にかかる表示部の画面上に表示された画像の例を示す図である。本実施の形態において、画像１６００は楽譜表示領域１６１０、シンボル表示領域１６２０および鍵盤表示領域１６３０を有する。シンボル表示領域１６２０には後述するように３つのシンボル種別の画像（シンボル画像（１）〜（３））が表示される。図１６において、符号１６０１、１６０２に示すシンボル画像は、画像番号「１」のシンボル種別を有するシンボル画像（シンボル画像（１））である。また、符号１６０３に示すシンボル画像は、画像番号「２」のシンボル種別を有するシンボル画像（シンボル画像（２））である。なお、シンボル画像が表示されるシンボル画像表示領域は、部分的に鍵盤表示領域とオーバーラップしている。
【００２６】
また、図１６において、鍵盤表示領域１６３０には、鍵盤の画像（符号１６４０参照）に、実際に撮影された演奏者の手の画像（符号１６４１、１６４２参照）が重ねられている。
【００２７】
表示処理（ステップ４０３）が終了すると、ＣＰＵ２１はガイド処理を実行する（ステップ４０４）。図６〜図１１は、本実施の形態にかかるガイド処理の例を示すフローチャートである。図６に示すように、ＣＰＵ２１はスタートフラグＳＴＦが「１」であるかを判断する（ステップ６０１）。ステップ６０１でＹｅｓと判断された場合に、ＣＰＵ２１は、内部カウント値を参照して、最小単位時間が経過しているかを判断する（ステップ６０２）。ステップ６０１或いはステップ６０２でＮｏと判断された場合には、ガイド処理を終了する。ステップ６０２でＹｅｓと判断された場合には、ＣＰＵ２１は、タイマ値Ｔをインクリメントする（ステップ６０３）。
【００２８】
次いで、ＣＰＵ２１は、ＲＡＭ２３の画像データエリア中に画像データのレコードがあるかを判断する（ステップ６０４）。ステップ６０４でＮｏと判断された場合には、ステップ６０９に進む。ステップ６０４でＹｅｓと判断された場合には、画像データのレコード群（たとえば、図３（ｂ）の符号３２１〜３２６参照）を特定するためのパラメータｎを「０」に初期化する（ステップ６０５）。次いで、ＣＰＵ２１は、第ｎ番のレコード群中、Ｔ（ｎ）（たとえば、図３の符号３２５参照）を格納したレコードに含まれる値Ｔ（ｎ）をインクリメントする（ステップ６０６）。このＴ（ｎ）は、第ｎ番の画像データのレコード群が示すシンボルの表示時間を示す。
【００２９】
ＣＰＵ２１は、パラメータｎをインクリメントして（ステップ６０７）、パラメータｎが、表示されているシンボルの総数Ｉより大きいかを判断する（ステップ６０８）。このシンボルの総数ＩはＲＡＭ２３に格納されている。表示されているシンボルの総数Ｉより大きいかを判断するステップ６０８でＮｏと判断された場合にはステップ６０６に戻る。その一方、ステップ６０８でＹｅｓと判断された場合には、上記タイマ値Ｔが、曲データのタイムｔ以上になっているかを判断する（ステップ６０９）。ステップ６０９でＹｅｓと判断された場合には、ＣＰＵ２１はパラメータＡＤをインクリメントする（ステップ６１０）。なお、ステップ６０９でＮｏと判断された場合には、図７のステップ７０１に進む。
【００３０】
ＣＰＵ２１は、パラメータＡＤが曲データの最終アドレスＥＮＤ以上になったかを判断する（ステップ６１１）。ステップ６１１でＹｅｓと判断された場合には、ＣＰＵ２１は、スタートフラグＳＴＦを「０」にリセットし（ステップ６１２）、表示部１３の画面上、シンボル画像表示領域に表示されたシンボル画像を消去する（ステップ６１３）。また、ＣＰＵ２１は、タイマインタラプトを禁止する（ステップ６１４）。ステップ６１１でＮｏと判断された場合には、図１０のステップ１００１に進む。
【００３１】
ステップ６０９でＮｏと判断された場合、ＣＰＵ２１は、画像データのレコード群を特定するためのパラメータｉを「０」に初期化する（ステップ７０１）。次いで、ＣＰＵ２１は、パラメータｙを、時間情報Ｔ（ｉ）に対応したＹ座標値に設定する（ステップ７０２）。図１６に示すように、本実施の形態においては、シンボルの表示領域（符号１６２０参照）には、鍵盤表示領域１６３０に表示された鍵のＸ座標値を有し、かつ、そのＹ座標値が、押鍵タイミングが近づくのにしたがって「０」に近づくようなＸ座標値およびＹ座標値に、シンボルが表示される。たとえば、符号１６２１、１６２２に示す線上に位置するシンボルでは、符号１６２２で示すシンボルが、Ｙ座標値が小さいため、先に押鍵すべきことがわかる。なお、この例では、画像において、Ｙ座標値は下側にいくのにしたが手小さくなる。
【００３２】
このように、シンボルは、そのＸ座標値により押鍵すべき鍵を示す。また、そのＹ座標値により押鍵すべきタイミングを示す。図１６において、同一のＹ座標値（たとえば、符号１６２１、６１２２参照）に複数のシンボルが表示されていれば、これはシンボルが示すＸ座標に対応する複数の鍵を同時に押鍵すべきことを示している。
【００３３】
また、シンボルのＹ座標上の位置（たとえば、図１６の符号１６２１、１６２２、１６２３、１６２４参照）は、表示時間Ｔ（ｎ）により決定される。表示時間Ｔ（ｎ）が大きくなるのにしたがって、押鍵タイミングが近づくことになるため、表示時間Ｔ（ｎ）が大きくなるのにしたがって、Ｙ座標値が「０」に近づくように、Ｙ座標値をあらかじめ定めておくことができる。
【００３４】
ＣＰＵ２１は、表示部１３の画面のシンボル表示領域（図１６の符号１６２０参照）において、ＮＯＴＥ（ｉ）に対応する、シンボル種別の画像を、決定されたＸ座標値、Ｙ座標値に示す位置に移動させる（ステップ７０３）。なお、シンボル種別は、上記第ｉ番のレコード群の画像番号のレコードに格納されている。以下、シンボル種別について説明する。
【００３５】
図１７は、本実施の形態にかかるシンボル種別に基づくシンボル画像例を示す図である。本実施の形態においては、押鍵前後、および、正しい押鍵がなされたか否かにしたがって３つのシンボル種別が設けられている。図１７（ａ）は、画像（１）に対応するシンボル画像である。このシンボル画像１７００は、押鍵前のタイミングであり、かつ、対応する音符が始めて出現するか前回は正しく押鍵出来たことを示す。図１７（ｂ）は、後述する画像（２）に対応するシンボル画像である。このシンボル画像１７１０は、演奏者が、適切な押鍵タイミングで押鍵できたことを示す。図１７（ｃ）は、後述する画像（３）に対応するシンボル画像である。このシンボル画像は、前回に正しく押鍵ができなかったことを示す。
【００３６】
また、ＣＰＵ２１は、座標（ｘ，ｙ）のうちＹ座標値ｙに基づき、ＮＯＴＥ（ｉ）に対応したシンボル画像の拡大率を決定する（ステップ７０４）。本実施の形態では、押鍵タイミングが近づき、Ｙ座標値ｙが「０」に近づくのにしたがって、その拡大率が大きくなる。たとえばＹ座標値の範囲と、シンボル画像の拡大率とを対応付けたテーブルを予めＲＡＭ２３に格納し、ＣＰＵ２１が、このテーブルを読み出すように構成すればよい。
【００３７】
次いで、ＣＰＵ２１は、第ｉ番のレコード群におけるＹ座標が、押鍵すべきタイミングの範囲を示すＹ１以上、Ｙ２以下の範囲（Ｙ１≦Ｙ座標≦Ｙ２）にあるかを判断する（ステップ７０５）。Ｙ１は、たとえば、図１６の符号１６２４に示すＹ座標値であり、Ｙ２は、たとえば、同図の符号１６２５に示すＹ座標値である。ステップ７０４でＹｅｓと判断された場合には、ＣＰＵ２１は、押鍵すべきタイミングが到来したことを示すフラグＯＮ（ｉ）を「１」にセットする（ステップ７０６）。
【００３８】
次いで、ＣＰＵ２１は、第ｉ番のレコード群におけるＹ座標が、押鍵タイミングを過ぎてしまった範囲を示すＹ２とＹ３との間（Ｙ２＞Ｙ座標＞Ｙ３）であるかを判断する（ステップ７０７）。ステップ７０７でＮｏと判断された場合には、図９のステップ９０１に進む。ステップ７０７でＹｅｓと判断された場合には、ＣＰＵ２１は、押鍵タイミング到来フラグＯＮ（ｉ）が「１」であるかを判断する（ステップ７０８）。後に再度説明するが、押鍵タイミング到来フラグＯＮ（ｉ）は、適切な押鍵タイミングでの当該鍵の押鍵がなされた場合には「０」にリセットされる。したがって、ステップ７０８でＹｅｓと判断された場合には、適切な押鍵タイミングで適切な鍵が押鍵されなかったことを示す。
【００３９】
ステップ７０８でＮｏと判断された場合には、図８のステップ８０６に進む。ステップ７０８でＹｅｓと判断された場合には、ＣＰＵ２１は、第ｉ番のレコード群において、画像番号のレコードに「３」を格納する（ステップ７０９）。この画像番号は、図１７を参照して説明したシンボル画像のシンボル種別（画像（１）〜（３））に対応する。次いで、ＣＰＵ２１は、シンボル表示領域において表示されているＮＯＴＥ（ｉ）に対応するシンボル画像のシンボル種別を画像（３）に変更する（ステップ７１０）。また、ＣＰＵ２１は、曲データにおいて、ＮＯＴＥ（ｉ）に対応するオートオンイベントのレコードに付加されたＮＧフラグを「１」にセットする（ステップ７１１）。その後、ＣＰＵ２１は、現在押鍵されている鍵の数（押鍵数）を示すパラメータｍをデクリメントする（ステップ７１２）。
【００４０】
次いで、ＣＰＵ２１は、画像データのレコード群を特定するための別のパラメータｎを「０」に初期化して、第ｎ番のレコード群のうち、シンボルの消去タイミング（消去順序）を示すＮ（ｎ）が０であるかを判断する（ステップ８０２）。ステップ８０２でＹｅｓと判断された場合には、ＣＰＵ２１は、Ｎ（ｎ）をデクリメントする（ステップ８０３）。次いで、ＣＰＵ２１は、パラメータｎをインクリメントして（ステップ８０４）、パラメータｎが、表示されているシンボルの総数Ｉより大きいかを判断する（ステップ８０５）。ステップ８０５でＮｏと判断された場合には、ステップ８０２に戻る。
【００４１】
ステップ８０５でＹｅｓと判断された場合には、ＣＰＵ２１は、パラメータｉをインクリメントして（ステップ８０６）、当該パラメータｉがシンボルの総数Ｉより大きいかを判断する（ステップ８０７）。ステップ８０７でＮｏと判断された場合には、ステップ７０２戻る。ステップ８０７でＹｅｓと判断された場合には、ＣＰＵ２１は、シンボル総数Ｉから、消去されたシンボル数を示すパラメータＳを減じて、新たなシンボル総数Ｉを得て、ＲＡＭ２３に格納する（ステップ８０８）。その後、パラメータＳを「０」に初期化して（ステップ８０９）ガイド処理を終了する。
【００４２】
次に、ステップ７０６でＮｏと判断された場合について説明する。ステップ７０６でＮｏと判断された場合には、ＣＰＵ２１は、画像データのレコード群を特定するためのパラメータｎを「０」に初期化する（ステップ９０１）とともに、消去されたシンボル数を示すパラメータＳを「０」に初期化する（ステップ９０２）。ＣＰＵ２１は、画像データの第ｎ番のレコード群中のＮ（ｎ）が「０」であるかを判断する（ステップ９０３）。ステップ９０３でＹｅｓと判断された場合には、シンボル表示領域に表示されている、第ｎ番のレコード群中のＮｏｔｅ（ｎ）に対応するシンボルを消去する（ステップ９０４）。また、ＣＰＵ２１は、Ｎｏｔｅ（ｎ）に対応する画像データエリア、すなわち、第ｎ番のレコード群を消去する（ステップ９０５）。その後、ＣＰＵ２１は、消去されたシンボル数を示すパラメータＳをインクリメントする（ステップ９０６）。
【００４３】
ステップ９０３でＮｏと判断された場合、或いは、ステップ９０６が実行された後に、ＣＰＵ２１は、パラメータｎをインクリメントして（ステップ９０７）、パラメータｎがシンボル総数Ｉより大きいかを判断する（ステップ９０８）。ステップ９０８でＮｏと判断された場合には、ステップ９０３に戻る。ステップ９０８でＹｅｓと判断された場合には、図８のステップ８０６に進む。
【００４４】
次に、ステップ６１１でＮｏと判断された場合について説明する。ステップ６１１でＮｏ、つまり、インクリメントされたアドレスを示すパラメータＡＤが、曲データの最終アドレスより小さい場合には、ＣＰＵ２１は、パラメータＡＤをアドレスとして曲データのレコードを読み出す（ステップ１００１）。ＣＰＵ２１は、読み出されたレコード中のデータがイベントであるかを判断する（ステップ１００２）。ステップ１００２でＮｏ、つまり、データがタイムである場合には、ＣＰＵ２１は、ＲＡＭ２３中のパラメータｔにデータ値であるタイムを格納して（ステップ１００３）、ガイド処理を終了する。
【００４５】
ステップ１００３でＹｅｓと判断された場合には、ＣＰＵ２１は、シンボル総数を示すパラメータＩをインクリメントして（ステップ１００４）、ＲＡＭ２３中に第Ｉ番の画像データのための新たに画像データエリアを確保する（ステップ１００５）。次いで、ＣＰＵ２１は、当該確保された画像データエリアにおいて、ＮＯＴＥ（Ｉ）にイベントが示すノート番号を格納する（ステップ１００６）。また、ＣＰＵ２１は、当該曲データのイベントのＮＧフラグを参照して、ＮＧフラグが「０」であるかを判断する（ステップ１００７）。ここで、ＮＧフラグは、適切なタイミングで適切な鍵が押鍵されなかった場合にステップ７１０において「１」にセットされている。すなわち、前回の演奏で、適切なタイミングで適切な鍵が押鍵されていなければ、ＮＧフラグは「１」となっている。
【００４６】
ステップ１００７でＹｅｓ（ＮＧフラグ＝０）である場合には、ＣＰＵ２１は、第Ｉ番のレコード群において、画像番号「１」をセットする（ステップ１００８）。これにより、ＮＯＴＥ（Ｉ）に対応付けられて、シンボル種別が画像（１）であるシンボル画像が（図１７（ａ）の符号１７００参照）、シンボル表示領域中に表示されることになる。これに対して、ステップ１００７でＮｏ（ＮＧフラグ＝１）である場合には、ＣＰＵ２１は、第Ｉ番のレコード群において、画像番号「３」をセットする（ステップ１００９）。これにより、ＮＯＴＥ（Ｉ）に対応付けられて、シンボル種別が画像（３）であるシンボル画像が（図１７（ｃ）の符号１７２０参照）、シンボル表示領域中に表示されることになる。
【００４７】
次いで、ＣＰＵ２１は、第Ｉ番のレコード群において、押鍵すべきタイミングが到来したことを示すフラグＯＮ（Ｉ）を「０」にリセットする（ステップ１１０１）とともに、表示時間を示すＴ（Ｉ）を「０」にリセットする（ステップ１１０２）。ＣＰＵ２１は、現在押鍵されている鍵の数（押鍵数）を示すパラメータｍをインクリメントする（ステップ１１０３）とともに、シンボルの消去タイミング（消去順序）を示すＮ（Ｉ）の値としてｍを格納する（ステップ１１０４）。
【００４８】
さらに、ＣＰＵ２１は、パラメータｘとしてＮＯＴＥ（Ｉ）の鍵に対応したＸ座標を設定し（ステップ１１０５）、パラメータＹとして初期Ｙ座標ｙ０を設定する（ステップ１１０６）。ＣＰＵ２１は、表示すべきシンボルの拡大率の初期値を設定する（ステップ１１０７）。この拡大率の初期値は予め定められた値であれば良い。また、ＣＰＵ２１は、ＮＯＴＥ（Ｉ）の音名に基づき表示するシンボル画像の色を決定する（ステップ１１０８）。本実施の形態では、なお、図１６に示すように、シンボルは、押鍵タイミングが近づくのにしたがって、その拡大率が大きくなる。これは、図７のステップ７０４においてＹ座標値にしたがって拡大率を変更することにより実現される。
【００４９】
また、本実施の形態においては、音名（Ｃ、Ｃ＃＝Ｄ♭、Ｄ、Ｄ＃＝Ｅ♭、・・・）に応じて、あらかじめシンボルの色が定められ、その情報がＲＡＭ２３に格納されている。したがって、ステップ１１０８では、ＣＰＵ２１は、音名にあらかじめ対応付けられた色をＲＡＭ２３から読み出せばよい。
【００５０】
その後、ＣＰＵ２１は、画像データエリアの第Ｉ番のレコード群に格納された情報に基づき、シンボル表示領域に所定のシンボルを表示する（ステップ１１０９）。ステップ１１０９が終了すると、ステップ６１０に戻る。
【００５１】
ガイド処理（ステップ４０４）が終了すると、ＣＰＵ２１は鍵盤処理を実行する（ステップ４０５）。図１２〜図１４は、本実施の形態にかかる鍵盤処理の例を示すフローチャートである。図１２に示すように、ＣＰＵ２１は、鍵盤１１の鍵を走査して（ステップ１２０１）、その鍵状態を判断する（ステップ１２０２）。鍵状態に変化が無い場合には鍵盤処理を終了する。鍵状態が新規オンである場合には、ＣＰＵ２１は、押鍵された鍵の情報をパラメータＫＥＹとしてＲＡＭ２３に格納し（ステップ１２０３）、パラメータＫＥＹにより特定される音高の楽音を生成するためにノートオンイベントを生成する（ステップ１２０４）。ＣＰＵ２１は、生成されたノートオンイベントを音源部２６に出力する（ステップ１２０５）。
【００５２】
ステップ１２０２で、鍵状態が新規オフと判断された場合には、ＣＰＵ２１は、離鍵された鍵の情報をパラメータＫＥＹとしてＲＡＭ２３に格納し（ステップ１２０６）、パラメータＫＥＹにより特定される音高の楽音を消音するためのノートオフイベントを生成する（ステップ１２０７）。ＣＰＵ２１は、生成されたノートオフイベントを音源部２６に出力して（ステップ１２０８）、鍵盤処理を終了する。
【００５３】
ステップ１２０５が終了すると、ＣＰＵ２１は、画像データのレコード群を決定するためのパラメータｉを「０」に初期化する（ステップ１２０９）。次いで、画像データの第ｉ番のレコード群において、押鍵すべきタイミングが到来したことを示すフラグＯＮ（ｉ）が「１」であるかを判断する（ステップ１２１０）。ステップ１２１０でＹｅｓと判断された場合には、ＲＡＭ２３に格納されたパラメータＫＥＹが、第ｉ番のレコードのＮＯＴＥ（ｉ）と同一であるかを判断する（ステップ１２１１）。ステップ１２１０或いはステップ１２１１でＮｏと判断された場合には、図１３のステップ１３０１に進む。
【００５４】
ステップ１２１１でＹｅｓと判断された場合には、ＣＰＵ２１は、第ｉ番のレコード群における画像番号を「２」に変更する（ステップ１２１２）とともに、シンボル表示領域において表示されているＮＯＴＥ（ｉ）に対応するシンボル画像のシンボル種別を画像（２）に変更する（ステップ１２１３）。次いで、ＣＰＵ２１は、曲データにおいて、ＮＯＴＥ（ｉ）に対応するオートオンイベントのレコードに付加されたＮＧフラグを「０」にリセットする（ステップ１２１４）。その後、ＣＰＵ２１は、押鍵すべきタイミングが到来したことを示すフラグＯＮ（ｉ）を「０」にリセットする（ステップ１２１５）。ステップ１２１１でＹｅｓと判断された場合には、適切なタイミングで適切な鍵が押鍵されたことを意味している。したがって、図１７（ｂ）に示すようなシンボル種別が画像（２）の画像が、押鍵された鍵に対応付けられて表示される。すなわち、それまでは風船に空気が入っていた状態であったのが（図１７（ａ）参照）、適切な押鍵により風船が割れた状態（図１７（ｂ）参照）となる。
【００５５】
次いで、ＣＰＵ２１は、押鍵数を示すパラメータｍをデクリメントする（ステップ１３０１）。また、ＣＰＵ２１は、画像データのレコード群を特定するための別のパラメータｎを「０」に初期化して、第ｎ番のレコード群のうち、シンボルの消去タイミング（消去順序）を示すＮ（ｎ）が０であるかを判断する（ステップ１３０３）。ステップ１３０３でＹｅｓと判断された場合には、ＣＰＵ２１は、Ｎ（ｎ）をデクリメントする（ステップ１３０４）。次いで、ＣＰＵ２１は、パラメータｎをインクリメントして（ステップ１３０５）、パラメータｎが、表示されているシンボルの総数Ｉより大きいかを判断する（ステップ１３０６）。ステップ１３０６でＮｏと判断された場合には、ステップ１３０３に戻る。
【００５６】
さらに、ＣＰＵ２１は、再度パラメータｎを「０」にリセットする（ステップ１３０７）とともに、消去されたシンボル数を示すパラメータＳを「０」に初期化する（ステップ１３０８）。ＣＰＵ２１は、画像データの第ｎ番のレコード群中のＮ（ｎ）が「０」であるかを判断する（ステップ１４０１）。ステップ１４０１でＹｅｓと判断された場合には、シンボル表示領域に表示されている、第ｎ番のレコード群中のＮｏｔｅ（ｎ）に対応するシンボルを消去する（ステップ１４０２）。また、ＣＰＵ２１は、Ｎｏｔｅ（ｎ）に対応する画像データエリア、すなわち、第ｎ番のレコード群を消去する（ステップ１４０３）。その後、ＣＰＵ２１は、消去されたシンボル数を示すパラメータＳをインクリメントする（ステップ１４０４）。
【００５７】
ステップ１４０１でＮｏと判断された場合、或いは、ステップ１４０４が実行された後に、ＣＰＵ２１は、パラメータｎをインクリメントして（ステップ１４０５）、パラメータｎがシンボル総数Ｉより大きいかを判断する（ステップ１４０６）。ステップ１４０６でＮｏと判断された場合には、ステップ１４０１に戻る。ステップ１４０６でＹｅｓと判断された場合には、ＣＰＵ２１は、パラメータｉをインクリメントして（ステップ１４０７）、パラメータｉがシンボル総数Ｉより大きいかを判断する（ステップ１４０８）。ステップ１４０８でＮｏと判断された場合には、ＣＰＵ２１は、ステップ１２１０に戻る。
【００５８】
ステップ１４０８でＹｅｓと判断された場合には、ＣＰＵ２１は、シンボル総数Ｉから消去されたシンボル数Ｓを減じて、得られた新たなシンボル総数ＩをＲＡＭ２３に格納する（ステップ１４０９）。その後、ＣＰＵ２１は、消去されたシンボル数を示すパラメータＳを「０」にリセットする（ステップ１４１０）。
【００５９】
鍵盤処理（ステップ４０５）が終了すると、ＣＰＵ２１は、その他の処理を実行する（ステップ４０６）。その他の処理においては、ＣＰＵ２１は、入力Ｉ／Ｆ１４を介したビデオカメラ１４のズーム等の制御などを実行する。その後、ステップ４０２に戻り、ステップ４０２〜４０６の処理が繰り返される。
【００６０】
以下、表示装置の画面上に表示される画像例について説明する。図１６に示すように、シンボル表示領域１６２０においては、Ｘ軸方向において押鍵すべき鍵と合致する位置に、シンボル画像が表示され、当該シンボル画像は、押鍵タイミングが近づくのにしたがって、演奏者の手の表示位置に近づくように、Ｙ軸方向に移動される。基本的に、Ｙ軸方向に移動するシンボル画像は、風船の形をしている。これは、画像番号「１」のシンボル種別のシンボル画像（シンボル画像（１））である。
【００６１】
適切な押鍵タイミングで、適切な鍵が押鍵されると、風船の形のシンボル画像から、風船が割れた状態を示すシンボル画像に変更される（たとえば、符号１６０３、１６０４参照）。この変更されたシンボル画像は、画像番号「２」のシンボル種別のシンボル画像で（シンボル画像（２））である。図１６には示されていないが、適切な押鍵タイミングで適切な鍵が押鍵されない場合（この場合は、押鍵タイミングのみが適切でない場合、押鍵された鍵が適切でない場合、タイミングおよび押鍵された鍵の双方が適切でない場合が含まれる）には、ひずんだ形状の風船のシンボル画像に変更される。これは、図１７（ｃ）に示すシンボル画像であり、画像番号「３」のシンボル種別のシンボル画像である。
【００６２】
図１６の例において、符号１６０３、１６０４に示すように、Ｃ３、Ｇ３の鍵は正しい押鍵タイミングにて適切に押鍵されている。また、符号１６０５に示すＥ３の鍵についても、正しい押鍵タイミングで押鍵されたと考える。その一方、たとえば、図１６において、符号１６０６で示すＤ４の鍵については、適切な押鍵タイミングで押鍵されず、或いは、適切な鍵が押鍵されなかったと考える。
【００６３】
図１８は、図１６に示す楽曲を再度演奏しているときの表示装置の画面上の画像例を示す図である。図１８に示すように、再度、同一の楽曲の演奏を行うと、適切なタイミングで適切に押鍵された鍵（たとえば、Ｃ３、Ｅ３、Ｇ３：符号１８０１〜１８０３参照）は、通常の風船のシンボル画像が表示される。その一方、適切な押鍵タイミングではなく、或いは、適切な鍵が押鍵されていない場合、その鍵（たとえば、Ｄ４）については、ひずんだ形状の風船のシンボル画像が表示される。また、この状態で、適切な押鍵タイミングで、Ｄ４の鍵が押鍵された場合には、シンボル画像は、ひずんだ風船から通常の風船の画像に変更される。
【００６４】
本実施の形態においては、ＣＰＵ２１は、曲データを参照して、表示部１３のシンボル画像領域において、当該曲データの示す音高に対応付けられた鍵に関連するように所定の種別のシンボル画像を配置した画像を生成する。また、ＣＰＵ２１は、曲データ中の押鍵タイミングを参照して、押鍵タイミングの到来に近づくのにしたがってシンボル画像が、鍵に接近するようにシンボル画像を配置する。また、ＣＰＵ２１は、曲データを参照して、当該曲データにしたがった音高に対応付けられた鍵が、曲データにしたがった押鍵タイミングで操作されたかを判断する。ＣＰＵ２１は、曲データにしたがった音高に対応付けられた鍵が、曲データにしたがった押鍵タイミングで操作された場合に、シンボル画像の種別を、通常のシンボル画像を示す種別（画像（１））から、適切に操作されたことを示す他の種別（画像（２））に変更する。その一方、ＣＰＵ２１は、曲データにしたがった音高の鍵が押鍵されず、或いは、曲データにしたがった押鍵タイミングで押鍵されなかった場合に、シンボル画像の種別を、通常の画像種別（画像（１））から、適切に操作できなかったことを示すさらに他の種別（画像（３））に変更する。
【００６５】
このように、本実施の形態によれば、適切な押鍵がなされた場合に、シンボル画像の種別を変更することに加えて、適切な押鍵がなされなかった場合に、シンボル画像の種別をさらに他の種別に変更することにより、演奏者に不適切な押鍵操作を知らせることが可能となる。
【００６６】
また、本実施の形態においては、ＣＰＵは、適切な押鍵がなされなかった場合に、曲データ中、当該適切な押鍵がなされなかったノートオンイベントについて、適切に押鍵できなかったことを示す識別子（ＮＧフラグ）を付与する。ＣＰＵ２１は、シンボル画像表示領域にシンボル画像を配置した画像を生成する際に、前記ノートオンイベントに付与された識別子を参照し、当該識別子が適切に押鍵できなかったことを示す場合には、上記さらに他の種別（画像（３））のシンボル画像を配置した画像を生成する。
【００６７】
これにより、楽曲の演奏を繰り返すと、表示部１３の画面上に表示されたが画像において、前回、押鍵が適切でなかった箇所が演奏者にわかるように表示される。これにより、演奏者による教習効果をより高めることが可能となる。
【００６８】
さらに、本実施の形態においては、鍵盤上に配置された演奏者の手を撮影するビデオカメラを有し、ＣＰＵ２１は、撮影されたデータから、演奏者の手の画像を抽出し、抽出された画像を、演奏者の手が実際に位置する鍵と対応するように、鍵盤画像領域に重ね合わせる。これにより、演奏者は、表示部１３の鍵盤画像領域に表示された自分の手および鍵盤の画像、および、シンボル画像表示領域に表示されたシンボルの双方を参照しつつ、押鍵すべき鍵を確認することが可能となる。
【００６９】
本発明は、以上の実施の形態に限定されることはない。たとえば、前記実施の形態においては、シンボル画像の拡大率は、当該シンボル画像のＹ座標値に基づいて決定されているが、これに限定されるものではない。たとえば、シンボル画像の拡大率を、現在押鍵されている鍵の数ｍに基づいて決定しても良い。この場合、ガイド処理において、図７のステップ７０４が省略される。また、図１１に示す処理は、図１９に示すものに変更される。図１９は、他の実施の形態にかかるガイド処理の部分を示すフローチャートであり、図１１に対応する。図１９において、ステップ１９０１〜１９０６は、図１１のステップ１１０１〜１１０６と同様である。ステップ１９０７において、ＣＰＵ２１は、シンボル画像の拡大率を、現在押鍵されている鍵の数ｍに基づいて決定する。たとえば、押鍵されている鍵の数ｍが大きくなるのにしたがって拡大率が大きくなるように、拡大率が設定されても良いし、ｍが大きくなるのにしたがって拡大率が小さくなるように、拡大率が設定されても良い。
【００７０】
また、前記実施の形態において、シンボル画像のＹ座標値が、押鍵タイミングに対応する所定の範囲（たとえば、Ｙ２＞Ｙ座標値＞Ｙ３）であるときに、ＣＰＵ２１は、表示されるシンボルを強調表示（たとえば、シンボル図形を太枠で囲む表示、シンボルの濃度をより大きくする表示）とするように構成しても良い。このように、押鍵タイミングで強調表示することにより演奏者に押鍵すべきタイミングが到来したことをより確実に知らせることができ、押鍵ミスを防ぐことが可能となる。
【００７１】
さらに、前記実施の形態において、曲データに拍の情報を含め、拍の先頭でシンボル画像が動く（たとえば、ジャンプするように上下する）ように構成しても良い。また、曲データの先頭に表現記号やテンポ記号を含め、シンボル画像が表現記号やテンポ記号にしたがった表示形態とするように構成しても良い。たとえば、表現記号にしたがって、シンボル画像に顔の表情をつけることが可能である。
【００７２】
以上、本発明の実施の形態について詳細に説明したが、本発明の範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明およびその均等の範囲が、本発明の範囲内に包含される。以下、本出願の願書に最初に添付した特許請求の範囲に記載された発明を付記する。なお、付記に記載した請求項の項番は、本出願の願書に最初に添付した特許請求の範囲の項番に相当する。
【００７３】
［付記］
請求項１に記載された発明は、複数の演奏操作子であってそれぞれが所定の音高と対応付けられた演奏操作子と、
少なくとも前記複数の演奏操作子のうち操作すべき演奏操作子を示すシンボル画像を表示するシンボル画像領域を有する表示手段と、
楽曲の音高およびその操作タイミングを示す曲データを格納した記憶手段と、
前記曲データを参照して、前記シンボル画像領域において、当該曲データの示す音高に対応付けられた演奏操作子に関連するように所定の種別のシンボル画像を配置した画像を生成する画像生成手段であって、当該操作タイミングを参照して、前記押鍵タイミングの到来に近づくのにしたがって前記シンボル画像が、前記表示手段上の所定の表示位置に接近するようにシンボル画像を配置する画像生成手段と、
前記曲データを参照して、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作されたかを判断する操作判断手段と、を備え、
前記画像生成手段は、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作された場合に、前記シンボル画像の種別を、通常のシンボル画像を示す第１の種別から、適切に操作されたことを示す第２の種別に変更し、
その一方、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示す第３の種別に変更するように構成された演奏教習装置である。
【００７４】
請求項２に記載された発明は、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記曲データにおいて、適切に操作されなかった音高の情報に関連して、適切に操作できなかったことを示す識別子を付与する識別子付与手段を有し、
前記画像生成手段は、前記シンボル画像を配置した画像を生成する際に、前記音高を示す情報に関連して付与された識別子を参照し、前記識別子が適切に操作できなかったことを示す場合には、第３の種別のシンボル画像を配置した画像を生成するように構成された演奏教習装置である。
【００７５】
請求項３に記載された発明は、前記複数の演奏操作子上に配置された演奏者の手を撮影する撮影手段を有するとともに、前記表示手段は前記複数の演奏操作子の画像を含む演奏操作子画像領域をさらに有し、
前記画像生成手段が、前記撮影手段により撮影されたデータから、前記演奏者の手の画像を抽出し、前記抽出された画像を、演奏者の手が実際に位置する演奏操作子と対応するように、前記演奏操作子画像領域に重ね合わせるように構成された演奏教習装置である。
【００７６】
請求項４に記載された発明は、複数の演奏操作子であってそれぞれが所定の音高と対応付けられた演奏操作子と、
少なくとも前記複数の演奏操作子のうち操作すべき演奏操作子を示すシンボル画像を表示するシンボル画像領域を有する表示手段と、
楽曲の音高およびその操作タイミングを示す曲データを格納した記憶手段と、を備えたコンピュータに、
前記曲データを参照して、前記シンボル画像領域において、当該曲データの示す音高に対応付けられた演奏操作子に関連するように所定の種別のシンボル画像を配置した画像を生成する画像生成手段であって、当該操作タイミングを参照して、前記押鍵タイミングの到来に近づくのにしたがって前記シンボルが、前記表示手段上の所定の表示位置に接近するようにシンボルを配置する画像生成ステップと、
前記曲データを参照して、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作されたかを判断する操作判断ステップと、を実行させ、
前記画像生成ステップが、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作された場合に、前記シンボル画像の種別を、通常のシンボル画像を示す第１の種別から、適切に操作されたことを示す第２の種別に変更し、
その一方、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示す第３の種別に変更するように構成された演奏教習プログラムである。
【符号の説明】
【００７７】
１０ 電子楽器
１１ 鍵盤
１２ 入力部
１３ 表示部
１４ 入力Ｉ／Ｆ
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ サウンドシステム
２６ 音源部
２７ オーディオ回路
２８ スピーカ
３０ ビデオカメラ
【技術分野】
【０００１】
本発明は、演奏者による、鍵盤など演奏操作子の操作を支援して演奏を教習させる演奏教習装置および演奏教習プログラムに関する。
【背景技術】
【０００２】
従来、課題となる楽曲を演奏者に演奏させる際に、表示装置に鍵盤の画像および操作すべき鍵およびその操作タイミングを示し、適切な押鍵を支援する装置が提案されている。たとえば、特許文献１に提案された装置では、鍵盤の画像の上側に、各鍵から垂直方向に伸びる領域を設け、その領域中に、その鍵の押鍵タイミングおよび押鍵時間を示すバー状の操作指示を表示する。バー状の操作指示は時間の経過とともに下方（画像中、鍵盤が位置する方向）にスクロールされる。
【０００３】
また、特許文献２、鍵盤の画像の上側に、各鍵の位置に対応して、その鍵を押鍵すべきことを示すシンボル画像が表示される装置が提案されている。特許文献２に提案された装置においては、シンボル画像はリンゴを模したものであり、鍵を押鍵することにより、リンゴのシンボル画像に矢が放たれ、その後、シンボル画像が消去される。
【０００４】
特許文献３には、鍵盤の画像の上側に、各鍵の位置に対応して、その鍵の押鍵タイミングを示すシンボル画像が表示され、シンボル画像が時間の経過とともに下方に移動するような装置が提案されている。特許文献３に提案された装置においても、ねじやＵＦＯを模したシンボル画像が用いられ、押鍵すべき鍵が適切な押鍵タイミングで押鍵されることにより、シンボル画像が消去されるように構成されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３１２０７３２号公報
【特許文献２】特許第３０５８０５１号公報
【特許文献３】特許第３７８７６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
たとえば、特許文献２、３に開示された装置では、ゲーム感覚で、適切な押鍵がなされた場合には、シンボルを消去することで、演奏者のやる気を増進させることができる。しかしながら、楽曲の教習の際には、不適切な押鍵があった場合、つまり、押鍵すべきタイミングに押鍵すべき鍵以外の鍵が押鍵されてしまったことや、不適切な押鍵タイミングで押鍵がされてしまったことを、適切に演奏者に知らせることが必要である。
【０００７】
本発明は、不適切な押鍵を演奏者に適切に通知することで、演奏者による楽曲の教習を支援する演奏教習装置、および、演奏教習プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的は、複数の演奏操作子であってそれぞれが所定の音高と対応付けられた演奏操作子と、
少なくとも前記複数の演奏操作子のうち操作すべき演奏操作子を示すシンボル画像を表示するシンボル画像領域を有する表示手段と、
楽曲の音高およびその操作タイミングを示す曲データを格納した記憶手段と、
前記曲データを参照して、前記シンボル画像領域において、当該曲データの示す音高に対応付けられた演奏操作子に関連するように所定の種別のシンボル画像を配置した画像を生成する画像生成手段であって、当該操作タイミングを参照して、前記押鍵タイミングの到来に近づくのにしたがって前記シンボルが、前記表示手段上の所定の表示位置に接近するようにシンボルを配置する画像生成手段と、
前記曲データを参照して、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作されたかを判断する操作判断手段と、を備え、
前記画像生成手段は、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作された場合に、前記シンボル画像の種別を、通常のシンボル画像を示す第１の種別から、適切に操作されたことを示す第２の種別に変更し、
その一方、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示す第３の種別に変更するように構成されたことを特徴とする演奏教習装置により達成される。
【発明の効果】
【０００９】
本発明によれば、不適切な押鍵を演奏者に適切に通知することで、演奏者による楽曲の教習を支援する演奏教習装置、および、演奏教習プログラムを提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施の形態にかかる電子楽器の概略を示す図である。
【図２】図２は、本実施の形態にかかる電子楽器の構成を示すブロックダイヤグラムである。
【図３】図３（ａ）は、本実施の形態にかかる曲データの構成例を示す図、図３（ｂ）は、本実施の形態にかかる画像データの構成例を示す図である。
【図４】図４は、本実施の形態にかかる電子楽器のメインフローの概略を示すフローチャートである。
【図５】図５は、本実施の形態にかかるスイッチ処理の例を示すフローチャートである。
【図６】図６は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図７】図７は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図８】図８は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図９】図９は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図１０】図１０は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図１１】図１１は、本実施の形態にかかるガイド処理の例を示すフローチャートである。
【図１２】図１２は、本実施の形態にかかる鍵盤処理の例を示すフローチャートである。
【図１３】図１３は、本実施の形態にかかる鍵盤処理の例を示すフローチャートである。
【図１４】図１４は、本実施の形態にかかる鍵盤処理の例を示すフローチャートである。
【図１５】図１５は、本実施の形態にかかる表示処理の例を示すフローチャートである。
【図１６】図１６は、本実施の形態にかかる表示部の画面上に表示された画像の例を示す図である。
【図１７】図１７は、本実施の形態にかかるシンボル種別に基づくシンボル画像例を示す図である。
【図１８】図１８は、図１６に示す楽曲を再度演奏しているときの表示装置の画面上の画像例を示す図である。
【図１９】図１９は、他の実施の形態にかかるガイド処理の部分を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の実施の形態について説明する。図１は、本発明の実施の形態にかかる電子楽器の概略を示す図である。本実施の形態では、演奏教習装置は鍵盤を有する電子楽器の形態を有している。図１に示すように、本実施の形態にかかる電子楽器１０は、鍵盤１１を有する。鍵盤１１は、複数の鍵（たとえば、符号１６、１７参照）を有し、ある鍵の押鍵にしたがって、押鍵された鍵に対応する音高の楽音を発生することができる。また、電子楽器１０は、スイッチ（たとえば符号１８参照）やテンキー（符号１９参照）を有するとともに、その中央上側に表示部１３を有する。表示部１３は大型の液晶表示装置を含み、楽譜や、後述する演奏すべき楽曲の音高や演奏結果を示すシンボルを含む画像を表示することが可能である。また、本実施の形態にかかる電子楽器３０には、ビデオカメラ３０が接続されている。ビデオカメラ３０は電子楽器３０の上部に固定され、鍵盤および鍵盤上に配置された演奏者の指を撮影することができる。
【００１２】
図２は、本実施の形態にかかる電子楽器の構成を示すブロックダイヤグラムである。図２に示すように、本実施の形態にかかる電子楽器１０は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、サウンドシステム２４、鍵盤１１、入力部１２、表示部１３および入力インタフェース（Ｉ／Ｆ）１４を備える。 入力部１２は、音色指定スイッチ、スタート・ストップスイッチなどを有する。また、上述したように表示部１３は、液晶表示装置を有する。入力Ｉ／Ｆ１４は、ケーブルなどを介してビデオカメラ３０と接続される。なお、入力Ｉ／Ｆ１４とビデオカメラ３０との間は、無線、赤外線などによりワイヤレスでのデータ通信がなされるように攻勢されても良い。
【００１３】
ＣＰＵ２１は、電子楽器１０全体の制御、鍵盤１１の鍵の押鍵や入力部１２を構成するスイッチの操作の検出、鍵やスイッチの操作にしたがったサウンドシステム２４の制御、押鍵された鍵の正誤判定、正誤判定に基づく画像中のシンボルの生成など、種々の処理を実行する。
【００１４】
ＲＯＭ２２は、ＣＰＵ２１に実行させる種々の処理、たとえば、電子楽器１０全体の制御、鍵盤１１の鍵の押鍵や入力部１２を構成するスイッチの操作の検出、鍵やスイッチの操作にしたがったサウンドシステム２４の制御、押鍵された鍵の正誤判定、正誤判定に基づく画像中のシンボルの生成などの処理プログラムを格納する。また、ＲＯＭ２２は、ピアノ、ギター、バスドラム、スネアドラム、シンバルなどの楽音を生成するための波形データを格納した波形データエリアを有する。また、ＲＯＭ２２は、楽曲についてのイベントのレコードおよびタイムのレコードなどを含む曲データを格納する。なお、曲データは初期的にはＲＯＭ２２に格納されているが、処理の過程でフラグのセット、リセットが行われる。したがって、処理の開始時に、たとえば、イニシャライズ処理において、曲データはＲＯＭ２２から読み出されて、ＲＡＭ２３にコピーされる。
【００１５】
ＲＡＭ２３は、ＲＯＭ２２から読み出されたプログラムやガイドデータ、処理の過程で生成されたパラメータやデータを格納する。また、本実施の形態においては、ＲＡＭ２３は、演奏者が押鍵すべき鍵およびそのタイミングを示すためのシンボルを画像表示するための画像データを格納する。
【００１６】
サウンドシステム２４は、音源部２６、オーディオ回路２７およびスピーカ２８を有する。音源部２６は、たとえば、ノートオンイベントをＣＰＵ２１から受信すると、ＲＯＭ２２の波形データエリアから所定の波形データを読み出して、ノートオンイベントに含まれる音高情報にしたがった音高の楽音データを生成して出力する。オーディオ回路２７は、楽音データをＤ／Ａ変換して増幅する。これによりスピーカ２８から音響信号が出力される。
【００１７】
図３（ａ）は、本実施の形態にかかる曲データの構成例を示す図、図３（ｂ）は、本実施の形態にかかる画像データの構成例を示す図である。図３（ａ）に示すように、曲データのレコードは、タイムのレコード（符号３０１、３０４参照）と、それらの間に配置されるノート（ノートオンイベント）のレコード（符号３０２）が含まれる。また、ノートのレコードには、ＮＧフラグ（符号３０３）が付加される。タイムのレコードには時間情報が格納される。これは、タイムの前後にあるノートのレコードが示すオンイベントの間の時間間隔を示す。また、ＮＧフラグは、演奏者による鍵の押鍵が、ノートオンイベントに含まれる音高と同一であるか、また、押鍵タイミングは適切であるかを示すフラグであり、演奏者による押鍵が適切であればＮＧフラグは「０」となる。図３（ｂ）に示す画像データのレコードの内容については、当該レコード中の値を参照する部分において、それぞれ説明する。
【００１８】
図４は、本実施の形態にかかる電子楽器のメインフローの概略を示すフローチャートである。電源の投入とともに、メインフローは起動し、イニシャライズ処理（ステップ４０１）の後、ステップ４０２以降の処理が繰り返し実行される。イニシャライズ処理においては、ＲＡＭ２３中のデータのクリア、ＲＡＭ２３への曲データのコピー、表示部１５の画面のクリアなどが実行される。イニシャライズ処理（ステップ４０１）が終了すると、ＣＰＵ２１は、入力部１２を構成するスイッチのそれぞれの操作を検出し、検出された操作にしたがった処理を実行するスイッチ処理を実行する（ステップ４０２）。図５は、本実施の形態にかかるスイッチ処理の例を示すフローチャートである。
【００１９】
スイッチ処理において、ＣＰＵ２１は、入力部１２のスイッチ中、スタート・ストップスイッチの操作があったかを判断する（ステップ５０１）。ステップ５０１でＮｏと判断された場合には、ステップ５１０に進む。ステップ５０１でＹｅｓと判断された場合には、ＣＰＵ２１は、ＲＡＭ２３中のスタートフラグＳＴＦを反転させ（ステップ５０２）、反転されたスタートフラグＳＴＦが「１」であるかを判断する（ステップ５０３）。
【００２０】
ステップ５０３でＹｅｓと判断された場合には、ＣＰＵ２１は、ＲＡＭ２３中の曲データの先頭アドレスをパラメータＡＤとしてＲＡＭ２３に格納する（ステップ５０４）。次いで、ＣＰＵ２１は、ＡＤをアドレスとして、ＲＡＭ２３中の曲データのレコードを読み出し（ステップ５０５）、読み出されたレコード中の値（タイム）をＲＡＭ２３中の時間情報ｔとして格納する（ステップ５０６）。また、ＣＰＵ２１は、ＲＡＭ２３中のタイマ値Ｔを「０」に初期化し（ステップ５０７）、ＲＡＭ２３中の画像データエリアをクリアする（ステップ５０８）。また、ＣＰＵ２１はタイマインタラプトを解除する（ステップ５０９）。タイマインタラプトが解除されると、タイマインタラプト処理が、最小単位時間ごとに起動され、ＣＰＵ２１の内部カウンタ値がインクリメントされる。
【００２１】
ステップ５０３でＮｏと判断された場合には、ＣＰＵ２１は、表示部１３に表示された画像を消去する（ステップ５１１）とともに、タイマインタラプトを禁止する（ステップ５１２）。
【００２２】
その後、ＣＰＵ２１は、他のスイッチ処理を実行する（ステップ５１０）。他のスイッチ処理において、ＣＰＵ２１は、たとえば、演奏者によるテンキーや音色指定スイッチの操作にしたがって、発音すべき楽音の音色を示す情報をＲＡＭ２３中に格納する。
【００２３】
スイッチ処理（ステップ４０２）が終了すると、ＣＰＵ２１は、表示処理を実行する（ステップ４０３）。図１５は、本実施の形態にかかる表示処理の例を示すフローチャートである。図１５に示すように、ＣＰＵ２１は、ＲＡＭ２３中のスタートフラグＳＴＦが「１」であるかを判断する（ステップ１５０１）。ステップ１５０１でＹｅｓと判断された場合には、アドレスを示すパラメータＡＤを参照して、曲データにおける現在位置を特定し、表示部１３の楽譜表示領域に表示されている楽譜の更新が必要であるかを判断する（ステップ１５０２）。ステップ１５０２でＮｏと判断された場合には、新たな楽譜データを読み出し（ステップ１５０３）、楽譜表示領域に新たな楽譜データに対応する楽譜の部分を含む楽譜を表示する（ステップ１５０４）。
【００２４】
また、ＣＰＵ２１は、入力Ｉ／Ｆ１４を介してビデオカメラ４０からの映像を取得し（ステップ１５０５）。映像中、演奏者の手の画像および鍵盤に対する位置情報を抽出する（ステップ１５０６）。次いで、ＣＰＵ２１は、鍵盤表示領域において、演奏者の手の位置と対応するように鍵盤の画像上に抽出された手の画像を重ね合わせた画像を生成し、生成された画像を表示部１３の画面上に表示する（ステップ１５０７）。ここで、演奏者の手の位置、特に、横方向（Ｘ軸方向）の位置が移動することにより、鍵盤の位置が変更される場合もある。そこで、ＣＰＵ２１は、画像データの各レコード群において、座標（ｘ，ｙ）のレコード中、Ｘ座標値を、鍵盤の位置の変更にしたがった更新する（ステップ１５０８）。また、ＣＰＵ２１は、上記画像データにおける座標にしたがって、シンボル表示領域中にシンボル画像を再描画する（ステップ１５０９）。
【００２５】
図１６は、本実施の形態にかかる表示部の画面上に表示された画像の例を示す図である。本実施の形態において、画像１６００は楽譜表示領域１６１０、シンボル表示領域１６２０および鍵盤表示領域１６３０を有する。シンボル表示領域１６２０には後述するように３つのシンボル種別の画像（シンボル画像（１）〜（３））が表示される。図１６において、符号１６０１、１６０２に示すシンボル画像は、画像番号「１」のシンボル種別を有するシンボル画像（シンボル画像（１））である。また、符号１６０３に示すシンボル画像は、画像番号「２」のシンボル種別を有するシンボル画像（シンボル画像（２））である。なお、シンボル画像が表示されるシンボル画像表示領域は、部分的に鍵盤表示領域とオーバーラップしている。
【００２６】
また、図１６において、鍵盤表示領域１６３０には、鍵盤の画像（符号１６４０参照）に、実際に撮影された演奏者の手の画像（符号１６４１、１６４２参照）が重ねられている。
【００２７】
表示処理（ステップ４０３）が終了すると、ＣＰＵ２１はガイド処理を実行する（ステップ４０４）。図６〜図１１は、本実施の形態にかかるガイド処理の例を示すフローチャートである。図６に示すように、ＣＰＵ２１はスタートフラグＳＴＦが「１」であるかを判断する（ステップ６０１）。ステップ６０１でＹｅｓと判断された場合に、ＣＰＵ２１は、内部カウント値を参照して、最小単位時間が経過しているかを判断する（ステップ６０２）。ステップ６０１或いはステップ６０２でＮｏと判断された場合には、ガイド処理を終了する。ステップ６０２でＹｅｓと判断された場合には、ＣＰＵ２１は、タイマ値Ｔをインクリメントする（ステップ６０３）。
【００２８】
次いで、ＣＰＵ２１は、ＲＡＭ２３の画像データエリア中に画像データのレコードがあるかを判断する（ステップ６０４）。ステップ６０４でＮｏと判断された場合には、ステップ６０９に進む。ステップ６０４でＹｅｓと判断された場合には、画像データのレコード群（たとえば、図３（ｂ）の符号３２１〜３２６参照）を特定するためのパラメータｎを「０」に初期化する（ステップ６０５）。次いで、ＣＰＵ２１は、第ｎ番のレコード群中、Ｔ（ｎ）（たとえば、図３の符号３２５参照）を格納したレコードに含まれる値Ｔ（ｎ）をインクリメントする（ステップ６０６）。このＴ（ｎ）は、第ｎ番の画像データのレコード群が示すシンボルの表示時間を示す。
【００２９】
ＣＰＵ２１は、パラメータｎをインクリメントして（ステップ６０７）、パラメータｎが、表示されているシンボルの総数Ｉより大きいかを判断する（ステップ６０８）。このシンボルの総数ＩはＲＡＭ２３に格納されている。表示されているシンボルの総数Ｉより大きいかを判断するステップ６０８でＮｏと判断された場合にはステップ６０６に戻る。その一方、ステップ６０８でＹｅｓと判断された場合には、上記タイマ値Ｔが、曲データのタイムｔ以上になっているかを判断する（ステップ６０９）。ステップ６０９でＹｅｓと判断された場合には、ＣＰＵ２１はパラメータＡＤをインクリメントする（ステップ６１０）。なお、ステップ６０９でＮｏと判断された場合には、図７のステップ７０１に進む。
【００３０】
ＣＰＵ２１は、パラメータＡＤが曲データの最終アドレスＥＮＤ以上になったかを判断する（ステップ６１１）。ステップ６１１でＹｅｓと判断された場合には、ＣＰＵ２１は、スタートフラグＳＴＦを「０」にリセットし（ステップ６１２）、表示部１３の画面上、シンボル画像表示領域に表示されたシンボル画像を消去する（ステップ６１３）。また、ＣＰＵ２１は、タイマインタラプトを禁止する（ステップ６１４）。ステップ６１１でＮｏと判断された場合には、図１０のステップ１００１に進む。
【００３１】
ステップ６０９でＮｏと判断された場合、ＣＰＵ２１は、画像データのレコード群を特定するためのパラメータｉを「０」に初期化する（ステップ７０１）。次いで、ＣＰＵ２１は、パラメータｙを、時間情報Ｔ（ｉ）に対応したＹ座標値に設定する（ステップ７０２）。図１６に示すように、本実施の形態においては、シンボルの表示領域（符号１６２０参照）には、鍵盤表示領域１６３０に表示された鍵のＸ座標値を有し、かつ、そのＹ座標値が、押鍵タイミングが近づくのにしたがって「０」に近づくようなＸ座標値およびＹ座標値に、シンボルが表示される。たとえば、符号１６２１、１６２２に示す線上に位置するシンボルでは、符号１６２２で示すシンボルが、Ｙ座標値が小さいため、先に押鍵すべきことがわかる。なお、この例では、画像において、Ｙ座標値は下側にいくのにしたが手小さくなる。
【００３２】
このように、シンボルは、そのＸ座標値により押鍵すべき鍵を示す。また、そのＹ座標値により押鍵すべきタイミングを示す。図１６において、同一のＹ座標値（たとえば、符号１６２１、６１２２参照）に複数のシンボルが表示されていれば、これはシンボルが示すＸ座標に対応する複数の鍵を同時に押鍵すべきことを示している。
【００３３】
また、シンボルのＹ座標上の位置（たとえば、図１６の符号１６２１、１６２２、１６２３、１６２４参照）は、表示時間Ｔ（ｎ）により決定される。表示時間Ｔ（ｎ）が大きくなるのにしたがって、押鍵タイミングが近づくことになるため、表示時間Ｔ（ｎ）が大きくなるのにしたがって、Ｙ座標値が「０」に近づくように、Ｙ座標値をあらかじめ定めておくことができる。
【００３４】
ＣＰＵ２１は、表示部１３の画面のシンボル表示領域（図１６の符号１６２０参照）において、ＮＯＴＥ（ｉ）に対応する、シンボル種別の画像を、決定されたＸ座標値、Ｙ座標値に示す位置に移動させる（ステップ７０３）。なお、シンボル種別は、上記第ｉ番のレコード群の画像番号のレコードに格納されている。以下、シンボル種別について説明する。
【００３５】
図１７は、本実施の形態にかかるシンボル種別に基づくシンボル画像例を示す図である。本実施の形態においては、押鍵前後、および、正しい押鍵がなされたか否かにしたがって３つのシンボル種別が設けられている。図１７（ａ）は、画像（１）に対応するシンボル画像である。このシンボル画像１７００は、押鍵前のタイミングであり、かつ、対応する音符が始めて出現するか前回は正しく押鍵出来たことを示す。図１７（ｂ）は、後述する画像（２）に対応するシンボル画像である。このシンボル画像１７１０は、演奏者が、適切な押鍵タイミングで押鍵できたことを示す。図１７（ｃ）は、後述する画像（３）に対応するシンボル画像である。このシンボル画像は、前回に正しく押鍵ができなかったことを示す。
【００３６】
また、ＣＰＵ２１は、座標（ｘ，ｙ）のうちＹ座標値ｙに基づき、ＮＯＴＥ（ｉ）に対応したシンボル画像の拡大率を決定する（ステップ７０４）。本実施の形態では、押鍵タイミングが近づき、Ｙ座標値ｙが「０」に近づくのにしたがって、その拡大率が大きくなる。たとえばＹ座標値の範囲と、シンボル画像の拡大率とを対応付けたテーブルを予めＲＡＭ２３に格納し、ＣＰＵ２１が、このテーブルを読み出すように構成すればよい。
【００３７】
次いで、ＣＰＵ２１は、第ｉ番のレコード群におけるＹ座標が、押鍵すべきタイミングの範囲を示すＹ１以上、Ｙ２以下の範囲（Ｙ１≦Ｙ座標≦Ｙ２）にあるかを判断する（ステップ７０５）。Ｙ１は、たとえば、図１６の符号１６２４に示すＹ座標値であり、Ｙ２は、たとえば、同図の符号１６２５に示すＹ座標値である。ステップ７０４でＹｅｓと判断された場合には、ＣＰＵ２１は、押鍵すべきタイミングが到来したことを示すフラグＯＮ（ｉ）を「１」にセットする（ステップ７０６）。
【００３８】
次いで、ＣＰＵ２１は、第ｉ番のレコード群におけるＹ座標が、押鍵タイミングを過ぎてしまった範囲を示すＹ２とＹ３との間（Ｙ２＞Ｙ座標＞Ｙ３）であるかを判断する（ステップ７０７）。ステップ７０７でＮｏと判断された場合には、図９のステップ９０１に進む。ステップ７０７でＹｅｓと判断された場合には、ＣＰＵ２１は、押鍵タイミング到来フラグＯＮ（ｉ）が「１」であるかを判断する（ステップ７０８）。後に再度説明するが、押鍵タイミング到来フラグＯＮ（ｉ）は、適切な押鍵タイミングでの当該鍵の押鍵がなされた場合には「０」にリセットされる。したがって、ステップ７０８でＹｅｓと判断された場合には、適切な押鍵タイミングで適切な鍵が押鍵されなかったことを示す。
【００３９】
ステップ７０８でＮｏと判断された場合には、図８のステップ８０６に進む。ステップ７０８でＹｅｓと判断された場合には、ＣＰＵ２１は、第ｉ番のレコード群において、画像番号のレコードに「３」を格納する（ステップ７０９）。この画像番号は、図１７を参照して説明したシンボル画像のシンボル種別（画像（１）〜（３））に対応する。次いで、ＣＰＵ２１は、シンボル表示領域において表示されているＮＯＴＥ（ｉ）に対応するシンボル画像のシンボル種別を画像（３）に変更する（ステップ７１０）。また、ＣＰＵ２１は、曲データにおいて、ＮＯＴＥ（ｉ）に対応するオートオンイベントのレコードに付加されたＮＧフラグを「１」にセットする（ステップ７１１）。その後、ＣＰＵ２１は、現在押鍵されている鍵の数（押鍵数）を示すパラメータｍをデクリメントする（ステップ７１２）。
【００４０】
次いで、ＣＰＵ２１は、画像データのレコード群を特定するための別のパラメータｎを「０」に初期化して、第ｎ番のレコード群のうち、シンボルの消去タイミング（消去順序）を示すＮ（ｎ）が０であるかを判断する（ステップ８０２）。ステップ８０２でＹｅｓと判断された場合には、ＣＰＵ２１は、Ｎ（ｎ）をデクリメントする（ステップ８０３）。次いで、ＣＰＵ２１は、パラメータｎをインクリメントして（ステップ８０４）、パラメータｎが、表示されているシンボルの総数Ｉより大きいかを判断する（ステップ８０５）。ステップ８０５でＮｏと判断された場合には、ステップ８０２に戻る。
【００４１】
ステップ８０５でＹｅｓと判断された場合には、ＣＰＵ２１は、パラメータｉをインクリメントして（ステップ８０６）、当該パラメータｉがシンボルの総数Ｉより大きいかを判断する（ステップ８０７）。ステップ８０７でＮｏと判断された場合には、ステップ７０２戻る。ステップ８０７でＹｅｓと判断された場合には、ＣＰＵ２１は、シンボル総数Ｉから、消去されたシンボル数を示すパラメータＳを減じて、新たなシンボル総数Ｉを得て、ＲＡＭ２３に格納する（ステップ８０８）。その後、パラメータＳを「０」に初期化して（ステップ８０９）ガイド処理を終了する。
【００４２】
次に、ステップ７０６でＮｏと判断された場合について説明する。ステップ７０６でＮｏと判断された場合には、ＣＰＵ２１は、画像データのレコード群を特定するためのパラメータｎを「０」に初期化する（ステップ９０１）とともに、消去されたシンボル数を示すパラメータＳを「０」に初期化する（ステップ９０２）。ＣＰＵ２１は、画像データの第ｎ番のレコード群中のＮ（ｎ）が「０」であるかを判断する（ステップ９０３）。ステップ９０３でＹｅｓと判断された場合には、シンボル表示領域に表示されている、第ｎ番のレコード群中のＮｏｔｅ（ｎ）に対応するシンボルを消去する（ステップ９０４）。また、ＣＰＵ２１は、Ｎｏｔｅ（ｎ）に対応する画像データエリア、すなわち、第ｎ番のレコード群を消去する（ステップ９０５）。その後、ＣＰＵ２１は、消去されたシンボル数を示すパラメータＳをインクリメントする（ステップ９０６）。
【００４３】
ステップ９０３でＮｏと判断された場合、或いは、ステップ９０６が実行された後に、ＣＰＵ２１は、パラメータｎをインクリメントして（ステップ９０７）、パラメータｎがシンボル総数Ｉより大きいかを判断する（ステップ９０８）。ステップ９０８でＮｏと判断された場合には、ステップ９０３に戻る。ステップ９０８でＹｅｓと判断された場合には、図８のステップ８０６に進む。
【００４４】
次に、ステップ６１１でＮｏと判断された場合について説明する。ステップ６１１でＮｏ、つまり、インクリメントされたアドレスを示すパラメータＡＤが、曲データの最終アドレスより小さい場合には、ＣＰＵ２１は、パラメータＡＤをアドレスとして曲データのレコードを読み出す（ステップ１００１）。ＣＰＵ２１は、読み出されたレコード中のデータがイベントであるかを判断する（ステップ１００２）。ステップ１００２でＮｏ、つまり、データがタイムである場合には、ＣＰＵ２１は、ＲＡＭ２３中のパラメータｔにデータ値であるタイムを格納して（ステップ１００３）、ガイド処理を終了する。
【００４５】
ステップ１００３でＹｅｓと判断された場合には、ＣＰＵ２１は、シンボル総数を示すパラメータＩをインクリメントして（ステップ１００４）、ＲＡＭ２３中に第Ｉ番の画像データのための新たに画像データエリアを確保する（ステップ１００５）。次いで、ＣＰＵ２１は、当該確保された画像データエリアにおいて、ＮＯＴＥ（Ｉ）にイベントが示すノート番号を格納する（ステップ１００６）。また、ＣＰＵ２１は、当該曲データのイベントのＮＧフラグを参照して、ＮＧフラグが「０」であるかを判断する（ステップ１００７）。ここで、ＮＧフラグは、適切なタイミングで適切な鍵が押鍵されなかった場合にステップ７１０において「１」にセットされている。すなわち、前回の演奏で、適切なタイミングで適切な鍵が押鍵されていなければ、ＮＧフラグは「１」となっている。
【００４６】
ステップ１００７でＹｅｓ（ＮＧフラグ＝０）である場合には、ＣＰＵ２１は、第Ｉ番のレコード群において、画像番号「１」をセットする（ステップ１００８）。これにより、ＮＯＴＥ（Ｉ）に対応付けられて、シンボル種別が画像（１）であるシンボル画像が（図１７（ａ）の符号１７００参照）、シンボル表示領域中に表示されることになる。これに対して、ステップ１００７でＮｏ（ＮＧフラグ＝１）である場合には、ＣＰＵ２１は、第Ｉ番のレコード群において、画像番号「３」をセットする（ステップ１００９）。これにより、ＮＯＴＥ（Ｉ）に対応付けられて、シンボル種別が画像（３）であるシンボル画像が（図１７（ｃ）の符号１７２０参照）、シンボル表示領域中に表示されることになる。
【００４７】
次いで、ＣＰＵ２１は、第Ｉ番のレコード群において、押鍵すべきタイミングが到来したことを示すフラグＯＮ（Ｉ）を「０」にリセットする（ステップ１１０１）とともに、表示時間を示すＴ（Ｉ）を「０」にリセットする（ステップ１１０２）。ＣＰＵ２１は、現在押鍵されている鍵の数（押鍵数）を示すパラメータｍをインクリメントする（ステップ１１０３）とともに、シンボルの消去タイミング（消去順序）を示すＮ（Ｉ）の値としてｍを格納する（ステップ１１０４）。
【００４８】
さらに、ＣＰＵ２１は、パラメータｘとしてＮＯＴＥ（Ｉ）の鍵に対応したＸ座標を設定し（ステップ１１０５）、パラメータＹとして初期Ｙ座標ｙ０を設定する（ステップ１１０６）。ＣＰＵ２１は、表示すべきシンボルの拡大率の初期値を設定する（ステップ１１０７）。この拡大率の初期値は予め定められた値であれば良い。また、ＣＰＵ２１は、ＮＯＴＥ（Ｉ）の音名に基づき表示するシンボル画像の色を決定する（ステップ１１０８）。本実施の形態では、なお、図１６に示すように、シンボルは、押鍵タイミングが近づくのにしたがって、その拡大率が大きくなる。これは、図７のステップ７０４においてＹ座標値にしたがって拡大率を変更することにより実現される。
【００４９】
また、本実施の形態においては、音名（Ｃ、Ｃ＃＝Ｄ♭、Ｄ、Ｄ＃＝Ｅ♭、・・・）に応じて、あらかじめシンボルの色が定められ、その情報がＲＡＭ２３に格納されている。したがって、ステップ１１０８では、ＣＰＵ２１は、音名にあらかじめ対応付けられた色をＲＡＭ２３から読み出せばよい。
【００５０】
その後、ＣＰＵ２１は、画像データエリアの第Ｉ番のレコード群に格納された情報に基づき、シンボル表示領域に所定のシンボルを表示する（ステップ１１０９）。ステップ１１０９が終了すると、ステップ６１０に戻る。
【００５１】
ガイド処理（ステップ４０４）が終了すると、ＣＰＵ２１は鍵盤処理を実行する（ステップ４０５）。図１２〜図１４は、本実施の形態にかかる鍵盤処理の例を示すフローチャートである。図１２に示すように、ＣＰＵ２１は、鍵盤１１の鍵を走査して（ステップ１２０１）、その鍵状態を判断する（ステップ１２０２）。鍵状態に変化が無い場合には鍵盤処理を終了する。鍵状態が新規オンである場合には、ＣＰＵ２１は、押鍵された鍵の情報をパラメータＫＥＹとしてＲＡＭ２３に格納し（ステップ１２０３）、パラメータＫＥＹにより特定される音高の楽音を生成するためにノートオンイベントを生成する（ステップ１２０４）。ＣＰＵ２１は、生成されたノートオンイベントを音源部２６に出力する（ステップ１２０５）。
【００５２】
ステップ１２０２で、鍵状態が新規オフと判断された場合には、ＣＰＵ２１は、離鍵された鍵の情報をパラメータＫＥＹとしてＲＡＭ２３に格納し（ステップ１２０６）、パラメータＫＥＹにより特定される音高の楽音を消音するためのノートオフイベントを生成する（ステップ１２０７）。ＣＰＵ２１は、生成されたノートオフイベントを音源部２６に出力して（ステップ１２０８）、鍵盤処理を終了する。
【００５３】
ステップ１２０５が終了すると、ＣＰＵ２１は、画像データのレコード群を決定するためのパラメータｉを「０」に初期化する（ステップ１２０９）。次いで、画像データの第ｉ番のレコード群において、押鍵すべきタイミングが到来したことを示すフラグＯＮ（ｉ）が「１」であるかを判断する（ステップ１２１０）。ステップ１２１０でＹｅｓと判断された場合には、ＲＡＭ２３に格納されたパラメータＫＥＹが、第ｉ番のレコードのＮＯＴＥ（ｉ）と同一であるかを判断する（ステップ１２１１）。ステップ１２１０或いはステップ１２１１でＮｏと判断された場合には、図１３のステップ１３０１に進む。
【００５４】
ステップ１２１１でＹｅｓと判断された場合には、ＣＰＵ２１は、第ｉ番のレコード群における画像番号を「２」に変更する（ステップ１２１２）とともに、シンボル表示領域において表示されているＮＯＴＥ（ｉ）に対応するシンボル画像のシンボル種別を画像（２）に変更する（ステップ１２１３）。次いで、ＣＰＵ２１は、曲データにおいて、ＮＯＴＥ（ｉ）に対応するオートオンイベントのレコードに付加されたＮＧフラグを「０」にリセットする（ステップ１２１４）。その後、ＣＰＵ２１は、押鍵すべきタイミングが到来したことを示すフラグＯＮ（ｉ）を「０」にリセットする（ステップ１２１５）。ステップ１２１１でＹｅｓと判断された場合には、適切なタイミングで適切な鍵が押鍵されたことを意味している。したがって、図１７（ｂ）に示すようなシンボル種別が画像（２）の画像が、押鍵された鍵に対応付けられて表示される。すなわち、それまでは風船に空気が入っていた状態であったのが（図１７（ａ）参照）、適切な押鍵により風船が割れた状態（図１７（ｂ）参照）となる。
【００５５】
次いで、ＣＰＵ２１は、押鍵数を示すパラメータｍをデクリメントする（ステップ１３０１）。また、ＣＰＵ２１は、画像データのレコード群を特定するための別のパラメータｎを「０」に初期化して、第ｎ番のレコード群のうち、シンボルの消去タイミング（消去順序）を示すＮ（ｎ）が０であるかを判断する（ステップ１３０３）。ステップ１３０３でＹｅｓと判断された場合には、ＣＰＵ２１は、Ｎ（ｎ）をデクリメントする（ステップ１３０４）。次いで、ＣＰＵ２１は、パラメータｎをインクリメントして（ステップ１３０５）、パラメータｎが、表示されているシンボルの総数Ｉより大きいかを判断する（ステップ１３０６）。ステップ１３０６でＮｏと判断された場合には、ステップ１３０３に戻る。
【００５６】
さらに、ＣＰＵ２１は、再度パラメータｎを「０」にリセットする（ステップ１３０７）とともに、消去されたシンボル数を示すパラメータＳを「０」に初期化する（ステップ１３０８）。ＣＰＵ２１は、画像データの第ｎ番のレコード群中のＮ（ｎ）が「０」であるかを判断する（ステップ１４０１）。ステップ１４０１でＹｅｓと判断された場合には、シンボル表示領域に表示されている、第ｎ番のレコード群中のＮｏｔｅ（ｎ）に対応するシンボルを消去する（ステップ１４０２）。また、ＣＰＵ２１は、Ｎｏｔｅ（ｎ）に対応する画像データエリア、すなわち、第ｎ番のレコード群を消去する（ステップ１４０３）。その後、ＣＰＵ２１は、消去されたシンボル数を示すパラメータＳをインクリメントする（ステップ１４０４）。
【００５７】
ステップ１４０１でＮｏと判断された場合、或いは、ステップ１４０４が実行された後に、ＣＰＵ２１は、パラメータｎをインクリメントして（ステップ１４０５）、パラメータｎがシンボル総数Ｉより大きいかを判断する（ステップ１４０６）。ステップ１４０６でＮｏと判断された場合には、ステップ１４０１に戻る。ステップ１４０６でＹｅｓと判断された場合には、ＣＰＵ２１は、パラメータｉをインクリメントして（ステップ１４０７）、パラメータｉがシンボル総数Ｉより大きいかを判断する（ステップ１４０８）。ステップ１４０８でＮｏと判断された場合には、ＣＰＵ２１は、ステップ１２１０に戻る。
【００５８】
ステップ１４０８でＹｅｓと判断された場合には、ＣＰＵ２１は、シンボル総数Ｉから消去されたシンボル数Ｓを減じて、得られた新たなシンボル総数ＩをＲＡＭ２３に格納する（ステップ１４０９）。その後、ＣＰＵ２１は、消去されたシンボル数を示すパラメータＳを「０」にリセットする（ステップ１４１０）。
【００５９】
鍵盤処理（ステップ４０５）が終了すると、ＣＰＵ２１は、その他の処理を実行する（ステップ４０６）。その他の処理においては、ＣＰＵ２１は、入力Ｉ／Ｆ１４を介したビデオカメラ１４のズーム等の制御などを実行する。その後、ステップ４０２に戻り、ステップ４０２〜４０６の処理が繰り返される。
【００６０】
以下、表示装置の画面上に表示される画像例について説明する。図１６に示すように、シンボル表示領域１６２０においては、Ｘ軸方向において押鍵すべき鍵と合致する位置に、シンボル画像が表示され、当該シンボル画像は、押鍵タイミングが近づくのにしたがって、演奏者の手の表示位置に近づくように、Ｙ軸方向に移動される。基本的に、Ｙ軸方向に移動するシンボル画像は、風船の形をしている。これは、画像番号「１」のシンボル種別のシンボル画像（シンボル画像（１））である。
【００６１】
適切な押鍵タイミングで、適切な鍵が押鍵されると、風船の形のシンボル画像から、風船が割れた状態を示すシンボル画像に変更される（たとえば、符号１６０３、１６０４参照）。この変更されたシンボル画像は、画像番号「２」のシンボル種別のシンボル画像で（シンボル画像（２））である。図１６には示されていないが、適切な押鍵タイミングで適切な鍵が押鍵されない場合（この場合は、押鍵タイミングのみが適切でない場合、押鍵された鍵が適切でない場合、タイミングおよび押鍵された鍵の双方が適切でない場合が含まれる）には、ひずんだ形状の風船のシンボル画像に変更される。これは、図１７（ｃ）に示すシンボル画像であり、画像番号「３」のシンボル種別のシンボル画像である。
【００６２】
図１６の例において、符号１６０３、１６０４に示すように、Ｃ３、Ｇ３の鍵は正しい押鍵タイミングにて適切に押鍵されている。また、符号１６０５に示すＥ３の鍵についても、正しい押鍵タイミングで押鍵されたと考える。その一方、たとえば、図１６において、符号１６０６で示すＤ４の鍵については、適切な押鍵タイミングで押鍵されず、或いは、適切な鍵が押鍵されなかったと考える。
【００６３】
図１８は、図１６に示す楽曲を再度演奏しているときの表示装置の画面上の画像例を示す図である。図１８に示すように、再度、同一の楽曲の演奏を行うと、適切なタイミングで適切に押鍵された鍵（たとえば、Ｃ３、Ｅ３、Ｇ３：符号１８０１〜１８０３参照）は、通常の風船のシンボル画像が表示される。その一方、適切な押鍵タイミングではなく、或いは、適切な鍵が押鍵されていない場合、その鍵（たとえば、Ｄ４）については、ひずんだ形状の風船のシンボル画像が表示される。また、この状態で、適切な押鍵タイミングで、Ｄ４の鍵が押鍵された場合には、シンボル画像は、ひずんだ風船から通常の風船の画像に変更される。
【００６４】
本実施の形態においては、ＣＰＵ２１は、曲データを参照して、表示部１３のシンボル画像領域において、当該曲データの示す音高に対応付けられた鍵に関連するように所定の種別のシンボル画像を配置した画像を生成する。また、ＣＰＵ２１は、曲データ中の押鍵タイミングを参照して、押鍵タイミングの到来に近づくのにしたがってシンボル画像が、鍵に接近するようにシンボル画像を配置する。また、ＣＰＵ２１は、曲データを参照して、当該曲データにしたがった音高に対応付けられた鍵が、曲データにしたがった押鍵タイミングで操作されたかを判断する。ＣＰＵ２１は、曲データにしたがった音高に対応付けられた鍵が、曲データにしたがった押鍵タイミングで操作された場合に、シンボル画像の種別を、通常のシンボル画像を示す種別（画像（１））から、適切に操作されたことを示す他の種別（画像（２））に変更する。その一方、ＣＰＵ２１は、曲データにしたがった音高の鍵が押鍵されず、或いは、曲データにしたがった押鍵タイミングで押鍵されなかった場合に、シンボル画像の種別を、通常の画像種別（画像（１））から、適切に操作できなかったことを示すさらに他の種別（画像（３））に変更する。
【００６５】
このように、本実施の形態によれば、適切な押鍵がなされた場合に、シンボル画像の種別を変更することに加えて、適切な押鍵がなされなかった場合に、シンボル画像の種別をさらに他の種別に変更することにより、演奏者に不適切な押鍵操作を知らせることが可能となる。
【００６６】
また、本実施の形態においては、ＣＰＵは、適切な押鍵がなされなかった場合に、曲データ中、当該適切な押鍵がなされなかったノートオンイベントについて、適切に押鍵できなかったことを示す識別子（ＮＧフラグ）を付与する。ＣＰＵ２１は、シンボル画像表示領域にシンボル画像を配置した画像を生成する際に、前記ノートオンイベントに付与された識別子を参照し、当該識別子が適切に押鍵できなかったことを示す場合には、上記さらに他の種別（画像（３））のシンボル画像を配置した画像を生成する。
【００６７】
これにより、楽曲の演奏を繰り返すと、表示部１３の画面上に表示されたが画像において、前回、押鍵が適切でなかった箇所が演奏者にわかるように表示される。これにより、演奏者による教習効果をより高めることが可能となる。
【００６８】
さらに、本実施の形態においては、鍵盤上に配置された演奏者の手を撮影するビデオカメラを有し、ＣＰＵ２１は、撮影されたデータから、演奏者の手の画像を抽出し、抽出された画像を、演奏者の手が実際に位置する鍵と対応するように、鍵盤画像領域に重ね合わせる。これにより、演奏者は、表示部１３の鍵盤画像領域に表示された自分の手および鍵盤の画像、および、シンボル画像表示領域に表示されたシンボルの双方を参照しつつ、押鍵すべき鍵を確認することが可能となる。
【００６９】
本発明は、以上の実施の形態に限定されることはない。たとえば、前記実施の形態においては、シンボル画像の拡大率は、当該シンボル画像のＹ座標値に基づいて決定されているが、これに限定されるものではない。たとえば、シンボル画像の拡大率を、現在押鍵されている鍵の数ｍに基づいて決定しても良い。この場合、ガイド処理において、図７のステップ７０４が省略される。また、図１１に示す処理は、図１９に示すものに変更される。図１９は、他の実施の形態にかかるガイド処理の部分を示すフローチャートであり、図１１に対応する。図１９において、ステップ１９０１〜１９０６は、図１１のステップ１１０１〜１１０６と同様である。ステップ１９０７において、ＣＰＵ２１は、シンボル画像の拡大率を、現在押鍵されている鍵の数ｍに基づいて決定する。たとえば、押鍵されている鍵の数ｍが大きくなるのにしたがって拡大率が大きくなるように、拡大率が設定されても良いし、ｍが大きくなるのにしたがって拡大率が小さくなるように、拡大率が設定されても良い。
【００７０】
また、前記実施の形態において、シンボル画像のＹ座標値が、押鍵タイミングに対応する所定の範囲（たとえば、Ｙ２＞Ｙ座標値＞Ｙ３）であるときに、ＣＰＵ２１は、表示されるシンボルを強調表示（たとえば、シンボル図形を太枠で囲む表示、シンボルの濃度をより大きくする表示）とするように構成しても良い。このように、押鍵タイミングで強調表示することにより演奏者に押鍵すべきタイミングが到来したことをより確実に知らせることができ、押鍵ミスを防ぐことが可能となる。
【００７１】
さらに、前記実施の形態において、曲データに拍の情報を含め、拍の先頭でシンボル画像が動く（たとえば、ジャンプするように上下する）ように構成しても良い。また、曲データの先頭に表現記号やテンポ記号を含め、シンボル画像が表現記号やテンポ記号にしたがった表示形態とするように構成しても良い。たとえば、表現記号にしたがって、シンボル画像に顔の表情をつけることが可能である。
【００７２】
以上、本発明の実施の形態について詳細に説明したが、本発明の範囲は上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明およびその均等の範囲が、本発明の範囲内に包含される。以下、本出願の願書に最初に添付した特許請求の範囲に記載された発明を付記する。なお、付記に記載した請求項の項番は、本出願の願書に最初に添付した特許請求の範囲の項番に相当する。
【００７３】
［付記］
請求項１に記載された発明は、複数の演奏操作子であってそれぞれが所定の音高と対応付けられた演奏操作子と、
少なくとも前記複数の演奏操作子のうち操作すべき演奏操作子を示すシンボル画像を表示するシンボル画像領域を有する表示手段と、
楽曲の音高およびその操作タイミングを示す曲データを格納した記憶手段と、
前記曲データを参照して、前記シンボル画像領域において、当該曲データの示す音高に対応付けられた演奏操作子に関連するように所定の種別のシンボル画像を配置した画像を生成する画像生成手段であって、当該操作タイミングを参照して、前記押鍵タイミングの到来に近づくのにしたがって前記シンボル画像が、前記表示手段上の所定の表示位置に接近するようにシンボル画像を配置する画像生成手段と、
前記曲データを参照して、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作されたかを判断する操作判断手段と、を備え、
前記画像生成手段は、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作された場合に、前記シンボル画像の種別を、通常のシンボル画像を示す第１の種別から、適切に操作されたことを示す第２の種別に変更し、
その一方、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示す第３の種別に変更するように構成された演奏教習装置である。
【００７４】
請求項２に記載された発明は、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記曲データにおいて、適切に操作されなかった音高の情報に関連して、適切に操作できなかったことを示す識別子を付与する識別子付与手段を有し、
前記画像生成手段は、前記シンボル画像を配置した画像を生成する際に、前記音高を示す情報に関連して付与された識別子を参照し、前記識別子が適切に操作できなかったことを示す場合には、第３の種別のシンボル画像を配置した画像を生成するように構成された演奏教習装置である。
【００７５】
請求項３に記載された発明は、前記複数の演奏操作子上に配置された演奏者の手を撮影する撮影手段を有するとともに、前記表示手段は前記複数の演奏操作子の画像を含む演奏操作子画像領域をさらに有し、
前記画像生成手段が、前記撮影手段により撮影されたデータから、前記演奏者の手の画像を抽出し、前記抽出された画像を、演奏者の手が実際に位置する演奏操作子と対応するように、前記演奏操作子画像領域に重ね合わせるように構成された演奏教習装置である。
【００７６】
請求項４に記載された発明は、複数の演奏操作子であってそれぞれが所定の音高と対応付けられた演奏操作子と、
少なくとも前記複数の演奏操作子のうち操作すべき演奏操作子を示すシンボル画像を表示するシンボル画像領域を有する表示手段と、
楽曲の音高およびその操作タイミングを示す曲データを格納した記憶手段と、を備えたコンピュータに、
前記曲データを参照して、前記シンボル画像領域において、当該曲データの示す音高に対応付けられた演奏操作子に関連するように所定の種別のシンボル画像を配置した画像を生成する画像生成手段であって、当該操作タイミングを参照して、前記押鍵タイミングの到来に近づくのにしたがって前記シンボルが、前記表示手段上の所定の表示位置に接近するようにシンボルを配置する画像生成ステップと、
前記曲データを参照して、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作されたかを判断する操作判断ステップと、を実行させ、
前記画像生成ステップが、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作された場合に、前記シンボル画像の種別を、通常のシンボル画像を示す第１の種別から、適切に操作されたことを示す第２の種別に変更し、
その一方、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示す第３の種別に変更するように構成された演奏教習プログラムである。
【符号の説明】
【００７７】
１０ 電子楽器
１１ 鍵盤
１２ 入力部
１３ 表示部
１４ 入力Ｉ／Ｆ
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ サウンドシステム
２６ 音源部
２７ オーディオ回路
２８ スピーカ
３０ ビデオカメラ
【特許請求の範囲】
【請求項１】
複数の演奏操作子であってそれぞれが所定の音高と対応付けられた演奏操作子と、
少なくとも前記複数の演奏操作子のうち操作すべき演奏操作子を示すシンボル画像を表示するシンボル画像領域を有する表示手段と、
楽曲の音高およびその操作タイミングを示す曲データを格納した記憶手段と、
前記曲データを参照して、前記シンボル画像領域において、当該曲データの示す音高に対応付けられた演奏操作子に関連するように所定の種別のシンボル画像を配置した画像を生成する画像生成手段であって、当該操作タイミングを参照して、前記押鍵タイミングの到来に近づくのにしたがって前記シンボル画像が、前記演奏操作子に接近するようにシンボル画像を配置する画像生成手段と、
前記曲データを参照して、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作されたかを判断する操作判断手段と、を備え、
前記画像生成手段は、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作された場合に、前記シンボル画像の種別を、通常のシンボル画像を示す第１の種別から、適切に操作されたことを示す第２の種別に変更し、
その一方、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示す第３の種別に変更するように構成されたことを特徴とする演奏教習装置。
【請求項２】
前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記曲データにおいて、適切に操作されなかった音高の情報に関連して、適切に操作できなかったことを示す識別子を付与する識別子付与手段を有し、
前記画像生成手段は、前記シンボル画像を配置した画像を生成する際に、前記音高を示す情報に関連して付与された識別子を参照し、前記識別子が適切に操作できなかったことを示す場合には、第３の種別のシンボル画像を配置した画像を生成するように構成されたことを特徴とする請求項１に記載の演奏教習装置。
【請求項３】
前記複数の演奏操作子上に配置された演奏者の手を撮影する撮影手段を有するとともに、前記表示手段は前記複数の演奏操作子の画像を含む演奏操作子画像領域をさらに有し、
前記画像生成手段が、前記撮影手段により撮影されたデータから、前記演奏者の手の画像を抽出し、前記抽出された画像を、演奏者の手が実際に位置する演奏操作子と対応するように、前記演奏操作子画像領域に重ね合わせるように構成されたことを特徴とする請求項１または２に記載の演奏教習装置。
【請求項４】
複数の演奏操作子であってそれぞれが所定の音高と対応付けられた演奏操作子と、
少なくとも前記複数の演奏操作子のうち操作すべき演奏操作子を示すシンボル画像を表示するシンボル画像領域を有する表示手段と、
楽曲の音高およびその操作タイミングを示す曲データを格納した記憶手段と、を備えたコンピュータに、
前記曲データを参照して、前記シンボル画像領域において、当該曲データの示す音高に対応付けられた演奏操作子に関連するように所定の種別のシンボル画像を配置した画像を生成する画像生成手段であって、当該操作タイミングを参照して、前記押鍵タイミングの到来に近づくのにしたがって前記シンボルが、前記演奏操作子に接近するようにシンボルを配置する画像生成ステップと、
前記曲データを参照して、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作されたかを判断する操作判断ステップと、を実行させ、
前記画像生成ステップが、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作された場合に、前記シンボル画像の種別を、通常のシンボル画像を示す第１の種別から、適切に操作されたことを示す第２の種別に変更し、
その一方、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示す第３の種別に変更するように構成されたことを特徴とする演奏教習プログラム。
【請求項１】
複数の演奏操作子であってそれぞれが所定の音高と対応付けられた演奏操作子と、
少なくとも前記複数の演奏操作子のうち操作すべき演奏操作子を示すシンボル画像を表示するシンボル画像領域を有する表示手段と、
楽曲の音高およびその操作タイミングを示す曲データを格納した記憶手段と、
前記曲データを参照して、前記シンボル画像領域において、当該曲データの示す音高に対応付けられた演奏操作子に関連するように所定の種別のシンボル画像を配置した画像を生成する画像生成手段であって、当該操作タイミングを参照して、前記押鍵タイミングの到来に近づくのにしたがって前記シンボル画像が、前記演奏操作子に接近するようにシンボル画像を配置する画像生成手段と、
前記曲データを参照して、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作されたかを判断する操作判断手段と、を備え、
前記画像生成手段は、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作された場合に、前記シンボル画像の種別を、通常のシンボル画像を示す第１の種別から、適切に操作されたことを示す第２の種別に変更し、
その一方、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示す第３の種別に変更するように構成されたことを特徴とする演奏教習装置。
【請求項２】
前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記曲データにおいて、適切に操作されなかった音高の情報に関連して、適切に操作できなかったことを示す識別子を付与する識別子付与手段を有し、
前記画像生成手段は、前記シンボル画像を配置した画像を生成する際に、前記音高を示す情報に関連して付与された識別子を参照し、前記識別子が適切に操作できなかったことを示す場合には、第３の種別のシンボル画像を配置した画像を生成するように構成されたことを特徴とする請求項１に記載の演奏教習装置。
【請求項３】
前記複数の演奏操作子上に配置された演奏者の手を撮影する撮影手段を有するとともに、前記表示手段は前記複数の演奏操作子の画像を含む演奏操作子画像領域をさらに有し、
前記画像生成手段が、前記撮影手段により撮影されたデータから、前記演奏者の手の画像を抽出し、前記抽出された画像を、演奏者の手が実際に位置する演奏操作子と対応するように、前記演奏操作子画像領域に重ね合わせるように構成されたことを特徴とする請求項１または２に記載の演奏教習装置。
【請求項４】
複数の演奏操作子であってそれぞれが所定の音高と対応付けられた演奏操作子と、
少なくとも前記複数の演奏操作子のうち操作すべき演奏操作子を示すシンボル画像を表示するシンボル画像領域を有する表示手段と、
楽曲の音高およびその操作タイミングを示す曲データを格納した記憶手段と、を備えたコンピュータに、
前記曲データを参照して、前記シンボル画像領域において、当該曲データの示す音高に対応付けられた演奏操作子に関連するように所定の種別のシンボル画像を配置した画像を生成する画像生成手段であって、当該操作タイミングを参照して、前記押鍵タイミングの到来に近づくのにしたがって前記シンボルが、前記演奏操作子に接近するようにシンボルを配置する画像生成ステップと、
前記曲データを参照して、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作されたかを判断する操作判断ステップと、を実行させ、
前記画像生成ステップが、前記曲データにしたがった音高に対応付けられた演奏操作子が、前記曲データにしたがった操作タイミングで操作された場合に、前記シンボル画像の種別を、通常のシンボル画像を示す第１の種別から、適切に操作されたことを示す第２の種別に変更し、
その一方、前記曲データにしたがった音高の演奏操作子が操作されず、或いは、前記曲データにしたがった操作タイミングで操作されなかった場合に、前記シンボル画像の種別を、通常の画像種別から、適切に操作できなかったことを示す第３の種別に変更するように構成されたことを特徴とする演奏教習プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−２２０８８４（Ｐ２０１２−２２０８８４Ａ）
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願番号】特願２０１１−８９３３０（Ｐ２０１１−８９３３０）
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年１１月１２日（２０１２．１１．１２）
【国際特許分類】
【出願日】平成２３年４月１３日（２０１１．４．１３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]