楽譜表示装置、楽譜表示方法、コンピュータプログラム及び記録媒体
【課題】同時に演奏する楽器及び人数によらず、特別な動作を行なわなくても所望するタイミングに自動的にページ切替えが可能な楽譜表示装置を提供する。
【解決手段】楽譜表示装置は、楽譜の一連のページ画像を楽譜名とページ画像の順番とともに記憶する記憶機能と、被写体を撮像した一連の画像データをリアルタイムで出力する画像取込機能（Ｓ４２２）と、あるフレーズを演奏した時の演奏者の動きの特徴を楽譜名に対応するページ画像と関連付けフレーズデータとして記憶するフレーズデータ記憶機能と、表示装置に楽譜のページ画像が表示されている時に、画像取込機能の出力から抽出される演奏者の動きの特徴が表示されているページ画像と関連付けられたフレーズデータと一致するときは、表示されているページ画像の次の順番のページ画像を表示するページ変更機能（Ｓ４２６、Ｓ４３０）とを含む。
【解決手段】楽譜表示装置は、楽譜の一連のページ画像を楽譜名とページ画像の順番とともに記憶する記憶機能と、被写体を撮像した一連の画像データをリアルタイムで出力する画像取込機能（Ｓ４２２）と、あるフレーズを演奏した時の演奏者の動きの特徴を楽譜名に対応するページ画像と関連付けフレーズデータとして記憶するフレーズデータ記憶機能と、表示装置に楽譜のページ画像が表示されている時に、画像取込機能の出力から抽出される演奏者の動きの特徴が表示されているページ画像と関連付けられたフレーズデータと一致するときは、表示されているページ画像の次の順番のページ画像を表示するページ変更機能（Ｓ４２６、Ｓ４３０）とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽器演奏の際に用いられる譜面を表示する楽譜表示装置に関し、自動的に表示するページを切替える譜めくり機能を備えた楽譜表示装置に関する。
【背景技術】
【０００２】
複数ページにわたる譜面を見ながら演奏を行なう場合は、演奏の進行に合わせて譜面をめくる必要がある。鍵盤楽器の演奏会などにおいては、演奏者とは別に譜めくり担当者を置くこともある。しかし、通常は演奏者自身の手で演奏に支障のないタイミングにページをめくっている。譜めくりのタイミングが休符である場合はよいが、そうでない場合は演奏中に素早く行なう必要があり、演奏者にとって非常に煩わしいものである。
【０００３】
その問題を解決するために、ペダルスイッチを踏むことによって譜面を次のページに切替える装置、及び電子化された楽譜であれば、キー操作によって楽譜の表示を変更する楽譜表示装置がある。しかし、ページ切替えのために演奏に関係のない装置の操作を行なうことは、逆に演奏者にとって負担を大きくするものであった。こうした問題を解決するために以下のような技術が開示されている。
【０００４】
特許文献１には、テレビカメラを備えた楽譜表示装置において、テレビカメラから演奏者の画像を取込み、取込んだ画像から所定のボディサインが検出された時には、表示する譜面のページを変更する技術が開示されている。
【０００５】
特許文献２には、楽譜表示装置において、楽譜を撮影して生成された楽譜画像データを複数ページ分記憶しておき、演奏操作によって生成される音高データが、予め登録する特徴フレーズと一致した場合には、自動的に次のページを表示する技術が開示されている。特許文献２において、登録する特徴フレーズは楽曲中の一部分である。演奏から検出された音高群と登録された特徴フレーズの音高群との一致数をカウントし、両者が一致した時には曲の進行が登録した特徴フレーズに到達したとして、自動的に楽譜の次のページを表示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３７７５１号
【特許文献２】特開２００５−２０８１５６号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記した技術には、なおも以下のような課題がある。
【０００８】
特許文献１の技術では、表示する譜面のページを変更する場合には、演奏とは関係のないボディサインを行なわなければならないという問題がある。演奏時の動作は演奏者によって様々である。そのため、簡単なボディサインであっても、そのボディサインを習得し、所望するページめくりのタイミングでそのサインを演奏中に出すことは、演奏者にとって負担が大きいという問題がある。さらに、次のページに進む場合と、前のページに戻る場合とで、ボディサインを変えなければならない。そのためこの技術は実用的でない。
【０００９】
特許文献２の技術は、電子鍵盤楽器など演奏操作から直接音高データが得られる場合には有効である。しかし、その他の楽器の演奏などにおいては、音高データを正確に検出することが難しいという問題がある。例えば、複数の演奏者が同時に演奏を行なう場合などにおいては、装置を使用する演奏者以外の音が同時に検出されてしまう。そのため、装置使用者の音高のみを検出することは極めて困難である。
【００１０】
このように楽譜表示装置に関して、多種多様な楽器において使用可能で、演奏者に負担にならない方法で譜めくり動作が可能な楽譜表示装置が求められている。
【００１１】
そのため、本発明の目的は、同時に演奏する楽器及び人数によらず、演奏の際に特別な動作を行なわなくても、利用者の所望するタイミングに自動的にページ切替えが可能な楽譜表示装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明の第１の局面に係る楽譜表示装置は、表示装置と、楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の順番とともに記憶するための記憶手段と、被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段と、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を楽譜名と当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、指定された楽譜名に対応する楽譜の一連のページ画像を記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を表示装置に表示するための楽譜表示手段と、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値をそれぞれとる判定信号を出力するためのフレーズ判定手段と、判定信号が第１の値となったことに応答して、表示装置に表示されているページ画像の次の順番のページ画像を表示装置に表示するためのページ変更手段とを含む。
【００１３】
記憶手段は、楽譜の一連のページ画像を、楽譜名と当該楽譜の一連のページ画像の順番とともに記憶する。画像取込手段は、被写体を撮像した一連の画像データをリアルタイムで出力する。フレーズデータ記憶手段は、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を楽譜名と当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶する。楽譜表示手段は、指定された楽譜名に対応する楽譜の一連のページ画像を記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を表示装置に表示する。フレーズ判定手段は、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値をそれぞれとる判定信号を出力する。ページ変更手段は、判定信号が第１の値となったことに応答して、表示装置に表示されているページ画像の次の順番のページ画像を表示装置に表示する。
【００１４】
この楽譜表示装置では、表示する楽譜のページを変更したい部分のフレーズ（特定フレーズ）を演奏者が演奏して、その時の画像データを取込む。楽譜表示装置は、取込んだ画像データから演奏者の動きの特徴を抽出し、特定フレーズを含む楽譜の楽譜名と楽譜名に対応するページ画像とに関連付けてフレーズデータとして記憶する。楽譜表示装置を用いて演奏を行なう場合は、表示装置に楽譜のページ画像を表示する。楽譜表示装置は、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示するページ画像に関連付けて記憶されたフレーズデータと一致するとき、すなわち演奏者が、ページを変更したい部分のフレーズを演奏した時の動きと同じ動きをしたと判定されたときに、ページ画像の次の順番のページ画像を表示装置に表示する。
【００１５】
この楽譜表示装置において、楽譜のページ変更時に、演奏者は特定フレーズを登録した時と同じように演奏すればよく特別な動作を行なう必要はない。また、ページ変更の判定には、演奏者の動きの特徴データが用いられることから、同時に演奏する楽器による音声の影響を受けることはない。その結果、同時に演奏する楽器及び人数によらず、演奏の際に特別な動作を行なわなくても、利用者の所望するタイミングに自動的にページ切替えが可能な楽譜表示装置を提供することができる。
【００１６】
好ましくは、楽譜表示装置は、第１及び第２の動作モードのいずれかを指定するための動作モード指定手段をさらに含む。フレーズデータ記憶手段は、動作モード指定手段により第１の動作モードが指定されているときに、画像取込手段の出力から抽出される演奏者の動きの特徴を、指定された楽譜名と、当該楽譜名に対応するページ画像のうちの指定されたページ画像と関連付けてフレーズデータとして記憶するための手段を含む。フレーズ判定手段は、動作モード指定手段により第２の動作モードが指定されており、かつ、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するか否かを判定して判定信号を出力するための判定手段を含む。
【００１７】
動作モード指定手段は、第１及び第２の動作モードのいずれかを指定する。記憶するための手段は、動作モード指定手段により第１の動作モードが指定されているときに、画像取込手段の出力から抽出される演奏者の動きの特徴を、指定された楽譜名と、当該楽譜名に対応するページ画像のうちの指定されたページ画像と関連付けてフレーズデータとして記憶する。判定手段は、動作モード指定手段により第２の動作モードが指定されており、かつ、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するか否かを判定して判定信号を出力する。
【００１８】
この楽譜表示装置は、画像取込手段の出力から抽出される演奏者の動きの特徴を、指定された楽譜名と、当該楽譜名に対応するページ画像のうちの指定されたページ画像と関連付けてフレーズデータとして記憶するときの動作モードと、画像取込手段の出力から抽出される演奏者の動きの特徴が表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するか否かを判定するときの動作モードとを含む。このように楽譜表示装置が２つの動作モードを有することで、画像取込手段の出力を用いるフレーズデータの記憶及びフレーズの判定の動作の切替えを確実に行なうことができる。
【００１９】
好ましくは、楽譜表示装置は、音声を検出するための音声検出手段をさらに含む。画像取込手段は、音声検出手段が音声を検出していることに応答して、被写体の撮像を開始し、当該被写体の一連の画像データをリアルタイムで出力するための手段を含む。
【００２０】
この楽譜表示装置では、演奏者がページ変更を希望する部分を実際に演奏し、音声検出手段が音声を検出することに応答して。被写体の撮像を開始し当該被写体の一連の画像データをリアルタイムで出力する。演奏音の音声の検出に応答して、画像データを出力することで、演奏するフレーズの開始及び終了を正確に検知でき、フレーズを演奏時の演奏者の動きの特徴をより正確に得ることができる。その結果、フレーズデータに演奏時以外の余計な動きの特徴が入ることが少なくなり、演奏者の動きの特徴とフレーズデータとが一致するかを判定するときの精度を高めることができる。
【００２１】
好ましくは、楽譜表示装置は、計時開始時から所定の時間が経過すると時間満了信号を出力するための計時手段をさらに含む。ページ変更手段は、判定信号が第１の値となったことに応答して、計時手段に計時を開始させるための手段と、計時手段からの時間満了信号に応答して、次の順番のページ画像を表示装置に表示するための手段とを含む。
【００２２】
この楽譜表示装置は、演奏者の動きの特徴がフレーズデータと一致すると判定されたときから計時を開始し、所定の時間が経過したときに出力される信号に応答して次の順番のページ画像を表示装置に表示する。これにより、例えば表示する楽譜においてページ変更のためのフレーズが適当な場所にない場合、変更したい場所より少し前の部分をフレーズデータとして記憶し、一致すると判定されてから所定の時間を経過した後に楽譜のページを変更することができる。その結果、演奏の流れに合った表示ページの変更を実現することができる。
【００２３】
好ましくは、フレーズデータ記憶手段は、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と、もしあれば当該ページ画像の次に表示すべきページ画像を特定する次ページ特定情報と関連付けてフレーズデータとして記憶するための手段を含む。フレーズ判定手段は、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータのいずれかと一致するか否かを判定して判定信号を出力するための判定手段と、判定手段により演奏者の動きの特徴と一致すると判定されたフレーズデータを特定する情報を出力するための手段とを含む。ページ変更手段は、判定信号が第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータに対する次ページ画像特定情報により特定されるページ画像を表示装置に表示するための手段を含む。
【００２４】
記憶するための手段は、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と、もしあれば当該ページ画像の次に表示すべきページ画像を特定する次ページ特定情報と関連付けてフレーズデータとして記憶する。判定手段は、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータのいずれかと一致するか否かを判定して判定信号を出力する。出力するための手段は、判定手段により演奏者の動きの特徴と一致すると判定されたフレーズデータを特定する情報を出力する。表示するための手段は、判定信号が第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータに対する次ページ画像特定情報により特定されるページ画像を表示装置に表示する。
【００２５】
この楽譜表示装置は、当該ページ画像の次に表示すべきページ画像を特定する次ページ特定情報がある時は、フレーズデータに関連付けて記憶することができる。また、楽譜表示装置は、表示装置に表示される楽譜のページ画像と関連付けられたフレーズデータのいずれかと一致するかを判定することができ、一致すると判定されたフレーズデータを特定する情報を出力することができる。出力された特定する情報により特定されたフレーズデータに次ページを特定する情報関連付けて記憶されている場合はそのページを表示する。
【００２６】
このように、ページ画像と関連付けて登録したフレーズデータのいずれかと一致するかを判定することによって、ページに対して記憶される異なるフレーズを演奏したときの演奏者の動きの特徴から、表示装置に表示するページを変更することができる。また、次に表示すべきページ画像の情報を関連付けてフレーズデータを記憶することで、フレーズデータを演奏後に表示するページを変更することができる。その結果、楽譜に記載される繰返し記号などにより、次に表示されるページ画像が変わる楽譜にも対応することができる。
【００２７】
好ましくは、ページ変更手段はさらに、判定信号が第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータに対する次ページ画像特定情報がないときに、表示装置に表示されているページ画像について、ページ画像の順番により特定されるページ画像を表示装置に表示するための手段を含む。
【００２８】
フレーズデータに次ページ画像特定情報がないときには、楽譜の一連のページ画像の順番にしたがって、表示するページ画像を変更する。その結果、次のページ画像特定情報を登録しない場合でもページ変更を行なうことができる。
【００２９】
好ましくは、楽譜表示装置は、楽譜の各ページ画像に関連付けられて記憶されるフレーズデータの各々について、当該フレーズデータに対応するページ画像の表示中に、出力するための手段により当該フレーズデータを特定する情報が出力された回数をカウントするためのカウント手段をさらに含む。記憶するための手段はさらに、表示装置に表示されているページ画像と関連付けられているフレーズデータの各々について、カウント手段によりカウントされた回数と、次に表示すべきページ画像を特定する情報との組をさらに記憶する。表示するための手段は、判定信号が第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータの、カウント手段によりカウントされた回数と組合されている情報により特定されるページ画像を表示装置に表示するための手段を含む。
【００３０】
楽譜には、数種類の繰返し記号がある。譜面によっては、フレーズの演奏回数によって、そのフレーズに続いて演奏する場所及び表示する楽譜のページが異なる場合もある。カウント手段によって当該フレーズデータを特定する情報が出力された回数をカウントし、ページ画像に関連付けられているフレーズデータの各々について、カウントされた回数と次に表示すべきページ画像を特定する情報とを設定することで、繰返し記号を含んだ複雑な構成の楽譜にも対応することができる。
【００３１】
本発明の第２の局面に係る楽譜表示方法は、表示装置と、楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の表示順とともに記憶するための記憶手段と、被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段と、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、指定された楽譜名に対応する楽譜の一連のページ画像を記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を表示装置に表示するための楽譜表示手段と、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示している楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値をそれぞれとる判定信号を出力するためのフレーズ判定手段と、判定信号が第１の値となったことに応答して、表示装置に表示されているページ画像の次の順番のページ画像を表示装置に表示するためのページ変更手段とを含む、楽譜表示装置における楽譜表示方法であって、楽譜表示手段が、指定された楽譜名に対応する楽譜の一連のページ画像を記憶手段から読出し、読出されたページ画像のうち、所定のページ画像を表示装置に表示するステップと、フレーズ判定手段が、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値をそれぞれとる判定信号を出力するステップと、ページ変更手段が、判定信号が第１の値となったことに応答して、表示装置に表示されているページ画像の次の順番のページ画像を表示装置に表示するステップとを含む。
【００３２】
本発明の第３の局面に係るコンピュータプログラムは、表示装置と、被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段とが接続されるコンピュータにより実行されると、当該コンピュータを、楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の順番とともに記憶するための記憶手段と、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、指定された楽譜名に対応する楽譜の一連のページ画像を記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を表示装置に表示するための楽譜表示手段と、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値を、それぞれとる判定信号を出力するためのフレーズ判定手段と、判定信号が第１の値となったことに応答して、表示装置に表示されているページ画像の次の順番のページ画像を表示装置に表示するためのページ変更手段として機能させる。
【００３３】
本発明の第４の局面に係る記録媒体は、上に述べたコンピュータプログラムを記録した、コンピュータで読取可能な記録媒体である。
【発明の効果】
【００３４】
この楽譜表示装置では、演奏者がページ変更を希望する部分のフレーズを実際に演奏したときの動きの特徴を対応するページ画像と関連付けて予め記憶しておき、演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられた動きの特徴と一致すると判定されたときにページ変更を行なう。演奏者は楽譜のページ変更時において、特定フレーズを登録した時と同じように演奏すればよく特別な動作を行なう必要はない。また、ページ変更の判定には、演奏者の動きの特徴データが用いられることから、同時に演奏する楽器による音声の影響を受けることはない。その結果、同時に演奏する楽器及び人数によらず、演奏の際に特別な動作を行なわなくても、利用者の所望するタイミングに自動的にページ切替えが可能な楽譜表示装置を提供することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１の実施の形態に係る楽譜表示装置３０の構成を表すブロック図である。
【図２】楽譜表示装置３０の外観図である。
【図３】第１の実施の形態に係る楽譜表示装置３０のＣＰＵ３２が実行する、フレーズ登録モードの動作を実現するためのプログラムの制御構造を示すフローチャートである。
【図４】フレーズデータの構成例を表す図である。
【図５】楽譜表示装置３０のＣＰＵ３２が実行する、演奏モードの動作を実現するためのプログラムの制御構造を示すフローチャートである。
【図６】図５に示すプログラムにおいてフレーズデータ照合処理の動作を実現するためのプログラムの制御構造を示すフローチャートである。
【図７】第２の実施の形態における楽譜表示装置に記憶される、楽譜データにおけるフレーズデータの設定例である。
【図８】フレーズデータの演奏回数と演奏後に表示するページとを設定する変更先テーブル２５０である。
【図９】フレーズデータの演奏回数と表示するページと状態遷移を表す図である。
【図１０】第２の実施の形態に係る楽譜表示装置のＣＰＵ３２が実行する、フレーズ登録モードの動作を実現するためのプログラムの制御構造を示すフローチャートである。
【図１１】第２の実施の形態における楽譜表示装置のＣＰＵ３２が実行する、演奏モードの動作を実現するためのプログラムの制御構造を示すフローチャートである。
【発明を実施するための形態】
【００３６】
以下、本発明の具体的な実施の形態について説明する。以下の説明及び図面においては、同一部品には同じ参照符号および名称を付してある。それらの機能も同様である。したがって、それらについての詳細な説明は繰返さない。
【００３７】
［第１の実施の形態］
―構成―
図１を参照して、楽譜表示装置３０は、所定のプログラムを実行し楽譜表示装置３０の全体の動作を制御するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２と、ＣＰＵ３２に接続されたバス５０と、いずれもバス５０に接続された、ＣＰＵ３２で実行するプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）３４、プログラムを実行するときの一時記憶部として動作するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３６、利用者からの操作を受付けるための操作部３８、楽譜データ及び楽譜表示装置を制御するための操作画面を表示するための表示部４０、演奏者が演奏する音を検出するためのマイクロフォン４２、各種画像を撮影し画像データとして取込むためのカメラ４４、各種情報を記憶するための記憶部４８、及び外部記憶媒体から楽譜データなどを取込むための外部メモリインターフェイス４６を含む。
【００３８】
ＲＯＭ３４は、電気的に書換え可能な不揮発性のメモリで、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びフラッシュメモリなどが用いられる。記憶部４８は、磁気ディスク、ＥＥＰＲＯＭ、及びフラッシュメモリなどの、電気的に書換え可能な不揮発性のメモリで構成される。
【００３９】
本実施の形態では、表示部４０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を含む。
【００４０】
記憶部４８は、楽譜データを記憶するための楽譜データ記憶部５２と、楽譜データ記憶部５２に記憶される楽譜データに関連して記憶される、演奏者が特定のフレーズを演奏している時の演奏者の一連の画像からなるフレーズデータを記憶するためのフレーズデータ記憶部５４とを含む。
【００４１】
楽譜データ記憶部５２に記憶される楽譜データは、１又は複数のページで構成される楽譜のページ毎の画像データである。楽譜データは、外部メモリインターフェイス４６で外部記憶媒体を介して取込む方法の他に、カメラ４４を用いて画像を読取り、取込むことも可能である。また、楽譜データ記憶部５２には複数の楽譜データを記憶することができ、表示する楽譜データは演奏者の操作によって選択される。
【００４２】
フレーズデータ記憶部５４に記憶されるフレーズデータは、各楽譜データのページに関連して記憶され、カメラ４４を用いて撮影された、それぞれのページをめくる前の演奏者の一連の動きを記憶したデータである。フレーズデータの構成及び設定に関しては後述する。
【００４３】
図２を参照して、操作部３８は、画面に表示される項目を選択するための選択ボタン６６と、決定ボタン６４と、各種動作を開始するための開始ボタン６２と、動作を停止するための終了ボタン６０とを含む。
【００４４】
図２を参照して、カメラ４４及びマイクロフォン４２はそれぞれ演奏者の撮影及び演奏音を検出するため、表示部４０の下部の中央付近に設置される。また、画像表示装置３０自体は、薄型のボディによって構成され、紙の楽譜の代わりに汎用の譜面台上において使用することが可能である。
【００４５】
表示部４０には、後述するプログラムが実行されることによって選択される楽譜データがページ単位で表示される。
【００４６】
本実施の形態における楽譜表示装置３０は、演奏モードとフレーズ登録モードとの２つの動作モードを持つ。演奏モードは、演奏者が選択した楽譜データを表示部４０に表示して、表示されているページを演奏の進行に合わせて自動で切替えるモードである。フレーズデータを登録モードは、選択した楽譜データの表示されているページを切替えるためのフレーズを登録するためのモードである。演奏者が自動のページ切替えを利用するためには、フレーズ登録モードで事前にページ切替えのフレーズデータを登録する必要がある。
【００４７】
本実施の形態における楽譜表示装置３０において、ページを切替えるためのフレーズデータは、表示するページに対してそれぞれ１つ登録することができる。
【００４８】
図３を参照して、楽譜表示装置３０において、フレーズ登録モードが選択された時に実行されるプログラムの制御構造を説明する。このプログラムは、記憶部４８に記憶されている楽譜データ名を表示部４０にリスト表示するステップ（以下単に「Ｓ」と記載する。）２０２と、Ｓ２０２に続いて実行され、表示する楽譜データの選択操作を利用者から受けるＳ２０４と、Ｓ２０４に続いて実行され、選択された楽譜データの情報を楽譜データ記憶部５２から読出すＳ２０６と、Ｓ２０６に続いて実行され、選択された楽譜データのページ画像データを表示部４０に表示するＳ２０８とを含む。
【００４９】
Ｓ２０６では、選択された楽譜データの画像データと、楽譜データのページ情報とが読出される。Ｓ２０８では、画像データを表示するとともに、表示する画像データのページ情報を同時に記憶する。Ｓ２０６に続いてＳ２０８が実行される場合は、楽譜データの１ページ目を表示し、表示ページ情報として１を記憶する。
【００５０】
このプログラムはさらに、Ｓ２０８に続いて実行され、利用者により表示ページの変更操作があったか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２１０と、Ｓ２１０で変更操作があった（ＹＥＳ）と判定された場合に実行され、表示するページ情報を設定し、制御をＳ２０８に進めるＳ２１２と、Ｓ２１０で変更操作がなかった（ＮＯ）と判定された場合に実行され、開始ボタン６２が押されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２１４とを含む。Ｓ２１４で開始ボタン６２が押されていない（ＮＯ）と判定された場合は、制御はＳ２１０に戻る。
【００５１】
Ｓ２１０では、選択ボタン６６が押されると表示ページの変更操作があったと判定される。Ｓ２１２では選択されたページのページ情報を記憶し、Ｓ２０８では選択されたページが表示部４０に表示される。
【００５２】
このプログラムはさらに、Ｓ２１４で開始ボタン６２が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４を起動するＳ２１６と、Ｓ２１６に続いて実行され、カメラ４４が撮影する画像データを一時記憶する画像バッファの内容を消去するＳ２１８と、Ｓ２１８に続いて実行され、マイクロフォン４２が演奏者の演奏する音を検出したか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２２０と、Ｓ２２０で演奏する音を検出した（ＹＥＳ）と判定された場合に実行され、カメラ４４が撮影する画像データを画像バッファにバッファリングするＳ２２２と、Ｓ２２２に続いて実行され、マイクロフォン４２が演奏者の演奏する音を検出したか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２２４と、Ｓ２２４で演奏する音を検出していない（ＮＯ）と判定された場合に実行され、カメラ４４が撮影する画像データのバッファリングを終了するＳ２２６とを含む。Ｓ２２０において、演奏する音が検出されていない（ＮＯ）と判定された場合、制御はＳ２２０に戻り、演奏音が検出されるのを待つ。Ｓ２２４で演奏音が検出されている（ＹＥＳ）と判定された場合、制御はＳ２２２に戻る。
【００５３】
このプログラムはさらに、Ｓ２２６に続いて実行され、演奏が終了したフレーズをフレーズデータとして登録するという操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２２８と、操作を受けた（ＹＥＳ）と判定された場合に実行され、カメラ４４を用いて取込んだ画像データから、現在表示しているページを切替えるフレーズデータを作成し登録するＳ２３０と、Ｓ２３０実行後、又はＳ２２８で操作を受けていない（ＮＯ）と判定された場合に実行され、表示部４０にフレーズデータを終了するか否かの選択画面を表示し、フレーズデータの登録終了が選択されたか否かに応じて制御の流れを分岐させるＳ２３２と、Ｓ２３２で登録終了が選択された（ＹＥＳ）と判定された場合に実行され、カメラ４４の動作を停止するＳ２３４と、Ｓ２３４に続いて実行され、表示部４０に別ページのフレーズデータを登録するか否かの選択画面を表示し、別ページの登録が選択されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２３６と、Ｓ２３６で別ページの登録が選択されていない（ＮＯ）と判定された場合に実行され、フレーズ登録モードを終了するか否かの選択画面を表示し、モード終了が選択されたか否かに応じて制御の流れを分岐させるＳ２３８とを含む。Ｓ２３２で登録終了が選択されていない（ＮＯ）と判定された場合、すなわちフレーズデータの登録を継続すると選択された場合は、制御はＳ２１８に戻る。Ｓ２３６で、別ページの登録が選択された（ＹＥＳ）と判定された場合には、制御はＳ２０８に戻る。Ｓ２３８で、フレーズ登録モードの終了が選択されていない（ＮＯ）と判定された場合は、制御はＳ２０２に戻る。Ｓ２３８でフレーズ登録モードの終了が選択された（ＹＥＳ）と判定された場合には、このプログラムを終了する。
【００５４】
Ｓ２３０におけるフレーズデータの登録に関して、本実施の形態におけるフレーズデータは、バッファリングした演奏画像データの中から直前の画像に対して変化のあった画像を特徴画像として抽出し、抽出した特徴画像データと、特徴画像間の時間間隔とを記憶したものである。図３のプログラムにおいては、Ｓ２１４で登録開始が選択され、演奏音が検出されてから演奏音の検出がされなくなるまでの間に、カメラ４４によって撮影されバッファリングされた演奏画像データの中から特徴画像が抽出される。そして、抽出された特徴画像と、それら特徴画像間の時間間隔情報とをまとめて、楽譜の表示ページに対するフレーズデータとして登録する。
【００５５】
この楽譜表示装置において、フレーズ登録モードと演奏モードとは、異なる場所（例えば、練習室とステージなど）で利用されることが考えられる。そのため、特徴画像においては、撮影した画像から背景を除いた演奏者のみの画像を抽出する必要がある。演奏者の画像抽出の方法としては、例えば、以下のような方法がある。まず、撮影される演奏画像をマトリクス状に配列されるブロックに分割し、各ブロックをフレーム間の動きの大きいブロックと小さいブロックとに分類する。フレーム間で動きの小さいブロックは、背景部分と考えることができるので、動きの大きいブロック群を演奏者の画像として抽出する。抽出された画像を前後の画像と比較して特徴画像を決定する。演奏者の服装の違いなども考えられるため、後述するフレーズデータの照合は色情報を考慮せずに行なうこととする。
【００５６】
Ｓ２３０ではフレーズ演奏後の待機時間を設定することが可能である。待機時間を設定する例として、例えば、表示するページ最後の部分に演奏者にとってページ変更に適切なフレーズがない場合、少し手前のフレーズをフレーズデータとして登録し、同時に待機時間を設定する。フレーズデータ演奏後、設定した待機時間が経過した後にページ表示を変更する。その結果、演奏の進行に合った譜めくり動作を行なうことができる。待機時間の設定は任意である。待機時間の設定がされない場合はデフォルト値（例えば０秒）が適用される。待機時間に関する情報は、上記のフレーズデータの中に含まれるものとする。
【００５７】
図４を参照して、３ページで構成される楽譜データの、１ページ目及び２ページ目のフレーズデータについて説明する。
【００５８】
表示部４０に表示するページ番号を表す変数をｎとする。ｎページ目のフレーズデータは、フレーズデータに含まれる特徴画像数Ｍｎと、ｍ枚目（ｍ＝１〜Ｍｎ）の特徴画像データＰｎ［ｍ］と、ｍ枚目の特徴画像から次（ｍ＋１枚目）の特徴画像が現れるまでの時間間隔Ｔｎ［ｍ］とを用いて図４のように表すことができる。
【００５９】
図４（Ａ）は、楽譜データの１ページ目（ｎ＝１）のフレーズデータの構成例を表す図である。この例では、１ページ目のフレーズデータは、３枚の特徴画像を含む（Ｍ１＝３）。図４（Ｂ）は、楽譜データの２ページ目（ｎ＝２）のフレーズデータの構成例を表す図である。２ページ目のフレーズデータは４枚の特徴画像を含む（Ｍ２＝４）。
【００６０】
フレーズデータにおける特徴画像は、バッファリングされた一連の画像データにおいて、連続する画像データの関係から抽出されるものである。そのため、各ページにおける特徴画像数Ｍｎ、特徴画像Ｐｎ［ｍ］、及び特徴画像間の時間間隔Ｔｎ［ｍ］（ｍ＝１〜Ｍｎ）は、ページによって異なる。
【００６１】
図４（Ａ）を参照すると、１枚目の特徴画像Ｐ１［１］を記録し、時間間隔Ｔ１［１］経過後に２枚目の特徴画像Ｐ１［２］を検出し記憶する。特徴画像Ｐ１［２］を記録後、時間間隔Ｔ１［２］経過後に最後の特徴画像となるＰ１［３］を検出し記憶する。また、Ｔ１［３］は、フレーズデータを演奏後、ページ変更動作を行なうまでの待機時間を表す。この待機時間は、図３に示すプログラムのＳ２３０で利用者によって設定される。利用者により待機時間が設定されなかった場合は、デフォルト値が設定される。
【００６２】
図４（Ｂ）も図４（Ａ）と同様である。ただし、図４（Ｂ）においては特徴画像数Ｍ２＝４であるので、Ｔ２［４］が待機時間を表す。
【００６３】
図４では、説明のために時系列に合わせて特徴画像と時間間隔との関係を表した。実際のフレーズデータは、ページを表す変数ｎに関して、特徴画像数Ｍｎ、時間間隔Ｔｎ［ｍ］（ｍ＝１〜Ｍｎ）の値、及び特徴画像Ｐｎ［ｍ］（ｍ＝１〜Ｍｎ）の画像データが記憶される。
【００６４】
図５を参照して、楽譜表示装置３０において、演奏モードが選択されたときに実行されるこのプログラムは、記憶部４８に記憶されている楽譜データ名を表示部４０にリスト表示するＳ４０２と、Ｓ４０２に続いて実行され、表示する楽譜データの選択操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ４０４と、Ｓ４０４で選択操作を受けた（ＹＥＳ）と判定された場合に実行され、選択された楽譜データの情報を楽譜データ記憶部５２から、選択された楽譜データに関するフレーズデータをフレーズデータ記憶部５４からそれぞれ読出すＳ４０６と、Ｓ４０６に続いて実行され、選択された楽譜データのページ画像データを表示部４０に表示するＳ４０８とを含む。
【００６５】
Ｓ４０６では、楽譜データの情報として、選択された楽譜データの画像データと、楽譜データのページ情報とが読出される。Ｓ４０８では、画像データを表示するとともに、表示する画像データのページ情報を記憶する。Ｓ４０６に続いてＳ４０８が実行される場合は、楽譜データの１ページ目を表示し、表示ページ情報として１を記憶する。
【００６６】
このプログラムはさらに、Ｓ４０８に続いて実行され、利用者により表示ページの変更操作があったか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ４１０と、Ｓ４１０で変更操作があった（ＹＥＳ）と判定された場合に実行され、表示するページ情報を設定し、制御をＳ４０８に進めるＳ４１２と、Ｓ４１０で変更操作がなかった（ＮＯ）と判定された場合に実行され、開始ボタン６２が押されたか否かに応じて制御の流れを分岐させるＳ４１４とを含む。Ｓ４１４で開始ボタン６２が押されていない（ＮＯ）場合は、制御はＳ４１０に戻る。
【００６７】
Ｓ４１０では、選択ボタン６６が押されると表示ページの変更操作があったと判定される。Ｓ４１２では、選択されたページのページ情報を記憶し、Ｓ４０８では選択されたページが表示部４０に表示される。
【００６８】
このプログラムはさらに、Ｓ４１４で開始ボタン６２が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４を起動するＳ４１６と、Ｓ４１６に続いて実行され、カメラ４４が撮影する画像データを一時記憶する画像バッファの内容を消去するＳ４１８と、Ｓ４１８に続いて実行され、終了ボタン６０が押されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ４２０と、Ｓ４２０で終了ボタン６０が押されていない（ＮＯ）と判定されたときに実行され、カメラ４４が撮影する演奏画像データのバッファリング処理を行なうＳ４２２と、Ｓ４２２に続いて実行され、Ｓ４２２でバッファリングされた演奏画像データと、登録されたフレーズデータとの照合処理を行なうＳ４２４と、Ｓ４２４に続いて実行され、Ｓ４２４におけるフレーズデータ照合処理において演奏画像データと登録されたフレーズデータとが一致したか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ４２６と、Ｓ４２６で一致した（ＹＥＳ）と判定されたときに実行され、該当するフレーズデータに設定された時間だけ表示画面をそのままで待機するＳ４２８と、Ｓ４２８に続いて実行され、表示部４０に表示される楽譜のページ画像データを次のページに変更し、制御をＳ４１８に進めるＳ４３０とを含む。Ｓ４２６で一致しない（ＮＯ）と判定されたとき、制御はＳ４２０に戻る。
【００６９】
Ｓ４２４のフレーズデータ照合処理が実行されると、演奏画像データとフレーズデータとが一致した、又は一致しない、のいずれかの照合結果が出力される。フレーズデータ照合処理の詳細については後述する。
【００７０】
このプログラムはさらに、Ｓ４２０で終了ボタン６０が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４の動作を停止するＳ４３２と、Ｓ４３２に続いて実行され、演奏モードを終了するか否かの選択画面を表示して、演奏モードの終了が選択されたか否かに応じて制御の流れを分岐させるＳ４３４とを含む。Ｓ４３４で、終了が選択されていない（ＮＯ）と判定された場合、制御はＳ４０２に進む。Ｓ４３４で終了が選択された（ＹＥＳ）と判定された場合、このプログラムは終了する。
【００７１】
フレーズデータの照合処理は、各ページのフレーズデータに登録されている特徴画像系列と、演奏モード実行時にバッファリングされる演奏画像データとを照合する。演奏画像データを照合し、特徴画像間の時間間隔に所定の誤差範囲ΔＴを考慮した時間間隔で、同じ順番で類似する画像データが現れたときに、フレーズデータが一致すると判定する。具体的には、バッファリングされた最新の演奏画像データと、表示中のページに関するフレーズデータの最終の特徴画像とを比較して類似しているかを判定する。類似している特徴画像があると判定された場合、そのフレーズデータ内の一つ前の特徴画像と類似した画像がバッファリングされた演奏画像データの中にあるかを判定する。類似している演奏画像データがあったとき、その演奏画像データがバッファリングされた時間と、最新の演奏画像データがバッファリングされた時間との差を測定する。その測定した時間差が特徴画像間の時間間隔に所定の誤差範囲ΔＴを考慮した時間間隔内に収まっている場合、そのフレーズデータの一部を演奏していると判定する。この照合判定処理をバッファリングされた画像を逆上って繰返していき、フレーズデータの最初の特徴画像まで一致したとき、演奏者が演奏したフレーズが予め登録されたフレーズデータと一致すると判定する。
【００７２】
図６を参照して、図５のＳ４２４において実行されるプログラムは、表示部４０に表示しているページ情報を取得するＳ５０２と、Ｓ５０２に続いて実行され、図５のＳ４２２でバッファリングしている最新の演奏画像データと、Ｓ５０２で取得したページ情報のページに関連付けられたフレーズデータの最終の特徴画像Ｐｎ［Ｍｎ］とを比較するＳ５０４と、Ｓ５０４に続いて実行され、最新の演奏画像データと最終の特徴画像Ｐｎ［Ｍｎ］とが類似しているか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ５０６と、Ｓ５０６で類似している（ＹＥＳ）と判定された場合に実行され、フレーズデータ中の特徴画像の順番を表す変数ｍにＭｎ−１の値を設定するＳ５０８とを含む。
【００７３】
このプログラムはさらに、Ｓ５０８に続いて実行され、バッファリングされた演奏画像データにおいて、演奏画像が類似しているか否かの判定処理で参照された演奏画像データの、直前の演奏画像データを取得するＳ５１０と、Ｓ５１０に続いて実行され、Ｓ５１０で取得した演奏画像データと特徴画像Ｐｎ［ｍ］とを比較するＳ５１２と、Ｓ５１２に続いて実行され、取得した演奏画像データと特徴画像Ｐｎ［ｍ］とが類似しているか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ５１４と、Ｓ５１４で類似していない（ＮＯ）と判定された場合に実行され、１つ前の類似判定処理において類似していると判定された時の演奏画像データがバッファリングされた時間と、Ｓ５１０で取得した演奏画像データがバッファリングされた時間との時間間隔がＴｎ［ｍ］＋ΔＴの値を超えたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ５２４と、Ｓ５１４で類似している（ＹＥＳ）と判定された場合に実行され、Ｓ５１４の類似判定処理において類似していると判定された演奏画像データがバッファリングされた時間と、その類似判定処理の１つ前に類似していると判定された時の演奏画像データがバッファリングされた時間との時間間隔がＴｎ［ｍ］―ΔＴより小さい値であるか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ５１６とを含む。
【００７４】
Ｓ５０６及びＳ５１４における、演奏画像データと特徴画像Ｐｎ［ｍ］（ｍ＝１〜Ｍｎ）とが類似しているかの判定方法については、様々な方法がある。例えば、画像データから演奏者のシルエットを作成し、シルエットを値１、背景を値０とした２値画像を作成する。この２値画像から抽出するシルエットの輪郭などを特徴データと呼ぶことにする。カメラが撮影する演奏画像データの特徴データと、フレーズデータとして記憶した特徴画像データから作成する特徴データとを照合することで、２つの画像が類似しているかを判定することができる。
【００７５】
画像データからシルエットを作成する方法としては以下のような例が挙げられる。例えば、白い壁の前を人物が歩行する場合などのように、背景の濃度が人物の各部の濃度に比べて明るい場合を想定する。まず、撮影する演奏画像データの濃度のヒストグラムを作成する。すると、人物の濃度分布と背景の濃度分布との２峰性の分布が得られる。その分布から人物と背景との境界となる濃度値ａを設定し、演奏画像データの原画像の画素の濃度値がａよりも暗い点をシルエット（値１）、明るい点を背景（値０）とする。このようにして画像の画素の濃度値に対して値を割当て、シルエット画像を作成する。
【００７６】
また、２値画像から特徴データを抽出し、照合する部分については、一般的な文字認識装置における技術を用いることができる。具体的には、入力画像から２値画像を作成して文字画像の特徴抽出を行ない、辞書に登録されている特徴データとの照合を行ない、類似度を計算するという手法が用いられる。画像の類似判定においても、シルエットの部分を文字として考えれば同様に行なうことができる。
【００７７】
ここでは、類似しているかの判定方法としてシルエットを用いた判定方法を挙げたが、この方法を用いる場合には、フレーズデータとして、特徴画像そのものを記憶するのではなく、その特徴データを記憶しておけばよい。
【００７８】
ただし、類似しているかの判定方法については様々な方法があるため、ここで例示した方法に限るわけではない。
【００７９】
このプログラムはさらに、Ｓ５２４で時間間隔がＴｎ［ｍ］＋ΔＴの値を超えた（ＹＥＳ）と判定された場合に実行され、フレーズデータは現在演奏中のフレーズと一致しないと判定し、制御を図５のＳ４２６に進めるＳ５２６と、Ｓ５１６で時間間隔がＴｎ［ｍ］―ΔＴより小さい値ではない（ＮＯ）と判定された場合に実行され、変数ｍにｍ−１の値を設定するＳ５１８と、Ｓ５１８に続いて実行され、変数ｍがｍ＝０を満たすか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ５２０と、Ｓ５２０でｍ＝０を満たす（ＹＥＳ）と判定された場合に実行され、フレーズが一致したと判定し、制御を図５のＳ４２６に進めるＳ５２２とを含む。Ｓ５０６で類似していない（ＮＯ）と判定された場合、制御はＳ５２６に進む。Ｓ５１６で時間間隔がＴｎ［ｍ］―ΔＴより小さい値である（ＹＥＳ）と判定された場合、制御はＳ５２６に進む。Ｓ５２４で時間間隔がＴｎ［ｍ］＋ΔＴの値を超えていない（ＮＯ）と判定された場合、又はＳ５２０でｍ＝０を満たさない（ＮＯ）と判定された場合、制御はＳ５１０に進む。
【００８０】
―動作―
第１の実施の形態に係る楽譜表示装置３０は、以下のように動作する。
【００８１】
＜フレーズ登録モード＞
フレーズデータを登録する前に、楽譜表示装置３０に楽譜の画像データを登録する。楽譜の画像データは、外部記憶媒体に記憶された画像データを外部メモリインターフェイス４６を介して記憶部４８に記憶させるか、又は、カメラ４４を用いて楽譜を読取り、読取った画像データを記憶部４８に記憶させる。記憶した画像データ群には、楽譜のタイトルを付して登録する。
【００８２】
楽譜表示装置３０は、フレーズ登録モードが選択されると、記憶部４８に記憶されている楽譜データのタイトルをリスト表示する（Ｓ２０２）。このリストからフレーズデータを登録する楽譜タイトルの選択を受けると（Ｓ２０４）、楽譜データを読出し、表示部４０に選択された楽譜データの１ページ目を表示する（Ｓ２０６、Ｓ２０８）。フレーズ登録モードでは、表示部４０に表示されるページをめくる際のフレーズデータを登録する。そのため、利用者から表示ページ変更の操作を受けた場合（Ｓ２１０でＹＥＳ）は、楽譜表示装置３０は、表示するページのページ情報を変更し（Ｓ２１２）、表示するページを変更する。
【００８３】
表示部４０にフレーズデータを登録するページが表示されている時に開始ボタン６２が押される（Ｓ２１４でＹＥＳ）と、楽譜表示装置３０は、カメラ４４を起動し（Ｓ２１６）、画像バッファをクリアする（Ｓ２１８）。その後、利用者がフレーズデータとして登録する部分の演奏を行ない、マイクロフォン４２が演奏音を検出したことに応答して画像データのバッファリングを開始する（Ｓ２２０でＹＥＳ、Ｓ２２２）。利用者が演奏を止めて演奏音が検出されなくなるとバッファリングを終了する（Ｓ２２４でＮＯ、Ｓ２２６）。
【００８４】
フレーズを演奏後、演奏したフレーズをフレーズデータとして登録するという操作を受けた場合（Ｓ２２８でＹＥＳ）、現在表示しているページに関するフレーズデータを、カメラ４４を用いて取込んだ画像データから作成して登録する（Ｓ２３０）。この時作成されるフレーズデータには、バッファリングされた演奏画像データの中から抽出された特徴画像群、特徴画像間の時間間隔情報、及び利用者が設定する待機時間が含まれる。
【００８５】
表示するページに対してのフレーズデータの登録終了を選択すると（Ｓ２３２でＹＥＳ）、カメラ４４が停止し（Ｓ２３４）、楽譜データの別ページのフレーズデータを登録するかを選択する（Ｓ２３６）。別ページのフレーズデータを登録する場合は、フレーズデータを登録するページを表示させ、開始ボタン６２を押してフレーズデータの登録を行なう。ページめくりに必要な分のフレーズデータの登録が終わったら、利用者はモードの終了を選択し（Ｓ２３８でＹＥＳ）、フレーズ登録モードを終了する。
【００８６】
＜演奏モード＞
楽譜表示装置３０は、演奏モードが選択されると、記憶部４８に記憶されている楽譜データのタイトルをリスト表示する（Ｓ４０２）。このリストから楽譜データの選択を受けると（Ｓ４０４でＹＥＳ）、選択された楽譜データと、楽譜データに関連付けて登録されたフレーズデータとを記憶部４８から読出し、選択された楽譜データの１ページ目を表示部４０に表示する（Ｓ４０６、Ｓ４０８）。利用者からページ変更の操作を受けた場合（Ｓ４１０でＹＥＳ）は、表示するページのページ情報を変更し（Ｓ４１２）、表示部４０に表示するページを変更する。
【００８７】
楽譜表示装置３０は、開始ボタン６２が押されると（Ｓ４１４でＹＥＳ）、カメラ４４を起動し（Ｓ４１６）、画像バッファをクリアする（Ｓ４１８）。その後、楽譜表示装置３０は、終了ボタン６０が押されるまで、カメラ４４が撮影する演奏画像データのバッファリングを行ない（Ｓ４２２）、バッファリングされた演奏画像データと表示する楽譜のページに登録されたフレーズデータとの照合処理を行ない（Ｓ４２４）、フレーズが一致したかの判定を行なう（Ｓ４２６）ことを繰返す。
【００８８】
フレーズデータの照合処理は、表示しているページ情報を取得し（Ｓ５０２）、バッファリングされる最新の演奏画像データと表示しているページのフレーズデータの最終の特徴画像Ｐｎ［Ｍｎ］とを比較し、両画像が類似しているかを判定する（Ｓ５０４、Ｓ５０６）。類似していると判定された場合（Ｓ５０６でＹＥＳ）、フレーズデータ中の特徴画像の順番を表す変数ｍにＭｎ−１を設定し（Ｓ５０８）、バッファから類似しているかの判定処理で参照された演奏画像データの、直前の演奏画像データを取得して（Ｓ５１０）、取得した演奏画像データと特徴画像Ｐｎ［ｍ］とを比較する（Ｓ５１２）。画像を比較した結果、両画像が類似していないと判定された場合（Ｓ５１４でＮＯ）、前回類似していると判定された演奏画像データがバッファリングされた時間と、取得した画像がバッファリングされた時間との時間間隔がＴｎ［ｍ］＋ΔＴを超えたか否かを判定する（Ｓ５２４）。時間間隔Ｔｎ［ｍ］＋ΔＴを超えていない（Ｓ５２４でＮＯ）と判定された場合は、参照された演奏画像データのさらに１つ前の演奏画像データをバッファから取得して、再度特徴画像Ｐｎ［ｍ］との比較を行なう。時間間隔Ｔｎ［ｍ］＋ΔＴを超えたと判定された場合は、フレーズは一致しないと判定し（Ｓ５２６）、制御をＳ４２４に進める。
【００８９】
画像を比較した結果、両画像が類似していると判定された場合（Ｓ５１４でＹＥＳ）、前回類似していると判定された演奏画像データがバッファリングされた時間と、取得した画像がバッファリングされた時間との時間間隔がＴｎ［ｍ］−ΔＴより小さいか否かを判定する（Ｓ５１６）。時間間隔がＴｎ［ｍ］−ΔＴより小さいと判定された場合（Ｓ５１６でＹＥＳ）は、フレーズは一致しないと判定し、制御をＳ４２４に進める。時間間隔がＴｎ［ｍ］−ΔＴより小さくないと判定された場合（Ｓ５１６でＮＯ）は、変数ｍにｍ−１の値を設定し（Ｓ５１８）、変数ｍがｍ＝０を満たすか否かを判定する（Ｓ５２０）。ｍ＝０を満たさないと判定された場合、特徴画像Ｐｎ［ｍ］とバッファリングされた演奏画像データとを比較して、両画像が類似しているかを判定するために上記の処理を繰返す。また、ｍ＝０を満たすと判定された場合、すなわち、演奏画像データが、登録されたフレーズデータに含まれる特徴画像の順番と時間間隔とに合わせて現れた時、フレーズは一致したと判定し（Ｓ５２２）、制御をＳ４２４に進める。
【００９０】
フレーズ照合処理においてフレーズが一致していないと判定された場合、終了ボタン６０が押されるまで演奏画像データのバッファリングを行ないフレーズデータの照合処理を繰返す。フレーズ照合処理においてフレーズが一致したと判定された場合、フレーズデータに設定した時間分だけ表示ページをそのままにし（Ｓ４２８）、設定時間経過後、表示していたページの次のページを表示する（Ｓ４３０）。表示ページ変更後画像バッファを一旦クリアし、終了ボタン６０が押されるまで表示されているページに関してのフレーズデータ照合処理を繰返す。
【００９１】
以上のように、この楽譜表示装置３０においては、フレーズ登録モードにおいては、演奏者の演奏音を検出する間の演奏画像をバッファリングし、その中から特徴となる画像を抽出して、特徴画像と特徴画像間の時間間隔とをページめくりのためのフレーズデータとして記憶する。一方、実際に演奏を行なう時の演奏モードにおいては、演奏時における演奏者の動き（演奏画像データ）をカメラによって撮り続け、その画像が登録されたフレーズデータと一致するかを判定する。一致すると判定された場合はページ変更動作を行なう。新しく表示されたページでも、そのページに登録されたフレーズデータに関して、演奏者の動きが一致するかを判定する。
【００９２】
このように、フレーズ登録モードでは音を検出する間の演奏画像から特徴画像を抽出することから、演奏者がページめくりのフレーズを実際に演奏している時の画像を正確に得ることができる。一方、演奏モードにおいて登録されたフレーズデータと一致するかを判定する時は、バッファリングされた画像のみを参照し、登録されたフレーズデータの画像と同じ順番で現れるかによって判定する。ページめくり動作の判定が、演奏者の画像によって行なわれることから、同時に演奏する楽器の音による影響を受けることがない。その結果、同時に演奏する楽器及び人数によらず、演奏の際に特別な動作を行なわなくても、利用者の所望するタイミングに自動的にページ切替えが可能な楽譜表示装置を提供することができる。
【００９３】
表示部４０は、ＬＣＤに限定するものではない。有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの、薄型の表示デバイスであればよい。また、表示部４０に重畳するようにタッチパネルを設け、操作部３８として用いても良い。
【００９４】
［第２の実施の形態］
第２の実施の形態に係る楽譜表示装置では、表示するページに対して複数個のフレーズデータを登録することができる。そして、それぞれのフレーズデータの演奏回数によってフレーズ演奏後に表示するページを任意に設定することができる。第２の実施の形態に係る楽譜表示装置について、ハードウェア構成は第１の実施の形態の楽譜表示装置３０と同一であるが、ＣＰＵ３２で実行されるプログラムが異なる。
【００９５】
―構成―
以下、特定の楽譜を例に本実施の形態に係る楽譜表示装置の構成を説明する。
【００９６】
図７を参照して、楽譜データは３ページで構成され、１ページ目にはフレーズデータ１１（「Ｂ」と記す）を、２ページ目にはフレーズデータ２１（「Ｄ」と記す）及びフレーズデータ２２（「Ｅ」と記す）を、３ページ目にはフレーズデータ３１（「Ｇ」と記す）を含む。また楽譜の進行を説明するために、楽譜データの１ページ目最初からの部分をＡ、２ページ目最初からの部分をＣ、３ページ目最初からの部分をＦとする。
【００９７】
図７に示す楽譜データ例において、２ページ目のフレーズデータ２１はリピート箇所である。フレーズデータ２１は、１回目に現れた時には楽譜の最初（Ａ）に戻り、２回目に現れた時には戻らずにそのまま先に進む。フレーズデータ１１は演奏回数が３回目までは２ページ目を表示する。フレーズデータ２２は１回目に現れた時は３ページ目を表示し、２回目以降はページ変更を行なわない。フレーズデータ３１は、１回目に現れた時には楽譜の最初（Ａ）に戻る。
【００９８】
この楽譜データ例にしたがった時の進行順は、「Ａ→Ｂ→Ｃ→Ｄ→Ａ→Ｂ→Ｃ→Ｄ→Ｅ→Ｆ→Ｇ→Ａ→Ｂ→Ｃ→Ｄ→Ｅ」となる。また、この時のページの表示順は、「１→２→１→２→３→１→２」となる。
【００９９】
本実施の形態では、図８に示すような変更先テーブル２５０を用いる。図８を参照して、変更先テーブル２５０は、変更元ページと、フレーズデータと、それぞれのフレーズデータの演奏回数ごとの表示ページとを記録する。第２の実施の形態の楽譜表示装置では、変更先テーブル２５０にフレーズデータの演奏回数とそのときに表示するページとを予め設定する。変更先テーブル２５０に、演奏回数の設定がない場合は、そのフレーズが演奏されても表示するページを変更しない。図８の設定例では、２ページ目にあるフレーズデータ２１は、演奏回数が１回目の時には次に１ページを表示する。フレーズデータ２１が２回目に演奏されるときには、変更先テーブル２５０に設定がされていないため、ページ変更を行なわない。
【０１００】
また、同一のページに同じフレーズデータは登録しないものとする。ページに同じフレーズデータを用いる場合、例えば、図８において、フレーズデータ２１とフレーズデータ２２とで同じものを用いる場合は、１つのフレーズデータとして考え、演奏回数によりページの変更先を設定することで対処することができるからである。登録するフレーズデータが別のページにあるならば、同じフレーズデータを用いても問題ない。
【０１０１】
図９を参照して、Ｐはページ、Ｆはフレーズデータ、「／」以下の数字はフレーズの演奏回数を表す。１ページ目に含まれるフレーズデータ１１は、演奏回数１回から３回まではフレーズ演奏後に２ページ目を表示することを示す。２ページ目に含まれるフレーズデータ２１は、１回目のフレーズ演奏後に１ページ目を表示することを示す。２ページ目に含まれるフレーズデータ２２は、１回目のフレーズ演奏後に３ページ目を表示することを示す。３ページ目に含まれるフレーズデータ３１は、１回目のフレーズ演奏後に１ページ目を表示することを示す。
【０１０２】
第２の実施の形態における楽譜表示装置は、第１の実施の形態の楽譜表示装置３０と同様に演奏モードとフレーズ登録モードとの２つの動作モードを持つ。ただし、第２の実施の形態における楽譜表示装置のフレーズ登録モードでは、表示しているページに対して、異なるフレーズデータを登録することが可能である。第２の実施の形態の楽譜表示装置においてフレーズデータを登録する時は、フレーズの演奏回数によって次にどのページを表示するかの設定を行なう。
【０１０３】
図１０を参照して、第２の実施の形態における楽譜表示装置において、フレーズ登録モードが選択され、利用者から登録する楽譜データの選択を受けたときに実行されるプログラムの制御構造を説明する。このプログラムは、楽譜データ記憶部５２から選択された楽譜データの情報を読出すＳ６０２と、Ｓ６０２に続いて実行され、選択された楽譜データのページ画像データを表示部４０に表示するＳ６０４とを含む。
【０１０４】
Ｓ６０２では、選択された楽譜データの画像データと、楽譜データのページ情報とが読出される。Ｓ６０４では、画像データを表示するとともに、表示する画像データのページ情報を記憶する。Ｓ６０２に続いてＳ６０４が実行される場合は、楽譜データの１ページ目を表示し、表示ページ情報として１を記憶する。
【０１０５】
このプログラムはさらに、Ｓ６０４に続いて実行され、利用者により表示ページの変更操作があったか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６０６と、Ｓ６０６で変更操作があった（ＹＥＳ）と判定された場合に実行され、表示するページ情報を設定し、制御をＳ６０４に進めるＳ６０８と、Ｓ６０６で変更操作がなかった（ＮＯ）と判定された場合に実行され、開始ボタン６２が押されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６１０とを含む。Ｓ６１０で開始ボタン６２が押されていない（ＮＯ）と判定された場合は、制御はＳ６０６に戻る。
【０１０６】
Ｓ６０６では、選択ボタン６６が押されると表示ページの変更操作があったと判定される。Ｓ６０８では、選択されたページのページ情報を記憶し、Ｓ６０４では選択されたページが表示部４０に表示される。
【０１０７】
このプログラムはさらに、Ｓ６１０で開始ボタン６２が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４を起動するＳ６１２と、Ｓ６１２に続いて実行され、表示しているページに登録するフレーズデータの個数を表す変数ａに０を設定するＳ６１４と、Ｓ６１４に続いて実行され、画像バッファの内容を消去するＳ６１６と、Ｓ６１６に続いて実行され、マイクロフォン４２が演奏者の演奏する音を検出したか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６２２と、Ｓ６２２で演奏する音を検出した（ＹＥＳ）と判定された場合に実行され、カメラ４４が撮影する画像データをバッファリングするＳ６２０と、Ｓ６２０に続いて実行され、マイクロフォン４２が演奏者の演奏する音を検出したか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６２２と、Ｓ６２２で演奏する音を検出しない（ＮＯ）と判定された場合に実行され、カメラ４４が撮影する画像データのバッファリングを終了するＳ６２４とを含む。Ｓ６１８において、演奏する音が検出されていない（ＮＯ）と判定された場合、制御はＳ６１８に戻り、演奏音が検出されるのを待つ。Ｓ６２２で演奏音が検出されている（ＹＥＳ）と判定された場合、制御はＳ６２０に戻る。
【０１０８】
このプログラムはさらに、Ｓ６２４に続いて実行され、演奏したフレーズをフレーズデータとして登録するという操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６２６と、操作を受けた（ＹＥＳ）と判定された場合に実行され、変数ａにａ＋１の値を設定するＳ６２８と、Ｓ６２８に続いて実行され、カメラ４４を用いて取込んだ画像データからフレーズデータを作成し、現在表示しているページのａ番目のフレーズデータとして登録するＳ６３０と、Ｓ６３０に続いて実行され、Ｓ６３０で登録したフレーズデータに対して演奏者からフレーズデータ情報の設定を受けるＳ６３２と、Ｓ６３２実行後、又はＳ６２６で操作を受けていない（ＮＯ）と判定された場合に実行され、演奏者から別フレーズ登録の操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６３６と、Ｓ６３６で操作を受けていない（ＮＯ）と判定された場合に実行され、カメラ４４の動作を停止するＳ６３８と、Ｓ６３８に続いて実行され、演奏者から別ページのフレーズデータの登録操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６４０とを含む。Ｓ６３６で操作を受けた（ＹＥＳ）と判定された場合は、制御はＳ６１６に進む。Ｓ６４０で別ページのフレーズデータの登録操作を受けた（ＹＥＳ）と判定された場合は、制御はＳ６０４に進む。Ｓ６４０で別ページのフレーズデータの登録操作を受けていない（ＮＯ）と判定された場合は、このプログラムを終了する。
【０１０９】
Ｓ６３０におけるフレーズデータの登録に関して、第２の実施の形態で用いるフレーズデータは、第１の実施の形態のフレーズデータと同じ構成を持つ。図１０のプログラムにおいては、Ｓ６１２で開始ボタン６２が押され、演奏音が検出されてから演奏音の検出がされなくなるまでの間に、カメラ４４によって撮影されバッファリングされた演奏画像データの中から特徴画像が抽出される。そして、抽出された特徴画像群、特徴画像間の時間間隔情報、及び特徴画像数を、楽譜の表示ページに対するａ番目のフレーズデータとして登録する。
【０１１０】
Ｓ６３２で設定されるフレーズデータ情報は、演奏後の待機時間、及び登録するフレーズデータの演奏回数に対応して表示する楽譜のページ情報などを含む。待機時間の設定がされない場合はデフォルト値（例えば０秒）が適用される。
【０１１１】
図１１を参照して、第２の実施の形態における楽譜表示装置において、演奏モードが選択されたときに実行されるプログラムの制御構造を説明する。このプログラムは、記憶部４８に記憶されている楽譜データ名を表示部４０にリスト表示するＳ７０２と、Ｓ７０２に続いて実行され、表示されたリストから楽譜データの選択操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ７０４と、Ｓ７０４で選択操作を受けた（ＹＥＳ）と判定された場合に実行され、選択された楽譜データの情報を楽譜データ記憶部５２からと、選択された楽譜データに関するフレーズデータをフレーズデータ記憶部５４からそれぞれ読出すＳ７０６と、Ｓ７０６に続いて実行され、選択された楽譜データのページ画像データを表示部４０に表示するＳ７０８とを含む。
【０１１２】
Ｓ７０６では、楽譜データの情報として、選択された楽譜データの画像データと、楽譜データのページ情報とが読出される。Ｓ７０８では、画像データを表示するとともに、表示する画像データのページ情報を同時に記憶する。Ｓ７０６に続いてＳ７０８が実行される場合は、楽譜データの１ページ目を表示し、表示ページ情報として１を記憶する。
【０１１３】
このプログラムはさらに、Ｓ７０８に続いて実行され、利用者による表示ページの変更操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ７１０と、Ｓ７１０で変更操作を受けた（ＹＥＳ）と判定された場合に実行され、表示するページ情報を設定し、制御をＳ７０８に進めるＳ７１２と、Ｓ７１０で変更操作を受けなかった（ＮＯ）と判定された場合に実行され、開始ボタン６２が押されたか否かに応じて制御の流れを分岐させるＳ７１４とを含む。Ｓ７１４で開始ボタン６２が押されていない（ＮＯ）と判定された場合は、制御はＳ７１０に戻る。
【０１１４】
Ｓ７１０では、選択ボタン６６が押されると表示ページの変更操作を受けたと判定される。Ｓ７１２では、選択されたページのページ情報を記憶し、Ｓ７０８では、選択されたページが表示部４０に表示される。
【０１１５】
このプログラムはさらに、Ｓ７１４で開始ボタン６２が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４を起動するＳ７１６と、Ｓ７１６に続いて実行され、楽譜データに登録されたフレーズデータのカウント値にそれぞれ０を代入して初期化を行なうＳ７１８と、Ｓ７１８に続いて実行され、画像バッファの内容を消去するＳ７２０と、Ｓ７２０に続いて実行され、終了ボタン６０が押されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ７２２と、Ｓ７２２で終了ボタン６０が押されていない（ＮＯ）と判定されたときに実行され、カメラ４４が撮影する演奏画像データのバッファリングを行なうＳ７２４と、Ｓ７２４に続いて実行され、Ｓ７２４でバッファリングされた演奏画像データを用いてフレーズデータ照合処理を行なうＳ７２６と、Ｓ７２６に続いて実行され、Ｓ７２６におけるフレーズデータ照合処理において演奏画像データと登録されたフレーズデータとで一致するフレーズがあるか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ７２８と、Ｓ７２８で一致するフレーズデータがある（ＹＥＳ）と判定されたときに実行され、一致すると判定されたフレーズデータのカウント値に１を加えるＳ７３０と、Ｓ７３０に続いて実行され、変更先テーブル２５０を参照し、該当するフレーズデータに関してカウント数に対応するページ変更先が登録されているか否かに応じて制御の流れを分岐させるＳ７３２と、Ｓ７３２でページ変更先が登録されている（ＹＥＳ）と判定された場合に実行され、該当するフレーズデータに設定された時間だけ表示画面をそのままで待機するＳ７３４と、Ｓ７３４に続いて実行され、変更先テーブル２５０に登録されたページの画像データを表示し、制御をＳ７２０に進めるＳ７３６とを含む。Ｓ７２８で一致するフレーズがない（ＮＯ）と判定された場合、制御はＳ７２２に戻る。Ｓ７３２でカウント数に対応するページ変更先が登録されていない（ＮＯ）と判定された場合は、制御はＳ７２２に戻る。
【０１１６】
Ｓ７２６では、図６に示すフローチャートで示すプログラムを実行してフレーズデータ照合処理を行なう。図６を参照して、第２の実施の形態では、図６に示すプログラムのＳ５２２又はＳ５２６を実行後、制御は図１１のＳ７２８に戻る。また、Ｓ７２６のフレーズデータ照合処理は、表示部４０に表示されるページに登録されたすべてのフレーズデータに対して照合処理を行ない、一致するフレーズデータの有無及び一致するフレーズデータ名の検出を行なう。先述したように、１つのページには同じフレーズデータは存在しない。そのため、Ｓ７２６では図６に示すプログラムを用いての照合処理を該ページに登録されたフレーズデータ全てに対して同時に行なって、フレーズデータの照合及び一致するフレーズデータ名の検出を行なう。
【０１１７】
このプログラムはさらに、Ｓ７２２で終了ボタン６０が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４の動作を停止するＳ７３８と、Ｓ７３８に続いて実行され、演奏モードを終了するか否かの選択画面を表示し、利用者から演奏モードの終了が選択されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ７４０とを含む。Ｓ７４０で、終了が選択されていない（ＮＯ）と判定された場合、制御はＳ７０２に進む。Ｓ７４０で終了が選択された（ＹＥＳ）と判定された場合、このプログラムは終了する。
【０１１８】
―動作―
第２の実施の形態に係る楽譜表示装置は、以下のように動作する。
【０１１９】
＜フレーズ登録モード＞
フレーズデータを登録する前に、楽譜の画像データを登録する。楽譜の画像データの登録に関しては、第１の実施の形態の楽譜表示装置３０と同じであるため、説明を繰返さない。
【０１２０】
第２の実施の形態における楽譜表示装置は、フレーズ登録モードが選択され、フレーズデータを登録する楽譜タイトルの選択を受けると、楽譜データを読出し、表示部４０に選択された楽譜データの１ページ目を表示する（Ｓ６０２、Ｓ６０４）。また、利用者から表示ページ変更の操作を受けた場合（Ｓ６０６でＹＥＳ）は、表示するページのページ情報を変更し（Ｓ６０８）、表示部４０に表示するページを変更する。
【０１２１】
フレーズデータの登録を行なうときは、表示部４０に所望のページが表示されている時に開始ボタン６２を押す（Ｓ６１０でＹＥＳ）。すると、カメラ４４を起動し（Ｓ６１２）、表示するページに登録するフレーズデータの個数を表す変数ａに０の値を設定し（Ｓ６１４）、画像バッファをクリアする（Ｓ６１６）。
【０１２２】
その後、利用者はフレーズデータとして登録する部分の演奏を行なう。マイクロフォン４２で演奏音が検出され続けている間は画像データのバッファリングを行なう（Ｓ６１８でＹＥＳ、Ｓ６２０）。利用者が演奏を止めて演奏音が検出されなくなるとバッファリングを終了する（Ｓ６２２でＮＯ、Ｓ６２４）。
【０１２３】
フレーズを演奏後、利用者から演奏したフレーズをフレーズデータとして登録するという操作を受けた場合（Ｓ６２６でＹＥＳ）、変数ａに１を加え（Ｓ６２８）、表示するページのａ番目のフレーズデータとして、フレーズを演奏した画像データからフレーズデータを作成し、登録する（Ｓ６３０）。この時、作成されるフレーズデータには、バッファリングされた演奏画像データの中から抽出された特徴画像群、及び特徴画像間の時間間隔情報が含まれる。第２の実施の形態の楽譜表示装置はさらに、登録するフレーズデータに関する設定情報を利用者から受ける（Ｓ６３２）。フレーズデータに関する設定情報としては、演奏後の待機時間、及び登録するフレーズデータの演奏回数に対応して次に表示する楽譜のページ情報などがある。
【０１２４】
フレーズデータ登録後、又は演奏したフレーズデータをとり直すためにデータを登録しないと利用者が選択した場合（Ｓ６２６でＮＯ）、別のフレーズデータを登録するか否かを選択する。別のフレーズデータを登録する（Ｓ６３６でＹＥＳ）場合、画像バッファをクリアして、上記の動作を繰返す。
【０１２５】
別のフレーズデータを登録しない（Ｓ６３６でＮＯ）と選択された場合、カメラ４４を停止し（Ｓ６３８）、別のページのフレーズデータを登録するかを選択する（Ｓ６４０）。別ページのフレーズデータを登録する場合は、フレーズデータを登録するページを表示させ、開始ボタン６２を押してフレーズデータの登録を行なう。フレーズデータの登録が終わり、他のページの登録を行なわない場合は（Ｓ６４０でＮＯ）、フレーズ登録モードを終了する。
【０１２６】
＜演奏モード＞
第２の実施の形態における楽譜表示装置は、演奏モードが選択されると、記憶部４８に記憶されている楽譜データのタイトルをリスト表示する（Ｓ７０２）。このリストから楽譜データの選択を受けると（Ｓ７０４でＹＥＳ）、選択された楽譜データと、楽譜データに関連付けて登録されたフレーズデータとを記憶部４８から読出し、選択された楽譜データの１ページ目を表示部４０に表示する（Ｓ７０６、Ｓ７０８）。利用者からページ変更の操作を受けた場合（Ｓ７１０でＹＥＳ）は、表示するページのページ情報を変更し（Ｓ７１２）、表示部４０に表示するページを変更する。
【０１２７】
第２の実施の形態における楽譜表示装置は、開始ボタン６２が押されると（Ｓ７１４でＹＥＳ）、カメラ４４を起動する（Ｓ７１６）。第２の実施の形態の楽譜表示装置は、楽譜データに登録されたフレーズデータのそれぞれの演奏回数カウント値に０を代入して初期化を行ない（Ｓ７１８）、画像バッファをクリアする（Ｓ７２０）。その後、第２の実施の形態の楽譜表示装置は、終了ボタン６０が押されるまで、カメラ４４が撮影する演奏画像データのバッファリングを行ない（Ｓ７２４）、バッファリングされた演奏画像データと表示するページに関連付けて登録された全てのフレーズデータとの照合処理を行ない（Ｓ７２６）、一致するフレーズがあるか否かの判定を行なう（Ｓ７２８）。
【０１２８】
フレーズ照合処理の結果、一致するフレーズがないと判定された場合は、終了ボタンが押されるまで演奏画像データのバッファリングを続け、フレーズ照合処理を繰返す。フレーズ照合処理により一致するフレーズがあると判定された場合、一致すると判定されたフレーズデータの演奏回数カウント値に１を加え（Ｓ７３０）、変更先テーブル２５０を参照し、一致すると判定されたフレーズデータの演奏回数に対してページの変更先が登録されているかを判定する（Ｓ７３２）。変更先テーブル２５０に、変更先が登録されていない場合は表示ページの変更を行なわず、演奏画像データのバッファリングを続けフレーズデータ照合処理を繰返す。
【０１２９】
変更先テーブル２５０に変更先が登録されている場合は、フレーズが一致すると判定されたときからそのフレーズデータに設定された時間分だけ待機し（Ｓ７３４）、登録されたページを表示する（Ｓ７３６）。登録されたページに表示変更後、画像バッファをクリアする。その後、表示されたページに登録されたフレーズデータと、あらたにバッファリングされる演奏画像データとでフレーズ照合処理を繰返す。
【０１３０】
演奏モードでは、終了ボタン６０が押されるまで演奏画像データのバッファリングを行ないフレーズデータの照合処理を繰返す。終了ボタン６０が押されるとカメラ４４の動作を停止する（Ｓ７３８）。その後、演奏モードの終了が選択されると（Ｓ７３８）、演奏モードを終了する。
【０１３１】
以上のように、第２の実施の形態に係る楽譜表示装置は、フレーズ登録モードにおいて、１つのページに対しフレーズデータに１又は複数個のフレーズデータを登録する。そのフレーズデータそれぞれに対して、フレーズデータの演奏回数ごとに次に表示するページを設定する。演奏モードにおいては、フレーズデータの演奏回数をカウントし、フレーズデータに対して設定された演奏回数ごとの表示設定にしたがって表示するページを変更する。
【０１３２】
このように１つのページに対して１又は複数個のフレーズデータを登録し、演奏回数に応じて次に表示するページを変更させることで、リピート（繰返し）記号がついている楽譜に対しても、演奏順に沿ってページを表示することができる。その結果、利用者の所望するタイミングで自動的にページ切替えが可能で、かつ演奏順に沿った譜面の表示が可能な楽譜表示装置を実現することができる。
【０１３３】
また、図７〜図９に示した楽譜において、演奏順にしたがって楽譜を表示させると「１→２→１→２→３→１→２」とページ遷移する。このような楽譜例の場合、同じページが複数存在すると考えて７ページ構成の楽譜として考えることもできる。７ページ構成の楽譜として考えた場合、それぞれのページに対してフレーズデータを設定する必要がある。図７〜図９に示されるような順序で楽譜を表示する場合、６つのフレーズデータを登録する必要がある。第２の実施の形態のように、フレーズデータの演奏回数によって表示するページを変更させると、上記の例においては、４つのフレーズデータとそれぞれのフレーズデータ毎の変更先の登録とでページの表示を実現することができる。フレーズデータは、特徴画像群と時間間隔情報とで構成されるため、フレーズデータ１つあたりで使用される情報量は大きい。第２の実施の形態のように、演奏回数で表示画像を変更させることで、少ないフレーズデータの登録個数で複雑な表示順序に対応することができる。その結果、より少ない情報量で楽譜の表示順を設定可能な楽譜表示装置を実現することができる。
【０１３４】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【符号の説明】
【０１３５】
３０ 楽譜表示装置
３２ ＣＰＵ
４０ 表示部
４２ マイクロフォン
４４ カメラ
４８ 記憶部
５２ 楽譜データ記憶部
５４ フレーズデータ記憶部
６０ 終了ボタン
６２ 開始ボタン
６６ 選択ボタン
２５０ 変更先テーブル
【技術分野】
【０００１】
本発明は、楽器演奏の際に用いられる譜面を表示する楽譜表示装置に関し、自動的に表示するページを切替える譜めくり機能を備えた楽譜表示装置に関する。
【背景技術】
【０００２】
複数ページにわたる譜面を見ながら演奏を行なう場合は、演奏の進行に合わせて譜面をめくる必要がある。鍵盤楽器の演奏会などにおいては、演奏者とは別に譜めくり担当者を置くこともある。しかし、通常は演奏者自身の手で演奏に支障のないタイミングにページをめくっている。譜めくりのタイミングが休符である場合はよいが、そうでない場合は演奏中に素早く行なう必要があり、演奏者にとって非常に煩わしいものである。
【０００３】
その問題を解決するために、ペダルスイッチを踏むことによって譜面を次のページに切替える装置、及び電子化された楽譜であれば、キー操作によって楽譜の表示を変更する楽譜表示装置がある。しかし、ページ切替えのために演奏に関係のない装置の操作を行なうことは、逆に演奏者にとって負担を大きくするものであった。こうした問題を解決するために以下のような技術が開示されている。
【０００４】
特許文献１には、テレビカメラを備えた楽譜表示装置において、テレビカメラから演奏者の画像を取込み、取込んだ画像から所定のボディサインが検出された時には、表示する譜面のページを変更する技術が開示されている。
【０００５】
特許文献２には、楽譜表示装置において、楽譜を撮影して生成された楽譜画像データを複数ページ分記憶しておき、演奏操作によって生成される音高データが、予め登録する特徴フレーズと一致した場合には、自動的に次のページを表示する技術が開示されている。特許文献２において、登録する特徴フレーズは楽曲中の一部分である。演奏から検出された音高群と登録された特徴フレーズの音高群との一致数をカウントし、両者が一致した時には曲の進行が登録した特徴フレーズに到達したとして、自動的に楽譜の次のページを表示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３７７５１号
【特許文献２】特開２００５−２０８１５６号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記した技術には、なおも以下のような課題がある。
【０００８】
特許文献１の技術では、表示する譜面のページを変更する場合には、演奏とは関係のないボディサインを行なわなければならないという問題がある。演奏時の動作は演奏者によって様々である。そのため、簡単なボディサインであっても、そのボディサインを習得し、所望するページめくりのタイミングでそのサインを演奏中に出すことは、演奏者にとって負担が大きいという問題がある。さらに、次のページに進む場合と、前のページに戻る場合とで、ボディサインを変えなければならない。そのためこの技術は実用的でない。
【０００９】
特許文献２の技術は、電子鍵盤楽器など演奏操作から直接音高データが得られる場合には有効である。しかし、その他の楽器の演奏などにおいては、音高データを正確に検出することが難しいという問題がある。例えば、複数の演奏者が同時に演奏を行なう場合などにおいては、装置を使用する演奏者以外の音が同時に検出されてしまう。そのため、装置使用者の音高のみを検出することは極めて困難である。
【００１０】
このように楽譜表示装置に関して、多種多様な楽器において使用可能で、演奏者に負担にならない方法で譜めくり動作が可能な楽譜表示装置が求められている。
【００１１】
そのため、本発明の目的は、同時に演奏する楽器及び人数によらず、演奏の際に特別な動作を行なわなくても、利用者の所望するタイミングに自動的にページ切替えが可能な楽譜表示装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明の第１の局面に係る楽譜表示装置は、表示装置と、楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の順番とともに記憶するための記憶手段と、被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段と、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を楽譜名と当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、指定された楽譜名に対応する楽譜の一連のページ画像を記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を表示装置に表示するための楽譜表示手段と、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値をそれぞれとる判定信号を出力するためのフレーズ判定手段と、判定信号が第１の値となったことに応答して、表示装置に表示されているページ画像の次の順番のページ画像を表示装置に表示するためのページ変更手段とを含む。
【００１３】
記憶手段は、楽譜の一連のページ画像を、楽譜名と当該楽譜の一連のページ画像の順番とともに記憶する。画像取込手段は、被写体を撮像した一連の画像データをリアルタイムで出力する。フレーズデータ記憶手段は、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を楽譜名と当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶する。楽譜表示手段は、指定された楽譜名に対応する楽譜の一連のページ画像を記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を表示装置に表示する。フレーズ判定手段は、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値をそれぞれとる判定信号を出力する。ページ変更手段は、判定信号が第１の値となったことに応答して、表示装置に表示されているページ画像の次の順番のページ画像を表示装置に表示する。
【００１４】
この楽譜表示装置では、表示する楽譜のページを変更したい部分のフレーズ（特定フレーズ）を演奏者が演奏して、その時の画像データを取込む。楽譜表示装置は、取込んだ画像データから演奏者の動きの特徴を抽出し、特定フレーズを含む楽譜の楽譜名と楽譜名に対応するページ画像とに関連付けてフレーズデータとして記憶する。楽譜表示装置を用いて演奏を行なう場合は、表示装置に楽譜のページ画像を表示する。楽譜表示装置は、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示するページ画像に関連付けて記憶されたフレーズデータと一致するとき、すなわち演奏者が、ページを変更したい部分のフレーズを演奏した時の動きと同じ動きをしたと判定されたときに、ページ画像の次の順番のページ画像を表示装置に表示する。
【００１５】
この楽譜表示装置において、楽譜のページ変更時に、演奏者は特定フレーズを登録した時と同じように演奏すればよく特別な動作を行なう必要はない。また、ページ変更の判定には、演奏者の動きの特徴データが用いられることから、同時に演奏する楽器による音声の影響を受けることはない。その結果、同時に演奏する楽器及び人数によらず、演奏の際に特別な動作を行なわなくても、利用者の所望するタイミングに自動的にページ切替えが可能な楽譜表示装置を提供することができる。
【００１６】
好ましくは、楽譜表示装置は、第１及び第２の動作モードのいずれかを指定するための動作モード指定手段をさらに含む。フレーズデータ記憶手段は、動作モード指定手段により第１の動作モードが指定されているときに、画像取込手段の出力から抽出される演奏者の動きの特徴を、指定された楽譜名と、当該楽譜名に対応するページ画像のうちの指定されたページ画像と関連付けてフレーズデータとして記憶するための手段を含む。フレーズ判定手段は、動作モード指定手段により第２の動作モードが指定されており、かつ、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するか否かを判定して判定信号を出力するための判定手段を含む。
【００１７】
動作モード指定手段は、第１及び第２の動作モードのいずれかを指定する。記憶するための手段は、動作モード指定手段により第１の動作モードが指定されているときに、画像取込手段の出力から抽出される演奏者の動きの特徴を、指定された楽譜名と、当該楽譜名に対応するページ画像のうちの指定されたページ画像と関連付けてフレーズデータとして記憶する。判定手段は、動作モード指定手段により第２の動作モードが指定されており、かつ、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するか否かを判定して判定信号を出力する。
【００１８】
この楽譜表示装置は、画像取込手段の出力から抽出される演奏者の動きの特徴を、指定された楽譜名と、当該楽譜名に対応するページ画像のうちの指定されたページ画像と関連付けてフレーズデータとして記憶するときの動作モードと、画像取込手段の出力から抽出される演奏者の動きの特徴が表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するか否かを判定するときの動作モードとを含む。このように楽譜表示装置が２つの動作モードを有することで、画像取込手段の出力を用いるフレーズデータの記憶及びフレーズの判定の動作の切替えを確実に行なうことができる。
【００１９】
好ましくは、楽譜表示装置は、音声を検出するための音声検出手段をさらに含む。画像取込手段は、音声検出手段が音声を検出していることに応答して、被写体の撮像を開始し、当該被写体の一連の画像データをリアルタイムで出力するための手段を含む。
【００２０】
この楽譜表示装置では、演奏者がページ変更を希望する部分を実際に演奏し、音声検出手段が音声を検出することに応答して。被写体の撮像を開始し当該被写体の一連の画像データをリアルタイムで出力する。演奏音の音声の検出に応答して、画像データを出力することで、演奏するフレーズの開始及び終了を正確に検知でき、フレーズを演奏時の演奏者の動きの特徴をより正確に得ることができる。その結果、フレーズデータに演奏時以外の余計な動きの特徴が入ることが少なくなり、演奏者の動きの特徴とフレーズデータとが一致するかを判定するときの精度を高めることができる。
【００２１】
好ましくは、楽譜表示装置は、計時開始時から所定の時間が経過すると時間満了信号を出力するための計時手段をさらに含む。ページ変更手段は、判定信号が第１の値となったことに応答して、計時手段に計時を開始させるための手段と、計時手段からの時間満了信号に応答して、次の順番のページ画像を表示装置に表示するための手段とを含む。
【００２２】
この楽譜表示装置は、演奏者の動きの特徴がフレーズデータと一致すると判定されたときから計時を開始し、所定の時間が経過したときに出力される信号に応答して次の順番のページ画像を表示装置に表示する。これにより、例えば表示する楽譜においてページ変更のためのフレーズが適当な場所にない場合、変更したい場所より少し前の部分をフレーズデータとして記憶し、一致すると判定されてから所定の時間を経過した後に楽譜のページを変更することができる。その結果、演奏の流れに合った表示ページの変更を実現することができる。
【００２３】
好ましくは、フレーズデータ記憶手段は、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と、もしあれば当該ページ画像の次に表示すべきページ画像を特定する次ページ特定情報と関連付けてフレーズデータとして記憶するための手段を含む。フレーズ判定手段は、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータのいずれかと一致するか否かを判定して判定信号を出力するための判定手段と、判定手段により演奏者の動きの特徴と一致すると判定されたフレーズデータを特定する情報を出力するための手段とを含む。ページ変更手段は、判定信号が第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータに対する次ページ画像特定情報により特定されるページ画像を表示装置に表示するための手段を含む。
【００２４】
記憶するための手段は、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と、もしあれば当該ページ画像の次に表示すべきページ画像を特定する次ページ特定情報と関連付けてフレーズデータとして記憶する。判定手段は、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータのいずれかと一致するか否かを判定して判定信号を出力する。出力するための手段は、判定手段により演奏者の動きの特徴と一致すると判定されたフレーズデータを特定する情報を出力する。表示するための手段は、判定信号が第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータに対する次ページ画像特定情報により特定されるページ画像を表示装置に表示する。
【００２５】
この楽譜表示装置は、当該ページ画像の次に表示すべきページ画像を特定する次ページ特定情報がある時は、フレーズデータに関連付けて記憶することができる。また、楽譜表示装置は、表示装置に表示される楽譜のページ画像と関連付けられたフレーズデータのいずれかと一致するかを判定することができ、一致すると判定されたフレーズデータを特定する情報を出力することができる。出力された特定する情報により特定されたフレーズデータに次ページを特定する情報関連付けて記憶されている場合はそのページを表示する。
【００２６】
このように、ページ画像と関連付けて登録したフレーズデータのいずれかと一致するかを判定することによって、ページに対して記憶される異なるフレーズを演奏したときの演奏者の動きの特徴から、表示装置に表示するページを変更することができる。また、次に表示すべきページ画像の情報を関連付けてフレーズデータを記憶することで、フレーズデータを演奏後に表示するページを変更することができる。その結果、楽譜に記載される繰返し記号などにより、次に表示されるページ画像が変わる楽譜にも対応することができる。
【００２７】
好ましくは、ページ変更手段はさらに、判定信号が第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータに対する次ページ画像特定情報がないときに、表示装置に表示されているページ画像について、ページ画像の順番により特定されるページ画像を表示装置に表示するための手段を含む。
【００２８】
フレーズデータに次ページ画像特定情報がないときには、楽譜の一連のページ画像の順番にしたがって、表示するページ画像を変更する。その結果、次のページ画像特定情報を登録しない場合でもページ変更を行なうことができる。
【００２９】
好ましくは、楽譜表示装置は、楽譜の各ページ画像に関連付けられて記憶されるフレーズデータの各々について、当該フレーズデータに対応するページ画像の表示中に、出力するための手段により当該フレーズデータを特定する情報が出力された回数をカウントするためのカウント手段をさらに含む。記憶するための手段はさらに、表示装置に表示されているページ画像と関連付けられているフレーズデータの各々について、カウント手段によりカウントされた回数と、次に表示すべきページ画像を特定する情報との組をさらに記憶する。表示するための手段は、判定信号が第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータの、カウント手段によりカウントされた回数と組合されている情報により特定されるページ画像を表示装置に表示するための手段を含む。
【００３０】
楽譜には、数種類の繰返し記号がある。譜面によっては、フレーズの演奏回数によって、そのフレーズに続いて演奏する場所及び表示する楽譜のページが異なる場合もある。カウント手段によって当該フレーズデータを特定する情報が出力された回数をカウントし、ページ画像に関連付けられているフレーズデータの各々について、カウントされた回数と次に表示すべきページ画像を特定する情報とを設定することで、繰返し記号を含んだ複雑な構成の楽譜にも対応することができる。
【００３１】
本発明の第２の局面に係る楽譜表示方法は、表示装置と、楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の表示順とともに記憶するための記憶手段と、被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段と、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、指定された楽譜名に対応する楽譜の一連のページ画像を記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を表示装置に表示するための楽譜表示手段と、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示している楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値をそれぞれとる判定信号を出力するためのフレーズ判定手段と、判定信号が第１の値となったことに応答して、表示装置に表示されているページ画像の次の順番のページ画像を表示装置に表示するためのページ変更手段とを含む、楽譜表示装置における楽譜表示方法であって、楽譜表示手段が、指定された楽譜名に対応する楽譜の一連のページ画像を記憶手段から読出し、読出されたページ画像のうち、所定のページ画像を表示装置に表示するステップと、フレーズ判定手段が、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値をそれぞれとる判定信号を出力するステップと、ページ変更手段が、判定信号が第１の値となったことに応答して、表示装置に表示されているページ画像の次の順番のページ画像を表示装置に表示するステップとを含む。
【００３２】
本発明の第３の局面に係るコンピュータプログラムは、表示装置と、被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段とが接続されるコンピュータにより実行されると、当該コンピュータを、楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の順番とともに記憶するための記憶手段と、演奏者があるフレーズを演奏した時の演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、指定された楽譜名に対応する楽譜の一連のページ画像を記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を表示装置に表示するための楽譜表示手段と、表示装置に楽譜のページ画像が表示されている時に、画像取込手段の出力から抽出される演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値を、それぞれとる判定信号を出力するためのフレーズ判定手段と、判定信号が第１の値となったことに応答して、表示装置に表示されているページ画像の次の順番のページ画像を表示装置に表示するためのページ変更手段として機能させる。
【００３３】
本発明の第４の局面に係る記録媒体は、上に述べたコンピュータプログラムを記録した、コンピュータで読取可能な記録媒体である。
【発明の効果】
【００３４】
この楽譜表示装置では、演奏者がページ変更を希望する部分のフレーズを実際に演奏したときの動きの特徴を対応するページ画像と関連付けて予め記憶しておき、演奏者の動きの特徴が、表示装置に表示されている楽譜のページ画像と関連付けられた動きの特徴と一致すると判定されたときにページ変更を行なう。演奏者は楽譜のページ変更時において、特定フレーズを登録した時と同じように演奏すればよく特別な動作を行なう必要はない。また、ページ変更の判定には、演奏者の動きの特徴データが用いられることから、同時に演奏する楽器による音声の影響を受けることはない。その結果、同時に演奏する楽器及び人数によらず、演奏の際に特別な動作を行なわなくても、利用者の所望するタイミングに自動的にページ切替えが可能な楽譜表示装置を提供することができる。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１の実施の形態に係る楽譜表示装置３０の構成を表すブロック図である。
【図２】楽譜表示装置３０の外観図である。
【図３】第１の実施の形態に係る楽譜表示装置３０のＣＰＵ３２が実行する、フレーズ登録モードの動作を実現するためのプログラムの制御構造を示すフローチャートである。
【図４】フレーズデータの構成例を表す図である。
【図５】楽譜表示装置３０のＣＰＵ３２が実行する、演奏モードの動作を実現するためのプログラムの制御構造を示すフローチャートである。
【図６】図５に示すプログラムにおいてフレーズデータ照合処理の動作を実現するためのプログラムの制御構造を示すフローチャートである。
【図７】第２の実施の形態における楽譜表示装置に記憶される、楽譜データにおけるフレーズデータの設定例である。
【図８】フレーズデータの演奏回数と演奏後に表示するページとを設定する変更先テーブル２５０である。
【図９】フレーズデータの演奏回数と表示するページと状態遷移を表す図である。
【図１０】第２の実施の形態に係る楽譜表示装置のＣＰＵ３２が実行する、フレーズ登録モードの動作を実現するためのプログラムの制御構造を示すフローチャートである。
【図１１】第２の実施の形態における楽譜表示装置のＣＰＵ３２が実行する、演奏モードの動作を実現するためのプログラムの制御構造を示すフローチャートである。
【発明を実施するための形態】
【００３６】
以下、本発明の具体的な実施の形態について説明する。以下の説明及び図面においては、同一部品には同じ参照符号および名称を付してある。それらの機能も同様である。したがって、それらについての詳細な説明は繰返さない。
【００３７】
［第１の実施の形態］
―構成―
図１を参照して、楽譜表示装置３０は、所定のプログラムを実行し楽譜表示装置３０の全体の動作を制御するためのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２と、ＣＰＵ３２に接続されたバス５０と、いずれもバス５０に接続された、ＣＰＵ３２で実行するプログラムを記憶するためのＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）３４、プログラムを実行するときの一時記憶部として動作するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３６、利用者からの操作を受付けるための操作部３８、楽譜データ及び楽譜表示装置を制御するための操作画面を表示するための表示部４０、演奏者が演奏する音を検出するためのマイクロフォン４２、各種画像を撮影し画像データとして取込むためのカメラ４４、各種情報を記憶するための記憶部４８、及び外部記憶媒体から楽譜データなどを取込むための外部メモリインターフェイス４６を含む。
【００３８】
ＲＯＭ３４は、電気的に書換え可能な不揮発性のメモリで、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びフラッシュメモリなどが用いられる。記憶部４８は、磁気ディスク、ＥＥＰＲＯＭ、及びフラッシュメモリなどの、電気的に書換え可能な不揮発性のメモリで構成される。
【００３９】
本実施の形態では、表示部４０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）を含む。
【００４０】
記憶部４８は、楽譜データを記憶するための楽譜データ記憶部５２と、楽譜データ記憶部５２に記憶される楽譜データに関連して記憶される、演奏者が特定のフレーズを演奏している時の演奏者の一連の画像からなるフレーズデータを記憶するためのフレーズデータ記憶部５４とを含む。
【００４１】
楽譜データ記憶部５２に記憶される楽譜データは、１又は複数のページで構成される楽譜のページ毎の画像データである。楽譜データは、外部メモリインターフェイス４６で外部記憶媒体を介して取込む方法の他に、カメラ４４を用いて画像を読取り、取込むことも可能である。また、楽譜データ記憶部５２には複数の楽譜データを記憶することができ、表示する楽譜データは演奏者の操作によって選択される。
【００４２】
フレーズデータ記憶部５４に記憶されるフレーズデータは、各楽譜データのページに関連して記憶され、カメラ４４を用いて撮影された、それぞれのページをめくる前の演奏者の一連の動きを記憶したデータである。フレーズデータの構成及び設定に関しては後述する。
【００４３】
図２を参照して、操作部３８は、画面に表示される項目を選択するための選択ボタン６６と、決定ボタン６４と、各種動作を開始するための開始ボタン６２と、動作を停止するための終了ボタン６０とを含む。
【００４４】
図２を参照して、カメラ４４及びマイクロフォン４２はそれぞれ演奏者の撮影及び演奏音を検出するため、表示部４０の下部の中央付近に設置される。また、画像表示装置３０自体は、薄型のボディによって構成され、紙の楽譜の代わりに汎用の譜面台上において使用することが可能である。
【００４５】
表示部４０には、後述するプログラムが実行されることによって選択される楽譜データがページ単位で表示される。
【００４６】
本実施の形態における楽譜表示装置３０は、演奏モードとフレーズ登録モードとの２つの動作モードを持つ。演奏モードは、演奏者が選択した楽譜データを表示部４０に表示して、表示されているページを演奏の進行に合わせて自動で切替えるモードである。フレーズデータを登録モードは、選択した楽譜データの表示されているページを切替えるためのフレーズを登録するためのモードである。演奏者が自動のページ切替えを利用するためには、フレーズ登録モードで事前にページ切替えのフレーズデータを登録する必要がある。
【００４７】
本実施の形態における楽譜表示装置３０において、ページを切替えるためのフレーズデータは、表示するページに対してそれぞれ１つ登録することができる。
【００４８】
図３を参照して、楽譜表示装置３０において、フレーズ登録モードが選択された時に実行されるプログラムの制御構造を説明する。このプログラムは、記憶部４８に記憶されている楽譜データ名を表示部４０にリスト表示するステップ（以下単に「Ｓ」と記載する。）２０２と、Ｓ２０２に続いて実行され、表示する楽譜データの選択操作を利用者から受けるＳ２０４と、Ｓ２０４に続いて実行され、選択された楽譜データの情報を楽譜データ記憶部５２から読出すＳ２０６と、Ｓ２０６に続いて実行され、選択された楽譜データのページ画像データを表示部４０に表示するＳ２０８とを含む。
【００４９】
Ｓ２０６では、選択された楽譜データの画像データと、楽譜データのページ情報とが読出される。Ｓ２０８では、画像データを表示するとともに、表示する画像データのページ情報を同時に記憶する。Ｓ２０６に続いてＳ２０８が実行される場合は、楽譜データの１ページ目を表示し、表示ページ情報として１を記憶する。
【００５０】
このプログラムはさらに、Ｓ２０８に続いて実行され、利用者により表示ページの変更操作があったか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２１０と、Ｓ２１０で変更操作があった（ＹＥＳ）と判定された場合に実行され、表示するページ情報を設定し、制御をＳ２０８に進めるＳ２１２と、Ｓ２１０で変更操作がなかった（ＮＯ）と判定された場合に実行され、開始ボタン６２が押されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２１４とを含む。Ｓ２１４で開始ボタン６２が押されていない（ＮＯ）と判定された場合は、制御はＳ２１０に戻る。
【００５１】
Ｓ２１０では、選択ボタン６６が押されると表示ページの変更操作があったと判定される。Ｓ２１２では選択されたページのページ情報を記憶し、Ｓ２０８では選択されたページが表示部４０に表示される。
【００５２】
このプログラムはさらに、Ｓ２１４で開始ボタン６２が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４を起動するＳ２１６と、Ｓ２１６に続いて実行され、カメラ４４が撮影する画像データを一時記憶する画像バッファの内容を消去するＳ２１８と、Ｓ２１８に続いて実行され、マイクロフォン４２が演奏者の演奏する音を検出したか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２２０と、Ｓ２２０で演奏する音を検出した（ＹＥＳ）と判定された場合に実行され、カメラ４４が撮影する画像データを画像バッファにバッファリングするＳ２２２と、Ｓ２２２に続いて実行され、マイクロフォン４２が演奏者の演奏する音を検出したか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２２４と、Ｓ２２４で演奏する音を検出していない（ＮＯ）と判定された場合に実行され、カメラ４４が撮影する画像データのバッファリングを終了するＳ２２６とを含む。Ｓ２２０において、演奏する音が検出されていない（ＮＯ）と判定された場合、制御はＳ２２０に戻り、演奏音が検出されるのを待つ。Ｓ２２４で演奏音が検出されている（ＹＥＳ）と判定された場合、制御はＳ２２２に戻る。
【００５３】
このプログラムはさらに、Ｓ２２６に続いて実行され、演奏が終了したフレーズをフレーズデータとして登録するという操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２２８と、操作を受けた（ＹＥＳ）と判定された場合に実行され、カメラ４４を用いて取込んだ画像データから、現在表示しているページを切替えるフレーズデータを作成し登録するＳ２３０と、Ｓ２３０実行後、又はＳ２２８で操作を受けていない（ＮＯ）と判定された場合に実行され、表示部４０にフレーズデータを終了するか否かの選択画面を表示し、フレーズデータの登録終了が選択されたか否かに応じて制御の流れを分岐させるＳ２３２と、Ｓ２３２で登録終了が選択された（ＹＥＳ）と判定された場合に実行され、カメラ４４の動作を停止するＳ２３４と、Ｓ２３４に続いて実行され、表示部４０に別ページのフレーズデータを登録するか否かの選択画面を表示し、別ページの登録が選択されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ２３６と、Ｓ２３６で別ページの登録が選択されていない（ＮＯ）と判定された場合に実行され、フレーズ登録モードを終了するか否かの選択画面を表示し、モード終了が選択されたか否かに応じて制御の流れを分岐させるＳ２３８とを含む。Ｓ２３２で登録終了が選択されていない（ＮＯ）と判定された場合、すなわちフレーズデータの登録を継続すると選択された場合は、制御はＳ２１８に戻る。Ｓ２３６で、別ページの登録が選択された（ＹＥＳ）と判定された場合には、制御はＳ２０８に戻る。Ｓ２３８で、フレーズ登録モードの終了が選択されていない（ＮＯ）と判定された場合は、制御はＳ２０２に戻る。Ｓ２３８でフレーズ登録モードの終了が選択された（ＹＥＳ）と判定された場合には、このプログラムを終了する。
【００５４】
Ｓ２３０におけるフレーズデータの登録に関して、本実施の形態におけるフレーズデータは、バッファリングした演奏画像データの中から直前の画像に対して変化のあった画像を特徴画像として抽出し、抽出した特徴画像データと、特徴画像間の時間間隔とを記憶したものである。図３のプログラムにおいては、Ｓ２１４で登録開始が選択され、演奏音が検出されてから演奏音の検出がされなくなるまでの間に、カメラ４４によって撮影されバッファリングされた演奏画像データの中から特徴画像が抽出される。そして、抽出された特徴画像と、それら特徴画像間の時間間隔情報とをまとめて、楽譜の表示ページに対するフレーズデータとして登録する。
【００５５】
この楽譜表示装置において、フレーズ登録モードと演奏モードとは、異なる場所（例えば、練習室とステージなど）で利用されることが考えられる。そのため、特徴画像においては、撮影した画像から背景を除いた演奏者のみの画像を抽出する必要がある。演奏者の画像抽出の方法としては、例えば、以下のような方法がある。まず、撮影される演奏画像をマトリクス状に配列されるブロックに分割し、各ブロックをフレーム間の動きの大きいブロックと小さいブロックとに分類する。フレーム間で動きの小さいブロックは、背景部分と考えることができるので、動きの大きいブロック群を演奏者の画像として抽出する。抽出された画像を前後の画像と比較して特徴画像を決定する。演奏者の服装の違いなども考えられるため、後述するフレーズデータの照合は色情報を考慮せずに行なうこととする。
【００５６】
Ｓ２３０ではフレーズ演奏後の待機時間を設定することが可能である。待機時間を設定する例として、例えば、表示するページ最後の部分に演奏者にとってページ変更に適切なフレーズがない場合、少し手前のフレーズをフレーズデータとして登録し、同時に待機時間を設定する。フレーズデータ演奏後、設定した待機時間が経過した後にページ表示を変更する。その結果、演奏の進行に合った譜めくり動作を行なうことができる。待機時間の設定は任意である。待機時間の設定がされない場合はデフォルト値（例えば０秒）が適用される。待機時間に関する情報は、上記のフレーズデータの中に含まれるものとする。
【００５７】
図４を参照して、３ページで構成される楽譜データの、１ページ目及び２ページ目のフレーズデータについて説明する。
【００５８】
表示部４０に表示するページ番号を表す変数をｎとする。ｎページ目のフレーズデータは、フレーズデータに含まれる特徴画像数Ｍｎと、ｍ枚目（ｍ＝１〜Ｍｎ）の特徴画像データＰｎ［ｍ］と、ｍ枚目の特徴画像から次（ｍ＋１枚目）の特徴画像が現れるまでの時間間隔Ｔｎ［ｍ］とを用いて図４のように表すことができる。
【００５９】
図４（Ａ）は、楽譜データの１ページ目（ｎ＝１）のフレーズデータの構成例を表す図である。この例では、１ページ目のフレーズデータは、３枚の特徴画像を含む（Ｍ１＝３）。図４（Ｂ）は、楽譜データの２ページ目（ｎ＝２）のフレーズデータの構成例を表す図である。２ページ目のフレーズデータは４枚の特徴画像を含む（Ｍ２＝４）。
【００６０】
フレーズデータにおける特徴画像は、バッファリングされた一連の画像データにおいて、連続する画像データの関係から抽出されるものである。そのため、各ページにおける特徴画像数Ｍｎ、特徴画像Ｐｎ［ｍ］、及び特徴画像間の時間間隔Ｔｎ［ｍ］（ｍ＝１〜Ｍｎ）は、ページによって異なる。
【００６１】
図４（Ａ）を参照すると、１枚目の特徴画像Ｐ１［１］を記録し、時間間隔Ｔ１［１］経過後に２枚目の特徴画像Ｐ１［２］を検出し記憶する。特徴画像Ｐ１［２］を記録後、時間間隔Ｔ１［２］経過後に最後の特徴画像となるＰ１［３］を検出し記憶する。また、Ｔ１［３］は、フレーズデータを演奏後、ページ変更動作を行なうまでの待機時間を表す。この待機時間は、図３に示すプログラムのＳ２３０で利用者によって設定される。利用者により待機時間が設定されなかった場合は、デフォルト値が設定される。
【００６２】
図４（Ｂ）も図４（Ａ）と同様である。ただし、図４（Ｂ）においては特徴画像数Ｍ２＝４であるので、Ｔ２［４］が待機時間を表す。
【００６３】
図４では、説明のために時系列に合わせて特徴画像と時間間隔との関係を表した。実際のフレーズデータは、ページを表す変数ｎに関して、特徴画像数Ｍｎ、時間間隔Ｔｎ［ｍ］（ｍ＝１〜Ｍｎ）の値、及び特徴画像Ｐｎ［ｍ］（ｍ＝１〜Ｍｎ）の画像データが記憶される。
【００６４】
図５を参照して、楽譜表示装置３０において、演奏モードが選択されたときに実行されるこのプログラムは、記憶部４８に記憶されている楽譜データ名を表示部４０にリスト表示するＳ４０２と、Ｓ４０２に続いて実行され、表示する楽譜データの選択操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ４０４と、Ｓ４０４で選択操作を受けた（ＹＥＳ）と判定された場合に実行され、選択された楽譜データの情報を楽譜データ記憶部５２から、選択された楽譜データに関するフレーズデータをフレーズデータ記憶部５４からそれぞれ読出すＳ４０６と、Ｓ４０６に続いて実行され、選択された楽譜データのページ画像データを表示部４０に表示するＳ４０８とを含む。
【００６５】
Ｓ４０６では、楽譜データの情報として、選択された楽譜データの画像データと、楽譜データのページ情報とが読出される。Ｓ４０８では、画像データを表示するとともに、表示する画像データのページ情報を記憶する。Ｓ４０６に続いてＳ４０８が実行される場合は、楽譜データの１ページ目を表示し、表示ページ情報として１を記憶する。
【００６６】
このプログラムはさらに、Ｓ４０８に続いて実行され、利用者により表示ページの変更操作があったか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ４１０と、Ｓ４１０で変更操作があった（ＹＥＳ）と判定された場合に実行され、表示するページ情報を設定し、制御をＳ４０８に進めるＳ４１２と、Ｓ４１０で変更操作がなかった（ＮＯ）と判定された場合に実行され、開始ボタン６２が押されたか否かに応じて制御の流れを分岐させるＳ４１４とを含む。Ｓ４１４で開始ボタン６２が押されていない（ＮＯ）場合は、制御はＳ４１０に戻る。
【００６７】
Ｓ４１０では、選択ボタン６６が押されると表示ページの変更操作があったと判定される。Ｓ４１２では、選択されたページのページ情報を記憶し、Ｓ４０８では選択されたページが表示部４０に表示される。
【００６８】
このプログラムはさらに、Ｓ４１４で開始ボタン６２が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４を起動するＳ４１６と、Ｓ４１６に続いて実行され、カメラ４４が撮影する画像データを一時記憶する画像バッファの内容を消去するＳ４１８と、Ｓ４１８に続いて実行され、終了ボタン６０が押されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ４２０と、Ｓ４２０で終了ボタン６０が押されていない（ＮＯ）と判定されたときに実行され、カメラ４４が撮影する演奏画像データのバッファリング処理を行なうＳ４２２と、Ｓ４２２に続いて実行され、Ｓ４２２でバッファリングされた演奏画像データと、登録されたフレーズデータとの照合処理を行なうＳ４２４と、Ｓ４２４に続いて実行され、Ｓ４２４におけるフレーズデータ照合処理において演奏画像データと登録されたフレーズデータとが一致したか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ４２６と、Ｓ４２６で一致した（ＹＥＳ）と判定されたときに実行され、該当するフレーズデータに設定された時間だけ表示画面をそのままで待機するＳ４２８と、Ｓ４２８に続いて実行され、表示部４０に表示される楽譜のページ画像データを次のページに変更し、制御をＳ４１８に進めるＳ４３０とを含む。Ｓ４２６で一致しない（ＮＯ）と判定されたとき、制御はＳ４２０に戻る。
【００６９】
Ｓ４２４のフレーズデータ照合処理が実行されると、演奏画像データとフレーズデータとが一致した、又は一致しない、のいずれかの照合結果が出力される。フレーズデータ照合処理の詳細については後述する。
【００７０】
このプログラムはさらに、Ｓ４２０で終了ボタン６０が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４の動作を停止するＳ４３２と、Ｓ４３２に続いて実行され、演奏モードを終了するか否かの選択画面を表示して、演奏モードの終了が選択されたか否かに応じて制御の流れを分岐させるＳ４３４とを含む。Ｓ４３４で、終了が選択されていない（ＮＯ）と判定された場合、制御はＳ４０２に進む。Ｓ４３４で終了が選択された（ＹＥＳ）と判定された場合、このプログラムは終了する。
【００７１】
フレーズデータの照合処理は、各ページのフレーズデータに登録されている特徴画像系列と、演奏モード実行時にバッファリングされる演奏画像データとを照合する。演奏画像データを照合し、特徴画像間の時間間隔に所定の誤差範囲ΔＴを考慮した時間間隔で、同じ順番で類似する画像データが現れたときに、フレーズデータが一致すると判定する。具体的には、バッファリングされた最新の演奏画像データと、表示中のページに関するフレーズデータの最終の特徴画像とを比較して類似しているかを判定する。類似している特徴画像があると判定された場合、そのフレーズデータ内の一つ前の特徴画像と類似した画像がバッファリングされた演奏画像データの中にあるかを判定する。類似している演奏画像データがあったとき、その演奏画像データがバッファリングされた時間と、最新の演奏画像データがバッファリングされた時間との差を測定する。その測定した時間差が特徴画像間の時間間隔に所定の誤差範囲ΔＴを考慮した時間間隔内に収まっている場合、そのフレーズデータの一部を演奏していると判定する。この照合判定処理をバッファリングされた画像を逆上って繰返していき、フレーズデータの最初の特徴画像まで一致したとき、演奏者が演奏したフレーズが予め登録されたフレーズデータと一致すると判定する。
【００７２】
図６を参照して、図５のＳ４２４において実行されるプログラムは、表示部４０に表示しているページ情報を取得するＳ５０２と、Ｓ５０２に続いて実行され、図５のＳ４２２でバッファリングしている最新の演奏画像データと、Ｓ５０２で取得したページ情報のページに関連付けられたフレーズデータの最終の特徴画像Ｐｎ［Ｍｎ］とを比較するＳ５０４と、Ｓ５０４に続いて実行され、最新の演奏画像データと最終の特徴画像Ｐｎ［Ｍｎ］とが類似しているか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ５０６と、Ｓ５０６で類似している（ＹＥＳ）と判定された場合に実行され、フレーズデータ中の特徴画像の順番を表す変数ｍにＭｎ−１の値を設定するＳ５０８とを含む。
【００７３】
このプログラムはさらに、Ｓ５０８に続いて実行され、バッファリングされた演奏画像データにおいて、演奏画像が類似しているか否かの判定処理で参照された演奏画像データの、直前の演奏画像データを取得するＳ５１０と、Ｓ５１０に続いて実行され、Ｓ５１０で取得した演奏画像データと特徴画像Ｐｎ［ｍ］とを比較するＳ５１２と、Ｓ５１２に続いて実行され、取得した演奏画像データと特徴画像Ｐｎ［ｍ］とが類似しているか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ５１４と、Ｓ５１４で類似していない（ＮＯ）と判定された場合に実行され、１つ前の類似判定処理において類似していると判定された時の演奏画像データがバッファリングされた時間と、Ｓ５１０で取得した演奏画像データがバッファリングされた時間との時間間隔がＴｎ［ｍ］＋ΔＴの値を超えたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ５２４と、Ｓ５１４で類似している（ＹＥＳ）と判定された場合に実行され、Ｓ５１４の類似判定処理において類似していると判定された演奏画像データがバッファリングされた時間と、その類似判定処理の１つ前に類似していると判定された時の演奏画像データがバッファリングされた時間との時間間隔がＴｎ［ｍ］―ΔＴより小さい値であるか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ５１６とを含む。
【００７４】
Ｓ５０６及びＳ５１４における、演奏画像データと特徴画像Ｐｎ［ｍ］（ｍ＝１〜Ｍｎ）とが類似しているかの判定方法については、様々な方法がある。例えば、画像データから演奏者のシルエットを作成し、シルエットを値１、背景を値０とした２値画像を作成する。この２値画像から抽出するシルエットの輪郭などを特徴データと呼ぶことにする。カメラが撮影する演奏画像データの特徴データと、フレーズデータとして記憶した特徴画像データから作成する特徴データとを照合することで、２つの画像が類似しているかを判定することができる。
【００７５】
画像データからシルエットを作成する方法としては以下のような例が挙げられる。例えば、白い壁の前を人物が歩行する場合などのように、背景の濃度が人物の各部の濃度に比べて明るい場合を想定する。まず、撮影する演奏画像データの濃度のヒストグラムを作成する。すると、人物の濃度分布と背景の濃度分布との２峰性の分布が得られる。その分布から人物と背景との境界となる濃度値ａを設定し、演奏画像データの原画像の画素の濃度値がａよりも暗い点をシルエット（値１）、明るい点を背景（値０）とする。このようにして画像の画素の濃度値に対して値を割当て、シルエット画像を作成する。
【００７６】
また、２値画像から特徴データを抽出し、照合する部分については、一般的な文字認識装置における技術を用いることができる。具体的には、入力画像から２値画像を作成して文字画像の特徴抽出を行ない、辞書に登録されている特徴データとの照合を行ない、類似度を計算するという手法が用いられる。画像の類似判定においても、シルエットの部分を文字として考えれば同様に行なうことができる。
【００７７】
ここでは、類似しているかの判定方法としてシルエットを用いた判定方法を挙げたが、この方法を用いる場合には、フレーズデータとして、特徴画像そのものを記憶するのではなく、その特徴データを記憶しておけばよい。
【００７８】
ただし、類似しているかの判定方法については様々な方法があるため、ここで例示した方法に限るわけではない。
【００７９】
このプログラムはさらに、Ｓ５２４で時間間隔がＴｎ［ｍ］＋ΔＴの値を超えた（ＹＥＳ）と判定された場合に実行され、フレーズデータは現在演奏中のフレーズと一致しないと判定し、制御を図５のＳ４２６に進めるＳ５２６と、Ｓ５１６で時間間隔がＴｎ［ｍ］―ΔＴより小さい値ではない（ＮＯ）と判定された場合に実行され、変数ｍにｍ−１の値を設定するＳ５１８と、Ｓ５１８に続いて実行され、変数ｍがｍ＝０を満たすか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ５２０と、Ｓ５２０でｍ＝０を満たす（ＹＥＳ）と判定された場合に実行され、フレーズが一致したと判定し、制御を図５のＳ４２６に進めるＳ５２２とを含む。Ｓ５０６で類似していない（ＮＯ）と判定された場合、制御はＳ５２６に進む。Ｓ５１６で時間間隔がＴｎ［ｍ］―ΔＴより小さい値である（ＹＥＳ）と判定された場合、制御はＳ５２６に進む。Ｓ５２４で時間間隔がＴｎ［ｍ］＋ΔＴの値を超えていない（ＮＯ）と判定された場合、又はＳ５２０でｍ＝０を満たさない（ＮＯ）と判定された場合、制御はＳ５１０に進む。
【００８０】
―動作―
第１の実施の形態に係る楽譜表示装置３０は、以下のように動作する。
【００８１】
＜フレーズ登録モード＞
フレーズデータを登録する前に、楽譜表示装置３０に楽譜の画像データを登録する。楽譜の画像データは、外部記憶媒体に記憶された画像データを外部メモリインターフェイス４６を介して記憶部４８に記憶させるか、又は、カメラ４４を用いて楽譜を読取り、読取った画像データを記憶部４８に記憶させる。記憶した画像データ群には、楽譜のタイトルを付して登録する。
【００８２】
楽譜表示装置３０は、フレーズ登録モードが選択されると、記憶部４８に記憶されている楽譜データのタイトルをリスト表示する（Ｓ２０２）。このリストからフレーズデータを登録する楽譜タイトルの選択を受けると（Ｓ２０４）、楽譜データを読出し、表示部４０に選択された楽譜データの１ページ目を表示する（Ｓ２０６、Ｓ２０８）。フレーズ登録モードでは、表示部４０に表示されるページをめくる際のフレーズデータを登録する。そのため、利用者から表示ページ変更の操作を受けた場合（Ｓ２１０でＹＥＳ）は、楽譜表示装置３０は、表示するページのページ情報を変更し（Ｓ２１２）、表示するページを変更する。
【００８３】
表示部４０にフレーズデータを登録するページが表示されている時に開始ボタン６２が押される（Ｓ２１４でＹＥＳ）と、楽譜表示装置３０は、カメラ４４を起動し（Ｓ２１６）、画像バッファをクリアする（Ｓ２１８）。その後、利用者がフレーズデータとして登録する部分の演奏を行ない、マイクロフォン４２が演奏音を検出したことに応答して画像データのバッファリングを開始する（Ｓ２２０でＹＥＳ、Ｓ２２２）。利用者が演奏を止めて演奏音が検出されなくなるとバッファリングを終了する（Ｓ２２４でＮＯ、Ｓ２２６）。
【００８４】
フレーズを演奏後、演奏したフレーズをフレーズデータとして登録するという操作を受けた場合（Ｓ２２８でＹＥＳ）、現在表示しているページに関するフレーズデータを、カメラ４４を用いて取込んだ画像データから作成して登録する（Ｓ２３０）。この時作成されるフレーズデータには、バッファリングされた演奏画像データの中から抽出された特徴画像群、特徴画像間の時間間隔情報、及び利用者が設定する待機時間が含まれる。
【００８５】
表示するページに対してのフレーズデータの登録終了を選択すると（Ｓ２３２でＹＥＳ）、カメラ４４が停止し（Ｓ２３４）、楽譜データの別ページのフレーズデータを登録するかを選択する（Ｓ２３６）。別ページのフレーズデータを登録する場合は、フレーズデータを登録するページを表示させ、開始ボタン６２を押してフレーズデータの登録を行なう。ページめくりに必要な分のフレーズデータの登録が終わったら、利用者はモードの終了を選択し（Ｓ２３８でＹＥＳ）、フレーズ登録モードを終了する。
【００８６】
＜演奏モード＞
楽譜表示装置３０は、演奏モードが選択されると、記憶部４８に記憶されている楽譜データのタイトルをリスト表示する（Ｓ４０２）。このリストから楽譜データの選択を受けると（Ｓ４０４でＹＥＳ）、選択された楽譜データと、楽譜データに関連付けて登録されたフレーズデータとを記憶部４８から読出し、選択された楽譜データの１ページ目を表示部４０に表示する（Ｓ４０６、Ｓ４０８）。利用者からページ変更の操作を受けた場合（Ｓ４１０でＹＥＳ）は、表示するページのページ情報を変更し（Ｓ４１２）、表示部４０に表示するページを変更する。
【００８７】
楽譜表示装置３０は、開始ボタン６２が押されると（Ｓ４１４でＹＥＳ）、カメラ４４を起動し（Ｓ４１６）、画像バッファをクリアする（Ｓ４１８）。その後、楽譜表示装置３０は、終了ボタン６０が押されるまで、カメラ４４が撮影する演奏画像データのバッファリングを行ない（Ｓ４２２）、バッファリングされた演奏画像データと表示する楽譜のページに登録されたフレーズデータとの照合処理を行ない（Ｓ４２４）、フレーズが一致したかの判定を行なう（Ｓ４２６）ことを繰返す。
【００８８】
フレーズデータの照合処理は、表示しているページ情報を取得し（Ｓ５０２）、バッファリングされる最新の演奏画像データと表示しているページのフレーズデータの最終の特徴画像Ｐｎ［Ｍｎ］とを比較し、両画像が類似しているかを判定する（Ｓ５０４、Ｓ５０６）。類似していると判定された場合（Ｓ５０６でＹＥＳ）、フレーズデータ中の特徴画像の順番を表す変数ｍにＭｎ−１を設定し（Ｓ５０８）、バッファから類似しているかの判定処理で参照された演奏画像データの、直前の演奏画像データを取得して（Ｓ５１０）、取得した演奏画像データと特徴画像Ｐｎ［ｍ］とを比較する（Ｓ５１２）。画像を比較した結果、両画像が類似していないと判定された場合（Ｓ５１４でＮＯ）、前回類似していると判定された演奏画像データがバッファリングされた時間と、取得した画像がバッファリングされた時間との時間間隔がＴｎ［ｍ］＋ΔＴを超えたか否かを判定する（Ｓ５２４）。時間間隔Ｔｎ［ｍ］＋ΔＴを超えていない（Ｓ５２４でＮＯ）と判定された場合は、参照された演奏画像データのさらに１つ前の演奏画像データをバッファから取得して、再度特徴画像Ｐｎ［ｍ］との比較を行なう。時間間隔Ｔｎ［ｍ］＋ΔＴを超えたと判定された場合は、フレーズは一致しないと判定し（Ｓ５２６）、制御をＳ４２４に進める。
【００８９】
画像を比較した結果、両画像が類似していると判定された場合（Ｓ５１４でＹＥＳ）、前回類似していると判定された演奏画像データがバッファリングされた時間と、取得した画像がバッファリングされた時間との時間間隔がＴｎ［ｍ］−ΔＴより小さいか否かを判定する（Ｓ５１６）。時間間隔がＴｎ［ｍ］−ΔＴより小さいと判定された場合（Ｓ５１６でＹＥＳ）は、フレーズは一致しないと判定し、制御をＳ４２４に進める。時間間隔がＴｎ［ｍ］−ΔＴより小さくないと判定された場合（Ｓ５１６でＮＯ）は、変数ｍにｍ−１の値を設定し（Ｓ５１８）、変数ｍがｍ＝０を満たすか否かを判定する（Ｓ５２０）。ｍ＝０を満たさないと判定された場合、特徴画像Ｐｎ［ｍ］とバッファリングされた演奏画像データとを比較して、両画像が類似しているかを判定するために上記の処理を繰返す。また、ｍ＝０を満たすと判定された場合、すなわち、演奏画像データが、登録されたフレーズデータに含まれる特徴画像の順番と時間間隔とに合わせて現れた時、フレーズは一致したと判定し（Ｓ５２２）、制御をＳ４２４に進める。
【００９０】
フレーズ照合処理においてフレーズが一致していないと判定された場合、終了ボタン６０が押されるまで演奏画像データのバッファリングを行ないフレーズデータの照合処理を繰返す。フレーズ照合処理においてフレーズが一致したと判定された場合、フレーズデータに設定した時間分だけ表示ページをそのままにし（Ｓ４２８）、設定時間経過後、表示していたページの次のページを表示する（Ｓ４３０）。表示ページ変更後画像バッファを一旦クリアし、終了ボタン６０が押されるまで表示されているページに関してのフレーズデータ照合処理を繰返す。
【００９１】
以上のように、この楽譜表示装置３０においては、フレーズ登録モードにおいては、演奏者の演奏音を検出する間の演奏画像をバッファリングし、その中から特徴となる画像を抽出して、特徴画像と特徴画像間の時間間隔とをページめくりのためのフレーズデータとして記憶する。一方、実際に演奏を行なう時の演奏モードにおいては、演奏時における演奏者の動き（演奏画像データ）をカメラによって撮り続け、その画像が登録されたフレーズデータと一致するかを判定する。一致すると判定された場合はページ変更動作を行なう。新しく表示されたページでも、そのページに登録されたフレーズデータに関して、演奏者の動きが一致するかを判定する。
【００９２】
このように、フレーズ登録モードでは音を検出する間の演奏画像から特徴画像を抽出することから、演奏者がページめくりのフレーズを実際に演奏している時の画像を正確に得ることができる。一方、演奏モードにおいて登録されたフレーズデータと一致するかを判定する時は、バッファリングされた画像のみを参照し、登録されたフレーズデータの画像と同じ順番で現れるかによって判定する。ページめくり動作の判定が、演奏者の画像によって行なわれることから、同時に演奏する楽器の音による影響を受けることがない。その結果、同時に演奏する楽器及び人数によらず、演奏の際に特別な動作を行なわなくても、利用者の所望するタイミングに自動的にページ切替えが可能な楽譜表示装置を提供することができる。
【００９３】
表示部４０は、ＬＣＤに限定するものではない。有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）などの、薄型の表示デバイスであればよい。また、表示部４０に重畳するようにタッチパネルを設け、操作部３８として用いても良い。
【００９４】
［第２の実施の形態］
第２の実施の形態に係る楽譜表示装置では、表示するページに対して複数個のフレーズデータを登録することができる。そして、それぞれのフレーズデータの演奏回数によってフレーズ演奏後に表示するページを任意に設定することができる。第２の実施の形態に係る楽譜表示装置について、ハードウェア構成は第１の実施の形態の楽譜表示装置３０と同一であるが、ＣＰＵ３２で実行されるプログラムが異なる。
【００９５】
―構成―
以下、特定の楽譜を例に本実施の形態に係る楽譜表示装置の構成を説明する。
【００９６】
図７を参照して、楽譜データは３ページで構成され、１ページ目にはフレーズデータ１１（「Ｂ」と記す）を、２ページ目にはフレーズデータ２１（「Ｄ」と記す）及びフレーズデータ２２（「Ｅ」と記す）を、３ページ目にはフレーズデータ３１（「Ｇ」と記す）を含む。また楽譜の進行を説明するために、楽譜データの１ページ目最初からの部分をＡ、２ページ目最初からの部分をＣ、３ページ目最初からの部分をＦとする。
【００９７】
図７に示す楽譜データ例において、２ページ目のフレーズデータ２１はリピート箇所である。フレーズデータ２１は、１回目に現れた時には楽譜の最初（Ａ）に戻り、２回目に現れた時には戻らずにそのまま先に進む。フレーズデータ１１は演奏回数が３回目までは２ページ目を表示する。フレーズデータ２２は１回目に現れた時は３ページ目を表示し、２回目以降はページ変更を行なわない。フレーズデータ３１は、１回目に現れた時には楽譜の最初（Ａ）に戻る。
【００９８】
この楽譜データ例にしたがった時の進行順は、「Ａ→Ｂ→Ｃ→Ｄ→Ａ→Ｂ→Ｃ→Ｄ→Ｅ→Ｆ→Ｇ→Ａ→Ｂ→Ｃ→Ｄ→Ｅ」となる。また、この時のページの表示順は、「１→２→１→２→３→１→２」となる。
【００９９】
本実施の形態では、図８に示すような変更先テーブル２５０を用いる。図８を参照して、変更先テーブル２５０は、変更元ページと、フレーズデータと、それぞれのフレーズデータの演奏回数ごとの表示ページとを記録する。第２の実施の形態の楽譜表示装置では、変更先テーブル２５０にフレーズデータの演奏回数とそのときに表示するページとを予め設定する。変更先テーブル２５０に、演奏回数の設定がない場合は、そのフレーズが演奏されても表示するページを変更しない。図８の設定例では、２ページ目にあるフレーズデータ２１は、演奏回数が１回目の時には次に１ページを表示する。フレーズデータ２１が２回目に演奏されるときには、変更先テーブル２５０に設定がされていないため、ページ変更を行なわない。
【０１００】
また、同一のページに同じフレーズデータは登録しないものとする。ページに同じフレーズデータを用いる場合、例えば、図８において、フレーズデータ２１とフレーズデータ２２とで同じものを用いる場合は、１つのフレーズデータとして考え、演奏回数によりページの変更先を設定することで対処することができるからである。登録するフレーズデータが別のページにあるならば、同じフレーズデータを用いても問題ない。
【０１０１】
図９を参照して、Ｐはページ、Ｆはフレーズデータ、「／」以下の数字はフレーズの演奏回数を表す。１ページ目に含まれるフレーズデータ１１は、演奏回数１回から３回まではフレーズ演奏後に２ページ目を表示することを示す。２ページ目に含まれるフレーズデータ２１は、１回目のフレーズ演奏後に１ページ目を表示することを示す。２ページ目に含まれるフレーズデータ２２は、１回目のフレーズ演奏後に３ページ目を表示することを示す。３ページ目に含まれるフレーズデータ３１は、１回目のフレーズ演奏後に１ページ目を表示することを示す。
【０１０２】
第２の実施の形態における楽譜表示装置は、第１の実施の形態の楽譜表示装置３０と同様に演奏モードとフレーズ登録モードとの２つの動作モードを持つ。ただし、第２の実施の形態における楽譜表示装置のフレーズ登録モードでは、表示しているページに対して、異なるフレーズデータを登録することが可能である。第２の実施の形態の楽譜表示装置においてフレーズデータを登録する時は、フレーズの演奏回数によって次にどのページを表示するかの設定を行なう。
【０１０３】
図１０を参照して、第２の実施の形態における楽譜表示装置において、フレーズ登録モードが選択され、利用者から登録する楽譜データの選択を受けたときに実行されるプログラムの制御構造を説明する。このプログラムは、楽譜データ記憶部５２から選択された楽譜データの情報を読出すＳ６０２と、Ｓ６０２に続いて実行され、選択された楽譜データのページ画像データを表示部４０に表示するＳ６０４とを含む。
【０１０４】
Ｓ６０２では、選択された楽譜データの画像データと、楽譜データのページ情報とが読出される。Ｓ６０４では、画像データを表示するとともに、表示する画像データのページ情報を記憶する。Ｓ６０２に続いてＳ６０４が実行される場合は、楽譜データの１ページ目を表示し、表示ページ情報として１を記憶する。
【０１０５】
このプログラムはさらに、Ｓ６０４に続いて実行され、利用者により表示ページの変更操作があったか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６０６と、Ｓ６０６で変更操作があった（ＹＥＳ）と判定された場合に実行され、表示するページ情報を設定し、制御をＳ６０４に進めるＳ６０８と、Ｓ６０６で変更操作がなかった（ＮＯ）と判定された場合に実行され、開始ボタン６２が押されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６１０とを含む。Ｓ６１０で開始ボタン６２が押されていない（ＮＯ）と判定された場合は、制御はＳ６０６に戻る。
【０１０６】
Ｓ６０６では、選択ボタン６６が押されると表示ページの変更操作があったと判定される。Ｓ６０８では、選択されたページのページ情報を記憶し、Ｓ６０４では選択されたページが表示部４０に表示される。
【０１０７】
このプログラムはさらに、Ｓ６１０で開始ボタン６２が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４を起動するＳ６１２と、Ｓ６１２に続いて実行され、表示しているページに登録するフレーズデータの個数を表す変数ａに０を設定するＳ６１４と、Ｓ６１４に続いて実行され、画像バッファの内容を消去するＳ６１６と、Ｓ６１６に続いて実行され、マイクロフォン４２が演奏者の演奏する音を検出したか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６２２と、Ｓ６２２で演奏する音を検出した（ＹＥＳ）と判定された場合に実行され、カメラ４４が撮影する画像データをバッファリングするＳ６２０と、Ｓ６２０に続いて実行され、マイクロフォン４２が演奏者の演奏する音を検出したか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６２２と、Ｓ６２２で演奏する音を検出しない（ＮＯ）と判定された場合に実行され、カメラ４４が撮影する画像データのバッファリングを終了するＳ６２４とを含む。Ｓ６１８において、演奏する音が検出されていない（ＮＯ）と判定された場合、制御はＳ６１８に戻り、演奏音が検出されるのを待つ。Ｓ６２２で演奏音が検出されている（ＹＥＳ）と判定された場合、制御はＳ６２０に戻る。
【０１０８】
このプログラムはさらに、Ｓ６２４に続いて実行され、演奏したフレーズをフレーズデータとして登録するという操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６２６と、操作を受けた（ＹＥＳ）と判定された場合に実行され、変数ａにａ＋１の値を設定するＳ６２８と、Ｓ６２８に続いて実行され、カメラ４４を用いて取込んだ画像データからフレーズデータを作成し、現在表示しているページのａ番目のフレーズデータとして登録するＳ６３０と、Ｓ６３０に続いて実行され、Ｓ６３０で登録したフレーズデータに対して演奏者からフレーズデータ情報の設定を受けるＳ６３２と、Ｓ６３２実行後、又はＳ６２６で操作を受けていない（ＮＯ）と判定された場合に実行され、演奏者から別フレーズ登録の操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６３６と、Ｓ６３６で操作を受けていない（ＮＯ）と判定された場合に実行され、カメラ４４の動作を停止するＳ６３８と、Ｓ６３８に続いて実行され、演奏者から別ページのフレーズデータの登録操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ６４０とを含む。Ｓ６３６で操作を受けた（ＹＥＳ）と判定された場合は、制御はＳ６１６に進む。Ｓ６４０で別ページのフレーズデータの登録操作を受けた（ＹＥＳ）と判定された場合は、制御はＳ６０４に進む。Ｓ６４０で別ページのフレーズデータの登録操作を受けていない（ＮＯ）と判定された場合は、このプログラムを終了する。
【０１０９】
Ｓ６３０におけるフレーズデータの登録に関して、第２の実施の形態で用いるフレーズデータは、第１の実施の形態のフレーズデータと同じ構成を持つ。図１０のプログラムにおいては、Ｓ６１２で開始ボタン６２が押され、演奏音が検出されてから演奏音の検出がされなくなるまでの間に、カメラ４４によって撮影されバッファリングされた演奏画像データの中から特徴画像が抽出される。そして、抽出された特徴画像群、特徴画像間の時間間隔情報、及び特徴画像数を、楽譜の表示ページに対するａ番目のフレーズデータとして登録する。
【０１１０】
Ｓ６３２で設定されるフレーズデータ情報は、演奏後の待機時間、及び登録するフレーズデータの演奏回数に対応して表示する楽譜のページ情報などを含む。待機時間の設定がされない場合はデフォルト値（例えば０秒）が適用される。
【０１１１】
図１１を参照して、第２の実施の形態における楽譜表示装置において、演奏モードが選択されたときに実行されるプログラムの制御構造を説明する。このプログラムは、記憶部４８に記憶されている楽譜データ名を表示部４０にリスト表示するＳ７０２と、Ｓ７０２に続いて実行され、表示されたリストから楽譜データの選択操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ７０４と、Ｓ７０４で選択操作を受けた（ＹＥＳ）と判定された場合に実行され、選択された楽譜データの情報を楽譜データ記憶部５２からと、選択された楽譜データに関するフレーズデータをフレーズデータ記憶部５４からそれぞれ読出すＳ７０６と、Ｓ７０６に続いて実行され、選択された楽譜データのページ画像データを表示部４０に表示するＳ７０８とを含む。
【０１１２】
Ｓ７０６では、楽譜データの情報として、選択された楽譜データの画像データと、楽譜データのページ情報とが読出される。Ｓ７０８では、画像データを表示するとともに、表示する画像データのページ情報を同時に記憶する。Ｓ７０６に続いてＳ７０８が実行される場合は、楽譜データの１ページ目を表示し、表示ページ情報として１を記憶する。
【０１１３】
このプログラムはさらに、Ｓ７０８に続いて実行され、利用者による表示ページの変更操作を受けたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ７１０と、Ｓ７１０で変更操作を受けた（ＹＥＳ）と判定された場合に実行され、表示するページ情報を設定し、制御をＳ７０８に進めるＳ７１２と、Ｓ７１０で変更操作を受けなかった（ＮＯ）と判定された場合に実行され、開始ボタン６２が押されたか否かに応じて制御の流れを分岐させるＳ７１４とを含む。Ｓ７１４で開始ボタン６２が押されていない（ＮＯ）と判定された場合は、制御はＳ７１０に戻る。
【０１１４】
Ｓ７１０では、選択ボタン６６が押されると表示ページの変更操作を受けたと判定される。Ｓ７１２では、選択されたページのページ情報を記憶し、Ｓ７０８では、選択されたページが表示部４０に表示される。
【０１１５】
このプログラムはさらに、Ｓ７１４で開始ボタン６２が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４を起動するＳ７１６と、Ｓ７１６に続いて実行され、楽譜データに登録されたフレーズデータのカウント値にそれぞれ０を代入して初期化を行なうＳ７１８と、Ｓ７１８に続いて実行され、画像バッファの内容を消去するＳ７２０と、Ｓ７２０に続いて実行され、終了ボタン６０が押されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ７２２と、Ｓ７２２で終了ボタン６０が押されていない（ＮＯ）と判定されたときに実行され、カメラ４４が撮影する演奏画像データのバッファリングを行なうＳ７２４と、Ｓ７２４に続いて実行され、Ｓ７２４でバッファリングされた演奏画像データを用いてフレーズデータ照合処理を行なうＳ７２６と、Ｓ７２６に続いて実行され、Ｓ７２６におけるフレーズデータ照合処理において演奏画像データと登録されたフレーズデータとで一致するフレーズがあるか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ７２８と、Ｓ７２８で一致するフレーズデータがある（ＹＥＳ）と判定されたときに実行され、一致すると判定されたフレーズデータのカウント値に１を加えるＳ７３０と、Ｓ７３０に続いて実行され、変更先テーブル２５０を参照し、該当するフレーズデータに関してカウント数に対応するページ変更先が登録されているか否かに応じて制御の流れを分岐させるＳ７３２と、Ｓ７３２でページ変更先が登録されている（ＹＥＳ）と判定された場合に実行され、該当するフレーズデータに設定された時間だけ表示画面をそのままで待機するＳ７３４と、Ｓ７３４に続いて実行され、変更先テーブル２５０に登録されたページの画像データを表示し、制御をＳ７２０に進めるＳ７３６とを含む。Ｓ７２８で一致するフレーズがない（ＮＯ）と判定された場合、制御はＳ７２２に戻る。Ｓ７３２でカウント数に対応するページ変更先が登録されていない（ＮＯ）と判定された場合は、制御はＳ７２２に戻る。
【０１１６】
Ｓ７２６では、図６に示すフローチャートで示すプログラムを実行してフレーズデータ照合処理を行なう。図６を参照して、第２の実施の形態では、図６に示すプログラムのＳ５２２又はＳ５２６を実行後、制御は図１１のＳ７２８に戻る。また、Ｓ７２６のフレーズデータ照合処理は、表示部４０に表示されるページに登録されたすべてのフレーズデータに対して照合処理を行ない、一致するフレーズデータの有無及び一致するフレーズデータ名の検出を行なう。先述したように、１つのページには同じフレーズデータは存在しない。そのため、Ｓ７２６では図６に示すプログラムを用いての照合処理を該ページに登録されたフレーズデータ全てに対して同時に行なって、フレーズデータの照合及び一致するフレーズデータ名の検出を行なう。
【０１１７】
このプログラムはさらに、Ｓ７２２で終了ボタン６０が押された（ＹＥＳ）と判定された場合に実行され、カメラ４４の動作を停止するＳ７３８と、Ｓ７３８に続いて実行され、演奏モードを終了するか否かの選択画面を表示し、利用者から演奏モードの終了が選択されたか否かを判定し、判定結果に応じて制御の流れを分岐させるＳ７４０とを含む。Ｓ７４０で、終了が選択されていない（ＮＯ）と判定された場合、制御はＳ７０２に進む。Ｓ７４０で終了が選択された（ＹＥＳ）と判定された場合、このプログラムは終了する。
【０１１８】
―動作―
第２の実施の形態に係る楽譜表示装置は、以下のように動作する。
【０１１９】
＜フレーズ登録モード＞
フレーズデータを登録する前に、楽譜の画像データを登録する。楽譜の画像データの登録に関しては、第１の実施の形態の楽譜表示装置３０と同じであるため、説明を繰返さない。
【０１２０】
第２の実施の形態における楽譜表示装置は、フレーズ登録モードが選択され、フレーズデータを登録する楽譜タイトルの選択を受けると、楽譜データを読出し、表示部４０に選択された楽譜データの１ページ目を表示する（Ｓ６０２、Ｓ６０４）。また、利用者から表示ページ変更の操作を受けた場合（Ｓ６０６でＹＥＳ）は、表示するページのページ情報を変更し（Ｓ６０８）、表示部４０に表示するページを変更する。
【０１２１】
フレーズデータの登録を行なうときは、表示部４０に所望のページが表示されている時に開始ボタン６２を押す（Ｓ６１０でＹＥＳ）。すると、カメラ４４を起動し（Ｓ６１２）、表示するページに登録するフレーズデータの個数を表す変数ａに０の値を設定し（Ｓ６１４）、画像バッファをクリアする（Ｓ６１６）。
【０１２２】
その後、利用者はフレーズデータとして登録する部分の演奏を行なう。マイクロフォン４２で演奏音が検出され続けている間は画像データのバッファリングを行なう（Ｓ６１８でＹＥＳ、Ｓ６２０）。利用者が演奏を止めて演奏音が検出されなくなるとバッファリングを終了する（Ｓ６２２でＮＯ、Ｓ６２４）。
【０１２３】
フレーズを演奏後、利用者から演奏したフレーズをフレーズデータとして登録するという操作を受けた場合（Ｓ６２６でＹＥＳ）、変数ａに１を加え（Ｓ６２８）、表示するページのａ番目のフレーズデータとして、フレーズを演奏した画像データからフレーズデータを作成し、登録する（Ｓ６３０）。この時、作成されるフレーズデータには、バッファリングされた演奏画像データの中から抽出された特徴画像群、及び特徴画像間の時間間隔情報が含まれる。第２の実施の形態の楽譜表示装置はさらに、登録するフレーズデータに関する設定情報を利用者から受ける（Ｓ６３２）。フレーズデータに関する設定情報としては、演奏後の待機時間、及び登録するフレーズデータの演奏回数に対応して次に表示する楽譜のページ情報などがある。
【０１２４】
フレーズデータ登録後、又は演奏したフレーズデータをとり直すためにデータを登録しないと利用者が選択した場合（Ｓ６２６でＮＯ）、別のフレーズデータを登録するか否かを選択する。別のフレーズデータを登録する（Ｓ６３６でＹＥＳ）場合、画像バッファをクリアして、上記の動作を繰返す。
【０１２５】
別のフレーズデータを登録しない（Ｓ６３６でＮＯ）と選択された場合、カメラ４４を停止し（Ｓ６３８）、別のページのフレーズデータを登録するかを選択する（Ｓ６４０）。別ページのフレーズデータを登録する場合は、フレーズデータを登録するページを表示させ、開始ボタン６２を押してフレーズデータの登録を行なう。フレーズデータの登録が終わり、他のページの登録を行なわない場合は（Ｓ６４０でＮＯ）、フレーズ登録モードを終了する。
【０１２６】
＜演奏モード＞
第２の実施の形態における楽譜表示装置は、演奏モードが選択されると、記憶部４８に記憶されている楽譜データのタイトルをリスト表示する（Ｓ７０２）。このリストから楽譜データの選択を受けると（Ｓ７０４でＹＥＳ）、選択された楽譜データと、楽譜データに関連付けて登録されたフレーズデータとを記憶部４８から読出し、選択された楽譜データの１ページ目を表示部４０に表示する（Ｓ７０６、Ｓ７０８）。利用者からページ変更の操作を受けた場合（Ｓ７１０でＹＥＳ）は、表示するページのページ情報を変更し（Ｓ７１２）、表示部４０に表示するページを変更する。
【０１２７】
第２の実施の形態における楽譜表示装置は、開始ボタン６２が押されると（Ｓ７１４でＹＥＳ）、カメラ４４を起動する（Ｓ７１６）。第２の実施の形態の楽譜表示装置は、楽譜データに登録されたフレーズデータのそれぞれの演奏回数カウント値に０を代入して初期化を行ない（Ｓ７１８）、画像バッファをクリアする（Ｓ７２０）。その後、第２の実施の形態の楽譜表示装置は、終了ボタン６０が押されるまで、カメラ４４が撮影する演奏画像データのバッファリングを行ない（Ｓ７２４）、バッファリングされた演奏画像データと表示するページに関連付けて登録された全てのフレーズデータとの照合処理を行ない（Ｓ７２６）、一致するフレーズがあるか否かの判定を行なう（Ｓ７２８）。
【０１２８】
フレーズ照合処理の結果、一致するフレーズがないと判定された場合は、終了ボタンが押されるまで演奏画像データのバッファリングを続け、フレーズ照合処理を繰返す。フレーズ照合処理により一致するフレーズがあると判定された場合、一致すると判定されたフレーズデータの演奏回数カウント値に１を加え（Ｓ７３０）、変更先テーブル２５０を参照し、一致すると判定されたフレーズデータの演奏回数に対してページの変更先が登録されているかを判定する（Ｓ７３２）。変更先テーブル２５０に、変更先が登録されていない場合は表示ページの変更を行なわず、演奏画像データのバッファリングを続けフレーズデータ照合処理を繰返す。
【０１２９】
変更先テーブル２５０に変更先が登録されている場合は、フレーズが一致すると判定されたときからそのフレーズデータに設定された時間分だけ待機し（Ｓ７３４）、登録されたページを表示する（Ｓ７３６）。登録されたページに表示変更後、画像バッファをクリアする。その後、表示されたページに登録されたフレーズデータと、あらたにバッファリングされる演奏画像データとでフレーズ照合処理を繰返す。
【０１３０】
演奏モードでは、終了ボタン６０が押されるまで演奏画像データのバッファリングを行ないフレーズデータの照合処理を繰返す。終了ボタン６０が押されるとカメラ４４の動作を停止する（Ｓ７３８）。その後、演奏モードの終了が選択されると（Ｓ７３８）、演奏モードを終了する。
【０１３１】
以上のように、第２の実施の形態に係る楽譜表示装置は、フレーズ登録モードにおいて、１つのページに対しフレーズデータに１又は複数個のフレーズデータを登録する。そのフレーズデータそれぞれに対して、フレーズデータの演奏回数ごとに次に表示するページを設定する。演奏モードにおいては、フレーズデータの演奏回数をカウントし、フレーズデータに対して設定された演奏回数ごとの表示設定にしたがって表示するページを変更する。
【０１３２】
このように１つのページに対して１又は複数個のフレーズデータを登録し、演奏回数に応じて次に表示するページを変更させることで、リピート（繰返し）記号がついている楽譜に対しても、演奏順に沿ってページを表示することができる。その結果、利用者の所望するタイミングで自動的にページ切替えが可能で、かつ演奏順に沿った譜面の表示が可能な楽譜表示装置を実現することができる。
【０１３３】
また、図７〜図９に示した楽譜において、演奏順にしたがって楽譜を表示させると「１→２→１→２→３→１→２」とページ遷移する。このような楽譜例の場合、同じページが複数存在すると考えて７ページ構成の楽譜として考えることもできる。７ページ構成の楽譜として考えた場合、それぞれのページに対してフレーズデータを設定する必要がある。図７〜図９に示されるような順序で楽譜を表示する場合、６つのフレーズデータを登録する必要がある。第２の実施の形態のように、フレーズデータの演奏回数によって表示するページを変更させると、上記の例においては、４つのフレーズデータとそれぞれのフレーズデータ毎の変更先の登録とでページの表示を実現することができる。フレーズデータは、特徴画像群と時間間隔情報とで構成されるため、フレーズデータ１つあたりで使用される情報量は大きい。第２の実施の形態のように、演奏回数で表示画像を変更させることで、少ないフレーズデータの登録個数で複雑な表示順序に対応することができる。その結果、より少ない情報量で楽譜の表示順を設定可能な楽譜表示装置を実現することができる。
【０１３４】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【符号の説明】
【０１３５】
３０ 楽譜表示装置
３２ ＣＰＵ
４０ 表示部
４２ マイクロフォン
４４ カメラ
４８ 記憶部
５２ 楽譜データ記憶部
５４ フレーズデータ記憶部
６０ 終了ボタン
６２ 開始ボタン
６６ 選択ボタン
２５０ 変更先テーブル
【特許請求の範囲】
【請求項１】
表示装置と、
楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の順番とともに記憶するための記憶手段と、
被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段と、
演奏者があるフレーズを演奏した時の前記演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、
指定された楽譜名に対応する楽譜の一連のページ画像を前記記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を前記表示装置に表示するための楽譜表示手段と、
前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値を、それぞれとる判定信号を出力するためのフレーズ判定手段と、
前記判定信号が前記第１の値となったことに応答して、前記表示装置に表示されているページ画像の次の順番のページ画像を前記表示装置に表示するためのページ変更手段とを含む、楽譜表示装置。
【請求項２】
第１及び第２の動作モードのいずれかを指定するための動作モード指定手段をさらに含み、
前記フレーズデータ記憶手段は、前記動作モード指定手段により前記第１の動作モードが指定されているときに、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴を、指定された楽譜名と、当該楽譜名に対応するページ画像のうちの指定されたページ画像と関連付けて前記フレーズデータとして記憶するための手段を含み、
前記フレーズ判定手段は、前記動作モード指定手段により前記第２の動作モードが指定されており、かつ、前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するか否かを判定して前記判定信号を出力するための判定手段を含む、請求項１に記載の楽譜表示装置。
【請求項３】
音声を検出するための音声検出手段をさらに含み、
前記画像取込手段は、前記音声検出手段が音声を検出していることに応答して、被写体の撮像を開始し、当該被写体の一連の画像データをリアルタイムで出力するための手段を含む、請求項１又は請求項２に記載の楽譜表示装置。
【請求項４】
計時開始時から所定の時間が経過すると時間満了信号を出力するための計時手段をさらに含み、
前記ページ変更手段は、
前記判定信号が前記第１の値となったことに応答して、前記計時手段に計時を開始させるための手段と、
前記計時手段からの前記時間満了信号に応答して、前記次の順番のページ画像を前記表示装置に表示するための手段とを含む、請求項１〜請求項３のいずれかに記載の楽譜表示装置。
【請求項５】
前記フレーズデータ記憶手段は、演奏者があるフレーズを演奏した時の前記演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と、もしあれば当該ページ画像の次に表示すべきページ画像を特定する次ページ特定情報と関連付けてフレーズデータとして記憶するための手段を含み、
前記フレーズ判定手段は、
前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータのいずれかと一致するか否かを判定して前記判定信号を出力するための判定手段と、
前記判定手段により前記演奏者の動きの特徴と一致すると判定されたフレーズデータを特定する情報を出力するための手段とを含み、
前記ページ変更手段は、前記判定信号が前記第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータに対する次ページ画像特定情報により特定されるページ画像を前記表示装置に表示するための手段を含む、請求項１に記載の楽譜表示装置。
【請求項６】
前記ページ変更手段はさらに、前記判定信号が前記第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータに対する次ページ画像特定情報がないときに、前記表示装置に表示されているページ画像について、前記ページ画像の順番により特定されるページ画像を前記表示装置に表示するための手段を含む、請求項５に記載の楽譜表示装置。
【請求項７】
前記楽譜の各ページ画像に関連付けられて記憶されるフレーズデータの各々について、当該フレーズデータに対応するページ画像の表示中に、前記出力するための手段により当該フレーズデータを特定する情報が出力された回数をカウントするためのカウント手段をさらに含み、
前記記憶するための手段はさらに、前記表示装置に表示されているページ画像と関連付けられているフレーズデータの各々について、前記カウント手段によりカウントされた回数と、次に表示すべきページ画像を特定する情報との組をさらに記憶し、
前記表示するための手段は、前記判定信号が前記第１の値となったことに応答して、前記出力するための手段により出力された情報により特定されるフレーズデータの、前記カウント手段によりカウントされた回数と組合されている情報により特定されるページ画像を前記表示装置に表示するための手段を含む、請求項５又は請求項６に記載の楽譜表示装置。
【請求項８】
表示装置と、
楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の表示順とともに記憶するための記憶手段と、
被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段と、
演奏者があるフレーズを演奏した時の前記演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、
指定された楽譜名に対応する楽譜の一連のページ画像を前記記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を前記表示装置に表示するための楽譜表示手段と、
前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示している楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値を、それぞれとる判定信号を出力するためのフレーズ判定手段と、
前記判定信号が前記第１の値となったことに応答して、前記表示装置に表示されているページ画像の次の順番のページ画像を前記表示装置に表示するためのページ変更手段とを含む、楽譜表示装置における楽譜表示方法であって、
前記楽譜表示手段が、指定された楽譜名に対応する楽譜の一連のページ画像を前記記憶手段から読出し、読出されたページ画像のうち、所定のページ画像を前記表示装置に表示するステップと、
前記フレーズ判定手段が、前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値を、それぞれとる判定信号を出力するステップと、
前記ページ変更手段が、前記判定信号が前記第１の値となったことに応答して、前記表示装置に表示されているページ画像の次の順番のページ画像を前記表示装置に表示するステップとを含む、楽譜表示方法。
【請求項９】
表示装置と、
被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段と、が接続されるコンピュータにより実行されると、当該コンピュータを、
楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の順番とともに記憶するための記憶手段と、
演奏者があるフレーズを演奏した時の前記演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、
指定された楽譜名に対応する楽譜の一連のページ画像を前記記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を前記表示装置に表示するための楽譜表示手段と、
前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値を、それぞれとる判定信号を出力するためのフレーズ判定手段と、
前記判定信号が前記第１の値となったことに応答して、前記表示装置に表示されているページ画像の次の順番のページ画像を前記表示装置に表示するためのページ変更手段として機能させる、コンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを記録した、コンピュータで読取可能な記録媒体。
【請求項１】
表示装置と、
楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の順番とともに記憶するための記憶手段と、
被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段と、
演奏者があるフレーズを演奏した時の前記演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、
指定された楽譜名に対応する楽譜の一連のページ画像を前記記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を前記表示装置に表示するための楽譜表示手段と、
前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値を、それぞれとる判定信号を出力するためのフレーズ判定手段と、
前記判定信号が前記第１の値となったことに応答して、前記表示装置に表示されているページ画像の次の順番のページ画像を前記表示装置に表示するためのページ変更手段とを含む、楽譜表示装置。
【請求項２】
第１及び第２の動作モードのいずれかを指定するための動作モード指定手段をさらに含み、
前記フレーズデータ記憶手段は、前記動作モード指定手段により前記第１の動作モードが指定されているときに、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴を、指定された楽譜名と、当該楽譜名に対応するページ画像のうちの指定されたページ画像と関連付けて前記フレーズデータとして記憶するための手段を含み、
前記フレーズ判定手段は、前記動作モード指定手段により前記第２の動作モードが指定されており、かつ、前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するか否かを判定して前記判定信号を出力するための判定手段を含む、請求項１に記載の楽譜表示装置。
【請求項３】
音声を検出するための音声検出手段をさらに含み、
前記画像取込手段は、前記音声検出手段が音声を検出していることに応答して、被写体の撮像を開始し、当該被写体の一連の画像データをリアルタイムで出力するための手段を含む、請求項１又は請求項２に記載の楽譜表示装置。
【請求項４】
計時開始時から所定の時間が経過すると時間満了信号を出力するための計時手段をさらに含み、
前記ページ変更手段は、
前記判定信号が前記第１の値となったことに応答して、前記計時手段に計時を開始させるための手段と、
前記計時手段からの前記時間満了信号に応答して、前記次の順番のページ画像を前記表示装置に表示するための手段とを含む、請求項１〜請求項３のいずれかに記載の楽譜表示装置。
【請求項５】
前記フレーズデータ記憶手段は、演奏者があるフレーズを演奏した時の前記演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と、もしあれば当該ページ画像の次に表示すべきページ画像を特定する次ページ特定情報と関連付けてフレーズデータとして記憶するための手段を含み、
前記フレーズ判定手段は、
前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータのいずれかと一致するか否かを判定して前記判定信号を出力するための判定手段と、
前記判定手段により前記演奏者の動きの特徴と一致すると判定されたフレーズデータを特定する情報を出力するための手段とを含み、
前記ページ変更手段は、前記判定信号が前記第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータに対する次ページ画像特定情報により特定されるページ画像を前記表示装置に表示するための手段を含む、請求項１に記載の楽譜表示装置。
【請求項６】
前記ページ変更手段はさらに、前記判定信号が前記第１の値となったことに応答して、出力するための手段により出力された情報により特定されるフレーズデータに対する次ページ画像特定情報がないときに、前記表示装置に表示されているページ画像について、前記ページ画像の順番により特定されるページ画像を前記表示装置に表示するための手段を含む、請求項５に記載の楽譜表示装置。
【請求項７】
前記楽譜の各ページ画像に関連付けられて記憶されるフレーズデータの各々について、当該フレーズデータに対応するページ画像の表示中に、前記出力するための手段により当該フレーズデータを特定する情報が出力された回数をカウントするためのカウント手段をさらに含み、
前記記憶するための手段はさらに、前記表示装置に表示されているページ画像と関連付けられているフレーズデータの各々について、前記カウント手段によりカウントされた回数と、次に表示すべきページ画像を特定する情報との組をさらに記憶し、
前記表示するための手段は、前記判定信号が前記第１の値となったことに応答して、前記出力するための手段により出力された情報により特定されるフレーズデータの、前記カウント手段によりカウントされた回数と組合されている情報により特定されるページ画像を前記表示装置に表示するための手段を含む、請求項５又は請求項６に記載の楽譜表示装置。
【請求項８】
表示装置と、
楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の表示順とともに記憶するための記憶手段と、
被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段と、
演奏者があるフレーズを演奏した時の前記演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、
指定された楽譜名に対応する楽譜の一連のページ画像を前記記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を前記表示装置に表示するための楽譜表示手段と、
前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示している楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値を、それぞれとる判定信号を出力するためのフレーズ判定手段と、
前記判定信号が前記第１の値となったことに応答して、前記表示装置に表示されているページ画像の次の順番のページ画像を前記表示装置に表示するためのページ変更手段とを含む、楽譜表示装置における楽譜表示方法であって、
前記楽譜表示手段が、指定された楽譜名に対応する楽譜の一連のページ画像を前記記憶手段から読出し、読出されたページ画像のうち、所定のページ画像を前記表示装置に表示するステップと、
前記フレーズ判定手段が、前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値を、それぞれとる判定信号を出力するステップと、
前記ページ変更手段が、前記判定信号が前記第１の値となったことに応答して、前記表示装置に表示されているページ画像の次の順番のページ画像を前記表示装置に表示するステップとを含む、楽譜表示方法。
【請求項９】
表示装置と、
被写体を撮像した一連の画像データをリアルタイムで出力するための画像取込手段と、が接続されるコンピュータにより実行されると、当該コンピュータを、
楽譜の一連のページ画像を、楽譜名と、当該楽譜の一連のページ画像の順番とともに記憶するための記憶手段と、
演奏者があるフレーズを演奏した時の前記演奏者の動きの特徴を、楽譜名と、当該楽譜名に対応するページ画像と関連付けてフレーズデータとして記憶するためのフレーズデータ記憶手段と、
指定された楽譜名に対応する楽譜の一連のページ画像を前記記憶手段から読出し、読みだされたページ画像のうち、所定のページ画像を前記表示装置に表示するための楽譜表示手段と、
前記表示装置に楽譜のページ画像が表示されている時に、前記画像取込手段の出力から抽出される前記演奏者の動きの特徴が、前記表示装置に表示されている楽譜のページ画像と関連付けられたフレーズデータと一致するときには第１の値を、それ以外のときには第２の値を、それぞれとる判定信号を出力するためのフレーズ判定手段と、
前記判定信号が前記第１の値となったことに応答して、前記表示装置に表示されているページ画像の次の順番のページ画像を前記表示装置に表示するためのページ変更手段として機能させる、コンピュータプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムを記録した、コンピュータで読取可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１３４４６（Ｐ２０１１−１３４４６Ａ）
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願番号】特願２００９−１５７３７９（Ｐ２００９−１５７３７９）
【出願日】平成２１年７月２日（２００９．７．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年１月２０日（２０１１．１．２０）
【国際特許分類】
【出願日】平成２１年７月２日（２００９．７．２）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]