同期化されたプレゼンテーションを伴う楽譜捕捉および同期化されたオーディオパフォーマンス用のシステムおよび方法
楽譜が解釈され処理され、該楽譜の合成パフォーマンスが該楽譜のビジュアルディスプレイと共に生成される。楽譜は画像捕捉プロセスによってかまたは電子ファイル転送によって受信され得る。楽譜のユーザによる音楽パフォーマンスは、後に再生し合成バージョンとの比較（望まれる場合には同時比較）を行なうために記録可能である。フィーチャは、デスクトップコンピュータといったデジタルコンピュータ上にインストールされるアプリケーションソフトウェアを介して提供されるか、または手持ち式デバイスの中で提供され得る。コンピュータデバイスがその楽譜のオーディオプレゼンテーションを制作できかつ楽譜の同期化されたビジュアルプレゼンテーションを制作できるように、外部ソースから楽譜を受信することができる。ユーザは、デバイスと「デュエット」を演奏できるように任意の音楽パートまたは多パート楽曲中のパートの組合せを削除することができる。
【発明の詳細な説明】
【背景技術】
【０００１】
自らの楽器演奏を上達させたいと願う人は、従来個人的指導および単独での練習活動に依存してきた。個人的指導は非常に有益であり得るが、一般的にかなり費用がかかり、音楽学生の予定に合わせる個人指導者の予約状況に依存している。単独での練習活動は便利であるものの、学生演奏者のパフォーマンスに対する有用で即効的なフィードバックに欠ける。
【０００２】
種々のデバイスが、演奏者の楽器再生パフォーマンスを上達させる一助となっている。例えば、電子メトロノームが、演奏者の一定のカウント維持を助けてくれる。演奏者による練習のために様々な音楽を便利に利用できるようにする、楽譜（シートミュージック）のコンピュータディスプレイ用システムが開発されてきた。例えば、M. Erricoに対する米国特許出願第２００４／００４０４３３号を参照のこと。その他のシステムが、デジタルデータとしての記憶およびその後のコンピュータディスプレイのための楽譜の光学的認識を助けている。例えば、T. Kikuchiに対する米国特許第５，８２５，９０５号を参照のこと。
【０００３】
演奏者が、楽譜の合成パフォーマンス（オーディオ演奏）を利用できかつ、正しいピッチ（同調した状態）でおよび正しいリズムで正しく演奏された楽譜中のむずかしいパッセージをいつでも聴くこと（または事実上楽譜全体を聴くこと）ができれば、有益であろう。このとき演奏者は、正しい演奏方法を複製または再現することにより練習することができるであろう。また、演奏者が、合成オーディオ演奏と同期化されたダイナミックディスプレイ上で楽譜を見て、表示された楽譜に従って楽器を演奏するかまたは歌う練習をすることができれば有益であると思われる。演奏者が自らのパフォーマンスを記録し、その後いつでもそのパフォーマンスを再生して評価し、正しい（合成された）演奏と比較することができればこれもまた有益であると思われる。このようにして、楽器（または声楽）の演奏を練習したいと考えている誰でも、正しい音楽合成演奏に促されて、その後その楽譜の自分自身のパフォーマンスを評価することができるであろう。さらに、正しい合成演奏と共に演奏者が演奏する（または歌う）ことができれば有益であると思われる。
【特許文献１】米国特許出願第２００４／００４０４３３号公報
【特許文献２】米国特許第５，８２５，９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
かくして、より便利な楽譜捕捉、パフォーマンス記録、そして合成されたパフォーマンスおよび分析の技術に対するニーズか存在する。本発明は、このニーズを満たすものである。
【課題を解決するための手段】
【０００５】
本発明は、独奏、重奏、独唱または重唱またはそれらの任意の組合せのための楽譜の１パッセージ（または楽曲全体または１つの歌）の捕捉およびその後の解釈、合成されたオーディオプレゼンテーションおよびこのオーディオプレゼンテーションに対応する当該楽譜のビジュアルプレゼンテーションの同期化された同時ディスプレイを生成するためにデータ処理を提供し、演奏者の音楽的パフォーマンスを後で再生する目的で記録するのをサポートする。これらの特徴を提供するための手段には、ホストデジタルコンピュータ上のアプリケーションソフトウェアが含まれ得る。代替的には、これらの特徴は、内蔵型である手持ち式デバイスによって提供され得る。ホストコンピュータおよび手持ち式デバイスの両方の実施形態共に、楽譜のデジタル表現を受信するための手段、楽譜のビジュアルプレゼンテーションを示すディスプレイおよび楽譜の同期化された合成オーディオ演奏用の設備を含む。楽譜のデジタル表現は、デジタル画像捕捉デバイスから、またはネットワーク接続を介してデータソースから受信可能である。この実施形態はまた、、ユーザパフォーマンスの記録およびユーザパフォーマンスの再生を提供することができる。本発明によると、コンピュータデバイスが楽譜データのオーディオプレゼンテーションを制作することができかつ該オーディオプレゼンテーションに対応する音符の同期化されたビジュアルプレゼンテーションを制作できるように、外部ソースから楽譜データを受信することができる。
【０００６】
その他の実施形態は、付加的な柔軟性およびより便利なオペレーションを提供することができる。例えば、デジタルデータ形式で全音楽作品、大量の作品、教則本などを記憶できる外部メモリカードを受入れるように、手持ち式デバイスを適合させることができる。インターネットおよび／またはテレコムインタフェースがデジタルデータ形式でのダウンロードを可能にし得る。例えば、デバイスは、デジタルデータ形式で楽譜をダウンロードできる。かかるダウンロードは、外部メモリカードまたは類似の媒体の中に記憶可能である。入力された楽譜データの画像捕捉は、楽譜のデジタル写真撮影または光学的走査によってサポートされ得る。アプリケーションソフトウェアの実装は、パフォーマンス評価特性および再生サポート特性を含み得る。
【０００７】
ユーザが２つ以上の楽器または２つ以上のボーカルライン（またはその任意の組合せ）のための楽譜をデジタル式に捕捉し、合成されたオーディオプレゼンテーションを楽譜の特定された楽器またはボーカルラインから除外させて（「マイナス・ワン」）ユーザが合成オーディオプレゼンテーションと共に演奏および／または歌うことができるようにすることを選択できるように、「ミュージック・マイナス・ワン」特性を提供することができる。楽譜の同期化されたビジュアルプレゼンテーションは、もとのデータの楽器および／またはボーカルパートのいずれかまたは全てを含むことができる。ユーザは、付加的な楽器またはボーカルラインといった合成オーディオプレゼンテーションの２つ以上のパートを除外させて、結果として除外された要素の数に応じて「ミュージックマイナス・ツー」または「ミュージックマイナス・スリー」等々を得ることを選ぶこともできる。
【０００８】
本発明のその他の特徴および利点は、本発明の原理を例を用いて示す好ましい実施形態についての以下の記述から明らかとなるはずである。
【発明を実施するための最良の形態】
【０００９】
１つの実施形態においては、本発明の特徴は、デジタルコンピュータ上にインストールできるアプリケーションを含むソフトウェアの形で実施される。ソフトウェア実装は好ましくは、演奏者のための入力および出力インタフェースを提供する。すなわち、ソフトウェアがインストールされるホストコンピュータは標準的に、演奏者が合せて歌ったりその楽器を奏でたりするために読取ることのできる楽譜のビジュアルプレゼンテーションを制作するためのディスプレイを含んでいる。該コンピュータはまた、標準的に、演奏者のセッションを記録するためのマイクロホンといった入力インタフェースを含み、かつ演奏者が記録されたパフォーマンスを聴くことができるようにするためのスピーカといった出力インタフェースを含む。コンピュータ実装は、光学的入力手段を介して譜表上の音符からなる楽譜がデジタル化され、次にコンピュータ内に入力され得る画像捕捉を含み得る。デジタル化された楽譜は、ＯＣＲ技術を介して解釈され得、結果として得られた解釈済みデータは、該当する場合には適切なピッチでの合成ボーカル演奏整合ワードを含む楽譜の合成オーディオ演奏を制作すべく処理され、かくして、オーディオ演奏は、楽譜のビジュアルプレゼンテーションと同期化されることになる。以下で提供するさらなる詳細説明においては、コンピュータソフトウェア実装は、「レベルＸ」実装と呼ばれるかまたは、「eMuse X」製品（「eMuse」という名前は、本発明に関する全権利の譲受人である米国ニュージャージ州プリンストンのPrinceton Music Labs LLC製の製品実施例を意味する）と呼ばれている。
【００１０】
もう１つの実施形態においては、本発明の特徴は、ディスプレイ、入力インタフェース、オーディオおよびビジュアル出力インタフェース、およびＯＣＲ画像解釈インタフェースを含む手持ち式デバイスの形で実施される。手持ち式デバイス実装は、種々の便利なユーザ制御ノブおよびデバイス機能の便利なナビゲーション用機構を含む。ディスプレイは、ユーザによる機能の選択のためのメニューオプションのビジュアルプレゼンテーションをサポートする。
【００１１】
以下でさらに記述する通り、コンピュータデバイスは、外部ソースから楽譜データを受信することおよびその後楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作することにより、楽譜データを解釈し処理する。
【００１２】
外部ソースは、ネットワーク接続を介してコンピュータデバイスに楽譜データを提供するためのネットワークデータソースで構成できる。ネットワーク接続は、無線接続を介したコンピュータデバイスとネットワークとの間の通信からなることができる。
【００１３】
楽譜データは、後に記録済み媒体から楽譜データを得ることになるコンピュータデバイスの読取り装置の中に該記録済み媒体を受入れることによって、該記録済み媒体から読み取ることができる。該記録済み媒体は、合成された音楽制作用の電子楽器デジタルインタフェース（ＭＩＤＩ：musical instrument digital interface）仕様に従った合成オーディオ演奏のために十分なデータを格納する。すなわち、コンピュータデバイスは、楽譜を特定するデータを受信し、選択されたテンポ、音色、音符記号、調号、拍子記号などによって、対応する音楽を生成または合成することができる。記録された媒体として、フラッシュメモリデバイスを含むことができる。
【００１４】
コンピュータデバイスは、楽譜のユーザパフォーマンスを記録し、記録されたユーザパフォーマンスの再生を提供する能力を備えることができる。ユーザパフォーマンス再生は、合成楽譜演奏とは独立した形で行うこともでき、そうでなければ同時に行うこともできる。さらに、記録済みユーザパフォーマンスに対応する音符のビジュアル表現と共にユーザパフォーマンス再生を提供することもできる。このようにして「聴音」フィーチャが提供される。
【００１５】
一変形形態では、楽譜の同期化されたビジュアルプレゼンテーションおよび合成オーディオ演奏の両方を生成するためにデバイスによって使用される楽譜データは、楽譜のデジタル画像を光学的に捕捉し、次にデジタル情報を解釈および処理して、適切な音符を表わすデータコレクションを制作し、かくして、その楽譜に対応するデータを生成するデバイスによって得ることができる。
【００１６】
さらに、全てがユーザにより調整され得る、楽譜データの合成オーディオ演奏の特性を決定する音楽コンテキスト情報が提供され得る。かかる音楽コンテキスト情報は、多重調号、拍子記号音色、テンポおよびレガート、クレシェンド、リタルダンドなどといった表情記号を含むことができる。
【００１７】
別の変形形態においては、楽譜データのオーディオ再生および音符のビジュアルプレゼンテーションを制作する段階は、ネットワークデータソースとの通信を通してもたらされる。望ましい場合、ネットワークデータソースは、コンピュータデバイスに対して楽譜データを提供する。さらにもう１つの変形形態においては、ネットワークデータソースはコンピュータデバイスに対して、楽譜データの合成オーディオ演奏の音楽的特性を決定する音楽コンテキスト情報を提供し得る。また、ネットワークデータソースは、無線接続を介して音楽コンテキスト情報を提供することができる。
【００１８】
ある変形形態においては、楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する段階は、コンピュータデバイスの読取り装置の中に記録済み媒体を挿入することによってもたらされる。望ましい場合、コンピュータデバイスは記録済み媒体から楽譜データを獲得し、該記録済み媒体はまた、楽譜データの合成オーディオ演奏の音楽特性を決定するため、コンピュータデバイスに対して音楽コンテキスト情報を提供することもできる。
【００１９】
１つの任意の特徴は、楽譜のユーザによって楽器および／またはボーカルパフォーマンスの記録を提供することにある。もう１つの変形形態は、電子楽器デジタルインタフェース（ＭＩＤＩ）仕様に従って、合成オーディオ演奏を制作することである。さらに、ビジュアルプレゼンテーションを制作する段階は、対応する合成オーディオ演奏と同期化された楽譜を表示する段階からなり得る。別のオプションは、楽譜データのオーディオ演奏およびビジュアルプレゼンテーションの両方の再生、および記録済みユーザパフォーマンスのオーディオ成分とユーザパフォーマンスにより生成された楽譜の同期化された対応するビジュアルディスプレイの両方の再生である、同時再生を提供することにある。
【００２０】
本発明によると、コンピュータデバイスは光学的に楽譜をデジタル捕捉してデジタル画像を解釈し、デジタル捕捉された楽譜に対応する、コンピュータデバイスのための楽譜データを生成し、その楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作することができる。該コンピュータデバイスは、楽譜データの合成オーディオ演奏の音楽特性を決定すべく、コンピュータデバイスによって使用される音楽コンテキスト情報を受信することができる。上述の変形実施形態と同様に、音楽コンテキスト情報は、楽譜データの合成オーディオ演奏の音楽特性を決定すべくユーザにより選択することのできる多くの調号、拍子記号、音色、テンポおよび、レガート、クレッシェンド、リタルダンドなどといった表情記号を含み得る。オプションとして、コンピュータデバイスは、光学的にデジタル捕捉した楽譜から音楽コンテキスト情報を識別し、あるいはネットワークデータソースから音楽コンテキスト情報を得ることもできる。望まれる場合には、ネットワークデータソースは、コンピュータデバイスとの無線接続を介して音楽コンテキスト情報を提供する。
【００２１】
コンピュータデバイスには、合成演奏および／またはユーザにより記録されたパフォーマンスのためのオーディオ再生用の独自のスピーカを備えることができる。さらに、該デバイスは、ヘッドホンまたは外部スピーカなどへの接続のための出力ジャックを含むことができ、また、（無線コンポーネントで駆動されているホームステレオシステムのような）無線サウンド再生システムに対し、デバイスがオーディオパフォーマンスを伝達できるような無線伝達能力も備えることができる。デバイスは、予め定められた長さの音楽パッセージを記録することができるようにするために十分な演算用のメモリを有する。
【００２２】
以下の付加的な詳細説明は、手持ち式デバイスの実装におけるさまざまなフィーチャー実装に言及しており、それぞれに「レベル１」および「レベル２」または「eMuse 1」および「eMuse 2」と称する。
【００２３】
以下の説明は、デジタルコンピュータデバイス上にインストールできる音楽再生ソフトウェアについて記述しており、またここで集合的にeMuse製品と呼ばれている手持ち式シートミュージック読取りデバイスの実施形態についても記述している。「カンパニー」についての言及は、eMuse製品の適切なオペレーションのためのデータまたはその他のサポートを提供するエンティティを意味する。「ＰＭＬ」という言及は、「カンパニー」、Princeton Music Labs, LLC（本発明の全ての権利の譲受人）、またはその他の適切なサポートエンティティに対する言及である。
【００２４】
「製品実施形態の説明」
添付図１は、本明細書で記述される機能性および特徴を提供する手持ち式デバイスを例示する。
【００２５】
図１は、全て実時間でほぼ同時に、シートミュージックから選択済み音楽パッセージ（いくつかの小節か、さらには一頁全体かのいずれか）の画像を捕捉し、フォーマット化しかつデジタル的に音楽パッセージを符号化し、次に選択済みパッセージを演奏する手持ち式で電池式の「全自動」家庭用電子機器としてのeMuse製品１００を示す。再生サウンドは、楽器特定的であり、ユーザが選択する音色（すなわち、ピアノ、バイオリン、フルートなどのサウンド）で演奏する。多くの音色を同時に演奏させることもできる。該デバイス１００は、調号、拍子、音量およびテンポといった音楽的変数を認識し、フォルテ、ピアノ、クレッシェンド、レガートなどといった発想記号を考慮する。ＬＣＤスクリーン１０２が、デバイスにより再生すると、その音楽パッセージ１０４を表示し、演奏されている各音符が一意の色で強調表示されて、それを楽譜の残りの部分と区別する。
【００２６】
図１のデバイス１００は、カンパニーのウェブサイトからダウンロードされたかまたは予め記録された１またはそれ以上の楽曲が符号化されたデータカード（図示せず）の挿入をサポートし、特定の小節を迅速に参照できるようにするデジタル「ミュージックカード」フィーチャを内蔵している。データカードは、例えば、携帯電話およびデジタルカメラによって一般的に使用される書き込み可能な媒体であり得る。該データカードは、デバイス１００のカードスロット１０６内に収容される。デバイス１００はまた、符号化された楽曲を表わすデジタルデータを用いても機能する。符号化された楽曲を、カンパニーのウェブサイトからダウンロードすることもできる。ダウンロードされたファイルはまた、デバイスのメモリ内にセーブされ得る。符号化された楽曲は、リスニング経験を豊富にし、楽譜の特定の小節を迅速に参照できるようにする。
【００２７】
デバイス１００の記録／再生フィーチャによって、ユーザが、楽譜を参照しながら記録されたパフォーマンスを直ちに評価できるようにする。すなわち、デバイス１００は、楽曲のユーザによるパフォーマンスを記録し、受信した楽曲の再生と共に（またはそれと同時に）ユーザパフォーマンスを再生することができる。ユーザパフォーマンス再生は、対応するビジュアルプレゼンテーションと共に提示され得、この明細書中でさらに記述されている「聴音」フィーチャを提供する。デバイスには、メトロノームと楽音チューナ能力の双方も内蔵されており、デバイスは、「ミュージック・マイナス・ワン」のために調整可能である。多譜表または多パートの楽曲においては、「ミュージック・マイナス・ワン」フィーチャによりユーザは、楽曲のどのパートがＭＩＤＩインタフェースによって再生されることになるかを決定することができる。こうしてユーザは、デバイスと共に特定のパートを演奏し歌うことができるようになる。
【００２８】
図１は、フタまたは上面１０８の下側に内蔵されたＬＣＤディスプレイスクリーン１０２を有する押上げ式フタ１０８を伴う手持ち式デバイスとしてデバイス１００を示す。該デバイスはまた、音楽再生用スピーカ１１０（図１にステレオ対が例示されている）およびユーザパフォーマンスを記録するためのマイクロホン１１２をも内蔵する。図１に示されているように、画像捕捉能力を実装することができ、ここで押上げ式フタ１０８は、その外側表面内に取付けられ画像捕捉を目的として、レンズシャッターボタン１１４により起動される光学レンズからなるカメラシステムを含む。さまざまなユーザインタフェースコントロールが提供されており、音量１１６、再生テンポ１１８、メニューナビゲーション１２０および位置１２２を調整するためのサムホイールとして示されている。デバイス１００には、ネットワークまたはその他のデバイスとさらに容易に接続するため、ＵＳＢポート１２４が具備され得る。オン／オフスイッチ１２５がデバイス１００をオンおよびオフ切替えする。
【００２９】
図１に例示されているように、楽譜の演奏（合成パフォーマンス）およびユーザパフォーマンスの再生が関与する機能を制御するために、制御ボタンも提供されている。図１は、演奏／一時停止１２６、停止１２８、ネクスト／リセット１３０および録音１３２という機能のための制御ボタン例を示している。図１はまた、タイミングインジケータを示しテンポホイール１１８と相関されるメトロノーム読出しディスプレイ１３４をも示す。メトロノーム機能およびデバイス１００のその他のフィーチャの選択は、メニューホイール１２０および／または位置ホイール１２２の操作と併用してディスプレイ１０２のメニューナビゲーションで達成される。選択は、ネクスト／リセット制御ボタン１３０の操作を通して達成できる。キーボードまたはキーパッド１３５を用いて、キーパッドの専用機能キーを介した入力またはキーパッドからの英数字入力を行うことができる。ディスプレイスクリーン１０２上では楽譜１０４からの音符のグラフィック画像がスクリーンを横断して移動している状態で提供され、個々の音符はオンスクリーンで現われるかまたは、音符が演奏されとディスプレイ内で強調表示される。ディスプレイは好ましくは、楽譜が演奏されると予め定められた音符または小節数が表示されるように、再生中拡張される譜表画像を提供する。
【００３０】
製品の特徴は、次のように要約することができる・
・楽譜を「読取り」それを再生する携帯用「全自動」式デバイス。再生サウンドは楽器特定的であり、デバイスは調整可能な音色（すなわち、ピアノ、バイオリン、フルートなどのサウンド）を有する。それは、調号、拍子、音量およびテンポといった付加的な音楽的変数を認識し取込むことができる。理想的にはそれは、フォルテ、ピアノ、クレッシェンド、レガート、などといった発想記号を認識し考慮することもできる。カーソルを伴うＬＣＤモニターは、デバイスが音楽パッセージを再生するとそれを表示する。
・記録／再生フィーチャにより、ユーザは、楽譜を参照しながらパフォーマンスを直ちに評価することができる。メトロノームとチューナーとの双方も含まれる。
・「ミュージックカード」フィーチャは、曲全体が符号化されたカードの挿入をサポートし、特定の小節を迅速に参照できるようにする。
・eMuse デバイスに内蔵されたソフトウェアは、eMuseが楽譜についてのデジタル化された画像データを受信しそのデータを対応する音符へと解釈し、それを１００％に近い精度率で行うという点で、その他の現在入手可能な製品と異なる。その他の従来のソフトウェア製品は、デスクトップパソコンを用いて、音楽編集者および／または作曲家により使用されるように設計されており、ユーザが手作業で音符の識別における走査またはＯＣＲ誤差を補正することを予想している。かくして、手持ち式でケーブルなしの携帯用デバイスとしてのeMuseは、全ての音楽演奏者が使用するように設計され、かかる使用においては、補正すべき誤差が全くないと予測されている。
【００３１】
〔機能の説明〕
楽譜の「読取り」
デジタルカメラシステム１１４が、楽譜内部のパッセージ（単一の音符、複数の小節さらには一頁全体）の画像を捕捉する。デジタルカメラは、デバイス１００の中に内蔵でき、当業者にとってなじみのあるレンズと画像トランスジューサとの組合せとすることができる。ＬＣＤディスプレイ１０２は、どの小節が捕捉されるかをユーザが正確に見極めできるようにする。該デバイスは単一譜表のミュージカルライン、デュエット、トリオ、クァルテットさらにはまた指揮者用総譜を読取ることができる。デバイス１００は、同時に多数の音色を提供する。
【００３２】
〔音楽およびダウンロード用コンテキスト情報の処理〕
ＯＣＲモジュールは、デジタル化された画像データを含む音楽抄録の「写真」を受信する。調号および拍子といった重要な付加的音楽コンテキスト情報もまた、楽譜デジタル画像を介してかまたは、利用可能な調号および拍子記号を全て列挙する「チートシート」（ＰＭＬウェブサイトからダウンロードされ、次に無線でまたはＵＳＢポートを介してデバイスへ伝送される（以下参照））を介して、ＯＣＲモジュールに送られる。「チートシート」はまた、そこからユーザが所望の音色を選択可能なまたはユーザが所望の音色を手作業で特定（入力）可能なセクションをも含む。
【００３３】
〔ＭＩＤＩシンセサイザ〕
ＯＣＲモジュールは、合成サウンドを制作するＭＩＤＩモジュールに対してサウンド情報を送る。これは、調整可能な音色を提供する。ユーザは、特定の音楽パッセージまたは楽曲用に楽器タイプ（ピアノ、バイオリン、フルートなど）を特定する。該モジュールはまた、ユーザが、ピッチを全く改変することなく楽譜内に示されたメトロノームの速度よりも（該当する場合）低速（または高速）でその音楽パッセージを聞くことができるように、調整可能なテンポをも提供する。デバイスはその固有の小さなスピーカを通して再生し、またヘッドホンジャック１３４およびヘッドホンおよび／または外部スピーカ用の無線機能をも有する。
【００３４】
〔ビジュアルディスプレイ〕
ＬＣＤモニターディスプレイ１０２は、ユーザが、捕捉中の（写真撮影中の）小節が、聴取されるように意図された小節であることを確認するのに役立つ。カーソル１３６を用意しているＬＣＤモニターディスプレイは、ユーザが写真撮影した音楽パッセージまたは記憶済みデータを有するミュージックカードのいずれかから、音楽パッセージが再生されると、楽譜１０４を表示する。カーソルは、特定されたテンポとは無関係に、音楽パッセージが実時間で演奏されると、楽譜内における演奏中の現音符の正確な音楽的位置を指示する。従来のタイプの移動カーソルではなくむしろ、ディスプレイ１０２は代わりに、音符を強調表示する（例えば、それをさらに明るくする）ことによって、または演奏されるときにその他の音符とは異なるディスプレイプレーカラーをそれに与えることによって、演奏中の音符を表示することができる。もう１つのオプションは、特に単一ラインの音楽パッセージについて（英語およびソルフェージュの両方での）音名１３８をＬＣＤディスプレイが示すというものである。音楽パッセージが多数の同時音楽ラインで構成されている場合には、ユーザは音名が表示されているラインを指定することができる。
【００３５】
ディスプレイ１０２はまた、演奏用に選ばれた楽譜の音楽パッセージのインジケータを示す。該インジケータは、音楽パッセージマーカー１３９と称される。図１では、音楽的パッセージマーカー１３９は、円で囲まれた「１」という数字で示されている。その数字「１」は、楽譜の第１小節が現在表示されていることを表わし、円は、再生が第１小節で開始されたことを表わす。再生が次の小節まで続く場合、「１」の代わりに「２」が表示されることになるが、「２」は円で囲まれない。
【００３６】
〔記録用センサー〕
ユーザが、当該音楽パッセージを自ら演奏する（および／または歌う）のを記録しかつ直ちに記録を再生してユーザのパフォーマンスをデバイス１００のもの（すなわち、予め記録されたまたは合成された演奏のもの）と比較することができるように、マイクロホン１１２が具備される。このフィーチャは、学生が、音符、チューニング、リズムおよびダイナミクスの調整を行う上で有益である。上述のように、「聴音」フィーチャを提供するように、マイクロホンを介してユーザパフォーマンスを記録することができる。
【００３７】
〔無線〕
デバイス１００は、好ましくは、ネットワークおよびその他の無線機器対応のデバイスとの無線通信を可能にするため、およびコンテキスト情報と共に符号化済みミュージックファイルのダウンロードを可能にするため、無線バージョンで提供される。本明細書で記述するフィーチャは、携帯式音楽対話のためＰＤＡまたはスマートホンといったような無線プラットフォームにインストールされるeMuse ソフトウェアによって提供することができる。さらに、無線eMuse デバイスは、ホームＰＣおよび／またはステレオシステムのコンピュータおよびメモリ（および再生オーディオ）を使用することができる。
【００３８】
〔電力〕
電力は、再充電可能な電池を介するものである。ＤＣ入力（９／１２ボルト）も、外部接続１４０を通して利用可能である。
【００３９】
〔「ミュージックカード」フィーチャ〕
全曲（または単純な教則本）がデジタル符号化されたカード（情報記憶デバイス）を、カードスロット１０６よりＯＣＲモジュール内に挿入できる。こうして、ユーザは特定の小節を迅速に（聴覚的および視覚的に、上述のビジュアルディスプレイを参照のこと）参照できる。
【００４０】
〔「ミュージックカード」〕
これらは、小売り売買用に利用でき、セキュア・デジタル（ＳＤ）カードまたはコンパクトフラッシュ（登録商標）カードまたはＸＤカード、またはSony Corporationから入手可能である「メモリスティック」デバイスといった従来の媒体を含むことができる。さらに、ＰＭＬは、eMuseユーザのためのパスワード暗号化ダウンローディングに利用可能である、教則本からより複雑なジャズおよびポップス「ヒット」に対する一般的な古典的レパートリに至る範囲に入る実質的な音楽ライブラリ（視覚的および聴覚的の両方の、楽譜のコンピュータファイル表現）を提供することになる。これらのファイルは、ユーザのホームＰＣに対しダウンロード可能となるが、このときユーザは「ミュージックカード」を焼くかまたはファイルを無線eMuseへ伝送するかのいずれかである。
【００４１】
〔ネットワーク通信〕
eMuse デバイスは、音楽小売店（例えば、Ｔｏｗｅｒ、ＨＭＶなど）および着メロプロバイダから、符号化済み音楽ファイルをダウンロードすべく、通信網を介して通信できる。
【００４２】
〔「聴音」〕
別の実施形態においては、ユーザのパフォーマンスをデバイスにより記録し、ユーザの記録済みパフォーマンスに対応する音符の表示を制作するもととなるデータを生成すべく、音符解釈処理にこのユーザのパフォーマンスを付すことができる。このようにして、デバイスは「聴音」（Music Dictation）を取ることができ、又ユーザによるライブのパフォーマンスを、そのパフォーマンスに対応する楽譜のビジュアルディスプレイへと変換させることができる。かくして、デバイスの音楽解釈フィーチャは、光学または電子ネットワーク通信により受信された楽譜データを処理すること、およびマイクロホンにより捕捉されたユーザのライブのパフォーマンスにより制作された楽譜データを処理することの双方ができる。
【００４３】
〔製品バージョン−eMuse１、eMuse２、eMuseＸ〕
本明細書で例示する実施形態は、以下の３つの製品を含む
・eMuse１は、使用を容易にするように設計された直観的コントロールを伴う押上げ式手持ち型ユニットである。これは、一体型カメラおよびＬＣＤディスプレイスクリーンを内蔵し、ユーザがデバイス上の楽譜をポイントすると、ＬＣＤディスプレイ上に楽譜の画像が表示される。ユーザは、制御ボタンをクリックすることにより、デバイスメモリ内の楽譜の全てまたは選択された一部分を捕捉することができる。eMuse著作権ソフトウェアは、音楽コンテキスト情報を含む捕捉済み画像を解釈し、楽譜の合成オーディオ演奏を制作する。音楽が演奏されると、楽譜の同期化されたビジュアル表現がディスプレイスクリーン上に現われ、任意の時点で演奏されている音符はカラーで強調表示される。デバイス上のコントロールは、ユーザがテンポ、調号などを調整するかまたは１またはそれ以上のパートを削除する（「ミュージック・マイナス・ワン」使用向け）ことを可能にする。デバイスは、改良されたオーディオ音色のため外部サウンドシステムに接続する能力を有する。eMuse１はまた、ユーザが作品の自らによるパフォーマンスを記録し、このパフォーマンスをオリジナルと比較できるように（聴音フィーチャを含めた）記録および再生フィーチャをも内蔵する。
・eMuse２は、一体型ミュージックカード読取り装置に追加した、eMuse１のフィーチャおよび機能性の全てを内蔵している。ミュージックカードは、音楽コンテキスト情報を含む楽譜データで予め符号化された形態またはブランク形態という２つの形態で入手可能となる。ブランクミュージックカードを用いると、ユーザは、インターネットウェブサイト（ＰＭＬ独自のウェブサイトかまたはeMuse ソフトウェアをライセンス供与した第３者のウェブサイトのどちらか）から楽譜データをダウンロードし、ミュージックカード上にデータを「焼く」ことができる。任意の外部ミュージックカード読取り装置および適切なインタフェースに、ミュージックカードの使用のための他の実施形態（例えば、eMuse１およびeMuseＸ）を具備することもできる。
・家庭用またはスタジオ用に設計されているeMuseＸは、パーソナルコンピュータが、手持ち式eMuse デバイス１００と同じ機能を実行することができるようにするソフトウェア製品である。コンピュータに取付けられたスキャナまたは高解像度ウェブカメラが楽譜のデジタル画像を捕捉し、この画像はユーザのコンピュータのディスプレイスクリーン上に投映される。ユーザはこのとき楽譜の一部分を選択し、選択された部分の合成オーディオ演奏は、コンピュータに取付けられたスピーカを通して演奏される。ユーザはまた、コンピュータのハードドライブに楽譜データをダウンロードすること、またはコンピュータのＵＳＢポートに接続された媒体読取り装置によって読み取られる予め符号化されたミュージックカードを購入することもできることになる。
【００４４】
本明細書に記述されたソフトウェアは、さまざまなプラットフォーム内で使用可能である。例えば、eMuseの態様を、携帯電話カメラが楽譜内の特定の音楽パッセージを写真撮影する高性能携帯電話に内蔵することができる。次に、捕捉された画像は圧縮され遠隔サーバに送られ、このサーバが、対応する音符情報へと画像を解釈すべく画像データについてＯＣＲオペレーションを実行する。サーバは次に、ミディファイルおよびグラフィックファイルの両方を送り返し、このeMuseバージョンが、写真撮影された音楽を演奏し、演奏されているときにＬＣＤ上に音符を表示することができるようにする。
【００４５】
かくして、eMuse ソフトウェアは、それが予めロードされているデバイスに加えて、カメラを備えた電話または類似のＰＤＡといったような選択されたユーザプラットフォームにインストールすることができる。
【００４６】
捕捉済み楽譜画像を対応する音符セットとして解釈するソフトウェアは、機械学習技術を利用し、実質的に実時間で解釈しながら１００％に近い精度を達成するように訓練されることになる。音符画像を対応する音符へと変換するために従来利用可能な記譜法ＯＣＲソフトウェアは、一般に、実際の画像捕捉から離されたときにオフライン編集することが意図されており、１００％近くの精度は達成できない。現在利用可能な楽譜変換ソフトウェアは、Sibelius（登録商標）、Smart-Score（登録商標）およびSharpEye（登録商標）といった会社から調達され得る。
【００４７】
本明細書で記述されている全ての実施形態において、eMuse符号化コンテキストファイルを、WiFi、Bluetooth（登録商標）および／またはその他の電気通信接続といったような有線または無線の電気通信リンク上で受信することができる。
【００４８】
〔eMuse１〕
図２は、eMuse１実施形態の操作を例示するプロセスフロー図である。初期操作では、楽譜のデジタル表現がeMuse１デバイスに対して提供される。該デジタル表現は、eMuse１デバイスと共に動作するデジタルカメラといったデジタル画像捕捉デバイス２０４を用いてデジタル捕捉され印刷されたページといった、eMuse１デバイスに対するビジュアルプレゼンテーション２０２によって受信され得る。光学入力２０６から導かれたデジタルデータは、次に音符データ解釈プロセス２０８に提供される。代替的には、楽譜のデジタル表現は、例えば楽譜に対応するデジタルデータの無線伝送またはネットワークを介したデータの有線伝送、あるいはまたメモリカードまたはその他の媒体といった記憶媒体を通しての入力などにより、電子的に提供され得る（２１０）。楽譜を電子的に受信したバージョン２１０は次に、音符データ解釈プロセス２０８に提供される。
【００４９】
音符データ解釈プロセス２０８は、楽譜に対応するデジタルデータを受信し、それを処理して、楽譜を特定し適当なハードウェアによるその再現を可能にするのに十分な音符セットおよび同時（concomitant）情報を制作する。プロセス２０８は、楽譜デジタルデータ２０６、２１０を認識し適切な変換済みデータを制作するため、機械学習技術で訓練されたプロセッサを含む。該プロセス２０８は、例えば最高ほぼ１００％の精度まで解釈プロセスの精度を増大させるためにニューラルネットワークソフトウェアエンジニアリング技術を用いて訓練可能である。本発明によると、実時間でのユーザに対するオーディオプレゼンテーションおよびビジュアルプレゼンテーションのために入り楽譜データを制作しなくてはならず、従って、入り楽譜データの解釈は実時間でなくてはならず、１００％の解釈（変換）精度に近づかなくてはならない。プロセス２０８は、光学式文字認識（ＯＣＲ）技術を利用するが、音符認識およびデジタルデータ（電子または光学走査で導出されたもの）から適切な表現への解釈のために適合されている。
【００５０】
解釈プロセス出力２１２は、デバイスのディスプレイスクリーン２１４に提供される楽譜のビジュアルプレゼンテーションと、デバイスのスピーカを通したオーディオプレゼンテーションのための適切なデバイスシステムおよびハードウェア２１６に提供される楽譜の合成オーディオ演奏などからなる。
【００５１】
〔eMuse２〕
図３は、eMuse２の実施形態の操作を例示するプロセスフロー図である。図２に描かれた操作は、図３に描かれている操作に類似しており、同じ操作には同じ参照番号が付されている。かくして、図３では、楽譜のデジタル表現は、ビジュアルプレゼンテーション２０２および画像捕捉２０４とそれに続く音符データ解釈プロセス２０８へのプレゼンテーション２０６か、は電子受信とプロセス２０８に対するプレゼンテーション２０６のいずれかによってeMuse１デバイスに提供される。eMuse２実施形態は、楽譜プレゼンテーションのもう１つの代替的手段、つまり、読取り装置またはスロット３０６と結合するするメモリストア３０４を含むミュージックカードインタフェースの使用を追加している。メモリストア３０４は、例えばセキュア・デジタル（ＳＤ）カード、コンパクトフラッシュ（登録商標）カード、メモリスティック媒体などといったデジタル媒体を含むことができ、一方読取り装置３０６は、カード３０４上に記憶されたデータを受入れるために適切なカード読取り装置を含むことになる。楽譜データは、このとき、ディスプレイ２１４およびオーディオ再現（２１６）デバイスに、再生のために提示される。
【００５２】
〔eMuseＸ〕
図４は、eMuseＸ実施形態の操作を例示するプロセスフロー図である。eMuseＸ実施形態は、デスクトップまたはラップトップコンピュータ、ＰＤＡデバイスまたは「スマートホン」といったホストコンピュータデバイスの中にインストールされ得るソフトウェアパッケージを含む。第１の操作４０２において、eMuseＸソフトウェアがインストールされたホストコンピュータは、eMuseＸソフトウェアを実行し始めるように起動される。ホストコンピュータもまた、前述の音符データ解釈プロセス２０８を実行するソフトウェアのインストールを受け、適切な画像捕捉組合せまたは適切な電子データ受信組合せをもまた含むということを理解すべきである。画像捕捉組合せは、ホストコンピュータとのインタフェースを有するデジタルカメラを含むことができ、電子データ受信組合せは、無線通信インタフェース、ハードワイヤードネットワーク通信インタフェースまたは、記録済みデータインタフェース、例えばメモリカード読取り装置または磁気ディスクまたは光ディスク（例えばＣＤまたはＤＶＤ）ドライブを含むことができる。
【００５３】
次の操作４０４では、画像捕捉組合せの操作または電子データ受信組合せの操作のいずれかによって、ホストコンピュータの音符データ解釈プロセスに対し、楽譜デジタル表現を提供する。解釈された楽譜データは、処理およびプレゼンテーション４０６のためにホストコンピュータに提供され、かくして、ユーザに対して提示すべく、ホストコンピュータシステムにより、ディスプレイプレゼンテーション４０８およびオーディオ再現プレゼンテーション４１０が生成されるようになっている。オーディオプレゼンテーション４１０およびディスプレイプレゼンテーション４０８は一般に、専用デバイスのそれぞれのオーディオプレゼンテーション２１６およびディスプレイプレゼンテーション２１４に対応することになるが、専用デバイスに比べてホストコンピュータが利用できる資源が異なることから、細部では異なってくる可能性がある。
【００５４】
図５は、合成オーディオ演奏の再生を提供するため、アプリケーションソフトウェアがインストールされる手持ち式デバイスまたはホストコンピュータといった、本明細書で記述している処理を内蔵するデバイスによって制作されるディスプレイスクリーンを例示している。該デバイスは最初に、デバイスのミュージックカード読取り装置内にプログラミングされたミュージックカードを収容することまたは無線またはケーブル接続のいずれかを通してネットワークインタフェースから情報を受取ることなどによって、楽譜データを受け取る。楽譜データは例えば、楽譜と同様に、楽譜の合成オーディオ演奏の音楽的特性を決定する音楽コンテキスト情報をも含み得る。デバイスのオペレーティングソフトウェアが楽譜データを読み取った後、デバイスは、楽譜についての情報をユーザに提供し、再生に関してユーザからの命令を要請するため、メニュースクリーンを表示する。
【００５５】
図５は、手持ち式デバイス（図１）のディスプレイ５０４上、またはeMuse アプリケーションソフトウェアがインストールされた状態でのホストコンピュータのディスプレイ上のプログラムウィンドウ内（図４）に表示された楽譜メニュースクリーン５０２を示す。メニュースクリーンは、図５の楽譜のコンテンツを示し、楽譜は「バッハ−ゴールドバーグ変奏曲」として示されている。メニュー５０２は同様に、図５の例では３２として表示されている、楽譜内のセクション（例えばトラック）の数をも示している。メニューはまた、音色を示し、図５ではこれは「ピアノ」であるものとして示されている。最後に、メニューは、ユーザに、再生が開始する予定のセクション（またはトラック）番号をたずねる。初期メニュースクリーン５０２上のディスプレイボックス５０６内に例えばデフォルト値（例えばセクション１）が現われる。ユーザは、手持ち式デバイス上で「ＹＥＳ」または「再生」コマンドを選択することまたはメニュースクリーン上で「入力」または「ＹＥＳ」を選択することなどによって、指示された位置すなわちセクション１で再生が開始すべきであることを表示することができる。それに応答して、デバイスは合成オーディオ演奏の再生を開始し、オーディオ演奏と同期化してディスプレイ５０４上に楽譜（音符）を表示することになる。代替的には、ユーザは、入力ボックス５０６内に異なるセクション番号を入力し、次に「ＹＥＳ」または「再生」または「入力」を選択することができ、その後デバイスは、表示されたセクションで楽譜を演奏し始めることになる。
【００５６】
図６は、「聴音」（music dictation）フィーチャを提供するための操作を例示するプロセスフロー図である。このフィーチャは、本発明の手持ち式実施形態およびホストコンピュータ実施形態に対して提供できる。初期操作６０２においては、マイクロホンは、ライブ音楽のユーザパフォーマンスを記録し、対応するライブ音符データセットが制作される。マイクロホン出力は、ライブ音符データを制作すべくデジタルフォーマットで記録されるかまたは、ユーザのパフォーマンスのオーディオトラック内の音符に対応するデジタルデータを含むライブ音符データを制作すべく記録後に処理される。すなわち、ライブ音符データは、本明細書の他の箇所で記述されている楽譜データと類似している。マイクロホン６０２から導出されたライブ音符データはその後、音符データ解釈プロセス６０４に提供される。デバイスの解釈プロセスは、対応する楽譜６０６のビジュアルディスプレイを制作すべくライブ音符データを処理し、デバイスはまたユーザのパフォーマンス６０８のオーディオ再生を制作する。このようにして、ユーザのオーディオパフォーマンスおよびそれに対応するビジュアル音符が同期化された再生の形で提供される。付加的なフィーチャにおいては、ユーザが、楽譜フォーマットで入手可能である既知の記録済み作品を演奏した場合には、ユーザのパフォーマンスの再生は、記録済み作品の楽譜の合成オーディオ／ビジュアル演奏と協調されかつ比較され得る。
【００５７】
〔付加的機能〕
・ 複数の音色（楽器）を同時に読み取り演奏することができ、「ミュージック・マイナス・ワン」の実現手段としての利用が可能となっている。
・ 複音色同時コントロールにより、ユーザは、多譜表楽曲（「ミュージックマイナス１／２」）の特定された楽器またはボーカルラインの音量を最小限に抑えるのと同時に他のラインをより高い音量に保つことができる。
・ １つのページの最終小節と次のページの最初の小節を、１つの「フレーム」の形に組合わせるターンページフィーチャが、デバイスに内蔵されることになる。
・ メトロノームがデバイス内に内蔵されている。
・ デバイス内にチューナーが内蔵されている。
・ デバイスは、音楽パッセージをあらゆる調に移調することができる。
・ デバイスは、その音楽パッセージが演奏されるのにつれてＬＣＤ上に１つの音楽パッセージを音名（英語とソルフェージの両方で）表示する。
・ ＯＣＲモジュールは、特定の音楽パッセージを再度「写真撮影」することなくくり返し聞けるように、次の音楽的パッセージが「写真撮影される」まで、音楽的パッセージのメモリを保持する。
・ 通信−WiFi、Bluetooth（登録商標）および／またはその他の電気通信接続といった有線および無線の両方でのeMuse音楽ダウンロードサーバとの通信用設備。
【００５８】
〔設計フィーチャ〕
ボタンとダイヤル、ポートおよびジャック
以下の設計フィーチャが具備される（図１参照）。
・ シャッターボタン１１４−画像捕捉の開始および、音楽パッセージの「写真撮影」用。
・ 演奏ボタン１２６−「写真撮影された」小節の演奏、「ミュージックカード」からの選択および／またはユーザの記録済みパフォーマンスの再生用。
・ 記録ボタン１３２−ユーザのパフォーマンスの記録用。
・ 一次音量ホイール１１６−再生音量の変更用。
・ スロット１０６−ミュージックカードの収容用で、場合によってはＵＳＢポート、
・ ヘッドホンジャックとしてライン出力端子１３４。
・ 数字キーパッド１５０−楽曲、楽章および／または小節番号の選択に関するＬＣＤ上のプロンプトに対する応答用。
・ 速度ホイール１１８（テンポ）−音楽パッセージの再生速度の変更（より速くまたはより遅く）用。
・ メトロノーム１４２−再生音楽パッセージのテンポならびに従来のメトロームとしての使用を選択するため数字キーパッドを使用できる。
・ チューナー１４４−チューニングのための周波数（例えばＡ４４０またはＡ４４２）を特定すべく数字キーパッドを使用することができる。
【００５９】
望まれる場合、これらのボタンおよびダイヤルのうちの１つまたはそれ以上のものを、単純な＋／−トグルスイッチの形に組合わせることができる。
【００６０】
〔構成〕
図７は、本発明によって構築されたオーディオ−ビジュアルプレゼンテーションを伴う楽譜捕捉および解釈用デバイス７００の実施形態のブロック図である。コンピュータ中央演算処理装置（ＣＰＵ）といった制御プロセッサ７０２が、デバイス７００内の操作を制御する。ＣＰＵ７０２は、デバイスバスまたはシステム通信バス７０４上で、データおよびコマンドを含め、その他のコンポーネントと通信する。
【００６１】
コマンドおよびデータは、プログラムメモリすなわちＲＯＭ７０８およびデータメモリすなわちＲＡＭ７１０を内み得るメモリ７０６に記憶される。メモリ７０６は、揮発性および不揮発性メモリの双方であり得る。ＣＰＵは、本明細書で記述されているフィーチャを提供するために、プログラムメモリ７０８に記憶されたプログラム命令およびコマンドを実行する。楽譜データなどの演算データが、データメモリ７１０内に記憶されている。固定記憶装置（例えばハードディスクドライブ）、リムーバブル・メディア用ストーレッジドライブ（磁気フロッピー（登録商標）ディスク、光ディスク）およびリムーバブルデータカード（例えばフラッシュカードおよび類似の媒体）といったストーレッジデバイス７１５にその他のデータを記憶するかまたはそこから受け取ることができる。かくして、図７に別のコンポーネントとして示されている音符解釈処理エンジン７１４を含むeMuse処理７１２は、メモリ７０６に記憶されＣＰＵ７０２により実行されるデータおよびプログラム命令の組合せによって提供され得る。デバイス７００は、ネットワーク上でのその他のコンピュータとの通信のためのネットワークインタフェース７１６を含む。ネットワークインタフェースは、無線リンク（例えばWiFiまたはBluetooth（登録商標）接続）または有線（ケーブル）接続（例えばネットワークケーブルまたはＵＳＢ接続）を介した通信を提供することができる。
【００６２】
デバイス７００は、また、ユーザ入力およびコマンドを受入れるためのキーボード７１８をも含み、ユーザに対してデータをプレゼンテーションするためのディスプレイ７２０を含む。該ディスプレイは、本発明によって構築された手持ち式デバイスのディスプレイスクリーンを含むことができ、そうでなければ、本発明のアプリケーションソフトウェア実施形態がインストールされるホストコンピュータのディスプレイを含むことができる。デバイスはまた、楽譜のオーディオ演奏を制作できるスピーカといったオーディオ出力７２２をも含む。オーディオ出力部７２２は、また、プライベートリスニング用のヘッドホン接続またはその他のライン出力接続をも含み得る。
【００６３】
デバイス７００はまた、レンズおよびシャッター制御ボタンを有する一体型デジタルカメラシステムといった画像捕捉部７２４をも含んでいる。この画像捕捉部は、ＵＳＢポートまたは無線Bluetooth（登録商標）リンクといったネットワーク接続を介してホストコンピュータにデジタルカメラをするような、外部接続されたシステムで良い。該デバイスはまた、デバイスに接続されたマイクロホンといったオーディオ捕捉部７２６をも含んでいる。
【００６４】
〔使用例〕
以下に記すのは、本発明の実施形態をいかに使用できるかを例示する、デバイス利用のシナリオである。
【００６５】
Ａ） ジョニー（１１才）は、バッハのチェロ組曲第１番プレリュードの第１８小節に少し問題がある。彼はeMuseを取り上げ、これをオンにし、それを第１７〜１９小節にポイントし（これを彼はＬＣＤモニターを通して観察する）、小さなスタートボタンを押し、「チェロ」の音色を選択し、「演奏」を押し、デバイス上での第１７〜１９小節の再生を聴く。同時に、彼は、ＬＣＤを見て楽譜と並走するカーソルを考察する。ジョニーは、もう一度その音楽パッセージを、今度はすこし遅い速度で聞きたく思い、そこで彼はそれ相応にテンポを調整し、「演奏」を再び押す。音楽パッセージを理解したことに満足して、彼は自ら試しに演奏してみることにするが、同時にそれを今聞いたものと比較したいとも思う。そこで彼は、「記録」を押し、自分のチェロでその音楽パッセージを演奏する。ただ再度チェックするだけのために、彼は自らのパフォーマンスを再生して聴く。
【００６６】
彼は又、この作品の「ミュージックカード」を挿入するだけで、ＣＤを見つけることなく、例えば第１〜２０小節といったその曲のより広い範囲、あるいは実にその全曲を聴くこともできる。次に、彼は、自ら特定するどの場所ででも聞くであろうし、又、ＬＣＤ上の音符と共にカーソルをフォローすることもできると思われる。
【００６７】
彼はまた、内蔵型チューナーで自らのチェロのチューニングをチェックすることもでき、内蔵メトロノームで自分のリズム精度および／または速度をチェックすることもできるだろう。
【００６８】
Ｂ） サマンサ（１６才）は、ギター演奏を独習している。かなり才能があり、一定のリズムで即興のソロ演奏を試みたいと考えている。特定の好きな歌のいくつかのリズムセクションの記された音楽書をいくつかもっているため、eMuseを取り出し、８小節のリズムをスキャンし、要望の音色として「パーカッション」を選択し、デバイスのライン出力を用いて自分の家庭用コンピュータのスピーカを通してサウンドを再生する。リズムを何度か聞くと、彼女は、毎回少しずつ何かを変えてそれらのリズムで即興を試し始める。
【００６９】
Ｃ） ハンマー氏（５８才）は、つねにピアノを習いたいと思ってきた。そしてついにレッスンを受ける決心をする。ショパンのノクターンが特に好きであるが、自分自身の練習では、右手の７音符群に対し左手で６音符群を弾くノクターンＯｐ２７、第２番の最後から２番目の小節を演奏することができない。彼は、２階にある自らのＰＣでこのノクターン用「ミュージックカード」をダウンロードし、次にこの「ファイル」を１階のリビングルーム内のピアノベンチ上にある自らのeMuseに伝送する。このファイルには、これがピアノ作品であるという事実が含まれていることから、デフォルトの音色はピアノである。彼はキーパッド上でｍ．７５を指定し、かくして当該小節に直行する。ピアノに腰をかけたままそれを何回か聴き、それを２回の再生の間に自ら弾いてみる。その後出発点から上にｗ．６０まで戻って、最後の全ページ（Schirmer版、Mikuli編）を聞く。
【００７０】
Ｄ） ジュリー（１５才）は７年間ピアノを習ってきた。彼女はバルトークのピアノソナタの最終楽章の初めにある変拍子に若干の問題をかかえている。彼女はこの曲の「ミュージックカード」を数週間前にダウンロードし、それ以降一時の間それに基づいて練習してきている。彼女は「ミュージックカード」を挿入し、eMuseを取り出し、最終楽章の２０〜２４小節を「写真撮影」する。その後、「再生」ボタンを押し、デバイスは、ＯＣＲ情報をミュージックカード内に符号化されたものと整合させることによってこれらの小節を再生する。彼女は、これら４つの小節を数回聴く。最初は比較的ゆっくり、次に徐々に速くして、その後、オープニングセクション（第１〜２７小節）全体を聞くことに決めて、このことをキーパッド上で指定する。彼女には何かを再度「写真撮影」する必要は全くない。今やデータはミュージックカードから直接読み取られている。
【００７１】
Ｅ） アレックス（１３才）は、数年間中学校のバンドでクラリネットを演奏してきた。彼のバンドの指導者は、記念日パレードのためにグループにスーザの行進曲のリハーサルを行っており、クラリネットセクションのテンポが速くなることが多いので、指導者はこれらの学生のためにこの行進曲の４枚のミュージックカードを持ってきた。夕食後の練習時間になった時、アレックスは、自らのミュージックカードを学校に忘れてきたことに気づいた。そのため、彼はＰＭＬサイトまで行き、自分の家庭用ＰＣ上にもう１つのミュージックカードをダウンロードした。これを自らのeMuseに転送し（無線）、ヘッドホンをプラグに差し込み、第２楽節の終りにある第１４〜１６小節（彼にとって最もむずかしい部分の１つ）を「写真撮影」し、「クラリネット」の音色を選択した。eMuseは、第１４〜１６小節クラリネットパートのＯＣＲ情報を同じ小節のミュージックカード情報と整合させ、「演奏」を押したとき、アレックスには全バンドがこれらの小節を演奏しているのが聞こえた。彼を助けるため、クラリネットパートのみがＬＣＤ上に（カーソルと共に）表示された。従って彼は、アンサンブル全体を聴きながら、自らのパートをフォローすることができた。
【００７２】
Ｆ） ジェイニー（９才）は、バイオリンを弾き始めたばかりである。彼女はあの本の中の２曲目（その週の課題）の音符およびリズムに若干問題があるが、彼女の両親は彼女に、評判の良い教則本の「ミュージックカード」を持ってきた（買ってきた）。彼女はそのミュージックカード（これは該教則本がその楽器のためものであることからデフォルトで自動的に「バイオリン」の音色になる）、ＬＣＤ上のプロンプトに従ってキーパッド上で第２の曲を指定し、「演奏」を押し、曲を聴き、カーソルが音符と共に彼女を導くにつれてＬＣＤを見る。第５〜８小節を再び聞きたいため、彼女は、ＬＣＤプロンプトが再び何か聞くかと尋ねた後にキーパッドでこれらの小節を指定する。
【００７３】
Ｇ） ＮＹＵの学生であるジョンは、学内上演のためウェストサイドストーリーの歌を習っている。彼は、熟達したバリトンであるものの、それでもなお公式のリハーサルの間でさえ伴奏者と練習することがきわめて有益であると考えている。しかしながら大学生として彼の予算は極めて限られており、従って望むだけ頻繁に、補助してくれる伴奏者を依頼する費用を負担できない。
【００７４】
誕生日プレゼントとしてeMuseをもらったジョンは、ウェストサイドストーリーのミュージックカードを購入し、それをデバイス内に挿入し、位置ホイールを自分が始めたい歌まで進ませ、メニューホイールからダイヤルインする「ミュージック・マイナス・ワン」の見出しから「ピアノパートのみ」を指定する。その後、メニューホイールから「無線からステレオへ」をダイヤルインし、かくしてオーディオ信号をeMuseの無線機能を介して自分のステレオシステムまで送り、自ら練習したいあらゆる歌をピアノパートと共に歌う。彼は自分自身の音楽を見るかまたはカーソルをフォローするべくeMuseのＬＣＤを見ることができる。彼は、ピッチを変更せずにテンポを変化させること、そして望むだけの回数あらゆる歌に進むことができる。eMuseは彼の伴奏者となる。
【００７５】
〔製品操作〕
「ミュージックカード読取り装置を有する手持ち式デバイスの操作のまとめ」
ユーザは製品のミュージックカードスロット内にミュージックカードを挿入し、楽曲を選択し、音色を選択し、テンポを選択し、曲の中の１つの場所（「音楽パッセージマーカー」）を選択し、演奏ボタンを押す。停止ボタンは音楽を停止させる。演奏ボタンは、音楽パッセージの演奏を初めから、または先行セッション内で離れた場所（「演奏場所マーカー」）で再び取上げて開始させる。ただしユーザが戻り矢印ボタンを押した場合には、演奏場所マーカーは音楽パッセージマーカーまで戻るように移動する。
【００７６】
音量およびテンポか音楽パッセージマーカーの場所のいずれかを除いて、全ての選択は、単一ホイール／ボタンまたはノブ／ボタンの組合せによって行なわれる（図１で、「メニューホイール」１２０と「ネクスト」のボタン１３０）。こうして、コストおよびユーザの気後れの両方が削減され、ハードウェアを変更することなく新しい選択肢が付加されることになる。スクリーンはリストを表示し、「メニュー」ホイールまたはノブはカーソルまたはテキスト強調表示をこのリストを通して移動させ、「ネクスト」のボタンは、表示された選択肢を選択する。デフォルト音色およびテンポの選択はファイルに内蔵されており、かくして大部分のケースにおいて、ユーザは単純にこれらを通して事を進める。
【００７７】
開始後にひとたび操作が進行すると、メニューホイール１２０は役割を変更し、テンポまたは音楽パッセージマーカーの場所のいずれかをつねに制御する。それがテンポを制御する場合には、音量および音楽パッセージマーカーは別々のホイールを有する。それが音楽パッセージマーカーを制御する場合には、音量およびテンポは別々のホイールを有する。３つの別々のホイールを有する理由は、次の２つである：
・ ユーザは、演奏が始まった後で音楽パッセージマーカーのテンポ、音量または場所を変更したいと考えるかもしれない。別々のホイールはこれを容易にする。
・ 音量コントロールは、アナログポテンショメータで良い。
【００７８】
「詳細」
〔オン／オフ〕
ユニットは、ユーザがオン／オフボタンを押したときにパワーアップする。これは又、フラッシュドライブが挿入されたときでもパワーアップし得る。それは、フラッシュドライブが取り外されたときまたは選択された非起動期間の後、またはユーザがオン／オフボタンを再び押したときに遮断する。
【００７９】
〔メニューシーケンス〕
電力印加時に、ユニットはメニューシーケンスに入る。これは、演奏が始まる前にユーザが行なわなくてはならない一連の選択である。それはリストシーケンス（通常は２つのみ）として現われる。ユーザはメニューホイールで各リストを通してスクロールすることができる。ネクストボタンは、強調表示された選択肢を登録し、次のステップまで移動する。
【００８０】
リストシーケンスは動的であるが、以下のものを含み得る。
１． １つしか存在していない場合を除き、フラッシュドライブ上の曲または楽章のリスト（通常は、複数存在する）。
２． 各ボイスを演奏するための音色。通常は、キーボード音楽についてさえ１つしか存在しない。デフォルト音色がファイルに内蔵されることになる。
【００８１】
リストが提示されるにつれて、スクリーンは以下のように現われる。
・ 最上部全体に：選択肢を命名する見出し、
・ 下方片側：１つが強調表示された状態でのリスト
・ もう１方の側：１つの項目を選択するためユーザがホイールを使用し、次にネクストボタンを押さなくてはならないという、効果に向けての簡潔な命令。これらの命令は、ホイールおよびボタンについてのラベルの形をとり得る。最後の選択が行なわれた後、ユニットは演奏モードに進む。
【００８２】
〔演奏〕
ユニットが演奏モードにあるとき、スクリーンは、中央に記譜（１またはそれ以上の場所マーカーを伴う）、そして恐らくはその調整ホイール近くに現行のメトロノームマーキングを表示する。
【００８３】
〔記譜〕
記譜（music notation）は、スクリーンの物理的サイズに従ってディスプレイスクリーン上に提示される。一般に、単一の譜表または譜表系を示すのに十分なサイズが利用可能である。
【００８４】
〔位置づけ〕
製品は音楽内の２つの場所を追跡する。すなわち演奏すべき音楽パッセージの初めとしてユーザが選択した点（「音楽パッセージマーカー」）および現在演奏中の箇所（「演奏場所マーカー」）である。音楽パッセージマーカーは、例えば演奏中の小節を表示するためにデバイスにより記される。演奏場所マーカーは、ここではカーソルとして記述されている。好ましくは、ユーザは、戻り矢印ボタンが音楽パッセージマーカーの場所まで演奏場所マーカーを移動させることからまたは位置ホイールが一度に両方のマーカーを移動させることから、演奏場所マーカー（カーソル）のみを示すように選択することができる。
【００８５】
一般に、演奏場所マーカーは再生中外観を変えない。ディスプレイ上の音符は、再生中に音を出しているとき、色または輝度を変えることになる。
【００８６】
位置づけに影響を及ぼすコントロールは、音楽パッセージマーカーホイール、演奏ボタンおよび戻り矢印ボタンである。２つのボタンは、音楽パッセージマーカーに影響を及ぼすことなく演奏場所マーカーを移動させ、ホイールは両方のマーカーを移動させる。
【００８７】
〔テンポ〕
ユニットが演奏モードに入ったとき、スクリーン上にはデフォールトテンポが、ホイール近くでメトロノームマーキング１４２の形で表われる。テンポはいつでも変更可能である。
【００８８】
〔製品コントロール〕
「リセットボタン１３０」
電力が印加されたばかりであるかのように、操作シーケンスを再始動させる。ディスプレイは、ミュージックカードドライブ上の曲リストを示す。
【００８９】
〔ネクストボタン１３０〕
メニューホイールにより制御されたリストから強調表示された項目を選択し、次のステップに移行する。メニューシーケンスがひとたび完了すると、ネクストボタンは無効となる。リセットボタンが押されるかまたは電源スイッチがすぐに入れ直されるまでメニューホイールはテンポを制御し続け、あらゆる変更が直ちに反映される。
【００９０】
〔メニューホイール〕
「ファイル選択」
上記「メニューシーケンス」を参照のこと。
「音色選択」
上記「メニューシーケンス」を参照のこと。
【００９１】
〔テンポホイール１１８〕
テンポホイール１１８は、音楽パッセージの再生テンポを制御する。
【００９２】
〔音楽パッセージマーカーホイール〕
音楽パッセージマーカーの制御はメニューホイールを通して行なわれる。音楽パッセージマーカーモード内のメニューホイールの好ましい操作は以下の通りである：
【００９３】
ホイールが移動させられた時にユニットが演奏中である場合、ユニットは停止する。
・ ホイールを移動させると、演奏場所マーカーの位置から出発して、音楽パッセージマーカーおよび演奏場所マーカーの両方を移動させることになる。
・ ホイール速度とマーカー移動速度の間の関係は、非線形となる。ホイールをゆっくりと移動させると、マーカーはゆっくりと移動するが、ホイール速度を２倍にするとマーカー速度は２倍以上となる。メタ制御が、我々が経験できるような形で曲線の２次導関数を調整することになるが、これでは十分でない可能性がある。２次導関数はそれ自体が曲の長さの関数であるべきである確率が高い。ユーザは、終日ホイールを回し続けなくとも長い曲の途中で移動することができなくてはならない。同時に、ユーザが短い曲を練習している場合に、高速移動によってユーザがあっという間に曲の最後に行ってしまうことがあってはならない。
【００９４】
〔音量ホイール〕
再生音量の制御は音量ホイールを通して行なわれる。
【００９５】
〔再生ボタン１２６〕
再生場所マーカーで再生を開始し、マーカーを移動させる。
【００９６】
〔停止ボタン１２８〕
演奏を停止させる。演奏場所マーカーをそれが在る場所に放置する。
【００９７】
〔戻し矢印ボタン（音楽パッセージの初めに移動する）〕
該当する場合、演奏を停止させ、演奏場所マーカーを音楽パッセージマーカーまで移動させる。
【００９８】
〔メタコントロール〕
〔スクリーン〕
エミュレートされた製品コントロールがそれと共に現われるウィンドウをサイズ設定し直すことにより、ランタイムでスクリーンのサイズおよび形状を設定することができる。解像度、明度、輝度およびコントラストに対する限度を設定するためにメタコントロールを付加することができる。
【００９９】
〔ファイル〕
デバイスは、標準的Music XMLファイル上で動作し、また、これらのファイルの縮約したまたは圧縮した形態を処理することができる。
【０１００】
〔ミュージックカードフラッシュドライブ〕
フラッシュドライブインタフェース１０６は、さまざまなフォーマットのメモリカードを受け入れる。換言すると、Music XMLファイルを格納しているディレクトリを選択するためにメタ制御が用いられる。このときデバイスは各々のメニューシーケンスの始めにこれらのファイルを表示する。フラッシュドライブを表わすディレクトリがサブディレクトリを格納している場合、それらは表示されない。機械に実際のフラッシュドライブが挿入されると、それを選択することができる。
【０１０１】
本発明は、以上で、本発明の知識を伝えるような形で現在好まれている実施形態に関して記述してきた。しかしながら、本明細書には特定的に記述されていないものの本発明を応用できる楽譜捕捉およびプレゼンテーションシステムのための数多くの形態が存在する。従って本発明は、本明細書で記述されている特定の実施形態に制限されるものとして見られるべきではなく、むしろ、本発明は、楽譜の捕捉およびプレゼンテーション全般に関して広く応用されるものとして理解されるべきである。従って添付のクレームの範囲内に入る全ての修正、変更または同等の配慮および実装が、本発明の範囲内に入るものとみなされるべきである。
【図面の簡単な説明】
【０１０２】
【図１】本発明の１実施形態に従って構築された手持ち式デバイスを例示する図である。
【図２】本発明の「eMuse１」実施形態に従って構築されたデバイスにより実施される処理を例示する図である。
【図３】本発明の「eMuse２」実施形態に従って構築されたデバイスにより実施される処理を例示する図である。
【図４】本発明の「eMuseＸ」実施形態に従って構築されたデバイスにより実施される処理を例示する図である。
【図５】本発明による合成オーディオ演奏の再生のため本発明によって制作されたディスプレイスクリーンを例示する図である。
【図６】「聴音」フィーチャを提供すべく本発明によって構築されたデバイスによって実施される処理を例示する図である。
【図７】本発明によって構築されたオーディオ−ビジュアルプレゼンテーションを有する楽譜捕捉および解釈デバイスの１実施形態のブロック図である。
【背景技術】
【０００１】
自らの楽器演奏を上達させたいと願う人は、従来個人的指導および単独での練習活動に依存してきた。個人的指導は非常に有益であり得るが、一般的にかなり費用がかかり、音楽学生の予定に合わせる個人指導者の予約状況に依存している。単独での練習活動は便利であるものの、学生演奏者のパフォーマンスに対する有用で即効的なフィードバックに欠ける。
【０００２】
種々のデバイスが、演奏者の楽器再生パフォーマンスを上達させる一助となっている。例えば、電子メトロノームが、演奏者の一定のカウント維持を助けてくれる。演奏者による練習のために様々な音楽を便利に利用できるようにする、楽譜（シートミュージック）のコンピュータディスプレイ用システムが開発されてきた。例えば、M. Erricoに対する米国特許出願第２００４／００４０４３３号を参照のこと。その他のシステムが、デジタルデータとしての記憶およびその後のコンピュータディスプレイのための楽譜の光学的認識を助けている。例えば、T. Kikuchiに対する米国特許第５，８２５，９０５号を参照のこと。
【０００３】
演奏者が、楽譜の合成パフォーマンス（オーディオ演奏）を利用できかつ、正しいピッチ（同調した状態）でおよび正しいリズムで正しく演奏された楽譜中のむずかしいパッセージをいつでも聴くこと（または事実上楽譜全体を聴くこと）ができれば、有益であろう。このとき演奏者は、正しい演奏方法を複製または再現することにより練習することができるであろう。また、演奏者が、合成オーディオ演奏と同期化されたダイナミックディスプレイ上で楽譜を見て、表示された楽譜に従って楽器を演奏するかまたは歌う練習をすることができれば有益であると思われる。演奏者が自らのパフォーマンスを記録し、その後いつでもそのパフォーマンスを再生して評価し、正しい（合成された）演奏と比較することができればこれもまた有益であると思われる。このようにして、楽器（または声楽）の演奏を練習したいと考えている誰でも、正しい音楽合成演奏に促されて、その後その楽譜の自分自身のパフォーマンスを評価することができるであろう。さらに、正しい合成演奏と共に演奏者が演奏する（または歌う）ことができれば有益であると思われる。
【特許文献１】米国特許出願第２００４／００４０４３３号公報
【特許文献２】米国特許第５，８２５，９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
かくして、より便利な楽譜捕捉、パフォーマンス記録、そして合成されたパフォーマンスおよび分析の技術に対するニーズか存在する。本発明は、このニーズを満たすものである。
【課題を解決するための手段】
【０００５】
本発明は、独奏、重奏、独唱または重唱またはそれらの任意の組合せのための楽譜の１パッセージ（または楽曲全体または１つの歌）の捕捉およびその後の解釈、合成されたオーディオプレゼンテーションおよびこのオーディオプレゼンテーションに対応する当該楽譜のビジュアルプレゼンテーションの同期化された同時ディスプレイを生成するためにデータ処理を提供し、演奏者の音楽的パフォーマンスを後で再生する目的で記録するのをサポートする。これらの特徴を提供するための手段には、ホストデジタルコンピュータ上のアプリケーションソフトウェアが含まれ得る。代替的には、これらの特徴は、内蔵型である手持ち式デバイスによって提供され得る。ホストコンピュータおよび手持ち式デバイスの両方の実施形態共に、楽譜のデジタル表現を受信するための手段、楽譜のビジュアルプレゼンテーションを示すディスプレイおよび楽譜の同期化された合成オーディオ演奏用の設備を含む。楽譜のデジタル表現は、デジタル画像捕捉デバイスから、またはネットワーク接続を介してデータソースから受信可能である。この実施形態はまた、、ユーザパフォーマンスの記録およびユーザパフォーマンスの再生を提供することができる。本発明によると、コンピュータデバイスが楽譜データのオーディオプレゼンテーションを制作することができかつ該オーディオプレゼンテーションに対応する音符の同期化されたビジュアルプレゼンテーションを制作できるように、外部ソースから楽譜データを受信することができる。
【０００６】
その他の実施形態は、付加的な柔軟性およびより便利なオペレーションを提供することができる。例えば、デジタルデータ形式で全音楽作品、大量の作品、教則本などを記憶できる外部メモリカードを受入れるように、手持ち式デバイスを適合させることができる。インターネットおよび／またはテレコムインタフェースがデジタルデータ形式でのダウンロードを可能にし得る。例えば、デバイスは、デジタルデータ形式で楽譜をダウンロードできる。かかるダウンロードは、外部メモリカードまたは類似の媒体の中に記憶可能である。入力された楽譜データの画像捕捉は、楽譜のデジタル写真撮影または光学的走査によってサポートされ得る。アプリケーションソフトウェアの実装は、パフォーマンス評価特性および再生サポート特性を含み得る。
【０００７】
ユーザが２つ以上の楽器または２つ以上のボーカルライン（またはその任意の組合せ）のための楽譜をデジタル式に捕捉し、合成されたオーディオプレゼンテーションを楽譜の特定された楽器またはボーカルラインから除外させて（「マイナス・ワン」）ユーザが合成オーディオプレゼンテーションと共に演奏および／または歌うことができるようにすることを選択できるように、「ミュージック・マイナス・ワン」特性を提供することができる。楽譜の同期化されたビジュアルプレゼンテーションは、もとのデータの楽器および／またはボーカルパートのいずれかまたは全てを含むことができる。ユーザは、付加的な楽器またはボーカルラインといった合成オーディオプレゼンテーションの２つ以上のパートを除外させて、結果として除外された要素の数に応じて「ミュージックマイナス・ツー」または「ミュージックマイナス・スリー」等々を得ることを選ぶこともできる。
【０００８】
本発明のその他の特徴および利点は、本発明の原理を例を用いて示す好ましい実施形態についての以下の記述から明らかとなるはずである。
【発明を実施するための最良の形態】
【０００９】
１つの実施形態においては、本発明の特徴は、デジタルコンピュータ上にインストールできるアプリケーションを含むソフトウェアの形で実施される。ソフトウェア実装は好ましくは、演奏者のための入力および出力インタフェースを提供する。すなわち、ソフトウェアがインストールされるホストコンピュータは標準的に、演奏者が合せて歌ったりその楽器を奏でたりするために読取ることのできる楽譜のビジュアルプレゼンテーションを制作するためのディスプレイを含んでいる。該コンピュータはまた、標準的に、演奏者のセッションを記録するためのマイクロホンといった入力インタフェースを含み、かつ演奏者が記録されたパフォーマンスを聴くことができるようにするためのスピーカといった出力インタフェースを含む。コンピュータ実装は、光学的入力手段を介して譜表上の音符からなる楽譜がデジタル化され、次にコンピュータ内に入力され得る画像捕捉を含み得る。デジタル化された楽譜は、ＯＣＲ技術を介して解釈され得、結果として得られた解釈済みデータは、該当する場合には適切なピッチでの合成ボーカル演奏整合ワードを含む楽譜の合成オーディオ演奏を制作すべく処理され、かくして、オーディオ演奏は、楽譜のビジュアルプレゼンテーションと同期化されることになる。以下で提供するさらなる詳細説明においては、コンピュータソフトウェア実装は、「レベルＸ」実装と呼ばれるかまたは、「eMuse X」製品（「eMuse」という名前は、本発明に関する全権利の譲受人である米国ニュージャージ州プリンストンのPrinceton Music Labs LLC製の製品実施例を意味する）と呼ばれている。
【００１０】
もう１つの実施形態においては、本発明の特徴は、ディスプレイ、入力インタフェース、オーディオおよびビジュアル出力インタフェース、およびＯＣＲ画像解釈インタフェースを含む手持ち式デバイスの形で実施される。手持ち式デバイス実装は、種々の便利なユーザ制御ノブおよびデバイス機能の便利なナビゲーション用機構を含む。ディスプレイは、ユーザによる機能の選択のためのメニューオプションのビジュアルプレゼンテーションをサポートする。
【００１１】
以下でさらに記述する通り、コンピュータデバイスは、外部ソースから楽譜データを受信することおよびその後楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作することにより、楽譜データを解釈し処理する。
【００１２】
外部ソースは、ネットワーク接続を介してコンピュータデバイスに楽譜データを提供するためのネットワークデータソースで構成できる。ネットワーク接続は、無線接続を介したコンピュータデバイスとネットワークとの間の通信からなることができる。
【００１３】
楽譜データは、後に記録済み媒体から楽譜データを得ることになるコンピュータデバイスの読取り装置の中に該記録済み媒体を受入れることによって、該記録済み媒体から読み取ることができる。該記録済み媒体は、合成された音楽制作用の電子楽器デジタルインタフェース（ＭＩＤＩ：musical instrument digital interface）仕様に従った合成オーディオ演奏のために十分なデータを格納する。すなわち、コンピュータデバイスは、楽譜を特定するデータを受信し、選択されたテンポ、音色、音符記号、調号、拍子記号などによって、対応する音楽を生成または合成することができる。記録された媒体として、フラッシュメモリデバイスを含むことができる。
【００１４】
コンピュータデバイスは、楽譜のユーザパフォーマンスを記録し、記録されたユーザパフォーマンスの再生を提供する能力を備えることができる。ユーザパフォーマンス再生は、合成楽譜演奏とは独立した形で行うこともでき、そうでなければ同時に行うこともできる。さらに、記録済みユーザパフォーマンスに対応する音符のビジュアル表現と共にユーザパフォーマンス再生を提供することもできる。このようにして「聴音」フィーチャが提供される。
【００１５】
一変形形態では、楽譜の同期化されたビジュアルプレゼンテーションおよび合成オーディオ演奏の両方を生成するためにデバイスによって使用される楽譜データは、楽譜のデジタル画像を光学的に捕捉し、次にデジタル情報を解釈および処理して、適切な音符を表わすデータコレクションを制作し、かくして、その楽譜に対応するデータを生成するデバイスによって得ることができる。
【００１６】
さらに、全てがユーザにより調整され得る、楽譜データの合成オーディオ演奏の特性を決定する音楽コンテキスト情報が提供され得る。かかる音楽コンテキスト情報は、多重調号、拍子記号音色、テンポおよびレガート、クレシェンド、リタルダンドなどといった表情記号を含むことができる。
【００１７】
別の変形形態においては、楽譜データのオーディオ再生および音符のビジュアルプレゼンテーションを制作する段階は、ネットワークデータソースとの通信を通してもたらされる。望ましい場合、ネットワークデータソースは、コンピュータデバイスに対して楽譜データを提供する。さらにもう１つの変形形態においては、ネットワークデータソースはコンピュータデバイスに対して、楽譜データの合成オーディオ演奏の音楽的特性を決定する音楽コンテキスト情報を提供し得る。また、ネットワークデータソースは、無線接続を介して音楽コンテキスト情報を提供することができる。
【００１８】
ある変形形態においては、楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する段階は、コンピュータデバイスの読取り装置の中に記録済み媒体を挿入することによってもたらされる。望ましい場合、コンピュータデバイスは記録済み媒体から楽譜データを獲得し、該記録済み媒体はまた、楽譜データの合成オーディオ演奏の音楽特性を決定するため、コンピュータデバイスに対して音楽コンテキスト情報を提供することもできる。
【００１９】
１つの任意の特徴は、楽譜のユーザによって楽器および／またはボーカルパフォーマンスの記録を提供することにある。もう１つの変形形態は、電子楽器デジタルインタフェース（ＭＩＤＩ）仕様に従って、合成オーディオ演奏を制作することである。さらに、ビジュアルプレゼンテーションを制作する段階は、対応する合成オーディオ演奏と同期化された楽譜を表示する段階からなり得る。別のオプションは、楽譜データのオーディオ演奏およびビジュアルプレゼンテーションの両方の再生、および記録済みユーザパフォーマンスのオーディオ成分とユーザパフォーマンスにより生成された楽譜の同期化された対応するビジュアルディスプレイの両方の再生である、同時再生を提供することにある。
【００２０】
本発明によると、コンピュータデバイスは光学的に楽譜をデジタル捕捉してデジタル画像を解釈し、デジタル捕捉された楽譜に対応する、コンピュータデバイスのための楽譜データを生成し、その楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作することができる。該コンピュータデバイスは、楽譜データの合成オーディオ演奏の音楽特性を決定すべく、コンピュータデバイスによって使用される音楽コンテキスト情報を受信することができる。上述の変形実施形態と同様に、音楽コンテキスト情報は、楽譜データの合成オーディオ演奏の音楽特性を決定すべくユーザにより選択することのできる多くの調号、拍子記号、音色、テンポおよび、レガート、クレッシェンド、リタルダンドなどといった表情記号を含み得る。オプションとして、コンピュータデバイスは、光学的にデジタル捕捉した楽譜から音楽コンテキスト情報を識別し、あるいはネットワークデータソースから音楽コンテキスト情報を得ることもできる。望まれる場合には、ネットワークデータソースは、コンピュータデバイスとの無線接続を介して音楽コンテキスト情報を提供する。
【００２１】
コンピュータデバイスには、合成演奏および／またはユーザにより記録されたパフォーマンスのためのオーディオ再生用の独自のスピーカを備えることができる。さらに、該デバイスは、ヘッドホンまたは外部スピーカなどへの接続のための出力ジャックを含むことができ、また、（無線コンポーネントで駆動されているホームステレオシステムのような）無線サウンド再生システムに対し、デバイスがオーディオパフォーマンスを伝達できるような無線伝達能力も備えることができる。デバイスは、予め定められた長さの音楽パッセージを記録することができるようにするために十分な演算用のメモリを有する。
【００２２】
以下の付加的な詳細説明は、手持ち式デバイスの実装におけるさまざまなフィーチャー実装に言及しており、それぞれに「レベル１」および「レベル２」または「eMuse 1」および「eMuse 2」と称する。
【００２３】
以下の説明は、デジタルコンピュータデバイス上にインストールできる音楽再生ソフトウェアについて記述しており、またここで集合的にeMuse製品と呼ばれている手持ち式シートミュージック読取りデバイスの実施形態についても記述している。「カンパニー」についての言及は、eMuse製品の適切なオペレーションのためのデータまたはその他のサポートを提供するエンティティを意味する。「ＰＭＬ」という言及は、「カンパニー」、Princeton Music Labs, LLC（本発明の全ての権利の譲受人）、またはその他の適切なサポートエンティティに対する言及である。
【００２４】
「製品実施形態の説明」
添付図１は、本明細書で記述される機能性および特徴を提供する手持ち式デバイスを例示する。
【００２５】
図１は、全て実時間でほぼ同時に、シートミュージックから選択済み音楽パッセージ（いくつかの小節か、さらには一頁全体かのいずれか）の画像を捕捉し、フォーマット化しかつデジタル的に音楽パッセージを符号化し、次に選択済みパッセージを演奏する手持ち式で電池式の「全自動」家庭用電子機器としてのeMuse製品１００を示す。再生サウンドは、楽器特定的であり、ユーザが選択する音色（すなわち、ピアノ、バイオリン、フルートなどのサウンド）で演奏する。多くの音色を同時に演奏させることもできる。該デバイス１００は、調号、拍子、音量およびテンポといった音楽的変数を認識し、フォルテ、ピアノ、クレッシェンド、レガートなどといった発想記号を考慮する。ＬＣＤスクリーン１０２が、デバイスにより再生すると、その音楽パッセージ１０４を表示し、演奏されている各音符が一意の色で強調表示されて、それを楽譜の残りの部分と区別する。
【００２６】
図１のデバイス１００は、カンパニーのウェブサイトからダウンロードされたかまたは予め記録された１またはそれ以上の楽曲が符号化されたデータカード（図示せず）の挿入をサポートし、特定の小節を迅速に参照できるようにするデジタル「ミュージックカード」フィーチャを内蔵している。データカードは、例えば、携帯電話およびデジタルカメラによって一般的に使用される書き込み可能な媒体であり得る。該データカードは、デバイス１００のカードスロット１０６内に収容される。デバイス１００はまた、符号化された楽曲を表わすデジタルデータを用いても機能する。符号化された楽曲を、カンパニーのウェブサイトからダウンロードすることもできる。ダウンロードされたファイルはまた、デバイスのメモリ内にセーブされ得る。符号化された楽曲は、リスニング経験を豊富にし、楽譜の特定の小節を迅速に参照できるようにする。
【００２７】
デバイス１００の記録／再生フィーチャによって、ユーザが、楽譜を参照しながら記録されたパフォーマンスを直ちに評価できるようにする。すなわち、デバイス１００は、楽曲のユーザによるパフォーマンスを記録し、受信した楽曲の再生と共に（またはそれと同時に）ユーザパフォーマンスを再生することができる。ユーザパフォーマンス再生は、対応するビジュアルプレゼンテーションと共に提示され得、この明細書中でさらに記述されている「聴音」フィーチャを提供する。デバイスには、メトロノームと楽音チューナ能力の双方も内蔵されており、デバイスは、「ミュージック・マイナス・ワン」のために調整可能である。多譜表または多パートの楽曲においては、「ミュージック・マイナス・ワン」フィーチャによりユーザは、楽曲のどのパートがＭＩＤＩインタフェースによって再生されることになるかを決定することができる。こうしてユーザは、デバイスと共に特定のパートを演奏し歌うことができるようになる。
【００２８】
図１は、フタまたは上面１０８の下側に内蔵されたＬＣＤディスプレイスクリーン１０２を有する押上げ式フタ１０８を伴う手持ち式デバイスとしてデバイス１００を示す。該デバイスはまた、音楽再生用スピーカ１１０（図１にステレオ対が例示されている）およびユーザパフォーマンスを記録するためのマイクロホン１１２をも内蔵する。図１に示されているように、画像捕捉能力を実装することができ、ここで押上げ式フタ１０８は、その外側表面内に取付けられ画像捕捉を目的として、レンズシャッターボタン１１４により起動される光学レンズからなるカメラシステムを含む。さまざまなユーザインタフェースコントロールが提供されており、音量１１６、再生テンポ１１８、メニューナビゲーション１２０および位置１２２を調整するためのサムホイールとして示されている。デバイス１００には、ネットワークまたはその他のデバイスとさらに容易に接続するため、ＵＳＢポート１２４が具備され得る。オン／オフスイッチ１２５がデバイス１００をオンおよびオフ切替えする。
【００２９】
図１に例示されているように、楽譜の演奏（合成パフォーマンス）およびユーザパフォーマンスの再生が関与する機能を制御するために、制御ボタンも提供されている。図１は、演奏／一時停止１２６、停止１２８、ネクスト／リセット１３０および録音１３２という機能のための制御ボタン例を示している。図１はまた、タイミングインジケータを示しテンポホイール１１８と相関されるメトロノーム読出しディスプレイ１３４をも示す。メトロノーム機能およびデバイス１００のその他のフィーチャの選択は、メニューホイール１２０および／または位置ホイール１２２の操作と併用してディスプレイ１０２のメニューナビゲーションで達成される。選択は、ネクスト／リセット制御ボタン１３０の操作を通して達成できる。キーボードまたはキーパッド１３５を用いて、キーパッドの専用機能キーを介した入力またはキーパッドからの英数字入力を行うことができる。ディスプレイスクリーン１０２上では楽譜１０４からの音符のグラフィック画像がスクリーンを横断して移動している状態で提供され、個々の音符はオンスクリーンで現われるかまたは、音符が演奏されとディスプレイ内で強調表示される。ディスプレイは好ましくは、楽譜が演奏されると予め定められた音符または小節数が表示されるように、再生中拡張される譜表画像を提供する。
【００３０】
製品の特徴は、次のように要約することができる・
・楽譜を「読取り」それを再生する携帯用「全自動」式デバイス。再生サウンドは楽器特定的であり、デバイスは調整可能な音色（すなわち、ピアノ、バイオリン、フルートなどのサウンド）を有する。それは、調号、拍子、音量およびテンポといった付加的な音楽的変数を認識し取込むことができる。理想的にはそれは、フォルテ、ピアノ、クレッシェンド、レガート、などといった発想記号を認識し考慮することもできる。カーソルを伴うＬＣＤモニターは、デバイスが音楽パッセージを再生するとそれを表示する。
・記録／再生フィーチャにより、ユーザは、楽譜を参照しながらパフォーマンスを直ちに評価することができる。メトロノームとチューナーとの双方も含まれる。
・「ミュージックカード」フィーチャは、曲全体が符号化されたカードの挿入をサポートし、特定の小節を迅速に参照できるようにする。
・eMuse デバイスに内蔵されたソフトウェアは、eMuseが楽譜についてのデジタル化された画像データを受信しそのデータを対応する音符へと解釈し、それを１００％に近い精度率で行うという点で、その他の現在入手可能な製品と異なる。その他の従来のソフトウェア製品は、デスクトップパソコンを用いて、音楽編集者および／または作曲家により使用されるように設計されており、ユーザが手作業で音符の識別における走査またはＯＣＲ誤差を補正することを予想している。かくして、手持ち式でケーブルなしの携帯用デバイスとしてのeMuseは、全ての音楽演奏者が使用するように設計され、かかる使用においては、補正すべき誤差が全くないと予測されている。
【００３１】
〔機能の説明〕
楽譜の「読取り」
デジタルカメラシステム１１４が、楽譜内部のパッセージ（単一の音符、複数の小節さらには一頁全体）の画像を捕捉する。デジタルカメラは、デバイス１００の中に内蔵でき、当業者にとってなじみのあるレンズと画像トランスジューサとの組合せとすることができる。ＬＣＤディスプレイ１０２は、どの小節が捕捉されるかをユーザが正確に見極めできるようにする。該デバイスは単一譜表のミュージカルライン、デュエット、トリオ、クァルテットさらにはまた指揮者用総譜を読取ることができる。デバイス１００は、同時に多数の音色を提供する。
【００３２】
〔音楽およびダウンロード用コンテキスト情報の処理〕
ＯＣＲモジュールは、デジタル化された画像データを含む音楽抄録の「写真」を受信する。調号および拍子といった重要な付加的音楽コンテキスト情報もまた、楽譜デジタル画像を介してかまたは、利用可能な調号および拍子記号を全て列挙する「チートシート」（ＰＭＬウェブサイトからダウンロードされ、次に無線でまたはＵＳＢポートを介してデバイスへ伝送される（以下参照））を介して、ＯＣＲモジュールに送られる。「チートシート」はまた、そこからユーザが所望の音色を選択可能なまたはユーザが所望の音色を手作業で特定（入力）可能なセクションをも含む。
【００３３】
〔ＭＩＤＩシンセサイザ〕
ＯＣＲモジュールは、合成サウンドを制作するＭＩＤＩモジュールに対してサウンド情報を送る。これは、調整可能な音色を提供する。ユーザは、特定の音楽パッセージまたは楽曲用に楽器タイプ（ピアノ、バイオリン、フルートなど）を特定する。該モジュールはまた、ユーザが、ピッチを全く改変することなく楽譜内に示されたメトロノームの速度よりも（該当する場合）低速（または高速）でその音楽パッセージを聞くことができるように、調整可能なテンポをも提供する。デバイスはその固有の小さなスピーカを通して再生し、またヘッドホンジャック１３４およびヘッドホンおよび／または外部スピーカ用の無線機能をも有する。
【００３４】
〔ビジュアルディスプレイ〕
ＬＣＤモニターディスプレイ１０２は、ユーザが、捕捉中の（写真撮影中の）小節が、聴取されるように意図された小節であることを確認するのに役立つ。カーソル１３６を用意しているＬＣＤモニターディスプレイは、ユーザが写真撮影した音楽パッセージまたは記憶済みデータを有するミュージックカードのいずれかから、音楽パッセージが再生されると、楽譜１０４を表示する。カーソルは、特定されたテンポとは無関係に、音楽パッセージが実時間で演奏されると、楽譜内における演奏中の現音符の正確な音楽的位置を指示する。従来のタイプの移動カーソルではなくむしろ、ディスプレイ１０２は代わりに、音符を強調表示する（例えば、それをさらに明るくする）ことによって、または演奏されるときにその他の音符とは異なるディスプレイプレーカラーをそれに与えることによって、演奏中の音符を表示することができる。もう１つのオプションは、特に単一ラインの音楽パッセージについて（英語およびソルフェージュの両方での）音名１３８をＬＣＤディスプレイが示すというものである。音楽パッセージが多数の同時音楽ラインで構成されている場合には、ユーザは音名が表示されているラインを指定することができる。
【００３５】
ディスプレイ１０２はまた、演奏用に選ばれた楽譜の音楽パッセージのインジケータを示す。該インジケータは、音楽パッセージマーカー１３９と称される。図１では、音楽的パッセージマーカー１３９は、円で囲まれた「１」という数字で示されている。その数字「１」は、楽譜の第１小節が現在表示されていることを表わし、円は、再生が第１小節で開始されたことを表わす。再生が次の小節まで続く場合、「１」の代わりに「２」が表示されることになるが、「２」は円で囲まれない。
【００３６】
〔記録用センサー〕
ユーザが、当該音楽パッセージを自ら演奏する（および／または歌う）のを記録しかつ直ちに記録を再生してユーザのパフォーマンスをデバイス１００のもの（すなわち、予め記録されたまたは合成された演奏のもの）と比較することができるように、マイクロホン１１２が具備される。このフィーチャは、学生が、音符、チューニング、リズムおよびダイナミクスの調整を行う上で有益である。上述のように、「聴音」フィーチャを提供するように、マイクロホンを介してユーザパフォーマンスを記録することができる。
【００３７】
〔無線〕
デバイス１００は、好ましくは、ネットワークおよびその他の無線機器対応のデバイスとの無線通信を可能にするため、およびコンテキスト情報と共に符号化済みミュージックファイルのダウンロードを可能にするため、無線バージョンで提供される。本明細書で記述するフィーチャは、携帯式音楽対話のためＰＤＡまたはスマートホンといったような無線プラットフォームにインストールされるeMuse ソフトウェアによって提供することができる。さらに、無線eMuse デバイスは、ホームＰＣおよび／またはステレオシステムのコンピュータおよびメモリ（および再生オーディオ）を使用することができる。
【００３８】
〔電力〕
電力は、再充電可能な電池を介するものである。ＤＣ入力（９／１２ボルト）も、外部接続１４０を通して利用可能である。
【００３９】
〔「ミュージックカード」フィーチャ〕
全曲（または単純な教則本）がデジタル符号化されたカード（情報記憶デバイス）を、カードスロット１０６よりＯＣＲモジュール内に挿入できる。こうして、ユーザは特定の小節を迅速に（聴覚的および視覚的に、上述のビジュアルディスプレイを参照のこと）参照できる。
【００４０】
〔「ミュージックカード」〕
これらは、小売り売買用に利用でき、セキュア・デジタル（ＳＤ）カードまたはコンパクトフラッシュ（登録商標）カードまたはＸＤカード、またはSony Corporationから入手可能である「メモリスティック」デバイスといった従来の媒体を含むことができる。さらに、ＰＭＬは、eMuseユーザのためのパスワード暗号化ダウンローディングに利用可能である、教則本からより複雑なジャズおよびポップス「ヒット」に対する一般的な古典的レパートリに至る範囲に入る実質的な音楽ライブラリ（視覚的および聴覚的の両方の、楽譜のコンピュータファイル表現）を提供することになる。これらのファイルは、ユーザのホームＰＣに対しダウンロード可能となるが、このときユーザは「ミュージックカード」を焼くかまたはファイルを無線eMuseへ伝送するかのいずれかである。
【００４１】
〔ネットワーク通信〕
eMuse デバイスは、音楽小売店（例えば、Ｔｏｗｅｒ、ＨＭＶなど）および着メロプロバイダから、符号化済み音楽ファイルをダウンロードすべく、通信網を介して通信できる。
【００４２】
〔「聴音」〕
別の実施形態においては、ユーザのパフォーマンスをデバイスにより記録し、ユーザの記録済みパフォーマンスに対応する音符の表示を制作するもととなるデータを生成すべく、音符解釈処理にこのユーザのパフォーマンスを付すことができる。このようにして、デバイスは「聴音」（Music Dictation）を取ることができ、又ユーザによるライブのパフォーマンスを、そのパフォーマンスに対応する楽譜のビジュアルディスプレイへと変換させることができる。かくして、デバイスの音楽解釈フィーチャは、光学または電子ネットワーク通信により受信された楽譜データを処理すること、およびマイクロホンにより捕捉されたユーザのライブのパフォーマンスにより制作された楽譜データを処理することの双方ができる。
【００４３】
〔製品バージョン−eMuse１、eMuse２、eMuseＸ〕
本明細書で例示する実施形態は、以下の３つの製品を含む
・eMuse１は、使用を容易にするように設計された直観的コントロールを伴う押上げ式手持ち型ユニットである。これは、一体型カメラおよびＬＣＤディスプレイスクリーンを内蔵し、ユーザがデバイス上の楽譜をポイントすると、ＬＣＤディスプレイ上に楽譜の画像が表示される。ユーザは、制御ボタンをクリックすることにより、デバイスメモリ内の楽譜の全てまたは選択された一部分を捕捉することができる。eMuse著作権ソフトウェアは、音楽コンテキスト情報を含む捕捉済み画像を解釈し、楽譜の合成オーディオ演奏を制作する。音楽が演奏されると、楽譜の同期化されたビジュアル表現がディスプレイスクリーン上に現われ、任意の時点で演奏されている音符はカラーで強調表示される。デバイス上のコントロールは、ユーザがテンポ、調号などを調整するかまたは１またはそれ以上のパートを削除する（「ミュージック・マイナス・ワン」使用向け）ことを可能にする。デバイスは、改良されたオーディオ音色のため外部サウンドシステムに接続する能力を有する。eMuse１はまた、ユーザが作品の自らによるパフォーマンスを記録し、このパフォーマンスをオリジナルと比較できるように（聴音フィーチャを含めた）記録および再生フィーチャをも内蔵する。
・eMuse２は、一体型ミュージックカード読取り装置に追加した、eMuse１のフィーチャおよび機能性の全てを内蔵している。ミュージックカードは、音楽コンテキスト情報を含む楽譜データで予め符号化された形態またはブランク形態という２つの形態で入手可能となる。ブランクミュージックカードを用いると、ユーザは、インターネットウェブサイト（ＰＭＬ独自のウェブサイトかまたはeMuse ソフトウェアをライセンス供与した第３者のウェブサイトのどちらか）から楽譜データをダウンロードし、ミュージックカード上にデータを「焼く」ことができる。任意の外部ミュージックカード読取り装置および適切なインタフェースに、ミュージックカードの使用のための他の実施形態（例えば、eMuse１およびeMuseＸ）を具備することもできる。
・家庭用またはスタジオ用に設計されているeMuseＸは、パーソナルコンピュータが、手持ち式eMuse デバイス１００と同じ機能を実行することができるようにするソフトウェア製品である。コンピュータに取付けられたスキャナまたは高解像度ウェブカメラが楽譜のデジタル画像を捕捉し、この画像はユーザのコンピュータのディスプレイスクリーン上に投映される。ユーザはこのとき楽譜の一部分を選択し、選択された部分の合成オーディオ演奏は、コンピュータに取付けられたスピーカを通して演奏される。ユーザはまた、コンピュータのハードドライブに楽譜データをダウンロードすること、またはコンピュータのＵＳＢポートに接続された媒体読取り装置によって読み取られる予め符号化されたミュージックカードを購入することもできることになる。
【００４４】
本明細書に記述されたソフトウェアは、さまざまなプラットフォーム内で使用可能である。例えば、eMuseの態様を、携帯電話カメラが楽譜内の特定の音楽パッセージを写真撮影する高性能携帯電話に内蔵することができる。次に、捕捉された画像は圧縮され遠隔サーバに送られ、このサーバが、対応する音符情報へと画像を解釈すべく画像データについてＯＣＲオペレーションを実行する。サーバは次に、ミディファイルおよびグラフィックファイルの両方を送り返し、このeMuseバージョンが、写真撮影された音楽を演奏し、演奏されているときにＬＣＤ上に音符を表示することができるようにする。
【００４５】
かくして、eMuse ソフトウェアは、それが予めロードされているデバイスに加えて、カメラを備えた電話または類似のＰＤＡといったような選択されたユーザプラットフォームにインストールすることができる。
【００４６】
捕捉済み楽譜画像を対応する音符セットとして解釈するソフトウェアは、機械学習技術を利用し、実質的に実時間で解釈しながら１００％に近い精度を達成するように訓練されることになる。音符画像を対応する音符へと変換するために従来利用可能な記譜法ＯＣＲソフトウェアは、一般に、実際の画像捕捉から離されたときにオフライン編集することが意図されており、１００％近くの精度は達成できない。現在利用可能な楽譜変換ソフトウェアは、Sibelius（登録商標）、Smart-Score（登録商標）およびSharpEye（登録商標）といった会社から調達され得る。
【００４７】
本明細書で記述されている全ての実施形態において、eMuse符号化コンテキストファイルを、WiFi、Bluetooth（登録商標）および／またはその他の電気通信接続といったような有線または無線の電気通信リンク上で受信することができる。
【００４８】
〔eMuse１〕
図２は、eMuse１実施形態の操作を例示するプロセスフロー図である。初期操作では、楽譜のデジタル表現がeMuse１デバイスに対して提供される。該デジタル表現は、eMuse１デバイスと共に動作するデジタルカメラといったデジタル画像捕捉デバイス２０４を用いてデジタル捕捉され印刷されたページといった、eMuse１デバイスに対するビジュアルプレゼンテーション２０２によって受信され得る。光学入力２０６から導かれたデジタルデータは、次に音符データ解釈プロセス２０８に提供される。代替的には、楽譜のデジタル表現は、例えば楽譜に対応するデジタルデータの無線伝送またはネットワークを介したデータの有線伝送、あるいはまたメモリカードまたはその他の媒体といった記憶媒体を通しての入力などにより、電子的に提供され得る（２１０）。楽譜を電子的に受信したバージョン２１０は次に、音符データ解釈プロセス２０８に提供される。
【００４９】
音符データ解釈プロセス２０８は、楽譜に対応するデジタルデータを受信し、それを処理して、楽譜を特定し適当なハードウェアによるその再現を可能にするのに十分な音符セットおよび同時（concomitant）情報を制作する。プロセス２０８は、楽譜デジタルデータ２０６、２１０を認識し適切な変換済みデータを制作するため、機械学習技術で訓練されたプロセッサを含む。該プロセス２０８は、例えば最高ほぼ１００％の精度まで解釈プロセスの精度を増大させるためにニューラルネットワークソフトウェアエンジニアリング技術を用いて訓練可能である。本発明によると、実時間でのユーザに対するオーディオプレゼンテーションおよびビジュアルプレゼンテーションのために入り楽譜データを制作しなくてはならず、従って、入り楽譜データの解釈は実時間でなくてはならず、１００％の解釈（変換）精度に近づかなくてはならない。プロセス２０８は、光学式文字認識（ＯＣＲ）技術を利用するが、音符認識およびデジタルデータ（電子または光学走査で導出されたもの）から適切な表現への解釈のために適合されている。
【００５０】
解釈プロセス出力２１２は、デバイスのディスプレイスクリーン２１４に提供される楽譜のビジュアルプレゼンテーションと、デバイスのスピーカを通したオーディオプレゼンテーションのための適切なデバイスシステムおよびハードウェア２１６に提供される楽譜の合成オーディオ演奏などからなる。
【００５１】
〔eMuse２〕
図３は、eMuse２の実施形態の操作を例示するプロセスフロー図である。図２に描かれた操作は、図３に描かれている操作に類似しており、同じ操作には同じ参照番号が付されている。かくして、図３では、楽譜のデジタル表現は、ビジュアルプレゼンテーション２０２および画像捕捉２０４とそれに続く音符データ解釈プロセス２０８へのプレゼンテーション２０６か、は電子受信とプロセス２０８に対するプレゼンテーション２０６のいずれかによってeMuse１デバイスに提供される。eMuse２実施形態は、楽譜プレゼンテーションのもう１つの代替的手段、つまり、読取り装置またはスロット３０６と結合するするメモリストア３０４を含むミュージックカードインタフェースの使用を追加している。メモリストア３０４は、例えばセキュア・デジタル（ＳＤ）カード、コンパクトフラッシュ（登録商標）カード、メモリスティック媒体などといったデジタル媒体を含むことができ、一方読取り装置３０６は、カード３０４上に記憶されたデータを受入れるために適切なカード読取り装置を含むことになる。楽譜データは、このとき、ディスプレイ２１４およびオーディオ再現（２１６）デバイスに、再生のために提示される。
【００５２】
〔eMuseＸ〕
図４は、eMuseＸ実施形態の操作を例示するプロセスフロー図である。eMuseＸ実施形態は、デスクトップまたはラップトップコンピュータ、ＰＤＡデバイスまたは「スマートホン」といったホストコンピュータデバイスの中にインストールされ得るソフトウェアパッケージを含む。第１の操作４０２において、eMuseＸソフトウェアがインストールされたホストコンピュータは、eMuseＸソフトウェアを実行し始めるように起動される。ホストコンピュータもまた、前述の音符データ解釈プロセス２０８を実行するソフトウェアのインストールを受け、適切な画像捕捉組合せまたは適切な電子データ受信組合せをもまた含むということを理解すべきである。画像捕捉組合せは、ホストコンピュータとのインタフェースを有するデジタルカメラを含むことができ、電子データ受信組合せは、無線通信インタフェース、ハードワイヤードネットワーク通信インタフェースまたは、記録済みデータインタフェース、例えばメモリカード読取り装置または磁気ディスクまたは光ディスク（例えばＣＤまたはＤＶＤ）ドライブを含むことができる。
【００５３】
次の操作４０４では、画像捕捉組合せの操作または電子データ受信組合せの操作のいずれかによって、ホストコンピュータの音符データ解釈プロセスに対し、楽譜デジタル表現を提供する。解釈された楽譜データは、処理およびプレゼンテーション４０６のためにホストコンピュータに提供され、かくして、ユーザに対して提示すべく、ホストコンピュータシステムにより、ディスプレイプレゼンテーション４０８およびオーディオ再現プレゼンテーション４１０が生成されるようになっている。オーディオプレゼンテーション４１０およびディスプレイプレゼンテーション４０８は一般に、専用デバイスのそれぞれのオーディオプレゼンテーション２１６およびディスプレイプレゼンテーション２１４に対応することになるが、専用デバイスに比べてホストコンピュータが利用できる資源が異なることから、細部では異なってくる可能性がある。
【００５４】
図５は、合成オーディオ演奏の再生を提供するため、アプリケーションソフトウェアがインストールされる手持ち式デバイスまたはホストコンピュータといった、本明細書で記述している処理を内蔵するデバイスによって制作されるディスプレイスクリーンを例示している。該デバイスは最初に、デバイスのミュージックカード読取り装置内にプログラミングされたミュージックカードを収容することまたは無線またはケーブル接続のいずれかを通してネットワークインタフェースから情報を受取ることなどによって、楽譜データを受け取る。楽譜データは例えば、楽譜と同様に、楽譜の合成オーディオ演奏の音楽的特性を決定する音楽コンテキスト情報をも含み得る。デバイスのオペレーティングソフトウェアが楽譜データを読み取った後、デバイスは、楽譜についての情報をユーザに提供し、再生に関してユーザからの命令を要請するため、メニュースクリーンを表示する。
【００５５】
図５は、手持ち式デバイス（図１）のディスプレイ５０４上、またはeMuse アプリケーションソフトウェアがインストールされた状態でのホストコンピュータのディスプレイ上のプログラムウィンドウ内（図４）に表示された楽譜メニュースクリーン５０２を示す。メニュースクリーンは、図５の楽譜のコンテンツを示し、楽譜は「バッハ−ゴールドバーグ変奏曲」として示されている。メニュー５０２は同様に、図５の例では３２として表示されている、楽譜内のセクション（例えばトラック）の数をも示している。メニューはまた、音色を示し、図５ではこれは「ピアノ」であるものとして示されている。最後に、メニューは、ユーザに、再生が開始する予定のセクション（またはトラック）番号をたずねる。初期メニュースクリーン５０２上のディスプレイボックス５０６内に例えばデフォルト値（例えばセクション１）が現われる。ユーザは、手持ち式デバイス上で「ＹＥＳ」または「再生」コマンドを選択することまたはメニュースクリーン上で「入力」または「ＹＥＳ」を選択することなどによって、指示された位置すなわちセクション１で再生が開始すべきであることを表示することができる。それに応答して、デバイスは合成オーディオ演奏の再生を開始し、オーディオ演奏と同期化してディスプレイ５０４上に楽譜（音符）を表示することになる。代替的には、ユーザは、入力ボックス５０６内に異なるセクション番号を入力し、次に「ＹＥＳ」または「再生」または「入力」を選択することができ、その後デバイスは、表示されたセクションで楽譜を演奏し始めることになる。
【００５６】
図６は、「聴音」（music dictation）フィーチャを提供するための操作を例示するプロセスフロー図である。このフィーチャは、本発明の手持ち式実施形態およびホストコンピュータ実施形態に対して提供できる。初期操作６０２においては、マイクロホンは、ライブ音楽のユーザパフォーマンスを記録し、対応するライブ音符データセットが制作される。マイクロホン出力は、ライブ音符データを制作すべくデジタルフォーマットで記録されるかまたは、ユーザのパフォーマンスのオーディオトラック内の音符に対応するデジタルデータを含むライブ音符データを制作すべく記録後に処理される。すなわち、ライブ音符データは、本明細書の他の箇所で記述されている楽譜データと類似している。マイクロホン６０２から導出されたライブ音符データはその後、音符データ解釈プロセス６０４に提供される。デバイスの解釈プロセスは、対応する楽譜６０６のビジュアルディスプレイを制作すべくライブ音符データを処理し、デバイスはまたユーザのパフォーマンス６０８のオーディオ再生を制作する。このようにして、ユーザのオーディオパフォーマンスおよびそれに対応するビジュアル音符が同期化された再生の形で提供される。付加的なフィーチャにおいては、ユーザが、楽譜フォーマットで入手可能である既知の記録済み作品を演奏した場合には、ユーザのパフォーマンスの再生は、記録済み作品の楽譜の合成オーディオ／ビジュアル演奏と協調されかつ比較され得る。
【００５７】
〔付加的機能〕
・ 複数の音色（楽器）を同時に読み取り演奏することができ、「ミュージック・マイナス・ワン」の実現手段としての利用が可能となっている。
・ 複音色同時コントロールにより、ユーザは、多譜表楽曲（「ミュージックマイナス１／２」）の特定された楽器またはボーカルラインの音量を最小限に抑えるのと同時に他のラインをより高い音量に保つことができる。
・ １つのページの最終小節と次のページの最初の小節を、１つの「フレーム」の形に組合わせるターンページフィーチャが、デバイスに内蔵されることになる。
・ メトロノームがデバイス内に内蔵されている。
・ デバイス内にチューナーが内蔵されている。
・ デバイスは、音楽パッセージをあらゆる調に移調することができる。
・ デバイスは、その音楽パッセージが演奏されるのにつれてＬＣＤ上に１つの音楽パッセージを音名（英語とソルフェージの両方で）表示する。
・ ＯＣＲモジュールは、特定の音楽パッセージを再度「写真撮影」することなくくり返し聞けるように、次の音楽的パッセージが「写真撮影される」まで、音楽的パッセージのメモリを保持する。
・ 通信−WiFi、Bluetooth（登録商標）および／またはその他の電気通信接続といった有線および無線の両方でのeMuse音楽ダウンロードサーバとの通信用設備。
【００５８】
〔設計フィーチャ〕
ボタンとダイヤル、ポートおよびジャック
以下の設計フィーチャが具備される（図１参照）。
・ シャッターボタン１１４−画像捕捉の開始および、音楽パッセージの「写真撮影」用。
・ 演奏ボタン１２６−「写真撮影された」小節の演奏、「ミュージックカード」からの選択および／またはユーザの記録済みパフォーマンスの再生用。
・ 記録ボタン１３２−ユーザのパフォーマンスの記録用。
・ 一次音量ホイール１１６−再生音量の変更用。
・ スロット１０６−ミュージックカードの収容用で、場合によってはＵＳＢポート、
・ ヘッドホンジャックとしてライン出力端子１３４。
・ 数字キーパッド１５０−楽曲、楽章および／または小節番号の選択に関するＬＣＤ上のプロンプトに対する応答用。
・ 速度ホイール１１８（テンポ）−音楽パッセージの再生速度の変更（より速くまたはより遅く）用。
・ メトロノーム１４２−再生音楽パッセージのテンポならびに従来のメトロームとしての使用を選択するため数字キーパッドを使用できる。
・ チューナー１４４−チューニングのための周波数（例えばＡ４４０またはＡ４４２）を特定すべく数字キーパッドを使用することができる。
【００５９】
望まれる場合、これらのボタンおよびダイヤルのうちの１つまたはそれ以上のものを、単純な＋／−トグルスイッチの形に組合わせることができる。
【００６０】
〔構成〕
図７は、本発明によって構築されたオーディオ−ビジュアルプレゼンテーションを伴う楽譜捕捉および解釈用デバイス７００の実施形態のブロック図である。コンピュータ中央演算処理装置（ＣＰＵ）といった制御プロセッサ７０２が、デバイス７００内の操作を制御する。ＣＰＵ７０２は、デバイスバスまたはシステム通信バス７０４上で、データおよびコマンドを含め、その他のコンポーネントと通信する。
【００６１】
コマンドおよびデータは、プログラムメモリすなわちＲＯＭ７０８およびデータメモリすなわちＲＡＭ７１０を内み得るメモリ７０６に記憶される。メモリ７０６は、揮発性および不揮発性メモリの双方であり得る。ＣＰＵは、本明細書で記述されているフィーチャを提供するために、プログラムメモリ７０８に記憶されたプログラム命令およびコマンドを実行する。楽譜データなどの演算データが、データメモリ７１０内に記憶されている。固定記憶装置（例えばハードディスクドライブ）、リムーバブル・メディア用ストーレッジドライブ（磁気フロッピー（登録商標）ディスク、光ディスク）およびリムーバブルデータカード（例えばフラッシュカードおよび類似の媒体）といったストーレッジデバイス７１５にその他のデータを記憶するかまたはそこから受け取ることができる。かくして、図７に別のコンポーネントとして示されている音符解釈処理エンジン７１４を含むeMuse処理７１２は、メモリ７０６に記憶されＣＰＵ７０２により実行されるデータおよびプログラム命令の組合せによって提供され得る。デバイス７００は、ネットワーク上でのその他のコンピュータとの通信のためのネットワークインタフェース７１６を含む。ネットワークインタフェースは、無線リンク（例えばWiFiまたはBluetooth（登録商標）接続）または有線（ケーブル）接続（例えばネットワークケーブルまたはＵＳＢ接続）を介した通信を提供することができる。
【００６２】
デバイス７００は、また、ユーザ入力およびコマンドを受入れるためのキーボード７１８をも含み、ユーザに対してデータをプレゼンテーションするためのディスプレイ７２０を含む。該ディスプレイは、本発明によって構築された手持ち式デバイスのディスプレイスクリーンを含むことができ、そうでなければ、本発明のアプリケーションソフトウェア実施形態がインストールされるホストコンピュータのディスプレイを含むことができる。デバイスはまた、楽譜のオーディオ演奏を制作できるスピーカといったオーディオ出力７２２をも含む。オーディオ出力部７２２は、また、プライベートリスニング用のヘッドホン接続またはその他のライン出力接続をも含み得る。
【００６３】
デバイス７００はまた、レンズおよびシャッター制御ボタンを有する一体型デジタルカメラシステムといった画像捕捉部７２４をも含んでいる。この画像捕捉部は、ＵＳＢポートまたは無線Bluetooth（登録商標）リンクといったネットワーク接続を介してホストコンピュータにデジタルカメラをするような、外部接続されたシステムで良い。該デバイスはまた、デバイスに接続されたマイクロホンといったオーディオ捕捉部７２６をも含んでいる。
【００６４】
〔使用例〕
以下に記すのは、本発明の実施形態をいかに使用できるかを例示する、デバイス利用のシナリオである。
【００６５】
Ａ） ジョニー（１１才）は、バッハのチェロ組曲第１番プレリュードの第１８小節に少し問題がある。彼はeMuseを取り上げ、これをオンにし、それを第１７〜１９小節にポイントし（これを彼はＬＣＤモニターを通して観察する）、小さなスタートボタンを押し、「チェロ」の音色を選択し、「演奏」を押し、デバイス上での第１７〜１９小節の再生を聴く。同時に、彼は、ＬＣＤを見て楽譜と並走するカーソルを考察する。ジョニーは、もう一度その音楽パッセージを、今度はすこし遅い速度で聞きたく思い、そこで彼はそれ相応にテンポを調整し、「演奏」を再び押す。音楽パッセージを理解したことに満足して、彼は自ら試しに演奏してみることにするが、同時にそれを今聞いたものと比較したいとも思う。そこで彼は、「記録」を押し、自分のチェロでその音楽パッセージを演奏する。ただ再度チェックするだけのために、彼は自らのパフォーマンスを再生して聴く。
【００６６】
彼は又、この作品の「ミュージックカード」を挿入するだけで、ＣＤを見つけることなく、例えば第１〜２０小節といったその曲のより広い範囲、あるいは実にその全曲を聴くこともできる。次に、彼は、自ら特定するどの場所ででも聞くであろうし、又、ＬＣＤ上の音符と共にカーソルをフォローすることもできると思われる。
【００６７】
彼はまた、内蔵型チューナーで自らのチェロのチューニングをチェックすることもでき、内蔵メトロノームで自分のリズム精度および／または速度をチェックすることもできるだろう。
【００６８】
Ｂ） サマンサ（１６才）は、ギター演奏を独習している。かなり才能があり、一定のリズムで即興のソロ演奏を試みたいと考えている。特定の好きな歌のいくつかのリズムセクションの記された音楽書をいくつかもっているため、eMuseを取り出し、８小節のリズムをスキャンし、要望の音色として「パーカッション」を選択し、デバイスのライン出力を用いて自分の家庭用コンピュータのスピーカを通してサウンドを再生する。リズムを何度か聞くと、彼女は、毎回少しずつ何かを変えてそれらのリズムで即興を試し始める。
【００６９】
Ｃ） ハンマー氏（５８才）は、つねにピアノを習いたいと思ってきた。そしてついにレッスンを受ける決心をする。ショパンのノクターンが特に好きであるが、自分自身の練習では、右手の７音符群に対し左手で６音符群を弾くノクターンＯｐ２７、第２番の最後から２番目の小節を演奏することができない。彼は、２階にある自らのＰＣでこのノクターン用「ミュージックカード」をダウンロードし、次にこの「ファイル」を１階のリビングルーム内のピアノベンチ上にある自らのeMuseに伝送する。このファイルには、これがピアノ作品であるという事実が含まれていることから、デフォルトの音色はピアノである。彼はキーパッド上でｍ．７５を指定し、かくして当該小節に直行する。ピアノに腰をかけたままそれを何回か聴き、それを２回の再生の間に自ら弾いてみる。その後出発点から上にｗ．６０まで戻って、最後の全ページ（Schirmer版、Mikuli編）を聞く。
【００７０】
Ｄ） ジュリー（１５才）は７年間ピアノを習ってきた。彼女はバルトークのピアノソナタの最終楽章の初めにある変拍子に若干の問題をかかえている。彼女はこの曲の「ミュージックカード」を数週間前にダウンロードし、それ以降一時の間それに基づいて練習してきている。彼女は「ミュージックカード」を挿入し、eMuseを取り出し、最終楽章の２０〜２４小節を「写真撮影」する。その後、「再生」ボタンを押し、デバイスは、ＯＣＲ情報をミュージックカード内に符号化されたものと整合させることによってこれらの小節を再生する。彼女は、これら４つの小節を数回聴く。最初は比較的ゆっくり、次に徐々に速くして、その後、オープニングセクション（第１〜２７小節）全体を聞くことに決めて、このことをキーパッド上で指定する。彼女には何かを再度「写真撮影」する必要は全くない。今やデータはミュージックカードから直接読み取られている。
【００７１】
Ｅ） アレックス（１３才）は、数年間中学校のバンドでクラリネットを演奏してきた。彼のバンドの指導者は、記念日パレードのためにグループにスーザの行進曲のリハーサルを行っており、クラリネットセクションのテンポが速くなることが多いので、指導者はこれらの学生のためにこの行進曲の４枚のミュージックカードを持ってきた。夕食後の練習時間になった時、アレックスは、自らのミュージックカードを学校に忘れてきたことに気づいた。そのため、彼はＰＭＬサイトまで行き、自分の家庭用ＰＣ上にもう１つのミュージックカードをダウンロードした。これを自らのeMuseに転送し（無線）、ヘッドホンをプラグに差し込み、第２楽節の終りにある第１４〜１６小節（彼にとって最もむずかしい部分の１つ）を「写真撮影」し、「クラリネット」の音色を選択した。eMuseは、第１４〜１６小節クラリネットパートのＯＣＲ情報を同じ小節のミュージックカード情報と整合させ、「演奏」を押したとき、アレックスには全バンドがこれらの小節を演奏しているのが聞こえた。彼を助けるため、クラリネットパートのみがＬＣＤ上に（カーソルと共に）表示された。従って彼は、アンサンブル全体を聴きながら、自らのパートをフォローすることができた。
【００７２】
Ｆ） ジェイニー（９才）は、バイオリンを弾き始めたばかりである。彼女はあの本の中の２曲目（その週の課題）の音符およびリズムに若干問題があるが、彼女の両親は彼女に、評判の良い教則本の「ミュージックカード」を持ってきた（買ってきた）。彼女はそのミュージックカード（これは該教則本がその楽器のためものであることからデフォルトで自動的に「バイオリン」の音色になる）、ＬＣＤ上のプロンプトに従ってキーパッド上で第２の曲を指定し、「演奏」を押し、曲を聴き、カーソルが音符と共に彼女を導くにつれてＬＣＤを見る。第５〜８小節を再び聞きたいため、彼女は、ＬＣＤプロンプトが再び何か聞くかと尋ねた後にキーパッドでこれらの小節を指定する。
【００７３】
Ｇ） ＮＹＵの学生であるジョンは、学内上演のためウェストサイドストーリーの歌を習っている。彼は、熟達したバリトンであるものの、それでもなお公式のリハーサルの間でさえ伴奏者と練習することがきわめて有益であると考えている。しかしながら大学生として彼の予算は極めて限られており、従って望むだけ頻繁に、補助してくれる伴奏者を依頼する費用を負担できない。
【００７４】
誕生日プレゼントとしてeMuseをもらったジョンは、ウェストサイドストーリーのミュージックカードを購入し、それをデバイス内に挿入し、位置ホイールを自分が始めたい歌まで進ませ、メニューホイールからダイヤルインする「ミュージック・マイナス・ワン」の見出しから「ピアノパートのみ」を指定する。その後、メニューホイールから「無線からステレオへ」をダイヤルインし、かくしてオーディオ信号をeMuseの無線機能を介して自分のステレオシステムまで送り、自ら練習したいあらゆる歌をピアノパートと共に歌う。彼は自分自身の音楽を見るかまたはカーソルをフォローするべくeMuseのＬＣＤを見ることができる。彼は、ピッチを変更せずにテンポを変化させること、そして望むだけの回数あらゆる歌に進むことができる。eMuseは彼の伴奏者となる。
【００７５】
〔製品操作〕
「ミュージックカード読取り装置を有する手持ち式デバイスの操作のまとめ」
ユーザは製品のミュージックカードスロット内にミュージックカードを挿入し、楽曲を選択し、音色を選択し、テンポを選択し、曲の中の１つの場所（「音楽パッセージマーカー」）を選択し、演奏ボタンを押す。停止ボタンは音楽を停止させる。演奏ボタンは、音楽パッセージの演奏を初めから、または先行セッション内で離れた場所（「演奏場所マーカー」）で再び取上げて開始させる。ただしユーザが戻り矢印ボタンを押した場合には、演奏場所マーカーは音楽パッセージマーカーまで戻るように移動する。
【００７６】
音量およびテンポか音楽パッセージマーカーの場所のいずれかを除いて、全ての選択は、単一ホイール／ボタンまたはノブ／ボタンの組合せによって行なわれる（図１で、「メニューホイール」１２０と「ネクスト」のボタン１３０）。こうして、コストおよびユーザの気後れの両方が削減され、ハードウェアを変更することなく新しい選択肢が付加されることになる。スクリーンはリストを表示し、「メニュー」ホイールまたはノブはカーソルまたはテキスト強調表示をこのリストを通して移動させ、「ネクスト」のボタンは、表示された選択肢を選択する。デフォルト音色およびテンポの選択はファイルに内蔵されており、かくして大部分のケースにおいて、ユーザは単純にこれらを通して事を進める。
【００７７】
開始後にひとたび操作が進行すると、メニューホイール１２０は役割を変更し、テンポまたは音楽パッセージマーカーの場所のいずれかをつねに制御する。それがテンポを制御する場合には、音量および音楽パッセージマーカーは別々のホイールを有する。それが音楽パッセージマーカーを制御する場合には、音量およびテンポは別々のホイールを有する。３つの別々のホイールを有する理由は、次の２つである：
・ ユーザは、演奏が始まった後で音楽パッセージマーカーのテンポ、音量または場所を変更したいと考えるかもしれない。別々のホイールはこれを容易にする。
・ 音量コントロールは、アナログポテンショメータで良い。
【００７８】
「詳細」
〔オン／オフ〕
ユニットは、ユーザがオン／オフボタンを押したときにパワーアップする。これは又、フラッシュドライブが挿入されたときでもパワーアップし得る。それは、フラッシュドライブが取り外されたときまたは選択された非起動期間の後、またはユーザがオン／オフボタンを再び押したときに遮断する。
【００７９】
〔メニューシーケンス〕
電力印加時に、ユニットはメニューシーケンスに入る。これは、演奏が始まる前にユーザが行なわなくてはならない一連の選択である。それはリストシーケンス（通常は２つのみ）として現われる。ユーザはメニューホイールで各リストを通してスクロールすることができる。ネクストボタンは、強調表示された選択肢を登録し、次のステップまで移動する。
【００８０】
リストシーケンスは動的であるが、以下のものを含み得る。
１． １つしか存在していない場合を除き、フラッシュドライブ上の曲または楽章のリスト（通常は、複数存在する）。
２． 各ボイスを演奏するための音色。通常は、キーボード音楽についてさえ１つしか存在しない。デフォルト音色がファイルに内蔵されることになる。
【００８１】
リストが提示されるにつれて、スクリーンは以下のように現われる。
・ 最上部全体に：選択肢を命名する見出し、
・ 下方片側：１つが強調表示された状態でのリスト
・ もう１方の側：１つの項目を選択するためユーザがホイールを使用し、次にネクストボタンを押さなくてはならないという、効果に向けての簡潔な命令。これらの命令は、ホイールおよびボタンについてのラベルの形をとり得る。最後の選択が行なわれた後、ユニットは演奏モードに進む。
【００８２】
〔演奏〕
ユニットが演奏モードにあるとき、スクリーンは、中央に記譜（１またはそれ以上の場所マーカーを伴う）、そして恐らくはその調整ホイール近くに現行のメトロノームマーキングを表示する。
【００８３】
〔記譜〕
記譜（music notation）は、スクリーンの物理的サイズに従ってディスプレイスクリーン上に提示される。一般に、単一の譜表または譜表系を示すのに十分なサイズが利用可能である。
【００８４】
〔位置づけ〕
製品は音楽内の２つの場所を追跡する。すなわち演奏すべき音楽パッセージの初めとしてユーザが選択した点（「音楽パッセージマーカー」）および現在演奏中の箇所（「演奏場所マーカー」）である。音楽パッセージマーカーは、例えば演奏中の小節を表示するためにデバイスにより記される。演奏場所マーカーは、ここではカーソルとして記述されている。好ましくは、ユーザは、戻り矢印ボタンが音楽パッセージマーカーの場所まで演奏場所マーカーを移動させることからまたは位置ホイールが一度に両方のマーカーを移動させることから、演奏場所マーカー（カーソル）のみを示すように選択することができる。
【００８５】
一般に、演奏場所マーカーは再生中外観を変えない。ディスプレイ上の音符は、再生中に音を出しているとき、色または輝度を変えることになる。
【００８６】
位置づけに影響を及ぼすコントロールは、音楽パッセージマーカーホイール、演奏ボタンおよび戻り矢印ボタンである。２つのボタンは、音楽パッセージマーカーに影響を及ぼすことなく演奏場所マーカーを移動させ、ホイールは両方のマーカーを移動させる。
【００８７】
〔テンポ〕
ユニットが演奏モードに入ったとき、スクリーン上にはデフォールトテンポが、ホイール近くでメトロノームマーキング１４２の形で表われる。テンポはいつでも変更可能である。
【００８８】
〔製品コントロール〕
「リセットボタン１３０」
電力が印加されたばかりであるかのように、操作シーケンスを再始動させる。ディスプレイは、ミュージックカードドライブ上の曲リストを示す。
【００８９】
〔ネクストボタン１３０〕
メニューホイールにより制御されたリストから強調表示された項目を選択し、次のステップに移行する。メニューシーケンスがひとたび完了すると、ネクストボタンは無効となる。リセットボタンが押されるかまたは電源スイッチがすぐに入れ直されるまでメニューホイールはテンポを制御し続け、あらゆる変更が直ちに反映される。
【００９０】
〔メニューホイール〕
「ファイル選択」
上記「メニューシーケンス」を参照のこと。
「音色選択」
上記「メニューシーケンス」を参照のこと。
【００９１】
〔テンポホイール１１８〕
テンポホイール１１８は、音楽パッセージの再生テンポを制御する。
【００９２】
〔音楽パッセージマーカーホイール〕
音楽パッセージマーカーの制御はメニューホイールを通して行なわれる。音楽パッセージマーカーモード内のメニューホイールの好ましい操作は以下の通りである：
【００９３】
ホイールが移動させられた時にユニットが演奏中である場合、ユニットは停止する。
・ ホイールを移動させると、演奏場所マーカーの位置から出発して、音楽パッセージマーカーおよび演奏場所マーカーの両方を移動させることになる。
・ ホイール速度とマーカー移動速度の間の関係は、非線形となる。ホイールをゆっくりと移動させると、マーカーはゆっくりと移動するが、ホイール速度を２倍にするとマーカー速度は２倍以上となる。メタ制御が、我々が経験できるような形で曲線の２次導関数を調整することになるが、これでは十分でない可能性がある。２次導関数はそれ自体が曲の長さの関数であるべきである確率が高い。ユーザは、終日ホイールを回し続けなくとも長い曲の途中で移動することができなくてはならない。同時に、ユーザが短い曲を練習している場合に、高速移動によってユーザがあっという間に曲の最後に行ってしまうことがあってはならない。
【００９４】
〔音量ホイール〕
再生音量の制御は音量ホイールを通して行なわれる。
【００９５】
〔再生ボタン１２６〕
再生場所マーカーで再生を開始し、マーカーを移動させる。
【００９６】
〔停止ボタン１２８〕
演奏を停止させる。演奏場所マーカーをそれが在る場所に放置する。
【００９７】
〔戻し矢印ボタン（音楽パッセージの初めに移動する）〕
該当する場合、演奏を停止させ、演奏場所マーカーを音楽パッセージマーカーまで移動させる。
【００９８】
〔メタコントロール〕
〔スクリーン〕
エミュレートされた製品コントロールがそれと共に現われるウィンドウをサイズ設定し直すことにより、ランタイムでスクリーンのサイズおよび形状を設定することができる。解像度、明度、輝度およびコントラストに対する限度を設定するためにメタコントロールを付加することができる。
【００９９】
〔ファイル〕
デバイスは、標準的Music XMLファイル上で動作し、また、これらのファイルの縮約したまたは圧縮した形態を処理することができる。
【０１００】
〔ミュージックカードフラッシュドライブ〕
フラッシュドライブインタフェース１０６は、さまざまなフォーマットのメモリカードを受け入れる。換言すると、Music XMLファイルを格納しているディレクトリを選択するためにメタ制御が用いられる。このときデバイスは各々のメニューシーケンスの始めにこれらのファイルを表示する。フラッシュドライブを表わすディレクトリがサブディレクトリを格納している場合、それらは表示されない。機械に実際のフラッシュドライブが挿入されると、それを選択することができる。
【０１０１】
本発明は、以上で、本発明の知識を伝えるような形で現在好まれている実施形態に関して記述してきた。しかしながら、本明細書には特定的に記述されていないものの本発明を応用できる楽譜捕捉およびプレゼンテーションシステムのための数多くの形態が存在する。従って本発明は、本明細書で記述されている特定の実施形態に制限されるものとして見られるべきではなく、むしろ、本発明は、楽譜の捕捉およびプレゼンテーション全般に関して広く応用されるものとして理解されるべきである。従って添付のクレームの範囲内に入る全ての修正、変更または同等の配慮および実装が、本発明の範囲内に入るものとみなされるべきである。
【図面の簡単な説明】
【０１０２】
【図１】本発明の１実施形態に従って構築された手持ち式デバイスを例示する図である。
【図２】本発明の「eMuse１」実施形態に従って構築されたデバイスにより実施される処理を例示する図である。
【図３】本発明の「eMuse２」実施形態に従って構築されたデバイスにより実施される処理を例示する図である。
【図４】本発明の「eMuseＸ」実施形態に従って構築されたデバイスにより実施される処理を例示する図である。
【図５】本発明による合成オーディオ演奏の再生のため本発明によって制作されたディスプレイスクリーンを例示する図である。
【図６】「聴音」フィーチャを提供すべく本発明によって構築されたデバイスによって実施される処理を例示する図である。
【図７】本発明によって構築されたオーディオ−ビジュアルプレゼンテーションを有する楽譜捕捉および解釈デバイスの１実施形態のブロック図である。
【特許請求の範囲】
【請求項１】
独奏、重奏、独唱または重唱またはそれらのいずれかの組合せのための印刷された楽譜をコンピュータデバイスにより処理する方法において、
外部ソースからコンピュータデバイスにて楽譜を受信する段階と、
前記楽譜を解釈し、それをデジタルフォーマットに変換する段階と、
楽譜のビジュアルプレゼンテーションと同期化される適切なピッチをもつ合成ボーカル演奏整合ワードを含めて、楽譜の合成オーディオ演奏を制作すべく、結果として得られたデータを処理する段階と、
からなる方法。
【請求項２】
前記外部ソースが、ネットワーク接続を介してコンピュータデバイスに楽譜データを提供するネットワークデータソースで構成される請求項１に記載の方法。
【請求項３】
前記ネットワーク接続が、無線接続を介した前記コンピュータデバイスと前記ネットワークとの間の通信によって構成される請求項２に記載の方法。
【請求項４】
前記楽譜データの受信段階が、記録済み媒体から楽譜データを読み取る段階で構成される請求項１に記載の方法。
【請求項５】
前記楽譜データを読み取る段階が、前記コンピュータデバイスの読取り装置内に記録済み媒体を受容する段階および記録済み媒体から該楽譜データを得る段階で構成される請求項４に記載の方法。
【請求項６】
前記記録済み媒体が、合成オーディオ音楽制作のための電子楽器デジタルインタフェース（ＭＩＤＩ）仕様に従ってオーディオ再生のために十分なデータを格納する請求項５に記載の方法。
【請求項７】
前記音符のユーザパフォーマンスを記録する段階と、
前記オーディオ再生と同期化された記録済みユーザパフォーマンスのビジュアルプレゼンテーションと共に該記録済みユーザパフォーマンスの前記オーディオ再生を提供する段階と、
でさらに構成される請求項１に記載の方法。
【請求項８】
前記楽譜データを受信する段階が、楽譜を光学的に写真撮影する段階および該楽譜に対応するデジタル画像データを生成する段階で構成される請求項１に記載の方法。
【請求項９】
前記コンピュータデバイスが、全てユーザが調整し得る前記楽譜データの合成されたオーディオ再生の特性を決定する音楽コンテキスト情報を識別する請求項１に記載の方法。
【請求項１０】
前記音楽コンテキスト情報が、音符記号、調号、拍子記号、音色、テンポおよびレガート、クレシェンド、リタルダンドといった表情記号を含む請求項９に記載の方法。
【請求項１１】
前記楽譜データのオーディオ再生および音符のビジュアルプレゼンテーションを制作する段階が、ネットワークデータソースとの通信を介してもたされる請求項１に記載の方法。
【請求項１２】
前記ネットワークデータソースが、コンピュータデバイスに対して前記楽譜データを提供する請求項１１に記載の方法。
【請求項１３】
前記楽譜データの合成オーディオ演奏および楽譜のビジュアルプレゼンテーションを制作する段階が、前記コンピュータデバイスに内蔵された読取り装置の中に挿入される記録済み媒体を用いてもたらされる請求項１に記載の方法。
【請求項１４】
前記記録済み媒体が、全てユーザにより調整することのできる前記楽譜データの合成オーディオ演奏の特性を決定するための音楽コンテキスト情報を提供する請求項１３に記載の方法。
【請求項１５】
前記オーディオ再生が、電子楽器デジタルインタフェース（ＭＩＤＩ）仕様に従って前記コンピュータデバイスにより制作される請求項１に記載の方法。
【請求項１６】
前記ビジュアルプレゼンテーションを制作する段階が、前記音符の合成オーディオ演奏と同期化された要領で、楽譜の音符を表示する段階で構成される請求項１に記載の方法。
【請求項１７】
さらに前記楽譜データおよび前記記録済みユーザパフォーマンスの同時再生を提供することからなる請求項１に記載の方法。
【請求項１８】
前記楽譜から音楽パートを削除することをさらに含む請求項１に記載の方法。
【請求項１９】
ユーザが前記削除された音楽パートを選択する請求項１８に記載の方法。
【請求項２０】
コンピュータデバイスにより楽譜データを処理する方法において、
楽譜をデジタル写真撮影し、かかる楽譜に対応する前記コンピュータデバイスのための楽譜データを生成する段階と、
前記楽譜データの合成オーディオ演奏および対応する音符のビジュアルプレゼンテーションを制作する段階と、
からなる方法。
【請求項２１】
さらに、全てユーザにより調整され得る前記楽譜データの合成オーディオ演奏の特性を決定するための音楽コンテキスト情報を受信することからなる請求項２０に記載の方法。
【請求項２２】
前記音楽コンテキスト情報が、音符記号、調号、拍子記号、音色、テンポおよびレガート、クレシェンド、リタルダンドといった表情記号を含む請求項２１に記載の方法。
【請求項２３】
前記コンピュータデバイスが、デジタル写真撮影された楽譜からの前記音楽コンテキスト情報を識別する請求項２１に記載の方法。
【請求項２４】
前記コンピュータデバイスが、ネットワークデータソースから前記音楽コンテキスト情報を得る請求項２１に記載の方法。
【請求項２５】
前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する段階が、ネットワークデータソースとの通信を介してもたらされる請求項２０に記載の方法。
【請求項２６】
前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する段階が、前記コンピュータデバイスに内蔵された読取り装置の中に挿入される記録済み媒体を用いてもたらされる請求項２５に記載の方法。
【請求項２７】
前記音符のユーザパフォーマンスを記録する段階と、
前記オーディオ再生と同期化された前記記録済みユーザパフォーマンスのビジュアルプレゼンテーションを有する記録済みユーザパフォーマンスの再生を提供する段階と、
でさらに構成される請求項２５に記載の方法。
【請求項２８】
前記楽譜から音楽パートを削除する段階をさらに含む請求項２０に記載の方法。
【請求項２９】
ユーザが前記削除された音楽パートを選択する請求項２８に記載の方法。
【請求項３０】
ディスプレイスクリーンと、
一体型オーディオ合成モジュールと、
前記コンピュータデバイスがネットワークと通信するネットワークインタフェースと
外部ソースから楽譜データを受信し、オーディオモジュールを通して該楽譜データの合成オーディオ演奏を制作し、楽譜の前記ディスプレイスクリーン上での同期化されたビジュアルプレゼンテーションを制作するコンピュータプロセッサと、
を含むコンピュータデバイス。
【請求項３１】
前記コンピュータプロセッサが、前記楽譜の光学画像を捕捉する画像捕捉ユニットからの画像情報を受信し、該コンピュータマイクロプロセッサが画像情報を処理して前記楽譜データを制作する請求項３０に記載のコンピュータデバイス。
【請求項３２】
そのメモリ内に捕捉された光学画像を記録する請求項３１に記載のコンピュータデバイス。
【請求項３３】
全てユーザにより調整され得る前記楽譜データの合成オーディオ演奏の特性を決定する音楽コンテキスト情報を受信する請求項３０に記載のコンピュータデバイス。
【請求項３４】
デジタル写真撮影された楽譜からの前記音楽コンテキスト情報を識別する請求項３３に記載のコンピュータデバイス。
【請求項３５】
前記音楽コンテキスト情報が、音符記号、調号、拍子記号、音色、テンポおよびレガート、クレシェンド、リタルダンドといった表情記号を含む請求項３３に記載のコンピュータデバイス。
【請求項３６】
前記記録済み媒体からの前記音楽コンテキスト情報を受信する請求項３３に記載のコンピュータデバイス。
【請求項３７】
前記コンピュータプロセッサが、前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを、ネットワークデータソースとの通信を介して制作する請求項３０に記載のコンピュータデバイス。
【請求項３８】
前記コンピュータプロセッサが、前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを、コンピュータデバイスに内蔵された読取り装置に挿入された記録済み媒体を用いて制作する請求項３０に記載のコンピュータデバイス。
【請求項３９】
前記記録済み媒体が、合成オーディオ演奏のための電子楽器デジタルインタフェース（ＭＩＤＩ）仕様に従って中に記憶されたデータのオーディオ再生に十分なデータを格納する請求項３８に記載のコンピュータデバイス。
【請求項４０】
前記音符のユーザパフォーマンスを記録し、オーディオ再生と同期化された記録済みユーザパフォーマンスのビジュアルプレゼンテーションを有する記録済みユーザパフォーマンスの再生を提供する記録および再生モジュールをさらに含む請求項３０に記載のコンピュータデバイス。
【請求項４１】
前記のディスプレイスクリーン、オーディオ合成モジュール、デジタル画像捕捉デバイス、ユーザコントロールおよびコンピュータマイクロプロセッサが、バッテリおよび／またはＡＣ動作用の携帯型手持ち式ハウジング内に設けられる請求項３０に記載のコンピュータデバイス。
【請求項４２】
前記ディスプレイスクリーンは、ユーザが楽譜のグラフィック表現を見ることができて、任意の時点で合成中の音符が、独特の色、カーソルまたは類似の手段により強調表示されるフラットパネルディスプレイからなる請求項３０に記載のコンピュータデバイス。
【請求項４３】
さらに、前記楽譜からの音楽パートの削除を含む請求項３０に記載のコンピュータデバイス。
【請求項４４】
ユーザが、前記削除された音楽パートを選択する請求項３０に記載のコンピュータデバイス。
【請求項４５】
コンピュータデバイスにより読取り可能であるプログラム媒体と、
前記コンピュータデバイスによって読み取られるように前記プログラム媒体に記録され、外部ソースから前記コンピュータデバイスにおいて楽譜データを受信し該楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する操作からなる方法を実施するように実行されるプログラム命令と、
からなるプログラム製品。
【請求項４６】
前記コンピュータデバイスが、ネットワーク接続を用いて該コンピュータデバイスに対して前記楽譜データを提供するネットワークデータソースからなる外部ソースより該楽譜データを受信する請求項４５に記載のプログラム製品。
【請求項４７】
前記コンピュータデバイスが、全てユーザによって調整され得る前記楽譜データの合成オーディオ演奏の特性を決定する音楽コンテキスト情報を識別するための前記プログラム命令を実行する請求項４５に記載のプログラム製品。
【請求項４８】
さらに前記楽譜データの合成オーディオ演奏の特性を決定するために前記音楽コンテキストを受信する段階からなることを含む音楽コンテキスト情報を処理するための前記プログラム命令を前記コンピュータデバイスが実行する請求項４７に記載のプログラム製品。
【請求項４９】
前記コンピュータデバイスが、ネットワークデータソースとの通信を介して前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する請求項４５に記載のプログラム製品。
【請求項５０】
前記コンピュータデバイスが、該コンピュータデバイスに内蔵される読取り装置に挿入された記録済み媒体を用いて前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する請求項４５に記載のプログラム製品。
【請求項５１】
前記コンピュータデバイスが、合成音楽制作のための電子楽器デジタルインタフェース（ＭＩＤＩ）仕様に従って前記合成オーディオ演奏を制作するように前記プログラム命令を実行する請求項４５に記載のプログラム製品。
【請求項５２】
前記コンピュータデバイスが、前記楽譜の音符の合成オーディオ演奏と同期化された要領で、これらの音符を表示することからなるビジュアルプレゼンテーションを制作する請求項４５に記載のプログラム製品。
【請求項５３】
前記オーディオ再生と同期化された前記記録済みユーザパフォーマンスのビジュアルプレゼンテーションを有する楽譜データおよび該記録済みユーザパフォーマンスの同時再生を提供する段階をさらに含む請求項４５に記載のプログラム製品。
【請求項５４】
前記楽譜からの音楽パートの削除をさらに含む請求項４５に記載のプログラム製品。
【請求項５５】
ユーザが、前記削除された音楽パートを選択する請求項５４に記載のプログラム製品。
【請求項１】
独奏、重奏、独唱または重唱またはそれらのいずれかの組合せのための印刷された楽譜をコンピュータデバイスにより処理する方法において、
外部ソースからコンピュータデバイスにて楽譜を受信する段階と、
前記楽譜を解釈し、それをデジタルフォーマットに変換する段階と、
楽譜のビジュアルプレゼンテーションと同期化される適切なピッチをもつ合成ボーカル演奏整合ワードを含めて、楽譜の合成オーディオ演奏を制作すべく、結果として得られたデータを処理する段階と、
からなる方法。
【請求項２】
前記外部ソースが、ネットワーク接続を介してコンピュータデバイスに楽譜データを提供するネットワークデータソースで構成される請求項１に記載の方法。
【請求項３】
前記ネットワーク接続が、無線接続を介した前記コンピュータデバイスと前記ネットワークとの間の通信によって構成される請求項２に記載の方法。
【請求項４】
前記楽譜データの受信段階が、記録済み媒体から楽譜データを読み取る段階で構成される請求項１に記載の方法。
【請求項５】
前記楽譜データを読み取る段階が、前記コンピュータデバイスの読取り装置内に記録済み媒体を受容する段階および記録済み媒体から該楽譜データを得る段階で構成される請求項４に記載の方法。
【請求項６】
前記記録済み媒体が、合成オーディオ音楽制作のための電子楽器デジタルインタフェース（ＭＩＤＩ）仕様に従ってオーディオ再生のために十分なデータを格納する請求項５に記載の方法。
【請求項７】
前記音符のユーザパフォーマンスを記録する段階と、
前記オーディオ再生と同期化された記録済みユーザパフォーマンスのビジュアルプレゼンテーションと共に該記録済みユーザパフォーマンスの前記オーディオ再生を提供する段階と、
でさらに構成される請求項１に記載の方法。
【請求項８】
前記楽譜データを受信する段階が、楽譜を光学的に写真撮影する段階および該楽譜に対応するデジタル画像データを生成する段階で構成される請求項１に記載の方法。
【請求項９】
前記コンピュータデバイスが、全てユーザが調整し得る前記楽譜データの合成されたオーディオ再生の特性を決定する音楽コンテキスト情報を識別する請求項１に記載の方法。
【請求項１０】
前記音楽コンテキスト情報が、音符記号、調号、拍子記号、音色、テンポおよびレガート、クレシェンド、リタルダンドといった表情記号を含む請求項９に記載の方法。
【請求項１１】
前記楽譜データのオーディオ再生および音符のビジュアルプレゼンテーションを制作する段階が、ネットワークデータソースとの通信を介してもたされる請求項１に記載の方法。
【請求項１２】
前記ネットワークデータソースが、コンピュータデバイスに対して前記楽譜データを提供する請求項１１に記載の方法。
【請求項１３】
前記楽譜データの合成オーディオ演奏および楽譜のビジュアルプレゼンテーションを制作する段階が、前記コンピュータデバイスに内蔵された読取り装置の中に挿入される記録済み媒体を用いてもたらされる請求項１に記載の方法。
【請求項１４】
前記記録済み媒体が、全てユーザにより調整することのできる前記楽譜データの合成オーディオ演奏の特性を決定するための音楽コンテキスト情報を提供する請求項１３に記載の方法。
【請求項１５】
前記オーディオ再生が、電子楽器デジタルインタフェース（ＭＩＤＩ）仕様に従って前記コンピュータデバイスにより制作される請求項１に記載の方法。
【請求項１６】
前記ビジュアルプレゼンテーションを制作する段階が、前記音符の合成オーディオ演奏と同期化された要領で、楽譜の音符を表示する段階で構成される請求項１に記載の方法。
【請求項１７】
さらに前記楽譜データおよび前記記録済みユーザパフォーマンスの同時再生を提供することからなる請求項１に記載の方法。
【請求項１８】
前記楽譜から音楽パートを削除することをさらに含む請求項１に記載の方法。
【請求項１９】
ユーザが前記削除された音楽パートを選択する請求項１８に記載の方法。
【請求項２０】
コンピュータデバイスにより楽譜データを処理する方法において、
楽譜をデジタル写真撮影し、かかる楽譜に対応する前記コンピュータデバイスのための楽譜データを生成する段階と、
前記楽譜データの合成オーディオ演奏および対応する音符のビジュアルプレゼンテーションを制作する段階と、
からなる方法。
【請求項２１】
さらに、全てユーザにより調整され得る前記楽譜データの合成オーディオ演奏の特性を決定するための音楽コンテキスト情報を受信することからなる請求項２０に記載の方法。
【請求項２２】
前記音楽コンテキスト情報が、音符記号、調号、拍子記号、音色、テンポおよびレガート、クレシェンド、リタルダンドといった表情記号を含む請求項２１に記載の方法。
【請求項２３】
前記コンピュータデバイスが、デジタル写真撮影された楽譜からの前記音楽コンテキスト情報を識別する請求項２１に記載の方法。
【請求項２４】
前記コンピュータデバイスが、ネットワークデータソースから前記音楽コンテキスト情報を得る請求項２１に記載の方法。
【請求項２５】
前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する段階が、ネットワークデータソースとの通信を介してもたらされる請求項２０に記載の方法。
【請求項２６】
前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する段階が、前記コンピュータデバイスに内蔵された読取り装置の中に挿入される記録済み媒体を用いてもたらされる請求項２５に記載の方法。
【請求項２７】
前記音符のユーザパフォーマンスを記録する段階と、
前記オーディオ再生と同期化された前記記録済みユーザパフォーマンスのビジュアルプレゼンテーションを有する記録済みユーザパフォーマンスの再生を提供する段階と、
でさらに構成される請求項２５に記載の方法。
【請求項２８】
前記楽譜から音楽パートを削除する段階をさらに含む請求項２０に記載の方法。
【請求項２９】
ユーザが前記削除された音楽パートを選択する請求項２８に記載の方法。
【請求項３０】
ディスプレイスクリーンと、
一体型オーディオ合成モジュールと、
前記コンピュータデバイスがネットワークと通信するネットワークインタフェースと
外部ソースから楽譜データを受信し、オーディオモジュールを通して該楽譜データの合成オーディオ演奏を制作し、楽譜の前記ディスプレイスクリーン上での同期化されたビジュアルプレゼンテーションを制作するコンピュータプロセッサと、
を含むコンピュータデバイス。
【請求項３１】
前記コンピュータプロセッサが、前記楽譜の光学画像を捕捉する画像捕捉ユニットからの画像情報を受信し、該コンピュータマイクロプロセッサが画像情報を処理して前記楽譜データを制作する請求項３０に記載のコンピュータデバイス。
【請求項３２】
そのメモリ内に捕捉された光学画像を記録する請求項３１に記載のコンピュータデバイス。
【請求項３３】
全てユーザにより調整され得る前記楽譜データの合成オーディオ演奏の特性を決定する音楽コンテキスト情報を受信する請求項３０に記載のコンピュータデバイス。
【請求項３４】
デジタル写真撮影された楽譜からの前記音楽コンテキスト情報を識別する請求項３３に記載のコンピュータデバイス。
【請求項３５】
前記音楽コンテキスト情報が、音符記号、調号、拍子記号、音色、テンポおよびレガート、クレシェンド、リタルダンドといった表情記号を含む請求項３３に記載のコンピュータデバイス。
【請求項３６】
前記記録済み媒体からの前記音楽コンテキスト情報を受信する請求項３３に記載のコンピュータデバイス。
【請求項３７】
前記コンピュータプロセッサが、前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを、ネットワークデータソースとの通信を介して制作する請求項３０に記載のコンピュータデバイス。
【請求項３８】
前記コンピュータプロセッサが、前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを、コンピュータデバイスに内蔵された読取り装置に挿入された記録済み媒体を用いて制作する請求項３０に記載のコンピュータデバイス。
【請求項３９】
前記記録済み媒体が、合成オーディオ演奏のための電子楽器デジタルインタフェース（ＭＩＤＩ）仕様に従って中に記憶されたデータのオーディオ再生に十分なデータを格納する請求項３８に記載のコンピュータデバイス。
【請求項４０】
前記音符のユーザパフォーマンスを記録し、オーディオ再生と同期化された記録済みユーザパフォーマンスのビジュアルプレゼンテーションを有する記録済みユーザパフォーマンスの再生を提供する記録および再生モジュールをさらに含む請求項３０に記載のコンピュータデバイス。
【請求項４１】
前記のディスプレイスクリーン、オーディオ合成モジュール、デジタル画像捕捉デバイス、ユーザコントロールおよびコンピュータマイクロプロセッサが、バッテリおよび／またはＡＣ動作用の携帯型手持ち式ハウジング内に設けられる請求項３０に記載のコンピュータデバイス。
【請求項４２】
前記ディスプレイスクリーンは、ユーザが楽譜のグラフィック表現を見ることができて、任意の時点で合成中の音符が、独特の色、カーソルまたは類似の手段により強調表示されるフラットパネルディスプレイからなる請求項３０に記載のコンピュータデバイス。
【請求項４３】
さらに、前記楽譜からの音楽パートの削除を含む請求項３０に記載のコンピュータデバイス。
【請求項４４】
ユーザが、前記削除された音楽パートを選択する請求項３０に記載のコンピュータデバイス。
【請求項４５】
コンピュータデバイスにより読取り可能であるプログラム媒体と、
前記コンピュータデバイスによって読み取られるように前記プログラム媒体に記録され、外部ソースから前記コンピュータデバイスにおいて楽譜データを受信し該楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する操作からなる方法を実施するように実行されるプログラム命令と、
からなるプログラム製品。
【請求項４６】
前記コンピュータデバイスが、ネットワーク接続を用いて該コンピュータデバイスに対して前記楽譜データを提供するネットワークデータソースからなる外部ソースより該楽譜データを受信する請求項４５に記載のプログラム製品。
【請求項４７】
前記コンピュータデバイスが、全てユーザによって調整され得る前記楽譜データの合成オーディオ演奏の特性を決定する音楽コンテキスト情報を識別するための前記プログラム命令を実行する請求項４５に記載のプログラム製品。
【請求項４８】
さらに前記楽譜データの合成オーディオ演奏の特性を決定するために前記音楽コンテキストを受信する段階からなることを含む音楽コンテキスト情報を処理するための前記プログラム命令を前記コンピュータデバイスが実行する請求項４７に記載のプログラム製品。
【請求項４９】
前記コンピュータデバイスが、ネットワークデータソースとの通信を介して前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する請求項４５に記載のプログラム製品。
【請求項５０】
前記コンピュータデバイスが、該コンピュータデバイスに内蔵される読取り装置に挿入された記録済み媒体を用いて前記楽譜データの合成オーディオ演奏および楽譜の同期化されたビジュアルプレゼンテーションを制作する請求項４５に記載のプログラム製品。
【請求項５１】
前記コンピュータデバイスが、合成音楽制作のための電子楽器デジタルインタフェース（ＭＩＤＩ）仕様に従って前記合成オーディオ演奏を制作するように前記プログラム命令を実行する請求項４５に記載のプログラム製品。
【請求項５２】
前記コンピュータデバイスが、前記楽譜の音符の合成オーディオ演奏と同期化された要領で、これらの音符を表示することからなるビジュアルプレゼンテーションを制作する請求項４５に記載のプログラム製品。
【請求項５３】
前記オーディオ再生と同期化された前記記録済みユーザパフォーマンスのビジュアルプレゼンテーションを有する楽譜データおよび該記録済みユーザパフォーマンスの同時再生を提供する段階をさらに含む請求項４５に記載のプログラム製品。
【請求項５４】
前記楽譜からの音楽パートの削除をさらに含む請求項４５に記載のプログラム製品。
【請求項５５】
ユーザが、前記削除された音楽パートを選択する請求項５４に記載のプログラム製品。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公表番号】特表２００８−５２４６５６（Ｐ２００８−５２４６５６Ａ）
【公表日】平成２０年７月１０日（２００８．７．１０）
【国際特許分類】
【出願番号】特願２００７−５４６９２９（Ｐ２００７−５４６９２９）
【出願日】平成１７年１２月１５日（２００５．１２．１５）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０４５５８０
【国際公開番号】ＷＯ２００６／０６６０７５
【国際公開日】平成１８年６月２２日（２００６．６．２２）
【出願人】（５０７２００６５１）ミューズアミ，インコーポレイティド (1)
【Ｆターム（参考）】
【公表日】平成２０年７月１０日（２００８．７．１０）
【国際特許分類】
【出願日】平成１７年１２月１５日（２００５．１２．１５）
【国際出願番号】ＰＣＴ／ＵＳ２００５／０４５５８０
【国際公開番号】ＷＯ２００６／０６６０７５
【国際公開日】平成１８年６月２２日（２００６．６．２２）
【出願人】（５０７２００６５１）ミューズアミ，インコーポレイティド (1)
【Ｆターム（参考）】
[ Back to top ]