楽譜認識装置、及びコンピュータプログラム
【課題】認識手法を複雑化させることなく、楽譜全体の認識率を向上できるようにする。
【解決手段】紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得手段と、前記画像取得手段により取得された画像に含まれる楽譜を、複数の楽譜認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識手段とを設け、個々の認識手法の傾向や、各種認識手法の処理順などによる悪影響を排除して妥当な認識結果が得られるようにする。
【解決手段】紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得手段と、前記画像取得手段により取得された画像に含まれる楽譜を、複数の楽譜認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識手段とを設け、個々の認識手法の傾向や、各種認識手法の処理順などによる悪影響を排除して妥当な認識結果が得られるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽譜認識装置、及びコンピュータプログラムに関し、特に、紙面の楽譜を高精度で認識するために用いて好適な技術に関するものである。
【背景技術】
【０００２】
従来から、スキャナ等を用いて、紙面上の楽譜を読み取り、読み取った楽譜のデータについて、五線、音符、及びその他の各種の音楽記号を認識して、ＭＩＤＩファイルデータ等の演奏データや、表示用／印刷用のデータを生成することが行われている。
【０００３】
例えば、特許文献１には、入力されたデータ列を変化する変換規則に従って変換し、第１の軸に沿ってデータ列の順序で、変換したデータを第２の軸方向に表現した画像を生成し、プリンタで印刷出力する画像生成装置、及びカメラで撮影した当該画像に基づいてデータを認識し、認識したデータから変化する変換規則に従ってデータ列を再生するようにした画像生成装置が提案されている。
【０００４】
従来は、楽譜上のある認識対象に対し、特定の認識手法を用いてできるだけ正確な認識結果を出そうとしている。そして、その認識手法で対象が認識できなかった場合、処理のパラメータやしきい値の調整、新たなパラメータの取得による新たな条件式の追加、マッチング辞書の追加などを行い、認識が可能になるようにしていく。
そのような対策でも認識ができない場合は、別の認識手法を開発し、認識できるようにするという対策法を講じて、何れかの認識手法を用いてできるだけ正確な認識結果を出力するようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−０５１６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
楽譜認識技術を実用化するには、このような、認識結果の認識率を検証し、その誤認識を防ぐ対策の追加という作業を、繰り返す必要があった。誤認識を完全に防ぐというのは非常に困難で、この作業が何度も繰り返されるうちに、認識手法が複雑化してしまい、認識手法の改良が次第に難しくなってくるという問題点があった。
本発明は前述の問題点に鑑み、認識手法を複雑化させることなく、楽譜全体の認識率を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の楽譜認識装置は、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得手段と、前記画像取得手段により取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識手段とを有することを特徴とする。
また、本発明の楽譜認識装置の他の特徴とするところは、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得手段と、前記画像取得手段により取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識手段と、前記認識手段により認識された複数の楽譜記号認識結果のそれぞれについて、様々な情報を用いて、楽譜的に妥当なものを推定して１つの楽譜記号を選別する楽譜記号推定手段とを有することを特徴とする。
【０００８】
本発明のコンピュータプログラムは、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得工程と、前記画像取得工程において取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識工程とをコンピュータに実行させることを特徴とする。
また、本発明のコンピュータプログラムの他の特徴とするところは、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得工程と、前記画像取得工程において取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識工程と、前記認識工程において認識された複数の楽譜記号認識結果のそれぞれについて、様々な情報を用いて、楽譜的に妥当なものを推定して１つの楽譜記号を選別する楽譜記号推定工程とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、個々の認識手法の傾向や、各種認識手法の処理順などによる悪影響を排除して妥当な認識結果が得られるようにしたので、従来の認識手法を複雑化させることなく、認識率を確実に向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態を示し、楽譜認識装置の構成例を示すブロック図である。
【図２】実施形態の楽譜認識装置の処理手順の概略を説明するフローチャートである。
【図３】図２のステップＳ２０４で行なわれる楽譜記号認識処理の詳細を説明するフローチャートである。
【図４】図３のステップＳ３０６で行なわれる楽譜記号認識処理の詳細を説明するフローチャートである。
【図５】推定処理で行われる自信度の比較処理の一例を説明するフローチャートである。
【図６】推定処理で行われる部品共有の処理の一例を説明するフローチャートである。
【図７】音符に対する自信度の設定例を説明する図である。
【図８】推定処理で行われる重複の具体例を説明する図である。
【発明を実施するための形態】
【００１１】
最初に、本実施形態の概要を説明する。
従来、楽譜認識処理において、五線消去などにより楽譜から分離された画像ラベルを認識対象とする場合、ある認識手法で特定の楽譜記号が認識された場合、この画像ラベルを画像から消去し、その後の別の記号に対する認識処理でその画像ラベルが処理対象にならないようにすることで、処理コストの増大を避けるようにするのが一般的であった。ここで、画像ラベルとは、あるドットから、周辺の８連結ないし４連結で黒画素などのつながりを検出した際に、一塊と判断される画素の集まりである。
【００１２】
しかし、近年のハードウェアの高速化や、並列処理が比較的簡易に実現できるようになったことにより、このような必然性は低くなった。逆に、最初に説明したような途中で間違った楽譜記号に固定される問題がある。
【００１３】
そこで、本実施形態においては、１つの認識対象に対して、結果が出力された場合に画像から画像ラベルを消去することでその結果に固定するのではなく、別の認識手法でもその対象に対して認識処理を行うことでいったん複数の認識結果を重複させることを特徴とする。また、１つの認識手法についても、あり得る認識結果を複数出力することを許すことを特徴とする。以下、本発明の実施形態について詳細に説明する。
【００１４】
図１に示すように、本実施形態の楽譜認識装置１００は、パソコン等の一般的な計算機システムに、ＭＩＤＩ回路６及び画像読み取り装置１１を付加したものである。
ＣＰＵ１は、プログラムメモリ２に格納されたプログラムをワーキングメモリ３に展開して実行すること等により、楽譜認識装置１００の全体の制御を行う中央処理装置である。また、本実施形態の楽譜認識装置１００は、予め設定された所定の周期でＣＰＵ１に割り込みをかけるタイマ回路を内蔵している。ワーキングメモリ３は、プログラムエリアの他、画像データバッファ、ワークエリア等として使用される。内部記憶装置（ＨＤＤ、ＳＳＤ等により構成される）４、外部記憶装置（ＦＤＤ、ＣＤ／ＤＶＤドライブなどにより構成される）５は、プログラム、画像データ、及び演奏データ等を格納する。
【００１５】
表示装置１４は、ＣＰＵ１の制御に基づき、バス１０から出力される映像情報を表示する。キーボード１３から入力された情報は、バス１０を経てＣＰＵ１に取り込まれる。印字装置１２は、ＣＰＵ１の制御に基づき、バス１０から出力される印字情報を印字する。
【００１６】
画像読み取り装置１１は、紙面に印刷された楽譜を光学的に走査して、２値、グレイスケール、あるいはカラーの画像データに変換して画像取得処理を行う。画像読み取り装置１１としては、フラットベッド型、ハンディ型、フィーダー型等任意のタイプのスキャナや、カメラ等を使用できる。画像読み取り装置１１によって読み取られた画像情報は、バス１０を介して、ワーキングメモリ３又は内部記憶装置４に取り込まれる。
【００１７】
ＭＩＤＩ回路６は、音源モジュール等の外部のＭＩＤＩ機器との間でＭＩＤＩデータの送受信を行う回路である。バス１０は、楽譜認識装置１００内の各回路を接続している。尚、この他に、マウス１５、サウンドシステム１６等を備えている。
【００１８】
図２は、本実施形態の楽譜認識装置１００の処理手順の概略を説明するフローチャートである。本実施形態の楽譜認識装置１００は、複数の認識手法を用いて楽譜認識処理を行うことを特徴としている。そして、本実施形態の楽譜認識装置１００は、楽譜記号を認識しても、最初の段階では認識結果に基づいて画像上の記号ラベルを画像から削除することはしない。
図２に示すように、認識処理が開始されると、ステップＳ２０１において、ＣＰＵ１は、画像取り込み処理を行う。この画像取り込み処理では、画像読み取り装置１１によって読み取られた楽譜の画像データをワーキングメモリ３に取り込む等の処理が行われる。
【００１９】
次に、ステップＳ２０２において、ＣＰＵ１は、五線認識処理を行う。この五線認識処理では、各ページに該当する複数の画像を読み込みながら行う。
五線走査開始位置検出処理及び五線シフト量検出処理等が行われる。五線走査開始位置検出処理の概略を述べると、横（ｘ）軸方向のある位置で、黒画素の幅と白画素の幅とを順に求め、求めた幅に基づいて、五線状に並んでいる位置を、ある程度の誤差を考慮して検出する。そして、加線（五線からはみ出した音符を記載するために付加した横線）の影響を除くために、五線状の並びの両側に、五線の間隔より大きな白画素幅があるという条件を加える。この条件に合う白黒画素の並びがある横（ｘ）方向の各黒ランの中点を五線走査開始位置とする。ここで、ランとは、モノクロ画像（白黒の２値画像）の場合、例えば、縦又は横に黒画素又は白画素が連結している長さをいう。
【００２０】
次に、ステップＳ２０３において、ＣＰＵ１は、段落認識処理を行う。段落認識処理では、段落認識処理及び大かっこ認識処理等が行われる。段落認識処理においては、画像全体で五線を検出し、五線同士で左端がほぼ同じ場所にある五線の組を探し、五線の端同士が、黒画素で結ばれているかどうかを検査し、段落を認識する。五線同士が大かっこで結ばれていた場合には、五線同士にまたがる音符等が存在する場合があるので、大かっこで結ばれた五線は１つの単位で処理を行った方がよい。大かっこについては、段落線の左の所定の範囲で認識を行う。ここで、段落線とは、同時に進行している複数のパートの五線同士の左端を繋いでいる線をいい、段落とは、段落線で繋がれた複数の五線の一塊をいう。尚、パートが１つの場合には、段落線は存在しないが、この場合も複数のパートの存在する楽譜での段落に相当する一塊を段落という。また、大かっことは、特にピアノの楽譜に用いられることが多い音楽記号であり、２つ又は３つの五線を纏めるための「[」で表記される括弧である。
【００２１】
次に、ステップＳ２０４において、ＣＰＵ１は、楽譜記号認識処理を行う。この楽譜記号認識処理の詳細については、図３のフローチャートを参照しながら後述する。
次に、ステップＳ２０５に進み、楽譜全体の処理を行う。楽譜全体の処理とは、段落内の小節線の位置を正規化する処理や、拍子記号の整合性を取る処理などである。
次に、ステップＳ２０６において、ＣＰＵ１は、その他の処理を行う。その他の処理では、ＭＩＤＩファイルデータ等の演奏データを生成する等の処理を行う。
【００２２】
図３は、図２のステップＳ２０４で行なわれる楽譜記号認識処理の一例を説明するフローチャートである。
図３に示すように、処理が開始されると、ステップＳ３０１において、フェーズ番号、パート番号、段落番号、ページ番号などの変数を用意する処理が行なわれる。
次に、Ｓ３０２に進み、Ｓ３０１で用意した変数を全て'０'に初期化する処理を行う。
【００２３】
その後、Ｓ３０３に進み、複数の楽譜認識手法を用いて楽譜記号の認識処理を行い、複数の認識結果を取得する。この場合、まず、最初のフェーズについて認識処理を実行する。そして、そのフェーズについて認識処理が終了したら、ステップＳ３０４に進み、次のフェーズの有無を判断する。この判断の結果、次のフェーズが有る場合にはＳ３０５に進み、フェーズ番号を１つインクリメントして処理対象を次のフェーズに移行する。
【００２４】
その後、ステップＳ３０３に戻り、前述したように、複数の楽譜認識手法を用いて楽譜記号の認識処理を行い、複数の認識結果を取得する。ステップＳ３０３〜ステップＳ３０５のループ処理は、認識処理すべきフェーズが無くなるまで行なわれる。そして、ステップＳ３０４の判断の結果、次のフェーズが無くなったらＳ３０６に進む。
【００２５】
ステップＳ３０６においては、フェーズ番号を０に戻す処理を行い、その後、ステップＳ３０７に進む。ステップＳ３０７においては、次のパートの有無を判断する。この判断の結果、次のパートが有る場合にはＳ３０８に進み、パート番号を１つインクリメントして処理対象を次のパートに移行する。
【００２６】
その後、ステップＳ３０３に戻り、次のパートについての認識処理を、再度最初のフェーズから実行し、複数の認識結果を取得する。ステップＳ３０３〜ステップＳ３０８のループ処理は、認識処理すべきパートが無くなるまで行なわれる。そして、ステップＳ３０７の判断の結果、次のパートが無くなったらステップＳ３０９に進む。
【００２７】
ステップＳ３０９においては、パート番号を０に戻す処理を行い、その後、ステップＳ３１０に進む。ステップＳ３１０においては、次の段落の有無を判断する。この判断の結果、次の段落が有る場合にはＳ３１１に進み、段落番号を１つインクリメントして処理対象を次の段落に移行する。
【００２８】
その後、ステップＳ３０３に戻り、次の段落についての認識処理を、再度最初のフェーズから実行し、複数の認識結果を取得する。ステップＳ３０３〜ステップＳ３１１のループ処理は、認識処理すべき段落が無くなるまで行なわれる。そして、ステップＳ３１０の判断の結果、次の段落が無くなったらステップＳ３１２に進む。
【００２９】
ステップＳ３１２においては、段落番号を０に戻す処理を行い、その後、ステップＳ３１３に進む。ステップＳ３１３においては、次のページの有無を判断する。この判断の結果、次のページが有る場合にはＳ３１１に進み、ページ番号を１つインクリメントして処理対象を次のページに移行する。
【００３０】
その後、ステップＳ３０３に戻り、次のページについての認識処理を、再度最初のフェーズから実行し、複数の認識結果を取得する。ステップＳ３０３〜ステップＳ３１４のループ処理は、認識処理すべきページが無くなるまで行なわれる。そして、ステップＳ３１３の判断の結果、次のページが無くなったらエンドとなる。
【００３１】
以下に、ステップＳ４０１〜Ｓ４０３で行われる第１の認識処理〜第Ｎの認識処理で用いられる認識手法の一例を説明する。
楕円直線方式：基本画像をロードし、太細分離、縦細線検出、楕円検出、それぞれを部品（直線部品、楕円部品）として出力する方式。
辞書マッチング方式：基本画像ロードし、五線消去、ラベリング、辞書マッチング、結果を辞書マッチング部品として出力する方式。
部品連結方式：楕円部品と直線部品を連結して音符記号（シンボル）を追加する方式。
五線固定位置ラベル抽出方式：音部記号、拍子記号、省略記号、五線内にある臨時記号や休符等の、五線上での縦位置が固定されている記号、又は五線をグリッドとして縦位置が固定される記号で、その特徴付けが可能な範囲が五線内にあるものを、認識対象として絞ることにより、五線の消去をせずに、対象イメージを充分に特徴付けできる部分を正確にラベル抽出し、得られたラベルから変形、擦れ、滲みに影響を受け難い特徴を抽出する方式。
【００３２】
ステップＳ４０４においては、ＣＰＵ１は、五線認識処理で認識された五線、段落認識処理で認識された段落、パート認識処理で認識されたパートの内容等を結合して、楽譜のデータを生成する等の結合処理を行う。したがって、本実施形態の楽譜認識装置１００においては、取得された画像に含まれる楽譜を、複数の楽譜認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識処理が行われる。また、前述のようにして認識された複数の楽譜認識結果に対して、様々な情報を付けてワーキングメモリ３、内部記憶装置４、外部記憶装置５などの記憶媒体に保存している。
【００３３】
次に、ステップＳ４０５に進んで、楽譜記号選別推定処理を行う。楽譜記号選別推定処理においては、重複した楽譜記号を、様々な情報を用いて楽譜的に妥当なものを推定して１つの楽譜記号を選別する。
楽譜記号選別推定処理の一例としては、以下の処理を挙げることができる。
認識手法１は、属性１の正解がＡの場合Ｂと誤認識する場合がある。認識手法２は、属性１の正解がＡの場合Ｂと誤認識する場合はほとんどない。認識手法１と認識手法２で重複記号があり、属性１を、手法１はＢとし、手法２はＡとしているとする。この場合は、認識手法２側が正解である可能性が高い。もちろん、これにより、認識手法２だけを選択してもよいし、記号内の属性毎に選別する側を判定してもよい。
【００３４】
次に、ステップＳ４０６に進み、親子関係検出処理を行う。親子関係検出処理においては、臨時記号と音符など、記号親子関係を検出する。最も妥当なものを検出するのではなく、ある程度の範囲であり得る親子関係を検出する。記号により、縦方向の位置や、横方向の位置など、適切な属性を見ながら、どれが最も妥当かの自信度を設定する。
【００３５】
次に、ステップＳ４０７に進み、親子関係選別推定処理を行う。親子関係選別推定処理においては、もともと複数の親記号が必要な記号については、それぞれの箇所について、複数の候補が持てるようにし、親記号を検索、自信度を設定する。例えば、タイの親など、対応する複数の親音符に条件が存在する場合（同じ音高であるなど）もあるので、自信度と、対応する親の組み合わせの妥当性によって判定する。本実施形態において、自信度とは複数の楽譜記号のそれぞれについて、尤もらしさを表す尤度値を示しており、本実施形態においては、その記号がどのくらいの有効性で認識されたかを示す自信度情報を算出する自信度算出処理を行っている。
【００３６】
実際の認識処理においては、記号認識や、属性設定、親子関係検出処理などを、フェーズ分解して処理フェーズ毎に行うようにし、適切な推定処理と処理フェーズ毎に組み合わせることで、より適切に選別できるようにする。
【００３７】
例えば、音符が多数重複している段階では、親子関係処理を行っても正しく検出できないので、推定で、音符などの重複がある程度解消された後のフェーズで親子関係選別推定処理を行うようにするなどである。
【００３８】
次に、図５のフローチャートを参照しながら推定処理で行われる自信度の比較処理の一例を説明する。図５の推定処理は、部品を共有した場合の重複推定の単純な例を示し、Symbol１、Symbol２が推定対象の記号である。ここで、component１がSymbol１を構成する部品の１つであり、component２がSymbol２を構成する部品の１つである。
まず、ステップＳ５０１においては、Symbol１を取得する。この場合、Symbol1の記号自信度の値は自信度１とする。
【００３９】
次に、ステップＳ５０２において、Symbol２を取得する。この場合、Symbol2の記号自信度の値は自信度２とする。
次に、ステップＳ５０３において、Symbol１とSymbol２が同じ部品を共有しているか否かを判断する。同じ部品を共有していない場合にはこの処理を終了する。
【００４０】
また、同じ部品を共有している場合にはステップＳ５０４に進み、処理対象記号の組み合わせであるか否かを判断する。処理対象記号の組み合わせでない場合にはこの処理を終了する。処理対象記号の組み合わせである場合にはステップＳ５０５に進む。
【００４１】
ステップＳ５０５においては、Symbol１とSymbol２との比較判定処理を行う。この比較判定処理の結果、Symbol１の自信度がSymbol２の自信度よりも大きい場合にはステップＳ５０６に進み、Symbol２を削除する処理を行う。また、Symbol１の自信度がSymbol２の自信度よりも大きくない場合にはステップＳ５０７に進み、Symbol１を削除する処理を行う。
【００４２】
なお、ステップＳ５０５の判断処理は重複した記号ごとに行ってもよく、場合によって自信度の大小判定以外の別の処理を行ってもよい。
【００４３】
図６は、図５のフローチャートのステップＳ５０３で行われる判断処理の一例を説明するフローチャートである。
ステップＳ６０１においてはcomponent１を取得し、ステップＳ６０２においてはcomponent２を取得する。
【００４４】
次に、ステップＳ６０３において、ステップＳ６０１で取得したcomponent１とステップＳ６０２で取得したcomponent２とが同じであるか否かを判断する。同じである場合には、ステップＳ６０４において、部品を共有しているとする処理を行う。また、同じでない場合には処理を終了する。
【００４５】
次に、図７を参照しながら、音符に対して設定する自信度の具体例を説明する。
図７（ａ）〜（ｄ）に示すように、玉（楕円）と、線のそれぞれに部品としての自信度が設定される。図７中に「数字」で示したように、図７（ａ）が比較的良好な場合であり、玉（楕円）と、線のそれぞれに「９５」が設定される。
【００４６】
また、図７（ｂ）、（ｃ）に示すように、玉のサイズがおかしい、線が斜め、線が短い、その他の状況に応じて、それぞれの部品の自信度が下がるようにしている。そして、音符として認識するために、玉と線を連結するが、連結の状態により、更に自信度が設定される。図７（ａ）の場合には、連結の自信度は高くなる。しかし、図７（ｄ）のように玉と線が離れていると、音符としての自信度が低下する。この場合、玉と線が離れている距離に応じて、自信度が低下する。
【００４７】
更に、音高との関係で自信度が設定される。図７（ｅ）のように、加線が１つしか見つからず、１つに応じた音高に設定されているが、位置は五線から離れているような場合、自信度が下げられる。
【００４８】
音符の自信度（符尾あり）に関しては、例えば、以下の式により設定することもできる。
confPer=w3 x (w1 x elpPer + w2 x linePer) + w4 x bindPer + w5 x locPer
ここで、elpPer:楕円部品自信度、linePer 直線部品自信度、bindPer 楕円直線連結自信度、locPer 音高自信度を示している。また、w1…w5はウェイトであり、各属性が妥当な効力を持ち、最大が100%になるように設定する。
【００４９】
同様に、符尾なし音符などでは存在する情報から自信度を設定する。また、その他の記号の自信度についても、その記号を構成する部品や、記号を構成する際の部品の位置関係、結果の位置や属性の妥当性から適切に設定することができる。前述のように、様々な条件を総合して、結果の自信度を算出することができる。これらにより、楽譜上の記号として、妥当に想定される自信度を設定することができる。
【００５０】
前述のようにして、各種の認識結果から記号が作成され、認識される。本実施形態においては、前述したように、楽譜記号を認識しても、最初の段階では認識結果に基づいて画像上の記号ラベルを画像から削除することはしない。このため、その結果は、同じ位置に似た記号や類似記号などが重複した状態となる。
【００５１】
次に、図８を参照しながら重複の具体例を説明する。
図８（ａ）は、単純重複の例を示している。この例は、本実施形態においては複数の認識方式を行うので、このような単純重複が発生する。この例の場合、浮き加線のある音符（グレーで示す音符）と、加線の無い音符（黒で示す音符）が重複しているが、推定処理により、浮き加線がある側が選択された例を示している。この例の場合のように、音符同士が重複している場合に、音高自信度が違うことで、推定処理を行うことにより、加線が正確に認識されていない方が選択されないで、加線が正確に認識されている方が選択され、正しい認識結果を得ることができる。
【００５２】
図８（ｂ）は、記号内誤認識の例を示している。この記号内誤認識の例として、ト音記号ラベル内に、図８（ｂ）において、点線で示したように音符を誤認識する場合がある。このような誤認識は、認識傾向を考慮し、特定記号に重複する特定の記号を削除することで対応することができる。
【００５３】
次に、部品共有重複の例について説明する。
本実施形態において、認識された記号には、それがどの部品から構築されたかを示すリンク情報が保存されている。例えば、楕円と直線から認識された音符に関しては、同じ縦線に対して、符尾が上向きの場合も、符尾が下向きの場合も想定されれば、両側の音符が作成される。この場合、上向き、下向きの双方の音符が、同じ縦線を共有していることは直ぐに判定できるので、それに基づいて重複を判定し、その中からより自信度の高いものを選別すればより妥当な結果を取得することができる。
【００５４】
また、画像ラベルを辞書マッチングされたものは、辞書マッチング部品として保存され、記号としてはその部品から作成されたリンク情報が保存されたものとして作成される。１つの部品が複数の記号として想定される場合は、双方の記号として作成されるが、同一の辞書マッチング部品を共有することになる。これにより、判別される重複は以下のように推定される。
【００５５】
まず、図８（ｃ）のように、臨時記号と調号の重複が推定される。
辞書マッチング記号としての部品（＃）は、楽譜記号としての調号や楽譜記号としての臨時記号を構成する部品としてリンク情報が保存されている。もし、同じ＃部品を共有する楽譜記号としての調号と臨時記号が存在する場合、これらが同じ部品から作成されたと判定できる。このときに、双方の楽譜記号の自信度を比較することで、どちらが有効であるかを判定することができる。
【００５６】
次に、図８（ｄ）のように、付点とスタッカートの重複が推定される。
辞書マッチング記号としての部品（ドット）は、付点でもあり得るし、スタッカートでもあり得る。このため、同じ部品から作成された、２つの記号（シンボル）、（付点とスタッカート）となっている場合、同じ部品から作成されたことを判定し、双方の記号（シンボル）の自信度を比較することで、どちらが有効であるか判定することができる。
【００５７】
この他に、親子関係の重複が推定される。
前述したステップＳ４０６の親子関係処理で、複数の親記号が存在する場合、基本的には、最も親子関係の自信度が高い親記号に限定する。しかし、その親記号に接続する他の子記号の状況などにより、適切な側を選択することもできる。例えば、和音への臨時記号の親子関係の選別において、その音符しか選択肢の無い臨時記号が既に存在する場合などである。
【００５８】
次に、フェーズ分解について説明する。
以上の推定処理で適切に記号が選別されるようにするために、本実施形態においては処理順を設定している。また、実際の記号認識や、属性設定、親子関係検出処理などを、処理フェーズ毎に行うようにし、適切な推定処理とフェーズ毎に組み合わせることで、より適切に選別できるようにしている。
【００５９】
例えば、音符が多数重複している段階で親子関係処理を行っても正しく検出できないので、推定処理を行うことにより、音符などの重複がある程度解消された後のフェーズで親子関係処理を行うようにする。
【００６０】
具体的には、「フェーズ０」においては、（イ）認識処理１〜Ｎで音符その他記号認識を行う。（ロ）基本記号連結処理を行う。（ハ）推定処理（単純重複解消処理）を行う。
【００６１】
「フェーズ１」においては、（ニ）その他記号連結処理を行う。（ホ）推定処理（和音構成／親子関係も含めた重複解消処理）を行う。（ヘ）親子関係処理を行う。
なお、場合によっては、前述した（イ）〜（ヘ）以外の処理を行う「フェーズ２」以下を行うようにしてもよい。
また、例えば、拍子記号や、付点、音符の音価、連符などを選別する際に、小節内の拍数がより正しくなる方を選別するようにしてもよい。具体的には、拍子記号と音符の拍数とから１つの楽譜記号を選別するようにしてもよい。
【００６２】
また、ある程度妥当な楽譜記号が選別された段階（フェーズ）で、画像上の画像ラベルを消去し、再度認識処理を行うことで、画像ラベル同士が接触した記号を認識することもできる。この部分について、画像ラベルを消去する以前の処理と同様のあり得る楽譜記号を重複させる処理を行ってよい。
【００６３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６４】
１ ＣＰＵ１
２ プログラムメモリ
３ ワーキングメモリ
４ 内部記憶装置
５ 外部記憶装置
６ ＭＩＤＩ回路
１０ バス
１１ 画像読み取り装置
１２ 印字装置
１３ キーボード
１４ 表示装置
１５ マウス
１６ サウンドシステム
【技術分野】
【０００１】
本発明は、楽譜認識装置、及びコンピュータプログラムに関し、特に、紙面の楽譜を高精度で認識するために用いて好適な技術に関するものである。
【背景技術】
【０００２】
従来から、スキャナ等を用いて、紙面上の楽譜を読み取り、読み取った楽譜のデータについて、五線、音符、及びその他の各種の音楽記号を認識して、ＭＩＤＩファイルデータ等の演奏データや、表示用／印刷用のデータを生成することが行われている。
【０００３】
例えば、特許文献１には、入力されたデータ列を変化する変換規則に従って変換し、第１の軸に沿ってデータ列の順序で、変換したデータを第２の軸方向に表現した画像を生成し、プリンタで印刷出力する画像生成装置、及びカメラで撮影した当該画像に基づいてデータを認識し、認識したデータから変化する変換規則に従ってデータ列を再生するようにした画像生成装置が提案されている。
【０００４】
従来は、楽譜上のある認識対象に対し、特定の認識手法を用いてできるだけ正確な認識結果を出そうとしている。そして、その認識手法で対象が認識できなかった場合、処理のパラメータやしきい値の調整、新たなパラメータの取得による新たな条件式の追加、マッチング辞書の追加などを行い、認識が可能になるようにしていく。
そのような対策でも認識ができない場合は、別の認識手法を開発し、認識できるようにするという対策法を講じて、何れかの認識手法を用いてできるだけ正確な認識結果を出力するようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−０５１６７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
楽譜認識技術を実用化するには、このような、認識結果の認識率を検証し、その誤認識を防ぐ対策の追加という作業を、繰り返す必要があった。誤認識を完全に防ぐというのは非常に困難で、この作業が何度も繰り返されるうちに、認識手法が複雑化してしまい、認識手法の改良が次第に難しくなってくるという問題点があった。
本発明は前述の問題点に鑑み、認識手法を複雑化させることなく、楽譜全体の認識率を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の楽譜認識装置は、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得手段と、前記画像取得手段により取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識手段とを有することを特徴とする。
また、本発明の楽譜認識装置の他の特徴とするところは、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得手段と、前記画像取得手段により取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識手段と、前記認識手段により認識された複数の楽譜記号認識結果のそれぞれについて、様々な情報を用いて、楽譜的に妥当なものを推定して１つの楽譜記号を選別する楽譜記号推定手段とを有することを特徴とする。
【０００８】
本発明のコンピュータプログラムは、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得工程と、前記画像取得工程において取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識工程とをコンピュータに実行させることを特徴とする。
また、本発明のコンピュータプログラムの他の特徴とするところは、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得工程と、前記画像取得工程において取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識工程と、前記認識工程において認識された複数の楽譜記号認識結果のそれぞれについて、様々な情報を用いて、楽譜的に妥当なものを推定して１つの楽譜記号を選別する楽譜記号推定工程とをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、個々の認識手法の傾向や、各種認識手法の処理順などによる悪影響を排除して妥当な認識結果が得られるようにしたので、従来の認識手法を複雑化させることなく、認識率を確実に向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態を示し、楽譜認識装置の構成例を示すブロック図である。
【図２】実施形態の楽譜認識装置の処理手順の概略を説明するフローチャートである。
【図３】図２のステップＳ２０４で行なわれる楽譜記号認識処理の詳細を説明するフローチャートである。
【図４】図３のステップＳ３０６で行なわれる楽譜記号認識処理の詳細を説明するフローチャートである。
【図５】推定処理で行われる自信度の比較処理の一例を説明するフローチャートである。
【図６】推定処理で行われる部品共有の処理の一例を説明するフローチャートである。
【図７】音符に対する自信度の設定例を説明する図である。
【図８】推定処理で行われる重複の具体例を説明する図である。
【発明を実施するための形態】
【００１１】
最初に、本実施形態の概要を説明する。
従来、楽譜認識処理において、五線消去などにより楽譜から分離された画像ラベルを認識対象とする場合、ある認識手法で特定の楽譜記号が認識された場合、この画像ラベルを画像から消去し、その後の別の記号に対する認識処理でその画像ラベルが処理対象にならないようにすることで、処理コストの増大を避けるようにするのが一般的であった。ここで、画像ラベルとは、あるドットから、周辺の８連結ないし４連結で黒画素などのつながりを検出した際に、一塊と判断される画素の集まりである。
【００１２】
しかし、近年のハードウェアの高速化や、並列処理が比較的簡易に実現できるようになったことにより、このような必然性は低くなった。逆に、最初に説明したような途中で間違った楽譜記号に固定される問題がある。
【００１３】
そこで、本実施形態においては、１つの認識対象に対して、結果が出力された場合に画像から画像ラベルを消去することでその結果に固定するのではなく、別の認識手法でもその対象に対して認識処理を行うことでいったん複数の認識結果を重複させることを特徴とする。また、１つの認識手法についても、あり得る認識結果を複数出力することを許すことを特徴とする。以下、本発明の実施形態について詳細に説明する。
【００１４】
図１に示すように、本実施形態の楽譜認識装置１００は、パソコン等の一般的な計算機システムに、ＭＩＤＩ回路６及び画像読み取り装置１１を付加したものである。
ＣＰＵ１は、プログラムメモリ２に格納されたプログラムをワーキングメモリ３に展開して実行すること等により、楽譜認識装置１００の全体の制御を行う中央処理装置である。また、本実施形態の楽譜認識装置１００は、予め設定された所定の周期でＣＰＵ１に割り込みをかけるタイマ回路を内蔵している。ワーキングメモリ３は、プログラムエリアの他、画像データバッファ、ワークエリア等として使用される。内部記憶装置（ＨＤＤ、ＳＳＤ等により構成される）４、外部記憶装置（ＦＤＤ、ＣＤ／ＤＶＤドライブなどにより構成される）５は、プログラム、画像データ、及び演奏データ等を格納する。
【００１５】
表示装置１４は、ＣＰＵ１の制御に基づき、バス１０から出力される映像情報を表示する。キーボード１３から入力された情報は、バス１０を経てＣＰＵ１に取り込まれる。印字装置１２は、ＣＰＵ１の制御に基づき、バス１０から出力される印字情報を印字する。
【００１６】
画像読み取り装置１１は、紙面に印刷された楽譜を光学的に走査して、２値、グレイスケール、あるいはカラーの画像データに変換して画像取得処理を行う。画像読み取り装置１１としては、フラットベッド型、ハンディ型、フィーダー型等任意のタイプのスキャナや、カメラ等を使用できる。画像読み取り装置１１によって読み取られた画像情報は、バス１０を介して、ワーキングメモリ３又は内部記憶装置４に取り込まれる。
【００１７】
ＭＩＤＩ回路６は、音源モジュール等の外部のＭＩＤＩ機器との間でＭＩＤＩデータの送受信を行う回路である。バス１０は、楽譜認識装置１００内の各回路を接続している。尚、この他に、マウス１５、サウンドシステム１６等を備えている。
【００１８】
図２は、本実施形態の楽譜認識装置１００の処理手順の概略を説明するフローチャートである。本実施形態の楽譜認識装置１００は、複数の認識手法を用いて楽譜認識処理を行うことを特徴としている。そして、本実施形態の楽譜認識装置１００は、楽譜記号を認識しても、最初の段階では認識結果に基づいて画像上の記号ラベルを画像から削除することはしない。
図２に示すように、認識処理が開始されると、ステップＳ２０１において、ＣＰＵ１は、画像取り込み処理を行う。この画像取り込み処理では、画像読み取り装置１１によって読み取られた楽譜の画像データをワーキングメモリ３に取り込む等の処理が行われる。
【００１９】
次に、ステップＳ２０２において、ＣＰＵ１は、五線認識処理を行う。この五線認識処理では、各ページに該当する複数の画像を読み込みながら行う。
五線走査開始位置検出処理及び五線シフト量検出処理等が行われる。五線走査開始位置検出処理の概略を述べると、横（ｘ）軸方向のある位置で、黒画素の幅と白画素の幅とを順に求め、求めた幅に基づいて、五線状に並んでいる位置を、ある程度の誤差を考慮して検出する。そして、加線（五線からはみ出した音符を記載するために付加した横線）の影響を除くために、五線状の並びの両側に、五線の間隔より大きな白画素幅があるという条件を加える。この条件に合う白黒画素の並びがある横（ｘ）方向の各黒ランの中点を五線走査開始位置とする。ここで、ランとは、モノクロ画像（白黒の２値画像）の場合、例えば、縦又は横に黒画素又は白画素が連結している長さをいう。
【００２０】
次に、ステップＳ２０３において、ＣＰＵ１は、段落認識処理を行う。段落認識処理では、段落認識処理及び大かっこ認識処理等が行われる。段落認識処理においては、画像全体で五線を検出し、五線同士で左端がほぼ同じ場所にある五線の組を探し、五線の端同士が、黒画素で結ばれているかどうかを検査し、段落を認識する。五線同士が大かっこで結ばれていた場合には、五線同士にまたがる音符等が存在する場合があるので、大かっこで結ばれた五線は１つの単位で処理を行った方がよい。大かっこについては、段落線の左の所定の範囲で認識を行う。ここで、段落線とは、同時に進行している複数のパートの五線同士の左端を繋いでいる線をいい、段落とは、段落線で繋がれた複数の五線の一塊をいう。尚、パートが１つの場合には、段落線は存在しないが、この場合も複数のパートの存在する楽譜での段落に相当する一塊を段落という。また、大かっことは、特にピアノの楽譜に用いられることが多い音楽記号であり、２つ又は３つの五線を纏めるための「[」で表記される括弧である。
【００２１】
次に、ステップＳ２０４において、ＣＰＵ１は、楽譜記号認識処理を行う。この楽譜記号認識処理の詳細については、図３のフローチャートを参照しながら後述する。
次に、ステップＳ２０５に進み、楽譜全体の処理を行う。楽譜全体の処理とは、段落内の小節線の位置を正規化する処理や、拍子記号の整合性を取る処理などである。
次に、ステップＳ２０６において、ＣＰＵ１は、その他の処理を行う。その他の処理では、ＭＩＤＩファイルデータ等の演奏データを生成する等の処理を行う。
【００２２】
図３は、図２のステップＳ２０４で行なわれる楽譜記号認識処理の一例を説明するフローチャートである。
図３に示すように、処理が開始されると、ステップＳ３０１において、フェーズ番号、パート番号、段落番号、ページ番号などの変数を用意する処理が行なわれる。
次に、Ｓ３０２に進み、Ｓ３０１で用意した変数を全て'０'に初期化する処理を行う。
【００２３】
その後、Ｓ３０３に進み、複数の楽譜認識手法を用いて楽譜記号の認識処理を行い、複数の認識結果を取得する。この場合、まず、最初のフェーズについて認識処理を実行する。そして、そのフェーズについて認識処理が終了したら、ステップＳ３０４に進み、次のフェーズの有無を判断する。この判断の結果、次のフェーズが有る場合にはＳ３０５に進み、フェーズ番号を１つインクリメントして処理対象を次のフェーズに移行する。
【００２４】
その後、ステップＳ３０３に戻り、前述したように、複数の楽譜認識手法を用いて楽譜記号の認識処理を行い、複数の認識結果を取得する。ステップＳ３０３〜ステップＳ３０５のループ処理は、認識処理すべきフェーズが無くなるまで行なわれる。そして、ステップＳ３０４の判断の結果、次のフェーズが無くなったらＳ３０６に進む。
【００２５】
ステップＳ３０６においては、フェーズ番号を０に戻す処理を行い、その後、ステップＳ３０７に進む。ステップＳ３０７においては、次のパートの有無を判断する。この判断の結果、次のパートが有る場合にはＳ３０８に進み、パート番号を１つインクリメントして処理対象を次のパートに移行する。
【００２６】
その後、ステップＳ３０３に戻り、次のパートについての認識処理を、再度最初のフェーズから実行し、複数の認識結果を取得する。ステップＳ３０３〜ステップＳ３０８のループ処理は、認識処理すべきパートが無くなるまで行なわれる。そして、ステップＳ３０７の判断の結果、次のパートが無くなったらステップＳ３０９に進む。
【００２７】
ステップＳ３０９においては、パート番号を０に戻す処理を行い、その後、ステップＳ３１０に進む。ステップＳ３１０においては、次の段落の有無を判断する。この判断の結果、次の段落が有る場合にはＳ３１１に進み、段落番号を１つインクリメントして処理対象を次の段落に移行する。
【００２８】
その後、ステップＳ３０３に戻り、次の段落についての認識処理を、再度最初のフェーズから実行し、複数の認識結果を取得する。ステップＳ３０３〜ステップＳ３１１のループ処理は、認識処理すべき段落が無くなるまで行なわれる。そして、ステップＳ３１０の判断の結果、次の段落が無くなったらステップＳ３１２に進む。
【００２９】
ステップＳ３１２においては、段落番号を０に戻す処理を行い、その後、ステップＳ３１３に進む。ステップＳ３１３においては、次のページの有無を判断する。この判断の結果、次のページが有る場合にはＳ３１１に進み、ページ番号を１つインクリメントして処理対象を次のページに移行する。
【００３０】
その後、ステップＳ３０３に戻り、次のページについての認識処理を、再度最初のフェーズから実行し、複数の認識結果を取得する。ステップＳ３０３〜ステップＳ３１４のループ処理は、認識処理すべきページが無くなるまで行なわれる。そして、ステップＳ３１３の判断の結果、次のページが無くなったらエンドとなる。
【００３１】
以下に、ステップＳ４０１〜Ｓ４０３で行われる第１の認識処理〜第Ｎの認識処理で用いられる認識手法の一例を説明する。
楕円直線方式：基本画像をロードし、太細分離、縦細線検出、楕円検出、それぞれを部品（直線部品、楕円部品）として出力する方式。
辞書マッチング方式：基本画像ロードし、五線消去、ラベリング、辞書マッチング、結果を辞書マッチング部品として出力する方式。
部品連結方式：楕円部品と直線部品を連結して音符記号（シンボル）を追加する方式。
五線固定位置ラベル抽出方式：音部記号、拍子記号、省略記号、五線内にある臨時記号や休符等の、五線上での縦位置が固定されている記号、又は五線をグリッドとして縦位置が固定される記号で、その特徴付けが可能な範囲が五線内にあるものを、認識対象として絞ることにより、五線の消去をせずに、対象イメージを充分に特徴付けできる部分を正確にラベル抽出し、得られたラベルから変形、擦れ、滲みに影響を受け難い特徴を抽出する方式。
【００３２】
ステップＳ４０４においては、ＣＰＵ１は、五線認識処理で認識された五線、段落認識処理で認識された段落、パート認識処理で認識されたパートの内容等を結合して、楽譜のデータを生成する等の結合処理を行う。したがって、本実施形態の楽譜認識装置１００においては、取得された画像に含まれる楽譜を、複数の楽譜認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識処理が行われる。また、前述のようにして認識された複数の楽譜認識結果に対して、様々な情報を付けてワーキングメモリ３、内部記憶装置４、外部記憶装置５などの記憶媒体に保存している。
【００３３】
次に、ステップＳ４０５に進んで、楽譜記号選別推定処理を行う。楽譜記号選別推定処理においては、重複した楽譜記号を、様々な情報を用いて楽譜的に妥当なものを推定して１つの楽譜記号を選別する。
楽譜記号選別推定処理の一例としては、以下の処理を挙げることができる。
認識手法１は、属性１の正解がＡの場合Ｂと誤認識する場合がある。認識手法２は、属性１の正解がＡの場合Ｂと誤認識する場合はほとんどない。認識手法１と認識手法２で重複記号があり、属性１を、手法１はＢとし、手法２はＡとしているとする。この場合は、認識手法２側が正解である可能性が高い。もちろん、これにより、認識手法２だけを選択してもよいし、記号内の属性毎に選別する側を判定してもよい。
【００３４】
次に、ステップＳ４０６に進み、親子関係検出処理を行う。親子関係検出処理においては、臨時記号と音符など、記号親子関係を検出する。最も妥当なものを検出するのではなく、ある程度の範囲であり得る親子関係を検出する。記号により、縦方向の位置や、横方向の位置など、適切な属性を見ながら、どれが最も妥当かの自信度を設定する。
【００３５】
次に、ステップＳ４０７に進み、親子関係選別推定処理を行う。親子関係選別推定処理においては、もともと複数の親記号が必要な記号については、それぞれの箇所について、複数の候補が持てるようにし、親記号を検索、自信度を設定する。例えば、タイの親など、対応する複数の親音符に条件が存在する場合（同じ音高であるなど）もあるので、自信度と、対応する親の組み合わせの妥当性によって判定する。本実施形態において、自信度とは複数の楽譜記号のそれぞれについて、尤もらしさを表す尤度値を示しており、本実施形態においては、その記号がどのくらいの有効性で認識されたかを示す自信度情報を算出する自信度算出処理を行っている。
【００３６】
実際の認識処理においては、記号認識や、属性設定、親子関係検出処理などを、フェーズ分解して処理フェーズ毎に行うようにし、適切な推定処理と処理フェーズ毎に組み合わせることで、より適切に選別できるようにする。
【００３７】
例えば、音符が多数重複している段階では、親子関係処理を行っても正しく検出できないので、推定で、音符などの重複がある程度解消された後のフェーズで親子関係選別推定処理を行うようにするなどである。
【００３８】
次に、図５のフローチャートを参照しながら推定処理で行われる自信度の比較処理の一例を説明する。図５の推定処理は、部品を共有した場合の重複推定の単純な例を示し、Symbol１、Symbol２が推定対象の記号である。ここで、component１がSymbol１を構成する部品の１つであり、component２がSymbol２を構成する部品の１つである。
まず、ステップＳ５０１においては、Symbol１を取得する。この場合、Symbol1の記号自信度の値は自信度１とする。
【００３９】
次に、ステップＳ５０２において、Symbol２を取得する。この場合、Symbol2の記号自信度の値は自信度２とする。
次に、ステップＳ５０３において、Symbol１とSymbol２が同じ部品を共有しているか否かを判断する。同じ部品を共有していない場合にはこの処理を終了する。
【００４０】
また、同じ部品を共有している場合にはステップＳ５０４に進み、処理対象記号の組み合わせであるか否かを判断する。処理対象記号の組み合わせでない場合にはこの処理を終了する。処理対象記号の組み合わせである場合にはステップＳ５０５に進む。
【００４１】
ステップＳ５０５においては、Symbol１とSymbol２との比較判定処理を行う。この比較判定処理の結果、Symbol１の自信度がSymbol２の自信度よりも大きい場合にはステップＳ５０６に進み、Symbol２を削除する処理を行う。また、Symbol１の自信度がSymbol２の自信度よりも大きくない場合にはステップＳ５０７に進み、Symbol１を削除する処理を行う。
【００４２】
なお、ステップＳ５０５の判断処理は重複した記号ごとに行ってもよく、場合によって自信度の大小判定以外の別の処理を行ってもよい。
【００４３】
図６は、図５のフローチャートのステップＳ５０３で行われる判断処理の一例を説明するフローチャートである。
ステップＳ６０１においてはcomponent１を取得し、ステップＳ６０２においてはcomponent２を取得する。
【００４４】
次に、ステップＳ６０３において、ステップＳ６０１で取得したcomponent１とステップＳ６０２で取得したcomponent２とが同じであるか否かを判断する。同じである場合には、ステップＳ６０４において、部品を共有しているとする処理を行う。また、同じでない場合には処理を終了する。
【００４５】
次に、図７を参照しながら、音符に対して設定する自信度の具体例を説明する。
図７（ａ）〜（ｄ）に示すように、玉（楕円）と、線のそれぞれに部品としての自信度が設定される。図７中に「数字」で示したように、図７（ａ）が比較的良好な場合であり、玉（楕円）と、線のそれぞれに「９５」が設定される。
【００４６】
また、図７（ｂ）、（ｃ）に示すように、玉のサイズがおかしい、線が斜め、線が短い、その他の状況に応じて、それぞれの部品の自信度が下がるようにしている。そして、音符として認識するために、玉と線を連結するが、連結の状態により、更に自信度が設定される。図７（ａ）の場合には、連結の自信度は高くなる。しかし、図７（ｄ）のように玉と線が離れていると、音符としての自信度が低下する。この場合、玉と線が離れている距離に応じて、自信度が低下する。
【００４７】
更に、音高との関係で自信度が設定される。図７（ｅ）のように、加線が１つしか見つからず、１つに応じた音高に設定されているが、位置は五線から離れているような場合、自信度が下げられる。
【００４８】
音符の自信度（符尾あり）に関しては、例えば、以下の式により設定することもできる。
confPer=w3 x (w1 x elpPer + w2 x linePer) + w4 x bindPer + w5 x locPer
ここで、elpPer:楕円部品自信度、linePer 直線部品自信度、bindPer 楕円直線連結自信度、locPer 音高自信度を示している。また、w1…w5はウェイトであり、各属性が妥当な効力を持ち、最大が100%になるように設定する。
【００４９】
同様に、符尾なし音符などでは存在する情報から自信度を設定する。また、その他の記号の自信度についても、その記号を構成する部品や、記号を構成する際の部品の位置関係、結果の位置や属性の妥当性から適切に設定することができる。前述のように、様々な条件を総合して、結果の自信度を算出することができる。これらにより、楽譜上の記号として、妥当に想定される自信度を設定することができる。
【００５０】
前述のようにして、各種の認識結果から記号が作成され、認識される。本実施形態においては、前述したように、楽譜記号を認識しても、最初の段階では認識結果に基づいて画像上の記号ラベルを画像から削除することはしない。このため、その結果は、同じ位置に似た記号や類似記号などが重複した状態となる。
【００５１】
次に、図８を参照しながら重複の具体例を説明する。
図８（ａ）は、単純重複の例を示している。この例は、本実施形態においては複数の認識方式を行うので、このような単純重複が発生する。この例の場合、浮き加線のある音符（グレーで示す音符）と、加線の無い音符（黒で示す音符）が重複しているが、推定処理により、浮き加線がある側が選択された例を示している。この例の場合のように、音符同士が重複している場合に、音高自信度が違うことで、推定処理を行うことにより、加線が正確に認識されていない方が選択されないで、加線が正確に認識されている方が選択され、正しい認識結果を得ることができる。
【００５２】
図８（ｂ）は、記号内誤認識の例を示している。この記号内誤認識の例として、ト音記号ラベル内に、図８（ｂ）において、点線で示したように音符を誤認識する場合がある。このような誤認識は、認識傾向を考慮し、特定記号に重複する特定の記号を削除することで対応することができる。
【００５３】
次に、部品共有重複の例について説明する。
本実施形態において、認識された記号には、それがどの部品から構築されたかを示すリンク情報が保存されている。例えば、楕円と直線から認識された音符に関しては、同じ縦線に対して、符尾が上向きの場合も、符尾が下向きの場合も想定されれば、両側の音符が作成される。この場合、上向き、下向きの双方の音符が、同じ縦線を共有していることは直ぐに判定できるので、それに基づいて重複を判定し、その中からより自信度の高いものを選別すればより妥当な結果を取得することができる。
【００５４】
また、画像ラベルを辞書マッチングされたものは、辞書マッチング部品として保存され、記号としてはその部品から作成されたリンク情報が保存されたものとして作成される。１つの部品が複数の記号として想定される場合は、双方の記号として作成されるが、同一の辞書マッチング部品を共有することになる。これにより、判別される重複は以下のように推定される。
【００５５】
まず、図８（ｃ）のように、臨時記号と調号の重複が推定される。
辞書マッチング記号としての部品（＃）は、楽譜記号としての調号や楽譜記号としての臨時記号を構成する部品としてリンク情報が保存されている。もし、同じ＃部品を共有する楽譜記号としての調号と臨時記号が存在する場合、これらが同じ部品から作成されたと判定できる。このときに、双方の楽譜記号の自信度を比較することで、どちらが有効であるかを判定することができる。
【００５６】
次に、図８（ｄ）のように、付点とスタッカートの重複が推定される。
辞書マッチング記号としての部品（ドット）は、付点でもあり得るし、スタッカートでもあり得る。このため、同じ部品から作成された、２つの記号（シンボル）、（付点とスタッカート）となっている場合、同じ部品から作成されたことを判定し、双方の記号（シンボル）の自信度を比較することで、どちらが有効であるか判定することができる。
【００５７】
この他に、親子関係の重複が推定される。
前述したステップＳ４０６の親子関係処理で、複数の親記号が存在する場合、基本的には、最も親子関係の自信度が高い親記号に限定する。しかし、その親記号に接続する他の子記号の状況などにより、適切な側を選択することもできる。例えば、和音への臨時記号の親子関係の選別において、その音符しか選択肢の無い臨時記号が既に存在する場合などである。
【００５８】
次に、フェーズ分解について説明する。
以上の推定処理で適切に記号が選別されるようにするために、本実施形態においては処理順を設定している。また、実際の記号認識や、属性設定、親子関係検出処理などを、処理フェーズ毎に行うようにし、適切な推定処理とフェーズ毎に組み合わせることで、より適切に選別できるようにしている。
【００５９】
例えば、音符が多数重複している段階で親子関係処理を行っても正しく検出できないので、推定処理を行うことにより、音符などの重複がある程度解消された後のフェーズで親子関係処理を行うようにする。
【００６０】
具体的には、「フェーズ０」においては、（イ）認識処理１〜Ｎで音符その他記号認識を行う。（ロ）基本記号連結処理を行う。（ハ）推定処理（単純重複解消処理）を行う。
【００６１】
「フェーズ１」においては、（ニ）その他記号連結処理を行う。（ホ）推定処理（和音構成／親子関係も含めた重複解消処理）を行う。（ヘ）親子関係処理を行う。
なお、場合によっては、前述した（イ）〜（ヘ）以外の処理を行う「フェーズ２」以下を行うようにしてもよい。
また、例えば、拍子記号や、付点、音符の音価、連符などを選別する際に、小節内の拍数がより正しくなる方を選別するようにしてもよい。具体的には、拍子記号と音符の拍数とから１つの楽譜記号を選別するようにしてもよい。
【００６２】
また、ある程度妥当な楽譜記号が選別された段階（フェーズ）で、画像上の画像ラベルを消去し、再度認識処理を行うことで、画像ラベル同士が接触した記号を認識することもできる。この部分について、画像ラベルを消去する以前の処理と同様のあり得る楽譜記号を重複させる処理を行ってよい。
【００６３】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６４】
１ ＣＰＵ１
２ プログラムメモリ
３ ワーキングメモリ
４ 内部記憶装置
５ 外部記憶装置
６ ＭＩＤＩ回路
１０ バス
１１ 画像読み取り装置
１２ 印字装置
１３ キーボード
１４ 表示装置
１５ マウス
１６ サウンドシステム
【特許請求の範囲】
【請求項１】
紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得手段と、
前記画像取得手段により取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識手段とを有することを特徴とする楽譜認識装置。
【請求項２】
紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得手段と、
前記画像取得手段により取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識手段と、
前記認識手段により認識された複数の楽譜記号認識結果のそれぞれについて、様々な情報を用いて、楽譜的に妥当なものを推定して１つの楽譜記号を選別する楽譜記号推定手段とを有することを特徴とする楽譜認識装置。
【請求項３】
前記楽譜記号認識手段により認識された複数の楽譜記号認識結果に対して、様々な情報を付けて記憶媒体に保存する情報保存手段を有することを特徴とする請求項１または２に記載の楽譜認識装置。
【請求項４】
前記様々な情報は、前記複数の楽譜記号認識方法のうち、何れの楽譜記号認識方法で認識されたかを示す情報、その記号がどの部品から構築されたかを示すリンク情報、その記号がどのくらいの有効性で認識されたかを示す自信度情報のうち、少なくとも１つを含むことを特徴とする請求項２または３に記載の楽譜認識装置。
【請求項５】
前記楽譜記号認識手段は、五線認識処理、段落認識処理、楽譜記号認識処理、及び楽譜全体の処理を行い、楽譜記号同士の関係について複数の候補を検出し、それぞれの候補について、様々な情報を用いて、楽譜的に妥当なものを推定して１つの楽譜記号同士の関係を選別することを特徴とする請求項１〜４の何れか１項に記載の楽譜認識装置。
【請求項６】
前記楽譜記号認識処理は、ページ毎の処理、段落毎の処理、パート毎の処理、及びフェーズ毎の処理を有し、
これらの認識処理を前記画像取得手段により取得された画像に含まれる楽譜記号のそれぞれについて行うことを特徴とする請求項５に記載の楽譜認識装置。
【請求項７】
紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得工程と、
前記画像取得工程において取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項８】
紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得工程と、
前記画像取得工程において取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識工程と、
前記認識工程において認識された複数の楽譜記号認識結果のそれぞれについて、様々な情報を用いて、楽譜的に妥当なものを推定して１つの楽譜記号を選別する楽譜記号推定工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項１】
紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得手段と、
前記画像取得手段により取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識手段とを有することを特徴とする楽譜認識装置。
【請求項２】
紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得手段と、
前記画像取得手段により取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識手段と、
前記認識手段により認識された複数の楽譜記号認識結果のそれぞれについて、様々な情報を用いて、楽譜的に妥当なものを推定して１つの楽譜記号を選別する楽譜記号推定手段とを有することを特徴とする楽譜認識装置。
【請求項３】
前記楽譜記号認識手段により認識された複数の楽譜記号認識結果に対して、様々な情報を付けて記憶媒体に保存する情報保存手段を有することを特徴とする請求項１または２に記載の楽譜認識装置。
【請求項４】
前記様々な情報は、前記複数の楽譜記号認識方法のうち、何れの楽譜記号認識方法で認識されたかを示す情報、その記号がどの部品から構築されたかを示すリンク情報、その記号がどのくらいの有効性で認識されたかを示す自信度情報のうち、少なくとも１つを含むことを特徴とする請求項２または３に記載の楽譜認識装置。
【請求項５】
前記楽譜記号認識手段は、五線認識処理、段落認識処理、楽譜記号認識処理、及び楽譜全体の処理を行い、楽譜記号同士の関係について複数の候補を検出し、それぞれの候補について、様々な情報を用いて、楽譜的に妥当なものを推定して１つの楽譜記号同士の関係を選別することを特徴とする請求項１〜４の何れか１項に記載の楽譜認識装置。
【請求項６】
前記楽譜記号認識処理は、ページ毎の処理、段落毎の処理、パート毎の処理、及びフェーズ毎の処理を有し、
これらの認識処理を前記画像取得手段により取得された画像に含まれる楽譜記号のそれぞれについて行うことを特徴とする請求項５に記載の楽譜認識装置。
【請求項７】
紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得工程と、
前記画像取得工程において取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【請求項８】
紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得工程と、
前記画像取得工程において取得された画像に含まれる楽譜記号を、複数の楽譜記号認識方法を用いて認識して複数の楽譜記号認識結果を出力する楽譜記号認識工程と、
前記認識工程において認識された複数の楽譜記号認識結果のそれぞれについて、様々な情報を用いて、楽譜的に妥当なものを推定して１つの楽譜記号を選別する楽譜記号推定工程とをコンピュータに実行させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−１３８００９（Ｐ２０１２−１３８００９Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２９１０３１（Ｐ２０１０−２９１０３１）
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００００１４１０）株式会社河合楽器製作所 (563)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００００１４１０）株式会社河合楽器製作所 (563)
【Ｆターム（参考）】
[ Back to top ]